Det började med att den döve dövläraren Frithiof Carlbom gjorde en resa i Tyskland, där det redan fanns dövföreningar, äldst var föreningen i Berlin som bildats 1848.
Den 3:e maj 1868 samlades 22 döva och 5 hörande på Manillaskolan för att bilda en dövförening. Initiativtagare var direktör Ossian Borg på Manillaskolan, dövlärare Fritjof Carlbom från Tysta skolan och marinmålaren Albert Berg. Kvinnor var med redan från början, både som medlemmar och styrelseledamöter. Det var ovanligt i dåtidens Sverige.
Döva från hela landet kunde bli medlemmar. Första året hade SDF 76 medlemmar.
Föreningen hade då samma funktion som Sveriges Dövas Riksförbund har idag.
Vid sekelskiftet bildades allt fler dövföreningar och SDF blev så småningom en lokal dövförening. Föreningen är Sveriges äldsta funktionshinderförening och äldsta dövförening.