Albert Berg föddes 19 september 1832 som son till operasångaren Isak Albert Berg och hans hustru Lina Hjortsberg. Albert Berg föddes döv, och vistades 1841-1842 som elev vid de l’Epéeska institutet för dövstumma i Paris, varefter han fortsatte sin utbildning på Manillaskolan.
Sina konststudier fick han först under privat handledning, och sedan som elev vid Konstakademien fram till 1853, då han utgick som kadett på linjeskeppet Carl XIII, för att göra marinstudier under eskaderns expedition i Östersjön och Nordsjön.
Hösten 1853 påbörjade han en lång studieresa genom Europa där han fortsatte sina konstnärsstudier. I Frankrike erhöll han den stora Ary Scheffers ledning och beskydd.
1865 återvände han till Sverige, och intresserade för dövutbildningen i Sverige.
1868 bildade han tillsammans med Ossian Edmund Borg och dövläraren Fritiof Carlbom Stockholms Dövas Förening. Albert Berg var föreningens kassör i 27 år och viceordförande nästan lika lång tid och han blev hedersledamot hos SDF år 1879.
Albert Berg dog 20 januari 1916.