Barvič se třikrát oženil, naposledy si v 79 letech bral o 44 let mladší vdovu, která už měla 6 dětí. Barvič měl už 7 potomků z prvního manželství. Syn Jindřich hospodařil na fojtství, Jakub převzal po otci obchod, byl úspěšným karlovským obchodníkem, dcera Marie se stala milenkou majitele skláren, starosty Salomona Reicha, čímž si zajistila existenci také. Nejznámějším z Barvičových dětí se stal syn Josef - známý brněnský knihkupec a nakladatel. Nyní je v domě Karlovské muzeum s expozicí o historii obce, zemědělské a salašnické výrobě a se souborem řezbářských prací. Samostatnou expozici tvoří historie výroby zaniklých skláren. V podkroví muzea je galerie, kde probíhají výstavy.