K. Gvozdovič gimė 1955 m. šv. Kazimiero dieną (kovo 4 d.) Vilniuje. Mokėsi Vilniaus 19-ojoje vidurinėje mokykloje, kurią baigęs 1973 metais buvo paimtas į privalomąją karinę tarnybą.

1977 m. įstojo į Kauno tarpdiecezinę kunigų seminariją, kurią baigė 1982 m. ir buvo paskirtas sielovadinei tarnystei į Kaišiadorių vyskupiją – Žiežmarių Šv. apašt. Jokūbo parapijos vikaru. 1982 m. Baltarusijoje labai trūkstant kunigų, kaimyninės šalies tikintiesiems prašant, Lietuvos bažnytinės vyresnybės sprendimu kunigas Kazimiras buvo perkeltas tarnauti Baltarusijoje. Čia teko darbuotis lietuviškoje Gervėčių parapijoje, patarnauti Michališkių ir Bistricos parapijose. 1990 m. perkeltas į Vidžių parapiją. 2000 m. paskirtas kurti naują parapiją ir statyti bažnyčią Brišenkovičio miestelyje Vitebsko srityje ir kartu aptarnauti Ulos parapiją. 2001 m. darbavosi Gardino srityje, Volkojevsko Šv. Vaclovo parapijoje. 2002 m. paskirtas Ostrovec parapijos administratoriumi. 2003 m. iš Baltarusijos valdžios negavęs darbo vizos, būdamas Lietuvos pilietis, kunigas Kazimiras grįžo darbuotis į Kaišiadorių vyskupiją ir buvo paskirtas Čiobiškio Šv. Jono Krikštytojo parapijos administratoriumi. 2005 m. pabaigoje persikėlė į Vilniaus arkivyskupiją ir 2006 m. buvo paskirtas Vilniaus Šv. ark. Rapolo parapijos vikaru, 2010 m. Karvio šv. Juozapo parapijos administratoriumi, 2012 m. paskirtas Šalčininkų Šv. apašt. Petro parapijos vikaru, 2013 m. – Rimšės Švč. Trejybės, Gaidės Nukryžiuotojo Jėzaus ir Pūškų Švč. M. Marijos, Gailestingumo Motinos, parapijų administratoriumi. 2014 m. paskirtas baltarusiškos Vilniaus Šv. apašt. Baltramiejaus parapijos administratoriumi. 2014 m. gruodžio 18 d. inkardinuotas į Vilniaus arkivyskupiją. 2016 m. buvo paskirtas Šalčininkėlių Šv. Jurgio parapijos administratoriumi, aptarnaujant ir Akmenynės Šv. Kūdikėlio Jėzaus Teresės bažnyčią.

Amžinąjį atilsį duok mirusiam, Viešpatie!