Endast en medlem från partiet har stannat, rapporterar BBC. För att riksrättsförordningen ska gå igenom krävs stöd från åtta PPP-medlemmar.
Inne i kammaren utspelar sig kaotiska scener.
– Förrädare, gå in igen, skanderar oppositionsparlamentariker till PPP-medlemmarna.
Till och med talaren är arg.
– Det här är att strunta i folkviljan, säger han.
Omröstningen om att ställa president Yoon Suk-Yeol inför riksrätt skulle i teorin fortfarande kunna hållas. Men om de konservativa PPP-medlemmarna stannar utanför är en omröstning meningslös. Det beror på att två tredjedels majoritet, 200 av de 300 medlemmarnas stöd, krävs för att få igenom riksrättsförfarandet.
Oppositionen, som har makten i parlamentet, har 192 av platserna.
Utanför parlamentet uppmanar protesterande aktivister de medlemmar som är lojala mot presidenten att gå tillbaka in i kammaren.
Bara timmar före omröstningen bad Yoon Suk-Yeol om ursäkt för att ha utlyst undantagstillstånd och åtföljande krigslagar i landet på tisdagen.
Sedan dess har upprepade krav på hans avgång framförts.