Endast en medlem från festen har slutat, rapporterar BBC. För att riksrättsförordningen ska gå igenom krävs stöd från åtta PPP-medlemmar.
Inne i kammaren utspelar sig kaotiska scener.
“Förrädare, gå in igen”, skanderade oppositionella parlamentsledamöter till PPP-parlamentsledamöterna.
Till och med talaren är arg.
“Det här är att ignorera folkets vilja”, säger han.
Omröstningen om att ställa president Yoon Suk-Yeol inför riksrätt skulle i teorin fortfarande kunna hållas. Men om de konservativa PPP-medlemmarna stannar utanför är en omröstning meningslös. Det beror på att två tredjedels majoritet, 200 av de 300 medlemmarnas stöd, krävs för att få igenom riksrättsförfarandet.
Oppositionen, som har makt i parlamentet, har 192 av platserna.
Utanför parlamentet uppmanar protesterande aktivister de medlemmar som är lojala mot presidenten att gå tillbaka in i kammaren.
Bara timmar före omröstningen bad Yoon Suk-Yeol om ursäkt för att ha utlyst undantagstillstånd och åtföljande krigslagar i landet på tisdagen.
Sedan dess har upprepade krav på hans avgång framförts.