Fabriken ligger i den nordöstra delen av delstaten Bahia och förväntas bli BYD:s största elbilsfabrik utanför Asien.
Situationen för arbetarna beskrivs som alarmerande, i ett uttalande från de regionala myndigheterna som inspekterade fabriken.
Arbetarna sov på sängar utan madrasser. Mat blandades med personliga tillhörigheter på grund av bristande förvaring. Över 30 personer delade badrum, vilket tvingade dem att gå upp klockan 4:00 på morgonen för att göra sig redo för ett arbetspass som började klockan 5:30.
Väl framme vid fabriken utsattes de för intensiv solstrålning som orsakade synliga hudskador.
Myndigheterna misstänker att det förekommit tvångsarbete sedan arbetarnas pass beslagtogs.
Biljättens dotterbolag i Brasilien har meddelat att man omedelbart har sagt upp kontraktet med Jinjiang Construction Brazil, företaget som ansvarar för bygget för BYD:s räkning.
Dessutom uppgav dotterbolaget att det inte tolererar överträdelser av brasiliansk lag och att det placerade de 163 drabbade arbetarna på hotell i regionen.
