Ofiarna praca budowniczych ze Wschodu
Przy budowie pałacu pracowało około 4 tys. polskich robotników oraz 3,5 tys. przywiezionych z ZSRR. Ci ostatni zamieszkali w zamkniętym, wzorcowym osiedlu robotniczym w podwarszawskich Jelonkach, gdzie zlokalizowano bazę budowy, w której gromadzono materiały, produkowano beton i prefabrykaty, wykonywano elementy wykończeniowe. Tutaj trafiały transporty ze Związku Radzieckiego i Polski, a pomiędzy bazą i placem budowy kursowało codziennie 600 ciężarówek.
Osiedle robotnicze wyposażone było m.in. w stołówkę, świetlice, kino, basen. Jego mieszkańcy spędzali tu praktycznie cały czas, którego nie poświęcali pracy, bo mieli zakaz swobodnego wychodzenia do miasta. Według doniesień prasowych, ów wolny czas poświęcali nauce, uprawianiu sztuki i sportu oraz pogłębianiu zaangażowania ideowego. Za najdrobniejsze przewinienie wyrzucano ich z prestiżowej pracy.
Podczas budowy pałacu zginęło kilkunastu radzieckich robotników, o czym milczały oficjalne dokumenty i publikatory. Piętnaście "ofiar pałacu" spoczywa na cmentarzu prawosławnym na Woli. Wśród nich jest dwoje niemowląt, które zginęły przygniecione przez rusztowanie, gdy ich matki przyszły z nimi na budowę, przynosząc mężom obiad. Według zachowanych relacji dwóch lub trzech robotników wpadło w świeży beton na placu Stalina i tam pozostało, bo wyciąganie ciał było zbyt kosztowne.