"Podziękowanie" za służbę
Pod koniec lat 30. w Armii Czerwonej rozpoczęły się czystki stalinowskie, które miały na celu niszczenie ludzi mogących w jakikolwiek sposób zagrozić ówczesnej władzy. Początkowo nie dotknęły one w żadnym stopniu Bystrolotowa, jednak niedługo potem został najpierw zawieszony w obowiązkach szpiega, zawrócony z Berlina, gdzie nawiązywał kontakt z pracownikiem sztabu Wermachtu, a następnie przeniesiony do pracy w Moskiewskiej Izbie Handlowej.
18 września 1938 roku został aresztowany przez NKWD.Początkowo myślał, że to pomyłka. Oskarżono go o działalność na rzecz wrogów kraju. Zgodnie z praktyką sowiecką, udowodnienie winy polegało na wyciągnięciu odpowiednich zeznań, te zaś, zwłaszcza w przypadku niepopełnionych przestępstw, wymuszano torturami.
"No cóż, młody człowieku" - powiedział [Emilowi Draitserowi - przyp. red.] Bystrolotow. "Wierz mi na słowo. Każdego można zmusić do mówienia. Niektórzy mówią od razu, inni trochę później. Ale każdy w końcu mówi".
Skazano go na dwadzieścia pięć lat: dwadzieścia lat obozu pracy na Syberii i pięć zesłania na terenie Rosji.Tym samym trafił do Gułagu, rozległego systemu radzieckich więzień i obozów pracy, gdzie odbył znaczną część wyroku - szesnaście lat. Aresztowanie i skazanie zniszczyło mu rodzinę i zdrowie.