Уже в первые дни фашистской оккупации Таганрога начались массовые расстрелы. 29 октября 1941 года по требованию немецкого коменданта майора Альберти, его заместителя капитана Эрлиха и их пособников — начальника полиции Юрия Кирсанова и его заместителя Бориса Стоянова — таганрогские евреи явились на одну из городских площадей. В тот же день несколько тысяч собравшихся, включая полторы тысячи детей, были расстреляны на окраине города в Петрушинской балке. Та же участь вскоре постигла и тех, кто уклонился от явки. Массовые казни в «балке смерти» продолжались до 6 августа 1943 года. За годы оккупации зондеркомандой СС в общей сложности там было умерщвлено до 10 тысяч горожан. Своя «балка» была и у цыганского населения Таганрога: в хуторе Шубино на северной окраине города за период оккупации расстреляли около тысячи цыган
Таганрогцы старались спасти обречённых на смерть. Известен подвиг Анны Покровской, которая на протяжении всей оккупации укрывала в подвале своего дома двух евреев — подростка и молодую актрису. В 1996 году посол Израиля в России вручил ей медаль «Праведник народов мира».
Картонный цех фабрики обувных деталей, разрушенный немецкими оккупантами
© Из фондов Таганрогского государственного литературного и историко-архитектурного музея-заповедника
В рамках «нового порядка» шёл планомерный грабёж городского имущества — всё ценное, включая промышленное оборудование, вывозилось в Германию. Для населения от 14 до 65 лет была введена трудовая повинность. На судостроительном, литейно-механическом и других предприятиях города работало до 15 тысяч человек, в городском управлении — ещё свыше шести тысяч. Около 14 тысяч безработных в марте 1942 года были принудительно отправлены на Украину на сельскохозяйственные работы. С апреля того же года горожан стали массово угонять на работу в Германию. По данным немецкой комендатуры, в 1942 году эта участь постигла свыше 11 тысяч человек, а в 1943 году — ещё около семи тысяч, включая четыре тысячи детей. По сведениям той же комендатуры, на январь 1943 года в Таганроге проживало менее 90 тысяч человек, то есть на 50 тысяч меньше, чем в декабре 1941 года.
Печальная страница в истории Таганрога периода оккупации — сотрудничество местного населения с захватчиками. Известны имена как минимум 400 таганрогцев, так или иначе запятнавших себя причастностью к преступлениям нацистов: явно или тайно служивших в полиции, сотрудничавших в редакции газеты «Новое слово», работавших на бирже труда. Таганрог стал одним из немногих советских городов, где была сформирована полувоенная добровольческая «Русская вспомогательная полиция», которую оккупанты привлекали к проведению карательных акций. Некоторые коллаборационисты были уничтожены подпольщиками, другие пойманы, разоблачены и расстреляны при попытке бежать в ходе приближения к городу советских войск (в их числе упомянутые полицаи Кирсанов и Стоянов). Последние таганрогские пособники фашистов понесли наказание в 1960-е годы.
Газета «Новое слово» № 80 от 19 сентября 1942г., выпускавшаяся в г. Таганроге немецкими властями в период оккупации © Из фондов Таганрогского государственного литературного и историко-архитектурного музея-заповедника
В конце августа 1943 года, накануне освобождения, Таганрог, по свидетельству очевидцев, был охвачен пожаром. Однако скрыть свои преступления фашистам не удалось. Уже 1 сентября в Петрушинской балке началась выемка трупов. Сохранились описания этой процедуры, сделанные со слов очевидцев. Благодаря им преступления фашистских оккупантов стали известны не только в СССР, но получили и мировую огласку: зверства гитлеровцев в Таганроге отражены в документах Нюрнбергского трибунала.