Родился в Феодосии в семье мещанина.
С 1927 года рабочий в Донбассе.
С 1928 года рабочий на предприятиях Москвы.
В 1929–1931 годах – студент Московского автогенно-сварочного института, преобразованного позже в кафедру сварки МВТУ имени Н. Э. Баумана.
С 1931 года прораб, инженер, заведующий производством, заместитель начальника работ сварочной конторы Кузнецкстроя.
С 1932 года – директор Уральской областной сварочной конторы.
С 1933 года – начальник цеха инженерных конструкций строительства «Азовсталь» в Мариуполе.
В 1934 заочно учился на механическом факультете Донецкого института хозяйственников (не окончил).
С 1937 года – директор завода металлоконструкций на строительстве металлургического комбината «Азовсталь», начальник строительства Криворожского металлургического завода.
В 1939–1946 годах управляющий трестом «Магнитострой». Именно в годы Великой Отечественной войны ярко раскрылись высокие человеческие достоинства Дымшица и его талант руководителя: в рекордно короткие сроки под его руководством было сооружено 42 сложных объекта.
В 1945 году экстерном окончил МВТУ имени Н. Э. Баумана.
В 1946–1950 годах – управляющий трестом «Запорожстрой».
С 1950 года – заместитель министра строительства предприятий тяжелой индустрии СССР.
В 1954–1957 годах – заместитель министра строительства предприятий металлургической и химической промышленности СССР.
В 1957–1959 годах – главный инженер строительства Бхилайского металлургического завода в Индии.
С 1959 года по 1962 год — начальник отдела капитального строительства Госплана СССР – министр СССР.
С 25 апреля 1962 года по 17 июля 1962 года – первый заместитель председателя Госплана СССР – министр СССР.
С 17 июля 1962 года заместитель председателя СМ СССР, одновременно председатель Госплана СССР. Председатель СНХ СССР с 1962 по 1965 год. Председатель Государственного комитета Совета Министров СССР по материально-техническому снабжению с 1965 по 1976 год.
С 1985 года персональный пенсионер союзного значения.