История улицы берёт своё начало в 1740-х годах, когда был проложен мощённый деревом проезд от Невской перспективы до Загородной дороги. Проезд появился на месте тропы-просеки, проходившей от Троице-Сергиевского подворья к Большой Загородной дороге. Поначалу его называли Головкинским переулком (по имени канцлера Г. И. Головкина, чья дача находилась поблизости), (по другим данным — Головин переулок по имени домовладельца графа Ф. А. Головина).
В 1798 году проезд получил название Троицкого переулка. С 1887 года — Троицкая улица.
Своё современное название улица обрела в 1929 году в честь композитора, пианиста, основателя Петербургской консерватории Антона Григорьевича Рубинштейна, жившего в доме 38.
