Музей имени Н.Г. Рубинштейна был открыт 11 марта 1912 года, когда директором Московской консерватории являлся композитор, дирижер, профессор М.М. Ипполитов-Иванов (1859-1935).
Первый директор Музея имени Н.Г. Рубинштейна - преподаватель по классу альта, инспектор Московской консерватории Е.А. Колчин (1862-1952).
Музей был возрожден в Московской консерватории 1 февраля 1992 года. Имя Н.Г. Рубинштейна было вновь присвоено Музею 30 мая 1995 года. Первая экспозиция Музея - "Московская консерватория. Страницы истории. 1866-1922 гг." открылась в Овальном зале Музея 3 октября 1995 года. Экспозиция "Подарки Музею имени Н.Г. Рубинштейна" открылась в Выставочном зале Музея 27 марта 1997 года.
