Родился в поселке Емецк на Северной Двине. Отец был политработником. К началу Отечественной войны семья переехала в Тотемский край Вологодской области. В 1941 г. отец ушел на фронт. Мать вскоре умерла. Рубцов был отдан в детдом в селе Никольском. В 1950 г., окончив семилетку, переехал в Тотьму и поступил в лесотехнический техникум. В 1952 г., получив паспорт, переехал в Архангельск. Был кочегаром на рыболовецком судне. В 1955 г. перебрался в Ленинград. Работал на заводе. В том же году был призван на Северный флот. С 1957 г. начал печатать свои стихи в газете Северного флота "На страже Заполярья" и в альманахе "Полярное сияние". В 1959 г. вернулся в Ленинград. Работал на Кировском (бывшем Путиловском) заводе. В 1961 г. его стихи были напечатаны в сборнике "Первая плавка", изданном заводским литературным объединением, а также в газете "Вечерний Ленинград". В 1962 г., после окончания школы рабочей молодежи, Рубцов переехал в Москву и поступил в Литературный институт. В восьмом номере журнала "Октябрь" за 1964 г. были опубликованы 5 стихотворений Рубцова. Эта публикация положила начало известности поэта. В начале 1960-х в Северо-Западном издательстве вышла первая небольшая книжка его стихотворений "Лирика". В 1967 г. в Москве был опубликован сборник Рубцова "Звезда полей". В 1969 г. в Вологде выходит другой его сборник - "Душа хранит". К тому времени Рубцов поселяется в Вологде. Этот город, а также земли русского севера с их природой, стали одной из главных тем поэзии Рубцова. Поэт продолжал "крестьянскую" традицию русской лирики. В 1970 г. в Москве вышла его новая книга "Сосен шум". Подготовленный Рубцовым сборник "Зеленые цветы" был опубликован в 1971 г. уже после гибели поэта. 19.01.1971 в результате ссоры он был убит своей подругой.

Похоронен на кладбище близ Вологды.