Родился в Ленинграде (ныне Санкт-Петербург).

Заниматься гитарой начал еще учась в школе, в 1968 году. Первой заученной песней стала Ticket to Ride «Битлз». Свои собственные песни первое время писал на английском языке, а затем стал сочинять на русском.

В 1971 году - поступил в Ленинградский государственный университет (ныне Санкт-Петербургский государственный университет), на факультет прикладной математики и процессов управления.

В июле 1972 года - во время учебы в ЛГУ вместе со своим школьным приятелем Анатолием Гуницким основал группу «Аквариум».

В 1973 году состоялся сценический дебют Гребенщикова — он выступил на фестивале в Юкках, где под акустическую гитару исполнил песни Кэта Стивенса.

В начале 1974 года - был записан первый альбом группы «Аквариум» под названием «Искушение Святого Аквариума». В течение последующих двух лет коллектив активно выступал и записывал свои песни.

В 1976 году - окончил университет, поступил в аспирантуру и начал работать в Научно-исследовательском институте комплексных социальных исследований (НИИКСИ) младшим научным сотрудником. Продолжал писать песни, выступал с концертами и сотрудничал с экспериментальным студенческим театром ЛГУ. Основал самиздатовский журнал «Рокси».

В 1978 году - вышел магнитоальбом совместно с Майком Науменко «Все братья — сестры».

В 1980 году - «Аквариум» выступил на рок-фестивале в Тбилиси, после чего популярность группы и ее лидера значительно выросла. Однако именно после этого концерта «Аквариум» был запрещен, а Гребенщикова исключили из комсомола и уволили с работы.

В 1981 году - группа стала членом Ленинградского рок-клуба, принимала участие в первых пяти его фестивалях.

С 1982 года - началась активная концертная деятельность коллектива, поездки в Москву, Архангельск, другие города. В этом же году Гребенщиков принял участие в продюсировании первого альбома группы «Кино» «45».

В конце 1980-х годов, после начала перестройки, «Аквариум» получил возможность давать большое количество концертов, выпускать альбомы. В 1987 году фирма грамзаписи «Мелодия» впервые выпустила альбом «Аквариума» «Равноденствие» в виде виниловой пластинки — он был раскуплен всего за несколько часов.

В начале 1990-х годов группа «Аквариум» на некоторое время прекратила свою деятельность. В это время Гребенщиков возглавил другую группу — «БГ-Бэнд». В 1993 году «Аквариум» воссоединился в обновленном составе, коллектив много выступал в странах СНГ и за рубежом.

22 мая 2005 года - начал карьеру радиоведущего: на Радио России стала еженедельно выходить его авторская музыкальная программа «Аэростат».

В 2007 году - состоялся концерт группы «Аквариум» в лондонском Альберт-холле (Royal Albert Hall).

В марте 2013 года - выступил с заявлением о том, что группа «Аквариум» прекращает общение со СМИ и уходит в «партизаны». При этом коллектив сократит количество даваемых концертов, но продолжит работу в студийном формате.

На счету Бориса Гребенщикова более 30 альбомов, выпущенных в составе «Аквариума», сольные пластинки и участие в проектах друзей-музыкантов. Музыка Гребенщикова звучит в таких фильмах, как «Асса» (1987), «Город» (1989), «Дом под звездным небом» (1991), «Азазель» (2002) и многих других.

Награжден орденом «За заслуги перед Отечеством» IV степени (2003).