Родился в городе Копейске Челябинской области.

С 1958 года по 1965 год - учился в музыкальной школе по классу скрипки.

В 1974 году - окончил Музыкально-педагогический институт (ныне Российская академия музыки) имени Гнесиных по классу вокала.

С 1975 года по 1976 год - учился в Московской консерватории по классу композиции (класс Тихона Хренникова).

В конце 1963 года - выступал в интерклубе МГУ вместе с группой польских студентов «Тараканы».

В 1965 году - вместе с Михаилом Турковым он организовал вокально-инструментальную группу «Славяне» — третью по счету в истории советской рок-музыки, а в 1966 году — группу «Скоморохи», которая стала опираться исключительно на песни и композиции собственного сочинения и на русском языке.

В 1971 году - ВИА «Скоморохи» были удостоены гран-при Всесоюзного фестиваля в городе Горьком (ныне Нижний Новгород). Группа и сам Градский приобрели широкую известность, они начали записываться на радио и гастролировать по стране.

В 1973 году - кинорежиссер Андрей Михалков-Кончаловский предложил Градскому участвовать в создании его фильма «Романс о влюбленных» в качестве певца, автора песен, части стихов и всей музыки.

После выхода картины на экраны в 1974 году был выпущен первый сольный альбом Градского с музыкой из фильма, за который музыкальный журнал Billboard удостоил его титула «Звезда года» за вклад в мировую музыку.

Дискография Градского насчитывает более четырех десятков альбомов. Среди его музыкальных дисков — «Русские песни» (1980), «Размышления шута» (1987), «Утопия А.Г.» (1987), «Ностальгия» (1988), «Монте-Кристо» (1989), «Экспедиция» (1990), «Несвоевременные песни» (1994), «Фрукты с кладбища» (1994) и другие.

В 2003 году - выпустил этапный диск «Хрестоматия», в записи которого приняли участие многие известные инструменталисты, симфонический оркестр и детский хор.

Он является автором музыки более чем к 40 художественным фильмам, нескольким десяткам документальных и мультипликационных фильмов.

Является автором первой советской рок-оперы «Стадион» (1973), посвященной памяти чилийского певца Виктора Хары, музыки к первому отечественному рок-балету «Человек» по роману Редьярда Киплинга.

Работал в совместных проектах и концертах с такими известными исполнителями, как Лайза Минелли, Шарль Азнавур, Джон Денвер, Крис Кристоферссон, Дайяна Уорвик, Сэмми Дэвис, Синди Петерсон и многими другими.

Член Союза композиторов России.

Народный артист РФ (1999). Лауреат Государственной премии РФ (1998).

Имеет звание «Заслуженный деятель искусств Российской Федерации» (1997).