Nach seinem Studium der Hochfrequenztechnik in Moskau (1956-1962) arbeitete der gebürtige Leipziger zunächst als als Radaringenieur, ehe er sich 1968 für eine Karriere als freischaffender Schriftsteller entschied.

Gosse verfasst vor allem Lyrik und zählt neben Sarah Kirsch und Volker Braun zu den wichtigsten Autoren der sogenannten Sächsischen Dichterschule.

Während seines Studiums in Moskau entdeckte er seine Liebe zur russischen Sprache und Kultur. Er stand und steht in engem Kontakt zu vielen russischsprachigen Autoren und übersetzte u.a. Werke von Bella Achmadulina und Jewgeni Jewtuschenko.
Seit 1985 lehrte er als Dozent für Lyrik am Leipziger Literaturinstitut „Johannes R. Becher“, dessen kommissarischer Direktor er 1993 wurde. Von 2008 bis 2011 war Gosse Stellvertretender Präsident der Sächsischen Akademie der Künste. Darüber hinaus ist er Mitglied im PEN-Zentrum Deutschland.