Die Kunst der Diplomatie wurde Sergei Krylow gewissermaßen in die Wiege gelegt. Sein Großvater, der den gleichen Namen führte wie er, gehörte zu den Vätern der UN-Charta und war von 1946 bis 1952 der erste sowjetische Richter am Internationalen Gerichtshof in Den Haag. Der junge Sergei wurde 1966 zum Studium am Moskauer Staatsinstitut für internationale Beziehungen (MGIMO) zugelassen. Während des Studiums spezialisierte er sich auf die Themenkomplexe Außenwirtschaft, Kreditverbindungen und Währungssysteme. Dass er als MGIMO-Absolvent sofort nach seinem Abschluss 1971 in den diplomatischen Dienst übernommen wurde, ist nicht verwunderlich.

Bis zu seinem Ausscheiden aus dem diplomatischen Dienst 2004 bekleidete Krylow eine Reihe wichtiger Positionen im russischen Außenministerium, unter anderem in Zaire, Portugal, der Schweiz und Deutschland. Von 1992 bis 1993 war Krylow Generalsekretär des russischen Ministerium für Auswärtige Angelegenheiten, von 1993 bis 1997 stellvertretender Außenminister. 1997 wurde er als ständiger Vertreter Russlands beim Europäischen Büro der Vereinten Nationen und anderen internationalen Organisationen in Genf eingesetzt. Krylow war außerdem in den Jahren von 1997 bis 2004 Sonderbotschafter der Russischen Föderation in Deutschland.