Il FSB non nacque subito dopo la dissoluzione dell'Unione Sovietica, ma venne preceduto dal FSK (Servizio Controspionaggio Federale) attivo dal 1991 al 1995. Il 3 aprile 1995 Boris Eltsin firmò il documento che dava il via alla riorganizzazione e alla espansione del FSK che divenne il FSB attuale.