Nachdem das Sturmgewehr M16 samt zugehöriger 5,56-mm-Munition in den US-Streitkräften eingeführt wurde, begannen in den 1960er Jahren auch in der Sowjetunion Forschungsarbeiten, deren Ziel die Entwicklung eines eigenen kleinkalibrigen Sturmgewehres war. Diese Bestrebungen wurden durch positive Erfahrungen der Amerikaner mit der neuen Munition im Vietnamkrieg verstärkt. Ein weiterer Aspekt war, dass das AK-47 nicht alle gewünschten Anforderungen erfüllte. Bemängelt wurden vor allem die effektive Reichweite sowie schlechte Kontrollierbarkeit bei Feuerstößen.
Das für die Entwicklung der neuen Kleinkalibermunition zuständige Kollektiv unter Führung von Lidia Bulawskaja entwarf eine Patrone mit den metrischen Maßen 5,6 × 41 mm und der Bezeichnung 13MZh. Die mit Bulawskajas Team eng zusammenarbeitende Rüstungsfabrik Izhmasch baute die entsprechende Waffe. Das Gewehr war nichts anderes als ein auf das Kaliber 5,6 mm umgebautes AKM und kann als der Prototyp des AK-74 betrachtet werden. Der Konstrukteur Michail Kalaschnikow äußerte sich gegen eine neue Patrone, da er die Meinung vertrat, das Potential der alten Munition sei nicht völlig ausgereizt.
Das Ergebnis weiterer Forschungen war schließlich die Patrone im Kaliber 5,45 × 39 mm (M74 bzw. 13MZhV) sowie ein neues Sturmgewehr. Obwohl die Entwicklungsarbeiten bereits 1970 abgeschlossen waren, wurde die Waffe erst 1974 als AK-74 (Indexbezeichnung 6P20) eingeführt. Der Grund für die verspätete Einführung war das als Konkurrenzwaffe gedachte Sturmgewehr AL-7. Dessen Entwicklung wurde bei Izhmasch parallel zum AK-74 betrieben. Ausscheidungstests zeigten eine Überlegenheit des AL-7 sowie eines Sturmgewehrs des Konstrukteurs Konstantinow gegenüber dem AK-74. Der Konservatismus des Militärs und die einfache Konstruktion entschieden jedoch den Ausgang der Tests zugunsten des AK-74. Erfahrungen mit dem AL-7 flossen in die Entwicklung der AK-107 ein.