Stösser wurde 1792 in Karlsruhe in eine Familie geboren, die zahlreiche hohe Staatsbeamte hervorbrachte. Er ist Beispiel für eine wissenschaftlich ausgebildete und intelligente Generation von Leistungsbeamten, die in Baden in der ersten Hälfte des 19. Jahrhunderts für eine effiziente und moderne Staatsverwaltung standen. Nach Abschluss des rechtswissenschaftlichen Studiums in Heidelberg 1812 und der anschließenden praktischen Ausbildung kam Stösser 1815 als dritter Beamter an das Stadtamt von Karlsruhe.
1832 Rückkehr in die Fächerstadt
Dieses war kein Organ kommunaler Selbstverwaltung, sondern das unterste staatliche Verwaltungsorgan. Als Oberamtmann übernahm er 1823 das Landamt Emmendingen. Das Ministerium des Innern unter dem liberal reformorientierten Minister Ludwig Georg Winter berief ihn 1832 nach Karlsruhe zurück. Mit seiner hervorragenden Auffassungsgabe bereitete Stösser zahlreiche Gesetzesvorlagen für die Modernisierung der badischen Verkehrs- und Wirtschaftsstruktur vor, war auch 1836 im Vorbereitungskomitee zum Eisenbahnbau. Zwischen 1835 und 1839 gehörte er der Zweiten Kammer des Ständehauses an und zählte zur gemäßigt fortschrittlichen Richtung.
Auch im Ruhestand engagiert
Nach dem Tod Winters sah er im Ministerium wie in der Politik keine Zukunft für sich, konnte 1839 das Stadtamt Karlsruhe als Direktor übernehmen und bis zum Ruhestand 1853 leiten. Im selben Jahr verlieh ihm die Stadt Karlsruhe die Ehrenbürgerwürde, der Großherzog erhob ihn in den Adelsstand. Im Ruhestand engagierte sich der religiöse Protestant in der Landeskirche, war zeitweise Synodalmitglied. Er gehörte Vorständen und Aufsichtsräten wirtschaftlicher und kultureller Institutionen an. Im Sozialen ist sein Name besonders als Vorsitzender des Verwaltungsrats des ersten Karlsruher Waisenhauses beim Karlstor verbunden.
Karl August Franz von Stösser starb am 12. Juli 1874 in Karlsruhe. Die Stösserstraße in Mühlburg wurde ihm zu Ehren anlässlich des Neubaus des Waisenhauses 1899, darin heute die Firma Kondima, umbenannt.