Les travaux présentés dans ce livre concernent l'étude des systèmes stochastiques à savoir: les systèmes à sauts markoviens et les systèmes stochastiques au sens d'Itô. Les problèmes abordés concernent la modélisation, l'analyse de la stabilité, la commande par retour d'état et la commande robuste de ce type des systèmes. Un intérèt particulier a été accordé à la présentation des systèmes stochastiques avec un bref historique et les champs d'applications de ces systèmes. On introduira aussi les outils mathématiques qui serviront par la suite au calcul stochastique ainsi qu'une modélisation mathématique des systèmes stochastiques à sauts markoviens et des systèmes stochastiques au sens d'Itô. Nous avons par la suite abordé le problème d'analyse de la stabilité de ces deux types de systèmes stochastiques. On présentera alors un état de l'art des différentes définitions et théorèmes sur la stabilité des systèmes déterministes et stochastiques en mettant en exergue l'importance de l'approche de Lyapunov et l'intérèt de l'utilisation des algorithmes d'optimisation convexe basés sur les inégalités linéaires matricielles afin de tirer des conditions solvables numériquement.