Convergence and stability analysis of stochastic optimization algorithms
Den här uppsatsen handlar om stokastiska optimerings metoder. Inom områdena Artificiell intelligens och Maskininlärning är det vanligt att man vill skatta parametrar i en statistisk modell för att kunna göra prediktioner. Man använder sig då av en kostnadsfunktion som bestraffar prediktioner som ligger långt ifrån det riktiga värdet och minimerar denna med avseende på de statistiska parametrarna. This thesis is concerned with stochastic optimization methods. The pioneering work in the field is the article “A stochastic approximation algorithm” by Robbins and Monro [1], in which they proposed the stochastic gradient descent; a stochastic version of the classical gradient descent algorithm. Since then, many improvements and extensions of the theory have been published, as well as new version