Infinite horizon control problems under state constraints and Hamilton-Jacobi-Bellman equations

In this thesis we address infinite horizon control problems subject to state constraints. Partial and full sensitivity relations are obtained for nonautonomous optimal control problems in this setting, assuming the associated value function to be locally Lipschitz in the state. We also discuss sufficient conditions for the Lipschitz regularity of the value function. We focus on problems with cost functionals admitting a discount factor and allow time dependent dynamics and Lagrangians. Furthermore, state constraints may be unbounded and may have a nonsmooth boundary. Lipschitz regularity is recovered as a consequence of estimates on the distance of a given trajectory from the set of all its viable (feasible) trajectories, provided the discount rate is sufficiently large. We investigate as well the existence and uniqueness of weak solutions of nonautonomous Hamilton-Jacobi-Bellman equations on the domain (0, ∞) × A. The Hamiltonian is assumed to be merely measurable in time and the set A is closed. When state constraints arise, the classical analysis of the Hamilton-Jacobi-Bellman equation lacks an appropriate notion of solution because continuous solutions may not exist. In this work, we propose a notion of weak solution for which, under a suitable controllability assumption, existence and uniqueness theorems are valid in the class of lower semicontinuous functions vanishing at infinity. Finally, we study an autonomous Hamilton-Jacobi-Bellman equation, with Dirichlet boundary conditions, on a compact subset. We give semiconcavity results on its (unique) solution and sensitivity relations in terms of differential inclusions, extending a known result for the point-to-point sub-Riemannian distance when the Hörmander condition holds true.

In questa tesi vengono affrontati problemi di controllo ad orizzonte infinito soggetti a vincoli di stato. Per tali problemi si ottengono delle relazioni di sensibilità, parziali e complete, nel caso non autonomo, assumendo che la funzione valore associata sia localmente Lipschitz nella variabile di stato. Si forniscono delle condizioni sufficienti per la sua Lipschitzianità quando il funzionale costo è soggetto a un tasso di sconto. La dinamica e la Lagrangiana, inoltre, sono supposte dipendenti dal tempo e i vincoli di stato possono essere non limitati e con frontiera non regolare. La Lipschitzianità è provata come conseguenza delle stime sulla distanza di una determinata traiettoria dall’insieme di tutte le traiettorie ammissibili, a condizione che il tasso di sconto sia sufficientemente grande. Viene inoltre discussa l’esistenza e l’unicità delle soluzioni deboli per le equazioni di Hamilton-Jacobi-Bellman non autonome sul dominio (0,∞)×A. L’Hamiltoniana è supposta soltanto misurabile nel tempo e l’insieme A chiuso. Quando si studiano problemi di controllo soggetti a vincoli di stato, l’analisi classica dell’equazione di Hamilton-Jacobi-Bellman non gode di una nozione appropriata di soluzione poiché le soluzioni potrebbero non essere continue. In questo lavoro ne proponiamo una nozione per la quale, sotto un’opportuna ipotesi di controllabilità, i teoremi di esistenza e unicità sono validi nella classe delle funzioni semicontinue inferiormente che si annullano all’infinito. Infine, viene studiata un’equazione di HamiltonJacobi-Bellman autonoma su un insieme compatto, con condizioni di Dirichlet al bordo. È provata la semiconcavità della sua (unica) soluzione e sono fornite relazioni di sensibilità in termini di inclusioni differenziali, estendendo un noto risultato per la distanza sub-Riemanniana da un punto quando la condizione di Hörmander è verificata.