Toma de decisiones de agentes racionales con procesos markovianos. Avances recientes en economía y finanzas
| Autor | Onésimo Hernández Lerma - Francisco Venegas Martínez |
| Cargo | Departamento de Matemáticas, Centro de Investigación y Estudios Avanzado - Escuela Superior de Economía, Instituto Politécnico Nacional |
| Páginas | 733-779 |
733
TOMA DE DECISIONES DE AGENTES
RACIONALES CON PROCESOS
MARKOVIANOS
Avances recientes en economía y nanzas*
Onésimo Hernández-Lerma
y Francisco Venegas-Martínez**
RESUMEN
En esta investigación se revisa la evolución teórica y práctica de los procesos
markovianos y se resalta su rápido avance y notorio potencial en el modelado de
los procesos de toma de decisiones de agentes racionales. Dichos procesos han
incorporado dinámicas más realistas en el comportamiento de diversas variables
económicas y nancieras que enriquecen el análisis en ambientes con riesgo e in-
certidumbre. Particularmente, se destaca diversas extensiones y reformulaciones de
procesos markovianos de decisión, juegos estocásticos, optimalidad de Blackwell
para procesos de difusión controlados, control óptimo estocástico con procesos
de difusión y su combinación con saltos de Poisson, modelado de series de tiempo
con cadenas de Markov y, por último, redes bayesianas con cadenas de Markov en
conjunción con simulación Monte Carlo (MCMC).
ABSTRACT
This research conducts a review of theoretical and practical developments of Mar-
kov processes in the specialized literature, highlighting their recent advances and
* Palabras clave: modelos de optimación, procesos markovianos, teoría de decisiones, Clasicación
JEL: C60, C73, C81, C70. Artículo recibido el 17 de julio de 2012.
** O. Hernández-Lerma, Departamento de Matemáticas, Centro de Investigación y Estudios Avan-
zados (correo electrónico: ohernand@math.cinvestav.mx). F. Venegas-Martínez, Escuela Superior de
Economía, Instituto Politécnico Nacional (correo electrónico fvenegas1111@yahoo.com.mx).
EL TRIMESTR E ECONÓMICO, vol. LXXIX (4), núm. 316 , octubre-diciem bre de 2012, pp. 73 3-779
EL TRIMESTR E ECONÓMICO
734
showing their potential for their technical goodness, in modeling the decision mak-
ing processes of rational agents adding more realistic dynamics of various economic
and nancial variables. In particular, the paper highlights several extensions and
reformulations of Markov decision processes, stochastic games, stochastic optimal
control with diffusion processes, Blackwell optimality for controlled diffusion pro-
cesses, stochastic optimal control processes with diffusion processes and its combi-
nation with Poisson jumps; time series models with Markov chains, and Bayesian
networks with Markov chains in conjuntion with Monte Carlo simulation (MCMC).
INTRODUCCIÓN
Los modelos deterministas que se utilizan en economía y nanzas, en
general, carecen de utilidad en la generación de pronósticos. Estos mo-
delos tampoco proporcionan explicaciones coherentes con las dinámicas
observadas de las variables en análisis y mucho menos ayudan a describir
el comportamiento racional de los agentes económicos. En consecuencia es
necesario abandonar el paradigma determinista y tomar en cuenta las dis-
tribuciones de variables relevantes con el n de modelar sus dinámicas de
manera más realista. Esto, por supuesto, no es sólo una renación más en el
modelado, sino una necesidad irremisible.
Por otra parte, las lecciones de la crisis mundial 2007-2009 hacen inelu-
dible replantear el modelado del riesgo y la incertidumbre en los procesos
de toma de decisiones de los agentes. Las exigencias mismas de la realidad
contingente han motivado un sinnúmero de extensiones de las teorías exis-
tentes y la reformulación de nuevos paradigmas teóricos. En particular, los
procesos markovianos de decisión, los juegos estocásticos y el control óp-
timo estocástico han tenido un desarrollo notorio en los años recientes,
como se puede apreciar en Prieto-Rumeau y Hernández-Lerma (2012) en
juegos markovianos y cadenas de Markov en tiempo continuo; Guo y Her-
nández-Lerma (2009) en procesos markovianos de decisión en tiempo con-
tinuo; Hernández-Lerma y Lasserre (1996) en criterios de optimalidad de
proceso markovianos controlados en tiempo discreto; Hernández-Lerma
y Lasserre (1999) por sus investigaciones en procesos markovianos contro-
lados en tiempo discreto; Hernández-Lerma y Lasserre (2003) en cuanto a
cadenas de Markov y probabilidades invariantes;1 Hernández-Lerma (1989)
1 Véase también el trabajo de Hernández-Lerma y Lasserre (2001b) de cadenas de Markov y matrices
de Harris.
TOMA DE DEC ISIONES DE AGENT ES RACIONALES 735
por sus aportaciones en procesos markovianos adaptativos, y Hernández-
Lerma (1990) y (1994) por sus contribuciones a los procesos markovianos
en tiempo discreto. Por último, respecto a aplicaciones de procesos marko-
vianos en economía y nanzas destacan los trabajos de Polanco-Gaytán
y Venegas-Martínez (2011) de economía estocástica y Venegas-Martínez,
Torres-Preciado y Tinoco-Zermeño (2010) del modelado estocástico de los
mercados nancieros de capitales, deuda y derivados.
El propósito del presente artículo es realizar una revisión, la cual no pre-
tende ser extensa, de los procesos markovianos, con hincapié en sus avan-
ces y reformulaciones. Muchas de las contribuciones recientes en procesos
markovianos de decisión, juegos estocásticos y control óptimo estocástico
se deben a Onésimo Hernández-Lerma y a sus colaboradores en todo el
mundo. Una ventaja didáctica de las aportaciones de sus investigaciones
en el modelado del proceso de la toma secuencial de decisiones de agen-
tes racionales, en tiempo discreto o continuo y en ambientes con riesgo e
incertidumbre, es que todas sus investigaciones proporcionan una visión
unicada y congruente.
Este trabajo está organizado de la siguiente manera: en la próxima sec-
ción se revisa los procesos markovianos de decisión; en la sección II se es-
tudia los juegos markovianos; en la sección III se examina la optimalidad
de Blackwell para procesos markovianos de difusión controlados; en el
transcurso de la sección IV se revisa la teoría de control óptimo estocásti-
co con procesos markovianos de difusión; en la sección sexta se analiza los
problemas de control óptimo estocástico en tiempo continuo con procesos
markovianos combinados con saltos de Poisson; en la sección VI se presenta
los modelos de series de tiempo que incluyen cadenas de Markov; en la sec-
ción VII se revisa las redes bayesianas con cadenas de Markov y simulación
Monte Carlo (MCMC); por último, se proporciona las conclusiones, desta-
cando las áreas de oportunidad para extender la teoría y desarrollar nuevas
aplicaciones.
I. PROCESOS M ARKOVIANOS DE DECISIÓN
Existen muchos sistemas económicos y nancieros en los que los hechos fu-
turos tienen asociada una distribución de probabilidad que depende sólo del
presente, en cuyo caso podría ser idóneo modelarlos con cadenas de Mar-
kov. Varias preguntas surgen en el comportamiento de una cadena de Markov:
Para continuar leyendo
Solicita tu prueba