incluye bibliografía e indices

Markov Chain Structure and Models
Historical Note
States and Transitions
Model of the Weather
Random Walks
Estimating Transition Probabilities
Multiple-Step Transition Probabilities
State Probabilities after Multiple Steps
Classification of States
Markov Chain Structure
Markov Chain Models
Problems
References

Regular Markov Chains
Steady State Probabilities
First Passage to a Target State
Problems
References

Reducible Markov Chains
Canonical Form of the Transition Matrix
The Fundamental Matrix
Passage to a Target State
Eventual Passage to a Closed Set Within a Reducible Multichain
Limiting Transition Probability Matrix
Problems
References

A Markov Chain with Rewards (MCR)
Rewards
Undiscounted Rewards
Discounted Rewards
Problems
References

A Markov Decision Process (MDP)
An Undiscounted MDP
A Discounted MDP
Problems
References

Special Topics: State Reduction and Hidden Markov Chains
State Reduction
An Introduction to Hidden Markov
Problems
References
Index

Este libro presenta una introducción a finitas cadenas de Markov y procesos de decisión de Markov, con aplicaciones en ingeniería y gestión. Se introduce en tiempo discreto, cadenas de Markov de estados finitos, y los procesos de decisión de Markov. El texto describe ambos algoritmos y aplicaciones, permitiendo a los estudiantes a comprender la base lógica para los algoritmos y ser capaz de aplicarlos. Las aplicaciones frente a los problemas en el gobierno, las empresas y los sectores sin fines de lucro. El autor utiliza los modelos de Markov para aproximar el comportamiento aleatorio de los sistemas complejos en diversas áreas, tales como la gestión, la producción, la ciencia, la educación, los servicios de salud, finanzas y marketing