Fundamentos de Aprendizagem por Reforço

Rafael Ris-Ala

doi:10.58976/9786500604368

Fundamentos de Aprendizagem por Reforço

inteligência artificial aprendizagem de máquina aprendizagem por reforço ciência da computação engenharia de software

Fundamentos de Aprendizagem por Reforço

Rafael Ris-Ala

Universidade Federal do Rio de Janeiro

https://orcid.org/0000-0003-3182-7724

ISBN: 9786500604368

DOI: https://doi.org/10.58976/9786500604368

Publicado: 9 janeiro 2023

Downloads

Amazon

Sinopse
Descubra como projetar sistemas inteligentes.

Os aplicativos de Inteligência Artificial (IA) trazem agilidade e modernidade para nossas vidas e a técnica de Aprendizagem por Reforço está no ápice dessa tecnologia. Ela é capaz de superar competidores humanos em jogos de estratégia, composições criativas e movimentação autônoma. E só começou a transformar nossa civilização.

Esta obra apresenta uma introdução à IA, especifica as técnicas de Aprendizagem de Máquina e explora diversos aspectos da Aprendizagem por Reforço, abordando os conceitos mais recentes de forma didática e ilustrada.

É destinado a estudantes que querem fazer parte dos avanços tecnológicos e a professores engajados com o desenvolvimento de aplicações inovadoras, auxiliando em desafios acadêmicos e industriais.

Entender os “Fundamentos de Aprendizagem por Reforço” permite a você:
- compreender os conceitos essenciais de IA;
- tornar-se um profissional experiente;
- interpretar problemas de decisão sequencial e resolvê-los com Aprendizagem por Reforço;
- aprender como funciona o algoritmo Q-Learning;
- praticar com o código comentado em Python; e
- encontrar orientações vantajosas.
Capítulos
- Prefácio
- - 1. Introdução
    
    O capítulo 1 (Introdução) destaca as técnicas de Inteligência Artificial e os marcos históricos de Aprendizagem por Reforço.
    
    1.1 Inteligência Artificial
    
    1.2. Aprendizagem de Máquina
    
    1.3. Aprendizagem por Reforço
    
    1.4. Histórico
- - 2. Conceitos
    
    O capítulo 2 apresenta os conceitos essenciais para a compreensão dessa abordagem.
    
    2.1. Cadeia de Markov
    
    2.2. Processo de Decisão de Markov
    
    2.3. Equação de Bellman
    
    2.4. Abordagens dos algoritmos
- - 3. Algoritmo Q-Learning
    
    O capítulo 3 ilustra o passo a passo do funcionamento de um dos algoritmos mais utilizados.
    
    3.1. Funcionamento do algoritmo
    
    3.2. Construção da Tabela-Q
- - 4. Ferramentas de desenvolvimento
    
    O capítulo 4 apresenta ferramentas úteis para o desenvolvimento de soluções em RL.
    
    4.1. OpenAI Gym
    
    4.2. TF-Agents
    
    4.3. Reinforcement Learning Toolbox
    
    4.4. Keras
    
    4.5. Fontes de dados
- - 5. Prática com código
    
    O capítulo 5 demonstra um código comentado com e sem o uso de IA.
    
    5.1. Conhecendo o ambiente
    
    5.2. Usando ações aleatórias
    
    5.3. Treinamento com o algoritmo
    
    5.4. Testando a Tabela-Q
    
    5.5. Testando o agente treinado
- - 6. Aplicações recentes e pesquisas futuras
    
    Por fim, o capítulo 6 traz as aplicações mais recentes de como a RL está impactando diversas áreas do conhecimento.
    
    6.1. Inteligência Artificial Geral
    
    6.2. Jogos de tabuleiro
    
    6.3. Jogos digitais
    
    6.4. Robótica
    
    6.5. Educação
    
    6.6. Mecânica Quântica
    
    6.7. Matemática
- Referências
- Agradecimento
- Biografia
Informações gerais

Detalhes sobre essa publicação

ISBN-13 (15)
9786500604368

Publication date (01)
01/09/2023
Referências
- Alibay, F., Koch, J., Verma, V., Bean, K., Toupet, O., Petrizzo, D., Chamberlain-Simon, B., Lange, R., & Hogg, R. (2022). On the Operational Challenges of Coordinating a Helicopter and Rover Mission on Mars. 2022 IEEE Aerospace Conference (AERO), 1–17. https://doi.org/10.1109/AERO53065.2022.9843670
- Badia, A. P., Piot, B., Kapturowski, S., Sprechmann, P., Vitvitskyi, A., Guo, D., & Blundell, C. (2020). Agent57: Outperforming the Atari Human Benchmark. 37th International Conference on Machine Learning, ICML 2020, PartF168147-1, 484–494.
- Balaji, Y., Nah, S., Huang, X., Vahdat, A., Song, J., Kreis, K., Aittala, M., Aila, T., Laine, S., Catanzaro, B., Karras, T., & Liu, M.-Y. (2022). eDiff-I: Text-to-Image Diffusion Models with an Ensemble of Expert Denoisers. https://doi.org/https://doi.org/10.48550/arXiv.2211.01324
- Barto, A. G., Bradtke, S. J., & Singh, S. P. (1995). Learning to act using real-time dynamic programming. Artificial Intelligence, 72(1–2), 81–138. https://doi.org/10.1016/0004-3702(94)00011-O
- Beattie, C., Leibo, J. Z., Teplyashin, D., Ward, T., Wainwright, M., Küttler, H., Lefrancq, A., Green, S., Valdés, V., Sadik, A., Schrittwieser, J., Anderson, K., York, S., Cant, M., Cain, A., Bolton, A., Gaffney, S., King, H., Hassabis, D., … Petersen, S. (2016). DeepMind Lab.
- Bellemare, M. G., Naddaf, Y., Veness, J., & Bowling, M. (2013). The Arcade Learning Environment: An Evaluation Platform for General Agents. Journal of Artificial Intelligence Research, 47, 253–279. https://doi.org/10.1613/jair.3912
- Bellman, R. (1954). The theory of dynamic programming. Bulletin of the American Mathematical Society, 60(6), 503–515. https://doi.org/10.1090/S0002-9904-1954-09848-8
- Bellman, R. (1957). A Markovian decision process. Journal of Mathematics and Mechanics, 679–684.
- Brafman, R. I., & Tennenholtz, M. (2000). A near-optimal polynomial time algorithm for learning in certain classes of stochastic games. Artificial Intelligence, 121(1–2), 31–47. https://doi.org/10.1016/S0004-3702(00)00039-4
- Brockman, G., Cheung, V., Pettersson, L., Schneider, J., Schulman, J., Tang, J., & Zaremba, W. (2016). OpenAI Gym. https://doi.org/https://doi.org/10.48550/arXiv.1606.01540
- Chang, H., Zhang, H., Barber, J., Maschinot, A., Lezama, J., Jiang, L., Yang, M.-H., Murphy, K., Freeman, W. T., Rubinstein, M., Li, Y., & Krishnan, D. (2023). Muse: Text-To-Image Generation via Masked Generative Transformers. https://doi.org/10.48550/arxiv.2301.00704
- Dartmouth, V. (2022). Artificial Intelligence (AI) Coined at Dartmouth. Vox of Dartmouth. https://home.dartmouth.edu/about/artificial-intelligence-ai-coined-dartmouth
- Dearden, R., Friedman, N., & Andre, D. (1999). Model based Bayesian Exploration. https://doi.org/10.5555/2073796.2073814
- Dearden, R., Friedman, N., & Russell, S. (1998). Bayesian Q-learning.
- Deitke, M., VanderBilt, E., Herrasti, A., Weihs, L., Salvador, J., Ehsani, K., Han, W., Kolve, E., Farhadi, A., Kembhavi, A., & Mottaghi, R. (2022). ProcTHOR: Large-Scale Embodied AI Using Procedural Generation. https://doi.org/10.48550/arxiv.2206.06994
- Dietterich, T. G. (2000). Hierarchical reinforcement learning with the MAXQ value function decomposition. Journal of Artificial Intelligence Research, 13, 227–303.
- Dulac-Arnold, G., Mankowitz, D., & Hester, T. (2019). Challenges of Real-World Reinforcement Learning.
- Einstein, A., Podolsky, B., & Rosen, N. (1935). Can quantum-mechanical description of physical reality be considered complete? Physical Review, 47(10), 777–780. https://doi.org/10.1103/PHYSREV.47.777/FIGURE/1/THUMB
- Fawzi, A., Balog, M., Huang, A., Hubert, T., Romera-Paredes, B., Barekatain, M., Novikov, A., R. Ruiz, F. J., Schrittwieser, J., Swirszcz, G., Silver, D., Hassabis, D., & Kohli, P. (2022). Discovering faster matrix multiplication algorithms with reinforcement learning. Nature, 610(7930), 47–53. https://doi.org/10.1038/s41586-022-05172-4
- Ferraz, A. (2022). Embedded Machine Learning for Person Detection.
- Gauci, J., Conti, E., Liang, Y., Virochsiri, K., He, Y., Kaden, Z., Narayanan, V., Ye, X., Chen, Z., & Fujimoto, S. (2018). Horizon: Facebook’s Open Source Applied Reinforcement Learning Platform.
- Google Colab. (2022). Welcome to Colaboratory - Colaboratory. Getting Started - Introduction. https://colab.research.google.com/
- Govindarajan, M., & Salunkhe, S. (2022). Reinforcement Learning for a Self-Balancing Motorcycle. https://create.arduino.cc/projecthub/metrowest_aug/reinforcement-learning-for-a-self-balancing-motorcycle-719b40
- Hilgard, E. R., & Bower, G. H. (1975). Theories of learning (4th editio). Prentice-Hall.
- Holz, D. (2022). Midjourney. https://www.midjourney.com/
- Jardim, R., Delgado, C., & Schneider, D. (2022). Data science supporting a question classifier model. Procedia Computer Science, 199, 1237–1243. https://doi.org/10.1016/J.PROCS.2022.01.157
- Jardim, R. R. J., Delgado, C., & Silva, M. F. (2022). CLIQ! Intelligent Question Classifier for the elaboration of exams. Software Impacts, 13. https://doi.org/10.1016/J.SIMPA.2022.100345
- Juliani, A., Berges, V.-P., Teng, E., Cohen, A., Harper, J., Elion, C., Goy, C., Gao, Y., Henry, H., Mattar, M., & Lange, D. (2018). Unity: A General Platform for Intelligent Agents.
- Kansal, S., & Martin, B. (2021). Reinforcement Q-Learning from Scratch in Python with OpenAI Gym. Web Page. https://www.learndatasci.com/tutorials/reinforcement-q-learning-scratch-python-opena
- Kearns, M., & Singh, S. (2002). Near-Optimal Reinforcement Learning in Polynomial Time. Machine Learning 2002 49:2, 49(2), 209–232. https://doi.org/10.1023/A:1017984413808
- Kober, J., Bagnell, J. A., & Peters, J. (2013). Reinforcement learning in robotics: A survey. The International Journal of Robotics Research, 32(11), 1238–1274. https://doi.org/10.1177/0278364913495721
- Kurach, K., Raichuk, A., Stańczyk, P., Zając, M., Bachem, O., Espeholt, L., Riquelme, C., Vincent, D., Michalski, M., Bousquet, O., & Gelly, S. (2020). Google Research Football: A Novel Reinforcement Learning Environment. Proceedings of the AAAI Conference on Artificial Intelligence, 34(04), 4501–4510. https://doi.org/10.1609/aaai.v34i04.5878
- Leike, J., Martic, M., Krakovna, V., Ortega, P. A., Everitt, T., Lefrancq, A., Orseau, L., & Legg, S. (2017). AI Safety Gridworlds.
- Melo, D. C., Maximo, M. R. O. A., & da Cunha, A. M. (2022). Learning Push Recovery Behaviors for Humanoid Walking Using Deep Reinforcement Learning. Journal of Intelligent & Robotic Systems, 106(1), 8. https://doi.org/10.1007/s10846-022-01656-7
- Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., Graves, A., Riedmiller, M., Fidjeland, A. K., Ostrovski, G., Petersen, S., Beattie, C., Sadik, A., Antonoglou, I., King, H., Kumaran, D., Wierstra, D., Legg, S., & Hassabis, D. (2015). Human-level control through deep reinforcement learning. Nature, 518(7540), 529–533. https://doi.org/10.1038/nature14236
- Moreira, M. Â. L., Gomes, C. F. S., dos Santos, M., da Silva Júnior, A. C., & de Araújo Costa, I. P. (2022). Sensitivity Analysis by the PROMETHEE-GAIA method: Algorithms evaluation for COVID-19 prediction. Procedia Computer Science, 199, 431–438. https://doi.org/10.1016/J.PROCS.2022.01.052
- Moreira, M. Â. L., Junior, C. de S. R., Silva, D. F. de L., de Castro Junior, M. A. P., Costa, I. P. de A., Gomes, C. F. S., & dos Santos, M. (2022). Exploratory analysis and implementation of machine learning techniques for predictive assessment of fraud in banking systems. Procedia Computer Science, 214, 117–124. https://doi.org/10.1016/j.procs.2022.11.156
- Muzio, A. F. V., Maximo, M. R. O. A., & Yoneyama, T. (2022). Deep Reinforcement Learning for Humanoid Robot Behaviors. Journal of Intelligent & Robotic Systems, 105(1), 12. https://doi.org/10.1007/s10846-022-01619-y
- Narendra, K. S., & Thathachar, M. A. L. (1974). Learning Automata - A Survey. IEEE Transactions on Systems, Man, and Cybernetics, SMC-4(4), 323–334. https://doi.org/10.1109/TSMC.1974.5408453
- Neumann, J. . von, & Richtmyer, R. D. (1947). Statistical Methods in Neutron Diffusion. In Analogies Between Analogies (pp. 17–36). University of California Press. https://doi.org/10.1525/9780520322929-004
- Nobel Prizes. (2022). Ivan Pavlov - Biography. http://www.nobelprize.org/nobel_prizes/medicine/laureates/1904/pavlov-bio.html
- NobelPrize.org. (n.d.). The Nobel Prize in Physics 2022. Nobel Prize Outreach AB 2022. Retrieved October 11, 2022, from https://www.nobelprize.org/prizes/physics/2022/summary/
- Oh, J., Hessel, M., Czarnecki, W. M., Xu, Z., van Hasselt, H., Singh, S., & Silver, D. (2020). Discovering reinforcement learning algorithms. Advances in Neural Information Processing Systems, 2020-Decem. https://doi.org/10.5555/3495724.3495814
- OpenAI. (2022). ChatGPT: Optimizing Language Models for Dialogue. https://openai.com/blog/chatgpt/
- Ramesh, A., Dhariwal, P., Nichol, A., Chu, C., & Chen, M. (2022). Hierarchical Text-Conditional Image Generation with CLIP Latents. https://doi.org/https://doi.org/10.48550/arXiv.2204.06125
- Rombach, R., Blattmann, A., Lorenz, D., Esser, P., & Ommer, B. (2022). High-Resolution Image Synthesis with Latent Diffusion Models. 10674–10685. https://doi.org/10.1109/cvpr52688.2022.01042
- Ros, G., Sellart, L., Materzynska, J., Vazquez, D., & Lopez, A. M. (2016). The SYNTHIA Dataset: A Large Collection of Synthetic Images for Semantic Segmentation of Urban Scenes.
- Rummery, G. A., & Niranjan, M. (1994). On-line Q-learning using connectionist systems. Undefined.
- Russell, S., & Norvig, P. (2021). Artificial Intelligence: A Modern Approach (4th-Glob ed.). Perarson.
- Saba, W. (2021). Reward is NOT Enough, and Neither is (Machine) Learning | by Walid Saba, PhD | ONTOLOGIK | Medium. https://medium.com/ontologik/reward-is-not-enough-and-neither-is-machine-learning-6f9896274995
- Samuel, A. L. (2000). Some studies in machine learning using the game of checkers. IBM Journal of Research and Development, 44(1–2), 207–219. https://doi.org/10.1147/rd.441.0206
- Savva, M., Kadian, A., Maksymets, O., Zhao, Y., Wijmans, E., Jain, B., Straub, J., Liu, J., Koltun, V., Malik, J., Parikh, D., & Batra, D. (2019). Habitat: A Platform for Embodied AI Research.
- Schrittwieser, J., Antonoglou, I., Hubert, T., Simonyan, K., Sifre, L., Schmitt, S., Guez, A., Lockhart, E., Hassabis, D., Graepel, T., Lillicrap, T., & Silver, D. (2020). Mastering Atari, Go, chess and shogi by planning with a learned model. Nature, 588(7839), 604–609. https://doi.org/10.1038/s41586-020-03051-4
- Schultz, W., Dayan, P., & Montague, P. R. (1997). A Neural Substrate of Prediction and Reward. Science, 275(5306), 1593–1599. https://doi.org/10.1126/science.275.5306.1593
- Silver, D., Hubert, T., Schrittwieser, J., Antonoglou, I., Lai, M., Guez, A., Lanctot, M., Sifre, L., Kumaran, D., Graepel, T., Lillicrap, T., Simonyan, K., & Hassabis, D. (2018). A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play. Science, 362(6419), 1140–1144. https://doi.org/10.1126/science.aar6404
- Silver, D., Schrittwieser, J., Simonyan, K., Antonoglou, I., Huang, A., Guez, A., Hubert, T., Baker, L., Lai, M., Bolton, A., Chen, Y., Lillicrap, T., Hui, F., Sifre, L., Van Den Driessche, G., Graepel, T., & Hassabis, D. (2017). Mastering the game of Go without human knowledge. Nature, 550(7676), 354–359. https://doi.org/10.1038/nature24270
- Silver, D., Singh, S., Precup, D., & Sutton, R. S. (2021). Reward is enough. Artificial Intelligence, 299, 103535. https://doi.org/10.1016/J.ARTINT.2021.103535
- Simm, G. N. C., Pinsler, R., & Hernández-Lobato, J. M. (2020). Reinforcement learning for molecular design guided by quantum mechanics. In 37th International Conference on Machine Learning, ICML 2020 (Vol. PartF16814, pp. 8906–8916). PMLR.
- Simões, M. A. C., Mascarenhas, G., Fonseca, R., dos Santos, V. M. P., Mascarenhas, F., & Nogueira, T. (2022). BahiaRT Setplays Collecting Toolkit and BahiaRT Gym. Software Impacts, 14, 100401. https://doi.org/10.1016/j.simpa.2022.100401
- Singh, B., Kumar, R., & Singh, V. P. (2022). Reinforcement learning in robotic applications: a comprehensive survey. Artificial Intelligence Review, 55(2), 945–990. https://doi.org/10.1007/s10462-021-09997-9
- Singla, A., Rafferty, A. N., Radanovic, G., & Heffernan, N. T. (2021). Reinforcement Learning for Education: Opportunities and Challenges Overview of the RL4ED workshop at EDM 2021 conference *.
- Souza, G. K. B., & Ottoni, A. L. C. (2021). AutoRL-TSP-RSM: sistema de aprendizado por reforço automatizado com metodologia de superfície de resposta para o problema do caixeiro viajante. Revista Brasileira de Computação Aplicada, 13(3), 86–100. https://doi.org/10.5335/rbca.v13i3.12653
- Strassen, V. (1969). Gaussian elimination is not optimal. Numerische Mathematik, 13(4), 354–356. https://doi.org/10.1007/BF02165411
- Sutton, R. S. (1988). Learning to predict by the methods of temporal differences. Machine Learning 1988 3:1, 3(1), 9–44. https://doi.org/10.1007/BF00115009
- Sutton, R. S. (1990). Integrated Architectures for Learning, Planning, and Reacting Based on Approximating Dynamic Programming. In Machine Learning Proceedings 1990 (pp. 216–224). Elsevier. https://doi.org/10.1016/B978-1-55860-141-3.50030-4
- Sutton, R. S., & Barto, A. G. (1998). Reinforcement Learning: An Introduction. A Bradford Book.
- Sutton, R. S., & Barto, A. G. (2020). Reinforcement Learning: An Introduction (second edi). The MIT Press.
- Tassa, Y., Doron, Y., Muldal, A., Erez, T., Li, Y., Casas, D. de Las, Budden, D., Abdolmaleki, A., Merel, J., Lefrancq, A., Lillicrap, T., & Riedmiller, M. (2018). DeepMind Control Suite.
- Thorndike, E. (1911). Animal intelligence: experimental studies. The Macmillan Company.
- Turing, A. M. (1950). Computer Machinery and Intelligence. Mind, LIX(236), 433–460. https://doi.org/10.1093/mind/LIX.236.433
- Vamplew, P., Smith, B. J., Källström, J., Ramos, G., Rădulescu, R., Roijers, D. M., Hayes, C. F., Heintz, F., Mannion, P., Libin, P. J. K., Dazeley, R., & Foale, C. (2022). Scalar reward is not enough: a response to Silver, Singh, Precup and Sutton (2021). Autonomous Agents and Multi-Agent Systems, 36(2), 1–19. https://doi.org/10.1007/S10458-022-09575-5/FIGURES/2
- Vinyals, O., Babuschkin, I., Czarnecki, W. M., Mathieu, M., Dudzik, A., Chung, J., Choi, D. H., Powell, R., Ewalds, T., Georgiev, P., Oh, J., Horgan, D., Kroiss, M., Danihelka, I., Huang, A., Sifre, L., Cai, T., Agapiou, J. P., Jaderberg, M., … Silver, D. (2019). Grandmaster level in StarCraft II using multi-agent reinforcement learning. Nature, 575(7782), 350–354. https://doi.org/10.1038/s41586-019-1724-z
- Vinyals, O., Ewalds, T., Bartunov, S., Georgiev, P., Vezhnevets, A. S., Yeo, M., Makhzani, A., Küttler, H., Agapiou, J., Schrittwieser, J., Quan, J., Gaffney, S., Petersen, S., Simonyan, K., Schaul, T., van Hasselt, H., Silver, D., Lillicrap, T., Calderone, K., … Tsing, R. (2017). StarCraft II: A New Challenge for Reinforcement Learning.
- Watkins, C. J. C. H., & Dayan, P. (1992). Q-Learning. Machine Learning, 8(3), 279–292. https://doi.org/10.1023/A:1022676722315
- Watson, J. B. (1913). Psychology as the behaviorist views it. Psychological Review, 20(2), 158–177. https://doi.org/10.1037/h0074428
- Werbos, P. (1977). Advanced forecasting methods for global crisis warning and models of intelligence. General System Yearbook, 25–38.
- Zhang, H., & Yu, T. (2020). Taxonomy of reinforcement learning algorithms. In Deep Reinforcement Learning: Fundamentals, Research and Applications (pp. 125–133). Springer Singapore. https://doi.org/10.1007/978-981-15-4095-0_3