Combinando Modelos de Interação para Melhorar a Coordenação em Sistemas Multiagente

Richardson Ribeiro; André Pinz Borges; Adriano Francisco Ronszcka; Edson Emílio Scalabrin; Braulio Coelho Ávila; Fabrício Enembreck

doi:10.22456/2175-2745.8611

Authors

Richardson Ribeiro Universidade Tecnológica Federal do Paraná (UTFPR)
André Pinz Borges Pontifícia Universidade Católica do Paraná - PUCPR
Adriano Francisco Ronszcka Universidade Tecnológica Federal do Paraná (UTFPR)
Edson Emílio Scalabrin Pontifícia Universidade Católica do Paraná - PUCPR
Braulio Coelho Ávila Pontifícia Universidade Católica do Paraná - PUCPR
Fabrício Enembreck Pontifícia Universidade Católica do Paraná - PUCPR

DOI:

https://doi.org/10.22456/2175-2745.8611

Abstract

A contribuição principal deste artigo é a implementação de um método híbrido de coordenação a partir da combinação de modelos de interação desenvolvidos anteriormente. Os modelos de interação são baseados no compartilhamento de recompensas para aprendizagem com múltiplos agentes, no intuito de descobrir de maneira interativa políticas de boa qualidade. A troca de recompensas entre os agentes durante a interação é uma tarefa complexa e se realizada de forma inadequada pode ocasionar atrasos no aprendizado ou até mesmo causar comportamentos inesperados, tornando a cooperação ineficiente e convergindo para uma política não-satisfatória. A partir desses conceitos, o método híbrido utiliza as particularidades de cada modelo, reduzindo possíveis conflitos entre ações com recompensas de políticas diferentes, melhorando a coordenação dos agentes em problemas de aprendizagem por reforço. Resultados experimentais mostram que o método híbrido é capaz de acelerar a convergência, conquistando rapidamente políticas ótimas mesmo em grandes espaços de estados, superando os resultados de abordagens clássicas de aprendizagem por reforço.

Downloads

Download data is not yet available.

Author Biographies

Richardson Ribeiro, Universidade Tecnológica Federal do Paraná (UTFPR)

Doutorado na área da Ciência da Computação - Informática na Pontifícia Universidade Católica do Paraná (PUCPR) (2010). Mestrado em Informática Aplicada pela PUCPR (2006). Graduação em Informática/Sistemas de Informação pela Universidade do Contestado Campus Mafra (2003). Atualmente é professor Adjunto na Universidade Tecnológica Federal do Paraná (UTFPR) campus Pato Branco - PR. Tem interesse nos seguintes temas: Agentes de Software e Sistemas Multiagente, Algoritmos de Aprendizagem por Reforço, Aprendizagem de Máquina e Banco de Dados.

André Pinz Borges, Pontifícia Universidade Católica do Paraná - PUCPR

Mestrado em Informática Aplicada pela PUCPR (2009). Graduação em Bacharelado em Análise de Sistemas pela Universidade Estadual do Centro-Oeste (2007). Atuou como professor na Universidade do Contestado - UnC. Participou de projeto FINEP como pesquisador. Atualmente é bolsista de produtividade do CNPQ nível 6B. Tem experiência na área da Ciência da Computação, com ênfase em Análise de Sistemas, com interesse nos seguintes temas: Agentes de Software e Sistemas Multiagente, Aprendizagem de Máquina, Banco de Dados e Orientação a Objetos.

Adriano Francisco Ronszcka, Universidade Tecnológica Federal do Paraná (UTFPR)

Mestrando em Engenharia Elétrica e Informática Industrial pela Universidade Tecnológica Federal do Paraná (UTFPR). Graduado em Bacharelado em Sistemas de Informação pela Universidade do Contestado (UnC - Mafra-SC) (2009). Tem experiência em programação Java, C++ e SQL. Bolsista atuando em projetos científicos e de extensão. Tem interesse nos seguintes temas: Inteligência Artificial, Sistemas Multiagente, Algoritmos de Otimização e Aprendizagem por Reforço.

Edson Emílio Scalabrin, Pontifícia Universidade Católica do Paraná - PUCPR

Possui graduação em Bacharelado Em Ciência da Computação pela Pontifícia Universidade Católica do Paraná (1990), mestrado em Controle de Sistemas - Universite de Technologie de Compiegne (1993) e doutorado em Controle de Sistemas - Universite de Technologie de Compiegne (1996). Atualmente é professor titular da Pontifícia Universidade Católica do Paraná. Tem experiência na área de Ciência da Computação, atuando principalmente nos seguintes temas:agentes autonomos, modelagem e programação orientada a objetos, inteligência artificial e informática em saúde.

Braulio Coelho Ávila, Pontifícia Universidade Católica do Paraná - PUCPR

Braulio Coelho Avila concluiu o doutorado em engenharia eletrica [SP-Capital] pela universidade de São Paulo em 1996. Atualmente e professor titular da Pontifícia Universidade Católica do Paraná. Publicou 14 artigos em periódicos especializados e 31 trabalhos em anais de eventos. Possui 1 livro publicado. Participou do desenvolvimento de 22 produtos tecnológicos. Orientou 8 dissertações de mestrado, alem de ter orientado 11 trabalhos de iniciação cientifica na área de ciência da computação. Atua na área de ciência da computação, com ênfase em inteligência artificial. Em suas atividades profissionais interagiu com 44 colaboradores em co-autorias de trabalhos científicos.

Fabrício Enembreck, Pontifícia Universidade Católica do Paraná - PUCPR

Possui graduação em Bacharelado em Informática pela Universidade Estadual de Ponta Grossa (1997), mestrado em Informática Aplicada pela Pontifícia Universidade Católica do Paraná (1999) e doutorado em Tecnologias da Informação e de Sistemas - Universite de Technologie de Compiegne (2003). Atualmente é professor adjunto da Pontifícia Universidade Católica do Paraná e pesquisador do Programa de Pós-Graduação em Informática da PUCPR, onde orienta trabalhos de mestrado e doutorado. Tem experiência na área de Ciência da Computação, com ênfase em Arquitetura de Sistemas de Computação, atuando principalmente nos seguintes temas: inteligência artificial distribuída, sistemas multi-agente, agentes adaptativos, recuperação de informação, aprendizagem de máquina.