Scalable learning of probabilistic circuits (2022)
- Authors:
- Autor USP: GEH, RENATO LUI - IME
- Unidade: IME
- Sigla do Departamento: MAC
- DOI: 10.11606/D.45.2022.tde-23052022-122922
- Subjects: APRENDIZADO COMPUTACIONAL; MODELOS PARA PROCESSOS ESTOCÁSTICOS; INTELIGÊNCIA ARTIFICIAL
- Keywords: Aprendizado de máquina; Circuitos probabilísticos; Machine learning; Modelos probabilísticos; Probabilistic circuits; Probabilistic models
- Agências de fomento:
- Language: Inglês
- Abstract: A crescente popularidade de modelos gerativos, assim como o aumento da demanda por modelos que produzam inferência exata e de forma flexível vêm motivando a comunidade de aprendizado de máquina a procurar por modelos probabilísticos que sejam tanto expressivos quanto tratáveis. Circuitos probabilísticos (PC, do inglês probabilistic circuit) são uma família de modelos probabilísticos tratáveis capazes de responder uma vasta gama de consultas de forma exata e em tempo polinomial. Sua sintaxe operacional concretizada por um grafo computacional, junto a sua semântica probabilística possibilitam que seus parâmetros sejam estimados pelas eficientes e altamente escaláveis técnicas utilizadas em aprendizado profundo. Notavelmente, tratabilidade está fortemente ligada às restrições impostas no grafo subjacente: ao impor certas restrições gráficas, consultas como probabilidade marginal, maximum a posteriori ou entropia tornam-se computáveis em tempo linear, ao mesmo tempo retendo alta expressividade. Enquanto que inferência é, de forma geral, descomplicada, a tarefa de aprender PCs de forma que os circuitos tanto observem as restrições estruturais necessárias quanto explorem sua expressividade tem se provado um desafio. O atual estado-da-arte para algoritmos de aprendizado estrutural de PCs pode ser grosseiramente dividido em três categorias principais. A maior parte dos algoritmos de aprendizado buscam gerar um circuito em formato de árvore através de decomposições recursivas nosdados, na maior parte das vezes através de algoritmos de clustering e custosos testes de independência estatística, o que pode tornar o processo inviável em altas dimensões. Alternativamente, outras técnicas envolvem construir uma complexa rede por meio de métodos incrementais iterativos que preservem uma certa estrutura do grafo. Além desta técnica depender de um circuito inicial suficientemente expressivo, tais métodos podem demorar vários minutos por iteração, e muitas iterações até que haja uma melhora visível. Por último, outras alternativas envolvem gerar aleatoriamente um circuito probabilístico através de algum critério. Apesar desta técnica normalmente gerar modelos menos performativos quando comparados com outros métodos, PCs aleatórios são ordens de grandeza mais eficiente em relação a tempo de execução. Com isso em mente, esta dissertação busca propor algoritmos de aprendizado estrutural de PCs que sejam rápidos e escaláveis através de duas lentes distintas: de um ponto de vista lógico, buscamos construir um PC sob variáveis binárias altamente estruturado que tome conhecimento certo na forma de restrições lógicas, e traduza-as em um circuito probabilístico de forma escalável; por meio da ótica de busca por estruturas guiada por dados, nós propomos construir PCs de forma hierárquica por meio de hiperplanos aleatórios. Nós mostramos, de forma empírica, que ambas são competitivas comparadas ao estado-da-arte, e que podemos melhorar sua performance por meio deestratégias simples de ensembles
- Imprenta:
- Data da defesa: 04.04.2022
- Este periódico é de acesso aberto
- Este artigo é de acesso aberto
- URL de acesso aberto
- Cor do Acesso Aberto: gold
- Licença: cc-by-nc-sa
-
ABNT
GEH, Renato Lui. Scalable learning of probabilistic circuits. 2022. Dissertação (Mestrado) – Universidade de São Paulo, São Paulo, 2022. Disponível em: https://www.teses.usp.br/teses/disponiveis/45/45134/tde-23052022-122922/. Acesso em: 03 out. 2024. -
APA
Geh, R. L. (2022). Scalable learning of probabilistic circuits (Dissertação (Mestrado). Universidade de São Paulo, São Paulo. Recuperado de https://www.teses.usp.br/teses/disponiveis/45/45134/tde-23052022-122922/ -
NLM
Geh RL. Scalable learning of probabilistic circuits [Internet]. 2022 ;[citado 2024 out. 03 ] Available from: https://www.teses.usp.br/teses/disponiveis/45/45134/tde-23052022-122922/ -
Vancouver
Geh RL. Scalable learning of probabilistic circuits [Internet]. 2022 ;[citado 2024 out. 03 ] Available from: https://www.teses.usp.br/teses/disponiveis/45/45134/tde-23052022-122922/ - End-to-end imitation learning of lane following policies using sum-product networks
- Fast and accurate learning of probabilistic circuits by random projections
- Learning probabilistic sentential decision diagrams by sampling
- Learning probabilistic sentential decision diagrams under logic constraints by sampling and averaging
Informações sobre o DOI: 10.11606/D.45.2022.tde-23052022-122922 (Fonte: oaDOI API)
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
