Tese

A deep reinforcement learning approach for voltage and frequency control of microgrids with power hardware-in-the-loop validation (2025)

• Authors:
  • Barbalho, Pedro Inácio de Nascimento e
  • Coury, Denis Vinicius (Orientador)
• Autor USP: BARBALHO, PEDRO INÁCIO DE NASCIMENTO E - EESC
• Unidade: EESC
• Sigla do Departamento: SEL
• DOI: 10.11606/T.18.2025.tde-10032025-155823
• Subjects: APRENDIZAGEM PROFUNDA; SISTEMAS DE CONTROLE; REDES DE DISTRIBUIÇÃO DE ENERGIA ELÉTRICA; RECURSOS ENERGÉTICOS
• Keywords: Aprendizado profundo por reforço.; Controle hierárquico.; Controle de microrredes.
• Agências de fomento:
  • Financiamento FAPESP
  • Financiamento CNPq
• Language: Inglês
• Abstract: Ao longo da modernização do sistema de distribuição, surgiram os recursos energéticos distribuídos (REDs), caracterizados por sua proximidade às cargas e controle local. Nesse contexto, as microrredes (MRs) emergiram para coordenar esses recursos com as cargas locais, melhorando a eficiência energética e a confiabilidade da rede. Os controladores das MRs devem se adaptar a diferentes condições operacionais sem deterioração do desempenho. No entanto, controladores clássicos não conseguem operar corretamente caso o sistema se afaste do equilíbrio devido à dinâmica não linear das MRs. Portanto, pesquisadores têm explorado algoritmos adaptativos, como os baseados em aprendizado profundo por reforço, do inglês, Deep Reinforcement Learning (DRL). Esta Tese propôs uma abordagem de DRL para o controle de tensão e frequência em MRs ilhadas. Soluções existentes abordaram este problema otimizando a sintonia de controladores tradicionais, geralmente utilizando redes neurais artificiais profundas que demandam um grande esforço computacional. Assim, a presente Tese propôs uma estrutura para treinamento otimizado do controlador baseado em DRL, que opera diretamente a MR. A estrutura proposta é dividida em: i) modelagem da MR, ii) interação ambiente-agente, iii) projeto da função de recompensa, iv) parametrização do algoritmo de DRL, v) testes de simulação, vi) testes de controlador hardware-in-theloop (HIL) e vii) validação em Power HIL. A MR foi modelada no Simulink utilizando o modofasorial discreto, que permite utilizar um modelo da MR que preserve as dinâmicas essenciais para o algoritmo de DRL e, enfim, demande menor esforço computacional durante o treinamento do controlador. Em seguida, definiram-se as interações ambiente-agente, selecionando adequadamente as entradas e saídas do controlador baseado em DRL e os cenários mais adequados para o treinamento. Posteriormente, foram definidas abordagens para a construção da função de recompensa também, pois o aprendizado do controlador depende da realimentação adequada, através dessa função. Esta Tese também propôs uma estratégia para a parametrização do algoritmo de DRL e testes de simulação para garantir que o controlador generalize seu aprendizado. A abordagem proposta possibilita a implementação de agentes baseados em DRL para o controle de tensão e frequência de MRs, viáveis para implementações no mundo real, com baixo custo computacional e que generalizam seu aprendizado para condições críticas de operação
• Imprenta:
  • Publisher place: São Carlos
  • Date published: 2025
• Data da defesa: 05.02.2025

Informações sobre o DOI: 10.11606/T.18.2025.tde-10032025-155823 (Fonte: oaDOI API)
• Este periódico é de acesso aberto
• Este artigo é de acesso aberto
• URL de acesso aberto
• Cor do Acesso Aberto: gold
• Licença: cc-by-nc-sa

---

How to cite

A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas

• ABNT

  BARBALHO, Pedro Inácio de Nascimento e. A deep reinforcement learning approach for voltage and frequency control of microgrids with power hardware-in-the-loop validation. 2025. Tese (Doutorado) – Universidade de São Paulo, São Carlos, 2025. Disponível em: https://www.teses.usp.br/teses/disponiveis/18/18154/tde-10032025-155823/. Acesso em: 28 dez. 2025.

• APA

  Barbalho, P. I. de N. e. (2025). A deep reinforcement learning approach for voltage and frequency control of microgrids with power hardware-in-the-loop validation (Tese (Doutorado). Universidade de São Paulo, São Carlos. Recuperado de https://www.teses.usp.br/teses/disponiveis/18/18154/tde-10032025-155823/

• NLM

  Barbalho PI de N e. A deep reinforcement learning approach for voltage and frequency control of microgrids with power hardware-in-the-loop validation [Internet]. 2025 ;[citado 2025 dez. 28 ] Available from: https://www.teses.usp.br/teses/disponiveis/18/18154/tde-10032025-155823/

• Vancouver

  Barbalho PI de N e. A deep reinforcement learning approach for voltage and frequency control of microgrids with power hardware-in-the-loop validation [Internet]. 2025 ;[citado 2025 dez. 28 ] Available from: https://www.teses.usp.br/teses/disponiveis/18/18154/tde-10032025-155823/

Últimas obras dos mesmos autores vinculados com a USP cadastradas na BDPI:

• Controle supervisório de microrredes utilizando deep reinforcement learning
• Deep reinforcement learning-based secondary control for microgrids in islanded mode
• Hardware-in-the-loop testing of a deep deterministic policy gradient algorithm as a microgrid secondary controller
• Alocação otimizada de baterias em uma microrrede utilizando algoritmos genéticos
• High impedance fault location in distribution systems: a novel approach with enhanced metrics and intelligent algorithms
• Reinforcement learning solutions for microgrid control and management: a survey
• Signal processing techniques for synchrophasors considering short‐circuit signals: a comparative study
• A new approach for fault classification based on s-transform and artificial neural network
• Impact analysis of a transportable BESS on the short-circuit behavior in a distribution system