Um framework para o planejamento de experimentos controlados na pesquisa de chatbots educacionais (2024)
- Authors:
- Autor USP: PASCHOAL, LEO NATAN - ICMC
- Unidade: ICMC
- Sigla do Departamento: SSC
- DOI: 10.11606/T.55.2024.tde-18032025-134125
- Subjects: DESENVOLVIMENTO DE SOFTWARE; SOFTWARES; VALIDADE DO TESTE; INTERAÇÃO USUÁRIO-COMPUTADOR; QUALIDADE DE SOFTWARE; LINGUAGEM NATURAL; ENSINO E APRENDIZAGEM
- Keywords: Agentes conversacionais; Ameaças à validade; Conversational agents; Design de experimentos; Education and learning; Experimental design; Threats to validity
- Agências de fomento:
- Language: Português
- Abstract: Chatbots são sistemas de software desenvolvidos para interagir com humanos em linguagem natural. Eles têm sido estabelecidos para atender diferentes domínios e afinidades. Em particular, quando criados com propósitos educacionais, são capazes de resolver dúvidas frequentes de alunos, avaliar o aprendizado, treinar habilidades linguísticas, entre outros. Apesar de serem estabelecidos com tais objetivos, ainda não existe um entendimento concreto acerca dos efeitos produzidos pelo uso desse sistema. Por exemplo, ainda não está claro como os chatbots podem ampliar o conhecimento dos alunos sobre temas e conteúdos específicos e em quais condições isso ocorre. Experimentos controlados estão sendo elaborados pela comunidade científica, com o propósito de entender tais efeitos. Todavia, esses estudos experimentais carecem de maior rigor metodológico, uma vez que as falhas encontradas em tais estudos põem em risco sua validade. Portanto, mecanismos de apoio que auxiliem pesquisadores a promover a validade desses experimentos são necessários. Nesta tese, um framework experimental foi estabelecido com a intenção de apoiar pesquisadores a planejar experimentos controlados sobre chatbots educacionais e ampliar a validade dos experimentos. Este framework inclui (i) diretrizes que indicam as atividades que o pesquisador precisa realizar para definir um experimento controlado; (ii) um catálogo de variáveis que possibilita ao pesquisador ter uma visão geral sobre variáveis do domínio, quepodem ser selecionadas, manipuladas e mensuradas em um experimento sobre esse tipo de software; (iii) uma ferramenta web para disponibilizar frameworks experimentais. Em particular, almeja-se ampliar a validade de constructos. Estudos foram realizados para compreender se o framework experimental ajuda os pesquisadores a definir design de experimentos com uma menor incidência de ameaças à validade, ao mesmo tempo que esclarecem sobre a viabilidade dos artefatos. Como resultado principal da pesquisa, constatou-se que o framework reduz a presença de viés de um único método nos designs experimentais.
- Imprenta:
- Publisher place: São Carlos
- Date published: 2024
- Data da defesa: 17.12.2024
- Este periódico é de acesso aberto
- Este artigo é de acesso aberto
- URL de acesso aberto
- Cor do Acesso Aberto: gold
- Licença: cc-by-nc-sa
-
ABNT
PASCHOAL, Leo Natan. Um framework para o planejamento de experimentos controlados na pesquisa de chatbots educacionais. 2024. Tese (Doutorado) – Universidade de São Paulo, São Carlos, 2024. Disponível em: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-18032025-134125/. Acesso em: 11 maio 2025. -
APA
Paschoal, L. N. (2024). Um framework para o planejamento de experimentos controlados na pesquisa de chatbots educacionais (Tese (Doutorado). Universidade de São Paulo, São Carlos. Recuperado de https://www.teses.usp.br/teses/disponiveis/55/55134/tde-18032025-134125/ -
NLM
Paschoal LN. Um framework para o planejamento de experimentos controlados na pesquisa de chatbots educacionais [Internet]. 2024 ;[citado 2025 maio 11 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-18032025-134125/ -
Vancouver
Paschoal LN. Um framework para o planejamento de experimentos controlados na pesquisa de chatbots educacionais [Internet]. 2024 ;[citado 2025 maio 11 ] Available from: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-18032025-134125/ - A chatterbot sensitive to student's context to help on software engineering education
- Contribuições ao ensino de teste de software com o modelo flipped classroom e um agente conversacional
- A framework to support the experimental evaluation process of the pedagogical conversational systems
- Is it worth using gamification on software testing education?: an experience report
- O que revelam os estudos secundários sobre chatbots na educação?
- An open educational resource supporting mutation testing teaching
- On the experimental process in evaluations of Brazilian conversational agents in education
- Is it worth using gamification on software testing education?: an extended experience report in the context of undergraduate students
- Informática na educação em computação: uma visão geral sobre as contribuições de pesquisadores brasileiros
- Teaching scrum practices with the support of Brazilian startups: an initiative in software engineering course
Informações sobre o DOI: 10.11606/T.55.2024.tde-18032025-134125 (Fonte: oaDOI API)
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
