Desafios e perspectivas da implementação computacional de testes adaptativos multidimensionais para avaliações educacionais (2012)
- Authors:
- Autor USP: GONÇALVES, JEAN PITON - ICMC
- Unidade: ICMC
- Sigla do Departamento: SCC
- Subjects: PROCESSAMENTO DE LINGUAGEM NATURAL; INTELIGÊNCIA ARTIFICIAL (EDUCAÇÃO); TEORIA DE RESPOSTA AO ITEM; MODELOS LINEARES GENERALIZADOS (APLICAÇÕES); AVALIAÇÃO DA EDUCAÇÃO
- Keywords: Adaptive test; Avaliação educacional; Computer-based testing; Educational assessment; Kullback Leibler entre posteriores subsequentes; Kullback-Leibler between subsequent posteriors; Multidimensional adaptive test; Teste adaptativo; Teste adaptativo multidimensional; Teste computadorizado
- Language: Português
- Abstract: Testes educacionais possibilitam a obtenção de medidas e resultados, a realização de análises e o estabelecimento de objetivos para os processos de ensino e a aprendizagem, além de subsidiarem processos seletivos e políticas públicas. A avaliação de desempenho dos examinados pode considerar uma única ou múltiplas habilidades e/ou competências. Como alternativa para testes via lá¡pis e papel, o Teste Baseado em Computador (CBT) pode compor, aplicar e corrigir testes e produzir estatísticas individuais ou do grupo de examinados automaticamente. Considerando que o examinado possua múltiplas habilidades, o Teste Adaptativo baseado na Teoria de Resposta ao Item Multidimensional (MCAT) mantém a mesma acurácia de um teste tradicional, baseando-se no conhecimento do examinado a partir do histórico de itens anteriormente respondidos. A seleção de itens por Kullback Leibler entre Posteriores Subsequentes (\'K POT. p\') evita selecionar um item difícil para um examinado com baixa habilidade, sugerindo que \'K POT. p\' é um critério aplicável em testes educacionais. A revisão da literatura apontou para: (i) a carência de estudos para o critério \'K POT. P\', (ii) a carência de estudos com MCATs operacionais em contextos educacionais para usuários reais, (iii) a carência de estudos e propostas de critérios iniciais e de parada para MCATs, quando o número de itens administrados pelo teste é variável, e (iv) a ausência de trabalhos brasileiros na área de MCATs. Diante das lacunasapresentadas, esta tese de doutoramento trata da seguinte questão de pesquisa: Qual a abordagem para viabilizar o uso do critério KP em MCATs operacionais para contextos educacionais, que permita que o sistema implementado seja aprovado nos critérios de funcionalidade, confiabilidade, eficiência, manutenibilidade e portabilidade da ISO-9126, que é a base para avaliar testes computadorizados? Os objetivos específicos desta pesquisa foram os seguintes: (i) implementar e validar o critério de seleção \'K POT. P\', comparando-o com o critério bayesiano usual, (ii) propor melhorias e calcular o tempo computacional de processamento da seleção de itens por \'K POT. P\', (iii) propor critérios iniciais consistentes com a realidade e a necessidade das avaliações educacionais, (iv) validar o critério de parada inédito KPIC, quando a intenção é se ter MCATs que administrem um número variável de itens para os examinados, (v) desenvolver uma arquitetura que viabilize a aplicação via Web de MCATs com usuários reais, (vi) discutir aspectos teóricos e metodológicos da nova abordagem CBMAT via prova de conceito, por meio da implementação do sistema MADEPT, que avalia examinados na perspectiva da avaliação diagnóstica, (vii) avaliar o MADEPT de acordo com as normas internacionais de produto de software ISO-9126 e apontar a factibilidade, a viabilidade, as dificuldades, as vantagens e as limitações do desenvolvimento CBMATs para o ambiente Web. A metodologia utilizada para responder a questãode pesquisa foi: (i) organizar e selecionar as teorias, os métodos, os modelos e os resultados inerentes a MCATs, (ii) expandir a equação de \'K POT. P\', (iii) implementar o MCAT contemplando o critério de seleção \'K POT. P\' e a metodologia bayesiana para estimação e seleção de itens, (iv) validar estatisticamente \'K POT. P\' e KPIC, (v) implementar o CBMAT,contemplando o MCAT como um subsistema e (vi) avaliar o CBMAT via ISO-9126. Os resultados deste trabalho são vários: (i) uma ampla revisão da literatura nas teorias/métodos/critérios necessários para a implementação computacional de MCATs, (ii) a reformulação da equação que expressa a seleção por \'K POT. P\' para implementação via linguagem de programação científica, (iii) os estudos de simulações do MCAT quando a seleção de itens é por \'K POT. P\' e o critério de parada por KPIC mostram que \'K POT. P\' é um critério adequado e indicado quando o objetivo é ter um teste com um número baixo e variável de itens administrados, mantendo um vício adequado e com alta acurácia na estimação da habilidade, (iv) o desenvolvimento de algoritmos inéditos para os critérios iniciais, (v) a validação de uma nova arquitetura que viabiliza a aplicação via Web de MCATs com usuários reais e (vi) a implementação e avaliação via ISO-9126 do sistema computacional Web MADEPT. Conclui-se que é possível desenvolver uma arquitetura que viabilize a aplicação viaWeb de MCATs com usuários reais, utilizando o critério de seleção \'K POT. P\' ecritérios iniciais condizentes com as avaliações educacionais. Quando a intenção é aplicar MCATs em cenários reais, a seleção de itens por \'K POT. P\' combinado com o critério de parada KPIC proporcionam um teste mais curto e com mais acurácia do que aqueles que utilizam a metodologia bayesiana usual, e com um tempo computacional de processamento condizente com as características da abordagem multidimensional
- Imprenta:
- Publisher place: São Carlos
- Date published: 2012
- Data da defesa: 17.12.2012
-
ABNT
PITON-GONÇALVES, Jean. Desafios e perspectivas da implementação computacional de testes adaptativos multidimensionais para avaliações educacionais. 2012. Tese (Doutorado) – Universidade de São Paulo, São Carlos, 2012. Disponível em: http://www.teses.usp.br/teses/disponiveis/55/55134/tde-13032013-105955/. Acesso em: 17 out. 2024. -
APA
Piton-Gonçalves, J. (2012). Desafios e perspectivas da implementação computacional de testes adaptativos multidimensionais para avaliações educacionais (Tese (Doutorado). Universidade de São Paulo, São Carlos. Recuperado de http://www.teses.usp.br/teses/disponiveis/55/55134/tde-13032013-105955/ -
NLM
Piton-Gonçalves J. Desafios e perspectivas da implementação computacional de testes adaptativos multidimensionais para avaliações educacionais [Internet]. 2012 ;[citado 2024 out. 17 ] Available from: http://www.teses.usp.br/teses/disponiveis/55/55134/tde-13032013-105955/ -
Vancouver
Piton-Gonçalves J. Desafios e perspectivas da implementação computacional de testes adaptativos multidimensionais para avaliações educacionais [Internet]. 2012 ;[citado 2024 out. 17 ] Available from: http://www.teses.usp.br/teses/disponiveis/55/55134/tde-13032013-105955/
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
