Avaliar o efeito da aplicação de um sistema de feedback automatizado (autograder) com modelos de linguagem em atividades práticas de Engenharia de Software, considernado o envolvimento dos estudantes e a percepção de clareza e utilidade no processo formativo.
Turmas maiores e educação continuada pressionam a oferta de feedback individualizado. O estudo é original ao comparar, em sala de aula real, três cenários: sem correção automatizada, com correção por testes e com camada de LLM sobre árvore de critérios configurável.
Relato de experiência com abordagem mista. Vinte estudantes tiveram commits acompanhados em quatro atividades distribuídas nos três cenários; onze responderam questionário Likert de quatro pontos. Análise descritiva das medidas e codificação temática das respostas abertas.
A média de commits subiu de 4,55 para 6,90 e 6,00, mas a mediana permaneceu constante, indicando efeito concentrado nos extremos. A percepção evoluiu de forma consistente: suficiência de orientação e feed passou de 45% para 100% de concordância.
Articula a literatura de feedback formativo e educação por competências a um artefato computacional, propondo a CriteriaTree (estrutura hierárquica e configurável de critérios ponderados) e um desenho comparativo de três cenários replicável em outras disciplinas práticas.
Oferece a gestores acadêmicos e corporativos um caminho de baixo custo para escalar o acompanhamento formativo sem ampliar proporcionalmente o corpo docente, com diretrizes de adoção gradual, curadoria pedagógica e uso ético de IA na formação tecnológica.
To assess the effect of an LLM-based automated feedback system (Autograder) on platform usage and on students' perceived clarity and usefulness of the feedback received in hands-on Software Engineering activities.
Growing class sizes and continuing education strain the delivery of individualized feedback. The study is original in combining automated test-based grading with LLM-generated feedback in a real classroom, comparing three usage scenarios.
Experience report with a mixed-methods approach. Twenty students had their commits tracked across four activities spanning the three scenarios; eleven answered a four-point Likert questionnaire. Descriptive analysis of measures and thematic coding of open-ended responses.
Mean commits rose from 4.55 to 6.90 and 6.00, but the median remained constant, indicating an effect concentrated in the tails. Perception improved consistently: sufficiency of guidance and feedback rose from 45% to 100% agreement.
It proposes the CriteriaTree, a hierarchical structure of weighted criteria that makes automated grading configurable, and a replicable three-scenario comparative design. It distinguishes usage indicators from engagement measures, warning against conflating treatment and proxy.
It offers academic and corporate managers a low-cost architecture to scale formative follow-up on existing infrastructure, with guidelines for gradual adoption, pedagogical curation, and ethical use of AI in technology education.