Resumo

Analisar comparativamente a acurácia de três chatbots de inteligência artificial gratuitos (ChatGPT, Google Gemini e Meta AI) na resolução de questões específicas sobre gestão de projetos, identificando padrões de dificuldades em categorias temáticas distintas.

Constitui o primeiro estudo empírico comparativo simultâneo entre três plataformas de IA conversacional aplicadas ao domínio da gestão de projetos. Preenche lacuna significativa na literatura sobre efetividade de ferramentas de IA generativa em contextos organizacionais específicos.

Emprega delineamento de levantamento de campo mediante aplicação de 147 questões de múltipla escolha, baseadas em Oguz (2022). Utiliza abordagem metodológica mista, combinando análise quantitativa (teste-z) com avaliação qualitativa do detalhamento das respostas obtidas.

ChatGPT e Meta AI demonstraram taxa de conformidade de 93,2%, enquanto Google Gemini alcançou 90,48%. A análise estatística revelou ausência de diferenças significativas entre os desempenhos (p>0,05). Consenso em 82,55% das questões pelos três sistemas.

Desenvolve framework metodológico para avaliação sistemática de chatbots em domínios especializados. Evidencia limitações dos modelos de linguagem em processamento matemático e raciocínio estratégico organizacional. Propõe protocolo de análise de adequação ao padrão para validação.

Fornece diretrizes empíricas para tomada de decisão organizacional na adoção de ferramentas de IA. Demonstra viabilidade técnica dos chatbots como instrumentos de apoio gerencial. Identifica características qualitativas distintivas para seleção contextualizada das plataformas disponíveis.

To comparatively analyze the accuracy of three free artificial intelligence chatbots (ChatGPT, Google Gemini, and Meta AI) in solving specific project management questions, identifying patterns of difficulties across distinct thematic categories and performance variations.

Constitutes the first empirical comparative study simultaneously examining three conversational AI platforms applied to project management domain. Addresses significant gap in literature regarding effectiveness of generative AI tools in specialized organizational contexts and decision-making processes.

Employs field survey design through application of 147 multiple-choice questions based on Oguz (2022). Utilizes mixed methodological approach, combining quantitative analysis (z-test) with qualitative evaluation of response detail and comprehensiveness across the three platforms.

ChatGPT and Meta AI demonstrated 93.2% conformity rate, while Google Gemini achieved 90.48%. Statistical analysis revealed no significant differences between performances (p>0.05). Consensus achieved in 82.55% of questions by all three systems, indicating substantial agreement.

Develops methodological framework for systematic evaluation of chatbots in specialized domains. Evidences language model limitations in mathematical processing and organizational strategic reasoning. Proposes pattern-matching analysis protocol for validation in domain-specific applications and accuracy assessment.

Provides empirical guidelines for organizational decision-making in AI tool adoption. Demonstrates technical feasibility of chatbots as managerial support instruments. Identifies distinctive qualitative characteristics enabling contextualized platform selection based on organizational needs and user requirements.