YAPAY ZEKÂ UYGULAMALARININ MATEMATİKSEL YARATICI PROBLEM ÇÖZME PERFORMANSLARININ İNCELENMESİ

INVESTIGATING THE MATHEMATICAL CREATIVE PROBLEM SOLVING PERFORMANCE OF ARTIFICIAL INTELLIGENCE APPLICATIONS

Abstract

This study aims to investigate the performance of various artificial intelligence (AI) applications in solving non-routine mathematical creative problems, focusing on their solution strategies, creative assumptions, cross-case similarities/differences, and failure patterns. Designed as a qualitative multiple-case study, the research evaluated 12 AI tools—ChatGPT, Gemini, Claude, Copilot, DeepSeek, JuliusAI, Socratic, MathosAI, PhotoMath, Mathway, WolframAlpha, and Symbolab—under a data collection protocol. The qualitative data were analyzed using comparative content analysis based on hierarchical coding schemes. The findings revealed that AI applications do not exhibit uniform performance; while they share similarities in identifying basic boundaries and employing traditional representations, they diverge radically in conceptual depth, optimization precision, and creative reframing. ChatGPT excelled in strategy generation and cognitive fluency, Gemini dominated in conceptual flexibility and novel assumptions, and JuliusAI demonstrated superior algorithmic precision and constraint management. Conversely, traditional solvers failed to generate responses, while Copilot and Socratic suffered from structural failures, including constraint violations and arithmetic deviations, despite producing verbal solutions. Conclusively, this study demonstrates that fluency, flexibility, and precision do not simultaneously converge in a single AI architecture, and performance remains dynamically dependent on both the problem's nature and the underlying technical framework.

Keywords: artificial intelligence, mathematical creative problem solving, large language models, multiple-case study, non‑routine problems

Öz

Bu araştırmada, farklı teknolojik mimarilere sahip yapay zekâ (YZ) uygulamalarının rutin olmayan matematiksel yaratıcı problemler karşısındaki performanslarının; geliştirdikleri çözüm stratejileri, yaratıcı varsayımlar, çözümler arasındaki benzerlik/farklılıklar ve karşılaştıkları başarısızlık örüntüleri açısından derinlemesine incelenmesi amaçlanmıştır. Nitel araştırma metodolojisine dayalı çoklu durum çalışması deseninde yürütülen araştırmada; ChatGPT, Gemini, Claude, Copilot, DeepSeek, JuliusAI, Socratic, MathosAI, PhotoMath, Mathway, WolframAlpha ve Symbolab olmak üzere 12 farklı araç, veri toplama protokolü kapsamında test edilmiştir. Elde edilen nitel veriler, hiyerarşik kodlama şemaları aracılığıyla içerik analizine tabi tutulmuştur. Araştırma bulguları, uygulamaların matematiksel yaratıcı problemlere yaklaşımlarında tek tip bir performans sergilemediklerini; genel kısıtları saptama ve geleneksel temsilleri kullanma yönüyle benzeşirken, kavramsal derinlik, optimizasyon doğruluğu ve yaratıcı yeniden çerçeveleme boyutlarında radikal biçimde ayrıştıklarını göstermiştir. ChatGPT strateji çeşitliliği ve bilişsel akıcılıkta, Gemini kavramsal esneklik ve özgün varsayımlarda, JuliusAI ise algoritmik doğruluk ve kısıt yönetiminde üstün performans sergilemiştir. Buna karşın, geleneksel çözücüler yaratıcı problemlere yanıt üretemeyerek başarısızlığa uğramış; Copilot ve Socratic ise bilişsel üretim yapmalarına rağmen katı matematiksel kısıt ihlalleri, aritmetik sapmalar ve eksik doğrulama adımları göstermiştir. Sonuç olarak bu araştırma, yaratıcı matematiksel akıl yürütme süreçlerinde akıcılık, esneklik ve algoritmik doğruluğun tek bir yapay zekâ mimarisinde bütünüyle birleşemediğini; performansın problemin niteliği ile uygulamanın teknik altyapısına bağlı olarak dinamik bir değişkenlik gösterdiğini ortaya koymaktadır.

Anahtar Terimler: yapay zekâ, matematiksel yaratıcı problem çözme, büyük dil modelleri, çoklu durum çalışması, rutin olmayan problemler

Etik ve Çıkar Çatışması

Bu makale 9-12 Eylül 2026 tarihleri arasında Gaziantep’te düzenlenen Uluslararası Eğitim Kongresi‑EDU Congress 2026 adlı kongrede sözlü bildiri olarak sunulmuş aynı başlıklı bildirinin genişletilmiş halidir. Yazarlar araştırmanın tüm süreçlerinde etik kurallara uygun davranıldığını ve yazarlar arasında herhangi bir çıkar çatışmasının olmadığını beyan eder.

KAYNAKÇA

Ahn, J., Verma, R., Lou, R., Liu, D., Zhang, R., & Yin, W. (2024). Large language models for mathematical reasoning: Progresses and challenges. In N. Falk, S. Papi, & M. Zhang (Eds.), Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics: Student Research Workshop (pp. 225–237). Association for Computational Linguistics. https://doi.org/10.18653/v1/2024.eacl-srw.17

Cohen, L., Manion, L., & Morrison, K. (2007). Research methods in education (5th ed.). Routledge Falmer.

Creswell, J. W., & Poth, C. N. (2018). Qualitative inquiry and research design: Choosing among five approaches (4th ed.). SAGE Publications.

Fülöp, E. (2015). Teaching problem-solving strategies in mathematics. LUMAT: International Journal on Math, Science and Technology Education, 3(1), 37–54. https://doi.org/10.31129/lumat.v3i1.1050

Hacıoğlu Seven, E., & Erümit, A. K. (2025). Matematik eğitiminde üretken yapay zeka araçlarının incelenmesi: Araç özellikleri, kullanım amaçları ve etkileri [An examination of generative artificial intelligence tools in mathematics education: Tool features, purposes of use, and impacts]. Uşak Üniversitesi Eğitim Araştırmaları Dergisi, 11(2), 136–162. https://doi.org/10.29065/usakead.1688918

Kirişçi, N. (2021). Yaratıcı problem çözme sürecinde analojik ve seçici düşünme: Seçici problem çözme modelinin matematik eğitiminde uygulama örneği [Analogical and selective thinking in creative problem solving process: The use of selective problem solving model in mathematics education]. Muğla Sıtkı Koçman Üniversitesi Eğitim Fakültesi Dergisi, 8(1), 72–84. https://doi.org/10.21666/muefd.755133

Kükey, E., Aslaner, R., & Tutak, T. (2019). Matematiksel düşünmenin varsayımda bulunma bileşenine yönelik olarak ortaokul öğrencilerinin kullandıkları problem çözme stratejilerinin incelenmesi [An investigation of the problem solving strategies used of middle school students for of the assumption component of mathematical thinking]. Journal of Computer and Education Research, 7(13), 146–170. https://doi.org/10.18009/jcer.535610

Lincoln, Y. S., & Guba, E. G. (1985). Naturalistic inquiry. SAGE Publications.

Liu, Y., & Wang, H. (2026). Who on earth is using generative AI? World Development, 199, Article 107260. https://doi.org/10.1016/j.worlddev.2025.107260

Losenno, K. M., Muis, K. R., Munzar, B., Denton, C. A., & Perry, N. E. (2020). The dynamic roles of cognitive reappraisal and self-regulated learning during mathematics problem solving: A mixed methods investigation. Contemporary Educational Psychology, 61, Article 101869. https://doi.org/10.1016/j.cedpsych.2020.101869

Ma, J., Wang, W., & Jin, Q. (2026). A survey of deep learning for geometry problem solving. Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics, 39416–39448. https://doi.org/10.18653/v1/2026.acl-long.1829

Marangoz, M. (2024). Eğitim ortamında kullanılan yapay zekâ uygulamaları [Artificial intelligence applications used in education]. International Journal of Progression and Development in Education (IJPADE), 2(2), 26–39. https://doi.org/10.5281/zenodo.14576628

Merriam, S. B. (1998). Qualitative research and case study applications in education. Jossey-Bass.

Miles, M. B., & Huberman, A. M. (1994). Qualitative data analysis: An expanded sourcebook (2nd ed.). SAGE Publications.

Mirzadeh, I., Alizadeh-Vahid, K., Shahrokhi, H., Tuzel, O., Bengio, S., & Farajtabar, M. (2025). GSM-Symbolic: Understanding the limitations of mathematical reasoning in large language models. In Proceedings of the International Conference on Learning Representations (Vol. 2025, pp. 94743–94765). https://doi.org/10.48550/arXiv.2410.05229

Mumford, M. D., Medeiros, K. E., & Partlow, P. J. (2012). Creative thinking: Processes, strategies, and knowledge. The Journal of Creative Behavior, 46(1), 30–47. https://doi.org/10.1002/jocb.003

Patton, M. Q. (2015). Qualitative research & evaluation methods: Integrating theory and practice (4th ed.). SAGE Publications.

Pólya, G. (1945). How to solve it: A new aspect of mathematical method. Princeton University Press.

Price, A. (2006). Creative maths activities for able students: Ideas for working with children aged 11 to 14. Paul Chapman Publishing; SAGE Publications.

Rahman, A., Mahir, S. H., Tashrif, M. T., Aishi, A. A., Karim, M. A., Kundu, D., Debnath, T., Moududi, M. A., & Eidmum, M. Z. (2025). Comparative analysis based on DeepSeek, ChatGPT, and Google Gemini: Features, techniques, performance, future prospects. arXiv. https://arxiv.org/abs/2503.04783

Runco, M. A., & Jaeger, G. J. (2012). The standard definition of creativity. Creativity Research Journal, 24(1), 92–96. https://doi.org/10.1080/10400419.2012.650092

Saldaña, J. (2013). The coding manual for qualitative researchers (2nd ed.). SAGE Publications.

Schoenfeld, A. H. (2016). Learning to think mathematically: Problem solving, metacognition, and sense making in mathematics. Journal of Education, 196(2), 1–38. https://doi.org/10.1177/002205741619600202

Schorcht, S., Müller, F. A., & Buchholtz, N. (2026). No one-size-fits-all: A study of prompt techniques and large language models to enhance AI’s mathematics educational quality. ZDM – Mathematics Education 58, 1057–1071. https://doi.org/10.1007/s11858-026-01784-6

Schreier, M. (2012). Qualitative content analysis in practice. SAGE Publications.

Silver, E. A. (1997). Fostering creativity through instruction rich in mathematical problem solving and problem posing. ZDM—The International Journal on Mathematics Education, 29(1), 75–80. https://doi.org/10.1007/s11858-997-0003-x

Stake, R. E. (1995). The art of case study research. SAGE Publications.

Szabo, Z. K., Körtesi, P., Guncaga, J., Szabo, D., & Neag, R. (2020). Examples of problem-solving strategies in mathematics education supporting the sustainability of 21st-century skills. Sustainability, 12(23), Article 10113. https://doi.org/10.3390/su122310113

Şahin, F., & Yeldan, İ. (2019). Sistematik yaratıcı problem çözme etkinliklerinin, ortaokul 6. sınıf öğrencilerinin kuvvet ve hareket ünitesindeki akademik başarılarına ve sistematik yaratıcı problem çözme becerilerine etkisi [The effect of systematical problem solving activities on 6th grade students’ academic success and problem solving abilities on force and action subject]. Marmara Üniversitesi Atatürk Eğitim Fakültesi Eğitim Bilimleri Dergisi, 49(49), 121‑143. https://doi.org/10.15285/maruaebd.404195

Turmuzi, M., Azmi, S., & Kertiyani, N. M. I. (2026). ChatGPT in school mathematics education: A systematic review of opportunities, challenges, and pedagogical implications. Teaching and Teacher Education, 170, Article 105286. doi: 10.1016/j.tate.2025.105286

Wang, R., Wang, R., Shen, Y., Wu, C., Zhou, Q., & Chandra, R. (2026). Evaluation of LLMs for mathematical problem solving. Next Research, 9, Article 101705. https://doi.org/10.1016/j.nexres.2026.101705

Widya, W., Nurpatri, Y., Indrawati, E. S., & Ikhwan, K. (2020). Development and application of creative problem solving in mathematics and science: A literature review. Indonesian Journal of Science and Mathematics Education, 3(1), 106–116. https://doi.org/10.24042/ijsme.v3i1.4335

Ye, J., Gu, J., Zhao, X., Yin, W., & Wang, G. G. (2025). Assessing the creativity of LLMs in proposing novel solutions to mathematical problems. Proceedings of the AAAI Conference on Artificial Intelligence, 39(24), 25687–25696. https://doi.org/10.1609/AAAI.V39I24.34760

Yin, R. K. (2018). Case study research and applications: Design and methods (6th ed.). SAGE Publications.