Araştırma Makalesi
BibTex RIS Kaynak Göster

Validity and Reliability of the Teacher Professional Values Scale

Yıl 2024, , 294 - 304, 26.06.2024

Özlem Lala , Taha Yazar

https://doi.org/10.30703/cije.1221452

Öz

This study aimed to develop a valid and reliable measurement tool for teachers' professional values. This scale development study examined research and theoretical approaches in the literature, and an item pool was created by taking the opinions of faculty members.39 items in the item pool were applied to 350 classroom teachers in the sample of the study. Exploratory factor analysis was conducted to determine the possible factors in the Teacher Professional Values Scale. The results of exploratory factor analysis determined that the scale consisteds of four factors: "Professional Responsibility and Commitment", "Learning-Teaching Environment", "Professional Ethics", and "Approach to the Student". The study determined that these dimensions explained 50.2 % of the total variance. Confirmatory factor analysis was performed to test the accuracy of the factor structures found as a result of the exploratory factor analysis. The four-factor structure of the Teacher Professional Values Scale was validated as a model. The reliability of the Teacher Professional Values Scale was calculated as .84. The results determined that the Teacher Professional Values Scale was a valid and reliable measurement tool.

Anahtar Kelimeler

Values professional value teachers classroom teacher teacher

Kaynakça

  • Abu-Saad, I.(2003). The work values of Arap teachers in Israel in a multicultural context. Journal of Beliefs and Values, 24(1), 39-51. https://doi.org/10.1080/1361767032000052980
  • Alkan, C. (2000). Meslek ve öğretmenlik mesleği. Veysel Sönmez (Ed.). Öğretmenlik mesleğine giriş içinde (ss.243-294). Ankara: Anı Yayınları.
  • Ansari, M. T. A., & Hasan, H. (2011). An assessment of professional value profiles of trainee teachers to attain professional excellence. Gyanodaya: The Journal of Progressive Education, 4(2), 15-22.
  • Arthur, J., Davison, J., & Lewis, M. (2005). Professional values and practice: achieving the standards for QTS. Abingdon: Routledge Falmer.
  • Aydın, M. Z., & Gürler, Ş. A. (2012). Okulda değerler eğitimi yöntemler-etkinlikler kaynaklar. Ankara: Nobel Yayıncılık.
  • Balcı, A. (2015). Sosyal bilimlerde araştırma yöntem, teknik ve ilkeler. Anakara: Pegem Akademi.
  • Brady, L. (2011). Teacher values and relationship: Factors in values education. Australian Journal of Teacher Education, 36(2), 56-66. http://dx.doi.org/10.14221/ajte.2011v36n2.5
  • Büyüköztürk, Ş. (2002). Faktör analizi: Temel kavramlar ve ölçek geliştirmede kullanımı. Kuram ve Uygulamada Eğitim Yönetimi, 32(32), 470-483.
  • Büyüköztürk, Ş. (2014). Sosyal bilimler için veri analizi el kitabı. Ankara: Pegem Akademi.
  • Can, A. (2018). SPSS ile bilimsel araştırma sürecinde nicel veri analizi. Ankara: Pegem Akademi.
  • Chong, S., & Cheah, H. M. (2009). A Values, skills and knowledge framework for initial teacher preparation programmes. Australian Journal of Teacher Education, 34(3), 1-17. doi:10.14221/ajte.2009v34n3.1
  • Coşkun, N. (2016). Eğitim fakültesi öğrencilerinin ve öğretim elemanlarının öğretmenlik meslek etiği değerlerine ilişkin görüşleri: Mesleki etik değerlerin kazanımı sürecinde örtük program (Yayımlanmamış Doktora Tezi). Adnan Menderes Üniversitesi, Aydın.
  • Çelik, O. T., & Üstüner, M. (2017). Ortaöğretim öğretmenleri için mesleki değerler ölçeği geliştirme çalışması. Uşak Üniversitesi Sosyal Bilimler Dergisi, 10(2), 151-169.
  • Çelik, H. E., & Yılmaz, V. (2013). LISREL 9.1 ile yapısal eşitlik modellemesi. Ankara: Anı Yayıncılık.
  • Çokluk, Ö. Şekercioğlu, G., & Büyüköztürk, Ş. (2018). Sosyal bilimler için çok değişkenli istatistik SPSS ve LISREL uygulamaları. Ankara: Pegem Akademi.
  • Demirel, Ö. (1991). Eğitimde nitelik geliştirmede işbirliğine dayalı öğrenme ile tam öğrenmenin yeri ve önemi. Eğitim ve Bilim, 15(82), 1-10.
  • Doğan, İ. (2012). Eğitim sosyolojisi. Ankara: Nobel Yayıncılık.
  • Duman, B. (2016). Sınıf öğretmenlerinin mesleki değerlerinin incelenmesi. Akademik Sosyal Araştırmalar Dergisi, 4(27), 109-118.
  • Fichter, J. H. (2012). Sosyoloji nedir. Nilgün Çelebi (çev.). Ankara: Anı Yayıncılık.
  • Göbelová, T. (2011). Research on professional values of primary student teachers – results of mixed model research. The New Educational Review, 109-118.
  • Jones, M. (2003), Reconciling personal and professional values and beliefs with the reality of teaching: findings from an evaluative case study of 10 newly qualified teachers during their year of induction. Teacher Development, 7(3), 385–401.
  • Karabacak, N. (2016). Sınıf öğretmenlerinin mesleki değerleri üzerine nitel bir çalışma (Yayımlanmamış Doktora Tezi), Necmettin Erbakan Üniversitesi, Konya.
  • Kesküla, E., & Loogma, K. (2017). The value of and values in the work of teachers in Estonia. Work, Employment and Society, 31(2), 248–264. https://doi.org/10.1177/0950017016676436
  • Kline, R. B. (2011). Principles and practice of structural equation modelling. New York: Thr Guilford Press.
  • Korkmaz, İ., Küçük, M., & Karabacak, N. (2016). Türk eğitim sistemindeki öğretmenlik mesleğinin mesleki değerlerine doğru bir sentez. Hasan Hüseyin Bircan & Bülent Dilmaç (Ed.). Değerler bilançosu Sosyoloji, felsefe, ekonomi, eğitim, iletişim, müzik, tıp –beyaz kitap- içinde (ss.218-248). Konya: Çizgi Kitabevi.
  • Li, M., Wang,Z., You, X., & Gao,J. (2015). Value congruence and teachers’ work engagement: the mediating role of autonomous and controlled motivation. Personality and Individual Differences. 80, 113-118. https://doi.org/10.1016/j.paid.2015.02.021
  • MEB (2008). Öğretmenlik mesleği genel yeterlikleri. Ankara: Öğretmen Yetiştirme ve Geliştirme Genel Müdürlüğü. Retirieved from http://oygm.meb.gov.tr/www/ogretmenlik-meslegi-genel-yeterlikleri/icerik/39
  • MEB (2017). Öğretmenlik mesleği genel yeterlikleri. Ankara: Öğretmen Yetiştirme ve Geliştirme Genel Müdürlüğü.
  • Özgüven, İ. E. (2004). Psikolojik testler. Ankara: PDREM Yayınları.
  • Palermo, C., & Thomson, M. M. (2019) Large-scale assessment as professional development: teachers’ motivations, ability beliefs, and values. Teacher Development, 23(2), 192-212. https://doi.org/10.1080/13664530.2018.1536612
  • Pallant, J. (2017). SPSS kullanma kılavuzu SPSS ile adım adım veri analizi. (Çev. S. Balcı, B. Ahi). Ankara: Anı Yayıncılık.
  • Pascual, M. P. A. C. (2009). The work values of teacher training students in a Spanish university. symbiosis between Schwartz and meaning of work (MOW) study group. European Journal of Education, 44(3), 441-453. https://www.jstor.org/stable/27743184
  • Pedder, D. (2007). Profiling teachers' professional learning practices and values: differences between and within schools. The Curriculum Journal, 18(3), 231-252. https://doi.org/10.1080/09585170701589801
  • Polat, M. (2017). Toplumsal yaşam bilinci olarak değer konuya değerler sosyolojisi ve değerler eğitimi bağlamında bir yaklaşım. Ankara: Pegem Akademi.
  • Rokeach, M., & Regan, J.F. (1980). The role of values in the counseling situation. The Personnel and Guidance Journal, 58(9), 576 582 https://doi.org/10.1002/j.2164-4918.1980.tb00454.x
  • Schwartz, S. H. (2012). An overview of the Schwartz theory of basic values. Online Readings in Psychology and Culture, 2(1), 1-20. https://doi.org/10.9707/2307-0919.1116
  • Schwimmer, M. & Maxwell, B. (2017). Codes of ethics and teachers’ professional autonomy. Ethics and Education, 12(2), 141-152. https://doi.org/10.1080/17449642.2017.1287495
  • Sun, J., & Bo Wang, J. (2018). A study on career commitment and work value of physical education teachers in Chinese traditional sports school. Journal of Discrete Mathematical Sciences and Cryptography, 21(6), 1467-1472. https://doi.org/10.1080/09720529.2018.1527816
  • Sunley, R., & Locke, R. (2010) Exploring UK secondary teachers' professional values: an overview of the literature since 2000. Educational Research, 52(4), 409-425. https://doi.org/10.1080/00131881.2010.524751
  • Suyatno, Pambudi, D. I., Mardati, A., Wantini, Nuraini, E., & Yoyo. (2019). The Education Values of Indonesian Teachers: Origin, Importance, and Its Impact on Their Teaching. International Journal of Instruction, 12(3), 633-650. https://doi.org/10.29333/iji.2019.12338a
  • Şimşek, H. (2010). Eğitim sisteminde öğretmenin rolü ve öğretmenlik mesleği. Hasan Basri Memduhoğlu & Kürşad Yılmaz (Ed.). Öğretmenlik mesleğine giriş içinde. Ankara: Pegem Akademi.
  • Şişman, M. (2015). Eğitim bilimine giriş. Ankara: Pegem Akademi.
  • Tabachnick, B. G., & Fidell, L. S. (2015). Çok değişkenli istatistiklerin kullanımı (Çev. Ed. M. Baloğlu). Ankara: Nobel Yayıncılık.
  • Tavşancıl, E. (2018). Tutumların ölçülmesi ve SPSS ile veri analizi. Ankara: Nobel Yayıncılık.
  • Tunca, N. (2012). İlköğretim öğretmenleri için mesleki değerler ölçeğinin geliştirilmesi ve ilköğretim öğretmenlerinin mesleki değerlerinin belirlenmesi (Yayımlanmamış Doktora Tezi). Anadolu Üniversitesi. Eskişehir.
  • Ulusoy, K., & Dilmaç, B. (2012). Değerler eğitimi. Ankara: Pegem Akademi.
  • Unos, M. A. (2017) Correlates of work values among secondary school teachers in Central Mindanao. Proceedings Journal of Education, Psychology and Social Science Research. 4(1), 89-94. http://dx.doi.org/10.2139/ssrn.3169739
  • Vermunt, J. (2016). Secondary student teachers' personal and professional values, and the teaching as ınquiry Framework. New Zealand Journal of Teachers' Work, 13(1), 39-59. https://ojs.aut.ac.nz/teachers-work/
  • Yazar, T. (2018). Öğretmenlik mesleğinin değerleri. Mustafa Ergün, Nermin Karabacak, İsa Korkmaz & Mehmet Küçük (Ed.). Öğretmenliğin mesleki değerleri içinde (ss. 160-182). Ankara: Anı Yayıncılık.
  • Yurdugül, H. (2005). Ölçek geliştirme çalışmalarında kapsam geçerliği için kapsam geçerlik indekslerinin kullanılması. XIV. Ulusal Eğitim Bilimleri Kongresi, Pamukkale Üniversitesi Eğitim Fakültesi, Denizli.

Öğretmen Mesleki Değerler Ölçeğinin Geçerlik ve Güvenirlik Çalışması

Yıl 2024, , 294 - 304, 26.06.2024

Özlem Lala , Taha Yazar

https://doi.org/10.30703/cije.1221452

Öz

Bu araştırmada öğretmenlerin mesleki değerlerine yönelik geçerli ve güvenilir bir ölçme aracının geliştirilmesi amaçlanmıştır. Ölçek geliştirme çalışmasında alan yazında yer alan araştırmalar ve kuramsal yaklaşımlar incelenmiş, öğretim üyelerinin görüşleri alınarak madde havuzu oluşturulmuştur.Madde havuzunda yer alan 39 madde, araştırmanın örnekleminde bulunan 350 sınıf öğretmenine uygulanmıştır. Öğretmen Mesleki Değerler Ölçeği’nde olası faktörlerin neler olabileceğini belirlemek için açımlayıcı faktör analizi yapılmıştır. Açımlayıcı faktör analizi sonucunda ölçeğin dört faktörden oluştuğu görülmüştür: “Mesleki Sorumluluk ve Bağlılık”, “Öğrenme-Öğretme Ortamı”, “Mesleki Etik”, “Öğrenciye Yaklaşım”. Bu boyutların toplam varyansın % 50.2’sini açıkladığı tespit edilmiştir. Açımlayıcı faktör analizi sonucunda bulunan faktör yapılarının doğruluğunun test edilmesi için doğrulayıcı faktör analizi yapılmıştır. Öğretmen Mesleki Değerler Ölçeği’nin dört faktörlü yapısı bir model olarak doğrulanmıştır. Öğretmen Mesleki Değerler Ölçeği’nin güvenirliği Cronbach Alpha iç tutarlılık katsayısı .84 olarak hesaplanmıştır. Bu araştırmadan elde edilen bulgulara göre, Öğretmen Mesleki Değerler Ölçeği’nin geçerli ve güvenilir bir ölçme aracı olduğu belirlenmiştir.

Anahtar Kelimeler

Değerler mesleki değer öğretmenlerin mesleki değerleri sınıf öğretmeni öğretmen.

Kaynakça

  • Abu-Saad, I.(2003). The work values of Arap teachers in Israel in a multicultural context. Journal of Beliefs and Values, 24(1), 39-51. https://doi.org/10.1080/1361767032000052980
  • Alkan, C. (2000). Meslek ve öğretmenlik mesleği. Veysel Sönmez (Ed.). Öğretmenlik mesleğine giriş içinde (ss.243-294). Ankara: Anı Yayınları.
  • Ansari, M. T. A., & Hasan, H. (2011). An assessment of professional value profiles of trainee teachers to attain professional excellence. Gyanodaya: The Journal of Progressive Education, 4(2), 15-22.
  • Arthur, J., Davison, J., & Lewis, M. (2005). Professional values and practice: achieving the standards for QTS. Abingdon: Routledge Falmer.
  • Aydın, M. Z., & Gürler, Ş. A. (2012). Okulda değerler eğitimi yöntemler-etkinlikler kaynaklar. Ankara: Nobel Yayıncılık.
  • Balcı, A. (2015). Sosyal bilimlerde araştırma yöntem, teknik ve ilkeler. Anakara: Pegem Akademi.
  • Brady, L. (2011). Teacher values and relationship: Factors in values education. Australian Journal of Teacher Education, 36(2), 56-66. http://dx.doi.org/10.14221/ajte.2011v36n2.5
  • Büyüköztürk, Ş. (2002). Faktör analizi: Temel kavramlar ve ölçek geliştirmede kullanımı. Kuram ve Uygulamada Eğitim Yönetimi, 32(32), 470-483.
  • Büyüköztürk, Ş. (2014). Sosyal bilimler için veri analizi el kitabı. Ankara: Pegem Akademi.
  • Can, A. (2018). SPSS ile bilimsel araştırma sürecinde nicel veri analizi. Ankara: Pegem Akademi.
  • Chong, S., & Cheah, H. M. (2009). A Values, skills and knowledge framework for initial teacher preparation programmes. Australian Journal of Teacher Education, 34(3), 1-17. doi:10.14221/ajte.2009v34n3.1
  • Coşkun, N. (2016). Eğitim fakültesi öğrencilerinin ve öğretim elemanlarının öğretmenlik meslek etiği değerlerine ilişkin görüşleri: Mesleki etik değerlerin kazanımı sürecinde örtük program (Yayımlanmamış Doktora Tezi). Adnan Menderes Üniversitesi, Aydın.
  • Çelik, O. T., & Üstüner, M. (2017). Ortaöğretim öğretmenleri için mesleki değerler ölçeği geliştirme çalışması. Uşak Üniversitesi Sosyal Bilimler Dergisi, 10(2), 151-169.
  • Çelik, H. E., & Yılmaz, V. (2013). LISREL 9.1 ile yapısal eşitlik modellemesi. Ankara: Anı Yayıncılık.
  • Çokluk, Ö. Şekercioğlu, G., & Büyüköztürk, Ş. (2018). Sosyal bilimler için çok değişkenli istatistik SPSS ve LISREL uygulamaları. Ankara: Pegem Akademi.
  • Demirel, Ö. (1991). Eğitimde nitelik geliştirmede işbirliğine dayalı öğrenme ile tam öğrenmenin yeri ve önemi. Eğitim ve Bilim, 15(82), 1-10.
  • Doğan, İ. (2012). Eğitim sosyolojisi. Ankara: Nobel Yayıncılık.
  • Duman, B. (2016). Sınıf öğretmenlerinin mesleki değerlerinin incelenmesi. Akademik Sosyal Araştırmalar Dergisi, 4(27), 109-118.
  • Fichter, J. H. (2012). Sosyoloji nedir. Nilgün Çelebi (çev.). Ankara: Anı Yayıncılık.
  • Göbelová, T. (2011). Research on professional values of primary student teachers – results of mixed model research. The New Educational Review, 109-118.
  • Jones, M. (2003), Reconciling personal and professional values and beliefs with the reality of teaching: findings from an evaluative case study of 10 newly qualified teachers during their year of induction. Teacher Development, 7(3), 385–401.
  • Karabacak, N. (2016). Sınıf öğretmenlerinin mesleki değerleri üzerine nitel bir çalışma (Yayımlanmamış Doktora Tezi), Necmettin Erbakan Üniversitesi, Konya.
  • Kesküla, E., & Loogma, K. (2017). The value of and values in the work of teachers in Estonia. Work, Employment and Society, 31(2), 248–264. https://doi.org/10.1177/0950017016676436
  • Kline, R. B. (2011). Principles and practice of structural equation modelling. New York: Thr Guilford Press.
  • Korkmaz, İ., Küçük, M., & Karabacak, N. (2016). Türk eğitim sistemindeki öğretmenlik mesleğinin mesleki değerlerine doğru bir sentez. Hasan Hüseyin Bircan & Bülent Dilmaç (Ed.). Değerler bilançosu Sosyoloji, felsefe, ekonomi, eğitim, iletişim, müzik, tıp –beyaz kitap- içinde (ss.218-248). Konya: Çizgi Kitabevi.
  • Li, M., Wang,Z., You, X., & Gao,J. (2015). Value congruence and teachers’ work engagement: the mediating role of autonomous and controlled motivation. Personality and Individual Differences. 80, 113-118. https://doi.org/10.1016/j.paid.2015.02.021
  • MEB (2008). Öğretmenlik mesleği genel yeterlikleri. Ankara: Öğretmen Yetiştirme ve Geliştirme Genel Müdürlüğü. Retirieved from http://oygm.meb.gov.tr/www/ogretmenlik-meslegi-genel-yeterlikleri/icerik/39
  • MEB (2017). Öğretmenlik mesleği genel yeterlikleri. Ankara: Öğretmen Yetiştirme ve Geliştirme Genel Müdürlüğü.
  • Özgüven, İ. E. (2004). Psikolojik testler. Ankara: PDREM Yayınları.
  • Palermo, C., & Thomson, M. M. (2019) Large-scale assessment as professional development: teachers’ motivations, ability beliefs, and values. Teacher Development, 23(2), 192-212. https://doi.org/10.1080/13664530.2018.1536612
  • Pallant, J. (2017). SPSS kullanma kılavuzu SPSS ile adım adım veri analizi. (Çev. S. Balcı, B. Ahi). Ankara: Anı Yayıncılık.
  • Pascual, M. P. A. C. (2009). The work values of teacher training students in a Spanish university. symbiosis between Schwartz and meaning of work (MOW) study group. European Journal of Education, 44(3), 441-453. https://www.jstor.org/stable/27743184
  • Pedder, D. (2007). Profiling teachers' professional learning practices and values: differences between and within schools. The Curriculum Journal, 18(3), 231-252. https://doi.org/10.1080/09585170701589801
  • Polat, M. (2017). Toplumsal yaşam bilinci olarak değer konuya değerler sosyolojisi ve değerler eğitimi bağlamında bir yaklaşım. Ankara: Pegem Akademi.
  • Rokeach, M., & Regan, J.F. (1980). The role of values in the counseling situation. The Personnel and Guidance Journal, 58(9), 576 582 https://doi.org/10.1002/j.2164-4918.1980.tb00454.x
  • Schwartz, S. H. (2012). An overview of the Schwartz theory of basic values. Online Readings in Psychology and Culture, 2(1), 1-20. https://doi.org/10.9707/2307-0919.1116
  • Schwimmer, M. & Maxwell, B. (2017). Codes of ethics and teachers’ professional autonomy. Ethics and Education, 12(2), 141-152. https://doi.org/10.1080/17449642.2017.1287495
  • Sun, J., & Bo Wang, J. (2018). A study on career commitment and work value of physical education teachers in Chinese traditional sports school. Journal of Discrete Mathematical Sciences and Cryptography, 21(6), 1467-1472. https://doi.org/10.1080/09720529.2018.1527816
  • Sunley, R., & Locke, R. (2010) Exploring UK secondary teachers' professional values: an overview of the literature since 2000. Educational Research, 52(4), 409-425. https://doi.org/10.1080/00131881.2010.524751
  • Suyatno, Pambudi, D. I., Mardati, A., Wantini, Nuraini, E., & Yoyo. (2019). The Education Values of Indonesian Teachers: Origin, Importance, and Its Impact on Their Teaching. International Journal of Instruction, 12(3), 633-650. https://doi.org/10.29333/iji.2019.12338a
  • Şimşek, H. (2010). Eğitim sisteminde öğretmenin rolü ve öğretmenlik mesleği. Hasan Basri Memduhoğlu & Kürşad Yılmaz (Ed.). Öğretmenlik mesleğine giriş içinde. Ankara: Pegem Akademi.
  • Şişman, M. (2015). Eğitim bilimine giriş. Ankara: Pegem Akademi.
  • Tabachnick, B. G., & Fidell, L. S. (2015). Çok değişkenli istatistiklerin kullanımı (Çev. Ed. M. Baloğlu). Ankara: Nobel Yayıncılık.
  • Tavşancıl, E. (2018). Tutumların ölçülmesi ve SPSS ile veri analizi. Ankara: Nobel Yayıncılık.
  • Tunca, N. (2012). İlköğretim öğretmenleri için mesleki değerler ölçeğinin geliştirilmesi ve ilköğretim öğretmenlerinin mesleki değerlerinin belirlenmesi (Yayımlanmamış Doktora Tezi). Anadolu Üniversitesi. Eskişehir.
  • Ulusoy, K., & Dilmaç, B. (2012). Değerler eğitimi. Ankara: Pegem Akademi.
  • Unos, M. A. (2017) Correlates of work values among secondary school teachers in Central Mindanao. Proceedings Journal of Education, Psychology and Social Science Research. 4(1), 89-94. http://dx.doi.org/10.2139/ssrn.3169739
  • Vermunt, J. (2016). Secondary student teachers' personal and professional values, and the teaching as ınquiry Framework. New Zealand Journal of Teachers' Work, 13(1), 39-59. https://ojs.aut.ac.nz/teachers-work/
  • Yazar, T. (2018). Öğretmenlik mesleğinin değerleri. Mustafa Ergün, Nermin Karabacak, İsa Korkmaz & Mehmet Küçük (Ed.). Öğretmenliğin mesleki değerleri içinde (ss. 160-182). Ankara: Anı Yayıncılık.
  • Yurdugül, H. (2005). Ölçek geliştirme çalışmalarında kapsam geçerliği için kapsam geçerlik indekslerinin kullanılması. XIV. Ulusal Eğitim Bilimleri Kongresi, Pamukkale Üniversitesi Eğitim Fakültesi, Denizli.
Toplam 50 adet kaynakça vardır.

Ayrıntılar

Birincil Dil Türkçe
Konular Öğretmen Eğitimi ve Eğitimcilerin Mesleki Gelişimi
Bölüm Araştırma Makalesi
Yazarlar

Özlem Lala 0000-0001-7080-2971

Taha Yazar 0000-0002-2285-4889

Yayımlanma Tarihi 26 Haziran 2024
Yayımlandığı Sayı Yıl 2024

Kaynak Göster

APA Lala, Ö., & Yazar, T. (2024). Öğretmen Mesleki Değerler Ölçeğinin Geçerlik ve Güvenirlik Çalışması. Cumhuriyet Uluslararası Eğitim Dergisi, 13(2), 294-304. https://doi.org/10.30703/cije.1221452

e-ISSN: 2147-1606

14550        14551