Дата публикации: 01.01.2024

Использование инструмента самооценки для анализа образовательного эффекта дистанционных обучающих программ

Аннотация

Самооценка является ненадежным инструментом выявления прогресса в обучении, считается по результатам некоторых исследований. Среди главных недостатков самооценки авторы называют подверженность фактору социальной желательности и недостаточную объективность данных по сравнению с тестами на знания. Тем не менее 81 существуют данные, показывающие, что подготовленный эксперт может эффективно использовать самооценку как инструмент оценки образовательного эффекта. Способность к адекватной самооценке является важным качеством любого специалиста. Самооценка может быть эффективным инструментом анализа прогресса слушателей в рамках реализации дистанционных образовательных программ. При этом в качестве критериев оценки могут выступать не только сами целевые качества (знания, навыки, компетенции), но и навык их критической оценки.




Введение

В качестве результата образовательной программы чаще всего рассматриваются полученные участниками знания или изменения в их навыках и умениях решать определенный круг задач. В рамках проведения очных образовательных программ тьютор или тренер может наблюдать за изменением в поведении участников и делать выводы о динамике в освоении требуемых навыков. Но при реализации дистанционных образовательных программ образовательный эффект и изменения в поведении участника зачастую могут быть скрыты от тренера. При этом отсутствие своевременных данных о прогрессе участников может негативно сказываться на эффективности реализации программы. Одним из инструментов, который можно использовать для оценки как промежуточных, так и итоговых результатов программы, является самооценка. Самооценка подразумевает, что слушатели программы самостоятельно оценивают выраженность своих качеств или характеристик (навыков). Однако самооценка прогресса в обучении не всегда может отображать реальный прогресс или изменения в компетенциях участников образовательных программ. В случае самостоятельной оценки своих компетенций участники склонны преувеличивать уровень развития своих знаний и навыков. Уменьшить влияние социальной желательности могут специальная подготовка слушателей, обучение навыкам самооценки, а также стимулирование более осознанного подхода к анализу своих знаний и навыков. Способность адекватно оценивать свои компетенции является важным аспектом профессионализма. Критическое отношение к себе, способность определить слабые стороны в части развития компетенций позволяют слушателю более эффективно обучаться и наращивать свои знания и навыки. Именно поэтому многие организации целенаправленно развивают способность сотрудников к критическому мышлению и анализу своих сильных и слабых сторон. Один из способов достичь этой цели — проведение обучения с последующей оценкой полученных знаний, навыков, качественных изменений в поведении и мышлении.

Самооценка в зависимости от целей ее использования может подразделяться на «резюмирующую» (позволяет оценить образовательный эффект программы, участники самостоятельно выставляют себе баллы за проделанную работу или оценивая уровень развития своих компетенций) и «формирующую» (самооценка используется для пересмотра учебного процесса и его изменения). Наиболее часто на практике применялся подход, в котором самооценка использовалась для оценки образовательного результата слушателей. В исследованиях приводятся данные, показывающие связь между самооценкой своей работы, сделанной студентами, и оценками, которые были поставлены преподавателями [13]. Данные по самооценке, которые собираются в рамках дистанционной образовательной программы, позволяют получить обратную связь по качеству обучения [2; 8; 27; 31]. Так, опубликованные ранее исследования выявили, что использование самооценки является важнейшим условием реализации модели саморегулируемого обучения (selfregulated learning, SRL) и повышения мотивации слушателей [24; 31]. Саморегулируемое обучение предполагает активную роль студентов не только в усвоении материала, но и в контроле и оценке своей работы.

Использование самооценки как инструмента развития в рамках образовательных программ стало особенно актуально в связи с последними трендами: многие специалисты проходят обучение на протяжении всей своей профессиональной карьеры, сам образовательный процесс стал в большей степени сфокусирован на самостоятельном изучении и усвоении материала. В процессе саморегулируемого обучения метод самооценки — заключительный этап, хотя, по мнению отдельных специалистов, это фундаментальный навык, который лежит в основе реализации модели саморегулируемого обучения в принципе. Дистанционное образование, которое повсеместно внедрялось в ходе пандемии COVID-19, во многом полагается на самостоятельное усвоение материала.

Резюмирующая самооценка предполагает следующие формы активности слушателя программы: определение критериев оценивания; определение объема и качества информации, которую можно получить в процессе оценки; рефлексию на основе полученной обратной связи. Таким образом, была сформулирована циклическая модель самооценки [34].

Список литературы

1. Self-grading and peer-grading for formative and summative assessments in 3rd through 12th grade classrooms : A meta-analysis / C. E. Sanchez, K. M. Atkinson, A. C. Koenka [et al.] // Journal of Educational Psychology. — 2017. — Vol. 109, № 8. — P. 104
2. Kuehn, S. A. Computer-mediated communication in instructional settings : A research agenda / S. A. Kuehn // Communication Education. — 1994. — Vol. 43, № 2. — P. 171–183. — DOI: 10.1080/03634529409378974
3. Notar, C. E. Distant learning for the development of higher-level cognitive skills / C. E. Notar, J. D. Wilson, K. G. Ross // Education. — 2002. — Vol. 122, № 4. — P. 642–648.
4. Pajares, F. Self-Efficacy Beliefs in Academic Settings / F. Pajares // Review of Educational Research. — 1996. — Vol. 66, № 4. — P. 543–578.
5. Pallier, G. Gender differences in the self-assessment of accuracy on cognitive tasks / G. Pallier // Sex Roles. — 2003. — Vol. 48, № 5/6. — P. 265–76.
6. Panadero, E. The future of student self-assessment : A review of known unknowns and potential directions / E. Panadero, G. T. L. Brown, J. W. Strijbos // Educational Psychology Review. — 2016. — Vol. 28, № 4. — P. 803–830.
7. Panadero, E. Effects of self-assessment on self-regulated learning and self-efficacy : Four meta-analyses / E. Panadero, A. Jonsson, J. Botella // Educational Research Review. — 2017. — Vol. 22. — P. 74–98.
8. Relationships between student characteristics and self-peer and tutor evaluations of oral presentations / A. M. Langan, D. M. Shuker, W. R. Cullen [et al.] // Assessment and Evaluation in Higher Education. — 2008. — Vol. 33, № 2. — P. 179–90.
9. Ross, J. A. The reliability, validity, and utility of self-assessment / J. A. Ross // Practical Assessment Research and Evaluation. — 2006. — Vol. 11, № 10. — Р. 1–13.
10. Interaction, Internet self-efficacy, and self-regulated learning as predictors of student satisfaction in online education courses / Y.-C. Kuo, A. E. Walker, K. E. Schroder, B. R. Belland // The Internet and Higher Education. — 2014. — Vol. 20. — P. 3
11. Sellnow, D. D. The role of gender in perceived speaker competence : An analysis of student peer critiques / D. D. Sellnow, K. P. Treinen // Communication Education. — 2004. — Vol. 53, № 3. — P. 286–96.
12. Sfenrianto, S. E-Learning Effectiveness Analysis in Developing Countries : East Nusa Tenggara, Indonesia Perspective / S. Sfenrianto, E. Tantrisna, H. Akbar // Bulletin of Electrical Engineering and Informatics. — 2018. — Vol. 7, № 3. — P. 417–424. —
13. Student self-assessment: why do they do it? / Zi Yan, G. Brown, C.-K. Lee, X.-L. Qiu // Educational Psychology. — 2020. — Vol. 40, № 4. — P. 509–532. — DOI: 10.1080/01443410.2019.1672038
14. The effects of technical difficulties on learning and attrition during online training / T. Sitzmann, K. Ely, B. S. Bell, K. N. Bauer // Journal of Experimental Psychology : Applied. — 2010. — Vol. 16, № 3. — P. 281–292.
15. Ward, M. Measuring self-assessment : Current state of the art / M. Ward, L. Gruppen, G. Regehr // Advances in Health Sciences Education. — 2002. — Vol. 7, № 1. — P. 63–80.
16. Yan, Zi. The self-assessment practices of Hong Kong secondary students : Findings with a new instrument / Zi Yan // Journal of Applied Measurement. — 2016. — Vol. 17, № 3. — P. 335–353.
17. Yan, Zi. A cyclical self-assessment process : Towards a model of how students engage in self-assessment / Zi Yan, G. T. L. Brown // Assessment and Evaluation in Higher Education. — 2017. — Vol. 42, № 8. — P. 1247–1262.
18. Computer-Mediated communication and the online classroom / ed. by Z. L. Berge, M. P. Collins. — Cresskill, NJ : Hampton Press, 1995. — Vol. 1. Overview and perspectives. — 250 p.
19. Andrade, H. Feedback in the context of self-assessment / H. Andrade // Cambridge Handbook of Instructional Feedback / ed. by A. Lipnevich, J. Smith. — Cambridge, 2018. — P. 376–408.
20. Ashforth, B. E. Socialization tactics, proactive behavior, and newcomer learning : Integrating socialization models / B. E. Ashforth, D. M. Sluss, A. M. Saks // Journal of Vocational Behavior. — 2007. — Vol. 70, № 3. — P. 447–462.
21. Boud, D. Quantitative studies of student self-assessment in higher-education : A critical analysis of findings / D. Boud, N. Falchikov // Higher Education. — 1989. — Vol. 18, № 5. — P. 529–549.
22. Boud, D. Avoiding the traps : Seeking good practice in the use of self-assessment and reflection in professional courses / D. Boud // Social Work Education. — 1999. — Vol. 18, № 2. — P. 121–132.
23. Boud, D. Does student engagement in self-assessment calibrate their judgement over time? / D. Boud, R. Lawson, D. G. Thompson // Assessment and Evaluation in Higher Education. — 2013. — Vol. 38, № 8. — P. 941–956.
24. Brown, G. T. L. Student self-assessment / G. T. L. Brown, L. R. Harris // The SAGE handbook of research on classroom assessment / ed. by J. H. McMillan. — Thousand Oaks, 2013. — P. 367–393.
25. Brown, G. T. L. The future of self-assessment in classroom practice : Reframing self-assessment as a core competency / G. T. L. Brown, L. R. Harris // Frontline Learning Research. — 2014. — Vol. 2, № 1. — P. 22–30.
26. Comparing Student Satisfaction with Distance Education to Traditional Classrooms in Higher Education : A Meta-Analysis / M. Allen, J. Bourhis, N. Burrell, E. Mabry // The American Journal of Distance Education. — 2002. — Vol. 16, № 2. — P. 83–97. — DOI
27. Andrade, H. Promoting learning and achievement through self-assessment / H. Andrade, A. Valtcheva // Theory into Practice. — 2009. — Vol. 48, № 1. — P. 12–19.
28. De Grez, L. How effective are self- and peer assessment of oral presentation skills compared with teachers’ assessments? / L. De Grez, M. Valcke, I. Roozen // Active Learning in Higher Education. — 2012. — Vol. 13, № 2. — P. 129–42.
29. Distant Learning : Open Challenges and Evolution / F. Ferri, A. D’Andrea, P. Grifoni, T. Guzzo // International Journal of Learning, Teaching and Educational Research. — 2018. — Vol. 17, № 8. — P. 78–88. — DOI: 10.26803/ijlter.17.8.5
30. Falchikov, N. Student Self-Assessment in Higher Education : A Meta-Analysis / N. Falchikov, D. Boud // Review of Educational Research. — 1989. — Vol. 59, № 4. — P. 395–430.
31. González-Betancor, S. M. Self-assessment accuracy in higher education : The influence of gender and performance of university students / S. M. González-Betancor, A. Bolívar-Cruz, D. Verano-Tacoronte // Active Learning in Higher Education. — 2017. — Vo
32. Higher Education during the Pandemic : The Predictive Factors of Learning Effectiveness in COVID-19 Online Learning / J. T. Y. Tsang, M. K. P. So, A. C. Y. Chong [et al.] // Education Sciences. — 2021. — Vol. 11, № 8. — P. 446–461. — DOI: 10.3390/ edu
33. Hiltz, S. R. The virtual classroom : Learning without limits via computer networks / S. R. Hiltz. — Norwood, NJ : Ablex Publishing, 1994. — 408 p.
34. Ibabe, I. Online self-assessment with feedback and metacognitive knowledge / I. Ibabe, J. Jauregizar // Higher Education. — 2010. — Vol. 59, № 2. — P. 243–258.

Остальные статьи