Design and validation of an assessment rubric of relevant competencies for employability

  1. José Manuel Sánchez Ramírez 1
  2. Victoria Íñigo Mendoza 1
  3. Beatriz Marcano Lárez 1
  4. Carmen Romero-García 1
  1. 1 Universidad Internacional de La Rioja
    info

    Universidad Internacional de La Rioja

    Logroño, España

    ROR https://ror.org/029gnnp81

Revista:
JOTSE

ISSN: 2013-6374

Año de publicación: 2022

Volumen: 12

Número: 2

Páginas: 426-439

Tipo: Artículo

DOI: 10.3926/JOTSE.1397 DIALNET GOOGLE SCHOLAR lock_openDialnet editor

Otras publicaciones en: JOTSE

Resumen

This article highlights the importance of promoting relevant competencies for employability in vocational training students, while considering the demands of the globalized world. The objective was to design and validate an assessment rubric of relevant competencies for employability. Seven competencies were selected: problem-solving, teamwork, adaptive capacity, communication, creativity, leadership and decision-making. A rubric was designed in which three command levels were established: low, medium and high, along with their respective indicators. A content validation process was also used by means of expert judgement. Ten (10) expert judges were selected to carry out a quantitative and qualitative validation in three stages and the indicators were modified until Aiken’s V coefficients of ≥ 0.80 (p= 0.05) were obtained for all indicators of the established competencies. It is concluded that the rubric is valid enough to assess relevant competencies for employability in vocational training students.

Referencias bibliográficas

  • Akbari, M., Nguyen, H.M., McClelland, R., & Van Houdt, K. (2022), Design, implementation and academic perspectives on authentic assessment for applied business higher education in a top performing Asian economy. Education + Training, 64(1), 69-88. https://doi.org/10.1108/ET-04-2021-0121
  • Alarcón, R. (2018). La formación para el trabajo y el paradigma de formación por competencias. Calidad en la educación, 0(16).
  • Alonso-Sáez, I., & Arandia-Loroño, M. (2017). 15 años desde la Declaración de Bolonia. Desarrollo, situación actual y retos del Espacio Europeo de Educación Superior. Revista Iberoamericana de Educación Superior, 8(23), 199-213 https://doi.org/10.22201/iisue.20072872e.2017.23.256
  • Arifin, Z., Kartono, K., & Surpriyadi, S. (2018). Development of authentic assessment instrument for performance in learning Mathematics in linear program. Journal of Educational Research and Evaluation 7(2), 153-161. https://doi.org/10.15294/jere.v7i2.24884
  • Assessment and Teaching of 21st Century Skills (ATCS21) (2009). 21st Century Skills Project. Universidad de Melbourne. Available at: http://www.atc21s.org/about.html (Accessed: January 2020).
  • BOE (2002). Ley Orgánica 5/2002, de 19 de junio, de las cualificaciones y de la Formación Profesional. Available at: https://www.boe.es/buscar/act.php?id=BOE-A-2002-12018 (Accessed: June 2019).
  • BOE (2015). Real Decreto 1105/2014, de 26 de diciembre, por el que se establece el currículo básico de la Educación Secundaria Obligatoria y del Bachillerato. Available at: http://www.boe.es/boe/dias/2015/01/03/pdfs/BOE-A-2015-37.pdf (Accessed: July 2019).
  • Boud, D. (2020). Retos en la reforma de la evaluación en educación superior: una mirada desde la lejanía. Revista Electrónica de Investigación y Evaluación Educativa (RELIEVE), 26(1). https://doi.org/10.7203/relieve.26.1.17088
  • Brown, S. (2015). Evaluación auténtica: utilizar la evaluación para ayudar a los estudiantes a aprender. Revista Electrónica de Investigación y Evaluación Educativa (RELIEVE), 21(2) https://doi.org/10.7203/relieve.21.2.7674
  • Cabero, J., & Barroso, J. (2013). La utilización del juicio de experto para la evaluación de TIC: el coeficiente de competencia experta. Bordón, 65(2), 25-38. https://doi.org/10.13042/brp.2013.65202
  • Cabero-Almenara, J., & Llorente-Cejudo, M.C. (2013). La aplicación del juicio de experto como técnica de evaluación de las tecnologías de la información (TIC). Eduweb: Revista de Tecnología de Información y Comunicación en Educación, 7(2), 11-22.
  • Campaña-Jiménez, R, Gallego-Arrufat, M., & Muñoz-Leiva, L. (2019). Estrategias de enseñanza para la adquisición de competencias en formación profesional: perfiles de estudiantes. Educar, 55(1), 203-229. https://doi.org/10.5565/rev/educar.876
  • Canossa, H. (2019). ART Habilidades blandas en el estudiantado universitario y la empleabilidad en Costa Rica. Revista Académica Arjé, 2(2), 5-13.
  • Common European Framework Of Reference For Languages: Learning, Teaching, Assessment (2002) Council of Europe. Language Policy Unit, Strasbourg. www.coe.int/lang-CEFR
  • Cotronei-Baird, V.S. (2020) Academic hindrances in the integration of employability skills development in teaching and assessment practice. Higher Education 79, 203-223. https://doi.org/10.1007/s10734-019-00405-4
  • Chamorro-Premuzic, T., & Frankiewicz, B. (2019). Does Higher Education Still Prepare People for Jobs? Harvard Business Review. [Blog] Available at: https://hbr.org/2019/01/does-higher-education-still-prepare-people-for-jobs (Accessed: February 2020).
  • Davis, E. (2018). 21 more jobs of the future. A guide to getting and staying employed through 2029. Center for the future of work - Cognizant. Available at: https://www.cognizant.com/futureofwork/whitepaper/21-more-jobsof-the-future-a-guide-to-getting-and-staying-employed-through-2029 (Accessed: March 2020).
  • De la Orden, A., & Pimienta, J.H. (2016). Instrumento para determinar los tipos de evaluación utilizados por los profesores universitarios. Revista Electrónica de Investigación Educativa, 18(2), 40-52.
  • EPYCE (2018). Posiciones y competencias más demandas. Available at: http://marketing.eae.es/prensa/_EPyCE2017.pdf (Accessed: June 2021).
  • Escobar-Pérez, J., & Cuervo-Martínez, A. (2008). Validez de contenido y juicio de expertos: una aproximación a su utilización. Avances en Medición, 6(1), 27-36.
  • Escurra, L. (1988). Cuantificación de la validez de contenido por criterio de jueces. Revista de psicología, 6(1), 103-111. https://doi.org/10.18800/psico.198801-02.008
  • Fahrenbach, F. (2022). A design science approach to developing and evaluating items for the assessment of transversal professional competences. Education + Training, 64(1), 21-40. https://doi.org/10.1108/ET-03-2020-0056
  • Fernández, B. (2018). Competencias laborales y de empleabilidad en la educación vocacional. Calidad en la Educación, 27, 36-51. https://doi.org/10.31619/caledu.n27.217
  • Fuentes-Cabrera, A., López-Belmonte, J., Parra-González, M.E., & Morales-Cevallos, M.B. (2020). Diseño, validación y aplicación de un cuestionario para medir la influencia de factores exógenos sobre la eficacia del aprendizaje invertido. Psychology, Society and Education, 1(12) https://doi.org/10.25115/psye.v10i1.2334
  • Gal, I., & Tout, D. (2014). Comparison of PIAAC and PISA Frameworks for Numeracy and Mathematical Literacy. OECD Education Working Papers, No. 102, OECD Publishing, Paris, https://doi.org/10.1787/5jz3wl63cs6f-en
  • Galicia, L., Balderrama, J., & Navarro, R. (2017). Validez de contenido por juicio de expertos: propuesta de una herramienta virtual. Apertura, 9(2), 42-53. https://doi.org/10.32870/ap.v9n2.993
  • García-Valcárcel, A., Hernández, A., Martín, M., & Olmos, S. (2020). Validación de una rúbrica para la evaluación de trabajos fin de máster. Profesorado, Revista de Currículum y Formación del Profesorado, 24(2), 72-96. https://doi.org/10.30827/profesorado.v24i2.15151
  • Gargallo, B., Jiménez, M., Martínez, N., Jiménez-Beut, J., & Pérez-Pérez, C. (2017). Métodos centrados en el aprendizaje, implicación del alumno y percepción del contexto de aprendizaje en estudiantes universitarios. Educación XX1, 20(2). https://doi.org/10.5944/educxx1.19036
  • Guzmán-Cedillo, Y.I., Lima-Villeda, D.N., & Meza-Cano, J.M. (2017). Diseño y confiabilidad de una rúbrica para evaluar infografías didácticas. Enseñanza & Teaching, 35(2), 17-36. https://doi.org/10.14201/et20173521736
  • Hassall, T., Joyce, J., Arquero Montano, J.L., & Donoso Anes, J.A. (2003). The vocational skills gap for management accountants: The stakeholders' perspectives. Innovations in Education and teaching International, 40(1), 78-88.
  • Ibarra-Sáiz, M., Rodríguez-Gómez, G., Boud, D., Rotsaert, T., Brown, S., Salinas-Salazar, M.L. et al. (2020). El futuro de la evaluación en la educación superior. Revista Electrónica de Investigación y Evaluación Educativa (RELIEVE), 26(1), 1-6. https://doi.org/10.7203/relieve.26.1.17323
  • Ibarra-Sáiz, M., & Rodríguez-Gómez, G. (2019). Una evaluación como aprendizaje. In Patricio-Royo, J., Fernández, A., & Fernández, I. (Eds.), Cartografía de la buena docencia universitaria. Un marco para el desarrollo del profesorado basado en la investigación (175-196). Narcea.
  • Institute of Museum and Library Services (n.d.). Museums, Libraries, And 21st Century Skills. [Museos, bibliotecas y habilidades del siglo XXI]. Available at: https://www.imls.gov/issues/nationalinitiatives/museums-libraries-and-21st-century-skills/definitions (Accessed: May 2019).
  • Instituto Cervantes (2002). Marco común europeo de referencia para las lenguas: aprendizaje, enseñanza y evaluación. Centro Virtual Cervantes. Instituto Cervantes. Available at: https://cvc.cervantes.es/ensenanza/biblioteca_ele/marco/cvc_mer.pdf (Accessed: June 2019).
  • Instituto Nacional de Evaluación Educativa (2013). Programa internacional para la evaluación de competencias de la población adulta (PIAAC). Available at: http://www.educacionyfp.gob.es/inee/dam/jcr:761d480f-1ccf-479c95f5-bee8694cce8c/presentacionpiaac.pdf (Accessed: June 2019).
  • INTEF (2017). Marco común de competencia digital docente octuble 2017. Available at: http://aprende.intef.es/sites/default/files/2018-05/2017_1020_Marco-Com%C3%BAn-de-Competencia-DigitalDocente.pdf (Accessed: June 2019).
  • Knight, G.L., & Drysdale, T.D. (2020). The future of higher education (HE) hangs on innovating our assessment–but are we ready, willing and able? Higher Education Pedagogies, 5(1), 57-60. https://doi.org/10.1080/23752696.2020.1771610
  • Lima-Rodríguez, J., Lima-Serrano, M., Ponce-González, J., & Guerra-Martín, M. (2015). Diseño y validación de contenido de rúbricas para evaluar las competencias prácticas en estudiantes de Enfermería. Educación Médica Superior, 29(1), 119-133.
  • Llanes, J., Figuera, P., & Torrado, M. (2017). Desarrollo de la empleabilidad y gestión personal de la carrera de graduados en Pedagogía. Revista Española de Orientación y Psicopedagogía, 28(2), 46-60. https://doi.org/10.5944/reop.vol.28.num.2.2017.20118
  • Mahajan, R., Gupta, P., & Misra, R. (2022). Employability skills framework: a tripartite approach. Education + Training, 64(3), 360-379. https://doi.org/10.1108/ET-12-2020-0367
  • McLeish, A. (2002). Employability skills for Australian small and medium sized enterprises. Australia: Commonwealth Department of Education, Science and Training. Available at: https://www.voced.edu.au/content/ngv%3A3781 (Accessed: July 2021).
  • Ministerio de Educación y Formación Profesional (2018) Panorama de la educación Indicadores de la OCDE. Informe español. Available at: http://www.educacionyfp.gob.es/inee/dam/jcr:2cba4aaa-4892-40d7-ac8b00efbc95b8a2/Panorama%20de%20la%20Educacion%202018_final.pdf (Accessed: July 2019).
  • Navia-Osorio, Y. (2017). Diseño de un instrumento de evaluación de las competencias transversales de los aprendices del nivel tecnológico del Centro de Servicios y Gestión Empresarial del Servicio Nacional de Aprendizaje - SENA, en Medellín. Revista Facultad de Ciencias Contables, Económicas y Administrativas (FACCEA), 7(2), 194-203.
  • OECD (2017). Getting Skills Right: Spain. Paris: OECD Publishing. https://doi.org/10.1787/25206125
  • Olo, D., Correia, L., & Rego, C. (2022). How to develop higher education curricula towards employability? A multi-stakeholder approach. Education + Training, 64(1), 89-106. https://doi.org/10.1108/ET-10-2020-0329
  • Przytuła, S. (2018). Global Labor Market Trends and Their Significance for the Future Employees’ Competences. Journal of Intercultural Management, 10(4), 5-38. https://doi.org/10.2478/jim-2018-0023
  • Reyes, C.I., Díaz, A., Pérez, M., Marchena, M., & Sosa, F. (2020). La evaluación del aprendizaje: Percepciones y prácticas del profesorado universitario. Profesorado. Revista de currículum y formación del profesorado, 24(1), 136-162. https://doi.org/10.30827/profesorado.v24i1.8449
  • Robles, M. (2012). Executive perceptions of the top 10 soft skills needed in today’s workplace. [Percepción de los ejecutivos sobre las 10 principales habilidades sociales necesarias en el lugar de trabajo actual.] Business Communication Quarterly, 75(4), 453-465. https://doi.org/10.1177/1080569912460400
  • Robles, P., & Rojas, M.D.C. (2015) La validación por juicio de expertos: dos investigaciones cualitativas en Lingüística aplicada. Revista Nebrija de Lingüística Aplicada, 18, 124-139. https://doi.org/10.26378/rnlael918259
  • Salazar-Goméz, E., Tobón, S., & Juárez-Hernández, L. (2018). Diseño y validación de una rúbrica de evaluación de las competencias digitales desde la socioformación. Apuntes Universitarios, 8(3). https://doi.org/10.17162/au.v8i3
  • Senan, N.A.M., & Sulphey, M.M. (2022), Construction and validation of the employability questionnaire for accounting graduates, Education + Training, 64(1), 141-159. https://doi.org/10.1108/ET-04-2021-0152
  • Silva, W.H., & Mazuera, J.A. (2019). ¿Enfoque de competencias o enfoque de capacidades en la escuela? Revista Electrónica de Investigación Educativa, 21(17), 1-10. https://doi.org/10.24320/redie.2019.21.e17.1981
  • Van Loo, J.B. & Toolsema, B. (2005). The empirical determination of key skills from an economic perspective. Education Economics, 13(2), 207-221. https://doi.org/10.1080/09645290500031421
  • Zarta, J.B., & Trujillo, J.S. (2020). Análisis de los factores para la empleabilidad en los profesionales del Espinal-Tolima. Revista Innova ITFIP, 6(1), 9-28. https://doi.org/10.54198/innova06.01