Trang chủ segvn

In lúc 22:21:17 20-05-2012 In tất cả bài viết của mạch này trong 1 trang
Gửi bởi JohnVu lúc 05:04:25 23-01-2009
Việc đo giáo dục

Việc đo giáo dục

Giáo dục truyền thống hiếm khi đo hiệu quả của đào tạo. Họ tin rằng các giáo sư có đủ tư cách để dạy và biết cách dạy. Nếu cái gì đó không có tác dụng tốt, thường đó là lỗi của học sinh, có lẽ không học tập đủ chuyên cần. Hệ thống giáo dục mới như quan niệm “Học qua Hành” và “Học mở” là khác và việc đo hiệu quả đào tạo là một trong những khía cạnh then chốt làm cho giáo dục hiệu quả và hiệu lực hơn. Có vài cách đo hiệu quả đào tạo.

1) Đo phản ứng.
Trường học đo phản ứng của học sinh với việc đào tạo thông qua dùng các mẫu phản hồi thông thường là danh sách các câu hỏi mà học sinh điền vào sau khi hoàn tất môn học. Nó dựa trên mức độ thoả mãn của học sinh với lớp. Việc phân tích cách đo này phục vụ làm đầu vào cho các giáo sư và người quản trị trường học. Nó tạo khả năng cho họ ra quyết định về việc tiếp tục đào tạo, thay đổi về nội dung, huấn luyện phương pháp chuyển giao v.v.

2) Đo dự ứng.
Trường học đo những thay đổi liên quan tới "thái độ học tập " điều có thể coi là thuộc tính của đào tạo. Các giáo sư dùng cách đo tiền thi và hậu thi để kiểm tra việc học đã xảy ra. Tuy nhiên, điều quan trọng cần lưu ý là việc học tại mức này không nhất thiết chuyển dịch thành xin việc. Việc đo tính hiệu quả của đào tạo tại mức này quan trọng vì nó cho chỉ báo về mức của các mục tiêu học tập đã được thiết lập. Nó cung cấp cái vào mấu chốt để cải tiến thiết kế và mục tiêu của chương trình huấn luyện.

3) Đo tri thức được truyền.
Trường học đo viêc áp dụng học tập theo "hoàn cảnh kịch bản." Đây không phải là nhiệm vụ dễ dàng bởi vì khó định nghĩa các chuẩn mà có thể được dùng để đo ứng dụng của việc học và bao giờ cũng có câu hỏi này: 'Những điều này có thể là thuộc tính của đào tạo không?' Cái vào từ học sinh dựa trên hiệu năng của họ trong phân công công việc theo kịch bản khi họ thực hiện một "kịch bản" như họ sẽ làm một việc. Điều này có thể được thực hiện sau khi họ đã học mục tiêu then chốt nào đó và sẵn sàng áp dụng điều họ đã học vào "kịch bản được mô phỏng." Hiệu năng của họ có thể chỉ ra nguyên nhân của thành công hay thất bại của việc đào tạo. Tuy nhiên thỉnh thoảng có thể việc đào tạo là tốt nhưng hiệu năng lại không xảy ra do các lí do có liên quan tới kịch bản nghèo nàn. Có thể là học sinh không có khả năng giải quyết với các ràng buộc do kịch bản áp đặt cho nên họ không áp dụng việc học của mình như được mong đợi.

4) Đo kết quả.
Việc này đo tính hiệu quả của chương trình đào tạo dưới dạng "mục tiêu nghiệp vụ." Về lí thuyết, trường học nhìn vào các khía cạnh như tăng lên về năng suất, giảm khiếm khuyết, thời gian chu kì v.v. trong một "môi trường làm việc thực." Tất nhiên, nhiều tổ chức muốn đo tính hiệu quả của đào tạo theo cách này; sự kiện vẫn còn là không dễ làm điều này, vì điều chúng ta không thể nào chỉ ra được móc nối trực tiếp giữa đào tạo, học tập và thực hiện. Loại đo này yêu cầu sự cộng tác toàn diện giữa trường học và công nghiệp và việc đào tạo phải có quan hệ với nhu cầu công nghiệp - Trường học có thể đo hiệu năng của học sinh trong "cương vị thực tập" nơi họ làm việc trong môi trường thực hay thường là hai năm sau khi họ làm việc trong công ti bằng cách thu thập dữ liệu từ hiệu năng công việc. Loại đo này yêu cầu sự cộng tác đầy đủ giữa trường học và công nghiệp.

Là một giáo sư, tôi đã từng thu thập dữ liệu trong nhiều năm cho việc nghiên cứu của mình và tôi tin trường học có thể đo được tính hiệu quả cả theo hai kiểu phản ứng và dự ứng. Điều này có thể được xây dựng trong thiết kế chương trình đào tạo nhưng nó yêu cầu nhiều công việc hơn để đo việc truyền Tri thức và đo kết quả. Theo kinh nghiệm riêng của tôi, tôi đã thử nhiều nỗ lực để chỉ ra cách đo về đào tạo cho kĩ sư phần mềm. Tôi đã dùng các cách đo cả phản ứng lẫn dự ứng trong các lớp đào tạo của mình và nó có tác dụng rất tốt. Việc học có thể được đo thông qua phản hồi sau lớp học hay một cách dự ứng bằng việc dùng tiền và hậu kiểm tra.

Tôi cũng thấy rằng cách đo về tri thức được truyền là có thể bằng việc thu thập dữ liệu về "kịch bản được mô phỏng "được các kĩ sư thực hiện sau từng mô đun đào tạo. Trong lớp lập trình của tôi nơi sinh viên học JAVA và C++ tại Đại học Carnegie Mellon, tôi thu thập dữ liệu khiếm khuyết mà sinh viên phạm phải trong phân công của họ bằng việc so sánh dữ liệu khiếm khuyết trước khi dạy mô đun và sau khi dạy. Để đơn giản việc phân tích, tôi lấy hai tuần trước và hai tuần sau khi dạy mô đun này. Dữ liệu cho bức tranh về các khía cạnh như:

1) Bao nhiêu khiếm khuyết người kĩ sư đã phạm phải trước và sau việc huấn luyện? 2) Thời gian trung bình để hoàn tất việc viết mã cho một đối tượng hay chương trình con chính là gì? Thời gian chu kì để hoàn thành một đối tượng hay chương trình con có giảm đi không? So sánh chất lượng của giải pháp, (vấn đề có xuất hiện lại không trong một thời kì xác định)?

Dữ liệu được thu thập trước và sau từng mô đun đào tạo và các dữ liệu có liên quan khác cho một chỉ báo rõ ràng về năng lực của sinh viên áp dụng tri thức của họ vào việc. Tuy nhiên, tôi sẽ không coi tất cả những điều đó là việc chuyển giao học tập cho huấn luyện. Có thể là sinh viên học từ các thành viên của tổ trong phân công công việc tổ hay họ có thể có thầy kèm tốt, người giúp cho họ học tại việc. Do đó dữ liệu cần được diễn giải với việc tính tới toàn thể môi trường trong tâm trí.

Gợi ý của tôi về đo tính hiệu quả của đào tạo là: Đo tất cả việc đào tạo theo phản ứng và dự ứng trước rồi sau khi có các chỉ dẫn tốt bạn có thể chuyển sang đo việc học với việc truyền tri thức, cuối cùng mới tới đo kết quả.

-----English version------

Traditional education rarely measures its training effectiveness. They believe that professors are well qualified to teach and know how to teach. If something does not work well, it is usually the students’ faults, probably not study hard enough. The new education system such as “Learning by Doing” and “Open learning” concept are different and measuring training effectiveness is one of the key aspects to make education more effective and efficient. There are several ways of measure training effectiveness.

1) Reactive measurements.
School measures students' reaction to the training through the use of feedback forms usually a list of questions that students fill in after the course complete. It is based on the level of student's satisfaction with the class. The analysis of this measurement serves as inputs to the professor and school administrator. It enables them to make decisions on continuing the training, making changes to the content, training deliver methods etc.

2) Proactive measurements.
School measures changes pertaining to the "learning attitude" that can be attributed to the training. Professors utilize pre-test and post-test measures to check on the learning that has occurred. However, it is important to note that learning at this level does not necessarily translate into application on the job. Measuring the effectiveness of training at this level is important as it gives an indication about the level of the learning objectives that were set. It provides critical inputs to improve the design and objectives of the training program.

3) Knowledge transferred measurements.
School measures the application of the learning in a "scenario context". This is not an easy task because it is difficult to define standards that can be utilized to measure application of learning and there is always this question: 'Can these be attributed to the training?' Inputs come from students base on their performance in their scenario work assignments when they implementing a "scenario" as they will be on the job. This can be done after they have learned certain key objective and ready to apply what they have learned in a "simulated scenario". Their performance can indicate the cause of success or failure of the training. However sometimes it is possible that training was good but performance did not happen due to poor scenarios related reasons. It is possible that the students may not be able to deal with the constraints posed by the scenario so they do not apply their learning as expected.

4) Results measurements.
This measures effectiveness of the training program in terms of "business objectives". In theory, school looks at aspects such as increase in productivity, decrease in defects, cycle time etc. in a "real work environment". Of course, many organizations would like to measure effectiveness of training in this way; the fact remains that it is not easy to do this, as it is improbable that we can show direct linkage between training, learning and implementation. This kind of measurements require a full collaboration between school and industry and the training has to be related to the industry needs - School can measure students performance during the "internship" where they work in a real environment or usually two years after they work in a company by collecting data from work performance. This kind of measurements requires full collaboration between schools and industry.

As a professor, I have been collecting data for many years for my research and I believe that it is possible for the school to measure effectiveness at both reactive and proactive types. This can be built into the design of the training program but it requires much more works to measure the Knowledge transfer and results measurements. From my own experiences, I have tried several attempts to show how to measure training for software engineers. I have used both reactive and proactive measurements on my training classes and it works very well. Learning can be measured via a feedback after class or proactively by the use of pre and post tests.

I also found that measurement for knowledge transferred is possible by collecting data on the "simulated scenario" performed by engineers after each training module. In my programming class where student learn JAVA and C++ at Carnegie Mellon, I collect defect data that students made in their assignment by comparing defect data before the training module and after the training. To simplify analysis, I take a Two- weeks prior and two-weeks after the training module. The data gives a picture on aspects such as:
1) How many defects did the engineer made prior to and after the training? 2) What is the average time to complete coding of an object or a major subroutine? Did the cycle time to complete an object or subroutine reduce? Comparison of the quality of the solution, (did the problem occur again within a specified period)?

The data collected before and after each training module and other related data give a clear indication of students’ ability to apply their knowledge on the job. However, I will not attribute all of the transfer of learning to the training. It is possible that the student may learn from their team members during team work assignment or they may have good mentor who help them to learn on the job. Hence the data needs to be interpreted keeping the overall environment in mind.

My suggestion on measuring effectiveness of training is: Measure all trainings at the reactive and proactive first then after having good indications you can move to measure learning at the knowledge transfer then ultimately at the results measurement.

----------------------------------------
Prof. Vu
Carnegie Mellon University