校務研究辦公室電子報 第8期 2020.12
2020.12 vol.08
主編的話
今年適逢中山大學40週年校慶,各項校慶系列活動也在11月間熱鬧展開。四十歲稱為不惑之年,是一個能夠掌握知識、明辨事理而不致迷惑的年紀。40年來中山大學是南臺灣人才培育的基地,今年度在《遠見雜誌》公布的「台灣最佳大學排行榜」中,也首度進入綜合類前五強,也期許未來能夠持續實踐大學之道,提供優質教育。
本期電子報首先報導本校在「泰晤士高等教育特刊」(Times Higher Education, THE)世界大學排名2021的表現,當期焦點則針對中山大學近十年教學意見調查的結果進行分析。校務研究辦公室電子報曾在第二期探討「中山教師教學成效與教學意見調查分析」,結果發現平均分數有升高的趨勢,如此可能降低鑑別度,難以準確區分出優良教師的分數差異。本期針對教學意見調查的分析則延伸此議題,從不同學制、教師年資、班級規模大小、以及施測方式去探討教學意見調查的填答結果。
最後,本期介紹由校務研究辦公室自行發展之線上分析工具,新增的套件為「問卷品質分析-建構效度」,其功能為進行問卷調查的效度分析,各單位同仁若有問卷資料分析的需求,可逕行利用,提升業務效能。
國立中山大學校務研究辦公室 敬上
本(2020)年度THE世界大學排名於9月2日公布,本年度參與校數再創新高,達到1,527所,臺灣入榜的學校也自去年的36所增加到38所(新增兩所為國立宜蘭大學以及國立暨南大學)。中山大學的名次維持在801-1000名、國內第10名,實際總分相較去年略為上升(從25.7上升至29.7)。校務研究辦公室下載中山大學的分項數據與參與排名的所有大學中位數進行比較,比較結果發現與上一年度的結果相近,本校在研究及產學收入較具優勢,而論文引用數(27.5)低於世界中位數(45.1),國際觀指標(40.3)今年度進步了近十分,即將趕上世界中位數(42.3)。另從SciVal平台查詢本校近年領域權重引用影響力指數(FWCI)(註一),2018年為0.91,2019年為1.14,因此本校論文引用數指標明年也可望提升。
另外THE每年也會公布各學科領域的排名,整體11個學科中,本校有七個學科進入排行榜。本校近兩年於THE排名結果統整如下表1。
(註一)領域權重引用影響力指數(FWCI):依相同學科領域、相同出版年份與相同文獻類型做比較,得出的標準化平均引用次數。此處數值是參考THE只採納Articles and reviews,並排除自我引用。(查詢時間為12月1日)
「教學意見調查表」對於每個學生來說應該都不陌生,每堂課來到了學期末,總需要撥出一段時間填寫意見調查表。現行的教學意見調查表分為講授類、實驗類、實習類、音樂類、體育類、研討類、演講類、展演類、服務學習類、企業實習類等十類,本次分析探討課程數最多的講授類,分為五個部分共21題。而近十年本校講授類教學意見調查的結果有哪些變化?是否因為學制、班級規模或學期成績而有不同呢?本期電子報整理並分析99學年度至108學年度教學意見調查的結果,帶大家一探究竟。此外,108學年度第二學期由於COVID-19疫情的關係,部分課程的教學意見調查透過線上施測的方式取得,本期也分析紙本與線上施測的填答結果的差異。
近十年填答結果的趨勢如何?
首先針對各年度所有課程教學意見調查結果的平均分數,除了分成必修與選修兩大類課程外,也將學士、碩士、博士三種學制分開計算,結果如圖1。由折線圖可見,近十年本校教學意見調查表有逐年提升的趨勢,且必修課程平均分數略高於選修課程;若依照學制分,博士生對於課程的評分高於碩士,學士最低。
教學意見調查分數會因班級規模大小而不同嗎?
探討班級規模與教學意見調查分數的關聯性,各學制與必、選修課程均呈現負向關係,意即越大班教學,教學意見調查的分數有下降趨勢,如圖2所示。
學期成績與教學意見填答結果的相關程度如何?
「教師給分甜不甜」、「會不會當人」等因素,是學生選課時常常問的問題,也影響著學生選課的意願,但學生在同一堂課所得到的學期成績,與教學意見調查表的填答分數是否具相關性呢?經過統計分析結果可發現,以不同學制、必選修別來看,課程學期平均成績較高的班級,教學意見調查平均分數有較高的趨勢(如圖3)。然而,學生在填寫教學意見調查表的時候,學期成績也尚未公布,即使學期成績與教學意見滿意度有正相關,兩者的因果關係還待進一步分析。
紙本與線上施測,哪個好?
最後,我們根據108學年度第二學期的教學意見填答結果,比較紙本與線上施測的差異。首先彙整計算兩種不同施測方式的結果得分,可發現線上施測的教學意見調查平均分數,略低於紙本施測的分數,詳見表2。
為比較紙本與線上施測品質,校務研究辦公室辦公室取得108學年度第二學期教學意見調查原始資料,並篩選「講授類」課程教學意見調查中的「課程與教學」構面,共九個題項進行分析(其中第七題為反向題)。首先是描述性統計部分,紙本施測的課程有1,090門,資料筆數24,598筆;線上施測的課程有102門,資料筆數2,542筆。平均填答分數線上施測 (M = 6.35) < 紙本施測 (M = 6.40)。
因部分課程只有一人填答,因此去除14門僅一筆填答資料的課程,進行信效度分析,兩種施測方式的信度結果相差不大:紙本施測信度=.968;線上施測信度=.975。另透過探索性因素分析了解測量效度,也發現兩種樣本的因素結構無顯著差異,下表3呈現兩種施測結果的因素分析結果(註二)。
本研究另透過線上分析工具(詳細分析結果見下一單元線上分析工具介紹),也發現兩者的建構效度結果均達到良好的模型配適:紙本問卷 (χ2 =1,740, df=20, p<.001, CFI=.95, NNFI=.93, RMESA=.059),線上問卷 (χ2 =169.81, df=20, p<.001, CFI=.96, NNFI=.95, RMESA=.054)。結果可說明紙本與線上問卷差異不大。
結論與建議
本分析初步了解本校教學意見調查填答結果,可發現總分在近十年有逐漸提升的趨勢,而根據班級規模大小及學期成績的高低,均與教學意見調查分數呈現正相關,儘管如此,因為不同課程的安排與難易度,教師也不需要因為這樣的結果,而調整班級大小或給分高低。此外,紙本與線上兩種施測方式信效度無顯著的差異,這樣的結果與過去研究的發現類似(註三),未來將教學意見調查改為線上施測是否可行,可持續追蹤。
(註二)此處呈現探索性因素分析,因素負荷量(Factor Loading)即為每個測驗題目之間的相關。因素負荷量越大,代表該因子在該因素可解釋的變異量越大,故因素負荷量越大代表解釋力越強。
(註三)參考文獻
1.游森期, & 余民寧. (2006). 網路問卷與傳統問卷之比較: 多樣本均等性方法學之應用. 測驗學刊, 53(1), 103-127.
2.施佩芳. (2010). 網路調查方法在教育研究上可行性之探究: 以國小學童人際關係與學校壓力之研究為例. 中正教育研究, 9(1), 31-76.
3.De Beuckelaer, A., & Lievens, F. (2009). Measurement equivalence of paper‐and‐pencil and Internet organisational surveys: A large scale examination in 16 countries. Applied Psychology, 58(2), 336-361.
在問卷施測結束之後,我們會想了解問卷的信效度如何,因此本校校務研究辦公室開發完成第二項線上分析工具—「問卷品質分析-建構效度」,此分析工具可分析單一構面的問卷數據,惟該工具僅能於中山大學校園網域進行使用。透過這項分析工具,可幫助使用者了解問卷的效度,但若各單位有需要更進階的分析,可透過資料申請單與本辦公室申請。
該工具連結位於本校校務研究辦公室網站內,詳細路徑為:中山大學首頁>行政單位>校務品質保證中心>校務研究辦公室>線上分析系統。分析工具的使用步驟如下:
步驟 | 圖示 |
---|---|
1. 分析類型選擇「問卷品質分析-建構效度」 | |
2. 輸入單位名稱 | |
3. 選取欲分析的檔案 |
同樣要注意的是,csv檔案僅支援UTF-8編碼格式,若不知該如何轉換csv檔案,可以參考本辦公室電子報第6期 。 |
4. 按下送出等待分析結果 | |
5. 分析結果完成,圖表則為分析結果 |
系統產出分析結果報表,可檢視各個模型適配度指標,另輸出一張圖示可以檢視各個指標是否符合適配度臨界值。
臺灣校務研究專業協會舉辦109年校務研究專業知能發展工作坊【迎接IIR (Intelligent Institutional Research)時代之資料探勘與視覺呈現】系列課程
- 時間:110年01月08日(五)、1月15日(五)
- 地點:臺北市立大學
- 主題:相關資訊
臺灣校務研究專業協會舉辦第三屆第二次年會暨國際研討會
- 時間:110年01月22日(五)
- 地點:國立中央大學
- 主辦單位:臺灣校務研究專業協會TAIR
共同主辦:國立中央大學、國立清華大學、國立中山大學、中原大學 - 主題:相關資訊
10~12月份各校IR活動彙總
主辦單位 | 時間 | 活動名稱 |
---|---|---|
中原大學 | 109年10月14日(三) | AI & Big Data創意競賽 |
國立虎尾科技大學 |
109年10月19日(一)、 109年11月16日(一) |
校務資料知能研習工作坊 |
南華大學 | 109年10月20日(二) | 109年校務研究暨學生學習成效研究成果分享會 |
嘉南藥理大學 | 109年10月30日(五) | 109年度校務研究講座暨成果展 |
國立空中大學 |
109年10月30日(五)、 109年11月6日(五) |
校務資料分析統計方法工作坊 |
國立中央大學、 臺灣校務研究專業協會 |
109年11月9日(一) | 「校務研究啟益點-以數據驅動校務策略規劃」北部校園巡迴講座 |
國立屏東大學 | 109年11月13日(五) | 2020南區大專校院校務研究推動策略聯盟成果展暨研討會 |
靜宜大學 | 109年11月20日(五) | 創新教學的自我對話:2020校務研究與大學社會責任研討會 |
國立虎尾科技大學 | 109年11月20日(五) | 校務研究的加值與應用成果分享會 |
國立臺北護理健康大學 | 109年11月25日(三) | 109年度高等教育深耕計畫成果分享會 |
淡江大學 | 109年11月25日(四) | 2020第五屆亞太大學智慧校園研討會暨成果展 |
中國文化大學 | 109年12月3日(四) | 2020校務研究與卓越經營研討會 |
國立中山大學、 臺灣校務研究專業協會 |
109年12月4日(五) | 「校務研究啟益點:以資料為本的政策效估」南部校園巡迴講座 |
東方設計大學 | 109年12月3、4日(四、五) | 2020校務研究資料分析知能研習會 |
東吳大學 | 109年12月14~18日(一~五) | 東吳大學109年度『躍‧動』高等教育深耕計畫暨社會責任實踐暨校務研究成果分享會 |
發佈單位:
校務研究辦公室
瀏覽數: