本期電子報的議題以教學意見問卷調查為主軸，透過歷年來的資料檢視幾個面向，包含了學生在填寫教學意見問卷是否有其慣性？教學意見問卷的分數是否有其鑑別度？以及教學意見是否能有效改進教師教學之成效？為了回答以上問題，本期串接了103~106學年度（共8學期）所有科目的教學意見評量資料進行分析。透過實徵數據資料，針對所觀察到的現象提出可行建議，改善教學評量問卷品質，期能提升本校的教與學。此外，本期對於大學排名系統及校務資訊系統中常用到的視覺化商業智慧分析軟體（Tableau）提供初步的介紹，可供校內師生有初步的認識與瞭解。

        泰晤士高等教育機構排名主要探討五大面向（下圖1）：教學（30%）、研究（30%）、引用（30%）、國際觀（7.5%）與產業收入（2.5%）。在教學方面，共有五個子指標：聲譽調查（15%）、師生比（4.5%）、博士生比（2.25%）、博士學位授予與教學人員比（6%）與機構收入（2.25%）。在研究方面，則有三個子指標：聲譽調查（18%）、學術收入（6%）與每位教師的研究生產力（6%）。在引用方面，則是採用領域權重引用影響力指標（Field-Weighted Citation Impact，FWCI），意指將文章依相同學科領域、同出版年與同文章類型比較，當FWCI大於1時，表示該篇文章之被引用文章高於全球平均水準。在國際觀方面，亦有3個子指標：國際學生比（2.5%）、國際教師比（2.5%）與國際合作（2.5%）。

        在2019年世界大學排名中，中山大學落在全球601-800區間。其中產業收入與研究兩個面向表現較佳，分別位居全球240名與365名。然本校引用分數表現較不理想。從Scival系統（Scopus的資料庫）來看，本校每年發表的論文數量皆穩定落在1,200～1,500篇。截至目前為止（2019/04/01），本校的FWCI為0.93，亦即本校教師所發表的文章之被引用次數約為全球平均的93%。然本校所發表文章之被引用情況並非乏善可陳，根據Scival（Scopus）資料庫的查詢，可發現不同的合作對象會有不同的被引用次數，國際合作的文章發表超過發表總數的29%，而該類型的FWCI高達1.31，亦即為全球平均之131%。除此之外，本校與中研院、高雄榮總、臺灣大學、長庚大學、中國醫藥大學、交通大學、成功大學與高雄醫學大學等機構的合作文章之FWCI亦高達1.25，亦即為全球平均之125%。綜合上述，國立中山大學若欲在THE世界大學排名上有所進展，建議可掌握自身優勢，維持與學界夥伴保持友好關係，共同發表學術論文，增加文章發表、提高文章被引用次數、亦能更進一步增加國際觀之國際合作指標分數、並期待能增加本校之學術聲譽，可謂一舉數得。

        本校教學意見調查係以紙本問卷施測，目前此項業務為教務處註冊課務組負責。近年來，在推動評量的過程中，發現教學意見評量平均分數皆落於6-7分之間（問卷題項為七分量表），有逐漸趨近天花板之趨勢。然而，不論是哪一種測驗，當其分數達天花板之際，則會喪失原本的調查與鑑別的功能。因此假使此情況確實發生在教學意見調查上，其結果有可能會造成教學意見調查無法確實反應教學實際場域所遭遇的問題及發揮其改善教學品質之功效。究竟大學的教學評量是在於檢視教師教學表現抑或是提升學生學習成效？又現行的評量工具及問卷內容能否真正達到改善教學品質的目的？是故，本期試圖以兩個主軸進行教學意見調查之研究：1.盤點近年來教師教學意見調查之結果、2.試圖找尋可能的分數校準與計算方法，藉此進一步降低天花板效應。最後將分析結果回饋相關業務單位，以供後續自我改善之參考。

 

        為了有效評核教師教學表現，盤點本校現行的教學評量類型包含了教學意見調查（88學年度起）及學生學習成效教學意見調查（99學年度起），前者目前仍維持紙本施測，其依課程類別建立十種版本問卷，提供教師教學回饋或課程調整之參考依據；後者於105學年度起採線上施測的方式進行，目的在建立每門課學生能力培育達成度之檢核問卷。整體而言，教學意見調查表主要調查老師的教學方式與態度，包含教學內容、教學方法、教學態度與教學評量等方面，由學校統一定期於期末施測。其評量結果的應用範圍涵括教師評鑑、教師升等、傑出暨優良教學獎教師遴選、及教學優良課程獎勵等。因此，良好之教學意見調查應能回饋教師的教學，使學生的意見成為老師改善教學的方向與動力。

 

        不同性質的課程有不同的課堂回饋內容需求，故教學評量問卷則依課程性質設計適合的題項，如此可避免問卷題項一體適用的情形，致使評量結果無法真實反應教師教學表現。整體而言，不同問卷的基本架構跟題項是一致的，以利整體分析與評估。為了有效反應學生對於教師教學之意見，本校行政單位於學期中提供教學意見即時回饋系統，開放給老師使用，並隨時察看學生回饋意見。期末則進行教學評量問卷調查，為了符合各學系課程的屬性差異，可分為十類，包含講授類、研討類、實驗類、演講類、服務學習類、企業實習類、實習類、音樂類、體育類、展演類。此外，在教學評量計分上，考量班級學生人數及學科領域差異做適當調整，甚至刪除無效問卷，使分析更為客觀。

 

        自105學年度起，本校針對教學評量意見調查問卷作了初步的改版，原始的教學評量意見調查包含了課堂反應教學評量面向及學生學習自我評量面向，此次改版方向有二，其一為將題目進行精簡，由原教學意見調查10道試題縮為8道試題；其二為將學生學習自我評量題項移至線上施測。本期資料係由教務處註冊課務組提供，資料範圍含括新舊版題項，資料年度於103學年度第1學期至106年度第2學期，其教學意見調查分數如下圖2所示，顯示近年來各學期全校課程之教學意見調查的分數差異不大。此外，圖2亦說明了各年度與學期之教學調查分數的分布均落於較高分之範圍（平均分數在七點量表中均超過6.2分），由此可預期分數貼近天花板之隱憂：如平均分數再行上探，則預期整份問卷之鑑別度將大幅降低，難以將優良教師準確的區分出來，亦無法達成改善教師教學之目的。

 

        在過往的計分方面，本校計分方式為扣除反向題後，將其他題項進行平均，藉此做為教學意見調查之得分。此種計分方式之優勢為容易計算，且分數的解釋亦較為直接。然而儘管目前調查的結果顯示其分數具有鑑別力，仍需直視天花版效應的問題。本期試圖以教學意見調查中，學生自評對課堂的用心程度（題項為：我在本課程用心學習的程度）為關鍵變項，分別比較「原始計分方式」、「以用心程度進行加權」、「以用心程度進行調整」三個方式所計算出的教學意見調查總分，並探討其三個分數在改版前與改版後的效果。

        結果顯示，加權後的分數與原始分數的差異不大，經過調整後的分數則較為低分（見下圖3），再進一步探討三種分數的分布情況後（見下圖4），可發現原始分數與加權分數相去不遠，調整分數之偏態情況則稍稍緩減（原始分數＝-1.63，加權分數＝-1.72，調整分數＝-0.89）。

 

  

 

        由上圖3與圖4可知，調整後分數確實能緩減天花板效應，然而在經過調整後之分數是否依舊保持其功能性？抑或是就此失去了其有效性？為了瞭解調整後分數的成效，我們調查兩個外部指標以提供相關證據：1.教學意見調查表的分數與學生課堂成績的關聯性、2.教學績優教師在得分上是否比其他教師高。其中學生課堂成績係由校務研究資料庫提供，教學績優教師名單與其開設課程則是取自於本校網頁。分析結果如下圖5所示，不論新舊版本，調整分數與學生成績之關聯性均較高。除此之外，被評為教學績優教師的課程其教學意見調查得分亦較其他教師高（見下圖6），此兩數據提供了調整後分數仍維持其應用性與鑑別性之證據。

 

 

        在經過本期的調查後發現，改版前後教學意見調查表並無太大差異且具備一定的測驗品質（信度與效度指標均達不錯的水準），提供了改版前後教學意見調查品質的證據。目前結果顯示，教學意見調查表均能發揮其功能，但由於分數均偏高，且數值已逐漸接近天花版的效果，因此必須注意未來是否有可能會因天花版效應而使其喪失功能性。總合上述分析成果，本期建議在教學意見分數之計算上，應納入學生對課堂之投入程度做為調整基礎。然而儘管初步分析的效果不錯，但是本期不建議在接下來的分析上直接以學生自評之用心程度進行調整，主要原因有二，其一為學生自評學習的用心程度僅包含學生部分的學習投入情況，並不足以代表整個學習投入的概念並納入分析當中。其次，在學生學習投入的測量當中，應包含自評的結果與客觀分數兩部分，並不宜儘以單一結果進行評量。本期電子報的分析受限於資料，僅以此分析做為例子，期待能拋磚引玉，提供相關權責單位一個不同的想法，並且能蒐集其他不同之課堂資訊，藉此對教學意見的測量與其分數的應用上有更進一步的想法與改善。

        除此之外，教師教學意見並不宜單以學生之意見為唯一考量、應囊括所有課堂參與者（包含學生、TA、共同授課之教師互評、教師自評）與第三方客觀的觀察結果與意見進行綜合討論。而本辦公室此次的研究僅就現有的教學意見調查分析進行初步的探討，建議後續可參考其他不同的意見共同評分，以對教師教學進行更進ㄧ步的瞭解並提供教師增進教學的方向，以營造互知、互利、互惠的教學環境，達到教學相長的目的。

 

        在教學意見調查的課題中，除了本期所探討的重點外，尚有追求卓越的空間。首先，現行的教學評量制度雖受到教師普遍重視，然而行政單位提供的服務與授課教師的需求是否能契合是個未知數，因而該制度是否仍有改善空間及如何改善，皆須授課教師以使用者的身分提供寶貴的建議。其次，期末的教學意見調查屬於總結型評量回饋，有助於教師改善未來的教學，但對當學期的教學改進並沒有實質幫助，如果要能改善當學期的教學，應要有機制或是多元管道蒐集相關資訊，能讓教師在學期中儘早獲得形成性的回饋。在此方面，由於本校已經有教學意見即時回饋系統可供教師使用，因此本期藉此機會進行推廣。而為了提升教學評量的效能，需更具體的做法，例如：

1. 建立師生雙方溝通管道：可採隨機評量方式，由授課教師透過非正式與學生焦點座談或課堂回饋的管道瞭解學生想法，立即溝通回應。

2. 鼓勵教師使用教學意見即時回饋系統：教師可透過教師課務系統進入教學意見即時回饋系統，並設計教學意見題目給學生填寫（亦有既定之題目可供使用），學生的反饋將於預定填寫時間結束後回饋於教師。教師亦可藉此了解教學的現況，近而對教學方針近行調整。

（進入網頁：教務處首頁/教師專區/教師課務系統/教學意見即時回饋系統）。

        最重要的是，問卷調查的結果僅是教師評鑑部分成果的展現，說明教師在某依特定時間、特定課程的結果，並不能完全代表或證明教師全部的教學品質與績效。因此，透過多元評量工具、客觀資料分析、及適當結果的應用機制建置，才能達到改善教學品質的目的，並更能確保學生學習成效。考量教師教學評量的所涉及的範圍廣泛，本辦公室預期在後續的期數中，以不同的角度進行探討，以期能在教學意見之議題上有不同的觀點。

        為了更完善校務研究資訊系統的功能，本校引進了資料視覺化軟體Tableau，並且由校務研究辦公室將其與校務研究資料庫進行串接，使用者不僅能從各面向選取所需之數據，亦能從議題模組獲取相關的視覺化圖表。因此本期將針對Tableau軟體進行初步介紹，並預告將於下半年舉辦Tableau工作坊，供全校師生參與。

        首先，Tableau可導入不同型態的資料來源：Tableau支援兩種類型的資料導入，檔案（file）與資料庫（server）。下圖7為其資料導入的類型，以檔案導入來說，其能支援不同種類的資料檔案，諸如excel、SPSS、CSV、文字文件、PDF、json等，與其他統計與文書軟體的相容性極佳。除此之外，Tableau的特色為可支援市面上常用資料庫檔案的導入，如Oracle、MySQL、Microsoft SQL Server等。因此，如使用者能使用上述其中之一的資料來源，即可使用Tableau產生視覺化圖表。

        其次，在操作介面部分，Tableau使用圖示標記每個物件的內容與屬性，此設計提供更為親切的使用者介面，如下圖8所示：「Abc」表示該屬性為文字、「#」則表示該屬性為數值。如點選該圖示可得知更多其屬性的詳細資訊。

 

        在實際操作部份，Tableau支援快速拖拉，亦即用拖曳的方式將其物件拖曳至目標區域，舉例來說，可直接將目標變項拖曳至欄（Columns）、列（Rows）或是標籤（Marks）的部分（見下圖9）。亦可雙擊物件，則Tableau會自動將其分類到欄或列的位置。值得注意的是，雙擊無法將物件分類至標籤的部分，如需要透過欄位內的內容用顏色或者圖形來區分圖表內容，僅能用拖曳的方式拖到我們前面提到的標記（Marks）區塊。

        Tableau內容含括大部份常使用之圖表類型，使用者可在「Show Me」標籤內選取所需之圖表，且可智慧提示所推薦之圖表，並且於右下方顯示該圖表所適用的類型。如該圖表無法使用，則會以淺色表示。

        如使用者需同時呈現多張圖表，Tableau亦提供儀表板（Dashboard）的功能，使用者可同時結合多個圖表於同一頁面中（如圖10所示）。且如所有的圖表有其共通點，例如這些圖表都有學年度，則在經過設定後，僅需篩選出所需之學年度，所有圖表均會一同更新。

        Tableau亦支援圖表的標記功能，以下圖11為例，這張圖說明了本校歷年來大學部的入學人數，不同性別人數與總入學人數，並可標記其資料來源。

        最後，Tableau提供了伺服器的版本可供線上化使用。使用者可以直接把已完成的Tableau圖表上傳至目標伺服器上，亦可使用Tableau提供之免費伺服器。由於免費伺服器的資料為公開，因此如內容包含機敏資料，則不推薦使用。

        本校校務研究辦公室目前已經將Tableau軟體與校務研究資料庫結合，並且完成了線上化的版本可供使用，下面連結為「畢業生於六都全職工作者人數與比率」（https://ir.nsysu.edu.tw/db.php?type=public&proj=grad_work_city），使用者可根據所需學年度與學制選取目標樣本，並且繪製相關圖表。目前校務研究資訊公開平臺已完成兩議題分析模組，後續將會持續開發相關模組，如果有相關單位有其需求與建議，亦可提供寶貴意見，校務研究辦公室會以使用者需求為考量，排列優先順序進行模組開發，以完善校務研究資訊公開平臺之功能。