因為此紀錄可能影響正式收案的施測者間評估結果,故設有防雷線。
評估20份之過程與結果,有以下二個現象:
我認為明確同理時機的定義還是有一些不確定的空間,故評估過程中判斷仍有些微變化。
這可能源自於:(1) 同理時機的展現不僅是透過語言內容,而會搭配非語言(表情、身體姿勢等)或副語言(語調、語速等)來表現。(2) ECCS的同理時機僅能做到明確定義語言內容的部分,至於內容是否對陳述者帶來情緒感受或生活品質之影響,則需要評估者斷定,這部分的原則很難描述得盡善盡美。
我針對評估過程中,有產生些想法的特殊例子與筆記列於下:
(黃色字體為針對辨別同理時機,可能可以補充之處)
自己在一個月的評估歷程中,都感到判斷同理時機類別時的不穩定性(但施測者內信度待驗證),故進而想像/猜測三位評估者間,結果之一致性可能也存在蠻大差異(正式評估前測試了4個月左右,施測者間信度都不理想)。
和其他人討論此擔憂後,瞭解到施測者間一致性不佳為工具的問題,身為評估者現階段可能不用擔心太多,把結果評出來即可。
會影響施測者間一致性的因素,包含用什麼方式計算,以及怎麼看。確切來說,前者如果用ATLAS的一致性百分比,則會受到coding範圍的影響;換言之,評估者間的時機(即類別、主要議題)判斷可能一致,但因選取範圍有差異而顯示出不一致。而後者的二種比較方法:僅看施測者間「是否判斷為同理時機」,或「是否判斷為特定類別的同理時機」的一致性,也可能影響結果。
學習研究方法後,面對這種已知評估工具心理計量特性不佳的難題時,應如何面對?是要妥善運用統計方法,讓結果好看一點(但不偏離事實),還是適當地討論、給予解釋即可,這大概是個議題。
在所有被評估出來的同理時機中,大概1/4到1/3符合ECCS同理時機。
換言之,大多數我判斷可同理的時機,尚未包含在ECCS中。然而,這是可以理解的,因ECCS包含了明確性、重要性皆最佳的內容,有助於降低判斷上的不確定性或歧異性。
並且,這些不屬於ECCS的時機內容如何歸類、應以何種準則讓人普遍都能判斷,尚未有定論。如果未來需要擴充同理情境,這是需要克服的部份。
沒有留言:
張貼留言