新的學期總算結束了,就問題解決這門課來說,真是轟轟烈烈。
為什麼說是轟轟烈烈呢?
因為這學期我有兩個班,一個班的課程幾乎沒有被考試或放假佔走,但另一個班就少三週課。
少三週課的結果就是已經要把許多單元想辦法揉和在一起操作才行。
(很多細節就不能要求,例如五個為什麼的追問脈絡。)
結果!!這個班竟然碰到兩次颱風假。
意思是比另一個班少五週,實際上課只有13週!!!
這是歷史上最少週次的班級,根本少到超出我的想像。
真是考驗我的應變能力及對課程核心的掌握。
還好,這個班超級給力,產出的結果剛剛好可以跟另一個班做對照。
但這並不意味著我們的課程其實可以用更短的時間完成,因為這個班真的是拼了命的跟上。
如果不是這樣的班級,我想不會有這樣令人開心的成果。
(之前就有類似的班級,時間還多一週,但就是災難)
反而是我能把歷年新增的一些過場用的投影片做一些過濾刪減。
更強化我知道哪些投影片及指令是關鍵,也能讓我觀察只保留核心指令後,學生對核心概念是更能掌握還是更模糊。
兩個班都有很棒的產出。
只上課13週的那個班,光是能夠有產出,就令人萬分敬佩。
重點是他們決大部分都有catch到關鍵概念,而且拼了命地完成。
光是這兩點,就應該好好報導一下每一組的成果。
先介紹周數比較多的那個班,然後才是周數少的班。
=======================
=======================
=======================
這一組做的主題完全超過我的關注範圍及經驗
很適合問題解決的老師拿來突破「我不熟這個主題,所以我無法指導這個主題」的框架。
這一組的整個架構都對得很準。
從收集資料到假說,從假說到產品的測試指標,都很準確的對齊了,超猛的。
從產品來看,也完全超乎我的想像(本人超討厭被拍照)
另外還有許多細節設定的功能
數據部分更是精彩,每一個指標都是相對有效及可信的。
(這個比「使用意願平均」的信度高。)
(不過我不確定這個「使用完」的意思是什麼?)
(這個也算是最直接的指標,若有參照受試者平常願意付費買軟體的金額,可能更能去除「一個人消費習慣」的干擾)
整個架構都超讚的,而且花了超多時間去模擬!
=======================
=======================
=======================

他們不止挑戰這個牽涉到公部門的問題,還挑戰了這是一個很難「證明是我們的產品所引發的效果」的測試方向。
在影片中的脈絡相對來說很清晰,這超級驚喜的~~
從影片中的資料,應該很容易看出他們花了多少時間跟心力去收集資料,及不斷嘗試。
不過呢,要特別注意,影片中的很多數據都是意見收集,並不是測試結果。
因為,政府機關及民意代表同意一起討論,非常、非常可能只是「禮貌」、「展現聆聽民意」、「展現支持下一代」,當散會後,非常、非常可能就是「果然是小孩子啊,太天真了。開玩笑養一條公車路線你知道要多少錢嗎!!!」
說會去反映,也非常、非常可能就是「反應」,僅止於「我們有聽民眾心聲喔」,沒錢還是沒錢、窒礙難行還是窒礙難行,因此不會有接下來的規劃、討論、進程等。
困難點在如何排除上述的可能,排除後,要如何驗證「是因為我們的會面才促成接下來的發展」。
這可以透過當場的訪談內容來分辨。不過,因為這一組跟鎮公所的人討論時,並沒有經過我的同意跟訓練,所以我無法告訴他們如何在訪談內容中,問出可信的下一步。
如果可以問出來,那麼訪談的錄音就可以作為「真正有效的成果」。
(因為要參酌語氣才知道真正的語境,當然要經過對方同意)
所以,雖然這一組說當場是有這樣的結論的,但因為我們傾向相信我們想相信的,我還是有提醒是要根據接下來後續的追蹤跟更多的訪談作為佐證才是比較扎實的推論。
=======================
=======================
=======================
在發表時吸引了好多老師想要加入哈哈。
但要注意下列幾點
- 我個人判斷是因為他們的菜單有做熱量控制,所以無法驗證是因為少吃還是因為多動。
不論是哪一個,都需要確認是因為使用者不知道這樣的食譜,還是因為他們沒有被逼著做熱量控制。 - 所以應該要提供「受試者都是試過其他飲食控制及運動處方卻仍肥胖的人」的確認方式。
- 而且他們測試的時間不長,無法驗證是可以長期執行的方案,而減肥的關鍵是長期。
不過他們很有趣,他們做了TDEE的計算,卻沒有發現那個就是用身高跟年齡去做推算,所以當然不會改變啊哈哈。
=======================
=======================
=======================

因為好的時間管理才有機會讓他們的睡眠時間夠長。
在問題解決課程中,可以透過學生的選題來看到他們的掙扎。
睡眠跟時間管理是非常熱門的主題,這也反映了如果在國小、國中階段,或是高一的上學期,能有「有效的睡眠及時間管理課程」,應該會很有幫助。
這一組的產品是聚焦在目前市面上並沒有「能教青少年時間管理,又可以融入遊戲化元素的行事曆及進度追蹤的app,因為這些廠商並不了解青少年的生活內容及需求」
他們有評估好幾個目前最常被拿來做行事曆、時間管理、遊戲化競爭的工具(google行事曆、YPT......)
app中的架構、功能挺完整(雖然有個小小的邏輯疑問),很值得接下來真的發展成一個app。
我應該會請他們做一個好看、順暢一點的導覽trailer,想辦法看看有沒有機會找工程師搞出來。
我們的課程並沒有機會讓他們真的把app做出來,但他們的想法還是要測試的~~
怎麼測試一個還沒做出來的app?其實很簡單。
因為他們想要做的事情是整合兩個app的功能,那就可以讓受試者同時使用這兩個app就好。
他們更聰明地使用了表單來教大家安排時間,並回報完成事件的比例。
從數據看來,的確完成的事件比例變高,睡眠時間也變長(應該還是要做一下統計分析)
不過,從他們成果影片中所說的模擬方法,好像沒有看到模擬「小組競爭」這個部分~
我問了一下(付費版的)chatGPT,似乎目前「容易搜尋到的」協助青少年學習及時間管理的app都沒有加入遊戲元素,也沒有加入線上讀書會或是組隊唸書這樣的功能。
但如果換個關鍵字,就可以找到,也許之後請這一組學生去看一下。
(好像都要錢)
如果不錯,其實可以募資作中文化,最少可以在高一新生訓練時跟學弟妹介紹。
也可以做開源版的app給全世界的青少年使用。
--
歷年來做這個主題的學生都有想到跟同學一起(或競爭),同儕互動真的對他們很重要。
這是我有點難想像的。
也許是我本來就不太透過跟別人一起做某件事情而會有更大的動機(所以我很難理解需要有人一起才要運動之類的)。
也可能是現在的小孩在成長的過程中,有更多機會(透過線上方式),跟其他人一起做更多事?
(我應該去訪談一下跟我差不多年紀,但現在有持續在線上遊戲中的聯盟活動的人)
=======================
=======================
=======================



只用了群組的元素而已,主要的方向是利用同儕來提高動機。
數據統計是用平均可以完成待辦事項的件數比例,是個信度很不錯的指標。
如果有提供統計檢定的結果會更能確定這樣的數字增加是否能判定有顯著差異。
另外,這些事件的挑選條件是否跟原先想做的拖延是一致的,也是判斷這個工具效用的關鍵。
這個主題在過去也有學生做,我都是帶著一個既有的判定在跟學生討論。
因為我也很常出去講東西,我準備的方式會是逐張投影片練到很熟。
如果是茲事體大的演講,我甚至會反覆錄影、找真人聽眾......等等,確保順暢度及效果跟我想的一樣。
然後我觀察我們學校學生在準備上台前,很大一部分都是「用想像」在準備及練習。常常都是嘴巴上說哎呀沒問題啦,但你要他講一遍,結果就是坑坑疤疤。
而在問題解決課程中,所有學生都不會往提升準備度去分析。
即使有想到準備不足,也不會往如何練習及準備去找資料。
所以我在前半學期都一直試著往準備那邊去引導,他們其實也有把練習作為方向之一。
那時候,我做了一個決定,對我來說有挺大的學習。
我問我自己「有沒有可能...是因為我自己面對群眾時真的不會緊張及焦慮,導致我誤以為準備不足才是唯一主因」
仔細想了一下,我覺得我好像真的不會「因為群眾」而焦慮(通常是因為怕失敗),所以我決定放手讓學生依照自己的想法去發展產品及測試方法。
從他們成果發表的內容來看,他們「對群眾說話的焦慮及緊張」還真的是我從來沒有的經驗。
連下台後還會有身體上的反應,完全超出我的想像哈哈。
說放手,不代表我讓他們自由發展。
我有讓他們在最短時間內用自己去測試一下那時心中的方案。
他們自己說確認有效,我才將這個擔子放在他們手上。
他們的指標選得很好,雖然是自評,但相對來說應該是信度不會太低。可惜的是在數據整理的部分。
如果可以把相同項目的前、後測放在一起,就會發現肚子痛、想吐其實是增加的,思緒混亂是持平。
意思是,五項指標中,只有兩項有降低。
如果加上做統計檢定,應該就會是完美的數據驗證歷程(應該會發現其實未達顯著差異)。
=======================
=======================
=======================
要來跟大家介紹周數少的那個班級了~~~~
下面的組別都是有非常精彩的學習及成果,所以我才能更進一步雞蛋裡挑骨頭!
-----------------------我們課程並不在乎「做出東西」或是「做東西的歷程」,真正重要的是「假說是什麼」、「驗證的數據有效嗎?」,所以下面會著重分析這兩個部分
他們的方案是改以班級為單位,一起看影片及討論。
另一個好處是可以快速做問卷收集。
他們自己去跟數個班級的導師情商(我們問題解決師資優先),讓他們用接近期末的班會課做測試。
這一組做的是新聞上常見的「老人攻擊坐在博愛座的年輕人」。
他們後來的假說是「因為年輕人及老年人不知道彼此可能有的疲累狀況,所以都覺得自己比對方更需要博愛座(優先席)」
但為時間的關係(我自己覺得也反映了他們潛意識的意願-沒有很想跟老人談這件事)只做了年輕人體驗老人。
這一組要做的也是很挑戰的題目。
但是還是要再次註明,這些回饋都是帶著一萬分的敬意!!!
我自己絕對、絕對做不到這些成果!
=======================
=======================
=======================
這一組成功挑戰如何評估一個人可能有的負面態度有多高的程度。
這一組做的是遊蕩犬,這是非常常被學生選為主題的材料。
(我真心不知道為什麼,雖然我也很關心,也會轉文,但我有點難想像會選這個主題作為要被評分的議題)
之前的學長姐是以提案要成立類似疫情中心並整合跨部會的資源,因為他們比對國外的制度,包含法規執行及罰則,覺得台灣主要缺的是這個部分。
不過這個班級的小組很堅持認為是人們並不很知道自己棄養犬隻後,所造成的影響。
他們認為要從源頭開始解決才是根本之道(因為別的國家都有飼主教育,不過他們忽略了其他國家的棄養罰則。)
這一組很值得學習的有兩個部分
- 他們的資料有很多數據。
- 是他們必須想辦法評估「一個人棄養寵物的可能性」!
他們的研究規劃讓受試者觀看影片,並利用前後問卷來評估棄養的可能
不過呢,在這裡他們其實混淆了兩個假說。
- 人們是因為不知道棄養犬隻的後果,所以會棄養。
(一旦有好的方法讓他們知道,就不會棄養) - 大部分人們是因為這支影片的傳播效果不好,所以很多人會棄養。
(一旦有更好的推廣,就會快速讓大部分人知道棄養後果,就會減少棄養比例)
這兩個假說的主體不一樣,第一個是個人,第二個是群體。
他們的第三個理由是對應到他們沒有測試的假說。
如果沒有要測試「更好的推廣是否能有效減輕問題」,那麼,影片並不需要有人數的篩選條件。
如果要測試「更好的推廣是否能有效減輕問題」,那麼應該去比較自己的推廣方式後,觀看人數的增加速度是否高於原本的。
他們的測試是對應第一個假說。前後測的問題都是我們討論過的
我超級欣賞這兩組問題的轉換方式(用行為量化態度),非常值得學弟妹參考。
如果可以找到對於棄養行為的研究,知道哪些生活背景的人容易需要決定是否棄養,然後針對那些背景去細調敘述,或是增加更多客製化情境,應該找出有趣的insight。
這邊若用比例來看,32/40的人有降低棄養的可能,看起來不錯。
不過這並沒有驗證他們的數字是能真實反映棄養的可能程度,也沒有排除可能受試者知道他們想要什麼答案而潛意識的回答訪談者想聽的答案。
如果能有
我應該要來跟他們索取原始數據,至少做個T檢定之類的(我到這個不應該用T檢定,但他們只學過標準差,在下學期會學到T檢定這兩種評估誤差的方式)
當然他們也有血淋淋的體驗,關於把問卷用線上方式請人作答是多麽耗費時間又沒效率的做法。
=======================
=======================
=======================
(問題解決的老師們可以先看一下影片,再比對看看下面我的想法喔)
這一組做的是同性戀傾向的人所遭受的語言攻擊。
我其實很怕這種主題,因為做的人常處於受害者情境,然後就用自己的經驗當作通則。
只要一討論,就會聲音高亢起來orz。
(不過在我跟他們討論的過程中,顯然他們聽過的語言攻擊都是很溫柔的版本)
(我不是圈內人都聽過很多猛烈的攻擊,這樣能不能想成現在的環境已經比我高中時友善很多?)
(我不是圈內人都聽過很多猛烈的攻擊,這樣能不能想成現在的環境已經比我高中時友善很多?)
他們的產出很有可擴展性,所以我打算來讓他們跟學校裡面負責學生性平教育的單位合作,看看下學期能否改一下活動內容
(據說現在是全校一起看影片?)
這份研究中,有訪問學生關於在校內接受性平教育的想法,很值得校級、署級的負責單位思考及參考。
也有一些青少年對於攻擊同性戀語言的想法(不過,字實在太多了,看起來很容易zone out)。
在資料收集的部分,他們有收集到較高層級的資料。
如果可以把這個與學校教育合併成一個流程圖,一定很驚人。
若納入已經行之有年且有許多專業人士組織的民間團體,像是熱線、不小盟等其實已經有成熟入校課程及捐款金流的單位,一定可以激發許多想法及解方。應該後面跟他們討論推廣時,會引入這些資源。
如果可以把這個與學校教育合併成一個流程圖,一定很驚人。
若納入已經行之有年且有許多專業人士組織的民間團體,像是熱線、不小盟等其實已經有成熟入校課程及捐款金流的單位,一定可以激發許多想法及解方。應該後面跟他們討論推廣時,會引入這些資源。
另一個好處是可以快速做問卷收集。
他們自己去跟數個班級的導師情商(我們問題解決師資優先),讓他們用接近期末的班會課做測試。
他們的結果如下
從不認識同性戀變成認識同性戀的比例有75%,而有1/3的人從會語言攻擊同性戀變成不會。
這些數據有下面還有幾個需要考量的地方:
- 他們有提到有在前測中的回答找出哪些人是對同性有偏見的人,才做後續的分析。
我好奇這個篩選的有效性是如何驗證的?
驗證出的人的偏見來源,是後來觀看的影片的核心概念嗎? - 如何評估認識、不認識同性戀?
這邊的「認識」,是指同意「同性戀與異性戀一樣,就是喜歡一個人而已嗎?」
那麼,在後測中的問題能區分是否真的有這樣的態度嗎? - 會不會用語言攻擊的部分,我也有一樣的疑惑。
如果是我,我應該會有兩組常見語彙,有攻擊性明顯到不明顯,讓學生做前測及後測。
而且還要有對半測試!! - 同等重要的是「影片是什麼?」、「問卷是什麼?」
因為這牽涉到他們的假說是下面三個的哪一個? - 以班級為單位能更有效改變語言霸凌的傾向
- 更聚焦的實驗架構應該是跟全校性的月會做比較(可以對全校做抽樣的調查)
綜合4&5項來看,他們的歷程只有在驗證「讓班上看影片是否能改善現況」,而非「讓班上看影片是否比現行的方案更能改善(整個台灣的)現況」
=======================
=======================
=======================

他們的產品方向很適合作為任何需要「同理心的」議題作為參考
這個是我超級害怕的主題。因為學生會很難跳開受害者心態,也很難想像老年人的日常生活。
光是我的老花眼讓我沒辦法看書就已經讓他們難以想像,他們就更難同理走五十公尺在不同年齡人的差異。
我不覺得年輕人就比較不累,我煩惱的是「毫不懷疑年輕人補習一整天後比一個70歲的老人家呼吸一整天後更累」.....
同時也知道我會需要花很多時間讓學生發現會攻擊的老人其實是少數(我們的母數這麼的龐大啊)
在實際進行時,也出現了下面兩個狀況:
- 明明知道法定保障的障礙席和台灣公車或捷運上的優先席不同,但還是要納入資料分析。
- 拒絕去訪談老人家對這類事件的想法(其實他們還需要去訪談外觀看起來不需要被讓座的中、壯年人)
所以他們的產品有兩條軸線:
- 讓年輕人體驗老人。
- 讓老人體驗年輕人。
但為時間的關係(我自己覺得也反映了他們潛意識的意願-沒有很想跟老人談這件事)只做了年輕人體驗老人。
以他們的數據來看,感覺上好像是能大幅改變大家的想法。
不過如果扣掉本來就會禮讓的人數,再改成比例的話,不知道趨勢看起來如何。
直接從數據上來看,是從50%弱變成70%左右。
直接從數據上來看,是從50%弱變成70%左右。
如果能主要挑不認為可以讓座的人來擴大測試應該會更有趣。
尤其是態度對老人認為應該被讓座的反應從強烈到中立,這個可以透過讓年輕人看新聞後,看他們的反應來做等級區分
=======================
=======================
=======================
「台灣媒體常常報導超過事實很多的新聞」
他們的產品很有意思,也很有挑戰性,他們真的把產品做出來,超級令人尊敬!
對於這樣的主題,在過去的小組,常有的難破框是因為我們大多會堅信「我們自己是可以區分事實vs誤導,有些人則無法區分,因為他們跟我相信不一樣的新聞。」(尤其是有明確的政黨傾向的人)
如果有上過像我們探究實作的邏輯課,就會發現這是「begging the questions」的謬誤~~
他們最後的假說是「一般民眾因為沒有好的資訊區辨能力,所以會相信超過事實很多的新聞」
因此,產品就是針對某個熱門新聞主題,製作一個分析當時的多個新聞的podcast,然後以前測、後測去比對容易相信超過事實很多新聞的可能性。
當然在這邊我們會發現前測、後測的效力必須要被獨立驗證。
這點他們自己也有發現。不過,學術界似乎也沒有一個能給高中生操作的量表工具。
但一個更重要的觀察會是「他們的主體從台灣媒體轉變為一般民眾了」
如果要接受這是一個有根據的轉變,那麼,他們的現況分析中,必須要有能讓「當閱聽者的區辨能力升高」過渡到「改變媒體報導方式」間個階段的資料及論述。
他們的確有做這個部分的分析,產品也準確地錨定在能讓「當閱聽者的區辨能力升高」,但並沒有資料支持「當區辨能力升高,會改變點閱新聞的行為」。
上面這一個部分必須要先被確認(至少可能性要高於50%),那麼這個需要花費大量時間的產品才值得真的花時間與人力去做。
而更關鍵的是,即使我們找到資料支持可能性高於50%,難道,現在沒有類似的產品嗎?
目前的產品比較像是「測試有個好的教學材料是否能增加大眾的區辨能力?」
而產品真正應該驗證的假說是「為什麼現在沒有能有效提升大眾區辨能力的解方?」
亦即應該是下列三類假說之一:
- 負責或是想要提升台灣大眾媒體識讀的單位、團體不知道做一個podcast可以有效改善。(只要他們知道,他們就會製作,且能有效提升)
或是
目前已經有能提升區變能力的方法,只是一般大眾不知道(只要知道就能有效提升)
=>必須要先有一個經過驗證是有效的podcast
=>在新產品中要驗證的是推廣的成效,而非那個podcast有效 - 負責(或是想要)提升台灣大眾媒體識讀的單位、團體無法做一個podcast來有效改善。
=>必須要先有一個經過驗證是廣為被用來提升能力但卻無效的podcast或是類似產品
然後分析其缺點,做一個新的版本,比對新舊之間改善幅度。
例如是舊產品的內容無趣、無效.....,那就要說明新版本為什麼可能更有效。
最後用數據比對新舊之間的改善幅度。
=>或是必須先確認podcast有效,然後分析這些單位、團體為什麼沒做。
例如需要大量人力、經費去持續更新內容,或是即使做了也難以吸引大眾持續使用。
那麼我們的產品就會是如何用更少的人力經費去持續更新
或是如何弄到足夠的人力經費去持續更新
或是發展一個外部(而非內容)的吸引方式,例如可以換點數、有同儕排名等設計。 - 負責(或是想要)提升台灣大眾媒體識讀的單位、團體知道也有能力做一個podcast可以有效改善,但他們選擇其他方案。
=>必須要先經過驗證是有效的podcast,且有資料支持該單位團體有足夠經費及人力做。
然後我們的產品就是說服該單位、團體改用podcast來處理大眾媒體識讀的問題。
從上面三點比對他們的產品驗證方向(測試有個好的教學材料是否能增加大眾的區辨能力?),就可以看到明顯的不同。
他們是困在「對媒體、識讀等標準不一致」這個面向。
即使收集了資料,(即使脈絡上有矛盾)也是堅持在公營、民營這個點上,忽略了在新聞產製的過程中,有哪些監督或影響的機制。
比較像是找資料來支持自己原來的論點,而非檢查自己的論點。
如果可以將許多新聞產業的人跳出來說新聞產製鏈內資料、目前台灣做媒體識讀教育的政府單位及商業團體,還有其他國家的媒體識讀等資料納入組織論點,應該會有不一樣的方向。
(其實,整個學期中我都有一直提醒orz)
=======================
=======================
=======================
這一組做的是青少年自殺防治。
從109學年度以來,選擇這個主題的小組越來越多。都是說在國中時有同學自殺。
國中生自殺在新竹,尤其是竹北,是非常、非常常見的。
會上新聞的都是往外跳的,而且都還會被壓下來。往內跳的就不會上新聞。
以2024年來說,至少我開始關注的下半年,每個月至少都有一起!!
這一組的資料收集、分析等都做得很好。
他們的測試比較像是優化一個既有的app。因此,如果可以補上「分析現有app確實有效+細部缺失」的驗證歷程,就會完整而嚴謹。
沒有留言:
張貼留言