跳到主要內容區

109年度「沉浸式體驗」共學群

成果摘要:

  1. 沉浸式跨界合作特色

    沉浸式共學群成立之終旨「讓科技走入生活」,對於長照與老齡化社會等議題,一直都是我們致力研究發展的方向。除了將體感技術應用在遊戲、教育之外,我們也和音樂與高齡照護共學群合作,邀請到榮總何正宇醫師為同學們解說VR/AR在醫學上的應用。此外,今年度沉浸式體驗的課程亦結合大同醫院骨科醫師及復健師的專業建議,在學生的研究主題上,針對骨科病人復健的需求,設計出有趣的體感復健遊戲。學生們透過參訪醫院的復健區,了解病人在復健的過程所需要的條件與外界的刺激,進而設計出體感復健遊戲的基礎模型。此次課程中為虛擬遊戲 (西灣樂園/蔣公行館) 或 I-Ride 型態 (飛行體感)產品延伸打造新的劇情敘事,加上音效與音樂的設計,讓遊戲改以具有故事性的廣告、微電影或廣播劇形式呈現,期望在體驗遊戲或體感機時,從聽覺面向強化整體感官感受。而連結應用到上述兩種型態的遊戲產品,學生將於課堂上學到配樂與音效設計裡的情緒分類、速度感,情境營造所對應的畫面/場景建構與劇情敘事結構,以及畫面剪輯能力。

    *西灣樂園

    社會發展迅速,許多老舊建築、風景、文化隨著科技發展而消失,我們想打造一款科技與舊時代結合、所有人都可融入其中的軟體。回到西子灣 (中山大學)30 年前樣貌,與不同場景物件互動,接觸平常所無法體驗的活動,並了解 30 年前的風土民情。廟宇鑼鼓聲、海浪拍打聲、樹林間蟲鳴鳥叫,搭配三面環景投影以及現場佈景,彷彿身歷其境。用身體自然手勢控制,擺脫 VR 頭盔的束縛、減輕眼睛的負擔,是一款老少咸宜的軟體。西灣樂園是一款融合體感分析、視覺影像、音效的跨領域類互動式軟體,藉由軟體中場景的建構,一窺舊時代的西灣樣貌,並體驗燒香拜拜、釣魚、射箭、爬山等等的體感互動。利用 Kinect 攝影機做為感測器,抓取身體各節點數值,透過電腦程式進行體感分析,並將分析完成的數值傳送至主程式使用;場景方面則使用 Unity 建構,玩家可透過預設的物件進行有趣的互動。

    市面上的沉浸式體驗大多採用 VR 頭盔做為互動工具,身體活動受到限制,眼睛也可能過度使用,這些原因都使我們想創造舒適自在的體驗環境,故採三面投影方式來增加環繞度,彷彿眼前的世界從螢幕中活了起來。融合文化風景重現概念,讓長輩也可以透過此場景述說以前的故事,傳承給下一代。本作品場景音效皆為獨立製作,場景地形為西子灣舊時樣貌,十八王公廟的建構讓過去記憶湧現;音效採現場收音而成,搭配現場佈景讓整體環境更加真實。
    由於科技發展與都市化,許多文化風景逐漸消失、改變,透過對舊時場景的重建與互動,達到保留文化的功能,並體驗都市所無法涉足的互動。在家中也可以了解到不同時代、不同文化的故事。 校內新聞稿https://news.nsysu.edu.tw/p/406-1120-215351,r2910.php?Lang=zh-tw

    *駛訓練機

    運用虛擬實境(vitual reality)來進行駕駛汽車的訓練,為了造就出場景,在實務上有去實地的駕訓班實際考察過,也找到許多比例尺寸的資料、還有相關扣分標準,之後我們將這些資料,依照固定比例去轉換我們地圖大小,這些資料包括路寬(如 3.2 公尺路標換算 25 格座  標)、考試項目的長寬大小,以及斜橋角度,我們都依照此有去做換算,也因此在建構場景上算是維持一定比例以及與實際場地的比例尺寸相似。在車輛的部分,使用現成的 3D 模型去製作,並自行設計汽車的性能,由於我們的遊戲是第一人稱視角,我們另外製作三個後照鏡,後照鏡的製作運用照相機來產生與玩家左右方向相反的視角圖片,將其顯示在鏡子上來處理,以達成後視鏡看到後方的影像效果。針對應考的核心項目去做扣分處置,對照現實場考扣分標準去實行,如:路邊停車為扣 16 分且只扣一次,闖紅燈者-32 等等,這些核心項目扣分我們運用碰撞以及 BOX collide的偵測感應(trigger)去觸發機關以及偵測扣分等等。用大量不同的控制程式嵌入在遊戲內,就有如一台拼裝車,這也是 UNITY3這個軟體給我們帶來在遊戲開發上的方便以及容易各自維護而不容易互相影響。在硬體的部分,使用市售賽車遊戲方向盤以及油門煞車控制,雖然與實際汽車的方向盤有極大差距,但我們在設定車子的轉角以及方向盤的比例有依照實際調整,基本上方向盤轉 1.5 圈等同賽車遊戲方向盤的0.5 圈;打檔的部分以自排檔為主,在對應的硬體部件上建構;針對視角的部分使用方向盤上的方向鍵或者頭盔去轉動視角。此系統能夠幫助駕訓班成本減少、接受訓練人數增加,以及讓學員有更舒適的環境學習場考技巧等等,對駕訓班帶來更好以及更快的訓練方式,從而達到一樣的訓練效果。

    *電梯幽閉症適應

    幫助患有幽閉恐懼症的幼童,培養直接面對恐懼的勇氣,透過不同樓層場景,激發幼童的好奇心,間接忘記身在幽閉空間,久而久之也就不會對密閉空間感到恐懼。
    作品簡介:
    • 簡易電梯設計讓幼童能前往不同樓層
    • 不同的樓層場景誘使孩童按電梯按鈕前往
    • 透過 kinect 取身體骨架位置,使用者藉由身體操作
    • 每一層樓層都有通關條件,達成才可以前往下一層作品橫跨領域:
    • 藝術:設計 3D 模組讓遊戲內容豐富
    • 醫學:對幽閉恐懼的研究,及改善方法
    • 電機:設計程式驅動模組
    • 教育:可以透過遊玩遊戲的方式教導幼童些許生物知識

      作品影片介紹:https://youtu.be/M9XNPqeXiAk?list=UUjW_s1aWk8yIWugJwbVYyag
瀏覽數: