◣產(chǎn)品特點(diǎn)◥
“多模態(tài)手環(huán)與計(jì)算套件”是一款用于群體情緒狀態(tài)實(shí)時(shí)分析與監(jiān)測(cè)的科研及產(chǎn)品。
支持多種生理信號(hào)和行為數(shù)據(jù)的同步采集，支持實(shí)驗(yàn)過程中對(duì)不同事件的自動(dòng)和手動(dòng)標(biāo)記。
實(shí)驗(yàn)結(jié)束后數(shù)據(jù)將自動(dòng)同步到云端，可下載原始數(shù)據(jù)和特征數(shù)據(jù)，并進(jìn)行后續(xù)分析。
◣產(chǎn)品組成◥
| 
| 
|  |
“多模態(tài)人因感知終端 ” 支持脈搏、皮膚電阻、皮膚溫度、運(yùn)動(dòng)加速度、角速度等生理和行為數(shù)據(jù)，以及環(huán)境數(shù)據(jù)的采集，并將數(shù)據(jù)傳輸?shù)健斑吘売?jì)算終端” | “邊緣計(jì)算終端” 實(shí)時(shí)接收“多模態(tài)人因感知終端”的原始數(shù)據(jù)，實(shí)時(shí)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理與特征計(jì)算，并將原始數(shù)據(jù)與計(jì)算后的特征數(shù)據(jù)傳輸至“科研云平臺(tái)” | “實(shí)驗(yàn)操作端” 實(shí)時(shí)監(jiān)控“邊緣計(jì)算終端”的設(shè)備電量與網(wǎng)絡(luò)連接狀態(tài)，支持實(shí)驗(yàn)過程中關(guān)鍵事件的同步標(biāo)記，并將標(biāo)記數(shù)據(jù)傳輸至“科研云平臺(tái)” | “科研云平臺(tái)” 下載原始數(shù)據(jù)、特征數(shù)據(jù)與事件 標(biāo)記，或提交定制化數(shù)據(jù)分析需求， 對(duì)原始數(shù)據(jù)進(jìn)行定制化數(shù)據(jù) 處理與特征提取分析 |
◣適用場(chǎng)景◥
一、實(shí)驗(yàn)室
適用場(chǎng)景：實(shí)驗(yàn)室 ，與其它科研設(shè)備同步使用
產(chǎn)品標(biāo)配：人因感知終端 + 邊緣計(jì)算終端+ 實(shí)驗(yàn)操作端 + 科研云平臺(tái)
可選配項(xiàng)：特征數(shù)據(jù)服務(wù)、API接口服務(wù)、數(shù)據(jù)實(shí)時(shí)監(jiān)控平臺(tái)
可定制項(xiàng)：連接實(shí)驗(yàn)室已有腦電、 眼動(dòng)儀、生理多導(dǎo)儀等設(shè)備 ，實(shí)現(xiàn)同步記錄多通道數(shù)據(jù)
二、經(jīng)驗(yàn)取樣
適用場(chǎng)景：在自然或個(gè)體慣常所處的情境下，收集各類縱向數(shù)據(jù)、動(dòng)態(tài)數(shù)據(jù)
產(chǎn)品標(biāo)配：人因感知終端 + 采集助手APP + 科研云平臺(tái)
可選配項(xiàng)：邊緣計(jì)算終端、特征數(shù)據(jù)服務(wù)、API接口服務(wù)
可定制項(xiàng)：經(jīng)驗(yàn)取樣APP（支持問卷、認(rèn)知能力、錄音、手機(jī)使用情況等多種數(shù)據(jù)的同步采集）
三、群體采集
適用場(chǎng)景：多人同時(shí)參與一個(gè)活動(dòng)時(shí)（如上課、訓(xùn)練） ，同步采集多人數(shù)據(jù)
產(chǎn)品標(biāo)配：人因感知終端×N + 邊緣計(jì)算終端×N +實(shí)驗(yàn)操作端 ×1 + 科研云平臺(tái)
可選配項(xiàng)： 特征數(shù)據(jù)服務(wù)、API接口服務(wù)、 數(shù)據(jù)實(shí)時(shí)監(jiān)控平臺(tái)、 裝備保障箱、 移動(dòng)數(shù)據(jù)工作站
◣產(chǎn)品優(yōu)勢(shì)◥
數(shù)據(jù)信噪比（SNR）高，與多個(gè)標(biāo)準(zhǔn)科研設(shè)備（Biopac、Polar、Shimmer）進(jìn)行過對(duì)比， 一致性達(dá) 0.95 以上
結(jié)合超掃描技術(shù) （Hyper-Scanning），支持同時(shí)記錄參與同一認(rèn)知活動(dòng)的多人外周生理 活動(dòng) ，分析生理活動(dòng)同步及其與行為指標(biāo)間的關(guān)系及其機(jī)制
結(jié)合經(jīng)驗(yàn)取樣法或生態(tài)瞬時(shí)評(píng)估法（ESM/EMA），支持開展各類縱向數(shù)據(jù)、移動(dòng)式數(shù)據(jù)收集和研究，數(shù)據(jù)采集成本低，評(píng)估客觀、高效，
研究結(jié)果具有更高生態(tài)效度
提供豐富的具有先驗(yàn)知識(shí)的特征指標(biāo)的計(jì)算，支持原始數(shù)據(jù)和特征數(shù)據(jù)的下載，支持原始數(shù)據(jù)和特征數(shù)據(jù)的接口開發(fā)
集成一體化設(shè)計(jì)、體積小巧、方便攜帶 ，適用于缺網(wǎng)、缺電、高噪等極端作業(yè)環(huán)境下使用
◣ 研究案例◥
一、 群體超掃描研究案例
（一）群體共享情緒識(shí)別研究
本研究采用超掃描技術(shù)，以中科院心理所建立的標(biāo)準(zhǔn)華語情緒電影庫(kù)為實(shí)驗(yàn)素材，誘發(fā)4種特定的情緒狀態(tài)。研究者招募了144
名大學(xué)生被試，6 人一組進(jìn)行群體觀影實(shí)驗(yàn)，同時(shí)佩戴手環(huán)記錄 6人的生理、行為和環(huán)境數(shù)據(jù)。
研究人員從脈搏和皮膚電阻信號(hào)中提取了 80 多個(gè)具有心理學(xué)先驗(yàn)知識(shí)的時(shí)頻域特征，并輸入到支持向量機(jī)、隨機(jī)森林、深度
置信網(wǎng)絡(luò)、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)等模型中進(jìn)行四分類學(xué)習(xí)。
Reference
Zhang, Y., Zhao, G.*, Ge, Y., Shu, Y., Zhang, D., Liu, Y. & Sun, X. (2021). CPED: A Chinese Positive Emotion Database for Emotion Elicitation and
Analysis. IEEE Transactions on Affective Computing, 20, 1-14.
（二）玩電腦游戲時(shí)的用戶情感體驗(yàn)研究
本研究以男性大學(xué)生為研究群體，要求他們?cè)陔娔X上玩“五子棋”游戲時(shí)全程佩戴手環(huán)，記錄他們的生理數(shù)據(jù)；用戶在游戲過程中的
主觀感受（如無聊、有趣、興奮）在游戲結(jié)束后進(jìn)行反饋。
研究結(jié)果發(fā)現(xiàn)，用戶在朋友一起游戲時(shí)的皮膚電導(dǎo)反應(yīng)（SCR）明顯高于與電腦對(duì)打時(shí)的皮膚電導(dǎo)反應(yīng)，且自我報(bào)告在朋友對(duì)打時(shí)覺
得更加有趣和興奮。相關(guān)分析的結(jié)果也發(fā)現(xiàn)，皮膚電導(dǎo)反應(yīng)與自我報(bào)告的有趣程度正相關(guān)，與挫折感負(fù)相關(guān)。
Reference
Mandryk, R. L., Inkpen, K. M., & Calvert, T. W. (2006). Using psychophysiological techniques to measure user experience with entertainment technologies.
Behaviour & Information Technology, 25(2), 141-158.
（三）皮膚電信號(hào)預(yù)測(cè)合作行為研究
本研究讓兩個(gè)被試在電腦上完成“囚徒困境”的實(shí)驗(yàn)范式，同步記錄兩個(gè)人的心率、皮膚電阻、眼動(dòng)軌跡、肌電等生理和行為數(shù)據(jù)。實(shí)驗(yàn)
條件分為能看到彼此和看不到彼此兩個(gè)條件，通過該實(shí)驗(yàn)研究合作過程中的生理變化情況。
研究發(fā)現(xiàn)，在被試能看到彼此的條件下，心率和皮膚電導(dǎo)水平（SCL）開始變得同步，且這種正向的同步聯(lián)系會(huì)變得更強(qiáng)。SCL能夠預(yù)測(cè)兩
人的成功合作行為。
Reference
Behrens, F., Snijdewint, J. A., Moulder, R. G., Prochazkova, E., Sjak-Shie, E. E., Boker, S. M., & Kret, M. E. (2020).
Physiological synchrony is associated with cooperative success in real-life interactions. Scientific Reports, 10(1), 1-9.
（四）基于HR和EDA信號(hào)預(yù)測(cè)學(xué)生學(xué)業(yè)成績(jī)研究
本研究使用可穿戴設(shè)備，記錄學(xué)生在真實(shí)語文和數(shù)學(xué)課堂中的皮膚電阻和心率數(shù)據(jù)，探討這些生理數(shù)據(jù)與學(xué)生學(xué)業(yè)成績(jī)的關(guān)系。
本研究共招募了100名七年級(jí)的學(xué)生，連續(xù)記錄了他們?cè)?0天語文和數(shù)學(xué)課堂中的生理數(shù)據(jù)。
研究結(jié)果發(fā)現(xiàn)，學(xué)生課堂過程中的皮膚電導(dǎo)水平（SCL）和皮膚電導(dǎo)反應(yīng)（SCR）與其學(xué)業(yè)成績(jī)存在顯著的相關(guān)。
Reference
Zhang, Y., Qin, F., Liu, B., Qi, X., Zhao, Y., & Zhang, D. (2018). Wearable neurophysiological recordings in middle-school classroom correlate with
students’ academic performance. Frontiers in human neuroscience, 12, 457.
二、經(jīng)驗(yàn)采樣研究案例
（一）中科院心理所2021年啟動(dòng)抑郁癥長(zhǎng)期追蹤項(xiàng)目“心花計(jì)劃”
國(guó)內(nèi)首個(gè)針對(duì)抑郁癥的追蹤研究，項(xiàng)目周期10年，涵蓋抑郁癥患者和亞臨床抑郁狀態(tài)兩個(gè)群體。
旨在采用腦影像、可穿戴設(shè)備等多種研究手段，建立抑郁癥精準(zhǔn)診斷和分型的客觀標(biāo)記，探索基于中國(guó)文化的新型心理干預(yù)技術(shù)，并發(fā)
展藥物之外的無創(chuàng)神經(jīng)調(diào)控新療法。
采用經(jīng)驗(yàn)采樣法，通過可穿戴手環(huán)記錄脈搏、皮膚電阻、皮膚溫度、運(yùn)動(dòng)加速度、角速度、睡眠質(zhì)量等數(shù)據(jù)，以及通過手機(jī)APP采集語音、
自陳問卷、手機(jī)使用情況等多種數(shù)據(jù)。
（二）駕駛過程中駕駛員心理壓力識(shí)別研究
本實(shí)驗(yàn)采用了MIT-BIH數(shù)據(jù)集。該數(shù)據(jù)集通過可穿戴設(shè)備收集了多個(gè)駕駛員在實(shí)際駕駛過程中的皮膚電阻、心率等生理數(shù)據(jù)。
研究人員對(duì)皮膚電阻數(shù)據(jù)進(jìn)行了預(yù)處理、特征提取等一系列規(guī)范化處理后，對(duì)結(jié)果進(jìn)行了統(tǒng)計(jì)檢驗(yàn)。研究結(jié)果發(fā)現(xiàn)，駕駛員在駕駛過程中的壓
力水平可分成三個(gè)等級(jí)，各個(gè)壓力等級(jí)之間存在顯著差異。
Reference
Memar, M., & Mokaribolhassan, A. (2021). Stress level classification using statistical analysis of skin conductance signal while driving. SN Applied Sciences, 3(1).
三、實(shí)驗(yàn)室研究案例
（一）高空VR心理應(yīng)激適應(yīng)性訓(xùn)練與評(píng)估研究
通過虛擬現(xiàn)實(shí)技術(shù)，搭建能夠有效誘發(fā)個(gè)體高應(yīng)激反應(yīng)的VR場(chǎng)景，使用戶感受到與真實(shí)應(yīng)激場(chǎng)景等效的生理與心理反應(yīng)。
以唾液皮質(zhì)醇和用戶主觀報(bào)告為校標(biāo)，建立基于可穿戴的生理和行為數(shù)據(jù)的應(yīng)激狀態(tài)識(shí)別模型，對(duì)訓(xùn)練過程中的應(yīng)激水平進(jìn)行連續(xù)、動(dòng)態(tài)的監(jiān)測(cè)與評(píng)估
設(shè)置多個(gè)心理應(yīng)激適應(yīng)性訓(xùn)練任務(wù)，通過安全、可控、低成本的方式對(duì)個(gè)體進(jìn)行心理應(yīng)激適應(yīng)性訓(xùn)練與訓(xùn)練效果評(píng)估。
Reference
汪杼彬 ， 2020 ，基于高空VR場(chǎng)景的應(yīng)激反應(yīng)誘發(fā)范式有效性驗(yàn)證，碩士學(xué)位論文，中國(guó)科學(xué)院心理研究所
（二）基于PPG和EDA信號(hào)進(jìn)行暈動(dòng)癥的篩查研究
前庭功能檢查是飛行員招飛選拔中的一項(xiàng)重要檢測(cè)科目。在該檢測(cè)科目中，研究人員讓學(xué)員佩戴腕式手環(huán)，采集前庭功能檢測(cè)過程中的脈搏和皮膚電阻數(shù)據(jù)。
檢測(cè)前采集3min靜息態(tài)，坐上旋轉(zhuǎn)轉(zhuǎn)椅90s，結(jié)束后再次采集3min靜息態(tài)數(shù)據(jù)。
研究結(jié)果發(fā)現(xiàn)，皮膚電阻數(shù)據(jù)的部分特征能有效反映暈動(dòng)癥的程度，并顯著預(yù)測(cè)學(xué)員的飛行成績(jī)。皮膚電阻數(shù)據(jù)與Graybiel量表得分相關(guān)性很高。
