近年來，行為研究的一個(gè)主要趨勢是采用多模式測量。在過去，觀察甚至計(jì)算機(jī)輔助視頻觀察可能足以回答研究問題，而今天的科學(xué)家需要獲得更深入的見解。多模式數(shù)據(jù)可以幫助解決這個(gè)問題。

案例研究顯示多模式數(shù)據(jù)收集的力量
觀察可以告訴你某人在做什么，但生理研究對心理狀態(tài)的洞察可以告訴你他們?yōu)槭裁催@樣做。例如，眼動(dòng)追蹤可以揭示被試者自己甚至沒有意識到的興趣模式，腦電圖可以深入了解詳細(xì)的大腦過程。

研究人員比過去更多地使用多模式方法的一個(gè)原因是像 The Observer XT 或新發(fā)布的一體化平臺 NoldusHub 等現(xiàn)代解決方案可以更輕松地集成和同步不同的數(shù)據(jù)流并利用多模態(tài)研究。

這里有五個(gè)不同的研究示例，如果不結(jié)合不同的數(shù)據(jù)模式，這些研究是不可能的。

1. 發(fā)展心理學(xué)——通過視頻觀察以及 PPG 和溫度傳感器來調(diào)查社交焦慮。
社交焦慮是我們都經(jīng)歷過的事情。公開演講、工作面試和約會等所有情況都會讓我們感到焦慮并害怕別人會怎么看我們，有時(shí)還會伴隨著臉紅，感覺很熱。每個(gè)人都知道這一點(diǎn)，但直到阿姆斯特丹大學(xué)的心理學(xué)家最近進(jìn)行的一項(xiàng)研究 [1] 才知道臉紅在特殊情況下扮演什么角色。
社交焦慮癥（SAD）這種障礙的特點(diǎn)是對他人的負(fù)面評價(jià)產(chǎn)生持續(xù)的恐懼。它嚴(yán)重干擾社交場合，并可能產(chǎn)生各種負(fù)面的連鎖反應(yīng)。臉紅是社交焦慮癥的一種癥狀，但臉紅在其發(fā)展中起什么作用呢？
研究人員要求不同年齡的幼兒在他們面前唱一首歌。他們使用 The Observer XT 的音頻視頻記錄進(jìn)行系統(tǒng)觀察，并結(jié)合使用三種技術(shù)測量臉紅。使用光電體積描記法 (PPG) 測量血容量和血脈振幅。

這與運(yùn)動(dòng)手表中用于測量心率的技術(shù)相同，光線照射到皮膚上，然后處理反射信號（見圖1）。 使用鉑電極測量面頰溫度。PPG 和溫度傳感器都固定在孩子的一側(cè)臉頰上。

圖1

很明顯，對于這樣的研究，視頻觀察和使用傳感器測量特定變量（在本例中為臉紅）的組合具有相當(dāng)大的附加值。如果僅僅通過觀察來估計(jì)臉紅，那么它的準(zhǔn)確度就會大大降低，而且數(shù)據(jù)也會丟失。單憑觀察無法量化臉紅的程度；它只會顯示它的存在或不存在。這將大大限制分析的可能性。

臉紅和社交焦慮癥之間的確切關(guān)系是復(fù)雜的。然而，很明顯，兒童早期的自我意識情緒反應(yīng)（表現(xiàn)為臉紅）的發(fā)展可能對兒童晚期社交焦慮癥的發(fā)展產(chǎn)生重要影響。三種不同的臉紅測量方法表明了不同的方面。溫度顯示出與社交焦慮發(fā)展的明顯關(guān)系——可能是因?yàn)楹⒆觽兡芨杏X到他們的臉頰變熱，并對這種情況變得難為情。


2. 神經(jīng)科學(xué)——嚙齒類動(dòng)物的腦電波
腦電圖是一種將電極放置在顱骨表面的技術(shù)，它能夠獲取大腦中神經(jīng)元的電活動(dòng)。活動(dòng)以波形的形式上下波動(dòng)，波的振蕩速度與受試者的行為相關(guān)。

如果它是每秒 8-12 次（8-12 赫茲），那么這與放松行為有關(guān)。 這是第一個(gè)被發(fā)現(xiàn)的關(guān)聯(lián)，因此它們被稱為alpha波。Beta 波（16-31 Hz）表示活躍的思維（警覺性）和運(yùn)動(dòng)行為，theta（4-7 Hz）表示困倦和冥想，delta（小于 4 Hz）表示注意力高度集中和深度睡眠。伽馬波（如下圖所示）頻率非常高，為 30-100 赫茲，由神經(jīng)元群共同作用以實(shí)現(xiàn)某些認(rèn)知和運(yùn)動(dòng)功能引起。

腦電圖通常與特定位置相關(guān)聯(lián)，例如 alpha 波是在頭部的后部（后部）區(qū)域測量的。 還可以更詳細(xì)地查看 EEG 波形，例如睡眠階段之一稱為 REM 睡眠——快速眼動(dòng)。 眼睛的運(yùn)動(dòng)會導(dǎo)致來自大腦同樣特定區(qū)域的非常特定的波形形狀。 通過查看這些波形，不僅可以判斷 REM 睡眠是否正在進(jìn)行，還可以判斷在特定時(shí)刻哪只眼睛正在朝哪個(gè)方向移動(dòng) [2]。

腦電圖還可用于幫助了解大腦疾病（如阿爾茨海默氏癥和抑郁癥）中發(fā)生的情況。

人類和其他動(dòng)物（包括大鼠和小鼠）的腦電圖有很多相似之處。通常也存在峰值潛伏期等細(xì)微差異，但總體模式（例如，對各種藥物的反應(yīng)）非常相似 [3]。這意味著它經(jīng)常用于藥物發(fā)現(xiàn)。

智利的一組研究人員研究了大鼠腦電圖中的伽馬波 [4]。他們在稱為伏隔核的大腦區(qū)域中觀察了這些。該區(qū)域是大腦獎(jiǎng)勵(lì)系統(tǒng)的一部分，與愉悅體驗(yàn)有關(guān)。多巴胺是該區(qū)域的重要神經(jīng)化學(xué)物質(zhì)。在那項(xiàng)研究中，科學(xué)家們將伏隔核的腦電圖測量與使用 EthoVision XT 進(jìn)行的行為測量相結(jié)合。

兩只老鼠被允許在一個(gè)對兩只動(dòng)物都是中性領(lǐng)土的開放區(qū)域相互交流。 當(dāng)老鼠彼此互動(dòng)時(shí)，有更多的伽馬波，表明獎(jiǎng)勵(lì)和快樂，而不是僅僅給它們一個(gè)新的互動(dòng)對象。這只能通過將 EthoVision XT 的行為數(shù)據(jù)與 EEG 數(shù)據(jù)相結(jié)合來衡量。在下面的插圖中，右下角的圖表顯示了當(dāng)老鼠彼此相互作用時(shí)，伽馬波明顯更強(qiáng)大。

他們還研究了當(dāng)兩只相互作用的大鼠中的一只受到壓力時(shí)，相互作用如何進(jìn)行。壓力是由被引入另一只老鼠的領(lǐng)地引起的。這導(dǎo)致緊張的對抗。野外的老鼠在日常生活中經(jīng)常會遇到這種壓力。數(shù)據(jù)顯示，壓力大的老鼠不再能夠從中性領(lǐng)土上的互動(dòng)中獲得盡可能多的樂趣，它的重要性在于，展示了一些關(guān)于它在老鼠大腦中究竟如何運(yùn)作的細(xì)節(jié)。


3. 教育心理學(xué)——在使用多種數(shù)據(jù)模式學(xué)習(xí)的同時(shí)研究參與度。
蒙特利爾魁北克大學(xué)的 NeuroLab 旨在使用多模式技術(shù)研究教育和學(xué)習(xí)的各個(gè)方面。他們使用一整套技術(shù)來研究正在處理在線學(xué)習(xí)問題的測試對象 [5]。

記錄與軟件的交互（鼠標(biāo)點(diǎn)擊和移動(dòng)），眼動(dòng)儀記錄注視和瞳孔直徑，使用 FaceReader 和皮膚電導(dǎo)率（EDA，也稱為皮膚電導(dǎo)率）測量情感參與度。這是基于你在興奮或緊張時(shí)出汗的原理。 此外還使用腦電圖。如上所述，β 波表示認(rèn)知警覺性。這與來自 alpha 和 theta 波段的信息相結(jié)合，給出了一個(gè)參與指數(shù)。所有這些數(shù)據(jù)流都使用 Noldus 的特殊設(shè)置組合在一起，如本次采訪中所述：
視頻
同步在這樣的設(shè)置中尤為重要，否則無法對數(shù)據(jù)進(jìn)行有意義的分析。


4. 行為生態(tài)學(xué)——研究被困獾的壓力
研究野外動(dòng)物的行為具有特殊的挑戰(zhàn)，使用多種類型的數(shù)據(jù)也可以提供幫助。在實(shí)驗(yàn)室外工作時(shí)，設(shè)備出現(xiàn)故障和數(shù)據(jù)丟失的情況更為常見，因此擁有多種類型的數(shù)據(jù)可以作為一種補(bǔ)償方式，并且仍然能夠獲得可發(fā)布的結(jié)果，即使并非所有數(shù)據(jù)都符合要求計(jì)劃。這就是一組瑞典科學(xué)家在他們的研究 [6] 中發(fā)現(xiàn)的，即被困在獾身上的壓力有多大。

即使陷阱的設(shè)計(jì)不會造成物理傷害，但由于獾對情況的感知方式，它仍然會給獾帶來壓力。 測量壓力水平的黃金標(biāo)準(zhǔn)是測量皮質(zhì)醇。皮質(zhì)醇是身體直接響應(yīng)壓力產(chǎn)生的一種激素。

研究人員為獾準(zhǔn)備了含有難消化的彩色小顆粒的食物。每只獾都有不同顏色的顆粒，所以當(dāng)研究人員收集它們的糞便時(shí)，他們可以測量皮質(zhì)醇并知道它來自哪只獾。但是，正如在實(shí)地考察中常見的那樣，事情并沒有按計(jì)劃進(jìn)行，他們收集的很多樣本中沒有任何顏色標(biāo)記，因此無法使用。

使用 The Observer XT 進(jìn)行實(shí)時(shí)和視頻記錄的觀察
然而，幸運(yùn)的是，他們植入了傳感器，使他們能夠測量心率和體溫，這也是壓力的指示。此外，他們還使用 The Observer 對獾的所有行為進(jìn)行了詳細(xì)的實(shí)時(shí)和視頻記錄觀察。這絕非易事，因?yàn)殁凳且剐袆?dòng)物，需要許多個(gè)夜晚的艱苦工作。

結(jié)果并不令人驚訝，被困住對動(dòng)物們來說確實(shí)壓力很大。他們一直在陷阱中，他們一直在努力逃脫。之后壓力影響繼續(xù)存在，當(dāng)他們回到家時(shí)，他們的社交互動(dòng)和梳理和抓撓等“舒適行為"都更少了。三天后，他們的社交禮儀仍然較少。他們被困的時(shí)間越長，壓力就越大。 此外，如果他們在夜間（他們的活躍期）被困，那比他們在白天被困的壓力更大。

這項(xiàng)研究特別出色地表明，行為觀察、生理測量和荷爾蒙觀察的結(jié)合都有助于對實(shí)驗(yàn)的全面理解，并提供了僅靠觀察就可以做到的更深刻的見解。

5. 用戶體驗(yàn)和健康研究——使用多模式數(shù)據(jù)研究技術(shù)如何幫助癡呆癥患者
加拿大的兩個(gè)實(shí)驗(yàn)室合作開發(fā)了研究混合現(xiàn)實(shí) (MR) 技術(shù)（虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)）使用的方法 [7]。 這些實(shí)驗(yàn)室是位于加拿大多倫多的社會和技術(shù)系統(tǒng) (SaTS) 實(shí)驗(yàn)室以及癡呆癥老化技術(shù)和參與實(shí)驗(yàn)室 (DATE)。他們研究的特定應(yīng)用是這些技術(shù)如何支持癡呆癥患者。通常在開發(fā)技術(shù)時(shí)，可以讓用戶填寫問卷，反饋技術(shù)是否滿足他們的需求。然而，癡呆癥患者并不總是能夠做到這一點(diǎn)，因此需要使用觀察方法。

觀察的基礎(chǔ)是 The Observer XT，他們還使用眼動(dòng)追蹤眼鏡測量注視和瞳孔數(shù)據(jù)，使用 FaceReader 測量面部表情，還測量大腦神經(jīng)過程的腦電圖。此外，還創(chuàng)建了一個(gè)任務(wù)評估工具，以量化參與者在使用和不使用 MR 工具的情況下能夠在多大程度上執(zhí)行任務(wù)。 最后，使用 The Observer XT 將所有數(shù)據(jù)匯集、同步和集成。
研究 [7] 的結(jié)論是 MR 設(shè)備確實(shí)有用，而且由 The Observer XT 提供支持的多模式設(shè)置是研究參與者與技術(shù)交互的有用方法。如果要以滿足這些人需求的方式開發(fā)技術(shù)，那么讓技術(shù)的最終用戶參與開發(fā)新技術(shù)至關(guān)重要。對使用這些技術(shù)的人進(jìn)行良好的研究是確定這一點(diǎn)的最佳方法。


結(jié)論
來自許多不同模式的數(shù)據(jù)的使用正在真正成為主流，與單一模式相比的優(yōu)勢在于它揭示了更深刻的見解，而且如果一種模式失敗，數(shù)據(jù)中可能有足夠的冗余，仍然可以發(fā)表好的文章。 幾年前，處理多模式數(shù)據(jù)非常復(fù)雜，尤其是涉及到集成和同步時(shí)。 The Observer XT和NoldusHub 等現(xiàn)代技術(shù)使它變得越來越容易和實(shí)用。


參考文獻(xiàn)
[1] Milica Nikoli?, Mirjana Majdand?i?, Cristina Colonnesi, Wieke de Vente, Eline M?ller, and Susan B?gels (2020). The unique contribution of blushing to the development of social anxiety disorder symptoms: results from a longitudinal study. J. Child Psychology & Psychiatry 61, 1339-1348.
[2]learningeeg./normal-asleep
[3] Drinkenburg WH, Ruigt GS, Ahnaou A. Pharmaco-EEG Studies in Animals: An Overview of Contemporary Translational Applications. Neuropsychobiology. 2015;72(3-4):151-64.
[4] Iturra-Mena AM, Aguilar-Rivera M, Arriagada-Solimano M, Pérez-Valenzuela C, Fuentealba P and Dagnino-Subiabre A (2019) Impact of Stress on Gamma Oscillations in the Rat Nucleus Accumbens During Spontaneous Social Interaction. Front. Behav. Neurosci. 13:151.
[5] P Charland, PM Léger, S Sénécal, F Courtemanche…(2015) - Assessing the multiple dimensions of engagement to characterize learning: A neurophysiological perspective. JoVE, 101, e52627.
[6] Schütz, K. E., ?gren, E., Amundin, M., R?ken, B., Palme, R., & M?rner, T. (2006). Behavioral and physiological responses of trap-induced stress in European badgers. The Journal of Wildlife Management, 884-891.
[7] Desai, S., & Astell, A. (2021). Mixed reality technologies for people with dementia: Participatory evaluation methods. arXiv preprint arXiv:2107.07336.Don't miss out on the latest blog posts.

關(guān)注諾達(dá)思公眾號，獲取更多產(chǎn)品信息及學(xué)術(shù)文章！