99久久伊人精品综合观看,香港aa三级久久三级 ,天堂资源在线www中文,色婷婷综合久久久中文字幕,国产精品v欧美精品v日韩精品,亚洲午...

服務(wù)熱線:0755-26751199
音響網(wǎng)(Audio160.com) > 行業(yè)資訊 > 音響信息(其它) > 淺析視覺(jué)藝術(shù)的數(shù)據(jù)可聽(tīng)化
淺析視覺(jué)藝術(shù)的數(shù)據(jù)可聽(tīng)化
更新時(shí)間:2023-6-20 9:17:09 編輯:溫情 演藝科技傳媒 調(diào)整文字大小:【

摘   要:

基于數(shù)據(jù)可聽(tīng)化的起源、概念以及主要特征,闡述了數(shù)據(jù)可聽(tīng)化作品的制作流程,以及主要制作方法和工具,特別針對(duì)實(shí)現(xiàn)數(shù)據(jù)可聽(tīng)化與視聽(tīng)藝術(shù)的交互問(wèn)題進(jìn)行了討論,并展望了數(shù)據(jù)可聽(tīng)化在舞臺(tái)藝術(shù)中的應(yīng)用前景。

當(dāng)前,由于移動(dòng)設(shè)備的普及,數(shù)據(jù)可視化向各個(gè)領(lǐng)域滲透,幫助人們分析事物,直觀地展現(xiàn)信息,并且數(shù)據(jù)的歸納具有高效性。盡管如此,數(shù)據(jù)可視化也并非完美無(wú)缺,如大量的數(shù)字和各式各樣的圖表易造成人們的視覺(jué)疲勞、對(duì)視力殘障人士不友好等。于是,相關(guān)領(lǐng)域研究人員意圖探尋數(shù)據(jù)被人類“聽(tīng)見(jiàn)”,隨著音頻軟件的更新進(jìn)步,以及對(duì)音頻交互技術(shù)的探索,由此一個(gè)全新的概念——數(shù)據(jù)可聽(tīng)化(Data Sonification)被越來(lái)越多的相關(guān)從業(yè)者提及和研究,借此更好地利用人們的聽(tīng)覺(jué)器官。

在文娛領(lǐng)域,表現(xiàn)形式愈加多樣化,交互藝術(shù)、“元宇宙(Metaverse)”等形式、概念不斷融合發(fā)展。很多藝術(shù)家希望通過(guò)虛擬現(xiàn)實(shí)(VR, Virtual Reality)展現(xiàn)視覺(jué)作品,還有不少學(xué)者正在探究將聲音與繪畫(huà)作品相結(jié)合,幫助觀賞者更好地理解作品,同時(shí)制造身臨其境的效果。

基于此,筆者闡述視覺(jué)藝術(shù)數(shù)據(jù)可聽(tīng)化與舞臺(tái)劇、影視戲劇相融合的相關(guān)研究,以及未來(lái)其發(fā)展的潛在價(jià)值等,重點(diǎn)介紹當(dāng)前數(shù)據(jù)可聽(tīng)化與視覺(jué)藝術(shù)的研究進(jìn)程,整理并總結(jié)以畫(huà)作可聽(tīng)化為例的可聽(tīng)化制作流程,以及數(shù)據(jù)可聽(tīng)化在舞臺(tái)藝術(shù)領(lǐng)域的應(yīng)用前景。

1 數(shù)據(jù)可聽(tīng)化的定義及分類

聽(tīng)覺(jué)呈現(xiàn)(Auditory Display)仍然是一門新興的學(xué)科,在1992年,Krammer成立了一項(xiàng)組織稱為“國(guó)際聽(tīng)覺(jué)顯示學(xué)會(huì)”(ICAD, International Community for Auditory Display)。該組織的學(xué)者給出了可聽(tīng)化(Sonification)的定義,即使用非語(yǔ)音音頻(Non-Speech Audio)來(lái)傳遞信息或感知數(shù)據(jù)[1]。然而這個(gè)定義對(duì)于信息傳遞的含義仍不夠明確,比如是否必須以計(jì)算機(jī)等電子設(shè)備為媒介進(jìn)行傳輸。因此,Krammer和Walker等人在1999年提出了更精準(zhǔn)的定義:可聽(tīng)化是數(shù)據(jù)關(guān)系轉(zhuǎn)化為聲學(xué)信號(hào)并用于傳輸或解釋信息[2]。這為數(shù)據(jù)可聽(tīng)化(Data Sonification)的定義建立了一個(gè)雛形。學(xué)者M(jìn)cLean和Dean明確了數(shù)據(jù)可聽(tīng)化的定義[3]:數(shù)據(jù)可聽(tīng)化是指將模型生成的數(shù)據(jù)、實(shí)驗(yàn)中捕獲的數(shù)據(jù)或通過(guò)觀察收集的數(shù)據(jù)反映到音頻信號(hào)或聲音合成模型的一個(gè)或多個(gè)參數(shù),以便更好地理解、交流或推測(cè)模型、實(shí)驗(yàn)或系統(tǒng)。

其后,Hermann[4]又總結(jié)了數(shù)據(jù)可聽(tīng)化的四個(gè)特征,當(dāng)使用數(shù)據(jù)作為輸入并產(chǎn)生聲音信號(hào)(最終可成為激勵(lì)或觸發(fā)信號(hào))的大前提下:(1)聲音反映了輸入數(shù)據(jù)的客觀屬性或關(guān)系;(2)轉(zhuǎn)變是系統(tǒng)性的,即數(shù)據(jù)如何導(dǎo)致聲音變化有一個(gè)精確的定義;(3)可聽(tīng)化是可復(fù)制的,給定相同的數(shù)據(jù)和同樣的互動(dòng)(或觸發(fā)器),產(chǎn)生的聲音在結(jié)構(gòu)上一致;(4)系統(tǒng)可以使用不同的數(shù)據(jù),也可以使用重復(fù)的數(shù)據(jù)。

對(duì)于可聽(tīng)化的分類,加州圣巴巴拉大學(xué)的學(xué)者M(jìn)cGee引用J. Keller 從數(shù)據(jù)處理方法的角度分為三類[5]:標(biāo)準(zhǔn)可聽(tīng)化(Iconic Sonification),比如使用雨聲和風(fēng)聲來(lái)表達(dá)天氣變化;直接轉(zhuǎn)換可聽(tīng)化( D i r e c t Sonification,或稱Audification),即直接用頻率(20 Hz~22 kHz)的變化表示數(shù)據(jù);音樂(lè)可聽(tīng)化(Musical Sonification),用樂(lè)器的聲音,加上設(shè)計(jì)好的速度和旋律進(jìn)行制作。

2 數(shù)據(jù)可聽(tīng)化的制作流程

近年來(lái),學(xué)者對(duì)于包括圖片在內(nèi)的視覺(jué)藝術(shù)作品可聽(tīng)化的探究聚焦于可聽(tīng)化的方法與算法,并開(kāi)展探究觀賞者心理的實(shí)驗(yàn) [6]。關(guān)于數(shù)據(jù)可聽(tīng)化的方法研究主要集中在兩個(gè)方面:一是有關(guān)音樂(lè)方面,即音樂(lè)結(jié)構(gòu)[7],二是關(guān)于圖片或畫(huà)作的視覺(jué)特性及相關(guān)參數(shù)[8]。對(duì)于算法的研究,通過(guò)算法實(shí)時(shí)追蹤人們欣賞視覺(jué)作品時(shí)的感覺(jué)[9],F(xiàn)以繪畫(huà)視覺(jué)藝術(shù)作品為例梳理數(shù)字可聽(tīng)化的主流制作方法,包括對(duì)視覺(jué)作品中關(guān)鍵信息的提取和布局,以及普遍使用的數(shù)據(jù)可聽(tīng)化的制作工具。

2.1 視覺(jué)作品的信息提取

首先,提取畫(huà)面的信息,并列舉出呈現(xiàn)聲音的特性,這個(gè)過(guò)程非常重要,被稱作“布局策略”(Mapping Strategies)。

弗吉尼亞理工大學(xué)研究人員聚焦于通過(guò)可聽(tīng)化的算法讓視覺(jué)藝術(shù)更好地轉(zhuǎn)化為音樂(lè)。他們將畫(huà)作中每一色塊的色調(diào)( H u e )、明暗度( Brightness )、畫(huà)面的空白度( Saliency ),還有作品的尺寸大小以及藝術(shù)風(fēng)格逐一進(jìn)行量化,分別對(duì)應(yīng)音頻參數(shù)的音調(diào)(Pitch)、速度(Tempo)、調(diào)式(Mode)、響度(Loudness)和音樂(lè)風(fēng)格(Musical Composition)[10]。研究者Sarah Lucioni對(duì)星空、蒙娜麗莎和創(chuàng)造亞當(dāng)?shù)葞追?jīng)典畫(huà)作進(jìn)行可聽(tīng)化設(shè)計(jì),創(chuàng)作音樂(lè)作品。她通過(guò)使用Pyo音頻處理庫(kù)進(jìn)行Python編程,將畫(huà)中的每一個(gè)色塊的RGB數(shù)值(光譜值)進(jìn)行量化(RGB:0~255),然后轉(zhuǎn)化成聲音(頻率范圍:100 Hz~800 Hz)[11]。圣塔克拉拉大學(xué)計(jì)算機(jī)學(xué)院的學(xué)者使用SOVIA交互系統(tǒng)使得畫(huà)家莫奈的畫(huà)作以視聽(tīng)的方式呈現(xiàn),整個(gè)過(guò)程是通過(guò)Python語(yǔ)言來(lái)完成的,他們收集了369部莫奈的風(fēng)景畫(huà)作,對(duì)作品中出現(xiàn)的景物進(jìn)行歸類[12]。如畫(huà)作《亞嘉杜的罌粟花田》(Poppy Field at Giverny, 1890)信息的聽(tīng)取,如圖1所示,框中的景物被捕捉并依次分類,之后被設(shè)計(jì)成不同的聲音。由此,當(dāng)點(diǎn)擊一個(gè)方框時(shí),就會(huì)發(fā)出對(duì)應(yīng)的聲音,混入背景音樂(lè)之中。

很多相關(guān)領(lǐng)域的學(xué)者基于HSL顏色體系(Hue色調(diào), Saturation飽和度,Luminosity亮度)來(lái)定義聲音與色彩的關(guān)系。日內(nèi)瓦大學(xué)的學(xué)者研究如何讓盲人欣賞畫(huà)作,將不同色調(diào)的數(shù)值與不同的樂(lè)器音色相對(duì)應(yīng),例如雙簧管對(duì)應(yīng)紅色色調(diào)、小號(hào)對(duì)應(yīng)青色色調(diào)等。他們總結(jié)了一套公式將色調(diào)值轉(zhuǎn)化為樂(lè)器音色的算法[13]:

圖1 采用SOVIA方式的視聽(tīng)化設(shè)計(jì)(圖片來(lái)源:WikiArts)

其中,hh表示音頻呈現(xiàn)的音色所對(duì)應(yīng)的色調(diào)值;增益 g 的定義式是:

分別代表包括紅、橙、黃、綠、青、藍(lán)和紫色的兩個(gè)連續(xù)色調(diào)的數(shù)值,通過(guò)這種排列方式使得兩個(gè)色調(diào)的過(guò)渡是平順的)。

2.2 可聽(tīng)化制作的方法與工具

可聽(tīng)化作品的制作有各種方法,音頻軟件和編程是兩種非常直觀易理解的方式。

2.2.1 音頻軟件

Pure Data(Pd)和Max作為音頻交互工具能夠設(shè)計(jì)可聽(tīng)化算法進(jìn)行作曲,有選擇地收集各類數(shù)據(jù)轉(zhuǎn)換為聲音的形式展現(xiàn),而且還能夠通過(guò)圖形、折線圖的方式動(dòng)態(tài)呈現(xiàn)數(shù)據(jù)的變化。

斯坦福大學(xué)音樂(lè)計(jì)算機(jī)研究院嘗試用Pure Data進(jìn)行算法作曲,意圖將收集的太陽(yáng)系的數(shù)據(jù)轉(zhuǎn)換成聲音的形式;在他們?cè)O(shè)計(jì)的SoSH工具中,包含有基本模塊(Patch) modefilter_ standalone.pd,如圖2所示;其中,使用了五組“波形濾波器(Mode-Filter)的子模塊(Sub-Patch),呈現(xiàn)五個(gè)不同音調(diào)同時(shí)運(yùn)行的效果,如圖3所示[14]。

圖2 基本模塊modefilter_standalone.pd(圖片來(lái)源:斯坦福大學(xué)音樂(lè)計(jì)算機(jī)研究院)

圖3 子模塊波形濾波器(圖片來(lái)源:斯坦福大學(xué)音樂(lè)計(jì)算機(jī)研究院)

相比Pure Data,Max還能通過(guò)設(shè)置選取想要的樂(lè)器音色(還有 Abelton 也具有此功能) 。如果意圖展現(xiàn)可聽(tīng)化的人機(jī)交互( H C I , Human-computer interaction),通過(guò)MIDI接口將一塊Micro:bit連接電腦主機(jī),是目前學(xué)者以及大眾在制作可聽(tīng)化作品最常用的方法。在進(jìn)行制作時(shí),除了選取合適的音頻參數(shù),需要考慮以下兩點(diǎn):其一,將所有參數(shù)定在一個(gè)合適的區(qū)間,即選擇聽(tīng)感上較為舒適的頻率范圍和音色;其二,將布置好的數(shù)據(jù)輸出至MIDI合成器或音頻設(shè)備等。許多音樂(lè)制作人嘗試使用Micro:bit制成手套,并通過(guò)Mini.mu與Pure Data設(shè)計(jì)編程,將手勢(shì)的轉(zhuǎn)動(dòng)模擬出電音打擊墊的演奏,如圖4所示。有的制作人選擇Java編程語(yǔ)言,運(yùn)用代碼方式分別將Micro:bit與計(jì)算機(jī)及Micro:bit手套連接(具體代碼可詳見(jiàn)Micro:bit官網(wǎng))[15]。他們使用了Hairless MIDI和loopMIDI兩個(gè)程序?qū)IDI設(shè)備進(jìn)行虛擬連接,在Pure Data界面中,當(dāng)每一個(gè)傳感器通過(guò)各個(gè)gemidi通道傳輸數(shù)據(jù)時(shí),使用notein模塊來(lái)完成此任務(wù),如圖5所示。

圖4 打擊墊演示截圖(圖片來(lái)源:Micro:bit官網(wǎng))

圖5 notein模塊中的MIDI數(shù)據(jù)分配(圖片來(lái)源:Micro:bit官網(wǎng))

2.2.2 編程語(yǔ)言

可聽(tīng)化制作另一種方便快捷的方法是通過(guò)編程實(shí)現(xiàn),Python是目前使用較多的一種語(yǔ)言。NASA工程師、可聽(tīng)化專家Matt Russio介紹了使用Python編程將數(shù)據(jù)轉(zhuǎn)化為聲音的基本方法。在他們看來(lái),通過(guò)python設(shè)計(jì)一個(gè)可聽(tīng)化作品需要五個(gè)步驟[16]:布局(Mapping),哪些數(shù)據(jù)分別對(duì)應(yīng)哪些音頻參數(shù);極值(Polarity),數(shù)值越大對(duì)應(yīng)的是更高還是更低的頻率;范圍(Range),對(duì)于每一個(gè)選中的音頻參數(shù),它的音頻范圍是什么,每一個(gè)音符需要維持多長(zhǎng)時(shí)間;各個(gè)音頻參數(shù)在可聽(tīng)化設(shè)計(jì)中的占比,加強(qiáng)還是壓縮(Scaling, Stretch/Compress);量化(Quantization),是否考慮將一些數(shù)據(jù)在可聽(tīng)化設(shè)計(jì)中改變其速度、節(jié)奏,讓整段音樂(lè)變得豐富。

3 數(shù)據(jù)可聽(tīng)化與視聽(tīng)藝術(shù)交互的討論

前文討論了數(shù)據(jù)可聽(tīng)化與視覺(jué)藝術(shù)相結(jié)合的前沿研究,音畫(huà)結(jié)合使得觀眾能更好地欣賞藝術(shù)作品。但當(dāng)前很多學(xué)者有一個(gè)疑問(wèn),什么樣的可聽(tīng)化作品是成功的?Kramer等美國(guó)學(xué)者搜集了許多被視為成功的可聽(tīng)化作品,并舉例了在三個(gè)領(lǐng)域中的應(yīng)用或工具[17]:第一,他們認(rèn)為目前為止最成功的一個(gè)可聽(tīng)化產(chǎn)品之一便是“Geiger-counter”,這件樂(lè)器可以探測(cè)不可見(jiàn)的危險(xiǎn)等級(jí)并發(fā)出警報(bào)聲;第二,可聽(tīng)化另一個(gè)富有潛力的領(lǐng)域便是視覺(jué)康復(fù)方面,傳感器可以幫助視力障礙者有效治療;第三,可聽(tīng)化與教育領(lǐng)域結(jié)合的工具也是研究的重點(diǎn)之一,研究表明多數(shù)人通過(guò)聽(tīng)覺(jué)能更好地理解信息的趨勢(shì)、聚集、關(guān)聯(lián)性以及數(shù)據(jù)中一段簡(jiǎn)單的統(tǒng)計(jì)特征,不亞于閱讀[18]。

然而,仍然有少數(shù)研究人員認(rèn)為數(shù)據(jù)可聽(tīng)化的發(fā)展有一定的局限性和缺陷,甚至有的學(xué)者認(rèn)為數(shù)據(jù)可聽(tīng)化在不久的將來(lái)會(huì)慢慢淡出人們的視野。美國(guó)伍斯特學(xué)院的學(xué)者Neuhoff列舉了幾個(gè)質(zhì)疑和弊端[19]:第一,視覺(jué)與聽(tīng)覺(jué)的同步精確度是否能有保證;第二,聽(tīng)覺(jué)存在個(gè)體差異;第三,每位聽(tīng)覺(jué)測(cè)試者在感受音頻交互的過(guò)程中,在不同維度、不同方面對(duì)作品的理解是不一樣的;第四,數(shù)據(jù)可聽(tīng)化是一門跨學(xué)科的研究,相關(guān)領(lǐng)域的學(xué)者與音頻工程師對(duì)于數(shù)據(jù)的理解會(huì)有所差異,這會(huì)導(dǎo)致呈現(xiàn)的作品、對(duì)于數(shù)據(jù)的評(píng)估和整理出現(xiàn)一定程度上的分歧。學(xué)者Supper提出,數(shù)據(jù)可聽(tīng)化更多地是一種娛樂(lè)化的方式,而不是從科學(xué)的角度分析各類數(shù)據(jù)[20]。學(xué)者Ono和Teghtsoonian在各自文章中提出,從衡量音頻參數(shù)的角度看,如果將數(shù)據(jù)的變化與音調(diào)的高低聯(lián)系起來(lái),會(huì)發(fā)現(xiàn)音高的變化只在數(shù)據(jù)提高2%以上才能被感知[21,22]。Neuhoff 也提到,當(dāng)數(shù)據(jù)發(fā)生變化時(shí),比如當(dāng)一個(gè)圖形的比例或尺寸的數(shù)值改變,聆聽(tīng)者會(huì)對(duì)聽(tīng)到的信息產(chǎn)生歧義,當(dāng)音調(diào)上升時(shí),圖形的變化是擴(kuò)張還是收縮是一個(gè)疑問(wèn)[23]。數(shù)據(jù)可聽(tīng)化的弱項(xiàng)還包括當(dāng)幾個(gè)音頻參數(shù)都發(fā)生改變時(shí),響度參數(shù)會(huì)影響到諸如音調(diào)或音色的感知[24]。

當(dāng)然,Neuhoff也列舉了幾條數(shù)據(jù)可聽(tīng)化的改進(jìn)方法[25]:(1)需要堅(jiān)持認(rèn)為數(shù)據(jù)可聽(tīng)化是一個(gè)更偏向藝術(shù)的學(xué)問(wèn);(2)應(yīng)該側(cè)重于讓音頻交互設(shè)計(jì)得更巧妙,需要考慮欣賞者的感受,包括盡量避免使用音調(diào)或響度的功能造成的聽(tīng)覺(jué)歧義等問(wèn)題;

(3)避開(kāi)“混亂的中間地帶”(Muddled Middle),意思是不要總想著讓數(shù)據(jù)可聽(tīng)化的藝術(shù)與科學(xué)數(shù)據(jù)達(dá)到一個(gè)平衡。

從視聽(tīng)藝術(shù)的交互性來(lái)看,正如前文可聽(tīng)化制作環(huán)節(jié)所提及的,意大利學(xué)者Polotti和Gonia認(rèn)為,采用人機(jī)交互技術(shù)將手勢(shì)或是身體姿態(tài)的變化進(jìn)行數(shù)據(jù)可聽(tīng)化,即手勢(shì)可聽(tīng)化(Gesture Sonification)實(shí)現(xiàn)視聽(tīng)藝術(shù)融合,使人們更好地接觸并理解相關(guān)作品[26] 。對(duì)于藝術(shù)領(lǐng)域的可聽(tīng)化設(shè)計(jì),最基本的原則是展現(xiàn)作品里的必要元素,包括明確設(shè)計(jì)的目標(biāo)及定義詳細(xì)的主題[27]。學(xué)者Findeli將這一觀點(diǎn)定義為“交互形式(Interaction Gestalts)”[28]。當(dāng)前,視覺(jué)藝術(shù)的可聽(tīng)化不僅僅局限于繪畫(huà)美術(shù)作品等單一方向,相關(guān)領(lǐng)域從業(yè)者也慢慢將這一技術(shù)搬到音樂(lè)劇、舞臺(tái)劇、雜技表演的舞臺(tái)中。Polotti和Gonia通過(guò)三種不同的舞臺(tái)劇進(jìn)行試驗(yàn)[29]:(1)專業(yè)雜技表演,演員并沒(méi)有跟隨一段音樂(lè)跳舞,相反是根據(jù)舞臺(tái)上聲、光的變化調(diào)整動(dòng)作;(2)專業(yè)與非專業(yè)迪斯科舞蹈表演;(3)使用VSE(Visual Sonic Enaction,圖像-聲音轉(zhuǎn)換系統(tǒng))進(jìn)行表演。

4 數(shù)據(jù)可聽(tīng)化應(yīng)用于舞臺(tái)藝術(shù)中的前景

基于上述文章內(nèi)容的分析與總結(jié),就未來(lái)視覺(jué)藝術(shù)可聽(tīng)化的研究而言,制作環(huán)節(jié)上的精進(jìn)和創(chuàng)新探究有以下三方面。

第一,與視覺(jué)作品相結(jié)合的數(shù)據(jù)可聽(tīng)化項(xiàng)目實(shí)用性是其發(fā)展的重要因素,尤其是在大眾教育和視覺(jué)殘障領(lǐng)域的應(yīng)用有很大的潛力;第二,對(duì)于大眾教育而言,通過(guò)數(shù)據(jù)可聽(tīng)化的方式能使人們更清晰易懂地理解視覺(jué)藝術(shù)作品的細(xì)節(jié)變化,音畫(huà)結(jié)合的形式也非常容易被大眾所接納;第三,對(duì)視覺(jué)殘障人士來(lái)講,可聽(tīng)化作為一種欣賞視覺(jué)藝術(shù)的特殊方式給這類群體帶來(lái)了福音。

對(duì)于視覺(jué)藝術(shù)展演領(lǐng)域,近年來(lái)已有學(xué)者在舞臺(tái)劇或音樂(lè)表演中加入了數(shù)據(jù)可聽(tīng)化的嘗試,相比在美術(shù)館或科技館小空間內(nèi)的數(shù)據(jù)可聽(tīng)化的創(chuàng)作,受眾群體和市場(chǎng)潛力巨大。早在2004年,有關(guān)數(shù)據(jù)可聽(tīng)化的音樂(lè)會(huì)就出現(xiàn)在了悉尼歌劇院。在這場(chǎng)“聆聽(tīng)想象中的聲音(Listening to Mind Listening, LML)”的音樂(lè)會(huì)上[30],學(xué)者Wolf和Fiebrink通過(guò)數(shù)據(jù)可聽(tīng)化的方式讓觀眾與音樂(lè)劇表演者進(jìn)行交互,每位觀眾戴上WiFi耳機(jī),表演者的舞蹈肢體動(dòng)作被量化成參數(shù)轉(zhuǎn)化為音頻的形式實(shí)時(shí)傳遞給觀眾,讓觀眾更加專注于舞臺(tái)上的表演[31]。還有學(xué)者研究了樂(lè)器演奏與演奏姿態(tài)的可聽(tīng)化互動(dòng)設(shè)計(jì),其中,Kirsty Beiharz在她的文章中提及了一種名叫“Sonic Tai Chi” 的裝置設(shè)計(jì)(2005—2006年展陳于悉尼 Powerhose 博物館的BetaSpace,設(shè)計(jì)者Joanne Jakovich),如圖6所示,它是一個(gè)通過(guò)空間交互的虛擬的視覺(jué)及音頻合成的作品,它使用計(jì)算機(jī)視覺(jué)捕捉肢體動(dòng)作的數(shù)據(jù)產(chǎn)生可視化和可聽(tīng)化的效果,形成人與視聽(tīng)藝術(shù)間交互[32]。

圖6 Sonic Tai Chi視聽(tīng)交互設(shè)計(jì)(圖片來(lái)源:Joanne Jakovich)

盡管到目前為止,視覺(jué)藝術(shù)可聽(tīng)化的舞臺(tái)劇作品還未出現(xiàn)成型的大制作,基于對(duì)相關(guān)研究及實(shí)踐的分析,未來(lái)視覺(jué)藝術(shù)可聽(tīng)化在舞臺(tái)上的應(yīng)用具有很大的潛力,尤其是音樂(lè)劇、舞劇方面,如何將表演形式變得多樣化,如何讓觀眾融入視聽(tīng)表演,是未來(lái)幾年研究的重點(diǎn)。筆者認(rèn)為,以下兩方面的研究會(huì)有潛在價(jià)值:一是畫(huà)作藝術(shù)的數(shù)據(jù)可聽(tīng)化,音頻技術(shù)及音樂(lè)制作研究者可以探索分析著名畫(huà)家的畫(huà)作或視覺(jué)作品的數(shù)據(jù),并制作成可聽(tīng)化的交響樂(lè)或電子音樂(lè)作品,甚至通過(guò)舞臺(tái)表演的形式再次呈現(xiàn),包括觀眾對(duì)于這種新形式的表演的接受程度;二是舞臺(tái)劇、雜技等表演藝術(shù)的數(shù)據(jù)可聽(tīng)化,利用手勢(shì)可聽(tīng)化將表演者的肢體語(yǔ)言進(jìn)行數(shù)據(jù)轉(zhuǎn)化,形成與視聽(tīng)藝術(shù)的交互性,或許能成為一種新的表演形式?作品中每個(gè)部分的數(shù)據(jù)可聽(tīng)化處理,是通過(guò)在演員的四肢安裝交互式裝置,根據(jù)肢體的變化進(jìn)行相應(yīng)頻率、節(jié)奏以及旋律的調(diào)整,這樣的方式或許能幫助更好地理解作品,也可以“拉近”觀眾與表演者的距離。不可否認(rèn)這種表演模式是令人耳目一新的,然而也存在著一些問(wèn)題,制作成本是不能忽視的問(wèn)題,尤其是經(jīng)濟(jì)成本,使用相應(yīng)的交互裝置需要一定的花費(fèi);此外,是可聽(tīng)化作品的質(zhì)量問(wèn)題,音頻工程師、音樂(lè)制作人以及舞臺(tái)劇導(dǎo)演和演員對(duì)于畫(huà)作的理解一定程度上決定了可聽(tīng)化作品的質(zhì)量,所以整部作品的制作需要對(duì)藝術(shù)方面有非常高的理解力與造詣。

還有一點(diǎn)值得關(guān)注,國(guó)內(nèi)包括高等教育的相關(guān)領(lǐng)域?qū)τ谝暵?tīng)交互等新的交叉學(xué)科還在探索階段,其建設(shè)亟待加強(qiáng)。筆者認(rèn)為,音頻工程系、舞臺(tái)美術(shù)系等可以設(shè)立相關(guān)專業(yè)課程,學(xué)生除了需要具備音樂(lè)、藝術(shù)等基礎(chǔ)知識(shí)外,也需要用一定的時(shí)間學(xué)習(xí)編程、信號(hào)處理等工科課程。

5 結(jié)語(yǔ)

基于數(shù)據(jù)可聽(tīng)化的起源、概念以及主要特征,簡(jiǎn)單闡述了數(shù)據(jù)可聽(tīng)化作品的制作流程,包括當(dāng)前一部分學(xué)者進(jìn)行視覺(jué)畫(huà)作參數(shù)的采集、整理及可聽(tīng)化的設(shè)計(jì),以及主要制作方法和工具,特別針對(duì)實(shí)現(xiàn)數(shù)據(jù)可聽(tīng)化與視聽(tīng)藝術(shù)的交互問(wèn)題進(jìn)行了討論,并展望了數(shù)據(jù)可聽(tīng)化在舞臺(tái)藝術(shù)中的應(yīng)用前景。數(shù)據(jù)可聽(tīng)化與視覺(jué)藝術(shù)的結(jié)合作為一個(gè)新興的發(fā)展方向前景廣闊。

選自 《演藝科技》2023年第一期 盧亦林《淺析視覺(jué)藝術(shù)的數(shù)據(jù)可聽(tīng)化》。轉(zhuǎn)載請(qǐng)標(biāo)注:演藝科技傳媒。更多詳細(xì)內(nèi)容請(qǐng)參閱《演藝科技》。

(除原創(chuàng)作品外,本平臺(tái)所使用的文章、圖片、視頻及音樂(lè)屬于原權(quán)利人所有,僅用于行業(yè)學(xué)習(xí)交流,并不用于商業(yè)用途。文中觀點(diǎn)為作者獨(dú)立觀點(diǎn),因客觀原因,或會(huì)存在不當(dāng)使用的情況,如,部分文章或文章部分引用內(nèi)容未能及時(shí)與原作者取得聯(lián)系,或作者名稱及原始出處標(biāo)注錯(cuò)誤等情況,非惡意侵犯原權(quán)利人相關(guān)權(quán)益,敬請(qǐng)相關(guān)權(quán)利人諒解并與我們聯(lián)絡(luò)第一時(shí)間處理,共同維護(hù)良好的網(wǎng)絡(luò)創(chuàng)作環(huán)境。)

更多相關(guān): 演藝科技傳媒
 網(wǎng)友評(píng)論
 編輯推薦
  • 2022視聽(tīng)行業(yè)高峰論壇 音響行業(yè)金孔雀“開(kāi)屏”揭榜了
  • 專題:2021視聽(tīng)行業(yè)高峰論壇
  • 2021 SIAV上海國(guó)際高級(jí)HiFi演示會(huì)展會(huì)_聯(lián)合HiFi專題
  • 獨(dú)家專題:第十四屆全國(guó)運(yùn)動(dòng)會(huì)·專業(yè)擴(kuò)聲幕前幕后
加載推薦品牌
  • 諾音曼KH 810單10寸有源超低音音箱
  • Wharfedale Pro(樂(lè)富豪)90周年:鑄就品質(zhì),成就經(jīng)典
  • SEEBURG acoustics line丨袖珍揚(yáng)聲器 i-series :小身材,大能量
  • 加拿大XILICA(聲麗佳):專注于一流的數(shù)字音頻處理系統(tǒng)
加載推薦品牌資訊
設(shè)為首頁(yè) | 商務(wù)信息 | 音響資訊 | 本站動(dòng)態(tài) | 付款方式 | 關(guān)于音響網(wǎng) | 網(wǎng)站地圖 | 網(wǎng)站RSS | 友情鏈接
本站網(wǎng)絡(luò)實(shí)名:音響網(wǎng) 國(guó)際域名:m.28t.com.cn 版權(quán)所有.1999-2023 深圳市中投傳媒有限公司 .
郵箱:web@audio160.com  電話:0755-26751199(十二線) 傳真:0755-86024577  粵ICP備05041759號(hào)
在線客服:點(diǎn)擊這里給我發(fā)消息    視聽(tīng)學(xué)院-商家論壇群: 視聽(tīng)學(xué)院-商家論壇