TW201926317A - 多媒體資料處理裝置及方法 - Google Patents
多媒體資料處理裝置及方法 Download PDFInfo
- Publication number
- TW201926317A TW201926317A TW106142618A TW106142618A TW201926317A TW 201926317 A TW201926317 A TW 201926317A TW 106142618 A TW106142618 A TW 106142618A TW 106142618 A TW106142618 A TW 106142618A TW 201926317 A TW201926317 A TW 201926317A
- Authority
- TW
- Taiwan
- Prior art keywords
- sound source
- image
- positional relationship
- relative positional
- multimedia data
- Prior art date
Links
Landscapes
- Stereophonic System (AREA)
- User Interface Of Digital Computer (AREA)
- Studio Devices (AREA)
Abstract
一種多媒體資料處理裝置及方法，包括獲取單元、圖像採集裝置、音訊採集裝置及處理單元，獲取單元用於獲取音源與圖像採集裝置之間的相對位置關係；圖像採集裝置用於根據所述相對位置關係採集預定範圍內的圖像資料，音訊採集裝置用於根據所述相對位置關係採集預定範圍內音源所發出的音訊資料，處理單元用於將採集到的預定範圍內的圖像資料與音訊資料建立對應的關聯。本發明還提供一種多媒體資料處理方法。通過獲取音源與圖像採集裝置之間的相對位置關係，進而對音源進行定位。如此形成具有方位感的聲音資料，將大大提升使用者的體驗感覺。
Description
本發明涉及一種多媒體資料處理裝置及方法。
通常在使用者進行攝像時，聲音和圖像是分開收集。當進行錄影時，錄影需要獲取圖像資料和聲音資料，然而，現有的聲音資料都是所有聲音不分方位的獲取，最後播放時，也就聽不到任何具有立體感的聲音感覺，如此，用戶體驗較差。
鑒於上述內容，有必要提供一種多媒體資料處理裝置及方法。
一種多媒體資料處理方法，所述方法包括步驟：
獲取音源與圖像採集裝置之間的相對位置關係；
根據所述相對位置關係採集預定範圍內的圖像資料及音源所發出的音訊資料；及
將採集到的預定範圍內的圖像資料與音訊資料建立對應的關聯。
優選地，所述獲取音源與圖像採集裝置之間的相對位置關係的步驟具體包括：
獲取來自音源處的輸出的定位信號；及
根據接收到的所述定位信號確定音源與圖像採集裝置之間的相對位置關係。
優選地，所述獲取音源與圖像採集裝置的相對位置關係的步驟具體包括：
通過陀螺儀採集音源移動的角動量；及
將所述角動量轉換為音源對應的方位資訊以確定音源與圖像採集裝置之間的相對位置關係。
優選地，所述獲取音源與圖像採集裝置的相對位置關係的步驟具體包括：
通過直線加速器採集圖像採集裝置的位移和/或加速度；及
將所述位移和/或加速度轉換為圖像採集裝置對應的方位資訊以確定音源與圖像採集裝置之間的相對位置關係。
優選地，所述獲取音源與圖像採集裝置的相對位置關係的步驟具體包括：
通過陀螺儀及直線加速器採集圖像採集裝置的角動量及位移和/或加速度，並將所採集到的圖像採集裝置的角動量及位移和/或加速度轉換成第一方位資訊；
通過陀螺儀及直線加速器採集音源移動的角動量及位移和/或加速度，並將所採集到的音源移動的角動量及位移和/或加速度轉換成第二方位資訊；及
根據所述第一方位資訊及所述第二方位資訊確定音源與圖像採集裝置之間的相對位置關係。
優選地，所述方法還包括步驟：
確定使用者觀看圖像的視角；及
播放所述視角對應的音訊資料。
優選地，所述方法還包括步驟：
確定使用者觀看圖像的視角及距離；及
根據所述視角及距離進行音量加權及方向調整。
一種多媒體資料處理裝置，所述裝置包括：
獲取單元，用於獲取音源與圖像採集裝置之間的相對位置關係；
圖像採集裝置，用於根據所述相對位置關係採集預定範圍內的圖像資料；
音訊採集裝置，用於根據所述相對位置關係採集預定範圍內音源所發出的音訊資料；及
處理單元，用於將採集到的預定範圍內的圖像資料與音訊資料建立對應的關聯。
優選地，所述多媒體資料處理裝置還包括一存儲單元，所述存儲單元用於將建立對應關聯的圖像資料與音訊資料進行存儲。
優選地，所述多媒體資料處理裝置中的播放裝置用於播放所述建立對應關聯的多媒體資料，並用於偵測使用者觀看圖像的方向及視角，並根據使用者的視角及距離對應地進行音量加權及方向調整。
上述多媒體資料處理裝置及方法通過獲取音源與圖像採集裝置之間的相對位置關係，進而對音源進行定位。如此，形成具有方位感的聲音資料，可以大大提升使用者的體驗感覺。
下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明一部分實施例，而不是全部的實施例。
為了使本發明的目的、技術方案及優點更加清楚明白，以下將結合附圖及實施方式，對本發明中的多媒體資料處理裝置及方法作進一步詳細描述及相關說明。
如圖1及圖2所示，本發明的一較佳實施例提供一種多媒體資料處理裝置100。
所述多媒體資料處理裝置100用於確定多個音源10、12、14的方位資訊。在具體實施中，所述音源10、12、14可以分別為3個不同人物（如演員）所發出的聲音。在本實施例中，音源10、12、14的個數以3個為例，可以多於或者少於3個，例如至少1個。
所述多媒體資料處理裝置100包括獲取單元20、圖像採集裝置30、音訊採集裝置40、處理單元50及存儲單元60。
所述獲取單元20用於獲取音源10、12、14與圖像採集裝置30之間的相對位置關係。其中，所述相對位置關係包括音源10、12、14與圖像採集裝置20之間的方向及距離。
所述圖像採集裝置30用於根據所述相對位置關係採集預定範圍內的圖像資料。在本實施例中，所述圖像採集裝置30包括多個攝像鏡頭，以分別用於對預定範圍內的圖像資料進行採集。
所述音訊採集裝置40用於根據所述相對位置關係採集預定範圍內音源10、12、14所發出的音訊資料。
所述處理單元50用於將採集到的預定範圍內的圖像資料與音訊資料建立對應的關聯。
所述存儲單元60用於將建立對應關聯的多媒體資料進行存儲。
在一優選實施例中，當音源10、12、14與影像處理裝置30均不移動時，所述獲取單元20通過設置在每一音源10、12、14處的定位裝置輸出定位信號至影像處理裝置30，如此可以根據所接收的定位信號確定音源10、12、14與影像處理裝置30之間的相對位置關係。在本實施例中，所述定位裝置為超聲波裝置、全球定位系統（Global Positioning System，GPS）裝置、無線保真（Wireless-Fidelity，WiFi）裝置的其中一種。
在另一優選實施例中，當音源10、12、14移動且影像處理裝置30不移動時，所述獲取單元20通過定位裝置採集音源10、12、14移動的角動量，將所述角動量轉換為音源10、12、14對應的方位資訊以確定音源與圖像採集裝置30之間的相對位置關係。在本實施例中，所述定位裝置可為陀螺儀。
在另一優選實施例中，當圖像採集裝置30移動且音源10、12、14不移動時，所述獲取單元20通過定位裝置採集圖像採集裝置30的位移和/或加速度，並將所述位移和/或加速度轉換為圖像採集裝置30對應的方位資訊以確定音源10、12、14與圖像採集裝置30之間的相對位置關係。在本實施例中，所述定位裝置可為直線加速器。
在另一優選實施例中，當圖像採集裝置30與音源10、12、14均移動時，所述獲取單元20通過定位裝置採集圖像採集裝置30的角動量及位移和/或加速度，並將所採集到的圖像採集裝置30的角動量及位移和/或加速度轉換成第一方位資訊。同理，所述獲取單元20通過定位裝置採集音源10、12、14移動的角動量及位移和/或加速度，並將所採集到的音源10、12、14移動的角動量及位移和/或加速度分別轉換成第二方位資訊。所述處理單元50根據第一方位資訊及第二方位資訊確定音源10、12、14與圖像採集裝置30之間的相對位置關係。
在一優選實施例中，所述存儲單元60中所存儲的多媒體資料可傳輸至播放裝置（圖未示）中使用，其中，傳輸方式可包括但不局限於：通過存儲介質進行複製或無線網路傳輸等方式。
使用者使用播放裝置時，所述播放裝置偵測使用者觀看的方向，並確定使用者觀看圖像的視角，並根據所獲取的建立關聯的多媒體資料播放所述視角對應的音訊資料。
在一優選實施例中，所述播放裝置還用於根據使用者觀看圖像的視角及距離進行音量加權及方向調整。
具體而言，當使用者使用播放裝置（如VR頭戴式顯示器）時，在正面朝向圖像中的某一視角時，所述視角對應關聯的聲音將會從用戶的前方傳來，而圖像中與其他視角中對應關聯的聲音將會從用戶的左後方和右後方傳來。並且，各個方位傳來的聲音會加權而調整音量大小。
請參考圖3，多媒體資料處理方法包括以下步驟：
步驟S100，獲取音源與圖像採集裝置之間的相對位置關係，具體可以通過如下方式實現：
當音源移動且影像處理裝置不移動時，通過定位裝置採集音源移動的角動量，將所述角動量轉換為音源對應的方位資訊以確定音源與圖像採集裝置之間的相對位置關係。在具體實施例中，定位裝置可通過陀螺儀實現對角動量的採集。
當音源與影像處理裝置均不移動時，通過設置在每一音源處的定位裝置輸出定位信號至影像處理裝置，如此可以根據所接收的定位信號確定音源與影像處理裝置之間的相對位置關係。在具體實施例中，定位裝置可通過超聲波裝置、全球系統定位裝置、無線保真裝置中的一種實現對音源的定位。
當圖像採集裝置移動且音源不移動時，通過定位裝置採集圖像採集裝置的位移和/或加速度，並將所述位移和/或加速度轉換為圖像採集裝置對應的方位資訊以確定音源與圖像採集裝置之間的相對位置關係。在具體實施例中，定位裝置可通過直線加速器以實現採集裝置的位移及加速度。
當圖像採集裝置與音源均移動時，通過定位裝置採集圖像採集裝置的角動量及位移和/或加速度，並將所採集到的圖像採集裝置的角動量及位移和/或加速度轉換成第一方位資訊。同理，通過定位裝置採集音源移動的角動量及位移和/或加速度，並將所採集到的音源移動的角動量及位移和/或加速度分別轉換成第二方位資訊。所述處理單元根據第一方位資訊及第二方位資訊確定音源與圖像採集裝置之間的相對位置關係。
步驟S102，根據所述相對位置關係分別採集預定範圍內的圖像資料及音源所發出的音訊資料。
步驟S104，將採集到的預定範圍內的圖像資料與音訊資料建立對應的關聯。具體而言，將確定的相對位置關係與對應的音訊資料及圖像資料相結合，以生成對應關聯的多媒體資料。
請參考圖4，多媒體資料播放方法包括以下步驟：
步驟S200，偵測用戶觀看的方向，並確定使用者觀看圖像的視角，根據所獲取的建立關聯的多媒體資料播放所述視角對應的音訊資料。
具體而言，當使用者使用播放裝置觀看圖像的第一視角時，根據所獲取的建立關聯的多媒體資料，以確定播放所述第一視角在所述多媒體資料內對應的音訊資料。當使用者觀看圖像的第二視角時，根據所獲取的建立關聯的多媒體資料，以確定播放所述第二視角在所述多媒體資料內對應的音訊資料。以此類推，使用者在觀看到圖像不同的視角，將會根據所述建立關聯的多媒體資料以播放不同視角所對應的音訊資料。
步驟S202，根據使用者觀看圖像的視角及距離的不同而對音訊資料進行音量加權及方向調整。
具體而言，當使用者使用播放裝置並正面朝向圖像中的某一視角時，所述視角對應關聯的聲音將會從用戶的前方傳來，而圖像中與其他視角中對應關聯的聲音將會從用戶的左後方和右後方傳來。並且，用戶在各個方位傳來的聲音會通過加權而調整音量大小。
上述多媒體資料處理裝置及方法通過獲取音源與圖像採集裝置之間的相對位置關係，進而對音源進行定位。如此，形成具有方位感的聲音資料，可以大大提升使用者的體驗感覺。
最後應說明的是，以上實施例僅用以說明本發明的技術方案而非限制。本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。基於本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都將屬於本發明保護的範圍。
綜上所述，本發明確已符合發明專利之要件，遂依法提出專利申請。惟，以上所述者僅為本發明之較佳實施方式，自不能以此限制本案之申請專利範圍。舉凡熟悉本案技藝之人士爰依本發明之精神所作之等效修飾或變化，皆應涵蓋於以下申請專利範圍內。
100‧‧‧多媒體資料處理裝置
10、12、14‧‧‧音源
20‧‧‧獲取單元
30‧‧‧圖像採集裝置
40‧‧‧音訊採集裝置
50‧‧‧處理單元
60‧‧‧存儲單元
圖1為多媒體資料處理裝置的一較佳實施方式的方框圖。
圖2為多媒體資料處理裝置的一較佳實施方式的示意圖。
圖3為多媒體資料處理方法的一較佳實施方式的流程圖。
圖4為多媒體資料播放方法的一較佳實施方式的流程圖。
無
無
Claims (10)
- 一種多媒體資料處理方法，其中，所述方法包括步驟： 獲取音源與圖像採集裝置之間的相對位置關係； 根據所述相對位置關係採集預定範圍內的圖像資料及音源所發出的音訊資料；及 將採集到的預定範圍內的圖像資料與音訊資料建立對應的關聯。
- 如申請專利範圍第1項所述的多媒體資料處理方法，其中所述獲取音源與圖像採集裝置之間的相對位置關係的步驟具體包括： 獲取來自音源處的輸出的定位信號；及； 根據接收到的所述定位信號確定音源與圖像採集裝置之間的相對位置關係。
- 如申請專利範圍第1項所述的多媒體資料處理方法，其中所述獲取音源與圖像採集裝置的相對位置關係的步驟具體包括： 通過陀螺儀採集音源移動的角動量；及 將所述角動量轉換為音源對應的方位資訊以確定音源與圖像採集裝置之間的相對位置關係。
- 如申請專利範圍第1項所述的多媒體資料處理方法，其中所述獲取音源與圖像採集裝置的相對位置關係的步驟具體包括： 通過直線加速器採集圖像採集裝置的位移和/或加速度；及 將所述位移和/或加速度轉換為圖像採集裝置對應的方位資訊以確定音源與圖像採集裝置之間的相對位置關係。
- 如申請專利範圍第1項所述的多媒體資料處理方法，其中所述獲取音源與圖像採集裝置的相對位置關係的步驟具體包括： 通過陀螺儀及直線加速器採集圖像採集裝置的角動量及位移和/或加速度，並將所採集到的圖像採集裝置的角動量及位移和/或加速度轉換成第一方位資訊； 通過陀螺儀及直線加速器採集音源移動的角動量及位移和/或加速度，並將所採集到的音源移動的角動量及位移和/或加速度轉換成第二方位資訊；及 根據所述第一方位資訊及所述第二方位資訊確定音源與圖像採集裝置之間的相對位置關係。
- 如申請專利範圍第1項所述的多媒體資料處理方法，其中所述方法還包括步驟： 確定使用者觀看圖像的視角；及 播放所述視角對應的音訊資料。
- 如申請專利範圍第6項所述的多媒體資料處理方法，其中所述方法還包括步驟： 確定使用者觀看圖像的視角及距離；及 根據所述視角及距離進行音量加權及方向調整。
- 一種多媒體資料處理裝置，其中，所述裝置包括： 獲取單元，用於獲取音源與圖像採集裝置之間的相對位置關係； 圖像採集裝置，用於根據所述相對位置關係採集預定範圍內的圖像資料； 音訊採集裝置，用於根據所述相對位置關係採集預定範圍內音源所發出的音訊資料；及 處理單元，用於將採集到的預定範圍內的圖像資料與音訊資料建立對應的關聯。
- 如申請專利範圍第8項所述的多媒體資料處理裝置，其中所述多媒體資料處理裝置還包括存儲單元，所述存儲單元用於將建立對應關聯的圖像資料與音訊資料進行存儲。
- 如申請專利範圍第8項所述的多媒體資料處理裝置，其中所述多媒體資料處理裝置中的播放裝置用於播放所述建立對應關聯的多媒體資料，並用於偵測使用者觀看圖像的方向及視角，並根據使用者的視角及距離對應地進行音量加權及方向調整。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106142618A TWI636453B (zh) | 2017-12-05 | 2017-12-05 | 多媒體資料處理裝置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106142618A TWI636453B (zh) | 2017-12-05 | 2017-12-05 | 多媒體資料處理裝置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI636453B TWI636453B (zh) | 2018-09-21 |
| TW201926317A true TW201926317A (zh) | 2019-07-01 |
Family
ID=64452889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW106142618A TWI636453B (zh) | 2017-12-05 | 2017-12-05 | 多媒體資料處理裝置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI636453B (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201603675D0 (en) * | 2016-03-03 | 2016-04-20 | Centricam Technologies Ltd | A method,system and device for generating associated audio and visual signals in a wide angle image system |
| HK1221372A2 (zh) * | 2016-03-29 | 2017-05-26 | 萬維數碼有限公司 | 種獲得空間音頻定向向量的方法、裝置及設備 |
| CN205902062U (zh) * | 2016-08-12 | 2017-01-18 | 森声数字科技（深圳）有限公司 | 一种固定装置及音频采集设备 |
| TWM549870U (zh) * | 2017-07-04 | 2017-10-01 | 華碩電腦股份有限公司 | 虛擬實境系統及其方位偵測模組 |
-
2017
- 2017-12-05 TW TW106142618A patent/TWI636453B/zh active
Also Published As
| Publication number | Publication date |
|---|---|
| TWI636453B (zh) | 2018-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11528576B2 (en) | Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems | |
| KR102197544B1 (ko) | 공간화 오디오를 가진 혼합 현실 시스템 | |
| US9940969B2 (en) | Audio/video methods and systems | |
| US8730322B2 (en) | Telepresence using panoramic imaging and directional sound and motion | |
| CN108432272A (zh) | 用于回放控制的多装置分布式媒体捕获 | |
| JP6410769B2 (ja) | 情報処理システム及びその制御方法、コンピュータプログラム | |
| JP5818322B2 (ja) | 映像生成装置、映像生成方法及びコンピュータプログラム | |
| TWI636453B (zh) | 多媒體資料處理裝置及方法 | |
| JP2018019295A (ja) | 情報処理システム及びその制御方法、コンピュータプログラム | |
| KR101747800B1 (ko) | 입체음향 생성 장치 및 이를 이용한 입체 컨텐츠 생성 시스템 | |
| KR101155610B1 (ko) | 음원 위치 표시 장치 및 그 방법 | |
| WO2020066698A1 (ja) | 情報統合方法、情報統合装置、及び情報統合プログラム | |
| WO2020066699A1 (ja) | 情報統合方法、情報統合装置、及び情報統合プログラム | |
| CN109873933A (zh) | 多媒体数据处理装置及方法 | |
| JP2019033497A (ja) | 情報処理システム及びその制御方法、コンピュータプログラム | |
| JP3734805B2 (ja) | 情報記録装置 | |
| NZ795232A (en) | Distributed audio capturing techniques for virtual reality (1vr), augmented reality (ar), and mixed reality (mr) systems | |
| TWI521983B (zh) | 一種音訊調整系統 | |
| JP2022028454A (ja) | 撮影メタデータ記録装置及びプログラム | |
| JP2015097318A (ja) | 音声信号処理システム | |
| CN116888983A (zh) | 音频数据的处理 | |
| TW201436564A (zh) | 追蹤系統 |