TW201826801A - 手持式電子裝置、影音撥放裝置以及其影音撥放方法 - Google Patents

手持式電子裝置、影音撥放裝置以及其影音撥放方法 Download PDF

Info

Publication number
TW201826801A
TW201826801A TW106101341A TW106101341A TW201826801A TW 201826801 A TW201826801 A TW 201826801A TW 106101341 A TW106101341 A TW 106101341A TW 106101341 A TW106101341 A TW 106101341A TW 201826801 A TW201826801 A TW 201826801A
Authority
TW
Taiwan
Prior art keywords
display
video playback
sound signal
image
sound
Prior art date
Application number
TW106101341A
Other languages
English (en)
Other versions
TWI622289B (zh
Inventor
鄭志強
李淳民
漢熙 唐
陳雷
黃金國
楊秀博
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Application granted granted Critical
Publication of TWI622289B publication Critical patent/TWI622289B/zh
Publication of TW201826801A publication Critical patent/TW201826801A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4396—Processing of audio elementary streams by muting the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Abstract

手持式電子裝置、影音撥放裝置以及撥放方法。影音撥放裝置包括多個聲音信號截取器、影像擷取器、控制器以及揚聲器。聲音信號截取器擷取多個聲音信號。影像擷取器獲得顯示影像。控制器區分顯示影像為多數個顯示區域；建立配置位置與顯示區域的相對位置間的對應關係；接收選中區域的撥放設定命令，並據以設定命令設定各顯示區域的撥放權重；以及，依據各顯示區域的撥放權重以及對應關係以調整對應聲音信號的音量撥放設定，並依據音量撥放設定以及聲音信號產生輸出聲音信號。揚聲器進行聲音撥放動作。

Description

手持式電子裝置、影音撥放裝置以及其影音撥放方法
本發明是有關於一種手持式電子裝置、其影音撥放裝置以及其影音撥放方法，且特別是有關於一種依據影像中的位置資訊來撥放聲音的影音撥放裝置以及其影音撥放方法。
隨著電子科技的進步，手持式電子裝置已成為人們生活中不可或缺的工具。例如，在會議中，人們常利用手持式電子裝置進行錄音，以記錄會議中所討論相關內容。然而，若光只有錄製聲音資訊，在聽取會議內容時，可能無法完全理解透過身體姿態配合所要表達的資訊，因此，將聲音資訊配合影像資訊進行錄製是較佳的選擇。
然而，在相同的環境中，多個參與者可能同時發音並討論多個不同的議題。因此，要如何透過手持式電子裝置錄製的影音資訊中，擷取最有效的資訊，是本領域技術人員的重要課題。
本發明提供一種手持式電子裝置、影音撥放裝置以及影音撥放方法。可透過選定顯示影像中的特定目標，來控制聲音訊號撥放的來源及音量。
本發明的影音撥放裝置包括多數個聲音信號截取器、影像擷取器、控制器以及揚聲器。聲音信號截取器配置在影音撥放裝置的多數個配置位置上，用以擷取環境中的多個聲音信號。影像擷取器擷取環境中的影像以獲得顯示影像。控制器耦接聲音信號截取器以及影像擷取器，用以區分該顯示影像為多數個顯示區域；建立配置位置與顯示區域的相對位置間的對應關係；接收對應顯示區域中的選中區域的撥放設定命令，並依據撥放設定命令設定各顯示區域的撥放權重；以及，依據各顯示區域的撥放權重以及對應關係以調整對應聲音信號的音量撥放設定，並依據音量撥放設定以及聲音信號產生輸出聲音信號。揚聲器依據輸出聲音信號進行聲音撥放動作。
本發明的手持式電子裝置包括主體以及如上所述的影音撥放裝置。影音撥放裝置配至在主體中，其中，聲音信號截取器的配置位置分別對應主體的多個側面。
本發明的影音撥放方法包括：在影音撥放裝置的多數個配置位置上擷取環境中的多個聲音信號；區分顯示影像為多數個顯示區域；建立配置位置與顯示區域的相對位置的對應關係；接收對應顯示區域中的選中區域的撥放設定命令，並依據撥放設定命令設定各顯示區域的撥放權重；依據各顯示區域的撥放權重以及對應關係以調整對應聲音信號的音量撥放設定，並依據音量撥放設定以及聲音信號產生輸出聲音信號；以及，依據輸出聲音信號進行聲音撥放動作。
基於上述，透過本發明提供的影音撥放裝置及其撥放方法，影音撥放裝置可透過顯示影像的選取動作，來進行撥放聲音的位置的調整動作。如此一來，可進一步針對所要聽取的聲音以及影像資訊進行加強的動作，影音撥放裝置的撥放效率。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
請參照圖1，圖1繪示本發明一實施例的影音撥放裝置的示意圖。影音撥放裝置100包括聲音信號擷取器111-113、影像擷取器120、控制器130以及揚聲器140。聲音信號擷取器111-113耦接至控制器130。聲音信號擷取器111-113可分別配置在影音撥放裝置100的多個不同的配置位置上，並擷取相同環境中的多個聲音信號。影像擷取器120耦接至控制器130，用以擷取環境中的影像以獲得顯示影像。控制器130則接收聲音信號擷取器111-113所產生的聲音信號以及影像擷取器120所獲得的顯示影像。
附帶一提的，在本實施例中，聲音信號擷取器111-113可以是麥克風，或為本領域具通常知識者所熟知的聲音接收裝置。影像擷取器120則可以為本領域具通常知識者所熟知的任意的影像接收裝置，如照相機、攝影裝置等。
在聲音撥放動作的控制方面，控制器130並區分顯示影像為多數個顯示區域。在此請同步參照圖1以及圖2，其中圖2繪示本發明實施例的顯示區域的產生方式的示意圖。在圖2中，控制器130針對顯示影像200進行區分，並透過區隔線段DL1以及DL2將顯示影像200區分為三個顯示區域DZ1-DZ3。其中，顯示區域DZ1-DZ3彼此間的尺寸大小可以相同也可以不相同。另外，在本發明其他實施例中，控制器130也可以區隔顯示影像200為多於三個或少於三個的顯示區域。另外，所區隔出的顯示區域也可以不需要如圖2所繪示的相互平行排列，在本發明不同實施例中，顯示區域可以各種方式進行排列，沒有固定的限制。
接著，控制器130建立聲音信號擷取器111-113的配置位置與顯示區域的相對位置間的一對應關係。在此請同步參照圖1以及圖3，圖3繪示發明實施例的手持式電子裝置的聲音信號擷取器的配置位置與參考平面的關係示意圖。其中，手持式電子裝置300被立起，並依據影像擷取方向IAD進行影像擷取動作。影音撥放裝置100可設置在手持式電子裝置300的本體中，而其中的聲音信號截取器111-113設置在手持式電子裝置300的本體上的不同的設置位置上。透過設定與影像擷取方向IAD實質上平行的參考平面RSUF，聲音信號截取器111-113可在參考平面RSUF上分別投影出三個投影位置PP1-PP3。
在獲得投影位置PP1-PP3後，請參照圖4A以及圖4B，其中圖4A繪示投影位置與參考平面的位置關係的示意圖，圖4B則繪示選定方位以進行聲音合成的示意圖。其中，在圖4A中，參考平面RSUF可被多個向量（例如向量g00 、g450 、g900 …）區分為多個扇形區域SE1-SE8，各個扇形區域SE1-SE8是依據參考平面RSUF的中心點O（聲音接收點），利用預設的圓心角A來進行區分。在圖4A的實施方式中，圓心角A等於45度。
進一步來說明，在圖4A的繪示中，參考平面RSUF上的多個扇形區域SE1-SE8可與顯示影像中的多個顯示區域相對應。以圖2繪示的顯示影像200為範例，具體來說，若影音撥放裝置的影像擷取方向與向量g00 同方向時，扇形區域SE1及SE8對應至顯示區域DZ2，扇形區域SE1及SE2可對應至顯示區域DZ3，而扇形區域SE7及SE8則可對應至顯示區域DZ1。
如此一來，控制器130可有效建立配置位置111-113與顯示區域DZ1-DZ3的相對位置間的對應關係。
接著，當進行影音撥放的過程中，控制器130可接收對應顯示區域中的選中區域所進行的撥放設定命令。並依據撥放設定命令設定各顯示區域的撥放權重。同時參照圖2以及圖4A，依據上述的扇形區域SE1-SE8與顯示區域的相對位置間的對應關係，若顯示區域DZ1被設定為選中區域時，顯示區域DZ1的撥放權重被調高，而顯示區域DZ2及DZ3的撥放權重對應被調低。在此，可透過設定扇形區域SE1-SE8上的權重來完成上述的撥放權重調整動作。
以下請參照圖5A-圖5D，圖5A-圖5D分別繪示本發明實施例的選中區域與扇形區域的權重設定的關係圖。其中，在圖5A中，整個顯示影像被選為選中區域SDZ，此時所有的扇形區域SE1-SE8都被設定為具有相同的權重1。在圖5B中，中央的顯示區域DZ2被設定為選中區域SDZ，對應於顯示區域DZ2的扇形區域SE1、SE8被設定具有較高的權重1，而扇形區域SE2、SE7被設定具有相對低的權重0.5，扇形區域SE3、SE6被設定具有相對低的權重0.3、而扇形區域SE4、SE5則被設定具有最低的權重0。
此外，在圖5C中，顯示區域DZ3被設定為選中區域SDZ，在此，對應於顯示區域DZ3的扇形區域SE1、SE2可被設定具有較高的權重1，而扇形區域SE8、SE3被設定具有相對低的權重0.5，扇形區域SE7、SE4被設定具有相對低的權重0.3、而扇形區域SE6、SE5則被設定具有最低的權重0。
在圖5D中，顯示區域DZ1被設定為選中區域SDZ，在此，對應於顯示區域DZ1的扇形區域SE7、SE8被設定具有較高的權重1，而扇形區域SE6、SE1被設定具有相對低的權重0.5，扇形區域SE5、SE2被設定具有相對低的權重0.3、而扇形區域SE4、SE3則被設定具有最低的權重0。
透過上述的扇形區域的權重，針對各扇形區域上的投影位置所對應聲音信號擷取裝置所接收的聲音信號進行調整，並加以合成，並可獲得輸出聲音信號，並使揚聲器140進行輸出聲音信號的撥放動作。
關於聲音信號的合成方面，請參照圖4A，在圖4A中，投影位置PP1-PP3分別落在扇形區域SE3、SE6以及SE8中。而要對水平3600 的空間進行聲音分析最少要有3個聲音信號擷取器以進行收音，根據三個聲音信號擷取器111-113在參考平面RSUF上的投影位置PP1-PP3可以定義出個聲音信號擷取器111-113聲音傳遞方向n1、n2以 及n3。再由平面聲波傳遞的理論可推算出各方位的組合聲如數學式（1）所示：
（1）
其中P1 、P2 、P3 分別為投影位置PP1-PP3在參考平面RSUF上的座標，w為聲音信號的頻率，C為聲速。
根據心理聲學模型或相關模型（聲學頭部關係轉移函數，Head-related transfer function, HRTF）可將使用者選定的方位聲音合成輸出雙耳音訊。其中，心理聲學模型或相關模型是用來描述不同方向的聲音傳遞至人耳的響應，即使是相同音源，由於臉部輪廓等物理上的因素造成雙耳聆聽差異，使用假人頭的耳內麥克風收音，在可控的單音源情況下即能用數學表達兩者間的轉移函數，藉此達到模擬人耳實際對於不同方向聲音的響應。
依據圖4B所繪示的，使用者USR的右耳聽到聲波，可以依據不同方向的聲波SD1-SD3合成來獲得。
接著請參照圖6，圖6繪示本發明一實施例的影像調整方式的示意圖。其中，手持式電子裝置600中設置影音撥放裝置100。其中，控制器130可以透過臉部辨識動作來針對顯示影像進行處理，並顯示影像中顯示出標示MK1-MK3以作為操作介面。當使用者要選擇要聽取顯示影像中其中一個發言者發出的語音時，可透過選擇標示（例如標式MK2）。據此，手持式電子裝置600可放大顯示標示MK2對應的使用者的影像，並對應放大聲音擷取裝置所擷取到的標示MK2對應的使用者所發送的聲音。
在細節方面，控制器130可以透過臉部辨識動作來識別出顯示影像中的的多個人物。並針對這些識別出的人物進行標號，並在顯示影像中顯示出這些編號以作為操作介面。使用者可透過這個操作介面，透過選擇編號接收對應的人物的發言內容。在此，被選取的人物的發言內容的音量可以被調大，未被選取的人物的發言內容的音量則可以被調小，甚至被消音。
當然，上述的產生操作介面的方式並不限於使用臉部辨識的動作來完成。本發明實施例中也可利用物件辨識、手勢辨識以及其他本領域具通常知識者所熟知的技術來產生。關於物件辨識方面，例如，控制器130可以針對顯示影像中的物件（例如車輛、電器等同種類或不同種類的物件）進行識別，並提供操作介面壤使用者選擇其中之一的物件來讀取其聲音信號。關於手勢辨識的部分，控制器130可以透過辨識顯示影像中的人物有無作出特殊手勢來進行辨識並加以標示（編號），再提供這些編號以建立操作介面，以提供使用者可透過操作介面選擇編號以接收對應的人物的發言內容。
另外，在手持式電子裝置600放大顯示標式MK2對應的使用者的影像時，使用者可以透過指令使手持式電子裝置600還原顯示影像，或變更放大顯示標式MK1對應的使用者的影像，並同步調整撥放的輸出聲音信號。
以下請參照圖7A以及圖7B，圖7A以及圖7B分別繪示本發明不同實施方式的聲音擷取裝置的配置位置示意圖。在圖7A中，手持式電子裝置710具有三個聲音信號擷取器711-713，分別配置在手持式電子裝置710的不同側邊。聲音信號擷取器711-713分別投影至參考平面RSUF的投影位置PP11-PP13，其中，投影位置PP11-PP13均勻分布在參考平面RSUF的不同位置上。
在圖7B中，手持式電子裝置720則具有四個聲音信號擷取器721-724，分別配置在手持式電子裝置720的不同側邊。聲音信號擷取器721-724分別投影至參考平面RSUF的投影位置PP21-PP24，其中，投影位置PP21-PP24同樣可均勻分布在參考平面RSUF的不同位置上。
在此，在本發明實施例中，聲音信號擷取器的數量是沒有特定的限制。
以下請參照圖8，圖8繪示本發明實施例的影音撥放方法的流程圖。其中，影音撥放方法的步驟包括：步驟S810在影音撥放裝置的多數個配置位置上擷取環境中的多個聲音信號；步驟S820區分顯示影像為多數個顯示區域；步驟S830則建立配置位置與顯示區域的相對位置的對應關係；步驟S840接收對應顯示區域中的選中區域的撥放設定命令，並依據撥放設定命令設定各顯示區域的撥放權重；步驟S850則依據各顯示區域的撥放權重以及對應關係以調整對應聲音信號的音量撥放設定，並依據音量撥放設定以及聲音信號產生輸出聲音信號；以及，步驟S860依據輸出聲音信號進行聲音撥放動作。
關於上述步驟的多個實施細節，在前述的多個實施例及實施方式都有詳細的說明，以下恕不多贅述。
綜上所述，本發明透過區分該顯示影像為多個顯示區域，並針對顯示區域以及聲音信號截取器的配置位置建立相對位置的對應關係。並且，在進行影音撥放時，透過選擇顯示區域，影音撥放裝置可以加強選中區域對應的聲音信號截取器所擷取的聲音信號，並進行聲音撥放的動作。如此一來，使用者可以更清晰的獲得所要接收的聲音信號，提升影音撥放裝置的使用效能。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100‧‧‧影音撥放裝置
111-113‧‧‧聲音信號擷取器
120、721-724‧‧‧影像擷取器
130‧‧‧控制器
140‧‧‧揚聲器
200‧‧‧顯示影像
DZ1-DZ3‧‧‧顯示區域
IAD‧‧‧影像擷取方向
300、600、720‧‧‧手持式電子裝置
RSUF‧‧‧參考平面
PP1-PP3、PP21-PP24‧‧‧投影位置
g00、g450、g900‧‧‧向量
SE1-SE8‧‧‧扇形區域
O‧‧‧中心點
A‧‧‧圓心角
n1、n2、n3‧‧‧傳遞方向
USR‧‧‧使用者
SD1-SD3‧‧‧聲波
MK1-MK3‧‧‧標示
S810-S860‧‧‧影音撥放方法的步驟
SDZ‧‧‧選中區域
圖1繪示本發明一實施例的影音撥放裝置的示意圖。 圖2繪示本發明實施例的顯示區域的產生方式的示意圖。 圖3繪示發明實施例的手持式電子裝置的聲音信號擷取器的配置位置與參考平面的關係示意圖。 圖4A繪示投影位置與參考平面的位置關係的示意圖。 圖4B則繪示選定方位以進行聲音合成的示意圖。 圖5A-圖5D分別繪示本發明實施例的選中區域與扇形區域的權重設定的關係圖。 圖6繪示本發明一實施例的影像調整方式的示意圖。 圖7A以及圖7B分別繪示本發明不同實施方式的聲音擷取裝置的配置位置示意圖。 圖8繪示本發明實施例的影音撥放方法的流程圖。

Claims (19)

  1. 一種影音撥放裝置，包括： 多數個聲音信號截取器，配置在該影音撥放裝置的多數個配置位置上，用以擷取一環境中的多個聲音信號； 一影像擷取器，擷取該環境中的影像以獲得一顯示影像； 一控制器，耦接該些聲音信號截取器以及該影像擷取器，用以： 區分該顯示影像為多數個顯示區域； 建立該些配置位置與該些顯示區域的相對位置間的一對應關係； 接收對應該些顯示區域中的一選中區域的一撥放設定命令，並依據該撥放設定命令設定各該顯示區域的一撥放權重；以及 依據各該顯示區域的該撥放權重以及該對應關係以調整對應該些聲音信號的一音量撥放設定，並依據該音量撥放設定以及該些聲音信號產生一輸出聲音信號；以及 一揚聲器，依據該輸出聲音信號進行聲音撥放動作。
  2. 如申請專利範圍第1項所述的影音撥放裝置，其中該控制器用以： 依據該影像擷取器的影像擷取方向以設定一參考平面，並依據該參考平面上一聲音接收點為一中心點，並基於該中心點依據不同角度區分該參考平面為多個扇形區域；以及 依據該些配置位置，計算該些聲音信號截取器在該參考平面的多數個投影位置，依據各該投影位置對應的各該扇形區域產生該對應關係。
  3. 如申請專利範圍第2項所述的影音撥放裝置，其中該控制器依據該撥放權重以及該些投影位置，針對該聲音信號進行一聲音信號轉換動作，並產生立體聲的該輸出聲音信號。
  4. 如申請專利範圍第2項所述的影音撥放裝置，其中該控制器依據聲學頭部關係轉移函數執行該聲音信號轉換動作。
  5. 如申請專利範圍第1項所述的影音撥放裝置，其中該控制器依據該撥放設定命令使該選中區域的撥放權重被調高，並使該些顯示區域中非為該選中區域的撥放權重被調低。
  6. 如申請專利範圍第1項所述的影音撥放裝置，其中更包括： 一影像顯示器，用以顯示該顯示影像， 其中，該控制器依據該撥放設定命令使該影像顯示器對該選中區域進行放大顯示動作。
  7. 如申請專利範圍第6項所述的影音撥放裝置，其中當該選中區域由一第一顯示區域變更為一第二顯示區域時，該影像顯示器變更為放大第二顯示區域進行顯示動作。
  8. 如申請專利範圍第6項所述的影音撥放裝置，其中該影像顯示器更用以顯示一操作介面， 其中，該操作介面用以接收該撥放設定命令。
  9. 如申請專利範圍第8項所述的影音撥放裝置，其中該控制器針對該顯示影像進行特徵辨識動作以產生該操作介面。
  10. 一種手持式電子裝置，包括： 一主體； 如申請專利範圍1所述的影音撥放裝置，配至在該主體中， 其中，該些聲音信號截取器的該些配置位置分別對應該主體的多個側面。
  11. 一種影音撥放方法，包括： 在一影音撥放裝置的多數個配置位置上擷取一環境中的多個聲音信號； 擷取該環境中的影像以獲得一顯示影像； 區分該顯示影像為多數個顯示區域； 建立該些配置位置與該些顯示區域的相對位置一對應關係； 接收對應該些顯示區域中的一選中區域的一撥放設定命令，並依據該撥放設定命令設定各該顯示區域的一撥放權重； 依據各該顯示區域的該撥放權重以及該對應關係以調整對應該些聲音信號的一音量撥放設定，並依據該音量撥放設定以及該些聲音信號產生一輸出聲音信號；以及 依據該輸出聲音信號進行聲音撥放動作。
  12. 如申請專利範圍第11項所述的影音撥放方法，其中建立該些配置位置與該些顯示區域的該對應關係的步驟包括： 依據該顯示影像的一影像擷取方向以設定一參考平面，並依據該參考平面上一聲音接收點為一中心點，並基於該中心點依據不同角度區分該參考平面為多個扇形區域；以及 依據該些配置位置，計算該些聲音信號截取器在該參考平面的多數個投影位置，依據各該投影位置對應的各該扇形區域產生該對應關係。
  13. 如申請專利範圍第11項所述的影音撥放方法，其中依據各該顯示區域的該撥放權重以及該對應關係以調整對應該些聲音信號的該音量撥放設定，並依據該音量撥放設定以及該些聲音信號產生該輸出聲音信號的步驟包括： 依據該撥放權重以及該些投影位置，針對該聲音信號進行一聲音信號轉換動作，並產生立體聲的該輸出聲音信號。
  14. 如申請專利範圍第13項所述的影音撥放方法，其中，針對該聲音信號進行該聲音信號轉換動作，並產生立體聲的該輸出聲音信號的步驟包括： 依據聲學頭部關係轉移函數執行該聲音信號轉換動作以產生立體聲的該輸出聲音信號。
  15. 如申請專利範圍第11項所述的影音撥放方法，其中接收對應該些顯示區域中的該選中區域的該撥放設定命令，並依據該撥放設定命令設定各該顯示區域的該撥放權重的步驟包括： 依據該撥放設定命令使該選中區域的撥放權重被調高，並使該些顯示區域中非為該選中區域的撥放權重被調低。
  16. 如申請專利範圍第11項所述的影音撥放方法，其中更包括： 提供一影像顯示器，用以顯示該顯示影像；以及 依據該撥放設定命令使該影像顯示器對該選中區域進行放大顯示動作。
  17. 如申請專利範圍第16項所述的影音撥放方法，其中更包括： 當該選中區域由一第一顯示區域變更為一第二顯示區域時，使該影像顯示器變更為放大第二顯示區域進行顯示動作。
  18. 如申請專利範圍第11項所述的影音撥放方法，其中更包括： 提供該影像顯示器顯示一操作介面，該操作介面用以接收該撥放設定命令。
  19. 如申請專利範圍第18項所述的影音撥放方法，其中更包括： 針對該顯示影像進行特徵辨識動作以產生該操作介面。
TW106101341A 2017-01-11 2017-01-16 手持式電子裝置、影音撥放裝置以及其影音撥放方法 TWI622289B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/403,191 2017-01-11
US15/403,191 US9992532B1 (en) 2017-01-11 2017-01-11 Hand-held electronic apparatus, audio video broadcasting apparatus and broadcasting method thereof

Publications (2)

Publication Number Publication Date
TWI622289B TWI622289B (zh) 2018-04-21
TW201826801A true TW201826801A (zh) 2018-07-16

Family

ID=59053903

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106101341A TWI622289B (zh) 2017-01-11 2017-01-16 手持式電子裝置、影音撥放裝置以及其影音撥放方法

Country Status (4)

Country Link
US (1) US9992532B1 (zh)
EP (1) EP3349473A1 (zh)
CN (1) CN108304152B (zh)
TW (1) TWI622289B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110493621A (zh) * 2019-09-26 2019-11-22 江西省创海科技有限公司 一种双弧幕放映系统及播控系统
CN113676668A (zh) * 2021-08-24 2021-11-19 维沃移动通信有限公司 视频拍摄方法、装置、电子设备和可读存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5657246A (en) 1995-03-07 1997-08-12 Vtel Corporation Method and apparatus for a video conference user interface
US6795106B1 (en) 1999-05-18 2004-09-21 Intel Corporation Method and apparatus for controlling a video camera in a video conferencing system
JP2001339703A (ja) 2000-05-26 2001-12-07 Nec Corp テレビ会議システム及びテレビ会議システムに於けるカメラの制御装置並びにカメラの制御方法
US7565680B1 (en) * 2000-06-30 2009-07-21 Comcast Ip Holdings I, Llc Advanced set top terminal having a video call feature
US20040008423A1 (en) 2002-01-28 2004-01-15 Driscoll Edward C. Visual teleconferencing apparatus
US7852369B2 (en) 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
US20110109798A1 (en) * 2008-07-09 2011-05-12 Mcreynolds Alan R Method and system for simultaneous rendering of multiple multi-media presentations
US8315366B2 (en) 2008-07-22 2012-11-20 Shoretel, Inc. Speaker identification and representation for a phone
CN113490135B (zh) * 2010-03-23 2023-05-30 杜比实验室特许公司 音频再现方法和声音再现系统
WO2013093565A1 (en) * 2011-12-22 2013-06-27 Nokia Corporation Spatial audio processing apparatus
US9179232B2 (en) * 2012-09-17 2015-11-03 Nokia Technologies Oy Method and apparatus for associating audio objects with content and geo-location
US10111013B2 (en) * 2013-01-25 2018-10-23 Sense Intelligent Devices and methods for the visualization and localization of sound
US20150277707A1 (en) * 2014-03-28 2015-10-01 Spotify Ab System and method for multi-track playback of media content
US9913027B2 (en) * 2014-05-08 2018-03-06 Intel Corporation Audio signal beam forming
US9693009B2 (en) * 2014-09-12 2017-06-27 International Business Machines Corporation Sound source selection for aural interest
US10284956B2 (en) * 2015-06-27 2019-05-07 Intel Corporation Technologies for localized audio enhancement of a three-dimensional video

Also Published As

Publication number Publication date
US9992532B1 (en) 2018-06-05
EP3349473A1 (en) 2018-07-18
TWI622289B (zh) 2018-04-21
CN108304152B (zh) 2020-07-17
CN108304152A (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
US11838707B2 (en) Capturing sound
JP5992210B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
CN101843114B (zh) 一种聚焦音频信号的方法、装置及集成电路
CN108156575B (zh) 音频信号的处理方法、装置及终端
EP3236345A1 (en) An apparatus and associated methods
JP2008543143A (ja) 音響変換器のアセンブリ、システムおよび方法
JP6246922B2 (ja) 音響信号処理方法
JP2008543144A (ja) 音響信号用装置、システム、方法
JP7100824B2 (ja) データ処理装置、データ処理方法及びプログラム
CN107005677A (zh) 调节视频会议系统中的空间一致性
JP6596896B2 (ja) 頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置
US10979846B2 (en) Audio signal rendering
US20230096873A1 (en) Apparatus, methods and computer programs for enabling reproduction of spatial audio signals
JP3740518B2 (ja) ゲーム装置、コンピュータの制御方法及びプログラム
EP3506080B1 (en) Audio scene processing
TWI622289B (zh) 手持式電子裝置、影音撥放裝置以及其影音撥放方法
US10708679B2 (en) Distributed audio capture and mixing
US20210014615A1 (en) Combined Near-Field and Far-Field Audio Rendering and Playback
CN114205695A (zh) 一种音响参数确定方法和系统
JP6521675B2 (ja) 信号処理装置、信号処理方法、及びプログラム
WO2018003081A1 (ja) 全天球カメラ撮像画像表示システム、方法及びプログラム
JP2011151621A (ja) 音声制御装置
JP2024007669A (ja) 音源及び受音体の位置情報を用いた音場再生プログラム、装置及び方法
JP2021132261A (ja) 複数のマイクロフォンの収音信号をミキシングする装置、プログラム及び方法
EP4226651A1 (en) A method of outputting sound and a loudspeaker