TW201931354A - 用於音頻成像的可穿戴式電子裝置及其操作方法 - Google Patents

用於音頻成像的可穿戴式電子裝置及其操作方法 Download PDF

Info

Publication number
TW201931354A
TW201931354A TW107107116A TW107107116A TW201931354A TW 201931354 A TW201931354 A TW 201931354A TW 107107116 A TW107107116 A TW 107107116A TW 107107116 A TW107107116 A TW 107107116A TW 201931354 A TW201931354 A TW 201931354A
Authority
TW
Taiwan
Prior art keywords
sound
lens
visual content
view
electronic device
Prior art date
Application number
TW107107116A
Other languages
English (en)
Other versions
TWI667650B (zh
Inventor
小迪 王
許哲維
謝易霖
李志弘
Original Assignee
美律實業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美律實業股份有限公司 filed Critical 美律實業股份有限公司
Application granted granted Critical
Publication of TWI667650B publication Critical patent/TWI667650B/zh
Publication of TW201931354A publication Critical patent/TW201931354A/zh

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stereophonic System (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本發明提供一種可穿戴式電子裝置，其電腦裝置操作方法以及電子系統。該方法包括：接收一聲音，並根據接收到的聲音對應地產生多個音頻數據；確定聲源相對於可穿戴式電子設備的相對方向和相對位置以及聲音的強度等級；根據所述相對方向，所述聲音的強度等級以及所述相對位置，生成與所述聲音對應的由電腦所生成的視覺內容；以及將與聲音對應的由電腦所生成的視覺內容顯示在可穿戴式電子設備的顯示裝置的透明鏡片上。

Description

用於音頻成像的可穿戴式電子裝置及其操作方法
本發明是有關於一種可穿戴式電子裝置及其操作方法，且特別是有關於一種用於音頻成像的可穿戴式電子裝置及其操作方法，所述可穿戴式電子裝置包括頭戴式顯示器和多個聲音接收器。
擴增實境(Augmented Reality)用於將真實環境與電腦生成的虛擬資訊相結合。擴增實境眼鏡整合透明顯示器（例如，可以顯示電腦生成的圖像/影片的透明鏡片），以將視覺資訊添加到佩戴者的視野。
由本發明提供一種可穿戴式電子裝置、電腦執行操作方法和電子系統，能夠接收附近聲音來源產生的聲音，分析對應於所接收聲音的音頻數據(Audio Data)，並產生以及顯示所接收到的聲音其對應的音頻圖像，透過所顯示的音頻圖像來提供聲音強度和聲音相對方向的資訊。
本發明的可穿戴式電子裝置包括前框架、側框架、具有透明鏡片(Transparent Lens)的顯示設備、設置在前框架和側框架上的多個聲音接收器的聲音接收器陣列以及控制器。顯示設備用來在透明鏡片上顯示視覺內容，其中佩戴者可通過鏡片(Lens)看到真實世界的場景。聲音接收器陣列用來接收由可穿戴式電子裝置周圍的聲音來源產生的聲音，並且根據接收到的聲音相對應地產生多個音頻數據。控制器耦接至顯示設備及聲音接收器陣列，用以對音頻數據進行分析，以判斷聲音來源相對於可穿戴式電子裝置的相對方向及相對位置，並且判斷聲音強度級別(Intensity Level)。此外，控制器還根據相對方向、聲音的強度以及相對位置來產生對應於聲音電腦生成視覺內容（例如，音頻圖像Acoustic Image）。顯示設備用來在鏡片上顯示與聲音相對應電腦生成視覺內容，使得通過鏡片的視野被佩帶者的視覺捕捉，其中，鏡片的視野包括顯示在鏡片上由電腦產生的視覺內容和佩戴者通過鏡片看到的鏡片視野（View-via-lens）。
本發明的電腦執行操作方法包括電子裝置的聲音接收器陣列接收圍繞電子裝置的聲音來源所發出的聲音，並且相對應地由聲音接收器陣列根據接收到的聲音產生多個音頻數據；可穿戴式電子裝置的控制器對音頻數據進行分析以判斷聲音來源和可穿戴式電子裝置相對的方向和相對的位置，並判斷聲音強度級別；控制器根據所述相對方向、所述聲音強度級別以及所述相對位置，產生與所述聲音所對應並電腦生成視覺內容；以及由可穿戴式電子裝置的顯示設備在透明鏡片上顯示與聲音對應的電腦視覺內容，其中佩戴者可通過鏡片看到真實世界的場景，使得經由鏡片而獲得的視野可由佩戴者的視覺捕捉，其中，經由鏡片的所得的視野包括在鏡片上所顯示電腦生成視覺內容以及由佩戴者通過鏡片所看到的真實世界的場景。
基於上述實施例所提供的可穿戴式電子裝置、用於電腦執行的操作方法以及電子系統能夠接收由附近聲音來源產生的聲音，分析對應於所接收聲音的音頻數據，並且相對應地產生並顯示與接收到的聲音對應的音頻圖像，使得透過顯示在鏡片視野(View-via-lens)或捕捉到的圖像的音頻圖像（電腦生成視覺內容），使用者能夠取得聲音的強度和聲音的相對方向/位置的資訊。為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
本揭露內容提供一種具有多個聲音接收器（例如麥克風）和透明顯示的可穿戴式電子裝置。可穿戴式電子裝置可以與眼鏡，頭盔，VR眼鏡或AR眼鏡等類似的方式被佩戴。通過使用由麥克風和波束形成技術(Beamforming Technique)同時獲取的音頻數據（信號），聲音來源的資訊（電腦生成視覺內容或音頻圖像）得以在透明顯示器上顯示。
如圖1A所示，在本實施例中，假設使用者穿戴可穿戴式電子裝置10，從佩戴者/可穿戴式電子裝置的背面到正面的方向對應於正交坐標系的Y坐標軸（也稱為Y方向），從佩戴者/可穿戴式電子裝置的左側到右側的方向對應於X坐標軸（也稱為X方向），並且從佩戴者/可穿戴式電子裝置的底部到頂部的方向對應於正交坐標系的Z坐標軸（也稱為Z方向）。
可穿戴式電子裝置10包括前框架101及側框架102與103，其中側框架102的第一端與側框架103的第一端分別連接於前框架101的兩側，如圖1A所示。在另一實施例中，側框架102的第二端可以直接連接到側框架103的第二端。
可穿戴式電子裝置10還包括聲音接收器陣列110，聲音接收器陣列110包括佈置在前框架101以及側框架102和103上的多個聲音接收器111（1）至111（N）和112（1）至112（N）。N可以是等於或大於2的正整數。例如，聲音接收器111（1）被佈置在側框架102（左側框架）的（第二端），聲音接收器111（2）-111（5）等間隔地配置在前框架101的一部分（左側部分）的拐角處，聲音接收器112（1）配置在側框架103（右側框架）的（第二端），聲音接收器112（2）-112（5）等間隔地配置在前框架101的另一部分（右部分）的拐角處。值得一提的是，聲音接收器的配置僅用於圖示，實施例中聲音接收器的數量並不受到限制。在一些實施例中，根據實際需要，可以如圖1A中所示在每兩個聲音接收器之間添加一個或多個聲音接收器。在本實施例中，舉例來說，聲音接收器可以是接收(偵測)可穿戴式電子裝置10四周所產生的聲音的麥克風或其他類型的傳感器(transducers)。聲音接收器陣列的每個聲音接收器可以根據接收到的聲音產生音頻數據。
可穿戴式電子裝置10還包括控制器130和顯示器120，其中控制器包括處理器131和音頻圖像計算器132，並且控制器130耦合到顯示器120和聲音接收器陣列110。
在本實施例中，處理器131可以包括可穿戴式電子裝置10的中央處理單元（CPU），從而控制可穿戴式電子裝置10的整體操作。在某些實施例中，處理器131通過加載儲存在非暫時性電腦可讀記錄媒介（或其他儲存裝置/電路）中的軟體或韌體，並執行其軟體或韌體（例如，處理器131被程式化），以實行本實施例提供的操作方法。處理器131可以是或可以包括一個或多個可撰寫程式的通用或專用微處理器（General-purpose or Special-purpose Microprocessors，DSP），數字信號處理器（Digital Signal Processor，DSP），可撰寫程式的控制器，特殊應用積體電路（Application Specific Integrated Circuits，ASIC），可撰寫程式的邏輯器件（Programmable Logic Devices ，PLD）或者其他類似的裝置或組合。
在本實施例中，音頻圖像計算器132是以一個或多個演算法/方法(例如，波束成形Beamforming，到達角度（Angle of arrival, AoA），到達時間差（Time Difference of Arrival, TDOA），到達頻率差（Frequency difference of arrival, FDOA）或其他類似的相關的技術和演算法/方法)所程式化的電路或晶片，通過輸入根據聲音產生的音頻數據（或聲音信號）來計算與由聲音來源產生的聲音對應的到達方向（Direction of arrival, DOA）。例如，聲音接收器111（1）接收聲音，並相對應地產生接收到聲音的音頻數據。接下來，聲音接收器111（1）將音頻數據發送到控制器130的音頻圖像計算器132。將音頻數據輸入到音頻圖像計算器132，並將由聲音接收器111(1)接收的聲音所對應的到達方向，通過計算其操作而從音頻圖像計算器132輸出。音頻圖像計算器132可以將由聲音接收器111（1）接收的聲音對應的到達方向發送到處理器131。由聲音接收器111（1）接收的聲音對應的到達方向（DOA）可提供關於聲音來自方向的（與接收聲音的聲音接收器有關的）空間資訊。由DOA提供的空間資訊可以是正交坐標系（3D方向向量）中的方向向量。
顯示設備120包括一個或多個透明鏡片（例如鏡片121和鏡片122）。鏡片可以設置在前框架101的中空區域上。在本實施例中，佩戴者的視線可以穿過透明鏡片並且通過鏡片看到真實世界的場景（即，鏡片視野View-via-lens）。換句話說，佩戴者的視覺可通過鏡片捕捉到真實世界的場景。顯示裝置120被配置成以直接將視覺內容的圖像信號發送到鏡片的方式，在透明鏡片的顯示表面上繪製(Render)(亦可稱，算繪或算圖)出視覺內容，以使鏡片本身根據圖像信號來顯示視覺內容。舉例來說，鏡片可以是透明有機發光二極體（OLED）顯示面板，主動矩陣有機發光二極體（AMOLED）顯示面板，場序式液晶顯示器（FS-LCD）面板或薄膜電晶體液晶顯示器（TFT-LCD）面板。所述鏡片視野用以表示佩戴者通過鏡片所看到的所有視覺畫面（包括真實世界的場景以及被繪製在顯示表面上的視覺內容）。
在另一實施例中，顯示設備120可繪製(Render)出鏡片上的視覺內容，方式是以將視覺內容的圖像投射到包含可反射出投射的視覺內容圖像的透明反射層的鏡片顯示表面。
在一實施例中，鏡片可以包括，例如，電阻式觸摸傳感器(Resistive Touch Sensor)，電容式觸摸傳感器(Capacitive Touch Sensor)，和/或用來為偵測在鏡片上執行的觸摸操作（動作）的其他合適類型的觸摸傳感器。
參照圖2，在步驟S21中，通過電子裝置10的聲音接收器陣列110，聲音接收器陣列接收在電子裝置10周圍的聲音來源所發出的聲音。舉例來說，在圖3A中，揚聲器（其位在可穿戴式電子裝置10的周圍）發出聲音S1（輸出聲音S1），並且聲音接收器陣列（每個聲音接收器）偵測（接收）該聲音。接下來，在步驟S23中，聲音接收器陣列根據接收到的聲音產生多個音頻數據。具體來說，每個聲音接收器接收聲音S1，並根據所接收到其聲音壓力或其他音頻參數可能不同的聲音，產生音頻數據（也稱為音頻信號或聲音信號）。然後，聲音接收器陣列110可以將由不同的聲音接收器產生的多個音頻數據發送到控制器130。
在步驟S25中，控制器130對多個音頻數據執行分析以判斷聲音來源相對於電子裝置的相對方向，以及判斷聲音強度級別，並根據相對方向判斷聲音來源相對於電子裝置的相對位置。
具體來說，在本實施例中，音頻圖像計算器132分別對所接收的聲音，接收由聲音接收器111（1）至111（5）和112（1）至112（5）分別產生的多個音頻數據，並且音頻圖像計算器132可對每個音頻數據計算DOA，以分別獲得多個音頻數據對應的DOA數據（通過對音頻數據計算DOA而獲得DOA數據）。DOA數據包括了空間資訊，其中的方向向量可以表示出從聲音來源位置到提供DOA數據所對應的音頻數據的聲音接收器的位置的3D方向。
例如，音頻圖像計算器132對由麥克風111（1）接收的聲音S1（也被稱為聲音S1_111（1））產生的音頻數據（也被稱為音頻數據S1_111（1））執行DOA計算，然後通過計算DOA輸出DOA數據（也稱為DOA數據S1_111（1）或DOA數據111（1）_S1）。DOA數據S1_111（1）可以是從聲音S1的聲音來源301的位置開始到聲音接收器111（1）的位置的相對3D方向向量；DOA數據111（1）_S1可以是從聲音接收器111（1）的位置開始到聲音S1的聲音來源301的位置的相對3D方向向量。音頻圖像計算器132可以將計算出的多個DOA數據發送給處理器以用於進一步的分析。
處理器131可以分析與聲音所對應的多個DOA數據，以判斷聲音來源相對於可穿戴式電子裝置的相對方向（整體相對方向向量）。更詳細地說，處理器131可根據聲音對應的多個DOA數據，計算出聲音來源的位置與可穿戴式電子裝置的參考點的位置之間的相對方向。
此外，處理器131可以分析聲音所對應的多個DOA數據，以判斷聲音來源和可穿戴式電子裝置的相對位置（整體相對坐標）。更詳細地說，處理器131可根據對應於聲音的多個DOA數據，計算聲音來源的位置（坐標）與可穿戴式電子裝置的參考點的位置（坐標）之間的相對位置。
在本實施例中，處理器131可以分析多個音頻數據以判斷聲音強度級別。 進一步來說，只有在判斷的聲音強度大於強度閾值時，處理器131才會開始執行步驟S27，以防止聲音接收器陣列110因接收到的小背景噪音產生所對應的視覺內容。而且，在一實施例中，控制器130還包括音頻過濾器(Audio Filter)，音頻過濾器過濾音頻數據以防止所產生的音頻數據受到佩戴者的聲音和空間混疊(Spatial Aliasing)的影響。換句話說，聲音接收器陣列可以通過音頻過濾器消除佩戴者的聲音（不接收佩戴者的聲音）。
在一實施例中，使用音頻過濾器將聲音聚焦在想要的頻率段(Frequency Band)中。例如，語音音頻過濾器可聚焦1KHz到2KHz頻率的聲音。
在步驟S27中，根據相對方向、聲音強度級別以及相對位置，控制器130可產生與聲音對應的電腦生成視覺內容。具體而言，處理器131根據相對方向和相對位置來判斷（估計）是否聲音來源圖像可被佩戴者看到（即，判斷聲音來源圖像是否是通過鏡片位在佩戴者的視野內）來產生不同類型的電腦生成視覺內容（例如，第一電腦生成視覺內容和第二電腦生成視覺內容）。電腦生成視覺內容的大小或顏色可根據不同的聲音強度級別做調整。聲音強度的測量單位可以是，例如，「Pa」或「dB」。圖3A至3E和4A至4C將描述不同類型的電腦生成視覺內容的更多細節，。
接下來，在步驟S29中，顯示設備將與聲音對應電腦生成視覺內容繪製在顯示設備的透明鏡片上，其中，可穿戴式電子裝置的佩戴者從鏡片一側透過鏡片可看到鏡片視野(View-via-lens)。
具體來說，處理器131在產生與聲音對應的電腦生成視覺內容（圖像/影像）之後，將其發送到顯示設備120，並且顯示設備120將可代表聲音的電腦生成視覺內容繪製在鏡片上，使得通過佩戴者的視覺得以捕捉鏡片視野(View-via-lens)，其中鏡片視野(View-via-lens)包括鏡片上所顯示電腦生成視覺內容和佩戴者通過鏡片所看到的真實世界場景（即，佩戴者會看到在鏡片上所顯示電腦生成視覺內容以及位在鏡片前的現實世界的場景）。
參照圖3A，例如，假設佩戴者穿戴可穿戴式電子裝置10，電話302位於可穿戴式電子裝置前方的桌子300上，並且佩戴者看到電話302（通過鏡片121或鏡片122，電話302位在可見範圍）；發出聲音S1的揚聲器301位於可穿戴式電子裝置10的左側，而佩戴者不能看到揚聲器301（揚聲器301超過鏡片121或鏡片122的可見範圍）。
聲音接收器111（1）至111（5）和112（1）至112（5）接收聲音S1並產生多個音頻數據給控制器130。控制器130根據音頻數據的分析，判斷揚聲器301的位置P1和可穿戴式電子裝置10的參考點P2的相對方向D11以及相對位置。例如，如果可穿戴式電子裝置參考點P2的坐標是（0,0,0）時，揚聲器與可穿戴式電子裝置的相對位置的坐標就是位置P1的坐標。
在本實施例中，控制器130根據相對方向D11以及相對位置來判斷揚聲器301是否位於鏡片視野(View-via-lens)內。具體而言，如圖3C所示，處理器131，例如通過佩戴者的眼睛進行校準程序，可以判斷與鏡片視野(View-via-lens)VL1的邊界B1和B2對應的相對方向（在X-Y平面上）的第一範圍以及與鏡片視野(View-via-lens)VL1的邊界B3和B4對應的相對方向（在Y-Z平面上）的第二範圍。然後，處理器131可以通過判斷X-Y平面上的相對方向D11是否在第一範圍內來判斷揚聲器301的圖像是否在鏡片視野(View-via-lens)VL1內。在圖3A的情況下，相對方向D11被判斷為不在第一範圍內，並且處理器131判斷揚聲器301的圖像不在鏡片視野(View-via-lens)VL1中（判斷揚聲器301不在鏡片視野VL1）。即，處理器131判定配戴者不能透過鏡片看到揚聲器301。
此外，控制器130還根據相對方向來判斷聲音來源與可穿戴式電子裝置之間的對應方位角AD1。D1方向的對應方位角為零度。
例如，根據相對方向D11，控制器130可以通過識別位在以可穿戴式電子裝置10的參考點P2為中心的圓圈CM1與相對方向D11的相交點PS1，來判斷揚聲器301和可穿戴式電子裝置10之間的對應方位角AD1，並且根據點PS1判斷X-Y平面（2D平面）中的方位角AD1。方位角AD1用來表示來自X-Y平面的聲音S1的方向。
在本實施例中，如果根據相對方向和相對位置判斷聲音來源不在鏡片視野(View-via-lens)內，則控制器產生對應於聲音的第一電腦生成視覺內容，其指示出聲音強度級別和相對方向，並且顯示設備在鏡片上顯示此第一電腦生成視覺內容。
如圖3B所示，繼續圖3A中例子，揚聲器301被判斷出不在鏡片視野(View-via-lens)VL1內，並且處理器131可以產生與聲音S1對應的第一電腦生成視覺內容，其中第一電腦生成視覺內容可以是圓形圖案CP1以及多個片段（分別對應於圓形圖案的不同角度）的顏色是根據來自與多個片段對應的方向的聲音強度級別來判斷的。在下面的描述中，多個片段也可以被稱為多個區域。例如，揚聲器301（聲音來源）所對應的一區域PR1的中心被定為相對方向D11與其中心是為可穿戴式電子裝置10參考點位置P2的圓圈CM1的交點(Cross-point)，並且根據來自揚聲器301的聲音S1的聲音強度級別來判斷區域PR1的顏色。因為分別對應於PR2和PR1的多個片段的聲音強度級別不同，所以圓形圖案CP1的區域PR2（多個片段PR2）的顏色（第二顏色）與圓形圖案CP1的區域PR1（多個片段PR1）的顏色（第一顏色）不同。換句話說，處理器131將圓形圖案中的聲音來源（或聲音）對應區域（或者片段）的中心角A1相等於對應的方位角AD1，以設置相對於揚聲器的區域位置。因此，具有第一顏色（對應於第一聲音強度級別）和圓形圖案的第一角度的片段可表示為具有第一聲音強度級別的聲音，其來自於聲音來源的方位角與所述圓形圖案的第一角度相同的方向。在一實施例中，處理器131可以在圓形圖案CP1中添加與聲音對應的聲音標記PS1，並且聲音標記PS1的位置、顏色和/或尺寸可以根據音頻特性（例如，聲音強度級別、相對方向）判斷。如果偵測到多個聲音來源，則相對應地在圓形圖案CP1的特定區域（例如，PR1、PR2）處添加多個聲音標記（例如，PS1）。
在本實施例中，第一電腦生成視覺內容包括箭頭圖案，其中箭頭圖案的顏色或尺寸由控制器根據聲音強度級別來判斷，其中箭頭圖案的斜率是由控制器根據相對方向來判斷，其中箭頭圖案被繪製(is rendered)為指向鏡片視野(View-via-lens)的一側，所述一側由控制器判斷，並且所述一側與可穿戴式電子裝置關聯的聲音來源的一側相同。
例如，參照圖3C，假設鏡片視野(View-via-lens)VL1的現實世界場景表現出電話302在桌子300上，並且鏡片視野(View-via-lens)VL1還包括代表第一電腦生成視覺內容圖示化的箭頭圖案AP1，用於指示出鏡片視野(View-via-lens)VL1外部的聲音來源。
要注意的是，圖3C所繪示的實施例包括電腦生成視覺內容是用來表示來自各個方向的聲音，以三維方式表示出聲音成像。除了箭頭圖案AP1、AP2、AP3之外，圖3B中也繪示出的圓形圖案CP1。圓形圖案CP1表示出每個聲音來源相對於X-Y平面的方位角，而箭頭圖案AP1、AP2、AP3的斜率表示每個偵測到的聲音來源相對於X-Z平面的仰角（也稱為高度角Altitude Angle）。圓形圖案CP1上的點PS1、PS2、PS3分別對應於箭頭圖案AP1、AP2、AP3的尖端處的點PT1、PT2、PT3。換句話說，圓形圖案CP1和箭頭圖案AP1、AP2、AP3以三維方式顯示聲音成像。
具體而言，對於聲音S1的揚聲器301被判斷為不在鏡片視野(View-via-lens)VL1內，處理器131開始產生箭頭圖案AP1作為第一電腦生成視覺內容。首先，處理器131根據聲音S1的聲音強度級別（例如，較大的尺寸對應較大的聲音強度級別，或較深的顏色對應較大的聲音強度級別）來判斷箭頭圖案AP1的尺寸或顏色。接著，處理器131依據揚聲器301與可穿戴式電子裝置10的相對方向或相對位置來決定揚聲器301的一側，且所判斷的一側為箭頭圖案AP1在鏡片視野(View-via-lens)VL1上所指向的一側。
在一實施例中，處理器131根據揚聲器的相對方向（在Y-Z平面上）判斷箭頭圖案AP1的斜率，即相對於可穿戴式電子裝置的仰角。例如，箭頭圖案AP1的斜率為零，則表示揚聲器301具有與可穿戴式電子裝置相同高度。
在一實施例中，箭頭圖案所指向的點的位置和箭頭圖案的斜率可以有助於指示出對應的聲音所來自的方向。例如，箭頭圖案AP2指向高度位於左側中間以下的點PT2，這表示聲音來自位於比可穿戴式電子裝置的高度較低的聲音來源。而且，根據箭頭圖案AP2的斜率（根據位於箭頭圖案AP2的聲音來源與可穿戴式電子裝置之間所判斷的對應方位角來判斷），與箭頭圖案AP2對應的聲音來源是來自可穿戴式電子裝置的左下側（沿著箭頭圖案AP3的斜面延伸出去，可到達通過鏡片視野(View-via-lens)VL1的中心，並且可以取得方位角，其方位角表示出位於聲音來源和可穿戴式電子裝置之間的相對方位角）。在另一實施例中，箭頭圖案AP3指示出對應的聲音是來自可穿戴式電子裝置的右上側。箭頭圖案AP3的聲音來源的位置是在鏡片視野(View-via-lens)VL1的範圍之外（例如，在佩戴者的頭頂上的空間中，並且該空間是在視線之外）。
在本實施例中，第一電腦生成視覺內容還包括條狀圖案(Bar Pattern)，其類似於圓形圖案，控制器根據聲音強度級別判斷條狀圖案的顏色，並將條狀圖案繪製在靠近鏡片視野(View-via-lens)的一側，其由控制器判斷位於哪一側，並與相對於可穿戴式電子裝置的聲音來源位於同側。
圖3D是依據本發明的一實施例關於產生圖3A中音源的聲音所對應的另一個第一電腦產生的視覺內容的示意圖。
在本實施例中，可以由處理器131判斷並顯示佩戴者與聲音來源的高度關係。如圖3D所示，處理器131可通過根據X-Z平面上的相對方向D11判斷條狀圖案BP1中的高度H1來判斷用於表示聲音S1的聲音標記PS5的位置。在這種情況下，由於高度H1被判斷為與高度H2相同，所以用於表示聲音S1的聲音標記PS5的位置被判斷為位於條狀圖案BP1的中間。在另一範例中，如果聲音的高度被判斷為低於可穿戴式電子裝置的高度，則用於表示相對應聲音的片段的位置被判斷為位於條狀圖案的下部。進一步舉例，如果聲音的高度被判斷為高於可穿戴式電子裝置的高度，則用於表示相對應聲音片段的位置被判斷位於條狀圖案的上部。
在本實施例中，處理器131可以分別在鏡片視野(View-via-lens)VL2周圍的四個邊上產生四個條狀圖案。參照圖3E，揚聲器301被判斷為不在鏡片視野(View-via-lens)VL1內，並且處理器131可以顯示條狀圖案BP1，並且顯示作為與聲音S1對應的第一電腦生成視覺內容的聲音標記PS2。處理器131根據相對方向D11判斷揚聲器301的高度H1與可穿戴式電子裝置的參考點的高度H2相同，且較暗色片段被繪製在靠近鏡片視野(View-via-lens)VL2的左側的條狀圖案BP1的中間，可指示出聲音S1的揚聲器301是位於可穿戴式電子裝置的左側，並且揚聲器301的高度與可穿戴式電子裝置的高度相同。在另一個範例中，被繪製在靠近鏡片視野(View-via-lens)VL2的頂部的條狀圖案BP2處的兩個較暗色片段，可指示出兩個對應的聲音分別來自於該鏡片視野可穿戴式電子裝置的左上側和右上側。處理器131可以在條狀圖案（例如，聲音標記PS2、PS3和PS4）上添加對應的聲音標記。在一實施例中，條狀圖案BP3或BP4也可以分別顯示在鏡片視野(View-via-lens)VL2的左側和底部然而，本發明並非旨在限制條狀圖案的顯示方式，條狀圖案BP1、BP2、BP3或BP4可以僅在偵測到聲音來源時顯示或產生。
參照圖4A，類似於圖3A中的例子，假設發出聲音S2的電話機302在可穿戴式電子裝置前面的桌子300上，並且佩戴者可以看見電話機302和桌子300（例如，鏡片視野的現實世界場景表現出電話在桌子上）；沒有聲音的揚聲器301在可穿戴式電子裝置10的左側，並且揚聲器301不被佩戴者看到（揚聲器301超過從鏡片121或鏡片122觀看的視野範圍）。
聲音接收器111（1）至111（5）和112（1）至112（5）接收聲音S2，並且向控制器130產生與聲音S2對應的多個音頻數據。控制器130根據音頻數據的分析，判斷電話302的位置P3相對於可穿戴式電子裝置10的參考點P2的相對方向D31和相對位置。
在本實施例中，控制器130根據相對方向D31以及相對位置P3，判斷聲音S2的聲音來源（電話302）是否位於鏡片視野內。更詳細地說，如圖4A所示，處理器131根據相對方向D31以及參考點P2、141和142的相對位置，可計算位置P3以及對應於鏡片121的參考點141的相對方向D21，以及位置P3和對應於鏡片122的參考點142的相對方向D22。參考點141，舉例來說，可以是通過佩戴者的左眼的視覺所捕捉到的鏡片視野的位置；並且參考點142可以是通過佩戴者的右眼的視覺所捕捉到的鏡片視野的位置。在另一實施例中，參考點141、142可以被指定為分別對應於鏡片成像平面的位置。例如，鏡片121上所顯示的電腦生成視覺內容和通過鏡片121看到的真實世界場景可被捕捉在與鏡片121對應的成像平面上。
以左側鏡片121為例，與上述相似，處理器131判斷與對應於鏡片121和參考點141的鏡片視野的邊界B1和B2所對應的相對方向（在X-Y平面上）的第一範圍（水平範圍），以及對應於鏡片121的鏡片視野的B3和B4的相對方向（在Y-Z平面上）的第二範圍（垂直範圍）。接著，處理器131可以通過判斷X-Y平面上的相對方向D21是否在水平範圍內，或者通過判斷在正交坐標系上的垂直平面上的相對方向D21是否在垂直平面上，來判斷電話302的圖像是否在鏡片視野(View-via-lens)VL3內。在圖4A的情況下，相對方向D21被判斷為處於水平範圍內，並且處理器131判斷電話301的圖像位於對應於鏡片121的鏡片視野VL3中（電話302被判斷位於鏡片視野VL3內）。在一實施例中，處理器可以通過判斷電話302和可穿戴式電子裝置的相對位置是否處於虛擬觀看空間（對應於鏡片121）來確認/判斷電話302的圖像是否在鏡片視野VL3內，其中每個位置被判斷為在鏡片視野VL3（對應於鏡片121）內。
在本實施例中，如果聲音來源是根據相對方向和相對位置被判斷為位於鏡片視野(View-via-lens)內，則聲音對應的第二電腦生成視覺內容將會包括聲音來源圖案，其中，根據所述聲音強度級別判斷聲音來源圖案的顏色或尺寸，控制器根據對應於可穿戴式電子裝置的聲音的相對位置和相對方向判斷鏡片視野(View-via-lens)內與聲音來源對應的虛擬坐標，且顯示設備將第二電腦生成視覺內容繪製(Render)在鏡片的虛擬坐標上以在鏡片上顯示第二電腦生成視覺內容，使得第二電腦生成視覺內容被繪製在鏡片視野(View-via-lens)內的聲音來源的位置上。
例如，根據相對方向D21以及位置P3和參考點141的相對位置，處理器131可以計算鏡片121的鏡片視野(View-via-lens)VL3中的電話302對應的虛擬坐標。該虛擬坐標是相對方向D21從位置P3通過鏡片121到參考點141的虛擬點VP1的坐標（經由鏡片視野VL3被佩戴者的左眼視覺在參考點141上獲取）。換言之，虛擬點VP1代表鏡片121的鏡片視野(View-via-lens)VL3中的電話302的圖像的中心。鏡片121的鏡片視野中的電話302所對應的經判斷（經計算）的虛擬坐標，可用來在鏡片121上顯示與聲音S2對應的第二電腦生成視覺內容。同樣地，虛擬點VP2代表鏡片122的鏡片視野中的電話302的圖像的中心，以及對應的虛擬坐標用於在鏡片122上顯示與聲音S2對應的第二電腦生成視覺內容。
如圖4B所示，根據圖4A中例子，電話302現在被判斷為位在鏡片視野(View-via-lens)VL3內，並且處理器131可以產生對應於聲音S2的第二電腦生成視覺內容，其中第二電腦生成視覺內容可以是聲音來源圖案CP2。在本實施例中，聲音來源圖案可以是一個或多個圓形圖案，其顏色和/或尺寸可以根據聲音S2的聲音強度級別判斷。如圖4B所示，經由鏡片視野VL3的現實世界場景秀出在桌子300上的電話302，並且鏡片視野(View-via-lens)VL3還包括聲音來源圖案CP2（例如，圓形圖案CP2（1）、CP2（2）和CP2（3）），其被繪製在真實世界場景（在鏡片視野VL3中）中的電話302的圖像的位置上。在一實施例中，與聲音模式CP2對應的聲音的強度可以由聲音來源圖案CP2的圓形圖案的數量來表現出（越多的圓圈表示越大的聲音強度）。在另一實施例中，聲音圖案CP2對應的聲音強度可以根據預設的顏色表(Color Map)通過圓形圖案的顏色來表現出。
在本實施例中，所述預設的顏色表為Jet顏色表(Jet Colormap)，Jet顏色表中的多種顏色可以依次對應多個聲音強度範圍，以將聲音強度跟Jet顏色表對應。需要說明的地方是，本發明並不限於此，例如，在另一實施例中，預設的顏色表可以是任何合適的顏色表，如HSV顏色表，涼色系表(Cool Colormap)，灰色系表(Gray Colormap)，熱色系表(Hot Colormap)，線色表(Lines Colormap)等。
本發明不限定聲音來源圖案的形狀。例如，如圖4C所示，鏡片視野VL4包括分別具有不同顏色和尺寸的多個圓形區域CP3、CP4和CP5的聲音來源圖案。此外，在一實施例中，處理器131可以將分別對應於多個聲音來源圖案並混合為具有不規則形狀的聲音來源圖案，其中不同的著色區域表示不同的聲音強度。再者，如上所述，圓形區域CP3、CP4和CP5的顏色是根據預設的顏色表來決定。例如，當根據Jet顏色表來判斷的圓形區域CP3、CP4和CP5的顏色時，處理器131可以將聲音來源的聲音強度映射到Jet顏色表以判斷圓形區域CP3、CP4和CP5的顏色。
參照圖5A，背景圖像被繪示為可穿戴式電子裝置前面的真實世界的場景，並且場景與圖3A和3C所繪示的示範例類似。如圖5A所示，真實世界的場景511顯示，在可穿戴式電子裝置的前面，電話501位於佩戴者右前方的桌子601上，而揚聲器502位於佩戴者左前方的桌子602上。假定，電話和揚聲器502都發出聲音，並且真實世界的場景的一部分被捕捉為鏡片視野VL5中的真實世界場景。控制器130可以根據它們的聲音來判斷電話501和揚聲器502的相對位置P4和P5。此外，佩戴者可看到電話501和桌子601（電話501在通過鏡片121或鏡片122可見視野的範圍內）。
如圖5B所示，控制器130判斷聲音來源501在鏡片視野VL5內，而另一聲音來源502不在鏡片視野VL5內。並且，控制器130相對應地產生如圖5B所示的電腦生成視覺內容CP6和AP4。如上所述，這兩個電腦生成的內容提供可穿戴式電子裝置周圍聲音的資訊，一資訊來自鏡片視野內的來源，另一資訊來自不在鏡片視野內的來源。並且，第一電腦生成視覺內容CP6可表示出與第一電腦生成視覺內容CP6對應的聲音來源位於現實世界中的第一電腦生成視覺內容CP6的位置處。第二電腦生成視覺內容AP4可表示出對應於第二電腦生成視覺內容AP4的另一個聲音來源是位於真實世界中的可穿戴式電子裝置的左側。如果可穿戴式電子裝置轉向左，則可在不同於鏡片視野VL5的鏡片視野VL6中捕捉另一個聲音來源的圖像。
在圖5A中，假設真實世界的場景的另一部分被捕捉為鏡片視野VL6中的真實世界場景。控制器130可以根據它們的聲音來判斷電話501和揚聲器502的相對位置P4和P5。如圖5A所示，電話501和揚聲器502位在鏡片視野VL6內。
如圖5C所示，控制器130可以判斷兩聲音來源501和502在鏡片視野VL6內，並且控制器130相對應地產生第二電腦生成視覺內容CP6和CP7，如圖5C所示，其位置分別在P4和P5上。
綜上所述，本發明，所提供的可穿戴式電子裝置，其由電腦執行的操作方法以及電子系統能夠接收由附近聲音來源產生的聲音，分析與接收到的聲音對應的音頻數據，並且相對應地產生並顯示與接收到的聲音對應的音頻圖像，以透過顯示在鏡片視野(View-via-lens)上的音頻圖像（電腦生成視覺內容）或捕捉的圖像來通知聲音的強度和聲音的相對方向/位置。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10‧‧‧可穿戴式電子裝置
101‧‧‧前框架
102、103‧‧‧側框架
110‧‧‧聲音接收器陣列
111(1)-(5)、112(1)-(5)‧‧‧聲音接收器
120‧‧‧顯示器
121、122‧‧‧鏡片
130‧‧‧控制器
131‧‧‧處理器
132‧‧‧音頻圖像計算器
141‧‧‧121的參考點
142‧‧‧122的參考點
S21~S29‧‧‧步驟
300、601、602‧‧‧桌子
301、502‧‧‧揚聲器
302、501‧‧‧電話
A1‧‧‧中心角
AD1‧‧‧聲音來源與可穿戴式電子裝置之間的對應方位角
AP1-AP4箭頭圖案，用於指示出鏡片視野外部的聲音來源
B1-B4‧‧‧鏡片視野的邊界
BP1- BP4‧‧‧條狀圖案
CM1‧‧‧圓圈
CP1‧‧‧圓形圖案
CP2‧‧‧聲音來源圖案
CP2(1)-CP2(3)‧‧‧聲音來源圖案CP2之中的圓形圖案
CP3-CP5‧‧‧不同顏色和尺寸的多個圓形區域
CP6、CP7‧‧‧第二電腦生成視覺內容
D1‧‧‧方向
D11‧‧‧P1相對於P2的相對方向
D21‧‧‧P3相對於141的相對方向
D22‧‧‧P3相對於142的相對方向
D31‧‧‧P3相對於P2的相對方向
H1‧‧‧揚聲器的高度
H2‧‧‧可穿戴式電子裝置參考點的高度
P1‧‧‧揚聲器的位置
P2‧‧‧可穿戴式電子裝置的參考點
P3‧‧‧電話的位置
P4‧‧‧控制器根據聲音所判斷電話相對位置
P5‧‧‧控制器根據聲音所判斷揚聲器相對位置
PR1、PR2‧‧‧圓形圖案的特定區域
PS1-PS5聲音標記
PT1-PT3‧‧‧箭頭圖案的尖端處的點
S1、S2‧‧‧聲音
VL1-VL6‧‧‧鏡片視野
VP1‧‧‧通過鏡片121到參考點141的虛擬點
VP2‧‧‧通過鏡片122到參考點142的虛擬點
X‧‧‧X坐標軸（也稱為X方向）
Y‧‧‧Y坐標軸（也稱為Y方向）
Z‧‧‧Z坐標軸（也稱為Z方向）
圖1A是依照本發明實施例的一種可穿戴式電子裝置的示意圖。 圖1B是依照本發明實施例的一種可穿戴式電子裝置的方塊圖。 圖2是依照本發明實施例的電腦執行操作方法的流程圖。 圖3A是依照本發明實施例的鏡片視野之外的聲音來源俯視圖。 圖3B是依照本發明實施例關於對應於圖3A中聲音來源的聲音所產生的第一電腦視覺內容的示意圖。 圖3C是依照本發明實施例的具有第一電腦視覺內容的鏡片視野(View-via-lens)的示意圖。 圖3D是依照本發明實施例關於對應於圖3A中聲音來源的聲音所產生的另一個第一電腦視覺內容的示意圖。 圖3E是依照本發明實施例的具有第一電腦視覺內容的鏡片視野(View-via-lens)的示意圖。 圖4A是依照本發明實施例的鏡片視野之內的聲音來源俯視圖。 圖4B是依照本發明實施例的具有第二電腦視覺內容的鏡片視野(View-via-lens)的示意圖。 圖4C是依照本發明實施例的具有第二電腦視覺內容的鏡片視野(View-via-lens)的示意圖。 圖5A是依照本發明實施例的真實世界場景的示意圖。 圖5B是依照本發明實施例的具有電腦生成視覺內容和分別對應於不同聲音的第二電腦視覺內容的鏡片視野(View-via-lens)的示意圖。 圖5C是依照本發明實施例的具有分別對應於不同聲音的第二電腦視覺內容的鏡片視野(View-via-lens)的示意圖。

Claims (16)

  1. 一種可穿戴式電子裝置，包括： 一前框架； 一側框架； 一透明鏡片，包含一顯示表面，設置在所述前框架上，具有從所述透明鏡片的一側觀看的一鏡片視野； 一聲音接收器陣列，設置在所述前框架和所述側框架上，接收周圍區域的聲音，並根據接收到的所述聲音產生多個音頻數據；以及 一控制器，耦接到所述透明鏡片和所述聲音接收器陣列，配置為分析所述音頻數據以判斷相對於所述可穿戴式電子裝置的一聲音來源的一相對位置，基於至少部分所述相對位置來產生代表所述聲音的一視覺內容，並將所述視覺內容顯示於所述透明鏡片的所述顯示表面上以與所述鏡片視野重疊。
  2. 如申請專利範圍第1項所述的可穿戴式電子裝置，其中所述控制器進一步配置為產生代表具有大於一強度閾值的一聲音強度級別的所述聲音的所述視覺內容。
  3. 如申請專利範圍第1項所述的可穿戴式電子裝置，其中所述控制器進一步配置為使用一音頻過濾器來防止所產生的所述音頻數據受到一佩戴者的一聲音和一空間混疊的影響。
  4. 如申請專利範圍第1項所述的可穿戴式電子裝置，其中在所述聲音接收器陣列中的多個第一聲音接收器分佈在所述透明鏡片周圍的所述前框架上，以及所述聲音接收器陣列中的多個第二聲音接收器分佈在所述側框架上。
  5. 如申請專利範圍第1項所述的可穿戴式電子裝置，其中當所述聲音來源根據所述相對位置被判斷不在所述鏡片視野內時，所述控制器產生能指示出所述聲音和一相對方向的一聲音強度級別的一第一視覺內容，並將所述第一視覺內容顯示在所述透明鏡片的所述顯示表面， 其中，當所述聲音來源根據所述相對位置被判斷位於所述鏡片視野內時，所述控制器產生能指示出所述聲音的所述聲音強度級別的一第二視覺內容，並透過將所述第二視覺內容繪製在所述鏡片視野中的所述聲音來源的一位置，將所述第二視覺內容顯示在所述透明鏡片的所述顯示表面上。
  6. 如申請專利範圍第5項所述的可穿戴式電子裝置，其中代表所述聲音的所述第一視覺內容包括： 一箭頭圖案，具有根據所述聲音的所述聲音強度級別而判斷的一顏色和/或一尺寸，並且根據所述相對位置而判斷的所述箭頭圖案的一斜率， 其中所述箭頭圖案被繪製為指向所述鏡片視野的一側，指示出相對於所述可穿戴式電子裝置的所述聲音來源的一位置。
  7. 如申請專利範圍第5項所述的可穿戴式電子裝置，其中，當所述聲音來源被判斷不在所述鏡片視野內時，代表所述聲音的所述第一視覺內容包括： 一圓形圖案，其中對應於所述圓形圖案的多個不同角度的多個部分中的一第一部分是為對應於所述聲音， 其中根據所述聲音的所述聲音強度級別判斷所述第一部分的一顏色， 其中所述圓形圖案的所述第一部分的一角度表示出位於所述聲音來源與所述可穿戴式電子裝置之間的一對應方位角。
  8. 如申請專利範圍第5項所述的可穿戴式電子裝置，其中，當所述聲音來源被判斷位在所述鏡片視野內時，對應於所述聲音的所述第二視覺內容包括： 一聲音來源圖案，具有根據所述聲音的所述聲音強度級別而判斷的一顏色和/或一尺寸， 其中，所述控制器根據所述聲音來源的所述相對位置判斷所述鏡片視野內的所述聲音來源的一虛擬坐標， 其中所述控制器基於所述虛擬坐標在所述透明鏡片的所述顯示表面上繪製所述第二視覺內容，其中所述第二視覺內容被繪製在所述鏡片視野內的所述聲音來源的一位置。
  9. 一種電腦所執行的操作方法，適用於具有一控制器、一聲音接收器陣列和具有一顯示表面的一透明鏡片的一電子裝置，包括： 由所述聲音接收器陣列接收所述電子裝置一周圍區域中的一聲音來源發出的一聲音，並根據接收到的所述聲音產生多個音頻數據； 由所述控制器分析多個所述音頻數據以判斷相對於所述電子裝置的所述聲音來源的一相對位置； 由所述控制器基於至少部分所述相對位置來產生代表所述聲音的一視覺內容；以及 將代表所述聲音所產生的所述視覺內容繪製在從所述透明鏡片的一側觀看具有一鏡片視野的所述透明鏡片的所述顯示表面上，其中所述視覺內容被繪製在所述鏡片視野之上。
  10. 如申請專利範圍第9項所述的電腦執行操作方法，其中，產生代表所述聲音的所述視覺內容的步驟包括：由所述控制器產生能代表具有大於一強度閾值的一聲音強度級別的所述聲音的所述視覺內容。
  11. 如申請專利範圍第9項所述的電腦執行操作方法，其中，產生代表所述聲音的所述視覺內容的步驟包括：由所述控制器使用一音頻過濾器來防止所產生的所述音頻數據受到一佩戴者的一聲音和一空間混疊的影響。
  12. 如申請專利範圍第9項所述的電腦執行操作方法，其中，當所述聲音來源根據所述相對位置被判斷不在所述鏡片視野內時，產生代表所述聲音的所述電腦生成視覺內容的步驟包括： 由所述控制器產生代表所述聲音並能指示出所述聲音和一相對方向的一聲音強度級別的一第一視覺內容，其中，將代表所述聲音的所述視覺內容繪製在所述透明鏡片的所述顯示表面上的步驟包括： 將不在所述鏡片視野內的所述聲音來源的所述聲音的所述第一視覺內容繪製在所述透明鏡片的所述顯示表面上。
  13. 如申請專利範圍第12項所述的電腦執行操作方法，其中，代表所述聲音的所述第一視覺內容包括：一箭頭圖案，具有根據所述聲音的所述聲音強度級別而判斷的一顏色和/或一尺寸，並且根據所述相對位置而判斷的所述箭頭圖案的一斜率，其中所述箭頭圖案被繪製為指向所述鏡片視野的一側，表示出相對於所述電子裝置的所述聲音來源的一位置。
  14. 如申請專利範圍第12項所述的電腦執行操作方法，其中，代表所述聲音的所述第一視覺內容包括：一圓形圖案，其中對應於所述圓形圖案的多個不同角度的多個部分中的一第一部分是為對應於所述聲音， 其中由所述控制器根據所述聲音的所述聲音強度級別判斷所述第一部分的一顏色， 其中所述圓形圖案的所述第一部分的一角度指示出位於所述聲音來源與所述可穿戴式電子裝置之間的一對應方位角。
  15. 如申請專利範圍第9項所述的電腦執行操作方法，其中，根據分析結果，當所述聲音來源被判斷位在所述鏡片視野內時，產生代表所述聲音的所述視覺內容的步驟包括： 由所述控制器產生代表被判斷位於所述鏡片視野內所述聲音的一第二視覺內容，其中，將所述產生的代表所述聲音的所產生的所述視覺內容繪製在所述透明鏡片的所述顯示表面上的步驟包括： 將位在所述鏡片視野中的所述聲音來源的一位置的所述透明鏡片的所述顯示表面上的所述第二視覺內容進行繪製。
  16. 如申請專利範圍第15項所述的電腦執行操作方法，其中，代表所述聲音的所述第二視覺內容包括所述聲音來源圖案，具有根據所述聲音的所述聲音強度級別而判斷的一顏色和/或一尺寸，其中將所述透明鏡片上代表所述聲音的所產生的所述視覺內容繪製的步驟包括： 由所述控制器根據所述聲音來源的所述相對位置，判斷所述鏡片視野內的對應所述聲音來源的一虛擬坐標； 以及 將所述透明鏡片的所述顯示表面上的所述聲音來源圖案繪製在所述透明鏡片的所述虛擬坐標，其中所述第二視覺內容與所述鏡片視野中的所述聲音來源重疊。
TW107107116A 2018-01-05 2018-03-02 用於音頻成像的可穿戴式電子裝置及其操作方法 TWI667650B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/862,647 2018-01-05
US15/862,647 US10088868B1 (en) 2018-01-05 2018-01-05 Portable electronic device for acustic imaging and operating method for the same

Publications (2)

Publication Number Publication Date
TWI667650B TWI667650B (zh) 2019-08-01
TW201931354A true TW201931354A (zh) 2019-08-01

Family

ID=63639422

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107107116A TWI667650B (zh) 2018-01-05 2018-03-02 用於音頻成像的可穿戴式電子裝置及其操作方法

Country Status (2)

Country Link
US (1) US10088868B1 (zh)
TW (1) TWI667650B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI782700B (zh) * 2021-09-10 2022-11-01 宏達國際電子股份有限公司 頭戴式顯示裝置及其定位裝置
WO2023011063A1 (zh) * 2021-08-05 2023-02-09 腾讯科技（深圳）有限公司 虚拟世界中的声音提示方法、装置、设备及存储介质
US11740322B2 (en) 2021-09-10 2023-08-29 Htc Corporation Head mounted display device and position device thereof

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6788272B2 (ja) * 2017-02-21 2020-11-25 オンフューチャー株式会社 音源の検出方法及びその検出装置
US10154364B1 (en) 2018-09-09 2018-12-11 Philip Scott Lyren Moving an emoji to move a location of binaural sound
US10499179B1 (en) 2019-01-01 2019-12-03 Philip Scott Lyren Displaying emojis for binaural sound
KR102227489B1 (ko) * 2019-07-10 2021-03-15 김영언 음원 시각화 장치 및 방법
CN112423190A (zh) 2019-08-20 2021-02-26 苹果公司 用于头戴式设备的基于音频的反馈
CN115620742B (zh) * 2022-12-01 2023-03-31 杭州兆华电子股份有限公司 一种应用于声学成像的自动选频方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130147686A1 (en) * 2011-12-12 2013-06-13 John Clavin Connecting Head Mounted Displays To External Displays And Other Communication Networks
US8810600B2 (en) * 2012-01-23 2014-08-19 Microsoft Corporation Wearable display device calibration
TWI593388B (zh) * 2016-01-22 2017-08-01 chang-an Zhou Glasses physiological activity sensors and devices
TWM555001U (zh) * 2017-10-18 2018-02-01 華碩電腦股份有限公司 類全息影像顯示系統、提供類全息影像之飛行載具以及穿戴裝置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023011063A1 (zh) * 2021-08-05 2023-02-09 腾讯科技（深圳）有限公司 虚拟世界中的声音提示方法、装置、设备及存储介质
TWI782700B (zh) * 2021-09-10 2022-11-01 宏達國際電子股份有限公司 頭戴式顯示裝置及其定位裝置
US11740322B2 (en) 2021-09-10 2023-08-29 Htc Corporation Head mounted display device and position device thereof

Also Published As

Publication number Publication date
US10088868B1 (en) 2018-10-02
TWI667650B (zh) 2019-08-01

Similar Documents

Publication Publication Date Title
TWI667650B (zh) 用於音頻成像的可穿戴式電子裝置及其操作方法
US20230267900A1 (en) Computer vision and mapping for audio applications
US8881059B2 (en) Object control device, object control method, computer-readable recording medium, and integrated circuit
JP6747504B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6017664B1 (ja) 情報処理方法及び情報処理プログラム
JPWO2016203792A1 (ja) 情報処理装置、情報処理方法及びプログラム
US11302077B2 (en) Augmented reality guidance that generates guidance markers
US11089427B1 (en) Immersive augmented reality experiences using spatial audio
KR20220086706A (ko) 가상 이미지 생성 시스템에서 텍스트를 더 효율적으로 디스플레이하기 위한 기법
EP4172733A1 (en) Augmented reality eyewear 3d painting
US11741679B2 (en) Augmented reality environment enhancement
WO2019069536A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2022005698A1 (en) Visual-inertial tracking using rolling shutter cameras
EP4172681A1 (en) Augmented reality eyewear with 3d costumes
US20210406542A1 (en) Augmented reality eyewear with mood sharing
US20230326154A1 (en) XR Preferred Movement Along Planes
US20230367118A1 (en) Augmented reality gaming using virtual eyewear beams
CN108594988A (zh) 用于音频成像的可穿戴式电子装置及其操作方法
JP7439243B2 (ja) 視聴者同期の照明検知
US20230168522A1 (en) Eyewear with direction of sound arrival detection
JP2017120619A (ja) 情報処理方法及び情報処理プログラム