TWI507047B - 麥克風控制系統及方法 - Google Patents
麥克風控制系統及方法 Download PDFInfo
- Publication number
- TWI507047B TWI507047B TW099128174A TW99128174A TWI507047B TW I507047 B TWI507047 B TW I507047B TW 099128174 A TW099128174 A TW 099128174A TW 99128174 A TW99128174 A TW 99128174A TW I507047 B TWI507047 B TW I507047B
- Authority
- TW
- Taiwan
- Prior art keywords
- microphone
- scene image
- preset
- user
- face
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 21
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000010365 information processing Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000003321 amplification Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/02—Heads
- F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
- F16M11/043—Allowing translations
- F16M11/048—Allowing translations adapted to forward-backward translation movement
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/02—Heads
- F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
- F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
- F16M11/10—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a horizontal axis
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/02—Heads
- F16M11/18—Heads with mechanism for moving the apparatus relatively to the stand
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
- F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
- F16M11/20—Undercarriages with or without wheels
- F16M11/24—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other
- F16M11/26—Undercarriages with or without wheels changeable in height or length of legs, also for transport only, e.g. by means of tubes screwed into each other by telescoping, with or without folding
- F16M11/28—Undercarriages for supports with one single telescoping pillar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本發明涉及一種麥克風控制系統及方法。
麥克風是一種將聲音轉換成電子訊號的能量轉換器，其基本原理為當麥克風的聲音振膜經過聲音的震動以後，將聲音震動轉變成電子訊號，電子訊號經過擴大器放大，再送到喇叭就成為原來的聲音。
目前，麥克風在使用過程中沒有結合影像偵測技術，無法自動偵測使用者的面部及口部位置，並按使用者身高自行調整至最佳收音位置及角度，使用者只能在使用前自行動手調整麥克風的高度與角度位置。然而，大部分的活動流程中總會有多位致詞者或表演者，即使活動前已請專業音效師事先設置好麥克風位置，卻往往因為每位致詞者或表演者的身高不盡相同而導致收音效果不一樣。若每位致詞者在致詞前皆重新調整麥克風高度與角度位置，除了會影響演說情緒及表演品質，也可能導致活動時間拖延而不易管控，另外使用者自行調整後的麥克風收音與擴音效果也不能夠達到最佳效果。
鑒於以上內容，有必要提出一種麥克風控制系統及方法，能夠自動調整麥克風高度及與用戶的距離，將麥克風調整至最佳收音位置。
一種麥克風控制系統，包括麥克風、時間飛行（Time of Flight，TOF）攝像機、制動單元、儲存器及處理器。麥克風與制動單元相連接，TOF攝像機、制動單元及儲存器分別與處理器相連接。TOF攝像機持續拍攝麥克風前方場景得到場景影像，處理器對場景影像進行分析偵測3D人臉區域，根據儲存器預先儲存的當麥克風調整到最佳的收音位置時，3D人臉區域在場景影像中所佔第一比例、確定3D人臉區域口部位置的第二比例及3D人臉中口部位置在場景影像中的位置資訊，控制制動單元自動調整麥克風與用戶的距離及麥克風的高度，將麥克風調整到最佳的收音位置，達到最好的收音效果。
一種麥克風控制方法，該方法包括以下步驟：（a）利用TOF攝像機拍攝麥克風前方的場景，得到場景影像；（b）利用處理器將當前場景影像中各點到鏡頭的距離轉換為像素值儲存至當前場景影像的特徵矩陣；（c）利用處理器將當前場景影像的特徵矩陣中各點的像素值與三維人臉範本中相應特徵點的像素值的容許範圍進行比較，判斷當前場景影像是否存在某一區域、該區域有滿足第一預設數目的特徵點的像素值落入三維人臉範本中相應特徵點的像素值的容許範圍，以偵測該場景影像中的三維人臉區域從場景影像中偵測三維人臉區域；（d）利用處理器判斷三維人臉區域在場景影像中所佔比例是否等於第一預設比例，若不等於第一預設比例，則執行步驟（e）後返回步驟（a），若等於第一預設比例，則執行步驟（f）；（e）利用處理器下達第一控制指令至制動單元以調整麥克風與用戶的距離；（f）利用處理器根據第二預設比例在三維人臉區域中確定用戶的口部位置；及（g）利用處理器判斷口部位置是否在場景影像中的預設位置，當口部位置在場景影像中的預設位置時，結束流程，當口部位置不在場景影像中的預設位置時，下達第二控制指令至制動單元以調整麥克風的高度並返回步驟（a）。
相較於習知技術，本發明所提供之麥克風控制系統及方法能夠根據使用者面部及口部位置自動調整麥克風的高度及用戶的距離，將麥克風調整至最佳收音位置，使得麥克風能夠擷取到使用者最清晰的聲音。使用者無需以手動方式調整麥克風位置，不僅能夠更精確掌控活動流程與時間，也可以讓麥克風即時達到最佳的收音效果。
參閱圖1所示，係本發明麥克風控制系統100較佳實施例之硬體架構圖。在本實施例中，該麥克風控制系統100包括麥克風10、時間飛行（Time of Flight，TOF）攝像機20、制動單元30、控制器40、儲存器50及處理器60。麥克風10與制動單元30相連接，TOF攝像機20、制動單元30、控制器40及儲存器50分別與處理器60相連接。
參閱圖10所示，該麥克風控制系統100安裝在一個麥克風支架1上，並且TOF攝像機20始終和麥克風10位於同一水準位置。
TOF攝像機20包括鏡頭21和影像感測器22，影像感測器22透過鏡頭21對被拍攝物體進行聚焦。該影像感測器22可以為電荷耦合裝置（charged coupled device，CCD）或互補金屬氧化物半導體（complementary metal oxide semiconductor，CMOS）。
該TOF攝像機20可以獲取場景影像（如圖6及圖7所示）中被拍攝物體的景深資訊。所述被拍攝物體的景深資訊是指被拍攝物體各點與鏡頭21的距離資訊。由於TOF攝像機20在拍攝目標物時，將發射一定波長的訊號，當訊號遇到目標物時即會反射至TOF攝像機20的鏡頭21，根據訊號發射與接收之間的時間差即可計算出目標物上各點與鏡頭21之間的距離資訊，因此該TOF攝像機20可得到場景影像中被拍攝物體各點與鏡頭21之間的距離資訊。
儲存器50用於儲存TOF攝像機20預先拍攝的大量三維（Three-Dimensional，3D）人臉影像。
在本實施例中，所述的處理器60為一種可程式化晶片，其包括一系列模組化的程式化代碼（參閱圖3所示），處理器60執行該程式化代碼，提供麥克風控制系統100的下述功能。
參閱圖2所示，麥克風控制系統100包括兩種工作模式：自動（Auto）模式11及重新設置（Reset）模式12。用戶在使用麥克風控制系統100時可以按下控制器40上的Auto按鈕41選擇Auto模式11，或按下控制器40上的Reset按鈕42選擇Reset模式12。
當用戶選擇Auto模式11時，TOF攝像機20持續拍攝麥克風10前方場景得到場景影像，處理器60對場景影像進行分析偵測3D人臉區域，根據儲存器50預先儲存的當麥克風10調整到最好的收音位置時，3D人臉區域在場景影像中所佔比例及3D人臉中口部位置在場景影像中的位置，控制制動單元30自動調整麥克風10與用戶的距離及麥克風10的高度，將麥克風10調整到最好的收音位置，達到最好的收音效果。
當用戶選擇Reset模式12時，可以按住Reset按鈕42不放，直到用戶將臉部移動至麥克風10前方認為最好的收音位置放開Reset按鈕42，TOF攝像機20拍攝包括用戶臉部的場景影像，處理器60分析用戶臉部區域在該場景影像中所佔比例及口部位置在場景影像中的位置，並將該比例資訊及位置資訊暫存至儲存器50。之後，在用戶在Reset模式12使用麥克風10時，處理器60根據該暫存的比例資訊及位置資訊控制制動單元30自動調整麥克風10與用戶的距離及麥克風的高度，將麥克風10調整到用戶認為最好的收音位置。當用戶結束Reset模式12，例如按下Auto按鈕41，處理器60清空儲存器50中暫存的比例資訊及位置資訊。
參閱圖3所示，係圖1中處理器60和儲存器50之功能模組圖。
儲存器50儲存有預設標準51及3D人臉資料52。3D人臉資料52包括搜集的TOF攝像機20之前拍攝的大量的3D人臉影像。預設標準51包括3D人臉影像中各特徵點像素值的容許範圍，處理器60根據該容許範圍在場景影像中偵測3D人臉區域。該預設標準51還包括當麥克風10處於最好的收音位置時，TOF攝像機20拍攝得到的場景影像中3D人臉區域在場景影像中所佔的比例（以下稱作第一比例）（例如25%），用於確定3D人臉中口部位置的第二比例（例如1/3），以及口部位置在場景影像中的預設位置（例如口部位置是否與場景影像的中心線重合）。該預設標準51可以是應用於麥克風10的Auto模式11的出廠預先值，也可以是Reset模式12下用戶將臉部移動至麥克風10前方認為最好的收音位置時，處理器60分析TOF攝像機20拍攝的包括用戶臉部的場景影像計算得到的。
參閱圖3所示，在本實施例中，該處理器60包括3D人臉範本建立模組61、影像資訊處理模組62、3D人臉識別模組63及控制模組64。
3D人臉範本建立模組61根據儲存器50儲存的3D人臉影像中各點與鏡頭21之間的距離資訊建立3D人臉範本，用於儲存3D人臉影像中各特徵點的像素值的容許範圍，具體介紹如下：
分析儲存器50中儲存的每張3D人臉影像，得到該3D人臉影像中面部輪廓上各特徵點（例如雙眼、鼻尖、眉心、嘴唇、眉毛等）至鏡頭21的距離資料，並將該距離資料轉換為像素值（取值範圍為0~255）儲存至該3D人臉影像的特徵矩陣。3D人臉範本建立模組61還用於對所有3D人臉影像的特徵矩陣根據設定的一個或多個特徵點（例如雙眼）進行對齊後，對所有特徵矩陣中相同特徵點的像素值進行逐點統計，得到3D人臉影像中各特徵點的像素值的容許範圍組成的3D人臉範本。
例如，3D人臉範本建立模組61分析一張3D人臉影像的200個特徵點，得到各特徵點至鏡頭21的距離資料並轉換為像素值，例如鼻尖至鏡頭21的Z方向的距離為61毫米被轉換為像素值255，眉心至鏡頭21的Z方向的距離為59毫米被轉換為像素值253，等等。3D人臉範本建立模組61將該200個特徵點的像素值儲存至該3D人臉影像的特徵矩陣。假設3D人臉影像一共有10張，3D人臉範本建立模組61依此方法計算得到其他9張3D人臉影像的特徵矩陣，將得到的10個特徵矩陣依據雙眼的像素值進行對齊後，對該10個特徵矩陣中相同特徵點的像素值進行統計，得到各特徵點的像素值的容許範圍。例如，該10個特徵矩陣中鼻尖的像素值範圍為[251，255]，眉心的像素值範圍為[250，254]。
影像資訊處理模組62獲取TOF攝像機20拍攝的場景影像，將該場景影像中各點到鏡頭21的距離轉換為像素值儲存至該場景影像的特徵矩陣。
3D人臉識別模組63將該場景影像的特徵矩陣中各點的像素值與3D人臉範本中相應特徵點的像素值的容許範圍進行比較，判斷該場景影像是否存在某一區域、該區域有滿足第一預設數目的特徵點的像素值落入3D人臉範本中相應特徵點的像素值的容許範圍，以偵測該場景影像中是否有3D人臉區域。例如，假設場景影像的特徵矩陣為一個800*600矩陣，而3D人臉範本的特徵矩陣為一個100*100矩陣，亦即該3D人臉範本儲存了100*100特徵點的像素值的容許範圍，第一預設數目為大於或等於3D人臉範本所儲存的特徵點的數目的80%。則3D人臉識別模組63在場景影像的特徵矩陣中每次讀取100*100個特徵點，並將該100*100個特徵點的像素值分別與3D人臉範本中相應特徵點的像素值的容許範圍進行比較，若該100*100個特徵點中至少有80%的特徵點的像素值落入3D人臉範本中相應特徵點的像素值的容許範圍，則3D人臉識別模組63判斷該100*100個特徵點對應的區域為3D人臉區域。
控制模組64用於判斷3D人臉區域在場景影像中所佔比例是否等於第一預設比例（例如25%）。若3D人臉區域在場景影像中所佔比例不等於第一預設比例，則控制模組64下達第一控制指令至制動單元30調整麥克風10與用戶的距離，直到在TOF攝像機20拍攝的場景影像中，3D人臉區域在場景影像中所佔比例等於第一預設比例。
3D人臉識別模組63還用於根據第二預設比例（例如1/3）在3D人臉區域中確定口部位置。控制模組64還用於判斷口部位置在場景影像中的預設位置，例如口部位置是否與場景影像的中心線重合。若口部位置不在場景影像中的預設位置，則控制模組64下達第二控制指令至制動單元30調整麥克風10的高度，直到口部位置處於場景影像中的預設位置。
參閱圖4所示，係本發明麥克風控制方法較佳實施例之流程圖。
步驟S31，TOF攝像機20拍攝麥克風10前方的場景，得到場景影像（如圖6所示）。
步驟S32，3D人臉識別模組63從場景影像中偵測3D人臉區域（具體介紹請參閱圖5）。
步驟S33，控制模組64判斷3D人臉區域在場景影像中所佔比例是否等於第一預設比例（例如25%）。該第一比例可以是應用於麥克風10的Auto模式11的出廠預先值，也可以是Reset模式12下用戶將臉部移動至麥克風10前方認為最好的收音位置時，處理器60分析TOF攝像機20拍攝的包括用戶臉部的場景影像計算得到的。3D人臉區域在場景影像中所佔比例可以根據3D人臉區域的面積及場景影像計算得到。在本實施例中，3D人臉區域的面積等於包圍3D人臉區域的最小長方形的面積。若控制模組64判斷3D人臉區域在場景影像中所佔比例小於或等於第一預設比例，例如架設圖6中3D人臉區域在場景影像中所佔比例為10%，則表明麥克風10與用戶的距離過遠或過近，需要進行調整，流程進入步驟S34。
步驟S34，控制模組64下達第一控制指令至制動單元30調整麥克風10與用戶的距離，之後，流程返回步驟S31，直到在TOF攝像機20拍攝的場景影像中，3D人臉區域在場景影像中所佔比例等於第一預設比例（如圖7所示）。
若在步驟S33，控制模組64判斷3D人臉區域在場景影像中所佔比例等於第一預設比例，則流程進入步驟S35，3D人臉識別模組63根據第二預設比例在3D人臉區域中確定口部位置。例如，若該第二預設比例為1/3，則3D人臉識別模組63以3D人臉區域下方1/3處為用戶口部位置（如圖8所示）。該第二比例可以是應用於麥克風10的Auto模式11的出廠預先值，也可以是Reset模式12下用戶將臉部移動至麥克風10前方認為最好的收音位置時，處理器60分析TOF攝像機20拍攝的包括用戶臉部的場景影像計算得到的。
步驟S36，控制模組64判斷口部位置在場景影像中的預設位置，例如口部位置是否與場景影像中心線重合。該預設位置可以是應用於麥克風10的Auto模式11的出廠預先值，也可以是Reset模式12下用戶將臉部移動至麥克風10前方認為最好的收音位置時，處理器60分析TOF攝像機20拍攝的包括用戶臉部的場景影像計算得到的。若口部位置在場景影像中的預設位置，則流程結束。若口部位置不在場景影像中的預設位置，則流程進入步驟S37，控制模組64下達第二控制指令至制動單元30調整麥克風的高度，之後，流程返回步驟S31，直到在TOF攝像機20拍攝的場景影像中，用戶口部位置處於場景影像中的預設位置（如圖9所示），流程結束。
參閱圖5所示，係圖4中步驟S32之具體流程圖。
步驟S321，影像資訊處理模組62將場景影像中各點到鏡頭21的距離轉換為像素值儲存至該場景影像的特徵矩陣。
步驟S323，3D人臉識別模組63將該場景影像的特徵矩陣中各點的像素值與3D人臉範本中相應特徵點的像素值的容許範圍進行比較，判斷該場景影像是否存在某一區域、該區域有滿足第一預設數目的特徵點的像素值落入3D人臉範本中相應特徵點的像素值的容許範圍，以偵測該場景影像中是否有3D人臉區域。例如，假設場景影像的特徵矩陣為一個800*600矩陣，而3D人臉範本的特徵矩陣為一個100*100矩陣，亦即該3D人臉範本儲存了100*100特徵點的像素值的容許範圍，第一預設數目為大於或等於3D人臉範本所儲存的特徵點的數目的80%。則3D人臉識別模組63在場景影像的特徵矩陣中每次讀取100*100個特徵點，並將每次取的100*100個特徵點的像素值分別與3D人臉範本中相應特徵點的像素值的容許範圍進行比較，判斷是否某次取的100*100個特徵點中至少有80%的特徵點的像素值落入3D人臉範本中相應特徵點的像素值的容許範圍。則3D人臉識別模組63判斷該100*100個特徵點對應的區域為3D人臉區域。若該場景影像是否存在某一區域、該區域有滿足第一預設數目的特徵點的像素值落入3D人臉範本中相應特徵點的像素值的容許範圍，例如某次取的100*100個特徵點中至少有80%的特徵點的像素值落入3D人臉範本中相應特徵點的像素值的容許範圍，則在步驟S327，3D人臉識別模組63判斷該100*100個特徵點對應的區域為3D人臉區域。若該場景影像不存在某一區域、該區域有滿足第一預設數目的特徵點的像素值落入3D人臉範本中相應特徵點的像素值的容許範圍，則流程返回步驟S31。
最後應說明的是，以上實施方式僅用以說明本發明的技術方案而非限制，儘管參照較佳實施方式對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和範圍。
1．．．麥克風支架
100．．．麥克風控制系統
10．．．麥克風
20．．．TOF攝像機
30．．．制動單元
40．．．控制器
41．．．Auto按鈕
42．．．Reset按鈕
50．．．儲存器
60．．．處理器
11．．．Auto模式
12．．．Reset模式
51．．．預設標準
52．．．3D人臉資料
61．．．3D人臉範本建立模組
62．．．影像資訊處理模組
63．．．3D人臉識別模組
64．．．控制模組
圖1係本發明麥克風控制系統較佳實施例之硬體架構圖。
圖2係圖1中麥克風控制系統之兩種工作模式示意圖。
圖3係圖1中處理器及儲存器之功能模組圖。
圖4係本發明麥克風控制方法較佳實施例之流程圖。
圖5係圖4中步驟S32之具體流程圖。
圖6及圖7係圖1中TOF攝像機拍攝麥克風前方的場景得到的兩張場景影像。
圖8及圖9係判斷場景影像用戶口部位置之示意圖。
圖10係圖1中麥克風控制系統安裝在麥克風支架上之示意圖。
100．．．麥克風控制系統
10．．．麥克風
20．．．TOF攝像機
30．．．制動單元
40．．．控制器
41．．．Auto按鈕
42．．．Reset按鈕
50．．．儲存器
60．．．處理器
Claims (10)
- 一種麥克風控制系統，該系統包括：
TOF攝像機，用戶拍攝麥克風前方的場景影像，該TOF攝像機用於得到場景影像中被拍攝物體各點與TOF攝像機的鏡頭之間的距離資訊；
儲存器，用於儲存三維人臉影像及判斷麥克風的位置是否需要調整的預設標準，該預設標準包括當麥克風處於預設的收音位置時，TOF攝像機拍攝得到的場景影像中三維人臉區域在場景影像中所佔的第一比例，用於確定三維人臉中口部位置的第二比例，以及口部位置在場景影像中的預設位置；及
與儲存器及TOF攝像機相連接的處理器，該處理器包括：
三維人臉範本建立模組，用於根據儲存器儲存的三維人臉影像中各點與鏡頭之間的距離資訊建立三維人臉範本，以用於儲存三維人臉影像中各特徵點的像素值的容許範圍；
影像資訊處理模組，用於獲取TOF攝像機拍攝的當前場景影像，將當前場景影像中各點到鏡頭的距離轉換為像素值儲存至當前場景影像的特徵矩陣；
三維人臉識別模組，用於將當前場景影像的特徵矩陣中各點的像素值與三維人臉範本中相應特徵點的像素值的容許範圍進行比較，判斷當前場景影像是否存在某一區域、該區域有滿足第一預設數目的特徵點的像素值落入三維人臉範本中相應特徵點的像素值的容許範圍，以偵測該場景影像中的三維人臉區域；
控制模組，用於當三維人臉區域在場景影像中所佔比例不等於第一預設比例時，下達第一控制指令至制動單元，以調整麥克風與用戶的距離；
三維人臉識別模組，還用於根據第二預設比例在三維人臉區域中確定口部位置；及
控制模組，還用於當口部位置不在當前場景影像中的預設位置時，下達第二控制指令至制動單元，以調整麥克風的高度。 - 如申請專利範圍第1項所述之麥克風控制系統，該系統還包括控制器，該控制器包括自動按鈕及設定按鈕，用於供用戶啟用麥克風控制系統的自動模式或重新設置模式。
- 如申請專利範圍第2項所述之麥克風控制系統，其中，當用戶啟用自動模式，所述預設標準為麥克風控制系統的出廠預設值，當用戶啟用重新設置模式，所述預設標準為當用戶將臉部移動至麥克風前方的收音位置時，處理器分析TOF攝像機拍攝的包括用戶臉部的場景影像計算得到並暫存在儲存器的預設標準。
- 如申請專利範圍第3項所述之麥克風控制系統，其中，當用戶結束重新設置模式啟用自動模式時，處理器清空儲存器暫存的預設標準。
- 如申請專利範圍第1項所述之麥克風控制系統，其中，該系統安裝在一個麥克風支架上，並且所述麥克風及TOF攝像機位於同一水準位置。
- 一種麥克風控制方法，該方法包括：
（a）利用TOF攝像機拍攝麥克風前方的場景，得到場景影像；
（b）利用處理器將當前場景影像中各點到鏡頭的距離轉換為像素值儲存至當前場景影像的特徵矩陣；
（c）利用處理器將當前場景影像的特徵矩陣中各點的像素值與三維人臉範本中相應特徵點的像素值的容許範圍進行比較，判斷當前場景影像是否存在某一區域、該區域有滿足第一預設數目的特徵點的像素值落入三維人臉範本中相應特徵點的像素值的容許範圍，以偵測該場景影像中的三維人臉區域；
（d）利用處理器判斷三維人臉區域在場景影像中所佔比例是否等於第一預設比例，若不等於第一預設比例，則執行步驟（e）後返回步驟（a），若等於第一預設比例，則執行步驟（f）；
（e）利用處理器下達第一控制指令至制動單元以調整麥克風與用戶的距離；
（f）利用處理器根據第二預設比例在三維人臉區域中確定用戶的口部位置；及
（g）利用處理器判斷口部位置是否在場景影像中的預設位置，當口部位置在場景影像中的預設位置時，結束流程，當口部位置不在場景影像中的預設位置時，下達第二控制指令至制動單元以調整麥克風的高度並返回步驟（a）。 - 如申請專利範圍第6項所述之麥克風控制方法，其中，所述麥克風控制方法應用於自動模式或重新設置模式。
- 如申請專利範圍第6項所述之麥克風控制方法，其中，當用戶啟用自動模式，所述預設標準為出廠預設值，當用戶啟用重新設置模式，所述預設標準為當用戶將臉部移動至麥克風前方的收音位置時，處理器分析TOF攝像機拍攝的包括用戶臉部的場景影像計算得到並暫存在儲存器的預設標準。
- 如申請專利範圍第7項所述之麥克風控制方法，其中，當用戶結束重新設置模式啟用自動模式時，處理器清空儲存器暫存的預設標準。
- 如申請專利範圍第6項所述之麥克風控制方法，其中，所述麥克風及TOF攝像機安裝在麥克風支架上的同一水準位置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW099128174A TWI507047B (zh) | 2010-08-24 | 2010-08-24 | 麥克風控制系統及方法 |
| US13/030,142 US20120050527A1 (en) | 2010-08-24 | 2011-02-18 | Microphone stand adjustment system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW099128174A TWI507047B (zh) | 2010-08-24 | 2010-08-24 | 麥克風控制系統及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201210355A TW201210355A (en) | 2012-03-01 |
| TWI507047B true TWI507047B (zh) | 2015-11-01 |
Family
ID=45696721
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW099128174A TWI507047B (zh) | 2010-08-24 | 2010-08-24 | 麥克風控制系統及方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20120050527A1 (zh) |
| TW (1) | TWI507047B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9414144B2 (en) | 2013-02-21 | 2016-08-09 | Stuart Mathis | Microphone positioning system |
| US20160080552A1 (en) * | 2014-09-17 | 2016-03-17 | Qualcomm Incorporated | Methods and systems for user feature tracking on a mobile device |
| US11601740B2 (en) * | 2018-10-11 | 2023-03-07 | Vivek Dahiya | Automated microphone system and method of adjustment thereof |
| CN110660102B (zh) * | 2019-06-17 | 2020-10-27 | 腾讯科技（深圳）有限公司 | 基于人工智能的说话人识别方法及装置、系统 |
| TWI780450B (zh) * | 2020-06-30 | 2022-10-11 | 陳筱涵 | 拾音系統與拾音裝置 |
| CN112367578B (zh) * | 2020-10-30 | 2022-04-15 | 西南交通大学 | 一种自动调整话筒高度的调整装置及其高度修正方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040037436A1 (en) * | 2002-08-26 | 2004-02-26 | Yong Rui | System and process for locating a speaker using 360 degree sound source localization |
| JP2004266714A (ja) * | 2003-03-04 | 2004-09-24 | Omron Corp | 個人照合装置 |
| US20050041111A1 (en) * | 2003-07-31 | 2005-02-24 | Miki Matsuoka | Frame adjustment device and image-taking device and printing device |
| JP2008005122A (ja) * | 2006-06-21 | 2008-01-10 | Konica Minolta Holdings Inc | 双方向通信システム及び双方向通信方法並びに制御プログラム |
| KR20090007882A (ko) * | 2007-07-16 | 2009-01-21 | 에스케이 텔레콤주식회사 | 마이크로폰 방향 제어 장치 및 방법 |
| TWM353594U (en) * | 2008-07-30 | 2009-03-21 | Univ Minghsin Sci & Tech | Intelligent microphone |
| US20090079813A1 (en) * | 2007-09-24 | 2009-03-26 | Gesturetek, Inc. | Enhanced Interface for Voice and Video Communications |
| US20100110311A1 (en) * | 2008-10-30 | 2010-05-06 | Samsung Electronics Co., Ltd. | Method and system for adjusting a presentation of image data |
| US20100245536A1 (en) * | 2009-03-30 | 2010-09-30 | Microsoft Corporation | Ambulatory presence features |
| TWM397567U (en) * | 2010-07-07 | 2011-02-01 | Horgn-Wei Chen | Multifunctional laser notation relative position r apparatus |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4303602B2 (ja) * | 2004-01-09 | 2009-07-29 | 本田技研工業株式会社 | 顔面像取得システム |
| US20110292181A1 (en) * | 2008-04-16 | 2011-12-01 | Canesta, Inc. | Methods and systems using three-dimensional sensing for user interaction with applications |
-
2010
- 2010-08-24 TW TW099128174A patent/TWI507047B/zh not_active IP Right Cessation
-
2011
- 2011-02-18 US US13/030,142 patent/US20120050527A1/en not_active Abandoned
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040037436A1 (en) * | 2002-08-26 | 2004-02-26 | Yong Rui | System and process for locating a speaker using 360 degree sound source localization |
| JP2004266714A (ja) * | 2003-03-04 | 2004-09-24 | Omron Corp | 個人照合装置 |
| US20050041111A1 (en) * | 2003-07-31 | 2005-02-24 | Miki Matsuoka | Frame adjustment device and image-taking device and printing device |
| JP2008005122A (ja) * | 2006-06-21 | 2008-01-10 | Konica Minolta Holdings Inc | 双方向通信システム及び双方向通信方法並びに制御プログラム |
| KR20090007882A (ko) * | 2007-07-16 | 2009-01-21 | 에스케이 텔레콤주식회사 | 마이크로폰 방향 제어 장치 및 방법 |
| US20090079813A1 (en) * | 2007-09-24 | 2009-03-26 | Gesturetek, Inc. | Enhanced Interface for Voice and Video Communications |
| TWM353594U (en) * | 2008-07-30 | 2009-03-21 | Univ Minghsin Sci & Tech | Intelligent microphone |
| US20100110311A1 (en) * | 2008-10-30 | 2010-05-06 | Samsung Electronics Co., Ltd. | Method and system for adjusting a presentation of image data |
| US20100245536A1 (en) * | 2009-03-30 | 2010-09-30 | Microsoft Corporation | Ambulatory presence features |
| TWM397567U (en) * | 2010-07-07 | 2011-02-01 | Horgn-Wei Chen | Multifunctional laser notation relative position r apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201210355A (en) | 2012-03-01 |
| US20120050527A1 (en) | 2012-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102378097B (zh) | 麦克风控制系统及方法 | |
| TWI507047B (zh) | 麥克風控制系統及方法 | |
| KR101634248B1 (ko) | 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체 | |
| KR100924685B1 (ko) | 촬상 장치 및 그 제어 방법 | |
| JP5099488B2 (ja) | 撮像装置、顔認識方法およびそのプログラム | |
| US8514285B2 (en) | Image processing apparatus, image processing method and program | |
| EP1845711A2 (en) | Electronic camera and image processing apparatus | |
| US7986808B2 (en) | Image-capturing device, image-processing device, method for controlling image-capturing device, and program for causing computer to execute the method | |
| WO2015184978A1 (zh) | 摄像机控制方法、装置及摄像机 | |
| US8855417B2 (en) | Method and device for shape extraction, and size measuring device and distance measuring device | |
| CN102223594A (zh) | 麦克风控制装置及方法 | |
| WO2017215070A1 (zh) | 投影对焦方法及投影仪 | |
| US8269819B2 (en) | Image generating apparatus for generating three-dimensional image having high visibility | |
| US9774841B2 (en) | Stereoscopic image capture device and control method of the same | |
| US9591210B2 (en) | Image processing face detection apparatus, method for controlling the same, and program | |
| JP2017011634A (ja) | 撮像装置およびその制御方法、並びにプログラム | |
| US20130335619A1 (en) | Imaging device and imaging method | |
| JP2012247533A (ja) | 電子カメラ | |
| US7493036B2 (en) | Imaging device | |
| JP2011035771A (ja) | 撮像装置、編集装置および撮像システム | |
| JP2007094535A (ja) | 認証システム及び認証方法 | |
| KR20140116014A (ko) | 화상 취득 장치, 화상 취득 방법 및 기록매체 | |
| KR101227883B1 (ko) | 사용자 동작／음성 기반 제어장치 및 이에 적용되는 사용자 동작／음성 기반 제어방법 | |
| US20120188437A1 (en) | Electronic camera | |
| JP2014122978A (ja) | 撮像装置、音声認識方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Annulment or lapse of patent due to non-payment of fees |