JP6291055B2 - 適応的サラウンドサウンドを実現する方法及びシステム - Google Patents

適応的サラウンドサウンドを実現する方法及びシステム Download PDF

Info

Publication number
JP6291055B2
JP6291055B2 JP2016535315A JP2016535315A JP6291055B2 JP 6291055 B2 JP6291055 B2 JP 6291055B2 JP 2016535315 A JP2016535315 A JP 2016535315A JP 2016535315 A JP2016535315 A JP 2016535315A JP 6291055 B2 JP6291055 B2 JP 6291055B2
Authority
JP
Japan
Prior art keywords
acoustic beam
camera
user
room
wall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016535315A
Other languages
English (en)
Other versions
JP2016531511A (ja
Inventor
リュー，ソン
ルー，シャシャ
リー，ボー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Publication of JP2016531511A publication Critical patent/JP2016531511A/ja
Application granted granted Critical
Publication of JP6291055B2 publication Critical patent/JP6291055B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2203/00—Details of circuits for transducers, loudspeakers or microphones covered by H04R3/00 but not provided for in any of its subgroups
    • H04R2203/12—Beamforming aspects for stereophonic sound reproduction with loudspeaker arrays

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、マルチメディア再生分野に関し、特に、適応的サラウンドサウンドを実現する方法及びシステムに関する。
マルチメディア技術の発展に伴って、人々がマルチメディア視聴機能を楽しむことのできるマルチメディア機器の種類も日進月歩で変化しつつある。本願は、カメラ及びスピーカアレイを備え、且つ、サラウンドサウンド効果を生じさせる必要があるマルチメディア機器に関する。ここで、説明の便宜上、スマートテレビを例として説明する。
テレビ製造技術及び表示技術の進歩につれて、家庭用テレビが軽くて薄くなり、画像がより鮮明で明るくなった。それに応じて、人々のオーディオ再生システムに対する要求も高まってきている。
現在、スマートテレビは、例えばサウンドバー（Soundbar）等の軽量且つ薄型の再生システムを持っており、体積が相対的に膨大で配置が比較的に分散した従来の5.1再生システムの代わりに、スピーカアレイを用いている。スピーカアレイには、デジタル信号処理チップが内蔵されており、サウンドエフェクト処理を完了させることができる。しかし、軽量且つ薄型のスピーカアレイの一つの欠陥は、ステレオサラウンド効果が不十分であることである。この点に関する従来の解決方案としては、ダイポール（双極子）ステレオ拡張技術及び音響ビーム形成技術などがある。ダイポール（双極子）は、聴取領域が小さくて、ユーザの姿勢にも制限があり、比較的広い領域で豊富なサラウンドサウンドを生成するのは困難である。一方、音響ビーム形成技術は、ホール内の構造及びアレイの特性を十分に活かして、スピーカアレイから発した音声により、壁に指向した音響ビームを形成するようにすることができ、壁面の複数回の反射及び散乱により、ホール内全体で豊富なサラウンドサウンド効果を生み出すことができる。
しかしながら、従来の、音響ビームの形成によってホール内でサラウンドサウンドを生み出す技術は、音響ビームが確かに側壁にぶつかって、反射及びサラウンド効果が発生したことを確認するために、音響校正過程を経る必要がある。このため、次のような課題を有している。第一に、スピーカアレイの使用前に手動で校正する必要があり、操作過程に手間がかかる。第二に、例えば測定マイク等の追加の校正機器が必要である。第三に、ユーザの聴取位置が比較的狭い範囲に制限される。このため、もしユーザがほかの位置での良好なサラウンドサウンド効果も希望する場合、改めて校正する必要がある。
上記課題に鑑みて、本発明は、上記課題を克服するか、又は、少なくとも部分的に上記課題を解決する適応的サラウンドサウンドを実現する方法及びシステムを提供する。
本発明の一つの局面によれば、適応的サラウンドサウンドを実現する方法が開示されており、この方法は、
目標認識技術により、部屋における指定位置及び部屋内にいるユーザに対して認識を行い、合焦制御技術により、カメラを制御して、認識対象目標の合焦画像を採集するとともに、対応する合焦パラメータを記録するステップと、
採集された合焦画像及び記録された対応する合焦パラメータにより、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出するステップと、
算出された部屋のカメラに対する位置情報、ユーザのカメラに対する位置情報、及び、カメラとスピーカアレイとの間の相対的位置関係により、前記部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームの経路を算出するステップと、
算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともに、このパラメータによってスピーカアレイにおけるフィルタ群を調整するステップと、
音声信号を、前記パラメータの調整されたフィルタ群によってフィルタリングしてから、スピーカアレイによって再生して、前記部屋内におけるユーザの位置でサラウンドサウンドを形成するステップと、
を含む。
本発明のもう一つの局面によれば、適応的サラウンドサウンドを実現するシステムが提供されており、該システムは、カメラ、目標認識及び結像手段、位置情報抽出手段、音響ビーム制御手段、及び、スピーカアレイを含み、
カメラが、画像を採集するために用いられ、
目標認識及び結像手段が、目標認識技術により、部屋における指定位置及び部屋内にいるユーザに対して認識を行い、合焦制御技術により、カメラを制御して、認識対象目標の合焦画像を採集するとともに、対応する合焦パラメータを記録するために用いられ、
位置情報抽出手段が、採集された合焦画像及び記録された対応する合焦パラメータにより、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出するために用いられ、
音響ビーム制御手段が、算出された部屋のカメラに対する位置情報、ユーザのカメラに対する位置情報、及び、カメラとスピーカアレイとの間の相対的位置関係により、前記部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームの経路を算出してから、算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともに、このパラメータによってスピーカアレイにおけるフィルタ群を調整するために用いられ、
スピーカアレイが、音声信号を、パラメータの調整されたフィルタ群によりフィルタリングしてから再生して、前記部屋内におけるユーザの位置でサラウンドサウンドを形成するために用いられる。
本発明は、目標認識及び合焦制御技術により、部屋における指定位置及びユーザの合焦画像を採集するとともに、合焦パラメータを記録し、更に、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出し、これらの情報により、ユーザの位置でサラウンドサウンドが実現可能な音響ビームを算出し、算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともに、フィルタ群を調整し、そして、パラメータの調整されたフィルタ群によってフィルタリングされた音響ビームをスピーカアレイによって再生することにより、目標部屋内におけるユーザの所在位置でサラウンドサウンドを適応的に形成する。本発明の技術方案では、追加の音響校正過程及び校正機器を避けることができ、手動で校正する必要がなく、ユーザに最適なスピーカアレイの音響ビームの向き角度を自動的に算出し、ユーザに豊富なサラウンドサウンド効果を体験させ、そして、ユーザが位置を移動した場合でも、移動後の位置でタイムリーにサラウンドサウンドを適応的に実現することができ、ユーザの位置及び聴取習慣が限定されない。
本発明の一つの実施例による適応的サラウンドサウンドを実現する方法のフローチャートである。 本発明の一つの実施例による適応的サラウンドサウンドを実現する方法の原理模式図である。 本発明の一つの実施例によるサラウンドサウンドを実現する音響ビームの経路模式図である。 本発明の一つの実施例による認識対象目標のカメラで撮影した写真における位置の模式図である。 本発明の一つの実施例によるユーザとカメラレンズとの間の距離関係の模式図である。 本発明の一つの実施例によるユーザとカメラレンズとの間の角度関係の模式図である。 本発明の一つの実施例による左壁隅とカメラレンズとの間の距離関係の模式図である。 本発明の一つの実施例による左壁隅とカメラレンズとの間の角度関係の模式図である。 本発明の一つの実施例による音響ビームの経路計算模式図である。 本発明の一つの実施例による一側の壁隅が検出できない模式図である。 本発明の一つの実施例による音響ビームがユーザに遮断される可能性がある模式図である。 本発明の実施例による適応的サラウンドサウンドを実現するシステムの模式図である。
以下、図面を参照して、本発明の例示的な実施例を更に詳しく説明する。図面には本発明の例示的な実施例が示されているが、本発明は、ここで述べる実施例に限定されるものではなく、様々な形式によって実現することができると理解すべきである。また、逆に、これらの実施例を提供するのは、本発明をより十分に理解できるとともに、本発明の範囲を全て当業者に伝え切れるためでもある。
図１は、本発明の一つの実施例による適応的サラウンドサウンドを実現する方法のフローチャートである。図１を参照して、該方法は、次のステップを含む。
ステップＳ１１０は、目標認識技術により、部屋における指定位置及び部屋内にいるユーザに対して認識を行い、合焦制御技術により、カメラを制御して、認識対象目標の合焦画像を採集するとともに、対応する合焦パラメータを記録する。
そのうち、部屋における指定位置は、部屋のサイズ、方位等の情報を確定することに利用可能な、部屋内におけるいずれかの位置である。例えば、部屋の四つの壁隅、壁隅を構成する壁境界線、壁境界線の中点等の位置である。
本発明の一つの実施例において、壁境界線認識技術（floor-wall boundary recognition）により壁隅及び壁境界線を認識し、そして、合焦制御技術により壁隅及び壁境界線に対して合焦し、壁隅及び壁境界線の合焦画像を採集する。本発明の一つの実施例において、ユーザに対して認識を行うとは、具体的に、ユーザの面部に対して認識を行うことであり、即ち、顔認識技術によりユーザの面部を認識し、そして、合焦制御技術によりユーザの面部に対して合焦し、ユーザの面部の合焦画像を採集する。記録された合焦パラメータには、合焦画像の採集時の焦点距離及び像距離が含まれる。本発明のその他の実施例において、採用可能なその他の技術によりユーザに対する認識を行ってもよい。
即ち、壁境界線認識技術により、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点を認識し、そのうち、壁境界線中点とは、該壁境界線の、合焦画像に現れているその部分の中点であり、顔認識技術により、部屋内にいるユーザの面部を認識し、目標が認識されてから、目標の所在領域に対して計算を行うとともに、計算結果に基づいて、認識対象目標に対して正確な合焦及び明瞭な結像をカメラに行わせ、正確な合焦及び明瞭な結像を実現する方式は、複数の種類を含んでもよく、カメラの類型によって決められるものであり、通常のカメラにおいての合焦モータを駆動するという方式であってもよく、若しくは、ライトフィールド(light field)カメラのライトフィールド再構築という方式であってもよい。本発明構成の記載においては、合焦モータを駆動する方式を例として、目標に対して正確な合焦及び明瞭な結像を行う方式を説明する。
本発明の実施例において、シングルユーザの面部合焦画像のみ採集する。もし部屋内に複数の人がいれば、部屋の中心に一番近い人をユーザとして、その面部合焦画像を採集する。
ステップＳ１２０は、採集された合焦画像及び記録された対応する合焦パラメータにより、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出する。前記カメラは、受動合焦タイプのカメラ、能動合焦タイプのカメラ、又は、奥行き知覚が可能なカメラであってもよい。
このステップにおいて、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点からカメラまでの被写体距離、及び、そのカメラレンズ中軸線に対する角度を算出し、且つ、左壁境界線の方程式、右壁境界線の方程式及び対向壁境界線の方程式を算出し、ならびに、ユーザからカメラまでの被写体距離、及び、ユーザのカメラレンズ中軸線に対する角度を算出する。
本発明の一つの実施例において、ユーザの面部の合焦画像を採集するときに記録された焦点距離及び像距離により、共役結像原理に基づいて、ユーザからカメラまでの被写体距離を得て、合焦画像におけるユーザの面部の位置により、カメラレンズの画角パラメータと合わせて、ユーザのカメラレンズ中軸線に対する角度を確定し、同様に、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点からカメラまでの被写体距離、及び、そのカメラレンズ中軸線に対する角度をそれぞれ得て、左壁隅及び左壁境界線中点の座標情報により、二つの点によって一つの直線が決められるという原理に基づいて左壁境界線の方程式を得て、右壁隅及び右壁境界線中点の座標情報により、二つの点によって一つの直線が決められるという原理に基づいて右壁境界線の方程式を得る。ここで、左壁隅及び右壁隅の座標、左壁境界線及び右壁境界線の方程式によれば、部屋のカメラに対する位置情報を確定することができる。
ステップＳ１３０は、算出された部屋のカメラに対する位置情報、ユーザのカメラに対する位置情報、及び、カメラとスピーカアレイとの間の相対的位置関係により、部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームの経路を算出する。
ステップＳ１４０は、算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともに、このパラメータによってスピーカアレイにおけるフィルタ群を調整する。即ち、音響ビームの向き角度を算出してから、スピーカアレイにおけるフィルタ群を算出する。
ステップＳ１５０は、音声信号を、パラメータの調整されたフィルタ群によってフィルタリングしてから、スピーカアレイによって再生して、部屋内におけるユーザの所在位置でサラウンドサウンドを形成する。
図１に示すこのような方法では、目標部屋内におけるユーザの所在位置でサラウンドサウンドを適応的に形成することができる。また、このような方法は、手動で校正する必要がなく、スマートテレビにとっても、さらなるハードウェアを追加する必要がなく、そして、ユーザが位置を移動した場合でも、移動後の位置でタイムリーにサラウンドサウンドを適応的に実現することができる。
図２は、本発明の一つの実施例による適応的サラウンドサウンドを実現する方法の原理模式図である。図２に示すように、本実施例による方法は、次の三つのステップに大きく分かれる。
第一のステップは、目標認識及び結像であり、このステップの役割は、目標認識技術により、即ち、壁境界線認識技術及び顔認識技術のそれぞれにより、部屋における指定位置（本発明の実施例においては、左右壁隅及び左右壁境界線中点）及びユーザの面部に対して認識を行い、カメラを制御して自動合焦を行い、対応する目標の合焦画像を採集するとともに、合焦画像の採集時の合焦パラメータを記録する。
第二のステップは、位置情報抽出であり、位置情報抽出は、ユーザのスピーカアレイに対する位置情報の計算、及び、部屋のスピーカアレイに対する位置情報の計算を含む。
第三のステップは、音響ビーム制御であり、第二のステップで算出された関連データにより、部屋内におけるユーザの所在位置でサラウンドサウンドが実現可能な音響ビームの経路を算出する。算出された音響ビームの経路によりフィルタ群のパラメータを算出し、音源信号をフィルタリングしてからスピーカアレイによって再生して、サラウンドサウンドを形成する。各スピーカ素子について、左チャネル音源が左音響ビームフィルタ群によってフィルタリングされてから重畳され、右チャネル音源が右音響ビームフィルタ群によってフィルタリングされてから重畳され、共に重畳されてから該スピーカ素子によって再生される。
左、右音響ビームフィルタ群を区分するのは、各素子にとって、左チャネルの二つの音響ビームが、左音源が第１左音響ビーム１のフィルタと第２左音響ビーム２のフィルタとの二つのフィルタによってフィルタリングされたものであり、右チャネル音響ビームは、右音源が第１右音響ビーム１のフィルタと第２右音響ビーム２のフィルタとの二つのフィルタによってフィルタリングされたものであるためである。各フィルタには、独立した意味を有し、そのウェイトも異なり、別々に処理する必要があり、しかも、左右音源も異なるため、左右フィルタ群を区分するようにしている。
図３は、本発明の一つの実施例によるサラウンドサウンドを実現する音響ビームの経路模式図である。本発明の実施例において、部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームとは、音源から発した各音響ビームのうち壁面で一次反射又は二次反射されてからユーザの位置に到達した音響ビームである。具体的には、部屋内におけるユーザの所在位置でサラウンドサウンドが実現可能な音響ビームの経路は、図３に示すように、左チャネルの音源が二つの音響ビームを形成し、それぞれ壁面で一次及び二次反射されてユーザに到達し、右チャネルについても同様である。
即ち、本実施例において、部屋内におけるユーザの所在位置でサラウンドサウンドが実現可能な音響ビームには、第１左音響ビーム１、第２左音響ビーム２、第１右音響ビーム１及び第２右音響ビーム２が含くまれており、そのうち、第１左音響ビーム１は、左側壁にぶつかって、左側壁で一次反射されてユーザの所在位置に到達した音響ビームであり、第２左音響ビーム２は、左側壁にぶつかって、左側壁で一次反射されてから、更に対向壁で一次反射されてユーザの所在位置に到達した音響ビームであり、第１右音響ビーム１は、右側壁にぶつかって、右側壁で一次反射されてユーザの所在位置に到達した音響ビームであり、第２右音響ビーム２は、右側壁にぶつかって、右側壁で一次反射されてから、更に対向壁で一次反射されてユーザの所在位置に到達した音響ビームである。また、対向壁とは、スピーカアレイ及びカメラと対向した壁、即ち、スピーカアレイ及びカメラの所在した壁面と平行した壁である。
以下、上記過程について、更に詳しく説明する。ここで、表明しておくべきなのは、スマートテレビにおけるカメラ及びスピーカアレイの位置が相対的に固定したものであり、例えばより一般的な形式として、カメラが、通常、テレビの頂端の中心に位置するのに対し、スピーカアレイがテレビの底辺に位置し、且つ、カメラとスピーカアレイとが、通常、同一の垂直線上にあり、後続の実施例において、本発明は、この形式に従うのもとし、カメラの焦平面がスピーカアレイに平行しながら地面に垂直し、カメラの中心とスピーカアレイの中心とを結ぶ線が地面に垂直し、即ち、各目標のカメラに対する水平角度位置と各目標のスピーカアレイに対する水平角度位置とが同じであるとする。しかし、本発明の方法は、このような配置形式に限らず、もしカメラがスピーカアレイの中心に位置しないか、若しくは、カメラの焦平面がスピーカアレイに平行するのではなく一定の夾角があるとしても、本発明の方法が依然として適用可能であり、音響ビームの角度に、対応する幾何学的座標変換を加えればよい。
１．目標認識及び合焦結像
図４は、本発明の一つの実施例による認識対象目標のカメラで撮影した写真における位置の模式図である。図４を参照すると、本発明の一つの実施例において、認識対象目標には、部屋の左壁隅、右壁隅、左壁境界線、右壁境界線及びユーザの面部が含まれる。目標が認識されてから、自動合焦制御装置が目標の所在領域に対して計算を行い、計算結果に基づいて、合焦モータを駆動して、カメラに、目標に対して正確な合焦及び明瞭な結像を行わせる。
壁境界線認識技術（floor-wall boundary recognition）により、壁隅及び壁境界線を認識し、顔認識技術により、ユーザの面部を認識する。
合焦制御技術により、カメラを制御して、部屋における指定位置（例えば、部屋の左右壁隅、左右壁境界線中点）及びユーザの面部等の各目標に対して正確に合焦するとともに、前記左右壁隅、左右壁境界線及びユーザの面部の合焦画像を採集し、合焦結像すると同時に合焦パラメータを記録し、後続の、部屋のカメラに対する位置及びユーザの部屋においてのカメラに対する位置を算出することに用いる。
２．位置情報抽出
採集された合焦画像及び記録された対応する合焦パラメータにより、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出することについては、具体的には、次のようになる。
２．１ ユーザのカメラに対する位置情報の計算
採集された合焦画像及び記録された対応する合焦パラメータにより、ユーザからカメラレンズ平面までの距離、及び、ユーザのカメラ中軸線に対する角度座標を算出することができる。
２．１．１ ユーザからカメラまでの距離の計算
ユーザの面部の合焦画像を採集する時に記録された焦点距離及び像距離により、共役結像原理に基づいてユーザからカメラまでの被写体距離を得る。
能動合焦タイプのカメラである場合、合焦する前に測距を行い、例えば、赤外線測距、補助光測距又は超音波測距等を行うことにより、ユーザからカメラレンズまでの距離を直接に測定でき、別に計算する必要がない。なお、奥行き知覚が可能なカメラ、例えばマルチレンズのカメラ又は３Ｄカメラの場合、画角の差等の手段によって被写体距離を直接に確定してもよい。受動合焦タイプのカメラの場合なら、被写体距離を得るには、計算する必要がある。計算方式については、図５を参照する。
図５は、本発明の一つの実施例によるユーザとカメラレンズとの間の距離関係の模式図である。図５に示すように、ユーザからレンズ平面までの距離をｌＣ即ち被写体距離として、正確に合焦結像するとき、結像平面からレンズ平面までの距離がｌ′Ｃ即ち像距離であり、レンズの焦点距離がｆであり、焦点距離がレンズの固有パラメータであり、正確に合焦したとき、ｌ′Ｃも既知のものである。そうすると、共役結像原理ｌＣの式により、例えば下式のように、ユーザからレンズ平面までの距離を算出できる。
２．１．２ ユーザの角度座標の計算
合焦画像におけるユーザの面部の位置により、カメラレンズの視角パラメータと合わせて、ユーザのカメラレンズ中軸線に対する角度を確定する。
図６は、本発明の一つの実施例によるユーザとカメラレンズとの間の角度関係の模式図である。図６に示すように、正確に合焦した明瞭な画像が得られてから、顔認識及び輪郭抽出等の画像処理技術を用いて、画像から、画像におけるユーザの面部の位置を得ることができ、レンズの画角パラメータと合わせて、ユーザのレンズ中軸線に対する角度、即ち角度座標を確定することができる。
ユーザの面部の合焦画像において、ユーザの面部中心から画像左縁までの距離をｄＣＬ、右縁までの距離をｄＣＲとし、レンズの画角をαとし、レンズ中軸線の指向した角度を０度とする。ユーザの面部のレンズ中軸線に対する角度をβとし、ユーザからテレビまでの距離即ち被写体距離をｌＣとする。そうすると、三角関数により、他のパラメータが既知であるとき、ユーザの面部の角度座標を算出できる。


そうすると、

が得られる。
２．２ 部屋のカメラに対する位置情報の計算
「２．１ ユーザのカメラに対する位置情報の計算」に類似して、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点からカメラまでの被写体距離、及び、そのカメラレンズ中軸線に対する角度をそれぞれ得ることができ、左壁隅及び左壁境界線中点の座標情報により、二つの点によって一つの直線が決められるという原理に基づいて、左壁境界線の方程式が得られ、右壁隅及び右壁境界線中点の座標情報により、二つの点によって一つの直線が決められるという原理に基づいて、右壁境界線の方程式が得られる。
壁境界線認識(floor-wall boundary recognition)技術及び合焦制御技術により得られた合焦画像及び対応する合焦パラメータにより、左右壁隅及び左右壁境界線中点からレンズまでの距離、及び、角度座標を算出する。本発明のその他の実施例においても、壁境界線のレンズ中軸線に対する角度を算出することが可能である。図４に示すように、壁境界線中点とは、この壁境界線の、合焦画像に現れているその部分の中点である。合焦画像に現れているその部分とは、図４に示す合焦画像で（即ち撮影写真で）見られる壁境界線である。
ここで説明すべきなのは、壁境界線の方程式の確定には、壁境界線中点が必要とされるとは限らず、壁隅及び壁境界線におけるいずれの点によっても、壁境界線の方程式を確定することができる。本実施例において壁境界線中点を取るのは、写真縁部における変形及びぼかしを回避するためである。具体的な方法としては、左壁境界線を例とし、写真における左壁隅の座標が既知で、左壁境界線（十分な壁境界線ではなく、壁境界線の一部であるかもしれない）も検出されていると、左壁境界線中点から写真左縁までの距離がちょうど左壁隅から左縁までの距離の半分となり、且つ左壁境界線上に位置する。このように、座標位置を算出し、そして、正確に合焦することができる。
図７は、本発明の一つの実施例による左壁隅とカメラレンズとの間の距離関係の模式図である。図７に示すように、左壁隅及び左壁境界線中点を例とすると、左壁隅からレンズ平面までの距離をｌＬＷとして、正確に合焦結像したとき、結像平面からレンズ平面までの距離がｌ′ＬＷ即ち像距離であり、レンズの焦点距離がｆであり、焦点距離がレンズの固有パラメータであり、共役結像により、左壁隅からレンズ平面までの距離ｌＬＷが下式によって算出される。
正確に合焦した明瞭な画像が得られ、壁隅が認識されてから、レンズパラメータにより、左壁隅角度座標を算出することができる。図８は、本発明の一つの実施例による左壁隅とカメラレンズとの間の角度関係の模式図である。図８に示すように、左壁隅の合焦画像において左壁隅から左縁までの距離をｄＬＷＬ、右縁までの距離をｄＬＷＲとし、レンズの画角をαとし、レンズ中軸線の指向した角度を０度とする。左壁隅のレンズ中軸線に対する角度をγＬとすると、左壁隅のレンズ中軸線に対する角度γＬは、下式により算出することができる。
カメラの位置を零点として、カメラの中軸線をｘ軸とする平面直角座標系においては、左壁隅の平面直角座標が（ｌＬＷ，ｌＬＷ，ｔａｎγＬ）である。同様に、左壁境界線中点について、そのレンズに対する距離及び角度を求めることができ、それぞれｌＬＷＭ及びγＬＭとすると、左壁境界線中点の平面直角座標は（ｌＬＷＭ，ｌＬＷＭ，ｔａｎγＬＭ）となり、更に、二つの点によって一つの直線が決められるという原理により、左壁境界線の方程式：ｙ＝ｋｘ＋ｃが求められる。ここで、


である。同様にして、右壁隅及び右壁境界線の方程式を算出することができる。
本実施例において、部屋のカメラに対する位置情報は、具体的に、左右壁隅の座標及び左右壁境界線の方程式であり、そのうち、採用される座標系は、カメラを零点とし、カメラレンズ中軸線をｘ軸とし、且つ、ｘ軸ｙ軸とによって決められた平面が水平面と平行した直角座標系であり、本実施例において基準座標と称される。
３．音響ビーム制御
３．１ 音響ビーム経路の計算
本発明の一つの実施例において、部屋内におけるユーザの所在位置でサラウンドサウンドが実現可能な好ましい音響ビームは、図３に示す第１左音響ビーム１、第２左音響ビーム２、第１右音響ビーム１及び第２右音響ビーム２を含む。
算出された部屋のカメラに対する位置情報、ユーザのカメラに対する位置情報、及び、カメラとスピーカアレイとの間の相対的位置関係により、部屋内におけるユーザの所在位置でサラウンドサウンドが実現可能な音響ビームの経路を算出する必要がある。本発明の一つの実施例において、カメラが一般的にテレビの中心位置に配置され、スピーカアレイの中心位置に近接し、且つ、カメラのレンズ平面も一般的にスピーカアレイのアレイ素子の平面に平行するため、カメラによって測定された位置は、音響ビーム方向を計算する根拠とすることが可能である。音声伝播の原理により、左音響ビーム位置を算出することができる。即ち、本実施例において、カメラ及びスピーカアレイが同一の垂直線上に位置するため、カメラ及びスピーカアレイが前記座標系における同じ位置に位置し、即ち、各目標のカメラに対する位置と各目標のスピーカアレイに対する位置とが一致しているとされる。
３．１．１ 第１左音響ビーム１の方程式の計算
前記基準座標において、カメラの所在位置を零点とし、ユーザの所在位置の左壁境界線に関するミラーポイントを得て、零点及び該ミラーポイントの座標により、二つの点によって一つの直線が決められるという原理に基づいて、第１左音響ビーム１の方程式を得る。具体的には、２．２における計算により、左壁境界線の方程式：ｙ＝ｋｘ＋ｃが得られ、ユーザの基準座標系における座標を（ａ，ｂ）とし、ユーザの左壁境界線に関するミラーポイントを（ａ１，ｂ１）として、（ａ，ｂ）と（ａ１，ｂ１）とを結ぶ線の垂直二等分線が左壁境界線の方程式となる。
そうすると、第１左音響ビーム１が零点及びユーザのミラーポイント（ａ１，ｂ１）を通過し、左音響ビーム方程式が、

となる。ミラー関係の方程式から分かるように、


である。
３．１．２ 第２左音響ビーム２の方程式の計算
第２左音響ビーム２を求める方法は、３．１．１における方法に類似し、ただし、二次反射を算出することが必要である。カメラの所在位置を零点とし、ユーザの所在位置の対向壁境界線に関する第１ミラーポイント１を得て、第１ミラーポイント１により、該第１ミラーポイント１の左壁境界線に関する第２ミラーポイント２を得て、零点及び第２ミラーポイント２の座標により、二つの点によって一つの直線が決められるという原理に基づいて、第２左音響ビーム２の方程式を得る。
具体的には、カメラと対向した壁の壁境界線（ここで対向壁境界線と称する）の方程式をｙ＝ｋ２ｘ＋ｃ２として、左壁境界線及びユーザの定義が上記の通りである。図９に示すように、ユーザの対向壁境界線に関する第１ミラーポイントを（ａ２，ｂ２）とし、（ａ２，ｂ２）の左壁境界線に関する第２ミラーポイントを（ａ３，ｂ３）とする。図９は、本発明の一つの実施例による音響ビームの経路計算模式図であり、第２左音響ビーム２の方程式は、

となる。
（ａ２，ｂ２）は、（ａ，ｂ）の対向壁境界線ｙ＝ｋ２ｘ＋ｃ２に関するミラーポイントであり、即ち、ｙ＝ｋ２ｘ＋ｃ２上における任意の点であり、（ａ２，ｂ２）及び（ａ，ｂ）までの距離が等しいため、ミラー関係の方程式から、以下の関係式を得ることができる。

同様に、（ａ３，ｂ３）は、（ａ２，ｂ２）の左壁境界線ｙ＝ｋｘ＋ｃに関するミラーポイントであるため、同様に、ミラー関係の方程式により、下式を得ることができる。

これにより、左壁境界線位置、対向壁境界線位置及びユーザの位置がいずれも既知の場合、第２左音響ビーム２の方程式を求めることができる。同様にして、第１右音響ビーム１及び第２右音響ビーム２の方程式も得られる。
本発明のその他の実施例において、もしカメラとスピーカとの間に相対的な位置差が存在する（即ち、基準座標系において異なる点に位置する）と、カメラとスピーカアレイとの間の相対的位置関係により、部屋のカメラに対する位置情報、及び、ユーザのカメラに対する位置情報を、部屋のスピーカアレイに対する位置情報、及び、ユーザのスピーカアレイに対する位置情報に変換する必要があり、そして、スピーカアレイの所在位置を零点として座標系を確立するとともに、該座標系においてユーザの所在位置の左壁境界線に関するミラーポイントを得て、零点及び該ミラーポイントの座標により、二つの点によって一つの直線が決められるという原理に基づいて、第１左音響ビーム１の方程式が得られる。スピーカアレイの所在位置を零点として座標系を確立するとともに、該座標系においてユーザの所在位置の対向壁境界線に関する第１ミラーポイントを得て、ユーザの対向壁境界線に関する第１ミラーポイントにより、該第１ミラーポイントの左壁境界線に関する第２ミラーポイントを得ることができ、二つの点によって一つの直線が決められるという原理に基づいて、第２左音響ビーム２の方程式が得られる。同様にして、第１右音響ビーム１及び第２右音響ビーム２の方程式も得られる。
３．２ 異常状況の処理
実際の使用中には、なんらかの異常状況が発生する可能性がある。例えば、壁隅の位置が十分に検出できないか、若しくは、テレビ及びスピーカアレイが隅位置に配置されるか、若しくは、部屋の壁面に平行しないか、若しくは、音響ビームがユーザに遮断される可能性がある等の状況がある。これらの場合、音響ビームの計算には、いくつかの変更がある。
図１０は、本発明の一つの実施例による一側の壁隅が検出できない模式図である。一側の壁隅の位置を検出できないし、その対応した壁の位置も算出できない場合、図１０に示すように、この側の二つの音響ビームの方向をユーザと一定の角度ずらして、例えば、経験値により６０度及び４５度にして、この側の二つの音響ビームのデフォルト角度としてもよい。即ち、左壁隅及び／又は右壁隅の画像が採集できない場合、対応する側の二つの音響ビームの方向をユーザと一定の角度ずらす。例えば、もし左側壁境界線がレンズ内に現れていないと、第１左音響ビーム１の角度は、ユーザの方位角に６０度を加算したものであり、第２左音響ビーム２は、ユーザの方位角に４５度を加算したものであり、右側についても同様である。
デフォルト角度では、音響ビームの一次反射点が側壁上に位置し、それがレンズの画角に関連するように設定し、もしレンズ内に一辺の壁隅が撮影されていないとしたら、壁隅とレンズ中心とを結ぶ線の角度（レンズ中軸線に対する角度）は、画角よりも大きくなるのが必然であり、そして、カメラの画角は、通常、対向壁の半分以上の幅をカバーすることになる。一般的なスマートテレビ用カメラでは、その画角範囲が±４５度を超えることなく、一般的には、±３０度の範囲内にあるため、デフォルト角度を４５度以上にすると、一次反射点が側壁上に位置する可能性が大きい。デフォルト角度の設定は、その他の方式又はその他の数値にしてもよく、もしカメラの画角が大きい場合、デフォルト角度もそれに応じて大きくなる。画角が小さい場合、デフォルト角度もそれに応じて小さくなる。
図１１は、本発明の一つの実施例による異常状況の発生した音響ビームがユーザに遮断される可能性がある模式図である。音響ビームがユーザに遮断される可能性がある場合、例えば、図１１に示すように、第２左音響ビーム２がユーザに遮断された場合、この方向の第２左音響ビーム２がキャンセルされる。同様に、第１左音響ビーム１、第２左音響ビーム２、第１右音響ビーム及び第２右音響ビーム２のいずれかがユーザに遮断されると、その音響ビームをキャンセルする。
説明すべきなのは、ユーザ以外のその他の遮断物なら、音響ビームをキャンセルする必要がなく、ユーザに遮断された場合のみ、音響ビームをキャンセルする。
３．３ フィルタ群のパラメータの計算
算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともに、このパラメータによって、スピーカアレイにおけるフィルタ群を調整する。
音響ビームの経路が算出されたら、音響ビームのスピーカアレイに対する向き角度が分かるようになり、スピーカアレイにおけるフィルタ群を算出することができる。スピーカアレイの各素子の周波数応答が、

であり、そのうち、ｆが周波数、θが角度、Ｒｉが第ｉ個のアレイ素子の周波数応答関数であると、フィルタ群が、

であり、そのうち、ＨＬ１ｉが第ｉ個のフィルタの周波数応答関数である。
アレイ素子の位置については、音響ビーム形成の一般的な定理に基づいてフィルタ群を算出することができ、一般的なアルゴリズムとしては、例えば、最小分散無歪応答アルゴリズム（ＭＶＤＲ）、又は、遅延和ビーム形成アルゴリズム（Delay-And-Sum）等がある。
ＭＶＤＲを例として、フィルタ群は、次のように算出することができる。音響ビームの角度をθＬ１とすると、最も理想的な音響ビームポインティングは、放射エネルギーを、すべてθＬ１に集中させ、その他の領域では０にするべきである。即ち、理想的な音響ビームの応答関数が、

である。
実際に形成可能な音響ビームが、ＤＬ１（θ，ｆ）であり、理想的な音響ビームＤＬ１ｏｐｔ（θ，ｆ）にできる限り近接すべきである。
実際の音響ビームの方程式が、

であり、そのうち、＊Ｔが、ベクトルに対して転置演算を行うことを表す。
したがって、理想的な音響ビームに最も近接した場合、

が得られるべきである。
したがって、

が得られるべきであり、そのうち、Ｒ（θ，ｆ）＊が、Ｒ（θ，ｆ）に対して共役演算を行うことを表す。
もしDelay-And-Sumの場合、次のように算出することができる。
ＨＬ１（ｆ）がＭ個の要素をもつベクトルであり、各要素が、それぞれ、一つのスピーカ素子のフィルタに対応する。第ｉ個のスピーカ素子については、その対応するフィルタがＨＬ１（ｆ）における第ｉ個の要素である。
なお、第２左音響ビーム２、第１右音響ビーム１、第２右音響ビーム２に対応するフィルタ群はＨＬ１（ｆ）の計算に類似する。
以上のステップを経て、理想的なフィルタ群が算出され、音源信号がフィルタリングされてからスピーカアレイによって再生される。各スピーカ素子については、左チャネル音源が左音響ビームフィルタ群によってフィルタリングされてから重畳され、右チャネル音源が右音響ビームフィルタ群によってフィルタリングされてから重畳され、共に重畳されてから該スピーカ素子によって再生される。
現在、スマートテレビ、会議システム等の多くのマルチメディア機器は、カメラ及びオーディオビデオ処理制御チップを備え、例えば対象物認識などの複雑な演算をサポートすることができる。そして、スマートテレビにおけるカメラ及びスピーカアレイの位置は、相対的に固定しており、カメラが、通常、テレビの頂端の中心に位置するのに対し、スピーカアレイがテレビの底辺に位置する。従って、画像認識技術及び自動合焦技術により、カメラで撮影された画像から部屋の壁隅及びユーザの位置を認識することができ、更にカメラの固有パラメータにより、ユーザの部屋における位置、及び、部屋情報例えば部屋サイズ等を算出する。部屋情報及びユーザの位置によれば、好ましいサラウンド効果に達したときのスピーカ音響ビームの向くべき角度を算出することができ、ユーザに好ましいサラウンドサウンド効果を聞かせることができる。そのうち、本発明の一つの実施例において、好ましいサラウンドサウンド効果とは、音響ビームが壁面で一次反射又は二次反射されてからユーザに到達することである。
図１２は、本発明の実施例による適応的サラウンドサウンドを実現するシステムの模式図である。図１２に示すように、該システムは、カメラ１２０１、目標認識及び結像手段１２０２、位置情報抽出手段１２０３、音響ビーム制御手段１２０４、及び、スピーカアレイ１２０５を含む。
カメラ１２０１は、画像を採集するために用いられる。目標認識及び結像手段１２０２は、目標認識技術により、部屋における指定位置及び部屋内にいるユーザに対して認識を行い、合焦制御技術により、カメラを制御して、認識対象目標の合焦画像を採集するとともに、対応する合焦パラメータを記録するために用いられる。位置情報抽出手段１２０３は、採集された合焦画像及び記録された対応する合焦パラメータにより、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出するために用いられる。音響ビーム制御手段１２０４は、算出された部屋のカメラに対する位置情報、ユーザのカメラに対する位置情報、及び、カメラとスピーカアレイとの間の相対的位置関係により、前記部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームの経路を算出してから、算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともに、このパラメータによってスピーカアレイにおけるフィルタ群を調整するために用いられる。スピーカアレイ１２０５は、音声信号を、パラメータの調整されたフィルタ群によりフィルタリングしてから再生して、前記部屋内におけるユーザの位置でサラウンドサウンドを形成するために用いられる。
本発明の一つの実施例において、目標認識及び結像手段１２０２は、壁境界線認識技術により壁隅及び壁境界線を認識し、そして、合焦制御技術により、カメラを制御して、壁隅及び壁境界線に対して合焦して壁隅及び壁境界線の合焦画像を採集し、顔認識技術によりユーザの面部を認識し、そして、合焦制御技術により、カメラを制御して、ユーザの面部に対して合焦してユーザの面部の合焦画像を採集するために用いられる。具体的には、前記「１．目標認識及び合焦結像」における記載を参照すること。
具体的に、目標認識及び結像手段１２０２は、壁境界線認識技術により、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点を認識し、そのうち、壁境界線中点とは、この壁境界線の、合焦画像に現れているその部分の中点であり、顔認識技術により、部屋内にいるユーザの面部を認識し、目標が認識されてから、目標の所在領域に対して計算を行うとともに、計算結果に基づいて、合焦モータを駆動して、カメラに、認識対象目標に対して正確な合焦及び明瞭な結像を行わせる。
本発明の一つの実施例において、目標認識及び結像手段１２０２によって記録された合焦パラメータは、合焦画像の採集時の焦点距離及び像距離を含み、位置情報抽出手段１２０３は、具体的に、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点からカメラまでの被写体距離、及び、そのカメラレンズ中軸線に対する角度を算出し、且つ、左壁境界線の方程式、右壁境界線の方程式及び対向壁境界線の方程式を算出し、ならびに、ユーザからカメラまでの被写体距離、及び、ユーザのカメラレンズ中軸線に対する角度を算出するために用いられる。
具体的に、位置情報抽出手段１２０３は、ユーザの面部の合焦画像を採集するときに記録された焦点距離及び像距離により、共役結像原理に基づいてユーザからカメラまでの被写体距離を得て、合焦画像におけるユーザの面部の位置により、カメラレンズの画角パラメータと合わせて、ユーザのカメラレンズ中軸線に対する角度を確定し、同様に、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点からカメラまでの被写体距離、及び、そのカメラレンズ中軸線に対する角度をそれぞれ得て、左壁隅及び左壁境界線中点の座標情報により、二つの点によって一つの直線が決められるという原理に基づいて、左壁境界線の方程式を得て、右壁隅及び右壁境界線中点の座標情報により、二つの点によって一つの直線が決められるという原理に基づいて、右壁境界線の方程式を得るために用いられる。具体的には、前記２．１、前記２．２を参照すること。
本発明の一つの実施例において、前記音響ビーム制御手段１２０４によって算出された前記部屋内におけるユーザの所在位置でサラウンドサウンドが実現可能な音響ビームは、壁面で一次反射又は二次反射されてから前記ユーザの所在位置に到達した音響ビームであり、次の第１左音響ビーム１、第２左音響ビーム２、第１右音響ビーム１及び第２右音響ビーム２を含む。第１左音響ビーム１は、左側壁にぶつかって、左側壁で一次反射されてユーザの所在位置に到達した音響ビームであり、第２左音響ビーム２は、左側壁にぶつかって、左側壁で一次反射されてから、更に対向壁で一次反射されてユーザの所在位置に到達した音響ビームであり、第１右音響ビーム１は、右側壁にぶつかって、右側壁で一次反射されてユーザの所在位置に到達した音響ビームであり、第２右音響ビーム２は、右側壁にぶつかって、右側壁で一次反射されてから、更に対向壁で一次反射されてユーザの所在位置に到達した音響ビームである。
音響ビーム制御手段１２０４は、具体的に、カメラとスピーカアレイとの間の相対的位置関係により、部屋のカメラに対する位置情報、及び、ユーザのカメラに対する位置情報を、部屋のスピーカアレイに対する位置情報、及び、ユーザのスピーカアレイに対する位置情報に変換し、スピーカアレイの所在位置を零点として、まず、ユーザの左壁境界線に関するミラーポイントを得て、そして、零点及び該ミラーポイントの座標により、二つの点によって一つの直線が決められるという原理に基づいて、第１左音響ビーム１の方程式を得て、スピーカアレイの所在位置を零点として、まず、ユーザの対向壁境界線に関する第１ミラーポイント１を得て、次に、第１ミラーポイント１により、該第１ミラーポイント１の左壁境界線に関する第２ミラーポイント２を得て、そして、零点及び第２ミラーポイント２の座標により、二つの点によって一つの直線が決められるという原理に基づいて、第２左音響ビーム２の方程式を得て、同様にして、第１右音響ビーム１及び第２右音響ビーム２の方程式を得るために用いられる。具体的には、前記３．１における関連記載を参照すること。
音響ビーム制御手段１２０４は、更に、左壁隅及び／又は右壁隅の画像が採集できない場合、対応する側の二つの音響ビームの方向をユーザと一定の角度ずらすか、若しくは、第１左音響ビーム１、第２左音響ビーム２、第１右音響ビーム１及び第２右音響ビーム２のいずれかがユーザに遮断された場合、その音響ビームをキャンセルするために用いられる。
音響ビーム制御手段１２０４は、映像プロセッサによって算出された音響ビームの経路により、最小分散無歪応答アルゴリズム又は遅延和ビーム形成アルゴリズムに基づいて、スピーカアレイにおけるフィルタ群のパラメータを確定するために用いられる。具体的には、前記３．３における関連記載を参照すること。
カメラ１２０１は、受動合焦タイプのカメラ、能動合焦タイプのカメラ、又は、奥行き知覚が可能なカメラである。
以上をまとめて、本発明のような技術方案において、目標認識及び合焦制御技術を用いることにより、部屋における指定位置及びユーザの合焦画像を採集するとともに、合焦パラメータを記録し、更に、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出し、これらの情報により、ユーザの位置でサラウンドサウンドが実現可能な音響ビームの経路を算出し、算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともにフィルタ群を調整して、そして、フィルタ群によってフィルタリングされた音響ビームをスピーカアレイによって再生し、目標部屋内におけるユーザの所在位置でサラウンドサウンドを適応的に形成する。このような方式は、手動で校正する必要がなく、従来のマルチメディア機器にとって、さらなるハードウェアを追加する必要がなく、追加の音響校正過程を避けて、ユーザに最適なスピーカアレイの音響ビームの向き角度を自動的に算出し、ユーザに豊富なサラウンドサウンド効果を体験させ、そして、ユーザが位置を移動した場合でも、移動後の位置でタイムリーにサラウンドサウンドを適応的に実現することができる。本発明の技術方案では、追加の音響校正を避けることができ、機器が簡単で使用しやすく、ユーザの位置及び聴取習慣も限定されなく、従来の音響ビーム形成によってホール内でサラウンドサウンドを生み出す技術の問題点が克服されると同時に、ユーザに好ましいサラウンドサウンド効果を感じさせる。
上記したのは、あくまでも本発明の好ましい実施例であり、本発明の保護範囲を限定するためのものではない。本発明の精神及び原則内になされたすべての変更、均等的置換、改良等は、いずれも本発明の保護範囲に含まれるものとされる。

Claims (12)

  1. 適応的サラウンドサウンドを実現する方法であって、
    目標認識技術により、部屋における指定位置及び部屋内にいるユーザに対して認識を行い、合焦制御技術により、カメラを制御して、認識対象目標の合焦画像を採集するとともに、対応する合焦パラメータを記録するステップであって、前記部屋における指定位置は、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点を含み、そのうち、壁境界線中点は、この壁境界線の、合焦画像に現れているその部分の中点を示す、ステップと、
    採集された合焦画像及び記録された対応する合焦パラメータにより、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出するステップと、
    算出された部屋のカメラに対する位置情報、ユーザのカメラに対する位置情報、及び、カメラとスピーカアレイとの間の相対的位置関係により、前記部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームの経路を算出するステップと、
    算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともに、このパラメータによってスピーカアレイにおけるフィルタ群を調整するステップと、
    音声信号を、前記パラメータの調整されたフィルタ群によってフィルタリングしてから、スピーカアレイによって再生して、前記部屋内におけるユーザの位置でサラウンドサウンドを形成するステップと、
    を含み、
    上記の、部屋のカメラに対する位置情報を算出することは、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点からカメラまでの被写体距離、及び、そのカメラレンズ中軸線に対する角度を算出し、ならびに、左壁境界線の方程式、右壁境界線の方程式及び対向壁境界線の方程式を算出する処理を含む、
    方法。
  2. 上記の、目標認識技術により、部屋における指定位置及び部屋内にいるユーザに対して認識を行い、合焦制御技術により、カメラを制御して、認識対象目標の合焦画像を採集することは、壁境界線認識技術により、前記部屋における指定位置を認識する処理と、顔認識技術により、部屋内におけるユーザの面部を認識する処理と、目標が認識されてから、目標の所在領域に対して計算を行うとともに、計算結果に基づいて、カメラに、認識対象目標に対して正確な合焦及び明瞭な結像を行わせる処理と、を含み、
    上記の、ユーザのカメラに対する位置情報を算出することは、ユーザからカメラまでの被写体距離及びユーザのカメラレンズ中軸線に対する角度を算出する処理を含む、
    請求項１に記載の方法。
  3. 上記の、計算結果に基づいて、カメラに、認識対象目標に対して正確な合焦及び明瞭な結像を行わせる処理は、計算結果に基づいて、合焦モータを駆動して、カメラに、認識対象目標に対して正確な合焦及び明瞭な結像を行わせるか、若しくは、計算結果に基づいて、ライトフィールド再構築方式により、カメラに、認識対象目標に対して正確な合焦及び明瞭な結像を行わせることを含む、
    請求項２に記載の方法。
  4. 上記の、部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームとは、壁面で一次反射又は二次反射されてから前記ユーザの位置に到達した音響ビームであり、第１左音響ビーム、第２左音響ビーム、第１右音響ビーム及び第２右音響ビームを含み、そのうち、
    前記第１左音響ビームは、左側壁にぶつかって、左側壁で一次反射されてユーザの所在位置に到達した音響ビームであり、
    前記第２左音響ビームは、左側壁にぶつかって、左側壁で一次反射されてから、更に対向壁で一次反射されてユーザの所在位置に到達した音響ビームであり、
    前記第１右音響ビームは、右側壁にぶつかって、右側壁で一次反射されてユーザの所在位置に到達した音響ビームであり、
    前記第２右音響ビームは、右側壁にぶつかって、右側壁で一次反射されてから、更に対向壁で一次反射されてユーザの所在位置に到達した音響ビームである、
    請求項２に記載の方法。
  5. 上記の、計算された部屋のカメラに対する位置情報、前記ユーザのカメラに対する位置情報、及び、前記カメラとスピーカアレイとの間の相対的位置関係により、前記部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームの経路を算出することは、
    カメラとスピーカアレイとの間の相対的位置関係により、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を、部屋のスピーカアレイに対する位置情報及びユーザのスピーカアレイに対する位置情報に変換する処理と、
    スピーカアレイの所在位置を零点として、まず、ユーザの左壁境界線に関するミラーポイントを得て、そして、零点及び該ミラーポイントの座標により、二つの点によって一つの直線が決められるという原理に基づいて、前記第１左音響ビームの方程式を得る処理と、
    スピーカアレイの所在位置を零点として、まず、ユーザの対向壁境界線に関する第１ミラーポイントを得て、次に、第１ミラーポイントにより、該第１ミラーポイントの左壁境界線に関する第２ミラーポイントを得て、そして、零点及び第２ミラーポイントの座標により、二つの点によって一つの直線が決められるという原理に基づいて、前記第２左音響ビームの方程式を得る処理と、
    同様に、前記第１右音響ビーム及び前記第２右音響ビームの方程式を得る処理と、
    を含む、請求項４に記載の方法。
  6. 左壁隅及び／又は右壁隅の画像が採集できない場合に、対応する側の二つの音響ビームの方向をユーザと一定の角度ずらすか、若しくは、前記第１左音響ビーム、前記第２左音響ビーム、前記第１右音響ビーム及び前記第２右音響ビームのいずれかがユーザに遮断された場合に、その音響ビームをキャンセルすることを含む、請求項４に記載の方法。
  7. 適応的サラウンドサウンドを実現するシステムであって、
    カメラ、目標認識及び結像手段、位置情報抽出手段、音響ビーム制御手段、及び、スピーカアレイを含み、
    前記カメラは、画像を採集するために用いられ、
    前記目標認識及び結像手段は、目標認識技術により、部屋における指定位置及び部屋内にいるユーザに対して認識を行い、合焦制御技術により、カメラを制御して、認識対象目標の合焦画像を採集するとともに、対応する合焦パラメータを記録するために用いられ、前記部屋における指定位置は、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点を含み、そのうち、壁境界線中点は、この壁境界線の、前記合焦画像に現れているその部分の中点を示し、
    前記位置情報抽出手段は、採集された合焦画像及び記録された対応する合焦パラメータにより、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を算出するために用いられ、
    前記音響ビーム制御手段は、算出された部屋のカメラに対する位置情報、ユーザのカメラに対する位置情報、及び、カメラとスピーカアレイとの間の相対的位置関係により、前記部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームの経路を算出してから、算出された音響ビームの経路により、スピーカアレイにおけるフィルタ群のパラメータを確定するとともに、このパラメータによってスピーカアレイにおけるフィルタ群を調整するために用いられ、
    前記スピーカアレイは、音声信号を、パラメータの調整されたフィルタ群によりフィルタリングしてから再生して、前記部屋内におけるユーザの位置でサラウンドサウンドを形成するために用いられ、
    前記位置情報抽出手段は、具体的に、左壁隅、右壁隅、左壁境界線中点及び右壁境界線中点からカメラまでの被写体距離、及び、そのカメラレンズ中軸線に対する角度を算出し、ならびに、左壁境界線の方程式、右壁境界線の方程式及び対向壁境界線の方程式を算出するために用いられる、
    システム。
  8. 前記目標認識及び結像手段は、具体的に、壁境界線認識技術により、前記部屋における指定位置を認識し、顔認識技術により、部屋内にいるユーザの面部を認識し、目標が認識されてから、目標の所在領域に対して計算を行うとともに、計算結果に基づいて、カメラに、認識対象目標に対して正確な合焦及び明瞭な結像を行わせるために用いられ、
    前記位置情報抽出手段は、具体的に、ユーザからカメラまでの被写体距離及びユーザのカメラレンズ中軸線に対する角度を算出するために用いられる、
    請求項７に記載のシステム。
  9. 前記目標認識及び結像手段は、具体的に、計算結果に基づいて、合焦モータを駆動して、カメラに、認識対象目標に対して正確な合焦及び明瞭な結像を行わせるか、若しくは、計算結果に基づいて、ライトフィールド再構築方式により、カメラに、認識対象目標に対して正確な合焦及び明瞭な結像を行わせるために用いられる、
    請求項８に記載のシステム。
  10. 上記の、部屋内におけるユーザの位置でサラウンドサウンドが実現可能な音響ビームとは、壁面で一次反射又は二次反射されてから前記ユーザの所在位置に到達した音響ビームであり、第１左音響ビーム、第２左音響ビーム、第１右音響ビーム及び第２右音響ビームを含み、そのうち、
    前記第１左音響ビームは、左側壁にぶつかって、左側壁で一次反射されてユーザの所在位置に到達した音響ビームであり、
    前記第２左音響ビームは、左側壁にぶつかって、左側壁で一次反射されてから、更に対向壁で一次反射されてユーザの所在位置に到達した音響ビームであり、
    前記第１右音響ビームは、右側壁にぶつかって、右側壁で一次反射されてユーザの所在位置に到達した音響ビームであり、
    前記第２右音響ビームは、右側壁にぶつかって、右側壁で一次反射されてから、更に対向壁で一次反射されてユーザの所在位置に到達した音響ビームであり、
    前記音響ビーム制御手段は、具体的に、カメラとスピーカアレイとの間の相対的位置関係により、部屋のカメラに対する位置情報及びユーザのカメラに対する位置情報を、部屋のスピーカアレイに対する位置情報及びユーザのスピーカアレイに対する位置情報に変換し、スピーカアレイの所在位置を零点として、まず、ユーザの左壁境界線に関するミラーポイントを得て、そして、零点及び該ミラーポイントの座標により、二つの点によって一つの直線が決められるという原理に基づいて、前記第１左音響ビームの方程式を得て、
    スピーカアレイの所在位置を零点として、まず、ユーザの対向壁境界線に関する第１ミラーポイントを得て、次に、第１ミラーポイントにより、該第１ミラーポイントの左壁境界線に関する第２ミラーポイントを得て、そして、零点及び第２ミラーポイントの座標により、二つの点によって一つの直線が決められるという原理に基づいて、前記第２左音響ビームの方程式を得て、
    同様に、前記第１右音響ビーム及び前記第２右音響ビームの方程式を得るために用いられる、
    請求項８に記載のシステム。
  11. 前記音響ビーム制御手段は、更に、左壁隅及び／又は右壁隅の画像が採集できない場合に、対応する側の二つの音響ビームの方向をユーザと一定の角度ずらすか、若しくは、前記第１左音響ビーム、前記第２左音響ビーム、前記第１右音響ビーム及び前記第２右音響ビームのいずれかがユーザに遮断された場合に、該音響ビームをキャンセルするために用いられる、請求項１０に記載のシステム。
  12. 前記カメラが、受動合焦タイプのカメラ、能動合焦タイプのカメラ、又は、奥行き知覚が可能なカメラである、請求項７に記載のシステム。
JP2016535315A 2013-09-25 2014-06-27 適応的サラウンドサウンドを実現する方法及びシステム Active JP6291055B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201310441607.9 2013-09-25
CN201310441607.9A CN103491397B (zh) 2013-09-25 2013-09-25 一种实现自适应环绕声的方法和系统
PCT/CN2014/080961 WO2015043264A1 (zh) 2013-09-25 2014-06-27 一种实现自适应环绕声的方法和系统

Publications (2)

Publication Number Publication Date
JP2016531511A JP2016531511A (ja) 2016-10-06
JP6291055B2 true JP6291055B2 (ja) 2018-03-14

Family

ID=49831312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016535315A Active JP6291055B2 (ja) 2013-09-25 2014-06-27 適応的サラウンドサウンドを実現する方法及びシステム

Country Status (7)

Country Link
US (2) US9807536B2 (ja)
EP (1) EP2996345B1 (ja)
JP (1) JP6291055B2 (ja)
KR (1) KR101771339B1 (ja)
CN (1) CN103491397B (ja)
DK (1) DK2996345T3 (ja)
WO (1) WO2015043264A1 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
CN103491397B (zh) * 2013-09-25 2017-04-26 歌尔股份有限公司 一种实现自适应环绕声的方法和系统
GB2523353B (en) * 2014-02-21 2017-03-01 Jaguar Land Rover Ltd System for use in a vehicle
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
KR101926013B1 (ko) * 2014-09-26 2018-12-07 애플 인크. 구성가능한 구역을 구비한 오디오 시스템
CN104581541A (zh) * 2014-12-26 2015-04-29 北京工业大学 一种可定位多媒体视听装置及其控制方法
CN104936125B (zh) * 2015-06-18 2017-07-21 三星电子（中国）研发中心 环绕立体声实现方法及装置
CN104967953B (zh) * 2015-06-23 2018-10-09 Tcl集团股份有限公司 一种多声道播放方法和系统
CN105007396A (zh) * 2015-08-14 2015-10-28 山东诚海电子科技有限公司 一种用于课堂教学的定位方法及装置
CN106535059B (zh) * 2015-09-14 2018-05-08 中国移动通信集团公司 重建立体声的方法和音箱及位置信息处理方法和拾音器
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
JP6437695B2 (ja) 2015-09-17 2018-12-12 ソノズ インコーポレイテッド オーディオ再生デバイスのキャリブレーションを容易にする方法
EP3188504B1 (en) 2016-01-04 2020-07-29 Harman Becker Automotive Systems GmbH Multi-media reproduction for a multiplicity of recipients
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
GB201604295D0 (en) 2016-03-14 2016-04-27 Univ Southampton Sound reproduction system
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
CN106162436A (zh) * 2016-06-30 2016-11-23 广东美的制冷设备有限公司 基于多扬声器的播放方法和系统
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US10405125B2 (en) * 2016-09-30 2019-09-03 Apple Inc. Spatial audio rendering for beamforming loudspeaker array
US9955253B1 (en) * 2016-10-18 2018-04-24 Harman International Industries, Incorporated Systems and methods for directional loudspeaker control with facial detection
CN106765874B (zh) * 2016-11-23 2021-05-14 北京小米移动软件有限公司 空气净化的方法及装置
CN106534982A (zh) * 2016-11-28 2017-03-22 南京九致信息科技有限公司 电视设备及音量平衡控制方法
DE102017100628A1 (de) * 2017-01-13 2018-07-19 Visteon Global Technologies, Inc. System und Verfahren zum Bereitstellen einer personenbezogenen Audiowiedergabe
US9980076B1 (en) 2017-02-21 2018-05-22 At&T Intellectual Property I, L.P. Audio adjustment and profile system
CN107170462A (zh) * 2017-03-19 2017-09-15 临境声学科技江苏有限公司 基于mvdr的隐声方法
EP3677054A4 (en) * 2017-09-01 2021-04-21 DTS, Inc. SWEET SPOT ADAPTATION FOR VIRTUALIZED AUDIO
CN109720952A (zh) * 2017-10-30 2019-05-07 上海三菱电梯有限公司 目的楼层登记装置及电梯运行系统
BR112020021608A2 (pt) 2018-04-24 2021-01-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. aparelho e método para renderização de um sinal de áudio para uma reprodução para um usuário
EP3799035A4 (en) * 2018-05-11 2022-04-13 Clepseadra, Inc. ACOUSTIC PROGRAM, ACOUSTIC DEVICE AND ACOUSTIC SYSTEM
US10524053B1 (en) 2018-06-22 2019-12-31 EVA Automation, Inc. Dynamically adapting sound based on background sound
US10440473B1 (en) * 2018-06-22 2019-10-08 EVA Automation, Inc. Automatic de-baffling
JP6716636B2 (ja) * 2018-06-26 2020-07-01 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 設定可能なゾーンを有するオーディオシステム
KR102536323B1 (ko) * 2018-08-16 2023-05-25 삼성전자주식회사 스피커 장치 및 그 제어 방법
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
CN111683325B (zh) * 2019-03-11 2022-02-08 深圳市冠旭电子股份有限公司 音效控制方法、装置、音箱、可穿戴设备及可读存储介质
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
CN112781580B (zh) * 2019-11-06 2024-04-26 佛山市云米电器科技有限公司 家庭设备的定位方法、智能家居设备及存储介质
CN112866894B (zh) * 2019-11-27 2022-08-05 北京小米移动软件有限公司 声场控制方法及装置、移动终端、存储介质
CN113449546A (zh) * 2020-03-24 2021-09-28 南宁富桂精密工业有限公司 室内定位方法与装置及计算机可读储存媒体
CN112153538B (zh) * 2020-09-24 2022-02-22 京东方科技集团股份有限公司 显示装置及其全景声实现方法、非易失性存储介质
CN114697803A (zh) * 2020-12-31 2022-07-01 广州艾美网络科技有限公司 声场调节装置、音箱及音响设备
CN114348821B (zh) * 2021-12-06 2023-09-12 日立楼宇技术（广州）有限公司 一种电梯乘客的引导方法、系统、装置及存储介质
FR3137239A1 (fr) * 2022-06-22 2023-12-29 Sagemcom Broadband Sas Procédé de gestion d’un flux audio à l’aide d’un appareil de prise de vue et équipement décodeur associé

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100922910B1 (ko) * 2001-03-27 2009-10-22 캠브리지 메카트로닉스 리미티드 사운드 필드를 생성하는 방법 및 장치
JP4501559B2 (ja) * 2004-07-07 2010-07-14 ヤマハ株式会社 スピーカ装置の指向性制御方法およびオーディオ再生装置
JP3915804B2 (ja) * 2004-08-26 2007-05-16 ヤマハ株式会社 オーディオ再生装置
US20060140420A1 (en) * 2004-12-23 2006-06-29 Akihiro Machida Eye-based control of directed sound generation
NO327899B1 (no) * 2007-07-13 2009-10-19 Tandberg Telecom As Fremgangsmate og system for automatisk kamerakontroll
GB2457508B (en) * 2008-02-18 2010-06-09 Ltd Sony Computer Entertainmen System and method of audio adaptaton
EP2315458A3 (en) * 2008-04-09 2012-09-12 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Apparatus and method for generating filter characteristics
US8279357B2 (en) * 2008-09-02 2012-10-02 Mitsubishi Electric Visual Solutions America, Inc. System and methods for television with integrated sound projection system
JP2010206451A (ja) * 2009-03-03 2010-09-16 Panasonic Corp カメラ付きスピーカ、信号処理装置、およびａｖシステム
US8441515B2 (en) * 2009-09-17 2013-05-14 Sony Corporation Method and apparatus for minimizing acoustic echo in video conferencing
KR20130122516A (ko) * 2010-04-26 2013-11-07 캠브리지 메카트로닉스 리미티드 청취자의 위치를 추적하는 확성기
JP2012029209A (ja) * 2010-07-27 2012-02-09 Hitachi Ltd 音処理システム
JP2012234431A (ja) * 2011-05-06 2012-11-29 Nippon Telegr & Teleph Corp <Ntt> 境界線検出装置、境界線検出方法、及びプログラム
US20130083948A1 (en) * 2011-10-04 2013-04-04 Qsound Labs, Inc. Automatic audio sweet spot control
EP2618564A1 (en) * 2012-01-18 2013-07-24 Harman Becker Automotive Systems GmbH Method for operating a conference system and device for a conference system
JP5915206B2 (ja) * 2012-01-31 2016-05-11 ヤマハ株式会社 音場制御装置
KR20180097786A (ko) * 2013-03-05 2018-08-31 애플 인크. 하나 이상의 청취자들의 위치에 기초한 스피커 어레이의 빔 패턴의 조정
CN103491397B (zh) * 2013-09-25 2017-04-26 歌尔股份有限公司 一种实现自适应环绕声的方法和系统

Also Published As

Publication number Publication date
KR101771339B1 (ko) 2017-08-24
CN103491397B (zh) 2017-04-26
US20180020311A1 (en) 2018-01-18
CN103491397A (zh) 2014-01-01
KR20160010590A (ko) 2016-01-27
US9807536B2 (en) 2017-10-31
EP2996345A4 (en) 2016-08-03
JP2016531511A (ja) 2016-10-06
US20160134986A1 (en) 2016-05-12
WO2015043264A1 (zh) 2015-04-02
EP2996345B1 (en) 2018-08-08
EP2996345A1 (en) 2016-03-16
US10375502B2 (en) 2019-08-06
DK2996345T3 (en) 2018-11-19

Similar Documents

Publication Publication Date Title
JP6291055B2 (ja) 適応的サラウンドサウンドを実現する方法及びシステム
JP5891424B2 (ja) 立体映像作成装置および立体映像作成方法
US20150022636A1 (en) Method and system for voice capture using face detection in noisy environments
US20110316996A1 (en) Camera-equipped loudspeaker, signal processor, and av system
WO2012177802A2 (en) Signal-enhancing beamforming in an augmented reality environment
JP6835853B6 (ja) プレノプティック・カメラによりキャプチャされた画像をリフォーカシングする方法及びオーディオに基づくリフォーカシング画像システム
JP2010128820A (ja) 立体画像処理装置、方法及びプログラム並びに立体撮像装置
JP7170069B2 (ja) オーディオ装置及びその動作方法
CN1610449A (zh) 扩音设备、再现设备及图像获取设备
US20120050491A1 (en) Method and system for adjusting audio based on captured depth information
US20130329921A1 (en) Optically-controlled speaker system
WO2017149124A1 (en) A method, system and device for generating associated audio and visual signals in a wide angle image system
CN116016836A (zh) 会议视频处理方法及系统
JP5754595B2 (ja) トランスオーラルシステム
JP2020191624A (ja) 電子機器およびその制御方法
JP5954987B2 (ja) 撮影装置及びその処理方法
WO2016202111A1 (zh) 一种基于拍照的音频输出方法和装置
TW202249502A (zh) 在兩個音頻通道上之聲源的離散雙耳空間化
US8743157B2 (en) Audio/visual electronic device having an integrated visual angular limitation device
RU2797362C2 (ru) Аудиоустройство и способ его работы
TWI831084B (zh) 揚聲設備及其控制方法
US20210152733A1 (en) Imaging apparatus
JP2021117130A (ja) ３次元位置推定装置および３次元位置推定方法
JPWO2014132533A1 (ja) 音声入力装置およびその音声入力装置を備えた画像表示装置
TW202338481A (zh) 用於結構光產生的晶圓級光學元件

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170321

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180208

R150 Certificate of patent or registration of utility model

Ref document number: 6291055

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250