JP5675729B2 - オーディオエンハンス型装置 - Google Patents

オーディオエンハンス型装置 Download PDF

Info

Publication number
JP5675729B2
JP5675729B2 JP2012179944A JP2012179944A JP5675729B2 JP 5675729 B2 JP5675729 B2 JP 5675729B2 JP 2012179944 A JP2012179944 A JP 2012179944A JP 2012179944 A JP2012179944 A JP 2012179944A JP 5675729 B2 JP5675729 B2 JP 5675729B2
Authority
JP
Japan
Prior art keywords
user
audio
computer
output
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012179944A
Other languages
English (en)
Other versions
JP2013048412A (ja
Inventor
パンス アレクサンダー
パンス アレクサンダー
ビルブレイ ブレット
ビルブレイ ブレット
イー ハドレイ ダービー
イー ハドレイ ダービー
イー ジョンソン マーティン
イー ジョンソン マーティン
ナディム アイザック ロナルド
ナディム アイザック ロナルド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2013048412A publication Critical patent/JP2013048412A/ja
Application granted granted Critical
Publication of JP5675729B2 publication Critical patent/JP5675729B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Social Psychology (AREA)
  • Remote Sensing (AREA)
  • Biophysics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Emergency Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Ecology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Business, Economics & Management (AREA)
  • Neurosurgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Environmental Sciences (AREA)
  • Otolaryngology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、一般的に、電子装置に係り、より詳細には、電子装置のオーディオ出力に係る。
コンピュータ、移動電話、オーディオプレーヤ、ラップトップ、タブレットコンピュータ、テレビジョン、等の電子装置（以下「電子装置」）は、典型的に、一体化されたオーディオ出力装置（例えば、スピーカ）を有するか、又はオーディオ出力装置と通信できるようにされる。更に、多くの電子装置は、ビジュアル又はビデオ出力装置も備え、或いはビデオディスプレイ装置と通信する。
多くのオーディオ／ビジュアル出力装置は、環境、周囲、状況、番組及び／又は環境に対しオーディオ出力を調整できる場合には、改良されたオーディオ又はビデオ出力を得ることができる。しかしながら、多くのオーディオ及びビデオ出力装置は、特定出力を変化させるためにユーザ入力又は相互作用を必要とするか、或いは可変出力設定を有していない。これらの場合には、オーディオ及び／又はビデオ出力が、特定の環境、番組、状況、等に対し最良品質の音響又は画像を形成し又は出力することができない。
本開示の一例は、コンピューティング装置からオーディオを出力するための方法の形態をとる。この方法は、センサによってユーザを検出することを含む。ユーザが検出されると、プロセスは、ユーザがオーディオ出力装置の現在オーディオ出力に対して最適な範囲であるかどうか決定する。ユーザが最適な範囲内でない場合には、プロセッサがオーディオ出力を変更する。更に、センサは、ユーザがコンピューティング装置を向いているかどうかも決定する。ユーザの向きに基づき、プロセッサは、オーディオ装置を調整する。
本開示の他の例は、コンピュータのオーディオを向上（エンハンス）させるための方法の形態をとる。この方法は、コンピュータに対するユーザの位置をセンサにより決定することを含む。ユーザの位置が決定されると、センサは、コンピュータの環境に対応する環境データを収集する。次いで、プロセッサは、環境データのオーディオビジュアル設定ビュー及びユーザの位置を調整する。
本開示の更に別の例は、コンピュータ及び出力装置を備えた、オーディオを向上させるシステムの形態をとる。コンピュータは、コンピュータに対するユーザの位置を決定するように構成されたセンサを備えている。又、センサは、コンピュータの環境に対応する環境データを収集するようにも構成される。又、コンピュータは、センサと通信するプロセッサであって、ユーザの位置及び環境データを処理しそしてオーディオ出力又はビデオ出力の少なくとも一方を調整するように構成されたプロセッサも備えている。出力装置は、プロセッサと通信し、そしてオーディオ出力又はビデオ出力の少なくとも一方を出力するように構成される。
オーディオ出力を向上させるシステムを示す図である。 図１Ａのシステムのコンピュータのブロック図である。 コンピュータがネットワークを経て第２のコンピュータと通信するところを示す図である。 選択オーディオ及びビデオ処理経路が示された図１Ａのシステムのブロック図である。 ユーザ場所及び位置に基づいてオーディオ出力を調整するための規範的な方法を示すフローチャートである。 オーディオ及び／又はビデオ出力を向上させるための規範的な方法を示すフローチャートである。 複数の人のビデオ会議を表示するコンピュータの図である。 図５Ａのコンピュータに表示されたユーザを第２のコンピュータで捕獲したところを示す上面図である。 個人Ａ及び個人Ｂのオーディオ及びビデオが向上された図５Ａのコンピュータを示す図である。 図５Ａ−５Ｃに示すビデオ会議セッション中に特定の個人のオーディオ及び／又はビデオを向上されための規範的な方法を示すフローチャートである。 インスタントメッセージング、ボイス、又は複数のインスタンスを実行及び表示するビデオチャットプログラムを伴うコンピュータの図である。 図７Ａの複数のオーディオ／ビデオインスタンスに対応するオーディオＡ、Ｂ、Ｃ、Ｄに対するオーディオ方向の図である。 特定のオーディオ／ビデオインスタンスのオーディオを指向するための規範的な方法を示すフローチャートである。
概略
ここに述べる幾つかの実施形態では、この開示は、電子装置からのオーディオ出力を、１つ以上の基準、例えば、アクティブなアプリケーション、ユーザ相互作用、及び環境パラメータに基づいて向上させるための方法の形態をとる。又、この方法は、（もしあっても）著しいアクティブなユーザ相互作用を伴わずにユーザ入力を与えることを含む。換言すれば、このシステムは、ユーザがユーザ入力を物理的に又は故意にシステムに入力する必要がないように、ユーザ入力を補間するのにセンサ及び画像形成装置に依存する。これは、ユーザから直接アクティブな入力を要求せずにオーディオ出力を向上させるように、オーディオ出力装置が異なるユーザパラメータに対して動的に調整を行えるようにする。
１つの実施形態において、このシステムは、ビデオ会議又はチャットに対しオーディオ出力を向上させることができる。あるユーザは、ビデオ会議を使用して、人々のグループと会話をすることができる。例えば、旅行中の親が、子供や配偶者を含む全家族とビデオ会議をすることができる。人々のグループでは、ある人々は、コンピュータの近くに又はコンピュータから離れて位置してもよい。更に、一度に複数の異なる人々が話をしてもよい。ビデオ会議の間に、受信端のユーザは、特に、一度に複数の人々が話をする場合に各人が何と言っているか決定することが困難である。
このシステムは、異なるユーザの画像を捕獲し（例えば、ビデオカメラを経て）そして受信側ユーザは、特定ユーザの音声を向上させることができる。例えば、受信側ユーザは、この実施形態で焦点を当てようとする特定のユーザの画像をタップし（さもなければ、ユーザを選択又は指示し）、そしてこのシステムは、音声をデジタルで向上させると共に、マイクロホンをユーザに向けて、ユーザの音声入力を良好に捕獲する。１つの例において、このシステムは、ディスプレイスクリーンの周囲に離間された複数のマイクロホンを有するコンピュータを備え、そして特定のマイクロホンは、ターンオン／オフされると共に、望ましいオーディオ信号を最良に捕獲するために回転される。
同様に、このシステムは、マイクロホンを指向し、オーディオを向上させ、及び／又は話をしている個人にビデオ画像の焦点を合わせる。口追跡又はスピーチ認識を使用して、話をしている特定のユーザにオーディオ及び／又はビデオの焦点を合わせる。これは、オーディオデータストリームを受け取るユーザが、ユーザの話（例えば、システムの送信側ユーザ）を良く聞きとれるようにする。従って、ユーザの音声又はビデオ画像の一方又は両方の向上特徴は、自動的であってもよいし（例えば、口追跡又はスピーチ認識に基づく）、或いはユーザ入力に基づくものでもよい（例えば、ユーザは、ユーザ又は焦点エリアを選択できる）。
出力オーディオの音質は、環境に少なくとも一部分依存する。例えば、エコー打ち消しが望ましく、及び／又は部屋のサイズ及び音響によって影響を受ける。出力オーディオの音質に影響する２つのファクタは、部屋の大きさ及び反響の質を含む。１つの実施形態では、このシステムは、オーディオ出力装置に対するユーザの場所、オーディオ出力装置に対するユーザの位置（例えば、頭を正面に向けた又はそむけた）、及び環境入力（部屋のサイズ、部屋の反響、温度、等）に基づきオーディオ出力を調整するように構成される。ユーザの入力は、室内の自分の場所、オーディオ出力装置に向いているかどうか、等を含む。更に、このシステムは、ユーザ及び環境入力に基づくだけでなく、コンピュータ又はオーディオ出力装置が動作している現在アプリケーションにも基づいて、オーディオ出力を変化させる。例えば、アプリケーションが電話コールである場合には、音楽プレーヤアプリケーションと比較して応答が変化される。
種々の実施形態において、このシステムは、ビデオ、オーディオ、及び環境センサを含む。例えば、画像センサ（例えば、カメラ）、奥行きセンサ（超音波、赤外線、高周波、等）、等が使用される。更に、望ましい出力は、コンピュータに対するユーザの場所に基づいて変化され、例えば、ユーザが広い部屋の中でコンピュータから離れている場合・対・ユーザが小さな部屋の中でコンピュータに接近している場合、に基づいて変化される。例えば、ある物体がユーザから離れて位置されてビデオに存在する場合には、特定の物体（又はユーザ）の出力オーディオは、物体が離れているかのようにユーザに音を発するように変化される。この具現化では、ユーザの全オーディオ／ビジュアル経験を向上させるために遠フィールド画像のローカルオーディオに奥行きが与えられる。
更に別の実施形態では、このシステムは、ユーザに基づいて出力オーディオを調整するように構成される。男性、女性及び子供は、全て、異なる聴力スペクトルを有し、一般的に、女性は、男性よりも聴力が優れ、そして子供は、大人の男女より聴力が優れている。このシステムは、スピーチ又は顔認識或いは他の性別識別技術を利用して、出力オーディオを特定のユーザに基づいて変化させる。
規範的なシステム
規範的な実施形態において、本開示は、ユーザのオーディオ経験を向上させるシステムの形態である。図１Ａは、向上したオーディオを与える規範的なシステム１００のブロック図である。このシステム１００は、コンピュータ１０２又は他の電子装置及びオーディオ出力装置１０６、１１０（これは、コンピュータ１０２と一体的であるか、それとは個別であるか、又はその両方の組合せである）を備えている。コンピュータ１０２は、処理能力をもつ実質的に任意の形式の電子装置であり、ラップトップ、タブレット、スマートホン、オーディオプレーヤ、及びテレビジョンを含むが、これに限定されない。この実施形態では、コンピュータ１０２は、外部オーディオ出力装置１１０及び一体化されたオーディオ出力装置１０６と通信する。しかしながら、ある例において、システム１００は、単一のオーディオ出力装置１０６、１１０を含んでもよいし、又は複数の他のオーディオ出力装置（例えば、サラウンドサウンド５スピーカシステム）を含んでもよいことに注意されたい。オーディオ出力装置１０６、１１０は、スピーカ、スピーカのセット、ヘッドホン、又は電子信号に応答してサウンドを発生できる他の装置である。
オーディオ装置１０６、１１０は、コンピュータ１０２の上及び／又はコンピュータ１０２の周囲の実質的にどこにでも配置することができる。オーディオ装置１０６、１１０の形式、電力及び構造は、コンピュータ１０２から発生されるオーディオの音質に影響すると共に、最良のサウンドを発生するのに必要な種々のソフトウェア交換にも影響する。
図１Ｂは、規範的なコンピュータ１０２のブロック図である。コンピュータ１０２は、プロセッサ１１８、ネットワーク／通信インターフェイス１２０、入力／出力インターフェイス１２６、ビデオ入力／出力インターフェイス１２８、センサ１２４、メモリ１３０、オーディオ入力／出力インターフェイス１３２、ビデオセンサ１３４、及び／又はマイクロホン１３６を備えている。コンピュータ１０２の種々のコンポーネントは、システムバス１２２（又は複数のシステムバス）を経て電子的に一緒に接続される。種々のコンポーネントは、いずれも、省略及び／又は結合されてもよいことに注意されたい。例えば、ビデオ入力／出力インターフェイス１２８は、オーディオ入力／出力インターフェイス１３２及び汎用入力／出力インターフェイス１２６の一方又は両方と結合されてもよい。更に、コンピュータ１０２は、図示されていない付加的なローカル又はリモートコンポーネントを含み、そして図２は、例示に過ぎない。
プロセッサ１１８は、コンピュータ１０２及びそのコンポーネントの動作を制御する。プロセッサ１１８は、実質的に、受信及び／又は送信インストラクションを処理することのできる電子装置である。例えば、プロセッサ１１８は、マイクロプロセッサ又はマイクロコンピュータである。
ネットワーク／通信インターフェイス１２０は、種々の電気信号を受信及び送信する。例えば、ネットワーク／通信インターフェイス１２０は、コンピュータ１０２をネットワークに接続して、ネットワークを経て他のコンピュータ又は電子装置との間で信号を送信及び受信するのに使用される。又、ネットワーク／通信インターフェイス１２０は、ワイヤレス又はワイヤード接続（インターネット、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、ＵＳＢ、及びＦｉｒｅｗｉｒｅを含むが、これらに限定されない）を経て電子信号を送信及び送出するのにも使用される。
メモリ１３０は、コンピュータ１０２により使用される電子データを記憶する。例えば、メモリ１３０は、これに限定されないが、オーディオファイル、ビデオファイル、ドキュメントファイル、及びデータファイルを含む任意の形式のコンテンツを含む電子データを記憶する。記憶データは、コンピュータの１つ以上の種々のアプリケーション及び／又はオペレーションに対応する。メモリ１３０は、一般的に、これに限定されないが、不揮発性記憶装置、磁気記憶媒体、光学記憶媒体、磁気光学記憶媒体、電気的記憶媒体、リードオンリメモリ、ランダムアクセスメモリ、消去可能なプログラマブルメモリ、及びフラッシュメモリを含む任意のフォーマットである。又、メモリ１３０は、コンピュータ１０２に対してローカル位置に及び／又はそこからリモート位置に設けられてもよい。
種々の入力／出力インターフェイス１２６、１２８、１３２は、入力／出力装置との間の通信を与える。例えば、オーディオ入力／出力インターフェイス１３２は、オーディオ装置１０６、１１０へ入力を与え、及びそこから出力を受け取る。同様に、ビデオ入力／出力インターフェイス１２８は、ディスプレイ装置（例えば、コンピュータモニタ、ディスプレイスクリーン又はテレビジョン）へ入力及び出力を与える。更に、汎用入力／出力インターフェイス１２６、１２８、１３２は、コントロールボタン、スイッチ、等から入力を受け取る。ある実施形態では、入力インターフェイスが結合されてもよい。例えば、入力／出力インターフェイス１２６、１２８、１３２は、（例えば、キーボード、タッチ感知面、マウス、聴覚入力又は他の装置を経て）ユーザ、コンピュータ１０２のコントロールボタン（例えば、電源ボタン、ボリュームボタン）、等からデータを受け取る。更に、入力／出力インターフェイス１１２は、例えば、ユニバーサルシリアルバス（ＵＳＢ）又は他のビデオ／オーディオ／データ入力のような外部装置へデータを送信し／そこからデータを受信する。
図１Ｃにおいて明らかなように、ある場合には、コンピュータ１０２は、ネットワーク１３８を経て第２のコンピュータ１０３と通信する。更に、図１Ｃに示すように、ある場合には、コンピュータ１０２は、ネットワーク１４０を経て別の又は第２のコンピュータ１０３（又はサーバー）に接続される。例えば、コンピュータ１０２は、会議又はチャットアプリケーションのために第２のコンピュータ１０３に接続される。更に、コンピュータ１０２は、第２のコンピュータ１０３からストリーミングオーディオ及び／又はビデオを受信する。
ネットワーク１３８は、第１のコンピュータ１０２と第２のコンピュータ１０３との間に電子的な通信を与える。ネットワーク１３８は、実質上、任意の形式の電子通信メカニズム／経路でよく、そしてワイヤレスでも、ワイヤードでも、又はそれらの組み合わせでもよい。ネットワーク１３８は、インターネット、イーサネット（登録商標）、ユニバーサルシリアルバス（ＵＳＢ）ケーブル、又は無線信号（例えば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標））を含む。
マイクロホン１３６は、コンピュータ１０２に一体化されてもよいし、又は個別に取り付けられてプロセッサ１１８と通信してもよい。マイクロホン１３６は、音響又は電気的送信器であり、オーディオ入力を受信して、そのオーディオに対応する電気的出力を発生するように構成される。複数のマイクロホン１３６がコンピュータ１０２に合体されてもよいし、さもなければ、それと通信するようにされてもよい。例えば、ある具現化において、コンピュータ１０２の周囲の種々の場所に配置された複数のマイクロホンのマイクロホンアレイが設けられる。
ビデオセンサ１３４は、ビデオ又は画像捕獲装置（１つ又は複数）である。ビデオセンサ１３４は、コンピュータ１０２に一体化（例えば、コンピュータ１０２のエンクロージャーに接続）されてもよく、及び／又はコンピュータ１０２の外部にあってそれと通信されてもよい。ビデオセンサ１３４は、ビデオ会議／チャットのような種々のアプリケーションに使用されるビデオ及びスチール画像を捕獲するのに使用できるものである。
図２は、入力から出力への規範的なオーディオ／ビデオ処理経路を示すシステム１００のブロック図である。図１Ａ、１Ｂ及び２を参照すれば、システム１００は、オーディオ及びビデオ出力を向上させ調整するために種々のセンサ間で通信を行う。ビデオセンサ１３４は、プロセッサ１１８にビデオ入力を与え、雑多なセンサ１２４は、プロセッサ１１８にユーザ及び環境データを与え、そしてオーディオ入力１３２は、プロセッサ１１８に入力オーディオを与える。プロセッサ１１８は、種々の入力の処理と、ビデオ及びオーディオ出力の調整とを別々に又は一緒に行って、スピーカ１１０及び／又はディスプレイ１０４に与える。
一例において、ビデオセンサ１３４、センサ１２４、及びオーディオ入力１３２は、ユーザ及び／又はコンピュータ１０２の環境（例えば、部屋、周囲）に関する画像データを与える。プロセッサ１１８は、次いで、スピーカ１１０に送られるオーディオ出力特性を向上又は変更させ、向上したオーディオ経験を与えることができる。オーディオ出力がユーザに音を発する仕方は、ユーザがオーディオ出力装置に対してどこに位置するか、及び部屋又は環境の特性に依存し、又はそれによって影響される。オーディオ特性又は設定が変更されない場合、第１の部屋に特定のサウンドを生じさせるオーディオ信号は、第２の部屋には著しく異なる音を発生させる。例えば、第１の部屋が第２の部屋より小さいか、又は第１の部屋がカーペットで第２の部屋が木製フローリングの場合に、そうである。
それ故、ビデオ及び画像入力並びにオーディオ入力１３２（例えば、エコー特性、コンピュータ１０２に対するユーザの位置、コンピュータ１０２に対するユーザの方向）を受信した後に、オーディオ及びビデオ出力を、プロセッサ１１８により向上させることができる。これは、コンピュータ１０２が、ユーザ及び／又は環境を最良に受け容れるようにオーディオ及び／又はビデオを調整できるようにする。
図２において明らかなように、プロセッサ１１８は、個別の処理ユニット、例えば、画像処理ユニット１４２、ユーザ／環境インターフェイス処理ユニット１４４、オーディオ処理ユニット１４６、及び出力処理ユニット１４５を備えている。これらの処理ユニット１４２、１４４、１４５、１４６は、プロセッサ１１８に一体化されてもよいし、個別の装置であってもよい。各処理ユニット１４２、１４４、１４５、１４６は、センサから出力を受け取り、及びセンサ入力を調整するために特定のセンサと通信することができる。例えば、オーディオ処理ユニット１４６は、話をしている特定のユーザにマイクロホン１３６を向け又は操向してユーザの音声を良好に捕獲する。同様に、画像処理ユニット１４２は、ビデオセンサ１３４を特定のユーザに焦点を合わせ又はズーミングすることができる。更に別の例では、ユーザ／インターフェイス処理ユニット１４４は、付加的な環境／ユーザデータを収集するように特定のセンサ１２４を指向する。更に、出力処理ユニット１４５は、オーディオ信号を後処理し（例えば、ノイズ周波数を減少し、特定の周波数を向上させ、等）、オーディオレベルのエラーを修正し、大きさを特定レベルに調整し（例えば、オーディオ信号をイコライズし）、エコー打ち消しを行い、ピークフィルタリングを行い、等々を行うための周波数フィルタを含む。
ユーザの場所及び位置に基づくオーディオ出力の調整
図３は、ユーザ場所及び位置に基づいてオーディオ出力を調整するための規範的な方法２００を示すフローチャートである。この方法２００は、動作２０２で始まり、コンピュータ１０２は、ユーザ（１人又は複数）を検出する。コンピュータ１０２は、センサ１２４を使用して、動きを捕獲するか、ビデオセンサ１３４を使用して、画像を捕獲しそして分析する（例えば、顔認識）か、或いはオーディオセンサ１３２を使用してユーザによるノイズを捕獲する。
ユーザが検出されると、方法２００は、動作２０４へ進み、コンピュータ１０２は、現在のオーディオ出力設定及びスピーカ１１０の配置に基づきユーザが最適な範囲内にいるかどうか決定する。例えば、コンピュータ１０２は、種々のセンサを使用してユーザの場所を決定する。コンピュータ１０２は、同じセンサ及び方法を使用して、ユーザの存在を検出し、コンピュータ１０２及び／又はスピーカ１１０に対するユーザの場所を決定する。ユーザの場所の検出は、推定又は単一入力であり、例えば、コンピュータは、ユーザがコンピュータ１０２の真ん前にいないことを単純に検出するか、或いは検出がより詳細に行われて、コンピュータ１０２は、より進歩した感知技術を使用して、コンピュータ１０２に対するユーザのおおよその場所を決定する。
ユーザの場所が決定されると、コンピュータ１０２は、ユーザの場所を現在のオーディオ出力設定と比較し、ユーザの位置に基づいてオーディオが最適な範囲内にあるかどうか決定する。一例として、ユーザがコンピュータ１０２から数ヤード離れて位置し、そしてユーザがスピーカ１１０又はコンピュータ１０２の真ん前にいるかのようにオーディオが出力される構成である場合には、オーディオを調整する必要がある。オーディオは、ボリュームが増加されるか、外部スピーカ１１０がターンオンされるか、内部スピーカ１０６がターンオフされるか、サラウンドサウンドが「スクリーンチャンネル」設定からサラウンドサウンドフォーマットにスイッチされるか、或いはサラウンドサウンドチャンネルが内部スピーカから外部スピーカ、並びに左サラウンドチャンネル及び右サラウンドチャンネルに再指向されるように、ユーザに対して調整される。他方、オーディオが既に調整されているか、又は距離設定で構成された場合には、オーディオは、ユーザの場所に基づいて調整される必要はない。
ユーザの場所に最も適するようにするためオーディオを調整する必要がある場合には、方法２００は、動作２０６へ進む。動作２０６は、ユーザの場所に基づいてオーディオを調整する。ユーザがコンピュータ１０２又はスピーカ１０６、１１０から離れて位置する場合には、コンピュータ１０２は、外部スピーカ１１０をアクチベートし、そして内部スピーカ１０６をターンオフする。例えば、外部スピーカ１１０は、サラウンドサウンドスピーカアレイの一部分を形成し、それ故、内部コンピュータスピーカ１０６に比して良好な「部屋」サウンド経験を与えることができる。同様に、ユーザがコンピュータ１０２の真ん前にいる場合には、コンピュータ１０２は、内部スピーカ１０６がアクチベートされるようにオーディオを調整する。
更に、コンピュータ１０２は、これに限定されないが、ボリューム、低音、高音、周波数帯域レベルを含む種々のオーディオ設定を調整する。［［発明者−調整できる他の特性があるか？］］これは、スピーカ１０６、１１０の単一セットしかなくても、及び／又はスピーカ１０６、１１０が調整されなくても、オーディオ信号を調整できるようにする。
オーディオがユーザの場所に基づき調整されると、又は設定されたオーディオ範囲内にユーザが既にいるために動作２０４においてオーディオを調整する必要がない場合には、方法２００は、動作２０８へ進む。動作２０８において、この実施形態は、ユーザがコンピュータ１０２に向けられたかどうか決定する。これは、ユーザがコンピュータ１０２から離れた距離に位置する場合に、ユーザがコンピュータ１０２に向いているかどうか決定することが（パワフルなセンサなしに）困難であるような任意な動作である。しかしながら、他の実施形態では、ユーザがコンピュータ１０２に比較的接近しているか、又はシステム１００が適当なセンサを含む場合に、コンピュータ１０２は、コンピュータ１０２に対するユーザの各方向を決定する。又、ある実施形態では、スピーカ１０６、１１０に対するユーザの方向を決定できることに注意されたい。これは、スピーカ１０６、１１０にセンサを含ませるか、又はコンピュータ１０２に対するユーザの方向を、コンピュータ１０２に対するスピーカ１０６、１１０の場所と比較することで、行われる。
動作２０８において、コンピュータ１０２は、ビデオセンサ１３４を経てユーザの画像を捕獲し、さもなければ、それを与える。画像処理ユニット１４６は、ユーザの目の凝視を追跡する凝視追跡、顔認識、又は他の同様の方法を使用して、コンピュータ１０２に対するユーザの頭の方向を決定する。コンピュータ１０２に対するユーザの方向が決定されると、方法２００は、動作２１０へ進む。
動作２１０は、ユーザの新たな場所を受け容れるようにオーディオ出力装置、及び任意であるが、ユーザ入力装置を調整する。例えば、コンピュータ１０２は、ユーザの方向を良好に受け容れるようにスピーカ１０６、１１０及び／又はオーディオ信号を変化させる。更に、ユーザが（例えば、電話コール、ビデオチャット、口述のために）マイクロホン１３６を使用する場合には、コンピュータ１０２は、ユーザの口の方向に向けてマイクロホン１３６を操向する。動作２１０の後に、コンピュータ１０２は、オーディオ信号をスピーカ１０６、１１０に与える。
ユーザ又は番組に基づく向上
他の実施形態では、システム１００は、ユーザ及び番組の好みに基づきオーディオ及び／又はビデオ出力を向上させるのに使用される。図４は、オーディオ及び／又はビデオ出力を向上させるための規範的な方法３００のフローチャートである。この方法３００は、動作３０２で開始し、そしてコンピュータ１０２は、コンピュータ１０２を使用する特定ユーザを決定する。動作３０２は、ユーザがユーザ名及び／又はパスワードを入れる開始時に決定される。それとは別に又はそれに加えて、コンピュータ１０２は、例えば、デフォールトユーザ、セキュリティシステム、顔認識、等の別の仕方で、装置を使用するユーザを決定する。ユーザが決定された後、方法３００は、動作３０４へ進み、ユーザ（又はコンピュータ１０２）は、特定のアプリケーションを起動する。このアプリケーションは、ビデオ会議／チャットプログラム、音楽プレーヤ、ビデオプレーヤ、等である。このアプリケーションは、オーディオ及び／又はビデオ／画像の観点を含む。
アプリケーションが起動された後、又はアプリケーションが起動されている間に、方法３００は、動作３０６へ進む。この動作３０６は、コンピュータ１０２、スピーカ１０６、１１０及び／又はディスプレイ装置１０４のオーディオ及び／又はビデオ設定が特定のアプリケーションに対して構成されたかどうか決定する。例えば、コンピュータ１０２、及びスピーカ１０６、１１０のオーディオ設定は、音楽を再生するように構成され、一方、起動されるアプリケーションは、ビデオ会議又は遠隔会議プログラムである。この例では、オーディオ及びスピーカ１０６、１１０は、音楽の周波数又は他の特性ではなく、ボイス周波数を良好に受け容れるように調整される。例えば、ボイス周波数は、一般的に、高く且つ大きな範囲を含む音楽周波数に比して、低く且つ小さな範囲を有する。それ故、オーディオがほとんど人々の話である場合に、オーディオは、ボイス周波数の小さな範囲を向上させるように、バンドパスフィルタを通して処理される。同様に、オーディオが音楽である場合には、オーディオは、フィルタリングされないか、又は全ての周波数範囲を出力できるようにノイズフィルタを含む。
動作３０６において、オーディオ或いはビデオ設定又は出力装置（スピーカ１０６、１１０、ディスプレイ１０４）を調整する必要があるとコンピュータ１０２が決定する場合には、方法３００は、動作３０８へ進む。この動作３０８は、相対的な出力信号、設定、及び／又は出力装置を、特定のアプリケーションに良好に相関させるように調整する。
オーディオ及び／又はビデオが特定のアプリケーションに対して構成されると、方法３００は、動作３１０へ進む。この動作３１０は、ユーザが以前に好みを記憶したかどうか決定する。コンピュータ１０２は、動作３０２においてコンピュータ１０２を使用すると決定された特定のユーザによって以前に調整された設定を記憶する。コンピュータ１０２は、選択アプリケーション（又は全てのアプリケーション）に対して特定のユーザにより調整された設定を自動的に記憶する。又は、ユーザは、特定アプリケーションに対して、又は一般的にはユーザがいつコンピュータ１０２を使用するかに対して、入力設定を能動的に調整してもよい。
コンピュータ１０２がユーザの好みに関する情報を以前に記憶した場合には、方法３００は、動作３１２へ進む。この動作３１２は、ユーザの特定の好みを起動する。動作３１２は、選択出力装置（例えば、外部スピーカ１１０）をアクチベートし、ボリューム、最低音、高音又は周波数レベルを調整することを含む。ユーザの好みを受け容れるように特定の装置及び設定を自動的に調整することにより、コンピュータ１０２は、ユーザの希望に基づいてオーディオ及び／又はビデオ出力を自動的に向上させることができる。又、ユーザの好みは、一般的にはオーディオ／ビデオ出力設定に基づき、又は特定のアプリケーションに対するものであることに注意されたい。例えば、あるユーザは、遠隔会議又はビデオ会議が著しく低いボリュームであり且つ内部スピーカ１０６しか使用しないことを好むが、音楽アプリケーションを利用するときには、ユーザは、ボリュームが大きく且つ外部スピーカ１１０及び一体化スピーカ１０６を使用することを好む。
更に、ユーザの好みは、複数の個別のアプリケーションがいつ同時に起動されるかについての設定を含むことに注意されたい。複数の個別のアプリケーションは、ユーザがいつ音楽プレーヤ及びビデオチャットアプリケーションを使用するかを含み、そして各アプリケーションとは個々に異なる変更された設定を含む。
ユーザの好みがアクチベートされるか、又は以前に記憶／セーブされたユーザの好みがないとき、方法３００は、動作３１４へ進む。動作３１４は、コンピュータ１０２に対するユーザの距離、位置及び／又は場所を決定する。これは、図２に示す方法２００と同様である。例えば、コンピュータ１０２は、ビデオセンサ１３４を使用して、ユーザの画像を捕獲し、及び／又はユーザの動きを追跡する。凝視追跡機能を使用して、ビデオ画像を処理し、ユーザの凝視方向、即ち、ユーザが見ようとしている方向を決定する。同様に、コンピュータ１０２は、赤外線、熱、温度、超音波、又は動きセンサのような他のセンサ１２４を使用して、ユーザのおおよその場所を決定する。
コンピュータ１０２からユーザの位置、距離及び／又は場所が決定されると、方法３００は、動作３１６へ進む。動作３１６は、コンピュータ１０２に対するユーザの距離、場所及び／又は位置に基づき、オーディオ及び／又はビデオ出力をいつ調整する必要があるか決定する。コンピュータ１０２は、ユーザの位置情報を現在オーディオ及び／又はビデオ設定と比較して、良好な出力を与えるためにオーディオ及び／又はビデオ設定及び／又は装置を調整するかどうか調べる。設定及び／又は装置情報は、特定の範囲の場所、位置及び／又は距離に対してメモリ１３０に記憶される。又は、設定及び装置は、フィードバックループ又は他のアクティブな調整メカニズムに基づいて動的に調整されてもよい。
動作３１６において、オーディオ及び／又はビデオ出力をユーザの位置に基づいて調整すべき場合には、方法３００は、動作３１８へ進む。この動作３１８は、ユーザの特定の場所及び／又はアプリケーションに対して最良の出力を与える設定を受け容れるようにオーディオ及び／又はビデオの出力を調整する。例えば、ユーザの手をコンピュータ１０２から離れる（ひいては、内部スピーカ１０６から離れる）ように回転した場合に、ユーザの位置及び距離を受け容れるようにオーディオ経験が向上されるようオーディオを調整することができる。同様に、ユーザがコンピュータ１０２から離れるように位置される場合には、異なる出力プロフィールを有するようにオーディオ出力を調整し、及び／又はビデオ出力表示を拡大することができる。
オーディオ出力は、複数の異なる方法を通して調整することができる。オーディオ出力信号は、出力される前に、後処理される。例えば、オーディオは、特定の周波数を向上させ又は減少するためにフィルタリングされてもよく、異なるチャンネル信号（例えば、サラウンドサウンドチャンネル）を含んでもよく、異なる最低音又は高音を含んでもよく、等々である。同様に、オーディオが入力されるときにオーディオ調整が行われてもよい。例えば、マイクロホン１３６は、ビーム操向を通して入力ソースに向けられてもよく、又、マイクロホン１３６は、特定のユーザボイス周波数に対して高い感度を有してもよく、話をしているユーザに向けられない他のマイクロホン１３６又はオーディオ入力センサ１３２がターンオフされるか下げられてもよく、等々である。
オーディオ及び／又はビデオ出力並びに装置が調整されると、方法３００は、動作３１４へ戻る。方法３００が動作３１４へ戻ると、オーディオ及び／又はビデオ出力並びに装置は、ユーザが自分の位置、場所、及び／又はコンピュータ１０２からの距離を変更する場合に、動的に調整される。それ故、オーディオ及び／又はビデオ出力は、ユーザが動きまわるときに自動的に調整され、ユーザに基づいて得られる最良のオーディオ及び／又はビデオ出力を与えることができる。
動作３１６において、オーディオ及び／又はビデオ出力がユーザの位置に基づいて既に調整された場合には、方法３００は、動作３２０へ進み、環境データが収集される。例えば、センサ１３４、ビデオセンサ１３４、及び／又はオーディオ入力１３２を使用するコンピュータ１０２は、コンピュータ１０２を取り巻く環境の特性を収集する。この環境特性は、コンピュータ１０２が位置する部屋／空間の推定サイズ、グローバルポジショニング情報、温度、湿度、反響の質、大きな物体までの距離、等の情報を含む。
一例において、コンピュータ１０２は、（オーディオ入力／出力１３２、又はスピーカ１０６、１１０を経て）音を放射し、そして音及びそれにより生じるエコー（もしあれば）は、マイクロホン１３２及び／又は他のセンサ１３４により感知される。反響オーディオサウンドの感知されたエコー応答及び他の特性は、部屋のサイズ、部屋の反響性、又は他の同様の特性に関する情報を与える。
別の例では、グローバルポジショニング情報又は信号強度分析のような情報を使用して、コンピュータ１０２の場所を決定することができる。この場所は、ユーザのオフィス、家、屋外の場所、等であると決定される（例えば、ユーザ、マッピング又は他の参照情報でプログラムされることにより）。
環境データが収集されると、方法３００は動作３２２へ進み、コンピュータ１０２は、オーディオ及び／又はビデオ出力が特定の環境に対してセットされるかどうか決定する。例えば、コンピュータ１０２の位置がユーザのオフィスであると決定された場合には、オーディオ及び／又はビデオ設定は、低いボリュームとなるように調整される。ユーザは、オフィスにいるときに比して、家では、より高いボリュームでオーディオを再生することを望む。同様に、オフィスにおける一般的な部屋のサイズは、ユーザの家でオーディオを再生するためにコンピュータ１０２が使用される場合より小さい（例えば、ユーザの特定のオフィス）。更に、ある場合に、コンピュータ１０２の場所に基づき、オーディオ及び／又はビデオは、例えば、オフィス又は教室では、ミュートされるか又は再生が防止される。
別の例では、スピーカ１０６、１１０のオーディオ出力設定は、コンピュータ１０２の部屋の反響の質又はサイズを考慮するように調整することが必要である。これは、エコーを除去し、反響し得る周波数を減少するためのオーディオのフィルタリング、又はオーディオの他の後処理を含む。同様に、室内の周囲光の量、例えば、ディスプレイスクリーン又はビデオ信号の輝度の増減に基づいてビデオの画質を調整する必要がある。
動作３２２において、特定の環境に対してオーディオ及び／又はビデオ設定を調整する必要があるとコンピュータ１０２が決定する場合には、この方法は、動作３２４へ進む。動作３２４において、コンピュータは、スピーカ１０６、１１０及び／又はディスプレイスクリーン１０４から、考えられる最良のサウンド及び／又は画像を出力するように当該設定を調整する。動作３２４は、特定の設定（例えば、輝度、コントラスト、高音、最低音、ボリューム）を増加／減少すること、出力信号を特定の仕方で変化させること（例えば、ある周波数を減少し又は向上させるために信号をフィルタリングすること）、出力信号を別の信号と合成すること、或いはオーディオ又はビデオの一方又は両方の出力を調整する他の形式のメカニズムを伴う。
オーディオ及び／又はビデオが調整されると、方法３００は、動作３２０に戻る。このように、コンピュータ１０２は、オーディオ及び／又はビデオの調整と調整との間に環境の状態が変化した場合に環境データを収集し続ける。同様に、動作３２０へ戻ることにより、変更されたオーディオ及び／又はビデオ設定は、特定の環境に対して充分であることが検証される。これは、設定を調整して再テスト（及び必要に応じて再調整）できるようなフィードバックループを与える。
動作３２２の後に、特定の環境に対してオーディオ及び／又はビデオ設定が充分であるとコンピュータ１０２が決定する場合には、方法３００は、動作３２６へ進む。コンピュータ１０２は、出力装置（例えば、テレビジョン、又はスピーカ１０６、１１０）へオーディオ及び／又はビデオを提示又は転送する。
コンピュータ１０２がオーディオ及び／又はビデオを提示するとき、方法３００は動作３２８へ続く。この動作３２８において、コンピュータ１０２は、動きが検出されるかどうか監視する（センサ１３４を経て）。例えば、センサ１３４は、ユーザが自分の位置を変化させる場合に追跡する動き検出器又は他の移動感知装置を含む。同様に、センサ１３４は、ユーザがコンピュータ１０２を持ち運ぶか又は移動するかをコンピュータ１０２が決定するように、コンピュータ１０２が移動するかどうかを決定する加速度計も含む。
動作３２８において、動きが検出されない場合には、方法３００は動作３２６へ戻る。しかしながら、動作３２８において、動きが検出された場合には、方法３００は動作３１４へ戻る。それ故、オーディオ及び／又はビデオが提示されている間にユーザ及び／又はコンピュータ１０２が移動する場合には、コンピュータ１０２は、オーディオ及び／又はビデオ設定が、更新された環境及びユーザの位置に対して充分にセットされたかどうか更に決定する。それ故、コンピュータ１０２は、オーディオ及びビデオ再生の設定を動的に調整することができる。これは、コンピュータ１０２がオーディオ及び／又はビデオを調整し続けて、オーディオ及び／又はビデオを最良の（又は望ましい）設定で提示できるようにする。
ビデオ会議
他の例では、システム１００は、エンハンス（向上）型で且つユーザ調整可能なビデオ会議システムを提供するのに使用される。図５Ａは、複数人ビデオ会議を表示するコンピュータ１０２の一例である。明らかなように、ディスプレイ１０４は、個人Ａ、個人Ｂ、個人Ｃ、及び個人Ｄの画像を含む。個人は、より多くても少なくてもよく、又、システムは、人を伴わずに（例えば、監視システムとして）使用されてもよいことに注意されたい。図５Ｂは、各個人Ａ−Ｄの位置に対するコンピュータ１０２の上面図である。図５Ｂに示すように、各個人Ａ−Ｄは、コンピュータ１０２に対して異なる場所に位置する。
各個人Ａ−Ｄは、異なる場所に且つコンピュータ１０２から変化する距離に位置するので、図５Ａのコンピュータ１０２における各個人Ａ−Ｄの表示も、同様に、個人Ａ−Ｄを、彼等が実際にそうであるように、即ち異なる場所に表示する。更に、マイクロホン１３６も、個人Ａ−Ｄのボイス及び他のサウンドを、コンピュータ１０２に対する個人の位置に基づいてピックアップする。それ故、個人Ａ及びＢは、図５Ａの個人Ｃに比して小さく示され、そして個人Ａ及びＢからのサウンドも、一般的に、個人Ｃからのサウンドより静かなものとして出力される。しかしながら、ある場合には、ビデオ会議を見ているユーザは、個人Ａ及びＢをより良好に又は大きく聞き及び／又は見ることを希望する。例えば、個人Ａ及びＢが瞬間的に話をし、そしてユーザは、出力サウンドを彼等のボイスに焦点を当てることを希望する。
図５Ｃは、個人Ａ及びＢのオーディオ及びビデオを向上させた図５Ａのコンピュータ１０２を示す。図５Ｃにおいて明らかなように、個人Ａ及びＢの画像が拡大され、個人Ｃの画像とほぼ等しいサイズにされている。同様に、図５Ｃには示されていないが、各個人Ａ及びＢからのオーディオも向上される。更に、個人Ａ及び個人Ｂを更に大きく向上させるために、非向上の個人Ｃ及びＤを最小にし又は隠してもよい。又は、個人Ｃ及びＤをほぼ同じままとし、個人Ａ及びＢが個人Ｃ及びＤとほぼ同じサイズになるようにしてもよい。更に、個人Ａ及び個人Ｂの向上は、彼等の画像だけでなく、他の設定も含んでもよい。例えば、各個人が個別のチャットウインドウにある場合には、話をしている個人（例えば、個人Ａ又は個人Ｂ）のウインドウが向上され、例えば、チャットウインドウがカラーを変化させ、境界を含み、又は境界を変更し、ウインドウが拡大され、ディスプレイの前方へ引っ張られ、等々である。
図６は、図５Ａ−５Ｃに示すビデオ会議セッション中に特定の個人のオーディオ及び／又はビデオを向上させるための規範的方法を示すフローチャートである。この方法４００は、動作４０２で始まり、コンピュータ１０２は、特定のビデオ会議セッションに関連した複数のユーザ又は人がいるかどうか決定する。コンピュータ１０２は、ユーザが人数を入力できるようにするためのオプションをユーザに提示し、又はコンピュータ１０２は、顔認識、音声認識、全会議セッション又はディスプレイコンピュータ、等によりユーザの数を決定する。ビデオ会議セッションに参加している個人又はユーザは、個別（例えば、各々が個別のコンピュータ）であるか、集合的（例えば、コンピュータ当たり複数のユーザ）であるか、又は個別及び集合的の組合せ（例えば、あるユーザは個別、あるユーザは集合的）であるか決定されることに注意されたい。
一例において、図５Ａ−５Ｃに示すように、コンピュータ１０２は、４人の個人（個人Ａ−Ｄ）がいるが、各個人Ａ−Ｄは、単一のコンピュータ１０２の前にいることを決定する。コンピュータ１０２は、顔認識、音声認識、及び他の種々のセンサを使用して、コンピュータ１０２の前にいる個人の人数を決定する。しかしながら、他の場合には、個人Ａ−Ｄの各々が個別のコンピュータの前にいるが、コンピュータ１０２のディスプレイ上で一緒にグループ編成され、ビデオ会議の単一インターフェイスを提示することができる。
方法２００は、ユーザの人数を決定すると、動作４０４へ進む。この動作４０４は、話をしているユーザがもしいれば、どのユーザ（ユーザの人数のうちの）であるか決定する。コンピュータ１０２は、ユーザが話をしているかどうか、音声認識、オーディオセンサ、画像データ、等で決定する。話をしているユーザが決定されると、方法４００は、動作４０６へ進み、コンピュータ１０２は、オーディオ入力センサ（マイクロホン）のようなセンサを、話をしているユーザへ向け又は操向する。例えば、オーディオ入力センサが、話をしているユーザに向けて回転されるか、又は指向性マイクロホンが、話をしているユーザに向けてアクチベートされ又は操向される。
オーディオ入力センサが、話をしているユーザへ操向されるか、又は向けられた後に、方法４００は、動作４０８へ進む。この動作４０８は、ユーザ（又はコンピュータ１０２）が、話をしているユーザに焦点を合わせるために出力ビデオを向上させることを望むかどうか決定する。例えば、話をしているユーザが決定された後、コンピュータ１０２は、話をしているユーザのビデオ画像に焦点を合わせたいかどうかについてのオプションを、見ているユーザに提示する。或いは又、コンピュータ１０２は、話をしているユーザの出力を自動的に向上させてもよく、これは、ビデオ会議アプリケーションの設定である。
動作４０８において、話をしているユーザのビデオ出力を向上させるべき場合に、方法４００は、動作４１０へ進み、そして話をしているユーザにズームインするか又は焦点を合わせるようにビデオ出力及び／又はビデオ入力（例えば、ビデオセンサ１３４）を向上させることができる。例えば、図５Ｃに示すように、個人Ａ及びＢが個人Ｃよりスクリーンに接近して見えるように、個人Ａ及び個人Ｂの出力ビデオを向上させることができる。
動作４１０の後に、又は動作４０８において、話をしているユーザに出力ビデオの焦点が合わせられない場合には、方法４００は、動作４１２へ進む。この動作４１２は、話をしているユーザがディスプレイ１０４の中央部からオフセットして位置しているかどうか決定する。例えば、コンピュータ１０２は、顔認識、音声認識、等を使用して、話をしているユーザがディスプレイ１０４上のどこに位置するか決定する。例えば、コンピュータ１０２は、個人Ａが話をしていること、及びその個人がディスプレイ１０４においてスクリーンの右側に表示されることを決定する。しかしながら、動作４１２において、個人Ｃが話をしているユーザである場合には、コンピュータ１０２は、話をしているユーザが実質的にディスプレイ１０４の中央部に位置することを決定する。
動作４１２において、話をしているユーザがディスプレイ１０４の中央部からオフセットして位置している場合には、方法４００は、動作４１４へ進む。この動作４１４は、話をしているユーザの音声が、話をしているユーザが表示されるディスプレイ１０４の側部に向けて傾くようにビデオ会議のオーディオ出力を向上させる。例えば、図５Ｃに示す構成では、オーディオ出力装置１０６、１１０は、話をしているユーザの場所、即ちディスプレイスクリーン１０４の右側から到来するようにオーディオサウンドを生じさせるようセットされる。このように、視聴し／見ているユーザは、話をしているユーザが表示された場所からそのユーザの音声を聞くことができる。
場所を伴う対応オーディオ
他の実施形態では、システム１００は、ビデオ会議ウインドウ又はインスタンスの場所に基づいてオーディオ出力を変更するように構成される。図７Ａは、インスタントメッセージング、ボイス又はビデオチャットプログラムの実行を伴うコンピュータ１０２を示す。例えば、コンピュータ１０２は、アップル社によるｉＣＨＡＴ又はＦａｃｅｔｉｍｅのようなプログラムを実行する。ディスプレイは、複数のチャットインスタンス４３０、４３２、４３４、４３６を含み、各ウインドウは、それ自身のオーディオ、各々、オーディオＡ、オーディオＢ、オーディオＣ、及びオーディオＤを含む。更に、各チャットインスタンスは、ビデオ画像又は写真のような対応画像を含む。
図８は、チャットインスタンスの場所に対応する場所から発生するかのように音を発する出力として特定チャットインスタンスのオーディオを指向するための規範的な方法５００を示すフローチャートである。この方法５００は、動作５０２で始まり、コンピュータ１０２は、２つ以上のチャットインスタンスがあるかどうか決定する。例えば、コンピュータ１０２は、異なるチャットインスタンスに対応する複数のオーディオインスタンスがあるかどうか決定する。２つ以上のオーディオインスタンスもチャットインスタンスもない場合には、方法５００は、動作５１２へ進み、これについては、以下に詳細に述べる。
動作５０２において、２つ以上のオーディオインスタンス又はチャットインスタンスがある場合には、方法５００は、動作５０４へ進む。この動作５０４は、チャットインスタンスがディスプレイ１０４上の異なる場所に配置されるかどうか決定する。例えば、チャットインスタンスは、互いに上にオーバーレイされ、最小化され、又は（図７Ａに示すように）ディスプレイスクリーン１０４上の種々の場所に分散されてもよい。動作５０４において、チャットインスタンスがディスプレイ１０４上の異なる位置に配置されたとコンピュータ１０２が決定した場合には、方法５００は、動作５０６へ進む。
動作５０６は、ユーザが話をしていること、又はどのインスタンスがオーディオ出力を有するか決定する。例えば、コンピュータ１０２は、オーディオＡ、オーディオＢ、オーディオＣ、又はオーディオＤが現在サウンドを発生しているかどうか決定し、これは、ユーザが話をしているか、さもなければ、視聴ユーザへ伝達するサウンドを発しているかどうかに相関している。動作５０６で、現在出力を有するオーディオが決定されると、方法５００は、動作５０８へ進む。この動作５０８は、出力オーディオの場所を決定し、即ちどのチャットインスタンス（及びその場所）が各オーディオに相関するか決定する。例えば、オーディオＡが現在出力を有する場合には、コンピュータ１０２は、チャットインスタンス４３０の場所（ディスプレイ１０４に対する）を決定する。
動作５０８の後、方法５００は、動作５１０へ進み、コンピュータ１０２は、スピーカ１０６、１１０又は他の出力装置からのオーディオ出力を、チャットインスタンスの場所から出るように（又は出るよう見えるように）変更する。例えば、図７Ａに示すように、オーディオＡが出力を有する場合には、スピーカ１１０は、オーディオＡのオーディオがチャットインスタンスのエリアから指向されて見えるように変更される。図７Ｂは、チャットインスタンス４３０、４３２、４３４、４３６に各々対応するオーディオＡ−Ｄのオーディオ方向を示す。図７Ｂにおいて明らかなように、オーディオは、ディスプレイ１０４上のチャットインスタンスの場所に相関する仕方でユーザに向けられる。これは、ユーザが、オーディオＡ−Ｄからのいずれのオーディオも、それらがチャットインスタンスの場所から出力されたかのように聞こえるようにする。これは、ビデオ会議又はビデオチャットアプリケーションにおいてユーザにより現実的なチャット経験を与える。更に、指向性オーディオも、チャットセッション中にユーザのオーディオ経験を向上させる。
動作５１０の後、又は動作５０４の後、方法５００は、動作５１２へ進む。動作５１２は、現在オーディオが終了したかどうか、例えば、特定の個人が話し終えたかどうか決定する。コンピュータ１０２は、チャットがビデオ映像を含む場合には顔認識によってこれを決定するか、或いはオーディオ処理、スピーチ認識、又は他の処理技術によって行う。特定チャットインスタンスのオーディオが終了しない場合には、方法５００は、動作５１４へ進み、コンピュータ１０２は、選択時間中、待機又は休止となる。他方、選択されたチャットインスタンスのオーディオが終了した場合には、方法５００は、動作５１６へ進む。この動作５１６は、チャットインスタンスの１つに対しアクティブな新たなオーディオがあるかどうか決定する。新たなオーディオがある場合には、方法５００は動作５０４へ戻る。しかしながら、別のオーディオがない場合には、方法５００は終了となる。
結論
以上の説明は、広く適用することができる。実施形態の説明は、単なる例示に過ぎず、請求項を含む本開示の範囲がこれらの例に限定されることを示唆するものではない。
１００：システム
１０２：コンピュータ
１０６、１１０：オーディオ出力装置
１１８：プロセッサ
１２０：ネットワーク／通信インターフェイス
１２２：システムバス
１２４：センサ
１２６：入力／出力インターフェイス
１２８：ビデオ入力／出力インターフェイス
１３０：メモリ
１３２：オーディオ入力／出力インターフェイス
１３４：ビデオセンサ
１３６：マイクロホン
１３８：ネットワーク
１４２：画像処理ユニット
１４４：ユーザ／環境インターフェイス処理ユニット
１４５：出力処理ユニット
１４６：オーディオ処理ユニット

Claims (9)

  1. ビデオ会議システム用の方法において、
    センサによりユーザを検出する段階と、
    プロセッサにより、前記ユーザを選択する段階と、
    オーディオ入力装置を、ユーザに向ける段階と、
    オーディオ出力装置の現在オーディオ出力に対して最適な範囲内にユーザがいるかどうか前記プロセッサにより決定する段階と、
    ユーザが最適な範囲内にいない場合には、前記オーディオ出力を変更する段階と、
    ユーザが前記ビデオ会議システムのコンピューティング装置に向いているかどうか前記センサにより決定する段階と、
    ユーザの方向に基づいてオーディオ装置を調整する段階と、
    を備え、前記オーディオ出力装置が、前記ビデオ会議システムの前記コンピューティング装置の内部スピーカである第１のスピーカと、前記コンピューティング装置とは別個の外部スピーカである第２のスピーカと、を含み、前記ユーザが前記最適な範囲内にいない場合には、前記オーディオ出力を変更する前記段階が、前記第２のスピーカをターンオンして、サラウンドサウンドを生成することを含むことを特徴とする、方法。
  2. 第１センサはユーザの存在を決定し、第２センサはユーザの方向を決定する、請求項１に記載の方法。
  3. 前記第１センサは動きセンサであり、前記第２センサはカメラである、請求項２に記載の方法。
  4. 前記ユーザが前記最適な範囲内にいない場合に、オーディオ出力を変更する前記段階は、ボリュームの調整、サウンド位置の調整、出力装置のアクチベーション及びデアクチベーション、又は周波数のフィルタリングの少なくとも１つを含む、請求項１、２、又は３に記載の方法。
  5. 前記オーディオ入力装置は、マイクロホンである、請求項１、２、３、又は４に記載の方法。
  6. ビデオ会議システムにおいてオーディオを向上させるシステムにおいて、
    コンピュータであって、
    一人以上のユーザの位置を検出するように構成されたセンサ、
    前記センサと通信し、前記一人以上のユーザから一人のユーザを選択し、オーディオ入力装置を前記ユーザに向け、前記ユーザが、現在のオーディオ出力に対して最適な範囲内にいるか否かを決定し、且つ前記ユーザが前記コンピュータに向いているかどうかを決定するために前記センサを向けるように構成されたプロセッサ、及び
    前記プロセッサと通信し、オーディオを出力するように構成された出力装置含むコンピュータを備え、
    前記ユーザが最適な範囲にいない場合に、前記出力されるオーディオを修正し、且つ前記ユーザの前記向きに基づいて、前記出力装置を調整し、前記オーディオ出力装置が、前記ビデオ会議システムの前記コンピューティング装置の内部スピーカである第１のスピーカと、前記コンピューティング装置とは別個の外部スピーカである第２のスピーカと、を含み、前記ユーザが前記最適な範囲内にいない場合に、前記出力されるオーディオを修正することが、前記第２のスピーカをターンオンして、サラウンドサウンドを生成することを含むことを特徴とする、システム。
  7. 第１センサはユーザの存在を決定し、第２センサはユーザの方向を決定する、請求項６に記載のシステム。
  8. 前記第１センサは動きセンサであり、前記第２センサはカメラである、請求項７に記載のシステム。
  9. 前記ユーザが前記最適な範囲内にいない場合に、前記出力されるオーディオを修正することが、ボリュームの調整、サウンド位置の調整、前記出力装置のアクチベーション及びデアクチベーション、又は周波数のフィルタリングの少なくとも１つを含む、請求項６、７、又は８に記載のシステム。
JP2012179944A 2011-07-28 2012-07-27 オーディオエンハンス型装置 Active JP5675729B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/193,461 2011-07-28
US13/193,461 US20130028443A1 (en) 2011-07-28 2011-07-28 Devices with enhanced audio

Publications (2)

Publication Number Publication Date
JP2013048412A JP2013048412A (ja) 2013-03-07
JP5675729B2 true JP5675729B2 (ja) 2015-02-25

Family

ID=46763164

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012179944A Active JP5675729B2 (ja) 2011-07-28 2012-07-27 オーディオエンハンス型装置

Country Status (7)

Country Link
US (6) US20130028443A1 (ja)
EP (1) EP2551763A1 (ja)
JP (1) JP5675729B2 (ja)
KR (4) KR101474605B1 (ja)
CN (3) CN109587533A (ja)
TW (1) TWI473009B (ja)
WO (1) WO2013015974A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402151B2 (en) 2011-07-28 2019-09-03 Apple Inc. Devices with enhanced audio

Families Citing this family (162)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8923997B2 (en) 2010-10-13 2014-12-30 Sonos, Inc Method and apparatus for adjusting a speaker system
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US8811648B2 (en) 2011-03-31 2014-08-19 Apple Inc. Moving magnet audio transducer
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
US8917877B2 (en) * 2011-10-12 2014-12-23 Sony Corporation Distance-based rendering of media files
US8879761B2 (en) 2011-11-22 2014-11-04 Apple Inc. Orientation-based audio
US8811630B2 (en) 2011-12-21 2014-08-19 Sonos, Inc. Systems, methods, and apparatus to filter audio
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
WO2013115748A1 (en) * 2012-01-30 2013-08-08 Echostar Ukraine, L.L.C. Apparatus, systems and methods for adjusting output audio volume based on user location
US8937591B2 (en) 2012-04-06 2015-01-20 Apple Inc. Systems and methods for counteracting a perceptual fading of a movable indicator
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US9524098B2 (en) 2012-05-08 2016-12-20 Sonos, Inc. Methods and systems for subwoofer calibration
KR20130134785A (ko) * 2012-05-31 2013-12-10 엘지전자 주식회사 유저 입력 리스폰스 출력 방법 및 이를 위한 홈 디바이스
USD721352S1 (en) 2012-06-19 2015-01-20 Sonos, Inc. Playback device
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9668049B2 (en) 2012-06-28 2017-05-30 Sonos, Inc. Playback device calibration user interfaces
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9690271B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
US8965033B2 (en) 2012-08-31 2015-02-24 Sonos, Inc. Acoustic optimization
US9251787B1 (en) * 2012-09-26 2016-02-02 Amazon Technologies, Inc. Altering audio to improve automatic speech recognition
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US8942410B2 (en) 2012-12-31 2015-01-27 Apple Inc. Magnetically biased electromagnet for audio applications
USD721061S1 (en) 2013-02-25 2015-01-13 Sonos, Inc. Playback device
US20150058877A1 (en) * 2013-08-21 2015-02-26 Harman International Industries, Incorporated Content-based audio/video adjustment
US9450961B2 (en) * 2013-08-30 2016-09-20 Intel Corporation Mechanism for facilitating dynamic adjustments to computing device characteristics in response to changes in user viewing patterns
US10310597B2 (en) 2013-09-03 2019-06-04 Tobii Ab Portable eye tracking device
US10686972B2 (en) 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
EP3041400A1 (en) * 2013-09-03 2016-07-13 Tobii AB Portable eye tracking device
US10885918B2 (en) 2013-09-19 2021-01-05 Microsoft Technology Licensing, Llc Speech recognition using phoneme matching
US9402095B2 (en) 2013-11-19 2016-07-26 Nokia Technologies Oy Method and apparatus for calibrating an audio playback system
KR102012612B1 (ko) 2013-11-22 2019-08-20 애플 인크. 핸즈프리 빔 패턴 구성
CN103607550B (zh) * 2013-11-27 2016-08-24 北京海尔集成电路设计有限公司 一种根据观看者位置调整电视虚拟声道的方法及电视
US9601108B2 (en) * 2014-01-17 2017-03-21 Microsoft Technology Licensing, Llc Incorporating an exogenous large-vocabulary model into rule-based speech recognition
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
WO2015123658A1 (en) 2014-02-14 2015-08-20 Sonic Blocks, Inc. Modular quick-connect a/v system and methods thereof
US9282399B2 (en) 2014-02-26 2016-03-08 Qualcomm Incorporated Listen to people you recognize
US9210379B2 (en) * 2014-02-27 2015-12-08 Google Inc. Displaying a presenter during a video conference
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US10749989B2 (en) 2014-04-01 2020-08-18 Microsoft Technology Licensing Llc Hybrid client/server architecture for parallel processing
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
CN105225681B (zh) * 2014-06-26 2018-09-04 美的集团股份有限公司 语音播放方法及系统
US9367283B2 (en) 2014-07-22 2016-06-14 Sonos, Inc. Audio settings
USD883956S1 (en) 2014-08-13 2020-05-12 Sonos, Inc. Playback device
US9392368B2 (en) * 2014-08-25 2016-07-12 Comcast Cable Communications, Llc Dynamic positional audio
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
CN107113527A (zh) 2014-09-30 2017-08-29 苹果公司 确定扬声器位置变化的方法
US9525943B2 (en) 2014-11-24 2016-12-20 Apple Inc. Mechanically actuated panel acoustic system
US9973851B2 (en) 2014-12-01 2018-05-15 Sonos, Inc. Multi-channel playback of audio content
CN104394491B (zh) * 2014-12-09 2018-01-23 北京奇虎科技有限公司 一种智能耳机、云服务器以及音量调节方法和系统
US10002478B2 (en) * 2014-12-12 2018-06-19 Qualcomm Incorporated Identification and authentication in a shared acoustic space
CN105763956B (zh) * 2014-12-15 2018-12-14 华为终端（东莞）有限公司 视频聊天中录音的方法和终端
US10217379B2 (en) * 2015-01-30 2019-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Modifying vision-assist device parameters based on an environment classification
WO2016131064A1 (en) * 2015-02-13 2016-08-18 Noopl, Inc. System and method for improving hearing
CN106033539B (zh) * 2015-03-20 2019-04-26 上海宝信软件股份有限公司 一种基于视频人脸识别的会议引导方法及系统
US10325600B2 (en) 2015-03-27 2019-06-18 Hewlett-Packard Development Company, L.P. Locating individuals using microphone arrays and voice pattern matching
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
USD768602S1 (en) 2015-04-25 2016-10-11 Sonos, Inc. Playback device
USD906278S1 (en) 2015-04-25 2020-12-29 Sonos, Inc. Media player device
US20170085972A1 (en) 2015-09-17 2017-03-23 Sonos, Inc. Media Player and Media Player Design
USD920278S1 (en) 2017-03-13 2021-05-25 Sonos, Inc. Media playback device with lights
USD886765S1 (en) 2017-03-13 2020-06-09 Sonos, Inc. Media playback device
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
CN104936125B (zh) * 2015-06-18 2017-07-21 三星电子（中国）研发中心 环绕立体声实现方法及装置
US9729118B2 (en) 2015-07-24 2017-08-08 Sonos, Inc. Loudness matching
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
US9712912B2 (en) 2015-08-21 2017-07-18 Sonos, Inc. Manipulation of playback device response using an acoustic filter
US9736610B2 (en) 2015-08-21 2017-08-15 Sonos, Inc. Manipulation of playback device response using signal processing
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
JP6437695B2 (ja) 2015-09-17 2018-12-12 ソノズ インコーポレイテッド オーディオ再生デバイスのキャリブレーションを容易にする方法
USD1043613S1 (en) 2015-09-17 2024-09-24 Sonos, Inc. Media player
CN105430501B (zh) * 2015-12-03 2019-06-04 青岛海信电器股份有限公司 一种音量调节方法和系统
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US9886234B2 (en) 2016-01-28 2018-02-06 Sonos, Inc. Systems and methods of distributing audio to one or more playback devices
US10354638B2 (en) 2016-03-01 2019-07-16 Guardian Glass, LLC Acoustic wall assembly having active noise-disruptive properties, and/or method of making and/or using the same
US10134379B2 (en) 2016-03-01 2018-11-20 Guardian Glass, LLC Acoustic wall assembly having double-wall configuration and passive noise-disruptive properties, and/or method of making and/or using the same
US10048929B2 (en) * 2016-03-24 2018-08-14 Lenovo (Singapore) Pte. Ltd. Adjusting volume settings based on proximity and activity data
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
CN105979358A (zh) * 2016-05-05 2016-09-28 青岛海信电器股份有限公司 一种音量调节方法、装置和智能终端
CN110633067B (zh) * 2016-06-16 2023-02-28 Oppo广东移动通信有限公司 一种音效参数的调节方法及移动终端
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
EP3504884A1 (en) * 2016-08-29 2019-07-03 Zound Industries International AB Audio device and a system of audio devices
CN106303688A (zh) * 2016-08-29 2017-01-04 青岛海信电器股份有限公司 一种终端中的声音平衡参数调节方法和系统
US10310803B2 (en) * 2016-09-02 2019-06-04 Bose Corporation Systems and methods for controlling a modular speaker system
USD827671S1 (en) 2016-09-30 2018-09-04 Sonos, Inc. Media playback device
USD851057S1 (en) 2016-09-30 2019-06-11 Sonos, Inc. Speaker grill with graduated hole sizing over a transition area for a media device
US10412473B2 (en) 2016-09-30 2019-09-10 Sonos, Inc. Speaker grill with graduated hole sizing over a transition area for a media device
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
CN109983765A (zh) * 2016-12-05 2019-07-05 惠普发展公司，有限责任合伙企业 经由全方位相机的视听传输调整
US11388533B2 (en) * 2016-12-13 2022-07-12 QSIC Pty Ltd Sound management method and system
CN106851469A (zh) * 2017-02-16 2017-06-13 深圳创维－Rgb电子有限公司 一种调整音箱输出音频的方法和装置
US10304473B2 (en) 2017-03-15 2019-05-28 Guardian Glass, LLC Speech privacy system and/or associated method
US10726855B2 (en) 2017-03-15 2020-07-28 Guardian Glass, Llc. Speech privacy system and/or associated method
US20180268840A1 (en) * 2017-03-15 2018-09-20 Guardian Glass, LLC Speech privacy system and/or associated method
US10373626B2 (en) 2017-03-15 2019-08-06 Guardian Glass, LLC Speech privacy system and/or associated method
WO2018189819A1 (ja) * 2017-04-12 2018-10-18 ヤマハ株式会社 情報処理装置、情報処理方法、及びプログラム
CN107977187B (zh) * 2017-11-24 2021-03-30 广东小天才科技有限公司 一种混响调节方法及电子设备
EP3503579B1 (en) * 2017-12-20 2022-03-23 Nokia Technologies Oy Multi-camera device
JP7127138B2 (ja) * 2018-02-08 2022-08-29 ライン プラス コーポレーション チャットルームを３次元形態で提供する方法、システム、および非一時なコンピュータ読み取り可能な記録媒体
CN108428452B (zh) * 2018-03-14 2019-12-13 百度在线网络技术（北京）有限公司 终端支架和远场语音交互系统
EP3588926B1 (en) * 2018-06-26 2021-07-21 Nokia Technologies Oy Apparatuses and associated methods for spatial presentation of audio
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
NO20181210A1 (en) 2018-08-31 2020-03-02 Elliptic Laboratories As Voice assistant
US10652687B2 (en) 2018-09-10 2020-05-12 Apple Inc. Methods and devices for user detection based spatial audio playback
WO2020057830A1 (en) * 2018-09-18 2020-03-26 Arcelik Anonim Sirketi Television for automatic sound adjustment
CN111225318A (zh) * 2018-11-23 2020-06-02 北京小米移动软件有限公司 音频调节方法及装置、电子设备
US11082109B2 (en) 2019-02-22 2021-08-03 Aerial Technologies Inc. Self-learning based on Wi-Fi-based monitoring and augmentation
US11913970B2 (en) 2019-02-22 2024-02-27 Aerial Technologies Inc. Wireless motion detection using multiband filters
WO2020170221A1 (en) 2019-02-22 2020-08-27 Aerial Technologies Inc. Handling concept drift in wi-fi-based localization
US11218769B2 (en) * 2019-02-22 2022-01-04 Aerial Technologies Inc. Smart media display
US11593837B2 (en) 2019-02-22 2023-02-28 Aerial Technologies Inc. Advertisement engagement measurement
US11586952B2 (en) 2019-02-22 2023-02-21 Aerial Technologies Inc. Robotic H matrix creation
KR20210009189A (ko) * 2019-07-16 2021-01-26 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2021021074A1 (en) 2019-07-26 2021-02-04 Hewlett-Packard Development Company, L.P. Setting adjustments based on radar
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
US11448726B2 (en) 2019-08-28 2022-09-20 Aerial Technologies Inc. System and method for presence and pulse detection from wireless signals
US11523253B2 (en) 2019-09-06 2022-12-06 Aerial Technologies Inc. Monitoring activity using Wi-Fi motion detection
CN110767229B (zh) * 2019-10-15 2022-02-01 广州国音智能科技有限公司 基于声纹的音频输出方法、装置、设备及可读存储介质
US11736767B2 (en) * 2020-05-13 2023-08-22 Roku, Inc. Providing energy-efficient features using human presence detection
US11202121B2 (en) * 2020-05-13 2021-12-14 Roku, Inc. Providing customized entertainment experience using human presence detection
US11395232B2 (en) * 2020-05-13 2022-07-19 Roku, Inc. Providing safety and environmental features using human presence detection
CN111586553B (zh) * 2020-05-27 2022-06-03 京东方科技集团股份有限公司 显示装置及其工作方法
CN116438510A (zh) 2020-06-26 2023-07-14 苹果公司 用于内容应用程序的设备、方法和图形用户界面
CN111757159B (zh) * 2020-06-30 2022-08-19 联想(北京)有限公司 一种多媒体数据同步方法及装置、设备
US11714595B1 (en) * 2020-08-07 2023-08-01 mmhmm inc. Adaptive audio for immersive individual conference spaces
US11340864B2 (en) * 2020-08-11 2022-05-24 International Business Machines Corporation Communication device audio transmission modification
US11340865B2 (en) 2020-08-11 2022-05-24 International Business Machines Corporation Communication device audio transmission modification
US11132171B1 (en) * 2020-08-17 2021-09-28 Lenovo (Singapore) Pte. Ltd. Audio setting configuration
US20220095074A1 (en) * 2020-09-21 2022-03-24 Dell Products, Lp Method to adapt audio processing based on user attention sensing and system therefor
KR20230050466A (ko) 2020-09-25 2023-04-14 애플 인크. 사용자 인터페이스들을 내비게이팅하기 위한 방법들
TWD213275S (zh) * 2020-11-06 2021-08-11 仁寶電腦工業股份有限公司 筆記型電腦
CN113194384A (zh) * 2020-12-28 2021-07-30 汉桑（南京）科技有限公司 一种音响参数确定方法和系统
US11895466B2 (en) 2020-12-28 2024-02-06 Hansong (Nanjing) Technology Ltd. Methods and systems for determining parameters of audio devices
TWI751866B (zh) 2020-12-29 2022-01-01 仁寶電腦工業股份有限公司 影音通訊系統及其控制方法
US11470162B2 (en) * 2021-01-30 2022-10-11 Zoom Video Communications, Inc. Intelligent configuration of personal endpoint devices
WO2022215187A1 (ja) * 2021-04-07 2022-10-13 株式会社ネイン 音声再生システム、音声再生方法およびコンピュータプログラム
CN113490022A (zh) * 2021-05-20 2021-10-08 周彩凤 一种户外移动多媒体播放系统
CN113676687A (zh) * 2021-08-30 2021-11-19 联想(北京)有限公司 一种信息处理方法及电子设备
CN113986005B (zh) * 2021-10-13 2023-07-07 电子科技大学 基于集成学习的多模态融合视线估计框架
WO2023172272A1 (en) * 2022-03-11 2023-09-14 Hewlett-Packard Development Company, L.P. Display devices focus indicators
WO2024060043A1 (en) * 2022-09-21 2024-03-28 Citrix Systems, Inc. Computing device and methods providing virtual computing session volume adjustment features
KR20240071683A (ko) * 2022-11-16 2024-05-23 삼성전자주식회사 전자 장치 및 그 음향 출력 방법

Family Cites Families (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4081631A (en) 1976-12-08 1978-03-28 Motorola, Inc. Dual purpose, weather resistant data terminal keyboard assembly including audio porting
US4658425A (en) 1985-04-19 1987-04-14 Shure Brothers, Inc. Microphone actuation control system suitable for teleconference systems
JPH02102905A (ja) 1988-10-07 1990-04-16 Matsushita Electric Ind Co Ltd 小形電子機器のベルトクリップ
JP3095484B2 (ja) * 1991-11-06 2000-10-03 株式会社東芝 オーディオ信号出力装置
US5621806A (en) 1992-02-14 1997-04-15 Texas Instruments Incorporated Apparatus and methods for determining the relative displacement of an object
US5335011A (en) 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
KR19990037726A (ko) 1995-09-02 1999-05-25 헨리 에이지마 판넬형 음향 방사소자들로 구성된 라우드스피커
US5570324A (en) 1995-09-06 1996-10-29 Northrop Grumman Corporation Underwater sound localization system
GB2310559B (en) 1996-02-23 2000-09-20 Nokia Mobile Phones Ltd Audio output apparatus for a mobile communication device
US6073033A (en) 1996-11-01 2000-06-06 Telxon Corporation Portable telephone with integrated heads-up display and data terminal functions
EP0840396B1 (en) 1996-11-04 2003-02-19 Molex Incorporated Electrical connector for telephone handset
US6317237B1 (en) 1997-07-31 2001-11-13 Kyoyu Corporation Voice monitoring system using laser beam
US5940118A (en) * 1997-12-22 1999-08-17 Nortel Networks Corporation System and method for steering directional microphones
US6151401A (en) 1998-04-09 2000-11-21 Compaq Computer Corporation Planar speaker for multimedia laptop PCs
US6154551A (en) 1998-09-25 2000-11-28 Frenkel; Anatoly Microphone having linear optical transducers
GB2342802B (en) 1998-10-14 2003-04-16 Picturetel Corp Method and apparatus for indexing conference content
DE19854373B4 (de) 1998-11-25 2005-02-24 Robert Bosch Gmbh Verfahren zur Steuerung der Empfindlichkeit eines Mikrofons
US6304648B1 (en) * 1998-12-21 2001-10-16 Lucent Technologies Inc. Multimedia conference call participant identification system and method
US6192253B1 (en) 1999-10-06 2001-02-20 Motorola, Inc. Wrist-carried radiotelephone
GB2359177A (en) 2000-02-08 2001-08-15 Nokia Corp Orientation sensitive display and selection mechanism
US6934394B1 (en) 2000-02-29 2005-08-23 Logitech Europe S.A. Universal four-channel surround sound speaker system for multimedia computer audio sub-systems
US6909921B1 (en) 2000-10-19 2005-06-21 Destiny Networks, Inc. Occupancy sensor and method for home automation system
SE518418C2 (sv) 2000-12-28 2002-10-08 Ericsson Telefon Ab L M Ljudbaserad närhetsdetektor
US7130705B2 (en) * 2001-01-08 2006-10-31 International Business Machines Corporation System and method for microphone gain adjust based on speaker orientation
US20020131611A1 (en) * 2001-03-13 2002-09-19 Hoover Alan Anderson `Audio surround sound power management switching
JP2003032776A (ja) * 2001-07-17 2003-01-31 Matsushita Electric Ind Co Ltd 再生システム
US20030048353A1 (en) * 2001-08-07 2003-03-13 Michael Kenoyer System and method for high resolution videoconferencing
US6829018B2 (en) 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
JP3715224B2 (ja) 2001-09-18 2005-11-09 本田技研工業株式会社 車両に搭載されるエンターテイメントシステム
JP2003134591A (ja) * 2001-10-22 2003-05-09 Alpine Electronics Inc オーディオシステム
KR100437142B1 (ko) 2001-12-07 2004-06-25 에피밸리 주식회사 광 마이크로 폰
JP2003338769A (ja) 2002-05-22 2003-11-28 Nec Access Technica Ltd 携帯無線端末装置
US8947347B2 (en) * 2003-08-27 2015-02-03 Sony Computer Entertainment Inc. Controlling actions in a video game unit
WO2004025938A1 (en) 2002-09-09 2004-03-25 Vertu Ltd Cellular radio telephone
JP2004118314A (ja) 2002-09-24 2004-04-15 Advanced Telecommunication Research Institute International 発話者検出システムおよびそれを用いたテレビ会議システム
US7003099B1 (en) 2002-11-15 2006-02-21 Fortmedia, Inc. Small array microphone for acoustic echo cancellation and noise suppression
US20040203520A1 (en) 2002-12-20 2004-10-14 Tom Schirtzinger Apparatus and method for application control in an electronic device
US7266189B1 (en) 2003-01-27 2007-09-04 Cisco Technology, Inc. Who said that? teleconference speaker identification apparatus and method
US7606372B2 (en) 2003-02-12 2009-10-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device and method for determining a reproduction position
US8126155B2 (en) * 2003-07-02 2012-02-28 Fuji Xerox Co., Ltd. Remote audio device management system
US7154526B2 (en) 2003-07-11 2006-12-26 Fuji Xerox Co., Ltd. Telepresence system and method for video teleconferencing
US6813218B1 (en) 2003-10-06 2004-11-02 The United States Of America As Represented By The Secretary Of The Navy Buoyant device for bi-directional acousto-optic signal transfer across the air-water interface
EP1542503B1 (en) 2003-12-11 2011-08-24 Sony Deutschland GmbH Dynamic sweet spot tracking
US7492913B2 (en) * 2003-12-16 2009-02-17 Intel Corporation Location aware directed audio
US7613313B2 (en) * 2004-01-09 2009-11-03 Hewlett-Packard Development Company, L.P. System and method for control of audio field based on position of user
US20050271216A1 (en) 2004-06-04 2005-12-08 Khosrow Lashkari Method and apparatus for loudspeaker equalization
GB0419346D0 (en) 2004-09-01 2004-09-29 Smyth Stephen M F Method and apparatus for improved headphone virtualisation
TW200629959A (en) 2004-09-22 2006-08-16 Citizen Electronics Electro-dynamic exciter
KR100754385B1 (ko) 2004-09-30 2007-08-31 삼성전자주식회사 오디오/비디오 센서를 이용한 위치 파악, 추적 및 분리장치와 그 방법
US8237770B2 (en) * 2004-10-15 2012-08-07 Lifesize Communications, Inc. Audio based on speaker position and/or conference location
JP4741261B2 (ja) * 2005-03-11 2011-08-03 株式会社日立製作所 ビデオ会議システム、プログラムおよび会議端末
US8031891B2 (en) * 2005-06-30 2011-10-04 Microsoft Corporation Dynamic media rendering
CN1925319A (zh) * 2005-09-01 2007-03-07 乐金电子（惠州）有限公司 使用速度传感器的音量自动调节装置及其调节方法
JP4466519B2 (ja) * 2005-09-15 2010-05-26 ヤマハ株式会社 Ａｖアンプ装置
US7378963B1 (en) 2005-09-20 2008-05-27 Begault Durand R Reconfigurable auditory-visual display
EP1949753A1 (en) 2005-10-21 2008-07-30 SFX Technologies Limited Improvements to audio devices
JP2007134939A (ja) * 2005-11-10 2007-05-31 Sony Corp スピーカ装置および映像表示装置
DE102005057406A1 (de) 2005-11-30 2007-06-06 Valenzuela, Carlos Alberto, Dr.-Ing. Verfahren zur Aufnahme einer Tonquelle mit zeitlich variabler Richtcharakteristik und zur Wiedergabe sowie System zur Durchführung des Verfahrens
KR100673849B1 (ko) 2006-01-18 2007-01-24 주식회사 비에스이 메인보드에 실장되는 콘덴서 마이크로폰 및 이를 포함하는이동통신 단말기
US8125508B2 (en) * 2006-01-24 2012-02-28 Lifesize Communications, Inc. Sharing participant information in a videoconference
US7768543B2 (en) * 2006-03-09 2010-08-03 Citrix Online, Llc System and method for dynamically altering videoconference bit rates and layout based on participant activity
US20140373144A9 (en) * 2006-05-22 2014-12-18 Alen Capalik System and method for analyzing unauthorized intrusion into a computer network
JP2008113164A (ja) * 2006-10-30 2008-05-15 Yamaha Corp 通信装置
US8401210B2 (en) * 2006-12-05 2013-03-19 Apple Inc. System and method for dynamic control of audio playback based on the position of a listener
US8289363B2 (en) * 2006-12-28 2012-10-16 Mark Buckler Video conferencing
US20080204379A1 (en) 2007-02-22 2008-08-28 Microsoft Corporation Display with integrated audio transducer device
JPWO2008105429A1 (ja) * 2007-02-27 2010-06-03 京セラ株式会社 通信端末およびその制御方法
CN101690149B (zh) 2007-05-22 2012-12-12 艾利森电话股份有限公司 用于群组声音远程通信的方法和装置
US8004493B2 (en) 2007-06-08 2011-08-23 Apple Inc. Methods and systems for providing sensory information to devices and peripherals
JP4488036B2 (ja) * 2007-07-23 2010-06-23 ヤマハ株式会社 スピーカアレイ装置
EP2183913A4 (en) 2007-07-30 2011-06-22 Lg Electronics Inc DISPLAY ARRANGEMENT AND SPEAKER SYSTEM FOR THE DISPLAY ARRANGEMENT
WO2009034412A1 (en) * 2007-09-13 2009-03-19 Alcatel Lucent Method of controlling a video conference
EP2094032A1 (en) 2008-02-19 2009-08-26 Deutsche Thomson OHG Audio signal, method and apparatus for encoding or transmitting the same and method and apparatus for processing the same
US8417298B2 (en) 2008-04-01 2013-04-09 Apple Inc. Mounting structures for portable electronic devices
US8693698B2 (en) 2008-04-30 2014-04-08 Qualcomm Incorporated Method and apparatus to reduce non-linear distortion in mobile computing devices
CA2727569C (en) * 2008-06-09 2017-09-26 Vidyo, Inc. Improved view layout management in scalable video and audio communication systems
US8130257B2 (en) * 2008-06-27 2012-03-06 Microsoft Corporation Speaker and person backlighting for improved AEC and AGC
US8597031B2 (en) * 2008-07-28 2013-12-03 Breakthrough Performancetech, Llc Systems and methods for computerized interactive skill training
US20100040217A1 (en) * 2008-08-18 2010-02-18 Sony Ericsson Mobile Communications Ab System and method for identifying an active participant in a multiple user communication session
CN101420485A (zh) * 2008-10-13 2009-04-29 闻泰集团有限公司 一种根据运动速度自动调节振铃音量的手机和方法
US8218397B2 (en) 2008-10-24 2012-07-10 Qualcomm Incorporated Audio source proximity estimation using sensor array for noise reduction
US20100118112A1 (en) 2008-11-13 2010-05-13 Polycom, Inc. Group table top videoconferencing device
JP5608678B2 (ja) * 2008-12-16 2014-10-15 コーニンクレッカ フィリップス エヌ ヴェ パーティクルフィルタリングを利用した音源位置の推定
US8358599B2 (en) * 2009-05-05 2013-01-22 Cisco Technology, Inc. System for providing audio highlighting of conference participant playout
US20100309284A1 (en) * 2009-06-04 2010-12-09 Ramin Samadani Systems and methods for dynamically displaying participant activity during video conferencing
US20100328419A1 (en) * 2009-06-30 2010-12-30 Walter Etter Method and apparatus for improved matching of auditory space to visual space in video viewing applications
US20110002487A1 (en) 2009-07-06 2011-01-06 Apple Inc. Audio Channel Assignment for Audio Output in a Movable Device
US8340312B2 (en) 2009-08-04 2012-12-25 Apple Inc. Differential mode noise cancellation with active real-time control for microphone-speaker combinations used in two way audio communications
US8390665B2 (en) * 2009-09-03 2013-03-05 Samsung Electronics Co., Ltd. Apparatus, system and method for video call
US8749609B2 (en) * 2009-09-03 2014-06-10 Samsung Electronics Co., Ltd. Apparatus, system and method for video call
US8441515B2 (en) * 2009-09-17 2013-05-14 Sony Corporation Method and apparatus for minimizing acoustic echo in video conferencing
US8976986B2 (en) * 2009-09-21 2015-03-10 Microsoft Technology Licensing, Llc Volume adjustment based on listener position
US8144633B2 (en) * 2009-09-22 2012-03-27 Avaya Inc. Method and system for controlling audio in a collaboration environment
US20110103624A1 (en) * 2009-11-03 2011-05-05 Bran Ferren Systems and Methods for Providing Directional Audio in a Video Teleconference Meeting
CN102860039B (zh) 2009-11-12 2016-10-19 罗伯特·亨利·弗莱特 免提电话和/或麦克风阵列以及使用它们的方法和系统
US8350891B2 (en) * 2009-11-16 2013-01-08 Lifesize Communications, Inc. Determining a videoconference layout based on numbers of participants
US20110123030A1 (en) 2009-11-24 2011-05-26 Sharp Laboratories Of America, Inc. Dynamic spatial audio zones configuration
KR101636716B1 (ko) * 2009-12-24 2016-07-06 삼성전자주식회사 발언자를 구별하는 영상 회의 장치 및 방법
US8560309B2 (en) 2009-12-29 2013-10-15 Apple Inc. Remote conferencing center
US9077849B2 (en) * 2010-02-12 2015-07-07 One Room, Ltd. Public collaboration system
US8723915B2 (en) * 2010-04-30 2014-05-13 International Business Machines Corporation Multi-participant audio/video communication system with participant role indicator
US8452037B2 (en) 2010-05-05 2013-05-28 Apple Inc. Speaker clip
US9723260B2 (en) * 2010-05-18 2017-08-01 Polycom, Inc. Voice tracking camera with speaker identification
US8395653B2 (en) * 2010-05-18 2013-03-12 Polycom, Inc. Videoconferencing endpoint having multiple voice-tracking cameras
US8611570B2 (en) 2010-05-25 2013-12-17 Audiotoniq, Inc. Data storage system, hearing aid, and method of selectively applying sound filters
US8644519B2 (en) 2010-09-30 2014-02-04 Apple Inc. Electronic devices with improved audio
US20120200661A1 (en) * 2011-02-03 2012-08-09 Mock Wayne E Reserved Space in a Videoconference Layout
US8811648B2 (en) 2011-03-31 2014-08-19 Apple Inc. Moving magnet audio transducer
US9007871B2 (en) 2011-04-18 2015-04-14 Apple Inc. Passive proximity detection
US8320939B1 (en) * 2011-04-21 2012-11-27 Google Inc. Crowd-sourced information for interior localization and navigation
US20120306823A1 (en) 2011-06-06 2012-12-06 Apple Inc. Audio sensors
US9030520B2 (en) * 2011-06-20 2015-05-12 Polycom, Inc. Automatic camera selection for videoconferencing
US20130028443A1 (en) 2011-07-28 2013-01-31 Apple Inc. Devices with enhanced audio
US8989428B2 (en) 2011-08-31 2015-03-24 Apple Inc. Acoustic systems in electronic devices
US8879761B2 (en) 2011-11-22 2014-11-04 Apple Inc. Orientation-based audio
US9020163B2 (en) 2011-12-06 2015-04-28 Apple Inc. Near-field null and beamforming
US8903108B2 (en) 2011-12-06 2014-12-02 Apple Inc. Near-field null and beamforming

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402151B2 (en) 2011-07-28 2019-09-03 Apple Inc. Devices with enhanced audio

Also Published As

Publication number Publication date
US11640275B2 (en) 2023-05-02
KR102312124B1 (ko) 2021-10-14
KR20130139210A (ko) 2013-12-20
KR102111464B1 (ko) 2020-05-18
US10402151B2 (en) 2019-09-03
CN109587533A (zh) 2019-04-05
TW201308199A (zh) 2013-02-16
CN102902505A (zh) 2013-01-30
KR20130015000A (ko) 2013-02-12
US20210334066A1 (en) 2021-10-28
CN116208885A (zh) 2023-06-02
US20170249122A1 (en) 2017-08-31
US10771742B1 (en) 2020-09-08
JP2013048412A (ja) 2013-03-07
US20230315380A1 (en) 2023-10-05
US12112094B2 (en) 2024-10-08
KR20190040155A (ko) 2019-04-17
TWI473009B (zh) 2015-02-11
CN102902505B (zh) 2018-12-11
EP2551763A1 (en) 2013-01-30
US11061643B2 (en) 2021-07-13
US20200389623A1 (en) 2020-12-10
KR20200053459A (ko) 2020-05-18
KR101474605B1 (ko) 2014-12-18
US20130028443A1 (en) 2013-01-31
WO2013015974A1 (en) 2013-01-31

Similar Documents

Publication Publication Date Title
KR102111464B1 (ko) 향상된 오디오를 갖는 디바이스
EP2953348B1 (en) Determination, display, and adjustment of best sound source placement region relative to microphone
US8401210B2 (en) System and method for dynamic control of audio playback based on the position of a listener
KR20150031179A (ko) 오디오 접근성
US20120027226A1 (en) System and method for providing focused directional sound in an audio system
JP5514698B2 (ja) 補聴器
US20240256215A1 (en) Method and System for Adjusting Sound Playback to Account for Speech Detection
WO2015186387A1 (ja) 情報処理装置、制御方法、およびプログラム
US10553196B1 (en) Directional noise-cancelling and sound detection system and method for sound targeted hearing and imaging
JP6678315B2 (ja) 音声再生方法、音声対話装置及び音声対話プログラム
WO2013042324A1 (ja) 音響再生装置
WO2018198790A1 (ja) コミュニケーション装置、コミュニケーション方法、プログラム、およびテレプレゼンスシステム
WO2024138600A1 (en) Using on-body microphone to improve user interaction with smart devices
US12028178B2 (en) Conferencing session facilitation systems and methods using virtual assistant systems and artificial intelligence algorithms
US20240236408A9 (en) Method for controlling sound output of audio reproducing device and electronic device performing the same
WO2023245390A1 (zh) 智能耳机的控制方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141224

R150 Certificate of patent or registration of utility model

Ref document number: 5675729

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250