JP5910846B2 - 制御装置、制御方法、及び、プログラム - Google Patents

制御装置、制御方法、及び、プログラム Download PDF

Info

Publication number
JP5910846B2
JP5910846B2 JP2011162789A JP2011162789A JP5910846B2 JP 5910846 B2 JP5910846 B2 JP 5910846B2 JP 2011162789 A JP2011162789 A JP 2011162789A JP 2011162789 A JP2011162789 A JP 2011162789A JP 5910846 B2 JP5910846 B2 JP 5910846B2
Authority
JP
Japan
Prior art keywords
sound
volume
output device
output
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011162789A
Other languages
English (en)
Other versions
JP2013026997A (ja
Inventor
和也 立石
和也 立石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2011162789A priority Critical patent/JP5910846B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to US14/127,772 priority patent/US9398247B2/en
Priority to BR112014001256A priority patent/BR112014001256A2/pt
Priority to PCT/JP2012/004588 priority patent/WO2013014886A1/en
Priority to CN201280035413.2A priority patent/CN103688531B/zh
Priority to EP12817918.1A priority patent/EP2737692B1/en
Priority to KR1020147001122A priority patent/KR101913888B1/ko
Publication of JP2013026997A publication Critical patent/JP2013026997A/ja
Application granted granted Critical
Publication of JP5910846B2 publication Critical patent/JP5910846B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4396—Processing of audio elementary streams by muting the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences

Description

本技術は、制御装置、制御方法、及び、プログラムに関し、特に、例えば、TV（テレビジョン受像機）等の、少なくとも音を出力する出力装置の音の出力を、適切に制御することができるようにする制御装置、制御方法、及び、プログラムに関する。
例えば、特許文献１には、周辺のノイズ情報を検出するとともに、周辺を撮影するカメラの画像から視聴者がいるかどうかを判定し、視聴者がいる場合には、ノイズ情報に基づいて、ノイズを抑制するTVが記載されている。
また、例えば、特許文献２には、コンテンツの音声信号に基づいてコンテンツ解析情報を生成するとともに、周辺の騒音に基づいて環境騒音解析情報を生成し、コンテンツ解析情報および環境騒音解析情報に基づいて、コンテンツの音声信号の音量を調整する記録再生装置が記載されている。
特開2010-268284号公報 特開2010-154388号公報
ところで、TVの周囲で、話し声が聞こえる場合に、その話し声が、TVで番組を視聴しているユーザが発した音声ではないとき、すなわち、例えば、TVが置いてある部屋から出たところで、同居の家族等がしている電話の会話であるとき、その電話の会話は、番組を視聴しているユーザにとっては、ノイズであり、番組の音（音声）を聞き取りにくくする。したがって、この場合、TVにおいて、番組を視聴しているユーザが、番組の音を聞き取り易くなるように、TVの音の出力を調整すること、すなわち、例えば、TVの音量を増大させることが望ましい。
一方、TVの周囲で聞こえる話し声が、TVで番組を視聴しているユーザが発した音声であるときには、番組を視聴しているユーザ自体が発話をしているので、TVにおいて、番組を視聴しているユーザが、番組の音を聞き取り易くなるように、TVの音の出力を調整する必要はない。
以上のように、TVの周囲で、話し声が聞こえる場合であっても、TVにおいて、音の出力を調整することが適切であるときと、音の出力を調整しないことが適切であるときとがある。
本技術は、このような状況に鑑みてなされたものであり、TV等の、少なくとも音を出力する出力装置の音の出力を、適切に制御することができるようにするものである。
本技術の一側面の制御装置、又は、プログラムは、少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況を分析する分析部と、前記出力装置の周囲の状況に応じて、前記出力装置の音の出力を制御する制御部とを備え、前記制御部は、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいない状況である場合、音量が減少するように、前記出力装置の音の出力を制御するか、又は、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいて、前記人の音声の音源の方向と、人がいる位置の方向とが一致しない状況である場合、音量が増大するように、前記出力装置の音の出力を制御する制御装置、又は、制御装置として、コンピュータを機能させるためのプログラムである。
本技術の一側面の制御方法は、少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況を分析し、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいない状況である場合、音量が減少するように、前記出力装置の音の出力を制御するか、又は、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいて、前記人の音声の音源の方向と、人がいる位置の方向とが一致しない状況である場合、音量が増大するように、前記出力装置の音の出力を制御するステップを含む制御方法である。
以上のような一側面においては、少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況が分析され、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいない状況である場合、音量が減少するように、前記出力装置の音の出力が制御され、又は、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいて、前記人の音声の音源の方向と、人がいる位置の方向とが一致しない状況である場合、音量が増大するように、前記出力装置の音の出力が制御される。
なお、制御装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術によれば、出力装置の音の出力を、適切に制御することができる。
本技術を適用したTVの一実施の形態の構成例を示すブロック図である。 音出力制御部１４の構成例を示すブロック図である。 音出力制御部１４が行う処理を説明するフローチャートである。 音量／利得制御部３５が行う音出力制御の処理を説明するフローチャートである。 音量／利得制御部３５が行う音出力制御を説明する図である。 音調整キー操作反映／登録の処理を説明するフローチャートである。 復元処理を説明するフローチャートである。 復元処理を説明するフローチャートである。 音量／利得制御部３５が行う音出力制御の他の例を説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
［本技術を適用したTVの一実施の形態］
図１は、本技術を適用したTVの一実施の形態の構成例を示すブロック図である。
図１において、TVは、少なくとも音を出力する出力装置の１つであり、チューナ１１、信号処理部１２、表示部１３、音出力制御部１４、スピーカ部１５、制御部１６、及び、操作部１７を有する。
チューナ１１には、図示せぬアンテナで受信されたテレビジョン放送信号のRF(Radio Frequency)信号が供給される。
チューナ１１は、そこに供給されるRF信号を検波、復調し、例えば、ユーザが操作部１７を操作することにより選択したチャンネルの番組のデータを得て、信号処理部１２に供給する。
信号処理部１２は、チューナ１１からの番組のデータに、デコードその他の必要な信号処理を施し、その結果得られる番組のビデオ（画像）データを、表示部１３に供給するともに、番組のオーディオ（音（音声））データを、スピーカ部１５に供給する。
表示部１３は、例えば、LCD(Liquid Crystal Display)や、有機EL(Electro Luminescence)等で構成され、信号処理部１２からのビデオデータに対応する番組の画像を表示する。
音出力制御部１４は、TVの周囲を撮影するとともに、TVの周囲の環境音を集音し、その結果得られるTVの周囲を撮影した撮影画像と、TVの周囲の環境音とに基づいて、TVの音の出力、すなわち、例えば、スピーカ部１５（のスピーカ１５Ｌ及び１５Ｒ）の音量等を制御する。
スピーカ部１５は、L(Left)チャンネルの音を出力するためのスピーカ１５Ｌと、R(Right)チャンネルの音を出力するためのスピーカ１５Ｒとを有し、音出力制御部１４の制御に従って、信号処理部１２からのオーディオデータに対応する番組の音を出力する。
制御部１６は、例えば、操作部１７の操作等に応じて、TVを構成する各ブロックを制御する。
操作部１７は、TVの筐体（TV本体）に設けられているボタンや、リモートコマンダ等であり、ユーザによって操作され、その操作に対応する操作信号を、制御部１６に供給する。
［音出力制御部１４の構成例］
図２は、図１の音出力制御部１４の構成例を示すブロック図である。
図２において、音出力制御部１４は、カメラ２１、マイク（マイクロフォン）群２２、制御部２３、及び、記憶部２４を有する。
カメラ２１は、TVの周囲（特に、例えば、表示部１３の表示画面と対向する側）を、所定のレートで撮影し、その結果得られる撮影画像を、制御部２３（の顔検出部３１）に供給する。
マイク群２２は、複数のマイクであり、TVの周囲の環境音を集音し、制御部２３（の音声判定部３３）に供給する。
制御部２３は、カメラ２１からのTVの周囲の撮影画像と、マイク群２２からのTVの周囲の環境音とに基づいて、スピーカ部１５のスピーカ１５Ｌ及び１５Ｒの音量等の、TVの音の出力を制御する。
すなわち、制御部２３は、顔検出部３１、顔情報取得部３２、音声判定部３３、状況分析部３４、音量／利得制御部３５、及び、スピーカ制御部３６を有する。
顔検出部３１は、カメラ２１から供給される撮影画像に映っている（人の）顔を検出し、その検出結果を表す顔検出情報を、顔情報取得部３２に供給する。
顔情報取得部３２は、顔検出部３１からの顔検出情報等に基づいて、撮影画像に映っている顔に関する顔情報を取得し、状況分析部３４に供給する。
すなわち、顔情報取得部３２は、顔検出情報から、例えば、撮影画像に映っている顔の位置（例えば、撮影画像上の位置）や数を、顔情報として認識する。
その他、顔情報取得部３２は、例えば、撮影画像に映っている顔の個人識別を行い、その顔が誰（の顔）であるのかを特定する情報や、その個人識別によって特定された人の年齢や性別等を、顔情報として取得することができる。例えば、家族の個人識別を行うのに必要な情報は、TVの初期設定時等に入力することができる。
音声判定部３３は、マイク群２２から供給される環境音の周波数解析等を行うことにより、その環境音のレベル（利得）や、環境音を発している音源の方向を検出するとともに、環境音が、人の音声であるか、人の音声以外の音（以下、非音声ともいう）であるかを判定する。
そして、音声判定部３３は、環境音のレベル、環境音を発している音源の方向、環境音が、音声、又は、非音声であることの判定結果を、環境音に関する環境音情報として、状況分析部３４に供給する。
状況分析部３４は、顔情報取得部３２からの、撮影画像から得られた顔情報と、音声判定部３３からの、環境音から得られた環境音情報とに基づいて、TVの周囲の状況を分析し、その分析の結果得られるTVの周囲の状況（以下、周囲状況ともいう）を、音量／利得制御部３５に供給する。
音量／利得制御部３５は、状況分析部３４からの周囲状況に応じて、スピーカ制御部３６を制御することにより、TVの音の出力、すなわち、例えば、スピーカ１５Ｌ及び１５Ｒの音量や、スピーカ１５Ｌ及び１５Ｒから出力される音の利得等を制御する。
なお、音量／利得制御部３５は、その他、ユーザによる操作部１７（図１）の操作に応じて、TVの音の出力を制御する。
すなわち、操作部１７としての本体のボタン（キー）、及び、リモートコマンダのボタンには、音量を増減するときに操作されるボリュームキーや、音をミュートするときに操作されるミュートキー等の、TVの音の出力を調整するときに操作される音調整キーが設けられている。
ユーザが、操作部１７の音調整キーを操作すると、制御部１６は、その音調整キーの操作に対応する操作信号であるボリューム操作信号を、音量／利得制御部３５に供給する。
音量／利得制御部３５は、状況分析部３４からの周囲状況の他、制御部１６（図１）から供給されるボリューム操作信号にも応じて、TVの音の出力を制御する。
その他、音量／利得制御部３５は、後述するように、記憶部２４に記憶された情報に応じて、TVの音の出力を制御することができる。
スピーカ制御部３６は、音量／利得制御部３５からの制御に従って、スピーカ１５Ｌ及び１５Ｒの音量を制御する。
なお、TVに、外部オーディオ機器が接続されており、その外部オーディオ機器のスピーカから、番組の音が出力される場合には、スピーカ制御部３６は、音量／利得制御部３５からの制御に従って、TVに接続された外部オーディオ機器のスピーカの音量を制御することができる。
記憶部２４は、制御部２３の動作上必要な情報を記憶する。
また、記憶部２４の一部の記憶領域は、マイク群２２で集音された環境音を一時記憶する環境音記憶部２４Ａになっている。
環境音記憶部２４Ａには、マイク群２２で集音された環境音が、制御部２３を介して供給される。環境音記憶部２４Ａは、マイク群２２からの環境音を記憶し、その記憶容量分の環境音を記憶すると、マイク群２２から新たに供給される環境音を、最も古い環境音に上書きする形で記憶する。
したがって、環境音記憶部２４Ａには、常時、所定の時間分（例えば、数十秒等）の最新の環境音が記憶される。
［音出力制御処理］
図３は、図２の音出力制御部１４が行う処理を説明するフローチャートである。
ステップＳ１１において、音出力制御部１４は、環境音情報と顔情報を収集して、処理は、ステップＳ１２に進む。
すなわち、カメラ２１において、TVの周囲が撮影され、その結果得られる撮影画像が、顔検出部３１に供給される。
顔検出部３１は、カメラ２１から供給される撮影画像に映っている顔を検出し、その検出結果を表す顔検出情報を、顔情報取得部３２に供給する。
顔情報取得部３２は、顔検出部３１からの顔検出情報等に基づいて、撮影画像に映っている顔に関する顔情報としての、例えば、撮影画像に映っている顔の位置や数等を取得し、状況分析部３４に供給する。
一方、マイク群２２において、TVの周囲の環境音が集音され、音声判定部３３に供給される。
音声判定部３３は、マイク群２２から供給される環境音のレベルや、環境音を発している音源の方向を検出するとともに、環境音が、音声であるか、非音声であるかを判定する。
そして、音声判定部３３は、環境音のレベル、環境音を発している音源の方向、環境音が、音声、又は、非音声であることの判定結果を、環境音情報として、状況分析部３４に供給する。
なお、マイク群２２で集音された環境音は、音声判定部３３に供給される他、上述したように、環境音記憶部２４Ａに供給されて一時記憶される。
ステップＳ１２では、状況分析部３４は、顔情報取得部３２からの顔情報と、音声判定部３３からの環境音情報とに基づいて、TVの周囲状況を分析し、音量／利得制御部３５に供給して、処理は、ステップＳ１３に進む。
ステップＳ１３では、音量／利得制御部３５は、状況分析部３４からの周囲状況に応じて、スピーカ制御部３６を制御することにより、TVの音の出力、すなわち、例えば、スピーカ１５Ｌ及び１５Ｒの音量や、スピーカ１５Ｌ及び１５Ｒから出力される音の利得等を制御する音出力制御を行って、処理は、ステップＳ１４に進む。
ステップＳ１４では、音量／利得制御部３５が、操作部１７に設けられた、TVの音の出力を調整するときに操作される音調整キーがユーザによって操作されたかどうかを判定する。
ステップＳ１４において、音調整キーが操作されていないと判定された場合、処理は、ステップＳ１５をスキップして、ステップＳ１１に戻り、以下、同様の処理が繰り返される。
また、ステップＳ１４において、音調整キーが操作されたと判定された場合、すなわち、ユーザが音調整キーを操作し、その音調整キーの操作に対応するボリューム操作信号が、制御部１６（図１）から音量／利得制御部３５に供給された場合、処理は、ステップＳ１５に進み、音量／利得制御部３５は、音調整キーの操作を、TVの音の出力に反映し、その操作に関する操作情報を、記憶部２４に登録する（記憶させる）音調整キー操作反映／登録の処理を行って、処理は、ステップＳ１１に戻る。
ここで、ステップＳ１５において、音量／利得制御部３５が、音調整キーの操作を、TVの音の出力に反映するとは、音量／利得制御部３５が、音調整キーの操作（ボリューム操作信号）に従って、スピーカ制御部３６を制御することにより、TVの音の出力を制御することを意味する。
図４は、図３のステップＳ１３で、音量／利得制御部３５が行う、周囲状況に応じた音出力制御の処理を説明するフローチャートである。
ステップＳ２１において、音量／利得制御部３５は、周囲状況に基づいて、TVの周囲の環境音のレベルが、あらかじめ定められた閾値以上であるかどうかを判定する。
ステップＳ２１において、環境音のレベルが閾値以上でないと判定された場合、すなわち、TVの周囲に、番組の視聴の妨げとなるような環境音が発生していない場合、処理はリターンする。
また、ステップＳ２１において、環境音のレベルが閾値以上であると判定された場合、すなわち、TVの周囲に、番組の視聴の妨げとなるような環境音が発生している可能性がある場合、処理は、ステップＳ２２に進み、音量／利得制御部３５は、周囲状況に基づいて、レベルが閾値以上の環境音が、人の音声であるかどうかを判定する。
ステップＳ２２において、レベルが閾値以上の環境音（以下、大レベル環境音ともいう）が、人の音声であると判定された場合、処理は、ステップＳ２３に進み、音量／利得制御部３５は、周囲状況に基づいて、撮影画像から顔が検出されたかどうかを判定する。
ステップＳ２３において、撮影画像から顔が検出されていないと判定された場合、すなわち、TVの周囲で、人の話し声が聞こえるが、TVの周囲に、番組を視聴している人がいない状況である場合、処理は、ステップＳ２４に進み、音量／利得制御部３５は、スピーカ１５Ｌ及び１５Ｒの音量を減少させる音出力制御を行って、処理はリターンする。
すなわち、TVの周囲で、人の話し声が聞こえるが、TVの周囲に、人がいない状況としては、例えば、番組を視聴していたユーザに電話がかかってきて、ユーザが、TVから少し離れた位置で、電話をしている状況や、ユーザが、TV（カメラ２１）とはまったく違う方向にある部屋の方を向いて、その部屋にいる家族と話をしている状況等がある。
この場合、ユーザは、番組を視聴しておらず、また、TVが出力する番組の音声（音）は、ユーザがしている電話や話の妨げになるおそれがあるので、音量／利得制御部３５は、スピーカ１５Ｌ及び１５Ｒの音量を減少させる音出力制御を行う。これにより、TVが出力する音が、ユーザの電話や話の妨げになることを防止することができる。
なお、ステップＳ２４の処理を行うときの、スピーカ１５Ｌ及び１５Ｒの音量が、元々小さい場合、ステップＳ２４では、音量を調整する音出力制御を行わないことができる。
一方、ステップＳ２３において、撮影画像から顔が検出されたと判定された場合、すなわち、カメラ２１で撮影された撮影画像に、１人以上の顔が映っている場合、処理は、ステップＳ２５に進み、音量／利得制御部３５は、周囲状況に基づいて、例えば、TVを基準とする、音声である環境音を発している音源への方向と、顔が検出された位置への方向とが一致している（とみなせる）かどうかを判定する。
ステップＳ２５において、音声である環境音を発している音源の方向と、（1以上の顔のうちのいずれかの）顔が検出された位置の方向とが一致していると判定された場合、すなわち、ユーザが、番組を視聴しており、その番組を視聴しているユーザ自身が話をしている状況である場合、処理はリターンする。
ここで、ユーザが、番組を視聴しており、そのユーザが話をしている状況としては、例えば、番組を視聴しているユーザが、その番組について（他のユーザと）話をしている状況がある。
この場合、スピーカ１５Ｌ及び１５Ｒの音量は調整されない（そのまま維持される）。
また、ステップＳ２５において、音声である環境音を発している音源の方向と、顔が検出された位置の方向とが一致していないと判定された場合、すなわち、ユーザが、番組を視聴しており、TVの周囲で、そのユーザ以外の人による話し声が聞こえる状況である場合、処理は、ステップＳ２６に進み、音量／利得制御部３５は、スピーカ１５Ｌ及び１５Ｒの音量を増大させる音出力制御を行って、処理はリターンする。
すなわち、ユーザが、番組を視聴しており、TVの周囲で、そのユーザ以外の人による話し声が聞こえる状況としては、番組を視聴しているユーザがいるのにもかかわらず、TVから少し離れた位置（撮影画像に映らない位置）で、番組を視聴していないユーザが騒いでいる状況がある。
この場合、番組を視聴せずに騒いでいるユーザの音声は、番組を視聴しているユーザによる番組の視聴の妨げになるおそれがあるので、音量／利得制御部３５は、スピーカ１５Ｌ及び１５Ｒの音量を増大させる音出力制御を行う。これにより、番組を視聴しているユーザは、番組を視聴せずに騒いでいるユーザの音声に妨げられることなく、番組を視聴することができる。
すなわち、番組を視聴するのに妨げとなる、番組を視聴していないユーザの音声が発生した場合に、スピーカ１５Ｌ及び１５Ｒの音量が大に調整されるので、番組を視聴しているユーザは、番組を視聴していないユーザの音声の発生の前後で、同程度の聞きやすさで、番組を視聴することができる。
一方、ステップＳ２２において、レベルが閾値以上の環境音（大レベル環境音）が、人の音声でないと判定された場合、すなわち、大レベル環境音が、例えば、電話やインターフォンの呼び出し音等の非音声である場合、処理は、ステップＳ２７に進み、音量／利得制御部３５は、記憶部２４に登録（記憶）されている、後述する登録音の中に、非音声である環境音（大レベル環境音）と一致する（とみなせる）登録音があるかどうかを判定する。
ここで、ユーザが、操作部１７（図１）の音調整キーを操作し、音量／利得制御部３５が、その音調整キーの操作に従って、音出力制御を行った場合、後述するように、その音調整キーの操作に関する操作情報と、音調整キーが操作される直前の環境音とが対応付けられて、記憶部２４に登録される。
登録音とは、以上のように、操作情報と対応付けられて、記憶部２４に登録された環境音を意味する。
ステップＳ２７において、非音声である環境音と一致する登録音がないと判定された場合、処理は、ステップＳ２６に進み、音量／利得制御部３５は、非音声である環境音によって、ユーザの番組の視聴が妨げられないように、スピーカ１５Ｌ及び１５Ｒの音量を増大させる音出力制御を行って、処理はリターンする。
また、ステップＳ２７において、非音声である環境音と一致する登録音があると判定された場合、処理は、ステップＳ２８に進み、音量／利得制御部３５は、記憶部２４から、非音声である環境音と一致する登録音と対応付けられている操作情報を読み出し、その操作情報（が表す音調整キーの操作）に従って、スピーカ１５Ｌ及び１５Ｒの音量を調整する音出力制御を行って、処理はリターンする。
以上のように、音出力制御部１４では、TVの周囲を撮影した撮影画像と、TVの周囲の環境音とに基づいて、TVの周囲状況が分析され、その周囲状況に応じて、TVの音の出力が制御されるので、音の出力を、適切に制御することができる。
すなわち、例えば、ユーザが番組を視聴しているTVの周囲で、話し声が聞こえる場合に、その話し声が、例えば、TVが置いてある部屋から出たところで、同居の家族等がしている電話の会話であるときには、図４のステップＳ２５において、音源の方向と、顔が検出された位置の方向とが一致していないと判定され、TVの音量が大に調整されるので、番組を視聴しているユーザが、同居の家族等がしている電話の会話によって、番組の視聴を妨げられることを防止することができる。
また、TVの周囲で聞こえる話し声が、TVで番組を視聴しているユーザが発した音声であるときには、図４のステップＳ２５において、音源の方向と、顔が検出された位置の方向とが一致していると判定され、TVの音量は調整されない（そのまま維持される）ので、ユーザが必要を感じていないのに、TVの音量が調整されることを防止することができる。
図５は、図２の音量／利得制御部３５が行う音出力制御を説明する図である。
音量／利得制御部３５は、図３及び図４で説明したように、TVの音量を調整する音出力制御を、TVの周囲状況に応じて行うが、音出力制御は、TVの周囲状況の他、（TVから）番組を視聴しているユーザまでの距離（視聴距離）や、番組を視聴しているユーザの個人識別の結果等にも応じて行うことができる。
すなわち、視聴距離が長い（所定の閾値以上である）場合には、音量を増大させるにあたって、音量を増大させる調整量を、例えば、あらかじめ設定されたデフォルトの調整量よりも大にすること（音量をより大にすること）ができる。
また、視聴距離が短い（所定の閾値未満である）場合には、音量を増大させるにあたって、音量を増大させる調整量を、例えば、デフォルトの調整量よりも小にすることができる。
さらに、番組を視聴しているユーザの個人識別の結果得られる、そのユーザの年齢が、例えば、80以上の高齢である場合には、音量を増大させるにあたって、音量を増大させる調整量を、例えば、デフォルトの調整量よりも大にすることができる。なお、この場合、音量を増大させることに代えて（又は、音量を増大させるとともに）、高齢の方が聞き取りにくい周波数成分の利得を増大させることができる。
図６は、図３のステップＳ１５で、音量／利得制御部３５が行う、音調整キーの操作を、TVの音の出力に反映し、その操作に関する操作情報を、記憶部２４に登録する（記憶させる）音調整キー操作反映／登録の処理を説明するフローチャートである。
ステップＳ４１において、音量／利得制御部３５は、図３のステップＳ１４でユーザによって操作されたと判定された音調整キーの操作に応じて、音量を調整する音出力制御を行って、処理は、ステップＳ４２に進む。
すなわち、例えば、ユーザが、音量を、２段階等だけ増大するような音調整キーの操作を行った場合には、音量／利得制御部３５は、その操作に応じて、音量を２段階だけ増大させる音出力制御を行う。
ステップＳ４２では、音量／利得制御部３５は、最新の所定の時間分の環境音を記憶している環境音記憶部２４Ａから、音調整キーの操作がされる直前の一定時間分の環境音（以下、操作直前環境音ともいう）を読み出し、その操作直前環境音を分析して、処理は、ステップＳ４３に進む。
ステップＳ４３では、音量／利得制御部３５は、操作直前環境音（の分析結果）を、登録音として、音調整キーの操作に関する操作情報と対応付けて、記憶部２４に登録して、処理はリターンする。
ここで、音量／利得制御部３５では、図４のステップＳ２７及びＳ２８で説明したように、記憶部２４に登録されている登録音の中に、非音声である環境音（大レベル環境音）と一致する（とみなせる）登録音がある場合には、その登録音と対応付けられている操作情報に従った音量の調整が行われる。
したがって、過去に、ある環境音が生じた直後に、ユーザが音調整キーを操作して音量を所定の調整量だけ調整したこと（ミュートを含む）がある場合には、その後、同様の環境音が生じると、ユーザが、音調整キーを操作しなくても、過去に行われたのと同様の音量の調整が行われる。
すなわち、TVが、ユーザが行った音調整キーの操作を覚えているかのような、いわば学習機能を実現することができる。
なお、音量／利得制御部３５において、図４のステップＳ２７及びＳ２８で説明したように、記憶部２４に登録されている、環境音と一致する登録音と対応付けられている操作情報に従った音量の調整が行われた場合には、その後、登録音と一致する環境音がなくなったときに、音量を、元に戻す調整を行うことができる。
同様に、図４のステップＳ２４，Ｓ２６、及び、Ｓ２８で、音量の調整が行われた場合や、図６のステップＳ４１で、ユーザによる音調整キーの操作に応じた音量の調整が行われた場合も、周囲状況が、音量が調整される前の元の状況に戻った場合には、音量を、元に戻す調整の処理としての復元処理を行うことができる。
図７は、図４のステップＳ２４，Ｓ２６、及び、Ｓ２８で調整された音量を、元に戻す復元処理を説明するフローチャートである。
なお、図７の復元処理は、図４のステップＳ２４，Ｓ２６、及び、Ｓ２８で音量が調整されると開始される。
また、記憶部２４（図２）では、状況分析部３４で得られる、一定期間分の最新の周囲状況が記憶されるとともに、その最新の周囲状況のうちの、図４のステップＳ２４，Ｓ２６、及び、Ｓ２８で音量が調整される原因となった大レベル環境音が発生する直前の周囲状況（大レベル環境音が発生する前の元の周囲状況）が、復元処理が終了するまで記憶されることとする。
ステップＳ５１において、音出力制御部１４（図２）は、図３のステップＳ１１と同様に、顔情報取得部３２が、顔情報を収集するとともに、音声判定部３３が環境音情報を収集して、処理は、ステップＳ５２に進む。
ステップＳ５２では、状況分析部３４が、図３のステップＳ１２と同様に、顔情報取得部３２で得られる顔情報と、音声判定部３３で得られる環境音情報とに基づいて、TVの周囲状況を分析し、音量／利得制御部３５に供給して、処理は、ステップＳ５３に進む。
ここで、図７のステップＳ５１及び５２の処理は、図３のステップＳ１１及びＳ１２の処理で代用することができる。
ステップＳ５３では、音量／利得制御部３５は、状況判定部３４からの周囲状況に基づいて、図４のステップＳ２１でレベルが閾値以上であると判定された環境音（大レベル環境音）がなくなっているかどうかを判定する。
ステップＳ５３において、大レベル環境音がなくなっていないと判定された場合、処理は、ステップＳ５１に戻る。
また、ステップＳ５３において、大レベル環境音がなくなっていると判定された場合、処理は、ステップＳ５４に進み、音量／利得制御部３５は、状況判定部３４からの周囲状況が、レベルが閾値以上の環境音（大レベル環境音）が発生する前の、記憶部２４に記憶されている状況（元の状況）に戻ったかどうかを判定する。
ステップＳ５４において、状況判定部３４からの周囲状況が、大レベル環境音が発生する前の元の状況に戻っていないと判定された場合、処理は、ステップＳ５１に戻る。
また、ステップＳ５４において、状況判定部３４からの周囲状況が、大レベル環境音が発生する前の元の状況に戻ったと判定された場合、処理は、ステップＳ５５に進み、音量／利得制御部３５は、図４のステップＳ２４，Ｓ２６、又は、Ｓ２８で調整された音量を元に戻す音出力制御を行って、復元処理は終了する。
なお、ユーザは、周囲状況が変化したことに起因して、音調整キーを操作することがある。ユーザが、周囲状況が変化したことに起因して、音調整キーを操作することにより、図６のステップＳ４１において、その音調整キーの操作に応じて、音量の調整が行われた場合においても、その後、周囲状況が、音量が調整される前の元の状況（変化前の状況）に戻ったときには、音量／利得制御部３５では、図７の復元処理と同様に音量を、元に戻すことができる。
図８は、図６のステップＳ４１で調整された音量を、元に戻す復元処理を説明するフローチャートである。
なお、図８の復元処理は、図６のステップＳ４１で音量が調整されると開始される。
また、記憶部２４（図２）では、図７の場合と同様に、一定期間分の最新の周囲状況が記憶されるとともに、ユーザが、周囲状況が変化したことに起因して、音調整キーを操作した場合（周囲状況が変化した直後に、音調整キーが操作された場合）の、変化前の周囲状況が、最新の周囲状況から選択され、図８の復元処理が終了するまで記憶されることとする。
ステップＳ６１において、音出力制御部１４（図２）は、図３のステップＳ１１と同様に、顔情報取得部３２が、顔情報を収集するとともに、音声判定部３３が環境音情報を収集して、処理は、ステップＳ６２に進む。
ステップＳ６２では、状況分析部３４が、図３のステップＳ１２と同様に、顔情報取得部３２で得られる顔情報と、音声判定部３３で得られる環境音情報とに基づいて、TVの周囲状況を分析し、音量／利得制御部３５に供給して、処理は、ステップＳ６３に進む。
ここで、図８のステップＳ６１及び６２の処理は、図３のステップＳ１１及びＳ１２の処理で代用することができる。
ステップＳ６３では、音量／利得制御部３５は、状況判定部３４からの周囲状況が、変化前の、記憶部２４に記憶されている状況（元の状況）に戻ったかどうかを判定する。
ステップＳ６３において、状況判定部３４からの周囲状況が、元の状況に戻っていないと判定された場合、処理は、ステップＳ６１に戻る。
また、ステップＳ６３において、状況判定部３４からの周囲状況が、元の状況に戻ったと判定された場合、処理は、ステップＳ６４に進み、音量／利得制御部３５は、図６のステップＳ４１で調整された音量を元に戻す音出力制御を行って、復元処理は終了する。
図９は、図２の音量／利得制御部３５が行う音出力制御の他の例を説明する図である。
環境音が、例えば、インターフォンや電話の呼び出し音であり、音声判定部３３において、環境音が非音声であると判定される（環境音の判定結果が、非音声になる）場合に、撮像画像から、顔が検出されなかったとき（撮像画像から検出された顔の数が0であるとき）には、TVの周囲の状況（周囲状況）としては、ユーザが、画像を見ずに、番組の音だけを聞いており、安定して番組の音を聞きたいと思っている状況が考えられる。
この場合、音量／利得制御部３５では、音量を増大させる音出力制御を行うことができる。
環境音が、上述のように、非音声である場合に、撮像画像から、顔が検出されたとき（撮像画像から検出された顔の数が1以上であるとき）には、TVの周囲状況としては、ユーザが、番組を視聴しており、安定して番組の音を聞きたいと思っている状況が考えられる。
この場合も、音量／利得制御部３５では、音量を増大させる音出力制御を行うことができる。
環境音が、例えば、人の会話等であり、音声判定部３３において、環境音が音声であると判定される（環境音の判定結果が、音声になる）場合に、撮像画像から、顔が検出されなかったとき（撮像画像から検出された顔の数が0であるとき）には、TVの周囲状況としては、ユーザが、番組を視聴しておらず、電話等で話をしている状況が考えられる。
この場合、音量／利得制御部３５では、TVから出力される番組の音が、ユーザの話を妨げるのを防止するために、音量を減少させる音出力制御を行うことができる。
環境音が、上述のように、音声である場合に、撮像画像から、顔が検出され（撮像画像から検出された顔の数が1以上であり）、かつ、環境音としての音声の音源の方向と、撮像画像から検出された（いずれかの）顔の位置の方向とが一致しているときには、TVの周囲状況としては、ユーザが、番組を視聴しながら、電話等で話をしている状況が考えられる。
この場合、音量／利得制御部３５では、音量を調整せずに、そのまま維持すること、すなわち、音出力制御を行わないことができる。
環境音が、上述のように、音声である場合に、撮像画像から、顔が検出され、かつ、環境音としての音声の音源の方向と、撮像画像から検出された顔の位置の方向とが（いずれも）一致していないときには、TVの周囲状況としては、番組を視聴しているユーザと、番組を視聴せずに（TVの方向を見ずに）話をしているユーザとが存在する状況が考えられる。
この場合、音量／利得制御部３５では、番組を視聴しているユーザによる番組の視聴が、番組を視聴していないユーザが行っている話によって妨げられるのを防止するために、音量を増大させる音出力制御を行うことができる。
また、環境音や撮像画像からの顔の検出に関係なく、夜間（として設定された時間帯）においては、例えば、TVが置いてある部屋の壁を越えて、他の部屋に音が届くのを防止するために、音量を減少させる音出力制御を行うことができる。
なお、音量／利得制御部３５では、音量を減少、又は、増大させる音出力制御に代えて（あるいは、そのような音出力制御とともに）、番組の音の所定の周波数帯域の利得を、減少、又は、増大させる音出力制御を行うことができる。
例えば、環境音が非音声である場合には、その非音声の周波数特性を解析することで、非音声において、利得が高い周波数帯域（以下、高利得帯域ともいう）を検出し、番組の音の高利得帯域の利得を増大させることにより、等価的に、ノイズとしての非音声のノイズキャンセリングを行うことができる。
また、例えば、上述したように、夜間において、TVが置いてある部屋の壁を越えて、他の部屋に音が届くのを防止する場合には、番組の音の低域の利得を減少（抑制）させる音出力制御を行うことができる。
なお、番組の音の各周波数成分の利得の調整の仕方は、例えば、ゲームモードやシアター（シネマ）モード等のTVのモードや、TVで表示（出力）されている番組としてのコンテンツのジャンル（例えば、スポーツ番組である等）によって変更することができる。
［本技術を適用したコンピュータの説明］
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図１０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
すなわち、本技術は、TV以外の、少なくとも音を出力する出力装置に適用することができる。
また、本実施の形態では、チューナ１１で受信された番組を処理の対象としたが、本技術では、チューナ１１で受信された番組の他、レコーダに録画されているコンテンツや、インターネット等のネットワーク上のサーバから提供されるコンテンツ等を、処理の対象とすることができる。
さらに、図４のステップＳ２４やＳ２６において、音量の調整後に、ユーザが、その音量の調整を元に戻すように、音調整キーを操作した場合には、そのときの周囲状況を、記憶部２４に登録しておく（学習する）ことができる。そして、その後のステップＳ２４やＳ２６では、周囲状況が、記憶部２４に記憶された状況と一致する場合には、音量の調整を行わない（制限する）ことができる。
また、図４のステップＳ２４や、Ｓ２６，Ｓ２８において、ユーザによる音調整キーの操作なしで、音量の調整がされる場合には、何らの告知もなく、音量の調整がされると、ユーザに違和感を感じさせることがあり得るので、音量の調整を行うメッセージを、表示部１３に表示すること（あるいは、スピーカ部１５から音声で出力すること）ができる。
ここで、音量の調整を行うメッセージの表示（出力）のオンとオフとは、例えば、ユーザが操作部１７を操作することにより切り替えることができる。
また、図６の音調整キー操作反映／登録の処理では、ステップＳ４３において、音調整キーの操作の操作情報を、その音調整キーの操作がされる直前の一定時間分の環境音（操作直前環境音）と対応付けて、記憶部２４に登録することとしたが、記憶部２４への操作情報の登録は、操作直前環境音の他、個人識別結果や、時間帯、TVに表示されている番組のソース（入力ソース）等と対応付けて行うことができる。
例えば、音調整キーの操作の操作情報を、操作直前環境音、及び、個人識別結果等と対応付けて、記憶部２４に登録する場合には、個人識別結果等に基づいて、番組を視聴しているユーザを認識し、同一の操作直前環境音が発生した場合であっても、ユーザごとに異なる音調整キーの操作に応じた音量の調整を行うことができる。
ここで、音調整キーの操作の操作情報を、操作直前環境音の他、個人識別結果や、時間帯、入力ソースと対応付けて、記憶部２４に登録する場合において、操作情報と対応付けられた新たな操作直前環境音等とすべて同一の操作直前環境音等が、記憶部２４に既に登録されているときには、その同一の操作直前環境音等に上書きする形で、新たな操作直前環境音等と、操作情報とのセットが、記憶部２４に登録される。
なお、本技術は、以下のような構成をとることができる。
［１］
少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況を分析する分析部と、
前記出力装置の周囲の状況に応じて、前記出力装置の音の出力を制御する制御部と
を備える制御装置。
［２］
前記環境音として、人の音声でない音が発生した状況である場合、前記制御部は、音量が増大するように、前記出力装置の音の出力を制御する
［１］に記載の制御装置。
［３］
前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいない状況である場合、前記制御部は、音量が減少するように、前記出力装置の音の出力を制御する
［１］又は［２］に記載の制御装置。
［４］
前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいて、前記人の音声の音源の方向と、人がいる位置の方向とが一致しない状況である場合、前記制御部は、音量が増大するように、前記出力装置の音の出力を制御する
［１］ないし［３］のいずれかに記載の制御装置。
［５］
少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況を分析し、
前記出力装置の周囲の状況に応じて、前記出力装置の音の出力を制御する
ステップを含む制御方法。
［６］
少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況を分析する分析部と、
前記出力装置の周囲の状況に応じて、前記出力装置の音の出力を制御する制御部と
して、コンピュータを機能させるためのプログラム。
１１ チューナ， １２ 信号処理部， １３ 表示部， １４ 音出力制御部， １５ スピーカ部， １５Ｌ，１５Ｒ スピーカ， １６ 制御部， １７ 操作部， ２１ カメラ， ２２ マイク群， ２３ 制御部， ２４ 記憶部， ２４Ａ 環境音記憶部， ３１ 顔検出部， ３２ 顔情報取得部， ３３ 音声判定部， ３４ 状況分析部， ３５ 音量／利得制御部， ３６ スピーカ制御部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (4)

  1. 少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況を分析する分析部と、
    前記出力装置の周囲の状況に応じて、前記出力装置の音の出力を制御する制御部と
    を備え、
    前記制御部は、
    前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいない状況である場合、音量が減少するように、前記出力装置の音の出力を制御するか、
    又は、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいて、前記人の音声の音源の方向と、人がいる位置の方向とが一致しない状況である場合、音量が増大するように、前記出力装置の音の出力を制御する
    制御装置。
  2. 前記環境音として、人の音声でない音が発生した状況である場合、前記制御部は、音量が増大するように、前記出力装置の音の出力を制御する
    請求項１に記載の制御装置。
  3. 少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況を分析し、
    前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいない状況である場合、音量が減少するように、前記出力装置の音の出力を制御するか、又は、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいて、前記人の音声の音源の方向と、人がいる位置の方向とが一致しない状況である場合、音量が増大するように、前記出力装置の音の出力を制御する
    ステップを含む制御方法。
  4. 少なくとも音を出力する出力装置の周囲を撮影した撮影画像と、前記出力装置の周囲の環境音とに基づいて、前記出力装置の周囲の状況を分析する分析部と、
    前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいない状況である場合、音量が減少するように、前記出力装置の音の出力を制御するか、又は、前記環境音として、人の音声が発生し、かつ、前記出力装置の周囲に、人がいて、前記人の音声の音源の方向と、人がいる位置の方向とが一致しない状況である場合、音量が増大するように、前記出力装置の音の出力を制御する制御部と
    して、コンピュータを機能させるためのプログラム。
JP2011162789A 2011-07-26 2011-07-26 制御装置、制御方法、及び、プログラム Expired - Fee Related JP5910846B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2011162789A JP5910846B2 (ja) 2011-07-26 2011-07-26 制御装置、制御方法、及び、プログラム
BR112014001256A BR112014001256A2 (pt) 2011-07-26 2012-07-19 aparelho de processamento de informação, método realizado por um aparelho de processamento de informação, e, mídia legível por computador não temporária
PCT/JP2012/004588 WO2013014886A1 (en) 2011-07-26 2012-07-19 Control device, control method and program
CN201280035413.2A CN103688531B (zh) 2011-07-26 2012-07-19 控制装置、控制方法和程序
US14/127,772 US9398247B2 (en) 2011-07-26 2012-07-19 Audio volume control device, control method and program
EP12817918.1A EP2737692B1 (en) 2011-07-26 2012-07-19 Control device, control method and program
KR1020147001122A KR101913888B1 (ko) 2011-07-26 2012-07-19 제어 장치, 제어 방법 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011162789A JP5910846B2 (ja) 2011-07-26 2011-07-26 制御装置、制御方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2013026997A JP2013026997A (ja) 2013-02-04
JP5910846B2 true JP5910846B2 (ja) 2016-04-27

Family

ID=47600761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011162789A Expired - Fee Related JP5910846B2 (ja) 2011-07-26 2011-07-26 制御装置、制御方法、及び、プログラム

Country Status (7)

Country Link
US (1) US9398247B2 (ja)
EP (1) EP2737692B1 (ja)
JP (1) JP5910846B2 (ja)
KR (1) KR101913888B1 (ja)
CN (1) CN103688531B (ja)
BR (1) BR112014001256A2 (ja)
WO (1) WO2013014886A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10938998B2 (en) 2017-03-13 2021-03-02 Fuji Xerox Co., Ltd. Information processing apparatus

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104010147B (zh) 2014-04-29 2017-11-07 京东方科技集团股份有限公司 自动调节音频播放系统音量的方法和音频播放装置
CN103986891A (zh) * 2014-04-30 2014-08-13 京东方科技集团股份有限公司 电视机音量控制方法和系统
KR102224484B1 (ko) * 2014-08-05 2021-03-08 엘지전자 주식회사 멀티미디어 디바이스 및 이의 제어 방법
JP6312564B2 (ja) * 2014-09-05 2018-04-18 ヤフー株式会社 情報処理装置、制御方法および制御プログラム
US9961320B2 (en) * 2014-11-07 2018-05-01 Canon Kabushiki Kaisha Image display apparatus and control method thereof
CN105812927A (zh) * 2014-12-30 2016-07-27 深圳Tcl数字技术有限公司 烘托场景氛围的方法及电视机
CN105100356B (zh) * 2015-07-07 2018-04-06 上海斐讯数据通信技术有限公司 一种音量自动调节的方法和系统
CN105739942A (zh) * 2016-01-29 2016-07-06 深圳市金立通信设备有限公司 一种音量调整方法及终端
CN105704569B (zh) * 2016-03-08 2018-12-14 京东方科技集团股份有限公司 一种声音调节系统及声音调节方法
TWM550619U (zh) * 2016-12-02 2017-10-21 Unlimiter Mfa Co Ltd 可依據臉部影像辨識結果取得聽力數據之電子裝置
WO2018155354A1 (ja) * 2017-02-21 2018-08-30 パナソニックＩｐマネジメント株式会社 電子機器の制御方法、電子機器の制御システム、電子機器、及び、プログラム
US10154346B2 (en) * 2017-04-21 2018-12-11 DISH Technologies L.L.C. Dynamically adjust audio attributes based on individual speaking characteristics
US11601715B2 (en) 2017-07-06 2023-03-07 DISH Technologies L.L.C. System and method for dynamically adjusting content playback based on viewer emotions
CN107562403A (zh) * 2017-08-09 2018-01-09 深圳市汉普电子技术开发有限公司 一种音量调节方法、智能设备及存储介质
US10171877B1 (en) 2017-10-30 2019-01-01 Dish Network L.L.C. System and method for dynamically selecting supplemental content based on viewer emotions
CN108363557B (zh) 2018-02-02 2020-06-12 刘国华 人机交互方法、装置、计算机设备和存储介质
US10872115B2 (en) 2018-03-19 2020-12-22 Motorola Mobility Llc Automatically associating an image with an audio track
WO2019185253A1 (en) * 2018-03-30 2019-10-03 Arcelik Anonim Sirketi A display device with automatic user-specific sound level adjustment function
CN110392298B (zh) * 2018-04-23 2021-09-28 腾讯科技（深圳）有限公司 一种音量调节方法、装置、设备及介质
US11323086B2 (en) * 2018-05-31 2022-05-03 Comcast Cable Communications, Llc Content audio adjustment
EP3771202B1 (en) 2019-07-23 2023-08-30 Top Victory Investments Limited Method and system for automatically controlling audio output of a television device based on ambient noise
CN114339541A (zh) * 2020-09-24 2022-04-12 原相科技股份有限公司 调整播放声音的方法和播放声音系统
US11722731B2 (en) * 2020-11-24 2023-08-08 Google Llc Integrating short-term context for content playback adaption
CN113747234B (zh) * 2021-08-27 2023-12-05 深圳Tcl新技术有限公司 音量调节方法及装置

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69830295T2 (de) * 1997-11-27 2005-10-13 Matsushita Electric Industrial Co., Ltd., Kadoma Steuerungsverfahren
US20020144259A1 (en) * 2001-03-29 2002-10-03 Philips Electronics North America Corp. Method and apparatus for controlling a media player based on user activity
US20030063222A1 (en) * 2001-10-03 2003-04-03 Sony Corporation System and method for establishing TV setting based on viewer mood
JP3085691U (ja) * 2001-10-29 2002-05-17 船井電機株式会社 体脂肪測定機能付きテレビ／ビデオ用リモコン、及び体脂肪測定装置
US6690778B2 (en) * 2002-01-16 2004-02-10 Matsushita Electric Industrial Co., Ltd. Method and apparatus for automatically adjusting an electronic device output in response to an incoming telephone call
EP1868382A3 (en) * 2002-09-13 2008-02-27 Sharp Kabushiki Kaisha Broadcast program recording method, communication control device, and mobile communication device
US7298930B1 (en) * 2002-11-29 2007-11-20 Ricoh Company, Ltd. Multimodal access of meeting recordings
JPWO2004084527A1 (ja) * 2003-03-17 2006-06-29 三洋電機株式会社 放送受信機能及び電話通信機能を有する携帯機器
JP2005167909A (ja) * 2003-12-05 2005-06-23 Sanyo Electric Co Ltd 携帯型電話装置
JP2006005418A (ja) 2004-06-15 2006-01-05 Sharp Corp 情報受信・再生装置、情報受信・再生方法、情報受信・再生プログラム及びプログラム記録媒体
JP2006352555A (ja) * 2005-06-16 2006-12-28 Sony Corp 情報処理装置および情報処理方法、並びにプログラム
US8031891B2 (en) * 2005-06-30 2011-10-04 Microsoft Corporation Dynamic media rendering
CN1909625A (zh) * 2005-08-05 2007-02-07 鸿富锦精密工业（深圳）有限公司 一种自动调整音量的电视装置及控制方法
US8645985B2 (en) * 2005-09-15 2014-02-04 Sony Computer Entertainment Inc. System and method for detecting user attention
TWI289407B (en) * 2005-11-25 2007-11-01 Benq Corp Audio adjusting system
WO2007085267A2 (en) * 2006-01-25 2007-08-02 Tc Electronic A/S Auditory perception controlling device and method
JP2007228385A (ja) * 2006-02-24 2007-09-06 Funai Electric Co Ltd テレビ受像機
US20070300259A1 (en) * 2006-06-09 2007-12-27 Peter Chan Systems and methods to support multiple program guides in a home network
US20090244402A1 (en) * 2006-06-29 2009-10-01 Rye David J Favorite channel remote
US20080001773A1 (en) * 2006-06-29 2008-01-03 X10 Ltd. Programmable remote control and methods of using same
US8041025B2 (en) * 2006-08-07 2011-10-18 International Business Machines Corporation Systems and arrangements for controlling modes of audio devices based on user selectable parameters
JP2008053986A (ja) * 2006-08-24 2008-03-06 Funai Electric Co Ltd テレビジョン受像機
US8374590B1 (en) * 2006-10-12 2013-02-12 At&T Mobility Ii Llc Systems and methods for updating user availability for wireless communication applications
US7940338B2 (en) * 2006-10-31 2011-05-10 Inventec Corporation Voice-controlled TV set
US8797465B2 (en) * 2007-05-08 2014-08-05 Sony Corporation Applications for remote control devices with added functionalities
US8243141B2 (en) * 2007-08-20 2012-08-14 Greenberger Hal P Adjusting a content rendering system based on user occupancy
JP2009060220A (ja) 2007-08-30 2009-03-19 Konica Minolta Holdings Inc コミュニケーションシステム及びコミュニケーションプログラム
JP2009088626A (ja) * 2007-09-27 2009-04-23 Canon Inc システム
JP4538756B2 (ja) * 2007-12-03 2010-09-08 ソニー株式会社 情報処理装置、情報処理端末、情報処理方法、およびプログラム
US20090169023A1 (en) * 2007-12-27 2009-07-02 Ching-Chieh Wang Method for controlling volume of a multimedia player
WO2009136356A1 (en) * 2008-05-08 2009-11-12 Koninklijke Philips Electronics N.V. Localizing the position of a source of a voice signal
JP5552614B2 (ja) 2008-06-16 2014-07-16 株式会社 Ｔｒｉｇｅｎｃｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ デジタルスピーカー駆動装置，デジタルスピーカー装置，アクチュエータ，平面ディスプレイ装置及び携帯電子機器
JP5002546B2 (ja) 2008-06-26 2012-08-15 株式会社日立製作所 テレビジョン受像機
US8130257B2 (en) * 2008-06-27 2012-03-06 Microsoft Corporation Speaker and person backlighting for improved AEC and AGC
US8189807B2 (en) * 2008-06-27 2012-05-29 Microsoft Corporation Satellite microphone array for video conferencing
US8107636B2 (en) * 2008-07-24 2012-01-31 Mcleod Discoveries, Llc Individual audio receiver programmer
US20100107184A1 (en) * 2008-10-23 2010-04-29 Peter Rae Shintani TV with eye detection
JP5273850B2 (ja) * 2008-11-05 2013-08-28 フリースケール セミコンダクター インコーポレイテッド 電子機器、電子機器の制御方法、電子機器の制御プログラム及び電子機器のコントロール装置
JP5267115B2 (ja) * 2008-12-26 2013-08-21 ソニー株式会社 信号処理装置、その処理方法およびプログラム
US8497796B2 (en) * 2009-01-23 2013-07-30 Alcatel Lucent Methods and apparatus for controlling one or more electronic devices based on the location of a user
US8595793B2 (en) * 2009-02-13 2013-11-26 Samsung Electronics Co., Ltd. System and method for user login to a multimedia system using a remote control
JP5197481B2 (ja) 2009-05-15 2013-05-15 三菱電機株式会社 テレビジョン装置
EP2333778A1 (en) 2009-12-04 2011-06-15 Lg Electronics Inc. Digital data reproducing apparatus and method for controlling the same
WO2011071461A1 (en) * 2009-12-10 2011-06-16 Echostar Ukraine, L.L.C. System and method for selecting audio/video content for presentation to a user in response to monitored user activity
US8347325B2 (en) * 2009-12-22 2013-01-01 Vizio, Inc. System, method and apparatus for viewer detection and action
US8712110B2 (en) * 2009-12-23 2014-04-29 The Invention Science Fund I, LC Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
US8823782B2 (en) * 2009-12-31 2014-09-02 Broadcom Corporation Remote control with integrated position, viewer identification and optical and audio test
JP5609160B2 (ja) * 2010-02-26 2014-10-22 ソニー株式会社 情報処理システム、コンテンツ合成装置および方法、並びに記録媒体
US9318096B2 (en) * 2010-09-22 2016-04-19 Broadcom Corporation Method and system for active noise cancellation based on remote noise measurement and supersonic transport
JP2012104871A (ja) * 2010-11-05 2012-05-31 Sony Corp 音響制御装置及び音響制御方法
US8640021B2 (en) * 2010-11-12 2014-01-28 Microsoft Corporation Audience-based presentation and customization of content
JP5417352B2 (ja) * 2011-01-27 2014-02-12 株式会社東芝 音場制御装置及び方法
JP5772069B2 (ja) 2011-03-04 2015-09-02 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8719019B2 (en) * 2011-04-25 2014-05-06 Microsoft Corporation Speaker identification
US20120324492A1 (en) * 2011-06-20 2012-12-20 Microsoft Corporation Video selection based on environmental sensing
US9520957B2 (en) * 2011-08-19 2016-12-13 Lenovo (Singapore) Pte. Ltd. Group recognition and profiling
US8848021B2 (en) * 2012-01-19 2014-09-30 Microsoft Corporation Remote participant placement on a unit in a conference room

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10938998B2 (en) 2017-03-13 2021-03-02 Fuji Xerox Co., Ltd. Information processing apparatus

Also Published As

Publication number Publication date
WO2013014886A1 (en) 2013-01-31
KR101913888B1 (ko) 2018-10-31
KR20140040230A (ko) 2014-04-02
JP2013026997A (ja) 2013-02-04
EP2737692B1 (en) 2018-10-17
CN103688531B (zh) 2017-09-15
US9398247B2 (en) 2016-07-19
US20140313417A1 (en) 2014-10-23
EP2737692A4 (en) 2015-03-04
CN103688531A (zh) 2014-03-26
EP2737692A1 (en) 2014-06-04
BR112014001256A2 (pt) 2017-02-21

Similar Documents

Publication Publication Date Title
JP5910846B2 (ja) 制御装置、制御方法、及び、プログラム
US11929088B2 (en) Input/output mode control for audio processing
US20190027136A1 (en) Method and apparatus for identifying acoustic background environments based on time and speed to enhance automatic speech recognition
US20150281853A1 (en) Systems and methods for enhancing targeted audibility
JP2015056905A (ja) 音声の到達性
KR20160105858A (ko) 사용자 제어가능 청각 환경 맞춤화 시스템 및 방법
JP2012075039A (ja) 制御装置、および制御方法
KR101694424B1 (ko) 휴대 단말기의 시분할 다중 접속 노이즈 제거 장치 및 방법
US8259954B2 (en) Enhancing comprehension of phone conversation while in a noisy environment
US20170148438A1 (en) Input/output mode control for audio processing
CN110996143B (zh) 数字电视信号处理方法、电视机、装置及存储介质
JP2019184809A (ja) 音声認識装置、音声認識方法
JP2005192004A (ja) ヘッドセットおよびヘッドセットの音楽データの再生制御方法
WO2015030642A1 (en) Volume reduction for an electronic device
US11388281B2 (en) Adaptive method and apparatus for intelligent terminal, and terminal
US11622197B2 (en) Audio enhancement for hearing impaired in a shared listening environment
CN115714948A (zh) 一种音频信号处理方法、装置及存储介质
CN111696566B (zh) 语音处理方法、装置和介质
CN113810828A (zh) 音频信号处理方法、装置、可读存储介质及耳机
CN111694539A (zh) 在听筒和扬声器之间切换的方法、装置及介质
JP2009044365A (ja) 音声処理装置及び方法、携帯端末
JP2015015728A (ja) 制御装置、および制御方法
CN115729510A (zh) 音频播放方法、音频播放装置及计算机可读存储介质
JP4666360B2 (ja) カラオケ施設のインターホンシステム
US20200098363A1 (en) Electronic device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160316

R151 Written notification of patent or utility model registration

Ref document number: 5910846

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees