JP7447602B2 - コンテンツ出力制御装置、コンテンツ出力システム、コンテンツ出力制御方法およびプログラム - Google Patents

Description

本発明は、コンテンツ出力制御装置、コンテンツ出力システム、コンテンツ出力制御方法およびプログラムに関する。

音声出力可能な電子書籍やゲームなど、表示画面にコンテンツ内容を表示することに加えて、音声を出力する技術が知られている（例えば、特許文献１参照）。

特開２０１６－１９２２１１号公報

ところが、このような装置を、例えば公共交通機関などの乗車時に利用している場合、車内放送などの周辺音が聞き取りにくい場合などがある。

本発明は、上記に鑑みてなされたものであって、適切に周辺音の確認を可能にすることを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係るコンテンツ出力制御装置は、周辺音を取得する周辺音取得部と、前記周辺音取得部が取得した周辺音に基づき、ユーザに対して音声を出力する音声出力部が出力する音声に対して周辺音を低減する処理を行う周辺音低減処理部と、前記ユーザの視線方向を検出する視線検出部と、前記視線検出部の検出結果に基づき、前記ユーザがコンテンツを表示した表示画面を注視しているか否かを判断する注視判断部と、前記注視判断部が、前記ユーザがコンテンツを表示した表示画面を注視していると判断した場合は、前記周辺音低減処理部による周辺音を低減した音声を出力し、前記ユーザがコンテンツを表示した表示画面を注視していないと判断した場合は、前記周辺音低減処理部による周辺音を低減した状態よりは周辺音が聞こえやすい状態とする音声出力制御部と、を備える。

本発明に係るコンテンツ出力システムは、上記のコンテンツ出力制御装置と、周辺音を収音する収音部と、音声を出力する音声出力部と、を備える。

本発明に係るコンテンツ出力制御方法は、周辺音を取得するステップと、音声出力装置を利用しているユーザの視線方向を検出するステップと、視線方向の検出結果に基づき、前記ユーザがコンテンツを表示した表示画面を注視しているか否かを判断するステップと、前記ユーザがコンテンツを表示した表示画面を注視していると判断した場合は、取得した周辺音に基づき周辺音を低減した音声を出力し、前記ユーザがコンテンツを表示した表示画面を注視していないと判断した場合は、周辺音を低減した状態よりは周辺音が聞こえやすい状態とするステップと、を含む。

本発明に係るプログラムは、周辺音を取得するステップと、音声出力装置を利用しているユーザの視線方向を検出するステップと、視線方向の検出結果に基づき、前記ユーザがコンテンツを表示した表示画面を注視しているか否かを判断するステップと、前記ユーザがコンテンツを表示した表示画面を注視していると判断した場合は、取得した周辺音に基づき周辺音を低減した音声を出力し、前記ユーザがコンテンツを表示した表示画面を注視していないと判断した場合は、周辺音を低減した状態よりは周辺音が聞こえやすい状態とするステップと、をコンピュータに実行させる。

本発明によれば、適切に周辺音の確認できるという効果を奏する。

図１は、第一実施形態に係るコンテンツ出力システムを示す概略図である。 図２は、第一実施形態に係るコンテンツ出力システムを示すブロック図である。 図３は、第一実施形態に係るコンテンツ出力システムにおける処理の流れの一例を示すフローチャートである。 図４は、第一実施形態に係るコンテンツ出力システムにおける処理の流れの他の例を示すフローチャートである。 図５は、第二実施形態に係るコンテンツ出力システムのブロック図である。 図６は、第二実施形態に係るコンテンツ出力システムにおける処理の流れの一例を示すフローチャートである。 図７は、第三実施形態に係るコンテンツ出力システムのブロック図である。 図８は、第三実施形態に係るコンテンツ出力システムにおける処理の流れの一例を示すフローチャートである。

以下に添付図面を参照して、本発明に係るコンテンツ出力システム１の実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。

［第一実施形態］
＜コンテンツ出力システム＞
図１は、第一実施形態に係るコンテンツ出力システム１を示す概略図である。図２は、第一実施形態に係るコンテンツ出力システム１を示すブロック図である。コンテンツ出力システム１は、音声出力装置としてのヘッドホン１０と、例えば、電子書籍端末、スマートフォン、タブレット端末、携帯用音楽再生装置、および、携帯用ゲーム機など、映像および音声で構成されるコンテンツの再生や表示等を行う電子機器３０とを含む。言い換えると、コンテンツ出力システム１は、音声出力装置としてのヘッドホン１０と電子機器３０との組み合わせである。コンテンツ出力システム１は、ユーザの視線方向に応じて、ヘッドホン１０から音声を出力したり、周辺の音声のノイズをキャンセルしたりする。

＜ヘッドホン＞
ヘッドホン１０は、例えばオーバーヘッド式で、ユーザの頭に装着する。ヘッドホン１０は、電子機器３０のコンテンツ出力制御装置４０から出力される音声データに基づいて、表示画面３６に表示したコンテンツに関する音声を出力する。ヘッドホン１０は、コンテンツ出力制御装置４０から出力される制御信号に基づいて、周辺のノイズをキャンセル可能である。ヘッドホン１０は、電子機器３０と有線または無線でデータを送受信可能に接続されている。ヘッドホン１０は、左音声出力部１１と右音声出力部１２とコンテンツ入力部３１と左マイクロフォン１４と右マイクロフォン１５とコンテンツ出力制御装置４０とを有する。

左音声出力部１１は、左耳用の音声出力部である。左音声出力部１１は、左耳を覆う筐体を有する。左音声出力部１１は、左耳において聞かせる音声を出力する。左音声出力部１１は、コンテンツ出力制御装置４０から音声データを取得する。左音声出力部１１は、音声データの左チャンネルデータを出力する。左音声出力部１１は、音声データの左チャンネルデータをＤ／Ａ変換して得られた電気信号を音に変換して出力する。

右音声出力部１２は、右耳用の音声出力部である。右音声出力部１２は、右耳において聞かせる音声を出力する。右音声出力部１２は、コンテンツ出力制御装置４０から音声データを取得する。右音声出力部１２は、音声データの右チャンネルデータを出力する。右音声出力部１２は、音声データの右チャンネルデータをＤ／Ａ変換して得られた電気信号を音に変換して出力する。

左マイクロフォン１４は、左音声出力部１１の筐体に配置されている。左マイクロフォン１４は、周辺音を取得する。周辺音は、例えば第三者の話し声および乗物の騒音などを含む環境音である。左マイクロフォン１４は、取得した音声を電子機器３０の周辺音取得部５２に出力する。

右マイクロフォン１５は、右音声出力部１２の筐体に配置されている。右マイクロフォン１５は、周辺音を検出する。右マイクロフォン１５は、取得した音声を電子機器３０の周辺音取得部５２に出力する。

＜電子機器＞
電子機器３０は、コンテンツ入力部３１と、表示部３２と、視線センサ３３と、コンテンツ出力制御装置４０とを有する。

コンテンツ入力部３１は、例えば音楽、映像またはゲームなどのコンテンツデータが入力される。コンテンツ入力部３１は、例えば図示しない記憶部に記憶されたコンテンツデータが入力されてもよい。コンテンツ入力部３１は、外部の記憶装置から、有線または無線でコンテンツデータが入力されてもよい。コンテンツ入力部３１に入力されるコンテンツデータは、例えば、音声出力を伴うコンテンツデータであり、動画コンテンツ、ゲームコンテンツ、ＷＥＢコンテンツなどである。

コンテンツデータには、コンテンツに関する映像データと音声データとを含む。コンテンツに関する映像データとは、表示画面３６に表示するコンテンツの映像データである。コンテンツに関する音声データとは、表示画面３６に表示されたコンテンツの映像データに対応して出力する音声の音声データである。コンテンツに関する音声データとは、例えば、電子書籍のテキスト読み上げの音声、ＷＥＢページのテキスト読み上げ音声および解説音声などでもよい。

視線センサ３３は、電子機器３０の表示画面３６と同じ方向を向いて配置されている。視線センサ３３は、電子機器３０の表示画面３６と対面している人物の視線を検出するセンサである。視線センサ３３は、ユーザが表示画面３６を視認している状態では、ユーザの顔と向かい合う位置に配置されている。視線センサ３３は、例えば、電子機器３０の表示画面３６の上部に配置されている。視線センサ３３は、撮影した撮影データをコンテンツ出力制御装置４０の視線検出部４３へ出力する。

視線センサ３３は、例えば、赤外ＬＥＤ群で構成された赤外光発光部と、一対の赤外線カメラとを含む。本実施形態では、視線センサ３３は、一対の赤外光発光部でユーザの顔方向に赤外光を照射し、赤外線カメラで撮影する。このようにして赤外線カメラで撮影した撮影映像から、後述する視線検出部４３が、ユーザの瞳孔と角膜反射の位置とに基づいて、ユーザの視線が表示画面３６を向いているか否かを判断する。さらに、ユーザの瞳孔と角膜反射の位置とに基づいて、表示画面３６におけるユーザの視線の位置が判断される。視線センサ３３は、可視光カメラなど、同様の機能を有する他の構成であってもよい。

表示部３２は、コンテンツ入力部３１に入力されたコンテンツの映像を表示する。表示部３２は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示部３２は、表示制御部４２から出力された表示データに基づいて、コンテンツの映像を表示する。表示部３２は、映像が表示される表示画面３６を備える。

ヘッドホン１０には、ヘッドホン１０がユーザの頭に装着されているか否かを検出するセンサが備えられていてもよい。具体的には、ヘッドホン１０には３軸の加速度センサが備えられ、重力加速度が検出されている方向に基づいて、ヘッドホン１０がユーザの頭に装着されていると判断する。さらに、例えばヘッドバンドの開き具合またはイヤーパッドへの圧力などを検出する他のセンサを使用してもよい。

＜コンテンツ出力制御装置＞
コンテンツ出力制御装置４０は、ヘッドホン１０から音声を出力したり、周辺のノイズをキャンセルしたりする。コンテンツ出力制御装置４０は、ユーザの視線方向に応じて、周辺音を低減した音声を出力したり、周辺音を低減した状態よりは周辺音が聞こえやすい状態としたりする。コンテンツ出力制御装置４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）または映像処理用プロセッサなどで構成された演算処理装置（制御部）である。コンテンツ出力制御装置４０は、図示しない記憶部に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。コンテンツ出力制御装置４０は、映像取得部４１と表示制御部４２と視線検出部４３と注視判断部４４と音声処理部５０と内部メモリである記憶部とが含まれる。音声処理部５０は、音声取得部５１と周辺音取得部５２と周辺音低減処理部５４と音声出力制御部５３とを有する。コンテンツ出力制御装置４０は、一または複数の装置で構成されていてもよい。

映像取得部４１は、表示部３２の表示画面３６に出力するためのコンテンツの映像データをコンテンツ入力部３１から取得する。

表示制御部４２は、映像取得部４１が取得したコンテンツの映像データを表示部３２の表示画面３６に表示させる。

視線検出部４３は、視線センサ３３が撮影した撮影データに基づいて、ユーザの視線方向を検出する。視線を検出する方法は限定されないが、本実施形態では、角膜反射によって視線を検出する。

注視判断部４４は、視線検出部４３の検出結果に基づき、ユーザがコンテンツを表示した電子機器３０の表示画面３６を注視しているか否かを判断する。表示画面３６を注視しているとは、ユーザの視線方向に表示画面３６が位置した状態、言い換えると、ユーザの視線方向と表示画面３６とが交差する状態が、第一所定期間以上継続することをいう。第一所定期間とは、例えば５秒程度である。表示画面３６を注視していないとは、ユーザの視線方向が表示画面３６と異なる方向に向いている状態、言い換えると、ユーザの視線方向と表示画面３６とが交差しない状態が、第二所定期間以上継続することをいう。第二所定期間とは、例えば５秒程度である。

音声取得部５１は、左音声出力部１１と右音声出力部１２とから出力するための音声データをコンテンツ入力部３１から取得する。

周辺音取得部５２は、左マイクロフォン１４と右マイクロフォン１５とから、周辺音を取得する。

周辺音低減処理部５４は、周辺音取得部５２が取得した周辺音に基づき、ユーザに対して音声を出力する左音声出力部１１と右音声出力部１２とが出力する音声に対して周辺音を低減する処理を行う。周辺音低減処理部５４は、周辺音取得部５２が取得した周辺音に基づいて、周辺音のノイズキャンセルを行って周辺音を低減する。ノイズキャンセルの方法は、公知の方法を適用可能であり、周辺音の位相を逆にした信号を、音声出力制御部２６に出力させる。

音声出力制御部５３は、ヘッドホン１０から音声データを音として出力する制御を行う。より詳しくは、音声出力制御部５３は、音声データの左チャンネルデータをＤ／Ａ変換して増幅した信号を左音声出力部１１から出力させる。音声出力制御部５３は、音声データの右チャンネルデータをＤ／Ａ変換して増幅した信号を右音声出力部１２から出力させる。

音声出力制御部５３は、注視判断部４４によってユーザがコンテンツを表示した表示画面３６を注視していると判断した場合は、周辺音低減処理部５４による周辺音を低減した音声を出力し、ユーザがコンテンツを表示した表示画面３６を注視していないと判断した場合は、周辺音低減処理部５４による周辺音を低減した状態よりは周辺音が聞こえやすい状態とする。

音声出力制御部５３は、周辺音低減処理部５４による周辺音を低減した状態よりは周辺音が聞こえやすい状態として、周辺音低減処理部５４による周辺音低減処理を行わないとしてもよい。この場合、音声出力制御部５３は、ノイズキャンセルをＯＦＦにする。これにより、ヘッドホン１０を装着しているユーザが、周辺音を聞きやすくなる。

音声出力制御部５３は、周辺音低減処理部５４による周辺音を低減した状態よりは周辺音が聞こえやすい状態として、周辺音低減処理部５４による周辺音低減処理を行なわず、周辺音取得部５２が取得した周辺音を左音声出力部１１と右音声出力部１２とから出力してもよい。これにより、ヘッドホン１０を装着しているユーザが、左音声出力部１１と右音声出力部１２とから周辺音を聞けるようになる。

次に、図３、図４を用いて、ヘッドホン１０における情報処理について説明する。図３は、第一実施形態に係るコンテンツ出力システム１における処理の流れの一例を示すフローチャートである。図４は、第一実施形態に係るコンテンツ出力システム１における処理の流れの他の例を示すフローチャートである。例えば、ヘッドホン１０の電源がＯＮになった場合、ヘッドホン１０がユーザの頭に装着された場合、ヘッドホン１０から音声の出力が開始された場合、または、コンテンツ出力制御処理の開始操作がされた場合などに、図３、図４に示すフローチャートの処理が実行される。

まず、図３に示す処理について説明する。コンテンツ出力制御装置４０は、音声出力を伴うコンテンツが表示部３２に表示されているか否かを判断する（ステップＳ１０１）。より詳しくは、コンテンツ入力部３１に入力された、音声および映像からなるコンテンツが再生され、コンテンツの映像が表示部３２に表示され、コンテンツの音声がヘッドホン１０に出力されているか否かを判断する。言い換えると、音声および映像からなるコンテンツが再生されているか否かを判断する。音声出力を伴うコンテンツが表示部３２に表示されている状態とは、表示部３２にコンテンツの映像が表示され、コンテンツの音声がヘッドホン１０に出力されている状態であり、これらの出力は、コンテンツの再生が終了するまで継続される。

音声出力を伴うコンテンツが表示部３２に表示されていると判断する場合（ステップＳ１０１でＹｅｓ）、ステップＳ１０２へ進む。音声出力を伴うコンテンツが表示部３２に表示されていると判断しない場合（ステップＳ１０１でＮｏ）、本処理を終了する。音声出力を伴うコンテンツが表示部３２に表示されていると判断する場合（ステップＳ１０１でＹｅｓ）、ユーザが表示画面３６を注視しているか否かを判断する（ステップＳ１０２）。より詳しくは、注視判断部４４によって、視線検出部４３の検出結果から、ユーザがコンテンツを表示した電子機器３０の表示画面３６を注視しているか否かを判断する。注視判断部４４によって、ユーザが表示画面３６を注視していると判断する場合（ステップＳ１０２でＹｅｓ）、ステップＳ１０３へ進む。注視判断部４４によって、ユーザが表示画面３６を注視していると判断しない場合（ステップＳ１０２でＮｏ）、ステップＳ１０４へ進む。

ユーザが表示画面３６を注視していると判断する場合（ステップＳ１０２でＹｅｓ）、コンテンツ出力制御装置４０は、ノイズキャンセルをＯＮにする（ステップＳ１０２）。より詳しくは、音声出力制御部５３は、周辺音低減処理部５４によるノイズキャンセルを行う。なお、音声出力制御部５３は、コンテンツの音声を左音声出力部１１と右音声出力部１２とから出力してもよい。この状態では、左音声出力部１１と右音声出力部１２とからコンテンツの音声が出力される。コンテンツ出力制御装置４０は、ステップＳ１０５へ進む。

ステップＳ１０３の処理は、ステップＳ１０１でＹｅｓのときにノイズキャンセルが既にＯＮとなっていた場合はノイズキャンセルがＯＮの状態を継続し、ステップＳ１０１でＹｅｓのときにノイズキャンセルがＯＦＦとなっていた場合はノイズキャンセルをＯＮとする。

ユーザが表示画面３６を注視していると判断しない場合（ステップＳ１０２でＮｏ）、コンテンツ出力制御装置４０は、ノイズキャンセルをＯＦＦにする（ステップＳ１０４）。より詳しくは、音声出力制御部５３は、周辺音低減処理部５４によるノイズキャンセルをＯＦＦにする。なお、音声出力制御部５３は、コンテンツの音声を左音声出力部１１と右音声出力部１２とから出力してもよい。この状態では、周囲の音声が聞こえやすい状態で、左音声出力部１１と右音声出力部１２とからコンテンツの音声が出力される。コンテンツ出力制御装置４０は、ステップＳ１０５へ進む。

ステップＳ１０４の処理は、ステップＳ１０１でＹｅｓのときにノイズキャンセルが既にＯＮとなっていた場合はノイズキャンセルをＯＦＦとし、ステップＳ１０１でＹｅｓのときにノイズキャンセルがＯＦＦとなっていた場合はノイズキャンセルがＯＦＦの状態を継続する。

コンテンツ出力制御装置４０は、ヘッドホン１０や電子機器３０などのコンテンツ出力システム１の利用を終了するか否かを判断する（ステップＳ１０５）。例えば、ヘッドホン１０や電子機器３０の電源がＯＦＦになった場合、ヘッドホン１０がユーザの頭から取り外された場合、ヘッドホン１０への音声の出力が停止された場合、または、コンテンツ出力制御処理の終了操作がされた場合などに、利用を終了すると判断して（ステップＳ１０５でＹｅｓ）、処理を終了する。コンテンツ出力制御装置４０は、上記に該当しない場合、利用を終了すると判断せずに（ステップＳ１０５でＮｏ）、ステップＳ１０１の処理を再度実行する。

つづいて、図４に示す処理について説明する。図４に示すフローチャートのステップＳ１１１、ステップＳ１１２、ステップＳ１１３、ステップＳ１１５は、図３に示すフローチャートのステップＳ１０１、ステップＳ１０２、ステップＳ１０３、ステップＳ１０５と同様の処理を行う。

ユーザが表示画面３６を注視していると判断しない場合（ステップＳ１１２でＮｏ）、コンテンツ出力制御装置４０は、ノイズキャンセルをＯＦＦにして、周辺音を出力する（ステップＳ１１４）。より詳しくは、音声出力制御部５３は、周辺音低減処理部５４によるノイズキャンセルをＯＦＦにして、周辺音取得部５２が取得した周辺音を左音声出力部１１と右音声出力部１２とから出力する。なお、音声出力制御部４７は、コンテンツの音声を左音声出力部１１と右音声出力部１２とから出力してもよい。この状態では、周囲の音声が聞こえやすい状態で、左音声出力部１１と右音声出力部１２とからコンテンツの音声とともに、周辺音が出力される。コンテンツ出力制御装置４０は、ステップＳ１１５へ進む。

ステップＳ１１３の処理は、ステップＳ１１１でＹｅｓのときにノイズキャンセルが既にＯＮとなっていた場合はノイズキャンセルがＯＮの状態を継続し、ステップＳ１１１でＹｅｓのときにノイズキャンセルがＯＦＦであり周辺音が出力されている状態となっていた場合はノイズキャンセルをＯＮとして周辺音の出力を停止する。

ステップＳ１１４の処理は、ステップＳ１１１でＹｅｓのときにノイズキャンセルが既にＯＮとなっていた場合はノイズキャンセルをＯＦＦとして周辺音を出力し、ステップＳ１１１でＹｅｓのときにノイズキャンセルがＯＦＦであり周辺音が出力されている状態となっていた場合はノイズキャンセルがＯＦＦの状態と周辺音の出力とを継続する。

このようにして、ヘッドホン１０を装着しているユーザが表示画面３６を注視している場合、周辺音を低減し、ヘッドホン１０を装着しているユーザが表示画面３６を注視していない場合、周辺音を低減した状態よりは周辺音が聞こえやすい状態とする。

＜効果＞
上述したように、本実施形態は、ヘッドホン１０を装着しているユーザが表示画面３６を注視している場合、周辺音を低減し、ユーザが表示画面３６を注視していない場合、周辺音を低減した状態よりは周辺音が聞こえやすくできる。本実施形態によれば、ユーザが表示画面３６を注視することを中断して、ユーザが周辺に注意を向けたと推定される状態となった場合に、周辺音がノイズキャンセルされた状態より、適切に周辺音を確認できる。このようにして、本実施形態によれば、ユーザが周辺音を聞きたいときに、ユーザが操作をしなくても、適切に周辺音を確認できる。

本実施形態では、周辺音を低減した状態よりは周辺音が聞こえやすい状態として、周辺音低減処理部５４による周辺音低減処理を行わない、または、周辺音低減処理を行なわず、周辺音取得部５２が取得した周辺音を左音声出力部１１と右音声出力部１２とから出力する。本実施形態によれば、周辺音を聞こえやすくできる。

［第二実施形態］
図５、図６を参照しながら、本実施形態に係るコンテンツ出力システム１Ａについて説明する。図５は、第二実施形態に係るコンテンツ出力システム１Ａのブロック図である。図６は、第二実施形態に係るコンテンツ出力システム１Ａにおける処理の流れの一例を示すフローチャートである。コンテンツ出力システム１Ａは、基本的な構成は第一実施形態のコンテンツ出力システム１と同様である。以下の説明においては、コンテンツ出力システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態では、電子機器３０Ａは、撮影部３３Ａと、コンテンツ出力制御装置４０Ａの顔検出部４８Ａとを有する点と、音声出力制御部５３Ａにおける処理とが、第一実施形態と異なる。

撮影部３３Ａは、電子機器３０Ａの表示画面３６と対面している人物を撮影する可視光カメラである。撮影部３３Ａは、ユーザの顔を撮影する。撮影部３３Ａは、ユーザが表示画面を視認している状態では、ユーザの顔を撮影可能な位置に配置されている。撮影部３３Ａは、例えば、電子機器３０Ａの表示画面３６の上部に配置されている。撮影部３３Ａは、撮影した撮影データをコンテンツ出力制御装置４０Ａの顔検出部４８Ａへ出力する。撮影部３３Ａと視線センサ３３とは、同一の可視光カメラであってもよい。

顔検出部４８Ａは、撮影部３３Ａが撮影した撮影データからユーザの顔を認識し、認識した顔の向きを検出する。より詳しくは、顔検出部４８Ａは、顔検出部４８Ａが検出した顔の向きが、表示画面３６に対して対向する向きであるか否かを検出する。例えばユーザがコンテンツが表示された表示画面３６を注視している場合には、ユーザの顔の向きは表示画面３６に対して対向する向きである。例えばユーザが周辺に注意を向けて周りを見回すような場合には、ユーザの顔の向きは表示画面３６に対して対向する向きではない。

表示画面３６に対して対向する向きとは、ユーザが表示画面３６に表示されたコンテンツの画像などを視認可能な向きのことである。表示画面３６に対して対向する向きとは、例えば、上下方向視および左右方向視において、ユーザの両眼の中心を通り、ユーザの前方に延びる直線と、表示画面３６とが交差する角度が例えば、９０°±３０°程度の範囲など、明らかにユーザが表示画面３６を見ているとされる向きが定義されればよい。

音声出力制御部５３Ａは、注視判断部４４によってユーザがコンテンツを表示した表示画面３６を注視していると判断したことに加えて、顔検出部４８Ａが検出した顔の向きが、表示画面３６に対して対向する向きである場合に、周辺音低減処理部５４による周辺音を低減した音声を出力する。音声出力制御部５３Ａは、注視判断部４４によってユーザがコンテンツを表示した表示画面３６を注視していないと判断したことに加えて、顔検出部４８Ａが検出した顔の向きが、表示画面３６に対して対向する向きではない場合に、周辺音低減処理部５４による周辺音を低減した状態よりは周辺音が聞こえやすい状態とする。ユーザがコンテンツを表示した表示画面３６を注視していない場合でも、ユーザの顔の向きが表示画面３６に対して対向する場合、ユーザがコンテンツの視聴を継続する意思があると推定される。この場合、周辺音の低減を継続することが好ましい。これに対して、ユーザがコンテンツを表示した表示画面３６を注視しておらず、かつ、ユーザの顔の向きが表示画面３６に対して対向していない場合、ユーザは周辺に高い注意を払っていると推定される。この場合、周辺音を確認可能にすることが好ましい。

次に、図６を用いて、コンテンツ出力システム１Ａにおける情報処理について説明する。図６に示すフローチャートのステップＳ１２１、ステップＳ１２２、ステップＳ１２４ないしステップＳ１２６は、図３に示すフローチャートのステップＳ１０１、ステップＳ１０２、ステップＳ１０３ないしステップＳ１０５と同様の処理を行う。

コンテンツ出力制御装置４０Ａは、ユーザの顔は対向しているか否かを判断する（ステップＳ１２３）。より詳しくは、顔検出部４８Ａが検出した顔の向きが、表示画面３６に対して対向する向きである場合（ステップＳ１２３でＹｅｓ）、ステップＳ１２４へ進む。顔検出部４８Ａが検出した顔の向きが、表示画面３６に対して対向する向きではない場合（ステップＳ１２３でＮｏ）、ステップＳ１２５へ進む。

＜効果＞
上述したように、本実施形態は、ユーザが表示画面３６を注視して、かつ、ユーザの顔の向きが表示画面３６に対して対向する場合、周辺音を低減して、ユーザが表示画面３６を注視していないで、かつ、ユーザの顔の向きが表示画面３６に対して対向する向きではない場合、周辺音を低減した状態よりは周辺音が聞こえやすくできる。本実施形態によれば、ユーザが顔の向きを表示画面３６に対向しない向きにして、ユーザが周辺に注意を向けたと状態されるときに、適切に周辺音を確認できる。

［第三実施形態］
図７、図８を参照しながら、本実施形態に係るコンテンツ出力システム１Ｂについて説明する。図７は、第三実施形態に係るコンテンツ出力システム１Ｂのブロック図である。図８は、第三実施形態に係るコンテンツ出力システム１Ｂにおける処理の流れの一例を示すフローチャートである。コンテンツ出力システム１Ｂは、基本的な構成は図５に示す第二実施形態のコンテンツ出力システム１Ａと同様である。本実施形態では、電子機器３０Ｂは、ＧＮＳＳ（Global Navigation Satellite System）受信部３４Ｂとコンテンツ出力制御装置４０Ｂの位置情報算出部４９Ｂと判断部５０Ｂとを有する点と音声出力制御部５３Ｂにおける処理とが、第一実施形態と異なる。

ＧＮＳＳ受信部３４Ｂは、ＧＮＳＳ衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機などで構成される。ＧＮＳＳ受信部３４Ｂは、受信したＧＮＳＳ信号を位置情報算出部４９Ｂに出力する。

位置情報算出部４９Ｂは、ＧＮＳＳ受信部３４ＢからＧＮＳＳ信号を受け付ける。位置情報算出部４９Ｂは、ＧＮＳＳ信号に基づいて、現在位置情報を算出する。位置情報算出部４９ＢおよびＧＮＳＳ受信部３４Ｂは、ＧＮＳＳ信号に限らず、他の方式の測位衛星システムに対応していてもよい。

判断部５０Ｂは、ユーザが交通機関を利用しているか否かを判断する。例えば、判断部５０Ｂは、位置情報算出部４９Ｂが算出した位置情報に基づいて、ヘッドホン１０を装着したユーザの現在位置が、図示しない地図情報の交通機関の位置情報に該当する場合や、移動履歴や移動速度に基づいて、交通機関を利用していると判断してもよい。判断部５０Ｂは、交通機関を利用しているかを判断する方法は限定されず、例えば、ヘッドホン１０の周辺のノイズまたは振動を利用するような他の方法によって判断されてもよい。

音声出力制御部５３Ｂは、ユーザが交通機関を利用している場合に、ユーザがコンテンツを表示した表示画面３６を注視していると判断した場合は、周辺音低減処理部５４による周辺音を低減した音声を出力し、ユーザがコンテンツを表示した表示画面３６を注視していないと判断した場合は、周辺音低減処理部５４による周辺音を低減した状態よりは周辺音が聞こえやすい状態とする。

次に、図８を用いて、コンテンツ出力システム１Ｂにおける情報処理について説明する。図８に示すフローチャートのステップＳ１３２ないしステップＳ１３６、は、図３に示すフローチャートのステップＳ１０１ないしステップＳ１０４と同様の処理を行う。

コンテンツ出力制御装置４０Ｂは、交通機関を利用しているか否かを判断する（ステップＳ１３１）。より詳しくは、判断部５０Ｂによって、位置情報算出部４９Ｂが算出した位置情報に基づいて、ユーザの現在位置が、地図情報の交通機関の位置情報に該当する場合などの判断結果に基づき、交通機関を利用していると判断する。判断部５０Ｂによって、交通機関を利用していると判断する場合（ステップＳ１３１でＹｅｓ）、ステップＳ１３２へ進む。判断部５０Ｂによって、交通機関を利用していると判断しない場合（ステップＳ１３１でＮｏ）、処理を終了する。

ステップＳ１３６における利用終了の判断は、ヘッドホン１０または電子機器３０Ｂの利用終了の判断に加えて、コンテンツ出力制御装置４０Ｂは、交通機関の利用を終了するか否かも判断する（ステップＳ１３６）。より詳しくは、判断部５０Ｂによって、位置情報算出部４９Ｂが算出した位置情報に基づいて、ユーザの現在位置が、地図情報の交通機関の位置情報から外れる場合など、交通機関の利用が終了していることの検出によって、交通機関の利用を終了すると判断する。判断部５０Ｂによって、交通機関の利用を終了すると判断する場合（ステップＳ１３６でＹｅｓ）、処理を終了する。判断部５０Ｂによって、交通機関の利用を終了すると判断しない場合（ステップＳ１３６でＮｏ）、ステップＳ１３２へ進む。

＜効果＞
上述したように、本実施形態は、ヘッドホン１０を装着したユーザが交通機関を利用している場合であって、ユーザが表示画面３６を注視している場合には、周辺音を低減し、ユーザが表示画面３６を注視していない場合には、周辺音を低減した状態よりは周辺音が聞こえやすくできる。本実施形態によれば、ヘッドホン１０を装着したユーザが交通機関の利用中に、アナウンスなどを聞くために顔の向きを表示画面３６と対向する向きから変えた場合などに、アナウンスなどの周辺音を聞きやすくできる。本実施形態によれば、不用意にノイズキャンセルがＯＦＦされることを抑制できる。

図示したコンテンツ出力システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。

コンテンツ出力システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。

上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。

上記では、音声出力装置の一例としてヘッドホン１０について説明したが、これに限定されない。音声出力装置は、例えば、イヤホンおよび首掛け式のスピーカなどであってもよい。

１ コンテンツ出力システム
１０ ヘッドホン（音声出力装置）
１１ 左音声出力部
１２ 右音声出力部
１４ 左マイクロフォン
１５ 右マイクロフォン
３０ 電子機器
３１ コンテンツ入力部
３３ 視線センサ
４０ コンテンツ出力制御装置
４３ 視線検出部
４４ 注視判断部
５０ 音声処理部
５１ 音声取得部
５２ 周辺音取得部
５４ 周辺音低減処理部
５３ 音声出力制御部

Claims (8)

1. 表示画面と同じ方向を向いて配置されている視線センサによってユーザの視線方向を検出する視線検出部と、
   前記ユーザが装着しているヘッドホンに備えられたマイクロフォンから周辺音を取得する周辺音取得部と、
   前記視線検出部の検出結果に基づき、前記ユーザがコンテンツを表示した前記表示画面を注視しているか否かを判断する注視判断部と、
   前記ユーザが交通機関を利用していることを判断する判断部と、
   前記ユーザが交通機関を利用している場合に、前記注視判断部が、前記ユーザがコンテンツを表示した前記表示画面を注視していないと判断した場合は、前記ユーザがコンテンツを表示した前記表示画面を注視していると判断された場合より、周辺音が聞こえやすい状態とする音声出力制御部と、
   を備える、コンテンツ出力制御装置。
2. 前記周辺音取得部が取得した周辺音に基づき、前記ユーザに対して音声を出力する音声出力部が出力する音声に対して周辺音を低減する処理を行う周辺音低減処理部、をさらに備え、
   前記音声出力制御部は、前記注視判断部が、前記ユーザがコンテンツを表示した前記表示画面を注視していると判断した場合は、前記周辺音低減処理部による周辺音を低減した音声を出力し、前記ユーザがコンテンツを表示した前記表示画面を注視していないと判断した場合は、前記周辺音低減処理部による周辺音を低減した状態よりは周辺音が聞こえやすい状態とする、
   請求項１に記載のコンテンツ出力制御装置。
3. 前記音声出力制御部は、前記周辺音低減処理部による周辺音を低減した状態よりは周辺音が聞こえやすい状態として、前記周辺音低減処理部による周辺音低減処理を行わない、
   請求項２に記載のコンテンツ出力制御装置。
4. 前記音声出力制御部は、前記周辺音低減処理部による周辺音を低減した状態よりは周辺音が聞こえやすい状態として、前記周辺音低減処理部による周辺音低減処理を行なわず、前記周辺音取得部が取得した周辺音を出力する、
   請求項２に記載のコンテンツ出力制御装置。
5. 前記ユーザの顔を認識し、認識した顔の向きを検出する顔検出部、をさらに備え、
   前記音声出力制御部は、前記ユーザがコンテンツを表示した前記表示画面を注視していると判断したことに加えて、前記顔検出部が検出した顔の向きが、前記表示画面に対して対向する向きである場合より、前記ユーザがコンテンツを表示した前記表示画面を注視していないと判断したことに加えて、前記顔検出部が検出した顔の向きが、前記表示画面に対して対向する向きではない場合は、周辺音が聞こえやすい状態とする、
   請求項１から４のいずれか一項に記載のコンテンツ出力制御装置。
6. 請求項１から５のいずれか一項に記載のコンテンツ出力制御装置と、
   周辺音を収音する収音部と、
   音声を出力する音声出力部と、
   を備える、コンテンツ出力システム。
7. 表示画面と同じ方向を向いて配置されている視線センサによって、ヘッドホンを利用しているユーザの視線方向を検出するステップと、
   前記ユーザが装着している前記ヘッドホンに備えられたマイクロフォンから周辺音を取得するステップと、
   視線方向の検出結果に基づき、前記ユーザがコンテンツを表示した前記表示画面を注視しているか否かを判断するステップと、
   前記ユーザが交通機関を利用していることを判断するステップと、
   前記ユーザが交通機関を利用している場合に、前記ユーザがコンテンツを表示した前記表示画面を注視していないと判断した場合は、前記ユーザがコンテンツを表示した前記表示画面を注視していると判断された場合より、周辺音が聞こえやすい状態とするステップと、
   を含む、コンテンツ出力制御装置が実行するコンテンツ出力制御方法。
8. 表示画面と同じ方向を向いて配置されている視線センサによって、ヘッドホンを利用しているユーザの視線方向を検出するステップと、
   前記ユーザが装着している前記ヘッドホンに備えられたマイクロフォンから周辺音を取得するステップと、
   視線方向の検出結果に基づき、前記ユーザがコンテンツを表示した前記表示画面を注視しているか否かを判断するステップと、
   前記ユーザが交通機関を利用していることを判断するステップと、
   前記ユーザが交通機関を利用している場合に、前記ユーザがコンテンツを表示した前記表示画面を注視していないと判断した場合は、前記ユーザがコンテンツを表示した前記表示画面を注視していると判断された場合より、周辺音が聞こえやすい状態とするステップと、
   を含む、コンピュータが実行するプログラム。
   

Images