JP5110182B2

JP5110182B2 - 映像表示装置

Info

Publication number: JP5110182B2
Application number: JP2011053992A
Authority: JP
Inventors: 達哉村上; 淳入江; 俊酒井
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2011-03-11
Filing date: 2011-03-11
Publication date: 2012-12-26
Anticipated expiration: 2031-03-11
Also published as: CN103415882B; JP2012191483A; CN103415882A; WO2012124150A1; KR101478937B1; EP2685447A4; EP2685447A1; KR20130116075A; US20140002620A1; EP2685447B1

Description

本発明は、３次元の動画像および２次元の動画像のいずれかを切り替えて表示する表示部を有する映像表示装置に関する。

近年、偏光フィルタ付きのメガネを用いることなく、３次元画像を視認することができる映像表示装置が開発され、テレビジョン装置やゲーム機などでの形態で実用化されはじめている。

この種の映像表示装置の従来例として、たとえば特許文献１には、映像表示面の前面にシリンドリカルレンズによるレンズアレイを配置し、各レンズにより左目用の画像と右目用の画像とを分けて、前者を左目に後者を右目にそれぞれ入射させる方式（レンチキュラー方式）を採用した装置が開示されている。また、特許文献２には、右目用の画像と左目用の画像とを表示パネルの面内に規則的に混在させ、各画像の前方にそれぞれ異なる方向への偏光状態を設定するための位相素子を設けると共に、各位相素子の境界位置に凸状の遮光部を形成した構成の装置が開示されている。

また特許文献３には、３次元画像と２次元画像とを切り替えて表示する機能を具備すると共に、表示を観察している観察者を撮像するための撮像装置が設けられた映像表示装置が開示されている。また特許文献３には、撮像装置により生成された画像から観察者の両目の並びを検出し、両目の並びが所定の角度以上傾いている場合には、３次元画像の表示から２次元画像の表示に切り替えることが記載されている。

特開２００１−１３３７２７号公報特開２０１０−３２６７７号公報特開平１１−２３４７０３号公報

３次元動画像は、見る人に大きなインパクトを与え、２次元動画像では得られない楽しみを得ることができるが、目や脳への負担が大きいことが問題となる。このため低年齢（特に１０歳未満）の子供には３次元表示を見せない方が望ましいとされ、大人であっても、疲れているときには見ない方が望ましいとされている。

また、３次元動画像が表示されている場合でも、その表示を見る利用者の位置や姿勢が適切でないと、立体認識を十分に体験することができない。また利用者の疲労も大きくなる。このため３次元動画像を観視する場合には、表示部から一定の距離だけ離れた場所から表示を見ることが推奨されている。また３次元の動画像の表示に対して利用者が顔や視線をまっすぐに向けた姿勢をとらない場合には、立体認識に支障が生じる可能性がある。

このように、３次元動画像を観視するのに適切でない状況が考えられるので、画像を見る利用者の状況に応じて３次元動画像および２次元動画像のいずれを表示するかを選択するのが望ましい。しかし、一般の利用者に表示の選択のための操作をさせると、煩雑な思いをさせてしまう。また３次元の表示に適切な状況ではないのに３次元の表示が選択され、その結果、健康を害するなどの問題が生じるおそれもある。

特許文献３に記載された発明は、両目の並び方向が表示部の水平ラインに沿っているかどうかによって３次元の表示と２次元の表示とを切り替えるものであるが、このような方法では、上記に掲げた種々の問題のうち利用者の顔や視線の方向に関する問題に対応できるにすぎない。しかも特許文献３による方法では、両目の並び方向が水平であれば、表示部に対して利用者が顔を横に向けていても３次元の表示がされてしまう。したがって利用者の姿勢に応じた表示の切替の精度が十分に得られるとは考えにくい。

本発明は上記の問題に着目し、動画像の表示を見る利用者の利用状況を精度良く推定し、その推定結果に基づき利用者の現在の状況に適した態様の画像を自動的に選択して表示することを課題とする。

本発明は、３次元動画像および２次元動画像のいずれかを切り替えて表示する表示部と、撮像手段により生成された画像から利用者の顔面を検出する顔検出手段と、顔検出手段により検出された顔の特徴を分析することにより利用者の利用状況を推定し、その推定結果に基づき３次元および２次元のいずれの動画像を表示するかを選択する画像選択手段と、画像選択手段により選択された動画像を表示部に出力する表示制御手段とを、具備する映像表示装置に適用される。

上記の構成によれば、利用者の顔の特徴を分析した結果に基づき利用者の利用状況を推定し、３次元の動画像を表示しても良い利用状況であると推定された場合には３次元動画像を表示し、３次元動画像を表示するのに適さない利用状況であると推定された場合には２次元動画像が表示される。よって、利用者に負担をかけることなく、利用状況に適した表示を行うことが可能になる。

本発明による映像表示装置では、画像選択手段は、顔検出手段により検出された顔の大きさおよび各顔器官の間の距離を計測して各計測データに基づき表示部に対する利用者の位置を推定し、推定された位置があらかじめ定めた基準の範囲に含まれる場合には３次元動画像を選択し、推定された位置が基準範囲から外れる場合には２次元動画像を選択する。また、本発明の一実施形態にかかる映像表示装置は、表示部からあらかじめ定めた基準の距離だけ離れた場所に利用者がいる場合に撮像手段により生成される画像から検出される顔の大きさおよび各顔器官の間の距離につき、それぞれ複数人の人物の画像を分析することにより設定された基準データが登録される登録手段を、さらに具備すると共に、画像選択手段は、顔の大きさおよび各顔器官の間の距離につき求めた複数の計測データを、それぞれ前記登録手段内の対応する基準データと照合して基準データに対する差が所定の許容値以内となる計測データを抽出し、抽出された計測データの数があらかじめ定めたしきい値を上回る場合には、利用者の位置が前記基準の範囲に含まれると推定し、抽出された計測データの数が前記しきい値を下回る場合には、利用者の位置が前記基準の範囲から外れると推定する。
本発明によれば、利用者が立体認識を体験するのに適した場所で表示部を見ている場合には３次元動画が表示されるが、利用者が表示部に近づきすぎた場合や表示部からかなり離れた場所にいる場合には、２次元の動画が表示される。

上記映像表示装置の第２の実施形態では、画像選択手段は、顔検出手段による顔器官の検出結果に基づいて利用者が表示部を正面視しているか否かを推定する処理をさらに実行し、利用者の位置が前記基準の範囲に含まれるが利用者が表示部を正面視していないと推定された場合に２次元動画像を選択する。この構成によれば、利用者が立体認識を体験するのに適した場所に位置していても利用者の顔や目が立体認識を体験するのに適した方向を向いていない場合には、２次元動画像が表示される。

他の構成の映像表示装置では、画像選択手段は、顔検出手段により検出された顔の特徴から利用者の年齢を推定し、推定された年齢があらかじめ定めた基準の年齢以上である場合には３次元動画像を選択し、推定された年齢が基準の年齢未満である場合には２次元動画像を選択する。この構成によれば、低年齢の子供が表示を見ている場合に３次元動画像が表示されるのを防ぐことができる。

さらに他の構成の映像表示装置では、画像選択手段は、所定の時間内に顔検出手段により検出された顔の変化に基づき利用者が疲労しているか否かを推定し、利用者は疲れていないと推定した場合には３次元動画像を選択し、利用者は疲れていると推定した場合には２次元動画像を選択する。この構成によれば、瞬きや眼球の動きの増加やあくびなど、疲れを示す変化が利用者の顔に生じた場合には、３次元動画像が表示されないようにすることができる。

本発明による映像表示装置は、テレビジョン装置、ゲーム機、パーソナルコンピュータなどの形態で提供することができる。

本発明によれば、利用者が立体認識を体験するのに適した場所にいる場合には３次元動画が表示され、利用者が立体認識を体験するのに適していない場所にいる場合には２次元動画が表示されるので、利用者に負担をかけることなく、利用状況に適した動画像を自動的に選択して表示することが可能になる。また利用者の位置が変化した場合にも、それに応じて表示を切り換えることができる。

本発明が適用されたテレビジョン装置の構成を示すブロック図である。画像選択処理の第１の例を示すフローチャートである。画像選択処理の第２の例を示すフローチャートである。画像選択処理の第３の例を示すフローチャートである。画像選択処理の第４の例を示すフローチャートである。

図１は、本発明が適用されたテレビジョン装置の構成例を示す。
このテレビジョン装置は、３次元の動画像を表示することが可能な表示部１０を備えるほか、受信回路１１、映像信号処理回路１２、音声回路１３、スピーカ１４などを基本構成として具備する。

受信回路１１は、図示しないアンテナが放送局から受信した信号を受け付け、この信号から２次元動画像および３次元動画像の映像信号や音声信号を復調する。各映像信号は映像信号処理回路１２に入力され、この回路１２でいずれか一方の映像信号を選択して表示部１０に出力する。音声信号は、音声回路１３からスピーカ１４へと出力される。これらの処理により、受信した番組の２次元または３次元の動画像が表示部１０に表示されると同時に、スピーカ１４から表示中の画像に対応する音声が出力される。

この実施例のテレビジョン装置には、映像信号処理回路１２に処理させる画像を選択するための手段として、カメラ１５および画像処理装置１００が組み込まれる。
カメラ１５はディジタルビデオカメラであって、そのレンズは、テレビジョン装置の本体の前面側の適所に固定される。画像処理装置１００は、カメラ１５に対するインターフェース回路やマイクロコンピュータが搭載された基板の形態をとり、コンピュータに組み込まれたプログラムにより、画像入力部１０１、前処理部１０２、顔検出部１０３、画像選択処理部１０４などの機能が設定される。

画像入力部１０１は、一定時間毎にカメラ１５から画像を取り込み、図示しないメモリに格納する。前処理部１０２は、入力された画像中の色彩などから利用者の顔が含まれる範囲を処理対象領域として検出し、この領域内の画像から顔検出に用いる特徴点や特徴量を抽出する。顔検出部１０３は、前処理部１０２による処理結果に基づき処理対象領域から利用者の顔および顔器官を検出する。なお、前処理部１０２や顔検出部１０３による処理には既存の顔検出技術を適用することができるので、詳細な説明は省略する。

画像選択処理部１０４は、顔検出部１０３により検出された顔の特徴を用いて視聴中の利用者の利用状況を推定し、この推定結果に基づき２次元動画像および３次元動画像のうち、利用者の利用状況から考えて表示に適していると思われる画像を選択する。選択結果は映像信号処理回路１２に与えられ、選択された動画像の映像信号が表示部１０へと出力される。

以下、画像選択処理部１０４により実行される処理の具体例として、４つの実施例を提示し、各実施例における処理内容を、それぞれ図２〜図５を参照して説明する。

＜実施例１＞
この実施例は、利用者が立体認識に適した場所にいる場合に３次元動画像を表示することを目的とする。具体的にこの実施例では、表示部１０の画面の高さの３倍の距離を３次元動画像の観視に適した距離（以下、「標準観視距離」という。）であるとし、あらかじめ相当数の人物の画像を分析して、利用者が表示部から標準観視距離だけ離れた場所にいる場合に得られる顔画像の大きさおよび各顔器官（目、眉、鼻、口）の間の距離（左右の目の間の距離、左右の眉の間の距離を含む。）の基準データを取得する。図２に示すフローチャートは、これらの基準データが画像処理装置１００に登録されていることを前提に実施される。

この処理の最初のステップＳ１１では、顔検出部１０３により検出された顔画像の画素数を計数する方法により当該顔画像の面積を計測する。またステップＳ１２では、各顔器官の間の距離を計測する。

ステップＳ１３では、ステップＳ１１，Ｓ１２の処理により得た各計測値をそれぞれ対応する基準データと照合し、基準データとの差が所定の許容値以内となる計測データを抽出する。

ステップＳ１４では、ステップＳ１３の処理により抽出されたデータの数に基づき利用者の位置を推定する。たとえば、抽出データ数があらかじめ定めたしきい値を上回る場合には、利用者は立体認識に適した場所にいると推定する。この場合にはステップＳ１５が「ＹＥＳ」となってステップＳ１６に進み、３次元動画像を選択する。

一方、抽出データ数がしきい値以下の場合には、利用者は立体認識に適さない場所にいると推定する。この場合にはステップＳ１５が「ＮＯ」となってステップＳ１７に進み、２次元動画像を選択する。

なお、上記の実施例では、利用者の顔の大きさおよび顔器官の間の距離の２種類のパラメータを用いた推定処理を行ったが、いずれか一方のパラメータのみを用いてもよい。一方で推定の精度を向上するために、利用者の顔のほか、体部分のサイズなどを推定処理の要素に加えてもよい。また利用者の場所をより高い精度で求めたい場合には、カメラ１５をステレオカメラとし、顔の特徴を対象に３次元計測を行ってもよい。

上記の処理によれば、利用者が標準観視距離に対応する場所付近にいる場合にのみ３次元動画像が表示され、利用者が標準観視距離に対応する場所より表示部１０に近づいた場合や標準観視距離に対応する場所より遠くにいる場合には２次元動画像が表示される。よって、３次元動画像が表示される場合には、利用者は、安定して立体認識を体験することができる。

ただし、利用者の位置が適切でないと推定された場合でも、画像の表示範囲の調整により利用者の位置を適切な状態にできるのであれば、その調整を行って３次元動画像を表示してもよい。たとえば、ステップＳ１３で抽出されたデータ数がしきい値以下であるが、各計測データが基準データより大きい場合には、利用者が標準観視距離に対応する場所より表示部に近い場所にいるとみなして、表示部における画像の表示範囲を狭め、その範囲内に３次元動画像を表示してもよい。

＜実施例２＞
３次元動画像が表示されているときに利用者が立体認識を体験するには、利用者の右目に右目用の画像が入射し、左目に左目用の画像が入射するように、視線の方向や顔の向きが調整されている必要がある。この点に鑑み、実施例２では、表示部１０に対する利用者の視線の方向や顔の向きを推定し、その推定結果に基づいて表示対象の画像を選択する。

具体的な処理手順を図３を用いて説明する。この処理の最初のステップＳ２１では、顔検出部１０３による処理結果に基づき、顔器官毎にその顔器官を含む範囲の座標を計測する。ステップＳ２２では、左右の黒目の位置（たとえば重心の座標）を計測する。

ステップＳ２３では、ステップＳ２１，Ｓ２２の処理により取得した計測データを用いて利用者の視線の方向や顔面の向きを推定する。たとえば、左右の目や眉の鼻に対する距離を計測し、左右の距離がほぼ等しい場合には、利用者の顔は正面を表示部１０に向けた状態にあると推定し、左右の距離が異なる場合には、顔は表示部１０の横手を向いていると推定する。また顔の正面が表示部１０を向いていると推定された場合には、目の範囲全体に対する黒目の位置関係から、視線が正面を向いているか、斜めを向いているかを推定する。

これらの推定結果から利用者が表示部１０を正面視していると推定した場合には、ステップＳ２４が「ＹＥＳ」となってステップＳ２５に進み、３次元動画像を選択する。一方、利用者が表示部１０を正面視していないという推定結果が得られた場合には、ステップＳ２４は「ＮＯ」となってステップＳ２６に進み、２次元動画像を選択する。

上記の実施例２によれば、利用者の視線方向や顔の向きが立体認識を得るのに適した状態である場合にのみ３次元の動画像が表示されるので、利用者は自然に正しい姿勢をとって視聴するようになる。
なお、この実施例２は実施例１と合わせて実施してもよい。この場合には、利用者が立体認識に適した場所で表示部１０を正面視している場合に３次元動画像が表示され、それ以外の場合には２次元動画像が表示されることになる。

＜実施例３＞
この実施例では、顔の検出結果から利用者の年齢を推定し、その推定結果に基づいて表示する動画像を選択する。
３次元の動画像の表示は、目や脳に負担をかけるため、１０歳未満の子供に見せるべきではないとされている。この点に鑑み、この実施例では、利用者の推定年齢が１０歳未満の場合には２次元動画像が選択されるようにする。そのためにこの実施例では、あらかじめ０〜９歳の子供の顔のサンプル画像を相当数解析して、これらの年齢層の子供の顔を検出するのに適した特徴データを数種類選択し（たとえば白目や唇の色彩、顔全体における肌の色のばらつき度合いなど）、データの種類毎に、その特徴データの値の確率分布曲線を求める。

図４に示す処理は、これらの確率分布曲線が画像処理装置１００に登録されていることを前提に実施されるもので、まずステップＳ３１において、顔検出部１０３により検出された顔画像を詳細に処理して、各種特徴データを計測する。ステップＳ３２では、抽出された特徴データをそれぞれ登録されている確率分布曲線と照合し、利用者が１０歳未満である可能性を推定する。たとえば特徴データの種類毎に、対応する確率分布曲線に基づき、当該特徴データが１０歳未満の子供に適合する確率を求め、各確率の平均値を所定のしきい値と比較する。

上記の処理により利用者が１０歳未満であると推定された場合には、ステップＳ３３が「ＹＥＳ」となってステップＳ３５に進み、２次元動画像を選択する。一方、利用者が１０歳以上であると推定された場合には、ステップＳ３３が「ＮＯ」となってステップＳ３４に進み、３次元動画像を選択する。

上記の処理によれば、１０歳未満の子供が視聴している場合に３次元動画像が表示されるのを防ぐことができるので、低年齢の子供の健康を守ることができる。
なお、顔検出部１０３による処理で複数人の顔が検出された場合には、検出された顔毎にステップＳ３１〜Ｓ３３を実行し、一人でも１０歳未満であると推定された場合には２次元動画像を選択するのが望ましい。このようにすれば、たとえば低年齢の子供が親と一緒に視聴しているような場合には、子供に合わせた表示を行うことができる。

また、あらかじめ３次元動画像を観視するのに適さない利用者の顔画像を登録している場合には、図４の処理に代えて、登録された顔画像が検出された場合には２次元動画像を選択し、それ以外の場合には３次元動画像を選択してもよい。

＜実施例４＞
上記したように、３次元の動画像の表示は目や脳に負担をかけるので、成人であっても疲れている場合には見ない方が良いとされている。この点に鑑み、この実施例では、顔検出部１０３により検出された顔の動きに基づき利用者が疲れているかどうかを推定し、その推定結果に適した画像を選択するようにしている。

図５を参照して具体的な処理の手順を説明する。この実施例では、一定長さの期間における目の検出結果の推移を解析して、目の開閉回数および眼球が動く回数を計測する（ステップＳ４１）。目の開閉回数は瞬きの頻度を示し、眼球が動く回数は視線が不安定になっている度合いを示す。よってこの実施例では、上記の計測データを利用者の疲労を推定するためのパラメータとして使用する。

ステップＳ４２では、ステップＳ４１で求めた各計数データを用いて利用者が疲れているかどうかを推定する。たとえば、各計数データをそれぞれあらかじめ登録された基準データと比較し、いずれか一方の計数データが基準データを上回った場合には、利用者が疲れていると推定する。

また図５には示していないが、ステップＳ４１の処理に並列させて、利用者の疲れを示す動作を検出する処理を実行し、その検出結果を加味した推定処理を行うこともできる。たとえば、口が所定時間以上開放される動きをあくびとして検出したり、目のそばに手の指の特徴が現れたことを目をこする動作として検出し、これらの動きが検出された場合には利用者が疲れていると推定してもよい。

上記の推定処理により利用者は疲れていないと推定した場合には、ステップＳ４３が「ＮＯ」となってステップＳ４４に進み、３次元動画像を選択する。一方、利用者が疲れていると推定した場合には、ステップＳ４３が「ＹＥＳ」となってステップＳ４５に進み、２次元動画像を選択する。

上記の実施例によれば、利用者が疲れている場合に３次元動画像が表示されるのを防ぐことができるので、利用者の健康を守ることが可能になる。なお、この実施例でも複数人の顔が検出された場合には、各人毎にステップＳ４１およびＳ４２を実行し、疲れていると判定された人が一人でもいる場合には２次元動画像を選択するのが望ましい。

上記図２〜図５に示した処理は、いずれも一定の時間おきに繰り返し実施される。よって、最初は３次元動画像が表示されていても、その後の利用状況が３次元動画像の表示に適さない状態になった場合には、表示は２次元動画像を表示するものに切り替えられる。よって、利用者の位置や姿勢が変わったり、利用者が別の人に代わった場合にも、速やかにその変更に対応することができる。

ただし、画像の表示の切り替えは、推定結果が変動したことに応じてすぐに行うのではなく、変動後に同じ推定結果が所定回数以上続いたことをもって表示を切り替えてもよい。このようにすれば、たとえば、第１実施例や第２実施例において３次元動画像が表示されている場合に、利用者が少し移動したり、顔の向きを変えたりした場合でも、その動作の変更の期間が僅かであれば、３次元動画像の表示を維持することができる。

第３実施例や第４実施例において、３次元動画像を選択している状態から、２次元動画像を選択すべき状態に変動したと推定された場合には、第２実施例（図３）のステップＳ２１〜Ｓ２３と同様の処理により利用者の顔や視線の向きを推定し、利用者が表示部１０を正面視していないと推定された場合には、３次元動画像の選択を維持してもよい。

また、いずれの実施例でも、検出された顔の目が閉じた状態が所定時間以上続いた場合には、利用者は居眠り中であると判断し、推定処理を中止して、選択中の画像の表示を維持してもよい。

１０表示部
１２映像信号処理回路
１５カメラ
１００画像処理装置
１０１画像入力部
１０２前処理部
１０３顔検出部
１０４画像選択処理部

Claims

３次元動画像および２次元動画像のいずれかを切り替えて表示する表示部と、
撮像手段により生成された画像から利用者の顔および顔器官を検出する顔検出手段と、
顔検出手段により検出された顔の大きさおよび各顔器官の間の距離を計測して各計測データに基づき表示部に対する利用者の位置を推定し、推定された位置があらかじめ定めた基準の範囲に含まれる場合には３次元動画像を選択し、推定された位置が前記基準の範囲から外れる場合には２次元動画像を選択する画像選択手段と、
前記画像選択手段により選択された動画像を前記表示部に出力する表示制御手段とを具備する映像表示装置であって、
前記表示部からあらかじめ定めた基準の距離だけ離れた場所に利用者がいる場合に前記撮像手段により生成される画像から検出される顔の大きさおよび各顔器官の間の距離につき、それぞれ複数人の人物の画像を分析することにより設定された基準データが登録される登録手段を、さらに具備し、
前記画像選択手段は、前記顔の大きさおよび各顔器官の間の距離につき求めた複数の計測データを、それぞれ前記登録手段内の対応する基準データと照合して基準データに対する差が所定の許容値以内となる計測データを抽出し、抽出された計測データの数があらかじめ定めたしきい値を上回る場合には、前記利用者の位置が前記基準の範囲に含まれると推定し、抽出された計測データの数が前記しきい値を下回る場合には、前記利用者の位置が前記基準の範囲から外れると推定する、映像表示装置。
３次元動画像および２次元動画像のいずれかを切り替えて表示する表示部と、
撮像手段により生成された画像から利用者の顔および顔器官を検出する顔検出手段と、
顔検出手段により検出された顔の大きさおよび各顔器官の間の距離を計測して各計測データに基づき表示部に対する利用者の位置を推定し、推定された位置があらかじめ定めた基準の範囲に含まれる場合には３次元動画像を選択し、推定された位置が前記基準の範囲から外れる場合には２次元動画像を選択する画像選択手段と、
前記画像選択手段により選択された動画像を前記表示部に出力する表示制御手段とを具備する映像表示装置であって、
前記画像選択手段は、前記顔検出手段による顔器官の検出結果に基づいて利用者が表示部を正面視しているか否かを推定する処理をさらに実行し、利用者の位置が前記基準の範囲に含まれるが利用者が表示部を正面視していないと推定された場合には、２次元動画像を選択する、映像表示装置。