JP5423339B2 - 映像表示装置 - Google Patents

Description

本発明は、映像表示装置に関し、特に、可視的表示器用の制御装置としてのイメージ処理を実現する映像表示装置に関する。

画像の一部を拡大する技術として、以下のものが開示されている。
特許文献１には、操作者の目と画像表示部との間の距離を測定し、測定出力に応じて画像の拡大率を変化させて表示する技術が開示されている。
特許文献２には、使用者とディスプレイとの距離を測り、距離に応じてディスプレイに拡大画像・縮小画像を表示する技術が開示されている。
特許文献３には、利用者の顔の特徴点の変化量から利用者の顔の方向の変化を判定し、顔の方向の変化に応じた表示対象のスクロール制御を行う技術が開示されている。

特許文献４には、複数のリモコン受信手段のそれぞれの受信強度から視聴者位置（リモコン位置）を検出して、映像の表示位置や表示サイズを変更する技術が開示されている。 特許文献５には、複数の視聴者位置に応じて複数の投影位置を規定し、検出された視聴者位置に応じて映像の投影位置決定を行う技術が開示されている。

特開平７−４４１４３号公報 特開平７−１８１９３９号公報 特開２００９−３１３６８号公報 特開２００９−１４７４５５号公報 特開２００７−７９２１０号公報

このように、特許文献１，２には、操作者の目の位置などから操作者の位置を求め、顔を表示部に近づけると表示画像を拡大する技術が開示されている。また、特許文献３には顔の方向の変化に応じて表示対象のスクロールを行う技術が開示されている。
さらに、特許文献４には、リモコンの位置で操作者位置を検出する技術が開示され、特許文献５にはプロジェクタについて操作者の位置を検出して投影位置を変化させる技術が開示されている。

上述した従来の技術では、拡大表示したり、顔の向きを変えることでスクロールをすることはできるが、本来、どの部分を拡大するか不明のまま拡大しても、希望には沿わない。さらに、最適な画面サイズを得ることができなかった。
本発明は、操作が煩わしくなく、視聴者にとって最適な画面サイズとなるよう自動的に画面サイズを調整することを目的とする。

本発明は、映像を所定の表示面に表示させる表示手段と、視聴者を所定位置から撮影する撮影手段と、撮影された視聴者の画像から顔および目を検出し、視聴者が見ている映像の中の焦点位置を検出する焦点位置検出手段と、表示面から視聴者の位置までの距離を検出する距離検出手段と、検出された距離と焦点位置とから映像の中の視聴者の焦点範囲を検出する焦点範囲検出手段と、視聴者による拡大条件を監視する拡大条件監視手段と、拡大条件が成立したときに距離に応じて上記焦点範囲の拡大した映像を表示させる拡大表示制御手段とを具備する構成としてある。

かかる構成において、撮影手段が視聴者を所定位置から撮影すると、焦点位置検出手段は、撮影された視聴者の画像から顔および目を検出し、視聴者が見ている映像の中の焦点位置を検出し、距離検出手段が表示面から視聴者の位置までの距離を検出する。そして、焦点範囲検出手段が検出された距離と焦点位置とから映像の中の視聴者の焦点範囲を検出する一方、拡大条件監視手段は視聴者による拡大条件を監視しており、拡大条件が成立したときには拡大表示制御手段が距離に応じて上記焦点範囲の拡大した映像を上記表示手段に表示させる。

すなわち、ユーザーが見ている場所を焦点位置として検知し、また、ユーザーとの距離とに基づいて焦点範囲を検知し、最適な範囲を拡大して表示する。
焦点位置を検出するため、上記焦点位置検出手段は、撮影された映像の中から人の顔を検出する顔検出手段と、人の顔の映像の中から眼球を検出する眼球検出手段と、検出された眼球の位置に基づいて視線の方向を検出する視線方向検出手段と、眼球の位置と視線方向と表示面の位置とから表示面における焦点位置を算出する焦点位置算出手段とを具備する構成としてある。

かかる構成において、撮影手段が視聴者を所定位置から撮影しており、顔検出手段が撮影された映像の中から人の顔を検出すると、眼球検出手段は人の顔の映像の中から眼球を検出し、視線方向検出手段が検出された眼球の位置に基づいて視線の方向を検出する。その後、焦点位置算出手段は、上記検出された眼球の位置と視線方向と表示面の位置とから表示面における焦点位置を算出する。
焦点位置の検出については、他の手法も広く知られており、この手法に限られるものではない。

さらに、拡大条件監視手段は、焦点位置と距離とが変わらずに一定時間経過したときに拡大条件が成立したと判断するように構成しても良い。
ユーザーが画面の中の一点をじっと見つめるような場合、そこに表示されている人物やレシピや住所などを注視しており、拡大してみたいという希望がある場合が多い。このため、焦点位置と距離とが変わらずに一定時間経過したときに拡大条件が成立したと判断することで、適切なタイミングで拡大表示できる。

さらに、上記焦点位置検出手段は、視聴者のまばたきを検知可能であり、拡大条件監視手段は、焦点位置と距離が変わらないで、まばたきが所定回数に達したときに拡大条件が成立したと判断するようにしてもよい。
拡大したいことを指示するための煩わしくない範囲の操作としてまばたきが可能であり、焦点位置と距離が変わらない状態で、まばたきを自然な回数よりも多い所定回数だけすることで、拡大の指示を伝えることができる。
さらに、拡大条件監視手段は、リモコンによる操作によって拡大条件の監視に入るか否かを設定可能とするようにしてもよい。

リモコンによる操作で、予め拡大条件の監視に入るか否かを設定可能とすることで、誤動作を防止することができる。
さらに、上記焦点位置検出手段は、リモコンによる操作によって補助的に焦点位置検出するようにしてもよい。
焦点位置を検出できない場合に、すぐさま拡大不能とするのではなく、補助的にリモコンによる操作を受け付けることで、拡大の機能を提供し易くできる。
さらに、拡大条件監視手段は、上記焦点位置検出手段による焦点位置の検出結果に基づいて、同焦点位置が所定方向に動作したときに拡大した映像のサイズを保持する操作と受け付けるようにしてもよい。
ユーザーが拡大したかった部分が拡大された場合に、その部分の拡大を保持したい場合が多い。このとき、簡単な操作で保持できるように、焦点位置が所定方向に動作したときに拡大した映像のサイズを保持するようにしている。

この他、映像を所定の表示面に表示させる表示手段と、視聴者を所定位置から撮影する撮影手段と、撮影された視聴者の画像から顔および目を検出し、視聴者が見ている映像の中の焦点位置を検出する焦点位置検出手段と、表示面から視聴者の位置までの距離を検出する距離検出手段と、検出された距離と焦点位置とから映像の中の視聴者の焦点範囲を検出する焦点範囲検出手段と、視聴者による拡大条件を監視する拡大条件監視手段と、拡大条件が成立したときに距離に応じて上記焦点範囲の拡大した映像を表示させる拡大表示制御手段とを具備し、
上記焦点位置検出手段は、撮影された映像の中から人の顔を検出する顔検出手段と、人の顔の映像の中から眼球を検出する眼球検出手段と、検出された眼球の位置に基づいて視線の方向を検出する視線方向検出手段と、眼球の位置と視線方向と表示面の位置とから表示面における焦点位置を算出する焦点位置算出手段とを具備しており、
上記焦点位置検出手段は、リモコンによる操作によって補助的に焦点位置検出することが可能であるとともに、視聴者のまばたきを検知可能であり、
拡大条件監視手段は、焦点位置と距離とが変わらずに一定時間経過するか、まばたきが所定回数に達したときに拡大条件が成立したと判断するとともに、リモコンによる操作によって拡大条件の監視に入るか否かを設定可能であり、かつ、上記焦点位置検出手段による焦点位置の検出結果に基づいて、同焦点位置が所定方向に動作したときに拡大した映像のサイズを保持する操作と受け付けるように構成しても良い。

以上、説明したように、本発明によれば、ユーザーが見ている場所と、距離に応じて、煩わしい動作を必要とすることなく、拡大ができるので、視聴者にとって最適な画面サイズとなるよう自動的に画面サイズを調整することが可能となる。

本発明が適用されるテレビジョンのブロック図である。 焦点位置検出回路のブロック図である。 拡大処理のフローチャートである。 モード変更処理のフローチャートである。 拡大前の画面の表示と視聴の状況を示す図である。 最初の拡大時の画面の表示と視聴の状況を示す図である。 さらなる拡大後の画面の表示を示す図である。

以下、添付図面にもとづいて本発明の実施形態を説明する。
図１は、本発明が適用されるテレビジョンのブロック図である。
同テレビジョンは、テレビとしての機能を実現するため、テレビ放送波を受信する放送波受信回路１と、テレビ放送波に含まれる映像音声信号を取得する映像音声信号取得回路２と、取得された映像音声信号に基づいて映像と音声を出力する映像音声出力装置３を有している。映像音声出力装置３は、映像を表示する表示面としての画面３ａと、音声を出力するスピーカ３ｂとを有し、映像用の設定、および音声用の設定に応じた反映させた出力が可能となっている。

本実施例では、画面３ａに映像を表示するテレビを前提としているが、プロジェクタースクリーンに映像を表示するような場合にも本発明は適用可能である。
なお、この意味でテレビジョンとしての基本的な機能は表示手段に相当する
次に、拡大表示のための構成を説明する。拡大表示制御回路４は、映像音声信号取得回路２に対して所定の領域に白枠を表示させたり、同白枠内の領域を拡大させた表示をさせるように指示するものであり、かかる指示を出すために本テレビジョンは以下のような構成を備えている。

撮影装置５は、画面３ａの前にいるユーザーを撮影するものであり、レンズ等の光学系と撮像素子と同撮像素子からの出力信号を映像信号に変換して出力する出力映像処理回路を備えている。光学系や撮像素子は画面３ａの外枠などに設置され、画面３ａが対面している領域を撮影する。なお、この撮影装置５が撮影手段に相当する。
距離検出回路６は、画面３ａからユーザーまでの距離を検出するものであり、本実施形態では、ユーザーまでの距離としてリモコンまでの距離を検出している。具体的には、画面３ａの両脇にリモコン受光器を備えており、左右のリモコン受光器での受光強度の差異からリモコンまでの距離を検出する。なお、距離検出回路６は距離検出手段に相当する。

距離の検出方法は他の手法を採用することも可能である。例えば、撮影装置５として画面３ａの両脇に一対の光学系と撮像素子を配置し、撮影した画像を比較することで三角法による距離の測定が可能である。後述するように、本実施形態ではユーザーの顔認識を行なうので、認識された顔に着目して三角法による距離の測定を行っても良い。
焦点位置検出回路７は、撮影装置５で撮影された画面３ａの前の画像と、距離検出回路６で検出されたユーザーまでの距離とを入力し、ユーザーが見ている画面３ａ上の位置を検出する。なお、焦点位置検出回路７は焦点位置検出手段に相当する。

図２は、本実施形態における焦点位置検出回路７のより具体的な構成をブロック図により示している。
ユーザーが見ている画面３ａの位置（焦点位置）を検出するため、撮影した映像は顔検出回路７ａと眼球検出回路７ｂとに入力され、顔検出回路７ａにて顔位置が検出される。検出された顔位置は眼球検出回路７ｂにも入力され、同眼球検出回路７ｂは検出された顔位置の情報に基づいて顔の中にある眼球の位置を検出する。顔位置と眼球位置は視線方向検出回路７ｃに入力され、視線の方向を検出する。そして、焦点位置算出回路７ｄは顔位置と視線方向とユーザーまでの距離とを入力し、画面３ａから同距離だけ離れ、かつ、検出された顔位置から視線方向に位置する画面３ａ上の位置を焦点位置として算出する。具体的な算出式は各種の公知の算出式に従う。

これらより、焦点位置検出回路７は焦点位置検出手段に相当し、顔検出回路７ａは顔検出手段に相当し、眼球検出回路７ｂは眼球検出手段に相当し、視線方向検出回路７ｃは視線方向検出手段に相当し、焦点位置算出回路７ｄは焦点位置算出手段に相当する。
なお、焦点位置検出回路７は後述するまばたき操作に応じることができるように、まばたきの有無および回数を検出できるようにしても良い。また、上述したようにして焦点位置を検出できない場合、以下の拡大を全くしないのではなく、ユーザーからのリモコンを利用した焦点位置の指示を受けて以下の焦点位置として利用するようにしても良い。すなわち、視聴者の目の位置の検出が不可能な場合は、リモコンに位置検出可能な機能を付加して代用するようにしてもよい。この意味で、焦点位置検出手段が、リモコンによる操作によって補助的に焦点位置検出することに相当する。

焦点位置は焦点範囲検出回路８に入力され、焦点範囲検出回路８はユーザーまでの距離と合わせてユーザーの画面３ａ上での焦点範囲を検出する。一般的な人の視角度は、３５゜〜５５゜であるが、本実施形態では拡大したい部分を注視することを前提として、この視角度を狭める。具体的には、視角度２０゜として焦点位置を中心とする焦点範囲を矩形領域として規定している。なお、矩形領域とするのは、拡大したときの画面３ａの形状に合わせるためである。また、上下方向の２０゜の範囲としている。そして、検出された焦点範囲を上記拡大表示制御回路４に出力する。

また、拡大条件監視回路９は、所定の拡大条件が成立しているか否かを判断する。上述した焦点範囲の検出は、拡大条件が成立しているか否かとは無関係に行っている。しかし、実際に拡大表示を実行させる指示となるのは拡大条件監視回路９にて所定の拡大条件が成立したと判断された場合である。ただし、拡大表示を行うか否かは、後述するように予めユーザーによって選択できるようにしてある。

図３は、拡大処理のフローチャートである。以下、このフローチャートを参照して具体的な拡大処理を説明する。
まず、ステップ１ではユーザーと画面３ａとの距離を測定する。具体的には、上述した距離検出回路６がリモコンまでの距離、あるいは顔検出に伴うユーザーまでの距離を検出することになる。次に、ステップ２では焦点位置を検出する。具体的には、撮影装置５にて画面３ａの前を撮影し、上記距離とともに、焦点位置検出回路７にて焦点位置を検出する。

ステップ３では、拡大表示を行うモードであるか否かを判断する。予めユーザーはこのモードを変更できる。
図４は、モード変更処理のフローチャートである。ユーザーはリモコン操作により、画面状態の変更を要求できるようになっており、同操作を行うと、ステップ１１にて画面状態変更要求を判断し、画面サイズを適宜変更したいとするサイズ可変要求か、画面サイズを固定したいとするサイズ固定要求かを判断する。そして、サイズ可変要求である場合はステップ１２にてテレビのモードとして画面サイズ可変状態と設定し、サイズ固定要求である場合はステップ１３にてテレビのモードとして画面サイズ固定状態と設定する。すなわち、拡大条件監視手段として、リモコンによる操作によって拡大条件の監視に入るか否かを設定することになる。

あるいは、リモコンを操作する毎に、画面サイズ固定状態から画面サイズ可変状態へと変化させ、また、画面サイズ可変状態から画面サイズ固定状態へと変化させるようにしても良い。この場合は、ステップ１１の代わりにその時点での画面サイズ状態を判断し、上述したように画面サイズ状態を反転させる。
ステップ３では、このようにして予め設定されている画面サイズ状態を判断し、画面サイズ固定状態であれば以下の拡大表示の処理を実行しない。しかし、画面サイズ可変状態であれば、ステップ４以下へと処理を進める。

ステップ４ではユーザーから画面３ａまでの距離が変化したか否かを判断する。一定時間変化しない場合は以下の拡大表示の処理を実行しない。しかし、変化があれば以下の拡大表示の処理を実行する。すなわち、ユーザーは拡大表示をさせたいときに、目の位置と画面３ａの距離を短くするという動作を行う。
すると、まず、ステップ５にて画面サイズ固定状態を設定するとともに、焦点範囲を検出し、同焦点範囲を白枠で画面３ａ上に表示させる。図５は、拡大前の画面の表示と視聴の状況を示す図であり、同図に示すように、視聴者の眼球の位置と距離に応じて２０゜とした視角度に基づく焦点範囲を白枠で表示している。

この後、ある時間内にユーザーと画面３ａとの距離に変化があるか否かを判断する。すなわち、ユーザーは、白枠で表示されることで、次にこの範囲が拡大されることが分かるから、その部分が適切であれば、一定時間、焦点位置を変えないという動作を行う。一方、この範囲が正しくないのであれば視点をずらすことで焦点位置は移動し、それに伴って新たな焦点範囲が決まって白枠も移動される。この間の表示の制御は焦点範囲検出回路８や拡大表示制御回路４が行ない、白枠の表示は映像音声信号取得回路２にて実施している。

ステップ６にて、ある時間内に視聴者と画面３ａとの距離に変化がないと判断されると、一定時間経過して拡大条件が成立したものと判断して、以下の拡大処理を開始する。この意味で、ステップ６は拡大条件監視手段に相当する。
ステップ７にて画面サイズ可変状態の設定とし、ステップ８〜ステップ１０にて画面の表示の拡大を行う。すなわち、ステップ８にてリアルタイムにユーザーまでの距離に応じて視角範囲を算出し、最新の焦点範囲を取得し、ステップ９にて、同焦点範囲に応じた拡大率に対応する画面サイズを決定し、また、表示範囲となる表示位置を決定するなどの処理を行い、ステップ１０にて決定した範囲を画面に表示する。

図６は、最初の拡大時点での画面の表示と視聴の状況を示す図である。
ステップ６にてある時間内に視聴者と画面３ａとの距離に変化がないと判断されると、図５に示した白枠内の映像を画面全体に表示する。その後、ユーザーがさらに拡大したい場合は、視聴者は画面３ａとの距離を縮めて拡大したい部分に焦点を当てる。
図７は、さらなる拡大後の画面の表示を示す図である。
すなわち、ステップ８〜１０の処理で、最新の焦点範囲を反映し、同焦点範囲の映像を拡大して、画面３ａの全体に表示する。

そして、この画面サイズのままにしたい場合は、画面３ａまでの距離は変えずに、焦点をずらす（上・下・左・右へいずれかに目の位置を移動）。すると、ステップ１１にて焦点がずらされたと判断し、拡大の表示を固定して処理を終了する。一方、焦点をずらさない間は、ステップ８へ戻り、上述した拡大の表示を続ける。
この意味で、ステップ１１は、上記焦点位置検出手段による焦点位置の検出結果に基づいて、同焦点位置が所定方向に動作したときに、拡大条件監視手段が拡大した映像のサイズを保持する操作と受け付けることに相当する。

なお、画面サイズの固定を指示するのに、まばたきで行うようにしても良い。上述したように焦点位置検出回路７はまばたきの有無および回数を検出できるようにしておき、焦点範囲検出回路８を介して拡大表示制御回路４に同回数を出力すると、拡大表示制御回路４が画面サイズを固定する。すなわち、焦点位置検出手段が視聴者のまばたきを検知し、拡大条件監視手段が、焦点位置と距離が変わらないで、まばたきが所定回数に達したときに拡大条件が成立したと判断する。

なお、視聴者と画面３ａとの距離が短くなればなるほど、焦点範囲の面積は狭まり、画面３ａとの距離に反比例して拡大率を大きくして画面３ａに表示する。
このようにして、視聴者（目・眼球の位置）とモニター（テレビ、プロジェクタースクリーンを含む）までの距離と焦点距離を検出することで、その焦点位置にある映像部を拡大し、映像内情報（人物、レシピ、住所など）の把握を補助することができる。
すなわち、映像内の一部分を拡大して見てみたいというユーザーの要求に対して、視聴者の焦点から自動的に映像を拡大する機能を用いて要求に応えることができる。

なお、本発明は上記実施例に限られるものでないことは言うまでもない。当業者であれば言うまでもないことであるが、
・上記実施例の中で開示した相互に置換可能な部材および構成等を適宜その組み合わせを変更して適用すること
・上記実施例の中で開示されていないが、公知技術であって上記実施例の中で開示した部材および構成等と相互に置換可能な部材および構成等を適宜置換し、またその組み合わせを変更して適用すること
・上記実施例の中で開示されていないが、公知技術等に基づいて当業者が上記実施例の中で開示した部材および構成等の代用として想定し得る部材および構成等と適宜置換し、またその組み合わせを変更して適用すること
は本発明の一実施例として開示されるものである。

１…放送波受信回路、２…映像音声信号取得回路、３…映像音声出力装置、３ａ…画面、３ｂ…スピーカ、４…拡大表示制御回路、５…撮影装置、６…距離検出回路、７…焦点位置検出回路、７ａ…顔検出回路、７ｂ…眼球検出回路、７ｃ…視線方向検出回路、７ｄ…焦点位置算出回路、８…焦点範囲検出回路、９…拡大条件監視回路。

Claims (8)

1. 映像を所定の表示面に表示させる表示手段と、
   視聴者を所定位置から撮影する撮影手段と、
   撮影された視聴者の画像から顔および目を検出し、視聴者が見ている映像の中の焦点位置を検出する焦点位置検出手段と、
   表示面から視聴者の位置までの距離を検出する距離検出手段と、
   検出された距離と焦点位置とから映像の中の視聴者の焦点範囲を検出する焦点範囲検出手段と、
   視聴者による拡大条件を監視する拡大条件監視手段と、
   拡大条件が成立したときに距離に応じて上記焦点範囲の拡大した映像を表示させる拡大表示制御手段とを具備することを特徴とする映像表示装置。
2. 上記焦点位置検出手段は、撮影された映像の中から人の顔を検出する顔検出手段と、人の顔の映像の中から眼球を検出する眼球検出手段と、検出された眼球の位置に基づいて視線の方向を検出する視線方向検出手段と、眼球の位置と視線方向と表示面の位置とから表示面における焦点位置を算出する焦点位置算出手段とを具備することを特徴とする請求項１に記載の映像表示装置。
3. 拡大条件監視手段は、焦点位置と距離とが変わらずに一定時間経過したときに拡大条件が成立したと判断することを特徴とする請求項１または請求項２に記載の映像表示装置。
4. 上記焦点位置検出手段は、視聴者のまばたきを検知可能であり、
   拡大条件監視手段は、焦点位置と距離が変わらないで、まばたきが所定回数に達したときに拡大条件が成立したと判断することを特徴とする請求項１〜請求項３のいずれかに記載の映像表示装置。
5. 拡大条件監視手段は、リモコンによる操作によって拡大条件の監視に入るか否かを設定可能であることを特徴とする請求項１〜請求項４のいずれかに記載の映像表示装置。
6. 上記焦点位置検出手段は、リモコンによる操作によって補助的に焦点位置検出することを特徴とする請求項１〜請求項５のいずれかに記載の映像表示装置。
7. 拡大条件監視手段は、上記焦点位置検出手段による焦点位置の検出結果に基づいて、同焦点位置が所定方向に動作したときに拡大した映像のサイズを保持する操作と受け付けることを特徴とする請求項１〜請求項６のいずれかに記載の映像表示装置。
8. 映像を所定の表示面に表示させる表示手段と、
   視聴者を所定位置から撮影する撮影手段と、
   撮影された視聴者の画像から顔および目を検出し、視聴者が見ている映像の中の焦点位置を検出する焦点位置検出手段と、
   表示面から視聴者の位置までの距離を検出する距離検出手段と、
   検出された距離と焦点位置とから映像の中の視聴者の焦点範囲を検出する焦点範囲検出手段と、
   視聴者による拡大条件を監視する拡大条件監視手段と、
   拡大条件が成立したときに距離に応じて上記焦点範囲の拡大した映像を表示させる拡大表示制御手段とを具備し、
   上記焦点位置検出手段は、撮影された映像の中から人の顔を検出する顔検出手段と、人の顔の映像の中から眼球を検出する眼球検出手段と、検出された眼球の位置に基づいて視線の方向を検出する視線方向検出手段と、眼球の位置と視線方向と表示面の位置とから表示面における焦点位置を算出する焦点位置算出手段とを具備しており、
   上記焦点位置検出手段は、リモコンによる操作によって補助的に焦点位置検出することが可能であるとともに、視聴者のまばたきを検知可能であり、
   拡大条件監視手段は、焦点位置と距離とが変わらずに一定時間経過するか、まばたきが所定回数に達したときに拡大条件が成立したと判断するとともに、リモコンによる操作によって拡大条件の監視に入るか否かを設定可能であり、かつ、上記焦点位置検出手段による焦点位置の検出結果に基づいて、同焦点位置が所定方向に動作したときに拡大した映像のサイズを保持する操作と受け付けることを特徴とする映像表示装置。