JP3972193B2

JP3972193B2 - Video signal processing apparatus and method, recording medium, and program

Info

Publication number: JP3972193B2
Application number: JP2002230897A
Authority: JP
Inventors: 哲二郎近藤; 哲也村上
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-08-08
Filing date: 2002-08-08
Publication date: 2007-09-05
Anticipated expiration: 2022-08-08
Also published as: JP2004070103A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号処理装置および方法、記録媒体、並びにプログラムに関し、特に、ユーザの視覚的負担を抑制し、かつ、操作性を改善するようにした映像信号処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
複数チューナ内蔵の１台のテレビジョン受像機の表示画面を複数の領域に分割してマルチウインドウ化し、複数のコンテンツを各ウインドウに同時に表示させることが知られている。この場合、同一画面上に、１つの主画面と複数の子画面が存在することになり、主に主画面を見るユーザにとって子画面の画像は、視覚的に負担になる場合があった。
【０００３】
特開２００１−１７５２３９号公報には、この負担を回避するために、子画面のうち、特に動きが激しい画像を表示している子画面に対しては、その映像信号の輝度を下げる処理を実行することにより、子画面を暗く表示し、ユーザの視覚的負担を減らすことが提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の提案においては、ユーザの視覚的負担は軽減されるものの、ユーザが子画面に表示されている画像の中から所定の画像を選択するとき、子画面の画像は見にくいので、一旦、主画面に表示させ、気に入らなければ、他の子画面の画像を主画面に表示させるといった操作を繰り返さなければならない。そして、ユーザは、その都度、リモートコントローラなどの操作ツールを用いて、操作しなければならず、操作性が悪いという課題があった。
【０００５】
さらに、マルチウインドウ化の画面においては、１つの画面を分割して複数の子画面を生成しているため、１つ１つの子画面の解像度は、分割する前の画面の解像度と較べて低くなり、画面表示の品質が劣化してしまうという課題があった。
【０００６】
また、この画面の解像度を保証するために、１つの画面を分割するのではなく、複数台のテレビジョン受像機を用いることもできるが、この場合、消費電力が大きくなってしまうという課題があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、ユーザの視覚的負担を抑制し、かつ、操作性を改善するものである。
【０００８】
【課題を解決するための手段】
本発明の映像信号処理装置は、表示部に対するユーザの視線を検出する視線検出手段と、視線検出手段による検出結果に基づいて、表示部がユーザの視線が所定の時間以上検出されている注目表示部であるのか、ユーザの視線が所定の時間以上検出されない非注目表示部であるのかを判定する注目表示部判定手段と、注目表示部判定手段により、表示部が非注目表示部であると判定された場合、非注目表示部に表示される映像の映像信号を、表示部が注目表示部である場合に注目表示部に表示される映像に較べて、相対的に目立たなくなるように自動的に調整する調整手段と、表示部が注目表示部である場合、表示されている映像がＣＭの映像であるか否かを判定するＣＭ判定手段とを備え、ＣＭ判定手段により注目表示部の映像がＣＭの映像であると判定された場合、調整手段は、ＣＭ判定手段によりＣＭの映像ではないと判定された場合の映像と較べて、相対的に目立たなくなるように注目表示部の映像信号を調整することを特徴とする。
【０００９】
調整手段は、表示部が非注目表示部である場合、映像信号に１以下の係数を乗じて映像信号を調整するようにすることができる。
【００１０】
調整手段は、表示部が非注目表示部である場合、カラー映像信号である映像信号を白黒の映像信号になるように調整するようにすることができる。
【００１４】
本発明の映像信号処理方法は、表示部に対するユーザの視線を検出する視線検出ステップと、視線検出ステップの処理による検出結果に基づいて、表示部がユーザの視線が所定の時間以上検出されている注目表示部であるのか、ユーザの視線が所定の時間以上検出されない非注目表示部であるのかを判定する注目表示部判定ステップと、注目表示部判定ステップの処理により、表示部が非注目表示部であると判定された場合、非注目表示部に表示される映像の映像信号を、表示部が注目表示部である場合に注目表示部に表示される映像に較べて、相対的に目立たなくなるように自動的に調整する調整ステップと、表示部が注目表示部である場合、表示されている映像がＣＭの映像であるか否かを判定するＣＭ判定ステップとを含み、ＣＭ判定ステップにより注目表示部の映像がＣＭの映像であると判定された場合、調整ステップは、ＣＭ判定ステップによりＣＭの映像ではないと判定された場合の映像と較べて、相対的に目立たなくなるように注目表示部の映像信号を調整することを特徴とする。
【００１５】
本発明の記録媒体のプログラムは、表示部に対するユーザの視線を検出する視線検出ステップと、視線検出ステップの処理による検出結果に基づいて、表示部がユーザの視線が所定の時間以上検出されている注目表示部であるのか、ユーザの視線が所定の時間以上検出されない非注目表示部であるのかを判定する注目表示部判定ステップと、注目表示部判定ステップの処理により、表示部が非注目表示部であると判定された場合、非注目表示部に表示される映像の映像信号を、表示部が注目表示部である場合に注目表示部に表示される映像に較べて、相対的に目立たなくなるように自動的に調整する調整ステップと、表示部が注目表示部である場合、表示されている映像がＣＭの映像であるか否かを判定するＣＭ判定ステップとを含み、ＣＭ判定ステップにより注目表示部の映像がＣＭの映像であると判定された場合、調整ステップは、ＣＭ判定ステップによりＣＭの映像ではないと判定された場合の映像と較べて、相対的に目立たなくなるように注目表示部の映像信号を調整することを特徴とする。
【００１６】
本発明のプログラムは、表示部に対するユーザの視線を検出する視線検出ステップと、視線検出ステップの処理による検出結果に基づいて、表示部がユーザの視線が所定の時間以上検出されている注目表示部であるのか、ユーザの視線が所定の時間以上検出されない非注目表示部であるのかを判定する注目表示部判定ステップと、注目表示部判定ステップの処理により、表示部が非注目表示部であると判定された場合、非注目表示部に表示される映像の映像信号を、表示部が注目表示部である場合に注目表示部に表示される映像に較べて、相対的に目立たなくなるように自動的に調整する調整ステップと、表示部が注目表示部である場合、表示されている映像がＣＭの映像であるか否かを判定するＣＭ判定ステップとを含み、ＣＭ判定ステップにより注目表示部の映像がＣＭの映像であると判定された場合、調整ステップは、ＣＭ判定ステップによりＣＭの映像ではないと判定された場合の映像と較べて、相対的に目立たなくなるように注目表示部の映像信号を調整することを特徴とする。
【００１７】
本発明の映像信号処理装置および方法、記録媒体、並びにプログラムにおいては、表示部がユーザの視線が所定の時間以上検出されない非注目表示部であると判定された場合、非注目表示部に表示される映像の映像信号が、ユーザの視線が所定の時間以上検出されている注目表示部であると判定された場合に注目表示部に表示される映像に較べて、相対的に目立たなくなるように自動的に調整される。また、表示部が注目表示部である場合に、表示されている映像がＣＭの映像であるか否かが判定され、その判定により、注目表示部の映像がＣＭの映像であると判定されたとき、注目表示部の映像がＣＭの映像ではないと判定されたときの映像と較べて、相対的に目立たなくなるように注目表示部の映像信号が調整される。
【００１８】
【発明の実施の形態】
以下、図を参照して本発明の実施の形態について説明する。
【００１９】
図１は、本発明を適用したテレビジョン受像システム１の構成例を示している。このテレビジョン受像システム１は、複数の独立したテレビジョン受像機１１−１乃至１１−９と、その９台のテレビジョン受像機を１台で制御できるリモートコントローラ（以下、リモコンと称する）２により構成されている。
【００２０】
この例においては、上段に、左から順に、テレビジョン受像機１１−１、１１−２および１１−３が組み合わされ、中段に、左から順に、テレビジョン受像機１１−４、１１−５および１１−６が組み合わされ、下段に、左から順に、テレビジョン受像機１１−７、１１−８および１１−９が組み合わされて構成されている。また、これらのテレビジョン受像機１１−１乃至１１−９は、それぞれが有する表示部１２−１乃至１２−９が、同一方向を向くように、同じ平面上になるように、並べられている。
【００２１】
なお、このテレビジョン受像システム１においては、９台のテレビジョン受像機により構成されているが、例えば、６台として、９台よりも少ない台数により構成するようにしてもよいし、１２台として、９台よりも多い台数により構成するようにしてもよい。また、その組み合わせ方、並べ方も、特に制限されない。
【００２２】
このテレビジョン受像機１１−１乃至１１−９は、それぞれの正面中央に、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)からなる表示部１２−１乃至１２−９を有しており、表示部１２−１乃至１２−９は、対応するテレビジョン受像機１１−１乃至１１−９が受信した放送信号の映像を出力する。したがって、表示部１２−１乃至１２−９には、それぞれ違うコンテンツが表示される場合もあれば、同じコンテンツが表示される場合もある。
【００２３】
また、テレビジョン受像機１１−１乃至１１−９の表示部１２−１乃至１２−９の上部には、ＣＣＤ（Charge-Coupled Devices）撮像素子を含むビデオカメラ、デジタルカメラなどにより構成される撮影部１３−１乃至１３−９が配置されており、撮影部１３−１乃至１３−９は、テレビジョン受像システム１を見るユーザ３を撮影する。この撮影部１３−１乃至１３−９により撮影された画像に基づいて、ユーザ３の視線が検出され、その結果により、テレビジョン受像機１１−１乃至１１−９の表示部１２−１乃至１２−９に表示される映像の輝度信号Ｙまたは色差信号ｕ，ｖの調整処理が制御される。
【００２４】
ユーザ３は、テレビジョン受像システム１に対面して、テレビジョン受像システム１を見ている。ユーザ３は、リモコン２を操作することにより、各テレビジョン受像機１１−１乃至１１−９の表示部１２−１乃至１２−９に好みのコンテンツを表示させる。また、ユーザ３は、リモコン２を操作することにより、自分の好みのコンテンツを予め指定したり、自分の好みのコンテンツが出力されているテレビジョン受像機１１を選択する。
【００２５】
なお、以下、これらのテレビジョン受像機１１−１乃至１１−９、表示部１２−１乃至１２−９、および、撮影部１３−１乃至１３−９を個々に区別する必要がない場合、単にテレビジョン受像機１１、表示部１２、および、撮影部１３と称する。
【００２６】
図２は、テレビジョン受像機１１の構成を表している。図２において、チューナ３２は、アンテナ３１を介して受信された放送信号を選局、復調し、デマルチプレクサ３３に出力する。デマルチプレクサ３３は、その放送信号を、映像信号、音声信号および付加情報に分離し、その中の映像信号をデコーダ部３４に出力する。デコーダ部３４は、映像信号を輝度処理部４０および色差処理部４１に出力する。なお、音声信号は、図示せぬオーディオデコーダ部に出力され、処理される。
【００２７】
また、デマルチプレクサ３３は、映像信号および音声信号をＣＭ検出部３５に出力し、付加情報をデータ処理部３６に出力する。ＣＭ検出部３５は、供給された映像信号および音声信号に基づいて、対応するコンテンツがＣＭのコンテンツであるか否かを検出し、その結果に基づいた信号を制御部３７に出力する。データ処理部３６は、供給された付加情報を復号し、制御部３７へ出力する。
【００２８】
受信部３８は、ユーザの操作に基づいたリモコン２からの指示信号（赤外線信号）を受信し、対応する検出信号を制御部３７に出力する。視線検出部３９は、撮影部１３により撮影されたユーザ３の画像に基づいて、ユーザ３の視線を検出する処理を実行し、その結果に基づいた信号を制御部３７に出力する。
【００２９】
制御部３７は、ＣＭ検出部３５から供給された検出結果信号、データ処理部３６から供給された付加情報、受信部３８から供給された指示信号、または、視線検出部３９から供給された検出結果信号に基づいて、輝度処理部４０および色差処理部４１を制御する。
【００３０】
輝度処理部４０は、制御部３７による制御のもと、デコーダ部３４により供給された映像信号としてのＹＵＶ信号のうちの、輝度信号Ｙを調整する処理を実行する。色差処理部４１は、制御部３７による制御のもと、デコーダ部３４により供給された映像信号としてのＹＵＶ信号のうちの、色差信号ｕ，ｖを調整する処理を実行する。
【００３１】
表示制御部４２は、輝度処理部４０により調整された輝度信号Ｙと、色差調整部４１により調整された色差信号ｕ，ｖを合成し、表示部１２に出力させる。
【００３２】
次に、図３のフローチャートを参照して、このテレビジョン受像システム１のテレビジョン受像機１１の表示制御処理を説明する。なお、この処理は、各テレビジョン受像機１１毎に実行される。
【００３３】
いまの場合、テレビジョン受像機１１−１乃至１１−９においては、それぞれ異なるコンテンツの放送信号が受信され、その映像が出力されているので、ユーザ３は、これらのうちの１台のテレビジョン受像機１１の表示部１２に出力されているコンテンツに注目し、それを見ている。
【００３４】
テレビジョン受像機１１の撮影部１３は、テレビジョン受像システム１を見るユーザの視線が検出できるように予め設定された範囲を常に撮影しており、撮影された画像を視線検出部３９に供給している。それに対応して、視線検出部３９は、ステップＳ１において、供給された画像に基づいて、ユーザ３を検出するまで待機しており、ユーザ３を検出したと判断した場合、ステップＳ２において、ユーザ３の視線検出処理を実行する。この視線検出処理について、図４のフローチャートを参照して説明する。
【００３５】
ステップＳ２１において、視線検出部３９は、供給された画像の色彩情報を用いて両目の輪郭を検出する。すなわち、視線検出部３９は、供給された画像の色彩情報から、例えば、肌、白目または黒目などの色領域を抽出し、抽出した色領域の境界を求めることなどにより、図５に示されるように、右目の輪郭Ｅおよび左目の輪郭Ｅを検出する。なお、図５には、片目のみが示されている。
【００３６】
ステップＳ２２において、視線検出部３９は、ステップＳ２１で求められた両目のそれぞれの輪郭Ｅに基づいて、右目の左右端点Ｇ１，Ｇ２の位置、および左目の左右の端点Ｇ１，Ｇ２の位置を基準として、図６に示されるような鼻孔を探索するための探索範囲ＮＥを決定し、その探索範囲ＮＥ内から鼻孔ＮＨの位置を検出する。
【００３７】
すなわち、より詳細に説明すると、視線検出部３９は、左右両目について、図５に示されるように、それぞれ目の輪郭Ｅを構成する画素集合の重心Ｑと、目の輪郭Ｅを構成する画素集合の２次モーメント（線に関する慣性）を最小にする線Ｍとを求め、さらに、目の輪郭Ｅを構成する画素集合の中から、線Ｍの方向において重心Ｑからの距離が最大距離Ｌ１，Ｌ２となる位置の画素を左右端点Ｇ１，Ｇ２として求める。次に、視線検出部３９は、図６に示されるように、右目の左右端点Ｇ１，Ｇ２の位置と、左目の左右端点Ｇ１，Ｇ２の位置とを基準とし、それら各左右端点Ｇ１，Ｇ２から下方側に、鼻孔を検索するための探索範囲ＮＥを決定する。ここで、鼻孔ＮＨ部分の画像は、他の部分の画像に較べて暗く写るので、視線検出部３９は、探索範囲ＮＥ内で輝度が低い画像部分を鼻孔ＮＨの位置として検出する。
【００３８】
ステップＳ２３において。視線検出部３９は、図７に示されるように、右目の左右端点Ｇ１，Ｇ２の位置と、左目の左右端点Ｇ１，Ｇ２の位置と、鼻孔ＮＨの位置との幾何学的な位置関係に基づいて、眼球ＥＢの中心位置ＥＣおよび眼球ＥＢの半径ｒを検出する。
【００３９】
ステップＳ２４において、視線検出部３９は、右目の輪郭Ｅおよび左目の輪郭Ｅ内の画像の輝度情報に基づいて、図６に示されるように、瞳孔ＥＡの中心位置ＥＡＣを検出する。
【００４０】
ステップＳ２５において、視線検出部３９は、図８に示されるように、ステップＳ２３において検出された眼球ＥＢの中心位置ＥＣと、ステップＳ２４において検出された瞳孔ＥＡの中心位置ＥＡＣとを結ぶベクトルＥＶを視線として検出し、その視線（ベクトルＥＶ）が、テレビジョン受像機１１の表示部１２を向いているか否かの判断を実行する。
【００４１】
以上のようにして、ユーザ３の視線が検出されると、視線検出部３９は、視線検出の結果信号を制御部３７に出力する。そこで、図３のステップＳ３において、制御部３７は、視線検出部３９の検出結果に基づいて、内蔵するクロックで計時動作を行って、ユーザ３の視線が、予め設定されている所定の時間以上検出されたか否か（すなわち、表示部１２が注目表示部であるのか、または、非注目表示部であるのか）を判断する。ステップＳ３において、表示部１２が、ユーザ３の視線が所定の時間以上検出された注目表示部であると判断された場合、ステップＳ４において、制御部３７は、輝度処理部４０を制御し、デコード部３４が出力する輝度信号Ｙが標準値になるように調整し（係数１を乗算し）、ステップＳ７に進む。
【００４２】
ステップＳ７において、制御部３７は、色差制御部４１を制御し、デコード部３４が出力する色差信号ｕ，ｖを、標準値になるように調整する。
【００４３】
ステップＳ３において、表示部１２が、ユーザ３の視線が所定の時間以上検出されなかった非注目表示部であると判断された場合、ステップＳ５において、制御部３７は、予め設定されている非注目表示部の画面の調整方法に基づいて、映像信号の輝度を低減するのか否かを判断する。この画面の調整方法とは、ユーザ３が注目して見ているテレビジョン受像機１１（注目表示部）の映像信号よりも、ユーザ３が注目していないテレビジョン受像機１１（非注目表示部）の映像信号を、相対的に目立たなくするための処理の方法であり、例えば、映像信号の輝度を低減するか、または、映像を白黒（モノクロ）の映像とさせるかのどちらかが、ユーザ３のリモコン２などの操作により予め設定されている。
【００４４】
したがって、ステップＳ５において、映像信号の輝度を低減すると判断された場合、ステップＳ６において、制御部３７は、輝度処理部４０を制御し、輝度信号Ｙに１以下（例えば、０．５）の係数を乗算し、映像信号の輝度を暗くするように調整する。色差信号ｕ，ｖは、ステップＳ７において、標準値に設定される。
【００４５】
一方、ステップＳ５において、映像信号の輝度を低減しない（すわなち、映像を白黒映像とする）と判断された場合、制御部３７は、ステップＳ８において、色差処理部４１を制御し、色差信号ｕ，ｖに係数０を乗算して、色差を調整させる。すなわち、これにより、映像信号は輝度信号のみ（白黒の映像）の映像信号となる。ステップ９において、制御部３７は、輝度処理部４０を制御し、ステップＳ４の処理と同様に、デコード部３４からの輝度信号Ｙに対して係数１を乗算して、輝度を標準値になるように調整し、その後、処理を、ステップＳ１０に進ませる。
【００４６】
ステップＳ１０において、表示制御部４２は、輝度処理部４０により調整された輝度信号Ｙ、および、色差処理部４１により調整された色差信号ｕ，ｖを合成し、表示部１２に出力し、表示させる。
【００４７】
以上のような処理が、各テレビジョン受像機１１において実行される。
【００４８】
したがって、ユーザ３の視線が所定の時間以上検出された注目表示部としてのテレビジョン受像機１１においては、ユーザ３の視線が所定の時間以上検出されていない、非注目表示部としての他のテレビジョン受像機１１において出力される映像信号に較べて相対的に目立つ（明るい）映像信号が出力される。
【００４９】
一方、ユーザ３の視線が所定の時間以上検出されなかった非注目表示部としてのテレビジョン受像機１１においては、ユーザ３の視線が所定の時間以上検出された注目表示部としてのテレビジョン受像機１１において出力される映像信号よりも、相対的に目立たない映像信号（この例の場合、暗い映像信号、または、白黒の映像信号）が出力される。
【００５０】
これにより、ユーザ３が見ている（注目している）テレビジョン受像機１１（注目表示部）以外のテレビジョン受像機１１（非注目表示部）において出力される映像信号は、輝度が低減されて出力されたり、または白黒で出力されるので、ユーザ３の視角的な負担が軽減される。
【００５１】
また、ユーザ３が視線を移動させるだけで、ユーザ３の視線に基づいて、テレビジョン受像機１１の映像信号の輝度あるいは色差が自動的に変更されるので、リモコン２による煩わしい操作が軽減される。
【００５２】
さらに、複数台のテレビジョン受像機１１により構成されているテレビジョン受像システムであっても、ユーザが見ていない（注目していない）テレビジョン受像機１１（非注目表示部）においては、輝度が低減されて出力されたり、白黒で出力されることにより、消費電力量が抑制される。
【００５３】
また、１台のテレビジョン受像機の表示部を複数の領域に分割し、マルチチャンネル化する場合よりも、画面の解像度が高くなるため、画面表示の品質が向上する。
【００５４】
なお、上記説明においては、ユーザ３が１人の場合を説明したが、ユーザが複数いる場合にも対応できる。その場合には、それぞれのユーザの視線を検出し、それに対応するテレビジョン受像機１１すべての映像信号を、他のテレビジョン受像機１１に較べて明るく出力するようにしてもよい。
【００５５】
次に、図９のフローチャートを参照して、このテレビジョン受像システム１のテレビジョン受像機１１の表示制御処理の他の例を説明する。なお、図９のステップＳ４１乃至Ｓ４３の処理は、図３のステップＳ１乃至Ｓ３の処理と同様の処理であり、繰り返しになるのでその説明は省略するが、この処理により、ユーザの視線が検出される。
【００５６】
ステップＳ４３において、表示部１２が、ユーザ３の視線が予め設定されている所定の時間以上検出された注目表示部であると判断された場合、ステップＳ４４において、制御部３７は、ＣＭ検出部３５における検出結果の信号に基づいて、デコーダ部３４によりデコードされた映像信号がＣＭの映像信号であるか否かを判断する。
【００５７】
具体的には、ＣＭ検出部３５は、デマルチプレクサ３３から供給された映像信号が、１５秒の整数倍で生成されているか、その映像信号に対応する音声信号がステレオ音声であるか、あるいは、その音声信号の出力レベルがＣＭ以外のコンテンツに比して大きいかなどの基準に基づいて、この映像信号がＣＭの映像信号であるか否かを検出し、その検出結果を制御部３７に出力する。その結果に対応して、ステップＳ４４において、制御部３７は、映像信号がＣＭの映像信号であるか否かを判断する。ステップＳ４４において、映像信号がＣＭの映像信号ではないと判断された場合、ステップＳ４５において、制御部３７は、輝度処理部４０を制御し、デコード部３４が出力する輝度信号Ｙに、１の係数を乗算して、輝度を標準値になるように調整する。
【００５８】
次に、ステップＳ４７において、制御部３７は、色差処理部４１を制御し、デコード部３４が出力する色差信号ｕ，ｖに係数１を乗算して、色差を標準値になるよう調整する。
【００５９】
一方、ステップＳ４３において表示部１２が、、ユーザ３の視線が所定の時間以上検出されなかった非注目表示部であると判断された場合、または、ステップＳ４４において、映像信号がＣＭの映像信号であると判断された場合、ステップＳ４６において、制御部３７は、輝度処理部４０を制御し、輝度信号に１以下の係数を乗算し、映像信号の輝度を暗くするように調整する。色差信号は、ステップ４７において、標準値に設定される。
【００６０】
ステップＳ４８において、表示制御部４２は、輝度処理部４０により調整された輝度信号Ｙ、および、色差処理部４１により調整された色差信号ｕ，ｖを合成し、表示部１２に出力し、表示させる。
【００６１】
以上の処理により、ユーザ３の視線が所定の時間以上検出された注目表示部であり、かつ、ＣＭ以外のコンテンツの映像信号を出力するテレビジョン受像機１１においては、非注目表示部であるテレビジョン受像機１１において出力される映像信号に較べて相対的に明るい（標準の）映像信号で出力される。
【００６２】
一方、ユーザ３の視線が所定の時間以上検出されなかった非注目表示部である場合、または、注目表示部であっても、そのテレビジョン受像機１１に受信された映像信号がＣＭの映像信号であった場合には、注目表示部であり、かつ、ＣＭ以外のコンテンツの映像信号を出力するテレビジョン受像機１１の映像信号（標準の映像信号）よりも相対的に目立たなく、暗い映像信号が出力される。
【００６３】
以上のように、ＣＭの映像信号の輝度を低減し、ＣＭではない映像信号の輝度をＣＭの映像信号よりも相対的に目立つように明るく出力するというようにすることもできる。
【００６４】
なお、上記説明においては、画面の調整方法が、映像信号の輝度を低減するようにして説明したが、映像信号を白黒信号とさせるようにしてもよい。
【００６５】
次に、図１０のフローチャートを参照して、このテレビジョン受像システム１のテレビジョン受像機１１の表示制御処理のさらに他の例を説明する。なお、図１０のステップＳ６１乃至Ｓ６３，Ｓ６５，Ｓ６６，Ｓ６９の処理は、図３のステップＳ１乃至Ｓ３，Ｓ４，Ｓ７，Ｓ１０の処理と同様の処理であり、繰り返しになるのでその説明は省略する。すなわち、これらの処理により、表示部１２が注目表示部であれば、表示部１２には、標準の映像が表示される。
【００６６】
これに対して、ステップＳ６３において、表示部１２が、ユーザ３の視線が予め設定されている所定の時間以上検出されなかった非注目表示部であると判断された場合、ステップＳ６４において、制御部３７は、データ処理部３６から入力される付属情報に基づいて、デコーダ部３４によりデコードされた映像信号が予め指定されたコンテンツであるか否かを判断する。
【００６７】
具体的には、データ処理部３６は、デマルチプレクサ３３から供給された付属情報をデコードし、それを制御部３７に出力する。この付属情報とは、この放送信号を提供する放送業者などにより映像信号に多重化された情報であり、その映像信号のコンテンツの内容、コンテンツのカテゴリ（例えば、ニュース、スポーツ、ドラマなど）などの情報により構成されている。ユーザ３は、注目したいコンテンツ（例えば、スポーツのコンテンツ）を、リモコン２を操作することにより、予め指定し、登録することができる。制御部３７は、データ処理部３６からの付属情報に基づいて、ステップＳ６４において、デコーダ部３４によりデコードされた映像信号が、ユーザにより予め指定されたコンテンツ（スポーツのコンテンツ）であるか否かを判断する。
【００６８】
ステップＳ６４において、映像信号が予め指定されたコンテンツの映像信号であると判断された場合、制御部３７は、ステップＳ６５，Ｓ６６，Ｓ６９の処理を実行し、その映像を標準の映像として表示させる。
【００６９】
一方、ステップＳ６４において、映像信号が予め指定されたコンテンツの映像信号ではないと判断された場合、ステップＳ６７において、制御部３７は、色差処理部４１を制御し、色差信号ｕ，ｖに係数０を乗算して、色差を調整させる。ステップ６８において、制御部３７は、デコード部３４からの輝度信号Ｙに係数１を乗算し、輝度を標準値に調整する。すなわち、いまの場合においては、制御部３７の制御により、この映像信号は、白黒の映像信号となる。
【００７０】
以上の処理により、ユーザ３の視線が所定の時間以上検出されなかった非注目表示部としてのテレビジョン受像機１１においては、白黒の映像信号が出力される。
【００７１】
一方、ユーザ３の視線が所定の時間以上検出された注目表示部である場合、または、非注目表示部であっても、予め指定されたコンテンツであった場合のテレビジョン受像機１１においては、非注目表示部としてのテレビジョン受像機１１において白黒の映像信号が出力されるのに対して、カラーの映像信号が出力される。
【００７２】
なお、上記説明においては、画面の調整方法が、映像信号を白黒にするようにして説明したが、映像信号の輝度を低減して出力させるようにしてもよい。
【００７３】
次に、図１１のフローチャートを参照して、このテレビジョン受像システム１のテレビジョン受像機１１の表示制御処理のさらに他の例を説明する。なお、図１１のステップＳ８１乃至Ｓ８９の処理は、基本的に図１０のステップＳ６１乃至Ｓ６９の処理と同様の処理であり、図１０のステップＳ６４で、コンテンツが予め指定されたコンテンツであるか否かが判定されているのに対して、図１１のステップＳ８４では、テレビジョンＩＤが同じであるか否かが判定される点のみが異なっている。
【００７４】
すなわち、ステップＳ８３において、表示部１２が、ユーザ３の視線が予め設定されている所定の時間以上検出されなかった非注目表示部であると判断された場合、ステップＳ８４において、制御部３７は、受信部３８からの指示信号に基づいて、このテレビジョン受像機１１のテレビジョンＩＤが指定されたテレビジョンＩＤと同じであるか否かを判断する。
【００７５】
具体的には、ユーザ３は、リモコン２を操作して、テレビジョン受像システム１を構成するテレビジョン受像機１１−１乃至１１−９のうち、他よりも明るく表示させたいテレビジョン受像機１１のテレビジョンＩＤを予め指定し、登録する。例えば、いまの場合、テレビジョン受像機１１−１のテレビジョンＩＤは、「１」、テレビジョン受像機１１−２のテレビジョンＩＤは、「２」、…、テレビジョン受像機１１−９のテレビジョンＩＤは、「９」というように一意的に設定されているので、ユーザは、テレビジョンＩＤ「１」乃至「９」の中から所定の番号を指定する。受信部３８は、リモコン２からのユーザ３の指定信号を受けて、それを制御部３７に出力する。これに対応して、制御部３７は、そのテレビジョンＩＤを内部のメモリに登録する。
【００７６】
ステップＳ８４において、非注目表示部のテレビジョン受像機１１のテレビジョンＩＤが、指定されたテレビジョンＩＤと同じであると判断された場合、ステップＳ８５，Ｓ８６，Ｓ８９の処理により、標準の画像表示が行われる。これに対して、非表示部のテレビジョン受像機１１のテレビジョンＩＤが、指定されたテレビジョンＩＤと同じではないと判断された場合、ステップＳ８７，Ｓ８８．Ｓ８９の処理により、白黒の映像信号が表示される。
【００７７】
以上の処理により、ユーザ３の視線が所定の時間以上検出されなかった非注目表示部のテレビジョン受像機１１においては、白黒の映像信号が出力される。
【００７８】
一方、ユーザ３の視線が所定の時間以上検出された注目表示部のテレビジョン受像機１１の場合、または、非注目表示部のテレビジョン受像機１１であっても、テレビジョン受像機１１のテレビジョンＩＤが、指定されたテレビジョンＩＤと同じである場合においては、非注目表示部のテレビジョン受像機１１において白黒の映像信号が出力されるのに対して、カラーの映像信号が出力される。
【００７９】
なお、画面の調整方法が、映像信号を白黒にするようにして説明したが、映像信号の輝度を低減して出力させるようにしてもよい。
【００８０】
以上のように、テレビジョン受像機１１のテレビジョンＩＤに基づいて、映像信号を白黒出力させたり、映像信号の輝度を低減させたりすることもできる。
【００８１】
なお、上記説明においてはユーザ３の視線が所定の時間以上検出されたか否かを判断した後に、ＣＭの映像信号であるか否か、指定されたコンテンツであるか否か、または、テレビジョン受像機１１のテレビジョンＩＤが同じであるか否かを判断させるようにしたが、いずれか１つだけを判断させるようにしてもよいし、その判断の組み合わせや順番は、自由に設定される。
【００８２】
本発明においては、各テレビジョン受像機１１に撮影部１３を設け、視線を検出するようにしたが、テレビジョン受像システム１の、例えば、中央に１台の撮影部および視線検出部を別に設け、それにより、視線がどのテレビジョン受像機１１の方向に検出されたか（どのテレビジョン受像機１１が非注目表示部、または、注目表示部であるか）を判断し、その結果を、各テレビジョン受像機１１に供給するようにしてもよい。
【００８３】
また、本発明は、複数チューナ内蔵の１台のテレビジョン受像機において、子画面提示（マルチウインドウ）表示させた場合にも適用することができる。ただし、その場合には、子画面化することによる画面表示の解像度の低下は抑制されない。
【００８４】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、テレビジョン受信機１１は、図１２に示されるようなテレビジョン受信機７１により構成される。
【００８５】
図１２において、ＣＰＵ（Central Processing Unit）８１は、ＲＯＭ(Read Only Memory) ８２に記憶されているプログラム、または、記憶部８８からＲＡＭ（Random Access Memory）８３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ８３にはまた、ＣＰＵ８１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【００８６】
ＣＰＵ８１、ＲＯＭ８２、およびＲＡＭ８３は、バス８４を介して相互に接続されている。このバス８４にはまた、入出力インタフェース８５も接続されている。
【００８７】
入出力インタフェース８５には、チューナ８６、キーボード、マウスなどよりなる入力部８７、ＣＲＴ(Cathode Ray Tube)，ＬＣＤ（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部８８、ハードディスクなどより構成される記憶部８９、モデム、ターミナルアダプタなどより構成される通信部９０が接続されている。通信部９０は、図示しないネットワークを介しての通信処理を行う。
【００８８】
入出力インタフェース８５にはまた、必要に応じてドライブ１０１が接続され、磁気ディスク１１１、光ディスク１１２、光磁気ディスク１１３、或いは半導体メモリ１１４などが適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部８９にインストールされる。
【００８９】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【００９０】
この記録媒体は、図１２に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１１１（フレキシブルディスクを含む）、光ディスク１１２（CD-ROM(Compact Disk-Read Only Memory)，ＤＶＤ(Digital Versatile Disk)を含む）、光磁気ディスク１１３（MD(Mini-Disk)（商標）を含む）、もしくは半導体メモリ１１４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ８２や、記憶部８９に含まれるハードディスクなどで構成される。
【００９１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００９２】
【発明の効果】
以上の如く、本発明によれば、ユーザの視覚的負担を軽減できる。また、本発明によれば、操作性を良好なものとすることができる。さらに、本発明によれば、品質のよい表示画面が提供される。
【図面の簡単な説明】
【図１】本発明を適用したテレビジョン受像システムの構成例を示す図である。
【図２】図１のテレビジョン受像機の構成例を示すブロック図である。
【図３】図２のテレビジョン受像機の表示制御処理を説明するフローチャートである。
【図４】図３のステップＳ２の視線検出処理を説明するフローチャートである。
【図５】目の両端位置検出の処理を説明する図である。
【図６】鼻孔の位置検出範囲を説明する図である。
【図７】目の両端位置、鼻孔位置、眼球中心位置を説明する図である。
【図８】視線の方向検出の処理を説明する図である。
【図９】図２のテレビジョン受像機の表示制御処理の他の例を説明するフローチャートである。
【図１０】図２のテレビジョン受像機の表示制御処理のさらに他の例を説明するフローチャートである。
【図１１】図２のテレビジョン受像機の表示制御処理のさらに他の例を説明するフローチャートである。
【図１２】図１のテレビジョン受像機の他の構成例を示すブロック図である。
【符号の説明】
１テレビジョン受像システム，２リモコン，３ユーザ，１１，１１−１乃至１１−９テレビジョン受像機，１２，１２−１乃至１２−９表示部，１３，１３−１乃至１３−９撮影部，３５ＣＭ検出部，３６データ処理部，３７制御部，３８受信部，３９視線検出部，４０輝度処理部，４１色差処理部，４２表示制御部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a video signal processing apparatus and method, a recording medium, and a program, and more particularly to a video signal processing apparatus and method, a recording medium, and a video signal processing apparatus that suppress a user's visual burden and improve operability. Regarding the program.
[0002]
[Prior art]
It is known to divide a display screen of a single television receiver with a plurality of tuners into a plurality of regions to form a multi-window and display a plurality of contents on each window simultaneously. In this case, one main screen and a plurality of sub-screens exist on the same screen, and the image of the sub-screen may be visually burdensome for a user who mainly views the main screen.
[0003]
In Japanese Patent Laid-Open No. 2001-175239, in order to avoid this burden, a process of lowering the luminance of the video signal is executed for a sub-screen displaying a particularly fast moving image among the sub-screens. By doing so, it has been proposed to display the sub-screen darkly and reduce the visual burden on the user.
[0004]
[Problems to be solved by the invention]
However, in the above proposal, although the visual burden on the user is reduced, when the user selects a predetermined image from the images displayed on the child screen, the child screen image is difficult to see. If it is displayed on the main screen and you do not like it, you must repeat the operation of displaying the image of another child screen on the main screen. Each time, the user must operate using an operation tool such as a remote controller, and there is a problem that the operability is poor.
[0005]
Furthermore, in a multi-window screen, each screen is divided to generate a plurality of sub-screens, so the resolution of each sub-screen is lower than the resolution of the screen before the division. There is a problem that the quality of the screen display deteriorates.
[0006]
In addition, in order to guarantee the resolution of this screen, it is possible to use a plurality of television receivers instead of dividing one screen. However, in this case, there is a problem that power consumption increases. It was.
[0007]
This invention is made | formed in view of such a condition, suppresses a user's visual burden, and improves operativity.
[0008]
[Means for Solving the Problems]
  The video signal processing apparatus according to the present invention includes a line-of-sight detection unit that detects a user's line of sight with respect to the display unit, and a display unit that displays the user's line of sight for a predetermined time or more based on a detection result by the line-of-sight detection unit. The display unit is determined to be a non-attention display unit by attention display unit determination means for determining whether the display unit is a non-attention display unit in which the user's line of sight is not detected for a predetermined time or more, and the attention display unit determination unit The video signal of the video displayed on the non-attention display unit is automatically set to be relatively inconspicuous compared to the video displayed on the attention display unit when the display unit is the attention display unit. Adjustment means to adjust andWhen the display unit is the attention display unit, the display unit includes CM determination means for determining whether or not the displayed video is a CM video, and the video of the attention display unit is a CM video by the CM determination unit. If it is determined, the adjustment unit adjusts the video signal of the attention display unit so as to be relatively inconspicuous as compared with the video when the CM determination unit determines that the video is not a CM video.It is characterized by that.
[0009]
The adjusting means may adjust the video signal by multiplying the video signal by a coefficient of 1 or less when the display unit is a non-attention display unit.
[0010]
  When the display unit is a non-attention display unit,Color video signalThe video signal can be adjusted to be a black and white video signal.
[0014]
  According to the video signal processing method of the present invention, the display unit detects the user's line of sight for a predetermined time or more based on the line-of-sight detection step for detecting the user's line of sight with respect to the display unit and the detection result of the process of the line-of-sight detection step. The attention display unit determination step for determining whether the display unit is the attention display unit or the non-attention display unit in which the user's line of sight is not detected for a predetermined time or more, and the attention display unit determination step causes the display unit to be a non-attention display unit. If it is determined that the video signal of the video displayed on the non-attention display portion is relatively inconspicuous compared to the video displayed on the attention display portion when the display portion is the attention display portion. Adjustment steps to automatically adjust andIn the case where the display unit is the attention display unit, a CM determination step for determining whether or not the displayed video is a CM video is included, and the video of the attention display unit is a CM video by the CM determination step. If it is determined, the adjustment step adjusts the video signal of the attention display unit so as to be relatively inconspicuous compared to the video when the CM determination step determines that the video is not a CM video.It is characterized by that.
[0015]
  According to the recording medium program of the present invention, the display unit detects the user's line of sight for a predetermined time or more based on the line-of-sight detection step for detecting the user's line of sight with respect to the display unit and the detection result of the process of the line-of-sight detection step. The attention display unit determination step for determining whether the display unit is the attention display unit or the non-attention display unit in which the user's line of sight is not detected for a predetermined time or more, and the attention display unit determination step causes the display unit to be a non-attention display unit. If it is determined that the video signal of the video displayed on the non-attention display portion is relatively inconspicuous compared to the video displayed on the attention display portion when the display portion is the attention display portion. Adjustment steps to automatically adjust andIn the case where the display unit is the attention display unit, a CM determination step for determining whether or not the displayed video is a CM video is included, and the video of the attention display unit is a CM video by the CM determination step. If it is determined, the adjustment step adjusts the video signal of the attention display unit so as to be relatively inconspicuous compared to the video when the CM determination step determines that the video is not a CM video.It is characterized by that.
[0016]
  The program according to the present invention includes a line-of-sight detection step for detecting a user's line of sight with respect to the display unit, and an attention display unit in which the user's line of sight is detected for a predetermined time or more based on a detection result obtained by the process of the line-of-sight detection step. The display unit is a non-attention display unit by the attention display unit determination step for determining whether the user's line of sight is a non-attention display unit that is not detected for a predetermined time or more, and the attention display unit determination step. If determined, the video signal of the video displayed on the non-attention display unit is automatically set to be relatively inconspicuous compared to the video signal displayed on the attention display unit when the display unit is the attention display unit. Adjustment steps to adjust toIn the case where the display unit is the attention display unit, a CM determination step for determining whether or not the displayed video is a CM video is included, and the video of the attention display unit is a CM video by the CM determination step. If it is determined, the adjustment step adjusts the video signal of the attention display unit so as to be relatively inconspicuous compared to the video when the CM determination step determines that the video is not a CM video.It is characterized by that.
[0017]
  In the video signal processing device and method, the recording medium, and the program of the present invention, when it is determined that the display unit is a non-attention display unit in which the user's line of sight is not detected for a predetermined time or longer, the display unit displays the non-attention display unit. When the video signal of the video is determined to be the target display unit in which the user's line of sight has been detected for a predetermined time or longer, the video signal is automatically made inconspicuous compared to the video displayed on the target display unit. Adjusted.Further, when the display unit is the attention display unit, it is determined whether or not the displayed video is a CM video. Based on the determination, it is determined that the video of the attention display unit is a CM video. At this time, the video signal of the attention display unit is adjusted so as to be relatively inconspicuous as compared with the image when it is determined that the image of the attention display unit is not the CM image.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0019]
FIG. 1 shows a configuration example of a television receiving system 1 to which the present invention is applied. The television receiver system 1 includes a plurality of independent television receivers 11-1 to 11-9 and a remote controller (hereinafter referred to as a remote controller) 2 that can control the nine television receivers by one. It is configured.
[0020]
In this example, the television receivers 11-1, 11-2, and 11-3 are combined in order from the left in the upper stage, and the television receivers 11-4, 11-5, and in order from the left in the middle stage. 11-6 are combined, and the television receivers 11-7, 11-8, and 11-9 are combined in order from the left in the lower stage. The television receivers 11-1 to 11-9 are arranged so that the display units 12-1 to 12-9 included in the television receivers 11-1 to 11-9 are on the same plane so as to face the same direction. .
[0021]
The television receiver system 1 is composed of nine television receivers. For example, six television receivers may be configured with fewer than nine or twelve. The number of units may be greater than nine. In addition, there is no particular limitation on how to combine and arrange them.
[0022]
The television receivers 11-1 to 11-9 have display units 12-1 to 12-9 made of CRT (Cathode Ray Tube) or LCD (Liquid Crystal Display) at the center of each front, The display units 12-1 to 12-9 output videos of broadcast signals received by the corresponding television receivers 11-1 to 11-9. Therefore, different contents may be displayed on the display units 12-1 to 12-9, or the same contents may be displayed.
[0023]
In addition, on the upper portions of the display units 12-1 to 12-9 of the television receivers 11-1 to 11-9, photographing including a video camera, a digital camera, or the like including a CCD (Charge-Coupled Devices) image sensor. Units 13-1 to 13-9 are arranged, and the imaging units 13-1 to 13-9 capture the user 3 who views the television receiver system 1. The line of sight of the user 3 is detected based on the images photographed by the photographing units 13-1 to 13-9, and as a result, the display units 12-1 to 12-12 of the television receivers 11-1 to 11-9. Adjustment processing of the luminance signal Y or the color difference signals u and v of the video displayed at -9 is controlled.
[0024]
The user 3 faces the television receiving system 1 and looks at the television receiving system 1. The user 3 operates the remote controller 2 to display favorite contents on the display units 12-1 to 12-9 of the television receivers 11-1 to 11-9. In addition, the user 3 operates the remote controller 2 to specify his / her favorite content in advance or select the television receiver 11 to which his / her favorite content is output.
[0025]
Hereinafter, when it is not necessary to individually distinguish these television receivers 11-1 to 11-9, display units 12-1 to 12-9, and photographing units 13-1 to 13-9, simply These are referred to as a television receiver 11, a display unit 12, and a photographing unit 13.
[0026]
FIG. 2 shows the configuration of the television receiver 11. In FIG. 2, the tuner 32 selects and demodulates the broadcast signal received via the antenna 31 and outputs it to the demultiplexer 33. The demultiplexer 33 separates the broadcast signal into a video signal, an audio signal, and additional information, and outputs the video signal therein to the decoder unit 34. The decoder unit 34 outputs the video signal to the luminance processing unit 40 and the color difference processing unit 41. The audio signal is output to an audio decoder unit (not shown) and processed.
[0027]
Further, the demultiplexer 33 outputs the video signal and the audio signal to the CM detection unit 35 and outputs the additional information to the data processing unit 36. The CM detection unit 35 detects whether or not the corresponding content is CM content based on the supplied video signal and audio signal, and outputs a signal based on the result to the control unit 37. The data processing unit 36 decodes the supplied additional information and outputs it to the control unit 37.
[0028]
The receiving unit 38 receives an instruction signal (infrared signal) from the remote controller 2 based on a user operation, and outputs a corresponding detection signal to the control unit 37. The line-of-sight detection unit 39 performs a process of detecting the line of sight of the user 3 based on the image of the user 3 captured by the imaging unit 13 and outputs a signal based on the result to the control unit 37.
[0029]
The control unit 37 includes a detection result signal supplied from the CM detection unit 35, additional information supplied from the data processing unit 36, an instruction signal supplied from the reception unit 38, or a detection result supplied from the line-of-sight detection unit 39. Based on the signal, the luminance processing unit 40 and the color difference processing unit 41 are controlled.
[0030]
Under the control of the control unit 37, the luminance processing unit 40 executes a process of adjusting the luminance signal Y in the YUV signal as the video signal supplied by the decoder unit 34. The color difference processing unit 41 performs a process of adjusting the color difference signals u and v in the YUV signal as the video signal supplied from the decoder unit 34 under the control of the control unit 37.
[0031]
The display control unit 42 combines the luminance signal Y adjusted by the luminance processing unit 40 and the color difference signals u and v adjusted by the color difference adjustment unit 41 and causes the display unit 12 to output them.
[0032]
Next, display control processing of the television receiver 11 of the television receiver system 1 will be described with reference to the flowchart of FIG. This process is executed for each television receiver 11.
[0033]
In this case, since the television receivers 11-1 to 11-9 receive broadcast signals of different contents and output the video thereof, the user 3 can select one of these television sets. The content output on the display unit 12 of the receiver 11 is noticed and viewed.
[0034]
The photographing unit 13 of the television receiver 11 always photographs a preset range so that the line of sight of the user viewing the television receiver system 1 can be detected, and supplies the photographed image to the line-of-sight detection unit 39. ing. Correspondingly, the line-of-sight detection unit 39 waits until the user 3 is detected based on the supplied image in step S1, and if it is determined that the user 3 has been detected, the user 3 in step S2 The line-of-sight detection process is executed. This line-of-sight detection process will be described with reference to the flowchart of FIG.
[0035]
In step S <b> 21, the line-of-sight detection unit 39 detects the contours of both eyes using the color information of the supplied image. That is, the line-of-sight detection unit 39 extracts, for example, a color region such as skin, white eyes, or black eyes from the color information of the supplied image and obtains the boundary of the extracted color region, as shown in FIG. Then, the contour E of the right eye and the contour E of the left eye are detected. FIG. 5 shows only one eye.
[0036]
In step S22, the line-of-sight detection unit 39 uses the positions of the left and right end points G1, G2 of the right eye and the positions of the left and right end points G1, G2 of the left eye based on the respective contours E obtained in step S21. A search range NE for searching for a nostril as shown in FIG. 6 is determined, and the position of the nostril NH is detected from within the search range NE.
[0037]
That is, in more detail, the line-of-sight detection unit 39 for each of the left and right eyes, as shown in FIG. 5, centroid Q of the pixel set constituting the eye outline E and the pixel set constituting the eye outline E, respectively. And a line M that minimizes the second moment (inertia related to the line) of the eye, and further, the distance from the center of gravity Q in the direction of the line M is the maximum distance L1, L2 in the pixel set constituting the eye contour E. The pixel at the position is obtained as the left and right end points G1, G2. Next, as shown in FIG. 6, the line-of-sight detection unit 39 uses the positions of the left and right end points G1 and G2 of the right eye and the positions of the left and right end points G1 and G2 of the left eye as references. A search range NE for searching for a nostril is determined on the lower side. Here, since the image of the nostril NH portion appears darker than the images of the other portions, the line-of-sight detection unit 39 detects the image portion having a low luminance within the search range NE as the position of the nostril NH.
[0038]
In step S23. As shown in FIG. 7, the line-of-sight detection unit 39 is based on the geometric positional relationship between the positions of the left and right end points G1, G2 of the right eye, the positions of the left and right end points G1, G2, and the position of the nostril NH. Thus, the center position EC of the eyeball EB and the radius r of the eyeball EB are detected.
[0039]
In step S24, the line-of-sight detection unit 39 detects the center position EAC of the pupil EA based on the luminance information of the images in the right eye contour E and the left eye contour E, as shown in FIG.
[0040]
In step S25, the line-of-sight detection unit 39 obtains a vector EV connecting the center position EC of the eyeball EB detected in step S23 and the center position EAC of the pupil EA detected in step S24, as shown in FIG. It is detected as a line of sight, and a determination is made as to whether or not the line of sight (vector EV) faces the display unit 12 of the television receiver 11.
[0041]
As described above, when the gaze of the user 3 is detected, the gaze detection unit 39 outputs a gaze detection result signal to the control unit 37. Therefore, in step S3 of FIG. 3, the control unit 37 performs a time measuring operation with the built-in clock based on the detection result of the line-of-sight detection unit 39, and the line of sight of the user 3 is longer than a predetermined time set in advance. It is determined whether or not it has been detected (that is, whether the display unit 12 is an attention display unit or a non-attention display unit). In step S3, when it is determined that the display unit 12 is the attention display unit in which the line of sight of the user 3 is detected for a predetermined time or more, in step S4, the control unit 37 controls the luminance processing unit 40 to perform decoding. The luminance signal Y output from the unit 34 is adjusted to a standard value (multiply by the coefficient 1), and the process proceeds to step S7.
[0042]
In step S7, the control unit 37 controls the color difference control unit 41 and adjusts the color difference signals u and v output from the decoding unit 34 so as to be standard values.
[0043]
When it is determined in step S3 that the display unit 12 is a non-attention display unit in which the line of sight of the user 3 has not been detected for a predetermined time or longer, the control unit 37 sets a non-attention set in advance in step S5. Whether to reduce the luminance of the video signal is determined based on the method of adjusting the screen of the display unit. This screen adjustment method refers to a television receiver 11 (non-attention display section) that the user 3 is not paying attention to rather than the video signal of the television receiver 11 (attention display section) that the user 3 is paying attention to. ) Is relatively inconspicuous. For example, the user can either reduce the luminance of the video signal or make the video black and white (monochrome) video. 3 is set in advance by operating the remote controller 3 or the like.
[0044]
Accordingly, when it is determined in step S5 that the luminance of the video signal is to be reduced, in step S6, the control unit 37 controls the luminance processing unit 40, and the luminance signal Y has a coefficient of 1 or less (for example, 0.5). To adjust the brightness of the video signal to be dark. The color difference signals u and v are set to standard values in step S7.
[0045]
On the other hand, if it is determined in step S5 that the luminance of the video signal is not reduced (that is, the video is a black and white video), the control unit 37 controls the color difference processing unit 41 in step S8, and the color difference signal Multiply u and v by a coefficient 0 to adjust the color difference. That is, as a result, the video signal becomes a video signal of only a luminance signal (monochrome video). In step 9, the control unit 37 controls the luminance processing unit 40, and multiplies the luminance signal Y from the decoding unit 34 by a coefficient 1 so that the luminance becomes a standard value, as in the processing of step S4. Then, the process proceeds to step S10.
[0046]
In step S10, the display control unit 42 combines the luminance signal Y adjusted by the luminance processing unit 40 and the color difference signals u and v adjusted by the color difference processing unit 41, and outputs them to the display unit 12 for display. .
[0047]
The processing as described above is executed in each television receiver 11.
[0048]
Therefore, in the television receiver 11 as the attention display unit in which the line of sight of the user 3 is detected for a predetermined time or more, another television as the non-attention display unit in which the line of sight of the user 3 is not detected for the predetermined time or more. A video signal that is relatively conspicuous (brighter) than the video signal output from the John receiver 11 is output.
[0049]
On the other hand, in the television receiver 11 as the non-attention display unit in which the line of sight of the user 3 has not been detected for a predetermined time or more, the television receiver as the attention display unit in which the line of sight of the user 3 has been detected for a predetermined time or more. 11, a video signal that is relatively inconspicuous compared to the video signal output in 11 (in this example, a dark video signal or a monochrome video signal) is output.
[0050]
As a result, the luminance of the video signal output in the television receiver 11 (non-attention display unit) other than the television receiver 11 (attention display unit) that the user 3 is watching (attention) is reduced. Output in black and white, or in black and white, so that the visual burden on the user 3 is reduced.
[0051]
Further, since the luminance or color difference of the video signal of the television receiver 11 is automatically changed based on the line of sight of the user 3 simply by moving the line of sight of the user 3, troublesome operations by the remote controller 2 are reduced. .
[0052]
Furthermore, even in a television receiver system including a plurality of television receivers 11, the brightness of the television receiver 11 (non-attention display unit) that the user does not watch (not paying attention to) Is reduced or output in black and white, thereby reducing power consumption.
[0053]
In addition, the display resolution is improved because the screen resolution is higher than in the case where the display unit of one television receiver is divided into a plurality of areas and multi-channeled.
[0054]
In the above description, the case where there is one user 3 has been described, but it is possible to deal with a case where there are a plurality of users. In that case, the line of sight of each user may be detected, and the video signals of all the television receivers 11 corresponding thereto may be output brighter than the other television receivers 11.
[0055]
Next, another example of the display control process of the television receiver 11 of the television receiver system 1 will be described with reference to the flowchart of FIG. Note that the processing in steps S41 to S43 in FIG. 9 is the same as the processing in steps S1 to S3 in FIG. 3 and will not be described because it is repeated, but this process detects the user's line of sight. The
[0056]
When it is determined in step S43 that the display unit 12 is the attention display unit in which the line of sight of the user 3 is detected for a predetermined time or more, the control unit 37 in step S44 causes the CM detection unit 35 to Whether the video signal decoded by the decoder unit 34 is a CM video signal or not is determined based on the detection result signal in FIG.
[0057]
Specifically, the CM detection unit 35 determines whether the video signal supplied from the demultiplexer 33 is generated by an integral multiple of 15 seconds, the audio signal corresponding to the video signal is stereo audio, or Based on a criterion such as whether the output level of the audio signal is higher than content other than CM, it is detected whether or not this video signal is a CM video signal, and the detection result is output to the control unit 37. To do. In response to the result, in step S44, the control unit 37 determines whether or not the video signal is a CM video signal. When it is determined in step S44 that the video signal is not a CM video signal, in step S45, the control unit 37 controls the luminance processing unit 40, and the luminance signal Y output from the decoding unit 34 has a coefficient of 1. To adjust the brightness to the standard value.
[0058]
Next, in step S47, the control unit 37 controls the color difference processing unit 41, multiplies the color difference signals u and v output from the decoding unit 34 by a coefficient 1, and adjusts the color difference to a standard value.
[0059]
On the other hand, when it is determined in step S43 that the display unit 12 is a non-attention display unit in which the line of sight of the user 3 has not been detected for a predetermined time or in step S44, the video signal is a CM video signal. If it is determined that there is, in step S46, the control unit 37 controls the luminance processing unit 40 to multiply the luminance signal by a coefficient of 1 or less and adjust the luminance of the video signal to be dark. The color difference signal is set to a standard value in step 47.
[0060]
In step S48, the display control unit 42 combines the luminance signal Y adjusted by the luminance processing unit 40 and the color difference signals u and v adjusted by the color difference processing unit 41, and outputs them to the display unit 12 for display. .
[0061]
In the television receiver 11 that outputs the video signal of the content other than the CM that is the attention display unit in which the line of sight of the user 3 is detected for a predetermined time or more by the above processing, the television that is the non-attention display unit. It is output as a relatively bright (standard) video signal compared to the video signal output from the John receiver 11.
[0062]
On the other hand, when the line of sight of the user 3 is a non-attention display unit that has not been detected for a predetermined time or more, or the attention display unit, the video signal received by the television receiver 11 is a CM video signal. The video signal is a noticeable display unit and is relatively inconspicuous than the video signal (standard video signal) of the television receiver 11 that outputs the video signal of the content other than the CM. Is output.
[0063]
As described above, the luminance of the CM video signal can be reduced, and the luminance of the non-CM video signal can be output brighter and more conspicuously than the CM video signal.
[0064]
In the above description, the screen adjustment method has been described so as to reduce the luminance of the video signal. However, the video signal may be a monochrome signal.
[0065]
Next, still another example of the display control process of the television receiver 11 of the television receiver system 1 will be described with reference to the flowchart of FIG. Note that the processing in steps S61 to S63, S65, S66, and S69 in FIG. 10 is the same as the processing in steps S1 to S3, S4, S7, and S10 in FIG. . That is, by these processes, if the display unit 12 is the attention display unit, a standard image is displayed on the display unit 12.
[0066]
On the other hand, if it is determined in step S63 that the display unit 12 is a non-attention display unit in which the line of sight of the user 3 has not been detected for a predetermined time or more, the control unit in step S64 37 determines based on the attached information input from the data processing unit 36 whether or not the video signal decoded by the decoder unit 34 is a content designated in advance.
[0067]
Specifically, the data processing unit 36 decodes the attached information supplied from the demultiplexer 33 and outputs it to the control unit 37. This attached information is information multiplexed into a video signal by a broadcaster or the like who provides this broadcast signal, such as the content of the video signal, the content category (for example, news, sports, drama, etc.) It is composed of information. The user 3 can preliminarily designate and register content to be focused on (for example, sports content) by operating the remote controller 2. Based on the attached information from the data processing unit 36, the control unit 37 determines whether or not the video signal decoded by the decoder unit 34 in step S64 is content (sports content) designated in advance by the user. to decide.
[0068]
When it is determined in step S64 that the video signal is a video signal of content designated in advance, the control unit 37 executes the processes of steps S65, S66, and S69 and displays the video as a standard video.
[0069]
On the other hand, when it is determined in step S64 that the video signal is not a video signal of content designated in advance, in step S67, the control unit 37 controls the color difference processing unit 41, and the coefficient 0 is added to the color difference signals u and v. To adjust the color difference. In step 68, the control unit 37 multiplies the luminance signal Y from the decoding unit 34 by a coefficient 1 to adjust the luminance to a standard value. In other words, in this case, this video signal becomes a black and white video signal under the control of the control unit 37.
[0070]
Through the above processing, the television receiver 11 as the non-attention display unit in which the line of sight of the user 3 has not been detected for a predetermined time or longer outputs a black and white video signal.
[0071]
On the other hand, in the television receiver 11 in the case where the line of sight of the user 3 is the attention display unit detected for a predetermined time or more, or the non-attention display unit is the content designated in advance, The television receiver 11 as the non-attention display unit outputs a monochrome video signal, whereas a color video signal is output.
[0072]
In the above description, the screen adjustment method has been described in which the video signal is black and white. However, the luminance of the video signal may be reduced and output.
[0073]
Next, still another example of the display control processing of the television receiver 11 of the television receiver system 1 will be described with reference to the flowchart of FIG. Note that the processing in steps S81 to S89 in FIG. 11 is basically the same as the processing in steps S61 to S69 in FIG. 10, and whether or not the content is the content designated in advance in step S64 in FIG. Is different from the step S84 in FIG. 11 only in that it is determined whether or not the television IDs are the same.
[0074]
That is, when it is determined in step S83 that the display unit 12 is a non-attention display unit in which the line of sight of the user 3 has not been detected for a predetermined time or more, the control unit 37 in step S84 Based on the instruction signal from the receiver 38, it is determined whether or not the television ID of the television receiver 11 is the same as the designated television ID.
[0075]
Specifically, the user 3 operates the remote controller 2 to display a television receiver 11 that is desired to be displayed brighter than the other of the television receivers 11-1 to 11-9 that constitute the television receiver system 1. Is designated and registered in advance. For example, in this case, the television ID of the television receiver 11-1 is “1”, the television ID of the television receiver 11-2 is “2”,..., And the television receiver 11-9. Since the television ID is uniquely set as “9”, the user designates a predetermined number from among the television IDs “1” to “9”. The receiving unit 38 receives the designation signal of the user 3 from the remote controller 2 and outputs it to the control unit 37. In response to this, the control unit 37 registers the television ID in the internal memory.
[0076]
In step S84, when it is determined that the television ID of the television receiver 11 of the non-attention display unit is the same as the designated television ID, standard image display is performed by the processing of steps S85, S86, and S89. Is done. On the other hand, if it is determined that the television ID of the television receiver 11 of the non-display unit is not the same as the designated television ID, steps S87, S88. A monochrome video signal is displayed by the process of S89.
[0077]
Through the above processing, the television receiver 11 of the non-attention display unit in which the line of sight of the user 3 has not been detected for a predetermined time or longer outputs a black and white video signal.
[0078]
On the other hand, in the case of the television receiver 11 of the attention display unit in which the line of sight of the user 3 is detected for a predetermined time or more, or the television receiver 11 of the non-attention display unit, the television of the television receiver 11 When the John ID is the same as the designated television ID, a monochrome video signal is output from the television receiver 11 of the non-target display unit, whereas a color video signal is output. .
[0079]
Although the screen adjustment method has been described in which the video signal is black and white, the luminance of the video signal may be reduced and output.
[0080]
As described above, based on the television ID of the television receiver 11, the video signal can be output in black and white or the luminance of the video signal can be reduced.
[0081]
In the above description, after determining whether or not the line of sight of the user 3 has been detected for a predetermined time or more, it is determined whether or not it is a CM video signal, whether or not the content is specified, or television reception. Although it is determined whether or not the television IDs of the devices 11 are the same, only one of them may be determined, and the combination and order of the determination may be freely set.
[0082]
In the present invention, each television receiver 11 is provided with a photographing unit 13 to detect a line of sight. However, for example, a single photographing unit and a line-of-sight detection unit are separately provided in the center of the television receiver system 1. Thus, it is determined in which television receiver 11 the line of sight is detected (which television receiver 11 is the non-attention display unit or the attention display unit), and the result is determined for each television set. It may be supplied to the John receiver 11.
[0083]
In addition, the present invention can also be applied to a case where a small-screen presentation (multi-window) display is performed on one television receiver with a plurality of tuners. However, in that case, a decrease in the resolution of the screen display due to the child screen is not suppressed.
[0084]
The series of processes described above can be executed by hardware, but can also be executed by software. In this case, for example, the television receiver 11 includes a television receiver 71 as shown in FIG.
[0085]
In FIG. 12, a CPU (Central Processing Unit) 81 performs various processes according to a program stored in a ROM (Read Only Memory) 82 or a program loaded from a storage unit 88 into a RAM (Random Access Memory) 83. Execute. The RAM 83 also appropriately stores data necessary for the CPU 81 to execute various processes.
[0086]
The CPU 81, ROM 82, and RAM 83 are connected to each other via a bus 84. An input / output interface 85 is also connected to the bus 84.
[0087]
The input / output interface 85 includes an input unit 87 including a tuner 86, a keyboard and a mouse, a display including a CRT (Cathode Ray Tube) and an LCD (Liquid Crystal Display), an output unit 88 including a speaker, and a hard disk. A communicator 90 composed of a storage unit 89, a modem, a terminal adapter, and the like is connected. The communication unit 90 performs communication processing via a network (not shown).
[0088]
A drive 101 is connected to the input / output interface 85 as necessary, and a magnetic disk 111, an optical disk 112, a magneto-optical disk 113, a semiconductor memory 114, or the like is appropriately mounted, and a computer program read from the disk is required. Is installed in the storage unit 89 accordingly.
[0089]
When a series of processing is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a network or a recording medium into a general-purpose personal computer or the like.
[0090]
As shown in FIG. 12, this recording medium is distributed to provide a program to a user separately from the apparatus main body, and a magnetic disk 111 (including a flexible disk) on which a program is recorded, an optical disk 112 ( CD-ROM (compact disk-read only memory), DVD (including digital versatile disk)), magneto-optical disk 113 (including MD (mini-disk) (trademark)), or a package medium comprising semiconductor memory 114, etc. In addition to being configured, it is configured by a ROM 82 in which a program is recorded and a hard disk included in the storage unit 89 provided to the user in a state of being incorporated in the apparatus main body in advance.
[0091]
In the present specification, the step of describing the program recorded in the recording medium is not limited to the processing performed in time series according to the described order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
[0092]
【The invention's effect】
As described above, according to the present invention, the visual burden on the user can be reduced. Moreover, according to this invention, operativity can be made favorable. Furthermore, according to the present invention, a high-quality display screen is provided.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating a configuration example of a television image receiving system to which the present invention is applied.
2 is a block diagram illustrating a configuration example of the television receiver in FIG. 1. FIG.
FIG. 3 is a flowchart for explaining display control processing of the television receiver of FIG. 2;
FIG. 4 is a flowchart illustrating a line-of-sight detection process in step S2 of FIG.
FIG. 5 is a diagram illustrating processing for detecting both-end positions of eyes.
FIG. 6 is a diagram for explaining a nostril position detection range;
FIG. 7 is a diagram illustrating both eye end positions, nostril positions, and eyeball center positions;
FIG. 8 is a diagram for explaining processing for detecting the direction of the line of sight.
FIG. 9 is a flowchart for explaining another example of the display control process of the television receiver of FIG.
10 is a flowchart for explaining still another example of the display control process of the television receiver in FIG. 2. FIG.
11 is a flowchart for explaining still another example of the display control process of the television receiver in FIG. 2. FIG.
12 is a block diagram illustrating another configuration example of the television receiver in FIG. 1. FIG.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Television receiver system, 2 Remote control, 3 User, 11, 11-1 thru | or 11-9 Television receiver, 12, 12-1 thru | or 12-9 Display part, 13, 13-1 thru | or 13-9 Image pick-up part, 35 CM detection unit, 36 data processing unit, 37 control unit, 38 reception unit, 39 line-of-sight detection unit, 40 luminance processing unit, 41 color difference processing unit, 42 display control unit

Claims

In a video signal processing apparatus that displays video on a display unit,
Line-of-sight detection means for detecting the line of sight of the user with respect to the display unit;
Based on the result of detection by the line-of-sight detection means, whether the display unit is an attention display unit in which the user's line of sight is detected for a predetermined time or more, or non-attention display in which the user's line of sight is not detected for the predetermined time or more Attention display part determination means for determining whether or not
When the attention display part determination means determines that the display part is the non-attention display part, the video signal displayed on the non-attention display part is displayed, and the display part is the attention display part. An adjustment means for automatically adjusting the image so as to be relatively inconspicuous compared to the image displayed on the attention display unit .
CM determining means for determining whether or not the displayed video is a CM video when the display unit is the attention display unit;
With
When the CM determination unit determines that the video of the attention display unit is the CM video, the adjustment unit compares the video when the CM determination unit determines that the video is not the CM video. And adjusting the video signal of the attention display unit so as to be relatively inconspicuous
A video signal processing apparatus.

2. The video signal processing apparatus according to claim 1, wherein when the display unit is the non-attention display unit, the adjustment unit adjusts the video signal by multiplying the video signal by a coefficient of 1 or less. .

2. The video signal according to claim 1, wherein, when the display unit is the non-attention display unit, the adjustment unit adjusts the video signal, which is a color video signal, to be a black and white video signal. Processing equipment.

In a video signal processing method of a video signal processing apparatus for displaying video on a display unit,
A line-of-sight detection step of detecting a line of sight of the user with respect to the display unit;
Based on the detection result of the line-of-sight detection step, whether the display unit is an attention display unit in which the user's line of sight is detected for a predetermined time or more, or the user's line of sight is not detected for the predetermined time or more. Attention display part determination step for determining whether it is an attention display part;
When it is determined that the display unit is the non-attention display unit by the processing of the attention display unit determination step, the display unit displays the video signal of the video displayed on the non-attention display unit. and adjusting steps compared to the image, automatically adjusted to be less noticeable relatively displayed on the target display section in the case where,
A CM determination step for determining whether or not the displayed video is a CM video when the display unit is the attention display unit;
Including
When it is determined in the CM determination step that the video of the attention display unit is the CM video, the adjustment step is compared with a video when the CM determination step determines that the video is not the CM video. A video signal processing method comprising adjusting the video signal of the attention display unit so as to be relatively inconspicuous .

In the video signal processing device that displays video on the display unit,
A line-of-sight detection step of detecting a line of sight of the user with respect to the display unit;
Based on the detection result of the line-of-sight detection step, whether the display unit is an attention display unit in which the user's line of sight is detected for a predetermined time or more, or the user's line of sight is not detected for the predetermined time or more. Attention display part determination step for determining whether it is an attention display part;
When it is determined that the display unit is the non-attention display unit by the processing of the attention display unit determination step, the display unit displays the video signal of the video displayed on the non-attention display unit. and adjusting steps compared to the image, automatically adjusted to be less noticeable relatively displayed on the target display section in the case where,
A CM determination step for determining whether or not the displayed video is a CM video when the display unit is the attention display unit;
Including
When it is determined in the CM determination step that the video of the attention display unit is the CM video, the adjustment step is compared with a video when the CM determination step determines that the video is not the CM video. And adjusting the video signal of the attention display unit so as to be relatively inconspicuous
Program for executing the processing is recorded, the computer readable recording medium.

In the computer of the video signal processing device that displays the video on the display unit,
A line-of-sight detection step of detecting a line of sight of the user with respect to the display unit;
Based on the detection result of the line-of-sight detection step, whether the display unit is an attention display unit in which the user's line of sight is detected for a predetermined time or more, or the user's line of sight is not detected for the predetermined time or more. Attention display part determination step for determining whether it is an attention display part;
When it is determined that the display unit is the non-attention display unit by the processing of the attention display unit determination step, the display unit displays the video signal of the video displayed on the non-attention display unit. and adjusting steps compared to the image, automatically adjusted to be less noticeable relatively displayed on the target display section in the case where,
A CM determination step for determining whether or not the displayed video is a CM video when the display unit is the attention display unit;
Including
When it is determined in the CM determination step that the video of the attention display unit is the CM video, the adjustment step is compared with a video when the CM determination step determines that the video is not the CM video. And adjusting the video signal of the attention display unit so as to be relatively inconspicuous
A program characterized by causing processing to be executed.