JP5853443B2 - 映像表示装置 - Google Patents

映像表示装置 Download PDF

Info

Publication number
JP5853443B2
JP5853443B2 JP2011147451A JP2011147451A JP5853443B2 JP 5853443 B2 JP5853443 B2 JP 5853443B2 JP 2011147451 A JP2011147451 A JP 2011147451A JP 2011147451 A JP2011147451 A JP 2011147451A JP 5853443 B2 JP5853443 B2 JP 5853443B2
Authority
JP
Japan
Prior art keywords
person
display screen
face
viewer
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011147451A
Other languages
English (en)
Other versions
JP2013016976A (ja
Inventor
寛明 ▲高▼橋
寛明 ▲高▼橋
哲郎 志田
哲郎 志田
英明 小坂
英明 小坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2011147451A priority Critical patent/JP5853443B2/ja
Publication of JP2013016976A publication Critical patent/JP2013016976A/ja
Application granted granted Critical
Publication of JP5853443B2 publication Critical patent/JP5853443B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、映像表示装置に関する。
従来のテレビジョン受像機として、映像を表示する表示画面の前面側の画像を取得し、取得した画像内に含まれる顔画像を識別し、識別した顔画像の位置に画面方向が向くように表示画面を回転させるものがある(例えば、特許文献1参照)。
特開2009−296521号公報
ところが、取得した画像内の顔画像を識別する際、人物の顔が印刷されているポスターが実際の人物の顔であるとして識別されてしまうことがある。こういった場合、画面を見ている人物である視聴者の位置が適切に決定されず、視聴者とは関係のない方向に画面方向が決定されてしまい、視聴者が最適な角度で画面を見ることができなくなってしまうという問題点があった。
この発明は、上述のような問題を解決するためになされたもので、画面方向を適切に決定することができる映像表示装置を得ることを目的とする。
この発明に係る映像表示装置は、映像を表示する表示画面と、表示画面の前方を撮像して画像を取得する撮像手段と、取得した画像から人物を検出する人物検出手段と、検出した人物の動き量を算出するとともに、人物の顔の向きの情報として、表示画面に対して人物の顔の向きを示す線を定めることにより、人物の顔の向きを示す線と、所定の条件を満たす線がなす角を用いて、人物が映像を視聴している可能性を表す解析値を算出し、動き量に応じて解析値を重み付けする視聴可能性解析手段と、重み付けした解析値に基づいて、検出された人物が表示画面の視聴者であるか否かを判定する視聴者判定手段と、視聴者判定手段で視聴者であると判定された人物の位置に基づいて表示画面の画面方向を決定する方向決定手段と、方向決定手段で決定した画面方向に表示画面を回転駆動する駆動手段とを備えるものである。
この発明によれば、人物が映像を視聴している可能性を示す解析値を動き量に応じて重み付けし、重み付けした解析値に基づいて検出された人物が視聴者であるか否かを判定するようにしているので、画面方向を適切に決定することができる。
実施の形態1に係る映像表示装置の構成を示すブロック図である。 実施の形態1に係る映像表示装置における情報処理装置の構成を示すブロック図である。 実施の形態1に係る映像表示装置における角度θの決定方法を示す上面図である。 実施の形態1に係る映像表示装置における人物検出部で検出された人物情報の一例を示す図である。 実施の形態1に係る映像表示装置における人物情報から視聴者を判定する具体例を示す図である。 実施の形態1に係る映像表示装置における画面方向と分割領域との関係を示す図である。 実施の形態1に係る映像表示装置における情報処理装置の制御手順を示すフローチャート図である。 実施の形態1に係る映像表示装置の第1変形例における角度θの決定方法を示す上面図である。 実施の形態1に係る映像表示装置の第2変形例における角度θの決定方法を示す上面図である。 実施の形態1に係る映像表示装置における分割領域の変形例を示す図である。 実施の形態2に係る映像表示装置における情報処理装置の構成を示すブロック図である。 実施の形態2に係る映像表示装置における情報処理装置の制御手順を示すフローチャート図である。
実施の形態1.
まず、実施の形態1の映像表示装置の構成を説明する。図1は、実施の形態1に係る映像表示装置の構成を示すブロック図である。
図1において、映像表示装置100は、撮像装置11、回転スタンド12、表示画面13および情報処理装置14を有する。映像表示装置100は、表示画面13を視聴している視聴者の位置に応じて表示画面13を向ける画面方向を決定し、回転スタンド12により自動的に表示画面13の向き当該画面方向に回転させるものである。
表示画面13は、映像を表示する画面であり、例えば液晶ディスプレイ画面である。
回転スタンド12は、表示画面13を保持するスタンドであり、例えばモータや歯車といった駆動部を備え、表示画面13を略鉛直軸まわりに一定の角度範囲で回転させることができる。回転の開始又は停止や回転方向は情報処理装置14によって制御される。なお、回転スタンド12は、ロータリエンコーダといった、表示画面13が向いている方向を取得する手段を備えていても良い。
撮像装置11は、表示画面13の前方を撮像して画像を取得し、取得した画像(具体的にはデジタル画像データ)を情報処理装置14に出力する。撮像装置11による画像の取得および撮像画像の情報処理装置14への出力は、繰り返し行われ、例えば毎秒30回で実施される。
撮像装置11は、CCD(Charge Coupled Device)素子およびレンズ等により構成され、解像度640×480ピクセルのグレースケール画像を取得する。なお、撮像装置11は、CMOS(Complementary Metal Oxide Semiconductor)素子など、CCD素子以外の撮像素子を利用するものでもよい。また、撮像装置11は、グレースケール画像ではなく、カラー画像を取得するものでもよい。また、画像の解像度も、640×480ピクセルに限られず、人物の検出が可能である限りは、より高い解像度でも、より低い解像度でもよい。なお、撮像装置11の画角によるが、一般的に解像度が高いほど、遠くの人物を検出することができる。
情報処理装置14は、撮像装置11で取得した画像に基づき、表示画面13に表示される映像を視聴している視聴者の位置を算出し、当該視聴者の位置から表示画面13が見やすい方向に表示画面13を回転させるよう回転スタンド12の制御を行う。
次に、情報処理装置14の構成を説明する。図2は、実施の形態1に係る情報処理装置の構成を示す図である。
図2において、情報処理装置14は、撮像処理部21、人物検出部22、視聴可能性解析部23、視聴者判定部24、方向決定部25および駆動制御部26を有する。
撮像処理部21は、撮像装置11により撮像された画像を取得する。そして、撮像処理部21は、取得した画像(以下、「撮像画像」と称す)を、人物検出部22に出力する。
人物検出部22は、撮像処理部21により取得された撮像画像から人物を検出し、撮像画像における人物の位置、顔の大きさおよび顔の向きの3つの情報(人物情報と称す)を検出する。
具体的には、人物検出部22は、人物の位置の情報として、撮像画像の座標系における当該人物の顔の中心座標を検出し、顔の大きさの情報として、撮像画像の座標系における当該人物の顔の幅(具体的には顔の水平方向の幅)を検出する。
図3は、実施の形態1に係る映像表示装置における角度θの決定方法を示す上面図である。人物検出部22は、図3に示すように、顔の向きの情報として、表示画面13の垂線31と人物の顔の向きを示す線32とのなす角の角度θ(0°≦θ≦90°)を検出する。角度θは、当該人物が表示画面13に対して正面を向いている場合に0°、当該人物が表示画面13に対して真横を向いている場合に90°となる。
なお、人物検出部22における人物の検出の手法は特に限定されないが、例えば、米国特許出願公開第2002/0102024号明細書等に開示されているビオラ−ジョーンズ法と呼ばれる方式を用いることができる。ビオラ−ジョーンズ法は、要約すると、画像内における小領域の位置や大きさを変えながら画像内に小領域を設定し、当該小領域から特徴量を抽出し、識別器を利用して、当該小領域が顔であるか否かを判別するものである。人物検出部22は、撮像画像にビオラ−ジョーンズ法を適用した後、顔であると判別された小領域の位置や大きさから、撮像画像の座標軸で表される顔の中心位置や顔の大きさを求めることができる。また、人物検出部22は、撮像画像にビオラ−ジョーンズ法を適用する際に、顔であるか否かのみを判別するのではなく、例えば、正面を向いている顔であるか否か、もしくは、鉛直軸周りに正面より30度右に向いている顔であるか否か、鉛直軸周りに正面より30度左に向いている顔であるか否か、をそれぞれ判別することにより、おおよその顔の向きを求めることができる。
図4は、実施の形態1に係る映像表示装置における人物検出部で検出された人物情報の一例を示す図である。図4において、「No.」は検出された人物に割り当てられた番号、「x座標」および「y座標」は各人物の顔の中心座標、「顔の大きさ」は各人物の顔の幅、「顔の向き(θ)」は表示画面13の垂線31と人物の向いている方向を示す線32とのなす角θの角度である。図4では、No.1〜No.3の3人の人物が検出された場合を示している。
なお、人物の位置の情報や顔の大きさの情報として、顔の長さ(具体的には顔の垂直方向の長さ)や、肩幅、両目間の距離、両目それぞれの位置、頭の頂点の座標など、他の情報を検出するようにしてもよい。また、撮像画像から複数の人物が検出された場合には、検出された複数の人物の各々について、撮像画像における当該人物の位置、顔の大きさおよび顔の向きを検出する。
人物検出部22は、人物の顔の中心座標と、上述の角度θとを、視聴可能性解析部23に出力する。
視聴可能性解析部23は、人物検出部22により検出された人物のそれぞれに対して、当該人物が映像を視聴している可能性を解析する。
具体的には、視聴可能性解析部23は、上記の角度θを用いて90−θの値を算出する(90−θの値を視聴可能性解析値と称す)。視聴可能性解析値は、値が大きい人物ほど映像を視聴している可能性が高く、検出された人物が表示画面13に対して正面を向いている場合に最大(90−θ=90)となり、表示画面13に対して真横を向いている場合に最小(90−θ=0)となる。
また、視聴可能性解析部23は、現在のフレームの撮像画像と、その前のフレームの撮像画像と用いて、現在のフレームの撮像画像から検出された人物の位置における動きベクトルを算出し、その絶対値として動き量を算出する。そして、視聴可能性解析部23は、算出した動き量が閾値よりも大きいか否かに応じて視聴可能性解析値に重み付けをする。この重み付けは、たとえば、算出した動き量が閾値よりも小さい人物の視聴可能性解析値は0.1倍にし、動き量が閾値よりも大きい人物の視聴可能性解析値の値は変化させないようにすることで行う。
なお、上記の動きベクトルの算出方法としては、ブロックマッチング法や勾配法などを用いることができる。また、動き量は、特定の時刻のものではなく、所定の時間にわたって算出した動き量を保持しておき、例えばそれらの平均値としたものでも良い。
また、視聴可能性解析部23は、撮像画像を複数の分割領域に分割し、上述した人物の顔の中心座標を用いて、検出された人物がどの分割領域に含まれるのかを対応付ける。そして、視聴可能性解析部23は、検出された人物が含まれる分割領域の位置と、当該分割領域における重み付けされた視聴可能性解析値とを、視聴者判定部24に出力する。
視聴者判定部24は、重み付けされた視聴可能性解析値に基づいて、人物検出部22で検出された人物が視聴者であるか否かを判定する。人物が視聴者であるか否かは、重み付けされた視聴可能性解析値が閾値よりも大きければ視聴者、小さければ視聴者ではないとして判定する。そして、視聴者判定部24は、視聴者が存在する分割領域の位置を方向決定部25に出力する。
ここで、人物情報から視聴者を判定する具体例を説明する。図5は、実施の形態1に係る映像表示装置における人物情報から視聴者を判定する具体例を示す図であって、(a)は撮像画像中の人物を示す図、(b)は視聴可能性解析部の解析結果を分割領域ごとに表した図、(c)は視聴者判定部の判定結果を分割領域ごとに表した図である。
図5(a)において、撮像画像には人物33aおよび人物33bが含まれている。人物33aは表示画面13を正面から見ている視聴者であり、人物33bは人物の顔が表示画面13に対して正面となるように印刷されているポスターである。
視聴可能性解析部23は、図5(b)に示すように、まず、人物33a、33bがどの分割領域に含まれるかを対応付ける。人物33aは分割領域35aに、人物33bは分割領域35bにそれぞれ含まれる。次に、視聴可能性解析部23は、視聴可能性解析値を算出する。人物33a、33bはともにθ=0°であるため、視聴可能性解析値はともに90である。次いで、視聴可能性解析部23は人物33a、33bの動き量をそれぞれ算出する。ここで、人物33aは動き量が閾値よりも大きく、人物33bは動き量が閾値よりも小さい。そして、視聴可能性解析部23は、動き量が閾値よりも小さい人物37bの視聴可能性解析値を0.1倍にするようにして重み付けする。この結果、視聴可能性解析値は、人物33aが90、人物33bが9であると解析される。そして、視聴可能性解析部23は、人物が検出された分割領域35a、35bの位置と、分割領域35a、35bにおける重み付けされた視聴可能性解析値とを視聴者判定部24へ出力する。
視聴者判定部24は、図5(c)に示すように、検出された人物の視聴可能性解析値が閾値よりも大きければ視聴者であると判定し、閾値よりも小さければ視聴者ではないと判定する。この閾値をたとえば40とすると、人物33aは視聴者であると判定され、人物33bは視聴者ではないと判定される。すなわち、分割領域35aにのみ視聴者が存在すると判定される。
人物の顔が印刷されているポスターや、衣服のしわ、壁の模様等は人物検出部22で撮像画像から人物を検出する際に、実際には人物ではないのに人物として認識されてしまうことがある。これに対して、上述のように検出した人物が視聴者であるか否かを判定することで、人物検出部22で人物として検出されてしまうが、実際には人物ではない静止物体が撮像画像中に含まれる場合であっても、実際の人物とそうでないものを判別することができる。
図2に戻って、方向決定部25は、視聴者判定部24で視聴者であると判定された人物の位置に基づいて表示画面13の画面方向を決定する。
図6は、実施の形態1に係る液晶表示装置における画面方向と分割領域との関係を示す図である。表示画面13の画面方向は、図6に示すように、各分割領域に対応付けられており、視聴者がどの分割領域に存在するかにより決定される。つまり、表示画面13の画面方向は、視聴者が分割領域41aに存在する場合は中央の方向40a、分割領域41bに存在する場合は右の方向40b、分割領域41cに存在する場合は左の方向40cとなる。図6においては、視聴者が分割領域41cに存在するため、表示画面13の画面方向は左の方向40cと決定される。なお、複数の分割領域に視聴者が存在する場合は、それぞれの分割領域の中間の位置としても良い。このとき、視聴可能性解析値の値により重み付けを行っても良い。
駆動制御部26は、方向決定部25が決定した、中央の方向40a、右の方向40bまたは左の方向40cのいずれかの方向に表示画面13を回転させるように回転スタンド12の回転を制御する。右または左に回転させる際の回転角度は、右の方向40bまたは左の方向40cの、中央の方向40aに対する角度として予め設定しておく。
なお、表示画面13を回転させる画面方向と分割領域との関係は図6に示すものに限らない。すなわち、水平方向に分割領域の数を増加させるとともに、各分割領域に応じて画面方向を新たに設定するようにしてもよい。このようにすることで、より正確に表示画面13を視聴者の方向に向けることができる。
また、表示画面13の回転中も随時、視聴可能性解析部23による解析や、視聴者判定部24による判定、方向決定部25による画面方向の決定を随時行い、表示画面13が最適な画面方向となるまで回転を続ける。また、駆動制御部26は、方向決定部25が決定した表示画面13の画面方向から、回転させる方向および時間を決定し、決定した時間連続して右または左に回転させたのち回転を停止する制御を行うようにしてもよい。また、回転スタンド12にロータリエンコーダ等の表示画面13が向いている方向を取得する手段を備え、表示画面13が向いている方向と表示画面13を向けるべき方向とが一致するまで、右または左に回転するよう制御しても良い。
次に、情報処理装置14の制御手順を示す。図7は、実施の形態1に係る映像表示装置における情報制御装置の制御手順を示すフローチャート図である。
まず、撮像処理部21が、撮像画像を取得する(S11)。次に、人物検出部22が、取得した撮像画像から人物の顔を検出し、当該人物の位置、顔の大きさおよび顔の向きを検出する(S12)。そして、視聴可能性解析部23が、ステップS12で検出した人物のそれぞれについて、視聴可能性解析値を算出する(S13)。次に、視聴可能性解析部23は、当該人物の動き量を算出し(S14)、視聴可能性解析値を算出した動き量に応じて重み付けする(S15)。次に、視聴者判定部24が、重み付けされた視聴可能性解析値に基づいて、検出した人物が視聴者であるか否かを判定する(S16)。
次に、方向決定部25が、視聴者であると判定された人物の位置に基づいて、表示画面13を回転させる方向を決定する(S17)。次に、駆動制御部26が、決定した表示画面13を回転させる方向が表示画面13の現時点での画面方向に対して中央の方向であるか否かを判断する(S18)。中央の方向であると判断された場合(S18:YES)、駆動制御部26は、表示画面13を回転させないよう回転スタンド12の制御を行い(S19)、処理を終了させる。
一方、中央の方向ではないと判断された場合(S18:NO)、駆動制御部26は、決定した表示画面13を回転させる方向が右の方向であるか否かを判断する(S20)。ここで、右の方向であると判断された場合(S20:YES)、駆動制御部26は、表示画面13を右に回転させるよう回転スタンド12の制御を行い(S21)、処理を終了させる。また、右の方向であると判断されなかった場合(S20:NO)、駆動制御部26は、表示画面13を左に回転させるよう回転スタンド12の制御を行い(S22)、処理を終了させる。
上記の処理は撮像装置11の撮像の周期と同じ周期で繰り返し行われる。なお、情報処理装置14の処理の周期は、N(Nは2以上の整数)個の撮像画像につき1回など、撮像の周期より長い周期で行われてもよい。また、処理の周期は一定でなくても良く、たとえば、表示画面13が右または左に回転している最中は、回転していない時よりも短い周期で行うようにしても良い。
実施の形態1の映像表示装置によれば、人物の動き量に応じて視聴可能性解析値を重み付けし、重み付けした視聴可能性解析値に基づいて検出された人物が視聴者であるか否かを判定するようにしているので、人物として検出されてしまうが、実際には人物ではない静止物体が撮像画像中に含まれる場合であっても、その影響を軽減して適切に表示画面13の画面方向を決定することができる。
また、人物の顔の向いている方向に基づいて当該人物の視聴可能性解析値を算出するようにしているので、表示画面13を見ていない人物が撮像画像内に含まれる場合であっても、表示画面13の画面方向を適切に決定することができる。
さらに、人物の顔の向きと表示画面13の垂線とのなす角に基づいて当該人物の視聴可能性解析値を算出するようにしているので、角度θは撮像画像における人物の顔の向きと一対一で対応する値となり、角度θの算出のために必要な計算量が小さく、当該可能性を簡易に解析することができる。
なお、実施の形態1では表示画面13の垂線と人物の顔の向きとのなす角に基づいて当該人物が映像を視聴している可能性を解析するものを示したが、角度θの決定方法はこれに限らない。
図8は実施の形態1に係る映像表示装置の第1変形例における角度θの決定方法を示す上面図である。この変形例においては、顔の中央から表示画面13の中央へ向かう線36と、顔の向きを示す線32とのなす角を角度θとしている。このようにすることで、表示画面の13の中央に存在して表示画面の方向を向いている人物ほど当該人物が映像を視聴している可能性が高いと解析することができるので、複数の人物が表示画面13を視聴している場合において、中央にいる人物を優先することができる。
図9は実施の形態1に係る映像表示装置の第2変形例における角度θの決定方法を示す上面図である。この変形例においては、顔の中央から表示画面13に向かう線37a、37b、37cのうち、顔の向きを示す線32とのなす角が最小になる線37aと、顔の向きを示す線32とのなす角を角度θとしている。このようにすることで、表示画面13の方向を向いている人物であればθ=0となるので、表示画面13の方向を向いている人物がいずれの位置に存在しても映像を視聴している可能性が高いと解析することができる。
また、実施の形態1では、図6において2次元の分割領域を示したが、分割領域はこれに限らない。
図10は実施の形態1に係る映像表示装置における分割領域の変形例を示しており、(a)は直方体、(b)は扇形円柱の分割領域を示している。これらの変形例においては、3次元の分割領域を擬似的に設定することで人物の奥行き方向を考慮している。3次元の分割領域は、表示画面13に対して垂直方向に分割された分割領域を生成することで設定する。また、垂直方向に分割された各分割領域に応じて画面方向をさらに細分化して設定する。そして、取得した撮像画像内の人物の顔の大きさから表示画面と視聴者との距離を計算し、計算した距離から表示画面13に対して垂直方向に分割された分割領域のいずれに視聴者が存在するかを求める。このように表示画面13と視聴者との距離を考慮した分割領域を設定し、視聴者の距離に応じて画面方向を決定することで、より正確に表示画面13を視聴者の方向に向けることができる。
なお、実施の形態1では、動きベクトルの絶対値を動き量とするものを示したが、動き量の決定方法はこれに限るものではない。動きベクトルを算出するかわりに、現在のフレームの撮像画像と、その前のフレームの撮像画像を用いて、現在のフレームの撮像画像から検出された人物の位置におけるその前のフレームとの画素値の相違度を動き量としてもよい。画素値の相違度は、輝度値の差の二乗の平均値や正規化相関係数により求める。視聴者には動きがあるため、画素値の相違度は大きいが、人物の顔が印刷されているポスターは静止しているため画素値の相違度は小さい。したがって、このようにしても視聴者と人物の顔が印刷されているポスターとを判別できる。
また、動きベクトルを算出する代わりに、現在のフレームの撮像画像から検出された人物の位置と、その前のフレームの撮像画像から検出された人物の位置との差の絶対値を動き量とし、当該絶対値が所定の閾値以上である場合は動き量を0とするようにしてもよい。視聴者は完全に静止しておらず小さな動きを持つため、位置の差の絶対値は0ではない小さな値となる。一方、人物の顔が印刷されているポスターは完全に静止しているため、位置の差の絶対値は0となる。これに対し、ある人物の位置と別の人物の位置との間で誤って位置の差を算出してしまった場合、算出される絶対値は大きい値となる。したがって、このようにすることで、視聴者と人物の顔が印刷されているポスターとを判別するとともに、異なる人物間で動き量を算出してしまった場合の影響を軽減することができる。
実施の形態2.
図11は、実施の形態2に係る映像表示装置における情報処理装置の構成を示すブロック図である。実施の形態2の情報処理装置14は、図11に示すように、実施の形態1の構成に加えて履歴保持部27をさらに備えている。
履歴保持部27は、視聴者判定部24の過去の一定期間における履歴を保持するものである。薄暗い場合や、逆光など照明環境の悪い状況下で撮像装置11が画像を取得すると、人物検出部22が撮像画像から人物を検出する際に、実際には顔である領域を顔として識別できず、結果として、視聴者判定部24において視聴者と判定される人物が存在しない場合がある。一方、視聴者が映像表示装置を視聴する位置は、たとえばソファに腰掛けて視聴する場合など、いつもほぼ同じ位置であることが多い。そこで、方向決定部25は、視聴者判定部24で視聴者であると判定された人物が存在しない場合、履歴保持部27で保持されている履歴に基づいて表示画面13の画面方向を決定する。
次に、情報処理装置14の制御手順を示す。図12は、実施の形態2に係る映像表示装置における情報処理装置の制御手順を示すフローチャート図である。実施の形態2では、視聴者判定部24が、ステップS16で視聴者であると判定された人物が存在したかどうかを判定する(S16B)。視聴者であると判定された人物が存在する場合(S16B:YES)、ステップS17へ進む。一方、視聴者であると判定された人物が存在しない場合(S16B:NO)、方向決定部25は、履歴保持部27で保持されている履歴に基づいて表示画面を向ける方向を決定する(S17B)。上記以外は実施の形態1と同様である。
実施の形態2によれば、視聴者判定部24において視聴者であると判定された人物が存在しない場合、方向決定部25が、履歴保持部31に保持されている履歴に基づいて表示画面13の画面方向を決定させるようにしているので、人物の顔を認識できない場合でも、その影響が軽減され、表示画面13の画面方向を適切に決定することができる。
なお、この発明の映像表示装置は、テレビジョン受像機やデジタルサイネージ等に適用することができる。また、上記各実施の形態の構成は互いに組み合わせることができる。
11 撮像装置
13 表示画面
21 撮像処理部
22 人物検出部
23 視聴可能性解析部
24 視聴者判定部
25 方向決定部
26 駆動制御部
27 履歴保持部
31 表示画面の垂線
32 顔の向きを示す線
36 顔の中央から表示画面の中央へ向かう線
37a、37b、37c 顔の中央から表示画面へ向かう線
100 映像表示装置

Claims (5)

  1. 映像を表示する表示画面と、
    前記表示画面の前方を撮像して画像を取得する撮像手段と、
    前記取得した前記画像から人物を検出する人物検出手段と、
    前記検出した前記人物の動き量を算出するとともに、前記人物の顔の向きの情報として、前記表示画面に対して前記人物の顔の向きを示す線を定めることにより、前記人物の顔の向きを示す線と、所定の条件を満たす線がなす角を用いて、前記人物が前記映像を視聴している可能性を表す解析値を算出し、前記動き量に応じて前記解析値を重み付けする視聴可能性解析手段と、
    前記重み付けした前記解析値に基づいて、前記検出された人物が前記表示画面の視聴者であるか否かを判定する視聴者判定手段と、
    前記視聴者判定手段で視聴者であると判定された人物の位置に基づいて前記表示画面の画面方向を決定する方向決定手段と、
    前記方向決定手段で決定した前記画面方向に前記表示画面を回転駆動する駆動手段とを備えた映像表示装置。
  2. 前記視聴者判定手段の判定結果の履歴を保持する履歴保持手段を更に備え、
    前記方向決定手段は、前記視聴者判定手段で視聴者であると判定された人物が存在しない場合、前記履歴に基づいて前記表示画面の画面方向を決定することを特徴とする請求項1に記載の映像表示装置。
  3. 前記視聴可能性解析手段は、前記表示画面の垂線と前記顔の向きを示す線とのなす角に基づいて前記解析値を算出することを特徴とする請求項1または2に記載の映像表示装置。
  4. 前記視聴可能性解析手段は、前記顔の中央から前記表示画面の中央へ向かう線と前記顔の向きを示す線とのなす角に基づいて前記解析値を算出することを特徴とする請求項1または2に記載の映像表示装置。
  5. 前記視聴可能性解析手段は、前記顔の中央から前記表示画面へ向かう線のうち、前記顔の向きを示す線とのなす角が最小となる線と、前記顔の向きを示す線とのなす角に基づいて前記解析値を算出することを特徴とする請求項1または2に記載の映像表示装置。
JP2011147451A 2011-07-01 2011-07-01 映像表示装置 Expired - Fee Related JP5853443B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011147451A JP5853443B2 (ja) 2011-07-01 2011-07-01 映像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011147451A JP5853443B2 (ja) 2011-07-01 2011-07-01 映像表示装置

Publications (2)

Publication Number Publication Date
JP2013016976A JP2013016976A (ja) 2013-01-24
JP5853443B2 true JP5853443B2 (ja) 2016-02-09

Family

ID=47689224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011147451A Expired - Fee Related JP5853443B2 (ja) 2011-07-01 2011-07-01 映像表示装置

Country Status (1)

Country Link
JP (1) JP5853443B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006324952A (ja) * 2005-05-19 2006-11-30 Hitachi Ltd テレビジョン装置
JP2009296521A (ja) * 2008-06-09 2009-12-17 Hitachi Ltd テレビジョン受像機
JP5843590B2 (ja) * 2011-12-02 2016-01-13 三菱電機株式会社 表示方向制御装置、表示方向制御方法、表示方向制御プログラム、および映像表示装置

Also Published As

Publication number Publication date
JP2013016976A (ja) 2013-01-24

Similar Documents

Publication Publication Date Title
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
WO2018126654A1 (zh) 显示系统和用于显示面板的驱动方法
US20120287246A1 (en) Image processing apparatus capable of displaying image indicative of face area, method of controlling the image processing apparatus, and storage medium
US10209797B2 (en) Large-size touch apparatus having depth camera device
CN107844190B (zh) 基于虚拟现实vr设备的图像展示方法及装置
US20130088574A1 (en) Detective Adjusting Apparatus for Stereoscopic Image and Related Method
US9363427B2 (en) Device and method for calibrating a temporal contrast sensor with a frame-based camera sensor
TWI610059B (zh) 三維量測方法及應用其之三維量測裝置
JPH1124603A (ja) 情報表示装置及び情報収集装置
JP2010087569A (ja) 姿見装置
US20140347350A1 (en) Image Processing Method and Image Processing System for Generating 3D Images
KR20110132260A (ko) 모니터 기반 증강현실 시스템
JP5460793B2 (ja) 表示装置、表示方法、テレビジョン受信機及び表示制御装置
EP2717247A2 (en) Image processing apparatus and method for performing image rendering based on orientation of display
US20120105444A1 (en) Display processing apparatus, display processing method, and display processing program
US20190110003A1 (en) Image processing method and system for eye-gaze correction
US20220058887A1 (en) Augmented reality system and anchor display method thereof
JP6977823B2 (ja) 情報処理装置、制御方法、及びプログラム
JP2017212638A (ja) 表示装置、表示装置の制御方法、及びプログラム
US9778755B2 (en) Image processing system using polarization difference camera
US10764503B2 (en) Information processing apparatus, control method, and program for outputting a guide for correcting a field of view of a camera
JP5853443B2 (ja) 映像表示装置
US20190253618A1 (en) Information processing apparatus, control method, and program
JP2006287813A (ja) 3次元画像表示装置

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20140326

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150825

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151123

R151 Written notification of patent or utility model registration

Ref document number: 5853443

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees