JP5646716B2

JP5646716B2 - 映像表示装置及び映像表示方法

Info

Publication number: JP5646716B2
Application number: JP2013210685A
Authority: JP
Inventors: 恵美川島
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2013-10-08
Filing date: 2013-10-08
Publication date: 2014-12-24
Anticipated expiration: 2032-07-03
Also published as: JP2014013617A

Description

本発明の実施形態は、映像表示装置及び映像表示方法に関する。

従来より、裸眼立体映像表示装置における視聴者に対する立体視可能な領域の調整や、音響機器における受聴者に対するスピーカの向きの調整においては、視聴者や受聴者の位置情報を用いて調整するようにしている。

従来では、このような視聴者や受聴者の位置情報を取得するには、カメラで撮影した視聴者や受聴者の撮影画像上の顔の特徴点（顔幅、両目の間隔など）を検出し、特徴点間の距離を計算する。そして、撮影画像上の特徴点間の距離及び予め準備された平均的な特徴点間の距離に基づきピンホールカメラモデルの透視投影法を用いることにより、実際の視聴者や受聴者の位置座標を計算するようにしている。

さて利用者の顔を検出できる装置が増えている。

特許文献１によると、予め人がいない背景画像を撮影し、背景画像との差分から人を検出し、顔部分をエッジ検出から推定してから肌色検出により求める。しかし、顔部分をエッジ検出から推定することは、カメラ画像の解像度、ノイズの影響を受けて、困難である。この顔部分の検出精度が低いと、肌色検出による顔検出も精度が劣る。

顔を検出する方法として、本願と同一の出願人による特許文献２である特開２００４−２４６６１８号の技術がある。さまざまな顔画像を見本画像として、見本画像から見本確率画像を予め作成し、この見本確率画像とカメラ画像を照合して、顔を検出する方法である（以後、見本確率画像を顔辞書と呼び、この検出方法を顔辞書顔検出方法と呼ぶ）。これは、安定的に顔を検出できるが、顔以外も検出する場合がある。例えば、壁にかけられた顔写真や、顔に似た模様などである。しかし、これらを除去する方法はない。

顔を追従する際に、顔特徴量だけを利用すると、追従に一時的に失敗することがある。これは、マッチングに正面向きの顔を必要とするためであり、取得する画像の全ての顔向きに対応することは計算量が増大して困難である。顔追従に失敗すると、新規に顔検出をする必要がある。しかし、顔検出する度に視聴者を識別する識別子を割り当て、視聴者を区別する仕組みを持つ装置において、一時的な顔の動きで顔追従ができなくなり、新しい識別子を割り当てられることは非常に不便である。

即ち、このような周囲環境の変動や顔の動きがある場合にも、よりロバストな顔検出や顔追従の技術への要望があるが、かかる要望を実現するための手段は知られていない。

特開２００５−９２２６２号公報特開２００４−２４６６１８号公報

本発明の実施の形態は、周囲環境の変動や顔の動きがある場合にも、よりロバストな顔検出の技術を提供することを目的とする。

上記課題を解決するために、実施形態によれば映像表示装置は、撮像装置で撮影した画像を取得する画像取得部と、前記画像取得部が取得した撮影画像から、人物の顔辞書の顔パターンと一致する場所を探す顔辞書顔検出部と、前記顔パターンの特徴量を元に顔を追従する顔追従部と、前記顔追従部による顔追従が失敗した時、現在の撮影画像と予め取得した背景画像との差分が一定以上であれば、直前の追従に成功した時刻の撮影画像での顔位置座標を顔追従に利用する顔判定部とを備える。

実施形態のデジタルテレビジョンの一例を示す外観斜視図。デジタルテレビジョンの信号処理系を示すブロック図。同実施形態の顔位置座標取得部の機能ブロック図。同実施形態のカメラ画像と顔座標の例を示す説明図。同実施形態に用いられる顔検出・顔追従部処理のフローチャート。同実施形態の参照画像取得処理のフローチャート。同実施形態に用いられる顔検出部処理のフローチャート。

以下、実施形態を図１乃至図７を参照して説明する。

図１は、実施形態にかかる電子機器であるデジタルテレビジョン１の一例を示す外観斜視図である。図１に示すように、デジタルテレビジョン１は、前方から見た正面視（前面に対する平面視）で、長方形状の外観を呈している。デジタルテレビジョン１は、筐体２と、ＬＣＤ（Liquid Crystal Display）パネル等の表示部３を備えている。表示部３は、後述する映像処理部２０（図２参照）から映像信号を受け取り、静止画や動画等の映像を表示する。また、筐体２は、支持部４に支持されている。

図２は、デジタルテレビジョン１の信号処理系を示すブロック図である。なお、このデジタルテレビジョン１は、立体画像出力装置として機能するものであって、通常の平面視（２次元）表示用の映像信号に基づく映像表示を行なうだけでなく、立体視（３次元）表示用の映像信号に基づく映像表示も行なうことができる。また、デジタルテレビジョン１は、裸眼で立体映像を視聴可能なものである。

図２に示すように、デジタルテレビジョン１は、アンテナ１２で受信したデジタルテレビジョン放送信号を、入力端子１３を介して受信手段であるチューナ部１４に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。デジタルテレビジョン１は、チューナ部１４で選局された放送信号を、復調復号部１５に供給してデジタルの映像信号及び音声信号等に復元した後、入力信号処理部１６に出力する。なお、本実施の形態のデジタルテレビジョン１においては、デジタルテレビジョン放送信号を受信する受信手段であるチューナを３台有している場合（２台は地上デジタル放送受信用のチューナＡ１４１、チューナＢ１４２、他の１台はＢＳ／ＣＳデジタル放送受信用のチューナＣ１４３）を例にとって説明する。

入力信号処理部１６は、復調復号部１５から供給されたデジタルの映像信号及び音声信号に対してそれぞれ所定のデジタル信号処理を施す。

入力信号処理部１６は、通常の平面視（２次元）表示用の映像信号（入力映像）を立体視（３次元）表示用の映像信号に変換する立体画像変換処理を行う立体画像変換部１６０を備えている。

また、入力信号処理部１６は、チューナ部１４で選局された放送信号から番組名、出演者、開始時刻などのイベント情報を記述したテーブルであるＥＩＴ（Event Information Table）を分離する。入力信号処理部１６で分離されたＥＩＴは、番組表データとして制御部２３に入力される。ＥＩＴには、番組にかかるイベント情報である番組のタイトル情報やジャンル情報、出演者情報などの放送内容、放送日時などの番組に関連する情報が含まれている。

また、入力信号処理部１６は、デジタルの映像信号を合成処理部１７に出力し、デジタルの音声信号を音声処理部１８に出力している。このうち、合成処理部１７は、入力信号処理部１６から供給されるデジタルの映像信号に、ＯＳＤ（On Screen Display）信号生成部１９で生成される字幕、ＧＵＩ（Graphical User Interface）、ＯＳＤなどの重畳用映像信号であるＯＳＤ信号を重畳して出力している。この場合、合成処理部１７は、入力信号処理部１６から供給される映像信号にＯＳＤ信号生成部１９から供給されたＯＳＤ信号をそのまま重畳して出力している。

デジタルテレビジョン１は、合成処理部１７から出力したデジタルの映像信号を、映像処理部２０に供給する。映像処理部２０は、入力されたデジタルの映像信号を、出力部として機能する表示部３で表示可能なフォーマットのアナログ映像信号に変換している。デジタルテレビジョン１は、映像処理部２０から出力されたアナログ映像信号を、表示部３に供給して映像出力に供する。

音声処理部１８は、入力されたデジタルの音声信号を、後段のスピーカ２２で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声処理部１８から出力されたアナログ音声信号が、スピーカ２２に供給されることにより音声再生に供される。

図２に示すように、上述した合成処理部１７と音声処理部１８とＯＳＤ信号生成部１９と映像処理部２０とは、出力信号処理部２１を構成している。

加えて、デジタルテレビジョン１は、図１に示すように、映像出力部として機能する表示部３の近傍に撮像装置であるカメラ装置３７を搭載している。このカメラ装置３７は、デジタルテレビジョン１に対向する視聴者の顔を撮像可能な位置に設けられている。

ここで、デジタルテレビジョン１は、上記した各種の受信動作を含むその全ての動作を制御部２３によって統括的に制御している。この制御部２３は、ＣＰＵ（Central Processing Unit）２３ａを内蔵しており、デジタルテレビジョン１の本体に設置された操作装置である操作部２４からの操作情報を受けて、または、操作装置であるリモートコントローラ２５から送出され受信部２６で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。

また、制御部２３は、メモリ部２３ｂを内蔵している。メモリ部２３ｂは、主として、ＣＰＵ２３ａが実行する制御プログラムを格納したＲＯＭ（Read Only Memory）と、該ＣＰＵ２３ａに作業エリアを提供するためのＲＡＭ（Random Access Memory）と、各種の設定情報、制御情報及び操作部２４やリモートコントローラ２５からの操作情報等が格納される不揮発性メモリとを有している。

また、制御部２３には、ディスクドライブ部２７が接続されている。ディスクドライブ部２７は、例えばＤＶＤ（Digital Versatile Disk）等の光ディスク２８を着脱自在とするもので、装着された光ディスク２８に対してデジタルデータの記録再生を行なう機能を有している。

制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、復調復号部１５から得られるデジタルの映像信号及び音声信号を、記録再生処理部２９によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部２７に供給して光ディスク２８に記録させるように制御することができる。

また、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ディスクドライブ部２７により光ディスク２８からデジタルの映像信号及び音声信号を読み出させ、上記記録再生処理部２９によって復号化した後、入力信号処理部１６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。

制御部２３には、ＨＤＤ（Hard Disk Drive）３０が接続されている。制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、復調復号部１５から得られるデジタルの映像信号及び音声信号を、記録再生処理部２９によって暗号化し所定の記録フォーマットに変換した後、ＨＤＤ３０に供給してハードディスク３０ａに記録させるように制御することができる。

また、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ＨＤＤ３０によりハードディスク３０ａからデジタルの映像信号及び音声信号を読み出させ、記録再生処理部２９によって復号化した後、入力信号処理部１６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。

また、ＨＤＤ３０は、ハードディスク３０ａに各種データを記憶することにより、背景画像バッファ３０１および顔検出履歴データ３０４として機能する。このうち人物データベース（人物ＤＢ）として機能する顔検出履歴データ３０４は、後述する特徴点間距離（例えば、顔幅）および顔特徴点座標（例えば、顔の輪郭の座標情報）を視聴者ＩＤごとに対応付けて記憶する。

さらに、デジタルテレビジョン１には、入力端子３１が接続されている。入力端子３１は、デジタルテレビジョン１の外部からデジタルの映像信号及び音声信号を直接入力するためのものであり、ＬＡＮ端子、ＵＳＢ端子、ＨＤＭＩ（登録商標）端子などである。この入力端子３１を介して入力されたデジタルの映像信号及び音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、入力信号処理部１６に供給されて、以後、上記した映像表示及び音声再生に供される。

また、入力端子３１を介して入力されたデジタルの映像信号及び音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、ディスクドライブ部２７による光ディスク２８に対しての記録再生や、ＨＤＤ３０によるハードディスク３０ａに対しての記録再生に供される。

なお、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ディスクドライブ部２７とＨＤＤ３０との間で、光ディスク２８に記録されているデジタルの映像信号及び音声信号をハードディスク３０ａに記録したり、ハードディスク３０ａに記録されているデジタルの映像信号及び音声信号を光ディスク２８に記録したりすることも制御している。

また、制御部２３には、ネットワークインタフェース３２が接続されている。このネットワークインタフェース３２は、入出力端子３３を介して外部のネットワーク３４に接続されている。そして、このネットワーク３４には、当該ネットワーク３４を介した通信機能を利用して各種のサービスを提供するためのネットワークサーバ３５，３６が接続されている。このため、制御部２３は、ネットワークインタフェース３２、入出力端子３３及びネットワーク３４を介して、所望のネットワークサーバ３５，３６にアクセスして情報通信を行なうことにより、そこで提供しているサービスを利用することができるようになっている。なお、ネットワークインタフェース３２は、入出力端子３３を介してＳＤメモリーカードやＵＳＢ機器が接続されるものであっても良い。

さて図３に、カメラ画像から顔位置を出力する顔位置座標取得部の機能ブロック図を示す。この顔位置座標取得部２３は、ＣＰＵ２３ａやメモリ部２３ｂを用いた制御部２３の機能として在り、カメラ付きのテレビなど音響装置や監視カメラなど、カメラ画像中の顔の座標位置を取得することを目的としている。

本実施形態は、特許文献２の弱点である多様な顔（向き、照明など）に対応できない点を、背景／参照差分の利用を併用することで改善するものである。

制御部２３は、ＣＰＵ２３ａが制御プログラムに従って動作することによって、位置座標検出装置として機能するものであって、図３に示すように画像制御部２３０の他、画像取得部２３１と、顔辞書顔検出部２３３と、顔追従部２３７と、位置座標検出を行う顔判定部２３８とを実現する。次に、各部の機能について概略的に説明する。

画像取得部２３１は、カメラ装置３７が撮影した映像から撮影画像を取得する。デジタルテレビジョン１は、画像制御部２３０の制御によってカメラ装置３７で撮影された撮影画像を、顔追従部２３７および顔辞書顔検出部２３３に送る。

カメラ（装置）３７によって、室内を撮影し、撮影されたカメラ画像は画像取得部２３１に入力される。画像取得部２３１によって、カメラ画像は顔を判別しやすいように画像処理を施される。背景画像バッファ３０１には背景／参照画像を格納する。顔辞書顔検出部２３３ではカメラ画像をスキャンしながら顔辞書の顔パターンと一致する場所を探す。この顔辞書顔検出部２３３の動作は、特許文献２が代表例である。顔追従部２３７では顔が検出された位置から一定範囲内で顔部分を顔の特徴量（目・鼻・口の座標値）を元に顔を追従する。顔判定部２３８では、背景／参照画像とカメラ画像の差分を評価し、顔検出精度向上と追従性能の強化に利用し、顔位置座標を出力する。

再び図３を利用して、具体的に説明する。なお図３において実線の矢印はデータの流れをまた破線の矢印は制御関係を表現している。

装置を起動した時には、最初に顔検出を開始する。画像制御部２３０によって、カメラからの画像データを画像取得部２３１で取得の後、SW＿A の1 をON にする。顔検出履歴データ３０４には、現在の時刻から一定時間だけ過去の時刻までの顔位置座標が保存されている。顔検出履歴データ３０４を参照し、顔履歴がない場合はSW＿Ｂの2 をON にして顔辞書顔検出部２３３で顔検出を行う。ここで、顔辞書顔検出部２３３の顔検出は、正常に顔検出できる場合と、誤って検出される場合がある。顔辞書顔検出部２３３で得られた顔位置座標には、視聴者の顔による正しい顔座標と、壁の模様や写真などの影響によって誤検出された顔座標とがある。背景画像バッファ３０１に格納されている参照画像を利用して、顔判定部２３８で誤検出された顔座標を除去する。

背景／参照画像は二つの方法で取得される。
第一の方法は、人がいないことを検出し、その時にカメラが撮影した画像を利用する。この画像を、本特許での背景画像と定義する。人がいないことは、数フレーム連続に撮影して、画像の差分が極僅かなことで検出することができる。この背景画像の撮影は一定時間おきに実施し、撮影時間と背景画像を対応付けることで、顔検出を行っている時間と近い時間帯の背景画像を利用できるようにされている。
第二の方法は、毎フレームまたは数フレームおきに、画像を取得する方法である。これの画像を、本特許での参照画像と定義する。取得した背景／参照画像を背景画像バッファ３０１に格納する際には、図３のSW＿A の2 をON にする。

誤検出された顔座標が正しい座標であるか顔判定部２３８で判定を行う。背景画像バッファ３０１から第一の方法で取得した背景画像を使い、顔辞書顔検出部２３３から得られた顔座標及び顔幅から得られる顔エリアを背景画像中の同一エリアと比較する。
ここで、差分が一定以下であれば、背景上の模様を顔として検出した誤検出である。逆に、差分が一定以上あれば顔であると判定する。差分比較は、エリア内の同じ位置の画素の差分の比較でもよいし、エリア内での統計データ値（ヒストグラム、最大値、最小値、平均値など）の比較でも構わない。
ここで、一定以下の差分とは、カメラノイズや光の影響だけによる差分量であり、差分が一定以下の場合、画像上の静止物だと判定できる。逆に、一定以上の差分とは、瞬き、呼吸による振動など人が静止していても発生する動きによる差分量を示すことになるため、人物であると判定できる。この闘値は、画像取得の方法、撮影画像のS/ N 、カメラの光学的特性などと合わせて決定される。

顔が検出されると、顔追従部２３７が作動する。画像制御部２３０によって、カメラ３７からの画像データを画像取得部２３１で取得の後、SW＿A の1 をON し、顔検出履歴データ３０４を参照する。ここで、顔履歴がある場合はSW＿B の1 をON にして、顔追従部２３７で顔追従を行う。顔追従を成功した場合には顔座標及び、顔幅を顔判定部２３８へ入力する。一方、顔追従を失敗した場合には、失敗したことを顔判定部２３８に入力する。顔追従に失敗した場合、顔判定部２３８で背景画像バッファ３０１で格納された背景／参照画像を利用し、顔追従を補完する。

ここで、顔追従の補完について、説明する。
まず、第一の方法によって背景画像を取得した場合で説明する。顔追従を失敗した時、現在の撮影画像と、背景画像とを比較し、この差分が一定以上であれば、顔追従に一時的に失敗したとみなす。そして、直前の追従に成功した時刻の撮影画像での顔位置座標を利用する。ここで、一定以上の差分とは、人がいない背景画像と人とを区別することができる差分量である。
次に、第二の方法によって参照画像を取得した場合で説明する。顔追従を失敗した時、現在の撮影画像と、直前の追従に成功した時刻の撮影画像と、差分を比較し、差分が一定以上である部分を計算する。
差分が一定以上の部分に先の追従に成功した時の顔座標が含有される場合には、顔追従を一時的に失敗したと判定し、直前の追従に成功した時刻の撮影画像での顔位置座標を利用する。つまり、この差分が一定以上である箇所は、人が動いている部分を示し、この差分が一定以下である箇所は、背景であると判定できる。この差分比較は、エリア内の同じ位置の画素の差分の比較でもよいし、エリア内での統計データ値（ヒストグラム、最大値、最小値、平均値など）の比較でも構わない。

以上を画像制御部２３０を処理の主体とするフローチャートで説明する。まず図５は、実施形態に用いられる顔検出・顔追従部処理のフローチャートである。

ステップＳ５１：カメラ３７から画像を取得する。

ステップＳ５２：顔検出履歴データ３０４に顔履歴データはあるか判定する。

ステップＳ５３：この判定でＮｏの場合は顔辞書顔検出部２３３で顔検出を行ないステップＳ５５へ進む。

ステップＳ５４：ステップＳ５３でＹｅｓの場合は顔追従部２３７で顔追従を行う。

ステップＳ５５：顔辞書顔検出部２３３、もしくは顔追従部２３７より入力された顔位置座標、顔幅から顔判定部２３８で背景／差分画像をもとに、誤検出された顔を除去し、顔追従に一時的に失敗したかを判定し、顔位置座標、顔幅を出力する。

ステップＳ５６：何らかのエラーがある場合は処理を終了し、そうでない場合はステップＳ５１に戻る。

図６は、同実施形態の背景／参照画像取得処理のフローチャートである。

ステップＳ６１：画像取得時間か判定する。この判定でＮｏの場合は判定を繰り返す。

ステップＳ６２：カメラ３７から画像を取得する。

ステップＳ６３：第一の方法によって背景画像を取得する場合には、動きのない映像か判定する。この判定でＮｏの場合はステップＳ６１に戻る。第二の方法によって参照画像を取得する場合には、Ｓ６３の判定は行わず、Ｓ６４へ進む。

ステップＳ６４：画像を背景画像バッファ３０１に保存する。

ステップＳ６５：何らかのエラーがある場合は処理を終了し、そうでない場合はステップＳ６１に戻る。

図７は、実施形態に用いられる顔検出部処理のフローチャートである。

ステップＳ７１：顔辞書顔検出部２３３で顔検出できたか判定する。この判定でＮｏの場合は判定を繰り返す。

ステップＳ７２：顔検出履歴データ３０４を参照する。

ステップＳ７３：一定時間内の情報か判定する。この判定でＮｏの場合は処理を終了する。

ステップＳ７４：撮影画像と背景画像バッファ３０１に格納された背景画像の顔座標付近の差分を算出する。

ステップＳ７５：しきい値判定により、差分がしきい値以上である場合に顔座標を出力する。

先行技術と比べた実施形態の効果として、特許文献２と合わせて、本実施形態を利用することにより、よりロバストな顔追従・顔検出が可能となる。

実施形態の概要として、カメラ付きＴＶにおいて、カメラ画像から視聴者の顔を検出する顔検出機能に加えて、参照画像との差分（背景差分）による顔検出を利用することで、ロバストに顔を検出・追従できる。背景／参照画像は、人がいない時にカメラが撮影した背景画像、または前時刻にカメラが撮影した参照画像を利用する。

（１．顔追従の強化）顔追従で視聴者の顔を見失ったとき、背景差分があるか判定し、背景差分がある場合には、顔追従部で見失う前の顔位置を利用する。

（２．顔検出の精度向上）顔検出部で顔を検出した場合に、背景差分がほぼゼロの場合には、顔検出の誤りとみなし、検出された顔位置を利用しない。

背景画像は、カメラ画像のフレーム差分が極小となった時にバッファに保存され、参照画像は毎フレームもしくは数フレームおきにバッファに保存される。背景画像の更新は、数時間おきに行い、背景画像を利用する際に利用時間帯と同じ時間帯の画像を利用する。

以上説明した実施例によれば、照明、顔向きなどによる顔画像の変動にロバストな顔追従ができる。また、顔ではないものを検出する誤検出を減らすことができる。

なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。

また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。

２３位置座標検出装置(顔位置座標取得部)
２３０画像制御部
２３１画像取得部
２３３顔辞書顔検出部
２３７顔追従部
２３８顔判定部

Claims

撮像装置で撮影した撮影画像を取得する画像取得部と、
前記画像取得部が取得した撮影画像を、顔辞書の顔パターンと比較し、一致する場所を顔位置として検出する顔辞書顔検出部と、
前記顔辞書顔検出部で検出した顔位置を、前記顔パターンの特徴量を元に追従する顔追従部と、
前記撮影画像と予め取得した背景画像との比較結果を用いて、前記顔追従部で追従している顔位置が正しい位置かを判定するものであって、前記顔追従部による顔追従が失敗し、かつ現在の撮影画像と前記背景画像との差分が一定以上である場合に、直前の追従に成功した時刻の撮影画像での顔位置を追従対象の顔位置とする顔判定部と
を備えた映像表示装置。
更に前記撮影画像を前記背景画像として取得しバッファリングする背景画像バッファを備えた請求項１に記載の映像表示装置。
更に前記場所を探すための顔辞書に関する顔検出履歴データを備えた請求項１に記載の映像表示装置。
更に前記背景画像は前記撮影画像のフレーム単位で取得されバッファリングされる請求項２に記載の映像表示装置。
撮像装置で撮影した撮影画像を取得する画像取得部と、
前記画像取得部が取得した撮影画像を、顔辞書の顔パターンと比較し、一致する場所を顔位置として検出する顔辞書顔検出部と、
前記顔辞書顔検出部で検出した前記顔位置を、前記顔パターンの特徴量を元に追従する顔追従部と、
前記撮影画像とこの撮影画像よりも前に取得した参照画像との比較結果を用いて、前記顔追従部で追従している顔位置が正しい位置かを判定するものであって、前記顔追従部による顔追従が失敗し、かつ現在の撮影画像と前記参照画像との差分が一定以上の部分に直前の追従に成功した時刻の撮影画像での顔位置を含む場合に、当該位置を顔位置とする顔判定部と
を備えた映像表示装置。
撮像装置で予め撮影した背景画像を取得する工程と、
前記撮像装置で撮影した現在の撮影画像を取得する画像取得工程と、
取得した現在の撮影画像を、顔辞書の顔パターンと比較し、一致する場所を顔位置として検出する顔辞書顔検出工程と、
前記顔辞書顔検出工程で検出した前記顔位置を、前記顔パターンの特徴量を元に追従する顔追従工程と、
前記撮影画像とこの撮影画像よりも前に取得した背景画像との比較結果を用いて、前記顔追従工程で追従している顔位置が正しい位置かを判定するものであって、顔追従が失敗し、かつ現在の撮影画像と予め取得した背景画像との差分が一定以上である場合に、直前の追従に成功した時刻の撮影画像での顔位置を追従対象の顔位置とする工程と
を含んだ映像表示方法。
更に前記撮影画像を前記背景画像として取得しバッファリングする背景画像バッファ工程を有する請求項６に記載の映像表示方法。
更に前記場所を探すための顔辞書に関する顔検出履歴データを有する請求項６に記載の映像表示方法。
更に前記背景画像を前記撮影画像のフレーム単位で取得しバッファリングする請求項７に記載の映像表示方法。
撮像装置で予め撮影した背景画像を取得する工程と、
前記撮像装置で撮影した現在の撮影画像を取得する画像取得工程と、
取得した現在の撮影画像を、顔辞書の顔パターンと比較し、一致する場所を顔位置として検出する顔辞書顔検出工程と、
前記顔辞書顔検出工程で検出した前記顔位置を、前記顔パターンの特徴量を元に追従する顔追従工程と、
前記撮影画像とこの撮影画像よりも前に取得した参照画像との比較結果を用いて、前記顔追従工程で追従している顔位置が正しい位置かを判定するものであって、顔追従が失敗し、かつ現在の撮影画像と前記参照画像との差分が一定以上の部分に直前の追従に成功した時刻の撮影画像での顔位置を含む場合に、当該位置を顔位置とする顔判定工程と
を含んだ映像表方法。
コンピュータを、
撮像装置で撮影した撮影画像を取得する画像取得部と、
前記画像取得部が取得した撮影画像を、顔辞書の顔パターンと比較し、一致する場所を顔位置として検出する顔辞書顔検出部と、
前記顔辞書顔検出部で検出した前記顔位置を、前記顔パターンの特徴量を元に追従する顔追従部と、
前記撮影画像と予め取得した背景画像との比較結果を用いて、前記顔追従部で追従している顔位置が正しい位置かを判定するものであって、前記顔追従部による顔追従が失敗し、かつ現在の撮影画像と前記背景画像との差分が一定以上である場合に、直前の追従に成功した時刻の撮影画像での顔位置を追従対象の顔位置とする顔判定部
として機能させるプログラム。
更に前記撮影画像を前記背景画像として取得しバッファリングする背景画像バッファとして前記コンピュータを機能させる請求項１１に記載のプログラム。
更に前記場所を探すための顔辞書に関する顔検出履歴データを備えた請求項１１に記載のプログラム。
更に前記背景画像は前記撮影画像のフレーム単位で取得されバッファリングされる請求項１２に記載のプログラム。
コンピュータを、
撮像装置で撮影した撮影画像を取得する画像取得部と、
前記画像取得部が取得した撮影画像を、顔辞書の顔パターンと比較し、一致する場所を顔位置として検出する顔辞書顔検出部と、
前記顔辞書顔検出部で検出した前記顔位置を、前記顔パターンの特徴量を元に追従する顔追従部と、
前記撮影画像とこの撮影画像よりも前に取得した参照画像との比較結果を用いて、前記顔追従部で追従している顔位置が正しい位置かを判定するものであって、前記顔追従部による顔追従が失敗し、かつ現在の撮影画像と前記参照画像との差分が一定以上の部分に直前の追従に成功した時刻の撮影画像での顔位置を含む場合に、当該位置を顔位置とする顔判定部
として機能させるプログラム。