JP3974953B2

JP3974953B2 - テレビ視聴者識別方法およびその装置

Info

Publication number: JP3974953B2
Application number: JP20792495A
Authority: JP
Inventors: 純治小川; 高秀吉岡
Original assignee: Video Research Co Ltd
Current assignee: Video Research Co Ltd
Priority date: 1995-07-21
Filing date: 1995-07-21
Publication date: 2007-09-12
Anticipated expiration: 2015-07-21
Also published as: JPH0935068A

Description

【０００１】
【産業上の利用分野】
本発明は、テレビ視聴率調査のために各調査対象世帯において顔画像認識によりテレビ受像機を視聴している個人を識別するテレビ視聴者識別方法およびその装置に関する。
【０００２】
【従来の技術】
テレビ視聴率には、調査対象の世帯に設置されているテレビの視聴状況を単に示す世帯視聴率と、調査対象の世帯において実際に誰が視聴しているかという情報まで考慮した個人視聴率とがあり、最近、後者の個人視聴率の需要が年々増大している。
【０００３】
個人視聴率を測定する方式には、大別して、アクティブ型とパッシブ型とがある。アクティブ型は調査対象者に視聴の開始および終了に際して自己に割り当てられた押ボタン等を操作してもらう方式であり、調査対象者にとって本来不必要な行為を強いることになるため、長期間にわたる調査の場合には調査対象者への負担が重くなりがちである。
【０００４】
これに対して、パッシブ型はテレビを視聴している者を自動的に判断する方式であり、調査対象者への負担はアクティブ型に比べて著しく軽減される。特に、テレビを視聴している者をビデオカメラで撮像し、その画像データ、特に顔画像を画像認識処理して視聴者を特定する方法は、短時間毎に視聴中の個人情報が自動的に得られるため、近年特に開発，研究が盛んに行われている。
【０００５】
例えば本出願人自身の出願にかかる特願平４−３４１３５０号には、監視領域を撮像して得た多階調の顔画像に対してｎＯＦｍ値化を行って２値化画像を生成すると共にこの２値化画像から特徴データを算出し、辞書に保持されている判別分析の基準データに基づいて、前記算出した特徴データの判別分析を行うことにより、視聴中の個人を識別する装置が提案されている。また、同じく本出願人自身の出願にかかる特願平６−３３０３１号には、画像認識技術により視聴中の個人を識別すると共に、画像認識で個人を特定できなかった顔画像についてはその視聴場所の追跡結果から個人を特定するようにしたテレビ視聴者識別装置が提案されている。更に、特開平７−９５６２５号公報には、監視領域を撮像して得た画像中の各個人の顔画像に対して基準ファイルとの比較によりテンプレート一致スコアとエイジェンフェイス確認スコアという異なる２種類の類似度を示すスコアを与えた後、これらのスコアを融合し、さらに身体形状の一致性，視聴者の追跡結果，経過データ等を視聴者識別の補助として用いて、視聴中個人を特定するようにした装置が提案されている。
【０００６】
【発明が解決しようとする課題】
ところで、この種の顔画像認識によるテレビ視聴者の識別では、撮像された画像中の顔画像が何れの個人のものであるかを、辞書（基準ファイル等とも称される）に基づいて判定する。従って、辞書には所定の個人の現在の顔画像の特徴が正確に反映されていなければならない。しかしながら、長期にわたるテレビ視聴調査ではその間に調査対象世帯の個人の容貌が大きく変化する。特に幼児の場合は顕著である。また、男性が髭を生やしはじめたり、生やしていた髭を剃ったりすると、短時間でも個人の容貌が大きく変化する。このため、辞書の内容を調査開始時点のものに固定しておくと、認識率が低下して識別精度が悪化し、最悪時には認識不能になってしまう。このような問題を解消するために、各調査対象世帯を定期的に訪問して辞書を作成し直すことは、調査会社および各調査対象世帯の負担を増やすことになる。
【０００７】
このような事情を考慮して、特開平７−９５６２５号公報では、撮像された顔画像と辞書とに基づいて算出した類似度を示すスコアが著しく低下した場合に、そのスコアの著しく低下した顔画像をその個人の最新の顔画像として検出して、それに基づいて辞書を更新するようにしている。
【０００８】
しかしながら、このように類似度の著しい低下を契機にその個人の最新の顔画像に基づいて辞書を自動更新する方法は、適切な更新時期を判断するのが難しいばかりか、認識率が既に低下しているためにその個人の最新の顔画像であると判断する基準が甘くなり、誤って他人の顔画像に基づいて辞書を更新してしまう危険性がある。特開平７−９５６２５号公報では、このような危険性を考慮してか、類似度が下降傾向を示した場合に視聴者に対してその旨を表示し、視聴者の確認を行ってから辞書を更新する方法も示されている。しかし、このように辞書の更新毎に視聴者が関与しなければならない方法では、調査対象世帯の個人の負担を増大させる結果となり、パッシブ型の視聴率測定の利点を損なう。
【０００９】
そこで本発明の目的は、調査対象世帯に負担をかけず、また他人の顔画像で誤って更新してしまうことを防ぎつつ、画像認識用の辞書を個人の容貌の変化に追従して自動的に更新していくことができるようにすることにある。
【００１０】
【課題を解決するための手段】
本発明は上記の目的を達成するために、テレビ受像機を視聴している個人を識別するテレビ視聴者識別方法において、顔画像抽出手段が、前記テレビ受像機の前方の監視領域を周期的に撮像する撮像器で撮像されて得られた画像中から個人の顔画像を抽出するステップ、画像認識手段が、所定の個人毎の基準顔画像群を記憶する基準顔画像群記憶手段に記憶された基準顔画像群に基づいて作成された所定の個人別の辞書を用いて、前記顔画像抽出手段で抽出された個々の顔画像毎に個人の識別を試み、識別できた顔画像についてはその個人の番号および類似度を付与するステップ、差し換え用顔画像登録手段が、前記画像認識手段で前記所定の個人のものと判定された顔画像の類似度と、前記所定の個人毎に一定枚数の差し換え用顔画像をそれに付与された類似度と共に記憶するための差し換え用顔画像記憶手段のうちの今回の顔画像の個人に対応する差し換え用顔画像記憶手段に既に記憶された顔画像の類似度とを比較し、今回の顔画像の類似度より低い類似度の顔画像があれば、そのうち最も類似度の低い顔画像と今回の顔画像とを入れ替えるステップ、辞書作成手段が、一定期間が経過する毎に、その期間の終了時に前記差し換え用顔画像記憶手段に登録されていた各個人の顔画像で、前記基準顔画像群記憶手段に記憶されている各個人の基準顔画像群の一部を差し換え、この差し換え後の基準顔画像群に基づいて前記所定の個人別の辞書を更新し、前記差し換え用顔画像記憶手段の内容をクリアするステップ、
を含んでいる。
【００１１】
また、本発明のテレビ視聴者識別装置は、上記の目的を達成するために、テレビ受像機の前方の監視領域を周期的に撮像する撮像器と、この撮像器で撮像されて得られた画像中から個人の顔画像を抽出する顔画像抽出手段と、所定の個人毎の基準顔画像群を記憶する基準顔画像群記憶手段と、この基準顔画像群記憶手段に記憶された基準顔画像群に基づいて作成された所定の個人別の辞書と、前記顔画像抽出手段で抽出された個々の顔画像毎に、前記辞書を用いて個人の識別を試み、識別できた顔画像についてはその個人の番号および類似度を付与する画像認識手段と、前記所定の個人毎に一定枚数の差し換え用顔画像をそれに付与された類似度と共に記憶するための差し換え用顔画像記憶手段と、前記画像認識手段で前記所定の個人のものと判定された顔画像の類似度と、前記差し換え用画像記憶手段のうちの今回の顔画像の個人に対応する差し換え用顔画像記憶手段に既に記憶された顔画像の類似度とを比較し、今回の顔画像の類似度より低い類似度の顔画像があれば、そのうち最も類似度の低い顔画像と今回の顔画像とを入れ替える差し換え用顔画像登録手段と、１日あるいは１週間といった一定期間が経過する毎に、その期間の終了時に前記差し換え用顔画像記憶手段に登録されていた各個人の顔画像で、前記基準顔画像群記憶手段に記憶されている各個人の基準顔画像群の一部を差し換え、この差し換え後の基準顔画像群に基づいて前記所定の個人別の辞書を更新し、前記差し換え用顔画像記憶手段の内容をクリアする辞書作成手段とを備えている。
【００１２】
【作用】
本発明のテレビ視聴者識別方法においては、類似の低下とは無関係に、１日あるいは１週といった一定期間が経過する毎に、その期間内において個人のものと判定された顔画像のうち類似度の高かった上位一定枚数の顔画像で、その個人の現在の辞書を作成するもととなった基準顔画像群の一部を差し換え、且つ、この差し換え後の基準顔画像群に基づいてその個人の辞書を更新することにより、調査対象世帯の個人に負担をかけず、また他人の顔画像で誤って更新してしまうことを防ぎつつ、画像認識用の辞書を個人の容貌の変化に追従して自動的に更新していく。
【００１３】
そして、このような方法を実施する本発明のテレビ視聴者識別装置においては、撮像器がテレビ受像機の前方の監視領域を周期的に撮像すると共に顔画像抽出手段がその撮像されて得られた画像中から個人の顔画像を抽出し、画像認識手段がその抽出された個々の顔画像毎に、個人別の辞書を用いて個人の識別を試み、識別できた顔画像についてはその個人の番号および類似度を付与するといった動作を行い、それと並行して、差し換え用顔画像登録手段が、画像認識手段で各個人のものと判定された顔画像のうち類似度の高かった上位一定枚数の顔画像を収集すべく差し換え用顔画像記憶手段を更新していき、１日あるいは１週間といった一定期間が経過する毎に、辞書作成手段が、その期間内において差し換え用顔画像記憶手段に収集された各個人の顔画像で、各個人の現在の辞書を作成するもととなった基準顔画像群の一部を差し換え、この差し換え後の基準顔画像群に基づいて各個人の辞書を更新する。
【００１４】
【実施例】
次に本発明の実施例について図面を参照して詳細に説明する。
【００１５】
図１を参照すると、本発明のテレビ視聴者識別装置の一実施例は、処理装置１００と撮像器２００とチャンネルセンサ３００とターミナルコントローラ４００と入力装置５００とビデオテープレコーダ６００とで構成されている。また、処理装置１００は、顔画像抽出手段１０１と、抽出顔画像記憶手段１０２と、画像認識手段１０３と、認識結果記憶手段１０４と、視聴状況記録手段１０５と、識別対象となる各個人に１対１に対応する辞書１０６−１〜１０６−ｎ，基準顔画像群記憶手段１０７−１〜１０７−ｎおよび差し換え用顔画像記憶手段１０８−１〜１０８−ｎと、辞書作成手段１０９と、差し換え用顔画像登録手段１１０と、時計１１１と、初期顔画像登録手段１１２とを備えている。なお、処理装置１００は画像処理ボードおよび所定のソフトウェアを組み込んだパーソナルコンピュータ等で実現することができる。
【００１６】
以下、このように構成された本実施例の動作を説明する。
【００１７】
（１）初期辞書の作成
実際の測定を開始するにあたっては、識別対象とする所定の個人別の辞書１０６−１〜１０６−ｎが必要であり、その為には各個人の顔画像が必要となる。調査対象世帯を訪問した際、全員が在宅していれば全個人をその場で撮影することで各個人の顔画像を入手することができるが、そうとばかりは限らない。そこで、本実施例では、調査対象世帯に事前に８ミリビデオ或いはデジタルスチルカメラを渡しておいて家族全員の顔を事前に撮影してもらい、そのビデオテープを再生して初期の辞書１０６−１〜１０６−ｎを作成する方法を採用している。
【００１８】
先ず、各個人の顔画像が記録されたビデオテープをビデオテープレコーダ６００にセットして、各個人毎に１つの顔画像ずつ再生し、キーボード等の入力装置５００から家族番号を入力して、処理装置１００の初期顔画像登録手段１１２に登録を指示する。初期顔画像登録手段１１２は、複数の基準顔画像群記憶手段１０７−１〜１０７−ｎのうち入力装置５００から入力された家族番号に対応する基準顔画像群記憶手段にビデオテープレコーダ６００で再生された個人の顔画像を記憶していく。本実施例の場合、基準顔画像群記憶手段１０７−１〜１０７−ｎには各々２５枚の基準顔画像を記憶するようにしているため、上述の操作を繰り返して、各個人の顔画像をそれぞれ２５枚ずつ登録する。
【００１９】
次に入力装置５００から辞書の作成を指示すると、辞書作成手段１０９は、基準顔画像群記憶手段１０７−１〜１０７−ｎに記憶された各個人の基準顔画像に基づいて、画像認識手段１０３で使用する各個人別の辞書１０６−１〜１０６−ｎを作成する。作成される辞書の内容は、画像認識手段１０３による認識手法により異なる。本実施例の場合、本出願人自身の出願にかかる特願平４−３４１３５０号，特願平６−３３０３１号と同様な判別分析法によって個人を特定（判別）するため、判別分析に必要な各カテゴリ（各個人）ごとの顔画像の特徴を登録する。なお、辞書には家族番号も含められる。
【００２０】
以上の説明では、事前に録画しておいた各個人の顔画像を用いて初期の辞書１０６−１〜１０６−ｎを作成するようにしたが、撮像器２００で各個人の顔を撮像し、その撮像した画像中の顔画像を基準顔画像群記憶手段１０７−１〜１０７−ｎに登録することで、初期の辞書１０６−１〜１０６−ｎを作成するようにすることもできる。
【００２１】
また、後述するように、基準顔画像群記憶手段１０７−１〜１０７−ｎに記憶された各個人の顔画像は、実際の測定開始後、一定期間毎にその個人の最新の顔画像と差し換えられて、辞書１０６−１〜１０６−ｎが更新されていく。このため、基準顔画像群記憶手段１０７に最初に登録する顔画像は必ずしも識別対象者自身の顔画像である必要はなく、他人の顔画像であっても似ていれば利用できる。従って、測定開始前にどうしても本人の顔画像を入手できない場合には、不特定多数の多くの人の顔画像が入ったビデオテープを再生して、家族の人に本人に良く似ている人の顔を選んでもらい、それを使用するようにしても良い。こうすれば、撮影を嫌がる個人や時間の取れない個人の居る家庭であっても、その個人の初期の辞書を作成することができ、従って視聴状況の測定を開始できる。
【００２２】
（２）視聴状況の測定
撮像器２００は、図示しないテレビ受像機前方の監視領域をテレビ側から広角なレンズによって周期的に撮像しており、撮像して得た画像を処理装置１００の顔画像抽出手段１０１に伝達する。なお、撮像器２００は、例えば赤外線ビデオカメラと、その出力であるアナログ映像信号をディジタルな映像信号に変換するＡ／Ｄ変換器とで構成される。
【００２３】
処理装置１００の顔画像抽出手段１０１は、撮像器２００で撮像された画像中から個人の顔画像を切り出し、抽出顔画像記憶手段１０２に記憶する。
【００２４】
画像認識手段１０３は、抽出顔画像記憶手段１０２に記憶された顔画像を入力し、各々の顔画像の特徴と辞書１０６−１０６−ｎに登録されている所定の個人の顔画像の特徴とから、テレビ受像機を視聴中の個人が所定の個人のうちの何れの者であるかを認識し、その認識結果を認識結果記憶手段１０４に出力する。本実施例の場合、各々の認識結果には、認識処理の対象となった顔画像そのものと、個人を特定できたときはその個人に付与された家族番号、個人を特定できなかったときはゲストであることを示す番号と、個人を特定できたときはその個人の辞書の特徴と認識対象となった顔画像の特徴との一致の程度を示す類似度とが含まれる。
【００２５】
視聴状況記録手段１０５は、認識結果記憶手段１０４に記憶された認識結果を入力し、その時点で何れの個人あるいはゲストが視聴中であるかを示す視聴中個人情報を作成し、これに公知のチャンネルセンサ３００によって測定されているテレビ受像機のオン，オフ状態および選局中のチャンネル情報を加えて視聴状況記録を作成し、蓄積する。
【００２６】
ターミナルコントローラ４００は、視聴状況記録手段１０５に蓄積された視聴状況記録を電話回線等を通じて図示しないセンタに送出する。
【００２７】
（３）辞書の更新
処理装置１００の差し換え用顔画像登録手段１１０は、画像認識手段１０３において所定の個人のものと判定された顔画像のうち類似度の高かった上位一定枚数の顔画像を、その個人に対応する差し換え用顔画像記憶手段１０８−１〜１０８−ｎに収集する手段であり、その処理の一例を図２に示す。
【００２８】
差し換え用顔画像登録手段１１０は、画像認識手段１０３から認識結果が出力されると、認識結果記憶手段１０４から１つの認識結果を入力し（Ｓ１）、その認識結果に含まれる番号が家族番号かゲスト番号かを判別し（Ｓ２）、ゲスト番号であれば、ステップＳ３〜Ｓ９をスキップしてステップＳ１０に進む。
【００２９】
入力した認識結果中の番号が家族番号であった場合（Ｓ２でＹＥＳ）、即ち所定の個人であると認識された場合、その認識結果に含まれる顔画像の頭部の傾き程度を調べる頭部形状チェックと、顔が横を向いている程度を調べる顔内部領域チェックとを行う（Ｓ３，Ｓ５）。これは、頭部があまり傾いた顔画像は基準顔画像に適しないし、顔があまり横を向いている顔画像も基準顔画像に適しないため、そのような顔画像を除外するためである。なお、頭部形状チェックは、一般に人の顔（頭部）は卵型をしているので、その卵型の長尺軸の傾き角度を所定角度αと比較することにより行う。また、顔は正面を向いていれば、顔内部領域の部材（目，鼻，口等）は卵型の長尺軸に対してほぼ線対称となるので、それに基づいてチェックする。以上のチェックの結果、頭部の傾き程度が許容範囲を超えていたり、顔の向きが許容範囲を超えていることが確認されたら（Ｓ４でＮＯ，Ｓ６でＮＯ）、ステップＳ７〜Ｓ９をスキップしてステップＳ１０に進む。
【００３０】
他方、頭部の傾き角度および顔の向きが許容範囲内の場合（Ｓ６でＹＥＳ）、今回の顔画像の類似度を、差し換え用顔画像記憶手段１０８−１〜１０８−ｎのうちの今回の顔画像の個人に対応する差し換え用顔画像記憶手段に既に記憶してある顔画像に付加されているその類似度と比較し（Ｓ７）、今回の顔画像の類似度より低い類似度の顔画像があれば（Ｓ８でＹＥＳ）、その差し換え用顔画像記憶手段に記憶されている顔画像のうち最も類似度の低い顔画像と今回の顔画像とを入れ替える（Ｓ９）。このとき、今回の顔画像にその類似度を付加しておく。そして、ステップＳ１０に進む。しかし、今回の顔画像の類似度より低い類似度の顔画像がなければ（Ｓ８でＮＯ）、今回の顔画像は破棄してステップＳ１０に進む。
【００３１】
ステップＳ１０では、差し換え用顔画像登録手段１１０は、認識結果記憶手段１０４から次の認識結果を入力する。そして、次の認識結果があれば（Ｓ１１でＮＯ）、その認識結果について前述と同様な処理を実行する。また、認識結果がなければ、今回の処理を終了する。
【００３２】
本実施例では、各差し換え用顔画像記憶手段１０８−１〜１０８−ｎには最大５枚の顔画像を記憶するようにしている。また辞書作成手段１０９は辞書１０６−１〜１０６−ｎを更新した時点で各差し換え用顔画像記憶手段１０８−１〜１０８−ｎの内容をクリアするようにしている。従って、差し換え用顔画像登録手段１１０による上述した処理により、前回の辞書更新後、画像認識手段１０３において所定の個人のものと判定された顔画像であって頭部の傾きおよび顔の向きが許容範囲内にある顔画像のうち、類似度の高い上位５枚の顔画像が、各個人に対応する差し換え用顔画像記憶手段１０８−１〜１０８−ｎに収集されていくことになる。
【００３３】
さて、辞書作成手段１０９は、時計１１１からの現在時刻とチャンネルセンサ３００からのテレビ受像機のオン，オフ信号とを入力しており、予め設定された一定期間が経過する毎に、テレビ受像機がオフであることを条件に、差し換え用顔画像記憶手段１０８−１〜１０８−ｎに登録された各個人の顔画像で、基準顔画像群記憶手段１０７−１〜１０７−ｎに記憶されている各個人の基準顔画像群の古い基準顔画像を差し換え、この差し換え後の基準顔画像群に基づいて各個人別の辞書１０６−１〜１０６−ｎを更新、つまり初期の辞書を作成したと同様の方法で各個人別の辞書１０６−１〜１０６−ｎを再作成する。
【００３４】
本実施例では、辞書作成手段１０９は、毎日の午前４時の時点でテレビ受像機がオフであれば、辞書１０６−１〜１０６−ｎを更新する。従って、１日毎に辞書１０６−１〜１０６−ｎが更新されることになる。なお、午前４時の時点でテレビ受像機がオンされているときは、その日の辞書更新は中止する。なお、午前４時の時点でテレビ受像機がオンされていた場合に、オフされるのを一定時間待ち合わせ、オフされたら辞書を更新するようにしても良い。また、１日毎に実施する代わりに、２日毎や１週間毎に辞書を更新するようにしても良い。勿論、辞書を更新する時刻は午前４時に限られないことは言うまでもない。
【００３５】
図３は基準顔画像群の顔画像の差し換え方法の説明図である。図３（ａ）に示すように、１つの基準顔画像群記憶手段１０７には、１から２５までの２５枚の基準顔画像が新しいものから順に並べられている。他方、差し換え用顔画像記憶手段１０８には、図３（ｂ）に示すように、更新開始時点までに最大５枚の顔画像が記憶される。辞書作成手段１０９は、辞書更新時、図３（ｃ）に示すように、基準顔画像群記憶手段１０７に記憶されている２５枚の基準顔画像のうち、末尾の５枚の基準顔画像２１〜２５を取り除き、差し換え用顔画像記憶手段１０８に記憶された５枚の顔画像を新たな基準顔画像として、基準顔画像群記憶手段１０７の先頭に追加する。これによって、より古い５枚が最新の５枚に差し換えられたことになる。
【００３６】
以上本発明の実施例について説明したが、本発明は以上の実施例にのみ限定されずその他各種の付加変更が可能である。例えば、前記の実施例では、基準顔画像群の枚数を２５枚としたが５０枚やそれ以外の枚数にすることもできる。更に、１回の更新時には基準顔画像群の２割の顔画像を新しい顔画像に差し換えたが、その割合は任意であり、例えば１割ないし３割程度の範囲で自由に設定できる。更に、本出願人自身の出願にかかる特願平６−３３０３１号に示されるように画像認識技術と視聴中の個人の追跡技術とを組み合わせて視聴中の個人を総合的に識別するようなテレビ視聴者識別装置に対しても適用可能である。その際、テレビ受像機のオン，オフにかかわらずに１日中個人の追跡を行い、画像認識では所定の個人と確認できなかった顔画像であっても過去の追跡結果から所定の個人と判定できる場合には当該所定の個人と識別することで識別精度を高めることができる。
【００３７】
【発明の効果】
以上説明したように本発明によれば以下のような効果を得ることができる。
【００３８】
１日あるいは１週間といった或る一定期間内において各個人のものと判定された顔画像のうち類似度の高かった上位一定枚数の顔画像は、その個人のものである可能性が極めて高く、反対に他人の顔画像である確率は低いので、誤って他人の顔画像で辞書を更新してしまう危険性を少なくすることができる。この結果、視聴者の確認を行ってから辞書を更新する必要がなくなり、辞書更新のために調査対象世帯の個人を煩わせることがない。
【００３９】
一定期間毎に、現在の辞書を作成するもととなった基準顔画像群の全部を差し換えるのではなく、その一部を差し換え、この差替え後の基準顔画像群に基づき辞書を更新するようにしたので、認識率を下げるような顔画像が入ってきたとしてもその影響を最小限に抑えることができる。
【００４０】
一定期間の開始から終了時点までの期間内の個人の容貌が前回の一定期間内の容貌とほんの僅かに変化した場合でも、急減に変化した場合でも、何れもその個人のものと判定された顔画像のうち類似度の高かった上位一定枚数の顔画像は、当該期間内のその個人の容貌の特徴を良く示すため、個人の容貌の緩やかな変化にも、また急激な変化にも良く追従する辞書更新が可能となる。
【図面の簡単な説明】
【図１】本発明のテレビ視聴者識別装置の一実施例のブロック図である。
【図２】差し換え用顔画像登録手段の処理例を示すフローチャートである。
【図３】基準顔画像群の顔画像の差し換え方法の説明図である。
【符号の説明】
１００…処理装置
１０１…顔画像抽出手段
１０２…抽出顔画像記憶手段
１０３…画像認識手段
１０４…認識結果記憶手段
１０５…視聴状況記録手段
１０６−１〜１０６−ｎ…辞書
１０７−１〜１０６−ｎ…基準顔画像群記憶手段
１０８−１〜１０８−ｎ…差し換え用顔画像記憶手段
１０９…辞書作成手段
１１０…差し換え用顔画像登録手段
１１１…時計
１１２…初期顔画像登録手段
２００…撮像器
３００…チャンネルセンサ
４００…ターミナルコントローラ
５００…入力装置
６００…ビデオテープレコーダ

Claims

テレビ受像機を視聴している個人を識別するテレビ視聴者識別方法において、
顔画像抽出手段が、前記テレビ受像機の前方の監視領域を周期的に撮像する撮像器で撮像されて得られた画像中から個人の顔画像を抽出するステップ、
画像認識手段が、所定の個人毎の基準顔画像群を記憶する基準顔画像群記憶手段に記憶された基準顔画像群に基づいて作成された所定の個人別の辞書を用いて、前記顔画像抽出手段で抽出された個々の顔画像毎に個人の識別を試み、識別できた顔画像についてはその個人の番号および類似度を付与するステップ、
差し換え用顔画像登録手段が、前記画像認識手段で前記所定の個人のものと判定された顔画像の類似度と、前記所定の個人毎に一定枚数の差し換え用顔画像をそれに付与された類似度と共に記憶するための差し換え用顔画像記憶手段のうちの今回の顔画像の個人に対応する差し換え用顔画像記憶手段に既に記憶された顔画像の類似度とを比較し、今回の顔画像の類似度より低い類似度の顔画像があれば、そのうち最も類似度の低い顔画像と今回の顔画像とを入れ替えるステップ、
辞書作成手段が、一定期間が経過する毎に、その期間の終了時に前記差し換え用顔画像記憶手段に登録されていた各個人の顔画像で、前記基準顔画像群記憶手段に記憶されている各個人の基準顔画像群の一部を差し換え、この差し換え後の基準顔画像群に基づいて前記所定の個人別の辞書を更新し、前記差し換え用顔画像記憶手段の内容をクリアするステップ、
を含むことを特徴とするテレビ視聴者識別方法。
前記一定期間が日を単位として定められ、且つ、前記所定の個人別の辞書の更新は前記テレビ受像機の電源がオフされているときに行うことを特徴とする請求項１記載のテレビ視聴者識別方法。
テレビ受像機を視聴している個人を識別するテレビ視聴者識別装置において、
前記テレビ受像機の前方の監視領域を周期的に撮像する撮像器と、
該撮像器で撮像されて得られた画像中から個人の顔画像を抽出する顔画像抽出手段と、
所定の個人毎の基準顔画像群を記憶する基準顔画像群記憶手段と、
該基準顔画像群記憶手段に記憶された基準顔画像群に基づいて作成された所定の個人別の辞書と、
前記顔画像抽出手段で抽出された個々の顔画像毎に、前記辞書を用いて個人の識別を試み、識別できた顔画像についてはその個人の番号および類似度を付与する画像認識手段と、
前記所定の個人毎に一定枚数の差し換え用顔画像をそれに付与された類似度と共に記憶するための差し換え用顔画像記憶手段と、
前記画像認識手段で前記所定の個人のものと判定された顔画像の類似度と、前記差し換え用画像記憶手段のうちの今回の顔画像の個人に対応する差し換え用顔画像記憶手段に既に記憶された顔画像の類似度とを比較し、今回の顔画像の類似度より低い類似度の顔画像があれば、そのうち最も類似度の低い顔画像と今回の顔画像とを入れ替える差し換え用顔画像登録手段と、
一定期間が経過する毎に、その期間の終了時に前記差し換え用顔画像記憶手段に登録されていた各個人の顔画像で、前記基準顔画像群記憶手段に記憶されている各個人の基準顔画像群の一部を差し換え、この差し換え後の基準顔画像群に基づいて前記所定の個人別の辞書を更新し、前記差し換え用顔画像記憶手段の内容をクリアする辞書作成手段とを備えることを特徴とするテレビ視聴者識別装置。