JP3688764B2 - テレビ視聴者識別方法およびその装置 - Google Patents
テレビ視聴者識別方法およびその装置 Download PDFInfo
- Publication number
- JP3688764B2 JP3688764B2 JP20792395A JP20792395A JP3688764B2 JP 3688764 B2 JP3688764 B2 JP 3688764B2 JP 20792395 A JP20792395 A JP 20792395A JP 20792395 A JP20792395 A JP 20792395A JP 3688764 B2 JP3688764 B2 JP 3688764B2
- Authority
- JP
- Japan
- Prior art keywords
- face image
- dictionary
- individual
- image
- created
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Collating Specific Patterns (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、テレビ視聴率調査のために各調査対象世帯において顔画像認識によりテレビ受像機を視聴している個人を識別するテレビ視聴者識別方法およびその装置に関する。
【０００２】
【従来の技術】
テレビ視聴率には、調査対象の世帯に設置されているテレビの視聴状況を単に示す世帯視聴率と、調査対象の世帯において実際に誰が視聴しているかという情報まで加味した個人視聴率とがあり、最近、後者の個人視聴率の需要が年々増大している。
【０００３】
個人視聴率を測定する方式には、大別して、アクティブ型とパッシブ型とがある。アクティブ型は調査対象者に視聴の開始および終了に際して自己に割り当てられた押ボタン等を操作してもらう方式であり、調査対象者にとって本来不必要な行為を強いることになるため、長期間にわたる調査の場合には調査対象者への負担が重くなりがちである。
【０００４】
これに対して、パッシブ型はテレビを視聴している者を自動的に判断する方式であり、調査対象者への負担はアクティブ型に比べて著しく軽減される。特に、テレビを視聴している者をビデオカメラで撮像し、その画像データ、特に顔画像を画像認識処理して視聴者を特定する方法は、短時間毎に視聴中の個人情報が自動的に得られるため、その開発，研究が盛んに行われている。
【０００５】
例えば本出願人自身の出願にかかる特願平４−３４１３５０号には、監視領域を撮像して得た多階調の顔画像に対してｎＯＦｍ値化を行って２値化画像を生成すると共にこの２値化画像から特徴データを算出し、辞書に保持されている判別分析の基準データに基づいて、前記算出した特徴データの判別分析を行うことにより、視聴中の個人を識別する装置が提案されている。また、同じく本出願人自身の出願にかかる特願平６−３３０３１号には、画像認識技術により視聴中の個人を識別すると共に、画像認識で個人を特定できなかった顔画像についてはその視聴場所の追跡結果から個人を特定するようにしたテレビ視聴者識別装置が提案されている。更に、特開平７−９５６２５号公報には、監視領域を撮像して得た画像中の各個人の顔画像に対して基準ファイルとの比較によりテンプレート一致スコアとエイジェンフェイス確認スコアという異なる２種類の類似度を示すスコアを与えた後、これらのスコアを融合し、さらに身体形状の一致性，視聴者の追跡結果，経過データ等を視聴者識別の補助として用いて、視聴中個人を特定するようにした装置が提案されている。
【０００６】
【発明が解決しようとする課題】
ところで、この種の顔画像認識によるテレビ視聴者の識別では、撮像された画像中の顔画像が何れの個人のものであるかを、辞書（基準ファイル等とも称される）に基づいて判定する。従って、測定開始前には所定の個人別の辞書を準備しておく必要があり、そのためには基準となる各個人の顔画像が必要となる。しかしながら、調査対象世帯の家族構成や各個人の仕事等は千差万別であるため、調査を開始したい時点までにその世帯の全員の顔画像が入手できるとは限らず、それが原因で調査の開始が遅延するという問題がある。調査対象世帯の個人自身に自己の顔画像の登録作業および辞書の作成作業を任せることも考えられるが、比較的複雑な手順を必要とするため調査対象世帯に負担をかけることになる。
【０００７】
そこで本発明の目的は、一部の個人の辞書が準備されていない状態であっても測定を有効に開始することができ、且つ、その測定中に未作成の辞書を作成するための基準顔画像を自動的に収集することができるようにすることにある。
【０００８】
【課題を解決するための手段】
本発明は上記の目的を達成するために、テレビ受像機前方の監視領域内に存在する視聴者を周期的に撮像して得た個人の顔画像の特徴と辞書に記憶されている所定の個人の顔画像の特徴とから画像認識処理にて前記テレビ受像機を視聴中の個人が前記所定の個人のうちの何れの者であるかを識別するテレビ視聴者識別方法において、識別対象者となる全個人のうち少なくとも一人の個人についての前記辞書が作成されていない状態でテレビ視聴者の測定を開始するステップ、顔画像抽出手段が、前記テレビ受像機の前方の監視領域を周期的に撮像する撮像器で撮像されて得られた画像中から個人の顔画像を抽出するステップ、画像認識手段が、前記顔画像抽出手段で抽出された個々の顔画像毎に、辞書格納手段に格納された辞書を用いて個人の識別を試み、識別できた顔画像についてはその個人の番号を付与し、識別できなかった顔画像についてはゲスト顔画像として処理するステップ、視聴者識別手段が、前記所定の個人に１対１に対応するボタンを有し、前記ボタンに対する操作により前記辞書未作成の個人からの視聴中および非視聴中の申告を受け付ける登録ボックス経由で入力される個人からの申告と、前記画像認識手段の認識結果とに基づいて視聴中の個人の識別を行うステップ、顔画像収集手段が、前記画像認識手段でゲスト顔画像として処理された顔画像が前記視聴者識別手段によって所定の個人の顔画像であると特定できた場合に、その特定できた個人の辞書が未作成であり且つその個人の辞書を作成するための基準顔画像が未だ一定枚数に達していないときは前記個人のものと特定されたゲスト顔画像をその個人の基準顔画像として、その個人に対応する基準顔画像群記憶手段に登録するステップ、辞書作成手段が、未だ辞書が作成されていない個人について前記基準顔画像群記憶手段に登録された前記一定枚数の基準顔画像に基づいてその個人用の辞書を作成して辞書格納手段に格納するステップ、識別結果選択手段が、視聴中の個人の識別結果として、識別対象となる全ての個人の辞書が前記辞書格納手段に格納されるまでの期間は、前記視聴者識別手段の識別結果を選択し、全ての辞書が格納された後は前記画像認識手段の識別結果を選択するステップ、を含んでいる。
【０００９】
また、本発明のテレビ視聴者識別装置は、上記の目的を達成するために、テレビ受像機の前方の監視領域を周期的に撮像する撮像器と、この撮像器で撮像されて得られた画像中から個人の顔画像を抽出する顔画像抽出手段と、所定の個人毎の基準顔画像群に基づいて作成された辞書を格納するための辞書格納手段と、前記顔画像抽出手段で抽出された個々の顔画像毎に、作成済の辞書を用いて個人の識別を試み、識別できた顔画像についてはその個人の番号を付与し、識別できなかった顔画像についてはゲスト顔画像として処理する画像認識手段と、前記所定の個人に１対１に対応するボタンを有し、前記ボタンに対する操作により前記辞書未作成の個人からの視聴中および非視聴中の申告を受け付ける登録ボックスと、前記画像認識手段の認識結果と前記登録ボックス経由で入力される個人からの申告に基づいて視聴中の個人の識別を行う視聴者識別手段と、前記所定の個人に１対１に対応する基準顔画像群記憶手段と、前記画像認識手段でゲスト顔画像として処理された顔画像が前記視聴者識別手段によって所定の個人の顔画像であると特定できた場合に、その特定できた個人の辞書が未作成であり且つその個人の辞書を作成するための基準顔画像が未だ一定枚数に達していないときは前記個人のものと特定されたゲスト顔画像をその個人の基準顔画像として、その個人に対応する前記基準顔画像群記憶手段に登録する顔画像収集手段と、未だ辞書が作成されていない個人について前記基準顔画像群記憶手段に登録された前記一定枚数の基準顔画像に基づいてその個人用の辞書を作成して前記辞書格納手段に格納する辞書作成手段と、視聴中の個人の識別結果として、識別対象となる全ての個人の辞書が前記辞書格納手段に格納されるまでの期間は、前記視聴者識別手段の識別結果を選択し、全ての辞書が格納された後は前記画像認識手段の識別結果を選択する識別結果選択手段とを備えている。
【００１０】
【作用】
本発明のテレビ視聴者識別方法においては、識別対象者となる全個人のうち少なくとも一人の個人についての辞書が作成されていない状態でテレビ視聴者の測定を開始する。従って、辞書が作成されていない個人が視聴している場合、その個人は画像認識処理で所定の個人と判定されず、ゲスト顔画像として処理される。本発明では、このように画像認識処理にて所定の個人のうちの何れの者でもないと判断されたゲスト顔画像は、登録ボックス経由で入力される個人からの申告に基づいて識別を試みる。そして、ゲスト顔画像が前記所定の個人のうち未だ辞書の作成されていない個人の顔画像であると特定できた場合に、その顔画像をその個人の基準顔画像として保存し、一定枚数保存されたらその保存された基準顔画像でその個人用の辞書を作成し、画像認識処理に供する。
【００１１】
このような方法を実施する本発明のテレビ視聴者識別装置においては、撮像器がテレビ受像機の前方の監視領域を周期的に撮像すると共に顔画像抽出手段がその撮像されて得られた画像中から個人の顔画像を抽出し、画像認識手段がその抽出された個々の顔画像毎に、作成済の辞書を用いて個人の識別を試み、識別できた顔画像についてはその個人の番号を付与し、識別できなかった顔画像についてはゲスト顔画像として処理する。また、登録ボックスが辞書未作成の個人からの視聴中および非視聴中の申告を受け付ける。そして、視聴者識別手段が前記画像認識手段の認識結果と前記登録ボックス経由で入力される個人からの申告に基づいて視聴中の個人の識別を行い、識別結果選択手段は、識別対象となる全ての個人の辞書が辞書格納手段に格納されるまでの期間、前記視聴者識別手段の識別結果を選択する。
【００１２】
上記の動作と並行して、前記画像認識手段でゲスト顔画像として処理された顔画像が前記視聴者識別手段によって所定の個人の顔画像であると特定できた場合、顔画像収集手段が、その特定できた個人の辞書が未作成であり且つその個人の辞書を作成するための基準顔画像が未だ一定枚数に達していないときは前記個人のものと特定されたゲスト顔画像をその個人の基準顔画像として、その個人に対応する基準顔画像群記憶手段に登録する。そして、未だ辞書が作成されていない個人について前記基準顔画像群記憶手段に登録された一定枚数の基準顔画像に基づいて、辞書作成手段がその個人用の辞書を作成する。これにより、画像認識手段はこの新たに作成された辞書も含めて全辞書を使用して画像認識による視聴中個人の認識処理を進め、識別結果選択手段は、視聴中の個人の識別結果として、画像認識手段の識別結果を採用する。
【００１３】
【実施例】
次に本発明の実施例について図面を参照して詳細に説明する。
【００１４】
図１を参照すると、本発明のテレビ視聴者識別装置の一実施例は、処理装置１００と、撮像器２００と、チャンネルセンサ３００と、ターミナルコントローラ４００と、入力装置５００と、ビデオテープレコーダ６００と、登録ボックス７００と、リモートコントローラ８００とで構成されている。また、処理装置１００は、顔画像抽出手段１０１と、抽出顔画像記憶手段１０２と、画像認識手段１０３と、認識結果記憶手段１０４と、視聴者識別手段１０５と、識別結果選択手段１０６と、視聴状況記録手段１０７と、顔画像収集手段１０８と、識別対象となる各個人に１対１に対応する辞書１０９−１〜１０９−ｎを格納する辞書格納手段１０９と、同じく識別対象となる各個人に１対１に対応する基準顔画像群記憶手段１１０−１〜１１０−ｎと、辞書作成手段１１１と、登録参照手段１１２と、初期顔画像登録手段１１３とを備えている。なお、処理装置１００は画像処理ボードおよび所定のソフトウェアを組み込んだパーソナルコンピュータ等で実現することができる。
【００１５】
登録ボックス７００は、辞書未作成の個人からの視聴中および非視聴中の申告を受け付ける手段であり、その前面パネル上に識別対象となる個人に１対１に対応する押ボタン７０１−１〜７０１−ｎと辞書作成完了ランプ７０２とが配設され、例えばテレビ受像機の上に設置される。なお、押ボタン上には家族番号が記載されている。
【００１６】
図２は登録ボックス７００の構成例を示す。制御部７０３は、押ボタン７０１−１〜７０１−ｎが個人によってプッシュされる毎に、押ボタン７０１−１〜７０１−ｎに１対１に対応するラッチ７０６−１〜７０６−ｎの内容を“１”と“０”とに交互に反転させる。これらのラッチ７０６−１〜７０６−ｎの内容は、リモートコントローラ８００からの信号によっても同様に反転される。即ち、リモートコントローラ８００上に設けられた各個人に１対１に対応するボタン（図示せず）がプッシュされる毎に、例えば赤外線信号で送信されてくるボタン信号をリモコン受信機７０４で受信し、ラッチ７０６−１〜７０６−ｎのうち受信したボタン信号に対応するラッチの内容を反転させる。これらのラッチ７０６−１〜７０６−ｎの内容は、切り替えスイッチ７０７−１〜７０７−ｎの一方の入力端子に入力されると共に、セレクタ７０８に送出される。
【００１７】
また、押ボタン７０１−１〜７０１ｎに１対１に対応するもう１組のラッチ７０５−１〜７０５−ｎがある。これらのラッチ７０５−１〜７０５−ｎは、画像認識手段１０３の認識結果を保持するためのものである。制御部７０３は画像認識手段１０３の出力した認識結果を認識結果記憶手段１０４から周期的に読み込んで、視聴中であると認識された個人に対応するラッチには“１”を、視聴中であると認識されていない個人に対応するラッチには“０”を設定する。これらの７０５−１〜７０５−ｎの内容は切り替えスイッチ７０７−１〜７０７−ｎの他方の入力端子に入力される。
【００１８】
切り替えスイッチ７０７−１〜７０７−ｎは、２組のラッチのうちの何れか一方を選択し、その内容を照明器７１０−１〜７１０−ｎを駆動する照明駆動回路７０９−１〜７０９−ｎに導くスイッチである。照明駆動回路７０９−１〜７０９−ｎは切り替えスイッチ７０９−１〜７０９−ｎの出力が“１”の期間中、照明器７１０−１〜７１０−ｎを点灯状態とし、“０”の期間中、消灯状態とする。照明器７１０−１〜７１０−ｎは押ボタン７０１−１〜７０１−ｎを点灯状態あるいは消灯状態とするためのものである。
【００１９】
測定開始時に辞書を作成した個人の押ボタン７０１−１〜７０１−ｎに対応する切り替えスイッチ７０７−１〜７０７−ｎをラッチ７０５−１〜７０５−ｎ側に切り替え、辞書未作成の個人の押ボタン７０１−１〜７０１−ｎに対応する切り替えスイッチ７０７−１〜７０７−ｎをラッチ７０６−１〜７０６−ｎ側に切り替えておくと、辞書作為済の個人の押ボタンは、画像認識手段１０３の認識結果に応じて点灯，消灯されることになり、辞書未作成の個人の押ボタンは、個人の申告に応じて点灯，消灯されることになる。また、セレクタ７０８で辞書未作成の個人の押ボタンに対応するラッチ７０６−1 〜７０６−ｎの出力を選択するように事前に設定しておくことにより、辞書未作成の個人からの視聴中および非視聴中の申告情報が取り出せる。この申告情報は視聴者識別手段１０５に伝達される。
【００２０】
また、後述するように顔画像収集手段１０８から辞書作成完了の通知を受けると、制御部７０３はラッチ７１１の内容を“１”とし、ランプ駆動回路７１２によって辞書作成完了ランプ７０２を点灯状態にすることにより、測定開始時点で未作成であった個人の辞書が、測定中に作成された旨を外部に表示する。
【００２１】
以下、このように構成された本実施例の動作を説明する。
【００２２】
（１）初期辞書の作成
実際の測定を開始するにあたっては、識別対象とする所定の個人の顔画像に基づいて、各個人別の辞書を作成する。調査対象世帯を訪問した際、全員が在宅していれば全個人をその場で撮影することで各個人の顔画像を入手することができるが、そうとばかりは限らない。そこで、本実施例では、調査対象世帯に事前に８ミリビデオカメラ（或いはデジタルスチルカメラでも良い）を渡しておいて個人の顔を事前に撮影してもらい、そのビデオテープを再生して辞書を初期作成する方法を採用している。但し、このような方法によっても事情によって一部の個人の顔画像が得られない場合があるため、辞書の初期作成では、顔画像を入手できた個人に対応する辞書だけを作成する。
【００２３】
先ず、個人の顔画像が記録されたビデオテープをビデオテープレコーダ６００にセットして、各個人毎に１つの顔画像ずつ再生し、キーボード等の入力装置５００から家族番号を入力して、処理装置１００の初期顔画像登録手段１１３に登録を指示する。初期顔画像登録手段１１３は、複数の基準顔画像群記憶手段１１０−１〜１１０−ｎのうち未使用の基準顔画像群記憶手段を１つ確保して、入力装置５００から入力された家族番号を登録した後、ビデオテープレコーダ６００で再生されたその個人の顔画像をその基準顔画像群記憶手段に記憶していく。本実施例の場合、基準顔画像群記憶手段１１０−１〜１１０−ｎには各々２５枚の基準顔画像を記憶するようにしているため、上述の操作を繰り返して、各個人の顔画像をそれぞれ２５枚ずつ登録する。また、顔画像が入手できなかった個人については、入力装置５００からその旨指定して家族番号だけを入力する。このとき初期顔画像登録手段１１３は、未使用の基準顔画像群記憶手段を１つ確保して、それに入力装置５００から入力された家族番号を登録する。
【００２４】
次に、入力装置５００から、所定枚数の基準顔画像の登録を終えた個人の家族番号を指定して辞書の作成を指示すると、辞書作成手段１１１は、基準顔画像群記憶手段１１０−１〜１１０−ｎのうち指定された家族番号を持つ基準顔画像群記憶手段に記憶された個人の基準顔画像に基づいて、画像認識手段１０３で使用する各個人別の辞書を作成し、辞書格納手段１０９に格納する。作成される辞書の内容は、画像認識手段１０３による認識手法により異なる。本実施例の場合、本出願人自身の出願にかかる特願平４−３４１３５０号，特願平６−３３０３１号と同様な判別分析法によって個人を特定（判別）するため、判別分析に必要な各カテゴリ（各個人）ごとの顔画像の特徴を登録する。なお、作成した辞書中にはその家族番号も含められる。
【００２５】
次に、図２に示した登録ボックス７００の切り替えスイッチ７０７−１〜７０７−ｎのうち、辞書を作成した個人に対応する切り替えスイッチはラッチ７０５−１側に切り替え、辞書未作成の個人に対応する切り替えスイッチはラッチ７０６−１〜７０６−ｎ側に切り替えておく。また、辞書未作成の個人に対応するラッチ７０６−１〜７０６−ｎの出力をセレクタ７０８が選択するように設定しておく。
【００２６】
以上のような処理の終了後、入力装置５００から、辞書未作成の個人の家族番号を処理装置１００の顔画像収集手段１０８に通知し、測定を開始する。顔画像収集手段１０８は、辞書未作成の個人の家族番号を内部に記憶すると共に、識別結果選択手段１０６に、視聴者識別手段１０５の識別結果を選択するよう指示を出す。
【００２７】
なお、以上の実施例では、事前に録画しておいた各個人の顔画像を用いて初期の辞書を作成したが、撮像器２００で各個人の顔を撮像し、その撮像した画像中の顔画像を基準顔画像群記憶手段に登録することで、初期の辞書を作成するようにすることもできる。
【００２８】
（２）辞書一部未作成状況での視聴状況の測定
撮像器２００は、図示しないテレビ受像機前方の監視領域をテレビ側から広角なレンズによって周期的に撮像しており、撮像して得た画像を処理装置１００の顔画像抽出手段１０１に伝達する。なお、撮像器２００は、例えば赤外線ビデオカメラと、その出力であるアナログ映像信号をディジタルな映像信号に変換するＡ／Ｄ変換器とで構成される。
【００２９】
処理装置１００の顔画像抽出手段１０１は、撮像器２００で撮像された画像中から個人の顔画像を切り出し、抽出顔画像記憶手段１０２に記憶する。
【００３０】
画像認識手段１０３は、抽出顔画像記憶手段１０２に記憶された顔画像を入力し、各々の顔画像の特徴と、辞書格納手段１０９に格納されている辞書に登録されている所定の個人の顔画像の特徴とから、テレビ受像機を視聴中の個人が所定の個人のうちの何れの者であるかを認識し、その認識結果を認識結果記憶手段１０４に出力する。本実施例の場合、各々の認識結果には、認識処理の対象となった顔画像そのものと、個人を特定できたときはその個人に付与された家族番号、個人を特定できなかったときはゲストであることを示すゲスト番号が含まれる。
【００３１】
認識結果記憶手段１０４の内容は、登録ボックス７００，視聴者識別手段１０５，識別結果選択手段１０６および顔画像収集手段１０８から参照される。
【００３２】
登録ボックス７００では、図２を参照して説明したように、押ボタン７０１−１〜７０１−ｎのうち辞書作成済個人に対応する押ボタンについては、認識結果記憶手段１０４に出力された認識結果に応じてその点灯，消灯状態を制御する。また、それ以外の押ボタンについての点灯，消灯状態は、押ボタンの操作やリモートコントローラ８００による個人からの申告に応じて制御する。
【００３３】
他方、視聴者識別手段１０５は、認識結果記憶手段１０４中の画像認識による認識結果と、登録ボックス７００経由で入力される個人からの申告に基づいて視聴中の個人の識別を行う。図３に視聴者識別手段１０５の処理の一例を示す。視聴者識別手段１０５は、先ず、認識結果記憶手段１０４中にゲストとして処理された認識結果が含まれているか否かを判定し（Ｓ１）、１つも存在しなければ（Ｓ１でＮＯ）、認識結果記憶手段１０４に出力された今回の認識結果そのものを識別結果として識別結果選択手段１０６に出力する（Ｓ２）。
【００３４】
他方、ゲストとして処理された認識結果が含まれていた場合（Ｓ１でＹＥＳ）、ゲストとして処理された認識結果の数、すなわちゲスト数と、登録ボックス７００経由で視聴中であると申告された人数とが等しいか否かを判定する（Ｓ３）。ゲスト数と申告による視聴者人数とが等しい場合（Ｓ３でＹＥＳ）、認識結果記憶手段１０４中の認識結果のうちゲストと判定された認識結果のゲスト番号を申告者の家族番号に置き換えた識別結果を識別結果選択手段１０６に出力する（Ｓ４）。そして、このとき、ゲスト数が１人であれば（Ｓ５でＹＥＳ）、そのゲストと認識された顔画像はその申告者の顔画像であると特定し、顔画像収集手段１０８に特定できた個人の家族番号を通知して顔画像の収集を指示する（Ｓ６）。
【００３５】
また、ゲスト数と申告による視聴者人数とが相違する場合（Ｓ３でＮＯ）、ゲスト数が申告による視聴者人数より多いときは（Ｓ７でＹＥＳ）、一部の個人の申告漏れと判断して、認識結果記憶手段１０４中のゲストと判定された認識結果のうち申告による視聴者人数分の認識結果のゲスト番号を申告者の家族番号に置き換えた識別結果を識別結果選択手段１０６に出力する（Ｓ８）。一方、ゲスト数が申告による視聴者人数より少ないときは（Ｓ７でＮＯ）、一部の個人が視聴中でなくなったのに非視聴中であることを申告し忘れたものと判断し、その何れの者が申告しなかったかは判断し得ないので、認識結果記憶手段１０４に出力された今回の認識結果そのものを識別結果として識別結果選択手段１０６に出力する（Ｓ２）。
【００３６】
識別結果選択手段１０６は、顔画像収集手段１０８から視聴者識別手段１０５側を選択するように指示されているので、視聴者識別手段１０５から出力された識別結果を選択して視聴状況記録手段１０７に出力する。
【００３７】
視聴状況記録手段１０７は、識別結果選択手段１０６から出力された識別結果を入力し、その時点で何れの個人あるいはゲストが視聴中であるかを示す視聴中個人情報を作成し、これに公知のチャンネルセンサ３００によって測定されているテレビ受像機のオン，オフ状態および選局中のチャンネル情報を加えて視聴状況記録を作成し、蓄積する。
【００３８】
ターミナルコントローラ４００は、視聴状況記録手段１０７に蓄積された視聴状況記録を電話回線等を通じて図示しないセンタに送出する。
【００３９】
（３）辞書一部未作成状況での視聴状況の測定中における顔画像の収集と辞書の作成
図４および図５は顔画像収集手段１０８の処理の一例を示すフローチャートである。前述したように、顔画像収集手段１０８は、辞書の作成後に入力装置５００から辞書未作成の家族番号が通知されると、それを内部に保存し（Ｓ１１）、識別結果選択手段１０６に対して視聴者識別手段１０５側を選択するように指示を出す（Ｓ１２）。その後、顔画像収集手段１０８は、視聴者識別手段１０５からの顔画像の収集指示を待っている（Ｓ１３）。
【００４０】
視聴者識別手段１０５から顔画像の収集指示を受けると（Ｓ１３でＹＥＳ）、同時に通知された家族番号（視聴者識別手段１０５が登録ボックス７００経由の個人からの申告で唯一のゲストに対して決定した家族番号）が、現在保存中の辞書未作成の家族番号中に含まれるか否かを調べる（Ｓ１４）。含まれないときは、その家族番号の個人の顔画像は既に収集し終えているため、今回の収集指示を無視して、ステップＳ１３に戻って次の収集指示を待つ。
【００４１】
通知された家族番号が辞書未作成中の家族番号の何れかであった場合（Ｓ１４でＹＥＳ）、認識結果記憶手段１０４に記憶されている、その家族番号の個人であると決定されたゲスト顔画像を入力し（Ｓ１５）、そのゲスト顔画像が基準顔画像として適切か否かを調べる。先ず、ゲスト顔画像の頭部の傾き程度を調べる頭部形状チェックと、顔が横を向いている程度を調べる顔内部領域チェックとを行う（Ｓ１６，Ｓ１８）。これは、頭部があまり傾いた顔画像は基準顔画像に適しないし、顔があまり横を向いている顔画像も基準顔画像に適しないため、そのような顔画像を除外するためである。なお、頭部形状チェックは、一般に人の顔（頭部）は卵型をしているので、その卵型の長尺軸の傾き角度を所定角度αと比較することにより行う。また、顔は正面を向いていれば、顔内部領域の部材（目，鼻，口等）は卵型の長尺軸に対してほぼ線対称となるので、それに基づいてチェックする。以上のチェックの結果、頭部の傾き程度が許容範囲を超えていたり、顔の向きが許容範囲を超えていることが確認されたら（Ｓ１７でＮＯ，Ｓ１９でＮＯ）、ステップＳ１３に戻って次の収集指示を待つ。
【００４２】
他方、頭部の傾き角度および顔の向きが許容範囲内の場合（Ｓ１９でＹＥＳ）、登録参照手段１１２を介して、今回の家族番号に対応する基準顔画像群記憶手段に既に収集済の顔画像と、今回のゲスト顔画像とのテンプレートマッチングをとって類似度を調べる（Ｓ２０）。なお、既に収集済の顔画像が多数存在する場合、そのうちの任意の個数の顔画像との類似度の平均をとるようにしても良いし、全顔画像との類似度の平均を調べるようにしても良い。そして、今回のゲスト顔画像と既に収集済の顔画像との類似度が許容範囲内になければ（Ｓ２１でＮＯ）、ステップＳ１３に戻る。これは、申告誤り等によって他人の顔画像が紛れ込むのを防止するためである。
【００４３】
以上の調査の結果、今回のゲスト画像の類似度が既に収集済の顔画像に対して許容範囲内にあれば（Ｓ２１でＹＥＳ）、今回の顔画像をその家族番号に対応する基準顔画像群記憶手段に登録参照手段１１２を介して登録する（Ｓ２２）。なお、１番目に収集する顔画像のときは、収集済の顔画像は存在しないので、ステップＳ２０では類似度の調査は行われず、且つステップＳ２１では許容範囲内と見做され、基準顔画像群記憶手段に登録される。
【００４４】
次に、収集枚数が所定枚数、つまり今の例では２５枚に達したか否かを判定し（Ｓ２３）、達していなければステップＳ１３に戻る。他方、所定枚数収集できたら（Ｓ２３でＹＥＳ）、保存中の辞書未作成の家族番号から今回の家族番号を取り除く（Ｓ２４）。そして、辞書未作成の家族番号が１つもなくなったか否かを判定し（Ｓ２５）、まだ残っていれば（Ｓ２５でＮＯ）、ステップＳ１３に戻って次の収集指示を待つ。
【００４５】
一方、今回の顔画像の収集により、辞書未作成の家族番号が無くなったら、即ち辞書未作成の個人全員について基準顔画像を所定枚数収集し終えたら（Ｓ２５でＹＥＳ）、辞書の更新制御へ進む。
【００４６】
本実施例では、辞書の更新をテレビ受像機がオフされるタイミングで起動するようにしている。この為、顔画像収集手段１０８にはチャンネルセンサ３００からテレビ受像機のオン，オフ信号が入力されており、顔画像収集手段１０８はテレビ受像機がオフとなったタイミングを検出すると（Ｓ２６でＹＥＳ）、辞書作成手段１１１に対して辞書の作成を指示する（Ｓ２７）。
【００４７】
辞書作成手段１１１は、顔画像収集手段１０８から辞書の作成が指示されると、家族番号の登録されている基準顔画像群記憶手段１１０−１〜１１０−ｎに基づいて、前述した初期の辞書作成と同様な方法で全ての辞書１０９−１〜１０９−ｎを再作成して辞書格納手段１０９に格納し、以前に格納されていた辞書を全て消去する。なお、このように既に作成されている辞書を含め全ての辞書を作成するのは、判別分析手法に利用する辞書の場合であり、他の手法による辞書を利用する場合には、未作成の辞書のみを作成すれば良い。
【００４８】
さて、辞書作成手段１１１によって識別対象者となる全個人の辞書が作成されると、顔画像収集手段１０８は、識別結果選択手段１０９に対して画像認識手段１０３側を選択するように指示する（Ｓ２８）。また、全個人の辞書を作成し終えたことを外部に知らしめるために、登録ボックス７００に通知を出して辞書作成完了ランプ７０２を点灯する（Ｓ２９）。これで、顔画像収集手段１０８は役目を終えたことになり、処理を終了する。
【００４９】
以上のような顔画像収集手段１０８の働きによって、測定開始時点で未作成であった個人の辞書が測定中に自動的に収集されたその個人の顔画像に基づいて自動的に作成されたことになる。
【００５０】
（４）辞書完成後の視聴状況の測定
全ての個人の辞書１０９−１〜１０９−ｎが作成されると、その旨が辞書作成完了ランプ７０２の点灯によって外部に知らされる。この状態においては、もはや登録ボックス７００は不要なので、その世帯の個人あるいは調査会社の担当者によって登録ボックス７００が取り除かれる。視聴者識別手段１０５は登録ボックス７００が取り除かれると、その機能を停止する。
【００５１】
辞書完成後においても撮像機２００は監視領域を周期的に撮像しており、顔画像抽出手段１０１は撮像された画像中から個人の顔画像を切り出し、抽出顔画像記憶手段１０２に記憶する。画像認識手段１０３は、この抽出された顔画像を入力し、各々の顔画像の特徴と、辞書に登録されている所定の個人の顔画像の特徴とから個人の認識を試みる。この場合、辞書格納手段１０９には全個人の辞書１０９−１〜１０９−ｎが格納されているので、画像認識手段１０３はそれらの全ての辞書を使用して、テレビ受像機を視聴中の個人が所定の個人のうちの何れの者であるかの認識を試み、その認識結果を認識結果記憶手段１０４に出力する。識別結果選択手段１０６は、顔画像収集手段１０８から画像認識手段１０３側を選択するように指示されているので、画像認識手段１０３から認識結果記憶手段１０４に出力された認識結果を、視聴中の個人の識別結果として採用して、視聴状況記録手段１０７に出力する。
【００５２】
視聴状況記録手段１０７は、識別結果選択手段１０６から出力された識別結果を入力して視聴中個人情報を作成し、これにチャンネルセンサ３００からのテレビ受像機のオン，オフ状態および選局中のチャンネル情報を加えて視聴状況記録を作成し、蓄積する。ターミナルコントローラ４００は、視聴状況記録手段１０７に蓄積された視聴状況記録を電話回線等を通じて図示しないセンタに送出する。
【００５３】
以上本発明の実施例について説明したが、本発明は以上の実施例にのみ限定されずその他各種の付加変更が可能である。例えば、前記の実施例では、未作成辞書を作成するための基準顔画像を収集したら自動的に辞書を作成する段階へ進んだが、収集した基準顔画像群に基づく辞書の作成は入力装置５００からの指示時に行うようにすることもできる。更に、本出願人自身の出願にかかる特願平６−３３０３１号に示されるように画像認識技術と視聴中の個人の追跡技術とを組み合わせて視聴中の個人を総合的に識別するようなテレビ視聴者識別装置に対しても適用可能である。その際、テレビ受像機のオン，オフにかかわらずに１日中個人の追跡を行い、画像認識では所定の個人と確認できなかった顔画像であっても過去の追跡結果から所定の個人と判定できる場合には当該所定の個人と識別することで識別精度を高めることができる。
【００５４】
【発明の効果】
以上説明したように本発明によれば以下のような効果を得ることができる。
【００５５】
辞書を使った画像認識による視聴者識別を基本としつつ、ゲストと判定された場合に登録ボックス経由で入力される個人からの申告を視聴者識別の補助として視聴者の識別を行うため、一部の個人の辞書が準備されていない状態であっても測定を開始することができる。
【００５６】
ゲスト顔画像が未だ辞書の作成されていない個人の顔画像であると特定できた場合、その顔画像をその個人の基準顔画像として保存するので、未だ辞書の作成されていない個人の基準顔画像を測定中に自動的に収集することができる。
【００５７】
未だ辞書の作成されていない個人の基準顔画像が一定枚数保存されたらその保存された基準顔画像でその個人用の辞書を作成して画像認識処理に供するため、以後は個人からの申告なしに視聴者の識別が可能となる。
【図面の簡単な説明】
【図１】本発明のテレビ視聴者識別装置の一実施例のブロック図である。
【図２】登録ボックスの構成例を示す図である。
【図３】視聴者識別手段の処理例を示すフローチャートである。
【図４】顔画像収集手段の処理例の一部を示すフローチャートである。
【図５】顔画像収集手段の処理例の残りの部分を示すフローチャートである。
【符号の説明】
１００…処理装置
１０１…顔画像抽出手段
１０２…抽出顔画像記憶手段
１０３…画像認識手段
１０４…認識結果記憶手段
１０５…視聴者識別手段
１０６…識別結果選択手段
１０７…視聴状況記録手段
１０８…顔画像収集手段
１０９…辞書格納手段
１０９−１〜１０９−ｎ…辞書
１１０−１〜１１０−ｎ…基準顔画像群記憶手段
１１１…辞書作成手段
１１２…登録参照手段
１１３…初期顔画像登録手段
２００…撮像器
３００…チャンネルセンサ
４００…ターミナルコントローラ
５００…入力装置
６００…ビデオテープレコーダ
７００…登録ボックス
７０１−１〜７０１−ｎ…押ボタン
７０２…辞書作成完了ランプ
８００…リモートコントローラ
【産業上の利用分野】
本発明は、テレビ視聴率調査のために各調査対象世帯において顔画像認識によりテレビ受像機を視聴している個人を識別するテレビ視聴者識別方法およびその装置に関する。
【０００２】
【従来の技術】
テレビ視聴率には、調査対象の世帯に設置されているテレビの視聴状況を単に示す世帯視聴率と、調査対象の世帯において実際に誰が視聴しているかという情報まで加味した個人視聴率とがあり、最近、後者の個人視聴率の需要が年々増大している。
【０００３】
個人視聴率を測定する方式には、大別して、アクティブ型とパッシブ型とがある。アクティブ型は調査対象者に視聴の開始および終了に際して自己に割り当てられた押ボタン等を操作してもらう方式であり、調査対象者にとって本来不必要な行為を強いることになるため、長期間にわたる調査の場合には調査対象者への負担が重くなりがちである。
【０００４】
これに対して、パッシブ型はテレビを視聴している者を自動的に判断する方式であり、調査対象者への負担はアクティブ型に比べて著しく軽減される。特に、テレビを視聴している者をビデオカメラで撮像し、その画像データ、特に顔画像を画像認識処理して視聴者を特定する方法は、短時間毎に視聴中の個人情報が自動的に得られるため、その開発，研究が盛んに行われている。
【０００５】
例えば本出願人自身の出願にかかる特願平４−３４１３５０号には、監視領域を撮像して得た多階調の顔画像に対してｎＯＦｍ値化を行って２値化画像を生成すると共にこの２値化画像から特徴データを算出し、辞書に保持されている判別分析の基準データに基づいて、前記算出した特徴データの判別分析を行うことにより、視聴中の個人を識別する装置が提案されている。また、同じく本出願人自身の出願にかかる特願平６−３３０３１号には、画像認識技術により視聴中の個人を識別すると共に、画像認識で個人を特定できなかった顔画像についてはその視聴場所の追跡結果から個人を特定するようにしたテレビ視聴者識別装置が提案されている。更に、特開平７−９５６２５号公報には、監視領域を撮像して得た画像中の各個人の顔画像に対して基準ファイルとの比較によりテンプレート一致スコアとエイジェンフェイス確認スコアという異なる２種類の類似度を示すスコアを与えた後、これらのスコアを融合し、さらに身体形状の一致性，視聴者の追跡結果，経過データ等を視聴者識別の補助として用いて、視聴中個人を特定するようにした装置が提案されている。
【０００６】
【発明が解決しようとする課題】
ところで、この種の顔画像認識によるテレビ視聴者の識別では、撮像された画像中の顔画像が何れの個人のものであるかを、辞書（基準ファイル等とも称される）に基づいて判定する。従って、測定開始前には所定の個人別の辞書を準備しておく必要があり、そのためには基準となる各個人の顔画像が必要となる。しかしながら、調査対象世帯の家族構成や各個人の仕事等は千差万別であるため、調査を開始したい時点までにその世帯の全員の顔画像が入手できるとは限らず、それが原因で調査の開始が遅延するという問題がある。調査対象世帯の個人自身に自己の顔画像の登録作業および辞書の作成作業を任せることも考えられるが、比較的複雑な手順を必要とするため調査対象世帯に負担をかけることになる。
【０００７】
そこで本発明の目的は、一部の個人の辞書が準備されていない状態であっても測定を有効に開始することができ、且つ、その測定中に未作成の辞書を作成するための基準顔画像を自動的に収集することができるようにすることにある。
【０００８】
【課題を解決するための手段】
本発明は上記の目的を達成するために、テレビ受像機前方の監視領域内に存在する視聴者を周期的に撮像して得た個人の顔画像の特徴と辞書に記憶されている所定の個人の顔画像の特徴とから画像認識処理にて前記テレビ受像機を視聴中の個人が前記所定の個人のうちの何れの者であるかを識別するテレビ視聴者識別方法において、識別対象者となる全個人のうち少なくとも一人の個人についての前記辞書が作成されていない状態でテレビ視聴者の測定を開始するステップ、顔画像抽出手段が、前記テレビ受像機の前方の監視領域を周期的に撮像する撮像器で撮像されて得られた画像中から個人の顔画像を抽出するステップ、画像認識手段が、前記顔画像抽出手段で抽出された個々の顔画像毎に、辞書格納手段に格納された辞書を用いて個人の識別を試み、識別できた顔画像についてはその個人の番号を付与し、識別できなかった顔画像についてはゲスト顔画像として処理するステップ、視聴者識別手段が、前記所定の個人に１対１に対応するボタンを有し、前記ボタンに対する操作により前記辞書未作成の個人からの視聴中および非視聴中の申告を受け付ける登録ボックス経由で入力される個人からの申告と、前記画像認識手段の認識結果とに基づいて視聴中の個人の識別を行うステップ、顔画像収集手段が、前記画像認識手段でゲスト顔画像として処理された顔画像が前記視聴者識別手段によって所定の個人の顔画像であると特定できた場合に、その特定できた個人の辞書が未作成であり且つその個人の辞書を作成するための基準顔画像が未だ一定枚数に達していないときは前記個人のものと特定されたゲスト顔画像をその個人の基準顔画像として、その個人に対応する基準顔画像群記憶手段に登録するステップ、辞書作成手段が、未だ辞書が作成されていない個人について前記基準顔画像群記憶手段に登録された前記一定枚数の基準顔画像に基づいてその個人用の辞書を作成して辞書格納手段に格納するステップ、識別結果選択手段が、視聴中の個人の識別結果として、識別対象となる全ての個人の辞書が前記辞書格納手段に格納されるまでの期間は、前記視聴者識別手段の識別結果を選択し、全ての辞書が格納された後は前記画像認識手段の識別結果を選択するステップ、を含んでいる。
【０００９】
また、本発明のテレビ視聴者識別装置は、上記の目的を達成するために、テレビ受像機の前方の監視領域を周期的に撮像する撮像器と、この撮像器で撮像されて得られた画像中から個人の顔画像を抽出する顔画像抽出手段と、所定の個人毎の基準顔画像群に基づいて作成された辞書を格納するための辞書格納手段と、前記顔画像抽出手段で抽出された個々の顔画像毎に、作成済の辞書を用いて個人の識別を試み、識別できた顔画像についてはその個人の番号を付与し、識別できなかった顔画像についてはゲスト顔画像として処理する画像認識手段と、前記所定の個人に１対１に対応するボタンを有し、前記ボタンに対する操作により前記辞書未作成の個人からの視聴中および非視聴中の申告を受け付ける登録ボックスと、前記画像認識手段の認識結果と前記登録ボックス経由で入力される個人からの申告に基づいて視聴中の個人の識別を行う視聴者識別手段と、前記所定の個人に１対１に対応する基準顔画像群記憶手段と、前記画像認識手段でゲスト顔画像として処理された顔画像が前記視聴者識別手段によって所定の個人の顔画像であると特定できた場合に、その特定できた個人の辞書が未作成であり且つその個人の辞書を作成するための基準顔画像が未だ一定枚数に達していないときは前記個人のものと特定されたゲスト顔画像をその個人の基準顔画像として、その個人に対応する前記基準顔画像群記憶手段に登録する顔画像収集手段と、未だ辞書が作成されていない個人について前記基準顔画像群記憶手段に登録された前記一定枚数の基準顔画像に基づいてその個人用の辞書を作成して前記辞書格納手段に格納する辞書作成手段と、視聴中の個人の識別結果として、識別対象となる全ての個人の辞書が前記辞書格納手段に格納されるまでの期間は、前記視聴者識別手段の識別結果を選択し、全ての辞書が格納された後は前記画像認識手段の識別結果を選択する識別結果選択手段とを備えている。
【００１０】
【作用】
本発明のテレビ視聴者識別方法においては、識別対象者となる全個人のうち少なくとも一人の個人についての辞書が作成されていない状態でテレビ視聴者の測定を開始する。従って、辞書が作成されていない個人が視聴している場合、その個人は画像認識処理で所定の個人と判定されず、ゲスト顔画像として処理される。本発明では、このように画像認識処理にて所定の個人のうちの何れの者でもないと判断されたゲスト顔画像は、登録ボックス経由で入力される個人からの申告に基づいて識別を試みる。そして、ゲスト顔画像が前記所定の個人のうち未だ辞書の作成されていない個人の顔画像であると特定できた場合に、その顔画像をその個人の基準顔画像として保存し、一定枚数保存されたらその保存された基準顔画像でその個人用の辞書を作成し、画像認識処理に供する。
【００１１】
このような方法を実施する本発明のテレビ視聴者識別装置においては、撮像器がテレビ受像機の前方の監視領域を周期的に撮像すると共に顔画像抽出手段がその撮像されて得られた画像中から個人の顔画像を抽出し、画像認識手段がその抽出された個々の顔画像毎に、作成済の辞書を用いて個人の識別を試み、識別できた顔画像についてはその個人の番号を付与し、識別できなかった顔画像についてはゲスト顔画像として処理する。また、登録ボックスが辞書未作成の個人からの視聴中および非視聴中の申告を受け付ける。そして、視聴者識別手段が前記画像認識手段の認識結果と前記登録ボックス経由で入力される個人からの申告に基づいて視聴中の個人の識別を行い、識別結果選択手段は、識別対象となる全ての個人の辞書が辞書格納手段に格納されるまでの期間、前記視聴者識別手段の識別結果を選択する。
【００１２】
上記の動作と並行して、前記画像認識手段でゲスト顔画像として処理された顔画像が前記視聴者識別手段によって所定の個人の顔画像であると特定できた場合、顔画像収集手段が、その特定できた個人の辞書が未作成であり且つその個人の辞書を作成するための基準顔画像が未だ一定枚数に達していないときは前記個人のものと特定されたゲスト顔画像をその個人の基準顔画像として、その個人に対応する基準顔画像群記憶手段に登録する。そして、未だ辞書が作成されていない個人について前記基準顔画像群記憶手段に登録された一定枚数の基準顔画像に基づいて、辞書作成手段がその個人用の辞書を作成する。これにより、画像認識手段はこの新たに作成された辞書も含めて全辞書を使用して画像認識による視聴中個人の認識処理を進め、識別結果選択手段は、視聴中の個人の識別結果として、画像認識手段の識別結果を採用する。
【００１３】
【実施例】
次に本発明の実施例について図面を参照して詳細に説明する。
【００１４】
図１を参照すると、本発明のテレビ視聴者識別装置の一実施例は、処理装置１００と、撮像器２００と、チャンネルセンサ３００と、ターミナルコントローラ４００と、入力装置５００と、ビデオテープレコーダ６００と、登録ボックス７００と、リモートコントローラ８００とで構成されている。また、処理装置１００は、顔画像抽出手段１０１と、抽出顔画像記憶手段１０２と、画像認識手段１０３と、認識結果記憶手段１０４と、視聴者識別手段１０５と、識別結果選択手段１０６と、視聴状況記録手段１０７と、顔画像収集手段１０８と、識別対象となる各個人に１対１に対応する辞書１０９−１〜１０９−ｎを格納する辞書格納手段１０９と、同じく識別対象となる各個人に１対１に対応する基準顔画像群記憶手段１１０−１〜１１０−ｎと、辞書作成手段１１１と、登録参照手段１１２と、初期顔画像登録手段１１３とを備えている。なお、処理装置１００は画像処理ボードおよび所定のソフトウェアを組み込んだパーソナルコンピュータ等で実現することができる。
【００１５】
登録ボックス７００は、辞書未作成の個人からの視聴中および非視聴中の申告を受け付ける手段であり、その前面パネル上に識別対象となる個人に１対１に対応する押ボタン７０１−１〜７０１−ｎと辞書作成完了ランプ７０２とが配設され、例えばテレビ受像機の上に設置される。なお、押ボタン上には家族番号が記載されている。
【００１６】
図２は登録ボックス７００の構成例を示す。制御部７０３は、押ボタン７０１−１〜７０１−ｎが個人によってプッシュされる毎に、押ボタン７０１−１〜７０１−ｎに１対１に対応するラッチ７０６−１〜７０６−ｎの内容を“１”と“０”とに交互に反転させる。これらのラッチ７０６−１〜７０６−ｎの内容は、リモートコントローラ８００からの信号によっても同様に反転される。即ち、リモートコントローラ８００上に設けられた各個人に１対１に対応するボタン（図示せず）がプッシュされる毎に、例えば赤外線信号で送信されてくるボタン信号をリモコン受信機７０４で受信し、ラッチ７０６−１〜７０６−ｎのうち受信したボタン信号に対応するラッチの内容を反転させる。これらのラッチ７０６−１〜７０６−ｎの内容は、切り替えスイッチ７０７−１〜７０７−ｎの一方の入力端子に入力されると共に、セレクタ７０８に送出される。
【００１７】
また、押ボタン７０１−１〜７０１ｎに１対１に対応するもう１組のラッチ７０５−１〜７０５−ｎがある。これらのラッチ７０５−１〜７０５−ｎは、画像認識手段１０３の認識結果を保持するためのものである。制御部７０３は画像認識手段１０３の出力した認識結果を認識結果記憶手段１０４から周期的に読み込んで、視聴中であると認識された個人に対応するラッチには“１”を、視聴中であると認識されていない個人に対応するラッチには“０”を設定する。これらの７０５−１〜７０５−ｎの内容は切り替えスイッチ７０７−１〜７０７−ｎの他方の入力端子に入力される。
【００１８】
切り替えスイッチ７０７−１〜７０７−ｎは、２組のラッチのうちの何れか一方を選択し、その内容を照明器７１０−１〜７１０−ｎを駆動する照明駆動回路７０９−１〜７０９−ｎに導くスイッチである。照明駆動回路７０９−１〜７０９−ｎは切り替えスイッチ７０９−１〜７０９−ｎの出力が“１”の期間中、照明器７１０−１〜７１０−ｎを点灯状態とし、“０”の期間中、消灯状態とする。照明器７１０−１〜７１０−ｎは押ボタン７０１−１〜７０１−ｎを点灯状態あるいは消灯状態とするためのものである。
【００１９】
測定開始時に辞書を作成した個人の押ボタン７０１−１〜７０１−ｎに対応する切り替えスイッチ７０７−１〜７０７−ｎをラッチ７０５−１〜７０５−ｎ側に切り替え、辞書未作成の個人の押ボタン７０１−１〜７０１−ｎに対応する切り替えスイッチ７０７−１〜７０７−ｎをラッチ７０６−１〜７０６−ｎ側に切り替えておくと、辞書作為済の個人の押ボタンは、画像認識手段１０３の認識結果に応じて点灯，消灯されることになり、辞書未作成の個人の押ボタンは、個人の申告に応じて点灯，消灯されることになる。また、セレクタ７０８で辞書未作成の個人の押ボタンに対応するラッチ７０６−1 〜７０６−ｎの出力を選択するように事前に設定しておくことにより、辞書未作成の個人からの視聴中および非視聴中の申告情報が取り出せる。この申告情報は視聴者識別手段１０５に伝達される。
【００２０】
また、後述するように顔画像収集手段１０８から辞書作成完了の通知を受けると、制御部７０３はラッチ７１１の内容を“１”とし、ランプ駆動回路７１２によって辞書作成完了ランプ７０２を点灯状態にすることにより、測定開始時点で未作成であった個人の辞書が、測定中に作成された旨を外部に表示する。
【００２１】
以下、このように構成された本実施例の動作を説明する。
【００２２】
（１）初期辞書の作成
実際の測定を開始するにあたっては、識別対象とする所定の個人の顔画像に基づいて、各個人別の辞書を作成する。調査対象世帯を訪問した際、全員が在宅していれば全個人をその場で撮影することで各個人の顔画像を入手することができるが、そうとばかりは限らない。そこで、本実施例では、調査対象世帯に事前に８ミリビデオカメラ（或いはデジタルスチルカメラでも良い）を渡しておいて個人の顔を事前に撮影してもらい、そのビデオテープを再生して辞書を初期作成する方法を採用している。但し、このような方法によっても事情によって一部の個人の顔画像が得られない場合があるため、辞書の初期作成では、顔画像を入手できた個人に対応する辞書だけを作成する。
【００２３】
先ず、個人の顔画像が記録されたビデオテープをビデオテープレコーダ６００にセットして、各個人毎に１つの顔画像ずつ再生し、キーボード等の入力装置５００から家族番号を入力して、処理装置１００の初期顔画像登録手段１１３に登録を指示する。初期顔画像登録手段１１３は、複数の基準顔画像群記憶手段１１０−１〜１１０−ｎのうち未使用の基準顔画像群記憶手段を１つ確保して、入力装置５００から入力された家族番号を登録した後、ビデオテープレコーダ６００で再生されたその個人の顔画像をその基準顔画像群記憶手段に記憶していく。本実施例の場合、基準顔画像群記憶手段１１０−１〜１１０−ｎには各々２５枚の基準顔画像を記憶するようにしているため、上述の操作を繰り返して、各個人の顔画像をそれぞれ２５枚ずつ登録する。また、顔画像が入手できなかった個人については、入力装置５００からその旨指定して家族番号だけを入力する。このとき初期顔画像登録手段１１３は、未使用の基準顔画像群記憶手段を１つ確保して、それに入力装置５００から入力された家族番号を登録する。
【００２４】
次に、入力装置５００から、所定枚数の基準顔画像の登録を終えた個人の家族番号を指定して辞書の作成を指示すると、辞書作成手段１１１は、基準顔画像群記憶手段１１０−１〜１１０−ｎのうち指定された家族番号を持つ基準顔画像群記憶手段に記憶された個人の基準顔画像に基づいて、画像認識手段１０３で使用する各個人別の辞書を作成し、辞書格納手段１０９に格納する。作成される辞書の内容は、画像認識手段１０３による認識手法により異なる。本実施例の場合、本出願人自身の出願にかかる特願平４−３４１３５０号，特願平６−３３０３１号と同様な判別分析法によって個人を特定（判別）するため、判別分析に必要な各カテゴリ（各個人）ごとの顔画像の特徴を登録する。なお、作成した辞書中にはその家族番号も含められる。
【００２５】
次に、図２に示した登録ボックス７００の切り替えスイッチ７０７−１〜７０７−ｎのうち、辞書を作成した個人に対応する切り替えスイッチはラッチ７０５−１側に切り替え、辞書未作成の個人に対応する切り替えスイッチはラッチ７０６−１〜７０６−ｎ側に切り替えておく。また、辞書未作成の個人に対応するラッチ７０６−１〜７０６−ｎの出力をセレクタ７０８が選択するように設定しておく。
【００２６】
以上のような処理の終了後、入力装置５００から、辞書未作成の個人の家族番号を処理装置１００の顔画像収集手段１０８に通知し、測定を開始する。顔画像収集手段１０８は、辞書未作成の個人の家族番号を内部に記憶すると共に、識別結果選択手段１０６に、視聴者識別手段１０５の識別結果を選択するよう指示を出す。
【００２７】
なお、以上の実施例では、事前に録画しておいた各個人の顔画像を用いて初期の辞書を作成したが、撮像器２００で各個人の顔を撮像し、その撮像した画像中の顔画像を基準顔画像群記憶手段に登録することで、初期の辞書を作成するようにすることもできる。
【００２８】
（２）辞書一部未作成状況での視聴状況の測定
撮像器２００は、図示しないテレビ受像機前方の監視領域をテレビ側から広角なレンズによって周期的に撮像しており、撮像して得た画像を処理装置１００の顔画像抽出手段１０１に伝達する。なお、撮像器２００は、例えば赤外線ビデオカメラと、その出力であるアナログ映像信号をディジタルな映像信号に変換するＡ／Ｄ変換器とで構成される。
【００２９】
処理装置１００の顔画像抽出手段１０１は、撮像器２００で撮像された画像中から個人の顔画像を切り出し、抽出顔画像記憶手段１０２に記憶する。
【００３０】
画像認識手段１０３は、抽出顔画像記憶手段１０２に記憶された顔画像を入力し、各々の顔画像の特徴と、辞書格納手段１０９に格納されている辞書に登録されている所定の個人の顔画像の特徴とから、テレビ受像機を視聴中の個人が所定の個人のうちの何れの者であるかを認識し、その認識結果を認識結果記憶手段１０４に出力する。本実施例の場合、各々の認識結果には、認識処理の対象となった顔画像そのものと、個人を特定できたときはその個人に付与された家族番号、個人を特定できなかったときはゲストであることを示すゲスト番号が含まれる。
【００３１】
認識結果記憶手段１０４の内容は、登録ボックス７００，視聴者識別手段１０５，識別結果選択手段１０６および顔画像収集手段１０８から参照される。
【００３２】
登録ボックス７００では、図２を参照して説明したように、押ボタン７０１−１〜７０１−ｎのうち辞書作成済個人に対応する押ボタンについては、認識結果記憶手段１０４に出力された認識結果に応じてその点灯，消灯状態を制御する。また、それ以外の押ボタンについての点灯，消灯状態は、押ボタンの操作やリモートコントローラ８００による個人からの申告に応じて制御する。
【００３３】
他方、視聴者識別手段１０５は、認識結果記憶手段１０４中の画像認識による認識結果と、登録ボックス７００経由で入力される個人からの申告に基づいて視聴中の個人の識別を行う。図３に視聴者識別手段１０５の処理の一例を示す。視聴者識別手段１０５は、先ず、認識結果記憶手段１０４中にゲストとして処理された認識結果が含まれているか否かを判定し（Ｓ１）、１つも存在しなければ（Ｓ１でＮＯ）、認識結果記憶手段１０４に出力された今回の認識結果そのものを識別結果として識別結果選択手段１０６に出力する（Ｓ２）。
【００３４】
他方、ゲストとして処理された認識結果が含まれていた場合（Ｓ１でＹＥＳ）、ゲストとして処理された認識結果の数、すなわちゲスト数と、登録ボックス７００経由で視聴中であると申告された人数とが等しいか否かを判定する（Ｓ３）。ゲスト数と申告による視聴者人数とが等しい場合（Ｓ３でＹＥＳ）、認識結果記憶手段１０４中の認識結果のうちゲストと判定された認識結果のゲスト番号を申告者の家族番号に置き換えた識別結果を識別結果選択手段１０６に出力する（Ｓ４）。そして、このとき、ゲスト数が１人であれば（Ｓ５でＹＥＳ）、そのゲストと認識された顔画像はその申告者の顔画像であると特定し、顔画像収集手段１０８に特定できた個人の家族番号を通知して顔画像の収集を指示する（Ｓ６）。
【００３５】
また、ゲスト数と申告による視聴者人数とが相違する場合（Ｓ３でＮＯ）、ゲスト数が申告による視聴者人数より多いときは（Ｓ７でＹＥＳ）、一部の個人の申告漏れと判断して、認識結果記憶手段１０４中のゲストと判定された認識結果のうち申告による視聴者人数分の認識結果のゲスト番号を申告者の家族番号に置き換えた識別結果を識別結果選択手段１０６に出力する（Ｓ８）。一方、ゲスト数が申告による視聴者人数より少ないときは（Ｓ７でＮＯ）、一部の個人が視聴中でなくなったのに非視聴中であることを申告し忘れたものと判断し、その何れの者が申告しなかったかは判断し得ないので、認識結果記憶手段１０４に出力された今回の認識結果そのものを識別結果として識別結果選択手段１０６に出力する（Ｓ２）。
【００３６】
識別結果選択手段１０６は、顔画像収集手段１０８から視聴者識別手段１０５側を選択するように指示されているので、視聴者識別手段１０５から出力された識別結果を選択して視聴状況記録手段１０７に出力する。
【００３７】
視聴状況記録手段１０７は、識別結果選択手段１０６から出力された識別結果を入力し、その時点で何れの個人あるいはゲストが視聴中であるかを示す視聴中個人情報を作成し、これに公知のチャンネルセンサ３００によって測定されているテレビ受像機のオン，オフ状態および選局中のチャンネル情報を加えて視聴状況記録を作成し、蓄積する。
【００３８】
ターミナルコントローラ４００は、視聴状況記録手段１０７に蓄積された視聴状況記録を電話回線等を通じて図示しないセンタに送出する。
【００３９】
（３）辞書一部未作成状況での視聴状況の測定中における顔画像の収集と辞書の作成
図４および図５は顔画像収集手段１０８の処理の一例を示すフローチャートである。前述したように、顔画像収集手段１０８は、辞書の作成後に入力装置５００から辞書未作成の家族番号が通知されると、それを内部に保存し（Ｓ１１）、識別結果選択手段１０６に対して視聴者識別手段１０５側を選択するように指示を出す（Ｓ１２）。その後、顔画像収集手段１０８は、視聴者識別手段１０５からの顔画像の収集指示を待っている（Ｓ１３）。
【００４０】
視聴者識別手段１０５から顔画像の収集指示を受けると（Ｓ１３でＹＥＳ）、同時に通知された家族番号（視聴者識別手段１０５が登録ボックス７００経由の個人からの申告で唯一のゲストに対して決定した家族番号）が、現在保存中の辞書未作成の家族番号中に含まれるか否かを調べる（Ｓ１４）。含まれないときは、その家族番号の個人の顔画像は既に収集し終えているため、今回の収集指示を無視して、ステップＳ１３に戻って次の収集指示を待つ。
【００４１】
通知された家族番号が辞書未作成中の家族番号の何れかであった場合（Ｓ１４でＹＥＳ）、認識結果記憶手段１０４に記憶されている、その家族番号の個人であると決定されたゲスト顔画像を入力し（Ｓ１５）、そのゲスト顔画像が基準顔画像として適切か否かを調べる。先ず、ゲスト顔画像の頭部の傾き程度を調べる頭部形状チェックと、顔が横を向いている程度を調べる顔内部領域チェックとを行う（Ｓ１６，Ｓ１８）。これは、頭部があまり傾いた顔画像は基準顔画像に適しないし、顔があまり横を向いている顔画像も基準顔画像に適しないため、そのような顔画像を除外するためである。なお、頭部形状チェックは、一般に人の顔（頭部）は卵型をしているので、その卵型の長尺軸の傾き角度を所定角度αと比較することにより行う。また、顔は正面を向いていれば、顔内部領域の部材（目，鼻，口等）は卵型の長尺軸に対してほぼ線対称となるので、それに基づいてチェックする。以上のチェックの結果、頭部の傾き程度が許容範囲を超えていたり、顔の向きが許容範囲を超えていることが確認されたら（Ｓ１７でＮＯ，Ｓ１９でＮＯ）、ステップＳ１３に戻って次の収集指示を待つ。
【００４２】
他方、頭部の傾き角度および顔の向きが許容範囲内の場合（Ｓ１９でＹＥＳ）、登録参照手段１１２を介して、今回の家族番号に対応する基準顔画像群記憶手段に既に収集済の顔画像と、今回のゲスト顔画像とのテンプレートマッチングをとって類似度を調べる（Ｓ２０）。なお、既に収集済の顔画像が多数存在する場合、そのうちの任意の個数の顔画像との類似度の平均をとるようにしても良いし、全顔画像との類似度の平均を調べるようにしても良い。そして、今回のゲスト顔画像と既に収集済の顔画像との類似度が許容範囲内になければ（Ｓ２１でＮＯ）、ステップＳ１３に戻る。これは、申告誤り等によって他人の顔画像が紛れ込むのを防止するためである。
【００４３】
以上の調査の結果、今回のゲスト画像の類似度が既に収集済の顔画像に対して許容範囲内にあれば（Ｓ２１でＹＥＳ）、今回の顔画像をその家族番号に対応する基準顔画像群記憶手段に登録参照手段１１２を介して登録する（Ｓ２２）。なお、１番目に収集する顔画像のときは、収集済の顔画像は存在しないので、ステップＳ２０では類似度の調査は行われず、且つステップＳ２１では許容範囲内と見做され、基準顔画像群記憶手段に登録される。
【００４４】
次に、収集枚数が所定枚数、つまり今の例では２５枚に達したか否かを判定し（Ｓ２３）、達していなければステップＳ１３に戻る。他方、所定枚数収集できたら（Ｓ２３でＹＥＳ）、保存中の辞書未作成の家族番号から今回の家族番号を取り除く（Ｓ２４）。そして、辞書未作成の家族番号が１つもなくなったか否かを判定し（Ｓ２５）、まだ残っていれば（Ｓ２５でＮＯ）、ステップＳ１３に戻って次の収集指示を待つ。
【００４５】
一方、今回の顔画像の収集により、辞書未作成の家族番号が無くなったら、即ち辞書未作成の個人全員について基準顔画像を所定枚数収集し終えたら（Ｓ２５でＹＥＳ）、辞書の更新制御へ進む。
【００４６】
本実施例では、辞書の更新をテレビ受像機がオフされるタイミングで起動するようにしている。この為、顔画像収集手段１０８にはチャンネルセンサ３００からテレビ受像機のオン，オフ信号が入力されており、顔画像収集手段１０８はテレビ受像機がオフとなったタイミングを検出すると（Ｓ２６でＹＥＳ）、辞書作成手段１１１に対して辞書の作成を指示する（Ｓ２７）。
【００４７】
辞書作成手段１１１は、顔画像収集手段１０８から辞書の作成が指示されると、家族番号の登録されている基準顔画像群記憶手段１１０−１〜１１０−ｎに基づいて、前述した初期の辞書作成と同様な方法で全ての辞書１０９−１〜１０９−ｎを再作成して辞書格納手段１０９に格納し、以前に格納されていた辞書を全て消去する。なお、このように既に作成されている辞書を含め全ての辞書を作成するのは、判別分析手法に利用する辞書の場合であり、他の手法による辞書を利用する場合には、未作成の辞書のみを作成すれば良い。
【００４８】
さて、辞書作成手段１１１によって識別対象者となる全個人の辞書が作成されると、顔画像収集手段１０８は、識別結果選択手段１０９に対して画像認識手段１０３側を選択するように指示する（Ｓ２８）。また、全個人の辞書を作成し終えたことを外部に知らしめるために、登録ボックス７００に通知を出して辞書作成完了ランプ７０２を点灯する（Ｓ２９）。これで、顔画像収集手段１０８は役目を終えたことになり、処理を終了する。
【００４９】
以上のような顔画像収集手段１０８の働きによって、測定開始時点で未作成であった個人の辞書が測定中に自動的に収集されたその個人の顔画像に基づいて自動的に作成されたことになる。
【００５０】
（４）辞書完成後の視聴状況の測定
全ての個人の辞書１０９−１〜１０９−ｎが作成されると、その旨が辞書作成完了ランプ７０２の点灯によって外部に知らされる。この状態においては、もはや登録ボックス７００は不要なので、その世帯の個人あるいは調査会社の担当者によって登録ボックス７００が取り除かれる。視聴者識別手段１０５は登録ボックス７００が取り除かれると、その機能を停止する。
【００５１】
辞書完成後においても撮像機２００は監視領域を周期的に撮像しており、顔画像抽出手段１０１は撮像された画像中から個人の顔画像を切り出し、抽出顔画像記憶手段１０２に記憶する。画像認識手段１０３は、この抽出された顔画像を入力し、各々の顔画像の特徴と、辞書に登録されている所定の個人の顔画像の特徴とから個人の認識を試みる。この場合、辞書格納手段１０９には全個人の辞書１０９−１〜１０９−ｎが格納されているので、画像認識手段１０３はそれらの全ての辞書を使用して、テレビ受像機を視聴中の個人が所定の個人のうちの何れの者であるかの認識を試み、その認識結果を認識結果記憶手段１０４に出力する。識別結果選択手段１０６は、顔画像収集手段１０８から画像認識手段１０３側を選択するように指示されているので、画像認識手段１０３から認識結果記憶手段１０４に出力された認識結果を、視聴中の個人の識別結果として採用して、視聴状況記録手段１０７に出力する。
【００５２】
視聴状況記録手段１０７は、識別結果選択手段１０６から出力された識別結果を入力して視聴中個人情報を作成し、これにチャンネルセンサ３００からのテレビ受像機のオン，オフ状態および選局中のチャンネル情報を加えて視聴状況記録を作成し、蓄積する。ターミナルコントローラ４００は、視聴状況記録手段１０７に蓄積された視聴状況記録を電話回線等を通じて図示しないセンタに送出する。
【００５３】
以上本発明の実施例について説明したが、本発明は以上の実施例にのみ限定されずその他各種の付加変更が可能である。例えば、前記の実施例では、未作成辞書を作成するための基準顔画像を収集したら自動的に辞書を作成する段階へ進んだが、収集した基準顔画像群に基づく辞書の作成は入力装置５００からの指示時に行うようにすることもできる。更に、本出願人自身の出願にかかる特願平６−３３０３１号に示されるように画像認識技術と視聴中の個人の追跡技術とを組み合わせて視聴中の個人を総合的に識別するようなテレビ視聴者識別装置に対しても適用可能である。その際、テレビ受像機のオン，オフにかかわらずに１日中個人の追跡を行い、画像認識では所定の個人と確認できなかった顔画像であっても過去の追跡結果から所定の個人と判定できる場合には当該所定の個人と識別することで識別精度を高めることができる。
【００５４】
【発明の効果】
以上説明したように本発明によれば以下のような効果を得ることができる。
【００５５】
辞書を使った画像認識による視聴者識別を基本としつつ、ゲストと判定された場合に登録ボックス経由で入力される個人からの申告を視聴者識別の補助として視聴者の識別を行うため、一部の個人の辞書が準備されていない状態であっても測定を開始することができる。
【００５６】
ゲスト顔画像が未だ辞書の作成されていない個人の顔画像であると特定できた場合、その顔画像をその個人の基準顔画像として保存するので、未だ辞書の作成されていない個人の基準顔画像を測定中に自動的に収集することができる。
【００５７】
未だ辞書の作成されていない個人の基準顔画像が一定枚数保存されたらその保存された基準顔画像でその個人用の辞書を作成して画像認識処理に供するため、以後は個人からの申告なしに視聴者の識別が可能となる。
【図面の簡単な説明】
【図１】本発明のテレビ視聴者識別装置の一実施例のブロック図である。
【図２】登録ボックスの構成例を示す図である。
【図３】視聴者識別手段の処理例を示すフローチャートである。
【図４】顔画像収集手段の処理例の一部を示すフローチャートである。
【図５】顔画像収集手段の処理例の残りの部分を示すフローチャートである。
【符号の説明】
１００…処理装置
１０１…顔画像抽出手段
１０２…抽出顔画像記憶手段
１０３…画像認識手段
１０４…認識結果記憶手段
１０５…視聴者識別手段
１０６…識別結果選択手段
１０７…視聴状況記録手段
１０８…顔画像収集手段
１０９…辞書格納手段
１０９−１〜１０９−ｎ…辞書
１１０−１〜１１０−ｎ…基準顔画像群記憶手段
１１１…辞書作成手段
１１２…登録参照手段
１１３…初期顔画像登録手段
２００…撮像器
３００…チャンネルセンサ
４００…ターミナルコントローラ
５００…入力装置
６００…ビデオテープレコーダ
７００…登録ボックス
７０１−１〜７０１−ｎ…押ボタン
７０２…辞書作成完了ランプ
８００…リモートコントローラ
Claims (2)
- テレビ受像機前方の監視領域内に存在する視聴者を周期的に撮像して得た個人の顔画像の特徴と辞書に記憶されている所定の個人の顔画像の特徴とから画像認識処理にて前記テレビ受像機を視聴中の個人が前記所定の個人のうちの何れの者であるかを識別するテレビ視聴者識別方法において、
識別対象者となる全個人のうち少なくとも一人の個人についての前記辞書が作成されていない状態でテレビ視聴者の測定を開始するステップ、
顔画像抽出手段が、前記テレビ受像機の前方の監視領域を周期的に撮像する撮像器で撮像されて得られた画像中から個人の顔画像を抽出するステップ、
画像認識手段が、前記顔画像抽出手段で抽出された個々の顔画像毎に、辞書格納手段に格納された辞書を用いて個人の識別を試み、識別できた顔画像についてはその個人の番号を付与し、識別できなかった顔画像についてはゲスト顔画像として処理するステップ、
視聴者識別手段が、前記所定の個人に１対１に対応するボタンを有し、前記ボタンに対する操作により前記辞書未作成の個人からの視聴中および非視聴中の申告を受け付ける登録ボックス経由で入力される個人からの申告と、前記画像認識手段の認識結果とに基づいて視聴中の個人の識別を行うステップ、
顔画像収集手段が、前記画像認識手段でゲスト顔画像として処理された顔画像が前記視聴者識別手段によって所定の個人の顔画像であると特定できた場合に、その特定できた個人の辞書が未作成であり且つその個人の辞書を作成するための基準顔画像が未だ一定枚数に達していないときは前記個人のものと特定されたゲスト顔画像をその個人の基準顔画像として、その個人に対応する基準顔画像群記憶手段に登録するステップ、
辞書作成手段が、未だ辞書が作成されていない個人について前記基準顔画像群記憶手段に登録された前記一定枚数の基準顔画像に基づいてその個人用の辞書を作成して辞書格納手段に格納するステップ、
識別結果選択手段が、視聴中の個人の識別結果として、識別対象となる全ての個人の辞書が前記辞書格納手段に格納されるまでの期間は、前記視聴者識別手段の識別結果を選択し、全ての辞書が格納された後は前記画像認識手段の識別結果を選択するステップ、
を含むことを特徴とするテレビ視聴者識別方法。 - テレビ受像機を視聴している個人を識別するテレビ視聴者識別装置において、
前記テレビ受像機の前方の監視領域を周期的に撮像する撮像器と、
該撮像器で撮像されて得られた画像中から個人の顔画像を抽出する顔画像抽出手段と、
所定の個人毎の基準顔画像群に基づいて作成された辞書を格納するための辞書格納手段と、
前記顔画像抽出手段で抽出された個々の顔画像毎に、作成済の辞書を用いて個人の識別を試み、識別できた顔画像についてはその個人の番号を付与し、識別できなかった顔画像についてはゲスト顔画像として処理する画像認識手段と、
前記所定の個人に１対１に対応するボタンを有し、前記ボタンに対する操作により前記辞書未作成の個人からの視聴中および非視聴中の申告を受け付ける登録ボックスと、
前記画像認識手段の認識結果と前記登録ボックス経由で入力される個人からの申告に基づいて視聴中の個人の識別を行う視聴者識別手段と、
前記所定の個人に１対１に対応する基準顔画像群記憶手段と、
前記画像認識手段でゲスト顔画像として処理された顔画像が前記視聴者識別手段によって所定の個人の顔画像であると特定できた場合に、その特定できた個人の辞書が未作成であり且つその個人の辞書を作成するための基準顔画像が未だ一定枚数に達していないときは前記個人のものと特定されたゲスト顔画像をその個人の基準顔画像として、その個人に対応する前記基準顔画像群記憶手段に登録する顔画像収集手段と、
未だ辞書が作成されていない個人について前記基準顔画像群記憶手段に登録された前記一定枚数の基準顔画像に基づいてその個人用の辞書を作成して前記辞書格納手段に格納する辞書作成手段と、
視聴中の個人の識別結果として、識別対象となる全ての個人の辞書が前記辞書格納手段に格納されるまでの期間は、前記視聴者識別手段の識別結果を選択し、全ての辞書が格納された後は前記画像認識手段の識別結果を選択する識別結果選択手段とを具備することを特徴とするテレビ視聴者識別装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20792395A JP3688764B2 (ja) | 1995-07-21 | 1995-07-21 | テレビ視聴者識別方法およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20792395A JP3688764B2 (ja) | 1995-07-21 | 1995-07-21 | テレビ視聴者識別方法およびその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0935067A JPH0935067A (ja) | 1997-02-07 |
| JP3688764B2 true JP3688764B2 (ja) | 2005-08-31 |
Family
ID=16547799
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20792395A Expired - Fee Related JP3688764B2 (ja) | 1995-07-21 | 1995-07-21 | テレビ視聴者識別方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3688764B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9332363B2 (en) | 2011-12-30 | 2016-05-03 | The Nielsen Company (Us), Llc | System and method for determining meter presence utilizing ambient fingerprints |
| US9489640B2 (en) | 2006-07-12 | 2016-11-08 | The Nielsen Company (Us), Llc | Methods and systems for compliance confirmation and incentives |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2414616A (en) * | 2004-05-28 | 2005-11-30 | Sony Uk Ltd | Comparing test image with a set of reference images |
| JP2008278302A (ja) * | 2007-05-01 | 2008-11-13 | Sharp Corp | テレビジョン受像機及び視聴情報取得機器 |
| JP6254785B2 (ja) * | 2012-07-24 | 2017-12-27 | サイトセンシング株式会社 | 視聴率調査システム、並びに表情情報生成装置及び表情情報生成プログラム |
-
1995
- 1995-07-21 JP JP20792395A patent/JP3688764B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9489640B2 (en) | 2006-07-12 | 2016-11-08 | The Nielsen Company (Us), Llc | Methods and systems for compliance confirmation and incentives |
| US9332363B2 (en) | 2011-12-30 | 2016-05-03 | The Nielsen Company (Us), Llc | System and method for determining meter presence utilizing ambient fingerprints |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0935067A (ja) | 1997-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7672580B2 (en) | Imaging apparatus and method for controlling display device | |
| CN100539647C (zh) | 显示面部检测框的方法、显示字符信息的方法和摄像设备 | |
| US6977687B1 (en) | Apparatus and method for controlling a focus position for a digital still camera | |
| JP5164327B2 (ja) | 撮影装置及びプログラム | |
| RU2543950C2 (ru) | Устройство формирования изображения и способ управления указанным устройством | |
| JP4577275B2 (ja) | 撮像装置、画像記録方法、および、プログラム | |
| US9197818B2 (en) | Imaging apparatus | |
| JP5293206B2 (ja) | 画像検索装置、画像検索方法及びプログラム | |
| CN110536069A (zh) | 变焦控制装置、变焦控制装置的控制方法和记录介质 | |
| US8237838B2 (en) | Image sensing apparatus and control method thereof | |
| JP2002333652A (ja) | 撮影装置及び再生装置 | |
| CN105934940A (zh) | 图像处理装置、方法与程序 | |
| JP2005020446A (ja) | 画像撮影装置及びプログラム | |
| JP2005045600A (ja) | 画像撮影装置およびプログラム | |
| JP4577445B2 (ja) | 撮像装置、画像記録方法、および、プログラム | |
| JP3688764B2 (ja) | テレビ視聴者識別方法およびその装置 | |
| US8355050B2 (en) | Image replay system, digital camera, and image replay device | |
| JP4293055B2 (ja) | カメラ装置およびプログラム | |
| JP3974953B2 (ja) | テレビ視聴者識別方法およびその装置 | |
| JPH06268894A (ja) | 自動撮像装置 | |
| JP2005045601A (ja) | 画像撮影装置およびプログラム | |
| CN115499580A (zh) | 多模式融合的智能取景方法、装置及摄像设备 | |
| TW466452B (en) | Method and apparatus for photographing/recognizing a face | |
| CN100454978C (zh) | 摄像装置以及控制显示装置和摄像装置的方法 | |
| JPH10336632A (ja) | 監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050208 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050324 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050607 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050609 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090617 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090617 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100617 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100617 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110617 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120617 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130617 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |