JPH07222208A - テレビジョン受像機の視聴者特定装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像認識で特定できなかった個人について、
その視聴場所の追跡結果から個人を特定することによ
り、テレビ視聴中の個人の特定精度を向上させる。 【構成】 撮像装置200 はテレビ前方の監視領域を１秒
乃至２秒といった周期で撮像する。特定手段７は、撮像
画像中の個人の顔画像から画像認識により個人の特定を
試み、特定できた場合、特定した個人の識別子に対応さ
せてその顔画像の撮像画像内での位置を位置登録手段９
により位置登録テーブル８に登録しておく。次回の撮像
時、特定手段７は得られた顔画像の画像認識で個人を特
定できなかった場合、見做し特定手段10を起動する。見
做し特定手段10は、特定不能であった個人の顔画像の撮
像画像内での位置又はその近傍を登録位置とする個人の
識別子が位置登録テーブル８に登録されているか否かを
調べ、登録されている場合、その登録されている個人の
識別子を、前記特定不能であった個人の特定結果と見做
す。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はテレビジョン受像機の視
聴者特定装置に関し、より詳細には、画像認識技術によ
り視聴中の個人を特定すると共に、画像認識で特定でき
なかった個人についてはその視聴場所の追跡結果から個
人を特定するようにしたテレビジョン受像機の視聴者特
定装置に関する。

【０００２】

【従来の技術】テレビジョン受像機（以下、単にテレビ
とも称す）の視聴率には主として世帯視聴率と個人視聴
率とがあり、前者は調査対象の世帯に設置されているテ
レビの視聴状況を単に示すものであるのに対し、後者は
調査対象の世帯において実際に誰が視聴しているかとい
う情報まで加味したものであり、最近、その需要が増大
している。

【０００３】ところで、個人視聴率を測定する方式とし
ては、大別して、アクティブ型とパッシブ型とがある。
アクティブ型は調査対象者に視聴の開始および終了に際
して自己に割り当てられた押ボタン等を操作してもらう
方式であり、調査対象者にとって本来不必要な行為を要
求することになるため、調査対象者への負担が重くなり
がちである。

【０００４】これに対し、パッシブ型はテレビを視聴し
ている者を自動的に判断する方式であり、調査対象者へ
の負担はアクティブ型に比べて著しく軽減される。特
に、テレビを視聴している者をカメラで撮像し、その画
像データ（特に顔画像データ）を画像認識処理して視聴
者を特定する方式は、数秒間隔毎に視聴中の個人情報が
自動的に得られるため、最近、特にその開発，研究が盛
んに行われている（例えば、特開平２−１２０９８７号
公報，特開平２−１２１０７０号公報）。

【０００５】

【発明が解決しようとする課題】しかしながら、既に提
案されている画像認識による個人の特定方式は、何れ
も、画像認識技術単独の特定結果を最終結果とするもの
である。即ち、最終的な特定結果の精度は画像認識精度
そのものと同じであり、画像認識により特定不能と判断
された個人についてはゲスト（予め登録された個人の何
れでも無い者）として扱われる。

【０００６】このため、例えば視聴中の個人が、喫煙，
食事等により顔の一部を手や食器類等で覆ったり、顔の
向きを変化させたりした為に画像認識によって所定の個
人の何れでもないと判断された場合、その者が継続して
テレビを視聴しているのにもかかわらず、ゲストと判断
され、結果として、視聴傾向の測定精度が低下する。

【０００７】このような問題点を解消する方法として
は、後刻に測定データを調査し、ゲストと特定された個
人を所定の個人に置き換える処理を行うことが考えられ
る。即ち、例えば図９（ａ）に示すように、或る個人Ａ
が時刻ｔ１から時刻ｔ２まで視聴中と特定され、時刻ｔ
２から時刻ｔ３までは個人Ａは非視聴中となり、その代
わりにゲストが視聴中と特定され、時刻ｔ３から再び個
人Ａが視聴中と特定されたような測定データが得られた
場合、ゲストは実際は個人Ａであったと推定して、同図
（ｂ）に示すように測定データを加工し、個人Ａが時刻
ｔ２から時刻ｔ３の間も継続して視聴していたとするも
のである。

【０００８】しかしながら、このような方法は、或る程
度の時間が経過しなければ過去の時点で出現したゲスト
が所定の個人であったか否かは推定できないので、オフ
ライン処理が基本となり、視聴傾向測定のリアルタイム
性が著しく阻害される。また、実際に個人Ａとゲストと
がテレビの前から同タイミングで退出，入出してきた場
合との区別が容易でなく、測定データに誤りを作り込む
可能性が大きい。

【０００９】本発明はこのような事情に鑑みて提案され
たものであり、その目的は、画像認識により視聴中の個
人を特定すると共に、画像認識で特定できなかった個人
についてはその視聴場所の追跡結果から個人を特定する
ことにより、視聴傾向測定のリアルタイム性を阻害する
ことなく、個人の特定精度を向上させることにある。

【００１０】

【課題を解決するための手段】本発明は上記の目的を達
成するために、テレビジョン受像機前方の監視領域内に
存在する視聴者を周期的に撮像装置で撮像して得た個人
の画像の特徴と、予め記憶してある所定の個人の画像の
特徴とから、画像認識により、前記テレビジョン受像機
を視聴中の個人が前記所定の個人のうちの何れの者であ
るかを特定する装置において、位置登録テーブルと、特
定された個人の画像の撮像画像内での最新の位置を、特
定された個人の識別子に対応させて前記位置登録テーブ
ルに登録する位置登録手段と、画像認識により特定不能
であった個人の画像について、その画像の撮像画像内で
の位置又はその近傍を登録位置とする個人の識別子が前
記位置登録テーブルに登録されているか否かを調べ、登
録されていることにより、該登録されている個人の識別
子を、前記特定不能であった個人の特定結果と見做す見
做し特定手段とを備えている。

【００１１】

【作用】本発明のテレビジョン受像機の視聴者特定装置
においては、撮像装置がテレビ前方の監視領域を１秒な
いし２秒といった周期で撮像し、その得られた撮像画像
中の個人の顔画像等の画像の特徴と予め記憶してある所
定の個人の顔画像等の画像の特徴とから、画像認識によ
り何れの個人であるかを特定した際、位置登録手段が、
その特定された個人の画像の撮像画像内での最新の位置
（例えば頭頂部の位置）をその特定された個人の識別子
に対応させて位置登録テーブルに登録する。次回の撮像
時、その個人が喫煙，食事のため顔の一部を手で覆った
り，深く俯いたりしたこと等により、得られた顔画像等
の画像に対する画像認識で所定の個人の何れであるか特
定できなかった場合、見做し特定手段が、その特定不能
であった個人の顔画像等の画像の撮像画像内での位置又
はその近傍を登録位置とする個人の識別子が位置登録テ
ーブルに登録されているか否かを調べ、登録されている
場合は、その登録されている個人の識別子を、前記特定
不能であった個人の特定結果と見做す。

【００１２】これは、前回の撮像と今回の撮像との間の
短い時間内に、前回特定された個人とゲストとが入れ替
わることは物理的に困難か、困難でなくても極めて希な
状況であることに着目したものである。なお、見做し特
定された個人の画像の撮像画像内での最新の位置も位置
登録手段により位置登録テーブルに登録される。

【００１３】

【実施例】次に本発明の実施例について図面を参照して
詳細に説明する。

【００１４】図１を参照すると、本発明のテレビジョン
受像機の視聴者特定装置の一実施例は、処理装置１００
と撮像装置２００と照明装置３００とテレビセンサ４０
０とターミナルコントローラ５００とで構成されてい
る。

【００１５】撮像装置２００は、図示しないテレビジョ
ン受像機前方の監視領域をテレビ側から広角なレンズに
よって撮像するもので、処理装置１００から信号線ａを
通じて撮像が指示されたタイミングで監視領域を撮像
し、撮像して得られた撮像画像を信号線ｂを通じて処理
装置１００に伝達する。この例の撮像装置２００は、赤
外ビデオカメラ等で構成されるカメラ部２１と、このカ
メラ部２１から出力されるアナログの撮像信号を所定の
タイミングでサンプリングするサンプルホールド回路２
２と、このサンプルホールド回路２２の出力を所定ビッ
トのディジタル信号に変換してディジタルな画像信号を
生成するＡ／Ｄ変換器２３とで構成されている。

【００１６】照明装置３００は、撮像装置２００の撮像
に必要な照明を得るためのものであり、撮像装置２００
として赤外カメラを使用する場合、近赤外発光ダイオー
ド等で構成される。この照明装置３００は処理装置１０
０から信号線ｃを通じて照明が指示されている期間中、
監視領域内を照明する。

【００１７】テレビセンサ４００は、公知のように図示
しないテレビのオン，オフ状態，選局中のチャンネル情
報の検出を行うもので、その検出情報は信号線ｄを通じ
て処理装置１００に供給される。

【００１８】ターミナルコントローラ５００は、処理装
置１００で得られた視聴状況データを電話回線等を通じ
て図示しないセンタに送出するコントローラである。な
お、本実施例では、１台のテレビの視聴状況のみ測定す
る構成としているが、モニタ世帯内に複数のテレビが設
置されている場合、各々のテレビの視聴状況が測定さ
れ、それら全ての視聴状況データがターミナルコントロ
ーラ５００に集められてセンタに送出される。

【００１９】処理装置１００は、本実施例のテレビジョ
ン受像機の視聴者特定装置の主たる処理を司る装置であ
り、入出力インタフェイス１，撮像画像入力手段２，背
景画像記憶手段３，視聴者存在検出手段４，顔画像検出
手段５，個人特徴記憶手段６，特定手段７，位置登録テ
ーブル８，位置登録手段９，見做し特定手段１０，視聴
状況記録手段１１，制御手段１２，時計１３および基準
値設定手段１４を備えている。なお、このような処理装
置１００は画像処理ボードおよび所定のソフトウェアを
組み込んだパーソナルコンピュータ等で実現することが
できる。

【００２０】以下、このように構成された本実施例の動
作を各部の詳細な機能と共に説明する。

【００２１】実際の測定に先立って、基準値設定手段１
４により、背景画像記憶手段３に背景画像を、個人特徴
記憶手段６に個人特徴を、それぞれ登録しておく。ま
た、位置登録テーブル８にはモニタ世帯内の各個人に割
り当てた識別子とそれに対応する登録位置としてＮＵＬ
Ｌ値を登録しておく。

【００２２】背景画像記憶手段３への背景画像の登録
は、視聴者が一人も存在しない監視領域を撮像装置２０
０で撮像した際にＡ／Ｄ変換器２３から得られたディジ
タルな画像を入出力インタフェイス１，撮像画像入力手
段２を通じて基準値設定手段１４に読み込み、これを背
景画像記憶手段３に登録することで行う。このとき、照
度変化や影などの影響を受けにくくするために、基準値
設定手段１４は、得られた背景画像に対してソベル（Ｓ
ｏｂｅｌ）フィルタをかけてエッジ強調した画像を生成
し、これを登録する。

【００２３】個人特徴記憶手段６に登録する個人特徴
は、当該モニタ世帯に含まれる各個人の顔画像の特徴で
ある。この個人特徴としてどのような種類の特徴を使用
するかは、後述する特定手段７による特定方法によって
決定される。例えば、パターンマッチング法によって特
定する場合には、各個人の幾つかの顔画像が個人特徴と
して登録される。本実施例では、特定手段７は重判別分
析（ｍｕｌｔｉｐｌｅｄｉｓｃｒｉｍｉｎａｎｔ ａｎ
ａｌｙｓｉｓ（正準判別分析（ｃａｎｏｎｉｃａｌ ｄ
ｉｓｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ））ともい
う）を使用して個人を特定（判別）するため、重判別分
析に必要とする各カテゴリ（各個人）ごとの模範的な顔
画像の特徴を登録してある。

【００２４】具体的には、モニタ世帯内の各個人毎に、
顔の向きを異ならせて多数（例えば１００通り）撮像し
た際に撮像装置２００で得られた各々の顔画像を、入出
力インタフェイス１，撮像画像入力手段２を通じて基準
値設定手段１４に読み込み、その各々の顔画像について
大きさをビット数で例えば６０×４８に正規化すると共
に、濃度分布を１〜２５５階調に正規化する。次いで、
正規化後の顔画像の左右５画素ずつと上下８画素ずつを
カットした４４×３８画素を横方向に投影した際の縦４
ライン毎のブロックずつ、その濃度の平均値，標準偏
差，自己相関特徴等の所定個数（例えば６４個）の特徴
量を抽出し、これらの特徴量から重判別分析により、各
個人毎の顔画像の特徴を作成して、個人特徴記憶手段６
に登録する。

【００２５】位置登録テーブル８には、例えば当該モニ
タ世帯内に５人の個人が居る場合、各個人に例えばＡ〜
Ｅの識別子を割り当てたとすると、図２に示すように、
各個人の識別子Ａ〜Ｅを基準値設定手段１４により登録
する。そして、最初は各識別子Ａ〜Ｅに対応する登録位
置の内容はＮＵＬＬ値に設定する。

【００２６】さて、以上のような登録処理を終えた後、
実際の測定が開始される。

【００２７】実際の測定時、処理装置１００の制御手段
１２は、図３に示す制御を実行する。先ず、テレビがオ
ン状態であるか否かをテレビセンサ４００の出力から判
別し（Ｓ１）、オフ状態であれば、オン状態になるのを
持つ。そして、テレビがオン状態になると、入出力イン
タフェイス１，信号線ｃを通じて照明装置３００に一定
時間の照明を指示すると共に信号線ａを通じて撮像装置
２００に撮像を指示することにより、監視領域を撮像す
る（Ｓ２）。次に、時計１３から現在時刻を取得し（Ｓ
３）、テレビセンサ４００から選局中のチャンネル情報
を含む検出情報を取得し（Ｓ４）、視聴者存在検出手段
４または顔画像検出手段５から視聴者なしの通知が送ら
れてくるか、或いは特定手段７から特定結果データが送
られてくるのを待つ（Ｓ５，Ｓ６）。

【００２８】後に詳述するように、撮像装置２００で撮
像された監視領域の画像は、視聴者存在検出手段４にお
いて背景画像記憶手段３に記憶されている背景画像と比
較されることにより、視聴者の存在の有無が検出され、
視聴者が一人も存在しない場合はその旨の通知が視聴者
存在検出手段４から制御手段１２に通知される。また、
視聴者存在検出手段４で視聴者ありと判定されても顔画
像検出手段５で顔画像が検出されなかった場合も視聴者
なしの通知が制御手段１２に出される。このような視聴
者なしの通知を受けた場合、制御手段１２は、処理Ｓ７
において、視聴中の個人なしのデータと取得時刻と選局
中のチャンネル情報とを含む視聴状況データを作成して
視聴状況記録手段１１に記録する。

【００２９】他方、これも後に詳述するように、視聴者
が存在し且つ撮像画像中から個人の顔画像が検出された
場合、特定手段７および必要に応じて見做し特定手段１
０により個人の特定が試みられ、その特定結果データが
制御手段１２に通知される。このような特定結果データ
の通知を受けた場合、制御手段１２は、処理Ｓ７におい
て、送られてきた特定結果データと取得した時刻と選局
中チャンネル情報とを含む視聴状況データを作成して視
聴状況記録手段１１に記録する（Ｓ７）。

【００３０】制御手段１２は、テレビがオン状態である
間、処理Ｓ１〜Ｓ７のループを繰り返し実行する。これ
により、テレビがオンになっている期間中、１秒ないし
２秒程度の周期で上述した処理が繰り返される。そし
て、視聴状況記録手段１１に記録された視聴状況データ
はターミナルコントローラ５００によりセンタに速やか
に送出される。

【００３１】次に、測定時に処理装置１００で実施され
る主要な処理である視聴者存在検出，顔画像検出，個人
の特定について詳細に説明する。

【００３２】○視聴者存在検出；制御手段１２からの指
示に従って監視領域を撮像した撮像装置２００のカメラ
部２１の出力はサンプルホールド回路２２でサンプリン
グされた後にＡ／Ｄ変換器２３でディジタルな画像信号
に変換され、入出力インタフェイス１を介して撮像画像
入力手段２に取り込まれる。

【００３３】視聴者存在検出手段４は、図４に示すよう
に、撮像画像入力手段２に取り込まれた撮像画像を入力
しソベルフィルタにかけてエッジを強調した画像に変換
し（Ｓ１１）、次に、この変換後の画像と背景画像記憶
手段３に記憶されている背景画像との差分画像を求め
（Ｓ１２）、この差分画像の各画素の濃度を所定の閾値
と比較し、閾値未満の画素は例えば論理“０”，閾値以
上の画素は論理“１”に２値化する（Ｓ１３）。監視領
域内に人が居ないため今回の撮像画像が背景画像と同じ
であれば２値化画像中の論理“１”の画素数は極めて少
ないが、人が存在すると、人の像に相当する或る面積以
上の画素が論理“１”となる。そこで、視聴者存在検出
手段４は、論理“１”の画素が占める総面積を求め（Ｓ
１４）、これを所定値と比較することにより（Ｓ１
５）、視聴者あり、または視聴者なしと判定する（Ｓ１
６，Ｓ１７）。そして、視聴者なしと判定したときは、
制御手段１２にその旨を通知し（Ｓ１９）、視聴者あり
と判定したときは、上記２値化した差分画像を通知して
顔画像検出手段５を起動する（Ｓ１８）。

【００３４】○顔画像検出 顔画像検出手段５は起動されると、図５に示す処理を開
始する。先ず、視聴者存在検出手段４から通知された２
値化した差分画像を論理“１”の画素について膨張する
ことにより顔の領域の切れ目をつなぎ、穴埋めをして、
膨張させた分だけ収縮させる（Ｓ２１）。これにより、
人の像に対応する部分の画素がほぼ全て論理“１”，他
の部分の画素がほぼ全て論理“０”となる。

【００３５】次に、上記処理後の差分画像中から一塊と
なっている画像（論理“１”の画素の集合）毎にラベル
を付けて分類し（Ｓ２２）、分類数を変数Ｍに代入する
（Ｓ２３）。ここで、一塊となっている画素の集合は典
型的には一人の個人の像に対応することになる。

【００３６】そして、ラベル付けされた１つの画像に注
目し（Ｓ２４）、その画像の形状から円形に近い領域を
探索し、その部分を或る個人の頭部部分と見做す（Ｓ２
５）。次に、その頭部部分の最大幅Ｗを求め、その頭部
部分の頂点（最も上方の画素の部分）からＷの約１.25
倍の長さまでの領域を顔領域と見做す（Ｓ２６）。次
に、この顔領域に対応する画像を撮像画像入力手段２で
取り込まれた原画像から抽出し（Ｓ２７）、この抽出し
た画像が顔画像であるか否かを、例えば頭髪部分は黒
く，顔部分は比較的白いという顔の一般的な条件に照ら
して判定する（Ｓ２８）。そして、顔と判定した場合
（Ｓ２９でＹＥＳ）、原画像から抽出した顔画像および
頭頂部の撮像画像内での座標値を保持しておくと共に検
出数を＋１し（Ｓ３０）、変数Ｍを−１する（Ｓ３
１）。他方、顔と判定できない場合は、処理Ｓ３０をス
キップして処理Ｓ３１に進み、変数Ｍを−１する。

【００３７】以上のような処理をラベル付けされた全て
の画像について処理し終えると（Ｓ３２でＮＯ）、検出
数が０か否かを判別し（Ｓ３３）、０の場合、即ち顔と
判定される画像が１つも存在しなかった場合は、制御手
段１２に視聴者なしを通知し（Ｓ３５）、１つ以上の顔
画像を検出した場合は、検出した顔画像および頭頂部の
座標値を通知して特定手段７を起動する（Ｓ３４）。

【００３８】○個人の特定 特定手段７は起動されると、図６に示す処理を開始す
る。先ず、顔画像検出手段５から通知された顔画像の検
出数を変数Ｎに代入し、重判別分析によって特定できな
かった顔画像の数を記憶するための変数Ｌを０に初期化
する（Ｓ４０）。次いで、各々の顔画像について、処理
Ｓ４１〜Ｓ５７を実行する。

【００３９】先ず、１つの顔画像に注目し（Ｓ４１）、
その顔画像の大きさを一定にするために線形補間法等に
より縦６０画素，横４８画素の顔画像に正規化する（Ｓ
４２）。次に、この正規化した顔画像のノイズを除去し
て算出する特徴量を安定化するために平滑化処理（顔画
像を多少ぼかす処理）を施し（Ｓ４３）、次にソベルフ
ィルタをかけてエッジを強調した画像とする（Ｓ４
８）。次に、このエッジ強調した画像の各画素の濃度分
布が１〜２５５階調になるように濃度分布を変換（拡
張）し（Ｓ４９）、最後に、頭髪の変化による影響を除
去するために、６０×４８画素の顔画像の内部領域（左
右５画素ずつ、上下８画素ずつをカットした中央部分の
４４×３８画素の領域）を抽出する（Ｓ５０）。そし
て、この４４×３８画素を横方向に投影した際の縦４ラ
イン毎のブロックについて、その濃度の平均値，標準偏
差，自己相関特徴等の所定の特徴量を抽出し（Ｓ５
１）、この抽出した特徴量と個人特徴記憶手段６に記憶
されている各個人の特徴とに基づき、現注目中の顔画像
を重判別分析にかける（Ｓ５２）。

【００４０】一般に重判別分析においては、マハラノビ
の汎距離が各カテゴリ毎に得られるため、判別は、最小
値の汎距離が或る閾値以下であり、且つ、１位と２位の
汎距離の比が或る値以下であったとき、今回の顔画像を
１位となったカテゴリに対応する個人の顔画像と判定す
ることで行い（Ｓ５３，Ｓ５４）、それ以外の場合は特
定不能として扱う（Ｓ５５）。

【００４１】重判別分析により個人が特定された場合、
特定した個人の識別子とその顔画像の頭頂部の撮像画像
内での座標値とを通知して位置登録手段９を起動する
（Ｓ５６）。位置登録手段９は、通知された個人の識別
子に対応付けて、通知された頭頂部の座標値を図２の位
置登録テーブル８に登録する。他方、重判別分析により
個人の特定が不能であった場合、変数Ｌを＋１する（Ｓ
５７）。

【００４２】その後、特定手段７は変数Ｎを−１し（Ｓ
５８）、変数Ｎが０より大きければ（Ｓ５９でＹＥ
Ｓ）、未処理の顔画像が残っているので、処理Ｓ４１に
戻り、未処理の顔画像について上述した処理を繰り返
す。

【００４３】また、処理Ｓ５９でＮが０と判定される
と、全ての顔画像に対して重判別分析を試み終えたの
で、図７に示す処理に移る。

【００４４】図７においては、先ず、変数Ｌが０か否
か、つまり重判別分析によって特定不能となった顔画像
が存在したか否かを判別し（Ｓ６０）、存在しなかった
場合は、処理Ｓ５４において特定した個人の識別子を含
む特定結果データを制御手段１２に通知し（Ｓ６１）、
処理を終える。

【００４５】他方、変数Ｌが０でない場合、重判別分析
により特定できなかった顔画像の各々について処理Ｓ６
２〜Ｓ６９の処理を実行する。先ず、特定不能であった
１つの顔画像に注目し（Ｓ６２）、その顔画像の頭頂部
の撮像画像内での座標値を通知して見做し特定手段１０
を起動する（Ｓ６３）。

【００４６】見做し特定手段１０は起動されると、図８
に示す処理を実行する。即ち、特定手段７から通知され
た特定不能であった顔画像の頭頂部の近傍（例えばその
頭頂部を中心として、その顔画像の顔幅の半分を半径と
する円内）に、位置登録されている個人の識別子を、位
置登録テーブル８の先頭から順に検索する（Ｓ８０）。
そして、該当する個人の識別子を見つけた場合（Ｓ８１
でＹＥＳ）、その識別子を特定手段７に通知する（Ｓ８
２）。他方、位置登録テーブル８内に該当する識別子が
存在しなかった場合（Ｓ８１でＮＯ）、該当する識別子
なしを特定手段７に通知する（Ｓ８３）。

【００４７】特定手段７は、見做し特定手段１０からの
通知を判別し（Ｓ６４）、該当する個人の識別子が存在
しなかったときは、現注目中の顔画像をゲストの顔画像
として処理し（Ｓ６５）、変数Ｌを−１し（Ｓ６９）、
Ｌが＞０ならば、処理Ｓ６２に戻って未処理の特定不能
顔画像について上述した処理を繰り返す。

【００４８】他方、見做し特定手段１０で該当する個人
の識別子が発見された場合（Ｓ６４でＹＥＳ）、通知さ
れた個人の識別子が処理Ｓ５４で既に特定した個人の識
別子と重複するか否かを調べ（Ｓ６６）、重複する場合
は、通知された個人の識別子を無視して現注目中の顔画
像をゲストの顔画像として処理する（Ｓ６５）。重複し
なかった場合は、現注目中の顔画像を、通知された個人
の識別子のものと特定し（Ｓ６７）、特定した個人の識
別子とその顔画像の頭頂部の撮像画像内での座標値とを
通知して位置登録手段９を起動する（Ｓ６８）。位置登
録手段９は、通知された個人の識別子に対応付けて、通
知された頭頂部の座標値を図２の位置登録テーブル８に
登録する。その後、特定手段７は変数Ｌを−１し（Ｓ６
９）、Ｌ＞０ならば処理Ｓ６２に戻って未処理の顔画像
について上述した処理を繰り返す。そして、未処理の顔
画像の全てを処理し終えると（Ｓ７０でＮＯ）、処理Ｓ
６１に進み、特定結果データを制御手段１２に通知す
る。このときの特定結果データ中には、処理Ｓ５４で決
定された個人の識別子，見做し特定手段１２で検索され
て処理Ｓ６７で決定された個人の識別子，処理Ｓ６５で
決定されたゲストの情報が含まれる。

【００４９】

【発明の効果】以上説明したように本発明は、前回の撮
像と今回の撮像との間の短い時間内に前回特定された個
人とゲストとが監視領域内で入れ替わることは物理的に
困難か、困難でなくても極めて希な状況であることに着
目し、特定された個人の画像の撮像画像内での位置を追
跡しておき、基準画像との比較により所定の個人の何れ
であるかを特定できなかった場合、直前に特定された個
人の位置から今回特定できなかった個人を特定するよう
にしたものであり、視聴傾向測定のリアルタイム性を阻
害することなく、個人の特定精度を大幅に向上させるこ
とができる。

【図面の簡単な説明】

【図１】本発明のテレビジョン受像機の視聴者特定装置
の一実施例のブロック図である。

【図２】位置登録テーブルの構成例を示す図である。

【図３】制御手段の処理例を示すフローチャートであ
る。

【図４】視聴者存在検出手段の処理例を示すフローチャ
ートである。

【図５】顔画像検出手段の処理例を示すフローチャート
である。

【図６】特定手段の処理例の一部を示すフローチャート
である。

【図７】特定手段の処理例の残りの部分を示すフローチ
ャートである。

【図８】見做し特定手段の処理例を示すフローチャート
である。

【図９】従来の問題点の説明図である。

【符号の説明】

１…入出力インタフェイス ２…撮像画像入力手段 ３…背景画像記憶手段 ４…視聴者存在検出手段 ５…顔画像検出手段 ６…個人特徴記憶手段 ７…特定手段 ８…位置登録テーブル ９…位置登録手段 １０…見做し特定手段 １１…視聴状況記録手段 １２…制御手段 １３…時計 １４…基準値設定手段 ２１…カメラ部 ２２…サンプルホールド回路 ２３…Ａ／Ｄ変換器 １００…処理装置 ２００…撮像装置 ３００…照明装置 ４００…テレビセンサ ５００…ターミナルコントローラ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｈ 9/00

Claims (3)

【特許請求の範囲】
1. 【請求項１】 テレビジョン受像機前方の監視領域内に
   存在する視聴者を周期的に撮像装置で撮像して得た個人
   の画像の特徴と、予め記憶してある所定の個人の画像の
   特徴とから、画像認識により、前記テレビジョン受像機
   を視聴中の個人が前記所定の個人のうちの何れの者であ
   るかを特定する装置において、 位置登録テーブルと、 特定された個人の画像の撮像画像内での最新の位置を、
   特定された個人の識別子に対応させて前記位置登録テー
   ブルに登録する位置登録手段と、 画像認識により特定不能であった個人の画像について、
   その画像の撮像画像内での位置又はその近傍を登録位置
   とする個人の識別子が前記位置登録テーブルに登録され
   ているか否かを調べ、登録されていることにより、該登
   録されている個人の識別子を、前記特定不能であった個
   人の特定結果と見做す見做し特定手段とを備えることを
   特徴とするテレビジョン受像機の視聴者特定装置。
2. 【請求項２】 テレビジョン受像機前方の監視領域内を
   周期的に撮像する撮像装置と、 視聴者の存在しない前記監視領域内の前記撮像装置によ
   る撮像画像を記憶する背景画像記憶手段と、 前記撮像装置で撮像して得られた画像と前記背景画像記
   憶手段に記憶されている撮像画像とに基づいて視聴者の
   存在の有無を判別する視聴者存在検出手段と、 該視聴者存在検出手段により視聴者が存在すると判別さ
   れた前記撮像装置の撮像画像中から個人の顔画像を検出
   する顔画像検出手段と、 所定の個人の顔画像の特徴を予め記憶してある個人特徴
   記憶手段と、 前記顔画像検出手段で検出された顔画像の特徴と前記個
   人特徴記憶手段に記憶されている顔画像の特徴とから、
   画像認識により、前記テレビジョン受像機を視聴中の個
   人が前記所定の個人のうちの何れの者であるかを特定す
   る特定手段と、 位置登録テーブルと、 特定された個人の顔画像の撮像画像内での最新の位置
   を、特定された個人の識別子に対応させて前記位置登録
   テーブルに登録する位置登録手段と、 前記特定手段で特定不能であった個人の顔画像につい
   て、その顔画像の撮像画像内での位置又はその近傍を登
   録位置とする個人の識別子が前記位置登録テーブルに登
   録されているか否かを調べ、登録されていることによ
   り、該登録されている個人の識別子を、前記特定不能で
   あった個人の特定結果と見做す見做し特定手段とを備え
   ることを特徴とするテレビジョン受像機の視聴者特定装
   置。
3. 【請求項３】 前記テレビジョン受像機のチャンネル情
   報を検出するテレビセンサと、 前記特定手段および前記見做し特定手段で特定された個
   人の識別子と前記テレビセンサで検出されたチャンネル
   情報と時刻データとを含む視聴状況データを視聴状況記
   録手段に記録する制御手段とを備えることを特徴とする
   請求項２記載のテレビジョン受像機の視聴者特定装置。