JPH04329039A - 視聴率調査装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はテレビなどの視聴状態を
自動的に調査することのできる視聴率調査装置に関する
ものである。

【０００２】

【従来の技術】従来、各家庭のテレビの前に設置しテレ
ビなどの視聴状態を自動的に調査することのできる視聴
率調査装置では、テレビ受像機のオン／オフ情報、現在
どのチャンネルを視聴しているかというチャンネル情報
、時間情報、超音波あるいは赤外線センサによる人数情
報をホストコンピュータに伝送し、これらの情報から視
聴率のデータを得るのが一般的であった。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
た構成の従来の視聴率調査装置では、装置の構成上テレ
ビを視聴しているのが視聴率調査対象者（モニター）の
誰であるかまでは判断できないため、ある特定のテレビ
番組あるいはコマーシャルを見ている人の性別や年代は
全くわからず、その結果より高度な視聴率のデータを得
ることができない問題があった。

【０００４】本発明の目的は上述した課題を解消して、
従来の視聴率調査装置で判定可能なデータに加えて視聴
者の性別や年代までも特定でき、高度な視聴率のデータ
を得ることのできる視聴率調査装置を提供しようとする
ものである。

【０００５】

【課題を解決するための手段】本発明の視聴率調査装置
は、撮像手段と、この撮像手段より得られた画像から人
物の顔面に対応する画像を抽出する抽出手段と、この抽
出手段より抽出された顔画像が予め登録された人物の内
の誰であるかを判定するニューラルネットワーク装置か
らなる判定手段と、この判定手段による判定結果と、テ
レビ受像機のオン／オフ情報と、チャンネル情報と、時
刻情報とを記憶する記憶手段と、この記憶手段に記憶し
たデータをホストコンピュータに伝送する伝送手段を有
することを特徴とするものである。

【０００６】

【作用】上述した構成において、ニューラルネットワー
ク装置からなる判定手段により、予め登録した視聴対象
者全員の顔画像から撮像手段で撮像した人物を特定でき
るため、どのテレビ番組を誰が見ていたかまで正確に判
定することができ、一歩進んだ高度の視聴率のデータを
得ることができる。

【０００７】

【実施例】図１は本発明の視聴率調査装置の一例の構成
を示すブロック図である。図１に示す例において、ＣＣ
Ｄカメラ１により撮像されたテレビの視聴の様子の画像
はＡ／Ｄ変換器２によりディジタル画像に変換され、一
画素ずつ色補正器４に供給される。一方、ＣＣＤカメラ
１によって撮像されている場所の照明光は、外部光セン
サ３によって検出される。図２は本発明で使用する外部
光センサ３の一例の構成を説明するためのブロック図で
ある。外部光は白色拡散板２０により拡散され、３種類
の色フィルタ、すなわち赤色フィルタ２１、緑色フィル
タ２２、青色フィルタ２３を通して、それぞれＲ光、Ｇ
光、Ｂ光に分けられる。それらＲ光、Ｇ光、Ｂ光は、そ
れぞれ光学系２４ａ〜２４ｃを通してフォトセンサ２５
ａ〜２５ｃに入力する。フォトセンサ２５ａ〜２５ｃの
出力は、Ａ／Ｄ変換器２６ａ〜２６ｃによってディジタ
ル量に変換され、上述した色補正器４に供給されるよう
構成されている。

【０００８】色補正器４では、ＣＣＤカメラ１で撮像さ
れ、Ａ／Ｄ変換器２でディジタル量に変換された画素に
対し、外部光センサ３よりのＲ光、Ｇ光、Ｂ光の強さの
データをもとにして白バランスの調節が行われ、テレビ
視聴現場の照明の色温度が後述する視聴者の登録時の照
明と同じ色温度となるように補正している。色補正され
た画素は変換器５に供給される。変換器５では、供給さ
れた画素のＲＧＢ値を、明度、彩度、色相の値（色度値
）　に変換する。

【０００９】図３（ａ）、（ｂ）は変換器５における変
換の原理を説明するための図である。図３（ａ）に示す
ように、カラー画像一画素のＲＧＢ値は、ＲＧＢ直交座
標系において１点Ｃで表されるので、ＲＧＢ直交座標系
の原点ＯとＣとを結ぶカラーベクトルを考えれば、この
カラーベクトルの明度軸への射影がその画素の明度とな
る。なお、ここで明度軸とは、ＲＧＢ直交座標系で原点
Ｏから座標（１，１，１）方向に伸ばした軸のことをい
う。一方、Ｒ軸、Ｇ軸、Ｂ軸上のそれぞれの座標値１を
通る平面を考えると、この平面は明度軸と直交している
。この平面と明度軸との交点をＱ、カラーベクトルとの
交点をＰとすると、ＰＱの長さが彩度となる。また、Ｑ
と平面のＲ軸との交点を結ぶ直線と直線ＰＱとのなす角
度が色相を表す。なお、色相を表す原点としては、上述
したようにＱと平面のＲ軸との交点を結ぶ直線のみが許
されるのではなく、一般にはＱを始点とする上記平面上
の任意の直線で良い。

【００１０】次に、変換器５で変換された色度値情報は
弁別器７に供給され、弁別器７において、色度メモリ６
に記憶されている、予め登録されている人間の顔面の皮
膚の色度値情報と比較される。ここでは、照明光の影響
を除くために、色度値情報中の彩度と色相のみが比較さ
れる。色度メモリ６に予め記憶されている色度値情報は
、本発明の視聴率調査装置１台が受け持つ、視聴率調査
の対象となるモニター全員の顔面の皮膚の彩度と彩度の
許容値および色相と色相の許容値から構成されている。 変換器５から供給された彩度および色相の値が色度メモ
リ６に記憶されている彩度と色相の範囲の組のいずれか
に入れば、変換器５から供給された彩度および色相の情
報は、画像メモリ８の現在処理している画素に対応する
番地に記憶され、色度メモリ６に記憶されている彩度と
色相の範囲の組のいずれにも入っていなければ、画像メ
モリ８の現在処理している画素に対応する番地に、彩度
、色相とも０が記憶される。

【００１１】以上の色補正、変換、弁別の動作がＣＣＤ
カメラ１で撮像された画像のすべての画素について行わ
れ、画素メモリ６に予め登録されているモニターの顔の
皮膚と同等または同等に近い彩度および色相の部分が抜
き出された画像が画像メモリ８に記憶される。

【００１２】抽出器１３は画像メモリ８に記憶されてい
る画像データに対してラベル付けを行い、顔画像の候補
となる部分画像の抽出を行う。すなわち、彩度、色相が
０でない画素に対して、隣合う画素には同一のラベルを
割り当て、隣合わない画素には異なるラベルを割り当て
ていく。このことにより、同一ラベルは連続的につなが
った画像領域を表し、異なったラベルの画像同士は連結
しない画像を得ることができる。正規化器９は、画像メ
モリ８より同一ラベルが付けられた部分画像ＰＩを順次
読みだし、その画像の面積の値がＣＣＤカメラ１の光学
系及び視聴現場の広さによって決まる人間の顔面の面積
の値の範囲に含まれる場合には、部分画像ＰＩに内接し
、面積が最大となる長方形画像領域を切り出し、画像領
域よりも小さい所定の大きさｈ×ｌとなるようにブロッ
ク化する。各ブロックの値は、そのブロックに含まれる
画素の平均値及び色相の平均値として求めている。一方
、同一ラベルが付けられた部分画像ＰＩの面積が、ＣＣ
Ｄカメラ１の光学系及び視聴現場の広さによって決まる
人間の顔面の面積の値の範囲外となる場合は、次のラベ
ルに対応する部分画像が画像メモリ８よりよみ出され、
その部分画像に対して上記判定と同一の処理が行われる
。このようにして求めた、ラベル毎のｈ×ｌの全てのブ
ロックの彩度の平均値および色相の平均値がニューラル
ネットワーク１０に供給される。

【００１３】図４は本発明において使用するニューラル
ネットワークの一例の構成を示す図であり、ニューロン
ユニット３０ａ〜３０ｎが中間層を形成し、ニューロン
ユニット３１ａ〜３１ｍが出力層を形成している。出力
層のニューロンユニットの数は、調査対象者の個人識別
を行う場合には調査対象者の人数とし、個人識別を行わ
ず例えば性別のみの判定で良い場合には２個で良い。一
般には、判定するカテゴリー数を出力層のニューロンユ
ニットの数とする。各ニューロンユニットは、以下の

【
数１】 の計算を実行する。ここで、ｘｉはｉ番目の入力、ｗｉ
はｉ番目の入力に対する重み、Ｎは入力の数、θはニュ
ーロンユニットのしきい値、ｙはニューロンユニットの
出力、ｆは

【数２】 に示すシグモイド関数である。

【００１４】図５は本発明に使用するニューロンユニッ
トの一例の構成を示すブロック図である。図１に示す例
において、正規化器９より送られてきた彩度および色相
を示すｈ×ｌ×２個のデータは、ニューロンユニット３
０ａ〜３０ｎに入力される。各ニューロンユニット３０
ａ〜３０ｎでは、図５に示すように、入力されたｈ×ｌ
×２個のデータを入力バッファ４０を介してデータメモ
リ４１に記憶する。演算器４２では、データメモリ４１
に記憶されたｈ×ｌ×２個のデータを、予め重みメモリ
４５に記憶されているｈ×ｌ×２個の重みデータと、予
めしきい値メモリ４４に記憶されているしきい値θと、
予め関数メモリ４６に記憶されているｆとを用いて、数
１に基づき計算し、数１の出力ｙを出力バッファ４３を
介して出力する。

【００１５】出力層のニューロンユニット３１ａ〜３１
ｍは、中間層のニューロンユニット３０ａ〜３０ｎの出
力値を入力として、上述した中間層のニューロンユニッ
トと同様の処理を実行する。中間層のニューロンユニッ
トの数がＮ個の場合、中間層から送られてきたＮ個のデ
ータは、各ニューロンユニット３１ａ〜３１ｍに入力さ
れる。各ニューロンユニット３１ａ〜３１ｍでは、入力
バッファ４０を介してデータメモリ４１に先のＮ個のデ
ータを記憶する。演算器４２では、データメモリ４１に
記憶されたＮ個のデータを、予め重みメモリ４５に記憶
されているＮ個の重みデータと、予めしきい値メモリ４
５に記憶されているしきい値θと。予め関数メモリ４６
に記憶されているｆとを用いて、数１に基づき計算し、
数１の出力ｙを出力バッファ４３を介して出力する。出
力層の各ユニットの出力は、図４に示すように、符号化
器３２により所定の方法で符号化され識別結果データと
なる。

【００１６】上記識別プロセスが、画像メモリ８の全て
のラベルが付けられた部分画像について繰り返され、得
られた識別情報は、図１に示すように、時計１５の時刻
情報とテレビ受像器の電源オン／オフ情報及びチャンネ
ル情報とともにメモリ１１に記憶される。メモリ１１に
記憶されたデータは所定時間毎に通信器１２を介してホ
ストコンピュータ１７に送られる。ホストコンピュータ
１７は多数の視聴率調査装置からのデータを収集処理し
て、最終的な視聴率を求めている。なお、ニューラルネ
ットワーク１０には、視聴率調査に先だって以下に述べ
る学習を行っておく必要がある。

【００１７】まず、学習の基礎データとして、上述した
方法と同じ方法で正規化器９でｈ×ｌのブロックに切り
出された顔画像を、例えばＭ人のモニターについて表情
の異なるＰパターンのＭ×Ｐだけ収集し、学習器１４に
記憶する。この時、外部センサ３で得られた照明光のＲ
光、Ｇ光、Ｂ光の値を前記の色温度補正に用いるために
色補正器４に記憶しておく。なお、学習データ撮影時の
背景としては、人間の顔の彩度及び色相と大きく異なる
ものを用いると好ましい。学習器１４では、ラメルハー
ト（Ｒｕｍｅｌｈａｒｔ　）らによって考案されたバッ
クプロパゲーションアルゴリズムが実行され、ニューラ
ルネットワーク１０のニューロンユニット３０ａ〜３０
ｎ及び３１ａ〜３１ｍの重みとしきい値が求められる。 バックプロパゲーションアルゴリズムでは

【数３】 が最小となるように、各ニューロンの重みおよびしきい
値を最急降下法にしたがって変化させる。ここで、Ｙｉ
は学習データベクトルＸｉをニューラルネットに与えた
時のニューラルネットワークの出力パターンベクトルで
あり、Ｄｉは学習データベクトルＸｉに対するニューラ
ルネットワークの望ましい出力ベクトルである。

【００１８】最急降下法による重みの更新量Δｗは

【数
４】 である。上記数４の計算を出力層のニューロンｊの入力
端子ｉについて実行すると、重みの変化量Δｗｊｉは

【
数５】 で与えられ、中間層のニューロンｉの入力端子ｈについ
ては

【数６】 となる。ここで、ｙｓ　ｊ　、ｙｓ　ｉ　はそれぞれ学
習データｘｓ　をニューラルネットワークに入力した時
の出力層のユニットｊ，中間層のユニットｉの出力であ
る。ｙｓ　ｈ　はｘｓ　のｈ番目の要素であり、ｍは出
力ユニットの数である。なお、しきい値については、各
ニューロンに対して常にー１が入力する端子の重みと考
えれば、上述した数５および数６によって求めることが
できる。

【００１９】それぞれの重みに対して数５および数６を
繰り返して実行し、数３のＥが十分に小さくなったとこ
ろで終了し、その時得られた重みの値を各ニューロンユ
ニットの重みメモリ４５およびしきい値メモリ４４に記
憶する。なお、上記の重みの更新処理に先だって、各重
みは乱数によって初期化しておく。上述した学習処理を
実行することにより、ニューラルネットワーク１０は識
別能力を有するようになり、個人識別可能な視聴率調査
装置を実現することができる。

【００２０】

【発明の効果】以上の説明から明らかなように、本発明
の視聴率調査装置によれば、撮像装置で撮像した顔画像
をニューラルネットワークにより予め登録した視聴率対
象者の誰であるかを特定できるように構成したため、従
来の視聴率データに加えてどのテレビ番組を誰が観てい
るかや視聴者の性別や年代まで知ることができるため、
高度な視聴率のデータを得ることができる。

【図面の簡単な説明】

【図１】本発明の視聴率調査装置の一例の構成を示すブ
ロック図である。

【図２】本発明で使用する外部光センサの一例の構成を
説明するためのブロック図である。

【図３】（ａ）は変換器５における変換の原理を説明す
るための図であり、（ｂ）は同じく変換器５における変
換の原理を説明するための図である。

【図４】本発明で使用するニューラルネットワークの一
例の構成を示す図である。

【図５】本発明で使用するニューロンユニットの一例の
構成を示すブロック図である。

【符号の説明】

１　　ＣＣＤカメラ ７　　弁別器 ８　　画像メモリ ９　　正規化器 １０　　ニューラルネットワーク １１　　メモリ １２　　通信器

Claims (2)

【特許請求の範囲】
1. 【請求項１】　　撮像手段と、この撮像手段より得られ
   た画像から人物の顔面に対応する画像を抽出する抽出手
   段と、この抽出手段より抽出された顔画像が予め登録さ
   れた人物の内の誰であるかを判定するニューラルネット
   ワーク装置からなる判定手段と、この判定手段による判
   定結果と、テレビ受像機のオン／オフ情報と、チャンネ
   ル情報と、時刻情報とを記憶する記憶手段と、この記憶
   手段に記憶したデータをホストコンピュータに伝送する
   伝送手段を有することを特徴とする視聴率調査装置。
2. 【請求項２】　　前記判定手段を構成するニューラルネ
   ットワーク装置が、画像によって学習する手段を有する
   請求項１記載の視聴率調査装置。