JPH08161500A

JPH08161500A - 物体認識装置

Info

Publication number: JPH08161500A
Application number: JP6301145A
Authority: JP
Inventors: Hiroshi Uchino; 浩志内野
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 1994-12-05
Filing date: 1994-12-05
Publication date: 1996-06-21

Abstract

(57)【要約】【目的】目的とする対象物に関する情報を記憶してお
き、情報を解析することにより市場調査等の各種調査を
可能にする。【構成】センサユニット部２の狹角カラービデオカメラ
２２で取り込まれた画像情報から画像処理部３の色抽出
回路３４で所定の色領域が抽出され、この抽出領域の画
像情報と放射温度計２１で測温された温度情報とにより
ＣＰＵ(II)３６で目的とする対象物（人間の顔）が認識
される。対象物が認識される毎に画像処理部３からホス
トコンピュータ部４に起動命令が出力され、当該対象物
の画像情報が取込時刻とともに、順次、画像記憶装置８
に記憶される。この画像情報及び時刻情報を解析するこ
とにより顧客動向等の市場調査を可能にした。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば色、温度、距離
等の物体に関する情報を遠隔的に検出し、この検出情報
から目的とする対象物を認識する物体認識装置に関する
ものである。

【０００２】

【従来の技術】従来、ビデオカメラと放射温度計とを用
いて対象物の画像情報と温度情報とを取り込み、これら
画像情報及び温度情報から対象物の認識を行う物体認識
装置が提案されている。

【０００３】例えば、特開平５−２９７１５２号公報に
は、カラービデオカメラを放射温度計のファインダ部に
取り付けるとともに、このファインダ部の前方に対象物
からの光及び赤外線をカラービデオカメラ及び放射温度
計に導くミラーを設け、カラービデオカメラで色、大き
さ、形状等の情報を検出するとともに、放射温度計で温
度を検出し、これら色、大きさ、形状及び温度の情報か
ら対象物を、例えば人物であるか否か等の認識する物体
認識装置が提案されている。

【０００４】上記物体認識装置は、放射温度計のファイ
ンダ部の画面中央に温度検出ポイントが設けられ、上記
ミラーの反射角を制御して対象物を撮影画面の中央に配
置することにより該対象物の同一ポイントにおける画像
情報及び温度情報が検出されるようになっている。

【０００５】

【発明が解決しようとする課題】上記特開平５−２９７
１５２号公報の物体認識装置は、画像情報及び温度情報
から目的とする対象物を認識し、この認識結果に基づい
て当該対象物を監視するもので、目的とする対象物に関
する情報（例えば対象物が認識された時刻、対象物の
色、大きさ、形状、温度等）を記憶したり、記憶した情
報を利用する機能は有していない。

【０００６】生産現場における産業用ロボットや銀行、
コンビニエンスストア等の防犯システムにおいては、所
定範囲の被写体の監視を主目的とすることから、上記従
来の物体認識装置でシステムを構築することも可能であ
るが、例えば商品販売における市場調査として販売現場
の顧客に関する情報を収集するような場合、対象物に関
する情報の記憶機能及び記憶された情報の解析機能を有
していないので、上記従来の物体認識装置でシステムを
構築することは困難である。

【０００７】一方、監視カメラ等には録画機能を有し、
撮影した画像を一定時間分だけ記録するものが知られて
いるが、かかる監視カメラは、単に撮像画像を録画する
のみで、対象物に関する情報が有効に記憶されず、しか
も解析内容に応じて必要な情報を分類して記憶されない
ので、情報解析能力、解析精度の点で問題があり、上記
市場調査解析用のシステムに適用することは困難であ
る。

【０００８】本発明は、上記課題に鑑みてなされたもの
であり、認識精度が高く、しかも装置の汎用性、応用性
に優れた物体認識装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明は、画像を取り込
む画像取込手段と、記憶手段と、画像取込手段により取
り込まれた画像の中から目的とする対象物の画像を抽出
する画像抽出手段と、抽出画像から対象物を認識する物
体認識手段と、認識された対象物に関する情報を取り込
む情報取込手段と、取り込まれた上記対象物に関する情
報を上記記憶手段に記憶させる記憶制御手段とを備えた
ものである。

【００１０】

【作用】本発明によれば、注視方向の所定範囲内の被写
体の画像が取り込まれると、この画像の中から目的とす
る対象物の画像が抽出される。また、抽出された対象物
の画像から当該対象物が目的とする対象物であるか否か
の判別（認識）が行われる。そして、抽出画像が目的と
する対象物の画像であると認識されると、当該対象物に
関する情報、例えば色、大きさ、形状等の画像情報や画
像が取り込まれた時刻等の情報が取り込まれ、この情報
が記憶手段に記憶される。

【００１１】

【実施例】本発明に係る物体認識装置について、銀行や
コンビニエンスストア等に適用される防犯用の監視シス
テムを例に説明する。

【００１２】図１は、本発明に係る監視システムのブロ
ック構成図である。監視システム１は、対象物の色、大
きさ、形状、温度等の属性に関する情報を取り込むセン
サユニット部２と、上記情報を取り込むセンサの駆動制
御や対象物の認識を行うべく取り込まれた情報を用いて
各種の演算処理及び画像処理を行う画像処理部３と、セ
ンサユニット部２で取り込まれた画像情報や温度情報、
該画像情報等が取り込まれた時間等の対象物に関する各
種情報の記憶及びプリンタ、モニタへの出力、記憶され
た情報の解析等の各種処理を行うホストコンピュータ部
４とからなる。

【００１３】ホストコンピュータ部４には、キーボード
５、プリンタ６、モニタ用ディスプレイ７及び画像記憶
装置８（記憶手段）が外部接続されている。

【００１４】センサユニット部２は、対象物の画像情報
及び温度情報を取り込むもので、温度情報の取込装置と
して放射温度計２１を備え、画像情報の取込装置として
２台のビデオカメラ、すなわち、狭角カラービデオカメ
ラ２２と広角カラービデオカメラ２３とを備えている。

【００１５】広角カラービデオカメラ２３は、広い視野
で対象物をサーチするもので、例えば水平画角６０°以
上の単焦点撮影レンズを有し、図２に示すように、広い
画角ＧＡ１で対象物の画像を取り込む。広角カラービデ
オカメラ２３は、後述するように、水平方向（以下、パ
ン方向という）に回転可能な基台に固定され、この基台
を旋回させることにより監視方向（光軸Ｌ０の方向）が
変更可能になっている。

【００１６】一方、狭角カラービデオカメラ２２（画像
取込手段）は、広角カラービデオカメラ２３で監視して
いる範囲内にある一部の対象物を注視するもので、広角
カラービデオカメラ２３より水平画角の狭いズームレン
ズを有している。狭角カラービデオカメラ２２は、図２
に示すように、上記画角ＧＡ１より狭い画角ＧＡ２で上
記広角カラービデオカメラ２３の画角ＧＡ１内に含まれ
る任意の対象物の画像を取り込む。

【００１７】狭角カラービデオカメラ２２は、例えば図
３に示す自動焦点調節（ＡＦ）機構を備え、注視してい
る対象物に自動的に合焦されるようになっている。

【００１８】すなわち、レンズ繰出装置２２５により撮
影レンズ２２１を移動させながらＣＣＤ等の撮像素子２
２２で対象物が所定周期で撮像され、この撮像された映
像信号は、アンプ２２３で増幅された後、映像信号レベ
ル検出器２２４に入力される。映像信号レベル検出器２
２４では画面中央に設けられた測距エリア内で映像信号
の高周波成分を抽出し、その信号レベルを検出信号とし
て出力する。そして、この検出信号はレンズ位置制御回
路２２８に入力される。

【００１９】一方、撮影レンズのレンズ位置はレンズ位
置検出器２２６で検出され、この検出信号は、アンプ２
２７で増幅された後、上記レンズ位置制御回路２２８に
入力される。レンズ位置制御回路２２８は、レンズ位置
の情報に基づきレンズ繰出装置２２５を介して撮影レン
ズ２２１を前後方向に移動させて上記高周波成分が最大
となる位置（合焦位置）に設定する。

【００２０】なお、広角カラービデオカメラ２３も上記
と同様の自動焦点調節（ＡＦ）機構を備えている。ま
た、広角カラービデオカメラ２３の撮影レンズもズーム
レンズで構成し、画角調整可能にしてもよい。

【００２１】放射温度計２１は、対象物から放射される
赤外線を受光し、この赤外線エネルギーから対象物の表
面温度を計測するものである。放射温度計２１は、光軸
Ｌ２と対象物との交点をスポット的に測温するようにな
され、測温ポイントは、後述するように、狭角カラービ
デオカメラ２２の撮影画面ＧＡ２内でチルト方向に変更
可能になっている。放射温度計２１で測温された温度情
報は、センサユニット部２の制御回路（ＣＰＵ(I)）２
７（以下、ＣＰＵ(I)２７という）に入力される。

【００２２】すなわち、監視システム１は、広角カラー
ビデオカメラ２３により広い範囲の画像を取り込み、こ
の広角画像から監視範囲ＧＡ１内に注視すべき対象物、
例えば人物の顔があるか否かを判別し、注視すべき対象
物があると判断されると、当該対象物の狭角画像を狭角
カラービデオカメラ２２で取り込むとともに、放射温度
計２１で温度を計測し、これら画像情報と温度情報とに
基づいて当該対象物が人間の顔であるか否かの認識を行
うようになっている。

【００２３】測温方向移動装置２４は、上記放射温度計
２１の測温方向をチルト方向に所定範囲内で移動させる
ものである。測距回路２５は、狭角カラービデオカメラ
２２が注視している対象物までの距離を測定するもので
ある。測距回路２５は、狭角カラービデオカメラ２２の
ＡＦ機構で検出される合焦位置の情報（図３のアンプ２
２７の出力）に基づいて狭角カラービデオカメラ２２か
ら対象物までの実際の距離Ｄ（mm）を検出する。測距回
路２５で検出された対象物までの距離Ｄは、ＣＰＵ(I)
２７に入力される。

【００２４】上記放射温度計２１、狭角カラービデオカ
メラ２２、測温方向移動装置２４及び測距回路２５は、
目的とする対象物に関する画像情報と温度情報とを取り
込むもので、これらの装置で注視点測定ユニットＵ１を
構成している。

【００２５】注視方向移動装置２６は、注視点測定ユニ
ットＵ１の注視方向（光軸Ｌ１の方向）を移動する装置
である。注視点測定ユニットＵ１は、パン方向及びチル
ト方向に回動可能になされ、パン方向移動とチルト方向
移動とを組み合わせて任意の方向に注視方向が移動され
るようになっている。注視方向移動装置２６は、ＣＰＵ
(I)２７から入力される旋回制御値（パン方向及びチル
ト方向の各回動量）に基づいて注視点測定ユニットＵ１
の注視方向を変更する。

【００２６】ＣＰＵ(I)２７は、センサユニット部２の
動作を集中制御する制御回路である。ＣＰＵ(I)２７
は、放射温度計２１から入力された温度情報及び測距回
路２５から入力された対象物までの距離情報を解析し、
これら温度情報及び距離情報をシリアルインターフェー
スを介して画像処理部３に出力する。また、画像処理部
３からの注視方向制御命令を受けて注視方向移動装置２
６の駆動を制御し、注視点測定ユニットＵ１を目的とす
る対象物の方向に制御する。更に、狭角カラービデオカ
メラ２２のズーム位置を調節（画角調節）して、目的と
する対象物の撮影画面ＧＡ２内における大きさを好適な
大きさにする。

【００２７】図４は、測定ブロックの構造の一例を示す
一部破断した斜視図である。同図において、基台９は、
不図示の駆動機構により水平面内で回動可能になされ、
基台９を回動させてカラービデオカメラ２２，２３の注
視方向が変更されるようになっている。広角カラービデ
オカメラ２３は、基台９に固着され、基台９と一体的に
回転するようになっている。また、注視点測定ユニット
Ｕ１及び注視方向移動装置２６は、上記広角カラービデ
オカメラ２３の上部に固定された箱体１０内に設けられ
ている。箱体１０も基台９の回転に応じて一体的に回転
する。

【００２８】図５は、注視点測定ユニットＵ１の内部構
造の概略図である。注視点測定ユニットＵ１の箱体１１
内の下部に、該箱体１１の前面に撮影レンズ２２１を露
出させて狭角カラービデオカメラ２２が固定され、この
狭角カラービデオカメラ２２の上部に、箱体１１の前面
に受光窓２１Ａを露出させて放射温度計２１がチルト方
向に回動可能に取り付けられている。

【００２９】放射温度計２１は、両側面の適所に回動軸
２１１が突設され、この回動軸２１１の先端は箱体１１
に回動可能に支持されている。なお、回動軸２１１を放
射温度計２１の両側面に回動可能に突設し、この回動軸
２１１の先端を箱体１１に固着してもよい。

【００３０】放射温度計２１の背面の中央位置（光軸Ｌ
２が交差する位置）にレバー２１２が突設され、このレ
バー２１２の先端部の下方位置に偏心カム２４２が設け
られている。

【００３１】また、放射温度計２１の上面前端部は、箱
体１１の上面適所に吊着されたバネ２１３により上方に
付勢されている。従って、レバー２１２は、バネ２１３
の付勢力により回動軸２１１を中心に時計廻りに回転し
て上記偏心カム２４２の周面に圧接されている。

【００３２】偏心カム２４２は、箱体１１に回動可能に
支持された回動軸２４１に固着され、回動軸２４１と一
体的に回転するようになっている。回動軸２４１は、レ
バー２１２と偏心カム２４２との圧接点が最下点にきた
とき、レバー２１２が光軸Ｌ１と平行になる位置に設け
られている。従って、放射温度計２１の測温方向（光軸
Ｌ２）は、水平方向よりも下方向にチルト移動可能にな
っている。

【００３３】回動軸２４１はギヤードモータ２４３の出
力軸と一体となっており、ギヤードモータ２４３の駆動
によって回動軸２４１と偏心カム２４２とを回転し、こ
れにより放射温度計２１の測温方向が変化する。放射温
度計２１の測温方向は、レバー２１２の水平軸（回動軸
２１１を通る光軸Ｌ１に平行な軸）に対する傾斜角γを
調整して制御される。

【００３４】なお、上記傾斜角γが０°となる偏心カム
２４２の回転位置（最小半径となる周面位置Ｐr１が最
上点になる位置）を回転基準位置とすると、上記傾斜角
γは、偏心カム２４２の上記回転基準位置からの回転角
ηに従って変化するから、具体的には上記回転角ηを制
御して放射温度計２１の測温方向が調整される。

【００３５】図６は、偏心カム２４２の回転角と測温方
向との関係を示す図である。放射温度計２１の測温方向
が傾斜していると、光軸Ｌ１と光軸Ｌ２とが交差し、こ
の交点と狭角カラービデオカメラ２２間の距離Ｄは、上
記傾斜角γの増加（又は減少）に応じて減少（又は増
加）する。

【００３６】物体認識を高精度で行うためには、対象物
上の同一点で画像情報及び温度情報が取り込まれる必要
があるから、上記傾斜角γは上記交点が対象物上で生じ
るように制御される。この場合、上記距離は、狭角カラ
ービデオカメラ２２から測定対象物までの距離Ｄとな
り、上記傾斜角γは放射温度計２１の測温方向の補正角
（視差補正角）となる。

【００３７】図６は、放射温度計２１の測温方向を示す
変数として上記測定対象物までの距離Ｄを取り、回転角
ηと距離Ｄとの関係を示している。

【００３８】同図において、回転角η＝０°，３６０°
は、偏心カム２４２の最小半径となる周面位置Ｐr１が
最上点にあり、放射温度計２１の測温方向（光軸Ｌ２）
は、傾斜角γが０°（狭角カラービデオカメラ２２の光
軸Ｌ１と平行）となる位置である。また、同図では、偏
心カム２４２の回転方向を図中、反時計廻りを正として
おり、回転角ηが１８０°を少し越えた付近（偏心カム
２４２の最大半径となる周面位置Ｐr２が最上点を少し
越えた位置）でレバー２１２の傾斜角γは最大となる。

【００３９】測距回路２５により測定対象物までの距離
Ｄが算出されると、この距離Ｄと図６から偏心カム２４
２の回転角ηto（制御の目標となる回転角）が決定され
るから、偏心カム２４２を現在の回転角ηtから当該目
標の回転角ηtoに回転駆動することにより放射温度計２
１の測温方向の調整が行われる。

【００４０】図４に戻り、注視点測定ユニットＵ１は、
箱体１０内に旋回可能に取り付けられている。注視点測
定ユニットＵ１の旋回機構は、注視点測定ユニットＵ１
の注視方向をパン方向に移動させる中空の四角形の枠体
１２、上記注視方向をチルト向に移動させる半円形に湾
曲したＵ字型のガイド部材１３、上記枠体１２の駆動機
構１４及び上記ガイド部材１３の駆動機構１５から構成
されている。

【００４１】注視点測定ユニットＵ１に、図７に示すよ
うに、狭角カラービデオカメラ２２の光軸Ｌ１をＸ軸と
するＸＹＺ直交座標を設定すると、箱体１１の左右の両
側面であってＹ軸と交差する位置に回動軸１１１が回動
可能に突設され、注視点測定ユニットＵ１は、上記枠体
１２の中空部内に嵌装され、上記回動軸１１１の先端部
を枠体１２の側面に固定して枠体１２に回動可能に支持
されている。なお、回動軸１１１を箱体１１に固設し、
回動軸１１１の先端部を枠体１２に回動可能に支持させ
るようにしてもよい。なお、Ｙ軸及びＺ軸は、狭角カラ
ービデオカメラ２２に内蔵された長方形状の撮像素子２
２２の横方向の辺と縦方向の辺とにそれぞれ平行になっ
ている。

【００４２】狭角カラービデオカメラ２２の光軸Ｌ１が
正面方向（広角カラービデオカメラ２３の光軸Ｌ０と平
行な方向）を向いているときのＸ軸、Ｙ軸及びＺ軸で構
成される直交座標系をＵＶＷ座標系とすると（図７参
照）、枠体１２は、上下の両側面の中央位置（ＵＶＷ座
標系のＷ軸が交差する位置）にプーリ１４２，１４３が
固着された回動軸１４１が突設され、この回動軸１４１
が箱体１０の天板と底板とにそれぞれ回動可能に支持さ
れて、パン方向に回動可能になされている。これにより
枠体１２をＷ軸の廻りに回動させて注視点測定ユニット
Ｕ１の光軸Ｌ１がパン方向に移動するようになってい
る。

【００４３】また、上記枠体１２の外側には上記Ｕ字型
のガイド部材１３が設けられている。ガイド部材１３
は、枠体１２の後側に湾曲したガイド部１３１が形成さ
れるように設けられている。ガイド部材１３は、その両
端部の外側にプーリ１５２，１５３が固着された回動軸
１５１が突設され、この回動軸１５１を、箱体１０の左
右の両側板であって上記ＵＶＷ座標系のＶ軸が交差する
位置にそれぞれ回動可能に支持させて箱体１０内に取り
付けられている。

【００４４】ガイド部材１３の湾曲したガイド部１３１
には長手方向に沿ってガイド溝１３２が穿設され（図７
参照）、このガイド溝１３２には、箱体１１の後側面で
あって光軸Ｌ１（Ｘ軸）が交差する位置に突設された棒
状の係合部材１６が摺動可能に係合されている。すなわ
ち、図９に示すように、係合部材１６の先端部に回動可
能に設けられた円筒状のコロ１６２がガイド部材１３の
ガイド溝１３２に貫通されている。

【００４５】これによりガイド部材１３をＶ軸の廻りに
回動させると、係合部材１６が回動し、注視点測定ユニ
ットＵ１がＹ軸の廻りに回動して放射温度計２１及び狭
角カラービデオカメラ２２の注視方向がチルト方向に移
動するようになっている。

【００４６】箱体１０内であって枠体１２の後方位置に
は、上記プーリ１４２，１４３の回動軸１４１と平行に
軸１４４が回動可能に取り付けられている。この軸１４
４の両端部であってプーリ１４２，１４３との平行位置
にプーリ１４５，１４６が固着され、更にプーリ１４５
の近傍位置にギヤ１４７が固着されている。プーリ１４
２とプーリ１４５間及びプーリ１４３とプーリ１４６間
にはそれぞれタイミングベルトＴＢ１，ＴＢ２が架設さ
れ、ギヤ１４７にはギヤードモータ１４９の駆動ギヤ１
４８が噛合されている。また、タイミングベルトＴＢ１
には枠体１２のパン方向の回転角を検出するパン回転角
検出器１７が噛合されている。

【００４７】また、上記プーリ１５２，１５３の回転軸
１５１と平行に軸１５４が回動可能に取り付けられ、こ
の軸１５４の両端部であってプーリ１５２，１５３との
平行位置にプーリ１５５，１５６が固着され、更にプー
リ１５６の近傍位置にギヤ１５７が固着されている。プ
ーリ１５２とプーリ１５５間及びプーリ１５３とプーリ
１５６間にはそれぞれタイミングベルトＴＢ３，ＴＢ４
が架設され、ギヤ１５７にはギヤードモータ１５９の駆
動ギヤ１５８が噛合されている。また、タイミングベル
トＴＢ３には枠体１２のチルト方向の回転角を検出する
チルト回転角検出器１８が噛合されている。

【００４８】上記プーリ１４２，１４３，１４５，１４
６、軸１４４、ギヤ１４７、ギヤードモータ１４９及び
パン回転角検出器１７は、枠体１２の駆動機構、すなわ
ち、注視点測定ユニットＵ１のパン方向の駆動機構を構
成し、上記プーリ１５２，１５３，１５５，１５６、軸
１５４、ギヤ１５７、ギヤードモータ１５９及びチルト
回転角検出器１８は、ガイド部材１３の駆動機構、すな
わち、注視点測定ユニットＵ１のチルト方向の駆動機構
を構成している。

【００４９】パン回転角検出器１７及びチルト回転角検
出器１８の検出データは、不図示の制御ケーブルにより
ＣＰＵ(I)２７に出力される。ＣＰＵ(I)２７は、上記検
出データを用いてプーリ１４２又はプーリ１５３の回転
量を演算し、更にこの演算結果から光軸Ｌ１の正面方向
（広角カメラの光軸Ｌ２と平行な方向）に対する現在の
パン方向の回転角αとチルト方向の回転角θとを検出す
る。

【００５０】そして、注視点測定ユニットＵ１の注視方
向の制御（光軸Ｌ１のパン方向又はチルト方向の移動制
御）は、上記回転角α（又は回転角θ）に基づいてギヤ
ードモータ１４９（又はギヤードモータ１５９）の駆動
を制御することにより行われる。

【００５１】次に、上記構成において、注視点測定ユニ
ットＵ１をチルト方向に傾けた状態（角度θ≠０の状
態）でパン方向の移動を行ったときの光軸Ｌ１の軌跡に
ついて図７及び図８を用いて説明する。

【００５２】図７から明らかなように、枠体１２をＷ軸
の廻りに回転させると、注視点測定ユニットＵ１もＷ軸
の廻りに回転し、注視点測定ユニットＵ１の後側面から
突出された係合部材１６もＷ軸の廻りを回転する。この
とき、係合部材１６は、ガイド部材１３のガイド溝１３
２に係合し、このガイド溝１３２に沿って摺動するの
で、係合部材１６と同軸上にある光軸Ｌ１は、常にガイ
ド溝１３２及びＶ軸を含む平面内を移動する。

【００５３】角度θ＝０°においては、ガイド溝１３２
及びＶ軸を含む平面は水平であるから、光軸Ｌ１はＵＶ
平面内を移動するが、角度θ≠０°においては、ガイド
溝１３２及びＶ軸を含む平面は水平面に対して角度θだ
け傾斜するから、光軸Ｌ１は、水平面から角度θだけ傾
斜した平面内を移動する。

【００５４】図８において、Ｓ１はＵＶＷ座標における
Ｕ軸とＶ軸とからなるＵＶ平面である。また、Ｓ２は、
狭角カラービデオカメラ２２の注視方向の前方に仮想的
に設けられた、上記水平面Ｓ１と直交するＶ軸とＷ軸と
からなる垂直面である。ｘ軸及びｙ軸は垂直面Ｓ２上に
設けられた直交座標で、ｘ軸は水平面Ｓ１と垂直面２と
が交差する直線であり、ｙ軸はＵ軸と垂直面Ｓ２との交
点Ｏ′を通るｘ軸に垂直な直線である。従って、垂直面
Ｓ２は、Ｖ軸とＷ軸とからなるＶＷ平面に平行で、ｙ軸
は、Ｗ軸と平行になっている。

【００５５】また、Ｓ点は、狭角カラービデオカメラ２
２の光軸Ｌ１を正面方向（光軸Ｌ１がＵ軸と一致する方
向）の位置から仰角θだけ上側にチルト移動させたとき
の該光軸Ｌ１と垂直面Ｓ２との交点である。すなわち、
旋回制御の初期位置（θ＝α＝０°の位置）からガイド
部材１３をＶ軸を中心に、図中、時計廻りに角度θだけ
回動したときの光軸Ｌ１と垂直面Ｓ２との交点である。

【００５６】Ｒ点は、狭角カラービデオカメラ２２の光
軸Ｌ１を正面方向の位置から仰角θだけＵ軸に対して上
側にチルト移動させ、更に角度αだけＵ軸に対して反時
計方向にパン移動させたときの該光軸Ｌ１と垂直面Ｓ２
との交点である。すなわち、初期位置からガイド部材１
３を角度θだけ回動させた後、枠体１２をＷ軸を中心と
して反時計廻りに角度αだけ回動したときの光軸Ｌ１と
垂直面Ｓ２との交点である。

【００５７】ガイド部材１３の回転角θを保持した状態
で枠体１２をＷ軸の廻りに回動させたときの光軸Ｌ１と
垂直面Ｓ２との交点Ｒの軌跡は、光軸Ｌ１がガイド溝１
３２及びＶ軸を含む平面内にあるから、この平面、すな
わち、ＵＶＷ座標の原点ＯとＳ点及びＲ点とを含む平面
Ｓ３と垂直面Ｓ２との交線Ｈで表される。一方、平面Ｓ
３は水平面Ｓ１に対して上方に角度θだけ傾斜している
から、水平面Ｓ１と垂直面Ｓ２との交線ｘ軸と上記交線
Ｈとは平行になり、Ｒ点は水平移動することがわかる。

【００５８】なお、本実施例では、半円形のガイド部材
１３を用いたが、ガイド部材１３の形状は、半円形に限
定されるものではなく、半楕円形に湾曲したものやコ字
型に屈曲したものでもよい。また、本実施例では、ガイ
ド溝１３２に係合部材１６の先端部に回動可能に設けら
れた円筒状のコロ１６２を貫通させていたが、ガイド部
材１３と係合部材１６との係合構造はこの構造に限定さ
れるものではなく、例えば図１０や図１１に示す構造で
もよい。

【００５９】図１０に示す係合構造の第２実施例は、ガ
イド部材１３を、図７におけるＵＶＷ座標の原点Ｏを中
心とする半円形に湾曲した棒部材で構成するとともに、
係合部材１６の先端に、軸１６１の中心軸廻りに回転可
能なコロ保持体１６４を設け、更にこのコロ保持体１６
４に、軸１６１の中心軸に直交する軸廻りに回転可能に
保持されたコロ１６３を設け、このコロ１６３を湾曲し
たガイド部材１３に内側から当接させたものである。枠
体１２をパン方向に回動させると、係合部材１６のコロ
１６３がガイド部材１３上を回転移動し、狭角カラービ
デオカメラ２２の光軸Ｌ１が軸１６１とガイド部材１３
とを含む平面内でパン方向移動をするようになってい
る。

【００６０】図１１に示す係合構造の第３実施例は、図
１０の変形例で、ガイド部材１３は図１１のものと同一
形状をなしている。図１１のものは、係合部材１６の先
端部に、軸１６１の中心軸廻りに回転可能なコロ保持体
１６８を設け、更にこのコロ保持体１６８に軸１６１の
中心軸に平行な軸１６５ａの廻りに回転可能に保持され
たコロ１６５と、これら２つの軸１６１，１６５ａに平
行かつこれら２つの軸１６１，１６５ａのなす平面内で
移動可能な回転軸１６６ａに回転可能に保持されたコロ
１６６とを、該ガイド部材１３を挾持するように取り付
けたものである。

【００６１】コロ１６５の回転軸１６５ａとコロ１６６
の回転軸１６６ａ間にはバネ１６７が設けられ、このバ
ネ１６７の付勢力によりコロ１６５，１６６がガイド部
材１３に圧接されている。枠体１２をパン方向に回動さ
せると、係合部材１６のコロ１６５，１６６がガイド部
材１３上を回転移動し、狭角カラービデオカメラ２２の
光軸Ｌ１が、軸１６１とガイド部材１３とを含む平面内
でパン方向移動をするようになっている。

【００６２】また、本実施例では、注視点測定ユニット
Ｕ１の視界を広くするため、箱体１０の幅寸法を可及的
に短くすべくパン方向及びチルト方向の駆動源であるギ
ヤードモータ１４９，１５９を注視点測定ユニットＵ１
の後方に配置するようにしたが、ギヤードモータ１４９
及びギヤードモータ１５９をぞれぞれ軸１４１と軸１５
１に直結して枠体１２とガイド部材１３とを直接、駆動
するようにしてもよい。また、ギヤードモータに代えて
ステッピングモータを駆動源としてもよい。ステッピン
グモータを用いると、パン回転角検出器１７及びチルト
回転角検出器１８が不要になるので、構成を簡単にする
ことができる。

【００６３】図１に戻り、画像処理部３は、センサユニ
ット部２から入力される狭角カラービデオカメラ２２の
撮像信号（ビデオ信号）をＡ／Ｄ変換するＡ／Ｄ変換器
３１、広角カラービデオカメラ２３の撮像信号（ビデオ
信号）をＡ／Ｄ変換するＡ／Ｄ変換器３２、上記撮像信
号から画面内の目的とする対象物に関する画像情報を抽
出する色抽出回路３４、上記撮像信号を記憶する画像メ
モリ３５、上記Ａ／Ｄ変換器３１，３２と色抽出回路３
４と画像メモリ３５との間を選択的に接続するクロスバ
スイッチ３３及び画像処理部３の動作を集中制御する制
御回路（ＣＰＵ(II)）３６から構成されている。

【００６４】クロスバスイッチ３３は、ＣＰＵ(II)３６
からの制御信号に基づいて上記Ａ／Ｄ変換器３１，３２
と色抽出回路３４と画像メモリ３５との間を、例えば以
下に示す関係となるように接続する。Ａ／Ｄ変換器３１，３２→画像メモリ３５画像メモリ３５→色抽出回路３４→画像メモリ３５Ａ／Ｄ変換器３１，３２→色抽出回路３４→画像メ
モリ３５なお、上記．〜において、矢印は信号の流れる方向
を示している。

【００６５】色抽出回路３４（画像抽出手段）は、Ａ／
Ｄ変換器３１，３２及びクロスバスイッチ３３を介して
入力されるカラービデオカメラ２２，２３の撮像信号
（ＲＧＢ画像信号）をＬＨＳ画像信号に変換する色画像
処理回路３４１と、ＬＨＳ画像信号を用いて撮影画面Ｇ
Ａ１又は撮影画面ＧＡ２内の被写体像の中から予め与え
られた被認識物体の色情報と同一色の領域を抽出する領
域抽出回路３４２とを備えている。

【００６６】色画像処理回路３４１は、雑音を除去する
平滑化回路（不図示）とＲＧＢ画像信号から色相
（Ｈ）、明度（Ｌ）及び彩度（Ｓ）の画像信号を変換形
成する色信号変換回路（不図示）とを有し、上記狭角カ
ラービデオカメラ２２又は広角カラービデオカメラ２３
からのＲＧＢ画像信号をＬＳＨ画像信号に変換し、この
ＬＳＨ画像信号を領域抽出回路３４２に出力する。

【００６７】領域抽出回路３４２は、撮影画面ＧＡ１
（又は撮影画面ＧＡ２）内の被写体像の中から予め与え
られた被認識物体の色情報、例えば肌色と同一色の領域
を抽出する。この抽出結果は、クロスバスイッチ３３を
介して画像メモリ３５に出力される。

【００６８】画像メモリ３５には、ＣＰＵ(II)３６の制
御に基づき狭角カラービデオカメラ２２又は広角カラー
ビデオカメラ２３の撮影画像が記憶される。

【００６９】ＣＰＵ(II)３６（物体認識手段）は、色抽
出回路３４により抽出された肌色領域情報と画像メモリ
３５に記憶された撮影画像とから抽出領域の重心位置、
大きさ及び形状等を算出し、これら算出結果とセンサユ
ニット部２から入力された温度情報、対象物までの距離
情報とに基づき当該抽出領域が人物の顔であるか否かを
判定する。そして、人物の顔であると判定されると、上
記抽出領域が狭角カラービデオカメラ２２の撮影画面Ｇ
Ａ２の中央に位置するように（人物の顔が画面中央に位
置するように）、センサユニット部２の注視方向の制御
値を演算し、この演算結果を注視方向制御命令と共にセ
ンサユニット部２に出力する。

【００７０】また、ＣＰＵ(II)３６は、起動命令をホス
トコンピュータ部４に出力し、狭角カラービデオカメラ
２２及び広角カラービデオカメラ２３で撮影された対象
物の画像のモニタ用ディスプレイ７への表示等の所定の
処理を行なわせる。

【００７１】なお、撮影画面内に複数個の肌色領域が抽
出された場合は、いずれかの肌色領域が人物の顔である
と判定されるまで各肌色領域について顔判定処理が順
次、実行される。すなわち、ＣＰＵ(II)３６により現在
対象としている肌色領域が人物の顔であると判定されな
かった場合は、他の肌色領域に狭角カラービデオカメラ
２２及び放射温度計２１の注視方向が変更される。そし
て、当該肌色領域の抽出、測温動作及び顔判定処理が実
行され、人物の顔と判定されるまで、かかる動作が繰り
返し行われる。

【００７２】ホストコンピュータ部４は、キーボードＩ
／Ｆ４１、プリンタＩ／Ｆ４２、ＴＶＩ／Ｆ４３、ビ
デオ信号入力回路４４、シリアル信号Ｉ／Ｏ４５、タイ
マ４６及び制御回路ＣＰＵ(III)４７を備え、これら各
構成要素は、データ／アドレスバス４８を介して相互に
通信可能に成っている。

【００７３】上記キーボードＩ／Ｆ４１、プリンタＩ／
Ｆ４２及びＴＶＩ／Ｆ４３を介して上記キーボード
５、プリンタ６、ディスプレイ７及び画像記憶装置８が
外部接続されている。また、ビデオ信号入力回路４４を
介して狭角カラービデオカメラ２２及び広角カラービデ
オカメラ２３の撮像信号が入力され、シリアル信号Ｉ／
Ｏ４５を介して起動命令等のＣＰＵ(II)３６からの制御
信号が入力されるようになっている。

【００７４】タイマ４６は、後述する撮影画像のタイマ
記録を行うための計時装置である。また、ＣＰＵ(III)
４７（記憶制御手段）は、ホストコンピュータ部４の動
作を集中制御する制御回路で、ビデオ信号入力回路４４
から入力される撮像信号の取込制御、後述する監視対象
の人物の積算／更新、ディスプレイ／プリンタへの情報
出力等の制御も行う。

【００７５】次に、本発明に係る監視システム１の動作
について説明する。監視システム１は、センサユニット
部２及び画像処理部３で画像情報及び温度情報を取り込
み、目的とする対象物（ここでは人間の顔）を認識する
と、ホストコンピュータ部４に当該対象物の画像や撮影
時刻を記録したり、所定時間毎に記録した対象物の数を
積算し、この積算数をプリンタ６やディスプレイ７に出
力表示する。

【００７６】先ず、監視対象から目的とする対象物（人
間の顔）を検出する顔認識処理について、図１２〜図１
８のフローチャートを用いて説明する。

【００７７】図１２〜図１８は、センサユニット部２及
び画像処理部３で行われる処理プログラムで、図１２
は、この顔認識処理のメインフローチャートである。な
お、主要な処理については、各処理後の画像と測温位置
との関係を示す図を付している。すなわち、Ｖ０は、画
角調整後の狭角カラービデオカメラ２２から取り込まれ
たＲＧＢ画像の一例を示し、撮影画面の中央に人物Ｇ１
の顔が配置され、この人物Ｇ１の頭の上部に測温位置Ｐ
ｃ（同図、点線の○印で示す）が配置されている。Ｖ１
は、上記狭角カラービデオカメラ２２の注視方向を保持
した状態で測温方向を調整したＲＧＢ画像を示し、人物
の顔の中央に測温位置Ｐｃが調整されている。

【００７８】まず、監視カメラ１に電源が供給される
と、放射温度計２１の測温動作並びに狭角カラービデオ
カメラ２２及び広角カラービデオカメラ２３の撮影動作
が開始され、図１２のフローチャートに従って顔認識処
理が行われる。

【００７９】先ず、図１３に示すフローチャートに従っ
て広角カラービデオカメラ２３で取り込まれた画像から
肌色領域が抽出される（＃２）。

【００８０】すなわち、広角カラービデオカメラ２３に
よりＲＧＢ画像Ｖ２が取り込まれる（＃３０）。続い
て、色画像処理回路３４１で画像信号内の雑音を除去す
べく画像信号の平滑化処理が施された後（＃３２）、予
め準備されている変換式に基づいて色信号変換処理（Ｒ
ＧＢ−ＬＳＨ変換）が施されて（＃３４）、明度
（Ｌ），彩度（Ｓ），色相（Ｈ）の色の三属性を示す画
像信号が生成される。

【００８１】続いて、得られた色の三属性を示す画像信
号から領域抽出回路３４２で肌色と同一色の領域の抽出
処理が施される（＃３６）。この肌色領域の抽出は、予
め設定された肌色条件に基づいて行われる。すなわち、
この場合の肌色条件として、例えば、ｈ０＜Ｈ＜ｈ１，
ｓ１＜Ｓ＜ｓ２という域値が設定され、かかる域値で、
上記の色相信号（Ｈ）と彩度信号（Ｓ）とに対して２値
化処理が施される。

【００８２】なお、本実施例では、肌色領域を彩度
（Ｓ）と色相（Ｈ）とにより判定しているが、この他、
Ｒ出力／Ｇ出力とＢ出力／Ｇ出力とにより判定するよう
にしてもよい。

【００８３】次いで、上記２値化処理後の２枚の画像の
積が取られて、肌色と同一色の領域が抽出される。例え
ば、今、ＲＧＢ画像Ｖ２で示される環境画像が得られた
とする。この環境画像には、人物Ｇ１，Ｇ２の他に机、
この机の上に置かれた梨Ｇ４、壁に貼られたポスターＧ
３といった色々なものが映し出されているが、上記領域
抽出処理を施すことによって、肌色領域抽出画像Ｖ３の
如き人物の顔Ｈ１，Ｈ２、ポスター中の人物の顔Ｈ３、
肌色に近い梨Ｈ４だけが抽出される。

【００８４】続いて、上記抽出された肌色領域Ｈ１〜Ｈ
４の位置を求める領域位置検出処理が行われ（＃３
８）、各肌色領域Ｈ１〜Ｈ４の移動に応じて追尾処理が
施される（＃４０）。

【００８５】ここで、領域位置検出処理について説明す
る。図１４は、領域位置検出処理の手順を示すフローチ
ャートで、同図には、２種類の領域位置検出方法の処理
を示している。

【００８６】同図（ａ）は、肌色領域を一色に塗りつぶ
し、この領域の重心を領域の位置情報として算出する方
法（以下、第１の方法という）を示し、同図（ｂ）は、
肌色画像全体から最も肌色濃度の高い部分を領域の位置
情報として算出する方法（以下、第２の方法という）を
示している。また、同図（ｃ）は、両領域位置検出方法
の各手順に対応する処理画像を、人物の顔Ｈ１の部分を
例に示したものである。

【００８７】まず、第１の方法について、図１４（ａ）
を用いて説明する。肌色領域抽出画像Ｖ４は、通常、ノ
イズを含んだ画像であるため、抽出された肌色領域の周
辺にも肌色の孤立点がある（画像Ｖ４）。まず、この肌
色領域抽出画像Ｖ４に孤立点除去処理を施すことにより
（＃５０）、前記肌色領域周辺の孤立点が除去される
（画像Ｖ５）。

【００８８】続いて、前記肌色領域Ｈ１〜Ｈ４に塗り潰
し処理を施し（＃５２）、各肌色領域Ｈ１〜Ｈ４が纏ま
った領域として抽出される（画像Ｖ６）。次に、抽出さ
れた各肌色領域を識別すべくラベル付けが行われる（＃
５４）。そして、そのラベルの順番に従って肌色領域が
選出され、各肌色領域について領域の重心Ｐが公知の重
心計算手法を用いて算出される（＃５６，Ｖ７）。この
算出された重心Ｐの座標は、当該肌色領域の検出領域位
置として用いられる。

【００８９】次に、第２の方法について図１４（ｂ）を
用いて説明する。先ず、肌色領域抽出画像Ｖ４が所要の
大きさのブロックに均等分割される（＃６０，Ｖ８）。
次いで、各ブロック領域内における肌色領域の密度が求
められる（＃６２，Ｖ９）。更に、求めた密度の内、最
大密度を有するブロック（画像Ｖ９内で、密度５３のブ
ロック）が抽出される（＃６４，Ｖ１０）。そして、こ
のブロックの密度と該抽出ブロックの周囲のブロックの
密度とを用いてモーメント計算が実行され、肌色領域の
位置座標Ｐが求められる（＃６６，Ｖ１１）。この方法
によれば、前記孤立点除去処理や塗り潰し処理（＃５
０，＃５２）を行う必要がない分、処理の簡略化が図れ
る。

【００９０】図１２に戻って、次に、広角画像の色抽出
処理結果の基づき複数の肌色領域のうち、先ず、肌色領
域Ｈ１の中心位置Ｐを選択し、その方向の狭角カラービ
デオカメラ２２の注視方向を合わせるべく注視方向移動
装置２６を作動させる（＃４）。続いて、狭角画像の色
抽出処理が行われる（＃６）。図１５は、狭角画像の色
抽出処理を示すフローチャートである。狭角画像の色抽
出処理も広角画像の色抽出処理と同様の手順で行われ、
＃７０〜＃７８の各ステップでは、狭角カラービデオカ
メラ２２により取り込まれた画像に対して図１３の＃３
０〜＃３８と同一の処理が行われる。

【００９１】すなわち、まず、人物Ｇ１の画像が読み取
られ（＃７０、ＲＧＢ画像Ｖ１２参照）、色画像処理回
路３４１で平滑化処理及び色信号変換処理が施された後
（＃７２，＃７４）、この画像Ｖ１２から領域抽出回路
３４２で肌色領域Ｈ５が抽出される（＃７６、抽出画像
Ｖ１３参照）。そして、抽出された肌色領域Ｈ５につい
て、図１４に示す領域位置抽出検出方法により重心位置
が検出される（＃７８）。

【００９２】続いて、図１２に戻り、検出された肌色領
域Ｈ５の重心位置が撮影画面Ｖ１２の中心に位置してい
るか否かの判定が行われ（＃８）、肌色領域Ｈ５の重心
位置が撮影画面Ｖ１２の中心に位置していないときは、
狭角カラービデオカメラ２２の注視方向が肌色領域の重
心位置となるように、図１６に示すフローチャートに従
って狭角カラービデオカメラ２２をパン方向又はチルト
方向に回動させて当該注視方向が調整される（＃１
０）。

【００９３】すなわち、まず、狭角カラービデオカメラ
２２の注視方向が肌色領域の重心位置に一致するパン方
向の回転角αo（以下、目標パン回転角という）とチル
ト方向に回転角θo（以下、目標チルト回転角という）
とが算出される（＃９０）。この演算は、狭角画像をい
くつかの領域に分割し、各領域に注視方向を一致させる
ために必要なパン／チルト相対角度が設定されたテーブ
ルを用いて行われる。なお、このテーブルと異なるテー
ブルが広角画像においても用意されており、＃４の処理
は、このテーブルを用いて行われる。

【００９４】続いて、パン／チルト回転角検出器１７，
１８により現在の狭角カラー画像入力装置２２のパン方
向の回転角α（以下、現在パン回転角αという）とチル
ト方向の回転角θ（現在チルト回転角θという）とが検
出され（＃９２）、更に現在パン回転角α及び現在チル
ト回転角θがそれぞれ目標パン回転角αoと目標チルト
回転角θoと比較される（＃９４，＃９８，＃１０
０）。

【００９５】そして、現在パン回転角αが目標パン回転
角αoに一致していなければ（＃９４でＮＯ）、狭角カ
ラービデオカメラ２２がパン方向に目標パン回転角αo
まで回動され（＃９６）、現在チルト回転角θが目標チ
ルト回転角θoに一致していなければ（＃１００でＮ
Ｏ）、狭角カラービデオカメラ２２がチルト方向に目標
チルト回転角θoまで回動され（＃１０２）、現在パン
回転角α及び現在チルト回転角θがそれぞれ目標パン回
転角αoと目標チルト回転角θoとに一致すると（＃９
４，＃９８，＃１００でＹＥＳ）、注視方向調整処理は
終了する。

【００９６】そして、＃６，＃８に戻り、再び、肌色領
域Ｈ５の重心位置が撮影画面ＧＡ２の中心に位置してい
るか否かの判定が行われる。

【００９７】肌色領域Ｈ５の重心位置が撮影画面Ｖ１２
の中心に位置しているとき、又は、狭角カラービデオカ
メラ２２の注視方向の修正後、肌色領域Ｈ５の重心位置
が撮影画面Ｖ１２の中心に位置したときは（＃８でＹＥ
Ｓ）、測距回路２５により狭角カラービデオカメラ２２
から人物Ｇ１までの被写体距離が測定される（＃１
２）。なお、本実施例では、ＡＦ情報から被写体距離を
算出するようにしているが、かかる機構を有しない場合
や簡易方式として、撮影画面ＧＡ２における肌色領域の
大きさから被写体距離を推定するようにしてもよい。

【００９８】続いて、抽出された肌色領域Ｈ５の画面上
の大きさ及び形状が演算され（＃１４）、この大きさに
係る演算結果と被写体距離とから肌色領域Ｈ５の大きさ
が推定されて最終的に人間の顔であるか否かが判別され
る（＃１６）。例えば測定対象が梨Ｇ４の場合等、人間
の顔でないと判断されると（＃１６でＮＯ）、＃２に戻
り、広角画像における次の肌色領域（例えばＨ２（図１
３参照））に相当する対象物Ｇ２について同様の処理を
行って狭角画像における肌色領域に基づき対象物Ｇ２が
人間の顔であるか否かが判別される。

【００９９】そして、抽出された肌色領域Ｈ５が人間の
顔と判別されると、或いは、広角画像内の他のいずれか
の肌色領域が人間の顔と判別されると（＃１６でＹＥ
Ｓ）、狭角カラービデオカメラ２２の画角調整が行われ
る（＃１８）。この画角調整は、人間の顔と判断された
肌色領域を有する対象物の狭角の撮影画面ＧＡ２におけ
る大きさが適正になるように調整するものである。

【０１００】続いて、図１７に示すフローチャートに従
って放射温度計２１の測温方向の調整及び測温が行われ
る（＃２０，＃２２）。すなわち、測距回路２５で検出
された被写体距離の情報から上述した偏心カム２４２の
制御の目標とする回転角ηto（以下、目標カム位置ηto
という）が演算される（＃１１０）。なお、この目標カ
ム位置ηtoは、狭角カラービデオカメラ２２の場合と同
様に、予め被写体距離に対して目標カム位置が設定され
たテーブルを用いて演算される。

【０１０１】続いて、回転角検出器により現在の偏心カ
ム２４２のカム位置ηt（以下、現在カム位置ηtとい
う）が検出され（＃１１２）、更にこの現在カム位置η
tが目標カム位置ηtoと一致しているか否かが判別され
る（＃１１４）。現在カム位置ηtが目標カム位置ηto
と一致していなければ（＃１１４でＮＯ）、偏心カム２
４２が目標カム位置ηtoまで回動される（＃１１６）。

【０１０２】そして、現在カム位置ηtが目標カム位置
ηtoと一致しているか、或いは上記調整により一致する
と（＃１１４でＹＥＳ）、放射温度計２１を作動させて
狭角カラービデオカメラ２２が注視している対象物の肌
色領域の温度測定が行われる（＃１１８）。

【０１０３】図１２に戻り、測温方向の調整及び測温処
理が終了すると、続いて、この測定結果から当該肌色領
域が人間のものであるか否かが判別される（＃２４）。

【０１０４】この判定は、人間の肌の温度が約３０℃
（ｔ₀とする）〜３４℃（ｔ₁とする）であることから、
測定された温度Ｔがｔ₀〜ｔ₁に入っているか否かにより
行われ、ｔ₀＜Ｔ＜ｔ₁であれば、人間らしいと判断され
る。すなわち、測定対象がポスターに描かれた人物像Ｇ
３や梨Ｇ４等の肌色領域Ｈ３，Ｈ４については、上記温
度範囲外であって人間らしいとは判断されず、測定対象
が肌色領域Ｈ１，Ｈ２についてのみ人間らしいと判断さ
れる。

【０１０５】測定温度Ｔが人間の肌温度範囲内であれば
（＃２４でＹＥＳ）、＃２６に移行し、必要に応じて人
間と認識された対象物の画像、被写体距離、温度等の情
報が画像記憶装置８に記憶される（＃２６１）。また、
上記したように、対象物が停止しているとは限らないこ
とから、追尾処理（＃２６２）が同時に行われる。＃２
４で、測定温度Ｔが人間の肌温度範囲外であれば、＃２
に戻り、上述と同様の処理を行って他の肌色領域につい
て人間の認識処理が行われる。

【０１０６】上記のように、本実施例では、狭角カラー
ビデオカメラ２２で注視している対象物の色、大きさ等
の画像情報から人間の顔と判別されると、放射温度計２
１をチルト方向注に回動させてその注視方向を狭角カラ
ービデオカメラ２２の注視方向に一致させ、対象物の同
一測定点における温度情報により対象物が人間の顔であ
るか否かの最終判断を行うようにしているので、測定点
のずれによる誤判別が防止され、認識精度が向上する。

【０１０７】次に、ホストコンピュータ部４における処
理について説明する。図１８はホストコンピュータ部４
における処理の第１実施例を示すフローチャートであ
る。

【０１０８】ホストコンピュータ部４が起動され、ＣＰ
Ｕ(III)４７がこのフローチャートの処理を開始する
と、先ず、演算処理用の各種フラグ、レジスタ、カウン
タ等の初期化が行われた後（＃１２０）、イベント待ち
状態となる（＃１２２）。このイベント待ち状態とは、
画像処理部３からの起動命令又はタイマ４６からの割込
処理のイベント信号の入力待ち状態で、かかる信号の入
力を受けて＃１２４以降の処理が行われる。

【０１０９】すなわち、イベント信号が入力されると、
イベント信号の種類が判別され（＃１２４）、画像処理
部３からの起動命令であれば、＃１２６に移行し、セン
サユニット部２から入力されている狹角カラービデオカ
メラ２２の撮像画像がビデオ信号入力回路４４及びデー
タ／アドレスバス４８を介して取り込まれるとともに、
ＣＰＵ(III)４７に内蔵された時計から当該撮像画像の
取込時刻Ｔcが読み込まれる（＃１２６，＃１２８）。
そして、この撮像画像と取込時刻Ｔcとが画像記憶装置
８に記録され（＃１３０）、画像の取込枚数を示すカウ
ンタＩ１が１だけインクリメントされて（＃１３２）、
＃１２２に戻る。

【０１１０】＃１２６〜＃１３２の処理は、画像処理部
３で人間の顔が認識される毎に、当該認識された顔のビ
デオ画像を時刻とともに記録するもので、例えば店内の
来客数の時間変化等の顧客動向調査に利用することがで
きるものである。

【０１１１】＃１２４でイベント信号がタイマ４６から
の割込信号であれば、＃１３４に移行し、割込回数を示
すカウンタＪを１だけインクリメントした後、割込回数
Ｊが所定の回数Ｔと一致したか否か（すなわち、所定の
時間ｔ＝Ｔ×ｔo（割込周期）が経過したか否か）が判
別される（＃１３６）。

【０１１２】Ｊ＜Ｔであれば、＃１２２に戻り、Ｊ≧Ｔ
であれば、現在の処理時刻Ｔcとその時のカウンタＩ１
のカウント値がＣＰＵ(III)４７内のメモリに記憶され
る（＃１３８）。更に、上記時刻Ｔcとカウント値Ｉ１
とがプリンタ６に出力されるとともに、ディスプレイ７
に表示され（＃１４０）、この後、カウンタＪ及びカウ
ンタＩ１が「０」にリセットされて（＃１４２）、＃１
２２に戻る。

【０１１３】＃１３４〜＃１４２の処理は、一定時間毎
の目的とする対象物（人間の顔）の検出数を積算して出
力するもので、長時間の監視時間内における目的とする
対象物の検出回数を一定時間毎の検出回数データとして
収集するものである。従って、上記顧客動向調査に適用
した場合は、例えば１日の内の１時間毎の来客数の分布
を示すデータを収集することができる。

【０１１４】図１９は、ホストコンピュータ部４におけ
る処理の第２実施例を示すフローチャートで、図２０
は、この第２実施例に対応する画像処理部３の処理を示
すフローチャートである。

【０１１５】第２実施例は、対象物の移動パターンをチ
ェックし、予め設定された所定パターンで移動している
とき、当該対象物の画像を記憶するものである。第２実
施例は、例えば工場における作業効率化を検討するため
に作業者の動きを調査したり、商品の売り場のレイアウ
トを検討するために顧客の動きを調査するのに有益な情
報の収集を考慮したものである。

【０１１６】第２実施例においては、画像処理部３は、
図２０のフローチャートに従って対象物を監視するとと
もに、注視している対象物の動作が所定パターンに入っ
ているか否かを判別する。

【０１１７】すなわち、ＣＰＵ(II)３６がこのフローチ
ャートの処理を開始すると、先ず、演算処理用の各種フ
ラグ、レジスタ等の初期化が行われた後（＃１８０）、
Ｈａｌｔ状態となる（＃１８２）。このＨａｌｔ状態
は、ＣＰＵ(II)３６に内蔵されたタイマからの割込信号
の入力待ち状態で、この割込信号の入力を受けて＃１８
４以降の処理が行われる。

【０１１８】＃１８４では、センサユニット部２からの
被写体までの距離Ｄ及び注視方向情報（パン回転角α及
びチルト回転角θのデータ）が取り込まれる。続いて、
被写体までの距離Ｄ及び注視方向情報が対象物の移動を
示すデータ（以下、動線データという）としてＣＰＵ(I
I)３６内のメモリに記憶される（＃１８６）。続いて、
この動線データを予め設定された変化パターンと比較し
て注視している対象物が所定の動作をしているか否かが
判別される（＃１８８）。

【０１１９】そして、対象物が所定パターンで動作して
いなければ（＃１８６でＮＯ）、＃１８２に移行し、対
象物が所定パターンで動作していれば（＃１８６でＹＥ
Ｓ）、当該対象物の動作パターンを保存すべくホストコ
ンピュータ部４に起動命令が出力されるとともに、取り
込まれた上記動線データが出力されて（＃１９０）、＃
１８２に戻る。

【０１２０】一方、ホストコンピュータ部４において
は、図１９に示すフローチャートに従って対象物に関す
る情報の保存処理が行われている。

【０１２１】なお、図１９に示すフローチャートは、基
本的に図１８に示すフローチャートと同一で、＃１５０
〜＃１７２の各処理は、＃１６０のデータの保存内容が
異なる点を除いて、それぞれ＃１２０〜＃１４２と同一
である。

【０１２２】従って、異なる処理の部分のみを簡単に説
明すると、ホストコンピュータ部４では、画像処理部３
から起動命令が入力されると、センサユニット部２から
入力されている狹角カラービデオカメラ２２の撮像画像
が取り込まれる（＃１５６）。また、当該撮像画像の取
込時刻Ｔcが読み込まれるとともに、ＣＰＵ(II)３６か
ら動線データが取り込まれ（＃１５８）、撮像画像、時
刻Ｔc及び動線データが画像記憶装置８及びＣＰＵ(III)
４７の内部メモリに記憶される（＃１６０）。

【０１２３】

【発明の効果】以上説明したように、本発明によれば、
画像を取り込み、この画像の中から目的とする対象物の
画像を抽出するとともに、この抽出画像から対象物を認
識し、目的とする対象物が認識されると、当該対象物に
関する情報を記憶するようにしたので、記憶された情報
を利用して種々の情報解析を行うことができる。

【０１２４】これにより目的とする対象物の監視だけで
なく、情報解析を有効利用することにより市場調査やセ
キュリティの効率化が可能で、汎用性、応用性のある高
精度の監視システムを構築することができる。

【図面の簡単な説明】

【図１】本発明に係る監視システムのブロック構成図で
ある。

【図２】広角カラービデオカメラの画角と狹角カラービ
デオカメラの画角との関係を示す図である。

【図３】狹角カラービデオカメラのＡＦ機構の回路構成
図の一例を示す図である。

【図４】センサユニット部の構造の一例を示す一部破断
した斜視図である。

【図５】注視点測定ユニットの内部構造を示す概略図で
ある。

【図６】偏心カムの回転角度と測定対象物までの距離と
の関係を示す図である。

【図７】注視点測定ユニットに設定されたＸＹＺ座標及
びＵＶＷ座標を示す図である。

【図８】注視点測定ユニットをパン方向に移動した場合
の注視方向の軌跡を説明するための図である。

【図９】ガイド部材と係合部材との係合構造の第１実施
例を示す断面図である。

【図１０】ガイド部材と係合部材との係合構造の第２実
施例を示す断面図である。

【図１１】ガイド部材と係合部材との係合構造の第３実
施例を示す断面図である。

【図１２】本発明に係る監視システムの顔認識処理のメ
インフローチャートである。

【図１３】広角画像の色抽出処理を示すフローチャート
である。

【図１４】領域位置検出処理の手順を示すフローチャー
トで、（ａ）は肌色領域を塗り潰してその重心を位置情
報として算出するフロー、（ｂ）は肌色画像全体から最
も肌色濃度の高い部分を位置情報として算出するフロ
ー、（ｃ）は上記両領域位置検出方法の各ステップに対
する処理画像を示す図である。

【図１５】狹角画像の色抽出処理を示すフローチャート
である。

【図１６】注視方向調整処理を示すフローチャートであ
る。

【図１７】測温方向調整及び測温処理を示すフローチャ
ートである。

【図１８】ホストコンピュータ部における処理の第１実
施例を示すフローチャートである。

【図１９】ホストコンピュータ部における処理の第２実
施例を示すフローチャートである。

【図２０】ホストコンピュータ部における第２実施例の
処理に対応する画像処理部の処理を示すフローチャート
である。

【符号の説明】

１監視システム２センサユニット部２１放射温度計２２狭角カラービデオカメラ（画像取込手段）２２１撮影レンズ２３広角カラービデオカメラ２４測温方向移動装置２５測距回路２７制御回路（ＣＰＵ(I)）３画像処理部３１，３２Ａ／Ｄ変換器３３クロスバスイッチ３４色抽出回路（画像抽出手段）３４１色画像処理回路３４２領域抽出回路３５画像メモリ３６制御回路（ＣＰＵ(II)）（物体認識手段）４ホストコンピュータ部４１キーボードＩ／Ｆ４２プリンタＩ／Ｆ４３ＴＶＩ／Ｆ４４ビデオ信号入力回路４５シリアル信号Ｉ／Ｏ４６タイマ４７制御回路（ＣＰＵ(III)（記憶制御手段）５キーボード６プリンタ７モニタ用ディスプレイ８画像記憶装置（記憶手段）９基台１０，１１箱体１２枠体１３ガイド部材１４パン方向駆動機構１４２，１４３，１４５，１４６プーリ１４９ギヤードモータ１５チルト方向駆動機構１５２，１５３，１５５，１５６プーリ１５９ギヤードモータ１６係合部材１７パン回転角検出器１８チルト回転角検出器ＴＢ１〜ＴＢ４タイミングベルトＵ１注視点測定ユニット

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所 // Ｇ０１Ｊ 5/48 Ｃ

Claims

【特許請求の範囲】

【請求項１】画像を取り込む画像取込手段と、記憶手
段と、画像取込手段により取り込まれた画像の中から目
的とする対象物の画像を抽出する画像抽出手段と、抽出
画像から対象物を認識する物体認識手段と、認識された
対象物に関する情報を取り込む情報取込手段と、取り込
まれた上記対象物に関する情報を上記記憶手段に記憶さ
せる記憶制御手段とを備えたことを特徴とする物体認識
装置。