JPH0729014A

JPH0729014A - 画像処理装置

Info

Publication number: JPH0729014A
Application number: JP5153933A
Authority: JP
Inventors: 健吾 ▲高▼濱; Kengo Takahama; Takashi Nishimura; 崇西村; Yasukuni Yamane; 康邦山根
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1993-06-24
Filing date: 1993-06-24
Publication date: 1995-01-31
Anticipated expiration: 2014-12-20
Also published as: JP2992178B2

Abstract

(57)【要約】【目的】任意の対象物体を特定するための良好な画像
データを得ることができる画像処理装置を提供する。【構成】動き検出部３により検出された動き検出信号
を基に、動き判定回路１８等により対象物体が十分に動
いたか否かの判定を行ない、その判定結果を基にモード
設定回路２０が動き検出部３の動作を制御する。また、
動き検出部３の動き検出信号を基に、精密頬座標検出回
路１２により対象物体の頬座標を検出し、検出した頬座
標から特徴抽出回路１３により対象物体の特徴情報を抽
出し、この特徴情報を基に評価判定回路１７により対象
物体の特定を行なう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理装置に関し、
特に、自動的に対象物を特定する対象物センサ、ドアホ
ンカメラ、テレビ電話、テレビ会議装置、監視装置、ユ
ーザインターフェース機器等の画像処理装置に関するも
のである。

【０００２】

【従来の技術】従来、人を検知する装置としては、人体
から発する赤外線を検知する赤外線センサや、超音波、
電波あるいは光を利用したアクティブセンサ等を用いた
ものがある。これらの装置は、所定の制約条件を仮定す
ることにより、間接的に人を感知する装置である。たと
えば、赤外線を利用する場合は、人体の温度が周囲の温
度より高いため輻射の波長が短波長側へ移動する性質を
利用し、その温度に対応する赤外線波長でモニタするこ
とにより検出するものである。超音波、電波および光を
利用する装置では、人体の反射効率を利用するものや、
人体の遮断特性を利用するものがある。一方、ＣＣＤ
（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）等の
エリアセンサを使用する画像処理装置においては、山本
他（ＩＥＥＥＴＨＰＭ１４，５１９９１年）によ
り、以下に説明する画像処理装置が提案されている。こ
の画像処理装置は、旧フレーム画像を記憶しておき、旧
フレーム画像と新しく入力された新フレーム画像との差
分を取り、差分値の大きい領域を人の領域とし、また、
前記領域の横幅から顔領域を抽出するものである。図４
２に、上記の従来の画像処理装置の構成を示すブロック
図を示す。

【０００３】図４２において、画像処理装置は、Ａ／Ｄ
変換部１０１、画像メモリ１０２、絶対差分器１０３、
コンパレータ１０４、頭頂検出器１０５、横幅検出器１
０６、比較器１０７、顔座標出力部１０８を含む。

【０００４】Ａ／Ｄ変換器１０１は、線順次走査のアナ
ログ画像信号が供給され、アナログ画像信号をデジタル
信号に変換し、画像メモリ１０２および絶対差分器１０
３へ出力する。画像メモリ１０２は、Ａ／Ｄ変換器１０
１から出力されたデジタル画像信号をｋフレームだけ遅
延させ、絶対差分器１０３へ出力する。絶対差分器１０
３は、ｋフレーム遅延した画像と現入力画像の差を計算
する。画像の中に動物体がある場合は、動物体のある位
置で２枚の画像データ間に輝度差を生じるため、コンパ
レータ１０４により二値化することにより、動物体の位
置が判明する。図３に、絶対差分の二値化画像データの
生成過程を示す。図３に示すように、検出された動物体
は、エッジの強い部分が強調されるが、その幅ｗは動物
体の画面上のスピードｖと２つのフレーム画像データ間
の時間ｔにより次式で表される。

【０００５】ｗ＝ｖｔ…（３３）上記の式を基に、所定のしきい値ｗｎを適当に設定し、
動物体があるか否かを判定することが可能となる。すな
わち、横幅検出器１０６は、動物体の幅ｗとそのＸ軸
（横軸）座標を検出し、比較器１０７は、しきい値ｗｎ
より大きいときは動物体が検出されたとして“１”を出
力する。また、コンパレータ１０４の出力は、頭頂検出
器１０５に入力され、頭頂検出器１０５では、Ｙ軸（縦
軸）走査方向で最初に動き領域と判断された最初のＹ座
標を頭頂座標として出力する。顔座標検出部１０８は、
頭頂検出器１０５および横幅検出器１０６で出力された
座標データを比較器１０７の出力が“１”のときにのみ
有効として出力する。上記の処理により、従来の画像処
理装置では、動物体の動きに応じて、動物体の顔座標を
出力することが可能となる。

【０００６】

【発明が解決しようとする課題】上記の赤外線等を利用
したものでは、人や犬や猫等を判別することができず、
また、人と判定したとしても、人の顔の位置がどこにあ
るかまでは判別できなかった。したがって、任意の対象
物体を特定することはできないという問題点があった。

【０００７】また、上記のエリアセンサを使用する画像
処理装置においては、動物、車、草木、人等を区別でき
ず、任意の対象物を特定することができなかった。ま
た、対象物体の動きが遅い場合、一定遅延させた画像デ
ータとの差分により対象物体の動きを検出しているた
め、十分な動き検出信号を得ることができず、検出漏れ
動作が多く、また頭頂位置の検出においても誤動作が多
く、任意の対象物体を特定することができないという問
題があった。

【０００８】本発明は上記課題を解決するためのもので
あって、任意の対象物体を特定するための良好な画像デ
ータを得ることができる画像処理装置を提供することを
目的とする。

【０００９】

【課題を解決するための手段】請求項１記載の情報処理
装置は、複数の画像データを比較して、画像データの中
の対象物体の動き情報を検出する動き検出手段と、動き
情報に応じて、動き検出手段の画像データを比較する時
間間隔を制御する制御手段と、画像データのエッジ情報
を抽出するエッジ抽出手段と、動き情報およびエッジ情
報を基に、画像データの中から対象物体を含む所定の対
象物体領域を抽出する領域抽出手段と、対象物体領域に
おける輝度情報とエッジ情報を基に、対象物体の特徴情
報を抽出する特徴抽出手段と、特徴情報を基に対象物体
を特定する特定手段とを含む。

【００１０】請求項２記載の情報処理装置は、画像デー
タの中の対象物体の動き情報を検出する動き検出手段
と、画像データの輝度値を検出する輝度値検出手段と、
画像データの動き情報を画像データの輝度値で正規化す
る正規化手段とを含む。

【００１１】請求項３記載の情報処理装置は、二値画像
信号の立上がりタイミングを検出する立上がり検出信号
と、二値画像信号の立下がりタイミングを検出する立下
がり検出信号と、立上がりタイミングと立下がりタイミ
ングの時間差を計測する時間差計測手段と、時間差に応
答して二値画像信号を膨張させる膨張手段とを含む。

【００１２】請求項４記載の情報処理装置は、画像デー
タの中の対象物体の周囲長を検出する第１検出手段と、
対象物体の縦方向の長さを検出する第２検出手段と、対
象物体の面積を検出する第３検出手段と、対象物体の周
囲長、縦方向の長さ、面積を基に、所定の評価値を計算
する評価値計算手段と、評価値を基に対象物体の動き量
が所定値以上か否かを判定する判定手段とを含む。

【００１３】請求項５記載の情報処理装置は、画像デー
タの輝度信号を微分して、縦線成分を抽出する第１抽出
手段と、画像データの輝度信号を微分して、横線成分を
抽出する第２抽出手段と、縦線成分と横線成分の絶対差
分を計算する絶対差分計算手段とを含む。

【００１４】請求項６記載の情報処理装置は、画像デー
タの輝度信号を微分して、エッジ成分を抽出する抽出手
段と、画像データの輝度値により、エッジ成分を正規化
する正規化手段とを含む。

【００１５】請求項７記載の情報処理装置は、画像デー
タの中の対象物体の特徴情報を抽出する特徴手段と、特
徴情報に所定の解析関数による非線形変換を行ない、中
間特徴情報へ変換する変換手段と、中間特徴情報に所定
の重みづけを行なった後、線形加算することにより評価
データを作成する評価データ作成手段と、評価データを
基に画像データの中の対象物体を特定する特定手段とを
含む。

【００１６】請求項８記載の情報処理装置は、二値画像
データに所定の演算を行ない、その出力を巡回させ、二
値画像データを膨張させる膨張手段と、膨張手段により
膨張させた二値画像データを二値化する二値化手段とを
含む。

【００１７】請求項９記載の情報処理装置は、画像デー
タの中の対象物体の動き情報を検出する動き検出手段
と、動き情報の垂直方向の最初の情報が検出されたタイ
ミングを開始点として計数動作を行なう計数手段と、動
き情報の水平方向の第１スタート位置と第１エンド位置
を検出する位置検出手段と、第１スタート位置の信号の
低周波成分を抽出し、その出力を巡回させ、第２スター
ト位置の信号に変換する第１変換手段と、第１エンド位
置の信号の低周波成分を抽出し、その出力を巡回させ、
第２エンド位置の信号に変換する第２変換手段と、第２
スタート位置と第２エンド位置の差分値を計算する差分
値計算手段と、差分値と計数手段の計数値とを比較し、
比較結果を基に、第１および第２変換手段の動作を制御
する制御手段とを含む。

【００１８】請求項１０記載の情報処理装置は、二値化
された動き検出信号と二値化された画像の縦エッジ信号
との論理積を計算する論理処理手段と、論理処理手段の
計算結果を、画像の横軸方向へ投影した信号へ変換する
変換手段と、変換手段により変換された信号のピーク位
置を検出する検出手段とを含む。

【００１９】

【作用】請求項１記載の情報処理装置においては、動き
情報に応じて、動き情報を検出する画像データの時間間
隔を制御しているので、対象物体の動き量に関わらず、
安定した対象物体の動き情報を得ることができ、また、
画像データのエッジ情報から対象物体特徴情報を抽出
し、対象物体を特定するので、正確な対象物体の特定を
行なうことができる。

【００２０】請求項２記載の情報処理装置においては、
動き情報を輝度値で正規化することにより、輝度値の変
動の影響を受けず、シューティングに強い安定した動き
情報を得ることができる。

【００２１】請求項３記載の情報処理装置においては、
二値画像信号の立上がりタイミングと立下がりタイミン
グの時間差に応答して、二値画像信号を膨張させている
ので、時間差に適応した膨張画像データを得ることがで
きる。

【００２２】請求項４記載の情報処理装置においては、
対象物体の周囲長、縦方向の長さ、面積を基に、所定の
評価値を求め、この評価値により、対象物体の動き量が
所定値を超えているか否かを判定しているので、対象物
体が遅く動いても、速く動いても、所定値以上に動いた
か否かを安定に判定することができる。

【００２３】請求項５記載の情報処理装置においては、
第１および第２抽出手段により、孤立したノイズ成分を
強調し、また、絶対差分して孤立ノイズ成分を除去する
ことにより、純粋なエッジ信号を得ることができ、ノイ
ズの影響の少ないエッジ信号を得ることができる。

【００２４】請求項６記載の情報処理装置においては、
エッジ成分を輝度値により正規化することにより、輝度
値の変動の影響を受けないエッジ信号を出力することが
でき、シューティングに強いエッジ信号を得ることがで
きる。

【００２５】請求項７記載の情報処理装置においては、
非線形変換手段は所定の非線形変換を行なう解析関数を
用いることにより処理が簡略化され、線形加算手段は計
算量が少ないので、少ない計算量で画像に含まれる対象
物体を特定することができる。

【００２６】請求項８記載の情報処理装置においては、
膨張手段により二値画像データがぼかされて膨張し、二
値化手段により膨張した二値画像データを得ることがで
きるので、小さい回路規模で大きな領域にわたって膨張
した二値画像データを得ることができる。

【００２７】請求項９記載の情報処理装置においては、
動き情報の第１スタート位置の信号および第１エンド位
置の信号を第１および第２変換手段により安定した第２
スタート位置の信号および第２エンド位置の信号に変換
することができ、これらの信号の差分値と計数手段の計
数値とを比較し、比較結果を基に第１および第２判定手
段の動作を制御するので、安定した対象物体の両端座標
を得ることができる。

【００２８】請求項１０記載の情報処理装置において
は、二値化された動き検出信号と縦エッジ信号の論理積
を画像の横軸方向へ投影し、投影した信号のピーク位置
を検出することにより、画像の中の対象物体の横軸方向
の両端座標を得ることができ、対象物体の精密な横軸方
向の両端座標を得ることができる。

【００２９】

【実施例】以下、本発明の一実施例の画像処理装置につ
いて図面を参照しながら説明する。図１は、本発明の一
実施例の画像処理装置の構成を示すブロック図である。

【００３０】図１において、画像処理装置は、Ａ／Ｄ変
換部１、タイミング発生部２、動き検出部３、エッジ検
出部４、第１領域制限回路５、第２領域制限回路６、第
３領域制限回路７、第４領域制限回路８、最大動き物体
検出回路９、頭頂座標検出回路１０、動き特徴量抽出回
路１１、精密頬座標検出回路１２、特徴抽出回路１３、
切換回路１４〜１６、評価判定回路１７、動き判定回路
１８、追尾対象座標出力回路１９、モード設定回路２
０、拡大表示回路２１、Ｄ／Ａ変換回路２２、ディスプ
レイ２３を含む。

【００３１】Ａ／Ｄ変換部１には、固定したカメラやＴ
Ｖ映像装置等から出力された線順次走査のアナログ画像
信号が供給され、線順次走査のアナログ画像信号をデジ
タル信号に変換し、動き検出部３、エッジ検出部４、お
よび拡大表示回路２１へ供給する。

【００３２】動き検出部３は、Ａ／Ｄ変換部１から出力
されたデジタル画像信号を基に、後述する所定の処理に
より動き検出信号を生成し、第１領域制限回路５、第２
領域制限回路６、第３領域制限回路７、第４領域制限回
路８、および最大動き物体検出回路９へ出力する。

【００３３】以下、動き検出部３について図面を参照し
ながらさらに詳細に説明する。図２は、動き検出部３の
構成を示す図である。図２において、動き検出部３は、
平滑化回路３０１、フレームメモリ３０２、絶対差分器
３０３、比較器３０４、水平方向膨張回路３０５、垂直
方向膨張回路３０６、定倍回路３０７、フレームメモリ
制御部３０８を含む。

【００３４】Ａ／Ｄ変換器２から入力されたデジタル画
像信号は、平滑化回路３０１でノイズ成分が抑圧され、
その出力はフレームメモリ３０２、絶対差分器３０３、
および定倍回路３０７を介して比較器３０４へ出力され
る。

【００３５】フレームメモリ制御部３０８には、モード
設定回路２０から出力されるライトモード制御信号が入
力され、ライトモード制御信号に応答してフレームメモ
リ３０２の動作を制御する。最初のフレームｎでは、モ
ード設定回路２０のモードが“０”になっているものと
する。モードが“０”のとき、モード設定回路２０のラ
イトモード制御信号は“Ｈ”の状態となり、動き検出部
３の中のフレームメモリ３０２に第ｎフレームの画像デ
ータが記憶される。次のフレームでは、モード設定回路
２０のモードは“１”になり、ライトモード制御信号は
“Ｌ”となり、動き検出部３の中のフレームメモリ３０
２は読出しオンリー動作となる。フレームメモリ３０２
から読出された第ｎフレームの画像データは絶対差分器
３０３の一方の入力端子に入力され、もう一方の入力端
子には平滑化回路３０１より第ｎ＋１フレームの画像デ
ータが画像の走査順に入力される。絶対差分器３０３
は、入力されたデータを基に動き情報である差分画像デ
ータを生成し、比較器３０４へ出力する。

【００３６】比較器３０４には、絶対差分器３０３の差
分画像データと、定倍回路３０７により所定の倍率α
（０≦α＜１．０）で定倍された現フレーム画像の輝度
信号が入力される。比較器３０４は、入力されたデータ
を基に、輝度値で正規化した動き情報をさらに二値化し
た動き情報として二値データを水平方向膨張回路３０５
へ出力する。図３に上記のような処理により作成される
絶対差分の二値化画像データの作成過程を示す。上記の
処理より、図３に示すような動きを反映した二値化画像
が得られる。

【００３７】上記のように、フレームメモリ３０２によ
り入力されたデジタル映像信号を一旦記憶し、絶対差分
器により新しく入力されたデジタル映像信号とフレーム
メモリ３０２から出力されるｎフィールド前の映像信号
との絶対差分を求め、比較器３０４により二値化した動
き検出信号として出力する。比較器３０４には、デジタ
ル映像信号の輝度信号が加えられており、結果的に輝度
信号で正規化された動き情報が得られ、シューティング
に強い動き検出を実現するとともに、二値化走査により
回路規模を減少することが可能となる。

【００３８】上記の動き検出方法は、本実施例にのみ適
用されるものではなく、ＴＶ電話、ドアホンカメラ、ビ
デオ一体型および、監視装置、特定物体検出装置等の動
き情報を用いる画像処理装置に適用することが可能であ
る。

【００３９】次に、上記の平滑化回路３０１について図
面を参照しながらさらに詳細に説明する。図４は、平滑
化回路３０１の構成を示す図である。

【００４０】図４において、平滑化回路３０１は、１Ｈ
ディレイライン４０１、４０２、フリップフロップ回路
４０３〜４０８、加算器４０９を含む。

【００４１】図４に示す平滑化回路３０１は３×３の二
次元平滑化フィルタである。入力されたデジタル画像信
号はフリップフロップ回路４０３に供給され、１クロッ
ク分だけ遅延した信号がフリップフロップ回路４０３か
ら出力される。フリップフロップ回路４０３の出力はさ
らに後段のフリップフロップ回路４０４で１クロック遅
延させられる。一方、デジタル画像信号は１Ｈディレイ
ライン４０１にも供給されており、１Ｈだけ遅延した画
像信号が１Ｈディレイライン４０１から出力される。同
様の動作により、１Ｈディレイライン４０１、４０２、
フリップフロップ回路４０３〜４０８により、３×３の
画像マトリックスが得られる。これら９個の画像輝度デ
ータをＡ（０．０）〜Ａ（−２．−２）とすると、後段
の加算器４０９により、ｙ１＝ΣΣａ（─ｉ，−ｊ）／８ …（１）ここでｉ＝０〜２，ｊ＝０〜２，ただし、ｉ＝１かつｊ
＝１は除く。として、平均輝度値が求まり、加算器４０
９から出力される。

【００４２】平滑化回路３０１は上記の構成に限ったも
のではなく、２×２やｎ×ｎの画像マトリックス構成に
してもよいし、次式のように、重み係数ｗ（−ｉ，ｊ）
を使用した重みづけフィルタを用いてもよい。

【００４３】ｙ＝１＝ΣΣｗ（−ｉ，−ｊ）×ａ（−ｉ，−ｊ）…（２）ここで、ｉ＝０〜ｎ，ｊ＝０〜ｎ上記の処理により、平滑化回路３０１は、平滑化された
平均輝度値を出力する。

【００４４】次に、フレームメモリ３０２、絶対差分器
３０３についてさらに詳細に説明する。

【００４５】上記のようにフレームメモリ３０２はフレ
ームメモリ制御部３０８により画像の書込み、読出しの
制御が行なわれている。平滑化回路３０１から出力され
た輝度信号が入力されると、最初のフレームではフレー
ムメモリ制御部３０８がフレームメモリ３０２を書込み
モードにし、フレーム画像データを記憶する。次に、第
２のフレームの輝度信号が入力されると、フレームメモ
リ制御部３０８はフレームメモリ３０２を読出しモード
にし、上記の最初のフレーム画像が読出され、次段に接
続されている絶対差分器３０３でその差が次式のように
計算される。

【００４６】ｄｙ＝｜ｙⁿ−ｙ^m｜…（３）ここで、ｙⁿは現在のフレーム画像データを、ｙ^mはフ
レームメモリ３０２に記憶されている前の画像データを
表している。

【００４７】たとえば、カメラが静止しており、撮影し
ている画像の中に動き物体が存在しないときは、ｙⁿ＝
ｙ^mであり、ｄｙ＝０となる。逆に、撮影している画像
の中に人間のような動物体が存在する場合は、その存在
する場所で、ｙⁿ≠ｙ^mであり、ｄｙ＞０となる。この
差分値ｄｙは次段の比較器３０４の一方の入力端子へ入
力される。

【００４８】一方、平滑化回路３０１で平滑化された輝
度信号は定倍回路３０７でα倍され、比較器３０４のも
う一方の入力端子へ入力される。差分値ｄｙが平滑化さ
れた輝度信号より大きい場合、比較器３０４の出力は
“１”の状態で出力され、動き物体が存在することを示
す。逆に、その他の場合は、“０”が出力され、撮影し
ている画像の中に動き物体がないことを示す。比較器３
０４の上記の出力は、さらに後段の水平方向膨張回路３
０５と垂直方向膨張回路３０６により検出された動き領
域が拡大され、動き検出結果として出力される。

【００４９】次に、水平方向膨張回路３０５について図
面を参照しながらさらに詳細に説明する。図５は、水平
方向膨張回路の構成を示すブロック図である。

【００５０】図５において、水平方向膨張回路３０５
は、フリップフロップ回路５０１、５０２、ＯＲ回路５
０３を含む。比較器３０４から出力される二値データは
フリップフロップ回路５０１、フリップフロップ回路５
０２、ＯＲ回路５０３へ入力される。フリップフロップ
回路５０１は入力した二値データを１クロック分だけ遅
延させ、ＯＲ回路５０３へ出力する。フリップフロップ
回路５０２はフリップフロップ回路５０１で遅延した信
号をさらに１クロック分だけ遅延し、ＯＲ回路５０３へ
出力する。ＯＲ回路５０３は、入力した各信号の論理和
を出力信号として出力し、水平方向の膨張画像データで
ある動き検出信号ＭＯＶ２を出力する。

【００５１】次に、垂直方向膨張回路３０６について図
面を参照しながらさらに詳細に説明する。図６は、垂直
方向膨張回路３０６の構成を示すブロック図である。

【００５２】図６において、垂直方向膨張回路３０６
は、乗算器６０１、６０５、加算器６０２、比較器６０
３、除算器６０４、１Ｈディレイライン６０６を含む。

【００５３】図６において、乗算器６０１への入力信号
をａ（ｉ，ｊ）とすると、加算器６０２の出力信号Ｏ
（ｉ，ｊ）は、次式で表される。

【００５４】Ｏ（ｉ，ｊ）＝｛８×ａ（ｉ，ｊ）＋７×Ｏ（ｉ，ｊ−１）｝／８…（４）上記の処理は画像の縦方向へのリカーシブローパスフィ
ルタとして作用し、出力信号Ｏ（ｉ，ｊ）は比較器６０
３へ入力され、所定のしきい値と比較され、膨張二値画
像データとして出力される。

【００５５】図７に、図６に示す垂直方向膨張回路３０
６の信号波形を示す。図６の横軸は画像の垂直方向にと
った時間軸を示す。図６に示すように、乗算器６０１へ
入力した入力信号は、上記のリカシブローパスフィルタ
によりぼかされ、加算器６０２により出力される。加算
器６０２の出力信号は、所定のしきい値と比較され、二
値データとして比較器６０３から出力される。上記の処
理により、垂直方向膨張回路３０６は動き検出信号の欠
陥を埋める働きをする。

【００５６】上記のように、図６に示す垂直方向膨張回
路は、入力された二値画像データを二次元リカーシブロ
ーパスフィルタによってぼかされ、二値化手段により膨
張二値画像データとして出力されるので、小さい回路規
模で大きな領域にわたる二値膨張回路を実現することが
可能となる。

【００５７】次に、垂直方向膨張回路の第２の実施例に
ついて図面を参照しながら説明する。図８は第２の実施
例である垂直方向膨張回路の構成を示すブロック図であ
る。

【００５８】図８において、垂直方向膨張回路は、加減
算器回路７０１、１Ｈディレイライン７０２、比較器７
０３を含む。

【００５９】図８に示す垂直方向膨張回路は、図６に示
す垂直方向膨張回路と同様の効果を得る回路であり、１
Ｈディレイライン７０２と加減算回路７０１により１Ｈ
分の画素の数と同数のアップダウンカウンタと等価の動
作を行なう。

【００６０】図９に加減算回路７０１の構成を示す回路
図を示す。図９において、加減算回路７０１は、ＮＯＲ
ゲート８０１〜８０３、ＡＮＤゲート８０４〜８０６、
８１３、ＯＲゲート８０７〜８１０、ＮＡＮＤゲート８
１１、８１２を含む。加減算回路７０１は、図９に示す
ように４ビット構成となっており、ＩＮＣ／ＤＥＣ信号
が“１”のとき１だけ加算し、“０”のときは１だけ減
算して４ビットの出力信号Ｓ０〜Ｓ３を出力する。ま
た、ＮＡＮＤゲート８１１、８１２は、アップ／ダウン
の制限をするもので、ダウン動作のときは“０”でスト
ップし、アップ動作のときは“１０”以上にカウントア
ップしないようにするものである。加減算回路７０１
は、上記のような動作を行ない、出力信号を比較器７０
３へ入力する。比較器７０３は所定のしきい値と加減算
回路７０１の出力信号とを比較し、比較結果を膨張二値
画像データとして出力する。

【００６１】図１０に、図８に示す垂直方向膨張回路の
信号波形を示す。図１０の横軸は画像の垂直方向にとっ
た時間軸を示している。図１０に示すように、加減算回
路７０１へ入力した入力信号は、上記の処理により波形
が変換され、所定のしきい値と比較されたあと比較器７
０３から二値データとして出力される。上記の処理によ
り、垂直方向膨張回路は動き検出信号の欠陥を埋める働
きをする。図８に示す垂直方向膨張回路も図６に示す垂
直方向膨張回路と同様に、小さい回路規模で大きな領域
にわたる二値膨張回路を実現することができる。

【００６２】上記２つの垂直方向膨張回路は本実施例に
のみ適用されるものではなく、ＴＶ電話、ドアホンカメ
ラ、ビデオ一体型ムービー、監視装置、特定物体検出装
置等の二値画像データを膨張させた膨張二値画像データ
を用いる画像処理装置に同様に適用することができる。

【００６３】次に、撮影画像の中の動き物体の動きが遅
いときの動作について説明する。撮影画像の中の動き物
体の動きが遅いとき、フレームメモリ３０２の内容をフ
レームごとに更新すると、その差分値ｄｙは非常に小さ
いので、動き検出信号が得られない場合がある。このよ
うな場合、フレームメモリ３０２の更新をｋフレームご
とに行なえば、十分な動き検出信号を得ることができ
る。本実施例では、対象となる動き物体の動きの速度に
適応して、フレームメモリ３０２の更新が行なえるよう
にフレームメモリ制御部３０８を備えている。すなわ
ち、動き検出部３、最大動き物体検出回路９、第１領域
制限回路５、頭頂座標検出回路１０、第２領域制限回路
６、動き特徴量抽出回路１１、切換回路１４、１５、動
き判定回路１８により、動き検出部３の動き検出信号か
ら、対象物体が十分に動いたかどうか判定することによ
り、その動き判定結果が十分であれば、モード設定回路
２０のモードを“１”から“２”へ更新する。モード
“２”では、ライトモード制御信号は“Ｌ”であり、フ
レームメモリ３０２は第ｎフレームの画像データを保持
したまま読出モードであり、絶対差分器３０３は次の第
ｎ＋２フレームとの画像間の差が動き検出信号として検
出され、動き検出部５から出力される。上記の処理によ
り、撮影画像の中の動き物体の動きが遅い場合でも、十
分な動き検出信号を得ることができる。

【００６４】次に、エッジ検出部４について詳細に説明
する。図１１は、エッジ検出部４の構成を示すブロック
図である。

【００６５】図１１において、エッジ検出部４は、１Ｈ
ディレイライン９０１、９０２、画素遅延器９０３、Ｘ
微分器９０４、Ｙ微分器９０５、ＦＩＸ差分器９０６、
９０７、比較器９０８、９０９、除算器９１０を含む。
また、画素遅延器９０３は、フリップフロップ９１１〜
９１６を含む。

【００６６】Ａ／Ｄ変換器１から出力されたデジタル画
像信号は１Ｈディレイライン９０１、９０２によって、
それぞれ１ライン分の遅延と２ライン分の遅延をもった
画像信号を生成する。現画像データ、１ライン遅延デー
タ、２ライン遅延データをそれぞれａ（０，０）、ａ
（０，−１）、ａ（０，−２）とすると、生成されたａ
（０，０）、ａ（０，−１）、ａ（０，−２）は画素単
位の遅延を生成する画素遅延器９０３に入力され、ａ
（０，０）、ａ（−１，０）、ａ（−２，０）、ａ
（０，−１）、ａ（−１，−１）、ａ（−２，−１）、
ａ（０，−２）、ａ（−１，−２）、ａ（−２，−２）
の９個の遅延信号を出力する。９個の遅延信号のうち、
中央の輝度データａ（−１，−１）は、除算器９１０に
入力され、除算係数Ｂで除算され、後段の比較器９０
８、９０９へ出力される。この場合、除算係数Ｂが２の
べき乗の場合は、単なるビットシフトでよいため、除算
器９１０の構成が簡単となる。

【００６７】一方、９個の遅延信号はＸ微分器９０４と
Ｙ微分器９０５に入力され、Ｘ微分器９０４とＹ微分器
９０５では以下の計算が行なわれる。Ｘ微分器９０４の
出力をＤＸ、Ｙ微分器９０５の出力をＤＹとすると、以
下の式で表される。

【００６８】ＤＸ＝｜ａ（０，０）＋２×ａ（０，−１）＋ａ（０，−２）−ａ（−２，０）−２×ａ（−２，−１）−ａ（−２，−２）｜…（５）ＤＹ＝｜ａ（０，０）＋２×ａ（−１，０）＋ａ（−２，０）−ａ（０，−２）−２×ａ（−１，−２）−ａ（−２，−２）｜…（６）ここで、ＤＸの意味するところは画像の縦線成分で、Ｄ
Ｙの意味するところは画像の横線成分であるとみなすこ
とができる。

【００６９】次に、上記の計算を実行するＸ微分器９０
４、Ｙ微分器９０５について説明する。

【００７０】図１２は、Ｘ微分器９０４の構成を示すブ
ロック図である。図１２において、Ｘ微分器９０４は、
加算器９２０、９２１、絶対差分器９２２を含む。入力
信号ａ（０，０）、２×ａ（０，−１）、ａ（０，−
２）は加算器９２０に入力され、加算された後、絶対差
分器９２２へ出力される。遅延信号ａ（−２，０）、２
×ａ（−２，−１）、ａ（−２，−２）は加算器９２１
へ入力され、加算された後絶対差分器９２２へ出力され
る。絶対差分器９２２は、加算器９２０および加算器９
２１から出力された絶対差分を求め、出力信号ＤＸを出
力する。以上の動作により、上記の計算式に基づいた出
力信号ＤＸを出力することが可能となる。

【００７１】図１３は、Ｙ微分器９０５の構成を示すブ
ロック図である。図１３において、Ｙ微分器９０５は、
加算器９２３、９２４、絶対差分器９２５を含む。Ｙ微
分器９０５の構成は、図１２に示したＸ微分器９０４の
構成と同様であるので、その説明を省略する。

【００７２】上記のＸ微分器９０４、Ｙ微分器９０５に
より、上記の計算式を実行し、出力信号ＤＸ、ＤＹを得
ることが可能となる。

【００７３】次に、ＦＩＸ差分器９０６、９０７の動作
について説明する。ＦＩＸ差分器９０６、９０７では以
下の計算が行なわれる。ＦＩＸ差分器９０６の出力をＵ
Ｘ、ＦＩＸ差分器９０７の出力ＵＹとすると、次式で計
算される。

【００７４】ＵＸ＝ＤＸ−ＤＹ（ＤＸ＞ＤＹ）…（７）ＵＸ＝０（ＤＸ≦ＤＹ）…（８）ＵＹ＝ＤＹ−ＤＸ（ＤＹ＞ＤＸ）…（９）ＵＹ＝０（ＤＹ≦ＤＸ）…（１０）上記の計算を行なうＦＩＸ差分器９０６およびＦＩＸ差
分器９０７の構成を図１４、図１５に示す。図１４に示
すように、ＦＩＸ差分器９０６は、差分器９２６、ＡＮ
Ｄゲート９２７を含む。同様に、図１５において、ＦＩ
Ｘ差分器９０７は、差分器９２８、ＡＮＤゲート９２９
を含む。差分器９２６には、Ｘ微分器９０４の出力信号
ＤＸおよびＹ微分器９０５の出力信号ＤＹが入力され、
差分処理が行なわれた後、ＡＮＤゲート９２７へ出力さ
れる。ＡＮＤゲート９２７は入力信号の論理積を出力信
号ＵＸとして出力する。ＦＩＸ差分器９０７も同様であ
る。上記の動作により、ＦＩＸ差分器９０６、９０７は
上記の計算式に基づき、出力信号ＵＸ、ＵＹを出力する
ことができる。この結果、孤立ノイズが互いに打ち消さ
れ、エッジ成分が強調された縦線成分の出力信号ＵＸと
横線成分の出力信号ＵＹを得ることが可能となる。

【００７５】比較器９０８、９０９の一方の入力端子に
は、ＦＩＸ差分器９０６、９０７の出力信号ＵＸ、ＵＹ
が入力され、もう一方の端子には除算器９１０の出力信
号である輝度値ａ（−１，−１）を所定値Ｂで除算した
信号が入力される。この結果、比較器９０８の出力信号
ＥＤＧＥＸは以下の式で表される。

【００７６】ＥＤＧＥＸ＝１（ＵＸ＞ａ（−１，−１）／Ｂ）…（１１）ＥＤＧＥＸ＝０（ＵＸ≦ａ（−１，−１）／Ｂ）…（１２）上記の計算により、エッジ成分が強調された信号を輝度
値で正規化した信号を二値データとして出力することが
可能となる。同様に、比較器９０９の出力信号ＥＤＧＥ
Ｙも次式で計算される。

【００７７】ＥＤＧＥＹ＝１（ＵＹ＞ａ（−１，−１）／Ｂ）…（１３）ＥＤＧＥＹ＝０（ＵＹ≦ａ（−１，−１）／Ｂ）…（１４）上記のように、縦線成分および横線成分が輝度値により
正規化され、シューティングに強いエッジ検出器が得ら
れる。また、同時に二値化しているため、後段の処理が
簡略化され回路規模が少なくて済むという利点もある。

【００７８】上記のエッジ検出部８は、エッジを検出す
るために上記のソーベル（ＳＯＢＥＬ）オペレータを採
用しているが、ソーベルオペレータの代わりにプレウィ
ット（ＰＲＥＷＩＴＴ）オペレータまたはロバーツ（Ｒ
ＯＢＥＲＴＳ）オペレータ等を採用しても同様の効果を
得ることができる。

【００７９】また、上記のエッジ検出部８では、ＦＩＸ
差分器９０６、９０７による絶対差分を行ない、かつ、
比較器９０８、９０９、除算器９１０による輝度値によ
る正規化を行なっているが、前者では、孤立ノイズ成分
を取除き、エッジ成分が強調された純粋なエッジ信号を
得ることができるので、ノイズの影響の少ないエッジ検
出を実現することができ、後者では、輝度値で正規化す
ることによりシューティングに強いエッジ検出を実現す
ることができる。したがって、どちらか一方のみをエッ
ジ検出部８へ適用してもよい。

【００８０】また、上記のエッジ検出部８の適用は本実
施例に限られるものではなく、ＴＶ電話、ドアホンカメ
ラ、ビデオ一体型ムービー、監視装置、特定物体検出装
置等の画像データからエッジ成分を検出する画像処理装
置に同様に適用することが可能である。

【００８１】次に、タイミング発生部２について、以下
詳細に説明する。図１６は、タイミング発生部２の構成
を示す回路図である。

【００８２】図１６において、タイミング発生部２は、
カウンタ１３０１、１３０２、ＮＡＮＤゲート１３０
３、１３０４、ＡＮＤゲート１３０５を含む。ＴＶカメ
ラ等から供給される画素クロック信号ＣＬＫ、水平同期
パルスＨＤおよび垂直同期パルスＶＤは、タイミング発
生部２へ入力される。ここで、画素クロック信号ＣＬＫ
はカウンタ１３０１、１３０２のクロック入力端子へ、
水平同期パルスＨＤはカウンタ１３０１のクリア端子と
ＡＮＤゲート１３０５の入力端子へ、垂直同期パルスＶ
Ｄはカウンタ１３０２のクリア端子へ入力される。カウ
ンタ１３０１は水平同期パルスＨＤによりクリアされ、
画素クロック信号ＣＬＫでカウントアップしていく。カ
ウント１３０１が８ビット構成であるとすると２５５ま
でカウントアップした時点で、ＮＡＮＤゲート１３０３
の出力信号が“Ｌ”となり、カウンタ１３０１をディス
エーブル状態にしてカウント動作を止める。再度ＨＤパ
ルスが入力されると上記動作を繰返す。すなわち、カウ
ンタ１３０１は画像のＸ軸方向に画素単位につけたアド
レスＸＡＤＲとして出力する。

【００８３】カウンタ１３０２は、垂直同期パルスＶＤ
によってクリアされ、水平同期パルスＨＤが１個入力さ
れるたびにカウントアップしていく。すなわち、カウン
タ１３０２は画素のＹ軸方向につけたアドレスＹＡＤＲ
となる。

【００８４】図１７に画像とアドレスＸＡＤＲ、ＹＡＤ
Ｒとの対応関係を示す。図１７に示すように、アドレス
ＸＡＤＲは画像の左から右へいくほど大きくなり、アド
レスＹＡＤＲは画像の上から下へいくほど大きくなる。
したがって、アドレスＸＡＤＲ、ＹＡＤＲにより画像の
所定の位置を特定することが可能となる。

【００８５】次に、最大動き物体検出回路１４について
以下に説明する。図１８は、モード設定回路２０の各モ
ードを説明する図である。モード設定回路２０のモード
が“１”のとき、動き検出部３の出力は二値化された動
き情報であり、最大動き物体検出回路９へ入力されてい
る。最大動き物体検出回路９では、動き情報をＸ軸に累
積加算し、図１８の（ａ）に示すように動き物体の最も
大きい領域をＸ軸方向（横方向）に検出する。図１９
は、最大動き物体検出回路９の構成を示す図である。

【００８６】図１９において、最大動き物体検出回路９
は、加算器１４０１、ラインメモリ１４０２、セレクタ
１４０３、ローパスフィルタ１４０４、ピーク検出回路
１４０５、比較器１４０６、１４１５、１４１９、１４
２１、立上がり検出回路１４０７、立下がり検出回路１
４０８、フリップフロップ１４０９、１４１０、１４１
２、１４１３、減算器１４１１、１４１４、ＡＮＤゲー
ト１４１６、ダウンカウンタ１４１７、ＯＲゲート１４
１８、１４２２、アップカウンタ１４２０を含む。

【００８７】セレクタ１４０３は、モード“１”でブラ
ンキング期間以外は端子１と端子４とが接続されてお
り、加算器１４０１によってラインメモリ１４０２に同
じアドレスＸＡＤＲに対応する位置の動き検出信号が蓄
積されていく。画像領域の走査が終了し、垂直ブランキ
ング期間に入ると、セレクタ１４０３は端子２と端子４
とを接続し、アドレスＸＡＤＲが更新するたびにライン
メモリ１４０２から読出された動き累積値がローパスフ
ィルタ１４０４で平滑化され、再度ラインメモリ１４０
２へ戻される。垂直ブランキング期間の第１ライン目で
アドレスＸＡＤＲはアップ方向へスキャンするが、Ｘ軸
方向の対称性を維持するために、第２ライン目はアドレ
スＸＡＤＲを逆方向にスキャンして、ローパスフィルタ
をかける。このとき、アドレスＸＡＤＲＸを逆スキャン
するには、アドレスＸＡＤＲにインバータを通せば簡単
に実現できる。第３ライン目はアドレスＸＡＤＲのスキ
ャンを逆方向に戻し、ラインメモリの累積データからそ
のピーク値をピーク検出回路１４０５で検出する。第４
ライン目は検出したピーク値に比例したしきい値で、ラ
インメモリ１４０２から読出したデータを二値化する。
二値化された１次元の動き情報は立上がり検出回路１４
０７と立下がり検出回路１４０８に入力され、立上がり
パルスはフリップフロップ１４０９のイネーブル端子に
入力され、そのときのＸ座標をアドレスＸＡＤＲを保持
することで得る。また、二値化された１次元の動き情報
が“Ｈ”から“Ｌ”へ変化すると、フリップフロップ１
４１０はアドレスＸＡＤＲをホールドすることにより、
その立下がりのＸ座標を得る。最初の状態ではフリップ
フロップ１４１２、１４１３はリセットされて“０”で
ある。これらの出力は減算器１４１４へ入力され、その
差分がとられ、減算器１４１４の出力は“０”となって
おり、比較器１４１５のｂ入力端子へ入力されている。

【００８８】一方、最初に出力された動き物体のＸ座標
の右側と左側の位置は、それぞれフリップフロップ１４
０９、１４１０に記憶されており、その動き物体の大き
さはフリップフロップ１４０９、１４１０の差分で得ら
れる。すなわち、減算器１４１１の出力がその動き物体
の大きさを出力し、比較器１４１５のａ入力端子へ入力
される。このとき、比較器１４１５のａ入力端子へ入力
される信号はｂ端子へ入力される信号より大きいので、
比較器１４１５の出力は“１”となり、ＡＮＤゲート１
４１６の一方の入力端子へ“１”の信号が入力される。
一方、アドレスＸＡＤＲが物体の右端の位置までカウン
トアップすると、立下がり検出回路１４０８が動作し、
１クロック分だけ“１”を出力し、ＡＮＤゲート１４１
６のもう一方の端子へ入力され、ＡＮＤゲート１４１６
の出力は１クロック分だけ“１”になる。この結果、フ
リップフロップ１４１２、１４１３をイネーブルにし、
フリップフロップ１４０９、１４１０の座標データがフ
リップフロップ１４１２、１４１３に転送される。も
し、フリップフロップ１４１２、１４１３の差分がフリ
ップフロップ１４０９、１４１０の差分よりも小さい場
合には、比較器１４１５の出力は“０”となり、ＡＮＤ
ゲート１４１６の出力も“０”となり、フリップフロッ
プ１４１２、１４１３は更新されない。すなわち、Ｘ軸
方向に最も大きい動き物体の座標のみがフリップフロッ
プ１４１２、１４１３に残り、出力信号Ｘａ１、Ｘｂ１
として出力される。

【００８９】次に、最大動き物体検出回路９の適用的膨
張機能について説明する。動き検出信号である比較器１
４０６の出力の立上がりのタイミングで立上がり検出回
路１４０８から１クロック分だけ“１”を出力し、ダウ
ンカウンタ１４１７に減算器１４１１の出力がロードさ
れる。減算器１４１１の出力は、このとき、動き物体の
大きさであり、この出力に比例したデータをダウンカウ
ンタ１４１７に与えてやれば、物体の大きさに適応して
膨張幅を決定することができる。この場合、減算器１４
１１の出力が“１６”のとき、３ビットシフトした
“２”をダウンカウンタ１４１７にロードすれば、
“２”が“０”になるまでカウントダウンすると、ＯＲ
ゲート１４１８の出力は“０”となり、ダウンカウンタ
１４１７はディスエーブルとなる。したがって、この場
合、比較器１４０６の出力は、幅１６のパルスが２だけ
膨張し、幅１８のパルスとしてＯＲゲート１４２２から
出力される。図２０に上記の動作による最大動き物体検
出回路９の各部の波形を示す。

【００９０】次に、第４ライン目ではセレクタ１４０３
は端子３と端子４とを接続し、適応的に膨張したデータ
がラインメモリ１４０２へ書込まれる。

【００９１】次に、第５ライン目では、第４ライン目の
動作とほぼ同様で、アドレスＸＡＤＲのスキャン方向が
逆になるだけである。第５ライン目では、第４ライン目
と逆方向に適応的膨張がなされる。第６ライン目では、
第４ライン目と同様の動作であり、ラインメモリ１４０
２を更新しない点だけが異なる。

【００９２】立下がり検出回路１４０８の出力は、アッ
プカウンタ１４２０へ入力しており、立下がりパルスの
個数を計数する。立下がりパルスの個数は、動き物体の
個数と等しく、比較器１４２１によってその個数が十分
かどうかを判定され、所定の個数以下の場合は“１”が
出力される。判定結果は、物体個数判定結果として出力
される。また、フリップフロップ１４１２、１４１３に
記憶された最大物体の座標は、減算器１４１４によりそ
の物体幅が計算され、比較器１４１９によって所定の大
きさ以上のとき“１”が出力される。この判定結果は、
最大物体判定結果として出力される。

【００９３】上記の動作により、最大動き物体検出回路
９は２値画像データの連結長さに適応した膨張データを
作成することが可能となる。

【００９４】上記の最大動き物体検出回路９の適用は、
本実施例に限られるものではなく、たとえば、ＴＶ電
話、ドアホンカメラ、ビデオ一体型ムービー、監視装
置、特定物体検出装置等の二値化画像処理において適応
的膨張信号を用いる画像処理装置に適用することが可能
である。

【００９５】次に、モード設定回路２０の各モードに対
応した動作について説明する。モード設定回路２０のモ
ードが“１”のとき、最大動き物体検出回路９から出力
された判定結果は動き判定回路１８で判定され、動き物
体の個数が所定の個数以下で、かつ、最大物体の大きさ
が所定の幅以上であるとき、“１”を出力し、モード設
定回路のモードを“２”にする。その他の場合は“０”
を出力し、モードを“１”のままにする。モードが
“１”のとき、動き検出部３の中のフレームメモリ３０
２は更新しないため、第ｍフレームの画像が記憶されて
いる。動き判定結果が“０”のとき、もう１度モード
“１”が繰返されることになり、動き情報は第ｍフレー
ムと第ｍ＋２フレームとの間の動きが反映される。動き
物体の動きが非常に遅いとき、各フレームでの動き判定
結果は“０”が連続し、フレームメモリの内容が更新さ
れず、動き情報は第ｍフレームと第ｍ＋ｋフレームとで
動き物体が十分に動くまで、次のモードに変わらないよ
うになっている。動き物体が十分に動き、動き判定結果
が“１”になると初めてモード設定回路２０のモードは
“２”となる。

【００９６】モード設定回路２０のモードが“２”にな
ると、切換回路１４は、端子ａ側を接続し、最大動き物
体の座標値Ｘａ１、Ｘｂ１が第１領域制限回路５へ入力
される。一方、タイミング発生部２からは、画像のＸ軸
方向のアドレスＸＡＤＲを示す信号が入力され、動き検
出部３からは動き検出信号ＭＯＶ１が第１領域制限回路
５へ入力される。第１領域制限回路５では動き検出信号
ＭＯＶ１をＸ軸方向に制限し、頭頂座標検出回路１０へ
出力する。すなわち、図１８の（ｂ）に示すように、モ
ード“１”で検出された最も大きな動き物体のＸ軸方向
の領域のみが検出の対象となり、その領域の動き物体の
頭頂座標Ｙｔｏｐが頭頂座標検出回路１０により検出さ
れる。

【００９７】次に、第１領域制限回路５について以下に
詳細に説明する。図２１は、第１領域制限回路５の構成
を示す図である。

【００９８】図２１において、領域制限回路１０は、減
算器１７０１、１７０４、１７１３、乗算器１７０２、
１７１２、加算器１７０５、１７１４、比較器１７０
６、１７０８、１７１５、１７１６、ＡＮＤゲート１７
０３、１７０９、１７１１、１７１７、ＯＲゲート１７
１０を含む。

【００９９】モードが“２”のとき、モード信号ＭＯＤ
Ｅとして“０”の信号が供給され、ＡＮＤゲート１７０
３の出力は“０”となり、後段に接続されている減算器
１７０４、加算器１７０５の入力信号Ｘａ１、Ｘｂ１を
そのまま出力し、比較器１７０６、１７０８へ入力され
る。また、モード信号ＭＯＤＥはＯＲゲート１７１０に
も“０”を供給しているので、ＯＲゲート１７１０は
“１”となり、ＡＮＤゲート１７０９をイネーブルにす
る。比較器１７０６、１７０８のもう一方の端子にはア
ドレスＸＡＤＲが入力されているので、Ｘａ１≧ＸＡＤ
Ｒ≧Ｘｂ１のとき、比較器１７０６、１７０８の出力は
“１”となり、ＡＮＤゲート１７０９が“１”となりＡ
ＮＤゲート１７１１をイネーブルにする。すなわち、図
１２の（ｂ）に示すように、画像のアドレスＸＡＤＲと
して座標Ｘａ１からＸｂ１までの領域のみの動き検出信
号ＭＯＶ１が処理対象となる。

【０１００】次に、頭頂座標検出回路１０について以下
に詳細に説明する。図２２は、頭頂座標検出回路１０の
構成を示す図である。

【０１０１】図２２において、頭頂座標検出回路１０
は、Ｙ軸投影器１９１、ラベリング連結部１９２、頭頂
座標検出部１９３を含む。

【０１０２】Ｙ軸投影器１９１は、第１領域制限回路５
から出力された動き検出信号ＭＯＶ１を走査線方向、す
なわちＸ方向に累積加算し、Ｙ軸濃度投影を行なう。そ
の様子を図１８の（ｂ）に示す。頭頂座標検出回路１０
は、最大動き物体検出回路９と同様の構成となってお
り、共用も可能である。ラベリング連結部１９２は、Ｙ
軸に濃度投影された動き検出信号にローパスフィルタを
かけ、ピークを検出し、そのピーク値に応じて二値化
し、適用的に膨張させ、ラベリングを行なう。頭頂座標
検出部１９３は、ラベリング連結部１９２の出力を基
に、Ｙ軸方向の最大物体の頭頂座標Ｙｔｏｐ位置を検出
し、出力する。この動作は１フィールドの動作で完了
し、モード設定回路２０のモードが“３”になる。

【０１０３】モード設定回路２０のモードが“３”にな
ると、第２領域制限回路６と、動き特徴量抽出回路１
１、および動き判定回路１８がイネーブルになる。第２
領域制限回路６には動き検出部３の動き検出信号ＭＯＶ
１、モード“１”とモード“２”で検出された対象物体
のＸ座標Ｘａ１、Ｘｂ１および頭頂座標Ｙｔｏｐ、およ
びタイミング発生部２から出力されたアドレスＸＡＤ
Ｒ、ＹＡＤＲが入力されており、動き検出信号を図１８
の（ｃ）に示すようにマスクする。

【０１０４】図２３に、第２領域制限回路６の構成を示
す。第２領域制限回路６は、図２１に示した第１領域制
限回路５と同様の構成であるので、その説明を省略す
る。

【０１０５】マスクされた動き検出信号は、動き特徴量
抽出回路１１へ入力される。動き特徴量抽出回路１１で
は、動き検出信号の被マスク領域について、動き領域の
周囲長ＹＬ、動き領域の縦長Ｌ０、動き領域の面積Ｓ
０、動き領域のＸ端座標Ｘａ２、Ｘｂ２を抽出する。図
２４は、動き領域の周囲長ＹＬを示す図であり、図２５
は、動き領域の縦長Ｌ０を示す図であり、図２６は、動
き領域の面積Ｓ０を示す図である。

【０１０６】縦軸の画像のアドレスＹＡＤＲがｊのとき
の動き検出信号ＭＯＶ１が“１”であるＸ軸アドレスの
最も左の座標ＭＸＬｊ、最も右の座標ＭＸＲｊ、最初に
動き検出信号を検出したＹ座標をｊｍｉｎ、最後に動き
検出信号を検出したＹ座標をｊｍａｘとすると、周囲長
ＹＬ０、縦長Ｌ０、面積Ｓ０は以下の式で表される。

【０１０７】ＹＬ＝ＭＸＲ_jmin−ＭＸＬ_jmin＋ＭＸＲ_jmax−ＭＸＬ_jmax＋Σ（｜ＭＸＲ_j− ＭＸＲ_j+1｜＋｜ＭＸＬ_j−ＭＸＬ_j+1｜）…（１５）（但し、Σはｊ＝ｊｍｉｎ〜ｊｍａｘ−１の範囲で行な
う）Ｌ０＝ｊｍａｘ−ｊｍｉｎ…（１６）Ｓ０＝Σ｜ＭＸＲ_j−ＭＸＬ_j｜…（１７）歩行している人の動きは、カメラに対してほぼ横方向に
移動するため、頬の縦位置付近は時間的変化が大きいの
で、動き検出信号として表れやすく、顔付近の検出信号
は、図２４に示す領域として表される。動き特徴量抽出
回路１１では、上記のような動き特徴上ＹＬ、Ｌ０、Ｓ
０を計算し、動き判定回路１８へ出力する。図２７、図
２８に、動きが不十分なときの動き検出信号を示す第１
および第２の図を示す。対象となる物体の動きが小さい
とき、動き検出信号は図２７に示すように孤立した島が
多くなり、周囲長ＹＬは大きく、面積Ｓ０は小さくな
る。また、図２８に示すように片方のエッジ部分だけが
縦に細長く検知される場合がある。上記の場合は、以下
の式により計算される値により評価される。

【０１０８】ａ＝Ｓ０／ＹＬ…（１８）ｂ＝Ｌ０／ｓｑｒ（Ｓ０）…（１９）ｃ＝Ｓ０／Ｘｌｅｎ／Ｘｌｅｎ…（２０）物体の動きが大きいときは、上記のａの値が大きく、ｂ
の値は小さく、ｃの値は大きくなる。所定のしきい値ａ
０、ｂ０、ｃ０を設定し、ａ＞ａ０、かつ、ｂ＜ｂ０、
かつ、ｃ＞ｃ０のときに、対象物体の動きが十分にあっ
たと判定することができる。動き判定回路１８では、入
力された動き特徴量ＹＬ、Ｌ０、Ｓ０および最大動き物
体検出回路９から入力されたＸｌｅｎ＝Ｘｂ１−Ｘａ１
から上記の動き判定を行ない、対象物体の動きが十分に
あったと判定した場合、モード設定回路２０のモードを
“４”にして、次の判定モードに進む。その他の場合は
モード“１”にし、動き物体がさらに移動するのを待っ
て、もう１度動き物体の測定を行なう。すなわち、対象
物体の動きが非常に遅い場合は、モード“１”、
“２”、“３”と繰返し、最初のフレームに対して十分
に動きが発生するまでフレームメモリ３０２の内容を更
新せずに待ち、動きが十分と判断されたら初めて次のモ
ード“４”へ進むように動作する。また、対象物体の動
きが大きいときは、モード“３”の次にただちにモード
“４”へ進む。上記の動作により、遅く動く物体でも、
速く動く物体でも、十分に動いたかどうかの判定を正確
に行なうことができる。

【０１０９】上記の動き特徴量抽出回路１１および動き
判定回路１８から構成される動き量判定手段は、本実施
例にのみ適用されるものではなく、ＴＶ電話、ドアホン
カメラ、ビデオ一体型ムービー、監視装置、特定物体検
出装置等の他の画像処理装置においても適用が可能であ
る。

【０１１０】また、モード“３”では、上記動き量の判
定以外に、動き検出信号から対象物体の両端の座標Ｘａ
２、Ｘｂ２を検出する。図１８の（ｃ）にモード“３”
の動作の概要を示す。座標Ｘａ１と座標Ｘｂ１で囲まれ
た領域で、最初に検知された動き検出信号の存在するＹ
座標、すなわちＹｔｏｐから走査方向に処理を進め、同
じ水平ライン上で最初に検出された動き検出信号の存在
する座標をＸＬ（ｊ）、最後に検出された座標をＸＲ
（ｊ）とすると、２つの検出座標Ｘａ２、Ｘｂ２は次式
で表される。

【０１１１】Ｘａ２（ｊ）＝ＸＬ（ｊ）×（１−ｋ）＋Ｘａ２（ｊ−１）×ｋ…（２１）Ｘｂ２（ｊ）＝ＸＲ（ｊ）×（１−ｋ）＋Ｘｂ２（ｊ−１）×ｋ…（２２）但し、ｋは巡回係数で０＜ｋ＜１ｊ＝Ｙｔｏｐ＋１〜Ｙｔｏｐ＋（Ｘｂ１＋Ｘａ１）／２Ｘａ２（Ｙｔｏｐ）＝ＸＬ（Ｙｔｏｐ）Ｘｂ２（Ｙｔｏｐ）＝ＸＲ（Ｙｔｏｐ）次に、上記の演算を行なう動き特徴量抽出回路１６に含
まれる座標Ｘａ２、Ｘｂ２の検出回路について説明す
る。図２９は、動き特徴量抽出回路に含まれる検出回路
の構成を示すブロック図である。

【０１１２】図２９において、検出回路は、頭頂座標検
出部２６１、Ｘａ２（ｊ）検出部２６２、Ｘｂ２（ｊ）
検出部２６３、巡回フィルタ２６４、２６５を含む。第
２領域制限回路６から出力された動き検出信号は、頭頂
座標検出回路２６１に入力され、Ｙ軸方向に最初に動き
検出信号が現れた座標Ｙｔｏｐ２として出力し、検出と
同時にトリガ信号をＸａ２（ｊ）検出部２６２、Ｘｂ２
（ｊ）検出回路２６３へ出力する。Ｘａ２（ｊ）検出回
路２６２、Ｘｂ２（ｊ）検出回路２６３は上記トリガ信
号により動作を開始し、Ｘａ２（ｊ）、Ｘｂ２（ｊ）を
検出し、巡回フィルタ２６４、２６５へ出力する。巡回
フィルタ２６４、２６５では、上記の演算を行ない、対
象物体の両端の座標Ｘａ２、Ｘｂ２を得る。

【０１１３】モード“４”では、図１８の（ｄ）に示す
ように、モード“３”で検出したＸａ２、Ｘｂ２、Ｙｔ
ｏｐ２により、処理対象領域をさらに狭め、その中の動
き検出信号と縦エッジ信号を利用し、さらに人の頬位値
Ｘａ３、Ｘｂ３を精密に検出する。すなわち、動き物体
の領域でかつ縦エッジのきつい場所を頬の位置とみなす
ものである。動き検出部３から出力した動き検出信号と
エッジ検出部４で検出された縦エッジ信号は第３領域制
限回路７へ入力される。

【０１１４】次に、第３領域制限回路７について詳細に
説明する。図３０は、第３領域制限回路７の構成を示す
ブロック図である。

【０１１５】図３０において、第３領域制限回路７は、
減算器２７１、２７３、乗算器２７２、２７８、２８
５、スイッチ２８４、加算器２７４、２７９、比較器２
７５、２７６、２８０、２８１、ＡＮＤゲート２８２、
２８３を含む。

【０１１６】モード“３”で検出された頬座標Ｘａ２、
Ｘｂ２は減算器２７１でその差×ｌｅｎ２＝Ｘｂ２−Ｘ
ａ２が計算される。このモードでは、スイッチ２８４は
除算器２７２に接続され、除算器２７２は計算された×
ｌｅｎ２を２で割り、減算器２７３のｂ端子に入力す
る。減算器２７３のａ端子には頬座標Ｘａ２が入力され
ているので、減算器２７３はＸａ２−（Ｘｂ２−Ｘａ
２）／２＝（３×Ｘａ２−Ｘｂ２）／２を出力する。減
算器２７３の出力は比較器２７５のｂ端子へ、また、ア
ドレス信号ＸＡＤＲは比較器２７５の（ａ）端子へ入力
されている。アドレス信号ＸＡＤＲの値が（３×Ｘａ２
−Ｘｂ２）／２を超えると比較器２７５は“１”を出力
する。加算器２７４の一方の入力にはＸｂ２が、もう一
方の入力には（Ｘｂ２−Ｘａ２）／２が入力されている
ので、加算器２７４はＸｂ２＋（Ｘｂ２−Ｘａ２）／２
＝（３×Ｘｂ２−Ｘａ２）／２を比較器２７６のｂ端子
に出力する。比較器２７６のもう一方のａ端子には、ア
ドレス信号ＸＡＤＲが入力しているので、結局、比較器
２７６はアドレスＸＡＤＲが（３×Ｘｂ２−Ｘａ２）／
２を超えない間“１”を出力する。Ｙ軸方向について
は、同様な動作でアドレスＹＡＤＲが座標Ｙｔｏｐ２を
超えると比較器２８０が“１”を出力し、アドレスＹＡ
ＤＲがＹｔｏｐ＋（Ｘｂ２−Ｘａ２）×３／４を超えな
い間、比較器２８１は“１”を出力する。比較器２７
５、２７６、２８０、２８１の出力は、ＡＮＤゲート２
８２で論理積をとられ、さらに、ＡＮＤゲート２８３へ
出力される。ＡＮＤゲート２８３の他の入力端子には動
き検出信号と縦エッジ検出信号が印加されているので、
ＡＮＤゲート２８３の出力は、図１８の（ｄ）に示すよ
うな矩形で囲まれた領域に制限された動きかつ縦エッジ
信号として精密頬座標検出回路１２へ出力される。上記
の処理により、動き特徴量抽出回路１１および第３領域
制限回路７では、安定な動物体座標として、頭頂座標Ｙ
ｔｏｐ２、左座標Ｘａ２、右座標Ｘｂ２を検出すること
が可能となる。

【０１１７】上記の動き特徴量抽出回路１１および第３
領域制限回路７による動物体座標の検出は本実施例にの
み適用されるものではなく、ＴＶ電話、ドアホンカメ
ラ、ビデオ一体型ムービー、監視装置、特定物体検出装
置等の動物体座標を検出する画像処理装置に同様に適用
することが可能である。

【０１１８】次に、精密頬座標検出回路１２について詳
細に説明する。図３１は、精密頬座標検出回路１２の構
成を示すブロック図である。

【０１１９】図３１において、精密頬座標検出回路１２
は、加算器２９１、２９６、ＡＮＤゲート２９２、２９
４、２９５、メモリ２９３、除算器２９７、比較器２９
８、ピーク検出回路２９９、３００、フリップフロップ
３０１、３０２を含む。

【０１２０】図３２に、精密頬座標検出回路１２の動作
タイミングを示す。図３２に示す累積メモリリセットタ
イミング領域１では、タイミング発生部２から出力され
たリセット信号／ＲＥＳＥＴ（以降、“／”は反転信号
を示す）はアドレスＹＡＤＲが０のラインを走査してい
る間は“０”となり、ＡＮＤゲート２９２に印加され、
ＡＮＤゲート２９２は“０”を出力し、メモリ２９３の
端子Ｉに供給する。リードライト信号Ｒ／Ｗおよびアド
レスＸＡＤＲはタイミング発生部２から供給され、アド
レスＸＡＤＲは１画素ごとにインクリメントしされ、リ
ードライト信号Ｒ／Ｗは１画素ごとに１サイクル供給さ
れる。したがって、１ライン分の走査が完了すると、メ
モリ２９３のすべての内容がクリアされる。累積加算タ
イミング領域２は画像の領域で領域制限回路７で制限さ
れた動きかつ縦エッジ信号（動き×縦エッジ信号）をＹ
軸方向に累積するタイミングである。上記の２つの領域
では、リセット信号／ＲＥＳＥＴは“１”となり、リー
ドライト信号Ｒ／Ｗも１画素ごとに１サイクル供給され
る。このとき、メモリ２９３の内容と動きかつ縦エッジ
信号を加算した結果とがメモリ２９３に戻され、同じア
ドレスＸＡＤＲに対応する動きかつ縦エッジ信号が累積
加算され、対応するメモリ２９３のアドレスに格納され
る。ピーク位置検出タイミング領域３では、メモリ２９
３に累積された値のピーク値を探し、ピーク値に対応す
るアドレスＸＡＤＲを抽出する。モード“３”で検出し
た頬座標Ｘａ２、Ｘｂ２が切換回路１６から加算器２９
６へ供給されており、加算器２９６はＸａ２＋Ｘｂ２を
出力し、除算器２８７で半分にし、比較器２９８の端子
ｂには（Ｘａ２＋Ｘｂ２）／２が供給される。比較器２
９８の端子ｂにはアドレスＸＡＤＲが供給されているの
で、アドレスＸＡＤＲが顔の中央座標（Ｘａ２＋Ｘｂ
２）／２より小さいときは、比較器２９８の出力は
“０”となり、ゲート２９４がオンになる。ゲート２９
４がオンになるとピーク検出回路２９９とフリップフロ
ップ３０１が動作可能となる。ピーク検出回路２９９は
最も大きな値が入力されると１パルス発生し、接続され
ているフリップフロップ３０１に対応するアドレスＸＡ
ＤＲをラッチする。アドレスＸＡＤＲが顔の中央座標
（Ｘａ２＋Ｘｂ２）／２より大きくなるとゲート２９５
がオンし、ピーク検出回路３００およびフリップフロッ
プ３０２が動作する。このとき、メモリ２９３のピーク
位置に対応するアドレスＸＡＤＲをフリップフロップ３
０２がラッチする。フリップフロップ３０１、３０２に
記憶された座標は、それぞれ、左頬に対応する座標はＸ
ａ３、右頬に対応する座標はＸｂ３として出力される。
上記のピーク検出動作は１ラインの間に完了する。モー
ド“４”における動作の概略を図１８の（ｄ）に示す。
以上の動作により、動物体の精密な左座標と右座標を検
出することが可能となる。上記の精密頬座標検出回路３
０による動物体の精密な左座標と右座標の検出は、本実
施例にのみ適用されるものではなく、ＴＶ電話、ドアホ
ンカメラ、ビデオ一体化ムービー、監視装置、特定物体
検出装置等の動物体の精密な左座標と右座標とを検出す
る画像処理装置に同様に適用することが可能である。

【０１２１】また、モード“４”では、同時に第４領域
制限回路８と特徴抽出回路１３も動作する。図３３に、
第４領域制限回路８の構成を示す。図３２において、第
４領域制限回路８は、減算器３１１、３１３、除算器３
１２、３１７、３１８、加算器３１４、３１９、３２
０、比較器３１５、３１６、３２１、３２２、ＡＮＤゲ
ート３２３、３２４、３２５を含む。第４領域制限回路
８の構成は、図３０に示す第３領域制限回路７と同様の
構成であり、異なる点はＹ軸方向の制限領域が異なるの
と、制限の対象となる信号を縦エッジ信号と横エッジ信
号の２系統になっていることである。Ｙ軸の上端座標を
Ｙｔｏｐ＋Ｘｌｅｎ／４としたのは、髪の毛の特徴は人
によって千差万別なので、髪の毛の部分をマスクして、
目の付近の特徴だけを抽出するためである。

【０１２２】次に、特徴抽出回路１３について詳細に説
明する。特徴抽出回路１３は図１８の（ｅ）に示すよう
に制限されたエッジ信号をＹ軸方向に累積加算し、精密
頬座標検出回路１２で検出した座標Ｘａ３、Ｘｂ３をｎ
分割して、各分割ブロックごとにさらに積分し、縦エッ
ジ特徴量ＳＸ₀〜ＳＸ_n-1、横エッジ特徴量ＳＹ₀〜Ｓ
Ｙ_n-1を得る。

【０１２３】図３４に特徴抽出回路１３の構成を示す。
図３３において、特徴抽出回路１３は、加算器３３１、
３３４、３３９、ＡＮＤゲート３３２、３３５、３３
８、メモリ３３３、３３６、セレクタ３３７、フリップ
フロップ３４０、演算器群３４１、比較器群３４２、Ｏ
Ｒゲート３４３、３４４、フリップフロップ群３４５、
３４６を含む。

【０１２４】ＡＮＤゲート３３２には、タイミング発生
部２からリセット信号／ＲＥＳＥＴが供給されている。
図３５に、特徴抽出回路１３の動作タイミングを示す。
図３５に示す累積メモリリセットタイミング領域１で
は、リセット信号／ＲＥＳＥＴは“０”であり、ＡＮＤ
ゲート３３２の出力は“０”となり、メモリ３３３の内
容をクリアする。累積加算タイミング領域２では、メモ
リ３３３から読出したデータに縦エッジ信号を加算器３
３１で加算し、再度メモリ３３３に書込む。この動作は
１画素の間に実行され、同じアドレスＸＡＤＲに対応す
る縦エッジ信号はメモリ３３３に累積されていく。加算
器３３４、ＡＮＤゲート３３５、メモリ３３６の構成も
加算器３３１、ＡＮＤゲート３３２、メモリ３３３と同
様の構成であり、横エッジ信号はメモリ３３６に同様に
累積されていく。演算器群３４１は、精密頬座標検出回
路１２で検出したＸａ３、Ｘｂ３からそれぞれ次式に示
すような重みづけ和Ｓｉを計算する。

【０１２５】

【数１】

【０１２６】上記の重みづけ和Ｓｉは比較器群３４２の
各ｂ端子へ入力される。重みづけ和ＳｉはＸａ３とＸｂ
３をｎ分割した座標を表し、比較器群３４２の各ａ端子
にはＸ軸のアドレスＸＡＤＲが供給されているため、比
較器群３４２の出力はアドレスＸＡＤＲの対応する順次
パルスを発生する。重みづけ和Ｓ₀〜Ｓ_n-1に対応する
パルスはＯＲゲート３４３で合成され、重みづけ和Ｓ₁
〜Ｓ_nに対応するパルスはＯＲゲート３４４で合成され
る。ＯＲゲート３４３はクリア信号としてＡＮＤゲート
３３８を“０”にし、ＯＲゲート３４４は転送パルスと
してフリップフロップ群３４５、３４６のイネーブル端
子に供給される。

【０１２７】アドレスＸＡＤＲが重みづけ和Ｓ₀になる
と、ＯＲゲート３４３の出力が“１”となり、ＡＮＤゲ
ート３３８を“０”にする。セレクタ３３７が端子Ａに
接続されているとすると、アドレスＸＡＤＲに対応する
縦エッジのＸ軸への投影値は加算器３３９の端子ａに供
給され、そのままの値でフリップフロップ３４０に取込
まれる。クロック１画素分進むと、アドレスＸＡＤＲも
１だけ増え、ＯＲゲート３４３が“０”となり、フリッ
プフロップ３４０の出力が加算器３３９の端子ｂに供給
され、縦エッジのＸ軸への投影値と加算され、再度フリ
ップフロップ３４０に書き込まれる。フリップフロップ
３４０の出力は後段のフリップフロップ群３４５、３４
６に供給されており、ＯＲゲート３４４がＳ₁〜Ｓ_nの
タイミングごとに“１”となり、順次積分された特徴量
ＳＸ₀〜ＳＸ_n-1がフリップフロップ群３４５、３４６
へ転送されていく。上記の一連の動作を図３６に示す。

【０１２８】図３５に示す横線特徴抽出タイミング領域
４では、セレクタ３３７は端子Ｂに接続し、横エッジの
特徴量ＳＹ₀〜ＳＹ_n-1を上記と同様の動作により計算
し、フリップフロップ群３４５、３４６へ転送する。上
記の動作により、顔の目の付近の特徴量を得ることがで
きる。

【０１２９】横線特徴抽出タイミング領域４のタイミン
グの後、上記の特徴量ＳＸ₀〜ＳＸ _n-1、ＳＹ₀〜ＳＹ
_n-1は評価判定回路１７へ入力され、人間であるかそう
でないかを判定する。

【０１３０】次に、評価判定回路１７についてさらに詳
細に説明する。図３７は、評価判定回路１７の構成を示
すブロック図である。

【０１３１】図３７において、評価判定回路１７は、非
線形変換器３５１〜３５６、乗算器３５７〜３６２、定
数発生器３６３、加算器３６４、比較器３６５を含む。

【０１３２】特徴量ＳＸ₀〜ＳＸ_n-1、ＳＹ₀〜ＳＹ
_n-1は特徴抽出回路１３から供給され、ｍ個の非線形変
換器３５１〜３５６へ入力している。非線形変換器３５
１〜３５６では、解析関数系の変換が行なわれる。たと
えば、正規化のような操作Ｕ０＝ＳＸ₀／（ＳＸ₀＋Ｓ
Ｘ₁＋…＋ＳＸ_n-1）、Ｕ１＝ＳＸ₀／ＳＹ₀、Ｕ２＝
ＳＸ₀／ＳＸ_n-1等、予め入力と出力の関係が固定的な
非線形変換を行なう。ニューラルネットワークを用いた
場合は、重みづけ係数が学習で決定されるため、入力と
出力の関係は学習だけによる非線形変換である。そのた
め、学習に使用するデータは莫大な量を必要とし、ま
た、学習に要する計算量も莫大である。しかしながら、
本実施例では、左右の対称性、向きの変化する物理的条
件、正規化等、予めわかっている拘束条件や既知の知識
が非線形変換部３５１〜３５６に組込むことができるの
で、学習データは少なくて済む。また、学習について
も、誤差の最小二乗法を用いた線形加算和の係数を求め
る手法なので、連立一次方程式を解放する問題に帰着す
るため、定数を決定する計算量も非常に少なくて済む。
また、ラグランジェの未定定数法を使えば、学習段階で
さらに拘束条件を追加することも可能である。

【０１３３】非線形変換器３５１〜３５６は各々出力信
号Ｕ₀〜Ｕ_m-1を出力し、乗算器３５７〜３６２で所定
の係数ＷＸ₀〜ＷＸ_m-1が乗算され、各出力と係数ＷＸ
_mが加算器３６４で次式のように計算される。

【０１３４】Ｙ＝ΣＷＸ_i× Ｕ_i…（２８）ただし、ｉ＝０〜ｍ、Ｕ_m＝１，０係数ＷＸ_iは予め与えられたデータにより、学習で決定
される定数で、判別分析法を用いれば決定することがで
きる。たとえば、人のクラスの特徴量をＳＸ₀，ｊ〜Ｓ
Ｘ_n-1，ｊ、ＳＹ₀，ｊ〜ＳＹ_n-1，ｊ（ｊ＝０〜ｐ−
１）、人以外のクラスの特徴量をＳＸ₀，ｋ〜Ｓ
Ｘ_n-1，ｋ、ＳＹ₀，ｋ〜ＳＹ_n-1，ｋ（ｋ＝０〜ｑ−
１）とすると、人の平均値の評価値を“０”、人以外の
平均値の評価値を“１”に対応させ、以下に示す（２
９）式が最小となるＷＸ_iを決定すればよい。

【０１３５】

【数２】

【０１３６】すなわち、上記の（３０）、（３１）、
（３２）式のｍ＋２次元連立方程式からＷＸ_iを決定す
る。

【０１３７】上記のように学習された定数ＷＸ_iを乗算
器３５７〜３６２、定数発生器３６３に適用すると、対
象物体が人であるときは評価値Ｗは“１”に近く、そう
でないときは評価値Ｙは“０”に近くなる。この場合、
比較器３６５のしきい値を０．５に設定すれば、判別が
可能となる。評価値Ｙが“１”に近いときは比較器３６
５は“１”を出力し、評価値Ｙが“０”に近いときは比
較器３６５は“０”を出力し、次段のモード設定回路２
０へ供給する。

【０１３８】上記の評価判定回路１７は、上記のように
単一の評価値を求める非線形変換群と線形加算和回路だ
けでなく、複数の評価値を求める回路と複数の比較器と
適当なＯＲゲートとＡＮＤゲートとにより、複数の評価
値から評価判定するものでもよい。

【０１３９】上記の動作により、評価判定回路１７は、
簡単な解析関数を用いる非線形変換手段と、計算量の少
ない線形加算手段により構成されているので、ニューラ
ルネットワークを用いた場合よりはるかに少ない計算量
で正確に特定対象の判定を行なうことが可能となる。

【０１４０】上記評価判定回路１７は、本実施例にのみ
適用されるものではなく、ＴＶ電話、ドアホンカメラ、
ビデオ一体型ムービー、監視装置、特定物体検出装置等
の特定対象の判定を行なう画像処理装置に同様に適用す
ることが可能である。

【０１４１】次に、評価判定回路１７の出力が“１”の
とき、次のフレームでは、モード“５”となり、一方、
評価判定回路１７の出力が“０”のときは、次のフレー
ムは“０”となる。

【０１４２】モード“５”では、図１に示す切換回路１
４、１６は端子ｂを選択し、座標Ｘａ１、Ｘａ２の代わ
りに前のフレームで検出された座標Ｘａ３が、座標Ｘｂ
１、Ｘｂ２の代わりに前のフレームで検出された座標Ｘ
ｂ３が供給される。また、ライトモード制御信号は
“１”となり、動き検出部３の中のフレームメモリ３０
２は読出しおよび書込みモードとなる。フレームメモリ
３０２の書込みモードでは、１画素のサイクルで前半の
サイクルを読出し、後半のサイクルは書込み動作を行な
う。このとき、第２領域制限回路６、動き特徴量抽出回
路１１、第３領域制限回路７、精密頬座標検出回路１
２、第４領域制限回路８、特徴抽出回路１３、領域判定
回路１７は同時に動作する。モード“４”では、すでに
顔の座標Ｘａ３、Ｘｂ３および頭頂座標Ｙｔｏｐ２は判
明しており、顔の移動速度はフレームレートに比較して
遅いので、次のフレームではそれほど大きく移動してい
ない。この特性を利用して、前に求めた座標Ｘａ３、Ｘ
ｂ３、Ｙｔｏｐ２を基に探索範囲を設ける。図３８は、
探索範囲の一例を示す図である。図３８では、探索範囲
をＸｂ３−Ｘａ３の１／８として設定した例を示してい
る。動き特徴量は第２領域制限回路６により探索範囲内
だけを処理の対象とする。モード“５”のとき、モード
信号ＭＯＤＥは“１”となり、図２３に示す比較器１８
０６にはＸａ３−Ｘｌｅｎ／８、比較器１８０８にはＸ
ｂ３＋Ｘｌｅｎ／８、比較器１８１３にはＹｔｏｐ−Ｘ
ｌｅｎ／８、比較器１８１４にはＹｔｏｐ＋Ｘｌｅｎ×
９／８が入力され、ＡＮＤゲート１８０９、１８１１に
より、所定の領域のみ動き検出信号ＭＯＶ１が制限され
る。図３９に第２領域制限回路６により制限された領域
を示す。制限された動き検出信号ＭＯＶ１は動き特徴量
抽出回路１１に供給され、モード“３”と同様に動き特
徴量ＹＬ、Ｌ０、Ｓ０、Ｙｔｏｐ２を抽出し判定する。

【０１４３】一方、第３領域制限回路７では、図３０に
示すスイッチ２８４は除算器２８５に接続され、前述し
たように前フレームで検出された座標Ｘａ３、Ｘｂ３と
Ｙｔｏｐ２から矩形領域に動きかつ縦エッジ信号を制限
する。図４０に第３領域制限回路７により矩形領域に制
限された領域を示す。精密頬座標検出回路１２はモード
“４”と同様に新しく座標Ｘａ３、Ｘｂ３を検出する。
第４領域制限回路８、特徴抽出回路１３、評価判定回路
１７はモード“４”と同じ動作をする。動き判定回路１
８により追尾対象が十分に動き、追尾している対象が人
と判断された場合はモード“６”へ進む。モード“６”
の動作は、動き検出部３のフレームメモリ３０２が読出
しオンリーモードとなり、基準画像が更新されないだけ
で、第２領域制限回路６、動き特徴量抽出回路１１、動
き判定回路１８、第３領域制限回路７、精密頬座標検出
回路１２、第４領域制限回路８、特徴抽出回路１３、評
価判定回路１７の動作は同じである。

【０１４４】図４１に各モードの動作を説明する図を示
す。図４１では、モード設定回路２０のモード変化の状
態遷移を示している。モード“０”からモード“３”ま
では動物体が動くまで待つルーチンであり、モード
“４”は人であるかどうかを判定する判定モードであ
り、これらのモードが画面全体の中から人を検出する人
検出動作モードである。モード“５”とモード“６”は
後述する検出された人を追尾していく人追尾動作モード
である。

【０１４５】上記の人追尾動作モードが続くと、撮影さ
れている人の移動に伴い動き特徴量抽出回路１１で検出
された頭頂座標Ｙｔｏｐ２と精密頬座標検出回路１２で
検出された頬座標Ｘａ３、Ｘｂ３とは追尾対象座標出力
回路１９へ入力され、追尾対象座標出力回路１９は画像
の切出し拡大を行なうための制御信号を発生し、拡大表
示回路２１へ出力する。一方、Ａ／Ｄ変換部１から出力
されたデジタル画像信号は拡大表示回路２１で所定の遅
延操作および補完操作が施され、Ｄ／Ａ変換回路２２へ
出力される。このデジタル画像信号はＤ／Ａ変換回路２
２でアナログ画像信号に変換された後ディスプレイ２３
で表示される。これらの一連の動作により、撮影された
画像の中から人を検出し、人を追尾し、人の顔を中心と
して拡大表示することが可能になる。

【０１４６】以上のように本実施例では、動き判定をし
ながら動き検出を行なっているので、安定な動き物体の
検出が可能となり、さらに、画像情報の特徴的なエッジ
成分を利用しているため、正確に対象物体を認識するこ
とが可能となる。

【０１４７】

【発明の効果】請求項１記載の情報処理装置において
は、対象物体の動き量に関わらず、安定した対象物体の
動き情報を得ることができ、また、画像データのエッジ
情報から抽出した特徴データを基に対象物体を正確に認
識することができるので、任意の対象物体を特定するた
めの良好な画像データを得ることができる。

【０１４８】請求項２記載の情報処理装置においては、
シューティングに強い安定した動き情報を得ることがで
きるので、任意の対象物体を特定するための良好な画像
データを得ることができる。

【０１４９】請求項３記載の情報処理装置においては、
二値画像信号の時間差に適応した膨張画像データを得る
ことができるので、任意の対象物体を特定するための良
好な画像データを得ることができる。

【０１５０】請求項４記載の情報処理装置においては、
対象物体の動きの速度に関わらず、所定値以上に動いた
か否かを安定に判定することができるので、任意の対象
物体を特定するための良好な画像データを得ることがで
きる。

【０１５１】請求項５記載の情報処理装置においては、
孤立ノイズ成分が除去され、ノイズの影響の少ないエッ
ジ信号を得ることができるので、任意の対象物体を特定
するための良好な画像データを得ることができる。

【０１５２】請求項６記載の情報処理装置においては、
輝度値の変動の影響を受けず、シューティングに強いエ
ッジ信号を得ることができるので、任意の対象物体を特
定するための良好な画像データを得ることができる。

【０１５３】請求項７記載の情報処理装置においては、
少ない計算量で画像データの中の対象物体を特定するこ
とができるので、任意の対象物体を特定するための良好
な画像データを得ることができる。

【０１５４】請求項８記載の情報処理装置においては、
小さい回路規模で大きな領域にわたって膨張した二値画
像データを得ることができるので、任意の対象物体を特
定するための良好な画像データを得ることができる。

【０１５５】請求項９記載の情報処理装置においては、
安定に対象物体の両端座標を得ることができるので、任
意の対象物体を特定するための良好な画像データを得る
ことができる。

【０１５６】請求項１０記載の情報処理装置において
は、画像データの中の対象物体の中の精密な両端座標を
得ることができるので、任意の対象物体を特定するため
の良好な画像データを得ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例の情報処理装置の構成を示す
図である。

【図２】本発明の一実施例の情報処理装置の動き検出部
の構成を示す図である。

【図３】絶対差分の二値化画像データの生成過程を説明
する図である。

【図４】本発明の一実施例の情報処理装置の動き検出部
の平滑化回路の構成を示す図である。

【図５】本発明の一実施例の画像処理装置の動き検出部
の水平方向膨張回路の構成を示す図である。

【図６】本発明の一実施例の画像処理装置の動き検出部
の第１の垂直方向膨張回路の構成を示す図である。

【図７】第１の垂直方向膨張回路の信号波形を示す図で
ある。

【図８】本発明の一実施例の画像処理装置の動き検出部
の第２の垂直方向膨張回路の構成を示す図である。

【図９】本発明の一実施例の画像処理装置の動き検出部
の第２の垂直方向膨張回路の加減算回路の構成を示す図
である。

【図１０】第２の垂直方向膨張回路の信号波形を示す図
である。

【図１１】本発明の一実施例の画像処理装置のエッジ検
出部の構成を示す図である。

【図１２】本発明の一実施例の画像処理装置のエッジ検
出部のＸ微分器の構成を示す図である。

【図１３】本発明の一実施例の画像処理装置のエッジ検
出部のＹ微分器の構成を示す図である。

【図１４】本発明の一実施例の画像処理装置のエッジ検
出部の第１のＦＩＸ差分器の構成を示す図である。

【図１５】本発明の一実施例の画像処理装置のエッジ検
出部の第２のＦＩＸ差分器の構成を示す図である。

【図１６】本発明の一実施例の画像処理装置のタイミン
グ発生部の構成を示す図である。

【図１７】画像とアドレスＸＡＤＲ、ＹＡＤＲとの対応
関係を示す図である。

【図１８】モード設定回路の各モードを説明する図であ
る。

【図１９】本発明の一実施例の画像処理装置の最大動き
物体検出回路の構成を示す図である。

【図２０】最大動き物体検出回路の各部の波形を示す図
である。

【図２１】本発明の一実施例の画像処理装置の第１領域
制限回路の構成を示す図である。

【図２２】本発明の一実施例の画像処理装置の頭頂座標
検出回路の構成を示す図である。

【図２３】本発明の一実施例の画像処理装置の第２領域
制限回路の構成を示す図である。

【図２４】動き領域の周囲長ＹＬを示す図である。

【図２５】動き領域の縦長Ｌ０を示す図である。

【図２６】動き領域の面積Ｓ０を示す図である。

【図２７】動きが不十分なときの動き検出信号を示す第
１の図である。

【図２８】動きが不十分なときの動き検出信号を示す第
２の図である。

【図２９】本発明の一実施例の画像処理装置の動き特徴
量抽出回路の検出回路の構成を示す図である。

【図３０】本発明の一実施例の画像処理装置の第３領域
制限回路の構成を示す図である。

【図３１】本発明の一実施例の画像処理装置の精密頬座
標検出回路の構成を示す図である。

【図３２】精密頬座標検出回路の動作タイミングを示す
図である。

【図３３】本発明の一実施例の画像処理装置の第４領域
制限回路の構成を示す図である。

【図３４】本発明の一実施例の画像処理装置の特徴抽出
回路の構成を示す図である。

【図３５】特徴抽出回路の動作タイミングを示す図であ
る。

【図３６】特徴抽出回路の動作を説明するタイミングチ
ャートである。

【図３７】本発明の一実施例の画像処理装置の評価判定
回路の構成を示す図である。

【図３８】探索範囲の一例を示す図である。

【図３９】第２領域制限回路により制限された領域を説
明する図である。

【図４０】第３領域制限回路により矩形領域に制限され
た領域を示す図である。

【図４１】各モードの動作を説明する図である。

【図４２】従来の画像処理装置の構成を示すブロック図
である。

【符号の説明】

１Ａ／Ｄ変換部２タイミング発生部３動き検出部４エッジ検出部５第１領域制限回路６第２領域制限回路７第３領域制限回路８第４領域制限回路９最大動き物体検出回路１０頭頂座標検出回路１１動き特徴量抽出回路１２精密頬座標検出回路１３特徴抽出回路１４〜１６切換回路１７評価判定回路１８動き判定回路１９追尾対象座標出力回路２０モード設定回路２１拡大表示回路２２Ｄ／Ａ変換回路２３ディスプレイ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所 // Ｈ０４Ｎ 7/14 7251−5Ｃ

Claims

【特許請求の範囲】

【請求項１】複数の画像データを比較して、前記画像
データの中の対象物体の動き情報を検出する動き検出手
段と、前記動き情報に応じて、前記動き検出手段の前記画像デ
ータを比較する時間間隔を制御する制御手段と、前記画像データのエッジ情報を抽出するエッジ抽出手段
と、前記動き情報および前記エッジ情報を基に、前記画像デ
ータの中から前記対象物体を含む所定の対象物体領域を
抽出する領域抽出手段と、前記対象物体領域における輝度情報と前記エッジ情報と
を基に、前記対象物体の特徴情報を抽出する特徴抽出手
段と、前記特徴情報を基に前記対象物体を特定する特定手段と
を含む、画像処理装置。
【請求項２】画像データの中の対象物体の動き情報を
検出する動き検出手段と、前記画像データの輝度値を検出する輝度値検出手段と、前記画像データの動き情報を前記画像データの輝度値で
正規化する正規化手段とを含む画像処理装置。
【請求項３】二値画像信号の立上がりタイミングを検
出する立上がり検出手段と、前記二値画像信号の立下がりタイミングを検出する立下
がり検出手段と、前記立上がりタイミングと前記立下がりタイミングの時
間差を計測する時間差計測手段と、前記時間差に適応して前記二値画像信号を膨張させる膨
張手段とを含む画像処理装置。
【請求項４】画像データの中の対象物体の周囲長を検
出する第１検出手段と、前記対象物体の縦方向の長さを検出する第２検出手段
と、前記対象物体の面積を検出する第３検出手段と、前記対象物体の周囲長、縦方向の長さ、および面積を基
に、所定の評価値を計算する評価値計算手段と、前記評価値を基に前記対象物体の動き量が所定値以上か
否かを判定する判定手段とを含む画像処理装置。
【請求項５】画像データの輝度信号を微分して、縦線
成分を抽出する第１抽出手段と、前記画像データの輝度信号を微分して、横線成分を抽出
する第２抽出手段と、前記縦線成分と横線成分の絶対差分を計算する絶対差分
計算手段とを含む画像処理装置。
【請求項６】画像データの輝度信号を微分して、エッ
ジ成分を抽出する抽出手段と、前記画像データの輝度値により前記エッジ成分を正規化
する正規化手段とを含む画像処理装置。
【請求項７】画像データの中の対象物体の特徴情報を
抽出する抽出手段と、前記特徴情報に所定の解析関数による非線形変換を行な
い、中間特徴情報へ変換する変換手段と、前記中間特徴情報に所定の重みづけを行なった後、線形
加算することにより評価データを作成する評価データ作
成手段と、前記評価データを基に前記画像データの中の対象物体を
特定する特定手段とを含む画像処理装置。
【請求項８】二値画像データに所定の演算を行ない、
その出力を巡回させ、前記二値画像データを膨張させる
膨張手段と、前記膨張手段により膨張させた二値画像データを二値化
する二値化手段とを含む画像処理装置。
【請求項９】画像データの中の対象物体の動き情報を
検出する動き検出手段と、前記動き情報の垂直方向の最初の情報が検出されたタイ
ミングを開始点として計数動作を行なう計数手段と、前記動き情報の水平方向の第１スタート位置と第１エン
ド位置を検出する位置検出手段と、前記第１スタート位置の信号の低周波成分を抽出し、そ
の出力を巡回させ、第２スタート位置の信号に変換する
第１変換手段と、前記第１エンド位置の信号の低周波成分を抽出し、その
出力を巡回させ、第２エンド位置の信号に変換する第２
変換手段と、前記第２スタート位置と前記第２エンド位置の差分値を
計算する差分値計算手段と、前記差分値と前記計数手段の計数値とを比較し、比較結
果を基に前記第１および第２変換手段の動作を制御する
制御手段とを含む画像処理装置。
【請求項１０】二値化された動き検出信号と二値化さ
れた画像の縦エッジ信号との論理積を計算する論理処理
手段と、前記論理処理手段の計算結果を前記画像の横軸方向へ投
影した信号へ変換する変換手段と、前記変換手段により変換された信号のピーク位置を検出
する検出手段とを含む画像処理装置。