JPH05328188A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は、テレビジヨンカメラ、監視装置等の
撮像装置に適用する画像処理装置に関し、被写体と背景
とを確実に分離し得るようにする。 【構成】本発明は、入力画像を微小ブロツクに分割し、
画像データの値を基準にして各ブロツク毎に画像データ
の度数分布を検出した後、この度数分布を比較する。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段（図１） 作用（図１） 実施例 （１）実施例の構成（図１〜図６） （２）実施例の効果 （３）他の実施例 発明の効果

【０００２】

【産業上の利用分野】本発明は画像処理装置に関し、例
えばテレビジヨンカメラ、監視装置等の撮像装置に適用
し得る。

【０００３】

【従来の技術】従来、この種の画像処理装置において
は、撮像画像中の最大輝度部分を検出することにより、
この輝度部分を基準にしてユーザの選定した所望の被写
体を追跡し得るようになされたものが提案されている。

【０００４】このように所望の被写体を追跡することが
できれば、この被写体を中心にして自動的に焦点合わ
せ、絞り調整等し得、撮像装置全体の使い勝手を向上す
ることができる。

【０００５】

【発明が解決しようとする課題】ところが移動する被写
体においては、単に被写体が左右に移動して位置が変化
するだけでなく、前後に移動して大きさ自体が変化する
場合があり、またユーザがズームレンズを可変して被写
体の大きさが変化する場合もある。この場合、この被写
体と背景とを分離することができれば、被写体の動きを
さらに一段と確実に追跡し得ると考えられる。

【０００６】この方法の１つとして、動き情報、テクス
チヤ、エツジ情報等を用いて被写体と背景とを分離する
方法が考えられる。ところが実際の撮像対象でなる自然
画においては、様々なシーンがあり、何れの方法を適用
しても、被写体と背景とを確実に分離できない問題があ
つた。

【０００７】本発明は以上の点を考慮してなされたもの
で、被写体と背景とを確実に分件することができる画像
処理装置を提案しようとするものである。

【０００８】

【課題を解決するための手段】かかる課題を解決するた
め第１の発明においては、順次入力される画像データＤ
Ｖを、水平及び垂直方向に所定画素単位のブロツクに分
割する画像データブロツク化回路８、１０と、各ブロツ
ク毎に画像データＤＶの値を基準にして度数分布を検出
するヒストグラム作成回路１１、１２と、所定のブロツ
クと、残りのブロツクとの間で、度数分布を比較し、残
りのブロツクから所定のブロツクと特徴の似かよつたブ
ロツクを検出するブロツク検出回路１４、１６、２２と
を備えるようにする。

【０００９】さらに第２の発明において、ブロツク検出
回路１４、１６、２２は、所定のブロツクと、残りのブ
ロツクとの間で、画像データＤＶの値毎に、度数の差の
絶対値和を検出する距離検出回路１４、１６と、絶対値
和を基準にして、残りのブロツクから所定のブロツクと
特徴の似かよつたブロツクを検出する距離判定回路２２
とを有するようにする。

【００１０】さらに第３の発明において、ヒストグラム
作成回路１１、１２は、所定のヒストグラム検出範囲内
のブロツクについて、度数分布を検出し、ブロツク検出
回路１４、１６、２２は、ヒストグラム検出範囲内のブ
ロツクについて、所定のブロツクと特徴の似かよつたブ
ロツクを検出する。

【００１１】さらに第４の発明において、ヒストグラム
作成回路１１、１２は、画像データＤＶの輝度レベルに
ついて、輝度レベルの値を基準にして度数分布を検出
し、ブロツク検出回路１４、１６、２２は、輝度レベル
の度数分布に基づいて、所定のブロツクと特徴の似かよ
つたブロツクを検出する。

【００１２】さらに第５の発明において、ヒストグラム
作成回路１１、１２は、画像データＤＶの色相につい
て、色相の値を基準にして度数分布を検出し、ブロツク
検出回路１４、１６、２２は、色相の度数分布に基づい
て、所定のブロツクと特徴の似かよつたブロツクを検出
する。

【００１３】さらに第６の発明において、ヒストグラム
作成回路１１、１２は、画像データＤＶの輝度レベル及
び色相について、輝度レベル及び色相の値を基準にして
度数分布を検出し、距離検出回路１４、１６は、輝度レ
ベル及び色相の度数分布について、絶対値和を検出し、
距離判定回路２２は、輝度レベル及び色相の度数分布に
ついて検出された絶対値和を基準にして、所定のブロツ
クと特徴の似かよつたブロツクを検出する。

【００１４】

【作用】各ブロツク毎に画像データＤＶの値を基準にし
て度数分布を検出し、所定のブロツクと、残りのブロツ
クとの間で、この度数分布を比較すれば、所定のブロツ
クと特徴の似かよつたブロツクを検出することができ
る。

【００１５】このとき度数の差の絶対値和を検出すれ
ば、この絶対値和の大小により所定のブロツクと特徴の
似よかつたブロツクを検出することができる。

【００１６】さらに所定のヒストグラム検出範囲内のブ
ロツクについて、画像データＤＶを処理するようにすれ
ば、その分簡易にブロツクを検出することができる。

【００１７】さらに輝度レベル及び又は色相の値を基準
にして度数分布を検出すれば、簡易かつ確実に所定のブ
ロツクと特徴の似かよつたブロツクを検出することがで
きる。

【００１８】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００１９】（１）実施例の構成 図１において、１は全体として画像処理装置を示し、ユ
ーザの指定した被写体の画像を背景から分離した後、こ
の分離した被写体の画像に基づいて被写体の動きを追跡
する。

【００２０】このため画像処理装置１は、所定の撮像装
置から入力されるビデオ信号ＳＶを画像入力回路２で画
像データＤＶに変換した後、輝度信号抽出回路４及び色
信号抽出回路６でそれぞれ輝度データＹ（画像データＤ
Ｖの輝度レベルを表す）及びヒユウデータＨ（画像デー
タＤＶの色相を表す）を抽出する。

【００２１】ブロツク化回路８及び１０は、それぞれ順
次入力される輝度データＹ及びヒユウデータＨを水平及
び垂直方向に８×８画素のブロツクに分割し、各ブロツ
ク単位で順次輝度データＹ及びヒユウデータＨを出力す
る。

【００２２】ヒストグラム作成回路１１及び１２は、そ
れぞれ各ブロツク単位で、輝度データＹ及びヒユウデー
タＨのヒストグラムを作成し、その作成結果を距離計算
回路１４及び１６に出力する。このときヒストグラム作
成回路１１及び１２は、ユーザの指定入力した座標デー
タＤに基づいて、所定のヒストグラム作成範囲が設定さ
れ、このヒストグラム作成範囲のブロツクについて、そ
れぞれ輝度データＹ及びヒユウデータＨのヒストグラム
を作成する。

【００２３】このため図２に示すように画像処理装置１
においては、表示画面Ｍ上にカーソルＫを表示し、この
カーソルＫをマウスで移動し得るようになされている。
さらに画像処理装置１においては、マウスがクリツクさ
れると、カーソルＫの位置情報が座標データＤとして座
標入力回路１８から座標格納回路１９に格納され、これ
によりユーザの指定した座標データＤを入力し得るよう
になされている。

【００２４】画像処理装置１は、このユーザの入力した
座標データＤを基準にして所定のブロツクアドレス生成
回路（図示せず）でブロツクアドレスを生成し、これに
よりカーソルＫで指定されるブロツクの周囲５×５ブロ
ツクをヒストグラム作成範囲ＡＲに設定する。

【００２５】図３に示すように、これに対応して輝度デ
ータＹのヒストグラムを作成するヒストグラム作成回路
１１は、輝度レベル（この場合輝度データを８ビツトで
表し、これに対応して輝度レベルを値０〜値 255のレベ
ルで表す）とブロツクアドレスとをそれぞれ基準にして
なる２次元のメモリ回路を有し、このうちブロツクアド
レスがヒストグラム作成範囲ＡＲの分だけ確保されるよ
うになされている。

【００２６】ヒストグラム作成回路１１は、フレーム単
位でこの２次元メモリの内容を値０に初期化した後、ブ
ロツク化回路８から順次ブロツク単位で輝度データＹが
入力されると、各輝度データＹの輝度レベルに対応する
領域について、その領域の値を値１づつ加算し、これに
より各ブロツク毎に輝度レベルＹの度数分布を検出す
る。

【００２７】これによりヒストグラム作成回路１１は、
図４に示すように、横軸及び縦軸をそれぞれ輝度レベル
及び度数に設定してなる輝度レベルのヒストグラムを、
ヒストグラム検出範囲ＡＲで、各ブロツク毎に検出する
ようになされている。

【００２８】かくして画像処理装置１においては、ユー
ザの入力した座標データＤを基準にしてヒストグラム検
出範囲ＡＲを設定し、このヒストグラム検出範囲ＡＲ
で、各ブロツクについて輝度レベルの度数分布を検出す
ることにより、必要な範囲でのみヒストグラムを検出し
得るようになされ、その分全体として簡易な構成でユー
ザの選定した被写体を検出し得るようになされている。

【００２９】ヒユウデータＨのヒストグラムを作成する
ヒストグラム作成回路１２は、ヒストグラム作成回路１
０と同様にして順次ブロツク化回路１０から出力される
ヒユウデータＨを処理し、これにより図５に示すよう
に、横軸及び縦軸をそれぞれヒユウ値及び度数にしてな
るヒユウデータＨのヒストグラムを、ヒストグラム検出
範囲ＡＲで、各ブロツク毎に検出するようになされてい
る。

【００３０】かくしてヒストグラム作成回路１２におい
ても、ヒストグラム検出範囲ＡＲでヒストグラムを作成
することにより、必要な範囲でのみヒストグラムを検出
して、その分全体構成を簡略化し得るようになされてい
る。

【００３１】画像処理装置１は、このようにして検出し
たヒストグラムについて、カーソルＫで指定されたブロ
ツクのヒストグラムを基準にして、ヒストグラム検出範
囲ＡＲの各ブロツクについてヒストグラムの比較結果を
得ることにより、この比較結果に基づいてユーザの指定
したブロツクを同一の特徴を有するブロツクを検出し、
これによりユーザの選定した被写体と背景とを識別す
る。

【００３２】このため距離計算回路１４は、カーソルＫ
で指定されたブロツクと各ブロツクとの間で、輝度レベ
ル毎に度数の差の絶対値和を検出し、これにより各ヒス
トグラムを、輝度レベルの 256階調を次元にしてなるベ
クトルと見なして、ヒストグラム間の距離を計算する。
同様に距離計算回路１６は、カーソルＫで指定されたブ
ロツクと各ブロツクとの間で、ヒユウ値毎に度数の差の
絶対値和を検出することにより、各ヒストグラムを、ヒ
ユウ値の 360階調を次元にしてなるベクトルと見なし
て、ヒストグラム間の距離を計算する。

【００３３】すなわち距離計算回路１４及び１６は、輝
度データＹ及びヒユウデータＨについて、カーソルＫで
指定されたブロツクのヒストグラムをそれぞれYS(i) 、
CS(i) 、その周囲のブロツクのヒストグラムをそれぞれ
YR(K,L) 、CR(K,L) とおいて、次式

【数１】

【数２】

【数３】

【数４】 で表し、次式

【数５】

【数６】 の演算処理を実行して距離DY(K,L) 、DC(K,L) を検出す
る。

【００３４】この演算処理の際、距離計算回路１４及び
１６は、対比する２つのヒストグラムの何れかの度数が
値０の輝度レベル及びヒユウ値については演算処理を省
略し、これにより実用上充分な検出精度を確保して全体
の処理時間を短縮するようになされている。

【００３５】ここでこのようにして検出した距離DY(K,
L) 、DC(K,L) の値が小さい場合、ヒストグラムを対比
する２つのブロツクにおいては、似かよつた特徴を有し
ていると判断することができ、この場合２つのブロツク
は共に共通の被写体を撮像したものと判断することがで
きる。これとは逆に距離DY(K,L) 、DC(K,L) の値が大き
い場合、対比する２つのブロツクは異なる特徴を有し、
この場合被写体部分と背景部分との関係にあると判断す
ることができる。

【００３６】この検出原理に従つて画像処理装置１にお
いては、距離の近接するブロツクを検出することによ
り、被写体のブロツクと背景のブロツクとを識別する。
このとき画像処理装置１においては、２つの距離を加算
して合成距離を検出した後、この合成距離の小さなブロ
ツクを検出することにより、確実に被写体のブロツクと
背景のブロツクとを識別し得るようになされている。

【００３７】すなわち被写体においては、輝度レベルが
背景と等しい場合もあり、この場合色彩を基準にして判
断すれば、被写体と背景とを識別することがきできる。
これとは逆に被写体の色彩が背景と同一の場合もあり、
この場合輝度レベルを基準にして判断することにより、
被写体と背景とを識別することができる。

【００３８】これにより画像処理装置１においては、輝
度レベル及び色相を基準にして被写体と背景とを識別す
るようになされ、確実に被写体を分離し得るようになさ
れている。

【００３９】すなわち加算回路２０においては、距離計
算回路１４及び１６から出力される距離DY(K,L) 及びDC
(K,L) を加算して合成距離ＤＴ(K,L) を検出して出力す
る。距離判定回路２２は、スレシヨールドテーブル２４
に設定された所定のしきい値を基準にして合成距離ＤＴ
(K,L) を大小判断し、判断結果を領域設定回路２６に出
力する。

【００４０】ここでこの判断結果は、フラグの形式で領
域設定回路２６に出力され、領域設定回路２６は、表示
画像の２次元アドレスに対応した領域を有するメモリ回
路２８の内容をフレーム毎にクリアした後、このフラグ
をブロツク毎に格納する。

【００４１】これにより図６に示すように、画像処理装
置１においては、ユーザがカーソルＫで指定したブロツ
クに対して、同一の特徴を有するブロツク（斜線で示
す）を検出することができる。かくして撮像画像を微小
ブロツクに分割し、ヒストグラム検出範囲ＡＲ内で各ブ
ロツクのヒストグラムを作成し、このヒストグラムを基
準にしてユーザの指定したブロツクと特徴が似かよつた
ブロツクを検出することにより、簡易かつ確実に被写体
及び背景を識別することができる。

【００４２】これにより画像処理装置１においては、こ
の検出結果に基づいて被写体の動きを追跡するようにな
されている。

【００４３】（２）実施例の効果 以上の構成によれば、撮像画像を微小ブロツクに分割
し、輝度レベル及び色相を基準にしてヒストグラム検出
範囲内で各ブロツクのヒストグラムを作成し、このヒス
トグラムの距離を検出することにより、このヒストグラ
フを基準にして簡易にユーザの指定したブロツクと特徴
が似かよつたブロツクを検出することができ、これによ
り簡易かつ確実に被写体及び背景を識別することができ
る。

【００４４】（３）他の実施例 なお上述の実施例においては、撮像画像を８×８画素単
位のブロツクに分割して度数分布を検出する場合につい
て述べたが、本発明はこれに限らず、必要に応じて例え
ば16×16画素のブロツクに分割して度数分布を検出して
もよい。

【００４５】さらに上述の実施例においては、輝度レベ
ル及びヒユウ値についてそれぞれ 256レベル及び 360階
調で度数分布を検出する場合について述べたが、本発明
はこれに限らず、必要に応じて各レベルを再量子化して
大まかに度数分布を検出するようにしてもよい。

【００４６】さらに上述の実施例においては、ヒユウレ
ベルを基準にして画像データの色相について度数分布を
検出する場合について述べたが、本発明はこれに限ら
ず、２つの色差信号のレベルを基準にして色相ついて度
数分布を検出するようにしてもよい。

【００４７】さらにこの場合、産業ロボツト等の特定の
用途に限つて使用する場合等においては、必要に応じて
輝度レベル又は色相の何れかの分布だけを検出して、被
写体及び背景を識別するようにしてもよい。

【００４８】さらに上述の実施例においては、単に輝度
レベル及び色相についての距離を加算して合成距離を検
出する場合について述べたが、本発明はこれに限らず、
必要に応じて２つの距離を重み付けして合成距離を検出
してもよく、このようにすればシーンに応じて検出精度
を切り換えることができる。

【００４９】さらに上述の実施例においては、被写体と
背景を識別して被写体を追跡する場合について述べた
が、本発明はこれに限らず、識別結果に基づいてズーム
レンズを可変して被写体の大きさを一定値に保持する場
合、さらには産業機器等の物体識別装置等に広く適用す
ることができる。

【００５０】

【発明の効果】上述のように本発明によれば、撮像画像
を微小ブロツクに分割し、画像データの値を基準にして
各ブロツク毎に画像データの度数分布を検出することに
より、この度数分布の比較結果に基づいて、簡易かつ確
実に特徴の似かよつたブロツクを検出し得、これにより
簡易かつ確実に被写体及び背景を識別し得る画像処理装
置を得ることができる。

【図面の簡単な説明】

【図１】本発明の一実施例による画像処理装置を示すブ
ロツク図である。

【図２】座標データの入力の説明に供する略線図であ
る。

【図３】輝度データのヒストグラフの説明に供する図表
である。

【図４】輝度データの度数分布を示す特性曲線図であ
る。

【図５】ヒユウデータの度数分布を示す特性曲線図であ
る。

【図６】検出結果を示す略線図である。

【符号の説明】

１……画像処理装置、２……画像入力回路、８、１０…
…ブロツク化回路、１１、１２……ヒストグラム作成回
路、１４、１６……距離計算回路、２２……距離判定回
路。

Claims (6)

【特許請求の範囲】
1. 【請求項１】順次入力される画像データを、水平及び垂
   直方向に所定画素単位のブロツクに分割する画像データ
   ブロツク化回路と、 上記各ブロツク毎に上記画像データの値を基準にして度
   数分布を検出するヒストグラム作成回路と、 所定の上記ブロツクと、残りの上記ブロツクとの間で、
   上記度数分布を比較し、上記残りのブロツクから上記所
   定のブロツクと特徴の似かよつた上記ブロツクを検出す
   るブロツク検出回路とを具えることを特徴とする画像処
   理装置。
2. 【請求項２】上記ブロツク検出回路は、 上記所定のブロツクと、上記残りのブロツクとの間で、
   上記画像データの値毎に、上記度数の差の絶対値和を検
   出する距離検出回路と、 上記絶対値和を基準にして、上記残りのブロツクから上
   記所定のブロツクと特徴の似かよつた上記ブロツクを検
   出する距離判定回路とを有することを特徴とする請求項
   １に記載の画像処理装置。
3. 【請求項３】上記ヒストグラム作成回路は、所定のヒス
   トグラム検出範囲内の上記ブロツクについて、上記度数
   分布を検出し、 上記ブロツク検出回路は、上記ヒストグラム検出範囲内
   の上記ブロツクについて、上記所定のブロツクと特徴の
   似かよつた上記ブロツクを検出することを特徴とする請
   求項１又は請求項２に記載の画像処理装置。
4. 【請求項４】上記ヒストグラム作成回路は、上記画像デ
   ータの輝度レベルについて、上記輝度レベルの値を基準
   にして上記度数分布を検出し、 上記ブロツク検出回路は、上記輝度レベルの度数分布に
   基づいて、上記所定のブロツクと特徴の似かよつた上記
   ブロツクを検出することを特徴とする請求項３に記載の
   画像処理装置。
5. 【請求項５】上記ヒストグラム作成回路は、上記画像デ
   ータの色相について、上記色相の値を基準にして上記度
   数分布を検出し、 上記ブロツク検出回路は、上記色相の度数分布に基づい
   て、上記所定のブロツクと特徴の似かよつた上記ブロツ
   クを検出することを特徴とする請求項３に記載の画像処
   理装置。
6. 【請求項６】上記ヒストグラム作成回路は、上記画像デ
   ータの輝度レベル及び色相について、上記輝度レベル及
   び色相の値を基準にして上記度数分布を検出し、 上記距離検出回路は、上記輝度レベル及び色相の度数分
   布について、上記絶対値和を検出し、 上記距離判定回路は、上記輝度レベル及び色相の度数分
   布について検出された絶対値和を基準にして、上記所定
   のブロツクと特徴の似かよつた上記ブロツクを検出する
   ことを特徴とする請求項３に記載の画像処理装置。