JP4140126B2

JP4140126B2 - Region segmentation and object extraction device

Info

Publication number: JP4140126B2
Application number: JP10933099A
Authority: JP
Inventors: 幸治森川; 太郎今川; 強司目片
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1999-04-16
Filing date: 1999-04-16
Publication date: 2008-08-27
Anticipated expiration: 2019-04-16
Also published as: JP2000306191A

Description

【０００１】
【発明の属する技術分野】
本発明は、赤外線画像と可視画像を用いて画像を複数の領域に分割する画像領域分割装置または方法、および画像から対象物を抽出する対象物抽出装置または方法に関する。
【０００２】
【従来の技術】
赤外線画像と可視画像の両方を用いて画像処理を行う従来技術の例として、特許番号第２８５０８９０号（以下、公報１と記述する）に記載されている、複合センサ型車両感知器の発明がある。
【０００３】
図１０は、公報１に記載されている複合センサ型車両感知器のブロック図である。複合センサ型車両感知器は、撮像部１１０と環境計測部１２０と信号処理部１３０とを有する構成となっている。撮像部１１０は、可視ＣＣＤカメラ１１１と、赤外線域撮像カメラ１１２とを備える構成となっている。環境計測部１２０は、照度計１２１と、温度計１２２とを備える構成となっている。信号処理部１３０は、ビデオＡ／Ｄ変換器１３１，１３３と、フレームメモリ１３２、１３４と、ディジタルシグナルプロセッサ１３５と、ＣＰＵ１３５と、外部出力Ｉ／Ｆ１３７とＡ／Ｄ変換器１３８、１３９とを備える構成になっている。１１０の撮像部で赤外線画像と可視画像の両方を撮影し、１３０の信号処理部で処理を行うことで車両感知を行う。
【０００４】
図１１は、公報１に記載されている複合センサ型車両感知器のメインフローチャートである。車両を検出する際に、複数の情報を組合せて車両と影とを区別する処理を示している。まず、Ｆ１で赤外線画像を取得し、Ｆ２で温度・照度データを取得、Ｆ３で可視画像を取得する。これらの取得された情報からＦ４で周囲の環境の検出を行い悪天候の判定を行う。Ｆ４で悪天候と判定されない場合は、可視画像と赤外画像のそれぞれに閾値処理を行い、車両候補を特定する。また、Ｆ４で悪天候と判定された場合は、可視画像は使わず赤外線画像のみを使用して車両かどうかの判定を行う。
【０００５】
【発明が解決しようとする課題】
従来法の第１の問題点は、検出物体の種類を増やした場合に、多くの場合分けと多くの閾値の設定を追加しなければならないことである。
【０００６】
なぜなら、公報１においては車両を検出するために、可視画像に対して閾値による天候判断と車両検出を行い、赤外線画像に対して閾値による車両検出を行う。もし、色や温度が違う車両も検出や、人間の検出も加えたりして検出物体の種類を増やす場合、そのたびに可視画像と赤外画像の両方に対して適切な場合分けと適切な閾値の設定が必要になるからである。
【０００７】
従来法の第２の問題点は、適切な閾値が設定されたとしても撮影範囲の照明条件や温度条件が大きく変動する場合に、固定の閾値では対応できず適切な背景差分の閾値の設定が困難なことである。
【０００８】
なぜなら、公報１においては固定の閾値を設定しその閾値との比較によって変化の検出を行っているが、赤外線画像、可視画像ともに照明や温度の変動によって輝度値は大きく変動するのに、固定の閾値を用いると、物体の過剰検出や未検出が起こりやすくなるからである。
【０００９】
本発明の目的は、上述した従来の問題点を解決し、特徴量空間の領域分割によって多くの検出物体に対しても適切な輝度値の閾値の指定が行え、特徴量空間の分類結果の背景差分によって撮影の環境が大きく変動した場合でも適切な対象物の検出を行うことのできる、領域分割および対象物抽出装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明の領域分割装置は、赤外波長域の画像と可視波長域の画像とを撮像できる撮像部と、前記赤外波長域の画像上の撮影地点と前記可視波長域の画像上の撮影地点とから、特徴量を算出する特徴量算出部と、前記算出された特徴量を、赤外波長域の特徴量と可視波長域の特徴量とで形成される特徴量空間において複数領域に分類する基準を決定する分類基準決定部と、前記分類基準決定部によって決定された基準に従って前記特徴量空間を複数領域に分類し、当該分類の結果に基づいて前記撮影地点に分類番号を付与する分類部と、前記分類する基準を更新するか否かを判定する分類基準更新判定部とを備え、前記分類基準更新判定部は、連続入力される前記赤外波長域の画像と前記可視波長域の画像とに対して前記分類する基準を更新するか否かを判定し、当該判定結果を前記分類基準決定部に出力し、前記分類基準決定部は、前記判定結果が「更新する」の場合には前記分類する基準を再決定し、前記判定結果が「更新無し」の場合には前記分類する基準を再決定しない。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１３】
（実施の形態１）
図１は単一フレーム画像の領域分割装置のシステム構成図を示し、図１において１１は撮像部、１２は特徴量算出部、１３は分類基準決定部、１４は分類部、１５は画像構成部である。
【００１４】
以上のように構成された領域分割装置において、以下、その動作を述べる。
【００１５】
１１は遠赤外波長域の画像と可視波長域の画像が撮影できる撮像部である。撮像素子としては、複数の波長に感度を持ち、別々に信号を出力できる単一のカメラ、もしくは両波長域をそれぞれ撮影できる２台のカメラを用いて撮像部を構成する。図２は、遠赤外画像（２２）と可視画像（２１）の例である。それぞれ同じ撮影範囲で撮影されている。
【００１６】
１２は特徴量算出部である。１１の撮像部からは、各撮影地点における、可視カメラのＲＧＢそれぞれの波長に関する輝度値と、赤外カメラの輝度値が送られてくる。これらの複数の輝度値から複数の特徴量を算出する。本実施例では、赤外カメラの輝度値と、可視カメラの輝度値の２つを特徴量とした。図３に、すべての画素を２次元の特徴量空間にプロットした図を示す。縦軸は可視の輝度値、横軸は赤外の輝度値である。この２次元特徴量空間内の画素を複数のグループに分類し、領域分割を行う。
【００１７】
１３の分類基準決定部で、分類基準を決定する。分類方法として、再配置クラスタリングを行う。再配置クラスタリングとは、最初に初期クラスタ位置として、一定数のクラスタ中心を特徴量空間の適当な場所に配置し、繰り返し計算によりクラスタ中心を特徴量空間の分布を分割するように移動させる方法である。例えばＫ−ｍｅａｎｓ法などが、再配置クラスタリングの一手法である。このクラスタ中心を決定する作業が、分類基準決定に相当し、本実施例における分類基準とはクラスタ中心の位置のことである。
【００１８】
図４にＫ−ｍｅａｎｓ法による、クラスタ中心の決定の様子を示す。（ａ）は初期クラスタ中心の位置を示し９個のクラスタ中心を特徴量空間に均等に配置した。（ｂ）は計算後のクラスタ中心の位置を示す。２次元の特徴量の分布に従い、特徴量の分布を反映するようにクラスタ中心が移動した。
【００１９】
１４の分類部では分類基準決定部で決められたクラスタ中心の位置に基づいて各画素の分類が行われる。分類は、各画素が最も近いクラスタ中心を探索し、そのクラスタ番号が分類番号となる。こうして各画素にはそれぞれ分類番号が与えられる。
【００２０】
１５は画像構成部である。ここで１４の分類部で各画素に与えられた分類番号に特定の輝度を割り振り、人間が見てもクラスタが区別できるようにしたが図５である。また、それぞれのクラスタに、どのような領域が良く現れているかを調べて、図４（ｂ）に示す。一例として、路面領域を多く含むクラスタと背景の植物の領域を多く含むクラスタに属する画素を抜き出したものを、図６（ａ）と（ｂ）に示す。これは、自動的に構成されたクラスタの画素を抽出したもので、赤外画像や可視画像に対する閾値を設定せずに得られたものである。
【００２１】
このように、赤外画像と可視画像から２次元の特徴量空間を構成し、そのクラスタリングによりおおまかな領域分割が可能である。従来法のように、赤外画像と可視画像のそれぞれに、検出対象物の種類ごとに閾値を設定して切出す方法と比較して、クラスタが自動的に構成されるので、単純にクラスタ番号を指定するだけで特徴量空間で同じ特定の性質を持つ画素の領域を得ることができる。
【００２２】
なお、本実施例では、特徴量として可視画像と赤外画像の輝度値を使用したが、他にも可視の赤色輝度、緑色輝度、青色輝度や色相、彩度などに変換した後の数値を特徴量として使用してもよい。特に、色相を使用すると、輝度情報とは違う情報が得られる。例えば屋外で使用した場合に、影の影響を低減するなどの効果が考えられる。
【００２３】
なお、本実施例では特徴量として可視画像と赤外画像の輝度値を使用したが、他の特徴量として、周りの画素の値との差を選択することもできる。これにより、画素の周辺との比較ができエッジ情報を反映させることができる。
【００２４】
なお、本実施例では、使用する特徴量をあらかじめ決定してあったが、複数の特徴量候補をあらかじめ準備して、それぞれの候補間での特徴量としての相関を取り、相関の小さな特徴量同士を採用することで、より分類がしやすくなる。
【００２５】
なお、本実施例では、常に赤外画像と可視画像を使用しているが、状況によっては両方の画像を使用しない場合が良い場合がある。例えば、照明がない場合夜になるとほとんど可視画像が役に立たない場合などである。このため、あらかじめ画像全体の輝度平均と分散を取り、どちらかもしくは両方が一定基準より小さい場合には、その画像は使用しないことで、状況の変動に強い領域分割装置が構成できる。
【００２６】
なお、本実施例では、２次元の特徴量空間でのクラスタリングの例を説明したが、３次元以上の多次元の特徴量空間のクラスタリングを行うことで、多くの特徴を反映させた領域分割が行える。
【００２７】
なお、本実施例では、再配置クラスタリングとしてＫ−ｍｅａｎｓを使用したが、他の再配置クラスタリングを実現する方法を使用しても良い。また、階層的クラスタリングを行う方法を使用しても同様の効果が得られる。
【００２８】
なお、本実施例では、分類基準決定部においてクラスタ中心を決定するのにすべての画素の特徴量を用いて特徴量空間のクラスタリングを行ったが、すべての画素の特徴量を用いずにランダムサンプリングなどにより、一部の画素の特徴量を使用することで、クラスタリングに伴う計算量の削減を行うことができる。
【００２９】
なお、本実施例では初期クラスタの数を9個としているが、画像の輝度の分散が大きい場合はクラスタの数を多く、分散が小さい場合はクラスタの数を少なくする等、適切な数のクラスタを柔軟に設定することで、より画像の輝度値の分布に適した領域分割を行うことができる。
【００３０】
（実施の形態２）
図７は、動画などの連続する複数フレームの画像に対してそれぞれ領域分割を行う領域分割装置のシステム構成図を示し、図１と同一部分は同一番号を付して説明する。図７において１１は撮像部、１２は特徴量算出部、１３は分類基準決定部、１４は分類部、７１は分類基準更新判定部である。
【００３１】
以上のように構成された領域分割装置において、以下、その動作を述べる。
【００３２】
本領域分割装置は、（実施の形態１）における単一フレーム画像からの領域分割を連続する複数フレームの画像に対して行うものである。
【００３３】
構成上は、１１から１４までは（実施の形態１）と同様の動作をし、７１の分類基準更新判定部が追加されている。連続する複数フレームに対して動作させる場合、近いフレームの画像は似ていることが想定されるので、分類基準は毎フレームごとに決定する必要はない。この分類基準を更新するかどうかを判定するのが、７１の分類基準更新判定部である。７１の分類基準更新判定部は一定のフレーム間隔ごとに分類基準を更新し、分類基準が更新されない時は、前回決定された分類基準を使用する。
【００３４】
このように、動画などの連続する画像入力に対して、毎フレームの画像の領域分割を行うことができる。また分類基準更新判定部を持つことにより、不要な分類基準決定部の計算を大幅に削減できる。
【００３５】
なお、本実施例では７１の分類基準更新判定部において、一定のフレーム間隔で行ったが、赤外画像または可視画像の画素全体の輝度値平均の変化量が一定量よりも大きい場合に、分類基準を更新してもよい。
【００３６】
なお、本実施例では７１の分類基準更新判定部において、一定のフレーム間隔で行ったが、温度計または照度計を持ち、その温度計または照度計の変化度合いが一定量よりも大きい場合に分類基準を更新してもよい。
【００３７】
なお、本実施例においても（実施の形態１）にように１５の画像構成部を追加により、図５のように人間が識別できる画像として表示できる。特に本実施例においては、各フレーム毎に、図５のような画像を作成して、動画として表示できる。
【００３８】
（実施の形態３）
図８は、対象物抽出装置のシステム構成図を示し、図１と同一部分は同一番号を付して説明する。図８において１１は撮像部、１２は特徴量算出部、１３は分類基準決定部、１４は分類部、７１は分類基準更新判定部、８１は背景画像作成部、８２は背景特徴量算出部、８３は背景画像分類部、８４は一致判定部である。
【００３９】
以上のように構成された対象物抽出装置において、以下、その動作を述べる。
【００４０】
本対象物抽出装置は、（実施の形態２）の領域分割装置の構成に、特徴量空間での背景差分に関する背景画像作成部（８１）、背景特徴量算出部（８２）、背景画像分類部（８３）、一致判定部（８４）を加えたことにより、従来の赤外線画像や可視画像の輝度値の背景差分ではなく、多次元特徴量空間における分類番号で背景差分を行う。これにより、背景とは異なった領域が抽出され、対象物が抽出できる。
【００４１】
１１から１４および７１は、（実施の形態１）および（実施の形態２）と同じ動作を行う。
【００４２】
８１は背景画像作成部である。ここでは、赤外画像と可視画像それぞれの背景画像を作成する。毎フレームごとに取得される赤外画像と可視画像を使用して、背景画像は更新される。
【００４３】
８２は背景特徴量算出部である。赤外画像と可視画像それぞれの背景画像に対して、特徴量を計算する。処理内容は入力画像が異なること以外は１２の特徴量算出部と同じであり、１２の特徴量算出部が背景画像の入力を受けて背景画像の特徴量を算出することで、８２の背景特徴量算出部の省略も可能である。
【００４４】
８３は背景画像分類部である。８２で算出された背景画像の特徴量空間を１３の分類基準決定部で決定された分類基準に従って分類を行う。処理は特徴量空間が異なること以外は１４の分類部と同じであり、１４の分類部が背景画像の特徴量の入力を受けて背景画像の分類を行うことで、８３の背景画像分類部の省略も可能である。
【００４５】
８４は、一致判定部である。１４の分類部により分類された現フレーム画像の分類結果と８３の背景画像分類部により分類された背景画像の分類結果を各画素ごとに比較を行い、分類番号が同じ画素は背景と同じと判定され、分類番号が違う画素は変化画素と判定される。この判定を全画素について行った後、変化画素の連結面積が一定量以上である場合に対象物であると判定される。
【００４６】
図９に、本対象物抽出装置によって決定された分類基準（クラスタ中心位置）の時間による変化を示す。中心付近の領域が１４：３０におけるクラスタ中心位置（９１）、左下付近の領域が１７：３０におけるクラスタ中心位置（９２）である。時間変化によって、特徴量である赤外の輝度値および、可視の平均輝度値は低くなっているが、クラスタ中心が、特徴量空間内の特徴量の分布に応じて移動することで、分類基準も変化している。このため、分類部によって時間帯の変化による輝度値の変化が起きても、決められた数のクラスタが構成される。
【００４７】
このように、特徴量空間のクラスタリング結果に基づく背景更新を行うことで、対象物の抽出を行える。また、各クラスタに関して最も近い他のクラスタ中心との距離が、一般的な背景差分における閾値と同様の意味を持つ。このクラスタ中心は図９で示したように照明条件の変化に伴う画像の分布の変化に応じて移動する。このためクラスタ中心間の距離も変化することで適切な差分の閾値を与えることと同様の効果が得られ、本対象物抽出装置によれば閾値設定を不要にできる。
【００４８】
なお、本実施例において、８３の背景画像分類部は毎フレーム毎に計算されるが、毎フレーム毎の背景の変化は小さいことから、７１の分類基準更新判定部の分類基準の更新の判定と同様の判定が使用可能である。これにより、分類基準決定部によって分類基準が更新された場合にのみ、背景画像分類部の背景画像の分類計算を行う処理も有効である。
【００４９】
なお、本実施例において、８４の一致判定部において対象物領域として出力される面積の和が一定以上の場合に７１の分類基準更新判定部で更新が必要と判定することにより、分類基準が画像の変化に追従できずに大きな面積が対象物として出力された場合に、分類基準を更新して現フレームの特徴量分布に適したものにできる。
【００５０】
また、上記実施の形態１〜３において、各手続きの全部または一部の手続きをコンピュータに実行させるためのプログラムを記録した媒体を用いる、あるいは通信路または放送を通じてプログラムをダウンロードして実行することにより、上記の場合と同様の効果を実現することが可能である。
【００５１】
また、上記実施の形態の実現手段としてはハードウェアを用いて実現してもよいし、あるいはコンピュータ上のソフトウェアを用いて実現してもよい。
【００５２】
【発明の効果】
以上のように本発明によれば、赤外画像および可視画像から算出した特徴量を一つの特徴量空間で扱うことにより、２つの画像を別々に閾値処理せずにクラスタ番号を指定することで領域を切出すことができる。
【００５３】
また、時間的に連続して稼動する領域分割装置に関しても、同様に閾値を設定せずに領域分割が行え、分類基準の更新の判定を行うことにより、計算量を削減できる。
【００５４】
また、対象物抽出装置を構成するために特徴量空間のクラスタリング結果の背景差分を行うことにより、撮影範囲の照明環境や温度環境が大きく変動し赤外画像および可視画像の輝度値が大きく変動した場合にも、特徴量空間の中ではクラスタ中心が移動し、適切な領域分割が行える。この結果、従来法のように画像変動に対して閾値を設定し直すことなく、対象物の抽出が行え物体の過剰検出や未検出を減らすことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１による単一フレームの領域分割装置のシステム構成図
【図２】本発明の実施の形態１による遠赤外画像と可視画像の例を示す図
【図３】本発明の実施の形態１による全ての画素の特徴量を２次元特徴量空間にプロットした図
【図４】本発明の実施の形態１による初期クラスタ中心位置と計算後のクラスタ中心位置を示す図
（ａ）初期クラスタ中心位置を示す図
（ｂ）計算後のクラスタ中心の位置を示す図
【図５】本発明の実施の形態１による各画素の分類番号に輝度値を与えた画像を示す図
【図６】本発明の実施の形態１による特定のクラスタに属する画素のみを抽出した画像を示す図
【図７】本発明の実施の形態２による連続した複数フレームの画像に対する領域分割装置のシステム構成図
【図８】本発明の実施の形態３による対象物抽出装置のシステム構成図
【図９】本発明の実施の形態３による時間帯の変化に伴うクラスタ中心位置の変化を示す図
【図１０】特許番号第２８５０８９０号に記載されている、複合センサ型車両感知器の構成を示すブロック図
【図１１】特許番号第２８５０８９０号に記載されている、複合センサ型車両感知器のメインフローチャート
【符号の説明】
１１撮像部
１２特徴量算出部
１３分類基準決定部
１４分類部
２１可視画像
２２遠赤外画像
７１分類基準更新判定部
８１背景画像作成部
８２背景特徴量算出部
８３背景画像分類部
８４一致判定部
９１１４：３０におけるクラスタ中心の分布
９２１７：３０におけるクラスタ中心の分布
１１０撮像部
１１１可視ＣＣＤカメラ
１１２赤外線域撮像カメラ
１２０環境計測部
１２１照度計
１２２温度計
１３０信号処理部
１３１，１３３ビデオＡ／Ｄ変換器
１３２，１３４フレームメモリ
１３５ディジタルシグナルプロセッサ（ＤＳＰ）
１３６ＣＰＵ
１３７外部出力Ｉ／Ｆ
１３８，１３９Ａ／Ｄ変換器[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image region dividing device or method for dividing an image into a plurality of regions using an infrared image and a visible image, and an object extracting device or method for extracting an object from an image.
[0002]
[Prior art]
As an example of the prior art that performs image processing using both an infrared image and a visible image, there is an invention of a composite sensor type vehicle sensor described in Japanese Patent No. 2850890 (hereinafter referred to as publication 1). .
[0003]
FIG. 10 is a block diagram of the composite sensor type vehicle sensor described in the publication 1. The composite sensor type vehicle sensor has an imaging unit 110, an environment measurement unit 120, and a signal processing unit 130. The imaging unit 110 includes a visible CCD camera 111 and an infrared imaging camera 112. The environment measurement unit 120 includes an illuminance meter 121 and a thermometer 122. The signal processing unit 130 includes video A / D converters 131 and 133, frame memories 132 and 134, a digital signal processor 135, a CPU 135, an external output I / F 137, and A / D converters 138 and 139. It is configured. The imaging unit 110 captures both an infrared image and a visible image, and the signal processing unit 130 performs processing to detect the vehicle.
[0004]
FIG. 11 is a main flowchart of the composite sensor type vehicle sensor described in the publication 1. When detecting a vehicle, the process which distinguishes a vehicle and a shadow by combining several information is shown. First, an infrared image is acquired at F1, temperature / illuminance data is acquired at F2, and a visible image is acquired at F3. From these pieces of acquired information, the surrounding environment is detected in F4 to determine bad weather. If it is not determined that the weather is bad in F4, threshold processing is performed on each of the visible image and the infrared image to identify a vehicle candidate. When it is determined that the weather is bad in F4, it is determined whether the vehicle is a vehicle using only an infrared image without using a visible image.
[0005]
[Problems to be solved by the invention]
The first problem of the conventional method is that when the types of detected objects are increased, many cases and many threshold values must be added.
[0006]
This is because, in the publication 1, in order to detect a vehicle, weather judgment and vehicle detection based on a threshold are performed on a visible image, and vehicle detection based on a threshold is performed on an infrared image. If the number of detected objects is increased by detecting vehicles with different colors or temperatures, or by adding human detection, appropriate classification and appropriate threshold values for both visible and infrared images each time. This is because it is necessary to set.
[0007]
The second problem of the conventional method is that even if an appropriate threshold value is set, when the illumination condition and temperature condition of the photographing range fluctuate greatly, a fixed threshold value cannot be used and an appropriate background difference threshold value cannot be set. It is difficult.
[0008]
This is because in publication 1, a fixed threshold value is set and a change is detected by comparison with the threshold value. However, although the brightness value of an infrared image and a visible image fluctuates greatly due to changes in illumination and temperature, the fixed value is fixed. This is because when the threshold value is used, overdetection or undetection of an object is likely to occur.
[0009]
An object of the present invention is to solve the above-described conventional problems, specify an appropriate luminance value threshold value for many detection objects by dividing the feature space, and provide a background of the classification result of the feature space. An object of the present invention is to provide a region segmentation and object extraction apparatus capable of detecting an appropriate object even when the photographing environment greatly varies due to the difference.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, the region dividing device of the present invention includes an imaging unit that can capture an image in the infrared wavelength region and an image in the visible wavelength region, a shooting point on the image in the infrared wavelength region, and the visible region. A feature amount calculation unit that calculates a feature amount from a shooting point on an image in a wavelength region, and the calculated feature amount is formed by a feature amount in an infrared wavelength region and a feature amount in a visible wavelength region A classification criterion determining unit that determines a criterion for classifying into a plurality of regions in the quantity space; and classifying the feature amount space into a plurality of regions according to the criterion determined by the classification criterion determining unit, and based on a result of the classification, the shooting point A classification unit that assigns a classification number to a classification reference update determination unit that determines whether or not to update the reference to be classified, and the classification reference update determination unit For images and images in the visible wavelength range It is determined whether or not to update the reference for classification, and the determination result is output to the classification reference determination unit, and the classification reference determination unit is configured to perform the classification when the determination result is “update”. If the determination result is “no update”, the classification criteria are not re-determined.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0013]
(Embodiment 1)
FIG. 1 shows a system configuration diagram of a region dividing device for a single frame image. In FIG. 1, 11 is an imaging unit, 12 is a feature amount calculation unit, 13 is a classification criterion determination unit, 14 is a classification unit, and 15 is an image configuration unit. It is.
[0014]
The operation of the area dividing apparatus configured as described above will be described below.
[0015]
Reference numeral 11 denotes an imaging unit that can capture an image in the far infrared wavelength region and an image in the visible wavelength region. As the imaging device, the imaging unit is configured by using a single camera that has sensitivity to a plurality of wavelengths and can output signals separately, or two cameras that can capture both wavelength regions. FIG. 2 is an example of a far-infrared image (22) and a visible image (21). Each shot was taken in the same shooting range.
[0016]
Reference numeral 12 denotes a feature amount calculation unit. From the imaging unit 11, the luminance value related to the RGB wavelengths of the visible camera and the luminance value of the infrared camera at each photographing point are sent. A plurality of feature amounts are calculated from the plurality of luminance values. In this embodiment, two feature values are the luminance value of the infrared camera and the luminance value of the visible camera. FIG. 3 shows a diagram in which all pixels are plotted in a two-dimensional feature amount space. The vertical axis represents the visible luminance value, and the horizontal axis represents the infrared luminance value. The pixels in the two-dimensional feature amount space are classified into a plurality of groups, and region division is performed.
[0017]
Thirteen classification standard determination units determine classification standards. Rearrangement clustering is performed as a classification method. Rearrangement clustering is a method in which a fixed number of cluster centers are initially placed at appropriate locations in the feature space as initial cluster positions, and the cluster centers are moved so as to divide the distribution of the feature space by repeated calculation. is there. For example, the K-means method is one method of rearrangement clustering. This task of determining the cluster center corresponds to the determination of the classification standard, and the classification standard in this embodiment is the position of the cluster center.
[0018]
FIG. 4 shows how the cluster center is determined by the K-means method. (A) shows the position of the initial cluster center, and nine cluster centers are equally arranged in the feature amount space. (B) shows the position of the cluster center after calculation. According to the distribution of the two-dimensional feature value, the cluster center moves to reflect the feature value distribution.
[0019]
The 14 classification units classify each pixel based on the cluster center position determined by the classification reference determination unit. For classification, the cluster center closest to each pixel is searched, and the cluster number becomes the classification number. Thus, a classification number is given to each pixel.
[0020]
Reference numeral 15 denotes an image construction unit. Here, specific luminance is assigned to the classification number given to each pixel by the 14 classification units so that the clusters can be distinguished even when viewed by humans. Further, what kind of region appears frequently in each cluster is shown in FIG. 4B. As an example, FIGS. 6A and 6B show pixels extracted from a cluster including a lot of road surface areas and a cluster including a lot of background plant areas. This is an automatically extracted pixel of a cluster, and is obtained without setting a threshold for an infrared image or a visible image.
[0021]
In this way, a two-dimensional feature amount space is constructed from the infrared image and the visible image, and rough region division is possible by clustering. Compared with the method of cutting out by setting a threshold value for each type of detection object in each infrared image and visible image as in the conventional method, the cluster is automatically configured. A pixel region having the same specific property in the feature amount space can be obtained simply by specifying.
[0022]
In the present embodiment, the luminance values of the visible image and the infrared image are used as the feature amount, but other numerical values after conversion into visible red luminance, green luminance, blue luminance, hue, saturation, and the like are also used. It may be used as a feature amount. In particular, when hue is used, information different from luminance information is obtained. For example, when used outdoors, the effect of reducing the influence of shadows can be considered.
[0023]
In the present embodiment, the luminance values of the visible image and the infrared image are used as the feature amount. However, the difference from the values of surrounding pixels can be selected as another feature amount. Thereby, the comparison with the periphery of the pixel can be performed, and the edge information can be reflected.
[0024]
In the present embodiment, the feature amount to be used is determined in advance. However, a plurality of feature amount candidates are prepared in advance, and correlation is performed as a feature amount between the candidates. By adopting each other, classification becomes easier.
[0025]
In this embodiment, an infrared image and a visible image are always used. However, depending on the situation, it may be preferable not to use both images. For example, when there is no illumination, a visible image is almost useless at night. For this reason, the luminance average and variance of the entire image are taken in advance, and when either or both are smaller than a certain standard, the image is not used, so that an area dividing device that is resistant to fluctuations in the situation can be configured.
[0026]
In the present embodiment, an example of clustering in a two-dimensional feature amount space has been described. However, by performing clustering in a multi-dimensional feature amount space of three or more dimensions, region segmentation reflecting many features can be performed. Yes.
[0027]
In this embodiment, K-means is used as the rearrangement clustering, but another method for realizing rearrangement clustering may be used. The same effect can be obtained by using a method of performing hierarchical clustering.
[0028]
In the present embodiment, the clustering of the feature amount space is performed by using the feature amount of all the pixels in order to determine the cluster center in the classification criterion determination unit. However, random sampling is performed without using the feature amount of all the pixels. For example, by using the feature values of some pixels, it is possible to reduce the calculation amount accompanying clustering.
[0029]
In this embodiment, the number of initial clusters is nine, but an appropriate number of clusters, such as increasing the number of clusters when the luminance variance of the image is large, and decreasing the number of clusters when the variance is small, etc. By flexibly setting, it is possible to perform region division more suitable for the distribution of luminance values of the image.
[0030]
(Embodiment 2)
FIG. 7 is a system configuration diagram of an area dividing apparatus that performs area division on images of a plurality of continuous frames such as moving images, and the same parts as those in FIG. In FIG. 7, 11 is an imaging unit, 12 is a feature amount calculation unit, 13 is a classification criterion determination unit, 14 is a classification unit, and 71 is a classification criterion update determination unit.
[0031]
The operation of the area dividing apparatus configured as described above will be described below.
[0032]
This region dividing apparatus performs region division from a single frame image in (Embodiment 1) on images of a plurality of consecutive frames.
[0033]
In terms of configuration, operations from 11 to 14 are the same as in (Embodiment 1), and 71 classification reference update determination units are added. When operating on a plurality of consecutive frames, it is assumed that the images of close frames are similar, and therefore the classification criteria need not be determined for each frame. It is the 71 classification reference update determination unit that determines whether or not to update this classification reference. The 71 classification reference update determination unit updates the classification reference at regular frame intervals, and uses the previously determined classification reference when the classification reference is not updated.
[0034]
In this way, for each continuous image input such as a moving image, it is possible to perform image segmentation for each frame. Further, by having the classification standard update determination unit, unnecessary calculation of the classification standard determination unit can be greatly reduced.
[0035]
In this embodiment, the classification reference update determination unit 71 performs the determination at regular frame intervals. However, when the amount of change in the average luminance value of all pixels of the infrared image or visible image is larger than the certain amount, the classification is performed. The criteria may be updated.
[0036]
In this embodiment, the classification reference update determination unit 71 performs the measurement at a constant frame interval. However, the classification reference update determination unit has a thermometer or an illuminance meter and the degree of change of the thermometer or the illuminance meter is larger than a certain amount. The criteria may be updated.
[0037]
Also in this embodiment, as shown in (Embodiment 1), 15 image components can be added and displayed as an image that can be identified by a human as shown in FIG. Particularly in this embodiment, an image as shown in FIG. 5 can be created for each frame and displayed as a moving image.
[0038]
(Embodiment 3)
FIG. 8 is a system configuration diagram of the object extraction device, and the same parts as those in FIG. In FIG. 8, 11 is an image pickup unit, 12 is a feature amount calculation unit, 13 is a classification reference determination unit, 14 is a classification unit, 71 is a classification reference update determination unit, 81 is a background image creation unit, 82 is a background feature amount calculation unit, Reference numeral 83 denotes a background image classification unit, and 84 denotes a coincidence determination unit.
[0039]
The operation of the object extraction device configured as described above will be described below.
[0040]
The target object extraction device includes a background image creation unit (81), a background feature value calculation unit (82), and a background image classification unit related to a background difference in a feature value space in the configuration of the region dividing device of (Embodiment 2). (83) By adding the coincidence determination unit (84), the background difference is performed by the classification number in the multi-dimensional feature amount space instead of the background difference of the luminance value of the conventional infrared image or visible image. Thereby, an area different from the background is extracted, and the object can be extracted.
[0041]
11 to 14 and 71 perform the same operations as (Embodiment 1) and (Embodiment 2).
[0042]
Reference numeral 81 denotes a background image creation unit. Here, background images of the infrared image and the visible image are created. The background image is updated using the infrared image and the visible image acquired every frame.
[0043]
Reference numeral 82 denotes a background feature amount calculation unit. The feature amount is calculated for the background image of each of the infrared image and the visible image. The processing content is the same as that of the twelve feature amount calculation units except that the input images are different. The twelve feature amount calculation units receive the input of the background image and calculate the feature amount of the background image, so that 82 background features are obtained. The quantity calculation unit can be omitted.
[0044]
Reference numeral 83 denotes a background image classification unit. The feature amount space of the background image calculated in 82 is classified in accordance with the classification criteria determined by the 13 classification criterion determination unit. The processing is the same as that of the 14 classification units except that the feature amount space is different. The 14 classification units receive the feature amount of the background image and classify the background image. It can be omitted.
[0045]
Reference numeral 84 denotes a coincidence determination unit. The classification result of the current frame image classified by the 14 classification units and the classification result of the background image classified by the background image classification unit of 83 are compared for each pixel, and it is determined that the pixels having the same classification number are the same as the background Then, pixels with different classification numbers are determined as change pixels. After performing this determination for all the pixels, it is determined that the object is an object when the connection area of the change pixels is equal to or greater than a certain amount.
[0046]
FIG. 9 shows changes with time of the classification criteria (cluster center position) determined by the object extraction device. The area near the center is the cluster center position (91) at 14:30, and the area near the lower left is the cluster center position (92) at 17:30. Although the infrared luminance value and the visible average luminance value, which are feature quantities, are low due to temporal changes, the cluster center moves according to the distribution of feature quantities in the feature quantity space. Has also changed. For this reason, even if the classification unit causes a change in luminance value due to a change in time zone, a predetermined number of clusters are formed.
[0047]
In this way, the object can be extracted by performing background update based on the clustering result of the feature amount space. Further, the distance from the nearest other cluster center with respect to each cluster has the same meaning as the threshold in general background difference. As shown in FIG. 9, the cluster center moves in accordance with a change in image distribution accompanying a change in illumination conditions. For this reason, the effect similar to giving the threshold value of an appropriate difference is acquired by changing the distance between cluster centers, and according to this target object extraction apparatus, a threshold value setting can be made unnecessary.
[0048]
In the present embodiment, 83 background image classification units are calculated for each frame, but since the change in the background for each frame is small, the classification standard update determination unit 71 determines whether the classification standard is updated. A similar determination can be used. Thereby, only when the classification standard is updated by the classification standard determination unit, the process of performing the background image classification calculation of the background image classification unit is also effective.
[0049]
In the present embodiment, when the sum of the areas output as the object regions in the coincidence determination unit 84 is greater than or equal to a certain value, the classification reference update determination unit 71 determines that the update is necessary, so that the classification reference is an image. If a large area is output as an object without being able to follow the change in the classification, the classification standard can be updated to be suitable for the feature amount distribution of the current frame.
[0050]
In the first to third embodiments, a medium storing a program for causing a computer to execute all or part of each procedure is used, or the program is downloaded and executed through a communication channel or broadcast. It is possible to achieve the same effect as in the above case.
[0051]
In addition, the means for realizing the above embodiment may be realized using hardware, or may be realized using software on a computer.
[0052]
【The invention's effect】
As described above, according to the present invention, the feature amount calculated from the infrared image and the visible image is handled in one feature amount space, thereby specifying the cluster number without separately thresholding the two images. An area can be cut out.
[0053]
Similarly, for an area dividing apparatus that operates continuously in time, area division can be performed without setting a threshold value similarly, and the calculation amount can be reduced by determining whether to update the classification criteria.
[0054]
In addition, by performing the background difference of the clustering result of the feature amount space to configure the object extraction device, the illumination environment and the temperature environment of the shooting range greatly fluctuate, and the luminance values of the infrared image and the visible image fluctuate greatly. Even in this case, the cluster center moves in the feature amount space, and appropriate region division can be performed. As a result, the object can be extracted without resetting the threshold value for the image fluctuation as in the conventional method, and the excessive detection and non-detection of the object can be reduced.
[Brief description of the drawings]
FIG. 1 is a system configuration diagram of a single-frame region segmentation device according to Embodiment 1 of the present invention. FIG. 2 is a diagram illustrating an example of a far-infrared image and a visible image according to Embodiment 1 of the present invention. FIG. 4 is a diagram in which the feature amounts of all the pixels according to the first embodiment of the present invention are plotted in a two-dimensional feature amount space. FIG. 4 shows the initial cluster center position and the calculated cluster center position according to the first embodiment of the present invention. FIG. 5A is a diagram showing an initial cluster center position. FIG. 5B is a diagram showing a cluster center position after calculation. FIG. 5 shows an image in which a luminance value is given to a classification number of each pixel according to the first embodiment of the present invention. FIG. 6 is a diagram showing an image obtained by extracting only pixels belonging to a specific cluster according to the first embodiment of the present invention. FIG. 7 is a diagram of an area dividing device for continuous multiple-frame images according to the second embodiment of the present invention. System configuration diagram [FIG. 8] of the present invention FIG. 9 is a system configuration diagram of the object extraction device according to the third embodiment. FIG. 9 is a diagram showing a change in the cluster center position according to a change in time zone according to the third embodiment of the invention. FIG. 10 is described in Japanese Patent No. 2850890. FIG. 11 is a block diagram showing the configuration of a composite sensor type vehicle sensor. FIG. 11 is a main flowchart of the composite sensor type vehicle sensor described in Japanese Patent No. 2850890.
DESCRIPTION OF SYMBOLS 11 Imaging part 12 Feature-value calculation part 13 Classification reference determination part 14 Classification part 21 Visible image 22 Far-infrared image 71 Classification reference update determination part 81 Background image creation part 82 Background feature-value calculation part 83 Background image classification part 84 Match determination part 91 Cluster center distribution at 14:30 92 Cluster center distribution at 17:30 110 Imaging unit 111 Visible CCD camera 112 Infrared imaging camera 120 Environmental measurement unit 121 Illuminometer 122 Thermometer 130 Signal processing unit 131, 133 Video A / D converter 132, 134 Frame memory 135 Digital signal processor (DSP)
136 CPU
137 External output I / F
138, 139 A / D converter

Claims

An imaging unit capable of capturing an image in the infrared wavelength region and an image in the visible wavelength region;
A feature amount calculation unit that calculates a feature amount from a shooting point on the image in the infrared wavelength range and a shooting point on the image in the visible wavelength range,
A classification criterion determining unit that determines a criterion for classifying the calculated feature amount into a plurality of regions in a feature amount space formed by a feature amount in an infrared wavelength region and a feature amount in a visible wavelength region;
Classifying the feature amount space into a plurality of regions according to the criterion determined by the classification criterion determining unit, and assigning a classification number to the shooting point based on the result of the classification;
A classification reference update determination unit that determines whether or not to update the reference for classification,
The classification reference update determination unit determines whether to update the classification reference for the infrared wavelength region image and the visible wavelength region image that are continuously input, and the determination result is the classification Output to the standard decision part,
The classification criterion determination unit re-determines the classification criterion when the determination result is “update”, and does not re-determine the classification criterion when the determination result is “no update”.
Area dividing device.

The area dividing device according to claim 1, wherein the feature amount is a luminance value.

The region dividing device according to claim 1, wherein the classification reference determination unit determines a reference for classification using a part of the pixel on the image in the infrared wavelength region and a part of the pixel on the image in the visible wavelength region.

The classification reference update determination unit is configured such that an average value of feature values of all pixels of one or both of the image in the infrared wavelength region and the visible wavelength region is an average of the feature values of all the pixels of the image processed immediately before determines to update when a predetermined amount greater than the value, the area dividing device according to claim 1.

An imaging unit capable of capturing an image in the infrared wavelength region and an image in the visible wavelength region;
A feature amount calculation unit that calculates a feature amount from a shooting point on the image in the infrared wavelength range and a shooting point on the image in the visible wavelength range,
A classification criterion determining unit that determines a criterion for classifying the calculated feature amount into a plurality of regions in a feature amount space formed by a feature amount in an infrared wavelength region and a feature amount in a visible wavelength region;
Classifying the feature amount space into a plurality of regions according to the criterion determined by the classification criterion determining unit, and assigning a classification number to the shooting point based on the result of the classification;
A classification reference update determination unit that determines whether or not to update the reference for classification;
A background image creation unit for creating respective background images from the infrared wavelength region image and the visible wavelength region image that are continuously input;
A background feature amount calculation unit that calculates a feature amount from a shooting point on a background image in the infrared wavelength range and a shooting point on a background image in the visible wavelength range,
According to the criterion determined by the classification criterion determination unit, the feature amount calculated by the background feature amount calculation unit is classified into the feature amount space, and a classification number is assigned to the shooting point of the background image based on the classification result A background image classification unit to
A coincidence determination unit that determines the degree of coincidence of the classification numbers of the shooting points output by the background image classification unit and the classification unit, and outputs a set of shooting points that do not match as objects;
An object extraction apparatus comprising:

An imaging step of capturing an image in the infrared wavelength region and an image in the visible wavelength region using an infrared camera and a visible wavelength camera;
A feature amount calculating step for calculating a feature amount from a shooting point on the image in the infrared wavelength region and a shooting point on the image in the visible wavelength region,
A classification criterion determining step for determining a criterion for classifying the calculated feature amount into a plurality of regions in a feature amount space formed by a feature amount in an infrared wavelength region and a feature amount in a visible wavelength region;
Determine whether to update the classification criteria for the image of the infrared wavelength region and the image of the visible wavelength region that are continuously input,
A classification reference update determination step that re-determines the classification criteria when the determination result is " update", and does not re-determine the classification criteria when the determination result is " no update";
When the determination result is “update”, according to the re-determined classification criterion, and when the determination result is “no update”, according to the criterion determined by the classification criterion determination step , the feature amount space and classification step of classifying into a plurality of regions, to impart a classification number to the shooting point based on the result of the classification,
A region dividing method including:

Information storage medium storing a program for executing the object extraction device to the computer of any one of the area dividing device or claim 5 of the claims 1 to 4.