JP3050283B2 - 動物体認識装置 - Google Patents
動物体認識装置Info
- Publication number
- JP3050283B2 JP3050283B2 JP8104293A JP10429396A JP3050283B2 JP 3050283 B2 JP3050283 B2 JP 3050283B2 JP 8104293 A JP8104293 A JP 8104293A JP 10429396 A JP10429396 A JP 10429396A JP 3050283 B2 JP3050283 B2 JP 3050283B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- correspondence
- moving object
- pixel
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は動物体認識装置に関
し、特にテレビカメラ等から入力される画像中の動物体
の形状および距離を求める動物体認識装置に関する。
し、特にテレビカメラ等から入力される画像中の動物体
の形状および距離を求める動物体認識装置に関する。
【０００２】
【従来の技術】従来の画像中の物体を検出する装置とし
ては、特開昭６２−２１３４９５号公報「異常監視装
置」，特開平６−２１７３１１号公報「移動体監視装
置」，特開平７−７９４２９号公報「画像監視装置」等
に記載されているような技術が知られている。これらの
技術においては、ある時点の画像を記憶しておき、順次
得られる画像との差分を計算する。新たな物体が侵入し
て来れば画像が変化するから、この差分を処理すること
により新たな物体を検出している。
ては、特開昭６２−２１３４９５号公報「異常監視装
置」，特開平６−２１７３１１号公報「移動体監視装
置」，特開平７−７９４２９号公報「画像監視装置」等
に記載されているような技術が知られている。これらの
技術においては、ある時点の画像を記憶しておき、順次
得られる画像との差分を計算する。新たな物体が侵入し
て来れば画像が変化するから、この差分を処理すること
により新たな物体を検出している。
【０００３】また、物体の形状や距離を計測する方法と
しては、特開平３−８１８７８号公報「ステレオ画像を
用いた距離計測用画像認識装置」に記載されているよう
な、ステレオ法と呼ばれる技術が知られている。このス
テレオ法においては、まずステレオ画像と呼ばれる左右
２枚の画像を入力し、画像中の特徴量の計算により左右
画像の対応点を求める。この対応点とは、左画像のある
位置の対象物体が、右画像ではどこの位置に写っている
かを示している。こういった対応点の求め方の詳細は、
例えば特開昭６２−１０７３８６号公報「画像マッチン
グ方法」に記載されている。そして、左右２枚の画像の
対応点が求められたならば、三角測量の原理で物体表面
までの距離を計算できる。従って、物体までの距離や物
体表面の形状を知ることができる。
しては、特開平３−８１８７８号公報「ステレオ画像を
用いた距離計測用画像認識装置」に記載されているよう
な、ステレオ法と呼ばれる技術が知られている。このス
テレオ法においては、まずステレオ画像と呼ばれる左右
２枚の画像を入力し、画像中の特徴量の計算により左右
画像の対応点を求める。この対応点とは、左画像のある
位置の対象物体が、右画像ではどこの位置に写っている
かを示している。こういった対応点の求め方の詳細は、
例えば特開昭６２−１０７３８６号公報「画像マッチン
グ方法」に記載されている。そして、左右２枚の画像の
対応点が求められたならば、三角測量の原理で物体表面
までの距離を計算できる。従って、物体までの距離や物
体表面の形状を知ることができる。
【０００４】
【発明が解決しようとする課題】上述した従来の画像中
の物体を検出する装置では、記憶しておいた画像と順次
得られる画像との差分を基本として処理を行うので、照
明条件が突然変化したり、雲などの影が画像中の物体に
落ちた場合でも、新たな物体として検出してしまうとい
う問題点があった。
の物体を検出する装置では、記憶しておいた画像と順次
得られる画像との差分を基本として処理を行うので、照
明条件が突然変化したり、雲などの影が画像中の物体に
落ちた場合でも、新たな物体として検出してしまうとい
う問題点があった。
【０００５】また、従来のステレオ法を用いて物体の形
状や距離を計測する方法では、画像間の対応関係を求め
る処理に多大の時間を要するという問題点があった。
状や距離を計測する方法では、画像間の対応関係を求め
る処理に多大の時間を要するという問題点があった。
【０００６】本発明の目的は、ステレオ画像の既知の対
応関係を利用することで、高精度かつ高速に動物体を検
出しその形状や距離を測定することができる動物体認識
装置を提供することにある。
応関係を利用することで、高精度かつ高速に動物体を検
出しその形状や距離を測定することができる動物体認識
装置を提供することにある。
【０００７】
【課題を解決するための手段】第１の発明の動物体認識
装置は、静止する被写体の画像中に動物体が侵入してき
たときに該動物体を認識する動物体認識装置において、
左画像および右画像からなるステレオ画像を入力する画
像入力部と、この画像入力部により入力されたステレオ
画像の左画像と右画像との対応関係を求める対応検出部
と、この対応検出部により求められた対応関係を記憶す
る対応記憶部と、この対応記憶部に記憶された対応関係
および前記画像入力部から随時入力されるステレオ画像
に基づいて、左画像の各画素に対して前記対応記憶部に
記憶された対応する右画像の画素位置を読み出す画素読
み出し手段，対応する左画像と右画像との画素位置の特
徴量を比較し、特徴量の差が閾値設定手段にあらかじめ
設定された閾値以下の場合に左画像の画素位置に動物体
が存在しないと判定し、特徴量の差が閾値よりも大きい
場合に左画像の画素位置に動物体が存在すると判定する
画素判定手段，および前記画素判定手段が出力する、動
物体が存在すると判定された画素位置を示す情報を受け
て領域を決定する領域決定手段を含み、動物体が存在す
る領域を検出する領域検出部と、この領域検出部により
検出された領域内の動物体の形状および距離を求める物
体認識部とを備えることを特徴とする。第２の発明の動
物体認識装置は、第１の動物体認識装置おいて、前記対
応検出部が、前記画像入力部により入力されたステレオ
画像の左画像と右画像とを矩形のブロックに分割するブ
ロック分割手段，左画像と右画像とのブロックを１つず
つ選択するブロック選択手段，選択されたブロック間の
自己相関値を計算する相関値計算手段，最も自己相関値
が大きくなる右画像のブロックをその左画像のブロック
の対応ブロックとして検出し対応する左画像のブロック
と右画像のブロックとの組み合わせを示す情報を出力す
る対応検出手段，および前記対応検出手段が出力する組
み合わせを示す情報を受けて左画像の各画素が対応する
右画像の画素位置を示す情報と右画像の各画素が対応す
る左画像の画素位置を示す情報とを対応関係として出力
する対応出力手段を含むことを特徴とする。
装置は、静止する被写体の画像中に動物体が侵入してき
たときに該動物体を認識する動物体認識装置において、
左画像および右画像からなるステレオ画像を入力する画
像入力部と、この画像入力部により入力されたステレオ
画像の左画像と右画像との対応関係を求める対応検出部
と、この対応検出部により求められた対応関係を記憶す
る対応記憶部と、この対応記憶部に記憶された対応関係
および前記画像入力部から随時入力されるステレオ画像
に基づいて、左画像の各画素に対して前記対応記憶部に
記憶された対応する右画像の画素位置を読み出す画素読
み出し手段，対応する左画像と右画像との画素位置の特
徴量を比較し、特徴量の差が閾値設定手段にあらかじめ
設定された閾値以下の場合に左画像の画素位置に動物体
が存在しないと判定し、特徴量の差が閾値よりも大きい
場合に左画像の画素位置に動物体が存在すると判定する
画素判定手段，および前記画素判定手段が出力する、動
物体が存在すると判定された画素位置を示す情報を受け
て領域を決定する領域決定手段を含み、動物体が存在す
る領域を検出する領域検出部と、この領域検出部により
検出された領域内の動物体の形状および距離を求める物
体認識部とを備えることを特徴とする。第２の発明の動
物体認識装置は、第１の動物体認識装置おいて、前記対
応検出部が、前記画像入力部により入力されたステレオ
画像の左画像と右画像とを矩形のブロックに分割するブ
ロック分割手段，左画像と右画像とのブロックを１つず
つ選択するブロック選択手段，選択されたブロック間の
自己相関値を計算する相関値計算手段，最も自己相関値
が大きくなる右画像のブロックをその左画像のブロック
の対応ブロックとして検出し対応する左画像のブロック
と右画像のブロックとの組み合わせを示す情報を出力す
る対応検出手段，および前記対応検出手段が出力する組
み合わせを示す情報を受けて左画像の各画素が対応する
右画像の画素位置を示す情報と右画像の各画素が対応す
る左画像の画素位置を示す情報とを対応関係として出力
する対応出力手段を含むことを特徴とする。
【０００８】また、第３の発明の動物体認識装置は、静
止する被写体の画像中に動物体が侵入してきたときに該
動物体を認識する動物体認識装置において、主画像を入
力する主画像入力部と、前記主画像の視点の周囲の視点
からの複数の補助画像を入力する補助画像入力部と、前
記主画像と前記複数の補助画像との対応関係を求める対
応検出部と、この対応検出部により求められた対応関係
を記憶する対応記憶部と、この対応記憶部に記憶された
対応関係，前記主画像入力部から随時入力される主画像
および前記補助画像入力部から随時入力される複数の補
助画像に基づいて、主画像の各画素に対して前記対応記
憶部に記憶された対応する補助画像の画素位置を読み出
す画素読み出し手段，対応する主画像と補助画像との画
素位置の特徴量を比較し、特徴量の差があらかじめ設定
された閾値以下の場合に主画像の画素位置に動物体が存
在しないと判定し、特徴量の差が前記閾値よりも大きい
場合に主画像の画素位置に動物体が存在すると判定する
画素判定手段，および前記画素判定手段が出力する、動
物体が存在すると判定された画素位置を示す情報を受け
て領域を決定する領域決定手段を含み、動物体が存在す
る領域を検出する領域検出部と、この領域検出部により
検出された領域内の動物体の形状および距離を求める物
体認識部とを備えることを特徴とする。第４の発明の動
物体認識装置は、第３の発明の動物体認識装置におい
て、前記対応検出部が、前記主画像と前記複数の補助画
像とを矩形のブロックに分割するブロック分割手段，主
画像と補助画像とのブロックを１つずつ選択するブロッ
ク選択手段，選択されたブロック間の自己相関値を計算
する相関値計算手段，最も自己相関値が大きくなる補助
画像のブロックをその主画像のブロックの対応ブロック
として検出し対応する主画像のブロックと補助画像のブ
ロックとの組み合わせを示す情報を出力する対応検出手
段，および前記対応検出手段が出力する組み合わせを示
す情報を受けて主画像の各画素が対応する補助画像の画
素位置を示す情報と補助画像の各画素が対応する主画像
の画素位置を示す情報とを対応関係として出力する対応
出力手段を含むことを特徴とする。
止する被写体の画像中に動物体が侵入してきたときに該
動物体を認識する動物体認識装置において、主画像を入
力する主画像入力部と、前記主画像の視点の周囲の視点
からの複数の補助画像を入力する補助画像入力部と、前
記主画像と前記複数の補助画像との対応関係を求める対
応検出部と、この対応検出部により求められた対応関係
を記憶する対応記憶部と、この対応記憶部に記憶された
対応関係，前記主画像入力部から随時入力される主画像
および前記補助画像入力部から随時入力される複数の補
助画像に基づいて、主画像の各画素に対して前記対応記
憶部に記憶された対応する補助画像の画素位置を読み出
す画素読み出し手段，対応する主画像と補助画像との画
素位置の特徴量を比較し、特徴量の差があらかじめ設定
された閾値以下の場合に主画像の画素位置に動物体が存
在しないと判定し、特徴量の差が前記閾値よりも大きい
場合に主画像の画素位置に動物体が存在すると判定する
画素判定手段，および前記画素判定手段が出力する、動
物体が存在すると判定された画素位置を示す情報を受け
て領域を決定する領域決定手段を含み、動物体が存在す
る領域を検出する領域検出部と、この領域検出部により
検出された領域内の動物体の形状および距離を求める物
体認識部とを備えることを特徴とする。第４の発明の動
物体認識装置は、第３の発明の動物体認識装置におい
て、前記対応検出部が、前記主画像と前記複数の補助画
像とを矩形のブロックに分割するブロック分割手段，主
画像と補助画像とのブロックを１つずつ選択するブロッ
ク選択手段，選択されたブロック間の自己相関値を計算
する相関値計算手段，最も自己相関値が大きくなる補助
画像のブロックをその主画像のブロックの対応ブロック
として検出し対応する主画像のブロックと補助画像のブ
ロックとの組み合わせを示す情報を出力する対応検出手
段，および前記対応検出手段が出力する組み合わせを示
す情報を受けて主画像の各画素が対応する補助画像の画
素位置を示す情報と補助画像の各画素が対応する主画像
の画素位置を示す情報とを対応関係として出力する対応
出力手段を含むことを特徴とする。
【０００９】さらに、第５の発明の動物体認識装置は、
第１ないし第４の発明の動物体認識装置において、前記
領域検出部により検出された領域外に関して前記対応記
憶部により記憶された対応関係の変化を検出して前記対
応記憶部の記憶内容を更新する対応更新部を備えること
を特徴とする。
第１ないし第４の発明の動物体認識装置において、前記
領域検出部により検出された領域外に関して前記対応記
憶部により記憶された対応関係の変化を検出して前記対
応記憶部の記憶内容を更新する対応更新部を備えること
を特徴とする。
【００１０】
【発明の実施の形態】次に、本発明について図面を参照
して詳細に説明する。
して詳細に説明する。
【００１１】具体的な実施例の説明に入る前に、本発明
の動物体認識装置の原理について、図９ないし図１５を
参照して説明する。
の動物体認識装置の原理について、図９ないし図１５を
参照して説明する。
【００１２】図９は、ステレオ画像と被写体との関係を
上から示した図である。左画像の視点１０から投影面１
２上に被写体１４を投影して左画像を得る。同様に、右
画像の視点１１から投影面１３上に被写体１４を投影し
て右画像を得る。
上から示した図である。左画像の視点１０から投影面１
２上に被写体１４を投影して左画像を得る。同様に、右
画像の視点１１から投影面１３上に被写体１４を投影し
て右画像を得る。
【００１３】図１０に示すように、被写体１４上の位置
１５は、左画像では投影面１２上の位置１６に、右画像
では投影面１３上の位置１７に投影される。このよう
に、左画像上の位置１６と右画像上の位置１７とが被写
体１４の同じ位置１５であることが分かれば、三角測量
の原理により被写体１４上の位置１５までの距離が測定
できる（ステレオ法による被写体表面までの距離の測定
法）。こうした左画像と右画像との被写体１４に対する
対応関係を、あらかじめ求めておく。例えば、左画像の
位置１６と右画像の位置１７とが対応しているといった
対応関係である。
１５は、左画像では投影面１２上の位置１６に、右画像
では投影面１３上の位置１７に投影される。このよう
に、左画像上の位置１６と右画像上の位置１７とが被写
体１４の同じ位置１５であることが分かれば、三角測量
の原理により被写体１４上の位置１５までの距離が測定
できる（ステレオ法による被写体表面までの距離の測定
法）。こうした左画像と右画像との被写体１４に対する
対応関係を、あらかじめ求めておく。例えば、左画像の
位置１６と右画像の位置１７とが対応しているといった
対応関係である。
【００１４】その後、図１１に示すように、新たな物体
１８が移動して来たとする。あらかじめ求めた対応関係
によれば、左画像の位置１６は右画像の位置１７と同じ
であった。しかし、新たな物体１８上の位置１９から得
られる画像と被写体１４の位置１５から得られる画像と
が異なることにより、新たな物体の存在が認識できる。
１８が移動して来たとする。あらかじめ求めた対応関係
によれば、左画像の位置１６は右画像の位置１７と同じ
であった。しかし、新たな物体１８上の位置１９から得
られる画像と被写体１４の位置１５から得られる画像と
が異なることにより、新たな物体の存在が認識できる。
【００１５】そこで、あらかじめ被写体１４に対して求
めておいた対応関係に基づいて、新たに得られた左画像
と右画像との比較を行う。もし照明条件の変化等により
被写体１４の表面の画像が変化したとしても、こうした
変化は左画像と右画像との両方に同様に反映される。従
って、対応関係に基づいて左画像と右画像とを比較し
て、得られる画像が異なっている場合に、新たな物体が
存在する可能性のある領域を検出することができる。こ
の領域を検出する処理は、対応関係に基づいて左画像と
右画像とを比較するだけの処理なので、非常に高速に処
理を実行することができる。
めておいた対応関係に基づいて、新たに得られた左画像
と右画像との比較を行う。もし照明条件の変化等により
被写体１４の表面の画像が変化したとしても、こうした
変化は左画像と右画像との両方に同様に反映される。従
って、対応関係に基づいて左画像と右画像とを比較し
て、得られる画像が異なっている場合に、新たな物体が
存在する可能性のある領域を検出することができる。こ
の領域を検出する処理は、対応関係に基づいて左画像と
右画像とを比較するだけの処理なので、非常に高速に処
理を実行することができる。
【００１６】ただし、図１２に示す通り、対応関係に基
づいて左画像と右画像とが異なる領域は、例えば左画像
で見ると投影面１２上の位置２０から位置２１となり、
実際に物体１８が存在する領域よりも広くなっている。
づいて左画像と右画像とが異なる領域は、例えば左画像
で見ると投影面１２上の位置２０から位置２１となり、
実際に物体１８が存在する領域よりも広くなっている。
【００１７】しかし、図１３に示すように、大きな物体
２２が存在するような場合に、左画像の位置２３と右画
像の位置２４とを比較すると同じ画像となっている場合
も有り得る。こうした場合に起こる誤りを防ぐために、
図１２に示すような物体１８を含む領域を新たな物体１
８の存在する領域として検出し、領域内を詳細に処理す
ることにより実際に新たな物体１８の存在する領域を検
出することができる。
２２が存在するような場合に、左画像の位置２３と右画
像の位置２４とを比較すると同じ画像となっている場合
も有り得る。こうした場合に起こる誤りを防ぐために、
図１２に示すような物体１８を含む領域を新たな物体１
８の存在する領域として検出し、領域内を詳細に処理す
ることにより実際に新たな物体１８の存在する領域を検
出することができる。
【００１８】この領域内での詳細な処理は、一般のステ
レオ法による左画像と右画像との対応関係を求めること
により実行する。しかし、領域が画像全体と比べればは
るかに狭い範囲に限定できる。また、領域を検出する処
理は対応関係に基づいて左画像と右画像とを比較するだ
けの処理なので、非常に高速に処理を実行することがで
きる。従って、領域を検出する処理の増加を考慮して
も、ステレオ法で画像全体を処理するのに比べて、処理
時間が少なくて済み、しかも精度良く処理を行うことが
可能である。
レオ法による左画像と右画像との対応関係を求めること
により実行する。しかし、領域が画像全体と比べればは
るかに狭い範囲に限定できる。また、領域を検出する処
理は対応関係に基づいて左画像と右画像とを比較するだ
けの処理なので、非常に高速に処理を実行することがで
きる。従って、領域を検出する処理の増加を考慮して
も、ステレオ法で画像全体を処理するのに比べて、処理
時間が少なくて済み、しかも精度良く処理を行うことが
可能である。
【００１９】なお、図１４に示すように、入力画像を増
やして、より精度の良い処理を行うことも可能となる。
この場合は、投影面２５の中央画像と投影面１２の左画
像、投影面２５の中央画像と投影面１３の右画像とで同
様の処理を行う。
やして、より精度の良い処理を行うことも可能となる。
この場合は、投影面２５の中央画像と投影面１２の左画
像、投影面２５の中央画像と投影面１３の右画像とで同
様の処理を行う。
【００２０】また、図９において被写体１４そのものが
移動したり、視点１０，１１が移動することも有り得
る。こうした移動が生じた場合には、被写体１４に対す
る対応関係を求め直す必要がある。しかし、もしこうし
た移動が微小な場合には、あらかじめ求めた対応関係の
変化も微小である。そこで、新たな物体が存在するとし
て検出された領域外に対して、あらかじめ求められた対
応関係に基づいで、左画像の位置１６に対応する右画像
の位置１７の周囲で、新たな対応位置を求める。この新
たな対応関係によりあらかじめ求められた対応関係を絶
えず更新することにより、被写体１４や視点１０，１１
の微小な移動による対応関係の変化による影響を防ぐこ
とができる。
移動したり、視点１０，１１が移動することも有り得
る。こうした移動が生じた場合には、被写体１４に対す
る対応関係を求め直す必要がある。しかし、もしこうし
た移動が微小な場合には、あらかじめ求めた対応関係の
変化も微小である。そこで、新たな物体が存在するとし
て検出された領域外に対して、あらかじめ求められた対
応関係に基づいで、左画像の位置１６に対応する右画像
の位置１７の周囲で、新たな対応位置を求める。この新
たな対応関係によりあらかじめ求められた対応関係を絶
えず更新することにより、被写体１４や視点１０，１１
の微小な移動による対応関係の変化による影響を防ぐこ
とができる。
【００２１】
【実施例】図１は、本発明の第１の実施例に係る動物体
認識装置の構成を示すブロック図である。第１の実施例
に係る動物体認識装置は、画像入力部１と、対応検出部
２と、対応記憶部３と、領域検出部４と、物体認識部５
とから構成されている。
認識装置の構成を示すブロック図である。第１の実施例
に係る動物体認識装置は、画像入力部１と、対応検出部
２と、対応記憶部３と、領域検出部４と、物体認識部５
とから構成されている。
【００２２】図２を参照すると、対応検出部２は、ブロ
ック分割手段２０１と、ブロック選択手段２０２と、相
関値計算手段２０３と、対応検出手段２０４と、対応出
力手段２０５とから構成されている。
ック分割手段２０１と、ブロック選択手段２０２と、相
関値計算手段２０３と、対応検出手段２０４と、対応出
力手段２０５とから構成されている。
【００２３】図３を参照すると、対応検出部２の処理
は、左画像／右画像ブロック分割ステップＡ１と、左画
像ブロック選択ステップＡ２と、右画像ブロック選択ス
テップＡ３と、選択ブロック間自己相関値計算ステップ
Ａ４と、右画像ブロック終了判定ステップＡ５と、自己
相関値最大右画像ブロック選択ステップＡ６と、左画像
ブロック終了判定ステップＡ７と、画素毎対応関係出力
ステップＡ８とからなる。
は、左画像／右画像ブロック分割ステップＡ１と、左画
像ブロック選択ステップＡ２と、右画像ブロック選択ス
テップＡ３と、選択ブロック間自己相関値計算ステップ
Ａ４と、右画像ブロック終了判定ステップＡ５と、自己
相関値最大右画像ブロック選択ステップＡ６と、左画像
ブロック終了判定ステップＡ７と、画素毎対応関係出力
ステップＡ８とからなる。
【００２４】図４を参照すると、領域検出部４は、画素
読み出し手段４０１と、画素判定手段４０２と、閾値設
定手段４０３と、領域決定手段４０４とから構成されて
いる。
読み出し手段４０１と、画素判定手段４０２と、閾値設
定手段４０３と、領域決定手段４０４とから構成されて
いる。
【００２５】図５を参照すると、領域検出部４の処理
は、左画像画素選択ステップＢ１と、対応右画像画素位
置読み出しステップＢ２と、画素値比較ステップＢ３
と、画素値差／閾値比較ステップＢ４と、動物体不存在
画素位置判定ステップＢ５と、動物体存在画素位置判定
ステップＢ６と、左画像画素終了判定ステップＢ７とか
らなる。
は、左画像画素選択ステップＢ１と、対応右画像画素位
置読み出しステップＢ２と、画素値比較ステップＢ３
と、画素値差／閾値比較ステップＢ４と、動物体不存在
画素位置判定ステップＢ５と、動物体存在画素位置判定
ステップＢ６と、左画像画素終了判定ステップＢ７とか
らなる。
【００２６】図６は、対応記憶部３に記憶される対応関
係の内容を示す説明図である。図６に示すように、左画
像の画素２７と右画像の画素２８とが対応しているとす
る。ここで、画素２７の画素位置を（ｉ，ｊ）、画素２
８の画素位置を（ｐ，ｑ）とする。この場合、対応記憶
部３は、左画像の画素２７の対応関係として（ｐ，ｑ）
を記憶する。また、右画像の画素２８の対応関係として
（ｉ，ｊ）を記憶する。このように、左画像と右画像と
の全ての画素の対応関係を記憶する。
係の内容を示す説明図である。図６に示すように、左画
像の画素２７と右画像の画素２８とが対応しているとす
る。ここで、画素２７の画素位置を（ｉ，ｊ）、画素２
８の画素位置を（ｐ，ｑ）とする。この場合、対応記憶
部３は、左画像の画素２７の対応関係として（ｐ，ｑ）
を記憶する。また、右画像の画素２８の対応関係として
（ｉ，ｊ）を記憶する。このように、左画像と右画像と
の全ての画素の対応関係を記憶する。
【００２７】次に、このように構成された第１の実施例
に係る動物体認識装置の動作について説明する。
に係る動物体認識装置の動作について説明する。
【００２８】画像入力部１は、ステレオカメラ等のステ
レオ画像入力装置から、ステレオ画像を構成する左画像
と右画像とのアナログ輝度信号を受けて画素としてディ
ジタル化し、それぞれ複数の画素からなる左画像と右画
像とを出力する。説明を簡単にするために、ここで入力
されるステレオ画像は、図９に示すように被写体１４の
ステレオ画像とするが、一般性を損なうものではない。
レオ画像入力装置から、ステレオ画像を構成する左画像
と右画像とのアナログ輝度信号を受けて画素としてディ
ジタル化し、それぞれ複数の画素からなる左画像と右画
像とを出力する。説明を簡単にするために、ここで入力
されるステレオ画像は、図９に示すように被写体１４の
ステレオ画像とするが、一般性を損なうものではない。
【００２９】次に、対応検出部２は、左画像と右画像と
の対応関係を検出する。この対応関係とは、例えば、図
１０に示すように、被写体１４の位置１５が左画像の投
影面１２の位置１６と右画像の投影面１３の位置１７と
にそれぞれ投影されている場合には、左画像の投影面１
２の位置１６と右画像の投影面１３の位置１７とが対応
するということになる。
の対応関係を検出する。この対応関係とは、例えば、図
１０に示すように、被写体１４の位置１５が左画像の投
影面１２の位置１６と右画像の投影面１３の位置１７と
にそれぞれ投影されている場合には、左画像の投影面１
２の位置１６と右画像の投影面１３の位置１７とが対応
するということになる。
【００３０】詳しくは、図２および図３に示すように、
まず、ブロック分割手段２０１は、左画像と右画像と
を、例えばｍ×ｎ（ｍ，ｎともに正整数）画素からなる
矩形のブロックに分割する（ステップＡ１）。
まず、ブロック分割手段２０１は、左画像と右画像と
を、例えばｍ×ｎ（ｍ，ｎともに正整数）画素からなる
矩形のブロックに分割する（ステップＡ１）。
【００３１】次に、ブロック選択手段２０２は、左画像
と右画像とのブロックを１つずつ選択する（ステップＡ
２，Ａ３）。
と右画像とのブロックを１つずつ選択する（ステップＡ
２，Ａ３）。
【００３２】続いて、相関値計算手段２０３は、選択さ
れたブロック間の自己相関値を計算する（ステップＡ
４）。ここで、左画像と右画像とのブロック内の画素の
輝度をそれぞれＬ（ｉ，ｊ），Ｒ（ｉ，ｊ）（ｉ＝１，
２，…，ｍ；ｊ＝１，２，…，ｎ）とし、それぞれの輝
度の平均をμL ，μR 、分散をσL ，σR として、数１
のような自己相関値ｃを計算する。
れたブロック間の自己相関値を計算する（ステップＡ
４）。ここで、左画像と右画像とのブロック内の画素の
輝度をそれぞれＬ（ｉ，ｊ），Ｒ（ｉ，ｊ）（ｉ＝１，
２，…，ｍ；ｊ＝１，２，…，ｎ）とし、それぞれの輝
度の平均をμL ，μR 、分散をσL ，σR として、数１
のような自己相関値ｃを計算する。
【００３３】
【数１】
【００３４】１つの左画像のブロックに対して全ての右
画像のブロックとの自己相関値ｃを計算したならば（ス
テップＡ５）、対応検出手段２０４は、最も自己相関値
ｃが大きくなる右画像のブロックをその左画像のブロッ
クの対応ブロックとして検出し、対応する左画像のブロ
ックと右画像のブロックとの組み合わせを示す情報を出
力する（ステップＡ６）。
画像のブロックとの自己相関値ｃを計算したならば（ス
テップＡ５）、対応検出手段２０４は、最も自己相関値
ｃが大きくなる右画像のブロックをその左画像のブロッ
クの対応ブロックとして検出し、対応する左画像のブロ
ックと右画像のブロックとの組み合わせを示す情報を出
力する（ステップＡ６）。
【００３５】以上の処理を全ての左画像のブロックに対
して行った後に（ステップＡ７）、対応出力手段２０５
は、対応検出手段２０４が出力する組み合わせを示す情
報を受けて、左画像の各画素が対応する右画像の画素位
置を示す情報と、右画像の各画素が対応する左画像の画
素位置を示す情報とを、対応関係として出力する（ステ
ップＡ８）。ただし、ブロック内の各画素は、同一位置
の画素同士が対応するとして、画素位置を求める。
して行った後に（ステップＡ７）、対応出力手段２０５
は、対応検出手段２０４が出力する組み合わせを示す情
報を受けて、左画像の各画素が対応する右画像の画素位
置を示す情報と、右画像の各画素が対応する左画像の画
素位置を示す情報とを、対応関係として出力する（ステ
ップＡ８）。ただし、ブロック内の各画素は、同一位置
の画素同士が対応するとして、画素位置を求める。
【００３６】対応記憶部３は、対応検出部２で検出され
た左画像の各画素が対応する右画像の画素位置を示す情
報と、右画像の各画素が対応する左画像の画素位置を示
す情報とを、対応関係として記憶する。
た左画像の各画素が対応する右画像の画素位置を示す情
報と、右画像の各画素が対応する左画像の画素位置を示
す情報とを、対応関係として記憶する。
【００３７】次に、画像入力部１は、ステレオ画像の入
力を継続し、領域検出部４は、このステレオ画像の動物
体が存在する領域の検出を行う。図１０に示すように、
被写体１４しか存在しない場合には、左画像と右画像と
の対応関係は、対応記憶部３に記憶された対応関係と変
化していない。そこで、領域検出部４は、対応記憶部３
に記憶された対応関係に従って左画像と右画像とを比較
し、同じ場合には動物体が存在する領域としては検出し
ない。
力を継続し、領域検出部４は、このステレオ画像の動物
体が存在する領域の検出を行う。図１０に示すように、
被写体１４しか存在しない場合には、左画像と右画像と
の対応関係は、対応記憶部３に記憶された対応関係と変
化していない。そこで、領域検出部４は、対応記憶部３
に記憶された対応関係に従って左画像と右画像とを比較
し、同じ場合には動物体が存在する領域としては検出し
ない。
【００３８】図１１に示すように、被写体１４とは異な
る物体１８が存在する場合には、左画像の投影面１２の
位置１６と右画像の投影面１３の位置１７とは異なる画
像となる。そこで、領域検出部４は、対応記憶部３に記
憶された対応関係に従って左画像と右画像とを比較し、
異なる場合の位置を動物体が存在する領域として検出す
る。ただし、図１１に示すように、左画像の投影面１２
の位置１６は、対応する右画像の投影面１３の位置１７
とは異なる画像となっているが、物体１８の画像とはな
っていない。このように、検出される領域が物体１８そ
のものの画像上の領域と一致する訳ではない。
る物体１８が存在する場合には、左画像の投影面１２の
位置１６と右画像の投影面１３の位置１７とは異なる画
像となる。そこで、領域検出部４は、対応記憶部３に記
憶された対応関係に従って左画像と右画像とを比較し、
異なる場合の位置を動物体が存在する領域として検出す
る。ただし、図１１に示すように、左画像の投影面１２
の位置１６は、対応する右画像の投影面１３の位置１７
とは異なる画像となっているが、物体１８の画像とはな
っていない。このように、検出される領域が物体１８そ
のものの画像上の領域と一致する訳ではない。
【００３９】詳しくは、図４および図５に示すように、
まず、画素読み出し手段４０１は、左画像の各画素に対
して（ステップＢ１）、対応記憶部３に記憶された対応
する右画像の画素位置を読み出す（ステップＢ２）。そ
して、画素判定手段４０２は、対応する左画像と右画像
との画素位置の輝度を比較し（ステップＢ３）、同じで
あるか否かの判定を行う。ここで、ノイズ等の影響を考
慮して閾値設定手段４０３にあらかじめ閾値を設定して
おき、輝度の差が閾値以下の場合に（ステップＢ４）、
この左画像の画素位置に動物体が存在しないと判定し
（ステップＢ５）、輝度の差が閾値よりも大きい場合に
（ステップＢ４）、この左画像の画素位置に動物体が存
在すると判定する（ステップＢ６）。なお、左画像と右
画像とが同じであるか否かの判定には、画像の輝度を比
較する他に、色差や色相などの値を使うこともできる。
こうした判定処理を、画素判定手段４０２は、左画像の
全ての画素に対して行い（ステップＢ７）、動物体が存
在すると判定された画素位置を示す情報を出力する。ま
た、同様の処理を右画像に対しても行う。
まず、画素読み出し手段４０１は、左画像の各画素に対
して（ステップＢ１）、対応記憶部３に記憶された対応
する右画像の画素位置を読み出す（ステップＢ２）。そ
して、画素判定手段４０２は、対応する左画像と右画像
との画素位置の輝度を比較し（ステップＢ３）、同じで
あるか否かの判定を行う。ここで、ノイズ等の影響を考
慮して閾値設定手段４０３にあらかじめ閾値を設定して
おき、輝度の差が閾値以下の場合に（ステップＢ４）、
この左画像の画素位置に動物体が存在しないと判定し
（ステップＢ５）、輝度の差が閾値よりも大きい場合に
（ステップＢ４）、この左画像の画素位置に動物体が存
在すると判定する（ステップＢ６）。なお、左画像と右
画像とが同じであるか否かの判定には、画像の輝度を比
較する他に、色差や色相などの値を使うこともできる。
こうした判定処理を、画素判定手段４０２は、左画像の
全ての画素に対して行い（ステップＢ７）、動物体が存
在すると判定された画素位置を示す情報を出力する。ま
た、同様の処理を右画像に対しても行う。
【００４０】図１５は、領域検出部４で検出される領域
を示す説明図である。図１５に示すように、領域検出部
４は、投影面１２に投影される左画像の斜線で示される
ような領域２６を動物体が存在する領域として検出す
る。ただし、図１３に示すように、被写体１４の位置１
５に対する対応関係に従って比較した際に、物体２２が
単色であるような場合に、左画像の投影面１２の位置２
３と右画像の投影面１３の位置２４とが同じ画像となっ
てしまうようなこともあるので、領域２６’のように動
物体が存在する領域として検出されない領域が発生す
る。こういった領域２６’は、斜線で示される領域２６
の内部に発生するので、領域検出部４は、斜線で示され
る領域２６の内部の領域２６’も含めて、動物体が存在
する領域として検出し、領域内のステレオ画像を出力す
る。
を示す説明図である。図１５に示すように、領域検出部
４は、投影面１２に投影される左画像の斜線で示される
ような領域２６を動物体が存在する領域として検出す
る。ただし、図１３に示すように、被写体１４の位置１
５に対する対応関係に従って比較した際に、物体２２が
単色であるような場合に、左画像の投影面１２の位置２
３と右画像の投影面１３の位置２４とが同じ画像となっ
てしまうようなこともあるので、領域２６’のように動
物体が存在する領域として検出されない領域が発生す
る。こういった領域２６’は、斜線で示される領域２６
の内部に発生するので、領域検出部４は、斜線で示され
る領域２６の内部の領域２６’も含めて、動物体が存在
する領域として検出し、領域内のステレオ画像を出力す
る。
【００４１】そのために、領域決定手段４０４は、画素
判定手段４０２が出力する、動物体が存在すると判定さ
れた画素位置を示す情報を受けて、図１５に示されるよ
うな領域２６’を検出し、この領域２６’の画素位置も
動物体が存在する画素位置に変更する。この領域２６’
を検出するためには、動物体が存在しない画素位置の周
囲の画素位置を探索し、周囲に動物体が存在する画素が
存在する場合には、領域２６’に相当する画素位置と判
定できる。
判定手段４０２が出力する、動物体が存在すると判定さ
れた画素位置を示す情報を受けて、図１５に示されるよ
うな領域２６’を検出し、この領域２６’の画素位置も
動物体が存在する画素位置に変更する。この領域２６’
を検出するためには、動物体が存在しない画素位置の周
囲の画素位置を探索し、周囲に動物体が存在する画素が
存在する場合には、領域２６’に相当する画素位置と判
定できる。
【００４２】最後に、物体認識部５は、領域検出部４が
出力する動物体が存在する領域内のステレオ画像に対し
て、対応検出部２と同様の処理を行って左画像と右画像
との対応を求める。そして、三角測量の原理に基づいて
動物体までの距離を求める。この動物体までの距離が求
められれば、その距離の変化により動物体の形状も求め
られる。
出力する動物体が存在する領域内のステレオ画像に対し
て、対応検出部２と同様の処理を行って左画像と右画像
との対応を求める。そして、三角測量の原理に基づいて
動物体までの距離を求める。この動物体までの距離が求
められれば、その距離の変化により動物体の形状も求め
られる。
【００４３】このように、物体認識部５は、動物体が存
在する領域内のステレオ画像のみを詳細に解析するの
で、ステレオ画像全体を解析するのに比べて、はるかに
高速に処理を実行することができる。また、領域検出部
４での処理は、対応関係に従って左画像と右画像との輝
度を比較するだけなので、非常に高速な処理が可能であ
る。従って、本発明の動物体認識装置全体での処理を、
はるかに高速に実行することができる。特に、時系列に
従って順次入力される動画像を処理する場合に、この高
速化による効果は大きい。
在する領域内のステレオ画像のみを詳細に解析するの
で、ステレオ画像全体を解析するのに比べて、はるかに
高速に処理を実行することができる。また、領域検出部
４での処理は、対応関係に従って左画像と右画像との輝
度を比較するだけなので、非常に高速な処理が可能であ
る。従って、本発明の動物体認識装置全体での処理を、
はるかに高速に実行することができる。特に、時系列に
従って順次入力される動画像を処理する場合に、この高
速化による効果は大きい。
【００４４】また、対応記憶部３は、被写体１４に関す
る左画像と右画像との対応関係を記憶しているので、も
し照明条件が変化したり他の物体の影が被写体１４に落
ちた場合でも、対応関係には影響しない。従って、この
ような場合でも誤って動物体を検出してしまうことは無
い。
る左画像と右画像との対応関係を記憶しているので、も
し照明条件が変化したり他の物体の影が被写体１４に落
ちた場合でも、対応関係には影響しない。従って、この
ような場合でも誤って動物体を検出してしまうことは無
い。
【００４５】なお、物体認識部５での処理においては、
動物体が存在する領域内のステレオ画像の解析の際に、
左画像と右画像との対応関係を検出する。この検出処理
を、対応検出部２が実行するように構成することもでき
る。
動物体が存在する領域内のステレオ画像の解析の際に、
左画像と右画像との対応関係を検出する。この検出処理
を、対応検出部２が実行するように構成することもでき
る。
【００４６】また、対応関係に従って左画像と右画像と
を比較する際に、画素単位で比較するだけでなく、正方
形などの形状の小領域を比較することも可能である。こ
のように小領域同士を比較することにより、動物体が存
在する領域をより正しく検出することができる。
を比較する際に、画素単位で比較するだけでなく、正方
形などの形状の小領域を比較することも可能である。こ
のように小領域同士を比較することにより、動物体が存
在する領域をより正しく検出することができる。
【００４７】図７は、本発明の第２の実施例に係る動物
体認識装置の構成を示すブロック図である。第２の実施
例に係る動物体認識装置は、図１に示した第１の実施例
に係る動物体認識装置における画像入力部１を、主画像
を入力する主画像入力部１’と、主画像の視点の周囲の
２つの視点からの補助画像を入力する補助画像入力部６
とに分けるようにしたものである。
体認識装置の構成を示すブロック図である。第２の実施
例に係る動物体認識装置は、図１に示した第１の実施例
に係る動物体認識装置における画像入力部１を、主画像
を入力する主画像入力部１’と、主画像の視点の周囲の
２つの視点からの補助画像を入力する補助画像入力部６
とに分けるようにしたものである。
【００４８】次に、このように構成された第２の実施例
に係る動物体認識装置の動作について、第１の実施例に
係る動物体認識装置と異なる点を中心に説明する。
に係る動物体認識装置の動作について、第１の実施例に
係る動物体認識装置と異なる点を中心に説明する。
【００４９】主画像入力部１’は、主画像を入力する。
また、補助画像入力部６は、主画像の左右に配置された
左画像および右画像を入力する。
また、補助画像入力部６は、主画像の左右に配置された
左画像および右画像を入力する。
【００５０】次に、対応検出部２，対応記憶部３，領域
検出部４および物体認識部５は、主画像と左画像および
主画像と右画像の組合せに対して、第１の実施例に係る
動物体認識装置と同様の処理を行い、動物体の形状およ
び動物体までの距離を求める。そして、物体認識部５
は、主画像の動物体が存在する領域内の各画素に対し
て、主画像および左画像の組み合わせで得られた動物体
までの距離と、主画像および右画像の組み合わせで得ら
れた動物体までの距離とを平均して、最終的な認識結果
として出力する。
検出部４および物体認識部５は、主画像と左画像および
主画像と右画像の組合せに対して、第１の実施例に係る
動物体認識装置と同様の処理を行い、動物体の形状およ
び動物体までの距離を求める。そして、物体認識部５
は、主画像の動物体が存在する領域内の各画素に対し
て、主画像および左画像の組み合わせで得られた動物体
までの距離と、主画像および右画像の組み合わせで得ら
れた動物体までの距離とを平均して、最終的な認識結果
として出力する。
【００５１】第２の実施例では、左画像および右画像を
補助画像入力部６から入力するものとして説明したが、
補助画像の配置は任意であり、また３つ以上の補助画像
を使用することも可能である。補助画像の数を増やすこ
とにより処理量は増加するが、認識結果の正確さを向上
させることができる。
補助画像入力部６から入力するものとして説明したが、
補助画像の配置は任意であり、また３つ以上の補助画像
を使用することも可能である。補助画像の数を増やすこ
とにより処理量は増加するが、認識結果の正確さを向上
させることができる。
【００５２】図８は、本発明の第３の実施例に係る動物
体認識装置の構成を示すブロック図である。第３の実施
例に係る動物体認識装置は、図１に示した第１の実施例
に係る動物体認識装置に対して、領域検出部４により検
出された領域外に関して対応記憶部３に記憶された対応
関係の変化を検出して対応記憶部３の記憶内容を更新す
る対応更新部７を追加するようにしたものである。
体認識装置の構成を示すブロック図である。第３の実施
例に係る動物体認識装置は、図１に示した第１の実施例
に係る動物体認識装置に対して、領域検出部４により検
出された領域外に関して対応記憶部３に記憶された対応
関係の変化を検出して対応記憶部３の記憶内容を更新す
る対応更新部７を追加するようにしたものである。
【００５３】次に、このように構成された第３の実施例
に係る動物体認識装置の動作について、第１の実施例に
係る動物体認識装置と異なる点を中心に説明する。
に係る動物体認識装置の動作について、第１の実施例に
係る動物体認識装置と異なる点を中心に説明する。
【００５４】対応更新部７は、領域検出部４が出力する
動物体が存在する領域を示す情報と、対応記憶部３に記
憶している対応関係とを受ける。
動物体が存在する領域を示す情報と、対応記憶部３に記
憶している対応関係とを受ける。
【００５５】ここで、動物体が存在する領域以外の領域
は、被写体１４のステレオ画像である。従って、この領
域の対応関係は対応記憶部３に記憶されている。しか
し、被写体１４とステレオ画像入力装置との相対位置の
微小な変動や、被写体１４そのものの微小な変形等によ
り、対応関係が変化する可能性がある。
は、被写体１４のステレオ画像である。従って、この領
域の対応関係は対応記憶部３に記憶されている。しか
し、被写体１４とステレオ画像入力装置との相対位置の
微小な変動や、被写体１４そのものの微小な変形等によ
り、対応関係が変化する可能性がある。
【００５６】そこで、対応更新部７は、動物体が存在す
る領域以外の領域の対応関係を新たに求める。この処理
は、対応検出部２での処理とほぼ同一であるが、動物体
が存在する領域に含まれる画素に対しては対応関係を求
めない点が異なっている。
る領域以外の領域の対応関係を新たに求める。この処理
は、対応検出部２での処理とほぼ同一であるが、動物体
が存在する領域に含まれる画素に対しては対応関係を求
めない点が異なっている。
【００５７】また、対応検出部２では、図３に示す通
り、左画像の１つのブロックに対して右画像の全てのブ
ロックとの自己相関値を求めるのに対して、対応更新部
７は、右画像の一部のブロックとの自己相関値を求める
点も異なっている。
り、左画像の１つのブロックに対して右画像の全てのブ
ロックとの自己相関値を求めるのに対して、対応更新部
７は、右画像の一部のブロックとの自己相関値を求める
点も異なっている。
【００５８】すなわち、動物体が存在する領域以外の領
域では、対応記憶部３に記憶している対応関係はほとん
ど変化していない。そこで、対応更新部７にあらかじめ
探索範囲の大きさを設定しておく。図６に示すように、
左画像の画素２７と右画像の画素２８とが対応している
とする。この場合、左画像の画素２７を含むブロックと
右画像のブロックとの自己相関値を求めるにあたり、あ
らかじめ設定された探索範囲の大きさで示される画素２
８の周辺の探索領域２９内に含まれるブロックのみを処
理対象とする。これにより、右画像の全てのブロックと
自己相関値とを求めるのに比べて、はるかに処理量が少
なくてすむ。
域では、対応記憶部３に記憶している対応関係はほとん
ど変化していない。そこで、対応更新部７にあらかじめ
探索範囲の大きさを設定しておく。図６に示すように、
左画像の画素２７と右画像の画素２８とが対応している
とする。この場合、左画像の画素２７を含むブロックと
右画像のブロックとの自己相関値を求めるにあたり、あ
らかじめ設定された探索範囲の大きさで示される画素２
８の周辺の探索領域２９内に含まれるブロックのみを処
理対象とする。これにより、右画像の全てのブロックと
自己相関値とを求めるのに比べて、はるかに処理量が少
なくてすむ。
【００５９】最後に、対応更新部７は、新たに求めた対
応関係を対応記憶部３に記憶させる。これにより、被写
体１４とステレオ画像入力装置との相対位置の微小な変
動や、被写体１４そのものの微小な変形等が生じた場合
でも、常に対応記憶部３に記憶する対応関係を、最新の
対応関係に更新することができる。
応関係を対応記憶部３に記憶させる。これにより、被写
体１４とステレオ画像入力装置との相対位置の微小な変
動や、被写体１４そのものの微小な変形等が生じた場合
でも、常に対応記憶部３に記憶する対応関係を、最新の
対応関係に更新することができる。
【００６０】なお、変動や変形が微小でない場合には、
領域検出部４が動物体が存在する領域として検出する。
従って、被写体１４に係わる大きな変化が生じた場合で
も誤動作することはない。
領域検出部４が動物体が存在する領域として検出する。
従って、被写体１４に係わる大きな変化が生じた場合で
も誤動作することはない。
【００６１】
【発明の効果】以上述べたように、本発明の動物体認識
装置は、左画像および右画像からなるステレオ画像を入
力する画像入力部と、画像入力部により入力されたステ
レオ画像の左画像と右画像との対応関係を求める対応検
出部と、対応検出部により求められた対応関係を記憶す
る対応記憶部と、対応記憶部に記憶された対応関係およ
び画像入力部から随時入力されるステレオ画像に基づい
て動物体が存在する領域を検出する領域検出部と、領域
検出部により検出された領域内の動物体の形状および距
離を求める物体認識部とを備えることにより、高精度か
つ高速に動物体を検出し、その形状や距離を測定するこ
とができるという効果がある。
装置は、左画像および右画像からなるステレオ画像を入
力する画像入力部と、画像入力部により入力されたステ
レオ画像の左画像と右画像との対応関係を求める対応検
出部と、対応検出部により求められた対応関係を記憶す
る対応記憶部と、対応記憶部に記憶された対応関係およ
び画像入力部から随時入力されるステレオ画像に基づい
て動物体が存在する領域を検出する領域検出部と、領域
検出部により検出された領域内の動物体の形状および距
離を求める物体認識部とを備えることにより、高精度か
つ高速に動物体を検出し、その形状や距離を測定するこ
とができるという効果がある。
【００６２】また、本発明の動物体認識装置は、主画像
を入力する主画像入力部と、主画像の視点の周囲の視点
からの複数の補助画像を入力する補助画像入力部と、主
画像と複数の補助画像との対応関係を求める対応検出部
と、対応検出部により求められた対応関係を記憶する対
応記憶部と、対応記憶部に記憶された対応関係，主画像
入力部から随時入力される主画像および補助画像入力部
から随時入力される複数の補助画像に基づいて動物体が
存在する領域を検出する領域検出部と、領域検出部によ
り検出された領域内の動物体の形状および距離を求める
物体認識部とを備えることにより、高精度かつ高速に動
物体を検出し、その形状や距離を測定することができる
という効果がある。
を入力する主画像入力部と、主画像の視点の周囲の視点
からの複数の補助画像を入力する補助画像入力部と、主
画像と複数の補助画像との対応関係を求める対応検出部
と、対応検出部により求められた対応関係を記憶する対
応記憶部と、対応記憶部に記憶された対応関係，主画像
入力部から随時入力される主画像および補助画像入力部
から随時入力される複数の補助画像に基づいて動物体が
存在する領域を検出する領域検出部と、領域検出部によ
り検出された領域内の動物体の形状および距離を求める
物体認識部とを備えることにより、高精度かつ高速に動
物体を検出し、その形状や距離を測定することができる
という効果がある。
【００６３】さらに、本発明の動物体認識装置は、領域
検出部により検出された領域外に関して対応記憶部に記
憶された対応関係の変化を検出して対応記憶部の記憶内
容を更新する対応更新部を備えることにより、高精度か
つ高速に動物体を検出し、その形状や距離を測定するこ
とができるという効果がある。
検出部により検出された領域外に関して対応記憶部に記
憶された対応関係の変化を検出して対応記憶部の記憶内
容を更新する対応更新部を備えることにより、高精度か
つ高速に動物体を検出し、その形状や距離を測定するこ
とができるという効果がある。
【図１】本発明の第１の実施例に係る動物体認識装置の
構成を示すブロック図である。
構成を示すブロック図である。
【図２】図１中の対応検出部の構成を示すブロック図で
ある。
ある。
【図３】図１中の対応検出部の処理を示すフローチャー
トである。
トである。
【図４】図１中の領域検出部の構成を示すブロック図で
ある。
ある。
【図５】図１中の領域検出部の処理を示すフローチャー
トである。
トである。
【図６】図１中の対応記憶部に記憶される対応関係につ
いて説明する図である。
いて説明する図である。
【図７】本発明の第２の実施例に係る動物体認識装置の
構成を示すブロック図である。
構成を示すブロック図である。
【図８】本発明の第３の実施例に係る動物体認識装置の
構成を示すブロック図である。
構成を示すブロック図である。
【図９】ステレオ画像と被写体との関係を上から示した
図である。
図である。
【図１０】ステレオ法による被写体表面までの距離の測
定方法を説明する図である。
定方法を説明する図である。
【図１１】新たな物体が移動してきた場合の説明図であ
る。
る。
【図１２】左画像と右画像とが異なる領域が実際に物体
が存在する領域より広くなることを説明する図である。
が存在する領域より広くなることを説明する図である。
【図１３】大きな物体が存在する場合を説明する図であ
る。
る。
【図１４】入力画像を増やしてより精度の良い処理を行
う場合の説明図である。
う場合の説明図である。
【図１５】図１中の領域検出部で検出される領域を説明
する図である。
する図である。
１ 画像入力部 １’ 主画像入力部 ２ 対応検出部 ３ 対応記憶部 ４ 領域検出部 ５ 物体認識部 ６ 補助画像入力部 ７ 対応更新部 １０，１１ 視点 １２，１３，２５ 投影面 １４ 被写体 １５〜１７，１９〜２１，２３，２４ 位置 １８，２２ 物体 ２６，２６’ 領域 ２７，２８ 画素 ２９ 探索領域 ２０１ ブロック分割手段 ２０２ ブロック選択手段 ２０３ 相関値計算手段 ２０４ 対応検出手段 ２０５ 対応出力手段 ４０１ 画素読み出し手段 ４０２ 画素判定手段 ４０３ 閾値設定手段 ４０４ 領域決定手段
フロントページの続き (56)参考文献 特開 平６−137866（ＪＰ，Ａ) 特開 平６−331351（ＪＰ，Ａ) 特開 平５−312568（ＪＰ，Ａ) 特開 昭59−182688（ＪＰ，Ａ) 特開 平７−225126（ＪＰ，Ａ) 特開 平３−81878（ＪＰ，Ａ) 特開 平５−303624（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/18
Claims (5)
- 【請求項１】静止する被写体の画像中に動物体が侵入し
てきたときに該動物体を認識する動物体認識装置におい
て、 左画像および右画像からなるステレオ画像を入力する画
像入力部と、 この画像入力部により入力されたステレオ画像の左画像
と右画像との対応関係を求める対応検出部と、 この対応検出部により求められた対応関係を記憶する対
応記憶部と、 この対応記憶部に記憶された対応関係および前記画像入
力部から随時入力されるステレオ画像に基づいて、左画
像の各画素に対して前記対応記憶部に記憶された対応す
る右画像の画素位置を読み出す画素読み出し手段，対応
する左画像と右画像との画素位置の特徴量を比較し、特
徴量の差があらかじめ設定された閾値以下の場合に左画
像の画素位置に動物体が存在しないと判定し、特徴量の
差が前記閾値よりも大きい場合に左画像の画素位置に動
物体が存在すると判定する画素判定手段，および前記画
素判定手段が出力する、動物体が存在すると判定された
画素位置を示す情報を受けて領域を決定する領域決定手
段を含み、動物体が存在する領域を検出する領域検出部
と、 この領域検出部により検出された領域内の動物体の形状
および距離を求める物体認識部とを備えることを特徴と
する動物体認識装置。 - 【請求項２】前記対応検出部が、前記画像入力部により
入力されたステレオ画像の左画像と右画像とを矩形のブ
ロックに分割するブロック分割手段，左画像と右画像と
のブロックを１つずつ選択するブロック選択手段，選択
されたブロック間の自己相関値を計算する相関値計算手
段，最も自己相関値が大きくなる右画像のブロックをそ
の左画像のブロックの対応ブロックとして検出し対応す
る左画像のブロックと右画像のブロックとの組み合わせ
を示す情報を出力する対応検出手段，および前記対応検
出手段が出力する組み合わせを示す情報を受けて左画像
の各画素が対応する右画像の画素位置を示す情報と右画
像の各画素が対応する左画像の画素位置を示す情報とを
対応関係として出力する対応出力手段を含む請求項１記
載の動物体認識装置。 - 【請求項３】静止する被写体の画像中に動物体が侵入し
てきたときに該動物体を認識する動物体認識装置におい
て、 主画像を入力する主画像入力部と、 前記主画像の視点の周囲の視点からの複数の補助画像を
入力する補助画像入力部と、 前記主画像と前記複数の補助画像との対応関係を求める
対応検出部と、 この対応検出部により求められた対応関係を記憶する対
応記憶部と、 この対応記憶部に記憶された対応関係，前記主画像入力
部から随時入力される主画像および前記補助画像入力部
から随時入力される複数の補助画像に基づいて、主画像
の各画素に対して前記対応記憶部に記憶された対応する
補助画像の画素位置を読み出す画素読み出し手段，対応
する主画像と補助画像との画素位置の特徴量を比較し、
特徴量の差があらかじめ設定された閾値以下の場合に主
画像の画素位置に動物体が存在しないと判定し、特徴量
の差が前記閾値よりも大きい場合に主画像の画素位置に
動物体が存在すると判定する画素判定手段，および前記
画素判定手段が出力する、動物体が存在すると判定され
た画素位置を示す情報を受けて領域を決定する領域決定
手段を含み、動物体が存在する領域を検出する領域検出
部と、 この領域検出部により検出された領域内の動物体の形状
および距離を求める物体認識部とを備えることを特徴と
する動物体認識装置。 - 【請求項４】前記対応検出部が、前記主画像と前記複数
の補助画像とを矩形のブロックに分割するブロック分割
手段，主画像と補助画像とのブロックを１つずつ選択す
るブロック選択手段，選択されたブロック間の自己相関
値を計算する相関値計算手段，最も自己相関値が大きく
なる補助画像のブロックをその主画像のブロックの対応
ブロックとして検出し対応する主画像のブロックと補助
画像のブロックとの組み合わせを示す情報を出力する対
応検出手段，および前記対応検出手段が出力する組み合
わせを示す情報を受けて主画像の各画素が対応する補助
画像の画素位置を示す情報と補助画像の各画素が対応す
る主画像の画素位置を示す情報とを対応関係として出力
する対応出力手段を含む請求項３記載の動物体認識装
置。 - 【請求項５】前記領域検出部により検出された領域外に
関して前記対応記憶部に記憶された対応関係の変化を検
出して前記対応記憶部の記憶内容を更新する対応更新部
を備える請求項１，２，３または４記載の動物体認識装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8104293A JP3050283B2 (ja) | 1996-03-29 | 1996-03-29 | 動物体認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8104293A JP3050283B2 (ja) | 1996-03-29 | 1996-03-29 | 動物体認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09271014A JPH09271014A (ja) | 1997-10-14 |
| JP3050283B2 true JP3050283B2 (ja) | 2000-06-12 |
Family
ID=14376893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8104293A Expired - Fee Related JP3050283B2 (ja) | 1996-03-29 | 1996-03-29 | 動物体認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3050283B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3862977B2 (ja) * | 2001-08-06 | 2006-12-27 | 住友大阪セメント株式会社 | ステレオ画像を用いた監視システム |
| JP5013319B2 (ja) * | 2007-09-28 | 2012-08-29 | サクサ株式会社 | ステレオ画像処理装置及び同画像処理用プログラム |
-
1996
- 1996-03-29 JP JP8104293A patent/JP3050283B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09271014A (ja) | 1997-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4963964B2 (ja) | 物体検出装置 | |
| US20050008220A1 (en) | Method, apparatus, and program for processing stereo image | |
| JPH06124344A (ja) | 標識認識のための突極部輪郭等級付け抽出装置並びに方法 | |
| JP2001324305A (ja) | 画像対応位置検出装置および該装置を備える測距装置 | |
| US20180150969A1 (en) | Information processing device, measuring apparatus, system, calculating method, storage medium, and article manufacturing method | |
| US20090207260A1 (en) | Image pickup apparatus and image pickup method | |
| US10762372B2 (en) | Image processing apparatus and control method therefor | |
| JP2006090896A (ja) | ステレオ画像処理装置 | |
| CN110598795A (zh) | 图像差异检测方法及装置、存储介质、终端 | |
| JP2001351193A (ja) | 歩行者検知装置 | |
| US10643338B2 (en) | Object detection device and object detection method | |
| JP2001126065A (ja) | 距離分布検知装置 | |
| KR20110014960A (ko) | 화상처리장치 및 화상처리방법 | |
| JP2000121319A (ja) | 画像処理装置および画像処理方法、並びに提供媒体 | |
| CN107392948B (zh) | 一种分振幅实时偏振成像系统的图像配准方法 | |
| JP3936313B2 (ja) | 画像認識装置 | |
| JP3050283B2 (ja) | 動物体認識装置 | |
| US20170064286A1 (en) | Parallax detection device | |
| RU2446471C1 (ru) | Способ обнаружения движущихся объектов и определения их параметров | |
| JP7152506B2 (ja) | 撮像装置 | |
| JP2004240909A (ja) | 画像処理装置及び画像処理方法 | |
| US10332259B2 (en) | Image processing apparatus, image processing method, and program | |
| CN111145674B (zh) | 显示面板的检测方法、电子设备和存储介质 | |
| JP2961140B2 (ja) | 画像処理方法 | |
| JPH1096607A (ja) | 物体検出装置および平面推定方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080331 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090331 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090331 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100331 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100331 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110331 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110331 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120331 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120331 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130331 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130331 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140331 Year of fee payment: 14 |
|
| LAPS | Cancellation because of no payment of annual fees |