JP4692371B2 - 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム - Google Patents

画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム Download PDF

Info

Publication number
JP4692371B2
JP4692371B2 JP2006122570A JP2006122570A JP4692371B2 JP 4692371 B2 JP4692371 B2 JP 4692371B2 JP 2006122570 A JP2006122570 A JP 2006122570A JP 2006122570 A JP2006122570 A JP 2006122570A JP 4692371 B2 JP4692371 B2 JP 4692371B2
Authority
JP
Japan
Prior art keywords
image
partial
partial image
reference image
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006122570A
Other languages
English (en)
Other versions
JP2007293722A (ja
Inventor
芳郎 村田
大輔 光本
宏礼 小板橋
佳誠 麻生川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2006122570A priority Critical patent/JP4692371B2/ja
Priority to US11/740,058 priority patent/US8019120B2/en
Publication of JP2007293722A publication Critical patent/JP2007293722A/ja
Application granted granted Critical
Publication of JP4692371B2 publication Critical patent/JP4692371B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches

Description

本発明は、例えば人や物などの対象物の移動を検知する画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体に関するものである。
従来、人や物などの対象物の動きを監視カメラによって動画像として撮影し、その動画像を解析することによって、撮影されている人や物の動きを把握する移動物体追跡システムが提供されている。移動物体追跡システムは、例えば自動車の動きを認識することによって交通管制や自動車運転アシストなどの用途に用いることが可能である。また、例えば公共の場での通行人、および店舗内での客などの動きを認識することによって、通行状況調査、および顧客行動調査などの用途に用いることが可能である。また、例えば工場の生産ラインにおける生産対象物の動き、ならびに作業者の動きを認識することによって、生産管理、生産計画などの用途に用いることが可能である。
このような移動物体追跡システムは、監視カメラによって撮影された撮影動画像に対して画像処理を行う画像処理装置を備えている。この画像処理装置は、対象物の動きを、現在の画像（参照画像）における対象物と、過去の画像（基準画像）における対象物とを同一のものとして対応付ける処理を行うことにより、対象物の動きを検出する。
この対応付け処理においては、まず、基準画像に基づいて、対象物の画像領域全体を含む領域が相関窓として設定される。そして、相関窓の大きさで参照画像内を探索し、基準画像における相関窓内の各画素値と、参照画像における相関窓内の各画素値との差が最小となる相関窓の位置を、参照画像における対象物の位置と認識する。
特開２００３−３４６１５９（平成１５年１２月５日（２００３．１２．５）公開）
上記のような対象物の動き検出処理をリアルタイムに処理する場合、処理時間を短くすることが必要となる。例えば対象物の移動が高速である場合には、動画像における単位時間あたりのフレーム数を大きくする必要があるが、この場合、各フレーム間の時間が短くなり、この短いフレーム間の時間内で対応付けを完了させる必要がある。逆に、処理時間を確保するために、動き検出処理を行うフレーム間隔を長くすると、この間の対象物の移動距離が大きくなり、対象物の速度によっては動きを検出できなくなる危険性がある。したがって、さらに動き検出処理に必要とされる時間が必要となる。
上記のように、動き検出処理は、相関窓に含まれる画素の値の情報を用いて行われる。ここで、相関窓に含まれる画素数が多くなればなるほど処理時間は増大することになる。
相関窓は、一般的に対象物の全体（例えば人の全体）を含むように設定される。この場合、相関窓に含まれる画素数は大きくなり、処理時間の増大を招いてしまう。
なお、特許文献１には、人の動きを安定して検出するために、人の頭や胴体など、人の一部を追跡対象として設定する技術が開示されている。この場合、人全体を追跡対象とする場合よりは処理時間は減少するが、画素数としては依然として大きいものであり、リアルタイムに処理することを考慮すると、実用的ではない。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、対象物の移動の検出精度を落とすことなく、より少ない画素数に対して基準画像と参照画像との間の対応付けに関する画像処理を行うことを可能とする画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体を提供することにある。
本発明に係る画像処理装置は、上記の課題を解決するために、対象物を撮影する撮像部によって撮影された時系列の撮像画像データから、第１の時点での撮像画像を基準画像として取得し、該基準画像中の対象物の画像領域を含む部分画像領域を複数箇所選択する部分画像領域設定手段と、上記第１の時点とは異なる第２の時点での撮像画像を参照画像として取得し、基準画像における各部分画像領域内の画素値の状態と、参照画像における各部分画像領域内の画素値の状態との相違に基づいて、基準画像と参照画像との間の対象物の移動を検出する移動検出手段とを備え、上記部分画像領域設定手段が、各部分画像領域の相対位置の基準となる基準点を設定するとともに、上記移動検出手段が、上記参照画像に対して、各部分画像領域の基準点に対する相対位置を保った状態で、各部分画像領域内の画素値の状態を取得し、基準画像における各部分画像領域内の画素値の状態との相違を算出する構成である。
また、本発明に係る画像処理方法は、上記の課題を解決するために、対象物を撮影する撮像部によって撮影された時系列の撮像画像データから、第１の時点での撮像画像を基準画像として取得し、該基準画像中の対象物の画像領域を含む部分画像領域を複数箇所選択する部分画像領域設定処理と、上記第１の時点とは異なる第２の時点での撮像画像を参照画像として取得し、基準画像における各部分画像領域内の画素値の状態と、参照画像における各部分画像領域内の画素値の状態との相違に基づいて、基準画像と参照画像との間の対象物の移動を検出する移動検出処理とを有し、上記部分画像領域設定処理において、各部分画像領域の相対位置の基準となる基準点が設定されるとともに、上記移動検出処理において、上記参照画像に対して、各部分画像領域の基準点に対する相対位置を保った状態で、各部分画像領域内の画素値の状態が取得され、基準画像における各部分画像領域内の画素値の状態との相違が算出される方法である。
上記の構成および方法によれば、まず、基準画像中の対象物の画像領域を含む部分画像領域が複数箇所選択される。そして、複数の部分画像領域内の画素値の状態が、基準画像と参照画像との間で比較され、その相違に基づいて、基準画像と参照画像との間の対象物の移動が検出される。
ここで、部分画像領域は、対象物に対して複数の箇所に設定されるようになっているので、各部分画像領域に含まれる画素数を少なくしても、対象物の形状の特徴を的確に捉えることが可能となる。よって、対象物の画像領域全体を含む画像領域を基準画像と参照画像とで対応付けて対象物の移動を検出する手法と比較して、対象物の移動の検出精度を落とすことなく、より少ない画素数に対して基準画像と参照画像との間の対応付けに関する画像処理を行えばよいことになる。したがって、対象物の移動の検出をより少ない処理時間で実現する画像処理装置を提供することができる。
また、上記の構成によれば、各部分画像領域の基準点に対する相対位置を保った状態で、参照画像に対して各部分画像領域内の画素値の状態が取得されている。すなわち、対象物の形状を特徴付ける複数の箇所の互いの位置関係を考慮した状態で、基準画像と参照画像との間での対象物の対応付けを行うことが可能となる。よって、基準画像と参照画像との間で対象物の形状がほとんど変わらない場合に、対象物の移動検出を的確に行うことが可能となる。
また、本発明に係る画像処理装置は、上記の課題を解決するために、対象物を撮影する撮像部によって撮影された時系列の撮像画像データから、第１の時点での撮像画像を基準画像として取得し、該基準画像中の対象物の画像領域を含む部分画像領域を複数箇所選択する部分画像領域設定手段と、上記第１の時点とは異なる第２の時点での撮像画像を参照画像として取得し、基準画像における各部分画像領域内の画素値の状態と、参照画像における各部分画像領域内の画素値の状態との相違に基づいて、基準画像と参照画像との間の対象物の移動を検出する移動検出手段とを備え、上記部分画像領域設定手段が、各部分画像領域の相対位置の基準となる基準点を設定するとともに、上記移動検出手段が、上記参照画像に対して、各部分画像領域の基準点に対する相対位置を所定の変換処理によって変換して、各部分画像領域内の画素値の状態を取得し、基準画像における各部分画像領域内の画素値の状態との相違を算出し、該基準点の位置を参照画像において算出する構成である。
また、本発明に係る画像処理方法は、上記の課題を解決するために、対象物を撮影する撮像部によって撮影された時系列の撮像画像データから、第１の時点での撮像画像を基準画像として取得し、該基準画像中の対象物の画像領域を含む部分画像領域を複数箇所選択する部分画像領域設定処理と、上記第１の時点とは異なる第２の時点での撮像画像を参照画像として取得し、基準画像における各部分画像領域内の画素値の状態と、参照画像における各部分画像領域内の画素値の状態との相違に基づいて、基準画像と参照画像との間の対象物の移動を検出する移動検出処理とを有し、上記部分画像領域設定処理において、各部分画像領域の相対位置の基準となる基準点が設定されるとともに、上記移動検出処理において、上記参照画像に対して、各部分画像領域の基準点に対する相対位置を所定の変換処理によって変換して、各部分画像領域内の画素値の状態を取得し、基準画像における各部分画像領域内の画素値の状態との相違を算出し、該基準点の位置を参照画像において算出する方法である。
上記の構成および方法によれば、まず、基準画像中の対象物の画像領域を含む部分画像領域が複数箇所選択される。そして、複数の部分画像領域内の画素値の状態が、基準画像と参照画像との間で比較され、その相違に基づいて、基準画像と参照画像との間の対象物の移動が検出される。
ここで、部分画像領域は、対象物に対して複数の箇所に設定されるようになっているので、各部分画像領域に含まれる画素数を少なくしても、対象物の形状の特徴を的確に捉えることが可能となる。よって、対象物の画像領域全体を含む画像領域を基準画像と参照画像とで対応付けて対象物の移動を検出する手法と比較して、対象物の移動の検出精度を落とすことなく、より少ない画素数に対して基準画像と参照画像との間の対応付けに関する画像処理を行えばよいことになる。したがって、対象物の移動の検出をより少ない処理時間で実現する画像処理装置を提供することができる。
また、上記の構成または方法によれば、参照画像に対して各部分画像領域内の画素値の状態を取得する際に、各部分画像領域の基準点に対する相対位置を所定の変換処理によって変換している。よって、基準画像と参照画像との間で、対象物の画像の大きさや向きが変化する場合でも、これに対応して対象物の対応付けを的確に行うことが可能となる。
また、本発明に係る画像処理装置は、上記の構成において、上記複数の部分画像領域の画素数の合計が、上記対象物の画像領域の画素数の合計よりも小さい構成としてもよい。これにより、より確実に処理時間の短縮を実現することができる。
また、本発明に係る画像処理装置は、上記の構成において、上記部分画像領域設定手段が、上記対象物の画像領域を複数の中間領域に分割し、各中間領域から１つ以上の上記部分画像領域を選択する構成としてもよい。これにより、各中間領域からまんべんなく部分画像領域が選択されることによって、対象物の全体形状に基づく対応付けが可能となる。
また、本発明に係る画像処理装置は、上記の構成において、上記部分画像領域設定手段が、対象物の部分的形状を特徴付ける特徴点を検出するためのフィルタを上記基準画像に適用することによって特徴点を複数選択し、該特徴点を含む領域を部分画像領域として設定する構成としてもよい。
上記の構成によれば、特徴点は基準画像に対してフィルタを適用することによって選択されるようになっている。このフィルタは、対象物の部分的形状を特徴付ける特徴点を検出するのに必要とされるサイズでよいので、比較的小さいサイズのフィルタでよいことになる。したがって、特徴点の検出に必要とされる処理時間を比較的短いものとすることが可能となる。具体的には、対象物の部分的形状を特徴付ける特徴点を検出するためのフィルタとしては、例えば水平エッジや角エッジを検出するための原始的なフィルタが挙げられる。このようなフィルタのサイズは比較的小さいものであるので、特徴点の検出を迅速に行うことができる。
また、本発明に係る画像処理装置は、上記の構成において、上記移動検出手段が、上記所定の変換処理として、各部分画像領域の基準点に対する相対位置の距離を拡大または縮小する処理を行う構成としてもよい。
上記の構成によれば、基準画像と参照画像との間で、対象物の画像の大きさが変化する場合に、これに対応して対象物の対応付けを的確に行うことが可能となる。
また、本発明に係る画像処理装置は、上記の構成において、上記移動検出手段が、基準画像における対象物の位置および参照画像における対象物の位置に基づいて拡大縮小率を決定する構成としてもよい。
例えば、撮像部が固定配置であるとともに、対象物が２次元平面内で移動する場合には、対象物の撮像画像内での位置によって対象物と撮像部との距離を把握することが可能である。これを利用して、上記の構成のように、基準画像における対象物の位置および参照画像における対象物の位置に基づいて拡大縮小率を決定することにより、基準画像における各部分画像領域内の画素値の状態と、参照画像における各部分画像領域内の画素値の状態との相違が最も小さくなる部分画像領域の位置を参照画像において算出する際の演算量を大幅に低減することが可能となる。すなわち、上記の構成は、撮像部が固定配置であるとともに、対象物が２次元平面内で移動する場合、例えば、撮像部が天井に取り付けられた監視カメラであるような場合に特に効果を奏する。
また、本発明に係る画像処理装置は、上記の構成において、上記移動検出手段が、対象物を互いに異なる位置から同時に撮影した２つの撮像画像を上記撮像部から取得するとともに、この２つの撮像画像に基づいて、基準画像における対象物と撮像部との距離、および、参照画像における対象物と撮像部との距離を算出し、これらの距離に基づいて拡大縮小率を決定する構成としてもよい。
上記の構成によれば、対象物を互いに異なる位置から同時に撮影した２つの撮像画像に基づいて、基準画像における対象物と撮像部との距離、および、参照画像における対象物と撮像部との距離が算出されている。そして、これらの距離に基づいて拡大縮小率を決定することにより、基準画像における各部分画像領域内の画素値の状態と、参照画像における各部分画像領域内の画素値の状態との相違が最も小さくなる部分画像領域の位置を参照画像において算出する際の演算量を大幅に低減することが可能となる。すなわち、上記の構成は、撮像部、対象物の移動可能場所ともに制約がない場合、例えば、撮像部が前方の監視を行う車載ステレオカメラであるような場合に特に効果を奏する。
また、本発明に係る画像処理装置は、上記の構成において、上記移動検出手段が、上記所定の変換処理として、各部分画像領域の基準点に対する相対位置を回転させる処理を行う構成としてもよい。
上記の構成によれば、基準画像と参照画像との間で、対象物の向きが変化する場合に、これに対応して対象物の対応付けを的確に行うことが可能となる。
また、本発明に係る画像処理装置は、上記の構成において、上記移動検出手段が、基準画像における対象物の位置および参照画像における対象物の位置に基づいて回転角度を決定する構成としてもよい。
例えば、対象物の向きに関する条件が、対象物の撮像画像内における位置によって特定できる場合、予め撮像画像内の各領域間の回転関係を設定しておくことによって回転角度を一意的に決定することが可能である。これを利用して、上記の構成のように、基準画像における対象物の位置および参照画像における対象物の位置に基づいて回転角度を決定することにより、基準画像における各部分画像領域内の画素値の状態と、参照画像における各部分画像領域内の画素値の状態との相違が最も小さくなる部分画像領域の位置を参照画像において算出する際の演算量を大幅に低減することが可能となる。
また、本発明に係る画像処理装置は、上記の構成において、上記移動検出手段が、上記参照画像に対して、各部分画像領域自体も回転させて各部分画像領域内の画素値の状態を取得する構成としてもよい。
対象物の向きが変化すると、部分画像領域内の画像の向きも変化する。これに対応するために、上記の構成では、各部分画像領域の相対座標を回転させるだけでなく、各部分画像領域内の画像も回転させるようにしている。これにより、対象物の向きが大きく変化する場合にも、基準画像と参照画像との間での対象物の対応付けをより正確に行うことが可能となる。
なお、上記画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明に係る画像処理装置は、以上のように、対象物を撮影する撮像部によって撮影された時系列の撮像画像データから、第１の時点での撮像画像を基準画像として取得し、該基準画像中の対象物の画像領域を含む部分画像領域を複数箇所選択する部分画像領域設定手段と、上記第１の時点とは異なる第２の時点での撮像画像を参照画像として取得し、基準画像における各部分画像領域内の画素値の状態と、参照画像における各部分画像領域内の画素値の状態との相違に基づいて、基準画像と参照画像との間の対象物の移動を検出する移動検出手段とを備え、上記部分画像領域設定手段が、各部分画像領域の相対位置の基準となる基準点を設定するとともに、上記移動検出手段が、上記参照画像に対して、各部分画像領域の基準点に対する相対位置を保った状態で、各部分画像領域内の画素値の状態を取得し、基準画像における各部分画像領域内の画素値の状態との相違を算出し、該基準点の位置を参照画像において算出する構成である。
また、本発明に係る画像処理装置は、以上のように、対象物を撮影する撮像部によって撮影された時系列の撮像画像データから、第１の時点での撮像画像を基準画像として取得し、該基準画像中の対象物の画像領域を含む部分画像領域を複数箇所選択する部分画像領域設定手段と、上記第１の時点とは異なる第２の時点での撮像画像を参照画像として取得し、基準画像における各部分画像領域内の画素値の状態と、参照画像における各部分画像領域内の画素値の状態との相違に基づいて、基準画像と参照画像との間の対象物の移動を検出する移動検出手段とを備え、上記部分画像領域設定手段が、各部分画像領域の相対位置の基準となる基準点を設定するとともに、上記移動検出手段が、上記参照画像に対して、各部分画像領域の基準点に対する相対位置を所定の変換処理によって変換して、各部分画像領域内の画素値の状態を取得し、基準画像における各部分画像領域内の画素値の状態との相違を算出し、該基準点の位置を参照画像において算出する構成である。
これにより、対象物の移動の検出精度を落とすことなく、より少ない画素数に対して基準画像と参照画像との間の対応付けに関する画像処理を行えばよいことになり、対象物の移動の検出をより少ない処理時間で実現する画像処理装置を提供することができるという効果を奏する。
本発明の一実施形態について図面に基づいて説明すると以下の通りである。
（移動物体追跡システムの構成）
図１は、本実施形態に係る移動物体検出システム１の概略構成を示すブロック図である。この移動物体検出システム１は、同図に示すように、撮像部２、画像処理部（画像処理装置）３、および表示部４を備えた構成となっている。
撮像部２は、移動を検出する対象としての対象物を撮影するものであり、例えばＣＣＤ（charge coupled device）やＣＭＯＳ（complementary metal oxide semiconductor）撮像素子などによって撮像を行う。画像処理部３は、撮像部２によって撮影された撮像画像に基づいて、該撮像画像中に含まれる対象物を認識し、対象物の移動を検知する画像処理を行う。表示部４は、撮像部２によって撮影された撮像画像を表示するとともに、画像処理部３による対象物の移動検出結果を表示するものであり、例えばＣＲＴ（Cathode Ray Tube）、液晶表示装置など、画像の表示を行うことが可能な各種表示装置によって構成される。
画像処理部３は、撮像画像格納制御部１１、対象物領域設定部１２、相関窓設定部１３、移動検出部１４、出力制御部１５、画像格納部２１、対象物領域格納部２２、相関窓格納部２３、および移動検出情報格納部２４を備えている。
撮像画像格納制御部１１は、撮像部２によって撮影された時系列の撮像画像データとしての動画データを撮像部２から受け付けるとともに、該動画データを画像格納部２１に格納する処理を行う。対象物領域設定部１２は、画像格納部２１に格納されている撮像画像を取り出し、対象物を抽出するとともに、対象物として抽出した画像領域を含む対象物領域を設定する処理を行う。ここで設定された対象物領域の情報は、対象物領域格納部２２に格納される。
相関窓設定部１３は、対象物領域設定部１２によって設定された対象物領域の中から複数の特徴点を選択するとともに、該複数の特徴点のそれぞれに対して相関窓（部分画像領域）を設定する処理を行う。ここで設定された相関窓の情報は、相関窓格納部２３に格納される。
移動検出部１４は、画像格納部２１に格納されている撮像画像を取得し、相関窓設定部１３によって設定された相関窓を用いて評価演算を行うことにより、上記撮像画像における対象物の対応付けを行い、対象物の移動を検出する処理を行う。ここで検出された対象物の移動に関する情報は、移動検出情報格納部２４に格納される。
出力制御部１５は、画像格納部２１に格納されている撮像画像を表示部４に表示させる制御を行うとともに、移動検出部１４によって検出された対象物の移動を示す情報を表示部４に表示させる制御を行う。なお、この撮像画像の表示は、撮像部２における撮像とほぼ同時にリアルタイムに行われてもよいし、撮像時よりも後の時点で行われてもよい。
なお、本実施形態では、出力制御部１５によって撮像画像および移動検出情報を表示部４に表示するようになっているが、出力制御部１５は、撮像画像および移動検出情報を出力するものであればどのような構成であってもよい。例えば、出力制御部１５が、画像格納部２１に格納されている撮像画像および移動検出情報格納部２４に格納されている移動検出情報を外部の装置に送信するようになっており、外部の装置において移動検出結果が確認されるような構成であってもよい。
（比較例との対比）
ここで、まず、対象物の画像領域全体を含む領域が１つの相関窓に設定される場合と、本発明の実施形態のように、複数の相関窓が設定される場合との対比について説明しておく。まず比較例として、対象物の画像領域全体を含む領域を相関窓ＲＷに設定する場合について、図２２（ｂ）（ｃ）を参照しながら説明し、次に本実施形態における相関窓の設定方法について図２（ａ）（ｂ）を参照しながら説明する。
図２２（ａ）は、動画像における対象物の移動の状態を示している。この例では、対象物がＡの位置からＢの位置へ移動している状態が示されている。
同図（ｂ）は、対象物がＡの位置にある時点での画素値の状態（基準画像）を示しており、同図（ｃ）は、対象物がＢの位置に移動した時点での画素値の状態（参照画像）を示している。ここでは、説明を単純化するために、画素値は０または１の２値で表現されるものとしている。また、対象物が存在する領域の画素値が０、それ以外の領域の画素値が１となっている。
比較例では、同図（ｂ）に示すように、基準画像に基づいて、対象物の画像領域全体を含む領域が相関窓ＲＷとして設定される。続いて、相関窓ＲＷの中心画素Ｃ（ｘｃ，ｙｃ）について、参照画像内の対応点を探索する。具体的には、参照画像内の各画素（ｘ’ｃ，ｙ’ｃ）について、その画素を中心に相関窓ＲＷと同一の大きさの相関窓ＲＷ’を設けて評価演算を行う。
例えば、対象物が画像データ内において横軸方向（Ｘ軸方向）へのみ移動する場合を想定した場合、評価関数の設定の例としては次式のように設定される。
Figure 0004692371
上式において、ｋは、基準画像の相関窓ＲＷ内の各座標における画素値（ｘ０，ｙ０：相関窓座標系の原点）を示しており、ｋ’は、参照画像の相関窓ＲＷ内の各座標における画素値（ｘ’０，ｙ’０：相関窓座標系の原点）を示している。また、Ｍ，Ｎは、設定された相関窓の横画素数および縦画素数をそれぞれ示している。なお、Ｍ，Ｎが奇数である場合には、Ｍ／２などの値は適宜整数化されるものとする。
この場合、評価値Ｅが最小となるときの中心画素の位置が対象物領域の中心位置、そのときのＲＷ’の位置が参照画像における対象物の位置と認識される。
参照画像において、相関窓ＲＷをＸ軸方向に順次動かし、数１において求められる評価値Ｅ（ｘ’ｃ，ｙ’ｃ）が最小となる相関窓ＲＷの位置が、参照画像における対象物の位置と認識される。
なお、上記の例では、Ｘ軸方向への移動のみが考慮されているが、Ｙ軸方向への移動をも考慮することによって、２次元平面内での任意の方向の移動を検知することが可能である。
以上のように、比較例では、基準画像上から対象物の画像領域全体を含むサイズの相関窓ＲＷが１つ設定される。すなわち、このような相関窓ＲＷに含まれる全ての画素の画素値を用いて、上記数１の演算が行われることになる。ここで、数１を見ればわかるように、演算対象となる画素の数が多くなればなるほど、処理時間が増大することになる。よって、処理時間を短くするためには、演算対象となる画素の数を少なくすることが望ましいことがわかる。
図２（ａ）は、本実施形態における相関窓の設定方法を適用した状態を示している。同図に示すように、本実施形態では、４つの相関窓ＲＷＡ〜ＲＷＤが対象物の画像の一部を含む４つの小さな領域に設定される。
続いて、各相関窓ＲＷＡ〜ＲＷＤの中心となる画素Ｃ（ｘｃ，ｙｃ）を基準点とし、この点について参照画像内の対応点を探索する。具体的には、参照画像内の各画素（ｘ'ｃ，ｙ'ｃ）について、その画素を中心に相関窓ＲＷＡ〜ＲＷＤと同一の相対位置に、相関窓ＲＷＡ〜ＲＷＤと同一の大きさの相関窓ＲＷＡ'〜ＲＷＤ'を設けて評価演算を行う。具体的には、参照画像における相関窓ＲＷＡ〜ＲＷＤ内の各画素値との差が最小となる相関窓ＲＷＡ’〜ＲＷＤ’を規定する基準点ｃ’の位置を算出し、これに基づいて参照画像における対象物の位置を算出する。
このように、本実施形態では、対象物の一部分を含む小さな相関窓を複数用いることによって移動検出を行っている。すなわち、相関窓を複数用いることによって対象物の特徴を的確にとらえることを可能とするとともに、各相関窓は、対象物の部分的な特徴をとらえることが可能な程度の画素数とすることができる。よって、相関窓の数は増えることになるが、各相関窓に含まれる画素数を大きく低下させることができるので、結果的に、演算対象となる画素の数を低減することができる。したがって、処理時間の短縮を実現することができる。
このとき、本発明においては、基準点は個々の相関窓の中心点とは異なるため、数１のままでは評価値Ｅを算出できない。これに対し、本願発明者は後述する数２に示すような評価式の拡張を行った。これにより、小さな相関窓のグループに対して評価値を定義でき、評価値が最小となる（ｘｃ’，ｙｃ’）の位置を算出することで物体の移動を検出できるようになったのである。この式の詳細に関しては後述する。
図３は、上記の比較例、および本実施形態の手法により、Ｘ軸方向に相関窓を移動させながら評価値を算出した結果を示している。同図において、Ａ１のグラフが比較例の場合、Ａ２のグラフが本実施形態の場合をそれぞれ示している。また、横軸は移動画素数を示しており、縦軸は上記数１で算出される評価値を示している。なお、評価値は、最大値を１として正規化したものとなっている。このグラフに示すように、どちらの場合においても移動画素数４における評価値が０となっており、対象物の移動量はどちらの手法でも同じ結果（移動量（画素数）４）が検出されている。
一方、グラフの形状を見ると、本実施形態のグラフの方が、比較例のグラフよりも鋭い極が得られていることがわかる。ここで、現実に撮像される画像は、光のゆらぎ、電気的ゆらぎ、レンズによる歪みなどによって様々なノイズが含まれていることになる。このようなノイズは、評価値の算出にも影響を与えるので、実際の画像に基づいた演算結果には、図３に示したグラフにノイズが含まれることが予想される。このようなノイズがグラフに重畳されると、極が緩い場合には、極の位置があいまいになることが考えられるが、極が鋭い場合には、多少のノイズでは極の位置があいまいにならないことが予想される。すなわち、本実施形態の手法によれば、多少のノイズが含まれても、的確に対象物の移動量を検出することが可能となる。
（移動検出処理の流れ）
次に、本実施形態における移動検出処理の流れについて図４に示すフローチャートを参照しながら以下に説明する。まず、ステップ１（以降、Ｓ１のように称する）において、撮像部２によって対象物を含む領域に対する撮像処理が開始される。ここでの撮像処理は動画撮影であるものとする。撮像部２によって撮影された動画データは、撮像画像格納制御部１１の制御に基づいてフレーム毎に順に画像格納部２１に格納される。
次に、対象物領域設定部１２が、画像格納部２１に格納されている動画データのフレームを基準画像として取り出し、該基準画像の中から少なくとも１つの対象物を抽出する（Ｓ２）。対象物の抽出の手法として、代表的なものとしては、テンプレートマッチング手法がある。テンプレートマッチング手法とは、未知の入力画像に対して、予め用意されているテンプレート画像に基づき、該テンプレート画像に対応する画像の存在位置、角度、スケールなどを推定する画像処理手法である。本実施形態における対象物領域設定部１２は、このテンプレートマッチング手法によって対象物を抽出するものとするが、他の手法によって対象物を抽出するようになっていても構わない。
次に、対象物領域設定部１２は、対象物として抽出した画像領域を含む対象物領域を設定する（Ｓ３）。本実施形態では、対象物領域の外縁は、対象物として抽出した画像領域の外縁から数画素（例えば２〜６画素）分外側となるように設定される。また、このように設定された対象物領域を、縦Ｍ画素、横Ｎ画素（Ｍ，Ｎは整数）の長方形領域とする。なお、上記のようにテンプレートマッチング手法によって対象物を抽出する場合、予め用意されているテンプレート画像に対応して対象物領域の形状が設定されていてもよい。
設定された対象物領域の形状情報は、対象物領域格納部２２に格納される。なお、本実施形態では、対象物領域を長方形領域としているが、これに限定されるものではなく、対象物の形状に応じて任意の形状としてもよい。
次に、相関窓設定部１３は、基準画像において、対象物の画像領域を含む対象物領域の中から複数の特徴点を抽出する（Ｓ４）。そして、相関窓設定部１３は、抽出された複数の特徴点のそれぞれに対して、相関窓を設定するとともに、基準点を設定する（Ｓ５）。この特徴点の抽出処理および相関窓・基準点の設定処理の詳細については後述する。
次に、移動検出部１４は、画像格納部２１から基準画像の画像データ、および、基準画像の次のフレームに相当する参照画像の画像データを取得する（Ｓ６）。そして、移動検出部１４は、Ｓ５において設定された相関窓および基準点を用いて評価演算を行い、評価値が最小であり、かつ所定の閾値以下となる参照画像上の対応点（基準点に対応する点）を特定することによって対象物の移動を検出する（Ｓ７）。なお、この移動検出処理の詳細については後述する。
次に、出力制御部１５が、画像格納部２１に格納されている参照画像と、移動検出部１４によって検出された対象物の移動を示す情報とを出力する処理を行う（Ｓ８）。具体的には、出力制御部１５は移動検出結果を表示部４に表示させる制御を行う。この移動検出結果の表示は、例えば対象物を識別することを可能とする図形を表示させ、これを対象物の移動に伴って移動させて表示させたり、対象物中の特定箇所の移動軌跡を表示させたりすることによって行われる。
その後、Ｓ９において処理を終了するか否かが判定され、終了しない場合には、その時点での参照画像を基準画像と設定し、Ｓ７で検出された対応点を基準点に設定するとともに、その次のフレームを参照画像として設定し（Ｓ１０）、Ｓ６からの処理が行われる。
なお、上記の例では、基準画像の次のフレームを参照画像として設定しているが、これに限定されるものではなく、所定の数のフレーム間隔で参照画像を設定していってもよい。
（特徴点の抽出処理および相関窓の設定処理）
次に、相関窓設定部１３による特徴点の抽出処理および相関窓の設定処理の詳細について説明する。図５は、対象物の画像の一例としての対象物Ｂ２、および、対象物領域設定部１２によって設定された対象物領域Ｂ１の例を示している。同図に示す例では、対象物領域Ｂ１は縦Ｍ画素、横Ｎ画素（Ｍ，Ｎは整数）の長方形領域となっている。また、対象物領域Ｂ１の外縁の上下の辺は、対象物Ｂ２の外縁の上下端から２画素分外側となっており、対象物領域Ｂ１の外縁の左右の辺は、対象物Ｂ２の外縁の左右端から３画素分外側となっている。
このように設定された対象物領域Ｂ１の内部で、相関窓設定部１３は、対象物Ｂ２の画像領域の中から複数の特徴点を抽出することになる。ここで、特徴点としては、対象物Ｂ２の部分的形状を特徴付ける点が選択されることが好ましいことになる。このように特徴点を選択することによって、移動検出処理における基準画像と参照画像との間での対象物Ｂ２の対応付けを的確に行うことが可能となる。
また、特徴点としては、周囲の画素とのコントラストが大きい方が好ましい。これは、周囲の画素とのコントラストが大きい方が、多少のノイズが発生している場合にも周囲の画素との画素値の差異を確保することができ、特徴点がノイズに埋もれてしまうことを抑制することができるからである。
さらに、特徴点は、対象物Ｂ２の画像領域の全体からまんべんなく選択されることが好ましい。これは、特徴点が対象物Ｂ２の画像領域の一部にかたまって選択されてしまうと、対象物Ｂ２の全体形状に基づく対応付けが行われなくなり、対応付けに失敗する可能性があるからである。
以上を考慮し、本実施形態では、次のようにして特徴点を選択する。まず、相関窓設定部１３は、対象物Ｂ２の形状のうち、左上、右上、左下、および右下の４つの角を抽出するための４つのフィルタを用意する。これらのフィルタをそれぞれ第１フィルタＦ１、第２フィルタＦ２、第３フィルタＦ３、および第４フィルタＦ４とする。ここで、第１〜第４フィルタＦ１〜Ｆ４をそれぞれ区別する必要のない場合は、単にフィルタＦと称する。なお、これらの第１〜第４フィルタＦ１〜Ｆ４は、テンプレートマッチング手法によって対象物を抽出する場合には、テンプレート画像に対応して予め用意されていればよい。
各フィルタＦは、ｍ×ｎ（ｍ，ｎは整数、ｍ＜Ｍ、ｎ＜Ｎ）のマトリクス配置となっており、検出形状に応じて各要素の値が０または１に設定されている。そして、各フィルタＦを対象物領域Ｂ１の各画素に適用し、フィルタＦの各要素の値と、対応する対象物領域Ｂ１の画素の値との差分の絶対値を総和した値を、フィルタリング結果として算出する。このようなフィルタリング処理を行うと、フィルタＦによって検出しようとしている特徴点に対応する画素のフィルタ結果値は、他の画素の値よりも低くなる。
図６（ｂ）は、第１フィルタＦ１のマトリクス配置、および第１フィルタＦ１を対象物領域Ｂ１に適用した結果を示しており、同図（ｃ）は、第２フィルタＦ２のマトリクス配置、および第２フィルタＦ２を対象物領域Ｂ１に適用した結果を示しており、同図（ｄ）は、第３フィルタＦ３のマトリクス配置、および第３フィルタＦ３を対象物領域Ｂ１に適用した結果を示しており、同図（ｅ）は、第４フィルタＦ４のマトリクス配置、および第４フィルタＦ４を対象物領域Ｂ１に適用した結果を示している。
また、同図（ａ）は、各画素に関して、同図（ｂ）〜（ｅ）に示す処理結果におけるフィルタ結果値の最小値を選択した結果を示している。同図に示すように、対象物Ｂ２の左上、右上、左下、および右下の４つの角に相当する画素のフィルタ結果値が０となっており、この４つの画素が特徴点として選択される。
なお、実際の画像ではノイズが含まれており、図５に示すような理想的な画素値にはなっていないので、特徴点として選択すべきフィルタ結果値が０とならないことが考えられる。よって、実際には、特徴点として選択すべきフィルタ結果値の閾値をフィルタ結果閾値Ｃｔｈを設定し、このフィルタ結果閾値Ｃｔｈよりも小さい値のフィルタ結果値となっている画素を特徴点として選択する。
相関窓は、フィルタＦのマトリクスサイズと同じ大きさのサイズで設定される。この相関窓のサイズおよびフィルタＦのサイズは、例えば一定値であってもよいし、対象物領域Ｂ１の大きさに応じて変更するようになっていてもよい。対象物領域Ｂ１の大きさに応じて変更する例としては、対象物領域Ｂ１の大きさをＭ×Ｎとした場合、相関窓およびフィルタＦのサイズを（Ｍ／４）×（Ｎ／４）というように、対象物領域Ｂ１の大きさに対する比率で設定してもよい。
上記のようにフィルタリング処理を行った結果、フィルタ結果閾値Ｃｔｈより小さい値のフィルタ結果値となっている画素が多数存在した場合、全ての画素を特徴点として選択してもよいが、この場合、移動検出処理において対応付けを必要とする画素が増大することになり、処理時間が増大するという問題がある。よって、次のように特徴点を絞り込むことが好ましい。
まず、特徴点の数の上限値Ｎｔｈを予め設定しておく。この上限値Ｎｔｈは、処理時間が必要以上に長くならないように設定される。そして、フィルタ結果閾値Ｃｔｈより小さい値のフィルタ結果値となっている画素の数が上限値Ｎｔｈよりも大きくなった場合、次のような基準で絞り込みを行う。第１の基準としては、フィルタ結果値が小さい順に特徴点をＮｔｈ個選択する方法が挙げられる。第２の基準としては、対象物領域Ｂ１の外縁における角に近い順に特徴点をＮｔｈ個選択する方法が挙げられる。第３の基準としては、対象物領域Ｂ１の外縁における辺に近い順に特徴点をＮｔｈ個選択する方法が挙げられる。
第１の基準によれば、特徴点を検出するためのフィルタＦにより近い画素領域となっている画素が特徴点として選択されるので、移動検出処理における対応付けをより的確に行うことが可能となる。第２および第３の基準によれば、対象物領域Ｂ１の外縁により近い画素が特徴点として選択されるので、特徴点が対象物Ｂ２の画像領域の全体にわたって選択される可能性を高めることができ、対象物Ｂ２の全体形状に基づく対応付けを実現することによって、より的確に対応付けを行うことが可能となる。
なお、上記の例では、フィルタＦのサイズと相関窓のサイズとを同じサイズに設定するようになっているが、両者が異なるサイズに設定されていても構わない。
（移動検出処理）
次に、移動検出部１４による移動検出処理について説明する。移動検出部１４は、基準画像の画像データ、および参照画像の画像データを取得するとともに、相関窓設定部１３によって設定された相関窓に基づいて評価演算を行う。ここで、相関窓設定部１３によってＮｔｈ個の特徴点が選択されたものとし、この選択された特徴点の座標を（ｘ０，ｙ０）、（ｘ１，ｙ１）、（ｘ２，ｙ２）、…（ｘＮｔｈ−１，ｙＮｔｈ−１）とする。そして、参照画像の各画素に対して、ＳＡＤ（Sum of Absolute Difference：差分絶対和）を用いた式の拡張に基づき、次のような評価関数による演算が行われる。
Figure 0004692371
上式において、（ｘｃ，ｙｃ）は、図７（ａ）に示すように、基準画像上の対象物の中心座標（基準点）を示している。ここでは、対象物の中心座標を、選択された複数の特徴点の重心位置とみなす。すなわち、（ｘｃ，ｙｃ）は次の式で表される。
Figure 0004692371
各点の中心座標に対する相対座標は次の式で表される。
Figure 0004692371
（ｘ’ｃ，ｙ’ｃ）は、図７（ｂ）に示すように、参照画像上の対象物の中心座標を示している。ここで、（ｘ’ｃ，ｙ’ｃ）は、対象物が移動する可能性のある範囲（探索範囲：Ｐ×Ｑ画素領域（Ｐ，Ｑは整数））に設定される。
ここで、探索範囲は、次のように設定することができる。例えば対象物が自動車であり、自動車が特定の道路を走行している場合、交差点などの場所でなければ、対象物の進行方向はほぼ決まることになる。また、対象物の想定速度（例えば自動車なら２００ｋｍ／ｈ以下）と相関を取る時間間隔を用いることで、対象物が一定の時間内に移動しうる距離を求めることが可能である。これらの進行方向に関する情報および移動しうる距離に関する情報を組み合わせることによって「対象物が移動しうる範囲」としての探索範囲を設定することができる。
ｋは、基準画像の相関窓内の各座標における画素値を示しており、ｋ’は、参照画像の相関窓内の各座標における画素値を示している。ｍ，ｎは、設定された相関窓の横画素数および縦画素数をそれぞれ示している。なお、ｍ，ｎが奇数である場合には、ｍ／２などの値は適宜整数化されるものとする。
移動検出部１４は、探索範囲において、評価値Ｅ（ｘ’ｃ，ｙ’ｃ）が最も小さくなる参照画像上での画素位置を、参照画像上での対象物の中心座標とみなす。すなわち、基準画像上での対象物の中心座標と、参照画像上での対象物の中心座標との差が、対象物の移動量と見なされる。
なお、上記の例では、基準点として、複数の特徴点の重心位置座標を用いているが、これに限定されるものではなく、選択された特徴点に基づいて一義的に特定される位置であれば、どのような位置を基準点としてもよい。このような基準点としては、例えば複数の特徴点のうちで所定の基準で選択される１つの特徴点や、所定の基準で選択される２つの特徴点の中点などが挙げられる。
また、上記の例では、画像データは白黒画像などの１つの色成分からなるデータであるものとして処理を行っているが、これに限定されるものではなく、例えばＲＧＢ３色の色成分からなるデータを用い、各色成分について上記のような移動検出処理を行ってもよい。しかしながら、複数の色成分について処理を行う場合には、その分処理時間が増大することになるので、１つの色成分のみで移動検出が可能である場合には、１つの色成分からなるデータに基づいて処理を行うことが好ましい。また、画像データがカラー画像データである場合に、各画素の色同士を比較して上記のような移動検出処理を行ってもよい。
（対象物の大きさが変化する場合の処理）
対象物の移動が、撮像部２との距離が変化するように行われる場合、撮像部２によって撮影された画像上において、対象物の画像領域のサイズが変化することになる。図８は、Ａの位置に存在した対象物が、撮像部２に近づく方向でＢの位置に移動した状態を示している。この場合、Ａの位置における対象物の大きさよりも、Ｂの位置における対象物の大きさの方が大きくなっている。
ここで、比較例として、対象物の画像領域全体を含む領域を相関窓として設定する場合について説明する。この場合、図９（ａ）および図９（ｂ）に示すように、基準画像における相関窓と、参照画像における相関窓とでサイズが異なってしまうことになる。このように、基準画像と参照画像とで相関窓のサイズが異なると、上記したような評価関数による移動検出が行うことが不可能になる。よって、この場合には、移動検出部１４が、基準画像における相関窓Ｍ×Ｎ内の画像を、参照画像における相関窓と同じサイズ、すなわちＭ’×Ｎ’の画像に拡大する処理を行う。これにより、基準画像および参照画像の相関窓に含まれる画素数が一致するので、この状態で評価関数による移動検出が可能となる。
しかしながら、この比較例の場合、画像の拡大処理にかかる時間が必要となるとともに、画素数が増大することによる評価演算処理時間も増大するという問題がある。なお、参照画像における相関窓の大きさを、基準画像における相関窓の大きさに合わせて縮小するようにして両者の画素数を合わせることも可能であるが、いずれにしても、相関窓の大きさは比較的大きいものであるので、処理時間が大きいことには変わりない。
これに対して、本実施形態では、移動検出部１４が次のような処理を行うことにより、相関窓の大きさを基準画像と参照画像とで共通としたまま、対象物の拡大縮小に対応することが可能となる。
前記した数２および数４に示すように、評価関数の演算を行う際には、相関窓内の各座標は、対象物の中心座標（基準点）からの相対位置によって表される。よって、対象物の拡大縮小に対応するためには、図１０（ａ）および図１０（ｂ）に示すように、対象物の中心座標（ｘｃ，ｙｃ）と、各相関窓の中心座標（ｘｃｉ，ｙｃｉ）（ｉ＝０，１，２，…，Ｎｔｈ−１）との相対座標に対応する長さを拡大縮小すればよいことになる。すなわち、拡大縮小率をＫとすると、次式のように相対座標を変更するのみによって、相関窓の大きさを基準画像と参照画像とで共通としたまま、対象物の拡大縮小に対応することが可能となる。
（ｘｃｉ，ｙｃｉ）＝Ｋ（ｘｃｉ，ｙｃｉ），ｉ＝０，１，２，…，Ｎｔｈ−１
以上のように相対座標を変換した後に、数２に示す評価関数を用いて評価値を求めればよい。このような処理によれば、各相関窓と対象物の中心座標との相対位置を変換するだけで、相関窓のサイズを変更する必要はない。つまり、対象物が近づき、対象物の画像領域が大きくなったとしても、処理画素数は増大しないので、処理時間の増大を招くことなく対応することが可能である。
（拡大縮小率の特定）
上記の拡大縮小率Ｋの値は、基本的には一意的に決定されるものではなく、対象物の撮像サイズに応じて大きく変動するものである。したがって、実際には、何種類かの拡大縮小率Ｋの値を与えて評価演算を行い、最終的に相関度合いの最もよい画素（評価値が０に近い画素）を選択し、移動検出を行うことになる。すなわち、処理時間を短縮するには、拡大縮小率Ｋの値の範囲を狭くすることが好ましいことになる。
ここで、対象物の撮像画像上での大きさは、対象物と撮像部２との距離に反比例するものである。すなわち、対象物が移動することによって、対象物と撮像部２との距離がＬ１からＬ２に変化した場合、拡大縮小率Ｋの値は、Ｋ＝Ｌ１／Ｌ２となる。よって、対象物と撮像部２との距離を検知することが可能であれば、拡大縮小率Ｋの値を一意的に決定することが可能となる。
例えば、図１１に示すように、平面Ｓ上を移動する対象物に対して撮像部２が固定された状態で配置されている場合、撮像画像上での対象物の位置に基づいて、移動検出部１４が対象物と撮像部２との距離を算出することが可能である。すなわち、撮像部２が備える撮像素子２Ａにおける対象物の投影位置のＹ座標ｙと、撮像部２が備える撮像レンズ２Ｂの中心とを結ぶとを結ぶ直線と、撮像レンズ２Ｂの光軸とがなす角度をφとしたとき、撮像部２と対象物との距離Ｌは次式で表される。
Figure 0004692371
上式において、Ｈｃは撮像レンズの中心の平面Ｓに対する法線方向高さを示し、Ｈｗは平面Ｓに対する対象物の法線方向高さを示し、ηは撮像レンズ２Ｂの光軸と平面Ｓとがなす角度を示し、ｆは撮像レンズ２Ｂと撮像素子２Ａとの光学的距離を示している。
すなわち、撮像素子２Ａ上のＹ座標ｙは、撮像画像から求めることが可能であるので、上式によれば撮像部２と対象物との距離を算出することが可能となる。したがって、撮像部２が固定配置であるとともに、対象物が２次元平面内で移動する場合には、参照画像において各相関窓を適用する位置に応じて拡大縮小率Ｋの値を一意的に決定することが可能となる。
（ステレオ画像による拡大縮小率の特定）
上記の例では、対象物が２次元平面内で移動することを前提として拡大縮小率Ｋの値を一意的に決定している。しかしながら、対象物の移動範囲が３次元空間内で不特定に移動する場合には、上記数５におけるＨｗの値が変動することにより、拡大縮小率Ｋの値を一意的に決定することはできない。
このような場合に対応する構成として、図１２に示すように、撮像部２を２つ設ける構成が挙げられる。撮像部２を２つ設け、それぞれの撮像部２において同じ対象物Ｂ２を撮影すると、対象物Ｂ２をそれぞれ異なる角度から撮影した画像が２枚得られることになる。このようにして得られたステレオ画像に基づいて、移動検出部１４が撮像部２と対象物Ｂ２との距離を算出し、拡大縮小率Ｋの値を一意的に決定することが可能である。
以下、図１２に基づいて具体的に説明する。同図において、Ｂは、２つの撮像部２における撮像レンズ２Ｂの中心間の距離を示している。Ｌは対象物Ｂ２と２つの撮像部２との距離を示している。なお、厳密に言えば、各撮像部２と対象物Ｂ２との距離は互いに異なることになるが、実際にはＬに対するＢの値は著しく小さい値となるので、各撮像部２と対象物Ｂ２との距離を近似してＬとしている。ｆは各撮像部２における撮像レンズ２Ｂと撮像素子２Ａとの光学的距離を示している。
一方の撮像部２における撮像素子２Ａ上の対象物の結像位置と、他方の撮像部２における撮像素子２Ａ上の対象物の結像位置との距離を視差ｄとすると、Ｌは、
Ｌ＝Ｂ×ｆ／ｄ
なる式によって求められる。
そして、基準画像の対象物Ｂ２の中心座標（ｘｃ，ｙｃ）における視差をｄｃ、距離をＬｃとし、参照画像の対象物Ｂ２の中心座標（ｘ’ｃ，ｙ’ｃ）における視差をｄｃ’
、距離をＬｃ’とすると、対象物の撮像サイズは、距離に反比例することから、拡大縮小率Ｋは、
Ｋ＝Ｌｃ／Ｌｃ’
によって決定される。
ただし、実際の処理においては、画像処理によって直接導かれる視差を用いて拡大縮小率Ｋを算出することが多い。すなわち、上述したように、距離と視差とは反比例の関係にあることから、
Ｋ＝ｄｃ’／ｄｃ
によって拡大縮小率Ｋが決定されてもよい。
なお、このように、ステレオ画像に基づいて視差または距離を求める場合には、ステレオ画像の左画像および右画像それぞれに含まれている各対象物を、左画像と右画像との間で対応付ける必要がある。このステレオ画像での各対象物の対応付けは、対象物画像における類似度判定などの手法によって行うことが可能である。
（対象物が回転する場合）
図１３（ａ）は、対象物を自動車とした場合に、該自動車がカーブを曲がりながら撮像部２に対して近づいてきた状態を撮影した状態を示している。また、図１３（ｂ）は、図１３（ａ）の画像を２値画像で表した状態を示している。これらの図において、「前々回」「前回」「今回」と示されている画像は、それぞれ２つ前のフレームによる画像、１つ前のフレームによる画像、現時点でのフレームによる画像をそれぞれ示している。
図１３（ｂ）に示すように、前々回の対象物の画像に基づいて、自動車の４つの角が特徴点として選択され、各特徴点を中心として相関窓がそれぞれ設けられたものとする。
前々回と前回とでは、自動車はほぼ直進しており、自動車の向き（姿勢）はほとんど変化がない状態となっている。よって、撮像された対象物の画像は、前々回と前回とではほぼ相似の関係となっている。したがって、前々回と前回との間の対象物の対応付けは、前記した手法によって拡大縮小率Ｋの値を設定することによって正確に行うことが可能である。
一方、今回と前回とでは、自動車の向きが変わっており、単純に相関窓と基準点との距離の拡大縮小を行うのみでは正確に対応付けを行うことができなくなっている。これは、対象物の中心座標からの特徴点の向きが今回と前回と変わっているからである。
そこで、移動検出部１４が、特徴点の座標を、次の式に示す回転変換を行うことによって、対象物の中心座標に対して回転させて対応付けを行うようにする。
Figure 0004692371
上式において、θは回転角度を示している。また、Ｋは前記と同様、拡大縮小率を示している。このような変換を行えば、撮像画像における対象物の向きの変化および大きさの変化に対応することが可能となる。
（回転角度の特定）
上記の回転角度θの値は、基本的には一意的に決定されるものではなく、対象物の向きの変化に応じて大きく変動するものである。したがって、実際には、移動検出部１４が何種類かの回転角度θの値を与えて評価演算を行い、最終的に相関度合いの最もよい画素（評価値が０に近い画素）を選択し、移動検出を行うことになる。すなわち、処理時間を短縮するには、回転角度θの値の範囲を狭くすることが好ましいことになる。したがって、以下に示すように、撮像画像内の領域に応じて対象物の向きが特定出来る場合には、これを利用して回転角度θの値を一意的に決定することにより、処理時間を短縮することができる。
図１４（ａ）は、対象物が自動車であり、この自動車は、分岐点を有する道路を走行する場合の例を示している。このような場合、自動車の向きは、基本的には走行している道路の方向に応じて一意的に決定されることになる。
図１４（ｂ）は、撮像画像内に含まれる道路の領域を示している。同図に示すように、領域１の直線状の道路領域と、領域２の直線状の道路領域とが存在しており、各領域での自動車の向きは一意的に決定することが可能であることがわかる。すなわち、領域１の道路の方向と領域２の道路の方向とがなす角度をθとすると、自動車が領域２から領域１へ移動した場合には、特定されたθによって前記した数６による回転変換を行い、対応付けを行えばよいことになる。
このように、対象物の向きに関する条件が、対象物の撮像画像内における位置によって特定できる場合、予め撮像画像内の各領域間の回転関係を設定しておくことによって、移動検出部１４が参照画像において各相関窓を適用する位置に応じて前記した回転角度θの値を一意的に決定することが可能となる。
（相関窓の回転）
図１５は、図１３（ｂ）に示した前回および今回の対象物の画像において、１つの相関窓を拡大して示している。このように、対象物の向きが変化すると、相関窓内の画像の向きも変化する。よって、対象物の向きの変化角度が大きいほど評価関数で求められる評価値に影響を与え、対応付けを困難とすることになる。
よって、このような場合に対応するために、移動検出部１４が、上記のように各特徴点の相対座標を変換するだけでなく、各相関窓の範囲の画像を、それぞれの相関窓の中心座標を基準に回転させるようにしてもよい。このような処理を行うことによって、対象物の向きが大きく変化する場合にも、基準画像と参照画像との間での対象物の対応付けをより正確に行うことが可能となる。
なお、相関窓内の画像の回転変換処理が加わるので、演算量は若干増えることになるが、相関窓内の画像の画素数は小さいものであるので、処理時間を著しく増大させることはない。
（特徴点・相関窓の設定の具体例）
次に、上記で図６（ａ）〜図６（ｄ）などを参照しながら説明した相関窓設定部１３による特徴点の抽出処理および相関窓の設定処理の具体例について説明する。図１６（ａ）は、対象物Ｂ２として自動車が撮影された状態の対象物領域Ｂ２を含む対象物領域Ｂ１の例を示している。このような対象物領域Ｂ１に対して、図１７に示すようなフィルタを用い、フィルタリング処理を行うと、フィルタ結果値が所定の閾値以下となる画素が複数選択される。図１６（ａ）中において、×で示されている画素がここで選択された画素である。このようにして選択された選択点は、周囲の画素とのコントラストがある程度大きいものとなる。
なお、図１７に示すフィルタは、水平方向のエッジを検出するフィルタとなっているが、対象物の撮像の向き、対象物の形状などに応じて最適なフィルタを適宜設定することが好ましい。
その後、図１６（ｂ）に示すように、対象物領域Ｂ１を複数の部分領域（中間領域）に分割する。そして、各部分領域から順に１点ずつ上記の選択点の中からコントラストが高いものを選択し、所定の点数となるまで各部分領域からの選択点の選択を繰り返すことによって特徴点を設定する（図１６（ｃ））。このようにして特徴点を選択することによって、各部分領域からまんべんなく特徴点が選択されることになる。このように、各部分領域からまんべんなく特徴点が選択されることによって、対象物Ｂ２の全体形状に基づく対応付けが可能となる。その後、図１６（ｄ）に示すように、選択された特徴点を中心に、相関窓を設定する。
また、対象物として人の移動を検知する場合には、図１８に示すようなフィルタを用いることが考えられる。ここでは、対象物としての人の頭部および足部が撮像画像中に含まれることを想定している。図１８の左側に示す４つのフィルタは、上２つが頭部の左上および右上を検知するためのフィルタであり、下２つが足部の左下および右下を検知するためのフィルタとなっている。このようなフィルタをそのまま適用してもよいが、相関窓のサイズに応じて、図１８の右側に示すように、各フィルタの画像を単純化してもよい。
このようなフィルタを対象物領域Ｂ１に対して適用し、フィルタリング処理を行うと、フィルタ結果値が所定の閾値以下となる画素が複数選択される。そして、図１９に示すように、対象物領域Ｂ１を複数の部分領域に分割する。そして、上記と同様に、各部分領域から順に１点ずつ上記の選択点の中からコントラストが高いものを選択し、所定の点数となるまで各部分領域からの選択点の選択を繰り返すことによって特徴点を設定する。
（移動検出処理の流れの別の例）
図４に示した移動検出処理のフローチャートにおいて、Ｓ６の後に、参照画像に対してもＳ２〜Ｓ５と同様の処理を行うようにしてもよい。図２０は、この場合の移動検出処理の流れを示すフローチャートである。Ｓ２１〜Ｓ２５の処理は、図４におけるＳ１〜Ｓ５の処理と同様であるので、ここではその説明を省略する。
Ｓ２６では、対象物領域設定部１２が、画像格納部２１から基準画像の次のフレームに相当する参照画像の画像データを取得し、Ｓ２の処理と同様の手法により、該参照画像の中から少なくとも１つの対象物を抽出する。その後、Ｓ３〜Ｓ５の処理と同様に、Ｓ２７〜Ｓ２９の処理が行われる。すなわち、Ｓ２７において、対象物領域設定部１２が対象物領域を設定し、Ｓ２８において、相関窓設定部１３が複数の特徴点を抽出し、Ｓ２９において、相関窓設定部１３が、相関窓および基準点を設定する。
その後、移動検出部１４は、画像格納部２１から基準画像の画像データ、および、基準画像の次のフレームに相当する参照画像の画像データを取得する（Ｓ３０）。そして、移動検出部１４は、Ｓ２５において設定された相関窓および基準点を用いて評価演算を行い、評価値が最小であり、かつ所定の閾値以下となる参照画像上の対応点を特定することによって対象物の移動を検出する（Ｓ３１）。ここで、Ｓ７の処理と異なる点としては、参照画像において対応点を探索するときの探索範囲が、Ｓ２９において設定された基準点となる点である。すなわち、参照画像において特定された対象物のうち、基準画像において特定された対象物と同一のものであると判定される対象物を特定することによって対象物の移動が検出されることになる。その後のＳ３２〜Ｓ３４の処理は、図４におけるＳ８〜Ｓ１０の処理と同様である。
以上のような処理は、多数の対象物が撮像範囲内に出入りするような交通監視や人の監視などの場合に好適である。この場合、Ｓ２２において、基準画像から多数（例えばＢ１〜ＢＮのＮ個）の対象物が抽出され、それぞれに対して相関窓、基準点が設定されるとともに、Ｓ２６において、参照画像からＢ’１〜Ｂ’ＭのＭ個の対象物が抽出され、それぞれに対して相関窓、基準点が設定されることになる。
そして、Ｓ３１において、基準画像上の対象物Ｂ１〜ＢＮの各基準点（ｘｎｃ、ｙｎｃ）（ｎ＝１〜Ｎ）それぞれに対し、参照画像上の対象物Ｂ’１〜Ｂ’Ｍの各基準点（ｘｍｃ’、ｙｍｃ’）（ｍ＝１〜Ｍ）が数２に代入され、最も評価値Ｅの値が小さかった（かつ所定の閾値以下だった）組み合わせが同一物体として関連付けられることになる。
もし、対象物Ｂ１〜ＢＮの中で関連付けのできないものがあった場合、その物体は撮像範囲内からいなくなったものとして扱われる。また、対象物Ｂ’１〜Ｂ’Ｍの中で関連付けがされなかったものがあった場合、この対象物は新たに撮像範囲内に入ってきた対象物として扱われることになる。
すなわち、上記の処理によれば、基準画像内に存在せず、参照画像内にのみ存在する物体の追跡を開始することが可能となる。
また、上記の処理によれば、対応点の探索が、参照画像において特定された対象物の基準点に限定されることになるので、参照画像における全ての点を探索する場合と比較して、高速かつ高精度に移動検出を行うことが可能となる。
基準画像において、図２１（ａ）に示すように対象物が検出され、参照画像において、図２１（ｂ）に示すように対象物が検出された場合、上記の処理によれば、図２１（ｃ）に示すように、各対象物の移動追跡が実現される。
（ステレオ画像を用いる場合の移動検出処理の流れ）
次に、上記した、ステレオ画像によって拡大縮小率を特定する構成における移動検出処理の流れについて説明する。ステレオ画像によって拡大縮小率を特定する場合、基準画像および参照画像の双方において各対象物の各基準点の視差（距離）を算出する必要がある。よって、上記した図２０に示すフローチャートによる処理のように、基準画像および参照画像の双方において対象物を特定することが必要である。また、対象物の特定は、基準画像および参照画像の双方のステレオ画像それぞれに対して行われることになる。
具体的には次のような処理が行われる。図２０のＳ３１において、移動検出部１４は、基準画像における対象物Ｂ１〜ＢＮの各基準点（ｘｎｃ、ｙｎｃ）（ｎ＝１〜Ｎ）に対し、上記した手法により視差ｄ１ｃ〜ｄＮｃ（または距離Ｌ１ｃ〜ＬＮｃ）を算出する。また、同様にして、参照画像上の対象物Ｂ’１〜Ｂ’Ｍの各基準点（ｘｍｃ’、ｙｍｃ’）（ｍ＝１〜Ｍ）に対し、上記した手法により視差ｄ１ｃ’〜ｄＭｃ’（または距離Ｌ１ｃ’〜ＬＭｃ’）を算出する。
次に、移動検出部１４は、基準画像中の各基準点および参照画像中の各基準点の組み合わせに対して、Ｋ＝ｄｍｃ'／ｄｎｃ（またはＫ＝Ｌｎｃ／Ｌｍｃ'）として上記の式によって拡大縮小率Ｋを算出する。そして、この拡大縮小率Ｋを前記した（ｘｃｉ，ｙｃｉ）＝Ｋ（ｘｃｉ，ｙｃｉ）の式に代入して相対座標を変換し、数２に示す評価関数を用いて評価値を求める。そして、上記したとおり、最も評価値Ｅの値が小さかった（かつ所定の閾値以下だった）基準点、対応点の組み合わせが同一物体として関連付けられ、物体の移動が検出される。
以上の処理によれば、拡大縮小率Ｋがある程度絞り込まれることになるので、処理時間を短縮することが可能となる。
（画像処理装置の具体構成）
画像処理部３が備える各ブロック、特に、撮像画像格納制御部１１、対象物領域設定部１２、相関窓設定部１３、移動検出部１４、および出力制御部１５は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
すなわち、画像処理部３は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理部３の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理部３に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
また、画像処理部３を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明に係る移動物体追跡システムは、例えば自動車の動きを認識することによって交通管制や自動車運転アシストなどの用途に用いることが可能である。また、例えば公共の場での通行人、および店舗内での客などの動きを認識することによって、通行状況調査、および顧客行動調査などの用途に用いることが可能である。また、例えば工場の生産ラインにおける生産対象物の動き、ならびに作業者の動きを認識することによって、生産管理、生産計画などの用途に用いることが可能である。
本発明の一実施形態に係る移動物体追跡システムの概略構成を示すブロック図である。 （ａ）および（ｂ）は、それぞれ基準画像および参照画像に複数の相関窓を適用した状態を示す図である。 比較例、および本実施形態の手法により、Ｘ軸方向に相関窓を移動させながら評価値を算出した結果を示すグラフである。 移動検出処理の流れを示すフローチャートである。 対象物の画像の一例、および、対象物領域設定部によって設定された対象物領域の例を示す図である。 （ｂ）〜（ｅ）は、４つのフィルタのそれぞれを対象物領域に適用した結果を示す図であり、（ａ）は、（ｂ）〜（ｅ）に示す処理結果におけるフィルタ結果値の最小値を選択した結果を示す図である。 （ａ）および（ｂ）は、それぞれ基準画像および参照画像における複数の相関窓および対象物の中心座標の状態を示す図である。 対象部が撮像部に対して近づくように移動した場合の撮像画像の変化を示す図である。 （ａ）および（ｂ）は、それぞれ基準画像および参照画像において、対象物の大きさが変化する場合に、１つの相関窓を設定する比較例の状態を示す図である。 （ａ）および（ｂ）は、それぞれ基準画像および参照画像において、対象物の大きさが変化する場合に、複数の相関窓を設定する本実施形態の状態を示す図である。 平面上を移動する対象物に対して撮像部が固定された状態で配置されている撮像環境を示す側面図である。 撮像部を２つ設けた撮像環境を示す図である。 （ａ）は、対象物を自動車とした場合に、該自動車がカーブを曲がりながら撮像部に対して近づいてきた状態を撮影した状態を示す図であり、（ｂ）は、（ａ）の画像を２値画像で表した状態を示す図である。 （ａ）は、対象物が自動車であり、この自動車は、分岐点を有する道路を走行する場合の例を示す図であり、（ｂ）は、撮像画像内に含まれる道路の領域を示す図である。 図１３（ｂ）に示した前回および今回の対象物の画像において、１つの相関窓を拡大して示す図である。 （ａ）〜（ｄ）は、対象物として自動車が撮影された場合の特徴点の選択および相関窓の設定の手順を示す図である。 図１６（ａ）に示す画像に対して適用したフィルタを示す図である。 対象物として人の移動を検知する場合に用いるフィルタの例を示す図である。 対象物として人の移動を検知する場合の特徴点の選択の手順を示す図である。 移動検出処理の流れの別の例を示すフローチャートである。 （ａ）〜（ｃ）は、それぞれ対象物が複数存在する場合の基準画像、参照画像、および移動追跡表示画像の例を示す図である。 （ａ）は、動画像における対象物の移動の状態の一例を示す図であり、（ｂ）および（ｃ）は、比較例において、それぞれ基準画像および参照画像に１つの相関窓を適用した状態を示す図である。
符号の説明
１ 移動物体検出システム
２ 撮像部
２Ａ 撮像素子
２Ｂ 撮像レンズ
３ 画像処理部
４ 表示部
１１ 撮像画像格納制御部
１２ 対象物領域設定部
１３ 相関窓設定部
１４ 移動検出部
１５ 表示制御部
２１ 画像格納部
２２ 対象物領域格納部
２３ 相関窓格納部
２４ 移動検出情報格納部

Claims (14)

  1. 対象物を撮影する撮像部によって撮影された時系列の撮像画像データから、第１の時点での撮像画像を基準画像として取得し、該基準画像中の対象物の画像領域を含む部分画像領域を複数箇所選択する部分画像領域設定手段と、
    上記第１の時点とは異なる第２の時点での撮像画像を参照画像として取得し、基準画像における各部分画像領域内の画素値の状態と、参照画像における各部分画像領域内の画素値の状態との相違に基づいて、基準画像と参照画像との間の対象物の移動を検出する移動検出手段とを備え、
    上記部分画像領域設定手段が、各部分画像領域の相対位置の基準となる基準点を設定するとともに、
    上記移動検出手段が、上記参照画像に対して、各部分画像領域の基準点に対する相対位置を保った状態で、各部分画像領域内の画素値の状態を取得し、基準画像における各部分画像領域内の画素値の状態との相違を算出し、該基準点の位置を参照画像において算出することを特徴とする画像処理装置。
  2. 対象物を撮影する撮像部によって撮影された時系列の撮像画像データから、第１の時点での撮像画像を基準画像として取得し、該基準画像中の対象物の画像領域を含む部分画像領域を複数箇所選択する部分画像領域設定手段と、
    上記第１の時点とは異なる第２の時点での撮像画像を参照画像として取得し、基準画像における各部分画像領域内の画素値の状態と、参照画像における各部分画像領域内の画素値の状態との相違に基づいて、基準画像と参照画像との間の対象物の移動を検出する移動検出手段とを備え、
    上記部分画像領域設定手段が、各部分画像領域の相対位置の基準となる基準点を設定するとともに、
    上記移動検出手段が、上記参照画像に対して、各部分画像領域の基準点に対する相対位置の距離を拡大または縮小する処理により、上記各部分画像領域の基準点に対する相対位置を変換して、各部分画像領域内の画素値の状態を取得し、基準画像における各部分画像領域内の画素値の状態との相違を算出し、該基準点の位置を参照画像において算出することを特徴とする画像処理装置。
  3. 上記複数の部分画像領域の画素数の合計が、上記対象物の画像領域の画素数の合計よりも小さいことを特徴とする請求項１または２記載の画像処理装置。
  4. 上記部分画像領域設定手段が、上記対象物の画像領域を複数の中間領域に分割し、各中間領域から１つ以上の上記部分画像領域を選択することを特徴とする請求項１または２記載の画像処理装置。
  5. 上記部分画像領域設定手段が、対象物の部分的形状を特徴付ける特徴点を検出するためのフィルタを上記基準画像に適用することによって特徴点を複数選択し、該特徴点を含む領域を部分画像領域として設定することを特徴とする請求項１または２記載の画像処理装置。
  6. 上記移動検出手段が、対象物を互いに異なる位置から同時に撮影した２つの撮像画像を上記撮像部から取得するとともに、この２つの撮像画像に基づいて、基準画像における対象物と撮像部との距離、および、参照画像における対象物と撮像部との距離を算出し、これらの距離に基づいて拡大縮小率を決定することを特徴とする請求項２記載の画像処理装置。
  7. 対象物を撮影する撮像部によって撮影された時系列の撮像画像データから、第１の時点での撮像画像を基準画像として取得し、該基準画像中の対象物の画像領域を含む部分画像領域を複数箇所選択する部分画像領域設定手段と、
    上記第１の時点とは異なる第２の時点での撮像画像を参照画像として取得し、基準画像における各部分画像領域内の画素値の状態と、参照画像における各部分画像領域内の画素値の状態との相違に基づいて、基準画像と参照画像との間の対象物の移動を検出する移動検出手段とを備え、
    上記部分画像領域設定手段が、各部分画像領域の相対位置の基準となる基準点を設定するとともに、
    上記移動検出手段が、上記参照画像に対して、各部分画像領域の基準点に対する相対位置を回転させる処理により、上記各部分画像領域の基準点に対する相対位置を変換して、各部分画像領域内の画素値の状態を取得し、基準画像における各部分画像領域内の画素値の状態との相違を算出し、該基準点の位置を参照画像において算出することを特徴とする画像処理装置。
  8. 上記移動検出手段が、上記参照画像に対して、各部分画像領域自体も回転させて各部分画像領域内の画素値の状態を取得することを特徴とする請求項７記載の画像処理装置。
  9. 対象物を撮影する撮像部によって撮影された時系列の撮像画像データから、第１の時点での撮像画像を基準画像として取得し、該基準画像中の対象物の画像領域を含む部分画像領域を複数箇所選択する部分画像領域設定処理と、
    上記第１の時点とは異なる第２の時点での撮像画像を参照画像として取得し、基準画像における各部分画像領域内の画素値の状態と、参照画像における各部分画像領域内の画素値の状態との相違に基づいて、基準画像と参照画像との間の対象物の移動を検出する移動検出処理とを有し、
    上記部分画像領域設定処理において、各部分画像領域の相対位置の基準となる基準点が設定されるとともに、
    上記移動検出処理において、上記参照画像に対して、各部分画像領域の基準点に対する相対位置を保った状態で、各部分画像領域内の画素値の状態が取得され、基準画像における各部分画像領域内の画素値の状態との相違が算出されることを特徴とする画像処理方法。
  10. 対象物を撮影する撮像部によって撮影された時系列の撮像画像データから、第１の時点での撮像画像を基準画像として取得し、該基準画像中の対象物の画像領域を含む部分画像領域を複数箇所選択する部分画像領域設定処理と、
    上記第１の時点とは異なる第２の時点での撮像画像を参照画像として取得し、基準画像における各部分画像領域内の画素値の状態と、参照画像における各部分画像領域内の画素値の状態との相違に基づいて、基準画像と参照画像との間の対象物の移動を検出する移動検出処理とを有し、
    上記部分画像領域設定処理において、各部分画像領域の相対位置の基準となる基準点が設定されるとともに、
    上記移動検出処理において、上記参照画像に対して、各部分画像領域の基準点に対する相対位置の距離を拡大または縮小する処理により、上記各部分画像領域の基準点に対する相対位置を変換して、各部分画像領域内の画素値の状態を取得し、基準画像における各部分画像領域内の画素値の状態との相違を算出し、該基準点の位置を参照画像において算出することを特徴とする画像処理方法。
  11. 対象物を撮影する撮像部によって撮影された時系列の撮像画像データから、第１の時点での撮像画像を基準画像として取得し、該基準画像中の対象物の画像領域を含む部分画像領域を複数箇所選択する部分画像領域設定処理と、
    上記第１の時点とは異なる第２の時点での撮像画像を参照画像として取得し、基準画像における各部分画像領域内の画素値の状態と、参照画像における各部分画像領域内の画素値の状態との相違に基づいて、基準画像と参照画像との間の対象物の移動を検出する移動検出処理とを有し、
    上記部分画像領域設定処理において、各部分画像領域の相対位置の基準となる基準点が設定されるとともに、
    上記移動検出処理において、上記参照画像に対して、各部分画像領域の基準点に対する相対位置を回転させる処理により、上記各部分画像領域の基準点に対する相対位置を変換して、各部分画像領域内の画素値の状態を取得し、基準画像における各部分画像領域内の画素値の状態との相違を算出し、該基準点の位置を参照画像において算出することを特徴とする画像処理方法。
  12. 請求項１〜８のいずれか１項に記載の画像処理装置を動作させる画像処理プログラムであって、コンピュータを上記の各手段として機能させるための画像処理プログラム。
  13. 請求項１２に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
  14. 対象物を撮影する撮像部と、
    請求項１〜８のいずれか１項に記載の画像処理装置とを備えることを特徴とする移動物体検出システム。
JP2006122570A 2006-04-26 2006-04-26 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム Active JP4692371B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006122570A JP4692371B2 (ja) 2006-04-26 2006-04-26 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム
US11/740,058 US8019120B2 (en) 2006-04-26 2007-04-25 Image processing apparatus, image processing method, image processing program, recording medium recording the image processing program, and moving object detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006122570A JP4692371B2 (ja) 2006-04-26 2006-04-26 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム

Publications (2)

Publication Number Publication Date
JP2007293722A JP2007293722A (ja) 2007-11-08
JP4692371B2 true JP4692371B2 (ja) 2011-06-01

Family

ID=38648351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006122570A Active JP4692371B2 (ja) 2006-04-26 2006-04-26 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム

Country Status (2)

Country Link
US (1) US8019120B2 (ja)
JP (1) JP4692371B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080199085A1 (en) * 2007-02-19 2008-08-21 Seiko Epson Corporation Category Classification Apparatus, Category Classification Method, and Storage Medium Storing a Program
WO2009029765A1 (en) * 2007-09-01 2009-03-05 Global Rainmakers, Inc. Mirror system and method for acquiring biometric data
US9117119B2 (en) 2007-09-01 2015-08-25 Eyelock, Inc. Mobile identity platform
US9036871B2 (en) 2007-09-01 2015-05-19 Eyelock, Inc. Mobility identity platform
JP4694581B2 (ja) * 2008-01-25 2011-06-08 富士フイルム株式会社 ファイル生成装置および方法、３次元形状再生装置および方法並びにプログラム
JP5083080B2 (ja) * 2008-07-11 2012-11-28 株式会社ニコン 画像マッチング装置、およびカメラ
JP5452973B2 (ja) * 2009-04-28 2014-03-26 富士機械製造株式会社 撮像装置及びその撮像装置を備える切削機械
JP5257274B2 (ja) * 2009-06-30 2013-08-07 住友電気工業株式会社 移動体検出装置、移動体検出方法及びコンピュータプログラム
JP5483535B2 (ja) * 2009-08-04 2014-05-07 アイシン精機株式会社 車両周辺認知支援装置
JP5648207B2 (ja) * 2009-09-04 2015-01-07 現代自動車株式会社 車両用操作装置
JP4852652B2 (ja) * 2010-03-09 2012-01-11 パナソニック株式会社 電子ズーム装置、電子ズーム方法、及びプログラム
JP5521778B2 (ja) * 2010-05-26 2014-06-18 富士通株式会社 計測装置及び制御装置
JP5881136B2 (ja) * 2010-09-27 2016-03-09 ソニー株式会社 情報処理装置及び方法、並びにプログラム
WO2013003860A1 (en) * 2011-06-30 2013-01-03 Yale University Subject sensing in an environment
US10089527B2 (en) * 2012-03-26 2018-10-02 Panasonic Intellectual Property Corporation Of America Image-processing device, image-capturing device, and image-processing method
JP5964108B2 (ja) * 2012-03-30 2016-08-03 株式会社メガチップス 物体検出装置
US10309797B2 (en) * 2014-12-19 2019-06-04 Here Global B.V. User interface for displaying navigation information in a small display
CN105184751A (zh) * 2015-09-22 2015-12-23 成都融创智谷科技有限公司 一种基于改进聚类的连通性运动物体检测方法
CN105303562A (zh) * 2015-09-22 2016-02-03 成都融创智谷科技有限公司 一种基于c-均值聚类法的运动目标检测方法
JP6618767B2 (ja) * 2015-10-27 2019-12-11 株式会社デンソーテン 画像処理装置および画像処理方法
JP6337949B1 (ja) * 2016-12-15 2018-06-06 オムロン株式会社 スジ状領域検出装置およびスジ状領域検出方法
US11432982B2 (en) * 2018-03-26 2022-09-06 Augustine Biomedical + Design, LLC Relocation module and methods for surgical equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276596A (ja) * 1999-03-25 2000-10-06 Nec Corp 自動追尾装置
JP2001307090A (ja) * 2000-04-27 2001-11-02 Fujitsu Ltd 画像照合処理システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5278663A (en) * 1991-06-28 1994-01-11 Samsung Electronics Co. Ltd. Method for compensating the vibration of an image and device therefor in a video camera
JP3200950B2 (ja) * 1992-04-24 2001-08-20 株式会社日立製作所 物体認識装置
EP0567059B1 (en) 1992-04-24 1998-12-02 Hitachi, Ltd. Object recognition system using image processing
JP2914170B2 (ja) * 1994-04-18 1999-06-28 松下電器産業株式会社 映像変化点検出方法
JPH07334682A (ja) * 1994-06-08 1995-12-22 Mitsubishi Heavy Ind Ltd 追尾装置
US5802220A (en) * 1995-12-15 1998-09-01 Xerox Corporation Apparatus and method for tracking facial motion through a sequence of images
US20050012023A1 (en) * 1996-02-12 2005-01-20 Vock Curtis A. Ball tracking in three-dimensions
US6028960A (en) * 1996-09-20 2000-02-22 Lucent Technologies Inc. Face feature analysis for automatic lipreading and character animation
US5844613A (en) * 1997-03-17 1998-12-01 Microsoft Corporation Global motion estimator for motion video signal encoding
JPH10262258A (ja) * 1997-03-19 1998-09-29 Sony Corp 画像符号化装置及び方法
US6295367B1 (en) * 1997-06-19 2001-09-25 Emtera Corporation System and method for tracking movement of objects in a scene using correspondence graphs
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
US6404901B1 (en) * 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
JP4344968B2 (ja) * 1999-10-28 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法
JP3611507B2 (ja) * 2000-05-30 2005-01-19 松下電器産業株式会社 動きベクトル検出装置
IL141650A (en) * 2001-02-26 2005-12-18 Elop Electrooptics Ind Ltd Method and system for tracking an object
US6872181B2 (en) * 2001-04-25 2005-03-29 Siemens Medical Solutions Usa, Inc. Compound image display system and method
JP3898606B2 (ja) * 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
US7194110B2 (en) * 2002-12-18 2007-03-20 Intel Corporation Method and apparatus for tracking features in a video sequence
US7646891B2 (en) * 2002-12-26 2010-01-12 Mitshubishi Denki Kabushiki Kaisha Image processor
JP4317465B2 (ja) * 2004-02-13 2009-08-19 本田技研工業株式会社 顔識別装置、顔識別方法及び顔識別プログラム
JP4687994B2 (ja) * 2004-04-09 2011-05-25 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1647937A1 (en) * 2004-10-15 2006-04-19 Sony Deutschland GmbH Method for motion estimation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000276596A (ja) * 1999-03-25 2000-10-06 Nec Corp 自動追尾装置
JP2001307090A (ja) * 2000-04-27 2001-11-02 Fujitsu Ltd 画像照合処理システム

Also Published As

Publication number Publication date
US8019120B2 (en) 2011-09-13
JP2007293722A (ja) 2007-11-08
US20070253596A1 (en) 2007-11-01

Similar Documents

Publication Publication Date Title
JP4692371B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム
US7321386B2 (en) Robust stereo-driven video-based surveillance
JP3977776B2 (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
US9420265B2 (en) Tracking poses of 3D camera using points and planes
EP2570993B1 (en) Egomotion estimation system and method
US8774456B2 (en) Detective information registration device and target object detection device for detecting an object in an image
JP6184271B2 (ja) 撮像管理装置、撮像管理システムの制御方法およびプログラム
WO2018098862A1 (zh) 用于虚拟现实设备的手势识别方法、装置及虚拟现实设备
US20170259830A1 (en) Moving amount derivation apparatus
JP6617150B2 (ja) 物体検出方法及び物体検出装置
JP6956051B2 (ja) 画像処理装置、運転支援システム、画像処理方法及びプログラム
KR101705558B1 (ko) Avm 시스템의 공차 보정 장치 및 방법
JP2005217883A (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
JP4882577B2 (ja) 物体追跡装置およびその制御方法、物体追跡システム、物体追跡プログラム、ならびに該プログラムを記録した記録媒体
JP6331761B2 (ja) 判定装置、判定方法及び判定プログラム
KR101726692B1 (ko) 객체 추출 장치 및 방법
KR102029335B1 (ko) 왜곡 영상 보정 장치 및 방법
JP2008026999A (ja) 障害物検出システム、及び障害物検出方法
JP2007200364A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
JP5539565B2 (ja) 撮像装置及び被写体追跡方法
JP2009077022A (ja) 運転支援システム及び車両
KR101714131B1 (ko) 주차구획 인식 장치 및 방법
JP2013200840A (ja) 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置
JP2003288600A (ja) 歩行者認識装置及び認識方法
KR102112784B1 (ko) 왜곡 영상 보정 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140304

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4692371

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04