JP4124861B2 - 移動量検出装置及びその方法 - Google Patents
移動量検出装置及びその方法 Download PDFInfo
- Publication number
- JP4124861B2 JP4124861B2 JP17283898A JP17283898A JP4124861B2 JP 4124861 B2 JP4124861 B2 JP 4124861B2 JP 17283898 A JP17283898 A JP 17283898A JP 17283898 A JP17283898 A JP 17283898A JP 4124861 B2 JP4124861 B2 JP 4124861B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- movement
- evaluation value
- time
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、時系列画像を利用して移動量を算出する移動量検出装置に係り、特に高速撮影が可能なセンサによって撮影された画像から領域の移動量を高精度に検出可能な移動量検出装置及びその方法に関する。
【０００２】
【従来の技術】
従来、外界の情報をコンピュータに入力する手段としてはＣＣＤカメラが利用されることがほとんどであり、カメラからコンピュータへのデータの転送はＮＴＳＣ規格に合わせて１秒間に３０フレームの速度で行なわれていた。この為、計算機の能力が上がっても画像の取り込み速度がネックとなり、画像情報に基づいた高速な機器の制御を実現することは困難であった。
【０００３】
これに対して、感度可変素子を利用した新しいタイプのセンサを提案されている（特開平６−１３９３６１号）。
【０００４】
この素子には画像処理回路が搭載されており、簡単な画像処理を行なった結果を１秒間に１００枚程度の割合で出力することが可能となっている。
【０００５】
しかし、チップに搭載されているのはアナログの処理回路であり、処理可能な演算は比較的簡単なものである。
【０００６】
例えば、ジェスチャー入力型インタラクティブゲーム（画像ラボ：１９９８年３月号）は、３２画素×３２画素の人工網膜チップを利用して対象物体の動きを求めているが、得られる動き情報は精度、個数とも複雑な画像処理に利用するには不十分である。
【０００７】
また、スマート・ビジョン・センサが開発されている（画像ラボ：１９９７年１２月号）。
【０００８】
このセンサはデジタル回路を使って画像を処理しており、領域のラベリングや重心計算などの簡単な画像処理を高速に行なうことができる。しかし、このセンサはライン毎の並列処理性能に重点がおかれており、２次元に広がる領域内の動き情報を高速に精度良く求めることは困難である。
【０００９】
これに対して、超並列・超高速視覚情報処理システム（応用物理学会誌第６７巻第１号：石川他著）は、デジタル処理を行なう回路をセンサに搭載して２次元画像内の領域を１秒間に１０００枚の速度で追跡することが可能である。しかし、このシステムは近傍演算のみですべての画像処理をおこなうように設計されているため、対象物体の複雑さや速度が増すと十分な精度の演算結果を得ることが出来ない可能性がある。
【００１０】
今後はさらに前記のようなデジタル処理回路を搭載したセンサの開発が進むと考えられ、１秒間に１０００枚以上の速度でカラーや濃淡の画像を処理した結果を出力できるようになると考えられる。
【００１１】
このような事実を鑑みて、われわれは画像を高速に取り込むと同時に処理することが可能なセンサに搭載可能である。時系列画像から高速に安定して領域の移動量を検出するための手法を提案する。
【００１２】
【発明が解決しようとする課題】
本発明は前記のような点に鑑みなされたもので、高速画像入力が可能なセンサで道路などの背景と移動物体を撮影した際に、その画像中の各領域の移動量を高精度に検出することのできる移動量検出装置及びその方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明は、時系列画像を入力する画像入力手段と、移動物体の移動量を求める移動量検出手段と、を具備し、前記移動量検出手段は、前記時系列画像の中から第１の時間間隔で原寸の大きさである原寸画像を抽出し、前記抽出された前記原寸画像中の領域が、時間的に次に抽出された前記原寸画像中でどの位置に移動したかを探索し、前記探索領域毎に第１の評価値を求め、前記時系列画像の中の前記各原寸画像を所定の縮小率で縮小して縮小画像をそれぞれ生成し、前記時系列の縮小画像の中から、前記第１の時間間隔と前記縮小率に基づいて前記原寸画像の移動量と前記縮小画像の移動量とが同じなるように決められた第２の時間間隔で、前記縮小画像を抽出し、前記抽出された前記縮小画像中の領域が、時間的に次に抽出された前記縮小画像中でどの位置に移動したかを探索し、前記探索領域毎に第２の評価値を求め、前記第１の評価値と前記第２の評価値の和が最も良くなる領域間の移動量を前記移動量とする、ことを特徴とする移動量検出装置である。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。
【００２０】
図１は本発明の一実施形態に係る移動量検出装置１０の構成を示すブロック図である。
【００２１】
移動量検出装置１０は、時系列画像を利用して領域の移動量を検出するものであり、画像入力部１２、画像蓄積部１４、移動量検出部１６を有する。
【００２２】
画像入力部１２は、背景及び移動物体の撮影により得られる時系列画像を入力する。この画像入力部１２から入力された時系列画像は画像蓄積部１４に与えれる。ここで、画像入力部１２は、固定または移動するセンサを用いて各種の物体を撮影することによって得られる時系列画像を数百〜数千枚／秒の割合で高速に入力する。また、ここで画像として入力される物体は、自動車、道路及び看板などであり、これらの対象を検出するために特別な色や印などを付加する必要はない。
【００２３】
画像蓄積部１４は、画像入力部１２から得られる時系列入力画像を複数枚蓄積し、必要に応じて移動量検出部１６に画像を与える。
【００２４】
移動量検出部１６は、画像蓄積部１４から転送された画像を必要に応じて利用し、それぞれの画像を格子状に分割した後、各格子領域が時系列画像間でどのように移動したかを検出する。
【００２５】
次に、移動量検出装置１０の動作を説明する。
【００２６】
図２は、本装置１０によって実現される移動量検出方法を説明するための図である。ここでは、道路上を走行している自動車を移動物体として、これを走行中の自動車や道路横の鉄塔などに搭載したカメラで撮影した場合を想定する。
【００２７】
図２（ａ）は、時刻ｔのときに得られた入力画像、同図（ｂ）は時刻ｔ−１のときに得られた入力画像である。これらの入力画像は、画像入力部１２から時系列で順次得られる。
【００２８】
一般的な画像処理では、画像入力部１２からビデオレートの３０枚／秒の割合で画像が得られるので、画像間での物体の移動量が大きく、高速に移動する物体を追跡する場合には、非常に広い探索領域を設定する必要がある。
【００２９】
しかし、ここで扱う画像入力部１２は、１秒間に１０００枚程度の画像を高速に取得することが可能であり、このように高速に画像を取得できれば物体追跡の為の探索領域も小さくすることが可能である。
【００３０】
例えば、１／１０００秒で１画素程度移動する物体を撮影した場合、ビデオレートでこの物体を撮影すると探索領域は±３３画素以上必要となる。しかし、１秒間に１０００枚の画像を獲得できれば探索領域は±２画素以下で済み、探索処理を非常に高速に行なうことが可能となる。
【００３１】
以下の説明では、連続する時系列画像間での物体の移動量が２画素以下である場合を考える。
【００３２】
なお、上記のように連続した時間の中から１／１０００秒毎に画像を抽出することを、時間方向のサンプリングとする。
【００３３】
画像蓄積部１４
画像入力部１２から高速に入力された画像は、まず画像蓄積部１４に蓄積される。
【００３４】
画像蓄積部１４では図３に示すように、まず、入力画像そのものの画像（以下、原寸画像という）を蓄積する。そして、これらの画像を縮小率２-Mで縮小した縮小画像を生成する。ここで、この原寸画像の縮小が、いわゆる空間方向の変形となる。Ｍは、自然数であり、原寸画像の大きさや画像処理の能力やメモリー量に併せて設定する。原寸画像の縮小方法としては、原寸画像をＮ×Ｎ画素の格子状の領域に分割し、１／２に縮小した画像を生成する場合には、各画素の大きさは原寸画像と同じでＮ／２×Ｎ／２画素の画像を作成する。
【００３５】
そして、最後にこれら縮小画像を蓄積する。
【００３６】
なお、縮小率を２-Mとすれば高速な画像縮小が可能であるが、画像処理の能力やメモリー量が許せば縮小率を任意の値に設定することも可能である。
【００３７】
移動量検出部１６
移動量検出部１６では、図４に示した手順で処理を行なう。
【００３８】
(1) 基本方法
まず、画像をＮ×Ｎ画素の格子状の領域に分割し、各分割領域内のエッジの強さや密度などを求める。
【００３９】
次に、エッジの特徴をもとに各領域が時系列間で対応づけ可能かどうかを評価する。実際には、閾値処理によって、領域内に強いエッジ成分が少ない領域に関しては対応付けが不可能であると判断して対応探索候補から外す。
【００４０】
次に、対応探索候補となった領域が時系列画像間でどのように移動したかを求める。
【００４１】
ここでは、時系列画像間での物体の移動量が２画素以下の場合について考えているので、探索領域は図５のようになる。ここで、対象となる物体がさらに高速である場合は探索領域が広くなることもある。移動量が２画素以下の場合は、各格子領域は時系列画像間で±２画素の探索領域内で対応の評価値が最も良い領域に移動したと考える。ここで、評価値は領域内の各点の濃淡情報や色情報の差分の絶対値和や自乗和または相関値などを用いることが可能である。
【００４２】
例えば、領域の明るさの自乗和を評価値とする場合は以下の値が最小となる領域を対応領域とする。
【００４３】
【数１】
ここで、最小となる評価値が閾値以下であれば、対応が取れているとして、対応付けられた領域間の移動量を算出する。
【００４４】
最後に、連続した数回の処理で得られた微小時間の移動量、すなわち、微小移動量を足し合わせることによって、ビデオレート（１／３０秒毎）などの１／１０００秒よりも長い時間間隔での移動量を算出する。
【００４５】
(2) 縮小画像の利用方法
大まかな流れは上記のようになるが、短い時間間隔で局所的な探索を繰り返して長い時間の移動量を得る場合は、ノイズの影響などを受ける可能性が大きくなる。
【００４６】
そこで、本実施形態では図６に示すように、画像蓄積部１４で蓄積した１／２縮小画像や１／４縮小画像などを利用してより安定に領域の移動量を算出する。なお、検出対象となる物体は等速度で移動していると仮定する。
【００４７】
▲１▼縮小画像の利用方法の着眼点
ここで、例えば、図６に示したように画像を１／２縮小画像、１／４縮小画像に対して縮小していない原寸画像と同様に移動量を求めた場合を考える。
【００４８】
１／２縮小画像の時刻ｔと時刻ｔ＋１の間の移動量は、対応付けが正確に行われたとすれば、原寸画像で得られる移動量の１／２になるはずである。
【００４９】
同様に、１／４縮小画像では、得られる移動量も原寸画像で得られる移動量の１／４になると考えられる。
【００５０】
▲２▼縮小画像と原寸画像との関係
ここで、上記とは視点を変えて、１／２縮小画像に対しては、時刻ｔから時刻ｔ＋２までに移動した量を算出することによって得られる移動量の大きさは、原寸画像で求めた移動量と同じになるはずである。
【００５１】
同様に、１／４縮小画像の場合は、時刻ｔと時刻ｔ＋４の間で移動量を求めれば、原寸画像で求めた移動量と同じ大きさになるはずである。
【００５２】
▲３▼縮小画像と原寸画像との実際の利用方法
上記のように縮小画像と原寸画像との関係は明らかになったが、実際にこれら関係をどのように利用するかが問題となる。このために、ここで、(1) 基本方法における「評価値」を使用する。すなわち、縮小画像の所定の時刻の評価値と、原寸画像の所定の時刻の評価値を求め、ここから両者を関係付ける。そして、最も本発明の特徴となるのが、どの時刻の評価値を採用するかである。すなわち、その特徴は、原寸画像で求めた移動量と同じ大きさの移動量になる縮小画像の時刻の評価値を採用することである。
【００５３】
具体的には、１／２縮小画像に対しては、原寸画像で求めた移動量と同じ大きさになる時刻ｔと時刻ｔ＋２の画像の間で求められた評価値Ｈ２を用いる。
【００５４】
同様に、１／４縮小画像に対しては、時刻ｔと時刻ｔ＋４の画像の間で求められた評価値Ｈ４を用いる。
【００５５】
そして、これらを原寸画像で求められた評価値Ｈ１に足し込むことによって、各領域の移動量を評価値の和が最小になる移動量として安定に求めることが可能となる。
【００５６】
すべての縮小率の画像に対して、同じ大きさの領域の対応をとった場合、図７に示すように１／４縮小画像の領域は等価的に１６倍の大きさの領域となり、１／２縮小画像の領域は等価的に４倍の大きさの領域となる。
【００５７】
そこで、領域Ａの移動量を求めるときには、１／４縮小画像の時刻ｔと時刻ｔ＋４の対応から得られる評価値Ｈ４と、１／２−ａ縮小画像の時刻ｔと時刻ｔ＋２の対応から得られる評価値Ｈ２と、原寸画像のＡ領域の評価値Ｈ１を足し併せることによって、最適な移動量を求めることが可能となる。
【００５８】
同様に、領域Ｂに対しては、１／４縮小画像の評価値Ｈ４と，１／２−ｂ縮小画像の評価値Ｈ２と，原寸画像の領域Ｂの評価値Ｈ１を足し併せればよい。
【００５９】
さらに、移動物体の等速性が仮定できる場合には１／８や１／１６に縮小した画像なども利用可能である。
【００６０】
ここで述べた手法は、移動物体が等速度で移動しているという仮定が必要であるが、１／１０００秒間隔などの高速で画像を撮影した場合には局所的な等速性の仮定が殆どの場合は成り立つと考えられる。
【００６１】
ここで、画像の縮小は、対応付けのための窓領域のサイズを大きくすることと等価であり、この処理は複数の大きさの窓を用いて、最適な大きさの窓で処理した結果から得られる移動量の情報を引き出すことが可能となり、より安定な移動量の算出を可能にする。
【００６２】
したがって、これらの画像で得られた移動量を足し込むことによって安定に移動量を算出することが可能となる。一般には、画像を縮小すると移動量も小さくなるが、ここでは時間方向の解像度も同時に変えることによって解像度に関係なく移動量を一定にすることを可能とした。画像の縮小は、分割領域のサイズを大きくすることと等価であり、この処理は複数の空間解像度の画像から得られる移動量を足し込むことに相当し、より安定な移動量の算出を可能にする。
【００６３】
なお、移動量検出装置１０をパソコンで実現する場合には、高速ビデオカメラである画像入力部１２をパソコンに接続し、画像蓄積部１４、移動量検出部１６の機能を実現するプログラムをパソコンのハードディスク．ＦＤ，ＣＤ−ＲＯＭ，ＤＶＤに記録させておけば良い。
【００６４】
【発明の効果】
以上説明したように本発明によれば、高速に得られる時系列画像から動き情報を求める場合に、短い時間間隔の画像間で近傍探索により微小移動量を求めるとともに、複数の時間間隔と解像度の画像群から得られる微小移動量を足し込むことによって長い時間間隔の画像間での領域の移動量を安定に求めることを可能とする。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る移動量検出装置１０の構成を示すブロック図である。
【図２】移動物体検出の説明図である。
【図３】画像蓄積部１４のフローチャートである。
【図４】移動量検出部１６のフローチャートである。
【図５】近傍探索領域の説明図である。
【図６】サブサンプリング間隔の説明図である。
【図７】１／４縮小画像の評価値と，１／２縮小画像の評価値と，原寸画像の評価値を足し併せた状態の図である。
【符号の説明】
１０ 移動量検出装置
１２ 画像入力部
１４ 画像蓄積部
１６ 移動量検出部
【発明の属する技術分野】
本発明は、時系列画像を利用して移動量を算出する移動量検出装置に係り、特に高速撮影が可能なセンサによって撮影された画像から領域の移動量を高精度に検出可能な移動量検出装置及びその方法に関する。
【０００２】
【従来の技術】
従来、外界の情報をコンピュータに入力する手段としてはＣＣＤカメラが利用されることがほとんどであり、カメラからコンピュータへのデータの転送はＮＴＳＣ規格に合わせて１秒間に３０フレームの速度で行なわれていた。この為、計算機の能力が上がっても画像の取り込み速度がネックとなり、画像情報に基づいた高速な機器の制御を実現することは困難であった。
【０００３】
これに対して、感度可変素子を利用した新しいタイプのセンサを提案されている（特開平６−１３９３６１号）。
【０００４】
この素子には画像処理回路が搭載されており、簡単な画像処理を行なった結果を１秒間に１００枚程度の割合で出力することが可能となっている。
【０００５】
しかし、チップに搭載されているのはアナログの処理回路であり、処理可能な演算は比較的簡単なものである。
【０００６】
例えば、ジェスチャー入力型インタラクティブゲーム（画像ラボ：１９９８年３月号）は、３２画素×３２画素の人工網膜チップを利用して対象物体の動きを求めているが、得られる動き情報は精度、個数とも複雑な画像処理に利用するには不十分である。
【０００７】
また、スマート・ビジョン・センサが開発されている（画像ラボ：１９９７年１２月号）。
【０００８】
このセンサはデジタル回路を使って画像を処理しており、領域のラベリングや重心計算などの簡単な画像処理を高速に行なうことができる。しかし、このセンサはライン毎の並列処理性能に重点がおかれており、２次元に広がる領域内の動き情報を高速に精度良く求めることは困難である。
【０００９】
これに対して、超並列・超高速視覚情報処理システム（応用物理学会誌第６７巻第１号：石川他著）は、デジタル処理を行なう回路をセンサに搭載して２次元画像内の領域を１秒間に１０００枚の速度で追跡することが可能である。しかし、このシステムは近傍演算のみですべての画像処理をおこなうように設計されているため、対象物体の複雑さや速度が増すと十分な精度の演算結果を得ることが出来ない可能性がある。
【００１０】
今後はさらに前記のようなデジタル処理回路を搭載したセンサの開発が進むと考えられ、１秒間に１０００枚以上の速度でカラーや濃淡の画像を処理した結果を出力できるようになると考えられる。
【００１１】
このような事実を鑑みて、われわれは画像を高速に取り込むと同時に処理することが可能なセンサに搭載可能である。時系列画像から高速に安定して領域の移動量を検出するための手法を提案する。
【００１２】
【発明が解決しようとする課題】
本発明は前記のような点に鑑みなされたもので、高速画像入力が可能なセンサで道路などの背景と移動物体を撮影した際に、その画像中の各領域の移動量を高精度に検出することのできる移動量検出装置及びその方法を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明は、時系列画像を入力する画像入力手段と、移動物体の移動量を求める移動量検出手段と、を具備し、前記移動量検出手段は、前記時系列画像の中から第１の時間間隔で原寸の大きさである原寸画像を抽出し、前記抽出された前記原寸画像中の領域が、時間的に次に抽出された前記原寸画像中でどの位置に移動したかを探索し、前記探索領域毎に第１の評価値を求め、前記時系列画像の中の前記各原寸画像を所定の縮小率で縮小して縮小画像をそれぞれ生成し、前記時系列の縮小画像の中から、前記第１の時間間隔と前記縮小率に基づいて前記原寸画像の移動量と前記縮小画像の移動量とが同じなるように決められた第２の時間間隔で、前記縮小画像を抽出し、前記抽出された前記縮小画像中の領域が、時間的に次に抽出された前記縮小画像中でどの位置に移動したかを探索し、前記探索領域毎に第２の評価値を求め、前記第１の評価値と前記第２の評価値の和が最も良くなる領域間の移動量を前記移動量とする、ことを特徴とする移動量検出装置である。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。
【００２０】
図１は本発明の一実施形態に係る移動量検出装置１０の構成を示すブロック図である。
【００２１】
移動量検出装置１０は、時系列画像を利用して領域の移動量を検出するものであり、画像入力部１２、画像蓄積部１４、移動量検出部１６を有する。
【００２２】
画像入力部１２は、背景及び移動物体の撮影により得られる時系列画像を入力する。この画像入力部１２から入力された時系列画像は画像蓄積部１４に与えれる。ここで、画像入力部１２は、固定または移動するセンサを用いて各種の物体を撮影することによって得られる時系列画像を数百〜数千枚／秒の割合で高速に入力する。また、ここで画像として入力される物体は、自動車、道路及び看板などであり、これらの対象を検出するために特別な色や印などを付加する必要はない。
【００２３】
画像蓄積部１４は、画像入力部１２から得られる時系列入力画像を複数枚蓄積し、必要に応じて移動量検出部１６に画像を与える。
【００２４】
移動量検出部１６は、画像蓄積部１４から転送された画像を必要に応じて利用し、それぞれの画像を格子状に分割した後、各格子領域が時系列画像間でどのように移動したかを検出する。
【００２５】
次に、移動量検出装置１０の動作を説明する。
【００２６】
図２は、本装置１０によって実現される移動量検出方法を説明するための図である。ここでは、道路上を走行している自動車を移動物体として、これを走行中の自動車や道路横の鉄塔などに搭載したカメラで撮影した場合を想定する。
【００２７】
図２（ａ）は、時刻ｔのときに得られた入力画像、同図（ｂ）は時刻ｔ−１のときに得られた入力画像である。これらの入力画像は、画像入力部１２から時系列で順次得られる。
【００２８】
一般的な画像処理では、画像入力部１２からビデオレートの３０枚／秒の割合で画像が得られるので、画像間での物体の移動量が大きく、高速に移動する物体を追跡する場合には、非常に広い探索領域を設定する必要がある。
【００２９】
しかし、ここで扱う画像入力部１２は、１秒間に１０００枚程度の画像を高速に取得することが可能であり、このように高速に画像を取得できれば物体追跡の為の探索領域も小さくすることが可能である。
【００３０】
例えば、１／１０００秒で１画素程度移動する物体を撮影した場合、ビデオレートでこの物体を撮影すると探索領域は±３３画素以上必要となる。しかし、１秒間に１０００枚の画像を獲得できれば探索領域は±２画素以下で済み、探索処理を非常に高速に行なうことが可能となる。
【００３１】
以下の説明では、連続する時系列画像間での物体の移動量が２画素以下である場合を考える。
【００３２】
なお、上記のように連続した時間の中から１／１０００秒毎に画像を抽出することを、時間方向のサンプリングとする。
【００３３】
画像蓄積部１４
画像入力部１２から高速に入力された画像は、まず画像蓄積部１４に蓄積される。
【００３４】
画像蓄積部１４では図３に示すように、まず、入力画像そのものの画像（以下、原寸画像という）を蓄積する。そして、これらの画像を縮小率２-Mで縮小した縮小画像を生成する。ここで、この原寸画像の縮小が、いわゆる空間方向の変形となる。Ｍは、自然数であり、原寸画像の大きさや画像処理の能力やメモリー量に併せて設定する。原寸画像の縮小方法としては、原寸画像をＮ×Ｎ画素の格子状の領域に分割し、１／２に縮小した画像を生成する場合には、各画素の大きさは原寸画像と同じでＮ／２×Ｎ／２画素の画像を作成する。
【００３５】
そして、最後にこれら縮小画像を蓄積する。
【００３６】
なお、縮小率を２-Mとすれば高速な画像縮小が可能であるが、画像処理の能力やメモリー量が許せば縮小率を任意の値に設定することも可能である。
【００３７】
移動量検出部１６
移動量検出部１６では、図４に示した手順で処理を行なう。
【００３８】
(1) 基本方法
まず、画像をＮ×Ｎ画素の格子状の領域に分割し、各分割領域内のエッジの強さや密度などを求める。
【００３９】
次に、エッジの特徴をもとに各領域が時系列間で対応づけ可能かどうかを評価する。実際には、閾値処理によって、領域内に強いエッジ成分が少ない領域に関しては対応付けが不可能であると判断して対応探索候補から外す。
【００４０】
次に、対応探索候補となった領域が時系列画像間でどのように移動したかを求める。
【００４１】
ここでは、時系列画像間での物体の移動量が２画素以下の場合について考えているので、探索領域は図５のようになる。ここで、対象となる物体がさらに高速である場合は探索領域が広くなることもある。移動量が２画素以下の場合は、各格子領域は時系列画像間で±２画素の探索領域内で対応の評価値が最も良い領域に移動したと考える。ここで、評価値は領域内の各点の濃淡情報や色情報の差分の絶対値和や自乗和または相関値などを用いることが可能である。
【００４２】
例えば、領域の明るさの自乗和を評価値とする場合は以下の値が最小となる領域を対応領域とする。
【００４３】
【数１】
【００４４】
最後に、連続した数回の処理で得られた微小時間の移動量、すなわち、微小移動量を足し合わせることによって、ビデオレート（１／３０秒毎）などの１／１０００秒よりも長い時間間隔での移動量を算出する。
【００４５】
(2) 縮小画像の利用方法
大まかな流れは上記のようになるが、短い時間間隔で局所的な探索を繰り返して長い時間の移動量を得る場合は、ノイズの影響などを受ける可能性が大きくなる。
【００４６】
そこで、本実施形態では図６に示すように、画像蓄積部１４で蓄積した１／２縮小画像や１／４縮小画像などを利用してより安定に領域の移動量を算出する。なお、検出対象となる物体は等速度で移動していると仮定する。
【００４７】
▲１▼縮小画像の利用方法の着眼点
ここで、例えば、図６に示したように画像を１／２縮小画像、１／４縮小画像に対して縮小していない原寸画像と同様に移動量を求めた場合を考える。
【００４８】
１／２縮小画像の時刻ｔと時刻ｔ＋１の間の移動量は、対応付けが正確に行われたとすれば、原寸画像で得られる移動量の１／２になるはずである。
【００４９】
同様に、１／４縮小画像では、得られる移動量も原寸画像で得られる移動量の１／４になると考えられる。
【００５０】
▲２▼縮小画像と原寸画像との関係
ここで、上記とは視点を変えて、１／２縮小画像に対しては、時刻ｔから時刻ｔ＋２までに移動した量を算出することによって得られる移動量の大きさは、原寸画像で求めた移動量と同じになるはずである。
【００５１】
同様に、１／４縮小画像の場合は、時刻ｔと時刻ｔ＋４の間で移動量を求めれば、原寸画像で求めた移動量と同じ大きさになるはずである。
【００５２】
▲３▼縮小画像と原寸画像との実際の利用方法
上記のように縮小画像と原寸画像との関係は明らかになったが、実際にこれら関係をどのように利用するかが問題となる。このために、ここで、(1) 基本方法における「評価値」を使用する。すなわち、縮小画像の所定の時刻の評価値と、原寸画像の所定の時刻の評価値を求め、ここから両者を関係付ける。そして、最も本発明の特徴となるのが、どの時刻の評価値を採用するかである。すなわち、その特徴は、原寸画像で求めた移動量と同じ大きさの移動量になる縮小画像の時刻の評価値を採用することである。
【００５３】
具体的には、１／２縮小画像に対しては、原寸画像で求めた移動量と同じ大きさになる時刻ｔと時刻ｔ＋２の画像の間で求められた評価値Ｈ２を用いる。
【００５４】
同様に、１／４縮小画像に対しては、時刻ｔと時刻ｔ＋４の画像の間で求められた評価値Ｈ４を用いる。
【００５５】
そして、これらを原寸画像で求められた評価値Ｈ１に足し込むことによって、各領域の移動量を評価値の和が最小になる移動量として安定に求めることが可能となる。
【００５６】
すべての縮小率の画像に対して、同じ大きさの領域の対応をとった場合、図７に示すように１／４縮小画像の領域は等価的に１６倍の大きさの領域となり、１／２縮小画像の領域は等価的に４倍の大きさの領域となる。
【００５７】
そこで、領域Ａの移動量を求めるときには、１／４縮小画像の時刻ｔと時刻ｔ＋４の対応から得られる評価値Ｈ４と、１／２−ａ縮小画像の時刻ｔと時刻ｔ＋２の対応から得られる評価値Ｈ２と、原寸画像のＡ領域の評価値Ｈ１を足し併せることによって、最適な移動量を求めることが可能となる。
【００５８】
同様に、領域Ｂに対しては、１／４縮小画像の評価値Ｈ４と，１／２−ｂ縮小画像の評価値Ｈ２と，原寸画像の領域Ｂの評価値Ｈ１を足し併せればよい。
【００５９】
さらに、移動物体の等速性が仮定できる場合には１／８や１／１６に縮小した画像なども利用可能である。
【００６０】
ここで述べた手法は、移動物体が等速度で移動しているという仮定が必要であるが、１／１０００秒間隔などの高速で画像を撮影した場合には局所的な等速性の仮定が殆どの場合は成り立つと考えられる。
【００６１】
ここで、画像の縮小は、対応付けのための窓領域のサイズを大きくすることと等価であり、この処理は複数の大きさの窓を用いて、最適な大きさの窓で処理した結果から得られる移動量の情報を引き出すことが可能となり、より安定な移動量の算出を可能にする。
【００６２】
したがって、これらの画像で得られた移動量を足し込むことによって安定に移動量を算出することが可能となる。一般には、画像を縮小すると移動量も小さくなるが、ここでは時間方向の解像度も同時に変えることによって解像度に関係なく移動量を一定にすることを可能とした。画像の縮小は、分割領域のサイズを大きくすることと等価であり、この処理は複数の空間解像度の画像から得られる移動量を足し込むことに相当し、より安定な移動量の算出を可能にする。
【００６３】
なお、移動量検出装置１０をパソコンで実現する場合には、高速ビデオカメラである画像入力部１２をパソコンに接続し、画像蓄積部１４、移動量検出部１６の機能を実現するプログラムをパソコンのハードディスク．ＦＤ，ＣＤ−ＲＯＭ，ＤＶＤに記録させておけば良い。
【００６４】
【発明の効果】
以上説明したように本発明によれば、高速に得られる時系列画像から動き情報を求める場合に、短い時間間隔の画像間で近傍探索により微小移動量を求めるとともに、複数の時間間隔と解像度の画像群から得られる微小移動量を足し込むことによって長い時間間隔の画像間での領域の移動量を安定に求めることを可能とする。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る移動量検出装置１０の構成を示すブロック図である。
【図２】移動物体検出の説明図である。
【図３】画像蓄積部１４のフローチャートである。
【図４】移動量検出部１６のフローチャートである。
【図５】近傍探索領域の説明図である。
【図６】サブサンプリング間隔の説明図である。
【図７】１／４縮小画像の評価値と，１／２縮小画像の評価値と，原寸画像の評価値を足し併せた状態の図である。
【符号の説明】
１０ 移動量検出装置
１２ 画像入力部
１４ 画像蓄積部
１６ 移動量検出部
Claims (6)
- 時系列画像を入力する画像入力手段と、
移動物体の移動量を求める移動量検出手段と、
を具備し、
前記移動量検出手段は、
前記時系列画像の中から第１の時間間隔で原寸の大きさである原寸画像を抽出し、
前記抽出された前記原寸画像中の領域が、時間的に次に抽出された前記原寸画像中でどの位置に移動したかを探索し、前記探索領域毎に第１の評価値を求め、
前記時系列画像の中の前記各原寸画像を所定の縮小率で縮小して縮小画像をそれぞれ生成し、
前記時系列の縮小画像の中から、前記第１の時間間隔と前記縮小率に基づいて前記原寸画像の移動量と前記縮小画像の移動量とが同じなるように決められた第２の時間間隔で、前記縮小画像を抽出し、
前記抽出された前記縮小画像中の領域が、時間的に次に抽出された前記縮小画像中でどの位置に移動したかを探索し、前記探索領域毎に第２の評価値を求め、
前記第１の評価値と前記第２の評価値の和が最も良くなる領域間の移動量を前記移動量とする、
ことを特徴とする移動量検出装置。 - 前記移動量検出手段は、
前記第１の評価値と前記第２の評価値として、前記領域内の各点の濃淡情報、または、色情報について算出される、差分の絶対値和、差分の自乗和、相関値のいずれかを用いる、
ことを特徴とする請求項１記載の移動量検出装置。 - 前記移動量検出手段は、
前記各原寸画像を異なる複数の縮小率で縮小して、前記各原寸画像について複数の縮小画像を生成し、
前記複数の縮小画像毎に前記第２の評価値をそれぞれ求め、
前記第１の評価値と複数の前記第２の評価値の和が最も良くなる領域間の移動量を前記移動量とする、
ことを特徴とする請求項１記載の移動量検出装置。 - 時系列画像を入力する画像入力ステップと、
移動物体の移動量を求める移動量検出ステップと、
を具備し、
前記移動量検出ステップは、
前記時系列画像の中から第１の時間間隔で原寸の大きさである原寸画像を抽出し、
前記抽出された前記原寸画像中の領域が、時間的に次に抽出された前記原寸画像中でどの位置に移動したかを探索し、前記探索領域毎に第１の評価値を求め、
前記時系列画像の中の前記各原寸画像を所定の縮小率で縮小して縮小画像をそれぞれ生成し、
前記時系列の縮小画像の中から、前記第１の時間間隔と前記縮小率に基づいて前記原寸画像の移動量と前記縮小画像の移動量とが同じなるように決められた第２の時間間隔で、前記縮小画像を抽出し、
前記抽出された前記縮小画像中の領域が、時間的に次に抽出された前記縮小画像中でどの位置に移動したかを探索し、前記探索領域毎に第２の評価値を求め、
前記第１の評価値と前記第２の評価値の和が最も良くなる領域間の移動量を前記移動量とする、
ことを特徴とする移動量検出方法。 - 前記移動量検出ステップは、
前記第１の評価値と前記第２の評価値として、前記領域内の各点の濃淡情報、または、色情報について算出される、差分の絶対値和、差分の自乗和、相関値のいずれかを用いる、
ことを特徴とする請求項４記載の移動量検出方法。 - 前記移動量検出ステップは、
前記各原寸画像を異なる複数の縮小率で縮小して、前記各原寸画像について複数の縮小画像を生成し、
前記複数の縮小画像毎に前記第２の評価値をそれぞれ求め、
前記第１の評価値と複数の前記第２の評価値の和が最も良くなる領域間の移動量を前記移動量とする、
ことを特徴とする請求項４記載の移動量検出方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17283898A JP4124861B2 (ja) | 1998-06-19 | 1998-06-19 | 移動量検出装置及びその方法 |
| US09/334,950 US6373897B1 (en) | 1998-06-19 | 1999-06-17 | Moving quantity detection apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17283898A JP4124861B2 (ja) | 1998-06-19 | 1998-06-19 | 移動量検出装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000011134A JP2000011134A (ja) | 2000-01-14 |
| JP4124861B2 true JP4124861B2 (ja) | 2008-07-23 |
Family
ID=15949281
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17283898A Expired - Lifetime JP4124861B2 (ja) | 1998-06-19 | 1998-06-19 | 移動量検出装置及びその方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6373897B1 (ja) |
| JP (1) | JP4124861B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7194141B1 (en) * | 2002-03-20 | 2007-03-20 | Ess Technology, Inc. | Image resolution conversion using pixel dropping |
| JP3868876B2 (ja) * | 2002-09-25 | 2007-01-17 | 株式会社東芝 | 障害物検出装置及び方法 |
| JP4545543B2 (ja) * | 2004-05-07 | 2010-09-15 | 任天堂株式会社 | ゲームシステムおよびゲームプログラム |
| US8406472B2 (en) * | 2010-03-16 | 2013-03-26 | Sony Corporation | Method and system for processing image data |
| JP2012253667A (ja) * | 2011-06-06 | 2012-12-20 | Sony Corp | 画像処理装置、画像処理方法、及びプログラム |
| JP6351323B2 (ja) * | 2014-03-20 | 2018-07-04 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP6365355B2 (ja) * | 2015-03-09 | 2018-08-01 | オムロン株式会社 | 画像生成装置および画像生成方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2809954B2 (ja) | 1992-03-25 | 1998-10-15 | 三菱電機株式会社 | 画像感知および処理のための装置および方法 |
| US6208608B1 (en) * | 1995-07-13 | 2001-03-27 | Sony Corporation | Disk cartridge apparatus with ejection preventing mechanism using two driven levers |
| JP3524250B2 (ja) * | 1995-11-27 | 2004-05-10 | キヤノン株式会社 | デジタル画像処理プロセッサ |
| US6304682B1 (en) * | 1998-10-02 | 2001-10-16 | Hewlett-Packard Company | Method for generated resolution enhanced still images from compressed video data |
-
1998
- 1998-06-19 JP JP17283898A patent/JP4124861B2/ja not_active Expired - Lifetime
-
1999
- 1999-06-17 US US09/334,950 patent/US6373897B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000011134A (ja) | 2000-01-14 |
| US6373897B1 (en) | 2002-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5991428A (en) | Moving object detection apparatus and method | |
| JP4157620B2 (ja) | 移動物体検出装置及びその方法 | |
| EP2265023B1 (en) | Subject tracking device and subject tracking method | |
| CN109791603B (zh) | 通过预测对象的运动来捕获机动车辆的环境区域中的对象的方法、摄像机系统以及机动车辆 | |
| JP4429298B2 (ja) | 対象個数検出装置および対象個数検出方法 | |
| JP3810657B2 (ja) | 運動物体検出方法および装置 | |
| KR19980701568A (ko) | 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및 장치(method and apparatus for detecting object movement within an image sequence) | |
| JPH08327296A (ja) | 標的運動検出方法及び装置並びにこの方法の適用方法 | |
| Chebli et al. | Pedestrian detection based on background compensation with block-matching algorithm | |
| JP4124861B2 (ja) | 移動量検出装置及びその方法 | |
| Koller et al. | Towards realtime visual based tracking in cluttered traffic scenes | |
| JP2002150295A (ja) | 物体検出方法及び物体検出装置 | |
| JP2002367077A (ja) | 交通渋滞判定装置及び交通渋滞判定方法 | |
| KR100631082B1 (ko) | 단일 카메라를 사용한 3차원 영상정보 획득방법 및 이를이용한 영상검지방법 | |
| CN116883897A (zh) | 一种低分辨率目标识别方法 | |
| JP3197633B2 (ja) | 移動体の自動追尾装置 | |
| JPH10105712A (ja) | 移動体追跡装置 | |
| JP3763279B2 (ja) | 物体抽出システム、物体抽出方法および物体抽出プログラム | |
| JP3609679B2 (ja) | 動画像処理装置及びその方法 | |
| JP2009205695A (ja) | 対象個数検出装置および対象個数検出方法 | |
| Micheloni et al. | Fast good features selection for wide area monitoring | |
| JP2005063036A (ja) | 物体追跡装置 | |
| JP3854143B2 (ja) | 車線境界検出装置 | |
| EP1612725A1 (en) | Image processing method and image processing device | |
| JP3992253B2 (ja) | 動画像処理装置及びその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080311 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080422 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080507 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140516 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |