JP4763219B2

JP4763219B2 - 運動する物体に付された光学信号マークの重心を写真測量により決定する方法及び装置

Info

Publication number: JP4763219B2
Application number: JP2002253594A
Authority: JP
Inventors: バブロフパウル; ヴィオラゲオルク
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2001-08-31
Filing date: 2002-08-30
Publication date: 2011-08-31
Anticipated expiration: 2022-08-30
Also published as: US7110618B2; JP2003178312A; DE10142457B4; DE10142457A1; US20030128894A1

Description

【０００１】
【発明の属する技術分野】
本発明は、電子カメラの画像信号から所定の情報内容を識別するための画像認識システムに関する。特に本発明は、運動する物体に付された光学信号マークの重心を写真測量により決定する方法及び装置に関するものであり、具体的には、前記物体をビデオカメラにより撮影し、前記物体の電子画像信号をデジタル画素（ピクセル）の行ごとのシーケンスとしてデータ低減用のデジタル処理ユニットに供給し、前記デジタル処理ユニットの出力信号を更なる処理のために計算機に転送する形式の方法及び装置に関する。
【０００２】
【従来の技術】
この種のシステムは、例えば、動的プロセスにおける運動の経過の分析に使用される（クラッシュテストにおける変形過程、人間の運動の運動学的プロセスの詳細な研究など）。このために、観察される物体の様々な位置に、決められた形状及びサイズ（例えば円板）の光学信号マークが取付られる。さらに、これら信号マークの表面は、典型的には、入射光が特徴的な仕方で反射するように設計されている。
【０００３】
ビデオカメラから短い時間間隔で送られてくる各々の個別画像は、個々の画素（ピクセル）の行ごとのシーケンスから成っており、信号マークに割当てられている信号成分に基づいて評価されなければならない。逆反射する円形信号マークをこのように写真測量する場合、２つの根本的問題を解決しなければならない。
まず、連結した領域を分析及びマーキングしなければならず、続いて各領域の中心（信号マークの重心）を決定しなければならない。これら２つの問題に対して、純粋にソフトウェアによる評価方法が公知である。
【０００４】
連結分析
逆反射する信号マークは良好な画像コントラストを有しているため、各画像のバイナリバージョン（すなわち、黒／白ピクセル値だけ）に対して、連結分析の実行が可能である。この問題の最も完全で同時に最も効率のよい解決策は、ＭＡＮＤＬＥＲ及びＯＢＥＲＬＡＥＮＤＥＲのＢＣＣ（ＢｉｎａｒｙＣｏｎｎｅｃｔｅｄＣｏｍｐｏｎｅｎｔｓ）アルゴリズムによって提供される（ＩｎｆｏｒｍａｔｉｋＦａｃｈｂｅｒｉｃｈｔｅ２５４，ｐｐ．２４８−２５４，Ｓｐｒｉｎｇｅｒ１９９０）。このアルゴリズムを実行するだけで、すべての連結領域のエッジと、画像内での連結領域の関係を決定することができる。これは、互いに何重にも入り組んだ領域に対しても有効である。写真測量の専門的な定式化は、ＭＡＡＳ（‘ＤｉｇｉｔａｌｅＰｈｏｔｏｇｒａｍｍｅｔｒｉｅｉｎｄｅｒｄｒｅｉｄｉｍｅｎｓｉｏｎａｌｅｎＳｔｏｅｍｕｎｇｓｍｅｓｓｔｅｃｈｎｉｋ’，博士論文、ＥＴＨチューリッヒ、１９９２）に記載されている。
【０００５】
点測定
すべての領域がマークされたら、これらの領域に点測定の方法を適用することができる。この点測定は、例えばＬＵＨＭＡＮＮ（‘Ｎａｈｂｅｒｅｉｃｈｓｐｈｏｔｏｇｒａｍｍｅｔｒｉｅ，ＧｒｕｎｄｌａｇｅｎＭｅｔｈｏｄｅｎＡｎｗｅｎｄｕｎｇｅｎ’，ＷｉｃｈｍａｎｎＶｅｒｌａｇ，２０００）又はＳＨＯＲＴＩＳ他（‘ＰｒａｃｔｉｃａｌＴｅｓｔｉｎｇｏｆＰｒｅｃｉｓｉｏｎａｎｄＡｃｃｕｒａｃｙｏｆＴａｒｇｅｔＩｍａｇｅＣｅｎｔｅｒｉｎｇＡｌｇｏｒｉｔｈｍｓ’，ＳＰＩＥ２５９８，ｐｐ．６５−７６，１９９５）に記載されているものと同様である。
【０００６】
最も単純なケースでは、バイナリ画像ｂの重心（ｕ，ｖ）は、マークの周囲にあるすべての点ｂ（ｕ，ｖ）≡１の座標の平均値として決定される。
【０００７】
【数１】

【０００８】
他の可能性は、グレー画像ｇ上で、グレー値により重み付けされた重心（加重重心）を次の式に従って計算することである。
【０００９】
【数２】

【００１０】
バイナリ画像ｂとの乗積はマークに属する画素の選択に使用される。いわゆるテンプレートマッチングは、より複雑である。この場合、所定のパターンｍ（ｕ，ｖ）と画像ｇ（ｕ，ｖ）との間の相互相関ｋが計算される。
【００１１】
【数３】

【００１２】
相関関数ｋの最大値がマークの中心位置を示す。マークはたいてい遠近法的に歪んでおり、画像内では様々な大きさに見えるので、１つのパターンとの比較だけでは不十分である。様々なパターンの全パレットとの相関を計算し、「最も適合する」結果を選び出さなければならない。このため、この方法は比較的多くの計算時間を要する。通常は、エッジ鮮鋭度の異なる様々なサイズの楕円又は長方形が、パターンとして使用される。
【００１３】
専らソフトウェア処理によって信号マークの重心を識別する画像評価法は、基本的に比較的緩慢である。というのも、高速シーケンスにおける高解像度の画像の場合、非常に高いデータ速度が生じ、これに応じて画像の評価に時間がかかるようになるからである。解像度が１２８０×１０２４画素であり画像速度が毎秒２５画像であるＨＤＴＶカメラは、例えば、毎秒３２，０００，０００画素の平均データ速度、及び、毎秒４０，０００，０００画素の典型的な伝送速度である。現在のところ標準的コンピュータにとって通常である毎秒約１００ＭバイトのＰＣＩバスの性能限界においては、これは、純粋なデータ伝送に関しても、すでに計算機アーキテクチャに対する多大な要求である。その上、現行のオペレーティングシステムの下での従来のマイクロプロセッサでは、同時処理又は複数のカメラの接続ですら考えられない。
【００１４】
計算機の最大負荷を見積もるために、画素ごとに処理に使用可能なクロックサイクルの数ｎ_ｔを計算する。
【００１５】
【数４】

【００１６】
ここで、ｆはマイクロプロセッサのクロック周波数であり、ｒ_ｋはカメラの伝送速度である。
【００１７】
ｒ_ｋとして、上で見積もられた毎秒４０，０００，０００画素の伝送速度、すなわち４０ＭＨｚの伝送速度を使用し、ｆとして１０００ＭＨｚを使用した場合、１画素につきｎ_ｔ＝２５のクロックサイクルしか使用できない。これは、高速かつ高解像度の画像評価の分野における使用にとっては不十分である。ｎ_ｔにとって意味のある値は明らかに１０００よりも大きくなければならない。とりわけ、すべてのクロックサイクルがプロセッサの演算に使用できる訳ではなく、その一部はメモリアクセス時の待ち時間として失われてしまうことを考えるならば、特にそうである。
【００１８】
その上、システムが性能限界で動作することのないように、付随して発生するオペレーティングシステムのタスクのために、α＝５０％の大幅なサイクル余裕を計算に入れるべきである。ｃ個のカメラが同時に作動している場合、画素ごとに使用可能なクロックサイクルの数はさらに低減される。
【００１９】
【数５】

【００２０】
この見積もりによって、既に計算機内での処理に先行して、カメラから送られてくる信号の徹底的な低減が行われなければならないことが明らかとなる。
【００２１】
数式（５）をｒ_ｋについて解けば、計算機内での処理において生じ得る最大のデータ速度ｒ_ｍａｘを計算することができる。
【００２２】
【数６】

【００２３】
この場合、興味深いのは、ｒ_ｋのｒ_ｍａｘに対する比から生じるデータ低減率γである。
【００２４】
【数７】

【００２５】
ｃ＝４個のカメラ、α＝０．５、ｆ＝１０００ＭＨｚ、ｒ_ｋ＝４０ＭＨｚ、及びｎ_ｔ≧１０００サイクル／画素のシステムでは、
γ≧３２０（８）
のデータ低減率が得られる。これの意味するところは、例えば、本来１Ｍバイトのメモリを要する画像の情報内容が、さらなる評価のためにコンピュータに伝送される前に、最大３２００バイトで表されなければならないということである。
【００２６】
求められる情報、すなわち測定されるべきマークの座標は、元のグレー画像では非常に冗長に符号化されている。所望のデータ低減を達成するために、様々な方法が使用される。
【００２７】
ａ）セグメンテーション
グレー値平面上では、画像の情報は、実質的に、黒い背景と白く表示された逆反射マークとの間の移行領域内にある。したがって、情報を担う部分と重要でない部分とに画像を分割するのが適切である。この分割は、このタイプの画像では、最も簡単には後で述べる拡大操作（Ｄｉｌａｔｅ−Ｏｐｅｒａｔｉｏｎ）による閾値の形成によって行われる。なお、この拡大操作は、明るい領域を所定のエッジ幅だけ拡大するものである。これにより、画素の全エッジの検出が保証される。
【００２８】
図１の部分ａ）には、Ｄａｌｓａ社のＣＡ−Ｄ６高速度カメラにより撮影された逆反射マークを用いた場合の典型的な測定像が示されている。マークの個数が約１７０と比較的大きいにもかかわらず、カメラの解像度が５１２×５１２画素と低い場合、情報を担う画素の割合はほんの３〜４％である。
【００２９】
図１の部分ｂ）には、図１ａ）のシーンと類似した７０個の画像の平均値として、画像行ごとに生じるマーク頻度のヒストグラムが示されている。最大で１行につき２２個のマークが発見される。この場合、マークは各フレームについて新たにカウントされる。全画像内に全部で最大１７６個のマークが存在し、平均すると１行につき１．９個のマークである。
【００３０】
マークによって覆われる画像の面積は、マークの直径Ｄ、エッジ幅Ｒ及びマークの個数ｎ_ｐに依存する。セグメンテーション後、ビット単位でのデータ量は、
【００３１】
【数８】

【００３２】
になる。
【００３３】
【外１】

【００３４】
【数９】

【００３５】
【外２】

【００３６】
これは、上記の見積もりによって示された値よりも３０倍も小さいが、後続の画像計測のために、高速度カメラの画像シーケンスを省スペースでバッファ記憶するのには十分である。
【００３７】
ｂ）グレー値圧縮
データ量のさらなる明らかな低減は、残りのグレー値の圧縮により達成される。これは、特に、上述したセグメンテーションとの連係に適している。もちろん、このステップには損失が存在する。しがって、この低減方法がどの程度まで使用可能かは、後続の画像計測の目標精度に依存している。最大の低減は、２進化の両極端において、すなわちピクセル値が０（＝暗）又は１（＝明）であるときにのみ得られる。
【００３８】
元のグレー値ｇから圧縮されたグレー値ｇ_ｃへのグレー値の変換は、下記の関数に従って行われる。
【００３９】
【数１０】

【００４０】
大括弧は、この括弧内の数を超えない最大の整数への丸めを表す。符号化すべきグレイ値の範囲はｇ_ｍｉｎ及びｇ_ｍａｘによって限定される。
【００４１】
【外３】

【００４２】
このような符号の使用は、画像の輝度範囲が不十分にしか利用できない場合には、特に有利である。
【００４３】
グレー値圧縮により得られる低減率は、単純に原データのビット深さｎ′_ｂと圧縮データのビット深さとの比である。
【００４４】
【数１１】

【００４５】
したがって、１２ビットの深さの画像を２進化する際、係数１２の分だけの低減しか達成されず、また画像計測の際に明らかな精度の損失が生じる。
【００４６】
セグメンテーションとグレー値圧縮を組み合わせた方法は、ＯＢＥＲＰＡＵＬ（‘Ｄｙｎａｍｉｓｃｈｅ３Ｄ−Ｐｈｏｔｏｇｒａｍｍｅｔｒｉｅ’，ＭｅｓｓＴｅｃ＆Ａｕｔｏｍａｔｉｏｎ８（１），６７，２０００年１月）に記載されている。
【００４７】
ｃ）画像計測
最も効率がよいがコストの高い低減方法は画像計測そのものである。画像内の基本的な情報は、信号マークを特徴付けるパラメータである。
【００４８】
【外４】

【００４９】
別の有意義な量は、マークの面積Ａ及び周囲長ｌ、最大グレー値ｇ_ｍａｘ、ならびに座標軸に沿った広がりΔｕ及びΔｖである。さらに、楕円パラメータも、つまり両半軸の長さａ及びｂも関与し得る。情報量は、次の表１にまとめられているように、１つのマークにつき約６６ビットである。
【００５０】
【表１】

【００５１】
画像ごとの所要情報量は、
Ｖ_ｍ＝ｎ_ｐ・６６（１３）
である。それゆえ、１７０個のマークによる上記の例では、所要情報量は１１２２０ビット、すなわち１４０３バイトである。データ低減率は上記の数式（１０）と同様に、
【００５２】
【数１２】

【００５３】
【外５】

【００５４】
ｄ）ランレングス総和法
全体的な画像計測の複雑さと上記の画像圧縮との間の中道が、行ごとの画像計測、すなわちランレングス総和法である。この場合、計算機に前置接続されたデータ低減部は、カメラから送られてきた順にそのつど１つの画素だけを考慮する。行全体に亘る領域の認識は計算機で行われる。次の表２ではパラメータが詳述されている。これらのパラメータは、この方法では、計算機への転送のために決定されるものである。
【００５５】
【表２】

【００５６】
ここでは、データ低減のプロセスは下記の図式で行われる。
【００５７】
１．ｂ（ｕ，ｖ）＝０の間は、δＵ＝δＵ＋１にセットする
２．δＵを計算機に送る
３．ｂ（ｕ，ｖ）＝１の間は、Σｇ（ｕ，ｖ），Σδｕ・ｇ（ｕ，ｖ）を計算し、δｕを１だけ増分する
４．すべての合計を計算機に送り、ΔＵ＝０にセットし、再び１．から始める
この場合、２つの状態しか持たない単純な状態オートマトンが実施される。相応の有限オートマトンは図２に示されている。２つの状態Ｓ０とＳ１との間の遷移は、その時点の画像座標におけるバイナリ画像ｂ（ｕ，ｖ）の値によって制御される。
【００５８】
画像行内に現れる各マークについて、６５ビットが伝送されなければならない。今や、計算機はさらに、２つの順次連続する行の始点と終点が重なり合っている場合、これら２つの行のマークの合計を互いに合併させるというタスクを有する。モーメントの計算に関して、行の座標ｖは１つの行に亘って一定であるという事実を利用することができる。相対座標δｕの使用により、データ低減に使用される乗数の幅を明らかに制限し、これにより多くのリソースを節約することができる。相対座標から絶対値を逆算すれば、これらのモーメントからマークパラメータを計算することができる。
【００５９】
データ低減を用いた、信号マークの重心を写真測量により検出する画像認識システムは、特許文献ＵＳ５０７２２４９に記載されている。このシステムでは、アナログビデオカメラから送られてきた信号がまずデジタル化され、続いてデジタル圧縮回路に供給される。この回路では、実質的に上でスケッチしたようなランレングス総和の原理に従ったデータ低減が行われる。これに引き続き、計算機（ＣＰＵ）によって別の評価が実行される。
【００６０】
【発明が解決しようとする課題】
本発明は従来技術としてこの画像認識システムを前提としている。本発明の課題は、より広範囲の新たなデータ低減によってより高い処理速度が可能となるようにシステムを改良することである。
【００６１】
【課題を解決するための手段】
上記課題は、本発明により、データ低減のために、順次連続する画像行の隣り合ったピクセルのグループをｎ×ｍ行列に順次まとめ、評価することによって解決される。
【００６２】
また上記課題は、本発明により、デジタル処理ユニットが、少なくとも１つの画像行をバッファ記憶するための手段と、順次連続する画像行から隣り合ったピクセルのグループをｎ×ｍ行列として順次まとめ、制御信号として評価するコントロールユニットと、前記コントロールユニットにより制御され、出力信号を計算機に転送する手段とを有するように構成された装置によって解決される。
【００６３】
【実施例】
次に、本発明による方法及びこれに対応する装置を有利な実施形態に基づいて説明する。
【００６４】
本発明の基本的な考えは、計算機での本来の処理に先行して、データ低減のために、連結分析用の順次連続する画像行を使用することである。データ低減の際、隣り合ったピクセルのグループが行全体に亘って評価される。これらのグループは、含まれているピクセルの個数ならびに行及び列への分配に関して同一であり、例えばｎ×ｍ行列として定義される。したがって、バイナリ画像（すなわち、ピクセル値は１又は０だけ）においては、グループ内で所定の型のピクセル値分布だけが可能である。このピクセルパターンは識別され、本来のデータ低減のための制御信号として使用される。
【００６５】
以下で説明する有利な実施例では、ピクセルグループとして単純な２×２行列が指定される。それゆえ、連結分析のためには、つねにバイナリ画像の順次連続する２つの行が分析されなければならない。
【００６６】
【外６】

【００６７】
図３には、ピクセルの２進化された２×２隣接４つ組の可能な状態が示されている。全部で１６の異なる組合せが、評価論理回路への入力信号として使用される２進数として表されている。様々なピクセルパターンが、有限オートマトンとして表現可能な評価論理回路の種々異なる演算を生じさせる。
【００６８】
図４には、マーク測定のための有限オートマトンの動作原理が示されている。図示された状態ダイアグラムでは、円表示が状態を表し、矢印が遷移を表している。矢印の数値は図３によるピクセルパターンを表しており、ピクセルパターンは、それぞれ入力の際に２進数として把握され、遷移をトリガする。
【００６９】
連結分析はレジスタバンクを介して行われる。レジスタバンクの空きアドレスはスタックで管理される。オートマトンは、新たなマークのスタートを認識すると、一番上のアドレスをスタックから取り出し、レジスタバンクの相応のエレメントにおいてモーメントの総和を開始する。
【００７０】
【外７】

【００７１】
次の行において再び同じマークに達すれば、オートマトンはシフトレジスタからレジスタ内のアドレスを取り出すことができる。それぞれの遷移はオートマトンの所定の動作をトリガする。図４の長方形のボックス内には、遷移によってトリガされる演算が記入されている。
【００７２】
ＮｅｕｅＭａｒｋｅ（ｘ）：空のレジスタバンクのアドレスをスタックから取り出し、番号をシフトレジスタ位置ｘに書き込み、総和を開始する。
【００７３】
Ｓｕｍｍｉｅｒｅｎ（ｘ）：シフトレジスタエントリｘのレジスタバンク内でモーメントを総和する。
【００７４】
Ｓ（ｘ）：シフトレジスタエントリｘのレジスタバンク内でモーメントをその時点のバンクと合併する。
【００７５】
Ｆｅｒｔｉｇ（ｘ）：シフトレジスタ位置ｘに記載されたレジスタからのモーメントを出力バッファに書き込む。
【００７６】
パラメータｘは、それぞれレジスタバンクへの二重に間接的なアクセスを表している。ｘによって４つの隣り合ったシフトレジスタ位置が表示され、そこから演算に必要な、レジスタバンク内のアドレスが読み出される。
【００７７】
オートマトンは全部で５つの状態Ｓ０…Ｓ４を有している。行ごとに画像を進む際に、オートマトンは、考察中の隣接４つ組におけるビットパターンに基づいて、新たなマークなのかどうか（遷移１）、又はマークが完全にされたかどうか（遷移６）を認識する。動作を分かり易くするため、図５に、円形マークの拡大図（２０×２０ピクセル）が示されている。この円形マークは、下記の一覧表において行ごとに走査される。その際、Ｓ０から始まる状態変化がオートマトンに指定される。
【００７８】
【表３】

【００７９】
【表４】

【００８０】
さらに続けて、
【００８１】
【表５】

【００８２】
動作プロセスのこの例では、図４によるタイプ‘６’又は‘９’のビットパターンは現れない。というのも、ただ１つの完全に限定されたマークだけが走査されるからであり、その際、これらの型は存在しないからである（図５参照）。このタイプのピクセルパターンは、２つの信号マークが部分的に重なり合う場合に生じる得るものであり、有限オートマトンの相応の演算及び遷移をもたらす（例えば、ピクセルパターン‘６’は、演算Ｓｕｍ（１）＋Ｓ（２）を伴ったＳ１からＳ３への遷移を引き起こし、ピクセルパターン‘９’は、それぞれ演算Ｓｕｍｍｉｅｒｅｎ（３）を伴ったＳ３からＳ１への遷移か又はＳ４からＳ１への遷移を引き起こす）。これにより、有限オートマトンは、画像内で隣り合う２つの信号マークのこのような遷移も確実に検出する。
【００８３】
上で紹介した、有限オートマトンを用いた行全体に亘る連結分析の方法は、適切に設計された電子回路によって実施される。以下、図６による有利な実施形態に基づいて、光学信号マークの重心を測定するこのような電子回路の動作を説明する。
【００８４】
この回路は、デジタル入力信号、例えばデジタルカメラから直接来るデジタル入力信号により動作するものであり、自由に使用できるように、評価の結果を同様にデジタル形式で出力する。その際、回路は複数のサブタスクを解決しなければならない。回路は画像内の信号マークを識別し、連結した領域を検出し（セグメンテーション）、それに関連するモーメントを計算しなければならない。画像計測はこれらのモーメントから導出することができる。このために、回路は、図６に示されているように、複数の機能ブロックに区分されている。
【００８５】
回路の入力側には、カメラよって生成されたか又は外部の回路によって生成された信号が印加される。これらの信号は下記の表３に詳述されている。
【００８６】
【表６】

【００８７】
データラインを介して供給されるデジタルグレー値のビット幅は、使用されるカメラに依存する。典型的には、８又は１２ビットである。Ｓｔａｒｔ−ｏｆ−ｆｒａｍｅ（ＳｏＦ）信号は、各画像の開始時点における回路の初期化にのみ使用されるものであるため、図６には記入されていない。
【００８８】
回路の出力側には、画像内に含まれている個々の信号マークに関する使用可能な情報が出力される。これらの情報は画像計測のための前提であり、この前提から、単純な方法ステップにおいて、例えば後続のソフトウェア又は別の電子回路によって、本来の画像計測を導出することができる。
【００８９】
回路によって求められるモーメントは下記の表４に詳述されている。
【００９０】
【表７】

【００９１】
画像座標は、これらのモーメントから通常の計算方法によって求めることができる。これらの座標が、写真測量的意味での本来の画像計測値である。他のパラメータは、確実な計測値の検出のために使用されるだけである。例えば、周囲長の面積に対する比は、マークの真円度の尺度である。縦長の物体は測定エラーとして容易に選り分けられる。
【００９２】
この後者の動作もこの電子回路（例えばＡＳＩＣ）によって実行可能である。しかしながら、そのための開発コストは比較的高く、あまり役にも立たない。というのも、これら後者の処理ステップによってデータ量がさらに低減されることは殆どないからである。
【００９３】
図６に示されている機能ブロックは、以下に述べるようなタスクを有している。
【００９４】
幾つかの大域的素子が存在し、それらの信号は他のブロックでも使用される。これらの素子は、一つには、ＰＣｌｋ、Ｓｔａｒｔ−Ｏｆ−Ｌｉｎｅ及びＳｔａｒｔ−ｏｆ−Ｆｒａｍｅから画像行及び列の番号を生成する行及び列カウンタ、すなわちｕカウンタ及びｖカウンタである。さらに、入力されたグレー値を所定の閾値と比較し、出力側で画像の２進化バージョンを発生させるＢ／Ｗ変換器も存在している。この２進信号によって、ちょうど１つの画像行＋２つの画素がシフトレジスタにバッファ記憶される。有限オートマトン（コントロールオートマトン）は、このシフトレジスタからその最上位入力信号を受け取る。１つの閾値を用いた２進化の代わりに、この判定のために、この箇所で、行に沿ったグレー値の第１の導出を使用してもよい。２つの隣り合うグレー値の差ｇ_１−ｇ_２が負の閾値−ｔよりも小さければ、画像内でエッジが立ち上がっており、後続のすべての点は１に２進化される。差ｇ_１−ｇ_２が正の閾値ｔよりも大きければ、画像内でエッジが立ち下がっており、後続のすべての点は０に２進化される。この形式の２進化は、光学的結像に起因する画像内の輝度の変動（例えば周辺減光）に対して比較的ロバストである。
【００９５】
コントロールオートマトン（有限状態機械）は、予め決められた一定数の５つの状態Ｓ０…Ｓ４を有している。これらの状態は、シフトレジスタからの入力にもそれ以前の状態にも依存する。各状態に対して、個々の回路素子を制御するのに使用される、出力信号の特性パターンが生成される（コントロール）。したがって、オートマトンは回路の「頭脳」である。基本的に、このオートマトンは、上述したように、２つの順次連続する画像行から成る直接隣り合った２進化された４つの画素の状態を分析する。これら４つの画素は、図３に示されているように、１６の異なる組合せを表現することができる。これらのピクセルパターンの分析から、他の回路ブロックが実行すべき動作が導かれる。したがって、例えば隣接４つ組（＝ピクセルパターン１）の右下の要素内の白い点は、新たなマークの始まりを表している。この回路構成におけるコントロールユニットとしての有限オートマトンの動作プロセスの構造は、図７に示されている。
【００９６】
図示された回路実施例では、（有限）コントロールオートマトンによって２つの算術論理ユニット（ＡＬＵ）が制御される。算術論理ユニットは単純な算術的演算（加算、減算、乗算、排他的ＯＲ）を行うことができる。列ＡＬＵの構造は図８に示されている。列ＡＬＵは、１つの画像行内の各マークに対するモーメントを計算及び記憶し、その結果を行ＡＬＵに転送する。このために、列ＡＬＵは、１つの行の中の順次連続する明るい画素に対するモーメントを総和する。バイナリ画像内で明から暗への変移が生じると、すべてのレジスタが行ＡＬＵに伝送される。
【００９７】
行ＡＬＵの構造が図９に再現されている。ＤＡＴＡＩＮと表示されたレジスタは図８のレジスタと同一である。行ＡＬＵは、順次連続する２つの行からの合計を形成する。このために、行ＡＬＵは、以前の行からのすべての候補をバッファ記憶するリングバッファ（デュアルポートＲＡＭ）を必要とする。列ＡＬＵによって計算された値は、それが互いに接する画像領域に由来するものである場合は、リングバッファ内にバッファ記憶された１つにまとめられた値と比較される。この判定は、有限オートマトンによって観測された隣接関係に基づいて為される。判定の結果は、次の行のために再びリングバッファに書き込まれるか、又はオートマトンが、マークが完全に検出されたことを認識したときに、出力バッファに伝送される。
【００９８】
出力バッファは、およそ１４２ビットの幅の情報ストリームを行ＡＬＵから受け取り、それを直列化する。それゆえ、情報ストリームは、正しいワード幅で出力メモリに伝送されることができる。このメモリに接続されたコンピュータは、このメモリからデータを受け取り、画像計測のための最後の計算を実行する。
【００９９】
上記の有限オートマトンを用いたデータ低減は、様々な仕方で電子回路として実現可能であるが、図６において図示され説明された実施形態に限定されない。したがって、図１０には、同様に有限オートマトンを用いて上記データ低減を行ういくらか変更された回路構成が示されている。
【０１００】
同様に、データ低減はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）でも実施可能である。ＦＰＧＡは、同種の多数の論理ブロック（ＣＬＢ）から形成された可変的に使用可能な論理回路である。ＦＰＧＡは自由にプログラム可能な入／出力側を使用することができ、これにより、ピン配列及び伝送プロトコルに依存せずに多くの適用事例で使用可能である。典型的な使用分野はネットワークルータと移動無線通信である。プログラミングは取付られた状態で作動中に行われ、毎秒１０００回まで任意の頻度で変更可能である。例えばＰＣＩバスへの接続のような頻度の高いタスクに対しては、既製品のプログラムブロックが市場に出回っており、開発者は実装作業の大部分を免れる。素子のプログラミングは、大抵、ＨＤＬ（ＨａｒｄｗａｒｅＤｅｆｉｎｉｔｉｏｎＬａｎｇｕａｇｅ）、ＶＨＤＬ（ＶｅｒｙＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ−ＨＤＬ、ないしＶＬＳＩ−ＨＤＬ）又はＡＨＤＬ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔＨＤＬないしＡＳＩＣ−ＨＤＬ）のようなハードウェア記述言語で行われる。
【０１０１】
このようなシステムを構想する際に考慮すべきことは、ＶＨＤＬプログラミングの開発コストはフレキシビリティが低い場合にはソフトウェアによる解決策よりも著しく高いということである。したがって、解決策のハードウェア部分とソフトウェア部分との間にインタフェースを設け、最終製品が最小の開発コストで十分迅速に動作するようにすることが重要である。
【０１０２】
有限オートマトンのパターン依存の状態変化による行全体に亘る連結分析を用いた、光学信号マークの重心決定における上記データ低減は、妨害に対して非常にロバストであり、さらに非凸領域の測定も可能にする。大抵は、少数のパラメータしか必要とされないので、これに応じて処理速度は高い。直列的方法に関して、画像の連結した種々の部分領域を同時に評価することによって並列化することも可能である。確かに、このやり方では、部分領域の境界において例外的処理が必要となるが、今日利用可能なデジタル電子機器を用いて、およそ毎秒５００，０００，０００画素まで処理速度を上げることができる。それゆえ、この技術は高速度領域でも使用可能である。
【図面の簡単な説明】
【図１】逆反射マークを用いた場合の典型的な測定像と画像行ごとに生じるマーク頻度のヒストグラムとを示す。
【図２】２つの状態しか持たない単純な状態オートマトンを示す。
【図３】２×２ピクセルグループの場合の可能なバイナリビットパターンを示す。
【図４】データ低減の間のプロセス及び回路状態の概略図である。
【図５】２進化されたデジタル画像断片内の円形マークの図を示す。
【図６】データ低減のためのデジタル回路構成のブロック回路図である。
【図７】図６による回路構成内のコントロールオートマトンの動作プロセスを示す。
【図８】図６の列ＡＬＵ（算術論理ユニット）の構造を示す。
【図９】図６の行ＡＬＵの構造を示す。
【図１０】種々の出力値を計算及びバッファ記憶するための代替的ブロック線図である。

Claims

運動する物体に付された光学信号マークの重心を写真測量により決定する方法であって、
前記物体をビデオカメラにより撮影し、
前記物体の電子画像信号をデジタル画素（ピクセル）の行ごとのシーケンスとしてデータ低減用のデジタル処理ユニットに供給し、
前記デジタル処理ユニットの出力信号を更なる処理のために計算機に転送し、
データ低減のために、順次連続する画像行の隣り合ったピクセルのグループをｎ×ｍ行列に順次まとめ、ピクセル値の分布の特性パターンを前記行列の行及び列で識別することによって、隣り合ったピクセルの各グループを制御信号として評価するようにした方法において、
前記デジタル処理ユニットを電子回路として形成し、該電子回路内に行及び列ＡＬＵ（算術論理ユニット）を制御する有限オートマトンを実装し、前記行及び列ＡＬＵを用いて前記有限オートマトンによって計算された光学信号マークのモーメントに基づいて光学信号マークの重心を求めることを特徴とする、運動する物体に付された光学信号マークの重心を写真測量により決定する方法。
前記グループを２×２行列にまとめる、請求項１記載の方法。
識別された各パターンが個々の制御信号をトリガする、請求項１又は２記載の方法。
前記制御信号を、可算個の状態を有する有限オートマトンとして設計された評価論理回路への入力信号として供給する、請求項３記載の方法。
前記有限オートマトンは現在の状態と入力信号の状態変化とに依存して動作する、請求項４記載の方法。
前記有限オートマトンは、前記データ低減用デジタル処理ユニットのすべての演算を制御する、請求項５記載の方法。
前記デジタル処理ユニットの出力信号として、各信号マークについて、
信号マークに属するすべてのピクセル値の合計、
画像内での信号マークの位置の指定、
信号マークの面積、
信号マークの周囲長、
信号マークの幅及び
信号マークの高さ
を、さらなる処理のためにデジタル数値として計算機に転送する、請求項１から６のいずれか１項に記載の方法。
ビデオカメラから送られてきた画像信号を、データ低減に先行して、前記デジタル処理ユニット内で、限定された個数のグレー値にまで低減する、請求項１から７のいずれか１項に記載の方法。
画像行内で、隣り合ったピクセルのグレー値の差分値を所定の閾値と比較し、
前記差分値が負の閾値よりも小さい場合は、後続するピクセルのグレー値をデジタル値"１"に決定し、前記差分値が正の閾値よりも大きい場合は、デジタル値"０"に決定する、請求項８記載の方法。
請求項１から９のいずれか１項に記載の方法を用いた、運動する物体に付された光学信号マークの重心を写真測量により決定する装置であって、
デジタル処理ユニットが、
複数の画像行をバッファ記憶するための手段と、
順次連続する画像行から隣り合ったピクセルのグループをｎ×ｍ行列として順次まとめ、制御信号として評価するコントロールユニットと、
前記コントロールユニットにより制御される、出力信号を計算機に転送するための手段とを有している形式の装置において、
前記デジタル処理ユニットは電子回路として形成されており、該電子回路内には、光学信号マークの重心を求めるのに適した行及び列ＡＬＵ（算術論理ユニット）を制御する有限オートマトンが実装されていることを特徴とする、運動する物体に付された光学信号マークの重心を写真測量により決定する装置。
コンバータ段が設けられており、
該コンバータ段において、ビデオカメラから送られてきた画像信号が、限定された個数のグレー値まで低減される、請求項１０記載の装置。
前記デジタル処理ユニットのコンポーネントとして、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はＡＳＩＣが使用される、請求項１０又は１１記載の装置。