JP4081553B2 - 距離推定装置 - Google Patents

Description

本発明は、電波等を発射することなく、画像の情報と形状モデルの情報とを利用して、画像中の目標までの距離をパッシブに計測することができる距離推定装置に関するものである。

一般に、目標までの距離を計測する場合、電波等を発射して、目標からの反射波を観測し、発射した時刻と反射波が観測された時刻の差と速度の関係から距離を算出している。あるいは、ステレオ視を利用して三角測量の原理から目標までの距離を計測する方法がある。

従来の電波等を発射して目標までの距離を計測する装置は、例えば偵察・監視状況下では、電波等の発射により秘匿性が損なわれる問題がある。

また、前記ステレオ視を利用して目標までの距離を計測する方法は、撮像装置が少なくとも一対必要であり、構成が複雑化する問題がある。

解決すべき問題点としては、従来の電波等を利用した目標までの距離を計測する装置において、例えば偵察・監視状況下では、偵察・監視者が探知されない秘匿性が求められるため、電波等を発射することは好ましくないという問題がある。

本発明は、上記の点に鑑み、距離を推定したい目標を含む画像の情報と、距離を推定したい目標に相当する実物の大きさの情報を含む形状モデルとを照合し、画像中の目標までの距離をパッシブに推定でき、秘匿性を保証できる距離推定装置を提供することを目的とする。

本発明のその他の目的や新規な特徴は後述の実施の形態において明らかにする。

上記目的を達成するために、第１発明は、画像中の目標までの距離を推定する距離推定装置であって、
距離を推定したい目標を含む画像の情報を取得するための画像情報取得部と、
前記距離を推定したい目標に相当する実物の大きさの情報を含む形状モデルを保持するためのモデルデータ部と、
前記画像情報取得部の画像と前記モデルデータ部の形状モデルとを表示するための表示部と、
前記表示部に表示された前記画像情報取得部の画像と前記形状モデルとを操作するための操作部と、
前記表示部に表示された前記距離を推定したい目標と前記形状モデルとを照合したときの、前記距離を推定したい目標までの距離を推定するための距離計算部とを備え、
前記モデルデータ部には、詳細度及び種別の異なる複数の形状モデルが保持され、前記操作部において、複数の形状モデルの詳細度と種別を、段階的に切替えて選択できる機能を有することを特徴としている。

第２発明に係る距離推定装置は、第１発明において、前記操作部を操作することにより、
前記画像情報取得部の画像の倍率、回転及び前記表示部における中心表示位置を変える機能と、
前記形状モデルの倍率、回転及び前記表示部における中心表示位置を変える機能を有することを特徴としている。

第３発明に係る距離推定装置は、第１又は第２発明において、前記画像情報取得部の画像の特性又は種別に応じて、前記形状モデルが自動的に選択される機能を有することを特徴としている。

第４発明に係る距離推定装置は、第１、第２又は第３発明において、装置構成自体に起因する距離推定値の誤差又は前記操作部を操作する操作員に起因する距離推定値の誤差の誤差補正を行う機能を有することを特徴としている。

本発明に係る距離推定装置によれば、以下に記載されているような効果を奏する。
(1) 電波等を発射する必要がないため、秘匿性に優れる。
(2) ステレオ視を利用する場合には少なくとも２台の撮像装置が必要となるが、本発明では１台の撮像装置から得られる目標を含む画像の情報とモデルデータ部に予め保持された前記目標に対応した形状モデル（実物の大きさの情報を含む）から、その画像に含まれる前記目標までの距離を推定することができる。

以下、本発明を実施するための最良の形態として、距離推定装置の実施の形態を図面に従って説明する。

図１乃至図５を用いて本発明に係る距離推定装置の実施の形態１を説明する。図１は距離推定装置の基本的な構成図であり、距離を推定したい目標を含む画像の情報を取得するための画像情報取得部１１０１と、前記距離を推定したい目標に相当する実物の大きさの情報を含む形状モデルを保持するためのモデルデータ部１１０２と、画像情報取得部１１０１の画像とモデルデータ部１１０２の形状モデルとを表示するための表示部１１０３と、表示部１１０３に表示された画像情報取得部１１０１の画像と前記形状モデルとを操作員が操作するための操作部１１０４とを備えている。

前記画像情報取得部１１０１は前記距離を推定したい目標を含む画像を撮像する撮像装置と撮像した画像情報を記憶（保持）しておく機能とを有している。

前記モデルデータ部１１０２には、前記距離を推定したい目標の現実世界における少なくとも実物の大きさの情報を含む形状モデルが予め保持されている。例えば、図２に例示するように、詳細度（立方モデル、簡易モデル、詳細モデル等）及び種別（２次元、３次元、ワイヤーフレーム、サーフェース、ソリッドモデル等）の異なる多種多様な形状モデルが格納されている。

前記操作部１１０４からは画像情報取得部１１０１及びモデルデータ部１１０２の操作情報１０１が出力され、また表示部の操作情報１０３が出力される。前記画像情報取得部１１０１及びモデルデータ部１１０２からは表示情報１０２が表示部１１０３に出力され、また距離計算部１１０５への入力情報１０５が出力される。前記表示部１１０３からは操作員に視認情報１０４が表示（出力）されるようになっている。

操作員が前記距離を推定したい目標とこれに対応する形状モデルとの照合を表示部１１０３で行う際には、操作員は表示部１１０３を見ながら操作部１１０４を操作し、モデルデータ部１１０２から出力される形状モデルの詳細度と２次元、３次元、ワイヤーフレーム、サーフェース、ソリッドモデル等の種別を、適宜選択し、切替えて段階的に照合することができる（表示部上の目標と形状モデルの大きさとを一致させる。）。

図３は距離推定の原理を示す説明図である。図１の画像情報取得部１１０１に保持されている画像を撮像した撮像装置の照合終了時点の焦点距離ｆに相当する情報と、表示部１１０３に表示された距離を推定したい目標の前記撮像装置の撮像素子面での写像サイズｐ（写像が写っている画素の個数×１画素の長さ）に相当する情報と、照合に使用した形状モデルの現実世界での実物の大きさＬに相当する情報の関係から、距離を推定したい目標までの距離推定値Ｚは、下記式（１）により算出できる。
Ｚ＝ｆ・Ｌ／ｐ …（１）

図１の距離計算部１１０５は、上記のように、操作員が、表示部１１０３に表示された前記距離を推定したい目標と前記形状モデルとを表示部１１０３を見ながら、操作部１１０４を操作して照合したとき、照合終了時点にて前記式（１）を演算し、前記距離を推定したい目標までの距離推定値１０６を出力する。

前記距離を推定したい目標と前記形状モデルとの照合に際して、図１の距離推定装置は、図４のように、操作部１１０４を操作することにより、画像情報取得部１１０１の画像の倍率、回転及び表示部１１０３における中心表示位置を変える機能と、形状モデルの倍率、回転及び表示部１１０３における中心表示位置を変える機能を有している。

従って、距離を推定したい目標と形状モデルとの照合を行う際に、操作員が表示部１１０３を見ながら操作部１１０４を操作して、 図４のように表示部１１０３における画像の倍率、回転及び中心表示位置、また形状モデルの倍率、ロール、ピッチ、ヨー等の回転及び中心表示位置を変えることにより、距離を推定したい多様な姿勢の目標と形状モデルを高精度で照合して、前記目標までの距離を高精度で推定することができる。

さらに、図１の距離推定装置は、図５のように、推定したい目標を含む画像に形状モデルを重畳して表示部１１０３に表示できる機能を備える。

従って、表示部１１０３において前記距離を推定したい目標が含まれる画像上に形状モデルを重畳して表示し、操作員が表示部１１０３を見ながら操作部１１０４を操作し、画像の倍率及び中心表示位置、形状モデルの倍率、ロール、ピッチ、ヨー等の回転角度、画像中での表示位置を変えることにより前記距離を推定したい目標と形状モデルを図５のように重畳照合して、目標までの距離を高精度で推定可能である。

この実施の形態１によれば、次の通りの効果を得ることができる。

(1) 操作員が表示部１１０３を見ながら操作部１１０４を操作して、画像情報取得部１１０１の画像に含まれる距離を推定したい目標とモデルデータ部１１０２に保持された形状モデルとを照合し、画像情報取得部１１０１の画像を撮像した撮像装置の焦点距離と、撮像装置の撮像素子面での前記目標の写像の大きさ等の情報と、照合に使用した形状モデルの現実世界での実物の大きさ、倍率、回転、表示サイズ等の情報との関係から目標までの距離をパッシブに推定することが可能となり、電波等を発射する必要がないため、秘匿性を保証することができる。

(2) ステレオ視を利用する場合には少なくとも２台の撮像装置が必要となるが、本実施の形態では画像情報取得部１１０１（少なくとも１台の撮像装置を含む）から得られる目標を含む画像の情報とモデルデータ部１１０２に予め保持された前記目標に対応した形状モデルから、その画像に含まれる前記目標までの距離を推定することができる。

(3) 距離を推定したい目標とこれに対応する形状モデルとの照合を表示部１１０３で行う際に、操作員が、モデルデータ部１１０２から出力される形状モデルの詳細度（立方モデル、簡易モデル、詳細モデル等）及び種別（２次元、３次元、ワイヤーフレーム、サーフェース、ソリッドモデル等）を、適宜選択し、切替えて段階的に照合することで、照合操作を容易にかつ正確に行うことができる。つまり、照合動作の当初は詳細度の低い形状モデルで２次元モデルを用いて概略の照合を行い、順次段階的に詳細度の高い形状モデルで３次元、ワイヤーフレーム、サーフェース、ソリッドモデル等の種別に切り替えてより正確な照合を行う。

(4) 表示部１１０３における画像の倍率、回転及び中心表示位置、また形状モデルの倍率、ロール、ピッチ、ヨー等の回転及び中心表示位置を変えることにより、距離を推定したい多様な姿勢の目標と形状モデルを高精度で照合して、前記目標までの距離を高精度で推定可能である。

(5) 距離を推定したい目標と形状モデルを表示部１１０３において重畳照合して、目標までの距離を高精度で推定可能である。

図６は本発明の実施の形態２を説明するものであって、図１の距離推定装置において、画像情報取得部１１０１の画像に対して、ノイズ除去、濃度変換、平滑化、特徴強調、特徴抽出、鮮鋭化の少なくとも一つを含む画像処理を行うフィルタを設けることを示す。

図６の例では、特徴抽出、鮮鋭化のためのフィルタとして、原画像ｆ（ｉ，ｊ）に対して、ガウシアン画像ｇ（ｉ，ｊ）、ラプラシアン画像ｌ（ｉ，ｊ）、ＬｏＧ画像ｋ（ｉ，ｊ）を形成する場合を示している。

この場合、距離を推定したい目標と形状モデルとの照合の際に、画像情報取得部１１０１の画像に対して濃度変換、平滑化、特徴強調又は特徴抽出、鮮鋭化の少なくとも一つを含む画像処理を図６のフィルタ等により行った後、表示部１１０３に処理後の画像を表示して、前記距離を推定したい目標と形状モデルとを照合して、目標までの距離を高精度で推定する。

図７は本発明の実施の形態３を説明するものであって、図１の距離推定装置において、距離を推定したい目標と形状モデルとの手動操作による照合の後、計算機処理により更に一致度が高くなるように自動で照合を行う機能を有すること示す。

この場合、操作員が表示部１１０３を見ながら操作部１１０４を操作して、前記距離を推定したい目標と形状モデルとの大まかな照合を行い、その後に、より精緻な照合を距離推定装置による計算機処理で図７のステップ１、ステップ２、ステップ３の順に自動位置合わせで行い、前記目標までの距離を推定する。

自動照合の方法として、例えば、図７に示したように、目標と形状モデルに対してパターン・マッチングを用いることができる。その際、距離を推定したい目標と形状モデルの類似度が最大になるように、画像、又は形状モデルそれぞれの倍率、回転、表示位置等を変換して自動照合することにより、目標までの距離を推定する。

自動的に精緻な照合動作が可能であるから、操作員の負担が軽減されるとともに、照合終了までの時間の短縮が可能である。

図８は本発明の実施の形態４を説明するものであって、図１の距離推定装置において、装置構成自体に起因する距離推定値の誤差又は操作部を操作する操作員に起因する距離推定値の誤差の誤差補正を行う誤差補正テーブルを有する場合を示す。誤差補正テーブルの作成は、例えば、同一の目標に対して事前にレーザ測距で得られた距離情報と距離推定装置で得られた距離推定値を比較し、統計的な処理を行い、誤差補正テーブルを作成する方法や焦点距離に応じて誤差補正テーブルを作成する方法等がある。

この場合、距離推定値の暫定値Ｚに対して補正係数α，βを用いて下記式（２）により補正値Ｚ^＊を算出できる。
Ｚ^＊＝αＺ＋β …（２）
図８の誤差補正テーブルでは、所定距離範囲毎に使用すべき補正係数α，βの値が格納されている。例えば、暫定値Ｚが０〜１００ではα_１，β_１を使用して上記式（２）で補正値Ｚ^＊を計算する。

このように誤差補正テーブルを用いて、距離推定装置自体に起因する距離推定値の誤差又は操作員に起因する距離推定値の誤差の誤差補正を行うことで、距離推定値の精度を向上させることが可能となる。

なお、図１の距離推定装置において、画像情報取得部１１０１の画像の特性又は種別に応じて、モデルデータ部１１０２から呼び出す形状モデルが自動的に選択される機能を有するとよい。つまり、前記距離推定装置において、可視又は赤外センサ等の撮像装置から得られる画像の特性、又はカラー、モノクロ等の種類に応じて、適切な形状モデルが自動的に選択される。一例として、画像が赤外センサで取得されたものの場合には、ワイヤーフレームモデルが選択される等がある。

以上本発明の実施の形態について説明してきたが、本発明はこれに限定されることなく請求項の記載の範囲内において各種の変形、変更が可能なことは当業者には自明であろう。

本発明に係る距離推定装置の実施の形態１を示す基本的な構成図である。 実施の形態１において、モデルデータ部に格納された形状モデルの例を示す説明図である。 距離推定の原理説明図である。 画像の倍率、回転率と中心表示位置、又は形状モデルの倍率、回転率と中心表示位置を変えた例を示す説明図である。 表示部において目標が含まれる画像と形状モデルを重畳表示した例を示す説明図である。 本発明に係る距離推定装置の実施の形態２において、画像の特徴抽出及び鮮鋭化のためのフィルタの例を示す説明図である。 本発明に係る距離推定装置の実施の形態３において、目標と形状モデルの自動位置合わせの一方法を示す説明図である。 本発明に係る距離推定装置の実施の形態４において、暫定値として得られた距離推定値に応じて誤差補正テーブルを利用した距離推定値の誤差補正の例を示す説明図である。

符号の説明

１０１ 画像情報取得部及びモデルデータ部の操作情報
１０２ 表示情報
１０３ 表示部の操作情報
１０４ 視認情報
１０５ 距離計算部への入力情報
１０６ 距離推定値
１１０１ 画像情報取得部
１１０２ モデルデータ部
１１０３ 表示部
１１０４ 操作部
１１０５ 距離計算部

Claims (4)

1. 画像中の目標までの距離を推定する距離推定装置であって、
   距離を推定したい目標を含む画像の情報を取得するための画像情報取得部と、
   前記距離を推定したい目標に相当する実物の大きさの情報を含む形状モデルを保持するためのモデルデータ部と、
   前記画像情報取得部の画像と前記モデルデータ部の形状モデルとを表示するための表示部と、
   前記表示部に表示された前記画像情報取得部の画像と前記形状モデルとを操作するための操作部と、
   前記表示部に表示された前記距離を推定したい目標と前記形状モデルとを照合したときの、前記距離を推定したい目標までの距離を推定するための距離計算部とを備え、
   前記モデルデータ部には、詳細度及び種別の異なる複数の形状モデルが保持され、前記操作部において、複数の形状モデルの詳細度と種別を、段階的に切替えて選択できる機能を有することを特徴とする距離推定装置。
2. 前記操作部を操作することにより、
   前記画像情報取得部の画像の倍率、回転及び前記表示部における中心表示位置を変える機能と、
   前記形状モデルの倍率、回転及び前記表示部における中心表示位置を変える機能を有することを特徴とする請求項１記載の距離推定装置。
3. 前記画像情報取得部の画像の特性又は種別に応じて、前記形状モデルが自動的に選択される機能を有することを特徴とする請求項１又は２記載の距離推定装置。
4. 装置構成自体に起因する距離推定値の誤差又は前記操作部を操作する操作員に起因する距離推定値の誤差の誤差補正を行う機能を有することを特徴とする請求項１，２又は３記載の距離推定装置。

Images