JP5086824B2

JP5086824B2 - 追尾装置及び追尾方法

Info

Publication number: JP5086824B2
Application number: JP2008015862A
Authority: JP
Inventors: 淳黒田; 哲也塘中; 英明村田; 喜一杉本; 陽介藤冨; 康晴天内
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 2008-01-28
Filing date: 2008-01-28
Publication date: 2012-11-28
Anticipated expiration: 2028-01-28
Also published as: JP2009177666A

Description

本発明は、移動する追尾対象物を追尾する追尾装置及び追尾方法に関する。

移動する追尾対象物（移動体）を追尾する装置として、テンプレートマッチング手法を用いたものの一例の概略を図１５に示す。この装置は、追尾対象物１０１が車両で、それを追尾する追尾体も車両（追尾車両）である場合のものである。追尾車両に追尾装置が搭載される。追尾装置は、追尾対象物１０１を撮影するカメラ装置１０２と、カメラ装置１０２が撮影した画像を、追尾対象物１０１を追尾するために処理する画像追尾処理部１０３とからなっている。カメラ装置１０２は旋回装置１０４により鉛直軸回り及び水平軸回りに旋回できるようになっている。画像追尾処理部１０３には、追尾対象物を画像データとしたテンプレート１０５を格納（記憶）するテンプレート格納部１０６が備えられている。このテンプレート格納部１０６に格納されているテンプレート１０５は、入力画像との一致の度合い(一致度)を演算するための基準画像で、画面上で操作者が指定した画像を取り込むことにより、または予め記憶しているデータにより形成される。

画像追尾処理部１０３には特徴抽出部１０７が備えられ、この特徴抽出部１０７に、カメラ装置１０２で撮像された追尾対象物１０１の画像情報が送られる。特徴抽出部１０７では、画像情報から、追尾対象物１０１の輪郭や色、ホットポイントなどの特徴を抽出する。テンプレート格納部１０６のテンプレート情報及び特徴抽出部１０６の情報はテンプレートマッチング処理部１０８に送られる。テンプレートマッチング処理部１０８では、テンプレート１０５と特徴抽出部１０６からの追尾対象物１０１の特徴情報とが比較され、それらの一致度が算出される。そして、一致度が最も高い画像が追尾対象物として算出され、そして例えばその中心点が追尾点Ｘとして算出される。次々と入力される画像情報に対して追尾点Ｘが求められる。カメラ装置１０２は、追尾点Ｘが画面の中心に来るように制御される。

図１６には、テンプレートマッチング処理部１０８の処理内容を模式的に示す。図１６（Ｂ）に示すようにカメラ装置１０２がとらえた画像を映し出すモニター画面１０９上に枠１１０を設定し、枠１１０でとらえた画像１１１とテンプレート１０５との一致度を比較しながら探索する。探索は、テンプレート１０５を図１６（Ａ）中に矢印で示すようにモニター画面１０９上で走査させることにより行なう。そして、図１６（Ｂ）に示すように枠１１０でとらえた画像とテンプレート１０５との一致度の高い点を追尾点として算出する。画像１１１は、追尾対象物である車両だけでなく木も写っている場合のものである。

画面の一致度を見る装置は、例えば、特開２００４−１２９１３１号公報（特許文献１）、特開２００６−２７９８９０号公報（特許文献２）、特開平６−２４１７８７号公報（特許文献３）、特開平９−１３０７８４号公報（特許文献４）、特開平９−２６５５３８号公報（特許文献５）などに開示されている。

特開２００４−１２９１３１号公報特開２００６−２７９８９０号公報特開平６−２４１７８７号公報特開平９−１３０７８４号公報特開平９−２６５５３８号公報

カメラ装置で追尾対象物を捉える追尾装置にあっては、天候（雨、霧、夕暮れなど）の影響で画像のコントラストが低くなってフォーカスがずれることがある。また、テンプレートを使う装置にあっては、近距離から遠距離まで広範囲の目標に対応する際にテンプレートのサイズが不適切となることがある。目標近辺の背景が複雑である場合には、背景と目標との切り分けが困難となり、追尾精度の低下を招くこともある。更に、追尾対象物も動くものである場合には、相対速度が予測しづらくなり、追尾精度の低下が予測される。

本発明は、追尾対象物を追尾する追尾装置の位置を推定し、推定結果に基づいて追尾に必要な処理をすることにより追尾精度を向上させることを目的とする。

上記課題を解決する第１の発明に係る追尾装置の構成は、
追尾対象物を追尾する追尾体に搭載された撮像装置で捉えた画像の情報と追尾対象物のテンプレートとのテンプレートマッチング処理の一致度から追尾点を求める画像追尾処理部を備えた追尾装置において、前記追尾体に搭載されたＧＰＳ及びＩＭＵと、前記ＧＰＳ及び前記ＩＭＵの検出情報に基づいて前記追尾体の位置及び姿勢を検出する自己位置姿勢推定部と、予め取得された３Ｄマップと、前記自己位置姿勢推定部と前記３Ｄマップとから注視点を検出する注視点検出部と、前記３Ｄマップより得られる推定２次元画像と前記撮像装置より得られる実画像をマッチングすることにより前記注視視点の誤差を補正する注視点誤差処理部とを備えることを特徴とする。

上記課題を解決する第２の発明に係る追尾装置の構成は、第１の発明に係る追尾装置において、
前記注視点検出部からの注視点情報と前記３Ｄマップとから追尾対象物の距離を推定する距離推定部と、この距離推定部の推定距離に基づいて前記撮像装置のフォーカス距離を算出するフォーカス算出部とを備え、前記フォーカス算出部の算出結果に基づいて前記撮像装置のフォーカス距離を修正することを特徴とする。

上記課題を解決する第３の発明に係る追尾装置の構成は、第１の発明に係る追尾装置において、
前記距離推定部の推定距離に基づいてテンプレートのサイズを算出するテンプレートサイズ算出部を備えることを特徴とする。

上記課題を解決する第４の発明に係る追尾装置の構成は、第１の発明に係る追尾装置において、
前記注視点検出部からの注視点情報と前記３Ｄマップとから前記追尾対象物が存在しない可能性が高い不存在領域を求め、その不存在領域をテンプレートマッチング処理の対象から除外することを特徴とする。

上記課題を解決する第５の発明に係る追尾装置の構成は、第１の発明に係る追尾装置において、
前記注視点検出部からの注視点情報と前記３Ｄマップとから前記追尾対象物と前記追尾体との相対距離を推定し、この相対距離を前記テンプレートマッチング処理に反映させることを特徴とする。

上記課題を解決する第６の発明に係る追尾装置の構成は、第１の発明に係る追尾装置において、
前記撮像装置の位置がプリセットされている場合に、前記注視点検出部からの注視点情報と前記３Ｄマップとからプリセット位置との関係を算出し、その算出結果に基づいて前記撮像装置がプリセット位置を向くように制御することを特徴とする。

上記課題を解決する第７の発明に係る追尾装置の構成は、第２の発明に係る追尾装置において、
前記撮像装置を複数備えることにより距離を推定し、この推定された距離に基づいて前記距離推定部に求められた推定距離を補正することを特徴とする。

上記課題を解決する第８の発明に係る追尾方法の構成は、
追尾対象物を追尾する追尾体に搭載された撮像画像で捉えた画像の情報と追尾対象物のテンプレートとのテンプレートマッチング処理の一致度から追尾点を求める追尾方法において、ＧＰＳ及びＩＭＵの検出情報に基づいて前記追尾体の位置及び姿勢を検出するために自己位置姿勢を推定し、予め取得された３Ｄマップと前記自己位置姿勢ととから注視点を検出し、この注視点についての情報から前記撮像装置で捉えた追尾対象物までのフォーカス距離を決定する一方、前記３Ｄマップより得られる推定２次元画像と前記撮像装置より得られる実画像をマッチングすることにより前記注視視点の誤差を補正することを特徴とする。

上記第１乃至第７の発明に係る追尾装置によれば、追尾対象物を追尾する追尾体に搭載された撮像装置で捉えた画像の情報と追尾対象物のテンプレートとのテンプレートマッチング処理の一致度から追尾点を求める画像追尾処理部を備えた追尾装置において、前記追尾体に搭載されたＧＰＳ及びＩＭＵと、前記ＧＰＳ及び前記ＩＭＵの検出情報に基づいて前記追尾体の位置及び姿勢を検出する自己位置姿勢推定部と、予め取得された３Ｄマップと、前記自己位置姿勢推定部と前記３Ｄマップとから注視点を検出する注視点検出部とを備え、前記注視点検出部により注視点を検出し、それに基づいて種々の処理を行なうようにしたので、追尾精度自体が向上する。具体的には、注視点と３Ｄマップとから追尾対象物の距離を推定して撮像装置のフォーカスを制御し、テンプレートのサイズを算出してテンプレートを変更し、追尾対象物の不存在領域を検出してテンプレートマッチング処理対象から外し、相対距離を算出してテンプレートマッチング処理に反映させるようにしたので、追尾精度が向上する。また、前記３Ｄマップより得られる推定２次元画像と前記撮像装置より得られる実画像をマッチングすることにより誤差を補正するようにしたので、この面でも追尾精度が向上する。更に、前記撮像装置を複数備えることにより距離を推定し、この推定された距離に基づいて前記距離推定部に求められた推定距離を補正するようしたので、この面でも追尾精度が向上する。

また、第８の発明に係る追尾方法によれば、ＧＰＳ及びＩＭＵの検出情報に基づいて前記追尾体の位置及び姿勢を検出するために自己位置姿勢を推定し、予め取得された３Ｄマップと前記自己位置姿勢ととから注視点を検出し、この注視点についての情報から前記撮像装置で捉えた追尾対象物までのフォーカス距離を決定するようにしたので、追尾対象物に対する視認性が向上し、結果として追尾精度が向上する。

実施の形態１
以下、本発明に係る追尾装置の実施の形態１を、図面に基づき説明する。
図１は本発明の実施の形態１に係る追尾装置の概念ブロック図であり、図２は、実施の形態１に係る追尾装置における実画像と３Ｄマップ上での推定手法を示す説明図である。この実施の形態１に係る追尾装置は、図２に示すように追尾対象物が車両（追尾対象車両）１であり、車両１を追尾する追尾体も車両（追尾車両）２の場合のものである。なお、本発明は、この実施の形態１に限らず後述する実施の形態においても、追尾対象物としては車両に限らず種々の移動体に適用できる。

追尾車両２に追尾装置３が搭載される。追尾装置３は、追尾対象車両１を撮影する撮像装置としてのカメラ装置４と、カメラ装置４が撮影した画像から追尾点を求める処理をする画像追尾処理部５とを備える。カメラ装置４は、例えば光学的測距によるオートフォーカスカメラなどが採用される。カメラ装置４は旋回装置６により鉛直軸回り及び水平軸回りに旋回できるようになっている。画像追尾処理部５には、追尾対象車両１を画像データとしたテンプレート７を格納（記憶）するテンプレート格納部８が備えられる。このテンプレート格納部８に格納されているテンプレート７は、入力画像との一致の度合い(一致度)を演算するための基準画像で、カメラ装置４でとらえた画像を操作者が指定して取り込んだり、予め記憶しているデータにより形成されたりする。

画像追尾処理部５には特徴抽出部９が備えられ、この特徴抽出部９に、カメラ装置４で撮像された画像情報が送られる。特徴抽出部９では、画像情報から、追尾対象車両１の輪郭や色、ホットポイントなどの特徴を抽出する。テンプレート格納部８のテンプレート情報及び特徴抽出部９の抽出情報はテンプレートマッチング処理部１０に送られる。テンプレートマッチング処理部１０では、テンプレート７と抽出情報とが比較され、それらの一致度が算出される。このテンプレートマッチング処理を、図１０（Ａ）にイメージ的に示してある。Ａ，Ｂ，Ｃ，Ｄが画面１８上に表れている画像であり、それぞれの画像とテンプレートのマッチングがなされるのである(図１６参照)。そして、一致度が最も高い画像が追尾対象物として算出され、そして例えば画像の中心点が追尾点Ｘとして算出される。カメラ装置４はこの追尾点Ｘを向くように制御される。つまり、画像追尾処理部５から旋回装置６に旋回指令（旋回量）が出され、その旋回指令に基づきカメラ装置４のカメラの向きが垂直軸回り及び水平軸回りに駆動され、カメラの向きが追尾対象車両１に合せられる。

本発明では追尾装置３として更にＧＰＳ（Global Positioning System:全地球測位システム）１１、ＩＭＵ（Inertial Measurement Unit:慣性姿勢計測装置又は慣性航法装置）１２が搭載される。ＧＰＳ１１は人工衛星の軌道情報を利用して全地球上で３次元位置（ｘ、ｙ、ｚ）を検出するもので、追尾車両２の位置が検出される。ＩＭＵ１２は直交する３軸（ｘ軸、ｙ軸、ｚ軸）にそれぞれ設けられた加速度計と３つのジャイロスコープとから構成され、回転成分（Ｒｘ，Ｒｙ，Ｒｚ）と座標（ｘ、ｙ、ｚ）（Δｘ、Δｙ、Δｚ）から追尾車両２の姿勢が検出される。ＧＰＳ１１及びＩＭＵ１２の検出情報は自己位置・姿勢推定部１３に送られる。自己位置・姿勢推定部１３では、ＧＰＳ１１及びＩＭＵ１２からの情報により追尾車両２の位置及び姿勢を推定する。

自己位置・姿勢推定部１３の推定結果は注視点検出部１４に入力される。注視点検出部１４では、地図情報として３Ｄマップが格納された３Ｄマップ格納部１５からその位置の３Ｄマップ情報が読み出される。そして、注視点検出部１４では、自己位置・姿勢推定部１３からの推定自己位置・姿勢情報と３Ｄマップとから地図上でどこを注視しているかが検出される。なお、以上の構成は、図１中破線で囲み符号１７で示す部分であるが、この部分は本発明の基本構成部であり、後述する他の実施の形態においても共通する。

注視点検出部１４の注視点情報は距離推定部１６に送られる。距離推定部１６では、注視点の方向と３Ｄマップとから追尾対象車両１までの距離が推定される。つまり、地図上で追尾車両２の位置、姿勢がわかり、そこから注視点の方向の追尾対象車両１が存在していると考えられる場所までの距離が推定できるのである。例えば、注視点方向に道路があれば、そこに追尾対象車両１が存在すると考えられるので、追尾車両２から道路までの距離を３Ｄマップ上から読み取り、推定距離とするのである。

図２に基づき距離推定部１６における距離推定処理について更に説明すると、図２（Ａ）は、追尾対象車両１と追尾車両２とを３Ｄマップ２３上に表した状態をイメージ的に示してある。カメラ装置４でとらえた映像は画面上では図２（Ｂ）のように表される。図２（Ｂ）には、画面１８内に、道路１９、その上にある追尾対象車両１、背景の山林２０、空２１が映し出されている。また、上方から見た状態はイメージ的には図２（Ｃ）のようになる。注視点を推定するには、前述のようにＧＰＳ１１及びＩＭＵ１２からの情報より、３Ｄマップ２３上での追尾車両２の自己位置及び姿勢から、視線方向を算出し、視線方向の距離を推定する。そして、追尾対象車両１が存在する場所として考えられるのは道路１９であり、視線方向における道路１９までの距離（図２（Ｃ）における矢印間の距離）が算出される。これが推定距離となる。

距離推定部１６での推定結果である推定距離はフォーカス算出部２２に入力され、ここで、推定距離にある追尾対象車両１を映し出す焦点距離が算出される。算出された焦点距離に基づきカメラ装置４の制御部にレンズ制御指令が出され、カメラ装置４の焦点距離が制御される。これにより、カメラ装置４の焦点がより追尾対象車両１に合ったものとなり、より鮮明な画像が得られる。より鮮明な画像が得られることから画像追尾処理部５におけるテンプレートマッチング処理の精度が向上する。つまり、追尾精度が向上する。

画像追尾処理部５からの旋回指令（旋回量）は、テンプレートマッチング処理部１０にも入力され、追尾処理に利用される。例えば、図３に示すように、時刻ｔ（このときの画面１８を実線で示す）から時刻ｔ＋１（このときの画面１８を破線で示す）で、ｘ方向に１０画素カメラが旋回しているとするとき、画面１８上の追尾対象車両１が止まっていれば、画面中での追尾対象車両１の位置が時刻ｔから時刻ｔ＋１の間に１０画素ずれた場所に来ている確率が高い。これにより、追尾処理する際の、捜索範囲を決定したりすることができる。

通常、画面１８に表示されるカメラ装置４からのすべて情報に対してテンプレートマッチング処理を行なうと計算負荷が高くなる。そこで、図４に示すように、目標対象車両１の動作に見合った限られた範囲（探索範囲）１８ａのみでテンプレートマッチング処理を行なうようにする。旋回量がテンプレートマッチング処理部１０に入るので、その旋回量から追尾対象車両１の画面１８上での移動範囲が予測できる。その予測範囲をカバーできる範囲を探索範囲１８ａとして目標対象車両１に相当する画像を検索し、テンプレートマッチング処理を行なう。画面１８全体に対しての処理ではないので、計算の負荷が軽減され、処理が速くなる。

この実施の形態１に係る追尾装置によれば、追尾対象車両１に対する距離を推定してカメラ装置４のフォーカス制御をするので、追尾対象車両１に対する視認性が向上し、結果として追尾精度が向上する。したがって、天候の影響で画像のコントラストが低く、オートフォーカスによる焦点がずれたとしてもそれを補正することができる。

実施の形態２
図５に本件発明の実施の形態２に係る追尾装置３ａの概念ブロック図を示す。この実施の形態２に係る追尾装置３ａは、追尾対象車両との推定距離に基づき、画像追尾処理に用いるテンプレートのサイズを変更するようにしたものである。つまり、追尾対象物が近距離にある場合と遠距離にある場合とで同じサイズのテンプレートを用いたのでは追尾精度に影響を与えるおそれがある。例えば、テンプレートを小さいサイズのまま使用すると背景などに埋もれてしまうおそれがある。そこで、追尾対象物までの距離を推定し、カメラ装置の焦点距離を調整する一方において、推定距離に基づいてテンプレートサイズを変えるようにするのである。

この追尾装置３ａの基本構成部１７の構成は、実施の形態１に係る追尾装置３のものと同じである。距離推定部１６、フォーカス算出部２２が設けられている構成も同じである。この追尾装置３ａでは、更にテンプレートサイズ算出部３１が設けられる。このテンプレートサイズ算出部３１には、距離推定部１６から推定距離情報が入力される。テンプレートサイズ算出部３１では、距離とテンプレートとのサイズの関係に基づき推定距離からテンプレートのサイズが求められ、求められたテンプレートサイズが画像追尾処理部５に入力される。画像追尾処理部５では、テンプレートのサイズを変更して、テンプレートマッチング処理を行なう。したがって、カメラ装置４でとらえられた画像に合った大きさのテンプレートとのマッチングとなるので、適正なマッチング処理となる。
なお、旋回指令（旋回量）が画像追尾処理部５に入力されて、追尾処理（図３、図４）に利用されるのは実施の形態１と同様である。

この実施の形態２に係る追尾装置３ａによれば、推定距離に基づき画像追尾処理に用いるテンプレートのサイズを設定するようにしたので、実施の形態１に係る追尾装置３による効果に加え、目標の特徴を適切にとらえることができ、かつ外乱の影響を抑えるこができるので、その面でも追尾精度の向上が図れるという効果を奏する。

実施の形態３
図６に本件発明の実施の形態３に係る追尾装置３ｂの概念ブロック図を示す。追尾対象物近辺の背景が複雑で、背景との追尾対象物との切り分けが困難な場合は、追尾精度が低くなる。この実施の形態３に係る追尾装置３ｂは、３Ｄマップの地図データにより、目標対象物との切り分けを難しくしている部分を追尾候補点から排除するようにしたものである。

この追尾装置３ｂの基本構成部１７の構成は実施の形態１に係る追尾装置３のものと同じである。この追尾装置３ｂでは、更に目標候補存在確率算出部３２が設けられる。この目標候補存在確率算出部３２には、注視点検出部１４からの注視点情報及び３Ｄマップ格納部１５から３Ｄマップ情報が入力される。そして、図２（Ａ）に示すように、３Ｄマップ２３上に追尾対象車両１を表し、追尾対象車両１を追尾する上で切り分けを複雑とする要因となる部分を排除する。ここでは、地形的に追尾対象車両１が存在しない確率が高い箇所である山林２０、空２１などを探索領域から除外するのであり、図２（Ｂ）では、空２１の部分を注視点算出の対象から外すことを示している。

画像追尾処理部５での処理をイメージ的に表したのが図１０（Ｂ）である。画面１８に現れている画像Ａ，Ｂ，Ｃ，Ｄのうち、Ｄ地点が、目標候補存在確率算出部３２で、３Ｄマップ情報、距離・姿勢情報から空と判断される場合は、空には追尾対象車両１は存在せず、Ｄは、追尾対象車両１の存在確率が低い箇所としてマッチングの対象から外すのである。したがって、Ｄ以外の部分とのマッチングにより追尾対象物を検索するのである。

この実施の形態３に係る追尾装置３ｂによれば、マップ上の地形データより、追尾対象車両１が明らかに存在しない追尾候補点を排除するので、誤った個所を追尾点として算出する可能性が低減され、結果として追尾精度が向上する。また、マッチング処理の対象が少なくなるので、処理部による処理（演算）がより高速化する。

なお、上述では、追尾候補点を排除する方法を採用しているが、例えば、道路＞山＞空といった順序で存在確率を定量的に評価し、テンプレートマッチング処理結果と併用して追尾点を算出するようにしてもよい。例えば、追尾点をマッチング度と存在確率の積で考えれば、以下のような場合には、Ｂ点の方が高得点となり、追尾点として選択されることになる。
座標Ａマッチング度１００存在確率１０
座標Ｂマッチング度９０存在確率７０

実施の形態４
図７には本件発明の実施の形態４に係る追尾装置３ｃの概念ブロック図を示す。追尾対象車両１もそれを追尾する追尾車両２も移動している場合には、相対速度が予測しづらくなり追尾精度の低下が予測される。注視点検出部１４により追尾車両２の注視点がわかっているので、追尾対象車両１との相対的関係（速度、距離など）を知ることができ、それに基づき追尾対象車両１を適正に検出できるようにしたのである。

この追尾装置３ｃの基本構成部１７の構成は実施の形態１に係る追尾装置３のものと同じであるが、更に距離測定・目標動き検出部３３、目標候補存在確率算出部３４が設けられる。距離測定・目標動き検出部３３、目標候補存在確率算出部３４で行なう処理を図８に基づき説明する。例えば、追尾対象車両１が等速で移動しているとすると、追尾車両２と追尾対象車両１との相対距離が変わらない場合には、時刻ｔのときの追尾対象車両１の位置に対し時刻ｔ＋１のとき、時刻ｔ＋２のときの追尾対象車両１の位置は、図８（Ａ）に示すようになる。しかし、追尾車両２と追尾対象車両１との相対距離が変わる場合には、図８（Ｂ）に示すように、同じ時刻ｔ＋１、ｔ＋２において追尾対象車両１は図８（Ａ）で示した位置とは異なり、見かけ上速度が減少しているようになり、ｔ＋１、ｔ＋２の時刻においては相対速度が変わらない場合に比べてＬ１、Ｌ２ずれた位置にあるごとく認識される。したがって、相対距離が変化している場合に、それを勘案せずに、時刻ｔ＋２には図８（ａ）における時刻ｔ＋２の位置に追尾対象車両１があると推測して探すと、探せず又は誤ったものを認識してしまうことになる。

そのため、本実施の形態４に係る追尾装置３ｃでは、距離測定・目標動き検出部３３において、追尾対象車両１に対する推定距離と画面上の動きを検出して相対速度、相対距離を求める。そして、目標候補存在確率算出部３４にて、追尾対象車両１との相対距離、相対速度から追尾対象車両１が存在する位置を推測する。つまり、追尾対象車両１の画面上での過去の動きから等速運動モデルを仮定し、目標候補の存在確率を求めるのであるが、追尾対象車両１及び追尾車両が移動する場合には、相対距離を考慮しながら、画面上での等速モデルを推定する。

目標候補存在確率算出部３４で推定された結果は、画像追尾処理部５に入力され、テンプレートマッチング処理部１０（図１参照）にて撮像された画像とテンプレートとのマッチングの際に考慮される。例えば、距離推定処理をイメージ的に表した説明図である図１０（Ｃ）に示すように、過去の追尾位置から目標の等速モデルを仮定し、Ｂに居る確率が高い、Ｃの位置まで急に位置が変化することはない、等を推定し追尾点を算出する。
なお、旋回指令（旋回量）が画像追尾処理部５に入力されて、追尾処理（図３、図４）に利用されるのは実施の形態１と同様である。

この実施の形態４に係る追尾装置３ｃによれば、追尾対象車両１との相対的関係を検出してそれをテンプレートマッチングに反映させるので、相対的関係を考慮したマッチングができ、マッチングの精度が向上する。また、移動位置を予測して追尾するので、例えば追尾対象車両１が木陰に隠れて画像としては現れていないときでも、存在位置を推測することができる、つまり追尾することができ、画面上に現れたらマッチング処理を行なうというようなこともできる。

なお、図７に示した実施の形態４では、追尾対象車両１に対する推定距離に基づくフォーカス算出は行なっていないが、勿論実施の形態１と同様に、距離推定部とフォーカス算出部を設けて、カメラ装置４のレンズ制御を行なうようにすることもできる。

実施の形態５
図９には実施の形態５に係る追尾装置３ｄの概念ブロック図を示す。この追尾装置３ｄは、追尾対象カメラ装置４を向ける位置をプリセットしておき、追尾車両２が移動し、更には姿勢が変わった場合でも、プリセット位置にカメラ装置４が向くようにしたものである。

追尾装置３ｄの基本構成部１７の構成は実施の形態１に係る追尾装置３のものと同じである。この追尾装置３ｄでは、プリセット位置算出部３５が設けられる。このプリセット位置算出部３５には、予めプリセット情報が記憶又は入力される。プリセット情報としては、ある箇所における追尾対象車両が出現する可能性の高い箇所、例えば道路、出入り口などであり、これらの箇所を優先的に探索すべき場所として決めておくのである。予め入力し記憶させておいてもよいし、３Ｄマップ格納部１５から該当する箇所の情報が入力されるようにしてもよい。

注視点検出部１４により追尾車両２の位置・姿勢が推定されると、この情報が、プリセット位置算出部３５に入力される。また、プリセット位置算出部３５には、画像追尾処理部５から追尾点Ｘの情報が旋回補正のための信号として入力される。プリセット位置算出部３５では、プリセット情報と位置・姿勢の推定値との比較演算により、カメラ装置４をプリセット位置に向けるためにはどの方向にどれ位回転させればよいかが演算される。それが、テンプレートマッチング処理の結果である追尾点Ｘ情報に加味され、最終的にカメラ装置４を旋回させる量が算出される。この算出結果である旋回量がカメラ装置４に送られ、カメラ装置４の向きが回転制御される。これを図１０（Ｄ）ではイメージ的に表してある。つまり、建物の入り口Ｂ、主要道路Ｃは優先的に探索すべき箇所であり、これらにカメラ装置４が優先的に向けられて探索がなされる。

この実施の形態５においては、プリセット位置算出部３５からの旋回指令（旋回量）が画像処理部５に入力され、実施の形態１と同様に追尾処理（図３、図４）に利用される。

この実施の形態５に係る追尾装置３ｄによれば、追尾車両２が移動してプリセット位置に対する姿勢が変わってもプリセット位置にカメラ装置４を合わせることができるので、追尾精度が向上する。また、追尾対象車両が出現する可能性の高い所に優先的にカメラ装置を向けるので、探索の速度も上がる。

実施の形態６
図１１には実施の形態６に係る追尾装置３ｅの概略ブロック図を示す。この追尾装置３ｅは、注視点誤差の補正機能を持たせたものである。つまり、ＧＰＳ１１やＩＭＵ１２による検出誤差が蓄積されると自己位置・姿勢の推定値に誤差が生じるので、それを補正するようにしたのである。

追尾装置３ｅの基本構成部１７の構成は実施の形態１に係る追尾装置３のものと同じである。この追尾装置３ｅでは、注視点誤差補正処理部３６が備えられている。この注視点誤差補正処理部３６には、注視点検出部１４からの注視点情報及びカメラ装置４からの実際のカメラ映像が入力される。画像追尾処理部５からの追尾点情報も入力される。図１２には、注視点検出部１４から注視点誤差補正処理部３６に送られる注視点情報（画像）がどのようなものであるかを示す。ＧＰＳ１１及びＩＭＵ１２からの情報により算出される推定自車位置の誤差範囲３７内、つまりＧＰＳ１１及びＩＭＵ１２から算出した追尾車両２の存在範囲内からの視点を、３Ｄマップ２３から算出し、その位置からの２次元画像を作成する。この２次元画像が注視点誤差補正処理部３６に送られる。図１２においては、３Ｄマップ２３内において、追尾車両（自車）２が今居ると推定された箇所に居る状態、及びその状態から見える地形を示す。

図１３には、注視点誤差補正処理部３６での補正処理の内容を示す。
前述のように注視点誤差補正処理部３６には、カメラ装置４からの実画像３８が入力される。一方、ＧＰＳ１１及びＩＭＵ１２の検出誤差により追尾車両２が存在すると考えられる誤差範囲３７において視点を変えて目標を見た場合の模擬画像３９ａ，３９ｂ，３９ｃ・・・が３Ｄマップから作成され、注視点誤差補正処理部３６に入力される。注視点誤差補正処理部３６では、実画像３８と擬似画像３９ａ，３９ｂ，３９ｃ・・・との比較がなされ、例えば実画像３８を擬似画像３９ａ，３９ｂ，３９ｃ・・・上でスキャンさせることにより、実画像３８と最も一致度の高い擬似画像を求め、その擬似画像の位置を正確な位置として算出する。例えば、擬似画像３９ｃとの一致度が最も高い場合には、その擬似画像３９ｃに対応する視点に追尾車両２が居ると判断する。

注視点誤差補正装置３６からは誤差補正情報が画像追尾処理部５及びカメラ装置４の旋回装置６に入力される。画像追尾処理部５では、誤差補正情報に基づき追尾点の位置を修正し、カメラ装置４に旋回指令を出す。また、誤差補正情報に基づきカメラ装置４では、その水平方向及び上下方向の向きが制御される。

この実施の形態６に係る追尾装置３ｅによれば、ＧＰＳ１１及びＩＭＵ１２の検出情報に基づく追尾車両２の推定位置・姿勢の誤差を、実際の画像と、追尾車両２が居ると予測される範囲３７内の２次元擬似画像とのマッチングにより求め、その結果に基づき追尾点を補正するようにしたので、追尾精度を維持することができる。

実施の形態７
図１４には実施の形態７に係る追尾装置３ｆの概略ブロック図を示す。この追尾装置３ｆは、カメラ装置を二台備えて追尾対象物をステレオ視し、その結果に基づき、ＧＰＳ１１及びＩＭＵ１２の検出結果に基づき推測された距離の精度を上げるようにしたものである。

追尾装置３ｆの基本構成部１７の構成は実施の形態１に係る追尾装置３のものと同じである。この追尾装置３ｆには、もう１台カメラ装置４１が装備される。カメラ装置４１の撮像画像情報はステレオ視距離推定部４２に入力される。カメラ装置４の撮像画像は、画像追尾処理部３に送られるだけではなく、ステレオ視距離推定部４２にも送られる。ステレオ視距離推定部４２の推定結果は、距離推定部１６に送られる。

この追尾装置３ｆでは、２台のカメラ装置４、４１からの画像情報によりステレオ視距離推定部４２で、追尾対象車両１までの距離を推定する。このステレオ視推定距離は距離推定部１６に送られる。一方、ＧＰＳ１１及びＩＭＵ１２の検出情報は自己位置・姿勢推定部１３に送られる。自己位置・姿勢推定部１３では、ＧＰＳ１１及びＩＭＵ１２からの情報により追尾車両２の位置及び姿勢を推定する。自己位置・姿勢推定部１３の推定結果は注視点検出部１４に入力される。注視点検出部１４では、地図情報として３Ｄマップが格納された３Ｄマップ格納部１５からその位置の３Ｄマップ情報が読み出される。そして、注視点検出部１４では、自己位置・姿勢推定部１３からの推定自己位置・姿勢情報と３Ｄマップとから地図上でどこを注視しているかが検出される。この注視点検出部１４の注視点情報は距離推定部１６に送られる。距離推定部１６では、注視点の方向と３Ｄマップとから追尾対象車両１までの距離が推定される。つまり、地図上で追尾車両２の位置、姿勢がわかり、そこから注視点の方向の追尾対象車両１が存在していると考えられる場所までの距離が推定できるのである。

３Ｄマップ情報に基づき距離推定部１６で推定された推定距離は、ステレオ視距離推定部４２からのステレオ視推定距離に基づき補正される。補正された推定距離は、フォーカス算出部２２に送られ、距離推定部１６での推定結果はフォーカス算出部２２に入力され、ここで追尾対象車両１までの焦点距離が算出される。算出された焦点距離に基づきカメラ装置４の制御部にレンズ制御指令が出され、カメラ装置４の焦点距離が制御される。これにより、カメラ装置４の焦点がより追尾対象車両１に合ったものとなり、より鮮明な画像が得られることから画像追尾処理部５におけるテンプレートマッチング処理の精度が向上する。

なお、旋回指令（旋回量）が画像追尾処理部５に入力されて、追尾処理（図３、図４）に利用されるのは実施の形態１と同様である。

この実施の形態７に係る追尾装置３ｆによれば、追尾対象車両１に対する推定距離の精度が高まり、フォーカスの精度も向上するので、追尾対象車両１に対する視認性が向上し、結果として追尾精度が向上する。また、ＧＰＳ１１及びＩＭＵ１２の検出精度が低下した場合でもそれを補正することができる。

本発明の実施の形態１に係る追尾装置の概略ブロック図である。実施の形態１における実画像と３Ｄマップ上での推定手法を示す説明図である。実施の形態１に係る追尾装置の追尾処理における旋回量の利用形態を示す模式図である。実施の形態１に係る追尾装置の追尾処理における旋回量の利用形態を示す模式図である。本発明の実施の形態２に係る追尾装置の概略ブロック図である。本発明の実施の形態３に係る追尾装置の概略ブロック図である。本発明の実施の形態４に係る追尾装置の概略ブロック図である。本発明の実施の形態４に係る追尾装置における相対速度と相対距離との関係の説明図である。本発明の実施の形態５に係る追尾装置の概略ブロック図である。本発明の実施の形態１、３、４、５の内容をイメージ的に表した説明図である。本発明の実施の形態６に係る追尾装置の概略ブロック図である。ＧＰＳ、ＩＭＵから算出した追尾車両の存在範囲を示すイメージ図である。本発明の実施の形態６に係る追尾装置の処理内容の説明図である。本発明の実施の形態７に係る追尾装置の概略ブロック図である。従来のテンプレートマッチング処理のブロック図である。テンプレートマッチング処理の説明図である。

符号の説明

１追尾対象車両、２追尾車両、３追尾装置、４カメラ装置、５画像追尾理部、６旋回装置、７テンプレート、８テンプレート格納部（記憶部）、９特徴抽出部、１０テンプレートマッチング処理部、１１ＧＰＳ装置、１２ＩＭＵ装置、１３自己位置・姿勢推定部、１４注視点検出部、１５３Ｄマップ格納部、１６距離推定部、１７基本構成部、１８画面、１９道路、２０山林、２１空、２２フォーカス算出部、２３３Ｄマップ、３１テンプレートサイズ算出部、３２目標存在確率算出部、３３距離推定・目標動き検出部、３４目標候補存在確率算出部、３５プリセット位置算出部、３６注視点誤差補正処理部、３７誤差範囲、３８実画像、３９ａ，３９ｂ，３９ｃ・・・擬似画像、４１カメラ装置、４２ステレオ視距離推定部。

Claims

追尾対象物を追尾する追尾体に搭載された撮像装置で捉えた画像の情報と追尾対象物のテンプレートとのテンプレートマッチング処理の一致度から追尾点を求める画像追尾処理部を備えた追尾装置において、前記追尾体に搭載されたＧＰＳ及びＩＭＵと、前記ＧＰＳ及び前記ＩＭＵの検出情報に基づいて前記追尾体の位置及び姿勢を検出する自己位置姿勢推定部と、予め取得された３Ｄマップと、前記自己位置姿勢推定部と前記３Ｄマップとから注視点を検出する注視点検出部と、前記３Ｄマップより得られる推定２次元画像と前記撮像装置より得られる実画像をマッチングすることにより前記注視視点の誤差を補正する注視点誤差処理部とを備えること追尾装置。
前記注視点検出部からの注視点情報と前記３Ｄマップとから追尾対象物の距離を推定する距離推定部と、この距離推定部の推定距離に基づいて前記撮像装置のフォーカス距離を算出するフォーカス算出部とを備え、前記フォーカス算出部の算出結果に基づいて前記撮像装置のフォーカス距離を修正することを特徴とする請求項１に記載の追尾装置。
前記距離推定部の推定距離に基づいてテンプレートのサイズを算出するテンプレートサイズ算出部を備えることを特徴とする請求項２に記載の追尾装置。
前記注視点検出部からの注視点情報と前記３Ｄマップとから前記追尾対象物の不存在領域を求め、その不存在領域をテンプレートマッチング処理の対象から除外することを特徴とする請求項１に記載の追尾装置。
前記注視点検出部からの注視点情報と前記３Ｄマップとから前記追尾対象物と前記追尾体との相対距離を推定し、この相対距離を前記テンプレートマッチング処理に反映させることを特徴とする請求項１に記載の追尾装置。
前記撮像装置の位置がプリセットされている場合に、前記注視点検出部からの注視点情報と前記３Ｄマップとからプリセット位置を算出し、前記撮像装置を制御することを特徴とする請求項１に記載の追尾装置。
前記撮像装置を複数備えることにより距離を推定し、この推定された距離に基づいて前記距離推定部に求められた推定距離を補正することを特徴とする請求項２に記載の追尾装置。
追尾対象物を追尾する追尾体に搭載された撮像画像で捉えた画像の情報と追尾対象物のテンプレートとのテンプレートマッチング処理の一致度から追尾点を求める追尾方法において、ＧＰＳ及びＩＭＵの検出情報に基づいて前記追尾体の位置及び姿勢を検出するために自己位置姿勢を推定し、予め取得された３Ｄマップと前記自己位置姿勢ととから注視点を検出し、この注視点についての情報から前記撮像装置で捉えた追尾対象物までのフォーカス距離を決定する一方、前記３Ｄマップより得られる推定２次元画像と前記撮像装置より得られる実画像をマッチングすることにより前記注視視点の誤差を補正することを特徴とする追尾方法。