JP4171283B2 - 地形認識装置および地形認識方法 - Google Patents
地形認識装置および地形認識方法 Download PDFInfo
- Publication number
- JP4171283B2 JP4171283B2 JP2002314902A JP2002314902A JP4171283B2 JP 4171283 B2 JP4171283 B2 JP 4171283B2 JP 2002314902 A JP2002314902 A JP 2002314902A JP 2002314902 A JP2002314902 A JP 2002314902A JP 4171283 B2 JP4171283 B2 JP 4171283B2
- Authority
- JP
- Japan
- Prior art keywords
- height
- ground
- terrain
- section
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、地面の三次元的形状を認識する地形認識装置および地形認識方法に係り、特に、ステレオ画像を用いて、地面の起伏形状を認識する技術に関する。
【０００２】
【従来の技術】
従来より、ステレオ画像を用いて、地面の三次元的形状を認識する技術が提案されている。例えば、特許文献１には、ステレオ画像を処理対象としたステレオマッチングを行うことで道路上の白線を検出し、検出された白線の三次元位置より道路面を検出する技術が開示されている。また、特許文献２には、ステレオ画像を用いて、道路や床のように画像的な特徴が少ない地面を大局的に平面近似することにより、地面を平面として認識する技術が開示されている。
【０００３】
一方、特許文献３には、地面を含む景色を撮像することによって得られるステレオ画像に基づいて、地面上の障害物の有無に拘わらず、地面の起伏形状を認識する技術が開示されている。具体的には、まず、被写体内における三次元点の標高成分に基づいて、被写体の基準標高値が算出される。つぎに、この基準標高値を超える標高成分（突出標高）を有する三次元点が、突出位置として検出される。検出された突出位置は、三次元空間上において、突出した障害物が存在する位置とみなされる。この突出位置の標高成分に関しては、突出標高に代えて、突出位置の周囲の標高成分より算出された平均的標高値が用いられる。このように、障害物が存在する突出位置の標高成分を修正することによって、障害物を除いた地面の起伏形状が特定される。
【０００４】
なお、本願出願人による先行出願のうち、本発明と関連するものとして、特願２００２−１８４０２０号が存在する。
【０００５】
【特許文献１】
特開平５−２６５５４７号公報
【特許文献２】
特開平９−８１７５５号公報
【特許文献３】
特開平８−２８５５８６号公報
【０００６】
【発明が解決しようとする課題】
本発明の目的は、地面の三次元的形状を精度よく認識する新規な地形認識装置および地形認識方法を提供することである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、ステレオカメラと、ステレオ画像処理部と、三次元位置算出部と、視線設定部と、視線ヒストグラム生成部と、地検認識部とを有し、地面の三次元的形状を認識する地形認識装置を提供する。ステレオカメラは、地面を含む景色を撮像し、一対の画像データを出力する。ステレオ画像処理部は、一対の画像データに基づき、ステレオマッチングによって視差を算出するとともに、算出された視差と、画像データにより規定される画像平面上の位置とが対応付けられた距離データを出力する。三次元位置算出部は、距離データに基づいて、それぞれの対象物の三次元位置を算出する。視線設定部は、三次元空間上において、それぞれの対象物の三次元位置とステレオカメラの取付位置とを結ぶ視線群を設定する。視線ヒストグラム生成部は、高さ方向を除く二方向で、三次元空間を行列状に分割することによって、三次元空間上に複数の区分を設定するとともに、視線設定部によって設定された視線群に基づいて、区分毎に、高さ方向における視線通過の頻度分布を生成する。地形認識部は、視線通過の頻度分布に基づいて、それぞれの区分における地面の高さを特定する。
【０００８】
ここで、第１の発明において、地形認識部は、ある区分に関する視線通過の頻度分布において、所定の閾値以上の度数を有する高さのうち、最も低い高さ、または、最も低い高さの直下の高さを、その区分における地面の高さとして特定してもよい。また、地形認識部は、ある区分に関する視線通過の通過頻度の分布において、高さの低い方から高い方に向かって、視線通過の頻度を累積していくことによって累積度数を算出し、この累積度数が所定の閾値以上になる高さ、または、この高さの直下の高さを、その区分における地面の高さとして特定してもよい。また、地形認識部は、ある区分に関する視線通過の通過頻度の分布において、所定の閾値以上の度数を有する高さが高さ方向に連続している領域を、対象物が存在しない空間領域として特定するとともに、特定された空間領域のうち、高さ方向の範囲が最も広い空間領域における最も低い高さの直下の高さを、その区分における地面の高さとして特定してもよい。
【０００９】
また、第１の発明において、地形認識部は、ある区分における地面の高さが特定できない場合、その区分の地面の高さを、その区分の周囲の地面の高さに基づいて推定することが望ましい。
【００１０】
また、第１の発明において、それぞれの対象物の三次元位置に基づいて、区分毎に、高さ方向における対象物の存在頻度分布を生成する対象物ヒストグラム生成部をさらに設けてもよい。この場合、地形認識部は、視線通過の頻度分布と対象物の存在頻度分布とに基づいて、それぞれの区分における地面の高さを特定することが好ましい。例えば、地形認識部は、ある区分に関する対象物の存在頻度分布において、所定の閾値以上の度数を有する高さのうち、最も低い高さを特定する。そして、地形認識部は、対象物の存在頻度分布より特定された高さと、視線通過の頻度分布より特定された高さとに基づいて、それぞれの区分における地面の高さを特定する。
【００１１】
さらに、第１の発明において、地形認識部は、ある区分に関して特定された地面の高さが、その区分の周囲の地面の高さよりも所定の閾値以上異なる場合、その区分の地面の高さを、その区分の周囲の地面の高さに基づいて、補正することが好ましい。
【００１２】
一方、第２の発明は、ステレオカメラによって地面を含む景色を撮像することにより得られる一対の画像データを用いて、地形の三次元的形状を認識する地形認識方法を提供する。この地形認識方法は、一対の画像データに基づき、ステレオマッチングによって視差を算出するとともに、算出された視差と、画像データにより規定される画像平面上の位置とが対応付けられた距離データを出力する第１のステップと、距離データに基づいて、それぞれの対象物の三次元位置を算出する第２のステップと、三次元空間上において、それぞれの対象物の三次元位置とステレオカメラの取付位置とを結ぶ視線群を設定する第３のステップと、高さ方向を除く二方向で、三次元空間を行列状に分割することによって、三次元空間上に複数の区分を設定するとともに、視線群に基づいて、区分毎に、高さ方向における視線通過の頻度分布を生成する第４のステップと、区分毎に生成された視線通過の頻度分布に基づいて、それぞれの区分における地面の高さを特定する第５のステップとを有する。
【００１３】
ここで、第２の発明において、算出された対象物の三次元位置に基づいて、区分毎に、高さ方向における対象物の存在頻度分布を生成する第６のステップをさらに設けてもよい。この場合、第５のステップは、視線通過の頻度分布と対象物の存在頻度分布とに基づいて、それぞれの区分における地面の高さを特定することが好ましい。
【００１４】
また、第２の発明において、第５のステップは、ある区分に関する地面の高さが、区分の周囲の地面の高さよりも所定の閾値以上異なる場合、その区分の地面の高さを、その区分の周囲の地面の高さに基づいて、補正するステップを含んでいてもよい。
【００１５】
【発明の実施の形態】
（第１の実施形態）
図１は、第１の実施形態にかかる地形認識装置のブロック構成図である。この地形認識装置１は、地面上に障害物が存在するか否かに拘わらず、起伏のある地面の三次元的形状を認識する。ステレオカメラ２は、地面上に固定的に設置され、或いは、地面を移動する移動体（農林作業車両、土木作業車両、或いは、探査車両等）に載置されており、地面を含む景色を所定の俯角付で撮像する。ステレオカメラ２は、一対のカメラ２ａ，２ｂで構成されており、後段のステレオ画像処理を行うのに必要な一対の画像（ステレオ画像）を出力する。それぞれのカメラ２ａ，２ｂには、ＣＣＤやＣＭＯＳセンサ等のイメージセンサが内蔵されている。メインカメラ２ａは基準画像（右画像）を撮像し、サブカメラ２ｂは比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２ａ，２ｂから出力されたアナログ画像は、Ａ／Ｄコンバータ４，５によって、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。
【００１６】
デジタル化されたステレオ画像データは、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２ａ，２ｂの取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このようなずれを画像処理によって等価的に補正すべく、画像補正部６は、画像の回転や平行移動といった幾何学的な変換を行う。
【００１７】
このような画像処理を経て、メインカメラ２ａより基準画像データが得られ、サブカメラ２ｂより比較画像データが得られる。それぞれの画像データは、画素の輝度値（0〜255）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ軸、垂直方向をｊ軸とする。１画像の表示単位である１フレーム相当のステレオ画像データは、後段のステレオ画像処理部７に出力される。
【００１８】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づき、ステレオマッチングによって距離データを算出する。ここで、「距離データ」とは、基準画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、それぞれの視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。１つの視差ｄは、基準画像の一部を構成する所定面積（例えば、4×4画素）の画素ブロックより算出されるため、画素ブロックが視差ｄの算出単位となる。
【００１９】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が200×512画素で構成されている場合、１フレーム相当の撮像画像から、画素ブロックＰＢijの個数相当（50×128個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢijの水平方向のずれ量であり、画素ブロックＰＢij内に写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がステレオカメラ２に近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（対象物が無限に遠い場合、視差ｄは０になる）。
【００２０】
ある画素ブロックＰＢij（相関元）の視差ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）が比較画像において特定される。上述したように、ステレオカメラ２から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量に反映される。したがって、比較画像において相関先を探索する場合、比較画像の全体を探索する必要はなく、相関元となる画素ブロックＰijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間における相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補のうちのいずれか）の水平方向のずれ量が、その画素ブロックＰＢijの視差ｄとなる。
【００２１】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することによって評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ijは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した２つの輝度値ｐ１ij，ｐ２ijの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味する。
【数１】
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜
【００２２】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。そして、このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。以上のような処理を経て算出された距離データ（ｉ，ｊ，ｄ）は、距離データメモリ８に格納される。
【００２３】
マイクロコンピュータ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、三次元位置算出部１２、視線設定部１３、視線ヒストグラム生成部１４および地形認識部１５を有する。個々の機能ブロック１２〜１５の処理内容については後述するが、地形の三次元的形状を表す地形データは、距離データメモリ８に格納された距離データに基づいて生成され、地形データメモリ１１に格納される。
【００２４】
ところで、移動体が自身の移動のために周囲地形を認識しようとする場合、極力広い範囲の地面を観測し、大局的に周囲の地形を捉えることが望ましい。本実施形態では、三次元空間上において、視線、すなわち、ステレオカメラ２と対象物とを結ぶ仮想的な直線の通過頻度を調べることによって地面の高さ（以下、「地面高」という）を特定する。この地面高の特定手法は、遠景が見えている空間には障害物は存在しないという知見に基づいており、地面自体の距離情報が希薄となる遠方を含む広い範囲で地形の認識を可能とする。
【００２５】
以下、マイクロコンピュータ１０により構成される機能ブロック１２〜１５の処理内容について説明する。まず、三次元位置算出部１２は、距離データメモリ８に格納されている１フレーム相当の距離データ（ｉ，ｊ，ｄ）を読み出し、それぞれの対象物の三次元位置（Ｘ，Ｙ，Ｚ）を算出する。三次元空間における対象物の位置を示す三次元位置（Ｘ，Ｙ，Ｚ）は、メインカメラ２ａの直下を基準とした場合、数式２に示すような周知の座標変換式に基づいて、距離データ（ｉ，ｊ，ｄ）より一義的に特定される。三次元位置は、Ｘ−Ｙ−Ｚ座標系で表現され、ステレオカメラ２（本実施形態ではメインカメラ２ａ）の中央真下の地面を原点Ｏとして、左右方向（カメラ基線方向）をＸ軸、上下方向（高さ方向）をＹ軸、前後方向（距離方向）をＺ軸とする。同数式において、定数ＫＺＨは、（カメラ基線長／１画素当たりの水平視野角）である。また、定数ＣＡＨはステレオカメラの取付高さ、定数ＰＷＶは１画素当たりの垂直視野角、定数ＰＷＨは１画素当たりの水平視野角である。さらに、定数ＩＶは予め設定された消失点Ｖのｉ座標値、定数ＪＶはそのｊ座標値である。
【数２】
【００２６】
視線設定部１３は、三次元位置算出部１２によって算出された三次元位置（Ｘ，Ｙ，Ｚ）に基づいて、三次元空間におけるステレオカメラ２の取付位置と対象物の位置とを結ぶ視線Ｌを設定する。図３は、Ｘ軸、Ｙ軸およびＺ軸によって規定される三次元空間において設定される視線Ｌの説明図である。ある対象物Ｂ（地面および障害物の双方を含む）に関する視線Ｌは、その対象物Ｂの三次元位置（Ｘ，Ｙ，Ｚ）とステレオカメラ２の取付位置Ｃ（０，ｙ１，０）とを通る直線式で規定され、この式によって、対象物Ｂまでの視線Ｌの通過経路が一義的に特定される。ここで、ｙ1は、ステレオカメラ２直下の地面を基準としたステレオカメラ２の取付高さである。視線設定部１３は、すべての対象物Ｂを演算対象として、それぞれの対象物Ｂに関する視線Ｌを順次算出する。１回の処理サイクルにおいて算出される視線Ｌ群の個数は、対象物Ｂの個数相当、換言すれば、１フレームの距離データを構成する視差ｄ群の個数相当である。
【００２７】
視線ヒストグラム生成部１４は、地面高の算出単位となる区分Ｓnmを三次元空間上に設定する。図４は三次元空間上に設定される区分Ｓnmの説明図である。三次元空間は、高さ方向を除く二方向で行列状、すなわち、Ｘ方向にＮ個、Ｚ方向にＭ個にそれぞれ分割される。これにより、三次元空間にＮ×Ｍ個の四角柱状の区分Ｓnmが定義される。地形マップの分解能は、１つの区分Ｓnmの底面積（横断面積）の大きさに依存しており、これが小さいほど地形マップの分解能（上面視の分解能）が向上する。ただし、区分Ｓnmの底面積が小さすぎると、地面高の算出精度が低下してしまうおそれがある。なぜなら、視線Ｌ群の統計処理よって地面高を決定する関係上、区分Ｓnmの底面積が小さくなると、１つの区分Ｓnm内を通過する視線Ｌの個数（サンプル数）が減少してしまうからである。したがって、区分Ｓnmの底面積（換言すれば、三次元空間の分割数）は、地形マップに要求される分解能と、地面高の算出精度との双方を考慮した上で、決定する必要がある。本実施形態では、１個当たりの区分Ｓnmの底形状を、一例として、20cm四方に設定している。このようにして、三次元空間を高さ方向を除く二方向で行列状に分割することによって、三次元空間上に複数の立体的な区分Ｓnmが格子状に設定される。１つの区分Ｓnm内には、例えば、図５に示すような通過経路で視線Ｌが存在する。ある区分Ｓnm内を多数の視線Ｌが通過するということは、その区分Ｓnm内に視線を遮る物体（障害物）が存在しないことを意味する。
【００２８】
視線ヒストグラム生成部１４は、視線設定部１３によって設定された視線Ｌ群に基づいて、高さ方向における視線通過の頻度分布を生成する。この頻度分布の生成は、区分Ｓnm毎に行われる。図６は、ある区分Ｓnmに関する視線通過頻度ヒストグラムの一例を示す図である。同図に示すように、視線通過の頻度分布は、例えば、高さｙを縦軸として、予め設定された高さ区間（例えば、0.1ｍ）毎に縦軸が区切られている。地形マップの高さ方向の分解能は、１区間当たりの高さ区間の幅に依存している。そして、１つの視線Ｌがある高さ区間を通過する毎、その区間の度数に１を加算する。このような視線Ｌの通過回数の加算は、区分Ｓnm内に存在するすべての視線Ｌを加算対象として行われる。これにより、それぞれの高さ区間における度数が求められ、視線通過の頻度分布が算出される。
【００２９】
地形認識部１５は、ある区分Ｓnmに関する視線通過の頻度分布に基づいて、その区分Ｓnmにおける地面高ｙnmを特定する。地面高ｙnmの特定手法としては、例えば、以下の３つの手法が考えられる。
【００３０】
第１の手法は、高さの低い方を優先しつつ、個々の高さの度数（視線通過の出現頻度）の大小に基づいて、地面高ｙnmを決定する手法である。具体的には、視線通過の頻度分布において、所定の閾値Ｔh以上の度数を有する高さ区間のうち、最も低い高さ区間、または、その直下（１つ下）の高さ区間を、区分Ｓnmの地面高ｙnmとする。例えば、図６のケースでは、閾値Ｔh以上の高さ区間が７つ存在するが、その中で高さが最も低い区間（-0.2m〜-0.1m）、または、その直下の高さ区間（-0.3m〜-0.2m）が地面高ｙnmとなる。この手法は、ある区分Ｓnm内を多数の視線Ｌが通過している場合、その区分Ｓnm内には視線Ｌを遮る対象物が存在しないという知得に基づいている。このような知得によれば、高さ区間を下から上に向かって順次調べていき、最初に閾値Ｔh以上の度数を有する高さ区間、または、その直下の高さ区間が地面高ｙnmであるとみなせる。
【００３１】
第２の手法は、第１の手法と同様の知得に基づいたものであるが、高さの低い方から数えた累積度数の大小に基づいて、地面高ｙnmを決定する手法である。具体的には、視線通過の頻度分布において、高さの低い方から高い方に向かって、視線通過の度数を累積していくことにより、累積度数を算出する。そして、この累積度数が所定の閾値（第１の手法の閾値Ｔhとは異なる）以上になる高さ区間、または、その直下の高さ区間が地面高ｙnmとして特定される。
【００３２】
第３の手法は、高さ方向に隣接した高さのうち、度数が高いものをグループ化することにより、地面高ｙnmを決定する手法である。具体的には、視線通過の頻度分布において、度数が所定の閾値以上となる高さ区間が高さ方向に連続している領域は、対象物が存在しない空間領域と判断される。また、度数が閾値未満となる高さ区間が高さ方向に連続している領域は、対象物が存在する非空間領域と判断される。すべての高さ区間は、空間領域または非空間領域のいずれかに分割される。このようにして特定された空間領域（複数の空間領域が特定されることもある）のうちで、高さ方向の範囲が最も広い空間領域が地面上の空間であると判断される。そして、地面上の空間に相当する空間領域における最も低い高さ区間を基準とし、その直下の高さ区間が地面高ｙnmとして特定される。例えば、図６のケースでは、閾値Ｔh以上の７つの高さ区間（-0.2〜0.5）が地面上の空間と判断され、その中で最も低い高さ区間は（-0.2〜-0.1）となる。したがって、地面高ｙnmは、高さ区間（-0.2〜-0.1）の直下の高さ区間に相当する（-0.3〜-0.2）となる。第３の手法は、第１および第２の手法と比較して、地面に穴が存在する場合、或いは、ステレオマッチングにおけるミスマッチが多い場合等に有効である。
【００３３】
ある区分Ｓnmにおいて、上述した手法における地面特定の要件を満足しない場合、地形認識部１５は、その区分Ｓnmの地面高ｙnmを、周囲の地面高ｙnm'に基づいて推定する。例えば、周囲の地面高ｙnm'に基づき補間する内挿処理によって、地面高ｙnmが決定される。
【００３４】
なお、地形認識部１５は、単一の区分Ｓnm内の情報だけでなく、その周囲に存在する所定範囲内の区分Ｓnm'における度数の合計や平均等の統計量を考慮した上で、地面高ｙnmを決定してもよい。
【００３５】
地形認識部１５において算出された地形データは、地形データメモリ１１に格納される。ここで、「地形データ」は、地面の三次元的形状を特定可能なデータであり、具体的には、区分Ｓnm毎に算出された地面高ｙnmの集合である。なお、地形認識装置１を移動体に搭載する場合、或いは、これを監視装置と併用する場合、地形データより特定される地面の起伏を考慮した上で、移動制御や各種の監視制御を行うことが好ましい。
【００３６】
このように、本実施形態では、高さ方向（Ｙ方向）を除く二方向（Ｘ方向およびＺ方向）で三次元空間を行列状に分割することにより、三次元空間上に複数の区分Ｓnmが設定される。それぞれの区分Ｓnmに関して、高さ方向に関する視線Ｌ群の通過頻度分布が生成される。そして、それぞれの区分Ｓnmにおいて、視線Ｌ群の統計的な通過経路を調べることにより、地面高ｙnmが決定される。これにより、不整地のように起伏や凹凸のある状況、或いは、遠方にあって地面自体の距離データが得られにくい箇所を視野内に含む状況であっても、地面高Ｙnmを特定することができる。その結果、地面高Ｙnmを広い範囲で安定的かつ精度よく算出することができるため、起伏のある地面の三次元形状を精度よく認識することが可能となる。
【００３７】
なお、上述した実施形態では、三次元空間を格子状に分割することにより四角柱状の区分Ｓnmを設定している。しかしながら、本発明は、このような立体形状に限定されるものではなく、例えば、六角柱状の区分Ｓnmを含めて各種の立体形状に適用することが可能である。
【００３８】
また、地形認識部１５は、上述した視線通過頻度分布より特定される高さに、周囲の地面高ｙnm'の連続性を加味した上で、地面高ｙnmを特定してもよい。例えば、ある区分Ｓnmに関して特定された地面高ｙnmが、区分Ｓnmの周囲の地面高ｙnm'よりも所定の閾値以上異なる場合、周囲の地面高ｙnm'に基づいて、地面高ｙnmを補正（平準化）するといった如くである。これにより、地形の三次元的形状を一層精度よく認識することが可能となる。
【００３９】
（第２の実施形態）
図７は、第２の実施形態にかかる地形認識装置のブロック構成図である。本実施形態の特徴は、第１の実施形態で述べたシステム構成に対象物ヒストグラム生成部１６を追加し、対象物の存在頻度分布を考慮した上で、地面高ｙnmを特定する点にある。なお、図１に示した構成ブロックと同一のものについては、同一の番号を付して、ここでの説明を省略する。
【００４０】
対象物ヒストグラム生成部１６は、三次元位置算出部１２によって算出された三次元位置（Ｘ，Ｙ，Ｚ）に基づいて、高さ方向における対象物の存在頻度分布を生成する。この頻度分布の生成は、視線通過の頻度分布と同様に、図４に示した区分Ｓnm毎に行われる。図８は、ある区分Ｓnmに関する対象物の存在頻度ヒストグラムの一例を示す図である。対象物の存在頻度分布は、図６に示した視線通過頻度ヒストグラムと同様に、高さｙを縦軸として、予め設定された高さ区間（例えば、0.1ｍ）毎に縦軸が区切られている。そして、ある対象物の三次元位置（Ｘ，Ｙ，Ｚ）が区分Ｓnm内に存在する場合、その対象物が存在する高さ区間の度数に１を加算する。この加算処理は、区分Ｓnm内に存在するすべての対象物を加算対象として行われる。これにより、それぞれの高さ区間における対象物の存在度数が算出される。
【００４１】
地形認識部１５は、視線通過の頻度分布と対象物の存在頻度分布とに基づいて、それぞれの区分Ｓnmにおける地面高ｙnmを特定する。具体的には、まず、第１の実施形態で説明した手法に従い、区分Ｓnmに関する視線通過の頻度分布より、視線ベースの地面高ｙ1nmが算出される。つぎに、区分Ｓnmに関する対象物の存在頻度分布より、対象物ベースの地面高ｙ2nmが算出される。この地面高ｙ2nmは、所定の閾値Ｔh以上の度数を有する高さ区間のうち、最も低い高さ区間として特定することができる。例えば、図８のケースでは、閾値Ｔh以上の高さ区間が７つ存在するが、その中で高さが最も低い区間（-0.3m〜-0.2m）が地面高ｙ2nmとなる。そして、視線ベースの地面高ｙ1nmと対象物ベースの地面高ｙ2nmとに基づいて、最終的な地面高ｙnmが算出される。最終的な地面高Ｙnmは、例えば、視線ベースの地面高Ｙ1nと対象物ベースの地面高Ｙ2nmとの単純平均または加重平均より算出することができる。この場合の加重平均の重みとして、例えば、対象物ベースの地面高Ｙ2nmの信頼度を用いてもよい。すなわち、対象物ベースの地面高Ｙ2nmの信頼度が大であれば、Ｙ2nmの重みを増やし、これが小であれば、Ｙ2nmの重みを増やすといった如くである。信頼度としては、例えば、区分Ｓnmに関する対象物の存在頻度のうち、閾値Ｔh以上である高さ区間における頻度の合計値と、所定の判定基準閾値との比を用いる方法がある。
【００４２】
本実施形態によれば、第１の実施形態と同様に、起伏のある地面の三次元的形状を精度よく認識することが可能となる。特に、本実施形態では、視線通過の頻度分布のみならず、対象物の存在頻度分布をも考慮して、地面高ｙnmを算出している。したがって、地面の三次元的形状を一層精度よく認識することが可能となる。
【００４３】
なお、対象物の存在頻度ヒストグラムにおいて、特定された地面高以下の頻度を除けば、地面上に存在する障害物のみを認識することも可能である。
【００４４】
【発明の効果】
このように、本発明では、高さ方向を除く二方向で三次元空間を行列状に分割することによって、三次元空間を複数の区分に分割し、区分毎に、高さ方向の視線通過の頻度分布を生成する。それぞれの区分の地面の高さは、視線通過の頻度分布に基づいて特定される。これにより、地面の三次元的形状を精度よく認識することが可能となる。
【図面の簡単な説明】
【図１】第１の実施形態にかかる地形認識装置のブロック構成図
【図２】基準画像に設定される画素ブロックＰＢijの説明図
【図３】三次元空間上に設定される視線Ｌの説明図
【図４】三次元空間上に設定される区分Ｓnmの説明図
【図５】区分Ｓnmを通過する視線Ｌ群の一例を示す図
【図６】区分Ｓnmに関する視線通過頻度ヒストグラムの一例を示す図
【図７】第２の実施形態にかかる地形認識装置のブロック図
【図８】区分Ｓnmに関する対象物の存在頻度ヒストグラムの一例を示す図
【符号の説明】
１ 地形認識装置
２ ステレオカメラ
２ａ メインカメラ
２ｂ サブカメラ
４ Ａ／Ｄコンバータ
５ Ａ／Ｄコンバータ
６ 画像補正部
７ ステレオ画像処理部
８ 距離データメモリ
１０ マイクロコンピュータ
１１ 地形データメモリ
１２ 三次元位置算出部
１３ 視線設定部
１４ 視線ヒストグラム生成部
１５ 地形認識部
１６ 対象物ヒストグラム生成部
【発明の属する技術分野】
本発明は、地面の三次元的形状を認識する地形認識装置および地形認識方法に係り、特に、ステレオ画像を用いて、地面の起伏形状を認識する技術に関する。
【０００２】
【従来の技術】
従来より、ステレオ画像を用いて、地面の三次元的形状を認識する技術が提案されている。例えば、特許文献１には、ステレオ画像を処理対象としたステレオマッチングを行うことで道路上の白線を検出し、検出された白線の三次元位置より道路面を検出する技術が開示されている。また、特許文献２には、ステレオ画像を用いて、道路や床のように画像的な特徴が少ない地面を大局的に平面近似することにより、地面を平面として認識する技術が開示されている。
【０００３】
一方、特許文献３には、地面を含む景色を撮像することによって得られるステレオ画像に基づいて、地面上の障害物の有無に拘わらず、地面の起伏形状を認識する技術が開示されている。具体的には、まず、被写体内における三次元点の標高成分に基づいて、被写体の基準標高値が算出される。つぎに、この基準標高値を超える標高成分（突出標高）を有する三次元点が、突出位置として検出される。検出された突出位置は、三次元空間上において、突出した障害物が存在する位置とみなされる。この突出位置の標高成分に関しては、突出標高に代えて、突出位置の周囲の標高成分より算出された平均的標高値が用いられる。このように、障害物が存在する突出位置の標高成分を修正することによって、障害物を除いた地面の起伏形状が特定される。
【０００４】
なお、本願出願人による先行出願のうち、本発明と関連するものとして、特願２００２−１８４０２０号が存在する。
【０００５】
【特許文献１】
特開平５−２６５５４７号公報
【特許文献２】
特開平９−８１７５５号公報
【特許文献３】
特開平８−２８５５８６号公報
【０００６】
【発明が解決しようとする課題】
本発明の目的は、地面の三次元的形状を精度よく認識する新規な地形認識装置および地形認識方法を提供することである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、ステレオカメラと、ステレオ画像処理部と、三次元位置算出部と、視線設定部と、視線ヒストグラム生成部と、地検認識部とを有し、地面の三次元的形状を認識する地形認識装置を提供する。ステレオカメラは、地面を含む景色を撮像し、一対の画像データを出力する。ステレオ画像処理部は、一対の画像データに基づき、ステレオマッチングによって視差を算出するとともに、算出された視差と、画像データにより規定される画像平面上の位置とが対応付けられた距離データを出力する。三次元位置算出部は、距離データに基づいて、それぞれの対象物の三次元位置を算出する。視線設定部は、三次元空間上において、それぞれの対象物の三次元位置とステレオカメラの取付位置とを結ぶ視線群を設定する。視線ヒストグラム生成部は、高さ方向を除く二方向で、三次元空間を行列状に分割することによって、三次元空間上に複数の区分を設定するとともに、視線設定部によって設定された視線群に基づいて、区分毎に、高さ方向における視線通過の頻度分布を生成する。地形認識部は、視線通過の頻度分布に基づいて、それぞれの区分における地面の高さを特定する。
【０００８】
ここで、第１の発明において、地形認識部は、ある区分に関する視線通過の頻度分布において、所定の閾値以上の度数を有する高さのうち、最も低い高さ、または、最も低い高さの直下の高さを、その区分における地面の高さとして特定してもよい。また、地形認識部は、ある区分に関する視線通過の通過頻度の分布において、高さの低い方から高い方に向かって、視線通過の頻度を累積していくことによって累積度数を算出し、この累積度数が所定の閾値以上になる高さ、または、この高さの直下の高さを、その区分における地面の高さとして特定してもよい。また、地形認識部は、ある区分に関する視線通過の通過頻度の分布において、所定の閾値以上の度数を有する高さが高さ方向に連続している領域を、対象物が存在しない空間領域として特定するとともに、特定された空間領域のうち、高さ方向の範囲が最も広い空間領域における最も低い高さの直下の高さを、その区分における地面の高さとして特定してもよい。
【０００９】
また、第１の発明において、地形認識部は、ある区分における地面の高さが特定できない場合、その区分の地面の高さを、その区分の周囲の地面の高さに基づいて推定することが望ましい。
【００１０】
また、第１の発明において、それぞれの対象物の三次元位置に基づいて、区分毎に、高さ方向における対象物の存在頻度分布を生成する対象物ヒストグラム生成部をさらに設けてもよい。この場合、地形認識部は、視線通過の頻度分布と対象物の存在頻度分布とに基づいて、それぞれの区分における地面の高さを特定することが好ましい。例えば、地形認識部は、ある区分に関する対象物の存在頻度分布において、所定の閾値以上の度数を有する高さのうち、最も低い高さを特定する。そして、地形認識部は、対象物の存在頻度分布より特定された高さと、視線通過の頻度分布より特定された高さとに基づいて、それぞれの区分における地面の高さを特定する。
【００１１】
さらに、第１の発明において、地形認識部は、ある区分に関して特定された地面の高さが、その区分の周囲の地面の高さよりも所定の閾値以上異なる場合、その区分の地面の高さを、その区分の周囲の地面の高さに基づいて、補正することが好ましい。
【００１２】
一方、第２の発明は、ステレオカメラによって地面を含む景色を撮像することにより得られる一対の画像データを用いて、地形の三次元的形状を認識する地形認識方法を提供する。この地形認識方法は、一対の画像データに基づき、ステレオマッチングによって視差を算出するとともに、算出された視差と、画像データにより規定される画像平面上の位置とが対応付けられた距離データを出力する第１のステップと、距離データに基づいて、それぞれの対象物の三次元位置を算出する第２のステップと、三次元空間上において、それぞれの対象物の三次元位置とステレオカメラの取付位置とを結ぶ視線群を設定する第３のステップと、高さ方向を除く二方向で、三次元空間を行列状に分割することによって、三次元空間上に複数の区分を設定するとともに、視線群に基づいて、区分毎に、高さ方向における視線通過の頻度分布を生成する第４のステップと、区分毎に生成された視線通過の頻度分布に基づいて、それぞれの区分における地面の高さを特定する第５のステップとを有する。
【００１３】
ここで、第２の発明において、算出された対象物の三次元位置に基づいて、区分毎に、高さ方向における対象物の存在頻度分布を生成する第６のステップをさらに設けてもよい。この場合、第５のステップは、視線通過の頻度分布と対象物の存在頻度分布とに基づいて、それぞれの区分における地面の高さを特定することが好ましい。
【００１４】
また、第２の発明において、第５のステップは、ある区分に関する地面の高さが、区分の周囲の地面の高さよりも所定の閾値以上異なる場合、その区分の地面の高さを、その区分の周囲の地面の高さに基づいて、補正するステップを含んでいてもよい。
【００１５】
【発明の実施の形態】
（第１の実施形態）
図１は、第１の実施形態にかかる地形認識装置のブロック構成図である。この地形認識装置１は、地面上に障害物が存在するか否かに拘わらず、起伏のある地面の三次元的形状を認識する。ステレオカメラ２は、地面上に固定的に設置され、或いは、地面を移動する移動体（農林作業車両、土木作業車両、或いは、探査車両等）に載置されており、地面を含む景色を所定の俯角付で撮像する。ステレオカメラ２は、一対のカメラ２ａ，２ｂで構成されており、後段のステレオ画像処理を行うのに必要な一対の画像（ステレオ画像）を出力する。それぞれのカメラ２ａ，２ｂには、ＣＣＤやＣＭＯＳセンサ等のイメージセンサが内蔵されている。メインカメラ２ａは基準画像（右画像）を撮像し、サブカメラ２ｂは比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２ａ，２ｂから出力されたアナログ画像は、Ａ／Ｄコンバータ４，５によって、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。
【００１６】
デジタル化されたステレオ画像データは、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２ａ，２ｂの取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このようなずれを画像処理によって等価的に補正すべく、画像補正部６は、画像の回転や平行移動といった幾何学的な変換を行う。
【００１７】
このような画像処理を経て、メインカメラ２ａより基準画像データが得られ、サブカメラ２ｂより比較画像データが得られる。それぞれの画像データは、画素の輝度値（0〜255）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ軸、垂直方向をｊ軸とする。１画像の表示単位である１フレーム相当のステレオ画像データは、後段のステレオ画像処理部７に出力される。
【００１８】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づき、ステレオマッチングによって距離データを算出する。ここで、「距離データ」とは、基準画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、それぞれの視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。１つの視差ｄは、基準画像の一部を構成する所定面積（例えば、4×4画素）の画素ブロックより算出されるため、画素ブロックが視差ｄの算出単位となる。
【００１９】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が200×512画素で構成されている場合、１フレーム相当の撮像画像から、画素ブロックＰＢijの個数相当（50×128個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢijの水平方向のずれ量であり、画素ブロックＰＢij内に写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がステレオカメラ２に近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（対象物が無限に遠い場合、視差ｄは０になる）。
【００２０】
ある画素ブロックＰＢij（相関元）の視差ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）が比較画像において特定される。上述したように、ステレオカメラ２から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量に反映される。したがって、比較画像において相関先を探索する場合、比較画像の全体を探索する必要はなく、相関元となる画素ブロックＰijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間における相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補のうちのいずれか）の水平方向のずれ量が、その画素ブロックＰＢijの視差ｄとなる。
【００２１】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することによって評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ijは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した２つの輝度値ｐ１ij，ｐ２ijの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味する。
【数１】
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜
【００２２】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。そして、このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。以上のような処理を経て算出された距離データ（ｉ，ｊ，ｄ）は、距離データメモリ８に格納される。
【００２３】
マイクロコンピュータ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、三次元位置算出部１２、視線設定部１３、視線ヒストグラム生成部１４および地形認識部１５を有する。個々の機能ブロック１２〜１５の処理内容については後述するが、地形の三次元的形状を表す地形データは、距離データメモリ８に格納された距離データに基づいて生成され、地形データメモリ１１に格納される。
【００２４】
ところで、移動体が自身の移動のために周囲地形を認識しようとする場合、極力広い範囲の地面を観測し、大局的に周囲の地形を捉えることが望ましい。本実施形態では、三次元空間上において、視線、すなわち、ステレオカメラ２と対象物とを結ぶ仮想的な直線の通過頻度を調べることによって地面の高さ（以下、「地面高」という）を特定する。この地面高の特定手法は、遠景が見えている空間には障害物は存在しないという知見に基づいており、地面自体の距離情報が希薄となる遠方を含む広い範囲で地形の認識を可能とする。
【００２５】
以下、マイクロコンピュータ１０により構成される機能ブロック１２〜１５の処理内容について説明する。まず、三次元位置算出部１２は、距離データメモリ８に格納されている１フレーム相当の距離データ（ｉ，ｊ，ｄ）を読み出し、それぞれの対象物の三次元位置（Ｘ，Ｙ，Ｚ）を算出する。三次元空間における対象物の位置を示す三次元位置（Ｘ，Ｙ，Ｚ）は、メインカメラ２ａの直下を基準とした場合、数式２に示すような周知の座標変換式に基づいて、距離データ（ｉ，ｊ，ｄ）より一義的に特定される。三次元位置は、Ｘ−Ｙ−Ｚ座標系で表現され、ステレオカメラ２（本実施形態ではメインカメラ２ａ）の中央真下の地面を原点Ｏとして、左右方向（カメラ基線方向）をＸ軸、上下方向（高さ方向）をＹ軸、前後方向（距離方向）をＺ軸とする。同数式において、定数ＫＺＨは、（カメラ基線長／１画素当たりの水平視野角）である。また、定数ＣＡＨはステレオカメラの取付高さ、定数ＰＷＶは１画素当たりの垂直視野角、定数ＰＷＨは１画素当たりの水平視野角である。さらに、定数ＩＶは予め設定された消失点Ｖのｉ座標値、定数ＪＶはそのｊ座標値である。
【数２】
視線設定部１３は、三次元位置算出部１２によって算出された三次元位置（Ｘ，Ｙ，Ｚ）に基づいて、三次元空間におけるステレオカメラ２の取付位置と対象物の位置とを結ぶ視線Ｌを設定する。図３は、Ｘ軸、Ｙ軸およびＺ軸によって規定される三次元空間において設定される視線Ｌの説明図である。ある対象物Ｂ（地面および障害物の双方を含む）に関する視線Ｌは、その対象物Ｂの三次元位置（Ｘ，Ｙ，Ｚ）とステレオカメラ２の取付位置Ｃ（０，ｙ１，０）とを通る直線式で規定され、この式によって、対象物Ｂまでの視線Ｌの通過経路が一義的に特定される。ここで、ｙ1は、ステレオカメラ２直下の地面を基準としたステレオカメラ２の取付高さである。視線設定部１３は、すべての対象物Ｂを演算対象として、それぞれの対象物Ｂに関する視線Ｌを順次算出する。１回の処理サイクルにおいて算出される視線Ｌ群の個数は、対象物Ｂの個数相当、換言すれば、１フレームの距離データを構成する視差ｄ群の個数相当である。
【００２７】
視線ヒストグラム生成部１４は、地面高の算出単位となる区分Ｓnmを三次元空間上に設定する。図４は三次元空間上に設定される区分Ｓnmの説明図である。三次元空間は、高さ方向を除く二方向で行列状、すなわち、Ｘ方向にＮ個、Ｚ方向にＭ個にそれぞれ分割される。これにより、三次元空間にＮ×Ｍ個の四角柱状の区分Ｓnmが定義される。地形マップの分解能は、１つの区分Ｓnmの底面積（横断面積）の大きさに依存しており、これが小さいほど地形マップの分解能（上面視の分解能）が向上する。ただし、区分Ｓnmの底面積が小さすぎると、地面高の算出精度が低下してしまうおそれがある。なぜなら、視線Ｌ群の統計処理よって地面高を決定する関係上、区分Ｓnmの底面積が小さくなると、１つの区分Ｓnm内を通過する視線Ｌの個数（サンプル数）が減少してしまうからである。したがって、区分Ｓnmの底面積（換言すれば、三次元空間の分割数）は、地形マップに要求される分解能と、地面高の算出精度との双方を考慮した上で、決定する必要がある。本実施形態では、１個当たりの区分Ｓnmの底形状を、一例として、20cm四方に設定している。このようにして、三次元空間を高さ方向を除く二方向で行列状に分割することによって、三次元空間上に複数の立体的な区分Ｓnmが格子状に設定される。１つの区分Ｓnm内には、例えば、図５に示すような通過経路で視線Ｌが存在する。ある区分Ｓnm内を多数の視線Ｌが通過するということは、その区分Ｓnm内に視線を遮る物体（障害物）が存在しないことを意味する。
【００２８】
視線ヒストグラム生成部１４は、視線設定部１３によって設定された視線Ｌ群に基づいて、高さ方向における視線通過の頻度分布を生成する。この頻度分布の生成は、区分Ｓnm毎に行われる。図６は、ある区分Ｓnmに関する視線通過頻度ヒストグラムの一例を示す図である。同図に示すように、視線通過の頻度分布は、例えば、高さｙを縦軸として、予め設定された高さ区間（例えば、0.1ｍ）毎に縦軸が区切られている。地形マップの高さ方向の分解能は、１区間当たりの高さ区間の幅に依存している。そして、１つの視線Ｌがある高さ区間を通過する毎、その区間の度数に１を加算する。このような視線Ｌの通過回数の加算は、区分Ｓnm内に存在するすべての視線Ｌを加算対象として行われる。これにより、それぞれの高さ区間における度数が求められ、視線通過の頻度分布が算出される。
【００２９】
地形認識部１５は、ある区分Ｓnmに関する視線通過の頻度分布に基づいて、その区分Ｓnmにおける地面高ｙnmを特定する。地面高ｙnmの特定手法としては、例えば、以下の３つの手法が考えられる。
【００３０】
第１の手法は、高さの低い方を優先しつつ、個々の高さの度数（視線通過の出現頻度）の大小に基づいて、地面高ｙnmを決定する手法である。具体的には、視線通過の頻度分布において、所定の閾値Ｔh以上の度数を有する高さ区間のうち、最も低い高さ区間、または、その直下（１つ下）の高さ区間を、区分Ｓnmの地面高ｙnmとする。例えば、図６のケースでは、閾値Ｔh以上の高さ区間が７つ存在するが、その中で高さが最も低い区間（-0.2m〜-0.1m）、または、その直下の高さ区間（-0.3m〜-0.2m）が地面高ｙnmとなる。この手法は、ある区分Ｓnm内を多数の視線Ｌが通過している場合、その区分Ｓnm内には視線Ｌを遮る対象物が存在しないという知得に基づいている。このような知得によれば、高さ区間を下から上に向かって順次調べていき、最初に閾値Ｔh以上の度数を有する高さ区間、または、その直下の高さ区間が地面高ｙnmであるとみなせる。
【００３１】
第２の手法は、第１の手法と同様の知得に基づいたものであるが、高さの低い方から数えた累積度数の大小に基づいて、地面高ｙnmを決定する手法である。具体的には、視線通過の頻度分布において、高さの低い方から高い方に向かって、視線通過の度数を累積していくことにより、累積度数を算出する。そして、この累積度数が所定の閾値（第１の手法の閾値Ｔhとは異なる）以上になる高さ区間、または、その直下の高さ区間が地面高ｙnmとして特定される。
【００３２】
第３の手法は、高さ方向に隣接した高さのうち、度数が高いものをグループ化することにより、地面高ｙnmを決定する手法である。具体的には、視線通過の頻度分布において、度数が所定の閾値以上となる高さ区間が高さ方向に連続している領域は、対象物が存在しない空間領域と判断される。また、度数が閾値未満となる高さ区間が高さ方向に連続している領域は、対象物が存在する非空間領域と判断される。すべての高さ区間は、空間領域または非空間領域のいずれかに分割される。このようにして特定された空間領域（複数の空間領域が特定されることもある）のうちで、高さ方向の範囲が最も広い空間領域が地面上の空間であると判断される。そして、地面上の空間に相当する空間領域における最も低い高さ区間を基準とし、その直下の高さ区間が地面高ｙnmとして特定される。例えば、図６のケースでは、閾値Ｔh以上の７つの高さ区間（-0.2〜0.5）が地面上の空間と判断され、その中で最も低い高さ区間は（-0.2〜-0.1）となる。したがって、地面高ｙnmは、高さ区間（-0.2〜-0.1）の直下の高さ区間に相当する（-0.3〜-0.2）となる。第３の手法は、第１および第２の手法と比較して、地面に穴が存在する場合、或いは、ステレオマッチングにおけるミスマッチが多い場合等に有効である。
【００３３】
ある区分Ｓnmにおいて、上述した手法における地面特定の要件を満足しない場合、地形認識部１５は、その区分Ｓnmの地面高ｙnmを、周囲の地面高ｙnm'に基づいて推定する。例えば、周囲の地面高ｙnm'に基づき補間する内挿処理によって、地面高ｙnmが決定される。
【００３４】
なお、地形認識部１５は、単一の区分Ｓnm内の情報だけでなく、その周囲に存在する所定範囲内の区分Ｓnm'における度数の合計や平均等の統計量を考慮した上で、地面高ｙnmを決定してもよい。
【００３５】
地形認識部１５において算出された地形データは、地形データメモリ１１に格納される。ここで、「地形データ」は、地面の三次元的形状を特定可能なデータであり、具体的には、区分Ｓnm毎に算出された地面高ｙnmの集合である。なお、地形認識装置１を移動体に搭載する場合、或いは、これを監視装置と併用する場合、地形データより特定される地面の起伏を考慮した上で、移動制御や各種の監視制御を行うことが好ましい。
【００３６】
このように、本実施形態では、高さ方向（Ｙ方向）を除く二方向（Ｘ方向およびＺ方向）で三次元空間を行列状に分割することにより、三次元空間上に複数の区分Ｓnmが設定される。それぞれの区分Ｓnmに関して、高さ方向に関する視線Ｌ群の通過頻度分布が生成される。そして、それぞれの区分Ｓnmにおいて、視線Ｌ群の統計的な通過経路を調べることにより、地面高ｙnmが決定される。これにより、不整地のように起伏や凹凸のある状況、或いは、遠方にあって地面自体の距離データが得られにくい箇所を視野内に含む状況であっても、地面高Ｙnmを特定することができる。その結果、地面高Ｙnmを広い範囲で安定的かつ精度よく算出することができるため、起伏のある地面の三次元形状を精度よく認識することが可能となる。
【００３７】
なお、上述した実施形態では、三次元空間を格子状に分割することにより四角柱状の区分Ｓnmを設定している。しかしながら、本発明は、このような立体形状に限定されるものではなく、例えば、六角柱状の区分Ｓnmを含めて各種の立体形状に適用することが可能である。
【００３８】
また、地形認識部１５は、上述した視線通過頻度分布より特定される高さに、周囲の地面高ｙnm'の連続性を加味した上で、地面高ｙnmを特定してもよい。例えば、ある区分Ｓnmに関して特定された地面高ｙnmが、区分Ｓnmの周囲の地面高ｙnm'よりも所定の閾値以上異なる場合、周囲の地面高ｙnm'に基づいて、地面高ｙnmを補正（平準化）するといった如くである。これにより、地形の三次元的形状を一層精度よく認識することが可能となる。
【００３９】
（第２の実施形態）
図７は、第２の実施形態にかかる地形認識装置のブロック構成図である。本実施形態の特徴は、第１の実施形態で述べたシステム構成に対象物ヒストグラム生成部１６を追加し、対象物の存在頻度分布を考慮した上で、地面高ｙnmを特定する点にある。なお、図１に示した構成ブロックと同一のものについては、同一の番号を付して、ここでの説明を省略する。
【００４０】
対象物ヒストグラム生成部１６は、三次元位置算出部１２によって算出された三次元位置（Ｘ，Ｙ，Ｚ）に基づいて、高さ方向における対象物の存在頻度分布を生成する。この頻度分布の生成は、視線通過の頻度分布と同様に、図４に示した区分Ｓnm毎に行われる。図８は、ある区分Ｓnmに関する対象物の存在頻度ヒストグラムの一例を示す図である。対象物の存在頻度分布は、図６に示した視線通過頻度ヒストグラムと同様に、高さｙを縦軸として、予め設定された高さ区間（例えば、0.1ｍ）毎に縦軸が区切られている。そして、ある対象物の三次元位置（Ｘ，Ｙ，Ｚ）が区分Ｓnm内に存在する場合、その対象物が存在する高さ区間の度数に１を加算する。この加算処理は、区分Ｓnm内に存在するすべての対象物を加算対象として行われる。これにより、それぞれの高さ区間における対象物の存在度数が算出される。
【００４１】
地形認識部１５は、視線通過の頻度分布と対象物の存在頻度分布とに基づいて、それぞれの区分Ｓnmにおける地面高ｙnmを特定する。具体的には、まず、第１の実施形態で説明した手法に従い、区分Ｓnmに関する視線通過の頻度分布より、視線ベースの地面高ｙ1nmが算出される。つぎに、区分Ｓnmに関する対象物の存在頻度分布より、対象物ベースの地面高ｙ2nmが算出される。この地面高ｙ2nmは、所定の閾値Ｔh以上の度数を有する高さ区間のうち、最も低い高さ区間として特定することができる。例えば、図８のケースでは、閾値Ｔh以上の高さ区間が７つ存在するが、その中で高さが最も低い区間（-0.3m〜-0.2m）が地面高ｙ2nmとなる。そして、視線ベースの地面高ｙ1nmと対象物ベースの地面高ｙ2nmとに基づいて、最終的な地面高ｙnmが算出される。最終的な地面高Ｙnmは、例えば、視線ベースの地面高Ｙ1nと対象物ベースの地面高Ｙ2nmとの単純平均または加重平均より算出することができる。この場合の加重平均の重みとして、例えば、対象物ベースの地面高Ｙ2nmの信頼度を用いてもよい。すなわち、対象物ベースの地面高Ｙ2nmの信頼度が大であれば、Ｙ2nmの重みを増やし、これが小であれば、Ｙ2nmの重みを増やすといった如くである。信頼度としては、例えば、区分Ｓnmに関する対象物の存在頻度のうち、閾値Ｔh以上である高さ区間における頻度の合計値と、所定の判定基準閾値との比を用いる方法がある。
【００４２】
本実施形態によれば、第１の実施形態と同様に、起伏のある地面の三次元的形状を精度よく認識することが可能となる。特に、本実施形態では、視線通過の頻度分布のみならず、対象物の存在頻度分布をも考慮して、地面高ｙnmを算出している。したがって、地面の三次元的形状を一層精度よく認識することが可能となる。
【００４３】
なお、対象物の存在頻度ヒストグラムにおいて、特定された地面高以下の頻度を除けば、地面上に存在する障害物のみを認識することも可能である。
【００４４】
【発明の効果】
このように、本発明では、高さ方向を除く二方向で三次元空間を行列状に分割することによって、三次元空間を複数の区分に分割し、区分毎に、高さ方向の視線通過の頻度分布を生成する。それぞれの区分の地面の高さは、視線通過の頻度分布に基づいて特定される。これにより、地面の三次元的形状を精度よく認識することが可能となる。
【図面の簡単な説明】
【図１】第１の実施形態にかかる地形認識装置のブロック構成図
【図２】基準画像に設定される画素ブロックＰＢijの説明図
【図３】三次元空間上に設定される視線Ｌの説明図
【図４】三次元空間上に設定される区分Ｓnmの説明図
【図５】区分Ｓnmを通過する視線Ｌ群の一例を示す図
【図６】区分Ｓnmに関する視線通過頻度ヒストグラムの一例を示す図
【図７】第２の実施形態にかかる地形認識装置のブロック図
【図８】区分Ｓnmに関する対象物の存在頻度ヒストグラムの一例を示す図
【符号の説明】
１ 地形認識装置
２ ステレオカメラ
２ａ メインカメラ
２ｂ サブカメラ
４ Ａ／Ｄコンバータ
５ Ａ／Ｄコンバータ
６ 画像補正部
７ ステレオ画像処理部
８ 距離データメモリ
１０ マイクロコンピュータ
１１ 地形データメモリ
１２ 三次元位置算出部
１３ 視線設定部
１４ 視線ヒストグラム生成部
１５ 地形認識部
１６ 対象物ヒストグラム生成部
Claims (11)
- 地面の三次元的形状を認識する地形認識装置において、
地面を含む景色を撮像し、一対の画像データを出力するステレオカメラと、
前記一対の画像データに基づき、ステレオマッチングによって視差を算出するとともに、当該算出された視差と、前記画像データにより規定される画像平面上の位置とが対応付けられた距離データを出力するステレオ画像処理部と、
前記距離データに基づいて、それぞれの対象物の三次元位置を算出する三次元位置算出部と、
三次元空間上において、前記対象物のそれぞれの三次元位置と前記ステレオカメラの取付位置とを結ぶ視線群を設定する視線設定部と、
高さ方向を除く二方向で、三次元空間を行列状に分割することによって、三次元空間上に複数の区分を設定するとともに、前記視線設定部によって設定された視線群に基づいて、前記区分毎に、高さ方向における視線通過の頻度分布を生成する視線ヒストグラム生成部と、
前記視線通過の頻度分布に基づいて、前記区分のそれぞれにおける地面の高さを特定する地形認識部と
を有することを特徴とする地形認識装置。 - 前記地形認識部は、ある区分に関する前記視線通過の頻度分布において、所定の閾値以上の度数を有する高さのうち、最も低い高さ、または、最も低い高さの直下の高さを、前記区分における地面の高さとして特定することを特徴とする請求項１に記載された地形認識装置。
- 前記地形認識部は、ある区分に関する前記視線通過の通過頻度の分布において、高さの低い方から高い方に向かって、度数を累積していくことによって累積度数を算出し、当該累積度数が所定の閾値以上になる高さ、または、当該高さの直下の高さを、前記区分における地面の高さとして特定することを特徴とする請求項１に記載された地形認識装置。
- 前記地形認識部は、ある区分に関する前記視線通過の通過頻度の分布において、所定の閾値以上の度数を有する高さが高さ方向に連続している領域を、対象物が存在しない空間領域として特定し、当該空間領域のうち、高さ方向の範囲が最も広い空間領域における最も低い高さの直下の高さを、前記区分における地面の高さとして特定することを特徴とする請求項１に記載された地形認識装置。
- 前記地形認識部は、ある区分における地面の高さが特定できない場合、当該区分の地面の高さを、当該区分の周囲の地面の高さに基づいて推定することを特徴とする請求項２から４のいずれかに記載された地形認識装置。
- 前記対象物のそれぞれの三次元位置に基づいて、前記区分毎に、高さ方向における対象物の存在頻度分布を生成する対象物ヒストグラム生成部をさらに有し、
前記地形認識部は、前記視線通過の頻度分布と前記対象物の存在頻度分布とに基づいて、前記区分のそれぞれにおける地面の高さを特定することを特徴とする請求項１から５のいずれかに記載された地形認識装置。 - 前記地形認識部は、ある区分に関する前記対象物の存在頻度分布において、所定の閾値以上の度数を有する高さのうち、最も低い高さを特定するとともに、前記対象物の存在頻度分布より特定された高さと、前記視線通過の頻度分布より特定された高さとに基づいて、前記区分のそれぞれにおける地面の高さを特定することを特徴とする請求項６に記載された地形認識装置。
- 前記地形認識部は、ある区分に関して特定された地面の高さが、前記区分の周囲の地面の高さよりも所定の閾値以上異なる場合、前記区分の地面の高さを、前記区分の周囲の地面の高さに基づいて、補正することを特徴とする請求項１から７のいずれかに記載された地形認識装置。
- ステレオカメラによって地面を含む景色を撮像することにより得られる一対の画像データを用いて、地形の三次元的形状を認識する地形認識方法において、
前記一対の画像データに基づき、ステレオマッチングによって視差を算出するとともに、当該算出された視差と、前記画像データにより規定される画像平面上の位置とが対応付けられた距離データを出力する第１のステップと、
前記距離データに基づいて、それぞれの対象物の三次元位置を算出する第２のステップと、
三次元空間上において、前記対象物のそれぞれの三次元位置と前記ステレオカメラの取付位置とを結ぶ視線群を設定する第３のステップと、
高さ方向を除く二方向で、三次元空間を行列状に分割することによって、三次元空間上に複数の区分を設定するとともに、前記視線群に基づいて、前記区分毎に、高さ方向における視線通過の頻度分布を生成する第４のステップと、
前記区分毎に生成された前記視線通過の頻度分布に基づいて、前記区分のそれぞれにおける地面の高さを特定する第５のステップと
を有することを特徴とする地形認識方法。 - 算出された対象物の三次元位置に基づいて、前記区分毎に、高さ方向における対象物の存在頻度分布を生成する第６のステップをさらに有し、
前記第５のステップは、前記視線通過の頻度分布と前記対象物の存在頻度分布とに基づいて、前記区分のそれぞれにおける地面の高さを特定することを特徴とする請求項９に記載された地形認識方法。 - 前記第５のステップは、ある区分に関する地面の高さが、前記区分の周囲の地面の高さよりも所定の閾値以上異なる場合、前記区分の地面の高さを、前記区分の周囲の地面の高さに基づいて、補正するステップを含むことを特徴とする請求項９または１０に記載された地形認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002314902A JP4171283B2 (ja) | 2002-10-29 | 2002-10-29 | 地形認識装置および地形認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002314902A JP4171283B2 (ja) | 2002-10-29 | 2002-10-29 | 地形認識装置および地形認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004151883A JP2004151883A (ja) | 2004-05-27 |
| JP4171283B2 true JP4171283B2 (ja) | 2008-10-22 |
Family
ID=32459092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002314902A Expired - Fee Related JP4171283B2 (ja) | 2002-10-29 | 2002-10-29 | 地形認識装置および地形認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4171283B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011194042A (ja) | 2010-03-19 | 2011-10-06 | Brother Industries Ltd | ミシン |
| JP2011194043A (ja) | 2010-03-19 | 2011-10-06 | Brother Industries Ltd | ミシン |
| EP3605459A4 (en) | 2017-03-31 | 2021-01-20 | Pioneer Corporation | TRIDIMENSIONAL DATA GENERATION DEVICE, THREE-DIMENSIONAL DATA GENERATION PROCESS, TRIDIMENSIONAL DATA GENERATION PROGRAM AND COMPUTER-READABLE RECORDING MEDIA, ON WHICH A TRIDIMENSIONAL DATA GENIDATION PROGRAM IS REGISTERED |
-
2002
- 2002-10-29 JP JP2002314902A patent/JP4171283B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004151883A (ja) | 2004-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4341564B2 (ja) | 対象物判定装置 | |
| JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
| JP5502448B2 (ja) | 路面形状認識装置 | |
| JP3797949B2 (ja) | 画像処理装置及びその方法 | |
| JP5188430B2 (ja) | 画像処理装置 | |
| JP5820774B2 (ja) | 路面境界推定装置及びプログラム | |
| JP5804185B2 (ja) | 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法 | |
| JP4363295B2 (ja) | ステレオ画像による平面推定方法 | |
| CN105069804B (zh) | 基于智能手机的三维模型扫描重建方法 | |
| JP2003083742A (ja) | 監視システムの距離補正装置および距離補正方法 | |
| CN105551020B (zh) | 一种检测目标物尺寸的方法及装置 | |
| CN105335955A (zh) | 对象检测方法和对象检测装置 | |
| US20100166259A1 (en) | Object enumerating apparatus and object enumerating method | |
| KR101551026B1 (ko) | 차량 검출 방법 | |
| JP6171593B2 (ja) | 視差図からの対象追跡方法及びシステム | |
| JP2008082870A (ja) | 画像処理プログラム及びこれを用いた路面状態計測システム | |
| JP4032843B2 (ja) | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 | |
| JP3786618B2 (ja) | 画像処理装置及びその方法 | |
| JP4067340B2 (ja) | 対象物認識装置および対象物認識方法 | |
| KR100574227B1 (ko) | 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 | |
| JP4586571B2 (ja) | 対象物判定装置 | |
| JP4150218B2 (ja) | 地形認識装置および地形認識方法 | |
| JP4171282B2 (ja) | 地形認識装置および地形認識方法 | |
| JP4171283B2 (ja) | 地形認識装置および地形認識方法 | |
| CN112016568B (zh) | 一种目标对象的图像特征点的跟踪方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051021 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080731 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080808 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |