WO2024009386A1

WO2024009386A1 - 画像処理装置及び画像処理方法

Info

Publication number: WO2024009386A1
Application number: PCT/JP2022/026698
Authority: WO
Inventors: 亮江口
Original assignee: Hitachi Astemo Ltd
Current assignee: Astemo Ltd
Priority date: 2022-07-05
Filing date: 2022-07-05
Publication date: 2024-01-11
Anticipated expiration: 2025-01-05
Also published as: JPWO2024009386A1; US20250378583A1; DE112022007155T5; CN119404075A; JP7780648B2; US12530801B2

Abstract

画像処理装置は、車載カメラが撮影した複数の撮影画像をそれぞれ複数の分割領域に分割する領域分割部と、分割領域ごとに閾値を超える部分を特徴点として検出する特徴点検出部と、分割領域ごとに検出される特徴点の分布が均等になるように分割領域ごとに閾値を設定する閾値設定部と、複数の撮影画像で検出された特徴点を複数の撮影画像の間で対応付けてマッチングを行う特徴点マッチング部と、複数の撮影画像の間で対応付けられた特徴点に基づいて、相対パラメータを計算する相対パラメータ計算部と、を備える。

Description

画像処理装置及び画像処理方法

　本発明は、画像処理装置及び画像処理方法に関する。

　画像処理装置を用いて画像に映る外界の３次元位置を認識するためには、画像処理装置を校正する必要がある。校正は、カメラパラメータと相対パラメータを計算することで行われる。カメラパラメータとは、画像処理装置に用いるカメラのレンズ歪みや焦点距離などを示すパラメータである。相対パラメータとは、２台のカメラ又は１台の移動するカメラの移動前後において、カメラの相対的な位置及び姿勢の関係を示すパラメータである。

　画像を撮影するカメラが２台のカメラで構成されるステレオカメラである場合、いずれか１台のカメラが基準とされ、基準のカメラに対する他方のカメラの相対的な位置及び姿勢の関係が相対パラメータとして計算される。また、右側のカメラの位置を基準として、左側のカメラの基準に対する相対的な３次元位置（（ｘ，ｙ，ｚ）軸位置）と、相対的な向き（（ｘ，ｙ，ｚ）軸角度）とを画像処理装置が算出することを校正と呼ぶ。

　画像処理装置の校正を行う技術として、特許文献１に記載された技術が知られている。この特許文献１には、「２台のカメラの使用目的に応じた距離に特徴点が十分に分布する画像を選択し、該画像において２台のカメラの使用目的に応じた距離に分布する特徴点および対応点の画像座標を用いて２台のカメラの外部パラメータを計算する」と記載されている。

特開２００９－２７６２３３号公報

　画像処理装置の高精度な校正のためには撮影画像から検出される特徴点の分布が重要である。特徴点分布が校正に適さない撮影画像では校正の精度が下がってしまう。特許文献１に記載された、特徴点の距離分布で撮影画像を判定し、高精度な校正結果が期待できる撮影画像のみを抽出して撮影装置を校正する方法では、高精度な校正結果が期待できる撮影画像のみが抽出されていた。しかし、特許文献１に開示された技術では、計算された特徴点数が閾値未満である撮影画像は校正に適さない。このような構成に適さない撮影画像は破棄されるので、校正を行う機会が減少するという課題があった。

　本発明はこのような状況に鑑みて成されたものであり、画像処理装置の校正を高精度化することを目的とする。

　本発明に係る画像処理装置は、車載カメラが撮影した複数の撮影画像をそれぞれ複数の分割領域に分割する領域分割部と、分割領域ごとに閾値を超える部分を特徴点として検出する特徴点検出部と、分割領域ごとに検出される特徴点の分布が均等になるように分割領域ごとに閾値を設定する閾値設定部と、複数の撮影画像で検出された特徴点を複数の撮影画像の間で対応付けてマッチングを行う特徴点マッチング部と、複数の撮影画像の間で対応付けられた特徴点に基づいて、相対パラメータを計算する相対パラメータ計算部と、を備える。

　本発明によれば、画像処理装置の校正を高精度化することで、画像処理装置が外界の３次元位置をより正確に認識することができる。

本発明の一実施形態に係る画像処理装置の内部構成例を示すブロック図である。本発明の一実施形態に係る画像処理装置の全体処理の例を示すフローチャートである。本発明の一実施形態に係る均等化特徴点検出部で行われる均等化特徴点検出処理の一例を示すフローチャートである。本発明の一実施形態に係る均等なグリッド状に分割された映像の例を示す図である。本発明の一実施形態に係る分割数を増やしてグリッド状に分割された映像の例を示す図である。本発明の一実施形態に係る車両の状況に合わせて分割された撮影画像の例を示す図である。本発明の一実施形態に係る時系列前Ａに撮影された撮影画像を分割した様子を示す図である。本発明の一実施形態に係る時系列後Ｂに撮影された撮影画像を分割した様子を示す図である。本発明の一実施形態に係る１つ目の撮影画像から検出された特徴点の例を示す図である。本発明の一実施形態に係る２つ目の撮影画像から検出された特徴点の例を示す図である。従来の技術を適用した、特徴点の分布が偏った平行化映像の例を示す図である。本発明の一実施形態に係る技術を適用して特徴点の分布を均等化した平行化映像の例である。本発明の一実施形態に係る計算機のハードウェア構成例を示すブロック図である。

　以下、本発明を実施するための形態について、添付図面を参照して説明する。本明細書及び図面において、実質的に同一の機能又は構成を有する構成要素については、同一の符号を付することにより重複する説明を省略する。本発明は、例えば、先進運転支援システム（ＡＤＡＳ：Advanced Driver Assistance System）、又は自動運転（ＡＤ：Autonomous Driving）向けの車載ＥＣＵ（Electronic Control Unit）が通信可能な車両制御用の演算装置に適用可能である。

［一実施形態］
　図１は、一実施形態に係る画像処理装置１００の内部構成例を示すブロック図である。
　画像処理装置１００は、車両に搭載される不図示の画像処理ＥＣＵに搭載される装置の一つである。また、画像処理装置１００は、高精度な校正機能を有する

　車載カメラ１０１は、画像処理装置１００が車両の外界を認識するために車両に搭載されたカメラの一例であり、所定のタイミングで外界を撮影する。車載カメラ１０１は、外界の３次元距離を認識するために車両の周囲を撮影した撮影画像１０を画像処理装置１００の均等化特徴点検出部１０２に出力する。車載カメラ１０１は、２台のステレオカメラであってもよいし、１台の単眼カメラであってもよい。

　車載カメラ１０１が均等化特徴点検出部１０２に出力する撮影画像１０は、２台のカメラ（ステレオカメラ）が同時に撮影した２枚の撮影画像１０でもよいし、１台のカメラ（単眼カメラ）が異なる時間に撮影した２枚の撮影画像１０でもよい。車載カメラ１０１として単眼カメラを用いる場合、例えば、車両が静止した状態で単眼カメラが対象物を撮影した１枚の撮影画像１０と、少し車両が動いた後に、同じ対象物を撮影した１枚の撮影画像１０とを出力する。

　画像処理装置１００は、２枚の撮影画像１０に基づいて車載カメラ１０１の相対パラメータを校正し、撮影画像１０から外界の３次元距離を認識する処理を行う。ここで、画像処理装置１００による校正は、車載カメラ１０１が起動されるごとに実行される。例えば、車両の電源がオンされ、車載カメラ１０１が起動された直後、又は、車両が走行中に所定の時間間隔で校正が行われる。この画像処理装置１００は、均等化特徴点検出部１０２、特徴点マッチング部１０３、相対パラメータ計算部１０４、視差画像生成部１０５、及び３次元距離認識部１０６を備える。以下に、図２を参照して各機能部の処理について説明する。

　図２は、画像処理装置１００の全体処理の例を示すフローチャートである。図２により、画像処理装置１００の画像処理方法の一例が示される。

　始めに、均等化特徴点検出部１０２は、車載カメラ１０１から撮影画像１０を取得する（Ｓ１）。受け取った撮影画像１０は、後述する図１３に示すＲＡＭ５３、不揮発性ストレージ５５等の記憶装置に保存され、画像処理装置１００の各機能部の処理において、記憶装置から適宜読み出され、再び書き込まれる。以下の説明では、記憶装置に対する撮影画像１０の入出力の処理の記載は省略する。

　そして、ステップＳ１では、均等化特徴点検出部１０２は、車載カメラ１０１から受け取った撮影画像１０を解析して、撮影画像１０に映る対象物（車道、歩道、他の車両、標識等）の輪郭線を検出する。その後、均等化特徴点検出部１０２は、図３に示す均等化特徴点検出処理を行って（Ｓ２）、輪郭線の角の部分や輪郭線が交差する部分などの特徴がある点を特徴点として検出する。

　均等化特徴点検出部１０２は、ステップＳ２に示す均等化特徴点検出処理において独自の手法を適用し、後の相対パラメータ計算部１０４により計算される相対パラメータの精度が高くなる特徴点を検出できるように操作を加える。均等化特徴点検出部１０２による操作として、撮影画像１０の分割処理、分割処理によって分割された領域における特徴点の検出及び特徴点数のカウント処理、特徴点の検出に用いる閾値（個別閾値）の設定処理が含まれる。均等化特徴点検出部１０２の操作により、分割処理によって撮影画像１０が分割された各分割領域における特徴点数が均等になるように特徴点が検出される。

　ここで、図１に示すように均等化特徴点検出部１０２は、領域分割部１０２１、特徴点検出部１０２２及び閾値設定部１０２３を備える。
　領域分割部（領域分割部１０２１）は、車載カメラ（車載カメラ１０１）が撮影した複数の撮影画像１０をそれぞれ複数の分割領域に分割する。
　特徴点検出部（特徴点検出部１０２２）は、分割領域ごとに閾値（個別閾値）を超える部分を特徴点として検出する。
　閾値設定部（閾値設定部１０２３）は、分割領域ごとに検出される特徴点の分布が均等になるように分割領域ごとに閾値（個別閾値）を設定する。
　以下に、均等化特徴点検出部１０２が有する各機能部により行われる均等化特徴点検出処理について、図３以降を参照して後述する。

　図３は、均等化特徴点検出部１０２で行われる均等化特徴点検出処理の一例を示すフローチャートである。均等化特徴点検出処理は、図１に示した画像処理装置１００の各機能部が行う画像処理方法の一部である。

　始めに、領域分割部１０２１は、車載カメラ１０１から受け取った撮影画像１０を所定のサイズ及び分割数で分割する（Ｓ１１）。ここで、領域分割部１０２１で行われる処理の例、及び分割領域の例について、図４～図８を参照して説明する。

　例えば、領域分割部１０２１は、車載カメラ１０１から取得した２枚の撮影画像１０をそれぞれ、１枚ずつ取り込む。領域分割部（領域分割部１０２１）は、分割領域ごとに少なくとも一つの特徴点が検出されるように、撮影画像１０の分割数を増やし、分割領域のサイズを小さくして分割する。撮影画像１０を分割する例として、例えば、図４と図５に示す例がある。

　図４は、均等なグリッド状に分割された映像（撮影画像１０）の例を示す図である。
　図４に示す車載カメラ１０１が撮影した撮影画像１０は、領域分割部１０２１により、２行×２列の４個の均等なグリッド状の分割領域に分割される。この場合、撮影画像１０の分割数は「４」である。また、各分割領域のサイズは、いずれも同じである。撮影画像１０を４つに分割することで、分割領域のサイズは、元の撮影画像１０の４分の１のサイズとなる。このように撮影画像１０を４分割する場合であっても、対象物によっては撮影画像１０内の特徴点を各分割領域に均等に配置することが期待できる。

　図５は、分割数を増やしてグリッド状に分割された映像の例を示す図である。
　図５に示す車載カメラ１０１が撮影した撮影画像１０は、領域分割部１０２１により、４行×４列の１６個の均等なグリッド状の分割領域に分割される。この場合、撮影画像１０の分割数は「１６」である。また、各分割領域の大きさは、いずれも同じである。そして、分割数を増やしたことで、図５に示す分割領域のサイズは、図４に示した分割領域の４分の１のサイズとなる。領域分割部１０２１は、分割数を増やすことで、撮影画像１０内に含まれる特徴点を各分割領域に均等に配置することができる。

　領域分割部１０２１が撮影画像１０の分割数を増やすことで、撮影画像１０内に特徴点が均等に配置される理由について説明する。例えば、１つの領域内に存在する特徴点の偏りは後で補正することができない。このため、分割前の撮影画像１０の上半分に標識、車両が映り、下半分に車道が映っている場合、撮影画像１０の上半分の方が、下半分よりも多くの特徴点が偏って検出されることが予想される。

　そこで、領域分割部１０２１が撮影画像１０の分割数を増やし、撮影画像１０を小さなサイズの分割領域に分けることで、各分割領域内では特徴点に偏りがあったとしても、撮影画像１０の全体としては、各分割領域に均等に特徴点が配置されるようになる。例えば、撮影画像１０の全体に１００個の特徴点をランダムに配置すると、特徴点の配置位置に偏りが生じる。これは、撮影画像１０の全体に１００個の特徴点をランダムに配置した後、撮影画像１０の全体を均等に１００等分すると、特徴点が１個又は複数個含まれる分割領域、特徴点が含まれない分割領域が生じることが予想されるためである。一方、撮影画像１０の全体を均等に１００等分した後、各分割領域に１個ずつ特徴点を配置すれば、撮影画像１０の全体に対して均等に特徴点を配置できる。このため、撮影画像１０を均等に分割した後、各分割領域で特徴点を検出できるようにすることで、画像処理装置１００は、撮影画像１０の全体で検出された特徴点を使った校正が可能となる。

　図６は、車両の状況に合わせて分割された撮影画像１０の例を示す図である。
　車載カメラ１０１が車両に搭載されることを考慮すると、撮影画像１０の下側は、比較的近距離の物体が大きく映る可能性が高く、撮影画像１０の上側は遠距離のものが小さく映る可能性が高い。また、車両の前方に他の車両が走行していない場合、撮影画像１０の下側は、濃度が平坦な車道が映る範囲が大きい。

　そこで、領域分割部（領域分割部１０２１）は、車載カメラ（車載カメラ１０１）の搭載位置に応じて、撮影画像１０を分割する領域の位置及び大きさを変更する。例えば、領域分割部１０２１は、車両の状況と撮影画像１０の特性を考慮して、近距離の物体が大きく映る部分の領域は分割数を少なく、分割領域を大きいサイズで撮影画像１０を分割する。一方、遠距離で小さく物が映る部分は分割数を多く、分割領域を小さいサイズで撮影画像１０を分割する。

　図６に示す分割処理の一例では、遠距離（撮影画像１０の上半分）の部分であって、車両の進行方向に該当する部分は、３次元距離認識部１０６（図１を参照）により車両から対象物までの距離を詳細に認識する必要がある。均等化特徴点検出部１０２の領域分割部１０２１は、撮影画像１０から特徴点を認識するために、平均的にどの辺りにどの位の大きさのものが映るか、その部分にある特徴点が時間経過でどちらの方向へどれ位動くか等の運転シーンを考慮して撮影画像１０の分割パターン（分割領域の分割数、及び分割領域ごとの分割サイズ）を決めている。そこで、領域分割部（領域分割部１０２１）は、特徴点が多いと予測される部分の撮影画像１０を、特徴点が少ないと予測される部分よりも小さいサイズで分割する。例えば、図６では、遠距離の部分の真ん中付近（車道が映る部分）は小さいサイズで分割され、遠距離の部分の両端付近（歩道が映る部分）は大きいサイズで分割される。

　このように領域分割部１０２１は、特徴点が少ないと予想される領域（近距離の車道、歩道等）に対して、特徴点が多いと予想される領域（遠距離の車道、歩道等）と比べて大きいサイズで撮影画像１０を分割することができる。

　領域分割部１０２１が、撮影画像１０に映る対象物の特性に合わせて分割数及び分割サイズを変更することで、近距離の対象物が映る分割領域から検出される特徴点数と、遠距離の対象物が映る分割領域から検出される特徴点数を均等に近づけることができる。この結果、画像処理装置１００による撮影画像１０の奥行方向の校正精度を向上させることが可能となる。

　次に、領域分割部１０２１が、走行する車両での時系列前後の映像（時系列前Ａと時系列後Ｂ）から異なる分割を行う例について説明する。
　図７と図８は、異なる時間で車載カメラ１０１が撮影した撮影画像１０の例を示す図である。
　図７は、時系列前Ａに撮影された撮影画像１０を分割した様子を示す図である。
　図８は、時系列後Ｂに撮影された撮影画像１０を分割した様子を示す図である。図８に示される撮影画像１０は、図７で撮影された撮影画像１０に対して、時間ｔだけ後に撮影されたものである。つまり、図８に示される撮影画像１０は、時間ｔの分だけ、車両が前進した状態で車載カメラ１０１が撮影した映像である。

　領域分割部（領域分割部１０２１）は、車両の移動に伴って車載カメラ（車載カメラ１０１）により撮影される複数の撮影画像１０から検出される外界の３次元位置に対応する特徴点の予測結果に基づいて、複数の撮影画像１０をそれぞれ異なるサイズで分割する。例えば、領域分割部１０２１は、時系列前Ａで撮影された撮影画像１０と、時系列後Ｂで撮影された撮影画像１０のそれぞれから検出される３次元位置に対応する特徴点がどこに位置するかを予測する。そして、領域分割部１０２１は、予測した特徴点の位置が含まれるように、２つの撮影画像１０をそれぞれ異なる分割サイズで分割する。

　図７と図８に示す撮影画像１０を比べると、図７に示す映像で８つの分割領域に分割される上側の領域の高さＨ１は、図８に示す撮影画像１０では、高さＨ２となっており、撮影画像１０の上側の領域が広くなっている。また、図７に示す映像の左側の領域は、遠距離にある車道を含む幅Ｗ１１、遠距離にある歩道を含む領域の幅Ｗ１２で分割されている。一方、図８に示す撮影画像１０の撮影時には、車両が前進して対象物に近づいている。このため、図８に示す映像の左側の領域は、遠距離にある車道を含む幅Ｗ２１に示すように、図７に示した幅Ｗ１１より広くなっている。一方、図８に示す映像の左側の領域の遠距離にある歩道を含む幅Ｗ２２は、図７に示した幅Ｗ１２より狭くなっている。

　なお、時系列前Ａで撮影された撮影画像１０と、時系列後Ｂで撮影された撮影画像１０の分割領域同士をマッチングするため、時系列前Ａで撮影された撮影画像１０の分割領域と、時系列後Ｂで撮影された撮影画像１０の分割領域が存在する必要がある。このため、２つの撮影画像１０の分割数は同じとする。

　このように時系列前後で領域分割部１０２１が撮影画像１０の分割サイズを変えることで、特徴点検出部１０２２は、車両の進行方向で注目すべき対象物がある領域（例えば、車道）の特徴点を確実に検出できる。また、後述する特徴点マッチング部１０３は、分割領域同士をマッチングする際、誤った分割領域をマッチングする誤作動を減らすことができる。

　再び図３に戻って説明を続ける。
　ステップＳ１１の処理の後、特徴点検出部１０２２は、領域分割部１０２１によって分割された分割領域を１つ選択する（Ｓ１２）。そして、特徴点検出部１０２２は、ステップＳ１２で選択した分割領域に対して個別閾値を用いて、分割領域の特徴点検出を行う（Ｓ１３）。

　特徴点検出処理では、特徴点検出部１０２２が分割領域で検出する特徴点の数を増減するための検出閾値が用いられる。通常、特徴点の検出閾値は、撮影画像１０の１枚に対し１つの値が設定される。一方、本実施の形態に係る特徴点検出部１０２２は、検出閾値を分割領域毎に個別に設定可能である。そこで、分割領域ごとに設定した検出閾値を「個別閾値」と呼ぶ。個別閾値は、後述する閾値設定部１０２３が分割領域ごとに設定する値である。

　ところで、閾値設定部１０２３が設定する個別閾値には、設定可能な値の範囲がある。ここでは、個別閾値として輝度閾値を用いる。輝度閾値を用いることで、ある一定の輝度以上の領域には白、ある一定の輝度未満の領域には黒となるような画素毎の二値化処理が可能となる。例えば、輝度閾値を上げると、撮影画像１０内で黒い領域が増え、輝度閾値を下げると、撮影画像１０内で白い領域が増える。そして、輝度閾値を最大値に上げると、撮影画像１０が全て黒色で塗りつぶされ、輝度閾値を最小値まで下げると、撮影画像１０が全て白色で塗りつぶされるので、いずれの場合も特徴点を検出できなくなる。このため、特徴点の検出に有効な輝度閾値の範囲が運転シーンごとに定められている。そして、閾値設定部１０２３は、この範囲内で個別閾値を増減させる。

　ステップＳ１３の次に、特徴点検出部１０２２は、ステップＳ１３で検出された分割領域の特徴点数をカウントする（Ｓ１４）。特徴点検出部１０２２によってカウントされた分割領域の特徴点数は、ＲＡＭ５３（図１３参照）等に一時記憶される。

　特徴点検出部１０２２による処理（Ｓ１２～Ｓ１４）の後、閾値設定部１０２３の処理が開始される。閾値設定部１０２３は、特徴点検出部１０２２により検出された特徴点を均等化するために閾値を設定する。そこで、閾値設定部１０２３は、ステップＳ１４で特徴点数がカウントされた分割領域ごとに、特徴点数を目標値と比較し、特徴点数が目標値よりも多いか否かを判定する（Ｓ１５）。ステップＳ１５～Ｓ１７では、閾値設定部（閾値設定部１０２３）は、特徴点の数が目標値よりも多い分割領域に設定される閾値を上げる設定を行い、特徴点の数が目標値未満である分割領域に設定される閾値を下げる設定を行う。このため、特徴点検出部１０２２より検出される特徴点の数が目標値付近となるように個別閾値が設定される。ここで、特徴点数について、図９と図１０を参照して説明する。

　図９は、１つ目の撮影画像１０から検出された特徴点の例を示す図である。
　図１０は、２つ目の撮影画像１０から検出された特徴点の例を示す図である。
　図９と図１０に示す実線及び破線の円が特徴点を表す。ただし、実線の円は２枚の撮影画像１０で同じ部位を示す特徴点が検出されマッチングされた特徴点を表し、破線の円は２枚の撮影画像１０から同じ部位で検出されなかった特徴点を表す。

　通常、特徴点のマッチングは、一方の撮影画像１０（基準画像）の一つの特徴点の特徴量、他方の撮影画像１０（参照画像）の全ての特徴点の特徴量を比較して、最も特徴量が近い特徴点を探す操作で行われる。特徴量とは、特徴点の形状を示す数値であり、特徴点周辺の画素（輝度値）の配置を一定の手順で数値へ変換したものである。特徴点は様々な形状が想定されるが、同じ対象物であれば、同じ特徴点となることが予想される。ただし、特徴点のマッチングは、２つの撮影画像１０内の同じ位置の分割領域に対して行われるので、撮影画像１０の全体で検出された特徴点をマッチングする処理よりも負荷を軽くし、マッチングの終了までの時間も短縮することができる。

　図３の説明に戻る。
　図９に示す撮影画像１０の左上側（奥側）が、図６に示した分割パターンで分割された分割領域であるとする。この場合、撮影画像１０の左上側（奥側）の分割領域には、多くの特徴点が検出されているので、閾値設定部１０２３は、この分割領域における特徴点数が目標値より多いと判定する（Ｓ１５のＮＯ）。そこで、閾値設定部１０２３は、個別閾値を上げる処理を行う（Ｓ１６）。この結果、この分割領域での検出閾値は最大値となる。つまり、設定可能範囲内で最大の検出閾値となる。ただし、現在の個別閾値から最大値までが所定間隔で区分されることで、ステップＳ１６では区分された間隔で個別閾値が設定されてもよい。このため、個別閾値が最大値よりも小さい値に設定されてもよい。

　一方、図９に示す撮影画像１０の下側（手前側）が、図６に示した分割パターンで分割された分割領域であるとする。この場合、撮影画像１０の下側（手前側）の分割領域には、ほとんど特徴点が検出されていないので、閾値設定部１０２３は、この分割領域における特徴点数が目標値以下であると判定する（Ｓ１５のＮＯ）。そこで、閾値設定部１０２３は、特徴点検出閾値を下げる処理を行う（Ｓ１７）。この結果、この分割領域での検出閾値は最小値となる。つまり、設定可能範囲内で最小の検出閾値となる。ただし、現在の個別閾値から最小値までが所定間隔で区分されることで、ステップＳ１７では区分された間隔で個別閾値が設定されてもよい。このため、個別閾値が最小値よりも大きい値に設定されてもよい。

　ステップＳ１６又はＳ１７の後、均等化特徴点検出部１０２は、領域分割部１０２１が分割した全ての分割領域に対して、ステップＳ１２以降の処理が実施されたか否かを判定する（Ｓ１８）。均等化特徴点検出部１０２は、処理されていない分割領域があると判定した場合（Ｓ１８のＮＯ）、未処理の分割領域に対して、再びステップＳ１２からの処理を実施する。ここで、特徴点検出部（特徴点検出部１０２２）は、閾値設定部（閾値設定部１０２３）により設定された閾値で特徴点を検出する。このため、特徴点検出部１０２２により検出される特徴点の数が目標値に合わせた数となる。一方、均等化特徴点検出部１０２は、全ての分割領域に対して処理が実施されたと判定した場合（Ｓ１８のＹＥＳ）、図３に示す均等化特徴点検出処理を終了する。

　なお、図３に示す均等化特徴点検出処理では、ある分割領域に対してステップＳ１６，Ｓ１７の処理により個別閾値が設定された後、特徴点検出部１０２２は、別の分割領域に対して、前の処理で設定された個別閾値を用いて特徴点の検出処理を行う。このような処理としているのは、図３に示す均等化特徴点検出処理を実装した場合、全ての分割領域に対する処理時間を短縮するためである。

　ただし、画像処理装置１００の処理能力に余裕があれば、特徴点検出部１０２２は、同じ分割領域で再び特徴点検出を行った方がより効果的である。この場合、閾値設定部１０２３がある分割領域に対して設定した個別閾値に基づいて、再び、特徴点検出部１０２２が、同じ分割領域に対して、設定された個別閾値で特徴点を検出する。その後、閾値設定部１０２３による個別閾値の設定処理を行わず、別の分割領域に対してステップＳ１２からの処理を行えばよい。

　図１と図２に戻って説明を続ける。
　図３に示した均等化特徴点検出部１０２の処理の後、特徴点マッチング部（特徴点マッチング部１０３）は、複数の撮影画像１０で検出された特徴点を複数の撮影画像１０の間で対応付けてマッチングを行う（Ｓ３）。この時、特徴点マッチング部１０３は、均等化特徴点検出部１０２から出力された２つの撮影画像１０内で同じ部位として検出された特徴点を対応付けるマッチングを行う。このため、特徴点マッチング部１０３は、従来のように分割前の２つの撮影画像１０で検出された特徴点をマッチングすることができる。

　なお、２つの撮影画像１０を分割して分割領域が生成された場合、特徴点マッチング部（特徴点マッチング部１０３）は、複数の撮影画像１０における位置が同じ分割領域ごとに特徴点を対応付けてマッチングを行う。このため、従来の撮影画像１０の全体を対象として特徴点を対応付けてマッチングしていた処理に比べて、特徴点マッチング部１０３は、撮影画像１０の全体で均一に検出された特徴点に対応付けてマッチングすることができる。

　特徴点のマッチング処理は、上述した図９と図１０を参照して説明したとおりである。例えば、特徴点マッチング部１０３は、領域分割部１０２１が分割した分割領域を活用し、一方の撮影画像１０における分割領域内の一つの特徴点に対し、他方の撮影画像１０に対応する分割領域の特徴点を比較するよう変更する。このような処理により、マッチングする分割領域の範囲が限定されるので、特徴点マッチング部１０３は、他の分割領域で検出された特徴点と誤ってマッチングすることを避けることができ、マッチング操作にかかる時間を短縮できる。

　相対パラメータ計算部（相対パラメータ計算部１０４）は、複数の撮影画像１０の間で対応付けられた特徴点に基づいて、相対パラメータを計算する（Ｓ４）。そこで、相対パラメータ計算部１０４は、カメラパラメータ、及びマッチングされた特徴点を用い、相対パラメータを計算する。相対パラメータは、２台の車載カメラ１０１又は１台の移動する車載カメラ１０１の移動前後において、一方のカメラからみた他方のカメラの相対的な位置及び姿勢の関係を示すパラメータである。そして、相対パラメータ計算部１０４は、相対パラメータの計算を行うにあたって、２つの撮影画像１０にてマッチングされた全ての特徴点の再投影誤差の和を最小化するように計算を行う。

　ここで、相対パラメータ計算部（相対パラメータ計算部１０４）は、車載カメラ（車載カメラ１０１）がステレオカメラである場合に、ステレオカメラを構成する２つのカメラのうち、一方のカメラが撮影画像１０を撮影した時の一方のカメラの軸位置及び軸角度を基準とし、他方のカメラが他の撮影画像１０を撮影した時の他方のカメラの相対的な軸位置及び軸角度を相対パラメータとする。例えば、右側のカメラの位置を基準として、左側のカメラの基準に対する相対的な３次元位置（（ｘ，ｙ，ｚ）軸位置）と、相対的な向き（（ｘ，ｙ，ｚ）軸角度）を相対パラメータとする。

　なお、車載カメラ１０１が単眼カメラである場合には、１台の移動する車載カメラ１０１の移動前後で撮影された撮影画像１０が用いられる。ただし、単願カメラの姿勢は移動前後で一定になりにくい。例えば、車両が直線上を真っすぐ走行する理想的条件であれば車載カメラ１０１の姿勢は一定である。しかし、実際には微小なハンドル操作によって車載カメラ１０１が左右に角度変化したり、ブレーキ又はアクセルがかかることで車載カメラ１０１が上下に角度変化したりするため、車載カメラ１０１の姿勢は変化すると想定される。

　このため、相対パラメータ計算部（相対パラメータ計算部１０４）は、車載カメラ（車載カメラ１０１）が単眼カメラである場合に、車両の移動に伴って単眼カメラが撮影した複数の撮影画像１０のうち、一の撮影画像１０を撮影した時の単眼カメラの軸位置及び軸角度を基準とし、他の撮影画像１０を撮影した時の単眼カメラの相対的な軸位置及び軸角度を相対パラメータとする。例えば、ある瞬間で撮影した単眼カメラの位置を基準として、時間ｔ後に撮影した単眼カメラの基準に対する相対的な３次元位置（（ｘ，ｙ，ｚ）軸位置）と、相対的な向き（（ｘ，ｙ，ｚ）軸角度）を相対パラメータとする。この結果、車載カメラ１０１として単眼カメラが用いられた場合であっても、相対パラメータが正しく計算される。

　次に、視差画像生成部（視差画像生成部１０５）は、相対パラメータに基づいて複数の撮影画像１０の視差画像を生成する（Ｓ５）。そこで、視差画像生成部１０５は、相対パラメータを基に２枚の撮影画像１０を平行化した平行化映像を作成する。平行化映像においてはエピポーラ線が水平、かつ、同じＹ座標になる。そして、視差画像生成部１０５は、平行化映像に対してステレオマッチングを実施して視差画像を生成する。

　次に、３次元距離認識部（３次元距離認識部１０６）は、視差画像に基づいて、外界の３次元距離を認識する（Ｓ６）。例えば、３次元距離認識部１０６は、視差画像生成部１０５で生成された視差画像の視差値と、カメラパラメータに含まれるカメラの焦点距離、及び車載カメラ１０１に構成される受光素子の画素サイズ等を基に、外界の３次元距離を計算し、外界の物体を認識する。その後、画像処理装置１００の処理が終了する。

　上述したように、車載カメラ１０１が１台の単眼カメラで構成される場合であっても、３次元距離認識部１０６は、外界の３次元距離を計算し、外界の物体を認識することは可能である。この場合、車両が時系列に移動する前後のタイミングで車載カメラ１０１が外界を撮影し、撮影した２枚の撮影画像１０の間で車載カメラ１０１がどのように移動したかが正確に分かっていることが必要となる。なお、車載カメラ１０１が２台のステレオカメラで構成されるのであれば、ステレオカメラで撮影された２枚の撮影画像１０のカメラ位置は固定されており正確に分かる。一方、車両と共に移動する１台の単眼カメラの移動前後のカメラ位置は誤差が大きくなりやすいので、ステレオカメラを使う場合と比べて外界の３次元距離の認識精度は下がるが、１台のカメラで３次元距離を認識できる効果がある。

　ここまで画像処理装置１００に構成される各機能部の説明を行ったが、本実施形態に係る技術を適用し、均等化特徴点検出部１０２が特徴点を均等化した場合の効果を説明する。そこで、相対パラメータ計算部１０４が相対パラメータの計算を行い、視差画像生成部１０５で生成された平行化映像の例について、図１１及び図１２を参照して説明する。

　図１１は、従来の技術を適用した、特徴点の分布が偏った平行化映像の例を示す図である。図１１の横軸は撮影画像１０のＸ軸をとり、縦軸は撮影画像１０のＹ軸をとる。

　図中に示す黒丸と、破線の罫線は一方のカメラが撮影した撮影画像１０（基準画像）から検出された特徴点と平行化映像の傾きを示している。また、図中に示す白丸と、実線の罫線は、他方のカメラが撮影した撮影画像１０（参照画像）から検出された特徴点と平行化映像の傾きを示している。理想的には２枚の平行化後の平行化映像は同じ傾きになることが期待される。ここで、２つの撮影画像１０を２行×２列の領域２１～２４に区分する。

　図１１に示す平行化映像の例では、再投影誤差が最小になるよう相対パラメータを計算する場合、特徴点に対して重みが計算される。重みとは、２次元の撮影画像１０から検出された特徴点の誤差（図中に示す白丸と黒丸の誤差）に対して積算される値である。特徴点が多い領域では、一つの特徴点の誤差が小さくても、多くの特徴点の誤差が積算されるので、特徴点の評価値に対する重みが大きくなる。一方で、特徴点が少ない領域では、少ない数の特徴点の誤差が積算されるだけなので、一つの特徴点の誤差が大きくても、特徴点の評価値に対する重みが小さくなる。

　このような特徴点と重みの関係を踏まえると、図１１に示す特徴点が密集している領域２２の相対パラメータ計算における重みが大きくなり、特徴点が疎な領域２３の重みが小さくなる。このため、相対パラメータ計算では、重みが大きく、特徴点が密集している領域に最適化された相対パラメータが計算され、特徴点が疎な領域２３に大きなずれが生じてしまう。この結果、破線で示す撮影画像１０（基準画像）に対して、実線で示す撮影画像１０（参照画像）は、大きく傾き、平行化されていない。

　図１２は、本実施形態に係る技術を適用して特徴点の分布を均等化した平行化映像の例である。
　図１２においても、図中に示す黒丸、白丸、破線及び実線の罫線は、図１１に示したものと同様である。
　図１２に示す平行化映像の例では、２つの撮影画像１０の領域２１～２４（画像全体）に特徴点が均等に分布している。このため、相対パラメータの計算における重みも２つの撮影画像１０内で均等化される。この結果、歪みの少ない計算結果を得ることができる。また、破線で示す撮影画像１０（基準画像）に対して、実線で示す撮影画像１０（参照画像）は、傾きが抑えられており、平行化されている。

　次に、画像処理装置１００を構成する計算機５０のハードウェア構成を説明する。
　図１３は、計算機５０のハードウェア構成例を示すブロック図である。計算機５０は、本実施の形態に係る画像処理装置１００として動作可能なコンピューターとして用いられるハードウェアの一例である。本実施の形態に係る画像処理装置１００は、計算機５０（コンピューター）がプログラムを実行することにより、図１及び図３に示した各機能ブロックが連携して行う画像処理方法を実現する。

　計算機５０は、バス５４にそれぞれ接続されたＣＰＵ（Central Processing Unit）５１、ＲＯＭ（Read Only Memory）５２、及びＲＡＭ（Random Access Memory）５３を備える。さらに、計算機５０は、不揮発性ストレージ５５及びネットワークインターフェイス５６を備える。

　ＣＰＵ５１は、本実施の形態に係る各機能を実現するソフトウェアのプログラムコードをＲＯＭ５２から読み出してＲＡＭ５３にロードし、実行する。ＲＡＭ５３には、ＣＰＵ５１の演算処理の途中で発生した変数やパラメータ等が一時的に書き込まれ、これらの変数やパラメータ等がＣＰＵ５１によって適宜読み出される。ただし、ＣＰＵ５１に代えてＭＰＵ（Micro Processing Unit）を用いてもよい。

　不揮発性ストレージ５５としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フレキシブルディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ又は不揮発性のメモリ等が用いられる。この不揮発性ストレージ５５には、ＯＳ（Operating System）、各種のパラメータの他に、計算機５０を機能させるためのプログラムが記録されている。ＲＯＭ５２及び不揮発性ストレージ５５は、ＣＰＵ５１が動作するために必要なプログラムやデータ等を記録しており、計算機５０によって実行されるプログラムを格納したコンピューター読取可能な非一過性の記憶媒体の一例として用いられる。

　ネットワークインターフェイス５６には、例えば、ＮＩＣ（Network Interface Card）等が用いられ、ＮＩＣの端子に接続されたＬＡＮ（Local Area Network）、専用線等を介して各種のデータを装置間で送受信することが可能である。

　以上説明した一実施の形態に係る画像処理装置１００では、撮影画像１０から特徴点を検出する際、検出される特徴点が撮影画像１０内で校正に適した分布になるよう操作を行って、校正（相対パラメータの計算）をより高精度化することができる。このため、画像処理装置１００が備える３次元距離認識部１０６は、外界の３次元距離で表される３次元位置を従来よりも正確に認識することができる。

　ここで、マッチングに用いられる２つの撮影画像１０は、領域分割部１０２１により同じサイズ及び分割数で分割される。分割領域には、少なくとも一つの特徴点が検出されるように、撮影画像１０が分割される。このため、分割領域ごとに特徴点が均等に配置されることで、撮影画像１０の全体で特徴点が均等に配置される。また、各撮影画像１０の同じ位置の分割領域ごとに特徴点のマッチングも行いやすくなる。

　また、分割領域は、撮影画像１０の部分ごとに予測される特徴点数に応じてサイズが変更される。特徴点数が多いと予測される部分のサイズは小さく、特徴点数が少ないと予測される部分のサイズは大きくなるように撮影画像１０が分割される。この結果、特徴点数が少ないと予測される部分であっても、少なくとも一つの特徴点が検出されるようになる。

　また、特徴点を検出するための個別閾値は、分割領域ごとに変更可能である。このため、特徴点数が多いと予測される部分の個別閾値は高く設定されることで、検出される特徴点の数を減らすことができる。逆に、特徴点数が少ないと予測される部分の個別閾値は低く設定されることで、検出される特徴点の数を増やすことができる。結果として、分割領域ごとに検出される特徴点の数が均等化される。

　また、特徴点の配置が偏っていたため、従来破棄されていた撮影画像１０であっても、画像処理装置１００による校正に使用できる。このため、画像処理装置１００は、校正を実施する機会が増え、従来よりも高頻度かつ正確に校正することができる。

［変形例］
　なお、ステレオカメラに構成される一方のカメラに故障が発生した場合であれば、他方のカメラ（例えば、右側のカメラ）だけを使って、車両の移動前後で撮影された撮影画像１０を用いて校正を行ってもよい。この場合、車載カメラ１０１に単眼カメラを用いた場合と同様の処理で、片側のカメラを校正することができる。

　また、ステレオカメラで撮影された２つの撮影画像１０を異なるタイミングで取得することで、撮影された時間が異なる２つの撮影画像１０の同じ分割領域をマッチングしてもよい。例えば、均等化特徴点検出部１０２は、最初のタイミングで取得した２つの撮影画像１０が分割された分割領域から特徴点を検出した後、個別閾値を設定する。そして、均等化特徴点検出部１０２は、次のタイミングで取得した２つの撮影画像１０が分割された分割領域に対して、最初のタイミングで設定された個別閾値を用いて特徴点を検出する。このように短い時間で２回撮影された撮影画像１０に対して、最初に設定した個別閾値を、次に特徴点の検出に用いることで、３次元距離認識部１０６が外界の３次元距離をより正確に認識できるようになる。

　なお、本発明は上述した実施形態に限られるものではなく、請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。
　例えば、上述した実施形態は本発明を分かりやすく説明するためにシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されない。また、本実施形態の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

　１０…撮影画像、１００…画像処理装置、１０１…車載カメラ、１０２…均等化特徴点検出部、１０３…特徴点マッチング部、１０４…相対パラメータ計算部、１０５…視差画像生成部、１０６…３次元距離認識部、１０２１…領域分割部、１０２２…特徴点検出部、１０２３…閾値設定部

Claims

　車載カメラが撮影した複数の撮影画像をそれぞれ複数の分割領域に分割する領域分割部と、
　前記分割領域ごとに閾値を超える部分を特徴点として検出する特徴点検出部と、
　前記分割領域ごとに検出される前記特徴点の分布が均等になるように前記分割領域ごとに前記閾値を設定する閾値設定部と、
　複数の前記撮影画像で検出された前記特徴点を複数の前記撮影画像の間で対応付けてマッチングを行う特徴点マッチング部と、
　複数の前記撮影画像の間で対応付けられた前記特徴点に基づいて、相対パラメータを計算する相対パラメータ計算部と、を備える
　画像処理装置。
　前記閾値設定部は、前記特徴点の数が目標値よりも多い前記分割領域に設定される前記閾値を上げる設定を行い、前記特徴点の数が目標値未満である前記分割領域に設定される前記閾値を下げる設定を行い
　前記特徴点検出部は、前記閾値設定部により設定された前記閾値で前記特徴点を検出する
　請求項１に記載の画像処理装置。
　前記領域分割部は、前記分割領域ごとに少なくとも一つの前記特徴点が検出されるように、前記撮影画像の分割数を増やし、前記分割領域のサイズを小さくして分割する
　請求項２に記載の画像処理装置。
　前記領域分割部は、前記車載カメラの搭載位置に応じて、前記撮影画像を分割する領域の位置及び大きさを変更する
　請求項３に記載の画像処理装置。
　前記領域分割部は、前記特徴点が多いと予測される部分の前記撮影画像を、前記特徴点が少ないと予測される部分よりも小さいサイズで分割する
　請求項４に記載の画像処理装置。
　前記領域分割部は、車両の移動に伴って前記車載カメラにより撮影される複数の前記撮影画像から検出される外界の３次元位置に対応する特徴点の予測結果に基づいて、複数の前記撮影画像をそれぞれ異なるサイズで分割する
　請求項４に記載の画像処理装置。
　前記特徴点マッチング部は、複数の前記撮影画像における位置が同じ前記分割領域ごとに前記特徴点を対応付けてマッチングを行う
　請求項５に記載の画像処理装置。
　前記相対パラメータ計算部は、前記車載カメラがステレオカメラである場合に、前記ステレオカメラを構成する２つのカメラのうち、一方のカメラが前記撮影画像を撮影した時の前記一方のカメラの軸位置及び軸角度を基準とし、他方のカメラが他の前記撮影画像を撮影した時の前記他方のカメラの相対的な軸位置及び軸角度を前記相対パラメータとする
　請求項６に記載の画像処理装置。
　前記相対パラメータ計算部は、前記車載カメラが単眼カメラである場合に、車両の移動に伴って前記単眼カメラが撮影した複数の前記撮影画像のうち、一の前記撮影画像を撮影した時の前記単眼カメラの軸位置及び軸角度を基準とし、他の前記撮影画像を撮影した時の前記単眼カメラの相対的な軸位置及び軸角度を前記相対パラメータとする
　請求項６に記載の画像処理装置。
　さらに、前記相対パラメータに基づいて複数の前記撮影画像の視差画像を生成する視差画像生成部と、
　前記視差画像に基づいて、外界の３次元距離を認識する３次元距離認識部とを備える
　請求項８に記載の画像処理装置。
　車載カメラが撮影した複数の撮影画像をそれぞれ複数の分割領域に分割する処理と、
　前記分割領域ごとに閾値を超える部分を特徴点として検出する処理と、
　前記分割領域ごとに検出される前記特徴点の分布が均等になるように前記分割領域ごとに前記閾値を設定する処理と、
　複数の前記撮影画像で検出された前記特徴点を、複数の前記撮影画像の間で対応付ける処理と、
　複数の前記撮影画像の間で対応付けられた前記特徴点に基づいて、相対パラメータを計算する処理と、を含む
　画像処理方法。