JP4297464B2 - ステレオ測位装置及び方法 - Google Patents
ステレオ測位装置及び方法 Download PDFInfo
- Publication number
- JP4297464B2 JP4297464B2 JP35535299A JP35535299A JP4297464B2 JP 4297464 B2 JP4297464 B2 JP 4297464B2 JP 35535299 A JP35535299 A JP 35535299A JP 35535299 A JP35535299 A JP 35535299A JP 4297464 B2 JP4297464 B2 JP 4297464B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- positioning
- resolution
- region
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像情報に基づいて周囲の物体の距離や位置を測位するステレオ測位の技術の改良に関するもので、特に、従来よりも少ない演算量で必要な精度を実現するようにしたものである。
【０００２】
【従来の技術】
近年、デジタル技術の発展に伴い、画像情報によって周囲の状況を電子的に解析し、自動車における他車の接近警報や自動制御を始めとした各種の情報処理に応用する技術が提案されている。特に、画像情報に基づいて周囲の物体の距離や位置を測位する技術としては、ステレオ測位が知られている。このステレオ測位は、動物の両眼視差による立体視を応用した技術で、イメージセンサを左右２つ組み合わせて用いるものである。ここで、イメージセンサは、画像情報を得るための装置であり、典型的には、フォトダイオードの集合体であるＣＣＤ（Charge
Coupled Device ）が挙げられる。
【０００３】
すなわち、ステレオ測位では、例えば２台のビデオカメラ（単にカメラとも呼ぶ）を左右に位置をずらして並べ、それぞれの画像から同じ対象物が写っている部分を抽出し、同じ対象物の各画像間での位置のずれから、対象物の距離や位置を測位する。このようなステレオ測位の技術は、ステレオ測位装置などとして実現される。
【０００４】
ところで、ステレオ測位では、解像度など他の条件が同じ場合、測位対象が正面から左右にずれればずれるほど、画像の歪みや左右のビデオカメラからの距離の差などの影響により、測位精度が低下する。そして、従来のステレオ測位の技術では、図５の概念図に例示するように、横方向の画素サイズが全体で均一なイメージセンサを使い、画像全体を一様な解像度で撮像していた。
【０００５】
このため、正面から左右にずれた部分に関する測位精度は、正面からずれている横方向の距離に比例して悪化せざるを得なかった。ここで、図６は、従来技術における画像の左右方向の各部分における誤差の程度を例示するグラフである。したがって、従来技術では、精度が最も低下する画像の左右両端でも必要な要求精度が確保されるように（図６）、撮像素子の画素サイズが決定されていた。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記のような従来技術では、画像の左右両端での測位精度を確保するために、画像中央付近については、精度とそれに比例する画像処理演算量が過剰となり、結果として画像処理演算量全体とその負荷が大きく、それらの低減が困難という問題点があった。特に、演算量が多い場合は、長い演算時間か、高性能な処理装置か、のうち少なくともどちらかが必要となるため、測位のリアルタイム性の確保と、装置の小型化・低廉化の両立は困難であった。
【０００７】
本発明は、上記のような従来技術の問題点を解決するために提案されたもので、その目的は、従来よりも少ない演算量で必要な精度を実現するステレオ測位の技術、すなわちステレオ測位装置及び方法を提供することである。
【０００８】
【課題を解決するための手段】
上記の目的を達成するため、請求項１の発明は、撮像用のイメージセンサを左右２つ備え、各イメージセンサから得られる各画像に基づいて対象物の測位を行うためのステレオ測位装置において、前記各イメージセンサは、画像の歪みや左右のビデオカメラからの距離の差などの影響により、測位精度が最も低下する画像の左右両端でも必要な要求精度が確保されるように、撮像面の左右両端寄りにそれぞれ設けられた第１の領域と、前記各第１の領域の間に設けられ、第１の領域よりも解像度の粗い第２の領域と、を備えたことを特徴とする。請求項３の発明は、請求項１の発明を方法という見方からとらえたもので、撮像用のイメージセンサを左右２つ用い、各イメージセンサから得られる各画像に基づいて対象物の測位を行うためのステレオ測位方法において、前記各イメージセンサには、画像の歪みや左右のビデオカメラからの距離の差などの影響により、測位精度が最も低下する画像の左右両端でも必要な要求精度が確保されるように、撮像面の左右両端寄りにそれぞれ設けられた第１の領域と、前記各第１の領域の間に設けられ、第１の領域よりも解像度の粗い第２の領域と、を設けておき、前記各イメージセンサから得られる各部分の画像データに対して、画像データのデータ量に応じた演算量の画像処理を施すことによって対象物の測位を行うためのステップを含むことを特徴とする。請求項１，３の発明では、ステレオ測位に用いるＣＣＤといったイメージセンサの横方向について、左右両端部分では画素が細かく、画素数と解像度が相対的に大きい。一方、その内側では、画素が粗く、画素数と解像度が相対的に小さい。このため、左右両端部分では、測位誤差が要求精度すなわち許容範囲内に抑制され、一方、その内側では、過剰な測位精度や画像処理演算量が回避され、画像処理が迅速化される。この結果、従来よりも少ない演算量で必要な精度が実現され、特にリアルタイム測位が求められる場面でもより高速な処理が可能となる。
【０００９】
請求項２の発明は、請求項１記載のステレオ測位装置において、前記各イメージセンサから得られる各画像の部分同士を比較することにより、各画像から相互に対応する対応点を抽出するための対応点抽出手段と、前記対応点抽出手段が、前記第１の領域で撮像された第１の部分の画像データと、前記第２の領域で撮像された第２の部分の画像データとを比較しようとするとき、前記第１の部分の画像データを、前記第２の領域の解像度ヘ変換するための手段と、を備えたことを特徴とする。
請求項４の発明は、請求項２の発明を方法という見方からとらえたもので、請求項３記載のステレオ測位方法において、前記各イメージセンサから得られる各画像の部分同士を比較することにより、各画像から相互に対応する対応点を抽出するための対応点抽出ステップと、前記対応点抽出ステップにおいて、前記第１の領域で撮像された第１の部分の画像データと、前記第２の領域で撮像された第２の部分の画像データとを比較しようとするとき、前記第１の部分の画像データを、前記第２の領域の解像度ヘ変換するためのステップと、を含むことを特徴とする。
請求項２，４の発明では、同じ対象物の写っている対応点が、一方の画像では高解像度部で、他方の画像では低解像度部分であっても、解像度を変換して相互比較することで適切に対応点を抽出することができる。このため、領域間の解像度差の影響が軽減され、測位精度が向上する。
【００１０】
【発明の実施の形態】
次に、本発明の実施の形態（実施形態と呼ぶ）について、図面を参照して具体的に説明する。なお、本実施形態は、左右２つのイメージセンサから得られる各画像に基づいて対象物の測位を行うためのステレオ測位装置（本装置又は測位装置と呼ぶ）と、本装置上で実行されるステレオ測位方法に関するものである。
【００１１】
具体的には、左右の画像における左右横方向のずれを利用したステレオ測位において、イメージセンサの撮像面内で部分によって画素サイズを変化させ、解像度を変えて計算量を低減することにより、有効測位精度を低下させることなく従来よりも画像処理速度を向上させるものである。
【００１２】
〔１．構成〕
まず、図１は、本装置の構成を示す機能ブロック図である。すなわち、この図に示すように、本実施形態の測位装置１は、自動車の運転支援システムなどの情報処理システム２に測位結果を提供するものである。また、測位装置１は、左右２つの撮像部３Ｌ，３Ｒを備えている。これら左右の各撮像部３Ｌ，３Ｒは、それぞれ、ＣＣＤ或いはＣＭＯＳイメージセンサ等を備えたビデオカメラであり、このＣＣＤが撮像用のイメージセンサである。なお、左撮像部３Ｌは左カメラとも呼び、右撮像部３Ｒは右カメラとも呼び、両者を総称して撮像部３と呼ぶこととする。
【００１３】
また、図２は、左右各カメラのイメージセンサの左右横方向の画素分布を示す概念図であり、図３は、イメージセンサのより具体的な構成を示す概念図である。すなわち、これらの図に示すように、各イメージセンサは、撮像面の左右両端寄りにそれぞれ設けられた高解像度領域（前記第１の領域に相当する）Ｈと、各高解像度領域の間に設けられ、高解像度領域よりも解像度の粗い低解像度領域Ｌ（前記第２の領域に相当する）と、を備えている。
【００１４】
なお、画像のうち高解像度領域Ｈによって撮像された部分を高解像部分と呼び、高解像部分の画像データを高解像部分データと呼ぶ。同様に、画像のうち低解像度領域Ｌによって撮像された部分を低解像部分と呼び、低解像部分の画像データを低解像部分データと呼ぶ。
【００１５】
また、図１に示したように、測位装置１は、画像メモリ部４と、対応点抽出部５と、解像度変換部６と、測位部７と、を備えている。このうち画像メモリ部４は、各撮像部３Ｌ，３Ｒで撮像された左右の各画像の画像データを格納するためのメモリである。また、対応点抽出部５は、左右の各画像の部分同士を比較することにより、各画像から相互に対応する対応点、例えば同じ人物が写っている部分などを抽出するための対応点抽出手段である。
【００１６】
また、解像度変換部６は、対応点抽出部５が、高解像部分データと低解像部分データとを比較しようとするとき、高解像部分データを、低解像度領域の解像度ヘ変換するための手段である。
【００１７】
〔２．作用〕
上記のように構成された本実施形態では、各撮像部３Ｌ，３Ｒで撮像された左右の各画像の画像データは、画像メモリ部４に一旦格納され、対応点抽出部５によって読み出される。対応点抽出部５は、パターンマッチングアルゴリズムなどの技術により、左右の各画像データの各部分に対して、画像データのデータ量に応じた演算量の画像処理を施すことによって左右の各画像の部分同士を比較し、これにより、各画像から相互に対応する対応点、例えば同じ人物が写っている部分などを抽出する。
【００１８】
また、同じ対象物の写っている対応点が、左右どちらか一方の画像では高解像部分で、他方の画像では低解像度部分である可能性がある場合、対応点抽出部５は、高解像部分データと低解像部分データとを比較する必要がある。このような場合、そのことを解像度変換部６や対応点抽出部５が検知し、解像度変換部６は、高解像部分データを、低解像度領域Ｌの解像度ヘ変換し、対応点抽出部５へ提供する。
【００１９】
このようにして対応点検出部６で対応点を検出後、測位部７では、対応点が左右の画像でどの程度ずれているかなどの情報に基づいて、対象物の３次元位置座標を検出し、対象物について例えば、画像上の座標とともに測位した３次元位置座標を外部の情報処理システム２に提供する。
【００２０】
〔３．効果〕
以上説明したように、本実施形態では、イメージセンサの横方向について、左右両端部分の高解像度領域Ｈでは画素が細かく、画素数と解像度が相対的に大きい。一方、その内側の低解像度領域Ｌでは、高解像度領域Ｈより画素が粗く、画素数と解像度が相対的に小さい。このため、高解像度領域Ｈでは、測位誤差が要求精度すなわち許容範囲内に抑制され、一方、低解像度領域Ｌでは、過剰な測位精度や画像処理演算量が回避され、画像処理が迅速化される。
【００２１】
ここで、図４は、本実施形態において、画像範囲の左右方向における各部分ごとの誤差の例を概念的に示すグラフである。この例では、左右両端部分の高解像度領域Ｈでは、その内側の低解像度領域Ｌよりも画素サイズが小さくなっていることに比例し、測位誤差が低下している。すなわち、高解像度領域Ｈの解像度が図６の場合の従来例と同じ場合、高解像度領域Ｈでは図６と同様に、誤差は要求精度内に収まる。また、内側の低解像度領域Ｌでは画素数を低減している分、図６の従来例と比べ、正面から左右にずれるほど誤差は大きくなるが、そもそも低解像度領域Ｌは、画像範囲全体の中では正面寄りで誤差自体が小さいため、要求精度を超えることはない。
【００２２】
このように、本実施形態では、全体として誤差の最大値を許容誤差内に維持したまま、画素数が低減でき、これに比例して演算量を低減することが可能となる。つまり、従来よりも少ない演算量で必要な精度が実現され、特にリアルタイム測位が求められる場面でもより高速な処理が可能となる。
【００２３】
また、本実施形態では、同じ対象物の写っている対応点が、一方の画像では高解像度部で、他方の画像では低解像度部分であっても、解像度を変換して相互比較することで適切に対応点を抽出することができる。このため、領域間の解像度差の影響が軽減され、測位精度が向上する。
【００２４】
〔４．他の実施形態〕
なお、本発明は上記実施形態に限定されるものではなく、次に例示するような他の実施形態も包含するものである。例えば、高解像度の第１の領域と低解像度の第２の領域との関係について、両者の大きさや比率は自由である。また、両者間で解像度を異ならせるための具体的な構成は自由であり、例えば、画素サイズを変えるだけでなく、画素ごとの撮像素子のサイズは同じにしながら、その間隔を変えてもよい。
【００２５】
また、ステレオ測位の結果の用途は自由であり、車両の運転支援などの他、防犯装置など自由に選択することができる。また、撮像用のイメージセンサを左右に代え、上下２つ設ければ、上下方向に関するステレオ測位を行うこともできる。この場合、本出願における「左右」は「上下」と読み替えるものとする。
【００２６】
【発明の効果】
以上説明したように、本発明によれば、従来よりも少ない演算量で必要な精度を実現するステレオ測位の技術、すなわちステレオ測位装置及び方法を提供することができるので、測位のリアルタイム性の確保と、装置の小型化・低廉化の両立も容易になる。
【図面の簡単な説明】
【図１】本発明の実施形態におけるステレオ測位装置の構成を示す機能ブロック図。
【図２】本発明の実施形態における左右各カメラのイメージセンサについて、場所ごとの画素サイズの分布の例を示す概念図。
【図３】本発明の実施形態におけるイメージセンサの構成をより具体的に示す概念図。
【図４】本発明の実施形態における画像の左右方向の各部分における誤差の程度を例示するグラフ。
【図５】従来技術におけるイメージセンサについて、場所ごとの画素サイズの分布の例を示す概念図。
【図６】従来技術における画像の左右方向の各部分における誤差の程度を例示するグラフ。
【符号の説明】
１…測位装置
２…情報処理システム
３（３Ｌ，３Ｒ）…左右の各撮像部
４…画像メモリ部
５…対応点抽出部
６…解像度変換部
７…測位部
Ｈ…高解像度領域
Ｌ…低解像度領域
【発明の属する技術分野】
本発明は、画像情報に基づいて周囲の物体の距離や位置を測位するステレオ測位の技術の改良に関するもので、特に、従来よりも少ない演算量で必要な精度を実現するようにしたものである。
【０００２】
【従来の技術】
近年、デジタル技術の発展に伴い、画像情報によって周囲の状況を電子的に解析し、自動車における他車の接近警報や自動制御を始めとした各種の情報処理に応用する技術が提案されている。特に、画像情報に基づいて周囲の物体の距離や位置を測位する技術としては、ステレオ測位が知られている。このステレオ測位は、動物の両眼視差による立体視を応用した技術で、イメージセンサを左右２つ組み合わせて用いるものである。ここで、イメージセンサは、画像情報を得るための装置であり、典型的には、フォトダイオードの集合体であるＣＣＤ（Charge
Coupled Device ）が挙げられる。
【０００３】
すなわち、ステレオ測位では、例えば２台のビデオカメラ（単にカメラとも呼ぶ）を左右に位置をずらして並べ、それぞれの画像から同じ対象物が写っている部分を抽出し、同じ対象物の各画像間での位置のずれから、対象物の距離や位置を測位する。このようなステレオ測位の技術は、ステレオ測位装置などとして実現される。
【０００４】
ところで、ステレオ測位では、解像度など他の条件が同じ場合、測位対象が正面から左右にずれればずれるほど、画像の歪みや左右のビデオカメラからの距離の差などの影響により、測位精度が低下する。そして、従来のステレオ測位の技術では、図５の概念図に例示するように、横方向の画素サイズが全体で均一なイメージセンサを使い、画像全体を一様な解像度で撮像していた。
【０００５】
このため、正面から左右にずれた部分に関する測位精度は、正面からずれている横方向の距離に比例して悪化せざるを得なかった。ここで、図６は、従来技術における画像の左右方向の各部分における誤差の程度を例示するグラフである。したがって、従来技術では、精度が最も低下する画像の左右両端でも必要な要求精度が確保されるように（図６）、撮像素子の画素サイズが決定されていた。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記のような従来技術では、画像の左右両端での測位精度を確保するために、画像中央付近については、精度とそれに比例する画像処理演算量が過剰となり、結果として画像処理演算量全体とその負荷が大きく、それらの低減が困難という問題点があった。特に、演算量が多い場合は、長い演算時間か、高性能な処理装置か、のうち少なくともどちらかが必要となるため、測位のリアルタイム性の確保と、装置の小型化・低廉化の両立は困難であった。
【０００７】
本発明は、上記のような従来技術の問題点を解決するために提案されたもので、その目的は、従来よりも少ない演算量で必要な精度を実現するステレオ測位の技術、すなわちステレオ測位装置及び方法を提供することである。
【０００８】
【課題を解決するための手段】
上記の目的を達成するため、請求項１の発明は、撮像用のイメージセンサを左右２つ備え、各イメージセンサから得られる各画像に基づいて対象物の測位を行うためのステレオ測位装置において、前記各イメージセンサは、画像の歪みや左右のビデオカメラからの距離の差などの影響により、測位精度が最も低下する画像の左右両端でも必要な要求精度が確保されるように、撮像面の左右両端寄りにそれぞれ設けられた第１の領域と、前記各第１の領域の間に設けられ、第１の領域よりも解像度の粗い第２の領域と、を備えたことを特徴とする。請求項３の発明は、請求項１の発明を方法という見方からとらえたもので、撮像用のイメージセンサを左右２つ用い、各イメージセンサから得られる各画像に基づいて対象物の測位を行うためのステレオ測位方法において、前記各イメージセンサには、画像の歪みや左右のビデオカメラからの距離の差などの影響により、測位精度が最も低下する画像の左右両端でも必要な要求精度が確保されるように、撮像面の左右両端寄りにそれぞれ設けられた第１の領域と、前記各第１の領域の間に設けられ、第１の領域よりも解像度の粗い第２の領域と、を設けておき、前記各イメージセンサから得られる各部分の画像データに対して、画像データのデータ量に応じた演算量の画像処理を施すことによって対象物の測位を行うためのステップを含むことを特徴とする。請求項１，３の発明では、ステレオ測位に用いるＣＣＤといったイメージセンサの横方向について、左右両端部分では画素が細かく、画素数と解像度が相対的に大きい。一方、その内側では、画素が粗く、画素数と解像度が相対的に小さい。このため、左右両端部分では、測位誤差が要求精度すなわち許容範囲内に抑制され、一方、その内側では、過剰な測位精度や画像処理演算量が回避され、画像処理が迅速化される。この結果、従来よりも少ない演算量で必要な精度が実現され、特にリアルタイム測位が求められる場面でもより高速な処理が可能となる。
【０００９】
請求項２の発明は、請求項１記載のステレオ測位装置において、前記各イメージセンサから得られる各画像の部分同士を比較することにより、各画像から相互に対応する対応点を抽出するための対応点抽出手段と、前記対応点抽出手段が、前記第１の領域で撮像された第１の部分の画像データと、前記第２の領域で撮像された第２の部分の画像データとを比較しようとするとき、前記第１の部分の画像データを、前記第２の領域の解像度ヘ変換するための手段と、を備えたことを特徴とする。
請求項４の発明は、請求項２の発明を方法という見方からとらえたもので、請求項３記載のステレオ測位方法において、前記各イメージセンサから得られる各画像の部分同士を比較することにより、各画像から相互に対応する対応点を抽出するための対応点抽出ステップと、前記対応点抽出ステップにおいて、前記第１の領域で撮像された第１の部分の画像データと、前記第２の領域で撮像された第２の部分の画像データとを比較しようとするとき、前記第１の部分の画像データを、前記第２の領域の解像度ヘ変換するためのステップと、を含むことを特徴とする。
請求項２，４の発明では、同じ対象物の写っている対応点が、一方の画像では高解像度部で、他方の画像では低解像度部分であっても、解像度を変換して相互比較することで適切に対応点を抽出することができる。このため、領域間の解像度差の影響が軽減され、測位精度が向上する。
【００１０】
【発明の実施の形態】
次に、本発明の実施の形態（実施形態と呼ぶ）について、図面を参照して具体的に説明する。なお、本実施形態は、左右２つのイメージセンサから得られる各画像に基づいて対象物の測位を行うためのステレオ測位装置（本装置又は測位装置と呼ぶ）と、本装置上で実行されるステレオ測位方法に関するものである。
【００１１】
具体的には、左右の画像における左右横方向のずれを利用したステレオ測位において、イメージセンサの撮像面内で部分によって画素サイズを変化させ、解像度を変えて計算量を低減することにより、有効測位精度を低下させることなく従来よりも画像処理速度を向上させるものである。
【００１２】
〔１．構成〕
まず、図１は、本装置の構成を示す機能ブロック図である。すなわち、この図に示すように、本実施形態の測位装置１は、自動車の運転支援システムなどの情報処理システム２に測位結果を提供するものである。また、測位装置１は、左右２つの撮像部３Ｌ，３Ｒを備えている。これら左右の各撮像部３Ｌ，３Ｒは、それぞれ、ＣＣＤ或いはＣＭＯＳイメージセンサ等を備えたビデオカメラであり、このＣＣＤが撮像用のイメージセンサである。なお、左撮像部３Ｌは左カメラとも呼び、右撮像部３Ｒは右カメラとも呼び、両者を総称して撮像部３と呼ぶこととする。
【００１３】
また、図２は、左右各カメラのイメージセンサの左右横方向の画素分布を示す概念図であり、図３は、イメージセンサのより具体的な構成を示す概念図である。すなわち、これらの図に示すように、各イメージセンサは、撮像面の左右両端寄りにそれぞれ設けられた高解像度領域（前記第１の領域に相当する）Ｈと、各高解像度領域の間に設けられ、高解像度領域よりも解像度の粗い低解像度領域Ｌ（前記第２の領域に相当する）と、を備えている。
【００１４】
なお、画像のうち高解像度領域Ｈによって撮像された部分を高解像部分と呼び、高解像部分の画像データを高解像部分データと呼ぶ。同様に、画像のうち低解像度領域Ｌによって撮像された部分を低解像部分と呼び、低解像部分の画像データを低解像部分データと呼ぶ。
【００１５】
また、図１に示したように、測位装置１は、画像メモリ部４と、対応点抽出部５と、解像度変換部６と、測位部７と、を備えている。このうち画像メモリ部４は、各撮像部３Ｌ，３Ｒで撮像された左右の各画像の画像データを格納するためのメモリである。また、対応点抽出部５は、左右の各画像の部分同士を比較することにより、各画像から相互に対応する対応点、例えば同じ人物が写っている部分などを抽出するための対応点抽出手段である。
【００１６】
また、解像度変換部６は、対応点抽出部５が、高解像部分データと低解像部分データとを比較しようとするとき、高解像部分データを、低解像度領域の解像度ヘ変換するための手段である。
【００１７】
〔２．作用〕
上記のように構成された本実施形態では、各撮像部３Ｌ，３Ｒで撮像された左右の各画像の画像データは、画像メモリ部４に一旦格納され、対応点抽出部５によって読み出される。対応点抽出部５は、パターンマッチングアルゴリズムなどの技術により、左右の各画像データの各部分に対して、画像データのデータ量に応じた演算量の画像処理を施すことによって左右の各画像の部分同士を比較し、これにより、各画像から相互に対応する対応点、例えば同じ人物が写っている部分などを抽出する。
【００１８】
また、同じ対象物の写っている対応点が、左右どちらか一方の画像では高解像部分で、他方の画像では低解像度部分である可能性がある場合、対応点抽出部５は、高解像部分データと低解像部分データとを比較する必要がある。このような場合、そのことを解像度変換部６や対応点抽出部５が検知し、解像度変換部６は、高解像部分データを、低解像度領域Ｌの解像度ヘ変換し、対応点抽出部５へ提供する。
【００１９】
このようにして対応点検出部６で対応点を検出後、測位部７では、対応点が左右の画像でどの程度ずれているかなどの情報に基づいて、対象物の３次元位置座標を検出し、対象物について例えば、画像上の座標とともに測位した３次元位置座標を外部の情報処理システム２に提供する。
【００２０】
〔３．効果〕
以上説明したように、本実施形態では、イメージセンサの横方向について、左右両端部分の高解像度領域Ｈでは画素が細かく、画素数と解像度が相対的に大きい。一方、その内側の低解像度領域Ｌでは、高解像度領域Ｈより画素が粗く、画素数と解像度が相対的に小さい。このため、高解像度領域Ｈでは、測位誤差が要求精度すなわち許容範囲内に抑制され、一方、低解像度領域Ｌでは、過剰な測位精度や画像処理演算量が回避され、画像処理が迅速化される。
【００２１】
ここで、図４は、本実施形態において、画像範囲の左右方向における各部分ごとの誤差の例を概念的に示すグラフである。この例では、左右両端部分の高解像度領域Ｈでは、その内側の低解像度領域Ｌよりも画素サイズが小さくなっていることに比例し、測位誤差が低下している。すなわち、高解像度領域Ｈの解像度が図６の場合の従来例と同じ場合、高解像度領域Ｈでは図６と同様に、誤差は要求精度内に収まる。また、内側の低解像度領域Ｌでは画素数を低減している分、図６の従来例と比べ、正面から左右にずれるほど誤差は大きくなるが、そもそも低解像度領域Ｌは、画像範囲全体の中では正面寄りで誤差自体が小さいため、要求精度を超えることはない。
【００２２】
このように、本実施形態では、全体として誤差の最大値を許容誤差内に維持したまま、画素数が低減でき、これに比例して演算量を低減することが可能となる。つまり、従来よりも少ない演算量で必要な精度が実現され、特にリアルタイム測位が求められる場面でもより高速な処理が可能となる。
【００２３】
また、本実施形態では、同じ対象物の写っている対応点が、一方の画像では高解像度部で、他方の画像では低解像度部分であっても、解像度を変換して相互比較することで適切に対応点を抽出することができる。このため、領域間の解像度差の影響が軽減され、測位精度が向上する。
【００２４】
〔４．他の実施形態〕
なお、本発明は上記実施形態に限定されるものではなく、次に例示するような他の実施形態も包含するものである。例えば、高解像度の第１の領域と低解像度の第２の領域との関係について、両者の大きさや比率は自由である。また、両者間で解像度を異ならせるための具体的な構成は自由であり、例えば、画素サイズを変えるだけでなく、画素ごとの撮像素子のサイズは同じにしながら、その間隔を変えてもよい。
【００２５】
また、ステレオ測位の結果の用途は自由であり、車両の運転支援などの他、防犯装置など自由に選択することができる。また、撮像用のイメージセンサを左右に代え、上下２つ設ければ、上下方向に関するステレオ測位を行うこともできる。この場合、本出願における「左右」は「上下」と読み替えるものとする。
【００２６】
【発明の効果】
以上説明したように、本発明によれば、従来よりも少ない演算量で必要な精度を実現するステレオ測位の技術、すなわちステレオ測位装置及び方法を提供することができるので、測位のリアルタイム性の確保と、装置の小型化・低廉化の両立も容易になる。
【図面の簡単な説明】
【図１】本発明の実施形態におけるステレオ測位装置の構成を示す機能ブロック図。
【図２】本発明の実施形態における左右各カメラのイメージセンサについて、場所ごとの画素サイズの分布の例を示す概念図。
【図３】本発明の実施形態におけるイメージセンサの構成をより具体的に示す概念図。
【図４】本発明の実施形態における画像の左右方向の各部分における誤差の程度を例示するグラフ。
【図５】従来技術におけるイメージセンサについて、場所ごとの画素サイズの分布の例を示す概念図。
【図６】従来技術における画像の左右方向の各部分における誤差の程度を例示するグラフ。
【符号の説明】
１…測位装置
２…情報処理システム
３（３Ｌ，３Ｒ）…左右の各撮像部
４…画像メモリ部
５…対応点抽出部
６…解像度変換部
７…測位部
Ｈ…高解像度領域
Ｌ…低解像度領域
Claims (4)
- 撮像用のイメージセンサを左右２つ備え、各イメージセンサから得られる各画像に基づいて対象物の測位を行うためのステレオ測位装置において、
前記各イメージセンサは、画像の歪みや左右のビデオカメラからの距離の差などの影響により、測位精度が最も低下する画像の左右両端でも必要な要求精度が確保されるように、
撮像面の左右両端寄りにそれぞれ設けられた第１の領域と、
前記各第１の領域の間に設けられ、第１の領域よりも解像度の粗い第２の領域と、
を備えたことを特徴とするステレオ測位装置。 - 前記各イメージセンサから得られる各画像の部分同士を比較することにより、各画像から相互に対応する対応点を抽出するための対応点抽出手段と、
前記対応点抽出手段が、前記第１の領域で撮像された第１の部分の画像データと、前記第２の領域で撮像された第２の部分の画像データとを比較しようとするとき、前記第１の部分の画像データを、前記第２の領域の解像度ヘ変換するための手段と、
を備えたことを特徴とする請求項１記載のステレオ測位装置。 - 撮像用のイメージセンサを左右２つ用い、各イメージセンサから得られる各画像に基づいて対象物の測位を行うためのステレオ測位方法において、
前記各イメージセンサには、画像の歪みや左右のビデオカメラからの距離の差などの影響により、測位精度が最も低下する画像の左右両端でも必要な要求精度が確保されるように、
撮像面の左右両端寄りにそれぞれ設けられた第１の領域と、
前記各第１の領域の間に設けられ、第１の領域よりも解像度の粗い第２の領域と、
を設けておき、
前記各イメージセンサから得られる各部分の画像データに対して、画像データのデータ量に応じた演算量の画像処理を施すことによって対象物の測位を行うためのステップを含むことを特徴とするステレオ測位方法。 - 前記各イメージセンサから得られる各画像の部分同士を比較することにより、各画像から相互に対応する対応点を抽出するための対応点抽出ステップと、
前記対応点抽出ステップにおいて、前記第１の領域で撮像された第１の部分の画像データと、前記第２の領域で撮像された第２の部分の画像データとを比較しようとするとき、前記第１の部分の画像データを、前記第２の領域の解像度ヘ変換するためのステップと、を含むことを特徴とする請求項３記載のステレオ測位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35535299A JP4297464B2 (ja) | 1999-12-15 | 1999-12-15 | ステレオ測位装置及び方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP35535299A JP4297464B2 (ja) | 1999-12-15 | 1999-12-15 | ステレオ測位装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001174214A JP2001174214A (ja) | 2001-06-29 |
| JP4297464B2 true JP4297464B2 (ja) | 2009-07-15 |
Family
ID=18443442
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP35535299A Expired - Fee Related JP4297464B2 (ja) | 1999-12-15 | 1999-12-15 | ステレオ測位装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4297464B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120058828A (ko) * | 2010-11-30 | 2012-06-08 | 삼성전자주식회사 | 3차원 좌표 추출 시스템 및 그 방법 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5760559B2 (ja) * | 2011-03-18 | 2015-08-12 | 株式会社リコー | ステレオカメラ装置、視差画像生成方法 |
| JP6291280B2 (ja) * | 2014-02-19 | 2018-03-14 | 株式会社豊田中央研究所 | 物体検出装置及び距離測定装置 |
| KR101594071B1 (ko) * | 2015-01-26 | 2016-02-16 | 동국대학교 산학협력단 | 전시 장치 및 전시 시스템과 이를 이용한 전시 정보 제공 방법 |
-
1999
- 1999-12-15 JP JP35535299A patent/JP4297464B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120058828A (ko) * | 2010-11-30 | 2012-06-08 | 삼성전자주식회사 | 3차원 좌표 추출 시스템 및 그 방법 |
| KR101706093B1 (ko) | 2010-11-30 | 2017-02-14 | 삼성전자주식회사 | 3차원 좌표 추출 시스템 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001174214A (ja) | 2001-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100550299B1 (ko) | 차량 주변 이미지 처리 장치 및 기록 매체 | |
| EP2546602B1 (en) | Stereo camera apparatus | |
| US7899211B2 (en) | Object detecting system and object detecting method | |
| CN104883553B (zh) | 视差值导出设备及方法、装备控制系统、可移动装置 | |
| JP2013001366A (ja) | 駐車支援装置および駐車支援方法 | |
| WO2016208198A1 (ja) | 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法 | |
| WO2016063545A1 (ja) | ステレオカメラ装置及びステレオカメラ装置を備える車両 | |
| EP1920261A1 (en) | Method and apparatus for determining motion of a vehicle | |
| JP2008309637A (ja) | 障害物計測方法、障害物計測装置及び障害物計測システム | |
| JP4297464B2 (ja) | ステレオ測位装置及び方法 | |
| US10796172B2 (en) | Image processing device and image processing method | |
| US20200193187A1 (en) | Image processing device and image processing method | |
| JP2006072757A (ja) | 物体検出装置 | |
| KR101293263B1 (ko) | 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법 | |
| JP3447461B2 (ja) | 移動障害物検出装置及びその方法 | |
| JP3099692B2 (ja) | 走行路における対象物の位置計測方法 | |
| JP2013148355A (ja) | 車両位置算出装置 | |
| JP3452076B2 (ja) | 車輌用距離検出装置 | |
| JP2011180962A (ja) | 運転支援装置、運転支援方法およびプログラム | |
| EP2919191B1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, and disparity value producing method | |
| JP5634229B2 (ja) | 車両検知システム | |
| JP2019129403A (ja) | カメラずれ検出装置およびカメラずれ検出方法 | |
| JP6669062B2 (ja) | 画像処理装置 | |
| KR101318652B1 (ko) | 차량의 움직임 감지방법 | |
| JP4282158B2 (ja) | 車両端点検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080930 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090407 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090413 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140424 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |