JP2998791B2 - 三次元構造推定装置 - Google Patents
三次元構造推定装置Info
- Publication number
- JP2998791B2 JP2998791B2 JP8290377A JP29037796A JP2998791B2 JP 2998791 B2 JP2998791 B2 JP 2998791B2 JP 8290377 A JP8290377 A JP 8290377A JP 29037796 A JP29037796 A JP 29037796A JP 2998791 B2 JP2998791 B2 JP 2998791B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- depth
- cameras
- field
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Processing Or Creating Images (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、コンピュータビジ
ョンの分野における画像上の物体までの奥行き距離を推
定する応用分野で、物体の監視、自動運転手段、ロボッ
トオートメーションなどのような分野を含む、画像上の
物体の奥行き距離を計測し奥行き画像として出力する三
次元構造推定装置に関し、特に、広い視野と精度良い奥
行き推定と共に、視野の一部について高い解像度の画像
を提供することができる三次元構造推定装置に関する。
ョンの分野における画像上の物体までの奥行き距離を推
定する応用分野で、物体の監視、自動運転手段、ロボッ
トオートメーションなどのような分野を含む、画像上の
物体の奥行き距離を計測し奥行き画像として出力する三
次元構造推定装置に関し、特に、広い視野と精度良い奥
行き推定と共に、視野の一部について高い解像度の画像
を提供することができる三次元構造推定装置に関する。
【０００２】
【従来の技術】コンピュータビジョンの分野では、二次
元画像から三次元情報を得る方法として、ステレオ法が
よく利用される。それは、対となった二次元画像から立
体情報を得るための有用な手法であり、例えば、Ｍ．Ｏ
ｋｕｔｏｍｉ及びＴ．Ｋａｎａｄｅにより発表された
「Ａ ｍｕｌｔｉｐｌｅ−ｂａｓｅｌｉｎｅ ｓｔｅｒ
ｅｏ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐ
ａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉ
ｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，１５（４）：３５３
−３６３，Ａｐｒｉｌ １９９３．」（参照文献１）に
記載されているものがある。この参照文献１による手法
は、他のステレオ法と比較して比較的短い計算時間で処
理可能なように考えられている。
元画像から三次元情報を得る方法として、ステレオ法が
よく利用される。それは、対となった二次元画像から立
体情報を得るための有用な手法であり、例えば、Ｍ．Ｏ
ｋｕｔｏｍｉ及びＴ．Ｋａｎａｄｅにより発表された
「Ａ ｍｕｌｔｉｐｌｅ−ｂａｓｅｌｉｎｅ ｓｔｅｒ
ｅｏ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐ
ａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉ
ｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，１５（４）：３５３
−３６３，Ａｐｒｉｌ １９９３．」（参照文献１）に
記載されているものがある。この参照文献１による手法
は、他のステレオ法と比較して比較的短い計算時間で処
理可能なように考えられている。
【０００３】従来のステレオ法による三次元構造推定装
置における代表的な構成を図６に示す。
置における代表的な構成を図６に示す。
【０００４】図６において、二つの同一の視野を有する
カメラ６００，６０１は一本のベースライン６０２上に
距離を隔てて置かれている。カメラ６００，６０１それ
ぞれの光軸６０３，６０４は、太線で図示されるように
一点で交差しているものとする。
カメラ６００，６０１は一本のベースライン６０２上に
距離を隔てて置かれている。カメラ６００，６０１それ
ぞれの光軸６０３，６０４は、太線で図示されるように
一点で交差しているものとする。
【０００５】また、カメラ６００から見える視野範囲６
０５を破線で示す。この破線の開口角をカメラ６００の
視野と定義する。同様にカメラ６０１の視野範囲６０６
の開口角がカメラ６０１の視野である。ステレオ位置の
カメラ６００，６０１それぞれの視野範囲６０５，６０
６に囲まれる領域において、対をなすカメラ６００，６
０１の位置から物体表面上の点がどの方向に観測される
かという、三角測量の原理に基づいている。
０５を破線で示す。この破線の開口角をカメラ６００の
視野と定義する。同様にカメラ６０１の視野範囲６０６
の開口角がカメラ６０１の視野である。ステレオ位置の
カメラ６００，６０１それぞれの視野範囲６０５，６０
６に囲まれる領域において、対をなすカメラ６００，６
０１の位置から物体表面上の点がどの方向に観測される
かという、三角測量の原理に基づいている。
【０００６】ステレオ法は、現在も継続的に研究され続
けており、例えば、Ａ．ＬｕｏおよびＨ．Ｂｕｒｋａｒ
ｄｔによる「Ａｎ ｉｎｔｅｎｓｉｔｙ−ｂａｓｅｄ
ｃｏｏｐｅｒａｔｉｖｅ ｂｉｄｉｒｅｃｔｉｏｎａｌ
ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ ｗｉｔｈ ｓｉｍ
ｕｌｔａｎｅｏｕｓ ｄｅｔｅｃｔｉｏｎ ｏｆ ｄｉ
ｓｃｏｎｔｉｎｕｉｔｉｅｓ ａｎｄ ｏｃｃｌｕｓｉ
ｏｎｓ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ
ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１５：１７
１−１８８，１９９５．」（参照文献２）などがある。
けており、例えば、Ａ．ＬｕｏおよびＨ．Ｂｕｒｋａｒ
ｄｔによる「Ａｎ ｉｎｔｅｎｓｉｔｙ−ｂａｓｅｄ
ｃｏｏｐｅｒａｔｉｖｅ ｂｉｄｉｒｅｃｔｉｏｎａｌ
ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ ｗｉｔｈ ｓｉｍ
ｕｌｔａｎｅｏｕｓ ｄｅｔｅｃｔｉｏｎ ｏｆ ｄｉ
ｓｃｏｎｔｉｎｕｉｔｉｅｓ ａｎｄ ｏｃｃｌｕｓｉ
ｏｎｓ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ
ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１５：１７
１−１８８，１９９５．」（参照文献２）などがある。
【０００７】基本となるステレオ法では、異なるカメラ
画像上において三次元空間上の同一点である地点がそれ
ぞれどの座標位置に対応しているかを、画像の特徴およ
びパターン分布の適当な一致度に基づいて探索する。こ
こで、三次元空間上の同一点に対応する画像上の地点が
どの程度ずれているかを計測し、カメラそれぞれの位置
と向いている方向とを合わせて奥行き距離を計算する。
また、この画像上での位置のずれ量をディスパリティと
定義する。
画像上において三次元空間上の同一点である地点がそれ
ぞれどの座標位置に対応しているかを、画像の特徴およ
びパターン分布の適当な一致度に基づいて探索する。こ
こで、三次元空間上の同一点に対応する画像上の地点が
どの程度ずれているかを計測し、カメラそれぞれの位置
と向いている方向とを合わせて奥行き距離を計算する。
また、この画像上での位置のずれ量をディスパリティと
定義する。
【０００８】従来の各種ステレオ法の特徴としては、三
次元空間上の同一点に対応する地点を探索する際に用い
られる量（輝度、エッジ、テクスチャなど）のバリエー
ション、相互のカメラでは物体により隠されて見ること
ができない領域の取扱い、またはよく似たパターンが周
期的に現れる画像の取扱いなどが挙げられる。
次元空間上の同一点に対応する地点を探索する際に用い
られる量（輝度、エッジ、テクスチャなど）のバリエー
ション、相互のカメラでは物体により隠されて見ること
ができない領域の取扱い、またはよく似たパターンが周
期的に現れる画像の取扱いなどが挙げられる。
【０００９】隠されて見ることができない領域の取扱い
については、例えば、Ｄ．Ｇｅｉｂｅｒ、Ｂ．Ｌａｎｄ
ｅｎｄｏｒｆおよびＡ．Ｙｕｉｌｌｅにより発表された
「Ｏｃｃｌｕｓｉｏｎｓ ａｎｄ ｂｉｎｏｃｕｌａｒ
ｓｔｅｒｅｏ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕ
ｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１
４：２１１−２２６，１９９５．」（参照文献３）に記
載がある。
については、例えば、Ｄ．Ｇｅｉｂｅｒ、Ｂ．Ｌａｎｄ
ｅｎｄｏｒｆおよびＡ．Ｙｕｉｌｌｅにより発表された
「Ｏｃｃｌｕｓｉｏｎｓ ａｎｄ ｂｉｎｏｃｕｌａｒ
ｓｔｅｒｅｏ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕ
ｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，１
４：２１１−２２６，１９９５．」（参照文献３）に記
載がある。
【００１０】また、ステレオ法に用いられるハードウェ
ア構成には、余りバリエーションはない。
ア構成には、余りバリエーションはない。
【００１１】まず、１番目としては、使用するカメラの
数を標準の二台から三台以上へと増やす構成がある。こ
の技術は、例えば、Ｓ．Ｂ．Ｋａｎｇ、Ｊ．Ｗｅｂｂ、
Ｃ．Ｚｉｔｎｉｃｋ、およびＴ．Ｋａｎａｄｅによる
「Ａｎ ａｃｔｉｖｅ ｍｕｌｔｉｂａｓｅｌｉｎｅ
ｓｔｅｒｅｏ ｓｙｓｔｅｍ ｗｉｔｈ ｒｅａｌ−ｔ
ｉｍｅ ｉｍａｇｅ ａｑｕｉｓｉｔｉｏｎ、Ｉｎ Ｉ
ｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｗｏｒｋｓｈ
ｏｐ，ｐａｇｅｓ １３２５−１３３５，１９９４．」
（参照文献４）で発表されている。
数を標準の二台から三台以上へと増やす構成がある。こ
の技術は、例えば、Ｓ．Ｂ．Ｋａｎｇ、Ｊ．Ｗｅｂｂ、
Ｃ．Ｚｉｔｎｉｃｋ、およびＴ．Ｋａｎａｄｅによる
「Ａｎ ａｃｔｉｖｅ ｍｕｌｔｉｂａｓｅｌｉｎｅ
ｓｔｅｒｅｏ ｓｙｓｔｅｍ ｗｉｔｈ ｒｅａｌ−ｔ
ｉｍｅ ｉｍａｇｅ ａｑｕｉｓｉｔｉｏｎ、Ｉｎ Ｉ
ｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ ｗｏｒｋｓｈ
ｏｐ，ｐａｇｅｓ １３２５−１３３５，１９９４．」
（参照文献４）で発表されている。
【００１２】なお、この構成で異なるアルゴリズムを提
唱している技術としては、例えば、Ｉ．Ｊ．Ｃｏｘによ
る「Ａ ｍａｘｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｎ−ｃ
ａｍｅｒａ ｓｔｅｒｅｏ ａｌｇｏｒｉｔｈｍ、Ｉｎ
Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐ
ａｇｅｓ４３７−４４３，１９９４．」（参照文献５）
が発表されている。
唱している技術としては、例えば、Ｉ．Ｊ．Ｃｏｘによ
る「Ａ ｍａｘｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｎ−ｃ
ａｍｅｒａ ｓｔｅｒｅｏ ａｌｇｏｒｉｔｈｍ、Ｉｎ
Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ
ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，ｐ
ａｇｅｓ４３７−４４３，１９９４．」（参照文献５）
が発表されている。
【００１３】２番目としては、複数の反射鏡を使用して
時間的または空間的に異なる複数の画像を多重化するこ
とによって単一のカメラだけでステレオ法が適用可能に
なっている構成が挙げられる。この技術としては、Ｗ．
ＴｅｏｈおよびＸ．Ｄ．Ｚｈａｎｇによる「Ａｎ ｉｎ
ｅｘｐｅｎｓｉｖｅ ｓｔｅｒｅｏｓｃｏｐｉｃ ｖｉ
ｓｉｏｎ ｓｙｓｔｅｍ ｆｏｒ ｒｏｂｏｔｓ、Ｉｎ
Ｐｒｏｃ．Ｉｎｔ．Ｃｏｎｆ．Ｒｏｂｏｔｉｃｓ，ｐ
ａｇｅｓ １８６−１８９，１９８４．」（参照文献
６）がある。
時間的または空間的に異なる複数の画像を多重化するこ
とによって単一のカメラだけでステレオ法が適用可能に
なっている構成が挙げられる。この技術としては、Ｗ．
ＴｅｏｈおよびＸ．Ｄ．Ｚｈａｎｇによる「Ａｎ ｉｎ
ｅｘｐｅｎｓｉｖｅ ｓｔｅｒｅｏｓｃｏｐｉｃ ｖｉ
ｓｉｏｎ ｓｙｓｔｅｍ ｆｏｒ ｒｏｂｏｔｓ、Ｉｎ
Ｐｒｏｃ．Ｉｎｔ．Ｃｏｎｆ．Ｒｏｂｏｔｉｃｓ，ｐ
ａｇｅｓ １８６−１８９，１９８４．」（参照文献
６）がある。
【００１４】また、反射鏡によって二つの位置からの画
像を多重化して一つのカメラに入射させる手法として
は、例えば、Ａ．ＧｏｓｈｔａｓｂｙおよびＷ．Ａ．Ｇ
ｒｕｖｅｒによる「Ｄｅｓｉｇｎ ｏｆ ａ ｓｉｎｇ
ｌｅ−ｌｅｎｓ ｓｔｅｒｅｏｃａｍｅｒａ ｓｙｓｔ
ｅｍ、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２６
（６）：９２３−９３７，１９９３．」（参照文献７）
に記載がある。
像を多重化して一つのカメラに入射させる手法として
は、例えば、Ａ．ＧｏｓｈｔａｓｂｙおよびＷ．Ａ．Ｇ
ｒｕｖｅｒによる「Ｄｅｓｉｇｎ ｏｆ ａ ｓｉｎｇ
ｌｅ−ｌｅｎｓ ｓｔｅｒｅｏｃａｍｅｒａ ｓｙｓｔ
ｅｍ、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，２６
（６）：９２３−９３７，１９９３．」（参照文献７）
に記載がある。
【００１５】３番目としては、広い視野を持つ三次元構
造推定装置を構成するために、魚眼レンズを装着したカ
メラを利用する構成がある。この技術は、例えば、Ｓ．
ＳｈｓｈおよびＪ．Ｋ．Ａｇｇａｒｗａｌによる「Ｄｅ
ｐｔｈ ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ ｓｔｅｒ
ｅｏ ｆｉｓｈ−ｅｙｅ ｌｅｎｓｅｓ、Ｉｎ Ｐｒｏ
ｃ．ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃ
ｏｎｆｅｒｅｎｃｅ，ｐａｇｅｓ ３４２２−３４２
７，Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏ
ｎ，１９９４．」（参照文献８）に記載されている。
造推定装置を構成するために、魚眼レンズを装着したカ
メラを利用する構成がある。この技術は、例えば、Ｓ．
ＳｈｓｈおよびＪ．Ｋ．Ａｇｇａｒｗａｌによる「Ｄｅ
ｐｔｈ ｅｓｔｉｍａｔｉｏｎ ｕｓｉｎｇ ｓｔｅｒ
ｅｏ ｆｉｓｈ−ｅｙｅ ｌｅｎｓｅｓ、Ｉｎ Ｐｒｏ
ｃ．ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃ
ｏｎｆｅｒｅｎｃｅ，ｐａｇｅｓ ３４２２−３４２
７，Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏ
ｎ，１９９４．」（参照文献８）に記載されている。
【００１６】
【発明が解決しようとする課題】ステレオ法において
は、物体表面上の各点が、複数の画像上において、類似
していることが必要である。このため、従来の方式で
は、同一レンズを装着した同じ形式の二つ以上のカメラ
を比較的近くに配置することにより、出力画像が大きく
異なることがないように工夫している。
は、物体表面上の各点が、複数の画像上において、類似
していることが必要である。このため、従来の方式で
は、同一レンズを装着した同じ形式の二つ以上のカメラ
を比較的近くに配置することにより、出力画像が大きく
異なることがないように工夫している。
【００１７】したがって、結果として得られる映像は同
一の解像度を持っている。また、カメラの視線方向や位
置があまり変わらないため、単一のカメラで撮影された
画像を処理する観点からみると、画像の相違は比較的小
さく、画像に含まれる情報は非常に冗長となっている。
このことから追加されるカメラは、ステレオ法によって
用いられる情報のみを提供することになるので、無駄が
大きいとと考えることができる。
一の解像度を持っている。また、カメラの視線方向や位
置があまり変わらないため、単一のカメラで撮影された
画像を処理する観点からみると、画像の相違は比較的小
さく、画像に含まれる情報は非常に冗長となっている。
このことから追加されるカメラは、ステレオ法によって
用いられる情報のみを提供することになるので、無駄が
大きいとと考えることができる。
【００１８】上述した従来の三次元構造推定装置のう
ち、図６中において、ステレオ対をなすステレオのカメ
ラ６００，６０１がそれぞれ狭い視野しか持たない場合
では、幅広い奥行き距離範囲内に置かれた対象物の測定
が困難である。その理由は、カメラ６００，６０１それ
ぞれの視野範囲６０５，６０６が重なり合う比較的小さ
な空間（図６では太い破線で囲まれた空間）となる共通
視野領域６０７でのみ両方のカメラにより対象物が撮影
可能であるためである。
ち、図６中において、ステレオ対をなすステレオのカメ
ラ６００，６０１がそれぞれ狭い視野しか持たない場合
では、幅広い奥行き距離範囲内に置かれた対象物の測定
が困難である。その理由は、カメラ６００，６０１それ
ぞれの視野範囲６０５，６０６が重なり合う比較的小さ
な空間（図６では太い破線で囲まれた空間）となる共通
視野領域６０７でのみ両方のカメラにより対象物が撮影
可能であるためである。
【００１９】この問題点については、Ｄ．Ｈ．Ｂａｌｌ
ａｒｄおよびＣ．Ｍ．Ｂｒｏｗｎによる 「Ｐｒｉｎｃ
ｉｐｌｅｓ ｏｆ ａｎｉｍａｔｅ ｖｉｓｉｏｎ、Ｃ
ＶＧＩＰ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ，
５６（１）：３−２１，Ｊｕｌｙ １９９２．」（参照
文献９）で述べられている。
ａｒｄおよびＣ．Ｍ．Ｂｒｏｗｎによる 「Ｐｒｉｎｃ
ｉｐｌｅｓ ｏｆ ａｎｉｍａｔｅ ｖｉｓｉｏｎ、Ｃ
ＶＧＩＰ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ，
５６（１）：３−２１，Ｊｕｌｙ １９９２．」（参照
文献９）で述べられている。
【００２０】また、カメラ６００，６０１それぞれの視
野範囲６０５，６０６が重なり合う共通視野領域６０７
は、図６に示されるように、ベースライン６０２から最
も近い交差部分までの奥行き最短距離６０８と、最も遠
い交差部分までの奥行き最長距離６１０との間までの大
きな距離範囲をカバーしているように見える。しかし計
測する対象物は、通常ある大きさを持っているので、一
度の画像撮影でできるだけ広い範囲の三次元構造を推定
するためには、最大幅距離６０９付近に物体が存在する
場合が最も効率的である。
野範囲６０５，６０６が重なり合う共通視野領域６０７
は、図６に示されるように、ベースライン６０２から最
も近い交差部分までの奥行き最短距離６０８と、最も遠
い交差部分までの奥行き最長距離６１０との間までの大
きな距離範囲をカバーしているように見える。しかし計
測する対象物は、通常ある大きさを持っているので、一
度の画像撮影でできるだけ広い範囲の三次元構造を推定
するためには、最大幅距離６０９付近に物体が存在する
場合が最も効率的である。
【００２１】この問題を解決する方法として、カメラ間
の相対角度を増減することによって最大幅距離６０９を
調整することが可能なステレオシステムが考えられる。
その相対角度の変化は、例えば、各カメラ基部に対の電
気制御によるモータを用いて機械的に制御することによ
って実現できる。しかし、これでは、機械的に複雑にな
ると共にカメラの位置に誤差が生じてしまうという問題
点がある。
の相対角度を増減することによって最大幅距離６０９を
調整することが可能なステレオシステムが考えられる。
その相対角度の変化は、例えば、各カメラ基部に対の電
気制御によるモータを用いて機械的に制御することによ
って実現できる。しかし、これでは、機械的に複雑にな
ると共にカメラの位置に誤差が生じてしまうという問題
点がある。
【００２２】物体の三次元的位置を計算する際にカメラ
位置情報を利用するために、カメラ位置に誤差が含まれ
ると計測精度が悪化してしまう。
位置情報を利用するために、カメラ位置に誤差が含まれ
ると計測精度が悪化してしまう。
【００２３】一方、対をなすステレオのカメラ６００，
６０１がそれぞれ広い視野を持っている場合では広い測
定範囲を有することになるが、画像上の単位画素あたり
に対応する物体表面上の面積が広くなってしまうために
解像度が落ち、奥行き距離の計測時の精度が犠牲にな
る。
６０１がそれぞれ広い視野を持っている場合では広い測
定範囲を有することになるが、画像上の単位画素あたり
に対応する物体表面上の面積が広くなってしまうために
解像度が落ち、奥行き距離の計測時の精度が犠牲にな
る。
【００２４】以上のように、視野の広さと高い解像度ま
たは計測精度との間はトレードオフの関係にあり、従来
法では両立は困難であった。
たは計測精度との間はトレードオフの関係にあり、従来
法では両立は困難であった。
【００２５】本発明の課題は、上記問題点を解決して、
広い視野と、精度の高い奥行き推定および高い解像度の
画像取得とを両立できる三次元構造推定装置を提供する
ことである。
広い視野と、精度の高い奥行き推定および高い解像度の
画像取得とを両立できる三次元構造推定装置を提供する
ことである。
【００２６】
【課題を解決するための手段】本発明による三次元構造
推定装置の第１の手段では、画像上の物体までの奥行き
距離を計測し奥行き画像として出力する三次元構造推定
装置において、それぞれ異なる解像度を有する画像を生
成する複数のカメラと、これら複数のカメラから出力す
る画像から画像の画素単位の大きさを一致させる変換手
段と、解像度を一致させた画像を比較して画像上の物体
の奥行き距離を演算し奥行き画像を作成して出力する奥
行き画像作成部とを備えている。
推定装置の第１の手段では、画像上の物体までの奥行き
距離を計測し奥行き画像として出力する三次元構造推定
装置において、それぞれ異なる解像度を有する画像を生
成する複数のカメラと、これら複数のカメラから出力す
る画像から画像の画素単位の大きさを一致させる変換手
段と、解像度を一致させた画像を比較して画像上の物体
の奥行き距離を演算し奥行き画像を作成して出力する奥
行き画像作成部とを備えている。
【００２７】
【００２８】また、第２の手段では、上記第１の手段に
よる解像度が異なる複数のカメラに加えて視野が異なる
複数のカメラを備えるものである。
よる解像度が異なる複数のカメラに加えて視野が異なる
複数のカメラを備えるものである。
【００２９】上記第１または第２の手段では、視野の異
なる複数のカメラにより共通視野領域が広がり、また、
解像度の異なる複数のカメラにより例えば中央領域で密
度の高い情報が得られる一方、周辺については密度は低
いが広い範囲の情報が得られる。
なる複数のカメラにより共通視野領域が広がり、また、
解像度の異なる複数のカメラにより例えば中央領域で密
度の高い情報が得られる一方、周辺については密度は低
いが広い範囲の情報が得られる。
【００３０】また、本発明による三次元構造推定装置の
第３の手段では、画像上の物体までの奥行き距離を計測
し奥行き画像として出力する三次元構造推定装置におい
て、それぞれ異なった視野を有する画像を生成する複数
のカメラと、これら複数のカメラで生成された画像を異
なる平行移動量により繰返し平行に移動しながら画像の
画素単位の大きさを一致させる変換手段と、画素単位の
大きさを一致させた画像を比較して画像上の物体の奥行
き距離を演算し奥行き画像を作成して出力する奥行き画
像作成手段とを備えている。
第３の手段では、画像上の物体までの奥行き距離を計測
し奥行き画像として出力する三次元構造推定装置におい
て、それぞれ異なった視野を有する画像を生成する複数
のカメラと、これら複数のカメラで生成された画像を異
なる平行移動量により繰返し平行に移動しながら画像の
画素単位の大きさを一致させる変換手段と、画素単位の
大きさを一致させた画像を比較して画像上の物体の奥行
き距離を演算し奥行き画像を作成して出力する奥行き画
像作成手段とを備えている。
【００３１】また、三次元構造推定装置の第４の手段で
は、上記第３の手段の視野が異なるカメラの代わりに、
解像度が異なる複数のカメラを利用するものである。
は、上記第３の手段の視野が異なるカメラの代わりに、
解像度が異なる複数のカメラを利用するものである。
【００３２】また、第５の手段では、上記第３の手段に
よる視野が異なる複数のカメラと第４の手段による解像
度が異なる複数のカメラと双方を備えるものである。
よる視野が異なる複数のカメラと第４の手段による解像
度が異なる複数のカメラと双方を備えるものである。
【００３３】上記第３から第５までの手段では、画素単
位の大きさの対応を詳細に調べることにより、上記第１
または第２の手段で発揮する以上に精度の高い奥行き距
離が得られる。
位の大きさの対応を詳細に調べることにより、上記第１
または第２の手段で発揮する以上に精度の高い奥行き距
離が得られる。
【００３４】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００３５】本発明による三次元構造推定装置では、異
なる視野および異なる解像度の少なくとも一方により画
像を生成する複数のカメラが用いられている。
なる視野および異なる解像度の少なくとも一方により画
像を生成する複数のカメラが用いられている。
【００３６】図１は本発明の実施の一形態を示すブロッ
ク図である。
ク図である。
【００３７】図１に示されるように、三次元構造推定装
置では、広い視野の広視野円錐１をもつカメラ３と狭い
視野の狭視野円錐２をもつカメラ４とが備えられてお
り、かつ、それぞれの視野が視野内に対象物１０を捕え
ることができるよう設定されているものとする。二つの
カメラ３，４それぞれの視野が異なるため、カメラ３，
４それぞれから出力された広視野画像５および狭視野画
像６それぞれの大きさは異なっている。
置では、広い視野の広視野円錐１をもつカメラ３と狭い
視野の狭視野円錐２をもつカメラ４とが備えられてお
り、かつ、それぞれの視野が視野内に対象物１０を捕え
ることができるよう設定されているものとする。二つの
カメラ３，４それぞれの視野が異なるため、カメラ３，
４それぞれから出力された広視野画像５および狭視野画
像６それぞれの大きさは異なっている。
【００３８】したがって、カメラ３とカメラ４との解像
度が同じであると仮定すると、広い視野のカメラ３によ
り生成される広視野画像５では、狭い視野のカメラ４に
より生成される狭視野画像６と比較して対象物が小さ
く、広視野画像５は狭視野画像６より低解像度の画像と
なる。
度が同じであると仮定すると、広い視野のカメラ３によ
り生成される広視野画像５では、狭い視野のカメラ４に
より生成される狭視野画像６と比較して対象物が小さ
く、広視野画像５は狭視野画像６より低解像度の画像と
なる。
【００３９】これら広視野画像５および狭視野画像６を
入力して奥行き画像を出力する画像マッピング装置に
は、対応する画素単位の大きさを一致させる変換手段と
して奥行き画像作成部に入力する画素単位一致画像を生
成する間引標本部（図１参照）または映像補間部（図４
参照）が備えられている。
入力して奥行き画像を出力する画像マッピング装置に
は、対応する画素単位の大きさを一致させる変換手段と
して奥行き画像作成部に入力する画素単位一致画像を生
成する間引標本部（図１参照）または映像補間部（図４
参照）が備えられている。
【００４０】従来のステレオ法は画素単位の異なる画像
には向いていないので、高解像度の狭視野画像６と低解
像度の広視野画像５とは解像度を一致させるように変換
手段である間引標本部または映像補間部で縮小または拡
大された画素単位一致画像として奥行き画像作成部へ入
力される。奥行き画像作成部は、この縮小または拡大さ
れた画素単位一致画像と広視野画像５または狭視野画像
６とを標準ステレオ法を用いて処理し、各画素毎の奥行
き距離を画像に形成した奥行き画像を生成し出力する。
には向いていないので、高解像度の狭視野画像６と低解
像度の広視野画像５とは解像度を一致させるように変換
手段である間引標本部または映像補間部で縮小または拡
大された画素単位一致画像として奥行き画像作成部へ入
力される。奥行き画像作成部は、この縮小または拡大さ
れた画素単位一致画像と広視野画像５または狭視野画像
６とを標準ステレオ法を用いて処理し、各画素毎の奥行
き距離を画像に形成した奥行き画像を生成し出力する。
【００４１】標準のステレオ画像入力システムは、非常
に冗長度のある画像対を、同一の視野および解像度をも
つ複数のカメラを用いて取得する。しかし、本発明で
は、相違する解像度を有する画像を取得するために、異
なる視野をもつように調整されたレンズとカメラ本体と
が用いられている。
に冗長度のある画像対を、同一の視野および解像度をも
つ複数のカメラを用いて取得する。しかし、本発明で
は、相違する解像度を有する画像を取得するために、異
なる視野をもつように調整されたレンズとカメラ本体と
が用いられている。
【００４２】したがって、ステレオ処理だけに必要とな
る解像度を変えることにより、画像情報の冗長度を下げ
ながら広い視野と幅広い奥行き測定可能な範囲とが実現
されている。
る解像度を変えることにより、画像情報の冗長度を下げ
ながら広い視野と幅広い奥行き測定可能な範囲とが実現
されている。
【００４３】次に、図２を参照し、本発明の第１の手段
に対応する異なる視野を持つ複数のカメラ構成について
説明する。
に対応する異なる視野を持つ複数のカメラ構成について
説明する。
【００４４】図２に示したように、異なる広さの視野を
持つ二つのカメラ、広視野カメラ２００と狭視野カメラ
２０１とが、ベースライン２０２上に、ある距離をおい
て設置されている。
持つ二つのカメラ、広視野カメラ２００と狭視野カメラ
２０１とが、ベースライン２０２上に、ある距離をおい
て設置されている。
【００４５】広視野カメラ２００は、視野境界線２０
５，２０６により挟まれる広い視野角θｗの視野をもっ
ている。また、狭視野カメラ２０１は、視野境界線２０
７，２０８により挟まれる狭い視野角θｎの視野をもっ
ている。図２でハッチングにより示した広視野カメラ２
００の視野と狭視野カメラ２０１の視野とに共通な視野
領域となる共通視野領域２０９がステレオ法による奥行
き推定の可能な領域となる。
５，２０６により挟まれる広い視野角θｗの視野をもっ
ている。また、狭視野カメラ２０１は、視野境界線２０
７，２０８により挟まれる狭い視野角θｎの視野をもっ
ている。図２でハッチングにより示した広視野カメラ２
００の視野と狭視野カメラ２０１の視野とに共通な視野
領域となる共通視野領域２０９がステレオ法による奥行
き推定の可能な領域となる。
【００４６】共通視野領域２０９は、広視野カメラ２０
０の視野境界線２０５と狭視野カメラ２０１の視野境界
線２０７との先端方向が開いている場合、無限遠まで続
くことになる。更に、両視野境界線２０５，２０７が平
行である場合に、共通視野領域２０９は最も大きくな
る。すなわち、二つのカメラ２００，２０１それぞれの
光軸２０３，２０４の間の交差角を“θｖ”とした場
合、広い視野角θｗと狭い視野角θｎとの間で次の式
（１）に示される関係を満たすように配置することによ
り、共通視野領域２０９を最大にすることができる。
０の視野境界線２０５と狭視野カメラ２０１の視野境界
線２０７との先端方向が開いている場合、無限遠まで続
くことになる。更に、両視野境界線２０５，２０７が平
行である場合に、共通視野領域２０９は最も大きくな
る。すなわち、二つのカメラ２００，２０１それぞれの
光軸２０３，２０４の間の交差角を“θｖ”とした場
合、広い視野角θｗと狭い視野角θｎとの間で次の式
（１）に示される関係を満たすように配置することによ
り、共通視野領域２０９を最大にすることができる。
【００４７】 θｖ ＝ （θｗ − θｎ）／２ （１） また、視野境界線２０６，２０８が交差する地点が、ス
テレオ法が適用可能な最も近い位置である取込最短距離
２１０であり、この地点から無限遠まで奥行き推定が可
能となる。
テレオ法が適用可能な最も近い位置である取込最短距離
２１０であり、この地点から無限遠まで奥行き推定が可
能となる。
【００４８】本発明による異なった視野を持つカメラを
用いる三次元構造推定装置は、従来の同質なカメラを用
いる手法と比較して、以下に述べる利点を持っている。
用いる三次元構造推定装置は、従来の同質なカメラを用
いる手法と比較して、以下に述べる利点を持っている。
【００４９】第一に、従来と比較して非常に広い奥行き
範囲にわたってステレオ法が適用可能となるため、測定
対象となる物体の奥行き位置によってカメラの向きをい
ちいち変更する必要がなくなる点を挙げることができ
る。また、測定対象となる物体が共通視野領域２０９を
外れた場合でも、二つのカメラの相対位置を固定したま
ま、全体で回転することで対応することが可能であるた
めに、個々のカメラ位置は変動せず、したがって、奥行
き推定精度は影響を受けることがない。また、広視野カ
メラ２００の視野境界線５と、狭視野カメラ２０１の視
野境界線２０７との先端方向が開いてさえいれば無限遠
まで共通視野領域が広がるため、カメラの設定が容易で
ある。
範囲にわたってステレオ法が適用可能となるため、測定
対象となる物体の奥行き位置によってカメラの向きをい
ちいち変更する必要がなくなる点を挙げることができ
る。また、測定対象となる物体が共通視野領域２０９を
外れた場合でも、二つのカメラの相対位置を固定したま
ま、全体で回転することで対応することが可能であるた
めに、個々のカメラ位置は変動せず、したがって、奥行
き推定精度は影響を受けることがない。また、広視野カ
メラ２００の視野境界線５と、狭視野カメラ２０１の視
野境界線２０７との先端方向が開いてさえいれば無限遠
まで共通視野領域が広がるため、カメラの設定が容易で
ある。
【００５０】第二に、図２では、二つのカメラだけでス
テレオ法を適用することによる奥行き情報に加え、広視
野で画素単位あたりの実空間上での対応する大きさが大
きな画像と、狭視野で対応する大きさが小さな画像との
双方を得ることができる。そのためできるだけ少ないカ
メラ数で奥行き情報以外も含む、様々な情報を引き出そ
うとする際に有利である。例えば、人間の眼では実際
に、注視しなければならない領域については視覚細胞が
密に存在して密度の高い情報を、また周辺については視
覚細胞は粗に存在して密度は低いが広い範囲にわたった
情報を得る構造となっているのと同様な構成にすること
が可能となる。
テレオ法を適用することによる奥行き情報に加え、広視
野で画素単位あたりの実空間上での対応する大きさが大
きな画像と、狭視野で対応する大きさが小さな画像との
双方を得ることができる。そのためできるだけ少ないカ
メラ数で奥行き情報以外も含む、様々な情報を引き出そ
うとする際に有利である。例えば、人間の眼では実際
に、注視しなければならない領域については視覚細胞が
密に存在して密度の高い情報を、また周辺については視
覚細胞は粗に存在して密度は低いが広い範囲にわたった
情報を得る構造となっているのと同様な構成にすること
が可能となる。
【００５１】本発明による第２の手段では、それぞれが
異なる解像度を有する画像を生成する複数のカメラを備
えている。これは、上記第１の手段において視野が異な
るカメラの代わりに、解像度が異なるカメラを利用する
ものであり、上記第１の手段と同様な機能および効果を
持つものである。
異なる解像度を有する画像を生成する複数のカメラを備
えている。これは、上記第１の手段において視野が異な
るカメラの代わりに、解像度が異なるカメラを利用する
ものであり、上記第１の手段と同様な機能および効果を
持つものである。
【００５２】また、第３の手段では上記第１の手段にお
ける視野が異なるカメラと、上記第２の手段における解
像度が異なるカメラとの双方を備えるものであり、上述
同様の機能および効果を持つものである。
ける視野が異なるカメラと、上記第２の手段における解
像度が異なるカメラとの双方を備えるものであり、上述
同様の機能および効果を持つものである。
【００５３】次に、第４の手段について図２を参照して
説明する。
説明する。
【００５４】この手段は、図２において、広視野カメラ
２００で撮影された画素単位の大きさが粗い画像の各画
素位置に対して、狭視野カメラ２０１で撮影された画素
単位の大きさが小さな画像のどの画素が対応するのか
を、繰返し平行移動しながら生成する複数の画像と対比
して詳細に調べるものである。
２００で撮影された画素単位の大きさが粗い画像の各画
素位置に対して、狭視野カメラ２０１で撮影された画素
単位の大きさが小さな画像のどの画素が対応するのか
を、繰返し平行移動しながら生成する複数の画像と対比
して詳細に調べるものである。
【００５５】従来では同じ解像度の画像を用いていたた
め、画素単位以上の精度を得ようとすると画素間の輝度
値を何等かの補間方法により推測することで代用してい
た。この場合、推定誤差により十分に精度を上げること
ができなかったが、本発明の第４の手段により、上記第
１から第３までの手段が持つ利点に加えて、より高い精
度の奥行き距離を得ることができることになる。
め、画素単位以上の精度を得ようとすると画素間の輝度
値を何等かの補間方法により推測することで代用してい
た。この場合、推定誤差により十分に精度を上げること
ができなかったが、本発明の第４の手段により、上記第
１から第３までの手段が持つ利点に加えて、より高い精
度の奥行き距離を得ることができることになる。
【００５６】第５の手段では、上記第４の手段において
視野が異なるカメラの代わりに、解像度が異なるカメラ
を利用するものであり、上記第４の手段と同様な機能お
よび効果を持つものである。
視野が異なるカメラの代わりに、解像度が異なるカメラ
を利用するものであり、上記第４の手段と同様な機能お
よび効果を持つものである。
【００５７】また、第６の手段では上記第４の手段にお
ける視野が異なるカメラと、上記第５の手段における解
像度が異なるカメラとの双方を備えるものであり、上述
同様の機能および効果を持つものである。
ける視野が異なるカメラと、上記第５の手段における解
像度が異なるカメラとの双方を備えるものであり、上述
同様の機能および効果を持つものである。
【００５８】
【実施例】図１は、本発明の三次元構造推定装置におけ
る実施の一形態を示すブロック図である。以下に、図１
に基づいて第一の実施例の構成について説明する。
る実施の一形態を示すブロック図である。以下に、図１
に基づいて第一の実施例の構成について説明する。
【００５９】三次元構造を推定する対象となる対象物１
０を、広い視野を持つ広視野のカメラ３が、広視野円錐
１内に捕えて撮影し広視野画像５として出力する。同様
に対象物１０を狭い視野を持つ狭視野のカメラ４が、狭
視野円錐２内に捕えて撮影し狭視野画像６として出力す
る。
０を、広い視野を持つ広視野のカメラ３が、広視野円錐
１内に捕えて撮影し広視野画像５として出力する。同様
に対象物１０を狭い視野を持つ狭視野のカメラ４が、狭
視野円錐２内に捕えて撮影し狭視野画像６として出力す
る。
【００６０】これらカメラ３，４それぞれから出力され
た広視野画像５および狭視野画像６は、間引標本部７お
よび奥行き画像作成部９を備える画像マッピング装置１
２へ入力される。
た広視野画像５および狭視野画像６は、間引標本部７お
よび奥行き画像作成部９を備える画像マッピング装置１
２へ入力される。
【００６１】広視野のカメラ３と狭視野のカメラ４とは
視野の広さが異なるため、広視野画像５中での対象物１
０は、狭視野画像６中での対象物１０と比較して小さく
撮影されることになる。両画像において画素単位の大き
さを揃えるために、狭視野画像６は、間引標本部７へ入
力され、画素単位の大きさが一致する画素単位一致画像
８として奥行き画像作成部９へ出力される。
視野の広さが異なるため、広視野画像５中での対象物１
０は、狭視野画像６中での対象物１０と比較して小さく
撮影されることになる。両画像において画素単位の大き
さを揃えるために、狭視野画像６は、間引標本部７へ入
力され、画素単位の大きさが一致する画素単位一致画像
８として奥行き画像作成部９へ出力される。
【００６２】図５は、間引き処理の一例を示す説明図で
ある。図１の間引標本部７では、例えば、広視野画像５
と狭視野画像６との画素単位の実際に対応する大きさの
比が“１：３”の場合、“３×３”画素に一画素の割合
で間引く処理により画素単位の一致が実現できる。“３
×３”画素に一画素の割合で間引く処理は、図５が狭視
野画像６の場合、各画素のうち“１”で示されている位
置の画素値だけを取出す操作に相当する。
ある。図１の間引標本部７では、例えば、広視野画像５
と狭視野画像６との画素単位の実際に対応する大きさの
比が“１：３”の場合、“３×３”画素に一画素の割合
で間引く処理により画素単位の一致が実現できる。“３
×３”画素に一画素の割合で間引く処理は、図５が狭視
野画像６の場合、各画素のうち“１”で示されている位
置の画素値だけを取出す操作に相当する。
【００６３】また、このような間引く処理は、大きさの
比が“１：２．５”のように実数となる場合には適切な
補間処理を行なった後に対応画素位置にあたる画素値を
取出すことにより実現できる。これにより、広視野画像
５および画素単位一致画像８それぞれの中で対象物１０
は、同じ大きさで撮影されていることになり、従来のス
テレオ法をそのまま適用することが可能となる。
比が“１：２．５”のように実数となる場合には適切な
補間処理を行なった後に対応画素位置にあたる画素値を
取出すことにより実現できる。これにより、広視野画像
５および画素単位一致画像８それぞれの中で対象物１０
は、同じ大きさで撮影されていることになり、従来のス
テレオ法をそのまま適用することが可能となる。
【００６４】広視野画像５および画素単位一致画像８そ
れぞれは奥行き画像作成部９へ入力され、ステレオ法に
より両画像間で画素毎に対応づけを行なうことによって
各画素位置での奥行きを推定し、奥行き画像１１として
外部へ出力する。
れぞれは奥行き画像作成部９へ入力され、ステレオ法に
より両画像間で画素毎に対応づけを行なうことによって
各画素位置での奥行きを推定し、奥行き画像１１として
外部へ出力する。
【００６５】この構成により、広い視野の画像と、視野
の一部について高い解像度の画像とを提供しつつ、視野
内の物体の三次元構造を推定することができる。
の一部について高い解像度の画像とを提供しつつ、視野
内の物体の三次元構造を推定することができる。
【００６６】次に、第二の実施例について図３の画像マ
ッチング装置３００を参照して説明する。
ッチング装置３００を参照して説明する。
【００６７】上記第一の実施例との相違点は、図１で示
された広視野画像５および狭視野画像６を入力する画像
マッチング装置３００が間引標本部３０１、奥行き画像
群作成部３０３および奥行き選択画像生成部３０５を備
え、奥行き画像群作成部３０３および奥行き選択画像生
成部３０５が奥行き画像作成手段を構成していることで
ある。
された広視野画像５および狭視野画像６を入力する画像
マッチング装置３００が間引標本部３０１、奥行き画像
群作成部３０３および奥行き選択画像生成部３０５を備
え、奥行き画像群作成部３０３および奥行き選択画像生
成部３０５が奥行き画像作成手段を構成していることで
ある。
【００６８】狭視野カメラで撮影された狭視野画像６は
間引標本部３０１に入力され、間引標本部３０１が画素
単位の大きさを一致させると共に少しずつ平行移動しな
がら間引いた画像群である画素単位一致画像群３０２を
出力する。
間引標本部３０１に入力され、間引標本部３０１が画素
単位の大きさを一致させると共に少しずつ平行移動しな
がら間引いた画像群である画素単位一致画像群３０２を
出力する。
【００６９】次に、この間引き処理について図５を参照
して説明する。図３の間引標本部３０１では、例えば広
視野画像５と狭視野画像６とにおいて、画素単位の実際
に対応する大きさの比が“１：３”の場合、“３×３”
画素に一画素の割合で平行移動しながら間引く処理によ
り画素単位の一致が実現できる。“３×３”画素に一画
素の割合で間引く処理は、図５が狭視野画像６の場合、
各画素のうち“１”、“２”、“３”それぞれで示され
ている位置の画素値だけを順次取出して三枚の画像を生
成する操作に相当する。
して説明する。図３の間引標本部３０１では、例えば広
視野画像５と狭視野画像６とにおいて、画素単位の実際
に対応する大きさの比が“１：３”の場合、“３×３”
画素に一画素の割合で平行移動しながら間引く処理によ
り画素単位の一致が実現できる。“３×３”画素に一画
素の割合で間引く処理は、図５が狭視野画像６の場合、
各画素のうち“１”、“２”、“３”それぞれで示され
ている位置の画素値だけを順次取出して三枚の画像を生
成する操作に相当する。
【００７０】また、このような間引く処理は、大きさの
比が“１：２．５”のように実数となる場合には適切な
補間処理を行なった後に対応画素位置にあたる画素値を
取出すことにより実現できる。
比が“１：２．５”のように実数となる場合には適切な
補間処理を行なった後に対応画素位置にあたる画素値を
取出すことにより実現できる。
【００７１】広視野カメラで撮影された広視野画像５と
画素単位一致画像群３０２とは奥行き画像群作成部３０
３へ入力される。奥行き画像群作成部３０３は、広視野
画像５と画素単位一致画像群３０２中の各画素単位一致
画像との間で対応する画素を探索し、それぞれの対にお
いて奥行き画像を生成し奥行き画像群３０４として奥行
き選択画像生成部３０５へ出力する。
画素単位一致画像群３０２とは奥行き画像群作成部３０
３へ入力される。奥行き画像群作成部３０３は、広視野
画像５と画素単位一致画像群３０２中の各画素単位一致
画像との間で対応する画素を探索し、それぞれの対にお
いて奥行き画像を生成し奥行き画像群３０４として奥行
き選択画像生成部３０５へ出力する。
【００７２】奥行き画像群３０４として出力される各奥
行き画像の各画素位置毎に、奥行き推定のよさを表わす
指標を付随させておくものとする。この指標は、例えば
対応する画素位置の画素値の差分などである。奥行き画
像群３０４は奥行き選択画像生成部３０５へ入力する。
行き画像の各画素位置毎に、奥行き推定のよさを表わす
指標を付随させておくものとする。この指標は、例えば
対応する画素位置の画素値の差分などである。奥行き画
像群３０４は奥行き選択画像生成部３０５へ入力する。
【００７３】奥行き選択画像生成部３０５は、奥行き画
像の各画素位置について、奥行き画像群３０４で示され
た複数の奥行き推定のよさを比較し、最もよい推定であ
る奥行きを一つ選択するという操作を全画素について行
ない奥行き画像３０６を生成し出力する。
像の各画素位置について、奥行き画像群３０４で示され
た複数の奥行き推定のよさを比較し、最もよい推定であ
る奥行きを一つ選択するという操作を全画素について行
ない奥行き画像３０６を生成し出力する。
【００７４】この構成により、広い視野の画像と視野の
一部について高い解像度の画像とを提供しつつ、視野内
の物体のより精細な三次元構造を推定することができ
る。
一部について高い解像度の画像とを提供しつつ、視野内
の物体のより精細な三次元構造を推定することができ
る。
【００７５】次に、第三の実施例について図４の画像マ
ッチング装置４００を参照して説明する。
ッチング装置４００を参照して説明する。
【００７６】上記第一の実施例との相違点は、図１の広
視野画像５および狭視野画像６を入力する画像マッチン
グ装置４００が映像補間部４０１および奥行き画像作成
部４０３を備えていることである。
視野画像５および狭視野画像６を入力する画像マッチン
グ装置４００が映像補間部４０１および奥行き画像作成
部４０３を備えていることである。
【００７７】広視野カメラで撮影された広視野画像５
は、画像補間部４０１へ入力し、画像補間部４０１によ
り狭視野画像６と画素単位の大きさが一致するように拡
大され画素単位一致画像４０２として奥行き画像作成部
４０３へ出力される。この拡大操作は、通常用いられる
線形・二次補間を始めとして、画素間の位置での画素値
を推定補間する方法であればどのような補間方法でも用
いることができる。
は、画像補間部４０１へ入力し、画像補間部４０１によ
り狭視野画像６と画素単位の大きさが一致するように拡
大され画素単位一致画像４０２として奥行き画像作成部
４０３へ出力される。この拡大操作は、通常用いられる
線形・二次補間を始めとして、画素間の位置での画素値
を推定補間する方法であればどのような補間方法でも用
いることができる。
【００７８】画素単位一致画像４０２と狭視野カメラで
撮影された狭視野画像６とは奥行き画像作成部４０３へ
入力し、奥行き画像作成部４０３が両入力画像の各画素
が互いに対応する画素位置を求めることにより奥行きを
推定し奥行き画像４０４として出力する。
撮影された狭視野画像６とは奥行き画像作成部４０３へ
入力し、奥行き画像作成部４０３が両入力画像の各画素
が互いに対応する画素位置を求めることにより奥行きを
推定し奥行き画像４０４として出力する。
【００７９】この構成により、広い視野の画像と視野の
一部について高い解像度の画像とを提供しつつ、視野内
の物体のより精細な三次元構造を推定することができ
る。
一部について高い解像度の画像とを提供しつつ、視野内
の物体のより精細な三次元構造を推定することができ
る。
【００８０】上記説明では三つの実施例それぞれにおい
て、カメラとして、視野の広さが異なるカメラとこのカ
メラに合った間引標本部または画像補間部を利用したも
のを説明したが、これらの代わりに解像度が異なるカメ
ラとこのカメラに合った間引標本部または画像補間部そ
れぞれを取り替えて利用することも可能である。また視
野の広さが異なるカメラと解像度が異なるカメラとを併
用し、各カメラから得られる画像の画素単位を合わせる
間引標本部または画像補間部を用いることも可能であ
る。
て、カメラとして、視野の広さが異なるカメラとこのカ
メラに合った間引標本部または画像補間部を利用したも
のを説明したが、これらの代わりに解像度が異なるカメ
ラとこのカメラに合った間引標本部または画像補間部そ
れぞれを取り替えて利用することも可能である。また視
野の広さが異なるカメラと解像度が異なるカメラとを併
用し、各カメラから得られる画像の画素単位を合わせる
間引標本部または画像補間部を用いることも可能であ
る。
【００８１】
【発明の効果】以上説明したように本発明によれば、視
野の広さが異なるカメラおよび解像度が異なるカメラの
少なくとも一方を用い、これら複数のカメラが出力する
画像をステレオ演算のために一致させることにしたの
で、従来のステレオアルゴリズムを利用しつつ、従来の
ステレオ法では得ることのできなかった、広い視野と精
度のよい奥行きとが推定できると共に、視野の一部につ
いては高い解像度の画像を得ることができる三次元構造
推定装置を提供することができる。
野の広さが異なるカメラおよび解像度が異なるカメラの
少なくとも一方を用い、これら複数のカメラが出力する
画像をステレオ演算のために一致させることにしたの
で、従来のステレオアルゴリズムを利用しつつ、従来の
ステレオ法では得ることのできなかった、広い視野と精
度のよい奥行きとが推定できると共に、視野の一部につ
いては高い解像度の画像を得ることができる三次元構造
推定装置を提供することができる。
【図１】本発明の実施の一形態を示すブロック図であ
る。
る。
【図２】本発明の奥行き推定可能範囲の一形態を示す説
明図である。
明図である。
【図３】本発明の第二の実施の形態を示すブロック図で
ある。
ある。
【図４】本発明の第三の実施の形態を示すブロック図で
ある。
ある。
【図５】本発明の間引標本部における画素配置の一形態
を示す説明図である。
を示す説明図である。
【図６】従来のステレオ法の一例を示す説明図である。
１ 広視野円錐 ２ 狭視野円錐 ３ カメラ（広視野カメラ） ４ カメラ（狭視野カメラ） ５ 広視野画像 ６ 狭視野画像 ７ 間引標本部 ８、４０２ 画素単位一致画像 ９、４０３ 奥行き画像作成部 １０ 対象物 １１、３０６、４０４ 奥行き画像 １２、３００、４００ 画像マッピング装置 ２００ 広視野カメラ ２０１ 狭視野カメラ ２０２ ベースライン ２０３、２０４ 光軸 ２０５、２０６、２０７、２０８ 視野境界線 ２０９ 共通視野領域 ２１０ 取込最短距離 ２１１ 最短距離 ３０１ 間引標本部（少移動複数画像） ３０２ 画素単位一致画像群 ３０３ 奥行き画像群作成部 ３０４ 奥行き画像群 ３０５ 奥行き選択画像生成部 ４０１ 映像補間部
Claims (5)
- 【請求項１】 画像上の物体までの奥行き距離を計測し
奥行き画像として出力する三次元構造推定装置におい
て、それぞれ異なる解像度を有する画像を生成する複数
のカメラと、これら複数のカメラから出力する画像から
画像の画素単位の大きさを一致させる変換手段と、解像
度を一致させた画像を比較して画像上の物体までの奥行
き距離を演算し奥行き画像を作成して出力する奥行き画
像作成部とを備えることを特徴とする三次元構造推定装
置。 - 【請求項２】 請求項１において、更にそれぞれ異なる
視野を有する複数のカメラを備え、前記変換手段の代わ
りにこれらのカメラの画像も含め画像の画素単位を一致
させる変換手段を備えることを特徴とする三次元構造推
定装置。 - 【請求項３】 画像上の物体までの奥行き距離を計測し
奥行き画像として出力する三次元構造推定装置におい
て、それぞれ異なった視野を有する画像を生成する複数
のカメラと、これら複数のカメラで生成された画像を異
なる平行移動量により画像の画素単位の大きさを一致さ
せる変換手段と、画素単位の大きさを一致させた画像を
比較して画像上の物体の奥行き距離を演算し、奥行き画
像を作成して出力する奥行き画像作成手段とを備えるこ
とを特徴とする三次元構造推定装置。 - 【請求項４】 画像上の物体までの奥行き距離を計測し
奥行き画像として出力する三次元構造推定装置におい
て、それぞれ異なった解像度を有する画像を生成する複
数のカメラと、これら複数のカメラで生成された画像を
異なる平行移動量により画像の画素単位の大きさを一致
させる変換手段と、画素単位の大きさを一致させた画像
を比較して画像上の物体の奥行き距離を演算し奥行き画
像を作成して出力する奥行き画像作成手段とを備えるこ
とを特徴とする三次元構造推定装置。 - 【請求項５】 請求項４において、更にそれぞれ異なる
視野を有する複数のカメラを備え、前記変換手段の代わ
りにこれらのカメラの画像も含め画像の画素単位を一致
させる変換手段を備えることを特徴とする三次元構造推
定装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8290377A JP2998791B2 (ja) | 1996-10-31 | 1996-10-31 | 三次元構造推定装置 |
| US08/962,315 US6847392B1 (en) | 1996-10-31 | 1997-10-31 | Three-dimensional structure estimation apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8290377A JP2998791B2 (ja) | 1996-10-31 | 1996-10-31 | 三次元構造推定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10134187A JPH10134187A (ja) | 1998-05-22 |
| JP2998791B2 true JP2998791B2 (ja) | 2000-01-11 |
Family
ID=17755235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8290377A Expired - Lifetime JP2998791B2 (ja) | 1996-10-31 | 1996-10-31 | 三次元構造推定装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6847392B1 (ja) |
| JP (1) | JP2998791B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10148931B2 (en) | 2016-11-10 | 2018-12-04 | KANEKO Manufacturing Co., Ltd. | Three-dimensional video image display processing device, video information recording medium, video information providing server, and recording medium storing a program |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3728160B2 (ja) * | 1999-12-06 | 2005-12-21 | キヤノン株式会社 | 奥行き画像計測装置及び方法、並びに複合現実感提示システム |
| JP2001266128A (ja) * | 2000-03-21 | 2001-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体 |
| US9113846B2 (en) | 2001-07-26 | 2015-08-25 | Given Imaging Ltd. | In-vivo imaging device providing data compression |
| US20050187433A1 (en) * | 2001-07-26 | 2005-08-25 | Given Imaging Ltd. | In-vivo imaging device providing constant bit rate transmission |
| US6995762B1 (en) * | 2001-09-13 | 2006-02-07 | Symbol Technologies, Inc. | Measurement of dimensions of solid objects from two-dimensional image(s) |
| US7129981B2 (en) * | 2002-06-27 | 2006-10-31 | International Business Machines Corporation | Rendering system and method for images having differing foveal area and peripheral view area resolutions |
| IL155175A (en) * | 2003-03-31 | 2012-01-31 | Given Imaging Ltd | A diagnostic device that uses information thinning |
| US20050058360A1 (en) * | 2003-09-12 | 2005-03-17 | Thomas Berkey | Imaging system and method for displaying and/or recording undistorted wide-angle image data |
| US7916898B2 (en) * | 2003-09-15 | 2011-03-29 | Deere & Company | Method and system for identifying an edge of a crop |
| JP2005210217A (ja) * | 2004-01-20 | 2005-08-04 | Olympus Corp | ステレオカメラ |
| IL161082A (en) * | 2004-03-25 | 2008-08-07 | Rafael Advanced Defense Sys | System and method for automatically acquiring a target with a narrow field-of-view gimbaled imaging sensor |
| US20090167843A1 (en) * | 2006-06-08 | 2009-07-02 | Izzat Hekmat Izzat | Two pass approach to three dimensional Reconstruction |
| KR101327791B1 (ko) * | 2007-09-11 | 2013-11-20 | 삼성전자주식회사 | 영상 매칭 장치 및 방법 |
| JP4979525B2 (ja) * | 2007-09-20 | 2012-07-18 | 株式会社日立製作所 | マルチカメラシステム |
| US8363985B2 (en) | 2007-10-15 | 2013-01-29 | Nippon Telegraph And Telephone Corporation | Image generation method and apparatus, program therefor, and storage medium which stores the program |
| WO2009051062A1 (ja) * | 2007-10-15 | 2009-04-23 | Nippon Telegraph And Telephone Corporation | 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 |
| JP5090857B2 (ja) * | 2007-10-31 | 2012-12-05 | 富士フイルム株式会社 | 画像処理装置及び画像処理方法並びにプログラム |
| WO2009107365A1 (ja) * | 2008-02-26 | 2009-09-03 | パナソニック株式会社 | 複眼測距装置の検査方法及び検査装置並びにそれに用いるチャート |
| JP4843640B2 (ja) * | 2008-05-07 | 2011-12-21 | 日本放送協会 | 立体情報生成装置および立体情報生成プログラム |
| JP5238429B2 (ja) * | 2008-09-25 | 2013-07-17 | 株式会社東芝 | 立体映像撮影装置および立体映像撮影システム |
| US8947534B2 (en) | 2009-06-11 | 2015-02-03 | Google Technology Holdings LLC | System and method for providing depth imaging |
| US9380292B2 (en) | 2009-07-31 | 2016-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene |
| EP2533541A4 (en) * | 2010-02-02 | 2013-10-16 | Konica Minolta Holdings Inc | STEREO CAMERA |
| WO2012029298A1 (ja) | 2010-08-31 | 2012-03-08 | パナソニック株式会社 | 撮影装置および画像処理方法 |
| WO2012086120A1 (ja) * | 2010-12-24 | 2012-06-28 | パナソニック株式会社 | 画像処理装置、撮像装置、画像処理方法、プログラム |
| US10200671B2 (en) * | 2010-12-27 | 2019-02-05 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
| US8274552B2 (en) * | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
| WO2012117706A1 (ja) * | 2011-03-01 | 2012-09-07 | パナソニック株式会社 | 映像処理装置、映像処理方法、プログラム |
| TWI462569B (zh) * | 2011-04-22 | 2014-11-21 | Mstar Semiconductor Inc | 三維影像攝相機及其相關控制方法 |
| US20130329985A1 (en) * | 2012-06-07 | 2013-12-12 | Microsoft Corporation | Generating a three-dimensional image |
| DE102012106860A1 (de) * | 2012-07-27 | 2014-02-13 | Jenoptik Robot Gmbh | Vorrichtung und Verfahren zum Identifizieren und Dokumentieren mindestens eines ein Strahlungsfeld durchfahrenden Objektes |
| WO2014034444A1 (ja) * | 2012-08-31 | 2014-03-06 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに情報処理装置 |
| GB2541101A (en) * | 2015-06-23 | 2017-02-08 | Bosch Gmbh Robert | Method and camera system for determining the distance of objects in relation to a vehicle |
| US10551608B2 (en) * | 2016-03-24 | 2020-02-04 | Molecular Devices, Llc | Imaging system with ancillary image detector for sample location |
| JPWO2017200049A1 (ja) | 2016-05-20 | 2019-04-11 | マクセル株式会社 | 撮像装置およびその設定画面 |
| CN110140023B (zh) * | 2017-01-17 | 2021-07-30 | 国立研究开发法人产业技术综合研究所 | 标记器和使用了标记器的姿势推定方法及位置姿势推定方法 |
| DE102017210408A1 (de) * | 2017-06-21 | 2018-12-27 | Conti Temic Microelectronic Gmbh | Kamerasystem mit unterschiedlichen Shuttermodi |
| JP7206602B2 (ja) * | 2018-03-16 | 2023-01-18 | 株式会社リコー | 撮像装置、車両、及び撮像方法 |
| WO2023184526A1 (en) * | 2022-04-02 | 2023-10-05 | Covidien Lp | System and method of real-time stereoscopic visualization based on monocular camera |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4028725A (en) * | 1976-04-21 | 1977-06-07 | Grumman Aerospace Corporation | High-resolution vision system |
| US4965840A (en) * | 1987-11-27 | 1990-10-23 | State University Of New York | Method and apparatus for determining the distances between surface-patches of a three-dimensional spatial scene and a camera system |
| US5045929A (en) * | 1989-05-13 | 1991-09-03 | Zenith Electronics Corporation | Three dimensional luma/chroma separation and vertical detail generation |
| US5193124A (en) * | 1989-06-29 | 1993-03-09 | The Research Foundation Of State University Of New York | Computational methods and electronic camera apparatus for determining distance of objects, rapid autofocusing, and obtaining improved focus images |
| JPH07505966A (ja) * | 1992-03-20 | 1995-06-29 | コモンウエルス サイエンティフィック アンド インダストリアル リサーチ オーガナイゼーション | 物体モニタシステム |
| US5477332A (en) * | 1992-12-17 | 1995-12-19 | Mcdonnell Douglas Corporation | Digital image system and method for determining surface reflective and refractive characteristics of objects |
| US5365597A (en) * | 1993-06-11 | 1994-11-15 | United Parcel Service Of America, Inc. | Method and apparatus for passive autoranging using relaxation |
| JPH0843055A (ja) | 1994-07-29 | 1996-02-16 | Canon Inc | ３次元物体形状認識方法及び装置 |
| JPH087102A (ja) | 1994-06-17 | 1996-01-12 | Canon Inc | 対応点抽出装置 |
| JPH08275063A (ja) * | 1995-04-04 | 1996-10-18 | Minolta Co Ltd | 撮像装置 |
| US5835265A (en) * | 1996-07-18 | 1998-11-10 | Computed Anatomy Incorporated | Large numerical aperture imaging device |
| JPH0995194A (ja) * | 1995-09-29 | 1997-04-08 | Aisin Seiki Co Ltd | 車両前方の物体検出装置 |
| US5751450A (en) * | 1996-05-22 | 1998-05-12 | Medar, Inc. | Method and system for measuring color difference |
| US5846185A (en) * | 1996-09-17 | 1998-12-08 | Carollo; Jerome T. | High resolution, wide field of view endoscopic viewing system |
| US6219462B1 (en) * | 1997-05-09 | 2001-04-17 | Sarnoff Corporation | Method and apparatus for performing global image alignment using any local match measure |
| US6061086A (en) * | 1997-09-11 | 2000-05-09 | Canopular East Inc. | Apparatus and method for automated visual inspection of objects |
-
1996
- 1996-10-31 JP JP8290377A patent/JP2998791B2/ja not_active Expired - Lifetime
-
1997
- 1997-10-31 US US08/962,315 patent/US6847392B1/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10148931B2 (en) | 2016-11-10 | 2018-12-04 | KANEKO Manufacturing Co., Ltd. | Three-dimensional video image display processing device, video information recording medium, video information providing server, and recording medium storing a program |
Also Published As
| Publication number | Publication date |
|---|---|
| US6847392B1 (en) | 2005-01-25 |
| JPH10134187A (ja) | 1998-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2998791B2 (ja) | 三次元構造推定装置 | |
| US10462447B1 (en) | Electronic system including image processing unit for reconstructing 3D surfaces and iterative triangulation method | |
| EP0782100B1 (en) | Three-dimensional shape extraction apparatus and method | |
| Gluckman et al. | Catadioptric stereo using planar mirrors | |
| US6118475A (en) | Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape | |
| US6570566B1 (en) | Image processing apparatus, image processing method, and program providing medium | |
| US7825948B2 (en) | 3D video conferencing | |
| US20060018509A1 (en) | Image generation device | |
| EP0680019B1 (en) | Image processing method and apparatus | |
| Zhu et al. | Parallel-perspective stereo mosaics | |
| EP3427227A1 (en) | Methods and computer program products for calibrating stereo imaging systems by using a planar mirror | |
| JP2000215311A (ja) | 仮想視点画像生成方法およびその装置 | |
| Satoh et al. | Passive depth acquisition for 3D image displays | |
| US12026903B2 (en) | Processing of depth maps for images | |
| KR20220113781A (ko) | 환경의 지형을 측정하는 방법 | |
| EP1997072B1 (en) | Method for determining a depth map from images, device for determining a depth map | |
| JPH07129792A (ja) | 画像処理方法および画像処理装置 | |
| JPH09245195A (ja) | 画像処理方法およびその装置 | |
| EP1372341A2 (en) | Information display system and portable information terminal | |
| WO2023112971A1 (ja) | 三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラム | |
| Su et al. | Obtaining obstacle information by an omnidirectional stereo vision system | |
| US20230005213A1 (en) | Imaging apparatus, imaging method, and program | |
| Grammalidis et al. | Disparity and occlusion estimation for multiview image sequences using dynamic programming | |
| JPH0799644A (ja) | 画像通信装置 | |
| Godding et al. | 4D Surface matching for high-speed stereo sequences |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19991006 |