JP3107929B2 - 複眼撮像装置 - Google Patents
複眼撮像装置Info
- Publication number
- JP3107929B2 JP3107929B2 JP04284343A JP28434392A JP3107929B2 JP 3107929 B2 JP3107929 B2 JP 3107929B2 JP 04284343 A JP04284343 A JP 04284343A JP 28434392 A JP28434392 A JP 28434392A JP 3107929 B2 JP3107929 B2 JP 3107929B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- corresponding point
- double
- imaging
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 262
- 150000001875 compounds Chemical class 0.000 title claims description 43
- 238000012545 processing Methods 0.000 claims description 91
- 239000002131 composite material Substances 0.000 claims description 83
- 230000003287 optical effect Effects 0.000 claims description 55
- 238000000034 method Methods 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 18
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 6
- 241001125840 Coryphaenidae Species 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 35
- 238000000605 extraction Methods 0.000 description 22
- 230000015654 memory Effects 0.000 description 20
- 238000006243 chemical reaction Methods 0.000 description 13
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 11
- 230000006866 deterioration Effects 0.000 description 8
- 239000000203 mixture Substances 0.000 description 8
- 238000012805 post-processing Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 230000004044 response Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 235000002595 Solanum tuberosum Nutrition 0.000 description 1
- 244000061456 Solanum tuberosum Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 235000012015 potatoes Nutrition 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
子)、撮像管等の撮像素子を用いた撮像装置、特に複数
の撮像素子及びレンズ等の結像光学系を用いた複眼撮像
装置に関する。
高精細画像生成の目的で、結像光学系と撮像素子とから
なる複数の撮像系を有し、共通の被写体を撮像すること
により前記各撮像素子の各々から入力された画像信号を
用いて、1つの合成画像を生成出力する複眼撮像装置が
提案されている。
撮像系によりそれぞれ被写体領域の異なる複数の画像を
同時に撮像し、これら各画像内に存在する同一被写体を
抽出し、その画像内の相対位置情報に基づいて各画像を
接続することにより合成パノラマ画像を得るものであ
る。
ノラマ画像と同様に各画像内に存在する同一被写体を抽
出し、その画像内での相対位置情報に基づいて補間処理
を行なって新たに高精細な1つの画像を得るものであ
る。この原理に基づく複眼撮像装置は、例えば図22に
示すように、左撮像系1010L と右撮像系1010R
とを用意し、左撮像系1010L と右撮像系1010R
とで被写体1101を撮像する。そして、左撮像系10
10L で得られた左側画像IL と右撮像系1010R で
得られた右側画像IR とをCPU1120で対応点抽出
を行ない合成処理することにより、1つの撮像系で被写
体を撮像したときに比べて高精細な1つの出力画像I
OUT を得るものである。
た複眼撮像装置においては、以下に示す問題点があっ
た。パノラマ画像を得るものでは、複数の画像を接続す
るものなので1つの撮像系の最大画角内に制限されず、
さらに、同一タイミングで撮像した複数の画像から1つ
のパノラマ画像を再構成するので、動物体を含む所望の
被写体領域をカバーできるだけの撮像系を複数組み合わ
せた構成等のフレキシブな撮像装置を実現することがで
きるものの、各画像は一部接続部を除いて並列して撮像
する形態となるので、むしろ殆どの画像域が対応点のな
い被写体となる。この場合、画像接続部で互いに対応す
る被写体が、生成画像上で一致せず二重に存在するいわ
ゆる二重像として表れることがあり、これにより画像の
連続性が失われ、画像品位の劣化を招くという問題点が
あった。ここで、画像の連続性とは、注目部において被
写体形状(輪郭線等)や濃度(輝度)等が連続かつ滑ら
かに接続していることをいう。
の対応点相対位置情報(1画素ピッチ以下)が求めら
れ、画像の補間方式も高精度のものが求められる。従っ
て、これらの精度が十分に満たされない場合、本来存在
しないはずの高周波ノイズ成分などが重畳され、むしろ
画像の劣化を招く場合もありうる。一方、時間解像度に
関していえば、この複眼撮像装置をテレビジョン用に用
いることを想定した場合、毎秒30フレーム程度の画像
を連続して取り込む必要があるので、これらの処理はか
なり高速でなくてはならず出来るだけ簡易な処理が望ま
れている。
ものであり、その第1の目的は、二重像の存在する領域
及びその近傍の画像情報から、連続性を失わない画像を
生成して画像の劣化を防止する複眼撮像装置を提供する
ことにある。
要求する実時間を満たしつつ、合成画像が生成前の原画
像に比べ、少なくとも画質の劣化のない複眼撮像装置を
提供することにする。
本発明の複眼撮像装置は、結象光学系と撮像素子を備え
る撮像系を複数有し、前記撮像系のそれぞれで被写体を
撮像することにより前記各撮像系の各々からの画像信号
を用いてパノラマ合成画像を生成し出力する複眼撮像装
置において、前記撮像系の両方に撮像される二重像発生
可能領域内の被写体の同一部分に対応する対応点対を前
記各撮像素子の各々からの画像信号を用いて抽出し、抽
出された対応点対の中で前記パノラマ合成画像上の前記
二重像発生可能領域において一致せずに二重像を発生さ
せる対応点対については、二重像領域分けを行い、領域
分けされた前記二重像について処理を施し、その処理結
果に基づいてどちらの対応点をパノラマ合成画像生成デ
ータとして用いるかの判断を行い、その対応点対の一方
の対応点を前記パノラマ合成画像生成データとして用
い、他方を前記パノラマ合成画像生成データとして用い
ない画像処理部を有することを特徴とする。
備える撮像系を複数有し、前記撮像系のそれぞれで被写
体を撮像することにより前記各撮像系の各々からの画像
信号を並列合成したパノラマ合成画像を生成し出力する
複眼撮像装置において、前記撮像系の両方に撮像される
二重像発生可能領域内の被写体の同一部分に対応する対
応点対を前記各撮像素子の各々からの画像信号を用いて
抽出し、抽出された対応点対の中で前記パノラマ合成画
像上の前記二重像発生可能領域において一致せずに二重
像を発生させる対応点対については、一方の対応点のみ
をパノラマ合成画像生成データとして用いる複眼撮像装
置を提供するものであり、 特に、前記対応点対の中で、
前記撮像系のどちらか一方にしか撮像されない二重像非
発生領域に接続している二重像に属する対応点対につい
ては、二重像を構成する二つの像の内で前記二重像発生
可能領域内の面積が大きい方の像に属する対応点を前記
パノラマ合成画像生成データとして用いたり、前記対応
点対の中で、前記撮像系のどちらか一方にしか撮像され
ない二重像非発生領域までの距離が異なる対応点対につ
いては、その対応点対の中で前記二重像非発生領域に近
い方の対応点を前記パノラマ合成画像生成データとして
用いたり、または、前記対応点対の中で、二重像を構成
する二つの像の内で一方のみが前記撮像系のどちらか一
方にしか撮像されない二重像非発生領域に接続している
二重像に属する対応点対については、前記二重像非発生
領域に接続している像側の対応点を前記合成画像生成デ
ータとして用いると共に、二重像を構成する二つの像の
両方が前記二重像非発生領域に接続している二重像に属
する対応点については、前記二重像を構成する二つの像
のいずれか一方の像側の対応点を画像の並列方向に拡大
して前記パノラマ合成画像生成データとして用いるもの
であってもよい。
を備える撮像系を複数有し、前記撮像系のそれぞれで被
写体を撮像することにより前記各撮像系の各々からの画
像信号を用いて画像補間処理を行い、合成画像を生成し
出力する複眼撮像装置において、前記撮像系の両方に撮
像される二重像発生可能領域内の被写体の同一部分に対
応する対応点対を前記各撮像素子の各々からの画像信号
を用いて抽出し、抽出された対応点対の中で前記合成画
像上の対応点同志が近接している対応点対については、
その対応点対の一方の対応点を合成画像生成データとし
て用い、他方を合成画像生成データとして用いない画像
処理部を有することを特徴とする複眼撮像装置を提供す
る。
記各画像信号を合成した高精細画像であるものでもよ
く、 この場合に前記画像処理部は、前記抽出された各対
応点対の中で、前記合成画像上で対応点同志の間隔が所
定の間隔よりも小さい対応点対については、その対応点
対の中の一方の対応点を前記合成画像生成データとして
用い、他方の対応点を前記合成画像生成データとして用
いないものや、 前記各対応点対のうち対応点抽出の前に
歪み補正を必要とする対応点対の少なくとも一部につい
ては、その対応点対の中の一方の対応点を前記合成画像
生成データとして用い、他方の対応点を前記合成画像生
成データとして用いないものや、 前記抽出された各対応
点対のうち前記各撮像系の合焦物体面からの距離及び前
記各結象光学系の開口数から予測される像のボケの程度
が一定の閾値を超える対応点対の少なくとも一部につい
ては、その対応点対の中の一方の対応点を前記合成画像
生成データとして用い、他方の対応点を前記合成画像生
成データとして用いないものや、 前記各対応点対を抽出
した後、対となる対応点が求まらない画素点及び前記対
となる対応点が求まらない領域とある一定の空間周波数
以上で交互に表れる対応点対の少なくとも一部について
は、その対応点対の中の一方の対応点を前記合成画像生
成データとして用い、他方の対応点を前記合成画像生成
データとして用いないものであってもよい。
備える撮像系を複数有し、前記撮像系のそれぞれで被写
体を撮像することにより前記各撮像系の各々からの画像
信号を並列合成したパノラマ合成画像を生成し出力する
複眼撮像装置において、 前記各撮像素子の各々からの画
像信号のうち一方を合成画像生成のための基本画像とす
ると共に他方を補助画像として利用し、前記撮像系の両
方に撮像される二重像発生可能領域内の被写体の同一部
分に対応する対応点対を前記各撮像素子の各々からの画
像信号を用いて抽出し、抽出された対応点対の中で前記
パノラマ合成画像上の前記二重像発生可能領域において
一致せずに二重像を発生させる対応点対については、二
重像を構成する二つの像の内で前記二重像発生可能領域
内の面積が大きい方の画像信号を前記基本画像とし、前
記基本画像中の対応点をパノラマ合成画像生成データと
して用い、前記補助画像中の対応点をパノラマ合成画像
生成データとして用いない画像処理部を有することを特
徴とする複眼撮像装置を提供する。
では、撮像系の両方に撮像される二重像発生可能領域内
の被写体の同一部分に対応する対応点対を各撮像素子の
各々からの画像信号を用いて抽出し、抽出された対応点
対の中で合成画像上の二重像発生可能領域において一致
せずに二重像を発生させる対応点対については、その対
応点対の一方の対応点を合成画像生成データとして用
い、他方を合成画像生成データとして用いない画像処理
部を有することにより、合成画像の劣化が防止される。
詳しくいえば、パノラマ合成画像の生成においては、2
つの画像の接続部近傍に二重像が発生してしまうことが
あるが、前記対応点対の一方の対応点を合成画像生成デ
ータとして用い、他方を合成画像生成データとして用い
ないことにより、前記二重像が除去されるとともに二重
像非発生領域との画像の良好な接続性が保たれる。ま
た、高精細画像の生成においては、対応点対の中の対応
点同志が非常に近接存在する場合に、その対応点対の中
の一方対応点を合成画像生成データとして用い、他方を
合成画像生成データとして用いないことにより、対応点
対の相対画素位置の誤差あるいは画素値に重畳するノイ
ズ成分に敏感に反応して発生する不要な高周波成分が抑
制される。さらに、高精細画像生成において、歪み像
部、ボケ像部、対応点対が求まらないオクルージョン像
部での処理を上記のごとく変更することにより、不要な
処理手順の省略や誤対応による画像劣化の抑制がなされ
る。
ることにより、少なくとも一定レベルの画質を有する画
像が常に出力される。特に、基本画像となる画像信号を
出力する撮像素子を有する撮像系を、その結像光学系の
光軸を前記被写体に向けて配置させることにより、少な
くとも被写体の正面からの画像を特別な処理を付加する
ことなく常に出力できるし、至近撮影時においても、撮
影者が不自然な操作感を受けることなく撮影を行なえ
る。
て説明する。
装置の第1実施例の概略構成図である。本実施例の複眼
撮像装置は、右撮像系10R および左撮像系10L の2
つの撮像系を用いて被写体を撮像して得られる2つの画
像を並列に接続することにより1つのパノラマ合成画像
を得るものである。
左撮像系10L は、不図示の鏡筒内に組み込まれた結像
光学系としての撮像レンズ群11L と、この撮像レンズ
群11L に装着された、被写体からの光を3原色に分解
するための色分解プリズム12L と、色分解プリズム1
2L によって分解された光毎に設けられた撮像素子とし
ての、それぞれ矩形の有効受光部を持つ3つのCCDセ
ンサ13L (1つのみ図示)とを有する。撮像レンズ群
11L は、フォーカスモータ14L により駆動される合
焦レンズ群15L と、ズームモータ16L により駆動さ
れる変倍レンズ群17L とを含む複数のレンズで構成さ
れ、各モータ14L 、16L は、光学系を制御する制御
ユニット20内の全系制御部21及びフォーカス・ズー
ム制御部22からの制御信号に応じてそれぞれ駆動され
る。一方、右撮像系10R も左側撮像系10L と同様に
構成されており、右撮像系10R の撮像レンズ群11R
の光軸LR は、左撮像系10L の撮像レンズ群11L の
光軸LL と同一平面上にある。
み込まれた前記各鏡筒は、それぞれ制御ユニット20の
輻輳角制御部23からの制御信号に応じて駆動される輻
輳角モータ18L 、18R の回転軸に結合されている。
各輻輳角モータ18L 、18 R の回転軸は、それぞれ両
撮像レンズ群11L 、11R の光軸LL 、LR を含む平
面と垂直方向に延びており、各輻輳角モータ18L 、1
8R を駆動させることにより、各撮像レンズ群11L 、
11R はそれぞれに設けられた色分解プリズム12L 、
12R およびCCDセンサ13L 、13R と一体となっ
て回転され、各撮像レンズ群11L 、11R の光軸
LL 、LR の互いに成す角(輻輳角)が設定される。ま
た、各撮像系10L 、10R には、各合焦レンズ群15
L 、15R の位置を検出するためのフォーカスエンコー
ダ24L 、24R 、各変倍レンズ群17L 、17R の位
置を検出するためのズームエンコーダ25L 、25R 、
および輻輳角を検出するための輻輳角エンコーダ2
6L 、26R が設けられている。これらは、例えばポテ
ンショメータのような外付けの部材を用いてもよいし、
パルスモータのような駆動系自身の持つ信号情報により
それぞれの位置や角度を検出するものを用いてもよい。
は、本発明の特徴である画像処理部30を介して画像出
力部40が接続されている。画像処理部30は、図2に
示すように、各撮像系10L 、10R のCCDセンサ1
3L 、13R (図1参照)からの画像信号であるビデオ
信号をそれぞれ保持する左画像メモリ31L および右画
像メモリ31R からなる画像入力部32と、画像入力部
32にそれぞれ入力された各ビデオ信号により得られる
左右各画像に基づいて1つの合成画像を生成するための
画像変換部38と、画像変換部38で合成された画像を
保持し、画像出力部40に出力するための合成画像メモ
リ39とを有する。画像変換部38はさらに、画像入力
部32に入力された両画像のうち、後述する二重像発生
可能領域の全ての画素について両画像間の対応点対の抽
出を行なう対応点抽出部33と、対応点対抽出の結果か
ら各対応点対の三次元位置(距離情報)を算出し、その
情報による二重像の領域分けを行なう二重像領域分け部
34と、領域に分けられた各二重像が二重像非発生領域
に接続している割合の多い方の画像を決定する二重像種
別判断部35と、前記二重像非発生領域に接続している
割合の多い方の画像側に属する二重像を残して合成画像
生成データとして用い、かつ他の画像側に属する二重像
を除去する片側像二重像一括除去部36と、二重像が除
去された後の画像に後処理を施す除去後処理部37とに
分けられる。
系の主要部を、各撮像レンズ群11 L 、11R の光軸L
L 、LR の成す平面に垂直な方向から見た図である。た
だし、説明を簡略にするために、各色分解プリズム12
L 、12R (図1参照)部分は省略するとともに、各C
CDセンサ13L 、13R についても左右それぞれ1つ
ずつのみ示した。図3に示すように、右撮像系10R の
撮像レンズ群11R およびCCDセンサ13R は合焦物
体面50R を有するとともに、撮像可能な領域が、CC
Dセンサ13R の有効受光部により直線51R と52R
とで挟まれる領域に制限され、この合焦物体面50R が
端面51R および端面52R とそれぞれ交わる交線BR
から交線Aまでの領域が、有効被写体領域となる。左撮
像系10 L についても同様に、合焦物体面50L 上の交
線Aから交線BL までの領域が有効被写体領域となって
いる。左右各撮像系10L 、10R のフォーカスモータ
14L 、14R (図1参照)およびズームモータ1
6L 、16R (図1参照)は、それぞれの合焦物体面5
0L 、50R とCCDセンサ13L 、13R との距離、
および結像倍率が左右互いに等しくなるように制御さ
れ、かつ各輻輳角モータ18L 、18R (図1参照)は
各撮像系10L 、10R の有効被写体領域の端部が互い
に交線Aで一致するように制御される。各モータ1
4L 、14R 、16L 、16R 、18L 、18R の制御
は、各エンコーダ24L 、24R 、25L 、25 R 、2
6L 、26R (図1参照)からの信号を受けた制御ユニ
ット20(図1参照)を通じて行われる。特に輻輳角モ
ータ18L 、18R は、フォーカスエンコーダ24L 、
24R およびズームエンコーダ25L 、25R からの出
力信号から算出される合焦物体面50L 、50R の位置
および有効被写体領域の端部位置の信号に連動して制御
される。
像系10L 、10R で撮像される被写体のうち、両方の
画像に含まれる可能性があるのは、斜線で示した領域5
3(端面51L 、52R で挟まれた境界を持ち、交線A
より遠景の領域)に存在する被写体である。ここで、こ
の両方の画像に含まれる可能性のある領域53が、各撮
像系10L 、10R に対して無限遠まで広がることを考
慮に入れて、各撮像レンズ群11L 、11R の物体側主
平面中心へ向けて、領域53を合焦物体面50L 、50
R に射影すると、領域53は、右撮像系10R について
は、撮像レンズ群11R の物体側主平面の中心を通り、
かつ端面51L に平行な平面を示す矢印CR が合焦物体
面50R と交わる交線DR と、交線Aとの間の領域55
R に対応する。同様に、左撮像系10L については領域
53は、撮像レンズ群11L の物体側主平面の中心を通
り、かつ端面52R に平行な平面を示す矢印CL が合焦
物体面50L と交わる交線DL と、交線Aとの間の領域
55L に対応する。これらのことから、見かけ上領域5
5L 、55R 上の被写体として撮像されるものが二重像
になるおそれがあり、これら各領域55L 、55R が二
重像発生可能領域となる。その他の領域については1つ
の撮像系でしか撮像されない領域なので、二重像が発生
しない二重像非発生領域となる。
理手順について図2を参照しつつ説明する。
すると、画像処理部30の画像入力部32には、画像情
報が各撮像系10L 、10R 毎にビデオ信号として入力
され、それぞれの画像メモリ31L 、31R に保持され
る。このときの各撮像系10 L 、10R と物体との位置
関係の例を示したのが図4であり、図4の(A)は、図
3と同様の方向から物体を見たときの物体の位置を示す
図、図4の(B)は、同図の(A)に示した位置にある
物体を撮像したときの、左右各CCDセンサの有効受光
部を撮像レンズ群側から見た図である。図4の(A)に
示すように、両方の画像に含まれる可能性のある領域5
3中に存在する物体60は、見かけ上左右各撮像系10
L 、10R の合焦物体面50L 、50R 上の領域5
6L 、56Rに存在する如く各CCDセンサ13L 、1
3R 上に投影される。すなわち、図4の(B)に示すよ
うに、右側のCCDセンサ13R においては交線DR と
交線点Aとに挟まれた領域55R 中に、物体60に対応
する像60R が投影され、左側のCCDセンサ13L に
おいては交線DL と交線Aとに挟まれた領域55L 中
に、物体60に対応する像60L が投影される。ここ
で、左右各CCDセンサ13 L 、13R は、それぞれ点
L0 、R0 を原点として水平及び垂直方向の画素位置を
カウントするものとし、各画像中の像60L 、60R の
位置は、それぞれの重心等の代表点の座標(mL ,
nL )、(mR ,nR )で示す。
が見える構図を撮像した場合を例に挙げて説明する。図
5は、自動車の背景に道路標識が見える構図を撮像した
ときの、左右それぞれの投影画像を示す図であり、自動
車61は、ほぼ各撮像系の合焦物体面50L 、50
R (図3および図4参照)上に位置している。図5にお
いて、領域55L 、55R が、上述したように二重像発
生可能領域であり、各撮像系の合焦物体面50L 、50
R は自動車61上にあるので左右の画像では自動車61
は滑らかに接続しているが、道路標識62は自動車61
の後方にあるので両画像中に二重に表われている。
いて各画像の対応点対を抽出する。対応点抽出法の代表
的な一つの方法として、テンプレートマッチング法があ
る。この方法は、例えば左画像中のある1点を囲むテン
プレートを考え、そのテンプレートの画像に対する右画
像中での類似性の比較によって対応点を決定するもので
ある。類似性の比較の一方法である相関法は、テンプレ
ートの画像中の画素値と探索画像中の画素値との相互相
関をとり、最大値となった座標を対応点とするものであ
り、その関係式を以下の式(1)に示す。
右の画像の画素値であり、σ(mR ,nR ,mL ,
nL )は 相関の度合いを表すものである。また、
mR 、nR 、mL 、nL は画素座標を示す。なお、二乗
和または積和計算でi,jの前の符合が左右画像で逆に
なるのは、図4の(b)に示した画素座標軸は左右対称
になるように定義されているからである。そして、数1
の正規化相互相関では最大値は1となる。
領域55R 内の各画素点について左画像の領域55L 内
の全ての点に対応する数1の値を求め、最大値となる左
右画像の座標対を求める。次に、求められた各座標対の
うち、数1の値σが予め決められた閾値σth以上の場合
すなわちσ≧σthとなる場合についてのみ二重像となる
対応点対とする。これは、本実施例のワイド画像撮像系
の場合、合焦物体面50L 、50R に射影される領域の
うち二重像非発生領域がかなりの部分を占めるため、二
重像と誤判断することによる合成画像の劣化を防止する
ために最小限必要なことである。
に示した二重像領域分け部34で二重像の領域分けを行
なう。二重像領域分けの処理では、まず各対応点対の三
次元空間内での位置を以下に示す三角測量法により求め
る。
1L 、11R (図3参照)の物体側主平面の中心点
OL 、OR をそれぞれX軸上でZ軸に対して線対称に配
置し、その中心点OL 、OR 間を結ぶ基線の長さを基線
長bとすると、各中心点OL 、O R の座標はそれぞれ
(−b/2,0,0)、(b/2,0,0)で表わされ
る。また、三次元空間内の1点Pを各中心点OL 、OR
に向けて投影したときの、左右各CCDセンサ13L 、
13R 上での投影点はそれぞれPL 、PR となり、点
P、PL 、PR の座標をそれぞれ(X,Y,Z)、(X
L ,YL ,ZL )、(X R ,YR ,ZR )で表わす。こ
こで、三次元空間中の点P、PL 、PR の三点を結んで
できる平面をエピポーラ面といい、エピポーラ面とセン
サ面との交線をエピポーララインという。
れぞれ以下に示す式(2)、(3)、(4)により与え
られる。
LR が、それぞれその物体側主平面の中心点OL 、OR
を通り、かつZ軸に平行な直線に対してなす角度(これ
を輻輳角という)をθとするとともに、各撮像レンズ群
11L 、11Rの焦点距離をfとすると、 ZR ={XR −(b/2)+f・sin(θ)}tan(θ)+f・cos(θ) ZL =−{XL +(b/2)−f・sin(θ)}tan(θ)+f・cos(θ) の関係が成り立ち、以上の各式により点Pの座標(X,
Y,Z)が求められる。
対応点対の位置とし、そのZ座標値(奥行きの方向の距
離)をパラメータとするヒストグラムを求める。このヒ
ストグラムから、奥行き距離の不連続になる領域を境に
して領域分けを行う。
示すようにαとβの2つの領域に分けられたヒストグラ
ムが得られる。すなわち、図7に示した領域αが図5に
示した自動車61に相当し、また、図7に示した領域β
が図5に示した道路標識62に相当する。
重像種別判断部35により、領域分けされた各二重像を
次に示す4つの種別に区分けする。すなわち図4の
(B)に示した各画像において、 (種別1)交線DR 上の点を含み、交線DL 上の点を含
まない二重像。 (種別2)交線DR 上の点を含まず、交線DL 上の点を
含む二重像。 (種別3)交線DR 上の点を含まず、交線DL 上の点を
含まない二重像。 (種別4)交線DR 上の点を含み、交線DL 上の点を含
む二重像。 という4つの種別である。そして、種別1に区分けされ
た二重像について、その面積の総和S1を求めるととも
に、種別2に区分された二重像について、その面積の総
和S2とを求める。なお、本実施例では、種別3および
種別4に区分けされた二重像については特に処理を施さ
ない。
去部36により、二重像種別判断部35で求めた面積S
1が面積S2より大きいか等しい場合には、右画像中に
存在する二重像対応点のみを残し、左画像中の対応点を
除去する。逆に、面積S1が面積S2より小さい場合に
は、左画像中に存在する二重像対応点のみを残し、右画
像中の対応点を除去する。これは、種別1に区分けされ
た二重像の面積が大きい場合には、右画像中の二重像の
方が二重像が発生しない領域により多く接続し、種別2
に区分けされた二重像の面積が大きい場合には、左画像
中の二重像の方が二重像が発生しない領域により多く接
続しているという考えに基づくものである。
去後の画素は図2に示した除去後処理部37により、例
えば周辺画素からの値に置換する等の後処理が行われ
る。その後、左右の画像が接続されて合成画像メモリ3
9に保持され、モニタ等の画像出力部40に出力され
る。
を施して接続した画像を図8に示す。図8に示すよう
に、合焦物体面50L 、50R (図3参照)の後方にあ
る道路標識は、前述した種別2に区分けされ、左側画像
の領域55R 中の二重像62’は除去される。一方、自
動車61については種別4に区分けされるので特に処理
は施されないが、ほぼ合焦物体面50L 、50R 上にあ
るので連続的につながっている。これにより、二重像の
発生のない自然な画像が得られる。
像を除去することで、左右画像のうち二重像が発生しな
い領域への連結成分が多い方の二重像成分を残すことが
できるので、二重像が発生しない領域と滑らかに接続す
る部分の多い合成画像を得ることができる。
置の第2実施例について説明する。図9は、本発明の複
眼撮像装置の第2実施例の画像処理部のブロック図であ
る。本実施例は、図1、図3および図4に示した第1実
施例のものと、画像処理部の構成が異なっているだけで
他の構成は同様であるので、同様の部分については第1
実施例のものと同じ符号を付するとともにその説明は省
略し、以下に、画像処理部の構成について説明する。
撮像系10L 、10R のCCDセンサ13L 、13
R (図1参照)からのビデオ信号をそれぞれ保持する左
画像メモリ31L および右画像メモリ31R からなる画
像入力部32と、画像入力部32にそれぞれ入力された
各ビデオ信号により得られる左右各画像に基づいて1つ
の合成画像を生成するための画像変換部138と、画像
変換部138で合成された画像を保持し、画像出力部4
0に出力するための合成画像メモリ39とを有する。画
像変換部138はさらに、画像入力部32に入力された
両画像のうち、二重像発生可能領域の全ての画素につい
て両画像間の対応点対の抽出を行なう対応点抽出部13
3と、対応点対抽出の結果から各対応点の二次元位置を
算出し、その情報による二重像の領域分けを行なう二重
像領域分け部134と、二重像領域分け部134で分け
られた領域に基づき、少なくとも一方の二重像を残して
合成画像生成データとして用いる片側像除去部136
と、二重像が除去された後の画像に後処理を施す除去後
処理部137とに分けられる。
明する。図3および図4の(A)に示したような配置に
おいては、主被写体はパノラマ合成画像の中心部に、し
かも交線Aを中心とした合焦部に位置する場合が多い。
このため、主被写体の背景に別の被写体が存在する場
合、右画像においては主被写体の右側に別の被写体の像
が、左画像においては主被写体の左側に別の被写体の像
が現われ、別の被写体は二重像となる。この場合、図1
0に示すように、図3に示した領域53を左右に二等分
し、それぞれを左領域53Lおよび右領域53Rとする
と、右画像中の別の被写体の像は右領域53Rよりも右
側の領域からの像と連続的にあるいは滑らかにつながっ
ていると考えられ、同様に、左画像中の別の被写体につ
いては左領域53Lより左側からの像とつながっている
と考えられる。
連続性を重視した画像再構成を行う。そのために、右領
域53Rに存在する被写体の画像は図4の(B)に示し
た右画像中に残し、左領域53Lに存在する被写体の画
像は図4の(B)に示した左画像中に残すという処理を
行う。被写体が右領域53Rに存在するか左領域53L
に存在するかの判断は、第1実施例と同様の対応点抽出
法により二重像の対応点対を求め、図4の(B)中に示
した像60L の代表点座標(mL ,nL )および像60
R の代表点座標(mR ,nR )をここでは対応点抽出処
理後の対応点座標対と考えると、実際の処理としては、
像60L 、60R の位置関係からみて次の分岐処理を行
なえばよい。 (a) mR >mL ならば右画像中に残す。 (b) mR <mL ならば左画像中に残す。 (c) mR =mL ならば左右両画像中に残す。
周辺の画素の信号値で置換する後処理を行なえばよい。
以上の処理により構成された左右の画像を交線Aおよび
A’上で接合するように合成することにより、主被写体
領域に不連続な部分が生じることなく、かつ背景画像域
における不連続の発生すなわち二重像の発生が最小限に
抑えられたパノラマ合成画像が得られる。
0R 、50L の端部である交線AとA’とを常に一致す
るように制御するため、主被写体像は常に連続かつ滑ら
かになるとともに、主被写体の距離変化に伴う合焦物体
面50L 、50R の移動に際しても常に一定の画角範囲
の画像を撮影できる点にある。
置の第3実施例について説明する。本実施例は第2実施
例と比較して左右各撮像系の輻輳角が異なるものであ
り、以下に、図11を参照して説明する。図11は、本
発明の複眼撮像装置の第3実施例の光学系の主要部を、
各撮像レンズ群の光軸の成す平面に垂直な方向から見た
図である。図11において、図3に示したものと同様な
部分については同じ符号を付するとともに、図示してい
ない装置の概略構成については第2実施例のものと同様
であるのでその説明は省略する。
0L 、10R の輻輳角は、各撮像系10 L 、10R の有
効被写体領域の一端面である端面51L と52R との交
わったところが、各撮像系10L 、10R の至近撮影時
の合焦物体面50L ’と50R ’との交線A’に一致す
るように制御されている。この場合、各撮像レンズ群1
1 L 、11R のズーミングにより合焦距離が変化し、か
つ有効被写体領域の一端面である端面51L および52
R もズーミングによる有効画角の変動に伴って変化する
ので、輻輳角制御はズーム制御に連動して行なわれる。
フォーカス及びズーム制御は第1実施例と同様に行なわ
れる。また、各合焦物体面50L 、50R の位置は各フ
ォーカスエンコーダ24L 、24R (図1参照)および
各ズームエンコーダ25L 、25R (図1参照)の出力
信号値から算出される。
部で示した領域53’中に存在する物体が二重像として
撮影されるおそれがある。この領域53’中に存在する
物体は、第1実施例と同様に、みかけ上左右各撮像系の
各合焦物体面50L 、50R上の領域55L 、55R に
存在する如く各CCDセンサ13L 、13R 上に投影さ
れる。図12は、図11に示した左右各CCDセンサの
有効受光部を撮像レンズ群側から見た図である。ここ
で、左右各画像の画素座標値は、図4の(B)の場合と
同様に,それぞれ(mL ,nL )、(mR ,nR )で定
義するものとする。
11および図12を参照して説明する。本実施例では、
左右各画像からパノラマ合成画像を生成する為に以下の
3つの処理を行なう。 領域55L 、55R 中の対応点対の抽出。 領域55L 、55R 中の対応点対の位置関係に基く
片方の像の除去。 合焦物体面50L 、50R の交線A上の画像を連続
的に接続する合成処理。
施例と同様の処理方法で実現できる。
す。
合成画像の中心部にしかも左右各撮像系10L 、10R
の合焦物体面50L 、50R の交線Aを中心とした合焦
部近傍に位置する場合が多い。したがって、本実施例に
おいても第2実施例に示したのと同様の考察に基いて、
画像の連続性を重視した画像再構成を行う。そこで、領
域53’を第2実施例と同様に右領域53L ’と左領域
53R ’とに二等分して考え、上述した画素座標値に基
づいて、 (a) mR >mL ならば右画像中に残す。 (b) mR <mL ならば左画像中に残す。 (c) mR =mL ならば左右両画像中に残す。 という3つの分岐処理を行う。
よりも左側の領域と、左画像中の交線Aよりも右側の領
域とを削除する。次に、削除後の両画像を交線Aで一致
させて合成することにより、主被写体領域に不連続な部
分が生じることなく、かつ背景画像域における不連続の
発生すなわち二重像の発生が最小限に抑えられたパノラ
マ合成画像が得られる。
置の第4実施例について説明する。本実施例は第2実施
例および第3実施例と比較して左右各撮像系の輻輳角が
異なるものであり、以下に、図13を参照して説明す
る。図13は、本発明の複眼撮像装置の第3実施例の光
学系の主要部を、各撮像レンズ群の光軸の成す平面に垂
直な方向から見た図である。図13において、図3に示
したものと同様な部分については同じ符号を付するとと
もに、図示していない装置の概略構成については第2実
施例のものと同様であるのでその説明は省略する。
0L 、10R の輻輳角は、各撮像系10 L 、10R の有
効被写体領域の一端面である端面51R 、52L が無限
遠で交わるように、すなわち両者が平行となるように制
御されている。この場合、輻輳角制御は第3実施例でも
述べたようにズーム制御に連動して行う必要がある。フ
ォーカス及びズーム制御は第1実施例と同様に行われ
る。
部で示した領域53’’中に存在する物体が二重像とし
て撮影されるおそれがある。この領域53’’を各撮像
レンズ群11、11を通して各CCDセンサ13、13
上に投影すると、この領域53’’は各CCDセンサ1
3、13の有効受光部の全域に広がる。図14は、図1
3に示した左右各CCDセンサの有効受光部を撮像レン
ズ群側から見た図である。ここで、左右各画像の画素座
標値は、図4の(B)の場合と同様に,それぞれ
(mL ,nL )、(mR ,nR )で定義するものとす
る。
13および図14を参照して説明する。本実施例でも第
3実施例と同様に、左右各画像からパノラマ合成画像を
生成する為に以下の3つの処理を行なう。 画像全域の対応点対の抽出。 画像全域の対応点対の位置関係に基く片方の像の除
去。 合焦物体面50L 、50R の交線A上の画像を連続
的に接続する合成処理。
同様の処理方法で実現できるが、本実施例ではその範囲
を有効受光部全域について行う必要がある。
施例と同様の考察に基いて、画像の連続性を重視し、各
対応点座標対について、 (a) mR >mL ならば左画像中に残す。 (b) mR <mL ならば右画像中に残す。 (c) mR =mL ならば左右両画像中に残す。 という分岐処理を行えばよい。本実施例の場合、この処
理は第2実施例および第3実施例と左右逆になってい
る。
て、右画像中の交線Aより右側の領域と左画像中の交線
Aより左側の領域を削除した後、削除後の両画像を交線
Aで一致させるように左右逆に配置して合成を行なうこ
とにより、主被写体領域に不連続な部分が生じることな
く、かつ背景画像域における不連続の発生すなわち二重
像の発生が最小限に抑えられたパノラマ合成画像が得ら
れる。
置の第5実施例について説明する。図15は、本発明の
複眼撮像装置の第5実施例の画像処理部のブロック図で
ある。本実施例は、図1、図3および図4に示した第1
実施例のものと、画像処理部の構成が異なっているだけ
で他の構成は同様であるので、同様の部分については第
1実施例のものと同じ符号を付するとともにその説明は
省略し、以下に、画像処理部の構成について説明する。
各撮像系10L 、10R のCCDセンサ13L 、13R
(図1参照)からのビデオ信号をそれぞれ保持する左画
像メモリ31L および右画像メモリ31R からなる画像
入力部32と、画像入力部32にそれぞれ入力された各
ビデオ信号により得られる左右各画像に基づいて1つの
合成画像を生成するための画像変換部238と、画像変
換部238で合成された画像を保持し、画像出力部40
に出力するための合成画像メモリ39とを有する。画像
変換部238はさらに、画像入力部232に入力された
両画像のうち、二重像発生可能領域の全ての画素につい
て両画像間の対応点対の抽出を行なう対応点抽出部23
3と、対応点対抽出の結果から各対応点対の三次元位置
(距離情報)を算出し、その情報による二重像の領域分
けを行なう二重像領域分け部234と、領域に分けられ
た各二重像が、両方の画像の二重像発生可能領域(図4
の(B)に示した領域55L 、55R )のみに含まれて
いるものか、一方の画像の二重像非発生領域(二重像発
生可能領域を除く領域)にも含まれているものか、ある
いは両方の画像の二重像非発生領域にも含まれているも
のかの3種類の種別に区分する二重像種別判断部235
と、二重像種別判断部235で区分された種別に基づ
き、二重像が両方の画像の二重像非発生領域にも存在す
る場合を除いて、二重像の一方を除去する二重像除去部
236と、二重像が除去された場合には除去部に置換等
を行ない、二重像が除去されない場合には所定の部分を
横変倍する後処理を施す除去後処理部237とに分けら
れる。
理手順について説明する。
を撮像すると、画像処理部230の画像入力部32に
は、画像情報が各撮像系10L 、10R 毎にビデオ信号
として入力され、それぞれの画像メモリ31L 、31R
に保持される。
実施例で述べたのと同様のテンプレートマッチング法等
により二重像発生可能領域の対応点抽出を行い、さら
に、二重像領域分け部234において、第1実施例で述
べたのと同様にして、三角測量法等により各二重像の対
応点対の三次元空間内での位置を求め、そのZ座標値を
パラメータとしたヒストグラムを求めて二重像の領域分
けを行なう。
別判断部235において、領域分けされた各二重像を次
に示す4つの種別に区分けする。すなわち図4の(B)
に示した各画像において、 (種別1)交線DR 上の点を含み、交線DL 上の点を含
まない二重像。 (種別2)交線DR 上の点を含まず、交線DL 上の点を
含む二重像。 (種別3)交線DR 上の点を含まず、交線DL 上の点を
含まない二重像。 (種別4)交線DR 上の点を含み、交線DL 上の点を含
む二重像。 という4つの種別である。
6および除去後処理部237では、二重像種別判断部2
35で区分けされた4つの種別で各々異なる下記の処理
を行う。 (種別1の処理) 右画像中の二重像を残し、左画像中
の二重像を除去する。除去後の左画像において、除去部
の画素は例えば周辺画素からの値に置換する等の後処理
を行う。 (種別2の処理) 種別2は、図5に示した画像での道
路標識62に相当し、この場合には種別1の処理と左右
逆の処理を行う。 (種別3の処理) 左右いずれか一方の二重像を残し、
他方の二重像を除去する。後処理は、種別1の処理と同
じである。 (種別4の処理) 左右いずれか一方の二重像を横方向
について2倍に拡大して図4の(B)に示した交線
DL 、DR に接するように合成する。または、二重像非
発生領域と滑らかに接続させるに、左右両画像の各対応
点対座標から以下に示すの写像で変換を行ってから、横
方向について2倍に拡大して交線DL 、DR に接するよ
うに合成してもよい。そのための写像としては例えば、 XS =(XL ・dR +XR ・dL )/(dR +dL ) YS =(YL ・dR +YR ・dL )/(dR +dL ) がある。ここで、図4の(B)に示した各領域55L 、
55R の左上の点をそれぞれ各領域55L 、55R の原
点としたとき、右画像中の二重像の座標を(XR,Y
R )、左画像中の二重像の座標を(XL ,YL )、二重
像からの合成画像の座標を(XS ,YS )で表わすもの
とする。また、dR は右画像中の二重像の座標(XR,
YR ) と交線DR との距離、dL は左画像中の二重像
の座標(XL ,YR )と交線DR との距離である。
内の二重像が両方の画像の二重像非発生領域に含まれて
いる場合にはその二重像を横方向に2倍に拡大すること
により、二重像発生可能領域が二重像非発生領域と滑ら
かに接続した合成画像が得られる。
のの第6実施例について説明する。本実施例は、第5実
施例において区分けした種別4に対する処理が異なるも
のである。その他の構成および処理については第5実施
例と同様であるのでその説明は省略し、以下に本実施例
の特徴となる部分について説明する。
するための図であり、主被写体である自動車の背景に山
が見える構図を撮像したものである。この場合、第5実
施例と同様にして二重像の領域分けを行なうことによ
り、図16の(A)に示すように、左右各画像は、主被
写体である自動車を主に含む領域と、自動車を含まない
領域とに上下2分割される。さらに、二重像発生可能領
域である領域55L 、55R において、下側の領域を
α、α’とし、上側の領域では山の部分の領域β、β’
と、その背景の領域γ、γ’とに分けて考える。また、
領域55L 、55Rを除く領域すなわち二重像非発生領
域のうち、上側の領域をそれぞれδ、δ’とする。図1
6の(A)中のβ、β’の対、およびγ、γ’の対は、
それぞれ第5実施例で述べた種別4に区分けされた二重
像となるが、本実施例ではこのうちの一方の二重像のみ
を横方向2倍に拡大するのではなく、一方の二重像(図
中斜線で示した、幅がl2 の部分)を除去した後、右画
像においては下側の領域の右端部(図中斜線で示した、
幅がl12の部分)を除去するとともに、左画像において
は下側の領域の左端部(図中斜線で示した、幅がl11の
部分。ただし、l11=l 12、l11+l12=l2 )を除去
し、上下2つの領域に対して同じ比率で、二重像の左右
に広がる画像全体、すなわち領域β、γの右側全体の領
域δと、領域β’、γ’の左側全体の領域δ’も横変倍
する。そして、これを拡大合成することにより、図16
の(B)に示したように、画像の中心部で滑らかに接続
されたパノラマ合成画像が得られる。種別4に区分けさ
れない部分がある場合には、第5実施例に示した除去処
理および後処理を行なう。
非発生部の端部を除去しているが、通常は、主要な被写
体は画像の中心部に配置されるので、画像の端部を除去
してもそれほど影響はない。また、本実施例では、画像
が上下2つの領域に分割されるものの例を示したが、3
つ以上の領域に分割される場合も同等の処理を行えばよ
い。さらに、横変倍処理のみでなく、横変倍と同じ比率
で縦変倍し、画像上下端部をカットして合成画像とする
ことにより、縦横比に歪みのない画像を得ることもでき
る。
置の第7実施例について説明する。図17は、本発明の
複眼撮像装置の第7実施例の画像処理部のブロック図で
ある。本実施例は、右撮像系10R および左撮像系10
L の2つの撮像系を用いて被写体を撮像して得られる2
つの画像を合成することにより1つの高精細画像を得る
ものであり、その構成は、図1に示した第1実施例のも
のと、画像処理部の構成が異なっているだけで他の構成
は同様であるので、同様の部分については第1実施例の
ものと同じ符号を付するとともにその説明は省略し、以
下に、画像処理部の構成について説明する。
各撮像系10L 、10R のCCDセンサ13L 、13R
(図1参照)からのビデオ信号をそれぞれ保持する左画
像メモリ31L および右画像メモリ31R からなる画像
入力部32と、画像入力部32にそれぞれ入力された各
ビデオ信号により得られる左右各画像に基づいて1つの
合成画像を生成するための画像変換部138と、画像変
換部138で合成された画像を保持し、画像出力部40
に出力するための合成画像メモリ39とを有する。画像
変換部138はさらに、画像入力部132に入力された
両画像のうち、両撮像系の被写体となり得る領域の全て
の画素について両画像間の対応点対の抽出を行なう対応
点抽出部133と、対応点対抽出の結果から各対応点の
位置が、基本となる画像の画素位置に対して所定の距離
だけ離れているかを判断する近接対応点判断部334
と、近接対応点判断部334により、対応点の位置が基
本となる画像の画素位置に対して所定の距離だけ離れて
いないと判断された場合には、その対応点を合成画像用
データから除去する近接対応点除去部335と、近接対
応点除去部335により除去されなかった対応点を合成
画像用データとして用いて、基本画像に対して補間処理
を行なう画像補間部336とに分けられる。
各撮像レンズ群の光軸の成す平面に垂直な方向から見た
図である。図18に示すように、左右各撮像系10L 、
10 R の輻輳角は、それぞれの光軸LL 、LR が互いに
平行になるように制御される。また、各撮像系10L 、
10R のフォーカスおよびズームはそれぞれの合焦物体
面50L 、50R とCCDセンサ13L 、13R との距
離および結像倍率が左右互いに等しくなるように制御さ
れ、各合焦物体面50L 、50R は同一平面上に形成さ
れる。フォーカスおよびズームを制御するための各モー
タ14L 、14 R 、16L 、16R (図1参照)は、そ
れぞれ第1実施例同様各エンコーダ24 L 、24R 、2
5L 、25R (図1参照)からの信号を受けた制御ユニ
ット20(図1参照)を通じて駆動される。そして本実
施例では、斜線で示した領域58が、左右両撮像系10
L 、10R の被写体となりうる領域であり、この領域5
8に存在する被写体が、高精細画像の対象となる被写体
となる。
理手順について図17および図18を参照して説明す
る。
を撮像すると、画像処理部330の画像入力部32に
は、画像情報が各撮像系10L 、10R 毎にビデオ信号
として入力され、それぞれの画像メモリ31L 、31R
に保持される。
実施例で述べたのと同様のテンプレートマッチング法等
により領域58の対応点対の抽出を行なう。ただし、本
実施例においては一画素ピッチ以下での画素相対位置精
度が要求されるので、エラーの少ない画像低周波成分に
よるマッチングを行うため、テンプレートのサイズを大
きくしたり、またはマッチング演算を行う前に画像の低
周波成分抽出処理を行えばよい。
像系10R の右画像に左撮像系10 L の左画像を合成し
て高精細画像を得るのであるが、この処理について図1
9を参照しつつ説明する。図19は、図18に示した光
学系によって得られる左右画像中の一部について、各C
CDセンサの画素位置を表わした図である。同図中×印
の点(l,m)は、高精細合成画像の基本画像となる右
撮像系10R の画像中の画素位置を示し、○印の点は高
精細合成画像において追加したい画素位置(l,m)’
を示している。ここで、l、mは画素座標を表わしてい
る。一方、四角印で示した点Qは上述の対応点抽出によ
って求められた左撮像系10L の画像中の画素位置を示
している。
より×印点のいずれかに対する四角印点Qの距離を求
め、その距離が画素ピッチpの1/10以下であるかど
うかを判断する。その結果、前記距離が画素ピッチpの
1/10以下である場合には、この四角印点Qは近接対
応点除去部335により合成画像用データから除去さ
れ、○印点(l,m)’の値を求めるためのパラメータ
として用いない。一方、前記距離が画素ピッチpの1
/10を越える場合には、この四角印点Qはそのまま○
印点(l,m)’の値を求めるためのパラメータとして
用いられる。次に、画像補間部336により右撮像系1
0R の画像に対して左撮像系10L の画像の補間処理が
行なわれるが、四角印点Qを用いる場合および用いない
場合のいずれについても、○印点の値を求める補完法と
しては、例えば二次元の不等間隔サンプリング点に対す
る座標変換法(IEEE Trans,Acoust,
33(85)1151)等を用いることが出来る。ここ
で、基本画像でない左撮像系10L からの画像のうち、
右撮像系10R からの基本画像側に対応点のない画素点
あるいは求まらない画像点は、もちろん○印点(1,
m)’の値を決定するためのパラメータとしては用いな
い。
の相対位置が非常に近接している場合に、相対画素位置
の誤差或は画素値の重畳するノイズ成分に敏感に反応し
て発生する不要な高周波成分を抑制できる効果を持つ。
これにより、基本画像よりも合成画像の方が画質が劣化
してしまうような状況を防止できる。
を示したが、左画像を基本画像として逆の画像合成を行
っても勿論構わない。
置の第8実施例について説明する。本実施例も第7実施
例と同様に高精細画像を得るための複眼撮像装置であ
り、第7実施例と比較して左右各撮像系の輻輳角が異な
るものである。図20は、本発明の複眼撮像装置の第8
実施例の光学系の主要部を、各撮像レンズ群の光軸の成
す平面に垂直な方向から見た図であり、第7実施例と同
様な部分については同じ符号を付した。
0L 、10R のうち右撮像系10R の輻輳角は零度に固
定されて、右撮像系10R の光軸LR を被写体(不図
示)に向け、右撮像系10R が常に被写体の正面を向く
ように設定されている。一方、左撮像系10L の輻輳角
は、右撮像系10R の光軸LR に対して左撮像系10L
の光軸LL が両撮像系10L 、10R の合焦物体面50
L 、50R の交点上で交わるように制御される。左撮像
系10L のフォーカスモータ14L (図1参照)および
ズームモータ16L (図1参照)は、右撮像系10R の
フォーカスモータ14 R (図1参照)およびズームモー
タ16R (図1参照)の設定と連動して、上記合焦物体
面50L 、50R および光軸LL 、LR の位置関係を保
つように制御される。各モータ14L 、14R 、1
6L 、16R の制御は、第7実施例と同様各エンコーダ
24L 、24R 、25L 、25R (図1参照)からの信
号を受けた制御ユニット20(図1参照)を通じて行わ
れる。
像を基本画像として高精細画像生成を行うものであり、
画像生成の方法については第7実施例と同様であるので
その説明は省略する。
の画像を基本画像としているので、高精細合成のできな
い部分が存在しても、少なくとも正面からの画像を特別
な処理を付加すること無く常に出力できる。また、装置
に対して正面からの画像を基本画像としているので、複
眼撮像系での至近撮影時においても、撮影者が不自然な
操作感を受けることなく撮影を行うことができる。
置の第9実施例について説明する。図21は、本発明の
複眼撮像装置の第9実施例の画像処理部のブロック図で
ある。本実施例は、第7実施例および第8実施例に示し
たのものと画像処理部の構成が異なっているだけで、光
学系の配置やその他の構成は同様であるので、同様の部
分については第1実施例のものと同じ符号を付するとと
もにその説明は省略し、第7実施例および第8実施例と
の違いを以下に述べる。
ニット20からの歪み量信号に基づいて対応点対の抽出
を行なわない領域を判断する対応点非抽出領域判断部4
37を設け、画像の歪みが大きく複雑な補正が必要な部
分は、一方の画像を合成画像用データとして用いない。
各撮像レンズ群(不図示)の歪曲収差や互いの光軸が平
行でないことに伴う画像の歪みが大きくなるので、対応
点対抽出を行う前に高精度の歪み補正を行う必要があ
る。一方、通常の自然画等を撮像する場合には画像中心
部に比べて周辺部に要求される解像力は低いので、画像
周辺部での高精細合成があまり必要とならない場合があ
りうる。このような状況に対応して、画像周辺部では一
方の入力画像だけを用いて出力画像を得る。この場合で
も歪み補正は必要になるが、合成を行う場合に比べて要
求される精度は低いので、より容易な処理方法を用いて
目的を達成できる。
抽出後に、制御ユニット20からのF値(開口数)信号
から像のボケの程度を推定する画像鮮鋭度判断部434
を設け、合焦物体面からずれて像のボケが大きい部分は
一方の画像を合成画像用データとして用いない。
の各点において行った対応点対抽出情報から、被写体上
の対応点が合焦物体面からどれだけ離れているかを算出
し、この距離情報および左右各撮像レンズ群のF値(開
口数)から像のボケの程度を推定する。これとCCDセ
ンサ(不図示)の画素密度とを比較して、合成効果が少
ないと判断される部分については、一方の入力画像だけ
を用いて出力画像を得る。これにより、補間等の一部の
合成処理を省略することができる。
抽出後に、オクルージョン領域が存在するかどうかを判
断するオクルージョン領域判断部435aと、オクルー
ジョン領域判断部435aにより判断されたオクルージ
ョン領域から、ある一定の周波数以上の成分を持って出
現する領域を算出し、その領域については一方の画像を
合成画像用データとして用ないようにするためのオクル
ージョン発生周波数判断部435bとを設ける。
理によって、一方の画像中の点で他方の画像中に対応点
が求まらない場合、これらの点からなる領域をいう。こ
のオクルージョン領域が画像中に繁雑かつ複雑に出現す
る被写体においては、対応点の誤対応が起きやすくな
り、合成画像の劣化を招く。したがって、複雑なオクル
ージョン領域では一方の入力画像だけを用いる。具体的
な方法の例としては、各入力画像の各画素点について、
他方の画像中での対応点の有無をメモリ上に記憶し、対
応点有無の変化の局所的な空間周波数がある一定の周波
数以上の成分を持つ領域を算出する。そして、この領域
については一方の入力画像だけを用いて出力処理を行
う。
いはオクルージョンに伴う処理手順の変更は、対応する
領域だけについて行うこともできるし、その領域が画像
中に占める割合がある一定限度を越えた場合には画像全
域について一方の入力画像だけを用いて出力画像を得る
選択を行ってもよい。いずれにしても、合成出力画像の
画質向上効果あるいは画質劣化の程度を予想して、一方
あるいは両方の入力画像を選択する。
が、もちろんこれらの手法は常に同時に行う必要は無
く、各々の手法が独立に効果を有する。
系10L 、10R の光軸LL 、LRを互いに平行になる
ように配置した第7実施例を除く各実施例においては、
左右各撮像系10L 、10R の合焦物体面50L 、50
R は同一平面上にはない。このため、画像接続部に若干
の幾何学的歪みが生じる。さらに、一方の撮像系が被写
体の正面に向くように設定した第8実施例の場合には、
被写体中の対応点すべき点のうち少なくとも一方に若干
のボケが生じる。これを防止するために、左右各撮像系
10L 、10R の合焦物体面50L 、50R が同一平面
上に配置されるように、左右各撮像系10L 、10R の
CCDセンサ13L 、13R の受光面を各々の光軸L、
Lに対して所定角傾けて配置することもできる。幾何学
的歪みについては入力画像に対して歪み補正処理を行う
こともできる。
L 、10R の合焦物体面50L 、50R の端部が一致す
るように配置したが、機構制御系の誤差発生を吸収する
ために、これら合焦物体面50L 、50R の端部を一部
重ねて配置し、重畳部での画像対応付けを行い、それに
基いて合成処理を行うこともできる。
は、それぞれ左右各撮像系10L 、10R が左右対称に
配置され、かつ各撮像系10L 、10R の光軸LL 、L
R を中心として対称となるように各CCDセンサ1
3L 、13R の有効受光部が配置されているが、本発明
はこの配置に限定されるものではない。例えばCCDセ
ンサ13L 、13R を光軸L、Lに対して一定角度あお
った配置とすることにより、左右の合焦物体面50L 、
50R を一平面上に形成することも可能である。また、
CCDセンサ13L 、13R を光軸に垂直な方向にずら
した配置をとることもできる。
像系10L 、10R からなる複眼撮像系について示した
が、撮像系の数はこれに限られるものではなく、3つ以
上の場合でも可能である。撮像素子についてはCCDセ
ンサ13L 、13R 以外の例えば撮像管を用いたもので
もよく、また色分解系を除去して受光部にモザイク状の
カラーフィルターを配した撮像素子を用いることもでき
る。
いるので、以下に記載する効果を奏する。
領域内の被写体の同一部分に対応する対応点対を各撮像
素子の各々からの画像信号を用いて抽出し、抽出された
対応点対の中で合成画像上の二重像発生可能領域におい
て一致せずに二重像を発生させる対応点対については、
その対応点対の一方の対応点を合成画像生成データとし
て用い、他方を合成画像生成データとして用いない画像
処理部を有することにより、合成画像の劣化を防止する
ことができる。
の画像の接続部近傍に発生する二重像を除去できるとと
もに、二重像非発生領域との画像の良好な接続性を保つ
ことができる。
点対の中の対応点同志が非常に近接存在する場合に、そ
の対応点対の中の一方の対応点を合成画像生成データと
して用い、他方を合成画像生成データとして用いないこ
とにより、対応点対の相対画素位置の誤差あるいは画素
値に重畳するノイズ成分に敏感に反応して発生する不要
な高周波成分を抑制することができる。さらに、高精細
画像の生成において、対応点抽出の前に歪み補正を必要
とする対応点対、あるいは各撮像系の合焦物体面からの
距離及び各結像光学系の開口数から予想される像のボケ
の程度が一定の閾値を越える対応点対、あるいは対とな
る対応点が求まらない画素点および前記対となる対応点
が求まらない領域とある一定の空間周波数以上で交互に
表れる対応点対の少なくとも一部については、その対応
点対の中の1つの対応点を前記合成画像生成データとし
て用いることにより、歪み像部、ボケ像部、オクルージ
ョン像部での、効果の薄い不要な処理手順を省略するこ
とができるとともに、誤対応による画像劣化を抑制する
ことができる。
号を合成画像生成のための基本画像とするとともに他の
画像信号を補助画像とすることにより、少なくとも一定
レベルの画質を有する画像を常に出力できる。
図である。
を、各撮像レンズ群の光軸の成す平面に垂直な方向から
見た図である。
たときの物体の位置関係を説明するための図であり、同
図(A)は、図3と同様の方向から物体を見たときの物
体の位置を示す図、同図(B)は、左右各CCDセンサ
の有効受光部を撮像レンズ群側から見た図である。
景に道路標識が見える構図を撮像したときの、左右それ
ぞれの画像を示す図である。
を行なう際の三角測量法を説明するための図である。
した二重像領域分け部で求められたヒストグラムであ
る。
画像処理部で合成することにより得られた合成画像を示
す図である。
部のブロック図である。
理手順を説明するための、図3に示した光学系の主要部
の斜線で示した領域の拡大図である。
の主要部を、各撮像レンズ群の光軸の成す平面に垂直な
方向から見た図である。
光部を撮像レンズ群側から見た図である。
の主要部を、各撮像レンズ群の光軸の成す平面に垂直な
方向から見た図である。
光部を撮像レンズ群側から見た図である。
理部のブロック図である。
合成処理を説明するための、自動車の背景に山が見える
構図を撮像したときの図であり、同図(A)は、画像合
成前の左右それぞれの画像を示す図、同図(B)は、画
像合成後の画像を示す図である。
理部のブロック図である。
の主要部を、各撮像レンズ群の光軸の成す平面に垂直な
方向から見た図である。
像中の一部について、各CCDセンサの画素位置を示し
た図である。
の主要部を、各撮像レンズ群の光軸の成す平面に垂直な
方向から見た図である。
理部のブロック図である。
て得られる2つの画像を合成することにより高精細な1
つの画像を得る複眼撮像装置の原理を説明するための図
である。
部 34、134、234 二重像領域分け部 35、235 二重像種別判断部 36 片側二重像一括除去部 37、137、237 除去後処理部 38、138、238、338 画像変換部 39 合成画像メモリ 40 画像出力部 50L 、50R 合焦物体面 50L ’、50R ’ 至近撮影時の合焦物体面 53、53’、53’’、55L 、55R 、58 領
域 53L 左領域 53R 右領域 60 物体 60L 、60R 像 136 片側像除去部 236 二重像除去部 334 近接対応点判断部 335 近接対応点除去部 336、436 画像補間部 434 画像鮮鋭度判断部 435a オクルージョン領域判断部 435b オクルージョン発生周波数判断部 437 対応点非抽出領域判断部
Claims (10)
- 【請求項1】 結象光学系と撮像素子を備える撮像系を
複数有し、前記撮像系のそれぞれで被写体を撮像するこ
とにより前記各撮像系の各々からの画像信号を用いてパ
ノラマ合成画像を生成し出力する複眼撮像装置におい
て、 前記撮像系の両方に撮像される二重像発生可能領域内の
被写体の同一部分に対応する対応点対を前記各撮像素子
の各々からの画像信号を用いて抽出し、抽出された対応
点対の中で前記パノラマ合成画像上の前記二重像発生可
能領域において一致せずに二重像を発生させる対応点対
については、二重像領域分けを行い、領域分けされた前
記二重像について処理を施し、その処理結果に基づいて
どちらの対応点をパノラマ合成画像生成データとして用
いるかの判断を行い、その対応点対の一方の対応点を前
記パノラマ合成画像生成データとして用い、他方を前記
パノラマ合成画像生成データとして用いない画像処理部
を有することを特徴とする複眼撮像装置。 - 【請求項2】 結象光学系と撮像素子を備える撮像系を
複数有し、前記撮像系のそれぞれで被写体を撮像するこ
とにより前記各撮像系の各々からの画像信号を並列合成
したパノラマ合成画像を生成し出力する複眼撮像装置に
おいて、 前記撮像系の両方に撮像される二重像発生可能領域内の
被写体の同一部分に対応する対応点対を前記各撮像素子
の各々からの画像信号を用いて抽出し、抽出された対応
点対の中で前記パノラマ 合成画像上の前記二重像発生可
能領域において一致せずに二重像を発生させる対応点対
については、一方の対応点のみをパノラマ合成画像生成
データとして用い、かつ、前記対応点対の中で、前記撮
像系のどちらか一方にしか撮像されない二重像非発生領
域に接続している二重像に属する対応点対については、
二重像を構成する二つの像の内で前記二重像発生可能領
域内の面積が大きい方の像に属する対応点を前記パノラ
マ合成画像生成データとして用いることを特徴とする複
眼撮像装置。 - 【請求項3】 結象光学系と撮像素子を備える撮像系を
複数有し、前記撮像系のそれぞれで被写体を撮像するこ
とにより前記各撮像系の各々からの画像信号を並列合成
したパノラマ合成画像を生成し出力する複眼撮像装置に
おいて、 前記撮像系の両方に撮像される二重像発生可能領域内の
被写体の同一部分に対 応する対応点対を前記各撮像素子
の各々からの画像信号を用いて抽出し、抽出された対応
点対の中で前記パノラマ 合成画像上の前記二重像発生可
能領域において一致せずに二重像を発生させる対応点対
については、一方の対応点のみをパノラマ合成画像生成
データとして用い、かつ、前記対応点対の中で、前記撮
像系のどちらか一方にしか撮像されない二重像非発生領
域までの距離が異なる対応点対については、その対応点
対の中で前記二重像非発生領域に近い方の対応点を前記
パノラマ合成画像生成データとして用いることを特徴と
する複眼撮像装置。 - 【請求項4】 結象光学系と撮像素子を備える撮像系を
複数有し、前記撮像系のそれぞれで被写体を撮像するこ
とにより前記各撮像系の各々からの画像信号を並列合成
したパノラマ合成画像を生成し出力する複眼撮像装置に
おいて、 前記撮像系の両方に撮像される二重像発生可能領域内の
被写体の同一部分に対応する対応点対を前記各撮像素子
の各々からの画像信号を用いて抽出し、抽出された対応
点対の中で前記パノラマ 合成画像上の前記二重像発生可
能領域において一致せずに二重像を発生させる対応点対
については、一方の対応点のみをパノラマ合成画像生成
データとして用い、かつ、前記対応点対の中で、二重像
を構成する二つの像の内で一方のみが前記撮像系のどち
らか一方にしか撮像されない二重像非発生領域に接続し
ている二重像に属する対応点対については、前記二重像
非発生領域に接続している像側の対応点を前記パノラマ
合成画像生成データとして用いると共に、二重像を構成
する二つの像の両方が前記二重像非発生領域に接続して
いる二重像に属する対応点については、前記二重像を構
成する二つの像のいずれか一方の像側の対応点を画像の
並列方向に拡大して前記パノラマ合成画像生成データと
して用いることを特徴とする複眼撮像装置。 - 【請求項5】 結象光学系と撮像素子を備える撮像系を
複数有し、前記撮像系のそれぞれで被写体を撮像するこ
とにより前記各撮像系の各々からの画像信号を用いて画
像補間処理を行い、合成画像を生成し出力する複眼撮像
装置において、 前記撮像系の両方に撮像される二重像発生可能領域内の
被写体の同一部分に対応する対応点対を前記各撮像素子
の各々からの画像信号を用いて抽出し、抽出された対応
点対の中で前記合成画像上の対応点同志が近接している
対応点対につい ては、その対応点対の一方の対応点を合
成画像生成データとして用い、他方を合成画像生成デー
タとして用いない画像処理部を有することを特徴とする
複眼撮像装置。 - 【請求項6】 前記合成画像は前記各画像信号を合成し
た高精細画像であり、前記画像処理部は、前記抽出され
た各対応点対の中で、前記合成画像上で対応点同志の間
隔が所定の間隔よりも小さい対応点対については、その
対応点対の中の一方の対応点を前記合成画像生成データ
として用い、他方の対応点を前記合成画像生成データと
して用いない請求項5に記載の複眼撮像装置。 - 【請求項7】 前記合成画像は前記各画像信号を合成し
た高精細画像であり、前記画像処理部は、前記各対応点
対のうち対応点抽出の前に歪み補正を必要とする対応点
対の少なくとも一部については、その対応点対の中の一
方の対応点を前記合成画像生成データとして用い、他方
の対応点を前記合成画像生成データとして用いない請求
項5に記載の複眼撮像装置。 - 【請求項8】 前記合成画像は前記各画像信号を合成し
た高精細画像であり、前記画像処理部は、前記抽出され
た各対応点対のうち前記各撮像系の合焦物体面からの距
離及び前記各結象光学系の開口数から予測される像のボ
ケの程度が一定の閾値を超える対応点対の少なくとも一
部については、その対応点対の中の一方の対応点を前記
合成画像生成データとして用い、他方の対応点を前記合
成画像生成データとして用いない請求項5に記載の複眼
撮像装置。 - 【請求項9】 前記合成画像は前記各画像信号を合成し
た高精細画像であり、前記画像処理部は、前記各対応点
対を抽出した後、対となる対応点が求まらない画素点及
び前記対となる対応点が求まらない領域とある一定の空
間周波数以上で交互に表れる対応点対の少なくとも一部
については、その対応点対の中の一方の対応点を前記合
成画像生成データとして用い、他方の対応点を前記合成
画像生成データとして用いない請求項5に記載の複眼撮
像装置。 - 【請求項10】 結象光学系と撮像素子を備える撮像系
を複数有し、前記撮像系のそれぞれで被写体を撮像する
ことにより前記各撮像系の各々からの画像信号を並列合
成したパノラマ合成画像を生成し出力する複眼撮像装置
において、 前記各撮像素子の各々からの画像信号のうち一方を合成
画像生成のための基本画像とすると共に他方を補助画像
として利用し、前記撮像系の両方に撮像される二重像発
生可能領域内の被写体の同一部分に対応する対応点対を
前記各撮像素子の各々からの画像信号を用いて抽出し、
抽出された対応点対の中で前記パノラマ合成画像上の前
記二重像発生可能領域において一致せずに二重像を発生
させる対応点対については、二重像を構成する二つの像
の内で前記二重像発生可能領域内の面積が大きい方の画
像信号を前記基本画像とし、前記基本画像中の対応点を
パノラマ合成画像生成データとして用い、前記補助画像
中の対応点をパノラマ合成画像生成データとして用いな
い画像処理部を有することを特徴とする複眼撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04284343A JP3107929B2 (ja) | 1992-10-22 | 1992-10-22 | 複眼撮像装置 |
US08/534,744 US5602584A (en) | 1992-10-22 | 1995-09-27 | Apparatus for producing a panoramic image using a plurality of optical systems |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP04284343A JP3107929B2 (ja) | 1992-10-22 | 1992-10-22 | 複眼撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH06141237A JPH06141237A (ja) | 1994-05-20 |
JP3107929B2 true JP3107929B2 (ja) | 2000-11-13 |
Family
ID=17677355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP04284343A Expired - Fee Related JP3107929B2 (ja) | 1992-10-22 | 1992-10-22 | 複眼撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5602584A (ja) |
JP (1) | JP3107929B2 (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6128416A (en) * | 1993-09-10 | 2000-10-03 | Olympus Optical Co., Ltd. | Image composing technique for optimally composing a single image from a plurality of digital images |
US5768404A (en) * | 1994-04-13 | 1998-06-16 | Matsushita Electric Industrial Co., Ltd. | Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods |
JP3458132B2 (ja) * | 1995-04-21 | 2003-10-20 | ソニー株式会社 | 合成画像投影装置及び画像調整方法 |
JPH08336165A (ja) * | 1995-06-09 | 1996-12-17 | Canon Inc | 複眼撮像装置 |
US6640004B2 (en) * | 1995-07-28 | 2003-10-28 | Canon Kabushiki Kaisha | Image sensing and image processing apparatuses |
US6549681B1 (en) * | 1995-09-26 | 2003-04-15 | Canon Kabushiki Kaisha | Image synthesization method |
JPH10336705A (ja) | 1997-06-02 | 1998-12-18 | Canon Inc | 複眼カメラ |
JPH114398A (ja) * | 1997-06-11 | 1999-01-06 | Hitachi Ltd | デジタルワイドカメラ |
US6011863A (en) * | 1997-06-12 | 2000-01-04 | Nec Research Institute, Inc. | Cylindrical rectification to minimize epipolar distortion |
JP2001024874A (ja) * | 1999-07-07 | 2001-01-26 | Minolta Co Ltd | 画像処理装置および画像処理方法、ならびに画像処理プログラムを記録した記録媒体 |
US7015954B1 (en) | 1999-08-09 | 2006-03-21 | Fuji Xerox Co., Ltd. | Automatic video system using multiple cameras |
AU2464101A (en) * | 1999-12-29 | 2001-07-09 | Geospan Corporation | Any aspect passive volumetric image processing method |
JP2002208005A (ja) * | 2001-01-12 | 2002-07-26 | Minolta Co Ltd | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
US7450785B2 (en) * | 2003-01-22 | 2008-11-11 | Hewlett-Packard Development Company, L.P. | Method and device for sorting similar images |
US8130827B2 (en) * | 2004-08-13 | 2012-03-06 | Samsung Electronics Co., Ltd. | Method and apparatus for interpolating a reference pixel in an annular image and encoding/decoding an annular image |
KR100688382B1 (ko) * | 2004-08-13 | 2007-03-02 | 경희대학교 산학협력단 | 환형 영상의 참조 화소 보간 방법, 그 장치, 환형 영상부호화 방법, 그 장치 및 환형 영상 복호화 방법 및 그장치 |
JP4606989B2 (ja) * | 2005-10-07 | 2011-01-05 | 富士フイルム株式会社 | 撮影装置 |
US20080069475A1 (en) * | 2006-09-18 | 2008-03-20 | Simon Ekstrand | Video Pattern Thumbnails and Method |
US7899240B2 (en) * | 2006-09-18 | 2011-03-01 | Sony Ericsson Mobile Communications Ab | Video pattern thumbnails and method |
US8160391B1 (en) * | 2008-06-04 | 2012-04-17 | Google Inc. | Panoramic image fill |
JP5183423B2 (ja) * | 2008-10-30 | 2013-04-17 | 株式会社日立製作所 | 映像表示装置 |
US8462209B2 (en) * | 2009-06-26 | 2013-06-11 | Keyw Corporation | Dual-swath imaging system |
EP2518995B1 (en) | 2009-12-24 | 2018-08-22 | Sharp Kabushiki Kaisha | Multocular image pickup apparatus and multocular image pickup method |
JP5413184B2 (ja) * | 2009-12-24 | 2014-02-12 | ソニー株式会社 | カメラシステム及びカメラ制御方法 |
JP2013057738A (ja) * | 2011-09-07 | 2013-03-28 | Olympus Corp | 撮像装置 |
JP5953270B2 (ja) | 2013-07-04 | 2016-07-20 | オリンパス株式会社 | 撮像装置 |
US9330436B2 (en) | 2014-04-01 | 2016-05-03 | Gopro, Inc. | Multi-camera array with adjacent fields of view |
US10300573B2 (en) | 2017-05-24 | 2019-05-28 | Trimble Inc. | Measurement, layout, marking, firestop stick |
US10406645B2 (en) * | 2017-05-24 | 2019-09-10 | Trimble Inc. | Calibration approach for camera placement |
US10341618B2 (en) | 2017-05-24 | 2019-07-02 | Trimble Inc. | Infrastructure positioning camera system |
JP7080103B2 (ja) * | 2018-05-16 | 2022-06-03 | キヤノン株式会社 | 撮像装置、その制御方法、および、プログラム |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6042990B2 (ja) * | 1978-05-22 | 1985-09-26 | 株式会社日立製作所 | パタ−ン認識方法 |
US4601053A (en) * | 1983-11-21 | 1986-07-15 | Grumman Aerospace Corporation | Automatic TV ranging system |
US4825393A (en) * | 1986-04-23 | 1989-04-25 | Hitachi, Ltd. | Position measuring method |
US4797942A (en) * | 1987-03-02 | 1989-01-10 | General Electric | Pyramid processor for building large-area, high-resolution image by parts |
JPS63316277A (ja) * | 1987-06-19 | 1988-12-23 | Toshiba Corp | 画像処理装置 |
US4819064A (en) * | 1987-11-25 | 1989-04-04 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Television monitor field shifter and an opto-electronic method for obtaining a stereo image of optimal depth resolution and reduced depth distortion on a single screen |
FR2659816B1 (fr) * | 1990-03-19 | 1994-01-28 | France Etat | Procede de reglage de la convergence stereoscopique dans un equipement de prise de vue stereoscopique. |
JPH0567208A (ja) * | 1991-07-10 | 1993-03-19 | Topcon Corp | 画像合成方法と画像撮像装置 |
JPH05183790A (ja) * | 1992-01-07 | 1993-07-23 | Canon Inc | 電子スチルカメラ |
-
1992
- 1992-10-22 JP JP04284343A patent/JP3107929B2/ja not_active Expired - Fee Related
-
1995
- 1995-09-27 US US08/534,744 patent/US5602584A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH06141237A (ja) | 1994-05-20 |
US5602584A (en) | 1997-02-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3107929B2 (ja) | 複眼撮像装置 | |
JP2888713B2 (ja) | 複眼撮像装置 | |
US5646679A (en) | Image combining method and apparatus | |
US5973726A (en) | Panoramic image processing apparatus | |
JP4790086B2 (ja) | 多眼撮像装置および多眼撮像方法 | |
JP2010128820A (ja) | 立体画像処理装置、方法及びプログラム並びに立体撮像装置 | |
JPH08116490A (ja) | 画像処理装置 | |
JPH06194758A (ja) | 奥行画像形成方法及び装置 | |
JP3112485B2 (ja) | 立体電子スチルカメラ | |
JP3523667B2 (ja) | 複眼式光学系 | |
JP3599255B2 (ja) | 車両用環境認識装置 | |
JPH10262176A (ja) | 映像形成方法 | |
JPH09224180A (ja) | 撮像装置 | |
JP3725606B2 (ja) | 撮影装置 | |
JP4759789B2 (ja) | 画像処理システム | |
JP3412945B2 (ja) | 画像合成装置及び撮影装置 | |
JP2001298657A (ja) | 映像形成方法及び装置 | |
JP2011182325A (ja) | 撮像装置 | |
JPH07177423A (ja) | 複眼撮像装置 | |
JP2908669B2 (ja) | 複眼撮像装置 | |
US20020008757A1 (en) | Stereoscopic picture image forming apparatus | |
JP3270620B2 (ja) | 画像入力方法 | |
JP2005099572A (ja) | 広域撮影方法および表示方法 | |
JPH0846855A (ja) | 複眼撮像装置 | |
JP3360529B2 (ja) | デジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070908 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080908 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090908 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090908 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 12 |
|
LAPS | Cancellation because of no payment of annual fees |