JPH0818857A - 画像合成方法および画像合成装置 - Google Patents

画像合成方法および画像合成装置

Info

Publication number
JPH0818857A
JPH0818857A JP6148879A JP14887994A JPH0818857A JP H0818857 A JPH0818857 A JP H0818857A JP 6148879 A JP6148879 A JP 6148879A JP 14887994 A JP14887994 A JP 14887994A JP H0818857 A JPH0818857 A JP H0818857A
Authority
JP
Japan
Prior art keywords
image
unit
distance
image pickup
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6148879A
Other languages
English (en)
Other versions
JP3192875B2 (ja
Inventor
Kotaro Yano
光太郎 矢野
Katsumi Iijima
克己 飯島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP14887994A priority Critical patent/JP3192875B2/ja
Priority to US08/500,341 priority patent/US5646679A/en
Publication of JPH0818857A publication Critical patent/JPH0818857A/ja
Application granted granted Critical
Publication of JP3192875B2 publication Critical patent/JP3192875B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02—Viewfinders
    • G03B2213/025—Sightline detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Viewfinders (AREA)
  • Cameras In General (AREA)
  • Studio Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 【目的】 画質劣化が少なく、任意のアスペクト比のパ
ノラマ画像が得られる画像合成方法および装置装置を実
現すること。 【構成】 複数の撮像系を用いて画界の一部をオーバー
ラップさせて共通の被写体を撮像し、各撮像系にて得ら
れた複数の画像信号を合成して１つの画像信号を作成す
る画像合成方法において、被写体の距離情報を用いて座
標変換処理を行い、該変換座標に応じて前記各撮像系か
ら出力される画像信号を補間し、合成画像信号のオーバ
ーラップ領域のうち、被写体の遠距離部分が近距離物体
に隠される領域に関しては、補間された画像信号のうち
の一つを選択することにより、前記各撮像系から出力さ
れる複数の画像信号を視点位置と光軸の方向が前記各撮
像系からの視点の位置ずれ量と光軸の輻輳角で定義され
る撮像系から任意の物体距離、結像倍率で定義される状
態で出力される一つの画像信号となるように画像合成を
行う。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、複眼撮像装置に関し、
特に複数の画像を合成して任意のアスペクト比のパノラ
マ画像を提供する複眼撮像装置に関する。
【０００２】
【従来の技術】従来、テレビジョン画面のアスペクト比
を変換するアスペクト比変換方式としては、出力時に画
面の上下または左右をトリミングするアスペクト比変換
方式が知られており、たとえばＮＴＳＣ方式のテレビジ
ョン画面のアスペクト比（４対３）をＨＤ方式またはＥ
Ｄ２方式のテレビジョン画面のアスペクト比（１６対
９）に変換する際に用いられている。
【０００３】これらのアスペクト比変換方式は、撮像し
た画像の一部を用いる方式であるため、特に、アスペク
ト比が４対３のイメージセンサを用いたＮＴＳＣカメラ
で被写体を撮像して、アスペクト比が４対３のＮＴＳＣ
用のモニタにその画像を出力する場合には、画質上の問
題は生じないが、水平画角が１／３ほど減少するという
問題点がある。
【０００４】一方、複数の撮像系を用いて共通の被写体
を撮像して得られる複数の画像のオーバーラップ領域を
合成することにより一つの高精細な画像を得る複眼撮像
装置が、画像電子学会予稿９０−０３−０４，ｐ２３〜
２８などに提案されている。また、複数の画像を入力し
て座標変換処理を行った各画像を合成することにより画
界の広い画像を出力する複眼撮像装置が、特開平５−１
１０９２６号公報などに提案されている。
【０００５】このような複眼撮像装置および複眼撮像装
置を応用することにより、複数の撮像系を用いて画界の
一部をオーバーラップさせて共通の被写体を撮像して得
られる複数の画像を合成して、任意のアスペクト比の一
つの画像を作成する複眼撮像装置を構成することができ
る。
【０００６】すなわち、図７に示す複眼撮像装置のよう
に、２つの撮像系（左側撮像系１１０Lおよび右側撮像
系１１０R）を用いて、画界の一部をオーバーラップさ
せて共通の被写体１０１を撮像したのち、左側撮像系１
１０Lで得られる左側画像ＰLと右側撮像系１１０Rで得
られる右側画像ＰRとを中央処理装置（ＣＰＵ）１２０
で合成することにより、任意のアスペクト比の一つの画
像ＰL+Rを作成することができる。
【０００７】しかしながら、上記従来例においても所定
のアスペクト比の画像を得る方法は示されておらず、合
成後の画像をトリミングする方式を適用すると画質的な
劣化が生じる。
【０００８】上述の問題点を解決するために本出願人は
特願平５−２２３５４４号の「複眼撮像装置」にて、複
数の撮像系を用いて画界の一部をオーバーラップして撮
像する装置において、上記各撮像系から出力される複数
の画像信号を視点位置と光軸の方向が上記各撮像系から
の視点の位置ずれ量と光軸の輻輳角で定義される撮像系
から任意の物体距離、結像倍率で定義される状態で出力
される一つの画像信号になるよう合成変換する撮像装置
を提供し、画質劣化が少なく、しかも、輻輳の際に生じ
た歪みが補正された画像を得る方法を示した。
【０００９】以下、上記従来例について簡単に説明す
る。図８は上記従来例の基本配置を示す図であり、第１
および第２の撮像光学系である右側撮像系８１０R、左
側撮像系８１０Lの２組の撮像系により構成されてい
る。
【００１０】図中、８０１は、各撮像系に共通な平面で
ある被写体面である。左側撮像光学系８１１Lおよび右
側撮像光学系８１１Rは等価な仕様を有する撮像光学系
であり、一般的にはズームレンズが用いられる。８１２
Lおよび８１２Rは同様に等価な仕様を有する右側および
左側イメージセンサであり、サチコン等の撮像管または
ＣＣＤ等の固体撮像素子が用いられる。これらの光軸Ｌ
Lおよび光軸ＬRは、選定したアスペクト比の画面に応じ
て各々の撮像画界の所定量がオーバーラップする条件を
満たすよう、被写体面８０１の法線Ｏ−Ｏ’に対して対
称にθほど傾斜した状態に配置する（但し、点Ｏは被写
体面８０１上の点）。なお、２θを輻輳角と呼ぶ。ま
た、８０２Lおよび８０２Rのそれぞれは、各イメージセ
ンサ８１２Lおよび８１２Rに共役な物体面で、被写体平
面１に対してそれぞれθ傾いている。点ＯLおよびＯRは
それぞれ光軸ＬLおよびＬRと被写体面８０１との交点で
あり、点ＣLおよびＣRはそれぞれの撮像光学系８１１L
および８１１Rの主点（詳しくは被写体側の主点）であ
る。それぞれの撮像光学系８１１Lおよび８１１Rには、
変倍群および合焦群があり、これらを駆動する駆動系、
光軸方向の位置情報を得るためのエンコーダが設けられ
ている。また、撮像系を光軸を含む平面内で回転する機
構系、駆動系、回転角を検出するエンコーダがそれぞれ
の撮像系に設けられている。そして所定のアスペクト比
の画像が得られるよう輻輳角制御系がそれぞれのエンコ
ーダの出力信号に応じた輻輳角の制御目標値を設定し、
輻輳制御を行っている。
【００１１】以下輻輳角の制御目標値の決定方法につい
て図８、図９を用いて説明する。
【００１２】図８に示した左側撮像光学系８１１Lおよ
び右側撮像光学系８１１Rの結像倍率をβとし、物体距
離（点ＯLと点ＣLとの間の距離および点ＯRと点ＣRとの
間の距離）をｚとし、点ＣLと点ＣRとの距離（基線長）
を２ｄとする。このとき、被写体平面１から距離ｚ’だ
け点Ｏ’側に離れた法線Ｏ−Ｏ’上の点に視点をとり、
その視点での仮想的な結像倍率がβ’となるように、仮
想的な像面（すなわち、視点と像面との距離がβ’
ｚ’）をとった場合、左側イメージセンサ８１２Lの像
面ＩLと右側イメージセンサ８１２Rの像面ＩRとが合成
された仮想像面ＩL+Rは、図９に示すものとなる。
【００１３】図９において、点ＡL，点ＢL，点ＣLおよ
びＤLはそれぞれ、左側イメージセンサ１２Lの像面ＩL
の対角上の点を示し、仮想像面ＩL+R上の点ＡL’，点Ｂ
L’，点ＣL’およびＤL’に対応する。また、点ＡR，点
ＢR，点ＣRおよびＤRはそれぞれ、右側イメージセンサ
８１２Rの像面ＩRの対角上の点を示し、仮想像面ＩL+R
上の点ＡR’，点ＢR’，点ＣR’およびＤR’に対応す
る。さらに、点ＥLおよび点ＦLはそれぞれ、左側イメー
ジセンサ８１２Lの像面ＩL上のオーバーラップの中心と
なる上下辺上の点を示し、点ＥRおよび点ＦRはそれぞ
れ、右側イメージセンサ８１２Rの像面ＩR上のオーバー
ラップの中心となる上下辺上の点を示す。ここで、点Ｅ
Lおよび点ＥRはともに、仮想像面ＩL+R上の点Ｅ’に対
応し、点ＦLおよび点ＦRはともに、仮想像面ＩL+R上の
点Ｆ’に対応する。
【００１４】各像面ＩL，ＩRの中心を原点とするととも
に、図９中の水平方向をｘ軸および図示垂直方向をｙ軸
として、各像面ＩL，ＩRでの座標系を定義すると、右側
イメージセンサ８１２Rの像面ＩR上の像点（ｘR，ｙR）
は、仮想像面ＩL+R上では、（１）式および（２）式で
表わされる像点（ｘR’，ｙR’）に対応する。
【００１５】
【数１】 ｘR'＝｛（ｘRcosθ＋βｚsinθ＋βｄ）／（−ｘRsinθ＋βｚ'）｝×β'ｚ' ・・・・・・（１） ｙR'＝｛ｙR ／（−ｘRsinθ＋βｚ'）｝×β'ｚ' ・・・・・・（２） また、左側イメージセンサ８１２Lの像面ＩL上の像点
（ｘL，ｙL）は、仮想像面ＩL+R上では、（３）式およ
び（４）式で表わされる像点（ｘL’，ｙL’）に対応す
る。
【００１６】
【数２】 ｘL'＝｛（ｘLcosθ−βｚsinθ−βｄ）／（ｘLsinθ＋βｚ'）｝×β'ｚ' ・・・・・・（３） ｙL'＝｛ｙL ／（ｘLsinθ＋βｚ'）｝×β'ｚ' ・・・・・・（４） したがって、上記（１）式〜（４）式に示すような幾何
変換処理を施すことにより、輻輳が生じる複数のイメー
ジセンサ上の画像を一つの仮想像面上の画像に合成でき
るので、このような幾何変換処理を行う画像合成変換処
理部（不図示）を設けることにより、輻輳によって生じ
る歪みが補正された画像を得ることができる。
【００１７】しかしながら、上記従来例では、被写体が
背景に対して著しく距離の異なる物体を含むような距離
分布を持つ場合には、以下の問題点が生じる。
【００１８】すなわち、図８に示すように、距離ｚAの
位置に物体Ａがあるような場合を想定し、（１）式〜
（４）式による幾何変換処理を行うと、物体距離がｚと
ｚAの差の分だけ仮想像面上での物体位置がずれてしま
う。この場合、位置ずれの生じない合成画像を作成する
ための理想的な仮想像面上での第１のイメージセンサの
像面上の像点（ｘR，ｙR）に対する位置（ｘR"，ｙR"）
および第２のイメージセンサの像面上の像点（ｘL，
ｙL）に対する位置（ｘL"，ｙL"）は、それぞれ以下に
示す式のようになる。
【００１９】
【数３】 ｘR"＝｛〔ｘRcosθ＋βｚsinθ＋βｄ（ｚ／ｚA）〕／〔−ｘRsinθ＋βｚ（１ −ｚ／ｚA）cosθ＋βｚ'（ｚ／ｚA）〕｝×β'ｚ' ・・・・・・（５） ｙR"＝｛ｙR／〔−ｘRsinθ＋βｚ（１−ｚ／ｚA）cosθ＋βｚ'（ｚ／ｚA）〕 ｝×β'ｚ' ・・・・・・（６） ｘL"＝｛〔ｘLcosθ−βｚsinθ−βｄ（ｚ／ｚA）〕／〔ｘLsinθ＋βｚ（１− ｚ／ｚA）cosθ＋βｚ'（ｚ／ｚA）〕｝×β'ｚ' ・・・・・・（７） ｙL"＝｛ｙL／〔ｘLsinθ＋βｚ（１−ｚ／ｚA）cosθ＋βｚ'（ｚ／ｚA）〕｝ ×β'ｚ' ・・・・・・（８） 従って、被写体距離の影響により、ずれが生じ、そのず
れ量はそれぞれ次式のようになる。
【００２０】
【数４】 △ｘR＝ｘR"−ｘR'、△ｙR＝ｙR"−ｙR' △ｘL＝ｘL"−ｘL'、△ｙL＝ｙL"−ｙL' ・・・・・・（９） このため、物体Ａ上の任意の点は、例えば図１０に示す
ように理想的な位置ａに対して、ｘ方向に△ｘR、△
ｘL、ｙ方向に△ｙR、△ｙLだけずれが生じて、合成画
像の画質が劣化するという問題点があった。
【００２１】また、図１０においてオーバーラップ領域
内の斜線で示される領域は、物体Ａで背景が隠される領
域であるため、オーバーラップ領域であるにもかかわら
ず、第１、第２のイメージセンサの両方で撮像されな
い。従って、図１０に示すＩＬの部分は第１のイメージ
センサの画像としてのみ、ＩＲの部分は第２のイメージ
センサの画像としてのみ撮像され、座標変換後の画像を
合成しても物体部分と背景部分が重なり、合成画像の画
質が劣化するという問題点があった。
【００２２】本発明は上述したような従来の技術が有す
る問題点に鑑みてなされたものであって、画質劣化が少
なく、任意のアスペクト比のパノラマ画像が得られる画
像合成方法および装置装置を実現することを目的とす
る。
【００２３】
【課題を解決するための手段】本発明の画像合成方法
は、複数の撮像系を用いて画界の一部をオーバーラップ
させて共通の被写体を撮像し、各撮像系にて得られた複
数の画像信号を合成して１つの画像信号を作成する画像
合成方法において、被写体の距離情報を用いて座標変換
処理を行い、該変換座標に応じて前記各撮像系から出力
される画像信号を補間し、合成画像信号のオーバーラッ
プ領域のうち、被写体の遠距離部分が近距離物体に隠さ
れる領域に関しては、補間された画像信号のうちの一つ
を選択することにより、前記各撮像系から出力される複
数の画像信号を視点位置と光軸の方向が前記各撮像系か
らの視点の位置ずれ量と光軸の輻輳角で定義される撮像
系から任意の物体距離、結像倍率で定義される状態で出
力される一つの画像信号となるように画像合成を行うこ
とを特徴とする。
【００２４】この場合、合成画像信号のオーバーラップ
領域のうち、被写体の遠距離部分が近距離物体に隠され
る領域に関しては、該隠される領域が最も少なくなる撮
像系により撮像され、補間された画像信号を選択しても
よい。
【００２５】本発明の画像合成装置は、複数の撮像系を
用いて画界の一部をオーバーラップさせて共通の被写体
を撮像して得られた画像信号を合成して１つの画像信号
を作成する画像合成装置において、前記各撮像系にて撮
像された画像データをそれぞれ記憶する複数の画像メモ
リと、前記各撮像系に関する光学情報を記憶するパラメ
ータ記憶部と、各画像メモリにそれぞれ記憶される画像
データについて、所定の画像データに対応する座標を検
出し、対応点情報として記憶する対応点抽出部と、前記
パラメータ記憶部に記憶される光学情報と前記対応点抽
出部に記憶される対応点情報から距離情報を算出する距
離情報算出部と、表示画像の二次元座標を順次発生して
出力するアドレス発生部と、前記アドレス発生部にて発
生した二次元座標を、前記パラメータ記憶部に記憶され
る光学情報と前記距離情報算出部にて算出された距離情
報とから変換し、前記複数の画像メモリにそれぞれ記憶
される画像データの二次元座標とする座標変換部と、前
記座標変換部にて変換された後の二次元座標によって、
各画像メモリに記憶される画像データに補間処理を行う
画像データ補間部と、前記画像データ補間部にて補間さ
れた複数の画像データを１つの画像信号として合成させ
ることを、各撮像系による撮像画像がオーバーラップす
る領域のうち、前記対応点抽出部に記憶される対応点情
報が示す被写体の遠距離部分が近距離物体に隠される領
域については前記画像データ補間部の出力信号のうちの
１つを選択して画像合成を行う画像合成部とを具備する
画像合成変換処理部を有することを特徴とする。
【００２６】この場合、画像合成変換処理部は、合成画
像信号のオーバーラップ領域のうち、被写体の遠距離部
分が近距離物体に隠される領域に関しては、該隠される
領域が最も少なくなる撮像系により撮像され、補間され
た画像信号を選択するとしてもよい。
【００２７】また、画像データ補間部によって補間され
た画像データを記憶する複数設けられた第２の画像メモ
リと、各撮像系による撮像画像がオーバーラップする領
域のうちの被写体の遠距離部分が近距離物体に隠される
領域の判断を、前記第２の画像メモリに記憶される各画
像データを小領域に切りとって各小領域の類似度を求
め、該判定値が所定の値よりも低いかによって行う画像
相関部とを設け、画像合成変換処理部は、合成画像信号
のオーバーラップ領域のうち、被写体の遠距離部分が近
距離物体に隠される領域に関しては、前記画像相関部に
てより相関する小領域が多い撮像系により撮像され、補
間された画像信号を選択するとしてもよい。
【００２８】
【作用】オーバーラップ領域のうち、被写体の遠距離部
分が近距離物体によって隠される領域についてはすべて
の撮像系にて撮像されるとは限らず、各撮像系による撮
像系を合成すると画質が劣化してしまう。
【００２９】本発明の画像合成方法および装置において
は、上記のような領域の画像合成を行う場合には、１つ
の撮像系により得られた画像を選択して画像合成を行う
ので、合成画像の画質が劣化することはない。
【００３０】画像選択の際に隠される領域が最も少なく
なる撮像系を選択する場合には、実際の撮像画像が最も
多く使用されることとなるので、より実際に近い正確な
画像が合成される。
【００３１】画像相関部を設けた場合には、より相関の
高い補間画像が選択されるので、対応点抽出処理が完全
に行われていない場合であっても、滑らかに補間処理が
施された歪みの少ない合成画像が作成される。
【００３２】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。
【００３３】実施例１ 図１は、本発明の複眼撮像装置の一実施例における撮像
系の基本配置を示す図である。
【００３４】本実施例は基本的には本出願人による特願
平５−２２３５４４号に記載されたものと同様の複眼撮
像装置を用いて画像合成を行うものである。図１中の、
被写体面１、右側物体面２R，左側物体面２L、右側撮像
系１０R，左側撮像系１０L、右側撮像光学系１１R，左
側撮像光学系１１Lおよび右側イメージセンサ１２R，左
側イメージセンサ１２Lのそれぞれは、図８に示した被
写体面８０１、右側物体面８０２R，左側物体面８０
２L、右側撮像系８１０R，左側撮像系８１０L、右側撮
像光学系８１１R，左側撮像光学系８１１Lおよび右側イ
メージセンサ８１２ R，左側イメージセンサ８１２Lと同
様であるために説明は省略する。
【００３５】本実施例の複眼撮像装置は、左側撮像系１
０Lおよび右側撮像系１０Rの２つの撮像系を含む。ここ
で、左側撮像系１０Lは、ズームレンズからなる左側撮
像光学系１１Lと、サチコンなどの撮像管またはＣＣＤ
などの固体撮像素子からなる左側イメージセンサ１２L
とからなる。また、右側撮像系１０Rは、左側撮像系１
０Lと等価な仕様を有するものであり、ズームレンズか
らなる右側撮像光学系１１Rと、サチコンなどの撮像管
またはＣＣＤなどの固体撮像素子からなる右側イメージ
センサ１２Rとからなる。
【００３６】なお、左側イメージセンサ１２Lおよび右
側イメージセンサ１２Rとしては、図１に示すような単
管式（単板式）のものでよいが、色分解光学系を介した
２管式（２板式）または３管式（３板式）のものであっ
てもよい。
【００３７】同様な構成の図８に示した従来例でも説明
したように、左側撮像光学系１１Lおよび右側撮像光学
系１１Rは、選定したアスペクト比の画面に応じて各撮
像画界の所定量がオーバーラップする条件を左側撮像光
学系１１Lの光軸ＬLおよび右側撮像光学系１１Rの光軸
ＬRが満たすように、被写体平面１の法線Ｏ−Ｏ’に対
して対称に角度θほど傾斜した状態で配置される。した
がって、左側イメージセンサ１２Lに共役な左側物体面
２Lおよび右側イメージセンサ１２Rに共役な右側物体面
２Rはそれぞれ、被写体平面１に対して角度θだけ傾
く。
【００３８】次に、上述した基本配置を前提として、左
側撮像光学系１１Lおよび右側撮像光学系１１Rの構成に
ついて、図２を参照して説明する。図２は図１に示した
左側撮像光学系および右側撮像光学系の構成を示す概略
構成図である。
【００３９】左側撮像光学系１１Lは、変倍群２２Lおよ
び合焦群２４Lを含むレンズ群２１L〜２４Lと、変倍群
２２Lを駆動するための駆動系であるズームモータ２５L
と、合焦群２４Lを駆動するための駆動系であるフォー
カスモータ２６Lと、光軸ＬLを含む平面内で左側撮像光
学系１１Lおよび左側イメージセンサ１２Lを一体として
回転させるための機構系（不図示）および駆動系（輻輳
角モータ２７L）と、輻輳角モータ２７Lの回転角を検出
するための輻輳角エンコーダ２８Lとを含む。なお、輻
輳角エンコーダ２８Lとしては、たとえばロータリーエ
ンコーダのような外付け部材を用いてもよいし、たとえ
ばパルスモータのような駆動系自身で駆動方法により回
転角を検出するものを用いてもよい。
【００４０】左側撮像光学系１１Lのズームモータ２５L
は、左側撮像光学系１１Lが所定の焦点距離となるよう
に、ズーム信号が外部から入力されるズーム制御部（不
図示）によって駆動される。また、フォーカスモータ２
６Lは、左側撮像光学系１１Lが所定の被写体距離に焦点
が合うように、フォーカス信号が外部から入力されるズ
ーム制御部（不図示）によって駆動される。
【００４１】左側撮像光学系１１Lのズームエンコーダ
４１Lは、変倍群２２Lに設けられた各レンズ群の光軸方
向（光軸ＬLの方向）の位置情報を得るためのものであ
り、ズームエンコーダ４１Lの出力信号より、左側撮像
光学系１１Lの焦点距離を求めることができる。また、
フォーカスエンコーダ４２Lは、合焦群２４Lに設けられ
た各レンズ群の光軸方向（光軸ＬL方向）の位置情報を
得るためのものであり、フォーカスエンコーダ４２Lの
出力信号より、左側撮像光学系１１Lの被写体距離を求
めることができる。なお、ズームエンコーダ４１Lおよ
びフォーカスエンコーダ４２Lとしては、たとえばポテ
ンショメータのような外付け部材を用いてもよいし、た
とえばパルスモータのような駆動系自身で駆動方法によ
りレンズの光軸方向の位置情報を検出するものを用いて
もよい。
【００４２】右側撮像光学系１１Rは、左側撮像光学系
１１Lと同様に構成されている。なお、右側撮像光学系
１１Rのズームモータ２５Rは、左側撮像光学系１１Lと
同一の焦点距離となるように、前記ズーム制御部によっ
て駆動される。また、右側撮像光学系１１Rのフォーカ
スモータ２６Rは、左側撮像光学系１１Lと同一の被写体
距離に焦点が合うように、前記ズーム制御部によって駆
動される。
【００４３】次に、本実施例の複眼撮像装置の輻輳角制
御系５０について、図３を参照して説明する。図３は、
本発明の複眼撮像装置の一実施例における輻輳角制御系
の構成を示すブロック図である。
【００４４】輻輳角制御系５０は、右側撮像光学系１１
Rおよび左側撮像光学系１１Lの少なくとも結像倍率と物
体距離とを表す光学パラメータに応じて、合成変換後の
画像が所定のアスペクト比となるように輻輳角の制御目
標値を決定する演算制御部５１と、演算制御部５１の出
力信号に応じて輻輳角制御を行う輻輳角制御部５２とか
らなる。
【００４５】演算制御部５１には、左側撮像光学系１１
Lのズームエンコーダ４１Lの出力信号およびフォーカス
エンコーダ４２Lの出力信号と右側撮像光学系１１Rのズ
ームエンコーダ４１Rの出力信号およびフォーカスエン
コーダ４２Rの出力信号とシステムコントローラ６０か
らの制御信号Ｓとが入力される。また、輻輳角制御部５
２には、左側撮像光学系１１Lの輻輳角エンコーダ２８L
の出力信号と右側撮像光学系１１Rの輻輳角エンコーダ
２８Rの出力信号と演算制御部５１の出力信号とが入力
される。なお、左側撮像光学系１１Lの輻輳角モータ２
７Lおよび右側撮像光学系１１Rの輻輳角モータ２７Rは
それぞれ、輻輳角制御部５２の出力信号によって駆動さ
れる。
【００４６】左側撮像光学系１１Lのズームモータ２５L
によって変倍群２２Lが駆動されると、変倍群２２Lに設
けられた各レンズ群の光軸方向の位置情報を示すズーム
エンコーダ４１Lの出力信号が、演算制御部５１に入力
される。また、右側撮像光学系１１Rのズームモータ２
５Rによって変倍群２２Rが駆動されると、変倍群２２R
に設けられた各レンズ群の光軸方向の位置情報を示すズ
ームエンコーダ４１Rの出力信号が、演算制御部５１に
入力される。
【００４７】左側撮像光学系１１Lのフォーカスモータ
２６Lによって合焦群２４Lが駆動されると、合焦群２４
Lに設けられた各レンズ群の光軸方向の位置情報を示す
フォーカスエンコーダ４２Lの出力信号が、演算制御部
５１に入力される。また、右側撮像光学系１１Rのフォ
ーカスムモータ２６Rによって合焦群２４Rが駆動される
と、合焦群２４Rに設けられた各レンズ群の光軸方向の
位置情報を示すフォーカスエンコーダ４２Rの出力信号
が、演算制御部５１に入力される。
【００４８】演算制御部５１では、左側撮像光学系１１
Lおよび右側撮像光学系１１Rの光軸回転の指示を示す制
御信号Ｓがシステムコントローラ６０から入力される
と、各ズームエンコーダ４１L，４１Rの出力信号および
各フォーカスエンコーダ４２L，４２Rの出力信号に応じ
て、輻輳角２θの制御目標値が作成されたのち、作成さ
れた制御目標値を示す出力信号が輻輳角制御部５２に出
力される。
【００４９】輻輳角制御部５２では、演算制御部５１の
出力信号と各輻輳角エンコーダ２８ L，２８Rの出力信号
とが比較され、各輻輳角エンコーダ２８L，２８Rの出力
信号が前記作成された制御目標値となるように、各輻輳
角モータ２７L，２７Rを駆動するための出力信号がそれ
ぞれ作成される。
【００５０】上述した本実施例の複眼撮像装置は、図９
を用いて説明した従来のものと同様の方法により制御目
標値が決定される。
【００５１】なお、上記（１）式〜（４）式に示すよう
な幾何変換処理を施すことにより、輻輳のある複数のイ
メージセンサ上の画像を一つの仮想像面上の画像に合成
できるので、このような幾何変換処理を行う画像合成変
換処理部（不図示）を設けることにより、輻輳によって
生じる歪みが補正された画像を得ることができる。
【００５２】また、この画像合成変換処理部は、複数の
撮像系からの視点の位置ずれ量と光軸の輻輳角とで視点
位置と光軸の方向とが定義される撮像系から任意の物体
距離および結像倍率で定義される状態で出力される一つ
の画像信号になるように、複数の撮像系から出力される
複数の画像信号を合成変換する画像合成変換処理部とし
て機能する。
【００５３】左側イメージセンサ１２Lの像面ＩLおよび
右側イメージセンサ１２Rの像面ＩRの大きさをＨ×Ｖ
（アスペクト比Ｈ／Ｖ）とし、仮想像面ＩL+Rの大きさ
をＨ’×Ｖ’（アスペクト比Ｈ’／Ｖ’）とすると、点
ＡRおよび点ＢLの変換後の点Ａ R’および点ＢL’のｘ座
標を上記（１）式および上記（３）式から求めることに
より、仮想像面ＩL+Rの図示水平方向の長さＨ’を計算
することができる。また、点ＢLおよび点ＤLの変換後の
点ＢL’および点ＤL’のｙ座標を上記（２）式および上
記（４）式から求めることにより、仮想像面ＩL+Rの図
示垂直方向の長さＶ’を計算することができる。このよ
うにして求めた仮想像面ＩL+Rのアスペクト比は、
（５）式で表わされる。
【００５４】
【数５】 Ｈ’／Ｖ’＝｜sin（θ＋ω）／sin（ω）−２βｄ／Ｈ｜×Ｈ／Ｖ ・・・・・・（１０） ただし、ω＝tan-1〔−Ｈ／（２βｚ）〕：撮像系の水
平方向の半画角 したがって、左側イメージセンサ１２Lの像面ＩLおよび
右側イメージセンサ１２Rの像面ＩRの大きさＨ×Ｖと基
線長２ｄとがともに一定であるとすると、上記（９）式
は（１０）式のように書ける。
【００５５】
【数６】 θ＝ｆ（Ｈ’／，Ｖ’，β，ｚ） ・・・・・・（１１） すなわち、仮想像面ＩL+Rのアスペクト比Ｈ’／Ｖ’を
決定する輻輳制御角θは、結像倍率βと物体距離ｚとに
よって決まることになる。
【００５６】そこで、図３に示した演算制御部５１で
は、各ズームエンコーダ４１L，４１Rの出力信号の平均
値と各フォーカスエンコーダ４２L，４２Rの出力信号の
平均値とが計算されたのち、結像倍率βが、計算された
２つの平均値から各撮像光学系１１L，１１Rの光学パラ
メータ（各撮像光学系１１L，１１Rを構成するレンズ群
の焦点距離および主点間隔など）を用いて求められる。
続いて、仮想像面ＩL+Rのアスペクト比Ｈ’／Ｖ’が所
定のアスペクト比になるように、輻輳角の制御目標値
が、上記（１０）式に基づいて、結像倍率βおよび物体
距離ｚに応じて計算される。計算された輻輳角の制御目
標値は、輻輳角制御部５２に送られる。
【００５７】なお、ここでは、各ズームエンコーダ４１
L，４１Rの出力信号の平均値および各フォーカスエンコ
ーダ４２L，４２Rの出力信号の平均値を求めたが、いず
れか一方のズームエンコーダ４１L，４１Rの出力信号お
よびいずれか一方のフォーカスエンコーダ４２L，４２R
の出力信号を用いてもよい。また、結像倍率βおよび物
体距離ｚに応じた輻輳制御角θのテーブルを演算制御部
５１内に備えておき、このテーブルを参照して輻輳角の
制御目標値を求めてもよいし、結像倍率βおよび物体距
離ｚと輻輳制御角θとの関係を簡単な多項式に近似し
て、この多項式の係数を演算制御部５１に記憶しておく
ことにより、輻輳制御角θを計算してもよい。
【００５８】以上により、所定のアスペクト比の画像が
得られるが、この場合には、トリミングする必要はな
く、オーバーラップする領域をできるだけ大きくとれる
ので、高画質の画像が得られる。なお、合成処理後の画
像（仮想像面ＩL+R）は、図４に示すように、その領域
の形状が矩形から多少歪んだ形状となり、たとえばＨＤ
モニターなどにアスペクト比１６：９の画像を表示する
際には、輪郭に沿って枠線を表示してもよい。
【００５９】図５は、本発明の画像合成装置の第１の実
施例の要部構成を示すブロック図である。左側撮像系５
１０Ｌ、右側撮像系５１０Ｒは、図１に基本配置を示し
た各撮像系であり、図３に示した輻輳角制御系によって
所定のアスペクト比の画像が得られるよう輻輳角θが制
御されて、左画像および右画像が同時に撮像される。そ
れ以外の部分が画像合成変換処理部であり、以下その部
分について構成、動作を説明する。
【００６０】画像メモリ５２０Ｌ、画像メモリ５２０Ｒ
は左画像および右画像をデジタル画像データとして記憶
しておく記憶部、パラメータ記憶部５２１は撮像系のパ
ラメータである基線長２ｄ、輻輳角θ、結像倍率β、物
体距離ｚおよび出力画像の仮想撮像系の結像倍率β’、
物体距離ｚ’を記憶しておく記憶部である。また、対応
点抽出部５２３には、まず画像メモリ５２０Ｌの小領域
がテンプレートとして格納され、テンプレートに位置オ
フセットをかけて平行移動させて、画像メモリ５２０Ｒ
の画像データとのテンプレートマッチングが行われ、左
画像の座標（ｘ，L，ｙL）に対応する右画像の座標（ｘ
R，ｙR）が検出される。距離情報算出部５２４では、対
応点抽出部５２３の対応点情報である左画像および右画
像の座標（ｘL，ｙL）、（ｘR，ｙR）とパラメータ記憶
部５２１に記憶されている基線長２ｄ、輻輳角θ、結像
倍率β、物体距離ｚ、出力画像の仮想結像系の結像倍率
β’、物体距離ｚ’のパラメータより、距離情報Ｚを計
算する。
【００６１】アドレス発生部５２２は出力する画像の二
次元座標を順次発生し、座標変換部５２５に送る。座標
変換部５２５はパラメータ記憶部５２１に記憶されてい
る撮像系のパラメータと距離情報Ｚとからアドレス発生
部５２２で発生したアドレスを変換し、画像メモリ５２
０Ｌ、画像メモリ５２０Ｒに記憶されている左画像およ
び右画像の二次元座標を求める。
【００６２】画像データ補間部５２６Ｌ、５２６Ｒのそ
れぞれは、座標変換部５２５の変換後の二次元座標によ
って、画像メモリ５２０Ｌ、画像メモリ５２０Ｒに記憶
されている左画像および右画像のデータからそれぞれ補
間処理を行い、画像合成部５２７に補間した画像データ
を出力する。画像合成部５２７では補間された画像デー
タと対応点抽出部５２３での結果により画像合成を行
い、出力用画像メモリ５２８に合成後の画像データを出
力する。以上述ベたシステム全体の動作の制御は図示し
ないシステム制御部によって行われる。
【００６３】ここで、座標変換部５２５での処理につい
て説明する。アドレス発生部５２６から送られてきた出
力画像面内の座標を（ｘ’，ｙ’）とすると左画像およ
び右画像の座標（ｘL，ｙL）、（ｘR，ｙR）は（５）〜
（８）式の逆変換（θ→一θ、ｄ→−ｄとしたもの）に
より、以下の（１２）〜（１５）式により求まる。
【００６４】
【数７】 ｘL＝｛〔ｘ'cosθ−β'ｚ'sinθ−β'ｄ（ｚ'／Ｚ）〕／〔ｘ'sinθ＋β'ｚ'（ １−ｚ'／Ｚ）cosθ＋β'ｚ（ｚ'／Ｚ）〕｝×βｚ ・・・・・・（１２） ｙL＝｛ｙ'／〔ｘ'sinθ＋β'ｚ'（１−ｚ'／Ｚ）cosθ＋β'ｚ（ｚ'／Ｚ）〕｝ ×βｚ ・・・・・・（１３） ｘR＝｛〔ｘ'cosθ＋β'ｚ'sinθ＋β'ｄ（ｚ'／Ｚ）〕／〔−ｘ'sinθ＋β'ｚ' （１−ｚ'／Ｚ）cosθ＋β'ｚ（ｚ'／Ｚ）〕｝×βｚ ・・・・・・（１４） ｙR＝｛ｙ'／〔−ｘ'sinθ＋β'ｚ'（１−ｚ'／Ｚ）cosθ＋β'ｚ（ｚ'／Ｚ）〕 ｝×βｚ ・・・・・・（１５） すなわち、パラメータ記憶部５２１の撮像系のパラメー
タ基線長２ｄ、輻輳角θ、結像倍率β、物体距離ｚ、出
力画像の仮想結像系の結像倍率β'、物体距離ｚ'と距離
情報算出部５２４の出力Ｚから（１２）〜（１５）式の
計算を行って、左画像および右画像の座標（ｘL，
ｙL）、（ｘR，ｙR）をそれぞれ画像データ補間部５２
６Ｌ、５２６Ｒに送る。
【００６５】次に、画像合成部５２７の処理について説
明する。出力画像は左画像と右画像のオーバーラップし
た領域以外にも図１０の斜線部で示す４種類の領域を有
する。図１０において、ＯＬで示される領域はオーバー
ラップ部の外側で左側部分であり、画像データ補間部５
２６Ｌの出力である左画像の画像データ補間値が合成画
像データとして出力され、ＯＲで示される領域はオーバ
ーラップ部の外側で右側部分であり、画像データ補間部
５２６Ｒの出力である右画像の画像データ補間値が合成
画像データとして出力される。
【００６６】また、図１０においてＩＬで示される領域
はオーバーラップ部の内側で物体の左側部分であり、画
像データ補間部５２６Ｌの出力である左画像の画像デー
タ補間値が合成画像データとして出力され、ＩＲで示さ
れる領域はオーバーラップ部の内側で物体の右側部分で
あり、画像データ補間部５２６Ｒの出力である右画像の
画像データ補間値が合成画像データとして出力される。
【００６７】オーバーラップ部では、画像データ補間部
５２６Ｌの出力である左画像の画像データ補間値と画像
データ補間部５２６Ｒの出力である右画像の画像データ
補間値との平均値が合成画像データとして出力される。
この時、対応点抽出部５２３の結果が以上の領域の判断
に使われる。
【００６８】すなわち、対応点が検出された領域はオー
バーラップ部と判断される。対応点が検出されない場
合、オーバーラップ部以外の領域と判断され、オーバー
ラップ部の外側で左側部分は領域ＯＬ、オーバーラップ
部の外側で右側部分は領域ＯＲである。また、オーバー
ラップ部の内側で物体の左側部分は領域ＩＬ、オーバー
ラップ部の内側で物体の右側部分は領域ＩＲである。こ
のとき、物体部分は距離情報により、遠距離部分が近距
離物体により隠される領域が最も少なくな撮像系による
画像データによるものが物体部分として扱われる。この
ような画像合成を行うことにより、実際の撮像画像が最
も多く使用されることとなり、より実際に近い正確な画
像が合成される。
【００６９】また、オーバーラップ部以外の領域では、
座標変換時に用いられる距離情報Ｚは対応点が抽出され
ないので求まらないが、代わりに背景の距離情報が使用
される。
【００７０】実施例２ 次に、本発明の第２の実施例について説明する。図６は
本発明の第２実施例の画像合成装置の構成を示す図であ
る。図６における左側撮像系６１０Ｌ、右側撮像系６１
０Ｒ、画像メモリ６２０Ｌ，６２０Ｒ、パラメータ記憶
部６２１、アドレス発生部６２２、対応点抽出部６２
３、距離情報算出部６２４、座標変換部６２５、画像デ
ータ補間部６２６Ｒ，６２６Ｌ、画像合成部６２７およ
び出力用画像メモリ６２８のそれぞれは、図５に示した
左側撮像系５１０Ｌ、右側撮像系５１０Ｒ、画像メモリ
５２０Ｌ，５２０Ｒ、パラメータ記憶部５２１、アドレ
ス発生部５２２、対応点抽出部５２３、距離情報算出部
５２４、座標変換部５２５、画像データ補間部５２６
Ｒ，５２６Ｌ、画像合成部５２７および出力用画像メモ
リ５２８と同様の動作を行うものであるため、説明は省
略する。
【００７１】本実施例は、画像合成部６２７の領域の判
断として画像相関部６３０の出力を用いている点が図５
に示した第１の実施例と異なるものであり、以下、この
部分について説明する。
【００７２】画像データ補間部６２６Ｌ、６２６Ｒの出
力は、一旦画像メモリ６２９Ｌ、６２９Ｒにそれぞれ記
億される。そして、以上二つの画像メモリの値が小領域
に切り取られ、相関計算により画像相関部６３０で各小
領域の類似度が求められて比較され、相関値が所定の値
より高い場合には二つの画像メモリの内容が同じものと
判断し、所定の値よりも低い場合には遠距離部分が近距
離物体により隠される領域と判断する。
【００７３】画像合成部６２７では二つの画像メモリの
内容が同じものと判断された場合のみ、オーバーラップ
部の処理として、画像メモリ６２９Ｌ、６２９Ｒに記億
された補間画像データの平均値が合成画像データとして
出力される。上記以外の場合の処理は第１実施例の画像
合成部の処理と同じである。この時、画像メモリ６２９
Ｌ、６２９Ｒのどちらに記憶された補間画像データが合
成画像データとして出力されるかは画像メモリ６２９
Ｌ、６２９Ｒそれぞれの内部で近傍小領域の画像との相
関を取り、より相関値の高い方が背景画像が滑らかに補
間されているとして選択される。本実施例での相関を用
いて補間画像を選択する方法は対応点抽出処理が完全に
行われない場合にも出力画像として画像歪みの少ない画
像を提供できる。
【００７４】また、画像相関部６３０で画像合成部６２
７の領域の判断として、画像相関部６３０の出力と共に
第１実施例に示した対応点抽出部６２３の結果を用いる
方式を組み合わせてもよい。この場合、補間画像の選択
がより確実になり、物体部分と背景部分が重なって画質
の劣化する部分がより少なくなる。
【００７５】
【発明の効果】本発明は以上説明したように構成されて
いるので，以下に記載するような効果を奏する。
【００７６】請求項１の方法および請求項３に記載のも
のにおいては、被写体が背景に対して著しく距離の異な
る物体を含むような距離分布を持つ場合にも画像の位置
ずれが生じたり、物体部分と背景部分が重なることがな
く、画質の劣化の少ない合成画像を得ることができる効
果がある。
【００７７】請求項２に記載の方法および請求項３に記
載のものにおいては、上記各効果に加えて、より実際に
近い正確な画像を合成することができる効果がある。
【００７８】請求項５に記載のものにおいては、上記各
効果に加えて、対応点抽出処理が完全に行われていない
場合であっても、滑らかな補間処理が施された歪みの少
ない合成画像を作成することができる効果がある。
【図面の簡単な説明】
【図１】本発明の複眼撮像装置の一実施例における撮像
系の基本配置を示す図である。
【図２】図１に示した左側撮像光学系および右側撮像光
学系の構成を示す概略構成図である。
【図３】本発明の複眼撮像装置の一実施例における輻輳
角制御系の構成を示すブロック図である。
【図４】合成処理後の形成画像を説明するための図であ
る。
【図５】本発明の第１の実施例における画像合成変換処
理部の構成を示すブロック図である。
【図６】本発明の第２の実施例における画像合成変換処
理部の構成を示すブロック図である。
【図７】２つの撮像系を用いて、画界の一部をオーバー
ラップさせて共通の被写体を撮像して得られた２つの画
像を合成して、任意のアスペクト比の一つの画像を作成
する複眼撮像装置の一例を示すための概念図である。
【図８】複眼撮像系の基本配置を示す図である。
【図９】輻輳角の制御目標値の作成方法を説明するため
の図である。
【図１０】合成処理後の形成画像を説明するための図で
ある。
【符号の説明】
１ 被写体平面 ２L 左側物体面 ２R 右側物体面 １０L 左側撮像系 １０R 右側撮像系 １１L 左側撮像光学系 １１R 右側撮像光学系 １２L 左側イメージセンサ １２R 右側イメージセンサ ２１L，２１R，２３L，２３R レンズ群 ２２L，２２R 変倍群 ２４L，２４R 合焦群 ２５L，２５R ズームモータ ２６L，２６R フォーカスモータ ２７L，２７R 輻輳角モータ ２８L，２８R 輻輳角エンコーダ ４１L，４１R ズームエンコーダ ４２L，４２R フォーカスエンコーダ ５０ 輻輳角制御系 ５１ 演算制御部 ５２ 輻輳角制御部 ６０ システムコントローラ ５１０Ｌ，６１０Ｌ 左側撮像系 ５１０Ｒ，６１０Ｒ 右側撮像系 ５２０Ｌ，５２０Ｒ，６２０Ｌ，６２０Ｒ，６２９Ｌ，
６２９Ｒ 画像メモリ ５２１，６２１ パラメータ記憶部 ５２２，６２２ アドレス発生部 ５２３，６２３ 対応点抽出部 ５２４，６２４ 距離情報算出部 ５２５，６２５ 座標変換部 ５２６Ｌ，５２６Ｒ，６２６Ｌ，６２６Ｒ 画像デー
タ補間部 ５２７，６２７ 画像合成部 ５２８，６２８ 出力用画像メモリ ６３０ 画像相関部 ＬL，ＬR 光軸 θ 角度 ２θ 輻輳角 ＯL，ＯR，ＣL，ＣR，ＡL，ＢL，ＣL，ＤL，ＡR，ＢR，
ＣR，ＤR，ＡL’，ＢL’，ＣL’，ＤL’，ＡR’，
ＢR’，ＣR’，ＤR’ＥL，ＦL，ＥR，ＦR，Ｅ’，Ｆ’
点 ＩL，ＩR 像面 ＩL+R 仮想像面 Ｈ，Ｈ’，Ｖ，Ｖ’，Ｖ” 長さ ｘ，ｙ 軸

Claims (5)

    【特許請求の範囲】
  1. 【請求項１】 複数の撮像系を用いて画界の一部をオー
    バーラップさせて共通の被写体を撮像し、各撮像系にて
    得られた複数の画像信号を合成して１つの画像信号を作
    成する画像合成方法において、 被写体の距離情報を用いて座標変換処理を行い、該変換
    座標に応じて前記各撮像系から出力される画像信号を補
    間し、合成画像信号のオーバーラップ領域のうち、被写
    体の遠距離部分が近距離物体に隠される領域に関して
    は、補間された画像信号のうちの一つを選択することに
    より、前記各撮像系から出力される複数の画像信号を視
    点位置と光軸の方向が前記各撮像系からの視点の位置ず
    れ量と光軸の輻輳角で定義される撮像系から任意の物体
    距離、結像倍率で定義される状態で出力される一つの画
    像信号となるように画像合成を行うことを特徴とする画
    像合成方法。
  2. 【請求項２】 請求項１記載の画像合成方法において、 合成画像信号のオーバーラップ領域のうち、被写体の遠
    距離部分が近距離物体に隠される領域に関しては、該隠
    される領域が最も少なくなる撮像系により撮像され、補
    間された画像信号を選択することを特徴とする画像合成
    方法。
  3. 【請求項３】 複数の撮像系を用いて画界の一部をオー
    バーラップさせて共通の被写体を撮像して得られた画像
    信号を合成して１つの画像信号を作成する画像合成装置
    において、 前記各撮像系にて撮像された画像データをそれぞれ記憶
    する複数の画像メモリと、 前記各撮像系に関する光学情報を記憶するパラメータ記
    憶部と、 各画像メモリにそれぞれ記憶される画像データについ
    て、所定の画像データに対応する座標を検出し、対応点
    情報として記憶する対応点抽出部と、 前記パラメータ記憶部に記憶される光学情報と前記対応
    点抽出部に記憶される対応点情報から距離情報を算出す
    る距離情報算出部と、 表示画像の二次元座標を順次発生して出力するアドレス
    発生部と、 前記アドレス発生部にて発生した二次元座標を、前記パ
    ラメータ記憶部に記憶される光学情報と前記距離情報算
    出部にて算出された距離情報とから変換し、前記複数の
    画像メモリにそれぞれ記憶される画像データの二次元座
    標とする座標変換部と、 前記座標変換部にて変換された後の二次元座標によっ
    て、各画像メモリに記憶される画像データに補間処理を
    行う画像データ補間部と、 前記画像データ補間部にて補間された複数の画像データ
    を１つの画像信号として合成させることを、各撮像系に
    よる撮像画像がオーバーラップする領域のうち、前記対
    応点抽出部に記憶される対応点情報が示す被写体の遠距
    離部分が近距離物体に隠される領域については前記画像
    データ補間部の出力信号のうちの１つを選択して画像合
    成を行う画像合成部とを具備する画像合成変換処理部を
    有することを特徴とする画像合成装置。
  4. 【請求項４】 請求項３に記載の画像合成装置におい
    て、 画像合成変換処理部は、合成画像信号のオーバーラップ
    領域のうち、被写体の遠距離部分が近距離物体に隠され
    る領域に関しては、該隠される領域が最も少なくなる撮
    像系により撮像され、補間された画像信号を選択するこ
    とを特徴とする画像合成装置。
  5. 【請求項５】 請求項３に記載の画像合成装置におい
    て、 画像データ補間部によって補間された画像データを記憶
    する複数設けられた第２の画像メモリと、 各撮像系による撮像画像がオーバーラップする領域のう
    ちの被写体の遠距離部分が近距離物体に隠される領域の
    判断を、前記第２の画像メモリに記憶される各画像デー
    タを小領域に切りとって各小領域の類似度を求め、該判
    定値が所定の値よりも低いかによって行う画像相関部と
    を有し、 画像合成変換処理部は、合成画像信号のオーバーラップ
    領域のうち、被写体の遠距離部分が近距離物体に隠され
    る領域に関しては、前記画像相関部にてより相関する小
    領域が多い撮像系により撮像され、補間された画像信号
    を選択することを特徴とする画像合成装置。
JP14887994A 1994-06-30 1994-06-30 画像合成方法および画像合成装置 Expired - Fee Related JP3192875B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP14887994A JP3192875B2 (ja) 1994-06-30 1994-06-30 画像合成方法および画像合成装置
US08/500,341 US5646679A (en) 1994-06-30 1995-06-28 Image combining method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP14887994A JP3192875B2 (ja) 1994-06-30 1994-06-30 画像合成方法および画像合成装置

Publications (2)

Publication Number Publication Date
JPH0818857A true JPH0818857A (ja) 1996-01-19
JP3192875B2 JP3192875B2 (ja) 2001-07-30

Family

ID=15462766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP14887994A Expired - Fee Related JP3192875B2 (ja) 1994-06-30 1994-06-30 画像合成方法および画像合成装置

Country Status (2)

Country Link
US (1) US5646679A (ja)
JP (1) JP3192875B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1144838A (ja) * 1997-05-27 1999-02-16 Asahi Optical Co Ltd カメラのファインダー装置
JP2003023553A (ja) * 2001-07-06 2003-01-24 Saibuaasu:Kk 遠隔操作カメラおよび画像提供装置
US6798924B2 (en) 1997-09-10 2004-09-28 Ricoh Company, Ltd. System and method for displaying an image indicating a positional relation between partially overlapping images
US7324135B2 (en) 2002-10-15 2008-01-29 Seiko Epson Corporation Panoramic composition of multiple image data
JP2008244708A (ja) * 2007-03-27 2008-10-09 Canon Inc 撮像装置および携帯機器
JP2010147695A (ja) * 2008-12-17 2010-07-01 Nikon Corp 撮像装置
KR101433119B1 (ko) * 2011-04-07 2014-08-22 가시오게산키 가부시키가이샤 소정의 종횡비의 합성 화상을 생성하는 화상 처리 장치

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08116490A (ja) 1994-10-14 1996-05-07 Olympus Optical Co Ltd 画像処理装置
US5933185A (en) * 1995-05-31 1999-08-03 Sony Corporation Special effect apparatus
WO1997000582A1 (en) * 1995-06-16 1997-01-03 Princeton Video Image, Inc. System and method of real time insertions into video using adaptive occlusion with a synthetic reference image
US6389179B1 (en) 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
US5982951A (en) * 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US5986718A (en) * 1996-09-19 1999-11-16 Video Magic, Inc. Photographic method using chroma-key and a photobooth employing the same
DE69732089T2 (de) * 1996-10-04 2005-12-08 Nippon Telegraph And Telephone Corp. Vorrichtung und verfahren zur zeitlichen und räumlichen integration und verwaltung einer vielzahl von videos sowie speichermedium zur speicherung eines programms dafür
US6583811B2 (en) * 1996-10-25 2003-06-24 Fuji Photo Film Co., Ltd. Photographic system for recording data and reproducing images using correlation data between frames
JP3974964B2 (ja) * 1996-11-08 2007-09-12 オリンパス株式会社 画像処理装置
US5937212A (en) * 1996-11-15 1999-08-10 Canon Kabushiki Kaisha Image pickup apparatus
RU99111072A (ru) * 1996-11-27 2001-03-10 Принстон Видео Имидж Слежение движения с использованием эталонов текстуры изображения
JPH10341367A (ja) * 1997-06-06 1998-12-22 Toshiba Corp 静止画像生成方法及び静止画像取り込みシステム
JPH114398A (ja) * 1997-06-11 1999-01-06 Hitachi Ltd デジタルワイドカメラ
US6552744B2 (en) 1997-09-26 2003-04-22 Roxio, Inc. Virtual reality camera
US6611629B2 (en) 1997-11-03 2003-08-26 Intel Corporation Correcting correlation errors in a composite image
US6704041B2 (en) * 1998-03-10 2004-03-09 Canon Kabushiki Kaisha Image processing method, apparatus and memory medium therefor
JP2000148997A (ja) * 1998-11-13 2000-05-30 Minolta Co Ltd 画像処理装置
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US7292261B1 (en) * 1999-08-20 2007-11-06 Patrick Teo Virtual reality camera
JP4169462B2 (ja) * 1999-08-26 2008-10-22 株式会社リコー 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体
US6771304B1 (en) * 1999-12-31 2004-08-03 Stmicroelectronics, Inc. Perspective correction device for panoramic digital camera
US7313289B2 (en) * 2000-08-30 2007-12-25 Ricoh Company, Ltd. Image processing method and apparatus and computer-readable storage medium using improved distortion correction
JP3437555B2 (ja) * 2001-03-06 2003-08-18 キヤノン株式会社 特定点検出方法及び装置
GB2374743A (en) * 2001-04-04 2002-10-23 Instro Prec Ltd Surface profile measurement
WO2002082201A1 (en) * 2001-04-04 2002-10-17 Instro Precision Limited Image analysis apparatus
ATE311725T1 (de) * 2001-09-07 2005-12-15 Matsushita Electric Ind Co Ltd Vorrichtung zum anzeigen der umgebung eines fahrzeuges und system zur bildbereitstellung
JP2003153080A (ja) * 2001-11-09 2003-05-23 Matsushita Electric Ind Co Ltd 映像合成装置
US6978052B2 (en) * 2002-01-28 2005-12-20 Hewlett-Packard Development Company, L.P. Alignment of images for stitching
US7463280B2 (en) 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
JP4540322B2 (ja) * 2003-09-29 2010-09-08 Ｈｏｙａ株式会社 画像間対応点検出装置および画像間対応点検出方法
FR2881598B1 (fr) * 2005-02-01 2007-08-03 Canon Kk Procede et dispositif d'enregistrement d'images composant un panorama, de visualisation et de modification d'un panorama
JP2007041046A (ja) * 2005-07-29 2007-02-15 Eastman Kodak Co 撮像装置
JP4745077B2 (ja) * 2006-02-14 2011-08-10 オリンパスイメージング株式会社 撮像装置
US8736672B2 (en) * 2006-08-24 2014-05-27 Reald Inc. Algorithmic interaxial reduction
US8200039B2 (en) * 2007-04-05 2012-06-12 Adobe Systems Incorporated Laying out multiple images
US8009178B2 (en) * 2007-06-29 2011-08-30 Microsoft Corporation Augmenting images for panoramic display
US9736368B2 (en) 2013-03-15 2017-08-15 Spatial Cam Llc Camera in a headframe for object tracking
US11119396B1 (en) 2008-05-19 2021-09-14 Spatial Cam Llc Camera system with a plurality of image sensors
US8164655B2 (en) 2008-05-19 2012-04-24 Spatial Cam Llc Systems and methods for concurrently playing multiple images from a storage medium
US10896327B1 (en) 2013-03-15 2021-01-19 Spatial Cam Llc Device with a camera for locating hidden object
US20110098083A1 (en) * 2008-05-19 2011-04-28 Peter Lablans Large, Ultra-Thin And Ultra-Light Connectable Display For A Computing Device
US10354407B2 (en) 2013-03-15 2019-07-16 Spatial Cam Llc Camera for locating hidden objects
US8355042B2 (en) * 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
US10585344B1 (en) 2008-05-19 2020-03-10 Spatial Cam Llc Camera system with a plurality of image sensors
US9171221B2 (en) 2010-07-18 2015-10-27 Spatial Cam Llc Camera to track an object
US8150105B2 (en) * 2008-05-22 2012-04-03 International Electronic Machines Corporation Inspection using three-dimensional profile information
US8416282B2 (en) * 2008-10-16 2013-04-09 Spatial Cam Llc Camera for creating a panoramic image
US20100118175A1 (en) * 2008-11-10 2010-05-13 Victor Charles Bruce Imaging Apparatus For Image Integration
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP4759082B2 (ja) * 2009-11-18 2011-08-31 富士フイルム株式会社 複眼式撮像装置
US8754961B2 (en) * 2011-08-17 2014-06-17 Nokia Corporation Apparatus and method for generating image data from overlapping regions of images
US9934451B2 (en) * 2013-06-25 2018-04-03 Microsoft Technology Licensing, Llc Stereoscopic object detection leveraging assumed distance
RU2580473C1 (ru) * 2014-12-29 2016-04-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Донской государственный технический университет" (ФГБОУ ВПО "ДГТУ") Устройство бесшовного объединения изображений в единую композицию с автоматической регулировкой контрастности и градиентом
JP6892549B2 (ja) 2017-07-07 2021-06-23 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． カメラを備えた端末および撮影方法
WO2019186860A1 (ja) * 2018-03-29 2019-10-03 三菱電機株式会社 画像処理装置、画像処理方法、及び監視システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4825393A (en) * 1986-04-23 1989-04-25 Hitachi, Ltd. Position measuring method
US5142642A (en) * 1988-08-24 1992-08-25 Kabushiki Kaisha Toshiba Stereoscopic television system
US5253302A (en) * 1989-02-28 1993-10-12 Robert Massen Method and arrangement for automatic optical classification of plants
US5175616A (en) * 1989-08-04 1992-12-29 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of National Defence Of Canada Stereoscopic video-graphic coordinate specification system
JP3347385B2 (ja) * 1992-03-27 2002-11-20 オリンパス光学工業株式会社 内視鏡画像処理装置
JP3058774B2 (ja) * 1993-01-29 2000-07-04 株式会社河合楽器製作所 映像合成装置及び映像合成方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1144838A (ja) * 1997-05-27 1999-02-16 Asahi Optical Co Ltd カメラのファインダー装置
US6798924B2 (en) 1997-09-10 2004-09-28 Ricoh Company, Ltd. System and method for displaying an image indicating a positional relation between partially overlapping images
US7298919B2 (en) 1997-09-10 2007-11-20 Ricoh Company, Ltd. System and method for displaying an image indicating a positional relation between partially overlapping images
US7529430B2 (en) 1997-09-10 2009-05-05 Ricoh Company, Ltd. System and method for displaying an image indicating a positional relation between partially overlapping images
US8681228B2 (en) 1997-09-10 2014-03-25 Ricoh Company, Ltd. System and method for displaying an image indicating a positional relation between partially overlapping images
JP2003023553A (ja) * 2001-07-06 2003-01-24 Saibuaasu:Kk 遠隔操作カメラおよび画像提供装置
US7324135B2 (en) 2002-10-15 2008-01-29 Seiko Epson Corporation Panoramic composition of multiple image data
JP2008244708A (ja) * 2007-03-27 2008-10-09 Canon Inc 撮像装置および携帯機器
JP2010147695A (ja) * 2008-12-17 2010-07-01 Nikon Corp 撮像装置
KR101433119B1 (ko) * 2011-04-07 2014-08-22 가시오게산키 가부시키가이샤 소정의 종횡비의 합성 화상을 생성하는 화상 처리 장치
KR101433121B1 (ko) * 2011-04-07 2014-08-25 가시오게산키 가부시키가이샤 소정의 종횡비의 합성 화상을 생성하는 화상 처리 장치
US9253365B2 (en) 2011-04-07 2016-02-02 Casio Computer Co., Ltd. Image processing device for generating composite image having predetermined aspect ratio

Also Published As

Publication number Publication date
US5646679A (en) 1997-07-08
JP3192875B2 (ja) 2001-07-30

Similar Documents

Publication Publication Date Title
JP3192875B2 (ja) 画像合成方法および画像合成装置
US5682198A (en) Double eye image pickup apparatus
JP2888713B2 (ja) 複眼撮像装置
JP3593466B2 (ja) 仮想視点画像生成方法およびその装置
JP2883265B2 (ja) 画像処理装置
TWI524306B (zh) 圖像轉換和多視圖輸出系統及方法
JP4172554B2 (ja) ステレオカメラの調整装置
JP3107929B2 (ja) 複眼撮像装置
WO2015081870A1 (zh) 一种图像处理方法、装置及终端
JPH1093808A (ja) 画像合成装置および方法
Zhu et al. Parallel-perspective stereo mosaics
JP2011182236A (ja) カメラキャリブレーション装置
US20180262749A1 (en) Storing Data Retrieved from Different Sensors for Generating a 3-D Image
JP4436488B2 (ja) ステレオ映像取得装置
JPH08126034A (ja) 立体画像表示装置および方法
JP2000134537A (ja) 画像入力装置及びその方法
JP2006135823A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2974500B2 (ja) 複眼撮像装置
JP2013120435A (ja) 画像処理装置および画像処理方法、プログラム
JP2883264B2 (ja) 複眼撮像装置
JP3412945B2 (ja) 画像合成装置及び撮影装置
JPH04329484A (ja) 画像合成装置
JP2795784B2 (ja) 複数視点３次元画像入力装置
JP2006113001A (ja) 写真測量による３次元計測方法及び装置
JP3639620B2 (ja) 画像合成装置及び画像処理方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090525

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100525

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100525

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110525

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120525

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120525

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130525

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140525

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees