JP6530135B2 - ３ｄ多開口撮像装置 - Google Patents

３ｄ多開口撮像装置 Download PDF

Info

Publication number
JP6530135B2
JP6530135B2 JP2018510470A JP2018510470A JP6530135B2 JP 6530135 B2 JP6530135 B2 JP 6530135B2 JP 2018510470 A JP2018510470 A JP 2018510470A JP 2018510470 A JP2018510470 A JP 2018510470A JP 6530135 B2 JP6530135 B2 JP 6530135B2
Authority
JP
Japan
Prior art keywords
image
imaging device
optical channel
optical
aperture imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018510470A
Other languages
English (en)
Other versions
JP2018533248A (ja
Inventor
ヴィッペルマン，フランク
ブレックネル，アンドレアス
ブロイエル，アンドレアス
オーベルデルステル，アレクサンデル
Original Assignee
フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2018533248A publication Critical patent/JP2018533248A/ja
Application granted granted Critical
Publication of JP6530135B2 publication Critical patent/JP6530135B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

本発明は３Ｄ多開口撮像装置に関する。
線形チャネル配列を有する多開口撮像システムは、複数の隣接配置された撮像チャネルから構成され、各撮像チャネルはオブジェクトの一部だけを捕捉する。全体的な画像は、個々の部分的画像を合体または融合することでもたらされる。撮像チャネルの互いに対する有限の距離に起因して、パララックス(parallax)が発生し、そのパララックスは、短いオブジェクト距離の場合に特に顕著となり、合成された全体画像においてアーチファクトを生じさせてしまう。これとは別に、個々のチャネルがそれぞれ１つかつ同一のシーンを完全に捕捉する多開口撮像システムがあり、そこでは、オブジェクト又はシーンの深度に関する情報がチャネル間のパララックスから計算される。
相対的に広い視野を有するシーンの高い空間的または横方向の解像度と深度情報の生成とが、単一の撮像システムを用いて求められる場合、問題が発生する。
本発明は、３Ｄ多開口撮像装置であって、高い横方向解像度及び／又は広い視野を獲得することができ、追加的に深度情報が導出され得る装置を提供する。
この目的は独立請求項の主題により解決される。
本発明は以下のような知見に基づく。即ち、あるシーンに関する３Ｄ情報を提供できる一方で、他方では高い横方向解像度及び／又は広い視野の取得できる、３Ｄ多開口撮像装置を提供することができ、その場合、３Ｄ多開口撮像装置は、その３Ｄ多開口撮像装置の画像センサの第１センサ領域上に全体視野のオーバーラップしている第１部分視野を投影するための第１多数の光学チャネルを含み、かつ、その画像センサの第２画像センサ領域上に全体視野のオーバーラップしている第２部分視野を投影するための第２多数の光学チャネルを含み、それら第１及び第２多数の光学チャネルは、基本距離分だけ互いに横方向にオフセットして配置されている。第１多数の光学チャネルにより捕捉された複数の画像を、第１多数の光学チャネルの一対の光学チャネルの第１部分視野のオーバーラップ領域において、第１の全体画像へと融合する場合に、画像ペアにおける視差(disparities)が使用され、そのペアの片方は第２多数の光学チャネルにより捕捉されたものである。このように、全体視野は単に部分的にオーバーラップしている部分視野へと２回分割され、即ち、１回目は第１多数の光学チャネルの形態に分割され、もう１回は第２多数の光学チャネルの形態に分割される。これにより、全体視野の所望の横方向解像度及び／又は所望の幅を取得することが可能になり、全体視野にわたるパララックス情報を取得することが可能となる。第１多数の光学チャネルにより取得された複数の画像を１つの全体画像へと融合することは、第１多数の光学チャネルのチャネル間で発生するパララックスからの影響を受けにくい。なぜなら、第１多数の光学チャネルにより取得された複数の画像を全体画像へと融合することは、第２多数の光学チャネルの１つのチャネルによって捕捉されたある画像を評価することによって得られた視差情報によりサポートされるからである。特に、第１多数の光学チャネルのチャネル間の横方向距離を短く保持することが可能となる。必然的に発生している横方向距離は、第１多数のチャネルのチャネル同士間のパララックスをもたらす。第１多数のチャネルの複数の画像を融合する場合、オブジェクト距離に依存したオーバーラップ領域における画像の融合は、単に第１多数の光学チャネルの画像同士間の視差を評価する処理に対して、改善された方法で実現されることができる。その改善は、画像ペアの画像同士間の視差を使用することで達成され、その画像ペアの片方は第２多数の光学チャネルの１つによって捕捉されたものである。前記画像ペアは、そのうちの一方が第１多数のチャネルにより捕捉され、他方が第２多数のチャネルにより捕捉されたペアであってもよいし、両方が第１多数のチャネル又は第２多数のチャネルからの異なるチャネルによって捕捉された画像ペアであってもよい。しかしながら、２つ以上の画像ペアからの視差が１つのオーバーラップ領域のために使用されてもよい。その中には、画像ペアであって、その両方が第２多数のチャネルからの異なるチャネルによって捕捉された、即ち融合されるべき画像ペアであってもよいことは明らかである。
本願の有利な構成は、従属請求項の主題である。本願の好ましい実施形態は、以下に図を参照しながらより詳細に説明する。
一実施形態に係る３Ｄ多開口撮像装置の部分概略的な三次元部分図である。 複数のチャネルと、それらの画像が融合されるべき複数のチャネルの複数の部分視野のオーバーラップ領域についての視差のソースの形成と、を示す。 ３Ｄ多開口撮像装置の設置を示すモバイル装置の斜視図である。 一実施形態に係る３Ｄ多開口撮像装置のモジュールの三次元図であって、光路により透過される透明基板によって光学系が例示的に支持されている図を示す。 一実施形態に係る３Ｄ多開口撮像装置のモジュールの側面図であって、光軸がそれら光軸の平面内において予偏位を持ち、ビーム偏向装置が他方向において偏位を持つことにより、偏向装置のファセット数を削減でき、傾斜が一方向へと制限され得る様子を示す。 一実施形態に係る３Ｄ多開口撮像装置のモジュールの平面図であって、光軸がそれら光軸の平面内において予偏位を持ち、ビーム偏向装置が他方向において偏位を持つことにより、偏向装置のファセット数を削減でき、傾斜が一方向へと制限され得る様子を示す。
図１は、一実施形態に係る３Ｄ多開口撮像装置１０を示す。この装置は、図１に示すように２つの要素１２1及び１２2へとそれぞれ分割され得る画像センサを有し、一方の要素１２1は「右の」光学チャネル１４1のためであり、他方の要素１２2は「左の」光学チャネル１４2のためである。図１の例において、右と左の光学チャネル１４1、１４2は同一の構造を有するが、装置１０の視野内のシーンに関してできるだけ多くの深度情報を取得するために、基本距離１５だけ互いに横方向にオフセットしている。このように、左から１つ目の位置にインデックス１の参照番号を有する構成要素は、装置１０の第１構成要素１、又は右チャネルのための第１モジュール１に帰属する。また、左から１つ目の位置にインデックス２を有する参照番号を有する構成要素は、装置１０の第２構成要素２、又は左チャネルのための第２モジュール２に帰属する。図１においてはモジュールの個数は２個であるが、この装置は、互いにそれぞれ基本距離を開けて配置された２個以上の個数のモジュールを有することもできる。
図１の例示的な場合において、複数の光学チャネル１４1と１４2の各々は並列配置された４個の光学チャネルを含む。個々の「右の」チャネルは２番目の下付きインデックスにより区別される。チャネルは右から左へとインデックスが付され、即ち、明確さを目的とする部分的省略により図１には示されない光学チャネル１４11は、例えば基本距離方向１７の右端に配置されている。基本距離方向１７に沿って左右のチャネルが基本距離１５だけ互いにオフセットして配置されており、チャネル１４11は複数の左チャネル１４2から最も離れた位置にあり、他の右チャネル１４12〜１４14は基本距離方向１７に沿って後続している。従って、チャネル１４11〜１４14は光学チャネルの単一線状アレイを形成し、その線長さ方向は基本距離方向１７に対応している。左チャネル１４2も同様に構成されている。それらチャネルも２番目の下付きインデックスにより区別される。左チャネル１４21〜１４24は、互いに隣接して、かつ右チャネル１４11〜１４14と同一方向に連続的に配置されており、つまり、チャネル１４21が右チャネルに最も近く、チャネル１４24が右チャネルから最も遠く離れている。
右チャネル１４11〜１４14の各々は、図１に示すように、レンズシステムから成るそれぞれの光学系を含む。代替的に、各チャネルが１つのレンズを含むこともあり得る。各光学チャネル１４11〜１４14は、全体視野２８のオーバーラップする部分視野の１つを捕捉し、それら部分視野は互いにオーバーラップしかつ一緒になって全体視野２８をカバーしている。例えば、チャネル１４11は画像センサ領域１２11上に部分視野３０11を投影し、光学チャネル１４12は画像センサ領域１２12上に部分視野３０12を投影し、光学チャネル１４13は、画像センサ１２の図１には示されない個々の画像センサ領域１２13上に、割り当てられた部分視野３０13を投影し、光学チャネル１４14は、隠れた状態のため図１には示されない個々の画像センサ領域１２14上に、割り当てられた部分視野３０14を投影する。
図１において、画像センサ１２の画像センサ領域１２11〜１２14又は画像センサ１２の構成要素１２1は、基本距離１５方向と平行又は線長さ方向１７と平行な平面内に配置され、光学チャネル１４11〜１４14の光学系のレンズ平面もこの平面に対して平行である。また、画像センサ領域１２11〜１２14は互いに横方向のチャネル間距離１９を持って配置されており、光学チャネル１４11〜１４14の光学系もまた、この距離１９を持ってその方向に配置されている。従って、光学チャネル１４11〜１４14の光軸および光路とは、画像センサ領域１２11〜１２14と光学系１４11〜１４14との間で互いに平行に延びる。画像センサ領域１２11〜１２14の中心と、光学チャネル１４11〜１４14の光学系の光学中心とは、例えば画像センサ領域１２11〜１２14の上述した共通平面に対して垂直に延びるそれぞれの光軸上に配置されている。
光学チャネル１４11〜１４14の光軸または光路は、ビーム偏向装置２４1により偏向され、それにより偏位(divergence)を与えられている。その結果、光学チャネル１４11〜１４14の部分視野３０11〜３０14は部分的にのみオーバーラップしており、例えば部分視野３０11〜３０14は、立体角(Raumwinkel)に関して最大で５０％分だけペア内でオーバーラップする。図１に示すように、ビーム偏向装置２４1は、例えば各光学チャネル１４11〜１４14について１つの反射ファセットを持つことができ、それら反射ファセットは、光学チャネル１４11〜１４14間で互いに異なるように傾斜している。画像センサ平面に対する反射ファセットの平均的な傾斜は、右チャネル１４11〜１４14の全体視野を、例えば装置２４によるビーム偏向前またはビーム偏向無しの場合に光学チャネル１４11〜１４14の光学系の光軸が伸びていた平面に対して垂直な方向へとそれぞれ偏向するか、又はこの垂直方向から１０°未満の範囲で偏位した方向に偏向する。代替的に、ビーム偏向装置２４は、光学チャネル１４11〜１４14の個々の光軸または光路を偏向するために、プリズムを使用することもできる。
ビーム偏向装置２４1は、方向１７において実際に直線的に並置されているチャネル１４11〜１４14が全体視野２８を２次元方式でカバーするように、光学チャネル１４11〜１４14の光路に偏位を与える。
光路または光軸もまた上述の平行状態（parallelism）から偏位し得るが、光学チャネルの光路の平行状態は依然として保たれているので、個々のチャネル１４11〜１４14によりカバーされ又はそれぞれの画像センサ領域１２1〜１２4上に投影される部分視野が、ビーム偏向のような追加的手段が無い場合に大きくオーバーラップするであろう、という点に留意すべきである。そのため、多開口撮像装置１０によってより大きな全体視野をカバーするために、ビーム偏向装置２４は、チャネル１４11〜１４14の部分視野が互いにより小さくオーバーラップするように、光路に追加的な偏位を与える。ビーム偏向装置２４1は、例えば、全体視野が全ての方位角または全ての横断方向にわたって平均化された１つの開口角度を有し、その角度が光学チャネル１４11〜１４14の部分視野のそれぞれの平均開口角度の１．５倍よりも大きくなる、という効果を有する。
左チャネル１４21〜１４24は右チャネル１４11〜１４14と同様に構成されており、それぞれ割り当てられた画像センサ領域１２21〜１２24と関連して位置決めされている。その場合、光学チャネル１４11〜１４14の光軸と同一平面内で互いに平行に延びる光学チャネル１４21〜１４24の光軸は、光学チャネル１４21〜１４24が同じ全体視野２８をほぼ合同方式で、つまり部分視野３０21〜３０24において捕捉するように、対応するビーム偏向装置２４2によって偏向される。それら部分視野３０21〜３０24は、全体視野２８が二次元的に分割されている部分視野であって、互いにオーバーラップしており、またそれらの各々が、右チャネル１４11〜１４14のぞれぞれのチャネルのそれぞれの部分視野３０11〜３０14と略完全にオーバーラップしている。例えば、部分視野３０11と部分視野３０21とがほぼ完全にオーバーラップし、部分視野３０12と３０22とがほぼ完全にオーバーラップする等である。
例えば画像センサ領域１２11〜１２24の各々は、それぞれのピクセルアレイを含む１つのチップから形成されてもよい。その場合、複数のチップが１つの共通基板上または共通のボード上に設けられてもよく、又は、図１に示すように、構成要素１２1の画像センサ領域１２11〜１２14のチップを１つの基板上に配置し、構成要素１２2の画像センサ領域１２21〜１２24のチップを別の基板上に配置するような分離型の配置の場合には、複数のチップがグループ毎に複数の基板上に設けられてもよい。代替的に、画像センサ領域１２11〜１２24は一体に形成されるか、又はグループ毎に形成されることも可能であり、それらグループは、例えば、構成要素１２1及び１２2への割り当てに従って、それぞれの画像センサ領域にわたって連続的に延びる１つの共通ピクセルアレイの部分から分離されており、その共通ピクセルアレイは例えば単一のチップ上に形成されていてもよい。その場合、例えば、共通ピクセルアレイのピクセル値だけが、それぞれの画像センサ領域において読み出される。これらの代替例の異なる組合せもまた可能である。例えば、構成要素１２1及び１２2の中に、２つ以上チャネルのためのあるチップが存在し、別の複数のチャネルのための別のチップが存在するなどである。
上述した構成要素に加え、３Ｄ多開口撮像装置は、その３Ｄ多開口撮像装置１０による捕捉期間中に右の光学チャネル１４11〜１４14によって捕捉された画像を第１の全体画像へと融合する作業を実行する、プロセッサ８５を含む。次のような克服されるべき課題がある。即ち、右チャネル１４11〜１４14の隣接するチャネル間のチャネル間距離１９に起因して、画像センサ領域１２11〜１２14において右チャネル１４11〜１４14による捕捉期間中に捕捉された複数の画像が、単純に又は並進的に互いに対してシフトされて互いの上に配置され得る訳ではない。換言すれば、それらの画像は容易に融合され得ない。同じシーンを捕捉しているときの画像センサ領域１２11〜１２14の画像における方向１５，１７又は１９に沿った横方向のオフセットは、視差と呼ばれる。それら画像は互いに対応しているが、視差に起因して異なる画像に存在している。対応する画像コンテンツの視差は、このシーン内の画像コンテンツの距離、即ち、装置１０からの各オブジェクトの距離に依存する。そこで、プロセッサ８５は、これらの画像を第１の全体画像、即ち「右の全体画像」へと融合するために、画像センサ領域１２11〜１２14の画像間の視差をそれ自身で評価しようと試みる。しかし、チャネル間距離１９が存在し、それにより問題を引き起こすという欠点がある。更に、チャネル間距離１９は比較的小さいので、深度解像度または推定は不正確になる、という欠点がある。従って、画像センサ領域１２11及び１２12の画像間のオーバーラップ領域８６のような、２つの画像間の１つのオーバーラップ領域における対応する画像コンテンツを、例えば相関関係によって決定する試みは、困難である。
そこで、融合するために、図１のプロセッサは、部分視野３０11及び３０12の間のオーバーラップ領域８６において、画像ペアにおける視差を使用し、それら画像の１つは左チャネル１４21又は１４22の１つによって捕捉されたものであり、その投影された第２の部分視野、即ち３０21又は３０22がオーバーラップ領域８６とオーバーラップしている。例えば、画像センサ領域１２11及び１２12の画像を融合するために、プロセッサ８５はそれら画像における視差を評価し、それら画像の１つは画像センサ領域１２21又は１２22によって捕捉されたものであり、他の１つはオーバーラップ領域８６に関与するチャネルによって捕捉されたもの、即ち画像センサ領域１２11又は１２12の１つによって捕捉されたものである。そのとき、このようなペアは、基礎的基本距離１５プラス／マイナス１つ又はゼロ個のチャネル間基本距離１９から成る基本距離を有する。後者の基本距離は単一のチャネル基本距離１９よりも有意に大きく、そのため、プロセッサ８５にとってオーバーラップ領域８６における視差を決定することが容易となる。このように、右チャネルの画像を融合するために、プロセッサ８５は、左チャネルの画像を用いて得られる視差を評価し、好ましくは、これに限るものではないが、右チャネルの１つからの画像と左チャネルの１つからの画像との間の視差を評価する。
より具体的には、プロセッサ８５は、右チャネルの他の部分視野の１つとオーバーラップしない部分視野３０11の部分を画像１２11から幾分直接的に採用することが可能であり、また、プロセッサ８５は、画像センサ領域１２12〜１２14の画像に基づいて、部分視野３０12，３０13及び３０14の非オーバーラップについて同様の採用を実行することも可能であり、その場合、画像センサ領域１２11〜１２14の画像が例えば同時に捕捉されることも可能である。例えば部分視野３０11及び３０12のように隣接する部分視野のオーバーラップ領域内においてのみ、プロセッサ８５は、複数の画像ペアの視差を使用するものであり、それら画像ペアの全体視野２８におけるオーバーラップはオーバーラップ領域内においてオーバーラップしており、それら画像ペアのうちの１つ以上の画像が右チャネルの１つにより捕捉され、他の１つの画像が左チャネルの１つにより例えば同時に捕捉されたものである。
代替的な手順によれば、一方が右チャネルにより捕捉され、他方が左チャネルにより捕捉されたものである画像ペア間の視差の評価に従って、プロセッサ８５が右チャネルの全ての画像をワープすることも可能であろう。このようにして、プロセッサ８５により右チャネルの画像について計算された全体画像が、例えば右チャネル１４11〜１４14の間の横方向の中心である焦点上に仮想的にワープされる。このことは、右チャネルの部分視野３０11〜３０14のオーバーラップ領域において実行されるだけでなく、非オーバーラップ領域においても実行される。これは、オーバーラップしていない部分視野３０11〜３０14の領域についても、画像ペアの視差がプロセッサ８５によって評価されるという事実に基づいており、ここで１つの画像が右チャネルの１つにより捕捉されており、他の１つが左チャネルの１つにより捕捉されたものである。
図１の３Ｄ多開口撮像装置１０は、右チャネルの画像から１つの全体画像を生成できるだけでなく、図１の３Ｄ多開口撮像装置１０は、少なくとも１つの作動モードにおいて、第１チャネルの全体画像に加え、捕捉された画像から左チャネルの複数の画像の１つの全体画像をも生成することができ、及び／又は、右チャネルの全体画像に加え、深度マップをも生成することもできる。
第１の代替例に従えば、プロセッサ８５は、例えば左チャネル１４21〜１４24及び画像センサ領域１２21〜１２24によってそれぞれ捕捉されていた複数の画像を、第２の全体画像、即ち左チャネルの全体画像へと融合するよう構成され、左の光学チャネルの横方向に隣接する部分視野３０21〜３０24のオーバーラップ領域において、画像ペアにおける視差を使用するよう構成されており、その画像ペアの少なくとも一方が、右の光学チャネル１４11〜１４14により捕捉されていたものである。その画像ペアの1つの画像は、部分視野３０21〜３０24のペアのそれぞれのオーバーラップ領域とオーバーラップしており、他の１つが好ましくは左の光学チャネルの１つにより捕捉され、その部分視野がそれぞれのオーバーラップ領域とオーバーラップしている。
第１の代替例に従えば、プロセッサ８５は１回の捕捉について２つの全体画像を出力する。即ち、１つは右の光学チャネルについての全体画像であり、他の１つは左の光学チャネルについての全体画像である。これら２つの全体画像は、ユーザーに対して、例えばユーザーの２つの眼に対して、別々に提供されることができ、これにより、捕捉されたシーンの三次元的印象をもたらす。
上述した他の代替例に従えば、プロセッサ８５は、右チャネルの全体画像に加えて、画像ペアにおける視差を使用して深度マップを生成することができる。その画像ペアは、右チャネル１４11〜１４14の各々のための少なくとも１つのペアを含み、そのペアは、それぞれの右チャネルによって捕捉された１つの画像と左チャネルの１つによって捕捉された別の画像とを含む。
プロセッサ８５により深度マップが生成される実施形態においては、右チャネルによって捕捉された全ての画像に対し、深度マップに基づいて上述したワーピングを実行することも可能である。深度マップは全体視野２８にわたる深度情報を含んでいるので、右チャネルによって捕捉された全ての画像をワープすることが可能である。即ち、画像のオーバーラップ領域だけでなく、非オーバーラップ領域についても、１つの仮想の共通の開口点および仮想の光学中心へと、それぞれワープすることができる。
前記２つの代替例は、両方がプロセッサ８５により処理されることもできる。即ち、プロセッサ８５が最初に２つの全体画像、即ち上述のように右の光学チャネルのための１つと、左の光学チャネルのためのもう１つとを生成することができ、その場合、右チャネルの画像間のオーバーラップ領域において右チャネルの画像を融合するときには、ペアのうちの１つが左チャネルの画像に帰属する画像ペアからの視差をも使用し、また、左チャネルの画像間のオーバーラップ領域において左チャネルの画像を融合するときには、ペアのうちの１つが右チャネルの画像に帰属する画像ペアからの視差をも使用して、それら２つの全体画像を生成し、次に、異なる視座(perspectives)から見た全体視野におけるシーンを表すようにして得られた全体画像から、割り当てられた深度マップを有する１つの全体画像を生成する。その全体画像は、例えば仮想視覚(virtual view)または仮想光学中心について、左右の光学チャネルの光学系の光学中心の間に配置された全体画像であってもよいが、しかしそれら光学中心の間にセンタリングされない場合もあり得る。深度マップを計算しかつ２つの全体画像の１つをワープするため、又は両方の全体画像をワープしかつ仮想視覚へと融合するために、プロセッサ８５は、左右の個々の画像の以前の融合の仮想的な中間結果として、右および左の全体画像をそれぞれ使用した。その場合、深度マップを取得し、全体画像のワープ又はそのワープ／融合を実行するために、プロセッサは両方の中間結果の全体画像における視差を評価した。
プロセッサは、例えば画像領域の相互相関（cross-correlation）によって、画像ペアにおける視差の評価を行うことに留意すべきである。
図２もまた、プロセッサ８５は、画像センサのペアにより捕捉されていた画像を融合するためのベースとして、全体で
Figure 0006530135
 の１つ又は複数の追加的な画像における視差、即ち「４個のうちの２個」の視差ソースを使用できることを示しており、前記画像センサペアの上には、左チャネルの光学系ペアが部分視野３０11及び３０12について例示されるように、直に隣接する部分視野のペアを投影しており、前記「４個のうちの２個」の視差ソースとは、前記直に隣接する部分視野のこのペア間のオーバーラップ領域におけるシーンオブジェクトの視差に関係する画像センサ領域の画像ペアである。図２において、このことは、部分視野３０11と３０12との間の斜線が交差したオーバーラップ領域について例示的に示されている。融合されるべき右チャネル１４11及び１４12の画像ペア（視差ソース１）自身とは別に、４個の画像ペアが存在し、それら画像ペアの一方は右チャネルによって、他方は左チャネルによってそれぞれの画像センサ領域上に投影され、後者（視差ソース２，３，４，５）によって捕捉されている。即ち、チャネル１４11及び１４21（視差ソース２）により捕捉された画像と、チャネル１４11及び１４22（視差ソース３）により捕捉された画像と、チャネル１４12及び１４22（視差ソース４）により捕捉された画像と、チャネル１４12及び１４21（視差ソース５）により捕捉された画像と、が存在する。さらに、もう一つの画像ペアが存在し、その両方は左チャネルによってそれぞれの画像センサ領域上に投影され、後者（視差ソース６、１４21及び１４22のペア）によって捕捉される。プロセッサは、融合のサポートのために、追加的なソース３〜５の中の１つ又は複数を使用することができる。上述した代替例に従い、プロセッサ８５が全体視野２８についての深度マップをも計算する場合には、プロセッサは、画像融合の手順に従い、視野２８の各点における深度マップを、２つ以上の画像ペアの視差の評価から決定することができる。それら画像ペアの一方は右チャネルによって、また他方は左チャネルによって、それぞれの画像センサ領域上に投影され、それら画像センサ領域によって捕捉されている。特に、前記各点とは、右チャネルの前記部分視野および左チャネルの前記部分視野のペアとは別のペアもオーバーラップしている点である。図２においては、右チャネルの部分視野のオーバーラップ領域が、左チャネルの部分視野との合同性によって、左チャネルの部分視野のオーバーラップ領域と同一である例に過ぎず、他の実施形態においては、このような合同性があるとは限らない。
全体視野２８をカバーする別の方法では、一方では左チャネルの部分視野により、他方では右チャネルの部分視野により、（左または右のチャネルへの割り当てを考慮せずに）４個を上回るチャネルが互いにオーバーラップし得ることに言及すべきである。例えば、以前の実施例の部分視野のオーバーラップ領域の間の行方向または列方向における相互のオーバーラップの場合のように、右チャネルの部分視野および左チャネルの部分視野は、それぞれ列および行の中に配置されていた。その場合、一般的に、視差ソースの個数について、
Figure 0006530135
 が当てはまる。ここで、Ｎはオーバーラップしている部分視野を有するチャネルの個数を示す。
上述の説明に加え、プロセッサ８５は、中でも、個々のチャネルの透視的な投影欠陥のチャネル毎の修正を、任意ではあるが実行する点についても言及すべきである。
図１の実施形態は、多くの意味で単に例示的であったという点に留意すべきである。これは例えば、光学チャネルの個数についても関係する。右光学チャネルの個数は、例えば４個でなく、いずれにしろ２以上、または２以上１０以下の間であってもよい。また、右の光学チャネルの部分視野のオーバーラップ領域は、各部分視野または各チャネルに関しそれぞれの部分視野について最大オーバーラップを有するペアが考慮される限り、これら全てのペアについて、その面積に関し、画像の平均画像サイズの１／２と１／１０００との間であってもよく、その画像とは画像領域１２11〜１２14によって捕捉され、例えば画像平面、即ち画像センサ領域の平面において測定されたものである。同じことが、例えば左のチャネルについても当てはまる。しかし、チャネルの個数は、右チャネルと左チャネルの間で異なっていてもよい。つまり、左光学チャネルＮLの個数と右光学チャネルＮRの個数とは必ずしも同じである必要がなく、全体視野２８の、左チャネルの部分視野と右チャネルの部分視野とへの分割は、図１の場合とほぼ同じである必要はない。部分視野とそれらのオーバーラップとに関しては、少なくとも最大オーバーラップを有する全てのペアについて、１０ｍの画像距離またはオブジェクト距離を考慮する限り、例えば少なくとも２０ピクセル分だけ部分視野が互いにオーバーラップしてもよく、このことは右チャネル及び左チャネルの双方について当てはまる。
上述の説明とは対照的に、左光学チャネルと右光学チャネルとはそれぞれ単一線状に形成される必要はない。左及び／又は右のチャネルは、光学チャネルの二次元アレイを形成してもよい。さらに、それらの単一線状アレイが同一線上の線長さ方向を持つ必要もない。しかしながら、図１の配置は、ビーム偏向前およびビーム偏向なしの場合に、右及び左の光学チャネルの光軸がそれぞれ延びる平面に対して垂直方向の最小設置高さをもたらすので、有利である。画像センサ１２に関しては、上述したように、１つ、２つ、又はそれ以上の個数のチップから形成されてもよい。例えば、各画像センサ領域１２11〜１２14及び１２21〜１２24当たり１つのチップが設けられてもよく、複数のチップの場合には、それらが１つ又は複数のボード上に設けられ、例えば１つのボードが左チャネル用又は左チャネルの画像センサ用であり、１つのボードが右チャネルの画像センサ用であってもよい。
図１の実施形態において、隣接する複数のチャネルを右または左のチャネルのチャネル内にできるだけ高密度で配置することができ、最適な場合には、チャネル距離１９がレンズ直径と対応する。これによりチャネル距離が短くなり、よって小さな視差をもたらす。複数の右チャネルを一方とし、複数の左チャネルを他方とする配置もまた、互いに任意の距離１５をおいて可能であり、これは大きな視差を実現し得る。その結果として、パッシブな光学撮像システムを用いた、アーチファクト低減された又は更にはアーチファクトのない画像融合と、深度マップの形成とが可能になる。
上述した例とは対照的に、２グループのチャネル１４1及び１４2よりも多いグループを使用することもできる。グループの数はＮで示され得る。１グループ当りのチャネル数が同じであり、全体視野の部分視野への分割が全てのグループについて同じであれば、グループ１４1の部分視野の１オーバーラップ領域当り、例えば視差ソースの数は
Figure 0006530135
 となるであろう。しかしながら、上述したように、チャネルのグループに対する全体視野の異なる分割もまた可能である。
最後に、上述の説明においては、プロセッサ８５が右チャネルの画像を融合するという単なる一例を記載したに過ぎないことに留意すべきである。同様の手順は、プロセッサ８５によって、両方及び全てのチャネルグループに対してそれぞれ、又は左チャネルに対してなど、上述したように実行され得る。
図１の３Ｄ多開口撮像装置は、例えば、携帯電話などのモバイル装置の平坦なハウジング内に設置され得る。その場合、画像センサ領域１２11〜１２14及び１２21〜１２24の平面と、左右のチャネルの光学系のレンズ平面とは、平坦なハウジングの厚み方向に対して平行に延びてもよい。ビーム偏向装置２４1及び２４2によるそれぞれのビーム偏向により、３Ｄ多開口撮像装置の全体視野は、例えばモバイル装置のスクリーンが配置されている前面側の前方、又はモバイル装置の裏面側の前方にあり得る。
図３は、例えば上述の代替例の装置１０が、例えば携帯電話、スマートホン又はメディアプレーヤーなどの内の１つであり得る例えば携帯型装置２００の平形ハウジング内に、どのように設置されるかを示している。部分１２1及び１２2の画像センサ領域の平面と、チャネル１４1及び１４2の光学系のレンズ平面とは、平形ハウジングの平坦な長さ方向に対して垂直に、かつ厚み方向と平行に、それぞれ方向付けされている。このようにして、例えば多開口撮像装置１０の全体視野が例えばスクリーンを含む平形ハウジングの前面２０２の前側にあるという効果を、ビーム偏向装置２４1及び２４2がそれぞれ持つであろう。代替的に、前面２０２の反対側にある平形ハウジングの裏面に視野があるように、偏向が行われてもよい。ハウジングは、光学チャネル１４1及び１４2のグループの光路を通過させるために、透過側２０２に透明な窓２０６を有してもよい。ハウジング内の装置１０の図示された配置によって、ハウジングの厚み方向に平行な装置１０の設置高さが低く抑えられるので、装置２００のハウジング又は装置そのものは平形であり得る。装置１０はまた、例えば自動車のように携帯型でない別の装置内に設置されることも可能であろう。
ビーム偏向装置２４1及び２４2のそれぞれに関し、それらが任意選択的な構成要素を持ち得ることにも留意すべきである。光学チャネルの光路の偏位、即ち一方では右チャネル同士間の光路の偏位があり、他方では左チャネル同士間の光路の偏位があるが、それら偏位は各々のビーム偏向装置２４1及び２４2を用いることによって、異なるように生成されてもよい。左チャネル同士間、及び右チャネル同士間の部分視野の単に部分的な、つまり不完全なオーバーラップを生成するために、光学チャネルの光学系の光学中心は、例えば割り当てられた画像センサ領域に対して横方向にオフセットしていてもよい。
この点をさらに説明するために、図４は図１に係る構成のある特異な例を示しており、ここでは、各モジュール１及び２において、それぞれの偏向手段２４1及び２４2が光学チャネル１４1#及び１４2#のそれぞれの光軸２２ 1 及び２２2からの偏位を生成し、それら光軸は当初は互いに平行である。簡素化する目的で、図４は右チャネルを有するモジュール１だけを示すが、その図および説明はモジュール２にも当てはまる。
図４は、各光学チャネル１４11，１４12，１４13，１４14が、割り当てられた光学系１６11〜１６14によって、全体視野２８のそれぞれのチャネル固有のセクション３０11〜３０14を画像センサ１２1のそれぞれの画像センサ領域１２11，１２12，１２13，１２14上に投影する様子を示す。光学系１６11〜１６14は、例えばそれぞれ１つのレンズ又は１群のレンズから成り、図４に示すように、１つの共通ホルダ１８1によって保持されることができる。ホルダ１８1は、例えば透明材料から形成されることができ、光学チャネルの光路によって透過されるが、ホルダに関しては他の代替例もあり得る。画像センサ領域１２11〜１２14は１つの共通平面、即ち光学チャネル１４1の画像面に配置されている。図４では、この平面は例示的に、図４に示すデカルト座標系のｘ及びｙ軸により広がる平面に対して平行であり、その座標系は以下の説明を簡素化するためであり、参照符号２０で示されている。一実施形態において、この平面は画像センサ領域１２21〜１２24が存在する平面と同一であってもよい。光学系１６11〜１６14は、例えば画像センサ１２に対して平行な、即ちｘｙ平面に対して平行な一平面内に並列配置されてもよい。図４の実施形態において、画像センサ平面内の画像センサ領域１２11〜１２14の相対位置は更に、ｘ及びｙ軸に沿った光学系１６11〜１６14の相対位置と合同的に、即ち画像センサ１２1に対して横方向に配置されており、それにより光学系１６11〜１６14の光学中心が画像センサ領域１２11〜１２14の中心に対してセンタリングされて配置されている。これは、図４の実施形態において、光学チャネル１４11〜１４14の光軸２２11〜２２14が、まず最初に、互いに平行かつ座標系２０のｚ軸に対して平行に延びることを意味しており、つまり、画像センサ領域１２11〜１２14及び光学系１６11〜１６14が、光軸に対してセンタリングされて配置されている。一実施例によれば、光学中心の平面は、モジュール１とモジュール２の間でも同じであり得る。任意選択的に存在する基板１８1は、各モジュールに対して個別に提供されてもよく、又は、両方のモジュールの光学系を支持してもよい。この装置は、例えば画像安定化のために、画像センサ領域１２11〜１２14に対する光学系１６11〜１６14の横方向、即ちｘ及び／又はｙ方向における相対位置を変更できる、１つ又は複数の手段を含み得る。光学系１６11〜１６14は、全体視野２８内の１シーンにおけるオブジェクトを、割り当てられた画像センサ領域１２11〜１２14上に投影する。その目的で、光学系１６11〜１６14は、画像センサ１２1からそれぞれの距離をもって配置されている。この距離は固定されていてもよいが、代替的に、この画像センサ／光学系の距離を変更する手段、例えば手動または自動の焦点変更手段が設けられてもよい。ビーム偏向装置２４1は、複数の光学チャネル１４の光路および光軸２２11〜２２14を、全体視野２８がｚ軸の方向ではなく別の方向になるようにそれぞれ偏向する。図４は、偏向後に全体視野２８がｙ軸にほぼ沿うようになる、即ち偏向がほぼｚｙ平面で実行されるような例示的な場合を表す。ここで、上述したように、図４の実施形態において、ビーム偏向装置２４1による偏向の前および偏向がない場合に、光軸２２11〜２２14は互いにそれぞれ平行であり、また例えば、光学系１６11〜１６14においてそれぞれ平行である。光学系１６11〜１６14及び画像センサ領域１２11〜１２14の対応するセンタリングされた位置決めは、製造が容易であり、設置スペースを最小化する点で好都合である。しかしながら、光学チャネルの光路の平行性は、個々のチャネル１４11〜１４14によってカバーされ、かつ各々の画像センサ領域１２11〜１２14上にそれぞれ投影される複数の部分視野が、ビーム偏向装置のような追加的な手段を用いなければほぼ完全にオーバーラップするという結果を生じる。より大きな全体視野２８をカバーするためには、図４のビーム偏向装置２４1は、光路の光軸に偏位を与えるという別の機能、即ちチャネル１４11〜１４14の部分視野３０11〜３０14が互いにより少なくオーバーラップするように、光路を偏向させる機能を持つべきである。図４の例では、このため、個々の光学チャネルに割り当てられたビーム偏向装置２４1のファセット２６11〜２６14は、互いに対して又は画像センサ１２1に対して異なる傾斜を持つ。即ち、ｘ軸周りの傾斜とｘ軸に対して垂直方向の軸周りの傾斜とを持つ。
それに加え、ビーム偏向前またはビーム偏向なしの場合に、光路および光軸がそれぞれ平行性からそれぞれ偏位し得ることは、上述した通りである。この状況については、以下においては、チャネルが光軸のある種の予偏位(pre-divergence)を持ち得るという説明で記述される。光軸２２11〜２２14のこの予偏位により、例えば全てのファセットの傾斜が異なる訳ではなく、例えばチャネルの幾つかのグループが同じ傾斜を有するファセットを持つことも可能になる。後者の場合には、一体的に、又は連続的に互いに合体して１つのファセットとすることができ、これらは言わば、線長さ方向において隣接しているチャネルのグループに対して割り当てられた１つのファセットである。その場合、これらチャネルの光軸の偏位は、光学系の光学中心とチャネルの画像センサ領域との間の横方向オフセットによって生じる、これら光軸の偏位に起因し得る。予偏位は、例えば一平面に制限されてもよい。光軸は、例えばビーム偏向前またはビーム偏向なしの場合に、それぞれ一つの共通平面上に延びつつ、その平面内で偏位を持ってもよく、ファセットは追加的な偏位だけ、即ち他の横断平面における方向の偏向または変化だけを与えてもよい。つまり、それらファセットは全て線長さ方向に対して平行に傾斜しており、互いに対しては、光軸の上述した共通平面からの違いだけを有している。ここで、複数のファセットは同一傾斜を持つことができ、又は複数のチャネルから成る１グループに対して一緒に割り当てられることができ、それら複数のチャネルの光軸は、例えばビーム偏向前またはビーム偏向なしの状態で、光軸の上述した共通平面においてペア内で既に異なっている場合である。
上述した存在可能な予偏位は、例えば複数の光学系の光学中心を線長さ方向に沿って一直線上に配置する一方で、複数の画像センサ領域の中心が、画像センサ平面内の一直線の複数の点で、画像センサ領域の平面の法線に沿って光学中心の投影からずれた状態で配置されることで、取得可能である。上述の点は、例えば線長さ方向に沿って、及び／又は、線長さ方向および画像センサの法線の両方に対して垂直な方向に沿って、チャネル固有の状態で画像センサ平面内の上述した直線上の点からずれていてもよい。代替的に、予偏位は、画像センサの中心が線長さ方向に沿って一直線上にある一方で、光学中心平面内の一直線上の複数の点において、画像センサの光学中心の投影から、光学系の中心が光学系の光学中心平面の法線に沿ってずれた状態で配置されることで、取得可能である。上述の点は、例えば線長さ方向に沿って、及び／又は、線長さ方向および光学中心平面の法線の両方に対する垂直方向に沿って、チャネル固有の状態で光学中心平面内の上述した直線上の点からずれていてもよい。それぞれの投影からの上述したチャネル固有のずれが線長さ方向においてだけ存在することが望ましく、即ち、共通平面内にある光軸が予偏位を有することが望ましい。その場合、光学中心と画像センサ領域の中心との両方が、線長さ方向と平行な一直線上にあるが、異なる中間距離を持つことになる。対照的に、線長さ方向に対して垂直な横方向のレンズと画像センサとの間の横方向オフセットは、設置高さの増大をもたらすであろう。線長さ方向の純粋な平面内のオフセットは、設置高さを変更するものではないが、ファセットの個数が減少するか、及び／又は、複数のファセットが一つの角度方向における傾斜だけを持つことになり、それは構造の簡素化をもたらすであろう。このことは図５ａ及び図５ｂに示され、そこでは、隣接するチャネル１４11及び１４ 12 を一方とし、隣接するチャネル１４13及び１４14を他方とするものが、共通平面内を通りかつ互いに対して斜視状態で延びる、即ち予偏位を与えられた光軸２２11と２２13、及び２２13と２２14を有する。ファセットのそれぞれのペアの間の点線により示されているように、ファセット２６11及び２６12は１個のファセットによって形成されることができ、ファセット２６13及び２６14はもう１個のファセットによって形成されることができ、２個のファセットだけが一方向に傾斜し、かつ両方が線長さ方向と平行である。
図５ａ及び図５ｂの代替例として、光学チャネル１及び２が互いに対して近寄る方向に伸び、チャネル３及び４も同様に延び、それら２つのペア同士が互いに偏位を持っていてもよいことに留意すべきである。その場合でも、全ての光軸は１つの平面内に延びている。このようにして、ファセットは線長さ方向において小さく作成され得る。
図４、図５ａ及び図５ｂは明確化の理由から単一のモジュールしか示していないが、他のモジュールもまた同様の方法で構成され得ることに留意すべきである。更に、各モジュール当たりのチャネルの個数も４個に限定されないことを再確認すべきである。
更に、スーパー解像度のため、及び解像度を増大させるためにそれぞれ、１つのモジュール内で複数の光学チャネルが同じ部分視野に割り当てられることもあり得る。それよって、個々の部分視野がこれら複数のチャネルによってサンプリングされる。そのような１グループ内の光学チャネルは、例えばビーム偏向前には平行して延び、１つのファセットによって１つの部分視野へと偏向されるであろう。有利なことに、あるグループの１つのチャネルの画像センサのピクセル画像は、このグループの別のチャネルの画像センサのピクセル画像間の中間位置に位置するであろう。さらに、ビーム偏向装置および画像センサについて、光学基板に関して上述したことと同様のことが当てはまる。即ち、モジュール１及び２は、１つの構成要素を共有し得る。画像安定化のために、ビーム偏向装置はｘ軸に対して平行な軸周りに回転可能であってもよい。ｘ軸に沿った光学系の並進的移動とともに、この回転運動は、二方向における全体視野の画像安定性をもたらし、そこでは、光学系のｚ軸に沿った並進的移動を介して焦点制御を実現することができる。

Claims (17)

  1. あるシーンに関する３Ｄ情報を提供する３Ｄ多開口撮像装置であって、
    画像センサ（１２）と
    全体視野（２８）のオーバーラップしている第１部分視野（３０11，３０12，３０13，３０14）を前記画像センサの第１画像センサ領域（１２11，１２12，１２13，１２14）上に投影する、複数の第１光学チャネル（１４11，１４12，１４13，１４14）と、
    互いにかつ前記第１部分視野とオーバーラップする、全体視野（２８）の第２部分視野（３０21，３０22，３０23，３０24）を前記画像センサの第２画像センサ領域（１２21，１２22，１２23，１２24）上に投影する、複数の第２光学チャネル（１４21，１４22，１４23，１４24）であって、前記第１光学チャネルと第２光学チャネルはある基本距離だけ互いに横方向にオフセットして配置されており、前記第１部分視野は一緒に前記全体視野（２８）をカバーしており、前記第２部分視野は一緒に前記全体視野（２８）をカバーしている、第２光学チャネルと、
    前記第１光学チャネルによって捕捉された複数の画像を第１の全体画像へと融合するプロセッサ（８５）であって、前記プロセッサ（８５）は、前記第１光学チャネルの光学チャネルペアの第１部分視野のオーバーラップ領域（８６）において、画像ペアにおける視差を使用して融合を実行するよう構成され、その画像ペアの少なくとも１つは前記第２光学チャネルの１つによって捕捉されたものであり、前記第２光学チャネルの１つにより投影された第２部分視野が前記オーバーラップ領域（８６）とオーバーラップしている、プロセッサ（８５）と、
    を備えた３Ｄ多開口撮像装置。
  2. 請求項１に記載の３Ｄ多開口撮像装置において、
    前記基本距離（１５）は、前記第１光学チャネルの２つの隣接する光学チャネル間、及び前記第２光学チャネルの２つの隣接する光学チャネル間の単一のチャネル基本距離（１９）より大きい、
    ３Ｄ多開口撮像装置。
  3. 請求項１又は２に記載の３Ｄ多開口撮像装置において、
    前記プロセッサ（８５）は、前記第２光学チャネルの光学チャネルペアの第２部分視野のオーバーラップ領域において、別の画像ペアにおける視差を使用して前記第２光学チャネルによって捕捉された複数の画像を第２の全体画像へと融合するよう構成され、その別の画像ペアの少なくとも１つは前記第１光学チャネルの１つによって捕捉されたものであり、前記第１光学チャネルの１つにより投影された第１部分視野が第２部分視野のオーバーラップ領域とオーバーラップしている、
    ３Ｄ多開口撮像装置。
  4. 請求項３に記載の３Ｄ多開口撮像装置において、
    前記プロセッサ（８５）は、前記第１と第２の全体画像間の視差を使用して深度マップを生成するよう構成されている、
    ３Ｄ多開口撮像装置。
  5. 請求項４に記載の３Ｄ多開口撮像装置において、
    前記プロセッサ（８５）は、前記深度マップが属する最終全体画像を得るために、前記第１若しくは第２の全体画像を仮想光学中心へとワープし、又は前記第１及び第２の全体画像を仮想視野へとワープしかつ融合するよう構成されている、
    ３Ｄ多開口撮像装置。
  6. 請求項１〜５のいずれか１項に記載の３Ｄ多開口撮像装置において、
    前記プロセッサ（８５）は、１つの深度マップに対して、前記第１の全体画像の各画像点のための深度値を決定するよう構成されている、
    ３Ｄ多開口撮像装置。
  7. 請求項１〜６のいずれか１項に記載の３Ｄ多開口撮像装置において、
    前記プロセッサ（８５）は、前記第１光学チャネルによって捕捉された画像と、前記第２光学チャネルによって捕捉された画像と、前記第１の全体画像とが同じ横方向空間解像度を有するように構成されている、
    ３Ｄ多開口撮像装置。
  8. 請求項１〜７のいずれか１項に記載の３Ｄ多開口撮像装置において、
    前記全体視野をほぼ同様に、かつサブピクセルレンジにおける相互のオフセットなしにサンプリングするために、前記第１光学チャネル（１４11，１４12，１４13，１４14）は前記第２光学チャネル（１４21，１４22，１４23，１４24）と同一構造を有する、
    ３Ｄ多開口撮像装置。
  9. 請求項１〜７のいずれか１項に記載の３Ｄ多開口撮像装置において、
    前記プロセッサ（８５）は、前記第１光学チャネルが割り当てられている前記第１部分視野が、相互に異なり、かつ前記第２光学チャネルが割り当てられている前記第２部分視野と合同するように、構成されている、
    ３Ｄ多開口撮像装置。
  10. 請求項１又は３に記載の３Ｄ多開口撮像装置において、
    前記プロセッサ（８５）は、画像ペアにおける視差を使用して深度マップを生成するよう構成され、前記画像ペアは、前記第１光学チャネルの個々の１つによって捕捉された画像と、前記第２光学チャネルの１つによって捕捉された別の画像とを含む少なくとも１つのペアを含む、
    ３Ｄ多開口撮像装置。
  11. 請求項１〜１０のいずれか１項に記載の３Ｄ多開口撮像装置において、
    前記第１光学チャネルの個数は２以上、１００以下であり、前記第１光学チャネルの光学チャネルペアの第１部分視野のオーバーラップ領域は、面積に関して、前記第１光学チャネルによって捕捉された画像の平均画像サイズの１／２と１／１０００との間である、
    ３Ｄ多開口撮像装置。
  12. 請求項１〜１１のいずれか１項に記載の３Ｄ多開口撮像装置において、
    前記第２光学チャネルの個数は２以上、１００以下であり、前記第２光学チャネルの光学チャネルペアの第２部分視野のオーバーラップ領域は、面積に関して、前記第２光学チャネルによって捕捉された画像の平均画像サイズの１／２と１／１０００との間である、
    ３Ｄ多開口撮像装置。
  13. 請求項１〜１２のいずれか１項に記載の３Ｄ多開口撮像装置において、
    前記第１光学チャネル及び前記第２光学チャネルの個数は同じであり、全体視野の第１部分視野への分割は、全体視野の第２部分視野への分割とほぼ等しい、
    ３Ｄ多開口撮像装置。
  14. 請求項１〜１３のいずれか１項に記載の３Ｄ多開口撮像装置において、
    前記第１光学チャネルの前記光学チャネルペアの部分視野は、１０ｍの画像距離において、前記第１光学チャネルの前記光学チャネルペアの部分視野によって捕捉された画像の少なくとも２０ピクセルのオーバーラップ領域の幅をもって、互いにオーバーラップしている、
    ３Ｄ多開口撮像装置。
  15. 請求項１〜１３のいずれか１項に記載の３Ｄ多開口撮像装置において、
    前記第１光学チャネル及び前記第２光学チャネルはそれぞれ単一線状アレイとして形成され、前記基本距離だけ互いにオフセットした状態で、その線長さ方向に沿って線上に並列している、
    ３Ｄ多開口撮像装置。
  16. 請求項１〜１５のいずれか１項に記載の３Ｄ多開口撮像装置において、
    前記プロセッサ（８５）は、前記画像ペアの局所部分の相互相関を使用して前記視差を決定するよう構成される、
    ３Ｄ多開口撮像装置。
  17. 画像センサ（１２）と、
    全体視野（２８）のオーバーラップしている第１部分視野（３０11，３０12，３０13，３０14）を前記画像センサの第１画像センサ領域（１２11，１２12，１２13，１２14）上に投影する、複数の第１光学チャネル（１４11，１４12，１４13，１４14）と、
    互いにかつ前記第１部分視野とオーバーラップする、全体視野（２８）の第２部分視野（３０21，３０22，３０23，３０24）を前記画像センサの第２画像センサ領域（１２21，１２22，１２23，１２24）上に投影する、複数の第２光学チャネル（１４21，１４22，１４23，１４24）であって、前記第１光学チャネルと第２光学チャネルはある基本距離だけ互いに横方向にオフセットして配置されている、第２光学チャネルと、を備えた３Ｄ多開口撮像装置によって捕捉された複数の画像を融合するための方法であって、
    前記第１部分視野は一緒に前記全体視野（２８）をカバーしており、かつ前記第２部分視野は一緒に前記全体視野（２８）をカバーしている方法において、
    前記第１光学チャネルによって捕捉された複数の画像を第１の全体画像へと融合するステップであって、前記第１光学チャネルの光学チャネルペアの第１部分視野のオーバーラップ領域（８６）において、画像ペアにおける視差を使用して融合を実行するよう構成され、その画像ペアの少なくとも１つは前記第２光学チャネルの１つによって捕捉されたものであり、前記第２光学チャネルの１つにより投影された第２部分視野が前記オーバーラップ領域（８６）とオーバーラップしている、ステップ、を含む方法。
JP2018510470A 2015-08-24 2016-08-22 ３ｄ多開口撮像装置 Active JP6530135B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015216140.4 2015-08-24
DE102015216140.4A DE102015216140A1 (de) 2015-08-24 2015-08-24 3D-Multiaperturabbildungsvorrichtung
PCT/EP2016/069821 WO2017032749A1 (de) 2015-08-24 2016-08-22 3d-multiaperturabbildungsvorrichtung

Publications (2)

Publication Number Publication Date
JP2018533248A JP2018533248A (ja) 2018-11-08
JP6530135B2 true JP6530135B2 (ja) 2019-06-12

Family

ID=56801537

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018510470A Active JP6530135B2 (ja) 2015-08-24 2016-08-22 ３ｄ多開口撮像装置

Country Status (9)

Country Link
US (1) US10701340B2 (ja)
EP (1) EP3342148B1 (ja)
JP (1) JP6530135B2 (ja)
KR (1) KR102060585B1 (ja)
CN (1) CN108353117B (ja)
DE (1) DE102015216140A1 (ja)
ES (1) ES2770333T3 (ja)
TW (2) TWI617177B (ja)
WO (1) WO2017032749A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016200287A1 (de) 2016-01-13 2017-07-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtungen, Verfahren zum Herstellen derselben und Abbildungssystem
TWI638221B (zh) * 2017-01-05 2018-10-11 旺玖科技股份有限公司 具有至少兩個鏡頭的全景影像擷取裝置及其全景影像擷取模組
DE102017204035B3 (de) 2017-03-10 2018-09-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017206429A1 (de) 2017-04-13 2018-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung, Abbildungssystem und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017206442B4 (de) * 2017-04-13 2021-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung zur Abbildung von Teilgesichtsfeldern, Multiaperturabbildungsvorrichtung und Verfahren zum Bereitstellen derselben
DE102017208709B3 (de) 2017-05-23 2018-10-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrrichtung und Verfahren zum Bereitstellen einer Multiaperturabbildungsvorrichtung
DE102017211586A1 (de) 2017-07-06 2019-01-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit geringer falschlichtempfindlichkeit, abbildungssystem und verfahren zum bereitstellen einer multiaperturabbildungsvorrichtung
CN109429055B (zh) * 2017-08-24 2021-02-23 阿里巴巴集团控股有限公司 图像展示、视频文件处理方法及装置
DE102017216172A1 (de) 2017-09-13 2019-03-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturabbildungsvorrichtung mit geringer bauhöhe und umschaltbarer blickrichtung, abbildungssystem und verfahren zum bereitstellen einer multiaperturabbildungsvorrichtung
US10900776B2 (en) * 2018-02-06 2021-01-26 Saudi Arabian Oil Company Sensor device for distance offset measurements
CN109151281A (zh) * 2018-09-26 2019-01-04 中国计量大学 一种获得深度信息的像素孔径偏移相机
DE102018222865A1 (de) 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
DE102018222861A1 (de) 2018-12-21 2020-06-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zum Akkumulieren von Bildinformation
DE102019204075B4 (de) 2019-03-25 2022-03-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung mit einer Multiaperturabbildungsvorrichtung zur Erzeugung einer Tiefenkarte
WO2020245356A1 (de) * 2019-06-06 2020-12-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multikanalabbildungsvorrichtung und vorrichtung mit einer multiaperturabbildungsvorrichtung
CN110568715A (zh) * 2019-09-30 2019-12-13 宁波元年文化传媒有限公司 立体球体表面全覆盖投影装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10155109A (ja) * 1996-11-22 1998-06-09 Canon Inc 撮像方法及び装置並びに記憶媒体
US8023117B2 (en) * 2002-01-09 2011-09-20 Venture Ad Astra, Llc Establishing and maintaining focus in segmented-optic telescopes
US7132664B1 (en) * 2002-11-09 2006-11-07 Crosetto Dario B Method and apparatus for improving PET detectors
JP2006033570A (ja) * 2004-07-20 2006-02-02 Olympus Corp 画像生成装置
EP2289235A4 (en) * 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
DE102009049387B4 (de) * 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
WO2011063347A2 (en) * 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011101035A1 (en) * 2010-02-19 2011-08-25 Iplink Limited Processing multi-aperture image data
US20120098971A1 (en) * 2010-10-22 2012-04-26 Flir Systems, Inc. Infrared binocular system with dual diopter adjustment
JP2012227679A (ja) * 2011-04-19 2012-11-15 Mathematec Corp ２眼カメラ
CN107093192B (zh) * 2011-07-05 2020-06-12 欧姆龙株式会社 用于投影体监测的方法和装置
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US9378542B2 (en) * 2011-09-28 2016-06-28 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
EP2754125B1 (en) * 2011-10-14 2017-01-18 Omron Corporation A method and apparatus for projective volume monitoring
WO2013114890A1 (ja) * 2012-02-03 2013-08-08 パナソニック株式会社 撮像装置および測距装置
US20140085431A1 (en) * 2012-09-21 2014-03-27 Sony Corporation Optical element, optical system and image processing method
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9013543B1 (en) * 2012-11-14 2015-04-21 Google Inc. Depth map generation using multiple scanners to minimize parallax from panoramic stitched images
JP2015037282A (ja) * 2013-08-15 2015-02-23 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
DE102013222780B3 (de) 2013-11-08 2015-04-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multiaperturvorrichtung und verfahren zur erfassung eines objektbereichs
DE102014213371B3 (de) * 2014-07-09 2015-08-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur erfassung eines objektbereichs
US11205305B2 (en) * 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10257494B2 (en) * 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US10469873B2 (en) * 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
WO2016168869A1 (en) * 2015-04-16 2016-10-20 California Institute Of Technology Systems and methods for behavior detection using 3d tracking and machine learning
CN204575985U (zh) * 2015-05-14 2015-08-19 中国船舶重工集团公司第七一七研究所 一种具有四孔径的稀疏合成孔径光学成像装置
US10699476B2 (en) * 2015-08-06 2020-06-30 Ams Sensors Singapore Pte. Ltd. Generating a merged, fused three-dimensional point cloud based on captured images of a scene

Also Published As

Publication number Publication date
CN108353117A (zh) 2018-07-31
TWI617177B (zh) 2018-03-01
TW201806383A (zh) 2018-02-16
TW201711457A (zh) 2017-03-16
JP2018533248A (ja) 2018-11-08
KR20180043334A (ko) 2018-04-27
EP3342148B1 (de) 2020-01-08
WO2017032749A1 (de) 2017-03-02
US10701340B2 (en) 2020-06-30
EP3342148A1 (de) 2018-07-04
KR102060585B1 (ko) 2019-12-30
ES2770333T3 (es) 2020-07-01
CN108353117B (zh) 2021-08-24
TWI668989B (zh) 2019-08-11
DE102015216140A1 (de) 2017-03-02
US20180184068A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
JP6530135B2 (ja) ３ｄ多開口撮像装置
US11244434B2 (en) Multi-aperture imaging device
JP5306275B2 (ja) 表示装置及び立体画像の表示方法
JP2018527829A (ja) 光学基板を有するマルチ開口撮像装置
JP5633181B2 (ja) デプスマップ出力装置
JP2009300268A (ja) ３次元情報検出装置
TW201713988A (zh) 具有包含反射小平面之光束偏轉裝置的多孔徑成像裝置
TWI388881B (zh) 用於自動立體顯示器的指向性發光單元
JP2012215720A (ja) 立体画像撮像装置及び立体画像撮像方法
US11924395B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
US10078227B2 (en) Autostereoscopic display screen and autostereoscopic display device using the same
KR20190121853A (ko) 다중­개구 이미징 디바이스, 이미징 시스템 및 다중­개구 이미징 디바이스를 이용가능하게 하기 위한 방법
JP2009048033A (ja) 立体画像撮像装置
JP4892205B2 (ja) 立体画像表示装置及び立体画像表示方法
JP6764714B2 (ja) 画像表示システム
US10708493B2 (en) Panoramic video
US12007680B2 (en) Device comprising a multi-aperture imaging device for generating a depth map
JP2005173190A (ja) 立体映像表示装置及び立体映像撮像装置
TWI551890B (zh) 多視角立體顯示裝置及其角度放大屏幕
JP2006287274A (ja) 撮像装置及びそれを用いた立体視画像生成システム
JP6055595B2 (ja) 立体画像撮影装置および立体画像表示装置
KR101617514B1 (ko) 멀티 프로젝션형 집적영상방법
JP2015007742A (ja) 光線３次元捕捉カムコーダおよびテレビジョンであって、前記テレビジョンの前表面および後表面に形成される実画像を生成するための、テレビジョン、平行光線フィルタデバイス、レベル化液晶または光学セルの移動または多焦点軟質レンズを含む可動レンズのセットを有する平行光線フィルタ、前記デバイスを得るための方法
KR20090059189A (ko) 3차원 영상 카메라 및 3차원 영상 구현방법
JP2011135414A (ja) ３次元画像撮影装置及び３次元画像撮影方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190515

R150 Certificate of patent or registration of utility model

Ref document number: 6530135

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250