JP5745183B2 - 撮像装置及び撮像方法 - Google Patents
撮像装置及び撮像方法 Download PDFInfo
- Publication number
- JP5745183B2 JP5745183B2 JP2014528081A JP2014528081A JP5745183B2 JP 5745183 B2 JP5745183 B2 JP 5745183B2 JP 2014528081 A JP2014528081 A JP 2014528081A JP 2014528081 A JP2014528081 A JP 2014528081A JP 5745183 B2 JP5745183 B2 JP 5745183B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- subject
- optical system
- optical
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
本発明は、撮像装置及び撮像方法に関するものである。
立体画像を表示する際、被写体を適切な視差量で表示しないと、不自然な表示になることが知られている。また、平行法で撮影する場合の視差の主な補正手順は、撮影時にカメラ間の距離を調整すること、または撮影後の画像の座標を補正することである。
例えば、特許文献１では、ピント位置の距離から個人の最適視差量に合わせて、カメラ間の距離、すなわち基線長を平行に動かして視差を調整している。また、最適な視差と、実際の視差と、の間に相違があるときは、その相違分だけ画像をずらして表示する。
図２５、図２６を用いて、さらに具体的に説明する。図２５（ａ）において、光学系ＯＰＡと光学系ＯＰＢとを用いて、平行法を用いて被写体１ａ、１ｂ、１ｃ、１ｄ、１ｅを撮影する。
図２５（ｂ）は、光学系ＯＰＡによる撮影画像を示す。図２５（ｃ）は、光学系ＯＰＢによる撮影画像を示す。図２５（ｄ）は、光学系ＯＰＡおよび光学系ＯＰＢの間で重複する撮影範囲を示す。
図２６（ａ）、（ｂ）、（ｃ）は、平行法における座標変換を説明する図である。図２６（ａ）は、補正前の状態を示している。図２６（ｂ）は、補正後の状態を示している。図２６（ｃ）は、表示画像の状態を示している。左右の像が正確に撮影されていないため、適切な立体像を得ることができない。
また、特許文献２には、連続するデータの視差の差が閾値範囲に入るように、以下の２つの手順により調整することが提案されている。
（１）左右の画像を補正量だけ水平方向にシフトする。
（２）被写体毎に被写体の距離や位置に応じてシフト量を変えて視差量を補正する。
（１）左右の画像を補正量だけ水平方向にシフトする。
（２）被写体毎に被写体の距離や位置に応じてシフト量を変えて視差量を補正する。
このように、従来は、カメラを動かして、カメラ間の距離を変えている。このため、移動機構が必要になってしまい装置が大型化してしまうという問題を生ずる。また、カメラの移動だけでは、適切な視差を得られない場合には、画像を一部切り出している。このため、画像サイズが小さくなってしまうという問題も生ずる。
また、特許文献２に記載の構成では、左右の画像を補正量だけ水平方向にシフトするので、補正後の端の画像がなくなってしまう。
さらに、被写体によってシフト量が異なるので、シフト後の画像が欠落することがある。このため、周囲の画素で補完する必要が生じてしまう。
さらに、被写体によってシフト量が異なるので、シフト後の画像が欠落することがある。このため、周囲の画素で補完する必要が生じてしまう。
本発明は、上記に鑑みてなされたものであって、小型で適切な立体画像を得られる撮像装置及び撮像方法を提供することを目的とする。
上述した課題を解決し、目的を解決するために、本発明の撮像装置は、
３つ以上の光学系と、光学系による被写体像を撮像する撮像素子と、を有する撮像装置であって、
少なくとも被写体距離を含む被写体の情報を取得する被写体情報取得部と、
被写体の情報に応じた視差量を算出する視差量算出部と、
視差量算出部によって算出された被写体の情報に応じた視差量に基づいて３つ以上の光学系の中から撮影するための２つの光学系を選択する光学系選択部と、を有することを特徴とする。
また、本発明の撮像方法は、
少なくとも被写体距離を含む被写体の情報を取得する被写体情報取得ステップと、
被写体の情報に応じた視差量を算出する視差量算出ステップと、
算出された被写体の情報に応じた視差量に基づいて３つ以上の光学系の中から撮影するための２つの光学系を選択する光学系選択ステップと、を有することを特徴とする。
３つ以上の光学系と、光学系による被写体像を撮像する撮像素子と、を有する撮像装置であって、
少なくとも被写体距離を含む被写体の情報を取得する被写体情報取得部と、
被写体の情報に応じた視差量を算出する視差量算出部と、
視差量算出部によって算出された被写体の情報に応じた視差量に基づいて３つ以上の光学系の中から撮影するための２つの光学系を選択する光学系選択部と、を有することを特徴とする。
また、本発明の撮像方法は、
少なくとも被写体距離を含む被写体の情報を取得する被写体情報取得ステップと、
被写体の情報に応じた視差量を算出する視差量算出ステップと、
算出された被写体の情報に応じた視差量に基づいて３つ以上の光学系の中から撮影するための２つの光学系を選択する光学系選択ステップと、を有することを特徴とする。
本発明は、小型で適切な立体画像を得られる撮像装置及び撮像方法を提供することができるという効果を奏する。
本実施形態の撮像装置及び撮像方法による作用効果を説明する。なお、この実施形態によって本発明は限定されるものではない。すなわち、実施形態の説明に当たって、例示のために特定の詳細な内容が多く含まれるが、これらの詳細な内容に色々なバリエーションや変更を加えても、本発明の範囲を超えない。従って、以下で説明する本発明の例示的な実施形態は、権利請求された発明に対して、一般性を失わせることなく、また、何ら限定をすることもなく、述べられたものである。
（第１実施形態）
図１は、実施形態に係る撮像装置１００の基本的な機能ブロック図である。
撮像装置１００は、３つ以上の光学系１０１ａ、１０１ｂ、１０１ｃと、光学系による被写体像を撮像する撮像素子１０２とを有する。さらに、撮像装置１００は、被写体情報取得部１０３と、視差量算出部１０４と、光学系選択部１０５と、を有する。
被写体情報取得部１０３は、被写体の情報を取得する。視差量算出部１０４は、被写体の情報に応じた視差量を算出する。光学系選択部１０５は、視差量算出部１０４によって算出された被写体の情報に応じた視差量に基づいて３つ以上の光学系１０１ａ、１０１ｂ、１０１ｃの中から撮影するための光学系を選択する。
図１は、実施形態に係る撮像装置１００の基本的な機能ブロック図である。
撮像装置１００は、３つ以上の光学系１０１ａ、１０１ｂ、１０１ｃと、光学系による被写体像を撮像する撮像素子１０２とを有する。さらに、撮像装置１００は、被写体情報取得部１０３と、視差量算出部１０４と、光学系選択部１０５と、を有する。
被写体情報取得部１０３は、被写体の情報を取得する。視差量算出部１０４は、被写体の情報に応じた視差量を算出する。光学系選択部１０５は、視差量算出部１０４によって算出された被写体の情報に応じた視差量に基づいて３つ以上の光学系１０１ａ、１０１ｂ、１０１ｃの中から撮影するための光学系を選択する。
これにより、本実施形態に係る撮像装置１００は、光学系を動かさずに適切な視差量で画像を取得できる。なお、「適切な視差量」とは、立体感を得やすい視差量をいう。立体感を得やすい視差量は、例えば、３Ｄコンソーシアムのガイドライン等に基づいて、または、経験的に、あるいは、シミュレーション等に基づいて、予め定義することができる。
そして、定義された適切な視差量に近づけるように光学系を選択する。なお、「適切
な視差量」の定義は以下も同様である。
そして、定義された適切な視差量に近づけるように光学系を選択する。なお、「適切
な視差量」の定義は以下も同様である。
視差量算出部１０４が算出する視差量は、撮影条件と観察条件とから決定される。撮影条件と観察条件の選択は、自動または手動のいずれで行っても良い。
例えば、撮影条件として、多機能携帯電話（以下、「スマートフォン」という。）で撮影することを選択し、観察条件として、スマートフォンで観察すること、もしくは別のディスプレイで観察することを選択することができる。
ここで、視差量は、取得した被写体の情報から、ピント距離（撮像装置から合焦位置までの距離）を基準に最近位置の被写体および最遠位置の被写体の何れに対しても算出してもよい。
さらに、視差量算出部１０４は、予め有している観察条件を反映した視差マップ（視差テーブル）を使用して、視差量を算出することもできる。この場合、撮像装置１００は、例えば、不図示のメモリ等を備え、当該メモリ等が、視差マップを記録してもよい。
なお、撮像素子１０２は、光学系１個に対して１つの撮像素子を１対１で設ける構成、または、複数の光学系に対して１つの撮像素子を設ける構成でもよい。
例えば、撮影条件として、多機能携帯電話（以下、「スマートフォン」という。）で撮影することを選択し、観察条件として、スマートフォンで観察すること、もしくは別のディスプレイで観察することを選択することができる。
ここで、視差量は、取得した被写体の情報から、ピント距離（撮像装置から合焦位置までの距離）を基準に最近位置の被写体および最遠位置の被写体の何れに対しても算出してもよい。
さらに、視差量算出部１０４は、予め有している観察条件を反映した視差マップ（視差テーブル）を使用して、視差量を算出することもできる。この場合、撮像装置１００は、例えば、不図示のメモリ等を備え、当該メモリ等が、視差マップを記録してもよい。
なお、撮像素子１０２は、光学系１個に対して１つの撮像素子を１対１で設ける構成、または、複数の光学系に対して１つの撮像素子を設ける構成でもよい。
図２（ａ）は、撮像装置１００の例である携帯端末２００の正面図、図２（ｂ）は、携帯端末２００の裏面図、図２（ｃ）は、携帯端末２００の側面図である。
図２（ａ）において、表示部２０１は、後述する光学系で撮像した画像を表示する。図２（ｂ）において、携帯端末２００は、異なる焦点距離を有する複数、本例では４つの光学系２０２ａ、２０２ｂ、２０２ｃ、２０２ｄを有している。ただし、光学系の個数は４つに限定されない。なお、携帯端末２００は、携帯電話、ＰＨＳ、スマートフォン、ＰＤＡ等の携帯情報処理装置であってもよい。
次に、図３を用いて、詳細に構成を説明する。ここで、図１は、本実施形態の必須の構成を示しており、図３は、さらに望ましい構成を示している。
３つ以上の光学系１０１ａ、１０１ｂ、１０１ｃは、各光学系の光軸間の距離がそれぞれ異なるように配置されている。
携帯端末２００は、撮像装置１００に加え、基線長算出部１０６と、制御部１０７と、画像処理・生成部１０８と、表示部１０９と、モニタ１１０と、メモリ１１１と、光学ズーム部１１２と、ぼかし処理部１１３と、座標変換部１１４と、電子ズーム部１１５と、を備えている。なお、図３において、撮像素子１０２は、１０２ａ〜１０２ｃからなるが、一つの撮像素子から構成されていてもよい。
携帯端末２００は、撮像装置１００に加え、基線長算出部１０６と、制御部１０７と、画像処理・生成部１０８と、表示部１０９と、モニタ１１０と、メモリ１１１と、光学ズーム部１１２と、ぼかし処理部１１３と、座標変換部１１４と、電子ズーム部１１５と、を備えている。なお、図３において、撮像素子１０２は、１０２ａ〜１０２ｃからなるが、一つの撮像素子から構成されていてもよい。
視差補正部６０５は、２つ以上の光学系１０１ａ、１０１ｂの中から選択された撮影するための光学系からの情報に基づいて視差量を補正する。なお、視差量の補正の詳細な手順に関しては、後述する。被写体情報取得部１０３は、被写体の情報を取得する。視差量算出部１０４は、被写体の位置から適切な視差量の範囲を算出する。そして、基線長算出部１０６は、被写体情報取得部１０３から得られた被写体の情報と、視差量算出部１０４によって算出された視差量の範囲とに基づいて、その視差量を得られる基線長を算出する。光学系選択部１０５は、算出された基線長に最も近い長さの光軸間距離を有する光学系を選択する。
画像処理・生成部１０８は、後述するぼかし処理、座標変換を施した画像を生成する。メモリ１１１は、画像処理・生成部１０８により生成された画像データを格納する。表示部１０９は、画像処理・生成部１０８により生成された画像を表示する。モニタ１１０は、画像処理・生成部１０８により生成された画像を表示する。
被写体距離と視差とに基づいた基線長の計算方法について、図１０を参照して説明する。ここで、被写体距離とは、撮像装置１００から被写体までの距離をいう。
観察時の適切な視差量を算出するにあたって、飛出し適切最大視差量ｘは、次式（１）で示される。ここで、飛出し適切最大視差量とは、観察者が、最も観察者側に飛び出ているように観察できる被写体についての適切な視差量をいう。図１０において、観察者は、観察者の眼からＢだけ離れた位置に、被写体が最も観察者の近くに飛び出しているように観察できる。
ｘ＝（Ａ−Ｂ）×ｅ／Ｂ （１）
ここで、
ｅ：観察者の眼の幅、
Ａ：観察距離（観察者の眼からスクリーンＳＣまでの距離）、
Ｂ：適切最短表示距離（観察者の眼から、観察者にとって最も近く飛び出しているように見える位置までの距離）、
である。
観察時の適切な視差量を算出するにあたって、飛出し適切最大視差量ｘは、次式（１）で示される。ここで、飛出し適切最大視差量とは、観察者が、最も観察者側に飛び出ているように観察できる被写体についての適切な視差量をいう。図１０において、観察者は、観察者の眼からＢだけ離れた位置に、被写体が最も観察者の近くに飛び出しているように観察できる。
ｘ＝（Ａ−Ｂ）×ｅ／Ｂ （１）
ここで、
ｅ：観察者の眼の幅、
Ａ：観察距離（観察者の眼からスクリーンＳＣまでの距離）、
Ｂ：適切最短表示距離（観察者の眼から、観察者にとって最も近く飛び出しているように見える位置までの距離）、
である。
基線長Ｄは、以下の式（１ａ）に示される。
Ｄ＝Ｘ／ＬＡ×ＬＢ／Ｍ （１ａ）
Ｍ＝Ｆ／（ＬＡ−Ｆ）
ここで、
ＬＡ：視差０距離（撮像装置１００から観察者にとってスクリーンＳＣに位置するように観察できる被写体までの位置）、
ＬＢ：被写体距離（撮像装置１００から被写体までの距離）、
Ｆ：光学系を構成するレンズの焦点距離、
Ｘ：撮像素子上の飛出し適切最大視差量（＝ｘ×表示モニタサイズ/撮像素子サイズ）
、である。
Ｄ＝Ｘ／ＬＡ×ＬＢ／Ｍ （１ａ）
Ｍ＝Ｆ／（ＬＡ−Ｆ）
ここで、
ＬＡ：視差０距離（撮像装置１００から観察者にとってスクリーンＳＣに位置するように観察できる被写体までの位置）、
ＬＢ：被写体距離（撮像装置１００から被写体までの距離）、
Ｆ：光学系を構成するレンズの焦点距離、
Ｘ：撮像素子上の飛出し適切最大視差量（＝ｘ×表示モニタサイズ/撮像素子サイズ）
、である。
（基線長計算例）
４．３インチのスマートフォン（ＨＤ表示）を用いて、被写体を観察する場合、観察距離は２５０ｍｍ、眼の幅は６５ｍｍとする。適切に観察できる最短の立体像の位置は観察者の眼から２３４ｍｍ、その時の視差量は４．４４ｍｍとなる。
これに対して、スマートフォンのカメラを用いて撮影する場合、例えば画素数ＨＤで画素ピッチが２μｍの時、視差量は撮像素子上では０．１８ｍｍとなる。
例えばピント距離を１０００ｍｍ、最短被写体距離を８００ｍｍとしたときの基線長は５．６ｍｍとなる。
選択した光学系の光軸間距離が５ｍｍの場合、最適な視差と、実際の視差と、の相違は、０．１６ｍｍである。その分を画像シフトさせて視差の補正を行う。
４．３インチのスマートフォン（ＨＤ表示）を用いて、被写体を観察する場合、観察距離は２５０ｍｍ、眼の幅は６５ｍｍとする。適切に観察できる最短の立体像の位置は観察者の眼から２３４ｍｍ、その時の視差量は４．４４ｍｍとなる。
これに対して、スマートフォンのカメラを用いて撮影する場合、例えば画素数ＨＤで画素ピッチが２μｍの時、視差量は撮像素子上では０．１８ｍｍとなる。
例えばピント距離を１０００ｍｍ、最短被写体距離を８００ｍｍとしたときの基線長は５．６ｍｍとなる。
選択した光学系の光軸間距離が５ｍｍの場合、最適な視差と、実際の視差と、の相違は、０．１６ｍｍである。その分を画像シフトさせて視差の補正を行う。
ここで、複数の光学系の配置のバリエーションに関して説明する。図４（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）は、それぞれ、３つまたは４つの光学系Ｌｆ１、Ｌｆ２、Ｌｆ３、Ｌｆ４の配置を正面から見た図である。
図において、理解しやすいように、焦点距離が短くなる（広角な光学系になる）にしたがい、円形レンズの直径を大きく図示している。
図において、理解しやすいように、焦点距離が短くなる（広角な光学系になる）にしたがい、円形レンズの直径を大きく図示している。
また、図５（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）に示すように、３つ以上の光学系の光学系中心を結んだ点線で示す線分は、一直線上に配置されていること、及び多角形状に配置されていることの少なくともいずれか一方の構成であることが望ましい。
また、撮像装置１００は、各光学系の位置を変える回転機構を設けても良い。
また、撮像装置１００は、各光学系の位置を変える回転機構を設けても良い。
これにより、光学系を選択する自由度が向上する。
また、被写体情報取得部１０３により取得される被写体の情報のうち少なくとも１つの情報は、距離情報であることが望ましい。
被写体の距離に合わせて視差量を算出することで適切な立体画像を得ることができる。
被写体距離の取得方法は一般的な手法を用いることができる。例えば、複数の光学系のうち少なくとも２つの光学系によって撮影した画像から、画像処理により被写体距離を取得すること、複数の光学系のうち少なくとも１つの光学系を使用してピント位置を変化させながら被写体の奥行情報を取得（オートフォーカス）すること、もしくは算出した距離マップにより取得することが望ましい。
また、光学系選択部１０５は、被写体のうちの主要な被写体が、適切な視差量で表示される基線長に最も近い光軸間距離を有する光学系を選択することが望ましい。ここで主要な被写体は、撮影者が予め設定しても良いし、撮像装置１００が、主要被写体判定部を備え、画像の中心位置にある被写体や、最もピントの合う被写体を、主要な被写体と判定してもよい。ただし、主要な被写体の認定については、これらの方法に限定されない。
これにより、主要な被写体の位置から適切な視差量を決定することができる。
一般的に、観察者が、快適に被写体を観察するには、スクリーンＳＣと観察者の眼の位置の距離Ａに対して、スクリーンＳＣの手前Ａ／２〜奥側Ａ／２の位置に被写体が位置するように見えることが好ましい。このため、光学系選択部１０５は、この範囲に、被写体が位置するように見えるような視差および基線長から光学系を選択することが望ましい。
図７（ａ）、（ｂ）、（ｃ）を用いて、複数の被写体ＯＢＪ−Ａ、ＯＢＪ−Ｂ，ＯＢＪ−Ｃ、ＯＢＪ−Ｄについて説明する。各図において、奥行き方向の被写界深度はＤとする。手前が撮像装置に近い方向、奥が撮像装置から遠い方向である。また、撮影時の撮影範囲はＦＶ（図７（ａ））である。
主要な被写体が被写体ＯＢＪ−Ｃの位置で飛び出して表示される場合、視差量算出部１０４は、ＯＢＪ−Ｃの表示距離ＢがＡ／２〜Ａとなる視差量を算出する、そして、基線長算出部１０６は、それに対応する基線長を算出する。最後に、光学系選択部１０５は、算出された基線長に最も近い長さの光軸間距離を有する光学系のペアを選択する。
また、光学系選択部１０５は、最も撮像装置１００に近い側に表示される被写体が適切な視差量で表示される基線長に最も近い光軸間距離を有する光学系を選択することが望ましい。
これにより、観察者にとって、より適切な表示を行うことができる。
一般的に最も手前に表示される被写体と、スクリーン上に表示される被写体（視差量０）との輻輳角の差が１度以内であることが好ましい。このため、光学系選択部１０５は、その範囲に入るような視差および基線長から光学系を選択することが望ましい。
この場合、視差量算出部１０４は、撮像装置１００に最も近い被写体である被写体ＯＢＪ−Ｄの輻輳角と、モニタ上の輻輳角の差Δが１度以内になる視差量を算出する。基線長算出部１０６は、それに対応する基線長を算出する。光学系選択部１０５は、算出された基線長に最も近い光軸間距離を有する光学系のペアを選択する。
観察者が観察する際に、より好ましい視差量を算出するにあたって、飛出し適切最大視差量ｘは、次式（２）で示される。
ｘ＝（Ａ−Ｂ）×e／Ｂ （２）
Ｂ＝ｅ／２（ｔａｎα／２）
α＝ＡＴＡＮ（ｅ／（２×Ａ）)×２＋Δ
ここで、
ｅ：観察者の眼の幅、
Ａ：観察距離、
Ｂ：適切最短表示距離である。
Δ：最も近い被写体の輻輳角αと、モニタ上の輻輳角βとの差（相違）、
である。
ｘ＝（Ａ−Ｂ）×e／Ｂ （２）
Ｂ＝ｅ／２（ｔａｎα／２）
α＝ＡＴＡＮ（ｅ／（２×Ａ）)×２＋Δ
ここで、
ｅ：観察者の眼の幅、
Ａ：観察距離、
Ｂ：適切最短表示距離である。
Δ：最も近い被写体の輻輳角αと、モニタ上の輻輳角βとの差（相違）、
である。
光学系選択部１０５は、光学系の被写界深度内の被写体のうち最も被写体距離が短い被写体の視差が、適切な視差量で表示される光学系を選択することが望ましい。
これにより、観察者にとって、より適切な表示を行うことができる。また、被写界深度外の被写体はボケるため観察対象外にすることができる。
上述したように、輻輳角の差が１度以内であることが好ましい。このため、光学系選択部１０５は、その範囲に入るような視差および基線長から光学系を選択することが望ましい。
図７に示すように、視差量算出部１０４は、被写界深度Ｄの範囲で最も撮像装置１００側の被写体である被写体ＯＢＪ−Ｃの輻輳角と、モニタ上の輻輳角の差が１度以内になる視差量を算出する。基線長算出部１０６は、それに対応する基線長を算出する。光学系選択部１０５は、算出された基線長に最も近い光軸間距離を有する光学系のペアを選択する。
被写界深度は、以下の式（３ａ）、（３ｂ）で示される。
前側被写界深度Ｌｒ＝δ×Ｆｎｏ×Ｌ２／（ｆ２−δ×Ｆｎｏ×L） （３ａ）
後側被写界深度Ｌｆ＝δ×Ｆｎｏ×Ｌ２／（ｆ２−δ×Ｆｎｏ×L） （３ｂ）
ここで、
ｆ：焦点距離（ｍｍ）、
Ｆｎｏ：Ｆナンバー、
δ：許容錯乱円直径（ｍｍ）、
Ｌ：合焦被写体距離（ｍｍ）、
である。
ただし、光学系の収差などにより上記式とは異なる場合もあるため、被写界深度の定義は上記式に限定されない。
前側被写界深度Ｌｒ＝δ×Ｆｎｏ×Ｌ２／（ｆ２−δ×Ｆｎｏ×L） （３ａ）
後側被写界深度Ｌｆ＝δ×Ｆｎｏ×Ｌ２／（ｆ２−δ×Ｆｎｏ×L） （３ｂ）
ここで、
ｆ：焦点距離（ｍｍ）、
Ｆｎｏ：Ｆナンバー、
δ：許容錯乱円直径（ｍｍ）、
Ｌ：合焦被写体距離（ｍｍ）、
である。
ただし、光学系の収差などにより上記式とは異なる場合もあるため、被写界深度の定義は上記式に限定されない。
また、携帯端末２００は、光学系の被写界深度内の被写体のうち被写体距離が長い被写体の視差が、適切な視差量で表示されない場合、撮像装置１００は、被写体距離が長い被写体をぼかす処理を行うぼかし処理部１１３をさらに有することが望ましい。この場合、ぼかし処理部１１３またはその他の部材が、適切な視差量で表示されているか否かを判定することが好ましい。
これにより、より自然な立体画像を得ることができる。
図８は、ぼかし処理部１１３が、ぼかし処理を被写体ＯＢＪ−Ａ、ＯＢＪ−Ｄに対して行った例を示している。
図８は、ぼかし処理部１１３が、ぼかし処理を被写体ＯＢＪ−Ａ、ＯＢＪ−Ｄに対して行った例を示している。
また、携帯端末２００は、適切な視差量と、撮影画像の視差量と、の相違が所定以上の場合は画像の座標変換を行う座標変換部１１４を有することが望ましい。
これにより、適切な視差量の基線長に一致する光軸間距離の光学系が存在しない場合であって、光学系選択部１０５が、算出された基線長に最も近い光軸間距離を有する光学系を選択した場合において、座標変換部１１４は、ずれた視差量の分だけ画像を座標変換する。この結果、適切な視差での立体画像が得られる。
適切な基線長より小さい光軸間距離を有する光学系の組み合わせが存在しない時は、一番小さい組み合わせで撮影して、後処理で座標変換する。
座標変換部１１４は、画像を「Ｘ−Ｘ´」だけシフトすることにより、座標変換する。より具体的には、座標変換部１１４は、「Ｘ−Ｘ´」の値が正の時は内側へ、「Ｘ−Ｘ´」の値が負の時は外側へシフトする。
ここで、
Ｘ：撮像素子上の適切な視差量、
Ｘ´：選択した光学系で取得した画像の視差量、
である。
座標変換部１１４は、画像を「Ｘ−Ｘ´」だけシフトすることにより、座標変換する。より具体的には、座標変換部１１４は、「Ｘ−Ｘ´」の値が正の時は内側へ、「Ｘ−Ｘ´」の値が負の時は外側へシフトする。
ここで、
Ｘ：撮像素子上の適切な視差量、
Ｘ´：選択した光学系で取得した画像の視差量、
である。
また、携帯端末２００が有する３つ以上の光学系は、その焦点距離がすべて異なることが望ましい。
これにより、観察者は、撮影範囲を変えて、被写体を撮影可能である。すなわち、被写体に適した撮影範囲で撮影することでより自然な立体画像を得ることができる。
複数の光学系を有することで、撮像装置１００を小型化し、各光学系単体で２Ｄ撮影することも可能である。また、光学系選択部１０５が、光学系を選択することによって基線長を調整することが出来る。広角ではより広い範囲を撮影できるので、視差量やスクリーン位置の調整も容易となる。
また、携帯端末２００は、携帯端末２００が有する３つ以上の光学系の少なくとも一つの光学系による出力画像の画角を変化させる光学ズーム部を有する構成が望ましい。そして、光学ズーム部により変化する画角の一部は、他の光学系の画角と同じであることが望ましい。なお、この場合、同じには、略同じも含まれる。
これにより、観察者は、同じ画角の視差画像を確認しながら画像を取得できる。
また、携帯端末２００は、携帯端末２００が有する３つ以上の光学系の少なくとも一つの光学系による出力画像の画角を変化させる電子ズーム部１１５を有する構成が望ましい。そして、電子ズーム部１１５により変化する画角の一部は、他の光学系の画角と略同じであることが望ましい。
これにより、携帯端末２００は、同じ画角の視差画像を確認しながら画像を取得できる。さらに、光学ズームによるレンズの移動がないため、小型化が図れる。また、機構が簡略化できる、加えて、可動部が存在しないため、音の発生を防止できる。また、像の動きがスムーズである。
また、携帯端末２００が有する３つ以上の光学系の撮影範囲は、少なくとも他の１つの光学系の撮影範囲を含むことが望ましい。
これにより、座標変換部１１４が、画像を座標変換して、視差補正を行った場合において、画像が小さくなることを防ぐことができる。
図６（ａ）は、携帯端末２００が有する３つの光学系Ｌｆ１、Ｌｆ２、Ｌｆ３の、それぞれの撮影範囲Ａｆ１、Ａｆ２、Ａｆ３を示している。
図６（ｂ）は、４つの光学系Ｌｆ１、Ｌｆ２、Ｌｆ３、Ｌｆ４の、それぞれの撮影範囲Ａｆ１、Ａｆ２、Ａｆ３、Ａｆ４を示している。
図６（ｂ）は、４つの光学系Ｌｆ１、Ｌｆ２、Ｌｆ３、Ｌｆ４の、それぞれの撮影範囲Ａｆ１、Ａｆ２、Ａｆ３、Ａｆ４を示している。
また、光学系選択部１０５は、携帯端末２００が有する光学系の中で、画角が最も小さい光学系を基準にして、光学系を選択することが望ましい。
一番撮影範囲が狭い画像に合わせることによって、座標変換による視差補正を行った時の画像の変化を小さく抑えることができる。
また、座標変換が必要になる場合、携帯端末２００は、座標変換量を低減する被写体の位置を視野内において図示するガイド表示部（図９内に示す矢印）を有することが望ましい。
これにより、選択した光学系において、画角の狭い方の画像の被写体の位置を所定の視差量になるような位置での撮影をガイドする。これにより、座標変換による視差補正を行った時の画像の変化を小さく抑えることができる。
（第２実施形態）
第２実施形態に係る撮像方法は、
被写体の情報を取得する被写体情報取得ステップと、
被写体の情報に応じた視差量を算出する視差量算出ステップと、
算出された被写体の情報に応じた視差量に基づいて３つ以上の光学系の中から撮影するための光学系を選択する光学系選択ステップと、を有することを特徴とする。
第２実施形態に係る撮像方法は、
被写体の情報を取得する被写体情報取得ステップと、
被写体の情報に応じた視差量を算出する視差量算出ステップと、
算出された被写体の情報に応じた視差量に基づいて３つ以上の光学系の中から撮影するための光学系を選択する光学系選択ステップと、を有することを特徴とする。
これにより、適切な立体画像を得ることができる。
図１１は、本実施形態の基本的な撮像手順を示すフローチャートである。ステップＳ３０１において、被写体情報取得部１０３は、被写体の情報を取得する。ステップＳ３０２において、視差量算出部１０４は、被写体の情報に応じた視差量を算出する。ステップＳ３０３において、光学系選択部１０５は、視差量算出部によって算出された被写体の情報に応じた視差量に基づいて３つ以上の光学系の中から撮影するための光学系を選択する。
これにより、光学系の移動が不要であり、かつ適切な立体画像を得ることができる。
（第１変形例）
図１２は、本実施形態の変形例のより詳細な手順を示すフローチャートである。
ステップＳ４０１において、撮影者は、被写体を選択する。
ステップＳ４０２において、被写体情報取得部１０３は、被写体の情報を取得する。
ステップＳ４０３において、視差量算出部１０４は、被写体の情報に応じた視差量を算出する。
ステップＳ４０４において、基線長算出部１０６は、被写体情報取得部１０３から得られた被写体の情報と、視差量算出部１０４によって算出された視差量とに基づいて基線長を算出する。
ステップＳ４０５において、光学系選択部１０５は、視差量算出部１０４によって算出された被写体の情報に応じた視差量に基づいて３つ以上の光学系の中から撮影するための光学系を選択する。
ステップＳ４０６において、ぼかし処理部１１３は、ぼかし処理を行い、座標変換部１１４は、画像の座標変換を行う。
ステップＳ４０７において、表示部１０９、モニタ１１０は、立体画像を表示する。また、メモリ１１１は、画像データを保存する。
図１２は、本実施形態の変形例のより詳細な手順を示すフローチャートである。
ステップＳ４０１において、撮影者は、被写体を選択する。
ステップＳ４０２において、被写体情報取得部１０３は、被写体の情報を取得する。
ステップＳ４０３において、視差量算出部１０４は、被写体の情報に応じた視差量を算出する。
ステップＳ４０４において、基線長算出部１０６は、被写体情報取得部１０３から得られた被写体の情報と、視差量算出部１０４によって算出された視差量とに基づいて基線長を算出する。
ステップＳ４０５において、光学系選択部１０５は、視差量算出部１０４によって算出された被写体の情報に応じた視差量に基づいて３つ以上の光学系の中から撮影するための光学系を選択する。
ステップＳ４０６において、ぼかし処理部１１３は、ぼかし処理を行い、座標変換部１１４は、画像の座標変換を行う。
ステップＳ４０７において、表示部１０９、モニタ１１０は、立体画像を表示する。また、メモリ１１１は、画像データを保存する。
（第２変形例）
図１３は、本実施形態の他の変形例のさらに詳細な手順を示すフローチャートである。
ステップＳ５０１において、撮影者は、スマートフォン、テレビ、スクリーンなどの観察条件を入力する。
ステップＳ５０２において、被写体情報取得部１０３は、被写体の情報を取得する。
ステップＳ５０３において、視差量を最適化する被写体を決める。
ステップＳ５０４において、視差量算出部１０４は、被写体の情報に応じた視差量を算出する。このとき、ステップＳ５０５において、視差マップを参照しても良い。
ステップＳ５０６において、基線長算出部１０６は、被写体情報取得部１０３から得られた被写体の情報と、視差量算出部１０４によって算出された視差量とに基づいて基線長を算出する。
ステップＳ５０７において、光学系選択部１０５は、視差量算出部１０４によって算出された被写体の情報に応じた視差量に基づいて３つ以上の光学系の中から撮影するための光学系を選択する。
ステップＳ５０８において、必要に応じて、矢印などの撮影位置ガイドを表示する。
ステップＳ５０９、Ｓ５１０、Ｓ５１１、Ｓ５１２において、画像処理・生成部１０８は、第１実施形態で上述した座標変換、立体画像生成を行う。
ステップＳ５１３において、表示部１０９、モニタ１１０は、立体画像を表示する。また、メモリ１１１は、画像データを保存する。
図１３は、本実施形態の他の変形例のさらに詳細な手順を示すフローチャートである。
ステップＳ５０１において、撮影者は、スマートフォン、テレビ、スクリーンなどの観察条件を入力する。
ステップＳ５０２において、被写体情報取得部１０３は、被写体の情報を取得する。
ステップＳ５０３において、視差量を最適化する被写体を決める。
ステップＳ５０４において、視差量算出部１０４は、被写体の情報に応じた視差量を算出する。このとき、ステップＳ５０５において、視差マップを参照しても良い。
ステップＳ５０６において、基線長算出部１０６は、被写体情報取得部１０３から得られた被写体の情報と、視差量算出部１０４によって算出された視差量とに基づいて基線長を算出する。
ステップＳ５０７において、光学系選択部１０５は、視差量算出部１０４によって算出された被写体の情報に応じた視差量に基づいて３つ以上の光学系の中から撮影するための光学系を選択する。
ステップＳ５０８において、必要に応じて、矢印などの撮影位置ガイドを表示する。
ステップＳ５０９、Ｓ５１０、Ｓ５１１、Ｓ５１２において、画像処理・生成部１０８は、第１実施形態で上述した座標変換、立体画像生成を行う。
ステップＳ５１３において、表示部１０９、モニタ１１０は、立体画像を表示する。また、メモリ１１１は、画像データを保存する。
（第３実施形態）
次に、第３実施形態に係る撮像装置について説明する。なお、以下、上記各実施形態と同一の部分には、同一の参照符号を付す。また、適宜、上記各実施形態と重複する説明は省略する。
図１４は、本実施形態に係る撮像装置６００の基本的な機能ブロック図である。
撮像装置６００は、２つ以上の光学系１０１ａ、１０１ｂと、光学系による被写体像を撮像する撮像素子１０２と、を有する。さらに、撮像装置６００は、被写体情報取得部１０３と、視差量算出部１０４と、視差補正部６０５と、を有する。
被写体情報取得部１０３は、被写体の情報を取得する。視差量算出部１０４は、被写体の情報に応じた視差量を算出する。視差補正部６０５は、２つ以上の光学系１０１ａ、１０１ｂの中から選択された撮影するための光学系からの情報に基づいて視差量を補正する。なお、視差量の補正の詳細な手順に関しては、後述する。
次に、第３実施形態に係る撮像装置について説明する。なお、以下、上記各実施形態と同一の部分には、同一の参照符号を付す。また、適宜、上記各実施形態と重複する説明は省略する。
図１４は、本実施形態に係る撮像装置６００の基本的な機能ブロック図である。
撮像装置６００は、２つ以上の光学系１０１ａ、１０１ｂと、光学系による被写体像を撮像する撮像素子１０２と、を有する。さらに、撮像装置６００は、被写体情報取得部１０３と、視差量算出部１０４と、視差補正部６０５と、を有する。
被写体情報取得部１０３は、被写体の情報を取得する。視差量算出部１０４は、被写体の情報に応じた視差量を算出する。視差補正部６０５は、２つ以上の光学系１０１ａ、１０１ｂの中から選択された撮影するための光学系からの情報に基づいて視差量を補正する。なお、視差量の補正の詳細な手順に関しては、後述する。
これにより、本実施形態に係る撮像装置６００は、光学系を動かさずに適切な視差量で画像を取得できる。
視差量算出部１０４が算出する視差量は、撮影条件と観察条件とから決定される。撮影条件と観察条件の選択は、自動または手動のいずれで行っても良い。
例えば、撮影条件として、既に上述している多機能携帯電話（以下、「スマートフォン」という。）で撮影することを選択し、観察条件として、スマートフォンで観察すること、もしくは別のディスプレイで観察することを選択することができる。
ここで、視差量は、取得した被写体の情報から、ピント距離（撮像装置から合焦位置までの距離）を基準に最近位置の被写体および最遠位置の被写体の何れに対しても算出してもよい。
さらに、視差量算出部１０４は、予め有している観察条件を反映した視差マップ（視差テーブル）を使用して、視差量を算出することもできる。この場合、撮像装置６００は、例えば、不図示のメモリ等を備え、当該メモリ等が、視差マップを記録してもよい。
なお、撮像素子１０２は、光学系１個に対して１つの撮像素子を１対１で設ける構成、または、複数の光学系に対して１つの撮像素子を設ける構成でもよい。
さらに、２つ以上の複数光学系で小型化し、各光学系単体で２Ｄ撮影できる。
広角側ではより広い範囲を撮影できるので、視差量やスクリーン位置の調整も容易となる。
例えば、撮影条件として、既に上述している多機能携帯電話（以下、「スマートフォン」という。）で撮影することを選択し、観察条件として、スマートフォンで観察すること、もしくは別のディスプレイで観察することを選択することができる。
ここで、視差量は、取得した被写体の情報から、ピント距離（撮像装置から合焦位置までの距離）を基準に最近位置の被写体および最遠位置の被写体の何れに対しても算出してもよい。
さらに、視差量算出部１０４は、予め有している観察条件を反映した視差マップ（視差テーブル）を使用して、視差量を算出することもできる。この場合、撮像装置６００は、例えば、不図示のメモリ等を備え、当該メモリ等が、視差マップを記録してもよい。
なお、撮像素子１０２は、光学系１個に対して１つの撮像素子を１対１で設ける構成、または、複数の光学系に対して１つの撮像素子を設ける構成でもよい。
さらに、２つ以上の複数光学系で小型化し、各光学系単体で２Ｄ撮影できる。
広角側ではより広い範囲を撮影できるので、視差量やスクリーン位置の調整も容易となる。
撮像装置６００の例である携帯端末の正面図、裏面図、側面図は、それぞれ図２（ａ）、（ｂ）、（ｃ）と同じであるので記載を省略する。
次に、図１５を用いて、詳細に構成を説明する。ここで、図１４は、本実施形態の必須の構成を示しており、図１５は、さらに望ましい構成を示している。
２つ以上、本実施形態では３つの光学系１０１ａ、１０１ｂ、１０１ｃが配置されている。
そして、光学系１０１ａ、１０１ｂ、１０１ｃのいずれか１つの光学系の撮影範囲は、少なくとも他の１つの光学系の撮影範囲を含むことが望ましい。
これにより、視差した補正でも画像が小さくなるのを防ぐことができる。
そして、光学系１０１ａ、１０１ｂ、１０１ｃのいずれか１つの光学系の撮影範囲は、少なくとも他の１つの光学系の撮影範囲を含むことが望ましい。
これにより、視差した補正でも画像が小さくなるのを防ぐことができる。
図１７（a）は、２つの光学系Ｌｆ１、Ｌｆ２の、それぞれの撮影範囲Ａｆ１、Ａｆ２を
示している。
図１７（ｂ）は、３つの光学系Ｌｆ１、Ｌｆ２、Ｌｆ３の、それぞれの撮影範囲Ａｆ１、Ａｆ２、Ａｆ３を示している。
図１７（ｃ）は、４つの光学系Ｌｆ１、Ｌｆ２、Ｌｆ３、Ｌｆ４の、それぞれの撮影範囲Ａｆ１、Ａｆ２、Ａｆ３、Ａｆ４を示している。
示している。
図１７（ｂ）は、３つの光学系Ｌｆ１、Ｌｆ２、Ｌｆ３の、それぞれの撮影範囲Ａｆ１、Ａｆ２、Ａｆ３を示している。
図１７（ｃ）は、４つの光学系Ｌｆ１、Ｌｆ２、Ｌｆ３、Ｌｆ４の、それぞれの撮影範囲Ａｆ１、Ａｆ２、Ａｆ３、Ａｆ４を示している。
携帯端末２００は、撮像装置６００に加え、視差補正部６０５と、光学系選択部１０５と、制御部１０７と、画像処理・生成部１０８と、表示部１０９と、モニタ１１０と、メモリ１１１と、光学ズーム部１１２と、ぼかし処理部１１３と、座標変換部１１４と、電子ズーム部１１５と、を備えている。なお、図１５において、撮像素子１０２は、１０２ａ〜１０２ｃからなるが、一つの撮像素子から構成されていてもよい。
被写体情報取得部１０３は、被写体の情報を取得する。視差量算出部１０４は、被写体の位置から適切な視差量の範囲を算出する。光学系選択部１０５は、視差量または、被写体情報取得部１０３から得られた被写体の情報と視差量から算出された基線長に基づいて２つ以上の光学系を選択する。視差補正部６０５は、光学系選択部１０５によって選択された撮影するための光学系からの情報に基づいて視差量を補正する。
画像処理・生成部１０８は、後述するぼかし処理、座標変換を施した画像を生成する。メモリ１１１は、画像処理・生成部１０８により生成された画像データを格納する。表示部１０９は、画像処理・生成部１０８により生成された画像を表示する。モニタ１１０は、画像処理・生成部１０８により生成された画像を表示する。
ここで、被写体距離と視差量と基線長計算については、図１０を参照して上述している計算方法と同じである。
（基線長計算例）
４．３インチのスマートフォン（ＨＤ表示）) を用いて、被写体を観察する場合、観察距離は２５０ｍｍ、目の幅は６５ｍｍとする。適切に観察できる最短の立体像の位置は観察者の眼から２３４ｍｍとなる。その時の視差量は４．４４ｍｍとなる。
これに対して、スマートフォンのカメラを用いて撮影する場合、例えば画素数ＨＤで画素ピッチが２μｍの時、上記視差量は撮像素子上では０．１８ｍｍ（９０画素）となる。
例えば撮影している画像が撮像素子上での視差が２００画素である場合、１１０画素分だけ画像をシフトさせて視差の補正を行う。
４．３インチのスマートフォン（ＨＤ表示）) を用いて、被写体を観察する場合、観察距離は２５０ｍｍ、目の幅は６５ｍｍとする。適切に観察できる最短の立体像の位置は観察者の眼から２３４ｍｍとなる。その時の視差量は４．４４ｍｍとなる。
これに対して、スマートフォンのカメラを用いて撮影する場合、例えば画素数ＨＤで画素ピッチが２μｍの時、上記視差量は撮像素子上では０．１８ｍｍ（９０画素）となる。
例えば撮影している画像が撮像素子上での視差が２００画素である場合、１１０画素分だけ画像をシフトさせて視差の補正を行う。
ここで、２つ以上の複数の光学系の配置のバリエーションに関して説明する。図１６（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）は、それぞれ、２つ以上、例えば３つまたは４つの光学系Ｌｆ１、Ｌｆ２、Ｌｆ３、Ｌｆ４の配置を正面から見た図である。
画角が最も小さい光学系の撮影範囲は、他の前記光学系の撮影範囲に含まれていることが望ましい。
これにより、一番撮影範囲が狭い画像に合わせることによって、視差補正を行った時の画像の変化を小さく抑えることができる。
これにより、一番撮影範囲が狭い画像に合わせることによって、視差補正を行った時の画像の変化を小さく抑えることができる。
また、図１６（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）、（ｆ）に示すように、２つ以上の光学系の光学系中心位置を結んだ点線で示す線分は、一直線上に配置されていること、及び多角形形状に配置されていることの少なくともいずれか一方の構成であることが望ましい。
また、後述するように撮像装置６００は、各光学系の位置を変える回転機構を設けても良い。
さらに、２つ以上の複数光学系の光学系中心間の距離は一定である構成、またはすべて異なる構成のいずれでもよい。
また、後述するように撮像装置６００は、各光学系の位置を変える回転機構を設けても良い。
さらに、２つ以上の複数光学系の光学系中心間の距離は一定である構成、またはすべて異なる構成のいずれでもよい。
これにより、撮影範囲が他の撮影範囲に含まれる状態にできる。
視差補正部６０５は、被写体情報取得部１０３によって取得された被写体位置情報に基づいて視差の補正を行うことが望ましい。
これにより、被写体の情報に合わせた適切な立体画像が取得できる。
これにより、被写体の情報に合わせた適切な立体画像が取得できる。
また、被写体情報取得部１０３により取得される被写体の情報のうち少なくとも１つの情報は、距離情報であることが望ましい。
これにより、被写体の距離に合わせた適切な立体画像を得ることができる。
被写体距離の取得方法は一般的な手法を用いることができる。例えば、複数の光学系のうち少なくとも２つの光学系によって撮影した画像から測距すること、複数光学系のうち少なくとも１つの光学系を使用してピント位置を変化させながら被写体の奥行情報を取得（オートフォーカス）すること、もしくは算出した距離マップより取得することが望ましい。
視差補正部６０５は、視差量算出部１０４によって算出された被写体情報に応じた視差量をもとに、視差を補正することが望ましい。
これにより、被写体に応じた適切な視差に補正することができる。
これにより、被写体に応じた適切な視差に補正することができる。
さらに、視差補正部６０５は、被写体のうちの主要な被写体が、適切な視差量で表示されるように視差量を補正することが望ましい。
これにより、主要な被写体が適切な視差量である立体画像を取得できる。
これにより、主要な被写体が適切な視差量である立体画像を取得できる。
上述したように、一般的に快適に観察できる範囲は、スクリーンＳＣと眼の位置の距離Ａに対して、手前Ａ／２〜奥側Ａ／２とされている。このため、この範囲に入るような視差および基線長から光学系を選択することが望ましい。
第１実施形の説明で用いた図７（ａ）、（ｂ）を参照して、複数の被写体ＯＢＪ−Ａ、ＯＢＪ−Ｂ、ＯＢＪ−Ｃ、ＯＢＪ−Ｄについて説明する。各図において、奥行き方向の被写界深度Ｄを有する。手前が撮像装置に近い方向、奥が撮像装置から遠い方向である。また、撮影時の撮影範囲はＦＶ（図７（ａ））である。
主要被写体が被写体ＯＢＪ−Ｃで飛び出して表示する場合、視差量算出部１０４は、ＯＢＪ−Ｃの表示距離ＢがＡ／２〜Ａとなる視差量を算出する、光学系選択部１０５は、視差量または、視差量に対応する基線長に基づいて光学系のペアを選択する。
視差補正部６０５は、最も撮像装置に近い側に表示される被写体が適切な視差量で表示されるように視差量を補正することが望ましい。
これにより、眼に負担の大きい飛び出しにおいて、目に適切な位置での表示を行うことができる。
これにより、眼に負担の大きい飛び出しにおいて、目に適切な位置での表示を行うことができる。
第１実施形態で述べたように、一般的に最も手前に表示される被写体と、スクリーン上に表示される被写体（視差量０）との輻輳角の差が角度として１度以内が適切とされている。このため、その範囲に入るような視差および基線長から光学系を選択することが望ましい。
この場合、視差量算出部１０４は、最も手前の被写体である被写体ＯＢＪ−Ｄの輻輳角と、モニタ上の輻輳角の差が１度以内になる視差量を算出する。光学系選択部１０５は、視差量または、視差量に対応する基線長に基づいて光学系のペアを選択する。
観察者が観察する際に、より好ましい視差量を算出するにあたって、飛出し適切最大視差量ｘは、上述した式（２）で求められる。
視差補正部６０５は、光学系の被写界深度内の被写体のうち最も被写体距離が短い被写体の視差が、適切な視差量で表示されるように視差量を補正することが望ましい。
これにより、眼に負担の大きい飛び出しにおいて、目に適切な位置での表示を行うことができる。
ここで主要な被写体は、撮影者が予め設定しても良いし、撮像装置６００が、主要被写体判定部を備え、画像の中心位置にある被写体や、最もピントの合う被写体を、主要な被写体と判定してもよい。ただし、主要な被写体の認定については、これらの方法に限定されない。
さらに、深度外のボケた被写体は対象外にすることができる。
これにより、眼に負担の大きい飛び出しにおいて、目に適切な位置での表示を行うことができる。
ここで主要な被写体は、撮影者が予め設定しても良いし、撮像装置６００が、主要被写体判定部を備え、画像の中心位置にある被写体や、最もピントの合う被写体を、主要な被写体と判定してもよい。ただし、主要な被写体の認定については、これらの方法に限定されない。
さらに、深度外のボケた被写体は対象外にすることができる。
被写界深度範囲での最も手前の被写体、即ち、被写体ＯＢＪ−Ｃの輻輳角と、モニタ上の輻輳角の差が１度以内になる視差量を算出する。
被写界深度は、上述した式（３ａ）、（３ｂ）で求められる。
図７の（ａ）、（ｂ）ですでに示したように、視差量算出部１０４は、被写界深度Ｄの範囲での最も手前の被写体である被写体ＯＢＪ−Ｃの輻輳角と、モニタ上の輻輳角の差が１度以内になる視差量を算出する。光学系選択部１０５は、視差量または、視差量に対応する基線長に基づいて光学系のペアを選択する。
視差補正部６０５は、視差量算出部１０４によって算出された被写体位置に応じた視差量と、適切な視差量との差が所定以上の場合は視差量を補正することが望ましい。
これにより、適切な視差量に補正することができる。
これにより、適切な視差量に補正することができる。
視差補正部６０５は、画像の座標変換を行う座標変換部１１４を有することが望ましい。
これにより、適切な視差量の基線長に一致する光軸間距離の光学系が存在しない場合であって、最も近い光学系を選択した場合において、座標変換部１１４は、ずれた視差量分だけ座標変換する。この結果、適切な視差での立体画像が得られる。
適切な基線長より小さい光学系の組み合わせが存在しない時は、一番小さい組み合わせで撮影して、後処理で座標変換する。
この座標変換は、上述したように、画像を「Ｘ−Ｘ´」だけシフトする手順で行う。
この座標変換は、上述したように、画像を「Ｘ−Ｘ´」だけシフトする手順で行う。
携帯端末２００は、光学系の被写界深度内の被写体のうち被写体距離が長い被写体の視差が、適切な視差量で表示されない場合、被写体距離が長い被写体をぼかす処理を行うぼかし処理部１１３を有することが望ましい。
これにより、所定以上の視差で眼に負担が大きくなり、快適に観察できなくなることを防止でき、自然な立体画像を得ることができる。
視差量が目の幅以上になると、左右の目の向きが外側になり立体像が観察できなくなる。
これにより、所定以上の視差で眼に負担が大きくなり、快適に観察できなくなることを防止でき、自然な立体画像を得ることができる。
視差量が目の幅以上になると、左右の目の向きが外側になり立体像が観察できなくなる。
ぼかし処理を被写体ＯＢＪ−Ａ、ＯＢＪ−Ｄに対して行った例は、図８を用いて、上述している場合と同じである。
携帯端末２００は、２つ以上の光学系のうち２つ以上の光学系を選択して、視差画像を撮影する光学系選択部１０５を有することが望ましい。
これにより、２つ以上の光学系で視差画像を撮影する。この際、光学系選択部１０５は、撮影したい画角や視差補正量・基線長などに合わせて光学系を選択する。
これにより、２つ以上の光学系で視差画像を撮影する。この際、光学系選択部１０５は、撮影したい画角や視差補正量・基線長などに合わせて光学系を選択する。
携帯端末２００は、２つ以上の光学系の少なくとも一つの光学系による出力画像の画角を変化させる光学ズーム部１１２を有し、
光学ズーム部１１２により変化する画角の一部は、他の光学系の画角と略同じであることが望ましい。
これにより、同じ画角の視差画像を確認しながら画像が取得できる。
光学ズーム部１１２により変化する画角の一部は、他の光学系の画角と略同じであることが望ましい。
これにより、同じ画角の視差画像を確認しながら画像が取得できる。
２つ以上の光学系の少なくとも一つの光学系による出力画像の画角を変化させる電子ズーム部１１５を有し、
電子ズーム部１１５により変化する画角の一部は、他の光学系の画角と略同じであることが望ましい。
これにより、同じ画角の視差画像を確認しながら画像が取得できる。
電子ズーム部１１５により変化する画角の一部は、他の光学系の画角と略同じであることが望ましい。
これにより、同じ画角の視差画像を確認しながら画像が取得できる。
上述のように、ズームは光学ズームと電子ズームとのいずれの方式でも良い。電子ズームの場合、光学ズームに比較してレンズの移動がない。このため、装置の小型化できること、機構が簡略化できること、駆動音が生じないこと、動きがスムーズであることなどの利点を有する。
さらに、本実施形態は、図１８（ａ）、（ｂ）に示すように、光学系回転機構９０１を有することが望ましい。
光学系回転機構９０１は、光学系選択部１０５によって選択された光学系（レンズＬｆ１、Ｌｆ２、Ｌｆ３）の配置が撮像素子に対して適切な配置になるように、光学系を回転させて撮影する。
これにより、適切な形式で表示できるような視差画像を取得する。
光学系回転機構９０１は、光学系選択部１０５によって選択された光学系（レンズＬｆ１、Ｌｆ２、Ｌｆ３）の配置が撮像素子に対して適切な配置になるように、光学系を回転させて撮影する。
これにより、適切な形式で表示できるような視差画像を取得する。
また、通常の立体画像を表示する際、視差画像を横並びで表示するサイドバイサイドなど、適切な形式で表示できるような視差画像を生成する必要がある。
例えば、選択された光学系が斜めの配置である場合、光学系回転機構９０１は、選択した光学系が観察者に対して相互に水平方向に位置するように光学系を回転させて撮影する。
例えば、選択された光学系が斜めの配置である場合、光学系回転機構９０１は、選択した光学系が観察者に対して相互に水平方向に位置するように光学系を回転させて撮影する。
また、携帯端末２００は、光学系選択部１０５によって選択された光学系の配置に合わせて、撮像素子上で適切な視差画像になるように画像処理する画像処理部１０８（画像処理・生成部）を有することが望ましい。
これにより、適切な形式で表示できるような視差画像を取得できる。
これにより、適切な形式で表示できるような視差画像を取得できる。
また、携帯端末２００は、光学系選択部１０５によって選択された光学系の配置に合わせて、撮像素子上で適切な視差画像になるように撮影ガイドを表示するガイド表示部（図１８（ｃ）の矢印）を有することが望ましい。
これにより、適切な形式で表示できるような視差画像を取得できる。
これにより、適切な形式で表示できるような視差画像を取得できる。
上述したように、通常の立体画像を表示する際、視差画像を横並びで表示するサイドバイサイドなど、適切な形式で表示できるような視差画像を生成する必要がある。
例えば、携帯端末２００において、図１８（ｃ）に示すように、視野ＦＶ内に回転方向や回転量の図示、例えば数値もしくは矢印、回転後の撮影範囲、回転量に応じた長さや太さの矢印などを行うことが望ましい。
例えば、携帯端末２００において、図１８（ｃ）に示すように、視野ＦＶ内に回転方向や回転量の図示、例えば数値もしくは矢印、回転後の撮影範囲、回転量に応じた長さや太さの矢印などを行うことが望ましい。
（第４実施形態）
次に第４実施形態について説明する。
第４実施形態に係る撮像方法は、
被写体の情報を取得する被写体情報取得ステップと、
被写体の情報に応じた視差量を算出する視差量算出ステップと、
焦点距離が異なる２つ以上の光学系からの情報にもとづいて視差量を補正する視差補正ステップと、を有することを特徴とする。
次に第４実施形態について説明する。
第４実施形態に係る撮像方法は、
被写体の情報を取得する被写体情報取得ステップと、
被写体の情報に応じた視差量を算出する視差量算出ステップと、
焦点距離が異なる２つ以上の光学系からの情報にもとづいて視差量を補正する視差補正ステップと、を有することを特徴とする。
これにより、常に適切な立体画像を得ることができる。
図１９は、本実施形態の基本的な撮像手順を示すフローチャートである。ステップＳ６０１において、被写体情報取得部１０３は、被写体の情報を取得する。ステップＳ６０２において、視差量算出部１０４は、被写体の情報に応じた視差量を算出する。ステップＳ６０３において、視差補正部６０５は、焦点距離が異なる２つ以上の光学系からの情報にもとづいて視差量を補正する。
これにより、光学系の移動が不要であり、かつ適切な立体画像を得ることができる。
（第１変形例）
図２０は、本実施形態の変形例のより詳細な手順を示すフローチャートである。
ステップＳ７０１において、撮影者は、被写体を選択する。
ステップＳ７０２において、被写体情報取得部１０３は、被写体の情報を取得する。ステップＳ７０３において、視差量算出部１０４は、被写体の情報に応じた視差量を算出する。
ステップＳ７０４において、視差補正部６０５は、焦点距離が異なる２つ以上の光学系からの情報にもとづいて視差量を補正する。
ステップＳ７０５において、表示部１０９、モニタ１１は、立体画像を表示する。また、メモリ１１１は、画像データを保存する。
図２０は、本実施形態の変形例のより詳細な手順を示すフローチャートである。
ステップＳ７０１において、撮影者は、被写体を選択する。
ステップＳ７０２において、被写体情報取得部１０３は、被写体の情報を取得する。ステップＳ７０３において、視差量算出部１０４は、被写体の情報に応じた視差量を算出する。
ステップＳ７０４において、視差補正部６０５は、焦点距離が異なる２つ以上の光学系からの情報にもとづいて視差量を補正する。
ステップＳ７０５において、表示部１０９、モニタ１１は、立体画像を表示する。また、メモリ１１１は、画像データを保存する。
（第２変形例）
図２１は、本実施形態の他の変形例のさらに詳細な手順を示すフローチャートである。
ステップＳ８０１において、撮影者は、スマートフォン、テレビ、スクリーンなどの観察条件を入力する。
ステップＳ８０２において、被写体情報取得部１０３は、被写体の情報を取得する。
ステップＳ８０３において、視差量を最適化する被写体を決める。
ステップＳ８０４において、視差量算出部１０４は、被写体の情報に応じた視差量を算出する。このとき、ステップＳ８０５において、視差マップを参照しても良い。
ステップＳ８０６において、視差補正部６０５は、算出された視差量に基づいて視差量を補正する。
ステップＳ８０７において、必要に応じて、矢印などの撮影位置ガイドを表示する。
ステップＳ８０８、Ｓ８０９、Ｓ８１０、Ｓ８１１において、画像取得、画像処理・生成部１０８は、第３実施形態で上述した座標変換、立体画像生成を行う。
ステップＳ８１２において、表示部１０９、モニタ１１は、立体画像を表示する。また、メモリ１１１は、画像データを保存する。
図２１は、本実施形態の他の変形例のさらに詳細な手順を示すフローチャートである。
ステップＳ８０１において、撮影者は、スマートフォン、テレビ、スクリーンなどの観察条件を入力する。
ステップＳ８０２において、被写体情報取得部１０３は、被写体の情報を取得する。
ステップＳ８０３において、視差量を最適化する被写体を決める。
ステップＳ８０４において、視差量算出部１０４は、被写体の情報に応じた視差量を算出する。このとき、ステップＳ８０５において、視差マップを参照しても良い。
ステップＳ８０６において、視差補正部６０５は、算出された視差量に基づいて視差量を補正する。
ステップＳ８０７において、必要に応じて、矢印などの撮影位置ガイドを表示する。
ステップＳ８０８、Ｓ８０９、Ｓ８１０、Ｓ８１１において、画像取得、画像処理・生成部１０８は、第３実施形態で上述した座標変換、立体画像生成を行う。
ステップＳ８１２において、表示部１０９、モニタ１１は、立体画像を表示する。また、メモリ１１１は、画像データを保存する。
実施形態の態様について説明する。図２２（ａ）、（ｂ）、（ｃ）、（ｄ）は、撮像素子４の撮像面の分割を示す図である。複数のズームレンズは、それぞれ同一の撮像素子４のうちの撮像面の異なる領域に物体の像を結像するように配置されている。図２２（ａ）、（ｂ）、（ｃ）、（ｄ）は、撮像素子４の撮像面を正面からみた構成を示している。各図においてＮは、ズームレンズの数量、すなわちモジュール数を示している。
例えば、図２２（ａ）に示す撮像素子４における、２つの矩形領域（斜線を付す）は、ズームレンズを水平方向に２つ並べたときの、それぞれのズームレンズが物体の像を結像するよう領域を示している。２つの結像領域の最短中心間距離はＤｍｉｎで示す。
ここでは、撮像素子４の縦横比を４：３、各ズームレンズの撮像領域を１６：９として例示する。
ここでは、撮像素子４の縦横比を４：３、各ズームレンズの撮像領域を１６：９として例示する。
図２２（ｂ）は、ズームレンズを垂直方向に２つ（Ｎ＝２）並べたときの撮像素子４における結像領域を示している。
図２２（ｃ）は、水平方向に２つ、垂直方向に２つの計４個（Ｎ＝４）のズームレンズを並べたときの撮像素子４における結像領域を示している。
さらに、図２２（ｄ）は、水平方向に３つ、垂直方向に３つの計９個（Ｎ＝９）のズームレンズを並べたときの撮像素子４における結像領域を示している。
図２２（ｃ）は、水平方向に２つ、垂直方向に２つの計４個（Ｎ＝４）のズームレンズを並べたときの撮像素子４における結像領域を示している。
さらに、図２２（ｄ）は、水平方向に３つ、垂直方向に３つの計９個（Ｎ＝９）のズームレンズを並べたときの撮像素子４における結像領域を示している。
次に、３つ以上の複数のズームレンズを設けることの作用効果を説明する。
３つ以上の複数のズームレンズを用いることで、撮像系の方向に依らず３Ｄ撮像が可能となる。例えばズームレンズが２つ左右方向（水平方向）にだけ並べられているときに、デジタルカメラを縦位置の方向で使用した場合、複数のズームレンズは縦位置（垂直方向）に並ぶことになる。この場合の撮像では左右方向の視差画像は得られない。
これに対して、ズームレンズが４つ以上、上下左右方向に並べられている場合、撮像系を縦位置にした場合、横位置にした場合、いずれの場合も左右方向の視差画像を取得することができる。また、縦位置と横位置との間の状態においても、上下左右の視差画像から、自然な立体感を補間することができる。
３つ以上の複数のズームレンズを用いることで、撮像系の方向に依らず３Ｄ撮像が可能となる。例えばズームレンズが２つ左右方向（水平方向）にだけ並べられているときに、デジタルカメラを縦位置の方向で使用した場合、複数のズームレンズは縦位置（垂直方向）に並ぶことになる。この場合の撮像では左右方向の視差画像は得られない。
これに対して、ズームレンズが４つ以上、上下左右方向に並べられている場合、撮像系を縦位置にした場合、横位置にした場合、いずれの場合も左右方向の視差画像を取得することができる。また、縦位置と横位置との間の状態においても、上下左右の視差画像から、自然な立体感を補間することができる。
また、例えば、３つのズームレンズを水平方向（横方向）に並べる場合、多視点での視差画像を取得することが可能となる。これにより、視聴者の移動や、複数名での３Ｄ鑑賞など立体画像鑑賞の自由度が向上する。
これらを実現するために、ズームレンズの数を増やしていくと、それに伴い、製造誤差等に起因するばらつきも大きくなる。このため、本構成の特徴である、共通部材によるレンズ保持などのばらつきを低減する構成の重要性が増すこととなる。
これらを実現するために、ズームレンズの数を増やしていくと、それに伴い、製造誤差等に起因するばらつきも大きくなる。このため、本構成の特徴である、共通部材によるレンズ保持などのばらつきを低減する構成の重要性が増すこととなる。
本実施形態の撮像装置によれば、同じ焦点距離範囲を有する少なくとも２つのズームレンズを配置することにより、容易に可変な画角の複数の視差画像を得ることが出来る。このため、３Ｄ撮影シーンの自由度が向上する。
また、複数のズームレンズの任意の２つのズームレンズは、入射面から撮像面に至るまでの光軸間距離が略等しい。これにより、各ズームレンズの光軸が平行な平行法や、各変倍光学系の光軸が遠方で公差する公差法により、人間の両眼によって得られるものに近い視差情報を取得することが出来る。
次に、複数の光学系の焦点距離が異なるときに具体的な諸元値を示す。図２４（ａ）は、このような光学系を正面から見た図である。固定焦点ｆ１を有するレンズＬｆ１と、固定焦点ｆ２を有するレンズＬｆ２とが単一の撮像素子に対して横方向に並列して配置されている。
数値実施例１
固定焦点f１のレンズ
単位ｍｍ
面データ
面番号 r d nd νd
物面 ∞ ∞
1 17.092 0.69 1.92286 20.88
2 11.685 2.09 1.74320 49.34
3* 207.393 0.32
4 164.069 0.63 1.88300 40.76
5 6.908 1.81
6 -12.196 0.63 1.78800 47.37
7 5.313 1.67 1.84666 23.78
8 40.510 9.37
9(絞り) ∞ 0.63
10* 14.023 1.17 1.58313 59.38
11 -20.051 10.26
12* 15.871 2.89 1.49700 81.54
13 -5.848 0.63 1.88300 40.76
14 -8.692 0.63
15 -38.291 0.63 1.92286 20.88
16 12.287 5.37
17 ∞ 0.00
18 37.408 2.03 1.75211 25.05
19 -18.946 15.62
20 ∞ 1.13 1.51633 64.14
21 ∞ 1.18
像面（撮像面）∞
非球面データ
第３面
K=0.000
A4=6.71509e-06
第１０面
K=-8.887
A4=2.54220e-04,A6=-5.63250e-06
第１２面
K=0.000
A4=-1.78527e-04,A6=1.25518e-06,A8=7.99258e-08
焦点距離 8.76
ＦＮＯ． 4.98
画角２ω 70.52
像高 5.40
fb（in air) 17.55
全長(in air) 59.01
群焦点距離
Gf1=28.12 Gf2=-4.60 Gf3=14.33 Gf4=15.20 Gf5=-10.02 Gf6=16.98
固定焦点f１のレンズ
単位ｍｍ
面データ
面番号 r d nd νd
物面 ∞ ∞
1 17.092 0.69 1.92286 20.88
2 11.685 2.09 1.74320 49.34
3* 207.393 0.32
4 164.069 0.63 1.88300 40.76
5 6.908 1.81
6 -12.196 0.63 1.78800 47.37
7 5.313 1.67 1.84666 23.78
8 40.510 9.37
9(絞り) ∞ 0.63
10* 14.023 1.17 1.58313 59.38
11 -20.051 10.26
12* 15.871 2.89 1.49700 81.54
13 -5.848 0.63 1.88300 40.76
14 -8.692 0.63
15 -38.291 0.63 1.92286 20.88
16 12.287 5.37
17 ∞ 0.00
18 37.408 2.03 1.75211 25.05
19 -18.946 15.62
20 ∞ 1.13 1.51633 64.14
21 ∞ 1.18
像面（撮像面）∞
非球面データ
第３面
K=0.000
A4=6.71509e-06
第１０面
K=-8.887
A4=2.54220e-04,A6=-5.63250e-06
第１２面
K=0.000
A4=-1.78527e-04,A6=1.25518e-06,A8=7.99258e-08
焦点距離 8.76
ＦＮＯ． 4.98
画角２ω 70.52
像高 5.40
fb（in air) 17.55
全長(in air) 59.01
群焦点距離
Gf1=28.12 Gf2=-4.60 Gf3=14.33 Gf4=15.20 Gf5=-10.02 Gf6=16.98
固定焦点f２
単位ｍｍ
面データ
面番号 r d nd νd
物面 ∞ ∞
1 17.092 0.69 1.92286 20.88
2 11.685 2.09 1.74320 49.34
3* 207.393 14.43
4 164.069 0.63 1.88300 40.76
5 6.908 1.81
6 -12.196 0.63 1.78800 47.37
7 5.313 1.67 1.84666 23.78
8 40.510 0.53
9(絞り) ∞ 0.63
10* 14.023 1.17 1.58313 59.38
11 -20.051 0.32
12* 15.871 2.89 1.49700 81.54
13 -5.848 0.63 1.88300 40.76
14 -8.692 8.57
15 -38.291 0.63 1.92286 20.88
16 12.287 2.11
17 ∞ 0.00
18 37.408 2.03 1.75211 25.05
19 -18.946 15.62
20 ∞ 1.13 1.51633 64.14
21 ∞ 1.18
像面（撮像面）∞
非球面データ
第３面
K=0.000
A4=6.71509e-06
第１０面
K=-8.887
A4=2.54220e-04,A6=-5.63250e-06
第１２面
K=0.000
A4=-1.78527e-04,A6=1.25518e-06,A8=7.99258e-08
焦点距離 59.59
ＦＮＯ． 6.34
画角２ω 10.09
像高 5.40
fb（in air) 17.55
全長(in air) 59.01
群焦点距離
Gf1=28.12 Gf2=-4.60 Gf3=14.33 Gf4=15.20 Gf5=-10.02 Gf6=16.98
単位ｍｍ
面データ
面番号 r d nd νd
物面 ∞ ∞
1 17.092 0.69 1.92286 20.88
2 11.685 2.09 1.74320 49.34
3* 207.393 14.43
4 164.069 0.63 1.88300 40.76
5 6.908 1.81
6 -12.196 0.63 1.78800 47.37
7 5.313 1.67 1.84666 23.78
8 40.510 0.53
9(絞り) ∞ 0.63
10* 14.023 1.17 1.58313 59.38
11 -20.051 0.32
12* 15.871 2.89 1.49700 81.54
13 -5.848 0.63 1.88300 40.76
14 -8.692 8.57
15 -38.291 0.63 1.92286 20.88
16 12.287 2.11
17 ∞ 0.00
18 37.408 2.03 1.75211 25.05
19 -18.946 15.62
20 ∞ 1.13 1.51633 64.14
21 ∞ 1.18
像面（撮像面）∞
非球面データ
第３面
K=0.000
A4=6.71509e-06
第１０面
K=-8.887
A4=2.54220e-04,A6=-5.63250e-06
第１２面
K=0.000
A4=-1.78527e-04,A6=1.25518e-06,A8=7.99258e-08
焦点距離 59.59
ＦＮＯ． 6.34
画角２ω 10.09
像高 5.40
fb（in air) 17.55
全長(in air) 59.01
群焦点距離
Gf1=28.12 Gf2=-4.60 Gf3=14.33 Gf4=15.20 Gf5=-10.02 Gf6=16.98
次に、３つのズーム光学系を有する構成のときの光学系の数値実施例を示す。例えば、図２４（ｂ）に示すように、３つのズーム光学系Ｌｆ１、Ｌｆ２，Ｌｆ３を有する構成である。ここで、ｆ１が広角端、ｆ２が中間、ｆ３が望遠端の状態として、撮像することができる。
ズームレンズ
単位ｍｍ
面データ
面番号 r d nd νd
物面 ∞ ∞
1 17.092 0.69 1.92286 20.88
2 11.685 2.09 1.74320 49.34
3* 207.393 可変
4 164.069 0.63 1.88300 40.76
5 6.908 1.81
6 -12.196 0.63 1.78800 47.37
7 5.313 1.67 1.84666 23.78
8 40.510 可変
9(絞り) ∞ 0.63
10* 14.023 1.17 1.58313 59.38
11 -20.051 可変
12* 15.871 2.89 1.49700 81.54
13 -5.848 0.63 1.88300 40.76
14 -8.692 可変
15 -38.291 0.63 1.92286 20.88
16 12.287 可変
17 ∞ 0.00
18 37.408 2.03 1.75211 25.05
19 -18.946 15.62
20 ∞ 1.13 1.51633 64.14
21 ∞ 1.18
像面（撮像面）∞
非球面データ
第３面
K=0.000
A4=6.71509e-06
第１０面
K=-8.887
A4=2.54220e-04,A6=-5.63250e-06
第１２面
K=0.000
A4=-1.78527e-04,A6=1.25518e-06,A8=7.99258e-08
ズームデータ
ズーム比 6.8
広角端 中間 望遠端
焦点距離 8.76 22.49 59.59
ＦＮＯ． 4.98 5.59 6.34
画角２ω 70.52 26.89 10.09
像高 5.40 5.40 5.40
fb（in air) 17.55 17.55 17.55
全長(in air) 59.01 59.01 59.01
d3 0.32 7.17 14.43
d8 9.37 3.03 0.53
d11 10.26 5.35 0.32
d14 0.63 6.82 8.57
d16 5.37 3.58 2.11
群焦点距離
Gf1=28.12 Gf2=-4.60 Gf3=14.33 Gf4=15.20 Gf5=-10.02 Gf6=16.98
単位ｍｍ
面データ
面番号 r d nd νd
物面 ∞ ∞
1 17.092 0.69 1.92286 20.88
2 11.685 2.09 1.74320 49.34
3* 207.393 可変
4 164.069 0.63 1.88300 40.76
5 6.908 1.81
6 -12.196 0.63 1.78800 47.37
7 5.313 1.67 1.84666 23.78
8 40.510 可変
9(絞り) ∞ 0.63
10* 14.023 1.17 1.58313 59.38
11 -20.051 可変
12* 15.871 2.89 1.49700 81.54
13 -5.848 0.63 1.88300 40.76
14 -8.692 可変
15 -38.291 0.63 1.92286 20.88
16 12.287 可変
17 ∞ 0.00
18 37.408 2.03 1.75211 25.05
19 -18.946 15.62
20 ∞ 1.13 1.51633 64.14
21 ∞ 1.18
像面（撮像面）∞
非球面データ
第３面
K=0.000
A4=6.71509e-06
第１０面
K=-8.887
A4=2.54220e-04,A6=-5.63250e-06
第１２面
K=0.000
A4=-1.78527e-04,A6=1.25518e-06,A8=7.99258e-08
ズームデータ
ズーム比 6.8
広角端 中間 望遠端
焦点距離 8.76 22.49 59.59
ＦＮＯ． 4.98 5.59 6.34
画角２ω 70.52 26.89 10.09
像高 5.40 5.40 5.40
fb（in air) 17.55 17.55 17.55
全長(in air) 59.01 59.01 59.01
d3 0.32 7.17 14.43
d8 9.37 3.03 0.53
d11 10.26 5.35 0.32
d14 0.63 6.82 8.57
d16 5.37 3.58 2.11
群焦点距離
Gf1=28.12 Gf2=-4.60 Gf3=14.33 Gf4=15.20 Gf5=-10.02 Gf6=16.98
図２３はデジタルカメラ４０の外観を示す前方斜視図である。
デジタルカメラ４０は、この例の場合、撮影用光路４２上に位置する撮影光学系４１、ファインダー用光路上に位置するファインダー光学系４３、シャッターボタン４５、ポップアップストロボ４６、液晶表示モニター等を含み、カメラ４０の上部に配置されたシャッターボタン４５を押圧すると、それに連動して撮影光学系、例えば上記数値実施例のレンズを通して撮影が行われる。
デジタルカメラ４０は、この例の場合、撮影用光路４２上に位置する撮影光学系４１、ファインダー用光路上に位置するファインダー光学系４３、シャッターボタン４５、ポップアップストロボ４６、液晶表示モニター等を含み、カメラ４０の上部に配置されたシャッターボタン４５を押圧すると、それに連動して撮影光学系、例えば上記数値実施例のレンズを通して撮影が行われる。
本実施形態は、その趣旨を逸脱しない範囲で様々な変形例をとることができる。
以上のように、本発明は、小型で適正な立体画像を得られる撮像装置及び撮像方法に適している。
１０１ａ、１０１ｂ、１０１ｃ、 光学系
１０２ 撮像素子
１０３ 被写体情報取得部
１０４ 視差量算出部
１０５ 光学系選択部
６０５ 視差補正部
１０２ 撮像素子
１０３ 被写体情報取得部
１０４ 視差量算出部
１０５ 光学系選択部
６０５ 視差補正部
Claims (16)
- ３つ以上の光学系と、前記光学系による被写体像を撮像する撮像素子と、を有する撮像装置であって、
少なくとも被写体距離を含む被写体の情報を取得する被写体情報取得部と、
前記被写体の情報に応じた視差量を算出する視差量算出部と、
前記視差量算出部によって算出された前記被写体の情報に応じた前記視差量に基づいて３つ以上の前記光学系の中から撮影するための２つの光学系を選択する光学系選択部と、を有することを特徴とする撮像装置。 - ３つ以上の前記光学系は、各光学系の光軸間の距離がそれぞれ異なるように配置されており、
前記被写体情報取得部から得られた前記被写体の情報と、前記視差量算出部によって算出された前記視差量とに基づいて基線長を算出する基線長算出部とを有し、
前記光学系選択部は、算出された前記基線長に最も近い長さの光軸間距離を有する光学系を選択することを特徴とする請求項１に記載の撮像装置。 - ３つ以上の前記光学系の光学系中心を結んだ線分は、一直線上に配置されていること、及び多角形状に配置されていることの少なくともいずれか一方の構成であることを特徴とする請求項１または２に記載の撮像装置。
- 前記光学系選択部は、前記被写体のうちの主要な被写体が、適切な視差量で表示される前記基線長に最も近い光軸間距離を有する光学系を選択することを特徴とする請求項２に記載の撮像装置。
- 前記光学系選択部は、最も撮像装置に近い側に表示される被写体が適切な視差量で表示される前記基線長に最も近い光軸間距離を有する光学系を選択することを特徴とする請求項２または４に記載の撮像装置。
- 前記光学系選択部は、前記光学系の被写界深度内の被写体のうち最も被写体距離が短い前記被写体の視差が、適切な視差量で表示される光学系を選択することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
- 前記光学系の被写界深度内の被写体のうち被写体距離が長い被写体の視差が、適切な視差量で表示されない場合、被写体距離が長い前記被写体をぼかす処理を行うぼかし処理部をさらに有する請求項１から６のいずれか１項に記載の撮像装置。
- 適切な視差量と、撮影画像の視差量と、の相違が所定以上の場合は画像の座標変換を行う座標変換部を有することを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
- ３つ以上の前記光学系の焦点距離はすべて異なることを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
- ３つ以上の前記光学系の少なくとも一つの光学系による出力画像の画角を変化させる光学ズーム部を有し、
前記光学ズーム部により変化する画角の一部は、他の光学系の画角と略同じであることを特徴とする請求項１から９のいずれか一項に記載の撮像装置。 - ３つ以上の前記光学系の少なくとも一つの光学系による出力画像の画角を変化させる電子ズーム部を有し、
前記電子ズーム部により変化する画角の一部は、他の光学系の画角と略同じであることを特徴とする請求項１から９のいずれか一項に記載の撮像装置。 - ３つ以上の前記光学系の撮影範囲は、少なくとも他の１つの光学系の撮影範囲を含むことを特徴とする請求項１０または１１に記載の撮像装置。
- 前記光学系選択部は、画角が最も小さい光学系を基準にして、前記光学系を選択することを特徴とする請求項１０から１２のいずれか１項に記載の撮像装置。
- 前記被写体の視差量が所定の視差量になるような撮影位置をガイドするガイド表示部を有することを特徴とする請求項１〜１３のいずれか１項に記載の撮像装置。
- 少なくとも被写体距離を含む被写体の情報を取得する被写体情報取得ステップと、
前記被写体の情報に応じた視差量を算出する視差量算出ステップと、
算出された前記被写体の情報に応じた前記視差量に基づいて３つ以上の光学系の中から撮影するための２つの光学系を選択する光学系選択ステップと、を有することを特徴とする撮像方法。 - 前記視差量を補正する視差補正部を有することを特徴とする請求項１から１４のいずれか一項に記載の撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014528081A JP5745183B2 (ja) | 2012-07-30 | 2013-07-23 | 撮像装置及び撮像方法 |
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012168242 | 2012-07-30 | ||
| JP2012168242 | 2012-07-30 | ||
| JP2012168241 | 2012-07-30 | ||
| JP2012168241 | 2012-07-30 | ||
| JP2014528081A JP5745183B2 (ja) | 2012-07-30 | 2013-07-23 | 撮像装置及び撮像方法 |
| PCT/JP2013/069855 WO2014021134A1 (ja) | 2012-07-30 | 2013-07-23 | 撮像装置及び撮像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP5745183B2 true JP5745183B2 (ja) | 2015-07-08 |
| JPWO2014021134A1 JPWO2014021134A1 (ja) | 2016-07-21 |
Family
ID=50027814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014528081A Expired - Fee Related JP5745183B2 (ja) | 2012-07-30 | 2013-07-23 | 撮像装置及び撮像方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20150092023A1 (ja) |
| JP (1) | JP5745183B2 (ja) |
| WO (1) | WO2014021134A1 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9565416B1 (en) * | 2013-09-30 | 2017-02-07 | Google Inc. | Depth-assisted focus in multi-camera systems |
| CN106031148B (zh) * | 2014-03-21 | 2020-07-24 | 华为技术有限公司 | 成像设备，成像设备中自动对焦的方法以及对应计算机程序 |
| JP6365153B2 (ja) * | 2014-09-10 | 2018-08-01 | 株式会社ソシオネクスト | 画像符号化方法および画像符号化装置 |
| EP3275359A1 (en) * | 2015-05-12 | 2018-01-31 | Olympus Corporation | Stereoscopic endoscope device |
| JP6648916B2 (ja) * | 2015-07-27 | 2020-02-14 | キヤノン株式会社 | 撮像装置 |
| JP6552315B2 (ja) * | 2015-07-27 | 2019-07-31 | キヤノン株式会社 | 撮像装置 |
| JP6584237B2 (ja) * | 2015-09-01 | 2019-10-02 | キヤノン株式会社 | 制御装置、制御方法、およびプログラム |
| US10057558B2 (en) * | 2015-09-04 | 2018-08-21 | Kabushiki Kaisha Toshiba | Electronic apparatus and method for stereoscopic display |
| US10706569B2 (en) * | 2016-06-08 | 2020-07-07 | Amazon Technologies, Inc. | Selectively paired imaging elements for stereo images |
| CN108616740A (zh) * | 2017-01-16 | 2018-10-02 | 深圳市易快来科技股份有限公司 | 一种多镜头3d拍摄的方法、装置及系统 |
| WO2019070317A1 (en) * | 2017-10-02 | 2019-04-11 | Leia Inc. | MULTI-VIEW CAMERA NETWORK, MULTI-VIEW SYSTEM AND METHOD HAVING CAMERA SUB-NETWORKS WITH SHARED CAMERA |
| WO2021124941A1 (ja) * | 2019-12-20 | 2021-06-24 | ソニーグループ株式会社 | 撮像装置、情報処理方法、プログラム、および交換レンズ |
| JP2024043176A (ja) * | 2022-09-16 | 2024-03-29 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5142357A (en) * | 1990-10-11 | 1992-08-25 | Stereographics Corp. | Stereoscopic video camera with image sensors having variable effective position |
| JPH11341522A (ja) * | 1998-05-22 | 1999-12-10 | Fuji Photo Film Co Ltd | 立体画像撮影装置 |
| JP2005210217A (ja) * | 2004-01-20 | 2005-08-04 | Olympus Corp | ステレオカメラ |
| JP3944188B2 (ja) * | 2004-05-21 | 2007-07-11 | 株式会社東芝 | 立体画像表示方法、立体画像撮像方法及び立体画像表示装置 |
| US8736672B2 (en) * | 2006-08-24 | 2014-05-27 | Reald Inc. | Algorithmic interaxial reduction |
| US8390674B2 (en) * | 2007-10-10 | 2013-03-05 | Samsung Electronics Co., Ltd. | Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image |
| JP2011199556A (ja) * | 2010-03-19 | 2011-10-06 | Nippon Hoso Kyokai <Nhk> | 立体映像撮像装置及び立体映像信号生成装置並びにプログラム |
| JP4875762B2 (ja) * | 2010-05-26 | 2012-02-15 | シャープ株式会社 | 画像処理装置、画像表示装置および画像撮像装置 |
| US20120113232A1 (en) * | 2010-11-10 | 2012-05-10 | Sony Pictures Technologies Inc. | Multiple camera system and method for selectable interaxial separation |
-
2013
- 2013-07-23 WO PCT/JP2013/069855 patent/WO2014021134A1/ja active Application Filing
- 2013-07-23 JP JP2014528081A patent/JP5745183B2/ja not_active Expired - Fee Related
-
2014
- 2014-12-11 US US14/567,866 patent/US20150092023A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US20150092023A1 (en) | 2015-04-02 |
| WO2014021134A1 (ja) | 2014-02-06 |
| JPWO2014021134A1 (ja) | 2016-07-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5745183B2 (ja) | 撮像装置及び撮像方法 | |
| JP5755188B2 (ja) | 撮像装置およびレンズ装置 | |
| US8988538B2 (en) | Image pickup apparatus and lens apparatus | |
| JP4852591B2 (ja) | 立体画像処理装置、方法及び記録媒体並びに立体撮像装置 | |
| US20160191788A1 (en) | Image processing apparatus and image pickup apparatus | |
| JP5368350B2 (ja) | 立体撮像装置 | |
| JP6436783B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体 | |
| JP5231277B2 (ja) | 撮像装置、撮像方法 | |
| WO2012002307A1 (ja) | 単眼立体撮像装置 | |
| JP5232330B2 (ja) | 立体撮像装置及び立体撮像装置の自動焦点調節方法 | |
| JP5814692B2 (ja) | 撮像装置及びその制御方法、プログラム | |
| JPWO2011121818A1 (ja) | 複眼撮像装置、その視差調整方法及びプログラム | |
| US20160275657A1 (en) | Imaging apparatus, image processing apparatus and method of processing image | |
| US10230882B2 (en) | Image pickup apparatus acquiring a plurality of in-focus images of different field angles | |
| JP6608194B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
| JP2019168479A (ja) | 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体 | |
| JP2018148383A (ja) | 撮像装置および撮像ユニット | |
| JP6057627B2 (ja) | 立体画像撮像装置、カメラシステム、立体画像撮像装置の制御方法、プログラム、記憶媒体 | |
| JP2012124650A (ja) | 撮像装置および撮像方法 | |
| JP2013061560A (ja) | 測距装置および撮像装置 | |
| JP2011146815A (ja) | ズレ補正装置、ズレ補正装置を備える３次元デジタルカメラ、ズレ補正方法及びズレ補正プログラム | |
| JP2013242378A (ja) | 撮像装置、表示方法、およびプログラム | |
| JP2012075079A (ja) | シェーディング補正装置、シェーディング補正方法、シェーディング補正プログラム、及び撮影装置 | |
| JP6063662B2 (ja) | 撮像装置及び撮像方法 | |
| WO2015163350A1 (ja) | 画像処理装置、撮像装置及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150415 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150430 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5745183 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |