JP4588439B2

JP4588439B2 - 立体視画像撮影装置および方法

Info

Publication number: JP4588439B2
Application number: JP2004376439A
Authority: JP
Inventors: 英二石山
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2004-12-27
Filing date: 2004-12-27
Publication date: 2010-12-01
Anticipated expiration: 2024-12-27
Also published as: JP2006184434A

Description

本発明は、複数の画像を組み合わせ、視差を利用して立体視を行うことが可能な立体視画像を撮影する立体視画像撮影装置および方法に関するものである。

平面的な画像を立体的な映像として表現するための立体視画像を生成する方法は種々知られている。この立体視画像は、右目と左目との間隔によって生じる両目の視差を意図的に生成することにより実現される。すなわち、画像を見る人の左右の目に異なる画像を与えることにより映像が浮き出て見えるような立体感を表現している。具体的には、例えば、裸眼平行法による立体視においては、左右それぞれの目に対応する２つの画像を用意し、２つの画像中における同一物体の位置を左右にずらして配置することにより立体視を実現している。これは、看者の遠くの物体は、左右どちらの目で見た場合にも略同一位置にあるが、近くの物体は左右にずれること、すなわち両目が視差を有することに起因するものである。

また、立体視を行うための３Ｄ液晶が搭載された、携帯電話、ノートパソコン、テレビ等の各種装置が知られている。これらの装置においては、右目用の画像および左目用の画像を生成し、これら２つの画像を合成して得た立体視画像を３Ｄ液晶に表示することにより、立体的な画像を表現するものである。

一方、立体視画像を生成するために、同一被写体を複数の異なる視点から撮影する複数の撮影手段を備えた立体視画像撮影装置が提案されている。このような立体視画像撮影装置においては、被写体を見込む角度（輻輳角）を装置から被写体までの距離に応じて変更する必要がある。このため、撮影手段から被写体までの距離と２つの撮影手段との間隔等の情報に基づいて、輻輳角を変更するように撮影手段を調整する手法が提案されている（特許文献１参照）。また、光学系に液体プリズムを設け、被写体までの距離に応じて液体プリズムの制御角を設定することにより、輻輳角を変更する手法が提案されている（特許文献２参照）。さらに、輻輳角を調整するのに代えて、電子ズームの切り出し位置を変化させる手法も提案されている（特許文献３参照）。
特開平６−１０５３３９号公報特開平７−３８９２４号公報特開平７−９５６２３号公報

ここで、上述したような立体視画像撮影装置においては、図６に示すように撮影手段が配置される。図６において撮影手段２００Ａのフォーカス面は２０１Ａ、撮影手段２００Ｂのフォーカス面は２０１Ｂとなる。図６に示すように撮影手段２００Ａおよび撮影手段２００Ｂにおいて焦点が一致するのは、フォーカス面２０１Ａ，２０１Ｂが交わる（すなわち光軸Ｘ１，Ｘ２が交わる）点Ｐ１０のみとなる。したがって、点Ｐ１０から離れるといずれかの撮影手段において焦点が合わなくなってしまう。例えば図６における点Ｐ１１は、撮影手段２００Ａでは焦点が合っているが、撮影手段２００Ｂでは焦点は合わなくなる。

本発明は上記事情に鑑みなされたものであり、立体視画像撮影装置において複数の撮影手段により撮影を行う際に、いずれの撮影手段からであっても同一面に焦点を合わせることができるようにすることを目的とする。

本発明による立体視画像撮影装置は、光学系および撮像素子を有する複数の撮影手段を備え、立体視画像を生成するために、該複数の撮影手段により同一被写体を複数の視点から撮影する立体視画像撮影装置において、
前記複数の撮影手段によるフォーカス面が一致するように、前記複数の撮影手段のそれぞれの前記光学系および前記撮像素子を配置したことを特徴とするものである。

なお、本発明による立体視画像撮影装置においては、前記複数の撮影手段を前記被写体に向けて光軸が平行となるように配置し、少なくとも１つの前記撮影手段における前記撮像素子および前記光学系を、該撮像素子の中心を通る垂線が対応する該光学系の光軸に対して該垂線に垂直な方向に所定量シフトするように、相対的に移動することにより、前記複数の撮影手段のそれぞれの前記光学系および前記撮像素子を配置してもよい。

この場合、前記撮像素子を前記光学系に対して移動する撮像素子駆動手段をさらに備えることが好ましい。

またこの場合、前記撮像素子および／または前記光学系の移動量を表す移動量情報を、前記立体視画像に付与する情報付与手段をさらに備えるようにしてもよい。

また、本発明による立体視画像撮影装置においては、前記複数の撮影手段を光軸が所定の輻輳角を持って被写体に向くように配置し、少なくとも１つの前記撮影手段における前記撮像素子および前記光学系を、該撮像素子の中心を通る垂線が対応する該光学系の光軸に対して所定量傾くように、相対的に傾斜させることにより、前記複数の撮影手段のそれぞれの前記光学系および前記撮像素子を配置してもよい。

この場合、前記撮像素子を前記光学系に対して傾斜させる撮像素子駆動手段をさらに備えることが好ましい。

またこの場合、前記撮像素子および／または前記光学系の傾斜量を表す傾斜量情報を、前記立体視画像に付与する情報付与手段をさらに備えるようにしてもよい。

本発明による立体視画像撮影方法は、立体視画像を生成するために、光学系および撮像素子を有する複数の撮影手段により同一被写体を複数の視点から撮影する立体視画像撮影方法において、
前記複数の撮影手段によるフォーカス面が一致するように、前記複数の撮影手段のそれぞれの前記光学系および前記撮像素子を配置することを特徴とするものである。

本発明による立体視画像撮影装置および方法によれば、複数の撮影手段によるフォーカス面が一致するように、複数の撮影手段のそれぞれの光学系および撮像素子を配置したため、ある撮影手段において焦点が合っている部分が、他の撮影手段において焦点が合わなくなるということがなくなり、これにより、すべての撮影手段において同じように焦点を合わせることができる。したがって、同じように焦点が合った、立体視画像を生成するための複数の画像を取得することができる。

また、撮像素子および光学系を相対的に移動するまたは傾斜させる際に、撮像素子の方を光学系に対して移動するまたは傾斜させることにより、重量が大きい光学系を精密に移動する必要がなくなり、これにより簡易な構成により、複数の撮影手段によるフォーカス面を一致させることができる。

また、撮像素子または光学系の移動量または傾斜量を表す移動量情報または傾斜量情報を立体視画像に付与することにより、後で撮像素子または光学系の移動量または傾斜量を参照することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による立体視画像撮影装置を適用したデジタルカメラの構成を示す概略ブロック図である。図１に示すように、デジタルカメラ１は、同一の被写体を撮影することにより、被写体像を受光面に結像させて光電変換し、２つの画像Ｓ１′，Ｓ２′を表す画像データ（画像データについても画像と同一の符号を用いるものとする）として出力する２つの撮影部２Ａ，２Ｂを備える。

撮影部２Ａ，２Ｂはそれぞれ各種撮影レンズからなる光学系４Ａ，４Ｂおよび被写体像を光電変換するＣＣＤ６Ａ，６Ｂを備える。

また、デジタルカメラ１は、デジタルカメラ１全体の制御を行うとともに画像データのサンプリングタイミング制御、画像データの記録制御および表示制御等の各種制御を行うＣＰＵ１２と、画像サイズを変更する処理、並びにシャープネス補正、ガンマ補正、コントラスト補正およびホワイトバランス補正等の画像データにより表される画像の画質を向上させるセットアップ処理およびアナログ情報の画像データをデジタルの画像データＳ１，Ｓ２に変換する信号処理部１４と、画像データＳ１，Ｓ２から立体視画像ＳＲを生成する画像生成部１６と、立体視画像ＳＲを保存する画像保存部１８と、種々の指示をデジタルカメラ１に対して行うための入力部２０と、入力部２０の設定情報を入力するインターフェースであるＩ／Ｏ２２と、各種表示を行う液晶モニタ（ＬＣＤ）２４とを備える。

さらに、デジタルカメラ１には撮影部２Ａ，２Ｂの光学系４Ａ，４ＢをＣＣＤ６Ａ，６Ｂに対して移動させるまたは光学系４Ａ，４ＢをＣＣＤ６Ａ，６Ｂに対して傾斜させる光学系駆動部２６を備える。

図２は光学系およびＣＣＤの配置の第１の態様を説明するための図である。なお、第１の態様は、本発明の参考例である。第１の態様においては、撮影部２Ａ，２Ｂを被写体Ｈに向けて光軸が平行となるように配置し、撮影部２Ａ，２Ｂのフォーカス面Ｆ１，Ｆ２を一致させるべく、ＣＣＤ６Ａ，６Ｂの中心を通る垂線Ｃ１，Ｃ２が光学系４Ａ，４Ｂの光軸Ｘ１，Ｘ２に対して垂線Ｃ１，Ｃ２に直交する方向に所定のシフト量シフトするように、光学系４Ａ，４ＢをＣＣＤ６Ａ，６Ｂに対して移動するようにしたものである。

ここで、被写体距離（すなわち光学系４Ａ，４Ｂから被写体Ｈまでの距離）をＬ１、光学系４Ａ，４ＢとＣＣＤ６Ａ，６Ｂとの間の距離をＬ２、ＣＣＤ６Ａ，６Ｂの中心を通る垂線Ｃ１，Ｃ２の間隔をｄ、光学系４Ａ，４Ｂのシフト量をδ１とすると、光学系駆動部２６は、下記の式（１）の関係を満たすようにシフト量δ１を算出して、光学系４Ａ，４Ｂを垂線Ｃ１，Ｃ２に垂直な方向（光軸Ｘ１，Ｘ２にも垂直な方向）に移動する。

δ１＝（１／２）×（Ｌ２／（Ｌ１＋Ｌ２））×ｄ（１）
ここで、被写体距離Ｌ１を３ｍ、距離Ｌ２を３ｃｍ、間隔ｄを２０ｃｍとした場合、シフト量δ１は１．０ｍｍとなる。

なお、シフト量δ１は、光軸Ｘ１，Ｘ２がＣＣＤ６Ａ，６Ｂの中心からの垂線Ｃ１，Ｃ２の内側に位置するように光学系４Ａ，４Ｂをそれぞれ移動する量である。また、被写体距離Ｌ１が大きくなるほどシフト量δ１は小さくなる。

このように、撮影部２Ａ，２Ｂを被写体Ｈに向けて光軸が平行となるように配置し、撮影部２Ａ，２Ｂのフォーカス面Ｆ１，Ｆ２を一致させるべく、ＣＣＤ６Ａ，６Ｂの中心を通る垂線Ｃ１，Ｃ２が光学系４Ａ，４Ｂの光軸Ｘ１，Ｘ２に対して垂線Ｃ１，Ｃ２に直交する方向にシフト量δ１シフトするように、光学系４Ａ，４ＢをＣＣＤ６Ａ，６Ｂに対して移動することにより、撮影部２Ａ，２Ｂのフォーカス面Ｆ１，Ｆ２が図２に示すように一致することとなる。

したがって、一方の撮影部２Ａにおいて焦点が合っている部分が、他方の撮影部２Ｂにおいて焦点が合わなくなるということがなくなり、これにより、すべての撮影部２Ａ，２Ｂにおいて同じように焦点を合わせることができる。よって、同じように焦点が合った、立体視画像を生成するための複数の画像を取得することができる。

図３は光学系およびＣＣＤの配置の第２の態様を説明するための図である。第２の態様においては、撮影部２Ａ，２Ｂを光軸が所定の輻輳角を持って被写体Ｈを向くように配置し、撮影部２Ａ，２Ｂによるフォーカス面Ｆ１，Ｆ２を一致させるべく、ＣＣＤ６Ａ，６Ｂの中心を通る垂線Ｃ１，Ｃ２が光学系４Ａ，４Ｂの光軸Ｘ１，Ｘ２に対して所定のチルト角傾くように、光学系４Ａ，４ＢをＣＣＤ６Ａ，６Ｂに対して傾斜させるようにしたものである。

ここで、被写体距離（すなわち光学系４Ａ，４Ｂから被写体Ｈまでの距離）をＬ１、光学系４Ａ，４ＢとＣＣＤ６Ａ，６Ｂとの間の距離をＬ２、輻輳角をθ、光学系４Ａ，４Ｂのチルト角をδ２とすると、光学系駆動部２６は、下記の式（２）の関係を満たすようにチルト角δ２を算出して光学系４Ａ，４Ｂを傾斜させる。

ｔａｎ（θ−δ２）＝（Ｌ１／（Ｌ１＋Ｌ２））×ｔａｎθ （２）
ここで、被写体距離Ｌ３を３ｍ、距離Ｌ４を３ｃｍ、輻輳角を２°とした場合、チルト角δ２は０．０２°となる。

なお、チルト角δ２は、光軸Ｘ１，Ｘ２がＣＣＤ６Ａ，６Ｂの中心からの垂線Ｃ１，Ｃ２の外側を向くように光学系４Ａ，４Ｂを傾斜させる角度である。また、被写体距離が大きくなるほどチルト角δ２は小さくなる。

このように、撮影部２Ａ，２Ｂを光軸が所定の輻輳角を持って被写体Ｈを向くように配置し、撮影部２Ａ，２Ｂによるフォーカス面Ｆ１，Ｆ２を一致させるべく、ＣＣＤ６Ａ，６Ｂの中心を通る垂線Ｃ１，Ｃ２が光学系４Ａ，４Ｂの光軸Ｘ１，Ｘ２に対してチルト角δ２傾くように、光学系４Ａ，４ＢをＣＣＤ６Ａ，６Ｂに対して傾斜させることにより、撮影部２Ａ，２Ｂのフォーカス面Ｆ１，Ｆ２が図３に示すように一致することとなる。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態は、本発明の参考例である。図４は本発明の第２の実施形態による立体視画像撮影装置を適用したデジタルカメラの構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第２の実施形態によるデジタルカメラ１′は、第１の実施形態によるデジタルカメラ１の光学系駆動部２６に代えて、撮影部２Ａ，２ＢのＣＣＤ６Ａ，６Ｂを光学系４Ａ，４Ｂに対して移動させるまたはＣＣＤ６Ａ，６Ｂを光学系４Ａ，４Ｂに対して傾斜させるＣＣＤ駆動部２８を備えた点が第１の実施形態と異なる。

このように、光学系４Ａ，４Ｂに代えてＣＣＤ６Ａ，６Ｂを移動するまたは傾斜させることによっても、上記第１の実施形態と同様に、撮影部２Ａ，２Ｂのフォーカス面Ｆ１，Ｆ２を一致させることができる。なお、ＣＣＤ駆動部２８は、ＣＣＤ６Ａ，６Ｂの中心を通る垂線Ｃ１，Ｃ２が光学系４Ａ，４Ｂの光軸Ｘ１，Ｘ２に対して垂線Ｃ１，Ｃ２に直交する方向にシフト量δ１シフトするように、ＣＣＤ６Ａ，６Ｂを光学系４Ａ，４Ｂに対して移動する。また、ＣＣＤ駆動部２８は、ＣＣＤ６Ａ，６Ｂの中心を通る垂線Ｃ１，Ｃ２が光学系４Ａ，４Ｂの光軸Ｘ１，Ｘ２に対してチルト角δ２傾くように、ＣＣＤ６Ａ，６Ｂを光学系４Ａ，４Ｂに対して傾斜させる。

このように、光学系４Ａ，４Ｂに代えてＣＣＤ６Ａ，６Ｂを移動するまたは傾斜させることにより、重量が大きい光学系４Ａ，４Ｂを精密に移動する必要がなくなり、これにより簡易な構成により、撮影部２Ａ，２Ｂのフォーカス面Ｆ１，Ｆ２を一致させることができる。

なお、上記第１および第２の実施形態においては、撮影部２Ａ，２Ｂにより取得された画像データＳ１，Ｓ２を、信号処理部１４がデジタルの画像データに変換する。そして、画像生成部１６が画像データＳ１，Ｓ２から立体視画像ＳＲを生成し、立体視画像ＳＲを画像保存部１８に保存する。

図５は立体視画像ＳＲのファイル構造を示す図である。図５に示すように、画像ファイル１００には、タグ情報１０２と、例えば１６００×１２００画素のサイズの主画像１０４と、主画像１０２の見出し等に利用される例えば１６０×１２０画素サイズのサムネイル画像１０６とが含まれる。

タグ情報１０２には、撮影年月日、画素数等のＥｘｉｆ情報１０８および立体視画像用の３Ｄ情報１１０が含まれる。３Ｄ情報１１０は、立体視画像数、立体視画像を横方向に並べる数を表す立体視画像横配列数、立体視画像を縦方向に並べる数を表す立体視画像縦配列数、立体視画像の位置を表す立体視画像位置および立体視画像ファイル名の情報等からなる立体視画像情報を含む。さらに、３Ｄ情報１１０は、デジタルカメラ１，１′の撮影部２Ａ，２Ｂにおける光学系４Ａ，４ＢまたはＣＣＤ６Ａ，６Ｂのシフト量δ１およびチルト角δ２の情報を含む。なお、図５においては、光学系４Ａ，４Ｂのシフト量δ１およびチルト角δ２が含まれているものとする。また、図５における右光学系は撮影時に撮影者から見て右側の撮影部２Ｂの光学系４Ｂに、左光学系は左側の撮影部２Ａの光学系４Ａに対応する。

このように、デジタルカメラ１，１′の撮影部２Ａ，２Ｂにおける光学系４Ａ，４ＢまたはＣＣＤ６Ａ，６Ｂのシフト量δ１またはチルト角δ２の情報を立体視画像に付与することにより、後でデジタルカメラ１，１′の撮影部２Ａ，２Ｂにおける光学系４Ａ，４ＢまたはＣＣＤ６Ａ，６Ｂのシフト量δ１またはチルト角δ２を参照することができる。

なお、上記各実施形態においては、光学系４Ａ，４ＢおよびＣＣＤ６Ａ，６Ｂのいずれか一方を移動しているが、ＣＣＤ６Ａ，６Ｂの中心を通る垂線Ｃ１，Ｃ２が光学系４Ａ，４Ｂの光軸Ｘ１，Ｘ２に対して垂線Ｃ１，Ｃ２に直交する方向にシフト量δ１シフトするように、光学系４Ａ，４ＢおよびＣＣＤ６Ａ，６Ｂの双方を移動してもよい。

また、上記各実施形態においては、光学系４Ａ，４ＢおよびＣＣＤ６Ａ，６Ｂのいずれか一方を傾斜させているが、ＣＣＤ６Ａ，６Ｂの中心を通る垂線Ｃ１，Ｃ２が光学系４Ａ，４Ｂの光軸Ｘ１，Ｘ２に対してチルト角δ２傾くように、光学系４Ａ，４ＢおよびＣＣＤ６Ａ，６Ｂの双方を傾斜させてもよい。

本発明の第１の実施形態による立体視画像撮影装置を適用したデジタルカメラの構成を示す概略ブロック図光学系およびＣＣＤの配置の第１の態様を説明するための図光学系およびＣＣＤの配置の第２の態様を説明するための図本発明の第２の実施形態による立体視画像撮影装置を適用したデジタルカメラの構成を示す概略ブロック図立体視画像のファイル構造を示す図従来の光学系およびＣＣＤの配置を説明するための図

符号の説明

１，１′ デジタルカメラ
２Ａ，２Ｂ撮像部
４Ａ，４Ｂ光学系
６Ａ，６ＢＣＣＤ
１２ＣＰＵ
１４信号処理部
１６画像生成部
１８画像保存部
２０入力部
２４ＬＣＤ
２６光学系駆動部
２８ＣＣＤ駆動部

Claims

光学系および撮像素子を有する複数の撮影手段を備え、立体視画像を生成するために、該複数の撮影手段により同一被写体を複数の視点から撮影する立体視画像撮影装置において、
前記複数の撮影手段を光軸が所定の輻輳角を持って被写体に向くように配置し、前記撮影手段における前記光学系を、被写体距離をＬ１、前記光学系と前記撮像素子との間の距離をＬ２、前記輻輳角をθとした場合に、前記撮像素子の中心を通る垂線が対応する該光学系の光軸に対して、ｔａｎ（θ−δ２）＝（Ｌ１／（Ｌ１＋Ｌ２））×ｔａｎθの関係を満たす角度δ２傾斜させることにより、前記複数の撮影手段におけるフォーカス面が一致するように、前記複数の撮影手段のそれぞれの前記光学系を配置したことを特徴とする立体視画像撮影装置。
前記光学系の傾斜量を表す傾斜量情報を、前記立体視画像に付与する情報付与手段をさらに備えたことを特徴とする請求項１記載の立体視画像撮影装置。