JP4360180B2

JP4360180B2 - 立体映像撮影装置

Info

Publication number: JP4360180B2
Application number: JP2003383870A
Authority: JP
Inventors: 英彦關澤; 晶司佐藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-11-13
Filing date: 2003-11-13
Publication date: 2009-11-11
Anticipated expiration: 2023-11-13
Also published as: JP2005148295A

Description

本発明は、単一の画像内に左目用画像と右目用画像を並列に配置して撮影し表示するための立体映像撮影装置に関するものである。

近年、視覚による情報伝達が重要な役割を果たすようになってきており、平面的な画像の表示よりも現実に近い視覚情報として、さまざまな立体映像の表示に関する技術が提案されている。視聴者が立体映像を認識するためには、二つの視点から撮影した両眼視差を有する映像を視聴者の左右の眼にそれぞれ認識させる必要がある。

視聴者の左右の眼に認識させるための両眼視差を有する二枚の画像を撮影する立体映像撮影装置としては、二つの画像撮影装置を用意して異なる視点位置から二枚の画像を撮影するものや、反射ミラーを用いて光の経路を変化させることで二視点からの画像を撮影するものが提案されている（例えば特許文献１参照）。このとき、両眼視差を有する二枚の画像を視差画像として撮影して記録する場合には、どちらが右目用画像でどちらが左目用画像であるかを位置関係の情報として視差画像に付属させて記録することになる。

視差画像を視聴者に立体画像として認識させるために、例えば、液晶表示装置などの平面表示装置の画素列ごとに両眼視差を有する左右の映像を交互に表示し、画面上に配置したレンチキュラーレンズにより光の進行方向を決定するものなどが提案されている。また、偏光方向を維持して光の反射を行う偏光スクリーンに対して、両眼視差を有する２種類の映像の偏光方向を直交させて投影し、視聴者が左右それぞれの映像に対応した偏光方向の偏光メガネを装着する立体映像表示装置も提案されている。

いずれの立体映像表示装置においても、右目用画像を視聴者の右目のみに認識させるように表示を行い、左目用画像を視聴者の左目のみに認識させるように表示を行うことで、正しく立体映像の表示を行って視聴者に立体映像を認識させることができる。したがって、視差画像に付属して記録されている左右の画像を判別するための情報が正しく記録されている必要がある。

特開平１１−１４６４２４号公報

上述したように、両眼視差を有する二枚の画像を視差画像として撮影し表示する際には、どちらの画像が右目用画像か左目用画像かを判別することが重要である。しかし、実際に視差画像を撮影してから表示するまでの間には、画像の伝達や編集、印刷などの様々な過程を経る可能性があり、何れかの過程において左右の画像を判別するための情報が欠落してしまう可能性があった。

左右の画像を判別するための情報が欠落した視差画像を立体表示装置で表示する場合には、左目用画像を視聴者の右目に認識させ右目用画像を左目に認識させてしまうおそれがある。視聴者の左右の眼に入射する画像が入れ替わってしまうと、立体映像の奥行きが正しく認識されないために、正しい立体映像を視聴者に対して提供することが出来なくなるという問題が発生する。また、視差画像の撮影方法によっては左目用画像と右目用画像とで画像の歪みを補正する必要があり、左目用画像の補正と右目用画像の補正方法が異なる場合もあるため、左右の画像を判別するための情報が欠落すると左右の画像で視差以外の違いが発生し、正確な立体映像の表示を行うことが困難になるという問題もあった。

したがって本発明は、両眼視差を有する右目用画像と左目用画像とを一枚の視差画像として撮影し、視差画像を立体映像表示装置で表示するまでの間に画像に付加された情報が欠落した場合にも、どちらの画像が左目用か右目用かを容易に判別することが可能な立体映像撮影装置を提供することを目的とする。

上記課題を解決し、本発明の目的を達成するため、本発明の立体映像撮影装置は、視聴者の右目に認識させる右目用画像と左目に認識させる左目用画像とを並べて配置した立体映像用画像を作成する、立体映像撮影装置本体と立体映像撮影アダプタとから構成される立体映像撮影装置である。
そして、立体映像撮影アダプタは、右目用画像または左目用画像のいずれか一方の画像を反射させて撮像素子に結像させる一対の反射ミラーと、左目用画像と右目用画像との判別を行うための判別マークとしての遮蔽物を、左目用画像または前記右目用画像として入射する光の経路上にある一対の反射ミラーのいずれか一方の上端角部または下端角部に設け、遮蔽物の画像が左目用画像と右目用画像を合成したときの境界部分に表示されるようにした判別マーク付加部と、を備えている。
また、立体映像撮影装置本体は、右目用画像および左目用画像をそれぞれ独立して結像させ、立体映像用画像を得る撮像素子と、右目用画像または左目用画像の境界部分を最大伸張率として縦方向に伸張変形を行い、右目用画像または左目用画像の台形歪みを補正する画像変形部と、この画像変形部により縦方向に伸張された変形済み画像の中の遮蔽物の画像が、前記立体映像用画像を表示する有効画面枠の外側に位置するように、右目用画像または前記左目用画像の有効画面枠を設定する有効画面枠選択部と、この有効画面枠内に、右目用画像および前記左目用画像からなる立体映像用画像を表示する表示部と、を備えることを特徴としている。

本発明の立体映像用画像である視差画像では、右目用画像または左目用画像の一方において、画像の変形後に有効画面枠外となる位置に判別マークを付加しているため、左右を判別するための情報を画像とは別に記録する必要がなくなる。これにより、立体映像撮影装置で視差画像を撮影してから立体映像表示装置で視差画像を表示するまでの間に、視差画像の伝達や編集、印刷などの様々な過程を経て画像のみが流通するようになった場合にも、どちらが左目用画像でどちらが右目用画像であるかを容易に判別することができる。

また、立体映像表示装置での立体表示を行う際に判別マークの有無で左右の判別をして、左右の画像の台形歪みを補正する変形を行った後に、判別マークを含まない領域として有効画面枠を設定することで、台形歪みが無い良好な立体映像を視聴者に認識させることが可能となる。このとき、立体映像用画像である視差画像に付加される判別マークは、画像変形後に有効画面枠の領域外となる位置に付加されているので、立体表示装置で立体を表示する場合には判別マークを取り除いた良好な立体表示を行うことが可能である。

[第一の実施の形態]
以下、本発明を適用した立体映像撮影装置について、図面を参照しながら詳細に説明する。なお本発明は、以下の記述に限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。なお、以下の説明において画像という言葉を用いて説明するが、ここでいう画像とは静止画だけではなく動画であってもよく、動画を構成する複数の静止画の一つであってもよい。

図１は本発明の立体映像撮影装置の一例として立体映像撮影アダプタを画像撮影装置に装着した状態を示す外観斜視図である。図に示すように、画像を撮影するための装置である画像撮影装置１０の撮影部に立体映像撮影アダプタ２０を装着することで、右目で認識するための右目用画像と左目で認識するための左目用画像とを一つの画像内に記録するものである。ここで画像撮影装置１０は、光学系部材によって外界の光を取り入れて画像として記録する装置であり、例えばデジタルカメラやデジタルビデオカメラ、一眼レフカメラ、携帯電話端末や電子玩具に付属しているカメラユニットなどを用いることができる。また、画像の記録方式はデジタル方式である必要は無く、写真用フィルムなどの記録媒体に記録するとしてもよい。

立体映像撮影アダプタ２０は、筐体２１の内部に複数の反射ミラーを配置して、外部から入射する光の経路を変化させ、両眼視差を有する左目用画像および右目用画像として、視線方向の異なる光を画像撮影装置１０の光学系部材に入射させるためのものである。また、立体映像撮影アダプタ２０は、筐体２１の外部に反射ミラーの方向を変化させるためのミラー調節部２４が取り付けられている。ミラー調節部２４を回転させることで、反射ミラーでの反射によって画像撮影装置１０の光学系部材に入射する光の方向を調整して、左目用画像と右目用画像の視差量を調節する。

図２は、図１に示した立体映像撮影アダプタ２０の内部構造と、画像撮影装置１０に到達する光の経路を示す模式断面図である。図１および図２に示した立体映像撮影アダプタ２０では、二枚の反射ミラーを対向させて配置した例を示しているが、両眼視差を有する二枚の画像として、左目に認識させる左目用画像３０Ｌと右目に認識させる右目用画像３０Ｒを画像撮影装置１０に入射させることが可能であれば、反射ミラーの枚数や形状は限定しない。

立体映像撮影アダプタ２０内部では、二枚の反射ミラーとして外側反射ミラー２２aと内側反射ミラー２２ｂとを対向させて配置している。外側反射ミラー２２aは台形状の平板な反射ミラーであり、立体映像撮影アダプタ２０の外側方向と内側反射ミラー２２ｂ方向とに対して斜め方向に反射面が向くように配置されている。また、内側反射ミラー２２ｂも台形状の平板な反射ミラーであり、外側反射ミラー２２a方向と画像撮影装置１０方向とに対して斜め方向に平板な反射面が向くように配置されている。また、外側反射ミラー２２aと内側反射ミラー２２ｂとの間は所定の距離を保って配置されているため、外側反射ミラー２２aと内側反射ミラー２２ｂとを経由せずに画像撮影装置１０に到達する光の経路が確保されている。画像撮影装置１０の光学系部材に到達する光の経路のうち、外側反射ミラー２２aと内側反射ミラー２２ｂとで反射された光の経路方向を右目視線４１Ｒとし、外側反射ミラー２２aと内側反射ミラー２２ｂとの間を通過する光の経路方向を左目視線４１Ｌとする。

図２の上方には、外側反射ミラー２２aと内側反射ミラー２２ｂの正面投影図を示している。外側反射ミラー２２aの大きさは内側反射ミラー２２ｂよりも大きく、その反射面の一隅には判別マーク２３が形成されている。また、内側反射ミラー２２ｂの形状は外側反射ミラー２２aと略相似形状である。内側反射ミラー２２ｂの一隅には判別マークを形成していないが、判別マーク２３の影は内側反射ミラー２２ｂの一隅によって画像撮影装置１０方向に反射される。外側反射ミラー２２aと内側反射ミラー２２ｂとは反射面が互いに平行には配置されておらず、右目視線４１Ｒ方向からの立体映像撮影アダプタ２０に到達する光は、外側反射ミラー２２aに入射角θ_１で入射して内側反射ミラー２２ｂ方向に反射される。また、外側反射ミラー２２aで反射された光は、内側反射ミラー２２ｂに入射角θ_２で入射して画像撮影装置１０方向に反射される。このとき、外側反射ミラー２２aと内側反射ミラー２２ｂとは非平行に配置されているために、入射角θ_１と入射角θ_２とは異なる角度となる。

立体映像撮影アダプタ２０は、図１に示したように画像撮影装置１０の撮影部に取り付けられているため、立体映像撮影アダプタ２０に入射した光は、図２に示したように画像撮影装置１０の光学レンズ１１を通って撮像素子１２に到達する。ここでは、画像撮影装置１０の光学系部材として単一の凸レンズである光学レンズ１１を用いた例を示しているが、撮像素子１２に対して入射する光の経路を限定することが可能であれば、複数枚のレンズを光学系部材として用いるとしても良い。撮像素子１２は、例えばＣＣＤ（charge-coupled device）であり、ＣＭＯＳ（complementary MOS）イメージセンサーや写真用フィルムなどを用いるとしても良い。

画像撮影装置１０には光学系部材として光学レンズ１１が備えられているため、撮像素子１２に到達する光の経路は図中に示したように、外側反射ミラー２２aと内側反射ミラー２２ｂとで反射されて光学レンズ１１で集光された光と、外側反射ミラー２２aと内側反射ミラー２２ｂとの間を通過してきた光に限定される。また、立体映像撮影アダプタ２０および光学レンズ１１を通過した光は、画像撮影装置１０内部の所定の位置で焦点１３を結んだ後に撮像素子１２に入射する。このとき、外側反射ミラー２２aおよび内側反射ミラー２２ｂによって反射された光は撮像素子１２の右側半分である右側撮像領域１２Ｒに入射し、外側反射ミラー２２aと内側反射ミラー２２ｂとの間を通過した光は撮像素子１２の左側半分である左側撮像領域１２Ｌに入射する。右側撮像領域１２Ｒに入射した光によって映し出される画像が右目用画像３０Ｒであり、左側撮像領域１２Ｌに入射した光によって映し出される画像が左目用画像３０Ｌとなる。

左側撮像領域１２Ｌに入射するする光である左目用画像３０Ｌは、図中において左下がりのハッチングを施した左目視線４１Ｌの方向から、外側反射ミラー２２aと内側反射ミラー２２ｂとの間を通過してきた光である。したがって、左目用画像３０Ｌとして左側撮像領域１２Ｌに入射する光は、焦点１３から左目視線４１Ｌ方向を見た場合の光景であり、焦点１３から左目視線４１Ｌ方向を見た場合の光景が左目用画像３０Ｌとなる。

また、右側撮像領域１２Ｒに入射する光である右目用画像３０Ｒは、図中において右下がりのハッチングを施した右目視線４１Ｒの方向から外側反射ミラー２２aに入射し、内側反射ミラー２２ｂによって再反射された光である。右目用画像３０Ｒとして右側撮像領域１２Ｒに入射する光は、外側反射ミラー２２aと内側反射ミラー２２ｂとで反射されて経路を変化されているが、外側反射ミラー２２aによって反射されない場合には図中に点線で示した経路をたどるはずである。したがって、焦点１４から右目視線４１Ｒ方向を見た場合の光景が右目用画像３０Ｒとなる。

左目用画像３０Ｌが焦点１３から左目視線４１Ｌ方向を写した画像であり、右目用画像３０Ｒが焦点１４から右目視線４１Ｒ方向を写した画像であることから、左目用画像３０Ｌと右目用画像３０Ｒとは両眼視差を有する二枚の画像になる。撮像素子１２は左側撮像領域１２Ｌと右側撮像領域１２Ｒとに領域が分けられているが、単独の素子であるために右目用画像３０Ｒと左目用画像３０Ｌとを並べて一枚の立体映像用の視差画像３０を撮像することになる。

立体映像撮影アダプタ２０には、図１に示したようにミラー調節部２４が取り付けられているため、ミラー調節部２４を回転させて外側反射ミラー２２aの向く方向を変化させることで、右目視線４１Ｒ方向を変化させることができる。これにより、焦点１４の位置も変化するため、右目用画像３０Ｒの視点位置と視線方向を変化させて、視差画像３０の両眼視差を調整することが出来る。

上述したように外側反射ミラー２２aの一隅には判別マーク２３が形成されている。したがって、右目視線４１Ｒ方向から外側反射ミラー２２aに入射した右目用画像３０Ｒとなる光景には、判別マーク２３の影が付加されて内側反射ミラー２２ｂに到達する。また、内側反射ミラー２２ｂで反射された光は光学レンズ１１を透過して撮像素子１２に到達するので、図２の位置に形成された判別マーク２３は視差画像３０において、右目用画像３０Ｒと左目用画像３０Ｌとの境界に位置する判別領域３１として撮影される。

図３は、図１および図２に示した立体映像撮影アダプタ２０の外観写真であり、筐体２１の内部に配置された外側反射ミラー２２aに判別マーク２３が形成されている様子を示している。判別マーク２３は、図に示すように外側反射ミラー２２aの手前側上端に形成されている必要は無く、黒色に限らず赤や青など任意の色を用いるとしてよい。判別マーク２３は、例えば外側反射ミラー２２aの表面に赤色や黒色を着色することで、画像撮影装置１０に入射する光に着色を施す構成としても良い。また、予め外側反射ミラー２２aの一部に切り欠きを形成しておくことや、外側反射ミラー２２a表面にマスクを施すことで、判別マーク２３位置での光の反射を防止する構成としても良い。

図４は、この立体映像撮影アダプタ２０を画像撮影装置１０に装着して、視差画像３０を撮影した写真である。右目用画像３０Ｒと左目用画像３０Ｌとが並列に配置された視差画像３０では、右目用画像３０Ｒの判別領域３１に判別マーク２３の影が映っていることが分かる。また、左目用画像３０Ｌの判別領域３１に対応した位置には、判別マーク２３の影が映っていないので、視差画像３０を視認するだけで左目用画像３０Ｌと右目用画像３０Ｒの判別を行うことができる。

通常、両眼視差を有する二枚の画像を視差画像として撮影する場合には、どちらが右目用画像でどちらが左目用画像であるかを位置関係の情報として視差画像に付属させて記録することになる。しかし、本発明の立体映像撮影アダプタ２０を取り付けた立体映像撮影装置では、立体映像用画像である視差画像３０の右目用画像３０Ｒにのみ判別マーク２３を付加することができるため、左右を判別するための情報を画像とは別に記録する必要がなくなる。これにより、立体映像撮影装置で視差画像３０を撮影してから立体映像表示装置で視差画像を表示するまでの間に、視差画像の伝達や編集、印刷などの様々な過程を経て画像のみが流通するようになった場合にも、どちらが左目用画像でどちらが右目用画像であるかを容易に判別することができる。

判別マーク２３を形成する位置は、図５に示すように外側反射ミラー２２aの上端であっても下端であってもよく、判別マーク２３を上下の両端に形成するとしてもよい。また判別マーク２３を視差画像３０中に複数付加することで、画像中の一方の判別領域３１での色調と判別マーク２３の色とが類似していて判別マーク２３を認識し難い場合にも、他方の判別領域３１で判別マーク２３を認識して左右の判別を行うことができる。

また、視差画像３０に判別マーク２３を付加する位置は右目用画像３０Ｒである必要はなく、左目用画像３０Ｌに判別マーク２３が付加されるように立体映像撮影アダプタ２０に判別マーク２３を形成するとしてもよい。図６は、画像撮影装置１０に装着する立体映像撮影アダプタ２０を１８０度回転させて、外側反射ミラー２２aと内側反射ミラー２２ｂとによって反射された光を左目用画像３０Ｌとし、外側反射ミラー２２aと内側反射ミラー２２ｂとの間を通過した光を右目用画像３０Ｒとした視差画像３０の例を示す写真である。

図６に示した視差画像３０においても、左目用画像３０Ｌの判別領域３１に判別マーク２３の影が映っており、右目用画像３０Ｒの判別領域３１に対応した位置には、判別マーク２３の影が映っていないため、視差画像３０を視認するだけで左目用画像３０Ｌと右目用画像３０Ｒの判別を行うことができる。左目用画像３０Ｌに判別マークを付加する場合にも、判別マーク２３を上下の両端に形成するとしてもよい。判別マーク２３を視差画像３０中に複数付加することで、画像中の一方の判別領域３１での色調と判別マーク２３の色とが類似していて判別マーク２３を認識し難い場合にも、他方の判別領域３１で判別マーク２３を認識して左右の判別を行うことができる。

視差画像３０は図２を用いて説明したように、立体映像撮影アダプタ２０に配置されている外側反射ミラー２２aおよび内側反射ミラー２２ｂによって経路変化された光を撮影している。この外側反射ミラー２２aは、右目視線４１Ｒ方向から入射する光に対して入射角θ_１で配置されており、内側反射ミラー２２ｂにはθ_１とは異なる角度の入射角θ_２で光が入射する。したがって、外側反射ミラー２２aと内側反射ミラー２２ｂとによって反射されて撮像素子１２に到達する光によって描かれる右目用画像３０Ｒは、焦点１４から右目視線４１Ｒ方向を見た光景とは完全には一致せず、ある程度の歪みを有する画像となってしまう。

この右目用画像３０Ｒの歪みは台形歪みとして知られている歪みであり、平面上に斜め方向に投影された画像の歪みと同一の変形が加わったものである。しかし、図２で示した例では、左目用画像３０Ｌとして撮像素子１２に入射する光は光学レンズ１１に直接入射したものであり、台形歪みがほとんど発生していない画像である。したがって、右目用画像３０Ｒと左目用画像３０Ｌとの間には、両眼視差による画像の相異のほかにも台形歪みによる画像の相異が存在することになる。立体映像の表示は、右目で認識する右目用画像３０Ｒと左目で左目用画像３０Ｌとの間での両眼視差により、視聴者に立体を認識させるものであるため、台形歪みによる画像の相違が大きいと良好な立体映像の表示を行うことが困難となる。そこで、立体映像表示装置で視差画像３０の表示を行う場合には、右目用画像３０Ｒと左目用画像３０Ｌとの台形歪みを補正して変形済画像を作成することで、両者の間での台形歪みの影響を軽減して両眼視差による画像の相異のみが視聴者に対して提供されるようにする必要がある。

図７を用いて、本発明の立体映像撮影装置を用いて撮影した視差画像３０を立体映像表示装置で表示する際の視差画像３０の画像変形について説明する。右目用画像３０Ｒに含まれている台形歪みは、図２に示した例では撮像素子１２から最も遠い判別マーク２３が形成された側が小さくなるものである。したがって、図７に示すように、視差画像３０中で並列に配置されている右目用画像３０Ｒと左目用画像３０Ｌとを、両者の境界を縦方向に伸張するように変形を行い、視差画像３０を六角形の外形である変形済画像にする。六角形に変形された視差画像３０のうち、図中黒線枠で囲んだ長方形の領域を有効画面枠５０として定義する。図７では有効画面枠５０が最大となるようにしているが、左目用画像３０Ｌと右目用画像３０Ｒの互いに対応する領域を囲んでいれば、有効画面枠５０を小さくするとしてもよく範囲の選択方法は任意である。

視差画像３０の伸張変形を行う際には、右目用画像３０Ｒの台形歪みを補正して、左目用画像３０Ｌの画像とは高さ方向での画像の相違が極小となるようにする必要がある。そこで、有効画面枠５０の中に収まる画像の高さ方向の位置が右目用画像３０Ｒと左目用画像３０Ｌとで同程度になるまで視差画像３０の伸張を行う。図７では、視差画像３０の伸張方法として、右目用画像３０Ｒと左目用画像３０Ｌとの境界部分を最大の伸張率として、画像端までの伸張率が一定の割合で変化した例を示しているが、立体映像撮影アダプタ２０の構造に最適な伸張方法を用いればよい。

図７に示したように、右目用画像３０Ｒのうちで有効画面枠５０内の画像を有効右目用画像５１Ｒとし、左目用画像３０Ｌのうちで有効画面枠５０内の画像を有効左目用画像５１Ｌとする。有効画面枠５０で囲まれた領域内の画像は、台形歪みが補正されるように伸張変形が施された画像であるため、有効右目用画像５１Ｒと有効左目用画像５１Ｌとの間には、台形歪みによる相違は軽減されて両眼視差に相当する相違が残る。したがって、立体映像表示装置では、有効右目用画像５１Ｒが視聴者の右目に認識されて有効左目用画像５１Ｌが視聴者の左目に認識されるような表示を行うことで、良好な立体映像の表示を行うことが可能となる。

視差画像３０を変形する際には、判別領域３１に付加されている判別マーク２３は、右目用画像３０Ｒと左目用画像３０Ｌとの境界付近に位置しているので、縦方向に伸張されて有効画面枠５０の外側に位置するようになる。または換言すると、有効画面枠５０の選び方は任意であるので、判別マーク２３が有効画面枠５０の領域外となるように有効画面枠５０を設定する。本発明の立体映像用画像では、判別マーク２３が有効画面枠５０の領域外に位置するように有効画面枠５０を選択するため、立体映像表示装置で立体表示を行う際には、視聴者には判別マーク２３は認識されず、通常の立体表示と同様に良好な立体認識を行うことが可能である。

上述したように、本発明の判別マークを付加した立体映像用画像を立体映像として表示するためには、立体映像表示装置が視差画像３０の判別領域３１に判別マーク２３が付加されているか否かで右目用画像３０Ｒと左目用画像３０Ｌの判別を行うとともに、視差画像３０の伸張変形と有効画面枠５０の選択を行う必要がある。これらの手順を立体映像表示装置で機械的に行うことは、コンピュータやプロセッサー上で動作する画像認識プログラムや画像変形プログラムを用いれば容易に実現可能である。

図８は、本発明の立体映像用画像を表示する立体映像表示装置６０の構成例を示したブロック図である。立体映像表示装置６０は、左右判別部６１と、画像変形部６２と、有効画面枠選択部６３と、左右画像表示部６４とを備えており、判別マーク付視差画像３０を入力されて有効右目用画像５１Ｒと有効左目用画像５１Ｌとを表示する装置である。

左右判別部６１は、視差画像３０の判別領域３１での判別マーク２３の有無を判別するための装置であり、例えばプロセッサー上で動作する画像認識プログラムにより実現される。画像変形部６２は、図７を用いて説明したように、視差画像３０の台形歪みを補正するために視差画像３０の変形を行う装置であり、例えばプロセッサー上で動作する画像変形プログラムによって実現される。

有効画面枠選択部６３は、画像変形部６２によって変形された視差画像３０で有効画面枠５０を設定し、有効右目用画像５１Ｒと有効左目用画像５１Ｌとを決定する装置である。有効画面枠５０の選択に際しては、上述した様に判別マーク２３が有効画面枠５０の領域外に位置するように有効画面枠５０を設定するため、有効画面枠選択部６３も画像認識プログラムを備えていることが望ましい。左右画像表示部６４は、視聴者の右目に対して有効右目用画像５１Ｒを入射させ、視聴者の左目に対して有効左目用画像５１Ｌを入射させるための装置であり、例えば液晶プロジェクターと偏光保持スクリーンの構成や、液晶表示画面とレンチキュラーレンズなどの通常の立体表示装置である。

図８に示した立体映像表示装置６０では、判別マーク付視差画像３０が入力されると、左右判別部６１が視差画像３０の判別領域３１での判別マーク２３の有無を判断して、左目用画像３０Ｌと右目用画像３０Ｒとの判別を行う。次に、画像変形部６２では左右の判別をした視差画像３０の台形歪みを補正する変形を行う。次に、有効画面枠選択部６３では視差画像３０内での有効画面枠５０を設定して、有効左目用画像５１Ｌと有効右目用画像５１Ｒとを決定する。最後に、左右画像表示部６４で有効左目用画像５１Ｌおよび有効右目用画像５１Ｒの表示を行って立体映像の表示を行う。

図８では、左右判別部６１、画像変形部６２および有効画面枠選択部６３を立体映像表示装置６０に搭載した例を示したが、左右判別部６１、画像変形部６２および有効画面枠選択部６３を立体映像表示装置６０とは別に備える構成としてもよく、その場合には、左右の判別と画像の変形が行われた有効右目用画像５１Ｒと有効左目用画像５１Ｌとが立体映像表示装置６０に入力され、立体映像表示装置６０では表示のみを行うことになる。

本発明の立体映像用画像である視差画像３０では、右目用画像３０Ｒまたは左目用画像３０Ｌの一方において、画像の変形後に有効画面枠５０外となる位置に判別マーク２３を付加しているため、左右を判別するための情報を画像とは別に記録する必要がなくなる。これにより、立体映像撮影装置で視差画像３０を撮影してから立体映像表示装置で視差画像を表示するまでの間に、視差画像の伝達や編集、印刷などの様々な過程を経て画像のみが流通するようになった場合にも、どちらが左目用画像でどちらが右目用画像であるかを容易に判別することができる。また、立体映像表示装置での立体表示を行う際に判別マークの有無で左右の判別をして、左右の画像の台形歪みを補正する変形を行った後に、判別マーク２３を含まない領域として有効画面枠５０を設定することで、台形歪みが無い良好な立体映像を視聴者に認識させることが可能となる。このとき、立体映像用画像である視差画像３０に付加される判別マーク２３は、画像変形後に有効画面枠５０の領域外となる位置に付加されているので、立体表示装置で立体を表示する場合には判別マーク２３を取り除いた良好な立体表示を行うことが可能である。

本実施の形態では、左目用画像３０Ｌまたは右目用画像３０Ｒの一方に判別マーク２３の映像を付加するために、外側反射ミラー２２aに判別マーク２３として遮光部材や色調変更部材などの光学的部材を形成した構成を示している。しかし、本発明の立体映像撮影用アダプタおよび立体映像撮影装置は、立体映像用画像として左目用画像３０Ｌまたは右目用画像３０Ｒの一方に判別マーク２３の映像を付加するための判別マーク付加部を備えていればよく、判別マーク付加部の具体的構成は外側反射ミラー２２a上の判別マーク２３に限らない。例えば、光学レンズ１１上の所定領域に判別マークを形成するとしても良く、光の経路上のどこかに判別マークを配置するとしても良い。また、撮像素子１２で視差画像３０を撮影した後に、視差画像３０の加工を行って所定領域に判別マークを描くとしてもよい。
［第二の実施の形態］

次に本発明の立体映像撮影アダプタの他の例として、反射ミラーを４枚備えた場合について図面を用いて説明する。図９は本発明における立体映像撮影アダプタの他の構成例を示す透過斜視図である。図９に示した立体映像撮影アダプタ７０は、画像撮影装置１０の撮影部に取り付けられる装置であり、筐体７１の内部に複数の反射ミラーを配置して、外部から入射する光の経路を変化させ、両眼視差を有する左目用画像および右目用画像として、視線方向の異なる光を画像撮影装置１０の光学系部材に入射させるためのものである。

立体映像撮影アダプタ７０は、筐体７１内部に反射ミラー７２，７３，７４，７５が配置されており、筐体７１には画像撮影装置１０から投影される光を取り入れる採光窓７７が形成されている。また、筐体７１の外部には反射ミラーの方向を変化させるためのミラー調節部７６が取り付けられている。ミラー調節部７６を回転させることで、反射ミラーでの反射によって画像撮影装置１０の光学系部材に入射する光の方向を調整して、左目用画像と右目用画像の視差量を調節する。筐体７１の採光窓７７が形成された側面には、筐体７１の一部として取付機構が形成され、筐体７１が画像撮影装置１０の撮影部に取り付け可能とされている。

反射ミラー７２，７３，７４，７５は、筐体７１内部に配置された平板状の鏡であり、反射ミラー７２，７３は採光窓７７の前に配置され、反射ミラー７４，７５は筐体７１の内壁に配置されている。反射ミラー７２と反射ミラー７４とが向かい合うように配置され、反射ミラー７３と反射ミラー７５とが向かい合うように配置されている。このとき、反射ミラー７２と反射ミラー７４は非平行に配置され、反射ミラー７３と反射ミラー７５も非平行に配置される。

反射ミラー７４，７５は、立体映像撮影アダプタ７０の前方から入射してくる光を各々反射ミラー７２，７３に対して反射させる。また、反射ミラー７２，７３は、各々反射ミラー７４，７５から反射された光を、採光窓７７を介して画像撮影装置１０の撮影部に対して再度反射させる。したがって、左目視線７８方向からの光は立体映像撮影アダプタ７０の左側に入射し、反射ミラー７４および反射ミラー７２によって反射されて採光窓７７を介して画像撮影装置１０の撮影部に到達する。また、右目視線７９方向からの光は立体映像撮影アダプタ７０の右側に入射し、反射ミラー７５および反射ミラー７３によって反射されて採光窓７７を介して画像撮影装置１０の撮影部に到達する。

図１０は、図９に示した立体映像撮影アダプタ７０の内部構造と、画像撮影装置１０に到達する光の経路を示す模式断面図である。図１０の下方には、反射ミラー７２，７３，７４，７５の正面投影図を示している。反射ミラー７４，７５の大きさは反射ミラー７２，７３よりも大きく、反射ミラー７５の反射面の一隅には判別マーク９１が形成されている。また、反射ミラー７２，７３の形状は反射ミラー７４，７５と略相似形状である。反射ミラー７２，７３，７４の一隅には判別マークを形成していないが、判別マーク９１の影は反射ミラー７３の一隅によって画像撮影装置１０方向に反射される。

立体映像撮影アダプタ７０は、画像撮影装置１０の撮影部に取り付けられているため、立体映像撮影アダプタ７０に入射した光は、図１０に示したように画像撮影装置１０の光学レンズ８１を通って撮像素子８２に到達する。ここでは、画像撮影装置１０の光学系部材として単一の凸レンズである光学レンズ８１を用いた例を示しているが、撮像素子８２に対して入射する光の経路を限定することが可能であれば、複数枚のレンズを光学系部材として用いるとしても良い。撮像素子８２は、例えばＣＣＤ（charge-coupled device）であり、ＣＭＯＳ（complementary MOS）イメージセンサーや写真用フィルムなどを用いるとしても良い。

画像撮影装置１０には光学系部材として光学レンズ８１が備えられているため、撮像素子８２に到達する光の経路は図中に示したように、反射ミラー７４と反射ミラー７２とで反射されて光学レンズ８１で集光された光と、反射ミラー７５と反射ミラー７３とで反射されて光学レンズ８１で集光された光に限定される。また、立体映像撮影アダプタ７０および光学レンズ８１を通過した光は、画像撮影装置１０内部の所定の位置で焦点８３を結んだ後に撮像素子８２に入射する。このとき、反射ミラー７４および反射ミラー７２によって反射された光は撮像素子８２の左側半分である左側撮像領域８２Ｌに入射し、反射ミラー７５および反射ミラー７３によって反射された光は撮像素子８２の右側半分である右側撮像領域８２Ｒに入射する。右側撮像領域８２Ｒに入射した光によって映し出される画像が右目用画像９０Ｒであり、左側撮像領域８２Ｌに入射した光によって映し出される画像が左目用画像９０Ｌとなる。

左側撮像領域８２Ｌに入射するする光である左目用画像９０Ｌは、左目視線７８の方向から、反射ミラー７４と反射ミラー７２とで反射された光である。このとき、左目用画像９０Ｌとして左側撮像領域８２Ｌに入射する光は、反射ミラー７４と反射ミラー７２とで反射されて経路を変化されているが、反射ミラー７４によって反射されない場合には図中に実線で示した経路をたどるはずである。したがって、図中に示した焦点８４から左目視線７８方向を見た場合の光景が左目用画像９０Ｌとなる。

また、右側撮像領域８２Ｒに入射する光である右目用画像９０Ｒは、右目視線７９方向から反射ミラー７５と反射ミラー７３とで反射された光である。このとき、右目用画像９０Ｒとして右側撮像領域８２Ｒに入射する光は、反射ミラー７５と反射ミラー７３とで反射されて経路を変化されているが、反射ミラー７５によって反射されない場合には図中に実線で示した経路をたどるはずである。したがって、図中に示した焦点８５から右目視線７９方向を見た場合の光景が右目用画像９０Ｒとなる。

左目用画像９０Ｌが焦点８４から左目視線７８方向を写した画像であり、右目用画像９０Ｒが焦点８５から右目視線７９方向を写した画像であることから、左目用画像９０Ｌと右目用画像９０Ｒとは両眼視差を有する二枚の画像になる。撮像素子８２は左側撮像領域８２Ｌと右側撮像領域８２Ｒとに領域が分けられているが、単独の素子であるために右目用画像９０Ｒと左目用画像９０Ｌとを並べて一枚の立体映像用の視差画像９０を撮像することになる。

立体映像撮影アダプタ７０には、図９に示したようにミラー調節部７６が取り付けられているため、ミラー調節部７６を回転させて反射ミラー７４，７５の向く方向を変化させることで、左目視線７８および右目視線７９の方向を変化させることができる。これにより、焦点８４，８５の位置も変化するため、右目用画像９０Ｒおよび左目用画像９０Ｌの視点位置と視線方向を変化させて、視差画像９０の両眼視差を調整することが出来る。

上述したように反射ミラー７４，７５の一隅には判別マーク９１が形成されている。したがって、右目視線７９方向から反射ミラー７５に入射した右目用画像９０Ｒとなる光景には、判別マーク９１の影が付加されて反射ミラー７３に到達する。また、反射ミラー７３で反射された光は光学レンズ８１を透過して撮像素子８２に到達するので、図１０の位置に形成された判別マーク９１は視差画像９０において、右目用画像９０Ｒと左目用画像９０Ｌとの境界に位置する判別領域９２として撮影される。

本実施の形態で説明した立体映像撮影アダプタ７０を取り付けた立体映像撮影装置では、立体映像用画像である視差画像９０の右目用画像９０Ｒにのみ判別マーク９１を付加することができるため、左右を判別するための情報を画像とは別に記録する必要がなくなる。これにより、立体映像撮影装置で視差画像９０を撮影してから立体映像表示装置で視差画像を表示するまでの間に、視差画像の伝達や編集、印刷などの様々な過程を経て画像のみが流通するようになった場合にも、どちらが左目用画像でどちらが右目用画像であるかを容易に判別することができる。

上述して説明した立体映像撮影アダプタ７０においても、判別マーク９１を形成する位置は反射ミラー７５の一隅に限定する必要は無く、図１１に示すように反射ミラー７４の一隅に形成するとしても良い。この場合には、判別マーク９１の影が反射ミラー７２によって再反射されて画像撮影装置１０に到達するため、判別マーク９１は左目用画像９０Ｌに付加されて視差画像９０が撮影されることになる。

本実施の形態で説明した反射ミラーを４枚備えた立体映像撮影アダプタ７０を用いた場合でも、第一の実施の形態と同様に、撮影される視差画像９０では左目用画像９０Ｌと右目用画像９０Ｒには台形歪みに相当する画像の相違が発生する。そこで、上述して説明した画像変形による台形歪みの補正と、有効画面枠の設定をおこなって立体映像の表示をおこなう。

したがって本実施の形態で説明した立体映像撮影アダプタ７０を用いて撮影した立体映像用画像でも、立体映像表示装置での立体表示を行う際に判別マークの有無で左右の判別をして、左右の画像の台形歪みを補正する変形を行った後に、判別マーク９１を含まない領域として有効画面枠を設定することで、台形歪みが無い良好な立体映像を視聴者に認識させることが可能となる。このとき、立体映像用画像である視差画像９０に付加される判別マーク９１は、画像変形後に有効画面枠の領域外となる位置に付加されているので、立体表示装置で立体を表示する場合には判別マーク２３を取り除いた良好な立体表示を行うことが可能である。

本発明の立体映像撮影アダプタを装着した立体映像撮影装置の一例を示す外観斜視図である。本発明の立体映像撮影アダプタおよび立体映像撮影装置の内部構造と、視差画像として撮影する光の経路を示す模式断面図である。本発明の立体映像アダプタに判別マークを形成した一例を示す外観写真である。本発明の立体映像撮影アダプタおよび立体映像撮影装置を用いて、両眼視差を有する視差画像を撮影した写真であり、右目用画像の上側に判別マークが映る例を示している。本発明の立体映像撮影アダプタに形成する判別マークの位置を示す例である。本発明の立体映像撮影アダプタおよび立体映像撮影装置を用いて、両眼視差を有する視差画像を撮影した写真であり、左目用画像の下側に判別マークが映る例を示している。本発明の視差画像を伸張変形して有効画面枠の領域を選択した状態を示す写真である。本発明の立体映像用画像を表示するための立体映像表示装置の構成例を示すブロック図である。本発明の立体映像撮影アダプタとして４枚の反射ミラーを備える構成例を示す外観斜視図である。図９に示した立体映像撮影アダプタの内部構造と、視差画像として撮影する光の経路を示す模式断面図である。本発明の第二の実施形態での立体映像撮影アダプタに形成する判別マークの位置を示す例である。

符号の説明

１０画像撮影装置
１１，８１光学レンズ
１２，８２撮像素子
１２Ｒ，８２Ｒ右側撮像領域
１２Ｌ，８２Ｌ左側撮像領域
１３，１４，８３，８４，８５焦点
２０，７０立体映像撮影アダプタ
２１，７１筐体
２２ｂ内側反射ミラー
２２a 外側反射ミラー
２３，９１判別マーク
２４，７６ミラー調節部
３０，９０視差画像
３０Ｒ，９０Ｒ右目用画像
３０Ｌ，９０Ｌ左目用画像
３１，９２判別領域
４１Ｒ，７９右目視線
４１Ｌ，７８左目視線
５０有効画面枠
５１Ｒ有効右目用画像
５１Ｌ有効左目用画像
６０立体映像表示装置
６１左右判別部
６２画像変形部
６３有効画面枠選択部
６４左右画像表示部
７２，７３，７４，７５反射ミラー
７７採光窓

Claims

視聴者の右目に認識させる右目用画像と左目に認識させる左目用画像とを並べて配置した立体映像用画像を作成する、立体映像撮影装置本体と立体映像撮影アダプタとから構成される立体映像撮影装置であって、
前記立体映像撮影アダプタは、
前記右目用画像または左目用画像のいずれか一方の画像を反射させて撮像素子に結像させる一対の反射ミラーと、
前記左目用画像と前記右目用画像との判別を行うための判別マークとしての遮蔽物を、前記左目用画像または前記右目用画像として入射する光の経路上にあって、前記一対の反射ミラーのいずれか一方の上端角部または下端角部に設け、前記遮蔽物の画像が、前記左目用画像と前記右目用画像を合成したときの境界部分に表示されるようにした判別マーク付加部と、
を備え、
前記立体映像撮影装置本体は、
前記右目用画像および前記左目用画像をそれぞれ独立して結像させ、前記立体映像用画像を得る撮像素子と、
前記右目用画像または前記左目用画像の前記境界部分を最大伸張率として縦方向に伸張変形を行い、前記右目用画像または前記左目用画像の台形歪みを補正する画像変形部と、
前記画像変形部により前記縦方向に伸張された変形済み画像の中の前記遮蔽物の画像が、前記立体映像用画像を表示する有効画面枠の外側に位置するように、前記右目用画像または前記左目用画像の有効画面枠を設定する有効画面枠選択部と、
前記有効画面枠内に、前記右目用画像および前記左目用画像からなる前記立体映像用画像を表示する表示部と、
を備えることを特徴とする立体映像撮影装置。
視聴者の右目に認識させる右目用画像と左目に認識させる左目用画像とを並べて配置した立体映像用画像を作成する、立体映像撮影装置本体と立体映像撮影アダプタとから構成される立体映像撮影装置であって、
前記立体映像撮影アダプタは、
前記右目用画像を反射させて撮像素子に結像させる一対の第１の反射ミラーと、
前記左目用画像を反射させて撮像素子に結像させる一対の第２の反射ミラーと、
前記左目用画像と前記右目用画像との判別を行うための判別マークとしての遮蔽物を、前記一対の第１の反射ミラーまたは前記一対の第２の反射ミラーの中のいずれか一つの反射ミラーの上端角部または下端角部に形成し、前記遮蔽物の画像が、前記左目用画像と前記右目用画像を合成したときの境界部分に表示されるようにした判別マーク付加部と、を備え、
前記立体映像撮影装置本体は、
前記右目用画像および前記左目用画像をそれぞれ独立して結像させ、前記立体映像用画像を得る撮像素子と、
前記右目用画像または前記左目用画像の前記境界部分を最大伸張率として縦方向に伸張変形を行い、前記右目用画像および前記左目用画像の台形歪みを補正する画像変形部と、
前記画像変形部により前記縦方向に伸張された変形済み画像の中の前記遮蔽物の画像が、前記立体映像用画像を表示する有効画面枠の外側に位置するように、前記立体映像用画像の所定領域を有効画面枠として設定する有効画面枠選択部と、
前記有効画面枠内で、前記右目用画像および前記左目用画像からなる前記立体映像用画像を表示する表示部と、
を備えることを特徴とする立体映像撮影装置。