JPWO2011132364A1 - 立体画像撮影装置および立体画像撮影方法 - Google Patents

Abstract

カメラ処理部が、左目用撮像部で取得される左目用撮影画像と、右目用撮像部で取得される右目用撮影画像とに画像処理を行って、左目用撮影画像と右目用撮影画像との視差画像を生成する。垂直タイミング調整器が、左目用撮影画像における被写体像のフレーミング位置と右目用撮影画像における被写体像のフレーミング位置との間の垂直方向ずれ量がゼロに近づくように、フレーム同期駆動制御部において左目用、右目用イメージセンサの駆動タイミングを調整する。

Description

本発明は、左右一対の撮像部を備えた立体画像撮影装置および立体画像撮影方法にかかわり、詳しくは、左右一対の撮像部の光軸ずれに起因する左目用、右目用画像のずれを矯正して左目用、右目用撮像部の撮影の同時性を確保するための技術に関する。

従来から、左右一対の撮像部で被写体を撮影し、得られた左右の画像から立体画像が得られるようにした２眼式の立体カメラが知られている。ところで、左右一対の撮像部は、両者間の垂直方向、水平方向の光軸ずれが避けられないのが一般的である。本件では、垂直方向の光軸ずれを問題にする。垂直方向の光軸ずれに起因する左目用、右目用画像の垂直方向での位置ずれを矯正するために、従来、そのずれを検出し、検出ずれ量を多軸雲台におけるメカニカルな各駆動部へフィードバックすることにより、例えば左目用、右目用撮像部の俯角・仰角を調整し、ずれが解消されるように制御する技術が知られている。これはメカニカルなずれ矯正である（例えば特許文献１参照）。

さらに、撮影倍率を変更するものでズームレンズを構成する変倍レンズを各撮像部に組み込んだものも知られている。この場合、変倍レンズのために左目用、右目用画像の垂直方向位置ずれが増幅される。この倍率誤差に起因する左目用、右目用画像の位置ずれを矯正するために、そのずれを検出し、検出ずれ量を変倍レンズ駆動機構へフィードバックすることにより、倍率誤差が解消されるように制御する。これもメカニカルなずれ矯正である（例えば特許文献２参照）。

特開平５−１３０６４６号公報 特開平９−１３３８５２号公報

特許文献１，２の従来技術はともにメカニカルな調整を行うもので、その調整には自ずと限界があり、修正し切れないのが実態である。それは、左右一対の撮像部として同一仕様のものを用意したとしても、必ず個体差を伴っているからである。また、装着の誤差による光軸ずれも避けがたいものである。さらに、経時的変化や移動に伴う振動などによっても両撮像部間で光軸ずれが生じ、そのまま立体画像に合成すると、適正な立体画像が得られなくなる。

とりわけ、ライン単位の読み出しを行うローリングシャッタで動作するＭＯＳ（Metal Oxide Semiconductor）型のイメージセンサを用いる場合には、光軸ずれによる左目用、右目用画像のずれが発生すると、立体画像用の視差画像として読み出した左目用、右目用画像の位置的なマッチングが不整合となり、立体効果による違和感が生じたり、眼に著しい疲労を与えたりする。移動被写体の場合には、不具合現象が増幅される。また、望遠ズームを伴う場合には不整合の度合いが増す。このローリングシャッタゆえの問題点については、特許文献１，２とも認識がなく、もちろん対策についても触れられていない。

本発明は、このような事情に鑑みて創作されたものであり、左右一対の撮像部間に垂直方向の光軸ずれが生じても、これを確実に矯正して左目用、右目用撮像部の撮影の同時性を確保し、左右画像間でずれのない良品質な立体画像が得られるようにすることを目的としている。

本発明は、次のような手段を講じることにより上記の課題を解決する。以下において、《１》，《２》，《３》…等の括弧付き数字は〔特許請求の範囲〕の請求項番号と呼応する。これらの括弧付き数字は、説明の都合上、以下の記載においては必ずしも通し番号とはならず、順番が飛んだり前後が入れ替わったりする場合がある。

《１》本発明は、次のような考察のもとに上記の課題を解決する。その根本は、画像におけるずれである空間的変位を、駆動タイミングの調整という時間的変位に置き換えて調整するという技術的思想にある。図１を用いて説明する。

立体画像撮影装置であるから、前提として、左目用、右目用撮像部１Ｌ，１Ｒと、これら両撮像部１Ｌ，１Ｒにおける各イメージセンサ２Ｌ，２Ｒをフレーム同期して駆動制御するフレーム同期駆動制御部３と、左目用、右目用撮像部１Ｌ，１Ｒで取得した左右の撮影画像に対して画像処理を行って立体画像合成の元になる視差画像を生成するカメラ処理部４とを備えている。フレーム同期駆動制御部３は、左目用、右目用撮像部１Ｌ，１Ｒが動作周波数において整合することを補償する。

さらに、左目用、右目用撮像部１Ｌ，１Ｒで得られる左目用、右目用撮影画像ＰＬ，ＰＲについて、イメージセンサ２Ｌ，２Ｒでの光軸ずれのために左目用、右目用撮影画像ＰＬ，ＰＲに空間的なずれである垂直方向ずれが生じる場合に、そのずれを矯正するための垂直タイミング調整器５を備えている。この垂直タイミング調整器５は、左目用、右目用撮影画像ＰＬ，ＰＲにおける被写体像ＡＬ，ＡＲのフレーミング位置の垂直方向ずれ量がゼロに近づくように、イメージセンサ２Ｌ，２Ｒの駆動タイミングをフレーム同期駆動制御部３において調整するものとして構成されている。この場合に、左目用、右目用イメージセンサ２Ｌ，２Ｒのうちいずれか一方の駆動タイミングを調整することを原則とする。もっとも、イメージセンサの駆動タイミングの調整は、いずれのイメージセンサでも可能であるように構成する。それは、右目用撮影画像ＰＲが左目用撮影画像ＰＬに対して垂直方向下向きにずれる場合もあれば、逆に、左目用撮影画像ＰＬが右目用撮影画像ＰＲに対して垂直方向下向きにずれる場合もあって、これら両方の場合に対応できるようにするためである。つまり、左目用、右目用イメージセンサ２Ｌ，２Ｒの駆動タイミングの調整は、互いに独立して実施可能に構成する。

以下、より具体的レベルで説明する。左目用撮像部１Ｌと右目用撮像部１Ｒとで同じ被写体を同時に撮影している状態で、両撮像部１Ｌ，１Ｒに垂直方向の光軸ずれがあると、同一タイミングにおける左目用撮影画像ＰＬと右目用撮影画像ＰＲとで空間的なずれである垂直方向のずれが生じる。図２を用いて説明する。これはローリングシャッタでの読み出しの処理を概念化したものである。図面の水平方向は時間軸であり、左側から右側に向けて時間が進むと考えている。矩形で示す左目用、右目用撮影画像ＰＬ，ＰＲは、通常の描き方に対して反時計方向に９０度回転した状態で描いている。つまり、両撮影画像ＰＬ，ＰＲは、その空間的な垂直方向軸が時間軸方向となるように図面上で展開されている。図面の縦方向は両撮影画像ＰＬ，ＰＲの空間的な水平方向に対応している。（†１）を含むこのような図の表記（詳しいことは図５を用いて後述する）は、ローリングシャッタ方式のＭＯＳイメージセンサに特有のもので、所定時間の露光の完了直後におけるイメージセンサからの画像データの読み出しの処理において、ライン単位で画面垂直方向（図の右方向）に順次的に読み出しを行うことに対応している。なお、ライン単位のラインは図の縦方向に沿った画素群１列である。ＡＬは左目用撮影画像ＰＬにおける読み出し対象の被写体像であり、ＡＲは右目用撮影画像ＰＲにおける読み出し対象の被写体像である。両撮影画像ＰＬ，ＰＲそれぞれにおいて被写体像ＡＬ，ＡＲは下側（右側）にいくほど時間が進んでいることになる。

いま仮に、図２の（ａ）に示すように、左目用、右目用イメージセンサ２Ｌ，２Ｒでの光軸ずれのためにイメージセンサの撮像面に対して同時刻の同一被写体の１フレーム内での位置（ＡＬ，ＡＲ）が、右目用撮影画像ＰＲでは左目用撮影画像ＰＬよりも垂直方向下側（図の右方向）に変位しているとする。つまり、左目用撮影画像ＰＬにおける被写体像ＡＬに対して右目用撮影画像ＰＲにおける被写体像ＡＲが垂直方向下向きにずれているとする。図示例で、Δｔは、左目用撮影画像ＰＬ内の被写体像ＡＬのフレーミング位置に対する右目用撮影画像ＰＲ内の被写体像ＡＲのフレーミング位置の垂直方向ずれ量を時間に換算したずれ時間量である。このように左右の被写体像ＡＬ，ＡＲが位置ずれしている両撮影画像ＰＬ，ＰＲをそのまま視差画像にして立体画像に合成するとなると、立体画像としては垂直ずれを伴った不具合のあるものとなってしまう。

そこで、左目用、右目用画像につき絵柄を図３の（ｂ）に示すように垂直方向（図の横方向：時間軸方向）で合わせることを目指す。

そのためにまず、図２の（ｂ）に示すように、左目用、右目用撮影画像ＰＬ，ＰＲにおける被写体像ＡＬ，ＡＲのフレーミング位置に対して垂直方向ずれ量検出のために左右のトリミングエリアＴＬ，ＴＲを設定する。これは、空間的な範囲規制である。左目用トリミングエリアＴＬ内での被写体像ＡＬの相対的な位置関係と、右目用トリミングエリアＴＲ内での被写体像ＡＲの相対的な位置関係とが等価的であるように、左右のトリミングエリアＴＬ，ＴＲを設定する。これら左目用、右目用トリミング画像ＰＴＬ，ＰＴＲは、図２の（ｃ）に示すように、空間的にはトリミングエリアＴＬ，ＴＲを基準に等価な位相関係にあることになる。しかし、空間的に等価な位相関係にあることは、即解決策とはならない。それは、時間的なずれの問題が残っているからである。この点を解決することが本発明の最大のポイントとなる。以下、詳しく説明する。

左目用トリミング画像ＰＴＬを左目用イメージセンサ２Ｌから読み出し、右目用トリミング画像ＰＴＲを右目用イメージセンサ２Ｒから読み出すに際して、図２の（ｂ）に示すように、単一共通の読み出しスタートパルスＳＰを用いるとなると、光軸が相対的に上方の右目用トリミング画像ＰＴＲはよいとして、光軸が相対的に下方にある左目用トリミング画像ＰＴＬは、右目用トリミング画像ＰＴＲに対して時間的にずれた（前方ずれ）シーンのものとなってしまう。なぜなら、図２の（ｃ）に示すように、左目用トリミング画像ＰＴＬ内の被写体像ＡＬが時刻ｔｓ〜ｔｅの範囲内のもの（図面下側の点線）であるのに対して、右目用トリミング画像ＰＴＲ内の被写体像ＡＲは時刻（ｔｓ＋Δｔ）〜（ｔｅ＋Δｔ）の範囲内のもの（図面上側の実線）であるからである。これら両被写体像ＡＬ，ＡＲは、時間的にずれたシーンのものとなる。まして、被写体が移動被写体であれば、両被写体像ＡＬ，ＡＲはさらに位置（座標）、輪郭形状、サイズなどが異なるものとなり、本来取り出すべき被写体像とはさらに相違点が増え、立体画像に合成すれば、ずれは回避されず、移動速度と移動方向により奥行き位置が変化するという自然界ではありえない違和感のある画像として認識されてしまう。これが解決すべき課題の詳細である。

そこで、本発明では、図３の（ａ）に示すように、左目用トリミング画像ＰＴＬの読み出しには、右目用トリミング画像ＰＴＲの読み出しスタートパルスＳＰとは別の、この読み出しスタートパルスＳＰよりも時間的にΔｔだけ遅延した読み出しスタートパルスＳＰ* を用いることとする。この標準の読み出しスタートパルスＳＰから時間Δｔだけ遅延させて読み出しスタートパルスＳＰ* を生成するのが垂直タイミング調整器５の役割である。

結果、図３の（ｂ）に示すように、光軸が相対的に下方にある左目用トリミング画像ＰＴＬは、右目用トリミング画像ＰＴＲに対して時間的に実質的にずれのない同じシーンのものとなる。したがって、この左目用トリミング画像ＰＴＬと右目用トリミング画像ＰＴＲとを視差画像として立体画像に合成すると、ずれの解消された立体画像となる。

図３の（ｂ）の見方であるが、上側にある右目側被写体像ＡＲがタイミング（ｔｓ＋Δｔ）〜（ｔｅ＋Δｔ）に相当し、下側にある左目側被写体像ＡＬもタイミング（ｔｓ＋Δｔ）〜（ｔｅ＋Δｔ）に相当するものとなっていて、実質的に同一タイミングとなる。これで左右のトリミング画像ＰＴＬ，ＰＴＲが垂直方向の位置関係でマッチングがとれているのである。そしてその要因は、繰り返しになるが、図３の（ａ）に示すように、上側の読み出しスタートパルスＳＰよりも時間的にΔｔだけ遅延した読み出しスタートパルスＳＰ* を用いることにある。

上記では、撮影画像が相対的に下方にある側のイメージセンサを左目用イメージセンサ２Ｌに仮想したが、当然この逆の、撮影画像が相対的に下方にある側のイメージセンサが右目用イメージセンサ２Ｒとなる場合もある。そのときは、上記とは左右を置き換えて対称的に考えればよい。

本発明においては、垂直タイミング調整器５の働きにより、両イメージセンサ２Ｌ，２Ｒの駆動タイミングという時間的要素の調整を通じて、同時刻の同一被写体の視差画像用の左目用、右目用両撮影画像（トリミング画像ＰＴＬ，ＰＴＲ）における空間的位置関係を等価なものに変換しているのである。

従来技術の解決手法は、垂直方向ずれという空間的変位をゼロに近付けるように調整するのに、やはり同じ次元の空間的位置調整をもって行うものであった。それがメカニカルな調整である。メカニカルな調整ゆえに、どうしても限界があり、究極の微調整はむずかしいものであった。

しかるに、本発明では、発想を大転換し、垂直方向ずれという空間的変位がゼロに近付くように調整するのに、次元を異にする時間的変位すなわちタイミング調整をもって行うこととしたものである。

従来技術の場合のメカニカルな調整では、被写体の光学像を取り込む前の状態における被写体と撮像機材との空間的相対的位置関係の調整である。これは言ってみれば、“外的調整”である。これに対して、本発明では被写体の光学像を取り込んで電子化した状態での調整である。これは“内的調整”である。外的調整ではどうしても原因と結果との間に不一致が生じがちであるが、内的調整となれば、原因と結果の関係が近く、根本的な解決となっているのである。

以上のようにして、画像におけるずれである空間的変位を、駆動タイミングの調整という時間的変位に置き換えて調整することにより、視差画像を構成する左目用、右目用画像において垂直方向ずれを矯正することが可能となっている。

以上の結果として、左目用、右目用撮像部１Ｌ，１Ｒ間に垂直方向の光軸ずれが生じても、これを確実に矯正して、左目用、右目用の両撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用／記録用の視差画像が得られ、良品質な立体画像を得ることが可能となる。つまり、従来技術の場合に認められたメカニカルな調整ゆえの個体差に伴う限界を超えて、より高精度な調整が可能となっている。

以上を要するに、本発明の立体画像撮影装置は、
左目用イメージセンサ２Ｌを有する左目用撮像部１Ｌと、
右目用イメージセンサ２Ｒを有する右目用撮像部１Ｒと、
前記左目用、右目用イメージセンサ２Ｌ、２Ｒをフレーム同期して駆動制御するフレーム同期駆動制御部３と、
前記左目用撮像部１Ｌで取得される左目用撮影画像ＰＬと、前記右目用撮像部１Ｒで取得される右目用撮影画像ＰＲとに画像処理を行って、前記左目用撮影画像ＰＬと前記右目用撮影画像ＰＲとの視差画像を生成するカメラ処理部４と、
前記左目用撮影画像ＰＬにおける被写体像のフレーミング位置と前記右目用撮影画像ＰＲにおける被写体像のフレーミング位置との間の垂直方向ずれ量がゼロに近づくように、前記フレーム同期駆動制御部３において前記左目用、右目用イメージセンサ２Ｌ、２Ｒの駆動タイミングを調整する垂直タイミング調整器５と、
を備える。

《１８》上記《１》の立体画像撮影装置に関連して、本発明の立体画像撮影方法は、必須的な処理過程として、
左目用イメージセンサ２Ｌを有する左目用撮像部１Ｌで得られる左目用撮影画像ＰＬにおける被写体像のフレーミング位置と、右目用イメージセンサ２Ｒを有する右目用撮像部１Ｒで得られる右目用撮影画像ＰＲにおける被写体像のフレーミング位置との間の垂直方向ずれ量を求める第１のステップと、
前記垂直方向ずれ量Δｈに基づいて、前記左目用、右目用イメージセンサ２Ｌ、２Ｒの駆動タイミングを調整する第２のステップと、
調整後の前記駆動タイミングに従って駆動する前記左目用、右目用イメージセンサ２Ｌ、２Ｒで取得された露光終了後の画像データをライン単位で順次に読み出す第３のステップと、
を含む。

上記の《１》，《１８》の構成によれば、左右一対の撮像部１Ｌ，１Ｒ間に垂直方向の光軸ずれが生じても、垂直タイミング調整器５による電子的なタイミング調整を通じてずれを確実に矯正し、この矯正を通じて、左目用、右目用撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用／記録用の視差画像が得られ、良品質な立体画像を得ることが可能となる。

本発明によれば、左右一対の撮像部間に垂直方向の光軸ずれが生じても、これを確実に矯正し、左目用、右目用撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用／記録用の視差画像が得られ、良品質な立体画像を得ることができる。すなわち、同一仕様で用意した左右一対の撮像部が個体差を伴っているかどうかにかかわりなく、垂直タイミング調整器による電子的なタイミング調整を通じて、左目用、右目用撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用／記録用の視差画像が得られ、良品質な立体画像を得ることができる。

図１は本発明の立体画像撮影装置の基本的な構成を示すブロック図である。 図２は本発明におけるローリングシャッタでの読み出しのタイミング調整の概念図（その１）である。 図３は本発明におけるローリングシャッタでの読み出しのタイミング調整の概念図（その２）である。 図４は本発明の実施の形態における垂直タイミング調整器の具体的構成を示すブロック図である。 図５は一般的なローリングシャッタでの露光・読み出しの処理の概念図である。 図６は本発明の実施例における立体画像撮影装置の構成を示すブロック図である。 図７は本発明の実施例における左目用、右目用撮影画像の垂直方向ずれの様子の説明図である。 図８は本発明の実施例における垂直方向ずれに対する読み出しタイミングの制御の説明図である。 図９は本発明の実施例における図７に対応した動作説明のためのタイミングチャートである。 図１０は本発明の実施例における図８に対応した動作説明のためのタイミングチャートである。 図１１は本発明の実施例におけるモニタディスプレイでの左目用、右目用撮影画像の表示の様子を示す図（その１）である。 図１２は本発明の実施例におけるモニタディスプレイでの左目用、右目用撮影画像の表示の様子を示す図（その２）である。 図１３は本発明の実施例における顔領域検出の様子を示す図である。 図１４は本発明の実施例における立体画像撮影装置の動作を示すフローチャートである。 図１５は本発明の実施例におけるトリミングエリア調整の途中段階を示す図である。 図１６は本発明の実施例におけるカメラシステムの様子を示す斜視図（その１）である。 図１７は本発明の実施例におけるカメラシステムの様子を示す斜視図（その２）である。

上記した《１》の構成の本発明の立体画像撮影装置および関連する《１８》の立体画像撮影方法は、次のような実施の形態においてさらに有利に展開することが可能である。

《２》上記《１》では、トリミングエリアＴＬ，ＴＲについて言及した。このトリミングエリアＴＬ，ＴＲは、結局は駆動タイミングの必要な遅延量を求めていることになる。駆動タイミングの遅延量は、他の方法でも求められるが、トリミングエリアＴＬ，ＴＲを設定すれば遅延量を求めやすくなる。

すなわち、好ましい態様として、垂直タイミング調整器５が、同時刻の同一被写体の相対位置関係が前記左目用撮影画像ＰＬと前記右目用撮影画像ＰＲとで同じになるように同じになるように設定された左右のトリミングエリアＴＬ，ＴＲのずれ量を求め、求めたずれ量に対応した駆動タイミングの遅延量をフレーム同期駆動制御部３に設定するように構成されているという態様がある。

なお、トリミングについては、垂直方向下側に変位している方の画像において、上辺から垂直方向ずれ量に相当するライン数分の画像データを無効データとすればよい。

《３》次にイメージセンサにおける電子シャッタの形態について検討する。左右一対の撮像部１Ｌ，１Ｒにおけるイメージセンサ２Ｌ，２Ｒには露光制御のための電子シャッタが備えられている。ＭＯＳ（Metal Oxide Semiconductor）イメージセンサの場合の電子シャッタはローリングシャッタ方式が標準である。また、ＣＣＤ(Charge Coupled Device)イメージセンサの場合の電子シャッタはグローバルシャッタ方式が標準である。ＣＣＤイメージセンサのグローバルシャッタ方式は、全画素同時にシャッタ動作を行う方式であるため、左右のイメージセンサで駆動を同期させておけば、仮に左目用、右目用画像で垂直方向に位置ずれを生じたとしても、タイミング的なずれはない。したがって、左目用、右目用画像でトリミングを合わせておきさえすれば問題はない。問題があるのは、ライン単位で順次的に読み出していくＭＯＳイメージセンサのローリングシャッタ方式である。上述の図２、図３はローリングシャッタ方式での説明である（図５も同様）。本発明は、左目用、右目用撮像部１Ｌ，１Ｒのイメージセンサ２Ｌ，２Ｒがローリングシャッタ方式のＭＯＳイメージセンサである場合に、その技術的意義がとりわけ有効に発揮される。

以上を要するに、上記《１》，《２》の構成において、前記左目用、右目用イメージセンサ２Ｌ，２Ｒは、露光制御のための電子シャッタとしてローリングシャッタを有するＭＯＳイメージセンサである、という態様である。

上記《１》の発明は、その発想のもとがそもそもローリングシャッタ方式のＭＯＳイメージセンサであった。しかし、《１》の発明は、必ずしも露光制御のための電子シャッタとしてローリングシャッタを要件とする必要はない。《２》の発明でも同様である。《１》，《２》の発明は、そのような条件下で成立するものである。これに対して、本項《３》では、より適用性の高い仕様を限定するものである。すなわち、ライン単位の読み出しを行うローリングシャッタのＭＯＳイメージセンサは、上記した《１》，《２》の、垂直タイミング調整器５による各イメージセンサ２Ｌ，２Ｒからの読み出しスタートパルスＳＰのタイミング調整に適したものである。そのようなローリングシャッタ方式のイメージセンサに本発明は好適に適用されることになる。

《４》上記《１》〜《３》の構成において、垂直タイミング調整器５が調整を行う駆動タイミングについては、これを垂直同期信号のタイミングとし、その上で、垂直タイミング調整器５は、撮影画像における被写体像フレーミング位置が相対的に上方にある側（光軸が下方にずれた方）のイメージセンサにおいて、その垂直同期信号のタイミングを、同期基準信号のタイミングから、垂直方向ずれ量に対応したライン数に匹敵する垂直走査期間分だけ遅延させるものとするのが好ましい。この場合、撮影画像における被写体像フレーミング位置が相対的に下方にある側のイメージセンサでは、その垂直同期信号のタイミングは、同期基準信号のタイミングと一致している。これにより、被写体像フレーミング位置が上方側（光軸下方側）のイメージセンサでの垂直同期信号のタイミングは、被写体像フレーミング位置が下方側（光軸上方側）のイメージセンサでの垂直同期信号のタイミングよりも垂直方向ずれ量相当の垂直走査期間分だけ遅延していることになる。

左目用撮像部１Ｌにおけるイメージセンサ２Ｌも右目用撮像部１Ｒにおけるイメージセンサ２Ｒも、その駆動は、タイミングの基準となる垂直同期信号に基づいて駆動される。ここで、両者の垂直同期信号を互いに独立にタイミング調整されるようにする。この両イメージセンサ２Ｌ，２Ｒの垂直同期信号の元になる共通の信号が同期基準信号である。この大本の同期基準信号を基準に、被写体像フレーミング位置が下方側（光軸上方側）のイメージセンサの垂直同期信号のタイミングは同期基準信号と同じタイミングとし、被写体像フレーミング位置が上方側（光軸下方側）のイメージセンサの垂直同期信号のタイミングを同期基準信号から遅延させる。その遅延量Δｔは、左目用、右目用撮影画像ＰＬ，ＰＲにおける被写体像ＡＬ，ＡＲのフレーミング位置の垂直方向ずれ量Δｈに対応したライン数に匹敵する垂直走査時間に相当する。遅延量Δｔの次元は時間であり、垂直方向ずれ量Δｈの次元は長さである。なお、遅延量Δｔは設定表示モード（ＶＧＡなどの解像度規格）におけるライン数に換算される場合もある。

このように制御することにより、左目用、右目用撮影画像ＰＬ，ＰＲにおける被写体像ＡＬ，ＡＲのフレーミング位置に垂直方向ずれが生じている場合に、その垂直方向ずれ量がゼロに近づくように調整され、視差画像用の左目用、右目用撮影画像（トリミング画像ＰＴＬ，ＰＴＲ）に垂直方向ずれのない整合性をもたせることが可能になる。

例えば図２、図３に例示するように、左目用撮影画像ＰＬの被写体像ＡＬのフレーミング位置が相対的に上方に変位しているとする。この場合、撮影画像の被写体像のフレーミング位置が相対的に上方にある側（光軸下方側）の左目用イメージセンサ２Ｌにおいて読み出しスタートタイミングを遅延させる。こうすると、視差画像を構成する左目用、右目用画像において、垂直方向のずれが解消され、左目側被写体像ＡＬの空間的・時間的な位置関係が右目側被写体像ＡＲの空間的・時間的な位置関係と同じに調整される。

上記とは逆に、右目用撮影画像ＰＲの方が相対的に上方に変位しているとする。この場合、撮影画像の被写体像のフレーミング位置が相対的に上方にある側の右目用イメージセンサ２Ｒにおいて読み出しスタートタイミングを遅延させる。こうすると、視差画像を構成する左目用、右目用画像において、垂直方向のずれが解消され、右目側被写体像ＡＲの空間的・時間的な位置関係が左目側被写体像ＡＬの空間的・時間的な位置関係と同じに調整される。

以上のようにして、いずれの場合も、視差画像用の左目用、右目用撮影画像（トリミング画像ＰＴＬ，ＰＴＲ）における被写体像ＡＬ，ＡＲの空間的・時間的な位置関係が同等となるように調整される。

また画像におけるずれである空間的変位が、読み出しスタートタイミングの遅延という時間的変位に置き換えられて調整される。これはすなわち、垂直タイミング調整器５は、左目用、右目用イメージセンサ２Ｌ，２Ｒの垂直同期信号を互いに独立にタイミング調整するものとして構成される、という態様による。

《５》上記《３》，《４》の構成において、左目用、右目用ＭＯＳイメージセンサ２Ｌ，２Ｒにおける駆動タイミングの態様については、電子シャッタスタートパルスＥＳＳＰ（シャッタゲートパルス）および読み出しスタートパルスＳＰのタイミングがそのＭＯＳイメージセンサの垂直同期信号の遅延に並行して同一時間遅延されるように構成された態様がある。

電子シャッタスタートパルスＥＳＳＰは、このパルスの出力により被写体光学像の入射に伴う電荷の蓄積をライン単位で順次的にその都度リセットし、パルス解除のタイミングから露光期間（蓄積時間）の開始とするものである。読み出しスタートパルスＳＰは、このパルスを起点にライン単位で順次的に読み出し、その周期をもって１フレーム期間（１フィールド期間）を定めるものである。

電子シャッタスタートパルスＥＳＳＰのパルス解除のタイミングから次の読み出しスタートパルスＳＰのタイミングまでが露光期間に相当する。このような機能をもつ電子シャッタスタートパルスＥＳＳＰおよび読み出しスタートパルスＳＰは、垂直同期信号を基準にして生成されるものである。したがって、垂直同期信号を遅延させたとき、それに連動して電子シャッタスタートパルスＥＳＳＰも読み出しスタートパルスＳＰも自ずと同一時間遅延されるのがよいのである。

《６》上記《１》〜《５》の構成において、垂直タイミング調整器５は、垂直方向ずれ量Δｈをライン数ずれ量に換算したうえで、前記左目用、右目用撮影画像ＰＬ、ＰＲのうちで被写体像フレーミング位置が相対的に一方より上方側に位置する他方を取得する前記左目用イメージセンサ２Ｌまたは前記右目用イメージセンサ２Ｒに、前記ライン数ずれ量を前記駆動タイミングの遅延量として設定するように構成されている、という態様がある。垂直方向ずれ量は、垂直方向での画素数をもって捉えられる。イメージセンサの駆動タイミングの調整はライン数を基準にして行われる。Ｆｕｌｌ#ＨＤ（１９２０×１０８０），ＶＧＡ（６４０×４８０），ＱＶＧＡ（３２０×２４０）などの表示モード（解像度規格）が変われば、制御上遅延させるライン数も変化する。したがって、解像度規格に合わせたライン数換算が必要となる。

このようにして垂直方向ずれ量から換算して得られたライン数ずれ量（遅延量情報）を該当する方のイメージセンサ（光軸下ずれ、画像上ずれのイメージセンサ）にフィードバックし、マッチング制御に供する。

《７》上記の《１》〜《６》において、垂直タイミング調整器５からフレーム同期駆動制御部３を介して該当する方のイメージセンサに駆動タイミングの調整指示を与えるには、ずれ量に対応した駆動タイミングの遅延量Δｔを送る必要がある。そこで、垂直タイミング調整器５に駆動タイミングの遅延量Δｔの送出機能をもたせる。本項は、この駆動タイミングの遅延量Δｔの送出機能を人為的なマニュアル操作（当該立体画像撮影装置の操作者による手動操作）によるものとする。

《８》本項は、上記《７》のマニュアル操作に代えて、ずれ量に対応した駆動タイミングの遅延量Δｔの送出機能を自動的なフィードバック形態とするものである。

《９》上記のように、垂直方向ずれおよび垂直方向ずれ量Δｈの把握ならびに垂直マッチングの指示については、マニュアル方式と自動方式とがある。本項ではマニュアル方式を考える。

左目用撮影画像ＰＬと右目用撮影画像ＰＲとをモニタに表示させる。このモニタ表示の撮影画像は、生の画像データであってもよいし、表示用に縮小リサイズまたはトリミングした画像データであってもよい。その表示状態で、左目側被写体像ＡＬと右目側被写体像ＡＲとが垂直方向にずれているかどうか、ずれているときはその垂直方向ずれ量Δｈはどのようなものかを操作者が把握し、そのうえで操作者が、操作器６（図１参照）に操作者がマニュアル操作を行うことで、操作器が、ずれ量がゼロに近づくように、いずれか一方のイメージセンサ画像のトリミングエリアの位置を調整するためのずれ調整指示信号を生成し、さらにそのずれ調整指示信号を画像のトリミングエリアの位置調整器（カメラ処理部等に搭載されている）に送出する。トリミング画像のずれが減少する状態は例えばモニタに表示される。操作者は表示を確認しながら垂直方向ずれ量がゼロになるまで調整指示の作業を行う。トリミング位置変更により画像の垂直方向の位置合わせが完了した時点でのずれ調整指示信号は、次に読み出しスタートタイミングを調整するために、垂直タイミング調整器５に送り、ここで上述した調整動作を実行する。

この調整により、左目側被写体像ＡＬを含む左目用トリミングエリアＴＬと右目側被写体像ＡＲを含む右目用トリミングエリアＴＲとの垂直方向ずれ量が減少する。その減少する様子は例えばモニタに表示される。最終的に左目用トリミングエリアＴＬと右目用トリミングエリアＴＲとの垂直方向ずれ量Δｈはゼロとなり、左目用、右目用撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用／記録用の視差画像が得られ、良品質な立体画像を得ることが可能となる。

以上を要するに、この態様は、上記《１》〜《７》の構成において、
前記駆動タイミングの調整を前記垂直タイミング調整器５に指示するためのずれ調整指示信号を、当該立体画像撮影装置の操作者による手動操作に基づいて生成する操作器を、
さらに有し、
前記垂直タイミング調整器５は、前記ずれ調整指示信号に基づいて前記駆動タイミングを前記フレーム同期駆動制御部３において調整するように構成されている。

これによれば、画像表示を参考にしながらのマニュアル操作を通じて、左目用、右目用撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用／記録用の視差画像が得られ、良品質な立体画像を得ることが可能となる。

《１０》マニュアル調整の場合は、カメラ処理部４の機能が利用される。ここで、カメラ処理部４は、左右のトリミングエリアＴＬ，ＴＲに対応する画像データをモニタサイズに縮小リサイズし、それぞれ縮小リサイズされた画像をモニタ上で左側と右側に並べて表示させる機能を有しているものとする（図１１参照）。これは、視覚を通じたずれ検出機能といえる。

左右のトリミングエリアＴＬ，ＴＲに対応する画像データを縮小リサイズするのは、水平方向で２分の１にして、左右２つ分の画像が１つのモニタサイズに収まるようにするためである。モニタ上で右側半分の表示領域に右目用トリミング画像ＰＴＲによる縮小リサイズ画像を表示するとともに、左側半分の表示領域に左目用トリミング画像ＰＴＬによる縮小リサイズ画像を表示する。左右一対の撮像部１Ｌ，１Ｒに光軸ずれがあれば、表示された左右２つの画像において垂直方向のずれが生じる。操作者（撮影者）はモニタにおいて垂直方向に位置のずれた２つの画像のずれを確認しながら、操作器６でのマニュアル操作により、左目用、右目用表示画像の垂直方向ずれを解消する。

以上のようなずれ検出機能を用いてマニュアル調整する際、例えば、画像内の共通の水平な被写体の連続性がとれるようにトリミングエリアのスタートライン位置を上下に調整すればよい。あるいは屋外では、水平線を基準に遠景の風景などを調整すればよい。このようにして得られるずれ量に対応した駆動タイミングの遅延量Δｔが内部的に捕捉され、垂直タイミング調整器５における駆動タイミングの遅延量Δｔとして反映される。マニュアル操作による左目用、右目用表示画像の垂直方向位置合わせは、結局、トリミングエリアのスタートライン位置の垂直方向位置合わせになる。

《１１》本項は、上記《１０》に代わるもので、左目用、右目用トリミング画像ＰＴＬ，ＰＴＲをそれぞれ２分の１ずつ表示するものである。カメラ処理部４は、左目用トリミングエリアＴＬに対応する画像データのうち左側半分の画像データをモニタサイズの２分の１に縮小リサイズしてモニタ上で左側に表示させるとともに、右目用トリミングエリアＴＲに対応する画像データのうち右側半分の画像データをモニタサイズの２分の１に縮小リサイズしてモニタ上で右側に表示させる機能を有している（図１２参照）。これも、視覚を通じたずれ検出機能といえる。

左側表示エリアの２分の１画像と右側表示エリアの２分の１画像とを合わせると、２つで１つのまとまった絵柄となる。ただし、左右一対の撮像部１Ｌ，１Ｒに光軸ずれがあれば、左側表示エリアと右側表示エリアとの境界線（縦方向中心線）の左右で垂直方向のずれが生じる。操作者（撮影者）はモニタにおいて垂直方向に位置のずれた左半分の画像と右半分の画像のずれを確認しながら、操作部でのマニュアル操作により、左目用、右目用表示画像の垂直方向ずれを解消する。

以上のようなずれ検出機能を用いてマニュアル調整する際、境界線（縦方向中心線）上で左右に分離された被写体の画像の境界での連続性のバランスを確認しながら、トリミングエリアのスタートライン位置を上下に調整すればよい。例えば被写体人物像１人分の体が左半身と右半身で分断され、左半身像と右半身像とが垂直方向で断ち切れた状態にずれている場合に、マニュアル操作により左半身像と右半身像とをぴったりと合わせる調整は、顔を含めて１人分の身体の左右バランスをとるものであるので、操作者にとって比較的分かりやすい作業となる。このようにして得られるずれ量に対応した駆動タイミングの遅延量Δｔが内部的に捕捉され、駆動タイミングの遅延量Δｔとして反映される。マニュアル操作による左目用、右目用表示画像の垂直方向位置合わせは、結局、トリミングエリアのスタートライン位置の垂直方向位置合わせになる。

《１２、１３》本項では、上記《１０》，《１１》において、垂直タイミング調整器５は、駆動タイミングの遅延量Δｔとして、左目用トリミングエリアＴＬのスタートラインの位置情報と右目用トリミングエリアＴＲのスタートラインの位置情報との差分を時間に換算して得られる遅延量を用いるものとする。左右のトリミングエリアのスタートライン位置を根拠にして垂直方向ずれの矯正が行える。

《１４》本項では、垂直方向ずれおよび垂直方向ずれ量Δｈの把握ならびに垂直マッチングの指示を自動方式とする。図４を用いて説明する。垂直タイミング調整器５の構成要素として、左目用、右目用注目ポイント座標算出器７Ｌ，７Ｒと、垂直方向ずれ量算出器８と、遅延量算出器９と、駆動タイミング設定器１０とを設ける。

左目用注目ポイント座標算出器７Ｌは、左目用撮影画像ＰＬにおける被写体像ＡＬの注目ポイントＱＬ（人物の顔における眼、口など）の垂直方向座標ＹＬを割り出すものである。また、右目用注目ポイント座標算出器７Ｒは、右目用撮影画像ＰＲにおける被写体像ＡＲの注目ポイントＱＲの垂直方向座標ＹＲを割り出すものである。

垂直方向ずれ量Δｈは（ＹＬ−ＹＲ）で捕捉することが可能である（Δｈ＝ＹＬ−ＹＲ）。垂直方向ずれ量算出器８は、注目ポイントＱＬ，ＱＲの垂直方向座標ＹＬ，ＹＲの差分から垂直方向ずれ量Δｈを算出するものである。ここで、Δｈ＞０のときは、左目用撮影画像ＰＬにおける被写体像ＡＬが右目用撮影画像ＰＲにおける被写体像ＡＲよりも垂直方向下向きに変位しており、Δｈ＜０のときは、右目用撮影画像ＰＲにおける被写体像ＡＲが左目用撮影画像ＰＬにおける被写体像ＡＬよりも垂直方向下向きに変位している。なお、被減数項目と減数項目を上記とは逆にしてもよい（Δｈ＝ＹＲ−ＹＬ）。垂直方向ずれ量Δｈを画素数で表すときは、それはライン数ともなる。この垂直方向でのライン数（画素数）の差分は、駆動タイミングの遅延時間に対応する。すなわち、駆動タイミングの遅延量Δｔを、演算によって垂直方向ずれ量Δｈから求めることができる。遅延量算出器９は、垂直方向ずれ量Δｈを時間を単位とする駆動タイミングの遅延量Δｔに換算するものである。係数をαとして、Δｔ＝α・Δｈ（＝α・（ＹＬ−ＹＲ））である。この遅延量Δｔが正のときは、右目用撮影画像ＰＲに対する駆動タイミングを遅らせることとし、逆に遅延量Δｔが負のときは、左目用撮影画像ＰＬに対する駆動タイミングを遅らせることとする。駆動タイミング設定器１０は、駆動タイミングの遅延量Δｔを加味した駆動タイミングをフレーム同期駆動制御部３に設定するものである。

以上を要するに、本項では、上記《１》〜《１２》において、
垂直タイミング調整器５は、
前記左目用撮影画像ＰＬにおける左側注目ポイントＱＬと前記右目用撮影画像ＰＲにおける右側注目ポイントＱＲとをそれぞれ抽出したうえで、前記左側、右側注目ポイントＱＬ，ＱＲそれぞれの垂直方向座標を割り出す左右の注目ポイント座標算出器７Ｌ，７Ｒと、
前記左側注目ポイントＱＬの垂直方向座標ＹＬと前記右側注目ポイントＱＲの垂直方向座標ＹＲとの差分から前記垂直方向ずれ量Δｈを算出する垂直方向ずれ量算出器８と、
垂直方向ずれ量算出器８による垂直方向ずれ量Δｈを時間を単位とする遅延量Δｔに換算する遅延量算出器９と、
前記駆動タイミングの遅延量Δｔを加味した駆動タイミングをフレーム同期駆動制御部３に設定する駆動タイミング設定器１０と、
を備えている、という態様である。

《１９》本項は、上記《１８》の立体画像撮影方法を、上記《１３》の立体画像撮影装置に関連した立体画像撮影方法とし、さらに、
前記第１のステップは、
前記左目用撮影画像ＰＬと前記右側撮像画像ＰＲとを同一画面において左右に並べて表示する第１−１のステップと、
前記同一画面に表示された前記左目用、右目用撮影画像ＰＬ、ＰＲそれぞれにおいて、同時刻の同一被写体の相対位置関係が前記左目用撮影画像ＰＬと前記右目用撮影画像ＰＲとで同じになるように設定されたトリミングエリアＴＬ，ＴＲを設定する第１−２のステップと、
前記左目用、右目用撮影画像それぞれの前記トリミングエリアＴＬ，ＴＲにおいて注目ポイントＱＬ，ＱＲを抽出する第１−３のステップと、
前記左目用撮影画像ＰＬの前記注目ポイントＱＬと前記右目用撮影画像ＰＲの前記注目ポイントＱＲとの間で前記垂直方向ずれ量Δｈを検出する第１−４のステップと、
を備えている、という態様である。

上記の《１４》，《１９》の構成によれば、垂直方向ずれ量Δｈに対応する遅延量Δｔを駆動タイミングをフィードバックするので、左右一対の撮像部１Ｌ，１Ｒ間に垂直方向の光軸ずれが生じても、垂直タイミング調整器５による電子的かつ自動的なタイミング調整を通じてずれを確実に矯正したうえで、左目用、右目用撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用／記録用の視差画像が得られるため、良品質な立体画像を得ることが可能となる。

《２０》本項は、上記の《１９》の立体画像撮影方法において、前記第１−４のステップは、前記左目用撮影画像ＱＬの前記トリミングエリアＴＬと、前記右目用撮影画像ＱＲの前記トリミングエリアＴＲとのうちの一方の位置を、他方の位置に合わせ込むために、当該一方を垂直方向にシフトする際のシフト量を検出することで前記垂直方向ずれ量Δｈを検出する、という態様である。

《２１》本項は、上記の《１９》の立体画像撮影方法において、
前記第１−４のステップは、前記左目用撮影画像ＰＬの前記トリミングエリアＴＬにおける前記注目ポイントＱＬが所属するラインの番号と、前記右目用撮影画像ＰＲの前記トリミングエリアＴＲにおける前記注目ポイントＱＲが所属するラインのライン番号との間の差分を算出することで前記垂直方向ずれ量Δｈを検出する、という態様である。

《１５》上記《１４》において、
前記左目用、右目用撮影画像ＱＬ、ＰＲにおける被写体の顔領域を検出する顔領域検出器をさらに備え、
前記注目ポイント座標算出器７Ｌ，７Ｒは、前記顔領域検出器によって検出された前記顔領域内の特定部位を前記左側、右側注目ポイントＱＬ、ＰＲに設定する、のが好ましい１態様である。

《２２》上記の《１９》〜《２１》の立体画像撮影方法において、前記注目ポイントとして前記左目用、右目用撮影画像における被写体の顔領域の特定部位を用いるという態様がある。

《１６》前記左目用、右目用撮像部１Ｌ，１Ｒには、その光学系に変倍機能をもつズームレンズが用いられることも多い。左目用、右目用撮像部１Ｌ，１Ｒがズームレンズにおける変倍レンズを有している仕様では、左目用、右目用撮像部１Ｌ，１Ｒそれぞれの変倍レンズは互いに連動するものとして構成される。望遠側へのシフトにしろ、広角側へのシフトにしろ、左右で倍率誤差が生じると、左目用、右目用画像に不整合が生じ、立体画像として合成されると適正なものが得られなくなる。変倍レンズが望遠ズームの場合には左目用、右目用画像の不整合の度合いが増す。

このような事情を勘案すると、左目用、右目用撮像部１Ｌ，１Ｒが変倍レンズを伴う場合の立体画像撮影装置に、上記《１》の構成を適用することは大いに有意義なものとなる。

以上を要するに、本項は、上記《１》〜《１６》の構成において、
前記左目用、右目用撮像部１Ｌ、１Ｒは、変倍レンズを有する光学系をそれぞれ備え、前記左目用撮像部１Ｌの前記変倍レンズと、前記右目用撮像部１Ｒの前記変倍レンズとは、互いに連動するように構成されている、という態様である。

なお、変倍レンズは一般的には光軸に沿って往復移動されるタイプが多いが、本項はそれに限定されなくて、往復移動以外の形態で倍率可変の機能を発揮するものであってもよい。

《１７》上記《１６》の構成において、２つの撮像部の変倍レンズのズーム比率が変化すると、２つの画像の垂直方向ずれ量Δｈに変化が生じる。本項は、このずれ変化を調整する。具体的には、最広角側の画像に対する最望遠側の倍率をｎ倍とし、最広角側でのずれ量ライン数をＬw、最望遠側でのずれ量ライン数をＬtとする。任意の倍率ｂでのずれ量ライン数Ｌbは、
√ｎ：ｎ倍当たりの１辺の変化量
√ｂ：倍率ｂでの1辺の変化量
と考えて（√ｎはｎの平方根を意味する）、
Ｌb ＝[(Ｌt −Ｌw )／√ｎ]×√b ＋Ｌw
となる。これは倍率ｂに対応したずれ量ライン数であるが、さらにこれから上記の駆動タイミングの遅延量Δｔを算出し、フィードバックする。

すなわち、変倍レンズの最広角側と最望遠側での撮像エリアでの垂直方向でのずれ量であるそれぞれのライン数を登録しておき、任意の変倍位置でのライン数に換算する。このように構成すれば、変倍レンズのズーム比率変化の如何にかかわりなく、左目用、右目用撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用／記録用の視差画像が得られ、良品質な立体画像を得ることが可能となる。

《２３》本項では、さらに具体的レベルで本発明の立体画像撮影方法を記述する。本項の立体画像撮影方法は、
前記左目用、右目用撮影画像ＰＬ、ＰＲの撮影を開始する第４のステップと、
前記左目用、右目用撮影画像ＰＬ、ＰＲを読み出す第５のステップと、
前記左目用、右目用撮影画像ＰＬ、ＰＲにおいてトリミングエリアＴＬ，ＴＲをそれぞれ初期設定する第６のステップと、
前記左目用、右目用撮影画像ＰＬ、ＰＲのトリミングエリアＴＬ，ＴＲそれぞれにおいて注目ポイントＱＬ、ＱＲを抽出する第７のステップと、
前記左目用撮影画像ＰＬの前記注目ポイントＱＬと、前記右目用撮影画像ＰＲの前記注目ポイントＱＲとの間で垂直方向ずれの有無を確認する第８のステップと、
前記垂直方向ずれがあるときに、前記左目用撮影画像ＰＬのトリミングエリアＴＬと前記右目用撮影画像ＰＲのトリミングエリアＴＲとのうちの一方の位置を垂直方向で調整する第９のステップと、
前記垂直方向ずれのずれ量Δｈがゼロに収束するまで、前記第７の〜第９のステップを繰り返す第１０のステップと、
前記垂直方向ずれのずれ量Δｈがゼロになったときの前記第９のステップにおける前記一方のトリミングエリアの垂直方向の調整量を、前記第８のステップで検出した前記垂直方向ずれのずれ量Δｈに対応する駆動タイミングの遅延量として保存する第１１のステップと、
さらに含む。

《２４》本項では、上記《２３》の立体画像撮影方法において、
前記左目用、右目用イメージセンサ２Ｌ、２Ｒが有する電子シャッタがローリングシャッタであるか否かを判定する第１２のステップと、
前記第１２のステップで前記電子シャッタが前記ローリングシャッタであると判定すると、前記ずれ量Δｈに対応した駆動タイミングの遅延量を、前記第１２のステップにおいて前記電子シャッタが前記ローリングシャッタであると判定した前記左目用、右目用イメージセンサ２Ｌ、２Ｒに設定する第１３のステップと、
さらに含む。

以下、参考までに、ローリングシャッタの基本的技術内容を説明しておく（†１）。この説明は、〔課題を解決するための手段〕の《１》に反映される。

図５の（ａ）は時間経過を示し、図５の（ｂ）はイメージセンサによる撮影画像を示し、図５の（ｃ）は露光と読み出しの制御を示す。（ａ），（ｂ），（ｃ）は縦方向で時間的に対応している。図５の（ａ）において、右方向は時間の進み方向であり、ＥＳＳＰは電子シャッタスタートパルス、ＳＰは読み出しスタートパルスである。イメージセンサによる撮影画像を示す図５の（ｂ）において、Ｐは撮影画像、Ａは読み出し対象の被写体像、図の縦方向は撮影画像の水平方向（ラインに沿う方向）、図の横方向は撮影画像の垂直方向である。短冊状のものは１ラインずつの撮像データを表している。図５の（ｃ）において、横方向は時間軸、縦方向は撮影画面の垂直方向に対応している。短冊状のものは１ラインごとの撮像状況（時間的推移）を示していると考えてよい（竹村裕夫著『ＣＣＤ・ＣＭＯＳカメラ技術入門』コロナ社のｐ６４の図３．１９シャッタ方式の原理（ｂ）ＣＭＯＳの読み出し方法（ローリングシャッタの場合）を参照）。図５の（ｂ）は図５の（ｃ）を上側から俯瞰したものに相当すると考えてよい。

電子シャッタスタートパルスＥＳＳＰは、このパルスの出力により被写体光学像の入射に伴う電荷の蓄積をライン単位で順次的にその都度リセットするもので、パルス解除のタイミングから露光期間（蓄積時間）が開始される。読み出しスタートパルスＳＰは、このパルスを起点にライン単位で画像データを順次的に読み出すもので、その周期をもって１フレーム期間（１フィールド期間）が定められる。

電子シャッタスタートパルスＥＳＳＰと読み出しスタートパルスＳＰは、第１ラインの露光とライン単位のデータ読み出しに対応するものである。図示はしていないが、同様の電子シャッタスタートパルスＥＳＳＰと読み出しスタートパルスＳＰのセットとが各ラインごとに用いられる。それらは、１ライン相当分の時間だけ順次にずれて出力される。電子シャッタスタートパルスＥＳＳＰのパルス解除のタイミングｔshから次の読み出しスタートパルスＳＰのタイミングｔspまでが露光期間Ｔexに相当する。Ｔex相当範囲の細長い平行四辺形（（ｃ）の「ライン単位の露光期間」）は全ラインについての共通の露光期間を表している。露光期間Ｔexは全ラインにつき互いに等しくすることが可能となっている。

個々のラインの画素群を露光期間Ｔexだけ露光して、光電変換によって生じる電荷を蓄積しながら、露光期間Ｔexの終了直後の読み出しスタートパルスＳＰによって、ライン単位で第１ラインから最終ラインにかけて順次に画像データを読み出す。これがＭＯＳイメージセンサのローリングシャッタ方式での露光・読み出し方式である。

１枚の画像を形成する被写体像Ａの上下方向各部は互いに時間的にずれたものとなる性質がある。被写体像Ａの脚部は、頭部に比べてわずかではあるが時間的に遅れたタイミングでの画像となっている。それは、露光開始タイミング、露光終了タイミングおよび読み出しスタートタイミングのセットが、被写体像Ａの頭部から脚部にかけて順次的に遅れて行くからである。

このような機能をもつ電子シャッタスタートパルスＥＳＳＰおよび読み出しスタートパルスＳＰは、垂直同期信号を基準にして生成されるものである。したがって、垂直同期信号を遅延させると、それに連動して電子シャッタスタートパルスＥＳＳＰも読み出しスタートパルスＳＰも自ずと同一時間遅延されることになる。

以下、本発明の立体画像撮影装置、立体画像撮影方法の実施例について図面を参照しながら説明する。図６は本発明の実施例における立体画像撮影装置の構成を示すブロック図である。図６において、１００は立体画像撮影部、２００はカメラ処理部である。立体画像撮像部１００とカメラ処理部２００は、ケーブルからなるデータ通信部１５０を介して電気的に接続されている。立体画像撮像部１００は、右目用撮像部１Ｒと、左目用撮像部１Ｌと、デュアルセンサのフレーム同期駆動制御部３を備えている。

右目用撮像部１Ｒは、変倍レンズ１１、光学レンズ１２、光学ローパスフィルタ（ＬＰＦ）１３、カラーフィルタ１４、ＭＯＳ型のイメージセンサ２ＲおよびＡＤ変換器を含むアナログフロントエンド部１５を備えている。同様に、左目用撮像部１Ｌは、変倍レンズ２１、光学レンズ２２、光学ローパスフィルタ（ＬＰＦ）２３、カラーフィルタ２４、ＭＯＳ型のイメージセンサ２ＬおよびＡＤ変換器を含むアナログフロントエンド部２５を備えている。フレーム同期駆動制御部３は、左右のイメージセンサ２Ｌ，２Ｒをフレーム同期して駆動制御するものとして構成されている。左右のイメージセンサ２Ｌ，２Ｒは、ローリングシャッタ機構を有するＭＯＳイメージセンサである。

左目用撮像部１Ｌと右目用撮像部１Ｒとは、互いに独立して被写体光束を入射し、イメージセンサ２Ｌ，２Ｒでの光電変換によって得られる被写体像画像データを視差画像データとしてカメラ処理部２００に出力するようになっている。

左目用、右目用撮像部１Ｌ，１Ｒの構成・動作は同じである。ここで、右目用撮像部１Ｒについて説明すると、光軸に沿って駆動される変倍レンズ１１および光学レンズ１２を通過した光は、光学ＬＰＦ１３とカラーフィルタ１４を通過してイメージセンサ２Ｒに入射する。光学ＬＰＦ１２では高周波成分の除去、エリアシング（高周波成分折り返し現象）の防止が行われる。イメージセンサ２Ｒの受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換され、信号電荷に応じた電圧信号（画像信号）として順次に読み出される。イメージセンサ２Ｒから読み出された画像信号はアナログフロントエンド部１５に送られ、アナログゲイン、ＣＤＳ（相関二重サンプリング）などの処理が施された後、画像信号はＡ／Ｄ変換処理によりデジタル信号に変換され、さらにカメラ処理部２００の前処理部４４へ出力される。左目用撮像部１Ｌも同様である。

左目用、右目用イメージセンサ２Ｌ，２Ｒは、フレーム同期駆動制御部３のドライバ回路から与えられるパルスに基づいて駆動される。すなわち、ドライバ回路は、イメージセンサ２Ｌ，２Ｒに共通の同期基準信号に基づいて各イメージセンサ個別に垂直同期信号ＶＬ，ＶＲを生成する。そして、ドライバ回路は、それぞれ垂直同期信号ＶＬ，ＶＲを基準に電子シャッタスタートパルスＥＳＳＰ（シャッタゲートパルス）と読み出しスタートパルスＳＰを生成し、各イメージセンサ２Ｌ，２Ｒを個別に制御する。電子シャッタスタートパルスＥＳＳＰに基づいて、個々の画素のフォトダイオードに蓄積された電荷はライン単位で順次的にリセットされる。電子シャッタスタートパルスＥＳＳＰの解除のタイミングから後続の読み出しスタートパルスＳＰのタイミングまでの期間が露光期間（蓄積時間）となる。各イメージセンサ２Ｌ，２Ｒにおける読み出しスタートパルスＳＰはライン単位で出力され、ライン単位の画像データの読み出しが行われる。これにより、各イメージセンサ２Ｌ，２Ｒで取得された画像データが左目用、右目用撮影画像ＰＬ，ＰＲとして出力される。

各イメージセンサ２Ｌ，２Ｒの駆動タイミングを決める個別の垂直同期信号ＶＬ，ＶＲのタイミングは、フレーム同期駆動制御部３によって制御される。この場合に、両垂直同期信号ＶＬ，ＶＲのタイミングのずれ時間である遅延量Δｔは、後述するカメラ処理部２００におけるＣＰＵ４１から前処理部４４を介してフレーム同期駆動制御部３に与えられるように構成されている。ライン単位に相当する単位時間を基準にして、その単位時間の整数倍で遅延量Δｔが増減調整される。

垂直同期信号が遅延量Δｔだけ遅延された側のイメージセンサにおいては、連動して電子シャッタスタートパルスＥＳＳＰおよび読み出しスタートパルスＳＰも同じ遅延量Δｔだけ遅延されることになる。電子シャッタスタートパルスＥＳＳＰおよび読み出しスタートパルスＳＰは、左目用イメージセンサ２Ｌでも右目用イメージセンサ２Ｒでも、フレーム同期駆動制御部３から繰り返し周期的に出力される。

次に、カメラ処理部２００について説明する。カメラ処理部２００において、４１はＣＰＵ（中央演算処理装置）、４２はＲＯＭ（Read Only Memory）、４３はＲＡＭ（Random Access Memory）、４４は前処理部、４５はメモリ制御部、４６は画像メモリ、４７は画像信号処理部、４８は動きベクトル検出を伴う圧縮伸張部、４９はリサイズ処理部、５０は顔領域検出部、５１は記録メディアインターフェース、５２は表示処理部、５３はモニタインターフェース、５４は操作パネル、５５は記録メディア、５６は手振れ検出部、５７は同期信号生成部（ＳＳＧ）、５８は外部機器制御インターフェースである。

ＣＰＵ４１は所定のプログラムに従って全体を統括制御する制御部であり、操作パネル５４からの操作信号に基づいて各回路の動作を制御する。すなわち、ＣＰＵ４１は、操作信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モードなど）に従い、フレーム同期駆動制御部３による制御を介して左目用、右目用撮像部１Ｌ，１Ｒを制御する。さらにＣＰＵ４１は、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス制御、レンズ駆動制御、画像処理制御、記録メディア５５の読み書き制御などを行う。例えば、ＣＰＵ４１は、光学レンズ１２，２２におけるフォーカスレンズを駆動制御し、操作パネル５４からのズーム指示によって変倍レンズ１１，２１を駆動し両光学系のズーム倍率が同じになるように制御する。また、ＣＰＵ４１は、レリーズスイッチの半押しを検知するとＡＦ制御を行い、レリーズスイッチの全押しを検知すると記録用の画像を取り込むためにマッチングの取れた露光および読み出し制御を開始する。また、ＣＰＵ４１は、必要に応じて図示せぬストロボ制御回路にコマンドを送り、キセノン管などの閃光発光管（発光部）の発光を制御する。

ＲＯＭ４２にはＣＰＵ４１が実行するプログラムおよび制御に必要な各種データ等が格納され、ＲＡＭ４３はＣＰＵ４１の作業用領域として利用される。

左目用、右目用撮像部１Ｌ，１Ｒそれぞれのアナログフロントエンド部１５，２５でのＡ／Ｄ変換で得られたデジタルの撮像信号は、前処理部４４を経て画像信号処理部４７に送られる。前処理部４４はＡＥおよびＡＦ制御に必要な演算を行うオート演算部を含み、レリーズスイッチの半押しに応動して取り込まれた撮像信号に基づいて焦点評価値演算やＡＥ演算などを行い、その演算結果をＣＰＵ４１に伝える。レリーズスイッチの全押しを検知すると、ＣＰＵ４１は焦点評価値演算の結果に基づいて図示せぬレンズ駆動用モータを制御し、光学レンズ１２，２２をマッチングの取れた合焦位置に移動させるとともに、絞りや電子シャッタの設定においてもマッチングの取れた露出制御を行う。

前処理部４４と画像信号処理部４７は、同時化（カラーフィルタ配列に伴う色信号の空間的なずれを補間する処理）、ホワイトバランス（ＷＢ）調整、ガンマ補正、輝度・色差信号生成、輪郭強調、電子ズーム機能による変倍（拡大／縮小）処理、画素数の変換（リサイズ）処理などの各種処理を実施する。これらの処理は、ＣＰＵ４１からのコマンドに従って行われる。さらに、前処理部４４と画像信号処理部４７は、前処理部４４と画像信号処理部４７との間に設けられたメモリ制御部４５を介して、画像メモリ４６を利用しながら画像信号の処理を行い、処理結果の画像データを画像メモリ４６に一時記憶させる。

リサイズ処理部４９は、前処理部４４と画像信号処理部４７において所定の信号処理を経た画像データの画像サイズを規格サイズに変更する。これは、規格化されたサイズで画像データを記録する場合や、モニタインターフェース５３に接続されるモニタディスプレイに表示する場合に機能する。顔領域検出部５０は、リサイズされた画像データに対して必要に応じて人物の顔の位置・大きさ・傾きなどの情報検出を行う。

圧縮伸張部４８は、リサイズされた画像データを各種形式の圧縮フォーマットに従って圧縮する。このとき、使用される圧縮形式に対応した圧縮符号化アルゴリズムが用いられる。ＭＰＥＧ形式、Ｈ．２６４形式などの動画圧縮データ形式において規格化サイズでデータ圧縮する場合は、圧縮伸張部４８は、並行処理にてメモリ制御部４５を介して画像メモリ４６からリサイズ画像データを周期的に読み出して取り込み、取り込んだフレームデータの圧縮を行った後、画像メモリ４６に書き戻すことにより圧縮データをメモリ空間内に格納する。

記録メディアインターフェース５１はメモリ制御部４５と記録メディア５５とを中継し、圧縮された画像データを記録のために記録メディア５５に転送する。こうして取り込まれた左目用、右目用撮像部１Ｌ，１Ｒの２系統の画像データは、記録モードに従って記録メディア５５に記録される。記録メディア５５は、メモリカードで代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスクなど種々の媒体を用いることができる。記録メディア５５は、リムーバブルメディアに限らず、内蔵された記録媒体（内部メモリ）であってもよい。

操作パネル５４は、カメラシステムに対して操作者が各種の指示を入力するための構成であり、例えば、カメラシステムの動作モードを選択するためモード選択スイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目など所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチ、ならびに垂直方向ずれを補正するためのずれ補正操作など各種の操作器を含む。

次に、上記のように構成された本実施例の立体画像撮影装置の動作を説明する。図７は左目用、右目用撮影画像の垂直方向ずれの様子の説明図である。フレーム同期駆動制御部３によって同期制御された左目用、右目用撮像部１Ｌ，１Ｒが人物被写体７０を撮影することで、左目用、右目用撮影画像ＰＬ，ＰＲが得られる。図示例の場合、光軸が相対的に下方にずれているのは、左目用撮像部１Ｌの方である。左目用撮像部１Ｌは、右目用撮像部１Ｒに対して光軸が相対的に下方にずれていることから、左目側被写体像ＡＬはフレーミングにおいて右目側被写体像ＡＲよりも相対的に上側にずれた形になっている。その光軸のずれ量を、イメージセンサの受光面の基準位置に対して垂直方向にΔｈであるとする。

この垂直方向ずれ量Δｈを測定するために、左目用、右目用撮影画像ＰＬ，ＰＲにおいて各被写体像ＡＬ，ＡＲに対し、共通の記録有効エリアとしてそれぞれ左目用トリミングエリアＴＬ、右目用トリミングエリアＴＲを設定する。この場合、左目用トリミングエリアＴＬにおける被写体像ＡＬの相対位置関係と右目用トリミングエリアＴＲにおける被写体像ＡＲの相対位置関係とが等価となるように各トリミングエリアＴＬ、ＴＲを設定する。

図８は垂直方向ずれに対する読み出しタイミングの制御の説明図である。図７の状態から図８への調整が本実施例のポイントである。光軸が相対的に下方にずれており、その結果として被写体像ＡＬが相対的に上方にずれている方（この場合は左目用イメージセンサ２Ｌ）において、読み出しスタートタイミングを標準のタイミングから遅延させる。その遅延量Δｔは、垂直方向ずれ量Δｈをライン数で計数するとして、そのライン数を時間に換算した量である。他方（この場合は右目用イメージセンサ２Ｒ）においては、読み出しスタートタイミングは標準のタイミングのままでよい。

読み出しスタートタイミングを遅延させるには、読み出しスタートパルスＳＰの出力タイミングを遅延させればよい。そのためには、フレーム同期駆動制御部３において同期基準信号から生成される垂直同期信号の出力タイミングを遅延させればよい。垂直同期信号の出力タイミングを遅延させれば、それに伴って電子シャッタスタートパルスＥＳＳＰ、読み出しスタートパルスＳＰその他のタイミングパルスの出力タイミングも同じ時間だけ平行移動的に遅延されることになる。

上記の図７から図８にかけての調整動作をさらに詳しく説明すると、次のようになる。調整前の図７においては、左目側被写体像ＡＬであるお父さん像の帽子の頂点は、左目用撮影画像ＰＬのスタートライン（読み出し開始時点）からごく短時間経過した時点Ｔ１で読み出し対象となる。これに対して、右目側被写体像ＡＲであるお父さん像の帽子の頂点は、右目用撮影画像ＰＲのスタートライン（読み出し開始時点）からさらに遅れた時刻である、より長い時間経過した時点Ｔ２で読み出し対象となる。時間差の（Ｔ２−Ｔ１）が遅延量Δｔに相当する。つまり、
Δｔ＝Ｔ２−Ｔ１
である。

次に、図８を見る。被写体像の垂直方向ずれが下方ではない方の右目側被写体像ＡＲに着目する。この右目側被写体像ＡＲを含む右目用撮影画像ＰＲの読み出しは、標準通りの垂直同期信号を基準とする読み出しスタートパルスＳＰの出力タイミングからとなる。つまり、右目用撮影画像ＰＲの読み出しは時間遅れのない標準通りのものとされる。これに対して、被写体像の垂直方向ずれが下方となっている左目用撮影画像ＰＬの読み出しについては、標準の読み出しタイミングより時間Δｔだけ遅延させた時点から読み出しをスタートさせる。

右目用撮影画像ＰＲの上側端辺の時刻相当タイミングをｔ＝０とする。このタイミングｔ＝０を左目用撮影画像ＰＬまで図面上水平方向に延長してある。右目側被写体像ＡＲであるお父さん像の帽子の頂点の読み出しタイミングはｔ＝Ｔ２である。左目用撮影画像ＰＬの上側端辺の時刻相当タイミングはｔ＝Δｔである。左目用撮影画像ＰＬにおいて、上側端辺の時刻相当タイミングからお父さん像の帽子の頂点の時刻相当タイミングまでの時間はＴ１である。よって、タイミングｔ＝０を基点としての左目用撮影画像ＰＬでのお父さん像の帽子の頂点の読み出しタイミングは、（Δｔ＋Ｔ１）となる。これは、上式の（Δｔ＝Ｔ２−Ｔ１）を考慮すると、
Δｔ＋Ｔ１＝Ｔ２
であり、右目用撮影画像ＰＲにおけるお父さん像の帽子の頂点の読み出しタイミングＴ２と同じタイミングとなる。

お父さん像の帽子の頂点が左目用、右目用撮影画像ＰＬ，ＰＲで同一タイミングの読み出し対象となるとき、お父さん像の帽子以外のすべての部位、お母さん、子供のすべての部位について、左目用、右目用撮影画像ＰＬ，ＰＲの読み出しタイミングは互いにマッチングしたものとなる。

被写体が図示例のような静止状態になく、一定以上の速度で動いている移動被写体であるとする。例えば、図７において、お父さんが急にしゃがんだとする。すると、お父さん像の帽子の頂点は、読み出しタイミングが遅い方の右目用撮影画像ＰＲでさらに下方に変位する。その変位分を時間換算でΔｔαとする。すなわち、静止状態の場合のＴ２が、
Ｔ２′＝Ｔ２＋Δｔα
になったと考えられる。これと連動して、遅延量Δｔ′も静止状態の場合のΔｔが、
Δｔ′＝Δｔ＋Δｔα
になる。上式の（Δｔ＋Ｔ１＝Ｔ２）にあてはめ、ΔｔをΔｔ′で置き換えると、
Δｔ′＋Ｔ１＝Δｔ＋Δｔα＋Ｔ１
＝Δｔ＋（Ｔ２′−Ｔ２）＋Ｔ１
＝（Ｔ２−Ｔ１）＋（Ｔ２′−Ｔ２）＋Ｔ１
＝Ｔ２′
つまり、
Δｔ′＋Ｔ１＝Ｔ２′
であり、静止状態の場合と同様に、右目用撮影画像ＰＲにおけるお父さん像の帽子の頂点の読み出しタイミングＴ２′と同じタイミングとなる。

まとめると、被写体が移動被写体であっても、その移動を含めた状態での調整となるため、換言すれば移動に応答しての調整となるため、光軸の垂直方向ずれの影響を受けない良品質の立体画像のもとになる視差画像を構成する左目用、右目用画像を得ることができる。移動被写体の移動方向が水平方向であるときは、垂直方向ずれとは無関係である。このときは、奥行き感のずれとなる。移動方向が斜めのときは、その水平成分は無関係で、垂直成分のみが本実施例の調整の対象となり、良好に修正される。

図９は図７に対応した動作説明のためのタイミングチャート、図１０は図８に対応した動作説明のためのタイミングチャートである。いずれの図も３フレーム分の左目用、右目用撮影画像ＰＬ，ＰＲが図示されている。図９は図２に対応し、図１０は図３に対応する。図９、図１０において、垂直同期信号ＶＬ，ＶＲの立ち下がりタイミングは１ライン目の読み出しスタートパルスＳＰ（図示せず）のタイミングに相当する。

調整前の図７に対応した図９のタイミングチャートでは、左目用イメージセンサ２Ｌに対する垂直同期信号ＶＬのタイミングと右目用イメージセンサ２Ｒに対する垂直同期信号ＶＲのタイミングとが一致している。この場合、空間的な垂直方向ずれがそのまま反映され、時間軸方向でもずれを伴っている。これらの左目用、右目用撮影画像ＰＬ，ＰＲを視差画像として用いて立体画像に合成すると、マッチングのとれない異様な立体画像となってしまう。

調整後の図８に対応した図１０のタイミングチャートでは、光軸が下方にずれたために被写体像ＡＬが上方にずれている左目用撮影画像ＰＬのイメージセンサ２Ｌについて、その垂直同期信号ＶＬ* のタイミングを右目用イメージセンサ２Ｒの垂直同期信号ＶＲのタイミングよりも遅延量Δｔだけ遅延させている。この結果、視差画像として左目用、右目用撮影画像ＰＬ，ＰＲ、左目用、右目用被写体像ＡＬ，ＡＲの垂直方向ずれおよびタイミングずれのないものが得られる。

＜マニュアル操作による垂直方向ずれの確認と調整＞
上記では、左目用、右目用撮影画像ＰＬ，ＰＲの垂直方向ずれの確認の仕方については、特に詳しくは説明していなかった。そこで、以下では、左目用、右目用撮影画像ＰＬ，ＰＲの垂直方向ずれの確認の具体例を説明する。調整はマニュアル方式である。

図１１はモニタディスプレイでの左目用、右目用撮影画像ＰＬ，ＰＲの表示の様子を示す。図１１の（ａ）は調整前の状態を示し、図１１の（ｂ）は調整後の状態を示す。

図１１の（ａ）で示すように、カメラ処理部２００での画像処理により、左目用撮影画像ＰＬと右目用撮影画像ＰＲをモニタサイズにして、モニタインターフェース５３に接続されている図示しないモニタディスプレイに表示する。そのモニタディスプレイへの表示の仕方は、画面の左側半分に元の画像を水平方向で２分の１に縮小リサイズした左目用撮影画像ＰＬを表示し、右側半分に元の画像を水平方向で２分の１に縮小リサイズした右目用撮影画像ＰＲを表示する。左目用、右目用撮影画像ＰＬ，ＰＲは、光軸ずれに起因して垂直方向ずれを生じている。

操作者（撮影者）は画面を見て左目用、右目用撮影画像ＰＬ，ＰＲの垂直方向ずれの様子を確認しながら、操作パネル５４での操作により垂直方向ずれをなくすためのマニュアル調整を実施する。すなわち、操作者は、被写体像ＡＬが上方にずれている方の左目用撮影画像ＰＬが下方へシフトするようにマニュアル操作する。この際、画像内に水平方向に延びる被写体があれば、左目用、右目用撮影画像ＰＬ，ＰＲでの連続性がとれるように上下調整を実施する。屋外では、水平線を基準にしたり、遠景の風景などを基準にして調整することが望ましい。

このようなマニュアル調整を行うと、ＣＰＵ４１は、その操作量に応じたライン数を求め、さらにそのライン数を時間に換算して遅延量Δｔを算出し、この遅延量Δｔを前処理部４４を介してフレーム同期駆動制御部３に送出する。フレーム同期駆動制御部３は与えられた遅延量Δｔを両イメージセンサ２Ｌ，２Ｒのうち該当する方のイメージセンサ（光軸下ずれ、画像上ずれのイメージセンサ）に設定する。このようなマニュアル調整により、空間的・時間的に左右ずれのない視差画像用の左目用、右目用撮影画像ＰＬ，ＰＲが得られる。その結果として、品質の良い立体画像が得られる。

ＣＰＵ４１がずれのライン数を求める方法の１つに次のようなものがある。モニタディスプレイの表示の初期画面表示状態から操作者が行うマニュアル調整によって調整された垂直方向の操作量に基づいて、調整ライン数を求める。あるいは、初期画面で、左目用、右目用撮影画像ＰＬ，ＰＲにおいてトリミングエリアＴＬ，ＴＲを設定するが、そのトリミングエリアのスタート位置のＹ座標の差分の情報からずれのライン数を求める。なお、ライン数に代えて垂直方向の画素数で求めてもよい。

図１２はもう１つのマニュアル調整方式で、モニタディスプレイでの左目用、右目用撮影画像ＰＬ，ＰＲの表示の様子を示す。図１２の（ａ）は調整前の状態を示し、図１２の（ｂ）は調整後の状態を示す。

図１２の（ａ）で示すように、カメラ処理部２００での画像処理により、左目用撮影画像ＰＬのうち左側半分の画像データをモニタサイズの２分の１に縮小リサイズしてモニタディスプレイの画面上で左側に表示するとともに、右目用撮影画像ＰＲのうち右側半分の画像データをモニタサイズの２分の１に縮小リサイズして画面上で右側に表示している。光軸ずれに起因して、左目用、右目用撮影画像ＰＬ，ＰＲは垂直方向ずれを生じている。そのずれは、左側表示エリアと右側表示エリアとの境界線（縦方向中心線）の両側で際立っている。

操作者（撮影者）は画面を見てそれぞれ半分ずつの左目用、右目用撮影画像ＰＬ，ＰＲの垂直方向ずれの様子を確認しながら、操作パネル５４での操作を実施することで、ずれ解消のマニュアル調整を実施する。すなわち、被写体像ＡＬが上方にずれている方（この場合は左側半分の画像ＰＬ）が下方へシフトするように操作者はマニュアル操作する。この際、画像内に水平方向に延びる被写体があれば、左側半分の画像と右側半分の画像での連続性がとれるように上下調整を実施するとともに、中心線上に位置している被写体像の垂直方向のバランスを確認する。図示例の場合は、被写体人物像（こどもの像）の１人分の身体が左半身と右半身で分断され、左半身像と右半身像とが垂直方向で断ち切れた状態にずれているところを、マニュアル操作により左半身像と右半身像とをぴったりと合わせる。このような調整は、顔を含めて１人分の身体の左右バランスをとるものであるので、比較的分かりやすい作業となる。なお、屋外では、水平線を基準にする、遠景の風景などを基準にして調整する等の調整法も考慮したい。

このようなマニュアル調整を行うと、ＣＰＵ４１は、その操作量に応じたライン数を求め、さらにそのライン数を時間に換算して遅延量Δｔを算出し、この遅延量Δｔを前処理部４４を介してフレーム同期駆動制御部３に送出する。フレーム同期駆動制御部３は与えられた遅延量Δｔを両イメージセンサ２Ｌ，２Ｒのうち該当する方のイメージセンサ（光軸下ずれ、画像上ずれのイメージセンサ）に設定する。このようなマニュアル調整により、空間的・時間的に左右ずれのない視差画像用の左目用、右目用撮影画像ＰＬ，ＰＲが得られる。その結果として、品質の良い立体画像が得られる。

＜マニュアル操作による垂直方向ずれの確認と調整＞
図１３の（ａ）に示すように、左目用、右目用撮影画像ＰＬ，ＰＲそれぞれにおいて顔領域ＫＬ，ＫＲの検出を行う。検出した顔領域ＫＬ，ＫＲ内で注目ポイントＱＬ，ＱＲの抽出を行う。注目ポイントＱＬ，ＱＲとしては、眼や口や耳や鼻などが考えられる。抽出した注目ポイントＱＬ，ＱＲのＹ座標を求め、両Ｙ座標の差分を垂直方向ずれ量Δｈとする。垂直方向ずれ量Δｈを遅延量Δｔに換算し、遅延量Δｔをフレーム同期駆動制御部３に送出する。遅延量Δｔに基づいて被写体像フレーミング位置が上方側のイメージセンサの読み出しスタートパルスＳＰの出力タイミングを遅延量Δｔだけ遅らせる。結果として、図１３の（ｂ）に示すように、視差画像としてマッチングのとれた左目用、右目用撮影画像ＰＬ，ＰＲが得られる。

＜垂直方向ずれの自動調整＞
次に、撮影者の操作を介さず自動調整する方法について説明する。図１４は上記構成の立体画像撮影装置の動作を示すフローチャートである。この制御の主体は、カメラ処理部２００におけるＣＰＵ４１およびその周辺部分である。処理の様子はモニタディスプレイに映出する必要はない。ただし、映出してもよい。

ステップＳ１において、垂直方向ずれの調整を伴う撮影を開始する。次いでステップＳ２において、左目用、右目用イメージセンサ２Ｌ，２Ｒで取得された左目用撮影画像ＰＬと右目用撮影画像ＰＲを読み出す。次いでステップＳ３において、左目用、右目用撮影画像ＰＬ，ＰＲにおいて、左目用、右目用イメージセンサ２Ｌ，２Ｒの有効画素エリア内の同じ位置に初期状態のトリミングエリアＴＬ，ＴＲを設定する。次いでステップＳ４において、左目用、右目用トリミングエリアＴＬ，ＴＲにおける左目用、右目用被写体像ＡＬ，ＡＲに顔領域検出を実施する。次いでステップＳ５において、検出した顔領域ＫＬ，ＫＲでの注目ポイントＱＬ，ＱＲどうしの垂直方向ずれ量Δｈを検出する。注目ポイントＱＬ，ＱＲとしては、眼や口や耳や鼻などが考えられる。次いでステップＳ６において、垂直方向ずれがあるか否かを確認する。ずれがある場合はステップＳ７に進み、ずれがなくなればステップＳ８に進む。垂直方向ずれがあってステップＳ７に進んだときは、トリミングエリアＴＬ，ＴＲの調整を行った上で、ステップＳ４に戻る。図１５はトリミングエリアＴＬ，ＴＲの調整の途中段階を示す。

ステップＳ４→Ｓ５→Ｓ６→Ｓ７の繰り返しの結果、注目ポイントＱＬ，ＱＲが同じ位置となり、垂直方向ずれがなくなる、つまり、２つの画像の垂直方向のマッチングがとれた状態となる。この状態が図８に示す状態である。

なお、上記の顔領域検出のステップＳ４では、イメージセンサから読み出された原画像に対して顔領域検出を実施してもよいし、リサイズ処理により任意大きさに縮小された画像に対して顔領域検出を実施してもよい。左目用、右目用撮影画像ＰＬ，ＰＲにおけるリサイズ比率を同一にする条件を保ちさえすれば、そのリサイズ比率の大きさは自由である。垂直方向ずれのライン数を演算する際は、検出ライン数にリサイズ比率の逆数を乗算すればよい。

ステップＳ６からステップＳ８へ移行する時点では、トリミングエリアの自動設定が完了した際の垂直方向のラインずれ量がすでにＣＰＵ４１で確認されている。ステップＳ８において、垂直方向のずれライン数を登録する。次いでステップＳ９において、イメージセンサの電子シャッタがローリングシャッタタイプかグローバルシャッタタイプかを判定し、ローリングシャッタタイプの場合はステップＳ１０に進み、そうでないときはステップＳ１１に進む。ローリングシャッタタイプであるとして進んだステップＳ１０においては、左目用、右目用イメージセンサ２Ｌ，２Ｒに共通の同期基準信号から生成する垂直同期信号のタイミングにつき、先に求めて置いたずれのライン数から介在した遅延量Δｔをフレーム同期駆動制御部３に送る。その結果として、該当する方のイメージセンサ（光軸下ずれ、画像上ずれのイメージセンサ）において、電子シャッタスタートパルスＥＳＳＰおよび読み出しスタートパルスＳＰが標準よりも遅延量Δｔだけ遅れたタイミングで出力される。これにより、左目用、右目用画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用／記録用の視差画像が得られ、良品質な立体画像を得ることが可能となる。

上記では垂直方向のずれに注目してアプローチしているが、実際には水平方向のずれも発生する。水平方向のずれは人が立体視する際の視差であり、立体画像制作では基線長と呼ばれる特性にかかわる。そのずれは立体画像の奥行き感のずれとして認知される。実際の映像作製現場では、基線長に関しては被写体との距離感のセッティング、輻輳角の調整と合わせて積極的に微調整されるパラメータでもある。本発明では水平方向の自動調整の詳細に言及しない。

＜変倍レンズ／ズーム比率＞
変倍レンズ１１，２１によるズーム比率が変化する場合、フレーム同期駆動制御部３での読み出しスタートパルスＳＰの遅延量Δｔは、ズーム比率に比例して変動する。特に拡大ズームを実施した場合は、露光タイミングのずれが増大する。したがって、ズーム比率に連動して読み出しスタートパルスＳＰの遅延量Δｔを調整する必要がある。

あらかじめ変倍レンズの最広角側と最望遠側での撮像エリアでの垂直方向での変化ライン数を登録しておく。最広角側でのずれ量ライン数をＬw、最望遠側でのずれ量ライン数をＬtとする。また、最広角側の画像に対する最望遠側の倍率をｎ倍とする。この設定で、任意の倍率ｂにおけるずれ量ライン数Ｌbを計算することにする。垂直方向の実装ずれをライン数で考える。

ｎ倍当たりの１辺の変化量は√ｎ（√ｎはｎの平方根を意味する）、倍率ｂでの1辺の変化量は√ｂであるから、
Ｌb ＝[(Ｌt −Ｌw )／√ｎ]×√b ＋Ｌw
となる。これは倍率ｂに対応したずれ量ライン数であるが、さらにこれから上記の駆動タイミングの遅延量Δｔを算出し、フィードバックする。この遅延量Δｔは、光軸下方ずれで被写体像上方ずれの側のイメージセンサに設定されることになる。これにより、変倍レンズのズーム比率変化の如何にかかわりなく、左目用、右目用撮影画像ＰＬ，ＰＲ間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用／記録用の視差画像が得られ、良品質な立体画像を得ることが可能となる。

後段のカメラ処理部２００では、左目用、右目用イメージセンサ２Ｌ，２Ｒの全撮像エリアにおいてそれぞれトリミングエリアＴＬ，ＴＲを設定して立体画像処理するが、その際に、垂直方向のずれ分を無効データとして扱い画像処理を実施するものとする。

＜カメラシステム＞
カメラシステムとしては、図１６に示すようなものが考えられる。これは、立体画像撮影用アダプタを含むハイブリッド撮影システムとなっている。このハイブリッド撮影システムは、立体画像撮影用のステレオカメラＳＣと、立体画像撮影用ではない通常撮影用の一般的なカメラである非ステレオカメラＮＳとの組み合わせから構成されている。

ステレオカメラＳＣは、立体画像撮像部１００とデータ通信部１５０とカメラ処理部２００とを備えている。立体画像撮像部１００とカメラ処理部２００は、ケーブルからなるデータ通信部１５０を介して電気的に接続されている。立体画像撮像部１００における左目用、右目用撮像部１Ｌ，１Ｒから出力される撮像信号はデータ通信部１５０を介してカメラ処理部２００に入力されるように構成されている。カメラ処理部２００は、左目用、右目用撮像部１Ｌ，１Ｒで取得した撮像信号を受け取って画像処理を行うものとして構成されている。この画像処理は画像データの記録を含むものである。また、カメラ処理部２００は、左目用、右目用撮像部１Ｌ，１Ｒを駆動操作可能に構成されている。

立体画像撮像部１００は、左右独立に被写体光束を入射する左目用撮像部１Ｌおよび右目用撮像部１Ｒと、これら撮像部１Ｌ，１Ｒを搭載したレンズフード３０とを備えている。非ステレオカメラＮＳは、カメラ本体部３００とレンズ鏡筒４００とを備えている。レンズ鏡筒４００はカメラ本体部３００のマウント部に着脱自在に装着されるようになっている。レンズフード３０は、非ステレオカメラＮＳのレンズ鏡筒４００の先端部に装着可能に構成され、カメラ処理部２００はカメラ本体部３００のホットシュー３１０に装着可能に構成されている。ホットシュー３１０を介して非ステレオカメラＮＳとステレオカメラＳＣとは信号の授受が可能となっている。レンズ鏡筒４００の他端は、カメラ本体部３００と組み合わせるためのマウント部が形成されている。レンズフード３０において非ステレオカメラＮＳのレンズ鏡筒４００に着脱自在に装着される立体画像撮像部１００は、その装着がレンズ鏡筒４００の前方を開放する状態となるように構成されている。

この例では、立体画像撮像部１００とデータ通信部１５０とカメラ処理部２００とが立体画像撮影用アダプタを構成し、その立体画像撮影用アダプタがステレオカメラＳＣを構成している。

左目用、右目用撮像部１Ｌ，１Ｒにはそれぞれ光学レンズ、入射光量を調節するアイリス、メカシャッタ、オプティカルローパスフィルタ、イメージセンサがこの記載順に配置されている。レンズ保持枠を光軸方向に移動させるモータには、フォーカシング用レンズを移動させるオートフォーカスモータ（ＡＦモータ）やズームレンズを移動させるズームモータが含まれ、ＡＦモータ、ズームレンズモータ、アイリスモータはそれぞれカメラ処理部２００におけるモータコントローラによって駆動が制御されている。イメージセンサは、撮影レンズの光軸に対して垂直に配置されている。左目用、右目用撮像部１Ｌ，１Ｒを有する立体画像撮像部１００の副回路基板は、データ通信部１５０を介してカメラ処理部２００の主回路基板に接続されている。これら回路基板上の接点および端子は、後述するシリアルインターフェースとともに有線通信を可能にしている。

なお、他の接続方法としては、立体画像撮像部１００とレンズ鏡筒４００の前面マウント部に複数の接点（図示省略）を設け、レンズ鏡筒４００側とカメラ本体部３００側のマウント部も同様に接続端子に接触する端子（図示せず）を設ける構成がある。このとき、カメラ処理部２００の主回路基板とカメラ本体部３００のホットシュー３１０も、双方に複数の接点（図示省略）を設ける構成がある。マウントを介して接続されているこれらの接点および端子は、後述するシリアルインターフェースとともにデータ通信を可能にする。

また、他の接続方法として、立体画像撮像部１００の副回路基板とカメラ処理部２００の主回路基板とを、光の送受信端子を設けて光ファイバーで接続する形態がある。光ケーブルを介して接続されているこれら光接点および端子は、後述するシリアルインターフェースとともに光通信を可能にする。

カメラ本体部３００の背面には、被写体のスルー画像やメニュー画像を表示する液晶パネル、液晶パネルのＯＮ／ＯＦＦを切り替えるための表示ボタン、液晶パネルに表示されたメニュー画像の中から適当な項目を選択する際に操作する十字操作ボタン、メニュー画面の表示や確認時に押される実行ボタン等（図示省略）が備えられている。

カメラ処理部２００の背面にも、被写体のスルー画像やメニュー画像を表示する液晶パネル、液晶パネルのＯＮ／ＯＦＦを切り替えるための表示ボタン、液晶パネルに表示されたメニュー画像の中から適当な項目を選択する際に操作する十字操作ボタン、メニュー画面の表示や確認時に押される実行ボタン等（図示省略）を備える形態がある。

カメラ本体部３００の背面の各種ボタンが操作されることにより、カメラ本体部３００を静止画撮影モード、動画撮影モード、夜間撮影モード、ストロボ撮影モードなどに順次切り替えることができるようになっている。併せて立体画像撮像部１００は、カメラ本体部３００からも操作できるし、カメラ処理部２００からも操作できるように構成されている。

レンズ鏡筒４００の前端には立体画像撮像部１００が着脱自在に取り付けられるようになっている。立体画像撮像部１００はバヨネット（Bayonet）機構を介してレンズ鏡筒４００の前端部に高精度に装着されるようになっている。バヨネット機構は、溝に爪を差し込み、ひねることにより連結・離脱を行うソケット式の簡易接合機構である。レンズ鏡筒４００の前端の外周には接続端子が設けられており、この接続端子に立体画像撮像部１００の出力端子（伝送器）が接触するようになっている。なお、伝送器としては、出力端子に代えて、データを変調して伝送信号を形成する変調部と伝送信号を送信するアンテナとを有する無線通信インターフェースでもよい。

立体画像撮像部１００とカメラ処理部２００を非ステレオカメラＮＳに装着した場合、ステレオカメラＳＣによる立体画像撮影と非ステレオカメラＮＳによる通常撮影とを同時に行うことが可能である。装着しない場合は、非ステレオカメラＮＳによる通常撮影が行われる。本実施例の立体画像撮影用アダプタは、単独で立体画像撮影専用のカメラとして用いることもできる。

このような立体画像撮像部１００とカメラ処理部２００を含むステレオカメラＳＣの具体的な構成の一例が図６のブロック図に示すものである。別の形態として図１７に示すようなものもある。撮影者が保持する非ステレオカメラＮＳはレンズ交換可能な一眼カメラとし、右目用撮像部１Ｒと左目用撮像部１Ｌを合体させた交換レンズ型のステレオカメラＳＣ* の形態である。非ステレオカメラＮＳのレンズマウントに装着された交換レンズ型のステレオカメラＳＣ* による立体画像撮影を行うことが可能である。

以上説明してきたように、本発明の立体画像撮影装置によれば、動画撮影モードにおいて、ローリングシャッタ動作のＭＯＳセンサの場合に、数ライン期間露光の高速電子シャッタを実施する際、垂直方向に２つの撮像部の相対的な光軸がずれていても同一時間の適正な露光で撮影した立体動画像が得られる。立体動画を鑑賞する際、２つの画像内での動く被写体部分の高速電子シャッタずれがなく、境界がぼけず、水平方向の視差の調整も画像処理で容易にでき、メリハリのある立体感を得られる。また複数の撮像部の実装ばらつきがデジタル処理で許容でき、レンズ鏡筒調整機構を簡単化しコストを抑えることができる。

なお、本発明は上記各実施例のみに限定されず、要旨を変更しない範囲で適宜変形して実施できる。

本発明は、立体画像撮影装置、立体画像撮影システム等において、左目用、右目用撮像部の垂直方向光軸ずれにかかわらず、電子的なタイミング調整を通じて、左目用、右目用撮像部の撮影同時性を確保し、左目用、右目用撮影画像間で空間的に垂直方向のずれのない撮影の同時性が確保された表示用／記録用の視差画像が得られ、良品質な立体画像を得る技術として有用である。

１Ｌ 左目用撮像部
１Ｒ 右目用撮像部
２Ｌ 左目用イメージセンサ
２Ｒ 右目用イメージセンサ
３ フレーム同期駆動制御部
４ カメラ処理部
５ 垂直タイミング調整器
６ 操作器
７Ｌ，７Ｒ 注目ポイント座標算出器
８ 垂直方向ずれ量算出器
９ 遅延量算出器
１０ 駆動タイミング設定器
１１，２１ 変倍レンズ
４１ ＣＰＵ
４４ 前処理部
４５ メモリ制御部
４６ 画像メモリ
５０ 顔領域検出器
５３ モニタインターフェース
５４ 操作パネル
１００ 立体画像撮像部
２００ カメラ処理部
ＰＬ 左目用撮影画像
ＰＲ 右目用撮影画像
ＡＬ 左目側被写体像
ＡＲ 右目側被写体像
ＴＬ 左目用トリミングエリア
ＴＲ 右目用トリミングエリア
ＰＴＬ 左目用トリミング画像
ＰＴＲ 右目用トリミング画像
ＳＰ 読み出しスタートパルス
ＥＳＳＰ 電子シャッタスタートパルス（シャッタゲートパルス）
ＫＬ，ＫＲ 検出顔領域
ＱＬ，ＱＲ 注目ポイント
Δｈ 垂直方向ずれ量
Δｔ 遅延量

Claims (24)

1. 左目用イメージセンサを有する左目用撮像部と、
   右目用イメージセンサを有する右目用撮像部と、
   前記左目用、右目用イメージセンサをフレーム同期して駆動制御するフレーム同期駆動制御部と、
   前記左目用撮像部で取得される左目用撮影画像と、前記右目用撮像部で取得される右目用撮影画像とに画像処理を行って、前記左目用撮影画像と前記右目用撮影画像との視差画像を生成するカメラ処理部と、
   前記左目用撮影画像における被写体像のフレーミング位置と前記右目用撮影画像における被写体像のフレーミング位置との間の垂直方向ずれ量がゼロに近づくように、前記フレーム同期駆動制御部において前記左目用、右目用イメージセンサの駆動タイミングを調整する垂直タイミング調整器と、
   を備える立体画像撮影装置。
2. 前記垂直タイミング調整器は、前記視差画像に基づいて、同時刻の同一被写体の相対位置関係が前記左目用撮影画像と前記右目用撮影画像とで同じになるように設定された左右一対のトリミングエリアの間のずれ量を求め、求めたずれ量に対応する駆動タイミングの遅延量を前記フレーム同期駆動制御部に設定するように構成されている、
   請求項１に記載の立体画像撮影装置。
3. 前記左目用、右目用イメージセンサは、露光制御のための電子シャッタとしてのローリングシャッタを有するＭＯＳ（Metal Oxide Semiconductor）イメージセンサである、
   請求項１に記載の立体画像撮影装置。
4. 前記駆動タイミングは、垂直同期信号の出力タイミングを含み、
   前記垂直タイミング調整器は、前記左側、右目用撮影画像のうちで被写体像フレーミング位置が相対的に一方より上方側に位置する他方を取得する前記左目用イメージセンサまたは前記右目用イメージセンサにおいて、前記垂直同期信号の出力タイミングを、同期基準信号のタイミングから、前記垂直方向ずれ量に対応したライン数に相当する垂直走査期間分だけ遅延させるように構成されている、
   請求項１に記載の立体画像撮影装置。
5. 前記駆動タイミングは、前記ローリングシャッタのシャッタパルスと読み出しスタートパルスとの出力タイミングとを含み、
   前記垂直タイミング調整器は、前記シャッタパルスと前記読み出しスタートパルスとを、前記左目用、右目用イメージセンサの垂直同期信号の遅延に並行して同一時間遅延させるように構成されている、
   請求項３に記載の立体画像撮影装置。
6. 前記垂直タイミング調整器は、前記垂直方向ずれ量をライン数ずれ量に換算したうえで、前記左目用、右目用撮影画像のうちで被写体像フレーミング位置が相対的に一方より上方側に位置する他方を取得する前記左目用イメージセンサまたは前記右目用イメージセンサに、前記ライン数ずれ量を前記駆動タイミングの遅延量として設定するように構成されている、
   請求項１に記載の立体画像撮影装置。
7. 前記垂直タイミング調整器は、前記駆動タイミングの調整量を、当該立体画像撮影装置の操作者による手動操作で前記フレーム同期駆動制御部に送出可能に構成されている、
   請求項１に記載の立体画像撮影装置。
8. 前記垂直タイミング調整器は、前記駆動タイミングの調整量を、自動的に前記フレーム同期駆動制御部に送出可能に構成されている、
   請求項１に記載の立体画像撮影装置。
9. 前記駆動タイミングの調整を前記垂直タイミング調整器に指示するためのずれ調整指示信号を、当該立体画像撮影装置の操作者による手動操作に基づいて生成する操作器を、
   さらに有し、
   前記垂直タイミング調整器は、前記ずれ調整指示信号に基づいて前記駆動タイミングを前記フレーム同期駆動制御部において調整する、
   請求項１に記載の立体画像撮影装置。
10. 前記第１、第２の撮影画像を表示するモニタをさらに備え、
    前記カメラ処理部は、同時刻の同一被写体の相対位置関係が左右で同じになるように設定された左右一対のトリミングエリアに対応する左右一対のトリミング画像をモニタサイズに縮小リサイズし、縮小リサイズした前記左右一対のトリミング画像を前記モニタ上で左側と右側に並べて表示する機能を有している、
    請求項９に記載の立体画像撮影装置。
11. 前記第１、第２の撮影画像を表示するモニタをさらに備え、
    前記カメラ処理部は、同時刻の同一被写体の相対位置関係が左右で同じになるように設定された左右一対のトリミングエリアのうちで左側トリミングエリアに対応する左側トリミング画像の左側半分に位置する左側１／２画像をモニタサイズの２分の１に縮小リサイズし、縮小リサイズした前記左側１／２画像を前記モニタ上で左側に表示するとともに、前記左右一対のトリミングエリアのうちで右側トリミングエリアに対応する右側トリミング画像の右側半分に位置する右側１／２画像をモニタサイズの２分の１に縮小リサイズし、縮小リサイズした前記右側１／２画像を前記モニタ上で右側に表示する機能を有している、
    請求項９に記載の立体画像撮影装置。
12. 前記垂直タイミング調整器は、前記駆動タイミングの遅延量として、前記左目用トリミングエリアのスタートラインの位置情報と前記右目用トリミングエリアのスタートラインの位置情報との差分を時間に換算して得られる遅延量を用いる、
    請求項１０に記載の立体画像撮影装置。
13. 前記垂直タイミング調整器は、前記駆動タイミングの遅延量として、前記左目用トリミングエリアのスタートラインの位置情報と前記右目用トリミングエリアのスタートラインの位置情報との差分を時間に換算して得られる遅延量を用いる、
    請求項１１に記載の立体画像撮影装置。
14. 前記垂直タイミング調整器は、
    前記左目用撮影画像における左側注目ポイントと前記右目用撮影画像における右側注目ポイントとをそれぞれ抽出したうえで、前記左側、右側注目ポイントそれぞれの垂直方向座標を割り出す注目ポイント座標算出器と、
    前記左側注目ポイントの垂直方向座標と前記右側注目ポイントの垂直方向座標との差分から前記垂直方向ずれ量を算出する垂直方向ずれ量算出器と、
    前記垂直方向ずれ量を時間を単位とする遅延量に換算する遅延量算出器と、
    前記遅延量を加味した前記駆動タイミングを前記フレーム同期駆動制御部に設定する駆動タイミング設定器と、
    を備えている、
    請求項１に記載の立体画像撮影装置。
15. 前記左目用、右目用撮影画像における被写体の顔領域を検出する顔領域検出器をさらに備え、
    前記注目ポイント座標算出器は、前記顔領域検出器によって検出された前記顔領域内の特定部位を前記左側、右側注目ポイントに設定する、
    請求項１４に記載の立体画像撮影装置。
16. 前記左目用、右目用撮像部は、変倍レンズを有する光学系をそれぞれ備え、前記左目用撮像部の前記変倍レンズと、前記右目用撮像部の前記変倍レンズとは、互いに連動するように構成されている、
    請求項１に記載の立体画像撮影装置。
17. 前記垂直タイミング調整器は、前記変倍レンズのズーム比率の変化に応じて前記駆動タイミングの遅延量を可変する、
    請求項１６に記載の立体画像撮影装置。
18. 左目用イメージセンサを有する左目用撮像部で得られる左目用撮影画像における被写体像のフレーミング位置と、右目用イメージセンサを有する右目用撮像部で得られる右目用撮影画像における被写体像のフレーミング位置との間の垂直方向ずれ量を求める第１のステップと、
    前記垂直方向ずれ量に基づいて、前記左目用、右目用イメージセンサの駆動タイミングを調整する第２のステップと、
    調整後の前記駆動タイミングに従って駆動する前記左目用、右目用イメージセンサで取得された露光終了後の画像データをライン単位で順次に読み出す第３のステップと、
    を含む立体画像撮影方法。
19. 前記第１のステップは、
    前記左目用撮影画像と前記右側撮像画像とを同一画面において左右に並べて表示する第１−１のステップと、
    前記同一画面に表示された前記左目用、右目用撮影画像それぞれにおいて、同時刻の同一被写体の相対位置関係が前記左目用撮影画像と前記右目用撮影画像で同じになるように設定されたトリミングエリアを設定する第１−２のステップと、
    前記左目用、右目用撮影画像それぞれの前記トリミングエリアにおいて注目ポイントを抽出する第１−３のステップと、
    前記左目用撮影画像の前記注目ポイントと前記右目用撮影画像の前記注目ポイントとの間で前記垂直方向ずれ量を検出する第１−４のステップと、
    を含む、請求項１８に記載の立体画像撮影方法。
20. 前記第１−４のステップは、前記左目用撮影画像の前記トリミングエリアと、前記右目用撮影画像の前記トリミングエリアとのうちの一方の位置を、他方の位置に合わせ込むために、当該一方を垂直方向にシフトする際のシフト量を検出することで前記垂直方向ずれ量を検出する、
    請求項１９に記載の立体画像撮影方法。
21. 前記第１−４のステップは、前記左目用撮影画像の前記トリミングエリアにおける前記注目ポイントが所属するラインのライン番号と、前記右目用撮影画像の前記トリミングエリアにおける前記注目ポイントが所属するラインのライン番号との間の差分を算出することで前記垂直方向ずれ量を検出する、
    請求項１８に記載の立体画像撮影方法。
22. 前記注目ポイントとして、前記左目用、右目用撮影画像における被写体の顔領域の特定部位を用いる、
    請求項１９に記載の立体画像撮影方法。
23. 前記左目用、右目用撮影画像の撮影を開始する第４のステップと、
    前記左目用、右目用撮影画像を読み出す第５のステップと、
    前記左目用、右目用撮影画像においてトリミングエリアをそれぞれ初期設定する第６のステップと、
    前記左目用、右目用撮影画像のトリミングエリアそれぞれにおいて注目ポイントを抽出する第７のステップと、
    前記左目用撮影画像の前記注目ポイントと、前記右目用撮影画像の前記注目ポイントとの間で垂直方向ずれの有無を確認する第８のステップと、
    前記垂直方向ずれがあるときに、前記左目用撮影画像のトリミングエリアと前記右目用撮影画像のトリミングエリアとのうちの一方の位置を垂直方向で調整する第９のステップと、
    前記垂直方向ずれのずれ量がゼロに収束するまで、前記第７の〜第９のステップを繰り返す第１０のステップと、
    前記垂直方向ずれのずれ量がゼロになったときの前記第９のステップにおける前記一方のトリミングエリアの垂直方向の調整量を、前記第８のステップで検出した前記垂直方向ずれのずれ量に対応する駆動タイミングの遅延量として保存する第１１のステップと、
    さらに含む、
    請求項１８に記載の立体画像撮影方法。
24. 前記左目用、右目用イメージセンサが有する電子シャッタがローリングシャッタであるか否かを判定する第１２のステップと、
    前記第１２のステップで前記電子シャッタが前記ローリングシャッタであると判定すると、前記ずれ量に対応した駆動タイミングの遅延量を、前記第１２のステップにおいて前記電子シャッタが前記ローリングシャッタであると判定した前記左目用、右目用イメージセンサに設定する第１３のステップと、
    さらに含む請求項２３に記載の立体画像撮影方法。

Images