JP5428787B2 - 立体映像撮像装置および立体映像撮像方法 - Google Patents

Description

本発明は、水平視差による立体映像を生成することが可能な立体映像撮像装置および立体映像撮像方法に関する。

近年、水平視差のある左右２つの映像を、偏光眼鏡等を用い、右のカメラの映像を右眼に、左のカメラの映像を左眼に視認させることで、ユーザ（観察者）に対して、あたかもオブジェクトが立体的に存在するように知覚させる技術が、映画やテレビジョン放送等様々な映像技術に採用されている。

このようなオブジェクトが立体的に存在するように知覚させるための映像（以下、単に立体映像と称する）は、左右に離隔した２台のカメラで同一の被写体を撮像することで生成することができる。しかし、高価なカメラを２台準備するとなると製品コストが増大し、また、２台のカメラに製造誤差等の特性差がある場合、適切に立体映像を融像させることができず、ユーザの眼に負担をかけるおそれがある。

そこで、左右２系統の光路中にそれぞれ個別にシャッタを配置することで、１つのレンズを通して水平視差のある左右２つの映像を交互に撮像する立体映像撮像装置が提案されている。このような立体映像撮像装置は、２つのシャッタにおいて光通過状態と遮光状態とを時分割で交互かつ排他的に切り換えることで、１つのレンズを通して水平視差のある左右２つの映像を並行して撮像することができる。

しかし、上述した立体映像撮像装置に搭載されるシャッタは、光通過状態から遮光状態、または、遮光状態から光通過状態に切り換わるのに多少の時間を要する。したがって、切り換わる最中は、左右両方のシャッタがいずれも光通過状態となる場合がある。この場合、一方の光路を通じて取得した映像に他方の光路を通じて取得した映像が混入する、所謂クロストークが生じてしまう。

そこで、右眼用または左眼用の映像信号の一方から、他方の映像信号を用いて生成したクロストーク補正信号を減算することで、予めクロストーク成分が削除された映像信号をモニタに表示させる技術が開示されている（例えば、特許文献１）。

また、装置内の温度に応じたシャッタの不透過状態から透過状態に移行する際の立ち上がり時間および立ち下がり時間を前倒ししてシャッタの切り換えを制御することで、クロストークの発生自体を排除して撮像する技術が開示されている（例えば、特許文献２）。

特開平８−３３１６００号公報 特開２００４―２３３６００号公報

しかし、上述した特許文献１の技術では、クロストーク補正信号を生成する一方の映像信号には、すでに他方の映像信号のクロストーク成分が含まれているため、他方の映像信号から一方の映像信号に基づいて生成されたクロストーク補正信号成分を減算すると、他方の映像信号までもが減衰してしまう。

また、特許文献２の技術では、映像信号の取得時間がクロストークを排除した分短くなるため、低照度の撮影時には光量不足によるＳ／Ｎの低下を招いてしまう。

そこで、本発明は、このような課題に鑑み、クロストーク成分を削除する際に用いる映像信号を工夫することで、クロストークを高精度に推定し、水平視差による良質な立体映像を生成することが可能な、立体映像撮像装置および立体映像撮像方法を提供することを目的としている。

上記課題を解決するために、本発明の立体映像撮像装置は、光路中にそれぞれ配置された第１および第２のシャッタと、第１および第２のシャッタを光通過状態と遮光状態に時分割で交互かつ排他的に切り換えるシャッタ切換部と、第１および第２のシャッタを通過した光束を映像信号に光電変換する撮像素子と、第１および第２のシャッタを切り換えるタイミングに基づいて、映像信号を読み出すための読出タイミングを生成する撮像制御部と、読出タイミングに基づいて映像信号を読み出す読出制御部と、第１のシャッタを通過した光束と第２のシャッタを通過した光束とが重ならない期間の第１のシャッタを通過した光束による映像信号に所定の係数を乗じて、第１のシャッタを通過した光束と第２のシャッタを通過した光束とが重なってクロストークが生じている期間の第１のシャッタを通過した光束による映像信号のクロストーク成分を推定するとともに、第１のシャッタを通過した光束と第２のシャッタを通過した光束とが重ならない期間の第２のシャッタを通過した光束による映像信号に所定の係数を乗じて、第１のシャッタを通過した光束と第２のシャッタを通過した光束とが重なってクロストークが生じている期間の第２のシャッタを通過した光束による映像信号のクロストーク成分を推定する成分推定部と、第１のシャッタを通過した光束による映像信号から、成分推定部により推定された第２のシャッタを通過した光束による映像信号のクロストーク成分を減算して、第１のシャッタを通過した光束による映像信号を更新するとともに、第２のシャッタを通過した光束による映像信号から、成分推定部により推定された第１のシャッタを通過した光束による映像信号のクロストーク成分を減算して、第２のシャッタを通過した光束による映像信号を更新する信号更新部と、を備えることを特徴とする。

上記立体映像撮像装置は、シャッタの周囲温度を検出する温度検出部をさらに備え、撮像制御部が生成する読出タイミングと所定の係数のうち少なくとも一つは、検出されたシャッタの周囲温度に基づいて調整されてもよい。

成分推定部が第１のシャッタを通過した光束による映像信号のクロストーク成分を推定する際に利用する映像信号は、クロストークが生じている期間に最も近い第１のシャッタを通過した光束と第２のシャッタを通過した光束とが重ならない期間の第１のシャッタを通過した光束による映像信号であり、成分推定部が第２のシャッタを通過した光束による映像信号のクロストーク成分を推定する際に利用する映像信号は、クロストークが生じている期間に最も近い第１のシャッタを通過した光束と第２のシャッタを通過した光束とが重ならない期間の第２のシャッタを通過した光束による映像信号であってもよい。

信号更新部で更新される第１のシャッタを通過した光束による映像信号は、第１のシャッタが、光通過状態への切り換えを開始した時点から光通過状態に到達するまでの期間の略中央の時点から、遮光状態への切り換えを開始した時点から遮光状態に到達するまでの期間の略中央の時点までの映像信号であり、信号更新部で更新される第２のシャッタを通過した光束による映像信号は、第２のシャッタが、光通過状態への切り換えを開始した時点から光通過状態に到達するまでの期間の略中央の時点から、遮光状態への切り換えを開始した時点から遮光状態に到達するまでの期間の略中央の時点までの映像信号であってもよい。

上記課題を解決するために、本発明の立体映像撮像方法は、光路中にそれぞれ配置された第１および第２のシャッタを通過した光束を映像信号に光電変換し、第１および第２のシャッタを光通過状態と遮光状態に時分割で交互かつ排他的に切り換えて、第１および第２のシャッタを通過した光束を撮像素子により映像信号に光電変換し、第１および第２のシャッタを切り換えるタイミングに基づいて、映像信号を読み出すための読出タイミングを生成し、読出タイミングに基づいて映像信号を読み出し、第１のシャッタを通過した光束と第２のシャッタを通過した光束とが重ならない期間の第１のシャッタを通過した光束による映像信号に所定の係数を乗じて、第１のシャッタを通過した光束と第２のシャッタを通過した光束とが重なってクロストークが生じている期間の第１のシャッタを通過した光束による映像信号のクロストーク成分を推定し、第２のシャッタを通過した光束による映像信号から、推定した第１のシャッタを通過した光束による映像信号のクロストーク成分を減算して、第２のシャッタを通過した光束による映像信号を更新し、第１のシャッタを通過した光束と第２のシャッタを通過した光束とが重ならない期間の第２のシャッタを通過した光束による映像信号に所定の係数を乗じて、第１のシャッタを通過した光束と第２のシャッタを通過した光束とが重なってクロストークが生じている期間の第２のシャッタを通過した光束による映像信号のクロストーク成分を推定し、第１のシャッタを通過した光束による映像信号から、推定した第２のシャッタを通過した光束による映像信号のクロストーク成分を減算して、第１のシャッタを通過した光束による映像信号を更新することを特徴とする。

本発明の立体映像撮像装置は、クロストーク成分を減算する際に用いる映像信号を工夫することで、クロストークを確実に推定し、水平視差による良質な立体映像を生成することが可能となる。

第１の実施形態にかかる立体映像撮像装置が生成する映像信号を説明するための説明図である。 第１の実施形態にかかる立体映像撮像装置の概略的な機能を示した機能ブロック図である。 シャッタ切換部が出力する信号およびシャッタの状態を説明するための説明図である。 撮像制御部が生成する読出タイミングと読出制御部の処理を説明するための説明図である。 撮像制御部が生成する読出タイミングと読出制御部の処理を説明するための説明図である。 第１の実施形態にかかる立体映像撮像方法の全体的な流れを示したフローチャートである。 切換信号のオンオフのタイミングとフィールドインデックス信号の切換タイミングとをずらした場合の成分推定部および信号更新部の処理を説明するための説明図である。 切換信号のオンオフのタイミングとフィールドインデックス信号の切換タイミングとをずらした場合の成分推定部および信号更新部の処理を説明するための説明図である。 第２の実施形態にかかる立体映像撮像方法の全体的な流れを示したフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（第１の実施形態）
図１は、第１の実施形態にかかる立体映像撮像装置が生成する映像信号を説明するための説明図である。立体映像装置は、後述するように左右２系統の光路中にそれぞれ個別に第１および第２のシャッタを配置しており、図１（ａ）に示すように、第１および第２のシャッタにおいて光通過状態と遮光状態とを時分割で交互かつ排他的に切り換えることで、１つのレンズを通して水平視差のある左右２つの映像を並行して撮像する。したがって、図１（ｂ）に示すように、生成される１の映像信号には、左系統の光路に配置されるシャッタを通過した映像信号と、右系統の光路に配置されるシャッタを通過した映像信号とが交互に連続して含まれることになる。

このように立体映像撮像装置で生成された映像信号から、水平視差のある左右２つの映像を別個に取得するためには、シャッタの切換タイミングで映像信号を分割（切断）し、図１（ｃ）に示すように、光通過状態にあったシャッタの極性に対応させて左右２つの映像を切り出し、それぞれの映像を加工することが考えられる。

しかし、立体映像撮像装置に搭載される左右のシャッタは、光通過状態への切り換えを開始してから光通過状態に切り換わるまで、または、遮光状態への切り換えを開始してから遮光状態に切り換わるまでに、移行時間Ｘを要する。したがって、シャッタが切り換わる最中、すなわち移行時間Ｘの間は、図１（ｄ）および（ｅ）に示すように左右両方のシャッタがいずれも光通過状態となる場合がある。この場合、第１のシャッタを通過した光束による映像に、図１（ｃ）中矢印で示すように、斜線で示す第２のシャッタを通過した光束による映像が、図１（ｃ）において黒色で示すように混入して、クロストークが生じてしまう。

ここで、例えば、図１（ｆ）に示す第２のシャッタ（図１において左シャッタとする）を通過した光束による映像信号Ｃに含まれる第１のシャッタ（図１において右シャッタとする）を通過した光束による映像信号のクロストーク成分Ｂを推定することを試みると、映像信号Ｃの直前の第１のシャッタを通過した光束による映像信号Ａが均一であると仮定するとＢ＝αＡ（０＜α＜１）となり、映像信号Ｃからクロストーク成分を減算した映像信号Ｃ’は、Ｃ’＝Ｃ―αＡとなる。しかし、映像信号Ａには、映像信号Ａの直前における第２のシャッタを通過した光束による映像信号のクロストーク成分が含まれているため、クロストーク成分Ｂの推定値も純粋な推定値ではなくなり、映像信号Ｃ’を精度よく抽出することができなかった。

そこで、本実施形態の立体映像撮像装置は、クロストーク成分を減算する際に用いる映像信号を工夫することで、クロストークを高精度に推定し、水平視差による良質な立体映像を生成することを目的としている。

（立体映像撮像装置１００）
図２は、第１の実施形態にかかる立体映像撮像装置１００の概略的な機能を示した機能ブロック図である。図２に示すように、立体映像撮像装置１００は、撮像部１１０と、撮像素子１２０と、ディスプレイ１３０、操作部１３２と、保持部１６０と、温度検出部１７０と、制御部２１０とを含んで構成される。

撮像部１１０は、撮像レンズ１２２を通じて被写体を撮像し映像信号を生成する。具体的に、撮像部１１０は、２つのシャッタ１１２（図２中左シャッタ１１２ａ、右シャッタ１１２ｂで示す）と、ミラー１１４（図２中左ミラー１１４ａ、右ミラー１１４ｂで示す）と、プリズム１１６と、撮像レンズ１２２と、フォーカスレンズ１２４と、絞り１２６と、駆動回路１２８とを含んで構成され、撮像方向の映像を立体映像撮像装置１００に取り込む。

シャッタ１１２は、液晶シャッタやメカニカルシャッタ等で構成され、左系統の光路中には左シャッタ１１２ａが、右系統の光路中には右シャッタ１１２ｂがそれぞれ配置される。シャッタ１１２は、後述するシャッタ切換部２１２による制御指令に応じて、例えば、左シャッタ１１２ａが光通過状態であるときは、右シャッタ１１２ｂが遮光状態となり、左シャッタ１１２ａが遮光状態であるときは、右シャッタ１１２ｂは光通過状態となる。したがって、左シャッタ１１２ａと右シャッタ１１２ｂとが撮像方向から光束を交互に透過することになる。ここで、第１のシャッタが左シャッタ１１２ａである場合には、第２のシャッタは右シャッタ１１２ｂとなり、第１のシャッタが右シャッタ１１２ｂである場合には、第２のシャッタは左シャッタ１１２ａとなる。

ミラー１１４は、それぞれ対応したシャッタ１１２の後段（左ミラー１１４ａは左シャッタ１１２ａの後段、右ミラー１１４ｂは右シャッタ１１２ｂの後段）に配置される。ミラー１１４は、シャッタ１１２を通過した光束を反射してプリズム１１６の方向に導く。

プリズム１１６は、左ミラー１１４ａおよび右ミラー１１４ｂが反射した光束を、左シャッタ１１２ａを通過した光束と、右シャッタ１１２ｂを通過した光束の光軸が一致するように撮像レンズ１２２に導く。フォーカスレンズ１２４は焦点調整に用いられる。絞り１２６は露光調整に用いられる。駆動回路１２８は、フォーカスレンズ１２４および絞り１２６を駆動させる。

撮像素子１２０は、撮像レンズ１２２を通じて入射する光束を映像信号に光電変換する。本実施形態において撮像素子１２０は、左シャッタ１１２ａを通過した光束と右シャッタ１１２ｂを通過した光束を時分割で交互に、映像信号に光電変換する。したがって、映像信号は、図１（ｂ）に示したように、水平視差のある左右２つの映像信号が交互に連続したものとなる。

保持部１６０は、ＲＡＭ、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され、後述する読出制御部２１６が撮像素子１２０から読み出した映像信号を一時的に保持する。なお、ＨＤＤは正確には装置であるが、便宜上本説明では他の記憶媒体と同義として扱う。また、本実施形態において保持部１６０は、シャッタ切換部２１２により左眼用の映像であるか右眼用の映像であるかを示す左右識別信号を関連付けられた映像信号を保持する。左右識別信号は、映像信号を伝送する形式がインターレース形式の場合、第一フィールドと第二フィールドを識別するフィールドインデックス信号であり、映像信号を伝送する形式がプログレッシブ形式の場合、奇数フレームと偶数フレームを識別するフレームインデックス信号である。ここでは、映像信号を伝送する形式がインターレース信号の場合について説明するが、プログレッシブ信号の場合はフィールドインデックス信号をフレームインデックス信号に置き換える。

ここで、保持部１６０は、例えば、１つのアドレスに映像信号の１画素を対応させて保持する。

また、保持部１６０は、温度時間情報を予め保持する。ここで温度時間情報は、温度と、左シャッタ１１２ａ、右シャッタ１１２ｂそれぞれにおける、遮光状態から光通過状態への移行を開始してから光通過状態への移行が完了するまでの時間（以下、単に予測立ち上がり時間と称する）および光通過状態から遮光状態への移行を開始してから遮光状態への移行が完了するまでの時間（以下、単に予測立ち下がり時間と称する）とを一対一に、および、温度と、後述する所定の係数αとを一対一に関連づけた情報であり、関係式やテーブルによって表される。ただし、所定の係数αは、予測立ち上がり時間や予測立ち下がり時間に比例するので、予測立ち上がり時間や予測立ち下がり時間を用いてその都度計算することもできる。

温度検出部１７０は、左シャッタ１１２ａおよび右シャッタ１１２ｂの周囲温度をそれぞれ検出する。また、温度検出部１７０を立体映像撮像装置１００の筐体内の所定の位置に設置し、左シャッタ１１２ａおよび右シャッタ１１２ｂの周囲温度を間接的に測定することもできる。

制御部２１０は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、立体映像撮像装置１００全体を制御する。特に本実施形態において、制御部２１０は、シャッタ切換部２１２、撮像制御部２１４、読出制御部２１６、成分推定部２１８、信号更新部２２０、信号処理部２２２、記録処理部２２４として機能する。

シャッタ切換部２１２は、内部クロックを分周した垂直同期信号に同期して、左シャッタ１１２ａと右シャッタ１１２ｂとを光通過状態と遮光状態に時分割で交互かつ排他的に切り換えるための切換信号を生成し、生成した切換信号をシャッタ１１２へ出力する。また、シャッタ切換部２１２は、左眼用の映像であるか右眼用の映像であるかを示すフィールドインデックス信号を生成し、映像信号に関連づけて保持部１６０に保持させる。ここでシャッタ切換部２１２は、左シャッタ１１２ａが光通過状態への切り換えを開始した時点から右シャッタ１１２ｂが光通過状態への切り換えを開始した時点までの映像信号が左眼用の映像であることを示すように、また、右シャッタ１１２ｂが光通過状態への切り換えを開始した時点から左シャッタ１１２ａが光通過状態への切り換えを開始した時点までの映像信号が右眼用の映像であることを示すようにフィールドインデックス信号を生成する。

図３は、シャッタ切換部２１２が出力する信号およびシャッタ１１２の状態を説明するための説明図である。図３（ａ）および（ｂ）に示すように、垂直同期信号とフィールドインデックス信号は同期している。一方、シャッタ切換部２１２は、垂直同期信号に基づいて、左シャッタ１１２ａを切り換えるための切換信号を生成し、生成した切換信号を左シャッタ１１２ａに出力する。同様に、シャッタ切換部２１２は、右シャッタ１１２ｂを切り換えるための切換信号を生成し、生成した切換信号を右シャッタ１１２ｂに出力する。左シャッタ１１２ａと右シャッタ１１２ｂとは、シャッタ切換部２１２から出力された切換信号に従って、例えば、図３（ｃ）および（ｄ）に示すように、切換信号がオンを示すときは光通過状態に、オフを示すときは遮光状態に時分割で交互かつ排他的に切り換わる。ここでは、フィールドインデックス信号の切換タイミングと切換信号のオンオフのタイミングが一致する場合について説明する。

左右それぞれのシャッタ１１２は、切換信号がオンを示した時点で光通過状態への移行を開始するが、図３（ｅ）および（ｆ）に示すように、シャッタ１１２が光通過状態への切り換えを開始してから光通過状態となるまでには移行時間Ｘを要する。同様に、切換信号がオフを示した時点でシャッタ１１２は遮光状態への移行を開始するが、シャッタ１１２が遮光状態への切り換えを開始してから遮光状態となるまでにも移行時間Ｘを要することになる。このシャッタ１１２の遮光状態から光通過状態、または、光通過状態から遮光状態への移行時間Ｘの間は、左シャッタ１１２ａおよび右シャッタ１１２ｂがいずれも光通過状態となる場合があり、左シャッタ１１２ａを通過した光束と右シャッタ１１２ｂを通過した光束とが重なって、上述したようにクロストークが生じてしまう。

そこで、まず撮像制御部２１４は、シャッタ切換部２１２が２つのシャッタ１１２を切り換えるタイミングに基づいて、左シャッタ１１２ａを通過した光束と右シャッタ１１２ｂを通過した光束とが重ならない期間、すなわちクロストークが生じていない期間の映像信号と、クロストークが生じている期間の映像信号とを撮像素子１２０から読み出すための読出タイミングを生成する。

また、撮像制御部２１４は、被写体に対して、焦点調整や露光調整を含む撮像制御を遂行する。具体的に、撮像制御部２１４は、撮像制御を遂行するための制御指令を撮像部１１０の駆動回路１２８に出力し、駆動回路１２８は、撮像制御部２１４から出力された制御指令に従って、フォーカスレンズ１２４や絞り１２６を調整する。

読出制御部２１２は、撮像制御部２１４が生成した読出タイミングに基づいて、撮像素子１２０が光電変換した映像信号を読み出して保持部１６０に保持させる。

図４および図５は、撮像制御部２１４が生成する読出タイミングと読出制御部２１６の処理を説明するための説明図である。図４に示すように、撮像制御部２１４は、例えば、左シャッタ１１２ａの遮光状態への切り換え開始時点（右シャッタ１１２ｂの光通過状態への切り換え開始時点）ｔ１に撮像素子１２０から映像信号を読み出すための読出タイミングｒ１を生成する。そうすると読出制御部２１６は、図５に示すように、読出タイミングｒ１に基づき、時点ｔ１において、図４（ｄ）に示す、映像信号ｓｈｏｒｔＬ_ｎ−２を読み出し、保持部１６０に保持させる。映像信号ｓｈｏｒｔＬ_ｎ−２は、左シャッタ１１２ａのみを通過したクロストークを含まない光束の映像信号Ａしか含まれてない。ここで、Ｌ_ｎやＲ_ｎで示す映像信号は、撮像素子１２０から読み出した実際の映像信号である。また、Ａ、Ｄ、Ｇのアルファベットで示す映像信号は、理論上クロストーク成分を含まない左眼用または右眼用の映像信号であり、Ｂ、Ｃ、Ｅ、Ｆ、Ｈ、Ｉのアルファベットで示す映像信号は、理論上クロストーク成分を含む左眼用または右眼用の映像信号である。

次に、撮像制御部２１４は、保持部１６０に保持された温度時間情報と温度検出部１７０が検出したシャッタ１１２の周囲温度とに基づいて、左シャッタ１１２ａの遮光状態への移行が完了する時点（右シャッタ１１２ｂの光通過状態への移行が完了する時点）ｔ２を推定し、時点ｔ２に撮像素子１２０から映像信号を読み出すための読出タイミングｒ２を生成する。図５に示すように、読出制御部２１６は、読出タイミングｒ２に基づき、時点ｔ２において、図４（ｄ）に示す、左シャッタ１１２ａを通過した光束の映像信号Ｂおよび右シャッタ１１２ｂを通過した光束の映像信号Ｃが混入された映像信号ｘｔａｌｋＲ_ｎ−１を読み出し、保持部１６０に保持させる。

上述したように保持部１６０に保持される温度時間情報は、温度とシャッタ１１２の予測立ち上がり時間および予測立ち下がり時間とを一対一に関連づけた情報であり、関係式やテーブルによって表される。かかる温度時間情報は、シャッタ１１２の温度特性に基づいて予め設定されている。したがって、撮像制御部２１４は、温度時間情報を参照して、シャッタ１１２の周囲温度からシャッタ１１２の予測立ち上がり時間および予測立ち下がり時間を一義的に推定することができる。なお、ここでは、理解を容易にするため、左シャッタ１１２ａの予測立ち上がり時間と右シャッタ１１２ｂの予測立ち上がり時間、および、左シャッタ１１２ａの予測立ち下がり時間と右シャッタ１１２ｂの予測立ち下がり時間が実質的に等しいとする。

そして、撮像制御部２１４は、時点ｔｊ（ｊは０以上の整数）に撮像素子１２０から映像信号を読み出すための読出タイミングｒｊを生成し、読出制御部２１６は、読出タイミングｒｊ毎に映像信号を読み出して保持部１６０に保持させる。

そして、成分推定部２１８は、読出制御部２１６が読み出した映像信号における、クロストークが生じていない期間の第１のシャッタを通過した光束による映像信号に所定の係数を乗じて、クロストークが生じている期間の第１のシャッタを通過した光束による映像信号のクロストーク成分を推定する。ここで成分推定部２１８は、対応する画素毎にクロストーク成分を推定する。

例えば、フィールドインデックス信号を参照して、図４（ｄ）に示すフィールド番号（ｎ）の左眼用の映像信号Ｌ_ｎを更新する場合、読出制御部２１６は、まず、図４に示す、第１のシャッタとしての右シャッタ１１２ｂの遮光状態への切り換え開始時点である時点ｔ３において、映像信号Ｒ_ｎ−１の一部である映像信号ｓｈｏｒｔＲ_ｎ−１を読み出し、保持部１６０に保持させ、第２のシャッタとしての左シャッタ１１２ａの光通過状態への移行が完了した時点ｔ４において、映像信号ｘｔａｌｋＬ_ｎを撮像素子１２０から読み出し、保持部１６０に保持させる。ここで、映像信号ｓｈｏｒｔＲ_ｎ−１は、右シャッタ１１２ｂのみを通過した光束の映像信号Ｄしか含まれていない、すなわち左シャッタ１１２ａを通過した光束のクロストーク成分を含まない映像信号である。映像信号ｘｔａｌｋＬ_ｎは、右シャッタ１１２ｂを通過した光束の映像信号Ｅと、左シャッタ１１２ａを通過した光束の映像信号Ｆとが混入した映像信号である。

そして、読出制御部２１６は、左シャッタ１１２ａの遮光状態への切り換え開始時点である時点ｔ５において、映像信号ｓｈｏｒｔＬ_ｎを撮像素子１２０から読み出すとともに、保持部１６０から映像信号ｓｈｏｒｔＲ_ｎ−１および、映像信号ｘｔａｌｋＬ_ｎを読み出す。

成分推定部２１８は、保持部１６０から読み出された、クロストークを含まない映像信号ｓｈｏｒｔＲ_ｎ−１に、所定の係数αを乗じて、映像信号ｘｔａｌｋＬ_ｎに混入していると推定されるクロストーク成分である右シャッタ１１２ｂを通過した光束の映像信号Ｅを推定する。すなわち、Ｅ＝α×ｓｈｏｒｔＲ_ｎ−１となる。

所定の係数αは、保持部１６０に保持された温度時間情報を参照して、温度検出部１７０が検出したシャッタ１１２の周囲温度から一義的に決定することができる。なお、係数αは、左シャッタ１１２ａと右シャッタ１１２ｂとそれぞれ独立して算出されるが、ここでは、理解を容易にするために、左シャッタ１１２ａに関する係数αと右シャッタ１１２ｂに関する係数αが実質的に等しいとする。

上述したように成分推定部２１８は、クロストークのない期間の映像信号ｓｈｏｒｔＲ_ｎ−１のみを用いてクロストーク成分を推定するため、従来のようにクロストークを含む期間すべての映像信号Ｒ_ｎ−１を用いる場合と比較して、用いる映像信号の情報量は少なくなるが、クロストークを含む部分を切り離して利用することで、クロストーク成分のみを高精度に推定することが可能となる。

信号更新部２２０は、第２のシャッタを通過した光束による映像信号（ここでは左シャッタ１１２ａを通過した映像信号ｘｔａｌｋＬ_ｎおよび映像信号ｓｈｏｒｔＬ_ｎ）から第１のシャッタを通過した光束による映像信号のクロストーク成分（ここでは右シャッタ１１２ｂを通過した映像信号ｓｈｏｒｔＲ_ｎ−１に係数αを乗算した値）を減算して第２のシャッタを通過した光束による映像信号の映像信号（映像信号Ｌ_ｎ）を更新する。ここで信号更新部２２０は、対応する画素毎に処理を行う。

こうして、信号更新部２２０は、成分推定部２１８が読み出した映像信号と推定されたクロストーク成分とを以下に示す式（１）に代入して、フィールド番号（ｎ）の左眼用の映像信号Ｌ_ｎを更新した左眼用の映像信号Ｌ’_ｎを生成する（図４（ｅ）に示す）。

Ｌ’_ｎ＝ｘｔａｌｋＬ_ｎ−α×ｓｈｏｒｔＲ_ｎ−１＋ｓｈｏｒｔＬ_ｎ （０＜α＜１） 式（１）
ここでは、理解を容易にするため、第２のシャッタを通過した光束による映像信号として、左眼用の映像信号Ｌ_ｎを更新する場合を挙げて説明したが、映像信号の更新は、遮光状態への切り換えまたは光透過状態への切り換え開始時点（映像信号Ｌ_ｎや映像信号Ｒ_ｎの終了時点）で毎回実行される。したがって、時点ｔ５で読み出された映像信号ｓｈｏｒｔＬ_ｎは、次フィールドにおける映像信号Ｒ_ｎ＋１を更新するために保持部１６０に保持される。なお、映像信号Ｒ_ｎ＋１を更新する場合、第２のシャッタは右シャッタ１１２ｂとなり、第１のシャッタは左シャッタ１１２ａとなる。こうして、順次映像信号Ｌ_ｎおよび映像信号Ｒ_ｎが更新される。

信号処理部２２２は、信号更新部２２０が更新した映像信号に、ガンマ補正、ニー処理等の所定の画像処理を施し、画像処理後の映像信号をディスプレイ１３０に出力するとともに、保持部１６０に保持させる。

記録処理部２２４は、操作部１３２を通じて記録媒体１０２への記録が選択されると、保持部１６０に保持された画像処理後の映像信号をＭ−ＪＰＥＧ（Motion−Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４などの所定の符号化方式で符号化し、符号化された映像信号を記録媒体１０２に記録する。

以上説明したように、本実施形態にかかる立体映像撮像装置１００は、クロストークのない映像信号に基づいてクロストーク成分を推定するため、クロストーク成分のみを特定することができ、特定したクロストーク成分を映像信号から減算する構成により、映像信号を減衰させることなく、第２シャッタを通過した光束による映像信号を生成することが可能となる。

（立体映像表示方法）
次に、上述した立体映像撮像装置１００を用いて、水平視差による立体映像を生成することが可能な立体映像撮像方法を具体的に説明する。

図６は、立体映像撮像方法の全体的な流れを示したフローチャートである。まず、立体映像撮像装置１００の保持部１６０は、予め、温度時間情報を保持しておく。

図６に示すように、まず、シャッタ切換部２１２は、垂直同期信号に基づいて、切換信号を生成し、切換信号の切換タイミングで、左シャッタ１１２ａと、右シャッタ１１２ｂとを光通過状態と遮光状態に時分割で交互かつ排他的に切り換え（Ｓ３００）、撮像素子１２０は、２つのシャッタ１１２を通過した光束を映像信号に光電変換する（Ｓ３０２）。また、温度検出部１７０は、左シャッタ１１２ａおよび右シャッタ１１２ｂの周囲温度をそれぞれ検出する（Ｓ３０４）。

そして、撮像制御部２１４は、シャッタ切換部２１２が２つのシャッタ１１２を切り換えるタイミングに基づいて、クロストークが生じていない期間の映像信号と、クロストークが生じている期間の映像信号とを撮像素子１２０から読み出すための読出タイミングを生成する（Ｓ３０６）。また、ここで撮像制御部２１４は、温度検出ステップＳ３０４で検出されたシャッタ１１２の周囲温度と保持部１６０に保持された温度時間情報とに基づいて、生成した読出タイミングを調整する。

そして、第２のシャッタを通過した光束による映像信号Ｍ_ｎ（ＭはＬまたはＲ）を更新する場合、読出制御部２１６は、読出タイミング生成ステップＳ３０６で生成された読出タイミングに基づいて撮像素子１２０から映像信号ｘｔａｌｋＭ_ｎを読み出し、保持部１６０に保持させ（Ｓ３０８）、続いて読出タイミングに基づいて映像信号ｓｈｏｒｔＭ_ｎを読み出し、保持部１６０に保持させる（Ｓ３１０）。成分推定部２１８は、フィールドインデックス信号が左眼用の映像信号を示しているか否かすなわちＭ_ｎがＬ_ｎであるか否かを判定する（Ｓ３１２）。フィールドインデックス信号が左眼用の映像信号を示している場合（Ｓ３１２のＹＥＳ）、成分推定部２１８は、まず、温度検出ステップＳ３０４で検出されたシャッタ１１２の周囲温度と保持部１６０に保持された温度時間情報とに基づいて、右シャッタ１１２ｂに関する係数αを決定する（Ｓ３１４）。

その後、成分推定部２１８は、読出制御部２１６に、前回保持されている第１のシャッタを通過した光束による映像信号である右眼用の映像信号ｓｈｏｒｔＲ_ｎ−１を保持部１６０から読み出させ、映像信号ｓｈｏｒｔＲ_ｎ−１に係数αを乗じて、クロストーク成分を推定する（Ｓ３１６）。

信号更新部２２０は、読出ステップＳ３０８で読み出した映像信号ｘｔａｌｋＬ_ｎから推定ステップ３１６で推定されたクロストーク成分α×ｓｈｏｒｔＲ_ｎ−１を減算し、さらに読出ステップＳ３１０で読み出した映像信号ｓｈｏｒｔＬ_ｎを加算して映像信号Ｌ’_ｎを算出し（Ｓ３１８）、映像信号Ｌ_ｎを映像信号Ｌ’_ｎに更新する（Ｓ３２０）。

フィールドインデックス信号が右眼用の映像信号を示している場合（Ｓ３１２のＮＯ）、成分推定部２１８は、まず、温度検出ステップＳ３０４で検出されたシャッタ１１２の周囲温度と保持部１６０に保持された温度時間情報とに基づいて、左シャッタ１１２ａに関する係数αを決定する（Ｓ３２２）。

その後、成分推定部２１８は、読出制御部２１６に保持部１６０から前回保持されている第１のシャッタを通過した光束による映像信号である左眼用の映像信号ｓｈｏｒｔＬ_ｎ−１を読み出させ、映像信号ｓｈｏｒｔＬ_ｎ−１に係数αを乗じて、クロストーク成分を推定する（Ｓ３２４）。

信号更新部２２０は、読出ステップＳ３０８で読み出した映像信号ｘｔａｌｋＲ_ｎから推定ステップ３１６で推定されたクロストーク成分α×ｓｈｏｒｔＬ_ｎ−１を減算し、さらに読出ステップＳ３１０で読み出した映像信号ｓｈｏｒｔＲ_ｎを加算して映像信号Ｒ’_ｎを算出し（Ｓ３２６）、映像信号Ｒ_ｎを映像信号Ｒ’_ｎに更新する（Ｓ３２８）。

以上説明したように、本実施形態にかかる立体映像撮像方法においても、クロストークのない映像信号に基づいてクロストーク成分を推定して、クロストーク成分を映像信号から減算する構成により、映像信号を減衰させることなく、第２のシャッタを通過した光束による映像信号を生成することが可能となる。

（第２の実施形態）
上述した第１の実施形態では、シャッタ１１２を切り換えるための切換信号のオンオフとフィールドインデックス信号の切り換えとのタイミングが一致する場合を例に挙げて説明したが、切換信号のオンオフのタイミングとフィールドインデックス信号の切換タイミングとを異ならせることによって、より良質な水平視差による立体映像を生成することが可能となる。

図７および図８は、切換信号のオンオフのタイミングとフィールドインデックス信号の切換タイミングとをずらした場合の撮像制御部２１４、読出制御部２１６、成分推定部２１８および信号更新部２２０の処理を説明するための説明図である。図７および図８に示す例では、シャッタ切換部２１２は、第２のシャッタが、光通過状態への切り換えを開始した時点から光通過状態に到達するまでの期間の略中央の時点から、遮光状態への切り換えを開始した時点から遮光状態に到達するまでの期間の略中央の時点までの映像信号を、第２のシャッタを通過した光束による映像信号であることを示すフィールドインデックス信号を生成する。

例えば、図７に示すように、フィールドインデックス信号を参照して、図７（ｄ）に示すフィールド番号（ｍ）の第２のシャッタを通過した光束による映像信号としての左眼用の映像信号Ｌ_ｍ（ｍは０以上の整数）を更新する場合、撮像制御部２１４は、まず、第１のシャッタとしての右シャッタ１１２ｂが遮光状態への切り換えの開始時点すなわち第２のシャッタとしての左シャッタ１１２ａが光通過状態への切り換えの開始時点である図７に示す時点ｔ１に撮像素子１２０から映像信号を読み出すための読出タイミングｒ１を生成する。そうすると読出制御部２１６は、図８に示すように、読出タイミングｒ１に基づき、時点ｔ１において、図７（ｄ）に示す、撮像素子１２０から映像信号ｓｈｏｒｔＲ_ｍ−１を読み出して保持部１６０に保持させる。映像信号ｓｈｏｒｔＲ_ｍ−１は、右シャッタ１１２ｂのみを通過した光束の映像信号Ａしか含まれていない、すなわち左シャッタ１１２ａを通過した光束のクロストーク成分を含まない映像信号である。ここでも、Ｌ_ｎやＲ_ｎで示す映像信号は撮像素子１２０から読み出した実際の映像信号である。また、Ａ、Ｇ、Ｎのアルファベットで示す映像信号は、理論上クロストーク成分を含まない左眼用または右眼用の映像信号であり、Ｂ、Ｃ、Ｄ、Ｆ、Ｈ、Ｉ、Ｊ、Ｋ、Ｏ、Ｐ、Ｑ、Ｒのアルファベットで示す映像信号は、理論上クロストーク成分を含む左眼用または右眼用の映像信号である。

そして、撮像制御部２１４は、フィールドインデックス信号が右眼用の映像信号から左眼用の映像信号に切り換えた時点、すなわち、左シャッタ１１２ａが光通過状態への切り換えを開始した時点から光通過状態に到達するまでの期間の略中央の時点である図７（ｄ）に示す時点ｔ２に撮像素子１２０から映像信号を読み出すための読出タイミングｒ２を生成する。ここでも、第１の実施形態同様、読み出しタイミングが生成される際、上述した温度時間情報とシャッタ１１２の周囲温度が参照され、推定されたシャッタ１１２の予測立ち上がり時間や予測立ち下がり時間が用いられているが、説明の便宜上、かかる記載を省略する。

そうすると読出制御部２１６は、図８に示すように、読出タイミングｒ２に基づき、時点ｔ２において、撮像素子１２０から映像信号ｘｔａｌｋ２Ｒ_ｍ−１を読み出して保持部１６０に保持させる。映像信号ｘｔａｌｋ２Ｒ_ｍ−１は、右シャッタ１１２ｂを通過した光束の映像信号Ｂと、左シャッタ１１２ａを通過した光束の映像信号Ｄとが混入した映像信号である。映像信号ｘｔａｌｋ２Ｒ_ｍ−１は、映像信号Ｒ_ｍ−１を更新する際に用いる。

さらに、撮像制御部２１４は、右シャッタ１１２ｂが遮光状態への移行を完了した時点すなわち左シャッタ１１２ａが光通過状態への移行を完了した時点である図７に示す時点ｔ３に撮像素子１２０から映像信号を読み出すための読出タイミングｒ３を生成する。そうすると読出制御部２１６は、図８に示すように、読出タイミングｒ３に基づき、時点ｔ３において、撮像素子１２０から映像信号ｘｔａｌｋ１Ｌ_ｍを読み出して保持部１６０に保持させる。映像信号ｘｔａｌｋ１Ｌ_ｍは、右シャッタ１１２ｂを通過した光束の映像信号Ｃと、左シャッタ１１２ａを通過した光束の映像信号Ｆとが混入した映像信号である。

このようにして、撮像制御部２１４は、時点ｔ４、時点ｔ５、時点ｔ６、時点７、…時点ｔｉ（ｉは０以上の整数）に撮像素子１２０から映像信号を読み出すための読出タイミングｒ４、ｒ５、ｒ６、ｒ７、…ｒｉをそれぞれ生成する。したがって、読出制御部２１６は、図８に示すように、映像信号を読み出す。

そして、成分推定部２１８は、保持部１６０に保持された映像信号ｓｈｏｒｔＲ_ｍ−１に所定の係数αを乗じて、時点ｔ３で読み出された映像信号ｘｔａｌｋ１Ｌ_ｍに混入していると推定されるクロストーク成分である、右シャッタ１１２ｂを通過した光束の映像信号Ｃを推定する。すなわち、Ｃ＝α×ｓｈｏｒｔＲ_ｍ−１となる。また、成分推定部２１８は、保持部１６０に保持された映像信号ｓｈｏｒｔＲ_ｍ−１に所定の係数βを乗じて、時点ｔ５で読み出された映像信号ｘｔａｌｋ２Ｌ_ｍに混入していると推定されるクロストーク成分である、右シャッタ１１２ｂを通過した光束の映像信号Ｊを推定する。すなわち、Ｊ＝β×ｓｈｏｒｔＲ_ｍ−１となる。

ここで所定の係数βは、保持部１６０に保持された温度時間情報を参照して、温度検出部１７０が検出したシャッタ１１２の周囲温度から一義的に決定することができる。なお、係数βは、左シャッタ１１２ａと右シャッタ１１２ｂとそれぞれ独立して算出されるが、ここでは、理解を容易にするために、左シャッタ１１２ａに関する係数βと右シャッタ１１２ｂに関する係数βが実質的に等しいとする。

成分推定部２１８は、このように時点ｔ１で読み出した映像信号ｓｈｏｒｔＲ_ｍ−１を用いて、クロストーク成分である映像信号Ｊを推定することもできるが、さらに、精度を高めるべく、時点ｔ５に時間的に最も近い、クロストークが生じていない右シャッタ１１２ｂを通過した光束の映像信号、すなわち、時点ｔ７で読み出す映像信号ｓｈｏｒｔＲ_ｍ＋１を用いることにする。

映像信号は時々刻々と変化するので、クロストークが生じている期間に時間的に近いクロストークが生じていない期間の映像信号を用いることで、精度よくクロストーク成分を推定することが可能となる。

そこで、成分推定部２１８は、時点ｔ７で読み出した映像信号ｓｈｏｒｔＲ_ｍ＋１に所定の係数βを乗じて、映像信号ｘｔａｌｋ２Ｌ_ｍに混入していると推定されるクロストーク成分である映像信号Ｊを推定する。すなわち、Ｊ＝β×ｓｈｏｒｔＲ_ｍ＋１となる。

上述したように、第２のシャッタが、光通過状態への切り換えを開始した時点から光通過状態に到達するまでの期間の略中央の時点から、遮光状態への切り換えを開始した時点から遮光状態に到達するまでの期間の略中央の時点までの映像信号を、第２のシャッタを通過した光束による映像信号とする構成により、左右双方の映像信号の撮像時間が定められている場合において、光量を最大限に維持するべく、左眼用の映像信号と、右眼用の映像信号とを連続して生成しつつ、クロストーク成分の混入を最小限に抑えることができるため、クロストーク成分を減算する際に生じる誤差を著しく低減することが可能となる。

信号更新部２２０は、読出制御部２１６が、時点ｔ３、時点ｔ４、時点ｔ５でそれぞれ読み出した映像信号ｘｔａｌｋ１Ｌ_ｍ、ｓｈｏｒｔＬ_ｍ、ｘｔａｌｋ２Ｌ_ｍと成分推定部２１８が推定したクロストーク成分とを以下に示す式（２）に代入して、フィールド番号（ｍ）の左眼用の映像信号Ｌ_ｍを更新した左眼用の映像信号Ｌ’_ｍを生成する（図７（ｆ）に示す）。

Ｌ’ _ｍ＝ｘｔａｌｋ１Ｌ_ｍ−α×ｓｈｏｒｔＲ_ｍ−１＋ｓｈｏｒｔＬ_ｍ＋ｘｔａｌｋ２Ｌ_ｍ−β×ｓｈｏｒｔＲ_ｍ＋１
（０＜α＜１、０＜β＜１） 式（２）
ここでも、理解を容易にするため、左眼用の映像信号Ｌ_ｍを更新する場合を挙げて説明したが、第１のシャッタを通過した光束による映像信号の更新は、次回の第２のシャッタにおける遮光状態への切り換えまたは第１のシャッタにおけるに関する光透過状態への切り換え開始時点で毎回実行される。

以上説明したように、本実施形態にかかる立体映像撮像装置１００は、クロストークのない映像信号に基づいてクロストーク成分を推定するため、クロストーク成分のみを特定することができる。そして、特定したクロストーク成分を映像信号から減算する構成により、映像信号を減衰させることなく、第２のシャッタを通過した光束による映像信号を生成することが可能となる。さらに、クロストーク成分を含む期間の映像信号も利用するため、低照度の撮影時であっても、光量不足になることがなく、Ｓ／Ｎが低下するといった事態を回避することができる。

（立体映像表示方法）
次に、上述した立体映像撮像装置１００を用いて、水平視差による立体映像を生成することが可能な立体映像撮像方法を具体的に説明する。

図９は、立体映像撮像方法の全体的な流れを示したフローチャートである。なお、シャッタ切り換えステップＳ３００からシャッタ温度検出ステップＳ３０４までの処理は、図６に示した処理と同様であるため記載を省略する。

シャッタ温度検出ステップＳ３０４の後、撮像制御部２１４は、シャッタ切換部２１２が２つのシャッタ１１２を切り換えるタイミングとフィールドインデックス信号に基づいて、クロストークが生じていない期間の映像信号と、クロストークが生じている期間の映像信号とを撮像素子１２０から読み出すための読出タイミングを生成する（Ｓ４０６）。また、ここで撮像制御部２１４は、温度検出ステップＳ３０４で検出されたシャッタ１１２の周囲温度と保持部１６０に保持された温度時間情報とに基づいて、生成した読出タイミングを調整する。

そして、第２のシャッタを通過した光束による映像信号Ｍ_ｍ（ＭはＬまたはＲ）を更新する場合、読出制御部２１６は、読出タイミング生成ステップＳ４０６で生成された読出タイミングに基づいて撮像素子１２０から映像信号ｘｔａｌｋ１Ｍ_ｍを読み出し、保持部１６０に保持させ（Ｓ４０８）、続いて読出タイミングに基づいて映像信号ｓｈｏｒｔＭ_ｍを読み出し、保持部１６０に保持させ（Ｓ４１０）、さらに、読出タイミングに基づいて映像信号ｘｔａｌｋ２Ｍ_ｍを読み出し、保持部１６０に保持させる（Ｓ４１２）。

成分推定部２１８は、フィールドインデックス信号が左眼用の映像信号を示しているか否かすなわちＭ_ｍがＬ_ｍであるか否かを判定する（Ｓ４１４）。フィールドインデックス信号が左眼用の映像信号を示している場合（Ｓ４１２のＹＥＳ）、成分推定部２１８は、まず、温度検出ステップＳ３０４で検出されたシャッタ１１２の周囲温度と保持部１６０に保持された温度時間情報とに基づいて、第１のシャッタとしての右シャッタ１１２ｂに関する係数αおよび係数βを決定する（Ｓ４１６）。

成分推定部２１８は、読出制御部２１６に、前々回保持されている右眼用の映像信号ｓｈｏｒｔＲ_ｍ−2に係数αを乗じて、今回の右眼用の映像信号ｓｈｏｒｔＲ_ｍに係数βを乗じて、クロストーク成分を推定する（Ｓ４１８）。

信号更新部２２０は、前回保持されている映像信号ｘｔａｌｋ１Ｌ_ｍ−１からクロストーク成分であるα×ｓｈｏｒｔＲ_ｍ−２を減じたものと、映像信号Ｌ_ｍ−１と、映像信号ｘｔａｌｋ２Ｌ_ｍ−１からクロストーク成分であるβ×ｓｈｏｒｔＲ_ｍを減じたものとを加算して映像信号Ｌ’_ｍ−１を算出し（Ｓ４２０）、左眼用の映像信号Ｌ_ｍ−１を映像信号Ｌ’_ｍ−１に更新する（Ｓ４２２）。

フィールドインデックス信号が右眼用の映像信号を示している場合（Ｓ４１２のＮＯ）、成分推定部２１８は、まず、温度検出ステップＳ３０４で検出されたシャッタ１１２の周囲温度と保持部１６０に保持された温度時間情報とに基づいて、第１のシャッタとしての左シャッタ１１２ａに関する係数αおよび係数βを決定する（Ｓ４２４）。

成分推定部２１８は、読出制御部２１６に、前々回保持されている左眼用の映像信号ｓｈｏｒｔＬ_ｍ−2に係数αを乗じて、今回の左眼用の映像信号ｓｈｏｒｔＬ_ｍに係数βを乗じて、クロストーク成分を推定する（Ｓ４２６）。

信号更新部２２０は、前回保持されている映像信号ｘｔａｌｋ１Ｒ_ｍ−１からクロストーク成分であるα×ｓｈｏｒｔＬ_ｍ−２を減じたものと、映像信号Ｒ_ｍ−１と、映像信号ｘｔａｌｋ２Ｒ_ｍ−１からクロストーク成分であるβ×ｓｈｏｒｔＬ_ｍを減じたものとを加算して映像信号Ｒ’_ｍ−１を算出し（Ｓ４２８）、右眼用の映像信号Ｒ_ｍ−１を映像信号Ｒ’_ｍ−１に更新する（Ｓ４３０）。

以上説明したように、本実施形態にかかる立体映像撮像方法においても、クロストークのない映像信号に基づいてクロストーク成分を推定して、クロストーク成分を映像信号から減算する構成により、映像信号を減衰させることなく、第２のシャッタを通過した光束による映像信号を生成することが可能となる。そして、クロストーク成分を含む期間の映像信号も利用して映像信号を生成するため、低照度の撮影時であっても、光量不足になることがなく、Ｓ／Ｎが低下するといった事態を回避することができる。

上述した実施形態では、撮像素子１２０から読み出した映像信号を加工した後保持部１６０に保持させる構成について説明した。ここでは、まず撮像のみを行い、撮像が完了した後、映像信号を事後的に加工してクロストーク成分を除去する構成について説明する。

まず、読出制御部２１６は、撮像を完了するまで、撮像素子１２０から読み出した映像信号をすべて保持部１６０に保持させる。

そして、ユーザによる操作部１３２を通じた操作入力等に応じて、例えば、フィールド番号（ｍ）の左眼用の映像信号Ｌ_ｍの更新を試みる場合、読出制御部２１６は、保持部１６０に読出タイミングと映像信号の保持されているアドレスを与えることにより、保持部１６０に保持された映像信号における、クロストークが生じていない期間の第１のシャッタを通過した光束による映像信号（例えば、ｓｈｏｒｔＲ_ｍ−１とｓｈｏｒｔＲ_ｍ＋１）を読み出す。そして、成分推定部２１８は、ｓｈｏｒｔＲ_ｍ−１に所定の係数αを乗じて、クロストークが生じている期間の映像信号（ｘｔａｌｋ１Ｌ_ｍ）のクロストーク成分を推定すると共に、ｓｈｏｒｔＲ_ｍ＋１に所定の係数βを乗じて、クロストークが生じている期間の映像信号（ｘｔａｌｋ２Ｌ_ｍ）のクロストーク成分を推定する。

そして信号更新部２２０は、読出制御部２１６に、保持部１６０に保持された映像信号における、映像信号ｘｔａｌｋ１Ｌ_ｍ、ｓｈｏｒｔＬ_ｍ、ｘｔａｌｋ２Ｌ_ｍを、読出タイミングに基づいて、保持部１６０から読み出させる。そして信号更新部２２０は、映像信号ｘｔａｌｋ１Ｌ_ｍ、ｓｈｏｒｔＬ_ｍ、ｘｔａｌｋ２Ｌ_ｍと成分推定部２１８が推定したクロストーク成分とを上述した式（２）に代入してフィールド番号（ｍ）の左眼用の映像信号Ｌ_ｍを更新した左眼用の映像信号Ｌ’_ｍを生成する。

以上説明したように、映像信号を一旦保持部１６０に保持させ、事後的に加工してクロストーク成分を除去する構成により、立体映像撮像装置１００の処理負荷が乏しい場合であっても、撮像を円滑に遂行でき、撮像完了後に確実にクロストーク成分を除去することが可能となる。

なお、ここでは、第２の実施形態にかかる式（２）を利用して映像信号を更新しているが、第１の実施形態にかかる式（１）を利用して映像信号を更新できることは言うまでもない。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態において、クロストーク成分を推定する際に用いる、クロストークが発生していない期間の映像信号は、クロストークが発生していない期間すべてに亘る映像信号としているが、クロストークが発生していない期間の一部における映像信号としてもよい。

なお、本明細書の立体映像撮像方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、水平視差による立体映像を生成することが可能な立体映像撮像装置および立体映像撮像方法に利用することができる。

１００ …立体映像撮像装置
１１２ …シャッタ
１１２ａ …左シャッタ
１１２ｂ …右シャッタ
１２０ …撮像素子
１６０ …保持部
１７０ …温度検出部
２１０ …制御部
２１２ …シャッタ切換部
２１４ …撮像制御部
２１６ …読出制御部
２１８ …成分推定部
２２０ …信号更新部

Claims (5)

1. 光路中にそれぞれ配置された第１および第２のシャッタと、
   前記第１および第２のシャッタを光通過状態と遮光状態に時分割で交互かつ排他的に切り換えるシャッタ切換部と、
   前記第１および第２のシャッタを通過した光束を映像信号に光電変換する撮像素子と、
   前記第１および第２のシャッタを切り換えるタイミングに基づいて、映像信号を読み出すための読出タイミングを生成する撮像制御部と、
   前記読出タイミングに基づいて前記映像信号を読み出す読出制御部と、
   前記第１のシャッタを通過した光束と前記第２のシャッタを通過した光束とが重ならない期間の前記第１のシャッタを通過した光束による前記映像信号に所定の係数を乗じて、前記第１のシャッタを通過した光束と第２のシャッタを通過した光束とが重なってクロストークが生じている期間の前記第１のシャッタを通過した光束による前記映像信号のクロストーク成分を推定するとともに、前記第１のシャッタを通過した光束と前記第２のシャッタを通過した光束とが重ならない期間の前記第２のシャッタを通過した光束による前記映像信号に所定の係数を乗じて、前記第１のシャッタを通過した光束と第２のシャッタを通過した光束とが重なってクロストークが生じている期間の前記第２のシャッタを通過した光束による前記映像信号のクロストーク成分を推定する成分推定部と、
   前記第１のシャッタを通過した光束による映像信号から、前記成分推定部により推定された前記第２のシャッタを通過した光束による前記映像信号のクロストーク成分を減算して、前記第１のシャッタを通過した光束による映像信号を更新するとともに、前記第２のシャッタを通過した光束による映像信号から、前記成分推定部により推定された前記第１のシャッタを通過した光束による前記映像信号のクロストーク成分を減算して、前記第２のシャッタを通過した光束による映像信号を更新する信号更新部と、
   を備えることを特徴とする立体映像撮像装置。
2. 前記シャッタの周囲温度を検出する温度検出部をさらに備え、
   前記撮像制御部が生成する読出タイミングと前記所定の係数のうち少なくとも一つは、検出された前記シャッタの周囲温度に基づいて調整されることを特徴とする請求項１に記載の立体映像撮像装置。
3. 前記成分推定部が前記第１のシャッタを通過した光束による前記映像信号の前記クロストーク成分を推定する際に利用する映像信号は、前記クロストークが生じている期間に最も近い前記第１のシャッタを通過した光束と前記第２のシャッタを通過した光束とが重ならない期間の前記第１のシャッタを通過した光束による映像信号であり、
   前記成分推定部が前記第２のシャッタを通過した光束による前記映像信号の前記クロストーク成分を推定する際に利用する映像信号は、前記クロストークが生じている期間に最も近い前記第１のシャッタを通過した光束と前記第２のシャッタを通過した光束とが重ならない期間の前記第２のシャッタを通過した光束による映像信号であることを特徴とする請求項１または２に記載の立体映像撮像装置。
4. 前記信号更新部で更新される前記第１のシャッタを通過した光束による映像信号は、前記第１のシャッタが、光通過状態への切り換えを開始した時点から光通過状態に到達するまでの期間の略中央の時点から、遮光状態への切り換えを開始した時点から遮光状態に到達するまでの期間の略中央の時点までの映像信号であり、
   前記信号更新部で更新される前記第２のシャッタを通過した光束による映像信号は、前記第２のシャッタが、光通過状態への切り換えを開始した時点から光通過状態に到達するまでの期間の略中央の時点から、遮光状態への切り換えを開始した時点から遮光状態に到達するまでの期間の略中央の時点までの映像信号であることを特徴とする請求項１から３のいずれか１項に記載の立体映像撮像装置。
5. 光路中にそれぞれ配置された第１および第２のシャッタを通過した光束を映像信号に光電変換し、
   前記第１および第２のシャッタを光通過状態と遮光状態に時分割で交互かつ排他的に切り換えて、前記第１および第２のシャッタを通過した光束を撮像素子により映像信号に光電変換し、
   前記第１および第２のシャッタを切り換えるタイミングに基づいて、映像信号を読み出すための読出タイミングを生成し、
   前記読出タイミングに基づいて前記映像信号を読み出し、
   前記第１のシャッタを通過した光束と前記第２のシャッタを通過した光束とが重ならない期間の前記第１のシャッタを通過した光束による前記映像信号に所定の係数を乗じて、前記第１のシャッタを通過した光束と前記第２のシャッタを通過した光束とが重なってクロストークが生じている期間の前記第１のシャッタを通過した光束による前記映像信号のクロストーク成分を推定し、
   前記第２のシャッタを通過した光束による映像信号から、推定した前記第１のシャッタを通過した光束による前記映像信号の前記クロストーク成分を減算して、前記第２のシャッタを通過した光束による映像信号を更新し、
   前記第１のシャッタを通過した光束と前記第２のシャッタを通過した光束とが重ならない期間の前記第２のシャッタを通過した光束による前記映像信号に所定の係数を乗じて、前記第１のシャッタを通過した光束と第２のシャッタを通過した光束とが重なってクロストークが生じている期間の前記第２のシャッタを通過した光束による前記映像信号のクロストーク成分を推定し、
   前記第１のシャッタを通過した光束による映像信号から、推定した前記第２のシャッタを通過した光束による前記映像信号の前記クロストーク成分を減算して、前記第１のシャッタを通過した光束による映像信号を更新することを特徴とする立体映像撮像方法。

Images