JP5863356B2 - ステレオ動画像の撮像装置、撮像方法、ステレオ動画像の表示装置、表示方法及びプログラム - Google Patents

Description

本発明は、ステレオ動画像を撮影し表示する際の撮影方法および表示方法に関するものである。

ステレオ動画像の撮影では、右眼に表示するための右眼用動画像と左眼に表示する左眼用動画像を別々に撮影する。このようなステレオ動画像は、右眼用動画像と左眼用動画像とを時間的にずらすことなく撮影する方式（非時分割方式）で撮影されるのが一般的である。例えば、特許文献１もこのような非時分割方式で撮影することを前提とした発明を開示している。

一方、表示装置においては、右眼用動画像と左眼用動画像を時間的に同時に表示するパッシブステレオ方式（非時分割方式）と、右眼用動画像と左眼用動画像を時間的に交互に表示するアクティブステレオ方式（時分割方式）とが並存している。

パッシブステレオ方式は、偏光フィルタを用いて特定の方向に振動する光のみを通過させることで左右の眼用の画像を分離し、左眼用と右眼用の動画像を観察者の左右それぞれの眼に観察させる方式である。この方式では、表示装置の表示画像を構成する出力光が観察者の眼へ到達するまでに、光は偏光フィルタを介して左眼用と右眼用とに分離される。観察者は偏光眼鏡を装着することにより、左眼用の画像光は左眼のみ、右眼用の画像光は右眼のみで見られるようにする。このようにして、左眼用動画像と右眼用動画像の各々を観察者の左右の眼に入力させて立体視を実現する方式がパッシブステレオ方式である。
これに対し、アクティブステレオ方式は、表示装置のフレーム切り替えタイミングに同期したシャッタ式眼鏡を用いて、左右の動画像の分離を実現する方式である。この方式では、表示装置は左眼用の画像と右眼用の画像とをフレーム毎に切り替えて表示する。観察者はシャッタ式眼鏡を装着し、左眼用の画像を表示している時は右眼を、右眼用の画像を表示している時は左眼を隠すようにする。このようにして、左眼用と右眼用の画像の各々を観察者の左右の眼に入力させて立体視を実現する方式がアクティブステレオ方式である。

特開２０１０−１６１７３９号公報

パッシブステレオ方式に用いるステレオ動画像の撮影には、非時分割方式で撮影するタイプの撮像装置がそのまま有効である。しかし、アクティブステレオ方式の場合は左眼用画像と右眼用画像とを交互に表示するため、非時分割方式で撮影された動画像データでは、問題が起こり得る。つまり、撮影方式と表示方式との間に齟齬があると、影像の動き領域の輪郭が２重に見えたり動きがガタガタと相前後して見えたりといった現象が起こることがあり、再生画質に問題が生じてしまう。なお、以下では、上記のような現象を総称して「動き領域の破綻」と呼ぶこととする。

本発明に係る撮像装置は、右眼用動画像と左眼用動画像とで構成されるステレオ動画像を撮影する撮像装置であって、前記ステレオ動画像を表示する表示装置における表示方式の情報を入力するユーザインタフェースと、前記ユーザインタフェースを介して入力された前記表示方式の情報に基づいて撮像モードを設定する設定手段であって、前記表示方式がパッシブステレオ方式の場合には前記右眼用動画像と前記左眼用動画像との間で位相が一致するように撮影する同位相モードに設定し、前記表示方式がアクティブステレオ方式の場合には前記右眼用動画像と前記左眼用動画像との間で位相が逆になるように撮影する逆位相モードに設定する、設定手段と、設定された撮像モードが前記同位相モードの場合には前記右眼用動画像を撮影するための同期信号と前記左眼用動画像を撮影するための同期信号とを同位相で出力し、設定された撮像モードが前記逆位相モードの場合には前記右眼用動画像を撮影するための同期信号と前記左眼用動画像を撮影するための同期信号とを逆位相で出力する、同期信号制御手段と、撮影開始命令に応答して、前記右眼用動画像及び前記左眼用動画像を、出力された同期信号にしたがって撮影する撮像手段と、を備えたことを特徴とする。

本発明によれば、ステレオ動画像の再生時における動き領域の破綻を抑制することができる。

実施例１に係る撮像装置の構成の一例を示す図である。 実施例１に係る撮像装置において、ステレオ動画像を撮影する処理の流れを示すフローチャートである。 同期信号制御回路から出力された同期信号、同期信号に基づいて取得される左眼用動画像及び右眼用動画像を示す図である。 同期信号制御回路から出力された同期信号、同期信号に基づいて取得される左眼用動画像及び右眼用動画像を示す図である。 実施例１に係る撮像装置によって撮影されたステレオ動画像を表示装置に表示した場合の見え方を説明する図であり、（ａ）は撮影方式と表示方式とが一致していない場合の見え方を示した図、（ｂ）は実施例１を適用して撮影したステレオ動画像の見え方を示した図である。 実施例２に係る撮像装置の構成の一例を示す図である。 実施例２に係る撮像装置において、ステレオ動画像を撮影する処理の流れを示すフローチャートである。 実施例３に係る撮像装置の構成の一例を示す図である。 実施例３に係る撮像装置において、ステレオ動画像の撮影を行う際の処理の流れを示すフローチャートである。 ステレオ動画像データにメタデータが付加された動画ファイルのデータ構造を表す図である。 本実施例に係る表示装置の構成の一例を示す図である。 動画像データ内のフレーム画像がどのように表示されるのかを説明する図であり、（ａ）はアクティブステレオ方式の場合の図、（ｂ）はパッシブステレオ方式の場合の図である。 実施例３に係る表示装置において、動画ファイルからメタデータを抽出し、必要に応じて補間処理を行って、表示パネルに出力するまでの処理の流れを示すフローチャートである。 補間処理部における補間処理の流れを示すフローチャートである。 同位相モードで撮影したステレオ動画像のデータが補間処理されて、アクティブステレオ方式の表示装置で表示される様子を示す図である。 実施例４に係る撮像部が１個の場合の撮像装置の構成の一例を示す図である。

＜実施例１＞
図１は、実施例１に係る撮像装置の構成の一例を示す図である。

撮像装置１００は、ＣＰＵ１０１、入力取得部１０２、外部出力ユニット１０３、記憶部１０４、同期信号制御回路１０５、撮像部１１０及び撮像部１２０を含んでいる。

ＣＰＵ１０１は、撮像装置１００を統括的に制御するプロセッサである。図示されていないが、ＣＰＵ１０１で実行される制御プラグラム等を格納するＲＯＭやＣＰＵ１０１のワークエリア等として機能するＲＡＭも撮像装置１００は備えている。

入力取得部１０２は、ユーザが入力（選択）した、表示装置の表示モード、撮影フレームレート、撮影開始/終了命令などを取得する。

外部出力ユニット１０３は、後述の画像処理回路１１４及び１２４から受け取ったステレオ動画像のデータを外部に出力する。

記憶部１０４は、後述の画像処理回路１１４及び１２４から受け取ったステレオ動画像のデータを格納する。記憶部１０４は、例えば、ＨＤＤ等で構成される。

同期信号制御回路１０５は、撮影モードに対応した所定の同期信号（同期信号１及び同期信号２）をＣＰＵ１０１経由で撮像部１１０及び１２０にそれぞれ供給（出力）する。この同期信号によって撮像部１１０及び撮像部１２０において撮影される左眼用動画像と右眼用動画像との時間的なずれ（位相のズレ）の有無が制御される。撮影モードには、非時分割方式に相当する [同位相モード]と、時分割方式に相当する [逆位相モード]の２種類がある。［同位相モード］は互いの位相が一致し同位相となる同期信号１及び同期信号２に基づいて撮影を行うモードであり、[逆位相モード]は互いの位相が１／（２×Ｆ）ずれた逆位相となる同期信号１及び同期信号２に基づいて撮影を行うモードである。同期信号制御回路１０５は、設定された撮影モードに応じて、供給する同期信号１及び同期信号２を同位相にするか逆位相にするかを制御する。

撮像部１１０及び１２０は、ステレオ動画像の撮影を行う撮像ユニットであり、本実施例では撮像部１１０が左眼用動画像を、撮像部１２０が右眼用動画像をそれぞれ撮影する。撮像部１１０及び１２０にはそれぞれ、撮影レンズ（１１１／１２１）、撮影レンズからの入射光を感知する撮像素子（１１２／１２２）を備える。また、撮影レンズと撮像素子の制御を行う撮像部制御回路（１１４、１２４）、撮像素子からの信号を処理し動画像データとして出力する画像処理回路（１１３／１２３）も備える。なお、上記以外にも、様々な構成要素が存在し得るが、その説明は省略する。

図２は、本実施例に係る撮像装置１００において、ステレオ動画像を撮影する処理の流れを示すフローチャートである。

ステップ２０１において、入力取得部１０２は、ステレオ動画像を表示する表示装置の表示モード（ＭｏｄｅＤｉｓｐ）および撮影フレームレート（Ｆ）に関するユーザ入力を取得する。表示装置の表示モード（ＭｏｄｅＤｉｓｐ）について、ユーザは、当該表示装置が採用している表示方式（パッシブステレオ方式もしくはアクティブステレオ方式のいずれか）を選択し入力する。撮影フレームレート（Ｆ）について、ユーザは、所定の値（例えば、３０[fps：frame per second]）を入力する。つまり、本ステップでユーザは、ステレオ動画像を表示する表示装置がパッシブステレオ方式かアクティブステレオ方式かに拠って表示モードを選択し、さらに任意の撮影フレームレートを入力する。なお、撮影フレームレートについてはデフォルト値を設定しておき、ユーザによって任意の値が指定されない場合に当該デフォルト値を採用するようにしてもよい。

ステップ２０２において、ＣＰＵ１０１は、取得したユーザ入力によって指定された表示モード（ＭｏｄeＤｉｓｐ）に対応する撮影モード（ＭｏｄｅＣａｍ）を設定し、併せて指定された値の撮影フレームレート（Ｆ）に設定する。例えば、ユーザが指定した表示モードが“パッシブステレオ方式”であれば、左眼用動画像と右眼用動画像とが時間的にずれることなく撮影される“同位相モード”に 撮影モード（ＭｏｄｅＣａｍ）を設定する。同様に、ユーザが指定した表示モードが“アクティブステレオ方式”であれば、左眼用動画像と右眼用動画像とが時間的にずれて撮影される“逆位相モード”に 撮影モード（ＭｏｄｅＣａｍ）を設定する。さらに、撮影フレームレートを、指定された値に（例えば“３０”であれば、３０[fps]に）設定する。

ステップ２０３において、ＣＰＵ１０１は、設定された撮影モード（ＭｏｄｅＣａｍ）が同位相モードであるか逆位相モードであるかを判定する。判定の結果、設定された撮影モードが同位相モードである場合はステップ２０４に進む。一方、設定された撮影モードが逆位相モードである場合はステップ２０５に進む。

ステップ２０４において、同期信号制御回路１０５は、右眼用と左眼用との間に時間的にずれのないステレオ動画像を撮影するための同期信号を両撮像部１１０及び１２０に供給する。具体的には、互いに位相が一致した同位相の同期信号１及び２を、設定された撮影フレームレートで発生させ、両撮像部１１０及び１２０にそれぞれ出力する。この同期信号１及び２が出力されると同時に、画像処理回路１１３及び１２３は、動画像の取得を開始する。図３は、同期信号制御回路１０５から出力された同期信号１及び２と、当該同期信号１及び２に基づいて取得される左眼用動画像（Ｉｍａｇｅ１）及び右眼用動画像（Ｉｍａｇｅ２）を示している。図３において同期信号１及び２は互いに位相が一致しており、取得された左眼用動画像（Ｉｍａｇｅ１）と右眼用動画像（Ｉｍａｇｅ２）においても位相が一致しているのが分かる。Ｉｍａｇｅ１及び２において、冒頭の破線で示される部分は、画像信号として画像処理回路１１３及び１２３に入力されるものの撮影開始命令の受領前であるため、撮影対象の動画像としては扱われないフレーム画像を示している。なお、この破線で示されるフレーム画像は、例えば不図示の表示部におけるプレビュー表示に利用される。

ステップ２０５
において、同期信号制御回路１０５は、左眼用と右眼用との間に時間的にずれのあるステレオ動画像を撮影するための同期信号を両撮像部１１０及び１２０に出力する。具体的には、互いに半フレーム分だけ位相のずれた逆位相の同期信号１及び２を選択された撮影フレームレートで発生させ、両撮像部１１０及び１２０にそれぞれ出力する。図４は、同期信号制御回路１０５から出力された同期信号１及び２と、当該同期信号１及び２に基づいて取得される左眼用動画像（Ｉｍａｇｅ１）及び右眼用動画像（Ｉｍａｇｅ２）を示している。図４において同期信号１及び２は、半フレーム分（１／（Ｆ＊２））だけ互いの位相がずれており、取得された左眼用動画像（Ｉｍａｇｅ１）と右眼用動画像（Ｉｍａｇｅ２）においても位相が半フレーム分ずれている。その余については図３と同じであるため説明を省略する。

ステップ２０６において、入力取得部１０２は、ユーザから撮影開始命令を取得する。

ステップ２０７において、撮像部１１０及び１２０は、同期信号制御回路１０５から供給された同期信号１及び２に従った撮影を開始する。すなわち、撮像部１１０は同期信号１に従って、撮像部１２０は同期信号２に従って、それぞれＩｍａｇｅ１及びＩｍａｇｅ２を取得し、動画像データとして記憶部１０４に記憶し又は外部出力ユニット１０３に出力する。

このようにして、撮影モードが同位相モードの場合には左眼用動画像と右眼用動画像との間に時間的ずれのないステレオ動画像が、撮影モードが逆位相モードの場合には左眼用動画像と右眼用動画像との間に時間的にずれのあるステレオ動画像が得られる。なお、図３及び図４において、ｔ1,ｔ2,ｔ3,…ｔnは、撮影開始命令〜撮影終了命令までのサンプリング時刻を示している。例えば、撮影開始命令から撮影終了命令までの間が１０秒でその際の撮影フレームレートが３０fpsの場合、ｔはｔ1〜ｔ300となるので、Ｉｍａｇｅ１及び２にはそれぞれ３００個のフレーム画像を含むことになる。

ステップ２０８において、ＣＰＵ１０１は、入力取得部１０２において、撮影終了命令を取得したかどうか判定する。撮影終了命令が取得されていなければステップ２０７に戻り、撮影を続行する。一方、撮影終了命令が取得されていればステップ２０９に進む。

ステップ２０９において、撮像部１１０及び１２０は、撮影を終了する。すなわち、同期信号制御回路１０５は同期信号１及び２の出力を終了し、画像処理回路１１３及び１２３は画像信号の取得を終了する。

このようにして、本実施例に係る撮像装置１００においては、ユーザが選択した表示装置の表示方式に応じた撮影モードが設定されて、ステレオ動画像が撮影される。

図５は、本実施例に係る撮像装置によって撮影されたステレオ動画像を表示装置に表示した場合の見え方を説明する図である。図５の（ａ）は、比較のために、撮影方式と表示方式とが一致していない場合の見え方を示したものである。 つまり、同位相モードで撮影したステレオ動画像をアクティブステレオ方式の表示装置で視認した場合、或いは逆位相モードで撮影したステレオ動画像をパッシブステレオ方式の表示装置で視認した場合の見え方である。この場合、動き領域が２重像になって見えてしまい、動き領域の破綻が生じているのが分かる。

一方、図５の（ｂ）は、本実施例を適用して撮影したステレオ動画像の見え方を示している。本実施例を適用した場合、ユーザが適切に表示装置の表示方式を選択し、当該選択された表示方式に応じた撮影モードによってステレオ動画像が撮影されるため、撮影方式と表示方式とが常に一致し、動き領域の破綻が生じることはない。

以上のとおり、本実施例によれば、予め表示装置の表示方式に対応した撮影モードでステレオ動画像を撮影することが担保されるので、動き領域の破綻を抑制することができる。

＜実施例２＞
実施例１では、ユーザが予め選択した表示装置の表示モードに基づいて撮影モードを決定していた。次に、撮像装置に接続された表示装置から当該表示装置における表示方式の情報を取得して適切な撮影モードを自動で決定する態様について、実施例２として説明する。なお、実施例１と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。

図６は、本実施例に係る撮像装置１００の構成の一例を示す図である。実施例１との違いは、表示装置情報取得部６０１が追加されている点である。

撮像装置１００は表示装置６０２とＵＳＢ等で接続され、表示装置情報取得部６０１は、表示装置６０２から、その表示モードの情報（ＭｏｄｅＤｉｓｐ）を取得する。より具体的には、撮像装置１００から表示装置６０２に対し表示モードの情報を送るよう送信命令を発し、表示装置６０２は受け取った送信命令に応じて表示モードの情報（アクティブステレオ方式かパッシブステレオ方式かを示す情報）を撮像装置１００に返す。なお、撮像装置１００と表示装置６０２との接続はＵＳＢ以外の方法、例えばＨＤＭＩ、ＬＡＮケーブル、無線ＬＡＮなどであってもよい。その余の構成は実施例１と同様であるので説明を省略する。

図７は、本実施例に係る撮像装置１００において、ステレオ動画像を撮影する処理の流れを示すフローチャートである。

ステップ７０１において、ＣＰＵ１０１は表示装置６０２に対し表示モード情報の送信命令を送り、表示装置情報取得部６０１は当該送信命令に応答して送られてきた表示モードの情報（ＭｏｄｅＤｉｓｐ）を取得する。

ステップ７０２において、ＣＰＵ１０１は、取得した表示モード情報（ＭｏｄeＤｉｓｐ）に応じた撮影モード（ＭｏｄｅＣａｍ）を設定する。例えば、取得した表示モード情報が“パッシブステレオ方式”を示していれば、左眼用動画像と右眼用動画像とが時間的にずれることなく撮影される“同位相モード”に撮影モード（ＭｏｄｅＣａｍ）を設定する。同様に、取得した表示モード情報が“アクティブステレオ方式”を示していれば、左眼用動画像と右眼用動画像とが時間的にずれて撮影される“逆位相モード”に撮影モード（ＭｏｄｅＣａｍ）を設定する。なお、実施例１の場合と同様、ユーザから撮影フレームレートについての指定をステップ７０２に先立って受け付けるようにしてもよいし、予め設定されたデフォルト値を使用するようにしてもよい。

そして、以降のステップ７０３〜ステップ７０９の処理が実行される。ステップ７０３〜ステップ７０９の各処理の内容は、実施例１の図２のフローチャートのステップ２０３〜ステップ２０９に対応する。

以上のとおり、本実施例によっても、表示装置の表示方式に対応した撮影モードでステレオ動画像を撮影することが担保されるので、動き領域の破綻を抑制することができる。

＜実施例３＞
実施例１及び実施例２では、表示装置の表示方式と撮像装置の撮影方式とが一致するように撮像装置側で撮影モードを設定していた。次に、任意の方式で撮影されたステレオ動画像を、表示装置側で表示方式に合うように補間処理して表示する態様について実施例３として説明する。なお、実施例１及び２と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。

最初に本実施例の概略について簡単に説明する。

まず、本実施例では撮像装置において、撮影したステレオ動画像のデータに、撮影モードに関する情報がメタデータとして付加される。表示装置では、このメタデータを解析して撮影モードの情報を取得し、当該動画像データの撮影方式に応じて表示方法を制御する。具体的には、動画像データが撮影された方式と表示装置の表示方式とが一致すればそのまま再生するが、一致しない場合は動画像データに対し所定の補間処理を行ってから再生するようにする。ここで、「一致する」とは、撮影方式と表示方式とが共に時分割方式である場合、或いは撮影方式と表示方式とが共に非時分割方式である場合をいう。一方、「一致しない」とは、撮影方式は時分割方式であるのに対し表示方式は非時分割方式である（或いはその逆）といったように両者が対応関係にない場合をいう。補間処理の種類には、［利き目補間］と［両目補間］の２種類がある。本実施例においてユーザは、補間モードとして、［利き目補間］、［両目補間］及び［補間なし］のうちいずれか一つを選択する。なお、補間処理の種類については上述の２種類に限定されるわけでなく、ユーザの他の視覚特性、例えば視力などを考慮したものでも構わない。

図８は、本実施例に係る撮像装置の構成の一例を示す図である。実施例１との違いは、メタデータ付加部８０１が追加されている点である。

メタデータ付加部８０１は、撮像部１１０及び撮像部１２０によって得られたステレオ動画像のデータに上述のメタデータを付加して動画ファイルを生成する。その余の構成は実施例１と同様であるので説明を省略する。

図９は、本実施例に係る撮像装置１００において、ステレオ動画像の撮影を行う際の処理の流れを示すフローチャートである。

ステップ９０１において、同期信号制御回路１０５は、所定の撮影モードに対応する同期信号１及び２を所定の撮影フレームレートで発生させ、両撮像部１１０及び１２０にそれぞれ出力する。例えば、撮像装置１００が備えている撮影モードが同位相モードの場合には、互いに位相が一致した同期信号１及び２が両撮像部１１０及び１２０にそれぞれ出力される。他方、撮像装置１００が備えている撮影モードが逆位相モードの場合には、互いの位相が１／（２×Ｆ）ずれた逆位相の同期信号１及び２が両撮像部１１０及び１２０にそれぞれ出力される。

続くステップ９０２〜ステップ９０６では、実施例１に係る図２のフローチャートのステップ２０６〜ステップ２０９と同様の処理が実行される。なお、本実施例の場合、ステップ９０４で撮影されたステレオ動画像のデータは、一旦、記憶部１０４にすべて格納される。

ステップ９０７において、メタデータ付加部９０１は、記憶部１０４に格納されたステレオ動画像のデータを読み出し、撮影時の撮影モードの情報（ＭｏｄｅＣａｍ）をメタデータとして付加する。図１０は、ステレオ動画像データにメタデータが付加された動画ファイルのデータ構造を表す図である。図１０に示される例では、メタデータは動画像データのヘッダとして付加されているが、例えばフッタとして付加してもよい。

このようにして、ステレオ動画像データにメタデータが付加された動画ファイルが生成され、外部出力ユニット１０３を介して表示装置へと送られる。

なお、図９のフローチャートでは、撮像装置１００が、撮影モードとして同位相モード又は逆位相モードのいずれか一方のみを備えているものとして説明した。本実施例に係る撮像装置はそのようなタイプのものに限られるわけではなく、同位相モード及び逆位相モードのいずれのモードでも撮影する能力を備え、撮影開始前にユーザにどちらかを選択させる構成であってもよい。その場合には、ステップ９０１に代えて、実施例１の図２のフローチャートにおけるステップ２０１〜ステップ２０５に相当する処理を実行するようにすればよい。但し、本実施例の場合は、表示装置側で撮影方式と表示方式との調整を行うので、ユーザは表示装置側の表示方式の選択に先立ってその表示方式を確認する必要はない。

次に、本実施例に係る表示装置について説明する。

図１１は、本実施例に係る表示装置の構成の一例を示す図である。

表示装置１１００は、ＣＰＵ１１０１、入力取得部１１０２、ビデオ入力部１１０４、補間処理部１１０５、記憶部１１０６、ビデオ出力インタフェース１１０７、表示パネル１１０８を含んでいる。

ＣＰＵ１１０１は、表示装置１１００を統括的に制御するプロセッサである。図示されていないが、ＣＰＵ１１０１で実行される制御プラグラム等を格納するＲＯＭやＣＰＵ１１０１のワークエリア等として機能するＲＡＭも表示装置１１００は備えている。

入力取得部１１０２は、表示装置本体のスイッチ及びリモコンから、補間モード（ＭｏｄｅＭＣ）や利き目情報（Ｅｆｆｅｃｔ）などのユーザの選択を取得する。補間モードには、前述の３種類（補間なし、利き目補間、両目補間）がある。利き目情報には、利き目右であることを示す [Right]と利き目が左であることを示す [Left]の２種類がある。

メタデータ抽出部１１０３は、入力された動画像データからメタデータを抽出してその内容を解析する。

ビデオ入力部１１０４は、例えば撮像装置１００などから上述した動画ファイルをビデオ信号として取得する。

補間処理部１１０５は、入力された動画ファイルに含まれるステレオ動画像データに対し、指定された補間モードに応じた補間処理を行う。

記憶部１１０６は、例えばＨＤＤ等で構成され、撮像装置１００等から受け取った動画ファイルなどを格納する。

ビデオ出力インタフェース１１０７は、ビデオ入力部１１０４又は補間処理部１１０５から受け取ったステレオ動画像のデータを表示パネル１１０８の表示方式に対応したフォーマットに変換して表示パネル１１０８に出力する。図１２は、それぞれの表示方式において動画像データ内のフレーム画像がどのように表示されるのかを説明する図であり、図１２の（ａ）はアクティブステレオ方式の場合、図１２の（ｂ）はパッシブステレオ方式の場合を示している。表示パネル１１０８がアクティブステレオ方式の場合は、図１２の（ａ）に示されるように左眼用動画像と右眼用画像とが交互に順次出力される。一方、表示パネル１１０８がパッシブステレオ方式の場合は、図１２の（ｂ）に示されるように、各サンプリング時刻における左眼用動画像及び右眼用動画像をライン毎に交互に並べた１枚のフレーム画像にしたものが順次出力される。ビデオ出力インタフェース１１０７では、必要に応じて、その表示方式に適したフォーマットにステレオ動画像データを変換する処理を行う。

図１３は、本実施例に係る表示装置１１００において、入力された動画ファイルからメタデータを抽出し、必要に応じて補間処理を行って、表示パネル１１０８に出力するまでの処理の流れを示すフローチャートである。

ステップ１３０１において、ビデオ入力部１１０４は、撮像装置１００から動画ファイルを受け取る。

ステップ１３０２において、入力取得部１１０２は、補間モード（ＭｏｄｅＭＣ）についてのユーザの指定（補間なし、利き目補間、両目補間のいずれか）を取得する。この場合において、ユーザが指定した補間モードが［利き目補間］である場合には、利き目情報（Ｅｆｆｅｃｔ）も併せて取得する。

ステップ１３０３において、メタデータ抽出部１１０３は、取得した動画ファイルからからメタデータを抽出し、メタデータに含まれる撮影モードの情報（ＭｏｄｅＣａｍ）を解析する。

ステップ１３０４において、ＣＰＵ１１０１は、抽出されたメタデータ内の撮影モードの情報を用いて、受け取った動画ファイル内のステレオ動画像の撮影方式と表示装置における表示方式とが一致するかどうかを判定する。例えば、ステレオ動画像が同位相モードで撮影された非時分割方式のデータであったが、表示装置側はアクティブステレオ方式である場合は、方式が一致しないと判定される。また、ステレオ動画像が逆位相モードで撮影された時分割方式のデータであり、表示装置側もアクティブテレオ方式である場合には、方式は一致すると判定される。判定の結果、方式が一致する場合には、ステップ１３０５に進む。一方、方式が一致しない場合には、ステップ１３０６に進む。

ステップ１３０５において、ＣＰＵ１１０１は、ステップ１３０１で取得した動画ファイル内のステレオ動画像のデータをそのまま用いて所定の表示方式で再生する。すなわち、ビデオ出力インタフェース１１０７は、入力された動画像（ＩｍａｇｅＬｅｆｔＩｎ及びＩｍａｇｅＲｉｇｈｔＩｎ）を、そのまま出力用の動画像（ＩｍａｇｅＬｅｆｔＯｕｔ及びＩｍａｇｅＲｉｇｈｔＯｕｔ）として、表示パネル１１０８に順次出力する。

ステップ１３０６において、ＣＰＵ１１０１は、ステップ１３０１で取得した動画ファイル内のステレオ動画像のデータに対しユーザが指定した補間モードに従って補間処理を行った上で、所定の表示方式で再生する。すなわち、補間処理部１１０５は、指定された補間モードに従って、入力された左眼用動画像（ＩｍａｇｅＬｅｆｔＩｎ）及び／又は右眼用動画像（ＩｍａｇｅＲｉｇｈｔＩｎ）に対し補間処理を行う。こうして出力用の動画像（ＩｍａｇｅＬｅｆｔＯｕｔ及びＩｍａｇｅＲｉｇｈｔＯｕｔ）を生成し、表示パネル１１０８に順次出力する。

図１４は、補間処理部１１０５における補間処理の流れを示すフローチャートである。

ステップ１４０１において、補間処理部１１０５は、それぞれ複数のフレーム画像からなる左眼用と右眼用の動画像（ＩｍａｇｅＬｅｆｔＩｎ₁，．．，ＩｍａｇｅＬｅｆｔＩｎ_N及びＩｍａｇｅＲｉｇｈｔＩｎ₁，．．，ＩｍａｇｅＲｉｇｈｔＩｎ_N）を取得する。

ステップ１４０２において、補間処理部１１０５は、ユーザが指定した補間モードの内容が、［補間なし］であるかどうかを判定する。そして、［補間なし］である場合はステップ１４０３に進み、それ以外である場合はステップ１４０４に進む。

ステップ１４０３において、補間処理部１１０５は、入力された左眼用及び右眼用の動画像のデータに対して補間処理を行うことなく、そのまま出力するための処理を行う。すなわち、ＩｍａｇｅＲｉｇｈｔＩｎ［ｉ］（ｉ＝１、．．．、ｎ）をＩｍａｇｅＲｉｇｈｔＯｕｔ［ｉ］（ｉ＝１、．．．、ｎ）に代入する。また、ＩｍａｇｅＬｅｆｔＩｎ［ｉ］（ｉ＝１、．．．、ｎ）をＩｍａｇｅＬｅｆｔＯｕｔ［ｉ］（ｉ＝１、．．．、ｎ）に代入する。

ステップ１４０４において、補間処理部１１０５は、ユーザが指定した補間モードの内容が［利き目補間］であるのか［両目補間］であるのかを判定する。利き目補間である場合はステップ１４０５に進み、両目補間である場合はステップ１４０８に進む。

まず、利き目補間の場合の補間処理（ステップ１４０５〜ステップ１４０７）について説明する。

ステップ１４０５において、補間処理部１１０５は、ステップ１４０１で取得されている利き目情報（Ｅｆｆｅｃｔ）に基づいて、利き目が右であるのか左であるのかを判定する。判定の結果、利き目が右である場合はステップ１４０６に進み、利き目が左である場合はステップ１４０７に進む。

ステップ１４０６において、補間処理部１１０５は、以下の式（１）を用いて、出力用の左眼用動画像（ＩｍａｇｅＬｅｆｔＯｕｔ_N）及び右眼用動画像（ＩｍａｇｅＲｉｇｈｔＯｕｔ_N）を生成する。

ここで、ＭＣは中間画像生成関数であって、第一パラメータのフレーム画像（ＩｍａｇｅＬｅｆｔＩｎ_N）と第二パラメータのフレーム画像（ＩｍａｇｅＬｅｆｔＩｎ_N+1）から両フレーム画像間の動きとなる中間画像を生成するための関数である。第三パラメータであるＰは、０以上１以下の値を持ち、これにより指定された値に対応する時間の中間画像が生成される。例えば、指定されたＰの値が０のとき、生成される中間画像が第一パラメータのフレーム画像（ＩｍａｇｅＬｅｆｔＩｎ_N）となる。同様に、指定されたＰの値が１のとき、出力される中間画像が第２パラメータのフレーム画像（ＩｍａｇｅＬｅｆｔＩｎ_N+1）となる。そして、例えば指定されたＰの値が０．５であれば、第一パラメータのフレーム画像（ＩｍａｇｅＬｅｆｔＩｎ_N）と第二パラメータのフレーム画像（ＩｍａｇｅＬｅｆｔＩｎ_N+1）とのちょうど中間の動きに相当する画像が中間画像として出力される。つまり、Ｐ値を０．５にすることで、位相を半フレーム分ずらすことができる。そして、利き目が右である場合の本ステップにおいては、利き目とは逆側の左眼用動画像のデータに対し補間処理を行う為、上記式（１）のようになり、その場合のＰ値として０．５が指定されることになる。なお、この場合の中間画像の生成には、例えば、動き補償に基づくフレーム間補間法など、公知の手法が適用される。

ステップ１４０７において、補間処理部１１０５は、以下の式（２）を用いて、出力用の左眼用動画像（ＩｍａｇｅＬｅｆｔＯｕｔ_N）及び右眼用動画像（ＩｍａｇｅＲｉｇｈｔＯｕｔ_N）を生成する。

これにより、利き目が左である場合の本ステップでは、利き目とは逆側の右眼用画像のデータに対して補間処理がなされる。

次に、両目補間の場合の補間処理（ステップ１４０８）について説明する。

ステップ１４０８において、補間処理部１１０５は、以下の式（３）を用いて、出力用の左眼用動画像（ＩｍａｇｅＬｅｆｔＯｕｔ_N）及び右眼用動画像（ＩｍａｇｅＲｉｇｈｔＯｕｔ_N）を生成する。

上記式（３）から明らかなように、両目補間の場合には、左眼用動画像と右眼用動画像の双方のデータに対して補間処理がなされる。ここでは、左眼用動画像に対してはＰ値を０．７５、右眼用動画像に対してはＰ値を０．２５にそれぞれ設定している。その結果、生成される中間画像は、時間的により進んだ位置（Ｐ値が１に近い場合）もしくは時間的により遅れた位置（Ｐ値が０に近い）でサンプリングされるため、動き推定の間違いによるブロック状の歪みが目立たなくなる。なお、左眼用動画像と右眼用動画像との間で位相が半フレーム分ずれていればいいので、Ｐ値の組合せとしては、例えば、「０．２と０．７」や「０．３と０．８」などであってもよい。

ステップ１４０９において、補間処理部１１０５は、生成された左眼用動画像及び右眼用動画像のデータ（ＩｍａｇｅＲｉｇｈｔＯｕｔ及びＩｍａｇｅＬｅｆｔＯｕｔ）を、ビデオ出力インタフェース１１０７に出力する。

図１５は、[同位相モード]で撮影したステレオ動画像のデータが補間モードに従って補間処理され、それがアクティブステレオ方式の表示装置で表示される様子を示している。

図１５の（ａ）は、指定された補間モードが［補間なし］であった場合の表示結果を示している。撮像装置では [同位相モード]で撮影されていて右眼用動画像と左眼用動画像との間に位相のずれはなく、それがそのまま出力用のステレオ動画像として出力され、表示装置側で半フレーム分位相がずれて表示されている。つまり、撮影方式と表示方式との不一致が是正されないまま動画像データが再生されるので、図５の（ａ）で示したような動き領域の破綻が生じることになる。

一方、図１５の（ｂ）は、指定された補間モードが［利き目補間］で利き目が右目であった場合（Ｐ値は０．５）の表示結果を示している。この場合、利き目である右眼用には入力された右眼用動画像のデータがそのまま用いられ、利き目でない左眼用には補間処理された左眼用動画像のデータが用いられる。このケースでは、出力された左眼用動画像（ＩｍａｇｅＬｅｆｔＯｕｔ）は、時間方向に半フレーム分ずれた中間画像となっているので、撮影方式と表示方式との不一致が是正されていることになる。よって、視聴した際に動き領域の破綻が軽減される。この場合においても、動き補償補間処理における動き推定の失敗から画像の一部にブロック状の歪みが出る場合があるが、補間処理された動画像は利き目とは反対側の目に表示されるので画質劣化を目立たなくすることが出来る。

図１５の（ｃ）は、指定された補間モードが［両目補間］で、指定されたＰ値が左眼用：０．７５、右眼用：０．２５であった場合の表示結果を示している。この場合、左眼用及び右眼用の双方に補間処理された中間画像からなる動画像が表示されることになる。具体的には、Ｐ値が０．７５の左眼用にはより時間的に進んだ位置の中間画像からなる動画像が、Ｐ値が０．２５の右眼用にはより時間的に遅れた位置の中間画像からなる動画像が表示されることになる。この場合も、撮影方式と表示方式との不一致が是正されることから、動き領域の破綻は軽減される。

なお、[利き目補間]と[両目補間]は一長一短があるので、ユーザは好みに応じて選択すればよい。

このように本実施例によれば、任意の方式で撮影されたステレオ動画像を、表示装置側でその表示方式に合うように補間処理して表示するので、動き領域の破綻を大幅に軽減することが可能となる。さらに、ユーザの利き目ではない方の目に補間処理された動画像を表示し、利き目には撮影時の動画像をそのまま表示することにより、さらに動き領域の破綻を目立ちにくくすることが出来る。

＜実施例４＞
実施例１〜３においては、表示装置で表示されるステレオ動画像の撮影を、撮像部を２つ備えた撮像装置で行うことを前提としていた。しかしながら、撮像装置における撮像部の数は１つであってもよい。図１６は、撮像部が１個の場合の撮像装置の構成の一例を示す図である。なお、実施例１に係る図１と共通する部分については共通の参照符号を付し、その説明を省略する。

図１６に示されるとおり、本実施例に係る撮像装置は、1個の撮像部１６００のみを備える。この撮像部１６００には、レンズマウント径内に2つの光学系を搭載した撮影レンズ１６０１が用いられる。そして、実施例１等と同様に、それぞれ同期信号１及び２に従って取得された撮像素子１１２からの画像信号が、画像処理回路１（１６０３）及び画像処理回路２（１６０４）によって処理される。これにより、１つの撮像素子１１２で視差のある左眼用と右眼用からなるステレオ動画像を撮影することができる。

このように本発明は、上述したような１つの撮像部のみを有する撮像装置や当該撮像装置において撮影されたステレオ動画像に対しても適用可能なものである。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (5)

1. 右眼用動画像と左眼用動画像とで構成されるステレオ動画像を撮影する撮像装置であって、
   前記ステレオ動画像を表示する表示装置における表示方式の情報を入力するユーザインタフェースと、
   前記ユーザインタフェースを介して入力された前記表示方式の情報に基づいて撮像モードを設定する設定手段であって、前記表示方式がパッシブステレオ方式の場合には前記右眼用動画像と前記左眼用動画像との間で位相が一致するように撮影する同位相モードに設定し、前記表示方式がアクティブステレオ方式の場合には前記右眼用動画像と前記左眼用動画像との間で位相が逆になるように撮影する逆位相モードに設定する、設定手段と、
   設定された撮像モードが前記同位相モードの場合には前記右眼用動画像を撮影するための同期信号と前記左眼用動画像を撮影するための同期信号とを同位相で出力し、設定された撮像モードが前記逆位相モードの場合には前記右眼用動画像を撮影するための同期信号と前記左眼用動画像を撮影するための同期信号とを逆位相で出力する、同期信号制御手段と、
   撮影開始命令に応答して、前記右眼用動画像及び前記左眼用動画像を、出力された同期信号にしたがって撮影する撮像手段と、
   を備えたことを特徴とする撮像装置。
2. 前記ユーザインタフェースは、さらに撮影時のフレームレートの情報を入力することができ、
   前記設定手段は、前記ユーザインタフェースを介して入力されたフレームレートを撮影時のフレームレートとして設定し、
   前記撮像手段は、設定されたフレームレートで前記撮影を行なう
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮影開始命令前に取得されたフレーム画像を、プレビュー表示用に出力する手段をさらに備えたことを特徴とする請求項１又は２に記載の撮像装置。
4. 右眼用動画像と左眼用動画像とで構成されるステレオ動画像を撮影する撮像装置における撮像方法であって、
   前記撮像装置は、前記ステレオ動画像を表示する表示装置と、当該表示装置における表示方式の情報を入力するユーザインタフェースとを備え、
   前記ユーザインタフェースを介して入力された前記表示方式の情報に基づいて撮像モードを設定するステップであって、前記表示方式がパッシブステレオ方式の場合には前記右眼用動画像と前記左眼用動画像との間で位相が一致するように撮影する同位相モードに設定し、前記表示方式がアクティブステレオ方式の場合には前記右眼用動画像と前記左眼用動画像との間で位相が逆になるように撮影する逆位相モードに設定する、設定ステップと、
   設定された撮像モードが前記同位相モードの場合には前記右眼用動画像を撮影するための同期信号と前記左眼用動画像を撮影するための同期信号とを同位相で出力し、設定された撮像モードが前記逆位相モードの場合には前記右眼用動画像を撮影するための同期信号と前記左眼用動画像を撮影するための同期信号とを逆位相で出力する、同期信号制御ステップと、
   撮影開始命令に応答して、前記右眼用動画像及び前記左眼用動画像を、出力された同期信号にしたがって撮影する撮像ステップと、
   を含むことを特徴とする撮像方法。
5. コンピュータを、請求項１から３のいずれか１項に記載の撮像装置として機能させるためのプログラム。

Images