JP5891424B2 - 立体映像作成装置および立体映像作成方法 - Google Patents

Description

本発明は、立体映像作成装置および立体映像作成方法に関し、特に、２Ｄ映像から３Ｄ映像を作成する立体映像作成装置および立体映像作成方法に関する。

注目を集めている技術として、３Ｄ（Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎｓ）関連の技術がある。３Ｄ関連の技術の適用範囲は広く、軍用ナビゲーションから、産業用検査、消費者用電子機器などまでにわたる。近年では、多くのテレビメーカーが発売している３Ｄテレビ、および、様々な３Ｄ映画館で上映されている３Ｄ映画など、３Ｄ技術が適用されたアプリケーションや製品が市場に出回っている。さらに、試験的に３Ｄチャンネルの放送を行っているテレビ放送会社もある。このように、３Ｄ関連の技術が適用されることにより、人々は、立体映像（３Ｄ映像）等に接する３Ｄ体験の機会が増えている。

また、１８３８年には３Ｄ関連の技術として立体画像に関する研究が開始されている。人間は、左目と右目との間に視差があることで奥行きの感覚を知覚することができる。したがって、人間にとって適切な視差のある左眼画像と右眼画像を生成し、生成した左眼画像と右眼画像とを人の左目と右目とに別々に送ることができれば、人は臨場感のある立体画像（３Ｄ画像）を楽しむことができる。

そのため、人に好適な３Ｄ体験を提供するために、種々の技術が開発されている。開発されている技術には、３Ｄ画像の撮影技術、３Ｄ映像の撮影技術、後処理技術、パッケージ（３Ｄコンテンツ）、３Ｄコンテンツの配信および３Ｄ表示を含む一連の３Ｄ処理における様々な機能を実現する技術がある。

３Ｄテレビは、近年顕著な発展を遂げているが、ホームユーザが楽しむための利用可能な３Ｄコンテンツが不十分である。この状況は、２つの解決策を用いて緩和することができる。

１つは、新たな３Ｄカメラの開発を進め、多くの３Ｄカメラを市場に提供する方法である。しかし、これを実現するには時間を要する。さらに、新たな３Ｄカメラを購入するなどユーザにも負担を課してしまう。

もう１つは、２Ｄ映像のコンテンツを３Ｄ映像に変換する方法である。例えば、既存の２Ｄ映像のコンテンツを３Ｄ映像のコンテンツに変換する方法、通常のカメラやカムコーダで２Ｄ映像を撮影すると同時に、３Ｄ映像のコンテンツに変換する方法などがある。この方法は、新たな３Ｄカメラの開発等と比べて、コストをかけずに人々に好適な３Ｄ体験を提供することができる点で好ましい。

特許文献１には、複雑性に適応し（計算コストが低く）、かつ、自動的に２Ｄ画像（２Ｄ映像）から３Ｄ画像（３Ｄ映像）に変換する技術が開示されている。特許文献１に開示されている技術では、まず、フレームを平坦画像および非平坦画像に分類する。次に、平坦画像は、直接３Ｄ立体表示形式に変換され、非平坦画像は、予め推定された奥行きマップに基づいて変換される。なお、奥行きマップに基づく立体変換は、より多くの種類に対応することができる。

特許文献２には、２Ｄ画像信号を３Ｄ画像信号に変換し、変換した３Ｄ画像信号を出力する技術が開示されている。特許文献２に開示されている技術では、まず各フレームの動きを分析し、それらのフレームを３種類に分類する。具体的には、（１）水平方向の動きを含み、シーン変化を含まないフレーム、（２）水平方向の動きおよびシーン変化を含まないフレーム、（３）水平方向の動きを含まないフレームの３種類に分類する。次に、水平方向の動きを含み、シーン変化を含まない場合に、対象フレームと次のフレームを直接用いて立体対を構築する。

非特許文献１には、ＳＦＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）に基づく立体変換方法が開示されている。非特許文献１に開示されている技術では、まず、位置、回転および焦点距離等のカメラパラメータを、ＳＦＭアルゴリズムによって推定する。次に、元映像シーケンスから、左眼画像の候補とそれに対応する右眼画像とを、推定したカメラパラメータに基づき選択する。

米国特許出願公開第２００８／０１５０９４５号明細書 国際公開第２０１０／０２４４７９号

Ｇｕｏｆｅｎｇ Ｚｈａｎｇ、Ｗｅｉ Ｈｕａ、Ｘｕｅｙｉｎｇ Ｑｉｎ、Ｔｉｅｎ−Ｔｓｉｎ Ｗｏｎｇ、ａｎｄ Ｈｕｊｕｎ Ｂａｏ、「Ｓｔｅｒｅｏｓｃｏｐｉｃ Ｖｉｄｅｏ Ｓｙｎｔｈｅｓｉｓ ｆｒｏｍ ａ Ｍｏｎｏｃｕｌａｒ Ｖｉｄｅｏ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、１３（４）：６８６−６９６（２００７） 「Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ」における、Ｂｒｕｃｅ Ｄ．ＬｕｃａｓおよびＴａｋｅｏ Ｋａｎａｄｅの「Ａｎ Ｉｔｅｒａｔｉｖｅ Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｗｉｔｈ ａｎ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｓｔｅｒｅｏ Ｖｉｓｉｏｎ（１９８１）」 「Ａｌｖｅｙ ｖｉｓｉｏｎ ｃｏｎｆｅｒｅｎｃｅ」におけるＣ．ＨａｒｒｉｓおよびＭ．Ｓｔｅｐｈｅｎｓの「Ａ ｃｏｍｂｉｎｅｄ ｃｏｒｎｅｒ ａｎｄ ｅｄｇｅ ｄｅｔｅｃｔｏｒ（１９８８）」 Ｒ．Ｈａｒｔｌｅｙ ａｎｄ Ａ．Ｚｉｓｓｅｒｍａｎ、Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ、Ｌｏｎｄｏｎ、２０００

しかしながら、上記従来の技術では、以下に示すような課題がある。

まず、上記特許文献１で開示される技術では、計算が複雑すぎるため質の高い奥行きマップの推定をリアルタイムでは行えない。また、質の低い奥行きマップに基づき、３Ｄ画像（３Ｄ映像）に変換する場合には、人が快適に感じる３Ｄ画像への変換という要件を満たさない。

次に、特許文献２で開示される技術では、快適な３Ｄの条件には不十分であるという課題がある。具体的には、水平方向の動きのみを含むフレームは、実際の映像ではあまり発生しない。そのため、上記特許文献２で開示される技術では、多くの場合、推定された奥行きマップに基づいて２Ｄ映像を３Ｄ映像に変換することになる。奥行きマップの推定は、水平境界に基づいて推定するためノイズによって影響されやすい。また、質の高い奥行きマップを推定するには、時間を要する。

最後に、非特許文献１で開示される技術では、立体変換の性能はＳＦＭの精度に依存するという課題がある。高精度のＳＦＭは、時間のかかる処理であり、リアルタイムでの適用は難しい。さらに、オンラインでの変換に、オフラインのＳＦＭを用いることが記載されているが、実現性は低い。

本発明は、上述の事情を鑑みてなされたもので、２Ｄ映像から適切かつ快適な３Ｄ映像を作成する立体映像作成装置および立体映像作成方法を提供することを目的とする。

上記目的を達成するために、本発明の一形態に係る立体映像作成装置は、２Ｄ映像から３Ｄ映像を作成する立体映像作成装置であって、２Ｄ映像を受信する受信部と、前記２Ｄ映像を構成する複数のフレームから、対象フレームと共通する画像の領域である共通領域が占める領域の大きさが予め定めた値以上である複数のフレームを、当該対象フレームとともに立体画像を構成するフレームの候補である立体パートナーフレーム候補として選択する選択部と、前記立体パートナーフレーム候補から、所定の基準に基づいて、当該対象フレームとともに立体画像を構成するフレームである立体パートナーフレームを決定する決定部と、前記対象フレームと、前記立体パートナーフレームとを用いて、前記対象フレームに対応する立体画像を構成する立体対を生成する立体対生成部と、前記対象フレームと前記選択部により選択された前記立体パートナーフレーム候補とから、前記立体パートナーフレーム候補をワープさせるための変換行列を生成し、前記立体対に、生成した前記変換行列を適用することにより、前記立体対を変換する変換部とを備える。

この構成によれば、計算コストの高いＳＦＭによる推定を行わず立体映像を生成することができる。また、本発明の立体映像作成装置は、時間のかかる奥行きマップの推定を行わず立体映像を生成することができる。

それにより、２Ｄ映像から適切かつ快適な３Ｄ映像を作成する立体映像作成装置実現することができる。

なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、プログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。

本発明によれば、２Ｄ映像から適切かつ快適な３Ｄ映像を作成する立体映像作成装置および立体映像作成方法を実現することができる。

図１は、本発明の実施の形態１における立体映像作成装置の構成を示すブロック図である。 図２は、本発明の実施の形態１における安定化部の詳細構成を示すブロック図である。 図３は、本発明の実施の形態１における立体映像作成部の詳細構成を示すブロック図である。 図４は、本発明の実施の形態１における立体映像変換部の処理を示すフローチャートである。 図５は、本発明の実施の形態１における安定化部の処理を示すフローチャートである。 図６は、本発明の実施の形態１における手持ち式のビデオカメラが撮影対象とするシーン例を示す図である。 図７は、本発明の実施の形態１における手持ち式のビデオカメラで撮影した安定化前の２Ｄ映像を示す図である。 図８は、本発明の実施の形態１における手持ち式のビデオカメラで撮影した安定化後の２Ｄ映像を示す図である。 図９は、本発明の実施の形態１における対象フレームとそれに対応する立体パートナーフレーム候補の共通領域を示す図である。 図１０は、本発明の実施の形態１における決定部の処理を示すフローチャートである。 図１１は、本発明の実施の形態１における変換行列を生成する処理を説明するためのフローチャートである。 図１２Ａは、本発明の実施の形態１における用語の概念を説明するための図である。 図１２Ｂは、本発明の実施の形態１における用語の概念を説明するための図である。 図１３は、本発明の実施の形態１におけるビデオカメラで撮影した安定化後の２Ｄ映像を立体変換した３Ｄ映像を示す図である。 図１４は、本発明に係る立体映像作成装置の最小構成を示すブロック図である。 図１５は、図１４に示す立体映像作成装置の動作を示すフローチャートである。 図１６は、本発明の実施の形態２における立体映像作成装置の構成を示すブロック図である。 図１７は、本発明の実施の形態３に係る画像装置の構成を示すブロック図である。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は、本発明の実施の形態１における立体映像作成装置の構成を示すブロック図である。図２は、本発明の実施の形態１における安定化部の詳細構成を示すブロック図である。図３は、本発明の実施の形態１における立体映像作成部の詳細構成を示すブロック図である。

図１に示す立体映像作成装置１００は、２Ｄ映像から３Ｄ映像を作成し、作成した３Ｄ映像を出力する。出力された３Ｄ映像は、外部にある表示部１１２で表示されるまたは外部にある記憶／送信装置１１４に記憶される。この立体映像作成装置１００は、受信部１０１と、立体映像変換部１０６と、映像出力部１０８と、内部バッファ１１０とを備える。

受信部１０１は、２Ｄ映像を受信する。受信部１０１は、例えば図１に示すように記憶媒体リーダ１０２と、ビデオデコーダ１０４とで構成される。記憶媒体リーダ１０２は、２Ｄ映像を構成する複数のフレーム（画像データ）を蓄積している。ビデオデコーダ１０４は、記憶媒体リーダ１０２から画像データＳ１１を取得して、立体映像変換部１０６に出力する。ビデオデコーダ１０４は、画像デ―タＳ１１が符号化されている場合、必要に応じて画像デ―タＳ１１を復号した２Ｄ映像データＳ１３を立体映像変換部１０６に出力する。

立体映像変換部１０６は、安定化部１１６と、立体映像作成部１１８とで構成されている。立体映像変換部１０６は、安定化部１１６と立体映像作成部１１８とを用いて２Ｄ映像データＳ１３を安定化し、その後３Ｄ映像（立体映像）に変換する。

安定化部１１６は、２Ｄ映像（２Ｄ映像データＳ１３）を構成する複数のフレームから、当該複数のフレーム間のゆれを補正することで、当該複数のフレームを安定化させる。ここで、複数のフレーム間のゆれ（揺れ）とは、例えば２Ｄ映像を撮像時の手振れによる映像の揺れである。また、安定化させるとは、例えば揺れのない映像に補正することである。

安定化部１１６は、図２に示すように、検出部１２１と算出部１２２とで構成されている。安定化部１１６は、所定フレームと、所定フレームと時間的に近いフレームである複数の近隣フレームとの間で対応するフレーム上の特徴的な点である特徴点に基づいて算出した射影変換行列を用いることにより、当該複数のフレーム間のゆれを補正する。

具体的には、検出部１２１は、所定フレームと、その所定フレームに近いフレームである近隣フレームとの間で対応する特徴的な点である複数の特徴点を検出する。

算出部１２２は、所定フレームの複数の特徴点と、対応する近隣フレームの重みづけされた複数の特徴点とが同じ座標値を有するように、所定フレームをワープ（変形）させる射影変換行列を安定化行列として算出する。例えば、算出部１２２は、複数の近隣フレームの重みを、重み関数を用いて算出する。算出部１２２は、対応する近隣フレームが所定フレームに時間的に最も近いフレームである場合、重み関数を用いて１により近い値の重みを算出する。一方、対応する近隣フレームが、所定フレームから時間的に遠いフレームである場合、重み関数を用いて１より小さい値の重みを算出する。

このように、安定化部１１６は、算出した射影変換行列を所定フレームに適用し、すべてのフレームに対しても同様に処理することで、２Ｄ映像データを構成する複数のフレームを安定化させる。

立体映像作成部１１８は、図３に示すように、選択部１２３と、決定部１２４と、立体対生成部１２５と、変換部１２６とで構成され、安定化された２Ｄ映像データＳ１３から、３Ｄ映像を作成する。

選択部１２３は、２Ｄ映像を構成する複数のフレームから、対象フレームと共通する画像の領域である共通領域が占める領域の大きさが予め定めた値以上である複数のフレームを、対象フレームとともに立体画像を構成するフレームの候補である立体パートナーフレーム候補として選択する。

例えば、選択部１２３は、立体パートナーフレーム候補として、２Ｄ映像を構成する複数のフレームから、対象フレームと同一シーンに撮影された複数のフレームを選択する。具体的には、選択部１２３は、対象フレームに占める共通領域の大きさの割合と立体パートナーフレーム候補に占める共通領域の大きさの割合とがそれぞれ予め定めた値（例えば０．９）以上の場合に、立体パートナーフレーム候補が対象フレームと同一シーンに撮影されたフレームであると判断する。ここで、共通領域は、対象フレームと立体パートナーフレーム候補との間で対応するフレーム上の特徴的な点である特徴点に基づき算出される。また、選択部１２３は、例えば２Ｄ映像を構成する複数のフレームにおいて、対象フレームと時間的に近いフレームである近隣フレームを、立体パートナーフレーム候補として、選択するとしてもよい。

決定部１２４は、立体パートナーフレーム候補から、第１基準に基づいて、対象フレームとともに立体画像を構成するフレームである立体パートナーフレームを決定する。換言すると、決定部１２４は、画像処理を施すことによって検出可能なフレーム上の特徴的な点である特徴点を用いて、第１基準を満たすか否かを判定することで、立体パートナーフレームを決定する。

立体対生成部１２５は、対象フレームと、立体パートナーフレームとを用いて、対象フレームに対応する立体画像を構成する立体対を生成する。

なお、第１基準とは、垂直方向差基準と、水平視差基準と、円滑化基準と、歪低減基準とで構成される基準である。具体的には、垂直方向差基準では、対象フレームの共通領域と垂直方向の位置の差がゼロに略等しいフレームを立体パートナーフレームとする旨が規定されている。水平視差基準では、対象フレームの共通領域と水平方向の位置の差（視差）が所定の範囲に含まれるフレームを立体パートナーフレームとする旨が規定されている。また、円滑化基準では、時間的に連続する立体対間において、共通領域の変位が滑らかとなるフレームを立体パートナーフレームとする旨が規定されている。歪低減基準では、共通領域が占める領域の大きさが対象フレームとともに予め定めた値以上であるフレームを立体パートナーフレームとする旨が規定されている。

変換部１２６は、対象フレームと選択部１２３により選択された立体パートナーフレーム候補とから、立体パートナーフレーム候補をワープさせるための変換行列を生成し、立体対に、生成した変換行列を適用することにより、生成した立体対を変換する。

ここで、変換部１２６は、フレーム上の特徴的な点である特徴点であって、対象フレームと立体パートナーフレームとの間で対応する特徴点に基づいて、その変換行列を生成する。具体的には、変換部１２６は、その変換行列を、算出した射影変換行列と斜傾変換行列と並進変換行列とを組み合わせて生成する。より具体的には、まず、変換部１２６は、対象フレームと立体パートナーフレーム候補との間で基本行列を算出する。次に、変換部１２６は、射影変換行列を、立体対における対象フレームと立体パートナーフレーム候補との間の垂直方向差を最小化するように、基本行列に基づいて算出する。次に、変換部１２６は、斜傾変換行列を、射影変換行列により変換される立体パートナーフレームにおける共通領域を変換前と同じ直交性とアスペクト比とを維持させるよう算出する。次に、変換部１２６は、並進変換行列を、対象フレームと、射影変換行列および斜傾変換行列が適用された立体パートナーフレームとの間の視差が、対象フレームより以前の対象フレームと立体パートナーフレームとの間の視差と同じになるように算出する。

内部バッファ１１０は、本発明の記憶部に相当し、変換部１２６により変換された立体対を記憶する。具体的には、内部バッファは、映像出力部１０８に出力される前のデータである中間データとして、立体映像作成部１１８で生成された立体対を記憶する。換言すると、立体映像変換部１０６は、生成した立体対データＳ１５を、内部バッファ１１０を介して、映像出力部１０８に送信する。

映像出力部１０８は、本発明の出力部に相当し、内部バッファ１１０に記憶された当該変換された立体対を出力する。また、映像出力部１０８は、２Ｄ映像を構成する複数のフレームそれぞれに対応する立体対であって、変換部１２６により変換された立体対を出力する。

また、映像出力部１０８は、入力された立体対データＳ１５を好ましい出力形式に応じた出力映像形式（立体対データＳ１７）に調整して、表示部１１２に出力する。具体的には、映像出力部１０８は、表示部１１２に表示させるために、表示部１１２の表示形式に合致するように出力映像形式を調整する。例えば、出力映像形式としては、例えば眼鏡を使用せずに見る裸眼立体装置のための形式があるがそれに限られない。例えば、眼鏡を使用して見る、グレー／カラーアナグリフでもよいし、インターレース形式でもよい。また、チェッカーボード形式でもよいし、アクティブシャッターメガネを用いて見るフレームシーケンシャル型立体表示装置のための他の形式としてもよい。

なお、映像出力部１０８は、立体対データＳ１７を、記憶／送信装置１１４を用いて記憶／送信するとしてよい。

記憶／送信装置１１４は、例えば、フラッシュベースのメモリカード、ハードドライブ、または光学ドライブであるが、これらに限定されない。例えば、記憶／送信装置１１４は、ＨＤＭＩインターフェース、ＵＳＢインターフェース、ワイヤレスインターフェースまたはｄｉｒｅｃｔ−ｔｏ−ｐｒｉｎｔｅｒインターフェースでもよいが、これらに限定されない。なお、記憶／送信装置１１４は、任意に可逆または不可逆圧縮して、記憶／送信するとしてもよい。

以上のように、立体映像作成装置１００は構成される。

なお、立体映像作成装置１００（または立体映像作成装置を構成する立体映像変換部１０６等）は、通常、ＩＣ（集積回路）、ＡＳＩＣ（特定用途集積回路）、またはＬＳＩ（大規模集積回路）で実現されるが、複数チップで構成されてもよいし、１チップで構成されてもよい。なお、立体映像作成装置１００または立体映像変換部１０６等はそれぞれ、ＬＳＩの形で実現されることに限られない。集積度に応じて、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、またはウルトラＬＳＩとも呼ばれるもので実現されるとしてもよい。

また、立体映像作成装置１００等は、専用回路または汎用プロセッサなどを用いて集積化されて実現されるとしてもよい。専用回路としては、例えばプログラム命令により制御することができるＤＳＰ（デジタルシグナルプロセッサ）など、特化したマイクロプロセッサがある。

また、立体映像作成装置１００等は、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（フィールド・プログラマブル・ゲートアレイ）、または、ＬＳＩの接続もしくは構成を再構成可能なプロセッサを用いるとしてもよい。将来的には、製造および処理技術が向上し、全く新しい技術がＬＳＩに取って代わる場合には、その技術により、集積化を行うことで実現されるとしてもよい。

また、立体映像作成装置１００は、時系列に画像（映像）を表示する液晶表示装置、プラズマ表示装置、レンチキュラーレンズ層が付加された表示装置、または、他の種類の表示装置等の立体画像を表示可能な表示装置に組み込まれるとしてもよい。

また、立体映像作成装置１００は、デジタルビデオディスクプレーヤ、ブルーレイディスクプレーヤ、および他の種類のデジタルメディアプレーヤなどのデジタルメディアプレーヤ装置に実装されるとしてもよい。他の種類の装置に実装されるとしてもよい。上記いずれの場合も本願の範囲を限定するものではない。

図４は、本発明の実施の形態１による立体映像変換部１０６の動作を示すフローチャートである。

まず、Ｓ１０２において、立体映像変換部１０６に２Ｄ映像が入力される。具体的には、立体映像変換部１０６は、受信部１０１から２Ｄ映像データＳ１３が入力される。

次に、Ｓ１０４において、立体映像変換部１０６は、隣接するフレーム間で対応する特徴点を検出する。

ここで、対応する特徴点の検出（登録／追跡）には、先行技術に開示された方法を用いる。なお、特徴を追跡する既知の方法は、例えば非特許文献２に開示されている。また、特徴を登録する既知の方法は、例えば非特許文献３に開示されている。なお、特徴点の検出（登録／追跡）の方法は上記非特許文献２および非特許文献３に開示される方法に限らない。

次に、Ｓ１０６において、立体映像変換部１０６は、２Ｄ映像を安定化する。具体的には、立体映像変換部１０６は、所定フレームに対する安定化変換を、対象（参照）フレームと複数の近隣フレームとの間で対応する特徴点に基づき算出される行列を用いて行う。より詳細には、所定フレームと、所定フレームと時間的に近いフレームである複数の近隣フレームとの間で対応するフレーム上の特徴的な点である特徴点に基づいて算出する射影変換行列を用いることにより、当該複数のフレーム間のゆれを補正する。それにより、立体映像変換部１０６は、２Ｄ映像を安定化することができる。

次に、Ｓ１０８において、立体映像変換部１０６は、対象フレームに対応する立体パートナーフレーム候補を選択する。具体的には、立体映像変換部１０６は、２Ｄ映像を構成する複数のフレームから、対象フレームと共通する領域である共通領域を有し、かつ、当該共通領域が占める領域の大きさが予め定めた値（例えば０．９）以上である複数のフレームを、対象フレームとともに立体画像を構成するフレームの候補である立体パートナーフレーム候補として選択する。例えば、立体映像変換部１０６は、対象フレームと同じシーンを含むフレームを、２Ｄ映像を構成する複数のフレームから選択する。

次に、Ｓ１１０において、立体映像変換部１０６は、対象フレームに対応する立体パートナーフレームを決定する。具体的には、立体映像変換部１０６は、立体パートナーフレーム候補から、第１基準に基づいて、対象フレームとともに立体画像を構成するフレームである立体パートナーフレームを決定する。

ここで、第１基準は、上述したとおりであるが、次の基準ａ）〜基準ｄ）を含む。すなわち、立体対を形成する立体パートナーフレームと対象フレームとについて、基準ａ）垂直方向差がほぼゼロである（垂直方向差基準）、基準ｂ）は十分かつ適切な水平視差を有する（水平視差基準）、基準ｃ）隣接する立体対との対応点の視差が類似している（円滑化基準）、かつ基準ｄ）歪みが最小限である（歪低減基準）。

次に、Ｓ１１２において、立体映像変換部１０６は、立体対を生成する。具体的には、立体映像変換部１０６は、対象フレームと、立体パートナーフレームとを用いて、対象フレームに対応する立体画像を構成する立体対を生成する。つまり、立体映像変換部１０６は、安定化された対象フレームと、第１基準に基づき決定された立体パートナーフレームとを用いて、立体対を生成する。

次に、Ｓ１１４において、立体映像変換部１０６は、生成した立体対（対象立体対）を、保存または表示する。例えば、立体映像変換部１０６は、生成した対象立体対を、内部バッファ１１０に保存する。

次に、Ｓ１１５において、立体映像変換部１０６は、生成した対象立体対の対象フレームが、２Ｄ映像を構成する複数のフレームのうちで最後のフレームであるか否かを確認する。

Ｓ１１５において、立体映像変換部１０６は、生成した対象立体対の対象フレームが、最後のフレームでないと確認した場合には（Ｓ１１５でｎｏ）、Ｓ１０６に戻る。

一方、立体映像変換部１０６は、生成した対象立体対の対象フレームが、最後のフレームであると確認した場合には（Ｓ１１５でｙｅｓ）、Ｓ１１６に進む。

最後に、Ｓ１１６では、立体映像変換部１０６で生成された立体対で構成される立体映像（３Ｄ映像）を出力する。

以上のようにして、立体映像変換部１０６は、２Ｄ映像を３Ｄ映像に変換する。

次に、本願の特徴的な処理であるＳ１０６、Ｓ１０８およびＳ１１０について詳細に説明する。

まず、Ｓ１０６について詳細に説明する。

例えば、立体映像変換部１０６に入力される２Ｄ映像がカメラ等で撮影される場合、解決すべき課題の１つは、手振れまたは他の理由により起こるカメラの動きである。すなわち、手振れ等で動いたカメラで２Ｄ映像を撮影すると、２Ｄ映像が揺れ等を包含する不安定な映像となる。そのため、不安定な２Ｄ映像から３Ｄ映像を作成しても、作成して得られた３Ｄ映像は、不安定な３Ｄ映像となる。不安定な３Ｄ映像は、人が視聴する場合には、不健全かつ不快に感じてしまう。

そこで、手振れまたは他の理由によるフレーム間のゆれを補正することで、不安定な２Ｄ映像を安定化する。以下、安定化部１１６が行う安定化処理（Ｓ１０６）の詳細について説明する。

図５は、本発明の実施の形態１における安定化部１１６の処理を示すフローチャートである。

まず、Ｓ２０１において、安定化部１１６は、２Ｄ映像が入力される。具体的には、安定化部１１６は、受信部１０１から２Ｄ映像データＳ１３が入力される。

次に、Ｓ２０２において、安定化部１１６は、２Ｄ映像（２Ｄ映像データＳ１３）を構成する複数のフレームにおいて、隣接するフレーム間で対応する特徴点を検出（追跡）する。具体的には、検出部１２１は、２Ｄ映像を構成する複数のフレームにおいて、所定フレームと、所定フレームに近いフレームである近隣フレームとの間で対応する特徴的な点である複数の特徴点を検出する。

次に、Ｓ２０４において、安定化部１１６は、所定フレームおよび複数の近隣フレーム間で対応する特徴点に基づき、所定フレームをワープさせる安定化行列を算出する。

具体的には、算出部１２２は、所定フレームの複数の特徴点と、対応する近隣フレームの重みづけされた複数の特徴点とが同じ座標値を有するように、所定フレームをワープさせる安定化行列である射影変換行列を算出する。

より具体的には、Ｓ２０４において、安定化行列Ｓ_ｍは、所定フレームとしてｍ番目のフレームＩ_ｍに対して、対応する複数の近隣フレームＮ_ｍ＝｛Ｉ_ｍ−ｋ、・・・、Ｉ_ｍ−１、Ｉ_ｍ、Ｉ_ｍ＋１、・・・、Ｉ_ｍ＋ｋ｝の特徴点を滑らかに変更する行列となるように算出される。安定化行列Ｓ_ｍは、式１の目的関数を最小化する行列として算出される。

ここで、Ｓは３×３射影変換行列であり、Ｓ_ｍは、推定された３×３安定化行列である。Ｐ_ｊは、ｊ番目のフレームのすべての特徴点（Ｋ個）を含む３×Ｋ行列である。これら行列の各列は、特徴点の３次元同次座標である。ｗ_ｊは、ｊ番目のフレームでの特徴点の重みである。ｊ番目のフレームがｍ番目の対象フレームから遠い場合、重みは小さくなる。ｊ番目のフレームがｍ番目のフレーム（所定フレーム）に近い場合、重みは大きくなる。重みは、式２に示すガウス関数により算出される。

ここで、σは分散のガウス関数である。

次に、Ｓ２０６において、安定化部１１６は、算出した安定化行列を所定フレームに適用する。具体的には、安定化部１１６は、算出した射影変換行列を所定フレームに適用することで、当該所定フレーム間のゆれを補正する。このようにして、当該複数のフレーム安定化させることができる。

次に、Ｓ２０８において、安定化部１１６は、安定化行列を適用した所定フレームが、２Ｄ映像を構成する複数のフレームのうちで最後のフレームであるか否かを確認する。

Ｓ２０８において、安定化部１１６は、安定化行列を適用した所定フレームが最後のフレームでないと確認した場合には（Ｓ２０８でｎｏ）、Ｓ２０４に戻る。一方、安定化部１１６は、安定化行列を適用した所定フレームが最後のフレームであると確認した場合には（Ｓ２０８でｙｅｓ）、Ｓ２１０に進む。

最後に、Ｓ２１０において、安定化部１１６は、安定化した２Ｄ映像を出力する。

ここで、安定化部１１６の効果について図６〜図８を用いて説明する。

図６は、本発明の実施の形態１における手持ち式のビデオカメラが撮影対象とするシーン（景色）の例を示す図である。図７は、手持ち式のビデオカメラで撮影した安定化前の２Ｄ映像を示す図である。図８は、手持ち式のビデオカメラで撮影した安定化後の２Ｄ映像を示す図である。

より具体的には、図７では、手持ち式で単眼式のビデオカメラ５４２を使用してシーン５０２を撮影した様子を示している。ユーザは、ビデオカメラ５４２を、同じ高さで水平方向に一定速度にずらしながらシーン５０２を２Ｄ映像で撮影する。しかし、ユーザはビデオカメラ５４２を手で持って、シーン５０２を撮影しているので、軌道５６２は手振れにより上下方向の揺らぎが生じる。換言すると、ユーザは、手振れにより上下に変動しているビデオカメラ５４２の軌道５６２に沿ってシーン５０２を２Ｄ映像で撮影している。つまり、ビデオカメラ５４２は、例えば図７に示すビデオサンプルポイント５２２に対応するビデオフレーム５８２（２Ｄ映像）すなわち上下方向の揺らぎがある不安定な２Ｄ映像を撮影することになる。そのため、上述したように、この２Ｄ映像から３Ｄ映像を作成する場合には、この揺らぎは、３Ｄ映像の安定性に影響する。

ここで、ビデオサンプルポイント５２２は、ビデオカメラ５４２の軌道５６２のビデオサンプルポイントの１つであり、ビデオフレーム５８２は、ビデオサンプルポイント５２２に対応するビデオフレームである。

一方、図８では、手持ち式で単眼式のビデオカメラ５４２を使用してシーン５０２を撮影し、撮影した２Ｄ映像を安定化した様子を示している。ここでは、軌道５６２の上下の変動を仮想的に安定化させた仮想軌道５６６に沿って、仮想ビデオカメラ５４４がシーン５０２を撮影することで、安定化された２Ｄ映像を生成する様子を示している。ここで、仮想ビデオサンプルポイント５２４に対応する仮想ビデオフレーム５８４を示している。図７からわかるように、安定化を行った後、手振れによる揺らぎが大幅に軽減されている。また、ビデオカメラ５４２の仮想軌道５６６に示されているように、軌道５６２はより滑らかに安定化され、ビデオサンプルポイントはより均一になっている。つまり、安定化された２Ｄ映像は、揺らぎが大幅に少なくなる。それにより、安定化された２Ｄ映像から得られた３Ｄ映像は、人が視聴する場合には健全かつ快適に感じるため、好適であるのがわかる。

次に、Ｓ１０８について詳細に説明する。

Ｓ１０８において、立体映像変換部１０６は、２Ｄ映像を構成する複数のフレームから、対象フレームと共通する領域である共通領域を有し、かつ、当該共通領域が占める領域の大きさが予め定めた値以上である複数のフレームを、立体パートナーフレーム候補として選択する。

例えば、立体映像変換部１０６は、共通領域のサイズと、対象フレームのサイズとの比に基づいて立体パートナーフレーム候補を選択する。より詳細には、ｍ番目のフレーム（対象フレーム）と、ｎ番目のフレームとの比ｒ_ｍｎが、ｒａｔｉｏ＿ｉｎｆｉｍｕｍと呼ばれる所定の値よりも大きい場合、ｎ番目のフレームが立体パートナーフレーム候補の１つとして選択される。

Ｃ（ｍ）は立体パートナーフレーム候補のすべての指標を含む。

ここで、共通領域についての詳細を、図を用いて説明する。

図９は、本発明の実施の形態１における対象フレームとそれに対応する立体パートナーフレーム候補の共通領域を示す図である。図９（ａ）は、対象フレーム６０２を示しており、図９（ｂ）は、立体パートナーフレーム候補６０４を示している。また、矩形６０６と矩形６０８とは、両フレームに共通する領域である共通領域の外形を示している。なお、共通領域は、対象フレーム６０２とそれに対応する立体パートナーフレーム候補６０４で構成される立体対の視域となる。

続いて、この共通領域を算出する方法の一つについて説明する。

まず、ｍ番目のフレーム（対象フレーム画像）における複数の特徴点の重心を算出する。

次に、ｎ番目のフレーム（フレーム画像）において、対象フレーム画像に対応する複数の特徴点（共通領域）の重心を算出する。なお、対象フレーム画像とｎ番目のフレーム画像の重心は同時に算出されるとしてもよい。

次に、対象フレーム画像の重心とｎ番目のフレーム画像の共通領域の重心の差を求める。

その結果、対象フレーム画像とｎ番目のフレーム画像との共通領域の垂直方向の位置の差分として、図９（ａ）に示す垂直差６３６が得られる。また、対象フレーム画像とｎ番目のフレーム画像の水平方向の差分として、図９（ａ）に示す水平差６３８が得られる。

以上から、共通領域の大きさは、元のフレームサイズ（対象フレームのサイズ）および対象フレーム画像とｎ番目のフレーム画像とで対応する特徴点の重心の差から導き出せる。

なお、この方法では、正確な共通領域を導き出せない可能性がある。すなわち、算出された共通領域と、実際の共通領域との間に差が生じる可能性がある。しかし、本発明に用いる場合は、この方法で十分である。

最後に、Ｓ１１０について詳細に説明する。

図１０は、本発明の実施の形態１における決定部１２４の処理を示すフローチャートである。

立体映像変換部１０６は、立体パートナーフレーム候補の組Ｃ（ｍ）を決定した後、Ｓ１１０において、以下に示す基準ａ）〜基準ｄ）を含む第１基準に基づき対象フレームに対する立体パートナーフレームを選択する。なお、以下に示す基準ａ）〜基準ｄ）は、上述した基準ａ）〜基準ｄ）を換言したものに相当する。

ａ）対象フレームと立体パートナーフレームとにおける共通領域のｙ方向差がほぼゼロである（垂直方向差基準）。ここで、ｙ方向は両眼視差方向の直交方向に相当する。

ｂ）対象フレームと立体パートナーフレームとにおける共通領域のｘ方向差（視差）が、３Ｄ効果を得るのに十分であり、かつ快適な３Ｄ映像となるよう所定の範囲にある（水平視差基準）。ここで、ｘ方向は両眼視差方向に相当する。

ｃ）隣接する立体対間の対応点（共通領域）の視差が滑らかに変更される（円滑化基準）。

ｄ）共通領域に基づいて立体対の歪みが最小限となるようにワープする（歪低減基準）。ここで、本発明では、従来の透視変換によって歪みが発生するからである。

具体的には、まず、Ｓ３０２において、決定部１２４は、対象フレームとその立体パートナーフレーム候補との間で対応する特徴点に基づき、上記ａ）の垂直方向差を満たさない立体パートナーフレーム候補を除外する。決定部１２４は、垂直方向差の評価に分散を用いる。すなわち、決定部１２４は、対象フレームと立体パートナーフレーム候補と間の垂直差の分散を算出する。算出した垂直差の分散が大きすぎる場合、その立体パートナーフレーム候補は候補の組から除外する。

次に、Ｓ３０４において、決定部１２４は、対象フレームとＳ３０２で除外されなかった立体パートナーフレーム候補との間で対応する特徴点に基づき、上記ｂ）の水平視差を満たさない立体パートナーフレーム候補を除外する。決定部１２４は、水平視差の評価に分散を用いる。すなわち、決定部１２４は、対象フレームと立体フレーム候補と間の水平視差の分散を算出し、算出した分散に基づいて上記ｂ）の水平視差を満たさない立体パートナーフレーム候補を除外する。水平視差が大きすぎると、その後作成される３Ｄ映像は不快なものとなり、反対に、水平視差が小さすぎると、その後作成される３Ｄ映像の３Ｄ効果は低くなるからである。

なお、Ｓ３０２およびＳ３０４を、一括で処理するとしてもよい。いずれにせよ、決定部１２４は、フィルタリングされた（所定の範囲に含まれる）立体パートナーフレーム候補を、式４を用いて決定する。

ここで、決定部１２４は、水平視差の分散と垂直差の分散とを、それぞれ式５および式６を用いて算出する。

式５および式６において、ｄ_ｉ ^ｍｎ＝ｐ_ｉ ^ｍ−ｐ_ｉ ^ｎは、ｍ番目のフレームとｎ番目のフレームとにおいて対応する２点間の差分を示す差分ベクトルである。ここで、ｐ_ｉ ^ｍは、ｍ番目のフレームにおけるｉ番目の点である。

また、

は、すべて（Ｎ点）の平均を示しており、式７により算出することができる。

式７において、［ｄ］_ｘは、ベクトルｄの第１の成分を示し、［ｄ］_ｙは、ベクトルｄの第２の成分を示す。

次に、Ｓ３０６において、決定部１２４は、残存する立体パートナーフレーム候補から、上記ｃ）に示す円滑化基準に基づき、立体パートナーフレームを決定する。決定部１２４は、円滑化基準の評価に分散を用いる。すなわち、決定部１２４は、隣接する２つの立体対間の対応点における水平視差の分散を算出する。そして、決定部１２４は、円滑化基準に基づきすなわち式８を用いて、立体パートナーフレームを決定する。

式８において、ｉｄｘ（ｍ）は、立体パートナーフレームの指標を示す。

なお、Ｓ１０８において、選択された立体パートナーフレーム候補から、ｄ）の歪低減基準を用いず、ａ）〜ｃ）の第１基準に基づいて、立体パートナーフレームを決定するとしてもよい。

しかし、通常、Ｓ１０８において、選択された立体パートナーフレーム候補は、そのままでは対象フレームに対応する好適な立体パートナーフレームとして用いることはできない。選択された立体パートナーフレーム候補は、通常、歪みを有しているからである。つまり、選択された立体パートナーフレーム候補を立体パートナーフレームとして用いると、最終の３Ｄ映像に影響し、快適な３Ｄ効果を達成することができない。

それに対して、Ｓ３０２〜Ｓ３０６では、上記のｄ）に示す歪低減基準に基づき、斜傾変換行列を用いて歪みを低減したもので判断するのが好ましい。すなわち、（式５）、（式６）において、差分ベクトルを（式９）を用いて算出するのが好ましい。

式９において、行列Ｈ^ｎ _ｍは、ｍ番目のフレームとｎ番目のフレームとの対応点に基づき算出される射影変換行列である。行列Ｗ_ｍは、共通領域に基づき算出される斜傾変換行列である。

なお、上記では、Ｓ３０２〜Ｓ３０６において、ｄ）の歪低減基準に基づき、斜傾変換行列を用いて歪みを低減したもので判断するのが好ましいとしたが、それに限らない。射影変換行列と斜傾変換行列と並進変換行列とを組み合わせて生成した変換行列を用いて歪みを低減したもので判断するとしてもよい。以下、図１１を用いて、変換行列を生成する処理について説明する。

図１１は、本発明の実施の形態１における変換行列を生成する処理を説明するためのフローチャートである。具体的には、変換行列は、変換部１２６により、対象フレームと対応する立体フレーム候補とに基づき生成される。決定部１２４は、生成された変換行列を用いて、立体パートナーフレーム候補から立体パートナーフレームを決定する。

まず、Ｓ４０２において、変換部１２６は、対象フレームの特徴点と、立体パートナーフレーム候補の対応する特徴点（共通領域の特徴点）とに基づき、基本行列を算出する。

次に、Ｓ４０４において、変換部１２６は、対象フレームの共通領域と立体パートナーフレーム候補の共通領域との間の垂直方向差を最小化するように、基本行列に基づいて射影変換行列を算出する。

具体的には、まず、式９に示す射影変換行列は、式１０に示すように、エピポーラ幾何を用いて制約を加える。すなわち、基本行列に一致または適合性のある式９に示す射影変換行列は、式１０に示すように制約が加えられる（例えば、非特許文献４参照）。これにより、通常の射影変換の自由度は８ではなく、３に低減される。

式１０において、Ｈは３×３射影変換行列を示し、Ｆは、Ｓ４０２で算出された３×３基本行列を示す。また、ｅ’は、立体パートナーフレーム候補のエピポールの３×１同次座標である。これは、基本行列Ｆから導き出すことができる。［ａ］_ｘｂは、外積を示しとおり、ａ×ｂとも表すことができる。ｖ^Ｔは、自由度３のパラメータを含む、１ｘ３ベクトルを示す。

続いて、対象フレームと立体パートナーフレーム候補との間で対応する特徴点の垂直差を最小化するように、ｖ^Ｔによってパラメータ化されたＨを、式１１を用いて算出する。

なお、Ｓ４０４において、垂直方向差を最小化するように、基本行列に基づいて射影変換行列を算出する方法は、上記の方法に限られない。同様の制約の下でＨを求めることができれば他の方法が用いられてもよく、本発明の範囲に含まれる。

次に、Ｓ４０６において、変換部１２６は、射影変換行列により変換される立体パートナーフレームにおける共通領域が、変換前と同じ直交性とアスペクト比とを維持する斜傾変換行列を算出する。

具体的には、上記のｄ）に示す歪低減基準に基づき、選択された立体パートナーフレーム候補に対して、歪みを低減させる斜傾変換行列を算出する。より具体的には、アスペクト比と共通領域の直交性を復元する斜傾量を有する斜傾変換行列を算出する。

ここで、共通領域、アスペクト比、および直交性という用語について説明する。図１２Ａおよび図１２Ｂは、本発明の実施の形態１における用語の概念を説明するための図である。まず、図８を用いて共通領域の概念を説明し、図１２Ａおよび図１２Ｂを用いて、アスペクト比および直交性の概念について説明する。

図８では、上述したように、対象フレーム６０２と、立体パートナーフレーム候補６０４とが示されている。また、矩形６０６および矩形６０８は、対象フレーム６０２と立体パートナーフレーム候補６０４とで共通する領域である共通領域の外形を示している。矩形５０６、矩形５０８の外側の領域は、対象フレーム６０２と立体パートナーフレーム候補６０４とのうちどちらか一方のフレームのみに現れる。

対象フレーム６０２と立体パートナーフレーム候補６０４を用いて、そのまま立体対（立体画像）を形成した場合、これら外側の領域は人が立体画像を見ると不快に感じる。なぜなら、人は立体画像を１つの画像として見ており、人間の脳は、奥行きを知覚するための視差情報を抽出することができないからである。なお、矩形６０６、矩形６０８を、共通領域と呼ぶが、視野領域ともいう。

一方、図１２Ａは、ワープ前の立体パートナーフレーム候補６０４を示し、図１２Ｂは、ワープ後の立体パートナーフレーム候補７１２を示す。ここで、ワープとは、変換行列が適用されることと同義であり、本実施の形態では、射影変換行列と斜傾変換行列と並進変換行列とを組み合わせて生成した変換行列が適用されることを意味する。

図１２Ａに示す矩形６０８（共通領域）は、所定のアスペクト比を有している。このアスペクト比は、点７１８および点７２２間の距離と、点７２０および点７２４間の距離との比で表される。また、図１２Ａにおいて、角７２６は直角である。それに対して、図１２Ｂに示すワープ後の共通領域７１６は、ワープされた点７２８および点７３０間の距離と、点７３２および点７３４間の距離の比で表される。

なお、図１２Ｂに示すワープ後の共通領域７１６は、図１２Ａに示す矩形６１８（共通領域）と異なるアスペクト比を有していてもよいし、角７３６は、直角でないとしてもよい。その場合、さらに、式１２に示すような一般的なシアー変換行列を用いて、直交性およびアスペクト比を復元させればよい。シアー変換行列は、直交性およびアスペクト比を復元させるために算出される行列である。

ここで、共通領域を算出する方法の一つについて説明する。

まず、対象フレームの複数の特徴点の重心を算出する。続いて、立体パートナーフレーム候補の特徴点のうち、対象フレームの特徴点に対応する対応点（共通領域）の重心を算出する。そして、対象フレームと立体パートナーフレーム候補とにおける対応点（共通領域）の重心の差分を算出する。ここで、垂直差６３６は、図８に示す通りであり、水平差６３８は、図８に示す通りである。このようにして、共通領域の寸法を、対象フレームのフレームサイズと、対象フレームおよび立体パートナーフレーム候補における対応点の重心の差分とから導くことができる。

なお、この算出方法では、完璧な共通領域を算出できないことがある。すなわち、算出された共通領域と、実際の共通領域との間に差分が生じる場合がある。しかしながら、この方法で十分満足な結果が得られるので問題ない。

以上のように、Ｓ４０６において、変換部１２６は、斜傾変換行列を算出する。その際、さらにシアー変換行列を算出していてもよい。

次に、Ｓ４０８において、変換部１２６は、対象フレームと、射影変換行列および斜傾変換行列が適用された立体パートナーフレーム候補との間の視差が、対象フレームより以前の対象フレームと立体パートナーフレーム候補との間の視差と同じになるように、並進変換行列を算出する。

具体的には、変換部１２６は、円滑な奥行きを実現させるために、以下の式１３〜式１５を用いて式１６に示す並進変換行列を算出する。この並進変換行列が適用されると、対象の立体対の水平視差と以前の立体対の水平視差との差分は最小化され、さらに、対象の立体対の垂直視差が最小化される。

ここで、ｖは、変換ベクトルを示し、式１５と表すことができる。

次に、Ｓ４０６およびＳ４０８の後、Ｓ４１０において、各立体パートナーフレーム候補に対する変換行列を算出する。具体的には、変換部１２６は、射影変換行列と、斜傾変換行列と、並進変換行列とが組み合わせて、１つの変換行列（Ｔ^ｎ＝ＶＷＨ）として算出する。

ここで、立体パートナーフレーム候補としては、｛Ｉ_ｎ、Ｗａｒｐ（Ｔ^ｎ、Ｉ_ｎ）｜ｎ∈Ｃ（ｍ）｝を含む。つまり、Ｓ１０８で選択された立体パートナーフレーム候補に対しては、上記のように算出される変換行列を適用した上（ワープした上）で、図１０に示す手順に基づき立体パートナーフレームを決定するとしてもよい。また、Ｓ１０８で選択された立体パートナーフレーム候補（この時点ではワープされていない立体パートナーフレーム候補）から、上記変換行列を用いて、図１０に示す手順に基づき立体パートナーフレームを決定するとしてもよい。

なお、Ｓ１０８で選択された立体パートナーフレーム候補から、算出された変換行列を用いて、立体パートナーフレームを決定する方が好ましい。その場合、図３に示すＳ１１２において、変換部１２６により生成された変換行列に基づき、ワープを行う。これは、別々の図１０に示す手順（Ｓ３０２〜Ｓ３０４）それぞれで変換（ワープ）を行うよりも、効率的であるので好ましい。

なお、Ｓ３０６において、円滑化基準に基づき、決定される立体パートナーフレームは、上記の変換行列が適用されていない元の立体パートナーフレームでもよいし、この変換行列が適用された立体パートナーフレームであってもよい。

以上、本実施の形態によれば、計算コストの高いＳＦＭによる推定を行わず立体映像を生成することができるだけでなく、時間のかかる奥行きマップの推定を行わず立体映像を生成することができる。また、２Ｄ映像を撮影する撮影装置が手振れ等で動いた際の不安定な２Ｄ映像も安定した快適な３Ｄ映像に変換することができる。それにより、２Ｄ映像から適切かつ快適な３Ｄ映像を作成する立体映像作成装置および立体映像作成方法を実現することができる。

ここで、本実施の形態における立体映像作成装置および立体映像作成方法による効果について、図６〜図８と、図１３とを用いて説明する。以下、ビデオカメラ５４２は、立体映像作成装置が構成されているとして説明する。

図１３は、本発明の実施の形態１におけるビデオカメラで撮影した安定化後の２Ｄ映像を立体変換した３Ｄ映像を示す図である。

まず、手持ち式のビデオカメラ５４２の撮影者（ユーザ）は、ビデオカメラ５４２を用いて、図６に示すシーン５０２を撮影する。なお、本発明では、シーン５０２は、例えば風景など、静止している対象物を典型的な例として想定している。

ここで、ユーザは、ビデオカメラ５４２を、同じ高さで水平方向に一定速度にずらしながらシーン５０２を２Ｄ映像で撮影する。つまり、ユーザは、軌道５６２に沿って、ビデオカメラ５４２をずらしながら、シーン５０２を２Ｄ映像で撮影する。

しかし、ユーザはビデオカメラ５４２を手で持って、シーン５０２を撮影しているので、軌道５６２は手振れにより上下方向の揺らぎが生じる。換言すると、ビデオカメラ５４２は、例えば図７に示すビデオサンプルポイント５２２に対応するビデオフレーム５８２（２Ｄ映像）すなわち上下方向の揺らぎがある不安定な２Ｄ映像を撮影することになる。不安定な２Ｄ映像からは、不快で不適切な３Ｄ映像しか作成できない。そのため、本実施の形態では、２Ｄ映像を３Ｄ映像（立体映像）に変換する前に、２Ｄ映像の安定化を行う。

次に、ビデオカメラ５４２は撮影した２Ｄ映像を安定化させる。これを模式的に示したものが図８である。つまり、手振れによる揺らぎが大幅に軽減されるように修正された軌道５６２を示す仮想軌道５６６に沿って、仮想ビデオカメラ５４４でシーン５０２を撮影したかのように２Ｄ映像が修正（安定化）されている。例えば仮想ビデオカメラ５４４は、例えば図８に示す仮想ビデオサンプルポイント５２４に対応する仮想ビデオフレーム５８４すなわち上下方向の揺らぎが大幅に軽減された安定な２Ｄ映像を撮影していることに相当する。換言すると、仮想ビデオカメラ５４４の仮想軌道５６６に示されているように、軌道はより滑らかになり、仮想ビデオサンプルポイント５２４はより均一になっている。安定化された２Ｄ映像から、健全かつ適切な３Ｄ映像を作成することができる。

次に、ビデオカメラ５４２は安定化した２Ｄ映像に対して立体映像変換を行い、３Ｄ映像を作成する。これを模式的に示したものが図１３である。つまり、仮想ビデオカメラ７４６は、仮想軌道７６６に沿って、安定化された３Ｄ映像を作成する。例えば仮想ビデオカメラ７４６は、例えば図１３に示す仮想立体映像サンプルポイント７６７および７６８に対応する立体映像フレーム対７８６および７８８を作成していることに相当する。

このようにして、ビデオカメラ５４２は、２Ｄ映像から適切かつ快適な３Ｄ映像を作成することができる。

なお、上記の説明では、本実施の形態に係る立体映像作成装置１００は、受信部１０１と、立体映像変換部１０６と、映像出力部１０８と、内部バッファ１１０とを備えるとしたが、それに限られない。図１４に示すように、立体映像作成装置１００の最小構成として、受信部１０１と、選択部１２３、決定部１２４、立体対生成部１２５および変換部１２６を有する立体映像作成部１１８とで構成される立体映像作成装置１５０を少なくとも備えていればよい。ここで、図１４は、本発明に係る立体映像作成装置の最小構成を示すブロック図である。図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。

また、立体映像作成装置１５０は、図１５に示す手順で、２Ｄ映像から３Ｄ映像を作成する。図１５は、図１４に示す立体映像作成装置の動作を示すフローチャートである。

まず、Ｓ５０１において、受信部１０１は、２Ｄ映像を受信する。

次に、Ｓ５０２において、選択部１２３は、２Ｄ映像を構成する複数のフレームから、対象フレームと共通する領域である共通領域を有し、かつ、当該共通領域が占める領域の大きさが予め定めた値以上である複数のフレームを、当該対象フレームとともに立体画像を構成するフレームの候補である立体パートナーフレーム候補として選択する。

次に、Ｓ５０３において、決定部１２４は、立体パートナーフレーム候補から、第１基準に基づいて、当該対象フレームとともに立体画像を構成するフレームである立体パートナーフレームを決定する。

次に、Ｓ５０４において、立体対生成部１２５は、対象フレームと、立体パートナーフレームとを用いて、立体画像を構成する立体対を生成する。

最後に、Ｓ５０５において、対象フレームと決定された立体パートナーフレームとに基づいて、変換行列を生成し、第２基準に基づき、立体対に、生成した変換行列を適用することにより、立体対を変換する。

このようにして、計算コストの高いＳＦＭによる推定や時間のかかる奥行きマップの推定を行わないで、２Ｄ映像から適切かつ快適な３Ｄ映像を作成する。つまり、２Ｄ映像を構成する複数のフレームの中から、対象フレームに対応する立体パートナーフレーム候補を選択し、選択した立体パートナーフレーム候補から、第１基準に基づき、立体パートナーフレームを決定するという方法を用いることで、２Ｄ映像から適切かつ快適な３Ｄ映像を作成する。

それにより、２Ｄ映像から適切かつ快適な３Ｄ映像を作成することができる。

なお、２Ｄ映像を撮影する撮影装置が手振れ等で動いた際の不安定な２Ｄ映像も安定化処理を行うことで、２Ｄ映像から適切かつ快適な３Ｄ映像を作成することができる。

（実施の形態２）
図１６は、本発明の実施の形態２における立体映像作成装置の構成を示すブロック図である。図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。

図１６に示す立体映像作成装置２００は、実施の形態１に係る立体映像作成装置１００に対して、受信部２０１の構成が異なり、ユーザフィードバック部２０４が追加されている。また、立体映像作成装置２００は、さらに表示部２２３と接続されている。

受信部２０１は、ユーザがカメラ等の撮影装置で撮影した２Ｄ映像を受信する。具体的には、受信部２０１は、例えばロウメディア２０２で構成されており、カメラ等の撮影装置から画像デ―タを取得する。受信部２０１は、２Ｄ映像データＳ１３を立体映像変換部１０６に出力するとともに、原画像デ―タＳ２１を、ユーザフィードバック部２０４に送信される。なお、受信部２０１は、たとえば、立体映像作成装置２００においてプレビューパス／プレビューモードが設定されている場合のみ、原画像デ―タＳ２１を、ユーザフィードバック部２０４に送信するとしてもよい。

ユーザフィードバック部２０４は、動き分析部２２０とフィードバック部２２２とで構成されており、ユーザが撮影装置で撮影した２Ｄ映像をリアルタイムにフィードバックするフィードバック情報を表示部２２３に伝達する。ここで、フィードバック情報とは、例えば撮影方向を示す矢印または撮影装置の動きを示す信号など、安定化した２Ｄ映像を撮影するようにユーザを導くための情報である。

動き分析部２２０は、本発明の分析部に相当し、撮影装置の動きを分析して、安定化した２Ｄ映像を撮影するようにユーザを導くための情報を生成する。

フィードバック部２２２は、動き分析部２２０により生成された情報に基づいて、ユーザにフィードバックするためのフィードバック情報を生成する。

表示部２２３は、カメラモニタなどであり、生成されたフィードバック情報と、２Ｄ映像とを表示する。なお、表示部２２３は、伝達されたフィードバック情報に基づいて、立体映像作成装置２００が好適な３Ｄ効果を作成するために最もよい方法でビデオを撮影するようにユーザを導くとしてもよい。

以上のように、立体映像作成装置２００は構成される。

なお、立体映像作成装置２００（または、ユーザフィードバック部２０４もしくは立体映像変換部１０６等）は、通常、ＩＣ（集積回路）、ＡＳＩＣ（特定用途集積回路）、またはＬＳＩ（大規模集積回路）で実現されるが、複数チップで構成されてもよいし、１チップで構成されてもよい。なお、立体映像作成装置２００、または、ユーザフィードバック部２０４もしくは立体映像変換部１０６等はそれぞれ、ＬＳＩの形で実現されることに限られない。集積度に応じて、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、またはウルトラＬＳＩとも呼ばれるもので実現されるとしてもよい。

また、立体映像作成装置２００等は、専用回路または汎用プロセッサなどを用いて集積化されて実現されるとしてもよい。専用回路としては、例えばプログラム命令により制御することができるＤＳＰ（デジタルシグナルプロセッサ）など、特化したマイクロプロセッサがある。

また、立体映像作成装置２００等はそれぞれ、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（フィールド・プログラマブル・ゲートアレイ）、または、ＬＳＩの接続もしくは構成を再構成可能なプロセッサを用いるとしてもよい。将来的には、製造および処理技術が向上し、全く新しい技術がＬＳＩに取って代わる場合には、その技術により、集積化を行うことで実現されるとしてもよい。

また、立体映像作成装置２００は、時系列に画像（映像）を表示する液晶表示装置、プラズマ表示装置、レンチキュラーレンズ層が付加された表示装置、または、他の種類の表示装置等の立体画像を表示可能な表示装置に組み込まれるとしてもよい。

また、立体映像作成装置２００は、デジタルビデオディスクプレーヤ、ブルーレイディスクプレーヤ、および他の種類のデジタルメディアプレーヤなどのデジタルメディアプレーヤ装置に実装されるとしてもよい。他の種類の装置に実装されるとしてもよい。上記いずれの場合も本願の範囲を限定するものではない。

（実施の形態３）
実施の形態３では、実施の形態１および実施の形態２と異なる装置に、上述の立体映像変換部が構成される場合の例について説明する。

図１７は、本発明の実施の形態３に係る画像装置の構成を示すブロック図である。図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。

図１７に示す画像装置１２００は、光学系１２０２と、ビデオセンサ１２０４と、ＡＤＣ（アナログ−デジタル変換器）１２０６と、ビデオプロセッサ１２０８と、マイクロコンピュータ１２１０と、外部メモリ１２１２と、ドライバコントローラ１２２０と、操作部１２２２と、記憶／送信装置１２１６と、表示装置１２１４とを備える。

ここで、ビデオプロセッサ１２０８は、内部メモリ１２４０と、立体映像変換部１０６と、原画像プロセッサ１２４２と、カラー映像プロセッサ１２４４とを備える。なお、マイク、スピーカなどの他の構成要素は図示されていないが、これは本発明の範囲を限定するものではない。

光学系１２０２は、ビデオセンサ１２０４に到達する光信号を制御する。光学系１２０２は、例えば、複数のレンズまたはレンズセット、ズーム／フォーカス機構、アクチュエータ、シャッター、開口部などの構成要素を備える。光学系１２０２は、例えばドライバコントローラ１２２０により制御される。

ドライバコントローラ１２２０は、マイクロコンピュータ１２１０により制御されて、光学系１２０２におけるアクチュエータ等を制御する。ドライバコントローラ１２２０は、光学系１２０２のレンズを、揺れを補償するように動かすことができるので、手振れまたはカメラの動きに起因するボケを低減させることができる。

操作部１２２２は、ユーザの操作入力を受信し、その電気信号をマイクロコンピュータ１２１０に送信する。操作部１２２２は、その電気信号を送信することで、ユーザの入力に対応して関連する、ドライバコントローラ１２２０、ビデオセンサ１２０４、ビデオプロセッサ１２０８等のモジュールを制御することができる。

マイクロコンピュータ１２１０は、ドライバコントローラ１２２０、ビデオセンサ１２０４を制御する。

ビデオセンサ１２０４は、入射光信号を蓄積し、その光信号を電気信号に変換する。ビデオセンサ１２０４は、マイクロコンピュータ１２１０により制御される。

ＡＤＣ１２０６は、ビデオセンサ１２０４で変換された電気信号を、デジタルデータ（原画像データ）に変換し、内部メモリ１２４０または外部メモリ１２１２に記憶する。

原画像プロセッサ１２４２は、原画像データを内部メモリ１２４０（または外部メモリ１２１２）から取得し、ノイズ低減、直線性補正、ホワイトバランス、ガンマ補正等、多くの前処理を行う。原画像プロセッサ１２４２は、前処理を行った原画像を記憶／送信装置１２１６またはカラー映像プロセッサ１２４４に出力する。

カラー映像プロセッサ１２４４は、原画像プロセッサ１２４２で前処理された原画像を処理することで、ＲＧＢまたはＹＣｂＣｒ等、カラー画像を生成する。ここで、カラー映像プロセッサ１２４４の処理とは、色補間、色補正、色調範囲の調整、色ノイズの低減等の処理を含み、好適なカラー画像を生成する。

立体映像変換部１０６は、安定化部１１６と立体映像作成部１１８という２つのサブモジュールで構成される。立体映像変換部１０６は、内部メモリ１２４０からのビデオフレームを取り込み、安定化した後に３Ｄ映像に変換する。立体映像変換部１０６は、変換した３Ｄ映像を、表示装置１２１４または外部メモリ１２１２に出力する。なお、立体映像変換部１０６の詳細は、前述したため、ここでの説明は省略する。

表示装置１２１４は、例えば、３Ｄ視のステレオ画像を表示可能なレンチキュラーレンズ層が付着された液晶モニタ等である。表示装置１２１４は、立体映像変換部１０６より出力される３Ｄ映像を表示することができる。なお、表示装置１２１４は、立体映像変換部１０６より出力される３Ｄ映像を、２Ｄ映像で表示するとしてもよいし、記憶／送信装置１２１６に記憶するとしてもよい。

記憶／送信装置１２１６は、原画像プロセッサ１２４２で前処理された原映像と、立体映像変換部１０６より出力された３Ｄ映像とを、記憶または送信する。なお、記憶／送信装置１２１６は、原画像プロセッサ１２４２で前処理された原映像および立体映像変換部１０６より出力された３Ｄ映像を、記憶／送信する前に、圧縮部（図示せず）により圧縮するとしてもよい。

記憶／送信装置１２１６は、例えば、フラッシュベースのメモリカード、ハードドライブ、および光学ドライブなどで構成されてもよいが、これらに限定されない。また、記憶／送信装置１２１６は、例えばＨＤＭＩインターフェース、ＵＳＢインターフェース、ワイヤレスインターフェースおよびｄｉｒｅｃｔ−ｔｏ−ｐｒｉｎｔｅｒインターフェースなどで構成されるが、これらに限定されない。また、記憶／送信装置１２１６は、処理（記憶または送信）するデータを、任意に可逆または不可逆圧縮するとしてもよい。

ビデオプロセッサ１２０８および内部のモジュールは、通常、ＩＣ（集積回路）、ＡＳＩＣ（特定用途集積回路）、またはＬＳＩ（大規模集積回路）で実現されるが、複数チップで構成されてもよいし、１チップで構成されてもよい。なお、立体映像作成装置１００または立体映像変換部１０６等はそれぞれ、ＬＳＩの形で実現されることに限られない。集積度に応じて、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、またはウルトラＬＳＩとも呼ばれるもので実現されるとしてもよい。

また、ビデオプロセッサ１２０８および内部のモジュールはそれぞれ、専用回路または汎用プロセッサなどを用いて集積化されて実現されるとしてもよい。専用回路としては、例えばプログラム命令により制御することができるＤＳＰ（デジタルシグナルプロセッサ）など、特化したマイクロプロセッサがある。

また、ビデオプロセッサ１２０８および内部のモジュールはそれぞれ、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（フィールド・プログラマブル・ゲートアレイ）、または、ＬＳＩの接続もしくは構成を再構成可能なプロセッサを用いるとしてもよい。将来的には、製造および処理技術が向上し、全く新しい技術がＬＳＩに取って代わる場合には、その技術により、集積化を行うことで実現されるとしてもよい。

以上、本発明によれば、計算コストの高いＳＦＭによる推定を行わず立体映像を生成することができるだけでなく、時間のかかる奥行きマップの推定を行わず立体映像を生成することができる。それにより、２Ｄ映像から適切かつ快適な３Ｄ映像を作成する立体映像作成装置および立体映像作成方法を実現することができる。

具体的には、本発明の立体映像作成装置は、２Ｄ映像を受け取り、連続するビデオフレーム間の対応点を検出（追跡）する。本発明の立体映像作成装置は、対象フレームとそれに対応する複数の近隣フレーム間の対応点に基づき、対象フレームに対して安定化処理を行う。なお、予め安定している２Ｄ映像には、安定化処理を行わなくても良い。

本発明の立体映像作成装置は、対象フレームと立体パートナーフレーム候補との間の共通領域のサイズに応じて、対象フレームに対する立体パートナーフレーム候補を選択する。

また、本発明の立体映像作成装置は、対象フレームおよび各立体パートナーフレーム候補間において、垂直方向差がゼロになる条件とエピポーラ拘束とを満たす射影変換行列を算出する。また、本発明の立体映像作成装置は、射影変換行列を適用する際に発生する歪みを軽減するために斜傾変換行列を算出し、対象フレームと近隣フレームとの間の対応点の視差の差分を最小化するための並進変換行列を算出する。

また、本発明の立体映像作成装置は、立体パートナーフレーム候補から、算出した射影変換行列、斜傾変換行列および並進変換行列を用いて、第１基準に基づき、対象フレームに対する立体パートナーフレームを決定する。

ここで、第１基準は、垂直方向差基準と、水平視差基準（ベースライン）と、円滑化基準と、歪低減基準とを含む。垂直方向差基準は、対象フレームと立体パートナーフレームとのｙ方向（垂直方向）の差がゼロである旨が規定されている。水平視差基準（ベースライン）は、対象フレームと立体パートナーフレームとのｘ方向（水平方向）の視差が、３Ｄ効果を得るのに十分であり、かつ快適な３Ｄ視となるよう適切な範囲を満たす旨が規定されている。円滑化基準は、奥行き方向について規定されており、隣接する立体対（対象フレームと対応する立体パートナーフレーム）間の対応点の視差が滑らかである範囲を満たす旨が規定されている。歪低減基準は、立体対に、歪みが生じる従来の変換による影響を受けることなく、これらの共通領域に基づき作成されると規定されている。

また、本発明の立体映像作成装置は、決定した立体パートナーフレーム（立体対）に対して、射影変換行列と斜傾変換行列と並進変換行列とを組み合わして生成した変換行列を適用することで、立体パートナーフレームをワープ（変形）させる。

この段階で、本発明の立体映像作成装置は、対象フレームと、ワープされた立体パートナーフレームとを、３Ｄ画像を構成する立体対として出力する。

本発明の立体映像作成装置は、このようにして、対象フレームが２Ｄ映像を構成する最終フレームとなるまで繰り返し、立体対から生成した３Ｄ映像を出力する。

以上、本発明の立体映像作成装置および立体映像作成方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

本発明は立体映像作成装置および立体映像作成方法に利用でき、特に、液晶表示装置、プラズマ表示装置、レンチキュラーレンズ層が付加された表示装置、またはデジタルビデオディスクプレーヤ、ブルーレイディスクプレーヤ等に実装される立体映像作成装置および立体映像作成方法に利用することができる。

１００、１５０、２００ 立体映像作成装置
１０１、２０１ 受信部
１０２ 記憶媒体リーダ
１０４ ビデオデコーダ
１０６ 立体映像変換部
１０８ 映像出力部
１１０ 内部バッファ
１１２、２２３ 表示部
１１４ 送信装置
１１６ 安定化部
１１８ 立体映像作成部
１２１ 検出部
１２２ 算出部
１２３ 選択部
１２４ 決定部
１２５ 立体対生成部
１２６ 変換部
２０２ ロウメディア
２０４ ユーザフィードバック部
２２０ 動き分析部
２２２ フィードバック部
５０２ シーン
５０６、５０８、６０６、６０８、６１８ 矩形
５２２ ビデオサンプルポイント
５２４ 仮想ビデオサンプルポイント
５４２ ビデオカメラ
５４４、７４６ 仮想ビデオカメラ
５６２ 軌道
５６６、７６６ 仮想軌道
５８２ ビデオフレーム
５８４ 仮想ビデオフレーム
６０２ 対象フレーム
６０４、７１２ 立体パートナーフレーム候補
６３６ 垂直差
６３８ 水平差
７１６ 共通領域
７１８、７２０、７２２、７２４、７２８、７３０、７３２、７３４ 点
７２６、７３６ 角
７６７ 仮想立体映像サンプルポイント
７８６ 立体映像フレーム対
１２００ 画像装置
１２０２ 光学系
１２０４ ビデオセンサ
１２０８ ビデオプロセッサ
１２１０ マイクロコンピュータ
１２１２ 外部メモリ
１２１４ 表示装置
１２１６ 送信装置
１２２０ ドライバコントローラ
１２２２ 操作部
１２４０ 内部メモリ
１２４２ 原画像プロセッサ
１２４４ カラー映像プロセッサ

Claims (16)

1. ２Ｄ映像から３Ｄ映像を作成する立体映像作成装置であって、
   ２Ｄ映像を受信する受信部と、
   前記２Ｄ映像を構成する複数のフレームから、対象フレームと共通する画像の領域である共通領域が占める領域の大きさが予め定めた値以上である複数のフレームを、当該対象フレームとともに立体画像を構成するフレームの候補である立体パートナーフレーム候補として選択する選択部と、
   前記立体パートナーフレーム候補から、所定の基準に基づいて、当該対象フレームとともに立体画像を構成するフレームである立体パートナーフレームを決定する決定部と、
   前記対象フレームと、前記立体パートナーフレームとを用いて、前記対象フレームに対応する立体画像を構成する立体対を生成する立体対生成部と、
   前記対象フレームと前記選択部により選択された前記立体パートナーフレーム候補とから、前記立体パートナーフレーム候補をワープさせるための変換行列を生成し、前記立体対に、生成した前記変換行列を適用することにより、前記立体対を変換する変換部とを備える、
   立体映像作成装置。
2. さらに、
   前記２Ｄ映像を構成する複数のフレームから、当該複数のフレーム間のゆれを補正することで、当該複数のフレームを安定化させる安定化部を備え、
   前記選択部は、前記安定化部により安定化された前記２Ｄ映像を構成する複数のフレームから、立体パートナーフレーム候補を選択する、
   請求項１に記載の立体映像作成装置。
3. 前記立体映像作成装置は、
   前記変換部により変換された立体対を記憶するための記憶部と、
   前記記憶部に記憶された当該変換された立体対を出力する出力部とを備え、
   前記出力部は、前記２Ｄ映像を構成する複数のフレームそれぞれに対応する立体対であって、前記変換部により変換された立体対を出力することで、前記２Ｄ映像から３Ｄ映像を生成する、
   請求項１または２に記載の立体映像作成装置。
4. 前記選択部は、前記立体パートナーフレーム候補として、前記２Ｄ映像を構成する複数のフレームから、前記対象フレームと同一シーンに撮影された複数のフレームを選択する、
   請求項１〜３のいずれか１項に記載の立体映像作成装置。
5. 前記選択部は、前記対象フレームに占める前記共通領域の大きさの割合と前記立体パートナーフレーム候補に占める前記共通領域の大きさの割合とがそれぞれ前記予め定めた値以上の場合に、前記立体パートナーフレーム候補が前記対象フレームと同一シーンに撮影されたフレームであると判断し、
   前記共通領域は、前記対象フレームと前記立体パートナーフレーム候補との間で対応するフレーム上の特徴的な点である特徴点に基づき算出される、
   請求項４に記載の立体映像作成装置。
6. 前記選択部は、前記２Ｄ映像を構成する複数のフレームにおいて、前記対象フレームと時間的に近いフレームである近隣フレームを、前記立体パートナーフレーム候補として、選択する、
   請求項４または５に記載の立体映像作成装置。
7. 前記所定の基準は、垂直方向差基準と、水平視差基準と、円滑化基準と、歪低減基準とで構成され、
   前記垂直方向差基準では、前記対象フレームの前記共通領域と垂直方向の位置の差がゼロに略等しいフレームを前記立体パートナーフレームとする旨が規定され、
   前記水平視差基準では、前記対象フレームの前記共通領域と水平方向の位置の差が所定の範囲に含まれるフレームを前記立体パートナーフレームとする旨が規定され、
   前記円滑化基準では、時間的に連続する立体対間において、前記共通領域の変位が滑らかとなるフレームを前記立体パートナーフレームとする旨が規定され、
   前記歪低減基準では、前記共通領域が占める領域の大きさが前記対象フレームとともに前記予め定めた値以上であるフレームを前記立体パートナーフレームとする旨が規定されている、
   請求項１〜６のいずれか１項に記載の立体映像作成装置。
8. 前記決定部は、画像処理を施すことによって検出可能なフレーム上の特徴的な点である特徴点を用いて、前記所定の基準を満たすか否かを判定することにより、前記立体パートナーフレームを決定する、
   請求項７に記載の立体映像作成装置。
9. 前記変換部は、前記変換行列を、フレーム上の特徴的な点である特徴点であって、前記対象フレームと前記立体パートナーフレームとの間で対応する特徴点に基づいて生成する、
   請求項１または２に記載の立体映像作成装置。
10. 前記変換部は、前記変換行列を、算出した射影変換行列と斜傾変換行列と並進変換行列とを組み合わせて生成して、前記立体対に適用し、
    前記変換部は、前記対象フレームと前記立体パートナーフレーム候補との間で基本行列を算出し、
    前記変換部は、前記立体対における対象フレームと前記立体パートナーフレーム候補との間の垂直方向差を最小化するように、前記基本行列に基づいて前記斜傾変換行列を算出し、
    前記変換部は、前記射影変換行列を、前記射影変換行列により変換される前記立体パートナーフレームにおける前記共通領域を、変換前と同じ直交性とアスペクト比とを維持させるように、前記射影変換行列を算出し、
    前記変換部は、前記対象フレームと、前記射影変換行列および前記斜傾変換行列が適用された立体パートナーフレームとの間の視差が、前記対象フレームより以前の対象フレームと立体パートナーフレームとの間の視差と同じになるように、前記並進変換行列を算出する、
    請求項１または２に記載の立体映像作成装置。
11. 前記安定化部は、フレーム上の特徴的な点である特徴点であって、所定フレームと、前記所定フレームと時間的に近いフレームである複数の近隣フレームとの間で対応する特徴点に基づいて算出する射影変換行列を用いることにより、当該複数のフレーム間のゆれを補正する、
    請求項２に記載の立体映像作成装置。
12. 前記安定化部は、
    所定フレームと、前記所定フレームに隣接するフレームである近隣フレームとの間で対応する特徴的な点である複数の特徴点を検出する検出部と、
    前記所定フレームの複数の特徴点と、対応する前記近隣フレームの重みづけされた複数の特徴点とが同じ座標値を有するように、前記所定フレームをワープさせる射影変換行列を算出する算出部とを備え、
    前記射影変換行列を前記所定フレームに適用することで、当該複数のフレームを安定化させる、
    請求項２に記載の立体映像作成装置。
13. 前記複数の近隣フレームは、前記所定フレームと時間的に近いフレームである、
    請求項１２に記載の立体映像作成装置。
14. 前記算出部は、前記複数の近隣フレームの重みを、重み関数を用いて算出し、
    前記算出部は、
    前記対応する近隣フレームが前記所定フレームに時間的に最も近いフレームである場合、前記重み関数を用いて１により近い値の重みを算出し、
    前記対応する近隣フレームが前記所定フレームから時間的に遠いフレームである場合、前記重み関数を用いて１より小さい値の重みを算出する、
    請求項１２に記載の立体映像作成装置。
15. 前記受信部は、ユーザが撮影装置で撮影した２Ｄ映像を受信し、
    前記立体映像作成装置は、さらに、
    前記撮影装置の動きを分析して、安定化した２Ｄ映像を撮影するように前記ユーザを導くための情報を生成する分析部と、
    前記分析部により生成された情報に基づいて、前記ユーザにフィードバックするためのフィードバック情報を生成するフィードバック部と、
    生成された前記フィードバック情報と、前記２Ｄ映像とを表示する表示部とを備える、
    請求項２に記載の立体映像作成装置。
16. ２Ｄ映像から３Ｄ映像を作成する立体映像作成方法であって、
    ２Ｄ映像を受信する受信ステップと、
    前記２Ｄ映像を構成する複数のフレームから、対象フレームと共通する画像の領域である共通領域が占める領域の大きさが予め定めた値以上である複数のフレームを、当該対象フレームとともに立体画像を構成するフレームの候補である立体パートナーフレーム候補として選択する選択ステップと、
    前記立体パートナーフレーム候補から、所定の基準に基づいて、当該対象フレームとともに立体画像を構成するフレームである立体パートナーフレームを決定する決定ステップと、
    前記対象フレームと、前記立体パートナーフレームとを用いて、立体画像を構成する立体対を生成する立体対生成ステップと、
    前記対象フレームと前記選択ステップにおいて選択された前記立体パートナーフレーム候補とから、前記立体パートナーフレーム候補をワープさせるための変換行列を生成し、前記立体対に、生成した前記変換行列を適用することにより、前記立体対を変換する変換ステップとを含む、
    立体映像作成方法。

Images