JP5496185B2 - 立体視画像編集装置および立体視画像編集方法 - Google Patents

Description

本発明は、複数の画像から視差を有する立体視画像を編集する立体視画像編集装置、および立体視画像編集方法に関し、より特定的には、当該立体視画像を編集して、使用者が所望する立体感を有する立体視画像をディスプレイに表示させる立体視画像編集装置、および立体視画像編集方法に関する。

左眼から見た視野に相当する左眼用画像と、右眼から見た視野に相当する右眼用画像とを用いて、左眼用画像を左眼のみに、右眼用画像を右眼のみに投影する。その両眼視差によって、使用者は、左眼用画像と右眼用画像とから構成される立体視画像について立体感を得ることができる。

立体視画像は、人間の両目の間に生じる視差を再現するため、少なくとも左眼用画像を取得するカメラと、右眼用画像を取得するカメラとを水平方向に並ぶよう配置して、同じ視野を同時に撮影することで作成される。また、同じ手法を仮想的に実現するように、計算機によって仮想３Ｄ空間を生成し、同様の効果を得られる立体視画像を生成する手法も存在する。

なお、立体視画像には、写真等の静止画のみならず動画も含まれ、被写体を立体的に見せる映画等に利用される。また、次世代のＡＶコンテンツの提供方法として、ステレオ映像を用いた立体視映像が普及しつつある。

このように、立体視画像表示技術が普及しており、さらには、撮影された立体視画像はそのまま視聴されるだけでなく、撮影された立体視画像の一部の領域を切取り編集することが考えられる。

従来の立体視画像編集技術として、ディスプレイに表示された立体視画像の左眼用画像と右眼用画像とについて、使用者が切取り編集領域を指定して、立体視画像の一部の領域を切取り編集する方法がある。使用者が切取り編集領域を指定する方法としては、例えば、同一座標選択方法および特徴点対応探索方法を用いることができる。

同一座標選択方法は、一方の画像（例えば、左眼用画像）に対して切取り編集領域を指定すれば、他方の画像（右眼用画像）に対しても同一座標の領域を切取り編集領域として選択する方法である。

特徴点対応探索方法は、画像を小さな矩形領域で分割し、分割した矩形領域単位で面積相関を求めるなどして、左眼用画像と右眼用画像とで同一の特徴点を検索して対応付ける方法である。一方の画像（例えば、左眼用画像）に対して切取り編集領域を指定すれば、他方の画像（右眼用画像）に対しては、左眼用画像と同一の特徴点に基づいて、左眼用画像で指定された切取り編集領域に対応する領域を切取り編集領域として選択する。また、特許文献１には、使用者が立体画像をより見易くする立体画像表示装置が開示されている。

以上のように、ディスプレイに表示された立体視画像の左眼用画像と右眼用画像とについて、使用者は所望の切取り編集領域を指定することによって、撮影された立体視画像の一部の領域を切取り編集することができる。

特開２００１−３２６９４７号公報

しかしながら、使用者は、立体視画像の切取り編集領域について、当該切取り編集領域の枠自体が有する視差である基点視差を指定できないため、立体視画像の表示領域について、所望の奥行きを持たせることができない。つまり、使用者が所望する立体感を有する立体視画像を得ることができない。

具体的には、立体視画像の画角自体が小さい場合や、ピクチャ・イン・ピクチャの子画面として小さく表示する場合など、立体視画像の表示領域が小さくなると、当該表示領域の枠自体が立体視の対象物となる。このため、使用者は、立体視画像の表示領域の枠自体と、立体視画像に映っている被写体との間にも奥行きの差が感じられる。しかし、使用者が指定した切取り編集領域の枠を、当該切取り編集領域の画像に対して最も手前とみて、表示画面の奥に向かって画像の奥行きを持たせるのか、逆に、使用者が指定した切取り編集領域の枠を、表示画面に対して最も奥とみて、当該切取り編集領域の枠に対して手前側に向かって被写体を飛び出させて見せるのか、という設定ができない。

また、立体視画像に映っている被写体（特徴点）も視差を持っており、立体視画像には、視差が異なる複数の特徴点が散在する。特に、ピクチャ・イン・ピクチャで表示される場合、親画面に表示される被写体の視差と、子画面に表示される被写体の視差とが異なる。例えば、コンテンツ作成者は、コンテンツ視聴者が親画面から子画面へ視点を移した時には、子画面において、コンテンツ視聴者に注視して欲しい被写体へスムーズに視点を誘導させたい。この場合、子画面における立体視画像の切取り編集領域の枠自体が有する視差と、コンテンツ視聴者に注視させたい被写体（特徴点）の視差とを一致させる必要がある。

それ故に、本発明の目的は、使用者は、指定した切取り編集領域の枠について、当該切取り編集領域の枠自体が有する視差である基点視差を指定することによって、立体視画像の表示領域について所望の奥行きを持たせることを可能とし、結果的に、使用者が所望する立体感を有する立体視画像を得ることができる立体視画像編集装置および立体視画像編集方法を提供することである。

上記目的を達成するために、本発明の立体視画像編集装置は、ディスプレイに表示された左眼用画像と右眼用画像とから構成される立体視画像を、使用者の所望の立体感を有する立体視画像に編集する立体視画像編集装置であって、立体視画像を記憶する記憶部と、記憶部に記憶されている立体視画像をディスプレイに表示可能な形式に変換する圧縮伸長部と、ディスプレイに表示された立体視画像の左眼用画像と右眼用画像とについて、切取り編集領域、および当該切取り編集領域の枠自体が有する視差である基点視差を、使用者に指定させる操作部と、使用者によって指定された切取り編集領域に基づいて、ディスプレイに表示された立体視画像の左眼用画像と右眼用画像とを切取り編集する切取り編集部と、切取り編集された左眼用画像と右眼用画像とについて、使用者によって指定された基点視差に基づいて、切取り編集領域を補正する切取り編集領域補正部とを備える。

好ましくは、操作部は、基点視差を使用者に直接指定させることを特徴とするか、または、操作部は、切取り編集された左眼用画像と右眼用画像とについて、切取り編集領域内の特徴点を使用者に指定させ、特徴点が有する視差を基点視差とすることを特徴とする。

好ましい切取り編集領域補正部は、使用者によって指定された基点視差と同一の視差を有する切取り編集領域内の特徴点のうち、最左端である特徴点と最右端である特徴点とを検出し、切取り編集領域の左端および右端を、検出された最左端である特徴点の位置および検出された最右端である特徴点の位置に補正することを特徴とする。

さらに、好ましい切取り編集領域補正部は、少なくとも１つ以上の所定の視差について、当該所定の視差を有する切取り編集領域内の特徴点のうち、最左端である特徴点と最右端である特徴点とを検出し、所定の視差と、検出された最左端である特徴点の位置および検出された最右端である特徴点の位置とを対応付けた切取り編集領域補正候補テーブルを生成し、切取り編集領域の左端および右端を、切取り編集領域補正候補テーブルにおいて、使用者によって指定された基点視差と同一の視差に対応付けられた最左端である特徴点の位置および最右端である特徴点の位置に補正することを特徴とする。

上記目的を達成するために、本発明の立体視画像編集方法は、ディスプレイに表示された左眼用画像と右眼用画像とから構成される立体視画像を、使用者の所望の立体感を有する立体視画像に編集する立体視画像編集装置が実行する立体視画像編集方法であって、編集対象となる立体視画像をディスプレイに表示可能な形式に変換する圧縮伸長ステップと、ディスプレイに表示された立体視画像の左眼用画像と右眼用画像とについて、切取り編集領域を指定する切取り編集領域指定ステップと、指定された切取り編集領域に基づいて、ディスプレイに表示された立体視画像の左眼用画像と右眼用画像とを切取り編集する切取り編集ステップと、切取り編集された左眼用画像と右眼用画像とについて、切取り編集領域の枠自体が有する視差である基点視差を指定する基点視差指定ステップと、指定された基点視差に基づいて、切取り編集領域を補正する切取り編集領域補正ステップと、補正された切取り編集領域で切取り編集された左眼用画像と右眼用画像とを立体視画像編集装置に保存する編集画像保存ステップとを実行する。

好ましくは、基点視差指定ステップは、基点視差を使用者に直接指定させることを特徴とするか、または、基点視差指定ステップは、切取り編集された左眼用画像と右眼用画像とについて、切取り編集領域内の特徴点を使用者に指定させ、特徴点が有する視差を基点視差とすることを特徴とする。

好ましい切取り編集領域補正ステップは、指定された基点視差と同一の視差を有する切取り編集領域内の特徴点のうち、最左端である特徴点と最右端である特徴点とを検出し、切取り編集領域の左端および右端を、検出された最左端である特徴点の位置および検出された最右端である特徴点の位置に補正することを特徴とする。

さらに、好ましい切取り編集領域補正ステップは、少なくとも１つ以上の所定の視差について、当該所定の視差を有する切取り編集領域内の特徴点のうち、最左端である特徴点と最右端である特徴点とを検出し、所定の視差と、検出された最左端である特徴点の位置および検出された最右端である特徴点の位置とを対応付けた切取り編集領域補正候補テーブルを生成し、切取り編集領域の左端および右端を、切取り編集領域補正候補テーブルにおいて、指定された基点視差と同一の視差に対応付けられた最左端である特徴点の位置および最右端である特徴点の位置に補正することを特徴とする。

上述した本発明の立体視画像編集方法は、一連の処理手順をコンピュータに実行させるためのプログラムの形式で提供される。このプログラムは、コンピュータ読み取り可能な記録媒体に記録された形態で、コンピュータに導入されてもよい。

本発明の立体視画像編集装置および立体視画像編集方法によれば、使用者は、指定した切取り編集領域の枠について、当該切取り編集領域の枠自体が有する視差である基点視差を指定することによって、立体視画像の表示領域について所望の奥行きを持たせることを可能とし、結果的に、使用者が所望する立体感を有する立体視画像を得ることができる。

本発明の第１の実施形態に係る立体視画像編集装置１００の概略的な構成を示すハード構成図 本発明の第１の実施形態に係る立体視画像編集装置１００の概略的な構成を示すブロック図 本発明の第１の実施形態に係る立体視画像編集方法３００を示すフローチャート 本発明の第１の実施形態に係る立体視画像の編集画面４００の構成（切取り編集領域指定）を示す図 本発明の第１の実施形態に係る立体視画像の編集画面４００の構成（基点視差指定）を示す図 基点視差に対応する切取り編集領域補正方法６００を示すフローチャート 切取り編集領域補正候補テーブル７００を示す図 図５に示した切取り編集補正領域における切取り編集後の立体視画像を示す図 本発明の第２の実施形態に係る立体視画像の編集画面４１０の構成（最小基点視差指定）を示す図 図９に示した切取り編集補正領域における切取り編集後の立体視画像を示す図 本発明の第２の実施形態に係る立体視画像の編集画面４１１の構成（最大基点視差指定）を示す図 図１１に示した切取り編集補正領域における切取り編集後の立体視画像を示す図

以下、本発明の各実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る立体視画像編集装置１００の概略的な構成を示すハード構成図である。図１において、立体視画像編集装置１００は、記憶部１０１と、圧縮伸長部１０２と、操作部１０３と、切取り編集部１０４と、切取り編集領域補正部１０５と、制御部１０６とを備える。さらに、立体視画像編集装置１００は、外部インタフェース１０７を備えていてもよい。立体視画像編集装置１００は、表示部１１０と接続されている。なお、表示部１１０は、ディスプレイ１１１とＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１２とを備える。

記憶部１０１は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であって、撮影された立体視画像を記憶している。さらに、記憶部１０１は、立体視画像を再生する際には、当該立体視画像を一時的に記憶し、後述する編集後の立体視画像を記憶する。

圧縮伸長部１０２は、例えば、コーデック（Ｃｏｄｅｃ）であって、特定の圧縮形式で圧縮された立体視画像をディスプレイに表示可能な形式に伸長変換する。また、圧縮伸長部１０２は、編集後の立体視画像を特定の圧縮形式で圧縮変換する。なお、立体視画像の圧縮形式は、立体視画像が静止画の場合、ＪＰＥＧ形式、ＧＩＦ形式、およびＰＮＧ形式などが代表的であり、立体視画像が動画の場合、ＡＶＩ形式、およびＭＰＥＧ形式などが代表的である。

操作部１０３は、例えば、キーボードおよびマウスなどの入力デバイスであって、使用者からの指示内容が入力される。また、操作部１０３は、タッチパネルディスプレイに代表されるような、ディスプレイ１１１と一体型の入力デバイスであってもよい。

切取り編集部１０４は、操作部１０３を介して使用者によって指定された切取り編集領域に基づいて、当該立体視画像を切取り編集する。

切取り編集領域補正部１０５は、操作部１０３を介して使用者によって指定された表示画面に対する奥行きに基づいて、切取り編集部１０４によって切取り編集された立体視画像の切取り編集領域を補正する。

制御部１０６は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、立体視画像編集装置１００の各機能部の処理を制御する。

表示部１１０は、ディスプレイ１１１とＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１２とを備える。ディスプレイ１１１は、記憶部１０１に記憶されている立体視画像を表示したり、使用者によって編集された立体視画像を表示したりする。ＶＲＡＭ１１２は、立体視画像をディスプレイ１１１に表示するまでのバッファである。なお、表示部１１０は、立体視画像編集装置１００に含まれていてもよいし、立体視画像編集装置１００に接続された表示装置であってもよい。

外部インタフェース１０７は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）であって、立体視画像編集装置１００は、外部インタフェース１０７を介して、ネットワークおよび外部デバイスと接続する。立体視画像編集装置１００は、外部インタフェース１０７を介して、外部に接続されたカメラおよび記憶媒体などから外部データを取得して、記憶部１０１へ記憶してもよい。

図２は、本発明の第１の実施形態に係る立体視画像編集装置１００の概略的な構成を示すブロック図である。図２において、立体視画像編集装置１００は、記憶部１０１と、圧縮伸長部１０２と、操作部１０３と、切取り編集部１０４と、切取り編集領域補正部１０５と、制御部１０６とを備える。立体視画像編集装置１００は、表示部１１０と接続されている。ここでは、図１に示したハード構成を有する立体視画像編集装置１００の各機能ブロックについて、詳細に説明する。

記憶部１０１は、撮影された立体視画像１０が記憶されている。立体視画像１０は、立体視画像１０を視聴する使用者の左眼のみに投影される左眼用画像１１と、右眼のみに投影される右眼用画像１２とから構成される。ここで、立体視画像１０は、動画であって、ＭＰＥＧ形式で圧縮されているものとする。また、記憶部１０１は、後述する左眼用切取り編集補正領域画像１３と右眼用切取り編集補正領域画像１４とから構成される切取り編集後の立体視画像を記憶する。

使用者は、操作部１０３を介して、記憶部１０１に記憶されている立体視画像１０を編集対象画像として選択する。

圧縮伸長部１０２は、ＭＰＥＧ形式で圧縮されている立体視画像１０をディスプレイ１１１に表示可能な形式に伸長変換する。圧縮伸長部１０２によって伸長変換された立体視画像１０について、当該立体視画像１０の左眼用画像１１と右眼用画像１２とは、ＶＲＡＭ１１２を介して、ディスプレイ１１１に表示される。また、圧縮伸長部１０２は、編集後の立体視画像をＭＰＥＧ形式で圧縮変換し、記憶部１０１は、ＭＰＥＧ形式で圧縮変換された編集後の立体視画像を記憶する。

使用者は、ディスプレイ１１１に表示されている立体視画像１０の左眼用画像１１と右眼用画像１２について、操作部１０３を介して、切取り編集領域を指定する。

切取り編集部１０４は、操作部１０３を介して使用者によって指定された切取り編集領域に基づいて、ディスプレイ１１１に表示されている立体視画像１０の左眼用画像１１と右眼用画像１２とを切取り編集する。

使用者は、さらに、切取り編集部１０４によって切取り編集される立体視画像１０の左眼用画像１１と右眼用画像１２について、操作部１０３を介して、表示画面に対する奥行きを指定する。

切取り編集領域補正部１０５は、操作部１０３を介して使用者によって指定された奥行きに基づいて、切取り編集部１０４によって切取り編集される立体視画像１０の左眼用画像１１と右眼用画像１２について、切取り編集領域を補正する。より詳細には、切取り編集領域補正部１０５は、切取り編集領域の情報と、表示画面に対する奥行き情報である当該切取り編集領域の枠自体が有する視差である基点視差とに基づいて、当該基点視差に対応するように、左眼用画像１１および右眼用画像１２のそれぞれについて、切取り編集領域を補正する。なお、当該補正内容についての詳細は、後述する。

ディスプレイ１１１は、立体視画像１０の左眼用画像１１と右眼用画像１２とを表示し、当該表示された立体視画像１０の左眼用画像１１と右眼用画像１２とについて、使用者が指定した切取り編集領域、および切取り編集領域補正部１０５によって補正された切取り編集領域を表示する。

制御部１０６と各機能ブロックとの関係については図示していないが、制御部１０６は、上述した立体視画像編集装置１００の各機能ブロックを制御している。

図３は、本発明の第１の実施形態に係る立体視画像編集方法３００を示すフローチャートである。図３において、立体視画像編集方法３００は、画面表示ステップＳ３０１と、切取り編集領域指定ステップＳ３０２と、基点視差指定ステップＳ３０３と、切取り編集領域補正ステップＳ３０４と、編集画像保存ステップＳ３０５とを備える。

画面表示ステップＳ３０１において、ディスプレイ１１１は、立体視画像１０の左眼用画像１１と右眼用画像１２とを表示する。具体的には、使用者は、操作部１０３を介して、記憶部１０１に記憶されている立体視画像１０を編集対象画像として選択する。選択された立体視画像１０は、記憶部１０１から読み出され、圧縮伸長部１０２によってディスプレイ１１１に表示可能な形式に伸長変換される。そして、ディスプレイ１１１に表示可能な形式に伸長変換された立体視画像１０は、ＶＲＡＭ１１２へ転送され、当該立体視画像１０の左眼用画像１１と右眼用画像１２とは、ディスプレイ１１１に表示される。

図４は、本発明の第１の実施形態に係る立体視画像の編集画面４００の構成（切取り編集領域指定）を示す図である。図４において、立体視画像の編集画面４００は、編集対象画像を表示する左画面４０１Ｌと右画面４０１Ｒとを備えている。ここで、立体視画像１０の左眼用画像１１と右眼用画像１２とを立体視する際、結像方法として交差法と平行法とがある。ここでは、交差法を用いることとし（図４において、「交差法」を選択）、左画面４０１Ｌには右眼用画像１２が表示され、右画面４０１Ｒには左眼用画像１１が表示されている。なお、平行法を用いる場合は、左画面４０１Ｌには左眼用画像１１が表示され、右画面４０１Ｒには右眼用画像１２が表示される。交差法または平行法は、予め選択されていてもよいし、使用者が操作部１０３を介して選択してもよい。

切取り編集領域指定ステップＳ３０２において、切取り編集部１０４は、ディスプレイ１１１に表示されている立体視画像１０の左眼用画像１１と右眼用画像１２とを切取り編集する。具体的には、使用者は、ディスプレイ１１１に表示されている立体視画像１０の左眼用画像１１と右眼用画像１２とについて、操作部１０３を介して、切取り編集領域を指定する。切取り編集領域を指定する簡易的で一般的な方法として、使用者は、左画面４０１Ｌに表示されている右眼用画像１２、または右画面４０１Ｒに表示されている左眼用画像１１上にマウスカーソルを移動させ、矩形領域の一頂角を始点として決定した後、その対角に位置する一頂角を終点として決定する。このように、使用者は、操作部１０３を介して、始点と終点とを決定することによって、始点と終点とで囲まれた矩形領域を切取り編集領域として指定する。

さらに、左眼用画像１１と右眼用画像１２との両画像について、使用者が切取り編集領域を指定する方法としては、例えば、特徴点対応探索方法または同一座標選択方法を用いる。ここでは、特徴点対応探索方法を用いることとし（図４において、「特徴点対応探索」を選択）、使用者は、左画面４０１Ｌに表示されている右眼用画像１２に対して、切取り編集領域４０２Ｌ（図４において点線で示す）を指定する。これにより、例えば、ステレオマッチング方式によって、使用者が指定した切取り編集領域４０２Ｌと同一の特徴点を持つ位置を右画面４０１Ｒに表示されている左眼用画像１１から探索して、切取り編集領域４０２Ｒ（図４において点線で示す）が決定される。特徴点対応探索方法または同一座標選択方法は、予め選択されていてもよいし、使用者が操作部１０３を介して選択してもよい。

基点視差指定ステップＳ３０３において、切取り編集領域補正部１０５は、切取り編集領域指定ステップＳ３０２において指定された切取り編集領域４０２Ｌおよび４０２Ｒについて、基点視差を指定する。具体的には、使用者は、ディスプレイ１１１に表示されている立体視画像１０の左眼用画像１１と右眼用画像１２との切取り編集領域の枠について、操作部１０３を介して、基点視差を指定する。なお、基点視差とは、表示画面に対する奥行き情報である当該切取り編集領域の枠自体が有する視差である。

図５は、本発明の第１の実施形態に係る立体視画像の編集画面４００の構成（基点視差指定）を示す図である。基点視差を指定する方法として、使用者は、０．０ｍｍ〜１０．０ｍｍの範囲を移動する基点視差指定バー上で、マウスポインタを移動させて、切取り編集後の立体視画像について、表示画面に対する奥行きを指定する。例えば、基点視差が０．０ｍｍに指定されると、立体視画像１０の切取り編集領域について、当該切取り編集領域の枠自体が有する視差が最小となるように設定することを意味する。基点視差が１０．０ｍｍに指定されると、立体視画像１０の切取り編集領域について、当該切取り編集領域の枠自体が有する視差が最大となるように設定することを意味する。ここでは、図５に示しているように、使用者は、基点視差を３．０ｍｍ程度に指定しているものとする。

なお、ここでは、基点視差指定バーで使用者が指定できる基点視差は、０．０ｍｍ〜１０．０ｍｍの範囲としているが、これに限定されるものではない。また、基点視差を指定する方法も、図５に示したような基点視差指定バーに限定されるものではなく、例えば、使用者が、キーボードのテンキー等を介して、直接、基点視差の数値を入力してもよい。

切取り編集領域補正ステップＳ３０４において、切取り編集領域補正部１０５は、基点視差指定ステップＳ３０３において指定された基点視差に基づいて、当該基点視差に対応するように、ディスプレイ１１１に表示されている立体視画像１０の左眼用画像１１と右眼用画像１２とについて、切取り編集領域指定ステップＳ３０２において指定された切取り編集領域４０２Ｌおよび４０２Ｒを補正する。具体的には、基点視差が３．０ｍｍに指定されているため、当該基点視差に対応するように、切取り編集領域補正部１０５は、ディスプレイ１１１に表示されている立体視画像１０の左眼用画像１１と右眼用画像１２とについて、切取り編集領域４０２Ｌおよび４０２Ｒ（図５において点線で示す）を、切取り編集補正領域４０３Ｌおよび４０３Ｒ（図５において実線で示す）に補正する。

図６は、基点視差に対応する切取り編集領域補正方法６００を示すフローチャートである。

ステップＳ６０１において、右眼用画像１２と左眼用画像１１とについて、切取り編集領域指定ステップＳ３０２において指定された切取り編集領域４０２Ｌおよび４０２Ｒ内において、当該切取り編集領域４０２Ｌおよび４０２Ｒの左上端を基点として、それぞれ所定の単位面積毎に領域を分割する。右眼用画像１２と左眼用画像１１とについて、切取り編集領域４０２Ｌおよび４０２Ｒ内において、分割された領域単位で、対応する特徴点を面積相関の計算を用いて探索する。つまり、切取り編集領域４０２Ｌおよび４０２Ｒにおいて、同一の特徴点の位置を探索する。

ステップＳ６０２において、例えば、ステレオマッチング方式によって、右眼用画像１２と左眼用画像１１とについて、切取り編集領域４０２Ｌおよび４０２Ｒ内において、同一特徴点が存在した場合（ステップＳ６０２のＹｅｓ）、当該特徴点が有する視差を算出する（ステップＳ６０３）。例えば、右眼用画像１２について切取り編集領域４０２Ｌ内における任意の特徴点の相対位置と、左眼用画像１１について切取り編集領域４０２Ｒ内における同一特徴点の相対位置との水平方向のずれ量を視差として利用することができる。また、その他の方法として、人間の両眼の幅をその平均値６．５ｃｍとして三角測量による左右の特徴点の視差を算出してもよい。

ステップＳ６０４において、ステップＳ６０２において探索された特徴点について、当該特徴点が有する視差と同一視差を有する特徴点のうち、当該特徴点が切取り編集領域４０２Ｌおよび４０２Ｒ内において、最左端の特徴点であるか否かを判定する。同一視差の特徴点のうち、当該特徴点が最左端の特徴点である場合（ステップＳ６０４のＹｅｓ）、当該視差に対応する最左端点情報として、左眼用画像および右眼用画像における当該特徴点の座標をメモリ等に保存する（ステップＳ６０５）。

同様に、ステップＳ６０６において、ステップＳ６０２において探索された特徴点について、当該特徴点が有する視差と同一視差を有する特徴点のうち、当該特徴点が切取り編集領域４０２Ｌおよび４０２Ｒ内において、最右端の特徴点であるか否かを判定する。同一視差の特徴点のうち、当該特徴点が最右端の特徴点である場合（ステップＳ６０６のＹｅｓ）、当該視差に対応する最右端点情報として、左眼用画像および右眼用画像における当該特徴点の座標をメモリ等に保存する（ステップＳ６０７）。

なお、ステップＳ６０２において、右眼用画像１２と左眼用画像１１とについて、切取り編集領域４０２Ｌおよび４０２Ｒ内において、同一特徴点が存在しない場合（ステップＳ６０２のＮｏ）、上述したステップＳ６０３〜Ｓ６０７の処理は行わない。

以上のように、ステップＳ６０１〜Ｓ６０７を切取り編集領域４０２Ｌおよび４０２Ｒ内の全特徴点に対して繰返し実行する（ステップＳ６１０）。これにより、切取り編集領域補正部１０５は、切取り編集領域４０２Ｌおよび４０２Ｒ内において、所定の視差に対応する左眼用画像および右眼用画像の最左端点情報と最右端点情報とをメモリ等に保存することによって、切取り編集領域補正候補テーブルを生成する。

図７は、切取り編集領域補正候補テーブル７００を示す図である。図７において、切取り編集領域補正候補テーブル７００は、左眼用画像および右眼用画像のそれぞれにおいて、所定の視差に対応する最左端座標と最右端座標とを保持している。ここでは、所定の視差を０．０ｍｍから１．０ｍｍ毎とし、保持する座標をＸ座標およびＹ座標としているが、これに限定されるわけではない。例えば、ステップＳ６０３において詳細に視差を算出することによって、視差の間隔を１．０ｍｍより小さくしてもよい。また、両眼視差による立体視では、視差に影響するのは水平方向のみであるため、保持する座標をＸ座標のみとしてもよい。

そして、切取り編集領域補正部１０５は、切取り編集領域補正候補テーブル７００に基づいて、基点視差指定ステップＳ３０３において指定された基点視差に対応するように、切取り編集領域指定ステップＳ３０２において指定された切取り編集領域４０２Ｌおよび４０２Ｒを補正する。具体的には、切取り編集領域補正部１０５は、右眼用画像１２の切取り編集領域４０２Ｌを切取り編集補正領域４０３Ｌに補正する。基点視差が３．０ｍｍに指定されているため、切取り編集領域補正候補テーブル７００に基づいて、切取り編集補正領域４０３Ｌは、左端のＸ座標を７０、右端のＸ座標を１７７０である。また、切取り編集領域補正部１０５は、左眼用画像１１の切取り編集領域４０２Ｒを切取り編集補正領域４０３Ｒに補正する。基点視差が３．０ｍｍに指定されているため、切取り編集領域補正候補テーブル７００に基づいて、切取り編集補正領域４０３Ｒは、左端のＸ座標を５０、右端のＸ座標を１７３０である。

なお、ステップＳ６１０において、上述したステップＳ６０１〜Ｓ６０７を切取り編集領域４０２Ｌおよび４０２Ｒ内の全特徴点に対して繰返し実行するこことしたが、必ずしも切取り編集領域４０２Ｌおよび４０２Ｒ内の全特徴点に対して繰返し実行する必要はない。切取り編集領域４０２Ｌおよび４０２Ｒ内における視差毎の最左座標および最右座標が決定した時点で、上述したステップＳ６０１〜Ｓ６０７の処理を終了してもよい。

なお、切取り編集領域を補正する際、指定された基点視差に対応するように、切取り編集領域を補正するが、左眼用画像１１および右眼用画像１２の切取り編集領域４０２Ｌおよび４０２Ｒについて、それぞれを補正してもよいし、一方（例えば、左眼用画像１１の切取り編集領域４０２Ｌ）を固定して、他方（右眼用画像１２の切取り編集領域４０２Ｒ）のみを補正してもよい。

また、切取り編集領域補正部１０５が切取り編集領域補正候補テーブル７００に基づいて、切取り編集領域４０２Ｌおよび４０２Ｒを切取り編集補正領域４０３Ｌおよび４０３Ｒに補正する場合、切取り編集領域４０２Ｌおよび４０２Ｒの水平方向の大きさが小さくなる場合がある。使用者が指定した切取り編集領域４０２Ｌおよび４０２Ｒの水平方向の大きさのみ小さく補正されると、使用者が意図しない切取り編集となってしまう場合がある。このため、切取り編集領域４０２Ｌおよび４０２Ｒの水平方向の大きさの補正に応じて、鉛直方向の大きさも補正してもよい。つまり、切取り編集補正領域４０３Ｌおよび４０３Ｒにおいて、使用者が指定した切取り編集領域４０２Ｌおよび４０２Ｒの縦横の比率を保持してもよい。

編集画像保存ステップＳ３０５において、記憶部１０１は、切取り編集補正領域４０３Ｌおよび４０３Ｒで切取り編集された右眼用切取り編集補正領域画像１４と左眼用切取り編集補正領域画像１３とを切取り編集後の画像として記憶する。

図８は、図５に示した切取り編集補正領域における切取り編集後の立体視画像を示す図である。図８において、切取り編集後の立体視画像は、上述したように切取り編集補正領域４０３Ｌおよび４０３Ｒで切取り編集された右眼用切取り編集補正領域画像１４と左眼用切取り編集補正領域画像１３とから構成される。圧縮伸長部１０２は、右眼用切取り編集補正領域画像１４と左眼用切取り編集補正領域画像１３とをＭＰＥＧ形式で圧縮変換し、さらに、記憶部１０１は、圧縮変換された右眼用切取り編集補正領域画像１４と左眼用切取り編集補正領域画像１３とを記憶する。このように、切取り編集後の立体視画像が生成される。

なお、切取り編集後の立体視画像は、切取り編集補正領域４０３Ｌおよび４０３Ｒの座標情報をメタデータとして立体視画像１０に紐付けて保存する方法を用いてもよい。また、立体視画像１０の画面解像度そのものを切取り編集補正領域４０３Ｌおよび４０３Ｒとなるように加工し、圧縮伸長部１０２によって圧縮変換してから記憶部１０１へ保存する方法を用いてもよい。

以上のように、本発明の第１の実施形態に係る立体視画像編集装置１００および立体視画像編集方法３００によれば、使用者は、指定した切取り編集領域の枠について、当該切取り編集領域の枠自体が有する視差である基点視差を指定することによって、立体視画像の表示領域について所望の奥行きを持たせることを可能とし、結果的に、使用者が所望する立体感を有する立体視画像を得ることができる。使用者は、指定した切取り編集領域の枠について、当該切取り編集領域の枠自体が有する視差である基点視差を指定することができるため、使用者が指定した切取り編集領域の枠を、当該切取り編集領域の画像に対して最も手前とみて、表示画面の奥に向かって画像の奥行きを持たせることができ、逆に、使用者が指定した切取り編集領域の枠を、表示画面に対して最も奥とみて、当該切取り編集領域の枠に対して手前側に向かって被写体を飛び出させて見せることもできる。

なお、本実施形態では、立体視画像１０は、動画であって、ＭＰＥＧ形式で圧縮されているものとしたが、これに限定されるわけではない。例えば、立体視画像１０の圧縮形式は、ＡＶＩ形式およびＨ．２６４形式などの他の圧縮形式でもよい。また、立体視画像１０は、静止画であって、例えば、ＪＰＥＧ形式など圧縮形式を用いていもよい。圧縮伸長部１０２は、種々の圧縮形式に応じて、立体視画像を圧縮変換および伸長変換する。

なお、ディスプレイ１１１は、立体視画像１０の左眼用画像１１と右眼用画像１２とについて、使用者が指定した切取り編集領域、および切取り編集領域補正部１０５によって補正された切取り編集領域を重畳して表示してもよい。さらに、ディスプレイ１１１は、切取り編集領域が補正された右眼用切取り編集補正領域画像１４と左眼用切取り編集補正領域画像１３とを表示してもよいし、右眼用切取り編集補正領域画像１４と左眼用切取り編集補正領域画像１３とから構成される切取り編集後の立体視画像をプレビューしてもよい。

また、図４および図５に示したように、立体視画像の編集画面４００は、プレビューボタン、決定ボタン、およびキャンセルボタンを備えていてもよい。使用者は、プレビューボタン、決定ボタン、およびキャンセルボタンを操作することによって、立体視画像の編集状況を確認しながら、立体視画像の切取り編集処理を行うことができる。具体的には、使用者は、プレビューボタンを押下することによって、切取り編集補正領域４０３Ｌと４０３Ｒとに基づく右眼用切取り編集補正領域画像１４と左眼用切取り編集補正領域画像１３とから構成される立体視画像をディスプレイに表示して確認する。使用者は、表示された立体視画像を確認して、使用者が所望する立体感を有する立体視画像と判断した場合は、決定ボタンを押下することによって、当該右眼用切取り編集補正領域画像１４と左眼用切取り編集補正領域画像１３とを切取り編集後の画像として、記憶部１０１に記憶する。一方、使用者は、表示された立体視画像を確認して、使用者が所望する立体感を有する立体視画像でないと判断した場合は、キャンセルボタンを押下することによって、当該右眼用切取り編集補正領域画像１４と左眼用切取り編集補正領域画像１３とを削除する。

なお、操作部１０３がキーボードの場合には、図４および図５に示した決定ボタンおよびキャンセルボタンに代えて、決定を意味するキー（Ｅｎｔｅｒキーなど）およびキャンセルを意味するキー（ＥＳＣキーなど）を用いてもよい。

このように、使用者は、切取り編集後の立体視画像を確認しながら、使用者が所望する立体感を有する立体視画像を生成することができる。使用者は、指定した切取り編集領域の枠を当該切取り編集領域の画像に対して、さらに手前とみて、表示画面の奥に向かって画像の奥行きを持たせるような立体感を得たい場合は、指定する基点視差を大きくするように変更すればよい。逆に、使用者は、指定した切取り編集領域の枠を表示画面に対して、さらに奥とみて、当該切取り編集領域の枠に対して手前側に向かって被写体を飛び出させるような立体感を得たい場合は、指定する基点視差を小さくするように変更すればよい。

つまり、使用者は、切取り編集領域の大きさ、および切取り編集領域の位置について、試行錯誤しなくても、指定する基点視差を変更するだけで、使用者が所望する立体感を有する立体視画像を生成することができる。

また、使用者が何度も基点視差を変更した場合であっても、予め図７に示した切取り編集領域補正候補テーブル７００を作成しておけば、当該切取り編集領域補正候補テーブル７００を参照することによって、効率よく、切取り編集補正領域を決定することができる。

＜第２の実施形態＞
本実施形態に係る立体視画像装置の基本的な構成、および立体視画像方法の基本的なフローについては、本発明の第１の実施形態と同様である。本実施形態は、切取り編集領域の枠自体が有する視差である基点視差を使用者が指定する方法について、本発明の第１の実施形態と異なる。以下に、本発明の第１の実施形態と異なる点について説明する。

図９は、本発明の第２の実施形態に係る立体視画像の編集画面４１０の構成（最小基点視差指定）を示す図である。使用者は、ディスプレイ１１１に表示されている立体視画像１０の左眼用画像１１と右眼用画像１２との切取り編集領域の枠について、操作部１０３を介して、切取り編集領域の枠自体が有する視差である基点視差を指定する。

図３に示した基点視差指定ステップＳ３０３において、切取り編集領域補正部１０５は、切取り編集領域指定ステップＳ３０２において指定された切取り編集領域４０２Ｌおよび４０２Ｒについて、基点視差を指定する。図５に示したように、本発明の第１の実施形態では、基点視差を指定する方法として、使用者は、０．０ｍｍ〜１０．０ｍｍの範囲を移動する基点視差指定用バー上で、マウスポインタを移動させて、切取り編集後の立体視画像について、表示画面に対する奥行きを指定していた。

本実施形態では、立体視画像に映っている被写体（特徴点）を指定する。具体的には、図９に示すように、使用者は、マウスポインタを移動させて、表示画面に対して最も奥にある被写体である「建物」を指定する。ここで、指定された「建物」が有する視差と同一の視差を、切取り編集領域の枠自体が有する視差である基点視差とする。その後、切取り編集領域補正ステップＳ３０４において、切取り編集領域補正部１０５は、当該指定された「建物」が有する視差を基点視差として、本発明の第１の実施形態と同様に、切取り編集領域４０２Ｌおよび４０２Ｒ（図９において点線で示す）を、切取り編集補正領域４０３Ｌおよび４０３Ｒ（図９において実線で示す）に補正する。

図１０は、図９に示した切取り編集補正領域における切取り編集後の立体視画像を示す図である。図１０において、切取り編集後の立体視画像は、上述したように切取り編集補正領域４０３Ｌおよび４０３Ｒで切取り編集された右眼用切取り編集補正領域画像１４と左眼用切取り編集補正領域画像１３とから構成される。圧縮伸長部１０２は、右眼用切取り編集補正領域画像１４と左眼用切取り編集補正領域画像１３とをＭＰＥＧ形式で圧縮変換し、さらに、記憶部１０１は、圧縮変換された右眼用切取り編集補正領域画像１４と左眼用切取り編集補正領域画像１３とを記憶する。このように、切取り編集後の立体視画像が生成される。

図１１は、本発明の第２の実施形態に係る立体視画像の編集画面４１１の構成（最大基点視差指定）を示す図である。図１１に示すように、使用者は、マウスポインタを移動させて、表示画面に対して最も手前にある被写体である「木」を指定する。ここで、指定された「木」が有する視差と同一の視差を、切取り編集領域の枠自体が有する視差である基点視差とする。その後、切取り編集領域補正ステップＳ３０４において、切取り編集領域補正部１０５は、当該指定された「建物」が有する視差を基点視差として、本発明の第１の実施形態と同様に、切取り編集領域４０２Ｌおよび４０２Ｒ（図１１において点線で示す）を、切取り編集補正領域４０３Ｌおよび４０３Ｒ（図１１において実線で示す）に補正する。

図１２は、図１１に示した切取り編集補正領域における切取り編集後の立体視画像を示す図である。図１２において、切取り編集後の立体視画像は、上述したように切取り編集補正領域４０３Ｌおよび４０３Ｒで切取り編集された右眼用切取り編集補正領域画像１４と左眼用切取り編集補正領域画像１３とから構成される。圧縮伸長部１０２は、右眼用切取り編集補正領域画像１４と左眼用切取り編集補正領域画像１３とをＭＰＥＧ形式で圧縮変換し、さらに、記憶部１０１は、圧縮変換された右眼用切取り編集補正領域画像１４と左眼用切取り編集補正領域画像１３とを記憶する。このように、切取り編集後の立体視画像が生成される。

なお、立体視画像１０の圧縮形式は、ＭＰＥＧ形式に限定されるものではなく、例えば、ＡＶＩ形式およびＨ．２６４形式などの他の圧縮形式でもよい。また、立体視画像１０は、静止画であって、例えば、ＪＰＥＧ形式など圧縮形式を用いていもよい。

以上のように、本発明の第２の実施形態に係る立体視画像編集装置および立体視画像編集方法によれば、使用者は、指定した切取り編集領域の枠について、当該切取り編集領域の枠自体が有する視差である基点視差を指定することによって、立体視画像の表示領域について所望の奥行きを持たせることを可能とし、結果的に、使用者が所望する立体感を有する立体視画像を得ることができる。

さらに、本発明の第２の実施形態に係る立体視画像の編集画面４１０および４１１の構成によれば、コンテンツ作成者は、基点視差を指定する際に、立体視画像に映っている被写体（特徴点）を指定することができるため、立体視画像の切取り編集領域の枠自体が有する視差と、コンテンツ視聴者に注視させたい被写体（特徴点）の視差とを一致させることができる。従って、特に、ピクチャ・イン・ピクチャで表示される場合、コンテンツ視聴者が親画面から子画面へ視点を移した時には、子画面において、コンテンツ視聴者に注視して欲しい被写体へスムーズに視点を誘導させることができる。

なお、本発明の第１および第２の実施形態で説明した立体視画像編集装置を構成する全て又は一部の機能ブロックは、典型的には集積回路であるＬＳＩ（集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、又はウルトラＬＳＩ等と称される）として実現される。これらは、個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。

また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別の技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。

また、本発明の第１および第２の実施形態で説明した立体視画像編集装置の各機能は、記憶装置（ＲＯＭ、ＲＡＭ、ハードディスク等）に格納された上述した処理手順を実行可能な所定のプログラムデータが、ＣＰＵによって解釈実行されることで実現してもよい。この場合、プログラムデータは、記録媒体を介して記憶装置内に導入されてもよいし、記録媒体上から直接実行されてもよい。ここで、記録媒体とは、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤ、ＢＤ等の光ディスク、メモリカード等の記録媒体をいう。また、記録媒体は、電話回線や搬送路等の通信媒体も含む概念である。

本発明は、左眼用画像と右眼用画像とから構成される立体視画像の一部の領域を切取り編集する場合等に有用である。例えば、本発明は、立体視画像の一部の領域を拡大表示させたり、親画面に重畳するピクチャ・イン・ピクチャ形式で表示させたりする場合等に適用することができる。また、本発明は、複数の画像および／または複数の立体視画像をタイル状に並べるレイアウトで表示させる場合等に適用することができる。

１０ 立体視画像
１１ 左眼用画像
１２ 右眼用画像
１３ 左眼用切取り編集補正領域画像
１４ 右眼用切取り編集補正領域画像
１００ 立体視画像編集装置
１０１ 記憶部
１０２ 圧縮伸長部
１０３ 操作部
１０４ 切取り編集部
１０５ 切取り編集領域補正部
１０６ 制御部
１０７ 外部インタフェース
１１０ 表示部
１１１ ディスプレイ
１１２ ＶＲＡＭ
３００ 立体視画像編集方法
４００、４１０、４１１ 立体視画像の編集画面
４０１Ｌ 左画面
４０１Ｒ 右画面
４０２Ｌ 左画面切取り編集領域
４０２Ｒ 右画面切取り編集領域
４０３Ｌ 左画面切取り編集補正領域
４０３Ｒ 右画面切取り編集補正領域
６００ 切取り編集領域補正方法

Claims (12)

1. ディスプレイに表示された左眼用画像と右眼用画像とから構成される立体視画像を、使用者の所望の立体感を有する立体視画像に編集する立体視画像編集装置であって、
   前記立体視画像を記憶する記憶部と、
   前記記憶部に記憶されている前記立体視画像を前記ディスプレイに表示可能な形式に変換する圧縮伸長部と、
   前記ディスプレイに表示された立体視画像の左眼用画像と右眼用画像とについて、切取り編集領域、および当該切取り編集領域の枠自体が有する視差である基点視差を、前記使用者に指定させる操作部と、
   前記使用者によって指定された切取り編集領域に基づいて、前記ディスプレイに表示された立体視画像の左眼用画像と右眼用画像とを切取り編集する切取り編集部と、
   前記切取り編集された左眼用画像および右眼用画像において、同一の特徴点の位置を探索し、前記探索した特徴点における視差を算出し、前記算出した特徴点における視差のうち、前記使用者によって指定された基点視差と同一の視差を有する最左端の特徴点の位置および最右端の特徴点の位置を検出し、前記切取り編集領域の左端および右端の位置を対応する前記検出された最左端の特徴点の位置および前記検出された最右端の特徴点の位置に補正する切取り編集領域補正部とを備える、立体視画像編集装置。
2. 前記操作部は、前記基点視差を前記使用者に直接指定させることを特徴とする、請求項１に記載の立体視画像編集装置。
3. 前記操作部は、前記切取り編集された左眼用画像と右眼用画像とについて、前記切取り編集領域内の被写体の一部を前記使用者に指定させ、
   前記指定した被写体の一部が有する視差を前記基点視差とすることを特徴とする、請求項１に記載の立体視画像編集装置。
4. 前記切取り編集領域補正部は、
   前記使用者によって指定された基点視差と同一の視差を有する前記切取り編集された左眼用画像および右眼用画像の特徴点のうち、最左端である特徴点と最右端である特徴点とを前記切取り編集された左眼用画像および右眼用画像のそれぞれについて検出し、
   前記切取り編集された左眼用画像および右眼用画像のそれぞれの左端および右端を、対応する前記検出された最左端である特徴点の位置および前記検出された最右端である特徴点の位置に補正することを特徴とする、請求項１に記載の立体視画像編集装置。
5. 前記切取り編集領域補正部は、
   少なくとも１つ以上の所定の視差について、当該所定の視差を有する前記切取り編集領域内の特徴点のうち、最左端である特徴点と最右端である特徴点とを検出し、
   前記所定の視差と、前記検出された最左端である特徴点の位置および前記検出された最右端である特徴点の位置とを対応付けた切取り編集領域補正候補テーブルを生成し、
   前記切取り編集領域の左端および右端を、前記切取り編集領域補正候補テーブルにおいて、前記使用者によって指定された基点視差と同一の視差に対応付けられた最左端である特徴点の位置および最右端である特徴点の位置に補正することを特徴とする、請求項１に記載の立体視画像編集装置。
6. ディスプレイに表示された左眼用画像と右眼用画像とから構成される立体視画像を、使用者の所望の立体感を有する立体視画像に編集する立体視画像編集装置が実行する立体視画像編集方法であって、
   編集対象となる立体視画像を前記ディスプレイに表示可能な形式に変換する圧縮伸長ステップと、
   前記ディスプレイに表示された立体視画像の左眼用画像と右眼用画像とについて、切取り編集領域を指定する切取り編集領域指定ステップと、
   前記指定された切取り編集領域に基づいて、前記ディスプレイに表示された立体視画像の左眼用画像と右眼用画像とを切取り編集する切取り編集ステップと、
   前記切取り編集された左眼用画像と右眼用画像とについて、前記切取り編集領域の枠自体が有する視差である基点視差を指定する基点視差指定ステップと、
   前記切取り編集された左眼用画像および右眼用画像において、同一の特徴点の位置を探索し、前記探索した特徴点における視差を算出し、前記算出した特徴点における視差のうち、前記使用者によって指定された基点視差と同一の視差を有する最左端の特徴点の位置および最右端の特徴点の位置を検出し、前記切取り編集領域の左端および右端の位置を対応する前記検出された最左端の特徴点の位置および前記検出された最右端の特徴点の位置に補正する切取り編集領域補正ステップと、
   前記補正された切取り編集領域で切取り編集された左眼用画像と右眼用画像とを前記立体視画像編集装置に保存する編集画像保存ステップとを実行する、立体視画像編集方法。
7. 前記基点視差指定ステップは、前記基点視差を前記使用者に直接指定させることを特徴とする、請求項６に記載の立体視画像編集方法。
8. 前記基点視差指定ステップは、前記切取り編集された左眼用画像と右眼用画像とについて、前記切取り編集領域内の被写体の一部を前記使用者に指定させ、
   前記指定した被写体の一部が有する視差を前記基点視差とすることを特徴とする、請求項６に記載の立体視画像編集方法。
9. 前記切取り編集領域補正ステップは、
   前記指定された基点視差と同一の視差を有する前記切取り編集領域内の特徴点のうち、最左端である特徴点と最右端である特徴点とを検出し、
   前記切取り編集領域の左端および右端を、前記検出された最左端である特徴点の位置および前記検出された最右端である特徴点の位置に補正することを特徴とする、請求項６に記載の立体視画像編集方法。
10. 前記切取り編集領域補正ステップは、
    少なくとも１つ以上の所定の視差について、当該所定の視差を有する前記切取り編集領域内の特徴点のうち、最左端である特徴点と最右端である特徴点とを検出し、
    前記所定の視差と、前記検出された最左端である特徴点の位置および前記検出された最右端である特徴点の位置とを対応付けた切取り編集領域補正候補テーブルを生成し、
    前記切取り編集領域の左端および右端を、前記切取り編集領域補正候補テーブルにおいて、前記指定された基点視差と同一の視差に対応付けられた最左端である特徴点の位置および最右端である特徴点の位置に補正することを特徴とする、請求項６に記載の立体視画像編集方法。
11. ディスプレイに表示された左眼用画像と右眼用画像とから構成される立体視画像を、使用者の所望の立体感を有する立体視画像に編集する立体視画像編集方法をコンピュータに実行させる、立体視画像編集プログラムであって、
    編集対象となる前記立体視画像を前記ディスプレイに表示可能な形式に変換する圧縮伸長ステップと、
    前記ディスプレイに表示された立体視画像の左眼用画像と右眼用画像とについて、切取り編集領域を指定する切取り編集領域指定ステップと、
    前記指定された切取り編集領域に基づいて、前記ディスプレイに表示された立体視画像の左眼用画像と右眼用画像とを切取り編集する切取り編集ステップと、
    前記切取り編集された左眼用画像と右眼用画像とについて、前記切取り編集領域の枠自体が有する視差である基点視差を指定する基点視差指定ステップと、
    前記切取り編集された左眼用画像および右眼用画像において、同一の特徴点の位置を探索し、前記探索した特徴点における視差を算出し、前記算出した特徴点における視差のうち、前記使用者によって指定された基点視差と同一の視差を有する最左端の特徴点の位置および最右端の特徴点の位置を検出し、前記切取り編集領域の左端および右端の位置を対応する前記検出された最左端の特徴点の位置および前記検出された最右端の特徴点の位置に補正する切取り編集領域補正ステップと、
    前記補正された切取り編集領域で切取り編集された左眼用画像と右眼用画像とを前記立体視画像編集装置に保存する編集画像保存ステップとを実行させる、立体視画像編集プログラム。
12. ディスプレイに表示された左眼用画像と右眼用画像とから構成される立体視画像を、使用者の所望の立体感を有する立体視画像に編集する、集積回路であって、
    前記立体視画像を記憶する記憶部と、
    前記記憶部に記憶されている前記立体視画像を前記ディスプレイに表示可能な形式に変換する圧縮伸長部と、
    前記ディスプレイに表示された立体視画像の左眼用画像と右眼用画像とについて、前記使用者によって指定された切取り編集領域に基づいて、当該左眼用画像と右眼用画像とを切取り編集する切取り編集部と、
    前記切取り編集された左眼用画像および右眼用画像において、同一の特徴点の位置を探索し、前記探索した特徴点における視差を算出し、前記算出した特徴点における視差のうち、前記使用者によって指定された前記切取り編集領域の枠自体が有する視差と同一の視差を有する最左端の特徴点の位置および最右端の特徴点の位置を検出し、前記切取り編集領域の左端および右端の位置を対応する前記検出された最左端の特徴点の位置および前記検出された最右端の特徴点の位置に補正する切取り編集領域補正部とを備える、集積回路。

Images