JP4918689B2 - メッシュマップを用いて二次元画像から立体画像を生成する立体画像生成方法及び立体画像生成装置 - Google Patents

Description

本出願は、韓国知的財産庁においてなされた以下の出願について利益を主張する。その出願とは、２００７年１月１０日になされた韓国特許出願第１０-２００７-０００２８８３号、２００７年３月１９日になされた韓国特許出願第１０-２００７-００２６５６８号、そして、２００７年４月６日になされた韓国特許出願第１０-２００７-００３４３２１号であり、これら出願の開示内容は、その全体が参照により本明細書の一部として援用される。

本発明は、立体画像を生成する方法及び装置に、そして、当該立体画像生成方法を実行するためのコンピュータプログラムを記録したコンピュータ読取可能な記録媒体に関する。そして、より具体的に言えば、メッシュマップを用いて二次元（２Ｄ）画像から立体画像を生成する方法及び装置に関する。本発明の方法及び装置においては、２Ｄデジタル画像が読み取られ、当該２Ｄ画像とメッシュマップとは、両者を重ねた形で表示される。また、メッシュマップのメッシュ形状及び奥行き情報（奥行き値）はユーザによって編集され、２Ｄ画像に含まれるピクセル（画素）の相対的奥行き情報が、メッシュ形状と奥行き情報とに従って算出される。算出された２Ｄ画像の相対的奥行き情報を用いて立体画像ファイルが生成される。そして、この方法を実行するためのコンピュータプログラムはコンピュータ読取可能な記録媒体に記録される。

本発明における２Ｄ画像は、一般的な静止画像または動画を含む。
本発明では、好ましい構成として、２Ｄ画像はデジタルフォーマットで受信される。しかし、２Ｄ画像をアナログフォーマットで受信して、公知の方法でデジタルフォーマットに変換することにしてもよい。
本発明では、立体画像を生成する装置は、ハードウェアで実現することもできる。しかし、本装置は、立体画像生成ソフトウェアで実現するのが好ましい。

本発明に関する以下の説明は、本発明がコンピュータに適用された場合を想定しているが、本発明はそれに限定されない。本発明は、高性能携帯電話を含め、あらゆる電子機器に適用できる。

一般に、人間が近くにある物体を見る際には立体（３Ｄ）効果が生じるが、この立体（３Ｄ）効果は、両目が水平方向に約６５ｍｍ離れていることから生じる両眼視差に起因する。つまり、両眼は、実体は１つの物体について２つの異なる画像を見ており、それら２つの画像は、網膜及び視神経を通して脳へ送られる。そして、視覚野（脳後部の大脳皮質のうち視覚情報を処理する領域）が２つの画像を合成することで、この物体に関する立体効果（3D effect）や立体感（spatial effect）が生じる。

仮想３Ｄ表示装置とは、両眼視差の現象を利用する特別なツールを有した２Ｄ表示装置において、仮想３Ｄ効果を実現するシステムである。すなわち、仮想３Ｄ効果は、画面に２つの両眼画像を同時に表示し、両眼画像の各々を２つの目のいずれかに見せようにすることで生じる。画面に２つの両眼画像を表示するにあたって、仮想３Ｄ表示装置は、ほとんどの場合、２つの両眼画像のピクセルラインを交互に配置するやり方、または、２つの両眼画像を所定の遅延をおいて交互に全面表示するやり方で、両眼画像を表示する。２つの両眼画像が画面に表示された時、右目は右目視界画像（right-eye-view）を捉え、左の目は左目視界画像（left-eye-view）を捉えるが、これは、裸眼立体化手法（autostereoscopic method）で用いられる表示装置のハードウェア構成による。すなわち、立体化手法で用いられる特別な眼鏡（例えば、偏光眼鏡や液晶ディスプレイ（ＬＣＤ）シャッター眼鏡）によって、右目視界画像は左目には見えないようにブロックされ、左目視界画像は右目には見えないようにブロックされる。

その他に、仮想３Ｄ表示用の立体画像の生成には、２台のカメラをお互いから約６５ｍｍ隔てた位置に置いて同時に異なる画像を撮る、という両眼撮影法を用いることもできる。しかし、両眼撮影法を用いると、撮影及び編集にあたって、作業を複雑かつ不便にする条件や処理が追加で必要となる。そのため、時間及びコストは、通常の動画撮影方法に比べてはるかに長く、大きくなる。従って、動画の両眼撮影法は、いくつかの特殊なケースに対象が限定されており、広く用いられているとは言えない。

近年、高画質かつ大画面のフラットパネル液晶表示装置が大量生産されるようになったのに伴い、仮想３Ｄ表示装置などのハードウェア技術は大きく進歩し、近い将来、一般に広く利用されるものになると期待されている。しかし、今のところ３Ｄ業界には更なる発展は見られない。それは、一般ユーザが簡単かつ当たり前に利用できる３Ｄコンテンツ（すなわち立体映画）が、充分に供給されていないからである。

そこで、一般的な静止画像及び動画を含む通常の２Ｄ画像を、画像処理用のコンピュータソフトウェアまたはハードウェアを用いて、低コストかつ短時間で立体画像に変換する技術が求められている。すなわち、１台のカメラを用いて撮られた単眼の画像ソース（monocular source）（通常の２Ｄデジタル画像）を、両眼撮影方法を用いて撮られた立体映像に匹敵する質の３Ｄ効果を有した立体画像に変換する技術が必要とされている。

韓国特許出願第１０-１９９７-０００８３８２号公報

本発明は、メッシュマップを用いて二次元（２Ｄ）画像から立体画像を生成する立体画像生成方法及び立体画像生成装置、そして、当該立体画像生成方法を実行するためのコンピュータプログラムを記録したコンピュータ読取可能な記録媒体、を提供する。
本発明はまた、２Ｄ画像を読み出し、２Ｄ画像とメッシュマップとを両者を重ねた形で表示し、メッシュマップの奥行き情報（奥行き値）とメッシュ形状とをユーザに編集させる、という処理で立体画像を生成する立体画像生成方法及び立体画像生成装置、そして、当該立体画像生成方法を実行するためのコンピュータプログラムを記録したコンピュータ読取可能な記録媒体、を提供する。

本発明の他の目的及び効果については、発明の詳細な説明において開示される実施の形態を通して、より明らかとなり、また理解されるであろう。さらに、本発明の目的及び効果については、特許請求の範囲に開示された構成及び特徴、ならびにその組み合わせによって実現されることが理解されるであろう。

本発明は、１つの構成として、メッシュマップを用いて２次元（２Ｄ）画像から立体画像を生成する立体画像生成装置であって、外部装置から静止画像または動画を含む２Ｄ画像と、ユーザによって編集されるメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値とを受信する受信ユニットと、 ２Ｄ画像とメッシュマップとを両者を重ねた形で表示する画面参照ユニットと、表示された画像の形状に従ってユーザにより編集されたメッシュマップのメッシュ形状と奥行き情報（奥行き値）とを管理する情報管理ユニットと、編集されたメッシュマップのメッシュ形状及び奥行き情報に従って、２Ｄ画像に含まれるピクセルの相対的な奥行き情報（奥行き値）を算出する計算ユニットと、算出された２Ｄ画像の相対的な奥行き情報を用いて立体画像ファイルを生成する立体画像生成ユニットと、を備えることを特徴とする立体画像生成装置を提供する。

本発明によれば、メッシュマップを用いて２Ｄ画像から立体画像を生成することができる。
すなわち、本発明によれば、２Ｄ画像を読み出し、２Ｄ画像及びメッシュマップを両者を重ねた形で表示し、メッシュマップの奥行き情報（奥行き値）及びメッシュ形状をユーザに編集させる、という処理によって、２Ｄ画像から立体画像が生成される。

こうした構成により、一般的な静止画像及び動画を含む通常の２Ｄ画像を、画像処理用のコンピュータソフトウェアまたはハードウェアを用いて、低コストかつ短時間で、３Ｄ効果を有した立体画像に変換することができ、そうして得られる立体画像は、あたかも両眼撮影方法を用いて撮影されたもののように見える。
本発明に関する上記及び他の特徴ならびに効果については、以下、添付図面を参照しながら、本発明の例示的な実施の形態について詳細に説明していくなかで、更に明らかになるであろう。

本発明の実施の形態による立体画像生成装置を含む立体画像生成システムを示す概略図である。 図１に示した本発明の実施の形態による立体画像生成装置を示す詳細ブロック図である。 本発明の実施の形態に従ってメッシュマップを用い２Ｄ画像から立体画像を生成する際の、ピクセルの相対的な奥行き値を算出する方法を示した詳細フローチャートである。 本発明の実施の形態に従ってメッシュマップを用い２Ｄ画像から立体画像を生成する際の、２Ｄ画像から立体画像を生成する方法を示した詳細フローチャートである。 本発明の実施例による立体画像生成装置が立体画像生成ソフトウェアの形で実現される場合の、コンピュータ画面の一例を示す写真画像である。

本発明の１つの構成として提供されるのが、メッシュマップを用いて２次元（２Ｄ）画像から立体画像を生成する立体画像生成装置であって、外部装置から静止画像または動画を含む２Ｄ画像と、ユーザによって編集されるメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値とを受信する受信ユニットと、２Ｄ画像とメッシュマップとを両者を重ねた形で表示する画面参照ユニットと、表示された画像の形状に従ってユーザにより編集されたメッシュマップのメッシュ形状と奥行き情報（奥行き値）とを管理する情報管理ユニットと、編集されたメッシュマップのメッシュ形状及び奥行き情報（奥行き値）に従って、２Ｄ画像に含まれるピクセルの相対的な奥行き情報を算出する計算ユニットと、算出された２Ｄ画像の相対的な奥行き情報を用いて立体画像ファイルを生成する立体画像生成ユニットと、を備えることを特徴とする立体画像生成装置である。

画面参照ユニットは、コンピュータが仮想３次元（３Ｄ）表示装置を有しているか否か判定し、編集中のメッシュマップのメッシュ形状及び奥行き情報を２Ｄ画像に適用することで立体画像を生成し、立体画像及びメッシュマップを、立体画像とメッシュマップとを重ねた形で表示する。
また、本発明の別の構成として、メッシュマップを用いて２次元(２Ｄ) 画像から立体画像を生成する立体画像生成装置であって、外部装置からの２Ｄ画像と、ユーザによって編集されるメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値とを受信する受信ユニットと、編集中のメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値を２Ｄ画像に適用することによって立体画像を生成し、立体画像及びメッシュマップを、立体画像とメッシュマップとを重ねた形で表示する画面参照ユニットと、表示された画像の形状に従ってユーザにより編集されたメッシュマップのメッシュ形状及び奥行き情報を管理する情報管理ユニットと、編集されたメッシュマップのメッシュ形状及び奥行き情報（奥行き値）に従って、２Ｄ画像に含まれるピクセルの相対的な奥行き情報を算出する計算ユニットと、算出された２Ｄ画像の相対的な奥行き情報を用いて立体画像ファイルを生成する立体画像生成ユニットと、を備えることを特徴とする立体画像生成装置を提供する。

受信された２Ｄ画像が動画である場合、情報管理ユニットは、編集された現在の画像のメッシュマップのメッシュ形状及び奥行き情報に基づき、隣接画像と現在の画像との差異に従って、隣接画像のメッシュ形状を自動的に変更すると共に、隣接画像のメッシュマップに含まれるメッシュの奥行き情報を自動的に算出する。
また、本発明の更に別の構成として、メッシュマップを用いて２次元（２Ｄ）画像から立体画像を生成する方法であって、２Ｄ画像を受信する処理と、２Ｄ画像とメッシュマップとを両者を重ねた形で表示する処理と、表示された画像の形状に従って行われるユーザ指示に応じてメッシュマップのメッシュ形状及び奥行き情報（奥行き値）を編集する処理と、編集されたメッシュマップのメッシュ形状及び奥行き情報に従って２Ｄ画像に含まれるピクセルの相対的な奥行き情報を算出する処理と、算出された２Ｄ画像の相対的な奥行き情報を用いて立体画像ファイルを生成する処理と、を含むことを特徴とする立体画像生成方法を提供する。

本方法については、コンピュータが仮想３次元（３Ｄ）表示装置を有しているか否か判定する処理と、コンピュータが仮想３Ｄ表示装置を有する場合に、編集中のメッシュマップのメッシュ形状及び奥行き情報を２Ｄ画像に適用することで立体画像を生成し、立体画像及びメッシュマップを、立体画像とメッシュマップとを重ねた形で表示する処理と、をさらに有することとしてもよい。

また、本発明の更に別の構成として、メッシュマップを用いて２次元（２Ｄ）画像から立体画像を生成する方法であって、２Ｄ画像を受信する処理と、編集中のメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値を２Ｄ画像に適用することによって立体（３Ｄ）画像を生成し、立体画像及びメッシュマップを、立体画像とメッシュマップとを重ねた形で表示する処理と、表示された画像の形状に従って行われるユーザ指示に応じてメッシュマップのメッシュ形状及び奥行き情報を編集する処理と、編集されたメッシュマップのメッシュ形状及び奥行き情報に従って、２Ｄ画像に含まれるピクセルの相対的な奥行き情報（奥行き値）を算出する処理と、算出された２Ｄ画像の相対的な奥行き情報を用いて立体画像ファイルを生成する処理と、を含むことを特徴とする立体画像生成方法を提供する。

そして、これまでに述べた方法のいずれかについて、受信された２Ｄ画像が動画である場合、編集された現在の画像のメッシュマップのメッシュ形状及び奥行き情報に基づき、隣接画像と現在の画像との差異に従って、隣接画像のメッシュ形状を自動的に変更すると共に、隣接画像のメッシュマップに含まれるメッシュの奥行き情報を自動的に算出する処理、を更に有すること、とすることもできる。

また、本発明の更に別の構成として、プロセッサを有する立体画像生成装置の機能を実現するコンピュータプログラムを記録したコンピュータ読取可能な記録媒体であって、前記機能には、２次元（２Ｄ）画像を受信する機能と、２Ｄ画像及びメッシュマップを、２Ｄ画像とメッシュマップとを重ねた形で表示する機能と、表示された画像の形状に従って行われるユーザ指示に応じてメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値を編集する機能と、編集されたメッシュマップのメッシュ形状及び奥行き情報に従って、２Ｄ画像に含まれるピクセル相対的な奥行き情報（奥行き値）を算出する機能と、算出された２Ｄ画像の相対的な奥行き情報を用いて立体画像ファイルを生成する機能と、が含まれること、を特徴とするコンピュータ読取可能な記録媒体を提供する。

そして、上記の機能には更に、コンピュータが仮想３次元（３Ｄ）表示装置を有しているか否か判定する機能と、仮想３Ｄ表示装置がコンピュータに含まれる場合、編集中のメッシュマップのメッシュ形状及び奥行き情報を２Ｄ画像に適用することで立体画像を生成し、立体画像及びメッシュマップを、立体画像とメッシュマップとを重ねた形で表示する機能とが含まれること、としてもよい。

また、本発明の更に別の構成として、プロセッサを有する立体画像生成装置の機能を実行するコンピュータプログラムを記録したコンピュータ読取可能な記録媒体であって、前記機能には、２次元（２Ｄ）画像を受信する機能と、編集中のメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値を２Ｄ画像に適用することによって立体（３Ｄ）画像を生成し、立体画像及びメッシュマップを、立体画像とメッシュマップとを重ねた形で表示する機能と、表示された画像の形状に従って行われるユーザ指示に応じてメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値を編集する機能と、編集されたメッシュマップのメッシュ形状及び奥行き情報に従って、２Ｄ画像に含まれるピクセルの相対的な奥行き情報（奥行き値）を算出する機能と、算出された２Ｄ画像の相対的な奥行き情報を用いて立体画像ファイルを生成する機能と、が含まれることを特徴とするコンピュータ読取可能な記録媒体を提供する。

そして、上記の機能には更に、受信された２Ｄ画像が動画である場合、編集された現在の画像のメッシュマップのメッシュ形状及び奥行き情報に基づき、隣接画像と現在の画像との差異に従って、隣接画像のメッシュ形状を自動的に変更すると共に、隣接画像のメッシュマップに含まれるメッシュの奥行き情報を自動的に算出する機能が含まれること、としてもよい。

上に述べた通り、本発明によれば、コンピュータに立体画像生成ソフトウェア（立体画像生成装置）をインストールし、一般的な静止画像または動画を含む２Ｄデジタル画像を読み込み、２Ｄ画像とメッシュマップとを両者を重ねた形で表示し、メッシュマップの奥行き情報（奥行き値）及びメッシュ形状の編集をユーザに行わせ、２Ｄ画像に含まれるピクセルの相対的な奥行き情報を、ユーザによって編集されたメッシュ形状及び奥行き情報に従って算出する、という処理によって立体画像ファイルが生成される。

本発明の目的及び効果については、発明の詳細な説明において開示される実施の形態によって、より明瞭になり、理解することができる。従って、本発明の技術的な特徴は、通常の当業者であれば容易に実施できるはずである。
本発明に関する以下の説明の中では、本発明に組み入れられた公知の機能及び構成部に関して詳細な説明を省略している場合があるが、それは、詳細に説明することで逆に本発明の主題があいまいになると考えたからである。

以下、添付図面を参照しながら本発明の実施の形態について解説し、本発明の詳細を明らかにする。
図１は、本発明の実施の形態による立体画像生成装置１２を含む立体画像生成システムを示す概略図である。
図１に見られる立体画像生成システムは、コンピュータ本体１１、コンピュータ画面１３、コンピュータ入力装置１７を有する。

コンピュータ本体１１は一般的なコンピュータシステムであり、中央演算処理装置（ＣＰＵ）、データ記憶装置（例：ＲＡＭ（Random Access Memorｙ）、ＲＯＭ（Read Onlｙ Memorｙ）、ハードディスク（ＨＤＤ））、各種インターフェースを有する。コンピュータ本体１１としては、通常のパーソナルコンピュータ（ＰＣ）、ノートパソコン、またはワークステーションが用いられる。コンピュータ本体１１は、短時間に大量の数学的計算を実行することで、即座にそして正確にデータを処理する。一般に、コンピュータ本体１１のＣＰＵにはマイクロプロセッサ（例えば、Intel Corporation社製のもの）が使用される。モニタなどの出力装置、表示装置、マウスやキーボードなどの入力装置が、有線環境または無線環境でコンピュータ本体１１に接続されている。

コンピュータ画面１３は、コンピュータ本体１１に接続された表示装置に含まれる。ここでの表示装置は様々な種類のものが可能であり、一般的な陰極線管（ＣＲＴ）型、液晶ディスプレイ（ＬＣＤ）型、そして、プラズマディスプレイパネル（ＰＤＰ）型などがある。表示装置に仮想三次元（３Ｄ）表示装置が含まれていれば、左目視界画像と右目視界画像とを含む立体画像をコンピュータ画面１３上に表示して、３Ｄ効果や立体感をユーザに感じさせることができる。

一方、立体画像生成装置１２は、例えば、立体画像生成ソフトウェアの形で実装される。これは、ＨＤＤにインストールされ、ユーザ命令によってＲＡＭなどのメモリに移動された後、ＣＰＵによって実行される。
この場合、立体画像を生成するために以下の処理が行われる。すなわち、立体画像生成装置１２をコンピュータ本体１１にインストールし、その立体画像生成装置１２が、一般的な静止画像または動画を含んだ二次元（２Ｄ）デジタル画像１５を読み込みまたは受信すると、それを右目視界画像と仮定して、２Ｄ画像１５及びメッシュマップ１４をコンピュータ画面１３上に、両者を重ねた形で表示する。

ここで、メッシュマップ１４は複数のメッシュから成り、各メッシュは４つの角を有する。メッシュの角には、コンピュータ画面１３上での位置に関するデータ（ｘ座標、ｙ座標）と、相対的な奥行き値のデータ（ｚ座標）とが与えられている。この場合、ｘ座標及びｙ座標がコンピュータ画面上の相対的な位置を示すのと同様に、各々の角の奥行き値（奥行き情報）は、対象物の絶対的な奥行き値ではなく、２Ｄ画像１５の大きさ（ピクセル数）に基づいて変換された相対的なｚ座標である。

立体画像生成装置１２が、２Ｄ画像１５及びメッシュマップ１４をコンピュータ画面１３上に、両者を重ねた形で表示すると、ユーザは、マウスやキーボードなどのコンピュータ入力装置１７を用い、メッシュの角（corners）の位置を修正することによって、２Ｄ画像１５の形状にメッシュ形状を一致させる編集を行う。そしてユーザは、表示された（２Ｄ）画像１５の主観的透視投影像（subjective perspectives）に従って、メッシュの角の奥行き値を入力する。このようにして、メッシュマップ１４は、表示された画像の形状に従ってユーザの手で編集される。この場合、立体画像生成装置１２は、ユーザによるメッシュマップの修正を受けて、メッシュマップ１４を最終形（final version）へと加工する。コンピュータ画面１３に修正後のメッシュマップ１４を表示して、ユーザによるメッシュ形状及び奥行き値の再編集を可能にし、表示された（２Ｄ）画像の形状に従って修正を行わせた後に再び表示する、という処理を繰り返す。

一方、仮想３Ｄ表示装置がコンピュータ１１に含まれている場合、立体画像は、ユーザが選択的設定を用いて編集中のメッシュマップ１４の奥行き値及びメッシュ形状に従って生成される。そして、生成された立体画像およびメッシュマップ１４がコンピュータ画面１３に表示される。そうして、立体画像が表示されている間、ユーザは、表示された（３Ｄ）画像の形状に従ってメッシュマップ１４を編集することができ、その編集は、メッシュマップ１４の奥行き値及びメッシュ形状を編集する形で行われる。

立体画像生成装置１２は、上でも述べたように、メッシュマップ１４の奥行き値及びメッシュ形状のデータを受信して、２Ｄ画像１５の全ピクセルについて相対的な奥行き値を算出することで立体画像ファイル１６を生成する。すなわち、立体画像生成装置１２は、右目視界画像（２Ｄ画像１５）の各ピクセルを、算出された相対的な奥行き値（奥行き情報）に従って、コンピュータ画面１３の左側または右側に水平方向に移動させることで左目視界画像を生成し、それによって立体画像ファイル１６を生成する。この処理において、算出されたピクセルの相対的な奥行き値（奥行き情報）が正の値である場合（すなわちピクセルが突出している場合）、そのピクセルは右側に移動させられる。そして、算出されたピクセルの相対的な奥行き値が負の値である場合（すなわち、ピクセルが引っ込んでいる場合）、そのピクセルは左側に移動させられる。立体画像ファイル１６は、左目視界画像のピクセルラインと右目視界画像のピクセルラインとを交互に配置する方法で生成することができる。この場合、左目視界画像のピクセルラインと右目視界画像のピクセルラインとは、水平方向または垂直方向に交互に配置される。なお、別の方法として、左目視界画像だけから立体画像１６を生成することもできる。

図２は、図１に示した本発明の実施の形態による立体画像生成装置を示す詳細ブロック図である。
図２を参照すると、同図に示す立体画像生成装置１２は、以下のユニットを有している。すなわち、外部装置から２Ｄ画像を受信すると共に、ユーザによって編集されるメッシュマップのメッシュ形状及び奥行き情報（奥行き値）を受信する受信ユニット２１、受信ユニット２１によって受信される２Ｄ画像及びメッシュマップをコンピュータ画面上に、両者を重ねた形で表示する画面参照ユニット２２、画面参照ユニット２２が表示する２Ｄ画像の形状に基づいてユーザが編集するメッシュマップのメッシュ形状及び奥行き値を保存、管理する情報管理ユニット２３、編集されたメッシュマップのメッシュ形状及び奥行き値に従って２Ｄ画像の全ピクセルについて相対的な奥行き値を算出する計算ユニット２４、そして、計算ユニット２４によって算出された２Ｄ画像の相対的な奥行き値（奥行き情報）を用いて立体画像ファイルを生成する立体画像生成ユニット２５である。

以下、立体画像生成装置１２の各構成要素について、更に詳細に説明する。
受信ユニット２１は、外部装置から２Ｄデジタル画像を受信し、ユーザによって編集されるメッシュマップの奥行き値及びメッシュ形状を受信する。すなわち、受信ユニット２１は、一般的な静止画像または動画を含んだ２Ｄ画像を読み取り又は受信し、その後、当該２Ｄ画像をコンピュータ本体内のメモリに転送する。図１を参照しながら上述したように、メッシュマップの奥行き値及びメッシュ形状は、ユーザによって編集される。ここでの動画は大部分が圧縮されているので、受信ユニット２１はさらに、２Ｄ画像を圧縮解除する処理も行う。２Ｄ画像がアナログファイルで入力される場合、受信ユニット２１は、公知の方法を用いてアナログファイルをデジタルファイルに変換する処理の主体となる。

画面参照ユニット２２は、受信ユニット２１から入力される２Ｄ画像と、例えばメッシュデータベース２６に保存されているメッシュマップとをコンピュータ画面上に、両者を重ねた形で表示するモジュールである。
本発明の別の実施の形態として、仮想３Ｄ表示装置がコンピュータに含まれている場合、画面参照ユニット２２は、ユーザの選択的設定によって編集中のメッシュマップの奥行き値及びメッシュ形状を、受信ユニット２２が受信した２Ｄ画像に適用することで立体画像を生成する。そして、生成された立体画像とメッシュマップとをコンピュータ画面上に、両者を重ねた形で表示する。すなわち、仮想３Ｄ表示装置がコンピュータに含まれる場合、立体画像は、ユーザの選択的設定によって編集中のメッシュマップの奥行き値及びメッシュ形状に従って生成され、生成された立体画像及びメッシュマップはコンピュータ画面上に、当該立体画像とメッシュマップとを重ねた形で表示される。つまり、ユーザは、受信ユニット２１を用い、立体画像の表示中にメッシュマップの奥行き値及びメッシュ形状を編集する。そうすることで、表示された（３Ｄ）画像の形状に従ってメッシュマップを編集することになる。

情報管理ユニット２３は、受信ユニット２１を用いるユーザがマウスやキーボードなどのコンピュータ入力装置を操作しながら編集したメッシュマップの奥行き値及びメッシュ形状を、保存及び管理するモジュールである。ここでのメッシュ形状及び奥行き値とは、メッシュマップに含まれるメッシュの４つの角の位置そして奥行き値にそれぞれ対応する。本実施の形態の場合、ユーザは、画面参照ユニット２２によって表示される２Ｄ画像の形状に従って、コンピュータ画面上でメッシュ形状及び奥行き値を編集する。そして、編集されたメッシュマップのメッシュ形状及び奥行き値は、例えばメッシュデータベース２６を用いて、保存及び管理される。

また、受信ユニット２１から入力される２Ｄ画像が動画であれば、情報管理ユニット２３はさらに、現在の画像（current image）の編集済みメッシュマップのメッシュ形状及び奥行き値に基づき、隣接画像のメッシュ形状を自動的に修正する処理や、隣接画像の奥行き値を当該隣接画像と現在の画像との差分に応じて自動的に算出する処理まで行う。
計算ユニット２４は、編集されたメッシュマップのメッシュ形状及び奥行き値に従い、２Ｄ画像の全てのピクセルに関して相対的な奥行き値（奥行き情報）を算出するモジュールである。すなわち、計算ユニット２４は、各ピクセルに関し、当該ピクセルを含むメッシュの４つの角の奥行き値及び距離比率（distance rate）を用いて、相対的な奥行き値を算出する。相対的な奥行き値の算出処理については、後で、図３を参照しながら詳しく説明する。

立体画像生成ユニット２５は、計算ユニット２４によって算出された２Ｄ画像の相対的な奥行き値を用いて、立体画像ファイルを生成する。すなわち、立体画像生成ユニット２５は、受信ユニット２１から入力される２Ｄ画像である右目視界画像に含まれる個々のピクセルを、計算ユニット２４が算出した相対的な奥行き値（奥行き情報）に従ってコンピュータ画面の右側または左側に移動させることによって、左目視界画像を生成する。そして、この処理において、ピクセルは、算出されたピクセルの相対的な奥行き値が正の値である（ピクセルが突出している）場合には、右側に移動させられ、逆に、算出されたピクセルの相対的な奥行き値が負の値である（ピクセルが引っ込んでいる）場合には、左側に移動させられ、それによって立体画像ファイルが生成される。

立体画像ファイルは、左目視界画像のピクセルラインと右目視界画像のピクセルラインとを交互に配置するやり方で生成することができる。ここで、左目視界画像のピクセルラインと右目視界画像のピクセルラインとは、水平方向に交互に配置してもよいし、垂直方向に交互に配置してもよい。なお、別のやり方として、左目視界画像だけから立体画像を生成することもできる。

相対的な奥行き値に従って右目視界画像のピクセルをコンピュータ画面の左側または右側に移動させる処理を行うにあたっては、例えば、左右の目の間には６５ｍｍの距離があり、両目とコンピュータ画面との間の距離は７０ｃｍであると仮定する。そう仮定すると、右目視界画像のピクセルが有する奥行き値が、コンピュータ画面のわずかに突出した位置に対応している場合、これに対応する左目視界画像のピクセルは、右目の視界の中心位置における縦軸の右側に約５°回転させた位置に移動させられる。［３６０°×６.５ｃｍ／（２×３.１４×７０ｃｍ）≒５°］。すなわち、算出されたピクセルの相対的な奥行き値が正の値である（ピクセルが突出している）場合には、ピクセルを水平方向右側に移動させて左目視界画像を生成し、算出されたピクセルの相対的な奥行き値が負の値である（ピクセルが引っ込んでいる）場合には、ピクセルを水平方向左側に移動させて左目視界画像を生成する。

図３は、メッシュマップを用いて２Ｄ画像から立体画像が生成する際の、本発明の実施の形態によるピクセルの相対的奥行き値算出方法を示す、詳細なフローチャートである。立体画像生成装置は、図３に示す方法を用いて、編集されたメッシュマップのメッシュ形状及び奥行き値に従い、２Ｄ画像の全てのピクセルについて相対的な奥行き値を算出する。ここでのメッシュ形状及び奥行き値とは、それぞれ、メッシュマップに含まれるメッシュの４つの角の位置そして奥行き値である。

先ず、処理３１において、相対的な奥行き値を算出すべき対象のピクセルを含んだメッシュを検出する。すなわち、編集済みメッシュマップに含まれるメッシュのうち、相対的な奥行き値を算出すべき対象のピクセルを含んだメッシュを、メッシュデータベースから検出する。メッシュの検出が可能なのは、ユーザがメッシュマップを編集するとメッシュ形状及び奥行き値がメッシュデータベースに保存されるからである。

次いで、処理３２において、メッシュの４つの角の位置（ｘ座標及びｙ座標）が検出される。
そして、処理３３において、対象ピクセルから４つの角までの距離が算出される。すなわち、ピクセルの位置（ｘ座標、ｙ座標）からメッシュの４つの角の位置（ｘ座標、ｙ座標）までの距離が算出される。

次いで、処理３４では、ユーザが編集したメッシュの４つの角の奥行き値（ｚ座標）が検出される。
その後、ピクセルの平均の相対的な奥行き値が、メッシュの４つの角の奥行き値（ｚ座標）を用いて算出される。すなわち、処理３５において、ピクセルの相対的な奥行き値は、ピクセルからメッシュの４つの角の距離比率を奥行き値に反比例で乗算し（inverse-proportionally multiplying）、そうした乗算で得られた値を後続の処理において平均する、という手順で算出される。

本計算方法の場合、処理３６において、メッシュが平面構造を有するか否かの判定が行われる。メッシュが平面構造を有する場合は、処理３７において、一次関数を用いた線形平均値（linear average）の算出が行われる。メッシュが平面構造ではなく凸面構造または凹面構造を有する場合は、処理３８において、多項式関数を用いた非線形平均値（non-linear average）の算出が行われる。

その後、処理３９において、２Ｄ画像の全ピクセルについて相対的な奥行き値が算出されたか否かの判定が行われる。２Ｄ画像のピクセルのうち相対的な奥行き値の算出が完了していないピクセルが残っている場合は処理３１に戻る。２Ｄ画像の全てのピクセルについて相対的な奥行き値の算出が完了していれば、本算出方法の実行も終わる。
図４は、本発明の実施の形態によって２Ｄ画像からメッシュマップを用いて立体画像を生成する際の、２Ｄ画像からの立体画像生成方法の詳細なフローチャートである。

最初に、コンピュータにインストールされた立体画像生成ソフトウェアなどで成る立体画像生成装置が、処理４１において、一般的な静止画像または動画を含む２Ｄデジタル画像を受信する。
その後、立体画像生成装置は、処理４２において、２Ｄ画像及びメッシュマップをコンピュータ画面上に、両者を重ねた形で表示する。

この場合、処理４３において、コンピュータが仮想３Ｄ表示装置を有しているか否かの判定が行われる。仮想３Ｄ表示装置をコンピュータが有していない場合は処理４５に進む。仮想３Ｄ表示装置をコンピュータが有している場合、編集中のメッシュマップのメッシュ形状及び奥行き値に従って立体画像が生成され、生成された立体画像とメッシュマップとは、処理４５に進む前に、処理４４においてコンピュータ画面に表示される。すなわち、仮想３Ｄ表示装置をコンピュータが有している場合、ユーザが選択的設定によって編集中のメッシュマップのメッシュ形状及び奥行き値を２Ｄ画像に適用することで立体画像を生成し、そうして生成された立体画像とメッシュマップとがコンピュータ画面に表示される。

一方、本発明の別の実施の形態として、コンピュータが仮想３Ｄ表示装置を有しておらず、２Ｄ表示装置だけを有している場合は、処理４３、４４を実行することなく、処理４２から直接処理４５に進む。
そして、処理４５において、メッシュマップは、表示された画像の形状に従い、マウスやキーボードなどのコンピュータ入力装置を操作するユーザによって編集される。ここでは、ユーザは例えば、表示された画像の形状に従って、メッシュマップのメッシュ形状を修正し、表示された画像の主観的な透視投影像に従って、メッシュマップに含まれるメッシュが有する４つの角の奥行き値を入力する。

その後、処理４６において、受信された２Ｄ画像が動画であるか否かの判定が行われる。受信された２Ｄ画像が静止画像であれば、処理４８に進む。受信された２Ｄ画像が動画であれば、立体画像生成装置は、現在の画像の編集されたメッシュマップのメッシュ形状及び奥行き値に基づき、現在の画像と隣接画像との差異に従い、隣接画像のメッシュ形状を自動的に修正するとともに、隣接画像のメッシュマップに含まれるメッシュの奥行き値を自動的に算出する。この修正および算出は、処理４８に進む前に、処理４７において行われる。本立体画像生成方法では、隣接画像が現在の画像と完全に異なる画像となるまで、隣接画像のメッシュマップのメッシュ形状及び奥行き値が自動的に算出される。

その後、立体画像生成装置は、処理４８において編集されたメッシュマップのメッシュ形状及び奥行き値に従って、２Ｄ画像の全ピクセルについて相対的な奥行き値を算出する。すなわち、各ピクセルの相対的な奥行き値は、当該ピクセルを含むメッシュが有する４つの角の奥行き値及び距離比率を用い、編集されたメッシュマップのメッシュ形状及び奥行き値に従って算出される。相対的な奥行き値の算出については、図３を参照しながら既に詳細に説明した。

その後、処理４９から５１において、立体画像生成装置は、２Ｄ画像の全てのピクセルについて算出された相対的な奥行き値を用い、立体画像ファイルを生成する。
すなわち、立体画像生成装置は、２Ｄ画像である右目視界画像の各々のピクセルを、算出された相対的な奥行き値に従って、コンピュータ画面の左側または右側に向けて移動させることによって左目視界画像を生成する。この処理において、ピクセルの算出された相対的な奥行き値が正の値である（ピクセルが突出している）場合、ピクセルは右側に移動させられ、ピクセルの算出された相対的な奥行き値が負の値である（ピクセルが引っ込んでいる）場合、ピクセルは左側に移動させられ、それによって立体画像ファイルが生成される。立体画像ファイルは、左目視界画像のピクセルラインと右目視界画像のピクセルラインとを交互に配置することで生成することができる。ここで、左目視界画像のピクセルラインと右目視界画像のピクセルラインとは、水平方向に交互に配置してもよいし、垂直方向に交互に配置してもよい。なお、別のやり方として、左目視界画像だけから立体画像を生成することもできる。

図５は、本発明の実施の形態による立体画像生成装置が立体画像生成ソフトウェアの形で実装された場合の、コンピュータ画面の一例を示す写真画像である。
本発明はまた、コンピュータ読取可能な記録媒体上のコンピュータ読取可能なコードの形で具体化することもできる。コンピュータ読取可能な記録媒体の例としては、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、ハードディスク（ＨＤＤ）、そして光磁気ディスクがある。

上述した通り、本発明によれば、メッシュマップを用いて２Ｄ画像から立体画像を生成することができる。
すなわち、本発明では、２Ｄ画像を読み込み、その２Ｄ画像及びメッシュマップを、両者を重ねた形で表示し、そして、ユーザにメッシュマップのメッシュ形状及び奥行き情報（奥行き値）を編集させることにより、立体画像を生成する。

従って、画像処理を行うコンピュータソフトウェアまたはハードウェアを用いて、一般的な静止画像または動画を含む通常の２Ｄ画像を、低コストかつ短時間で、両眼撮影方法を用いて撮られた立体画像のような３Ｄ効果を有する立体画像に変換することができる。
以上、本発明について、その例示的な実施の形態を挙げながら、具体的に図示及び説明してきた。ただし、添付の特許請求の範囲によって定義される本発明の思想及び範囲から逸脱しない形で、構造や詳細に様々な変形を加えることが可能であり、そのことは通常の技量を有した当業者には理解できるはずである。上に示した例示的な実施の形態は、説明のためのものと捉えるべきであり、これらに本発明を限定する意図はない。すなわち、本発明の範囲は、発明の詳細な説明によってではなく添付の特許請求の範囲によって定義され、その範囲の中におさまる差異は全て、本発明に含まれるものと解釈されるべきである。

Claims (23)

1. メッシュマップを用いて２次元（２Ｄ）画像から立体画像を生成する立体画像生成装置であって、
   外部装置から静止画像または動画を含む２Ｄ画像と、ユーザによって編集されるメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値とを受信する受信ユニットと、
   ２Ｄ画像とメッシュマップとを表示する画面参照ユニットと、
   表示された画像の形状に従ってユーザにより編集されたメッシュマップのメッシュ形状と奥行き情報とを管理する情報管理ユニットと、
   編集されたメッシュマップのメッシュ形状及び奥行き情報に従って、２Ｄ画像に含まれるピクセルの相対的な奥行き情報を算出する計算ユニットと、
   算出された２Ｄ画像の相対的な奥行き情報を用いて立体画像ファイルを生成する立体画像生成ユニットと、
   を備え、
   画面参照ユニットは、コンピュータが仮想３次元（３Ｄ）表示装置を有しているか否か判定し、編集中のメッシュマップのメッシュ形状及び奥行き情報を２Ｄ画像に適用することで立体画像を生成し、立体画像及びメッシュマップを、立体画像とメッシュマップとを重ねた形で表示すること、
   を特徴とする立体画像生成装置。
2. メッシュマップを用いて２次元(２Ｄ) 画像から立体画像を生成する立体画像生成装置であって、
   外部装置から静止画像または動画を含む２Ｄ画像と、ユーザによって編集されるメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値とを受信する受信ユニットと、
   編集中のメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値を２Ｄ画像に適用することによって立体（３Ｄ）画像を生成し、立体画像及びメッシュマップを、立体画像とメッシュマップとを重ねた形で表示する画面参照ユニットと、
   表示された画像の形状に従ってユーザにより編集されたメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値を管理する情報管理ユニットと、
   編集されたメッシュマップのメッシュ形状及び奥行き情報に従って、２Ｄ画像に含まれるピクセルの相対的な奥行き情報を算出する計算ユニットと、
   算出された２Ｄ画像の相対的な奥行き情報を用いて立体画像ファイルを生成する立体画像生成ユニットと、
   を備えることを特徴とする立体画像生成装置。
3. 受信された２Ｄ画像が動画である場合、情報管理ユニットは、編集された現在の画像のメッシュマップのメッシュ形状及び奥行き情報に基づき、隣接画像と現在の画像との差異に従って、隣接画像のメッシュ形状を自動的に変更すると共に、隣接画像のメッシュマップに含まれるメッシュの奥行き情報を自動的に算出すること、
   を特徴とする請求項１、２のいずれかに記載の立体画像生成装置。
4. 情報管理ユニットは、メッシュ形状及び奥行き情報、すなわち、編集されたメッシュマップのメッシュが有する４つの角の位置及び奥行き値を格納し、管理すること、
   を特徴とする請求項３に記載の立体画像生成装置。
5. 計算ユニットは、各ピクセルの相対的な奥行き情報を、編集されたメッシュマップのメッシュ形状及び奥行き情報に従い、ピクセルを含むメッシュが有する４つの角の奥行き情報及び距離比率（distance rate）を用いて算出すること、
   を特徴とする請求項１、２のいずれかに記載の立体画像生成装置。
6. 立体画像生成ユニットは、算出された相対的な奥行き情報に従い、ピクセルの情報が正の値である、すなわちピクセルが突出している場合、右目視界画像のピクセルをコンピュータ画面の右側に水平方向に移動させることで左目視界画像を生成し、左目視界画像のピクセルラインと右目視界画像のピクセルラインとを交互に配置することによって立体画像ファイルを生成すること、
   を特徴とする請求項１、２のいずれかに記載の立体画像生成装置。
7. 立体画像生成ユニットは、算出された相対的な奥行き情報に従い、ピクセルの情報が負の値である、すなわちピクセルが引っ込んでいる場合、右目視界画像のピクセルをコンピュータ画面の左側に水平方向に移動させることで左目視界画像を生成し、左目視界画像のピクセルラインと右目視界画像のピクセルラインとを交互に配置することによって立体画像ファイルを生成すること、
   を特徴とする請求項６に記載の立体画像生成装置。
8. 立体画像生成ユニットは、算出された相対的な奥行き情報に従い、ピクセルの情報が正の値である、すなわちピクセルが突出している場合、右目視界画像のピクセルをコンピュータ画面の右側に水平方向に移動させることで左目視界画像を生成し、左目視界画像に対応した立体画像ファイルを生成すること、
   を特徴とする請求項１、２のいずれかに記載の立体画像生成装置。
9. 立体画像生成ユニットは、算出された相対的な奥行き情報に従い、ピクセルの情報が負の値である、すなわちピクセルが引っ込んでいる場合、右目視界画像のピクセルをコンピュータ画面の左側に水平方向に移動させることで左目視界画像を生成し、左目視界画像に対応した立体画像ファイルを生成すること、
   を特徴とする請求項８に記載の立体画像生成装置。
10. 受信ユニットは、外部装置から静止画像または動画を含む２Ｄデジタル画像を受信すると共に、表示された画像の形状に従って編集されるメッシュマップのメッシュ形状及び奥行き情報を受信すること、
    を特徴とする請求項１、２のいずれかに記載の立体画像生成装置。
11. メッシュマップを用いて２次元（２Ｄ）画像から立体画像を生成する方法であって、
    ２Ｄ画像を受信する処理と、
    ２Ｄ画像とメッシュマップとを表示する処理と、
    表示された画像の形状に従って行われるユーザ指示に応じてメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値を編集する処理と、
    編集されたメッシュマップのメッシュ形状及び奥行き情報に従って２Ｄ画像に含まれるピクセルの相対的な奥行き情報を算出する処理と、
    算出された２Ｄ画像の相対的な奥行き情報を用いて立体画像ファイルを生成する処理と、
    コンピュータが仮想３次元（３Ｄ）表示装置を有しているか否か判定する処理と、
    編集中のメッシュマップのメッシュ形状及び奥行き情報を２Ｄ画像に適用することで立体画像を生成し、立体画像及びメッシュマップを、立体画像とメッシュマップとを重ねた形で表示する処理と、を含むこと
    を特徴とする立体画像生成方法。
12. メッシュマップを用いて２次元（２Ｄ）画像から立体画像を生成する方法であって、
    ２Ｄ画像を受信する処理と、
    編集中のメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値を２Ｄ画像に適用することによって立体（３Ｄ）画像を生成し、立体画像及びメッシュマップを、立体画像とメッシュマップとを重ねた形で表示する処理と、
    表示された画像の形状に従って行われるユーザ指示に応じてメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値を編集する処理と、
    編集されたメッシュマップのメッシュ形状及び奥行き情報に従って、２Ｄ画像に含まれるピクセルの相対的な奥行き情報を算出する処理と、
    算出された２Ｄ画像の相対的な奥行き情報を用いて立体画像ファイルを生成する処理と、を含むこと
    を特徴とする立体画像生成方法。
13. 受信された２Ｄ画像が動画である場合、編集された現在の画像のメッシュマップのメッシュ形状及び奥行き情報に基づき、隣接画像と現在の画像との差異に従って、隣接画像のメッシュ形状を自動的に変更すると共に、隣接画像のメッシュマップに含まれるメッシュの奥行き情報を自動的に算出する処理、を更に有すること、
    を特徴とする請求項１１、１２のいずれかに記載の立体画像生成方法。
14. メッシュマップを編集する処理とは、
    表示された画像の形状に従って行われるユーザ指示に応じてメッシュマップのメッシュ形状及び奥行き情報を編集する処理と、
    メッシュ形状及び奥行き情報、すなわち、編集されたメッシュマップのメッシュが有する４つの角の位置及び奥行き値を格納し、管理する処理とであること、
    を特徴とする請求項１１、１２のいずれかに記載の立体画像生成方法。
15. 相対的な奥行き情報を算出する処理とは、編集されたメッシュマップのピクセルを含むメッシュが有する４つの角の奥行き情報及び距離比率を用いて、各ピクセルとの相対的な奥行き情報を算出する処理であること、
    を特徴とする請求項１１、１２のいずれかに記載の立体画像生成方法。
16. 立体画像ファイルを生成する処理には、計算された相対的な奥行き情報に従い、ピクセルの情報が正の値である、すなわちピクセルが突出している場合に、右目視界画像のピクセルをコンピュータ画面の右側に水平方向に移動させることで左目視界画像を生成し、左目視界画像のピクセルラインと右目視界画像のピクセルラインとを交互に配置することによって立体画像ファイルを生成する処理、が含まれること、
    を特徴とする請求項１１、１２のいずれかに記載の立体画像生成方法。
17. 立体画像ファイルを生成する処理には、計算された相対的な奥行き情報に従い、ピクセルの情報が負の値である、すなわちピクセルが引っ込んでいる場合に、右目視界画像のピクセルをコンピュータ画面の左側に水平方向に移動させることで左目視界画像を生成し、左目視界画像のピクセルラインと右目視界画像のピクセルラインとを交互に配置することによって立体画像ファイルを生成する処理、が含まれること、
    を特徴とする請求項１６に記載の立体画像生成方法。
18. 立体画像ファイルを生成する処理には、計算された相対的な奥行き情報に従い、ピクセルの情報が正の値である、すなわちピクセルが突出している場合、右目視界画像のピクセルをコンピュータ画面の右側に水平方向に移動させることで左目視界画像を生成し、左目視界画像に対応した立体画像ファイルを生成する処理、が含まれること、
    を特徴とする請求項１１、１２のいずれかに記載の立体画像生成方法。
19. 立体画像ファイルを生成する処理には、計算された相対的な奥行き情報に従い、ピクセルの情報が負の値である、すなわちピクセルが引っ込んでいる場合、右目視界画像のピクセルをコンピュータ画面の左側に水平方向に移動させることで左目視界画像を生成し、左目視界画像に対応した立体画像ファイルを生成する処理、が含まれること、
    を特徴とする請求項１８に記載の立体画像生成方法。
20. ２Ｄ画像を受信する処理とは、外部装置から静止画像または動画を含む２Ｄデジタル画像を受信する処理であること、
    を特徴とする請求項１１、１２のいずれかに記載の立体画像生成方法。
21. 立体画像生成装置のプロセッサに特定の機能を実現させるためのコンピュータプログラムを記録したコンピュータ読取可能な記録媒体であって、前記特定の機能には、
    ２次元（２Ｄ）画像を受信する機能と、
    立体画像生成装置に２Ｄ画像及びメッシュマップを、２Ｄ画像とメッシュマップとを重ねた形で表示させる機能と、
    表示された画像の形状に従って行われるユーザ指示に応じてメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値を変更する機能と、
    変更されたメッシュマップのメッシュ形状及び奥行き情報に従って、２Ｄ画像に含まれるピクセル相対的な奥行き情報を算出する機能と、
    算出された２Ｄ画像の相対的な奥行き情報を用いて立体画像ファイルを生成する機能と、
    コンピュータが仮想３次元（３Ｄ）表示装置を有しているか否かを判定する機能と、
    仮想３Ｄ表示装置がコンピュータに含まれる場合、編集中のメッシュマップのメッシュ形状及び奥行き情報を２Ｄ画像に適用することで立体画像を生成し、仮想３Ｄ表示装置に立体画像及びメッシュマップを、立体画像とメッシュマップとを重ねた形で表示させる機能と、が含まれること、
    を特徴とするコンピュータ読取可能な記録媒体。
22. 立体画像生成装置のプロセッサに特定の機能を実現させるためのコンピュータプログラムを記録したコンピュータ読取可能な記録媒体であって、前記特定の機能には、
    ２次元（２Ｄ）画像を受信する機能と、
    編集中のメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値を２Ｄ画像に適用することによって立体（３Ｄ）画像を生成し、立体画像生成装置に立体画像及びメッシュマップを、立体画像とメッシュマップとを重ねた形で表示させる機能と、
    表示された画像の形状に従って行われるユーザ指示に応じてメッシュマップのメッシュ形状及び奥行き情報すなわち奥行き値を変更する機能と、
    変更されたメッシュマップのメッシュ形状及び奥行き情報に従って、２Ｄ画像に含まれるピクセルの相対的な奥行き情報を算出する機能と、
    算出された２Ｄ画像の相対的な奥行き情報を用いて立体画像ファイルを生成する機能と、が含まれること
    を特徴とするコンピュータ読取可能な記録媒体。
23. 前記特定の機能には、
    受信された２Ｄ画像が動画である場合、変更された現在の画像のメッシュマップのメッシュ形状及び奥行き情報に基づき、隣接画像と現在の画像との差異に従って、隣接画像のメッシュ形状を自動的に変更すると共に、隣接画像のメッシュマップに含まれるメッシュの４つの角の奥行き情報を自動的に算出する機能が、更に含まれること、
    を特徴とする請求項２１、２２のいずれかに記載のコンピュータ読取可能な記録媒体。