JP4956574B2 - 立体画像描画装置および描画方法 - Google Patents

立体画像描画装置および描画方法 Download PDF

Info

Publication number
JP4956574B2
JP4956574B2 JP2009071666A JP2009071666A JP4956574B2 JP 4956574 B2 JP4956574 B2 JP 4956574B2 JP 2009071666 A JP2009071666 A JP 2009071666A JP 2009071666 A JP2009071666 A JP 2009071666A JP 4956574 B2 JP4956574 B2 JP 4956574B2
Authority
JP
Japan
Prior art keywords
image
foreground
camera
board
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009071666A
Other languages
English (en)
Other versions
JP2010226443A (ja
Inventor
島 快 行 爰
下 明 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2009071666A priority Critical patent/JP4956574B2/ja
Priority to US12/559,899 priority patent/US20100245350A1/en
Publication of JP2010226443A publication Critical patent/JP2010226443A/ja
Application granted granted Critical
Publication of JP4956574B2 publication Critical patent/JP4956574B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、立体画像描画装置および描画方法に関するもので、特にCG(コンピュータグラフィックス)の立体画像を描画するために用いられる。
視差を有する複数枚の画像(多視点画像)の各画素を離散的に配置して1枚の合成画像を形成し、レンチキュラーレンズなどを用いて合成画像の各画素からでる光線の軌道を制御することにより、観察者に立体画像を知覚させる表示装置が知られている。
立体画像の表示方式は2眼式、多眼式、インテグラルフォトグラフィーなどに分類される。近年ではインテグラルフォトグラフィーはインテグラルイメージング(II)方式と呼ばれることが多い。II方式の立体画像表示装置は現実に近い光線を再生できる理想的な方式として知られているが、ディスプレイ面(レンズ面)から離れるにつれて光線の密度が粗くなり、立体画像の画質が劣化するという問題がある。
そこで、ディスプレイ面から奥方向(ディスプレイ面からみて観察者から遠ざかる方向)に離れた遠景領域の画質劣化を防ぐために、予め作成しておいた遠景の単視点画像を多視点画像の背景として合成する方法が知られている(例えば、特許文献1参照)。この方法を使うと遠景の立体感を正確に再現することができなくなるが、遠景の画質劣化を防ぐことができる。一般に、人間の視覚機能は遠景の立体感に対して鈍感であるため、この方法は多くのCG(コンピュータグラフィックス)のコンテンツにおいて効果的に機能する。
また、多視点画像を作成する際に、ディスプレイ面からどの程度奥方向に離れた領域を遠景とみなすかを指定するための方法が知られている(例えば、特許文献2参照)。利用者は背景ボード(本明細書では遠景ボードと表記する)と呼ばれるCGの四角形モデルをディスプレイ面に平行に配置して、遠景領域と、それより手前側の領域の境界面を指定する。この遠景ボードを前後に移動させることにより、遠景領域の範囲を調節することが可能である。
特開2006−211291号公報 特開2007−96951号公報
従来の立体画像の描画方法では、上述したように遠景の画質劣化を防ぐことはできるものの、ディスプレイ面から手前方向(ディスプレイ面からみて観察者に近づく方向)に飛び出した近景の画質劣化を防ぐことができなかった。したがって、既存のCGのコンテンツを立体画像として表示する際には、表示対象物がディスプレイ面から手前方向に飛び出し過ぎないようにコンテンツを手直ししなければならないことが多かった。
本発明は、上記事情を考慮してなされたものであって、遠景と近景の両方の画質劣化を防ぐことのできる立体画像描画装置、および描画方法を提供することを目的とする。
本発明の一態様による立体画像描画装置は、多視点カメラに関するデータと、描画対象物の形状に関するデータと、遠景領域および近景領域の範囲に関するデータと、描画処理の手順に関するデータと、を少なくとも含んだデータを記憶するとともに画像メモリを有するデータ記憶部と、前記データ記憶部からコンピュータグラフィックスの画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した1台のカメラよって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、作成された1枚の遠景画像を前記データ記憶部の前記画像メモリに書き込む遠景画像作成部と、前記データ記憶部からコンピュータグラフィックスの画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した1台のカメラによって近景領域内にある描画対象物の投影画像である近景画像を作成し、作成された1枚の近景画像を前記データ記憶部の前記画像メモリに書き込む近景画像作成部と、前記遠景画像作成部によって作成された遠景領域内にある描画対象物の遠景画像を前記データ記憶部から読み出して、その遠景画像を、遠景ボードとなるコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、前記四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む遠景ボード描画部と、前記データ記憶部からコンピュータグラフィックスの立体画像を描画するために必要なデータを読み出して、遠景領域と近景領域の間にある中景領域内にある描画対象物の投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む中景画像描画部と、前記近景画像作成部によって作成された近景領域内にある描画対象物の近景画像を前記データ記憶部から読み出して、その近景画像を、近景ボードとなるコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、その四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む近景ボード描画部と、
前記データ記憶部の前記画像メモリから、前記遠景ボード描画部、および前記中景画像描画部、および前記近景ボード描画部によって描画された複数毎の投影画像を読み出して、画素配列を並べ替えて立体表示可能な形式の画像に変換し、前記データ記憶部に書き込む画素配列変換部と、前記画素配列変換部によって作成された立体表示可能な形式の画像を前記データ記憶部から読み出して、観察者に提示するための提示手段と、を備えていることを特徴とする。
また、本発明の他の態様による立体画像描画方法は、色成分の輝度を表すカラー値と、不透明度を表すアルファ値を記憶することのできる形式の画像メモリの全画素のアルファ値をゼロに初期設定するステップと、多視点カメラの中央位置付近に配置した1台のカメラによって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、前記画像メモリに記憶するステップと、前記多視点カメラの中央位置付近に配置した1台のカメラによって近景領域内にある描画対象物の投影像を計算し、前記画像メモリの近景画像を記憶する領域に対して、投影像の色成分の輝度値を書き込むとともに、新たに書き込まれた画素のアルファ値を非ゼロに書き換えるステップと、前記多視点カメラに含まれる全てのカメラによって前記遠景ボードの多視点画像を描画し、前記画像メモリに記憶するステップと、前記多視点カメラに含まれるすべてのカメラによって中景領域内の描画対象物の多視点画像である中景画像を描画し、前記中景画像を、同じカメラによって描画された前記遠景ボードの多視点画像が記憶されている前記画像メモリに上書きして記憶するステップと、 前記多視点カメラに含まれるすべてのカメラによって前記近景ボードの多視点画像を描画し、同じカメラによって描画された前記中景画像が記憶されている前記画像メモリに上書きして多視点画像として記憶するステップと、前記多視点画像を立体表示可能な形式の画像に変換するステップと、前記立体表示可能な形式の画像を立体画像として提示するステップと、を備えていることを特徴とする。
本発明によれば、遠景と近景の両方の画質劣化を防ぐことができる。
本発明の一実施形態による立体画像描画装置の概略構成を示すブロック図。 遠景の単視点画像の描画方法を示す図。 近景の単視点画像の描画方法を示す図。 多視点画像の描画方法を示す図。 遠景ボードの多視点画像の描画結果の一例を示す図。 中景の多視点画像の描画結果の一例を示す図。 近景ボードの多視点画像の描画結果の一例を示す図。 本発明の一実施形態に係る立体画像描画装置の第1処理手順を示すフローチャート。 本発明の一実施形態に係る立体画像描画装置の第2処理手順を示すフローチャート。
以下に図面を参照して本発明の実施形態を説明する。
本発明の一実施形態による立体画像描画装置の概略構成を図1に示す。この図1では、各ブロック間のデータの流れを矢印で示している。この図1から分かるように、本実施形態による立体画像描画装置は、CGデータ記憶部1と、遠景画像作成部2と、近景画像作成部3と、遠景ボード描画部4と、中景画像描画部5と、近景ボード描画部6と、画素配列変換部7と、提示部8と、を備えている。
なお、図1に示す本実施形態では、各処理ブロックがデータを読み書きするメモリをCGデータ記憶部1としてまとめて表記しているが、帯域幅や容量の異なる複数のメモリ上に分割して構成してもよい。
以下に、図1の各処理ブロックの詳細な動作(処理)を説明する。
[CGデータ記憶部1]
CGデータ記憶部1には、多視点カメラに関するデータと、遠景領域および近景領域の範囲に関するデータと、描画対象物に関するデータと、光源に関するデータと、描画処理の手順を記述したプログラムに関するデータと、遠景画像作成部2によって作成される遠景画像に関するデータと、近景画像作成部3によって作成される近景画像に関するデータと、遠景ボード描画部4および中景画像描画部5ならびに近景ボード描画部6によって描画される多視点画像に関するデータと、画素配列変換部7によって作成される立体表示可能な形式の画像に関するデータなどを記憶している。
遠景画像に関するデータと、多視点画像に関するデータは、CGにおいて一般的な画像形式であるRGB形式、あるいはRGBA形式でCGデータ記憶部1に記憶されるものとする。ここで、R、G、Bは画像を構成する各画素の赤、緑、青の値を表し、Aは各画素のアルファ値(不透明度)を表している。一方、近景画像に関するデータは、RGB形式ではなく、アルファ値を含むRGBA形式でCGデータ記憶部1に記憶されるものとする。
なお、多視点画像を描画するために必要となる複数のカメラに関するデータは、すべてCGデータ記憶部1に記憶しておいてもよい。また、代表的なカメラに関するデータだけをCGデータ記憶部1に記憶しておき、必要に応じて残りのカメラに関するデータを計算して求めるように構成しても構わない。また、CGデータ記憶部1に保持されるCGデータは上記の形式に限定されず、所望のCGを描画するために必要となるあらゆるデータを含んでいてもよい。
[遠景画像作成部2]
遠景画像作成部2は、CGデータ記憶部1からCGを描画するために必要な各種データを読み出して、1台のカメラによって遠景領域内にある描画対象物の投影画像を作成し、作成された1枚の投影画像をCGデータ記憶部1に確保されている画像メモリに書き込む。
図2(a)に示すように、本明細書における遠景領域20とは、遠景ボード21とファークリップ面(以下、Farクリップ面ともいう)22とに挟まれた領域のことであり、カメラ100から見てディスプレイ面10よりも奥方向に離れたところに位置している。ここで、図2(a)は投影画像を作成する際に、カメラ100、描画対象物200を側面から見た図である。遠景ボード21は、CGの四角形モデルをディスプレイ面に平行に配置したものである。なお、カメラ100から見てディスプレイ面10よりも手前方向に離れて位置する近景ボード31が存在し、この近景ボード31よりも更に手前にニアクリップ面(以下、Nearクリップ面ともいう)32が存在する。
遠景画像作成部2では、最初に、CGデータ記憶部1から多視点カメラの中心位置が読み出される。あるいは、CGデータ記憶部1から多視点カメラの位置座標列が読み出されて、それらの中心位置が計算される。次に、得られた中心位置に1台のカメラ100が配置される。あるいは、多視点カメラに含まれるカメラの中から、得られた中心位置に最も近い1台のカメラ100が選択される。次に、その1台のカメラ100によって遠景ボード21とFarクリップ面22に挟まれた遠景領域20内にある描画対象物200の投影画像が作成される。このようにして作成された投影画像はCGデータ記憶部1に確保されている画像メモリに書き込まれて記憶される。本明細書では、ここで作成された投影画像のことを遠景画像と表記する。図2(b)に遠景画像の一例を示す。
[近景画像作成部3]
近景画像作成部3は、CGデータ記憶部1からCGを描画するために必要な各種データを読み出して、1台のカメラによって近景領域内にある描画対象物の投影画像を作成し、作成された1枚の投影画像をCGデータ記憶部1に確保されている画像メモリに書き込む。
図3(a)に示すように、本明細書における近景領域30とは、Nearクリップ面31と近景ボード32に挟まれた領域のことであり、カメラ100から見てディスプレイ面10より手前方向に飛び出したところに位置している。ここで、図3(a)は、投影画像を作成する際に、カメラ100、描画対象物300を側面から見た図である。
近景画像作成部3では、最初に、CGデータ記憶部1に確保されているRGBA形式の画像メモリの全画素のアルファ値がゼロにクリアされる。次に、遠景画像作成部2において遠景画像を作成したときと同じように、多視点カメラの中心位置に1台のカメラ100が配置されるか、あるいは、多視点カメラに含まれるカメラの中から中心位置に最も近い1台のカメラ100が選択される。次に、その1台のカメラ100によって近景領域30内にある描画対象物300の投影画像が作成される。作成された投影画像は、さきほどアルファ値をクリアしておいたCGデータ記憶部1に確保されているRGBA形式の画像メモリに書き込まれる。このとき、新たに書き込まれた各画素のアルファ値は非ゼロ(例えば255)に書き換えられる。本明細書では、ここで作成された投影画像のことを近景画像と表記する。
図3(b)に近景画像の例を示す。この図から分かるように、近景画像においては、近景領域30内にある描画対象物300の投影像によって新たに書き込まれた画素のアルファ値Aは非ゼロ(例えば255)になり、それ以外の画素のアルファ値はゼロにクリアされたまま維持されることになる。
[遠景ボード描画部4]
遠景ボード描画部4では、最初に、CGデータ記憶部1から多視点カメラに関するデータが読み出される。次に、多視点カメラに含まれるカメラのうちの1つのカメラが選択されて、そのカメラによって遠景ボードの投影画像が描画される。このとき、遠景画像作成部2によって作成された遠景画像がCGデータ記憶部1から読み出されて、図4に示すように、遠景ボード全体を覆うように、テクスチャマッピングによって貼り付けられる。これらの処理を多視点カメラ110に含まれるすべてのカメラについて繰り返すことによって、遠景ボードの多視点画像を描画することができる。なお、図4は、遠景ボード21の投影画像を描画する際に、多視点カメラ110および遠景ボード21を側面から見た図である。
図5に遠景ボードの多視点画像の一例を示す。遠景ボードの多視点画像は、各カメラによって描画された遠景ボードの投影画像をタイル状に並べた形式で、CGデータ記憶部1に確保された画像メモリに書き込まれて記憶される。図5は9台のカメラによって描画された多視点画像の例を表している。この図では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。
なお、遠景ボードのようなCGモデルに対して画像を貼り付ける技法はテクスチャマッピングと呼ばれ、GPU(グラフィックスプロセッシングユニット)などのハードウェアを用いて高速に実行することが可能である。
[中景画像描画部5]
中景画像描画部5では、最初に、CGデータ記憶部1から多視点カメラに関するデータが読み出される。次に、図4に示すように、多視点カメラ110に含まれるカメラのうちの1つが選択されて、そのカメラによって近景ボード31と遠景ボード21に挟まれた領域40内にある描画対象物400の投影画像(中景画像)が描画される。本明細書では近景ボード31と遠景ボード21とに挟まれた領域40のことを中景領域と表記する。描画結果は、遠景ボード描画部4において、同じカメラによって描画された遠景ボードの投影画像が記憶された画像メモリに上書きされて記憶される。これらの処理を多視点カメラ110に含まれるすべてのカメラについて繰り返すことによって、中景領域の多視点画像を描画することができる。
図5に示した遠景ボードの多視点画像に対して、中景領域の多視点画像を上書き描画した結果の例を図6に示す。この図では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。
[近景ボード描画部6]
近景ボード描画部6では、最初に、CGデータ記憶部1から多視点カメラに関するデータが読み出される。次に、多視点カメラに含まれるカメラのうちの1つが選択されて、そのカメラによって近景ボードの投影画像が描画される。このとき、近景画像作成部3によって作成された近景画像がCGデータ記憶部1から読み出されて、近景ボード全体を覆うように、テクスチャマッピングによって貼り付けられる。描画結果は、中景画像描画部5において、同じカメラによって描画された投影画像が記憶され画像メモリに上書きされて記憶される。ただし、このときに書き込み元の画素(すなわち近景画像の画素)のうち、アルファ値Aが非ゼロの画素だけが画像メモリに書き込まれるようにする。こうすることにより、近景画像の画素のうち、近景領域30内にある描画対象物300の投影像によって新たに書き込まれた画素だけを上書きすることができる。以上の処理を多視点カメラに含まれるすべてのカメラについて繰り返すことによって、近景ボード31の多視点画像を描画することができる。
図6に示した中景の多視点画像に対して、近景ボード31の多視点画像を上書き描画した結果の例を図7に示す。この図7では、各カメラの描画結果をすべて同じものとして図示しているが、実際には、各カメラの描画結果は異なる視点位置から投影したものであることに注意する。
なお、このようなアルファ値Aに基づいた書き込み制御の仕組みはアルファテストと呼ばれ、GPU(グラフィックスプロセッシングユニット)などのハードウェアを用いて高速に実行することが可能である。
[画素配列変換部7]
画素配列変換部7は、CGデータ記憶部1から、遠景ボード描画部4、および中景画像描画部5、および近景画像描画部6によって描画された多視点画像を読み出して、画素配列を並べ替えて立体表示可能な形式に変換し、変換結果をCGデータ記憶部1に書き込む。
[提示部8]
提示部8は、CGデータ記憶部1に記憶されている立体表示可能な形式の画像を観察者に提示するためのディスプレイやレンチキュラーレンズ、プリンタなどで構成される。
次に、本実施形態による立体画像描画装置の第1処理手順について図8を参照して説明する。この第1処理手順においては、最初に、遠景画像作成部2で遠景画像を作成し、続いて近景画像作成部で近景画像を作成する(ステップS10、S11)。その後、多視点カメラに含まれる全てのカメラによって遠景ボードの投影画像だけを連続して描画する(ステップS12、S13、S14)。次に、多視点カメラに含まれる全てのカメラによって中景領域内の描画対象物の投影画像を連続して描画する(ステップS15、S16、S17)。最後に、多視点カメラに含まれる全てのカメラによって近景ボードの投影画像だけを連続して描画する(ステップS18、S19、S20)。
すなわち、まず、多視点カメラに含まれる1台のカメラ、例えば、中央位置付近に配置されたカメラについての遠景画像を作成する(ステップS10)。遠景画像の作成は、まず、CGデータ記憶部1から多視点カメラの中心位置または位置座標列が読み出され、この読み出された中心位置または位置座標列に1台のカメラが配置されたときの遠景領域20内にある描画対象物200の投影画像(遠景画像)が作成される。このようにして作成された投影画像はCGデータ記憶部1に確保されている画像メモリに書き込まれて記憶される。
その後、多視点カメラに含まれる1台のカメラ、例えば、中央位置付近に配置されたカメラについての近景画像を近景画像作成部3で作成する(ステップS11)。近景画像の作成は、まず、遠景画像を作成する際にCGデータ記憶部1から読み出された多視点カメラの中心位置または位置座標列に1台のカメラが配置されたときの近景領域30内にある描画対象物300の投影画像(近景画像)が作成される。このようにして作成された近景画像はCGデータ記憶部1に確保されている画像メモリに書き込まれて記憶される。
続いて、遠景ボード描画部4によって遠景ボードの投影画像を描画する(ステップS12)。すなわち、多視点カメラに含まれる1つのカメラが選択され、この選択されたカメラについての遠景画像がCGデータ記憶部1から読み出され、テクスチャマッピングによって遠景ボード全体を覆うように貼り付けられる。これらの処理は、多視点カメラに含まれる全てのカメラについて行われる(ステップS13、S14)。
次に、多視点カメラに含まれるすべてのカメラによって中景領域内の描画対象物の投影画像を連続して描画する(ステップS15、S16、S17)。すなわち、中景画像描画部5によって中景画像を描画する。各カメラの中景領域内の投影画像(中景画像)の描画は、まず、CGデータ記憶部1から読み出された多視点カメラの中心位置または位置座標列に1台のカメラが配置されたときの中景領域40内にある描画対象物400の投影画像が作成される(ステップS15)。このようにして作成された投影画像はCGデータ記憶部1に確保されている画像メモリに書き込まれて記憶される。この中景画像の描画処理は多視点カメラに含まれる全てのカメラについて繰り返し、これにより中景画像の多視点画像を描画する(ステップS16、S17)。
次に、多視点カメラに含まれるすべてのカメラによって近景ボードの投影画像だけを連続して描画する(ステップS18,S19、S20)。すなわち、近景ボード描画部6によって近景ボードの描画を行う(ステップS18)。この近景ボードの描画は、最初に、CGデータ記憶部1から多視点カメラに関するデータが読み出され、つづいて、多視点カメラに含まれるカメラのうちの1つが選択されて、この選択されたカメラによって近景ボードの投影画像が描画される。このとき、近景画像作成部3によって作成された近景画像がCGデータ記憶部1から読み出されて、近景ボード全体を覆うように、テクスチャマッピングによって貼り付けられる。描画結果は、中景画像描画部5において、同じカメラによって描画された投影画像が記憶された画像メモリに上書きされて記憶される。ただし、このときに書き込み元の画素(すなわち近景画像の画素)のうち、アルファ値Aが非ゼロの画素だけが画像メモリに書き込まれるようにする。こうすることにより、近景画像の画素のうち、近景領域30内にある描画対象物300の投影像によって新たに書き込まれた画素だけを上書きすることができる。以上の処理を多視点カメラに含まれるすべてのカメラについて繰り返し(ステップS19,S20)、近景ボード31の多視点画像を描画する。
次に、画素配列変換部7によって、多視点画像を立体表示可能な形式の画像に変換し(ステップS21)、その後、提示部8によって上記立体表示可能な形式の画像を立体画像として提示する(ステップS22)。
この図8に示す処理手順は、図9に示す第2処理手順のように、多視点カメラのうちのある1つのカメラによって、遠景ボードの投影画像、中景領域内の描画対象物の投影画像、近景ボードの投影画像の順番で連続して描画した後(ステップS12、S15、S16)、カメラを切り替えて、同じ順番で描画するように構成しても構わない(ステップS19、S20)。
また、図8および図9に示す第1および第2処理手順のいずれにおいても、遠景ボード、中景領域、近景ボードの順番で描画しているが、GPUなどのハードウェアのデプステスト機能を有効にした上で、異なる順番で描画しても構わない。
以上説明したように、本実施形態の立体画像描画装置によれば、予め作成しておいた遠景と近景の2枚の単視点画像を多視点画像に合成することによって、遠景と近景の両方の画質劣化を防ぐことができる。その結果、既存のCGコンテンツを手直しすることなく立体画像として表示できるようになる。また、遠景ボードと近景ボードを併用することにより、CGコンテンツを視覚的に把握しながら遠景、中景、近景の3つの領域の境界を調節できるようになる。
なお、本実施形態による立体画像描画装置では、遠景と近景の両方の画質劣化を防ぐことができる反面、その代償として、遠景ボードの奥側の領域の立体感、および近景ボードの手前側の領域の立体感を正確に再現できなくなる。一般に、人間の視覚機能は遠景の立体感に対しては鈍感であるが、近景の立体感に対しては敏感である。したがって、CGコンテンツによっては近景ボードを用いた表示結果に不自然さを感じる場合がある。しかしながら、我々が実験した限りでは、多くのCGコンテンツにおいて、その不自然さは許容できる程度であり、それに比べて画質劣化を防ぐことのできる効果は非常に大きいものであった。
1 CGデータ記憶部
2 遠景画像作成部
3 近景画像作成部
4 遠景ボード描画部
5 中景画像描画部
6 近景ボード描画部
7 画素配列変換部
8 提示部

Claims (8)

  1. 多視点カメラに関するデータと、描画対象物の形状に関するデータと、遠景領域および近景領域の範囲に関するデータと、描画処理の手順に関するデータと、を少なくとも含んだデータを記憶するとともに画像メモリを有するデータ記憶部と、
    前記データ記憶部からコンピュータグラフィックスの画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した1台のカメラよって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、作成された1枚の遠景画像を前記データ記憶部の前記画像メモリに書き込む遠景画像作成部と、
    前記データ記憶部からコンピュータグラフィックスの画像を描画するために必要なデータを読み出して、前記多視点カメラの中央位置付近に配置した1台のカメラによって近景領域内にある描画対象物の投影画像である近景画像を作成し、作成された1枚の近景画像を前記データ記憶部の前記画像メモリに書き込む近景画像作成部と、
    前記遠景画像作成部によって作成された遠景領域内にある描画対象物の遠景画像を前記データ記憶部から読み出して、その遠景画像を、遠景ボードとなるコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、前記四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む遠景ボード描画部と、
    前記データ記憶部からコンピュータグラフィックスの立体画像を描画するために必要なデータを読み出して、遠景領域と近景領域の間にある中景領域内にある描画対象物の投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む中景画像描画部と、
    前記近景画像作成部によって作成された近景領域内にある描画対象物の近景画像を前記データ記憶部から読み出して、その近景画像を、近景ボードとなるコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、その四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記データ記憶部の前記画像メモリに書き込む近景ボード描画部と、
    前記データ記憶部の前記画像メモリから、前記遠景ボード描画部、および前記中景画像描画部、および前記近景ボード描画部によって描画された複数毎の投影画像を読み出して、画素配列を並べ替えて立体表示可能な形式の画像に変換し、前記データ記憶部に書き込む画素配列変換部と、
    前記画素配列変換部によって作成された立体表示可能な形式の画像を前記データ記憶部から読み出して、観察者に提示するための提示手段と、
    を備えていることを特徴とする立体画像描画装置。
  2. 前記データ記憶部の前記画像メモリは、色成分の輝度を表すカラー値と、不透明度を表すアルファ値を記憶することのできる形式の画像メモリであり、
    前記近景画像作成部は、前記近景画像が記憶される前記画像メモリの全画素のアルファ値をゼロに初期設定し、この初期設定された画像メモリに対して、前記多視点カメラの中央位置付近に配置した1台のカメラによって作成された前記近景領域内にある描画対象物の投影像の色成分の輝度値を書き込むとともに、新たに書き込まれた画素のアルファ値を非ゼロに書き換える処理を行い、
    前記近景ボード描画部は、前記近景画像作成部によって作成された前記近景画像を前記画像メモリから読み出して、その近景画像のアルファ値が非ゼロの画素だけを、前記近景ボードを表すコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、前記四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を前記画像メモリに書き込むことを特徴とする請求項1記載の立体画像描画装置。
  3. 前記中景画像描画部は、前記中景画像を、前記遠景ボード描画部において同じカメラによって描画された前記遠景ボードの投影画像が記憶されている画像メモリに上書きして記憶することを特徴とする請求項1乃至2のいずれかに記載の立体画像描画装置。
  4. 前記近景ボード描画部は、前記近景ボードの投影画像を、前記中景画像描画部において同じカメラによって描画された前記中景画像が記憶されている画像メモリに上書きして記憶することを特徴とする請求項3記載の立体画像描画装置。
  5. 多視点カメラの中央位置付近に配置した1台のカメラよって遠景領域内にある描画対象物の投影画像である遠景画像を作成し、作成された1枚の遠景画像を画像メモリに書き込むステップと、
    前記多視点カメラの中央位置付近に配置した1台のカメラによって近景領域内にある描画対象物の投影画像である近景画像を作成し、作成された1枚の近景画像を前記データ記憶部の前記画像メモリに書き込むステップと、
    前記遠景画像を、遠景ボードとなるコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、前記四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を遠景ボードの多視点画像として前記画像メモリに書き込むステップと、
    前記遠景領域と前記近景領域の間にある中景領域内にある描画対象物の投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を中景画像の多視点画像として前記画像メモリに書き込むステップと、
    前記近景画像を、近景ボードとなるコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、その四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画し、描画された複数枚の投影画像を近景ボードの多視点画像として前記画像メモリに書き込むステップと、
    前記画像メモリから、前記遠景ボードの多視点画像、前記中景画像の多視点画像、および前記近景ボードの多視点画像を読み出して、画素配列を並べ替えて立体表示可能な形式の画像に変換し、前記画像メモリに書き込むステップと、
    前記立体表示可能な形式の画像を立体画像として提示するステップと、
    を備えていることを特徴とする立体画像描画方法。
  6. 色成分の輝度を表すカラー値と、不透明度を表すアルファ値を記憶することのできる形式の画像メモリの全画素のアルファ値をゼロに初期設定するステップと、
    前記近景ボードの多視点画像は、前記近景画像のアルファ値が非ゼロの画素を、前記近景ボードとなるコンピュータグラフィックスの四角形モデル全体を覆うように貼り付けた上で、前記四角形モデルの投影画像を、前記多視点カメラに含まれる各カメラによって描画したものであることを特徴とする請求項5記載の立体画像描画方法。
  7. 前記中景画像の多視点画像は、前記中景画像の多視点画像を描画したと同じカメラによって描画された前記遠景ボードの投影画像が記憶されている画像メモリに上書きして記憶することを特徴とする請求項5または6記載の立体画像描画方法。
  8. 前記近景ボードの多視点画像は、前記近景画像の多視点画像を描画したと同じカメラによって描画された前記中景画像の多視点画像が記憶されている画像メモリに上書きして記憶することを特徴とする請求項7記載の立体画像描画方法。
JP2009071666A 2009-03-24 2009-03-24 立体画像描画装置および描画方法 Expired - Fee Related JP4956574B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009071666A JP4956574B2 (ja) 2009-03-24 2009-03-24 立体画像描画装置および描画方法
US12/559,899 US20100245350A1 (en) 2009-03-24 2009-09-15 Stereoscopic image drawing apparatus and drawing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009071666A JP4956574B2 (ja) 2009-03-24 2009-03-24 立体画像描画装置および描画方法

Publications (2)

Publication Number Publication Date
JP2010226443A JP2010226443A (ja) 2010-10-07
JP4956574B2 true JP4956574B2 (ja) 2012-06-20

Family

ID=42783574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009071666A Expired - Fee Related JP4956574B2 (ja) 2009-03-24 2009-03-24 立体画像描画装置および描画方法

Country Status (2)

Country Link
US (1) US20100245350A1 (ja)
JP (1) JP4956574B2 (ja)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08182023A (ja) * 1994-12-26 1996-07-12 Sanyo Electric Co Ltd 2次元画像を3次元画像に変換する装置
JP3579162B2 (ja) * 1995-06-29 2004-10-20 松下電器産業株式会社 立体cg画像生成装置
US5905499A (en) * 1995-07-05 1999-05-18 Fakespace, Inc. Method and system for high performance computer-generated virtual environments
JP3783977B2 (ja) * 1997-02-17 2006-06-07 キヤノン株式会社 立体映像装置及び立体映像表示方法
JP2000251090A (ja) * 1999-03-01 2000-09-14 Sony Computer Entertainment Inc 描画装置及び該描画装置で被写界深度を表現する方法
JP2000293703A (ja) * 1999-04-06 2000-10-20 Matsushita Electric Ind Co Ltd 画像合成装置及びその方法並びにその方法を記録した記録媒体
JP3366894B2 (ja) * 2000-03-30 2003-01-14 コナミ株式会社 3次元画像合成装置及び方法、情報記憶媒体、プログラム配信装置及び方法
US8217934B2 (en) * 2008-01-23 2012-07-10 Adobe Systems Incorporated System and methods for rendering transparent surfaces in high depth complexity scenes using hybrid and coherent layer peeling

Also Published As

Publication number Publication date
JP2010226443A (ja) 2010-10-07
US20100245350A1 (en) 2010-09-30

Similar Documents

Publication Publication Date Title
US8400496B2 (en) Optimal depth mapping
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
JP6517245B2 (ja) 三次元画像を生成するための方法及び機器
US7643025B2 (en) Method and apparatus for applying stereoscopic imagery to three-dimensionally defined substrates
US7652674B2 (en) On the fly hardware based interdigitation
JP5706826B2 (ja) 3d画像信号を符号化する方法及びシステム、符号された3d画像信号、3d画像信号を復号する方法及びシステム
JP5734964B2 (ja) ステレオスコープシネマ用のビューア中心ユーザインタフェース
JP4836814B2 (ja) 3dディスプレイ用cg画像生成装置、3dディスプレイ用cg画像生成方法、及びプログラム
US20120182403A1 (en) Stereoscopic imaging
EP2629532B1 (en) Display control program, display control apparatus, display control system, and display control method
JP2012507181A (ja) 画像特性のための遮蔽データの発生
WO2004107764A1 (ja) 画像表示装置及びプログラム
JP2007020179A (ja) 立体映像表示装置、及び3d映像−立体映像変換器
KR102281462B1 (ko) 전자 디스플레이 앞에 또는 위에 투사한 것처럼 보이는 가상의 3차원 이미지를 생성하는 시스템, 방법 및 소프트웨어
EP2111049A2 (en) Rendering a multiple viewpoint image into a single frame buffer using off-screen rendering surfaces
WO2012140397A2 (en) Three-dimensional display system
JP2006178900A (ja) 立体画像生成装置
US20140300713A1 (en) Stereoscopic three dimensional projection and display
EP1668919A1 (en) Stereoscopic imaging
TWI602145B (zh) 包裝圖框之解包裝方法、裝置及系統
JP4956574B2 (ja) 立体画像描画装置および描画方法
JP2010224886A (ja) 立体画像描画装置および描画方法
EP3848906A1 (en) Method for editing an image
TW202304199A (zh) 多視像影像創造系統和創造方法
JP4696669B2 (ja) 画像調整方法及び画像調整装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110328

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111028

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120316

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees