JP3387856B2 - 画像処理方法、画像処理装置および記憶媒体 - Google Patents
画像処理方法、画像処理装置および記憶媒体Info
- Publication number
- JP3387856B2 JP3387856B2 JP22395899A JP22395899A JP3387856B2 JP 3387856 B2 JP3387856 B2 JP 3387856B2 JP 22395899 A JP22395899 A JP 22395899A JP 22395899 A JP22395899 A JP 22395899A JP 3387856 B2 JP3387856 B2 JP 3387856B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- real
- image
- image processing
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、実写画像データを
基にして仮想空間を記述する際に、仮想光源に起因する
仮想物体上での陰影の付与を行う画像処理装置及び方法
に関する。
基にして仮想空間を記述する際に、仮想光源に起因する
仮想物体上での陰影の付与を行う画像処理装置及び方法
に関する。
【０００２】
【従来の技術】仮想空間を、３次元幾何形状を基に記述
するのではなく、実写画像を基に記述表現する手法が数
多く提案されている。これらはImage Based Rendering
（以下、IBRと略す）と呼ばれており、実写画像を基に
するが故に、３次元幾何形状を基にする手法からは得ら
れない写実性の高い仮想空間を表現できる点に特徴があ
る。
するのではなく、実写画像を基に記述表現する手法が数
多く提案されている。これらはImage Based Rendering
（以下、IBRと略す）と呼ばれており、実写画像を基に
するが故に、３次元幾何形状を基にする手法からは得ら
れない写実性の高い仮想空間を表現できる点に特徴があ
る。
【０００３】IBRの一手法である光線空間理論に基づい
た仮想空間の記述に関する試みが提案されている。例え
ば、電子情報通信学会論文誌「CGモデルと光線空間デー
タとの融合による仮想環境の実現」(D-11, Vol. J80-D-
11 No. 11, pp3048-3057, 1997年11月)、または、「３
次元統合画像通信を目指したホログラムと光線空間の相
互変換」(3D Image Conference)などを参照。
た仮想空間の記述に関する試みが提案されている。例え
ば、電子情報通信学会論文誌「CGモデルと光線空間デー
タとの融合による仮想環境の実現」(D-11, Vol. J80-D-
11 No. 11, pp3048-3057, 1997年11月)、または、「３
次元統合画像通信を目指したホログラムと光線空間の相
互変換」(3D Image Conference)などを参照。
【０００４】光線空間理論について説明する。
【０００５】第１図に示すように実空間に座標系O-X-Y-
Zを設置する。Ｚ軸に垂直な基準面Ｐ（Z=z）を通過する
光線を、光線がＰを横切る位置（ｘ，ｙ）と、光線の方
向を示す変数θ、φで表すことにする。すなわち、１本
の光線は(x, y, z,θ,φ)の５つの変数により一意に定
められる。この光線の光強度を表す関数をｆと定義する
と、この空間中の光線群データはf(x, y, z,θ,φ)で表
現することが出来る。この５次元の空間を「光線空間」
と呼ぶ。
Zを設置する。Ｚ軸に垂直な基準面Ｐ（Z=z）を通過する
光線を、光線がＰを横切る位置（ｘ，ｙ）と、光線の方
向を示す変数θ、φで表すことにする。すなわち、１本
の光線は(x, y, z,θ,φ)の５つの変数により一意に定
められる。この光線の光強度を表す関数をｆと定義する
と、この空間中の光線群データはf(x, y, z,θ,φ)で表
現することが出来る。この５次元の空間を「光線空間」
と呼ぶ。
【０００６】ここで、基準面Ｐをz=0に設定し、光線の
垂直方向の視差情報、すなわちφ方向の自由度を省略す
ると、光線の自由度を(x,θ)の２次元に縮退させること
ができる。このx-θ２次元空間は、光線空間の部分空間
となる。そして、実空間中の点（Ｘ，Ｚ）を通る光線
（第２図）は、u = tanθとおくと、ｘ−ｕ空間上で
は、第３図に示すように、
垂直方向の視差情報、すなわちφ方向の自由度を省略す
ると、光線の自由度を(x,θ)の２次元に縮退させること
ができる。このx-θ２次元空間は、光線空間の部分空間
となる。そして、実空間中の点（Ｘ，Ｚ）を通る光線
（第２図）は、u = tanθとおくと、ｘ−ｕ空間上で
は、第３図に示すように、
【０００７】［数１］
X = x + u・Z
【０００８】という直線上に写像される。カメラによる
撮影とは、カメラのレンズ焦点を通過する光線を撮像面
で受光し、その明るさや色を画像化する操作に相当す
る。言い換えると、焦点位置という実空間中の１点を通
る光線群を画像として画素数分獲得していることにな
る。ここでは、φ方向の自由度を省略し、Ｘ−Ｚ平面内
のみでの光線の振舞いを考えているので、画像中のＹ軸
との直交面と交わる線分上の画素のみを考えることにな
る。このように、画像の撮影によって１点を通る光線を
集めることができ、１回の撮影でｘ−ｕ空間の１本の線
分上のデータを獲得することができる。
撮影とは、カメラのレンズ焦点を通過する光線を撮像面
で受光し、その明るさや色を画像化する操作に相当す
る。言い換えると、焦点位置という実空間中の１点を通
る光線群を画像として画素数分獲得していることにな
る。ここでは、φ方向の自由度を省略し、Ｘ−Ｚ平面内
のみでの光線の振舞いを考えているので、画像中のＹ軸
との直交面と交わる線分上の画素のみを考えることにな
る。このように、画像の撮影によって１点を通る光線を
集めることができ、１回の撮影でｘ−ｕ空間の１本の線
分上のデータを獲得することができる。
【０００９】この撮影を視点位置を変え多数行うと、多
数の点を通る光線群を獲得することができる。第４図の
ようにＮ台のカメラを用いて実空間を撮影すると、ｎ番
目（ｎ＝１，２，...，Ｎ）のカメラCnの焦点位置（Xn,
Zn）に対応して、第５図のごとく、
数の点を通る光線群を獲得することができる。第４図の
ようにＮ台のカメラを用いて実空間を撮影すると、ｎ番
目（ｎ＝１，２，...，Ｎ）のカメラCnの焦点位置（Xn,
Zn）に対応して、第５図のごとく、
【００１０】［数２］
x + Znu = Xn
の直線上のデータを入力することができる。このよう
に、十分に多数の視点からの撮影を行うことによって、
ｘ−ｕ空間を密にデータで埋めていくことができる。
に、十分に多数の視点からの撮影を行うことによって、
ｘ−ｕ空間を密にデータで埋めていくことができる。
【００１１】逆に、ｘ−ｕ空間のデータ（第６図）か
ら、新しい任意の視点位置からの観察画像を生成するこ
とができる（第７図）。この図に示すように、目の形で
表した新しい視点位置Ｅ（Ｘ，Ｚ）からの観察画像は、
ｘ−ｕ空間上の数式１の直線上のデータをｘ−ｕ空間か
ら読み出すことによって生成できる。
ら、新しい任意の視点位置からの観察画像を生成するこ
とができる（第７図）。この図に示すように、目の形で
表した新しい視点位置Ｅ（Ｘ，Ｚ）からの観察画像は、
ｘ−ｕ空間上の数式１の直線上のデータをｘ−ｕ空間か
ら読み出すことによって生成できる。
【００１２】
【発明が解決しようとする問題点】実写画像データを用
いた画像処理の不得意な分野に、仮想照明による陰影の
付与と影の生成とがある。陰影や影は、物体の起伏に応
じて変化するものの、実写画像データは、幾何学形状に
関する情報を有しないために、陰影や影の再生が困難だ
からである。即ち、幾何学形状情報を含む空間データを
基にして仮想物体を描画し、その物体に付与されるべき
陰影を描画し、或いはこの物体による影を描画すること
は、幾何学形状情報による画像処理分野（例えばコンピ
ュータグラフィックス（以下、ＣＧと略す）では周知で
はあっても、光線空間などの実写画像を用いる画像処理
分野では未知の分野である。
いた画像処理の不得意な分野に、仮想照明による陰影の
付与と影の生成とがある。陰影や影は、物体の起伏に応
じて変化するものの、実写画像データは、幾何学形状に
関する情報を有しないために、陰影や影の再生が困難だ
からである。即ち、幾何学形状情報を含む空間データを
基にして仮想物体を描画し、その物体に付与されるべき
陰影を描画し、或いはこの物体による影を描画すること
は、幾何学形状情報による画像処理分野（例えばコンピ
ュータグラフィックス（以下、ＣＧと略す）では周知で
はあっても、光線空間などの実写画像を用いる画像処理
分野では未知の分野である。
【００１３】
【課題を解決するための手段】本発明は、上記従来技術
の問題点を解決するために提案されたもので、その目的
は、実写画像を基にして仮想空間を記述するにおいて、
仮想物体の陰影を生成するのに好適な光線データの記録
に適した画像処理方法並びに画像処理装置を提案するこ
とにある。
の問題点を解決するために提案されたもので、その目的
は、実写画像を基にして仮想空間を記述するにおいて、
仮想物体の陰影を生成するのに好適な光線データの記録
に適した画像処理方法並びに画像処理装置を提案するこ
とにある。
【００１４】本発明の他の目的は、実写画像を基にした
光線データから仮想物体の陰影を高速に生成する画像処
理方法並びに画像処理装置を提案することにある。
光線データから仮想物体の陰影を高速に生成する画像処
理方法並びに画像処理装置を提案することにある。
【００１５】本発明の他の目的は、実写画像を基にして
仮想空間を記述するにおいて、仮想光源を任意に、位置
や条件を変更した場合にも陰影を適切に生成できる画像
処理方法並びに画像処理装置を提案することにある。
仮想空間を記述するにおいて、仮想光源を任意に、位置
や条件を変更した場合にも陰影を適切に生成できる画像
処理方法並びに画像処理装置を提案することにある。
【００１６】
【発明の実施の形態】以下、添付図面を参照しながら、
本発明を適用した画像処理装置及び画像処理方法を詳細
に説明する。この画像処理装置及び画像処理方法は、光
線空間データから、仮想照明により仮想物体に付与すべ
き陰影を描画し、その仮想照明による影を描画する機能
を有する。
本発明を適用した画像処理装置及び画像処理方法を詳細
に説明する。この画像処理装置及び画像処理方法は、光
線空間データから、仮想照明により仮想物体に付与すべ
き陰影を描画し、その仮想照明による影を描画する機能
を有する。
【００１７】第８図は、実施形態の画像処理システムの
構成を示す。第８図に示したハード構成は通常のワーク
ステーションの構成である。即ち、ハード構成自身は通
常のワークステーションと異なるところはない。
構成を示す。第８図に示したハード構成は通常のワーク
ステーションの構成である。即ち、ハード構成自身は通
常のワークステーションと異なるところはない。
【００１８】このシステムは、ユーザに仮想空間をＣＲ
Ｔ２３上に提示するものである。ユーザはマウス２８を
操作してその仮想空間を自由にウオークスルーしたり、
仮想空間中の物体を操作（移動や回転あるいは拡大な
ど）することができる。即ち、仮想空間内の物体は実写
画像に基づいて光線空間データの変換されてディスク２
５に前もって格納されているが、ウオークスルーするに
つれて視点位置が移動すると、移動した視点位置での光
線空間データオブジェクト画像を第７図にて説明したよ
うに生成する。この画像をテクスチャマッパ24にて仮想
空間に配置した透明な板に貼り付け、それを含む仮想空
間全体をレンダリングしてＣＲＴ２３上に表示する。ま
た、テクスチャマッパ２４は、同時に影のテクスチャも
物体の底部に配置した透明な板に貼り付ける。
Ｔ２３上に提示するものである。ユーザはマウス２８を
操作してその仮想空間を自由にウオークスルーしたり、
仮想空間中の物体を操作（移動や回転あるいは拡大な
ど）することができる。即ち、仮想空間内の物体は実写
画像に基づいて光線空間データの変換されてディスク２
５に前もって格納されているが、ウオークスルーするに
つれて視点位置が移動すると、移動した視点位置での光
線空間データオブジェクト画像を第７図にて説明したよ
うに生成する。この画像をテクスチャマッパ24にて仮想
空間に配置した透明な板に貼り付け、それを含む仮想空
間全体をレンダリングしてＣＲＴ２３上に表示する。ま
た、テクスチャマッパ２４は、同時に影のテクスチャも
物体の底部に配置した透明な板に貼り付ける。
【００１９】第９図は、本システムのディスク２５に格
納された光線空間データの記録手法を説明する。即ち、
第１図〜第７図において説明したように、(X, u)空間の
一本の直線で表される光線空間データは実写画像の１ラ
イン分の画像に相当する。
納された光線空間データの記録手法を説明する。即ち、
第１図〜第７図において説明したように、(X, u)空間の
一本の直線で表される光線空間データは実写画像の１ラ
イン分の画像に相当する。
【００２０】第８図において、２９は実写画像を得るた
めのカラーカメラである。このカメラ２９は移動機構３
０に装着され、ＣＰＵ２０は後述の制御プログラムに従
って移動機構３０を駆動して、カメラ２９の位置を移動
させる。カメラの移動位置、即ち、移動した視点位置
（姿勢も含む）は移動機構３０を介してＣＰＵ２０は知
ることができる。３２は照明用の光源である。この照明
も移動機構３１を介して任意の位置に移動される。移動
位置はＣＰＵ２０により検出される。
めのカラーカメラである。このカメラ２９は移動機構３
０に装着され、ＣＰＵ２０は後述の制御プログラムに従
って移動機構３０を駆動して、カメラ２９の位置を移動
させる。カメラの移動位置、即ち、移動した視点位置
（姿勢も含む）は移動機構３０を介してＣＰＵ２０は知
ることができる。３２は照明用の光源である。この照明
も移動機構３１を介して任意の位置に移動される。移動
位置はＣＰＵ２０により検出される。
【００２１】カメラ２９、特に照明３１を移動可能にし
たのは、複数の既知の位置の照明（実の照明）により発
生する陰影を撮影するためである。本システムは、実の
陰影画像に基づいて、陰影付きの光線空間データを前も
って生成する。また、光源位置から見た物体の輪郭画像
を影画像データベースとして保持する。
たのは、複数の既知の位置の照明（実の照明）により発
生する陰影を撮影するためである。本システムは、実の
陰影画像に基づいて、陰影付きの光線空間データを前も
って生成する。また、光源位置から見た物体の輪郭画像
を影画像データベースとして保持する。
【００２２】〈仮想照明による陰影の生成〉第１０図
は、陰影のデータ取得の原理を説明する。同図におい
て、１００は、現実物体であり、この例では、簡単化の
ために、円錐１００である。同図において、１０１，１
０２は撮影経路であり、この経路に沿って複数の撮影位
置が指定されている。第１０図の例では、経路１０１は
円錐１００を上下方向で一周する経路であり、経路１０
２は水平方向で円錐１００を一周する経路である。例え
ば、経路１０１（一周３６０度）において１０度ずつの
刻みで３６ポイントの視点位置の夫々において円錐１０
０を撮像すると、円錐１００の３６枚分の画像が得ら
れ、その３６枚分のカラー画像は、陰影を有した対象物
体１００の画像であり、この画像は前述のように光線空
間データに変換されて、ディスク２５に記憶される。
は、陰影のデータ取得の原理を説明する。同図におい
て、１００は、現実物体であり、この例では、簡単化の
ために、円錐１００である。同図において、１０１，１
０２は撮影経路であり、この経路に沿って複数の撮影位
置が指定されている。第１０図の例では、経路１０１は
円錐１００を上下方向で一周する経路であり、経路１０
２は水平方向で円錐１００を一周する経路である。例え
ば、経路１０１（一周３６０度）において１０度ずつの
刻みで３６ポイントの視点位置の夫々において円錐１０
０を撮像すると、円錐１００の３６枚分の画像が得ら
れ、その３６枚分のカラー画像は、陰影を有した対象物
体１００の画像であり、この画像は前述のように光線空
間データに変換されて、ディスク２５に記憶される。
【００２３】第１０図において、一方、２００，２０１
は照明用光源３２の移動経路である。移動経路２００，
２０１は、たとえば、夫々半円上の円弧形状を有し、互
いに直交する。即ち、経路２００，２０１は夫々１８０
度の移動範囲を有する。光源３２の移動刻みの大きさを
１０度とすると、経路２００と２０１の夫々について１
８ポイント（合わせて３６ポイント）の照明位置が得ら
れる。
は照明用光源３２の移動経路である。移動経路２００，
２０１は、たとえば、夫々半円上の円弧形状を有し、互
いに直交する。即ち、経路２００，２０１は夫々１８０
度の移動範囲を有する。光源３２の移動刻みの大きさを
１０度とすると、経路２００と２０１の夫々について１
８ポイント（合わせて３６ポイント）の照明位置が得ら
れる。
【００２４】後述するように、照明位置の多さは陰影お
よび影の形状の精度に影響する。従って、水平方向の撮
影位置の経路と垂直方向の撮影経路における１０度刻み
の幅は全くの例示であり、刻み幅を必要に応じて増減す
ることは全く任意である。
よび影の形状の精度に影響する。従って、水平方向の撮
影位置の経路と垂直方向の撮影経路における１０度刻み
の幅は全くの例示であり、刻み幅を必要に応じて増減す
ることは全く任意である。
【００２５】本例では、36ポイントの照明位置に対して
それぞれ光線空間データが生成される。また、各々の光
線空間データは36枚の画像から生成される。１つのオブ
ジェクトをRSで表すと、オブジェクトRSは、照明位置の
引数Lを有するので、RS(L)と表すことができる。第１１
図は、照明位置Lから照明された実物体１００を移動す
るカメラ２９によって撮影して得られた実画像RIi(L)
（ｉは経路２０１，２０２上の視点位置）が一端ディス
ク２５に記憶され、更に、光線空間データオブジェクト
RS(L)に変換されて記憶される様子を説明する。
それぞれ光線空間データが生成される。また、各々の光
線空間データは36枚の画像から生成される。１つのオブ
ジェクトをRSで表すと、オブジェクトRSは、照明位置の
引数Lを有するので、RS(L)と表すことができる。第１１
図は、照明位置Lから照明された実物体１００を移動す
るカメラ２９によって撮影して得られた実画像RIi(L)
（ｉは経路２０１，２０２上の視点位置）が一端ディス
ク２５に記憶され、更に、光線空間データオブジェクト
RS(L)に変換されて記憶される様子を説明する。
【００２６】第１２図は、複数の仮想照明が与えられて
いる仮想空間において、ある視点位置における物体１０
０の仮想画像１００’を描画する際の陰影の生成の手法
を説明する。第１２図の例では、仮想空間において、３
つの仮想照明（L1，L2，L3）が設定され、仮想照明
（L1，L2）がＯＮされ、仮想照明（L3）がＯＦＦされて
いるように設定されている。すると仮想物体である円錐
１００’の表面の領域３００と３０１は薄い陰影が、３
０２には濃い陰影が形成されなくてはならない。このよ
うな陰影が形成された仮想物体１００’を仮想視点位置
ｉから見れば、第１３図のような仮想物体が描画される
筈である。このような描画が成されるためには、第１４
図に示すように、視点位置ｉにおいて照明位置L1にライ
トが設けられて生成された光線空間データオブジェクト
画像RSi(L1)と、視点位置ｉにおいて照明位置L2にライ
トが設けられて生成された光線空間データオブジェクト
画像RS i(L2)とが合成されればよい。
いる仮想空間において、ある視点位置における物体１０
０の仮想画像１００’を描画する際の陰影の生成の手法
を説明する。第１２図の例では、仮想空間において、３
つの仮想照明（L1，L2，L3）が設定され、仮想照明
（L1，L2）がＯＮされ、仮想照明（L3）がＯＦＦされて
いるように設定されている。すると仮想物体である円錐
１００’の表面の領域３００と３０１は薄い陰影が、３
０２には濃い陰影が形成されなくてはならない。このよ
うな陰影が形成された仮想物体１００’を仮想視点位置
ｉから見れば、第１３図のような仮想物体が描画される
筈である。このような描画が成されるためには、第１４
図に示すように、視点位置ｉにおいて照明位置L1にライ
トが設けられて生成された光線空間データオブジェクト
画像RSi(L1)と、視点位置ｉにおいて照明位置L2にライ
トが設けられて生成された光線空間データオブジェクト
画像RS i(L2)とが合成されればよい。
【００２７】第１５図は、複数のカメラ視点位置iの各
々においてカメラ２５を実物体に向け、複数の照明位置
Lの各々から実物体を照明してその実物体の画像を取得
し（ステップＳ１２）、その画像データを、照明位置Ｌ
毎の光線空間データRSに変換してディスク２５にセーブ
（ステップＳ２０）するものである。
々においてカメラ２５を実物体に向け、複数の照明位置
Lの各々から実物体を照明してその実物体の画像を取得
し（ステップＳ１２）、その画像データを、照明位置Ｌ
毎の光線空間データRSに変換してディスク２５にセーブ
（ステップＳ２０）するものである。
【００２８】第１６図は、各照明位置における照明装置
の種々の照明条件を示す。これらの条件は、実画像の光
線空間データを記憶するときに、各照明の照明条件（既
知である）を記録しておいたものである。本画像処理シ
ステムのアプリケーション・プログラムが仮想空間での
ウォークスルーを実現するものであるならば、そのアプ
リケーション・プログラムは、仮想空間中に仮想物体を
描画するに際して、そのアプリケーション・プログラム
の仕様に応じて或いはユーザ指示を入力して、各照明
（仮想照明）を仮想的にＯＮ／ＯＦＦするようにしてい
る。即ち、第１２図、第１３図に関連して説明したよう
に、ＯＮしている全ての照明による寄与が考慮された陰
影を付された仮想物体の画像を描画するものである。
の種々の照明条件を示す。これらの条件は、実画像の光
線空間データを記憶するときに、各照明の照明条件（既
知である）を記録しておいたものである。本画像処理シ
ステムのアプリケーション・プログラムが仮想空間での
ウォークスルーを実現するものであるならば、そのアプ
リケーション・プログラムは、仮想空間中に仮想物体を
描画するに際して、そのアプリケーション・プログラム
の仕様に応じて或いはユーザ指示を入力して、各照明
（仮想照明）を仮想的にＯＮ／ＯＦＦするようにしてい
る。即ち、第１２図、第１３図に関連して説明したよう
に、ＯＮしている全ての照明による寄与が考慮された陰
影を付された仮想物体の画像を描画するものである。
【００２９】第１７図は、そのアプリケーション・プロ
グラムによって画像描画を行う制御手順である。
グラムによって画像描画を行う制御手順である。
【００３０】ステップＳ３０では、描画すべき視点位置
ｉを決定する。この指定された視点位置ｉは、ステップ
Ｓ１８で既に記憶されている光線空間データRSを参照す
るのに用いられる。ステップＳ３２では、当該視点位置
ｉに対して前もって記憶されている光線空間データオブ
ジェクトに対して描画を終了しているかを判断する。描
画が終了していない場合には、ステップＳ３４に進み、
ユーザ（または当該アプリケーション・プログラム）が
ＯＮすることを希望している仮想照明を見つけるため
に、第１６図のテーブルをサーチする。ＯＮ指定がなさ
れている仮想照明の光線空間オブジェクトRSI(LON)に対
してはステップＳ３８，ステップＳ４０の処理を行う。
ここで、LONはＯＮ指定がなされている仮想照明の番号
である。ステップＳ３８の描画処理の詳細は第１８図に
示されている。
ｉを決定する。この指定された視点位置ｉは、ステップ
Ｓ１８で既に記憶されている光線空間データRSを参照す
るのに用いられる。ステップＳ３２では、当該視点位置
ｉに対して前もって記憶されている光線空間データオブ
ジェクトに対して描画を終了しているかを判断する。描
画が終了していない場合には、ステップＳ３４に進み、
ユーザ（または当該アプリケーション・プログラム）が
ＯＮすることを希望している仮想照明を見つけるため
に、第１６図のテーブルをサーチする。ＯＮ指定がなさ
れている仮想照明の光線空間オブジェクトRSI(LON)に対
してはステップＳ３８，ステップＳ４０の処理を行う。
ここで、LONはＯＮ指定がなされている仮想照明の番号
である。ステップＳ３８の描画処理の詳細は第１８図に
示されている。
【００３１】ＯＮされている照明の番号をLnで表せば、
ステップＳ６０〜ステップＳ６４はオブジェクトRS(Ln)
を処理する。即ち、ステップＳ６０では、オブジェクト
の照明Lnに対する相対位置を計算し、ステップＳ６２
で、その相対位置に従ってオブジェクトデータを取得す
る。ステップＳ６４では、当該照明Lnの照度を考慮し
て、オブジェクトRS(Ln)の画像を生成する。照明を考慮
しないときのＲＧＢ値の夫々に対して、照度値が大きい
ほど、そして、照明までの距離が近いほど、画素値を大
きく変更する。即ち、第２０図に示すように、実照明の
照度（R0）と位置（即ち距離D0）を考慮し、実照明と同
一の方向にある仮想照明（照度Rx、距離Dx）に対して、
実画像の画素値をPとすると、仮想画像の画素値Pxは、f
を所定の関数とすると、
ステップＳ６０〜ステップＳ６４はオブジェクトRS(Ln)
を処理する。即ち、ステップＳ６０では、オブジェクト
の照明Lnに対する相対位置を計算し、ステップＳ６２
で、その相対位置に従ってオブジェクトデータを取得す
る。ステップＳ６４では、当該照明Lnの照度を考慮し
て、オブジェクトRS(Ln)の画像を生成する。照明を考慮
しないときのＲＧＢ値の夫々に対して、照度値が大きい
ほど、そして、照明までの距離が近いほど、画素値を大
きく変更する。即ち、第２０図に示すように、実照明の
照度（R0）と位置（即ち距離D0）を考慮し、実照明と同
一の方向にある仮想照明（照度Rx、距離Dx）に対して、
実画像の画素値をPとすると、仮想画像の画素値Pxは、f
を所定の関数とすると、
【００３２】［数３］
【００３３】となる。かくして、オブジェクトの描画が
終了する。
終了する。
【００３４】第１７図のステップＳ４０に戻って、次に
ＯＮされている照明を参照し、ステップＳ３６に戻り、
更に、ステップＳ３８→ステップＳ３８の処理を繰り返
す。
ＯＮされている照明を参照し、ステップＳ３６に戻り、
更に、ステップＳ３８→ステップＳ３８の処理を繰り返
す。
【００３５】照明ＯＮと設定されている全ての仮想照明
についてステップＳ３８の処理が終了すると、ステップ
Ｓ４２に進み、ここで、各仮想照明について演算された
その画素の画素値の和を演算する。ここで、画素値の和
は、各生成画像の、対応する画素位置の画素値を単に加
算するだけでよい。ステップＳ４４で、ステップＳ４２
で計算された画素値の和が表示装置（ＣＲＴ２３）の色
域(gamut)をオーバしているか否かを判断する。オーバ
フローしていると判断された場合には、ステップＳ４６
でリスタート処理を行う。リスタート処理とは、オーバ
フローが起こらない程度に仮想照明を照度を下げて、再
度レンダリングをやり直すものであり、その詳細は第１
９図に示される。
についてステップＳ３８の処理が終了すると、ステップ
Ｓ４２に進み、ここで、各仮想照明について演算された
その画素の画素値の和を演算する。ここで、画素値の和
は、各生成画像の、対応する画素位置の画素値を単に加
算するだけでよい。ステップＳ４４で、ステップＳ４２
で計算された画素値の和が表示装置（ＣＲＴ２３）の色
域(gamut)をオーバしているか否かを判断する。オーバ
フローしていると判断された場合には、ステップＳ４６
でリスタート処理を行う。リスタート処理とは、オーバ
フローが起こらない程度に仮想照明を照度を下げて、再
度レンダリングをやり直すものであり、その詳細は第１
９図に示される。
【００３６】まず、ステップＳ６６で、全オブジェクト
をオーバフローとマークする。ステップＳ６８では、全
ての仮想照明の照度（第１６図のテーブル参照）の設定
を下げる。ステップＳ７０では仮想環境を再度レンダリ
ングする。
をオーバフローとマークする。ステップＳ６８では、全
ての仮想照明の照度（第１６図のテーブル参照）の設定
を下げる。ステップＳ７０では仮想環境を再度レンダリ
ングする。
【００３７】一方、ステップＳ４４でオーバフローがな
いと判断されれば、ステップＳ５０で次のオブジェクト
を参照し、ステップＳ３２→ステップＳ３４に戻る。ス
テップＳ３２でＹＥＳの判断が出力されたときは、一画
面分の全ての画素についての光線空間データが処理され
たことになり、その結果として、たとえば、第１３図の
ように、２つの仮想照明がＯＮされている状況（第１２
図）での仮想画像が生成されたことになる。
いと判断されれば、ステップＳ５０で次のオブジェクト
を参照し、ステップＳ３２→ステップＳ３４に戻る。ス
テップＳ３２でＹＥＳの判断が出力されたときは、一画
面分の全ての画素についての光線空間データが処理され
たことになり、その結果として、たとえば、第１３図の
ように、２つの仮想照明がＯＮされている状況（第１２
図）での仮想画像が生成されたことになる。
【００３８】〈陰影付与の効果〉
〈仮想照明による影の付与〉本実施形態の画像処理装置
は、仮想照明による陰影の付与の他に、仮想照明による
影の付与機能も有する。影の形状は、物体の幾何形状と
影が投影される面（以下、「貼付面」と呼ぶ）の形状に
よって支配される。しかしながら、光線空間データ等の
IBR画像は、物体についての幾何形状を有さないので、
影についての処理が従来では困難であったのは前述した
とおりである。本実施形態の画像処理装置では、影の画
像についても、陰影のときと同じように、前もって生成
しておく。また、貼付面は、CGの分野では周知の所謂
「境界箱」(bounding box)を利用して生成する。
は、仮想照明による陰影の付与の他に、仮想照明による
影の付与機能も有する。影の形状は、物体の幾何形状と
影が投影される面（以下、「貼付面」と呼ぶ）の形状に
よって支配される。しかしながら、光線空間データ等の
IBR画像は、物体についての幾何形状を有さないので、
影についての処理が従来では困難であったのは前述した
とおりである。本実施形態の画像処理装置では、影の画
像についても、陰影のときと同じように、前もって生成
しておく。また、貼付面は、CGの分野では周知の所謂
「境界箱」(bounding box)を利用して生成する。
【００３９】第２１図，第２２図は、現実物体の例であ
る円錐１００の影データを生成する手法の原理を説明す
る。
る円錐１００の影データを生成する手法の原理を説明す
る。
【００４０】即ち、第２１図において、照明３２が同図
の位置から現実の円錐１００を照明する場合において、
この照明３２の位置（姿勢も含む）に略一致させた位置
にカメラ２９を配置して、照明３２によって照明された
対象物体１００の像を撮影する。この画像１２０は、た
とえば、第２２図のような形状を有し、その輪郭１２１
は、対象物体１００が照明３２によって照射されたとき
に発生する影に概ね近い形状を有する筈である。換言す
れば、陰影を生成するときは、陰影が付与されている物
体の実写画像を光線空間データの形式で前もって記録す
るために、カメラによる撮影を行ったが、影の生成で
は、影の画像を得るために対象物体の撮影を行う。
の位置から現実の円錐１００を照明する場合において、
この照明３２の位置（姿勢も含む）に略一致させた位置
にカメラ２９を配置して、照明３２によって照明された
対象物体１００の像を撮影する。この画像１２０は、た
とえば、第２２図のような形状を有し、その輪郭１２１
は、対象物体１００が照明３２によって照射されたとき
に発生する影に概ね近い形状を有する筈である。換言す
れば、陰影を生成するときは、陰影が付与されている物
体の実写画像を光線空間データの形式で前もって記録す
るために、カメラによる撮影を行ったが、影の生成で
は、影の画像を得るために対象物体の撮影を行う。
【００４１】輪郭形状１２１は、影画像の基になるもの
で、以下、単に「輪郭形状」と呼ぶ。仮想照明による影
（仮想の影である）は、輪郭形状を、仮想照明の視点位
置を座標軸とする座標変換、即ち、アフィン変換を施す
ことによって得ることができる。たとえば、仮想照明の
仰角が低い場合には第２３図のような長細い影が生成さ
れるはずであり、仰角が高い場合には第２４図のような
詰まった長さの影が生成されるはずである。
で、以下、単に「輪郭形状」と呼ぶ。仮想照明による影
（仮想の影である）は、輪郭形状を、仮想照明の視点位
置を座標軸とする座標変換、即ち、アフィン変換を施す
ことによって得ることができる。たとえば、仮想照明の
仰角が低い場合には第２３図のような長細い影が生成さ
れるはずであり、仰角が高い場合には第２４図のような
詰まった長さの影が生成されるはずである。
【００４２】影の形状は、上記輪郭形状の他に、貼付面
の形状の影響を受ける。貼付面が決定されていれば、影
の形状は、輪郭形状を、その貼付面へ射影したときの形
状となる。この射影形状はアフィン変換で表現される。
の形状の影響を受ける。貼付面が決定されていれば、影
の形状は、輪郭形状を、その貼付面へ射影したときの形
状となる。この射影形状はアフィン変換で表現される。
【００４３】次に、貼付面の生成原理について説明す
る。
る。
【００４４】現実世界における影は物体の形状に即した
形状を有する。即ち、影は物体の形状に即した範囲内で
生まれる。本実施形態の特徴は、貼付面の形状（即ち範
囲）を、対象物体（仮想物体）の境界箱の貼付面の範囲
に限定するものである。
形状を有する。即ち、影は物体の形状に即した範囲内で
生まれる。本実施形態の特徴は、貼付面の形状（即ち範
囲）を、対象物体（仮想物体）の境界箱の貼付面の範囲
に限定するものである。
【００４５】例えば、第２５図に示すように、実際には
複雑な幾何形状を有する２つの動物おもちゃ３０１の仮
想画像が存在する場合には、この仮想画像の空間的広が
りを全て包含する境界箱(bounding box)を求める。この
箱は通常は直方体形状に設定され、第２５図の例では箱
３００となる。この箱の投影形状３０２は第２５図に示
すように矩形となる。この投影形状３０２が貼付面とな
る。
複雑な幾何形状を有する２つの動物おもちゃ３０１の仮
想画像が存在する場合には、この仮想画像の空間的広が
りを全て包含する境界箱(bounding box)を求める。この
箱は通常は直方体形状に設定され、第２５図の例では箱
３００となる。この箱の投影形状３０２は第２５図に示
すように矩形となる。この投影形状３０２が貼付面とな
る。
【００４６】第２６図は、輪郭形状を得るための制御手
順である。
順である。
【００４７】ステップＳ１００で、カメラ２９と照明装
置３２とを任意の位置Ｌに設置する。ステップＳ１０２
では、この位置Ｌで、照明３２で実物体を照明し、その
画像を取得する。ステップＳ１０４ではその画像から輪
郭を取得する。ステップＳ１０６では、その輪郭内の画
素値を黒とする。また、透明度(transparency)を所定値
（完全透明ではないが、仮想物体の表面が透けて見える
程度の透明度）に設定する。
置３２とを任意の位置Ｌに設置する。ステップＳ１０２
では、この位置Ｌで、照明３２で実物体を照明し、その
画像を取得する。ステップＳ１０４ではその画像から輪
郭を取得する。ステップＳ１０６では、その輪郭内の画
素値を黒とする。また、透明度(transparency)を所定値
（完全透明ではないが、仮想物体の表面が透けて見える
程度の透明度）に設定する。
【００４８】ステップＳ１０８の処理は選択的である。
即ち、画像撮像面（カメラの位置・姿勢）が影の投影面
（照明の位置・姿勢）と平行でないのであれば、影画像
の再投影処理が必要となる。しかし、第２１図の例では
平行ではないが、それらの面のなす角度が小さいため、
誤差は少ないと予想され、そのような再投影処理を行わ
なくても見た目には大差がない。尚、実物体からではな
く、仮想物体から輪郭を得る場合には、透視体積 (pers
pective viewing volume)を、描画面が影画像の面と一
致するように設定することができる。
即ち、画像撮像面（カメラの位置・姿勢）が影の投影面
（照明の位置・姿勢）と平行でないのであれば、影画像
の再投影処理が必要となる。しかし、第２１図の例では
平行ではないが、それらの面のなす角度が小さいため、
誤差は少ないと予想され、そのような再投影処理を行わ
なくても見た目には大差がない。尚、実物体からではな
く、仮想物体から輪郭を得る場合には、透視体積 (pers
pective viewing volume)を、描画面が影画像の面と一
致するように設定することができる。
【００４９】ステップＳ１０８のぼかし処理は、実際の
影が、その輪郭部分においてぼけていることを考慮した
ものである。即ち、ぼかし処理を加えることにより、影
の画像をより自然となるようにすることができる。更
に、物体からより離間した位置に投影される影に対する
ぼかし量を増やすことにより、更に自然感を向上させる
ことができる。このぼかし処理を、仮想物体の画像から
生成した輪郭画像に対して行う場合には、視野に対する
奥行き(depth-of-field)効果で描画するときに使われる
不定透視体積(jittered viewing volume)を用いて実現
できる。
影が、その輪郭部分においてぼけていることを考慮した
ものである。即ち、ぼかし処理を加えることにより、影
の画像をより自然となるようにすることができる。更
に、物体からより離間した位置に投影される影に対する
ぼかし量を増やすことにより、更に自然感を向上させる
ことができる。このぼかし処理を、仮想物体の画像から
生成した輪郭画像に対して行う場合には、視野に対する
奥行き(depth-of-field)効果で描画するときに使われる
不定透視体積(jittered viewing volume)を用いて実現
できる。
【００５０】ステップＳ１１０ではこうして得られた影
の画像データをセーブし、ステップＳ１１２では、次の
撮影位置（照明位置）L+1に移動し、ステップＳ１００
に戻る。
の画像データをセーブし、ステップＳ１１２では、次の
撮影位置（照明位置）L+1に移動し、ステップＳ１００
に戻る。
【００５１】尚、ステップＳ１１０でのデータのセーブ
は、その影の画像データが、照明と物体との相対位置の
値によってインデックスされるようにしてセーブされ
る。
は、その影の画像データが、照明と物体との相対位置の
値によってインデックスされるようにしてセーブされ
る。
【００５２】かくして、複数の照明位置から物体を照明
したときの輪郭を前もって、影画像として準備しておく
ことができる。
したときの輪郭を前もって、影画像として準備しておく
ことができる。
【００５３】第２７図は影の描画の詳細な手順を説明す
る。
る。
【００５４】即ち、ステップＳ１２０では、影を生成す
べき仮想物体の光線空間データをメモリから取り出す。
べき仮想物体の光線空間データをメモリから取り出す。
【００５５】ステップＳ１２２では、影を生成する可能
性のある仮想照明を全て検出する。ステップＳ１２６乃
至ステップＳ１３４は、これら仮想照明のうちの照明が
ＯＮと設定されている照明による影画像の描画処理であ
る。即ち、ステップＳ１２６では、ＯＮと設定されてる
１つの照明Ｌを見つける。ステップＳ１２８では、貼付
面の形状を計算する。貼付面の形状は、前述したよう
に、仮想物体の境界箱の幾何形状と光源の相対位置とが
与えられるならば計算することができる。影貼付面の幾
何形状は、その境界箱内の任意の要素がその貼付面上に
投影される影を有するものとなるように設定することが
可能である。
性のある仮想照明を全て検出する。ステップＳ１２６乃
至ステップＳ１３４は、これら仮想照明のうちの照明が
ＯＮと設定されている照明による影画像の描画処理であ
る。即ち、ステップＳ１２６では、ＯＮと設定されてる
１つの照明Ｌを見つける。ステップＳ１２８では、貼付
面の形状を計算する。貼付面の形状は、前述したよう
に、仮想物体の境界箱の幾何形状と光源の相対位置とが
与えられるならば計算することができる。影貼付面の幾
何形状は、その境界箱内の任意の要素がその貼付面上に
投影される影を有するものとなるように設定することが
可能である。
【００５６】尚、貼付面を決定するための境界箱は、場
合によっては、極めて単純化することができる。例え
ば、天井からの反射光や外光が光源となる場合には、例
えば第２８図のように、境界箱内に内接する楕円３０５
のような極めて単純な貼付面とすることができる。
合によっては、極めて単純化することができる。例え
ば、天井からの反射光や外光が光源となる場合には、例
えば第２８図のように、境界箱内に内接する楕円３０５
のような極めて単純な貼付面とすることができる。
【００５７】ステップＳ１３０では、照明Ｌに対する物
体の相対位置に対応させて影画像を描画する。ステップ
Ｓ１１０で述べたように、影の画像は、照明Ｌに対する
実物体（仮想物体）の相対位置の値によってインデック
スされていた。したがって、この相対位置を用いて影デ
ータから対応する画像をメモリから取り出すことができ
る。ステップＳ１２０で読み出した仮想物体のRSデータ
は、この相対位置を計算するのに用いられる。この場合
にはアフィン変換を用いる。もし必要ならば、再投影と
影画像のぼかしが実行される。ステップＳ１３２では生
成された影画像を貼付面に張り付ける。この貼付はテク
スチャマッピング（第８図の２４）を用いて行う。
体の相対位置に対応させて影画像を描画する。ステップ
Ｓ１１０で述べたように、影の画像は、照明Ｌに対する
実物体（仮想物体）の相対位置の値によってインデック
スされていた。したがって、この相対位置を用いて影デ
ータから対応する画像をメモリから取り出すことができ
る。ステップＳ１２０で読み出した仮想物体のRSデータ
は、この相対位置を計算するのに用いられる。この場合
にはアフィン変換を用いる。もし必要ならば、再投影と
影画像のぼかしが実行される。ステップＳ１３２では生
成された影画像を貼付面に張り付ける。この貼付はテク
スチャマッピング（第８図の２４）を用いて行う。
【００５８】ステップＳ１３４では、他の照明を考慮す
るために、ステップＳ１２４に戻る。即ち、他のＯＮし
ている照明がある場合には、換言すれば複数の照明によ
る影が存在し得る場合には、上述の手法によって生成さ
れた影の画像は、周知のGC描画法（画像の半透明性を考
慮する）によって合成される。
るために、ステップＳ１２４に戻る。即ち、他のＯＮし
ている照明がある場合には、換言すれば複数の照明によ
る影が存在し得る場合には、上述の手法によって生成さ
れた影の画像は、周知のGC描画法（画像の半透明性を考
慮する）によって合成される。
【００５９】〈影生成の効果〉以上説明した実施形態の
影生成は、光線空間理論などのIBRデータ（幾何形状情
報を有さない）によって表現される仮想物体に対して
も、所望の位置の照明からの影を適切に生成することが
できる。
影生成は、光線空間理論などのIBRデータ（幾何形状情
報を有さない）によって表現される仮想物体に対して
も、所望の位置の照明からの影を適切に生成することが
できる。
【００６０】本発明は更に種々変形が可能である。
【００６１】上記実施形態では、光線空間データは計算
によって求めていたが、前もってテーブル化したRAMやR
OMを用いても良い。
によって求めていたが、前もってテーブル化したRAMやR
OMを用いても良い。
【００６２】表示装置はＣＲＴに限られない。レンティ
キュラタイプやＨＭＤタイプの表示装置に適用できる。
キュラタイプやＨＭＤタイプの表示装置に適用できる。
【００６３】
【発明の効果】以上説明したように本発明によれば、実
写画像を基にした光線データから構成した仮想物体に陰
影を適切に付与することができる。
写画像を基にした光線データから構成した仮想物体に陰
影を適切に付与することができる。
【図１】 光線空間データを生成する原理を説明する
図。
図。
【図２】 実空間でのデータを説明する図。
【図３】 図２の空間が光線空間データによって表され
たときの図。
たときの図。
【図４】 カメラが複数ある時の実空間データを生成す
る原理を説明する図。
る原理を説明する図。
【図５】 カメラが複数ある時の光線空間データを生成
する原理を説明する図。
する原理を説明する図。
【図６】 カメラが複数ある時の光線空間データから、
任意の視点位置における光線空間データ(x+Zu=X)を生成
する原理を説明する図。
任意の視点位置における光線空間データ(x+Zu=X)を生成
する原理を説明する図。
【図７】 図６の任意視点からの実空間を再構成する原
理を説明する図。
理を説明する図。
【図８】 実施形態の画像処理装置の構成を説明する
図。
図。
【図９】 実施形態における光線空間データの記憶を説
明する図。
明する図。
【図１０】 対象物体の陰影つき実写画像を、異なる複
数のカメラ視点の夫々において、異なる複数の照明位置
から照明した場合に得る手法を説明する図。
数のカメラ視点の夫々において、異なる複数の照明位置
から照明した場合に得る手法を説明する図。
【図１１】 対象物体の陰影つき実写画像の光線空間デ
ータを生成する過程を説明する図。
ータを生成する過程を説明する図。
【図１２】 L1，L2に置かれた仮想照明によって照明さ
れた仮想物体の仮想視点位置ｉから見たときの陰影の発
生の状況を説明する図。
れた仮想物体の仮想視点位置ｉから見たときの陰影の発
生の状況を説明する図。
【図１３】 図１２の仮想物体において付与される陰影
の状況を説明する図。
の状況を説明する図。
【図１４】 ディスクに記憶されたデータの中から、視
点位置ｉ、照明位置L1，L2に対応する光線空間データRS
を引き出す手法を説明する図。
点位置ｉ、照明位置L1，L2に対応する光線空間データRS
を引き出す手法を説明する図。
【図１５】 対象物体の陰影付き実写画像を取得し光線
空間データに変換するまでの制御手順を示すフローチャ
ート。
空間データに変換するまでの制御手順を示すフローチャ
ート。
【図１６】 図１５の光線空間データを得る際に設定さ
れた各照明条件を記憶する表の図。
れた各照明条件を記憶する表の図。
【図１７】 任意の仮想照明が設けられたときの仮想物
体の陰影付き画像を生成する制御手順のフローチャート
図。
体の陰影付き画像を生成する制御手順のフローチャート
図。
【図１８】 図１７の描画ルーチンを説明するフローチ
ャート図。
ャート図。
【図１９】 図１７のリスタートルーチンを説明するフ
ローチャート図。
ローチャート図。
【図２０】 対象物体に対する照明の位置に応じて画素
値を制御する原理を説明する図。
値を制御する原理を説明する図。
【図２１】 任意の対象物体の影画像の元となる輪郭線
を生成する原理を説明する図。
を生成する原理を説明する図。
【図２２】 図２１の原理により抽出された輪郭線の例
を示す図。
を示す図。
【図２３】 仮想照明の位置の変化（低くなる）に応じ
て、図２２で得られた輪郭線が変化する様子を説明する
図。
て、図２２で得られた輪郭線が変化する様子を説明する
図。
【図２４】 仮想照明の位置の変化（高くなる）に応じ
て、図２２で得られた輪郭線が変化する様子を説明する
図。
て、図２２で得られた輪郭線が変化する様子を説明する
図。
【図２５】 実施形態における貼付面の生成原理を説明
する図。
する図。
【図２６】 影画像を前もって生成する制御手順のフロ
ーチャート。
ーチャート。
【図２７】 前もって生成された影画像を仮想物体に張
り付ける制御手順のフローチャート。
り付ける制御手順のフローチャート。
【図２８】 貼付面を簡易に生成する原理を説明する
図。
図。
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 小竹 大輔
横浜市西区花咲町６丁目145番地 横浜
花咲ビル 株式会社エム・アール・シス
テム研究所内
(56)参考文献 特開 平10−255081（ＪＰ，Ａ)
特開 平７−27531（ＪＰ，Ａ)
特開 平６−274579（ＪＰ，Ａ)
特開 昭64−4871（ＪＰ，Ａ)
特開 平６−105826（ＪＰ，Ａ)
特開 平６−307833（ＪＰ，Ａ)
特開 平８−210820（ＪＰ，Ａ)
特開 平７−260443（ＪＰ，Ａ)
田村秀行 外１名，”複合現実感”,
映像情報メディア学会誌，社団法人映像
情報メディア学会，1998年 ３月20日,
第52巻，第３号，ｐ．266−272
苗村 健 外３名，”光線情報による
３次元実空間の効率的記述へ向けた光線
空間射影法”，テレビジョン学会技術報
告，社団法人テレビジョン学会，1996年
２月 １日，第20巻，第４号，ｐ．49
−56
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 17/40
H04N 5/262
G06T 15/00
G06T 1/00
G01B 11/00
ＣＳＤＢ（日本国特許庁)
Claims (12)
- 【請求項１】 仮想空間を実写画像を基に記述表現する
ための画像処理方法であって、 現実物体の実写画像をもとにして形成された光線データ
により前記現実物体を仮想物体として記述し、前記光線
データから任意の視点位置からの前記仮想物体の仮想画
像を生成するための画像処理方法であり、 現実の照明光源を用いて実現される複数の照明条件の夫
々により照明された前記現実物体を、複数の視点位置か
ら現実のカメラを用いて撮影することにより、前記現実
物体の実写画像を複数取得し、前記カメラの視点位置に基づき、前記複数の実写画像の
それぞれを オブジェクト化された光線データに変換し、前記光線データを前記現実の照明光源の照明条件と とも
に検索可能にメモリに記憶することを特徴とする画像処
理方法。 - 【請求項２】 前記照明条件には、照明光源の位置が含
まれることを特徴とする請求項１記載の画像処理方法。 - 【請求項３】 前記照明条件には、照度が含まれること
を特徴とする請求項１乃至２のいずれかに記載の画像処
理方法。 - 【請求項４】 前記光線データは、光線空間理論データ
であることを特徴とする請求項１記載の画像処理方法。 - 【請求項５】 仮想空間を実写画像を基に記述表現する
画像処理方法であって、 現実物体の実写画像をもとにして形成された光線データ
により前記現実物体を仮想物体として記述し、前記光線
データから任意の視点位置からの前記仮想物体の仮想画
像を生成する画像処理方法であり、 現実の照明光源を用いて実現される複数の照明条件の夫
々により照明された前記現実物体を複数の視点位置から
現実のカメラを用いて撮影することにより取得された複
数の前記現実物体の実写画像の夫々から求められたオブ
ジェクト化された光線データを保持し、 前記任意の視点位置を設定し、 仮想照明条件を設定し、 前記保持されている光線データから、前記設定された視
点位置および前記設定された仮想照明条件に応じた光線
データを読出し、該光線データと該仮想照明条件に基づ
いて前記仮想画像を生成する ことを特徴とする画像処理
方法。 - 【請求項６】 前記仮想照明条件には、照明の位置およ
び照度が含まれることを特徴とする請求項５記載の画像
処理方法。 - 【請求項７】 前記仮想照明条件に基づき、複数の異な
る照明条件の光線データを読出し、 前記複数の異なる照明条件の光線データを用いて、前記
仮想照明条件に応じた仮想画像を生成することを特徴と
する請求項５記載の画像処理方法。 - 【請求項８】 前記仮想物体の照明に対する相対位置を
求め、 前記相対位置に基づき、前記読み出した光線データを補
正することを特徴とする請求項７記載の画像処理方法。 - 【請求項９】 仮想空間を実写画像を基に記述表現する
ための画像処理装置であって、 現実物体の実写画像をもとにして形成された光線データ
により前記現実物体を仮想物体として記述し、前記光線
データから任意の視点位置からの前記仮想物体の仮想画
像を生成するための画像処理装置であり、 現実の照明光源を用いて実現される複数の照明条件の夫
々により照明された前記現実物体を、複数の視点位置か
ら現実のカメラを用いて撮影することにより、前記現実
物体の実写画像を複数取得する手段と、前記カメラの視点位置に基づき、前記複数の実写画像の
それぞれを オブジェクト化された光線データに変換する
変換手段と、前記光線データを前記現実の照明光源の照明条件と とも
に検索可能にメモリに記憶する手段とを備えることを特
徴とする画像処理装置。 - 【請求項１０】 仮想空間を実写画像を基に記述表現す
る画像処理装置であって、 現実物体の実写画像をもとにして形成された光線データ
により前記現実物体を仮想物体として記述し、前記光線
データから任意の視点位置からの前記仮想物体の仮想画
像を生成する画像処理装置であり、 現実の照明光源を用いて実現される複数の照明条件の夫
々により照明された前記現実物体を、複数の視点位置か
ら現実のカメラを用いて撮影することにより、取得され
た複数の前記現実物体の実写画像の夫々から求められた
オブジェクト化された光線データを保持する手段と、 前記任意の視点位置を設定する手段と、 仮想照明条件を設定する手段と、 前記保持されている光線データから、前記設定された視
点位置および前記設定された仮想照明条件に応じた光線
データを読出し、該光線データと該仮想照明条件に基づ
いて前記仮想画像を生成する手段とを備える ことを特徴
とする画像処理装置。 - 【請求項１１】 コンピュータに画像処理方法を実現さ
せるための制御プログラムを格納した記憶媒体であっ
て、前記画像処理方法が、 仮想空間を実写画像を基に記述表現するための画像処理
方法であって、 現実物体の実写画像をもとにして形成された光線データ
により前記現実物体を仮想物体として記述し、前記光線
データから任意の視点位置からの前記仮想物体の仮想画
像を生成するための画像処理方法であり、 現実の照明光源を用いて実現される複数の照明条件の夫
々により照明された前記現実物体を、複数の視点位置か
ら現実のカメラを用いて撮影することにより、前記現実
物体の実写画像を複数取得し、 前記カメラの視点位置に基づき、前記複数の実写画像の
それぞれをオブジェクト化された光線データに変換し、 前記光線データを前記現実の照明光源の照明条件ととも
に検索可能にメモリに記憶する各ステップを含むことを
特徴とする記憶媒体。 - 【請求項１２】 コンピュータに画像処理方法を実現
させるための制御プログラムを格納した記憶媒体であっ
て、前記画像処理方法が、 仮想空間を実写画像を基に記述表現する画像処理方法で
あって、 現実物体の実写画像をもとにして形成された光線データ
により前記現実物体を仮想物体として記述し、前記光線
データから任意の視点位置からの前記仮想物体 の仮想画
像を生成する画像処理方法であり、 現実の照明光源を用いて実現される複数の照明条件の夫
々により照明された前記現実物体を、複数の視点位置か
ら現実のカメラを用いて撮影することにより、取得され
た複数の前記現実物体の実写画像の夫々から求められた
オブジェクト化された光線データを保持し、 前記任意の視点位置を設定し、 仮想照明条件を設定し、 前記保持されている光線データから、前記設定された視
点位置および前記設定された仮想照明条件に応じた光線
データを読出し、該光線データと該仮想照明条件に基づ
いて前記仮想画像を生成する各ステップを含むことを特
徴とする記憶媒体。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22395899A JP3387856B2 (ja) | 1999-08-06 | 1999-08-06 | 画像処理方法、画像処理装置および記憶媒体 |
| EP00103803A EP1074943A3 (en) | 1999-08-06 | 2000-02-23 | Image processing method and apparatus |
| US09/512,836 US6930685B1 (en) | 1999-08-06 | 2000-02-25 | Image processing method and apparatus |
| US11/115,344 US20050195332A1 (en) | 1999-08-06 | 2005-04-27 | Image processing method and apparatus |
| US11/115,162 US20050190181A1 (en) | 1999-08-06 | 2005-04-27 | Image processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22395899A JP3387856B2 (ja) | 1999-08-06 | 1999-08-06 | 画像処理方法、画像処理装置および記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001052207A JP2001052207A (ja) | 2001-02-23 |
| JP3387856B2 true JP3387856B2 (ja) | 2003-03-17 |
Family
ID=16806371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22395899A Expired - Fee Related JP3387856B2 (ja) | 1999-08-06 | 1999-08-06 | 画像処理方法、画像処理装置および記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3387856B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4804256B2 (ja) * | 2006-07-27 | 2011-11-02 | キヤノン株式会社 | 情報処理方法 |
| US8737721B2 (en) | 2008-05-07 | 2014-05-27 | Microsoft Corporation | Procedural authoring |
| US8204299B2 (en) * | 2008-06-12 | 2012-06-19 | Microsoft Corporation | 3D content aggregation built into devices |
| JP5237066B2 (ja) * | 2008-11-28 | 2013-07-17 | キヤノン株式会社 | 複合現実感提示システムおよび複合現実感提示方法、プログラム |
| KR101845231B1 (ko) | 2011-06-14 | 2018-04-04 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| JP6025519B2 (ja) * | 2012-11-21 | 2016-11-16 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
-
1999
- 1999-08-06 JP JP22395899A patent/JP3387856B2/ja not_active Expired - Fee Related
Non-Patent Citations (2)
| Title |
|---|
| 田村秀行 外１名，"複合現実感"，映像情報メディア学会誌，社団法人映像情報メディア学会，１９９８年 ３月２０日，第５２巻，第３号，ｐ．２６６−２７２ |
| 苗村 健 外３名，"光線情報による３次元実空間の効率的記述へ向けた光線空間射影法"，テレビジョン学会技術報告，社団法人テレビジョン学会，１９９６年 ２月 １日，第２０巻，第４号，ｐ．４９−５６ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001052207A (ja) | 2001-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240106971A1 (en) | Method and system for generating at least one image of a real environment | |
| CN110148204B (zh) | 用于在真实环境的视图中表示虚拟对象的方法和系统 | |
| EP1074943A2 (en) | Image processing method and apparatus | |
| Debevec | Rendering synthetic objects into real scenes: Bridging traditional and image-based graphics with global illumination and high dynamic range photography | |
| US6983082B2 (en) | Reality-based light environment for digital imaging in motion pictures | |
| CN101422035B (zh) | 光源推定装置、光源推定系统与光源推定方法以及图像高分辨率化装置与图像高分辨率化方法 | |
| Grau et al. | A combined studio production system for 3-D capturing of live action and immersive actor feedback | |
| CN108475327A (zh) | 三维采集与渲染 | |
| JP2006053694A (ja) | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 | |
| JP2016537901A (ja) | ライトフィールド処理方法 | |
| JP3524147B2 (ja) | ３次元画像表示装置 | |
| US11810248B2 (en) | Method for processing image data to provide for soft shadow effects using shadow depth information | |
| WO2018161883A1 (zh) | 虚拟光线跟踪方法及光场动态重聚焦显示系统 | |
| JPH07306955A (ja) | 三次元イリュージョンを生み出す方法およびシステム | |
| WO2023207452A1 (zh) | 基于虚拟现实的视频生成方法、装置、设备及介质 | |
| JPH11175762A (ja) | 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法 | |
| CN115439616B (zh) | 基于多对象图像α叠加的异构对象表征方法 | |
| EP3057316B1 (en) | Generation of three-dimensional imagery to supplement existing content | |
| US20030146922A1 (en) | System and method for diminished reality | |
| JP3387856B2 (ja) | 画像処理方法、画像処理装置および記憶媒体 | |
| JP3392078B2 (ja) | 画像処理方法、画像処理装置および記憶媒体 | |
| Goesele et al. | Building a Photo Studio for Measurement Purposes. | |
| JP5506371B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| Kropp et al. | Acquiring and rendering high-resolution spherical mosaics | |
| Soh et al. | Texture mapping of 3D human face for virtual reality environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20021213 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100110 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110110 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120110 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130110 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140110 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |