JP4217100B2 - 画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラム - Google Patents
画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラム Download PDFInfo
- Publication number
- JP4217100B2 JP4217100B2 JP2003113202A JP2003113202A JP4217100B2 JP 4217100 B2 JP4217100 B2 JP 4217100B2 JP 2003113202 A JP2003113202 A JP 2003113202A JP 2003113202 A JP2003113202 A JP 2003113202A JP 4217100 B2 JP4217100 B2 JP 4217100B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- incident light
- image
- projection
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F3/00—Biological treatment of water, waste water, or sewage
- C02F3/02—Aerobic processes
- C02F3/10—Packings; Fillings; Grids
- C02F3/109—Characterized by the shape
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F3/00—Biological treatment of water, waste water, or sewage
- C02F3/02—Aerobic processes
- C02F3/10—Packings; Fillings; Grids
- C02F3/105—Characterized by the chemical composition
- C02F3/106—Carbonaceous materials
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F3/00—Biological treatment of water, waste water, or sewage
- C02F2003/001—Biological treatment of water, waste water, or sewage using granular carriers or supports for the microorganisms
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラによる実写画像と、立体モデルとを合成する画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置およびプログラムに関する
【０００２】
【従来の技術】
従来より、計算機（コンピュータ）で生成した立体モデルから二次元画像を生成する（これを「レンダリング」という。）方法として、レイトレーシング法が知られている（例えば、特許文献１参照）。
レイトレーシング法は、図５に示すように、計算機の仮想空間上に立体モデル１０１を生成し、この立体モデル１０１を視点１０３から見たときの二次元画像を生成する方法である。レイトレーシングを行う際には、視点１０３から立体モデル１０１を見た方向に投影面１０２を設定し、空間の適当な位置に光源１０４を設定する。そして、投影面１０２上に、画面と同様の画素１０５を設定し、画素１０５から視点１０３に入ってくる光線１０６を逆に追跡し、立体モデル１０１の色を画素１０５の色に決定する。この操作をすべての画素１０５について行うことにより、投影面１０２上に立体モデル１０１が投影される。
【０００３】
そして、近年ではコンピュータの性能向上により、映画やテレビの映像において、カメラで撮影した実写画像とコンピュータグラフィクス（ＣＧ：Computer Graphics)で作ったキャラクタや商品などの画像とを合成して、新たな映像表現が行われている。
このような合成画像を作るためには、まず、計算機内で立体モデルを生成し、この立体モデルをレイトレーシング法で二次元画像にする際に、実写画像を撮影したカメラと、同じ撮影角度（チルト角など）、画角になるように視点と投影面、投影面上の画素を設定する。そして、投影面上にできあがった二次元画像を実写画像と重ね合わせる。
【０００４】
【特許文献１】
特開２０００−２０７５７６号公報（図７、段落０００２〜０００４等）
【０００５】
【発明が解決しようとする課題】
しかし、前記したような画像合成方法は、カメラがピンホールカメラモデルに基づいていることを前提としており、実写画像とＣＧを重ね合わせたときに、微妙なズレが生じる。
ここで、ピンホールカメラモデルと、実際のレンズ系を有するカメラの違いについて説明する。
ピンホールカメラモデルとは、図６に示すように、基点位置（針穴：ピンホールＨ）を通して入射する光（入射光）のみが、画像面上に到達して、三次元空間が、画像面上の二次元空間に対応付けられるモデルを言う。このようにピンホールカメラモデルは、入射光線が一点のピンホールを通って画像が形成されることを想定している。ところが、ピンホールカメラではなく、レンズ系を有するカメラでは入射光線を延長しても１点に収束しない。そのため、レンズ系を有するカメラで撮像した画像には、非線形の歪みが存在し、周辺視野ほどその歪みが大きい。
【０００６】
一方、立体モデルのレンダリングの際に、一点の固定された視点から光線を追跡することは、立体モデルをピンホールカメラモデルで撮影するのと同様の関係にあり、実際のカメラに入射してくる光線と比較すると、微妙に異なる方向から光線が入射するような計算方法になる。
【０００７】
このように、従来の画像合成方法では、実写画像に対するＣＧの見え方が微妙にずれていることから、静止している画像では気にならなくても、動画にすると、ＣＧが僅かに揺れ動き、違和感を与える。
たとえば、自動車の運転席からインスツルメントパネルとフロントガラスの外の景色が見えるようにカメラで撮影し、この実写画像に、ＣＧのメータ類をインスツルメントパネルに合成したとする。そして、カメラのパンを変えるシーンを作ると、本来、ＣＧのメータ類はインスツルメントパネルと一体に動かなければならないが、従来の画像合成方法では、インスツルメントパネルに対し、相対的に揺れながら動いてしまう。
このような現象は、実写画像の撮影距離が近距離から遠距離まで広範囲に渡り、かつカメラ（視点）に対して設定されたＣＧ（立体モデル）の距離が近いと顕著になる。このような問題から、従来の合成映像作成の際には、人手で、ＣＧの位置などを修正する必要があった。
【０００８】
本発明は、以上のような問題点に鑑みてなされたものであり、従来の実写画像とＣＧの画像合成において、ピンホールカメラモデルを前提とした誤差の根本原因を除去し、自然な感じの合成画像を作ることが可能な画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の画像合成方法は、カメラの撮像画素の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した記憶装置と、処理装置とを有し、立体モデル、投影面、視点を計算上の空間に設定するモデル設定手段と、前記視点から前記投影面上の投影画素に向かう方向を追跡する追跡視線算出手段と、前記立体モデルの属性を取得して、前記投影面上に前記立体モデルの二次元画像を生成する二次元画像生成手段と、カメラで撮影した実写画像に前記二次元画像を重ねて合成画像を生成する画像合成手段として機能する画像合成装置における画像合成方法であって、前記処理装置が、前記追跡視線算出手段によって、前記投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として同じ画素位置の前記撮像画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出するステップを実行し、前記較正テーブルの入射光線の方向及び位置を特定する情報が、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする。
【００１０】
このように、本発明は計算上の空間で、視点から立体モデルを見て、投影面の投影画素に立体モデルの二次元画像を投影する方法（いわゆるレイトレーシング法）において、視点を、合成する実写画像を撮影したカメラに合わせて、投影画素ごとに設定するものである。つまり、カメラで撮影した画面中の画素位置（撮像画素）に応じて、その画素に入ってくる入射光線の方向を予め測定しておき、投影画素に立体モデルの色を投影する追跡視線を、その投影画素に相当する撮像画素への入射光線に合わせるようにする。
この投影画素の色を決める際には、立体モデルの属性、例えば、色（色合い、明るさなど）や、反射率、透明度、及び基準視点Ｏからの距離などが考慮される。
こうすることで、カメラで撮影した実際の空間と実写画像の光学的関係と、計算上の空間（立体モデル）と二次元画像の光学的関係とが正確に一致するので、これらの実写画像と、二次元画像を合成したときに自然な画像または映像となる。
【００１１】
請求項３に記載の画像合成装置は、カメラで撮影した実写画像と、立体モデルを投影面上に投影して生成した二次元画像とを重ねて合成画像を生成する画像合成装置であって、前記カメラで撮影される実写画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した較正テーブル蓄積手段と、投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として前記実写画像の同じ画素位置の画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段と、前記実写画像に、前記二次元画像生成手段で生成した二次元画像を重ねる画像合成手段とを備え、前記較正テーブルの入射光線の方向及び位置を特定する情報は、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする。
【００１２】
このように、較正テーブル蓄積手段に較正テーブルを用意しておき、追跡視線算出手段が、投影画素ごとに、入射光線の方向及び位置を特定する情報を取得し、追跡視線、つまり、立体モデルを投影面に投影するための視線を算出する。そして、二次元画像生成手段が、前記追跡視線と立体モデルとの関係から投影画素の色を決定すれば、カメラで撮影した実際の空間と実写画像の光学的関係と同じ関係で、立体モデルから二次元画像を生成することができる。そのため、画像合成手段で、実写画像と二次元画像を重ねると、自然な合成画像もしくは合成映像となる。
【００１３】
前記した較正テーブルの入射光線の方向及び位置を特定する情報としては、前記入射光線の方向と、基準位置から前記入射光線への変位量とから構成することに限らず、例えば、カメラと一定の関係にある位置を原点として、前記入射光線上の２点の座標により特定してもよい（請求項２，４）。
【００１４】
また、このような画面合成装置の各手段は、カメラで撮影した実写画像と、立体モデルを投影面上に投影して生成した二次元画像とを重ねて合成画像を生成するため、前記カメラで撮影される画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを用い、コンピュータを、投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として前記カメラで撮影される画像の同じ画素位置の画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段と、前記実写画像に、前記二次元画像生成手段で生成した二次元画像を重ねる画像合成手段として機能させ、前記較正テーブルの入射光線の方向及び位置を特定する情報が、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなるように構成することもできる（請求項５）。
【００１５】
そして、請求項６に記載の発明は、カメラで撮影した実写画像にコンピュータグラフィクスを合成するため、カメラの撮像画素の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した記憶装置と、処理装置とを有し、モデル設定手段と、追跡視線算出手段と、二次元画像生成手段として機能して、計算上の空間に設定された立体モデル、投影面、視点を用いて、前記投影面上に前記立体モデルの二次元画像を生成するレンダリング装置における立体モデルのレンダリング方法であって、前記処理装置が、前記モデル設定手段によって、立体モデル、投影面、視点を計算上の空間に設定するステップと、前記追跡視線算出手段によって、前記投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として同じ画素位置の前記撮像画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記視点から前記投影面上の投影画素に向かう追跡視線として、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出するステップと、前記二次元画像生成手段によって、前記算出した追跡視線に基づき、前記立体モデルの色を取得するステップと、取得した立体モデルの色を前記投影面上の前記投影画素に配置して二次元画像を生成するステップとを実行し、前記較正テーブルの入射光線の方向及び位置を特定する情報が、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする。
【００１６】
また、請求項７に記載の発明は、カメラで撮影した実写画像にコンピュータグラフィクスを合成するため、計算上の空間に設定された立体モデル、投影面、視点を用いて、前記投影面上に前記立体モデルの二次元画像を生成する立体モデルのレンダリング装置であって、前記カメラで撮影される画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した較正テーブル蓄積手段と、投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として前記カメラで撮影される画像の同じ画素位置の画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記視点から前記投影面上の投影画素に向かう追跡視線として、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段とを備え、前記較正テーブルの入射光線の方向及び位置を特定する情報が、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする。
【００１７】
また、このようなレンダリング装置の各手段は、カメラで撮影した実写画像にコンピュータグラフィクスを合成するため、前記カメラで撮影される画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを用いて、計算上の空間に設定された立体モデル、投影面、視点を用いて、前記投影面上に前記立体モデルの二次元画像を生成する立体モデルのレンダリングプログラムであって、コンピュータを、投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として前記カメラで撮影される画像の同じ画素位置の画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記視点から前記投影面上の投影画素に向かう追跡視線として、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段として機能させ、前記較正テーブルの入射光線の方向及び位置を特定する情報が、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなるように構成することもできる（請求項８）。
【００１８】
【発明の実施の形態】
次に、図面を参照しながら本発明の実施形態について説明する。
まず、一般にピンホールカメラモデルと呼ばれるカメラにおいて、画像の歪みの原因となる、入射光線が一点で交わらないカメラの非ピンホール性について説明し、その非ピンホール性を有するカメラの特性を数値化したキャリブレーションデータについて説明する。そして、カメラの撮像画素毎のキャリブレーションデータを測定して較正テーブルを生成する方法について説明し、この較正テーブルを有する画像合成装置（レンダリング装置）について順次説明する。
【００１９】
［カメラの非ピンホール性について］
まず、図７を参照して、レンズ系を有するカメラで撮像した画像において、歪みが発生する原因について説明する。図７は、レンズ系を有するカメラの模式図である。ここでは、説明を簡略化するため、レンズ系を板ガラスＧとし、ピンホールＨが生成されているものとする。このカメラＣの板ガラスＧに垂直に入射する入射光線ｒ１は、ピンホールＨを通って撮影画像Ｉ上の画素Ｒ１に撮像される。また、板ガラスＧに斜めに入射した入射光線ｒ２及びｒ３は、板ガラスＧ内で屈折した後にピンホールＨを通って撮影画像Ｉ上の画素Ｒ２及びＲ３に撮像される。
【００２０】
しかし、このカメラＣは、板ガラスＧを通過する前の入射光線ｒ２及びｒ３の延長線であるｒ２´及びｒ３´と、入射光線ｒ１とは、一点では交わらず、実際にはピンホールカメラモデルとはなっていないことがわかる。このため、撮影画像Ｉ上の画素Ｒ３には、ピンホールカメラモデルで想定している入射光線ｒｒとは、距離Ｄ分だけずれた入射光線ｒ３が撮像されることになる。
【００２１】
このように、レンズ系（ここでは板ガラスＧ）に入射される入射光線によって像を撮像するカメラは、ピンホール性が崩れていることになる（非ピンホール性）。以下、レンズ系を有するカメラを「非ピンホールカメラ」と呼ぶこととする。
【００２２】
［キャリブレーションデータについて］
次に、図８を参照して、非ピンホールカメラの特性を数値化したキャリブレーションデータについて説明する。図８は、キャリブレーションデータの内容を説明するための説明図である。図８に示すように、レンズｌに入射する入射光線Ｒは２点で特定することができる。ここでは、第１の光源位置Ｐ１と、第２の光源位置Ｐ２とから発光される光が同一の画素（図示せず）に撮像されたときに、入射光線Ｒがその画素に対応する入射光線であると特定する。
【００２３】
ここで、すべての入射光線との距離の自乗和が最小となる点を光学中心Ｏと定義し、各撮像画素に対応する入射光線Ｒと光学中心Ｏとの距離が最小となる点を、その入射光線Ｒの入射光基点Ｋと定義する。
【００２４】
すなわち、光学中心Ｏ（ｘ0，ｙ0，ｚ0）は、すべての入射光線において、光源位置Ｐ１（ｘ1，ｙ1，ｚ1）と光源位置Ｐ２（ｘ2，ｙ2，ｚ2）とで特定される、入射光線Ｒからの距離ｄの自乗（（１）式）和が最小になる位置を、最小自乗法によって求めた位置となる。
【００２５】
d2=-(A2/B)+C ・・・（１）
【００２６】
ただし、
A=(x2-x1)(x1-x0)+(y2-y1)(y1-y0)+(z2-z1)(z1-z0)
B=(x2-x1)2+(y2-y1)2+(z2-z1)2、
C=(x1-x0)2+(y1-y0)2+(z1-z0)2
とする。
【００２７】
これによって、入射光線の方向（光源位置Ｐ１及びＰ２で特定される方向）と、光学中心Ｏから入射光基点Ｋへの変位量（三次元ベクトルＶD（ｄｘ，ｄｙ，ｄｚ）で表現）とを対応付けたデータをキャリブレーションデータとすることで、非ピンホールカメラの特性を数値化することができる。
【００２８】
なお、キャリブレーションデータは、これに限定されるものではない。例えば、前記した例では、光学中心Ｏを基準位置とし、光学中心Ｏから入射光線に降ろした垂線の足までのベクトルを変位量としているが、基準位置は、光学中心に限らず、カメラと一定関係にある固定点であれば、どのような点でも構わない。そして、変位量ＶDは、基準位置から入射光線上の任意の一点へ向かうベクトルであればよく、基準位置から入射光線へ降ろした垂線の足には限られない。
【００２９】
［較正テーブルの生成方法］
次に、図９を参照して、非ピンホールカメラの特性を数値化したキャリブレーションデータをカメラの撮像画素（投影画素に相当）毎に関連付けた較正テーブルを生成する方法について説明する。図９は、較正テーブルを生成する方法の原理を示す概念図である。なお、図９（ａ）は、特定の入射光線に対して、カメラのパン及びチルトを変化させることで、キャリブレーションデータを測定する原理を示す概念図であり、図９（ｂ）は、固定したカメラに対して、入射光線を変化させることで、キャリブレーションデータを測定する原理を示す概念図である。
【００３０】
図９（ａ）に示すように、キャリブレーションデータを撮像画素毎に関連付けた較正テーブルを生成するには、非ピンホール性を有するカメラＣに対して、光源位置をＰ１及びＰ２の１方向に移動させ（１軸移動）、光源位置Ｐ１及びＰ２で特定される入射光線Ｒを決定し、光源位置Ｐ１及びＰ２から発光される光が共に、測定を行う撮像画素に入射されるように、カメラＣのパン及びチルトを調整（２軸回転）することで、カメラＣの撮像画素毎に入射される入射光線Ｒの方向を特定する。
【００３１】
また、図９（ｂ）に示すように、カメラＣは固定しておき、光源位置Ｐ１及びＰ２の２点で発光した入射光線Ｒが、測定画素に入射されるように、光源位置Ｐ１及びＰ２をＸＹＺ方向に移動（３軸移動）させることで、その測定画素に入射される光源位置Ｐ１及びＰ２の２点で定まる入射光線Ｒの方向を特定することとしてもよい。
【００３２】
図９（ａ）又は（ｂ）で、測定を行った各撮像画素毎に特定された入射光線Ｒに基づいて、入射光線Ｒの方向と、光学中心Ｏから入射光基点Ｋ（図８参照）への変位量とをキャリブレーションデータとして撮像画素（投影画素）毎に関連づけることで較正テーブルを生成することができる。
なお、較正テーブルは、画素毎の入射光線の方向と位置を、カメラに対して特定できればいいものなので、例えば、入射光線を２つの点の座標により特定してテーブル化することもできる。
【００３３】
［画像合成装置の構成］
次に、図１及び図２を参照して、画像構成装置について説明を行う。図１は、本発明の実施形態である画像合成装置の構成を示したブロック図であり、図２は、実施形態に係る画像合成装置で使用されるレンダリング方法を説明する図である。図１に示した画像合成装置１は、カメラ（図示せず）で撮影した実写画像と、計算機で生成した立体モデルとを合成する装置である。
ここでは、画像合成装置１を、モデル設定手段１０と、較正テーブル蓄積手段２０と、追跡視線算出手段３０と、二次元画像生成手段４０と、画像合成手段５０とを備えて構成した。なお、画像合成装置１から画像合成手段５０を除いた、モデル設定手段１０、較正テーブル蓄積手段２０、追跡視線算出手段３０、二次元画像生成手段４０が特許請求の範囲にいうレンダリング装置１´に相当する。
これらの各手段は、ＣＰＵ、入出力装置、記憶装置を有するコンピュータに、コンピュータプログラムを実行させ、または記憶装置にデータを記憶させることで構成できる。
【００３４】
モデル設定手段１０は、画像合成装置１（計算機）内の空間座標に、立体モデルＯＢ、投影面ＰＬ、基準視点Ｏ、光源Ｌの位置やモデルの位置、姿勢を設定する手段である。具体的には、これらを画像合成装置１に入力するための入力インタフェースに相当する。この各値は、ＣＧの合成対象となる背景などの実写画像（映像）をカメラで撮影した際の状況に合わせて設定される。例えば、地面に対するカメラのチルト角や、カメラに対する光源Ｌの位置などを設定する。
【００３５】
ここで、立体モデルＯＢは、三次元ＣＡＤなどにより生成され、若しくは実測に基づいて生成した計算機上のモデルであり、画像合成装置１の外部から入力し、若しくは画像合成装置１が有する記憶装置から読み出して設定する。
【００３６】
投影面ＰＬは、計算上の空間内で立体モデルＯＢを投影する面である。投影面ＰＬと基準視点Ｏの関係は、すべての視線が投影面ＰＬを通過するように設定する。また、投影面ＰＬ上に設定する投影画素ＰＰは、撮像画素ごとに生成される視線が通過する位置に設定する。また、投影画素ＰＰのフレームは、カメラの画角に合った画像フレームとなるように設定する。
【００３７】
基準視点Ｏは、投影面ＰＬに立体モデルＯＢを投影するための始点となる位置であり、その位置から各投影画素ＰＰに向かって追跡視線ＬＣを伸ばし、立体モデルＯＢの色を取得するのに使用される。なお、後記するように、追跡視線ＬＣの始点は、正確には基準視点Ｏと同一ではなく、変位量ＶD分だけ変位した位置の変位視点ＯＰとなる。また、請求項１及び請求項６にいう視点は、基準視点Ｏ及び変位視点ＯＰを含む。
【００３８】
光源Ｌは、計算上の空間内の仮想の光源であり、カメラで撮影する時の状況に合わせて設定される。例えば、カメラ撮影が外で行われれば、太陽の位置に合わせて明るさ、色、位置などが決定される。なお、光源Ｌは一つとは限らず、カメラ撮影時の状況に合わせて複数設定しても構わない。
【００３９】
較正テーブル蓄積手段２０は、追跡視線ＬＣを決定するための較正テーブル２１を蓄積する記憶装置である。較正テーブル２１は、図３に示すように、投影面ＰＬ上の座標（画素位置）（ｘ，ｙ）ごとに、変位視点ＯＰの基準視点Ｏからの変位量ＶD（ｄｘ，ｄｙ，ｄｚ）、方向ベクトルＶC（Ｃｘ，Ｃｙ，Ｃｚ）を対応づけて記憶している。
変位量ＶDは、基準視点Ｏから変位視点ＯＰまでの三次元ベクトルである。基準視点Ｏは、任意の固定点であるが、カメラの光学中心に相当する点を基準視点Ｏとするのが簡便でよい。また、変位量ＶDの終点位置は、カメラに入ってくる光線の延長線上の点であれば、どの点でも構わないが、カメラの入射光線に降ろした垂線の足に相当する点にすると簡便である。
方向ベクトルＶCは、変位視点ＯＰから、投影画素ＰＰに向かうベクトルである。
すなわち、基準視点Ｏ、変位量ＶD、及び方向ベクトルＶCにより、追跡視線ＬＣを特定することができる。
【００４０】
追跡視線算出手段３０は、前記した較正テーブル蓄積手段２０（較正テーブル２１）から、投影画素ＰＰの位置に応じた変位量ＶDと方向ベクトルＶCを読み出して、追跡視線ＬＣを算出する手段である。具体的には、基準視点Ｏの座標に変位量ＶDの値を足して変位視点ＯＰの座標を計算し、変位視点ＯＰの座標と、方向ベクトルＶCから追跡視線ＬＣの式を求めればよい。
【００４１】
二次元画像生成手段４０は、追跡視線算出手段３０が算出した追跡視線ＬＣに基づき、立体モデルＯＢの色を取得し、投影画素ＰＰの色を決定する手段である。具体的には、追跡視線ＬＣを変位視点ＯＰから立体モデルＯＢに向かって追跡し、例えば立体モデルＯＢの表面の色や反射率を取得し、光源Ｌまで追跡して、投影画素ＰＰの色を含むモデル情報（明るさ、色合い、基準視点Ｏからの距離など）を決定する。なお、立体モデルＯＢが透明体の場合には、立体モデルＯＢの内部まで追跡して色を決定する。また、前記基準視点Ｏからの距離は、実写画像への合成の際に必要になることがあるので、これを付加して記憶しておくのが望ましい。
そして、すべての投影画素ＰＰについて色を決定することで、二次元画像を投影面ＰＬ上に生成する。
【００４２】
画像合成手段５０は、二次元画像生成手段４０が生成した二次元画像と実写画像を合成する手段である。実写画像は、適宜な入力手段により、画像合成装置１の外部から入力しても良いし、画像合成装置１が有する記憶装置内から読み込んでも良い。画像の合成は、基本的に、実写画像の上に基準視点Ｏからの距離に応じて二次元画像を重ねることで生成される。つまり、実写画像の中で、立体モデルＯＢが実写画像内の構成物より近くに写っている画素の色を二次元画像の色で置き換えればよい。
なお画像フレームの大きさを合わせていなかった場合には、両者の画像フレームを合わせた上で重ね合わせを行う。
【００４３】
次に、図４のフローチャートを参照しながら実施形態に係る画像合成装置１（レンダリング装置１´）の動作について説明する。
画像合成装置１に、まずモデル設定手段１０により、立体モデルＯＢ、投影面ＰＬ、投影画素ＰＰ及びそのフレーム、基準視点Ｏ、光源Ｌを設定する（ステップＳ１）。すなわち、立体モデルＯＢのデータや、その計算上の空間内の位置を設定し、基準視点Ｏをカメラ撮影時のカメラの位置に、そして、投影面ＰＬ、投影画素ＰＰを撮像面の位置に、光源Ｌや、基準視点Ｏ、投影面ＰＬ、投影画素ＰＰの位置関係をカメラ撮影時に合わせて設定する。
そして、較正テーブル２１を参照して、投影画素ＰＰに対応する変位量ＶD及び方向ベクトルＶCを取得する（ステップＳ２）。
次に、追跡視線算出手段３０が、変位量ＶD及び方向ベクトルＶCに基づいて、追跡視線ＬＣを算出する（ステップＳ３）。
追跡視線ＬＣを算出したら、二次元画像生成手段４０が、変位視点ＯＰから追跡視線ＬＣに沿って立体モデルＯＢの属性（例えば、表面・内部の色や、反射率、透明度等）、光源Ｌを追跡して（ステップＳ４）、投影画素ＰＰの色を決定する（ステップＳ５）。
そして、すべての投影画素ＰＰについて色を決定していなければ（ステップＳ６，Ｎｏ）、ステップＳ２〜ステップＳ５を繰り返し、すべての投影画素ＰＰについて色を決定したならば（ステップＳ６，Ｙｅｓ）、二次元画像が完成する（ステップＳ７）。
最後に、実写画像に完成した二次元画像を重ね合わせれば（ステップＳ８）、合成画像が完成する。
【００４４】
以上のような実施形態の画像合成装置１（レンダリング装置１´）によれば、実写画像を撮影したカメラの入射光線と同じ追跡視線で立体モデルを投影面に投影できる。そのため、投影面で生成した二次元画像を実写画像に重ねて合成画像を作成すると、実写画像上の正確な位置、向きで二次元画像（ＣＧ）が合成される。そのため、この画像合成装置１（レンダリング装置１´）を使用してＣＧと実写画像を合成し、各コマを生成すれば、実写映像とＣＧ映像が自然に融合した映像を容易に作ることができる。
【００４５】
【発明の効果】
以上説明したとおり、本発明に係る画像合成方法、画像合成装置、または画像合成プログラムによれば、カメラの非ピンホール性を考慮して、光学中心と実際にカメラのレンズ系に入射する光のズレを補正し、実写画像とＣＧ画像を自然に融合した画像を得ることができる。
また、本発明に係るレンダリング方法、レンダリング装置、またはレンダリングプログラムによれば、実写画像と合成するための二次元画像を容易かつ正確に生成することができる。
【図面の簡単な説明】
【図１】実施形態に係る画像合成装置の構成を示すブロック図である。
【図２】実施形態に係る画像合成装置で使用されるレンダリング方法を説明する図である。
【図３】較正テーブルの一例を示す図である。
【図４】実施形態に係る画像合成装置の処理を示すフローチャートである。
【図５】一般的なレイトレーシング法の概念を説明する図である。
【図６】ピンホールカメラモデルの概念を説明する図である。
【図７】レンズ系を有するカメラの模式図である。
【図８】キャリブレーションデータの内容を説明する図である。
【図９】キャリブレーションデータの生成方法を説明する図である。
【符号の説明】
１ 画像合成装置
１´ レンダリング装置
１０ モデル設定手段
２０ 較正テーブル蓄積手段
２１ 較正テーブル
３０ 追跡視線算出手段
４０ 二次元画像生成手段
５０ 画像合成手段
【発明の属する技術分野】
本発明は、カメラによる実写画像と、立体モデルとを合成する画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置およびプログラムに関する
【０００２】
【従来の技術】
従来より、計算機（コンピュータ）で生成した立体モデルから二次元画像を生成する（これを「レンダリング」という。）方法として、レイトレーシング法が知られている（例えば、特許文献１参照）。
レイトレーシング法は、図５に示すように、計算機の仮想空間上に立体モデル１０１を生成し、この立体モデル１０１を視点１０３から見たときの二次元画像を生成する方法である。レイトレーシングを行う際には、視点１０３から立体モデル１０１を見た方向に投影面１０２を設定し、空間の適当な位置に光源１０４を設定する。そして、投影面１０２上に、画面と同様の画素１０５を設定し、画素１０５から視点１０３に入ってくる光線１０６を逆に追跡し、立体モデル１０１の色を画素１０５の色に決定する。この操作をすべての画素１０５について行うことにより、投影面１０２上に立体モデル１０１が投影される。
【０００３】
そして、近年ではコンピュータの性能向上により、映画やテレビの映像において、カメラで撮影した実写画像とコンピュータグラフィクス（ＣＧ：Computer Graphics)で作ったキャラクタや商品などの画像とを合成して、新たな映像表現が行われている。
このような合成画像を作るためには、まず、計算機内で立体モデルを生成し、この立体モデルをレイトレーシング法で二次元画像にする際に、実写画像を撮影したカメラと、同じ撮影角度（チルト角など）、画角になるように視点と投影面、投影面上の画素を設定する。そして、投影面上にできあがった二次元画像を実写画像と重ね合わせる。
【０００４】
【特許文献１】
特開２０００−２０７５７６号公報（図７、段落０００２〜０００４等）
【０００５】
【発明が解決しようとする課題】
しかし、前記したような画像合成方法は、カメラがピンホールカメラモデルに基づいていることを前提としており、実写画像とＣＧを重ね合わせたときに、微妙なズレが生じる。
ここで、ピンホールカメラモデルと、実際のレンズ系を有するカメラの違いについて説明する。
ピンホールカメラモデルとは、図６に示すように、基点位置（針穴：ピンホールＨ）を通して入射する光（入射光）のみが、画像面上に到達して、三次元空間が、画像面上の二次元空間に対応付けられるモデルを言う。このようにピンホールカメラモデルは、入射光線が一点のピンホールを通って画像が形成されることを想定している。ところが、ピンホールカメラではなく、レンズ系を有するカメラでは入射光線を延長しても１点に収束しない。そのため、レンズ系を有するカメラで撮像した画像には、非線形の歪みが存在し、周辺視野ほどその歪みが大きい。
【０００６】
一方、立体モデルのレンダリングの際に、一点の固定された視点から光線を追跡することは、立体モデルをピンホールカメラモデルで撮影するのと同様の関係にあり、実際のカメラに入射してくる光線と比較すると、微妙に異なる方向から光線が入射するような計算方法になる。
【０００７】
このように、従来の画像合成方法では、実写画像に対するＣＧの見え方が微妙にずれていることから、静止している画像では気にならなくても、動画にすると、ＣＧが僅かに揺れ動き、違和感を与える。
たとえば、自動車の運転席からインスツルメントパネルとフロントガラスの外の景色が見えるようにカメラで撮影し、この実写画像に、ＣＧのメータ類をインスツルメントパネルに合成したとする。そして、カメラのパンを変えるシーンを作ると、本来、ＣＧのメータ類はインスツルメントパネルと一体に動かなければならないが、従来の画像合成方法では、インスツルメントパネルに対し、相対的に揺れながら動いてしまう。
このような現象は、実写画像の撮影距離が近距離から遠距離まで広範囲に渡り、かつカメラ（視点）に対して設定されたＣＧ（立体モデル）の距離が近いと顕著になる。このような問題から、従来の合成映像作成の際には、人手で、ＣＧの位置などを修正する必要があった。
【０００８】
本発明は、以上のような問題点に鑑みてなされたものであり、従来の実写画像とＣＧの画像合成において、ピンホールカメラモデルを前提とした誤差の根本原因を除去し、自然な感じの合成画像を作ることが可能な画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の画像合成方法は、カメラの撮像画素の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した記憶装置と、処理装置とを有し、立体モデル、投影面、視点を計算上の空間に設定するモデル設定手段と、前記視点から前記投影面上の投影画素に向かう方向を追跡する追跡視線算出手段と、前記立体モデルの属性を取得して、前記投影面上に前記立体モデルの二次元画像を生成する二次元画像生成手段と、カメラで撮影した実写画像に前記二次元画像を重ねて合成画像を生成する画像合成手段として機能する画像合成装置における画像合成方法であって、前記処理装置が、前記追跡視線算出手段によって、前記投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として同じ画素位置の前記撮像画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出するステップを実行し、前記較正テーブルの入射光線の方向及び位置を特定する情報が、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする。
【００１０】
このように、本発明は計算上の空間で、視点から立体モデルを見て、投影面の投影画素に立体モデルの二次元画像を投影する方法（いわゆるレイトレーシング法）において、視点を、合成する実写画像を撮影したカメラに合わせて、投影画素ごとに設定するものである。つまり、カメラで撮影した画面中の画素位置（撮像画素）に応じて、その画素に入ってくる入射光線の方向を予め測定しておき、投影画素に立体モデルの色を投影する追跡視線を、その投影画素に相当する撮像画素への入射光線に合わせるようにする。
この投影画素の色を決める際には、立体モデルの属性、例えば、色（色合い、明るさなど）や、反射率、透明度、及び基準視点Ｏからの距離などが考慮される。
こうすることで、カメラで撮影した実際の空間と実写画像の光学的関係と、計算上の空間（立体モデル）と二次元画像の光学的関係とが正確に一致するので、これらの実写画像と、二次元画像を合成したときに自然な画像または映像となる。
【００１１】
請求項３に記載の画像合成装置は、カメラで撮影した実写画像と、立体モデルを投影面上に投影して生成した二次元画像とを重ねて合成画像を生成する画像合成装置であって、前記カメラで撮影される実写画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した較正テーブル蓄積手段と、投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として前記実写画像の同じ画素位置の画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段と、前記実写画像に、前記二次元画像生成手段で生成した二次元画像を重ねる画像合成手段とを備え、前記較正テーブルの入射光線の方向及び位置を特定する情報は、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする。
【００１２】
このように、較正テーブル蓄積手段に較正テーブルを用意しておき、追跡視線算出手段が、投影画素ごとに、入射光線の方向及び位置を特定する情報を取得し、追跡視線、つまり、立体モデルを投影面に投影するための視線を算出する。そして、二次元画像生成手段が、前記追跡視線と立体モデルとの関係から投影画素の色を決定すれば、カメラで撮影した実際の空間と実写画像の光学的関係と同じ関係で、立体モデルから二次元画像を生成することができる。そのため、画像合成手段で、実写画像と二次元画像を重ねると、自然な合成画像もしくは合成映像となる。
【００１３】
前記した較正テーブルの入射光線の方向及び位置を特定する情報としては、前記入射光線の方向と、基準位置から前記入射光線への変位量とから構成することに限らず、例えば、カメラと一定の関係にある位置を原点として、前記入射光線上の２点の座標により特定してもよい（請求項２，４）。
【００１４】
また、このような画面合成装置の各手段は、カメラで撮影した実写画像と、立体モデルを投影面上に投影して生成した二次元画像とを重ねて合成画像を生成するため、前記カメラで撮影される画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを用い、コンピュータを、投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として前記カメラで撮影される画像の同じ画素位置の画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段と、前記実写画像に、前記二次元画像生成手段で生成した二次元画像を重ねる画像合成手段として機能させ、前記較正テーブルの入射光線の方向及び位置を特定する情報が、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなるように構成することもできる（請求項５）。
【００１５】
そして、請求項６に記載の発明は、カメラで撮影した実写画像にコンピュータグラフィクスを合成するため、カメラの撮像画素の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した記憶装置と、処理装置とを有し、モデル設定手段と、追跡視線算出手段と、二次元画像生成手段として機能して、計算上の空間に設定された立体モデル、投影面、視点を用いて、前記投影面上に前記立体モデルの二次元画像を生成するレンダリング装置における立体モデルのレンダリング方法であって、前記処理装置が、前記モデル設定手段によって、立体モデル、投影面、視点を計算上の空間に設定するステップと、前記追跡視線算出手段によって、前記投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として同じ画素位置の前記撮像画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記視点から前記投影面上の投影画素に向かう追跡視線として、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出するステップと、前記二次元画像生成手段によって、前記算出した追跡視線に基づき、前記立体モデルの色を取得するステップと、取得した立体モデルの色を前記投影面上の前記投影画素に配置して二次元画像を生成するステップとを実行し、前記較正テーブルの入射光線の方向及び位置を特定する情報が、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする。
【００１６】
また、請求項７に記載の発明は、カメラで撮影した実写画像にコンピュータグラフィクスを合成するため、計算上の空間に設定された立体モデル、投影面、視点を用いて、前記投影面上に前記立体モデルの二次元画像を生成する立体モデルのレンダリング装置であって、前記カメラで撮影される画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した較正テーブル蓄積手段と、投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として前記カメラで撮影される画像の同じ画素位置の画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記視点から前記投影面上の投影画素に向かう追跡視線として、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段とを備え、前記較正テーブルの入射光線の方向及び位置を特定する情報が、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする。
【００１７】
また、このようなレンダリング装置の各手段は、カメラで撮影した実写画像にコンピュータグラフィクスを合成するため、前記カメラで撮影される画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを用いて、計算上の空間に設定された立体モデル、投影面、視点を用いて、前記投影面上に前記立体モデルの二次元画像を生成する立体モデルのレンダリングプログラムであって、コンピュータを、投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として前記カメラで撮影される画像の同じ画素位置の画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記視点から前記投影面上の投影画素に向かう追跡視線として、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段として機能させ、前記較正テーブルの入射光線の方向及び位置を特定する情報が、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなるように構成することもできる（請求項８）。
【００１８】
【発明の実施の形態】
次に、図面を参照しながら本発明の実施形態について説明する。
まず、一般にピンホールカメラモデルと呼ばれるカメラにおいて、画像の歪みの原因となる、入射光線が一点で交わらないカメラの非ピンホール性について説明し、その非ピンホール性を有するカメラの特性を数値化したキャリブレーションデータについて説明する。そして、カメラの撮像画素毎のキャリブレーションデータを測定して較正テーブルを生成する方法について説明し、この較正テーブルを有する画像合成装置（レンダリング装置）について順次説明する。
【００１９】
［カメラの非ピンホール性について］
まず、図７を参照して、レンズ系を有するカメラで撮像した画像において、歪みが発生する原因について説明する。図７は、レンズ系を有するカメラの模式図である。ここでは、説明を簡略化するため、レンズ系を板ガラスＧとし、ピンホールＨが生成されているものとする。このカメラＣの板ガラスＧに垂直に入射する入射光線ｒ１は、ピンホールＨを通って撮影画像Ｉ上の画素Ｒ１に撮像される。また、板ガラスＧに斜めに入射した入射光線ｒ２及びｒ３は、板ガラスＧ内で屈折した後にピンホールＨを通って撮影画像Ｉ上の画素Ｒ２及びＲ３に撮像される。
【００２０】
しかし、このカメラＣは、板ガラスＧを通過する前の入射光線ｒ２及びｒ３の延長線であるｒ２´及びｒ３´と、入射光線ｒ１とは、一点では交わらず、実際にはピンホールカメラモデルとはなっていないことがわかる。このため、撮影画像Ｉ上の画素Ｒ３には、ピンホールカメラモデルで想定している入射光線ｒｒとは、距離Ｄ分だけずれた入射光線ｒ３が撮像されることになる。
【００２１】
このように、レンズ系（ここでは板ガラスＧ）に入射される入射光線によって像を撮像するカメラは、ピンホール性が崩れていることになる（非ピンホール性）。以下、レンズ系を有するカメラを「非ピンホールカメラ」と呼ぶこととする。
【００２２】
［キャリブレーションデータについて］
次に、図８を参照して、非ピンホールカメラの特性を数値化したキャリブレーションデータについて説明する。図８は、キャリブレーションデータの内容を説明するための説明図である。図８に示すように、レンズｌに入射する入射光線Ｒは２点で特定することができる。ここでは、第１の光源位置Ｐ１と、第２の光源位置Ｐ２とから発光される光が同一の画素（図示せず）に撮像されたときに、入射光線Ｒがその画素に対応する入射光線であると特定する。
【００２３】
ここで、すべての入射光線との距離の自乗和が最小となる点を光学中心Ｏと定義し、各撮像画素に対応する入射光線Ｒと光学中心Ｏとの距離が最小となる点を、その入射光線Ｒの入射光基点Ｋと定義する。
【００２４】
すなわち、光学中心Ｏ（ｘ0，ｙ0，ｚ0）は、すべての入射光線において、光源位置Ｐ１（ｘ1，ｙ1，ｚ1）と光源位置Ｐ２（ｘ2，ｙ2，ｚ2）とで特定される、入射光線Ｒからの距離ｄの自乗（（１）式）和が最小になる位置を、最小自乗法によって求めた位置となる。
【００２５】
d2=-(A2/B)+C ・・・（１）
【００２６】
ただし、
A=(x2-x1)(x1-x0)+(y2-y1)(y1-y0)+(z2-z1)(z1-z0)
B=(x2-x1)2+(y2-y1)2+(z2-z1)2、
C=(x1-x0)2+(y1-y0)2+(z1-z0)2
とする。
【００２７】
これによって、入射光線の方向（光源位置Ｐ１及びＰ２で特定される方向）と、光学中心Ｏから入射光基点Ｋへの変位量（三次元ベクトルＶD（ｄｘ，ｄｙ，ｄｚ）で表現）とを対応付けたデータをキャリブレーションデータとすることで、非ピンホールカメラの特性を数値化することができる。
【００２８】
なお、キャリブレーションデータは、これに限定されるものではない。例えば、前記した例では、光学中心Ｏを基準位置とし、光学中心Ｏから入射光線に降ろした垂線の足までのベクトルを変位量としているが、基準位置は、光学中心に限らず、カメラと一定関係にある固定点であれば、どのような点でも構わない。そして、変位量ＶDは、基準位置から入射光線上の任意の一点へ向かうベクトルであればよく、基準位置から入射光線へ降ろした垂線の足には限られない。
【００２９】
［較正テーブルの生成方法］
次に、図９を参照して、非ピンホールカメラの特性を数値化したキャリブレーションデータをカメラの撮像画素（投影画素に相当）毎に関連付けた較正テーブルを生成する方法について説明する。図９は、較正テーブルを生成する方法の原理を示す概念図である。なお、図９（ａ）は、特定の入射光線に対して、カメラのパン及びチルトを変化させることで、キャリブレーションデータを測定する原理を示す概念図であり、図９（ｂ）は、固定したカメラに対して、入射光線を変化させることで、キャリブレーションデータを測定する原理を示す概念図である。
【００３０】
図９（ａ）に示すように、キャリブレーションデータを撮像画素毎に関連付けた較正テーブルを生成するには、非ピンホール性を有するカメラＣに対して、光源位置をＰ１及びＰ２の１方向に移動させ（１軸移動）、光源位置Ｐ１及びＰ２で特定される入射光線Ｒを決定し、光源位置Ｐ１及びＰ２から発光される光が共に、測定を行う撮像画素に入射されるように、カメラＣのパン及びチルトを調整（２軸回転）することで、カメラＣの撮像画素毎に入射される入射光線Ｒの方向を特定する。
【００３１】
また、図９（ｂ）に示すように、カメラＣは固定しておき、光源位置Ｐ１及びＰ２の２点で発光した入射光線Ｒが、測定画素に入射されるように、光源位置Ｐ１及びＰ２をＸＹＺ方向に移動（３軸移動）させることで、その測定画素に入射される光源位置Ｐ１及びＰ２の２点で定まる入射光線Ｒの方向を特定することとしてもよい。
【００３２】
図９（ａ）又は（ｂ）で、測定を行った各撮像画素毎に特定された入射光線Ｒに基づいて、入射光線Ｒの方向と、光学中心Ｏから入射光基点Ｋ（図８参照）への変位量とをキャリブレーションデータとして撮像画素（投影画素）毎に関連づけることで較正テーブルを生成することができる。
なお、較正テーブルは、画素毎の入射光線の方向と位置を、カメラに対して特定できればいいものなので、例えば、入射光線を２つの点の座標により特定してテーブル化することもできる。
【００３３】
［画像合成装置の構成］
次に、図１及び図２を参照して、画像構成装置について説明を行う。図１は、本発明の実施形態である画像合成装置の構成を示したブロック図であり、図２は、実施形態に係る画像合成装置で使用されるレンダリング方法を説明する図である。図１に示した画像合成装置１は、カメラ（図示せず）で撮影した実写画像と、計算機で生成した立体モデルとを合成する装置である。
ここでは、画像合成装置１を、モデル設定手段１０と、較正テーブル蓄積手段２０と、追跡視線算出手段３０と、二次元画像生成手段４０と、画像合成手段５０とを備えて構成した。なお、画像合成装置１から画像合成手段５０を除いた、モデル設定手段１０、較正テーブル蓄積手段２０、追跡視線算出手段３０、二次元画像生成手段４０が特許請求の範囲にいうレンダリング装置１´に相当する。
これらの各手段は、ＣＰＵ、入出力装置、記憶装置を有するコンピュータに、コンピュータプログラムを実行させ、または記憶装置にデータを記憶させることで構成できる。
【００３４】
モデル設定手段１０は、画像合成装置１（計算機）内の空間座標に、立体モデルＯＢ、投影面ＰＬ、基準視点Ｏ、光源Ｌの位置やモデルの位置、姿勢を設定する手段である。具体的には、これらを画像合成装置１に入力するための入力インタフェースに相当する。この各値は、ＣＧの合成対象となる背景などの実写画像（映像）をカメラで撮影した際の状況に合わせて設定される。例えば、地面に対するカメラのチルト角や、カメラに対する光源Ｌの位置などを設定する。
【００３５】
ここで、立体モデルＯＢは、三次元ＣＡＤなどにより生成され、若しくは実測に基づいて生成した計算機上のモデルであり、画像合成装置１の外部から入力し、若しくは画像合成装置１が有する記憶装置から読み出して設定する。
【００３６】
投影面ＰＬは、計算上の空間内で立体モデルＯＢを投影する面である。投影面ＰＬと基準視点Ｏの関係は、すべての視線が投影面ＰＬを通過するように設定する。また、投影面ＰＬ上に設定する投影画素ＰＰは、撮像画素ごとに生成される視線が通過する位置に設定する。また、投影画素ＰＰのフレームは、カメラの画角に合った画像フレームとなるように設定する。
【００３７】
基準視点Ｏは、投影面ＰＬに立体モデルＯＢを投影するための始点となる位置であり、その位置から各投影画素ＰＰに向かって追跡視線ＬＣを伸ばし、立体モデルＯＢの色を取得するのに使用される。なお、後記するように、追跡視線ＬＣの始点は、正確には基準視点Ｏと同一ではなく、変位量ＶD分だけ変位した位置の変位視点ＯＰとなる。また、請求項１及び請求項６にいう視点は、基準視点Ｏ及び変位視点ＯＰを含む。
【００３８】
光源Ｌは、計算上の空間内の仮想の光源であり、カメラで撮影する時の状況に合わせて設定される。例えば、カメラ撮影が外で行われれば、太陽の位置に合わせて明るさ、色、位置などが決定される。なお、光源Ｌは一つとは限らず、カメラ撮影時の状況に合わせて複数設定しても構わない。
【００３９】
較正テーブル蓄積手段２０は、追跡視線ＬＣを決定するための較正テーブル２１を蓄積する記憶装置である。較正テーブル２１は、図３に示すように、投影面ＰＬ上の座標（画素位置）（ｘ，ｙ）ごとに、変位視点ＯＰの基準視点Ｏからの変位量ＶD（ｄｘ，ｄｙ，ｄｚ）、方向ベクトルＶC（Ｃｘ，Ｃｙ，Ｃｚ）を対応づけて記憶している。
変位量ＶDは、基準視点Ｏから変位視点ＯＰまでの三次元ベクトルである。基準視点Ｏは、任意の固定点であるが、カメラの光学中心に相当する点を基準視点Ｏとするのが簡便でよい。また、変位量ＶDの終点位置は、カメラに入ってくる光線の延長線上の点であれば、どの点でも構わないが、カメラの入射光線に降ろした垂線の足に相当する点にすると簡便である。
方向ベクトルＶCは、変位視点ＯＰから、投影画素ＰＰに向かうベクトルである。
すなわち、基準視点Ｏ、変位量ＶD、及び方向ベクトルＶCにより、追跡視線ＬＣを特定することができる。
【００４０】
追跡視線算出手段３０は、前記した較正テーブル蓄積手段２０（較正テーブル２１）から、投影画素ＰＰの位置に応じた変位量ＶDと方向ベクトルＶCを読み出して、追跡視線ＬＣを算出する手段である。具体的には、基準視点Ｏの座標に変位量ＶDの値を足して変位視点ＯＰの座標を計算し、変位視点ＯＰの座標と、方向ベクトルＶCから追跡視線ＬＣの式を求めればよい。
【００４１】
二次元画像生成手段４０は、追跡視線算出手段３０が算出した追跡視線ＬＣに基づき、立体モデルＯＢの色を取得し、投影画素ＰＰの色を決定する手段である。具体的には、追跡視線ＬＣを変位視点ＯＰから立体モデルＯＢに向かって追跡し、例えば立体モデルＯＢの表面の色や反射率を取得し、光源Ｌまで追跡して、投影画素ＰＰの色を含むモデル情報（明るさ、色合い、基準視点Ｏからの距離など）を決定する。なお、立体モデルＯＢが透明体の場合には、立体モデルＯＢの内部まで追跡して色を決定する。また、前記基準視点Ｏからの距離は、実写画像への合成の際に必要になることがあるので、これを付加して記憶しておくのが望ましい。
そして、すべての投影画素ＰＰについて色を決定することで、二次元画像を投影面ＰＬ上に生成する。
【００４２】
画像合成手段５０は、二次元画像生成手段４０が生成した二次元画像と実写画像を合成する手段である。実写画像は、適宜な入力手段により、画像合成装置１の外部から入力しても良いし、画像合成装置１が有する記憶装置内から読み込んでも良い。画像の合成は、基本的に、実写画像の上に基準視点Ｏからの距離に応じて二次元画像を重ねることで生成される。つまり、実写画像の中で、立体モデルＯＢが実写画像内の構成物より近くに写っている画素の色を二次元画像の色で置き換えればよい。
なお画像フレームの大きさを合わせていなかった場合には、両者の画像フレームを合わせた上で重ね合わせを行う。
【００４３】
次に、図４のフローチャートを参照しながら実施形態に係る画像合成装置１（レンダリング装置１´）の動作について説明する。
画像合成装置１に、まずモデル設定手段１０により、立体モデルＯＢ、投影面ＰＬ、投影画素ＰＰ及びそのフレーム、基準視点Ｏ、光源Ｌを設定する（ステップＳ１）。すなわち、立体モデルＯＢのデータや、その計算上の空間内の位置を設定し、基準視点Ｏをカメラ撮影時のカメラの位置に、そして、投影面ＰＬ、投影画素ＰＰを撮像面の位置に、光源Ｌや、基準視点Ｏ、投影面ＰＬ、投影画素ＰＰの位置関係をカメラ撮影時に合わせて設定する。
そして、較正テーブル２１を参照して、投影画素ＰＰに対応する変位量ＶD及び方向ベクトルＶCを取得する（ステップＳ２）。
次に、追跡視線算出手段３０が、変位量ＶD及び方向ベクトルＶCに基づいて、追跡視線ＬＣを算出する（ステップＳ３）。
追跡視線ＬＣを算出したら、二次元画像生成手段４０が、変位視点ＯＰから追跡視線ＬＣに沿って立体モデルＯＢの属性（例えば、表面・内部の色や、反射率、透明度等）、光源Ｌを追跡して（ステップＳ４）、投影画素ＰＰの色を決定する（ステップＳ５）。
そして、すべての投影画素ＰＰについて色を決定していなければ（ステップＳ６，Ｎｏ）、ステップＳ２〜ステップＳ５を繰り返し、すべての投影画素ＰＰについて色を決定したならば（ステップＳ６，Ｙｅｓ）、二次元画像が完成する（ステップＳ７）。
最後に、実写画像に完成した二次元画像を重ね合わせれば（ステップＳ８）、合成画像が完成する。
【００４４】
以上のような実施形態の画像合成装置１（レンダリング装置１´）によれば、実写画像を撮影したカメラの入射光線と同じ追跡視線で立体モデルを投影面に投影できる。そのため、投影面で生成した二次元画像を実写画像に重ねて合成画像を作成すると、実写画像上の正確な位置、向きで二次元画像（ＣＧ）が合成される。そのため、この画像合成装置１（レンダリング装置１´）を使用してＣＧと実写画像を合成し、各コマを生成すれば、実写映像とＣＧ映像が自然に融合した映像を容易に作ることができる。
【００４５】
【発明の効果】
以上説明したとおり、本発明に係る画像合成方法、画像合成装置、または画像合成プログラムによれば、カメラの非ピンホール性を考慮して、光学中心と実際にカメラのレンズ系に入射する光のズレを補正し、実写画像とＣＧ画像を自然に融合した画像を得ることができる。
また、本発明に係るレンダリング方法、レンダリング装置、またはレンダリングプログラムによれば、実写画像と合成するための二次元画像を容易かつ正確に生成することができる。
【図面の簡単な説明】
【図１】実施形態に係る画像合成装置の構成を示すブロック図である。
【図２】実施形態に係る画像合成装置で使用されるレンダリング方法を説明する図である。
【図３】較正テーブルの一例を示す図である。
【図４】実施形態に係る画像合成装置の処理を示すフローチャートである。
【図５】一般的なレイトレーシング法の概念を説明する図である。
【図６】ピンホールカメラモデルの概念を説明する図である。
【図７】レンズ系を有するカメラの模式図である。
【図８】キャリブレーションデータの内容を説明する図である。
【図９】キャリブレーションデータの生成方法を説明する図である。
【符号の説明】
１ 画像合成装置
１´ レンダリング装置
１０ モデル設定手段
２０ 較正テーブル蓄積手段
２１ 較正テーブル
３０ 追跡視線算出手段
４０ 二次元画像生成手段
５０ 画像合成手段
Claims (8)
- カメラの撮像画素の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した記憶装置と、処理装置とを有し、立体モデル、投影面、視点を計算上の空間に設定するモデル設定手段と、前記視点から前記投影面上の投影画素に向かう方向を追跡する追跡視線算出手段と、前記立体モデルの属性を取得して、前記投影面上に前記立体モデルの二次元画像を生成する二次元画像生成手段と、カメラで撮影した実写画像に前記二次元画像を重ねて合成画像を生成する画像合成手段として機能する画像合成装置における画像合成方法であって、
前記処理装置は、
前記追跡視線算出手段によって、前記投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として同じ画素位置の前記撮像画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出するステップを実行し、
前記較正テーブルの入射光線の方向及び位置を特定する情報は、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする画像合成方法。 - カメラの撮像画素の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した記憶装置と、処理装置とを有し、立体モデル、投影面、視点を計算上の空間に設定するモデル設定手段と、前記視点から前記投影面上の投影画素に向かう方向を追跡する追跡視線算出手段と、前記立体モデルの属性を取得して、前記投影面上に前記立体モデルの二次元画像を生成する二次元画像生成手段と、カメラで撮影した実写画像に前記二次元画像を重ねて合成画像を生成する画像合成手段として機能する画像合成装置における画像合成方法であって、
前記処理装置は、
前記追跡視線算出手段によって、前記投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として同じ画素位置の前記撮像画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出するステップを実行し、
前記較正テーブルの入射光線の方向及び位置を特定する情報は、前記入射光線上の２点の座標であることを特徴とする画像合成方法。 - カメラで撮影した実写画像と、立体モデルを投影面上に投影して生成した二次元画像とを重ねて合成画像を生成する画像合成装置であって、
前記カメラで撮影される実写画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した較正テーブル蓄積手段と、
投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として前記実写画像の同じ画素位置の画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、
前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段と、
前記実写画像に、前記二次元画像生成手段で生成した二次元画像を重ねる画像合成手段とを備え、
前記較正テーブルの入射光線の方向及び位置を特定する情報は、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする画像合成装置。 - カメラで撮影した実写画像と、立体モデルを投影面上に投影して生成した二次元画像とを重ねて合成画像を生成する画像合成装置であって、
前記カメラで撮影される実写画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した較正テーブル蓄積手段と、
投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として前記実写画像の同じ画素位置の画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、
前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段と、
前記実写画像に、前記二次元画像生成手段で生成した二次元画像を重ねる画像合成手段とを備え、
前記較正テーブルの入射光線の方向及び位置を特定する情報は、前記入射光線上の２点の座標であることを特徴とする画像合成装置。 - カメラで撮影した実写画像と、立体モデルを投影面上に投影して生成した二次元画像とを重ねて合成画像を生成するため、前記カメラで撮影される画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを用い、コンピュータを、
投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として前記カメラで撮影される画像の同じ画素位置の画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、
前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段と、
前記実写画像に、前記二次元画像生成手段で生成した二次元画像を重ねる画像合成手段として機能させ、
前記較正テーブルの入射光線の方向及び位置を特定する情報は、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする画像合成プログラム。 - カメラで撮影した実写画像にコンピュータグラフィクスを合成するため、カメラの撮像画素の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した記憶装置と、処理装置とを有し、モデル設定手段と、追跡視線算出手段と、二次元画像生成手段として機能して、計算上の空間に設定された立体モデル、投影面、視点を用いて、前記投影面上に前記立体モデルの二次元画像を生成するレンダリング装置における立体モデルのレンダリング方法であって、
前記処理装置は、
前記モデル設定手段によって、立体モデル、投影面、視点を計算上の空間に設定するステップと、
前記追跡視線算出手段によって、前記投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として同じ画素位置の前記撮像画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記視点から前記投影面上の投影画素に向かう追跡視線として、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出するステップと、
前記二次元画像生成手段によって、前記算出した追跡視線に基づき、前記立体モデルの色を取得するステップと、
取得した立体モデルの色を前記投影面上の前記投影画素に配置して二次元画像を生成するステップとを実行し、
前記較正テーブルの入射光線の方向及び位置を特定する情報は、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする立体モデルのレンダリング方法。 - カメラで撮影した実写画像にコンピュータグラフィクスを合成するため、計算上の空間に設定された立体モデル、投影面、視点を用いて、前記投影面上に前記立体モデルの二次元画像を生成する立体モデルのレンダリング装置であって、
前記カメラで撮影される画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを蓄積した較正テーブル蓄積手段と、
投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として前記カメラで撮影される画像の同じ画素位置の画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記視点から前記投影面上の投影画素に向かう追跡視線として、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、
前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段とを備え、
前記較正テーブルの入射光線の方向及び位置を特定する情報は、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする立体モデルのレンダリング装置。 - カメラで撮影した実写画像にコンピュータグラフィクスを合成するため、前記カメラで撮影される画像の画素位置と、その画素へ入射する入射光線の方向及び位置を特定する情報と、を関連づけた較正テーブルを用いて、計算上の空間に設定された立体モデル、投影面、視点を用いて、前記投影面上に前記立体モデルの二次元画像を生成する立体モデルのレンダリングプログラムであって、コンピュータを、
投影面上の投影画素ごとに、前記較正テーブルを参照して、当該投影画素に相当する画素として前記カメラで撮影される画像の同じ画素位置の画素に対応する前記入射光線の方向及び位置を特定する情報を取得し、これらの入射光線の方向及び位置を特定する情報に基づき、前記視点から前記投影面上の投影画素に向かう追跡視線として、前記カメラで撮影した時の入射光線に合わせた追跡視線を算出する追跡視線算出手段と、
前記追跡視線算出手段で算出した追跡視線と、前記立体モデルとの関係から、前記投影画素の色を決定し、投影面上の二次元画像を生成する二次元画像生成手段として機能させ、
前記較正テーブルの入射光線の方向及び位置を特定する情報は、前記入射光線の方向と、基準位置から前記入射光線への変位量とからなることを特徴とする立体モデルのレンダリングプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003113202A JP4217100B2 (ja) | 2003-04-17 | 2003-04-17 | 画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラム |
| KR1020040025659A KR100686952B1 (ko) | 2003-04-17 | 2004-04-14 | 화상합성 방법, 장치, 및 기록매체, 및 입체모델의 렌더링 방법, 장치, 및 기록매체 |
| US10/826,917 US7256782B2 (en) | 2003-04-17 | 2004-04-16 | Method, apparatus and program for compositing images, and method, apparatus and program for rendering three-dimensional model |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003113202A JP4217100B2 (ja) | 2003-04-17 | 2003-04-17 | 画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004318612A JP2004318612A (ja) | 2004-11-11 |
| JP4217100B2 true JP4217100B2 (ja) | 2009-01-28 |
Family
ID=33473202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003113202A Expired - Fee Related JP4217100B2 (ja) | 2003-04-17 | 2003-04-17 | 画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7256782B2 (ja) |
| JP (1) | JP4217100B2 (ja) |
| KR (1) | KR100686952B1 (ja) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7439973B2 (en) * | 2005-08-11 | 2008-10-21 | International Business Machines Corporation | Ray tracing with depth buffered display |
| US20070093993A1 (en) * | 2005-10-20 | 2007-04-26 | Stork David G | End-to-end design of electro-optic imaging systems using backwards ray tracing from the detector to the source |
| WO2007129476A1 (ja) * | 2006-05-09 | 2007-11-15 | Sega Corporation | 画像処理プログラムおよび画像処理装置 |
| WO2008032603A1 (fr) * | 2006-09-13 | 2008-03-20 | Panasonic Corporation | Dispositif de traitement d'image, circuit intégré de traitement d'image, système de traitement d'image, dispositif d'assemblage d'entrée et circuit intégré d'assemblage d'entrée |
| US8022950B2 (en) * | 2007-01-26 | 2011-09-20 | International Business Machines Corporation | Stochastic culling of rays with increased depth of recursion |
| US8085267B2 (en) * | 2007-01-30 | 2011-12-27 | International Business Machines Corporation | Stochastic addition of rays in a ray tracing image processing system |
| JP4934577B2 (ja) * | 2007-12-07 | 2012-05-16 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP5702572B2 (ja) * | 2009-10-29 | 2015-04-15 | 株式会社東芝 | Ｘ線撮影装置 |
| US20120033049A1 (en) * | 2010-08-06 | 2012-02-09 | Corley Ferrand David E | Apparatus and method of aligning three dimensional camera systems |
| KR101845231B1 (ko) | 2011-06-14 | 2018-04-04 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| JP5808180B2 (ja) * | 2011-07-15 | 2015-11-10 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP5839907B2 (ja) * | 2011-09-15 | 2016-01-06 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| US9041711B1 (en) * | 2012-05-08 | 2015-05-26 | Google Inc. | Generating reduced resolution textured model from higher resolution model |
| US9842424B2 (en) * | 2014-02-10 | 2017-12-12 | Pixar | Volume rendering using adaptive buckets |
| US9607411B2 (en) * | 2014-04-23 | 2017-03-28 | Ebay Inc. | Specular highlights on photos of objects |
| JP6747292B2 (ja) | 2014-09-19 | 2020-08-26 | 日本電気株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US10119809B2 (en) * | 2015-02-16 | 2018-11-06 | Intel Corporation | Simulating multi-camera imaging systems |
| US10475239B1 (en) * | 2015-04-14 | 2019-11-12 | ETAK Systems, LLC | Systems and methods for obtaining accurate 3D modeling data with a multiple camera apparatus |
| CN108961379B (zh) * | 2018-06-14 | 2023-03-31 | 广东韩丽家居集团股份有限公司 | 一种基于自动测量而定制家具的方法 |
| CN114549766B (zh) * | 2022-04-24 | 2022-09-09 | 成都纵横自动化技术股份有限公司 | 一种实时ar可视化方法、装置、设备及存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2709066B2 (ja) | 1988-02-01 | 1998-02-04 | 株式会社日立製作所 | カメラ撮影画像と計算機生成画像の合成方法 |
| US4970666A (en) * | 1988-03-30 | 1990-11-13 | Land Development Laboratory, Inc. | Computerized video imaging system for creating a realistic depiction of a simulated object in an actual environment |
| JPH06231275A (ja) * | 1993-01-29 | 1994-08-19 | Hitachi Ltd | 画像シミュレーション方法 |
| US6028606A (en) * | 1996-08-02 | 2000-02-22 | The Board Of Trustees Of The Leland Stanford Junior University | Camera simulation system |
| US6268863B1 (en) * | 1997-10-02 | 2001-07-31 | National Research Council Canada | Method of simulating a photographic camera |
| US6166744A (en) * | 1997-11-26 | 2000-12-26 | Pathfinder Systems, Inc. | System for combining virtual images with real-world scenes |
| JP3720587B2 (ja) | 1998-07-13 | 2005-11-30 | 大日本印刷株式会社 | 画像合成装置 |
| JP2000207576A (ja) | 1999-01-13 | 2000-07-28 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理方法，画像処理装置，および画像処理プログラムを記録した記録媒体 |
| US7068825B2 (en) * | 1999-03-08 | 2006-06-27 | Orametrix, Inc. | Scanning system and calibration method for capturing precise three-dimensional information of objects |
| US7027642B2 (en) * | 2000-04-28 | 2006-04-11 | Orametrix, Inc. | Methods for registration of three-dimensional frames to create three-dimensional virtual models of objects |
-
2003
- 2003-04-17 JP JP2003113202A patent/JP4217100B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-14 KR KR1020040025659A patent/KR100686952B1/ko not_active IP Right Cessation
- 2004-04-16 US US10/826,917 patent/US7256782B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004318612A (ja) | 2004-11-11 |
| US20050007385A1 (en) | 2005-01-13 |
| KR100686952B1 (ko) | 2007-02-27 |
| KR20040090711A (ko) | 2004-10-26 |
| US7256782B2 (en) | 2007-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4217100B2 (ja) | 画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラム | |
| US20200219301A1 (en) | Three dimensional acquisition and rendering | |
| CN106127745B (zh) | 结构光3d视觉系统与线阵相机的联合标定方法及装置 | |
| CN104335005B (zh) | 3d扫描以及定位系统 | |
| CN109040738B (zh) | 校准方法和非暂态计算机可读介质 | |
| US6930685B1 (en) | Image processing method and apparatus | |
| KR20180101496A (ko) | 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 | |
| US11798141B2 (en) | Method and apparatus for calibrating augmented reality headsets | |
| WO2018076154A1 (zh) | 一种基于鱼眼摄像机空间位姿标定的全景视频生成方法 | |
| US20070248260A1 (en) | Supporting a 3D presentation | |
| TW201717613A (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
| JP2003187261A (ja) | ３次元画像生成装置、３次元画像生成方法、立体画像処理装置、立体画像撮影表示システム、立体画像処理方法及び記憶媒体 | |
| CN110390719A (zh) | 基于飞行时间点云重建设备 | |
| EP2715669A1 (en) | Systems and methods for alignment, calibration and rendering for an angular slice true-3d display | |
| TW201715880A (zh) | 一種全景魚眼相機影像校正、合成與景深重建方法與其系統 | |
| JP2004213355A (ja) | 情報処理方法 | |
| JP2023504252A (ja) | 視覚化カメラ及び光学コヒーレンストモグラフィを統合するシステム及び方法 | |
| CN111009030A (zh) | 一种多视高分辨率纹理图像与双目三维点云映射方法 | |
| US11012677B1 (en) | Systems and methods for correcting rolling shutter artifacts | |
| TWI501193B (zh) | Computer graphics using AR technology. Image processing systems and methods | |
| JP2007033087A (ja) | キャリブレーション装置及び方法 | |
| JP3924576B2 (ja) | 写真測量による３次元計測方法及び装置 | |
| US11516452B2 (en) | Systems and methods for temporal corrections for parallax reprojection | |
| JP3052926B2 (ja) | 三次元座標計測装置 | |
| JP7465133B2 (ja) | 情報処理装置、情報処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050930 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080704 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080715 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080916 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081104 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081107 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |