JP3450833B2 - 画像処理装置及びその方法並びにプログラムコード、記憶媒体 - Google Patents
画像処理装置及びその方法並びにプログラムコード、記憶媒体Info
- Publication number
- JP3450833B2 JP3450833B2 JP2001048719A JP2001048719A JP3450833B2 JP 3450833 B2 JP3450833 B2 JP 3450833B2 JP 2001048719 A JP2001048719 A JP 2001048719A JP 2001048719 A JP2001048719 A JP 2001048719A JP 3450833 B2 JP3450833 B2 JP 3450833B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- generating
- images
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
Description
【０００１】
【発明の属する技術分野】本発明は、実写画像とＣＧ画
像等の複数の画像とを合成して合成画像を生成する画像
処理装置及びその方法並びにプログラムコード、記憶媒
体に関するものである。
像等の複数の画像とを合成して合成画像を生成する画像
処理装置及びその方法並びにプログラムコード、記憶媒
体に関するものである。
【０００２】
【従来の技術】近年、画像処理技術の分野では、カメラ
などの撮影装置で現実空間を撮像して得られる実写画像
と、仮想物体のＣＧ画像とを合成した画像を生成するこ
とで、現実空間には存在しない部分に任意の仮想物体が
存在する画像を得、各種シミュレーション、ゲーム等、
広く利用されている。
などの撮影装置で現実空間を撮像して得られる実写画像
と、仮想物体のＣＧ画像とを合成した画像を生成するこ
とで、現実空間には存在しない部分に任意の仮想物体が
存在する画像を得、各種シミュレーション、ゲーム等、
広く利用されている。
【０００３】
【発明が解決しようとする課題】カメラなどの撮影装置
で撮影する画像では、画像面から一定の距離を置いた平
面（焦点面）上に存在する物体に対し、光学系の被写界
深度の範囲内でピントがあう。よって従来では、実写画
像とＣＧ画像を合成する際に、実写画像では被写界深度
内に存在しない物体に対して画像に暈けが現れるのに対
して、ＣＧ画像では全ての物体に対してピントがあって
しまうので、実写画像とＣＧ画像との間に画質的な差異
が生じる。その結果、実写画像とＣＧ画像との合成画像
を作成した場合、この合成画像を見る観察者に対して違
和感を感じさせていた。
で撮影する画像では、画像面から一定の距離を置いた平
面（焦点面）上に存在する物体に対し、光学系の被写界
深度の範囲内でピントがあう。よって従来では、実写画
像とＣＧ画像を合成する際に、実写画像では被写界深度
内に存在しない物体に対して画像に暈けが現れるのに対
して、ＣＧ画像では全ての物体に対してピントがあって
しまうので、実写画像とＣＧ画像との間に画質的な差異
が生じる。その結果、実写画像とＣＧ画像との合成画像
を作成した場合、この合成画像を見る観察者に対して違
和感を感じさせていた。
【０００４】本発明は以上の問題に鑑みてなされたもの
であり、実写画像に現れる暈けをＣＧ画像に生じさせ、
観察者に違和感を与えないＣＧ画像と実写画像との合成
画像を作成することを目的とする。
であり、実写画像に現れる暈けをＣＧ画像に生じさせ、
観察者に違和感を与えないＣＧ画像と実写画像との合成
画像を作成することを目的とする。
【０００５】
【課題を解決するための手段】本発明の目的を達成する
ために、例えば本発明の画像処理装置は以下の構成を備
える。
ために、例えば本発明の画像処理装置は以下の構成を備
える。
【０００６】すなわち、実写画像とＣＧ画像とを合成し
て合成画像を生成する画像処理装置であって、ＣＧ画像
を生成するための視点の移動量、焦点面の位置を設定す
る設定手段と、前記設定手段で設定した前記視点の移動
量に基づいて前記視点を各位置に移動させ、移動させた
各位置におけるＣＧ画像を生成することで、複数のＣＧ
画像を得るＣＧ画像生成手段と、前記ＣＧ画像生成手段
が生成した夫々のＣＧ画像と実写画像との合成画像を生
成する合成画像生成手段と、前記合成画像生成手段が生
成した複数の合成画像を平均化した平均画像を生成する
平均画像生成手段とを備えることを特徴とする。
て合成画像を生成する画像処理装置であって、ＣＧ画像
を生成するための視点の移動量、焦点面の位置を設定す
る設定手段と、前記設定手段で設定した前記視点の移動
量に基づいて前記視点を各位置に移動させ、移動させた
各位置におけるＣＧ画像を生成することで、複数のＣＧ
画像を得るＣＧ画像生成手段と、前記ＣＧ画像生成手段
が生成した夫々のＣＧ画像と実写画像との合成画像を生
成する合成画像生成手段と、前記合成画像生成手段が生
成した複数の合成画像を平均化した平均画像を生成する
平均画像生成手段とを備えることを特徴とする。
【０００７】
【０００８】
【０００９】本発明の目的を達成するために、例えば本
発明の画像処理装置は以下の構成を備える。
発明の画像処理装置は以下の構成を備える。
【００１０】すなわち、実写画像とＣＧ画像とを合成し
て合成画像を生成する画像処理装置であって、ＣＧ画像
を生成するための視点の移動量、焦点面の位置を設定す
る設定手段と、前記設定手段で設定した前記視点の移動
量に基づいて前記視点を各位置に移動させ、移動させた
各位置におけるＣＧ画像を生成することで、複数のＣＧ
画像を得るＣＧ画像生成手段と、各視点位置におけるＣ
Ｇ画像を平均化した平均化ＣＧ画像を生成する平均化Ｃ
Ｇ画像生成手段と、前記平均化ＣＧ画像生成手段で生成
された前記平均化ＣＧ画像と実写画像とを合成し、合成
画像を生成する合成画像生成手段とを備えることを特徴
とする。
て合成画像を生成する画像処理装置であって、ＣＧ画像
を生成するための視点の移動量、焦点面の位置を設定す
る設定手段と、前記設定手段で設定した前記視点の移動
量に基づいて前記視点を各位置に移動させ、移動させた
各位置におけるＣＧ画像を生成することで、複数のＣＧ
画像を得るＣＧ画像生成手段と、各視点位置におけるＣ
Ｇ画像を平均化した平均化ＣＧ画像を生成する平均化Ｃ
Ｇ画像生成手段と、前記平均化ＣＧ画像生成手段で生成
された前記平均化ＣＧ画像と実写画像とを合成し、合成
画像を生成する合成画像生成手段とを備えることを特徴
とする。
【００１１】本発明の目的を達成するために、例えば本
発明の画像処理方法は以下の構成を備える。
発明の画像処理方法は以下の構成を備える。
【００１２】すなわち、実写画像とＣＧ画像とを合成し
て合成画像を生成する画像処理方法であって、 ＣＧ画像
を生成するための視点の移動量、焦点面の位置を設定す
る設定工程と、 前記設定工程で設定した前記視点の移動
量に基づいて前記視点を各位置に移動させ、移動させた
各位置におけるＣＧ画像を生成することで、複数のＣＧ
画像を得るＣＧ画像生成工程と、 前記ＣＧ画像生成工程
で生成した夫々のＣＧ画像と実写画像との合成画像を生
成する合成画像生成工程と、 前記合成画像生成工程で生
成した複数の合成画像を平均化した平均画像を生成する
平均画像生成工程と を備えることを特徴とする。
て合成画像を生成する画像処理方法であって、 ＣＧ画像
を生成するための視点の移動量、焦点面の位置を設定す
る設定工程と、 前記設定工程で設定した前記視点の移動
量に基づいて前記視点を各位置に移動させ、移動させた
各位置におけるＣＧ画像を生成することで、複数のＣＧ
画像を得るＣＧ画像生成工程と、 前記ＣＧ画像生成工程
で生成した夫々のＣＧ画像と実写画像との合成画像を生
成する合成画像生成工程と、 前記合成画像生成工程で生
成した複数の合成画像を平均化した平均画像を生成する
平均画像生成工程と を備えることを特徴とする。
【００１３】本発明の目的を達成するために、例えば本
発明の画像処理方法は以下の構成を備える。
発明の画像処理方法は以下の構成を備える。
【００１４】すなわち、実写画像とＣＧ画像とを合成し
て合成画像を生成する画像処理方法であって、 ＣＧ画像
を生成するための視点の移動量、焦点面の位置を設定す
る設定工程と、 前記設定工程で設定した前記視点の移動
量に基づいて前記視点を各位置に移動させ、移動させた
各位置におけるＣＧ画像を生成することで、複数のＣＧ
画像を得るＣＧ画像生成工程と、 各視点位置におけるＣ
Ｇ画像を平均化した平均化ＣＧ画像を生成する平均化Ｃ
Ｇ画像生成工程と、 前記平均化ＣＧ画像生成工程で生成
された前記平均化ＣＧ画像と実写画像とを合成し、合成
画像を生成する合成画像生成工程と を備えることを特徴
とする。
て合成画像を生成する画像処理方法であって、 ＣＧ画像
を生成するための視点の移動量、焦点面の位置を設定す
る設定工程と、 前記設定工程で設定した前記視点の移動
量に基づいて前記視点を各位置に移動させ、移動させた
各位置におけるＣＧ画像を生成することで、複数のＣＧ
画像を得るＣＧ画像生成工程と、 各視点位置におけるＣ
Ｇ画像を平均化した平均化ＣＧ画像を生成する平均化Ｃ
Ｇ画像生成工程と、 前記平均化ＣＧ画像生成工程で生成
された前記平均化ＣＧ画像と実写画像とを合成し、合成
画像を生成する合成画像生成工程と を備えることを特徴
とする。
【００１５】
【発明の実施の形態】以下添付図面に従って、本発明を
好適な実施形態に従って詳細に説明する。
好適な実施形態に従って詳細に説明する。
【００１６】［第１の実施形態］本実施形態における画
像処理装置の構成を図１に示し、以下説明する。１０２
は現実空間を撮像する撮像装置としてのカメラで、撮像
した現実空間の画像（以下、実写画像）を計算機１０３
に出力する。１０３は計算機で、カメラ１０２から入力
される実写画像と、内部で生成するＣＧ画像とを合成す
る処理や、合成した画像（以下、合成画像）をディスプ
レイ１０４に出力する処理などを実行する。計算機１０
３の内部の基本構成について説明する。
像処理装置の構成を図１に示し、以下説明する。１０２
は現実空間を撮像する撮像装置としてのカメラで、撮像
した現実空間の画像（以下、実写画像）を計算機１０３
に出力する。１０３は計算機で、カメラ１０２から入力
される実写画像と、内部で生成するＣＧ画像とを合成す
る処理や、合成した画像（以下、合成画像）をディスプ
レイ１０４に出力する処理などを実行する。計算機１０
３の内部の基本構成について説明する。
【００１７】１０３ａはＣＰＵで、ＲＡＭ１０３ｂやＲ
ＯＭ１０３ｃなどのメモリに格納されたプログラムやデ
ータ等を読み込んで、後述の各種の処理を実行する。ま
た、計算機１０３全体の制御なども行う。
ＯＭ１０３ｃなどのメモリに格納されたプログラムやデ
ータ等を読み込んで、後述の各種の処理を実行する。ま
た、計算機１０３全体の制御なども行う。
【００１８】１０３ｂはＲＡＭで、外部記憶装置１０３
ｄからロードされたプログラムやデータなどを一時的に
格納するエリアを備えると共に、ＣＰＵ１０３ａが処理
を実行する際に使用するワークエリアも備える。
ｄからロードされたプログラムやデータなどを一時的に
格納するエリアを備えると共に、ＣＰＵ１０３ａが処理
を実行する際に使用するワークエリアも備える。
【００１９】１０３ｃはＲＯＭで、計算機１０３のブー
トプログラムや計算機１０３の設定などを格納する。
トプログラムや計算機１０３の設定などを格納する。
【００２０】１０３ｄは外部記憶装置で、ＣＤ−ＲＯＭ
やフロッピー（登録商標）ディスクなどの記憶媒体から
読み込んだプログラムやデータなどを保存する。また、
ＣＰＵ１０３ａが使用するワークエリアのサイズがＲＡ
Ｍ１０３ｂが有するワークエリアのサイズを超えた場合
に、越えた分のサイズのワークエリアをファイルとして
保存することもできる。
やフロッピー（登録商標）ディスクなどの記憶媒体から
読み込んだプログラムやデータなどを保存する。また、
ＣＰＵ１０３ａが使用するワークエリアのサイズがＲＡ
Ｍ１０３ｂが有するワークエリアのサイズを超えた場合
に、越えた分のサイズのワークエリアをファイルとして
保存することもできる。
【００２１】１０３ｅは操作部で、キーボードやマウス
などのポインティングデバイスにより構成されており、
各種の指示を計算機１０３に入力することができる。
などのポインティングデバイスにより構成されており、
各種の指示を計算機１０３に入力することができる。
【００２２】１０３ｆはインターフェース部（Ｉ／Ｆ
部）で、周辺機器やネットワークなどに接続する為のイ
ンターフェースである。
部）で、周辺機器やネットワークなどに接続する為のイ
ンターフェースである。
【００２３】１０３ｇは上述の各部を繋ぐバスである。
【００２４】１０４はディスプレイで、ＣＲＴや液晶画
面などにより構成されており、計算機１０３から出力さ
れた合成画像を表示することができる。
面などにより構成されており、計算機１０３から出力さ
れた合成画像を表示することができる。
【００２５】１０５はバリュエータで、後述の暈けを生
成するためのパラメータを調節する操作部である。
成するためのパラメータを調節する操作部である。
【００２６】次に、以上の構成を備える画像処理装置を
用いて合成画像を生成する処理について以下説明する。
用いて合成画像を生成する処理について以下説明する。
【００２７】図２は現実空間を撮像する際の模式図であ
る。なお、カメラ１０２のパラメータ（位置、姿勢、被
写界深度など）は予め設定され、計算機１０３内の外部
記憶装置１０３ｄ、もしくはＲＡＭ１０３ｂ等のメモリ
に格納されているものとする。又、仮想物体に関するデ
ータ（仮想物体の形状データやテクスチャデータなど）
も計算機１０３内の外部記憶装置１０３ｄ、もしくはＲ
ＡＭ１０３ｂ等のメモリに格納されているものとする。
又、仮想物体の画像（ＣＧ画像）の生成方法は特定の方
法に限定されるものではない。
る。なお、カメラ１０２のパラメータ（位置、姿勢、被
写界深度など）は予め設定され、計算機１０３内の外部
記憶装置１０３ｄ、もしくはＲＡＭ１０３ｂ等のメモリ
に格納されているものとする。又、仮想物体に関するデ
ータ（仮想物体の形状データやテクスチャデータなど）
も計算機１０３内の外部記憶装置１０３ｄ、もしくはＲ
ＡＭ１０３ｂ等のメモリに格納されているものとする。
又、仮想物体の画像（ＣＧ画像）の生成方法は特定の方
法に限定されるものではない。
【００２８】同図より現実空間のフィールド２００には
現実の物体２０１，２０２が設けられている。２０３，
２０４は計算機１０３内で生成される仮想物体であっ
て、フィールド２００上には現実には存在しておらず、
またカメラ１０２にも撮像されない。しかし最終的に計
算機１０３内で生成される合成画像には、現実空間のフ
ィールド２００，現実の物体２０１，２０２、仮想物体
２０３，２０４が含まれている。
現実の物体２０１，２０２が設けられている。２０３，
２０４は計算機１０３内で生成される仮想物体であっ
て、フィールド２００上には現実には存在しておらず、
またカメラ１０２にも撮像されない。しかし最終的に計
算機１０３内で生成される合成画像には、現実空間のフ
ィールド２００，現実の物体２０１，２０２、仮想物体
２０３，２０４が含まれている。
【００２９】又、その際に仮想物体２０３，２０４の画
像（ＣＧ画像）は、カメラ１０２の位置、姿勢と同じ位
置、姿勢を有する仮想のカメラ（以下、仮想カメラ）か
ら見た場合の画像となる。
像（ＣＧ画像）は、カメラ１０２の位置、姿勢と同じ位
置、姿勢を有する仮想のカメラ（以下、仮想カメラ）か
ら見た場合の画像となる。
【００３０】従来の技術に基づいて合成画像を生成する
と、実写画像ではカメラ１０２の被写界深度に存在しな
い物体に対して暈けが現れるのに対して、ＣＧ画像では
どの仮想物体に対してもピントがあった画像となる。よ
って、ＣＧ画像を実写画像と合成しても違和感を感じさ
せないためには、ＣＧ画像に対して適度な暈けを生じさ
せる処理が必要となる。以下、ＣＧ画像に対して暈けを
生じさせる処理について説明する。
と、実写画像ではカメラ１０２の被写界深度に存在しな
い物体に対して暈けが現れるのに対して、ＣＧ画像では
どの仮想物体に対してもピントがあった画像となる。よ
って、ＣＧ画像を実写画像と合成しても違和感を感じさ
せないためには、ＣＧ画像に対して適度な暈けを生じさ
せる処理が必要となる。以下、ＣＧ画像に対して暈けを
生じさせる処理について説明する。
【００３１】図４にＣＧ画像に対して暈けを生じさせる
方法を示す。４０１ａ，４０２ａ，４０３ａは夫々仮想
カメラの視点を移動させ、仮想物体Ａ，Ｂ，Ｃを見た様
子を示す模式図で、４０１ｂ、４０２ｂ、４０３ｂは夫
々４０１ａ，４０２ａ，４０３ａに示した視点位置に基
づいて画像の投影面に写る画像を示す。なお同図ではピ
ントのあう面（焦点面）を仮想物体Ｂの位置としてい
る。
方法を示す。４０１ａ，４０２ａ，４０３ａは夫々仮想
カメラの視点を移動させ、仮想物体Ａ，Ｂ，Ｃを見た様
子を示す模式図で、４０１ｂ、４０２ｂ、４０３ｂは夫
々４０１ａ，４０２ａ，４０３ａに示した視点位置に基
づいて画像の投影面に写る画像を示す。なお同図ではピ
ントのあう面（焦点面）を仮想物体Ｂの位置としてい
る。
【００３２】そして上述の方法により得られたＣＧ画像
４０１ｂ，４０２ｂ，４０３の平均（３つのＣＧ画像の
夫々の画素値の平均により構成される画像）を求めるこ
とで、画像４０４ｂを得る。この画像を観察すると、焦
点面の位置にない仮想物体ＡおよびＣの像が暈けている
ように感じられ、ＣＧ画像に疑似的な被写界深度の効果
を表現することが出来る。
４０１ｂ，４０２ｂ，４０３の平均（３つのＣＧ画像の
夫々の画素値の平均により構成される画像）を求めるこ
とで、画像４０４ｂを得る。この画像を観察すると、焦
点面の位置にない仮想物体ＡおよびＣの像が暈けている
ように感じられ、ＣＧ画像に疑似的な被写界深度の効果
を表現することが出来る。
【００３３】なおその際の視点の移動について図３を用
いて説明する。視点の位置が標準の点Ｐの位置にあっ
て、焦点面を同図の通り設定した場合、視体積は同図の
通りになる。次に視点の位置を標準からオフセットした
点Ｑの位置に移動させる場合には、視体積を再設定する
必要がある。その場合、同図の通り、再設定した視体積
を焦点面の位置で切断したときの断面が、先ほどの視点
が点Ｐの位置にあった場合の視体積を焦点面の位置で切
断したときに得られる断面と同じである必要がある。
いて説明する。視点の位置が標準の点Ｐの位置にあっ
て、焦点面を同図の通り設定した場合、視体積は同図の
通りになる。次に視点の位置を標準からオフセットした
点Ｑの位置に移動させる場合には、視体積を再設定する
必要がある。その場合、同図の通り、再設定した視体積
を焦点面の位置で切断したときの断面が、先ほどの視点
が点Ｐの位置にあった場合の視体積を焦点面の位置で切
断したときに得られる断面と同じである必要がある。
【００３４】以上の方法により、基準の位置から上下左
右に視点を移動させながら（図４に示した例では４０１
ａに示した視点の位置を基準として上（４０２ａ）下
（４０３ａ）に移動させながら）、その都度ＣＧ画像を
得、得られたＣＧ画像からそれらの平均の画像を求める
ことで、焦点面の位置から遠方にある仮想物体程暈けた
画像を得ることができる。なお、暈けの度合いは焦点面
の位置や視点の移動量に応じて変化する。よって、バリ
ュエータ１０５を用いて、これらのパラメータを調節可
能にすることで、リアルタイムにＣＧ画像の暈けを調節
する事ができる。なお、視点の移動回数、すなわち、暈
けたＣＧ画像を生成するのに必要なＣＧ画像の数は計算
機１０３の計算能力、描画能力に応じて決定する必要が
あるが、一般には、より多くのＣＧ画像を用いた方が、
より自然にグラデーションのかかった暈けたＣＧ画像を
生成することができる。又、暈けは視点の移動方向に生
じるので、視点の移動方向は上述の通り上下左右だけで
なく、視点の移動方向は更に斜め方向にも移動させた方
が、より自然な暈けたＣＧ画像を生成するためにも良
い。
右に視点を移動させながら（図４に示した例では４０１
ａに示した視点の位置を基準として上（４０２ａ）下
（４０３ａ）に移動させながら）、その都度ＣＧ画像を
得、得られたＣＧ画像からそれらの平均の画像を求める
ことで、焦点面の位置から遠方にある仮想物体程暈けた
画像を得ることができる。なお、暈けの度合いは焦点面
の位置や視点の移動量に応じて変化する。よって、バリ
ュエータ１０５を用いて、これらのパラメータを調節可
能にすることで、リアルタイムにＣＧ画像の暈けを調節
する事ができる。なお、視点の移動回数、すなわち、暈
けたＣＧ画像を生成するのに必要なＣＧ画像の数は計算
機１０３の計算能力、描画能力に応じて決定する必要が
あるが、一般には、より多くのＣＧ画像を用いた方が、
より自然にグラデーションのかかった暈けたＣＧ画像を
生成することができる。又、暈けは視点の移動方向に生
じるので、視点の移動方向は上述の通り上下左右だけで
なく、視点の移動方向は更に斜め方向にも移動させた方
が、より自然な暈けたＣＧ画像を生成するためにも良
い。
【００３５】なお本実施形態における画像処理装置が上
述の方法を用いて暈けたＣＧ画像を生成する場合、図４
に示した画像４０１ｂ、４０２ｂ、４０３ｂを例に取り
説明すると、それぞれのＣＧ画像は順次ＲＡＭ１０３ｂ
内の所定のバッファ（カラーバッファ）に格納される。
そして、順次格納されたＣＧ画像に対して全画素値を１
／３倍する処理を行う。そして別のバッファ（以下、ア
キュムレーションバッファ）に転送し、すでにアキュム
レーションバッファに転送されているＣＧ画像に対して
画素毎に加算する。その結果最終的にはアキュムレーシ
ョンバッファにはＣＧ画像４０１ｂ、４０２ｂ、４０３
ｂを平均化した画像が格納されることになる。以上の処
理は計算機１０３によって行われ、計算機１０３はＣＧ
画像４０１ｂ、４０２ｂ、４０３ｂを平均化した画像を
ディスプレイ１０４に出力する。
述の方法を用いて暈けたＣＧ画像を生成する場合、図４
に示した画像４０１ｂ、４０２ｂ、４０３ｂを例に取り
説明すると、それぞれのＣＧ画像は順次ＲＡＭ１０３ｂ
内の所定のバッファ（カラーバッファ）に格納される。
そして、順次格納されたＣＧ画像に対して全画素値を１
／３倍する処理を行う。そして別のバッファ（以下、ア
キュムレーションバッファ）に転送し、すでにアキュム
レーションバッファに転送されているＣＧ画像に対して
画素毎に加算する。その結果最終的にはアキュムレーシ
ョンバッファにはＣＧ画像４０１ｂ、４０２ｂ、４０３
ｂを平均化した画像が格納されることになる。以上の処
理は計算機１０３によって行われ、計算機１０３はＣＧ
画像４０１ｂ、４０２ｂ、４０３ｂを平均化した画像を
ディスプレイ１０４に出力する。
【００３６】なお、計算機１０３を画像処理専用ボード
として用いる場合、カラーバッファ専用のＲＡＭ、アキ
ュムレーションバッファ専用のＲＡＭ、というように夫
々のバッファを夫々独立したＲＡＭに設けても良い。
として用いる場合、カラーバッファ専用のＲＡＭ、アキ
ュムレーションバッファ専用のＲＡＭ、というように夫
々のバッファを夫々独立したＲＡＭに設けても良い。
【００３７】本実施形態における画像処理装置が行う上
述の処理のフローチャートを図５に示し、同フローチャ
ートを用いて以下説明する。
述の処理のフローチャートを図５に示し、同フローチャ
ートを用いて以下説明する。
【００３８】まずアキュムレーションバッファをクリア
する（ステップＳ５０１）。次にカラーバッファをクリ
アする（ステップＳ５０２）。次にステップＳ５０３で
カメラ１０２から実写画像を入力し、ＲＡＭ１０３ｂ内
のカラーバッファに実写画像を描画する（ステップＳ５
０４）。次に仮想カメラの視点（視点に関するパラメー
タを含む）、視体積を設定し（ステップＳ５０５）、Ｃ
Ｇ画像をＲＡＭ１０３ｂ内のカラーバッファに描画する
（ステップＳ５０６）。つまり、先にカラーバッファに
描画された実写画像に合成することになり、合成画像と
なる。そして、カラーバッファ内に格納された画像の各
画素値を１／Ｎ倍（図３に示した例ではＮ＝３）にスケ
ーリングする（ステップＳ５０７）。そしてスケーリン
グされた画像はアキュムレーションバッファに転送され
る（ステップＳ５０８）。
する（ステップＳ５０１）。次にカラーバッファをクリ
アする（ステップＳ５０２）。次にステップＳ５０３で
カメラ１０２から実写画像を入力し、ＲＡＭ１０３ｂ内
のカラーバッファに実写画像を描画する（ステップＳ５
０４）。次に仮想カメラの視点（視点に関するパラメー
タを含む）、視体積を設定し（ステップＳ５０５）、Ｃ
Ｇ画像をＲＡＭ１０３ｂ内のカラーバッファに描画する
（ステップＳ５０６）。つまり、先にカラーバッファに
描画された実写画像に合成することになり、合成画像と
なる。そして、カラーバッファ内に格納された画像の各
画素値を１／Ｎ倍（図３に示した例ではＮ＝３）にスケ
ーリングする（ステップＳ５０７）。そしてスケーリン
グされた画像はアキュムレーションバッファに転送され
る（ステップＳ５０８）。
【００３９】なお、アキュムレーションバッファをクリ
アしてから最初に転送される画像はそのままアキュムレ
ーションバッファにコピーされる。そしてこれ以降アキ
ュムレーションバッファに転送される画像は予め転送さ
れた画像に対して画素単位で加算される。又、ステップ
Ｓ５０１でアキュムレーションバッファに０のデータが
書き込まれている場合には、アキュムレーションバッフ
ァに転送する画像をはじめから加算する。なお、ステッ
プＳ５０１およびＳ５０２の処理は、具体的には夫々の
バッファに０のデータを書き込むなどの処理を行う。ま
た、ステップＳ５０４およびＳ５０６の描画処理では、
視点からの奥行きの比較によって描画対象同士の隠ぺい
関係を正しく反映した画像が生成される。
アしてから最初に転送される画像はそのままアキュムレ
ーションバッファにコピーされる。そしてこれ以降アキ
ュムレーションバッファに転送される画像は予め転送さ
れた画像に対して画素単位で加算される。又、ステップ
Ｓ５０１でアキュムレーションバッファに０のデータが
書き込まれている場合には、アキュムレーションバッフ
ァに転送する画像をはじめから加算する。なお、ステッ
プＳ５０１およびＳ５０２の処理は、具体的には夫々の
バッファに０のデータを書き込むなどの処理を行う。ま
た、ステップＳ５０４およびＳ５０６の描画処理では、
視点からの奥行きの比較によって描画対象同士の隠ぺい
関係を正しく反映した画像が生成される。
【００４０】以上のステップＳ５０４からステップＳ５
０８までの処理をステップＳ５０５で視点の位置を移動
させながらＮ回繰り返す（ステップＳ５０９）。なお、
ステップＳ５０５において視点の位置を移動させる際、
バリュエータ１０５により設定した移動量を読み込み、
用いる。またバリュエータ１０５により設定された焦点
面の位置も読み込み、用いる。なお視体積は、焦点面に
よって視体積を切断したときの断面の位置および視点位
置から一意に求まる。
０８までの処理をステップＳ５０５で視点の位置を移動
させながらＮ回繰り返す（ステップＳ５０９）。なお、
ステップＳ５０５において視点の位置を移動させる際、
バリュエータ１０５により設定した移動量を読み込み、
用いる。またバリュエータ１０５により設定された焦点
面の位置も読み込み、用いる。なお視体積は、焦点面に
よって視体積を切断したときの断面の位置および視点位
置から一意に求まる。
【００４１】その結果、アキュムレーションバッファに
はステップＳ５０３からステップＳ５０８までで得られ
たＮ枚の合成画像の画素毎に平均化された画像が格納さ
れていることになるので、この画像をディスプレイ１０
４に出力する（ステップＳ５１０）。
はステップＳ５０３からステップＳ５０８までで得られ
たＮ枚の合成画像の画素毎に平均化された画像が格納さ
れていることになるので、この画像をディスプレイ１０
４に出力する（ステップＳ５１０）。
【００４２】なお、本フローチャートに従った処理では
ＣＧ画像と実写画像との合成画像を複数用いることでＣ
Ｇ画像が暈けた合成画像を生成したが、これに限定され
るものではなく、複数のＣＧ画像を用いて暈けたＣＧ画
像を生成し、最後に実写画像と合成してもよい。その場
合の処理のフローチャートを図１０に示す。図１０で，
Ｓ１００１，Ｓ１００２，Ｓ１００３，Ｓ１００４，Ｓ
１００５，Ｓ１００６，Ｓ１００７，Ｓ１００９，Ｓ１
０１０は，それぞれ図５のＳ５０１，Ｓ５０３，Ｓ５０
５，Ｓ５０６，Ｓ５０７，Ｓ５０８，Ｓ５０９，Ｓ５０
２，Ｓ５０４と同じ内容の処理である。ステップＳ１０
０８では、アキュムレーションバッファに格納されたＮ
枚の合成画像の画素毎に平均化された画像をカラーバッ
ファにコピーする。このあと、ステップＳ１０１０で実
写画像を描画する際に、実写画像とＣＧ物体の隠れおよ
び透過の関係を正しく反映した合成画像を描く。この合
成画像は、ステップＳ１０１１でディスプレイ１０４に
出力される。
ＣＧ画像と実写画像との合成画像を複数用いることでＣ
Ｇ画像が暈けた合成画像を生成したが、これに限定され
るものではなく、複数のＣＧ画像を用いて暈けたＣＧ画
像を生成し、最後に実写画像と合成してもよい。その場
合の処理のフローチャートを図１０に示す。図１０で，
Ｓ１００１，Ｓ１００２，Ｓ１００３，Ｓ１００４，Ｓ
１００５，Ｓ１００６，Ｓ１００７，Ｓ１００９，Ｓ１
０１０は，それぞれ図５のＳ５０１，Ｓ５０３，Ｓ５０
５，Ｓ５０６，Ｓ５０７，Ｓ５０８，Ｓ５０９，Ｓ５０
２，Ｓ５０４と同じ内容の処理である。ステップＳ１０
０８では、アキュムレーションバッファに格納されたＮ
枚の合成画像の画素毎に平均化された画像をカラーバッ
ファにコピーする。このあと、ステップＳ１０１０で実
写画像を描画する際に、実写画像とＣＧ物体の隠れおよ
び透過の関係を正しく反映した合成画像を描く。この合
成画像は、ステップＳ１０１１でディスプレイ１０４に
出力される。
【００４３】また、図５および図１０のフローチャート
にしたがった処理では各々の仮想視点に対するCG画像を
均等に平均化したが、視点によって出力する合成画像に
与える寄与度を変化させることも可能である。例えば、
標準の視点位置からの視点移動量が少ない場合の合成画
像（図５のフローチャートの場合）またはCG画像（図１
０のフローチャートの場合）ほど寄与度を高くするなど
の方法を用いることが出来る。
にしたがった処理では各々の仮想視点に対するCG画像を
均等に平均化したが、視点によって出力する合成画像に
与える寄与度を変化させることも可能である。例えば、
標準の視点位置からの視点移動量が少ない場合の合成画
像（図５のフローチャートの場合）またはCG画像（図１
０のフローチャートの場合）ほど寄与度を高くするなど
の方法を用いることが出来る。
【００４４】以上の説明により、本実施形態における画
像処理装置及びその方法によって、被写界深度による暈
けをＣＧ画像で実現することができ、実写画像とＣＧ画
像とを合成しても、観察者に違和感を与えることのない
合成画像を提供することができる。
像処理装置及びその方法によって、被写界深度による暈
けをＣＧ画像で実現することができ、実写画像とＣＧ画
像とを合成しても、観察者に違和感を与えることのない
合成画像を提供することができる。
【００４５】なお本実施形態では実写画像及びＣＧ画像
が静止画、もしくは動画の１フレームの画像である場合
について説明したが、実写画像及びＣＧ画像が動画であ
る場合にも本実施形態は適用可能であり、その場合、図
５または図１０に示した処理を動画の各フレーム毎に行
えばよい。
が静止画、もしくは動画の１フレームの画像である場合
について説明したが、実写画像及びＣＧ画像が動画であ
る場合にも本実施形態は適用可能であり、その場合、図
５または図１０に示した処理を動画の各フレーム毎に行
えばよい。
【００４６】［第２の実施形態］第１の実施形態では仮
想カメラの視点の移動量や焦点面の位置はハードウェア
であるバリュエータ１０５を用いて行っていたが、この
バリュエータ１０５をソフトウェアで実現しても良い。
つまり、バリュエータ１０５をＧＵＩで表現し、操作部
１０３ｅを用いて仮想カメラの視点の移動量や焦点面の
位置を指定しても良い。
想カメラの視点の移動量や焦点面の位置はハードウェア
であるバリュエータ１０５を用いて行っていたが、この
バリュエータ１０５をソフトウェアで実現しても良い。
つまり、バリュエータ１０５をＧＵＩで表現し、操作部
１０３ｅを用いて仮想カメラの視点の移動量や焦点面の
位置を指定しても良い。
【００４７】また、予め仮想カメラの視点の移動量や焦
点面の位置を設定ファイルなどに記載してＲＡＭ１０３
ｂ内、もしくは外部記憶装置１０３ｄ内に格納しておい
てもよい。そして必要に応じて設定ファイルを開き、操
作部１０３ｅを用いて内容を変更するようにしても良
い。
点面の位置を設定ファイルなどに記載してＲＡＭ１０３
ｂ内、もしくは外部記憶装置１０３ｄ内に格納しておい
てもよい。そして必要に応じて設定ファイルを開き、操
作部１０３ｅを用いて内容を変更するようにしても良
い。
【００４８】［第３の実施形態］第１の実施形態では暈
けのパラメータはバリュエータ１０５により調節してい
たが、カメラ１０２のパラメータ、特にレンズ設定に応
じて算出しても良い。その場合、本実施形態における画
像処理装置の構成は図６に示すとおりとなる。なお図１
に示した画像処理装置と同じ部分は同じ番号を付けてい
る。
けのパラメータはバリュエータ１０５により調節してい
たが、カメラ１０２のパラメータ、特にレンズ設定に応
じて算出しても良い。その場合、本実施形態における画
像処理装置の構成は図６に示すとおりとなる。なお図１
に示した画像処理装置と同じ部分は同じ番号を付けてい
る。
【００４９】図６に示した本実施形態の画像処理装置
は、計算機１０３内の外部記憶装置１０３ｄにカメラ１
０２のパラメータ、特にレンズ設定を格納し、カメラ１
０２から実写画像が計算機１０３に入力されると、格納
しているレンズ設定を用いて暈けたＣＧ画像を生成する
ためのパラメータを算出する。後は第１の実施形態で説
明した方法と同様にして、暈けたＣＧ画像と実写画像と
が合成された合成画像をディスプレイ１０４やＶＴＲ等
に出力する。
は、計算機１０３内の外部記憶装置１０３ｄにカメラ１
０２のパラメータ、特にレンズ設定を格納し、カメラ１
０２から実写画像が計算機１０３に入力されると、格納
しているレンズ設定を用いて暈けたＣＧ画像を生成する
ためのパラメータを算出する。後は第１の実施形態で説
明した方法と同様にして、暈けたＣＧ画像と実写画像と
が合成された合成画像をディスプレイ１０４やＶＴＲ等
に出力する。
【００５０】以下では、カメラ１０２のレンズ設定から
暈けたＣＧ画像を生成するためのパラメータの算出方法
について説明する。
暈けたＣＧ画像を生成するためのパラメータの算出方法
について説明する。
【００５１】本実施形態における算出方法は、まずＣＧ
描画系と実写撮像系とで焦点面の位置が合致するように
ＣＧ描画系の焦点面の位置を算出する。次に、ＣＧ描画
系と実写撮像系とで位置が合致し、かつ焦点面以外の任
意の位置に仮想の基準点を設け、この基準点にある物体
をCG描画または撮影した場合の画像上での暈け具合が合
致するようにCG描画系の視点の移動量を算出する。
描画系と実写撮像系とで焦点面の位置が合致するように
ＣＧ描画系の焦点面の位置を算出する。次に、ＣＧ描画
系と実写撮像系とで位置が合致し、かつ焦点面以外の任
意の位置に仮想の基準点を設け、この基準点にある物体
をCG描画または撮影した場合の画像上での暈け具合が合
致するようにCG描画系の視点の移動量を算出する。
【００５２】図７にＣＧ描画系を示す。同図において点
Ｐ、Ｑは夫々視点の位置を示し、点Ｒは基準の視点位置
Ｐにおいて撮影面の中心に投影され、焦点面以外の任意
の位置に設けられた点である。視点の位置が点Ｐから点
Ｑに移動した際、点Ｒの投影面上でのずれの量Δは、以
下の式で表される。
Ｐ、Ｑは夫々視点の位置を示し、点Ｒは基準の視点位置
Ｐにおいて撮影面の中心に投影され、焦点面以外の任意
の位置に設けられた点である。視点の位置が点Ｐから点
Ｑに移動した際、点Ｒの投影面上でのずれの量Δは、以
下の式で表される。
【００５３】Δ＝（１−ａ／ｂ）×ＰＱ
一方、図８に実写撮像系を示す。同図において、８０１
はレンズである。同図の通り、焦点面、投影面を設け、
レンズ８０１から距離Ｄだけ離れた点が投影面の位置に
射影されるとすると、レンズ８０１から距離ｄ離れた点
Ｓが投影面に射影されて生ずる円の直径ｒは、以下の式
で表される。
はレンズである。同図の通り、焦点面、投影面を設け、
レンズ８０１から距離Ｄだけ離れた点が投影面の位置に
射影されるとすると、レンズ８０１から距離ｄ離れた点
Ｓが投影面に射影されて生ずる円の直径ｒは、以下の式
で表される。
【００５４】
ｒ＝ｆ／｛Ｆ（Ｄ−ｆ）｝×（１−Ｄ／ｄ）
ここでｆはレンズ８０１の焦点距離、Ｆは絞りである。
ここで、ＣＧ描画系と実写撮像系とで暈け具体を合わせ
ようとする場合、まずCG描画系の焦点面と実写撮影系の
焦点面の位置を対応付けることによって、ＣＧ描画系の
焦点面の位置を算出する。次に、点Ｒと点Ｓとを基準点
として対応付け、ｒ＝２ｋΔの関係式を満たすように、
仮想カメラの移動量を決定する。なおこの関係式におい
て、ｋはＣＧと実写の画像サイズを合わせるための変換
係数である。以上のように、カメラ１０２のパラメータ
が決まっていれば焦点面の位置および視点位置の移動量
が一意に決まるので、計算機１０３は内部に保持してい
るカメラ１０２のパラメータから、ＣＧ画像の暈け具合
を調整するためのパラメータを決定することができる。
ここで、ＣＧ描画系と実写撮像系とで暈け具体を合わせ
ようとする場合、まずCG描画系の焦点面と実写撮影系の
焦点面の位置を対応付けることによって、ＣＧ描画系の
焦点面の位置を算出する。次に、点Ｒと点Ｓとを基準点
として対応付け、ｒ＝２ｋΔの関係式を満たすように、
仮想カメラの移動量を決定する。なおこの関係式におい
て、ｋはＣＧと実写の画像サイズを合わせるための変換
係数である。以上のように、カメラ１０２のパラメータ
が決まっていれば焦点面の位置および視点位置の移動量
が一意に決まるので、計算機１０３は内部に保持してい
るカメラ１０２のパラメータから、ＣＧ画像の暈け具合
を調整するためのパラメータを決定することができる。
【００５５】暈けを設定するためのパラメータは、図５
に示したフローチャートの処理に先立って上述の方法で
算出して、予めＲＡＭ１０３ｂ内もしくは外部記憶装置
１０３ｄ内に格納しておき、ステップＳ５０５またはＳ
１００３で視点の設定処理に用いる。なお、上述の方法
で求めた視点の移動量は、ステップＳ５０５またはＳ１
００３において設定する視点位置の、基準視点位置から
の距離の上限値として用いる。
に示したフローチャートの処理に先立って上述の方法で
算出して、予めＲＡＭ１０３ｂ内もしくは外部記憶装置
１０３ｄ内に格納しておき、ステップＳ５０５またはＳ
１００３で視点の設定処理に用いる。なお、上述の方法
で求めた視点の移動量は、ステップＳ５０５またはＳ１
００３において設定する視点位置の、基準視点位置から
の距離の上限値として用いる。
【００５６】また、本実施形態における画像処理装置の
処理では、ＣＧ画像と実写画像との合成画像を複数用い
ることでＣＧ画像が暈けた合成画像を生成したが、これ
に限定されるものではなく、複数のＣＧ画像を用いてた
ＣＧ画像を生成し、最後に実写画像と合成してもよい。
処理では、ＣＧ画像と実写画像との合成画像を複数用い
ることでＣＧ画像が暈けた合成画像を生成したが、これ
に限定されるものではなく、複数のＣＧ画像を用いてた
ＣＧ画像を生成し、最後に実写画像と合成してもよい。
【００５７】［第４の実施形態］第３の実施形態で示し
た画像処理装置は、カメラ１０２のレンズ設定値が固定
であった。本実施形態ではこのレンズ設定値が可変であ
る場合の画像処理装置を示す。図９に本実施形態の画像
処理装置の構成を示す。同図において、図６と同じ部分
には同じ番号は付けられている。図９に示した画像処理
装置が図６に示した画像処理装置と異なる点は、カメラ
１０２のレンズ設定値がカメラ１０２から計算機１０３
に入力される点で、この構成により、リアルタイムにカ
メラ１０２のレンズ設定値が変化しても、計算機１０３
にはこの設定値が逐次入力され、入力された設定値を用
いて暈けたＣＧ画像を生成するためのパラメータを算出
することができる。この算出方法は第３の実施形態で示
した方法と同じであるが、この算出処理は図５に示した
フローチャートのステップＳ５０５またはＳ１００３で
行い、レンズ設定値の読み込み処理はステップＳ５０２
またはＳ１００９で行う。それ以外の処理は第３の実施
形態で示した画像処理装置と同じ処理を行う。なお、本
実施例でカメラ１０２から計算機１０３に入力するレン
ズ設定値とは、焦点距離・焦点面の位置・絞りである。
また、これらのパラメータのいずれかあるいは全てに替
えて、例えばズームレンズを駆動するモータの回転角度
など、レンズの設計仕様およびカメラ１０２の校正結果
と伴わせて焦点距離・焦点面の位置・絞りを算出するこ
とが可能な数値であっても構わない。
た画像処理装置は、カメラ１０２のレンズ設定値が固定
であった。本実施形態ではこのレンズ設定値が可変であ
る場合の画像処理装置を示す。図９に本実施形態の画像
処理装置の構成を示す。同図において、図６と同じ部分
には同じ番号は付けられている。図９に示した画像処理
装置が図６に示した画像処理装置と異なる点は、カメラ
１０２のレンズ設定値がカメラ１０２から計算機１０３
に入力される点で、この構成により、リアルタイムにカ
メラ１０２のレンズ設定値が変化しても、計算機１０３
にはこの設定値が逐次入力され、入力された設定値を用
いて暈けたＣＧ画像を生成するためのパラメータを算出
することができる。この算出方法は第３の実施形態で示
した方法と同じであるが、この算出処理は図５に示した
フローチャートのステップＳ５０５またはＳ１００３で
行い、レンズ設定値の読み込み処理はステップＳ５０２
またはＳ１００９で行う。それ以外の処理は第３の実施
形態で示した画像処理装置と同じ処理を行う。なお、本
実施例でカメラ１０２から計算機１０３に入力するレン
ズ設定値とは、焦点距離・焦点面の位置・絞りである。
また、これらのパラメータのいずれかあるいは全てに替
えて、例えばズームレンズを駆動するモータの回転角度
など、レンズの設計仕様およびカメラ１０２の校正結果
と伴わせて焦点距離・焦点面の位置・絞りを算出するこ
とが可能な数値であっても構わない。
【００５８】［第５の実施形態］第２、３の実施形態で
示した画像処理装置において、暈けたＣＧ画像を生成す
るためのパラメータは上述の通りカメラ１０２のレンズ
設定値に基づいて算出されるが、更にバリュエータ１０
５を備えることで、更に暈けたＣＧ画像を生成するため
のパラメータを微調整することができる。
示した画像処理装置において、暈けたＣＧ画像を生成す
るためのパラメータは上述の通りカメラ１０２のレンズ
設定値に基づいて算出されるが、更にバリュエータ１０
５を備えることで、更に暈けたＣＧ画像を生成するため
のパラメータを微調整することができる。
【００５９】尚、上述の実施形態では、ＣＧ画像に焦点
面の位置に応じた、いわゆる暈けを付与する手段とし
て、複数の視点位置におけるＣＧ画像を平均化する手段
を用いたが、ＣＧ画像に対してローパスフィルタをかけ
る処理を行うことによっても暈けを表現することができ
る。
面の位置に応じた、いわゆる暈けを付与する手段とし
て、複数の視点位置におけるＣＧ画像を平均化する手段
を用いたが、ＣＧ画像に対してローパスフィルタをかけ
る処理を行うことによっても暈けを表現することができ
る。
【００６０】また、視点位置の変動が小さく、簡易的な
処理の範囲では、予め暈けを段階的に付与したＣＧ画像
を記憶しておき、焦点面位置に対するＣＧ画像生成位置
の関係から、適当な暈けを有するＣＧ画像を選択するよ
うにすることもできる。
処理の範囲では、予め暈けを段階的に付与したＣＧ画像
を記憶しておき、焦点面位置に対するＣＧ画像生成位置
の関係から、適当な暈けを有するＣＧ画像を選択するよ
うにすることもできる。
【００６１】［他の実施形態］本発明の目的は、前述し
た実施形態の機能を実現するソフトウェアのプログラム
コードを記録した記憶媒体（または記録媒体）を、シス
テムあるいは装置に供給し、そのシステムあるいは装置
のコンピュータ（またはCPUやMPU）が記憶媒体に格納さ
れたプログラムコードを読み出し実行することによって
も、達成されることは言うまでもない。この場合、記憶
媒体から読み出されたプログラムコード自体が前述した
実施形態の機能を実現することになり、そのプログラム
コードを記憶した記憶媒体は本発明を構成することにな
る。また、コンピュータが読み出したプログラムコード
を実行することにより、前述した実施形態の機能が実現
されるだけでなく、そのプログラムコードの指示に基づ
き、コンピュータ上で稼働しているオペレーティングシ
ステム(OS)などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。
た実施形態の機能を実現するソフトウェアのプログラム
コードを記録した記憶媒体（または記録媒体）を、シス
テムあるいは装置に供給し、そのシステムあるいは装置
のコンピュータ（またはCPUやMPU）が記憶媒体に格納さ
れたプログラムコードを読み出し実行することによって
も、達成されることは言うまでもない。この場合、記憶
媒体から読み出されたプログラムコード自体が前述した
実施形態の機能を実現することになり、そのプログラム
コードを記憶した記憶媒体は本発明を構成することにな
る。また、コンピュータが読み出したプログラムコード
を実行することにより、前述した実施形態の機能が実現
されるだけでなく、そのプログラムコードの指示に基づ
き、コンピュータ上で稼働しているオペレーティングシ
ステム(OS)などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。
【００６２】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【００６３】本発明を上記記憶媒体に適用する場合、そ
の記憶媒体には、先に説明した（図５に示したフローチ
ャート）に対応するプログラムコードが格納されること
になる。
の記憶媒体には、先に説明した（図５に示したフローチ
ャート）に対応するプログラムコードが格納されること
になる。
【００６４】
【発明の効果】以上説明したように本発明によれば、実
写画像に現れる暈けをＣＧ画像に生じさせ、観察者に違
和感を与えないＣＧ画像と実写画像との合成画像を作成
することができる。
写画像に現れる暈けをＣＧ画像に生じさせ、観察者に違
和感を与えないＣＧ画像と実写画像との合成画像を作成
することができる。
【図１】本発明の第１の実施形態における画像処理装置
の構成を示す図である。
の構成を示す図である。
【図２】現実空間を撮像する際の模式図である。
【図３】ＣＧ画像に対して暈けを生じさせるための視点
の移動について説明する図である。
の移動について説明する図である。
【図４】ＣＧ画像に対して暈けを生じさせる方法を示す
図である。
図である。
【図５】本発明の第１の実施形態における画像処理装置
が行う処理のフローチャートである。
が行う処理のフローチャートである。
【図６】本発明の第２の実施形態における画像処理装置
の構成を示す図である。
の構成を示す図である。
【図７】ＣＧ描画系を示す図である。
【図８】実写描画系を示す図である。
【図９】本発明の第３の実施形態における画像処理装置
の構成を示す図である。
の構成を示す図である。
【図１０】本発明の第１の実施形態における画像処理装
置が行う別の方法の処理のフローチャートである。
置が行う別の方法の処理のフローチャートである。
Claims (14)
- 【請求項１】 実写画像とＣＧ画像とを合成して合成画
像を生成する画像処理装置であって、 ＣＧ画像を生成するための視点の移動量、焦点面の位置
を設定する設定手段と、 前記設定手段で設定した前記視点の移動量に基づいて前
記視点を各位置に移動させ、移動させた各位置における
ＣＧ画像を生成することで、複数のＣＧ画像を得るＣＧ
画像生成手段と、 前記ＣＧ画像生成手段が生成した夫々のＣＧ画像と実写
画像との合成画像を生成する合成画像生成手段と、 前記合成画像生成手段が生成した複数の合成画像を平均
化した平均画像を生成する平均画像生成手段と を備えることを特徴とする画像処理装置。 - 【請求項２】 更に、前記平均画像生成手段が生成した
画像を表示する表示手段を備えることを特徴とする請求
項１に記載の画像処理装置。 - 【請求項３】 実写画像とＣＧ画像とを合成して合成画
像を生成する画像処理装置であって、 ＣＧ画像を生成するための視点の移動量、焦点面の位置
を設定する設定手段と、 前記設定手段で設定した前記視点の移動量に基づいて前
記視点を各位置に移動させ、移動させた各位置における
ＣＧ画像を生成することで、複数のＣＧ画像を得るＣＧ
画像生成手段と、各視点位置におけるＣＧ画像を平均化した平均化ＣＧ画
像を生成する 平均化ＣＧ画像生成手段と、 前記平均化ＣＧ画像生成手段で生成された前記平均化Ｃ
Ｇ画像と実写画像とを合成し、合成画像を生成する合成
画像生成手段とを備えることを特徴とする画像処理装
置。 - 【請求項４】 実写画像とＣＧ画像とを合成して合成画
像を生成する画像処理方法であって、 ＣＧ画像を生成するための視点の移動量、焦点面の位置
を設定する設定工程と、 前記設定工程で設定した前記視点の移動量に基づいて前
記視点を各位置に移動させ、移動させた各位置における
ＣＧ画像を生成することで、複数のＣＧ画像を得るＣＧ
画像生成工程と、 前記ＣＧ画像生成工程で生成した夫々のＣＧ画像と実写
画像との合成画像を生成する合成画像生成工程と、 前記合成画像生成工程で生成した複数の合成画像を平均
化した平均画像を生成する平均画像生成工程と を備えることを特徴とする画像処理方法。 - 【請求項５】 前記設定工程では、実写画像を撮影する
撮影手段のレンズ特性に応じて前記ＣＧ画像を作成する
ための視点の移動量、焦点面の位置を設定することを特
徴とする請求項４に記載の画像処理方法。 - 【請求項６】 前記平均画像生成工程では、前記複数の
合成画像において同位置の画素の画素値の平均値を有す
る画像を生成することを特徴とする請求項４又は５に記
載の画像処理方法。 - 【請求項７】 前記平均画像生成工程では、前記複数の
合成画像において同位置の画素の画素値の加重平均値を
有する画像を生成することを特徴とする請求項４又は５
に記載の画像処理方法。 - 【請求項８】 実写画像とＣＧ画像とを合成して合成画
像を生成する画像処理方法であって、 ＣＧ画像を生成するための視点の移動量、焦点面の位置
を設定する設定工程と、 前記設定工程で設定した前記視点の移動量に基づいて前
記視点を各位置に移動させ、移動させた各位置における
ＣＧ画像を生成することで、複数のＣＧ画像を得るＣＧ
画像生成工程と、各視点位置におけるＣＧ画像を平均化した 平均化ＣＧ画
像を生成する平均化ＣＧ画像生成工程と、 前記平均化ＣＧ画像生成工程で生成された前記平均化Ｃ
Ｇ画像と実写画像とを合成し、合成画像を生成する合成
画像生成工程とを備えることを特徴とする画像処理方
法。 - 【請求項９】 前記設定工程では、実写画像を撮影する
撮影手段のレンズ特性に応じて前記ＣＧ画像を作成する
ための視点の移動量、焦点面の位置を設定することを特
徴とする請求項８に記載の画像処理方法。 - 【請求項１０】 前記平均化ＣＧ画像生成工程では、前
記各視点位置におけるＣＧ画像において同位置の画素の
画素値の平均値を有する画像を生成することを特徴とす
る請求項８又は９に記載の画像処理方法。 - 【請求項１１】 前記平均化ＣＧ画像生成工程では、前
記各視点位置におけるＣＧ画像において同位置の画素の
画素値の加重平均値を有する画像を生成することを特徴
とする請求項８又は９に記載の画像処理方法。 - 【請求項１２】 前記ＣＧ画像生成工程では、前記視点
の移動量に応じて前記視点の移動を行う際に、視体積を
焦点面の位置で切断したときに、その断面が変化しない
ように視体積を再設定することを特徴とする請求項４乃
至１１の何れか１項に記載の画像処理方法。 - 【請求項１３】 コンピュータに請求項４乃至１２の何
れか１項に記載の画像処理方法を実行させることを特徴
とするプログラム。 - 【請求項１４】 請求項１３に記載のプログラムコード
を格納し、コンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001048719A JP3450833B2 (ja) | 2001-02-23 | 2001-02-23 | 画像処理装置及びその方法並びにプログラムコード、記憶媒体 |
| US09/819,668 US6717586B2 (en) | 2001-02-23 | 2001-03-29 | Apparatus, method, program code, and storage medium for image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001048719A JP3450833B2 (ja) | 2001-02-23 | 2001-02-23 | 画像処理装置及びその方法並びにプログラムコード、記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002251634A JP2002251634A (ja) | 2002-09-06 |
| JP3450833B2 true JP3450833B2 (ja) | 2003-09-29 |
Family
ID=18909939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001048719A Expired - Fee Related JP3450833B2 (ja) | 2001-02-23 | 2001-02-23 | 画像処理装置及びその方法並びにプログラムコード、記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6717586B2 (ja) |
| JP (1) | JP3450833B2 (ja) |
Families Citing this family (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2361341A1 (en) | 2001-11-07 | 2003-05-07 | Idelix Software Inc. | Use of detail-in-context presentation on stereoscopically paired images |
| US7084910B2 (en) * | 2002-02-08 | 2006-08-01 | Hewlett-Packard Development Company, L.P. | System and method for using multiple images in a digital image capture device |
| US7681112B1 (en) | 2003-05-30 | 2010-03-16 | Adobe Systems Incorporated | Embedded reuse meta information |
| US20050179705A1 (en) * | 2004-02-12 | 2005-08-18 | Randy Ubillos | Navigation within a large computer file |
| US7847800B2 (en) * | 2004-04-16 | 2010-12-07 | Apple Inc. | System for emulating graphics operations |
| US8134561B2 (en) | 2004-04-16 | 2012-03-13 | Apple Inc. | System for optimizing graphics operations |
| US8704837B2 (en) * | 2004-04-16 | 2014-04-22 | Apple Inc. | High-level program interface for graphics operations |
| US7248265B2 (en) * | 2004-04-16 | 2007-07-24 | Apple Inc. | System and method for processing graphics operations with graphics processing unit |
| US7636489B2 (en) * | 2004-04-16 | 2009-12-22 | Apple Inc. | Blur computation algorithm |
| US7231632B2 (en) * | 2004-04-16 | 2007-06-12 | Apple Computer, Inc. | System for reducing the number of programs necessary to render an image |
| US8068103B2 (en) * | 2004-06-24 | 2011-11-29 | Apple Inc. | User-interface design |
| US7397964B2 (en) * | 2004-06-24 | 2008-07-08 | Apple Inc. | Gaussian blur approximation suitable for GPU |
| US8130237B2 (en) * | 2004-06-24 | 2012-03-06 | Apple Inc. | Resolution independent user interface design |
| US8239749B2 (en) | 2004-06-25 | 2012-08-07 | Apple Inc. | Procedurally expressing graphic objects for web pages |
| US7761800B2 (en) | 2004-06-25 | 2010-07-20 | Apple Inc. | Unified interest layer for user interface |
| US8566732B2 (en) | 2004-06-25 | 2013-10-22 | Apple Inc. | Synchronization of widgets and dashboards |
| US8453065B2 (en) | 2004-06-25 | 2013-05-28 | Apple Inc. | Preview and installation of user interface elements in a display environment |
| US8302020B2 (en) | 2004-06-25 | 2012-10-30 | Apple Inc. | Widget authoring and editing environment |
| US7652678B2 (en) * | 2004-06-25 | 2010-01-26 | Apple Inc. | Partial display updates in a windowing system using a programmable graphics processing unit |
| US7490295B2 (en) | 2004-06-25 | 2009-02-10 | Apple Inc. | Layer for accessing user interface elements |
| US7227551B2 (en) | 2004-12-23 | 2007-06-05 | Apple Inc. | Manipulating text and graphic appearance |
| US8140975B2 (en) | 2005-01-07 | 2012-03-20 | Apple Inc. | Slide show navigation |
| US7852353B1 (en) * | 2005-03-31 | 2010-12-14 | Apple Inc. | Encoding a transparency (alpha) channel in a video bitstream |
| US8452090B1 (en) | 2005-04-25 | 2013-05-28 | Apple Inc. | Bayer reconstruction of images using a GPU |
| US7289127B1 (en) | 2005-04-25 | 2007-10-30 | Apple, Inc. | Multi-conic gradient generation |
| US8793576B2 (en) | 2005-10-14 | 2014-07-29 | Apple Inc. | System and method for computing a desktop picture |
| US20070097146A1 (en) * | 2005-10-27 | 2007-05-03 | Apple Computer, Inc. | Resampling selected colors of video information using a programmable graphics processing unit to provide improved color rendering on LCD displays |
| US7954064B2 (en) | 2005-10-27 | 2011-05-31 | Apple Inc. | Multiple dashboards |
| US7483037B2 (en) * | 2005-10-27 | 2009-01-27 | Apple, Inc. | Resampling chroma video using a programmable graphics processing unit to provide improved color rendering |
| US9104294B2 (en) | 2005-10-27 | 2015-08-11 | Apple Inc. | Linked widgets |
| US7752556B2 (en) | 2005-10-27 | 2010-07-06 | Apple Inc. | Workflow widgets |
| US8543824B2 (en) | 2005-10-27 | 2013-09-24 | Apple Inc. | Safe distribution and use of content |
| US7743336B2 (en) | 2005-10-27 | 2010-06-22 | Apple Inc. | Widget security |
| US7707514B2 (en) | 2005-11-18 | 2010-04-27 | Apple Inc. | Management of user interface elements in a display environment |
| US8155682B2 (en) * | 2006-05-05 | 2012-04-10 | Research In Motion Limited | Handheld electronic device including automatic mobile phone number management, and associated method |
| US8869027B2 (en) | 2006-08-04 | 2014-10-21 | Apple Inc. | Management and generation of dashboards |
| US8954871B2 (en) | 2007-07-18 | 2015-02-10 | Apple Inc. | User-centric widgets and dashboards |
| US8667415B2 (en) | 2007-08-06 | 2014-03-04 | Apple Inc. | Web widgets |
| US8156467B2 (en) | 2007-08-27 | 2012-04-10 | Adobe Systems Incorporated | Reusing components in a running application |
| US8176466B2 (en) | 2007-10-01 | 2012-05-08 | Adobe Systems Incorporated | System and method for generating an application fragment |
| US9619304B2 (en) | 2008-02-05 | 2017-04-11 | Adobe Systems Incorporated | Automatic connections between application components |
| US9459927B2 (en) * | 2008-05-22 | 2016-10-04 | Alcatel Lucent | Central office based virtual personal computer |
| US8656293B1 (en) | 2008-07-29 | 2014-02-18 | Adobe Systems Incorporated | Configuring mobile devices |
| JP5689693B2 (ja) * | 2011-01-13 | 2015-03-25 | 株式会社ディジタルメディアプロフェッショナル | 描画処理装置 |
| JP5377537B2 (ja) * | 2011-02-10 | 2013-12-25 | 株式会社エヌ・ティ・ティ・ドコモ | オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム |
| JP2012174116A (ja) * | 2011-02-23 | 2012-09-10 | Ntt Docomo Inc | オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム |
| US9914222B2 (en) | 2015-02-05 | 2018-03-13 | Canon Kabushiki Kaisha | Information processing apparatus, control method thereof, and computer readable storage medium that calculate an accuracy of correspondence between a model feature and a measurement data feature and collate, based on the accuracy, a geometric model and an object in an image |
| US9558536B2 (en) | 2015-04-01 | 2017-01-31 | Apple Inc. | Blur downscale |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2720920B2 (ja) * | 1991-03-11 | 1998-03-04 | 工業技術院長 | 画像処理システムにおける実写画像とコンピュータグラフィックスの合成方法 |
| US5905499A (en) * | 1995-07-05 | 1999-05-18 | Fakespace, Inc. | Method and system for high performance computer-generated virtual environments |
| JPH10327433A (ja) * | 1997-05-23 | 1998-12-08 | Minolta Co Ltd | 合成画像の表示装置 |
| US6388666B1 (en) * | 1998-10-27 | 2002-05-14 | Imax Corporation | System and method for generating stereoscopic image data |
| US6456287B1 (en) * | 1999-02-03 | 2002-09-24 | Isurftv | Method and apparatus for 3D model creation based on 2D images |
| JP2000251090A (ja) | 1999-03-01 | 2000-09-14 | Sony Computer Entertainment Inc | 描画装置及び該描画装置で被写界深度を表現する方法 |
| US6424351B1 (en) * | 1999-04-21 | 2002-07-23 | The University Of North Carolina At Chapel Hill | Methods and systems for producing three-dimensional images using relief textures |
| JP2000322594A (ja) | 1999-05-14 | 2000-11-24 | Taito Corp | 画像表示装置、画像表示方法、及び表示プログラムが記憶された記憶媒体 |
| JP2000354257A (ja) | 1999-06-10 | 2000-12-19 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム提供媒体 |
-
2001
- 2001-02-23 JP JP2001048719A patent/JP3450833B2/ja not_active Expired - Fee Related
- 2001-03-29 US US09/819,668 patent/US6717586B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20020118217A1 (en) | 2002-08-29 |
| US6717586B2 (en) | 2004-04-06 |
| JP2002251634A (ja) | 2002-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3450833B2 (ja) | 画像処理装置及びその方法並びにプログラムコード、記憶媒体 | |
| US9262807B2 (en) | Method and system for correcting a distorted input image | |
| JP6563609B2 (ja) | 中間ビューからの効率的なキャンバスビューの生成 | |
| EP3057066B1 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
| CN104246795B (zh) | 用于超广角透镜图像的自适应透视修正的方法和系统 | |
| JP2019079552A (ja) | イメージ形成における及びイメージ形成に関する改良 | |
| JP5835383B2 (ja) | 情報処理方法、情報処理装置、およびプログラム | |
| US20020113865A1 (en) | Image processing method and apparatus | |
| JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
| CN107844190B (zh) | 基于虚拟现实vr设备的图像展示方法及装置 | |
| TW200402635A (en) | Real-time wide-angle image correction system and method for computer image viewing | |
| WO2017128887A1 (zh) | 全景图像的校正3d显示方法和系统及装置 | |
| JP2015176560A (ja) | 情報処理方法、情報処理装置、およびプログラム | |
| CN113643414A (zh) | 一种三维图像生成方法、装置、电子设备及存储介质 | |
| JP6974978B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN114390262A (zh) | 用于拼接三维球面全景影像的方法及电子装置 | |
| US11528412B2 (en) | Apparatus and method for stitching together multiple images | |
| TW201824178A (zh) | 全景即時影像處理方法 | |
| JP2017084422A (ja) | 装置、方法、およびプログラム | |
| JP6719596B2 (ja) | 画像生成装置、及び画像表示制御装置 | |
| CN110060349B (zh) | 一种扩展增强现实头戴式显示设备视场角的方法 | |
| JP4046973B2 (ja) | 情報処理方法および画像混合装置 | |
| JP2005063041A (ja) | ３次元モデリング装置、方法、及びプログラム | |
| JP2012128529A (ja) | 画像処理装置及びその制御方法、プログラム | |
| WO2021149509A1 (ja) | 撮像装置、撮像方法、及び、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030620 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080711 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080711 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090711 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090711 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100711 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100711 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |