JPH11259682A - 画像処理装置および方法、並びに提供媒体 - Google Patents
画像処理装置および方法、並びに提供媒体Info
- Publication number
- JPH11259682A JPH11259682A JP10300680A JP30068098A JPH11259682A JP H11259682 A JPH11259682 A JP H11259682A JP 10300680 A JP10300680 A JP 10300680A JP 30068098 A JP30068098 A JP 30068098A JP H11259682 A JPH11259682 A JP H11259682A
- Authority
- JP
- Japan
- Prior art keywords
- image
- shadow
- distance
- real
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Abstract
(57)【要約】
【課題】 高効率で実写画像とＣＧ画像を合成する。
【解決手段】 ３次元距離計測装置３は、ステレオカメ
ラ２−１乃至２−４から入力された画像を用いて距離画
像Ｌ2を生成する。ＣＧ影マスク生成装置６は、仮想光
源の位置と距離画像Ｌ1より、影の位置を示す影マスク
画像Ｌｍ1を生成する。実写影マスク生成装置７は、仮
想光源の位置と距離画像Ｌ2より、影の位置を示す影マ
スク画像Ｌｍ2を生成する。ＣＧ影処理装置８は、影付
画像Ｖ1’を生成する。実写影処理装置９は、影付画像
Ｖ2’を生成する。画像合成装置１０は、影付ＣＧ画像
Ｖ1’と影付実写画像Ｖ2’を合成する。
ラ２−１乃至２−４から入力された画像を用いて距離画
像Ｌ2を生成する。ＣＧ影マスク生成装置６は、仮想光
源の位置と距離画像Ｌ1より、影の位置を示す影マスク
画像Ｌｍ1を生成する。実写影マスク生成装置７は、仮
想光源の位置と距離画像Ｌ2より、影の位置を示す影マ
スク画像Ｌｍ2を生成する。ＣＧ影処理装置８は、影付
画像Ｖ1’を生成する。実写影処理装置９は、影付画像
Ｖ2’を生成する。画像合成装置１０は、影付ＣＧ画像
Ｖ1’と影付実写画像Ｖ2’を合成する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理装置およ
び方法、並びに提供媒体に関し、特に、実写画像とコン
ピュータグラフィック画像を合成する画像処理装置およ
び方法、並びに提供媒体に関する。
び方法、並びに提供媒体に関し、特に、実写画像とコン
ピュータグラフィック画像を合成する画像処理装置およ
び方法、並びに提供媒体に関する。
【０００２】
【従来の技術】例えば、最近の映画制作においては、実
写画像に３次元コンピュータグラフィック（以下、ＣＧ
と記述する）画像を合成することにより、実写画像だけ
では表現不可能な画像が作り出されている。実写画像と
ＣＧ画像を合成する場合、合成した画像における実写画
像の物体とＣＧ画像の物体の位置と、想定される光源の
位置を考慮して、実写画像とＣＧ画像の相互に落射する
影の映像を追加して合成することにより、合成された画
像の不自然さを減少させている。
写画像に３次元コンピュータグラフィック（以下、ＣＧ
と記述する）画像を合成することにより、実写画像だけ
では表現不可能な画像が作り出されている。実写画像と
ＣＧ画像を合成する場合、合成した画像における実写画
像の物体とＣＧ画像の物体の位置と、想定される光源の
位置を考慮して、実写画像とＣＧ画像の相互に落射する
影の映像を追加して合成することにより、合成された画
像の不自然さを減少させている。
【０００３】ところで、ＣＧ画像は、作成される段階で
物体の３次元情報（撮影カメラからの距離）を設定でき
るが、実写画像は３次元情報を有していないために、実
写画像から手作業で類推した３次元情報を用いてなけれ
ばならない。
物体の３次元情報（撮影カメラからの距離）を設定でき
るが、実写画像は３次元情報を有していないために、実
写画像から手作業で類推した３次元情報を用いてなけれ
ばならない。
【０００４】また、影を生成する他の方法としては、実
写の物体をポリゴンデータとして読み取り、その３次元
データを用いる方法が提案されている。
写の物体をポリゴンデータとして読み取り、その３次元
データを用いる方法が提案されている。
【０００５】
【発明が解決しようとする課題】しかしながら、実写画
像から３次元データを類推する作業は、手間が掛かり、
効率的ではない課題があった。
像から３次元データを類推する作業は、手間が掛かり、
効率的ではない課題があった。
【０００６】また、実写の物体をポリゴンデータとして
読み取るには、物体を全周囲から撮影する必要があり、
効率的ではない課題があった。
読み取るには、物体を全周囲から撮影する必要があり、
効率的ではない課題があった。
【０００７】本発明はこのような状況に鑑みてなされた
ものであり、距離画像を用いて、実写画像とＣＧ画像の
相互に落射する影の位置を求めることにより、効率よく
画像の合成を行えるようにするものである。
ものであり、距離画像を用いて、実写画像とＣＧ画像の
相互に落射する影の位置を求めることにより、効率よく
画像の合成を行えるようにするものである。
【０００８】
【課題を解決するための手段】請求項１に記載の画像処
理装置は、実写画像の距離画像を生成する距離画像生成
手段と、距離画像生成手段が生成した距離画像を用い
て、実写画像に落射するコンピュータグラフィック画像
の影の画像を生成する実写画像影生成手段と、距離画像
生成手段が生成した距離画像を用いて、コンピュータグ
ラフィック画像に落射する実写画像の影の画像を生成す
るコンピュータグラフィック画像影生成手段と、実写画
像影生成手段が生成した画像とコンピュータグラフィッ
ク画像影生成手段が生成した画像を合成する画像合成手
段とを備えることを特徴とする。
理装置は、実写画像の距離画像を生成する距離画像生成
手段と、距離画像生成手段が生成した距離画像を用い
て、実写画像に落射するコンピュータグラフィック画像
の影の画像を生成する実写画像影生成手段と、距離画像
生成手段が生成した距離画像を用いて、コンピュータグ
ラフィック画像に落射する実写画像の影の画像を生成す
るコンピュータグラフィック画像影生成手段と、実写画
像影生成手段が生成した画像とコンピュータグラフィッ
ク画像影生成手段が生成した画像を合成する画像合成手
段とを備えることを特徴とする。
【０００９】請求項４に記載の画像処理方法は、実写画
像の距離画像を生成する距離画像生成ステップと、距離
画像生成ステップで生成した距離画像を用いて、実写画
像に落射するコンピュータグラフィック画像の影の画像
を生成する実写画像影生成ステップと、距離画像生成ス
テップで生成した距離画像を用いて、コンピュータグラ
フィック画像に落射する実写画像の影の画像を生成する
コンピュータグラフィック画像影生成ステップと、実写
画像影生成ステップで生成した画像とコンピュータグラ
フィック画像影生成ステップで生成した画像を合成する
画像合成ステップとを含むことを特徴とする。
像の距離画像を生成する距離画像生成ステップと、距離
画像生成ステップで生成した距離画像を用いて、実写画
像に落射するコンピュータグラフィック画像の影の画像
を生成する実写画像影生成ステップと、距離画像生成ス
テップで生成した距離画像を用いて、コンピュータグラ
フィック画像に落射する実写画像の影の画像を生成する
コンピュータグラフィック画像影生成ステップと、実写
画像影生成ステップで生成した画像とコンピュータグラ
フィック画像影生成ステップで生成した画像を合成する
画像合成ステップとを含むことを特徴とする。
【００１０】請求項５に記載の提供媒体は、実写画像の
距離画像を生成する距離画像生成ステップと、距離画像
生成ステップで生成した距離画像を用いて、実写画像に
落射するコンピュータグラフィック画像の影の画像を生
成する実写画像影生成ステップと、距離画像生成ステッ
プで生成した距離画像を用いて、コンピュータグラフィ
ック画像に落射する実写画像の影の画像を生成するコン
ピュータグラフィック画像影生成ステップと、実写画像
影生成ステップで生成した画像とコンピュータグラフィ
ック画像影生成ステップで生成した画像を合成する画像
合成ステップとを含む処理を画像処理装置に実行させる
コンピュータが読み取り可能なプログラムを提供するこ
とを特徴とする。
距離画像を生成する距離画像生成ステップと、距離画像
生成ステップで生成した距離画像を用いて、実写画像に
落射するコンピュータグラフィック画像の影の画像を生
成する実写画像影生成ステップと、距離画像生成ステッ
プで生成した距離画像を用いて、コンピュータグラフィ
ック画像に落射する実写画像の影の画像を生成するコン
ピュータグラフィック画像影生成ステップと、実写画像
影生成ステップで生成した画像とコンピュータグラフィ
ック画像影生成ステップで生成した画像を合成する画像
合成ステップとを含む処理を画像処理装置に実行させる
コンピュータが読み取り可能なプログラムを提供するこ
とを特徴とする。
【００１１】請求項１に記載の画像処理装置において
は、距離画像生成手段が、実写画像の距離画像を生成
し、実写画像影生成手段が、距離画像生成手段が生成し
た距離画像を用いて、実写画像に落射するコンピュータ
グラフィック画像の影の画像を生成し、コンピュータグ
ラフィック画像影生成手段が、距離画像生成手段が生成
した距離画像を用いて、コンピュータグラフィック画像
に落射する実写画像の影の画像を生成し、画像合成手段
が、実写画像影生成手段が生成した画像とコンピュータ
グラフィック画像影生成手段が生成した画像を合成す
る。
は、距離画像生成手段が、実写画像の距離画像を生成
し、実写画像影生成手段が、距離画像生成手段が生成し
た距離画像を用いて、実写画像に落射するコンピュータ
グラフィック画像の影の画像を生成し、コンピュータグ
ラフィック画像影生成手段が、距離画像生成手段が生成
した距離画像を用いて、コンピュータグラフィック画像
に落射する実写画像の影の画像を生成し、画像合成手段
が、実写画像影生成手段が生成した画像とコンピュータ
グラフィック画像影生成手段が生成した画像を合成す
る。
【００１２】請求項４に記載の画像処理方法、および請
求項５に記載の提供媒体においては、距離画像生成ステ
ップで、実写画像の距離画像を生成し、実写画像影生成
ステップで、距離画像生成ステップで生成した距離画像
を用いて、実写画像に落射するコンピュータグラフィッ
ク画像の影の画像を生成し、コンピュータグラフィック
画像影生成ステップで、距離画像生成ステップで生成し
た距離画像を用いて、コンピュータグラフィック画像に
落射する実写画像の影の画像を生成し、画像合成ステッ
プで、実写画像影生成ステップで生成した画像とコンピ
ュータグラフィック画像影生成ステップで生成した画像
を合成する。
求項５に記載の提供媒体においては、距離画像生成ステ
ップで、実写画像の距離画像を生成し、実写画像影生成
ステップで、距離画像生成ステップで生成した距離画像
を用いて、実写画像に落射するコンピュータグラフィッ
ク画像の影の画像を生成し、コンピュータグラフィック
画像影生成ステップで、距離画像生成ステップで生成し
た距離画像を用いて、コンピュータグラフィック画像に
落射する実写画像の影の画像を生成し、画像合成ステッ
プで、実写画像影生成ステップで生成した画像とコンピ
ュータグラフィック画像影生成ステップで生成した画像
を合成する。
【００１３】
【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。
【００１４】請求項１に記載の画像処理装置は、実写画
像の距離画像を生成する距離画像生成手段（例えば、図
１の３次元距離計測装置３）と、距離画像生成手段が生
成した距離画像を用いて、実写画像に落射するコンピュ
ータグラフィック画像の影の画像を生成する実写画像影
生成手段（例えば、図１の実写影マスク生成装置７）
と、距離画像生成手段が生成した距離画像を用いて、コ
ンピュータグラフィック画像に落射する実写画像の影の
画像を生成するコンピュータグラフィック画像影生成手
段（例えば、図１のＣＧ影マスク生成装置６）と、実写
画像影生成手段が生成した画像とコンピュータグラフィ
ック画像影生成手段が生成した画像を合成する画像合成
手段（例えば、図１の画像合成装置１０）とを備えるこ
とを特徴とする。
像の距離画像を生成する距離画像生成手段（例えば、図
１の３次元距離計測装置３）と、距離画像生成手段が生
成した距離画像を用いて、実写画像に落射するコンピュ
ータグラフィック画像の影の画像を生成する実写画像影
生成手段（例えば、図１の実写影マスク生成装置７）
と、距離画像生成手段が生成した距離画像を用いて、コ
ンピュータグラフィック画像に落射する実写画像の影の
画像を生成するコンピュータグラフィック画像影生成手
段（例えば、図１のＣＧ影マスク生成装置６）と、実写
画像影生成手段が生成した画像とコンピュータグラフィ
ック画像影生成手段が生成した画像を合成する画像合成
手段（例えば、図１の画像合成装置１０）とを備えるこ
とを特徴とする。
【００１５】請求項３に記載の画像処理装置は、被写体
を撮影する撮影手段（例えば、図１の撮像装置１）と、
コンピュータグラフィックス画像を作成するコンピュー
タグラフィックス画像作成手段（例えば、図１のＣＧ作
成装置４）とをさらに備えることを特徴とする。
を撮影する撮影手段（例えば、図１の撮像装置１）と、
コンピュータグラフィックス画像を作成するコンピュー
タグラフィックス画像作成手段（例えば、図１のＣＧ作
成装置４）とをさらに備えることを特徴とする。
【００１６】本発明を適用した画像合成システムの構成
について、図１を参照して説明する。この画像合成シス
テムは、撮像装置１、ステレオカメラ２−１乃至２−
４、３次元距離計測装置３、ＣＧ作成装置４、キー画像
生成装置５、ＣＧ影マスク生成装置６、実写影マスク生
成装置７、ＣＧ影処理装置８、実写影処理装置９、画像
合成装置１０、仮想光源設定装置１１、およびモニタ１
２から構成される。なお、本明細書においてシステムの
用語は、複数の装置、手段などにより構成される全体的
な装置を意味するものとする。
について、図１を参照して説明する。この画像合成シス
テムは、撮像装置１、ステレオカメラ２−１乃至２−
４、３次元距離計測装置３、ＣＧ作成装置４、キー画像
生成装置５、ＣＧ影マスク生成装置６、実写影マスク生
成装置７、ＣＧ影処理装置８、実写影処理装置９、画像
合成装置１０、仮想光源設定装置１１、およびモニタ１
２から構成される。なお、本明細書においてシステムの
用語は、複数の装置、手段などにより構成される全体的
な装置を意味するものとする。
【００１７】撮像装置１は、被写体を撮像し、その実写
画像Ｖ2を実写影処理装置９に出力する。ステレオカメ
ラ２−１乃至２−４は、被写体を撮影し、その画像情報
を３次元距離計測装置３に出力する。３次元距離計測装
置３は、ステレオカメラ２−１乃至２−４から入力され
た画像を用いたステレオ画像処理により、画素毎に所定
の基準点からの距離を計測して、距離画像（各画素の色
が基準点からの距離に対応している画像）Ｌ2を生成
し、キー画像生成装置５、ＣＧ影マスク生成装置６、お
よび実写影マスク生成装置７に出力する。
画像Ｖ2を実写影処理装置９に出力する。ステレオカメ
ラ２−１乃至２−４は、被写体を撮影し、その画像情報
を３次元距離計測装置３に出力する。３次元距離計測装
置３は、ステレオカメラ２−１乃至２−４から入力され
た画像を用いたステレオ画像処理により、画素毎に所定
の基準点からの距離を計測して、距離画像（各画素の色
が基準点からの距離に対応している画像）Ｌ2を生成
し、キー画像生成装置５、ＣＧ影マスク生成装置６、お
よび実写影マスク生成装置７に出力する。
【００１８】ＣＧ作成装置４は、背景と物体から構成さ
れるＣＧ画像Ｖ1を作成し、ＣＧ影処理装置８に出力す
るとともに、ＣＧの仮想的な距離画像Ｌ1を作成し、キ
ー画像生成装置５、ＣＧ影マスク生成装置６、および実
写影マスク生成装置７に出力する。キー画像生成装置５
は、３次元距離計測装置３から入力された実写画像の距
離画像Ｌ2と、ＣＧ作成装置４から入力されたＣＧの距
離画像Ｌ1を画素毎に比較し、撮像装置１からの距離が
近い方の画素（撮像装置１から視認できる画素）を示す
キー画像を生成して、画像合成装置１０に出力する。
れるＣＧ画像Ｖ1を作成し、ＣＧ影処理装置８に出力す
るとともに、ＣＧの仮想的な距離画像Ｌ1を作成し、キ
ー画像生成装置５、ＣＧ影マスク生成装置６、および実
写影マスク生成装置７に出力する。キー画像生成装置５
は、３次元距離計測装置３から入力された実写画像の距
離画像Ｌ2と、ＣＧ作成装置４から入力されたＣＧの距
離画像Ｌ1を画素毎に比較し、撮像装置１からの距離が
近い方の画素（撮像装置１から視認できる画素）を示す
キー画像を生成して、画像合成装置１０に出力する。
【００１９】ＣＧ影マスク生成装置６は、３次元距離計
測装置３から入力された実写の距離画像Ｌ2、ＣＧ作成
装置４から入力されたＣＧの距離画像Ｌ1、および仮想
光源設定装置１１から入力される仮想的な光源の位置に
基づいて、ＣＧ画像に落射する実写物体の影の位置を示
す画像と、ＣＧ画像に落射するＣＧ物体の影の位置を示
す画像を生成する。さらに、ＣＧ影マスク生成装置６
は、生成した２つの画像を合成してＣＧ影マスク画像Ｌ
ｍ1を生成し、ＣＧ影処理装置８に出力する。
測装置３から入力された実写の距離画像Ｌ2、ＣＧ作成
装置４から入力されたＣＧの距離画像Ｌ1、および仮想
光源設定装置１１から入力される仮想的な光源の位置に
基づいて、ＣＧ画像に落射する実写物体の影の位置を示
す画像と、ＣＧ画像に落射するＣＧ物体の影の位置を示
す画像を生成する。さらに、ＣＧ影マスク生成装置６
は、生成した２つの画像を合成してＣＧ影マスク画像Ｌ
ｍ1を生成し、ＣＧ影処理装置８に出力する。
【００２０】実写影マスク生成装置７は、３次元距離計
測装置３から入力された実写の距離画像Ｌ2、ＣＧ作成
装置４から入力されたＣＧの距離画像Ｌ1、および仮想
光源設定装置１１から入力された仮想的な光源の位置に
基づいて、実写画像に落射するＣＧ物体の影の位置を示
す画像と、実写画像に落射する実写物体の影の位置を示
す画像を作成する。さらに、実写影マスク生成装置７
は、生成した２つの画像を合成して実写影マスク画像Ｌ
ｍ2を生成し、実写影処理装置９に出力する。
測装置３から入力された実写の距離画像Ｌ2、ＣＧ作成
装置４から入力されたＣＧの距離画像Ｌ1、および仮想
光源設定装置１１から入力された仮想的な光源の位置に
基づいて、実写画像に落射するＣＧ物体の影の位置を示
す画像と、実写画像に落射する実写物体の影の位置を示
す画像を作成する。さらに、実写影マスク生成装置７
は、生成した２つの画像を合成して実写影マスク画像Ｌ
ｍ2を生成し、実写影処理装置９に出力する。
【００２１】ＣＧ影処理装置８は、ＣＧ作成装置４から
入力されたＣＧ画像Ｖ1と、ＣＧ影マスク生成装置６か
ら入力されたＣＧ影マスク画像Ｌｍ1を画素毎に比較
し、ＣＧ影マスク画像Ｌｍ1に対応するＣＧ画像Ｖ1の画
素の輝度を低下させた影付ＣＧ画像Ｖ1’を生成して、
画像合成装置１０に出力する。
入力されたＣＧ画像Ｖ1と、ＣＧ影マスク生成装置６か
ら入力されたＣＧ影マスク画像Ｌｍ1を画素毎に比較
し、ＣＧ影マスク画像Ｌｍ1に対応するＣＧ画像Ｖ1の画
素の輝度を低下させた影付ＣＧ画像Ｖ1’を生成して、
画像合成装置１０に出力する。
【００２２】実写影処理装置９は、撮像装置１から入力
された実写画像Ｖ2と、実写影マスク生成装置７から入
力された実写影マスク画像Ｌｍ2を画素毎に比較し、実
写影マスク画像Ｌｍ2に対応する実写画像Ｖ2の画素の輝
度を低下させた影付実写画像Ｖ2’を生成して、画像合
成装置１０に出力する。
された実写画像Ｖ2と、実写影マスク生成装置７から入
力された実写影マスク画像Ｌｍ2を画素毎に比較し、実
写影マスク画像Ｌｍ2に対応する実写画像Ｖ2の画素の輝
度を低下させた影付実写画像Ｖ2’を生成して、画像合
成装置１０に出力する。
【００２３】画像合成装置１０は、キー画像生成装置５
から入力されたキー画像に基づいて、ＣＧ影処理装置８
から入力される影付ＣＧ画像Ｖ1’の画素、または実写
影処理装置９から入力される影付実写画像Ｖ2’の画素
のいずれの画素を用いて合成画像Ｖfを生成し、モニタ
１２に出力する。
から入力されたキー画像に基づいて、ＣＧ影処理装置８
から入力される影付ＣＧ画像Ｖ1’の画素、または実写
影処理装置９から入力される影付実写画像Ｖ2’の画素
のいずれの画素を用いて合成画像Ｖfを生成し、モニタ
１２に出力する。
【００２４】仮想光源設定装置１１は、仮想的な光源の
位置を設定し、その位置情報をＣＧ影マスク生成装置
６、および実写影マスク生成装置７に出力する。モニタ
１２は、画像合成装置１０から入力された合成画像Ｖf
を表示する。
位置を設定し、その位置情報をＣＧ影マスク生成装置
６、および実写影マスク生成装置７に出力する。モニタ
１２は、画像合成装置１０から入力された合成画像Ｖf
を表示する。
【００２５】次に、この画像合成システムの動作につい
て、図２のフローチャートを参照して説明する。ステッ
プＳ１において、撮像装置１は、被写体（実写物体）を
撮像し、図３に示すような実写画像Ｖ2を実写影処理装
置９に出力する。このとき同時に、ステレオカメラ２−
１乃至２−４は、被写体を撮像し、その画像を３次元距
離計測装置３に出力する。
て、図２のフローチャートを参照して説明する。ステッ
プＳ１において、撮像装置１は、被写体（実写物体）を
撮像し、図３に示すような実写画像Ｖ2を実写影処理装
置９に出力する。このとき同時に、ステレオカメラ２−
１乃至２−４は、被写体を撮像し、その画像を３次元距
離計測装置３に出力する。
【００２６】ステップＳ２において、３次元距離計測装
置３は、ステレオカメラ２−１乃至２−４から入力され
た被写体の画像をステレオ画像対として用いたステレオ
画像処理により、画素毎に所定の基準点から距離を演算
し、その結果に基づいて図４に示すような距離画像Ｌ2
を生成し、キー画像生成装置５、ＣＧ影マスク生成装置
６、および実写影マスク生成装置７に出力する。
置３は、ステレオカメラ２−１乃至２−４から入力され
た被写体の画像をステレオ画像対として用いたステレオ
画像処理により、画素毎に所定の基準点から距離を演算
し、その結果に基づいて図４に示すような距離画像Ｌ2
を生成し、キー画像生成装置５、ＣＧ影マスク生成装置
６、および実写影マスク生成装置７に出力する。
【００２７】ステップＳ３において、ＣＧ作成装置４
は、図５に示すような、背景と物体から構成されるＣＧ
画像Ｖ1を作成し、ＣＧ影処理装置８に出力するととも
に、図６に示すようなＣＧの距離画像Ｌ1を作成し、キ
ー画像生成装置５、ＣＧ影マスク生成装置６、および実
写影マスク生成装置７に出力する。
は、図５に示すような、背景と物体から構成されるＣＧ
画像Ｖ1を作成し、ＣＧ影処理装置８に出力するととも
に、図６に示すようなＣＧの距離画像Ｌ1を作成し、キ
ー画像生成装置５、ＣＧ影マスク生成装置６、および実
写影マスク生成装置７に出力する。
【００２８】ステップＳ４において、キー画像生成装置
５は、３次元距離計測装置３から入力された実写の距離
画像Ｌ2と、ＣＧ作成装置４から入力されたＣＧの距離
画像Ｌ1の画素毎に基準点からの距離を比較し、基準点
からの距離が近い（基準点から視認できる）方を示す画
像（例えば図７に示すように、実写画像Ｖ2が視認でき
る部分の色を黒とし、ＣＧ画像Ｖ1が視認できる部分の
色を白とした画像）を生成して、画像合成装置１０に出
力する。
５は、３次元距離計測装置３から入力された実写の距離
画像Ｌ2と、ＣＧ作成装置４から入力されたＣＧの距離
画像Ｌ1の画素毎に基準点からの距離を比較し、基準点
からの距離が近い（基準点から視認できる）方を示す画
像（例えば図７に示すように、実写画像Ｖ2が視認でき
る部分の色を黒とし、ＣＧ画像Ｖ1が視認できる部分の
色を白とした画像）を生成して、画像合成装置１０に出
力する。
【００２９】ここで、図８に実写画像Ｖ2とＣＧ画像Ｖ1
の空間的な位置関係を示す。図８(A)はＣＧ画像Ｖ1の空
間図（上から見た図）であり、図８(B)は実写画像Ｖ2の
空間図であり、図８(C)はＣＧ画像Ｖ1と実写画像Ｖ2を
合成した画像の空間図である。図８から明らかなよう
に、この例においては、ＣＧ物体、実写物体、ＣＧ背
景、実写背景の順に、基準点（視点）からの距離が遠く
なるようにＣＧの距離画像Ｌ1が設定されている。
の空間的な位置関係を示す。図８(A)はＣＧ画像Ｖ1の空
間図（上から見た図）であり、図８(B)は実写画像Ｖ2の
空間図であり、図８(C)はＣＧ画像Ｖ1と実写画像Ｖ2を
合成した画像の空間図である。図８から明らかなよう
に、この例においては、ＣＧ物体、実写物体、ＣＧ背
景、実写背景の順に、基準点（視点）からの距離が遠く
なるようにＣＧの距離画像Ｌ1が設定されている。
【００３０】ステップＳ５において、ＣＧ影マスク生成
装置６は、仮想光源設定装置１１が設定した光源の光に
より、ＣＧ画像Ｖ1に落射する、ＣＧ物体および実写物
体の影の位置を示すＣＧ影マスク画像Ｌｍ1を生成す
る。実写影マスク生成装置７は、仮想光源設定装置１１
が設定した光源の光により、実写画像Ｖ2に落射する、
ＣＧ物体および実写物体の影の位置を示す実写影マスク
画像Ｌｍ2を生成する。
装置６は、仮想光源設定装置１１が設定した光源の光に
より、ＣＧ画像Ｖ1に落射する、ＣＧ物体および実写物
体の影の位置を示すＣＧ影マスク画像Ｌｍ1を生成す
る。実写影マスク生成装置７は、仮想光源設定装置１１
が設定した光源の光により、実写画像Ｖ2に落射する、
ＣＧ物体および実写物体の影の位置を示す実写影マスク
画像Ｌｍ2を生成する。
【００３１】ここで、ステップＳ５の影マスク画像生成
処理の詳細について、図９のフローチャートを参照して
説明する。ステップＳ１１において、ＣＧ影マスク生成
装置６は、図１０に示すように、基準点から見たＣＧの
距離画像Ｌ1を、仮想光源から見た距離画像（画素値Z1
＝Ｌ1(X,Y)を紙面に垂直なＺ軸方向の値（距離値）とし
た３次元の物体（点(X,Y,Z1)の集合）を、仮想光源から
見た画像）Ｌ1’に変換する。
処理の詳細について、図９のフローチャートを参照して
説明する。ステップＳ１１において、ＣＧ影マスク生成
装置６は、図１０に示すように、基準点から見たＣＧの
距離画像Ｌ1を、仮想光源から見た距離画像（画素値Z1
＝Ｌ1(X,Y)を紙面に垂直なＺ軸方向の値（距離値）とし
た３次元の物体（点(X,Y,Z1)の集合）を、仮想光源から
見た画像）Ｌ1’に変換する。
【００３２】同様に、実写影マスク生成装置７は、基準
点から見た実写の距離画像Ｌ2を、仮想光源から見た距
離画像（画素値Z2＝Ｌ2(X,Y)を紙面に垂直なＺ軸方向の
値（距離値）とした３次元の物体（点(X,Y,Z2)の集合）
を、仮想光源から見た画像）Ｌ2’に変換する。
点から見た実写の距離画像Ｌ2を、仮想光源から見た距
離画像（画素値Z2＝Ｌ2(X,Y)を紙面に垂直なＺ軸方向の
値（距離値）とした３次元の物体（点(X,Y,Z2)の集合）
を、仮想光源から見た画像）Ｌ2’に変換する。
【００３３】なお、変換された距離画像Ｌ’の画素値
Ｌ’(X',Y')が複数存在する場合、仮想光源からの距離
が近い方の値を画素の値として採用する。
Ｌ’(X',Y')が複数存在する場合、仮想光源からの距離
が近い方の値を画素の値として採用する。
【００３４】ステップＳ１２において、ＣＧ影マスク生
成装置６は、図１１に示すように、Ｌ1’(X',Y')＞Z1'
＋Ｃを満足する画素の画素値を１（白）とし、その他の
画素値を０（黒）として、仮想光源からの光によりＣＧ
背景に落射するＣＧ物体の影の位置を示す画像（影マス
ク画像）を生成する。ここで、Z1'は所定の距離値であ
り、Ｃは、ノイズ成分に起因する影の発生を抑止するた
めの定数である。
成装置６は、図１１に示すように、Ｌ1’(X',Y')＞Z1'
＋Ｃを満足する画素の画素値を１（白）とし、その他の
画素値を０（黒）として、仮想光源からの光によりＣＧ
背景に落射するＣＧ物体の影の位置を示す画像（影マス
ク画像）を生成する。ここで、Z1'は所定の距離値であ
り、Ｃは、ノイズ成分に起因する影の発生を抑止するた
めの定数である。
【００３５】また、ＣＧ影マスク生成装置６は、Ｌ2’
(X',Y')＞Z1'を満足する画素の画素値を１とし、その他
の画素値を０（黒）として、仮想光源からの光によりＣ
Ｇ背景に落射する実写物体の影の位置を示す画像を生成
する。さらに、ＣＧ影マスク生成装置６は、生成した２
つの影マスク画像を合成してＣＧ影マスク画像Ｌｍ1を
生成し、ＣＧ影処理装置８に出力する。
(X',Y')＞Z1'を満足する画素の画素値を１とし、その他
の画素値を０（黒）として、仮想光源からの光によりＣ
Ｇ背景に落射する実写物体の影の位置を示す画像を生成
する。さらに、ＣＧ影マスク生成装置６は、生成した２
つの影マスク画像を合成してＣＧ影マスク画像Ｌｍ1を
生成し、ＣＧ影処理装置８に出力する。
【００３６】ステップＳ１３において、実写影マスク生
成装置７は、図１２に示すように、Ｌ1’(X',Y')＞Z2'
を満足する画素の画素値を１とし、その他の画素値を０
として、仮想光源からの光により実写背景に落射するＣ
Ｇ物体の影の位置を示す画像を生成する。
成装置７は、図１２に示すように、Ｌ1’(X',Y')＞Z2'
を満足する画素の画素値を１とし、その他の画素値を０
として、仮想光源からの光により実写背景に落射するＣ
Ｇ物体の影の位置を示す画像を生成する。
【００３７】また、実写影マスク生成装置７は、Ｌ2’
(X',Y')＞Z2'＋Ｃを満足する画素の画素値を１とし、そ
の他の画素値を０として、仮想光源からの光により実写
背景に落射する実写物体の影の位置を示す画像を生成す
る。さらに、実写影マスク生成装置７は、生成した２つ
の影マスク画像を合成してＣＧ影マスク画像Ｌｍ2を生
成し、実写影処理装置９に出力する。なお、所定の距離
値Ｃを変化させることにより、ノイズによる背景の距離
のばらつきを補正することができる。
(X',Y')＞Z2'＋Ｃを満足する画素の画素値を１とし、そ
の他の画素値を０として、仮想光源からの光により実写
背景に落射する実写物体の影の位置を示す画像を生成す
る。さらに、実写影マスク生成装置７は、生成した２つ
の影マスク画像を合成してＣＧ影マスク画像Ｌｍ2を生
成し、実写影処理装置９に出力する。なお、所定の距離
値Ｃを変化させることにより、ノイズによる背景の距離
のばらつきを補正することができる。
【００３８】図２の説明に戻る。ステップＳ６におい
て、ＣＧ影処理装置８は、画素毎に次式（１）に示す演
算を実行することにより、図１３に示すように、ＣＧ作
成装置４から入力されたＣＧ画像Ｖ1の、ＣＧ影マスク
生成装置６から入力されたＣＧ影マスク画像Ｌｍ1の影
の部分（白い部分）に対応する画素の輝度を、所定の割
合で低下させた影付ＣＧ画像Ｖ’1を生成して画像合成
装置１０に出力する。
て、ＣＧ影処理装置８は、画素毎に次式（１）に示す演
算を実行することにより、図１３に示すように、ＣＧ作
成装置４から入力されたＣＧ画像Ｖ1の、ＣＧ影マスク
生成装置６から入力されたＣＧ影マスク画像Ｌｍ1の影
の部分（白い部分）に対応する画素の輝度を、所定の割
合で低下させた影付ＣＧ画像Ｖ’1を生成して画像合成
装置１０に出力する。
【００３９】 Ｖ1’(X,Y)＝Ｖ1(X,Y)−Ｓ・Ｌｍ1(X,Y) ・・・（１） なお、Ｓは所定の定数である。
【００４０】同様に、実写影処理装置９は、画素毎に次
式（２）に示す演算を実行することにより、図１４に示
すように、撮像装置１から入力された実写画像Ｖ2の、
実写影マスク生成装置７から入力された実写影マスク画
像Ｌｍ2の影の部分（白い部分）に対応する画素の輝度
を、所定の割合で低下させた影付実写画像Ｖ2’を生成
し、画像合成装置１０に出力する。
式（２）に示す演算を実行することにより、図１４に示
すように、撮像装置１から入力された実写画像Ｖ2の、
実写影マスク生成装置７から入力された実写影マスク画
像Ｌｍ2の影の部分（白い部分）に対応する画素の輝度
を、所定の割合で低下させた影付実写画像Ｖ2’を生成
し、画像合成装置１０に出力する。
【００４１】 Ｖ2’(X,Y)＝Ｖ2(X,Y)−Ｓ・Ｌｍ2(X,Y) ・・・（２）
【００４２】ステップＳ７において、画像合成装置１０
は、図１５に示すように、合成画像Ｖfの画素値とし
て、キー画像生成装置５から入力されたキー画像の白い
部分には、ＣＧ影処理装置８から入力された影付ＣＧ画
像Ｖ1’の画素値を採用し、キー画像の黒い部分には、
実写影処理装置９から入力された影付実写画像Ｖ1’の
画素値を採用して合成画像Ｖfを生成し、モニタ１２に
出力する。モニタ１２は、入力された合成画像Ｖfを表
示する。
は、図１５に示すように、合成画像Ｖfの画素値とし
て、キー画像生成装置５から入力されたキー画像の白い
部分には、ＣＧ影処理装置８から入力された影付ＣＧ画
像Ｖ1’の画素値を採用し、キー画像の黒い部分には、
実写影処理装置９から入力された影付実写画像Ｖ1’の
画素値を採用して合成画像Ｖfを生成し、モニタ１２に
出力する。モニタ１２は、入力された合成画像Ｖfを表
示する。
【００４３】このように、本実施の形態においては、ス
テレオ画像処理により求めた実写物体の３次元情報を用
いているので、ＣＧと実写の正確な重ね合わせや影の生
成を行うことが可能となる。
テレオ画像処理により求めた実写物体の３次元情報を用
いているので、ＣＧと実写の正確な重ね合わせや影の生
成を行うことが可能となる。
【００４４】なお、本実施の形態においては、２次元Ｃ
Ｇ画像と実写画像の合成について説明したが、本発明
は、３次元ＣＧ画像と実写画像の合成にも適用すること
が可能である。
Ｇ画像と実写画像の合成について説明したが、本発明
は、３次元ＣＧ画像と実写画像の合成にも適用すること
が可能である。
【００４５】また、上記各処理を行うプログラムは、磁
気ディスク、CD-ROMなどの情報記録媒体よりなる提供媒
体のほか、インターネット、デジタル衛星などのネット
ワーク提供媒体を介してユーザに伝送することができ
る。
気ディスク、CD-ROMなどの情報記録媒体よりなる提供媒
体のほか、インターネット、デジタル衛星などのネット
ワーク提供媒体を介してユーザに伝送することができ
る。
【００４６】
【発明の効果】以上のように、請求項１に記載の画像処
理装置、請求項４に記載の画像処理方法、並びに請求項
４に記載の提供媒体によれば、実写画像から距離画像を
生成し、その距離画像を用いて影の位置を求めるように
したので、効率よく実写画像とＣＧ画像を合成すること
が可能となる。
理装置、請求項４に記載の画像処理方法、並びに請求項
４に記載の提供媒体によれば、実写画像から距離画像を
生成し、その距離画像を用いて影の位置を求めるように
したので、効率よく実写画像とＣＧ画像を合成すること
が可能となる。
【図１】本発明を適用した画像合成システムの構成を示
すブロック図である。
すブロック図である。
【図２】図１の画像合成システムの動作を説明するフロ
ーチャートである。
ーチャートである。
【図３】図１の撮像装置１が撮像した実写画像を示す図
である。
である。
【図４】図１の３次元距離計測装置３が生成した距離画
像を示す図である。
像を示す図である。
【図５】図１のＣＧ作成装置４が作成したＣＧ画像を示
す図である。
す図である。
【図６】図１のＣＧ作成装置４が作成したＣＧの距離画
像を示す図である。
像を示す図である。
【図７】図１のキー画像生成装置５が生成したキー画像
を示す図である。
を示す図である。
【図８】ＣＧ画像と実写画像の位置関係を説明する図で
ある。
ある。
【図９】図２のステップＳ５の影マスク画像生成処理の
詳細を説明するフローチャートである。
詳細を説明するフローチャートである。
【図１０】仮想光源から見た距離画像を示す図である。
【図１１】図１のＣＧ影マスク作成装置６が生成するＣ
Ｇ影マスク画像を示す図である。
Ｇ影マスク画像を示す図である。
【図１２】図１のＣＧ影マスク作成装置７が生成する実
写影マスク画像を示す図である。
写影マスク画像を示す図である。
【図１３】図１のＣＧ影処理装置８が生成する影付ＣＧ
画像を示す図である。
画像を示す図である。
【図１４】図１の実写影処理装置９が生成する影付実写
画像を示す図である。
画像を示す図である。
【図１５】図１の画像合成装置が合成した合成画像を示
す図である。
す図である。
１ 撮像装置， ２ ステレオカメラ， ３ ３次元距
離計測装置， ４ ＣＧ作成装置， ５ キー画像生成
装置， ６ ＣＧ影マスク生成装置， ７ 実写影マス
ク生成装置， ８ ＣＧ影処理装置， ９ 実写影処理
装置， １０画像合成装置， １１ 仮想光源設定装
置， １２ モニタ
離計測装置， ４ ＣＧ作成装置， ５ キー画像生成
装置， ６ ＣＧ影マスク生成装置， ７ 実写影マス
ク生成装置， ８ ＣＧ影処理装置， ９ 実写影処理
装置， １０画像合成装置， １１ 仮想光源設定装
置， １２ モニタ
Claims (5)
- 【請求項１】 実写画像とコンピュータグラフィック画
像を合成する画像処理装置において、 前記実写画像の距離画像を生成する距離画像生成手段
と、 前記距離画像生成手段が生成した距離画像を用いて、前
記実写画像に落射する前記コンピュータグラフィック画
像の影の画像を生成する実写画像影生成手段と、 前記距離画像生成手段が生成した距離画像を用いて、前
記コンピュータグラフィック画像に落射する前記実写画
像の影の画像を生成するコンピュータグラフィック画像
影生成手段と、 前記実写画像影生成手段が生成した画像と前記コンピュ
ータグラフィック画像影生成手段が生成した画像を合成
する画像合成手段とを備えることを特徴とする画像処理
装置。 - 【請求項２】 前記距離画像生成手段は、ステレオ画像
対を用いたステレオ画像処理により前記距離を計測する
ことを特徴とする請求項１に記載の画像処理装置。 - 【請求項３】 被写体を撮影する撮影手段と、 前記コンピュータグラフィック画像を作成するコンピュ
ータグラフィックス画像作成手段とをさらに備えること
を特徴とする請求項１に記載の画像処理装置。 - 【請求項４】 実写画像とコンピュータグラフィック画
像を合成する画像処理方法において、 前記実写画像の距離画像を生成する距離画像生成ステッ
プと、 前記距離画像生成ステップで生成した距離画像を用い
て、前記実写画像に落射する前記コンピュータグラフィ
ック画像の影の画像を生成する実写画像影生成ステップ
と、 前記距離画像生成ステップで生成した距離画像を用い
て、前記コンピュータグラフィック画像に落射する前記
実写画像の影の画像を生成するコンピュータグラフィッ
ク画像影生成ステップと、 前記実写画像影生成ステップで生成した画像と前記コン
ピュータグラフィック画像影生成ステップが生成した画
像を合成する画像合成ステップとを含むことを特徴とす
る画像処理方法。 - 【請求項５】 実写画像とコンピュータグラフィック画
像を合成する画像処理装置に、 前記実写画像の距離画像を生成する距離画像生成ステッ
プと、 前記距離画像生成ステップで生成した距離画像を用い
て、前記実写画像に落射する前記コンピュータグラフィ
ック画像の影の画像を生成する実写画像影生成ステップ
と、 前記距離画像生成ステップで生成した距離画像を用い
て、前記コンピュータグラフィック画像に落射する前記
実写画像の影の画像を生成するコンピュータグラフィッ
ク画像影生成ステップと、 前記実写画像影生成ステップで生成した画像と前記コン
ピュータグラフィック画像影生成ステップが生成した画
像を合成する画像合成ステップとを含む処理を実行させ
るコンピュータが読み取り可能なプログラムを提供する
ことを特徴とする提供媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10300680A JPH11259682A (ja) | 1997-10-22 | 1998-10-22 | 画像処理装置および方法、並びに提供媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9-289693 | 1997-10-22 | ||
| JP28969397 | 1997-10-22 | ||
| JP10300680A JPH11259682A (ja) | 1997-10-22 | 1998-10-22 | 画像処理装置および方法、並びに提供媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11259682A true JPH11259682A (ja) | 1999-09-24 |
Family
ID=26557694
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10300680A Withdrawn JPH11259682A (ja) | 1997-10-22 | 1998-10-22 | 画像処理装置および方法、並びに提供媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11259682A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010064479A1 (ja) * | 2008-12-05 | 2010-06-10 | シャープ株式会社 | デジタル映像再生装置 |
| JP2010206362A (ja) * | 2009-03-02 | 2010-09-16 | Sharp Corp | 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム |
| JP2012174218A (ja) * | 2011-02-24 | 2012-09-10 | Ohbayashi Corp | 画像合成方法 |
| CN114626468A (zh) * | 2022-03-17 | 2022-06-14 | 小米汽车科技有限公司 | 在图像中生成阴影的方法、装置、电子设备及存储介质 |
-
1998
- 1998-10-22 JP JP10300680A patent/JPH11259682A/ja not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010064479A1 (ja) * | 2008-12-05 | 2010-06-10 | シャープ株式会社 | デジタル映像再生装置 |
| JP2010206362A (ja) * | 2009-03-02 | 2010-09-16 | Sharp Corp | 映像処理装置、映像処理方法及びそれをコンピュータに実行させるためのプログラム |
| JP2012174218A (ja) * | 2011-02-24 | 2012-09-10 | Ohbayashi Corp | 画像合成方法 |
| CN114626468A (zh) * | 2022-03-17 | 2022-06-14 | 小米汽车科技有限公司 | 在图像中生成阴影的方法、装置、电子设备及存储介质 |
| CN114626468B (zh) * | 2022-03-17 | 2024-02-09 | 小米汽车科技有限公司 | 在图像中生成阴影的方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH05143709A (ja) | ビデオ効果装置 | |
| JP3524147B2 (ja) | ３次元画像表示装置 | |
| JP4847203B2 (ja) | 情報処理方法、情報処理装置 | |
| JP2000067267A (ja) | 三次元シーンにおける形状及び模様の復元方法及び装置 | |
| JP2002071315A (ja) | 投影平面計測システム | |
| JP3538263B2 (ja) | 画像生成方法 | |
| US20220189078A1 (en) | Image processing apparatus, method for controlling image processing apparatus, and storage medium | |
| KR20000051217A (ko) | 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법 | |
| TW201824178A (zh) | 全景即時影像處理方法 | |
| JP4370672B2 (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 | |
| JPH10304244A (ja) | 画像処理装置およびその方法 | |
| JPH11250273A (ja) | 画像合成装置 | |
| JPH11259682A (ja) | 画像処理装置および方法、並びに提供媒体 | |
| CN112868052A (zh) | 用于提供具有六个自由度的至少部分内容的方法和系统 | |
| WO2021149509A1 (ja) | 撮像装置、撮像方法、及び、プログラム | |
| JPH10255071A (ja) | 画像処理システム | |
| JP2002042158A (ja) | 画像合成装置および画像合成方法およびプログラムを記録した媒体 | |
| JP6835455B2 (ja) | 時系列の奥行き画像におけるデプス値を補正するプログラム、装置及び方法 | |
| JP2006059165A (ja) | ３次元モデリング装置、幾何学パターン、３次元モデリングデータの生成方法、３次元モデリングプログラム、記録媒体 | |
| JPH11150741A (ja) | ステレオ写真撮影による３次元画像表示方法および装置 | |
| JPH0630336A (ja) | 画像入力装置と画像合成方法 | |
| KR100382366B1 (ko) | 증강 현실을 위한 조도 레이디언스 비율 예측 및 이를이용한 증강 현실 방법들 및 장치들 | |
| JP2011048545A (ja) | 画像合成装置及びプログラム | |
| JP5200141B2 (ja) | 映像提示システム、映像提示方法、プログラム及び記録媒体 | |
| JP2002095012A (ja) | ステレオ画像生成装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060110 |