JP3467725B2 - 画像の影除去方法、画像処理装置及び記録媒体 - Google Patents
画像の影除去方法、画像処理装置及び記録媒体Info
- Publication number
- JP3467725B2 JP3467725B2 JP15328098A JP15328098A JP3467725B2 JP 3467725 B2 JP3467725 B2 JP 3467725B2 JP 15328098 A JP15328098 A JP 15328098A JP 15328098 A JP15328098 A JP 15328098A JP 3467725 B2 JP3467725 B2 JP 3467725B2
- Authority
- JP
- Japan
- Prior art keywords
- shadow
- area
- image
- model
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 27
- 238000009826 distribution Methods 0.000 claims description 66
- 238000006243 chemical reaction Methods 0.000 claims description 34
- 238000009877 rendering Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 15
- 239000004744 fabric Substances 0.000 claims 2
- 230000006870 function Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 20
- 241000699666 Mus <mouse, genus> Species 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 8
- 239000003086 colorant Substances 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
Description
【０００１】
【発明の属する技術分野】本発明は、例えば３Ｄコンテ
ンツを作成するとき、３Ｄモデルの表面にビデオカメ
ラ，スチルカメラ等で写した実写画像を貼り付ける（テ
クスチャマッピング）場合、画像に写り込んでいる影を
除去する方法、画像の影を除去する機能を備えた画像処
理装置及び、この画像処理装置での読み取りが可能な記
録媒体に関する。
ンツを作成するとき、３Ｄモデルの表面にビデオカメ
ラ，スチルカメラ等で写した実写画像を貼り付ける（テ
クスチャマッピング）場合、画像に写り込んでいる影を
除去する方法、画像の影を除去する機能を備えた画像処
理装置及び、この画像処理装置での読み取りが可能な記
録媒体に関する。
【０００２】
【従来の技術】３Ｄコンテンツを作成するとき、３Ｄモ
デルの表面に画像を貼り付けるテクスチャマッピングの
手法を用いると、質感が出て実物に近い雰囲気を作るこ
とができる。しかし、３Ｄモデルの表面に、ビデオカメ
ラ，スチルカメラ等で写した実写画像を貼り付けた場
合、３Ｄグラフィックス処理の最後の段階で行われるレ
ンダリングによって陰影が付けられるので、実写画像に
写り込んでいる影を除去する必要がある。
デルの表面に画像を貼り付けるテクスチャマッピングの
手法を用いると、質感が出て実物に近い雰囲気を作るこ
とができる。しかし、３Ｄモデルの表面に、ビデオカメ
ラ，スチルカメラ等で写した実写画像を貼り付けた場
合、３Ｄグラフィックス処理の最後の段階で行われるレ
ンダリングによって陰影が付けられるので、実写画像に
写り込んでいる影を除去する必要がある。
【０００３】従来では、フォトレタッチング・ソフトを
使用して、ユーザが手作業で画像から影を除去してい
る。その手順は、まず影の領域を指定する。その指定の
方法は、近似色範囲の設定でおおまかに指定した後、細
かい部分を手作業で直す。次に、指定した領域に対し
て、コントラスト，明るさを変更する操作を行うことに
より、影がない部分と同じになるように色を決める。
使用して、ユーザが手作業で画像から影を除去してい
る。その手順は、まず影の領域を指定する。その指定の
方法は、近似色範囲の設定でおおまかに指定した後、細
かい部分を手作業で直す。次に、指定した領域に対し
て、コントラスト，明るさを変更する操作を行うことに
より、影がない部分と同じになるように色を決める。
【０００４】
【発明が解決しようとする課題】しかし、フォトレタッ
チング・ソフトを使用してコントラスト，明るさを変更
する操作には熟練が必要であり、専門のデザイナーであ
っても、経験を積まなければ満足な仕上がりは期待でき
ない。
チング・ソフトを使用してコントラスト，明るさを変更
する操作には熟練が必要であり、専門のデザイナーであ
っても、経験を積まなければ満足な仕上がりは期待でき
ない。
【０００５】本発明はこのような問題点を解決するため
になされたものであって、影が写り込んでいる画像に３
Ｄモデルを重ね合わせて光源の位置を推定し、この光源
の位置での３Ｄモデルに対するレンダリングで影が形成
される領域から影を除去することにより、フォトレタッ
チングの知識を持たない一般のユーザでも、簡単な操作
で影を除去することができる画像の影除去方法、影を除
去する機能を備えた画像処理装置及び、この画像処理装
置での読み取りが可能な記録媒体の提供を目的とする。
になされたものであって、影が写り込んでいる画像に３
Ｄモデルを重ね合わせて光源の位置を推定し、この光源
の位置での３Ｄモデルに対するレンダリングで影が形成
される領域から影を除去することにより、フォトレタッ
チングの知識を持たない一般のユーザでも、簡単な操作
で影を除去することができる画像の影除去方法、影を除
去する機能を備えた画像処理装置及び、この画像処理装
置での読み取りが可能な記録媒体の提供を目的とする。
【０００６】
【課題を解決するための手段】本発明の影除去方法、本
発明の画像処理装置、及び本発明の記録媒体は、画像に
含まれる三次元物体の写像に三次元モデルを重ね合わせ
て三次元モデルを該写像に合致させ、画像に含まれる三
次元物体の写像にて影が形成されている面が指定される
と、指定された面に重ね合わせられている三次元モデル
の面に基づいて、光源の位置を推定し、推定された光源
の位置により、前記三次元モデルに対するレンダリング
で影が形成される面を求め、該面が重ね合わせられてい
る面を前記画像の影の領域であると決定し、影の領域で
あると決定された領域から影を除去することを特徴とす
る。
発明の画像処理装置、及び本発明の記録媒体は、画像に
含まれる三次元物体の写像に三次元モデルを重ね合わせ
て三次元モデルを該写像に合致させ、画像に含まれる三
次元物体の写像にて影が形成されている面が指定される
と、指定された面に重ね合わせられている三次元モデル
の面に基づいて、光源の位置を推定し、推定された光源
の位置により、前記三次元モデルに対するレンダリング
で影が形成される面を求め、該面が重ね合わせられてい
る面を前記画像の影の領域であると決定し、影の領域で
あると決定された領域から影を除去することを特徴とす
る。
【０００７】これにより、フォトレタッチングの知識を
持たない一般のユーザでも、３Ｄモデルを画像に重ね合
わせて形状を合致させ、画像の影の面を指定するという
簡単な操作で画像の影を除去することができる。
持たない一般のユーザでも、３Ｄモデルを画像に重ね合
わせて形状を合致させ、画像の影の面を指定するという
簡単な操作で画像の影を除去することができる。
【０００８】本発明の影除去方法及び、本発明の画像処
理装置は、画像に含まれる三次元物体の写像に三次元モ
デルを重ね合わせて三次元モデルを該写像に合致させ、
画像に含まれる三次元物体の写像上の点及び、該点の影
における位置が指定されると、三次元物体の写像に重ね
合わせられている三次元モデルの、指定された点及び位
置に対応する点及び位置に基づいて、光源の位置を推定
し、推定された位置の光源により、前記三次元モデルに
対するレンダリングで影が形成される領域を、前記画像
の影の領域であると決定し、影の領域であると決定され
た領域から影を除去することを特徴とする。
理装置は、画像に含まれる三次元物体の写像に三次元モ
デルを重ね合わせて三次元モデルを該写像に合致させ、
画像に含まれる三次元物体の写像上の点及び、該点の影
における位置が指定されると、三次元物体の写像に重ね
合わせられている三次元モデルの、指定された点及び位
置に対応する点及び位置に基づいて、光源の位置を推定
し、推定された位置の光源により、前記三次元モデルに
対するレンダリングで影が形成される領域を、前記画像
の影の領域であると決定し、影の領域であると決定され
た領域から影を除去することを特徴とする。
【０００９】これにより、フォトレタッチングの知識を
持たない一般のユーザでも、３Ｄモデルを画像に重ね合
わせて形状を合致させ、画像の三次元物体の写像上の点
と、その点の影における位置を指定するという簡単な操
作で画像の影を除去することができる。
持たない一般のユーザでも、３Ｄモデルを画像に重ね合
わせて形状を合致させ、画像の三次元物体の写像上の点
と、その点の影における位置を指定するという簡単な操
作で画像の影を除去することができる。
【００１０】
【００１１】
【００１２】本発明の影除去方法及び、本発明の画像処
理装置は、影の領域であると決定された領域から影を除
去する場合、前記画像にて、影の領域であると決定され
た領域及び、該領域以外の領域の画素分布をそれぞれ算
出し、該画素分布に基づき、影の領域の画素分布を、該
領域以外の領域の画素分布に応じた画素分布へ変換する
ための変換関数を算出し、影の領域の画素分布を該変換
関数により変換することで影の領域であると決定された
領域から影を除去することを特徴とする。
理装置は、影の領域であると決定された領域から影を除
去する場合、前記画像にて、影の領域であると決定され
た領域及び、該領域以外の領域の画素分布をそれぞれ算
出し、該画素分布に基づき、影の領域の画素分布を、該
領域以外の領域の画素分布に応じた画素分布へ変換する
ための変換関数を算出し、影の領域の画素分布を該変換
関数により変換することで影の領域であると決定された
領域から影を除去することを特徴とする。
【００１３】これにより、影の領域に対するコントラス
ト，明るさの操作なしに、画像の影を除去することがで
きる。
ト，明るさの操作なしに、画像の影を除去することがで
きる。
【００１４】本発明の影除去方法及び、本発明の画像処
理装置は、影の領域であると決定された領域から影を除
去する場合、前記画像にて、影の領域であると決定され
た領域及び、該領域以外の領域にて同一色であるいずれ
かの部分の画素分布をそれぞれ算出し、影の領域の画素
分布を、算出した画素分布に応じた画素分布へ変換する
ための変換関数を算出し、影の領域の画素分布を該変換
関数により変換することで影の領域であると決定された
領域から影を除去することを特徴とする。
理装置は、影の領域であると決定された領域から影を除
去する場合、前記画像にて、影の領域であると決定され
た領域及び、該領域以外の領域にて同一色であるいずれ
かの部分の画素分布をそれぞれ算出し、影の領域の画素
分布を、算出した画素分布に応じた画素分布へ変換する
ための変換関数を算出し、影の領域の画素分布を該変換
関数により変換することで影の領域であると決定された
領域から影を除去することを特徴とする。
【００１５】これにより、影の領域に対するコントラス
ト，明るさの操作なしに、影の領域と他の領域とにて同
一色であるいずれかの部分を指定するという簡単な操作
で、また画像処理装置が影の領域と他の領域との同一色
の部分を判別する機能を備えている場合はこの指定を行
わなくても画像の影を除去することができる。
ト，明るさの操作なしに、影の領域と他の領域とにて同
一色であるいずれかの部分を指定するという簡単な操作
で、また画像処理装置が影の領域と他の領域との同一色
の部分を判別する機能を備えている場合はこの指定を行
わなくても画像の影を除去することができる。
【００１６】本発明の影除去方法及び、本発明の画像処
理装置は、影の領域であると決定された領域から影を除
去する場合、前記画像にて、影の領域であると決定され
た影領域及び、該領域以外の領域にて同一色である各部
分の画素分布をそれぞれ算出し、該画素分布に基づき、
影の領域の各部分の画素分布を、該領域以外の領域の同
一色である部分の画素分布に応じた画素分布へ変換する
ための変換関数を算出し、影の領域の前記各部分の画素
分布を該変換関数により変換することで影の領域である
と決定された領域から影を除去することを特徴とする。
理装置は、影の領域であると決定された領域から影を除
去する場合、前記画像にて、影の領域であると決定され
た影領域及び、該領域以外の領域にて同一色である各部
分の画素分布をそれぞれ算出し、該画素分布に基づき、
影の領域の各部分の画素分布を、該領域以外の領域の同
一色である部分の画素分布に応じた画素分布へ変換する
ための変換関数を算出し、影の領域の前記各部分の画素
分布を該変換関数により変換することで影の領域である
と決定された領域から影を除去することを特徴とする。
【００１７】これにより、影の領域に対するコントラス
ト，明るさの操作なしに、影の領域と他の領域とにて同
一色である各部分を指定するという簡単な操作で、また
画像処理装置が影の領域と他の領域との同一色の部分を
判別する機能を備えている場合はこの指定を行わなくて
も画像の影を除去することができる。
ト，明るさの操作なしに、影の領域と他の領域とにて同
一色である各部分を指定するという簡単な操作で、また
画像処理装置が影の領域と他の領域との同一色の部分を
判別する機能を備えている場合はこの指定を行わなくて
も画像の影を除去することができる。
【００１８】
【発明の実施の形態】図１は、本発明の影除去方法を実
施する画像処理装置の実施の形態１のブロック図であ
る。ディスプレイ１は実写のデジタル画像、３Ｄモデル
等を表示し、ポインティング・デバイスとしてのマウス
２はディスプレイ１上の座標位置を入力する。
施する画像処理装置の実施の形態１のブロック図であ
る。ディスプレイ１は実写のデジタル画像、３Ｄモデル
等を表示し、ポインティング・デバイスとしてのマウス
２はディスプレイ１上の座標位置を入力する。
【００１９】実写画像記憶部３は、カメラ、ビデオカメ
ラ等で撮影されたデジタル画像と、影を除去した加工済
みのデジタル画像とを格納する。画像表示部４は実写画
像記憶部３から取り出した実写デジタル画像をディスプ
レイ１に表示する。
ラ等で撮影されたデジタル画像と、影を除去した加工済
みのデジタル画像とを格納する。画像表示部４は実写画
像記憶部３から取り出した実写デジタル画像をディスプ
レイ１に表示する。
【００２０】３Ｄモデル記憶部５は、立体のワイヤーフ
レーム・モデル、サーフェス・モデル等の形状データを
格納している。３Ｄモデル当てはめ部６は、３Ｄモデル
記憶部５に格納されている３Ｄモデルの中からオペレー
タにより選択された３Ｄモデルを、オペレータの操作に
従って、ディスプレイ１に表示されている実写デジタル
画像の三次元形状の物体に重ね合わせ、オペレータによ
る位置調整、向きの調整、大きさの調整、及び形状の部
分的変形の指示に従って３Ｄモデルを回転、縮小、拡大
する等して、３Ｄモデルを実写デジタル画像の物体の三
次元形状に合致させる。なお、３Ｄモデルの当てはめに
関しては、例えば特開平７−２６２４１０号公報に開示
されているような方法で実現することができる。
レーム・モデル、サーフェス・モデル等の形状データを
格納している。３Ｄモデル当てはめ部６は、３Ｄモデル
記憶部５に格納されている３Ｄモデルの中からオペレー
タにより選択された３Ｄモデルを、オペレータの操作に
従って、ディスプレイ１に表示されている実写デジタル
画像の三次元形状の物体に重ね合わせ、オペレータによ
る位置調整、向きの調整、大きさの調整、及び形状の部
分的変形の指示に従って３Ｄモデルを回転、縮小、拡大
する等して、３Ｄモデルを実写デジタル画像の物体の三
次元形状に合致させる。なお、３Ｄモデルの当てはめに
関しては、例えば特開平７−２６２４１０号公報に開示
されているような方法で実現することができる。
【００２１】影面指定部７は、ディスプレイ１上の３Ｄ
モデルが重ね合わせられた実写デジタル画像に対してオ
ペレータがマウス２により指定した三次元形状の物体の
影面、即ちこの影面に重ね合わせられている３Ｄモデル
の面のデータを確保する。光源位置推定部８は、影面指
定部７が確保した３Ｄモデルの面のデータに基づいて、
例えばオペレータのマウス２のクリック操作により指定
された種類（例：平行光、点光源）の光源の位置を推定
する。
モデルが重ね合わせられた実写デジタル画像に対してオ
ペレータがマウス２により指定した三次元形状の物体の
影面、即ちこの影面に重ね合わせられている３Ｄモデル
の面のデータを確保する。光源位置推定部８は、影面指
定部７が確保した３Ｄモデルの面のデータに基づいて、
例えばオペレータのマウス２のクリック操作により指定
された種類（例：平行光、点光源）の光源の位置を推定
する。
【００２２】影領域決定部９は、マウス２により指定さ
れなかったが、光源位置推定部８により推定された光源
位置に基づくレンダリングにより影面となるべき残りの
影面を探索し、指定されなかった影面が残っている場合
は、この影面の３Ｄモデルの面のデータを確保して影面
指定部７が確保した３Ｄモデルの面のデータとの両方
を、また探索の結果、影面が残っていない場合は影面指
定部７が確保した３Ｄモデルの面のデータだけを実写デ
ジタル画像の影領域と決定する。影除去部１０は、影領
域決定部９が決定した実写デジタル画像の影領域のコン
トラスト、明るさを調整して実写デジタル画像から影を
除去し、加工後の実写デジタル画像を実写画像記憶部３
に格納する。
れなかったが、光源位置推定部８により推定された光源
位置に基づくレンダリングにより影面となるべき残りの
影面を探索し、指定されなかった影面が残っている場合
は、この影面の３Ｄモデルの面のデータを確保して影面
指定部７が確保した３Ｄモデルの面のデータとの両方
を、また探索の結果、影面が残っていない場合は影面指
定部７が確保した３Ｄモデルの面のデータだけを実写デ
ジタル画像の影領域と決定する。影除去部１０は、影領
域決定部９が決定した実写デジタル画像の影領域のコン
トラスト、明るさを調整して実写デジタル画像から影を
除去し、加工後の実写デジタル画像を実写画像記憶部３
に格納する。
【００２３】次に、実施の形態１の動作を図２のフロー
チャート、図９の実写画像の一例の図、図１０の３Ｄモ
デルの一例の図及び、図１１の実写画像に３Ｄモデルを
当てはめた一例の図に基づいて説明する。３Ｄモデル当
てはめ部６は、３Ｄモデル記憶部５に格納されている３
Ｄモデルの中からオペレータにより形状が近似している
ために選択された図１０に示すような３Ｄモデルを、オ
ペレータの操作に従って、ディスプレイ１に表示されて
いる図９に示すような実写デジタル画像の三次元形状の
物体に重ね合わせ、オペレータによる位置調整、向きの
調整、大きさの調整、及び形状の部分的変形の指示に従
って３Ｄモデルを回転、縮小、拡大する等して、図１１
に示すように、３Ｄモデルを実写デジタル画像の物体の
三次元形状に当てはめる (ステップＳ２−１）。
チャート、図９の実写画像の一例の図、図１０の３Ｄモ
デルの一例の図及び、図１１の実写画像に３Ｄモデルを
当てはめた一例の図に基づいて説明する。３Ｄモデル当
てはめ部６は、３Ｄモデル記憶部５に格納されている３
Ｄモデルの中からオペレータにより形状が近似している
ために選択された図１０に示すような３Ｄモデルを、オ
ペレータの操作に従って、ディスプレイ１に表示されて
いる図９に示すような実写デジタル画像の三次元形状の
物体に重ね合わせ、オペレータによる位置調整、向きの
調整、大きさの調整、及び形状の部分的変形の指示に従
って３Ｄモデルを回転、縮小、拡大する等して、図１１
に示すように、３Ｄモデルを実写デジタル画像の物体の
三次元形状に当てはめる (ステップＳ２−１）。
【００２４】影面指定部７は、ディスプレイ１に表示さ
れている、３Ｄモデルが重ね合わせられた実写デジタル
画像に対してオペレータがマウス２により指定した三次
元形状の物体の影面、即ちこの影面に重ね合わせられて
いる３Ｄモデルの面のデータを確保する (ステップＳ２
−２）。
れている、３Ｄモデルが重ね合わせられた実写デジタル
画像に対してオペレータがマウス２により指定した三次
元形状の物体の影面、即ちこの影面に重ね合わせられて
いる３Ｄモデルの面のデータを確保する (ステップＳ２
−２）。
【００２５】光源位置推定部８は、影面指定部７が確保
した、３Ｄモデルの面のデータに基づいて、例えばオペ
レータのマウス２のクリック操作により指定された種類
の光源の位置を絞り込む (ステップＳ２−３）。影領域
決定部９は、光源位置推定部８により推定された光源位
置に基づくレンダリングにより影面となるべき残りの影
面を探索し (ステップＳ２−４）、この影面の３Ｄモデ
ルの面のデータを確保して影面指定部７が確保した３Ｄ
モデルの面のデータとの両方を実写デジタル画像の影領
域と決定する (ステップＳ２−５）。
した、３Ｄモデルの面のデータに基づいて、例えばオペ
レータのマウス２のクリック操作により指定された種類
の光源の位置を絞り込む (ステップＳ２−３）。影領域
決定部９は、光源位置推定部８により推定された光源位
置に基づくレンダリングにより影面となるべき残りの影
面を探索し (ステップＳ２−４）、この影面の３Ｄモデ
ルの面のデータを確保して影面指定部７が確保した３Ｄ
モデルの面のデータとの両方を実写デジタル画像の影領
域と決定する (ステップＳ２−５）。
【００２６】例えば、図１１に示す影面Ａ〜Ｄのうち、
影面Ａが指定された場合、Ａの面が影面であるというこ
とは、光源は影面Ａの裏（法線の負方向）にあることが
わかる。そこで、平面Ｃも影面になっていることがわか
る。次に影面Ｂが指定された場合、Ａ及びＢの面が影面
であるということは、光源は影面Ａの裏でかつ影面Ｂの
裏にあることがわかる。そこで、平面Ｄも影面になって
いることがわかる。
影面Ａが指定された場合、Ａの面が影面であるというこ
とは、光源は影面Ａの裏（法線の負方向）にあることが
わかる。そこで、平面Ｃも影面になっていることがわか
る。次に影面Ｂが指定された場合、Ａ及びＢの面が影面
であるということは、光源は影面Ａの裏でかつ影面Ｂの
裏にあることがわかる。そこで、平面Ｄも影面になって
いることがわかる。
【００２７】例えば、図１１の影面Ａと影面Ｂとだけを
オペレータが指定した場合は、推定された光源位置での
レンダリングにより影が形成されるべき３Ｄモデルの面
が重ね合わせられている残りの影面Ｃ及びＤの３Ｄモデ
ルの面のデータを確保し、影面指定部７が確保した影面
Ａ及びＢの３Ｄモデルの面のデータとの両方を実写デジ
タル画像の影領域と決定する。
オペレータが指定した場合は、推定された光源位置での
レンダリングにより影が形成されるべき３Ｄモデルの面
が重ね合わせられている残りの影面Ｃ及びＤの３Ｄモデ
ルの面のデータを確保し、影面指定部７が確保した影面
Ａ及びＢの３Ｄモデルの面のデータとの両方を実写デジ
タル画像の影領域と決定する。
【００２８】影除去部１０は、後述するようなアルゴリ
ズムで、影領域決定部９が決定した実写デジタル画像の
影領域のコントラスト、明るさを調整して実写デジタル
画像から影を除去する (ステップＳ２−６）。
ズムで、影領域決定部９が決定した実写デジタル画像の
影領域のコントラスト、明るさを調整して実写デジタル
画像から影を除去する (ステップＳ２−６）。
【００２９】図３は、本発明の影除去方法を実施する画
像処理装置の実施の形態２のブロック図である。なお、
実施の形態１と同一部分には同一符号を付してその説明
を省略する。実施の形態１ではオペレータによる影面指
定により光源位置を推定したのに代えて、本形態では、
頂点とその頂点の影の位置から光源位置を推定する。
像処理装置の実施の形態２のブロック図である。なお、
実施の形態１と同一部分には同一符号を付してその説明
を省略する。実施の形態１ではオペレータによる影面指
定により光源位置を推定したのに代えて、本形態では、
頂点とその頂点の影の位置から光源位置を推定する。
【００３０】頂点指定部１１は、ディスプレイ１に表示
されている、３Ｄモデルが重ね合わせられた実写デジタ
ル画像に対してオペレータがマウス２により指定した三
次元形状の物体の頂点及び、その頂点が作り出している
影の位置の三次元位置を検出する。光源位置推定部１２
は、頂点指定部１１が検出した２つの三次元位置から、
例えばオペレータのマウス２のクリック操作により指定
された種類の光源の位置を推定する。影領域決定部９
は、光源位置推定部１２により推定された光源位置に基
づくレンダリングにより影領域を計算する。
されている、３Ｄモデルが重ね合わせられた実写デジタ
ル画像に対してオペレータがマウス２により指定した三
次元形状の物体の頂点及び、その頂点が作り出している
影の位置の三次元位置を検出する。光源位置推定部１２
は、頂点指定部１１が検出した２つの三次元位置から、
例えばオペレータのマウス２のクリック操作により指定
された種類の光源の位置を推定する。影領域決定部９
は、光源位置推定部１２により推定された光源位置に基
づくレンダリングにより影領域を計算する。
【００３１】次に、実施の形態２の動作を図４のフロー
チャート及び、図１２の頂点とその影の指定の一例の図
に基づいて説明する。３Ｄモデル当てはめ部６は、３Ｄ
モデル記憶部５に格納されている３Ｄモデルの中からオ
ペレータにより形状が近似しているために選択された図
１０に示すような３Ｄモデルを、オペレータの操作に従
って、ディスプレイ１に表示されている図９に示すよう
な実写デジタル画像の三次元形状の物体に重ね合わせ、
オペレータによる位置調整、向きの調整、大きさの調
整、及び形状の部分的変形の指示に従って３Ｄモデルを
回転、縮小、拡大する等して、３Ｄモデルを実写デジタ
ル画像の物体の三次元形状に当てはめる (ステップＳ４
−１）。
チャート及び、図１２の頂点とその影の指定の一例の図
に基づいて説明する。３Ｄモデル当てはめ部６は、３Ｄ
モデル記憶部５に格納されている３Ｄモデルの中からオ
ペレータにより形状が近似しているために選択された図
１０に示すような３Ｄモデルを、オペレータの操作に従
って、ディスプレイ１に表示されている図９に示すよう
な実写デジタル画像の三次元形状の物体に重ね合わせ、
オペレータによる位置調整、向きの調整、大きさの調
整、及び形状の部分的変形の指示に従って３Ｄモデルを
回転、縮小、拡大する等して、３Ｄモデルを実写デジタ
ル画像の物体の三次元形状に当てはめる (ステップＳ４
−１）。
【００３２】頂点指定部１１は、ディスプレイ１に表示
されている、３Ｄモデルが重ね合わせられた実写デジタ
ル画像に対してオペレータがマウス２により指定した三
次元形状の物体の頂点及び、この頂点が作り出している
影の位置の三次元座標を検出する (ステップＳ４−
２）。例えば、図１２においてオペレータが頂点Ｐとそ
の影の位置ＰＳとを指定した場合、これらの頂点Ｐ及び
ＰＳに重ね合わせられている３Ｄモデルの三次元座標の
データを確保する。
されている、３Ｄモデルが重ね合わせられた実写デジタ
ル画像に対してオペレータがマウス２により指定した三
次元形状の物体の頂点及び、この頂点が作り出している
影の位置の三次元座標を検出する (ステップＳ４−
２）。例えば、図１２においてオペレータが頂点Ｐとそ
の影の位置ＰＳとを指定した場合、これらの頂点Ｐ及び
ＰＳに重ね合わせられている３Ｄモデルの三次元座標の
データを確保する。
【００３３】光源位置推定部１２は、頂点指定部１１が
検出した、頂点及びその影の位置の三次元座標に基づい
て、例えばオペレータのマウス２のクリック操作により
指定された種類の光源の位置を計算する (ステップＳ４
−３）。光源が太陽光のような平行光であれば、直線Ｐ
−ＰＳの延長方向に光源があると考えられる。また点光
源の場合は、２つの頂点とそれぞれの影の位置を指定す
れば三角測量法で光源位置が推定できる。
検出した、頂点及びその影の位置の三次元座標に基づい
て、例えばオペレータのマウス２のクリック操作により
指定された種類の光源の位置を計算する (ステップＳ４
−３）。光源が太陽光のような平行光であれば、直線Ｐ
−ＰＳの延長方向に光源があると考えられる。また点光
源の場合は、２つの頂点とそれぞれの影の位置を指定す
れば三角測量法で光源位置が推定できる。
【００３４】影領域決定部９は、光源位置推定部１２に
より推定された光源位置に基づくレンダリングにより影
領域を計算し (ステップＳ４−４）、この影領域を実写
デジタル画像の影領域と決定する (ステップＳ４−
５）。影除去部１０は、後述するようなアルゴリズム
で、影領域決定部９が決定した実写デジタル画像の影領
域のコントラスト、明るさを調整して実写デジタル画像
から影を除去する (ステップＳ４−６）。
より推定された光源位置に基づくレンダリングにより影
領域を計算し (ステップＳ４−４）、この影領域を実写
デジタル画像の影領域と決定する (ステップＳ４−
５）。影除去部１０は、後述するようなアルゴリズム
で、影領域決定部９が決定した実写デジタル画像の影領
域のコントラスト、明るさを調整して実写デジタル画像
から影を除去する (ステップＳ４−６）。
【００３５】図５は、本発明の影除去方法を実施する画
像処理装置の実施の形態３のブロック図である。なお、
実施の形態１と同一部分には同一符号を付してその説明
を省略する。実施の形態１では２つ以上の影面から、ま
た実施の形態２では頂点とその影の位置とから光源の位
置を推定したのに代えて、本形態では予め任意に設定し
た種類（例：平行光、点光源）及び光源位置でのレンダ
リングにより形成される影が実写デジタル画像の影に一
致するように光源位置を変更する。
像処理装置の実施の形態３のブロック図である。なお、
実施の形態１と同一部分には同一符号を付してその説明
を省略する。実施の形態１では２つ以上の影面から、ま
た実施の形態２では頂点とその影の位置とから光源の位
置を推定したのに代えて、本形態では予め任意に設定し
た種類（例：平行光、点光源）及び光源位置でのレンダ
リングにより形成される影が実写デジタル画像の影に一
致するように光源位置を変更する。
【００３６】光源表示部１３は、ディスプレイ１に表示
されている、３Ｄモデルが重ね合わせられた実写デジタ
ル画像において、任意の位置に設定したコンピュータ・
グラフィックスの、任意に設定した種類の光源でのレン
ダリングによる影を表示する。光源位置変更部１４は、
オペレータのマウス２による操作に従って光源の位置を
移動させる。影領域決定部９は、光源位置変更部１４に
より変更され、レンダリングによる影の実写デジタル画
像の影とが一致した光源位置でのレンダリングにより得
られた影領域を実写デジタル画像の影領域と決定する。
されている、３Ｄモデルが重ね合わせられた実写デジタ
ル画像において、任意の位置に設定したコンピュータ・
グラフィックスの、任意に設定した種類の光源でのレン
ダリングによる影を表示する。光源位置変更部１４は、
オペレータのマウス２による操作に従って光源の位置を
移動させる。影領域決定部９は、光源位置変更部１４に
より変更され、レンダリングによる影の実写デジタル画
像の影とが一致した光源位置でのレンダリングにより得
られた影領域を実写デジタル画像の影領域と決定する。
【００３７】次に、実施の形態３の動作を図６のフロー
チャートに基づいて説明する。３Ｄモデル当てはめ部６
は、３Ｄモデル記憶部５に格納されている３Ｄモデルの
中からオペレータにより形状が近似しているために選択
された図１０に示すような３Ｄモデルを、オペレータの
操作に従って、ディスプレイ１に表示されている図９に
示すような実写デジタル画像の三次元形状の物体に重ね
合わせ、オペレータによる位置調整、向きの調整、大き
さの調整、及び形状の部分的変形の指示に従って３Ｄモ
デルを回転、縮小、拡大する等して、３Ｄモデルを実写
デジタル画像の物体の三次元形状に当てはめる (ステッ
プＳ６−１）。
チャートに基づいて説明する。３Ｄモデル当てはめ部６
は、３Ｄモデル記憶部５に格納されている３Ｄモデルの
中からオペレータにより形状が近似しているために選択
された図１０に示すような３Ｄモデルを、オペレータの
操作に従って、ディスプレイ１に表示されている図９に
示すような実写デジタル画像の三次元形状の物体に重ね
合わせ、オペレータによる位置調整、向きの調整、大き
さの調整、及び形状の部分的変形の指示に従って３Ｄモ
デルを回転、縮小、拡大する等して、３Ｄモデルを実写
デジタル画像の物体の三次元形状に当てはめる (ステッ
プＳ６−１）。
【００３８】光源表示部１３は、３Ｄモデルが重ね合わ
せられた実写デジタル画像において、任意の位置に、設
定された種類のコンピュータ・グラフィックスの光源を
指定し (ステップＳ６−２）、この光源位置でのレンダ
リングによる影を表示する (ステップＳ６−３）。オペ
レータがレンダリングによる影と実写デジタル画像の影
とを見比べ、一致していると判断することにより、光源
位置が決定されたか否かを判定し (ステップＳ６−
４）、両者が一致していないと判断して、マウス２の操
作により光源位置が他の位置へ移動された場合は (ステ
ップＳ６−４のＮＯ）、光源位置変更部１４は、光源の
位置を、オペレータのマウス２による操作に従って移動
させる (ステップＳ６−２）。
せられた実写デジタル画像において、任意の位置に、設
定された種類のコンピュータ・グラフィックスの光源を
指定し (ステップＳ６−２）、この光源位置でのレンダ
リングによる影を表示する (ステップＳ６−３）。オペ
レータがレンダリングによる影と実写デジタル画像の影
とを見比べ、一致していると判断することにより、光源
位置が決定されたか否かを判定し (ステップＳ６−
４）、両者が一致していないと判断して、マウス２の操
作により光源位置が他の位置へ移動された場合は (ステ
ップＳ６−４のＮＯ）、光源位置変更部１４は、光源の
位置を、オペレータのマウス２による操作に従って移動
させる (ステップＳ６−２）。
【００３９】以上のような光源位置の移動を繰り返した
後、レンダリングによる影と実写デジタル画像の影とが
一致したとオペレータが判断し、光源位置が決定される
と (ステップＳ６−４のＹＥＳ）、影領域決定部９は、
この光源位置でのレンダリングによる影領域を、実写デ
ジタル画像の影領域と決定する (ステップＳ６−５）。
影除去部１０は、後述するようなアルゴリズムで、影領
域決定部９が決定した実写デジタル画像の影領域のコン
トラスト、明るさを調整して実写デジタル画像から影を
除去する (ステップＳ６−６）。
後、レンダリングによる影と実写デジタル画像の影とが
一致したとオペレータが判断し、光源位置が決定される
と (ステップＳ６−４のＹＥＳ）、影領域決定部９は、
この光源位置でのレンダリングによる影領域を、実写デ
ジタル画像の影領域と決定する (ステップＳ６−５）。
影除去部１０は、後述するようなアルゴリズムで、影領
域決定部９が決定した実写デジタル画像の影領域のコン
トラスト、明るさを調整して実写デジタル画像から影を
除去する (ステップＳ６−６）。
【００４０】図７は影除去部１０の一例の詳細なブロッ
ク図である。画素分布計算部１０１は、影領域と影領域
以外の他の領域（以下、日向領域という）との画素分布
をそれぞれ計算する。画素分布はＲＧＢ空間で計算して
も、ＹＩＱ空間で計算しても、またグレースケールに変
換して計算してもよい。分布は主に画素値の平均と分散
とを調べる。
ク図である。画素分布計算部１０１は、影領域と影領域
以外の他の領域（以下、日向領域という）との画素分布
をそれぞれ計算する。画素分布はＲＧＢ空間で計算して
も、ＹＩＱ空間で計算しても、またグレースケールに変
換して計算してもよい。分布は主に画素値の平均と分散
とを調べる。
【００４１】変換関数計算部１０２は影領域の画素分布
を、日向領域の画素分布へ変換するための変換関数を計
算する。変換関数は予め複数種類を用意しておき、その
関数の変数に、画素分布計算部１０１が求めた平均値又
は分散値を代入して求める。変換関数が求まったら、画
像の影領域全体にその変換関数を適用し、画素値を変換
する。これにより画像の影が消去される。
を、日向領域の画素分布へ変換するための変換関数を計
算する。変換関数は予め複数種類を用意しておき、その
関数の変数に、画素分布計算部１０１が求めた平均値又
は分散値を代入して求める。変換関数が求まったら、画
像の影領域全体にその変換関数を適用し、画素値を変換
する。これにより画像の影が消去される。
【００４２】図８は影除去部１０の他の例の詳細なブロ
ック図である。本例では、影領域に模様などがあって単
一色でない場合、影領域と日向領域との同一色の部分か
ら画素分布を求める。同一色領域指定部１０３は、影領
域と日向領域とにおいて、オペレータにより元の色が同
じであるとしてマウスで指定された色の領域を同一色の
領域として、また画像処理装置が色によるクラスタリン
グの機能を備えている場合は、クラスタリングにより領
域を分割して同一色の領域をそれぞれ指定する。この同
一色領域の指定は、一色だけであっても、また全色に対
して行ってもよい。
ック図である。本例では、影領域に模様などがあって単
一色でない場合、影領域と日向領域との同一色の部分か
ら画素分布を求める。同一色領域指定部１０３は、影領
域と日向領域とにおいて、オペレータにより元の色が同
じであるとしてマウスで指定された色の領域を同一色の
領域として、また画像処理装置が色によるクラスタリン
グの機能を備えている場合は、クラスタリングにより領
域を分割して同一色の領域をそれぞれ指定する。この同
一色領域の指定は、一色だけであっても、また全色に対
して行ってもよい。
【００４３】画素分布計算部１０４は、同一色領域指定
部１０３により同一色の領域として指定されたそれぞれ
の領域の画素分布を調べる。変換関数計算部１０２は、
影領域で指定された領域の画素分布を、日向領域で指定
された領域の画素分布へ変換するための変換関数を計算
する。変換関数は予め複数種類を用意しておき、その関
数の変数に、画素分布計算部１０４が求めた平均値又は
分散値を代入して求める。変換関数が求まったら、一色
だけを指定した場合は画像の影領域全体にその変換関数
を適用し、また全色を指定した場合はそれぞれの色の領
域の画素値を変換する。これにより画像の影が消去され
る。
部１０３により同一色の領域として指定されたそれぞれ
の領域の画素分布を調べる。変換関数計算部１０２は、
影領域で指定された領域の画素分布を、日向領域で指定
された領域の画素分布へ変換するための変換関数を計算
する。変換関数は予め複数種類を用意しておき、その関
数の変数に、画素分布計算部１０４が求めた平均値又は
分散値を代入して求める。変換関数が求まったら、一色
だけを指定した場合は画像の影領域全体にその変換関数
を適用し、また全色を指定した場合はそれぞれの色の領
域の画素値を変換する。これにより画像の影が消去され
る。
【００４４】次に、図８の構成を有する影除去部に対す
る操作の手順の一例を図１３に基づいて説明する。図１
３において、左の図（背景が白抜き）が日向領域の面、
右の図（背景にハッチング有り）が日陰領域の面であ
り、両方の面の背景、円形と楕円形、三角形と四角形が
それぞれ同色である場合、日向領域において、背景、円
形及び三角形のいずれかを同一色領域として指定し、日
陰領域において、背景、楕円形及び四角形のいずれかを
同一色領域として指定すると、影領域の同一色領域が日
向領域の同一色領域に比べてどのくらい暗いかを計算
し、その結果を影領域の全体に適用して明るくすること
で影を除去する。
る操作の手順の一例を図１３に基づいて説明する。図１
３において、左の図（背景が白抜き）が日向領域の面、
右の図（背景にハッチング有り）が日陰領域の面であ
り、両方の面の背景、円形と楕円形、三角形と四角形が
それぞれ同色である場合、日向領域において、背景、円
形及び三角形のいずれかを同一色領域として指定し、日
陰領域において、背景、楕円形及び四角形のいずれかを
同一色領域として指定すると、影領域の同一色領域が日
向領域の同一色領域に比べてどのくらい暗いかを計算
し、その結果を影領域の全体に適用して明るくすること
で影を除去する。
【００４５】次に、図８の構成を有する影除去部に対す
る操作の手順の他の例を図１４に基づいて説明する。図
１４において、左の図を日向領域の面、右の図を日陰領
域の面であり、両方の面の背景、円形と楕円形、三角形
と四角形がそれぞれ同色である場合、日向領域の背景と
日陰領域の背景、円形と楕円形及び、三角形と四角形と
を同一色領域として指定すると、影領域の各色の領域が
日向領域の同一色の各色の領域に比べてどのくらい暗い
かを計算し、その結果を影領域の各色の領域に適用して
明るくすることで影を除去する。
る操作の手順の他の例を図１４に基づいて説明する。図
１４において、左の図を日向領域の面、右の図を日陰領
域の面であり、両方の面の背景、円形と楕円形、三角形
と四角形がそれぞれ同色である場合、日向領域の背景と
日陰領域の背景、円形と楕円形及び、三角形と四角形と
を同一色領域として指定すると、影領域の各色の領域が
日向領域の同一色の各色の領域に比べてどのくらい暗い
かを計算し、その結果を影領域の各色の領域に適用して
明るくすることで影を除去する。
【００４６】なお、同一色の領域の指定は１対１に限ら
ず、多対１であってもよい。またオペレータが手動で指
定する以外に、画像処理装置が色によるクラスタリング
の機能を備えている場合は、クラスタリングにより領域
を分割して同一色の領域をそれぞれ指定するようにして
もよい。
ず、多対１であってもよい。またオペレータが手動で指
定する以外に、画像処理装置が色によるクラスタリング
の機能を備えている場合は、クラスタリングにより領域
を分割して同一色の領域をそれぞれ指定するようにして
もよい。
【００４７】以下に、クラスタリングにより分割した領
域の同一色領域を対応付ける方法について説明する。明
るさによる違いを除いた色の特徴をＲＧＢそれぞれの差
と考えるとする。分割された各影領域についてＲＧＢの
差（Ｒ−Ｇ，Ｒ−Ｂ）を計算し、分割された各日向領域
のそれぞれのＲＧＢの差を計算し、各影領域のＲＧＢの
差と比較する。影領域のＲＧＢの差を（Ｒａ−Ｇａ，Ｒ
ａ−Ｂａ）、日向領域のＲＧＢの差を（Ｒｂ−Ｇｂ，Ｒ
ｂ−Ｂｂ）とすると、 [(Ｒａ−Ｇａ）／（Ｒａ−Ｂａ)]2 −[(Ｒｂ−Ｇｂ）／
（Ｒｂ−Ｂｂ)]2 が最小のものを同一色領域として対応付ける。
域の同一色領域を対応付ける方法について説明する。明
るさによる違いを除いた色の特徴をＲＧＢそれぞれの差
と考えるとする。分割された各影領域についてＲＧＢの
差（Ｒ−Ｇ，Ｒ−Ｂ）を計算し、分割された各日向領域
のそれぞれのＲＧＢの差を計算し、各影領域のＲＧＢの
差と比較する。影領域のＲＧＢの差を（Ｒａ−Ｇａ，Ｒ
ａ−Ｂａ）、日向領域のＲＧＢの差を（Ｒｂ−Ｇｂ，Ｒ
ｂ−Ｂｂ）とすると、 [(Ｒａ−Ｇａ）／（Ｒａ−Ｂａ)]2 −[(Ｒｂ−Ｇｂ）／
（Ｒｂ−Ｂｂ)]2 が最小のものを同一色領域として対応付ける。
【００４８】なお、色の特徴はＲＧＢの比（Ｒ／Ｇ，Ｒ
／Ｂ）としてもよい。また、ＲＧＢ色空間からＹＩＱ色
空間に変換し、輝度Ｙを除いた二次元平面において距離
の最も近いものを同一色領域として対応付けてもよい。
／Ｂ）としてもよい。また、ＲＧＢ色空間からＹＩＱ色
空間に変換し、輝度Ｙを除いた二次元平面において距離
の最も近いものを同一色領域として対応付けてもよい。
【００４９】
【実施例】前述の画素分布の変換関数の実施例を以下に
説明する。 (1) 影領域の画素値の平均をＡ（Ｒａ，Ｇａ，Ｂａ）、
日向領域の画素値の平均をＢ（Ｒｂ，Ｇｂ，Ｂｂ）とす
る。影領域の画素値Ｐに対して補正後の画素値ＰＣを、 ＰＣ＝Ｐ＋（Ｂ−Ａ） とする。これは影領域の画素を色空間内で平行移動させ
ることを意味する。
説明する。 (1) 影領域の画素値の平均をＡ（Ｒａ，Ｇａ，Ｂａ）、
日向領域の画素値の平均をＢ（Ｒｂ，Ｇｂ，Ｂｂ）とす
る。影領域の画素値Ｐに対して補正後の画素値ＰＣを、 ＰＣ＝Ｐ＋（Ｂ−Ａ） とする。これは影領域の画素を色空間内で平行移動させ
ることを意味する。
【００５０】(2) 影領域の画素値の平均をＡ（Ｒａ，Ｇ
ａ，Ｂａ）、日向領域の画素値の平均をＢ（Ｒｂ，Ｇ
ｂ，Ｂｂ）とする。影領域の画素値Ｐに対して補正後の
画素値ＰＣを、 ＰＣ＝Ｐ×Ｂ／Ａ とする。一般的に影部分は画素値の広がりが小さいの
で、この変換は影領域の画素の色空間での分布を広げる
ことを意味する。
ａ，Ｂａ）、日向領域の画素値の平均をＢ（Ｒｂ，Ｇ
ｂ，Ｂｂ）とする。影領域の画素値Ｐに対して補正後の
画素値ＰＣを、 ＰＣ＝Ｐ×Ｂ／Ａ とする。一般的に影部分は画素値の広がりが小さいの
で、この変換は影領域の画素の色空間での分布を広げる
ことを意味する。
【００５１】(3) 影領域の画素値の平均をＡ（Ｒａ，Ｇ
ａ，Ｂａ）、日向領域の画素値の平均をＢ（Ｒｂ，Ｇ
ｂ，Ｂｂ）とする。また、影領域の画素の標準偏差をＤ
ａ、日向領域の画素の標準偏差をＤｂとする。影領域の
画素値Ｐに対して補正後の画素値ＰＣを、 ＰＣ＝Ａ＋（Ｐ−Ｂ）×Ｄｂ／Ｄａ とする。暗い影の部分では、明るい部分に比べて画素値
のちらばりが小さいと考えられる。この変換は影領域の
画素値のちらばりを日向領域の画素値のちらばりに合わ
せることを意味する。
ａ，Ｂａ）、日向領域の画素値の平均をＢ（Ｒｂ，Ｇ
ｂ，Ｂｂ）とする。また、影領域の画素の標準偏差をＤ
ａ、日向領域の画素の標準偏差をＤｂとする。影領域の
画素値Ｐに対して補正後の画素値ＰＣを、 ＰＣ＝Ａ＋（Ｐ−Ｂ）×Ｄｂ／Ｄａ とする。暗い影の部分では、明るい部分に比べて画素値
のちらばりが小さいと考えられる。この変換は影領域の
画素値のちらばりを日向領域の画素値のちらばりに合わ
せることを意味する。
【００５２】図１５は、本発明を実現するためのハード
ウェア構成を示す模式図である。画像データ等を表示す
るディスプレイ１と、ポインティングデバイスとしての
マウス２とを備えた、本発明の画像処理装置としてのパ
ーソナルコンピュータは、上述したような処理を行うた
めのプログラムを、磁気ディスク，ＣＤ−ＲＯＭ等の可
搬型記録媒体８５、パーソナルコンピュータと無線又は
有線にてプログラムの通信が可能な、例えばセンタに備
えられた回線先メモリ８６、あるいは、パーソナルコン
ピュータに備えつけられたＲＡＭ、ハードディスク等の
処理装置側メモリ８７等の記録媒体からロードする。
ウェア構成を示す模式図である。画像データ等を表示す
るディスプレイ１と、ポインティングデバイスとしての
マウス２とを備えた、本発明の画像処理装置としてのパ
ーソナルコンピュータは、上述したような処理を行うた
めのプログラムを、磁気ディスク，ＣＤ−ＲＯＭ等の可
搬型記録媒体８５、パーソナルコンピュータと無線又は
有線にてプログラムの通信が可能な、例えばセンタに備
えられた回線先メモリ８６、あるいは、パーソナルコン
ピュータに備えつけられたＲＡＭ、ハードディスク等の
処理装置側メモリ８７等の記録媒体からロードする。
【００５３】
【発明の効果】以上のように、本発明の画像の影除去方
法、画像処理装置及び記録媒体は、影が写り込んでいる
画像に３Ｄモデルを重ね合わせて光源の位置を推定し、
この光源の位置での３Ｄモデルに対するレンダリングで
影が形成される領域から影を除去するので、フォトレタ
ッチングの知識を持たない一般のユーザでも、簡単な操
作で影を除去することができるという優れた効果を奏す
る。
法、画像処理装置及び記録媒体は、影が写り込んでいる
画像に３Ｄモデルを重ね合わせて光源の位置を推定し、
この光源の位置での３Ｄモデルに対するレンダリングで
影が形成される領域から影を除去するので、フォトレタ
ッチングの知識を持たない一般のユーザでも、簡単な操
作で影を除去することができるという優れた効果を奏す
る。
【図１】本発明の実施の形態１のブロック図である。
【図２】実施の形態１の動作のフローチャートである。
【図３】本発明の実施の形態２のブロック図である。
【図４】実施の形態２の動作のフローチャートである。
【図５】本発明の実施の形態３のブロック図である。
【図６】実施の形態３の動作のフローチャートである。
【図７】影除去部（その１）の詳細なブロック図であ
る。
る。
【図８】影除去部（その２）の詳細なブロック図であ
る。
る。
【図９】実写画像の一例の図である。
【図１０】３Ｄモデルの一例の図である。
【図１１】実施画像に３Ｄモデルを当てはめた一例の図
である。
である。
【図１２】頂点とその影の指定の一例の図である。
【図１３】影除去部（その２）に対する操作例の図であ
る。
る。
【図１４】影除去部（その２）に対する他の操作例の図
である。
である。
【図１５】本発明を実現するためのハードウェア構成を
示す模式図である。
示す模式図である。
１ ディスプレイ
２ マウス
３ 実写画像記憶部
４ 画像表示部
５ ３Ｄモデル記憶部
６ ３Ｄモデル当てはめ部
７ 影面指定部
８ 光源位置推定部
９ 影領域決定部
１０ 影除去部
１０１ 画素分布計算部
１０２ 変換関数計算部
１０３ 同一色領域指定部
１０４ 画素分布計算部
１１ 頂点指定部
１２ 光源位置推定部
１３ 光源表示部
１４ 光源位置変更部
８５ 可搬型記録媒体
８６ 回線先メモリ
８７ 処理装置側メモリ
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平５−187876（ＪＰ，Ａ)
特開 平１−251284（ＪＰ，Ａ)
特開 平５−174116（ＪＰ，Ａ)
特開 平10−269347（ＪＰ，Ａ)
椎名秀一，渡辺正規，実画像に基づく
ＣＧモデリングツール ＳｋｅｔｃｈＶ
ｉｓｉｏｎ，情報処理学会第49回全国大
会講演論文集，日本，情報処理学会,
1994年 ９月20日，Ｖｏｌ．49ｔｈ，Ｎ
ｏ．２，２−383，２−384
(58)調査した分野(Int.Cl.7，ＤＢ名)
G06T 1/00 280
G06T 17/40
ＪＳＴＰＬＵＳ（ＪＯＩＳ)
Claims (11)
- 【請求項１】 三次元物体の写像を含む実写の画像の影
を画像処理装置により除去する方法において、３Ｄモデル当てはめ部により、操作に従って、 画像に含
まれる三次元物体の写像に選択された三次元モデルを重
ね合わせて三次元モデルを該写像に合致させるステップ
と、前記三次元モデルが重ね合わされた 画像に含まれる三次
元物体の写像にて、ポインティングデバイスにより指定
された影が形成されている面に重ね合わされている三次
元モデルの面のデータを、影面指定部により確保するス
テップと、前記確保された 三次元モデルの面のデータと指定された
光源の種類に基づいて、光源位置推定部より光源の位置
を推定するステップと、前記 推定された光源の位置により、前記三次元モデルに
対するレンダリングで影が形成される面を求め、該面が
重ね合わせられている面を、影領域決定部により前記画
像の影の領域であると決定するステップと、前記 影の領域であると決定された領域から影を、影除去
部により除去するステップとを含むことを特徴とする画
像の影除去方法。 - 【請求項２】 三次元物体の写像を含む実写の画像の影
を画像処理装置により除去する方法において、３Ｄモデル当てはめ部により、操作に従って、 画像に含
まれる三次元物体の写像に選択された三次元モデルを重
ね合わせて三次元モデルを該写像に合致させるステップ
と、前記三次元モデルが重ね合わされた 画像に含まれる三次
元物体の写像上のポインティングデバイスにより指定さ
れた点及び、該点の影における三次元モデルの三次元座
標のデータを頂点指定部により確保するステップと、前記確保された 三次元物体の写像に重ね合わせられてい
る三次元モデルの三次元座標のデータ及び指定された光
源の種類に基づいて、光源位置推定部により光源の位置
を推定するステップと、前記 推定された位置の光源により、前記三次元モデルに
対するレンダリングで影が形成される領域を、影領域決
定部により前記画像の影の領域であると決定するステッ
プと、前記 影の領域であると決定された領域から影を、影除去
部により除去するステップとを含むことを特徴とする画
像の影除去方法。 - 【請求項３】 影を除去する前記ステップが、 前記画像にて、影の領域であると決定された領域及び、
該領域以外の領域の画素分布をそれぞれ算出するステッ
プと、 該画素分布に基づき、影の領域の画素分布を、該領域以
外の領域の画素分布に応じた画素分布へ変換するための
変換関数を算出するステップと、 影の領域の画素分布を該変換関数により変換するステッ
プと を含むことを特徴とする請求項１または２に記載の
画像の影除去方法。 - 【請求項４】 影を除去する前記ステップが、 前記画像にて、影の領域であると決定された領域及び、
該領域以外の領域にて同一色であるいずれかの部分の画
素分布をそれぞれ算出するステップと、 影の領域の画素分布を、算出した画素分布に応じた画素
分布へ変換するための変換関数を算出するステップと、 影の領域の画素分布を該変換関数により変換するステッ
プと を含むことを特徴とする請求項１または２ に記載の
画像の影除去方法。 - 【請求項５】 影を除去する前記ステップが、 前記画像にて、影の領域であると決定された影領域及
び、該領域以外の領域にて同一色である各部分の画素分
布をそれぞれ算出するステップと、 該画素分布に基づき、影の領域の各部分の画素分布を、
該領域以外の領域の同一色である部分の画素分布に応じ
た画素分布へ変換するための変換関数を算出するステッ
プと、 影の領域の前記各部分の画素分布を該変換関数により変
換するステップと を含むことを特徴とする請求項１また
は２ に記載の画像の影除去方法。 - 【請求項６】 三次元物体の写像を含む実写の画像の影
を除去する機能を備えた画像処理装置であって、 操作に従って、画像に含まれる三次元物体の写像に選択
された三次元モデルを重ね合わせて三次元モデルを該写
像に合致させる３Ｄモデル当てはめ手段と、 前記三次元モデルが重ね合わされた画像に含まれる三次
元物体の写像にて、ポインティングデバイスにより指定
された影が形成されている面に重ね合わされている三次
元モデルの面のデータ確保する影面指定手段と、 前記確保された三次元モデルの面のデータと指定された
光源の種類に基づいて、光源の位置を推定する光源位置
推定手段と、 前記推定された光源の位置により、前記三次元モデルに
対するレンダリングで影が形成される面を求め、該面が
重ね合わせられている面を前記画像の影の領域であると
決定する影領域決定手段と、 前記影の領域であると決定された領域から影を除去する
影除去手段と を備えたことを特徴とする画像処理装置。 - 【請求項７】 三次元物体の写像を含む実写の画像の影
を除去する機能を備えた画像処理装置であって、操作に従って、 画像に含まれる三次元物体の写像に選択
された三次元モデルを重ね合わせて三次元モデルを該写
像に合致させる３Ｄモデル当てはめ手段と、 前記三次元モデルが重ね合わされた画像に含まれる三次
元物体の写像上のポインティングデバイスにより指定さ
れた点及び、該点の影における三次元モデルの三次元座
標のデータを確保する頂点指定手段と、 前記確保された三次元物体の写像に重ね合わせられてい
る三次元モデルの三次元座標のデータ及び指定された光
源の種類に基づいて、光源の位置を推定する光源位置推
定手段と、 前記推定された位置の光源により、前記三次元モデルに
対するレンダリングで影が形成される領域を、前記画像
の影の領域であると決定する影領域決定手段と、 前記影の領域であると決定された領域から影を除去する
影除去手段と を備えたことを特徴とする画像処理装置。 - 【請求項８】 影を除去する前記手段が、 前記画像にて、影の領域であると決定された領域及び、
該領域以外の領域の画 素分布をそれぞれ算出する手段
と、 該画素分布に基づき、影の領域の画素分布を、該領域以
外の領域の画素分布に応じた画素分布へ変換するための
変換関数を算出する手段と、 影の領域の画素分布を該変換関数により変換する手段と
を備えたことを特徴とする請求項７または８に記載の 画
像処理装置。 - 【請求項９】 影を除去する前記手段が、 前記画像にて、影の領域であると決定された領域及び、
該領域以外の領域にて同一色であるいずれかの部分の画
素分布をそれぞれ算出する手段と、 影の領域の画素分布を、算出した画素分布に応じた画素
分布へ変換するための変換関数を算出する手段と、 影の領域の画素分布を該変換関数により変換する手段と
を備えたことを特徴とする請求項７または８に記載の 画
像処理装置。 - 【請求項１０】 影を除去する前記手段が、 前記画像にて、影の領域であると決定された影領域及
び、該領域以外の領域にて同一色である各部分の画素分
布をそれぞれ算出する手段と、 該画素分布に基づき、影の領域の各部分の画素分布を、
該領域以外の領域の同一色である部分の画素分布に応じ
た画素分布へ変換するための変換関数を算出する手段
と、 影の領域の前記各部分の画素分布を該変換関数により変
換する手段と を備えたことを特徴とする請求項７または
８に記載の画像処理装置。 - 【請求項１１】 三次元物体の写像を含む実写の画像の
影を除去する機能を備えた画像処理装置での読み取りが
可能な記録媒体において、 前記画像処理装置に、画像に含まれる三次元物体の写像
に選択された三次元モデルを重ね合わせて三次元モデル
に該写像を合致させる操作を受け付けさせるプログラム
コード手段と、 前記画像処理装置に、前記三次元モデルが重ね合わされ
た画像に含まれる三次元物体の写像にて、ポインティン
グデバイスにより指定された影が形成されている面に重
ね合わされている三次元モデルの面のデータを確保させ
るプログラムコード手段と、 前記画像処理装置に、前記確保された三次元モデルの面
のデータと指定された光源の種類に基づいて、光源の位
置を推定させるプログラムコード手段と、 前記画像処理装置に、前記推定された光源の位置によ
り、前記三次元モデルに対するレンダリングで影が形成
される面を求め、該面が重ね合わせられている面を前記
画像の影の領域であると決定させるプログラムコード手
段と、 前記画像処理装置に、前記影の領域であると決定された
領域から影を除去させるプログラムコード手段と を含む
ことを特徴とする記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15328098A JP3467725B2 (ja) | 1998-06-02 | 1998-06-02 | 画像の影除去方法、画像処理装置及び記録媒体 |
| US09/177,824 US6320578B1 (en) | 1998-06-02 | 1998-10-23 | Image shadow elimination method, image processing apparatus, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15328098A JP3467725B2 (ja) | 1998-06-02 | 1998-06-02 | 画像の影除去方法、画像処理装置及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11345319A JPH11345319A (ja) | 1999-12-14 |
| JP3467725B2 true JP3467725B2 (ja) | 2003-11-17 |
Family
ID=15559027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15328098A Expired - Fee Related JP3467725B2 (ja) | 1998-06-02 | 1998-06-02 | 画像の影除去方法、画像処理装置及び記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6320578B1 (ja) |
| JP (1) | JP3467725B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7098925B1 (en) * | 2000-03-10 | 2006-08-29 | Intel Corporation | Shading of images using texture |
| JP2001319246A (ja) * | 2000-05-02 | 2001-11-16 | Canon Inc | 情報処理方法及び装置 |
| WO2004081854A1 (en) * | 2003-03-06 | 2004-09-23 | Animetrics, Inc. | Viewpoint-invariant detection and identification of a three-dimensional object from two-dimensional imagery |
| US7643671B2 (en) * | 2003-03-24 | 2010-01-05 | Animetrics Inc. | Facial recognition system and method |
| US20050212794A1 (en) * | 2004-03-29 | 2005-09-29 | Communications Research Laboratory, Independent Administrative Institution | Method and apparatus for removing of shadows and shadings from texture images |
| WO2007142649A1 (en) | 2006-06-09 | 2007-12-13 | Thomson Licensing | Method and system for color correction using three-dimensional information |
| KR101342987B1 (ko) * | 2006-11-21 | 2013-12-18 | 톰슨 라이센싱 | 3ｄ 이미지의 컬러 보정을 위한 방법 및 시스템 |
| JP2008185354A (ja) | 2007-01-26 | 2008-08-14 | Nec Corp | 色識別装置および色識別方法 |
| JP4973447B2 (ja) * | 2007-10-25 | 2012-07-11 | 富士通株式会社 | 差異強調プログラム、差異強調処理方法及び差異強調処理装置 |
| US20100177095A1 (en) * | 2009-01-14 | 2010-07-15 | Harris Corporation | Geospatial modeling system for reducing shadows and other obscuration artifacts and related methods |
| JP5608511B2 (ja) * | 2010-10-25 | 2014-10-15 | 日立オムロンターミナルソリューションズ株式会社 | 画像補正装置および画像補正方法 |
| JP5976089B2 (ja) * | 2014-12-19 | 2016-08-23 | キヤノン株式会社 | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
| US10217242B1 (en) * | 2015-05-28 | 2019-02-26 | Certainteed Corporation | System for visualization of a building material |
| JP6503308B2 (ja) * | 2016-02-18 | 2019-04-17 | 富士通フロンテック株式会社 | 画像処理装置及び画像処理方法 |
| US20210134049A1 (en) * | 2017-08-08 | 2021-05-06 | Sony Corporation | Image processing apparatus and method |
| GB2569267A (en) * | 2017-10-13 | 2019-06-19 | Mo Sys Engineering Ltd | Lighting integration |
| US11195324B1 (en) | 2018-08-14 | 2021-12-07 | Certainteed Llc | Systems and methods for visualization of building structures |
| US10846834B2 (en) | 2019-02-20 | 2020-11-24 | United States Of America As Represented By The Secretary Of The Navy | Shadow brightening image enhancement |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3030485B2 (ja) | 1994-03-17 | 2000-04-10 | 富士通株式会社 | ３次元形状抽出方法及び装置 |
| JP3348167B2 (ja) | 1996-03-26 | 2002-11-20 | シャープ株式会社 | 画像２値化装置 |
| US5990901A (en) * | 1997-06-27 | 1999-11-23 | Microsoft Corporation | Model based image editing and correction |
-
1998
- 1998-06-02 JP JP15328098A patent/JP3467725B2/ja not_active Expired - Fee Related
- 1998-10-23 US US09/177,824 patent/US6320578B1/en not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 椎名秀一，渡辺正規，実画像に基づくＣＧモデリングツール ＳｋｅｔｃｈＶｉｓｉｏｎ，情報処理学会第４９回全国大会講演論文集，日本，情報処理学会，１９９４年 ９月２０日，Ｖｏｌ．４９ｔｈ，Ｎｏ．２，２−３８３，２−３８４ |
Also Published As
| Publication number | Publication date |
|---|---|
| US6320578B1 (en) | 2001-11-20 |
| JPH11345319A (ja) | 1999-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3467725B2 (ja) | 画像の影除去方法、画像処理装置及び記録媒体 | |
| US7365744B2 (en) | Methods and systems for image modification | |
| US5369736A (en) | Texture mapping method | |
| JP3634677B2 (ja) | 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体 | |
| JP3782709B2 (ja) | 画像生成の方法および装置 | |
| US7265761B2 (en) | Multilevel texture processing method for mapping multiple images onto 3D models | |
| US20110074784A1 (en) | Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-d images into stereoscopic 3-d images | |
| EP2089852A1 (en) | Methods and systems for color correction of 3d images | |
| JP2000067267A (ja) | 三次元シーンにおける形状及び模様の復元方法及び装置 | |
| US7102637B2 (en) | Method of seamless processing for merging 3D color images | |
| JP3626144B2 (ja) | 立体オブジェクトデータからの漫画的表現の２次元画像の生成方法および生成プログラム | |
| JP2832463B2 (ja) | ３次元モデルの再構成方法および表示方法 | |
| KR100602739B1 (ko) | 재귀적 제어선 정합을 이용한 반자동 필드 기반 영상 변형방법 | |
| JP2007272847A (ja) | 照明シミュレーション方法及び画像合成方法 | |
| US20010052907A1 (en) | Image merging apparatus and image merging method | |
| CN113744364B (zh) | 图像处理方法和装置 | |
| GB2369260A (en) | Generation of composite images by weighted summation of pixel values of the separate images | |
| JPH09212626A (ja) | 画像編集方法および編集装置 | |
| JP2973413B2 (ja) | コンピュータグラフィックスの照度計算方法及び表示装置 | |
| JP2001266176A (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| JPH05298460A (ja) | 貝殻質感表現装置 | |
| CN115937457B (zh) | 一种基于dem影像的实时地形素描方法 | |
| JP2001084408A (ja) | ３次元データ加工装置及び方法並びに記録媒体 | |
| JP2786261B2 (ja) | 色彩画像処理方法 | |
| JPH08287225A (ja) | 画像シミュレーション装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030812 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080905 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090905 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090905 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100905 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100905 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |