JP4331392B2 - 照明環境仮想変換装置 - Google Patents
照明環境仮想変換装置 Download PDFInfo
- Publication number
- JP4331392B2 JP4331392B2 JP2000317281A JP2000317281A JP4331392B2 JP 4331392 B2 JP4331392 B2 JP 4331392B2 JP 2000317281 A JP2000317281 A JP 2000317281A JP 2000317281 A JP2000317281 A JP 2000317281A JP 4331392 B2 JP4331392 B2 JP 4331392B2
- Authority
- JP
- Japan
- Prior art keywords
- illumination light
- spatial frequency
- incident direction
- image
- frequency spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像制作技術や画像合成装置に係わり、特に、映像の特殊効果装置や合成画像の作業効率向上及び画質改善のための装置に関するものである。
【０００２】
【従来の技術】
従来、映像制作現場において合成画像を作成する場合は、通常は撮像の段階で実際に照明光を移動、増減し、さらに照明光の輝度や拡散および色合いの程度等を調節することで効果的な合成結果を得ている。画像合成の段階で合成画像を作成する場合には、画像処理を用いて輝度や色の変換により微調整を行うこともある。
一方、第１段階として被撮像物体の３次元表面形状を推定し、第２段階としてこの形状に対し陰影処理を行うことで、仮想的に照明環境を変化させることができる。この場合に、入力画像から被撮像物体の３次元表面形状を求める手法としては、陰影情報に基づく手法（参考文献１：A.P.Pentland，Linear shape from shading，International Journal of Computer Vision，Vol.4，pp.153-162（1990）、参考文献２：K.M.Lee等，shape from shading with a linear triangular element surface model，IEEE Trans．PAMI，Vol.15，No.8，pp.815-822（Aug.1993））がある。さらに、照明環境や被撮像対象の反射特性に関する研究もある（参考文献３：B.K.P.Horn，Hill shading and the reflectance map，Proc．of IEEE，Vol.69，No.1，pp.14-47（Jan.1981））。参考文献１，２の手法は、形状を求めることのみを目的としており、照明環境を変化させるための手法ではない。しかし、参考文献３による情報とともにコンピュータグラフィクス技術を用いることで仮想的に照明環境を変化させることは理論上は可能である。
【０００３】
【発明が解決しようとする課題】
撮像の段階で照明光を実際に移動・増減することにより輝度・色等を変化させることは自然な合成画像や特殊効果を効果的に得るためには不可欠な作業である。
しかし、画像合成の素材の組み合わせによってそれぞれ適した照明環境が異なるため、一度撮影された画像素材を他の映像シーンに流用することは不適当であることが多い。
また、合成結果や映像効果が照明環境の不一致などにより所望のものでなかった場合には、再度撮影し直す必要がある。
従来の３次元形状推定と陰影処理の処理を用いて合成画像を得る場合には、２段階の処理を要するため演算量が大きかった。
本発明の目的は、既に撮像された画像の照明環境を仮想的に変換することが可能な技術を提供し、自然で作業効率のよい画像合成・特殊効果が可能で、被撮像対象の３次元形状を求めることなく、照明環境を変化させた場合の画像を少ない演算量で合成することが可能な技術を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【０００４】
【課題を解決するための手段】
本願において開示される発明の概要を簡単に説明すれば、下記のとおりである。
（１）入力画像を空間周波数スペクトルに写像するフーリエ変換手段と、被撮像対象の表面を完全拡散面でモデル化し、撮像時の照明光の入射方向の情報と所望の照明光の入射方向の情報から、入力画像と前記所望の照明光の入射方向での画像における空間周波数スペクトル間の関係を表わす伝達関数を計算する伝達関数生成手段と、前記フーリエ変換手段から出力された入力画像の空間周波数スペクトルに前記伝達関数生成手段が計算した前記伝達関数を掛け合わせて前記所望の照明光の入射方向における空間周波数スペクトルを求める掛け算手段と、前記掛け算手段が求めた前記所望の照明光の入射方向における空間周波数スペクトルを前記所望の照明光の入射方向における画像に変換する逆フーリエ変換手段と、を備える照明環境仮想変換装置である。
【０００５】
（２）照明光の入射方向が未知の入力画像を空間周波数スペクトルに写像するフーリエ変換手段と、前記フーリエ変換手段から出力された空間周波数スペクトルから撮影時の照明光の入射方向の情報を推定する照明環境推定手段と、被撮像対象の表面を完全拡散面でモデル化し、前記照明環境推定手段が推定した撮像時の照明光の入射方向の情報と所望の照明光の入射方向の情報から、入力画像と前記所望の照明光の入射方向での画像における空間周波数スペクトル間の関係を表わす伝達関数を計算する伝達関数生成手段と、前記フーリエ変換手段から出力された入力画像の空間周波数スペクトルに前記伝達関数生成手段が計算した前記伝達関数を掛け合わせて前記所望の照明光の入射方向における空間周波数スペクトルを求める掛け算手段と、前記掛け算手段が求めた前記所望の照明光の入射方向における空間周波数スペクトルを前記所望の照明光の入射方向における画像に変換する逆フーリエ変換手段と、を備える照明環境仮想変換装置である。
【０００８】
（３）入力画像を分割する手段と、分割された各部分画像ごとに前記（１）または（２）の照明環境仮想変換装置による処理を行い、照明環境や被撮像物体表面特性の異なる画像領域ごとの互いに独立した適応的な画像処理を行う画像処理手段と、を備える照明環境仮想変換装置である。
【０００９】
すなわち、本発明のポイントは、入力画像を空間周波数スペクトルに写像するフーリエ変換手段と、撮像時の照明環境の情報と所望の照明環境の情報から、入力画像と所望の仮想照明環境下での画像とにおける空間周波数スペクトル間の関係を表わす伝達関数を計算する伝達関数生成手段と、前記入力画像の空間周波数スペクトルに前記伝達関数を掛け合わせて仮想照明環境における空間周波数スペクトルを求める掛け算手段と、前記仮想照明環境における空間周波数スペクトルを仮想照明環境における画像に変換する逆フーリエ変換手段とを具備することである。
また、既に撮像された画像から照明環境を推定するために、照明環境推定手段を付加することもできる。
【００１０】
好ましくは、前記フーリエ変換手段及び前記逆フーリエ変換手段として、高速フーリエ変換アルゴリズム及び高速逆フーリエ変換アルゴリズムを用いる。これによって演算の高速化がなされる。
好適には、前記照明環境の記述に入射光の方向ベクトルを用いる。これによって前記照明環境推定手段を効率的に実行することができる。
本発明によれば、既に撮影された画像の照明環境から、再び撮影をすることなく別の照明環境における画像を生成することができるようになる。
【００１１】
以下に、本発明について、本発明による実施形態（実施例）とともに図面を参照して詳細に説明する。
なお、実施形態（実施例）を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００１２】
【発明の実施の形態】
（実施形態１）
図１は、本発明による実施形態１の照明環境仮想変換装置の概略構成を示すブロック図である。
本実施形態の照明環境仮想変換装置は、空間周波数領域におけるフィルタ処理によって入力画像を変換し、所望の照明環境で撮像された画像を仮想的に生成するものである。
図１に示すように、本実施形態の照明環境仮想変換装置は、画像信号を空間周波数スペクトルに変換するフーリエ変換回路１と、撮像時照明環境情報と所望照明環境情報から空間周波数伝達関数を生成する伝達関数生成回路２と、空間周波数スペクトルと空間周波数伝達関数の掛け算を行う掛け算回路３と、空間周波数スペクトルを画像に変換する逆フーリエ変換回路４とを具備する。
【００１３】
以下、本実施形態１の照明環境仮想変換装置の動作を説明する。
先ず、画像信号がフーリエ変換回路１に入力される。前記入力される画像は水平画素数Ｈ及び垂直画素数Ｖからなるものとし、画像座標（ｘ，ｙ）における輝度値をＩ（ｘ，ｙ）で表現する。
前記フーリエ変換回路１は、入力された画像を離散フーリエ変換する。入力画像を離散フーリエ変換した結果である空間周波数スペクトルをＳ（ｕ，ｖ）とする。ここで、ｕ及びｖはそれぞれ水平方向及び垂直方向の空間周波数とする。
【００１４】
前記伝達関数生成回路２は、入力された撮像時照明環境情報及び所望照明環境情報から空間周波数伝達関数を生成する。本実施形態１では、撮像時照明環境情報及び所望照明環境情報の表現方法として、被撮像対象における入射光の方向ベクトルを用いる。画像平面ｘｙに直交する光軸方向をｚ軸と定義し、撮像時照明環境情報である入射光単位ベクトルを（Ｌｘ，Ｌｙ，Ｌｚ）、所望照明環境情報である入射光単位ベクトルを（Ｍｘ，Ｍｙ，Ｍｚ）とする。被撮像対象の表面を完全拡散面でモデル化し、表面の向きと観測輝度の関係を線形近似することで得られる異照明環境間の空間周波数伝達関数をＴ（ｕ，ｖ）とすると、数１の式で定式化できる。
【００１５】
【数１】
【００１６】
参考文献１に記述されているＰentlandのＬinear Ｓhape from Ｓhadingで用いられているＷienerフィルタを応用すれば、前記数１の式における極の問題が避けられ、安定な結果が得られる。
【００１７】
【数２】
【００１８】
ただし、０.５＜ｄ＜０.７５とする。伝達関数生成回路２は、前記数１もしくは数２の式に記載のＴ（ｕ，ｖ）を出力する。
前記掛け算回路３は、空間周波数（ｕ，ｖ）の定義域において入力画像の空間周波数スペクトルＳ（ｕ，ｖ）と、空間周波数伝達関数Ｔ（ｕ，ｖ）の積を演算し、出力する。すなわち、出力をＳ’（ｕ，ｖ）とおくと、次の数３の式となる。
【００１９】
【数３】
Ｓ’（ｕ，ｖ）＝Ｔ（ｕ，ｖ）Ｓ（ｕ，ｖ）
前記逆フーリエ変換回路４は、Ｓ’（ｕ，ｖ）を離散逆フーリエ変換し、仮想的に照明環境を変換した画像Ｉ’（ｘ，ｙ）を出力する。
【００２０】
（実施形態２）
図２は、本発明による実施形態２の照明環境仮想変換装置の概略構成を示すブロック図である。
本実施形態２の照明環境仮想変換装置は、前記図１に示す本実施形態１の照明環境仮想変換装置に照明環境推定回路５を内蔵させることにより、未知の照明環境における照明環境仮想変換を可能としたものである。
入射光の方向が（Ｌｘ，Ｌｙ，Ｌｚ）であるとき、空間周波数スペクトルＳ（ｕ，ｖ）は直線Ｌｘｕ＋Ｌｙｖ＝０付近において零に近い値をとることから、照明環境推定回路５は、次の数４の式の演算により、Ｌｘ及びＬｙを変化させながら直線Ｌｘｕ＋Ｌｙｖ＝０付近における空間周波数スペクトルの絶対値｜Ｓ（ｕ，ｖ）｜の総和を最小化するＫｘ及びＫｙの対を求める。
【００２１】
【数４】
【００２２】
これにより、視覚的に重要な入射光ベクトルの視線直交成分が計算される。なお、閾値ｔは直線に若干の幅を持たせるためのパラメータである。照明環境推定回路５の出力（Ｌｘ，Ｌｙ，Ｌｚ）は、比例式Ｌｘ：Ｌｙ：Ｌｚ＝Ｋｘ：Ｋｙ：Ｋｚを満たす単位ベクトルとする。ここで、Ｌｚは推定不能であるため、適当な固定値とするか、調整パラメータの１つとして人が外部から入力するか、入力画像のコントラスト等から適宜決定するなどにより与える。
【００２３】
（実施形態３）
図３は、本発明による実施形態３の照明環境仮想変換装置の概略構成を示すブロック図である。
本実施形態３の照明環境仮想変換装置は、入力画像を領域分割回路９により撮像時の照明条件や物体色の異なる領域に分割し、分割された領域ごとに図２に示す照明環境仮想変換回路６の処理を行うことにより、画像の局所的な性質を反映し変換後の画質を向上するものである。
【００２４】
前記領域分割回路９は、入力画像信号の色やテクスチャなどの情報に基づいてＫ平均アルゴリズム（参考文献４：S.Z.Selim等，K-means-type algorithms，IEEE Trans．PAMI．Vol.6，No.1，pp.81-87，1984）などにより領域分割処理を行う。例えば、色の差と画素間の距離の自乗和の平方根で定義される距離を最小化するよう画像を分割する。分割された各領域は一般に不定形であるため、パディング回路１０−１、１０−２、…、１０−Ｎにより適宜数値を埋めることで矩形形状とする。埋め合わせる数値は任意であるが、好適には値を有する最近傍の画素値を用いる。前記パディング回路出力の画像は照明環境仮想変換回路６−１、６−２、…６−Ｎの画像信号入力７−１、７−２、…、７−Ｎに入力される。一方、所望照明環境情報は８−１、８−２、…、８−Ｎの各入力に入力される。照明環境仮想変換回路６−１、６−２、…、６−Ｎにより仮想的に照明環境を変換された画像は画像合成回路１１によって１枚の画像に合成され出力される。
【００２５】
以上、本発明者によってなされた発明を、前記実施形態に基づき具体的に説明したが、本発明は、前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００２６】
【発明の効果】
本願において開示される発明によって得られる効果を簡単に説明すれば、下記のとおりである。
本発明によれば、既に撮像された画像の照明環境を仮想的に変換することができ、自然で作業効率のよい画像合成・特殊効果が可能となる。
また、被撮像対象の３次元形状を求めることなく、照明環境を変化させた場合の画像を少ない演算量で合成することができる。
【図面の簡単な説明】
【図１】本発明による実施形態１の照明環境仮想変換装置の概略構成を示すブロック図である。
【図２】本発明による実施形態２の照明環境仮想変換装置の概略構成を示すブロック図である。
【図３】本発明による実施形態３の照明環境仮想変換装置の概略構成を示すブロック図である。
【符号の説明】
１…フーリエ変換回路
２…伝達関数生成回路
３…掛け算回路
４…逆フーリエ変換回路
５…照明環境推定回路
６，６−１，６−２，…，６−Ｎ…照明環境仮想変換回路
７，７−１，７−２，…，７−Ｎ…画像信号入力
８，８−１，８−２，…，８−Ｎ…所望照明環境情報入力
９…領域分割回路
１０，１０−１，１０−２，…，１０−Ｎ…パディング回路
１１…画像合成回路
【発明の属する技術分野】
本発明は、映像制作技術や画像合成装置に係わり、特に、映像の特殊効果装置や合成画像の作業効率向上及び画質改善のための装置に関するものである。
【０００２】
【従来の技術】
従来、映像制作現場において合成画像を作成する場合は、通常は撮像の段階で実際に照明光を移動、増減し、さらに照明光の輝度や拡散および色合いの程度等を調節することで効果的な合成結果を得ている。画像合成の段階で合成画像を作成する場合には、画像処理を用いて輝度や色の変換により微調整を行うこともある。
一方、第１段階として被撮像物体の３次元表面形状を推定し、第２段階としてこの形状に対し陰影処理を行うことで、仮想的に照明環境を変化させることができる。この場合に、入力画像から被撮像物体の３次元表面形状を求める手法としては、陰影情報に基づく手法（参考文献１：A.P.Pentland，Linear shape from shading，International Journal of Computer Vision，Vol.4，pp.153-162（1990）、参考文献２：K.M.Lee等，shape from shading with a linear triangular element surface model，IEEE Trans．PAMI，Vol.15，No.8，pp.815-822（Aug.1993））がある。さらに、照明環境や被撮像対象の反射特性に関する研究もある（参考文献３：B.K.P.Horn，Hill shading and the reflectance map，Proc．of IEEE，Vol.69，No.1，pp.14-47（Jan.1981））。参考文献１，２の手法は、形状を求めることのみを目的としており、照明環境を変化させるための手法ではない。しかし、参考文献３による情報とともにコンピュータグラフィクス技術を用いることで仮想的に照明環境を変化させることは理論上は可能である。
【０００３】
【発明が解決しようとする課題】
撮像の段階で照明光を実際に移動・増減することにより輝度・色等を変化させることは自然な合成画像や特殊効果を効果的に得るためには不可欠な作業である。
しかし、画像合成の素材の組み合わせによってそれぞれ適した照明環境が異なるため、一度撮影された画像素材を他の映像シーンに流用することは不適当であることが多い。
また、合成結果や映像効果が照明環境の不一致などにより所望のものでなかった場合には、再度撮影し直す必要がある。
従来の３次元形状推定と陰影処理の処理を用いて合成画像を得る場合には、２段階の処理を要するため演算量が大きかった。
本発明の目的は、既に撮像された画像の照明環境を仮想的に変換することが可能な技術を提供し、自然で作業効率のよい画像合成・特殊効果が可能で、被撮像対象の３次元形状を求めることなく、照明環境を変化させた場合の画像を少ない演算量で合成することが可能な技術を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【０００４】
【課題を解決するための手段】
本願において開示される発明の概要を簡単に説明すれば、下記のとおりである。
（１）入力画像を空間周波数スペクトルに写像するフーリエ変換手段と、被撮像対象の表面を完全拡散面でモデル化し、撮像時の照明光の入射方向の情報と所望の照明光の入射方向の情報から、入力画像と前記所望の照明光の入射方向での画像における空間周波数スペクトル間の関係を表わす伝達関数を計算する伝達関数生成手段と、前記フーリエ変換手段から出力された入力画像の空間周波数スペクトルに前記伝達関数生成手段が計算した前記伝達関数を掛け合わせて前記所望の照明光の入射方向における空間周波数スペクトルを求める掛け算手段と、前記掛け算手段が求めた前記所望の照明光の入射方向における空間周波数スペクトルを前記所望の照明光の入射方向における画像に変換する逆フーリエ変換手段と、を備える照明環境仮想変換装置である。
【０００５】
（２）照明光の入射方向が未知の入力画像を空間周波数スペクトルに写像するフーリエ変換手段と、前記フーリエ変換手段から出力された空間周波数スペクトルから撮影時の照明光の入射方向の情報を推定する照明環境推定手段と、被撮像対象の表面を完全拡散面でモデル化し、前記照明環境推定手段が推定した撮像時の照明光の入射方向の情報と所望の照明光の入射方向の情報から、入力画像と前記所望の照明光の入射方向での画像における空間周波数スペクトル間の関係を表わす伝達関数を計算する伝達関数生成手段と、前記フーリエ変換手段から出力された入力画像の空間周波数スペクトルに前記伝達関数生成手段が計算した前記伝達関数を掛け合わせて前記所望の照明光の入射方向における空間周波数スペクトルを求める掛け算手段と、前記掛け算手段が求めた前記所望の照明光の入射方向における空間周波数スペクトルを前記所望の照明光の入射方向における画像に変換する逆フーリエ変換手段と、を備える照明環境仮想変換装置である。
【０００８】
（３）入力画像を分割する手段と、分割された各部分画像ごとに前記（１）または（２）の照明環境仮想変換装置による処理を行い、照明環境や被撮像物体表面特性の異なる画像領域ごとの互いに独立した適応的な画像処理を行う画像処理手段と、を備える照明環境仮想変換装置である。
【０００９】
すなわち、本発明のポイントは、入力画像を空間周波数スペクトルに写像するフーリエ変換手段と、撮像時の照明環境の情報と所望の照明環境の情報から、入力画像と所望の仮想照明環境下での画像とにおける空間周波数スペクトル間の関係を表わす伝達関数を計算する伝達関数生成手段と、前記入力画像の空間周波数スペクトルに前記伝達関数を掛け合わせて仮想照明環境における空間周波数スペクトルを求める掛け算手段と、前記仮想照明環境における空間周波数スペクトルを仮想照明環境における画像に変換する逆フーリエ変換手段とを具備することである。
また、既に撮像された画像から照明環境を推定するために、照明環境推定手段を付加することもできる。
【００１０】
好ましくは、前記フーリエ変換手段及び前記逆フーリエ変換手段として、高速フーリエ変換アルゴリズム及び高速逆フーリエ変換アルゴリズムを用いる。これによって演算の高速化がなされる。
好適には、前記照明環境の記述に入射光の方向ベクトルを用いる。これによって前記照明環境推定手段を効率的に実行することができる。
本発明によれば、既に撮影された画像の照明環境から、再び撮影をすることなく別の照明環境における画像を生成することができるようになる。
【００１１】
以下に、本発明について、本発明による実施形態（実施例）とともに図面を参照して詳細に説明する。
なお、実施形態（実施例）を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００１２】
【発明の実施の形態】
（実施形態１）
図１は、本発明による実施形態１の照明環境仮想変換装置の概略構成を示すブロック図である。
本実施形態の照明環境仮想変換装置は、空間周波数領域におけるフィルタ処理によって入力画像を変換し、所望の照明環境で撮像された画像を仮想的に生成するものである。
図１に示すように、本実施形態の照明環境仮想変換装置は、画像信号を空間周波数スペクトルに変換するフーリエ変換回路１と、撮像時照明環境情報と所望照明環境情報から空間周波数伝達関数を生成する伝達関数生成回路２と、空間周波数スペクトルと空間周波数伝達関数の掛け算を行う掛け算回路３と、空間周波数スペクトルを画像に変換する逆フーリエ変換回路４とを具備する。
【００１３】
以下、本実施形態１の照明環境仮想変換装置の動作を説明する。
先ず、画像信号がフーリエ変換回路１に入力される。前記入力される画像は水平画素数Ｈ及び垂直画素数Ｖからなるものとし、画像座標（ｘ，ｙ）における輝度値をＩ（ｘ，ｙ）で表現する。
前記フーリエ変換回路１は、入力された画像を離散フーリエ変換する。入力画像を離散フーリエ変換した結果である空間周波数スペクトルをＳ（ｕ，ｖ）とする。ここで、ｕ及びｖはそれぞれ水平方向及び垂直方向の空間周波数とする。
【００１４】
前記伝達関数生成回路２は、入力された撮像時照明環境情報及び所望照明環境情報から空間周波数伝達関数を生成する。本実施形態１では、撮像時照明環境情報及び所望照明環境情報の表現方法として、被撮像対象における入射光の方向ベクトルを用いる。画像平面ｘｙに直交する光軸方向をｚ軸と定義し、撮像時照明環境情報である入射光単位ベクトルを（Ｌｘ，Ｌｙ，Ｌｚ）、所望照明環境情報である入射光単位ベクトルを（Ｍｘ，Ｍｙ，Ｍｚ）とする。被撮像対象の表面を完全拡散面でモデル化し、表面の向きと観測輝度の関係を線形近似することで得られる異照明環境間の空間周波数伝達関数をＴ（ｕ，ｖ）とすると、数１の式で定式化できる。
【００１５】
【数１】
参考文献１に記述されているＰentlandのＬinear Ｓhape from Ｓhadingで用いられているＷienerフィルタを応用すれば、前記数１の式における極の問題が避けられ、安定な結果が得られる。
【００１７】
【数２】
ただし、０.５＜ｄ＜０.７５とする。伝達関数生成回路２は、前記数１もしくは数２の式に記載のＴ（ｕ，ｖ）を出力する。
前記掛け算回路３は、空間周波数（ｕ，ｖ）の定義域において入力画像の空間周波数スペクトルＳ（ｕ，ｖ）と、空間周波数伝達関数Ｔ（ｕ，ｖ）の積を演算し、出力する。すなわち、出力をＳ’（ｕ，ｖ）とおくと、次の数３の式となる。
【００１９】
【数３】
Ｓ’（ｕ，ｖ）＝Ｔ（ｕ，ｖ）Ｓ（ｕ，ｖ）
前記逆フーリエ変換回路４は、Ｓ’（ｕ，ｖ）を離散逆フーリエ変換し、仮想的に照明環境を変換した画像Ｉ’（ｘ，ｙ）を出力する。
【００２０】
（実施形態２）
図２は、本発明による実施形態２の照明環境仮想変換装置の概略構成を示すブロック図である。
本実施形態２の照明環境仮想変換装置は、前記図１に示す本実施形態１の照明環境仮想変換装置に照明環境推定回路５を内蔵させることにより、未知の照明環境における照明環境仮想変換を可能としたものである。
入射光の方向が（Ｌｘ，Ｌｙ，Ｌｚ）であるとき、空間周波数スペクトルＳ（ｕ，ｖ）は直線Ｌｘｕ＋Ｌｙｖ＝０付近において零に近い値をとることから、照明環境推定回路５は、次の数４の式の演算により、Ｌｘ及びＬｙを変化させながら直線Ｌｘｕ＋Ｌｙｖ＝０付近における空間周波数スペクトルの絶対値｜Ｓ（ｕ，ｖ）｜の総和を最小化するＫｘ及びＫｙの対を求める。
【００２１】
【数４】
これにより、視覚的に重要な入射光ベクトルの視線直交成分が計算される。なお、閾値ｔは直線に若干の幅を持たせるためのパラメータである。照明環境推定回路５の出力（Ｌｘ，Ｌｙ，Ｌｚ）は、比例式Ｌｘ：Ｌｙ：Ｌｚ＝Ｋｘ：Ｋｙ：Ｋｚを満たす単位ベクトルとする。ここで、Ｌｚは推定不能であるため、適当な固定値とするか、調整パラメータの１つとして人が外部から入力するか、入力画像のコントラスト等から適宜決定するなどにより与える。
【００２３】
（実施形態３）
図３は、本発明による実施形態３の照明環境仮想変換装置の概略構成を示すブロック図である。
本実施形態３の照明環境仮想変換装置は、入力画像を領域分割回路９により撮像時の照明条件や物体色の異なる領域に分割し、分割された領域ごとに図２に示す照明環境仮想変換回路６の処理を行うことにより、画像の局所的な性質を反映し変換後の画質を向上するものである。
【００２４】
前記領域分割回路９は、入力画像信号の色やテクスチャなどの情報に基づいてＫ平均アルゴリズム（参考文献４：S.Z.Selim等，K-means-type algorithms，IEEE Trans．PAMI．Vol.6，No.1，pp.81-87，1984）などにより領域分割処理を行う。例えば、色の差と画素間の距離の自乗和の平方根で定義される距離を最小化するよう画像を分割する。分割された各領域は一般に不定形であるため、パディング回路１０−１、１０−２、…、１０−Ｎにより適宜数値を埋めることで矩形形状とする。埋め合わせる数値は任意であるが、好適には値を有する最近傍の画素値を用いる。前記パディング回路出力の画像は照明環境仮想変換回路６−１、６−２、…６−Ｎの画像信号入力７−１、７−２、…、７−Ｎに入力される。一方、所望照明環境情報は８−１、８−２、…、８−Ｎの各入力に入力される。照明環境仮想変換回路６−１、６−２、…、６−Ｎにより仮想的に照明環境を変換された画像は画像合成回路１１によって１枚の画像に合成され出力される。
【００２５】
以上、本発明者によってなされた発明を、前記実施形態に基づき具体的に説明したが、本発明は、前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００２６】
【発明の効果】
本願において開示される発明によって得られる効果を簡単に説明すれば、下記のとおりである。
本発明によれば、既に撮像された画像の照明環境を仮想的に変換することができ、自然で作業効率のよい画像合成・特殊効果が可能となる。
また、被撮像対象の３次元形状を求めることなく、照明環境を変化させた場合の画像を少ない演算量で合成することができる。
【図面の簡単な説明】
【図１】本発明による実施形態１の照明環境仮想変換装置の概略構成を示すブロック図である。
【図２】本発明による実施形態２の照明環境仮想変換装置の概略構成を示すブロック図である。
【図３】本発明による実施形態３の照明環境仮想変換装置の概略構成を示すブロック図である。
【符号の説明】
１…フーリエ変換回路
２…伝達関数生成回路
３…掛け算回路
４…逆フーリエ変換回路
５…照明環境推定回路
６，６−１，６−２，…，６−Ｎ…照明環境仮想変換回路
７，７−１，７−２，…，７−Ｎ…画像信号入力
８，８−１，８−２，…，８−Ｎ…所望照明環境情報入力
９…領域分割回路
１０，１０−１，１０−２，…，１０−Ｎ…パディング回路
１１…画像合成回路
Claims (3)
- 入力画像を空間周波数スペクトルに写像するフーリエ変換手段と、
被撮像対象の表面を完全拡散面でモデル化し、撮像時の照明光の入射方向の情報と所望の照明光の入射方向の情報から、入力画像と前記所望の照明光の入射方向での画像における空間周波数スペクトル間の関係を表わす伝達関数を計算する伝達関数生成手段と、
前記フーリエ変換手段から出力された入力画像の空間周波数スペクトルに前記伝達関数生成手段が計算した前記伝達関数を掛け合わせて前記所望の照明光の入射方向における空間周波数スペクトルを求める掛け算手段と、
前記掛け算手段が求めた前記所望の照明光の入射方向における空間周波数スペクトルを前記所望の照明光の入射方向における画像に変換する逆フーリエ変換手段と、
を備えることを特徴とする照明環境仮想変換装置。 - 照明光の入射方向が未知の入力画像を空間周波数スペクトルに写像するフーリエ変換手段と、
前記フーリエ変換手段から出力された空間周波数スペクトルから撮影時の照明光の入射方向の情報を推定する照明環境推定手段と、
被撮像対象の表面を完全拡散面でモデル化し、前記照明環境推定手段が推定した撮像時の照明光の入射方向の情報と所望の照明光の入射方向の情報から、入力画像と前記所望の照明光の入射方向での画像における空間周波数スペクトル間の関係を表わす伝達関数を計算する伝達関数生成手段と、
前記フーリエ変換手段から出力された入力画像の空間周波数スペクトルに前記伝達関数生成手段が計算した前記伝達関数を掛け合わせて前記所望の照明光の入射方向における空間周波数スペクトルを求める掛け算手段と、
前記掛け算手段が求めた前記所望の照明光の入射方向における空間周波数スペクトルを前記所望の照明光の入射方向における画像に変換する逆フーリエ変換手段と、
を備えることを特徴とする照明環境仮想変換装置。 - 入力画像を分割する手段と、
分割された各部分画像ごとに請求項１または請求項２に記載の照明環境仮想変換装置による処理を行い、照明環境や被撮像物体表面特性の異なる画像領域ごとの互いに独立した適応的な画像処理を行う画像処理手段と、
を備えることを特徴とする照明環境仮想変換装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000317281A JP4331392B2 (ja) | 2000-10-18 | 2000-10-18 | 照明環境仮想変換装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000317281A JP4331392B2 (ja) | 2000-10-18 | 2000-10-18 | 照明環境仮想変換装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002123830A JP2002123830A (ja) | 2002-04-26 |
| JP4331392B2 true JP4331392B2 (ja) | 2009-09-16 |
Family
ID=18796092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000317281A Expired - Fee Related JP4331392B2 (ja) | 2000-10-18 | 2000-10-18 | 照明環境仮想変換装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4331392B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8976191B1 (en) * | 2014-03-13 | 2015-03-10 | Qualcomm Incorporated | Creating a realistic color for a virtual object in an augmented reality environment |
| JP6432182B2 (ja) | 2014-07-02 | 2018-12-05 | 富士通株式会社 | サービス提供装置、方法、及びプログラム |
| JP6412386B2 (ja) * | 2014-09-26 | 2018-10-24 | キヤノン株式会社 | 画像処理装置およびその制御方法、プログラムならびに記録媒体 |
| KR101488647B1 (ko) | 2014-10-30 | 2015-02-04 | 권오형 | 모바일 단말의 가상 조명 동작방법 및 장치 |
| JP6796763B2 (ja) * | 2016-08-30 | 2020-12-09 | パナソニックＩｐマネジメント株式会社 | 照明空間シミュレーション装置及び照明空間シミュレーション方法 |
| KR102085701B1 (ko) * | 2017-04-20 | 2020-03-06 | 에스케이텔레콤 주식회사 | 이미지를 렌더링하는 방법 |
| WO2022215163A1 (ja) * | 2021-04-06 | 2022-10-13 | 日本電信電話株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2000
- 2000-10-18 JP JP2000317281A patent/JP4331392B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002123830A (ja) | 2002-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3996630B2 (ja) | 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、画像変換プログラム、影認識方法および影認識装置 | |
| CN103426163B (zh) | 用于渲染受影响的像素的系统和方法 | |
| JP5465323B2 (ja) | 物体の３次元モデルを生成する方法 | |
| JP4328424B2 (ja) | 画像変換方法 | |
| JP2008181520A (ja) | 復元された顔画像をビデオから再構成するシステムおよび方法 | |
| CN111260580B (zh) | 图像去噪方法、计算机装置及计算机可读存储介质 | |
| JP2002077645A (ja) | 画像処理装置 | |
| JP4331392B2 (ja) | 照明環境仮想変換装置 | |
| CN109074637A (zh) | 用于从多个相应的输入图像通道生成输出图像的方法和系统 | |
| CN114640885B (zh) | 视频插帧方法、训练方法、装置和电子设备 | |
| JPH08123969A (ja) | マッピング装置 | |
| JP4370672B2 (ja) | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 | |
| JP2001014454A (ja) | 画像処理装置 | |
| JP4173705B2 (ja) | 動画像合成方法および装置並びにプログラム | |
| JP4030655B2 (ja) | 階調変換方法および装置 | |
| Torreao et al. | Single-image shape from defocus | |
| WO2011015029A1 (zh) | 基于参数化的快速梯度网格图像矢量化方法及其系统 | |
| JP2883648B2 (ja) | 画像入出力装置 | |
| JP2916607B2 (ja) | 画像拡大装置 | |
| JP4740481B2 (ja) | ３次元画像情報生成装置、３次元画像情報生成方法並びに３次元画像情報生成プログラム | |
| JP2004152148A (ja) | 動画像合成方法および装置並びにプログラム | |
| JP2011182366A (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
| Valkenburg et al. | Seamless texture map generation from multiple images | |
| JP4571370B2 (ja) | 動画像合成方法および装置並びにプログラム並びにデジタルカメラ | |
| CN117274079A (zh) | 一种低亮度图像增强系统及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090224 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090526 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090618 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120626 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130626 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140626 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |