JP3459981B2 - 拡散および鏡面反射成分の分離方法 - Google Patents

拡散および鏡面反射成分の分離方法

Info

Publication number
JP3459981B2
JP3459981B2 JP2000211131A JP2000211131A JP3459981B2 JP 3459981 B2 JP3459981 B2 JP 3459981B2 JP 2000211131 A JP2000211131 A JP 2000211131A JP 2000211131 A JP2000211131 A JP 2000211131A JP 3459981 B2 JP3459981 B2 JP 3459981B2
Authority
JP
Japan
Prior art keywords
specular reflection
diffuse
singular value
reflection components
components
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2000211131A
Other languages
English (en)
Other versions
JP2002024818A (ja
Inventor
伸二 梅山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Institute of Advanced Industrial Science and Technology AIST filed Critical National Institute of Advanced Industrial Science and Technology AIST
Priority to JP2000211131A priority Critical patent/JP3459981B2/ja
Publication of JP2002024818A publication Critical patent/JP2002024818A/ja
Application granted granted Critical
Publication of JP3459981B2 publication Critical patent/JP3459981B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】 【0001】 【発明の属する技術分野】本発明は、物体の見えに含ま
れる拡散および鏡面反射成分を、両成分間の確率的独立
性を手がかりとして分離する拡散および鏡面反射成分の
分離方法に関する。 【0002】 【従来の技術】物体の「見え」は、光源からの光が物体
表面で反射することによって作られる。2色性反射モデ
ルによれば、物体表面での光の反射は、拡散反射と鏡面
反射の二つの成分の和で表現される。拡散反射成分が物
体表面形状を直接的に反映するのに対して、鏡面反射成
分は物体表面の限られた領域で非常に強く観測されるの
が特徴である。 【0003】鏡面反射は、物体を観測する場合に、しば
しば邪魔になる。例えば、 1. 水面ごしに水中の様子を観測したいが、水面からの
鏡面反射に邪魔されて良好に観測できない。 2. 自動車の窓ガラスごしに、その内部を撮影したい
が、ガラスからの鏡面反射に邪魔されて良好に観測でき
ない。 3. 多くの画像処理アルゴリズムは、拡散反射成分のみ
が観測されることを前提としている。このため、鏡面反
射成分が存在すると処理誤りの原因となる。 【0004】鏡面反射成分は多くの場合偏光しているた
め、偏光フィルタを用いることにより、全体輝度に対す
るその成分比を様々に変化させて観測することが可能で
ある図1は、このような観測をするための観測構成図で
あり、その観測例を図2に示している。偏光フィルタの
回転角度を、鏡面反射成分が最小となるように設定して
観測するというのが従来の手法であり、そのリアルタイ
ム化に向けての技術開発などが行なわれている(例え
ば、http://www.strl.nhk.or.jp/newstopics/research-
j.html#i9806) しかし、このような手法では、物体と光源およびカメラ
の位置関係が特別な場合(ブリュースター角を構成する
場合)には、鏡面反射成分を完全に 0 にできるが、一般
の位置関係では、ある程度の成分が残存してしまう(図
2の左上図)。 【0005】 【発明が解決しようとする課題】本発明は、拡散/鏡面
反射両成分相互の確率的独立性が高いという性質を利用
して、拡散/鏡面反射成分の分離を行なうことにより、
一般的な光源等の位置関係においても、ほぼ完全な両成
分の分離を可能とすることを目的としている。 【0006】 【課題を解決するための手段】本発明の拡散および鏡面
反射成分の分離方法は、以下のステップ1〜ステップ5
から成る。 ステップ1:偏光フィルタを回転させることにより、様
々な鏡面反射の強さを持つ観測対象の画像を複数観測す
る。 ステップ2:この観測した複数の画像から、鏡面反射成
分が多く含まれる部分を選択する。 ステップ3:得られた画像集合の矩形領域集合に対して
特異値分解を行ない、最大特異値とその次の大きさの特
異値に対応する成分を選択する。 ステップ4:特異値分解を行った矩形画像集合を拡散/
反射成分に変換する変換行列を決定する。 ステップ5:この変換行列を画像全体に適用することに
より、画像全体の拡散/鏡面反射成分の分解をする。 【0007】 【発明の実施の形態】図4は、本発明の処理ブロック図
である。ステップ1において、図1の観測構成により、
偏光フィルタを回転させることにより、様々な鏡面反射
の強さを持つ画像を複数観測する。図2は、観測した画
像を示している。 【0008】ステップ2において、この複数の画像か
ら、鏡面反射成分が多く含まれる部分を選択する。図2
においては、右下図に示された矩形領域を選択する。偏
光フィルタを回転させながら反射光を観測した場合、得
られる画像は、偏光フィルタの回転角度に応じて次のよ
うに変化する。 【0009】 【数1】 拡散/鏡面反射画像である。観測画像Iはそれらの線形
和となり、その係数は偏光フィルタ回転角に依存する。
係数の値は、光源、物体、カメラの幾何学的関係と、偏
光フィルタの偏光軸方向が分からなければ未知である。 【0010】ステップ3において、得られた画像集合の
矩形領域集合に対して特異値分解を行ない、最大特異値
とその次の大きさの特異値に対応する成分を選択する。
これは、画像集合の主成分分析を行ない、第一主成分と
第二主成分を取り出すことに等しい。具体的には、選ば
れた矩形領域をラスタ順序にスキャンして行ベクトル
とし、これらを縦に並べた行列をXとする。 【0011】 【数2】 また、選ばれた矩形領域の拡散反射成分dおよび鏡面反
射成分sをやはり行ベクトルとして並べたものをSとす
る。 【0012】 【数3】式(1)から係数行列をAとして、 【数4】 次の関係が成立する。 【0013】 【数5】 拡散/鏡面反射成分の分離とは、観測行列XをA、Sの
積に分解することである。さて、行列SおよびAは階数
2であるから,行列Xを階数2の行列で近似し、それを
さらに2つの行列へと分解することを考える。一般に、
行列を低い階数の行列で(最小2乗の意味で)近似し、ま
たそれを2つの行列の積で表現すること(最大階数分解)
は、行列の特異値分解を利用することで可能である。行
列Xの特異値分解をX = UDVTとすると、このような分解
は次のように書ける。 【0014】 【数6】 ここでXの特異値をσ1≧σ2≧・・・≧σMとして、 【数7】 に対応する固有ベクトルのみを選んだものである。ま
た,Wは任意の 2×2正則行列である。これから、Aお
よびSの推定として 【数8】 が得られる. 【0015】次に、ステップ4において、矩形画像集合
を拡散/反射成分に変換する変換行列を決定する。以下
では、 【数9】 の決定を行うことにより、矩形画像集合を拡散/反射成
分に変換する変換行列を決定する。 【0016】まずモデルの式(1)から、Aの第一列ベク
トルは要素1のみからなるベクトルであるから、式
(7)の第一列ベクトルが、これにできるだけ近くなる
ようにWを定める。このため、次式を最小化するa、bを
求める。 【数10】 【数11】 となる。 【0017】次に c、dを定める。 【数12】 とすると、Wの行列式 Δは 【数13】 となる。 【0018】ここで、Δの絶対値は推定される鏡面反射
成分のスケールに対応する。式(1)からわかるように、
鏡面反射成分とその係数f(ψ)との間には不定性がある
ため、一般性を失わず|Δ| = 1とできる。この結果、β
を定めると、r2、つまりWが式(13)から定まり、β
を変化させながら拡散/鏡面反射成を推定し(式(8))、
相互の確率的独立性を相互情報量によって評価する。相
互情報量が最小となる点を拡散/鏡面反射成分の推定値
として採用する。相互情報量はデータの符号の反転に関
して不変であるから、βの探索範囲としては0からπの
範囲で良く、符号が反転した場合には、鏡面反射成分は
正であるという条件を用いて修正する。以上から、Wが
定まり、従って行列A’が定まる。A’の逆行列が矩形
画像集合を拡散/反射成分に変換する変換行列である。 【0019】ステップ5において、変換行列を画像全体
に適用することにより、画像全体の拡散/鏡面反射成分
の分解ができる。図3に、分解した拡散/鏡面反射成分
の画像を例示する。 【0020】 【発明の効果】本発明は、拡散/鏡面反射両成分相互の
確率的独立性が高いという性質を利用して、拡散/鏡面
反射成分の分離を行なうことにより、一般的な光源等の
位置関係においても、ほぼ完全な両成分の分離を行うこ
とができるという効果を生じる。
【図面の簡単な説明】 【図1】観測構成を例示する図である。 【図2】図1の観測構成により、偏光フィルタを回転さ
せることにより観測した様々な鏡面反射の強さを持つ複
数の画像を例示する図である。 【図3】分解した拡散/鏡面反射成分の画像を例示する
例示する図である。 【図4】本発明の処理ブロック図である。
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平6−187443(JP,A) 特開 平6−51921(JP,A) 特開 平11−175702(JP,A) 特開2000−315257(JP,A) 梅山伸二 外1名,確率的独立性を手 がかりとした物体の見えからの拡散/鏡 面反射成分の分離,電子情報通信学会技 術研究報告,日本,社団法人電子情報通 信学会,2000年 6月16日,PRMU 2000−35〜40,p.41−48 (58)調査した分野(Int.Cl.7,DB名) G06T 1/00 - 7/60 G03B 41/04 - 41/12

Claims (1)

  1. (57)【特許請求の範囲】 【請求項1】 偏光フィルタを回転させることにより、
    様々な鏡面反射の強さを持つ観測対象の画像を複数観測
    し、 この観測した複数の画像から、鏡面反射成分が多く含ま
    れる部分を選択し、 得られた画像集合の矩形領域集合に対して特異値分解を
    行ない、最大特異値とその次の大きさの特異値に対応す
    る成分を選択し、 特異値分解を行った矩形画像集合を拡散/鏡面反射成分
    に変換する変換行列を決定し、 この変換行列を画像全体に適用することにより、画像全
    体の拡散/鏡面反射成分の分解をする、ことから成る拡
    散および鏡面反射成分の分離方法。
JP2000211131A 2000-07-12 2000-07-12 拡散および鏡面反射成分の分離方法 Expired - Lifetime JP3459981B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000211131A JP3459981B2 (ja) 2000-07-12 2000-07-12 拡散および鏡面反射成分の分離方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000211131A JP3459981B2 (ja) 2000-07-12 2000-07-12 拡散および鏡面反射成分の分離方法

Publications (2)

Publication Number Publication Date
JP2002024818A JP2002024818A (ja) 2002-01-25
JP3459981B2 true JP3459981B2 (ja) 2003-10-27

Family

ID=18707296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000211131A Expired - Lifetime JP3459981B2 (ja) 2000-07-12 2000-07-12 拡散および鏡面反射成分の分離方法

Country Status (1)

Country Link
JP (1) JP3459981B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7203362B2 (en) 2004-07-26 2007-04-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and image processing program
US7626585B2 (en) 2005-09-01 2009-12-01 Panasonic Corporation Image processing method, image processor, and image processing program
US7688363B2 (en) 2006-05-29 2010-03-30 Panasonic Corporation Super-resolution device, super-resolution method, super-resolution program, and super-resolution system
CN107688244A (zh) * 2017-10-10 2018-02-13 联想(北京)有限公司 一种成像系统以及成像方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2202688B1 (en) 2007-02-13 2013-11-20 Panasonic Corporation System, method and apparatus for image processing and image format
RU2009107141A (ru) 2007-08-07 2010-09-10 Панасоник Корпорэйшн (Jp) Устройство формирования информации нормальных векторов и способ формирования информации нормальных векторов
JP4308319B2 (ja) 2007-08-07 2009-08-05 パナソニック株式会社 画像処理装置および画像処理方法
WO2009157129A1 (ja) * 2008-06-26 2009-12-30 パナソニック株式会社 画像処理装置、画像分割プログラムおよび画像合成方法
US8508646B2 (en) 2008-12-22 2013-08-13 Apple Inc. Camera with internal polarizing filter

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0651921A (ja) * 1992-01-14 1994-02-25 Mitsubishi Electric Corp 赤外線撮像装置
JPH06187443A (ja) * 1992-09-14 1994-07-08 Nippon Telegr & Teleph Corp <Ntt> 反射成分を用いたカラー画像のハイライト領域抽出装置およびカラー画像変換装置
JP3341664B2 (ja) * 1997-12-15 2002-11-05 トヨタ自動車株式会社 車両用ライン検出装置及び路上ライン検出方法並びにプログラムを記録した媒体
JP2000315257A (ja) * 1999-04-30 2000-11-14 Shiseido Co Ltd 皮膚状態の三次元画像生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
梅山伸二 外1名,確率的独立性を手がかりとした物体の見えからの拡散/鏡面反射成分の分離,電子情報通信学会技術研究報告,日本,社団法人電子情報通信学会,2000年 6月16日,PRMU2000−35〜40,p.41−48

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7203362B2 (en) 2004-07-26 2007-04-10 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and image processing program
US7236630B2 (en) 2004-07-26 2007-06-26 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and image processing program
US7626585B2 (en) 2005-09-01 2009-12-01 Panasonic Corporation Image processing method, image processor, and image processing program
US7688363B2 (en) 2006-05-29 2010-03-30 Panasonic Corporation Super-resolution device, super-resolution method, super-resolution program, and super-resolution system
US7893971B2 (en) 2006-05-29 2011-02-22 Panasonic Corporation Light source estimation device that captures light source images when it is determined that the imaging device is not being used by the cameraman
CN107688244A (zh) * 2017-10-10 2018-02-13 联想(北京)有限公司 一种成像系统以及成像方法

Also Published As

Publication number Publication date
JP2002024818A (ja) 2002-01-25

Similar Documents

Publication Publication Date Title
US10282866B2 (en) Texture replacement in video sequences and images
EP1045586B1 (en) Image processing apparatus
Hayakawa Photometric stereo under a light source with arbitrary motion
US8619098B2 (en) Methods and apparatuses for generating co-salient thumbnails for digital images
US7257272B2 (en) Virtual image generation
Zhang et al. Color demosaicking by local directional interpolation and nonlocal adaptive thresholding
CN108965742B (zh) 异形屏显示方法、装置、电子设备及计算机可读存储介质
US20030231806A1 (en) Perceptual similarity image retrieval
US6393162B1 (en) Image synthesizing apparatus
Kovacevic et al. Deinterlacing by successive approximation
US20050232509A1 (en) Virtual image artifact detection
JP3459981B2 (ja) 拡散および鏡面反射成分の分離方法
CN113191953A (zh) 一种基于Transformer的人脸图像超分辨的方法
US20120133780A1 (en) Camera calibration with lens distortion from low-rank textures
US20040096120A1 (en) System and method for synthesis of bidirectional texture functions on arbitrary surfaces
US20050078866A1 (en) Virtual camera translation
US20150170405A1 (en) High resolution free-view interpolation of planar structure
US20190158799A1 (en) Aligning Two Images By Matching Their Feature Points
WO2022151661A1 (zh) 一种三维重建方法、装置、设备及存储介质
JP4511135B2 (ja) データ分布を表現する方法、データ要素を表現する方法、データ要素の記述子、照会データ要素を照合または分類する方法、その方法を実行するように設定した装置、コンピュータプログラム並びにコンピュータ読み取り可能な記憶媒体
Ni et al. Color image demosaicing using progressive collaborative representation
CN113870283A (zh) 人像抠图方法、装置、计算机设备及可读存储介质
CN113537254A (zh) 图像特征提取方法、装置、电子设备及可读存储介质
CN115953311A (zh) 基于Transformer的多尺度特征表示的图像去雾方法
CN104796624A (zh) 一种光场编辑传播方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3459981

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term