JP4469021B2 - 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置 - Google Patents
画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置 Download PDFInfo
- Publication number
- JP4469021B2 JP4469021B2 JP2009549317A JP2009549317A JP4469021B2 JP 4469021 B2 JP4469021 B2 JP 4469021B2 JP 2009549317 A JP2009549317 A JP 2009549317A JP 2009549317 A JP2009549317 A JP 2009549317A JP 4469021 B2 JP4469021 B2 JP 4469021B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- color
- polarization
- information
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 132
- 238000012545 processing Methods 0.000 title claims description 125
- 239000000203 mixture Substances 0.000 title claims description 21
- 238000003672 processing method Methods 0.000 title claims description 10
- 230000010287 polarization Effects 0.000 claims description 447
- 238000000926 separation method Methods 0.000 claims description 179
- 239000013598 vector Substances 0.000 claims description 140
- 230000010365 information processing Effects 0.000 claims description 80
- 238000003384 imaging method Methods 0.000 claims description 61
- 238000004891 communication Methods 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000009877 rendering Methods 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 238000001308 synthesis method Methods 0.000 claims description 5
- 238000001228 spectrum Methods 0.000 claims description 3
- 235000019557 luminance Nutrition 0.000 description 110
- 238000010586 diagram Methods 0.000 description 38
- 230000014509 gene expression Effects 0.000 description 29
- 230000006870 function Effects 0.000 description 27
- 239000011159 matrix material Substances 0.000 description 22
- 238000011156 evaluation Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 239000004038 photonic crystal Substances 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 230000005684 electric field Effects 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 240000000560 Citrus x paradisi Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000012466 permeate Substances 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Description
まず、本発明の第1の実施形態における画像処理装置の概要について説明する。
・偏光度ρ
・鏡面反射成分は表面反射によって生じるため、入射光の偏光特性が保持されている。そのため、カメラで観測された輝度の偏光成分として観測される。
・拡散反射はスキャッタリングを繰り返しているため、入射光の偏光特性が失われている。そのため、カメラで観測された輝度の非偏光成分として観測される。これらの偏光特性は、以下の2条件を前提としている。
(条件1)直線偏光光が投光されている場合、鏡面反射成分は偏光成分として観測される。
(条件2)直線偏光光が投光されている場合、拡散反射成分は非偏光成分として観測される。
・出射角が十分に大きい領域以外では、拡散反射成分の偏光度は十分小さい。
・出射角が十分に大きい領域では、拡散反射成分の偏光度は、鏡面反射成分の偏光度に比べて十分に大きい。
・出射角が十分に大きい領域(遮蔽エッジ近傍)では、(条件2)が成立しない。
図29は、本実施形態に係る画像分離システムにおけるブロック図を示している。図29において、図1と共通の構成要素には図1と同一の符号を付しており、ここではその詳細な説明は省略する。第1の実施形態との違いは、投光装置107と画像処理装置108を分離させたことである。また、図30は本実施形態に係る画像処理装置における、画像分離方法の処理の流れを示すフローチャートである。図30において、図2と共通のステップには図2と同一の符号を付しており、ここではその詳細な説明は省略する。さらに、図31は、本実施形態に係る画像処理装置108が搭載されたカメラと投光装置107の構成例を示している。図31において、図3と共通の構成要素には図3と同一の符号を付しており、ここではその詳細な説明は省略する。
本発明の画像成分分離は、デジタルアーカイブなどに使われているモデルベースの画像合成処理に特に有効である。モデルベースの画像合成は、撮像した画像の光源方向や視線方向を任意に変化させることができるため、撮像データのインタラクティブな提示方法として重要である。また、臨場感を与えるためにも非常に有効である。そのため、モデルベースの画像合成処理は、バーチャルミュージアムやAR(Augmented Reality)などの応用に利用できる。本来、このようなモデルベースの画像合成では撮像画像を鏡面反射成分と拡散反射成分に領域分離を行ない、それぞれの成分ごとに異なったモデルを利用してきたが、前述のように、鏡面反射成分と拡散反射成分の分離が不十分であったため、画質が劣化するという問題があった。この問題は、以下のことが原因である。それぞれのモデルにおけるパラメータ推定の際、実際とは異なった鏡面反射成分と拡散反射成分を利用しているため、実際とは異なるパラメータを推定してしまう。このように実際とは異なったパラメータを利用して画像を合成した場合、前述のように、視点変換画像や光源変化画像を作成した際に出力される画像に大きな誤差が生じてしまう。
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の3次元形状情報
○光源位置・色・照度
○合成画像における視点・光源情報
・被写体情報:画像上の各点の法線方向と反射率
・光源情報:被写体の観察点における光源方向と照度
ここでは、前述の拡散反射・鏡面反射分離手法によって分離された拡散反射画像のみを利用した照度差ステレオ法を行う。本来、この手法は被写体が完全拡散反射をしていることを仮定しているため、鏡面反射が存在する被写体では大きな誤差が生じてしまう。しかし、分離した拡散反射成分のみを利用することで、鏡面反射成分の存在による推定誤差を無くすことができる。
・被写体情報:画像上の各点の法線方向ベクトルと反射率
・光源情報:被写体の観察点における光源方向ベクトルと放射輝度
○被写体の拡散反射画像
○被写体の鏡面反射画像
○被写体の3次元形状情報
○光源位置・照度
この処理を説明する。まず、物体の反射特性について説明する。2色性反射モデルを仮定すると、物体の輝度は、拡散反射成分と鏡面反射成分との和として以下の式で表現される。
(既知パラメータ)
○環境光成分Ia
○拡散反射成分Id
○鏡面反射成分Is
○被写体の法線方向ベクトルn
○光源方向ベクトルL
○視線ベクトルV
○中間ベクトルH
○中間ベクトルHと法線方向ベクトルnの角度β
○撮像装置701の1画素のx方向、y方向の長さdpx, dpy
○撮像装置701と観察点Oとの距離r
(推定すべきパラメータ)
○入射照度Ei
○鏡面反射成分の係数ks
○被写体表面の粗さm
○被写体の屈折率ηλ
さらに、この方法で用いる3種類の操作を以下のように定める。
1.鏡像:
102 カラー偏光取得部
103 カラー情報処理部
104 偏光情報処理部
105 光源色情報取得部
106 画像成分分離部
107 投光装置
108 画像処理装置
109 通信部
110 通信部
Claims (19)
- 被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理装置であって、
光源から発せられた直線偏光光を前記被写体に投光する投光部と、
前記被写体のカラー偏光画像を取得するカラー偏光取得部と、
前記カラー偏光画像を構成する単位画素のそれぞれについて、偏光主軸の方向が3以上の偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、
前記光源の色情報を取得する光源色情報取得部と、
前記カラー偏光情報と前記光源の色情報とに基づいて、前記画像の成分分離を行う画像成分分離部と、
を備える画像処理装置。 - 前記カラー偏光画像からカラー画像を生成するカラー情報処理部を備え、
前記画像成分分離部は、前記カラー画像の成分分離を行う、請求項1に記載の画像処理装置。 - 前記カラー偏光取得部は、
偏光主軸の方向が異なる3方向以上の偏光子と、
前記偏光子に対向する位置に配置されたカラーフィルタと、
前記偏光子およびカラーフィルタを透過してきた光を受ける撮像素子と
を備える、請求項1に記載の画像処理装置。 - 前記偏光情報処理部は、前記カラー偏光情報として、偏光最小カラー成分、偏光振幅カラー成分の少なくとも1つを生成する請求項3に記載の画像処理装置。
- 前記画像成分分離部は、前記被写体の画像を構成する各画素の色ベクトルを、拡散反射成分および鏡面反射成分に分離する請求項4に記載の画像処理装置。
- 前記画像成分分離部は、前記被写体の画像を構成する各画素の色ベクトルを、拡散反射非偏光成分、拡散反射偏光成分および鏡面反射偏光成分に分離する請求項4に記載の画像処理装置。
- 前記画像成分分離部は、前記被写体の画像の少なくとも一部を陰影領域に分離する請求項5または6に記載の画像処理装置。
- 前記画像成分分離部は、前記カラー偏光情報を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する請求項5または6に記載の画像処理装置。
- 前記画像成分分離部は、前記偏光振幅カラー成分を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する請求項8に記載の画像処理装置。
- 前記画像成分分離部は、前記カラー画像を、前記光源色ベクトルと、前記偏光最小カラー成分の色ベクトルとによって分離する請求項5または6に記載の画像処理装置。
- 前記カラー偏光取得部は、前記投光部と同期処理を行う請求項1に記載の画像処理装置。
- 前記投光部は、カラー偏光取得部から離して配置することを特徴とする請求項3に記載の画像処理装置。
- 投光装置と画像処理装置とを備え、被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理システムであって、
前記投光装置は、
光源から発せられた直線偏光光を前記被写体に投光する投光部を有し、
前記画像処理装置は、
偏光主軸の方向が異なる3方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部と、
前記カラー偏光画像からカラー画像を生成するカラー情報処理部と、
前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、
前記光源の色情報を取得する光源色情報取得部と、
前記カラー偏光情報と前記光源色情報に基づいて、前記カラー画像の成分分離を行う画像成分分離部と、を有する画像処理システム。 - 投光装置と画像処理装置とを備え、被写体を撮像することによって前記被写体の画像の成分分離を行う画像分離システムであって、
前記投光装置は、
光源から発せられた直線偏光光を前記被写体に投光する投光部と、
投光を知らせる信号を前記画像処理装置へ送信する通信部を有し、
前記画像処理装置は、
前記投光を知らせる信号を前記投光装置から受信する通信部と、
偏光主軸の方向が異なる3方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得部と、
前記カラー偏光画像からカラー画像を生成するカラー情報処理部と、
前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係に基づいて、カラー偏光情報を生成する偏光情報処理部と、
前記光源の色情報を取得する光源色情報取得部と、
前記カラー偏光情報と前記光源の色情報に基づいて、前記カラー画像の成分分離を行う画像成分分離部と、を有する画像処理システム。 - 前記通信部は、投光を知らせる信号に加え、前記光源の色情報を送受信し、前記光源色情報取得部は、前記通信部から前記光源の色情報を取得する請求項14に記載の画像処理システム。
- 被写体を撮像することによって前記被写体の画像の成分分離を行う画像処理方法であって、
光源から発せられた直線偏光光を前記被写体に投光する投光ステップと、
偏光主軸の方向が異なる3方向以上の偏光子を透過してくる光をカラーフィルタを通して受光することで、被写体のカラー偏光画像を取得するカラー偏光取得ステップと、
前記カラー偏光画像からカラー画像を生成するカラー情報処理ステップと、
前記カラー偏光画像を構成する単位画素のそれぞれについて、前記偏光子を透過した光の輝度と前記偏光主軸の方向との対応関係を用いて、受光した偏光に関するカラー情報であるカラー偏光情報を生成する偏光情報処理ステップと、
光源の色情報を取得する光源色情報取得ステップと、
前記カラー偏光情報と前記光源の色情報を利用して、前記カラー画像の成分分離を行う画像成分分離ステップとを含む画像処理方法。 - 被写体を撮像することによって前記被写体の画像を成分分離する画像処理装置のためのプログラムであって、
請求項16に記載の画像処理方法に含まれるステップをコンピュータに実行させるプログラム。 - パラメータ推定装置と画像合成装置とを備え、画像を合成するモデルベース画像合成装置であって、
前記パラメータ推定装置は、
被写体を撮像する画像撮像部と、
請求項16に記載の画像処理方法によって、前記画像撮像部によって撮像された画像の成分分離を行う画像分離部と、
被写体に照射する光源の方向や位置、輝度、色、スペクトル情報の少なくとも1つを含む光源情報を推定する光源情報推定部と、
被写体の表面の法線情報または3次元位置情報を形状情報として取得する形状情報取得部と、
撮像された被写体から、前記画像分離部で分割された成分ごとに前記光源情報推定部で推定された光源情報と前記形状情報取得部で取得された形状情報をモデル化することで反射モデルパラメータを推定するパラメータ推定部と、
前記パラメータ推定部において推定された反射パラメータを保持するパラメータDBと、を有し、
前記画像合成装置は、
合成する画像の視点や光源情報を取得する視点・光源情報取得部と、
前記パラメータDBに保持されている反射パラメータを利用して、前記視点・光源情報取得部で取得された視点や光源情報に則した画像を合成するレンダリング部と
を有するモデルベース画像合成装置。 - パラメータ推定ステップと画像合成ステップとを備え、画像を合成するモデルベース画像合成方法であって、
前記パラメータ推定ステップは、
被写体を撮像する画像撮像ステップと、
請求項16に記載の画像処理方法によって、前記画像撮像部によって撮像された画像の成分分離を行う画像分離ステップと、
光源の情報を推定する光源情報推定ステップと、
被写体の表面の法線情報または3次元位置情報を形状情報として取得する形状情報取得ステップと、
撮像された被写体から、前記画像分離部で分割された成分ごとに反射モデルパラメータを推定するパラメータ推定ステップと
を含み、
前記画像合成ステップは、
合成する画像の視点や光源情報を取得する視点・光源情報取得ステップと、
前記形状情報取得ステップによって推定された反射パラメータを利用して、前記視点・光源情報取得ステップで取得された視点や光源情報に則した画像を合成するレンダリングステップと
を含むモデルベース画像合成方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008178025 | 2008-07-08 | ||
JP2008178025 | 2008-07-08 | ||
PCT/JP2009/002165 WO2010004677A1 (ja) | 2008-07-08 | 2009-05-15 | 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4469021B2 true JP4469021B2 (ja) | 2010-05-26 |
JPWO2010004677A1 JPWO2010004677A1 (ja) | 2011-12-22 |
Family
ID=41506805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009549317A Active JP4469021B2 (ja) | 2008-07-08 | 2009-05-15 | 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8025408B2 (ja) |
JP (1) | JP4469021B2 (ja) |
CN (1) | CN101960859B (ja) |
WO (1) | WO2010004677A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111247794A (zh) * | 2017-10-30 | 2020-06-05 | 索尼半导体解决方案公司 | 固态摄像装置和电子设备 |
Families Citing this family (48)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8718336B2 (en) * | 2007-03-30 | 2014-05-06 | Fujifilm Corporation | Image correction apparatus, image correction method, skin diagnosis method, and computer program product |
JP5018486B2 (ja) * | 2008-01-10 | 2012-09-05 | セイコーエプソン株式会社 | 画像処理回路、画像処理装置 |
EP2293541B1 (en) * | 2008-06-26 | 2018-09-12 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus, image division program and image synthesising method |
WO2010004677A1 (ja) * | 2008-07-08 | 2010-01-14 | パナソニック株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置 |
CN102301391B (zh) * | 2009-01-27 | 2013-07-17 | 日本电气株式会社 | 彩色图像处理方法、彩色图像处理设备以及彩色图像处理程序 |
IL201110A (en) | 2009-09-22 | 2014-08-31 | Vorotec Ltd | Device and method of navigation |
WO2011104714A1 (en) * | 2010-02-25 | 2011-09-01 | Shlomo Vorovitchik | Light filter with varying polarization angles and processing algorithm |
AU2011242408B2 (en) * | 2010-04-21 | 2016-12-15 | Commonwealth Scientific And Industrial Research Organisation | Shape and photometric invariants recovery from polarisation images |
WO2012011246A1 (ja) | 2010-07-21 | 2012-01-26 | パナソニック株式会社 | 画像処理装置 |
CN103080976B (zh) | 2010-08-19 | 2015-08-05 | 日产自动车株式会社 | 三维物体检测装置和三维物体检测方法 |
WO2012039086A1 (ja) | 2010-09-24 | 2012-03-29 | パナソニック株式会社 | 画像処理装置 |
JP5795384B2 (ja) * | 2010-12-09 | 2015-10-14 | サムスン エレクトロニクス カンパニー リミテッド | 映像処理装置、照明処理装置及びその方法 |
US9576349B2 (en) * | 2010-12-20 | 2017-02-21 | Microsoft Technology Licensing, Llc | Techniques for atmospheric and solar correction of aerial images |
US9110282B2 (en) * | 2011-03-30 | 2015-08-18 | The Regents Of The University Of California | Nanometer-scale optical imaging by the modulation tracking (MT) method |
JP5590680B2 (ja) * | 2011-06-23 | 2014-09-17 | 日本電信電話株式会社 | 映像合成装置、映像合成方法、および映像合成プログラム |
JP5857528B2 (ja) * | 2011-08-23 | 2016-02-10 | 株式会社リコー | 車両運転支援装置、道路の路肩を検出する方法および該方法に基づく車両運転支援方法 |
JP5906464B2 (ja) | 2012-02-02 | 2016-04-20 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP6251962B2 (ja) | 2012-03-01 | 2017-12-27 | 日産自動車株式会社 | カメラ装置及び画像処理方法 |
JP6251963B2 (ja) * | 2012-03-01 | 2017-12-27 | 日産自動車株式会社 | カメラ装置及び画像処理方法 |
JP6131545B2 (ja) * | 2012-03-16 | 2017-05-24 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
JP5841495B2 (ja) * | 2012-05-23 | 2016-01-13 | 日本電信電話株式会社 | 投影型3次元形状復元装置、投影型3次元形状復元方法、投影型3次元形状復元プログラムおよびそのプログラムを記録した記録媒体 |
JP5711702B2 (ja) * | 2012-08-23 | 2015-05-07 | 日本電信電話株式会社 | 投影型3次元形状復元装置、投影型3次元形状復元方法及び投影型3次元形状復元プログラム |
US9536345B2 (en) * | 2012-12-26 | 2017-01-03 | Intel Corporation | Apparatus for enhancement of 3-D images using depth mapping and light source synthesis |
JP6237032B2 (ja) * | 2013-09-19 | 2017-11-29 | 凸版印刷株式会社 | 色と三次元形状の計測方法及び装置 |
KR101473768B1 (ko) * | 2013-11-28 | 2014-12-24 | 한국과학기술연구원 | 편광 라이트 필드 카메라를 이용한 스페큘러 및 디퓨즈 영상 생성 장치 및 그것의 제어방법 |
JP2015144194A (ja) * | 2014-01-31 | 2015-08-06 | ソニー株式会社 | 固体撮像素子および電子機器 |
KR102211862B1 (ko) * | 2014-04-09 | 2021-02-03 | 삼성전자주식회사 | 이미지 센서 및 이를 포함하는 이미지 센서 시스템 |
GB201414144D0 (en) * | 2014-08-08 | 2014-09-24 | Imagination Tech Ltd | Relightable texture for use in rendering an image |
US10798367B2 (en) * | 2015-02-27 | 2020-10-06 | Sony Corporation | Imaging device, image processing device and image processing method |
WO2016190062A1 (ja) * | 2015-05-22 | 2016-12-01 | ソニー株式会社 | 画像処理装置および方法 |
WO2017056821A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報取得装置と情報取得方法 |
JP6556013B2 (ja) * | 2015-10-08 | 2019-08-07 | キヤノン株式会社 | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 |
US9741163B2 (en) | 2015-12-22 | 2017-08-22 | Raytheon Company | 3-D polarimetric imaging using a microfacet scattering model to compensate for structured scene reflections |
CN109479093B (zh) * | 2016-07-22 | 2021-01-19 | 索尼公司 | 图像处理装置和图像处理方法 |
JP6877936B2 (ja) * | 2016-09-28 | 2021-05-26 | キヤノン株式会社 | 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体 |
KR102149180B1 (ko) * | 2017-07-07 | 2020-08-28 | 한국전자통신연구원 | 증강현실을 위한 가상 콘텐츠 합성 방법 및 이를 위한 장치 |
JP2019020991A (ja) * | 2017-07-14 | 2019-02-07 | シャープ株式会社 | 撮像装置、認証装置、および撮像方法 |
CN111356895A (zh) * | 2017-11-24 | 2020-06-30 | 索尼公司 | 检测装置以及生产电子装置的方法 |
CN111198445B (zh) * | 2018-11-16 | 2021-10-01 | 华为技术有限公司 | 一种分光偏振成像的设备和方法 |
US10659751B1 (en) * | 2018-12-14 | 2020-05-19 | Lyft Inc. | Multichannel, multi-polarization imaging for improved perception |
JP7288273B2 (ja) * | 2019-02-27 | 2023-06-07 | 株式会社新菱 | 検査装置、検査システム及び検査方法 |
US11403811B1 (en) * | 2019-02-28 | 2022-08-02 | Apple Inc. | Estimating optical parameters of surfaces |
EP3709623B1 (en) * | 2019-03-15 | 2024-08-07 | Aptiv Technologies AG | Method for simulating a digital imaging device |
CN110346116B (zh) * | 2019-06-14 | 2021-06-15 | 东南大学 | 一种基于图像采集的场景照度计算方法 |
CN110536067B (zh) * | 2019-09-04 | 2021-02-26 | Oppo广东移动通信有限公司 | 图像处理方法、装置、终端设备及计算机可读存储介质 |
KR102113166B1 (ko) * | 2019-10-14 | 2020-05-20 | (주)큐엘 | 이미지 글래스의 제조 시스템 및 방법 |
WO2021117633A1 (ja) * | 2019-12-13 | 2021-06-17 | ソニーグループ株式会社 | 撮像装置、情報処理装置、撮像方法、および情報処理方法 |
CN116245931B (zh) * | 2023-03-16 | 2024-04-19 | 如你所视(北京)科技有限公司 | 物品属性参数的确定方法、装置、设备、介质和产品 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005333336A (ja) * | 2004-05-19 | 2005-12-02 | Olympus Corp | 撮像装置 |
JP2006254331A (ja) * | 2005-03-14 | 2006-09-21 | Fuji Photo Film Co Ltd | 被写体の反射光成分を検出する画像処理方法およびこれを実行する装置 |
WO2007006630A1 (de) * | 2005-07-08 | 2007-01-18 | Grau Guenter | Verfahren zur herstellung von polarisationsfiltern sowie anwendung auf polarisationsempfindliche photosensoren und polarisationserzeugende wiedergabegeräte |
JP2007174689A (ja) * | 2005-09-09 | 2007-07-05 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5028138A (en) * | 1989-05-23 | 1991-07-02 | Wolff Lawrence B | Method of and apparatus for obtaining object data by machine vision form polarization information |
JP3727758B2 (ja) | 1997-07-17 | 2005-12-14 | 日本放送協会 | 映り込み防止形撮像装置 |
JPH11211433A (ja) | 1998-01-30 | 1999-08-06 | Toppan Printing Co Ltd | 成形品の表面形状測定方法及び測定システム |
DE19824460A1 (de) * | 1998-05-30 | 1999-12-02 | Zeiss Carl Jena Gmbh | Anordnung und Verfahren zur mikroskopischen Erzeugung von Objektbildern |
JP4294264B2 (ja) * | 2002-04-25 | 2009-07-08 | 有限会社オートクローニング・テクノロジー | 集積型光学素子 |
JP4347615B2 (ja) | 2003-06-11 | 2009-10-21 | 株式会社コーセー | 画像のシミュレーション方法 |
WO2004110264A1 (ja) * | 2003-06-11 | 2004-12-23 | Kose Corporation | 肌の評価方法および画像のシミュレーション方法 |
JP2007201541A (ja) * | 2006-01-23 | 2007-08-09 | Ricoh Co Ltd | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム |
US20080151194A1 (en) * | 2006-01-31 | 2008-06-26 | Avner Segev | Method and System for Illumination Adjustment |
CN101356546B (zh) * | 2006-05-29 | 2011-10-12 | 松下电器产业株式会社 | 图像高分辨率化装置、方法及系统 |
JP2009544228A (ja) * | 2006-07-18 | 2009-12-10 | ザ・トラスティーズ・オブ・ザ・ユニバーシティ・オブ・ペンシルバニア | 偏光を使用した、重複キャストシャドウ成分の分離およびコントラスト強調、ならびに陰影内の標的検出 |
CN100510700C (zh) * | 2006-12-30 | 2009-07-08 | 清华大学深圳研究生院 | 线偏振光成像方法及装置 |
JP4324238B2 (ja) * | 2007-02-13 | 2009-09-02 | パナソニック株式会社 | 画像処理システム、方法及び装置 |
US8718336B2 (en) * | 2007-03-30 | 2014-05-06 | Fujifilm Corporation | Image correction apparatus, image correction method, skin diagnosis method, and computer program product |
EP2034743A4 (en) * | 2007-05-31 | 2014-03-05 | Panasonic Corp | IMAGE PROCESSING DEVICE |
WO2010004677A1 (ja) * | 2008-07-08 | 2010-01-14 | パナソニック株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置 |
JP5487597B2 (ja) * | 2008-11-13 | 2014-05-07 | セイコーエプソン株式会社 | 画像処理装置、画像表示装置及び画像処理方法 |
US8437537B2 (en) * | 2009-03-27 | 2013-05-07 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for estimating 3D pose of specular objects |
-
2009
- 2009-05-15 WO PCT/JP2009/002165 patent/WO2010004677A1/ja active Application Filing
- 2009-05-15 CN CN2009801064169A patent/CN101960859B/zh active Active
- 2009-05-15 JP JP2009549317A patent/JP4469021B2/ja active Active
- 2009-05-15 US US12/672,940 patent/US8025408B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005333336A (ja) * | 2004-05-19 | 2005-12-02 | Olympus Corp | 撮像装置 |
JP2006254331A (ja) * | 2005-03-14 | 2006-09-21 | Fuji Photo Film Co Ltd | 被写体の反射光成分を検出する画像処理方法およびこれを実行する装置 |
WO2007006630A1 (de) * | 2005-07-08 | 2007-01-18 | Grau Guenter | Verfahren zur herstellung von polarisationsfiltern sowie anwendung auf polarisationsempfindliche photosensoren und polarisationserzeugende wiedergabegeräte |
JP2007174689A (ja) * | 2005-09-09 | 2007-07-05 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111247794A (zh) * | 2017-10-30 | 2020-06-05 | 索尼半导体解决方案公司 | 固态摄像装置和电子设备 |
CN111247794B (zh) * | 2017-10-30 | 2023-03-24 | 索尼半导体解决方案公司 | 固态摄像装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US8025408B2 (en) | 2011-09-27 |
WO2010004677A1 (ja) | 2010-01-14 |
CN101960859A (zh) | 2011-01-26 |
JPWO2010004677A1 (ja) | 2011-12-22 |
CN101960859B (zh) | 2013-04-10 |
US20100303344A1 (en) | 2010-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4469021B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置 | |
JP4435865B2 (ja) | 画像処理装置、画像分割プログラムおよび画像合成方法 | |
JP4787871B2 (ja) | カラー偏光撮像装置 | |
US7948514B2 (en) | Image processing apparatus, method and computer program for generating normal information, and viewpoint-converted image generating apparatus | |
JP6456156B2 (ja) | 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム | |
US8564700B2 (en) | Image processing device, image processing method, and imaging device using a patterned polarizer | |
JP4762369B2 (ja) | 画像処理装置 | |
JP4563513B2 (ja) | 画像処理装置及び擬似立体画像生成装置 | |
US8648907B2 (en) | Image processing apparatus | |
US7792367B2 (en) | System, method and apparatus for image processing and image format | |
JP6422924B2 (ja) | 撮像装置および被写体情報取得方法 | |
JPH1069543A (ja) | 被写体の曲面再構成方法及び被写体の曲面再構成装置 | |
US11676293B2 (en) | Methods for depth sensing using candidate images selected based on an epipolar line | |
KR20230031122A (ko) | 이미지 센서의 색상 왜곡을 평가하는 평가 장치의 동작하는 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100202 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4469021 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130305 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140305 Year of fee payment: 4 |