JP6779649B2 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 - Google Patents
画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP6779649B2 JP6779649B2 JP2016079578A JP2016079578A JP6779649B2 JP 6779649 B2 JP6779649 B2 JP 6779649B2 JP 2016079578 A JP2016079578 A JP 2016079578A JP 2016079578 A JP2016079578 A JP 2016079578A JP 6779649 B2 JP6779649 B2 JP 6779649B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- phase difference
- polarization
- image processing
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 46
- 238000003384 imaging method Methods 0.000 title claims description 12
- 238000003672 processing method Methods 0.000 title claims description 9
- 230000010287 polarization Effects 0.000 claims description 126
- 239000002131 composite material Substances 0.000 claims description 53
- 238000012937 correction Methods 0.000 claims description 45
- 230000003287 optical effect Effects 0.000 claims description 26
- 230000002194 synthesizing effect Effects 0.000 claims description 15
- 230000000295 complement effect Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 26
- 238000004040 coloring Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 239000004973 liquid crystal related substance Substances 0.000 description 13
- 238000002834 transmittance Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- NRNCYVBFPDDJNE-UHFFFAOYSA-N pemoline Chemical compound O1C(N)=NC(=O)C1C1=CC=CC=C1 NRNCYVBFPDDJNE-UHFFFAOYSA-N 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000002745 absorbent Effects 0.000 description 1
- 239000002250 absorbent Substances 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 150000002497 iodine compounds Chemical class 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6002—Corrections within particular colour systems
- H04N1/6008—Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/30—Polarising elements
- G02B5/3083—Birefringent or phase retarding elements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
- G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/02—Details
- G01J3/0205—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
- G01J3/0224—Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using polarising or depolarising elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
本発明の他の一側面としての画像処理装置は、被写体からの光に与える位相差を変更して得られた複数のカラー画像に基づく前記被写体の偏光情報を用いて生成された合成画像に対して、基準画像に基づいて色補正を行う補正手段を有し、前記偏光情報は、前記複数のカラー画像における偏光方位に対する輝度に関する情報であり、前記基準画像は、互いに異なる露出条件で取得された前記被写体の複数の画像を合成して得られた画像であることを特徴とする。
本発明の他の一側面としての画像処理方法は、被写体からの光に与える位相差を変更して得られた複数のカラー画像を取得する取得ステップと、前記複数のカラー画像に基づく前記被写体の偏光情報を用いて生成された合成画像に対して、基準画像に基づいて色補正を行う補正ステップとを有し、前記偏光情報は、前記複数のカラー画像における偏光方位に対する輝度に関する情報であり、前記基準画像は、互いに異なる露出条件で取得された前記被写体の複数の画像を合成して得られた画像である。
したがって、可変位相差板4の位相差を式(1)に基づいて制御することで、透過する偏光方向を制御することができる。
したがって、3つの輝度値を測定することで、画素ごとに偏光情報(最大輝度値IMAX、最小輝度値IMIN、最大方位角α)を算出し、方位角φに対する輝度値I(φ)の変化を求めることができる。なお、本実施例では、偏光情報取得手段10aは3つの撮影画像の輝度値から偏光情報を取得したが、本発明はこれに限定されない。式(2)を用いて4つ以上の撮影画像の輝度値をフィッティングすることで偏光情報を算出してもよい。その際、例えば最小二乗法等を使用することができる。
10c 色補正手段(補正手段)
Claims (15)
- 被写体からの光に与える位相差を変更して得られた複数のカラー画像に基づく前記被写体の偏光情報を用いて生成された合成画像に対して、基準画像に基づいて色補正を行う補正手段を有し、
前記偏光情報は、前記複数のカラー画像における偏光方位に対する輝度に関する情報であり、
前記基準画像は、前記複数のカラー画像のうち前記位相差がλ/4未満である場合に取得された画像であることを特徴とする画像処理装置。 - 前記基準画像は、前記複数のカラー画像のうち前記位相差が最小である場合に取得された画像であることを特徴とする請求項1に記載の画像処理装置。
- 被写体からの光に与える位相差を変更して得られた複数のカラー画像に基づく前記被写体の偏光情報を用いて生成された合成画像に対して、基準画像に基づいて色補正を行う補正手段を有し、
前記偏光情報は、前記複数のカラー画像における偏光方位に対する輝度に関する情報であり、
前記基準画像は、互いに異なる露出条件で取得された前記被写体の複数の画像を合成して得られた画像であることを特徴とする画像処理装置。 - 前記補正手段は、前記基準画像の色差信号との差分が所定値より小さくなるように前記合成画像の色差信号を補正することを特徴とする請求項1から3の何れか1項に記載の画像処理装置。
- 前記補正手段は、前記合成画像および前記基準画像のRGB信号をHSL信号またはYCbCr信号に変換することを特徴とする請求項1から4の何れか1項に記載の画像処理装置。
- 前記複数のカラー画像から前記偏光情報を取得する取得手段と、前記偏光情報を用いて前記合成画像を生成する生成手段とを有することを特徴とする請求項1から5の何れか1項に記載の画像処理装置。
- 請求項1から6の何れか1項に記載の画像処理装置と、前記複数のカラー画像を取得する撮像素子とを有することを特徴とする撮像装置。
- 前記被写体からの光に与える位相差を変更可能な可変位相差板を有することを特徴とする請求項7に記載の撮像装置。
- 前記可変位相差板よりも前記被写体の側に配置され、遅相軸方向の偏光成分と進相軸方向の偏光成分との間にπ/2(rad)の相対位相差を与える位相差板と、前記可変位相差板よりも像側に配置され、前記撮像素子に導く偏光成分を抽出する偏光板とを有することを特徴とする請求項8に記載の撮像装置。
- 前記位相差板の遅相軸方向または進相軸方向は、前記偏光板が抽出する偏光成分の偏光方向に対して平行であり、前記可変位相差板の遅相軸方向または進相軸方向は、前記偏光方向に対して45度だけ傾いていることを特徴とする請求項9に記載の撮像装置。
- 請求項7に記載の撮像装置に対して着脱可能な光学装置であって、前記被写体からの光に与える位相差を変更可能な可変位相差板を有することを特徴とする光学装置。
- 被写体からの光に与える位相差を変更して得られた複数のカラー画像を取得する取得ステップと、
前記複数のカラー画像に基づく前記被写体の偏光情報を用いて生成された合成画像に対して、基準画像に基づいて色補正を行う補正ステップとを有し、
前記偏光情報は、前記複数のカラー画像における偏光方位に対する輝度に関する情報であり、
前記基準画像は、前記複数のカラー画像のうち前記位相差がλ/4未満である場合に取得された画像であることを特徴とする画像処理方法。 - 被写体からの光に与える位相差を変更して得られた複数のカラー画像を取得する取得ステップと、
前記複数のカラー画像に基づく前記被写体の偏光情報を用いて生成された合成画像に対して、基準画像に基づいて色補正を行う補正ステップとを有し、
前記偏光情報は、前記複数のカラー画像における偏光方位に対する輝度に関する情報であり、
前記基準画像は、互いに異なる露出条件で取得された前記被写体の複数の画像を合成して得られた画像であることを特徴とする画像処理方法。 - 請求項12又は13に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
- 請求項14に記載のプログラムが記録されたことを特徴とする記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016079578A JP6779649B2 (ja) | 2016-04-12 | 2016-04-12 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 |
US15/478,370 US10334140B2 (en) | 2016-04-12 | 2017-04-04 | Image processing apparatus, image pickup apparatus, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016079578A JP6779649B2 (ja) | 2016-04-12 | 2016-04-12 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017191986A JP2017191986A (ja) | 2017-10-19 |
JP2017191986A5 JP2017191986A5 (ja) | 2019-05-23 |
JP6779649B2 true JP6779649B2 (ja) | 2020-11-04 |
Family
ID=59999638
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016079578A Active JP6779649B2 (ja) | 2016-04-12 | 2016-04-12 | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10334140B2 (ja) |
JP (1) | JP6779649B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110832843B (zh) * | 2017-07-12 | 2021-12-14 | 索尼公司 | 成像设备、图像形成方法和成像系统 |
JPWO2019159583A1 (ja) * | 2018-02-14 | 2021-02-04 | ソニー株式会社 | 観察装置及び観察方法 |
JP7267122B2 (ja) * | 2019-06-20 | 2023-05-01 | 日東電工株式会社 | 画像生成システム用光学フィルムのセット |
JP7267123B2 (ja) * | 2019-06-20 | 2023-05-01 | 日東電工株式会社 | 画像生成システム用光学フィルムのセット |
JP7494031B2 (ja) | 2020-07-06 | 2024-06-03 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理方法 |
US11838699B2 (en) | 2020-07-06 | 2023-12-05 | Canon Kabushiki Kaisha | Image processing apparatus, image pickup apparatus, and image processing method |
US20220076502A1 (en) * | 2020-09-08 | 2022-03-10 | XRSpace CO., LTD. | Method for adjusting skin tone of avatar and avatar skin tone adjusting system |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5521705A (en) * | 1994-05-12 | 1996-05-28 | Oldenbourg; Rudolf | Polarized light microscopy |
JP3727758B2 (ja) | 1997-07-17 | 2005-12-14 | 日本放送協会 | 映り込み防止形撮像装置 |
JP2010124011A (ja) * | 2007-02-23 | 2010-06-03 | Nippon Sheet Glass Co Ltd | 偏光画像撮像装置、画像処理装置、偏光画像撮像方法および画像処理方法 |
EP2034743A4 (en) * | 2007-05-31 | 2014-03-05 | Panasonic Corp | IMAGE PROCESSING DEVICE |
US8004675B2 (en) * | 2007-09-20 | 2011-08-23 | Boss Nova Technologies, LLC | Method and system for stokes polarization imaging |
US20100321476A1 (en) * | 2009-06-18 | 2010-12-23 | Sony Corporation | Camera for capturing three-dimensional images |
JP5589446B2 (ja) * | 2009-09-18 | 2014-09-17 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
JP5682437B2 (ja) | 2010-09-07 | 2015-03-11 | ソニー株式会社 | 固体撮像素子、固体撮像装置、撮像機器、及び、偏光素子の製造方法 |
JP2013098928A (ja) | 2011-11-04 | 2013-05-20 | Canon Marketing Japan Inc | 撮影装置とその制御方法及びプログラム |
JP5973804B2 (ja) * | 2012-06-25 | 2016-08-23 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
WO2014119257A1 (ja) * | 2013-01-29 | 2014-08-07 | パナソニック株式会社 | 撮像システム |
JP2014183516A (ja) * | 2013-03-21 | 2014-09-29 | Nikon Corp | カメラ |
US9625369B2 (en) * | 2014-08-21 | 2017-04-18 | Michael Shribak | Polychromatic polarization state generator and its application for real-time birefringence imaging |
-
2016
- 2016-04-12 JP JP2016079578A patent/JP6779649B2/ja active Active
-
2017
- 2017-04-04 US US15/478,370 patent/US10334140B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017191986A (ja) | 2017-10-19 |
US20170295297A1 (en) | 2017-10-12 |
US10334140B2 (en) | 2019-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6779649B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体 | |
JP6482308B2 (ja) | 光学装置および撮像装置 | |
KR0150056B1 (ko) | 색보정 기능을 가지는 카메라 | |
JP6869655B2 (ja) | 光学装置および撮像装置 | |
JP7494031B2 (ja) | 画像処理装置、撮像装置および画像処理方法 | |
JP6679366B2 (ja) | 光学装置および撮像装置 | |
JP2022014125A5 (ja) | ||
WO2021035090A1 (en) | Reconfigurable polarization imaging system | |
JP6746404B2 (ja) | 偏光情報取得装置、偏光情報取得方法、プログラムおよび記録媒体 | |
JP6672049B2 (ja) | 撮像装置、制御装置、制御方法、制御プログラムおよび記録媒体 | |
JP2017228983A (ja) | 画像処理装置、撮像装置、画像処理方法 | |
US10911681B2 (en) | Display control apparatus and imaging apparatus | |
JP2017058559A (ja) | 光学装置および撮像装置 | |
JP6704766B2 (ja) | 光学装置および撮像装置 | |
JP6873621B2 (ja) | 光学装置および撮像装置 | |
JP6203071B2 (ja) | リターデーション測定方法、リターデーション測定装置、複屈折波長特性測定方法 | |
US20200280676A1 (en) | Processing apparatus, imaging apparatus, and imaging system | |
US20230171480A1 (en) | Image processing apparatus, image pickup apparatus, and image processing method | |
JP2021005002A (ja) | 撮像装置 | |
JP2021097359A (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
JP2020106563A (ja) | 撮像装置 | |
US10972710B2 (en) | Control apparatus and imaging apparatus | |
JP2022053630A (ja) | 画像処理装置および画像処理方法 | |
JP2024066718A (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
JPH08195904A (ja) | テレシネカメラ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190410 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190410 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200430 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201014 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6779649 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |