JP6422924B2 - 撮像装置および被写体情報取得方法 - Google Patents
撮像装置および被写体情報取得方法 Download PDFInfo
- Publication number
- JP6422924B2 JP6422924B2 JP2016177965A JP2016177965A JP6422924B2 JP 6422924 B2 JP6422924 B2 JP 6422924B2 JP 2016177965 A JP2016177965 A JP 2016177965A JP 2016177965 A JP2016177965 A JP 2016177965A JP 6422924 B2 JP6422924 B2 JP 6422924B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- polarization
- filter
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 57
- 238000000034 method Methods 0.000 title claims description 29
- 230000010287 polarization Effects 0.000 claims description 91
- 238000009826 distribution Methods 0.000 claims description 38
- 230000008859 change Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims 1
- 235000019557 luminance Nutrition 0.000 description 48
- 239000010410 layer Substances 0.000 description 38
- 238000000926 separation method Methods 0.000 description 31
- 238000012545 processing Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 239000003086 colorant Substances 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 230000010365 information processing Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
- G02B27/288—Filters employing polarising elements, e.g. Lyot or Solc filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Description
L(x,y;d)=λ0λ1/σI 2σb 2
を最小にするときのdを変位量(ぼけ量)とする。dの正負によって赤成分および青成分のぼける方向も特定できる。
Claims (9)
- 異なる光成分を透過させる複数の領域を備えたフィルタと、
前記フィルタを透過した光の、複数方向の偏光成分の輝度分布を検出する撮像素子と、
前記輝度分布のうち、各位置における偏光の方向に対する輝度の変化に基づき被写体表面の法線の情報を生成する法線情報生成部と、
前記輝度分布のうち、前記フィルタを透過した各光成分が形成する像の分布に基づき、被写体の撮像装置からの距離の情報を生成する距離情報生成部と、
を備えることを特徴とする撮像装置。 - 前記距離情報生成部は、前記法線情報生成部が生成した前記法線の情報を用いて、前記像の分布に基づき生成した前記距離の情報を補間することにより、より詳細な距離の情報を生成することを特徴とする請求項1に記載の撮像装置。
- 前記法線情報生成部は、前記距離情報生成部が前記像の分布に基づき生成した前記距離の情報と前記法線の情報を比較することにより、当該法線の情報を生成する際に用いた反射モデルの是非を判定することを特徴とする請求項1または2に記載の撮像装置。
- 前記フィルタは、領域ごとに異なる方向の偏光成分を透過させることを特徴とする請求項1から3のいずれかに記載の撮像装置。
- 前記フィルタは、全体を4分割してなる領域に、主軸角度の異なる偏光子をそれぞれ配置した構成を有することを特徴とする請求項1から4のいずれかに記載の撮像装置。
- 前記フィルタは、領域ごとに異なる色成分の光を透過させることを特徴とする請求項1から3のいずれかに記載の撮像装置。
- 前記フィルタと前記撮像素子を含む撮像部を2つ備えることにより、前記輝度分布を所定の間隔を有する左右の位置から取得し、
前記距離情報生成部は、取得した前記輝度分布から生成した左右の輝度画像における対応点の位置の差に基づき前記距離の情報を取得し、前記像の分布に基づき生成した前記距離の情報と比較することにより、左右の輝度画像から前記距離の情報を得るためのキャリブレーションの必要性を判定することを特徴とする請求項1に記載の撮像装置。 - 異なる光成分を透過させる複数の領域を備えたフィルタを透過した光の、複数方向の偏光成分の輝度分布を取得するステップと、
前記輝度分布のうち、各位置における偏光の方向に対する輝度の変化に基づき被写体表面の法線の情報を生成しメモリに格納するステップと、
前記輝度分布のうち、前記フィルタを透過した各光成分が形成する像の分布に基づき、被写体の撮像装置からの距離の情報を生成しメモリに格納するステップと、
を含むことを特徴とする撮像装置による被写体情報取得方法。 - 異なる光成分を透過させる複数の領域を備えたフィルタを透過した光の、複数方向の偏光成分の輝度分布を取得する機能と、
前記輝度分布のうち、各位置における偏光の方向に対する輝度の変化に基づき被写体表面の法線の情報を生成し出力する機能と、
前記輝度分布のうち、前記フィルタを透過した各光成分が形成する像の分布に基づき、被写体の撮像装置からの距離の情報を生成し出力する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016177965A JP6422924B2 (ja) | 2016-09-12 | 2016-09-12 | 撮像装置および被写体情報取得方法 |
US15/698,813 US10438365B2 (en) | 2016-09-12 | 2017-09-08 | Imaging device, subject information acquisition method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016177965A JP6422924B2 (ja) | 2016-09-12 | 2016-09-12 | 撮像装置および被写体情報取得方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018046340A JP2018046340A (ja) | 2018-03-22 |
JP6422924B2 true JP6422924B2 (ja) | 2018-11-14 |
Family
ID=61561030
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016177965A Active JP6422924B2 (ja) | 2016-09-12 | 2016-09-12 | 撮像装置および被写体情報取得方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10438365B2 (ja) |
JP (1) | JP6422924B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3585045B1 (en) * | 2017-02-15 | 2023-11-01 | Sony Group Corporation | Information processing device, information processing method, and program |
US10801948B2 (en) * | 2017-04-19 | 2020-10-13 | HKC Corporation Limited | Detection apparatus, method and system |
JP6934575B2 (ja) * | 2018-09-14 | 2021-09-15 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および物体検出方法 |
JP7325949B2 (ja) * | 2018-11-22 | 2023-08-15 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置及び電子機器 |
KR20200105584A (ko) | 2019-02-28 | 2020-09-08 | 삼성전자주식회사 | 이미지 센서 |
DE102019205654A1 (de) * | 2019-04-18 | 2020-10-22 | Krones Ag | Durchlichtinspektionsvorrichtung und -verfahren zur Inspektion von Behältern |
JPWO2021084907A1 (ja) * | 2019-10-30 | 2021-05-06 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3828519A3 (en) * | 2007-05-31 | 2021-10-06 | Panasonic Intellectual Property Management Co., Ltd. | Image processing device |
WO2009019886A1 (ja) | 2007-08-07 | 2009-02-12 | Panasonic Corporation | 法線情報生成装置および法線情報生成方法 |
JP5507362B2 (ja) * | 2010-06-30 | 2014-05-28 | パナソニック株式会社 | 3次元撮像装置および光透過板 |
JP5682437B2 (ja) | 2010-09-07 | 2015-03-11 | ソニー株式会社 | 固体撮像素子、固体撮像装置、撮像機器、及び、偏光素子の製造方法 |
US9250065B2 (en) * | 2012-05-28 | 2016-02-02 | Panasonic Intellectual Property Management Co., Ltd. | Depth estimating image capture device |
JP2014057231A (ja) | 2012-09-13 | 2014-03-27 | Ricoh Co Ltd | 撮像装置 |
US9571819B1 (en) * | 2014-09-16 | 2017-02-14 | Google Inc. | Efficient dense stereo computation |
JP6708199B2 (ja) * | 2015-02-27 | 2020-06-10 | ソニー株式会社 | 撮像装置と画像処理装置と画像処理方法 |
JP6746404B2 (ja) * | 2016-07-01 | 2020-08-26 | キヤノン株式会社 | 偏光情報取得装置、偏光情報取得方法、プログラムおよび記録媒体 |
-
2016
- 2016-09-12 JP JP2016177965A patent/JP6422924B2/ja active Active
-
2017
- 2017-09-08 US US15/698,813 patent/US10438365B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20180075615A1 (en) | 2018-03-15 |
US10438365B2 (en) | 2019-10-08 |
JP2018046340A (ja) | 2018-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6422924B2 (ja) | 撮像装置および被写体情報取得方法 | |
US10909707B2 (en) | System and methods for measuring depth using an array of independently controllable cameras | |
US11546576B2 (en) | Systems and methods for dynamic calibration of array cameras | |
US10638099B2 (en) | Extended color processing on pelican array cameras | |
US9942474B2 (en) | Systems and methods for performing high speed video capture and depth estimation using array cameras | |
JP4787871B2 (ja) | カラー偏光撮像装置 | |
JP4469021B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置 | |
WO2017002717A1 (ja) | 撮像素子、イメージセンサ、および情報処理装置 | |
JP6693712B2 (ja) | 撮像装置および情報処理装置 | |
JP6488203B2 (ja) | 画像処理装置、画像処理システム、多視点カメラ、および画像処理方法 | |
JP7170810B2 (ja) | 撮像装置、画像生成方法およびコンピュータプログラム | |
JP2017519440A (ja) | 深度推定のための画像センサ | |
JP6821028B2 (ja) | 撮像装置および画像データ読み出し方法 | |
WO2019082820A1 (ja) | カメラシステム | |
US8456619B2 (en) | Image processing apparatus and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180918 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181017 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6422924 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |