TWI813646B - 攝像裝置及電子機器 - Google Patents

攝像裝置及電子機器 Download PDF

Info

Publication number
TWI813646B
TWI813646B TW108109053A TW108109053A TWI813646B TW I813646 B TWI813646 B TW I813646B TW 108109053 A TW108109053 A TW 108109053A TW 108109053 A TW108109053 A TW 108109053A TW I813646 B TWI813646 B TW I813646B
Authority
TW
Taiwan
Prior art keywords
unit
polarizer
imaging
repeating
main axis
Prior art date
Application number
TW108109053A
Other languages
English (en)
Other versions
TW202020502A (zh
Inventor
松沼健司
本田元就
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202020502A publication Critical patent/TW202020502A/zh
Application granted granted Critical
Publication of TWI813646B publication Critical patent/TWI813646B/zh

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/042Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by a proximal camera, e.g. a CCD camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00149Holding or positioning arrangements using articulated arms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/043Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/08Stereoscopic photography by simultaneous recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0669Endoscope light sources at proximal end of an endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Blocking Light For Cameras (AREA)
  • Image Analysis (AREA)
  • Liquid Crystal Substances (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本技術提供一種可實現距離資訊之精度之進一步提高的攝像裝置及搭載有該攝像裝置之電子機器。 本技術提供一種攝像裝置,進而提供一種搭載有該攝像裝置之電子機器,上述攝像裝置具備立體圖像攝像部,該立體圖像攝像部包含複數個感測器,該複數個感測器各自具有由複數個重複單位構成之攝像單位,該攝像單位具有偏光件,該偏光件具有至少1種偏光主軸角度,將藉由複數個該攝像單位各者獲得之至少2個單位圖像組合,而取得至少3個方向之偏光資訊,產生法線資訊。

Description

攝像裝置及電子機器
本技術係關於一種攝像裝置及電子機器。
先前,提出一種與藉由拍攝被攝體而產生被攝體表面之法線資訊之圖像處理裝置相關的技術(例如,參照專利文獻1)。
[先前技術文獻] [專利文獻]
[專利文獻1]國際公開第2009/147814號
然而,於專利文獻1提出之技術中,有無法謀求進一步提高距離資訊之精度之虞。
因此,本技術係鑒於此種狀況而完成者,主要目的在於提供可實現距離資訊之精度之進一步提高的攝像裝置、及搭載有該攝像裝置之電子機器。
本發明者等人為了解決上述目的而進行了積極研究,結果,成功實現了距離資訊之精度之進一步提高,且直至完成本技術。
即,於本技術中,作為第1態樣,提供一種攝像裝置,其具備立體圖像攝像部, 該立體圖像攝像部包含複數個感測器,該複數個感測器各自具有由複數個重複單位構成之攝像單位,該攝像單位具有偏光件,該偏光件具有至少1種偏光主軸角度,將藉由複數個該攝像單位各者獲得之至少2個單位圖像組合,而取得至少3個方向之偏光資訊,產生法線資訊。
於本技術之第1態樣之攝像裝置中,上述複數個攝像單位中之1個攝像單位具有之上述具有至少1種偏光主軸角度的偏光件、與上述複數個攝像單位中之該1個攝像單位以外之其他所有攝像單位各者具有之上述具有至少1種偏光主軸角度的偏光件可在上述偏光主軸角度上彼此為不同種類,該1個攝像單位以外之其他所有攝像單位各者可不具有該1個攝像單位具有之具有至少1種偏光主軸角度的偏光件。
於本技術之第1態樣之攝像裝置中,複數個上述單位圖像可基於立體對應關係再構成。
於本技術之第1態樣之攝像裝置中,上述複數個攝像單位可各自具有偏光件,該偏光件具有2種以下之上述偏光主軸角度。
於本技術之第1態樣之攝像裝置中,上述複數個攝像單位可各自具有偏光件,該偏光件具有2種上述偏光主軸角度,上述複數個攝像單位各者中,該2種之上述偏光主軸角度可為正交關係。
於本技術之第1態樣之攝像裝置中,上述複數個攝像單位中之1個攝像單位可具有:具有22.5度之偏光主軸角度之偏光件及具有112.5度之偏光主軸角度之偏光件,上述複數個攝像單位中另1個攝像單位可具有:具 有67.5度之偏光主軸角度之偏光件及具有157.5度之偏光主軸角度之偏光件。
於本技術之第1態樣之攝像裝置中,上述複數個攝像單位可各自具有偏光件,該偏光件具有1種偏光主軸角度,上述複數個攝像單位各自具有之上述偏光件之上述偏光主軸角度彼此之角度差可為5度以上85度以下。
於本技術之第1態樣之攝像裝置中,上述複數個攝像單位可各自具有包含偏光件之重複單位與不包含偏光件之重複單位,且該複數個攝像單位各者中之包含該偏光件之重複單位與不包含該偏光件之重複單位的比例可彼此大致相同。
於本技術之第1態樣之攝像裝置中,上述複數個攝像單位可各自具有包含偏光件之重複單位與不包含偏光件之重複單位,且該複數個攝像單位各者中之包含該偏光件之重複單位與不包含該偏光件之重複單位的配置圖案可彼此大致相同。
又,本技術中,作為第2態樣,提供一種攝像裝置,其具備立體圖像攝像部,該立體圖像攝像部包含第1感測器與第2感測器,該第1感測器具有由複數個重複單位構成之第1攝像單位,該第2感測器具有由複數個重複單位構成之第2攝像單位,該第1攝像單位具有偏光件,該偏光件具有至少1種偏光主軸角度,該第2攝像單位具有偏光件,該偏光件具有至少1種偏光主軸角度,將藉由該第1攝像單位獲得之第1單位圖像與藉由該第2攝像單位獲得之第2單位圖像組合,而取得至少3個方向之偏光資訊,並產生法線資訊。
於本技術之第2態樣之攝像裝置中,上述第1攝像單位具有之上述具有至少1種偏光主軸角度的偏光件、與上述第2攝像單位具有之上述具有至少1種偏光主軸角度的偏光件可在上述偏光主軸角度上彼此為不同種類,上述第2攝像單位可不具有上述第1攝像單位具有之上述具有至少1種偏光主軸角度的偏光件。
於本技術之第2態樣之攝像裝置中,上述第1單位圖像與上述第2單位圖像可基於立體對應關係再構成。
於本技術之第2態樣之攝像裝置中,上述第1攝像單位可具有偏光件,該偏光件具有2種以下之偏光主軸角度,上述第2攝像單位可具有偏光件,該偏光件具有2種以下之偏光主軸角度。
於本技術之第2態樣之攝像裝置中,上述第1攝像單位可具有偏光件,該偏光件具有2種偏光主軸角度,且上述第1攝像單位中,該2種偏光主軸角度可為正交關係,上述第2攝像單位可具有偏光件,該偏光件具有2種偏光主軸角度,且上述第2攝像單位中,該2種偏光主軸角度可為正交關係。
於本技術之第2態樣之攝像裝置中,上述第1攝像單位可具有:具有22.5度之偏光主軸角度之偏光件及具有112.5度之偏光主軸角度之偏光件,上述第2攝像單位可具有:具有67.5度之偏光主軸角度之偏光件及具有157.5度之偏光主軸角度之偏光件。
於本技術之第2態樣之攝像裝置中,上述第1攝像單位可具 有偏光件,該偏光件具有1種偏光主軸角度,上述第2攝像單位可具有偏光件,該偏光件具有1種偏光主軸角度,上述第1攝像單位具有之該偏光件之該偏光主軸角度與上述第2攝像單位具有之該偏光件之該偏光主軸角度之差可為5度以上85度以下。
於本技術之第2態樣之攝像裝置中,上述第1攝像單位可具有包含偏光件之重複單位與不包含偏光件之重複單位,上述第2攝像單位可具有包含偏光件之重複單位與不包含偏光件之重複單位,上述第1攝像單位中之包含該偏光件之重複單位與不包含該偏光件之重複單位的比例與上述第2攝像單位中之包含該偏光件之重複單位與不包含該偏光件之重複單位的比例可大致相同。
於本技術之第2態樣之攝像裝置中,上述第1攝像單位可具有包含偏光件之重複單位與不包含偏光件之重複單位,上述第2攝像單位可具有包含偏光件之重複單位與不包含偏光件之重複單位,上述第1攝像單位中之包含該偏光件之重複單位與不包含該偏光件之重複單位的配置圖案與上述第2攝像單位中之包含該偏光件之重複單位與不包含該偏光件之重複單位的配置圖案可大致相同。
再者,於本技術中,作為第3態樣,提供一種電子機器,其搭載有本技術之第1態樣之攝像裝置或第2態樣之攝像裝置。
根據本技術,可實現距離資訊之精度之進一步提高。另,此處記載之效果未必為限定者,亦可為本揭示中記載之任意效果。
1:攝像裝置
1-1:感測器
1-2:感測器
2:攝像裝置
2-1:感測器
2-2:感測器
3:攝像裝置
3-1:感測器
3-2:感測器
4:攝像裝置
4-1:感測器
4-2:感測器
5:攝像裝置
5-1:感測器
5-2:感測器
6:攝像裝置
6-1:感測器
6-2:感測器
7:攝像裝置
7-1:感測器
7-2:感測器
8:攝像裝置
8-1:感測器
8-2:感測器
9:攝像裝置
9-1:感測器
9-2:感測器
10(10-1、10-2):攝像單位(單位圖像)
10A:攝像裝置
10A-1:感測器
10A-2:感測器
10A-3:感測器
11:攝像裝置
11-1:感測器
11-2:感測器
12:攝像裝置
12-1:感測器
12-2:感測器
13:攝像裝置
13-1:感測器
13-2:感測器
14:攝像裝置
14-1:感測器
14-2:感測器
15:攝像裝置
15-1:感測器
15-2:感測器
16-1:感測器
17-1:感測器
20(20-1、20-2):攝像單位(單位圖像)
21-1~24-1:重複單位
21-2~24-2:重複單位
30(30-1、30-2):攝像單位(單位圖像)
31-1~34-1:重複單位
31-2~34-2:重複單位
40(40-1、40-2):攝像單位(單位圖像)
41-1~44-1:重複單位
41-2~44-2:重複單位
50(50-1、50-2):攝像單位(單位圖像)
50(50-1-1、50-1-2、50-2-1、50-2-2):攝像單位(單位圖像)
51-1:重複單位
51-2:重複單位
53-1:重複單位
53-2:重複單位
55-1:重複單位
55-2:重複單位
56-1:重複單位
56-2:重複單位
60(60-1、60-2):攝像單位(單位圖像)
61-1~64-1:重複單位
61-2~64-2:重複單位
70(70-1、70-2):攝像單位(單位圖像)
71-1~74-1:重複單位
71-2~74-2:重複單位
77-1:重複單位
77-2:重複單位
79-1:重複單位
79-2:重複單位
80(80-1、80-2):攝像單位(單位圖像)
81-1~84-1:重複單位
81-2~84-2:重複單位
90(90-1、90-2):攝像單位(單位圖像)
91-1~916-1:重複單位
91-2~916-2:重複單位
100(100-1、100-2、100-3):攝像單位(單位圖像)
101:攝像裝置
101-1~104-1:重複單位
101-2~104-2:重複單位
101-3~104-3:重複單位
102:電子機器
110(110-1-1、110-1-2、110-2-1、110-2-2):攝像單位(單位圖像)
111-1:重複單位
111-2:重複單位
113-1:重複單位
113-2:重複單位
115-1:重複單位
115-2:重複單位
116-1:重複單位
116-2:重複單位
120(120-1-1、120-1-2、120-2-1、120-2-2):攝像單位(單位圖像)
121-1:重複單位
121-2:重複單位
123-1:重複單位
123-2:重複單位
125-1:重複單位
125-2:重複單位
126-1:重複單位
126-2:重複單位
130(130-1R、130-1G、130-1B、130-2R、130-2G、130-2B):攝像單位(單位圖像)
131-1~134-1:重複單位
131-2~134-2:重複單位
140(140-1、140-2):攝像單位(單位圖像)
141-1:重複單位
141-2:重複單位
142-1R:重複單位
142-2R:重複單位
143-1G:重複單位
143-2G:重複單位
144-1:重複單位
144-2:重複單位
150(150-1R、150-1G、150-1B、150-2R、150-2G、150-2B):攝像單位(單位圖像)
151-1R:重複單位
151-2R:重複單位
152-1G:重複單位
152-2G:重複單位
153-1R:重複單位
153-2R:重複單位
154-1G:重複單位
154-2G:重複單位
161:晶載透鏡
162:絕緣膜
163:遮光材
164:半導體基板
165:配線層
166:光電二極體
167(167-1、167-2):偏光件
171:晶載透鏡
172:絕緣膜
173:遮光材
174:半導體基板
175:配線層
176B:B光用光電二極體
176R:R光用光電二極體
176W:W光用光電二極體
177(177-1、177-2):偏光件
310:光學系統(光學透鏡)
311:快門裝置
312:信號處理部
313:驅動部
710-1:重複單位
713-1:重複單位
710-2:重複單位
713-2:重複單位
1000:相機
1000-1:相機
1000-2:相機
2000-1:感測器
2000-2:感測器
4000:偏光件
5000:物體
11000:內視鏡手術系統
11100:內視鏡
11101:鏡筒
11102:相機頭
11110:其他手術器械
11111:氣腹管
11112:能量處理器械
11120:支持臂裝置
11131:施術者
11132:患者
11133:病床
11201:CCU
11202:顯示裝置
11203:光源裝置
11204:輸入裝置
11205:處理器械控制裝置
11206:氣腹裝置
11207:記錄器
11208:印表機
11200:台車
11400:傳輸纜線
11401:透鏡單元
11402:攝像部
11403:驅動部
11404:通信部
11405:相機頭控制部
11411:通信部
11412:圖像處理部
11413:控制部
12000:車輛控制系統
12001:通信網路
12010:驅動系統控制單元
12020:車體系統控制單元
12030:車外資訊檢測單元
12031:攝像部
12040:車內資訊檢測單元
12041:駕駛者狀態檢測部
12050:綜合控制單元
12051:微電腦
12052:聲音圖像輸出部
12053:車載網路I/F
12061:擴音器
12062:顯示部
12063:儀錶板
12100:車輛
12101~12105:攝像部
12111~12114:攝像範圍
B:光
Dout:影像信號
I:亮度
P1~P4:亮度
Q:法線
Q1~Q3:法線向量
R:光
R:法線間距
R1~R3:被攝體表面
S0:步驟
S1-1:步驟
S1-2:步驟
S2-1:步驟
S2-2:步驟
S2-3:步驟
S2-4:步驟
S3:步驟
S4-1:步驟
S4-2:步驟
S5:步驟
S6:步驟
W:光
x:方向
y:方向
z:方向
α:方位角
Figure 108109053-A0305-02-0068-36
:偏光主軸角度
θ:天頂角
圖1係表示應用本技術之攝像裝置之構成例之圖。
圖2係表示應用本技術之攝像裝置之構成例之圖。
圖3係表示應用本技術之攝像裝置之構成例之圖。
圖4係表示應用本技術之攝像裝置之構成例之圖。
圖5係表示應用本技術之攝像裝置之構成例之圖。
圖6係表示應用本技術之攝像裝置之構成例之圖。
圖7係表示應用本技術之攝像裝置之構成例之圖。
圖8係表示應用本技術之攝像裝置之構成例之圖。
圖9係表示應用本技術之攝像裝置之構成例之圖。
圖10係表示應用本技術之攝像裝置之構成例之圖。
圖11係表示應用本技術之攝像裝置之構成例之圖。
圖12係表示應用本技術之攝像裝置之構成例之圖。
圖13係表示應用本技術之攝像裝置之構成例之圖。
圖14係表示應用本技術之攝像裝置之構成例之圖。
圖15係表示應用本技術之攝像裝置之構成例之圖。
圖16係表示構成應用本技術之攝像裝置之感測器之構成例的剖視圖。
圖17係表示構成應用本技術之攝像裝置之感測器之構成例的剖視圖。
圖18係使用應用本技術之攝像裝置之攝像形態之一例的圖。
圖19係表示應用本技術之攝像裝置之處理流程之流程圖。
圖20係用以說明使用應用本技術之攝像裝置,產生法線資訊獲得距離圖像的圖。
圖21係用以說明使用應用本技術之攝像裝置,產生法線資訊獲得距離圖像的圖。
圖22係用以說明使用應用本技術之攝像裝置,產生法線資訊獲得距離圖像的圖。
圖23係表示應用本技術之第1~第2實施形態之攝像裝置之使用例的圖。
圖24係應用本技術之第3實施形態之電子機器之一例的功能方塊圖。
圖25係表示內視鏡手術系統之概略構成之一例的圖。
圖26係表示相機頭及CCU之功能構成之一例的方塊圖。
圖27係表示車輛控制系統之概略構成之一例的方塊圖。
圖28係表示車外資訊檢測部及攝像部之設置位置之一例的說明圖。
以下,對用以實施本技術之較佳之形態進行說明。以下說明之實施形態為表示本技術之代表性實施形態之一例者,由此,不應狹義地解釋本技術之範圍。另,只要無明確說明,則圖式中,「上」意指圖中之上方或上側,「下」意指圖中之下方或下側,「左」意指圖中之左方或左側,「右」意指圖中之右方或右側。又,關於圖式,對同一或同等之要素或構件標註同一符號,省略重複之說明。
依以下之順序進行說明。
1.本技術之概要
2.第1實施形態(攝像裝置之例1)
3.第2實施形態(攝像裝置之例2)
4.第3實施形態(電子機器之例)
5.應用本技術之攝像裝置之使用例
6.對內視鏡手術系統之應用例
7.對移動體之應用例
<1.本技術之概要>
首先,對本技術之概要進行說明。
為了提高測距精度可使用偏光感測器。可根據自絕對距離資訊與偏光資訊產生之法線資訊獲得高精度之距離資訊(3D資訊)。為了消除計算法線時之不確定性,絕對距離之資訊成為必須。且說,使用2個偏光感測器之方法與無偏光像素相比,由於偏光像素之感度下降,故有招致計算絕對距離之感度降低之虞。
本技術係鑒於上述事態而完成者。本技術之攝像裝置係如下者:具備立體圖像攝像部,立體圖像攝像部包含複數個感測器,複數個感測器各自具有由複數個重複單位構成之攝像單位,攝像單位具有偏光件,該偏光件具有至少1種偏光主軸角度,將藉由複數個攝像單位各者獲得之至少2個單位圖像組合而取得至少3個方向之偏光資訊,產生法線資訊。根據本技術之攝像裝置,由於不在複數個感測器之各個感測器配置至少3個方向之偏光像素,故偏光像素減少,相應地,可分配給無偏光之像素,故可提高感度。又,根據本技術之攝像裝置,藉由於複數個感測器之各個感測器配置欲配置之方向之偏光像素而非無偏光之像素,可提高法線資訊之解像度,若法線資訊之解像度提高,則可提高距離方向之精度(3D 資訊之精度)。
對本技術之攝像裝置,更詳細地進行說明。
為了取得距離(絕對距離)資訊,可使用至少2個感測器。另一方面,為了產生法線資訊,必須有至少3個方向之偏光資訊。無須以複數個感測器之各個感測器取得所需之所有方向(例如4個偏光方向)之偏光,只要以攝像裝置全體(複數個感測器)取得所需之所有方向(例如4個偏光方向)之偏光即可。例如,可組合複數個感測器中之2個感測器而取得4個偏光。無須所需以上地增加偏光像素,而使感度下降之偏光像素減少,相應地,可使用無偏光像素(無偏光之像素),可相應地提高感度。
於本技術之攝像裝置中,例如,可將偏光件之方向互不相同之2個感測器配置於左右方向而使用。若組合配置於左右方向之2個感測器,則可收集產生法線資訊所需之方向之偏光資訊。若更詳細地說明,則本技術之攝像裝置根據亮度圖像計算絕對距離。根據本技術之攝像裝置,偏光像素較少,相應地,可使用無偏光像素而感度提高,且將藉由配置於左右方向之2個感測器獲得之2個單位圖像組合而計算法線資訊。組合2個單位圖像取得至少3個偏光(例如可為4個偏光),計算並產生法線。另,於本技術之攝像裝置中,於使用例如2個感測器之情形時,可沿左右方向配置2個感測器,但關於配置狀態,不限定於此。另,感測器之受光區域亦可稱為攝像部。
為了計算距離(絕對距離),於本技術之攝像裝置中,例如使用2個感測器之情形時,有需要於自第1攝像部(第1感測器之受光區域)及第2攝像部(第2感測器之受光區域)各者獲得之圖像中特定出取得同一位置之資訊之像素位置之情形。又,可藉由使用觀察第1攝像部(第1感測器 之受光區域)及第2攝像部(第2感測器之受光區域)之同一部位之像素之偏光資訊進行法線之產生。為了特定同一部位(圖像匹配),理想的是自第1攝像部(第1感測器之受光區域)及第2攝像部(第2感測器之受光區域)獲得之圖像之亮度大致相同(大致相同亦指實際上相同)。
於上文中,說明了構成本技術之攝像裝置之感測器為2個之情形,但不限定於此,構成本技術之攝像裝置之感測器可為3個,或4個以上。又,本技術之攝像裝置為了產生法線資訊,將藉由構成複數個感測器各者之複數個攝像單位各者獲得之至少2個單位圖像組合即可。即,本技術之攝像裝置可將藉由構成複數個感測器各者之複數個攝像單位各者獲得之所有單位圖像組合而產生法線資訊,亦可將藉由構成複數個感測器各者之複數個攝像單位各者獲得之一部分單位圖像組合而產生法線資訊。
接著,為了更具體地說明本技術,以下對本技術之實施形態詳細地進行說明。
<2.第1實施形態(攝像裝置之例1)>
本技術之第1實施形態(攝像裝置之例1)之攝像裝置係以下者:具備立體圖像攝像部,立體圖像攝像部包含第1感測器與第2感測器,第1感測器具有由複數個重複單位構成之第1攝像單位,第2感測器具有由複數個重複單位構成之第2攝像單位,第1攝像單位具有偏光件,該偏光件具有至少1種偏光主軸角度,第2攝像單位具有偏光件,該偏光件具有至少1種偏光主軸角度,且將藉由第1攝像單位獲得之第1單位圖像、與藉由第2攝像單位獲得之第2單位圖像組合,取得至少3個方向之偏光資訊而產生法線資訊。即,本技術之第1實施形態之攝像裝置使用2個感測器取得至少3個方向之偏光資訊並產生法線資訊。於本技術之第1實施形態之攝像裝置中,為了 產生法線資訊,只要取得至少3個方向之偏光資訊即可,故而可為3個方向之偏光資訊,又可為4個方向之偏光資訊、還可為5個方向以上之偏光資訊。
根據本技術之第1實施形態之攝像裝置,可實現距離資訊之精度之進一步提高。更詳細而言,根據本技術之第1實施形態之攝像裝置,由於不於複數個(兩個)感測器之各感測器配置至少3個方向之偏光像素,故減少偏光像素,相應地,可分配給無偏光之像素,故可提高感度,又,可藉由於複數個(兩個)感測器之各感測器配置欲配置之方向之偏光像素而非無偏光之像素,提高法線資訊之解像度,若法線資訊之解像度提高,則可提高距離方向之精度(3D資訊之精度)。
於本技術之第1實施形態之攝像裝置中,較佳為第1攝像單位具有之上述具有至少1種偏光主軸角度之偏光件與第2攝像單位具有之具有至少1種偏光主軸角度之偏光件在偏光主軸角度上彼此為不同種類,且較佳為第2攝像單位不具有第1攝像單位具有之上述具有至少1種偏光主軸角度的偏光件。
於本技術之第1實施形態之攝像裝置中,較佳為第1單位圖像與第2單位圖像基於立體對應關係再構成。
於本技術之第1實施形態之攝像裝置中,較佳為第1攝像單位具有偏光件,該偏光件具有2種以下之偏光主軸角度,較佳為第2攝像單位具有偏光件,該偏光件具有2種以下之偏光主軸角度。
於本技術之第1實施形態之攝像裝置中,較佳為第1攝像單位具有偏光件,該偏光件具有2種偏光主軸角度,較佳為第1攝像單位中之2種偏光主軸角度為正交關係,較佳為第2攝像單位具有偏光件,該偏光件 具有2種偏光主軸角度,較佳為第2攝像單位中之2種偏光主軸角度為正交關係。
於本技術之第1實施形態之攝像裝置中,較佳為第1攝像單位具有:具有22.5度之偏光主軸角度之偏光件及具有112.5度之偏光主軸角度之偏光件,較佳為第2攝像單位具有:具有67.5度之偏光主軸角度之偏光件及具有157.5度之偏光主軸角度之偏光件。
於本技術之第1實施形態之攝像裝置中,較佳為第1攝像單位具有偏光件,該偏光件具有1種偏光主軸角度,較佳為第2攝像單位具有偏光件,該偏光件具有1種偏光主軸角度,較佳為第1攝像單位具有之偏光件之偏光主軸角度與第2攝像單位具有之該偏光件之該偏光主軸角度之差為5度以上85度以下。
於本技術之第1實施形態之攝像裝置中,較佳為第1攝像單位具有包含偏光件之重複單位與不包含偏光件之重複單位,較佳為第2攝像單位具有包含偏光件之重複單位與不包含偏光件之重複單位,較佳為第1攝像單位中之包含偏光件之重複單位與不包含偏光件之重複單位之比例、與第2攝像單位中之包含偏光件之重複單位與不包含偏光件之重複單位之比例大致相同。
於本技術之第1實施形態之攝像裝置中,較佳為第1攝像單位具有包含偏光件之重複單位與不包含偏光件之重複單位,較佳為第2攝像單位具有包含偏光件之重複單位與不包含偏光件之重複單位,較佳為第1攝像單位中之包含偏光件之重複單位與不包含偏光件之重複單位之配置圖案、與第2攝像單位中之包含偏光件之重複單位與不包含偏光件之重複單位之配置圖案大致相同。
以下,對本技術之第1實施形態之攝像裝置,使用圖1~圖9及圖11~圖22更詳細地進行說明。
圖1~圖9及圖11~圖15係表示本技術之第1實施形態之攝像裝置之構成例的圖。圖16~圖17係表示構成本技術之第1實施形態之攝像裝置之感測器,更詳細而言為感測器之受光區域即攝像部之構成例的剖視圖。圖18係表示使用本技術之第1實施形態之攝像裝置之攝像形態之一例的圖。圖19係表示本技術之第1實施形態之攝像裝置之處理流程的流程圖。圖20~圖24係用以說明使用本技術之第1實施形態之攝像裝置產生法線資訊而獲得距離圖像(3D資訊)的圖。
首先,使用圖1~圖9及圖11~圖15進行說明。
圖1表示攝像裝置1。攝像裝置1具備第1感測器1-1與第2感測器1-2。即,攝像裝置1具備之立體圖像攝像部由第1感測器1-1與第2感測器1-2構成。
第1感測器1-1具有由4個重複單位11-11~14-11構成之1個攝像單位10-1。重複單位11-11由具有112.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位11-11獲得1像素量之偏光亮度值。重複單位12-11由無偏光件之1個像素構成,且可藉由重複單位12-11獲得1像素量之無偏光亮度值。重複單位13-11由無偏光件之1個像素構成,且可藉由重複單位13-11獲得1像素量之無偏光亮度值。重複單位14-11由具有22.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位14-11獲得1像素量之偏光亮度值。
第2感測器1-2具有由4個重複單位11-21~14-21構成之1個攝像單位10-2。重複單位11-21由具有67.5度之偏光主軸角度之偏光件與1個 像素構成,且可藉由重複單位11-21獲得1像素量之偏光亮度值。重複單位12-21由無偏光件之1個像素構成,且可藉由重複單位12-21獲得1像素量之無偏光亮度值。重複單位13-21由無偏光件之1個像素構成,且可藉由重複單位13-21獲得1像素量之無偏光亮度值。重複單位14-21由具有157.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位14-21獲得1像素量之偏光亮度值。
如圖1所示,偏光像素與無偏光之像素(無偏光像素)之配置兩者相同。各偏光件為相對於像素為對象且長度亦相等,且若將角度存在正交關係之像素彼此之亮度相加,則可獲得不依存於偏光之亮度,因此藉由攝像單位10-1及10-2獲得之單位圖像彼此之感度大致相同,而易於特定同一部位。亦易於計算法線資訊。
圖2表示攝像裝置2。攝像裝置2具備第1感測器2-1與第2感測器2-2。即,攝像裝置2具備之立體圖像攝像部由第1感測器2-1與第2感測器2-2構成。
第1感測器2-1具有由4個重複單位21-1~24-1構成之1個攝像單位20-1。重複單位21-1由具有112.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位21-1獲得1像素量之偏光亮度值。重複單位22-1由無偏光件之1個像素構成,且可藉由重複單位22-1獲得1像素量之無偏光亮度值。重複單位23-1由無偏光件之1個像素構成,且可藉由重複單位23-1獲得1像素量之無偏光亮度值。重複單位24-1由具有22.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位24-1獲得1像素量之偏光亮度值。
第2感測器2-2具有由4個重複單位21-2~24-2構成之1個攝 像單位20-2。重複單位21-2由無偏光件之1個像素構成,且可藉由重複單位21-2獲得1像素量之無偏光亮度值。重複單位22-2由具有157.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位22-2獲得1像素量之偏光亮度值。重複單位23-2由具有67.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位23-2獲得1像素量之偏光亮度值。重複單位24-2由無偏光件之1個像素構成,且可藉由重複單位24-2獲得1像素量之無偏光亮度值。
如圖2所示,偏光件之主軸角度與圖1所示之攝像裝置1相同,但偏光像素與無偏光之像素之配置不同。攝像裝置2之效果與攝像裝置1之效果同樣。
圖3表示攝像裝置3。攝像裝置3具備第1感測器3-1與第2感測器3-2。即,攝像裝置3具備之立體圖像攝像部由第1感測器3-1與第1感測器3-2構成。
第1感測器3-1具有由4個重複單位31-1~34-1構成之1個攝像單位30-1。重複單位31-1由具有112.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位31-1獲得1像素量之偏光亮度值。重複單位32-1由無偏光件之1個像素構成,且可藉由重複單位32-1獲得1像素量之無偏光亮度值。重複單位33-1由無偏光件之1個像素構成,且可藉由重複單位23-1獲得1像素量之無偏光亮度值。重複單位34-1由具有157.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位34-1獲得1像素量之偏光亮度值。
第2感測器3-2具有由4個重複單位31-2~34-2構成之1個攝像單位30-2。重複單位31-2由無偏光件之1個像素構成,且可藉由重複單 位31-2獲得1像素量之無偏光亮度值。重複單位32-2由具有67.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位32-2獲得1像素量之偏光亮度值。重複單位33-2由具有22.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位33-2獲得1像素量之偏光亮度值。重複單位34-2由無偏光件之1個像素構成,且可藉由重複單位34-2獲得1像素量之無偏光亮度值。
攝像裝置3之構成包含於攝像裝置2之構成,但可藉由使1種感測器旋轉而實現。由於可使用同一感測器故有降低製造成本之效果。
圖4表示攝像裝置4。攝像裝置4具備第1感測器4-1與第2感測器4-2。即,攝像裝置4具備之立體圖像攝像部由第1感測器4-1與第2感測器4-2構成。
第1感測器4-1具有由4個重複單位41-1~44-1構成之1個攝像單位40-1。重複單位41-1由具有112.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位41-1獲得1像素量之偏光亮度值。重複單位42-1由無偏光件之1個像素構成,且可藉由重複單位42-1獲得1像素量之無偏光亮度值。重複單位43-1由無偏光件之1個像素構成,且可藉由重複單位43-1獲得1像素量之無偏光亮度值。重複單位44-1由無偏光之1個像素構成,且可藉由重複單位44-1獲得1像素量之無偏光亮度值。
第2感測器4-2具有由4個重複單位41-2~44-2構成之1個攝像單位40-2。重複單位41-2由具有67.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位41-2獲得1像素量之偏光亮度值。重複單位42-2由無偏光件之1個像素構成,且可藉由重複單位42-2獲得1像素量之無偏光亮度值。重複單位43-2由無偏光件之1個像素構成,且可藉由重複單 位43-2獲得1像素量之無偏光亮度值。重複單位44-2由無偏光之1個像素構成,且可藉由重複單位44-2獲得1像素量之無偏光亮度值。
於第1感測器4-1及4-2之各者僅存在1種偏光件,自無偏光之像素與偏光像素之差分計算垂直方向相對於偏光像素可取得之成分之偏光成分。由於可配置大量偏光像素,故可提高亮度圖像之感度。
圖5表示攝像裝置5。攝像裝置5具備第1感測器5-1與第2感測器5-2。即,攝像裝置5具備之立體圖像攝像部由第1感測器5-1與第2感測器5-2構成。
第1感測器5-1具有由水平方向(圖5中之左右方向)之2個重複單位51-1及53-1構成之1個攝像單位50-1-1。重複單位51-1由具有112.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位51-1獲得1像素量之偏光亮度值。重複單位53-1由無偏光件之1個像素構成,且可藉由重複單位53-1獲得1像素量之無偏光亮度值。又,第1感測器5-1具有由垂直方向(圖5中之上下方向)之2個重複單位55-1及56-1構成之1個攝像單位50-1-2。重複單位55-1由具有112.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位55-1獲得1像素量之偏光亮度值。重複單位56-1由無偏光件之1個像素構成,且可藉由重複單位56-1獲得1像素量之無偏光亮度值。
第2感測器5-2具有由水平方向(圖5中之左右方向)之2個重複單位51-2及53-2構成之1個攝像單位50-2-1。重複單位51-2由具有67.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位51-2獲得1像素量之偏光亮度值。重複單位53-2由無偏光件之1個像素構成,且可藉由重複單位53-2獲得1像素量之無偏光亮度值。又,第1感測器5-2具有由 垂直方向(圖5中之上下方向)之2個重複單位55-2及56-2構成之1個攝像單位50-2-2。重複單位55-2由具有67.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位55-2獲得1像素量之偏光亮度值。重複單位56-2由無偏光件之1個像素構成,且可藉由重複單位56-2獲得1像素量之無偏光亮度值。
攝像裝置5為自攝像裝置4增加偏光像素(具有偏光件之重複單位)者。相對於攝像裝置4,攝像裝置5可使水平解像度、或垂直解像度或其兩者提高。
圖6表示攝像裝置6。攝像裝置6具備第1感測器6-1與第2感測器6-2。即,攝像裝置6具備之立體圖像攝像部由第1感測器6-1與第2感測器6-2構成。
第1感測器6-1具有由4個重複單位61-1~64-1構成之1個攝像單位60-1。重複單位61-1由具有135度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位61-1獲得1像素量之偏光亮度值。重複單位62-1由無偏光件之1個像素構成,且可藉由重複單位62-1獲得1像素量之無偏光亮度值。重複單位63-1由無偏光件之1個像素構成,且可藉由重複單位63-1獲得1像素量之無偏光亮度值。重複單位64-1由具有45度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位64-1獲得1像素量之偏光亮度值。
第2感測器6-2具有由4個重複單位61-2~64-2構成之1個攝像單位60-2。重複單位61-2由具有0度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位61-2獲得1像素量之偏光亮度值。重複單位62-2由無偏光件之1個像素構成,且可藉由重複單位62-2獲得1像素量之無偏光 亮度值。重複單位63-2由無偏光件之1個像素構成,且可藉由重複單位63-2獲得1像素量之無偏光亮度值。重複單位64-2由具有90度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位64-2獲得1像素量之偏光亮度值。
相對於攝像裝置1,攝像裝置6將偏光件之偏光主軸角度存在正交關係者配置於各個感測器,且表示22.5度/112.5度及67.5度/157.5度以外之構成。藉由組合該等偏光件,亦可獲得與攝像裝置2~5同樣之變化。
圖7表示攝像裝置7。攝像裝置7具備第1感測器7-1與第2感測器7-2。即,攝像裝置7具備之立體圖像攝像部由第1感測器7-1與第2感測器7-2構成。
第1感測器7-1具有由9個(3個×3個)重複單位71-1~74-1、77-1、79-1、710-1及713-1構成之1個攝像單位70-1。重複單位71-1由具有112.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位71-1獲得1像素量之偏光亮度值。重複單位72-1由無偏光件之1個像素構成,且可藉由重複單位72-1獲得1像素量之無偏光亮度值。重複單位73-1由無偏光件之1個像素構成,且可藉由重複單位73-1獲得1像素量之無偏光亮度值。重複單位74-1由無偏光件之1個像素構成,且可藉由重複單位74-1獲得1像素量之無偏光亮度值。重複單位77-1由無偏光件之1個像素構成,且可藉由重複單位77-1獲得1像素量之無偏光亮度值。重複單位79-1由無偏光件之1個像素構成,且可藉由重複單位79-1獲得1像素量之無偏光亮度值。重複單位710-1由無偏光件之1個像素構成,且可藉由重複單位710-1獲得1像素量之無偏光亮度值。重複單位713-1由具有22.5度之偏光 主軸角度之偏光件與1個像素構成,且可藉由重複單位713-1獲得1像素量之偏光亮度值。
第1感測器7-2具有由9個(3個×3個)重複單位71-2~74-2、77-2、79-2、710-2及713-2構成之1個攝像單位70-2。重複單位71-2由具有67.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位71-2獲得1像素量之偏光亮度值。重複單位72-2由無偏光件之1個像素構成,且可藉由重複單位72-2獲得1像素量之無偏光亮度值。重複單位73-2由無偏光件之1個像素構成,且可藉由重複單位73-2獲得1像素量之無偏光亮度值。重複單位74-2由無偏光件之1個像素構成,且可藉由重複單位74-2獲得1像素量之無偏光亮度值。重複單位77-2由無偏光件之1個像素構成,且可藉由重複單位77-2獲得1像素量之無偏光亮度值。重複單位79-2由無偏光件之1個像素構成,且可藉由重複單位79-2獲得1像素量之無偏光亮度值。重複單位710-2由無偏光件之1個像素構成,且可藉由重複單位710-2獲得1像素量之無偏光亮度值。重複單位713-2由具有157.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位713-2獲得1像素量之偏光亮度值。
如上所述,攝像裝置7為將單位圖像(攝像單位)設為3×3之例。可進一步提高亮度圖像之感度。如此,單位圖像不限定於2×2。
圖8表示攝像裝置8。攝像裝置8具備第1感測器8-1與第2感測器8-2。即,攝像裝置8具備之立體圖像攝像部由第1感測器8-1與第2感測器8-2構成。
第1感測器8-1具有由4個重複單位81-1~84-1構成之1個攝像單位80-1。重複單位81-1由具有112.5度之偏光主軸角度之偏光件與1個 像素構成,且可藉由重複單位81-1獲得1像素量之偏光亮度值。重複單位82-1由無偏光件之1個像素構成,且可藉由重複單位82-1獲得1像素量之無偏光亮度值。重複單位83-1由無偏光件之1個像素構成,且可藉由重複單位83-1獲得1像素量之無偏光亮度值。重複單位84-1由具有22.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位84-1獲得1像素量之偏光亮度值。
第2感測器8-2具有由4個重複單位81-2~84-2構成之1個攝像單位80-2。重複單位81-2由具有67.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位81-2獲得1像素量之偏光亮度值。重複單位82-2由無偏光件之1個像素構成,且可藉由重複單位82-2獲得1像素量之無偏光亮度值。重複單位83-2由無偏光件之1個像素構成,且可藉由重複單位83-2獲得1像素量之無偏光亮度值。重複單位84-2由具有157.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位84-2獲得1像素量之偏光亮度值。
如圖8所示,攝像裝置8並非將單位像素重複配置,而是將單位像素配置於特定之位置(圖案)。可進一步提高亮度圖像之感度。如此,可自由地配置偏光像素。
圖9表示攝像裝置9。攝像裝置9具備第1感測器9-1與第2感測器9-2。即,攝像裝置9具備之立體圖像攝像部由第1感測器9-1與第2感測器9-2構成。
第1感測器9-1具有由16個(4個×4個)重複單位91-1~916-1構成之1個攝像單位90-1。重複單位91-1由具有112.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位91-1獲得1像素量之偏光亮度 值。重複單位92-1由具有112.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位92-1獲得1像素量之偏光亮度值。重複單位93-1由具有112.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位93-1獲得1像素量之偏光亮度值。重複單位94-1由具有112.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位94-1獲得1像素量之偏光亮度值。
重複單位95-1由無偏光件之1個像素構成,且可藉由重複單位95-1獲得1像素量之無偏光亮度值。重複單位96-1由無偏光件之1個像素構成,且可藉由重複單位96-1獲得1像素量之無偏光亮度值。重複單位97-1由無偏光件之1個像素構成,且可藉由重複單位97-1獲得1像素量之無偏光亮度值。重複單位98-1由無偏光件之1個像素構成,且可藉由重複單位98-1獲得1像素量之無偏光亮度值。
重複單位99-1由無偏光件之1個像素構成,且可藉由重複單位99-1獲得1像素量之無偏光亮度值。重複單位910-1由無偏光件之1個像素構成,且可藉由重複單位910-1獲得1像素量之無偏光亮度值。重複單位911-1由無偏光件之1個像素構成,且可藉由重複單位911-1獲得1像素量之無偏光亮度值。重複單位912-1由無偏光件之1個像素構成,且可藉由重複單位912-1獲得1像素量之無偏光亮度值。
重複單位913-1由具有22.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位913-1獲得1像素量之偏光亮度值。重複單位914-1由具有22.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位914-1獲得1像素量之偏光亮度值。重複單位915-1由具有22.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位915-1獲得1 像素量之偏光亮度值。重複單位916-1由具有22.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位916-1獲得1像素量之偏光亮度值。
第2感測器9-2具有由16個(4個×4個)重複單位91-2~916-2構成之1個攝像單位90-2。重複單位91-2由具有67.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位91-2獲得1像素量之偏光亮度值。重複單位92-2由具有67.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位92-2獲得1像素量之偏光亮度值。重複單位93-2由具有67.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位93-2獲得1像素量之偏光亮度值。重複單位94-2由具有67.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位94-2獲得1像素量之偏光亮度值。
重複單位95-2由無偏光件之1個像素構成,且可藉由重複單位95-2獲得1像素量之無偏光亮度值。重複單位96-2由無偏光件之1個像素構成,且可藉由重複單位96-2獲得1像素量之無偏光亮度值。重複單位97-2由無偏光件之1個像素構成,且可藉由重複單位97-2獲得1像素量之無偏光亮度值。重複單位98-2由無偏光件之1個像素構成,且可藉由重複單位98-2獲得1像素量之無偏光亮度值。
重複單位99-2由無偏光件之1個像素構成,且可藉由重複單位99-2獲得1像素量之無偏光亮度值。重複單位910-2由無偏光件之1個像素構成,且可藉由重複單位910-2獲得1像素量之無偏光亮度值。重複單位911-2由無偏光件之1個像素構成,且可藉由重複單位911-2獲得1像素量之無偏光亮度值。重複單位912-2由無偏光件之1個像素構成,且可藉由重 複單位912-2獲得1像素量之無偏光亮度值。
重複單位913-2由具有157.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位913-2獲得1像素量之偏光亮度值。重複單位914-2由具有157.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位914-2獲得1像素量之偏光亮度值。重複單位915-2由具有157.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位915-2獲得1像素量之偏光亮度值。重複單位916-2由具有157.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位916-2獲得1像素量之偏光亮度值。
攝像裝置9將偏光件配置於像素群。如此,可彙總配置同一方向之偏光件。
圖11表示攝像裝置11。攝像裝置11具備第1感測器11-1與第2感測器11-2。即,攝像裝置11具備之立體圖像攝像部由第1感測器11-1與第2感測器11-2構成。
第1感測器11-1具有由水平方向(圖11中之左右方向)之2個重複單位111-1及113-1構成之1個攝像單位110-1-1。重複單位111-1由具有0度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位111-1獲得1像素量之偏光亮度值。重複單位113-1由具有90度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位113-1獲得1像素量之偏光亮度值。又,第1感測器11-1具有由垂直方向(圖11中之上下方向)之2個重複單位115-1及116-1構成之1個攝像單位110-1-2。重複單位115-1由具有0度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位115-1獲得1像素量之偏光亮度值。重複單位116-1由具有90度之偏光主軸角度之偏光件 與1個像素構成,且可藉由重複單位116-1獲得1像素量之偏光亮度值。
第2感測器11-2具有由水平方向(圖11中之左右方向)之2個重複單位111-2及113-2構成之1個攝像單位110-2-1。重複單位111-2由具有135度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位111-2獲得1像素量之偏光亮度值。重複單位113-2由具有45度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位113-2獲得1像素量之偏光亮度值。又,第1感測器11-2具有由垂直方向(圖11中之上下方向)之2個重複單位115-2及116-2構成之1個攝像單位110-2-2。重複單位115-2由具有135度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位115-2獲得1像素量之偏光亮度值。重複單位116-2由具有45度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位116-2獲得1像素量之偏光亮度值。
攝像裝置11係將本技術應用於提高解像度而非感度之例。由於不於各個攝像部取得3個以上之偏光資訊,故較先前之技術亦可提高解像度。
圖12表示攝像裝置12。攝像裝置12具備第1感測器12-1與第2感測器12-2。即,攝像裝置12具備之立體圖像攝像部由第1感測器12-1與第2感測器12-2構成。
第1感測器12-1具有由水平方向(圖12中之左右方向)之2個重複單位121-1及123-1構成之1個攝像單位120-1-1。重複單位121-1由具有135度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位121-1獲得1像素量之偏光亮度值。重複單位123-1由具有90度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位123-1獲得1像素量之偏光亮度值。又,第1感測器12-1具有由垂直方向(圖12中之上下方向)之2個重複 單位125-1及126-1構成之1個攝像單位120-1-2。重複單位125-1由具有135度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位125-1獲得1像素量之偏光亮度值。重複單位126-1由具有90度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位126-1獲得1像素量之偏光亮度值。
第2感測器12-2具有由水平方向(圖12中之左右方向)之2個重複單位121-2及123-2構成之1個攝像單位120-2-1。重複單位121-2由具有0度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位121-2獲得1像素量之偏光亮度值。重複單位123-2由具有45度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位123-2獲得1像素量之偏光亮度值。又,第1感測器12-2具有由垂直方向(圖12中之上下方向)之2個重複單位125-2及126-2構成之1個攝像單位120-2-2。重複單位125-2由具有0度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位125-2獲得1像素量之偏光亮度值。重複單位126-2由具有45度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位126-2獲得1像素量之偏光亮度值。
如圖12所示,攝像裝置12為可藉由使1種感測器旋轉而實現解像度提高之例。
圖13表示攝像裝置13。攝像裝置13具備第1感測器13-1與第2感測器13-2。即,攝像裝置13具備之立體圖像攝像部由第1感測器13-1與第2感測器13-2構成。
第1感測器13-1具有由4個重複單位131-1~134-1構成之1個攝像單位130-1R。攝像單位130-1R進而具有紅色光用之彩色濾光片。重複單位131-1由具有135度之偏光主軸角度之偏光件與包含紅色光用之彩色濾光片之1個像素構成,且可藉由重複單位131-1獲得1像素量之彩色之 偏光亮度值。重複單位132-1由無偏光件之包含紅色光用之彩色濾光片之1個像素構成,且可藉由重複單位132-1獲得1像素量之彩色無偏光亮度值。重複單位133-1由無偏光件之包含紅色光用之彩色濾光片之1個像素構成,且可藉由重複單位133-1獲得1像素量之彩色無偏光亮度值。重複單位134-1由具有90度之偏光主軸角度之偏光件與包含紅色光用之彩色濾光片之1個像素構成,且可藉由重複單位134-1獲得1像素量之彩色之偏光亮度值。
第1感測器13-1具有攝像單位130-1G與攝像單位130-1B。攝像單位130-1G具有綠色光用之彩色濾光片,且由4個重複單位構成,重複單位各者之構成與上文所述之攝像單位130-1R之重複單位之構成同樣。又,攝像單位130-1B具有藍色光用之彩色濾光片,且由4個重複單位構成,重複單位各者之構成與上文所述之攝像單位130-1R之重複單位之構成同樣。
第2感測器13-2具有由4個重複單位131-2~134-2構成之1個攝像單位130-2R。攝像單位130-2R進而具有紅色光用之彩色濾光片。重複單位131-2由無偏光件之包含紅色光用之彩色濾光片之1個像素構成,且可藉由重複單位131-2獲得1像素量之彩色無偏光亮度值。重複單位132-2由具有0度之偏光主軸角度之偏光件與包含紅色光用之彩色濾光片之1個像素構成,且可藉由重複單位132-2獲得1像素量之彩色之偏光亮度值。重複單位133-2由具有45度之偏光主軸角度之偏光件與包含紅色光用之彩色濾光片之1個像素構成,且可藉由重複單位133-2獲得1像素量之彩色之偏光亮度值。重複單位134-2由無偏光件之包含紅色光用之彩色濾光片之1個像素構成,且可藉由重複單位134-2獲得1像素量之彩色無偏光亮度值。
第2感測器13-2具有攝像單位130-2G與攝像單位130-2B。 攝像單位130-2G具有綠色光用之彩色濾光片,且由4個重複單位構成,重複單位各者之構成與上文所述之攝像單位130-2R之重複單位之構成同樣。又,攝像單位130-2B具有藍色光用之彩色濾光片,且由4個重複單位構成,重複單位各者之構成與上文所述之攝像單位130-2R之重複單位之構成同樣。
攝像裝置13為將彩色濾光片配置於感測器(攝像部)之例,且以偏光資訊一致之單位改變彩色濾光片之顏色。如上所述,於攝像裝置13中,可與距離圖像同時獲得彩色圖像。
圖14表示攝像裝置14。攝像裝置14具備第1感測器14-1與第2感測器14-2。即,攝像裝置14具備之立體圖像攝像部由第1感測器14-1與第2感測器14-2構成。
第1感測器14-1具有由4個重複單位141-1、142-1R、143-1G及144-1構成之1個攝像單位140-1。重複單位141-1由具有135度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位141-1獲得1像素量之偏光亮度值。重複單位142-1R由無偏光件之包含紅色光用之彩色濾光片之1個像素構成,且可藉由重複單位142-1R獲得1像素量之彩色無偏光亮度值。重複單位143-1G由無偏光件之包含綠色光用之彩色濾光片之1個像素構成,且可藉由重複單位143-1G獲得1像素量之彩色無偏光亮度值。重複單位144-1由具有45度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位144-1獲得1像素量之偏光亮度值。
第2感測器14-2具有由4個重複單位141-1、142-2R、143-2G及144-2構成之1個攝像單位140-2。重複單位141-2由具有0度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位141-2獲得1像素量之 偏光亮度值。重複單位142-2R由無偏光件之包含紅色光用之彩色濾光片之1個像素構成,且可藉由重複單位142-2R獲得1像素量之彩色無偏光亮度值。重複單位143-2G由無偏光件之包含綠色光用之彩色濾光片之1個像素構成,且可藉由重複單位143-2G獲得1像素量之彩色無偏光亮度值。重複單位144-2由具有90度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位144-2獲得1像素量之偏光亮度值。
攝像裝置14為將彩色濾光片配置於感測器(攝像部)之例,且僅於無偏光之像素配置分離顏色之彩色濾光片。同樣地,可與距離圖像同時獲得彩色圖像。
圖15表示攝像裝置15。攝像裝置15具備第1感測器15-1與第2感測器15-2。即,攝像裝置14具備之立體圖像攝像部由第1感測器15-1與第2感測器15-2構成。
第1感測器15-1具有由水平方向(圖15中之左右方向)之2個重複單位151-1R及153-1R構成之1個攝像單位150-1R。攝像單位150-1R具有紅色光用之彩色濾光片。重複單位151-1R由具有0度之偏光主軸角度之偏光件與包含紅色光用之彩色濾光片之1個像素構成,且可藉由重複單位151-1R獲得1像素量之彩色之偏光亮度值。重複單位153-1R由具有90度之偏光主軸角度之偏光件與包含紅色光用之彩色濾光片之1個像素構成,且可藉由重複單位153-1R獲得1像素量之彩色之偏光亮度值。又,第1感測器15-1於攝像單位150-1R之下側具有由水平方向(圖15中之左右方向)之2個重複單位152-1G及154-1G構成之1個攝像單位150-1G。攝像單位150-1G具有綠色光用之彩色濾光片。重複單位152-1G由具有90度之偏光主軸角度之偏光件與包含綠色光用之彩色濾光片之1個像素構成,且可藉由重 複單位152-1G獲得1像素量之彩色之偏光亮度值。重複單位154-1G由具有0度之偏光主軸角度之偏光件與包含綠色光用之彩色濾光片之1個像素構成,且可藉由重複單位154-1G獲得1像素量之彩色之偏光亮度值。又,第1感測器15-1於攝像單位150-1R之右側具有由水平方向(圖15中之左右方向)之2個重複單位構成之1個攝像單位150-1G。攝像單位150-1R右側之攝像單位150-1G為使攝像單位150-1R下側之攝像單位150-1G旋轉180度者。再者,第1感測器15-1於攝像單位150-1R之右下側具有由水平方向(圖15中之左右方向)之2個重複單位構成之1個攝像單位150-1B。攝像單位150-1B具有藍色光用之彩色濾光片。攝像單位150-1B之重複範圍之構成具有與攝像單位150-1G之重複單位同樣之構成。
第1感測器15-2具有由水平方向(圖15中之左右方向)之2個重複單位152-1R及153-2R構成之1個攝像單位150-2R。攝像單位150-2R具有紅色光用之彩色濾光片。重複單位151-2R由具有135度之偏光主軸角度之偏光件與包含紅色光用之彩色濾光片之1個像素構成,且可藉由重複單位151-2R獲得1像素量之彩色之偏光亮度值。重複單位153-2R由具有45度之偏光主軸角度之偏光件與包含紅色光用之彩色濾光片之1個像素構成,且可藉由重複單位153-2R獲得1像素量之彩色之偏光亮度值。又,第1感測器15-2於攝像單位150-2R之下側具有由水平方向(圖15中之左右方向)之2個重複單位152-2G及154-2G構成之1個攝像單位150-2G。攝像單位150-2G具有綠色光用之彩色濾光片。重複單位152-2G由具有45度之偏光主軸角度之偏光件與包含綠色光用之彩色濾光片之1個像素構成,且可藉由重複單位152-2G獲得1像素量之彩色之偏光亮度值。重複單位154-2G由具有135度之偏光主軸角度之偏光件與包含綠色光用之彩色濾光片之1 個像素構成,且可藉由重複單位154-2G獲得1像素量之彩色之偏光亮度值。又,第2感測器15-2於攝像單位150-2R之右側具有由水平方向(圖15中之左右方向)之2個重複單位構成之1個攝像單位150-2G。攝像單位150-2R右側之攝像單位150-2G為使攝像單位150-2R下側之攝像單位150-2G旋轉180度者。再者,第2感測器15-2於攝像單位150-2R之右下側具有由水平方向(圖15中之左右方向)之2個重複單位構成之1個攝像單位150-2B。攝像單位150-2B具有藍色光用之彩色濾光片。攝像單位150-2B之重複單位之構成具有與攝像單位150-2G之重複單位同樣之構成。
攝像裝置15具有與攝像裝置13相同之目的(概念),但為感測器(攝像部)皆為偏光像素之例。且說,亦可於攝像部1~12之任一者配置有彩色濾光片。
圖16表示構成攝像裝置之感測器16-1。於感測器16-1,自光入射側依序配置有晶載透鏡161、形成於絕緣膜162之偏光件167-1及167-2、遮光材163、形成有光電二極體166之半導體基板164、電晶體、配線層165。於光電二極體166之受光側配置有偏光件167-1及167-2與晶載透鏡161。偏光件167-1及167-2可由例如金屬細線形成。
圖17表示構成攝像裝置之感測器17-1。於感測器17-1,自光入射側依序配置有晶載透鏡171、彩色濾光片(W光用彩色濾光片、R光用彩色濾光片、B光用彩色濾光片)、形成於絕緣膜172之偏光件177-1及177-2、遮光材173、形成有W光用光電二極體176W、R光用光電二極體176R、B光用光電二極體之半導體基板174、電晶體、配線層175。圖17所示之感測器17-1為如圖14中顯示之感測器14-1或14-2般僅於無偏光之像素配置分離顏色之彩色濾光片之例。亦可於偏光像素配置分離顏色之彩色 濾光片,於該情形時,可將W光置換成分離期望之顏色之彩色濾光片。
如上所述,圖18係表示使用本技術之第1實施形態之攝像裝置之攝像形態之一例的圖。如圖18所示,本技術之第1實施形態之攝像裝置由相機1000-1與相機1000-2構成,於1000-1具備包含受光區域即攝像部之感測器2000-1,於相機1000-2具備包含受光區域即攝像部之感測器2000-2。於圖18所示之攝像形態中,對被攝體300,使用相機1000-1及相機1000-2,即2個感測器(感測器2000-1及感測器2000-2)進行拍攝。
圖19係表示例如用以自如圖18所示般拍攝之圖像獲得高精度距離圖像之處理流程之流程圖。
首先,於步驟S0開始處理。於步驟S1-1,取得第1感測器(例如圖1中之第1感測器1-1,以下相同)之圖像,於步驟S1-2,取得第2感測器(例如圖1中之第1感測器1-2,以下相同)之圖像。
接著,於步驟S2-1,作成第1感測器之亮度圖像,於步驟S2-3,作成第1感測器之各偏光方向之亮度圖像。接著,於步驟S2-2,作成第2感測器之亮度圖像,於步驟S2-4,作成第2感測器之各偏光方向之亮度圖像。例如,作成以藉由圖1~圖15中所示之攝像單位獲得之單位圖像為1像素之亮度圖像、與僅各個偏光像素之亮度圖像。
於步驟S3,匹配藉由步驟S2-1及S2-2獲得之亮度圖像。例如,進行以自第1感測器獲得之單位圖像為1像素之亮度圖像與以自第2感測器獲得之單位圖像為1像素之亮度圖像的匹配。所謂匹配係將拍攝相同之部位之像素(Pixel)建立對應。作為匹配方法,大致分為基於特徵之匹配與基於區域之匹配之2種,但亦存在組合該兩種方法者。可使用該等之任一種。另,關於匹配方法,可參考例如非專利文獻(第25次信號處理研討 會2010年11月24日~26日(奈良),「高精度之圖像匹配方法之研究」)。
於步驟S4-1,作成距離圖像,於步驟S4-2,自對應位置之各偏光亮度圖像計算偏光資訊(Imax、Imin、
Figure 108109053-A0305-02-0034-31
),並於步驟s5作成方位角及天頂角圖像,而可於步驟S6,作成高精度之距離圖像。
具體而言,首先,使用上述之匹配資訊,根據以自第1感測器獲得之單位圖像為1像素之亮度圖像與以自第2感測器獲得之單位圖像為1像素之亮度圖像作成距離圖像。若第1攝像部與第2攝像部之距離(稱為基線長度)已知,則可以匹配資訊自各個攝像部中偏移之像素數計算出深度(Depth)方向(自2個感測器垂直之方向)之距離。接著,計算偏光資訊。可根據拍攝相同之部位之各者之偏光亮度,將Imax、Imin、
Figure 108109053-A0305-02-0034-32
應用於稍後敍述之圖20所示之模型而求出。
僅上述Imax、Imin、
Figure 108109053-A0305-02-0034-33
存在不確定性且法線向量未知,但若使用如上所述作成之距離圖像,則如稍後敍述之圖21所示,由於自著眼點朝某方向移動時,可知距離是變遠還是變近,故可確定方位角α與天頂角θ之角度。可藉由使用求出之法線資訊再計算距離圖像,而如稍後敍述,作成精度較高之距離圖像。
如上所述,圖20~圖24係用以說明使用本技術之第1實施形態之攝像裝置,產生法線資訊並獲得距離圖像(3D資訊)之圖。
於圖20(a)示出相機(Camera)1000、偏光件(Polarizer)4000及物體5000(Object)之位置關係中法線Q、天頂角θ及方位角α之關係。於圖20(b)之圖表中,橫軸為偏光件之偏光主軸角度
Figure 108109053-A0305-02-0034-34
,縱軸為亮度I。於圖20(b)之圖表示出由透過偏光主軸角度為0度、45度、90度、135度之4種偏光件的光之亮度P1~P4形成1條正弦函數曲線的情況。可藉由該正弦函 數曲線計算Imax、Imin、
Figure 108109053-A0305-02-0035-35
於圖21(a)~(b)示出反射光為鏡面反射時之方位角α及天頂角θ之求出方法。且,於圖21(c)~(d)示出反射光為擴散反射時之方位角α及天頂角θ之求出方法。圖21(b)及(d)之圖表之縱軸為偏光度ρ,且可以Imax-Imin/Imax+Imin計算出。
於圖22示出被攝體表面R1處之法線向量Q1,示出被攝體之表面R2處之Q2,及示出被攝體表面R3處之法線向量Q3。圖22中,前提為與法線向量Q1對應之被攝體距離預先根據距離(絕對距離)資訊而已知。如此,法線間距R可藉由像素間距×被攝體距離/焦點距離而求出,深度(被攝體之表面凹凸、3D資訊)可藉由深度=法線間距.tan(天頂角θ)而求出。
<3.第2實施形態(攝像裝置之例2)>
本技術之第2實施形態(攝像裝置之例2)之攝像裝置係具備立體圖像攝像部,立體圖像攝像部包含第1感測器、第2感測器及第3感測器,第1感測器具有由複數個重複單位構成之第1攝像單位,第2感測器具有由複數個重複單位構成之第2攝像單位,第3感測器具有由複數個重複單位構成之第3攝像單位,第1攝像單位具有偏光件,該偏光件具有至少1種偏光主軸角度,第2攝像單位具有偏光件,該偏光件具有至少1種偏光主軸角度,第3攝像單位具有偏光件,該偏光件具有至少1種偏光主軸角度,將藉由第1攝像單位獲得之第1單位圖像、藉由第2攝像單位獲得之第2單位圖像及藉由第3攝像單位獲得之第3單位圖像組合,而取得至少3個方向之偏光資訊,並產生法線資訊者。即,本技術之第2實施形態之攝像裝置使用3個感測器,取得至少3個方向之偏光資訊,並產生法線資訊。於本技術之第2實施形態之攝像裝置中,為了產生法線資訊,只要取得至少3個方向之偏光資 訊即可,因而可為3個方向之偏光資訊,亦可為4個方向之偏光資訊,又可為5個方向以上之偏光資訊。
根據本技術之第2實施形態之攝像裝置,可實現距離資訊之精度之進一步提高。更詳細而言,根據本技術之第2實施形態之攝像裝置,由於不在複數個(三個)感測器之各個感測器配置至少3個方向之偏光像素,故減少偏光像素,相應地,可分配給無偏光之像素,因而可提高感度。又,藉由於複數個(三個)感測器之各個感測器配置欲配置之方向之偏光像素而非無偏光之像素,可提高法線資訊之解像度,若法線資訊之解像度提高,則可提高距離方向之精度(3D資訊之精度)。
於本技術之第2實施形態之攝像裝置中,較佳為第1攝像單位具有之上述具有至少1種偏光主軸角度的偏光件、第2攝像單位具有之具有至少1種偏光主軸角度之偏光件及第3攝像單位具有之具有至少1種偏光主軸角度的偏光件在偏光主軸角度上彼此為不同種類,較佳為第2攝像單位不具有第1攝像單位具有之上述具有至少1種偏光主軸角度之偏光件及第3攝像單位具有之上述具有至少1種偏光主軸角度之偏光件,較佳為第3攝像單位不具有第1攝像單位具有之上述具有至少1種偏光主軸角度之偏光件及第2攝像單位具有之上述具有至少1種偏光主軸角度的偏光件。
於本技術之第2實施形態之攝像裝置中,較佳為第1單位圖像、第2單位圖像及第3單位圖像基於立體對應關係再構成。
於本技術之第2實施形態之攝像裝置中,較佳為第1攝像單位具有偏光件,該偏光件具有2種以下之偏光主軸角度,較佳為第2攝像單位具有偏光件,該偏光件具有2種以下之偏光主軸角度,較佳為第3攝像單位具有偏光件,該偏光件具有2種以下之偏光主軸角度。
於本技術之第2實施形態之攝像裝置中,較佳為第1攝像單位具有偏光件,該偏光件具有2種偏光主軸角度,較佳為第1攝像單位中之2種偏光主軸角度為正交關係,較佳為第2攝像單位具有偏光件,該偏光件具有2種偏光主軸角度,較佳為第2攝像單位中2種偏光主軸角度為正交關係,較佳為第3攝像單位具有偏光件,該偏光件具有2種偏光主軸角度,較佳為第3攝像單位中2種偏光主軸角度為正交關係,
於本技術之第2實施形態之攝像裝置中,較佳為至少第1攝像單位具有:具有22.5度之偏光主軸角度之偏光件及具有112.5度之偏光主軸角度之偏光件,較佳為第2攝像單位具有:具有67.5度之偏光主軸角度之偏光件及具有157.5度之偏光主軸角度之偏光件,又,於本技術之第2實施形態之攝像裝置中,較佳為至少第1攝像單位具有:具有22.5度之偏光主軸角度之偏光件及具有112.5度之偏光主軸角度之偏光件,較佳為第3攝像單位具有:具有67.5度之偏光主軸角度之偏光件及具有157.5度之偏光主軸角度之偏光件,進而,於本技術之第2實施形態之攝像裝置中,較佳為至少第2攝像單位具有:具有22.5度之偏光主軸角度之偏光件及具有112.5度之偏光主軸角度之偏光件,較佳為第3攝像單位具有:具有67.5度之偏光主軸角度之偏光件及具有157.5度之偏光主軸角度之偏光件。
於本技術之第2實施形態之攝像裝置中,較佳為第1攝像單位具有偏光件,該偏光件具有1種偏光主軸角度,較佳為第2攝像單位具有偏光件,該偏光件具有1種偏光主軸角度,較佳為第3攝像單位具有偏光件,該偏光件具有1種偏光主軸角度,較佳為第1攝像單位具有之偏光件之偏光主軸角度、第2攝像單位具有之該偏光件之該偏光主軸角度及第3攝像單位具有之該偏光件之該偏光主軸角度之差為5度以上85度以下。
於本技術之第2實施形態之攝像裝置中,較佳為第1攝像單位具有包含偏光件之重複單位與不包含偏光件之重複單位,較佳為第2攝像單位具有包含偏光件之重複單位與不包含偏光件之重複單位,較佳為第3攝像單位具有包含偏光件之重複單位與不包含偏光件之重複單位,較佳為第1攝像單位中之包含偏光件之重複單位與不包含偏光件之重複單位之比例、第2攝像單位中之包含偏光件之重複單位與不包含偏光件之重複單位之比例及第3攝像單位中之包含偏光件之重複單位與不包含偏光件之重複單位的比例大致相同。
於本技術之第2實施形態之攝像裝置中,較佳為第1攝像單位具有包含偏光件之重複單位與不包含偏光件之重複單位,較佳為第2攝像單位具有包含偏光件之重複單位與不包含偏光件之重複單位,較佳為第3攝像單位具有包含偏光件之重複單位與不包含偏光件之重複單位,較佳為第1攝像單位中之包含偏光件之重複單位與不包含偏光件之重複單位之配置圖案、第2攝像單位中之包含偏光件之重複單位與不包含偏光件之重複單位之配置圖案及第3攝像單位中之包含偏光件之重複單位與不包含偏光件之重複單位的配置圖案大致相同。
以下,對本技術之第2實施形態之攝像裝置,使用圖10更詳細地進行說明。圖10係表示本技術之第2實施形態之攝像裝置之構成例的圖。
圖10表示攝像裝置10A。攝像裝置10A具備第1感測器10A-1、第2感測器10A-2及第3感測器10A-3。即,攝像裝置10A具備之立體圖像攝像部由第1感測器10A-1、第2感測器10A-2及第3感測器10A-3構成。
第1感測器10A-1具有由4個重複單位101-1~104-1構成之1 個攝像單位100-1。重複單位101-1由具有112.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位101-1獲得1像素量之偏光亮度值。重複單位102-1由無偏光件之1個像素構成,且可藉由重複單位102-1獲得1像素量之無偏光亮度值。重複單位103-1由無偏光件之1個像素構成,且可藉由重複單位103-1獲得1像素量之無偏光亮度值。重複單位104-1由無偏光之1個像素構成,且可藉由重複單位104-1獲得1像素量之無偏光亮度值。
第2感測器10A-2具有由4個重複單位101-2~104-2構成之1個攝像單位100-2。重複單位101-2由具有67.5度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位101-2獲得1像素量之偏光亮度值。重複單位102-2由無偏光件之1個像素構成,且可藉由重複單位102-2獲得1像素量之無偏光亮度值。重複單位103-2由無偏光件之1個像素構成,且可藉由重複單位103-2獲得1像素量之無偏光亮度值。重複單位104-2由無偏光之1個像素構成,且可藉由重複單位104-2獲得1像素量之無偏光亮度值。
第3感測器10A-3具有由4個重複單位101-3~104-3構成之1個攝像單位100-3。重複單位101-3由具有0度之偏光主軸角度之偏光件與1個像素構成,且可藉由重複單位101-3獲得1像素量之偏光亮度值。重複單位102-3由無偏光件之1個像素構成,且可藉由重複單位102-3獲得1像素量之無偏光亮度值。重複單位103-3由無偏光件之1個像素構成,且可藉由重複單位103-3獲得1像素量之無偏光亮度值。重複單位104-3由無偏光之1個像素構成,且可藉由重複單位104-3獲得1像素量之無偏光亮度值。
本技術之第2實施形態之攝像裝置除上文所述之內容以外,還包含與圖16~圖22相關之內容,可直接應用本技術之第1實施形態 之攝像裝置欄<2.第1實施形態(攝像裝置之例1)>中所述之內容。
<4.第3實施形態(電子機器之例)>
本技術之第3實施形態之電子機器為搭載有本技術之攝像裝置之電子機器。作為第1態樣,本技術之攝像裝置係具備立體圖像攝像部,立體圖像攝像部包含複數個感測器,複數個感測器之各自具有由複數個重複單位構成之攝像單位,攝像單位具有偏光件,該偏光件具有至少1種偏光主軸角度,將藉由複數個該等攝像單位之各者獲得之至少2個單位圖像組合,取得至少3個方向之偏光資訊,並產生法線資訊者。又,作為第2態樣,本技術之攝像裝置係具備立體圖像攝像部,立體圖像攝像部包含第1感測器與第2感測器,第1感測器具有由複數個重複單位構成之第1攝像單位,第2感測器具有由複數個重複單位構成之第2攝像單位,第1攝像單位具有偏光件,該偏光件具有至少1種偏光主軸角度,第2攝像單位具有偏光件,該偏光件具有至少1種偏光主軸角度,將藉由第1攝像單位獲得之第1單位圖像與藉由第2攝像單位獲得之第2單位圖像組合,取得至少3個方向之偏光資訊,並產生法線資訊者。另,立體圖像攝像部所含之感測器如上所述,可為2個感測器,亦可為進而3個感測器,又可為4個以上之感測器。
例如,本技術之第3實施形態之電子機器為搭載有本技術之第1實施形態~第2實施形態之攝像裝置中之任一實施形態之攝像裝置的電子機器。
<5.應用本技術之攝像裝置之使用例>
圖23係表示作為影像感測器之本技術之第1~第2實施形態之攝像裝置之使用例的圖。
上述之第1~第2實施形態之攝像裝置例如可如下般用於感 測可見光、或紅外光、紫外光、X射線等光之各種實例。即,如圖23所示,可對拍攝供鑒賞用之圖像之領域、交通領域、家電領域、醫療、保健領域、安全領域、美容領域、運動領域、農業領域等使用之裝置(例如上述之第6實施形態之電子機器)使用第1~第2實施形態中之任一實施形態的攝像裝置。
具體而言,於鑒賞領域中,例如可對數位相機、或智慧型手機、附相機功能之行動電話等用以拍攝供鑒賞用之圖像之裝置使用第1~第2實施形態中之任一實施形態之攝像裝置。
於交通領域中,例如可對為了自動停止等安全駕駛、或識別駕駛者之狀態等而拍攝汽車之前方或後方、周圍、車內等之車載用感測器、監視行駛車輛或道路之監視相機、進行車輛間等之測距之測距感測器等供交通用的裝置使用第1~第2實施形態中之任一實施形態之攝像裝置。
於家電領域中,例如可對為了拍攝使用者之手勢並進行依循該手勢之機器操作而供電視接收機、或冰箱、空調等家電用之裝置使用第1~第2實施形態中之任一實施形態之攝像裝置。
於醫療、保健領域中,例如可對內視鏡、或利用紅外光之受光進行血管拍攝之裝置等供醫療或保健用之裝置使用第1~第2實施形態中之任一實施形態之攝像裝置。
於安全領域中,例如可對預防犯罪用之監視相機、或人物認證用之相機等供安全用之裝置使用第1~第2實施形態中之任一實施形態之攝像裝置。
於美容領域中,例如可對拍攝皮膚之皮膚檢測器、或拍攝頭皮之顯微鏡等供美容用之裝置使用第1~第2實施形態中之任一實施形態 之攝像裝置。
於運動領域中,例如可對用於運動用途等之運動相機或穿戴式相機等供運動用之裝置使用第1~第2實施形態中之任一實施形態之攝像裝置。
於農業領域中,例如可對用於監視農田或作物之狀態之相機等供農業用之裝置使用第1~第2實施形態中之任一實施形態之攝像裝置。
接著,具體地說明本技術之第1~第2實施形態之攝像裝置之使用例。例如,上文說明之第1~第2實施形態中之任一實施形態之攝像裝置可作為攝像裝置101,應用於例如數位相機或攝像機等相機系統、或具有攝像功能之行動電話等具備攝像功能之所有類型之電子機器。於圖24,作為其一例,示出電子機器102(相機)之概略構成。該電子機器102為例如可拍攝靜態圖像或動態圖像之攝像機,且具有攝像裝置101、光學系統(光學透鏡)310、快門裝置311、驅動攝像裝置101及快門裝置311之驅動部313、及信號處理部312。
光學系統310為將來自被攝體之圖像光(入射光)導入至攝像裝置101之像素部101a者。該光學系統310可由複數個光學透鏡構成。快門裝置311為控制向攝像裝置101照射光之期間及遮光期間者。驅動部313為控制攝像裝置101之傳送動作及快門裝置311之快門動作者。信號處理部312為對自固體攝像裝置101輸出之信號進行各種信號處理者。信號處理後之影像信號Dout記憶於記憶體等記憶媒體或輸出至監視器等。
<6.對內視鏡手術系統之應用例>
本技術可對各種製品應用。例如,本揭示之技術(本技術)可應用於內 視鏡手術系統。
圖25係表示可應用本揭示之技術(本技術)之內視鏡手術系統之概略構成之一例的圖。
於圖25中,圖示施術者(醫師)11131使用內視鏡手術系統11000,對病床11133上之患者11132進行手術之狀況。如圖所示,內視鏡手術系統11000由內視鏡11100、氣腹管11111或能量處理器械11112等其他手術器械11110、支持內視鏡11100之支持臂裝置11120、及搭載有用於內視鏡下手術之各種裝置之台車11200。
內視鏡11100由將距末端特定長度之區域插入至患者11132之體腔內之鏡筒11101、及連接於鏡筒11101之基端之相機頭11102構成。於圖示之例中,圖示作為具有硬性鏡筒11101之所謂硬性鏡構成之內視鏡11100,但內視鏡11100亦可作為具有軟性鏡筒之所謂軟性鏡構成。
於鏡筒11101之末端,設有嵌入有物鏡之開口部。於內視鏡11100連接有光源裝置11203,由該光源裝置11203產生之光藉由延設於鏡筒11101內部之導光件而被導光至該鏡筒之末端,並經由物鏡向患者11132體腔內之觀察對象照射。再者,內視鏡11100可為直視鏡,亦可為斜視鏡或側視鏡。
於相機頭11102之內部設有光學系統及攝像元件,來自觀察對象之反射光(觀察光)藉由該光學系統而聚光於該攝像元件。藉由該攝像元件將觀察光進行光電轉換,產生對應於觀察光之電氣信號,即對應於觀察圖像之圖像信號。該圖像信號作為RAW資料發送至相機控制器單元(CCU:Camera Contral Unit)11201。
CCU11201由CPU(Central Processing Unit:中央處理單 元)或GPU(Graphics Processing Unit:圖形處理單元)等構成,且總括性控制內視鏡11100及顯示裝置11202之動作。進而,CCU11201自相機頭11102接收圖像信號,對該圖像信號實施例如顯影處理(去馬賽克處理)等用以顯示基於該圖像信號之圖像之各種圖像處理。
顯示裝置11202藉由來自CCU11201之控制,顯示基於由該CCU11201實施圖像處理後之圖像信號之圖像。
光源裝置11203例如由LED(Light Emitting Diode:光電二極體)等光源構成,並將拍攝手術部等時之照射光供給至內視鏡11100。
輸入裝置11204為針對內視鏡手術系統11000之輸入介面。使用者可經由輸入裝置11204,對內視鏡手術系統11000進行各種資訊之輸入或指示輸入。例如,使用者輸入變更內視鏡11100之攝像條件(照射光之種類、倍率及焦點距離等)之主旨的指示等。
處理器械控制裝置11205控制用於組織之燒灼、切開或血管之密封之能量處理器械11112之驅動。氣腹裝置11206基於確保內視鏡11100之視野及確保施術者之作業空間之目的,為了使患者11132之體腔鼓起,而經由氣腹管11111對該體腔內送入空氣。記錄器11207係可記錄與手術相關之各種資訊之裝置。印表機11208係可以文本、圖像或圖表等各種形式印刷與手術相關之各種資訊之裝置。
另,對內視鏡11100供給拍攝手術部時之照射光之光源裝置11203例如可由LED、雷射光源或藉由其等之組合構成之白色光源構成。藉由RGB雷射光源之組合構成白色光源之情形時,由於可高精度地控制各色(各波長)之輸出強度及輸出時序,故光源裝置11203中可進行攝像圖像之白平衡之調整。又,於該情形時,亦可藉由分時對觀察對象照射來 自RGB雷射光源各者之雷射光,與該照射時序同步控制相機頭11102之攝像元件之驅動,而分時拍攝對應於RGB各者之圖像。根據該方法,即便不於該攝像元件設置彩色濾光片,亦可獲得彩色圖像。
又,光源裝置11203亦可以每隔特定時間變更要輸出之光的強度之方式控制其驅動。與該光之強度之變更時序同步地,控制相機頭11102之攝像元件之驅動,分時取得圖像,並合成該圖像,藉此可產生不存在所謂欠曝及暈光之高動態範圍之圖像。
又,光源裝置11203亦可構成為能夠供給對應於特殊光觀察之特定波長頻帶之光。於特殊光觀察中,例如進行所謂窄頻帶光觀察(Narrow Band Imaging),即,利用生物體組織之光吸收之波長依存性,照射與通常觀察時之照射光(即白色光)相比更窄頻帶之光,藉此以高對比度拍攝黏膜表層之血管等特定組織。或,於特殊光觀察中,亦可進行藉由因照射激發光產生之螢光獲得圖像之螢光觀察。於螢光觀察中,可進行對生物體組織照射激發光,觀察來自該生物體組織之螢光(自螢光觀察),或將吲哚青綠(ICG)等試劑局部注射於生物體組織,且對該生物體組織照射對應於該試劑之螢光波長之激發光,獲得螢光圖像等。光源裝置11203可構成為能供給對應於如此之特殊光觀察之窄頻帶及/或激發光。
圖26係表示圖25所示之相機頭11102及CCU11201之功能構成之一例之方塊圖。
相機頭11102具有透鏡單元11401、攝像部11402、驅動部11403、通信部11404及相機頭控制部11405。CCU11201具有通信部11411、圖像處理部11412及控制部11413。相機頭11102與CCU11201可藉由傳輸纜線11400相互通信地連接。
透鏡單元11401係設置於與鏡筒11101之連接部之光學系統。將自鏡筒11101之末端取入之觀察光導光至相機頭11102,並入射至該透鏡單元11401。透鏡單元11401係組合包含變焦透鏡及聚焦透鏡之複數個透鏡而構成。
攝像部11402以攝像元件構成。構成攝像部11402之攝像元件可為1個(所謂單板式),亦可為複數個(所謂多板式)。於攝像部11402以多板式構成之情形時,亦可例如藉由各攝像元件產生對應於RGB各者之圖像信號,藉由將其等合成而獲得彩色圖像。或,攝像部11402亦可構成為具有用以分別取得對應於3D(Dimensional:維)顯示之右眼用及左眼用圖像信號之1對攝像元件。藉由進行3D顯示,施術者11131可更準確地掌握手術部之生物組織之深度。再者,於攝像部11402以多板式構成之情形時,對應於各攝像元件,透鏡單元11401亦設置複數個系統而獲得。
又,攝像部11402亦可不必設置於相機頭11102。例如,攝像部11402亦可於鏡筒11101之內部設置於物鏡之正後方。
驅動部11403由致動器構成,且根據來自相機頭控制部11405之控制,使透鏡單元11401之變焦透鏡及聚焦透鏡沿光軸移動特定距離。藉此,可適當調整攝像部11402之攝像圖像之倍率及焦點。
通信部11404由用以與CCU11201之間收發各種資訊之通信裝置構成。通信部11404將自攝像部11402獲得之圖像信號作為RAW資料經由傳輸纜線11400發送至CCU11201。
又,通信部11404自CCU11201接收用以控制相機頭11102之驅動的控制信號,並供給至相機頭控制部11405。該控制信號包含有例如指定攝像圖像之訊框率之主旨之資訊、指定攝像時之曝光值之主旨之資 訊、及/或指定攝像圖像之倍率及焦點之主旨之資訊等與攝像條件相關之資訊。
另,上述訊框率或曝光值、倍率、焦點等攝像條件可由使用者適當設定,亦可基於取得之圖像信號由CCU11201之控制部11413自動設定。於後者之情形時,將所謂之AE(Auto Exposure:自動曝光)功能、AF(Auto Focus:自動聚焦)功能及AWB(Auto White Balance:自動白平衡)功能搭載於內視鏡11100。
相機頭控制部11405基於經由通信部11404接收之來自CCU11201之控制信號,控制相機頭11102之驅動。
通信部11411由用以於與相機頭11102之間收發各種資訊之通信裝置構成。通信部11411自相機頭11102接收經由傳輸纜線11400發送之圖像信號。
又,通信部11411對相機頭11102發送用以控制相機頭11102之驅動的控制信號。圖像信號或控制信號可藉由電性通信或光通信等發送。
圖像處理部11412對自相機頭11102發送之RAW資料即圖像信號實施各種圖像處理。
控制部11413進行與利用內視鏡11100之手術部等之攝像、及由手術部等之攝像獲得之攝像圖像之顯示相關之各種控制。例如,控制部11413產生用以控制相機頭11102之驅動之控制信號。
又,控制部11413基於由圖像處理部11412實施圖像處理之圖像信號,使顯示裝置11202顯示拍到手術部等之攝像圖像。此時,控制部11413亦可使用各種圖像識別技術識別攝像圖像內之各種物體。例如, 控制部11413可藉由檢測攝像圖像所含之物體之邊緣形狀或顏色等,而識別鉗子等手術器械、特定之生物組織部位、出血、使用能量處理器械11112時之霧等。控制部11413於使顯示裝置11202顯示攝像圖像時,亦可使用該識別結果,使各種手術支援資訊與該手術部之圖像重疊顯示。藉由重疊顯示手術支援資訊,並對施術者11131提示,而可減輕施術者11131之負擔,或施術者11131可確實進行手術。
連接相機頭11102及CCU11201之傳輸纜線11400為對應於電氣信號通信之電氣信號纜線、對應於光通信之光纖或其等之複合纜線。
此處,於圖示之例中,使用傳輸纜線11400以有線進行通信,但亦可以無線進行相機頭11102與CCU11201之間的通信。
以上,已對可應用本揭示之技術之內視鏡手術系統之一例進行說明。本揭示之技術可應用於以上說明之構成中之內視鏡11100或相機頭11102(之攝像部11402)等。具體而言,本揭示之固體攝像裝置111可應用於攝像部10402。藉由對內視鏡11100或相機頭11102(之攝像部11402)等應用本揭示之技術,可提高良率,可使製造之成本降低。
此處,作為一例,已對內視鏡手術系統進行說明,但本揭示之技術亦可應用於其他之例如顯微鏡手術系統等。
<7.對移動體之應用例>
本揭示之技術(本技術)可應用於各種製品。例如,本揭示之技術亦可作為搭載於汽車、電動汽車、油電混合汽車、機車、腳踏車、個人行動車、飛機、無人機、船舶、機器人等任一種類之移動體之裝置實現。
圖27係表示可應用本揭示技術之移動體控制系統之一例即車輛控制系統之概略構成例的方塊圖。
車輛控制系統12000具備經由通信網路12001連接之複數個電子控制單元。於圖27所示之例中,車輛控制系統12000具備驅動系統控制單元12010、車體系統控制單元12020、車外資訊檢測單元12030、車內資訊檢測單元12040及綜合控制單元12050。又,作為綜合控制單元12050之功能構成,圖示微電腦12051、聲音圖像輸出部12052、及車載網路I/F(Interface:介面)12053。
驅動系統控制單元12010根據各種程式控制與車輛之驅動系統關聯之裝置之動作。例如,驅動系統控制單元12010作為內燃機或驅動用馬達等用以產生車輛之驅動力之驅動力產生裝置、用以將驅動力傳遞至車輪之驅動力傳遞機構、調節車輛舵角之轉向機構、及產生車輛之制動力之控制裝置等控制裝置發揮功能。
車體系統控制單元12020根據各種程式控制車體所具備之各種裝置之動作。例如,車體系統控制單元12020作為無鑰匙門禁系統、智慧型鑰匙系統、電動窗裝置、或頭燈、尾燈、剎車燈、轉向燈或霧燈等各種燈之控制裝置發揮功能。於該情形時,可對車體系統控制單元12020輸入自代替鑰匙之可攜帶式機器發送之電波或各種開關之信號。車體系統控制單元12020受理該等電波或信號之輸入,並控制車輛之門鎖裝置、電動窗裝置、燈等。
車外資訊檢測單元12030檢測搭載有車輛控制系統12000之車輛外部之資訊。例如,於車外資訊檢測單元12030連接有攝像部12031。車外資訊檢測單元12030使攝像部12031拍攝車外之圖像,且接收拍攝後之圖像。車外資訊檢測單元12030亦可基於接收到之圖像,進行人、車、障礙物、標識或路面上之文字等物體檢測處理或距離檢測處理。
攝像部12031係接收光並輸出對應於該光之受光量之電氣信號的光感測器。攝像部12031可將電氣信號作為圖像輸出,亦可作為測距之資訊輸出。又,攝像部12031接收之光可為可見光,亦可為紅外線等非可見光。
車內資訊檢測單元12040檢測車內之資訊。於車內資訊檢測單元12040連接有例如檢測駕駛者之狀態之駕駛者狀態檢測部12041。駕駛者狀態檢測部12041包含例如拍攝駕駛者之相機,車內資訊檢測單元12040可基於自駕駛者狀態檢測部12041輸入之檢測資訊,算出駕駛者之疲勞程度或注意力集中程度,亦可判別駕駛者有否打瞌睡。
微電腦12051可基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車內外之資訊,運算驅動力產生裝置、轉向機構或制動裝置之控制目標值,並對驅動系統控制單元12010輸出控制指令。例如,微電腦12051可進行以實現包含避免車輛碰撞或緩和衝擊、基於車輛距離之追隨行駛、車速維持行駛、車輛之碰撞警告或車輛之車道偏離警告等之ADAS(Advanced Driver Assistance System:先進駕駛輔助系統)之功能為目的之協調控制。
又,微電腦12051可藉由基於由車外資訊檢測單元12030或車內資訊檢測單元12040取得之車輛周圍之資訊,控制驅動力產生裝置、轉向機構或制動裝置等,而進行以不拘於駕駛者之操作而自動行駛之自動駕駛為目的之協調控制。
又,微電腦12051可基於由車外資訊檢測單元12030取得之車外之資訊,對車體系統控制單元12020輸出控制指令。例如,微電腦12051可根據由車外資訊檢測單元12030檢測出之前方車或對向車之位置 控制頭燈,進行以謀求將遠光切換成近光等防眩為目的之協調控制。
聲音圖像輸出部12052對車輛之搭乘者或車外發送向可視覺性或聽覺性通知資訊之輸出裝置之聲音及圖像中之至少一者之輸出信號。於圖27之例中,作為輸出裝置,例示有擴音器12061、顯示部12062及儀錶板12063。顯示部12062亦可包含例如車載顯示器及抬頭顯示器之至少一者。
圖28係表示攝像部12031之設置位置之例之圖。
於圖28中,車輛12100具有攝像部12101、12102、12103、12104、12105作為攝像部12031。
攝像部12101、12102、12103、12104、12105設置於例如車輛12100之前鼻、側視鏡、後保險桿、後門及車廂內之擋風玻璃之上部等位置。前鼻所具備之攝像部12101及車廂內之擋風玻璃之上部所具備之攝像部12105主要取得車輛12100前方之圖像。側視鏡所具備之攝像部12102、12103主要取得車輛12100側方之圖像。後保險桿或後門所具備之攝像部12104主要取得車輛12100後方之圖像。以攝像部12101及12105取得之前方圖像主要用於前方車輛或行人、障礙物、信號機、交通標識或車道線等之檢測。
另,於圖28示出攝像部12101至12104之攝像範圍之一例。攝像範圍12111表示設置於前鼻之攝像部12101之攝像範圍,攝像範圍12112、12113分別表示設置於側視鏡之攝像部12102、12103之攝像範圍,攝像範圍12114表示設置於後保險桿或後門之攝像部12104之攝像範圍。例如,藉由使攝像部12101至12104所拍攝之圖像資料重疊,而獲得自上方觀察車輛12100之俯瞰圖像。
攝像部12101至12104之至少一者亦可具有取得距離資訊之功能。例如,攝像部12101至12104之至少一者可為包含複數個攝像元件之攝影機,亦可為具有相位差檢測用像素之攝像元件。
例如,微電腦12051基於自攝像部12101至12104取得之距離資訊,求得攝像範圍12111至12114內之至各立體物之距離、與該距離之時間變化(相對於車輛12100之相對速度),藉此可擷取尤其於車輛12100之行進路上某最近之立體物且在與車輛12100大致相同之方向以特定速度(例如為0km/h以上)行駛之立體物作為前方車。再者,微電腦12051可設定與前方車之近前應預先確保之車間距離,進行自動剎車控制(亦包含追隨停止控制)或自動加速控制(亦包含追隨起動控制)等。可如此地進行以不拘於駕駛者之操作而自動行駛之自動駕駛等為目的之協調控制。
例如,微電腦12051基於自攝像部12101至12104獲得之距離資訊,將與立體物相關之立體物資訊分類成二輪車、普通車輛、大型車輛、行人、電線桿等其他立體物並擷取而用於障礙物之自動避開。例如,微電腦12051可將車輛12100周邊之障礙物識別為車輛12100之駕駛員可視認之障礙物與難以視認之障礙物。且,微電腦12051判斷表示與各障礙物碰撞之危險度之碰撞危險性,並於碰撞危險性為設定值以上,有可能碰撞之狀況時,經由擴音器12061或顯示部12062對駕駛員輸出警報,或經由驅動系統控制單元12010進行強制減速或避開轉向,藉此可進行用以避免碰撞之駕駛支援。
攝像部12101至12104之至少一者亦可為檢測紅外線之紅外線相機。例如,微電腦12051可藉由判定攝像部12101至12104之攝像圖像中是否存在行人而識別行人。上述行人之識別係根據例如擷取作為紅外線 相機之攝像部12101至12104之攝像圖像之特徵點之順序、及對表示物體輪廓之一連串特徵點進行圖案匹配處理而判別是否為行人之順序進行。若微電腦12051判定攝像部12101至12104之攝像圖像中存在行人並識別到行人,則聲音圖像輸出部12052以對該識別出之行人重疊顯示用以強調之方形輪廓線之方式,控制顯示部12062。又,聲音圖像輸出部12052亦可以將表示行人之圖標等顯示於期望之位置之方式控制顯示部12062。
以上,已對可應用本揭示之技術之車輛控制系統之一例進行說明。本揭示之技術可應用於以上說明之構成中之攝像部12031等。具體而言,本揭示之固體攝像裝置111可應用於攝像部12031。可藉由對攝像部12031應用本揭示之技術,而提高良率,且使製造之成本降低。
另,本技術並非限定於上述之實施形態及應用例者等,於不脫離本技術主旨之範圍內可有各種變更。
又,本說明書所記載之效果僅為例示而非限定者,亦可為其他之效果。
又,本技術可採取如下之構成。
[1]一種攝像裝置,其具備立體圖像攝像部,該立體圖像攝像部包含複數個感測器,該複數個感測器各自具有由複數個重複單位構成之攝像單位,該攝像單位具有偏光件,該偏光件具有至少1種偏光主軸角度,將藉由複數個該攝像單位各者獲得之至少2個單位圖像組合,而取得至少3個方向之偏光資訊,產生法線資訊。
[2]如[1]記載之攝像裝置,其中上述複數個攝像單位中之1個攝像單位具 有之上述具有至少1種偏光主軸角度的偏光件、與上述複數個攝像單位中之該1個攝像單位以外之其他所有攝像單位各者具有之上述具有至少1種偏光主軸角度的偏光件在上述偏光主軸角度上彼此為不同種類,該1個攝像單位以外之其他所有攝像單位各者不具有該1個攝像單位具有之具有至少1種偏光主軸角度的偏光件。
[3]如[1]或[2]記載之攝像裝置,其中複數個上述單位圖像基於立體對應關係再構成。
[4]如[1]至[3]中任一項記載之攝像裝置,其中上述複數個攝像單位各自具有偏光件,該偏光件具有2種以下之上述偏光主軸角度。
[5]如[1]至[4]中任一項記載之攝像裝置,其中上述複數個攝像單位各自具有偏光件,該偏光件具有2種上述偏光主軸角度,上述複數個攝像單位各者中,該2種上述偏光主軸角度為正交關係。
[6]如[1]至[5]中任一項記載之攝像裝置,其中上述複數個攝像單位中之1個攝像單位具有:具有22.5度之偏光主軸角度之偏光件及具有112.5度之偏光主軸角度之偏光件,上述複數個攝像單位中另1個攝像單位具有:具有67.5度之偏光主軸角度之偏光件及具有157.5度之偏光主軸角度之偏光件。
[7]如[1]至[3]中任一項記載之攝像裝置,其中上述複數個攝像單位各自 具有偏光件,該偏光件具有1種偏光主軸角度,上述複數個攝像單位各自具有之上述偏光件之上述偏光主軸角度彼此之角度差為5度以上85度以下。
[8]如[1]至[7]中任一項記載之攝像裝置,其中上述複數個攝像單位各自具有包含偏光件之重複單位與不包含偏光件之重複單位,且該複數個攝像單位各者中之包含該偏光件之重複單位與不包含該偏光件之重複單位的比例彼此大致相同。
[9]如[1]至[8]中任一項記載之攝像裝置,其中上述複數個攝像單位各自具有包含偏光件之重複單位與不包含偏光件之重複單位,且該複數個攝像單位各者中之包含該偏光件之重複單位與不包含該偏光件之重複單位的配置圖案彼此大致相同。
[10]一種攝像裝置,其具備立體圖像攝像部,該立體圖像攝像部包含第1感測器與第2感測器,該第1感測器具有由複數個重複單位構成之第1攝像單位,該第2感測器具有由複數個重複單位構成之第2攝像單位,該第1攝像單位具有偏光件,該偏光件具有至少1種偏光主軸角度,該第2攝像單位具有偏光件,該偏光件具有至少1種偏光主軸角度,將藉由該第1攝像單位獲得之第1單位圖像與藉由該第2攝像單位獲得之第2單位圖像組合,而取得至少3個方向之偏光資訊,並產生法線資訊。
[11] 如[10]記載之攝像裝置,其中上述第1攝像單位具有之上述具有至少1種偏光主軸角度的偏光件、與上述第2攝像單位具有之上述具有至少1種偏光主軸角度的偏光件在上述偏光主軸角度上彼此為不同種類,且上述第2攝像單位不具有上述第1攝像單位具有之上述具有至少1種偏光主軸角度的偏光件。
[12]如[10]或[11]記載之攝像裝置,其中上述第1單位圖像與上述第2單位圖像基於立體對應關係再構成。
[13]如[10]至[12]中任一項記載之攝像裝置,其中上述第1攝像單位具有偏光件,該偏光件具有2種以下之偏光主軸角度,上述第2攝像單位具有偏光件,該偏光件具有2種以下之偏光主軸角度。
[14]如[10]至[13]中任一項記載之攝像裝置,其中上述第1攝像單位具有偏光件,該偏光件具有2種偏光主軸角度,且上述第1攝像單位中該2種偏光主軸角度為正交關係,上述第2攝像單位具有偏光件,該偏光件具有2種偏光主軸角度,且上述第2攝像單位中該2種偏光主軸角度為正交關係,
[15]如[10]至[14]中任一項記載之攝像裝置,其中上述第1攝像單位具有:具有22.5度之偏光主軸角度之偏光件及具有112.5度之偏光主軸角度之偏光件, 上述第2攝像單位具有:具有67.5度之偏光主軸角度之偏光件及具有157.5度之偏光主軸角度之偏光件。
[16]如[10]至[12]中任一項記載之攝像裝置,其中上述第1攝像單位具有偏光件,該偏光件具有1種偏光主軸角度,上述第2攝像單位具有偏光件,該偏光件具有1種偏光主軸角度,上述第1攝像單位具有之該偏光件之該偏光主軸角度與上述第2攝像單位具有之該偏光件之該偏光主軸角度之差為5度以上85度以下。
[17]如[10]至[16]中任一項記載之攝像裝置,其中上述第1攝像單位具有包含偏光件之重複單位與不包含偏光件之重複單位,上述第2攝像單位具有包含偏光件之重複單位與不包含偏光件之重複單位,且上述第1攝像單位中之包含該偏光件之重複單位與不包含該偏光件之重複單位的比例與上述第2攝像單位中之包含該偏光件之重複單位與不包含該偏光件之重複單位的比例大致相同。
[18]如[10]至[17]中任一項記載之攝像裝置,其中上述第1攝像單位具有包含偏光件之重複單位與不包含偏光件之重複單位,上述第2攝像單位具有包含偏光件之重複單位與不包含偏光件之重複單位,且上述第1攝像單位中之包含該偏光件之重複單位與不包含該偏光件之 重複單位的配置圖案與上述第2攝像單位中之包含該偏光件之重複單位與不包含該偏光件之重複單位的配置圖案大致相同。
[19]一種電子機器,其搭載有[1]至[18]中任一項記載之攝像裝置。
1:攝像裝置
1-1:感測器
1-2:感測器
10-1、10-2:攝像單位(單位圖像)
11-1、12-1、13-1、14-1:感測器
11-2、12-2、13-2、14-2:感測器

Claims (17)

  1. 一種攝像裝置,其具備立體圖像攝像部,其中該立體圖像攝像部包含對應於複數個攝像單位之複數個感測器,該複數個感測器各自具有該複數個攝像單位中之一攝像單位,該攝像單位具有複數個重複單位,該複數個攝像單位之各者具有偏光件,該偏光件具有至少1種偏光主軸角度,該複數個攝像單位各自具有之上述偏光件中上述偏光主軸角度之角度差為5度以上85度以下,且該複數個攝像單位構成為:產生至少2個單位圖像,且基於該至少2個單位圖像之組合,取得至少3個方向之偏光資訊,且產生法線資訊。
  2. 如請求項1之攝像裝置,其中上述至少2個單位圖像基於立體對應關係再構成。
  3. 如請求項1之攝像裝置,其中上述複數個攝像單位之各者之上述偏光件具有2種以下之偏光主軸角度。
  4. 如請求項1之攝像裝置,其中上述複數個攝像單位之各者具有:具有2種偏光主軸角度之上述偏光件,且 該2種上述偏光主軸角度彼此正交。
  5. 如請求項1之攝像裝置,其中上述複數個攝像單位中之第1攝像單位具有:具有22.5度之第1偏光主軸角度之第1偏光件及具有112.5度之第2偏光主軸角度之第2偏光件,且上述複數個攝像單位中之第2個攝像單位具有:具有67.5度之第3偏光主軸角度之第3偏光件及具有157.5度之第4偏光主軸角度之第4偏光件。
  6. 如請求項1之攝像裝置,其中上述複數個攝像單位之各者具有:上述複數個重複單位之第1組重複單位,其包含偏光件;及上述複數個重複單位之第2組重複單位,其不包含偏光件,且該複數個攝像單位各者中之該第1組重複單位與該第2組重複單位之間的比例大致相同。
  7. 如請求項1之攝像裝置,其中上述複數個攝像單位之各者具有:上述複數個重複單位之第1組重複單位,其包含偏光件;及上述複數個重複單位之第2組重複單位,其不包含偏光件,且該複數個攝像單位各者中之該第1組重複單位與該第2組重複單位的配置圖案大致相同。
  8. 一種攝像裝置,其具備立體圖像攝像部,其中 該立體圖像攝像部包含第1感測器與第2感測器,該第1感測器具有第1攝像單位,該第1攝像單位具有複數個第1重複單位,該第2感測器具有第2攝像單位,該第2攝像單位具有複數個第2重複單位,該第1攝像單位具有第1偏光件,該偏光件具有至少1種第1偏光主軸角度,該第2攝像單位具有第2偏光件,該偏光件具有至少1種第2偏光主軸角度,該第1攝像單位中之該第1偏光件的該第1偏光主軸角度與該第2攝像單位中之該第2偏光件的該第2偏光主軸角度之間的角度差為5度以上85度以下,該第1攝像單位構成為:產生第1單位圖像,該第2攝像單位構成為:產生第2單位圖像,且該第1攝像單位及該第2攝像單位構成為:基於該第1單位圖像與該第2單位圖像之組合,取得至少3個方向之偏光資訊,並產生法線資訊。
  9. 如請求項8之攝像裝置,其中上述第1偏光主軸角度與上述第2偏光主軸角度不同,且上述第1偏光件與上述第2偏光件不同。
  10. 如請求項8之攝像裝置,其中上述第1單位圖像與上述第2單位圖像基於立體對應關係再構成。
  11. 如請求項8之攝像裝置,其中上述第1攝像單位之上述偏光件具有2種以下之偏光主軸角度,且上述第2攝像單位之上述偏光件具有2種以下之偏光主軸角度。
  12. 如請求項8之攝像裝置,其中上述第1攝像單位之上述偏光件具有2種偏光主軸角度,且該2種偏光主軸角度彼此正交,上述第2攝像單位之上述偏光件具有2種偏光主軸角度,且該2種偏光主軸角度彼此正交。
  13. 如請求項8之攝像裝置,其中上述第1攝像單位具有:具有22.5度之上述第1偏光主軸角度之上述第1偏光件及具有112.5度之第3偏光主軸角度之第3偏光件,且上述第2攝像單位具有:具有67.5度之上述第2偏光主軸角度之上述第2偏光件及具有157.5度之第4偏光主軸角度之第4偏光件。
  14. 如請求項8之攝像裝置,其中上述第1攝像單位具有:上述複數個第1重複單位之第1組,其包含上述第1偏光件;及上述複數個第1重複單位之第2組,其不包含上述第1偏光件,上述第2攝像單位具有:上述複數個第2重複單位之第3組,其包含上述第2偏光件;及上述複數個第2重複單位之第4組,其不包含上述第2偏 光件,且上述第1攝像單位中之上述複數個第1重複單位之上述第1組與上述複數個第1重複單位之上述第2組之間的比例,與上述第2攝像單位中之上述複數個第2重複單位之上述第3組與上述複數個第2重複單位之上述第4組之間的比例大致相同。
  15. 如請求項8之攝像裝置,其中上述第1攝像單位具有包含上述第1偏光件之上述複數個第1重複單位之第1組與不包含上述第1偏光件之上述複數個第1重複單位之第2組,上述第2攝像單位具有包含上述第2偏光件之上述複數個第2重複單位之第3組與不包含上述第2偏光件之上述複數個第2重複單位之第4組,且上述第1攝像單位中之上述複數個第1重複單位之上述第1組與上述複數個第1重複單位之上述第2組的配置圖案與上述第2攝像單位中之上述複數個第2重複單位之上述第3組與不包含該偏光件之上述複數個第2重複單位之上述第4組的配置圖案大致相同。
  16. 一種電子機器,其具備:攝像裝置,其具備立體圖像攝像部,其中該立體圖像攝像部包含對應於複數個攝像單位之複數個感測器,該複數個感測器各自具有該複數個攝像單位中之一攝像單位,該攝像單位具有複數個重複單位,該複數個攝像單位之各者具有偏光件,該偏光件具有至少1種偏光主軸角度, 該複數個攝像單位各自具有之上述偏光件中上述偏光主軸角度之角度差為5度以上85度以下,該複數個攝像單位構成為:產生至少2個單位圖像,且基於該至少2個單位圖像之組合,取得至少3個方向之偏光資訊,且產生法線資訊。
  17. 一種電子機器,其具備:攝像裝置,其具備立體圖像攝像部,其中該立體圖像攝像部包含第1感測器與第2感測器,該第1感測器具有第1攝像單位,該第1攝像單位具有複數個第1重複單位,該第2感測器具有第2攝像單位,該第2攝像單位具有複數個第2重複單位,該第1攝像單位具有第1偏光件,該偏光件具有至少1種第1偏光主軸角度,該第2攝像單位具有第2偏光件,該偏光件具有至少1種第2偏光主軸角度,該第1攝像單位中之該第1偏光件的該第1偏光主軸角度與該第2攝像單位中之該第2偏光件的該第2偏光主軸角度之間的角度差為5度以上85度以下,該第1攝像單位構成為:產生第1單位圖像,該第2攝像單位構成為:產生第2單位圖像,且 該第1攝像單位及該第2攝像單位構成為:基於該第1單位圖像與該第2單位圖像之組合,取得至少3個方向之偏光資訊,並產生法線資訊。
TW108109053A 2018-11-22 2019-03-18 攝像裝置及電子機器 TWI813646B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-219411 2018-11-22
JP2018219411A JP7325949B2 (ja) 2018-11-22 2018-11-22 撮像装置及び電子機器

Publications (2)

Publication Number Publication Date
TW202020502A TW202020502A (zh) 2020-06-01
TWI813646B true TWI813646B (zh) 2023-09-01

Family

ID=70774105

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108109053A TWI813646B (zh) 2018-11-22 2019-03-18 攝像裝置及電子機器

Country Status (4)

Country Link
US (1) US11457201B2 (zh)
JP (1) JP7325949B2 (zh)
TW (1) TWI813646B (zh)
WO (1) WO2020105201A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201316039A (zh) * 2011-10-07 2013-04-16 Univ Minghsin Sci & Tech 裸眼式且具有三維空間投射影像之矩陣螢幕
US20140092227A1 (en) * 2012-05-22 2014-04-03 Panasonic Corporation Image capturing processor and endoscope
US20160261852A1 (en) * 2013-12-16 2016-09-08 Sony Corporation Image processing device, image processing method, and imaging device
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
CN108780142A (zh) * 2016-02-29 2018-11-09 泰特拉维公司 3d成像系统和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5320735B2 (ja) * 2007-12-28 2013-10-23 株式会社ニコン 撮像装置
CN102047651B (zh) 2008-06-02 2013-03-13 松下电器产业株式会社 生成法线信息的图像处理装置、方法及视点变换图像生成装置
JP5899684B2 (ja) * 2011-07-11 2016-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5982751B2 (ja) * 2011-08-04 2016-08-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JPWO2018034209A1 (ja) * 2016-08-18 2019-06-13 ソニー株式会社 撮像装置と撮像方法
JP6422924B2 (ja) * 2016-09-12 2018-11-14 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および被写体情報取得方法
US20210165144A1 (en) * 2017-01-31 2021-06-03 Sharp Kabushiki Kaisha Image pickup apparatus and image processing apparatus
JP7211364B2 (ja) * 2017-07-12 2023-01-24 ソニーグループ株式会社 撮像装置、画像生成方法、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201316039A (zh) * 2011-10-07 2013-04-16 Univ Minghsin Sci & Tech 裸眼式且具有三維空間投射影像之矩陣螢幕
US20140092227A1 (en) * 2012-05-22 2014-04-03 Panasonic Corporation Image capturing processor and endoscope
US20160261852A1 (en) * 2013-12-16 2016-09-08 Sony Corporation Image processing device, image processing method, and imaging device
CN108780142A (zh) * 2016-02-29 2018-11-09 泰特拉维公司 3d成像系统和方法
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置

Also Published As

Publication number Publication date
JP7325949B2 (ja) 2023-08-15
US20220007001A1 (en) 2022-01-06
US11457201B2 (en) 2022-09-27
TW202020502A (zh) 2020-06-01
WO2020105201A1 (ja) 2020-05-28
JP2020088565A (ja) 2020-06-04

Similar Documents

Publication Publication Date Title
US10834315B2 (en) Image transfer apparatus and moving image generating system for transferring moving image data
US10868961B2 (en) Imaging device, solid-state image sensor, camera module, drive control unit, and imaging method
EP3445033B1 (en) Compound-eye camera module and electronic device
US11296133B2 (en) Imaging apparatus and electronic device
JP2022044653A (ja) 撮像装置
WO2017163927A1 (ja) チップサイズパッケージ、製造方法、電子機器、および内視鏡
US11372200B2 (en) Imaging device
WO2018139278A1 (ja) 撮像素子、製造方法、および電子機器
JP7229988B2 (ja) 測距システム、及び、受光モジュール、並びに、バンドパスフィルタの製造方法
US11595551B2 (en) Camera module, method of manufacturing camera module, imaging apparatus, and electronic apparatus
US20220058411A1 (en) Solid state image capturing system, solid state image capturing device, information processing device, image processing method, information processing method, and program
JP6869717B2 (ja) 撮像装置および撮像装置の製造方法、並びに、電子機器
TWI813646B (zh) 攝像裝置及電子機器
WO2017169822A1 (ja) 固体撮像素子、撮像装置、内視鏡装置、および電子機器
WO2021241165A1 (ja) 光検出装置
WO2022124166A1 (ja) 液晶表示素子、表示装置および電子機器、並びに、駆動基板および駆動基板の製造方法
WO2023074404A1 (ja) 発光装置及び電子機器
US20240153978A1 (en) Semiconductor chip, manufacturing method for semiconductor chip, and electronic device
WO2022102466A1 (ja) 液晶表示素子、表示装置および電子機器、並びに、駆動基板および駆動基板の製造方法
WO2019082686A1 (ja) 撮像装置