KR20230009412A - 전자 기기 및 촬상 장치 - Google Patents

전자 기기 및 촬상 장치 Download PDF

Info

Publication number
KR20230009412A
KR20230009412A KR1020227042264A KR20227042264A KR20230009412A KR 20230009412 A KR20230009412 A KR 20230009412A KR 1020227042264 A KR1020227042264 A KR 1020227042264A KR 20227042264 A KR20227042264 A KR 20227042264A KR 20230009412 A KR20230009412 A KR 20230009412A
Authority
KR
South Korea
Prior art keywords
unit
imaging unit
image data
light
data captured
Prior art date
Application number
KR1020227042264A
Other languages
English (en)
Inventor
유지 야쿠라
마사시 나카타
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20230009412A publication Critical patent/KR20230009412A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B42/00—Obtaining records using waves other than optical waves; Visualisation of such records by using optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B29/00—Combinations of cameras, projectors or photographic printing apparatus with non-photographic non-optical apparatus, e.g. clocks or weapons; Cameras having the shape of other objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)

Abstract

[과제] 입사 광량이 적은 경우라도, 고품질의 촬영 화상을 얻을 수 있다.
[해결 수단] 전자 기기는, 표시부와, 상기 표시부의 표시면과는 반대측에 배치되고, 상기 표시부를 통과한 적외광 파장 대역의 광을 촬상 가능한 제1 촬상부와, 상기 표시부의 표시면과는 반대측에 배치되고, 상기 표시부를 통과한 가시광 파장 대역의 광을 촬상 가능한 제2 촬상부와, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터를 보정하는 보정부를 구비한다.

Description

전자 기기 및 촬상 장치
본 개시는, 전자 기기 및 촬상 장치에 관한 것이다.
최근의 스마트폰이나 휴대전화, PC(Personal Computer) 등의 전자 기기에서는, 표시 패널의 테두리(베젤)에, 카메라 등의 다양한 센서를 탑재하고 있다. 그 한편, 화면 사이즈에 영향을 주지 않고 전자 기기의 외형 사이즈를 가능한 한 콤팩트하게 하고자 하는 요구가 있어, 베젤 폭은 좁아지는 경향에 있다. 이러한 배경으로부터, 표시 패널의 바로 아래에 카메라 모듈을 배치하여, 표시 패널을 통과한 피사체광을 카메라 모듈로 촬영하는 기술이 제안되어 있다.
미국 특허공개공보 2018/0069060
그러나, 표시 패널은 복수층으로 이루어지고, 일부의 층은 가시광 투과율이 낮다. 이 때문에, 표시 패널을 통과한 피사체광을 카메라 모듈로 촬영하면, 촬영 화상이 어두워지거나, 전체적으로 흐려진 화상이 된다. 또한, 피사체광이 표시 패널을 통과할 때에, 플레어나 회절의 영향을 받아, 촬영 화상의 화질이 저하될 우려도 있다.
　또한, 스마트폰 등의 소형의 전자 기기의 표면에 카메라 모듈을 배치하는 경우, 렌즈를 얇게, 그리고 렌즈 구경도 크게 할 수 없기 때문에, 주위가 어두운 상황 하에서는, 촬영 화상이 어두워져, 선명하지 않은 화상이 얻어지기 쉽다.
본 개시는, 입사 광량이 적은 경우라도, 고품질의 촬영 화상을 얻을 수 있는 전자 기기 및 촬상 장치를 제공하는 것이다.
상기의 과제를 해결하기 위해서, 본 개시에 의하면, 표시부와,
상기 표시부의 표시면과는 반대측에 배치되고, 상기 표시부를 통과한 적외광 파장 대역의 광을 촬상 가능한 제1 촬상부와,
상기 표시부의 표시면과는 반대측에 배치되고, 상기 표시부를 통과한 가시광 파장 대역의 광을 촬상 가능한 제2 촬상부와,
상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터를 보정하는 보정부를 구비하는, 전자 기기가 제공된다.
상기 보정부는, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터의 감도를 보정해도 된다.
상기 제1 촬상부에서 촬상된 화상 데이터의 감도와, 상기 제2 촬상부에서 촬상된 화상 데이터의 감도의 상관 관계를 학습하는 학습부를 구비하고,
상기 보정부는, 상기 학습부에서의 학습 결과를 참조하여, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터의 감도를 보정해도 된다.
상기 보정부는, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터의 해상도를 보정해도 된다.
상기 제1 촬상부에서 촬상된 화상 데이터의 해상도와, 상기 제2 촬상부에서 촬상된 화상 데이터의 해상도의 상관 관계를 학습하는 학습부를 구비하고,
상기 보정부는, 상기 학습부에서의 학습 결과를 참조하여, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터의 해상도를 보정해도 된다.
상기 보정부는, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터에 포함되는 플레어 성분 및 회절광 성분의 적어도 일방을 보정해도 된다.
상기 제1 촬상부에서 촬상된 화상 데이터에 포함되는 플레어 성분 및 회절광 성분의 적어도 일방과, 상기 제2 촬상부에서 촬상된 화상 데이터에 포함되는 플레어 성분 및 회절광 성분의 적어도 일방의 상관 관계를 학습하는 학습부를 구비하고,
상기 보정부는, 상기 학습부에서의 학습 결과를 참조하여, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터에 포함되는 플레어 성분 및 회절광 성분의 적어도 일방을 보정해도 된다.
상기 제2 촬상부에서 촬상된 화상 데이터의 감도, 해상도, 플레어 성분 및 회절광 성분의 적어도 하나가 소정의 제1 기준을 만족하는지 여부를 판정하는 기준 판정부와,
상기 기준 판정부에서 상기 제1 기준을 만족하지 않는다고 판정되면, 상기 제1 촬상부에 의한 촬상을 개시시키는 촬상 시작 지시부와,
상기 제1 촬상부에서 촬상된 화상 데이터와 상기 제2 촬상부에서 촬상된 화상 데이터에서, 감도, 해상도, 플레어 성분, 및 회절광 성분의 적어도 하나를 비교한 결과에 기초하여, 상기 보정부에 의한 보정을 행할지 여부와, 상기 보정부에 의한 보정을 행할 때에 보정의 기준이 되는 화상 데이터의 종류를 결정하는 보정 절차 결정부를 구비해도 된다.
상기 학습부는, 상기 보정 절차 결정부에서, 보정의 기준이 되는 화상 데이터의 종류가 결정되면, 결정된 화상 데이터의 감도, 해상도, 플레어 성분 및 회절광 성분의 적어도 하나와, 상기 제2 촬상부에서 촬상된 화상 데이터의 감도, 해상도, 플레어 성분 및 회절광 성분의 적어도 하나의 상관 관계를 학습해도 된다.
물체의 형상 및 색의 적어도 일방을 검출하는 센서와,
상기 학습부에 의한 학습의 신뢰도를 추정하는 신뢰도 추정부와,
상기 신뢰도 추정부에서 추정된 신뢰도가 소정의 제2 기준 이하인 경우, 상기 센서의 검출 데이터에 기초하여 상기 물체를 식별할 수 있는지 여부를 판정하는 물체 식별 판정부와,
상기 물체 식별 판정부에서 물체를 식별할 수 있다고 판정되었을 경우에, 상기 센서에서 식별된 물체의 색을 특정할 수 있는지 여부를 판정하는 색 특정 판정부를 구비하고,
상기 보정부는, 상기 색 특정 판정부에서 상기 물체의 색을 특정할 수 있다고 판정되었을 경우, 상기 특정된 색에 가까워지도록, 상기 제2 촬상부에서 촬상된 화상 데이터를 보정해도 된다.
상기 보정부는, 상기 제2 촬상부에서 촬상된 화상 데이터 중 휘도 변화가 소정의 기준값 이하인 화소 영역의 노이즈 제거 정도를, 상기 화상 데이터 중 휘도 변화가 상기 기준값보다 큰 화소 영역의 노이즈 제거 정도보다 높게 해도 된다.
적외광 파장 대역의 광을 발광하는 발광부와,
상기 제1 촬상부에서 화상 데이터를 촬상할 때에 상기 발광부가 발광한 광으로 피사체가 조명되도록 상기 발광부의 발광 타이밍을 제어하는 발광 제어부를 구비해도 된다.
상기 발광부는, 상기 적외광 파장 대역 내의 각각 다른 발광 파장 대역의 광을 발광하는 복수의 광원을 가지고,
상기 발광 제어부는, 상기 제1 촬상부가 촬상하는 동안에, 상기 복수의 광원에 의한 발광을 순차적으로 전환 제어하고,
상기 제1 촬상부는, 각각 다른 발광 광 파장 대역에서 촬상된 복수의 화상 데이터를 출력하고,
상기 보정부는, 상기 복수의 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터를 보정해도 된다.
상기 발광부는, 상기 표시부의 표시면측에 배치되어도 된다.
상기 제1 촬상부 및 상기 제2 촬상부의 적어도 일방은, 적외광 파장 대역의 광을 촬상하는 화소와, 가시광 파장 대역의 광을 촬상하는 화소를 포함해도 된다.
상기 제1 촬상부는, 550nm 이상의 광에 대해 감도를 가져도 된다.
상기 보정부는, 상기 제2 촬상부에서 촬상된 화상 데이터에 대해, 단파장측일수록 보정의 정도를 높게 해도 된다.
상기 제1 촬상부는, 상기 제2 촬상부에 비해, 광 입사면의 법선 방향으로 보다 길게 배치되는 광전 변환부를 가져도 된다.
상기 제1 촬상부의 1 화소당의 광 입사면 방향의 면적은, 상기 제2 촬상부의 1 화소당의 광 입사면 방향의 면적보다 크고, 또한
상기 제1 촬상부의 전(全)화소분의 광 입사면 방향의 면적은, 상기 제2 촬상부의 전화소분의 광 입사면 방향의 면적보다 작아도 된다.
본 개시의 다른 일 양태에서는, 표시부의 표시면과는 반대측에 배치되고, 적외광 파장 대역의 광을 촬상 가능한 제1 촬상부와,
상기 표시부의 표시면과는 반대측에 배치되고, 가시광 파장 대역의 광을 촬상 가능한 제2 촬상부와,
상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터를 보정하는 보정부를 구비하는, 촬상 장치가 제공된다.
본 개시의 다른 일 양태에서는, 적외광 파장 대역의 광을 촬상 가능한 제1 촬상부와,
가시광 파장 대역의 광을 촬상 가능한 제2 촬상부와,
상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터를 보정하는 보정부를 구비하는, 촬상 장치가 제공된다.
본 발명에 의하면, 입사 광량이 적은 경우라도, 고품질의 촬영 화상을 얻을 수 있는 전자 기기 및 촬상 장치를 제공할 수 있다.
도 1은 촬상 장치를 탑재하는 전자 기기의 외관도 및 A-A선 단면도이다.
도 2는 도 1의 B-B선 단면도이다.
도 3a는 제1 촬상부의 단면 구조의 일 예를 나타내는 단면도이다.
도 3b는 제2 촬상부의 단면 구조의 일 예를 나타내는 단면도이다.
도 4는 제1 실시 형태에 의한 전자 기기의 내부 구성을 나타내는 블록도이다.
도 5는 제1 실시 형태에 의한 신호 처리부의 처리 동작의 제1 예를 나타내는 플로우차트이다.
도 6은 신호 처리부의 처리 동작의 제2 예를 나타내는 플로우차트이다.
도 7은 제2 실시 형태에 의한 전자 기기의 내부 구성을 나타내는 블록도이다.
도 8은 제2 실시 형태에 의한 전자 기기 내의 신호 처리부가 행하는 처리 동작의 제1 예를 나타내는 플로우차트이다.
도 9는 멀티 스펙트럼 센서를 사용하는 경우의 신호 처리부가 행하는 처리 동작의 제2 예를 나타내는 플로우차트이다.
도 10a는 화소 배치의 제1 예를 나타내는 도면이다.
도 10b는 화소 배치의 제2 예를 나타내는 도면이다.
도 11은 신호 처리부의 내부 구성의 제1 예를 나타내는 블록도이다.
도 12는 신호 처리부의 내부 구성의 제2 예를 나타내는 블록도이다.
도 13은 제5 실시 형태에 의한 전자 기기(2)의 개략 구성을 나타내는 블록도이다.
도 14는 제5 실시 형태에 의한 전자 기기(2)가 제1 및 제2 카메라 모듈로 촬상을 행할 때의 처리 동작을 나타내는 플로우차트이다.
도 15는 제6 실시 형태에 의한 전자 기기(2)가 제1 및 제2 카메라 모듈로 촬상을 행할 때의 처리 동작을 나타내는 플로우차트이다.
도 16a는 차량의 후방으로부터 전방에 걸친 차량의 내부의 모습을 나타내는 도면이다.
도 16b는 차량의 비스듬히 후방으로부터 비스듬히 전방에 걸친 차량의 내부의 모습을 나타내는 도면이다.
도 17a는 전자 기기의 제2 적용예인 디지털 카메라의 정면도이다.
도 17b는 디지털 카메라의 배면도이다.
도 18a는 전자 기기의 제3 적용예인 HMD의 외관도이다.
도 18b는 스마트 글라스의 외관도이다.
도 19는 전자 기기의 제4 적용예인 TV의 외관도이다.
도 20은 전자 기기의 제5 적용예인 스마트폰의 외관도이다.
이하, 도면을 참조하여, 전자 기기 및 촬상 장치의 실시 형태에 대해 설명한다. 이하에서는, 전자 기기 및 촬상 장치의 주요한 구성 부분을 중심으로 설명하지만, 전자 기기 및 촬상 장치에는, 도시 또는 설명되어 있지 않은 구성 부분이나 기능이 존재할 수 있다. 이하의 설명은, 도시 또는 설명되어 있지 않은 구성 부분이나 기능을 제외하는 것은 아니다.
(제1 실시 형태)
도 1은 제1 실시 형태에 의한 촬상 장치(1)를 탑재하는 전자 기기(2)의 외관도 및 A-A선 단면도, 도 2는 도 1의 B-B선 단면도이다. 본 실시형태에 의한 전자 기기(2)는, 스마트폰이나 휴대 전화, 태블릿, PC 등, 표시 기능과 촬영 기능을 겸비한 임의의 전자 기기(2)이다. 도 1의 전자 기기(2)는, 표시부(3)의 표시면(3a)과는 반대측에 배치되는 카메라 모듈(제1 및 제2 촬상부)(4, 5)을 구비하고 있다. 이와 같이, 도 1의 전자 기기(2)는, 표시부(3)의 표시면(3a)의 이면측에 카메라 모듈(4, 5)을 설치하고 있다. 따라서, 카메라 모듈(4, 5)은, 표시부(3)를 통해 촬영을 행하게 된다.
본 실시형태에 의한 촬상 장치(1)는, 복수의 카메라 모듈(4, 5)을 구비하고 있다. 본 명세서에서는, 2개의 카메라 모듈(4, 5)을 구비하는 예를 주로 설명하지만, 3개 이상의 카메라 모듈을 구비하고 있어도 된다. 이하에서는, 촬상 장치(1)가 2개의 카메라 모듈(4, 5)을 구비하는 예를 주로 설명한다. 후술하는 바와 같이, 카메라 모듈(4)은 제1 촬상부(6)를 가지고, 카메라 모듈(5)은 제2 촬상부(7)를 가진다. 제1 촬상부(6)는, 표시부(3)를 통과한 적외광 파장 대역의 광을 촬상할 수 있다. 적외광 파장 대역이란, 예를 들면 780nm∼1000nm의 범위 내의 파장 대역이다. 제2 촬상부(7)는, 표시부(3)를 통과한 가시광 파장 대역의 광을 촬상할 수 있다. 가시광 파장 대역이란, 예를 들면 380nm∼750nm의 범위 내의 파장 대역이다.
본 실시형태에 의한 전자 기기(2)는, 전자 기기(2)의 외형 사이즈의 부근까지 표시면(3a)이 확대되어 있고, 표시면(3a)의 주위에 있는 베젤(3b)의 폭을 수mm 이하로 하고 있다. 통상, 베젤(3b)에는, 프론트 카메라가 탑재되는 경우가 많지만, 도 1에서는, 파선 원으로 나타낸 바와 같이, 표시면(3a)의 대략 중앙부의 이면측에 프론트 카메라로서 기능하는 복수의 카메라 모듈(4, 5)을 배치하고 있다. 이와 같이, 프론트 카메라를 표시면(3a)의 이면측에 설치함으로써, 베젤(3b)에 프론트 카메라를 배치할 필요가 없어져, 베젤(3b)의 폭을 좁힐 수 있다.
한편, 도 1에서는, 표시면(3a)의 대략 중앙부의 이면측에 카메라 모듈(4, 5)을 배치하고 있지만, 표시면(3a)의 이면측의 임의의 장소에 카메라 모듈(4, 5)을 배치해도 되고, 예를 들면 표시면(3a)의 주연부의 가까운 이면측에 카메라 모듈(4, 5)을 배치해도 된다. 이와 같이, 본 실시형태에 있어서의 복수의 카메라 모듈(4, 5)은, 표시면(3a)과 겹치는 이면측의 임의의 위치에 배치된다.
도 1 및 도 2에 나타낸 바와 같이, 표시부(3)는, 보호 필름(3c), 폴리이미드 기판(3d), 표시층(3e), 배리어층(3f), 터치 센서층(3g), 점착층(3h), 원편광판(3i), 광학 점착 시트(OCA: Optical Clear Adhesive)(3j), 및 커버 글래스(3k)를 순서대로 적층한 적층체이다. 표시층(3e)은, 예를 들면 OLED(Organic Light Emitting Device) 표시층이어도 되고, 액정 표시층이어도 되고, MicroLED여도 되고, 그 밖의 표시 원리에 기초한 표시층이어도 된다. 표시층(3e)은, 복수의 층으로 구성되는 경우도 있을 수 있다. 예를 들면, 표시층(3e)에는, 컬러 필터층이나 백라이트층 등이 포함될 수도 있다. 표시부(3)는, 가시광 파장 영역의 광을 사용한 표시를 행하지만, 표시부(3)에서 표시되는 광이 적외광 성분을 포함하고 있어도 된다.
배리어층(3f)은, 표시층(3e)에 산소나 수분이 침입하는 것을 방지하는 층이다. 터치 센서층(3g)에는, 터치 센서가 조립되어 있다. 터치 센서에는, 정전 용량형이나 저항막형 등, 여러 방식이 있는데, 어느 방식이 채용되어도 된다. 또한, 터치 센서층(3g)과 표시층(3e)을 일체화해도 된다.
점착층(3h)은, 원편광판(3i)과 터치 센서층(3g)을 접착하기 위해서 설치되어 있다. 점착층(3h)에는, 가시광 투과율이 높은 재료가 사용된다. 원편광판(3i)은, 번쩍임을 저감시키거나, 밝은 환경하에서도 표시면(3a)의 시인성을 높이기 위해서 설치되어 있다. 광학 점착 시트(3j)는, 원편광판(3i)과 커버 글래스(3k)의 밀착성을 높이기 위해서 설치되어 있다. 광학 점착 시트(3j)는, 가시광 투과율이 높은 재료가 사용된다. 커버 글래스(3k)는, 표시층(3e) 등을 보호하기 위해서 설치되어 있다. 한편, 표시부(3)의 층 구성은, 반드시 도 1이나 도 2에 나타낸 것에 한정되지는 않는다.
도 2에 나타낸 바와 같이, 카메라 모듈(4)은, 제1 촬상부(6)에 대응하여 제1 광학계(8)를 가진다. 마찬가지로, 카메라 모듈(4, 5)은, 제2 촬상부(7)에 대응하여 제2 광학계(9)를 가진다. 제1 및 제2 광학계(8, 9)는, 제1 및 제2 촬상부(6, 7)의 광 입사면측, 즉 표시부(3)에 가까운 측에 배치되고, 표시부(3)를 통과한 광을 제1 및 제2 촬상부(6, 7)에 집광시킨다. 광학계(5)는, 통상은 복수의 렌즈로 구성되지만, 광학계의 구체적인 광학 구성은 상관하지 않는다.
후술하는 바와 같이, 제1 촬상부(6)는 제1 광전 변환부를 가지고, 제2 촬상부(7)는 제2 광전 변환부를 가진다. 제1 광전 변환부 및 제2 광전 변환부는, 표시부(3)를 통해 입사된 광을 광전 변환한다. 제1 광전 변환부와 제2 광전 변환부에서는, 광전 변환 가능한 광 파장 대역이 다르다. 제1 광전 변환부는, 적외광 파장 대역의 광을 주로 광전 변환하고, 제2 광전 변환부는, 가시광 파장 대역의 광을 주로 광전 변환한다. 제1 광전 변환부와 제2 광전 변환부는, CMOS(Complementary Metal Oxide Semiconductor) 센서여도 되고, CCD(Charge Coupled Device) 센서여도 된다. 또한, 광전 변환부는, 포토다이오드여도 되고, 유기 광전 변환막이어도 된다.
제1 및 제2 광전 변환부는, 화소마다 CMOS 센서 등의 광전 변환 소자를 가진다. 각 화소는 임의의 방식으로 배열할 수 있다. 구체적으로는, 각 화소의 배열 방식은, 베이어 배열이어도 되고, 인터라인 배열이어도 되고, 체크무늬 배열이어도 되고, 스트라이프 배열이어도 되고, 그 밖의 배열이어도 된다.
도 1 및 도 2에 나타낸 바와 같이, 본 실시형태의 전자 기기(2)에서는, 복수의 카메라 모듈(4, 5)이 표시부(3)를 투과한 피사체광을 촬상한다. 표시부(3)는, 도 1에 나타낸 바와 같이, 복수의 층으로 형성되어 있고, 각 층이, 제1 촬상부(6) 및 제2 촬상부(7)가 충분한 감도를 가지는 파장 대역의 광의 투과율이 높으면 문제없지만, 실제로는, 일부의 층의 투과율이 낮을 우려가 있다. 예를 들면, 폴리이미드 기판(3d)은, 가시광 투과율이 그다지 높지 않은데 반해, 적외광 투과율은 가시광 투과율보다 높다.
이에, 본 실시형태에서는, 후술하는 보정부를 설치하여, 적외광 파장 대역의 광을 촬상하는 제1 촬상부(6)의 촬상 화상 데이터에 기초하여, 가시광 파장 대역의 광을 촬상하는 제2 촬상부(7)의 촬상 화상 데이터를 보정한다.
도 3a는 제1 촬상부(6)의 단면 구조의 일 예를 나타내는 단면도, 도 3b는 제2 촬상부(7)의 단면 구조의 일 예를 나타내는 단면도이다. 도 3a에 나타내는 제1 촬상부(6)는, 반도체 기판(11) 내에 형성되는 제1 광전 변환부(12a)를 구비하고 있고, 제1 광전 변환부(12a)는 화소별로 소자 분리층(13)으로 구획되어 있다. 제1 광전 변환부(12a) 위에는 평탄화층(14)이 배치되고, 그 위에는 온 칩 렌즈(15a)가 배치되어 있다. 광은 온 칩 렌즈(15a)를 통해 입사된다. 따라서, 온 칩 렌즈(15a)는 광 입사면이 된다. 본 명세서에서는, 온 칩 렌즈(15a)가 배치되어 있는 측을 제1 촬상부(6)의 이면측이라고 부른다.
한편, 도 3b에 나타내는 제2 촬상부(7)는, 반도체 기판 내에 형성되는 제2 광전 변환부(12b)를 구비하고 있고, 제2 광전 변환부(12b)는 화소별로 소자 분리층(13)으로 구획되어 있다. 제2 광전 변환부(12b) 위에는 평탄화층(14)이 배치되고, 그 위에 컬러 필터층(16)이 배치되어 있다. 컬러 필터층(16)은, RGB의 3색의 필터층을 가지고 있어도 되고, 그 보색인 시안, 마젠타, 옐로우의 필터층을 가지고 있어도 된다. 컬러 필터층(16) 위에는, 온 칩 렌즈(15b)가 배치되어 있다.
도 3a와 도 3b의 단면도를 비교하면 알 수 있는 바와 같이, 제1 촬상부(6)의 제1 광전 변환부(12a)는, 제2 촬상부(7)의 제2 광전 변환부(12b)보다, 광 입사면의 법선 방향의 길이가 길다. 이것은, 적외광 파장 대역의 광의 광전 변환 효율은, 가시광 파장 대역의 광의 광전 변환 효율보다 나쁘기 때문이며, 제1 광전 변환부(12a)의 광 입사면의 법선 방향의 길이를 보다 길게 함으로써, 광전 변환 효율의 향상을 도모하고 있다.
또한, 적외광은, 가시광에 비해 굴절되기 어려워지기 때문에, 도 3a 및 도 3b에 나타낸 바와 같이, 제1 촬상부(6)의 온 칩 렌즈(15a)의 곡률을, 제2 촬상부(7)의 온 칩 렌즈(15b)의 곡률보다 크게 해도 된다.
제1 촬상부(6)의 1 화소당의 광 입사면 방향의 면적은, 제2 촬상부(7)의 1 화소당의 광 입사면 방향의 면적보다 크게 해도 된다. 제1 촬상부(6)는, 제2 촬상부(7)의 촬상 화상의 감도 등을 보정하기 위해서 설치되어 있고, 면적이 큰 것이 감도를 향상시킬 수 있기 때문에 바람직하다.
한편, 제2 촬상부(7)의 전화소분을 합한 광 입사면 방향의 면적(유효 화소 면적)은, 제1 촬상부(6)의 전화소분을 합한 광 입사면 방향의 면적(유효 화소 면적)보다 커도 된다. 제1 촬상부(6)는, 제2 촬상부(7)의 촬상 화상을 보정하기 위한 것으로, 예를 들면 제2 촬상부(7)의 복수 화소에 대해 1 화소의 비율로 설치하면 된다. 한편, 제1 촬상부(6)와 제2 촬상부(7)의 사이즈나 화소수는, 상술한 것에 한정되지 않는다. 제1 촬상부(6)와 제2 촬상부(7)의 구체적인 레이아웃 배치예에 대해서는, 후술한다.
제1 촬상부(6) 및 제2 촬상부(7)의 표면측(온 칩 렌즈(15a, 15b)와는 반대측)에서는, 반도체 기판(11) 위에 판독 회로(17)가 형성되고, 판독 회로(17)의 주위는 층간 절연막(18)으로 덮여 있다. 판독 회로(17)는, 전송 트랜지스터, 리셋 트랜지스터, 증폭 트랜지스터, 선택 트랜지스터 등을 가진다. 한편, 제1 촬상부(6) 및 제2 촬상부(7)의 단면 구조는, 도 3에 나타낸 것에 한정되지는 않는다.
도 4는 제1 실시 형태에 의한 전자 기기(2)의 내부 구성을 나타내는 블록도이다. 도 4에 나타낸 바와 같이, 전자 기기(2)는, 촬상 장치(1)와, 어플리케이션 프로세서(21)와, 영상 신호 생성부(22)와, A/D 변환부(23)와, 표시 제어부(24)와, 표시부(3)를 가진다.
촬상 장치(1)는, 하나 또는 복수의 반도체 디바이스로 구성할 수 있다. 보다 상세하게는, 촬상 장치(1)는, 제1 및 제2 카메라 모듈(4, 5)과, 제1 촬상부(6)에 대응하는 제1 광학계(8)와, 제2 촬상부(7)에 대응하는 제2 광학계(9) 및 IR(Infrared Ray) 컷트 필터(10)와, 제1 촬상부(6)에 대응하는 제1 A/D 변환부(31)와, 제2 촬상부(7)에 대응하는 제2 A/D 변환부(32)와, 신호 처리부(33)와, 촬상 제어부(34)와, 출력부(35)를 가진다. 제1 및 제2 카메라 모듈(4, 5)은, 공통의 기판 상에 실장되어 있어도 된다.
제1 A/D 변환부(31)는 제1 광전 변환부(12a)에서 광전 변환된 아날로그 화소 신호를 디지털 화소 데이터로 변환한다. 제2 A/D 변환부(32)는 제2 광전 변환부(12b)에서 광전 변환된 아날로그 화소 신호를 디지털 화소 데이터로 변환한다.
신호 처리부(33)는, 후술하는 바와 같이, 제1 촬상부(6) 및 제2 촬상부(7)에서의 촬상 화상에 따른 화상 데이터를 생성한다. 신호 처리부(33)는, 제1 촬상부(6)에서 촬상된 화상 데이터에 기초하여 제2 촬상부(7)에서 촬상된 화상 데이터의 감도를 보정하는 보정부로서 기능한다. 촬상 제어부(34)는, 신호 처리부(33)로부터의 지시에 의해, 제1 촬상부(6)에서 촬상을 행할지 여부를 제어한다.
어플리케이션 프로세서(21)는, 제1 및 제2 카메라 모듈(4, 5)과는 별개의 반도체 디바이스이며, 제1 및 제2 카메라 모듈(4, 5)과 동일 또는 다른 기판에 실장된다. 어플리케이션 프로세서(21)는, 그 내부에 CPU(Central Processing Unit) 등을 가지고, 오퍼레이팅 시스템이나 각종 어플리케이션 소프트웨어 등의 프로그램을 실행한다. 어플리케이션 프로세서(21)는, GPU(Graphics Processing Unit)나 베이스밴드 프로세서 등의 화상 처리나 신호 처리 등을 행하는 기능을 탑재하고 있어도 된다. 어플리케이션 프로세서(21)는, 입력된 화상 데이터나 연산 결과에 대해, 필요에 따라 다양한 처리를 실행하거나, 전자 기기(2)의 표시부(3)에 화상을 표시하는 제어를 행하거나, 소정의 네트워크를 통해 외부의 클라우드 서버에 송신하거나 한다.
영상 신호 생성부(22)는, 표시부(3)에 표시하기 위한 영상 신호를 생성한다. A/D 변환부(23)는, 영상 신호를 디지털 화소 데이터로 변환한다. 표시 제어부(24)는, 디지털 화소 데이터를 표시부(3)에 표시하는 제어를 행한다.
도 5는 제1 실시 형태에 의한 신호 처리부(33)의 처리 동작의 제1 예를 나타내는 플로우차트이다. 도 5의 플로우차트는, 제1 촬상부(6)에서 촬상된 화상 데이터에 기초하여, 제2 촬상부(7)에서 촬상된 화상 데이터의 감도를 보정하는 것이다.
먼저, 제2 촬상부(7)에서 촬상된 화상 데이터의 화소값이 소정의 임계값 이하인지 여부를 판정한다(스텝 S1). 여기서는, 제2 촬상부(7)에서 촬상된 화상 데이터의 평균 화소값을 소정의 임계값과 비교해도 되고, 제2 촬상부(7)에서 촬상된 화상 데이터의 일부의 화소 영역의 화소값을 소정의 임계값과 비교해도 된다.
스텝 S1에서 소정의 임계값 이하가 아니라고 판정되었을 경우, 제2 촬상부(7)에서 촬상된 화상 데이터는 충분한 감도를 가지고 있다고 추정할 수 있기 때문에, 제2 촬상부(7)에서 촬상된 화상 데이터에 기초하여 소정의 신호 처리를 행하여 RGB 데이터를 생성하여 출력한다(스텝 S2).
한편, 스텝 S1에서 소정의 임계값 이하라고 판정되었을 경우, 제2 촬상부(7)에서 촬상된 화상 데이터는 감도가 부족한 것으로 추정할 수 있기 때문에, 촬상 제어부를 통해, 제1 촬상부(6)에 대해 촬상 시작을 지시한다(스텝 S3). 제1 촬상부(6)는, 적외광 파장 대역 내의 복수의 좁은 파장 대역(예를 들면, 750nm, 800nm, 850nm 등)의 광을 별개로 촬상할 수 있는 복수의 촬상 센서를 가지고 있어도 된다.
그 후, 제1 촬상부(6)에서 촬상된 화상 데이터의 화소값과, 제2 촬상부(7)에서 촬상된 화상 데이터의 화소값을 비교한다(스텝 S4). 이 스텝 S4에서는, 예를 들면, 제1 촬상부(6)에서 촬상된 화상 데이터의 화소값이, 제2 촬상부(7)에서 촬상된 화상 데이터의 화소값의 X배(X는 1보다 큰 미리 정한 기준값) 이상인지 여부를 판정한다. X의 값은, 사용자가 설정 변경할 수 있도록 해도 된다.
스텝 S4에서 NO라고 판정되면, 제1 촬상부(6)에서 촬상된 화상 데이터는 그다지 감도가 높지 않은 것으로 추정할 수 있기 때문에, 보정 처리는 행하지 않고 상술한 스텝 S2의 처리를 행한다. 스텝 S4에서 YES라고 판정되면, 제1 촬상부(6)에서 촬상된 화상 데이터의 감도는 충분히 높다고 추정할 수 있기 때문에, 제2 촬상부(7)에서 촬상된 화상 데이터 중에, 화소값이 소정의 임계값 이상인 화소가 존재하는지 여부를 판정한다(스텝 S5). 스텝 S5의 판정 처리를 설치한 이유는, 가시광 파장 대역의 광을 촬상하는 제2 촬상부(7)의 촬상 화상 데이터 중에, 화소값이 큰 화소 데이터가 있으면, 그 화소 데이터는 감도가 높아 유효한 데이터로 간주하기 때문이다.
스텝 S5에서 YES라고 판정되면, 제2 촬상부(7)에서 촬상된 화상 데이터 중, 화소값이 소정의 임계값 이상인 화소 데이터와, 제1 촬상부(6)에서 촬상된 화상 데이터를 유효한 데이터로서 선택한다(스텝 S6).
스텝 S5에서 NO라고 판정되면, 제2 촬상부(7)에서 촬상된 화상 데이터는 신뢰할 수 없다고 추정할 수 있기 때문에, 제1 촬상부(6)에서 촬상된 화상 데이터를 유효한 데이터로서 선택한다(스텝 S7).
다음으로, 스텝 S6 또는 S7에서 선택된 유효한 데이터에 기초하여, 제2 촬상부(7)에서 촬상된 화상 데이터를 보정한다(스텝 S8). 여기서는, 예를 들면, 제1 촬상부(6)에서 촬상된 화상 데이터의 감도와, 제2 촬상부(7)에서 촬상된 화상 데이터의 감도의 상관 관계를 미리 학습한 학습 모델을 생성해 둔다. 예를 들면 CNN(Convolution Neural Network)을 이용하여, 감도 보정을 적절히 행하기 위한 화상의 특징을 추출하고, 제1 촬상부(6)에서 촬상된 화상 데이터를 이용하여, 제2 촬상부(7)에서 촬상된 화상 데이터의 감도를 자동으로 보정할 수 있는 학습 모델을 생성한다. 학습 모델을 생성하는 일련의 처리는 기계 학습이라고 불린다. 충분한 학습이 행해진 학습 모델에 대해, 스텝 S6 또는 S7에서 선택된 유효한 데이터를 입력하여 연산 처리를 행함으로써, 학습 모델로부터 보정 후의 화상 데이터를 출력한다. 출력된 화상 데이터는, RGB의 색 성분별로, 적절히 감도 보정된 데이터이다.
이와 같이, 신호 처리부(33)는, 제2 촬상부(7)에서 촬상된 화상 데이터의 화소값이 커서 신뢰성이 높다고 추정되는 경우에는, 감도를 보정하지 않고 출력하고, 화소값이 작아 신뢰성이 높다고 추정되는 경우에는, 제1 촬상부(6)에서 촬상된 화상 데이터에 기초하여, 제2 촬상부(7)에서 촬상된 화상 데이터의 감도를 보정한다. 보정을 행할 때에는, 제1 촬상부(6)에서 촬상된 화상 데이터의 감도와 제2 촬상부(7)에서 촬상된 화상 데이터의 감도의 상관 관계를 미리 학습해 두고, 그 학습 결과를 이용하여 보정한다.
도 5에서는, 제2 촬상부(7)에서 촬상된 화상 데이터의 감도를 보정하는 예를 설명했지만, 제2 촬상부(7)에서 촬상된 화상 데이터의 해상도를 보정하는 경우에도, 마찬가지의 처리 순서를 적용 가능하다. 해상도의 저하는, 표시부(3)를 통과함으로써, 제2 카메라 모듈(5)에 입사되어야 하는 광의 일부가 소실됨으로써 생긴다. 따라서, 도 5와 마찬가지의 처리를 행함으로써, 제1 촬상부(6)에서 촬상된 화상 데이터에 기초하여 제2 촬상부(7)에서 촬상된 화상 데이터를 보정함으로써, 제2 촬상부(7)에서 촬상된 화상 데이터의 해상도를 향상시킬 수 있다. 그 때, 스텝 S8의 보정 처리는, 감도 보정과는 다른 처리를 행할 필요가 있다. 즉, 감도 보정의 경우는, 감도를 적절히 보정하기 위한 학습 모델을 생성했지만, 해상도 보정의 경우는, 해상도를 적절히 보정하기 위한 학습 모델을 생성하고, 그 학습 모델이 충분한 학습을 행한 단계에서, 그 학습 모델에 스텝 S6 또는 S7에서 선택된 유효한 데이터를 입력하여, 해상도 보정된 화상 데이터를 얻을 수 있다. 보다 구체적으로는, 해상도를 보정하는 경우의 학습 모델은, 제1 촬상부(6)에서 촬상된 화상 데이터의 해상도와, 제2 촬상부(7)에서 촬상된 화상 데이터의 해상도의 상관 관계를 학습한다. 보정부로서 기능하는 신호 처리부(33)는, 학습부에서의 학습 결과를 참조하여, 제1 촬상부(6)에서 촬상된 화상 데이터에 기초하여, 제2 촬상부(7)에서 촬상된 화상 데이터의 해상도를 보정한다.
보정부로서 기능하는 신호 처리부(33)는, 제2 촬상부(7)에서 촬상된 화상 데이터에 대해, 단파장측일수록 보정의 정도를 높게 해도 된다. 표시부(3)를 통과하는 피사체광은, 청색 성분일수록 표시부(3)에 흡수되기 쉬워지기 때문이다.
이상에서는, 제2 촬상부(7)에서 촬상된 화상 데이터의 감도 보정 또는 해상도 보정을 행하는 예를 설명했지만, 피사체광이 표시부(3)를 통과하는 동안에 반사나 회절을 일으켜, 반사에 의한 플레어나 회절의 영향을 받은 피사체광이 제1 및 제2 카메라 모듈(4, 5)에 입사될 우려가 있다. 이에, 신호 처리부(33)는, 플레어나 회절광에 의한 영향을 보정하는 처리를 행해도 된다.
도 6은 신호 처리부(33)의 처리 동작의 제2 예를 나타내는 플로우차트이다. 도 6의 플로우차트는, 제1 촬상부(6)에서 촬상된 화상 데이터에 기초하여, 제2 촬상부(7)에서 촬상된 화상 데이터의 플레어 또는 회절에 의한 영향을 보정하는 것이다.
먼저, 제2 촬상부(7)에서 촬상된 화상 데이터의 화소값이 소정의 임계값 이상인지 여부를 판정한다(스텝 S11). 제2 촬상부(7)에 입사되는 광이 플레어나 회절의 영향을 받고 있는 경우에는, 일반적으로는 화소값이 크게 된다. 이에, 스텝 S11에서는, 제2 촬상부(7)에서 촬상된 화상 데이터의 화소값이 소정의 임계값 이상인지 여부를 판정하고, 임계값 미만이라면, 플레어나 회절의 영향을 받고 있지 않은 것으로 판단하고, 제2 촬상부(7)에서 촬상된 화상 데이터에 기초하여 소정의 신호 처리를 행하여 RGB 데이터를 생성하여 출력한다(스텝 S12).
한편, 스텝 S11에서 소정의 임계값 이상이라고 판정되었을 경우, 제2 촬상부(7)에서 촬상된 화상 데이터는 플레어 또는 회절의 영향을 받고 있다고 추정할 수 있기 때문에, 촬상 제어부를 통해, 제1 촬상부(6)에 대해 촬상 시작을 지시한다(스텝 S13).
그 후, 제1 촬상부(6)에서 촬상된 화상 데이터의 화소값과, 제2 촬상부(7)에서 촬상된 화상 데이터의 화소값을 비교한다(스텝 S14). 여기서는, 도 5의 스텝 S4와 마찬가지로, 예를 들면, 제1 촬상부(6)에서 촬상된 화상 데이터의 화소값이, 제2 촬상부(7)에서 촬상된 화상 데이터의 화소값의 X배(X는 1보다 큰 미리 정한 기준값) 이하인지 여부를 판정한다.
스텝 S14에서 NO라고 판정되면, 제1 촬상부(6)에서 촬상된 화상 데이터를 사용하더라도, 제2 촬상부(7)에서 촬상된 화상 데이터의 플레어나 회절의 영향을 보정할 수 없다고 추정할 수 있기 때문에, 보정 처리는 행하지 않고 스텝 S12의 처리를 행한다. 스텝 S14에서 YES라고 판정되면, 제1 촬상부(6)에서 촬상된 화상 데이터는 플레어나 회절의 영향을 받고 있지 않은 것으로 추정할 수 있기 때문에, 제2 촬상부(7)에서 촬상된 화상 데이터 중에, 화소값이 소정의 임계값 이하인 화소가 존재하는지 여부를 판정한다(스텝 S15).
스텝 S15에서 YES라고 판정되면, 제2 촬상부(7)에서 촬상된 화상 데이터 중, 화소값이 소정의 임계값 이하인 화소 데이터와, 제1 촬상부(6)에서 촬상된 화상 데이터를 유효한 데이터로서 선택한다(스텝 S16).
스텝 S15에서 NO라고 판정되면, 제2 촬상부(7)에서 촬상된 화상 데이터는 신뢰할 수 없다고 추정할 수 있기 때문에, 제1 촬상부(6)에서 촬상된 화상 데이터를 유효한 데이터로서 선택한다(스텝 S17).
다음으로, 스텝 S16 또는 S17에서 선택된 유효한 데이터에 기초하여, 제2 촬상부(7)에서 촬상된 화상 데이터를 보정한다(스텝 S18). 여기서는, 예를 들면, 제1 촬상부(6)에서 촬상된 화상 데이터에 포함되는 플레어 성분 및 회절광 성분의 적어도 일방과, 제2 촬상부(7)에서 촬상된 화상 데이터에 포함되는 플레어 성분 및 회절광 성분의 적어도 일방의 상관 관계를 미리 학습한 학습 모델을 생성해 두고, 충분한 학습이 행해진 학습 모델에 대해, 스텝 S16 또는 S17에서 선택된 유효한 데이터를 입력함으로써, 학습 모델로부터 보정 후의 화상 데이터를 출력시킨다. 출력된 화상 데이터는, RGB의 각 색 성분별로, 플레어 또는 회절에 의한 영향이 적절하게 보정된 데이터이다.
도 5 및 도 6의 플로우차트의 처리를 정리하면, 신호 처리부(33)는, 기준 판정부(스텝 S1, S11)와, 촬상 시작 지시부(스텝 S2, S12)와, 보정 절차 결정부(스텝 S3∼S8, S13∼S18)의 처리를 행한다. 기준 판정부는, 제2 촬상부(7)에서 촬상된 화상 데이터의 감도, 해상도, 플레어 성분 및 회절광 성분의 적어도 하나가 소정의 제1 기준을 만족하는지 여부를 판정한다. 촬상 시작 지정부는, 기준 판정부에서 제1 기준을 만족하지 않는다고 판정되면, 제1 촬상부(6)에 의한 촬상을 개시시킨다. 보정 절차 결정부는, 제1 촬상부(6)에서 촬상된 화상 데이터와 제2 촬상부(7)에서 촬상된 화상 데이터에서, 감도, 해상도, 플레어 성분, 및 회절광 성분의 적어도 하나를 비교한 결과에 기초하여, 보정부에 의한 보정을 행할지 여부와, 보정부에 의한 보정을 행할 때에 보정의 기준이 되는 화상 데이터의 종류를 결정한다. 신호 처리부(33)(학습부)는, 보정 절차 결정부에서, 보정의 기준이 되는 화상 데이터의 종류가 결정되면, 결정된 화상 데이터의 감도, 해상도, 플레어 성분 및 회절광 성분의 적어도 하나와, 제2 촬상부(7)에서 촬상된 화상 데이터의 감도, 해상도, 플레어 성분 및 회절광 성분의 적어도 하나의 상관 관계를 학습한다.
한편, 도 5의 처리와 도 6의 처리는, 조합하여 실시해도 된다. 즉, 신호 처리부(33)는, 제1 촬상부(6)에서 촬상된 화상 데이터에 기초하여, 제2 촬상부(7)에서 촬상된 화상 데이터의 감도, 해상도, 플레어 성분에 의한 영향, 및 회절광 성분에 의한 영향의 2개 이상을 보정해도 된다.
이와 같이, 제1 실시 형태에서는, 적외광 파장 대역의 광을 촬상하는 제1 촬상부(6)에서 촬상된 화상 데이터에 기초하여, 가시광 파장 대역의 광을 촬상하는 제2 촬상부(7)에서 촬상된 화상 데이터를 필요에 따라 보정하기 때문에, 표시부(3)를 통과하여 피사체광이 제1 및 제2 카메라 모듈(4, 5)에 입사되어도, 감도 또는 해상도가 저하될 우려가 없게 되고, 또한 플레어나 회절의 영향도 받지 않게 된다.
(제2 실시 형태)
제2 실시 형태는, 도 5의 스텝 S8이나 도 6의 스텝 S18에서 행하는 기계 학습으로, 충분한 학습이 행해지지 않는 경우의 대책을 실시한 것이다.
도 7은 제2 실시 형태에 의한 전자 기기(2a)의 내부 구성을 나타내는 블록도이다. 도 7의 전자 기기(2a)는, 도 4의 구성에 더하여, 뎁스 센서(36)를 구비하고 있다. 뎁스 센서(36)는, 물체까지의 거리 정보를 검출하는 센서이다. 뎁스 센서(36)는, 예를 들면 간접 ToF(Time of Flight) 방식에 의해 거리 정보를 검출해도 된다. 뎁스 센서(36)는, 예를 들면 도 1의 전자 기기(2)의 표시면측의 베젤(3b) 부분에 배치된다. 뎁스 센서(36)에서 검출된 거리 정보는, 신호 처리부(33)에 보내진다.
도 8은 제2 실시 형태에 의한 전자 기기(2a) 내의 신호 처리부(33)가 행하는 처리 동작의 제1 예를 나타내는 플로우차트이다. 신호 처리부(33)는, 도 8의 처리를, 도 5 또는 도 6의 처리를 행한 후에 실행한다.
먼저, 기계 학습을 충분히 행했는지 여부를 판정한다(스텝 S21). 기계 학습에 의해 생성되는 학습 모델에 입력 데이터를 부여하면, 학습 모델을 사용하여 연산 처리가 행해지고, 출력 데이터가 생성된다. 입력 데이터가 미리 상정된 범위 내의 데이터라면, 내삽 처리를 행함으로써, 기계 학습의 결과를 반영시킨 적절한 출력 데이터가 얻어지지만, 입력 데이터가 미리 상정된 범위 밖의 데이터인 경우에는, 외삽 처리를 행할 필요가 있어, 출력 데이터의 정밀도가 저하되게 된다. 이에, 스텝 S21에서는, 예를 들면, 입력 데이터에 대해 외삽 처리가 필요한지 여부에 따라, 기계 학습을 충분히 행했는지 여부를 판정한다. 한편, 다른 수법으로, 기계 학습을 충분히 행했는지 여부를 판정해도 된다.
스텝 S21에서 기계 학습을 충분히 행했다고 판정된 경우, 학습 모델에서 연산 처리된 데이터의 색 보정을 행하지 않고 출력한다(스텝 S22).
스텝 S21에서 기계 학습을 충분히 행하지 않았다고 판정되었을 경우, 뎁스 센서(36)에 의한 거리 정보의 검출을 행한다(스텝 S23). 다음으로, 뎁스 센서(36)에서 검출된 거리 정보에 기초하여, 도 5 또는 도 6의 처리로 보정 후의 촬상 데이터에 촬영된 물체의 형상을 파악하여, 물체를 식별한다(스텝 S24). 신호 처리부(33) 단독으로 물체의 식별을 행할 수 없는 경우에는, 도 5 또는 도 6의 처리로 보정 후의 촬상 데이터와 뎁스 센서(36)에서 검출된 거리 정보를, 네트워크를 통해 클라우드 서버 등에 송신하고, 클라우드 서버 등이 관리하는 방대한 데이터(빅 데이터)를 사용하여 물체의 형상 해석을 행하여 물체를 특정하고, 특정된 물체의 정보를, 네트워크 경유로 신호 처리부(33)가 수령해도 된다. 또는, 도 5 또는 도 6의 처리로 보정 후의 촬상 데이터와 뎁스 센서(36)에서 검출된 거리 정보를 어플리케이션 프로세서에 보내, 어플리케이션 프로세서에서 물체를 특정해도 된다.
다음으로, 스텝 S24에서 식별된 물체의 색이 기지(旣知)의 것인지 여부를 판정한다(스텝 S25). 물체의 색이 기지의 것이 아닌 경우에는, 색 보정을 포기하고, 스텝 S22의 처리를 행한다. 물체의 색이 기지의 것인 경우에는, 기지의 색에 가까워지도록 색 보정을 행한다(스텝 S26). 여기서는, 식별된 물체의 색정보를 관리하는 데이터베이스를 설치하고, 이 데이터베이스에 액세스하여, 식별된 물체의 색 정보를 취득해도 된다.
이와 같이, 도 8의 처리에서는, 기계 학습으로 충분히 학습이 행해지지 않은 경우에는, 뎁스 센서(36)를 사용하여 물체의 형상을 검출하여 물체를 식별하고, 식별된 물체에 대한 기지의 색 정보에 기초하여 색 보정을 행한다.
도 7 및 도 8에서는, 뎁스 센서(36)에 의해 물체의 형상을 검출하는 예를 나타냈지만, 다른 센서를 사용하여 물체의 정보를 검출해도 된다. 예를 들면, 뎁스 센서(36) 대신에, 또는 뎁스 센서(36)에 더하여, 멀티 스펙트럼 센서를 설치해도 된다.
도 9는 멀티 스펙트럼 센서를 사용하는 경우의 신호 처리부(33)가 행하는 처리 동작의 제2 예를 나타내는 플로우차트이다. 스텝 S31∼S32의 처리는 도 8의 스텝 S21∼S22의 처리와 마찬가지이다. 스텝 S31에서 기계 학습을 충분히 행하지 않았다고 판정되면, 멀티 스펙트럼 센서에 의한 색 정보의 검출을 행한다(스텝 S33). 멀티 스펙트럼 센서는, 복수의 파장 대역의 광을 별개로 검출할 수 있기 때문에, 제2 촬상부(7)에서 촬상된 화상 데이터에 포함되는 물체의 색 정보를 상세하게 검출할 수 있다. 다음으로, 스텝 S33에서 검출된 색 정보로부터 물체를 식별한다(스텝 S34). 이 때, 상술한 바와 같이, 클라우드 서버나 어플리케이션 프로세서에서 물체를 식별해도 된다.
다음으로, 스텝 S34에서 식별된 물체의 색이 기지의 것인지 여부를 판정한다(스텝 S35). 물체의 색이 기지의 것이 아닌 경우에는, 멀티 스펙트럼 센서에서 검출된 색 정보에 기초하여 색 보정을 행한다(스텝 S36). 물체의 색이 기지의 것인 경우에는, 기지의 색에 가까워지도록 색 보정을 행한다(스텝 S37).
도 8 및 도 9의 플로우차트의 처리를 정리하면, 신호 처리부(33)는, 신뢰도 추정부(스텝 S21, S31)와, 물체 식별 판정부(스텝 S23, S33)와, 색 특정 판정부(스텝 S24, S34)의 처리를 행한다. 신뢰도 추정부는, 학습부에 의한 학습의 신뢰도를 추정한다. 물체 식별 판정부는, 신뢰도 추정부에서 추정된 신뢰도가 소정의 제2 기준 이하인 경우, 센서의 검출 데이터에 기초하여 물체를 식별할 수 있는지 여부를 판정한다. 색 특정 판정부는, 물체 식별 판정부에서 물체를 식별할 수 있다고 판정되었을 경우에, 센서로 식별된 물체의 색을 특정할 수 있는지 여부를 판정한다. 보정부로서 기능하는 신호 처리부(33)는, 색 특정 판정부에서 물체의 색을 특정할 수 있다고 판정되었을 경우, 특정된 색에 가까워지도록, 제2 촬상부(7)에서 촬상된 화상 데이터를 보정한다.
한편, 도 8의 처리와 도 9의 처리를 조합하여 실시해도 된다. 물체의 형상 정보와 색 정보를 뎁스 센서(36)나 멀티 스펙트럼 센서 등으로 검출한 결과에 기초하여 물체를 특정하도록 하면, 보다 정확하게 물체를 특정할 수 있고, 특정된 물체의 색 보정을 양호한 정밀도로 행할 수 있다.
이와 같이, 제2 실시 형태에서는, 기계 학습에 의한 학습이 불충분한 상태에서 제2 촬상 데이터가 촬상한 화상 데이터를 보정하는 것은 바람직하지 않기 때문에, 기계 학습에 의한 학습이 불충분한 경우에는, 뎁스 센서(36)나 멀티 스펙트럼 센서 등의 다른 센서를 사용하여, 제2 촬상부(7)에서 촬상된 화상 데이터의 색 보정을 행한다. 이에 의해, 기계 학습에 의한 학습이 불충분한 상태에서, 신뢰성이 낮은 보정을 행할 우려를 회피할 수 있다.
(제3 실시 형태)
제3 실시 형태는, 제1 촬상부(6)와 제2 촬상부(7)의 화소 배치에 특징을 갖게 한 것이다. 적외광 파장 대역의 광을 수광하여 광전 변환하는 제1 촬상부(6)는 복수의 화소로 구성된다. 마찬가지로, 가시광 파장 대역의 광을 수광하여 광전 변환하는 제2 촬상부(7)도 복수의 화소로 구성된다. 제1 촬상부(6)를 구성하는 복수의 화소의 일부에, 가시광 파장 대역의 광을 수광가능한 화소가 포함되어 있어도 된다.
도 10a는 화소 배치의 제1 예를 나타내는 도면이다. 도 10a에 나타내는 제1 예에서는, 적외광 파장 대역의 광을 수광하여 광전 변환하는 화소를 IR이라고 표기하고, 적색에 대응하는 파장 대역의 광을 수광하여 광전 변환하는 화소를 R이라고 표기하고 있다. 도 10a의 예에서는, 지그재그 형상으로 IR 화소와 R 화소를 배치하고 있다. 한편, IR 화소와 R 화소의 배치 순서 및 각 화소의 수의 비율은 임의이다.
적색의 광은 적외광에 가까운 파장 성분(예를 들면 550nm 이상)을 가진다. IR 화소의 사이에 R 화소를 배치함으로써, 제1 촬상부(6)에서 수광 가능한 광 파장 대역을 보다 넓게 할 수 있다. 상술한 신호 처리부(33)에서, 제1 촬상부(6)에서 촬상된 화상 데이터에 기초하여, 제2 촬상부(7)에서 촬상된 화상 데이터를 보정할 때, 제1 촬상부(6)에서 촬상된 화상 데이터 중에 적색 성분을 포함시킴으로써, 제2 촬상부(7)에서 촬상된 화상 데이터에 포함되는 적색 성분과의 조정이 용이해져, 신뢰성이 높은 보정 처리를 행할 수 있다.
도 10b는 화소 배치의 제2 예를 나타내는 도면이다. 도 10b에 나타내는 제2 예에서는, 제2 촬상부(7)를 구성하는 복수의 화소의 일부에, 적외광 파장 대역의 광을 수광 가능한 화소가 포함되어 있다. 도 10b에서는, 가시광 파장 대역의 광을 수광하여 광전 변환하는 화소를 R, G 또는 G라고 표기하고, 적외광 대역의 광을 수광하여 광전 변환하는 화소를 IR이라고 표기하고 있다. RGB의 3화소에 대해 1 화소분의 IR 화소가 배치되어 있다. 한편, RGB화소와 IR 화소의 배치 순서 및 각 화소의 수의 비율은 임의이다.
RGB 화소의 사이에 IR 화소를 배치함으로써, 제1 촬상부(6)와 제2 촬상부(7)를 하나의 반도체 칩 상에 형성할 수 있다. 이에 의해, 카메라 모듈(4, 5)을 1개만 설치하면 되게 되어, 전자 기기(2)의 하드웨어 비용을 삭감할 수 있다.
이와 같이, 제3 실시 형태에서는, 적외광 파장 대역의 광을 수광하는 화소의 사이에 가시광 파장 대역의 광을 수광하는 화소를 배치함으로써, 신호 처리부(33)가 행하는 보정 처리의 신뢰성을 향상시킬 수 있다. 또한, 가시광 파장 대역의 광을 수광하는 화소의 사이에 적외광 파장 대역의 광을 수광하는 화소를 배치함으로써, 제1 촬상부(6)와 제2 촬상부(7)를 하나의 반도체 칩 상에 형성할 수 있다.
(제4 실시 형태)
제1 실시 형태에서는, 기계 학습을 이용하여 제2 촬상부(7)에서 촬상된 화상 데이터를 보정하는 예를 나타냈지만, 반드시 기계 학습을 이용하지 않아도, 신호 처리부(33)에서 제2 촬상부(7)에서 촬상된 화상 데이터를 보정할 수 있다.
도 11은 신호 처리부(33)의 내부 구성의 제1 예를 나타내는 블록도이다. 도 11의 신호 처리부(33)는, 클램프부(33a)와, 컬러 출력부(33b)와, 결함 보정부(33c)와, 리니어 매트릭스부(33d)와, 감마 보정부(33e)와, 휘도 크로마 신호 생성부(33f)와, 노이즈 리덕션부(33g)와, 에지 강조부(33h)를 가진다.
클램프부(33a)는, 흑색의 레벨을 규정하는 처리를 행한다. 보다 구체적으로는, 클램프부(33a)는, 디지털 화소 데이터로부터 흑색 레벨 데이터를 감산하는 처리를 행한다. 컬러 출력부(33b)는, 예를 들면 RGB의 색별 화소 데이터를 출력한다. 결함 보정부(33c)는, 어떠한 이유로 올바르게 판독할 수 없었던 특정 화소의 촬상 데이터를 주위의 화소의 촬상 데이터로부터 보정하는 처리를 행한다. 리니어 매트릭스부(33d)는, RGB 등의 색 정보에 대한 행렬 연산을 행함으로써, 보다 올바른 색재현을 행한다. 감마 보정부(33e)는, 표시부(3)의 표시 특성에 맞추어, 시인성이 뛰어난 표시가 가능하게 되도록 감마 보정을 행한다. 예를 들면, 감마 보정부(33e)는, 구배를 변화시키면서 10비트로부터 8비트로의 변환을 행한다. 휘도 크로마 신호 생성부(33f)는, 감마 보정부(33e)의 출력 데이터에 기초하여, 표시부(3)에 표시시키기 위한 휘도 크로마 신호를 생성한다. 노이즈 리덕션부(33g)는, 휘도 크로마 신호에 포함되는 노이즈를 삭감하는 처리를 행한다. 에지 강조부(33h)는, 휘도 크로마 신호에 기초하여, 피사체 화상의 에지를 강조하는 처리를 행한다. 노이즈 리덕션부(33g)에 의한 노이즈 리덕션 처리와, 에지 강조부(33h)에 의한 에지 강조 처리는, 소정의 조건을 만족하는 경우에만 행해져도 된다. 출력부(35)는, 노이즈 리덕션 처리를 행한 후의 휘도 크로마 신호를 출력한다.
노이즈 리덕션부(33g)는, 제1 촬상부(6)에서 촬상된 화상 데이터에 기초하여, 휘도 변화가 적은 화소 영역인지 여부를 판별하고, 휘도 변화가 적은 화소 영역에 대해서는 노이즈 제거 비율을 높인다. 보다 구체적으로는, 노이즈 리덕션부(33g)는, 제2 촬상부(7)에서 촬상된 화상 데이터 중 휘도 변화가 소정의 기준값 이하인 화소 영역의 노이즈 제거 정도를, 화상 데이터 중 휘도 변화가 기준값보다 큰 화소 영역의 노이즈 제거 정도보다 높게 한다.
이에 의해, 제2 촬상부(7)에서 촬상된 화상 데이터의 데이터량을 삭감할 수 있다. 한편, 휘도 변화가 큰 화소 영역에 대해서는, 노이즈 제거 비율을 약하게 한다. 이렇게 하는 이유는, 노이즈 제거 비율을 높일수록, 에지가 선명하지 않게 되어, 해상도도 저하되기 때문이며, 에지를 선명하게 하여 해상도를 향상시키기 위해서는, 노이즈 제거 비율을 약하게 하는 것이 바람직하다. 단, 전화소에 대해 노이즈 제거 비율을 약하게 하면, 화상 데이터의 데이터량이 방대해지기 때문에, 에지 부분 등의 한정된 화소 영역만, 노이즈 제거 비율을 약하게 하는 것이 바람직하다.
도 12는 신호 처리부(33)의 내부 구성의 제2 예를 나타내는 블록도이다. 도 11의 신호 처리부(33)는, 도 11의 신호 처리부(33)에, 플레어 추출부(33i)와 플레어 보정부(33j)를 설치한 것이다.
플레어 추출부(33i)는, 제1 촬상부(6)에서 촬상된 화상 데이터의 화소값과, 제2 촬상부(7)에서 촬상된 화상 데이터의 화소값을 비교함으로써, 플레어 또는 회절에 의한 영향 정도를 추출한다. 예를 들면, 제1 촬상부(6)에서 촬상된 화상 데이터의 평균 화소값과, 제2 촬상부(7)에서 촬상된 화상 데이터의 평균 화소값의 차이에 의해, 플레어 또는 회절에 의한 영향 정도를 추출해도 된다.
플레어 보정부(33j)는, 제2 촬상부(7)에서 촬상된 화상 데이터로부터, 플레어 추출부(33i)에서 추출된 플레어 또는 회절에 의한 영향 정도를 빼는 처리를 행한다. 이에 의해, 제2 촬상부(7)에서 촬상된 화상 데이터가, 플레어나 회절에 의한 영향을 받기 어려워진다.
이와 같이, 제4 실시 형태에서는, 신호 처리부(33)의 내부 처리에서, 제1 촬상부(6)에서 촬상된 화상 데이터를 참조함으로써, 제2 촬상부(7)에서 촬상된 화상 데이터의 감도 및 해상도를 보정할 수 있고, 또한, 플레어 또는 회절에 의한 영향도 억제할 수 있다. 또한, 불필요한 보정을 회피함으로써, 신호 처리부(33)의 처리 부하를 경감하여, 화상 데이터의 데이터량을 삭감할 수 있다.
(제5 실시 형태)
제1∼제4 실시 형태에서는, 적외광 파장 성분의 광을 수광하는 제1 촬상부(6)를 설치하는 예를 나타냈지만, 이에 더하여, 적외광 파장 성분의 광을 발광하는 발광부를 설치해도 된다.
도 13은 제5 실시 형태에 의한 전자 기기(2b)의 개략 구성을 나타내는 블록도이다. 도 13의 전자 기기(2b)는, 도 4의 전자 기기(2)의 구성에 더하여, 발광부(25)와 발광 제어부(26)를 구비하고 있다. 발광부(25)는, 적외광 파장 대역의 광을 발광한다. 발광부(25)는, 전자 기기(2b)의 표시면측에 설치된다. 예를 들면, 발광부(25)는, 전자 기기(2b)의 표시면의 베젤(3b) 부분에 설치되어도 된다.
발광 제어부(26)는, 제1 촬상부(6)가 화상 데이터를 촬상할 때에 발광부(25)가 발광한 광으로 피사체가 조사되도록, 발광부(25)의 발광 타이밍을 제어한다. 적외광 파장 대역의 광은, 사람의 눈으로는 인식할 수 없기 때문에, 발광부(25)의 광이 사람에게 조사되어도, 그 사람은 눈부심을 느낄 염려는 없다. 단, 사람의 눈을 아프게 하지 않는 광 강도 및 연속 조사 시간으로 조사할 필요가 있다.
한편, 본 실시형태에서는, 제1 촬상부(6)와 제2 촬상부(7)는, 동일 타이밍에서 동일한 피사체의 촬상을 행하는 것을 상정하고 있다. 제1 촬상부(6)는, 적외광 파장 대역의 광을 촬상하기 때문에, 발광부(25)로부터의 광으로 피사체를 조명하고 있는 상태에서, 그 피사체를 제1 촬상부(6)에서 촬상하면, 제1 촬상부(6)에서 수광되는 화상 데이터의 화소값을 크게 할 수 있어, 감도 향상을 도모할 수 있다.
도 14는 제5 실시 형태에 의한 전자 기기(2b)가 제1 및 제2 카메라 모듈(4, 5)로 촬상을 행할 때의 처리 동작을 나타내는 플로우차트이다. 먼저, 제1 촬상부(6) 및 제2 촬상부(7)의 촬상 타이밍인지 여부를 판정한다(스텝 S41). 제1 촬상부(6) 및 제2 촬상부(7)에 의한 촬상은, 표시부(3)에 화상이 표시되고 있지 않은 기간, 예를 들면 표시부(3)의 수직 블랭킹 기간 내에 행해진다.
촬상 타이밍이 될 때까지 스텝 S41에서 대기하고, 촬상 타이밍이 되면, 발광부(25)에 의한 적외광 대역의 광(IR 광)의 발광을 시작한다(스텝 S42). 예를 들면, 전자 기기(2b)가 스마트폰인 경우, 사용자는 제1 및 제2 카메라 모듈(4, 5)의 초점을 피사체에 맞추기 위해서, 발광부(25)로부터 발광된 광의 진행 방향이 제1 및 제2 카메라 모듈(4, 5)의 광축 방향에 일치하도록 해 두면, 사용자가 특별히 의식하지 않아도, 발광부(25)로부터의 광이 피사체를 조명하게 된다.
발광부(25)가 발광을 행하고 있는 도중에 제1 촬상부(6)에서 촬상한다(스텝 S43). 이에 의해, 주위가 어두운 상황 하에서 촬영하는 경우라도, 제1 촬상부(6)에서 촬상되는 화상 데이터의 화소값을 크게 할 수 있다. 제1 촬상부(6) 및 제2 촬상부(7)에 의한 촬상이 종료되면, 발광부(25)는 발광을 정지한다(스텝 S44). 그 후, 제1 실시 형태 등과 마찬가지로, 제1 촬상부(6)에서 촬상된 화상 데이터에 기초하여, 제2 촬상부(7)에서 촬상된 화상 데이터가 보정된다(스텝 S45).
이와 같이, 제5 실시 형태에서는, 발광부(25)에서 적외광을 발광한 상태에서, 제1 촬상부(6)에서 적외광 파장 대역의 광을 수광하기 때문에, 제1 촬상부(6)에서 촬상된 화상 데이터의 화소값을 크게 할 수 있고, 감도를 높게 할 수 있어, 주위가 어두운 상황 하에서도, 제1 촬상부(6)에서 촬상된 화상 데이터에 기초하여 제2 촬상부(7)에서 촬상된 화상 데이터를 적절히 보정할 수 있다.
(제6 실시 형태)
제6 실시 형태는, 제5 실시 형태의 일 변형예이며, 발광부(25)가 발광하는 광의 발광 파장 대역을 전환할 수 있도록 한 것이다.
제6 실시 형태에 의한 전자 기기(2b)는, 도 13과 마찬가지의 블록 구성을 구비하고 있지만, 발광부(25)의 기능이 다르다. 제6 실시 형태에 의한 발광부(25)는, 적외광 파장 대역 내의 각각 다른 발광 파장 대역의 광을 발광하는 복수의 광원을 가진다. 발광 제어부(26)는, 제1 촬상부(6)가 촬상하는 동안에, 복수의 광원에 의한 발광을 순차적으로 전환 제어한다. 제1 촬상부(6)는, 각각 다른 발광 파장 대역에서 촬상된 복수의 화상 데이터를 출력한다.
도 15는 제6 실시 형태에 의한 전자 기기(2b)가 제1 및 제2 카메라 모듈(4, 5)로 촬상을 행할 때의 처리 동작을 나타내는 플로우차트이다. 먼저, 제1 촬상부(6) 및 제2 촬상부(7)의 촬상 타이밍인지 여부를 판정한다(스텝 S51). 촬상 타이밍이 되면, 발광부(25)는, 발광 제어부(26)로부터의 지시에 따라, 복수의 발광 파장 대역 중 하나를 선택하고(스텝 S52), 선택한 발광 파장 대역의 적외광을 발광한다(스텝 S53). 그리고, 제1 및 제2 촬상부(6, 7)에서의 촬상을 행하고(스텝 S54), 그 후에 발광부(25)의 발광을 정지한다(스텝 S55).
다음으로, 발광부(25)가 발광 가능한 광 중, 아직 선택하지 않은 발광 파장 대역의 적외광이 있는지 여부를 판정한다(스텝 S56). 아직 선택하지 않은 적외광이 있는 경우에는, 스텝 S52 이후의 처리를 반복한다. 스텝 S56에서, 발광부(25)가 발광 가능한 광의 전부에 대해 스텝 S52∼S55의 처리를 행했다고 판정되면, 제1 촬상부(6)에서 촬상된 복수의 적외광 파장 대역의 화상 데이터에 기초하여, 제2 촬상부(7)에서 촬상된 화상 데이터를 보정한다(스텝 S57).
각각 다른 복수의 적외광 파장 대역으로 조명한 상태에서 제1 촬상부(6)가 촬상을 행하면, 촬상 화상에 촬영되는 정보가 조금씩 변화할 가능성이 있어, 이들을 종합적으로 고려하여, 제2 촬상부(7)에서 촬상된 화상 데이터를 보정함으로써, 제2 촬상부(7)에서 촬상된 화상 데이터를 보다 적절히 보정할 수 있다.
이와 같이, 제6 실시 형태에서는, 발광부(25)가 적외광 파장 대역 내의 각각 다른 발광 파장 대역의 광을 발광하는 복수의 광원을 가지기 때문에, 이들 광원이 순차적으로 광을 발광한 상태에서 제1 촬상부(6)에서 촬상을 행함으로써, 제1 촬상부(6)에서 촬상된 복수의 촬상 화상을 얻을 수 있다. 이들 복수의 촬상 화상에 기초하여 제2 촬상부(7)에서 촬상된 화상 데이터를 보정함으로써, 보다 적절한 보정을 행할 수 있다.
(제7 실시 형태)
상술한 제1∼제6 실시 형태에서는, 전자 기기(2, 2a, 2b)의 표시면을 통과한 광을 제1 및 제2 카메라 모듈(4, 5)로 촬상하는 예를 설명했지만, 제1 및 제2 카메라 모듈(4, 5)이 표시면의 베젤(3b) 부분에 배치되어 있는 경우나, 전자 기기(2, 2a, 2b)의 이면측에 배치되어 있는 경우, 외부로부터의 광이 직접 제1 및 제2 카메라 모듈(4, 5)에 입사되기 때문에, 피사체광이 표시부(3)를 통과하는 것에 의한 광량의 로스나, 플레어 또는 회절에 의한 영향은 일어나지 않는다. 그러나, 주위가 어두운 상황하에서 제2 촬상부(7)에서 촬상을 행하는 경우, 촬상 화상의 감도나 해상도가 저하되는 경우가 있다. 또한, 강한 태양광을 받고 있는 상황하에서 제2 촬상부(7)에서 촬상을 행하는 경우, 촬상 화상이 플레어나 회절의 영향을 받기 쉬워진다. 이러한 경우에, 적외광 파장 대역의 광을 수광하는 제1 촬상부(6)에서 촬상된 화상 데이터에 기초하여, 제2 촬상부(7)에서 촬상된 화상 데이터를 보정함으로써, 감도나 해상도를 향상시킬 수 있거나, 플레어나 회절에 의한 영향을 억제할 수 있다. 따라서, 제1∼제6 실시 형태에 의한 전자 기기(2, 2a, 2b)는, 제1 및 제2 카메라 모듈(4, 5)이 표시면의 베젤(3b) 부분에 배치되어 있는 경우나, 전자 기기(2, 2a, 2b)의 이면측에 배치되어 있는 경우에도, 적용 가능하다.
(제8 실시 형태)
상술한 제1∼제7 실시 형태에서 설명한 구성을 구비한 전자 기기(2)의 구체적인 후보로서는, 다양한 것을 생각할 수 있다. 예를 들면, 도 16은 제1∼제7 실시형태의 전자 기기(2)를 캡슐 내시경(50)에 적용한 경우의 평면도이다. 도 16의 캡슐 내시경(50)은, 예를 들면 양단면이 반구 형상이고 중앙부가 원통 형상인 하우징(51) 내에, 체강(體腔) 내의 화상을 촬영하기 위한 카메라(초소형 카메라)(52), 카메라(52)에 의해 촬영된 화상 데이터를 기록하기 위한 메모리(53), 및, 캡슐 내시경(50)이 피험자의 체외로 배출된 후에, 기록된 화상 데이터를 안테나(54)를 통해 외부에 송신하기 위한 무선 송신기(55)를 구비하고 있다.
또한, 하우징(51) 내에는, CPU(Central Processing Unit)(56) 및 코일(자력·전류 변환 코일)(57)이 설치되어 있다. CPU(56)는, 카메라(52)에 의한 촬영, 및 메모리(53)에의 데이터 축적 동작을 제어하는 동시에, 메모리(53)로부터 무선 송신기(55)에 의한 하우징(51) 밖의 데이터 수신 장치(도시하지 않음)로의 데이터 송신을 제어한다. 코일(57)은, 카메라(52), 메모리(53), 무선 송신기(55), 안테나(54) 및 후술하는 광원(52b)에의 전력 공급을 행한다.
또한, 하우징(51)에는, 캡슐 내시경(50)을 데이터 수신 장치에 세트했을 때, 이를 검지하기 위한 자기(리드) 스위치(58)가 설치되어 있다. CPU(56)는, 이 리드 스위치(58)가 데이터 수신 장치에의 세트를 검지하고, 데이터의 송신이 가능하게 되는 시점에서, 코일(57)로부터의 무선 송신기(55)에의 전력 공급을 행한다.
카메라(52)는, 예를 들면 체강 내의 화상을 촬영하기 위한 대물 광학계를 포함하는 촬상 소자(52a), 체강 내를 조명하는 복수의 광원(52b)을 가지고 있다. 구체적으로는, 카메라(52)는, 광원(52b)으로서, 예를 들면 LED(Light Emitting Diode)를 구비한 CMOS(Complementary Metal Oxide Semiconductor) 센서나 CCD(Charge Coupled Device) 등에 의해 구성된다.
(본 개시에 의한 촬상 장치(1) 및 전자 기기(2)의 적용예)
(제1 적용예)
본 개시에 의한 촬상 장치(1) 및 전자 기기(2)는, 다양한 용도로 사용할 수 있다. 도 16a 및 도 16b는 본 개시에 의한 촬상 장치(1)를 구비한 전자 기기(2)의 제1 적용예인 차량(100)의 내부 구성을 나타내는 도면이다. 도 16a는 차량(100)의 후방으로부터 전방에 걸친 차량(100)의 내부 모습을 나타내는 도면, 도 16b는 차량(100)의 비스듬히 후방으로부터 비스듬히 전방에 걸친 차량(100)의 내부 모습을 나타내는 도면이다.
도 16a 및 도 16b의 차량(100)은, 센터 디스플레이(101)와, 콘솔 디스플레이(102)와, 헤드업 디스플레이(103)와, 디지털 후방 미러(104)와, 스티어링휠 디스플레이(105)와, 리어 엔터테인먼트 디스플레이(106)를 가진다.
센터 디스플레이(101)는, 대쉬보드(107) 상의 운전석(108) 및 조수석(109)에 대향하는 장소에 배치되어 있다. 도 16에서는, 운전석(108)측으로부터 조수석(109)측까지 연장되는 가로로 긴 형상의 센터 디스플레이(101)의 예를 나타내지만, 센터 디스플레이(101)의 화면 사이즈나 배치 장소는 임의이다. 센터 디스플레이(101)에는, 다양한 센서(5)에 의해 검지된 정보를 표시가능하다. 구체적인 일 예로서, 센터 디스플레이(101)에는, 이미지 센서에 의해 촬영한 촬영 화상, ToF 센서(5)로 계측된 차량 전방이나 측방의 장애물까지의 거리 화상, 적외선 센서(5)에 의해 검출된 승객의 체온 등을 표시가능하다. 센터 디스플레이(101)는, 예를 들면, 안전 관련 정보, 조작 관련 정보, 라이프 로그, 건강 관련 정보, 인증/식별 관련 정보, 및 엔터테인먼트 관련 정보의 적어도 하나를 표시하기 위하여 사용할 수 있다.
안전 관련 정보는, 깜박 졸음 검지, 한눈팔기 검지, 동승하고 있는 어린이의 장난 검지, 안전벨트 장착 유무, 탑승자의 두고 내림의 검지 등의 정보이며, 예를 들면 센터 디스플레이(101)의 이면측에 겹쳐서 배치된 센서(5)에 의해 검지되는 정보이다. 조작 관련 정보는, 센서(5)를 사용하여 탑승자의 조작에 관한 제스처를 검지한다. 검지되는 제스처는, 차량(100) 내의 다양한 설비의 조작을 포함하고 있어도 된다. 예를 들면, 공조 설비, 네비게이션 장치, AV 장치, 조명 장치 등의 조작을 검지한다. 라이프 로그는, 탑승자 전원의 라이프 로그를 포함한다. 예를 들면, 라이프 로그는, 승차 중인 각 탑승자의 행동 기록을 포함한다. 라이프 로그를 취득 및 보존함으로써, 사고시에 탑승자가 어떤 상태였는지를 확인할 수 있다. 건강 관련 정보는, 온도 센서(5)를 사용하여 탑승자의 체온을 검지하고, 검지한 체온에 기초하여 탑승자의 건강 상태를 추측한다. 또는, 이미지 센서를 사용하여 탑승자의 얼굴을 촬상하고, 촬상한 얼굴의 표정으로부터 탑승자의 건강 상태를 추측해도 된다. 나아가, 탑승자에 대해 자동 음성으로 대화를 행하여, 탑승자의 회답 내용에 기초하여 탑승자의 건강 상태를 추측해도 된다. 인증/식별 관련 정보는, 센서(5)를 사용하여 얼굴 인증을 행하는 키리스 엔트리 기능이나, 얼굴 식별로 시트 높이나 위치의 자동 조정 기능 등을 포함한다. 엔터테인먼트 관련 정보는, 센서(5)를 사용하여 탑승자에 의한 AV 장치의 조작 정보를 검출하는 기능이나, 센서(5)에 의해 탑승자의 얼굴을 인식하여, 탑승자에 적합한 컨텐츠를 AV 장치로 제공하는 기능 등을 포함한다.
콘솔 디스플레이(102)는, 예를 들면 라이프 로그 정보의 표시에 사용할 수 있다. 콘솔 디스플레이(102)는, 운전석(108)과 조수석(109)의 사이의 센터 콘솔(110)의 시프트 레버(111)의 근처에 배치되어 있다. 콘솔 디스플레이(102)에도, 다양한 센서(5)에 의해 검지된 정보를 표시 가능하다. 또한, 콘솔 디스플레이(102)에는, 이미지 센서에 의해 촬상된 차량 주변의 화상을 표시해도 되고, 차량 주변의 장애물까지의 거리 화상을 표시해도 된다.
헤드업 디스플레이(103)는, 운전석(108)의 전방의 앞유리(112)의 안쪽에 가상적으로 표시된다. 헤드업 디스플레이(103)는, 예를 들면, 안전 관련 정보, 조작 관련 정보, 라이프 로그, 건강 관련 정보, 인증/식별 관련 정보, 및 엔터테인먼트 관련 정보의 적어도 하나를 표시하기 위하여 사용할 수 있다. 헤드업 디스플레이(103)는, 운전석(108)의 정면에 가상적으로 배치되는 경우가 많기 때문에, 차량(100)의 속도나 연료(배터리) 잔량 등의 차량(100)의 조작에 직접 관련되는 정보를 표시하는데 적합하다.
디지털 후방 미러(104)는, 차량(100)의 후방을 표시할 수 있을 뿐만 아니라, 후부 좌석의 탑승자의 모습도 표시할 수 있기 때문에, 디지털 후방 미러(104)의 이면측에 겹쳐서 센서(5)를 배치함으로써, 예를 들면 라이프 로그 정보의 표시에 사용할 수 있다.
스티어링휠 디스플레이(105)는, 차량(100)의 핸들(113)의 중심 부근에 배치되어 있다. 스티어링휠 디스플레이(105)는, 예를 들면, 안전 관련 정보, 조작 관련 정보, 라이프 로그, 건강 관련 정보, 인증/식별 관련 정보, 및 엔터테인먼트 관련 정보의 적어도 하나를 표시하기 위하여 사용할 수 있다. 특히, 스티어링휠 디스플레이(105)는, 운전자의 손 근처에 있기 때문에, 운전자의 체온 등의 라이프 로그 정보를 표시하거나, AV 장치나 공조 설비 등의 조작에 관한 정보 등을 표시하는데 적합하다.
리어 엔터테인먼트 디스플레이(106)는, 운전석(108)이나 조수석(109)의 배면측에 장착되어 있으며, 후부 좌석의 탑승자가 시청하기 위한 것이다. 리어 엔터테인먼트 디스플레이(106)는, 예를 들면, 안전 관련 정보, 조작 관련 정보, 라이프 로그, 건강 관련 정보, 인증/식별 관련 정보, 및 엔터테인먼트 관련 정보의 적어도 하나를 표시하기 위하여 사용할 수 있다. 특히, 리어 엔터테인먼트 디스플레이(106)는, 후부 좌석의 탑승자 눈앞에 있기 때문에, 후부 좌석의 탑승자에 관련되는 정보가 표시된다. 예를 들면, AV 장치나 공조 설비의 조작에 관한 정보를 표시하거나, 후부 좌석의 탑승자의 체온 등을 온도 센서(5)에 의해 계측한 결과를 표시해도 된다.
상술한 바와 같이, 표시부(3)의 이면측에 겹쳐서 센서(5)를 배치함으로써, 주위에 존재하는 물체까지의 거리를 계측할 수 있다. 광학적인 거리 계측의 수법에는, 크게 나누어, 수동형과 능동형이 있다. 수동형은, 센서(5)로부터 물체에 광을 투광하지 않고, 물체로부터의 광을 수광하여 거리 계측을 행하는 것이다. 수동형에는, 렌즈 초점법, 스테레오법, 및 단안시법 등이 있다. 능동형은, 물체에 광을 투광하여, 물체로부터의 반사광을 센서(5)에 의해 수광하여 거리 계측을 행하는 것이다. 능동형에는, 광 레이더 방식, 액티브 스테레오 방식, 조도차 스테레오법, 모아레 토포그래피법, 간섭법 등이 있다. 본 개시에 의한 촬상 장치(1)는, 이들 어느 방식의 거리 계측에도 적용 가능하다. 본 개시에 의한 표시부(3)의 이면측에 겹쳐서 배치되는 센서(5)를 사용함으로써, 상술한 수동형 또는 능동형의 거리 계측을 행할 수 있다.
(제2 적용예)
본 개시에 의한 촬상 장치(1)는, 차량에서 사용되는 다양한 디스플레이에 적용될 뿐만 아니라, 다양한 전자 기기(2)에 탑재되는 디스플레이에도 적용 가능하다.
도 17a는 전자 기기(2)의 제2 적용예인 디지털 카메라(120)의 정면도, 도 17b는 디지털 카메라(120)의 배면도이다. 도 17a 및 도 17b의 디지털 카메라(120)는, 렌즈(121)를 교환 가능한 SLR 카메라의 예를 나타내고 있지만, 렌즈(121)를 교환할 수 없는 카메라에도 적용 가능하다.
도 17a 및 도 17b의 카메라는, 촬영자가 카메라 보디(122)의 그립(123)을 파지한 상태에서 전자 뷰 파인더(124)를 들여다보며 구도를 정하고, 초점 조절을 행한 상태에서 셔터(125)를 누르면, 카메라 내의 메모리에 촬영 데이터가 보존된다. 카메라의 배면측에는, 도 17b에 나타낸 바와 같이, 촬영 데이터 등이나 라이브 화상 등을 표시하는 모니터 화면(126)과, 전자 뷰 파인더(124)가 설치되어 있다. 또한, 카메라의 상면에는, 셔터 속도나 노출 값 등의 설정 정보를 표시하는 서브 화면이 설치되는 경우도 있다.
카메라에 사용되는 모니터 화면(126), 전자 뷰 파인더(124), 서브 화면 등의 이면측에 겹쳐서 센서(5)를 배치함으로써, 본 개시에 의한 촬상 장치(1)로서 사용할 수 있다.
(제3 적용예)
본 개시에 의한 촬상 장치(1) 및 전자 기기(2)는, 헤드마운트 디스플레이 (이하, HMD라고 부른다)에도 적용 가능하다. HMD는, VR(Virtual Reality), AR(Augmented Reality), MR(Mixed Reality), 또는 SR(Substitutional Reality) 등에 이용될 수 있다.
도 18a는 전자 기기(2)의 제3 적용예인 HMD(130)의 외관도이다. 도 18a의 HMD(130)는, 사람의 눈을 덮도록 장착하기 위한 장착 부재(131)를 가진다. 이 장착 부재(131)는 예를 들면 사람의 귀에 걸어서 고정된다. HMD(130)의 내측에는 표시 장치(132)가 설치되어 있고, HMD(130)의 장착자는 이 표시 장치(132)에 의해 입체 영상 등을 시인할 수 있다. HMD(130)는 예를 들면 무선 통신 기능과 가속도 센서 등을 구비하고 있고, 장착자의 자세나 제스처 등에 따라, 표시 장치(132)에 표시되는 입체 영상 등을 전환할 수 있다.
또한, HMD(130)에 카메라를 설치하여, 장착자의 주위의 화상을 촬영하고, 카메라의 촬영 화상과 컴퓨터로 생성한 화상을 합성한 화상을 표시 장치(132)로 표시해도 된다. 예를 들면, HMD(130)의 장착자가 시인하는 표시 장치(132)의 이면측에 겹쳐서 카메라를 배치하고, 이 카메라로 장착자의 눈 주변을 촬영하고, 그 촬영 화상을 HMD(130)의 외표면에 설치한 별도의 디스플레이에 표시함으로써, 장착자의 주위에 있는 사람은, 장착자의 얼굴의 표정이나 눈의 움직임을 실시간으로 파악 가능하게 된다.
한편, HMD(130)에는 다양한 타입을 생각할 수 있다. 예를 들면, 도 18b와 같이 , 본 개시에 의한 촬상 장치(1) 및 전자 기기(2)는, 안경(134)에 다양한 정보를 비추는 스마트 글라스(130a)에도 적용 가능하다. 도 18b의 스마트 글라스(130a)는, 본체부(135)와, 아암부(136)와, 경통부(137)를 가진다. 본체부(135)는 아암부(136)에 접속되어 있다. 본체부(135)는, 안경(134)에 착탈 가능하게 되어 있다. 본체부(135)는, 스마트 글라스(130a)의 동작을 제어하기 위한 제어 기판이나 표시부를 내장하고 있다. 본체부(135)와 경통은, 아암부(136)를 통해 서로 연결되어 있다. 경통부(137)는, 본체부(135)로부터 아암부(136)를 통해 출사되는 화상광을, 안경(134)의 렌즈(138)측으로 출사한다. 이 화상광은, 렌즈(138)를 통해 사람의 눈에 들어간다. 도 18b의 스마트 글라스(130a)의 장착자는, 통상의 안경과 마찬가지로, 주위의 상황뿐만 아니라, 경통부(137)로부터 출사된 다양한 정보를 합쳐서 시인할 수 있다.
(제4 적용예)
본 개시에 의한 촬상 장치(1) 및 전자 기기(2)는, 텔레비전 장치(이하, TV)에도 적용 가능하다. 최근의 TV는, 소형화의 관점 및 의장 디자인성의 관점에서, 테두리를 가능한 한 작게 하는 경향이 있다. 이 때문에, 시청자를 촬영하는 카메라를 TV에 설치하는 경우에는, TV의 표시 패널(2)의 이면측에 겹쳐서 배치하는 것이 바람직하다.
도 19는 전자 기기(2)의 제4 적용예인 TV(140)의 외관도이다. 도 19의 TV(140)는, 테두리가 극소화되어 있고, 정면측의 대략 전역이 표시 에리어가 되어 있다. TV(140)에는 시청자를 촬영하기 위한 카메라 등의 센서(5)가 내장되어 있다. 도 19의 센서(5)는, 표시 패널(2) 내의 일부(예를 들면 파선 위치)의 이면측에 배치되어 있다. 센서(5)는, 이미지 센서 모듈이어도 되고, 얼굴 인식용의 센서나 거리 계측용의 센서, 온도 센서 등, 다양한 센서가 적용 가능하고, 복수 종류의 센서를 TV(140)의 표시 패널(2)의 이면측에 배치해도 된다.
상술한 바와 같이, 본 개시의 촬상 장치(1) 및 전자 기기(2)에 의하면, 표시 패널(2)의 이면측에 겹쳐서 이미지 센서 모듈(9)을 배치할 수 있기 때문에, 테두리에 카메라 등을 배치할 필요가 없어져, TV(140)를 소형화할 수 있고, 또한 테두리에 의해 의장 디자인이 손상될 우려도 없어진다.
(제5 적용예)
본 개시에 의한 촬상 장치(1) 및 전자 기기(2)는, 스마트폰이나 휴대 전화에도 적용 가능하다. 도 20은 전자 기기(2)의 제5 적용예인 스마트폰(150)의 외관도이다. 도 20의 예에서는, 전자 기기(2)의 외형 사이즈의 근처까지 표시면(2z)이 확대되어 있고, 표시면(2z)의 주위에 있는 베젤(2y)의 폭을 수mm 이하로 하고 있다. 통상, 베젤(2y)에는, 프론트 카메라가 탑재되는 경우가 많지만, 도 20에서는, 파선으로 나타낸 바와 같이, 표시면(2z)의 예를 들면 대략 중앙부의 이면측에 프론트 카메라로서 기능하는 이미지 센서 모듈(9)을 배치하고 있다. 이와 같이, 프론트 카메라를 표시면(2z)의 이면측에 설치함으로써, 베젤(2y)에 프론트 카메라를 배치할 필요가 없게 되어, 베젤(2y)의 폭을 좁힐 수 있다.
한편, 본 기술은 이하와 같은 구성을 취할 수 있다.
(1) 표시부와,
상기 표시부의 표시면과는 반대측에 배치되고, 상기 표시부를 통과한 적외광 파장 대역의 광을 촬상 가능한 제1 촬상부와,
상기 표시부의 표시면과는 반대측에 배치되고, 상기 표시부를 통과한 가시광 파장 대역의 광을 촬상 가능한 제2 촬상부와,
상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터를 보정하는 보정부를 구비하는, 전자 기기.
(2) 상기 보정부는, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터의 감도를 보정하는, (1)에 기재된 전자 기기.
(3) 상기 제1 촬상부에서 촬상된 화상 데이터의 감도와, 상기 제2 촬상부에서 촬상된 화상 데이터의 감도의 상관 관계를 학습하는 학습부를 구비하고,
상기 보정부는, 상기 학습부에서의 학습 결과를 참조하여, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터의 감도를 보정하는, (2)에 기재된 전자 기기.
(4) 상기 보정부는, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터의 해상도를 보정하는, (1)에 기재된 전자 기기.
(5) 상기 제1 촬상부에서 촬상된 화상 데이터의 해상도와, 상기 제2 촬상부에서 촬상된 화상 데이터의 해상도의 상관 관계를 학습하는 학습부를 구비하고,
상기 보정부는, 상기 학습부에서의 학습 결과를 참조하여, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터의 해상도를 보정하는, (4)에 기재된 전자 기기.
(6) 상기 보정부는, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터에 포함되는 플레어 성분 및 회절광 성분의 적어도 일방을 보정하는, (1)에 기재된 전자 기기.
(7) 상기 제1 촬상부에서 촬상된 화상 데이터에 포함되는 플레어 성분 및 회절광 성분의 적어도 일방과, 상기 제2 촬상부에서 촬상된 화상 데이터에 포함되는 플레어 성분 및 회절광 성분의 적어도 일방의 상관 관계를 학습하는 학습부를 구비하고,
상기 보정부는, 상기 학습부에서의 학습 결과를 참조하여, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터에 포함되는 플레어 성분 및 회절광 성분의 적어도 일방을 보정하는, (6)에 기재된 전자 기기.
(8) 상기 제2 촬상부에서 촬상된 화상 데이터의 감도, 해상도, 플레어 성분 및 회절광 성분의 적어도 하나가 소정의 제1 기준을 만족하는지 여부를 판정하는 기준 판정부와,
상기 기준 판정부에서 상기 제1 기준을 만족하지 않는다고 판정되면, 상기 제1 촬상부에 의한 촬상을 개시시키는 촬상 시작 지시부와,
상기 제1 촬상부에서 촬상된 화상 데이터와 상기 제2 촬상부에서 촬상된 화상 데이터에서, 감도, 해상도, 플레어 성분, 및 회절광 성분의 적어도 하나를 비교한 결과에 기초하여, 상기 보정부에 의한 보정을 행할지 여부와, 상기 보정부에 의한 보정을 행할 때에 보정의 기준이 되는 화상 데이터의 종류를 결정하는 보정 절차 결정부를 구비하는, (7)에 기재된 전자 기기.
(9) 상기 학습부는, 상기 보정 절차 결정부에서, 보정의 기준이 되는 화상 데이터의 종류가 결정되면, 결정된 화상 데이터의 감도, 해상도, 플레어 성분 및 회절광 성분의 적어도 하나와, 상기 제2 촬상부에서 촬상된 화상 데이터의 감도, 해상도, 플레어 성분 및 회절광 성분의 적어도 하나의 상관 관계를 학습하는, (8)에 기재된 전자 기기.
(10) 물체의 형상 및 색의 적어도 일방을 검출하는 센서와,
상기 학습부에 의한 학습의 신뢰도를 추정하는 신뢰도 추정부와,
상기 신뢰도 추정부에서 추정된 신뢰도가 소정의 제2 기준 이하인 경우, 상기 센서의 검출 데이터에 기초하여 상기 물체를 식별할 수 있는지 여부를 판정하는 물체 식별 판정부와,
상기 물체 식별 판정부에서 물체를 식별할 수 있다고 판정되었을 경우에, 상기 센서에서 식별된 물체의 색을 특정할 수 있는지 여부를 판정하는 색 특정 판정부를 구비하고,
상기 보정부는, 상기 색 특정 판정부에서 상기 물체의 색을 특정할 수 있다고 판정되었을 경우, 상기 특정된 색에 가까워지도록, 상기 제2 촬상부에서 촬상된 화상 데이터를 보정하는, (7) 내지 (9) 중 어느 한 항에 기재된 전자 기기.
(11) 상기 보정부는, 상기 제2 촬상부에서 촬상된 화상 데이터 중 휘도 변화가 소정의 기준값 이하인 화소 영역의 노이즈 제거 정도를, 상기 화상 데이터 중 휘도 변화가 상기 기준값보다 큰 화소 영역의 노이즈 제거 정도보다 높게 하는, (1) 내지 (10) 중 어느 한 항에 기재된 전자 기기.
(12) 적외광 파장 대역의 광을 발광하는 발광부와,
상기 제1 촬상부에서 화상 데이터를 촬상할 때에 상기 발광부가 발광한 광으로 피사체가 조명되도록 상기 발광부의 발광 타이밍을 제어하는 발광 제어부를 구비하는, (1) 내지 (11) 중 어느 한 항에 기재된 전자 기기.
(13) 상기 발광부는, 상기 적외광 파장 대역 내의 각각 다른 발광 파장 대역의 광을 발광하는 복수의 광원을 가지고,
상기 발광 제어부는, 상기 제1 촬상부가 촬상하는 동안에, 상기 복수의 광원에 의한 발광을 순차적으로 전환 제어하고,
상기 제1 촬상부는, 각각 다른 발광 광 파장 대역에서 촬상된 복수의 화상 데이터를 출력하고,
상기 보정부는, 상기 복수의 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터를 보정하는, (12)에 기재된 전자 기기.
(14) 상기 발광부는, 상기 표시부의 표시면측에 배치되는, (12) 또는 (13)에 기재된 전자 기기.
(15) 상기 제1 촬상부 및 상기 제2 촬상부의 적어도 일방은, 적외광 파장 대역의 광을 촬상하는 화소와, 가시광 파장 대역의 광을 촬상하는 화소를 포함하는, (1) 내지 (14) 중 어느 한 항에 기재된 전자 기기.
(16) 상기 제1 촬상부는, 550nm 이상의 광에 대해 감도를 가지는, (15)에 기재된 전자 기기.
(17) 상기 보정부는, 상기 제2 촬상부에서 촬상된 화상 데이터에 대해, 단파장측일수록 보정의 정도를 높게 하는, (1) 내지 (16) 중 어느 한 항에 기재된 전자 기기.
(18) 상기 제1 촬상부는, 상기 제2 촬상부에 비해, 광 입사면의 법선 방향으로 보다 길게 배치되는 광전 변환부를 가지는, (1) 내지 (17) 중 어느 한 항에 기재된 전자 기기.
(19) 상기 제1 촬상부의 1 화소당의 광 입사면 방향의 면적은, 상기 제2 촬상부의 1 화소당의 광 입사면 방향의 면적보다 크고, 또한
상기 제1 촬상부의 전화소분의 광 입사면 방향의 면적은, 상기 제2 촬상부의 전화소분의 광 입사면 방향의 면적보다 작은, (1) 내지 (18) 중 어느 한 항에 기재된 전자 기기.
(20) 표시부의 표시면과는 반대측에 배치되고, 적외광 파장 대역의 광을 촬상 가능한 제1 촬상부와,
상기 표시부의 표시면과는 반대측에 배치되고, 가시광 파장 대역의 광을 촬상 가능한 제2 촬상부와,
상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터를 보정하는 보정부를 구비하는, 촬상 장치.
(21) 적외광 파장 대역의 광을 촬상 가능한 제1 촬상부와,
가시광 파장 대역의 광을 촬상 가능한 제2 촬상부와,
상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터를 보정하는 보정부를 구비하는, 촬상 장치.
본 개시의 양태는, 상술한 각각의 실시 형태에 한정되는 것이 아니며, 당업자가 생각해낼 수 있는 다양한 변형도 포함하는 것이고, 본 개시의 효과도 상술한 내용에 한정되지 않는다. 즉, 특허청구의 범위에 규정된 내용 및 그 균등물로부터 도출되는 본 개시의 개념적인 사상과 취지를 일탈하지 않는 범위에서 다양한 추가, 변경 및 부분적 삭제가 가능하다.
1; 촬상 장치
2, 2a, 2b; 전자 기기
3; 표시부
3a; 표시면
3b; 베젤
4; 카메라 모듈
5; 카메라 모듈
6; 제1 촬상부
7; 제2 촬상부
8; 제1 광학계
9; 제2 광학계
11; 반도체 기판
12a; 제1 광전 변환부
12b; 제2 광전 변환부
13; 소자 분리층
14; 평탄화층
15a; 온 칩 렌즈
15b; 온 칩 렌즈
16; 컬러 필터층
17; 판독 회로
21; 어플리케이션 프로세서
22; 영상 신호 생성부
23; A/D 변환부
24; 표시 제어부
31; 제1 A/D 변환부
32; 제2 A/D 변환부
33; 신호 처리부
100; 차량
101; 센터 디스플레이
102; 콘솔 디스플레이
103; 헤드업 디스플레이
104; 디지털 후방 미러
105; 스티어링휠 디스플레이
106; 리어 엔터테인먼트 디스플레이
107; 대쉬보드
108; 운전석
109; 조수석
110; 센터 콘솔
111; 시프트 레버
112; 앞유리
113; 핸들
120; 디지털 카메라
121; 렌즈
122; 카메라 보디
123; 그립
124; 전자 뷰 파인더
125; 셔터
126; 모니터 화면
130; 스마트 글라스
131; 장착 부재
132; 표시 장치
134; 안경
135; 본체부
136; 아암부
137; 경통부
138; 렌즈
150; 스마트폰

Claims (21)

  1. 표시부와,
    상기 표시부의 표시면과는 반대측에 배치되고, 상기 표시부를 통과한 적외광 파장 대역의 광을 촬상 가능한 제1 촬상부와,
    상기 표시부의 표시면과는 반대측에 배치되고, 상기 표시부를 통과한 가시광 파장 대역의 광을 촬상 가능한 제2 촬상부와,
    상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터를 보정하는 보정부를 구비하는, 전자 기기.
  2. 제1항에 있어서,
    상기 보정부는, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터의 감도를 보정하는, 전자 기기.
  3. 제2항에 있어서,
    상기 제1 촬상부에서 촬상된 화상 데이터의 감도와, 상기 제2 촬상부에서 촬상된 화상 데이터의 감도의 상관 관계를 학습하는 학습부를 더 구비하고,
    상기 보정부는, 상기 학습부에서의 학습 결과를 참조하여, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터의 감도를 보정하는, 전자 기기.
  4. 제1항에 있어서,
    상기 보정부는, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터의 해상도를 보정하는, 전자 기기.
  5. 제4항에 있어서,
    상기 제1 촬상부에서 촬상된 화상 데이터의 해상도와, 상기 제2 촬상부에서 촬상된 화상 데이터의 해상도의 상관 관계를 학습하는 학습부를 더 구비하고,
    상기 보정부는, 상기 학습부에서의 학습 결과를 참조하여, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터의 해상도를 보정하는, 전자 기기.
  6. 제1항에 있어서,
    상기 보정부는, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터에 포함되는 플레어 성분 및 회절광 성분의 적어도 일방을 보정하는, 전자 기기.
  7. 제6항에 있어서,
    상기 제1 촬상부에서 촬상된 화상 데이터에 포함되는 플레어 성분 및 회절광 성분의 적어도 일방과, 상기 제2 촬상부에서 촬상된 화상 데이터에 포함되는 플레어 성분 및 회절광 성분의 적어도 일방의 상관 관계를 학습하는 학습부를 더 구비하고,
    상기 보정부는, 상기 학습부에서의 학습 결과를 참조하여, 상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터에 포함되는 플레어 성분 및 회절광 성분의 적어도 일방을 보정하는, 전자 기기.
  8. 제7항에 있어서,
    상기 제2 촬상부에서 촬상된 화상 데이터의 감도, 해상도, 플레어 성분 및 회절광 성분의 적어도 하나가 미리 정해진 제1 기준을 만족하는지 여부를 판정하는 기준 판정부와,
    상기 기준 판정부에서 상기 제1 기준을 만족하지 않는다고 판정되면, 상기 제1 촬상부에 의한 촬상을 개시시키는 촬상 시작 지시부와,
    상기 제1 촬상부에서 촬상된 화상 데이터와 상기 제2 촬상부에서 촬상된 화상 데이터에서, 감도, 해상도, 플레어 성분, 및 회절광 성분의 적어도 하나를 비교한 결과에 기초하여, 상기 보정부에 의한 보정을 행할지 여부와, 상기 보정부에 의한 보정을 행할 때에 보정의 기준이 되는 화상 데이터의 종류를 결정하는 보정 절차 결정부를 더 구비하는, 전자 기기.
  9. 제8항에 있어서,
    상기 학습부는, 상기 보정 절차 결정부에 의해, 보정의 기준이 되는 화상 데이터의 종류가 결정되면, 결정된 화상 데이터의 감도, 해상도, 플레어 성분 및 회절광 성분의 적어도 하나와, 상기 제2 촬상부에서 촬상된 화상 데이터의 감도, 해상도, 플레어 성분 및 회절광 성분의 적어도 하나의 상관 관계를 학습하는, 전자 기기.
  10. 제7항에 있어서,
    물체의 형상 및 색의 적어도 일방을 검출하는 센서와,
    상기 학습부에 의한 학습의 신뢰도를 추정하는 신뢰도 추정부와,
    상기 신뢰도 추정부에 의해 추정된 신뢰도가 미리 정해진 제2 기준 이하인 경우, 상기 센서의 검출 데이터에 기초하여 상기 물체를 식별할 수 있는지 여부를 판정하는 물체 식별 판정부와,
    상기 물체 식별 판정부에서 물체를 식별할 수 있다고 판정되었을 경우에, 상기 센서에 의해 식별된 물체의 색을 특정할 수 있는지 여부를 판정하는 색 특정 판정부를 더 구비하고,
    상기 보정부는, 상기 색 특정 판정부에서 상기 물체의 색을 특정할 수 있다고 판정되었을 경우, 상기 특정된 색에 가까워지도록, 상기 제2 촬상부에서 촬상된 화상 데이터를 보정하는, 전자 기기.
  11. 제1항에 있어서,
    상기 보정부는, 상기 제2 촬상부에서 촬상된 화상 데이터 중 휘도 변화가 미리 정해진 기준값 이하인 화소 영역의 노이즈 제거 정도를, 상기 화상 데이터 중 휘도 변화가 상기 기준값보다 큰 화소 영역의 노이즈 제거 정도보다 높게 하는, 전자 기기.
  12. 제1항에 있어서,
    적외광 파장 대역의 광을 발광하는 발광부와,
    상기 제1 촬상부에서 화상 데이터를 촬상할 때에 상기 발광부가 발광한 광으로 피사체가 조명되도록 상기 발광부의 발광 타이밍을 제어하는 발광 제어부를 더 구비하는, 전자 기기.
  13. 제12항에 있어서,
    상기 발광부는, 상기 적외광 파장 대역 내의 각각 다른 발광 파장 대역의 광을 발광하는 복수의 광원을 가지고,
    상기 발광 제어부는, 상기 제1 촬상부가 촬상하는 동안에, 상기 복수의 광원에 의한 발광을 순차적으로 전환 제어하고,
    상기 제1 촬상부는, 각각 다른 발광 광 파장 대역에서 촬상된 복수의 화상 데이터를 출력하고,
    상기 보정부는, 상기 복수의 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터를 보정하는, 전자 기기.
  14. 제12항에 있어서,
    상기 발광부는, 상기 표시부의 표시면측에 배치되는, 전자 기기.
  15. 제1항에 있어서,
    상기 제1 촬상부 및 상기 제2 촬상부의 적어도 일방은, 적외광 파장 대역의 광을 촬상하는 화소와, 가시광 파장 대역의 광을 촬상하는 화소를 포함하는, 전자 기기.
  16. 제15항에 있어서,
    상기 제1 촬상부는, 550nm 이상의 광에 대해 감도를 가지는, 전자 기기.
  17. 제1항에 있어서,
    상기 보정부는, 상기 제2 촬상부에서 촬상된 화상 데이터에 대해, 단파장측일수록 보정의 정도를 높게 하는, 전자 기기.
  18. 제1항에 있어서,
    상기 제1 촬상부는, 상기 제2 촬상부에 비해, 광 입사면의 법선 방향으로 보다 길게 배치되는 광전 변환부를 가지는, 전자 기기.
  19. 제1항에 있어서,
    상기 제1 촬상부의 1 화소당의 광 입사면 방향의 면적은, 상기 제2 촬상부의 1 화소당의 광 입사면 방향의 면적보다 크고, 또한
    상기 제1 촬상부의 전화소분의 광 입사면 방향의 면적은, 상기 제2 촬상부의 전화소분의 광 입사면 방향의 면적보다 작은, 전자 기기.
  20. 표시부의 표시면과는 반대측에 배치되고, 적외광 파장 대역의 광을 촬상 가능한 제1 촬상부와,
    상기 표시부의 표시면과는 반대측에 배치되고, 가시광 파장 대역의 광을 촬상 가능한 제2 촬상부와,
    상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터를 보정하는 보정부를 구비하는, 촬상 장치.
  21. 적외광 파장 대역의 광을 촬상 가능한 제1 촬상부와,
    가시광 파장 대역의 광을 촬상 가능한 제2 촬상부와,
    상기 제1 촬상부에서 촬상된 화상 데이터에 기초하여, 상기 제2 촬상부에서 촬상된 화상 데이터를 보정하는 보정부를 구비하는, 촬상 장치.
KR1020227042264A 2020-05-08 2021-03-09 전자 기기 및 촬상 장치 KR20230009412A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020082601 2020-05-08
JPJP-P-2020-082601 2020-05-08
PCT/JP2021/009377 WO2021225030A1 (ja) 2020-05-08 2021-03-09 電子機器及び撮像装置

Publications (1)

Publication Number Publication Date
KR20230009412A true KR20230009412A (ko) 2023-01-17

Family

ID=78468005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227042264A KR20230009412A (ko) 2020-05-08 2021-03-09 전자 기기 및 촬상 장치

Country Status (7)

Country Link
US (1) US20230142989A1 (ko)
EP (1) EP4149104A4 (ko)
JP (1) JPWO2021225030A1 (ko)
KR (1) KR20230009412A (ko)
CN (1) CN115486056A (ko)
TW (1) TW202207698A (ko)
WO (1) WO2021225030A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220106761A (ko) * 2019-11-29 2022-07-29 소니 세미컨덕터 솔루션즈 가부시키가이샤 전자기기
KR20220078191A (ko) * 2020-12-03 2022-06-10 삼성전자주식회사 영상 처리를 수행하는 전자 장치 및 그 동작 방법
JP7426438B2 (ja) 2022-06-09 2024-02-01 維沃移動通信有限公司 画像処理方法、装置、電子機器および読み取り可能記憶媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180069060A (ko) 2016-09-23 2018-06-22 애플 인크. 다층 송신기 코일 배열을 갖는 무선 충전 매트

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4534756B2 (ja) * 2004-12-22 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体
US20080106591A1 (en) * 2006-11-02 2008-05-08 Border John N Two way communication system
US9013613B2 (en) * 2010-09-21 2015-04-21 Sony Corporation Sensor-equipped display apparatus and electronic apparatus
US8947627B2 (en) 2011-10-14 2015-02-03 Apple Inc. Electronic devices having displays with openings
US20170084231A1 (en) * 2015-09-23 2017-03-23 Intel Corporation Imaging system management for camera mounted behind transparent display
CN106603772B (zh) * 2017-01-26 2019-12-27 Oppo广东移动通信有限公司 电子装置及图像获取方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180069060A (ko) 2016-09-23 2018-06-22 애플 인크. 다층 송신기 코일 배열을 갖는 무선 충전 매트

Also Published As

Publication number Publication date
EP4149104A1 (en) 2023-03-15
JPWO2021225030A1 (ko) 2021-11-11
CN115486056A (zh) 2022-12-16
WO2021225030A1 (ja) 2021-11-11
TW202207698A (zh) 2022-02-16
US20230142989A1 (en) 2023-05-11
EP4149104A4 (en) 2023-10-25

Similar Documents

Publication Publication Date Title
WO2021225030A1 (ja) 電子機器及び撮像装置
KR20170139521A (ko) 화상 처리 장치 및 화상 처리 시스템
US20220368833A1 (en) Electronic equipment
CN107005627B (zh) 摄像装置、摄像方法及记录介质
US11917306B2 (en) Electronic device that corrects images captured on a side opposite a displaying surface
US20230140768A1 (en) Imaging element and electronic apparatus
JP7021036B2 (ja) 電子機器及び通知方法
CN214381044U (zh) 电子设备
WO2021149503A1 (ja) 電子機器
WO2021157237A1 (ja) 電子機器
WO2022244354A1 (ja) 撮像素子及び電子機器
US20240171868A1 (en) Imaging element, imaging device and electronic device
JP2004215062A (ja) 撮像装置
CN115136593A (zh) 成像装置、成像方法和电子装置
JP7263493B2 (ja) 電子機器及び通知方法
WO2023106010A1 (ja) 電子機器
JP2022025741A (ja) 視点位置検出システム
JP2013115744A (ja) 撮像装置及び視点検出装置