KR20170137633A - 화상처리장치, 촬상 장치, 화상처리방법, 및 컴퓨터 판독 가능한 기억매체 - Google Patents

화상처리장치, 촬상 장치, 화상처리방법, 및 컴퓨터 판독 가능한 기억매체 Download PDF

Info

Publication number
KR20170137633A
KR20170137633A KR1020170066489A KR20170066489A KR20170137633A KR 20170137633 A KR20170137633 A KR 20170137633A KR 1020170066489 A KR1020170066489 A KR 1020170066489A KR 20170066489 A KR20170066489 A KR 20170066489A KR 20170137633 A KR20170137633 A KR 20170137633A
Authority
KR
South Korea
Prior art keywords
pixel
image
shading
viewpoint image
pupil
Prior art date
Application number
KR1020170066489A
Other languages
English (en)
Inventor
코이치 후쿠다
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2016112101A external-priority patent/JP6700986B2/ja
Priority claimed from JP2016143735A external-priority patent/JP6735621B2/ja
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20170137633A publication Critical patent/KR20170137633A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G06T5/006—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N5/217—

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Geometry (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

화상처리장치는, 제1방향으로 복수의 동공부분 영역으로 분할된 결상 광학계의 사출동공의 제1동공부분 영역에 대응하는 제1시점화상과, 상기 사출동공에 대응하는 촬상 화상을 취득하는 취득부; 및 상기 제1방향에 직교하는 제2방향으로 배치된 상기 제1시점화상의 제1화소군의 합과, 상기 제1화소군의 위치에 대응하는 상기 촬상 화상의 화소군의 합과의 제1비율에 근거하여, 상기 제1화소군의 제1화소의 셰이딩을 보정하는 보정부를 구비한다.

Description

화상처리장치, 촬상 장치, 화상처리방법, 및 컴퓨터 판독 가능한 기억매체{IMAGE PROCESSING APPARATUS, IMAGE CAPTURING APPARATUS, IMAGE PROCESSING METHOD, AND COMPUTER-READABLE STORAGE MEDIUM}
본 발명은, 화상처리장치, 촬상 장치, 화상처리방법, 및 컴퓨터 판독 가능한 기억매체에 관한 것이다.
촬상 장치의 초점검출 방법 중 하나로서, 촬상 소자에 형성된 초점검출 화소를 사용하여 위상차 초점검출을 행하는 촬상면 위상차 방식이 있다. 일본 특허공개 소58-024105호 공보에 개시된 촬상 장치는, 1개의 화소에 대하여 1개의 마이크로렌즈와 복수의 분할된 광전변환부가 형성되어 있는, 2차원 촬상 소자를 사용한다. 복수의 분할된 광전변환부는, 1개의 마이크로렌즈를 통해 촬영 렌즈의 사출동공의 다른 영역으로부터 수광하도록 구성되어, 동공 분할을 행한다. 그 복수의 분할된 광전변환부의 각각에 대해서, 수광 신호로부터 시점신호가 생성된다. 복수의 시점신호간의 시차로부터 상 어긋남량을 산출해서 디포커스량으로 환산함으로써, 위상차 초점검출을 행한다. 또한, 일본 특허공개2001-083407호 공보에는, 복수의 분할된 광전변환부의 수광신호로부터 복수의 시점신호를 가산함으로써, 촬상 신호를 생성하는 것이 개시되어 있다. 또한, 촬영된 화상에 관한 복수의 시점신호는, 광강도의 공간분포 및 각도분포의 정보인 LF(Light Field) 데이터와 등가다.
일본 특허공개 소58-024105호 공보 및 일본 특허공개2001-083407호 공보에 개시되어 있는 촬상 장치로 얻어진 복수의 시점화상의 일부의 영역에 있어서, 흠(flaw) 신호, 동공분할에 기인한 셰이딩, 및 포화 신호등이 생겨, 시점화상의 화질이 저하하게 된다.
본 발명은, 상기 과제를 감안한 것으로, 시점화상의 화질을 향상시키는 기술을 실현한다.
상기 과제를 해결하기 위해서, 본 발명의 일 측면에서는, 제1방향으로 복수의 동공부분 영역으로 분할된 결상 광학계의 사출동공의 제1동공부분 영역에 대응하는 제1시점화상과, 상기 사출동공에 대응하는 촬상 화상을 취득하는 취득부; 및 상기 제1방향에 직교하는 제2방향으로 배치된 상기 제1시점화상의 제1화소군의 합과, 상기 제1화소군의 위치에 대응하는 상기 촬상 화상의 화소군의 합과의 제1비율에 근거하여, 상기 제1화소군의 제1화소의 셰이딩을 보정하는 보정부를 구비하는, 화상처리장치를 제공한다.
본 발명의 다른 측면에서는, 제1방향으로 복수의 동공부분 영역으로 분할된 결상 광학계의 사출동공의 다른 동공부분 영역에 대응하는 광빔을 각각이 수광하는 복수의 부화소를 각각 포함하는 복수의 화소가 배열된 촬상 소자; 상기 사출동공의 제1동공부분 영역에 대응하는 제1시점화상과, 상기 사출동공에 대응하는 촬상 화상을 취득하는 취득부; 및 상기 제1방향에 직교하는 제2방향으로 배치된 상기 제1시점화상의 제1화소군의 합과, 상기 제1화소군의 위치에 대응하는 상기 촬상 화상의 화소군의 합과의 제1비율에 근거하여, 상기 제1화소군의 제1화소의 셰이딩을 보정하는 보정부를 구비하는, 촬상 장치를 제공한다.
본 발명의 또 다른 측면에서는, 제1방향으로 복수의 동공부분 영역으로 분할된 결상 광학계의 사출동공의 제1동공부분 영역에 대응하는 제1시점화상과, 상기 사출동공에 대응하는 촬상 화상을 취득하기 위한 명령어; 및 상기 제1방향에 직교하는 제2방향으로 배치된 상기 제1시점화상의 제1화소군의 합과, 상기 제1화소군의 위치에 대응하는 상기 촬상 화상의 화소군의 합과의 제1비율에 근거하여, 상기 제1화소군의 제1화소의 셰이딩을 보정하기 위한 명령어와의 세트들로 이루어진 화상처리 프로그램을 행하기 위해 메모리에 연결된 프로세서를 구비하는, 화상처리장치를 제공한다.
아울러, 본 발명의 또 다른 측면에서는, 화상처리장치가 실행하는 화상처리방법으로서, 제1방향으로 복수의 동공부분 영역으로 분할된 결상 광학계의 사출동공의 제1동공부분 영역에 대응하는 제1시점화상과, 상기 사출동공에 대응하는 촬상 화상을 취득하는 단계; 및 상기 제1방향에 직교하는 제2방향으로 배치된 상기 제1시점화상의 제1화소군의 합과, 상기 제1화소군의 위치에 대응하는 상기 촬상 화상의 화소군의 합과의 제1비율에 근거하여, 상기 제1화소군의 제1화소의 셰이딩을 보정하는 단계를 포함하는, 화상처리방법을 제공한다.
게다가, 본 발명의 또 다른 측면에서는, 컴퓨터에, 제1방향으로 복수의 동공부분 영역으로 분할된 결상 광학계의 사출동공의 제1동공부분 영역에 대응하는 제1시점화상과, 상기 사출동공에 대응하는 촬상 화상을 취득하는 단계; 및 상기 제1방향에 직교하는 제2방향으로 배치된 상기 제1시점화상의 제1화소군의 합과, 상기 제1화소군의 위치에 대응하는 상기 촬상 화상의 화소군의 합과의 제1비율에 근거하여, 상기 제1화소군의 제1화소의 셰이딩을 보정하는 단계를 포함하는 화상처리방법을, 실행시키기 위한 프로그램을 기억한 컴퓨터 판독 가능한 기억 매체를 제공한다.
본 발명에 의하면, 시점화상의 화질을 향상시키는 것이 가능하다.
본 발명의 또 다른 특징들은, (첨부도면을 참조하여) 이하의 실시예들의 설명으로부터 명백해질 것이다.
본 명세서의 일부에 포함되고 그 일부를 구성하는 첨부도면들은, 본 발명의 실시예들을 예시하고, 이 설명과 함께, 본 발명의 원리를 설명하는 역할을 한다.
도 1은 촬상 장치(100)의 구성을 나타내는 블록도,
도 2는 제1의 실시예에 따른 촬상 소자(107)의 화소 및 부화소의 배열의 개략도,
도 3a는 제1의 실시예에 따른 촬상 소자(107)의 화소의 평면도,
도 3b는 제1의 실시예에 따른 촬상 소자(107)의 화소의 단면도,
도 4는 제1의 실시예에 따른 촬상 소자(107)의 화소구조와 동공분할과의 대응관계를 나타내는 개략 설명도,
도 5a는 마이크로렌즈의 광축에 평행한 단면에서의 광강도 분포를 나타낸 도면,
도 5b는 마이크로렌즈의 광축에 수직한 단면에서의 광강도 분포를 나타낸 도면,
도 6은 광의 입사각에 의존한 수광률 분포(동공강도분포)를 나타낸 도면,
도 7은 촬상 소자(107)와 동공분할과의 대응관계를 나타낸 도면,
도 8은 제1시점화상과 제2시점화상의 디포커스량과, 제1시점화상과 제2시점화상과의 사이의 상 어긋남량과의 관계를 개략적으로 나타낸 도면,
도 9는 촬상 화상에 근거한 시점화상의 보정처리의 흐름도,
도 10은 촬상 화상에 근거한 시점화상의 보정처리의 흐름도(도 9의 계속),
도 11a 내지 11c는 제1시점화상과 제2시점화상간의 동공 어긋남에 의해 생긴 셰이딩에 대해서 설명하는 도면,
도 12a는 촬상 화상의 투영 신호의 예를 나타내는 도면,
도 12b는 제1시점화상의 투영 신호의 예를 나타내는 도면,
도 12c는 제1시점화상의 셰이딩 함수를 나타내는 도면,
도 13은 촬상 화상I의 예를 나타내는 도면,
도 14는 셰이딩 보정전의 제1시점화상I1의 예를 나타내는 도면,
도 15는 셰이딩 보정후의 제1수정 제1시점화상M1I1의 예를 나타내는 도면,
도 16은 결함보정전의 제1수정 제1시점화상M1I1의 예를 나타내는 도면,
도 17은 결함보정후의 제2수정 제1시점화상M2I1의 예를 나타내는 도면,
도 18은 셰이딩 보정전의 제2시점화상I2의 예를 나타내는 도면,
도 19는 셰이딩 보정후의 최종수정 제2시점화상MI2의 예를 나타내는 도면,
도 20은 제3의 실시예에 따른 촬상 소자(107)의 화소 및 부화소의 배열의 개략도,
도 21a는 제3의 실시예에 따른 촬상 소자(107)의 화소의 평면도,
도 21b는 제3의 실시예에 따른 촬상 소자(107)의 화소의 단면도,
도 22는 제3의 실시예에 따른 촬상 소자(107)의 화소구조와 동공분할과의 대응관계를 나타내는 개략 설명도,
도 23은 최종수정 제1시점화상MI1(j, i) 내지 최종수정 제4시점화상MI4(j, i)에 의한 화소 어긋남 초해상처리의 개요를 나타내는 설명도,
도 24는 정밀한 셰이딩 보정과 고속 셰이딩 보정을 선택적으로 실행하는 처리를 설명하는 흐름도다.
이하, 첨부 도면을 참조하여, 본 발명의 실시예를 설명한다. 또한, 본 발명의 기술적 범위는, 첨부된 청구항에 의해 한정되는 것이며, 이하의 개별의 실시예에 의해 한정되는 것은 아니다. 추가로, 그 실시예에서 설명된 특징의 조합 모두가, 본 발명에 반드시 필수적인 것은 아니다.
이하의 각 실시예에서는, 화상처리장치의 예로서 디지털 카메라 등의 촬상 장치에 대해서 설명을 행한다. 그렇지만, 화상처리장치는, 촬상 장치에 한정되지 않고, 다른 종류의 화상처리장치(예를 들면, 퍼스널 컴퓨터)이여도 좋다.
[제1의 실시예]
● 촬상 장치(100)의 구성
도 1은, 촬상 장치(100)의 구성을 나타내는 블록도다. 촬상 광학계(결상 광학계)의 선단에 배치된 제1렌즈 군(101)은, 렌즈 경통에 광축방향으로 진퇴가능하게 보유된다. 조리개 겸용 셔터(102)는, 그 개구경을 조절 함으로써, 촬영시의 광량을 조절한다. 또한, 조리개 겸용 셔터(102)는, 정지 화상 촬영시에는 노광 시간 조절용 셔터로서의 기능도 가진다. 제2렌즈 군(103)은, 조리개 겸용 셔터(102)와 일체로 광축방향으로 진퇴하고, 제1렌즈 군(101)의 진퇴동작과 연동하여, 변배동작(줌 동작)을 행한다. 제3렌즈 군(105)은, 광축방향의 진퇴에 의해 초점조절을 행하는 포커스 렌즈다. 광학적 로패스 필터(106)는, 촬상 화상의 가짜색이나 모아레를 경감하기 위한 광학소자다. 촬상 소자(107)는, 예를 들면 2차원 CMOS(상보형 금속산화물 반도체) 포토 센서와 주변회로로 이루어지고, 결상 광학계의 결상면에 배치된다.
줌 액추에이터(111)는, (도시되지 않은) 캠통을 회동하여 제1렌즈 군(101) 및 제2렌즈 군(103)을 광축방향으로 이동시켜서, 변배동작을 행한다. 조리개-셔터 액추에이터(112)는, 조리개 겸용 셔터(102)의 개구경을 제어해서 촬영 광량을 조절함과 아울러, 정지 화상 촬영시의 노광 시간 제어를 행한다. 포커스 액추에이터(114)는, 제3렌즈 군(105)을 광축방향으로 이동시켜 초점조절 동작을 행한다.
피사체 조명용의 전자 플래쉬(115)는, 촬영시에 사용된다. 전자 플래쉬(115)로서는, 크세논 관을 사용한 섬광조명 장치, 또는 연속 발광하는 LED(발광 다이오드)를 구비한 조명 장치를 사용한다. AF 보조 광원(116)(오토포커스 보조 광원)은, 소정의 개구 패턴을 가진 마스크의 상을, 투광 렌즈를 통해 피사계에 투영한다. 이에 따라, 저휘도의 피사체 또는 저콘트라스트의 피사체에 대한 초점검출 능력이 향상한다.
촬상 장치(100)의 본체의 제어부를 구성하는 CPU(중앙연산 처리장치)(121)는, 각종 제어를 행하는 제어 중추 기능을 가진다. CPU(121)는, 연산부, ROM(판독전용 메모리), RAM(랜덤 액세스 메모리), A(아날로그)/D(디지털)컨버터, D/A컨버터, 및 통신 인터페이스 회로 등을 가진다. CPU(121)는, ROM에 기억된 소정의 프로그램에 따라, 촬상 장치(100)내의 각종 회로를 구동하고, AF 제어, 촬상 처리, 화상처리 및 기록 처리 등의 일련의 동작을 실행한다.
전자 플래쉬 제어 회로(122)는, CPU(121)로부터의 제어 지령에 따라, 촬영 동작에 동기해서 전자 플래쉬(115)를 점등 제어한다. 보조 광원 구동회로(123)는, CPU(121)로부터의 제어 지령에 따라, 초점검출 동작에 동기해서 AF보조 광원(116)을 점등 제어한다. 촬상 소자 구동회로(124)는, 촬상 소자(107)의 촬상 동작을 제어함과 아울러, 취득한 촬상 신호를 A/D변환해서 CPU(121)에 송신한다. 화상처리 회로(125)는, CPU(121)로부터의 제어 지령에 따라, 촬상 소자(107)에 의해 취득된 화상의 감마 변환, 칼라 보간, JPEG(Joint Photographic Experts Group)압축 등의 처리를 행한다.
포커스 구동회로(126)는, CPU(121)로부터의 제어 지령에 따라, 초점검출 결과에 근거해서 포커스 액추에이터(114)를 구동하고, 제3렌즈 군(105)을 광축방향으로 이동시켜서, 초점조절을 행한다. 조리개-셔터 구동회로(128)는, CPU(121)로부터의 제어 지령에 따라, 조리개-셔터 액추에이터(112)를 구동하여서, 조리개 겸용 셔터(102)의 개구경을 제어한다. 줌 구동회로(129)는, CPU(121)로부터의 제어 지령에 따라, 촬영자의 줌 조작 지시에 근거하여 줌 액추에이터(111)를 구동한다.
표시부(131)는, LCD(액정표시장치)등의 표시 디바이스를 구비하고, 촬상 장치(100)의 촬영 모드에 대한 정보, 촬영전의 프리뷰 화상, 촬영후의 확인용 화상, 및 초점검출시의 합초 상태 표시 화상등을 표시한다. 조작부(132)는, 조작 스위치로서, 전원 스위치, 릴리즈(촬영 트리거)스위치, 줌 조작 스위치, 및 촬영 모드 선택 스위치 등을 구비하고, 조작 지시 신호를 CPU(121)에 출력한다. 플래쉬 메모리(133)는, 촬상 장치(100)의 본체로부터 탈착가능한 기억 매체이며, 촬영된 화상 데이터 등을 기록한다.
● 촬상 소자(107)의 구성
도 2는, 촬상 소자(107)의 화소 및 부화소의 배열의 개략도다. 도 2의 좌우 방향을 x방향(수평방향), 상하 방향을 y방향(수직방향), x방향 및 y방향에 직교하는 방향(지면에 수직한 방향)을 z방향(광축방향)으로서 각각 정의한다. 도 2는, 촬상 소자(107)(2차원 CMOS센서)의 화소(촬상 화소) 배열을 4열×4행의 범위에서, 부화소 배열을 8열×4행의 범위에서, 각각 나타낸 것이다.
본 실시예에서는, 도 2에 나타낸 2열×2행의 화소군(200)에 있어서는, R(빨강)의 분광 감도를 가지는 화소200R이 좌상에, G(초록)의 분광 감도를 가지는 화소200G가 우상 및 좌하에, B(파랑)의 분광 감도를 가지는 화소200B가 우하 위치에 배치되어 있다. 각 화소는, x방향으로 Nx(Nx는 자연수)부분, y방향으로 Ny(Ny는 자연수) 부분으로 분할되고, Nx×Ny의 부화소=동공분할수NLF로 구성되어 있다. 또한, 도 2에 나타낸 예에 있어서는, Nx=2, Ny=1, NLF=2×1=2이다. 각 화소는 제1부화소(201)와 제2부화소(202)로 구성되어 있다. 이하의 설명에 있어서는, 간략화를 위해, 각 화소가 도 2에 나타낸 바와 같이 x방향으로 2분할되고, y방향으로는 분할되지 않는 것으로 한다. 그렇지만, 본 실시예의 화소의 분할은, 도 2에 나타낸 것에 한정되지 않는다.이하의 설명을 Nx≥2 및 Ny≥2의 경우에 일반화하는 방법에 대해서는, 제3의 실시예에서 설명한다.
도 2에 나타낸 예에서는, 4열×4행의 화소(8열×4행의 부화소)를 면 위에 다수 배치함으로써, 촬상 화상 및 2개의 시점화상(시점화상의 수는 동공분할수 2에 대응)을 생성하는데 사용된 입력 화상을 취득한다. 촬상 소자(107)에서는, 화소의 주기P가 6μm(micrometer)이고, 수평(열방향)화소수NH=6000열, 수직(행 방향)화소수NV=4000행, 및 화소수N=NH×NV=2400만 화소이다. 또한, 부화소의 열방향 주기PS가 3μm이고, 부화소수NS가 수평방향 12000열×수직방향4000행=4800만 화소다.
도 3a는, 도 2에 나타낸 촬상 소자(107)의 1개의 화소 200G를, 촬상 소자(107)의 수광면측(+z측)으로부터 보았을 경우의 평면도를 나타낸다. 도 3a의 지면에 수직한 방향으로 z축을 설정하고, 가까운 측을 z축의 정방향으로서 정의한다. 또한, z축에 직교하는 상하 방향으로 y축을 설정하고, 상측을 y축의 정방향으로서 정의하고, z축 및 y축에 직교하는 좌우 방향으로 x축을 설정하고, 우측을 x축의 정방향으로서 정의한다. 도 3a의 a-a절단선을 따라 -y측으로부터 보았을 경우의 단면도를 도 3b에 나타낸다.
도 3a 및 도 3b에 나타낸 바와 같이, 화소200G는, 각 화소의 수광면측(+z방향)에 입사 광을 집광하기 위한 마이크로렌즈(305)가 형성되어 있다. 또, 그 화소는, x방향으로 2개의 부로 분할되고, y방향으로 1개의 부(분할 없음)로 분할되어, 2개의 광전변환부(제1광전변환부301 및 제2광전변환부302)가 형성되어 있다. 제1광전변환부(301) 및 제2광전변환부(302)는, 각각, 제1부화소(201) 및 제2부화소(202)에 대응한다.
제1광전변환부(301) 및 제2광전변환부(302)는, 2개의 독립적인 pn접합 포토다이오드이며, p형 웰층(300)과, 2개로 분할된 n형층(301, 302)으로 형성된다. 필요에 따라, 진성층을 끼워, pin 구조 포토다이오드로서 광전변환부를 형성해도 좋다. 각 화소에는, 마이크로렌즈(305)와, 제1광전변환부(301) 및 제2광전변환부(302)와의 사이에, 칼라 필터(306)가 형성된다. 필요에 따라서, 화소마다 또는 광전변환부마다, 칼라 필터(306)의 분광 투과율을 바꾸어도 좋다. 또는, 칼라 필터는 생략되어도 된다.
화소200G에 입사한 광은, 마이크로렌즈(305)에 의해 집광되어, 칼라 필터(306)에 의해 분광성분으로 분광되고, 상기 제1광전변환부(301) 및 제2광전변환부(302)에 의해 수광된다. 제1광전변환부(301) 및 제2광전변환부(302)에서는, 수광량에 따라 전자와 정공이 쌍으로 발생되고, 공핍층으로 분리된다. 그 후, 전자가 축적된다. 한편, 정공은 정전압원(도시되지 않음)에 접속된 p형 웰층을 통해서 촬상 소자(107)의 외부에 배출된다. 제1광전변환부(301) 및 제2광전변환부(302) 각각에 축적된 전자는, 전송 게이트를 통해 정전용량부(FD)에 전송되어, 전압신호로 변환된다.
도 4는, 촬상 소자(107)의 화소구조와 동공분할과의 대응관계를 나타내는 개략 설명도다. 도 4에는, 도 3a에서 화소구조의 a-a선을 따라 자른 단면을, +y방향으로부터 보았을 경우의 단면도와, 결상 광학계의 사출동공면을 -z방향으로부터 본 도면을 나타낸다. 도 4에서는, 사출동공면의 좌표축과 대응을 이루기 위해서, 그 단면도의 x축과 y축을 도 3a 및 3b에 나타낸 상태와는 반전되어 있다.
촬상 소자(107)는, 촬영 렌즈(결상 광학계)의 결상면 근방에 배치된다. 피사체로부터의 광빔은, 결상 광학계의 사출동공(400)을 통과하고, 각 화소에 입사한다. 촬상 소자(107)가 배치된 면을 촬상면으로서 정의한다.
2×1분할된 제1동공부분 영역(501)과 제2동공부분 영역(502)은, 마이크로렌즈를 거쳐, 제1광전변환부(301)와 제2광전변환부(302)의 수광면과 거의 광학적으로 공역 관계로 되어 있다. 제1동공부분 영역(501)과 제2동공부분 영역(502)은, 제1부화소(201)와 제2부화소(202)에 의해, 각각 수광가능한 동공영역이다. 제1부화소(201)의 제1동공부분 영역(501)은, 동공면상에서 +X측에 중심이 편심하고 있고, 제2부화소(202)의 제2동공부분 영역(502)은, 동공면상에서 -X측에 중심이 편심하고 있다.
동공영역(500)은, 마이크로렌즈를 거쳐, 2×1분할된 제1광전변환부(301)와 제2광전변환부(302)를 모두 구비한 수광면과 거의 광학적으로 공역 관계로 되어 있다. 동공영역(500)은, 제1부화소(201)와 제2부화소(202)를 모두 구비한 화소200G 전체에 의해 수광가능한 동공영역이다.
도 5a 및 5b는, 각 화소에 형성된 마이크로렌즈에 광이 입사하는 경우에 형성된 광강도 분포를 나타낸다. 도 5a는, 마이크로렌즈의 광축에 평행한 단면에서의 광강도 분포를 나타내는 도면이다. 도 5b는, 마이크로렌즈의 광축에 수직한 단면에서의 광강도 분포를 나타내는 도면이다. 도 5a에 있어서, H는 마이크로렌즈(305)의 볼록측의 면을, f는 마이크로렌즈의 촛점거리를 나타내고 있다. 또한, nFΔ는 (후술하는) 리포커스에 의한 초점위치의 가동범위를, φ는 입사 광빔의 최대각도를 나타내고 있다. 입사 광은, 마이크로렌즈에 의해, 초점위치에 집광된다. 그러나, 광의 파동성에 의해 생긴 회절의 영향 때문에, 집광 스폿의 직경은 회절 한계Δ보다 작게 될 수 없고, 유한하다. 광전변환부의 수광면 사이즈는 약 1∼2μm정도이다. 한편, 마이크로렌즈의 집광 스폿이 약 1μm정도다. 그 때문에, 광전변환부의 수광면과 동공영역이 공역 관계에 있다. 도 4에 나타낸 제1동공부분 영역(501)과 제2동공부분 영역(502)이 회절 흐려짐 때문에 명료하게 분할되지 않고, 광의 입사각에 의존한 수광률 분포(동공강도 분포)가 형성된다.
도 6은, 광의 입사각에 의존한 수광률 분포(동공강도 분포)의 예를 나타낸다. 도 6에 있어서, 횡축은 동공좌표를 나타내고, 종축은 수광률을 나타낸다. 도 6에 실선으로 나타낸 그래프 L1은, 도 4에 나타낸 제1동공부분 영역(501)의 x축에 따른 동공강도 분포를 나타낸다. 그래프 L1으로 나타내는 수광률은, 좌단으로부터 신속하게 상승하여, 피크에 도달하고, 서서히 저하하고, 변화율이 완만해져서 우단에 도달한다. 도 6에 점선으로 나타낸 그래프 L2는, 제2동공부분 영역(502)의 x축에 따른 동공강도 분포를 나타낸다. 그래프 L2로 나타낸 수광률은, 그래프 L1과는 반대로, 우단으로부터 신속하게 상승하고, 피크에 도달하고, 서서히 저하하고, 변화율이 완만해져서 좌단에 도달한다. 도 6으로부터 알 수 있듯이, 완만하게 동공분할된다.
도 7은, 촬상 소자(107)와 동공분할과의 대응관계를 나타낸 도면이다. 제1광전변환부(301)와 제2광전변환부(302)가, 각각, 제1부화소(201)와 제2부화소(202)에 대응한다. 촬상 소자(107)의 각 화소에 있어서, 2×1분할된 제1부화소(201)와 제2부화소(202)는, 각각, 결상 광학계의 제1동공부분 영역(501)과 제2동공부분 영역(502)의 다른 동공부분 영역을 통과한 광빔을 수광한다. 각 부화소에서 수광된 신호로부터, 광강도의 공간분포 및 각도분포를 나타내는 LF데이터(입력 화상)가 취득된다.
그 LF데이터에 근거하여, 제1부화소(201) 및 제2부화소(202)의 신호를 합성할 때, 화소수N에 대응한 해상도를 가지는 촬상 화상을 생성할 수 있다. 또한, 제1부화소(201)와 제2부화소(202)로부터 선택된 특정한 부화소의 신호를 각 화소에 대해서 LF데이터로부터 취득할 때, 제1동공부분 영역(501)과 제2동공부분 영역(502)중의 특정한 동공부분 영역에 대응한 시점화상을 생성할 수 있다. 예를 들면, 제1부화소(201)의 신호를 각 화소에 대해서 LF데이터로부터 취득할 때, 제1동공부분 영역(501)에 대응하며 화소수N에 대응한 해상도를 가지는 시점화상(제1시점화상)을 생성할 수 있다. 이것은, 다른 부화소에 대해서도 적용한다.
이상과 같이, 촬상 소자(107)는, 결상 광학계의 다른 동공부분 영역을 통과하는 광빔을 수광하는 복수의 광전변환부가 각각 구비된 복수의 화소가 배열된 구조를 가지고, LF데이터(입력 화상)를 취득할 수 있다.
● 디포커스량과 상 어긋남량의 관계
촬상 소자(107)에 의해 취득된 LF데이터(입력 화상)로부터 생성된 제1시점화상과 제2시점화상의 디포커스량과, 상 어긋남량과의 관계에 대해서, 이하에 설명한다.
도 8은, 제1시점화상과 제2시점화상의 디포커스량과, 제1시점화상과 제2시점화상과의 사이의 상 어긋남량과의 관계에 대해서 개략적으로 나타낸 도면이다. 촬상면(600)에는 촬상 소자(107)(도 8에 도시되지 않음)가 배치된다. 도 4 및 도 7의 경우와 같이, 결상 광학계의 사출동공(400)이, 제1동공부분 영역(501)과 제2동공부분 영역(502)으로 2×1분할된다.
디포커스량d에 관해서, 그 크기｜d｜이, 피사체상의 결상위치부터 촬상면(600)까지의 거리를 나타낸다. 디포커스량d의 방향은, 디포커스량d이, 피사체상의 결상위치가 촬상면(600)의 피사체측에 위치된 앞 초점 상태에서는 부(minus) 부호(d<0)를 갖고, 이 앞 초점 상태와는 반대의 뒷 초점 상태에서는 정(plus) 부호(d>0)를 갖도록, 정의된다. 피사체상의 결상위치가 촬상면(600)에 위치된 합초 상태에서는, d=0이다. 도 8에 나타낸 피사체801의 위치는, 합초 상태(d＝0)에 대응하는 위치p를 나타내고, 피사체802의 위치는 상기 앞 초점 상태(d<0)에 대응하는 위치p를 나타낸다. 이하에서는, 앞 초점 상태(d<0)와 뒷 초점 상태(d>0) 양쪽을, 디포커스상태(｜d｜>0)라고 한다.
앞 초점 상태(d<0)에서는, 피사체(802)에 대한 광 성분 중, 제1동공부분 영역(501)(또는 제2동공부분 영역(502))을 통과한 광빔은, 일단 집광한 후, 광빔의 중심위치G1(또는 G2)를 중심으로 해서 폭 Γ1(또는 Γ2)으로 확대된다. 이 경우, 촬상면(600) 위에 흐려진 상이 된다. 그 흐려진 상은, 촬상 소자(107)에 배열된 각 화소를 구성하는 제1부화소(201)(또는 제2부화소(202))에 의해 수신되고, 제1시점화상(또는 제2시점화상)이 생성된다. 따라서, 제1시점화상(또는 제2시점화상)은, 촬상면(600)위의 중심위치G1(또는G2)에서, 폭 Γ1(또는 Γ2)을 가진 피사체상(흐려진 상)의 화상 데이터로서 메모리에 기억된다. 피사체상의 폭 Γ1(또는 Γ2)은, 디포커스량d의 크기｜d｜이 증가함에 따라, 거의 비례해서 증가한다. 마찬가지로, 제1시점화상과 제2시점화상과의 사이의 피사체상의 상 어긋남량을 p로 한다. 그 상 어긋남량p의 크기｜p｜는, 디포커스량d의 크기｜d｜의 증가에 따라 증가한다. 예를 들면, 상 어긋남량p는, 광빔의 중심위치의 차이 "G1-G2"로서 정의되고, 그 크기｜p｜는 ｜d｜이 증가함에 따라 거의 비례해서 증가한다. 또한, 뒷 초점 상태(d>0)에서는, 제1시점화상과 제2시점화상과의 사이의 피사체상의 상 어긋남 방향이 앞 초점 상태와는 반대가 되지만, 같은 경향이 있다.
따라서, 본 실시예에서는, 제1시점화상과 제2시점화상, 또는, 제1시점화상과 제2시점화상을 가산하여 얻어진 촬상 화상의 디포커스량이 증/감함에 따라, 제1시점화상과 제2시점화상과의 사이의 상 어긋남량의 크기가 증/감한다.
● 촬상 화상에 근거하는 시점화상의 보정처리(개요)
본 실시예에 따른 촬상 장치(100)는, 촬상 화상에 근거하여, 제1시점화상과 제2시점화상에 대하여, 흠 보정이나 셰이딩 보정등의 보정처리를 행하여서, 출력 화상을 생성한다. 이하, 촬상 소자(107)에 의해 취득된 LF데이터(입력 화상)로부터, 촬상 화상에 근거하여, 제1시점화상과 제2시점화상에 대하여 보정처리를 행하여, 출력 화상을 생성하는 화상처리방법에 대해서, 도 9 및 도 10을 참조하여 설명한다. 또한, 도 9 및 도 10에 나타낸 단계들의 처리는, 특별히 설명하지 않는 한, CPU(121)가 제어 프로그램에 따라서 촬상 장치(100)의 부들을 제어할 때 구현된다.
● 촬상 화상 및 시점화상의 취득(S901 및 S902)
최초에, 촬상 장치(100)는, 촬상 소자(107)에 의해 취득된 LF데이터로부터, 결상 광학계의 다른 동공부분 영역을 합성하여서 형성된 동공영역에 대응하는 촬상 화상과, 제1동공부분 영역(501)에 대응한 제1시점화상을, 생성한다.
단계 S901에서, 촬상 장치(100)는, 촬상 화상을 취득한다. 보다 구체적으로는, 촬상 장치(100)는, 촬상 소자(107)를 사용하여 촬상을 행하여서, LF데이터를 취득한다. 혹은, 촬상 장치(100)는, 미리 플래쉬 메모리(133)에 보존된 LF데이터를 취득해도 좋다. 그리고, 촬상 장치(100)는, 결상 광학계의 다른 동공부분 영역(제1동공부분 영역과 제2동공부분 영역)을 합성하여 형성된 동공영역에 대응한 촬상 화상을 생성한다. 여기에서, LF데이터를 LF라고 한다. 또한, LF의 각 화소신호내에서의 열방향 is(1≤is≤Nx)번째, 행방향js(1≤js≤Ny)번째의 부화소 신호를, 제k 부화소신호라고 한다. 여기에서, k=Nx(js-1)+is(1≤k≤NLF)이다. 촬상 장치(100)는, 결상 광학계의 다른 동공부분 영역을 합성하여서 형성된 동공영역에 대응한, 열방향으로 i번째, 행방향으로 j번째의 촬상 화상I(j, i)를,
Figure pat00001
에 의해 생성한다.
본 실시예에서는, 촬상 화상I(j, i)의 S/N을 양호하게 보유하기 위해서, 촬상 장치(100)는, 각 부화소신호가 A/D변환되기 전에, 촬상 소자(107)의 정전용량부(FD)에 있어서, 식(1)의 각 부화소신호를 합성한다. 필요에 따라서, 촬상 장치(100)는, 각 부화소신호의 A/D변환전에, 촬상 소자(107)의 정전용량부(FD)에 축적된 전하를 전압신호로 변환할 때에, 식(1)의 각 부화소신호를 합성해도 좋다. 혹은, 필요에 따라서, 촬상 장치(100)는, 각 부화소신호가 A/D변환된 후에, 식(1)의 각 부화소신호를 합성해도 좋다.
또한, 이하의 설명에 있어서, 화소위치를 엄밀하게 고려할 필요가 없을 경우는, 촬상 화상I(j, i)는, "(j, i)"을 생략해서 간단히 "촬상 화상I"라고 하는 경우도 있다. 이것은 후술하는 "제k 시점화상Ik(j, i)"등에도 적용한다.
상술한 대로, 본 실시예에서는, Nx=2, Ny=1, NLF=2의 x방향으로 2분할의 예를 사용해서 설명을 행한다. 촬상 장치(100)는, 도 2에 나타낸 화소배열에 대응한 LF데이터로부터, 화소마다, 제1부화소(201)와 제2부화소(202)의 신호를 합성하고, 화소수N(=수평화소수NH×수직화소수NV)의 해상도를 가지는 베이어(Bayer) 배열의 RGB신호로부터 형성된 촬상 화상을 생성한다.
본 실시예에서는, 시점화상의 보정처리에 있어서 촬상 화상을 보정기준의 참조 화상으로서 사용하기 위해서, 촬상 장치(100)는, 촬상 화상I(j, i)의 RGB성분마다의 셰이딩(광량) 보정, 점 흠 보정 등을 행한다. 필요에 따라서, 촬상 장치(100)는, 그 밖의 처리를 행해도 좋다.
다음에, 단계 S902에서, 촬상 장치(100)는, 결상 광학계의 제k동공부분 영역에 대응한, 열방향 i번째와 행방향j번째의 제k시점화상Ik(j, i)을,
Figure pat00002
에 의해 생성한다.
상술한 대로, 본 실시예에서는, Nx=2, Ny=1, NLF=2의 x방향으로 2분할의 예를 사용해서 설명을 행한다. 또한, k=1이라고 가정한다. 촬상 장치(100)는, 도 2에 나타낸 화소배열에 대응한 LF데이터로부터, 화소마다, 제1부화소(201)의 신호를 취득한다. 다시 말해, 촬상 장치(100)는, 결상 광학계의 제1동공부분 영역(501)에 대응한, 화소수N(=수평화소수NH×수직화소수NV)의 해상도를 가지는 베이어 배열의 RGB신호로부터 형성된 제1시점화상I1(j, i)을 생성한다. 필요에 따라서, 촬상 장치(100)는, k=2를 선택하고, 결상 광학계의 제2동공부분 영역(502)에 대응한 제2시점화상I2(j, i)을 생성해도 좋다.
이와 같이, 촬상 장치(100)는, 촬상 소자(107)에 의해 취득된 LF데이터로부터, 베이어 배열의 RGB신호로부터 형성된 촬상 화상I(j, i)와, 베이어 배열의 RGB신호로부터 형성된 제1시점화상I1(j, i)을 생성하여, 플래쉬 메모리(133)에 보존한다. 본 실시예에서는, 촬상 장치(100)는, 촬상 화상I(j, i)와 제1시점화상I1(j, i)으로부터, 제2시점화상I2(j, i)을 생성한다. 이에 따라, 촬상 화상I(j, i)에 대하여는, 각 화소의 광전변환부가 분할되지 않고 있는 종래의 촬상 소자(107)에서 취득된 촬상 화상과 같은 화상처리를 행할 수 있다. 그렇지만, 필요에 따라서, 각 시점화상에 대해 동일한 처리를 행하기 위해서, 촬상 장치(100)는, LF데이터로부터 제1시점화상I1(j, i)과 제2시점화상I2(j, i)를 생성하고, 플래쉬 메모리(133)에 보존해도 좋다.
● 시점화상의 셰이딩 보정처리(S903 내지 S907)
계속해서, 촬상 장치(100)는, 촬상 화상I(j, i)에 근거하여, 제1시점화상 I1(j, i)의 RGB성분마다의 셰이딩(광량)보정을 행한다. 여기에서, 제1시점화상과 제2시점화상의 동공 어긋남에 의해 생긴 셰이딩에 대해서 설명한다. 도 11a 내지 11c는, 촬상 소자(107)의 주변 상높이에 있어서의, 제1광전변환부(301)가 수광하는 제1동공부분 영역(501)과, 제2광전변환부(302)가 수광하는 제2동공부분 영역(502)과, 결상 광학계의 사출동공(400)과의 관계를 나타낸다. 도 4와 동일한 참조번호는, 도 11a 내지 11c에 동일 또는 유사한 요소를 의미한다. 제1광전변환부(301)와 제2광전변환부(302)는, 각각, 제1부화소(201)와 제2부화소(202)에 대응한다.
도 11a는, 결상 광학계의 사출동공거리D1과 촬상 소자(107)의 설정 동공거리Ds가 같은 경우를 나타낸다. 이 경우, 제1동공부분 영역(501)과 제2동공부분 영역(502)에 의해, 결상 광학계의 사출동공(400)이, 거의 균등하게 분할된다. 도 11b는 결상 광학계의 사출동공거리D1이 촬상 소자(107)의 설정 동공거리Ds보다 짧은 경우를 나타낸다. 이 경우, 촬상 소자(107)의 주변 상높이에서는, 결상 광학계의 사출동공(400)과 촬상 소자(107)의 입사 동공과의 사이에서 동공 어긋남이 생기고, 결상 광학계의 사출동공(400)이 불균일하게 분할된다. 도 11c는, 결상 광학계의 사출동공거리D1이 촬상 소자(107)의 설정 동공거리Ds보다 긴 경우를 나타낸다. 이 경우도, 촬상 소자(107)의 주변 상높이에서 결상 광학계의 사출동공(400)과 촬상 소자(107)의 입사 동공의 동공 어긋남이 생기고, 결상 광학계의 사출동공(400)이 불균일하게 분할된다. 주변 상높이에서 동공분할이 불균일해지는 경우에, 제1시점화상과 제2시점화상의 강도도 불균일하다. 제1시점화상과 제2시점화상의 어느 한쪽의 강도가 보다 높고 다른 쪽의 강도가 보다 작은 셰이딩이, RGB 성분 각각에 대해 생긴다.
본 실시예에서는, 촬상 장치(100)는, 고품질의 시점화상을 생성하기 위해서, 촬상 화상I(j, i)을 기준의 참조 화상으로서 사용하여, 제1시점화상I1의 RGB성분마다의 셰이딩(광량)보정을 행한다.
단계 S903에서, 촬상 장치(100)는, 촬상 화상I(j, i)와 제1시점화상I1(j, i)의 모두에서, 비포화와 비결함(비흠)인 유효화소V1(j, i)를 검출한다. 촬상 화상I(j, i)와 제1시점화상I1(j, i)의 모두에서, 비포화와 비결함인 유효화소는, V1(j, i)=1로서 정의된다. 한편, 촬상 화상I(j, i)와 제1시점화상I1(j, i)의 적어도 한쪽에서 비포화 또는 비결함인 비유효 화소는, V1(j, i)=0으로서 정의된다. 제k시점화상Ik의 셰이딩(광량)보정의 경우는, 마찬가지로, 촬상 화상I(j, i)와 제k시점화상Ik(j, i)의 모두에서, 비포화 및 비결함인 유효화소를 Vk(j, i)=1로서 정의한다.
포화 판정에 대해서 상세하게 설명한다. 촬상 신호의 포화 판정역치를 IS라고 한다. 촬상 장치(100)는, 촬상 화상I(j, i)>IS의 경우, 촬상 화상I(j, i)을 포화라고 판정하고, 촬상 화상I(j, i)≤IS의 경우, 촬상 화상I(j, i)을 비포화라고 판정한다. 마찬가지로, 제k시점화상의 포화 판정역치를 ISk라고 한다. 촬상 장치(100)는, 제k시점화상Ik(j, i)>ISk의 경우, 제k시점화상Ik(j, i)을 포화라고 판정한다. 촬상 장치(100)는, 제k시점화상Ik(j, i)≤ISk의 경우, 제k시점화상Ik(j, i)을 비포화라고 판정한다. 제k시점화상의 포화 판정역치ISk는, 촬상 신호의 포화 판정역치IS이하(ISk≤IS)이다.
또한, 유효화소의 정의는, "비포화 및 비결함"에 한정되지 않는다. 촬상 장치(100)는, 어떠한 기준에 근거하여, 촬상 화상 및 시점화상의 양쪽에 있어서 유효한 값을 가지는 화소를, 유효화소로서 판정한다. 화소가 유효한 값을 갖는가 아닌가를 판독하는 기준으로서, 예를 들면, 화소가 포화 화소인가 아닌가와, 화소가 결함화소인가 아닌가 중 적어도 한쪽을 사용할 수 있다.
본 실시예에 따른 촬상 소자(107)는, 각 화소의 제1광전변환부(301)와 제2광전변환부(302) 중 한쪽에 축적된 전하가 포화되었을 경우에, 화소외가 아니고, 동일화소의 다른 광전변환부(부화소)에 전하가 누설하도록 구성된다. 이 현상을 전하 크로스토크라고 부른다. 부화소의 한쪽(예를 들면, 제2부화소)이 포화되고, 부화소간(예를 들면, 제2부화소로부터 제1부화소까지)의 전하 크로스토크가 생기는 경우를 생각한다. 이 경우, 전하의 오버플로우원의 부화소(예를 들면, 제2부화소)에서도, 전하의 누설처의 부화소(예를 들면, 제1부화소)에서도, 입사 광량에 대한 축적 전하량의 선형관계가 유지되지 않고, 셰이딩을 정확히 검출하는데 필요한 정보가 포함될 수 없다.
고 ISO에 비교하여, 저 ISO에서, 광전변환부에 축적된 전하량이 상대적으로 크고, 전하 크로스토크가 상대적으로 생기기 쉽다. 따라서, 본 실시예에서는, 저 ISO에서의 촬상 신호의 포화 판정역치IS가, 고 ISO에서의 촬상 신호의 포화 판정역치IS보다 작은 것이 바람직하다. 또한, 저 ISO에서의 제k시점화상의 포화 판정역치ISk가, 고 ISO에서의 제k시점화상의 포화 판정역치ISk보다 작은 것이 바람직하다.
또한, 결상 광학계의 사출동공거리가, 제1의 소정 동공거리보다 짧고(또는, 제2의 소정 동공거리보다 길고), 결상 광학계의 사출동공(400)과 촬상 소자(107)의 입사 동공간의 동공 어긋남에 의해 셰이딩이 생기는 경우를 생각한다. 이 경우, 주변 상높이에서, 제1시점화상과 제2시점화상의 한쪽의 강도가 높고, 다른쪽의 강도가 낮고, 전하 크로스토크가 생기기 쉽다. 따라서, 포화 화소의 검출 정밀도 향상을 위해, 사출동공거리가 제1의 소정 동공거리보다 짧은(또는, 제2의 소정 동공거리보다 긴) 경우의 포화 판정역치IS가, 사출동공거리가 제1의 소정 동공거리이상으로부터 제2의 소정 동공거리이하까지의 범위내에 있는 경우의 포화 판정역치IS보다 작은 것이 바람직하다. 또한, 사출동공거리가 제1의 소정 동공거리보다 짧은(또는, 제2의 소정 동공거리보다 긴) 경우의 제k시점화상의 포화 판정역치ISk가, 사출동공거리가 제1의 소정 동공거리이상으로부터 제2의 소정 동공거리이하까지의 범위내에 있는 경우의 포화 판정역치ISk보다 작은 것이 바람직하다.
다음에, 단계 S904 및 S905에서, 촬상 장치(100)는, 촬상 화상 및 제1시점화상에 대해서, 색별로 투영 처리를 행한다. 여기에서, 정수j2(1≤j2≤NV/2), i2(1≤i2≤NH/2)가 설정된다. 도 2에 나타낸 베이어 배열에 대응하는 촬상화상I의 R성분을 RI(2j2-1, 2i2-1)=I(2j2-1, 2i2-1), Gr성분을 GrI(2j2-1, 2i2)=I(2j2-1, 2i2)이라고 한다. 또한, Gb성분을 GbI(2j2, 2i2-1)=I(2j2, 2i2-1), B성분을 BI(2j2, 2i2)=I(2j2, 2i2)이라고 한다.
마찬가지로, 도 2에 나타낸 베이어 배열에 대응하는 제k시점화상Ik의 R성분을 RIk(2j2-1, 2i2-1)=Ik(2j2-1, 2i2-1), Gr성분을 GrIk(2j2-1, 2i2)=Ik(2j2-1, 2i2)이라고 한다. 또한, Gb 성분을 GbIk(2j2, 2i2-1)=Ik(2j2, 2i2-1), B성분을 BIk(2j2, 2i2)=Ik(2j2, 2i2)이라고 한다.
단계 S904에서, 촬상 장치(100)는, 촬상 화상의 RI(2j2-1, 2i2-1), GrI(2j2-1, 2i2), GbI(2j2, 2i2-1), BI(2j2, 2i2)에 대해서, 투영 처리를 행한다. 촬상 장치(100)는,
Figure pat00003
Figure pat00004
Figure pat00005
Figure pat00006
에 따라, 동공분할 방향(x방향)과 직교하는 방향(y방향)으로 투영 처리를 행한다. 그 결과, 촬상 화상의 투영 신호RP(2i2-1), GrP(2i2), GbP(2i2-1), BP(2i2)가 생성된다. 포화 신호 값이나 결함신호 값에는, 촬상 화상의 RGB성분마다의 셰이딩을 정확히 검출하는데 필요한 정보가 포함되어 있지 않다. 이 때문에, 투영 처리에 있어서는, 촬상 화상과 유효화소Vk과의 적을 산출하는 것에 의해, 포화 신호 값이나 결함신호 값이 제외된다(식(3A) 내지 식(3D)의 상측의 분자). 그리고, 투영 처리에 사용된 유효화소수로 규격화가 행해진다(식(3A) 내지 식(3D)의 상측의 분모). 투영 처리에 사용된 유효화소수가 0의 경우, 식(3A) 내지 식(3D)의 하측에 근거하여, 촬상 화상의 투영 신호는 0으로 설정된다. 또한, 촬상 화상의 투영 신호가 노이즈의 영향등 때문에 부신호인 경우, 촬상 화상의 투영 신호는 0으로 설정된다.
마찬가지로, 단계 S905에서는, 촬상 장치(100)는, 제k시점화상의 RIk(2j2-1, 2i2-1), GrIk(2j2-1, 2i2), GbIk(2j2, 2i2-1), BIk(2j2, 2i2)에 대해서, 투영 처리를 행한다. 촬상 장치(100)는,
Figure pat00007
Figure pat00008
Figure pat00009
Figure pat00010
에 따라, 동공분할 방향(x방향)과 직교하는 방향(y방향)으로 투영 처리를 행한다. 그 결과, 제k시점화상의 투영 신호RPk(2i2-1), GrPk(2i2), GbPk(2i2-1), BPk(2i2)가 생성된다.
식(3A) 내지 식(3D)로부터 이해할 수 있듯이, 단계 S904의 투영 처리는, 동공분할 방향에 직교하는 방향으로 배치된 촬상 화상I의 화소군(비유효화소를 제외한다)의 합을 산출하는 처리다. 합의 산출은 색마다 행해지고(즉, 화소군은, 전체 화소가 단일 색에 대응하도록 결정되고), 합은 정규화를 위해 유효화소의 수로 제산된다. 또한, 식(3E) 내지 식(3H)로부터 이해할 수 있듯이, 단계 S905의 투영 처리는, 동공분할 방향에 직교하는 방향으로 배치된 제1시점화상I1의 화소군(비유효화소를 제외한다)의 합을 산출하는 처리다. 합의 산출은 색마다 행해지고(즉, 화소군은, 전체 화소가 단일 색에 대응하도록 결정되고), 합은 정규화를 위해 유효화소의 수로 제산된다.
식(3A) 내지 식(3D)의 투영 처리후, 촬상 장치(100)는, 평활화를 위해, 촬상 화상의 투영 신호RP(2i2-1), GrP(2i2), GbP(2i2-1), BP(2i2)에, 로패스 필터처리를 행한다. 마찬가지로, 식(3E) 내지 식(3H)의 투영 처리후, 촬상 장치(100)는, 평활화를 위해, 제k시점화상의 투영 신호RPk(2i2-1), GrPk(2i2), GbPk(2i2-1), BPk(2i2)에 대해 로패스 필터처리를 행한다. 그렇지만, 그 로패스 필터처리는 생략해도 좋다.
도 12a에, 촬상 화상의 투영 신호RP(R), GrP(G), GbP(G), BP(B)의 예를, 도 12b에, 제1시점화상의 투영 신호RP1(R), GrP1(G), GbP1(G), BP1(B)의 예를 나타낸다. 각 투영 신호는, 피사체에 의존한 복수의 피크(peak)와 밸리(valley)를 갖는다. 제1시점화상I1의 셰이딩(광량) 보정을 정밀하게 행하기 위해서는, 동공 어긋남에 의해 생성된 제1시점화상I1의 RGB성분마다의 셰이딩 성분과, RGB성분에 대한 피사체의 신호 성분을 분리할 필요가 있다.
이 분리를 위해, 단계 S906에서, 촬상 장치(100)는, 기준으로서 촬상 화상I에 상대적인 RGB성분의 제k시점화상Ik의 셰이딩 신호RSk(2i2-1), GrSk(2i2), GbSk(2i2-1), BSk(2i2)을 산출한다. 이 산출은,
Figure pat00011
Figure pat00012
Figure pat00013
Figure pat00014
에 의해 행해진다.
여기서, 화소의 수광량은, 부화소의 수광량보다 클 필요가 있다. 또한, 셰이딩 성분을 산출하기 위해서는, 부화소의 수광량이 0보다 클 필요가 있다. 그 때문에, 촬상 장치(100)는, 식(4A)에 따라 조건 RP(2i2-1)>RPk(2i2-1)>0을 만족시킬 경우, 제k시점화상의 R성분의 투영 신호RPk(2i2-1)과, 촬상 화상의 R성분의 투영 신호RP(2i2-1)와의 비율을 취득한다. 그리고, 촬상 장치(100)는, 취득한 비율에 대하여, 규격화를 위해 동공분할수 NLF를 승산하고, 제k시점화상Ik의 R성분의 셰이딩 신호RSk(2i2-1)을 생성한다. 이에 따라, 피사체의 R 신호 성분을 상쇄하고, 제k시점화상Ik의 R 셰이딩 성분을 분리할 수 있다. 한편, 조건 RP(2i2-1)>RPk(2i2-1)>0을 만족시키지 않을 경우, 촬상 장치(100)는, 제k시점화상Ik의 R성분의 셰이딩 신호RSk(2i2-1)을 0으로 설정한다.
마찬가지로, 촬상 장치(100)는, 식(4B)에 따라, 조건GrP(2i2)>GrPk(2i2)>0을 만족시킬 경우, 제k시점화상의 Gr성분의 투영 신호GrPk(2i2)와, 촬상 화상의 Gr성분의 투영 신호GrP(2i2)와의 비율을 취득한다. 그리고, 촬상 장치(100)는, 취득한 비율에 대하여, 규격화를 위해 동공분할수 NLF를 승산하여서, 제k시점화상Ik의 Gr성분의 셰이딩 신호GrSk(2i2)을 생성한다. 이에 따라, 피사체의 Gr 신호 성분을 상쇄하고, 제k시점화상Ik의 Gr 셰이딩 성분을 분리할 수 있다. 한편, 조건GrP(2i2)>GrPk(2i2)>0을 만족시키지 않을 경우, 촬상 장치(100)는, 제k시점화상Ik의 Gr성분의 셰이딩 신호GrSk(2i2)을 0으로 설정한다.
마찬가지로, 촬상 장치(100)는, 식(4C)에 따라, 조건GbP(2i2-1)>GbPk(2i2-1)>0을 만족시킬 경우, 제k시점화상의 Gb성분의 투영 신호GbPk(2i2-1)과, 촬상 화상의 Gb성분의 투영 신호GbP(2i2-1)와의 비율을 취득한다. 그리고, 촬상 장치(100)는, 취득한 비율에 대하여, 규격화를 위해 동공분할수NLF를 승산하여서, 제k시점화상Ik의 Gb성분의 셰이딩 신호GbSk(2i2-1)을 생성한다. 이에 따라, 피사체의 Gb 신호 성분을 상쇄하고, 제k시점화상Ik의 Gb 셰이딩 성분을 분리할 수 있다. 한편, 조건GbP(2i2-1)>GbPk(2i2-1)>0을 만족시키지 않을 경우, 촬상 장치(100)는, 제k시점화상Ik의 Gb성분의 셰이딩 신호GbSk(2i2-1)을 0으로 설정한다.
마찬가지로, 촬상 장치(100)는, 식(4D)에 따라, 조건BP(2i2)>BPk(2i2)>0을 만족시킬 경우, 제k시점화상의 B성분의 투영 신호BPk(2i2)과, 촬상 화상의 B성분의 투영 신호BP(2i2)과의 비율을 취득한다. 그리고, 촬상 장치(100)는, 취득한 비율에 대하여, 규격화를 위해 동공분할수NLF를 승산하여서, 제k시점화상Ik의 B성분의 셰이딩 신호BSk(2i2)을 생성한다. 이에 따라, 피사체의 B 신호 성분을 상쇄하고, 제k시점화상Ik의 B의 셰이딩 성분을 분리할 수 있다. 한편, 조건BP(2i2)>BPk(2i2)>0을 만족시키지 않을 경우, 촬상 장치(100)는, 제k시점화상Ik의 B성분의 셰이딩 신호BSk(2i2)을 0으로 설정한다.
또한, 셰이딩 보정을 정밀하게 하기 위해서는, 유효한 셰이딩 신호수가 소정값이상일 경우에, 셰이딩 보정을 행하는 것이 바람직하다. 즉, RSk(2i2-1)>0, GrSk(2i2)>0, GbSk(2i2-1)>0, 또는 BSk(2i2)>0을 만족시키는 유효한 셰이딩 신호수가 소정값이상일 경우에, 셰이딩 보정을 행하는 것이 바람직하다.
식(4A) 내지 식(4D)로부터 이해할 수 있듯이, 셰이딩 신호는, 동공분할 방향에 직교하는 방향으로 배치된 제1시점화상I1의 화소군의 합과, 이 화소에 대응하는 위치의 촬상 화상의 화소군의 합과의 비율에 관계되는 값이다.
셰이딩 신호의 생성에 계속되어, 촬상 장치(100)는
Figure pat00015
Figure pat00016
Figure pat00017
Figure pat00018
에 따라, RGB성분에 대한 제k시점화상Ik의 셰이딩 함수RSFk(2i2-1), GrSFk(2i2), GbSFk(2i2-1), 및 BSFk(2i2)를, 동공분할 방향(x방향)의 위치 변수에 대한 원활한 제NSF차의 다항식 함수로서 얻는다. 또한, 촬상 장치(100)는, 식(4A) 내지 식(4D)에 의해 생성된, RSk(2i2-1)>0, GrSk(2i2)>0, GbSk(2i2-1)>0, 또는 BSk(2i2)>0을 만족시키는 유효한 셰이딩 신호를, 데이터 점으로 한다. 촬상 장치(100)는, 이것들의 데이터 점을 사용해서 최소 제곱법에 의한 파라미터 피팅을 행하고, 식(5A) 내지 식(5D)의 각 계수RSCk(μ), GrSCk(μ), GbSCk(μ), BSCk(μ)을 산출한다. 이와 같이 하여, 기준으로서 촬상 화상에 대한 RGB성분의 제k시점화상Ik의 셰이딩 함수RSFk(2i2-1), GrSFk(2i2), GbSFk(2i2-1), BSFk(2i2)이 생성된다.
셰이딩 함수RSFk, GrSFk, GbSFk, BSFk을, 동공분할 방향(x방향)으로 반전해서 얻어진 함수를, 각각, R[RSFk], R[GrSFk], R[GbSFk], R[BSFk]로서 정의한다. 소정 허용 값을 ε(0<ε<1)로 한다. 촬상 장치(100)는, 1-ε≤RSFk+R[RSFk］≤1+ε, 1-ε≤GrSFk+R[GrSFk］≤1+ε, 1-ε≤GbSFk+R[GbSFk］≤1+ε, 1-ε≤BSFk+R[BSFk］≤1+ε의 조건이, 각 위치에서 모두 만족시켜지는지를 판정한다. 각 조건이 각 위치에서 모두 만족시켜질 경우, 촬상 장치(100)는, 생성된 셰이딩 함수가 적정하다고 판정하고, 식(6A) 내지 식(6D)에 따른 셰이딩 보정처리(후술)를 행한다. 그렇지 않은 경우, 촬상 장치(100)는, 생성된 셰이딩 함수는 부적정하다고 판정하고, RSFk≡1, GrSFk≡1, GbSFk≡1, BSFk≡1로 하고, 필요에 따라서, 예외처리를 행한다.
도 12c에, 기준으로서 촬상 화상I에 대한 RGB성분의 제1시점화상I1의 셰이딩 함수RSF1(R), GrSF1(G), GbSF1(G), BSF1(B)의 예를 나타낸다. 도 12b에 나타낸 제1시점화상I1의 투영 신호와, 도 12a에 나타낸 촬상 화상I의 투영 신호에서는, 피사체에 의존한 피크와 밸리가 존재한다. 그렇지만, 제1시점화상I1의 투영 신호와 촬상 화상I의 투영 신호와의 비율을 얻는 것에 의해, 피사체에 의존한 피크와 밸리(피사체의 RGB성분의 신호 값)를 상쇄할 수 있다. 이에 따라, 원활한 제1시점화상I1의 RGB성분마다의 셰이딩 함수를 분리하여 생성할 수 있다.
이때, 본 실시예에서는, 셰이딩 함수로서 다항식함수를 사용한다. 그렇지만, 본 발명은, 이것에 한정되지 않고, 필요에 따라서, 셰이딩 형상에 맞추어, 보다 일반적인 함수를 사용해도 좋다.
다음에, 단계 S907에서, 촬상 장치(100)는, RGB성분에 대한 셰이딩 함수를 사용하여, 제k시점화상Ik(j, i)에 대하여 셰이딩(광량)보정처리를 행하여서, 제1수정 제k시점화상M1Ik(j, i)을 생성한다. 셰이딩 보정처리는,
Figure pat00019
Figure pat00020
Figure pat00021
Figure pat00022
에 따라 행해진다. 여기에서, 베이어 배열의 제1수정 제k시점화상M1Ik의 R성분을 RM1Ik(2j2-1, 2i2-1)＝M1Ik(2j2-1, 2i2-1), Gr성분을 GrM1Ik(2j2-1, 2i2)=M1Ik(2j2-1, 2i2)로 한다. 또한, Gb성분을 GbM1Ik(2j2, 2i2-1)=M1Ik(2j2, 2i2-1), B성분을 BM1Ik(2j2, 2i2)=M1Ik(2j2, 2i2)로 한다.
본 실시예에서는, 촬상 장치(100)는, 촬상 화상과 시점화상에 근거하여, 촬상 화상의 피사체에 의한 신호 변화와, 시점화상의 피사체에 의한 신호 변화를 상쇄하고, RGB성분에 대한 셰이딩 함수를 산출한다. 그리고, 촬상 장치(100)는, 셰이딩 함수의 역수에 의해, RGB성분의 각각에 대한 셰이딩 보정량(광량보정량)을 산출한다. 그리고, 촬상 장치(100)는, 산출한 셰이딩 보정량(광량보정량)에 근거하여, 시점화상의 셰이딩(광량) 보정처리를 행한다.
본 실시예에서는, 동공분할 방향에 직교하는 방향으로 배치된 제1시점화상I1의 화소군의 합과, 그 화소에 대응하는 위치의 촬상 화상의 화소군의 합과의 비율을 이용함에 의해, 피사체에 의한 신호 변화가 상쇄된다. 동공분할 방향에 직교하는 방향의 합을 이용할 경우, 동공분할 방향의 시차정보의 손실을 억제하면서, 피사체에 의한 신호 변화를 상쇄할 수 있다.
이하, 도 13 내지 도 15를 참조하여, 도 9의 단계 S903 내지 단계 S907에 나타낸 제1시점화상I1의 RGB성분마다의 셰이딩(광량)보정처리의 효과를 설명한다. 도 13은, 촬상 화상I(디모자이킹 후)의 예를 나타낸다. 이것은, 고품질의 촬상 화상의 예다. 도 14는, 셰이딩 보정전의 제1시점화상I1(디모자이킹 후)의 예를 나타낸다. 이것은, 결상 광학계의 사출동공(400)과 촬상 소자(107)의 입사 동공간의 동공 어긋남에 의해 RGB성분마다의 셰이딩이 생기고, 제1시점화상I1의 우측에 있어서 휘도의 저하와 RGB비율의 변조가 일어나는 예이다. 도 15는, 본 실시예에 따른 셰이딩 보정후의 제1수정 제1시점화상M1I1(디모자이킹 후)의 예를 나타낸다. 촬상 화상에 근거한 RGB마다의 셰이딩 보정에 의해, 휘도의 저하와 RGB비율의 변조가 수정되어, 촬상 화상I처럼 고품질의 셰이딩 보정후의 제1수정 제1시점화상M1I1이 생성된다.
이상의 처리에 의해 생성된 제1수정 제k시점화상M1Ik은, 다음에 설명하는 흠 보정처리에 사용된다. 그렇지만, 필요에 따라서, 촬상 장치(100)는, 제1수정 제k시점화상M1Ik을 출력 화상으로서 플래쉬 메모리(133)에 기억해도 좋다.
● 시점화상의 흠 보정처리(S908)
단계 S908에서, 촬상 장치(100)는, 촬상 화상I에 근거하여, 제1수정 제k시점화상M1Ik의 결함보정(흠 보정)을 행한다. 상술한 대로, k=1인 것으로서 설명을 행한다. 본 실시예에서는, 촬상 소자(107)의 회로 구성이나 구동방식에 따라, 예를 들면, 전송 게이트의 단락 때문에, 촬상 화상I은 정상이지만, 제1시점화상I1의 일부분에 결함신호가 생기고, 점결함이나 조리개-셔터이 되는 경우가 있다. 필요에 따라서, 촬상 장치(100)는, 양산 공정등에서 검사된 점결함 정보나 선결함 정보를, 화상처리 회로(125)등에 사전에 기록하고, 기록된 점결함 정보나 선결함 정보를 사용해서 제1시점화상I1의 결함보정처리를 행해도 좋다. 또한, 필요에 따라서, 촬상 장치(100)는, 제1시점화상I1을 실시간으로 검사해서 점결함 판정이나 선결함 판정을 행해도 좋다.
제k시점화상Ik의 홀수행2jD-1 또는 짝수행2jD가 수평방향(x방향)의 선결함이라고 판정되고, 촬상 화상I의 홀수행2jD-1 또는 짝수행2jD는 선결함이라고 판정되지 않는 예를 사용하여서, 단계 S908의 결함보정을 설명한다.
촬상 장치(100)는, 정상적인 촬상 화상I를 참조 화상으로서 사용하여, 촬상 화상I에 근거하여, 제1수정 제k시점화상M1Ik의 결함보정을 행한다. 본 실시예에 따른 결함보정에서는, 결함이라고 판정되지 않은 위치의 제1수정 제k시점화상M1Ik의 신호 값과, 결함이라고 판정되지 않은 위치의 촬상 화상I의 신호 값을 비교해서 결함보정을 행한다. 이 비교를 행할 때에, 동공 어긋남에 의해 생성된 제k시점화상Ik의 RGB성분마다의 셰이딩 성분의 영향을 제거하는 것이, 정밀도 향상을 위해 중요하다. 이것은, 제k시점화상Ik과 촬상 화상I간에, 피사체의 RGB 신호 성분을 정확하게 비교하는 것이 정밀한 결함보정을 위해 필요하기 때문이다. 그 때문에, 결함보정에 있어서는, (제k시점화상Ik이 아닌) 제1수정 제k시점화상M1Ik을 사용한다.
촬상 장치(100)는, 제1수정 제k시점화상M1Ik(j, i)의 결함신호에 대하여, 촬상 화상I의 정상신호와, 제1수정 제k시점화상M1Ik의 정상신호를 사용하여, 결함보정처리를 행한다. 결함보정후의 제k시점화상을, 제2수정 제k시점화상M2Ik(j, i)이라고 한다. 결함보정은,
Figure pat00023
Figure pat00024
Figure pat00025
Figure pat00026
에 따라 행해진다. 여기에서, 베이어 배열의 제2수정 제k시점화상M2Ik의 R성분을 RM2Ik(2j2-1, 2i2-1)=M2Ik(2j2-1, 2i2-1), Gr성분을 GrM2Ik(2j2-1, 2i2)=M2Ik(2j2-1, 2i2)로 한다. 또한, Gb성분을 GbM2Ik(2j2, 2i2-1)=M2Ik(2j2, 2i2-1), B성분을 BM2Ik(2j2, 2i2)=M2Ik(2j2, 2i2)로 한다.
제1수정 제k시점화상M1Ik의 R성분의 제1위치(2jD-1, 2iD-1)이 결함으로서 판정되었을 경우, 촬상 장치(100)는 식(7A)에 따라서 결함보정처리를 행하고, 제1위치에 있어서의 제2수정 제k시점화상RM2Ik(2jD-1, 2iD-1)을 생성한다. 식(7A)에 있어서, τ 및 σ의 값으로서, R성분의 제1수정 제k시점화상RM1Ik에 있어서 결함으로서 판정되지 않은 위치(제2위치)에 대응하는 값만이 사용된다.
마찬가지로, 제1수정 제k시점화상M1Ik의 Gr성분의 제1위치(2jD-1, 2iD)이 결함으로서 판정되었을 경우, 촬상 장치(100)는 식(7B)에 따라서 결함보정처리를 행하고, 제1위치에 있어서의 제2수정 제k시점화상GrM2Ik(2jD-1, 2iD)을 생성한다. 식(7B)에 있어서, τ 및 σ의 값으로서, Gr성분의 제1수정 제k시점화상GrM1Ik에 있어서 결함으로서 판정되지 않은 위치(제2위치)에 대응하는 값만이 사용된다.
마찬가지로, 제1수정 제k시점화상M1Ik의 Gb성분의 제1위치(2jD, 2iD-1)가 결함으로서 판정되었을 경우, 촬상 장치(100)는 식(7C)에 따라서 결함보정처리를 행하고, 제1위치에 있어서의 제2수정 제k시점화상GbM2Ik(2jD, 2iD-1)을 생성한다. 식(7C)에 있어서, τ 및 σ의 값으로서, Gb성분의 제1수정 제k시점화상GbM1Ik에 있어서 결함으로서 판정되지 않은 위치(제2위치)에 대응하는 값만이 사용된다.
마찬가지로, 제1수정 제k시점화상M1Ik의 B성분의 제1위치(2jD, 2iD)가 결함으로서 판정되었을 경우, 촬상 장치(100)는 식(7D)에 따라서 결함보정처리를 행하고, 제1위치에 있어서의 제2수정 제k시점화상BM2Ik(2jD, 2iD)을 생성한다. 식(7D)에 있어서, τ 및 σ의 값으로서, B성분의 제1수정 제k시점화상BM1Ik에 있어서 결함으로서 판정되지 않은 위치(제2위치)에 대응하는 값만이 사용된다.
제1수정 제k시점화상M1Ik에 있어서 결함으로서 판정되지 않은 위치(j, i)에 대해서는, 제2수정 제k시점화상M2Ik(j, i)은, 제1수정 제k시점화상M1Ik(j, i)과 같은 신호 값을 갖는다. 다시 말해, M2Ik(j, i)=M1Ik(j, i)이다.
이하, 도 16 및 도 17을 참조하여, 단계 S908에 나타낸 제1수정 제1시점화상 M1I1의 결함보정처리의 효과를 설명한다. 도 16은, 결함보정전의 제1수정 제1시점화상M1I1(셰이딩 후, 디모자이킹 후)의 예를 나타낸다. 이것은, 제1수정 제1시점화상M1I1의 중앙부에, 수평방향(x방향)의 선형 결함(선결함)이 생성된 예다. 도 17은, 결함보정후의 제2수정 제1시점화상M2I1(셰이딩 후, 디모자이킹 후)의 예를 나타낸다. 정상적인 촬상 화상I에 근거한 결함보정에 의해, 수평방향(x방향)의 선결함이 수정되고, 촬상 화상I처럼 고품질을 갖는 결함보정후의 제2수정 제1시점화상M2I1이 생성되어 있다.
이상의 처리에 의해 생성된 제2수정 제k시점화상M2Ik은, 다음에 설명하는 재셰이딩 처리에 사용된다. 그렇지만, 필요에 따라서, 촬상 장치(100)는, 제2수정 제k시점화상M2Ik을 출력 화상으로서 플래쉬 메모리(133)에 기억해도 좋다.
● 시점화상의 재셰이딩 처리(S909)
단계 S909에서, 촬상 장치(100)는, 결함보정후의 제2수정 제k시점화상M2Ik(j, i)에 대하여,
Figure pat00027
Figure pat00028
Figure pat00029
Figure pat00030
에 따라서 재셰이딩 처리를 행하여서, 제3수정 제k시점화상M3Ik(j, i)을 생성한다. 여기에서, 베이어 배열의 제3수정 제k시점화상M3Ik의 R성분을 RM3Ik(2j2-1, 2i2-1)=M3Ik(2j2-1, 2i2-1), Gr성분을 GrM3Ik(2j2-1, 2i2)=M3Ik(2j2-1, 2i2)로 한다. 또한, Gb성분을 GbM3Ik(2j2, 2i2-1)=M3Ik(2j2, 2i2-1), B성분을 BM3Ik(2j2, 2i2)=M3Ik(2j2, 2i2)로 한다.
● 촬상 화상 및 시점화상의 포화 신호 처리(S910 및 S911)
다음에, 촬상 장치(100)는, 촬상 화상I(j, i)와, 제3수정 제k시점화상M3Ik에 대하여, 포화 신호 처리를 행한다. 계속해서, k=1, NLF=2의 예에 대해서 설명을 행한다.
단계 S910에서, 촬상 장치(100)는, 촬상 화상I(j, i)에 대하여, 촬상 신호의 최대치를 Imax로서 정의하면,
Figure pat00031
에 따라 포화 신호 처리를 행하여서, 수정 촬상 화상MI(j, i)를 생성한다. 여기에서, 촬상 신호의 최대치Imax와, 촬상 신호의 포화 판정역치IS는, Imax≥IS를 만족시킨다.
단계 S911에서, 촬상 장치(100)는, 제3수정 제k시점화상M3Ik(j, i)에 대하여,
Figure pat00032
에 따라 셰이딩 상태에 따른 포화 신호 처리를 행하여서, 제4수정 제k시점화상M4Ik(j, i)을 생성한다. 여기서, SFk(j, i)은, 식(5A) 내지 식(5D)에 의해 얻어진 베이어 배열의 셰이딩 함수이며, SFk(2j2-1, 2i2-1)=RSFk(2i2-1)이다. 또한, SFk(2j2-1, 2i2)=GrSFk(2i2), SFk(2j2, 2i2-1)=GbSFk(2i2-1), SFk(2j2, 2i2)=BSFk(2i2)이다.
● 제2시점화상의 생성 처리(S912)
단계 S912에서, 촬상 장치(100)는,
Figure pat00033
에 따라, 수정 촬상 화상MI(j, i) 및 제4수정 제1시점화상M4I1(j, i)로부터, 제2시점화상I2(j, i)을 생성한다.
본 실시예에서는, 촬상 소자(107)의 구동방식이나 A/D변환의 회로 구성에 따라, 제3수정 제1시점화상M3I1(j, i)의 포화시의 최대신호 값이, 촬상 화상I(j, i)의 포화시의 최대신호 값Imax과 동일한 경우가 있다. 그 경우에, 포화 신호 처리를 행하지 않고, 식(11)과 같이 촬상 화상I로부터 제3수정 제1시점화상M3I1을 감산해서 제2시점화상I2을 생성하는 경우를 가정한다. 이 가정에 있어서, 포화 신호 값을 가져야 하는 제2시점화상I2이 잘못된 신호 값0이 되어버릴 경우가 있다. 이 문제를 방지하기 위해서, 본 실시예에서는, 촬상 장치(100)는 미리 단계 S910 및 S911에 있어서, 촬상 화상I과 제3수정 제k시점화상M3Ik에 대하여 셰이딩 상태에 따른 포화 신호 처리를 행한다. 그리고, 촬상 장치(100)는, 포화 신호 처리에 의해 수정 촬상 화상MI 및 제4수정 제1시점화상M4I1이 생성된 후에, 단계 S912에서, 식(11)을 따라서 제2시점화상I2을 생성한다. 이에 따라, 보다 정확한 포화 신호 값에 대응한 제2시점화상I2을 생성할 수 있다.
● 제1시점화상 및 제2시점화상의 셰이딩 보정처리(S913 내지 S915)
다음에, 촬상 장치(100)는, 제4수정 제1시점화상M4I1(j, i)과, 제2시점화상I2(j, i)에 대하여, 셰이딩(광량)보정을 행한다.
단계 S913에서, 촬상 장치(100)는, 단계 S907과 같이 (식(6A) 내지 식(6D) 참조), 제4수정 제1시점화상M4I1에 대하여 셰이딩(광량)보정처리를 행하고, 제5수정 제1시점화상M5I1을 생성한다. 이때, 촬상 장치(100)는, 셰이딩 함수RSF1, GrSF1, GbSF1, BSF1로서, 이미 단계 S906에서 생성된 함수를 사용한다.
단계 S914에서, 촬상 장치(100)는, 단계 S903 내지 단계 S906과 같이 (식(3A) 내지 식(5D) 참조), 제2시점화상I2의 셰이딩 함수RSF2, GrSF2, GbSF2, BSF2을 생성한다. 단계 S915에서, 촬상 장치(100)는, 단계 S907과 같이 (식(6A) 내지 식(6D) 참조), 제2시점화상I2에 대하여, 단계 S914에서 생성한 셰이딩 함수를 사용한 셰이딩(광량)보정처리를 행하고, 제5수정 제2시점화상M5I2을 생성한다.
● 제1시점화상 및 제2시점화상의 포화 신호 처리(S916 및 S917)
단계 S916에서, 촬상 장치(100)는, 제5수정 제1시점화상M5I1(j, i)에 대하여,
Figure pat00034
에 따라 포화 신호 처리를 행하여서, 출력 화상인 최종수정 제1시점화상MI1(j, i)을 생성한다. 여기에서, 제k시점화상Ik의 최대치Imax/NLF와, 제k시점화상Ik의 포화 판정역치ISk은, Imzx/NLF≥ISk을 만족시킨다. 마찬가지로, 단계 S917에서, 촬상 장치(100)는, 제5수정 제2시점화상M5I2(j, i)에 대하여, 식(12)에 따라서 포화 신호 처리를 행하여서, 출력 화상인 최종수정 제2시점화상MI2(j, i)을 생성한다. 이때, "최종"수정의 용어는, 간편함을 기하기 위해 사용되고, 이후에 한층 더 일부의 수정을 행하는 것을 금지하는 것을 의미하지 않는다.
이하, 도 18 및 도 19를 참조하여, 도 9의 단계 S914 및 S915에 나타낸 제2시점화상I2의 RGB성분마다의 셰이딩(광량)보정처리의 효과를 설명한다. 도 18은, 셰이딩 보정전의 제2시점화상I2(디모자이킹 후)의 예를 나타낸다. 이것은, 결상 광학계의 사출동공(400)과 촬상 소자(107)의 입사 동공간의 동공 어긋남에 의해 RGB성분마다의 셰이딩이 생기고, 제2시점화상I2의 좌측에 있어서 휘도의 저하와 RGB비율의 변조가 생기고 있는 예다. 도 19는, 본 실시예에 따른 셰이딩 보정후의 최종수정 제2시점화상MI2(디모자이킹 후)의 예를 나타낸다. 촬상 화상에 근거한 RGB성분마다의 셰이딩 보정에 의해, 휘도의 저하와 RGB비율의 변조가 수정되어, 촬상 화상I처럼 고품질을 갖는 셰이딩 보정후의 최종수정 제2시점화상MI2(j, i)이 생성되어 있다.
이상 설명한 바와 같이, 제1의 실시예에 의하면, 촬상 장치(100)는, 촬상 화상을 사용해서 시점화상의 보정처리를 행한다. 이것은, 시점화상의 품질을 향상시킬 수 있다.
[제2의 실시예]
제2의 실시예에서는, 제1시점화상과 제2시점화상(제1시점화상으로부터 제NLF시점화상까지)으로부터, 제1시점화상과 제2시점화상의 상관(신호의 일치도)에 근거하여, 위상차 방식에 의해 디포커스량을 검출하는 초점검출 처리에 대해서 설명한다. 본 실시예에 있어서, 촬상 장치(100)의 기본적인 구성은, 제1의 실시예와 같다(도 1 참조). 이하, 주로 제1의 실시예와 다른 점에 대해서 설명한다.
우선, 촬상 장치(100)는, 베이어 배열의 RGB신호로부터 형성된 제k시점화상Ik(k=1∼NLF)로부터, 위치(j, i)마다, RGB성분의 색중심을 일치시켜서 제k시점휘도신호Yk를,
Figure pat00035
에 따라 생성한다.
다음에, 촬상 장치(100)는,
Figure pat00036
에 따라, 제k시점휘도신호Yk(k=1∼NLF)의 셰이딩 보정량Sk(i)을, 동공분할 방향(x방향)의 위치i에 대한 원활한 제Ns차의 다항식 함수로서 산출한다. 촬상 소자(107)의 광학특성(제k부화소마다의 동공강도분포)과, 결상 광학계의 광학특성(조리개 값F, 사출동공거리D1)에 근거하여, 각 계수SCk(μ｜F, D1)을 산출하여, (도시되지 않은) ROM등에 보존해 둔다.
추가로, 촬상 장치(100)는, 제k시점휘도신호Yk(j, i)에 대하여,
Figure pat00037
에 따라, 셰이딩 보정량Sk(i)을 사용한 셰이딩 보정처리를 행하여서, 수정 제k시점휘도신호MYk(j, i)을 생성한다.
촬상 장치(100)는, 생성된 수정 제1시점휘도신호MY1에 대하여, 동공분할 방향(열방향)으로, 1차원 밴드패스필터 처리를 행하여서, 제1초점검출 신호 dYA를 생성한다. 마찬가지로, 수정 제2시점휘도신호MY2에 대하여, 동공분할 방향(열방향)으로, 1차원 밴드패스필터 처리를 행하여서, 제2초점검출 신호 dYB를 생성한다. 또한, 1차원 밴드패스필터로서는, 예를 들면, 1차미분형 필터[1, 5, 8, 8, 8, 8, 5, 1, -1, -5, -8, -8, -8, -8, -5, -1]을 사용할 수 있다. 필요에 따라서, 1차원 밴드패스필터의 통과 대역을 조정해도 좋다.
다음에, 촬상 장치(100)는, 제1초점검출 신호 dYA와 제2초점검출 신호 dYB를, 상대적으로 동공분할 방향(열방향)으로 쉬프트시키고, 신호의 일치도를 의미하는 상관량을 산출하고, 산출된 상관량에 근거하여 상 어긋남량MDIS를 생성한다.
예를 들면, 초점검출 위치(jAF, iAF)를 중심으로 하여, 행방향 j2번째, 동공분할 방향인 열방향 i2번째의 제1초점검출 신호를 dYA(jAF+j2, iAF+i2), 제2초점검출 신호를 dYB(jAF+j2, iAF+i2)이라고 하고, 이때, j2는 -n2≤j2≤n2, i2은 -m2≤i2≤m2를 만족한다. 또한, 쉬프트량을 s(-ns≤s≤ns)이라고 한다. 그리고, 각 위치(jAF, iAF)에서의 상관량COREVEN(jAF, iAF, s) 및 상관량CORODD(j AF, iAF, s)은,
Figure pat00038
Figure pat00039
에 의해 산출될 수 있다.
또한, 상관량CORODD(jAF, iAF, s)은, 상관량COREVEN(jAF, iAF, s)에 대하여, 제1초점검출 신호 dYA와 제2초점검출 신호 dYB의 쉬프트량을 반위상 -1만큼 쉬프트시켜서 얻어진 상관량이다.
촬상 장치(100)는, 상관량COREVEN(jAF, iAF, s)와 상관량CORODD(jAF, iAF, s)로부터, 각각, 서브픽셀 연산을 행하여서, 상관량을 최소화하는 실수의 쉬프트량을 산출한다. 또한, 촬상 장치(100)는, 산출한 쉬프트량의 평균값을 산출하고, 초점검출 위치(jAF, iAF)에 있어서의 상 어긋남량Dis(jAF, iAF)을 검출한다.
다음에, 촬상 장치(100)는, 상 어긋남량으로부터 디포커스량으로의 변환 계수K를, 초점검출 영역의 상 높이 위치마다 상 어긋남량Dis(jAF, iAF)에 승산하고, 각 초점검출 위치(jAF, iAF)에 있어서의 디포커스량MDef(jAF, iAF)을 검출한다. 또한, 변환 계수K는, 예를 들면, 촬상 소자의 광학특성(제k부화소마다의 동공강도 분포) 및 렌즈 정보(결상 광학계의 조리개 값F, 사출동공거리D1)에 따라 산출되고, (도시되지 않은) ROM등에 보존된다.
최후에, 촬상 장치(100)는, 초점검출 위치(jAF, iAF)에서 검출된 디포커스량MDef(jAF, iAF)에 따라 합초위치에 렌즈를 구동하고, 초점검출 처리를 종료한다.
제1시점화상과 제2시점화상(복수의 시점화상)을 사용하여 자동초점검출을 행할 경우, 응답성이 뛰어난 실시간 자동초점검출 처리를 행하기 위해서, 고속 셰이딩 보정이 필요해질 수도 있다. 그 때문에, 본 실시예에서는, 자동초점검출을 행할 경우에는, (도시되지 않은) ROM등에 보존되어 있는, 미리 산출된 셰이딩 보정 관련 데이터를 사용하여 고속으로 셰이딩 보정을 행해도 좋다. 이에 따라, 위상차 방식의 고품질 초점검출 신호를 사용할 수 있고, 응답성이 뛰어난 정밀한 자동초점검출을 실현할 수 있다. 또한, 상기 셰이딩 보정 관련 데이터는, 촬상 소자의 광학특성(제k부화소마다의 동공강도 분포)과 결상 광학계의 광학특성(조리개 값F, 사출동공거리D1)에 근거해 산출될 수 있다. 이 경우, 자동초점검출을 행할 때는, 특정한 시점화상(예를 들면, 제1시점화상)에 대해서만 셰이딩 보정을 적용하여 보다 높은 속도로 자동초점검출을 행해도 좋다.
본 실시예에서는, 고품질의 시점화상, 혹은, 이 화상들의 합성 화상을 출력할 때는, 촬상 화상에 근거하여, 정밀한 RGB성분마다의 셰이딩 보정을 행한다. 한편, 높은 응답성이 요구되는 실시간 자동초점검출 처리를 행할 때, 셰이딩 보정방법을 바꾸어, 미리, 산출되어, 기억 매체에 보존된 셰이딩 보정 관련 데이터를 사용하여 고속 셰이딩 보정을 행하는 예를 설명 했다. 이에 따라, 고품질 시점화상의 출력과, 응답성이 뛰어난 정밀한 자동초점검출의 양쪽을 실현할 수 있다.
도 24를 참조하여, 고속 셰이딩 보정과 정밀한 셰이딩 보정을 선택적으로 실행하는 셰이딩 보정처리의 동작에 대해서 설명한다. 또한, 도 24에 도시된 각 단계의 처리는, 도 9 및 도 10에 나타낸 처리와 같이, 특별히 언급하지 않는 한, CPU(121)가 제어 프로그램에 따라서 촬상 장치(100)의 각 부를 제어할 때 실현된다.
단계 S2401에서, 촬상 장치(100)는, 셰이딩 보정을 고속으로 행할지 고정밀도로 행할지를 판정한다. 촬상 장치(100)는, 예를 들면 고속 자동초점검출을 행할 경우에는 셰이딩 보정을 고속으로 행하기 위해서 단계 S2402에 진행된다. 그 이외, 예를 들면 고품질의 시점화상 또는 이 화상들의 합성 화상을 출력할 경우에는, 정밀한 셰이딩 보정을 행하기 위해서 단계 S2406에 처리가 진행된다.
단계 S2402에서, 촬상 장치(100)는, 보존되어 있는 셰이딩 보정 관련 데이터를 로딩한다. 단계 S2403에서, 촬상 장치(100)는, 각 시점화상 중 처리 대상의 시점화상이 셰이딩 보정의 대상인지를 판정한다. 처리 대상의 시점화상이 셰이딩 보정의 대상일 경우에는 단계 S2404에 처리가 진행된다. 그렇지 않을 경우에는, 해당 시점화상에는 셰이딩 보정을 행하지 않고 단계 S2405에 처리가 진행된다. 단계 S2404에서, 촬상 장치(100)는, 로딩된 셰이딩 보정 관련 데이터를 사용해서 시점화상의 셰이딩 보정을 행한다. 단계 S2405에서, 촬상 장치(100)는, 단계 S2403에 있어서 평가되지 않은 시점화상이 남아 있는지를 판정한다. 모든 시점화상이 단계 S2403에 있어서 평가된 경우, 일련의 처리를 종료한다. 그렇지 않을 경우에는 단계 S2403에 처리가 되돌아가서 시점화상에 대한 처리를 반복한다.
단계 S2406에서, 촬상 장치(100)는, 상술한 촬상 화상에 근거하는 RGB성분마다의 셰이딩 보정을 실행하고, 일련의 처리를 종료한다. 이러한 처리에 의해, 고속 셰이딩 보정과 정밀한 셰이딩 보정을 선택적으로 실행할 수 있다.
[제3의 실시예]
상기 제1의 실시예에서는, Nx=2, Ny=1, NLF=2×1=2인 것으로 가정하여 설명했다. 제3의 실시예에서는, Nx≥2, Ny≥2, NLF=Nx×Ny로 일반화하는 것에 대해서 설명한다. 본 실시예에 있어서, 촬상 장치(100)의 기본적인 구성은, 제1의 실시예와 같다(도 1 참조). 또한, 촬상 화상에 근거하는 시점화상의 보정처리(도 9 및 도 10)도, 이하에 설명하는 점을 제외하고 제1의 실시예와 거의 같다. 상기 제1의 실시예에 있어서 NLF=2인 것을 전제로 하는 기재는, NLF=2에 한정되지 않는 기재로 변경된다. 예를 들면, 특정한 화소의 전체 부화소를 가리키는 "제1부화소(201) 및 제2부화소(202)"의 기재는, "제1부화소 내지 제NLF부화소"로 변경된다. 또한, 특정한 화소의 모든 광전변환부를 가리키는 "제1광전변환부(301) 및 제2광전변환부(302)"의 기재는 "제1광전변환부 내지 제NLF광전변환부"로 변경된다. 마찬가지로, "제1동공부분 영역(501)과 제2동공부분 영역(502)"으로부터 "제1동공부분 영역 내지 제NLF 동공부분 영역"으로의 변경, "제1시점화상과 제2시점화상"으로부터 "제1시점화상 내지 제NLF시점화상"으로의 변경등이 필요에 따라서 행해진다. 이하, 주로 상기 제1의 실시예와 다른 점에 대해서 설명한다.
도 20은, 제3의 실시예에 따른 촬상 소자(107)의 화소 및 부화소의 배열의 개략도다. 도 20의 좌우 방향을 x방향(수평방향), 상하 방향을 y방향(수직방향), x방향 및 y방향에 직교하는 방향(지면에 수직한 방향)을 z방향(광축방향)으로서 각각 정의한다. 도 20은, 촬상 소자(107)(2차원 CMOS센서)의 화소(촬상 화소)배열을 4열×4행의 범위에서, 부화소배열을 8열×8행의 범위에서, 각각 나타낸 것이다.
본 실시예에서는, 도 20에 나타낸 2열×2행의 화소군200에 있어서는, R(빨강)의 분광 감도를 가지는 화소200R이 좌상 위치에, G(초록)의 분광 감도를 가지는 화소200G가 우상 및 좌하의 위치에, B(파랑)의 분광 감도를 가지는 화소200B가 우하 위치에, 각각 배치되어 있다. 각 화소는, x방향으로 Nx분할(Nx는 자연수), y방향으로 Ny분할(Ny는 자연수)되어 있고, 동공분할수NLF=Nx×Ny의 부화소로 구성되어 있다. 또한, 도 20에 나타낸 예에 있어서는, Nx=2, Ny=2, NLF=2×2=4이다. 각 화소는 제1부화소(201) 내지 제4부화소(204)로 형성되어 있다. 이하의 설명에 있어서는, 간략화를 위해, 각 화소가 도 20에 나타낸 바와 같이 분할되어 있는 것으로 가정한다. 그렇지만, 본 실시예의 화소 분할은, 도 20에 나타낸 것에 한정되지 않는다. 본 실시예의 설명은, Nx 및 Ny의 한쪽 또는 양쪽이 3이상의 경우에도 적용한다. 이 경우, 각 화소는 제1부화소 내지 제NLF부화소로 형성된다.
도 20에 나타낸 예에서는, 4열×4행의 화소(8열×8행의 부화소)의 다수의 세트를 면 위에 배치함으로써, 촬상 화상 및 4개의 시점화상(시점화상의 수는 동공분할수NLF에 대응)을 생성하는데 사용된 입력 화상을 취득한다. 촬상 소자(107)에서는, 화소의 주기P가 6μm(마이크로미터)이고, 수평(열방향)화소수NH=6000열, 수직(행방향)화소수NV=4000행, 화소수N=NH×NV=2400만 화소다. 또한, 부화소의 주기PS가 3μm이고, 부화소수NS가 수평 12000열×수직 8000행=9600만 화소다.
도 21a는, 도 20에 나타낸 촬상 소자(107)의 1개의 화소200G를, 촬상 소자(107)의 수광면측(+z측)으로부터 보았을 경우의 평면도다. 도 21a의 지면에 수직한 방향으로 z축을 설정하고, 가까운 측을 z축의 정방향으로서 정의한다. z축에 직교하는 상하 방향으로 y축을 설정하고, 상측을 y축의 정방향으로서 정의한다. z축 및 y축에 직교하는 좌우 방향으로 x축을 설정하고, 우측을 x축의 정방향으로서 정의한다. 도 21b는, 도 21a의 a-a절단선을 따라 자른 -y측에서 본 단면도다.
도 21a 및 도 21b에 나타낸 바와 같이, 화소200G에서, 각 화소의 수광면측(+z방향)에 입사 광을 집광하는 마이크로렌즈(305)가 형성되어 있다. 추가로, 화소는, x방향으로 2개의 부로 분할되고 y방향으로 2개의 부로 분할되어 4개의 광전변환부(제1광전변환부(301) 내지 제4광전변환부(304))를 형성한다. 제1광전변환부(301) 내지 제4광전변환부(304)가, 각각, 제1부화소(201) 내지 제4부화소(204)에 대응한다. 도 21b에 나타낸 제3광전변환부(303) 및 제4광전변환부(304)의 구성은, 제1의 실시예에 있어서 도 3b를 참조해서 설명한 제1광전변환부(301) 및 제2광전변환부(302)의 구성과 같다.
도 22는, 촬상 소자(107)의 화소구조와 동공분할과의 대응관계를 나타내는 개략적 설명도다. 도 22는, 도 21a에 나타낸 화소구조의 a-a선을 따라 자른 단면을, +y방향에서 본 단면도를 나타내고, 결상 광학계의 사출동공면을, -z방향에서 본 도를 나타낸다. 도 22에서는, 사출동공면의 좌표축과 대응을 얻기 위해서, 단면도의 x축과 y축을 도 21a 및 21b에 나타낸 상태로부터 반전시킨다.
촬상 소자(107)는, 촬영 렌즈(결상 광학계)의 결상면 근방에 배치된다. 피사체로부터의 광빔은, 결상 광학계의 사출동공(400)을 통과하고, 각 화소에 입사한다. 촬상 소자(107)가 배치된 면을 촬상면으로서 정의한다.
2×2분할된 제1동공부분 영역(501) 내지 제4동공부분 영역(504)은, 마이크로렌즈를 거쳐 제1광전변환부(301) 내지 제4광전변환부(304)의 수광면과 거의 광학적으로 공역 관계로 되어 있다. 제1동공부분 영역(501) 내지 제4동공부분 영역(504)은, 제1부화소(201) 내지 제4부화소(204)에 의해, 각각 수광가능한 동공영역이다. 제1부화소(201)의 제1동공부분 영역(501)은, 동공면상에서 (+X, -Y)측에 중심이 편심하고 있다. 제2부화소(202)의 제2동공부분 영역(502)은, 동공면상에서 (-X, -Y)측에 중심이 편심하고 있다. 제3부화소(203)의 제3동공부분 영역(503)은, 동공면상에서 (+X, +Y)측에 중심이 편심하고 있다. 제4부화소(204)의 제4동공부분 영역(504)은, 동공면상에서 (-X,+Y)측에 중심이 편심하고 있다.
촬상 소자(107)의 각 화소에 있어서, 2×2분할된 제1부화소(201) 내지 제4부화소(204)는, 각각, 결상 광학계의 제1동공부분 영역(501) 내지 제4동공부분 영역(504)의 다른 동공부분 영역을 통과한 광빔을 수광한다. 각 부화소에서 수광된 광 신호로부터, 광강도의 공간분포 및 각도분포를 나타내는 LF데이터(입력 화상)가 취득된다.
제3의 실시예에 있어서도, 촬상 장치(100)는, 제1의 실시예와 같이, 도 9 및 도 10의 흐름도에 따라서 촬상 화상에 근거하는 시점화상의 보정처리를 행할 수 있다. 그렇지만, 동공분할수NLF가 2보다 크기 때문에, 예를 들면, 단계 S902에 있어서 복수의 시점화상을 생성하여서, 몇몇의 변경을 행할 필요가 있다. 이하, 이것을 상세히 설명한다.
단계 S901에서, 촬상 장치(100)는, 식(1)에 따라, 화소마다 제1부화소(201) 내지 제4부화소(204)의 신호를 모두 합성한다. 이에 따라, LF데이터로부터, 화소수N(=수평화소수NH×수직화소수NV)의 해상도를 가지는 베이어 배열의 RGB신호로부터 형성된 촬상 화상이 생성된다.
단계 S902에서, 촬상 장치(100)는, k=1∼3에 대해서 식(2)의 연산을 행함으로써, LF데이터로부터, 제1시점화상I1(j, i) 내지 제3시점화상I3(j, i)을 생성한다.
단계 S903 내지 단계 S907에서, 촬상 장치(100)는, 식(3A) 내지 식(6D)에 따라, 제k시점화상Ik에 대하여, x방향으로 셰이딩 보정처리를 행한다. 이 처리는 거의 제1의 실시예와 같다. 단계 S903 및 단계 S905 내지 단계 S907에서, 제1의 실시예에서는 k=1에 대해서만 처리가 행해진다. 그렇지만, 본 실시예에서는, k=1∼3에 대해서 같은 처리가 행해진다. 추가로, 제1의 실시예와 달리, 본 실시예에서는 y방향으로도 동공분할을 행한다. 따라서, y방향으로의 셰이딩 보정처리도 행할 필요가 있다. 이 때문에, 촬상 장치(100)는, 식(3A) 내지 식(6D)에 있어서, x방향을 y방향으로 대체하여서 y방향으로의 셰이딩 보정처리를 행한다. 이렇게 x방향으로의 셰이딩 보정처리와 y방향으로의 셰이딩 보정처리를 2단계로 행할 경우, 식(4A) 내지 식(4D)에 있어서, 규격화를 위한 동공분할수NLF가 여분을 포함한다. 이 때문에, 2회째의 y방향으로의 셰이딩 보정처리에서는, 식(4A) 내지 식(4D)에 있어서, 규격화를 위한 동공분할수NLF의 승산은 생략된다. 이에 따라, 셰이딩 보정후의 제1수정 제k시점화상M1Ik이 생성된다.
단계 S908 내지 단계 S911의 처리는, 제1의 실시예와 같이, 식(7A) 내지 식(10)에 따라서 행해진다. 단계 S908, S909, 및 S911에서는, 제1의 실시예에서 k=1에 대해서만 처리가 행해진다. 그렇지만, 본 실시예에서는, k=1∼3에 대해서 같은 처리가 행해진다. 이에 따라, 제4수정 제k시점화상M4Ik이 생성된다.
단계 S912에서, 촬상 장치(100)는,
Figure pat00040
에 따라, 수정 촬상 화상MI 및 제4수정 제k시점화상M4Ik(k=1∼NLF-1=1∼3)로부터, 제4시점화상I4을 생성한다.
단계 S913에서, 촬상 장치(100)는, 제1의 실시예와 같이, 식(6A) 내지 식(6D)에 따라서 제4수정 제k시점화상M4Ik에 대하여 셰이딩 보정처리를 행하여서, 제5수정 제k시점화상M5Ik을 생성한다. 상기 제1의 실시예에서는, k=1에 대해서만 처리가 행해진다. 그렇지만, 본 실시예에서는 k=1∼3에 대해서 같은 처리가 행해진다.
단계 S914 및 단계 S915에서, 촬상 장치(100)는, 제2의 실시예의 단계 S903 내지 단계 S907과 같이, 제4시점화상I4의 셰이딩 함수를 생성하고, 제4시점화상I4로부터 제5수정 제4시점화상M5I4을 생성한다.
단계 S916 및 단계 S917에서, 촬상 장치(100)는, 제1의 실시예와 같이, 식(12)에 따라, 제5수정 제k시점화상M5Ik으로부터 최종수정 제k시점화상MIk을 생성한다. 제1의 실시예에서는 k=1∼2이다. 단, 본 실시예에서는 k=1∼4이다.
이상과 같이, 제1의 실시예는, Nx≥2, Ny≥2, NLF=Nx×Ny의 경우로 일반화될 수 있다.
[제4의 실시예]
제4의 실시예에서는, 제3의 실시예에서 생성된 최종수정 제1시점화상 내지 최종수정 제4시점화상에 대한 화소 어긋남 초해상처리를 행하여, 각 시점화상의 해상도보다도 높은 해상도의 출력 화상을 생성하는 구성에 대해서 설명한다. 본 실시예에 있어서, 촬상 장치(100)의 기본적인 구성은, 제3의 실시예와 같다(도 1 참조). 이하, 주로 제3의 실시예와 다른 점에 대해서 설명한다.
도 23은, 최종수정 제1시점화상MI1(j, i) 내지 최종수정 제4시점화상 MI4(j, i)에 의한 화소 어긋남 초해상처리의 개요를 나타내는 설명도다. 도 23에서는, 지면의 상하 방향으로 x축을 설정하고, 하측을 x축의 정방향으로서 정의한다. 지면에 수직한 방향을 y축으로 설정하고, 가까운 측을 y축의 정방향으로서 정의한다. 지면의 좌우 방향으로 z축을 설정하고, 좌측을 z축의 정방향으로서 정의한다. 도 23에 나타낸 촬상면(600)은, 도 7 및 도 8에 나타낸 촬상면(600)에 대응한다.
도 23에서는, 최종수정 제1시점화상MI1(j, i) 내지 최종수정 제4시점화상MI4(j, i)의, 최종수정 제1시점화상MI1(j, i)과 최종수정 제2시점화상MI2(j, i)을 모식적으로 나타내고 있다. 최종수정 제1시점화상MI1(j, i)의 신호는, 도 7에 나타낸 제1동공부분 영역(501)에 대응한 주 광선각도θ1로 위치(j, i)의 제1광전변환부(301)에 입사한 광빔의 수광신호다. 최종수정 제2시점화상MI2(j, i)의 신호는, 도 7에 나타낸 제2동공부분 영역(502)에 대응한 주 광선각도θ2로 위치(j, i)의 제2광전변환부(302)에 입사한 광빔의 수광신호다.
최종수정 제1시점화상MI1(j, i) 내지 최종수정 제4시점화상MI4(j, i)은, 광강도 분포 정보뿐만아니라, 입사 각도정보도 포함한다. 따라서, 이하 설명하는 평행 이동에 의해, 가상 결상면(610)에서의 하나의 화소 어긋남 화상군을 얻을 수 있다.
최종수정 제1시점화상MI1(j, i)을 주 광선각도θ1을 따라 가상 결상면(610)까지 평행 이동시키는 것은, x방향으로 -1/4화소분, y방향으로 +1/4화소분의 쉬프트와 같다. 최종수정 제2시점화상MI2(j, i)을 주 광선각도θ2를 따라 가상 결상면(610)까지 평행 이동시키는 것은, x방향으로 +1/4화소분, y방향으로 +1/4화소분의 쉬프트와 같다. 최종수정 제3시점화상MI3(j, i)을 주 광선각도θ3을 따라 가상 결상면(610)까지 평행 이동시키는 것은, x방향으로 -1/4화소분, y방향으로 -1/4화소분의 쉬프트와 같다. 최종수정 제4시점화상MI4(j, i)을 주 광선각도θ4를 따라 가상 결상면(610)까지 평행 이동시키는 것은, x방향으로 +1/4화소분, y방향으로 -1/4화소분의 쉬프트와 같다. 따라서, 최종수정 제1시점화상MI1(j, i) 내지 최종수정 제4시점화상MI4(j, i)을, 각각, x방향과 y방향의 적어도 하나의 방향으로, 상대적으로 +1/2화소에 해당한 양만큼 비정수 쉬프트시켜서 가상 결상면(610)에 생성된 4개의 화상으로부터 형성된 1개의 화소 어긋남 화상군을 얻는 것이 가능하다.
본 실시예에서는, 촬상 장치(100)는, 최종수정 제1시점화상MI1 내지 최종수정 제4시점화상MI4의 복수의 수정 시점화상으로부터 형성된 1개의 화소 어긋남 화상군을 사용하고, 화소 어긋남 초해상처리를 행한다. 이 구성에 의해, 각 수정 시점화상의 화소수N에 대응한 해상도보다 높은 해상도의 출력 화상을 생성할 수 있다.
본 실시예에 따른 제1시점화상 내지 제4시점화상에서는, 도 11a 내지 11c를 참조하여 설명한 것처럼, 결상 광학계의 사출동공(400)과 촬상 소자(107)의 입사 동공간에 동공 어긋남이 생기고, 동공분할이 불균일하고, 각 시점화상의 RGB성분에 대해 다른 셰이딩 상태가 생길 수도 있다. 제1시점화상 내지 제4시점화상의 RGB성분마다의 셰이딩(광량)보정을 행하지 않고, 셰이딩 상태가 크게 다른 복수의 시점화상으로부터 형성된 구성된 1개의 화소 어긋남 화상군을 사용한 화소 어긋남 초해상처리에서는, 해상도를 충분히 개선할 수 없을 수도 있다.
따라서, 본 실시예에서는, 촬상 장치(100)는, 촬상 화상에 근거하는 RGB성분마다의 정밀한 셰이딩 보정처리가 실행된 최종수정 제1시점화상 내지 최종수정 제4시점화상으로부터, 1개의 화소 어긋남 화상군을 형성하고, 화소 어긋남 초해상처리에 의해 출력 화상을 생성한다. 그 때문에, 각 수정 시점화상의 화소수N에 대응한 해상도보다 높은 해상도의 출력 화상을 생성할 수 있다.
또한, 화소 어긋남 초해상처리에 있어서는, 최종수정 제1시점화상 내지 최종수정 제4시점화상의 모두를 사용하는 것은 필수적이지 않다. 예를 들면, 최종수정 제1시점화상 및 최종수정 제2시점화상만을 사용하는 경우라도, x방향의 해상도가 높아지는 효과를 얻을 수 있다.
그 밖의 실시예
또한, 본 발명의 실시예(들)는, 기억매체(보다 완전하게는 '비일시적 컴퓨터 판독 가능한 기억매체'라고도 함)에 레코딩된 컴퓨터 실행가능한 명령어들(예를 들면, 하나 이상의 프로그램)을 판독하고 실행하여 상술한 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하기 위한 하나 이상의 회로(예를 들면, 주문형 반도체(ASIC))를 구비하는 것인, 시스템 또는 장치를 갖는 컴퓨터에 의해 실현되고, 또 예를 들면 상기 기억매체로부터 상기 컴퓨터 실행가능한 명령어를 판독하고 실행하여 상기 실시예(들)의 하나 이상의 기능을 수행하는 것 및/또는 상술한 실시예(들)의 하나 이상의 기능을 수행하는 상기 하나 이상의 회로를 제어하는 것에 의해 상기 시스템 또는 상기 장치를 갖는 상기 컴퓨터에 의해 행해지는 방법에 의해 실현될 수 있다. 상기 컴퓨터는, 하나 이상의 프로세서(예를 들면, 중앙처리장치(CPU), 마이크로처리장치(MPU))를 구비하여도 되고, 컴퓨터 실행 가능한 명령어를 판독하여 실행하기 위해 별개의 컴퓨터나 별개의 프로세서의 네트워크를 구비하여도 된다. 상기 컴퓨터 실행가능한 명령어를, 예를 들면 네트워크나 상기 기억매체로부터 상기 컴퓨터에 제공하여도 된다. 상기 기억매체는, 예를 들면, 하드 디스크, 랜덤액세스 메모리(RAM), 판독전용 메모리(ROM), 분산형 컴퓨팅 시스템의 스토리지, 광디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD) 또는 블루레이 디스크(BD)TM등), 플래쉬 메모리 소자, 메모리 카드 등 중 하나 이상을 구비하여도 된다.
본 발명을 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims (15)

  1. 제1방향으로 복수의 동공부분 영역으로 분할된 결상 광학계의 사출동공의 제1동공부분 영역에 대응하는 제1시점화상과, 상기 사출동공에 대응하는 촬상 화상을 취득하는 취득부; 및
    상기 제1방향에 직교하는 제2방향으로 배치된 상기 제1시점화상의 제1화소군의 합과, 상기 제1화소군의 위치에 대응하는 상기 촬상 화상의 화소군의 합과의 제1비율에 근거하여, 상기 제1화소군의 제1화소의 셰이딩을 보정하는 보정부를 구비하는, 화상처리장치.
  2. 제 1 항에 있어서,
    상기 제1시점화상 및 상기 촬상 화상의 각 화소는, 복수의 색 중 하나에 대응하고,
    상기 보정부는, 상기 제1화소군의 모든 화소가 단일 색에 대응하도록 상기 제1화소군을 결정하는, 화상처리장치.
  3. 제 1 항에 있어서,
    상기 보정부는, 상기 제1시점화상의 소정의 화소가 유효한 값을 갖지 않거나, 상기 소정의 화소의 위치에 대응하는 상기 촬상 화상의 화소가 유효한 값을 갖지 않을 경우, 상기 소정의 화소를 상기 제1화소군으로부터 제외하는, 화상처리장치.
  4. 제 3 항에 있어서,
    상기 보정부는, 포화 화소 및 결함화소 중 적어도 한쪽을, 상기 유효한 값을 갖지 않는 화소라고 판정하는, 화상처리장치.
  5. 제 1 항에 있어서,
    상기 보정부는, (상기 촬상 화상의 화소군의 상기 합)>(상기 제1화소군의 상기 합)>0일 경우에, 상기 제1비율에 근거하여 상기 제1화소의 셰이딩을 보정하는, 화상처리장치.
  6. 제 1 항에 있어서,
    상기 취득부는, 상기 복수의 동공부분 영역의 제2동공부분 영역에 대응하는 제2시점화상을 한층 더 취득하고,
    상기 보정부는, 상기 제1시점화상의 상기 제1화소의 위치에 대응하는 제2화소를 포함해 상기 제2방향으로 배치된 상기 제2시점화상의 제2화소군의 합과, 상기 제2화소군의 위치에 대응하는 상기 촬상 화상의 화소군의 합과의 제2비율에 근거하여, 상기 제2화소군의 상기 제2화소의 셰이딩을 보정하고,
    상기 화상처리장치는, 상기 보정부에 의한 보정후에, 상기 제1시점화상 및 상기 제2시점화상을 사용한 화소 어긋남 초해상처리를 행하는 것에 의해, 상기 제1시점화상 및 상기 제2시점화상보다도 해상도가 높은 화상을 생성하는 생성부를 더 구비하는, 화상처리장치.
  7. 제 1 항에 있어서,
    상기 제1동공부분 영역은, 상기 제1방향으로 복수의 부분으로 분할됨과 아울러 상기 제2방향으로도 복수의 부분으로 분할된 상기 사출동공의 복수의 동공부분 영역 중 하나이고,
    상기 보정부는, 상기 제1화소를 포함해 상기 제1방향으로 배치된 상기 제1시점화상의 제3화소군의 합과, 상기 제3화소군의 위치에 대응하는 상기 촬상 화상의 화소군의 합과의 제3비율에 더욱 근거하여, 상기 제1화소의 셰이딩을 보정하는, 화상처리장치.
  8. 제 1 항에 있어서,
    초점검출부를 더 구비하고,
    상기 보정부는, 상기 제1시점화상을 초점검출을 위해 사용할 경우, 미리 기록되어 있는 보정 관련 데이터에 근거해서 상기 제1화소군의 제1화소의 셰이딩을 보정하도록, 셰이딩의 보정을 바꾸고,
    상기 초점검출부는, 상기 보정부에 의해 보정된 화상에 근거하는 디포커스량을 산출하고, 이 디포커스량에 근거해서 초점검출 신호를 생성하는, 화상처리장치.
  9. 제1방향으로 복수의 동공부분 영역으로 분할된 결상 광학계의 사출동공의 다른 동공부분 영역에 대응하는 광빔을 각각이 수광하는 복수의 부화소를 각각 포함하는 복수의 화소가 배열된 촬상 소자;
    상기 사출동공의 제1동공부분 영역에 대응하는 제1시점화상과, 상기 사출동공에 대응하는 촬상 화상을 취득하는 취득부; 및
    상기 제1방향에 직교하는 제2방향으로 배치된 상기 제1시점화상의 제1화소군의 합과, 상기 제1화소군의 위치에 대응하는 상기 촬상 화상의 화소군의 합과의 제1비율에 근거하여, 상기 제1화소군의 제1화소의 셰이딩을 보정하는 보정부를 구비하는, 촬상 장치.
  10. 제1방향으로 복수의 동공부분 영역으로 분할된 결상 광학계의 사출동공의 제1동공부분 영역에 대응하는 제1시점화상과, 상기 사출동공에 대응하는 촬상 화상을 취득하기 위한 명령어; 및
    상기 제1방향에 직교하는 제2방향으로 배치된 상기 제1시점화상의 제1화소군의 합과, 상기 제1화소군의 위치에 대응하는 상기 촬상 화상의 화소군의 합과의 제1비율에 근거하여, 상기 제1화소군의 제1화소의 셰이딩을 보정하기 위한 명령어와의 세트들로 이루어진 화상처리 프로그램을 행하기 위해 메모리에 연결된 프로세서를 구비하는, 화상처리장치.
  11. 제 10 항에 있어서,
    상기 제1시점화상 및 상기 촬상 화상의 각 화소는 복수의 색 중 하나에 대응하고,
    상기 셰이딩을 보정하기 위한 명령어는, 상기 제1화소군의 모든 화소가 단일 색에 대응하도록 상기 제1화소군을 결정하는 것을 포함하는, 화상처리장치.
  12. 제 10 항에 있어서,
    상기 셰이딩을 보정하기 위한 명령어는, 상기 제1시점화상의 소정의 화소가 유효한 값을 갖지 않거나, 상기 소정의 화소의 위치에 대응하는 상기 촬상 화상의 화소가 유효한 값을 갖지 않을 경우, 상기 소정의 화소를 상기 제1화소군으로부터 제외하는 것을 포함하는, 화상처리장치.
  13. 제 12 항에 있어서,
    상기 셰이딩을 보정하기 위한 명령어는, 포화 화소 및 결함화소 중 적어도 한쪽을, 상기 유효한 값을 갖지 않는 화소라고 판정하는 것을 포함하는, 화상처리장치.
  14. 화상처리장치가 실행하는 화상처리방법으로서,
    제1방향으로 복수의 동공부분 영역으로 분할된 결상 광학계의 사출동공의 제1동공부분 영역에 대응하는 제1시점화상과, 상기 사출동공에 대응하는 촬상 화상을 취득하는 단계; 및
    상기 제1방향에 직교하는 제2방향으로 배치된 상기 제1시점화상의 제1화소군의 합과, 상기 제1화소군의 위치에 대응하는 상기 촬상 화상의 화소군의 합과의 제1비율에 근거하여, 상기 제1화소군의 제1화소의 셰이딩을 보정하는 단계를 포함하는, 화상처리방법.
  15. 컴퓨터에,
    제1방향으로 복수의 동공부분 영역으로 분할된 결상 광학계의 사출동공의 제1동공부분 영역에 대응하는 제1시점화상과, 상기 사출동공에 대응하는 촬상 화상을 취득하는 단계; 및
    상기 제1방향에 직교하는 제2방향으로 배치된 상기 제1시점화상의 제1화소군의 합과, 상기 제1화소군의 위치에 대응하는 상기 촬상 화상의 화소군의 합과의 제1비율에 근거하여, 상기 제1화소군의 제1화소의 셰이딩을 보정하는 단계를 포함하는 화상처리방법을,
    실행시키기 위한 프로그램을 기억한 컴퓨터 판독 가능한 기억 매체.
KR1020170066489A 2016-06-03 2017-05-30 화상처리장치, 촬상 장치, 화상처리방법, 및 컴퓨터 판독 가능한 기억매체 KR20170137633A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016112101A JP6700986B2 (ja) 2016-06-03 2016-06-03 画像処理装置、撮像装置、画像処理方法、及びプログラム
JPJP-P-2016-112101 2016-06-03
JPJP-P-2016-143735 2016-07-21
JP2016143735A JP6735621B2 (ja) 2016-07-21 2016-07-21 画像処理装置及びその制御方法、プログラム並びに撮像装置

Publications (1)

Publication Number Publication Date
KR20170137633A true KR20170137633A (ko) 2017-12-13

Family

ID=59061787

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170066489A KR20170137633A (ko) 2016-06-03 2017-05-30 화상처리장치, 촬상 장치, 화상처리방법, 및 컴퓨터 판독 가능한 기억매체

Country Status (4)

Country Link
US (1) US10574916B2 (ko)
EP (1) EP3261328B1 (ko)
KR (1) KR20170137633A (ko)
CN (1) CN107465866B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10848696B2 (en) 2018-06-01 2020-11-24 Samsung Electronics Co., Ltd. Apparatus for encoding image, apparatus for decoding image and image sensor
US11329223B2 (en) 2017-10-24 2022-05-10 Samsung Electronics Co., Ltd. Nonvolatile memory apparatus including resistive-change material layer

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2548462B (en) 2016-01-29 2020-06-17 Canon Kk Image sensor and image capturing apparatus
US10110839B2 (en) * 2016-05-03 2018-10-23 Semiconductor Components Industries, Llc Dual-photodiode image pixel
US10528842B2 (en) * 2017-02-06 2020-01-07 Mediatek Inc. Image processing method and image processing system
JP6427258B1 (ja) * 2017-12-21 2018-11-21 キヤノン株式会社 表示制御装置、表示制御方法
US10700780B2 (en) * 2018-05-30 2020-06-30 Apple Inc. Systems and methods for adjusting movable lenses in directional free-space optical communication systems for portable electronic devices
US10705347B2 (en) 2018-05-30 2020-07-07 Apple Inc. Wafer-level high aspect ratio beam shaping
US11303355B2 (en) 2018-05-30 2022-04-12 Apple Inc. Optical structures in directional free-space optical communication systems for portable electronic devices
JP7191552B2 (ja) * 2018-05-30 2022-12-19 キヤノン株式会社 制御装置、撮像装置、プログラム、および、記憶媒体
US11195257B2 (en) 2018-08-24 2021-12-07 Canon Kabushiki Kaisha Image processing method, image processing apparatus, imaging apparatus, lens apparatus, storage medium, and image processing system
US11549799B2 (en) 2019-07-01 2023-01-10 Apple Inc. Self-mixing interference device for sensing applications
US11716552B2 (en) * 2019-08-06 2023-08-01 Sony Group Corporation Imaging control device, imaging control method, and imaging device for increasing resolution of an image
CN112929636A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 3d显示设备、3d图像显示方法
CN112464829B (zh) * 2020-12-01 2024-04-09 中航航空电子有限公司 一种瞳孔定位方法、设备、存储介质及视线追踪系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4410804A (en) 1981-07-13 1983-10-18 Honeywell Inc. Two dimensional image panel with range measurement capability
JP3774597B2 (ja) 1999-09-13 2006-05-17 キヤノン株式会社 撮像装置
US7920200B2 (en) * 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP5136778B2 (ja) * 2007-08-20 2013-02-06 セイコーエプソン株式会社 ラインヘッド及びそれを用いた画像形成装置
JP5317562B2 (ja) * 2008-07-17 2013-10-16 キヤノン株式会社 位相差検出装置、撮像装置、位相差検出方法、位相差検出プログラム
EP2747429B1 (en) * 2011-08-19 2016-11-02 FUJIFILM Corporation Image pickup apparatus and shading correction method
CN102509271B (zh) * 2011-11-21 2014-05-07 洪涛 基于多维度分解迭代增强校正的图像复原方法
JP5818697B2 (ja) 2012-01-13 2015-11-18 キヤノン株式会社 画像生成方法、撮像装置および表示装置、プログラム、記憶媒体
US9167151B2 (en) * 2013-03-07 2015-10-20 Canon Kabushiki Kaisha Focus detection apparatus, focus detection method, and image capturing apparatus
JP6048574B2 (ja) 2013-03-29 2016-12-21 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11329223B2 (en) 2017-10-24 2022-05-10 Samsung Electronics Co., Ltd. Nonvolatile memory apparatus including resistive-change material layer
US10848696B2 (en) 2018-06-01 2020-11-24 Samsung Electronics Co., Ltd. Apparatus for encoding image, apparatus for decoding image and image sensor
US11290667B2 (en) 2018-06-01 2022-03-29 Samsung Electronics Co., Ltd. Apparatus for encoding image, apparatus for decoding image and image sensor
US11800248B2 (en) 2018-06-01 2023-10-24 Samsung Electronics Co., Ltd. Apparatus for encoding image, apparatus for decoding image and image sensor

Also Published As

Publication number Publication date
EP3261328A3 (en) 2018-03-28
EP3261328B1 (en) 2021-10-13
EP3261328A2 (en) 2017-12-27
US10574916B2 (en) 2020-02-25
CN107465866B (zh) 2020-12-15
CN107465866A (zh) 2017-12-12
US20170353680A1 (en) 2017-12-07

Similar Documents

Publication Publication Date Title
KR20170137633A (ko) 화상처리장치, 촬상 장치, 화상처리방법, 및 컴퓨터 판독 가능한 기억매체
US9438786B2 (en) Focus adjustment apparatus, focus adjustment method and program, and imaging apparatus
JP6239857B2 (ja) 撮像装置およびその制御方法
JP6381266B2 (ja) 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
KR101950689B1 (ko) 화상처리장치, 촬상 장치, 화상처리방법, 프로그램, 및 기억 매체
JP2016038414A (ja) 焦点検出装置およびその制御方法、並びに撮像装置
JP6746359B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP6772201B2 (ja) 画像処理方法、画像処理装置、プログラム、および記録媒体
JP6700986B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN110312957B (zh) 焦点检测设备、焦点检测方法和计算机可读存储介质
JP6976754B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP2015210285A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6254843B2 (ja) 画像処理装置およびその制御方法
CN112492194B (zh) 图像处理方法和图像处理装置
US10200622B2 (en) Image processing method, image processing apparatus, and imaging apparatus
JP2020171050A (ja) 画像処理装置、撮像装置、画像処理方法、および、記憶媒体
JP6701023B2 (ja) 撮像装置、画像処理方法、画像処理システム、及び画像処理プログラム
JP6800648B2 (ja) 画像処理装置及びその制御方法、プログラム並びに撮像装置
JP2019114912A (ja) 画像処理装置および画像処理方法、並びに撮像装置
JP6735621B2 (ja) 画像処理装置及びその制御方法、プログラム並びに撮像装置
WO2016181620A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
JP7319840B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2019071591A (ja) 撮像装置およびその制御方法
JP2016024402A (ja) 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application