KR101627087B1 - 화상처리장치, 화상처리방법 및 기억매체, 및 화상처리장치를 구비한 촬상장치 - Google Patents

화상처리장치, 화상처리방법 및 기억매체, 및 화상처리장치를 구비한 촬상장치 Download PDF

Info

Publication number
KR101627087B1
KR101627087B1 KR1020147017478A KR20147017478A KR101627087B1 KR 101627087 B1 KR101627087 B1 KR 101627087B1 KR 1020147017478 A KR1020147017478 A KR 1020147017478A KR 20147017478 A KR20147017478 A KR 20147017478A KR 101627087 B1 KR101627087 B1 KR 101627087B1
Authority
KR
South Korea
Prior art keywords
image
pixel
image signal
image pickup
defective pixel
Prior art date
Application number
KR1020147017478A
Other languages
English (en)
Other versions
KR20140097465A (ko
Inventor
히데키 이케도
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20140097465A publication Critical patent/KR20140097465A/ko
Application granted granted Critical
Publication of KR101627087B1 publication Critical patent/KR101627087B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H04N7/0152—High-definition television systems using spatial or temporal subsampling
    • H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks
    • H04N7/0157—High-definition television systems using spatial or temporal subsampling using pixel blocks with motion estimation, e.g. involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

화상처리장치는, 촬영 렌즈의 동공분할영역에 대응한 피사체상 광의 진행 방향의 정보를 취득하도록 배치된 촬상광학계를 사용해서 촬상소자로부터 취득된 화상신호를 처리한다. 이 화상처리장치는, 리포커스 화상을 생성하는 초점위치를 설정하는 부; 및 촬상소자의 결함화소의 화상신호를 다른 화소의 화상신호를 사용해서 보정하는 부를 구비한다. 이 장치는, 설정된 초점위치와 상기 피사체상 광의 진행 방향의 정보에 의거하여 결함화소의 화상신호의 보정에 사용하는 다른 화소를 결정한다.

Description

화상처리장치, 화상처리방법 및 기억매체, 및 화상처리장치를 구비한 촬상장치{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD AND STORAGE MEDIUM, AND IMAGE PICKUP APPARATUS INCLUDING IMAGE PROCESSING APPARATUS}
본 발명은, 마이크로렌즈 어레이를 갖는 촬상소자를 사용한 촬상장치에서 채택된 화상처리장치에 관한 것으로, 특히 결함화소의 보정처치를 행하는 화상처리장치 및 이 화상처리장치를 구비한 촬상장치에 관한 것이다.
최근, 광의 강도분포에 더해서, 광의 진행 방향의 정보도 포함하도록 취득한 촬상 데이터로부터, 유저가 지정한 임의의 초점위치에 있어서의 화상을 재구축할 수 있는 카메라가 제안되어 있다. 예를 들면, 비특허문헌1에서는, "light field photography"라고 불리는 수법을 사용해서 상기 기능을 실현하는 라이트 필드 카메라가 제안되어 있다. 비특허문헌1에서는, 촬영 렌즈와 촬상소자의 사이에 마이크로렌즈 어레이를 배치하고, 촬영 렌즈의 다른 동공영역을 통과한 광이 각 마이크로렌즈에 수속하도록 구성된 광학계를 채택하고 있다. 그리고, 1개의 마이크로렌즈에 대하여 복수의 화소로 이루어진 화소 블록을 할당한다. 마이크로렌즈에 의해 수속된 광은, 대응하는 블록내에 포함된 다른 화소에 의해 입사방향에 따라 광전 변환된다. 이렇게 해서 취득한 화상신호로부터, 가상의 상면(image plane)(리포커스면)에서 결상해서 각 마이크로렌즈에 입사하는 광선에 대응하는 화상신호를 추출함으로써, 임의의 초점위치에 있어서의 화상을 재구축할 수 있다.
CCD이미지 센서나 CMOS이미지 센서등의 고체촬상소자에서는, 반도체 기판 위에 국소적으로 존재하는 결정 결함에 의해 결함화소가 발생하기도 한다. 이러한 결함화소로부터는 옳은 광전변환 출력을 취득할 수 없다. 따라서, 결함화소로부터의 촬상신호를 보정할 필요가 있다.
결함화소로부터의 촬상신호를 보정하는 종래의 방법으로서는, 결함화소의 화소값을 결함화소에 인접하는 화소의 화소값으로 대체하는 방법이나, 결함화소의 화소값을 결함화소에 인접하는 복수의 화소의 평균값으로 대체하는 방법등이 있다.
Ren.Ng, 기타 7명, "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02
비특허문헌1에 기재된 것과 같은 라이트 필드 카메라에서는, 리포커스면에서 결상한 복수의 광선은 복수의 화소에 의해 각각 수광된다. 한층 더, 리포커스면의 위치가 마이크로렌즈 어레이의 위치로부터 떨어질수록, 상기 복수의 광선이 각각의 화소에 의해 수광된 위치가 서로 분리된다.
그 때문에, 결함화소의 화소값을 광전변환소자상에서 인접하는 화소의 화소값을 사용해서 보정하는 종래의 방법은, 결함화소의 화소값을 적절하게 보정할 수 없다고 하는 문제가 있다.
본 발명은, 상기 상황을 감안한 것으로, 광의 진행 방향의 정보를 포함하도록 취득된 촬상신호에 대하여, 항상 적절한 결함화소의 보정처리를 실행하는 것이 가능한 화상처리장치를 제공한다.
본 발명에 의하면, 촬영 렌즈의 동공분할영역에 대응한 피사체상 광의 진행 방향의 정보를 취득하도록 배치된 촬상광학계를 사용해서 촬상소자로부터 취득된 화상신호를 처리하는 화상처리장치는, 상기 촬상소자로부터 취득된 상기 화상신호를 사용해서 상기 피사체의 화상을 재구축하는 가상 상면(image plane)의 위치를 설정하는 가상 상면 위치 설정부; 및 상기 촬상소자의 결함화소의 화상신호를 상기 촬상소자의 다른 화소의 화상신호를 사용해서 보정하는 보정부를 구비하고, 상기 보정부는, 상기 가상 상면 위치 설정부에 의해 설정된 상기 가상 상면의 위치와 피사체상 광의 진행 방향정보에 의거하여, 상기 결함화소의 화상신호의 보정에 사용하는 다른 화소를 결정한다.
본 발명은, 리포커스 화상을 생성하기 위한 촬상화상에 대하여 적절한 결함화소 보정을 행할 수 있다.
본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 예시적 실시예들의 설명으로부터 명백해질 것이다.
도 1은 본 발명의 실시예에 따른 촬상장치 전체의 블록도다.
도 2는 본 발명의 상기 실시예에 따른 촬상소자의 화소배열과 마이크로렌즈 어레이의 구성의 개념도다.
도 3은 본 발명의 상기 실시예에 따른 촬영 렌즈, 마이크로렌즈 어레이, 화소배열의 구성의 개념도다.
도 4a 및 4b는 촬영 렌즈의 동공분할영역, 마이크로렌즈 및 화소배열와의 대응관계를 도시한 도면이다.
도 5는 리포커스면 위의 특정 화소를 통과하는 광선과, 촬영 렌즈의 동공분할영역 및 마이크로렌즈와의 위치 관계를 도시한 도면이다.
도 6은 본 발명의 상기 실시예에 따른 촬상장치의 화상처리부의 블록도다.
도 7은 본 발명의 상기 실시예에 따른 결함보정 동작의 흐름도다.
도 8은 촬영 렌즈의 동공분할영역으로부터 출사되어서 마이크로렌즈에 입사하는 광선과, 리포커스면 위의 통과 위치와의 관계를 도시한 도면이다.
도 9a 및 9b는 촬영 렌즈의 각 동공분할영역으로부터 출사된 후, 마이크로렌즈 어레이를 통과해서, 촬상소자의 각 화소에 입사하는 광선들의 개념도다.
도 10a 및 10b는 결함화소와 그 보정용 화소로서 선택되는 화소들의 예들을 나타내는 도면이다.
도 11은 화소배열내의 위치에 따른 가중 계수의 예를 나타내는 도면이다.
이하, 본 발명의 바람직한 실시예들을 첨부도면에 따라 상세하게 설명한다.
예시 1
도 1은 본 발명의 제1 실시예의 촬상장치 전체의 블록도다. 본 도면에서, 촬영 렌즈(101)를 통과한 피사체상 광(object image light)은 촬영 렌즈(101)의 초점위치에 인접한 화상을 형성한다. 마이크로렌즈 어레이(102)는, 복수의 마이크로렌즈(113)로 구성된다. 촬상광학계는, 마이크로렌즈 어레이(102)와 촬영 렌즈를 구비한다. 마이크로렌즈 어레이(102)는 촬영 렌즈(101)의 초점위치에 인접하게 배치된다. 촬영 렌즈(101)의 다른 동공영역을 통과하는 광은, 마이크로렌즈 어레이(102)에 입사해서 동공분할영역마다 분리해서 출사된다. 마이크로렌즈 어레이(102)에 의해 분리된 광은 촬상소자(103)에 입사한다. 촬상소자(103)는, 예를 들면, CCD이미지 센서나 CMOS이미지 센서로 구성되고, 마이크로렌즈 어레이(102)의 초점위치 주위에 배치된다.
아날로그 프론트 엔드(AFE)(104)는, 촬상소자(103)로부터의 화상신호에 대하여 기준 레벨의 조정(클램프 처리)과 아날로그 대 디지털 변환처리를 행한다. 디지털 프론트 엔드(DFE)(105)는, AFE(104)로부터 출력된 디지털 화상신호에 대하여, 미세한 기준 레벨의 어긋남 등의 디지털 보정처리를 행한다. 화상처리부(106)는, DFE(1O5)로부터의 디지털 화상신호에 대하여 소정의 화상처리를 적용하고, 화상 데이터를 생성하여 출력한다. 기억부(107)는 결함화소 정보(좌표)를 보유하기 위한 불휘발성 메모리로 구성되어 있다. 제어부(108)는, 촬상장치 전체를 총괄적으로 제어하고, 주지의 CPU를 구비하고, 도면에 나타나 있지 않은 메모리에 기억된 프로그램을 로드해서(load) 실행함에 의해, 각 부품의 동작 및 각종 처리를 제어한다. 조작부(109)는, 디지털 카메라에 있는 조작부재의 조작을 전기적으로 접수하는 구성을 갖는다. 유저는 조작부(109)를 사용해서 리포커스 화상을 생성하기 위한 임의의 리포커스(가상 화상)면 위치를 설정할 수 있다(가상 상면 위치 설정부). 또한, 이 리포커스면의 위치는, 제어부(108)에 의해 카메라 파라미터들을 사용해서 자동으로 설정되어도 좋다.
표시부(110)는, 화상을 표시한다. 기록 매체(111)는 메모리 카드나 하드 디스크이어도 된다. 타이밍 발생 회로(TG)(112)는, 촬상소자(103)를 구동하기 위한 각종 타이밍 신호를 발생한다.
본 실시예의 화상처리부(106)는, 도 6에 나타나 있는 바와 같이, 결함보정부(601)와 재구축부(602)를 구비한다. 결함보정부(601)는 촬상 데이터의 결함화소에 대한 보정처리를 행한다. 본 발명은, 이 결함보정부를 특징으로 한다. 이 상세내용에 관해서는 후술한다. 도 6의 재구축부(602)는, "라이트 필드 포토그래피"라고 불리는 수법을 사용한 연산 처리를 행함으로써, 촬상 데이터로부터, 상기 설정된 초점위치(리포커스면)에 화상을 재구축한다. 이 재구축부(602)의 상세내용에 관해서도 후술한다.
다음에, 본 실시예의 촬상장치에 포함된 촬영렌즈(101), 마이크로렌즈 어레이(102) 및 촬상소자(103)의 구성에 관하여 설명한다.
도 2는, 촬상소자(103)와 마이크로렌즈 어레이(102)의 구성을 설명하기 위한 개념도다. 본 도면은, 도 1의 광축Z의 방향에서 관찰했을 경우 촬상소자(103)와 마이크로렌즈 어레이(102)와의 배치 관계를 나타내는 개념도다. 복수의 화소(201)(이하, 간단히 화소라고 함)에 대응한 방식으로 1개의 마이크로렌즈(113)가 배치되어 있다. 1개의 마이크로렌즈 후방에 있는 복수의 화소(201)는, 완전하게 화소배열(200)로서 정의된다. 본 실시예에서는, 화소배열(200)은, 5행 5열의 화소(201)를 구비한다.
도 3은, 광축Z에 대하여 수직한 방향에서 관찰했을 때 촬영 렌즈(101)로부터 출사된 광선이 1개의 마이크로렌즈(113)를 통과해서 촬상소자(103)에서 수광되는 경우의 개념도다. 촬영 렌즈의 각 동공영역al∼a5로부터 출사된 피사체상 광은, 마이크로렌즈(113)를 통과하고, 마이크로렌즈(113) 후방에 배치된 각 화소p1∼p5의 감광면에 결상된다. 즉, 다른 동공분할영역pl∼p5로부터 출사하는 광선은, 하나의 마이크로렌즈(113)를 통과해서 다른 화소에서 광전변환됨으로써, 피사체상 광의 진행 방향의 정보를 취득한다.
도 4a는 촬영 렌즈의 개구를 광축Z의 방향에서 보았을 때의 개념도다. 도 4b는 1개의 마이크로렌즈(113)와 그 마이크로렌즈(113) 후방에 배치된 화소배열(200)을 광축Z의 방향에서 보았을 때의 개념도다. 도 4a에 나타나 있는 바와 같이, 촬영 렌즈(101)의 동공영역을 1개의 마이크로렌즈 아래에 화소배열에 포함된 화소들과 동수의 영역으로 분할했을 경우, 1개의 화소에는 촬영 렌즈의 1개의 동공분할영역으로부터의 광이 결상된다. 여기에서는 촬영 렌즈(101)와 마이크로렌즈(113)의 F넘버가 거의 서로 일치하고 있다고 가정한다.
도 4a에 나타내는 촬영 렌즈(101)의 동공분할영역all∼a55와 도 4b에 나타내는 화소pll∼p55와의 대응관계는, 광축Z의 방향에서 보았을 때 점대칭이 된다. 따라서, 촬영렌즈(101)의 동공분할영역all로부터 출사한 광은, 마이크로렌즈(113)의 후방에 있는 화소배열(200)에 포함된 화소pll에 결상된다. 마찬가지로, 동공분할영역all로부터 출사하고, 다른 마이크로렌즈(113)를 통과하는 광도, 그 마이크로렌즈 후방에 있는 화소배열(200)내의 화소pll에 결상된다.
다음에, 재구축 처리를 설명한다. 이 처리는, 상기 촬영 렌즈(101), 마이크로렌즈 어레이(102) 및 촬상소자(103)로 이루어진 촬상계에 의해 취득된 촬상신호에서, 임의로 설정한 가상 상면(리포커스면)의 화상에 관해 행해진다. 재구축 처리는, 도 6에 나타내는 재구축부(602)에 있어서, "라이트 필드 포토그래피"라고 불리는 수법을 사용해서 제어 프로그램에 의거하여 제어부(108)의 제어하에서 행해진다.
도 5는, 임의로 설정한 리포커스면상의 어떤 화소를 통과한 광선이, 촬영 렌즈(101)의 어느 동공분할영역으로부터 출사되어, 어느 마이크로렌즈(113)에 입사할지를, 광축Z에 대하여 수직한 방향에서 보았을 경우의 개념도다. 본 도면에서는, 촬영 렌즈면상의 동공분할영역의 위치의 좌표를 (u, v), 리포커스면상의 화소 위치의 좌표를 (x, y), 및 마이크로렌즈의 마이크로렌즈 어레이면상의 위치의 좌표를 (x',y')이라고 한다. 또한, 본 도면에서는, 촬영 렌즈면에서 마이크로렌즈 어레이면까지의 거리를 F, 촬영 렌즈면에서 리포커스면까지의 거리를 αF라고 한다. 리포커스 계수α는 리포커스면의 위치를 결정하기 위한 것이며, 유저에 의해 임의로 설정될 수 있다(α≠0). 도 5는 u, x, x'의 방향만을 나타내고, 거기에 수직한 방향 v, y, y'는 생략된다. 도 5에 나타나 있는 바와 같이, 좌표(u, v)와 좌표(x, y)를 통과한 광선은, 마이크로렌즈 어레이상의 좌표(x',y')에 도달한다. 이 좌표(x',y')는 식(1)과 같이 표현될 수 있다.
Figure 112014059484605-pct00001
이 광선을 수광하는 화소의 출력을 L(x',y',u, v)이라고 하면, 리포커스면상의 좌표(x, y)에서 취득된 출력E(x, y)는, L(x',y',u,v)을 촬영 렌즈의 동공영역에 관해서 적분한 것이 된다. 이에 따라, 그 출력은, 식(2)로서 표현된다.
Figure 112014059484605-pct00002
식(1)에 있어서, 리포커스 계수α는 유저에 의해 결정된다. 이에 따라, (x, y), (u, v)을 주면, 광선이 입사하는 마이크로렌즈의 위치(x',y')를 결정한다. 그리고, 그 마이크로렌즈에 대응하는 화소배열(200)로부터 (u, v)의 위치에 대응하는 화소를 알 수 있다. 이 화소의 출력이 L(x',y',u,v)이 된다. 이 출력을 모든 동공분할영역에 대해서 취득한다. 취득된 화소출력을 식(2)에 따라서 합계(적분)함으로써, E(x, y)를 산출한다.
(u, v)를 촬영 렌즈의 동공분할영역의 대표 좌표라고 하면(이산 값), 식(2)의 적분은 단순 가산(∑)에 의해 계산될 수 있다.
이상과 같이 해서, 식(2)의 연산 처리를 행함으로써, 임의의 초점위치에 있어서의 화상을 재구축할 수 있다.
다음에, 본 발명의 특징인 결함보정부(601)에 있어서의 결함보정 동작에 관하여 설명한다. 이 동작은, 시스템에 기억된 프로그램에 따른 제어부(108)에 의한 제어하에서 실행된다.
도 7은, 결함보정부(601)에 있어서의 결함보정 동작의 흐름도다. 결함보정부(601)는, 촬상소자(103)의 각 화소로부터 취득된 화상신호에 관해서, 화소가 결함화소인지의 여부를 판정하면서, 결함화소일 경우에 그 화상신호를 보정한다. 결함보정부(601)에 입력된 화상신호는, 미리 메모리에 사전에 기억되어 있는 결함화소의 좌표정보등에 의거하여, 결함화소로부터의 화상신호인가 정상화소로부터의 화상신호인가를 판정할 수 있는 것으로 한다.
스텝S701에서는, 조작부(109)를 거쳐서 설정된 가상 상면의 위치에 의거하여 리포커스 계수α를 취득한다.
스텝S702에서는, 입력된 촬상 데이터내의 화소가 결함화소인가 정상화소인가를 판정한다. 화소가 결함화소이면, 스텝S703의 처리에 이행한다. 그 화소가 정상화소이면, 스텝S706의 처리에 이행한다.
스텝S703에서는, 결함화소로서 판정된 화소의 보정값을 작성하기 위해서, 보정값 생성에 사용된 화소를 선택한다. 우선, 결함화소를 사용하여서 재구축되는 화상의 리포커스면상의 좌표를 구한다. 그 구한 리포커스면상의 좌표에서의 화상의 재구축에 사용되는 그 밖의 화소의 좌표를 산출한다. 그 화소들 중에서 보정값을 생성하는데 사용된 화소들을 선택한다.
스텝S704에서는, S703에서 선택된 보정값 생성용 화소들로부터의 화상신호를 사용해서 결함화소를 보정하기 위한 보정값을 작성한다. 본 실시예에서는, 보정값 생성용 화소의 산술평균이 보정값이다. 그러나, 본 실시예는 이것에 한정되지 않는다. 선택된 보정값 생성용 화소의 화소배열(200)내의 위치에 따라, 도 11에 나타나 있는 바와 같은 가중 계수를 사용한 가중평균값은 그 보정값이어도 된다. 도 11은, 도 4b에 나타내는 화소배열(200)에 대응하는 가중 계수의 예다. 도 4b에 있어서, 촬영 렌즈의 유효한 동공영역이외의 영역에 대응하는 화소배열(200)내의 화소(예를 들면, pll, p15, p51, p55)의 가중 계수를 작게 설정하면, 보정값 생성시에 노이즈의 영향을 감소시킬 수 있다.
스텝S705에서는, 결함화소의 출력을 S704에서 산출한 보정값으로 대체하여서, 보정을 행한다.
스텝S706에서는, 모든 화소에 대해서 S702∼705의 처리를 이미 행한 것인가 아닌가를 판정한다. 모든 화소에 대해서 그 처리들을 행하지 않고 있는 경우에는, S702의 처리로 되돌아가고, 다음 화소가 결함화소인가 아닌가를 판정한다. 그 다음 화소가 최종 화소인 경우에는, 결함보정 동작을 종료한다.
다음에, 스텝S703에 있어서의 보정값을 작성하기 위해서 사용된 화소들을 선택하는 방법에 대해서 상세하게 설명한다. 여기에서는, 마이크로렌즈 어레이상의 좌표(xk',yk')에 있는 마이크로렌즈에 대응하는 화소배열(200)에 포함된 화소들 중, 촬영 렌즈의 동공분할영역(uk, pk)에 대응하는 화소가 결함화소인 것으로서 설명한다.
촬영 렌즈면의 동공분할영역(uk, pk)으로부터 출사되어, 마이크로렌즈 어레이면상의 좌표(xk',yk')에 있는 마이크로렌즈에 입사해서 결함화소에 결상되는 광선이 통과하는 가상 상면상의 위치를 위치(xk, yk)라고 한다. 우선, 이 좌표(xk, yk)를 산출한다.
도 8은, 촬영 렌즈면의 동공분할영역(uk, pk)으로부터 출사되어, 마이크로렌즈 어레이면상의 좌표(xk',yk')에 있는 마이크로렌즈에 입사하는 광선이, 리포커스면상의 어느 좌표를 통과할지를 설명하기 위한 개념도다. 도 5와 같이, 본 도면은 u, x, x'의 방향만을 나타내지만, 수직방향 v, y, y'를 생략한다.
도 8로부터 알 수 있는 바와 같이, 리포커스면상의 광선이 통과하는 좌표(xk, yk)는 식(3)과 같이 표현될 수 있다.
Figure 112014059484605-pct00003
따라서, 식(3)으로 표현된 리포커스면상의 같은 위치(xk, yk)를 통과하는 광선들을 수광하는 화소들이, 화상의 재구축시에 결함화소와 함께 적분되는 화소다. 이것들의 화소출력을 L(x',y',u,v)라고 나타내면, L(x',y',u,v)는 식(1)을 사용해서 식(4)로 표현할 수 있다.
Figure 112014059484605-pct00004
여기에서, 대표 좌표(u, v)는, 광선이 결함화소에 입사하는 동공분할영역(uk, vk)이외의 동공분할영역 위에 있다. 즉, 식(2)의 적분을 단순가산에 의해 계산할 수 있다.
예를 들면, 결함화소와 함께 화상의 재구축에 사용되는 화소들 중, 촬상소자상에서 결함화소에 가까운 위치에 있는 상,하, 좌, 우 4개의 화소의 평균값으로부터 보정값을 작성한다. 이 경우, 식(4)의 (u, v)에, (uk+d, vk), (uk-d, vk), (uk, vk+d), (uk, vk-d)을 각각 대입해서 취득된 4개의 화소출력으로부터 보정값을 산출한다.
기호 d는 촬영 렌즈의 인접한 동공분할영역의 대표 좌표 사이의 간격을 나타낸다. 여기에서, 촬영 렌즈(101)로부터 마이크로렌즈 어레이(102)까지의 거리가 F이고, 마이크로렌즈 어레이로부터 촬상소자(103)까지의 거리가 f이며, 촬상소자의 화소 피치가 s이며, 촬영 렌즈와 마이크로렌즈의 F넘버가 같은 경우, 상기 d는 식(5)로서 표현되어도 된다.
Figure 112014059484605-pct00005
리포커스면을 마이크로렌즈 어레이면 위에 설정했을 경우, 즉, α=1의 경우에는, 식(3)은 연산 불가능이 된다. 이 경우, 촬영 렌즈의 화상은 마이크로렌즈에 의해 대응하는 화소배열 위에 결상된다. 화소배열상에서 결함화소에 인접한 화소는, 보정값의 계산방법에 따라 보정용 화소로서 선택될 수 있다.
상기의 방법에 따라 선택된 보정값 작성용의 화소의 예들을 도 9a, 도 9b, 도 10a 및 도 10b에 나타낸다.
도 9a 및 도 9b는, 촬영 렌즈(101)의 각 분할동공영역으로부터 출사된 광선이, 마이크로렌즈 어레이(102)를 통과해서 촬상소자(103)의 각 화소에 입사하는 경우를 나타내는 개념도다. 도 10a 및 도 10b는, 촬상소자(103)와 마이크로렌즈 어레이(102)를 광축의 방향에서 보았을 때의 개념도다.
도 9a는, 리포커스면을 마이크로렌즈 어레이와 같은 위치에 설정했을 경우(α=1)의 광선을 나타낸다. 이 경우, 리포커스면상의 좌표(x, y)에 있어서의 재구축 화상의 화소신호를 생성하기 위해서 사용된 화소들은, 도 10a에 화소A, B, C로서 나타낸 화소들이다. 마이크로렌즈 어레이 위에 리포커스면을 설정했을 경우에는, 어떤 좌표를 재구축하는데 사용되는 화소들 모두는 같은 화소배열내의 화소들이다. 도 10a 및 도 10b에 있어서 화소B가결함화소이었을 경우, 결함화소B의 보정값 작성용의 화소들은 결함화소B에 인접하는 4개의 화소C가 된다. 그리고, 결함화소B의 출력을 4개의 화소C의 평균값으로 대체하여서 보정한다.
한편, 리포커스면을 마이크로렌즈 어레이보다도 촬영 렌즈측에 설정했을 경우(0<α<1)의 광선은, 도 9b에 나타낸 것과 같다. 이 경우, 리포커스면상의 좌표(x, y)에 있어서의 재구축 화상의 화소신호를 생성하기 위해서 사용된 화소들은, 예를 들면, 도 10b에 화소A, B, C로서 나타낸 바와 같이 떨어진 위치에 있는 화소들이 된다. 여기에서, 화소B가 결함화소일 경우, 결함화소B의 보정값 작성용에 사용되는 화소들은, 화상의 재구축에 사용된 화소들 중, 결함화소B에 가까운 4개의 화소C가 된다. 그리고, 결함화소B의 출력을 4개의 화소C의 평균값으로 대체하여서 보정한다.
도 9a, 도 9b, 도 10a 및 도 10b에 나타나 있는 바와 같이, 같은 위치의 결함화소의 보정일 경우에도, 설정한 가상 상면의 위치에 따라 결함화소를 보정하기 위해서 사용되는 화소들이 다르다. 본 발명은 이러한 상황에 따라 적절한 결함화소의 보정을 행하는 것을 가능하게 한다.
상기 결함보정처리는 재구축부(602)내에서 행하는 구성을 채택하여도 된다. 즉, 재구축부(602)에서 식(2)로 표현된 재구축 처리를 순차로 행한다. 화상의 재구축에 사용된 화소들에 결함이 있는 경우, 식(4)로 표현된 화소값으로부터 보정값을 작성하여도 된다.
이상에서 설명한 바와 같이, 본 실시예에서는, 우선, 결함화소가 리포커스면상의 어느 좌표의 재구축에 사용될지를 구한다. 그 구한 리포커스면상의 좌표에서의 화상의 재구축에 사용된 다른 화소의 좌표를 산출한다. 그 산출된 좌표의 화소의 출력값으로부터 보정값을 작성한다. 이렇게 하여, 리포커스 화상을 재구축하기 위한 촬상에 대하여, 결함화소를 적절하게 보정하는 것이 가능하다.
시스템 제어부(108)에 의한 제어는, 1개의 하드웨어로 행해도 되거나, 장치 전체를 제어하기 위해 복수의 하드웨어간에 공유되어도 된다. 상기 실시예에서는, 본 발명은 촬상장치를 예를 들어 설명했다. 그렇지만, 본 발명은 PC등의 처리장치에 있어서 기록 매체로부터 제공된 화상신호의 처리에 적용 가능한 것이 명확하다.
그 밖의 예시들
또한, 본 발명의 국면들은, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 시스템 또는 장치(또는 CPU 또는 MPU 등의 디바이스들)의 컴퓨터에 의해서, 또한, 시스템 또는 장치의 컴퓨터에 의해 수행된 단계들, 예를 들면, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 방법에 의해, 실현될 수도 있다. 이를 위해, 상기 프로그램은, 예를 들면, 네트워크를 통해 또는, 여러 가지 형태의 메모리 디바이스의 기록매체(예를 들면, 컴퓨터 판독 가능한 매체)로부터, 상기 컴퓨터에 제공된다.
본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예, 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.
본 출원은, 여기서 전체적으로 참고로 포함된, 2011년 11월 30일에 제출된 일본국 특허출원 2011-262007호의 이점을 청구한다.

Claims (12)

  1. 촬상소자로부터 취득된 피사체상 광의 진행 방향의 정보를 포함하는 화상신호를 처리하는 화상처리장치로서,
    상기 화상처리장치는,
    상기 촬상소자로부터 취득된 상기 화상신호를 사용해서 상기 피사체의 화상을 재구축하는 가상 상면의 위치를 설정하는 가상 상면 위치 설정수단; 및
    상기 촬상소자의 결함화소의 화상신호를 상기 촬상소자의 다른 화소의 화상신호를 사용해서 보정하는 보정수단을 구비하고,
    상기 보정수단은, 상기 가상 상면 위치 설정수단에 의해 설정된 상기 가상 상면의 위치와 상기 피사체상 광의 진행 방향정보에 의거하여, 상기 결함화소의 화상신호의 보정에 사용하는 다른 화소를 결정하는, 화상처리장치.
  2. 제 1 항에 있어서,
    상기 보정수단은, 상기 결함화소에 입사하는 상기 피사체상 광이 통과하는 상기 가상 상면상의 위치와 같은 위치의 진행 방향의 정보를 가지는 피사체상 광을 수신하는 화소들로부터 상기 다른 화소를 선택하고,
    상기 선택된 화소의 화소신호를 사용해서 상기 결함화소의 화상신호의 보정값을 생성하는, 화상처리장치.
  3. 제 2 항에 있어서,
    상기 선택된 화소는, 상기 결함화소에 입사하는 상기 피사체상 광이 통과하는 상기 가상 상면상의 위치와 같은 위치의 진행 방향의 정보를 가지는 피사체상 광 중, 상기 결함화소에 입사하는 상기 피사체상 광이 출사되는 동공분할영역에 인접하는 동공분할영역으로부터 나오는 피사체상 광이 입사하는 화소인, 화상처리장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 보정수단은, 상기 다른 화소의 화상신호의 산술평균에 의해 상기 결함화소의 화상신호의 보정값을 생성하는, 화상처리장치.
  5. 제 3 항에 있어서,
    상기 보정수단은, 상기 동공분할영역의 위치에 따라 대응하는 화소의 화상신호에 가중(weighting)을 사용한 가중평균에 의해 상기 결함화소의 화상신호의 보정값을 생성하는, 화상처리장치.
  6. 촬상소자로부터 취득된 피사체상 광의 진행 방향의 정보를 포함하는 화상신호를 처리하는 화상처리장치의 제어방법으로서,
    상기 제어방법은,
    상기 촬상소자로부터 취득된 상기 화상신호를 사용해서 상기 피사체의 화상을 재구축하는 가상 상면의 위치를 설정하는 단계; 및
    상기 촬상소자의 결함화소의 화상신호를 상기 촬상소자의 다른 화소의 화상신호를 사용해서 보정하는 단계를 포함하고,
    상기 보정하는 단계는, 상기 가상 상면 위치 설정 단계에 의해 설정된 상기 가상 상면의 위치와 상기 피사체상 광의 진행 방향정보에 의거하여, 상기 결함화소의 화상신호의 보정에 사용하는 다른 화소를 결정하는 것을 포함하는, 화상처리장치의 제어방법.
  7. 컴퓨터에, 청구항 6에 따른 화상처리장치의 제어방법을 실행시키는 프로그램 코드를 포함하는 프로그램을 기억하는 컴퓨터 판독 가능한 기억매체.
  8. 촬영 렌즈의 동공분할영역에 대응한 피사체상 광의 진행 방향의 정보를 취득하도록 배치된 촬상광학계;
    상기 촬상광학계에 의해 결상된 피사체상 광을 광전변환 해서 화상신호를 출력하는 촬상소자; 및
    청구항 1 내지 3 중 어느 한 항에 기재된 화상처리장치를 구비한, 촬상장치.
  9. 제 8 항에 있어서,
    상기 촬상광학계는 상기 촬영 렌즈와 상기 촬상소자와의 사이에 상기 동공분할영역에 대응한 마이크로렌즈 어레이를 구비하고, 각 마이크로렌즈에 대응하는 상기 촬상소자의 화소배열에 포함된 각 화소는 상기 촬영 렌즈의 각각의 동공분할영역에 대응하는, 촬상장치.
  10. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 화상신호는, 촬영 렌즈의 동공분할영역에 대응한 상기 피사체상 광의 상기 진행 방향의 상기 정보가 취득된 촬상광학계를 사용해서 상기 촬상소자로부터 취득하는, 화상처리장치.
  11. 촬상소자로부터 취득된 피사체상 광의 진행 방향의 정보를 포함하는 화상신호를 처리하는 화상처리장치로서,
    상기 촬상소자로부터 취득된 화상신호를 사용해서 가상 상면에 있어서의 피사체의 화상을 재구축하는 재구축수단 및,
    상기 촬상소자의 결함화소의 화상신호를 상기 촬상소자의 다른 화소의 화상신호를 사용해서 보정하는 보정수단을 구비하고,
    상기 보정수단은, 상기 가상 상면의 위치와 상기 피사체상 광의 진행 방향 정보에 의거하여, 상기 결함화소의 화상신호의 보정에 사용하는 상기 다른 화소를 결정하는, 화상처리장치.
  12. 촬상소자로부터 취득된 피사체상 광의 진행 방향의 정보를 포함하는 화상신호를 처리하는 화상처리장치의 제어방법으로서,
    상기 촬상소자로부터 취득된 화상신호를 사용해서 가상 상면에 있어서의 피사체의 화상을 재구축하는 재구축단계 및,
    상기 촬상소자의 결함화소의 화상신호를 상기 촬상소자의 다른 화소의 화상신호를 사용해서 보정하는 보정단계를 구비하고,
    상기 보정단계는, 상기 가상 상면의 위치와 상기 피사체상 광의 진행 방향 정보에 의거하여, 상기 결함화소의 화상신호의 보정에 사용하는 다른 화소를 결정하는, 화상처리장치의 제어방법.
KR1020147017478A 2011-11-30 2012-11-16 화상처리장치, 화상처리방법 및 기억매체, 및 화상처리장치를 구비한 촬상장치 KR101627087B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2011-262007 2011-11-30
JP2011262007A JP5913934B2 (ja) 2011-11-30 2011-11-30 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置
PCT/JP2012/080411 WO2013080899A1 (en) 2011-11-30 2012-11-16 Image processing apparatus, image processing method and program, and image pickup apparatus including image processing apparatus

Publications (2)

Publication Number Publication Date
KR20140097465A KR20140097465A (ko) 2014-08-06
KR101627087B1 true KR101627087B1 (ko) 2016-06-03

Family

ID=48535356

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147017478A KR101627087B1 (ko) 2011-11-30 2012-11-16 화상처리장치, 화상처리방법 및 기억매체, 및 화상처리장치를 구비한 촬상장치

Country Status (9)

Country Link
US (2) US9191595B2 (ko)
JP (1) JP5913934B2 (ko)
KR (1) KR101627087B1 (ko)
CN (1) CN103828344B (ko)
BR (1) BR112014000674A2 (ko)
DE (1) DE112012003264B4 (ko)
GB (1) GB2512223B (ko)
RU (1) RU2570349C1 (ko)
WO (1) WO2013080899A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6238657B2 (ja) * 2013-09-12 2017-11-29 キヤノン株式会社 画像処理装置及びその制御方法
JP2015080125A (ja) * 2013-10-18 2015-04-23 カシオ計算機株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6506506B2 (ja) * 2014-04-02 2019-04-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法およびプログラム
JP6585890B2 (ja) * 2014-09-30 2019-10-02 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
TWI538515B (zh) * 2014-10-31 2016-06-11 晶相光電股份有限公司 影像感測裝置與缺陷像素檢測與補償方法
EP3026884A1 (en) * 2014-11-27 2016-06-01 Thomson Licensing Plenoptic camera comprising a light emitting device
JP2016127389A (ja) * 2014-12-26 2016-07-11 キヤノン株式会社 画像処理装置およびその制御方法
RU2729698C2 (ru) 2015-09-17 2020-08-11 ИНТЕРДИДЖИТАЛ ВиСи ХОЛДИНГЗ, ИНК. Устройство и способ для кодирования изображения, захваченного оптической системой получения данных
EP3144887A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing A method and an apparatus for generating data representative of a pixel beam
EP3145168A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
EP3264741A1 (en) 2016-06-30 2018-01-03 Thomson Licensing Plenoptic sub aperture view shuffling with improved resolution
JP2018098663A (ja) * 2016-12-14 2018-06-21 キヤノン株式会社 画像処理装置、方法及びプログラム
JP2018157371A (ja) * 2017-03-17 2018-10-04 キヤノン株式会社 撮像装置及び欠陥画素の補正方法
JP6872956B2 (ja) 2017-04-13 2021-05-19 キヤノン株式会社 撮像システム及び撮像システムの制御方法
US11089251B2 (en) 2018-07-12 2021-08-10 Canon Kabushiki Kaisha Image sensor and image capturing apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010057067A (ja) 2008-08-29 2010-03-11 Sony Corp 撮像装置および画像処理装置
JP2010252105A (ja) 2009-04-16 2010-11-04 Sony Corp 撮像装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5703961A (en) * 1994-12-29 1997-12-30 Worldscape L.L.C. Image transformation and synthesis methods
US6618084B1 (en) 1997-11-05 2003-09-09 Stmicroelectronics, Inc. Pixel correction system and method for CMOS imagers
US6665009B1 (en) 1998-05-20 2003-12-16 Omnivision Technologies, Inc. On-chip dead pixel correction in a CMOS imaging sensor
JP2002359783A (ja) * 2001-05-31 2002-12-13 Olympus Optical Co Ltd 撮像装置及び画素欠陥補正方法
US6737625B2 (en) * 2001-06-28 2004-05-18 Agilent Technologies, Inc. Bad pixel detection and correction in an image sensing device
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
DE10209552A1 (de) * 2002-03-04 2003-10-02 Plettac Ag Verfahren und Vorrichtung zur Kompensation defekter Pixel eines CCD-Sensors
JP4211292B2 (ja) * 2002-06-03 2009-01-21 ソニー株式会社 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体
US7372484B2 (en) 2003-06-26 2008-05-13 Micron Technology, Inc. Method and apparatus for reducing effects of dark current and defective pixels in an imaging device
WO2006039486A2 (en) * 2004-10-01 2006-04-13 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
CN100556076C (zh) * 2004-10-01 2009-10-28 利兰·斯坦福青年大学托管委员会 成像装置及其方法
WO2007036055A1 (en) * 2005-09-30 2007-04-05 Simon Fraser University Methods and apparatus for detecting defects in imaging arrays by image analysis
US7723662B2 (en) * 2005-10-07 2010-05-25 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
JP5137380B2 (ja) * 2006-11-07 2013-02-06 キヤノン株式会社 ぶれ補正装置及び方法
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
KR101441586B1 (ko) * 2008-10-06 2014-09-23 삼성전자 주식회사 촬상 장치 및 촬상 방법
JP5230456B2 (ja) * 2009-01-09 2013-07-10 キヤノン株式会社 画像処理装置および画像処理方法
US20120249550A1 (en) * 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
US8908058B2 (en) * 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
RU2412554C1 (ru) 2010-01-25 2011-02-20 Учреждение Российской академии наук Институт физики полупроводников им. А.В. Ржанова Сибирского отделения РАН (ИФП СО РАН) Способ компенсации дефектных фоточувствительных элементов многоэлементного фотоприемника
US8928969B2 (en) * 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
JP6071333B2 (ja) * 2012-08-27 2017-02-01 キヤノン株式会社 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010057067A (ja) 2008-08-29 2010-03-11 Sony Corp 撮像装置および画像処理装置
JP2010252105A (ja) 2009-04-16 2010-11-04 Sony Corp 撮像装置

Also Published As

Publication number Publication date
US20140192237A1 (en) 2014-07-10
GB2512223A (en) 2014-09-24
BR112014000674A2 (pt) 2017-02-14
US9191595B2 (en) 2015-11-17
KR20140097465A (ko) 2014-08-06
JP5913934B2 (ja) 2016-05-11
US9560297B2 (en) 2017-01-31
RU2570349C1 (ru) 2015-12-10
US20160014357A1 (en) 2016-01-14
GB2512223B (en) 2018-03-14
DE112012003264B4 (de) 2021-06-17
WO2013080899A1 (en) 2013-06-06
CN103828344A (zh) 2014-05-28
DE112012003264T5 (de) 2014-05-08
JP2013115717A (ja) 2013-06-10
CN103828344B (zh) 2017-02-15
GB201410755D0 (en) 2014-07-30

Similar Documents

Publication Publication Date Title
KR101627087B1 (ko) 화상처리장치, 화상처리방법 및 기억매체, 및 화상처리장치를 구비한 촬상장치
US11856291B2 (en) Thin multi-aperture imaging system with auto-focus and methods for using same
US9445002B2 (en) Image processing apparatus, image capturing apparatus, control method, and recording medium
US9516213B2 (en) Image processing apparatus, image capturing apparatus, and control method thereof
JP6222908B2 (ja) 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置
JP6071333B2 (ja) 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置
JP6151641B2 (ja) 撮像装置、撮像システム、撮像方法および画像処理方法
Oberdörster et al. Digital focusing and refocusing with thin multi-aperture cameras
JP2017216649A (ja) 撮像素子、撮像装置、および撮像信号処理方法
US9596402B2 (en) Microlens array for solid-state image sensing device, solid-state image sensing device, imaging device, and lens unit
JP2014033415A (ja) 画像処理装置及び方法、及び、撮像装置
JP6137941B2 (ja) 画像処理システム、画像処理方法およびプログラム、並びに撮像装置
JP5649702B2 (ja) 撮像装置
JP6478520B2 (ja) 画像処理装置及びその制御方法、撮像装置及びその制御方法、プログラム、記憶媒体
JP2015226169A (ja) 撮像装置およびその制御方法、並びにプログラム
JP2014217035A5 (ko)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right