KR101631073B1 - 화상처리장치, 화상처리방법 및 기억매체, 및 화상처리장치를 갖는 촬상장치 - Google Patents

화상처리장치, 화상처리방법 및 기억매체, 및 화상처리장치를 갖는 촬상장치 Download PDF

Info

Publication number
KR101631073B1
KR101631073B1 KR1020130105856A KR20130105856A KR101631073B1 KR 101631073 B1 KR101631073 B1 KR 101631073B1 KR 1020130105856 A KR1020130105856 A KR 1020130105856A KR 20130105856 A KR20130105856 A KR 20130105856A KR 101631073 B1 KR101631073 B1 KR 101631073B1
Authority
KR
South Korea
Prior art keywords
image
defective pixel
processing
defective
photoelectric conversion
Prior art date
Application number
KR1020130105856A
Other languages
English (en)
Other versions
KR20140034066A (ko
Inventor
사토시 스즈키
히로카즈 코바야시
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20140034066A publication Critical patent/KR20140034066A/ko
Application granted granted Critical
Publication of KR101631073B1 publication Critical patent/KR101631073B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

촬영 광학계로 결상된 피사체상의 광선 방향 정보를 포함하는 촬상화상을 취득하기 위한 마이크로렌즈 어레이를 배치한 촬상소자로부터 출력된 촬상화상을 처리하는 화상처리장치는, 광선 방향 정보에 의거하여 상기 취득한 촬상화상의 리포커스 처리를 실행하고, 재구성 화상을 생성하는 리포커스 처리부; 및 취득한 촬상화상으로부터 결함화소를 검출하는 결함화소 검출부를 갖는다. 촬상화상을 취득할 때, 그 취득한 촬상화상의 결함화소의 검출을 행한다. 리포커스 처리가 지시되었을 때, 결함화소의 검출이 행하여진 촬상화상에 대하여 리포커스 처리를 실행한다.

Description

화상처리장치, 화상처리방법 및 기억매체, 및 화상처리장치를 갖는 촬상장치{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND STORAGE MEDIUM, AND IMAGE PICKUP APPARATUS WITH IMAGE PROCESSING APPARATUS}
본 발명은, 화상처리장치에 관한 것으로, 특히 전방면에 마이크로렌즈 어레이를 갖는 촬상소자에서 얻어진 촬상화상을 처리하는 화상처리장치에 관한 것이다.
종래, 메모리 소자를 갖는 메모리 카드인 기록 매체에/기록 매체로부터, CCD, CMOS등의 촬상소자에서 촬상한 정지화상이나 동화상의 기록 및 재생을 행하는 전자카메라 등의 촬상장치가 많이 존재한다.
이것들의 촬상장치에 관한 기술의 일례가 일본국 공개특허 특개소 61-261974호에 제안되어 있다. 이러한 촬상장치는, 촬상소자의 전방면에 소정수의 복수의 화소에 대하여 1개의 비율로 마이크로렌즈를 배열한 마이크로렌즈 어레이(이하, ＭＬＡ라 약기한다)를 배치함으로써, 촬상소자에 입사하는 광선의 입사방향의 정보(광선 방향정보)도 얻을 수 있도록 구성되어 있다.
이러한 촬상장치를 Ren.Ng, 그외 7명, "Light Field Photography with a Hand-Held Plenoptic Camera", Stanford Tech Report CTSR 2005-02에 있어서는 휴대용 플래노픽 카메라라고 부르고 있지만, 일반적으로는 "라이트 필드 카메라"라고도 부른다.
이러한 촬상장치의 용도로서는, 각 화소로부터의 출력 신호를 바탕으로 일반적인 촬영 화상을 생성하는 것이다. 또 다른 용도로서는, 촬영된 화상에 대하여 광선 방향정보에 근거한 소정의 화상처리를 실행함으로써, 임의의 초점거리에 초점을 맞춘 화상을 재구축하는 것 등이다(이러한 처리를 리포커스 처리라고 부른다).
한편, 최근의 전자카메라 중에는, 수백만으로부터 수천만의 화소를 갖는 촬상소자를 탑재하는 카메라가 많이 존재한다. 그렇지만, 그 모든 화소가 적정하게 입사광량에 대응한 전기신호로의 변환을 행하는 촬상소자를 제조하는 것은 현실적으로 대단히 곤란하다. 이에 따라, 촬상소자의 "화소"에는, 몇개의 정상적으로는 동작하지 않는 "결함화소"가 혼합되어 있다.
종래의 촬상장치에 있어서는, 이러한 결함화소의 주변 화소의 화상신호를 사용한 보간처리등을 실행하여서, 최종적으로 생성되는 화상을 보정한다.
보정대상이 되는 결함화소를 검출하는 방법이 몇 개 있다. 예를 들면, 촬상장치 혹은 촬상소자의 제조 단계에 있어서, 촬영된 화상에 의거하여 결함화소의 어드레스를 기록해서 촬상장치의 메모리에 보존해 두는 방법들이 일본국 공개특허 특개소 61-261974호와 일본국 공개특허공보 특개 2005-026794호등에 제안되어 있다.
또 다른 검출 방법으로서는, 촬상장치에 의한 촬영마다, 촬상화상의 주변 화소의 화상신호와의 레벨 차이등에 의거하여 상기 결함화소를 판정하는, 실시간 결함화소 검출방법이 있다. 이러한 방법은, 일본국 공개특허공보 특개 2005-286825호등에 제안되어 있다.
그렇지만, 상기한 바와 같은 ＭＬＡ를 갖는 촬상장치에 있어서의 촬영에 있어서, 실시간 결함화소의 검출을 실현하기 위해서는, 이하와 같은 문제가 있었다.
즉, 실시간 결함화소의 검출 방법에서는, 검출 대상 화소와 그 주변화소간의 레벨 차이에 근거해서 그 검출 대상 화소가 결함화소인지의 여부를 판정한다. 그러나, 먼저 서술한 ＭＬＡ를 갖는 촬상장치 중, 리포커스 처리등의 소정의 화상처리를 실행하는 재구성을 전제로 한 촬상장치에서는 다음과 같은 문제가 있다. 즉, 촬상소자로부터의 판독시 또는, 화상 데이터 보관시의 화소신호의 배열이, 항상 피사체상의 위치 관계에 대응한 배열이 아니어서, 그 화상 데이터는 직접 표시하여 관찰하는데 적절하지 않은 데이터를 갖는다. 그러므로, 이러한 배열이 그대로 사용되면, 일본국 공개특허공보 특개 2005-286825호에 나타낸 것처럼 그 결함화소의 주위의 화소신호에 의거하여, 상기 검출 대상 화소가 결함이 있는지를 판정하는 것이 곤란하다.
그러나, 결함화소를 검출하기 위해서, 검출에 사용하는 화상을 직접 표시하여 관찰하는데 적절한 화상 데이터를 얻도록, 재구성 처리를 일부 실행하면, 재구성 후에 얻어진 화상의 1개의 화소신호는 복수의 촬상소자의 화소신호를 가산해서 생성된 신호가 된다. 이 때문에, 재구성 화상의 화소신호에 의거하여, 촬상소자의 어느 화소가 결함화소인지를 검출하는 것은 더욱 곤란하다.
따라서, 본 발명의 일 국면은, ＭＬＡ를 갖는 촬상소자에서 얻어진 촬상화상에 대하여 적절한 결함화소 검출을 행하는 것을 가능하게 하는 화상처리장치, 화상처리방법 및 기억매체를 제공하는데 있다.
상기의 과제를 해결하기 위해서, 본 발명에 의하면, 촬영 광학계로 결상된 피사체상의 광선 방향 정보를 포함하는 촬상화상을 취득하기 위한 마이크로렌즈 어레이를 배치한 촬상소자로부터 출력된 촬상화상을 처리하는 화상처리장치는, 상기 광선 방향 정보에 의거하여 상기 취득한 촬상화상의 리포커스 처리를 실행하고, 재구성 화상을 생성하는 리포커스 처리부; 및 상기 취득한 촬상화상으로부터 결함화소를 검출하는 결함화소 검출부를 구비하고, 상기 촬상화상을 취득한 경우에, 상기 취득한 촬상화상의 결함화소의 검출을 행하고, 상기 리포커스 처리가 지시된 경우에는, 결함화소의 검출이 행하여진 촬상화상에 대하여 리포커스 처리를 실행한다.
본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 예시적 실시예들의 설명으로부터 명백해질 것이다.
본 명세서에 포함되고 그 일부를 구성하는 첨부도면들은, 본 발명의 예시적 실시예들, 특징들 및 국면들을 예시하고, 이 설명과 함께, 본 발명의 원리를 설명하는 역할을 한다.
도 1은 본 발명의 제1 실시예에 따른 촬상장치의 블록도다.
도 2는 도 1에 나타낸 촬상장치의 촬상광학계에 따른 구성의 블록도다.
도 3은 도 1의 촬상장치의 촬상소자의 화소배열을 모식적으로 도시한 도면이다.
도 4는 도 3의 화소배열을 구성하는 단위화소의 구성도다.
도 5는 도 2의 촬상광학계에 있어서의 촬영 렌즈의 개구를 피사체 방향에서 본 경우의 도면이다.
도 6은 도 2의 촬상광학계에 있어서의 피사체로부터의 광선궤적을 도시한 도면이다.
도 7a, 7b는 도 2의 촬상광학계에 의한 피사체 거리의 검출 동작을 설명하기 위한 도면이다.
도 8은 본 발명의 제1 실시예에 따른 촬상장치의 촬영 동작의 흐름도를 도시한 도면이다.
도 9는 본 발명의 제1 실시예에 따른 결함화소의 검출 동작의 흐름도를 도시한 도면이다.
도 10a, 10b는 본 발명의 제1 실시예에 따른 결함화소의 검출 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 제2 실시예에 따른 촬상장치의 촬영 동작의 흐름도를 도시한 도면이다.
이하, 본 발명의 각종 예시적 실시예, 특징 및 국면을 도면을 참조하여 상세히 설명한다.
제1 실시예
도 1은, 본 발명의 제1 실시예에 따른 촬상장치의 블록도다.
도 1에 있어서, 렌즈등의 촬영을 위한 광학계(101), 기계적 셔터(102), 및 입사광을 전기신호로 변환하는 촬상소자(103)가 구비되어 있다. 촬상소자(103)는, 입사광을 전기신호로 변환하는 광전변환부(104); 및 그 전기신호를 증폭하는 신호증폭부(105)를 가진다.
아날로그 신호 처리부(106)는, 촬상소자(103)로부터 출력되는 화상신호를 취득하여, 이에 아날로그 신호 처리를 실행한다. 아날로그 신호 처리부(106)는, 아날로그 신호를 증폭하는 신호증폭기(107); 수평 ＯＢ클램프를 행하는 클램프부(108); 및 아날로그 신호를 디지털 신호로 변환하는 Ａ/D변환기(109)를 가진다.
타이밍 신호발생부(110)는, 촬상소자(103) 및 아날로그 신호 처리부(106)를 동작시키는 신호를 발생한다. 구동부(111)는 광학계(101), 기계적 셔터(102)를 구동한다. 디지털 신호 처리부(112)는 촬영한 화상 데이터에 필요한 디지털 신호 처리를 실행한다. 디지털 신호 처리부(112)는, 화상보정부(113); 본 실시예에 따른 결함화소 검출을 행하는 결함화소 검출부(114); 디지털 신호를 증폭하는 신호증폭부(115); 및 화상 데이터에 대하여 필요한 화상처리를 행하는 화상처리부(116)를 포함한다.
화상 메모리(117)는 신호 처리된 화상 데이터를 기억한다. 화상 기록매체(기록 매체로서 도시됨)(118)는 촬상장치로부터 착탈 가능하다. 기록부(119)는 신호 처리된 화상 데이터를 화상 기록매체(118)에 기록한다. 화상표시장치(120)는 신호 처리된 화상 데이터를 표시한다. 표시부(121)는 화상표시장치(120)에 화상을 표시한다.
시스템 제어부(122)는 촬상장치 전체를 제어한다. 불휘발성 메모리(ＲＯＭ)(123)는, 시스템 제어부(122)로 실행된 제어 방법을 기재한 프로그램; 그 프로그램을 실행할 때에 사용되는 파라미터나 테이블 등의 제어 데이터; 및 결함 어드레스 등의 보정 데이터를 기억한다. 불휘발성 메모리(123)에 기억된 프로그램, 제어 데이터 및 보정 데이터를 전송해서 기억해두고, 시스템 제어부(122)가 촬상장치를 제어할 때에, 휘발성 메모리(ＲＡＭ)(124)가 사용된다.
촬영 모드 설정부(125)는 ＩＳＯ감도설정등의 촬영 조건설정이나, 정지 화상 촬영과 라이브 뷰(view) 구동간의 전환 등을 행한다.
이하, 전술한 바와 같이 구성된 본 실시예에 따른 촬상장치의 촬영 동작에 관하여 설명한다.
촬영 동작에 앞서, 촬상장치의 전원투입시 등의 시스템 제어부(122)의 동작 개시시에 있어서, 불휘발성 메모리(123)로부터 필요한 프로그램, 제어 데이터 및 보정 데이터를 휘발성 메모리(124)에 전송해서 기억해 두는 것으로 한다. 이것들의 프로그램과 데이터는, 시스템 제어부(122)가 촬상장치를 제어할 때에 사용된다. 그러나, 시스템 제어부(122)는, 필요에 따라서 추가의 프로그램과 데이터를 불휘발성 메모리(123)로부터 휘발성 메모리(124)에 전송하거나, 직접 불휘발성 메모리(123)내의 데이터를 판독해서 사용할 수 있도록 구성되어도 된다.
우선, 렌즈 등의 광학계(101)는, 시스템 제어부(122)로부터의 제어신호에 의해 구동되고, 적절한 밝기로 설정된 피사체상을 촬상소자(103) 위에 결상시킨다. 이어서, 기계적 셔터(102)는, 정지화상 촬영모드에서, 시스템 제어부(122)로부터의 제어신호에 의해, 필요한 노광시간이 취득되도록 촬상소자(103)의 동작에 맞춰서 촬상소자(103)를 차광하도록 구동된다. 이 때, 촬상소자(103)가 전자셔터 기능을 갖는 경우에는, 기계적 셔터(102)와 협력하여 필요한 노광 시간을 확보해도 된다. 기계적 셔터(102)는, 동화상 촬영모드 및 라이브 뷰 구동모드에서, 시스템 제어부(122)로부터의 제어신호에 의해, 촬영중에 항상 촬상소자(103)가 노광되도록, 개방 상태로 유지된다.
촬상소자(103)는, 시스템 제어부(122)에 의해 제어된 타이밍 신호발생부(110)가 발생하는 동작 펄스에 근거한 구동 펄스로 구동된다. 광전변환부(104)는, 피사체상을 광전변환에 의해 전기신호로 변환한다. 신호증폭부(105)는 입사광량에 따라 설정된 증폭률의 게인(gain)을 전기신호에 곱하여, 그 결과로 얻어진 신호를 아날로그 화상신호로서 출력한다.
촬상소자(103)로부터 출력된 아날로그의 화상신호는, 시스템 제어부(122)에 의해 제어되는 타이밍 신호발생부(110)가 발생하는 동작 펄스에 의해, 아날로그 신호 처리부(106)로 처리된다. 우선, PGA부(107)는 입사광량에 따라 설정된 증폭률의 게인을 곱한다. 클램프(CLAMP)부(108)는 수평ＯＢ영역의 신호 출력을 기준전압으로서 클램프 한다. A/D변환기(109)는 그 클램프된 신호를 디지털 화상신호로 변환한다.
이어서, 아날로그 신호 처리부(106)로부터 출력된 디지털 화상신호는, 시스템 제어부(122)에 의해 제어되는 디지털 신호 처리부(112)에 있어서, 색 변환, 화이트 밸런스, 감마 보정등의 화상처리, 해상도 변환 처리, 화상압축처리 등이 이루어진다.
우선, 화상보정부(113)에서는 결함화소를 보정하고, 다크 셰이딩(shading) 보정등의 각종 화상 보정처리를 실행한다. 결함화소 검출부(114)에 의해 촬상화상으로부터 결함화소를 검출한다. 화상보정부(113)로 보정된 결함화소는, 이전에 촬상소자(103)의 제조 단계 등에서 검출되어, 그 화소의 위치등의 정보가 기록된 화소다. 결함화소 검출부(114)로 검출되는 결함화소는, 촬상소자(103)의 제조 단계 등에서는 검출되지 않고, 그 후의 단계에서 새롭게 결함이 되어버린 화소나, ＲＴＳ노이즈와 같이 촬영마다 결함이 되거나 안되거나 하는 화소등이다.
그 후에, 신호증폭부(115)에서 입사광량에 따라 설정된 증폭률의 게인을 곱한다. 화상처리부(116)에서는, 색 변환, 화이트 밸런스, 감마 보정등의 화상처리, 해상도 변환 처리, 화상압축처리 등의 각종 화상처리를 실행한다. 상술한 것과 같은 광선 방향 정보에 근거하는 리포커스 처리도, 이 화상처리부(116)에서 실행된다.
화상 메모리(117)는, 신호 처리중의 디지털 화상신호를 일시적으로 기억하거나, 신호 처리된 디지털 화상신호인 화상 데이터를 기억하거나 하는데 사용된다. 디지털 신호 처리부(112)에서 신호 처리된 화상 데이터나 화상 메모리(117)에 기억되어 있는 화상 데이터는, 기록부(119)에 입력되어서, 화상 기록매체(118)에 적합한 데이터(예를 들면, 계층구조를 갖는 파일 시스템 데이터)로 변환된다. 변환된 화상 데이터는, 화상 기록매체(118)에 기록된다. 또한, 화상 데이터는 디지털 신호 처리부(112)에도 입력되어, 해상도 변환 처리가 실시된다. 그 후, 표시부(121)에 있어서 화상표시장치(120)에 적합한 신호(예를 들면, ＮＴＳＣ방식의 아날로그 신호 등)로 변환되어서 화상표시장치(120)에 표시된다.
이러한 경우에, 디지털 신호 처리부(112)는, 시스템 제어부(122)로부터의 제어신호에 따라, 디지털 화상신호에 신호 처리를 행하지 않고 그대로 화상 데이터로서 화상 메모리(117)나 기록부(119)에 출력해도 좋다. 디지털 신호 처리부(112)는, 시스템 제어부(122)로부터 요구가 있는 경우에, 신호 처리단계에서 생성된 디지털 화상신호나 화상 데이터의 정보를 시스템 제어부(122)에 출력한다. 화상 데이터의 정보로서는, 예를 들면 화상의 공간주파수, 지정 영역의 평균값, 압축 화상의 데이터량 등의 정보, 또는, 그것들로부터 추출된 정보가 있다. 한층 더, 기록부(119)는, 시스템 제어부(122)로부터 요구가 있는 경우에, 화상 기록매체(118)의 종류나 빈 용량등의 정보를 시스템 제어부(122)에 출력한다.
화상 기록매체(118)에 화상 데이터가 기록되어 있는 경우의 재생동작에 관하여 설명한다.
시스템 제어부(122)로부터의 제어신호에 따라 기록부(119)는, 화상 기록매체(118)로부터 화상 데이터를 판독한다. 마찬가지로, 시스템 제어부(122)로부터의 제어신호에 따라 디지털 신호 처리부(112)는, 화상 데이터가 압축 화상이었을 경우에는, 화상 신장 처리를 행하여, 화상 메모리(117)에 기억한다. 화상 메모리(117)에 기억된 화상 데이터는, 디지털 신호 처리부(112)에 의해 리포커스 처리와 해상도 변환 처리가 실시된다. 그 후, 표시부(121)에 있어서 화상표시장치(120)에 적합한 신호로 변환되어서 화상표시장치(120)에 표시된다.
도 2는, 본 실시예에 따른 촬상장치의 촬상광학계에 따른 구성을 나타내는 블록도다. 동 도면에 있어서, 도 1과 같은 구성요소는 동일한 참조번호로 나타내고, 그 설명은 생략한다.
도 2에 있어서, 촬영 렌즈(201)와, 촬상소자(103)의 구성요소인 ＭＬＡ(202)가 설치되어 있다. 또한, 촬상소자(103)의 구성요소인 센서 어레이이(203)는, 복수의 화소(광전변환소자)의 어레이를 포함한다. 참조번호 204는 피사체다.
이하, 본 실시예에 따른 촬상장치의 촬상동작에 대해서, 도 2를 참조하여 설명한다.
구동부(111)에 의해 기계적 셔터(102)가 열려 있는 상태에서, 피사체(204)의 화상은, 촬영 렌즈(201)에 의해 촬상소자(103)에 결상된다. 촬상소자(103)에 입사된 광신호는, ＭＬＡ(202)의 각 마이크로렌즈(이하, ＭＬ이라고 약기한다)에 의해 더욱 집광되어, 센서 어레이(203)의 각 화소에 입사된다. ＭＬＡ(202) 및 센서 어레이(203)의 구성에 대해서는, 이후 도 3을 참조하여 설명한다. 센서 어레이(203)에 입사된 광신호는, 촬상소자(103)의 각 화소에 있어서 광전변환되어, 전기신호로서 출력된다. 그 이후의 처리는 도 1을 참조하여 설명한 대로 실행된다.
도 3은 본 실시예에 따른 촬상장치에서 사용된 촬상소자를 피사체측에서 보았을 경우의 화소 배열을 모식적으로 도시한 도면이다.
도 3에 있어서, 단위화소(301)는, 재구성 후의 화상의 1화소에 해당한다. 단위화소(301)는, 소정수(6행×6열)의 광전변환소자(302)로 구성된다(이후, 분할 화소라고도 함). 하나의 ＭＬ(303)은 단위화소(301)마다 배치된다.
본 실시예에서는, 도 2, 도 3 및 도 6에 나타나 있는 바와 같이, 상기 센서 어레이의 화소 배열을, 설명을 간편하게 하기 위해서 (6행×6열)의 분할 화소로 각각 이루어진 (5행×5열)의 단위화소의 배열로 설정한다. 그렇지만, 실제의 촬상장치에 있어서는, 수백만 내지 수천만의 단위화소가 배열되어 있다고 가정한다.
도 4는 단위화소(301)에 있어서의 분할 화소의 배열 구성을 도시한 도면이다.
도 3에 설명한 것처럼, 단위화소(301)는 36(=6×6)개의 분할 화소(302)로 배열하여서 구성되어 있다. 나중의 설명을 위해, 본 실시예에서는, 36개의 분할 화소에 대하여, 각각 도 4와 같이, p11∼p66이라고 명명하는 것으로 한다.
도 5는 촬영 렌즈(201)의 개구를 촬영 피사체 방향에서 보았을 경우에의 눈동자 분할을 도시한 도면이다.
도 5에 나타나 있는 바와 같이, 촬영 렌즈(201)의 눈동자 영역을 1개의 ＭＬ아래에 있는 화소 수와 같은 수의 영역으로 분할하는 경우에, 1개의 분할 화소에는 촬영 렌즈(201)의 1개의 눈동자 분할 영역으로부터의 광이 결상되게 된다. 이제, 촬영 렌즈와 ＭＬ의 F넘버 거의 일치하고 있는 것으로 한다. 도 5에 나타낸 촬영 렌즈의 눈동자 분할 영역을 각각 a11∼a66이라고 명명할 때, 촬영 렌즈의 눈동자 분할 영역a11∼a66과 도 4에 나타낸 분할 화소영역p11∼p66과의 대응관계는, 광축방향에서 보았을 때 점대칭이 된다. 그러므로, 촬영 렌즈의 눈동자 분할 영역a11로부터 출사한 광은, ＭＬ의 후방에 있는 단위화소(301)의 분할 화소p11에 결상한다. 이와 마찬가지로, 눈동자 분할 영역a11로부터 출사하고, 별도의 ＭＬ을 통과하는 광도, 그 ＭＬ의 후방에 있는 단위화소(301)의 분할 화소p11에 결상한다.
도 6은, 본 실시예에 따른 촬상광학계에 있어서의 여러 가지 거리에 있는 피사체로부터 입사하는 광선의 궤적을 도시한 도면이다.
도 6에 있어서, 촬영 렌즈(201)의 눈동자영역a1∼a6으로부터 출사되어, ＭＬ을 통과한 광은, 후방의 대응한 단위화소의 분할 화소p1∼p6으로 각각 수광된다.
피사체(601a)는, 촬영 렌즈(201)에 의해 그 상이 ＭＬＡ(202)를 포함하는 면A에 결상되는 위치에 배치된 피사체다. 피사체 601a로부터 출사되는 광선 중, 촬영 렌즈의 가장 바깥둘레를 지나 광축상에 있는 ＭＬ을 거쳐서 센서 어레이(203)에 입사하는 광선은, 실선으로 도시되어 있다.
피사체 60lb는, 촬영 렌즈(201)에서 보았을 때 피사체 601a보다도 먼 위치에 있는 피사체다. 피사체 60lb의 촬영 렌즈(201)에 의해 결상된 화상은, ＭＬＡ(202)을 포함하는 면A보다도 촬영 렌즈에 가까운 면B에 결상된다. 피사체 60lb로부터 출사되는 광선 중, 촬영 렌즈의 가장 바깥둘레를 지나 광축상에 있는 ＭＬ을 거쳐서 센서 어레이(203)에 입사하는 광선은, 파선으로 도시되어 있다.
피사체 601c는, 촬영 렌즈(201)에서 보았을 때 피사체 601a보다도 근접한 위치에 배치된 피사체다. 피사체 601c의 촬영 렌즈(201)에 의해 결상된 화상은, ＭＬＡ(202)을 포함하는 면A보다도 촬영 렌즈로부터 먼 면C에 결상된다. 피사체 601c로부터 출사되는 광선 중, 촬영 렌즈의 가장 바깥둘레를 지나 광축상에 있는 ＭＬ을 거쳐서 센서 어레이(203)에 입사하는 광선은, 일점쇄선으로 도시되어 있다.
도 6에 나타낸 각 광선의 궤적으로 도시된 것처럼, 촬영 렌즈(201)로부터 피사체(601)까지의 거리에 따라, 센서 어레이(203)에 있어서 피사체로부터의 광선이 입사하는 분할 화소가 다르다. 이 거리와 분할 화소간의 위치 관계가 광선 방향 정보를 제공한다. 이러한 원리를 사용함으로써, 상술한 것과 같은 구성을 갖는 촬상장치는, 촬영후의 화상신호를 재구성 함에 의해, 여러 가지 거리에 있는 피사체에 초점을 맞춘 화상을 생성(리포커스 처리)하는 것을 가능하게 한다.
도 4에 나타낸 p11∼p66의 분할 화소는, 도 6을 참조하여 설명한 대로, 촬영 렌즈에 대하여 서로 다른 눈동자 영역을 통과한 광을 수광하고 있으므로, 이것들의 정보를 사용함으로써, 피사체까지의 거리를 검출하는 동작도 실행할 수 있다.
도 7a, 7b는 본 실시예에 따른 촬상장치에 있어서의 피사체 거리의 검출 동작을 설명하기 위한 도면이다.
도 7a에 나타나 있는 바와 같이, 각 마이크로렌즈에 대응하는 분할 화소의 출력p11∼p66을 가산하고, 다음의 식(1) 및 식(2)에 나타나 있는 바와 같이 수평방향으로 눈동자 분할된 2개의 신호를 형성한다.
Figure 112013080781822-pat00001
식(1)로 표시된 각 합성 신호A가 관측하고 있는 촬영 렌즈의 눈동자영역은, 도 6에 나타나 있는 바와 같이, 촬영 렌즈의 사출 눈동자의 영역a1∼a3을 통과한 광속을 수광하고 있다. 이것에 의거하여, 도 7b에 나타나 있는 바와 같이 수평방향으로 연속해서 배치된 ｎ개의 ＭＬ에 대응하는 화소군으로부터 얻어진 Ａ1∼Ａn을 배열하여서 일차원 화상신호Ａｉ(i=1,2,3,…,n)을 생성한다.
마찬가지로, 식(2)로 계산되는 합성 신호B를 배치하여서 일차원 화상신호Ｂｉ(i=1,2,3,…,n)를 생성하면, Ａｉ와 Ｂｉ는, 각각 촬영 렌즈의 사출 눈동자의 우측과 좌측을 보고 있는 신호다. 이 때문에, Ａｉ와 Ｂｉ의 상대 위치를 검출하고, 그 상대적인 편차량에 대하여 소정의 변환 계수를 곱함으로써, 위상차 검출 방식에 근거하는 거리 검출 동작을 실행할 수 있다.
표시 화면내의 임의의 위치에서 Ａｉ와 Ｂｉ를 생성함으로써, 그 위치에서의 초점위치(디포커스량)를 산출할 수 있다. 그러므로, 산출 결과에 따라 포커스 렌즈를 구동함으로써, 자동초점조절을 행하는 것도 가능하다.
도 8은, 본 실시예에 따른 촬상장치의 촬영 동작의 흐름도를 도시한 도면이다.
도 8에 있어서, 우선, 정지 화상 촬영, 동영상 촬영, 초점검출용 촬영 등의 모드는, 촬영 모드 설정부(125)에 의한 입력 등에 의거하여 시스템 제어부(122)에 의해 설정된다(단계S801). 이어서, 시스템 제어부(122)는, 그 설정된 모드에 따라, 감도, 조리개 값, 노광 시간등의 촬영 조건의 초기 설정을 행한다(단계S802).
이어서, 시스템 제어부(122)는, 피사체에 초점을 맞추도록 상기 포커스 렌즈를 자동적으로 구동하는 자동초점조절, 즉, 소위 오토 포커스(ＡＦ)를 시작한다(단계S803). ＡＦ의 방식으로서는, 콘트라스트 검출을 사용한 방식 이외에, 전용의 거리 계측 센서를 사용하는 방식등도 알려져 있다. 또한, 본 실시예에 따른 라이트 필드 카메라의 특징을 사용함으로써, 마이크로렌즈 아래에 다른 상한에 있는 광전변환소자의 신호를 적절하게 판독하고, 이것들의 신호를 위상차 검출 방식ＡＦ의 신호로서 사용하는 것도 가능하다. 이 방법에 대해서는, 도 7a, 7b를 참조하여 전술한 바와 같다.
시스템 제어부(122)는, 이 ＡＦ의 결과에 따라, 구동부(111)를 통해 촬영 광학계(101)의 포커스 렌즈를 구동한다.
계속하여, (도면에 나타나 있지 않은) 릴리스 버튼의 가압에 따라, 시스템 제어부(122)는 기계적 셔터(102)를 제어하고, 촬상소자(103)를 노광한다(단계S804).
이어서, 시스템 제어부(122)는, 촬상장치의 생산 단계에 있어서 이전에 추출해 둔 고정 결함화소의 정보를 불휘발성 메모리(123)로부터 판독하고, 화소보정부(113)를 해당하는 화소를 제어해서 보정을 행한다(단계S805).
다음에, 디지털 신호 처리부(112)의 결함화소 검출부(114)에 의해, 촬영 화상에 있어서의 결함화소 검출을 행한다(단계S806). 결함화소 검출 방법에 대해서는, 도 9, 도 10a, 10b를 참조해서 이후에 상세하게 설명한다. 검출된 결함화소는 디지털 신호 처리부(112)에 있어서 보정된다.
그 후에, 시스템 제어부(122)는, 촬영 모드 설정부(125)등에 의해 ＲＡＷ기록 모드가 선택되어 있는 것인가 아닌가를 판정한다(단계S807). ＲＡＷ기록 모드가 선택되어 있는 경우에는, 촬상화상을 그대로 기록 매체(118)에 기록하는 소위 ＲＡＷ모드로 기록한다(단계S808). ＲＡＷ기록 모드에 관계없이, 동일 ＭＬ아래의 광전변환소자의 신호를 합산해서 ＭＬＡ(202)분의 화소수를 갖는 잠정의 재구성 화상, 또는 상기 잠정의 재구성 화상을 표시하기 위해서 축소된 섬네일 화상을 생성해서 기록한다(단계S809).
그 후에, 단계S803의 ＡＦ에서 결정한 포커스 렌즈 위치가 촬영자의 원하는 위치와 다른 경우등에는, 목표 피사체(예를 들면, 도 6의 60lb)의 거리와 표시장치(120)에 표시된 상기 잠정의 재구성 화상의 피사체를 지정한다. 이 지정은, (도 1에 나타내지 않은) 리포커스 거리 설정부에 의해 행해진다. 그들이 지정되면, 시스템 제어부(122)는, 단계S806에서 결함화소가 검출되어 보정된 촬상화상(RAW기록의 대상으로 된 촬상화상)에 대하여 리포커스 재구성 처리를 화상처리부(116)에게 행하게 한다(단계S810).
상기 ＲＡＷ기록 모드로 촬상화상을 기록하는 경우에는, 리포커스 재구성 처리는 촬영후에 실행되어도 되므로, 단계S809이후의 처리는, 도 1의 촬상장치의 일부를 모방한 화상처리장치 혹은 상기 메모리에 기록된 화상처리방법 등에 따른 컴퓨터등에 의해 실행되어도 된다.
최후에, 화상신호를 화상 메모리(117), 기록부(119), 혹은 표시부(121)에 출력해(단계S811), 본 촬영 동작을 종료한다.
다음에, 도 9, 도 10a, 10b를 참조하여, 본 실시예에 따른 결함화소의 검출 구성에 대해서 설명한다.
본 실시예에 따른 라이트 필드 카메라에 있어서는, 이미 서술한 것처럼, 촬상소자로부터의 출력순으로 신호를 배열한 화상은, 항상 피사체상의 위치 관계에 따른 배열을 갖지 않지만, 불연속 부분도 수반하는 데이터다. 이 때문에, 실시간 결함화소 검출을 행할 경우, 종래의 실시간 결함화소 검출과 같이 주위의 모든 화소신호에 의거하여, 해당 화소가 결함인지를 판정하는 것은 곤란하다. 따라서, 본 실시예는, 결함화소 검출이 가능한 것인가 아닌가를 판별하면서, 결함화소의 검출을 행하도록 구성된다.
도 9는 본 실시예에 따른 결함화소의 검출 동작의 흐름도를 도시한 도면이다.
도 9에 있어서, 시스템 제어부(122)의 제어하에서 결함화소 검출이 개시되면, 우선, 화소배열에 포함된 1개의 단위화소(301)를 구성하는 36개의 분할 화소(302)의 출력 신호의 변동을 산출한다(단계S901). 본 실시예에서는, 그 변동을 나타내는 수치로서는, 표준편차σ를 사용한다. 그러나, 그것은 일례이며, 분할 화소(302)의 출력 신호의 변동을 나타낼 수 있으면, 다른 값을 사용하여도 된다.
다음에, 단계901에서 산출한 표준편차σ이 소정값보다도 작은 것인가 아닌가를 판정한다(단계S902).
단계902에서의 설명에 있어서, 표준편차σ이 소정값보다도 작다고 판정되었을 경우에는, 그 단위화소(301)내의 분할 화소(302)에 대하여, 결함화소 검출을 행한다(단계S903). 구체적으로 말하면, 36개의 분할 화소(302)의 출력신호 값과 출력 신호의 평균값간의 차분값이 소정의 범위내에 포함되지 않도록 출력 신호 값을 갖는 분할 화소(302)가 있는 경우에는, 그 화소는, 결함화소로서 검출된다.
단계S902에서의 설명에 있어서, 표준편차σ이 소정값보다도 크다고 판정되었을 경우에는, 그 단위화소(301)내의 분할 화소(302)에 대하여는, 결함화소를 검출하는 정밀도가 보증되지 않는다고 결정하고, 결함화소 검출이 행해지지 않는다.
그 후에, 검출을 행한 단위화소(301)가 최후의 단위화소인지를 판정한다(단계S904). 아직 검출을 행하지 않은 단위화소가 있는 경우에는, 단계S901에 되돌아가서, 다음 단위화소에 대한 판정이 행해진다. 최후의 단위화소의 검출이 종료했다고 판정되었을 경우에는, 본 결함화소 검출의 루틴을 종료한다.
도 10a, 10b는 본 실시예에 따른 검출 방법을 설명하는 도면이다.
도 10a는, 대상이 되는 단위화소(301)가 수광하고 있는 피사체의 영역의 휘도차이가 작은 경우의 각 분할 화소의 출력 레벨을 도시하는 도면이다. 도 10a에 있어서, 분할 화소p25가 결함화소인 것으로 한다.
도 10a의 상태에서, 각 분할 화소의 광신호량의 차이가 작으므로, 출력 신호의 변동을 나타내는 표준편차값σ은 작다. 이 때문에, 본 발명에 따른 촬상장치는, 이 단위화소는 결함화소 검출이 행해질 수 있는 화소라고 판단한다. 다른 분할 화소와의 신호 출력값의 차이가 큰 분할화소p25를, 결함화소로서 검출한다.
도 10b는, 대상이 되는 단위화소(301)가 수광하고 있는 피사체의 영역의 휘도차이가 클 경우의, 각 분할 화소의 출력 레벨을 도시하는 도면이다. 도 10b에 있어서도, 상기 분할 화소p25가 결함화소인 것으로 한다.
도 10b의 상태에 있어서는, 각 분할 화소의 광신호량의 차이가 크기 때문에, 출력 신호의 변동을 나타내는 표준편차값σ가 크다. 이 때문에, 본 발명에 따른 촬상장치는, 이 단위화소에 관해서는 결함화소의 검출을 행해서는 안된다고 판단한다.
도 9, 도 10a, 10b를 참조하여 설명한 본 실시예에 따른 결함화소의 검출 방법으로서는, 단위화소에서의 모든 분할 화소의 출력값의 평균값과의 비교에 의해 결함화소를 검출하는 방법을 사용한다. 그러나, 본 발명은 이러한 방법에 한정되지 않고, 상기 출력 신호량은 검출 대상의 화소의 주변화소만의 출력 신호량과 비교되어도 된다.
1개의 단위화소내에서 분할 화소를 비교하는 방법을 설명했지만, 본 발명은 이것에 한정되지 않는다. 예를 들면, 다음의 방법: 즉, 주변의 각각의 단위화소에 있어서 동일한 위치에 있는 분할 화소끼리를 비교하는 방법; 및 다크 레벨보다도 훨씬 작은 값 등의 분명하게 적절하지 않은 절대값을 출력하는 화소를 검출하는 방법 등도 조합하여 사용할 수 있다.
상기 실시예에서는, 표준편차의 값이 소정값보다 작을 때에 단위화소내의 결함 분할 화소를 검출하는 것을 결정하고 있다. 단위화소내의 분할 화소의 출력 신호의 평균값과의 차분값이 소정의 범위내에 제한하지 않고 있는 출력 신호 값을 갖는 분할 화소를, 결함화소로서 검출하고 있다. 이 경우, 표준편차가 작을수록, 상기 차분값의 변동 범위도 작아진다고 생각된다. 따라서, 결함화소가 검출될 때, 표준편차의 값의 저하에 따라 소정의 범위를 작은 범위로 변경하여서, 결함화소의 검출의 정밀도를 상승시키도록, 검출방법을 구성하는 것도 가능하다.
또는, 화상내에서 초점이 맞추어지지 않은 영역이 거의 균일한 휘도영역으로 보이므로, 결함화소의 검출 대상 단위화소의 주변영역의 디포커스량을 산출하고, 그것이 소정값보다 클 때에, 상기 차분값의 판정 범위를 작게 하도록 검출방법을 구성하는 것도 가능하다.
제2 실시예
본 실시예는, 리포커스 화상을 재구성한 후에도, 디지털 신호 처리부(112)에 의해 결함화소의 검출 및 보정을 행하는 동작 구성을 제1 실시예의 촬상장치의 동작에 추가한 구성을 갖는다. 따라서, 본 실시예에 있어서의 촬상장치 자체의 구성은 도 1의 구성과 같으므로, 여기에서는 그 설명을 생략한다.
도 11은, 제2 실시예에 따른 촬영 동작의 흐름도를 도시한 도면이다. 본 흐름도에 있어서, 실질적으로 도 8과 같은 처리 단계는, 동일한 단계번호로 지정된다. 도 11은, 리포커스 화상을 재구성하는 단계S810의 화상처리 후에 결함보정(단계S1101)을 추가한 점에 대해서만 도 8과 다르다. 따라서, 본 실시예에서는, 단계S1101의 결함보정만을 설명한다. 리포커스 거리 설정부에 의한 설정이 행하여지지 않았을 때, 단계S810의 신호 처리(리포커스 처리)뿐만 아니라 단계S1101의 결함화소 보정도 행하여지지 않는다. 본 실시예의 결함화소의 검출 및 보정처리의 실행이 허가 또는 금지되는지의 여부는, 단계S901에서 산출된 화소출력의 변동이 큰 단위화소의 수와 그들의 단위화소의 분포 영역에 따라, 결정되어도 된다. 이들 처리는, 시스템 제어부(122)에 의한 제어하에 행해질 수 있다.
단계S1101에서의 결함화소의 검출은, 재구성된 화상의 화소(분할 화소가 가산된 화소)에 대하여 행한다. 이 경우의 검출방법은, 검출 대상의 화소의 주변화소의 평균값이나 중앙값과의 레벨 차이를 판정하여서 행한다. 그러나, 그 검출 방법은 이것에 한정되는 것은 아니다. 예를 들면, 일본국 공개특허공보 특개 2005-286825호에 기재된 것처럼, 엣지부에서의 차분값으로부터 화소를 결함화소라고 판정해버리는 상기와 같은 경우를 피하기 위해서, 복수의 판정 처리를 제공해도 된다.
전술한 본 실시예의 구성에 의하면, 단계S806에 보정되지 않은 결함화소를 보정해서 재구성 화상의 화질을 보다 향상시킬 수 있다. 단계S806에서 검출되어서 보정된 분할 화소는, 리포커스 화상의 재구성에 있어서 단순히 하나의 분할 화소로서 가산되므로, 재구성 화상에서는 그 보정이 눈에 띄기 어려워져, 단계S1101에서의 보정의 효과를 저하시키지 않는다.
이상, 도 1∼도 11을 참조하여 본 발명의 본 실시예들에 관하여 설명하고 있지만, 본 발명은 이것에 한정되지 않고, 여러가지 형태도 사용될 수 있다.
예를 들면, 본 발명의 본 실시예들의 화소구성에서는, 화소의 구조를 쉽게 설명하기 위해서, 동일 ＭＬ하의 분할 화소의 수를 (6×6)으로 설정한다. 그렇지만, 본 발명은 이것에 한정되지 않고, 그 단위화소는, 임의의 형상의 임의의 수의 분할 화소를 갖도록 구성되어도 된다.
본 발명의 본 실시예들에서는, 검출한 결함화소 및, 이전에 생산 단계등에서 추출해둔 고정 결함화소의 보정을, 리포커스등의 재구성전에 행하는 것으로 가정하여 설명했다. 그러나, 본 발명은, 이것에 한정되지 않고, 결함화소의 검출은 재구성전에 행하고, 그 검출 결과를 시스템 제어부(122)가 유지하고, 그 유지된 검출 결과에 의거하여 재구성후의 화상의 화소들을 보정하도록 구성되어도 된다.
도 1을 참조하여 설명한 본 발명의 본 실시예에서는, 화상의 재구성등의 화상처리를, 촬상장치의 구성요소 중 하나인 디지털 신호 처리부(112)에 의해 시스템 제어부(122)에 의한 제어하에서 실행하는 것으로 가정하여 설명했다. 그러나, 항상 이 화상처리가 촬상장치내에서 실행될 필요는 없다. 구체적으로 말하면, 화상처리부를, 다른 장치, 예를 들면 ＰＣ(Personal Computer)등에 설치해 두고, 촬상장치에서 얻어진 촬상 데이터를 ＰＣ에 전송하고, ＰＣ에서 화상처리를 실행하도록 구성하는 것도 가능하다. 이 경우, PC의 ＣＰＵ가 시스템 제어부의 역할을 한다.
전술한 본 발명의 본 실시예들에 있어서의 화상처리장치를 구성하는 각 부, 및 화상처리방법의 각 처리단계는, ＣＰＵ의 ＲＡＭ이나 ＲＯＭ등에 기억된 프로그램이 동작 함으로써 상기 방법에 의해 실현될 수 있다. 이 프로그램 및 상기 프로그램을 기억한 컴퓨터 판독 가능한 기억매체는 본 발명에 포함된다.
또한, 본 발명은, 예를 들면 시스템, 장치, 방법, 프로그램, 기억매체등으로서 구체화될 수 있다. 구체적으로 말하면, 본 발명은, 복수의 장치로 구성된 시스템이나, 하나의 기기로 구성된 장치에도 적용될 수 있다.
또한, 본 발명은, 전술한 것과 같은 본 실시예들의 기능을 실현하는 소프트웨어의 프로그램(본 실시예들에서는 도 8, 도 9 또는 도 11의 흐름도에 대응한 프로그램)이, 시스템 또는 장치에 직접 공급되거나, 또는 원격지로부터 공급되는 경우를 포함한다. 본 발명은, 그 시스템 또는 장치의 컴퓨터가 상기 공급된 프로그램의 프로그램 코드를 판독해서 실행하는 경우도 포함한다.
따라서, 본 발명의 기능 및 처리를 컴퓨터로 실현하기 위해서, 상기 컴퓨터에 인스톨되는 프로그램 코드 자체도 본 발명을 실현하는 것이다. 즉, 본 발명의 기능 및 처리를 실현하기 위한 컴퓨터 프로그램 자체도 본 발명에 포함한다. 이 경우, 프로그램의 기능을 가지고 있으면, 오브젝트 코드, 인터프리터에 의해 실행되는 프로그램, ＯＳ에 공급되는 스크립트 데이터 등의 어떠한 형태가 사용되어도 된다.
프로그램을 공급하기 위한 기억매체로서는, 플렉시블 디스크, 하드디스크, 광디스크, 광자기디스크 등이 있다. 한층 더, ＭＯ, ＣＤ-ＲＯＭ, ＣＤ-R, ＣＤ-ＲＷ, 자기테이프, 비휘발성의 메모리 카드, ＲＯＭ, ＤＶＤ(ＤＶＤ-ＲＯＭ, ＤＶＤ-R) 등이 있다.
또 다른 프로그램의 공급 방법으로서는, 클라이언트 컴퓨터의 브라우저를 사용해서 인터넷의 홈페이지에 컴퓨터를 접속하는 방법이 있다. 또한, 그 프로그램은, 상기 홈페이지로부터 본 발명의 컴퓨터 프로그램 자체를 공급함으로써, 또는 압축되어 자동 인스톨 기능을 포함하는 파일을 하드디스크 등의 기억매체에 다운로딩함으로써 공급될 수 있다.
상기 프로그램의 공급 방법은, 본 발명의 프로그램을 구성하는 프로그램 코드를 복수의 파일로 분할하고, 각각의 파일을 다른 홈페이지로부터 다운로드하는 방법으로도 실현될 수 있다. 즉, 본 발명의 기능 및 처리를 컴퓨터로 실현하기 위한 프로그램 파일을 복수의 유저에 대하여 다운로드시키는 ＷＷＷ서버도, 본 발명에 포함된다.
그 밖의 방법으로서, 본 발명의 프로그램을 암호화해서 ＣＤ-ＲＯＭ등의 기억매체에 격납하여 유저에 배포하고, 소정의 조건을 처리 가능한 유저에 대하여, 인터넷을 거쳐서 홈페이지로부터 암호화를 푸는 열쇠정보를 다운로드시키고, 그 열쇠정보를 사용하는 것에 의해 그 암호화된 프로그램을 실행해서 컴퓨터에 인스톨시킨다.
컴퓨터가 판독한 프로그램을 실행하는 방법으로, 전술한 본 실시예들의 기능이 실현된다. 한층 더, 그 프로그램의 지시에 근거하여, 컴퓨터상에서 가동하고 있는 ＯＳ등이, 실제의 처리의 일부 또는 전부를 실행하고, 그 처리들에 의해서 그들의 기능을 실현하는 방법으로, 상술한 본 실시예들의 기능들도 실현된다.
한층 더, 그 밖의 방법으로서, 기억매체로부터 판독된 프로그램을 컴퓨터에 삽입된 기능 확장 보드나 컴퓨터에 접속된 기능 확장 유닛에 갖추어진 메모리에 기록하고, 그 프로그램의 지시에 근거하여, 그 기능 확장 보드나 기능 확장 유닛에 갖추어진 ＣＰＵ등이 실제의 처리의 일부 또는 전부를 실행하고, 그 기능을 상기 처리에 의해서 실현하는 방법으로도, 전술한 본 실시예들의 기능이 실현된다.
본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예와 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims (17)

  1. 촬영 광학계로 결상된 피사체상의 광선 방향 정보를 포함하는 촬상화상을 취득하기 위한 마이크로렌즈 어레이를 배치한 촬상소자로부터 출력된 촬상화상을 처리하는 화상처리장치로서,
    상기 촬상소자로부터 출력된 촬상화상을 취득하는 취득수단;
    상기 광선 방향 정보에 의거하여 상기 취득한 촬상화상의 리포커스 처리를 실행하고, 재구성 화상을 생성하는 리포커스 처리수단;
    상기 취득한 촬상화상으로부터 결함화소를 검출하는 결함화소 검출수단;
    상기 리포커스 처리수단 및 상기 결함화소 검출수단을 제어하여, 상기 취득수단으로 상기 촬상화상을 취득한 경우에는, 상기 취득한 촬상화상의 결함화소의 검출을 행하고, 상기 리포커스 처리가 지시된 경우에는, 상기 결함화소의 검출이 행하여진 상기 촬상화상에 대하여 상기 리포커스 처리를 행하는 제어수단을 구비한, 화상처리장치.
  2. 제 1 항에 있어서,
    상기 마이크로렌즈 어레이를 구성하는 각 마이크로렌즈는 상기 촬상소자를 구성하는 광전변환소자 중 소정수의 광전변환소자에 대응하고, 상기 결함화소 검출수단은, 상기 소정수의 광전변환소자의 출력값의 표준편차를 산출하고, 상기 산출한 표준편차의 값에 의거하여 상기 소정수의 광전변환소자의 출력으로부터 상기 결함화소의 검출을 행할 것인가 아닌가를 결정하는, 화상처리장치.
  3. 제 2 항에 있어서,
    상기 결함화소 검출수단은, 상기 소정수의 광전변환소자로부터의 출력 중, 상기 소정수의 광전변환소자의 출력의 평균값에 대하여 소정의 범위의 값내에 포함되지 않는 차이를 갖는 출력에 대응하는 광전변환소자를, 결함화소로서 검출하는, 화상처리장치.
  4. 제 2 항에 있어서,
    상기 결함화소 검출수단은, 각 마이크로렌즈에 대응하는 상기 소정수의 광전변환소자의 각 광전변환소자의 출력과 그 주위의 복수의 광전변환소자의 각각의 출력간의 차이가 소정의 범위내에 포함되는 값이 아닌 경우, 상기 각 광전변환소자를 결함화소로서 검출하는, 화상처리장치.
  5. 제 3 항 또는 제 4 항에 있어서,
    상기 결함화소 검출수단은, 상기 산출된 표준편차의 값에 의거하여 상기 결함화소의 검출을 행하는 것을 결정한 경우에, 상기 산출된 표준편차의 값에 따라서 상기 소정의 범위의 크기를 변경하는, 화상처리장치.
  6. 제 5 항에 있어서,
    상기 결함화소 검출수단은, 상기 소정수의 광전변환소자의 출력의 표준편차의 값이 작을 때에, 상기 소정의 범위의 크기를 작게 하는, 화상처리장치.
  7. 제 2 항에 있어서,
    상기 결함화소 검출수단은, 상기 산출된 표준편차의 값에 의거하여 상기 결함화소의 검출을 행하는 것을 결정한 경우에, 상기 소정수의 광전변환소자의 주위의 촬상화상의 디포커스량에 따라서 상기 소정의 범위의 크기를 변경하는, 화상처리장치.
  8. 제 1 항에 있어서,
    상기 리포커스 처리수단에 의한 생성되는 상기 재구성 화상의 피사체 거리를 설정하는 리포커스 거리 설정수단을 더 구비한, 화상처리장치.
  9. 제 1 항에 있어서,
    상기 결함화소 검출수단이 검출한 결함화소를 보정하는 제1 결함화소 보정수단을 더 구비한, 화상처리장치.
  10. 삭제
  11. 제 9 항에 있어서,
    상기 리포커스 처리수단에 의해 생성된 상기 재구성 화상의 결함화소를 검출해서 보정하는 제3 결함화소 보정수단을 더 구비한, 화상처리장치.
  12. 제 11 항에 있어서,
    상기 제어수단은, 상기 결함화소 검출수단의 결함화소 검출의 결과에 따라서 상기 제3 결함화소 보정수단에 의한 상기 재구성 화상의 결함화소 보정을 행할 것인가 아닌가를 결정하는, 화상처리장치.
  13. 제 9 항에 있어서,
    상기 제어수단은, 상기 결함화소 검출수단의 결함화소의 검출 결과를 유지하고, 상기 제1 결함화소 보정수단을 제어하고, 상기 유지된 검출 결과에 의거하여 상기 재구성 화상의 결함화소 보정을 행하는, 화상처리장치.
  14. 촬영 광학계로 결상된 피사체상의 광선 방향 정보를 포함하는 촬상화상을 얻기 위한 마이크로렌즈 어레이를 배치한 촬상소자로부터 출력된 촬상화상을 처리하는 화상처리방법으로서,
    상기 촬상소자로부터 출력된 촬상화상을 취득하는 취득 단계;
    리포커스 처리부에 의해, 상기 광선 방향 정보에 의거하여 상기 취득한 촬상화상의 리포커스 처리를 실행하고, 재구성 화상을 생성하는 리포커스 처리 단계;
    결함화소 검출부에 의해, 상기 취득한 촬상화상으로부터 결함화소를 검출하는 결함화소 검출 단계; 및
    상기 리포커스 처리부 및 상기 결함화소 검출부를 제어하여, 상기 취득 단계에 의해 상기 촬상화상을 취득한 경우에는, 상기 취득한 촬상화상의 결함화소의 검출을 행하고, 상기 리포커스 처리가 지시된 경우에는, 상기 결함화소의 검출이 행하여진 촬상화상에 대하여 상기 리포커스 처리를 실행하는 제어 단계를 포함한, 화상처리방법.
  15. 컴퓨터에게 청구항 14에 따른 화상처리방법을 실행시키는 프로그램 코드를 포함하는 프로그램을 기억하는 컴퓨터 판독 가능한 기억매체.
  16. 촬영 광학계;
    상기 촬영 광학계로 결상된 피사체상의 광선 방향 정보를 포함하는 촬상화상을 취득하기 위한 마이크로렌즈 어레이를 배치한 촬상소자;
    청구항 1에 따른 화상처리장치; 및
    상기 촬상화상 및 상기 재구성 화상 중 적어도 하나를 출력하는 출력수단을 구비한, 촬상장치.
  17. 촬영 광학계로 결상된 피사체상의 광선 방향 정보를 포함하는 촬상화상을 취득하기 위한 마이크로렌즈 어레이를 배치한 촬상소자로부터 출력된 촬상화상을 처리하는 화상처리장치로서,
    상기 촬상소자로부터 출력된 촬상화상을 취득하는 취득수단;
    상기 광선 방향 정보에 의거하여 상기 취득한 촬상화상의 리포커스 처리를 실행하고, 재구성 화상을 생성하는 리포커스 처리수단;
    상기 취득한 촬상화상으로부터 결함화소를 검출하는 결함화소 검출수단;
    상기 결함화소 검출수단이 검출한 결함화소를 보정하는 제1 결함화소 보정수단;
    상기 촬상소자를 구성하는 광전변환소자의 결함화소의 위치를 기록한 메모리;
    상기 기록한 위치에 근거해 상기 결함화소의 신호를 보정하는 제2 결함화소 보정수단; 및
    상기 리포커스 처리수단 및 상기 결함화소 검출수단을 제어하여, 상기 취득수단으로 상기 촬상화상을 취득한 경우에는, 상기 취득한 촬상화상의 결함화소의 검출을 행하고, 상기 리포커스 처리가 지시된 경우에는, 상기 결함화소의 검출이 행하여진 상기 촬상화상에 대하여 상기 리포커스 처리를 행하는 제어수단을 구비한, 화상처리장치.
KR1020130105856A 2012-09-11 2013-09-04 화상처리장치, 화상처리방법 및 기억매체, 및 화상처리장치를 갖는 촬상장치 KR101631073B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2012-199449 2012-09-11
JP2012199449A JP6222908B2 (ja) 2012-09-11 2012-09-11 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置

Publications (2)

Publication Number Publication Date
KR20140034066A KR20140034066A (ko) 2014-03-19
KR101631073B1 true KR101631073B1 (ko) 2016-06-16

Family

ID=50322084

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130105856A KR101631073B1 (ko) 2012-09-11 2013-09-04 화상처리장치, 화상처리방법 및 기억매체, 및 화상처리장치를 갖는 촬상장치

Country Status (4)

Country Link
US (2) US9571718B2 (ko)
JP (1) JP6222908B2 (ko)
KR (1) KR101631073B1 (ko)
CN (1) CN103685920B (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US10334151B2 (en) * 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
JP2015169722A (ja) * 2014-03-05 2015-09-28 ソニー株式会社 撮像装置
JP6506506B2 (ja) * 2014-04-02 2019-04-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法およびプログラム
JP2015198391A (ja) 2014-04-02 2015-11-09 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10284800B2 (en) * 2016-10-21 2019-05-07 Canon Kabushiki Kaisha Solid-state image pickup element, method of controlling a solid-state image pickup element, and image pickup apparatus
CN110036310B (zh) * 2016-10-31 2023-05-30 法纳电子学农业与环境股份公司 用于检测空中动物和水生动物的光学遥感系统
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10999500B2 (en) * 2017-03-08 2021-05-04 Sony Corporation Imaging apparatus and imaging method, and image processing apparatus and image processing method
JP6921567B2 (ja) * 2017-03-15 2021-08-18 オリンパス株式会社 画像処理装置、撮像装置、画素異常検出方法およびプログラム
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US11089251B2 (en) 2018-07-12 2021-08-10 Canon Kabushiki Kaisha Image sensor and image capturing apparatus
CN110806412A (zh) * 2019-11-15 2020-02-18 中国工程物理研究院激光聚变研究中心 一种基于光学元件的缺陷尺寸检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008515110A (ja) 2004-10-01 2008-05-08 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー 撮像の装置と方法
JP2009224982A (ja) 2008-03-14 2009-10-01 Sony Corp 画像処理装置、画像処理プログラムおよび表示装置
JP2010057067A (ja) 2008-08-29 2010-03-11 Sony Corp 撮像装置および画像処理装置
JP2010252105A (ja) 2009-04-16 2010-11-04 Sony Corp 撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61261974A (ja) 1985-05-15 1986-11-20 Hitachi Ltd 固体撮像素子の点キズ検出回路
JP3995511B2 (ja) * 2002-04-05 2007-10-24 三菱電機株式会社 点滅欠陥検出方法、映像補正方法及び固体撮像装置
JP4323883B2 (ja) 2003-06-30 2009-09-02 キヤノン株式会社 画像処理装置およびその制御方法
JP4471352B2 (ja) 2004-03-30 2010-06-02 キヤノン株式会社 欠陥画素補正装置及び方法及び撮像装置及びプログラム及び記憶媒体
JP5311916B2 (ja) * 2008-07-31 2013-10-09 株式会社エルモ社 撮像装置
JP5371331B2 (ja) * 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP5147645B2 (ja) * 2008-10-30 2013-02-20 キヤノン株式会社 撮像装置
JP5472584B2 (ja) * 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
JP5230388B2 (ja) * 2008-12-10 2013-07-10 キヤノン株式会社 焦点検出装置及びその制御方法
JP4706882B2 (ja) * 2009-02-05 2011-06-22 ソニー株式会社 撮像装置
JP2011022796A (ja) * 2009-07-15 2011-02-03 Canon Inc 画像処理方法および画像処理装置
US8191298B2 (en) * 2009-07-16 2012-06-05 Tomas Quis Magazine quick-release blocking apparatus and method
JP5737929B2 (ja) * 2010-12-22 2015-06-17 キヤノン株式会社 画像処理装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008515110A (ja) 2004-10-01 2008-05-08 ザ ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティー 撮像の装置と方法
JP2009224982A (ja) 2008-03-14 2009-10-01 Sony Corp 画像処理装置、画像処理プログラムおよび表示装置
JP2010057067A (ja) 2008-08-29 2010-03-11 Sony Corp 撮像装置および画像処理装置
JP2010252105A (ja) 2009-04-16 2010-11-04 Sony Corp 撮像装置

Also Published As

Publication number Publication date
JP6222908B2 (ja) 2017-11-01
US20170126967A1 (en) 2017-05-04
US9571718B2 (en) 2017-02-14
JP2014057141A (ja) 2014-03-27
KR20140034066A (ko) 2014-03-19
CN103685920A (zh) 2014-03-26
US20140168484A1 (en) 2014-06-19
CN103685920B (zh) 2017-04-12

Similar Documents

Publication Publication Date Title
KR101631073B1 (ko) 화상처리장치, 화상처리방법 및 기억매체, 및 화상처리장치를 갖는 촬상장치
US7586518B2 (en) Imaging technique performing focusing on plurality of images
JP6338436B2 (ja) 撮像装置及びその制御方法
US9253424B2 (en) Image processing apparatus and control method thereof
KR101582134B1 (ko) 촬상장치
JP6071333B2 (ja) 画像処理装置、方法およびプログラム、並びに画像処理装置を有する撮像装置
CN106161926A (zh) 摄像装置和摄像装置的控制方法
JP5013811B2 (ja) 撮像装置及び補正方法
JP6271842B2 (ja) 測距装置、測距方法、および撮像装置
JP6947590B2 (ja) 撮像装置、撮像装置の制御方法
JP2009031682A (ja) 撮像システム及び画像信号処理プログラム
JP6053329B2 (ja) 撮像装置及びその制御方法
JP5701942B2 (ja) 撮像装置、カメラシステム及び画像処理方法
KR20170077784A (ko) 고체 촬상 소자 및 촬상장치
JP5917158B2 (ja) 撮像装置、その制御方法及び撮像システム
JP6701269B2 (ja) 画像処理装置及び画像処理方法
JP2008118378A (ja) 撮影装置及びその駆動方法
JP6566800B2 (ja) 撮像装置及び撮像方法
JP6046912B2 (ja) 撮像装置及びその制御方法
JP2018007076A (ja) 撮像装置および画像処理装置
JP7079161B2 (ja) 撮像装置及びその制御方法
JP2011077770A (ja) 固体電子撮像装置の制御装置およびその動作制御方法
JP6902921B2 (ja) 撮像装置、制御方法、及びプログラム
JP2020048135A (ja) 撮像装置及びその制御方法
JP5476785B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190607

Year of fee payment: 4