KR101256961B1 - 촬상장치 - Google Patents

촬상장치 Download PDF

Info

Publication number
KR101256961B1
KR101256961B1 KR1020107026287A KR20107026287A KR101256961B1 KR 101256961 B1 KR101256961 B1 KR 101256961B1 KR 1020107026287 A KR1020107026287 A KR 1020107026287A KR 20107026287 A KR20107026287 A KR 20107026287A KR 101256961 B1 KR101256961 B1 KR 101256961B1
Authority
KR
South Korea
Prior art keywords
imaging
focus detection
pixels
signals
focus
Prior art date
Application number
KR1020107026287A
Other languages
English (en)
Other versions
KR20100135308A (ko
Inventor
사오리 호다
타카유키 하라
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20100135308A publication Critical patent/KR20100135308A/ko
Application granted granted Critical
Publication of KR101256961B1 publication Critical patent/KR101256961B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

촬상장치는, 복수의 촬상용 화소와, 상기 복수의 촬상용 화소의 사이에 이산적으로 배치된 복수의 초점검출용 화소를 갖는 이미지 센서를 구비하는 촬상부와, 복수의 촬상동작에 의해 얻어진 화상들간의 어긋남량을 검출하는 어긋남 검출부와, 상기 어긋남 검출부에 의해 검출된 상기 어긋남량에 의거하여, 상기 복수의 촬상동작에 의해 얻어진 상기 초점검출용 화소들의 신호들을 합성하는 합성부와, 상기 합성부에 의해 합성되기 전에 상기 초점검출용 화소들의 신호들과, 상기 합성부에 의해 합성되는 상기 초점검출용 화소들의 신호들을 사용하여 상기 촬상렌즈의 초점을 조절하는 초점조절부를 구비한다.

Description

촬상장치{IMAGE SENSING APPARATUS}
본 발명은, 디지탈 카메라 등의 촬상장치에 있어서의 자동초점조절 기술에 관한 것이다.
요즈음, 디지탈 스틸 카메라등의 고체 촬상장치에 포함되는 이미지 센서는, 화소 수가 갑작스럽게 증대하고, 고속으로 고정밀의 화상처리를 행할 필요가 있다.
종래부터, 자동초점조절(이하, AF라고 한다)을 고속으로 고정밀로 행하기 위해서, 도 7 및 도 8에 나타나 있는 바와 같이, 이미지 센서(601)의 일부의 화소에 AF용의 화소(이하, 초점검출용 화소라고 한다)를 설치하는 기술이 제안되어 있다. 도 7에 나타낸 바와 같이, 눈동자 위치가 서로 대칭적으로 되도록 수광부분을 분할한다. 한쪽 수광부를 초점검출용 화소(A상(image)) 501로서 정의하고, 다른쪽 수광부를 초점검출용 화소(B상) 502로서 정의한다.
이 초점검출용 화소(A상) 501과 초점검출용 화소(B상) 502는, 도 8에 나타낸 바와 같이, 이미지 센서의 전체 화소에 대하여 특정의 비율로 산재하고 있다. 동일 수평위치에 존재하는 초점검출용 화소(A상) 604와, 초점검출용 화소(B상) 605와의 위상차를 비교하여서 초점검출을 행한다.
종래의 구성에서는, 초점검출용 화소가 이산적으로 배치되어 있기 때문에, 에일리어스(alias)(에일리어싱)가 발생하기 쉽고 AF성능이 현저하게 저하하였다.
화소 정보에 포함된 에일리어스를 저감시키는 종래기술로서, 다음과 같은 제안이 이루어졌다.
일본국 공개특허공보 특개평 9-65219호에서는, 쉬프트 수단에 의해 이미지 센서의 변위를 반복하고, 등가적으로 광학적인 로패스(low-pass) 필터를 형성하여서, 비디오신호의 에일리어싱의 발생을 효과적으로 회피하는 기술이 제안되어 있다.
일본국 공개특허공보 특개평9-74524호에서는 다음의 기술이 제안되어 있다. 제1해상도의 화상의 입력시에 모아레(moire)가 검출되면, 이미지 쉬프트 수단으로 높인 제2해상도의 화상을 생성한다. 그리고, 모아레가 검출되지 않으면, 모아레 제거 회로가 작동하지 않아서, 소비 전력을 억제한다.
그렇지만, 일본국 공개특허공보 특개평9-65219호 및 9-74524호에 있어서의 제안은, 이미지 센서에 산재하는 초점검출용 화소의 에일리어스를 저감시키는데 목적이 있지 않다. 이들 인용문헌은, 카메라 흔들림에 대한 대처법을 언급하지 않았다. 일반적으로, 에일리어스가 포함되어 있는 화상을 사용해서 매칭 연산에 의한 위치 어긋남 양의 검출은 실패하기 쉬운 경향에 있다. 그래서, 종래의 기술에서는 초점검출용 화소의 에일리어스를 거의 저감시키지 못한다.
본 발명은 종래의 단점을 해결하여, 초점검출용 화소에 포함된 에일리어스를 저감시키고 AF 성능을 향상시킨다.
본 발명의 제 1 국면에 따른 촬상장치는, 촬상 렌즈를 거쳐 형성된 피사체 상을 광전변환해서 화상신호를 생성하기 위한 복수의 촬상용 화소와, 상기 복수의 촬상용 화소의 사이에 이산적으로 배치된 복수의 초점검출용 화소를 갖는 이미지 센서를 구비하는 촬상수단; 상기 촬상수단에서 연속적으로 얻어지고 서로 위치가 어긋나는 복수의 촬상동작에 의해 얻어진 화상신호들에 포함된 상기 촬상용 화소들의 신호들을 사용하여 상기 복수의 촬상동작에 의해 얻어진 화상 신호들간의 어긋남량을 검출하는 어긋남량 검출수단; 상기 어긋남량 검출수단에 의해 검출된 어긋남량에 의거하여, 상기 복수의 촬상동작에 의해 얻어진 상기 화상 신호들에 포함된 초점검출용 화소들의 신호들을 합성하는 합성 수단; 및 상기 합성수단에 의해 합성되기 전에 상기 초점검출용 화소들의 신호들과, 상기 합성수단에 의해 합성되는 상기 초점검출용 화소들의 신호들을 사용하여 상기 촬상렌즈의 초점을 조절하는 초점조절수단을 구비한다.
본 발명의 제 2 국면에 따른 촬상장치의 제어방법은, 촬상 렌즈를 거쳐 형성된 피사체 상을 광전변환해서 화상신호를 생성하기 위한 복수의 촬상용 화소와, 상기 복수의 촬상용 화소의 사이에 이산적으로 배치된 복수의 초점검출용 화소를 갖는 이미지 센서를 구비하는 촬상수단을 갖는 촬상장치의 제어방법으로서, 상기 촬상수단에서 연속적으로 얻어지고 서로 위치가 어긋나는 복수의 촬상동작에 의해 얻어진 화상신호들에 포함된 상기 촬상용 화소들의 신호들을 사용하여 상기 복수의 촬상동작에 의해 얻어진 화상 신호들간의 어긋남량을 검출하는 어긋남 검출단계; 상기 어긋남 검출단계에서 검출된 상기 어긋남량에 의거하여, 상기 복수의 촬상동작에 의해 얻어진 상기 화상 신호들에 포함된 초점검출용 화소들의 신호들을 합성하는 합성단계; 및 상기 합성단계에서 합성되기 전에 상기 초점검출용 화소들의 신호들과, 상기 합성단계에서 합성되는 상기 초점검출용 화소들의 신호들을 사용하여 상기 촬상렌즈의 초점을 조절하는 초점조절단계를 포함한다.
본 발명의 또 다른 특징들은 첨부된 도면을 참조하여 아래의 예시적 실시예들의 설명으로부터 명백해질 것이다.
도 1은, 본 발명의 제1의 실시예에 따른 촬상장치의 회로 구성을 도시한 블록도;
도 2는, 1회째의 촬상동작으로 촬영된 화상(기준화상)으로부터 2회째의 촬상동작으로 촬영된 화상이 어긋난 상태를 설명하는 도면;
도 3은, 2회째의 촬상동작에서의 어긋난 초점검출용 화소를 1회째의 촬상동작에서의 초점검출용 화소의 위치에서 평균을 내어 가산하는 상태를 도시한 도면;
도 4는, 2회째의 촬상동작에서의 어긋난 초점검출용 화소를 1회째의 촬상동작에서의 초점검출용 화소와 같은 수평위치에 보간하는 상태를 도시한 도면;
도 5는, AF 프레임을 설명하는 도면;
도 6은, 본 발명의 제2의 실시예에 따른 촬상장치의 회로 구성을 도시한 블록도;
도 7은, 눈동자 위치가 대칭적으로 분할된 초점검출용 화소를 도시한 도면;
도 8은, 초점검출용 화소가 이미지 센서 위에 이산적으로 존재하는 상태를 도시한 도면이다.
이하, 본 발명의 실시예들에 대해서, 첨부도면을 참조해서 상세하게 설명한다.
(제1의 실시예)
도 1은, 본 발명의 제1의 실시예에 따른 촬상장치의 회로 구성을 도시한 블록도다.
도 1에 있어서, 렌즈 구동회로(102)는, 촬상 렌즈(101)를 구동시킨다. 조리개(103)는 노출을 조정한다. 이미지 센서(104)는 광신호를 광전 변환한다. 이미지 센서(104)에서, 일부의 광전변환 셀(촬상용 화소)은, 초점검출용 화소로 대체된다. 촬상 렌즈(101)는, 1매의 렌즈로서 나타나 있지만, 통상은 복수매의 렌즈나 렌즈부들로 구성된다. 액추에이터(120)는, 이미지 센서(104)의 위치를 쉬프트시킨다. 동기신호 발생기(이하, SSG라고 한다)(105)는 고정된 주기의 수평동기신호 HD 및 수직동기신호 VD를 생성한다. 타이밍 생성기(106)(이하, TG라고 한다)는, HD와 VD에 동기한 이미지 센서(104)를 구동시키는 제어신호를 생성한다. A/D변환기(107)는, 이미지 센서(104)로부터 출력된 아날로그 화상신호를 디지탈 화상신호로 변환한다. 신호 처리 회로(109)는 색 변환처리등을 행한다. 초점검출용 화소 추출회로(122)는 화상 데이터로부터 초점검출용 화소의 데이터만을 추출한다. 위상차 AF회로(108)는, 도 7에 나타나 있는 바와 같은 초점검출용 화소(A상) 및 초점검출용 화소(B상)간의 위상차를 검출한다. 어긋남량 검출 회로(119)는 초점검출용 화소이외의 촬상화소들로부터 상기 2회째의 촬상동작에 의해 연속적으로 촬영된(연속적으로 얻어진) 화상의 어긋남량을 검출한다. 초점검출용 화소 합성회로(121)은 복수의 촬상동작에서 AF추출 화소를 합성하고, 1회의 촬상동작에서의 AF추출 화소를 생성한다. 스위치회로(123)는 초점검출용 화소 추출회로(122) 또는 초점검출용 화소 합성회로(121)의 출력을 선택해서, 위상차 AF회로(108)에 출력한다. 메모리 제어회로(110)는, DRAM(111)와 인터페이스를 행한다. 변배회로(112)는 화상 데이터를 확대/축소한다. 시스템 콘트롤러(113)는 각 회로의 모드나 파라미터를 결정하고, 촬상장치 전체를 제어한다. 모니터(115)는 화상 데이터를 표시한다. 비디오 변조 회로(114)는 모니터(115)에 화상 데이터를 표시시키기 위해서 변조를 행한다. 압축 회로(116)는 화상 데이터를 JPEG압축 방식등에 따라 압축한다. 탈착가능한 미디어 카드(118)는 압축된 화상 데이터를 기록한다. 카드 제어회로(117)는 미디어 카드(118)와의 인터페이스를 행한다.
도 1에 나타나 있는 바와 같은 구성을 갖는 촬상장치의 동작에 관하여 설명한다.
조리개(103)는, 촬상 렌즈(101)를 통과한 피사체로부터의 광량을 적정한 광량으로 조정한다.
TG(1O6)는, SSG(1O5)에서 생성된 HD 및 VD에 동기해서 이미지 센서(104)가 동작하도록 타이밍 신호를 생성하고, 이미지 센서(104)를 구동한다. 이미지 센서(104)는, 촬상 렌즈(101)를 거쳐 형성된 피사체 상(image)을 아날로그의 화상신호로 광전변환한다. 이 아날로그의 화상신호를, A/D변환기(107)에서 디지탈 화상 데이터로 변환한다.
초점검출용 화소 추출회로(122)는, 화상 데이터로부터 초점검출용 화소 데이터만을 추출하고, 초점검출용 화소 합성회로(121) 및 스위치회로(123)를 거쳐서 위상차 AF회로(108)에 그 추출된 데이터를 출력한다.
위상차 AF회로(108)는, 초점검출용 화소 데이터의 A상과 B상간의 위상차를 비교하고, 위상차 정보를 시스템 콘트롤러(113)에 출력한다. 시스템 콘트롤러(113)는, 위상차 정보에 따라, 촬상 렌즈(101)내의 초점조절용 렌즈의 구동량을 렌즈 구동회로(102)에 통지하여, 그 초점을 조절한다.
신호 처리 회로(109)는, 촬상 화소로부터 얻어진 화상 데이터에 대한 색변환 등의 신호 처리를 행한다. 그 화상 데이터는, 메모리 제어회로(110)를 거쳐서 DRAM(lll)에 일시적으로 기록되고, 어긋남량 검출 회로(119)에 다시 판독된다.
어긋남량 검출 회로(119)에서 행해진 어긋남량의 검출에 관하여 설명한다.
도 2에 나타낸 바와 같이, 이미지 센서(104)의 촬상영역(201)에 초점검출용 화소(A 상) 202 및 초점검출용 화소(B상) 203이 산재된다.
1회째의 촬상동작에 있어서, 초점검출용 화소(A상) 202 및 초점검출용 화소(B상) 203에 나타내는 위치의 정보를 얻는다고 한다.
2회째의 촬상동작을 실행하기 전에, 액추에이터(120)에 의해 이미지 센서(104)의 위치가 촬상영역 201로부터 촬상영역 204의 위치에 비켜 놓아진다. 그리고, 초점검출용 화소의 위치도, 초점검출용 화소(A상) 205 및 초점검출용 화소(B상) 206으로 나타낸 위치로 어긋난다. 또한, 본 실시예에 있어서는 이미지 센서를 움직이고 있지만, 렌즈를 움직여도 좋다.
촬상동작시에 카메라 흔들림이 있으면, 액추에이터(120)에 의해 움직여진 촬상영역 204의 위치가, 촬상영역 207의 위치로 벗어나버린다. 초점검출용 화소의 위치도, 초점검출용 화소(A상) 208 및 초점검출용 화소(B 상) 209로 나타낸 위치로 어긋난다. 이 상태에서, 2회째의 촬상동작이 행해진다.
1회째 및 2회째의 촬상동작에 의해 얻어진 화상들간의 어긋남량을 구하는 방법으로서, 1회째의 촬상동작으로 촬영한 화상과, 카메라 흔들림에 의해 생성된 시프트를 포함하는 2회째의 촬상동작으로 촬영한 화상은, 초점검출용 화소이외의 촬상화소를 사용해서 매칭 산출을 행한다. 매칭 산출은 다음의 공지된 방법을 이용한다. 보다 구체적으로, 신호 처리 회로(109)에 있어서 신호 처리가 행해져 DRAM(111)에 기록된 1회째 및 2회째의 촬상동작의 화상 데이터를 다시 DRAM(111)으로부터 판독한다. 그리고, 1회째 및 2회째의 촬상동작에서의 촬상 화소간의 차이가 전체적으로 최소화하는 위치를, 검출한다.
어긋남량 검출 회로(119)에 있어서 매칭 산출에 의해 얻어진 2개의 촬상동작의 어긋남량 보정 화상 데이터는, 초점검출용 화소 합성회로(121)에 출력된다.
초점검출용 화소 합성회로(121)는, 다음의 2개의 방법의 어느 하나의 방법으로 합성처리를 실행한다.
<1회째의 초점검출용 화소 합성 방법>
도 3은 1회째의 초점검출용 화소 합성 방법을 나타낸다.
주어진 초점검출용 화소(A상) 202 및 초점검출용 화소(B상) 203의 주변에 위치한 4조의 초점검출용 화소(A상) 208 및 초점검출용 화소(B상) 209는, 가중 산출을 행하여, 초점검출용 화소(A상) 202 및 초점검출용 화소(B상) 203의 위치에 중첩한다. 그리고, 평균을 낸다. 가중의 계수는, 어긋남량 검출 회로(119)에 있어서 매칭 산출에 의해 얻어진 어긋남량으로부터 산출된다.
도 3에 나타나 있는 바와 같이, 초점검출용 화소(A상) 202의 값이 AF1_A이고, 초점검출용 화소(B상) 203의 값이 AF1_B인 1회째의 촬상동작에서의 초점검출용 화소의 근방에 위치하는 2회째의 촬상동작으로 얻어진 4개의 초점검출용 화소(A상) 208의 값을 AF2_Al, AF2_A2, AF2_A3 및 AF2_A4이라고 한다. 또한, 4개의 초점검출용 화소(B상) 209의 값을 AF2_Bl, AF2_B2, AF2_B3 및 AF2_B4라고 한다.
도 3에 도시된 것처럼, Hl 및 H2는, AFl_A 및 AFl_B로부터 주변의 4조의 초점검출용 화소까지의 수평방향의 거리의 비율을 나타낸다. 마찬가지로, V1 및 V2는, 수직방향의 거리의 비율을 나타낸다.
Hl, H2, V1 및 V2는 각각 Hl+H2=1과 Vl+V2=1을 만족한다.
인접하는 4조의 초점검출용 화소로부터 AFl_A 및 AFl_B의 위치에 대한 값 AF2_A 및 AF2_B를
AF2_A= (AF2_A1＊V2+AF2_A3＊V1)＊H2+(AF2_A2＊V2+AF2_A4＊Vl)＊H1...(1)와,
AF2_B= (AF2_B1＊V2+AF2_B3＊V1)＊H2+(AF2_B2＊V2+AF2_B4＊V1)＊H1 ...(2)
로 산출한다.
AF1_A 및 AF1_B와, AF2_A 및 AF2_B는, 각각 평균을 낸다. 상기 얻어진 위치에서의 초점검출용 화소 정보 AF_A와 초점검출용 화소 정보 AF_B를,
AF_A= (AFl_A+AF2_A)/2 ...(3)와,
AF_B= (AFl_B+AF2_B)/2 ...(4)
로 산출한다.
마찬가지로, 복수의 촬상동작으로 얻어진 AF추출 화상을 합성한다. 합성중에 AF추출 화상의 값은 초점검출용 화소 합성 회로(121)에 기억된다.
상술한 것처럼 하여, 초점검출용 화소 합성 회로(121)는, 초점검출용 화소 수를 늘릴 수 있어서, 해상도를 높이고 에일리어스를 경감시킨다. 이 경우에, 고해상도를 높이는 것은, 디포커스량을 산출할 때의 SAF의 화소 수를 늘리는 것을 말한다.
복수의 촬상동작으로 촬영한 화상을 평균을 내어 얻어진 초점검출용 화소(A상) 205 및 초점검출용 화소(B상) 206의 정보는, 스위치회로(123)에 출력하고나서, 위상차 AF회로(108)에 출력한다.
위상차 AF회로(108)는, 합성전의 초점검출 화소(A상) 202 및 초점검출 화소(B상) 203과, 초점검출용 화소(A상) AF_A 및 초점검출용 화소(B상) AF_B를 사용해서, A상과 B상간의 위상차를 비교해서 디포커스량을 구한다. 위상차 AF회로(108)는, 상기 구한 디포커스량을, 합초 정보로서 시스템 콘트롤러(113)에 출력한다.
<2회째의 초점검출용 화소의 합성 방법>
도 4는 2회째의 초점검출용 화소의 합성 방법을 나타낸다.
1회째의 촬상동작에서 초점검출용 화소(A상) 202 및 초점검출용 화소(B상) 203으로 나타낸 위치의 AF정보를 얻고, 2회째의 촬상동작에서 초점검출용 화소(A상) 208 및 초점검출용 화소(B상) 209로 나타낸 위치의 AF정보를 얻는다고 가정한다.
1회째 및 2회째의 촬상동작으로 AF정보를 얻지 못하는 위치에서, 가중해서 보간 함에 의해, 초점검출용 화소의 샘플링 포인트를 늘린다.
도 4에 있어서의 합성 초점검출용 화소(A상) 401 및 합성 초점검출용 화소(B상) 402의 위치에, A상은 A상으로 보간을 행하고, B상은 B상으로 보간을 행한다.
합성 초점검출용 화소(A상) 401의 초점검출용 화소값 AF_A를, 인접하는 초점검출용 화소(A상)의 초점검출용 화소값 AFl_Al, AFl_A2, AF2_Al, AF2_A2를 사용해서,
AF_A= {(AFl_Al＊V2+AFl_A2＊Vl)+ (AF2_Al ＊H2+AF2_A2＊Hl)}/2 ...(5)
로 산출한다.
합성 초점검출용 화소(B상) 402의 초점검출용 화소값 AF_B를, 인접하는 초점검출용 화소(B상)의 초점검출용 화소값AFl_Bl, AF1_B2, AF2_Bl, AF2_B2를 사용해서,
AF_B={(AFl_Bl＊V2+AFl_B2＊Vl)+(AF2_Bl＊H2+AF2-B2＊Hl)}/2 ...(6)로 산출한다.
Hl, H2는, AF2_Al과 AF2_A2 사이의 수평방향의 거리의 비율을 나타내고, AF2_Bl과 AF2_B2 사이의 수평방향의 거리의 비율을 나타낸다. Hl, H2는, Hl+H2=1을 만족한다.
Vl, V2는, AFl_Al과 AFl_A2 사이의 수직방향의 거리의 비율을 나타내고, AFl_Bl과 AFl_B2 사이의 수직방향의 거리의 비율을 나타낸다. Vl, V2는, Vl +V2=1를 만족한다.
이렇게하여, 초점검출용 화소값을 얻지 못한 위치에서 보간을 행한다.
이상 2회의 촬상동작으로 얻어진 초점검출용 화소의 수를 늘려서 고해상화하는 방법을 설명했다. 2회이상의 촬상동작으로 얻어진 AF추출 화상을 합성하는 경우, 초점검출용 화소 합성 회로(121)는, 촬상동작마다 얻어진 초점검출용 화소의 값을 기억하고, 2회 이상의 촬상동작 후 초점검출용 화소 값을 얻지 못한 위치에서 보간을 행한다.
이상 2회의 촬상동작으로 얻어진 화상으로부터 초점검출용 화소의 수를 늘려서 고해상화하는 방법은, 3회 또는 4회의 촬상동작을 실행하는 경우에도 적용할 수 있다. 보다 구체적으로, 1회째의 촬상동작과 2회째의 촬상동작, 2회째의 촬상동작과 3회째의 촬상동작, 및 3회째의 촬상동작과 4회째의 촬상동작으로 얻어진 화상들로부터 초점검출용 화소의 수를 늘린다.
상술한 것처럼, 초점검출용 화소 합성 회로(121)는, 초점검출용 화소의 수를 늘림으로써, 고해상도화하고, 에일리어스를 경감시킨다. 이 경우에, 고해상도화란, 디포커스량을 산출할 때의 SAF의 화소 수를 늘리는 것을 말한다.
복수의 촬상동작으로 촬영한 화상들을 평균을 내어 얻어진 초점검출용 화소(A상) 208 및 초점검출용 화소(B상) 209의 정보를 스위치회로(123)에 출력하고, 위상차 AF회로(108)에 출력한다. 위상차 AF회로(108)는, 합성전의 초점검출 화소(A상) 202 및 초점검출 화소(B상) 203과, 초점검출용 화소(A상)AF_A 및 초점검출용 화소(B상)AF_B를 사용해서 A상과 B상간의 위상차를 비교해서 디포커스량을 구한다. 위상차 AF회로(108)는, 상기 구한 디포커스량을, 합초 정보로서 시스템 콘트롤러(113)에 출력한다.
시스템 콘트롤러(113)는, 위상차 AF회로(108)에서 얻어진 디포커스량에 따라, 촬상 렌즈(101)내의 초점조절용 렌즈의 구동량을 렌즈 구동회로(102)에 통지하여서, 초점을 조절한다.
<화상기록 처리>
시스템 콘트롤러(113)는, 상술한 초점조절을 반복적으로 실행한다. 신호 처리 회로(109)는, 상기 얻어진 화상 데이터에 대한 색변환 처리 등의 신호처리를 행한다. 메모리 제어회로(110)는, 일시적으로 그 화상 데이터를 DRAM(111)에 기록한다.
DRAM(111)으로부터 화상 데이터를 메모리 제어회로(110)가 판독한다. 상기 변배회로(112)는, 화상 데이터를 모니터(115)에 표시시키는데 적합한 사이즈로 변배하거나, 또 미디어 카드(118)에 기록하는데 적합한 사이즈로 변배한다. 그 변배된 화상 데이터는, 다시 메모리 제어회로(110)에 의해 DRAM(111)에 기록된다.
DRAM(111)으로부터 화상 데이터를 메모리 제어회로(110)가 판독한다. 모니터(115)에 표시시키는데 적합한 사이즈로 변배된 화상 데이터를, 비디오 변조 회로(114)가 NTSC방식이나 PAL방식에 따라 변조한다. 모니터(115)는, 그 화상 데이터를 표시한다.
미디어 카드(118)에 기록하는데 적합한 사이즈로 변배된 화상 데이터는, 카드 제어회로에 의해 미디어 카드(118)에 기록된다.
<피사체가 움직이고 있는 경우>
피사체가 움직이고 있는 경우의 매칭 연산방법을 설명한다.
도 5에 나타나 있는 바와 같이, AF프레임(802)이 9개로 분할되고, 9 개의 AF프레임(802) 내측의 피사체의 움직임 벡터가 서로 다르다. 그 움직임은, AF프레임(802)마다 검출되어, 피사체 거리를 검출한다. 합초하는 AF프레임(802)은, 각 AF프레임(802)마다의 피사체 거리 검출 결과에 근거해 자동적으로 결정하여도 좋거나, 유저의 조작에 의해 결정하여도 좋다. 합초시키고 싶은 AF프레임(802)을 결정한 후 합초시키는 피사체를 추적하여서 AF평가를 행하는 경우에는, 그 AF프레임(802)에서 검출된 움직임 벡터에 따라서, 화상 전체의 위치도 조정하여도 된다.
<어긋남량>
상기 화상의 어긋남(shift)은, 화소 어긋남에 의해 일어나기도 한다. 화소 어긋남은, 촬상화소들의 수를 늘리는 처리나, 카메라 흔들림을 저감시키는 처리를 포함한다.
어긋남량 검출 회로(119)는, 촬상 화소수를 늘리기 위해서 촬상영역(201, 204 또는 207)을 어긋나게 한 경우의 어긋남량을 얻기도 한다. 또한, 어긋남량 검출 회로(119)는, 촬상영역(201, 204 또는 207)을 어긋나게 하여 카메라 흔들림을 저감시킬 경우 어긋남량을 얻기도 한다.
(제2의 실시예)
도 6은, 본 발명의 제2의 실시예에 따른 촬상장치의 회로 구성을 도시한 블록도다.
상기 제1의 실시예의 회로 구성의 블록도인 도 1과 같은 참조번호는, 같은 회로를 의미한다.
제2의 실시예가 상기 제1의 실시예와 다른 점은, 카메라 흔들림 검출회로(124)가 어긋남량 검출 회로(119)를 대신한다는 점이다. 카메라 흔들림 검출회로(124)는 자이로스코프 등을 사용하여 진동을 검출하고, 카메라 흔들림에 의해 생성된 어긋남량을 측정한다. 상기 카메라 흔들림 검출회로(124)는, 이 어긋남량을 초점검출용 화소 합성 회로(121) 및 시스템 콘트롤러(113)에 출력한다.
초점검출용 화소 합성 회로(121)는, DRAM(111)으로부터 화상 데이터를 판독한다. 카메라 흔들림 검출회로(124)에 있어서 검출된 어긋남량을 가중의 계수로서 설정한다. 그리고, 상기 제1의 실시예에서도 서술한 것처럼, 초점검출용 화소를 평균을 내거나 보간한다. 그 평균을 내거나 또는 보간된 초점검출용 화소 정보는, 스위치회로(123)를 거쳐서 위상차 AF회로(108)에 출력된다. 위상차 AF회로(108)는 AF 처리를 실행한다.
도 1 및 도 6에 있어서의 액추에이터(120)는, 카메라 흔들림이 일어나지 않는 경우 이미지 센서를 임의의 위치에 이동시키고, 복수의 촬상동작에 의해 어긋난 화상을 얻는 것이 필요하다. 그렇지만, 카메라 흔들림이 있는 경우에, 어긋남량 검출 회로(119)나 카메라 흔들림 검출회로(124)에 의해 화상간의 어긋남량을 검출하여, AF 추출 화상을 평균을 내거나 보간하는데 사용된 가중의 계수를 얻을 수 있다. 이렇게 하여, 액추에이터(120)는, 설치하지 않아도 좋다.
본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.
본 출원은, 여기서 전체적으로 참고로 포함된 2008년 4월 30일에 출원된 일본국 특허출원번호 2008-119057의 이점을 청구한다.

Claims (4)

  1. 촬상 렌즈를 거쳐 형성된 피사체 상을 광전변환해서 화상신호를 생성하기 위한 복수의 촬상용 화소와, 상기 복수의 촬상용 화소의 사이에 이산적으로 배치된 복수의 초점검출용 화소를 갖는 이미지 센서를 구비하는 촬상수단;
    상기 촬상수단에서 연속적으로 얻어지고 서로 위치가 어긋나는 복수의 촬상동작에 의해 얻어진 화상신호들에 포함된 상기 촬상용 화소들의 신호들을 사용하여 상기 복수의 촬상동작에 의해 얻어진 화상 신호들간의 어긋남량을 검출하는 어긋남량 검출수단;
    상기 어긋남량 검출수단에 의해 검출된 어긋남량에 의거하여, 상기 복수의 촬상동작에 의해 얻어진 상기 화상 신호들에 포함된 초점검출용 화소들의 신호들을 합성하는 합성 수단; 및
    상기 합성수단에 의해 합성되기 전에 상기 초점검출용 화소들의 신호들과, 상기 합성수단에 의해 합성되는 상기 초점검출용 화소들의 신호들을 사용하여 상기 촬상렌즈의 초점을 조절하는 초점조절수단을 구비한, 촬상장치.
  2. 제 1 항에 있어서,
    서로 위치가 어긋난 상기 복수의 촬상동작으로 상기 화상신호들을 얻기 위해서, 상기 이미지 센서의 위치를 쉬프트시키는 쉬프트 수단을 더 구비한, 촬상장치.
  3. 제 1 항에 있어서,
    상기 합성 수단은, 상기 복수의 촬상동작에 의해 얻어진 화상들에 포함된 상기 초점검출용 화소들의 신호들과, 상기 초점검출용 화소들에 인접하는 초점검출용 화소들의 신호들을, 상기 어긋남 량에 의거하여 평균을 내어서, 상기 복수의 촬상동작에 의해 얻어진 상기 화상들에 포함된 상기 초점검출용 화소들의 신호들을 합성하는, 촬상장치.
  4. 촬상 렌즈를 거쳐 형성된 피사체 상을 광전변환해서 화상신호를 생성하기 위한 복수의 촬상용 화소와, 상기 복수의 촬상용 화소의 사이에 이산적으로 배치된 복수의 초점검출용 화소를 갖는 이미지 센서를 구비하는 촬상수단을 갖는 촬상장치의 제어방법으로서,
    상기 촬상수단에서 연속적으로 얻어지고 서로 위치가 어긋나는 복수의 촬상동작에 의해 얻어진 화상신호들에 포함된 상기 촬상용 화소들의 신호들을 사용하여 상기 복수의 촬상동작에 의해 얻어진 화상 신호들간의 어긋남량을 검출하는 어긋남 검출단계;
    상기 어긋남 검출단계에서 검출된 상기 어긋남량에 의거하여, 상기 복수의 촬상동작에 의해 얻어진 상기 화상 신호들에 포함된 초점검출용 화소들의 신호들을 합성하는 합성단계; 및
    상기 합성단계에서 합성되기 전에 상기 초점검출용 화소들의 신호들과, 상기 합성단계에서 합성되는 상기 초점검출용 화소들의 신호들을 사용하여 상기 촬상렌즈의 초점을 조절하는 초점조절단계를 포함한, 촬상장치의 제어방법.
KR1020107026287A 2008-04-30 2009-04-27 촬상장치 KR101256961B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2008-119057 2008-04-30
JP2008119057 2008-04-30
PCT/JP2009/058655 WO2009133960A1 (en) 2008-04-30 2009-04-27 Image sensing apparatus

Publications (2)

Publication Number Publication Date
KR20100135308A KR20100135308A (ko) 2010-12-24
KR101256961B1 true KR101256961B1 (ko) 2013-04-26

Family

ID=41255171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107026287A KR101256961B1 (ko) 2008-04-30 2009-04-27 촬상장치

Country Status (6)

Country Link
US (1) US8477231B2 (ko)
EP (1) EP2277072A4 (ko)
JP (1) JP5421647B2 (ko)
KR (1) KR101256961B1 (ko)
CN (1) CN102016681B (ko)
WO (1) WO2009133960A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5464982B2 (ja) * 2009-11-20 2014-04-09 キヤノン株式会社 撮像装置および画像処理方法
WO2011136031A1 (ja) * 2010-04-28 2011-11-03 富士フイルム株式会社 撮像装置
JP5714931B2 (ja) * 2011-02-15 2015-05-07 オリンパス株式会社 撮像装置
JP5791349B2 (ja) * 2011-04-21 2015-10-07 キヤノン株式会社 撮像装置及びその制御方法
JP5991461B2 (ja) * 2012-02-06 2016-09-14 株式会社ニコン 撮像装置およびその撮像プログラム
JP5942697B2 (ja) 2012-08-21 2016-06-29 株式会社ニコン 焦点検出装置および撮像装置
JP5967432B2 (ja) * 2012-09-11 2016-08-10 ソニー株式会社 処理装置、処理方法、及び、プログラム
KR102039464B1 (ko) * 2013-05-21 2019-11-01 삼성전자주식회사 전자 센서와, 그의 제어 방법
KR102126505B1 (ko) * 2013-11-07 2020-06-24 삼성전자주식회사 디지털 촬영 장치 및 그 제어방법
US9380211B2 (en) * 2014-03-13 2016-06-28 Invensense, Inc. Image stabilization using light sensors
JP6532411B2 (ja) * 2016-01-14 2019-06-19 キヤノン株式会社 画像処理装置、撮像装置および画像処理プログラム
CN105786384B (zh) * 2016-02-26 2019-07-30 努比亚技术有限公司 一种调节焦点装置和方法
US10554877B2 (en) * 2016-07-29 2020-02-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image synthesis method and apparatus for mobile terminal, and mobile terminal
CN106101556B (zh) * 2016-07-29 2017-10-20 广东欧珀移动通信有限公司 移动终端的图像合成方法、装置及移动终端
CN112352420B (zh) * 2018-05-23 2023-05-30 株式会社尼康 摄像元件及摄像装置
US10410368B1 (en) * 2018-09-27 2019-09-10 Qualcomm Incorporated Hybrid depth processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303409A (ja) 2004-04-07 2005-10-27 Canon Inc 固体撮像装置
KR20070099403A (ko) * 2006-04-03 2007-10-09 삼성테크윈 주식회사 촬상장치 및 촬상방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01138402A (ja) 1987-11-25 1989-05-31 Konica Corp 変位・傾き測定装置
JP3190220B2 (ja) 1994-12-20 2001-07-23 シャープ株式会社 撮像装置
JPH0974524A (ja) 1995-07-05 1997-03-18 Sharp Corp 画像入力装置
JPH0965219A (ja) 1995-08-24 1997-03-07 Sony Corp 撮像装置
US6429895B1 (en) 1996-12-27 2002-08-06 Canon Kabushiki Kaisha Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function
JP3530696B2 (ja) 1996-12-27 2004-05-24 キヤノン株式会社 撮像装置
JP3592147B2 (ja) * 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP4624604B2 (ja) 2001-07-10 2011-02-02 オリンパス株式会社 画像取得装置
JP2003250080A (ja) * 2002-02-22 2003-09-05 Canon Inc 撮影装置および撮影システム
JP4038103B2 (ja) 2002-09-25 2008-01-23 富士フイルム株式会社 オートフォーカスカメラ
JP5121120B2 (ja) * 2005-02-08 2013-01-16 キヤノン株式会社 焦点検出装置および光学機器
JP5157084B2 (ja) 2006-05-17 2013-03-06 株式会社ニコン 相関演算装置、焦点検出装置および撮像装置
US8049801B2 (en) * 2006-09-14 2011-11-01 Nikon Corporation Image sensor and imaging apparatus
JP5028930B2 (ja) * 2006-09-28 2012-09-19 株式会社ニコン 焦点検出装置および撮像装置
JP4973273B2 (ja) * 2007-03-28 2012-07-11 株式会社ニコン デジタルカメラ
US7978255B2 (en) * 2007-10-11 2011-07-12 Nikon Corporation Solid-state image sensor and image-capturing device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005303409A (ja) 2004-04-07 2005-10-27 Canon Inc 固体撮像装置
KR20070099403A (ko) * 2006-04-03 2007-10-09 삼성테크윈 주식회사 촬상장치 및 촬상방법

Also Published As

Publication number Publication date
JP2009288780A (ja) 2009-12-10
KR20100135308A (ko) 2010-12-24
US8477231B2 (en) 2013-07-02
CN102016681B (zh) 2012-07-18
JP5421647B2 (ja) 2014-02-19
US20110013061A1 (en) 2011-01-20
EP2277072A1 (en) 2011-01-26
EP2277072A4 (en) 2011-08-31
WO2009133960A1 (en) 2009-11-05
CN102016681A (zh) 2011-04-13

Similar Documents

Publication Publication Date Title
KR101256961B1 (ko) 촬상장치
US8368771B2 (en) Generating a synthesized image from a plurality of images
JP5652649B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20110080503A1 (en) Image sensing apparatus
JP5655291B2 (ja) 電子カメラ
JP5948856B2 (ja) 撮像装置とオートフォーカス方法並びにプログラム
JP2012044564A (ja) 撮像装置
TWI467313B (zh) 影像處理裝置、影像處理方法、及記錄媒體
EP2076024B1 (en) Imaging apparatus and control method therefor
KR20150096224A (ko) 고체 촬상 소자, 전자기기 및 오토 포커싱 방법
JP4748375B2 (ja) 撮像装置、画像再生装置及びそのプログラム
JP4953770B2 (ja) 撮像装置
JP5683858B2 (ja) 撮像装置
JP2012080204A (ja) 画像処理装置及び方法、並びにプログラム
JP6304309B2 (ja) 撮像装置とオートフォーカス方法並びにプログラム
JP6478587B2 (ja) 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
JP2011135537A (ja) 撮像装置及び撮像装置の制御方法
JP2009021929A (ja) 撮像装置及び撮像方法
JP5721552B2 (ja) 撮像装置および画像合成方法
JP5157757B2 (ja) 電子カメラ
JP5089499B2 (ja) 撮影装置、動画静止画記録方法
JP5938842B2 (ja) 撮像装置及びａｆ評価値算出方法、並びにプログラム
JP4047687B2 (ja) デジタルカメラ
JP2015094834A (ja) 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP5306068B2 (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160324

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170324

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180326

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190411

Year of fee payment: 7