KR20190141080A - 화상 처리장치, 화상 처리방법, 촬상장치, 및 렌즈장치 - Google Patents

화상 처리장치, 화상 처리방법, 촬상장치, 및 렌즈장치 Download PDF

Info

Publication number
KR20190141080A
KR20190141080A KR1020190063550A KR20190063550A KR20190141080A KR 20190141080 A KR20190141080 A KR 20190141080A KR 1020190063550 A KR1020190063550 A KR 1020190063550A KR 20190063550 A KR20190063550 A KR 20190063550A KR 20190141080 A KR20190141080 A KR 20190141080A
Authority
KR
South Korea
Prior art keywords
information
distortion aberration
image
lens
focal length
Prior art date
Application number
KR1020190063550A
Other languages
English (en)
Other versions
KR102531256B1 (ko
Inventor
쿠니히로 시라이
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20190141080A publication Critical patent/KR20190141080A/ko
Application granted granted Critical
Publication of KR102531256B1 publication Critical patent/KR102531256B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • H04N9/04517
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611Correction of chromatic aberration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

예를 들면, 화상의 왜곡수차 보정을 행할 경우에 있어서 고품질의 화상을 생성하는 장치가 제공된다. 이 장치는, 렌즈에 의해 형성된 광학 상을 촬상해서 취득한 화상의 왜곡수차를 보정하기 위한 보정값에 관한 제1 정보와, 왜곡수차의 보정에 의해 발생되는 화각 변동을 보정하기 위한 제2 정보를 취득하도록 구성된 취득부와, 제1 정보와 제2 정보를 사용하여, 왜곡수차가 보정된 화상을 생성하도록 구성된 처리부를 구비한다.

Description

화상 처리장치, 화상 처리방법, 촬상장치, 및 렌즈장치{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, IMAGE CAPTURING APPARATUS, AND LENS APPARATUS}
본 발명은, 촬영 광학계에서 발생되는 화상의 수차를 보정하는 기술에 관한 것이다.
디지털 카메라 등의 촬상장치에 의해 촬상된 화상의 품질이, 촬상장치에 장착된 촬영 광학계의 수차에 의해 저하할 수 있다. 촬상광학계의 렌즈는 "피사체와 렌즈에 의해 형성된 광학 상이 상사형이 된다"는 이상조건을 만족하는 것이 예상되지만, 실제로는 렌즈의 왜곡수차로 인해 이상조건을 만족시키는 것은 어렵다. 왜곡수차는 피사체의 광학 상이 왜곡되어 찍히게 하는 수차이다. 예를 들면, 광학 상을 대각선 방향으로 확대된 형태로 왜곡하게 하는 수차는 실패형 왜곡수차로 불리는 한편, 광학 상을 대각선 방향으로 대각선 방향으로 축소된 형태로 왜곡하게 하는 수차는 통형 왜곡수차로 불린다.
이러한 촬상 화상에 있어서의 왜곡수차를 전자적으로 보정하는 기술에서, 이 왜곡수차의 왜곡량에 따라 화상을 상고마다 화상을 변배한다. 일본국 특개 2014-127773호 공보에는, 기하변형 처리를 행하여 왜곡수차 보정을 행하는 이와 같은 기술의 일례가 개시되어 있다. 특히, 일본국 특개 2014-127773호 공보에는, 기하변형 처리에 필요한 참조 영역이 촬상 영역 내에 들어가는지 아닌지를 판정하는 기술이 개시되어 있다. 참조 영역이 촬상 영역 내에 들어가지 않을 경우에는, 참조 영역이 촬상 영역 내에 들어가도록 참조 영역의 변위량에 대해 상한값을 설정한다. 그후, 이 상한값에 근거한 파라미터를 사용해서 기하변형 처리를 행한다. 그런데, 촬상장치의 출력 화상은, 미리 설정된 출력 화소수를 포함하는 것이 기대되고 있기 때문에, 왜곡수차 보정후의 화상에 대해서는, 미리 설정된 촬상장치에서 설정된 출력 화소수로 출력 화소 수가 조정되도록 리사이즈 처리가 실행되는 경우가 많다. 그러나, 예를 들면, 동화상의 촬영 중에는 초점맞춤 위치가 변화하는 일이 많고, 이 초점맞춤 위치의 변화는 왜곡수차량이 변동하게 한다. 이 때문에, 왜곡수차 보정후의 화상에 대해 리사이즈 처리를 행하면, 피사체 상의 크기가 변화된 동화상이 얻어지는 일이 있다. 이것은, 초점맞춤 위치를 바꾸면서 정지 화상의 연속 촬영을 행하는 경우에도 적용된다. 이 경우, 왜곡수차 보정후의 화상으로부터 항상 촬상장치에 설정된 미리 설정된 출력 화소수의 화상을 잘라내면, 피사체 상의 크기가 변화되는 것이 억제된다.
그렇지만, 예를 들면, 실패형 왜곡수차 보정과 같이 화상을 축소하도록 기하변환이 행해지는 경우에는, 출력 화상이 화상 데이터가 존재하지 않는 블랭크 영역을 포함할 수 있다(실패형 왜곡수차 보정이 대각선 방향의 4개의 모서리 각각에 데이터가 존재하지 않게 한다), 전술한 일본국 특개 2014-127773호 공보의 기술에서는, 기하변환 처리에 필요한 참조 영역이 촬상 영역 내에 들어가지 않을 경우에, 참조 영역이 촬상 영역 내에 들어가도록 보정을 행한다. 이 때문에, 블랭크 영역이 생기는 것을 어느 정도 억제하는 것은 가능하다. 그렇지만, 조건에 따라서는 왜곡수차를 보정할 수 없게 되는 케이스가 빈발하는 것이 상정된다. 따라서, 종래의 기술을 사용하면, 왜곡수차가 양호하게 보정된 품질이 높은 화상을 얻을 수 없게 되는 경우가 있다.
본 발명의 일면에 따르면, 화상 처리장치는, 적어도 한 개의 프로세서와, 프로세서에 의해 실행될 때, 적어도 한 개의 프로세서에게, 렌즈에 의해 형성된 광학 상을 촬상해서 얻어진 화상의 왜곡수차를 보정하기 위한 보정값에 관한 제1 정보와, 상기 왜곡수차의 보정에 의해 발생되는 화각 변동을 보정하기 위한 제2 정보를 취득하게 하고, 상기 제1 정보와 상기 제2 정보를 사용하여 상기 왜곡수차를 보정한 화상을 생성하게 하는 명령을 포함하는 메모리를 구비한다.
본 발명의 또 다른 특징은 첨부도면을 참조하여 주어지는 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.
도 1은 실시형태에 따른 촬상장치와 렌즈장치의 구성 예를 도시한 도면이다.
도 2는 제1실시형태에 따른 보정값 산출 처리의 흐름도다.
도 3은 통형 왜곡수차 보정의 설명도다.
도 4는 실패형 왜곡수차 보정의 설명도다.
도 5는 동화상의 통형 왜곡수차 보정의 설명도다.
도6은 동화상의 실패형 왜곡수차 보정의 설명도다.
도7a 및 도 7b는 제1실시형태에 따른 데이터 포맷의 일례를 도시한 도면이다.
도8은 제1실시형태에 따른 확대율 산출 처리의 흐름도다.
도 9는 제2실시형태에 따른 동화상 모드의 촬상 영역을 도시한 도면이다.
도10은 왜곡수차의 특성을 도시한 도면이다.
도11은 제2실시형태에 따른 왜곡수차 보정의 특징을 도시한 도면이다.
도 12는 제2실시형태에 따른 보정값 산출 처리의 흐름도다.
도 13a 및 도 13b는 제2실시형태에 따른 왜곡수차의 시프트량을 설명하는 도면이다.
도 14a 및 도 14b는 제2 실시형태에 따른 데이터 포맷의 일례를 도시한 도면이다.
도 15는 왜곡수차 보정 메뉴의 일 표시 예를 도시한 도면이다.
이하에서, 본 발명의 다양한 실시형태를, 첨부도면을 참조하여 상세하게 설명한다.
본발명의 실시형태에 따른 화상 처리장치는, 예를 들면, 정지 화상과 동화상을 촬영하도록 구성되고, 예를 들면, 동화상 촬영시나 정지 화상의 연속 촬영시의 포커스 렌즈 구동에 의해 발생되는 화각 변동을 억제하는 왜곡수차 보정처리를 실현가능한 촬상장치에 적용된다.
이하, 본 발명의 제1실시형태를 설명한다. 도 1은, 본 실시형태에 따른 화상 처리장치의 적용 예인 촬상장치(100)의 개략적인 구성을 나타내는 블럭도다. 본 실시형태의 촬상장치(100)는, 동화상 촬영시의 포커스 렌즈 구동에 의해 발생하는 화각 변동을 억제하는 왜곡수차 보정기능을 포함하는, 예를 들면, 렌즈 교환가능한 디지털 카메라이다. 본 실시형태에서는, 촬상장치(100)의 일례로서 렌즈 교환식의 디지털 카메라를 들고 있지만, 촬상장치(100)는 렌즈 일체형의 디지털 카메라이어도 된다.
본 실시형태의 촬상장치(100)는 렌즈 마운트(180)를 갖고 있다. 렌즈 마운트(180)에는 렌즈장치(150)를 착탈 가능하게 하는 장착 기구가 설치된다. 도 1의 예에서는, 촬상장치(100)의 렌즈 마운트(180)에 렌즈장치(150)가 장착된다.
렌즈장치(150)는, 촬영 광학계와 제어계를 포함한다. 촬영 광학계는 포커스 렌즈(151), 줌렌즈(152), 조리개(153) 및 방진 제어 렌즈(154)를 구비한다. 제어계는, 촬영 광학계의 제어와 각종 정보의 송수신 제어를 행한다. 렌즈장치(150)의 촬상광학계는, 촬상장치(100)의 촬상소자(102)의 촬상별 위에, 피사체의 광학 상을 결상시킨다. 포커스 렌즈(151), 줌렌즈(152) 및 방진 제어 렌즈(154)는, 복수매의 렌즈로 구성되는 렌즈 군이어도 된다. 렌즈장치(150)의 촬영 광학계, 제어계와, 그 밖의 구성의 설명은 후술한다.
셔터(101)는 포컬 플레인 셔터다.
셔터 제어회로(110)는, 시스템 제어회로(130)로부터의 제어신호에 근거하여, 셔터(101)의 개폐 구동을 제어한다.
촬상소자(102)는, 예를 들면, 전하결합소자(CCD) 센서나 상보성 금속 산화물 반도체(CMOS)센서 등이며, 렌즈장치(150)에 의해 결상된 피사체 상을 전기신호로 변환한다. 촬상소자(102)는, 상면 위상차 검출용의 복수의 초점 검출 화소를 갖고 있어도 된다. 화상 생성회로(103)는, 촬상소자(102)로부터 출력된 아날로그 촬상신호를 디지털 데이터로 변환함으로써, 촬상 화상 데이터를 생성한다. 화상 생성회로(103)에 의해 생성된 촬상 화상 데이터는, 메모리 제어회로(105) 및 화상 처리회로(140)에 보내진다.
타이밍 발생회로(104)는, 촬상소자(102), 화상 생성회로(103), 메모리 제어회로(105), 시스템 제어회로(130) 및 화상 처리회로(140)에 클록 신호 및 동기신호를 공급한다.
메모리 제어회로(105)는, 시스템 제어회로(130)의 제어하에서, 메모리(107)의 기록과 판독, 기록회로(108)의 기록과 판독, 화상 생성회로(103)를 사용한 화상 생성과 출력, 화상 처리회로(140)를 사용한 화상처리과 출력, 화상 표시장치(106)에 의한 화상 표시를 제어한다. 예를 들면, 화상 생성회로(103)로부터 출력된 화상 데이터는, 화상 처리회로(140) 및/또는 메모리 제어회로(105)를 거쳐, 메모리(107) 또는 기록회로(108)에 기록된다. 메모리 제어회로(105)는, 시스템 제어회로(130)의 제어하에서 타이밍 발생회로(104)를 더 제어하고, 각 부품에 대한 클록 신호와 동기신호의 출력을 제어한다.
메모리(107)는, 촬영한 정지 화상과 동화상의 데이터를 격납한다. 또한, 메모리(107)는, 시스템 제어회로(130)의 작업 영역으로서도 사용된다. 메모리(107)에는, 필요에 따라, 화상 처리회로(140)에 의해 행해지는 화상처리에 필요한 정보가 미리 격납되어 있어도 된다.
기록회로(108)는, 촬상장치(100)의 내장된 불휘발성 메모리, 혹은 촬상장치(100)에서 분리가 가능한 불휘발성 메모리에 의해 구성되고, 촬영한 정지 화상과 동화상의 데이터를 격납한다.
화상 표시장치(106)는, 액정 디스플레이(LCD)를 구비한다. 화상 표시장치(106)가 전자 뷰 파인더(EVF)로서 사용되는 경우, 촬상소자(102)를 사용해서 촬상한 화상 데이터를 순차 표시함으로써 EVF 기능이 실현된다. 화상 재생시에는, 메모리(107)나 기록회로(108)에 기록된 화상이 판독되어서 화상 표시장치(106)에 표시된다.
셔터 스위치 111은 셔터 버튼의 절반 누름으로 온이 되는 스위치 SW1이다. 셔터 스위치 112는 셔터 버튼의 완전 누름으로 온이 되는 스위치 SW2이다. 스위치 SW1이 온 상태가 되면, 시스템 제어회로(130)는, auto-focus(AF)처리, auto-exposure(AE)처리, automatic white balance(AWB)처리 등의 카메라 동작 제어를 개시한다. 스위치 SW2가 온이 되면, 시스템 제어회로(130)는, 촬상소자(102), 메모리 제어회로(105) 및 셔터 제어회로(110)를 제어하고, 또한 인터페이스(I/F)(120)를 거쳐 렌즈장치(150)를 제어하여, 촬상장치(100)에 있어서의 촬상을 개시한다. 시스템 제어회로(130)는, 화상 처리회로(140)에게 화상처리를 행하게 하고, 메모리(107) 및/또는 기록회로(108)에게 화상 데이터의 기록을 행하게 한다.
카메라 조작부재(113)는, 각종 버튼, 터치패널 및 전원 온오프 버튼으로 구성되고, 유저 조작을 접수하고, 그 유저 조작에 의한 지시(유저 지시)를 시스템 제어회로(130)에 출력한다. 카메라 조작부재(113)를 통해 수신된 유저 지시를 기초로, 시스템 제어회로(130)는, 촬상장치(100)의 각종 기능, 예를 들면, AF모드 및 AE모드 등의 동작 모드를 전환한다.
카메라 전원 제어회로(114)는, 외부 및 내장 배터리의 관리를 행한다. 배터리가 분리되거나 배터리 잔량이 없어진 경우, 카메라 전원 제어회로(114)는, 카메라 제어로서 긴급 차단 처리를 행한다. 이때, 시스템 제어회로(130)는, 렌즈장치(150)에 공급하는 전원도 차단한다.
I/F(120)는, 렌즈장치(150)와의 사이에서 각종 정보와 제어 명령을 송수신하기 위한 인터페이스이다. I/F(120)는, 커넥터(190)를 거쳐, 렌즈장치(150)의 I/F(170)와 접속된다. I/F(120)는, 촬상장치(100) 내부의 시스템 제어회로(130)와 렌즈장치(150) 내부의 렌즈 제어회로(160) 사이에서 전기신호를 사용한 통신을 실시한다.
시스템 제어회로(130)는, 스위치 SW1 및 SW2, 메모리 제어회로(105) 및 카메라 조작부재(113)로부터의 정보를 취득한다. 시스템 제어회로(130)는, 이들 취득한 정보를 기초로, 촬상소자(102), 메모리 제어회로(105), 셔터 제어회로(110), I/F(120)를 거쳐 렌즈장치(150)를 제어함으로써, 카메라 전체를 제어한다.
시스템 제어회로(130)는, AF 제어회로(131), 렌즈 통신 제어회로(133) 및 수차 보정 제어회로(132)로서의 각종 제어와 처리도 행한다.
AF 제어회로(131)는, 촬상장치(100)에 있어서의 AF처리와 AF제어를 행한다. AF 제어회로(131)는, 유저에 의해 설정된 AF 모드에 따른 AF처리로서, I/F(120)를 거쳐 렌즈장치(150)로부터 얻어지는 포커스 위치와 초점거리 등의 렌즈 정보와, (후술하는) AF 평가값을 기초로, 포커스 렌즈 구동량을 연산한다. 본 실시형태의 촬상장치(100)의 경우, AF모드로서는, 위상차 AF 모드, 콘트라스트 AF 모드 및 상면 위상차 AF 모드가 준비되어 있고, 유저 선택 혹은 자동선택에 의해 이들 어느 한개의 AF 모드가 설정되어 있다. 위상차 AF 모드의 경우, AF 제어회로(131)는, 초점검출 센서(미도시)가 검출한 위상차 검출 신호로부터 초점맞춤 상태 판정 회로(미도시)가 생성한 위상차 AF 평가값을 사용해서 포커스 구동량을 연산한다. 콘트라스트 AF 모드의 경우, AF 제어회로(131)는, 화상 처리회로(140)에서 연산된 콘트라스트 AF 평가값을 사용해서 포커스 구동량을 연산한다. 상면 위상차 AF 모드의 경우, AF 제어회로(131)는, 촬상소자(102)에 설정된 복수의 초점검출 화소에서 출력된 촬상면 위상차 AF 평가값을 사용해서 포커스 렌즈 구동량을 연산한다. 본실시형태에서 고려하는 AF 모드는 상면 위상차 AF 모드이지만, AF 모드가 상면 위상차 AF 모드에 한정되는 것은 아니고, AF 모드는 위상차 AF 모드 또는 콘트라스트 AF 모드이어도 되고, 매뉴얼 포커스가 행해져도 된다. 본 실시형태의 촬상장치(100)에서는, 1점 AF 모드, 다점 AF 모드 및 얼굴 검출 AF 모드로부터 AF 평가 모드를 자동 선택가능하거나 유저가 선택가능하게 되어 있다. 1점 AF 모드에서는, 1점의 AD점에서 AF를 행한다. 다점 AF 모드에서는, 다점의 AF 점에서 AF를 행한다. 얼굴 검출 AF 모드에서는, 피사체의 얼굴에 초점을 맞춘다. AF 제어회로(131)는, 설정된 AF 평가 모드에 따라, 평가값을 연산하는 AF 프레임 위치를 전환하는 제어도 행한다. AF 제어회로(131)에 의해 연산된 포커스 렌즈 구동량은, 렌즈 통신 제어회로(133)로부터 I/F(120)를 거쳐 렌즈장치(150)에 보내진다.
렌즈 통신 제어회로(133)는, 촬상장치(100)와 렌즈장치(150) 사이의 통신 처리를 제어한다. 렌즈 통신 제어회로(133)가 I/F(120)를 거쳐 렌즈장치(150)가 장착된 것을 검지하면, 렌즈 통신 제어회로(133)는 촬상장치(100)와 렌즈장치(150) 사이의 통신을 개시하고, 원하는 타이밍에서 렌즈 정보를 수신하는 동시에, 카메라 정보 및 구동명령을 송신한다. 예를 들면, 촬상장치(100)가 파인더 촬영 모드인 경우, 렌즈 통신 제어회로(133)는, 원하는 타이밍에서 렌즈장치(150)와 통신을 행한다. 또한, 촬상장치(100)가 라이브 뷰 촬영 모드인 경우, 렌즈 통신 제어회로(133)는, 원하는 타이밍 이외에, 타이밍 발생회로(104)에서 출력된 촬상 동기신호에 근거한 타이밍에서 통신을 행할 수 있다. 촬상 동기신호에 근거한 타이밍에서 통신을 행할 경우, 타이밍 발생회로(104)로부터 촬상 동기신호가 입력되면, 렌즈 통신 제어회로(133)는 렌즈 정보(포커스 렌즈 위치, 포커스 렌즈 상태, 조리개 상태, 초점거리)를 함께 수신한다.
수차 보정 제어회로(132)는, 렌즈장치(150)로부터 포커스 위치와 초점거리 위치에 따른 수차량을 표시하는 정보(이하, "수차 보정정보"라고 한다)를, I/F(120)와 렌즈 통신 제어회로(133)를 거쳐 취득한다. 렌즈장치(150)의 수차 보정정보가 메모리(107)에 미리 유지되어 있을 경우, 수차 보정 제어회로(132)는, 해당 메모리(107)로부터 이들 정보를 취득할 수 있다. 본실시형태에서는, 렌즈장치(150)의 촬영 광학계에 기인하는 수차 보정의 예로서, 왜곡수차 보정을 설명한다. 따라서, 수차 보정 제어회로(132)는 왜곡수차 보정정보를 취득한다. 수차 보정 제어회로(132)는, 취득한 왜곡수차 보정정보에 근거하여, 촬상 모드에 대한 보정량을 산출하고, 화상 처리회로(140) 내의 리사이즈 회로(141)에 대하여 왜곡수차 보정량을 설정한다.
화상 처리회로(140)는, 화상 생성회로(103) 혹은 메모리 제어회로(105)로부터 얻어진 화상 데이터에 대하여, 소정의 화소 보완 처리와 색 변환처리를 행하고, 화상 데이터의 생성을 행한다. 화상 처리회로(140)는, 화상 데이터를 사용해서 다양한 연산 처리를 행할 수 있다. 화상 처리회로(140)는, 렌즈장치(150)로부터 상 배율 변화 특성정보와 왜곡수차 특성정보를, I/F(120)와 시스템 제어회로(130)를 거쳐 취득한다. 상 배율 변화 특성정보와 왜곡수차 특성정보가 메모리(107)에 미리 유지되어 있을 경우, 화상 처리회로(140)는 해당 메모리(107)로부터 이들 정보를 취득할 수 있다. 화상 처리회로(140)는, 이들 취득한 정보에 근거하는 수차 보정처리를 리사이즈 회로(141)에서 실행한다. 또한, 리사이즈 회로(141)는, 화상의 확대/축소 처리, 예를 들면, 왜곡수차 보정에서와 같이, 상고에 근거하여 리사이즈율이 다른 경우에 대한 확대/축소 처리도 행한다. 화상 처리회로(140)는, 렌즈장치(150)에서 형성된 광학 상으로부터 생성한 촬상 화상과, 별도 취득되어서 기록회로(108)에 기록되어 있는 촬상 화상에 대해서도 수차 보정처리를 행할 수 있다. 본 실시형태에 있어서, 화상 처리회로(140)에서 행해지는 왜곡수차 보정처리의 상세에 대해서는 후술한다.
다음에, 렌즈장치(150)의 촬영 광학계와 제어계, 및 기타의 구성에 대해 설명한다. 렌즈장치(150)의 촬영 광학계는 전술한 바와 같이 포커스 렌즈(151), 줌렌즈(152), 조리개(153) 및 방진 제어 렌즈(154)로 구성되어 있다. 렌즈장치(150)의 제어계는, 렌즈 제어회로(160), 포커스 제어회로(155), 줌 제어회로(156), 조리개 제어회로(157), 방진 제어회로(159), 및 렌즈 조작부재(161)로 구성되어 있다. 렌즈장치(150)는, 각속도 검출회로(158), 메모리(162) 및 I/F(170)를 더 구비한다.
포커스 렌즈(151)는, 광축방향으로 이동함으로써 촬상광학계에 있어서의 초점위치를 변화시킨다. 줌렌즈(152)는, 광축방향으로 이동함으로써 촬상광학계에 있어서의 초점거리를 변화시킨다. 조리개(153)는, 개구 직경(조리개 값) 가변 기구를 갖고, 개구 직경을 변화시킴으로써, 촬상장치(100)에의 입사 광량을 변화시킨다. 방진 제어 렌즈(154)는, 광축방향에 직교하는 방향으로 이동함으로써, 카메라를 잡고 있는 손의 움직임(이하, "손 떨림") 등에 의해 발생한 카메라 진동에 의한 상 떨림을 저감한다.
포커스 제어회로(155)는, 렌즈 제어회로(160)의 제어하에서 혹은 렌즈 조작부재(161)를 거쳐 입력된 유저 지시에 근거하여, 포커스 렌즈(151)를 구동시킨다. 포커스 제어회로(155)는, 포커스 렌즈(151)의 위치 등의 포커스 정보를 렌즈 제어회로(160)에 출력한다.
줌 제어회로(156)는, 렌즈 제어회로(160)의 제어하에서 혹은 렌즈 조작부재(161)를 거쳐 입력된 유저 지시에 근거하여 줌렌즈(152)를 구동시킨다. 줌 제어회로(156)는, 초점거리 등의 줌 정보를 렌즈 제어회로(160)에 출력한다.
조리개 제어회로(157)는, 렌즈 제어회로(160)의 제어하에서 또는 렌즈 조작부재(161)를 거쳐 입력된 유저 지시에 근거하여, 조리개(153)를 구동시킨다. 조리개 제어회로(157)는, 조리개 값 등의 조리개 정보를 렌즈 제어회로(160)에 출력한다.
각속도 검출회로(158)는, 렌즈 제어회로(160)의 제어하에서, 손 떨림, 패닝 또는 틸팅에 의해 렌즈장치(150)가 이동할 때의 각속도(요 및 피치 방향의 각속도)를 검출하여, 검출된 각속도를 렌즈 제어회로(160)에 출력한다.
방진 제어회로(159)는, 렌즈 제어회로(160)의 제어 하에서, 방진 제어 렌즈(154)를 구동시킨다. 방진 제어회로(159)는, 방진 가능 범위 등의 방진정보를 렌즈 제어회로(160)에 출력한다.
렌즈 제어회로(160)는, 렌즈 조작부재(161)를 통해 주어진 유저 지시 또는 I/F(170)를 통한 촬상장치(100)로부터의 명령에 근거하여, 포커스 제어회로(155), 줌 제어회로(156), 조리개 제어회로(157), 각속도 검출회로(158) 및 방진 제어회로(159)를 제어한다. 예를 들면, 촬상장치(100)로부터 렌즈 정보 취득 명령이 송신된 경우, 렌즈 제어회로(160)는, 각 제어회로나 검출 회로에서 취득한 정보를, I/F(170)를 거쳐 촬상장치(100)에 송신한다. 렌즈 제어회로(160)는, 포커스 정보 및 줌 정보를 기초로, 포커스 렌즈(151)의 구동가능한 범위에서 가능한 최대 초점거리의 연산과, 포커스 렌즈(151)의 현재 위치에 있어서의 초점거리 변동율의 연산을 행한다. 렌즈 제어회로(160)는, 예를 들면, 촬상장치(100)로부터의 요구에 대한 응답으로서, 최대 초점거리 및 초점거리 변동율의 연산 결과의 정보를, I/F(170)를 거쳐 촬상장치(100)에 송신한다.
렌즈 조작부재(161)은, 예를 들면, 포커스 조작 링, 줌 조작 링, auto-focus/manual-focus(AF/MF) 스위치와, image stabilizer(IS)(방진) 온오프 스위치를 구비하고, 이것들을 유저가 조작했을 때, 조작 정보를 유저 지시로서 렌즈 제어회로(160)에 출력한다. 이때의 렌즈 제어회로(160)는, 렌즈 조작부재(161)로부터 입력된 유저 조작 정보를, I/F(170)를 거쳐 촬상장치(100)에 송신한다. 이 경우, 촬상장치(100)의 시스템 제어회로(130)는, I/F(120)를 거쳐 수신한 유저 조작 정보를 기초로, 렌즈장치(150)의 각종 기능에 관한 동작 모드를 전환한다.
메모리(162)는, 렌즈장치(150)의 내부 메모리이며, 제어계에 의한 제어에 사용되는 정보와, 렌즈장치마다의 개별 정보를 격납하고 있다. 렌즈장치마다의 개별 정보로서는, 다양한 정보가 있지만, 일례로서, 렌즈장치(150)에 대한 각종의 광학특성 정보를 들 수 있다. 각종의 광학특성 정보는, 렌즈장치(150)의 상 배율 변화 특성정보와 왜곡수차 특성정보를 포함한다.
I/F(170)는, 렌즈장치(150)가 렌즈 마운트(180)에 장착되었을 경우, 커넥터(190)를 거쳐 촬상장치(100)의 I/F(120)와 접속한다. 그리고, I/F(170)는, 커넥터(190) 및 I/F(120)를 거쳐, 촬상장치(100)의 시스템 제어회로(130)와 렌즈장치(150)의 렌즈 제어회로(160) 사이에서 전기신호를 사용한 통신을 실시한다.
<왜곡수차 보정을 위한 구성과 처리의 설명>
본 실시형태의 촬상장치(100)는, 렌즈장치(150)에 기인하는 왜곡수차를 보정하기 위한 보정값에 관한 제1 정보와, 왜곡수차의 보정에 의해 발생된 화각 변동을 억제하기 위한 제2 정보를 사용하여, 왜곡수차를 보정한 화상을 생성 가능하다.
도 2는, 본 실시형태의 촬상장치(100)기 초점위치가 변화되었을 때(초점이 변동시)에 화각 변화를 억제하면서 왜곡수차 보정을 실현하는, 왜곡수차 보정값 산출 처리를 나타낸 흐름도다.
도 2에 나타낸 흐름도를 설명하기 전에, 본 실시형태에 있어서의 왜곡수차 보정의 이해를 쉽게 하기 위해서, 이하에서 도 3 내지 도 6을 참조하여 일반적인 왜곡수차의 보정처리와 그것의 문제점에 대해 설명한다.
도 3은, 일반적인 통형 왜곡수차의 보정처리를 나타낸 도면이다. 도 3에서 화상 300은 통형 왜곡수차 보정전의 화상의 일례를 표시하고 있다. 도 3에 나타낸 예에서는, 피사체로서 얼굴만 표시되어 있기 때문에, 렌즈로부터 유래된 통형 왜곡수차의 영향을 인식하기 어렵다. 그렇지만, 예를 들면, 직선을 포함하는 피사체가 화상 내에 있을 경우, 왜곡수차 보정전의 화상에서는, 그 직선 부분이 왜곡된 상태로 나타난다. 화상 301은, 화상 300에 대하여 렌즈의 특성에 근거한 통형 왜곡수차 보정을 행한 후의 화상을 표시하고 있다. 통형 왜곡수차는 대각선 방향의 부분이 축소되는 왜곡을 일으키는 수차이기 때문에, 통형 왜곡수차의 보정은, 화상을 대각선 방향으로 확대하도록 행해진다. 일반적으로, 왜곡량은 축으로부터의 거리(이후, "상고"라고 부른다)가 커짐에 따라 커지는 경향이 있으므로, 통형 왜곡수차 보정후의 화상 301은, 특히 대각선 방향으로 4개의 모서리가 잡아당겨지는 것 같은 화상, 즉 4개의 모서리방향을 확대된 화상이 된다. 이 수차 보정후의 화상 301 내부의 피사체는, 렌즈의 통형 왜곡수차에 의한 왜곡이 보정된 상태가 된다. 한편, 최종 출력 화상은 정사각형이나 직사각형 등의 사각형 화상일 필요가 있기 때문에, 왜곡수차 보정후의 화상 301은, 가능한 한 넓은 화각을 갖는 화상 302가 얻어지도록 처리된다(이후, 이 처리를 "최대 화각 연산 처리"라고 부른다). 일반적인 촬상장치(100)의 출력 화소수는 미리 결정된 일정값이 되는 것이 기대되고 있기 때문에, 최대 화각 연산 처리를 통해 화상으로부터 사각형 화상 304가 잘라내져, 촬상장치의 출력 화소수(예를 들면, 화상 300과 같은 화소수)로 조정되도록 더 처리된다. 즉, 최종적 출력 화상 303은, 통형 왜곡수차 보정에 의해 4개의 모서리 방향으로 확대되고 최대 화각 연산 처리가 실행된 화상으로부터 잘라낸 사각형 화상 304를, 원래의 화상 300과 같은 사이즈까지 축소시켜 얻어진 화상이 된다. 이러한 일련의 처리가 행해지는 것에 의해, 화각의 결손을 억제하면서, 통형 왜곡수차가 보정된 화상이 생성된다.
다음에, 도 4를 참조하여, 일반적인 실패형의 왜곡수차의 보정처리에 대해 설명한다. 도 4에서, 화상 400은 실패형 왜곡수차 보정전의 화상의 일례를 표시하고 있다. 도 4에 도시된 예에서는, 도 3의 예와 마찬가지로, 피사체로서 얼굴만 표시되므로, 렌즈에 의해 발생되는 실패형 왜곡수차의 영향은 인식하기 어렵다. 그렇지만, 직선을 포함하는 피사체의 경우, 왜곡수차 보정전의 화상에서는, 그 직선 부분이 왜곡되어 나타난다. 화상 401은, 화상 400에 대하여 렌즈의 특성에 근거한 실패형 왜곡수차 보정을 행한 후의 화상을 표시하고 있다. 실패형 왜곡수차는 대각선 방향의 부분이 확대되는 왜곡이 생기는 수차이기 때문에, 실패형 왜곡수차의 보정은, 대각선 방향의 화상이 축소되도록 행해진다. 또한, 실패형 왜곡수차의 경우도, 왜곡량은 상고가 높아질수록 커지는 경향이 있으므로, 실패형 왜곡수차 보정후의 화상 401은, 특히 대각선 방향으로 4개의 모서리가 축소된 화상이 된다. 수차 보정후의 화상 401에 있는 피사체는, 실패형 왜곡수차에 의해 발생된 왜곡이 보정된 상태가 된다. 전술한 바와 마찬가지로, 실패형 수차 보정이 행해졌을 경우도, 최종 출력 화상은 직사각형 등의 사각형 화상일 필요가 있기 때문에, 수차 보정후의 화상 401은 가능한 한 넓은 화각을 갖는 화상 402가 얻어지도록 최대 화각 연산 처리가 행해진다. 그후, 최대 화각 연산 처리후에 얻어진 화상으로부터는 사각형 화상 404가 잘라내져, 촬상장치(100)의 출력 화소수(화상 400과 같은 사이즈)로 지정되도록 처리가 행해진다. 즉, 최종 출력 화상 403은, 실패형 왜곡수차 보정에 의해 4개의 모서리 방향으로 축소되고 최대 화각 연산 처리가 실행된 화상으로부터 잘라낸 사각형 화상 404를, 원래의 화상 400과 같은 사이즈까지 확대함으로써 얻어진 화상이 된다. 이러한 일련의 처리가 행해짐으로써, 화각의 결손을 억제하면서 실패형 왜곡수차가 보정된 화상이 생성된다.
이상, 일반적인 왜곡수차 보정의 수법을 서술했지만, 예를 들면, 동화상을 촬영하는 경우에, 그 동화상에 대해 왜곡수차 보정을 행하면, 왜곡수차의 보정량에 따라, 화면 중앙에 나타나는 피사체의 크기가 변화할 수 있다. 전술한 도 3과 도 4를 참조하여 설명한 왜곡수차 보정방법에서는, 최대 화각 연산 처리의 결과로써 얻어진 화상으로부터 잘라낸 사각형 화상을, 이 사각형 화상을 잘라내서 최종 출력 화상을 생성시에, 왜곡수차의 보정량에 근거하여, 확대(도 3의 경우) 또는 축소(도 4의 경우)한다. 이 때문에, 동화상의 촬영중에, 초점맞춤 위치를 움직이면, 그 움직인 초점맞춤 위치에 따라 왜곡수차량이 변화되고, 그 보정을 위한 보정량이 변동한다. 즉, 동화상 촬영중에 초점맞춤 위치를 움직이는 것 만으로, 최종 출력 화상을 얻을 때의 확대율 또는 축소율이 변화하고, 그 결과, 화면의 중심에 있는 피사체의 크기가 변경된 저품질의 동화상이 얻어질 수 있다.
이러한 것에 대처하기 위한 가능한 방법의 일례는, 전술한 최대 화각 연산 처리를 행하지 않는 것이다. 이 방법에 대해서 도 5를 참조하여 설명한다. 도 5는, 통형 왜곡수차 보정처리가 행해질 경우의 예를 나타낸 것이다. 도 5에서, 화상 500은 도 3의 화상 300과 마찬가지로, 통형 왜곡 보정전의 화상예인 반면에, 화상 501은 도 3의 화상 301과 마찬가지로, 통형 왜곡수차 보정후의 화상예다. 이 예에서, 전술한 최대 화각 연산 처리를 행하지 않고, 통형 왜곡수차 보정후의 화상 501으로부터 원래의 화상 500과 같은 사이즈를 갖는 사각형 화상 504를 잘라내고, 그 잘라낸 사각형 화상 504가 최종 출력 화상 503으로 출력된다. 즉, 출력 화상 503은, 사각형 화상 504를 상기한 바와 같은 축소하는 리사이즈 처리가 행해지지 않고 얻어진 화상이 된다. 이 처리에 따르면, 화상의 중심에 있는 피사체의 사이즈를 바꾸지 않고 화상을 출력시키는 것이 가능해 진다. 따라서, 예를 들면, 동화상의 촬영시에 초점맞춤 위치가 변동되어, 왜곡수차량이 변화되어도, 피사체 중앙부의 화상의 배율이 변화되는 것을 방지하면서, 왜곡수차 보정이 행해진다.
그러나, 이 방법은, 실패형 왜곡수차를 보정하는 경우에 이하와 같은 문제를 일으킬 수도 있다. 이것에 대해서 도 6을 참조하여 설명한다. 도 6에서, 화상 600은 도 4의 화상 400과 마찬가지로, 실패형 왜곡 보정전의 화상예인 반면에, 화상 601은 도 4의 화상 401과 마찬가지로, 실패형 왜곡수차 보정후의 화상예다. 원래의 화상 400과 같은 사이즈를 갖는 사각형 화상을, 전술한 최대 화각 연산 처리를 행하지 않고, 실패형 왜곡수자 보정후의 화상 401로부터 잘라내는 것으로 가정한다. 그렇지만, 실패형 왜곡수차 보정에서는, 전술한 바와 같이 4개의 모서리의 대각선 방향으로 화상을 축소하는 처리가 행해지기 때문에, 원래의 화상 400과 같은 사이즈로 잘라낸 사각형 화상 603은, 각각의 모서리가 화상을 포함하지 않는 블랭크 영역(605)을 포함하는 화상을 발생한다. 이 때문에, 실패형 왜곡수차 보정을 행할 경우에, 전술한 최대 화각 연산 처리를 실시할 필요가 있으므로, 예를 들면, 동화상 촬영시에 초점맞춤 위치가 변동하면, 초점맞춤 위치의 왜곡 특성에 따라 화상의 중심 부분의 배율이 변동하는 저품질의 동화상이 얻어진다고 하는 문제가 남는다.
이것을 해소하기 위해, 본 실시형태의 촬상장치(100)는, 도 2의 흐름도에 나타낸 왜곡수차 보정값 산출 처리를 행함으로써, 초점위치가 변화되었을 때(초점이변동시) 화각 변화를 억제하면서 왜곡수차 보정을 실현한다. 도 2에 나타내는 흐름도의 처리는, 촬상장치(100)의 시스템 제어회로(130)에 의해 실행된다. 이 흐름도의 처리는, 하드웨어 구성에 의해 실행되거나, 중앙처리장치(CPU)가 실행하는 프로그램에 근거한 소프트웨어 구성에 의해 실현되거나, 처리의 일부가 하드웨어 구성으로 실현되는 한편, 나머지 부분이 소프트웨어 구성에 의해 실현될 수 있다. CPU가 실행하는 프로그램은, 예를 들면, 기록회로(108) 등의 불휘발성 메모리에 격납되거나, 외부 메모리로부터, 또는 네트워크(미도시)를 거쳐 취득될 수 있다. 이것들은 후술하는 것 다른 흐름도에도 적용된다.
스텝 S201에 있어서, 시스템 제어회로(130)의 렌즈 통신 제어회로(133)는, 렌즈 마운트(180)에 장착된 렌즈의 왜곡수차 보정에 있어서의 특징정보의 플래그를, 렌즈장치(150)로부터 I/F(170)를 거쳐 취득한다. 여기에서 사용될 때, 용어 "플래그"는, 장착된 렌즈장치(150)가, 동화상의 왜곡수차 보정에 대응한 렌즈인지 아닌지를 판정하기 위한 근거가 되는 정보이다. 왜곡수차 보정은 화각 변환을 포함하기 때문에, 동화상 등의 시간축에서 변화되는 화상은, 연속한 프레임의 화상이 매끄럽게 연결되도록 보정될 필요가 있다. 한편, 일부 렌즈장치(150)는, 충분히 정밀하지 않을 수 있는 포커스 제어값과 줌 제어값을 갖는 일도 있다. 이와 같은 렌즈장치의 경우, 촬영된 동화상의 프레임에 대하여 왜곡수차 보정을 실시하면, 전술한 바와 같이, 줌 제어값이나 포커스 제어값의 전환시에 보정량이 급격하게 변화되어서, 동화상의 화각이 급격하게 변화하므로, 동화상의 품질이 저하해 버린다. 이 때문에, 동화상 촬영시에도 왜곡수차 보정을 행하는데 충분한 정밀도를 갖는 줌/포커스 제어값을 갖고 있는 렌즈장치(150)에 대해서만 플래그를 추가할 필요가 있다. 이 플래그는 미리 렌즈장치(150)의 메모리(162) 또는 후술하는 왜곡수차 보정 데이터 내부에 기록해 두는 것이 바람직하다.
다음에, 스텝 S202에 있어서, 시스템 제어회로(130)의 수차 보정 제어회로(132)는, 현재의 촬영 모드가 동화상 모드인지 정지 화상 모드인지 판정한다. 정지 화상의 경우, 시간축에서의 미소한 화각 변화가 유저에게 그다지 신경쓰게 하지 않을 것이다. 이 때문에, 수차 보정 제어회로(132)는, 현재의 촬영 모드가 정지 화상 모드라고 판정했을 경우에는(스텝 S202에서 YES), 스텝 S203으로 처리를 진행시켜, 도 3을 참조하여 설명한 것 같이 최대 화각 연산을 실시한다. 단, 연속 촬영을 통해 정지 화상을 취득하는 경우에는, 정지 화상 모드에서도 화각 변동을 억제하는 쪽이 바람직한 경우도 있다. 이 때문에, 정지 화상의 연속 촬영의 경우에 있어서 화각 변동을 억제하는 것이 바람직한 경우에는, 수차 보정 제어회로(132)는, 현재의 촬영 모드가 동화상 모드라고 판정할 수 있다. 스텝 S202에 있어서, 수차 보정 제어회로(132)가 현재의 촬영 모드가 동화상 모드라고 판정했을 경우(스텝 S202에서 NO), 스텝 S204로 처리를 진행한다.
스텝 S204에서, 수차 보정 제어회로(132)는, 장착된 렌즈장치(150)가 동화상 왜곡수차 보정에 대응가능한지 아닌지를 판정한다. 스텝 S204에 있어서의 판정은, 스텝 S201에 있어서 취득한 플래그의 정보를 기초로 행해진다. 동화상의 왜곡수차 보정에 대응하지 않는 렌즈장치(150)를 사용해서 촬영된 동화상에 대하여 왜곡수차 보정을 적용해 버리면, 전술한 바와 같이 동화상의 품질을 보증할 수 없게 될 우려가 있기 때문에, 그것의 통지를 유저에게 제공할 필요가 있다. 이 때문에, 수차 보정 제어회로(132)가, 렌즈장치(150)가 동화상 왜곡수차 보정에 대응하지 않고 있다고 판정했을 경우에는(스텝 S204에서 NO), 스텝 S205로 처리를 진행하고, 예를 들면, 화상 표시장치(106)에의 경고 표시에 의해, 유저에 대하여 동화상의 품질을 보증할 수 없게 될 우려가 있다는 통지가 제공된다. 유저 통지의 방법의 예로는, 화상 표시장치(106)에 왜곡수차 보정이 적용되지 않는 것을 나타내는 아이콘을 표시하는 방법과, 도 15에 나타낸 것과 같이 왜곡수차 보정의 메뉴를 선택할 수 없도록 설정하는 방법을 들 수 있다. 도 15는, 화상 표시장치(106)에 화면에 표시되는 왜곡수차 보정 메뉴의 일례를 나타낸 것으로, 통상적으로 선택가능한, 왜곡수차 보정을 "실행한다(ON)"과 "실행하지 않는다(OFF)"의 메뉴 항목이 선택할 수 없도록 설정된다. 수차 보정 제어회로(132)는, 다음의 스텝 S206에 있어서, 강제로 왜곡수차 보정을 무효화하기 위해 파라미터를 설정한다.
동화상 왜곡수차 보정에 대응하는 렌즈에 대해서도, 전술한 바와 같이 최대 화각 연산 처리를 행하면, 초점맞춤 변동시의 포커스 위치에 근거하여 화각이 변화하므로, 최대 화각 연산을 실시하지 않고 왜곡수차 보정값을 산출할 필요가 있다. 이 때문에, 스텝 S204에서, 수차 보정 제어회로(132)가, 렌즈장치(150)가 동화상 왜곡수차 보정에 대응하는 렌즈라고 판정했을 경우(스텝 S204에서 YES), 수차 보정 제어회로(132)는, 스텝 S207에 있어서, 최대 화각 연산 처리를 실시하지 않고 왜곡수차 보정값을 산출한다. 최대 화각 연산을 생략하는 경우, 전술한 바와 같이, 실패형의 왜곡수차 보정이 행해지면, 화소수가 원래의 사이즈보다도 작아지고, 주변 부분에 블랭크 영역이 형성된다.
이 때문에, 수차 보정 제어회로(132)는, 렌즈장치(150)가 실패형의 왜곡수차를 발생하는 렌즈일 경우에는, 스텝 S208에 있어서, 화상 처리회로(140)에 대하여 확대 처리를 행하도록 지시하고, 주변 부분에 블랭크 영역이 생기지 않도록 제어한다. 즉, 화상 처리회로(140)가 확대 처리를 행함으로써, 화상을 포함하지 않는 블랭크 영역을 전술한 사각형 화상의 외측으로 이동한다. 이에 따라, 원래의 화상과 같은 사이즈를 갖고, 주변 부분에도 화상을 포함하는 사각형 화상이 취득된다. 화상 처리회로(140)에 의한 확대 처리시의 확대율은, 일률적인 확대율로서 설정되거나, 렌즈장치(150)의 메모리(162)에 미리 격납될 수 있다.
초점거리 등의 조건에 따라서는 실패형의 왜곡수차가 거의 생기지 않는 경우도 있을 수 있으므로, 일률적인 확대율을 설정하면, 실패형의 왜곡수차가 거의 생기지 않는 경우에도, 일률적으로 확대 처리가 행해져, 화상 품질을 저하시키는 일도 있다. 이것을 해소하기 위해, 예를 들면, 도7a 및 도 7b에 도시된 데이터와 도 8에 도시된 흐름도를 사용하여, 초점거리마다 확대율을 변경함으로써, 확대 처리에 의해 발생된 품질 저하를 억제한다.
도7a는, 초점거리마다의 확대율을 사전에 유지하기 위한 데이터 포맷 예를 나타낸 도면이다. 도7a에 있어서, 메모리 영역 701은 왜곡수차 보정 데이터가 격납되는 영역이다. 메모리 영역 701의 왜곡수차 보정 데이터는, 동화상과 정지 화상에서 공통적으로 사용되기 때문에, 렌즈장치(150)의 광학특성 정보를 변환하지 않고 격납된다. 구체적으로는, 왜곡수차 보정 데이터는, 초점거리, 초점맞춤 위치, 및, 상고의 각 값의 조합별로, 미리 준비되어 격납되어 있다. 초점거리와 초점맞춤 위치의 적어도 한쪽이 변화되었을 경우에는, 보정에 사용되는 왜곡수차 보정 데이터가 변경된다. 메모리 영역 702는, 스텝 S208에서 취득하는 확대율의 정보가 테이블로서 격납되는 영역이다.
도 7b는, 메모리 영역 702에 격납되는 테이블의 일례이며, 렌즈장치(150)가 취할 수 있는 각 초점거리와, 초점거리마다 대응하는 확대율의 값의 대응관계를 지정하고 있다. 도 7b에 도시된 테이블에서, 초점거리 Z01 내지 Z07에 대응하며 실패형 왜곡수차 보정시에 필요한 확대율의 값이 기록되어 있다. 도 7b에 도시된 예의 경우, 초점거리 Z01 내지 Z03에 대응하는 확대율은 1배로 설정되어 있다. 이것은, 초점거리 Z01 내지 Z03의 영역은, 이들 영역이 실패형의 왜곡수차를 거의 포함하지 않기 때문에, 확대할 필요가 없다는 것을 나타내고 있다. 한편, 초점거리 Z04 내지 Z07에 대응하는 확대율이 이 순서로 서서히 커지도록 설정되어 있다. 이것은, 초점거리 Z04 내지 Z07의 영역에서 실패형의 수차량이 이 순서로 서서히 커지고 있는 것을 나타내고 있다. 상기한 바와 같이, 실패형의 수차량은, 초점맞춤 위치를 움직임으로써도 변화되지만, 도 7b에 나타내는 테이블은, 초점맞춤 위치에는 대응하지 않고, 초점거리에만 대응하고 있다. 이것은, 테이블에 기록된 초점거리 Z04 내지 Z07에 대한 확대율이, 대응하는 초점거리에 있어서 실패형의 수차량이 가장 큰 양에 도달할 때의 초점맞춤 위치에 근거하여 설정되어 있기 때문이다. 이 때문에, 테이블에 기록된 확대율에 따라서 왜곡수차 보정후의 화상을 확대함으로써, 초점맞춤 위치를 어디 곳에 설정했는지에 무관하게, 도 6에 나타내는 블랭크 영역(605)이 형성되지 않는다.
이와 달리, 도 7b에 나타내는 테이블 대신에, 초점거리 및 초점맞춤 위치의 조합에 대응하는 확대율을 기록한 테이블을 준비하고, 테이블 데이터를 받은 촬상장치(100)가 초점거리마다 최대가 되는 확대율을 선택해도 된다.
도 7b에 도시된 것과 같이, 초점거리에 따라 확대율은 가변이며, 일반적으로 초점거리 변동에 의한 화각의 변동에 비해, 확대율의 변화는 훨씬 작다. 이 때문에, 초점거리 변동에 의한 화각의 변동에 확대율이 파묻히기 때문에, 초점거리 변경시의 확대율 변경은 아무런 문제를 일으키지 않는다. 도 7b의 테이블 데이터는, 렌즈장치(150)의 메모리(162)에 기록해 두는 것이 바람직하다. 테이블 데이터는, 필요에 따라 촬상장치(100)의 메모리(107)에 전송해서 사용될 수 있다.
도8은, 도 7b의 테이블을 사용하여, 촬상장치(100)의 수차 보정 제어회로(132)가 확대율을 산출하는 처리를 나타낸 흐름도다.
스텝 S801에 있어서, 수차 보정 제어회로(132)는, 렌즈장치(150)로부터 보내져 오는 현재의 초점거리의 정보를, 렌즈 통신 제어회로(133)를 경유해서 취득한다.
다음에, 스텝 S802에 있어서, 수차 보정 제어회로(132)는, 도7a와 도 7b를 참조하여 설명한 메모리 영역 702의 테이블을 사용하여, 스텝 S801에서 취득한 초점거리에 대응하는 확대율을 참조한다. 확대율의 데이터가 렌즈장치(150)가 취할 수 있는 모든 초점거리만큼 준비되어 있지 않고, 솎아낸 초점거리마다의 데이터로서 기록되어 있는 경우, 수차 보정 제어회로(132)는, 필요한 초점거리에 대응하는 확대율을 예를 들면 선형보간에 의해 산출한다.
그후, 수차 보정 제어회로(132)는, 전술한 것과 같이 취득한 확대율과, 도7a의 메모리 영역 701의 왜곡수차 보정 데이터에 근거하여 왜곡수차 보정 및 확대 처리를 행하도록, 화상 처리회로(140)를 제어한다.
이에 따라, 본 실시형태의 촬상장치(100)에 따르면, 동화상 촬영중에 초점맞춤 변동에 의해 발생한 화각 변화를 억제하면서 왜곡수차를 보정할 수 있다.
이하, 제2실시형태를 설명한다. 제2실시형태의 구성은 도 1과 유사하기 때문에, 그것의 도시를 생략한다. 제2실시형태에서는, 도 7b를 참조하여 설명한 초점거리와 확대율 사이의 대응을 지정하는 테이블 대신에, 초점거리와 왜곡수차 보정량의 시프트량 사이의 대응을 지정하는 테이블을 사용한다.
제1실시형태에서 설명한 초점거리에 대응하는 확대율을 사용하는 경우에 생길 수 있는 문제점에 대해서, 도 9 내지 도 11을 참조하면서 설명한다. 확대율을 사용할 경우에 생길 수 있는 문제점의 일례는, 동화상 모드마다 다른 확대량을 필요로 한다는 것이다. 구체적으로는, 촬상장치(100)의 동화상 모드에 따라, 촬상소자(102)의 판독 영역이 가변으로 되는 경우가 있고, 이 경우에 문제가 발생하는 일이 있다.
예를 들면, 도 9의 영역 901은, 촬상소자(102)의 촬상 가능 영역을 나타내고 있다. 정지 화상 모드와 동화상 모드의 양쪽을 포함하는 촬상장치는, 기본적으로, 정지 화상 모드에 필요한 영역이 촬상소자의 영역 901이 되도록 설계되어 있다. 촬상장치로 동화상 촬영을 행할 경우, 정지 화상 모드와 유사한 영역으로부터 판독한 데이터로부터 동화상을 생성하는 것이 바람직하지만, 동화상을 생성할 때는 적어도 1초당 30프레임의 판독을 행할 필요가 있기 때문에, 이와 같은 동화상을 생성하는 것은 처리 능력면에서 어려운 경우가 많다. 이 때문에, 일반적으로, 촬상장치의 동화상 모드에서는, 영역 901에 대하여, 예를 들면, 수평/수직의 솎아냄 혹은 가산을 행하여 화소수를 줄여, 동화상을 생성함으로써, 처리부하를 경감하고 있다. 솎아냄이나 가산이 행해진 동화상은, 솎아냄이나 가산의 양에 따라, 모아레와 해상감 저하 등 다양한 화질 저하를 겪는 일이 있다. 이 때문에, 촬상장치의 동화상 모드로서, 촬상소자(102)로부터 판독하는 영역을 도 9의 영역 902로 지정된 것과 같이 한정하고, 솎아냄이나 가산을 행하지 않고 동화상을 생성하는 모드(이 모드를 "크롭 판독 모드"라고 부른다)가 준비되어 있다. 크롭 판독 모드에서는, 촬상소자(102)로부터 판독하는 영역이 한정됨으로써, 처리부하를 경감할 수 있으며, 솎아냄이나 가산이 행해지지 않기 때문에, 모아레와 해상감 저하 등의 화질 저하가 줄어든다.
그렇지만, 크롭 판독 모드에서는, 촬상소자(102) 내에 있어서의 촬상 영역이 다른 모드와는 다른 경우가 있다. 이것을 도 10과 도 11을 참조하여 설명한다.
우선, 도 10을 참조하면서, 일반적인 왜곡수차 보정 데이터에 대해 설명한다. 도10은, 상고와 왜곡수차의 보정값의 관계를 나타내는 그래프이다. 도 10에 있어서, 세로축의 양의 방향은 실패형 왜곡수차의 보정값을 나타내고, 실패형 왜곡수차의 보정값의 수치가 클수록, 더 큰 양의 실패형의 왜곡수차를 보정하는 것을 나타내고 있다. 세로축의 음의 방향은 통형 왜곡수차의 보정값을 나타내고 있고, 통형 왜곡수차의 보정값의 수치가 작을수록, 더 큰 양의 통형 왜곡수차를 보정하는 것을 나타내고 있다. 즉, 도 10의 왜곡수차 보정에서는, 양의 수치인 보정값은, 화상을 대각선 방향으로 축소하도록 보정이 행해지는 것을 나타내고, 음의 수치인 보정값은, 화상을 대각선 방향으로 확대하도록 보정이 행해지는 것을 나타내고 있다.
다음에, 도 11을 참조하여, 전술한 제1실시형태에 있어서 문제가 되는 것으로 생각될 수 있는 왜곡수차 보정의 형상에 대해 설명한다. 도 11에서는, 도 10과 마찬가지로, 세로축의 양의 방향이 실패형 왜곡수차의 보정값을 나타내고, 세로축의 음의 방향이 통형 왜곡수차의 보정값을 나타내고 있다. 도 11에 예시한 보정값의 경우, 낮은 상고에 대해서는 실패형의 왜곡수차에 대한 보정이 표시되고, 높은 상고측에 대해서는 통형의 왜곡수차에 대한 보정이 표시된다. 도 11에 있어서, 상고 a는 도 9의 영역 902의 최대 상고를 나타내고 있고, 상고 b는 도 9의 영역 901(촬상 가능 영역)의 최대 상고를 나타내고 있다.
전술한 제1 실시형태에서는, 실패형 왜곡수차 보정시의 확대율로서, 도 9의 영역 901의 왜곡수차 보정을 실시했을 경우의 확대율이, 도7a의 메모리 영역 702에 격납된다. 이 때문에, 예를 들면, 도 9의 영역 902를 사용하는 크롭 판독 모드에서 왜곡수차 보정을 실시했을 경우, 영역 901보다도 필요한 확대량이 커지기 때문에, 영역 901에 필요한 확대율이 충분하지 않아, 블랭크 영역을 포함하는 화상이 출력될 수 있다. 도7a의 메모리 영역 701과 702의 데이터가 렌즈장치(150)의 메모리(162)에 격납되어 있을 경우에, 이들 데이터를, 해당 렌즈장치(150)가 장착되는 다양한 종류의 촬상장치(100)의 모든 동화상 모드에 대해 준비된 데이터로서 격납하는 것은 어렵다. 이 때문에, 렌즈장치(150)의 메모리(162)에 격납된 데이터를 사용하여 촬상장치에 있어서 왜곡수차 보정후에 품질이 높은 화상을 생성할 수 없게 되는 경우가 있다.
따라서, 제2실시형태에 따른 촬상장치(100)는, 도 12에 나타내는 흐름도의 왜곡수차 보정값 산출 처리를 행한다. 도 12의 흐름도에 있어서, 스텝 S1201 내지 S1207의 처리는, 도 2의 스텝 S201 내지 S207의 처리와 유사하기 때문에 그 설명은 생략한다. 제2실시형태와 전술한 제1실시형태와의 차이는, 제1실시형태의 확대율을 산출하는 것 대신에, 왜곡수차의 보정값의 시프트량을 산출한다는 것이다.
왜곡수차 보정값의 시프트량에 대해서, 도 13a를 참조하면서 설명한다. 도 13a는, 도 11에서 설명한 바와 같이, 제1실시형태의 경우에 있어서 문제가 발생하는 왜곡수차 보정의 특성을 나타낸 그래프다. 이 도 11a에 나타낸 특성 중에서, 상고 x는 실패형의 왜곡수차량이 최대가 되는 상고이고, 보정값 DistMax는 이 상고 x에 대응한 보정값이다. 제2실시형태에 따른 보정값의 시프트량은, 이 보정값 DistMax로 표시된다.
도 12의 스텝 S1207에 있어서, 최대 화각 연산 처리를 실시하지 않고 왜곡수차 보정값을 산출한 후, 수차 보정 제어회로(132)는, 스텝 S1208에 있어서, 렌즈 통신 제어회로(133)를 경유하여, 렌즈장치(150)로부터 왜곡수차의 보정값의 시프트량을 취득한다.
다음의 스텝 S1209에 있어서, 수차 보정 제어회로(132)는, 왜곡수차의 보정값을, 스텝 S1208에서 구한 시프트량만큼 시프트시킨다. 이것을 도 13b를 참조하면서 설명한다. 도 13b에 나타낸 것과 같이, 수차 보정 제어회로(132)는, 도 13a에서 지정된 시프트량만큼 왜곡수차의 보정값을 시프트시킴으로써, 가상적으로 실패형의 왜곡수차에 대한 보정이 필요없는, 즉 왜곡수차 보정후에 확대가 필요없는 파라미터로 이 값을 변환한다. 도 13a는, 0의 상고, 즉 원점에 있는 피사체 상을 이동시키지 않는 기준점으로 결정했을 경우의 수차 보정의 특성을 나타내고 있는 한편, 도 13b는, 상고 x의 위치에 있는 피사체 상을 이동시키지 않는 기준점으로 결정했을 경우의 수차 보정의 특성을 나타내고 있다.
다음에, 제2실시형태에 따른 초점거리마다의 보정값의 시프트량의 데이터 유지 방법에 대해서, 도 14a와 도 14b를 참조하면서 설명한다.
도 14a는, 초점거리마다의 보정값의 시프트량을 유지하기 위한 데이터 포맷 예를 나타낸 도면이다. 도 14a에 있어서, 메모리 영역 1401은 왜곡수차 보정 데이터를 격납하는데 사용된다. 도7a의 메모리 영역 702와 마찬가지로, 메모리 영역 1401에 격납된 왜곡수차 보정 데이터는, 동화상과 정지 화상에서 공통적으로 사용되기 때문에, 렌즈장치(150)의 광학특성 정보는 변경되지 않고 격납된다. 메모리 영역 1402는, 스텝 S1208에서 취득하는 보정값의 시프트량의 정보가 테이블에 격납되는 영역이다. 도7a의 경우와 마찬가지로, 보정값의 시프트량은, 메모리 영역 1401의 왜곡수차 보정 데이터와 관련하여 격납되는 것이 바람직하다.
도 14b는, 메모리 영역 1402에 격납된 테이블의 일례이며, 렌즈장치(150)가 취할 수 있는 각 초점거리와, 초점거리마다 대응한 보정값의 시프트량의 대응관계를 지정한다. 도 14b의 테이블에는, 렌즈장치(150)에 있어서 설정가능한, 초점거리 Z01 내지 Z07에 있어서 가장 가까운 위치로부터 무한원를 향해 초점맞춤 위치를 변화시켰을 경우의 보정값의 시프트량의 최대값이 기록되어 있다. 예를 들어, 대상의 초점거리의 왜곡수차 특성이 통형 수차일 경우, 전술한 문제는 발생하지 않으므로, 보정값을 시프트시킬 필요가 없기 때문에, 시프트량의 값으로서는 값 "0"이 기록된다. 즉, 도 14b는, 초점거리 Z01 내지 Z03에서의 특성이 통형의 왜곡수차 특성인 예를 나타내고 있다. 한편, 초점거리 Z04로부터 초점거리 Z07까지 보정값의 시프트량이 서서히 증가한다. 즉, 초점거리 Z04 내지 Z07의 영역에서는, 보정값을 시프트시키기 위해서, 이 순서로, 시프트량의 값이 서서히 증가한다. 본 실시형태에 따르면, 도 14b에 나타내는 테이블은, 초점맞춤 위치에는 대응하지 않고, 초점거리에만 대응하고 있는데, 이것은, 테이블에 기록된 초점거리 Z04 내지 Z07에 대한 시프트량이 각각의 초점거리에 있어서 실패형의 수차량이 최대 량에 도달할 때의 초점맞춤 위치에 근거하여 설정되어 있기 때문이다.
이와 달리, 도 14b에 나타내는 테이블 대신에, 초점거리 및 초점맞춤 위치의 조합에 대응하는 시프트량을 기록한 테이블을 준비하고, 테이블 데이터를 받은 촬상장치(100)가 초점거리마다 최대가 되는 시프트량을 선택해도 된다.
제2실시형태의 경우에, 제1실시형태에서와 같이, 테이블 데이터는 렌즈장치(150)의 메모리(162)에 기록해 두고, 필요한 타이밍에서 시프트량을 판독해서, 판독한 시프트량의 통지를 촬상장치(100)에 송신해도 된다. 이와 달리, 렌즈장치(150)가 촬상장치(100)에 장착되었을 때에, 테이블 데이터가 촬상장치(100)에 송신될 수 있다.
제2실시형태에서는 시프트량의 값(파라미터)이 미리 준비되어 있는 예를 설명하였지만, 본 실시예가 이 예에 한정되는 것이 아니다. 여분의 연산 시간이 있으면, 메모리 영역 1401에 격납된 왜곡수차 보정 데이터로부터 그 때마다, 그 초점거리에 있어서 최대가 되는 시프트량을 산출해도 된다.
이상에서 설명한 바와 같이, 제2실시형태에 있어서도, 예를 들면, 동화상에 대해 왜곡수차 보정을 행함에 있어서, 촬상장치의 모드에 상관없이, 초점맞춤 변동의 경우에 화각 변화를 억제하면서, 왜곡수차 보정이 가능해 진다.
<다른 실시형태>
전술한 실시형태에서는, 촬상장치(100)의 일례로서 디지털 카메라를 설명하였지만, 응용분야가 이 예에 한정되지 않고, 본 발명은 다른 촬상장치에도 적용가능하다. 예를 들면, 정지 화상과 동화상의 촬영이 가능한 카메라 기능을 갖춘 스마트 폰과 태블릿 단말 등의 각종 휴대 단말과, 각종의 감시 카메라, 공업용 카메라, 차량 탑재 카메라와, 의료용 카메라에도 본 실시형태를 적용가능하다.
기타 실시형태
본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.
본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.
예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims (31)

  1. 렌즈에 의해 형성된 광학 상을 촬상해서 얻어진 화상의 왜곡수차를 보정하기 위한 보정값에 관한 제1 정보와, 상기 왜곡수차의 보정에 의해 발생되는 화각 변동을 보정하기 위한 제2 정보를 취득하도록 구성된 취득부과,
    상기 제1 정보 및 상기 제2 정보를 사용하여, 상기 왜곡수차가 보정된 화상을 생성하도록 구성된 처리부를 구비한 화상 처리장치.
  2. 제 1항에 있어서,
    상기 제1 정보는, 상기 렌즈의 초점거리들 및 초점맞춤 위치의 개별 조합에 대해 제공된 정보를 포함하고,
    상기 제2 정보는, 상기 렌즈의 각각의 초점거리들에 대해 제공되고 상기 렌즈의 초점맞춤 위치에 대응하지 않는 정보를 포함하는 화상 처리장치.
  3. 제 2항에 있어서,
    상기 렌즈의 각각의 초점거리들에 대응하는 정보는, 초점거리들 중에서 대응하는 한 개에서 실패형의 수차량이 최대가 되는 초점맞춤 위치에 근거한 정보를 포함하는 화상 처리장치.
  4. 제 2항에 있어서,
    상기 처리부는, 상기 제1 정보로부터, 상기 왜곡수차의 보정 대상인 화상을 촬상했을 때의 상기 렌즈의 초점거리 및 초점맞춤 위치의 조합에 대응하는 정보를 선택하고, 상기 제2 정보로부터, 상기 왜곡수차의 보정 대상인 화상을 촬상했을 때의 상기 렌즈의 초점거리에 대응하는 정보를 선택하는 화상 처리장치.
  5. 제 1항에 있어서,
    상기 제1 정보 및 상기 제2 정보는, 상기 렌즈의 초점거리 및 초점맞춤 위치의 개별 조합에 대해 제공되고,
    상기 처리부는, 상기 제1 정보로부터, 상기 왜곡수차의 보정 대상인 화상을 촬상했을 때의 상기 렌즈의 초점거리 및 초점맞춤 위치의 조합에 대응하는 정보를 선택하고, 상기 제2 정보로부터, 상기 왜곡수차의 보정 대상인 화상을 촬상했을 때의 상기 렌즈의 초점거리에 대응하는 정보를 선택하는 화상 처리장치.
  6. 제 5항에 있어서,
    상기 처리부는, 상기 렌즈의 초점거리들마다, 실패형의 수차량이 최대가 될 때의 초점맞춤 위치에 대응하는 정보를 선택해서 사용하는 화상 처리장치.
  7. 제 1항에 있어서,
    상기 처리부는, 상기 제1 정보를 사용해서 촬상 화상의 상기 왜곡수차를 보정하고,
    상기 왜곡수차가 보정된 화상을 상기 제2 정보에 근거하여 확대하는 화상 처리장치.
  8. 제 7항에 있어서,
    상기 처리부는, 상기 왜곡수차가 통형의 왜곡수차인 경우에는, 상기 왜곡수차가 보정된 화상을 확대하지 않고, 상기 왜곡수차가 실패형의 왜곡수차인 경우에는, 상기 왜곡수차가 보정된 화상을 확대하는 화상 처리장치.
  9. 제 7항에 있어서,
    상기 처리부는, 상기 렌즈의 초점거리가 제1 초점거리인 경우에는, 상기 왜곡수차가 보정된 화상을 확대하지 않고, 상기 렌즈의 초점거리가 상기 제1 초점거리와는 다른 제2 초점거리인 경우에는, 상기 왜곡수차가 보정된 화상을 확대하는 화상 처리장치.
  10. 제 1항에 있어서,
    상기 제1 정보는 왜곡수차의 보정값을 포함하고, 상기 제2 정보는 상기 왜곡수차의 보정값의 시프트량을 나타내는 정보를 포함하고,
    상기 처리부는, 상기 제1 정보가 나타내는 상기 왜곡수차의 보정값을, 상기 제2 정보가 나타내는 시프트량만큼 변화시켜 새로운 왜곡수차의 보정값을 결정하고, 상기 새로운 왜곡수차의 보정값을 사용하여 상기 왜곡수차를 보정한 화상을 생성하는 화상 처리장치.
  11. 제 10항에 있어서,
    상기 처리부는, 상기 왜곡수차가 실패형의 왜곡수차를 포함하지 않는 경우에는, 상기 제1 정보가 나타내는 상기 왜곡수차의 보정값을 변화시키지 않고, 상기 왜곡수차가 상기 실패형의 왜곡수차를 포함하는 경우에는, 상기 제1 정보가 나타내는 상기 왜곡수차의 보정값을 상기 제2 정보가 나타내는 상기 시프트량만큼 변화시키는 화상 처리장치.
  12. 제 10항에 있어서,
    상기 처리부는, 상기 렌즈의 초점거리가 제1 초점거리인 경우에는, 상기 제1 정보가 나타내는 상기 왜곡수차의 보정값을 변화시키지 않고, 상기 렌즈의 초점거리가 상기 제1 초점거리와 다른 제2 초점거리인 경우에는, 상기 제1 정보가 나타내는 상기 왜곡수차의 보정값을 상기 제2 정보가 나타내는 상기 시프트량만큼 변화시키는 화상 처리장치.
  13. 제 12항에 있어서,
    상기 제2 정보가 나타내는 상기 시프트량은, 모든 상고에서, 상기 왜곡수차가 보정된 화상을 대각선 방향으로 축소하기 위한 보정값이 제거되도록, 상기 제1 정보가 나타내는 상기 왜곡수차의 보정값을 변화시키기 위한 값인 화상 처리장치.
  14. 제 1항에 있어서,
    상기 처리부는, 촬상 화상이 정지 화상일 경우에는, 상기 제2 정보를 사용하지 않고, 상기 제1 정보를 사용해서, 상기 왜곡수차가 보정된 화상을 생성하는 화상 처리장치.
  15. 제 1항에 있어서,
    상기 처리부는, 상기 취득부가 상기 제2 정보에 대응하는 정보를 취득할 수 없는 경우에는, 상기 제2 정보를 사용하지 않고, 상기 제1 정보를 사용해서 상기 왜곡수차가 보정된 화상을 생성하는 화상 처리장치.
  16. 제 15항에 있어서,
    상기 처리부는, 플래그의 정보에 근거하여, 상기 취득부가 상기 제2 정보에 대응하는 정보를 취득할 수 있는지 아닌지를 판정하는 화상 처리장치.
  17. 제 15항에 있어서,
    상기 처리부는, 상기 제2 정보를 사용하지 않고, 상기 제1 정보를 사용해서, 상기 왜곡수차가 보정된 화상을 생성시에, 소정의 통지를 행하는 화상 처리장치.
  18. 제 1항에 있어서,
    상기 취득부는, 렌즈장치를 착탈가능한 장착 기구에 장착된 렌즈장치로부터, 상기 제1 정보 및 상기 제2 정보를 취득하는 화상 처리장치.
  19. 렌즈장치를 거쳐 형성된 광학 상을 촬상해서 화상을 생성하도록 구성된 촬상부와,
    상기 촬상부에 의해 생성된 상기 화상의 왜곡수차를 보정하기 위한 보정값에 관한 제1 정보와, 상기 왜곡수차의 보정에 의해 발생되는 화각 변동을 보정하기 위한 제2 정보를 취득하도록 구성된 취득부와,
    상기 제1 정보 및 상기 제2 정보를 사용하여, 상기 왜곡수차가 보정된 화상을 생성하도록 구성된 처리부를 구비한 촬상장치.
  20. 촬상장치에 대해 착탈가능한 렌즈장치로서,
    상기 렌즈장치에 기인하는 왜곡수차를 보정하기 위한 보정값에 관한 제1 정보와, 상기 왜곡수차의 보정에 의해 발생되는 화각 변동을 보정하기 위한 제2 정보를 기억하도록 구성된 기억부와,
    상기 제1 정보 및 상기 제2 정보를 상기 촬상장치에 통신하도록 구성된 통신부를 구비한 렌즈장치.
  21. 제 20항에 있어서,
    상기 제1 정보는, 렌즈의 초점거리들 및 초점맞춤 위치의 개별 조합에 대한 정보를 포함하고,
    상기 제2 정보는, 상기 렌즈의 초점맞춤 위치에 대응하지 않고, 상기 렌즈의 초점거리들에 대응하는 정보를 포함하는 렌즈장치.
  22. 제 21항에 있어서,
    상기 렌즈의 초점거리들 각각에 대응하는 정보는, 초점거리들의 대응하는 한 개에서 실패형의 수차량이 최대가 되는 초점맞춤 위치에 근거한 정보인 렌즈장치.
  23. 제 20항에 있어서,
    상기 제1 정보는 상기 왜곡수차를 보정하기 위한 보정값을 포함하고,
    상기 제2 정보는 화상의 확대율을 포함하는 렌즈장치.
  24. 제 23항에 있어서,
    상기 렌즈장치의 초점거리가 제1 초점거리인 경우에는, 상기 제2 정보가 나타내는 상기 화상의 확대율이 1배이고,
    상기 렌즈장치의 초점거리가 상기 제1 초점거리와는 다른 제2 초점거리인 경우에는, 상기 제2 정보가 나타내는 상기 화상의 확대율이 1배보다도 큰 값인 렌즈장치.
  25. 제 24항에 있어서,
    상기 제1 초점거리는, 상기 렌즈장치에 기인하는 상기 왜곡수차가 실패형의 왜곡수차를 포함하지 않는 초점거리이고,
    상기 제2 초점거리는, 상기 렌즈장치에 기인하는 상기 왜곡수차가 상기 실패형의 왜곡수차를 포함하는 초점거리인 렌즈장치.
  26. 제 20항에 있어서,
    상기 제1 정보는 상기 왜곡수차를 보정하기 위한 보정값이고,
    상기 제2 정보는 상기 보정값의 시프트량인 렌즈장치.
  27. 제 26항에 있어서,
    상기 렌즈장치의 초점거리가 제1 초점거리인 경우에는, 상기 제2 정보가 나타내는 상기 시프트량이 0이고,
    상기 렌즈장치의 초점거리가 상기 제1 초점거리와 다른 제2 초점거리인 경우에는, 상기 제2 정보가 나타내는 상기 시프트량이 0을 제외한 값인 렌즈장치.
  28. 제 27항에 있어서,
    상기 제1 초점거리는, 상기 렌즈장치에 기인하는 상기 왜곡수차가 실패형의 왜곡수차를 포함하지 않는 초점거리이고,
    상기 제2 초점거리는, 상기 렌즈장치에 기인하는 상기 왜곡수차가 상기 실패형의 왜곡수차를 포함하는 초점거리인 렌즈장치.
  29. 제 26항에 있어서,
    상기 제2 정보가 나타내는 상기 시프트량은, 모든 상고에서, 상기 왜곡수차가 보정된 화상을 대각선 방향으로 축소시키기 위한 보정값이 제거되도록, 상기 제1 정보가 나타내는 상기 왜곡수차의 보정값을 변화시키기 위한 값인 렌즈장치.
  30. 화상 처리장치에 의해 실행되는 화상 처리방법으로서,
    렌즈에 의해 형성된 광학 상을 촬상해서 얻어진 화상의 왜곡수차를 보정하기 위한 보정값에 관한 제1 정보와, 상기 왜곡수차의 보정에 의해 발생되는 화각 변동을 보정하기 위한 제2 정보를 취득하는 단계와,
    상기 제1 정보 및 상기 제2 정보를 사용하여, 상기 왜곡수차가 보정된 화상을 생성하는 단계를 포함하는 화상 처리방법.
  31. 컴퓨터에 의해 실행될 때, 상기 컴퓨터에,
    렌즈에 의해 형성된 광학 상을 촬상해서 얻어진 화상의 왜곡수차를 보정하기 위한 보정값에 관한 제1 정보와, 상기 왜곡수차의 보정에 의해 발생되는 화각 변동을 보정하기 위한 제2 정보를 취득하게 하고,
    상기 제1 정보 및 상기 제2 정보를 사용하여, 상기 왜곡수차가 보정된 화상을 생성하게 하는 프로그램을 기억한 비일시적인 컴퓨터 판독가능한 기억매체.
KR1020190063550A 2018-06-13 2019-05-30 화상 처리장치, 화상 처리방법, 촬상장치, 및 렌즈장치 KR102531256B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2018-112753 2018-06-13
JP2018112753A JP7297412B2 (ja) 2018-06-13 2018-06-13 画像処理装置、画像処理方法、およびレンズ装置

Publications (2)

Publication Number Publication Date
KR20190141080A true KR20190141080A (ko) 2019-12-23
KR102531256B1 KR102531256B1 (ko) 2023-05-11

Family

ID=68724874

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190063550A KR102531256B1 (ko) 2018-06-13 2019-05-30 화상 처리장치, 화상 처리방법, 촬상장치, 및 렌즈장치

Country Status (5)

Country Link
US (1) US11415773B2 (ko)
JP (1) JP7297412B2 (ko)
KR (1) KR102531256B1 (ko)
CN (1) CN110602350B (ko)
DE (1) DE102019113802A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3564917B1 (en) * 2018-05-04 2020-07-01 Axis AB A method for detecting motion in a video sequence
JP7297412B2 (ja) * 2018-06-13 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびレンズ装置
EP3879811B1 (en) * 2020-03-09 2021-12-15 Axis AB Determining whether a camera is out-of-focus
WO2021195946A1 (en) * 2020-03-31 2021-10-07 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Imaging device, electrical device, method of manufacturing imaging device, and method of manufacturing electrical device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732542A (zh) * 2015-03-27 2015-06-24 安徽省道一电子科技有限公司 基于多摄像头自标定的全景车辆安全系统的图像处理方法
JP2017046105A (ja) * 2015-08-25 2017-03-02 オリンパス株式会社 デジタルカメラシステム,デジタルカメラ,交換レンズ,歪曲収差補正処理方法,歪曲収差補正処理プログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030141433A1 (en) * 2002-01-31 2003-07-31 Gordon Gary B. Solid state image sensor array for correcting curvilinear distortion of a camera lens system and method for fabricating the image sensor array
JP2004187111A (ja) 2002-12-05 2004-07-02 Nec Viewtechnology Ltd 資料提示装置
JP4940050B2 (ja) 2007-08-09 2012-05-30 キヤノン株式会社 画像データに歪曲収差補正を施す画像処理方法、プログラム、および、記録媒体
US9177368B2 (en) * 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
JP2009290863A (ja) 2008-04-28 2009-12-10 Panasonic Corp 撮像装置およびカメラボディ
US20100141852A1 (en) * 2008-12-05 2010-06-10 Robe Lighting S.R.O. Distortion Corrected Improved Beam Angle Range, Higher Output Digital Luminaire System
JP5523017B2 (ja) * 2009-08-20 2014-06-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP5656579B2 (ja) * 2009-11-30 2015-01-21 キヤノン株式会社 光学部材に起因する画質の低下を補正可能な撮像装置、撮像装置の制御方法およびプログラム
US11403739B2 (en) * 2010-04-12 2022-08-02 Adobe Inc. Methods and apparatus for retargeting and prioritized interpolation of lens profiles
US10800329B2 (en) * 2010-04-19 2020-10-13 SMR Patents S.à.r.l. Rear view mirror simulation
US8818101B1 (en) * 2012-01-03 2014-08-26 Google Inc. Apparatus and method for feature matching in distorted images
JP6047008B2 (ja) 2012-12-25 2016-12-21 キヤノン株式会社 画像処理装置およびそれを備えた撮像装置、ならびに画像処理装置の制御方法
JP6253280B2 (ja) * 2013-07-04 2017-12-27 キヤノン株式会社 撮像装置およびその制御方法
JP6472176B2 (ja) 2014-06-10 2019-02-20 キヤノン株式会社 撮像装置、像振れ補正装置、撮像装置の制御方法及び像振れ補正方法
JP5982651B2 (ja) 2014-07-16 2016-08-31 パナソニックIpマネジメント株式会社 ドラム式洗濯機
JP2016025640A (ja) 2014-07-24 2016-02-08 エイオーエフ イメージング テクノロジー リミテッド 情報処理装置、情報処理方法およびプログラム
JP6582644B2 (ja) * 2014-08-11 2019-10-02 セイコーエプソン株式会社 撮像装置、撮像表示装置、及び、車両
JP6516434B2 (ja) * 2014-10-15 2019-05-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
KR102465969B1 (ko) * 2015-06-23 2022-11-10 삼성전자주식회사 그래픽스 파이프라인을 수행하는 방법 및 장치
US9930326B2 (en) * 2015-09-09 2018-03-27 6115187 Canada, Inc. Method for designing an optimization apparatus for a camera having a lens with non-uniform parameters to be imaged as a lens with uniform parameters
JP2017098631A (ja) 2015-11-18 2017-06-01 オリンパス株式会社 画像合成処理装置
JP2017116738A (ja) * 2015-12-24 2017-06-29 キヤノン株式会社 画像補正装置、画像補正装置の制御方法及びプログラム
US10140687B1 (en) * 2016-01-27 2018-11-27 RAPC Systems, Inc. Real time wide angle video camera system with distortion correction
JP6682336B2 (ja) * 2016-04-20 2020-04-15 オリンパス株式会社 カメラシステム、及びカメラ本体
JP6701023B2 (ja) * 2016-07-29 2020-05-27 キヤノン株式会社 撮像装置、画像処理方法、画像処理システム、及び画像処理プログラム
JP6752685B2 (ja) * 2016-10-28 2020-09-09 キヤノン株式会社 撮像装置、撮像方法およびプログラム
JP6795961B2 (ja) * 2016-12-12 2020-12-02 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及び、プログラム
JP2018182679A (ja) * 2017-04-21 2018-11-15 キヤノン株式会社 歪曲収差補正方法及びそれを使用する歪曲収差補正装置及び撮像装置
KR102382865B1 (ko) * 2017-06-28 2022-04-05 삼성전자주식회사 카메라 모듈, 카메라 모듈을 포함하는 전자 장치
CN107566685B (zh) 2017-09-26 2020-10-27 联想(北京)有限公司 一种图像数据处理方法及电子设备
US10572982B2 (en) * 2017-10-04 2020-02-25 Intel Corporation Method and system of image distortion correction for images captured by using a wide-angle lens
JP7297412B2 (ja) * 2018-06-13 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびレンズ装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104732542A (zh) * 2015-03-27 2015-06-24 安徽省道一电子科技有限公司 基于多摄像头自标定的全景车辆安全系统的图像处理方法
JP2017046105A (ja) * 2015-08-25 2017-03-02 オリンパス株式会社 デジタルカメラシステム,デジタルカメラ,交換レンズ,歪曲収差補正処理方法,歪曲収差補正処理プログラム

Also Published As

Publication number Publication date
DE102019113802A1 (de) 2019-12-19
CN110602350B (zh) 2022-10-28
CN110602350A (zh) 2019-12-20
US20190384033A1 (en) 2019-12-19
JP7297412B2 (ja) 2023-06-26
US11415773B2 (en) 2022-08-16
KR102531256B1 (ko) 2023-05-11
JP2019216365A (ja) 2019-12-19

Similar Documents

Publication Publication Date Title
US9830947B2 (en) Image-capturing device
KR102531256B1 (ko) 화상 처리장치, 화상 처리방법, 촬상장치, 및 렌즈장치
US10136064B2 (en) Image processing apparatus and method of controlling image processing apparatus
JP4717748B2 (ja) カメラ本体及びそれを有するカメラシステム
JP5676988B2 (ja) 焦点調節装置
JP5923759B2 (ja) 撮像装置
JP5906427B2 (ja) 撮像装置、画像処理装置
JP7049163B2 (ja) 電子機器およびその制御方法、プログラム並びに記憶媒体
US11037277B2 (en) Image processing apparatus, imaging apparatus, lens apparatus, and image processing method
JP7169773B2 (ja) 撮像装置およびその制御方法ならびにプログラム
JP2011217311A (ja) 撮像装置および撮像装置の制御方法
JP5903658B2 (ja) 撮像装置
EP3836540B1 (en) Image processing apparatus and image capturing apparatus
JP7336754B2 (ja) 撮像装置
JP2008113466A (ja) 電子カメラ
US10277796B2 (en) Imaging control apparatus, imaging apparatus, and imaging control method
US11653094B2 (en) Imaging apparatus with shaking state information display
US20160057350A1 (en) Imaging apparatus, image processing method, and non-transitory computer-readable medium
US10951829B2 (en) Image capturing apparatus and method for controlling display
US20220353428A1 (en) Image pickup apparatus, lens apparatus, control method and apparatus, and storage medium
JP6539114B2 (ja) 撮像装置およびその制御方法、並びにプログラム
JP2023070454A (ja) 画像処理装置及び方法、及び撮像装置
JP2011180545A (ja) 撮像装置
JP2012165087A (ja) 電子カメラ
JP2013207531A (ja) 撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant