KR20100080772A - 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램 - Google Patents

화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램 Download PDF

Info

Publication number
KR20100080772A
KR20100080772A KR1020107006694A KR20107006694A KR20100080772A KR 20100080772 A KR20100080772 A KR 20100080772A KR 1020107006694 A KR1020107006694 A KR 1020107006694A KR 20107006694 A KR20107006694 A KR 20107006694A KR 20100080772 A KR20100080772 A KR 20100080772A
Authority
KR
South Korea
Prior art keywords
image
sampling
pixel
image processing
output
Prior art date
Application number
KR1020107006694A
Other languages
English (en)
Other versions
KR101373987B1 (ko
Inventor
야스히로 사와다
Original Assignee
실리콘 하이브 비.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 실리콘 하이브 비.브이. filed Critical 실리콘 하이브 비.브이.
Publication of KR20100080772A publication Critical patent/KR20100080772A/ko
Application granted granted Critical
Publication of KR101373987B1 publication Critical patent/KR101373987B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

결상 광학계에 기인하는 왜곡 수차 등의 일그러짐을, 메모리 용량이나 처리 시간을 증대시키지 않고 고정밀도로 보정 할 수 있는 화상 처리 장치, 및 화상 처리 방법, 화상 처리 프로그램을 제공하는 것을 목적으로 한다. 출력 화상에서의 소정 화소 위치에서, 왜곡 수차를 제거하도록, 입력 화상 상의 샘플링 위치를 고차식에 의해 산출하는 정점 샘플링 좌표 연산부(30)와, 출력 화상에서의 소정 화소 위치 이외의 화소 위치에서, 상기 화소의 근방에 위치하는 소정 출력 화소의 샘플링 위치로부터, 입력 화상 상의 샘플링 위치를 보간 산출하는 샘플링 좌표 보간 연산부(31)와, 정점 샘플링 좌표 연산부(30) 및 샘플링 좌표 보간 연산부(31)을 통해 산출된 샘플링 위치에서, 입력 화상의 화소값을 샘플링하는 샘플링 부(32)를 구비한다.

Description

화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND IMAGE PROCESSING PROGRAM}
본 발명은, 전자적인 촬상 광학계를 구비한 디지털 카메라 등의 화상 처리에 관한 것으로, 특히 결상 광학계의 왜곡 수차를 보정하는 기술에 관한 것이다.
종래, 디지털 카메라 등의 촬상계에 있어서, 피사체상을 촬상 소자로 유도하여 결상시키는 촬상 렌즈와, 복수의 광전 변환 소자가 매트릭스 상태로 배치되어, 렌즈를 통해 결상된 피사체상을 광전 변환하는 촬상 소자를 구비하고, 촬상 소자를 통해 입력된 화상 신호를 이용하여, 피사체상을 나타내는 출력 화상을 생성하는 화상 처리 장치 및 화상 처리 방법이 알려져 있다.
이 때, 출력 화상의 화소 위치에 대응하여, 촬상 소자를 통해 입력된 화상(즉, 입력 화상임)을 샘플링하고, 상기 샘플링 위치에서 화상의 화소 신호를 출력 화상의 화소 신호로 변환한다.
또한, 일반적으로 광학계의 렌즈에는 기하학적인 왜곡 수차(distortion)가 발현하고, 이에 따라 화상에 일그러짐이 발생하여 화상의 정밀도 및 품위를 손상시키기 때문에, 이 수차를 저감하기 위한 다양한 방법이 취해지고 있다.
예컨대, 종래 상기 왜곡 수차에 대해, 복수 장의 렌즈를 조합하여 렌즈의 정밀도를 향상 시킴으로써 렌즈의 왜곡 수차를 작게 하는 방법이 취해지고 있었지만, 렌즈의 정밀도가 높아짐에 따라 비용도 높아져, 생산성이 해치는 문제가 있다.
한편, 화상을 디지털화하여 처리하는 경우에는, 렌즈를 통해 결상하는 단계에서 수차를 엄밀하게 억제할 필요는 반드시 없고, 디지털화하여 얻을 수 있었던 상(화상 정보)에 대해서 신호 처리 함으로써, 왜곡 수차를 억제할 수 있다는 것이 알려져 있다.
예컨대, 디지털 카메라 등의 화상 처리에 있어서, 미리 왜곡 수차가 없는 이상의 화상의 화소 좌표와, 렌즈 및 이미지 센서를 통해 출력되어 왜곡 수차를 포함하여 결상한 화상의 화상 좌표와의 관계로부터, 이상 화상의 화소 좌표에 대응하는 왜곡 수차를 가지는 화상의 화소 좌표의 대응점을 구하고, 왜곡 수차를 없앨 수 있는 입력 화상에 대한 샘플링 위치의 보정값을 메모리에 기억하고, 화상 처리 마다, 왜곡 수차를 포함하여 입력한 화상에 대해, 샘플링 위치에 보정을 가해 샘플링하여, 왜곡 수차를 억제하는 방법이 알려져 있다.
더욱이, 출력 화상의 화소 마다, 왜곡 수차를 보정해야 하는, 고차식을 이용하여 입력 화상에 대한 샘플링 위치를 보정하고, 보정된 샘플링 위치에서 입력 화상을 샘플링하여, 왜곡 수차를 억제하는 방법도 있다(예컨대, 특허문헌 1, 2).
특허문헌1:일본특허공개공보2000-324339호 특허문헌2:일보특허공개공보평10-262176호
하지만, 근래 디지털 카메라 등의 화상 기기에서는, 고화질화 및 화상 사이즈의 대형화에 따라, 화소수가 증대하고 있어, 출력 화상의 전체 화소에 대해 입력 화상의 샘플링 위치의 보정값을 메모리에 저장하는 방법에 따르면, 보정값을 저장하기 위한 메모리의 용량이 증대하고 생산성을 해치는 문제가 있다.
또한, 특허문헌 1, 2와 같이, 출력 화상의 전체 화소에 대응하여 고차식을 이용하여 입력 화상의 샘플링 위치를 산출하는 방법에 따르면, 고차 계산의 연산량이 막대하게 되어, 처리 시간이 많이 소요되는 문제가 있다.
더욱이, 렌즈의 이동에 의한 줌 기능을 구비한 디지털 카메라에서는, 왜곡 수차가 렌즈의 위치에 의해 변화하기 때문에, 렌즈의 위치 또는 줌 조건에 따라 전체 화소에 대해, 왜곡 수차의 보정값을 구비하거나 고차식에서 좌표 변환하거나 한다면, 한층 더 메모리 용량이나 처리 시간의 증대로 연결되고, 더욱이 소비 전력이 증대한다는 문제가 있다.
따라서, 본 발명은 이상의 문제 등을 고려하여, 결상 광학계에 기인하는 왜곡 수차 등의 일그러짐을, 메모리 용량이나 처리 시간을 증대시키지 않고 고정밀도로 보정할 수 있는 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램을 제공하는 것을 목적으로 한다.
이러한 목적을 달성하기 위해 이루어진 청구항 제1항 기재된 발명은, 결상 광학계의 왜곡 수차를 수반하여 입력된 입력 화상으로부터, 왜곡을 경감한 출력 화상을 생성하는 화상 처리 장치에 있어서, 상기 출력 화상에서의 소정 화소 위치에서, 상기 왜곡 수차를 제거하도록, 상기 입력 화상 상의 샘플링 위치를 고차식에 의해 산출하는 고차 연산부와, 상기 출력 화상에서의 상기 소정 화소 위치 이외의 화소 위치에서, 상기 화소의 근방에 위치하는 소정 출력 화소의 샘플링 위치로부터, 상기 입력 화상 상의 샘플링 위치를 보간 산출하는 보간 연산부와, 상기 고차 연산부 및 상기 보간 연산부를 통해 산출된 샘플링 위치에서, 상기 입력 화상의 화소값을 샘플링하는 샘플링 부를 포함하는 것을 특징으로 한다.
청구항 제1항 기재의 화상 처리 장치에 의하면, 출력 화상에서의 소정 화소 위치에서, 상기 왜곡 수차를 제거하도록, 입력 화상 상의 샘플링 위치를 고차식에 의해 산출하는 고차 연산부와, 출력 화상에서의 소정 화소 위치 이외의 화소 위치에서, 상기 화소의 근방에 위치하는 소정 출력 화소의 샘플링 위치로부터, 입력 화상 상의 샘플링 위치를 보간 산출하는 보간 연산부와, 고차 연산부 및 상기 보간 연산부를 통해 산출된 샘플링 위치에서, 상기 입력 화상의 화소값을 샘플링하는 샘플링 부를 포함하고 있기 때문에, 결상 광학계에 기인하는 왜곡 수차 등의 일그러짐을, 메모리 용량이나 처리 시간을 증대시키지 않고 고정밀도로 보정 할 수 있다.
또한, 청구항 제1항 기재의 화상 처리 장치는, 청구항 제2항에 기재된 발명과 같이, 상기 보간 연산부가, 바이리니어(bilinear) 보간에 의해 상기 샘플링 위치를 산출하도록 구성 되어 있음으로써, 출력 화상에서의 소정 화소 위치 이외의 화소 위치에서, 용이하게 샘플링 위치를 산출할 수 있어, 출력 화소의 전체 화소 위치에 대해서 입력 화상의 샘플링 위치를 고차식으로 산출하는 것보다, 처리 시간이 빠르고 연산을 위한 소비 전력을 줄일 수 있다.
또한, 청구항 제1항 기재의 화상 처리 장치는, 청구항 제3항에 기재된 발명과 같이, 상기 보간 연산부가, 바이큐빅(bicubic) 보간(소위, 3차 보간임)에 의해 상기 샘플링 위치를 산출하도록 구성 되어 있음으로써, 출력 화상에서의 소정 화소 위치 이외의 화소 위치에서, 샘플링 위치를 우수한 정밀도로서 산출할 수 있다.
또한, 청구항 제1항 내지 청구항 제3항 중 어느 한 항에 기재된 화상 처리 장치는, 청구항 제4항에 기재된 발명과 같이, 상기 소정 출력 화소의 수가, 상기 출력 화상의 전체 화소의 수보다 적은 수(단, 제로를 포함하지 않는 것으로 함)로 함으로써, 고차식으로 산출하는 샘플링 위치가 출력 화상의 전체 화소의 수보다 적게 되기 때문에, 고차식에 의한 연산량을 저감할 수 있다.
또한, 청구항 제1항 내지 청구항 제4항 중 어느 한 항에 기재된 화상 처리 장치는, 청구항 제5항에 기재된 발명과 같이, 상기 고차식이 3차 이상으로 구성 되어 있으므로, 국부적인 일그러짐이 없고 매끄러운 출력 화상을 얻을 수 있다.
또한, 청구항 제1항 내지 청구항 제5항 중 어느 한 한에 기재된 화상 처리 장치는, 청구항 제6항에 기재된 발명과 같이, 상기 결상 광학계가, 렌즈를 통해 피사체상을 이미지 센서에 결상 시키도록 구성되고, 상기 고차식 또는 그 계수가, 상기 이미지 센서에 부착하는 상기 결상 광학계와 관련되어 있는 것에 의해, 결상 광학계의 왜곡 수차를 보정하여 우수한 정밀도의 소정 출력 화상을 얻을 수 있다.
또한, 청구항 제6항에 기재된 화상 처리 장치는, 청구항 제7항에 기재된 발명과 같이, 상기 고차식 또는 그 계수가, 상기 이미지 센서에 부착하는 결상 광학계의 변경에 따라 변화 하도록 구비되어 있는 것에 의해, 결상 광학계의 변경에 의한 왜곡 수차의 변화를 제거하고, 우수한 정밀도의 왜곡 수차를 보정 할 수 있다.
또한, 청구항 제6항 또는 청구항 제7항에 기재된 화상 처리 장치는, 청구항 제8항에 기재된 발명과 같이, 상기 피사체와 상기 이미지 센서를 연결하는 광축 상에서의 상기 렌즈의 위치에 따라, 상기 고차식 또는 그 계수를 변경하는 고차식 변경수단을 구비하는 것에 의해, 렌즈의 위치 변화에 의한 왜곡 수차의 변화를 제거하고, 우수한 정밀도로 왜곡 수차를 보정 할 수 있다.
또한, 청구항 제1항 내지 청구항 제8항 중 어느 한 항에 기재된 화상 처리 장치는, 청구항 제9항에 기재된 발명과 같이, 상기 고차식의 계수를 기억하는 기억 수단을 구비하는 것에 의해, 작업자가 화상 처리 마다 고차식을 화상 처리 장치에 입력하지 않고 조작성을 양호하게 할 수 있다.
또한, 청구항 제9항에 기재된 화상 처리 장치는, 청구항 제10항에 기재된 발명과 같이, 상기 기억 수단에는, 상기 고차식의 계수가 상기 렌즈의 소정 위치에 대응되어 기억되고, 상기 렌즈의 소정 위치 이외의 위치에서, 상기 기억 수단에 기억된 상기 고차식의 계수로부터, 상기 고차식의 계수를 보간하여 생성하는 계수 보간 생성 수단을 구비하는 것에 의해, 렌즈 위치의 이동 위치에 대응되어 고차식의 계수를 얻을 수 있고, 또한 이동 위치의 전반에 대응되어 계수를 기억하는 것보다, 메모리의 용량을 저감 할 수 있다.
다음으로, 청구항 제11항에 기재된 발명은, 결상 광학계의 왜곡 수차를 수반하여 입력된 입력 화상으로부터, 왜곡을 경감한 출력 화상을 생성하는 화상 처리 방법에 있어서, 상기 출력 화상에서의 소정 화소 위치에서, 상기 왜곡 수차를 제거하도록, 상기 입력 화상 상의 샘플링 위치를 고차식에 의해 산출하는 고차 연산 단계와, 상기 출력 화상에서의 상기 소정 화소 위치 이외의 화소 위치에서, 상기 화소의 근방에 위치하는 소정 출력 화소의 샘플링 위치로부터, 상기 입력 화상 상의 샘플링 위치를 보간 산출하는 보간 연산 단계와, 상기 고차 연산 단계 및 상기 보간 연산 단계를 통해 연산한 샘플링 위치에서, 상기 입력 화상의 화소값을 샘플링하는 샘플링 단계를 이용하는 것을 특징으로 한다.
청구항 제11항에 기재된 발명에 의하면, 출력 화상에서의 소정 화소 위치에서, 왜곡 수차를 제거하도록, 입력 화상 상의 샘플링 위치를 고차식에 의해 산출하는 고차 연산 단계와, 출력 화상에서의 소정 화소 위치 이외의 화소 위치에서, 화소의 근방에 위치하는 소정 출력 화소의 샘플링 위치로부터, 입력 화상 상의 샘플링 위치를 보간 산출하는 보간 연산 단계와, 고차 연산 단계 및 보간 연산 단계를 통해 산출된 샘플링 위치에서, 입력 화상의 화소값을 샘플링하는 샘플링 단계를 이용하기 때문에, 청구항 제1항에 기재된 발명과 동일한 양태로, 결상 광학계에 기인하는 왜곡 수차 등의 일그러짐을, 메모리 용량이나 처리 시간을 증대시키지 않고 고정밀도로 보정 할 수 있다.
또한, 청구항 제11항에 기재된 화상 처리 방법은, 청구항 제12항에 기재된 발명과 같이, 상기 보간 연산 단계에서는, 바이리니어 보간에 의해, 상기 샘플링 위치를 산출 함으로써, 청구항 제2항에 기재된 발명과 같이, 출력 화상에서의 소정 화소 위치 이외의 화소 위치에서, 용이하게 샘플링 위치를 산출할 수 있고, 출력 화소의 전체 화소 위치에 대해서 입력 화상의 샘플링 위치를 고차식으로 산출하는 것보다, 처리 시간이 빠르고 연산을 위한 소비 전력을 줄일 수 있다.
또한, 청구항 제11항에 기재된 화상 처리 방법은, 청구항 제13항에 기재된 발명과 같이, 상기 보간 연산 단계와, 바이큐빅 보간에 의해 상기 샘플링 위치를 산출 함으로써, 청구항 제3항에 기재된 발명과 같이, 출력 화상에서의 소정 화소 위치 이외의 화소 위치에서, 샘플링 위치를 우수한 정밀도로 산출할 수 있다.
또한, 청구항 제11항 내지 청구항 제13항 중 어느 한 항에 기재된 화상 처리 방법은, 청구항 제14항에 기재된 발명과 같이, 상기 소정의 출력 화소의 수가, 상기 출력 화상의 전체 화소의 수보다 적은 수(단, 제로를 포함하지 않는 것으로 함)인 것으로, 청구항 제4항에 기재된 발명과 같이, 고차식으로 산출하는 샘플링 위치가 출력 화상의 전체 화소의 수보다 적게 되기 때문에, 고차식에 의한 연산량을 저감할 수 있다.
또한, 청구항 제11항 내지 청구항 제14항 중 어느 한 항에 기재된 화상 처리 방법은, 청구항 제15항에 기재된 발명과 같이, 상기 고차식으로서 3차 이상의 것을 이용 함으로써, 청구항 제5항에 기재된 발명과 같이, 국부적인 일그러짐이 없고 매끄러운 출력 화상을 얻을 수 있다.
또한, 청구항 제11항 내지 청구항 제15항 중 어느 한 항에 기재된 화상 처리 방법은, 청구항 제16항에 기재된 발명과 같이, 상기 결상 광학계에는, 렌즈를 통해 피사체상을 이미지 센서에 결상 시키는 것이 이용되고, 상기 고차식 또는 그 계수가, 상기 이미지 센서에 부착하는 상기 결상 광학계에 관련되어 있음으로써, 청구항 제6항에 기재된 발명과 같이, 결상 광학계의 왜곡 수차를 보정하고 우수한 정밀도로 소정 출력 화상을 얻을 수 있다.
또한, 청구항 제16항에 기재된 화상 처리 방법은, 청구항 제17항에 기재된 발명과 같이, 상기 고차식 또는 그 계수를, 상기 이미지 센서에 부착하는 결상 광학계의 변경에 따라 변경 함으로써, 청구항 제7항에 기재된 발명과 같이, 결상 광학계의 변경에 의한 왜곡 수차의 변화를 제거하고, 우수한 정밀도로 왜곡 수차를 보정 할 수 있다.
또한, 청구항 제16항 또는 청구항 제17항에 기재된 화상 처리 방법은, 청구항 제18항에 기재된 발명과 같이, 상기 피사체와 상기 이미지 센서를 연결하는 광축 상에서의 상기 렌즈의 위치에 따라, 상기 고차식 또는 그 계수를 변경 함으로써, 청구항 제8항에 기재된 발명과 같이, 렌즈의 위치의 변화에 의한 왜곡 수차의 변화를 제거하고, 우수한 정밀도로 왜곡 수차를 보정 할 수 있다.
또한, 청구항 제11항 내지 청구항 제18항 중 어느 한 항에 기재된 화상 처리 방법은, 청구항 제19항에 기재된 발명과 같이, 기억 수단을 이용하여 상기 고차식의 계수를 기억 함으로써, 청구항 제9항에 기재된 발명과 같이, 작업자가 화상 처리 마다 고차식을 화상 처리 장치에 입력 하지 않고 조작성을 양호하게 할 수 있다.
또한, 청구항 제19항에 기재된 화상 처리 방법은, 청구항 제20항에 기재된 발명과 같이, 상기 렌즈의 소정 위치에 대응되어 상기 고차식의 계수를 상기 기억 수단에 기억하고, 상기 렌즈의 소정 위치 이외의 위치에서, 상기 기억 수단에 기억 된 상기 고차식의 계수로부터, 상기 고차식의 계수를 보간하여 생성하는 계수 보간 생성 단계를 이용 함으로써, 청구항 제10항에 기재된 발명과 같이, 렌즈 위치의 이동 위치에 대응되어 고차식의 계수를 얻을 수 있고, 또한 이동 위치의 전부에 대응되어 계수를 기억하는 것보다, 메모리의 용량을 저감 할 수 있다.
다음으로, 청구항 제21항에 기재된 발명은, 결상 광학계의 왜곡 수차를 수반하여 입력된 입력 화상으로부터, 왜곡을 경감한 출력 화상을 생성하는 화상 처리 프로그램에 있어서, 상기 출력 화상에서의 소정 화소 위치에서, 상기 왜곡 수차를 제거하도록, 상기 입력 화상 상의 샘플링 위치를 고차식에 의해 산출하는 고차 연산 단계와, 상기 출력 화상에서의 상기 소정 화소 위치 이외의 화소 위치에서, 상기 화소의 근방에 위치하는 소정 출력 화소의 샘플링 위치로부터, 상기 입력 화상 상의 샘플링 위치를 보간 산출하는 보간 연산 단계와, 상기 고차 연산 단계 및 상기 보간 연산 단계를 통해 연산된 샘플링 위치에서, 상기 입력 화상의 화소값을 샘플링하는 샘플링 단계를 컴퓨터로 실행시키는 것을 특징으로 한다.
청구항 제21항에 기재된 화상 처리 프로그램에 의하면, 출력 화상에서의 소정 화소 위치에서, 왜곡 수차를 제거하도록, 입력 화상 상의 샘플링 위치를 고차식에 의해 산출하는 고차 연산 단계와, 출력 화상에서의 소정 화소 위치 이외의 화소 위치에서, 상기 화소의 근방에 위치하는 소정 출력 화소의 샘플링 위치로부터, 입력 화상 상의 샘플링 위치를 보간 산출하는 보간 연산 단계와, 고차 연산 단계 및 보간 연산 단계를 통해 연산된 샘플링 위치에서, 입력 화상의 화소값을 샘플링하는 샘플링 단계를 컴퓨터로 실행 시킴으로써, 청구항 제1항에 기재된 발명과 같이, 결상 광학계에 기인하는 왜곡 수차 등의 일그러짐을, 메모리 용량이나 처리 시간을 증대시키지 않고 고정밀도로 보정 할 수 있다.
또한, 청구항 제21항에 기재된 화상 처리 프로그램은, 청구항 제22항에 기재된 발명과 같이, 상기 보간 연산 단계에서는, 바이리니어 보간에 의해 상기 샘플링 위치를 연산하도록, 컴퓨터로 실행 시킴으로써, 청구항 제2항에 기재된 발명과 같이, 출력 화상에서의 소정 화소 위치 이외의 화소 위치에서, 용이하게 샘플링 위치를 산출할 수 있고, 출력 화소의 전체 화소 위치에 대해 입력 화상의 샘플링 위치를 고차식으로 산출하는 것보다, 처리 시간이 빠르고 연산을 위한 소비 전력을 줄일 수 있다.
또한, 청구항 제21항에 기재된 화상 처리 프로그램은, 청구항 제23항에 기재된 발명과 같이, 상기 보간 연산 단계에서는, 바이큐빅 보간에 의해 상기 샘플링 위치를 산출하도록, 컴퓨터로 실행 시킴으로써, 청구항 제3항에 기재된 발명과 같이, 출력 화상에서의 소정 화소 위치 이외의 화소 위치에서, 샘플링 위치를 우수한 정밀도로 산출할 수 있다.
또한, 청구항 제21항 내지 청구항 제23항 중 어느 한 항에 기재된 화상 처리 프로그램은, 청구항 제24항에 기재된 발명과 같이, 상기 소정 출력 화소의 수가, 상기 출력 화상의 전체 화소의 수보다 적은 수(단, 제로를 포함하지 않는 것으로 함)가 되도록, 컴퓨터로 실행 시킴으로써, 청구항 제4항에 기재된 발명과 같이, 고차식으로 산출하는 샘플링 위치가 출력 화상의 전체 화소의 수보다 적게 되기 때문에, 고차식에 의한 연산량을 저감 할 수 있다.
또한, 청구항 제21항 내지 청구항 제24항 중 어느 한 항에 기재된 화상 처리 프로그램은, 청구항 제25항에 기재된 발명과 같이, 상기 고차식으로서 3차 이상의 것을 이용하도록, 컴퓨터로 실행 시킴으로써, 청구항 제5항에 기재된 발명과 같이, 국부적인 일그러짐이 없고 매끄러운 출력 화상을 얻을 수 있다.
또한, 청구항 제21항 내지 청구항 제25항 중 어느 한 항에 기재된 화상 처리 프로그램은, 청구항 제26항에 기재된 발명과 같이, 상기 결상 광학계에는, 렌즈를 통해 피사체상을 이미지 센서에 결상 시키는 것이 이용되고, 상기 고차식 또는 그 계수를, 상기 이미지 센서에 부착하는 상기 결상 광학계에 관련되도록, 컴퓨터로 실행 시킴으로써, 청구항 제6항에 기재된 발명과 같이, 결상 광학계의 왜곡 수차를 보정하고 우수한 정밀도로 소정의 출력 화상을 얻을 수 있다.
또한, 청구항 제26항에 기재된 화상 처리 프로그램은, 청구항 제27항에 기재된 발명과 같이, 상기 고차식 또는 그 계수를, 상기 이미지 센서에 부착하는 결상 광학계의 변경에 따라 변경하도록, 컴퓨터로 실행 시킴으로써, 청구항 제7항에 기재된 발명과 같이, 결상 광학계의 변경에 의한 왜곡 수차의 변화를 제거하고, 우수한 정밀도로 왜곡 수차를 보정 할 수 있다.
또한, 청구항 제26항 또는 청구항 제27항에 기재된 화상 처리 프로그램은, 청구항 제28항에 기재된 발명과 같이, 상기 피사체와 상기 이미지 센서를 연결하는 광축 상에서의 상기 렌즈의 위치에 따라, 상기 고차식 또는 그 계수를 변경 하도록, 컴퓨터로 실행 시킴으로써, 청구항 제8항에 기재된 발명과 같이, 렌즈의 위치의 변화에 의한 왜곡 수차의 변화를 제거하고, 우수한 정밀도로 왜곡 수차를 보정 할 수 있다.
또한, 청구항 제21항 내지 청구항 제28항 중 어느 한 항에 기재된 화상 처리 프로그램은, 청구항 제29항에 기재된 발명과 같이, 기억 수단에 상기 고차식의 계수를 기억 하도록, 컴퓨터로 실행 시킴으로써, 청구항 제9항에 기재된 발명과 같이, 작업자가 화상 처리 마다 고차식을 화상 처리 장치에 입력 하지 않고 조작성을 양호하게 할 수 있다.
또한, 청구항 제29항에 기재된 화상 처리 방법은, 청구항 제30항에 기재된 발명과 같이, 상기 렌즈의 소정 위치에 대응되어 상기 고차식의 계수를 상기 기억 수단에 기억하는 기억 단계와, 상기 렌즈의 소정 위치 이외의 위치에서, 상기 기억 수단에 기억된 상기 고차식의 계수로부터, 상기 고차식의 계수를 보간하여 생성하는 계수 보간 생성 단계를 컴퓨터로 실행 시킴으로써 청구항 제10에 기재된 발명과 같이, 렌즈 위치의 이동 위치에 대응되어 고차식의 계수를 얻을 수 있고, 또한 이동 위치의 전부에 대응되어 계수를 기억하는 것보다, 메모리의 용량을 저감 할 수 있다.
본 발명의 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램은, 출력 화상에서의 소정 화소 위치에서, 왜곡 수차를 제거하도록, 입력 화상 상의 샘플링 위치를 고차식에 의해서 산출하고, 출력 화상에서의 소정 화소 위치 이외의 화소 위치에서, 상기 화소의 근방에 위치하는 소정 출력 화소의 샘플링 위치로부터, 입력 화상 상의 샘플링 위치를 보간 산출하며, 고차 연산 및 보간 연산을 통해 산출된 샘플링 위치에서, 상기 입력 화상의 화소값을 샘플링하기 때문에, 결상 광학계에 기인하는 왜곡 수차 등의 일그러짐을, 메모리 용량이나 처리 시간을 증대시키지 않고 고정밀도로 보정 할 수 있다.
또한, 본 발명의 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램은, 보간 연산 시에 바이리니어 보간으로 샘플링 위치를 산출하기 때문에, 출력 화상에서의 소정 화소 위치 이외의 화소 위치에서, 용이하게 샘플링 위치를 산출할 수 있고, 출력 화소의 전체 화소 위치에 대해 입력 화상의 샘플링 위치를 고차식으로 산출하는 것보다 처리 시간이 빠르고 연산을 위한 소비 전력을 줄일 수 있다.
또한, 본 발명의 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램은, 보간 연산 시에 바이큐빅 보간(소위, 3차 보간임)으로 샘플링 위치를 산출하기 때문에, 출력 화상에서의 소정 화소 위치 이외의 화소 위치에서, 샘플링 위치를 우수한 정밀도로 산출할 수 있다.
또한, 본 발명의 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램은, 소정의 출력 화소의 수를, 출력 화상의 전체 화소의 수보다 적은 수(단, 제로를 포함하지 않는 것으로 함)로서 하기 때문에, 고차식에 의한 연산량을 저감 할 수 있고, 또한 고차식을 3차 이상으로 구성 하고 있기 때문에, 국부적인 일그러짐이 없고 매끄러운 출력 화상을 얻을 수 있다.
또한, 본 발명의 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램은, 결상 광학계가 렌즈를 통해 피사체상을 이미지 센서에 결상 시키도록 구성되고, 고차식 또는 그 계수가 이미지 센서에 부착하는 결상 광학계에 관련되어 있기 때문에, 결상 광학계의 왜곡 수차를 보정하고 우수한 정밀도로 소정의 출력 화상을 얻을 수 있다.
또한, 본 발명의 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램은, 고차식 또는 그 계수가, 이미지 센서에 부착하는 결상 광학계의 변경에 따라 변화 하도록 구비되어 있음으로써, 결상 광학계의 변경에 의한 왜곡 수차의 변화를 제거하고, 우수한 정밀도로 왜곡 수차를 보정 할 수 있고, 렌즈의 위치에 따라, 고차식 또는 그 계수를 변경 할 수 있기 때문에, 렌즈의 위치의 변화에 의한 왜곡 수차의 변화를 제거하고, 우수한 정밀도로 왜곡 수차를 보정 할 수 있다.
또한, 본 발명의 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램은, 상기 고차식을 기억 함으로써, 작업자가 화상 처리 마다 고차식을 화상 처리 장치에 입력하지 않고 조작성을 양호하게 할 수 있고, 또한 고차식의 계수가 상기 렌즈의 소정 위치에 대응되어 기억되고, 렌즈의 소정 위치 이외의 위치에서, 기억 수단에 기억된 고차식의 계수로부터, 고차식의 계수를 보간하여 생성 할 수 있기 때문에, 렌즈 위치의 이동 위치에 대응되어 고차식의 계수를 얻을 수 있고, 또한 이동 위치의 전부에 대응되어 계수를 기억하는 것보다, 메모리의 용량을 저감 할 수 있다.
도 1은 본 발명의 제1 실시 형태에서의, 촬상 장치의 구성을 나타낸 블록도 이다.
도 2(a)는 제1 실시 형태에서의, 출력 화상의 블록 분할예를 나타낸 도이고, 도 2(b)는 제1 실시 형태의 출력 화상에서의 원점 좌표 설정의 설명도이다.
도 3은 제1 실시 형태에서의, 색 평면 분해부와, 색 생성부의 기능 설명도이고, (a)는 촬상 광학계로부터 출력되는 베이어 배열(Bayer array)의 색 모자이크 화상을 나타낸 도이고, (b)(c)(d)는 각각 색 평면 분해부에서 생성된 R평면, G평면, B평면의 배치를 나타낸 도이고, (e)는 샘플링 좌표에서의 화소값을 보간 산출할 때의 설명도이다.
도 4는 제1 실시 형태에서의, 왜곡 수차의 보정의 개념을 설명하는 도이고, (a)는 촬상 광학계로부터 출력하여 왜곡 수차를 포함한 화상을 나타낸 도이고, (b)는 왜곡 수차를 보정하여 출력되는 출력 화상을 나타낸 도이다.
도 5는 제1 실시 형태에서의 화상 처리 및 화상 처리 프로그램에서의 순서를 나타낸 도이다.
도 6은 본 발명의 제2 실시 형태에서의, 촬상 장치의 구성을 나타낸 블록도 이다.
도 7은 제2 실시 형태의 화상 처리에서의, 출력 화상의 정점 좌표 설정 및 uv 좌표계의 설명도이다.
도 8은 제2 실시 형태의 화상 처리에서의, 수차 계수의 테이블 설정예를 나타낸 도이다.
도 9는 제2 실시 형태에서의, 색 평면 분해부와, 색 생성부의 기능 설명도이고, (a)는 촬상 광학계로부터 출력되는 베이어 배열의 색 모자이크 화상을 나타낸 도이고, (b)(c)(d)(e)는 각각 색 평면 분해부에서 생성된 R평면, Gr평면, Gb평면, B평면의 배치를 나타낸 도이고, (f)는 샘플링 좌표에서 화소값을 보간 산출할 때의 설명도이다.
도 10은 제2 실시 형태에서의 화상 처리 및 화상 처리 프로그램에서의 순서를 나타낸 도이다.
(제1 실시 형태)
다음으로, 본 발명의 화상 처리 장치, 및 화상 처리 방법, 화상 처리 프로그램의 제1 실시 형태를 도면에 근거하여 설명한다.
도 1은 본 발명의 화상 처리 장치, 및 화상 처리 방법, 화상 처리 프로그램이 적용된 일실시예의, 촬상 장치(1)의 구성을 나타낸 블록도이다. 도 2(a)는 동 실시예의 화상 처리에서의, 출력 화상의 블록 분할예를 나타낸 도이고, 도 2(b)는 동 실시예의 출력 화상에서의 원점 좌표 설정의 설명도이다.
도 3은 동 실시예에서의 색 평면 분해부와, 색 생성부의 기능 설명도이고, (a)는 촬상 광학계(2)로부터 출력되는 베이어 배열의 색 모자이크 화상을 나타낸 도면이고, (b)(c)(d)는 각각 색 평면 분해부에서 생성된 R평면, G평면, B평면의 배치를 나타낸 도면이며, (e)는 샘플링 좌표에서의 화소값을 보간 산출할 때의 설명도이다.
도 4는 본 실시예에 있어 왜곡 수차의 보정의 개념을 설명하는 도면이고, (a)는 촬상 광학계로부터 출력하여 왜곡 수차를 포함한 화상을 나타낸 도면이고, (b)는 왜곡 수차를 보정하여 출력되는 출력 화상을 나타낸 도이다. 도 5는 동 실시예에서의 화상 처리, 및 화상 처리 프로그램에서의 순서를 나타낸 도면이다.
도 1에 도시한 바와 같이, 촬상 장치(1)은, 피사체상을 촬상 소자(5)로 유도하는 디지털 화상 신호 C(모자이크 상의 화상 신호이다)로서 출력하는 촬상 광학계(2)와, 촬상 광학계(2)를 통해 출력된 디지털 화상 신호 C에 기초하여, 촬상 광학계(2)에 의존하는 왜곡 수차를 보정 함과 동시에 화소 마다 복수의 색 정보를 구비한 컬러 화상을 생성하는 화상 처리 장치(100)에 의해서 구성 되고 있다.
촬상 광학계(2)에는, 피사체상 P를 촬상 소자(5)로 유도하는 촬상 렌즈(3), 수광한 촬상광을 전기량으로 변환하여 출력하는 촬상 소자(CCD : Charge Coupled Devices, 5), 촬상 소자(5)로부터 출력되는 아날로그 화상 신호를 디지털 화상 신호 C로 변환하여 출력하는 AFE(Analog Front End, 6), 촬상 소자(5) 및 AFE(6)를 소정의 주기로 제어하는 TG(Timing Generator, 13), 촬상 렌즈(3)의 광축 방향(z 방향)의 슬라이드 구동을 실시하는 렌즈 구동부(12), 센서(11)를 통해 촬상 렌즈(3)의 슬라이드 양을 검출하는 검출부(10) 등이 구비되고 있다. 아울러 본 발명에서의 이미지 센서는, 촬상 소자(5)에 의해 그 기능이 발현된다.
촬상 소자(5)는 복수의 광전 변환 소자가 매트릭스 상태로 병설되어 구성 되고, 각각의 광전 변환 소자 마다 촬상 신호를 광전 변환하여 아날로그 화상 신호를 출력하도록 구성 되고 있다.
또한, 촬상 소자(5)는 광전 변환 소자에 대응되어 R(빨강) G(초록) B(파랑) 3색의 베이어(Bayer) 배열로 구성되는 컬러 필터(5a)를 구비하고, 각 색 필터부를 통과한 광량을 전기 신호로 변환한다.
AFE(6)는 촬상 소자(5)를 통해 출력된 아날로그 화상 신호에 대해 노이즈를 제거하는 상관 이중 샘플링 회로(CDS : Correlated Double Sampling, 7), 상관 이중 샘플링 회로(7)에서 상관 이중 샘플링된 화상 신호를 증폭하는 가변 이득증폭기(AGC : Automatic Gain Control, 8), 가변 이득증폭기(8)를 통해 입력된 촬상 소자(5)로부터의 아날로그 화상 신호를 디지털 화상 신호로 변환하는 A/D 변환기(9) 등에 의해 구성되고, 촬상 소자(5)로부터 출력된 화상 신호를, 소정의 샘플링 주파수에서 디지털 화상 신호 C로 변환하여 화상 처리 장치(100)에 출력한다.
또한, 촬상 광학계(2)에서, 촬상 소자(5), 상관 이중 샘플링 회로(7), 가변 이득증폭기(8), A/D 변환기(9) 등에 대신하여, CMOS(Complementary Metal Oxide Semiconductor) 센서를 이용하여도 무방하다. 촬상 소자(5)로부터 출력되는 화소 마다의 신호가 단일의 색 정보 밖에 갖지 않기 때문에, 촬상 광학계(2)로부터 화상 처리 장치(100)에, 모자이크 상태의 화상 신호가 출력된다.
일반적으로, 촬상 소자(5)에 결상된 피사체상에는 촬상 렌즈(3) 고유의 왜곡 수차에 의한 일그러짐이 발생한다. 여기서, 화상 처리 장치(100)는, 입력 화상의 왜곡을 수정하여 왜곡이 없는 출력 화상을 생성하도록 구성되고 있다.
상세하게, 화상 처리 장치(100)는, 촬상 광학계(2)로부터 출력된 모자이크 화상을, R, G, B의 화소 마다 분리하는 색 평면 분해부(21), 색 평면 분해부(21)로부터 출력된 화소 신호와 블록 주사부(25)로부터 출력된 신호에 기초하여 R, G, B의 화소 마다 샘플링 좌표를 설정하는 샘플링 좌표 설정부(29), 샘플링 좌표 설정부(29)에서 설정된 샘플링 좌표에 근거하여, R, G, B의 화소 마다의 화소값을 샘플링하는 샘플링 부(32), 샘플링 부(32)를 통해 얻어진 R, G, B의 화소 마다의 화소값을 합성하여 화소 마다 복수의 색 성분을 구비한 색 데이터를 생성하는 색 생성부(33) 등을 구비하고 있다. 아울러, 본 발명에서의 결상 광학계는, 촬상 광학계(2)에 의해 그 기능이 발현된다.
더불어, 화상 처리 장치(100)는, 색 생성부(33)로부터 출력된 컬러 화상 신호에 대해 색 화상의 외관을 보기 좋게 하기 위해 공지의 감마 보정이나 채도 보정, 에지 강조를 실시하는 시각 보정부(34), 시각 보정부(34)를 통해 출력된 컬러 화상을, 예컨대 JPEG 등의 방법으로 압축하는 압축부(35), 압축부(35)를 통해 출력된 컬러 화상을, 예컨대 플래시 메모리 등의 기록 매체에 기록하는 기록부(36), CPU(Central Processing Unit, 18), ROM(Read Only Memory, 19) 등에 의해서 구성되고, CPU(18)가 ROM(19)에 저장된 제어용 프로그램에 따라, 해당 촬상 장치(1), 및 화상 처리 장치(100)의 각 처리를 제어한다.
색 평면 분해부(21)는, 도 1, 도 3에 도시한 바와 같이, 베이어 배열에 대응되어 있고, R의 화소 신호를 기억하는 R필드 메모리(22)와, G의 화소 신호를 기억하는 G필드 메모리(23)과, B의 화소 신호를 기억하는 B필드 메모리(24)에 의해 구성되고, CPU(18)로부터의 명령에 기초하여, 이러한 화소 신호(이하, 화소값이라 함)를 샘플링 부(32)로 출력한다.
블록 주사부(25)는 해당 화상 처리 장치(100)을 통해 출력하는 출력 컬러 화상을 복수의 블록에 분할하는 블록 분할부(26), 블록 분할부(26)에서 형성된 블록의 정점 좌표를 설정하는 정점 좌표 설정부(27), 블록 내에서의 출력 컬러 화상의 화소 위치를 주사하여 그 좌표를 구하는 화소 주사부(28) 등에 의해서 구성 되고, 정점 좌표 설정부(27)에서 산출된 정점 좌표 및 화소 주사부(28)에서 구한 화소 좌표를 샘플링 좌표 설정부(29)로 출력한다.
출력 컬러 화상의 사이즈나 블록 분할 형상, 화소 위치 등은, 미리 사용자에 의해 설정되고, 이들을 나타내는 파라미터가 ROM(19)에 저장되고 있다.
도 2(a)에 도시한 바와 같이, 블록 분할부(26)에서는, 모든 블록이 삼각형이 되도록 화상 범위가 분할되고, 한편 각 블록이 간격 없이 밀접하고 있다. 이 때, 블록의 사이즈를 작게 하면 왜곡 보정 정밀도가 향상되지만 그 연산량이 증가하고, 반면 블록의 사이즈를 크게 하면 왜곡 보정의 연산량이 적게 되지만 보정 정밀도가 저하 한다.
본 발명자의 연구에 의하면, 양호한 보정 결과를 얻기 위해, 가장 작은 블록의 한 변의 길이를 화상폭(L)에 대해 1/10 이하로 하는 것이 바람직하고, 또한 화상 중앙으로부터 네 모서리로 향해, 왜곡 수차가 커지기 때문에 블록을 작게 하는 것이 바람직하다. 다만, 블록을 과잉하여 작게 하면 블록 수가 증가하고 연산량이 증가하기 때문에, 원하는 바에 따라 블록 수를, 예컨대 1000 이하로 하도록 설정하는 것이 바람직하다.
다음으로, 정점 좌표 설정부(27)는 삼각형의 출력 컬러 화상 상의 3개의 정점(예컨대 P1, P2, P3)의 좌표(udn, vdn)를 산출하고, 다음으로 정점 좌표에 대응하는 색 모자이크 화상 상의 샘플링 좌표(usn, vsn)를, 왜곡 수차의 영향을 제거하도록, 이하의 방법으로 산출한다.
우선, 도 4(a)(b)에 도시한 바와 같이, 화소 위치에 대응되고 있는 좌표계를 uv계로 나타내고, 보정 계산에서 이용하는 편의상의 좌표계를 xy로 나타낸다. 또한, 첨자 s는 색 모자이크 화상 상에서의 좌표를 나타내고, 첨자 d는 출력 컬러 화상 상에서의 좌표를 나타낸다.
다음으로, 도 2(b)에 도시한 바와 같이, 출력 컬러 화상의 좌표계로서, 화상 중심을 원점으로서 최대의 상 높이를 1, 화면 좌우 방향을 x로서 화면상하방향을 y로 한다. 또한, 컬러 화상을, 좌우 방향으로 640개, 상하 방향으로 480개의 화소가 등간격으로 배치되는 것으로 한다.
그리고, uv계 좌표에서, 화소 좌표(u, v)를 좌상으로부터 우방향으로 (0, 0), (1, 0), (2, 0) … (639, 0), 다음의 행을 좌상으로부터 우방향으로 (0, 1), (1, 1), (2, 1) … (0, 479)로 할당하고, 화소 좌표 (319.5, 239.5)를 xy계 좌표의 원점으로 한다.
다음으로, uv계 좌표에서의 원점으로부터의 대각 길이를 Fd로 나타내면, Fd가 xy계 좌표의 최대 상 높이가 되도록, Fd = [√(6402 + 4802)]/2의 식에 의해, Fd = 400을 얻는다.
다음으로, 상기 식에서, 구해진 uv 좌표계의 대각 길이 Fd가 xy 좌표계의 최대 상 높이 1에 대응하는 것으로서, uv계 좌표(udn, vdn)에 대응하는 xy계 좌표(xdn, ydn)를, xdn = (udn - 319.5)/400, ydn =(vdn - 239.5)/400의 식에 의해 산출한다.
다음으로, 상기 식에서, 구해진 xy계 좌표(xdn, ydn)에 대해, 왜곡 수차 보정을 고려한 좌표변환을 실시한다.
상세하게는, 왜곡 수차 보정 후의 좌표를 (xsn, ysn)으로 나타내면, xsn = xdn(1 + k1r2 + k2r4)의 고차식으로 산출하고, ysn = ydn(1 + k1r2 + k2r4)의 고차식으로 산출한다.
또한, r2는 r2 ≡ xdn 2 + ydn 2의 식에 의해 산출한다. 또한, k1, k2는, 촬상 광학계에서의 왜곡 수차에 의존하여 설정되는 계수이고, k1은 3차 수차 계수, k2는 5차 수차 계수에 대응한다. 또한, 본 발명에서의 고차 연산부는, 정점 좌표 설정부(27)에 의해서 그 기능이 발현된다.
또한, 색 모자이크 화상이 1600 * 1200의 등간격으로 이루어지는 화소 배열로 구성되고, 또한 그 화소 번호(us, vs)가 컬러 출력 화상과 동일하게 할당되고 있을 때, 그 화소 배열의 중심이 되는 화소 좌표(799.5, 599.5)가 xy 좌표의 원점이 되고, 색 모자이크 화상의 대각 길이를 Fs로 나타내면, Fs = [√(16002 + 12002)]/2의 식에 의해, Fs = 1000을 얻는다.
그리고, (xsn, ysn)에 대응하는 색 모자이크 화상(입력 화상) 상의 정점 샘플링 좌표(usn, vsn)에 대해서는, 상기 식에서 구해진 대각 길이 Fs가 xy 좌표계의 최대 상 높이에 대응하는 것으로서, usn = 1000 * xsn + 799.5, vsn = 1000 * ysn + 599.5, 의 식으로 산출하여도 무방하다.
상기 식에서 구해진 정점 샘플링 좌표의 값은, 정수가 되는 것에 한정하지 않고, 일반적으로 비정수로 산출된다. 또한, 인접하는 블록끼리의 정점이 공유하기 때문에, 모든 블록 마다 정점 샘플링 좌표를 산출할 필요가 없고, 공유 관계에 있는 블록의 정점에 대응하는 정점 샘플링 좌표를 이용하여도 무방하다. 또한, 본 발명에서 소정의 화소 위치가 정점(udn, vdn)에 상당하고, 본 발명의 소정의 화소 위치에서의 샘플링 위치(usn, vsn)가 정점 샘플링 좌표에 상당한다.
다음으로, 화소 주사부(28)은 처리 대상이 되는 블록 내에 대해, 출력 컬러 화상 중에서 블록 내에 위치하는 화소를 주사하고, 주사하여 얻어진 각 화소의 좌표(ud, vd)를 샘플링 좌표 보간 연산부(31)에 입력한다. 이 때, 정점 및 블록 경계선 상의 화소는 인접하는 모든 블록 내에 위치하는 것으로 처리한다. 또한 본 발명에서의 보간 연산부는, 샘플링 좌표 보간 연산부(31)에 의해 그 기능이 발현된다.
다음으로, 샘플링 좌표 보간 연산부(31)는, 블록 정점을 제외한 화소의 샘플링 좌표에 대해, 처리 대상이 되는 각 화소의 좌표(ud, vd)에 대응하는 색 모자이크 화상(입력 화상) 상에서의 샘플링 좌표(us, vs)를, 이 화소를 둘러싸는 3개의 정점 샘플링 좌표(usn, vsn)로부터 보간에 의해 구한다.
상세하게는, 이 화소(ud, vd)를 둘러싸는 3개의 정점의 좌표를 (ud1, vd1), (ud2, vd2), (ud3, vd3)으로 하고, 이들 정점에 대응하는 정점 샘플링 좌표를 (us1, vs1), (us2, vs2), (us3, vs3)로 할 때, ud = w1ud1 + w2ud2 + w3ud3, vd = w1vd1 + w2vd2 + w3vd3이고, w1 + w2 + w3 = 1이 되도록, w1, w2, w3를 구한다.
다음으로, 이 화소의 샘플링 좌표(us, vs)를, us = w1us1 + w2us2 + w3us3, vs = w1vs1 + w2vs2 + w3vs3의 연산식을 이용하여 산출한다. 소위, 출력 화상의 블록 내의 화소에 대응하는 입력 화상의 샘플링 좌표를, 바이리니어 보간을 이용하여 구하게 된다.
다음으로, 샘플링 부(32)는, 도 3에 도시한 바와 같이, 색 평면 분해부(21)에서 생성된 각 색 평면으로부터, 샘플링 좌표 설정부(29)에서 산출된 샘플링 좌표(us, vs)에서의 샘플링 값(샘플링 위치에서의 색 마다의 화소값이다)을 출력한다.
이 때, (us, vs)가 정수로 한정되지 않기 때문에(즉, (us, vs)가 하나의 화소 중심에 일치한다고 한정되지 않기 때문에), 샘플링 값은, (us, vs)를 둘러싸는 4개의 유치(有値) 화소(각 색 평면이 원래 가지고 있는 동일 색의 화소값)로부터 선형 보간하여 산출한다. 이 보간은, 바람직하게, 바이리니어 보간에 의해서 실시한다.
도 3에 도시한 바와 같이, R평면 및 B평면은, 종횡의 격자점 상으로 4개의 유치 화소를 갖기 위해, 샘플링 좌표(301, 303)을 둘러싸는 4개의 유치 화소는, 해당 샘플링 좌표가 (101.0, 101.4)이면, 샘플링 좌표를 둘러싼 한 변의 길이가 2의 정방형의 정점에 위치한다.
도 3에 도시한 바와 같이, 샘플링 좌표(us, vs)가 (101.0, 101.4)이면, 이를 둘러싸는 4개의 유치 화소의 좌표(u,v)는, (100, 100), (100, 102), (102, 100), (102, 102)가 된다.
다음으로, 도 3(e)에 도시한 바와 같이, 샘플링 좌표를 통해 대향하는 유치 화소 간의 거리의 비(여기에서는, x 방향이 0.5 : 0.5, y 방향이 0.7 : 0.3 이다)를 구하고, 4개의 유치 화소의 화소값을 이용하고, 샘플링 위치(101.0, 101.4)에서의 R의 화소값을 보간에 의해 산출한다.
그리고, 4개의 유치 화소의 화소값을 R(100, 100), R(100, 102), R(102, 100), R(102, 102)로 나타내고, 샘플링 위치(101.0, 101.4)의 R의 화소값을 R(101.0, 101.4)로 나타내면, R평면 상에서의 샘플링 좌표(301)의 화소값 R(101.0, 101.4)를, R(101.0, 101.4) = 0.5 * 0.3 * R(100, 100) + 0.5 * 0.7 * R(100, 102) + 0.5 * 0.3 *R (102, 100) + 0.5 * 0.7 * R(102, 102)의 연산식에 의해 산출할 수 있다.
B평면 상에서의 샘플링 좌표(303)에서의 B의 화소값도, R평면과 같이, 샘플링 좌표를 둘러싸는 4개의 유치 화소의 화소값으로부터 보간에 의해 산출할 수 있다.
G평면 상에서는, 도 3(c)에 도시한 바와 같이, 체크보드(checkerboard) 패턴으로 유치 화소를 가지기 위해, 샘플링 좌표를 둘러싸는 4개의 유치 화소는, 샘플링 좌표를 둘러싸는 한 변의 길이가 √2의 45도 기울어진 정방형의 정점에 위치 한다.
이 경우, G평면에서는, 샘플링 좌표(302)가 (101.0, 101.4)이면, 이를 둘러싸는 4개의 유치 화소의 좌표(u,v)가, (100, 101), (101, 100), (101, 102), (102, 101)이 된다.
그리고, G평면의 유치 화소의 화소값을 G(100, 101), G(101, 100), G(101, 102), G(102, 101)로 나타내면, G평면 상에서의 샘플링 좌표(302)의 화소값 G(101.0, 101.4)를, G(101.0, 101.4) = 0.7 * 0.3 * G(100, 101) + 0.3 * 0.3 * G(101, 100) + 0.7 * 0.7 * G(101, 102) + 0.3 * 0.7 * G(102, 101)의 연산 식에 의해 산출할 수 있다.
다음으로, 색 생성부(33)는 샘플링 부(32)에서 생성된 R의 샘플링 값 R(us, vs), G의 샘플링 값 G(us, vs), B의 샘플링 값 B(us, vs)로부터 화소 마다의 색 정보를 생성하여 컬러 화상의 화소(ud, vd)에서의 색 정보로 하여, 시각 보정부(34)에 입력 한다.
시각 보정부(34)에서는, 색 생성부(33)을 통해 출력된 컬러 화상에 대해, 외관이 좋게 보이게 하기 위한 톤-커브(tone curve, 감마) 보정, 채도 강조, 에지 강조 등의 화상 보정을 실시하고, 계속해서, 압축부(35)에서는, 시각 보정부를 통해 출력된 컬러 화상의 디지털 화상 신호를 JPEG(Joint Photographic Experts Group) 등의 방법으로 압축하고, 기록 시의 화상 데이터의 사이즈를 작게 한다. 다음으로, 기록부(36)에서는, 압축된 디지털 화상 신호를 플래시 메모리 등의 기록 매체에 기억한다. 또한, 압축된 디지털 화상 신호는, 작업자의 명령에 근거하여, 도시하지 않는 인터페이스를 통해 외부 기기에 송신된다.
아울러, 색 생성부(33)에서 생성되는 RGB의 색 정보를 갖는 화상 데이터에 대해, 이 화상 데이터에 포함되는 위색을 억제하기 위해, (식 1)를 이용하여 YUV계 색 신호로 변환하고, UV에 저주파 필터를 실시하며, 그 후 시각 보정부(34)로 출력하여도 무방하다. Y는 화소의 휘도, U는 휘도 Y와 파랑(B)의 색 차이, V는 휘도 Y와 빨강(R)의 색 차이이다.
식 1
Figure pct00001
다음으로, 도 5에 기초하여, 촬상 광학계(2)를 통해 입력된 모자이크 화상(입력 화상)으로부터 왜곡 수차를 보정하여 컬러 화상(출력 화상)을 생성할 때의 순서를 설명한다. 이 순서는, CPU(18)가 ROM(19)에 저장된 프로그램에 기초하여, 각 기능부에 명령 신호를 주어 실행한다. 또한, 도 1에서의 S는 단계를 나타내고 있다.
우선, 이 순서는, 작업자에 의해서 화상 처리 장치(100)에 기동 신호가 입력 되었을 때에 개시한다.
다음으로, S110에서, 촬상 광학계(2)를 통해 화상 신호를 화상 처리 장치(100)로 입력하고, 계속해서 S120에서 색 평면 분해부(21)를 이용하여, 베이어 배열에 대응하는, R의 화소 신호, G의 화소 신호, B의 화소 신호를 기억하며, 이후, S170의 샘플링 단계로 이동한다.
한편, S130에서, 블록 주사부(25)를 이용하여, 출력 화상을 복수의 삼각형으로 분할하고, 이들 삼각형 블록을 주사하며, 블록의 정점(예컨대, 도 2에서의 P1, P2, P3)에서의 좌표 (udn, vdn) = [(ud1, vd1), (ud2, vd2), (ud3, vd3)]를 취득하며, 그 후 S140으로 이동한다. 이 때, 블록 형상 및 블록 수, 또는 각 블록의 정점 좌표는, 미리 촬상 광학계(2) 및 출력 컬러 화상의 사이즈와 관련되어 정해진 ROM(19)에 저장되고 있다.
다음으로, S140에서, 정점 샘플링 좌표 연산부(30)을 이용하여, 삼각형의 3개의 정점에 대응하는 색 모자이크 화상(입력 화상) 상의 샘플링 좌표(Usn, Vsn)을, 왜곡 수차의 영향을 제거하도록 산출하고, 그 후 S150으로 이동한다.
다음으로, S150에서, 화소 주사부(28)를 이용하여, 삼각형을 래스터화(rasterize) 하고, 블록 내에서 화소를 주사하여 그 좌표를 취득하며, 그 후 S160으로 이동한다.
다음으로, S160에서, 샘플링 좌표 보간 연산부(31)를 이용하여, 블록 내의 화소(u,v)에 대응하는 입력 화상에서의 샘플링 좌표(us, vs)를, 이 화소를 둘러싸는 3개의 정점 샘플링 좌표(usn, vsn)로부터 보간 연산하여 산출하고, 그 후 S170으로 이동한다.
다음으로, S170에서, 샘플링 부(32)를 이용하여, 색 평면 분해부(21)에서 생성된 각 색 평면으로부터, 샘플링 좌표 설정부(29)에서 산출한 샘플링 좌표(usn, vsn) 및 (us, vs)에서의 R, G, B 마다의 샘플링 값(샘플링 위치에서의 색 마다의 화소값이다)을 산출하고, 그 후 S180으로 이동한다.
다음으로, S180에서, 색 생성부(33)를 이용하여, 샘플링 부(32)에서 산출된 각 색 샘플링 값을 합성 함으로써, 각 화소값에 각각 복수 색의 색 정보를 생성하고, 그 후 S190으로 이동한다.
다음으로, S190에서, 동 블록 내에서의 다음의 화소 유무를 판정하고, 화소 없음(No)으로 판정되었을 때에는 S200으로 이동하고, 화소 있음(Yes)으로 판정되었을 때에는 S150 ∼ S190을 반복한다.
다음으로, S200에서, 출력 화상 내에서의 다음의 블록의 유무를 판정하고, 블록 없음(No)으로 판정되었을 때에는 S210으로 이동하고, 블록 있음(Yes)으로 판정되었을 때에는 S130 ∼ S200을 반복한다. 동일한 출력 화상 내에 복수의 블록이 있는 경우, 그 블록의 주사 순서는 미리 설정되어 ROM(19)에 저장되고 있다.
다음으로, S210에서, 시각 보정부(34)를 이용하여, 색 생성부(33)에서 생성된 컬러 화상에 대해, 톤-커브(감마) 보정, 채도 강조, 에지 강조 등의 화상 보정을 실시하고, 그 후 S220으로 이동한다.
다음으로, S220에서, 압축부(35)를 이용하여, 시각 보정부를 통해 출력된 컬러 화상의 디지털 화상 신호를 JPEG(Joint Photographic Experts Group) 등의 방법으로 압축하고, 기록 시의 화상 데이터의 사이즈를 작게 하고, 그 후 S230으로 이동한다.
다음으로, S230에서, 기록부(36)를 이용하여, 압축된 디지털 화상 신호를 플래시 메모리 등의 기록 매체에 기억하고, 그 후 본 화상 처리 프로그램을 종료한다.
이상과 같이, 제1 실시 형태에 기재된 화상 처리 장치(100), 및 화상 처리 방법, 및 화상 처리 프로그램에 의하면, 샘플링 좌표 설정부(29)에서 샘플링 좌표를 산출할 때에, 분할한 블록의 정점에 대해서만 고차식으로 산출하고, 블록 내에 위치하는 다른 화소에 대해서는, 정점 좌표의 샘플링 좌표로부터 보간하여 산출하고 있기 때문에, 모든 화소에 대해 고차식으로 샘플링 좌표를 구하는 것보다도, 적은 연산량으로 왜곡 보정이 가능한 것과 함께, 메모리 용량이나 처리 시간을 저감 할 수 있다.
또한, 정점 샘플링 좌표 연산부(30)에서 정점 샘플링 좌표의 산출에 이용되는 고차식 또는 그 계수가, 촬상 소자(5)에 부착하는 촬상 렌즈(3) 등의 촬상 광학계(2A)와 관련되도록 함으로써, 결상 광학계의 왜곡 수차를 보정하여 우수한 정밀도로 소정의 출력 화상을 얻을 수 있다.
(제2 실시 형태)
다음으로, 도 6 ∼ 도 10을 이용하여, 본 발명의 제2 실시 형태를 설명한다. 도 6은 본 발명의 화상 처리 장치, 및 화상 처리 방법, 화상 처리 프로그램이 적용된 일실시예의, 촬상 장치(1A)의 구성을 나타낸 블록도이다.
도 7은, 동 제2 실시 형태의 화상 처리에서의 출력 화상의 정점 좌표 설정, 및 uv 좌표계의 설명도, 도 8은 동 실시예의 화상 처리에서의 수차 계수의 테이블 설정예를 나타낸 도면이다.
도 9는, 동 제2 실시 형태에서의, 색 평면 분해부와 색 생성부의 기능 설명도이고, (a)는 촬상 광학계(2)로부터 출력되는 베이어 배열의 색 모자이크 화상을 나타낸 도면이며, (b)(c)(d)(e)는 각각 색 평면 분해부에서 생성된 R평면, Gr평면, Gb평면, B평면의 배치를 나타낸 도면이고, (f)는 샘플링 좌표에서의 화소값을 보간 산출할 때의 설명도이다.
도 10은, 동 실시예의 화상 처리 및 화상 처리 프로그램에서의 순서를 나타낸 도이다.
또한, 본 실시 형태 2에서의 촬상 장치(1A)는, 기본적으로 실시 형태 1에 도시한 촬상 장치(1)와 동일한 구성이기 때문에, 공통을 이루는 구성부에 대해서는 동일한 부호를 부여하고 상세한 설명은 생략하고, 특징을 이루는 부분에 대해 이하에 설명한다.
본 발명에서의 촬상 광학계(2A)에서는, 렌즈 구동부(12)를 통해, 촬상 렌즈(3)가 광축 방향으로 슬라이드가 자유롭게 구성되고, 촬상 렌즈(3)의 초점 거리나 촬상 렌즈(3)으로부터 피사체까지의 피사체 거리인 렌즈 스테이트(lens state)를 가변 가능하게 구성되고 있다.
도 6에 도시한 바와 같이, 촬상 광학계(2A)에는, 해당 촬상 장치(1A)의 블러(blur)를 검지하고, 그 블러량에 따라 전기 신호(이하, 블러 신호라 함)를 출력하는 각속도 센서(예컨대, 자이로, 15)를 구비하고, 화상 처리 장치(100A)에는 각속도 센서(15)를 통해 촬상 장치(1A)의 블러량을 검출하는 블러 검출부(40)가 구비되어 있다.
또한, 화상 처리 장치(100A)는, 촬상 광학계(2A)로부터 출력된 입력 화상(모자이크 화상)을, R, Gr, Gb, B의 화소 마다 분리하여 기억하는 색 평면 분해부(21A), 출력 화상에서의 화소 좌표나 정점 좌표를 주사하는 출력 화상 주사부(25A), 초점 거리나 피사체와의 거리인, 촬상 렌즈(3)의 렌즈 스테이트를 검출하는 렌즈 스테이트 검출부(37), 촬상 렌즈(3)의 렌즈 스테이트에 대응되어 왜곡 수차 계수를 기억하는 수차 계수 기억 테이블(38), 렌즈 스테이트 검출부(37) 및 수차 계수 기억 테이블(38)로부터의 정보에 기초하여 왜곡 수차의 파라미터(이하, 왜곡 수차 계수라고 함)를 설정하는 수차 계수 설정부(39), 출력 화상 범위에서, 복수의 정점 좌표를 설정하는 것과 함께 전체 화소 위치를 주사하는 출력 화상 주사부(25A), 출력 화상에서의 화소 좌표 및 정점 좌표 마다, 입력 화상에서의 샘플링 위치를 설정하는 샘플링 좌표 설정부(29A) 등을 구비하고 있다.
색 평면 분해부(21A)는, 도 6 및 도 9에 도시한 바와 같이, 베이어 배열에 대응될 수 있고, R의 화소 신호를 기억하는 R필드 메모리(22)와, Gr(한 방향으로 R에 인접하는 G)의 화소 신호를 기억하는 Gr필드 메모리(23a)와, Gb(한 방향으로 B에 인접하는 G)의 화소 신호를 기억하는 Gb필드 메모리(23b)와, B의 화소 신호를 기억하는 B필드 메모리(24)에 의해 구성되고, CPU(18)로부터의 명령에 기초하여, 이들 화소 신호(이하, 화소값이라 함)를 샘플링 부(32)에 출력한다.
수차 계수 설정부(39)는 렌즈 스테이트에 따라 적절한 수차 파라미터(후술의 연산식에서의 k1, k2, p1, p2, kr, dRx, kB, dBx, dBy 등)를 수차 계수 기억 테이블(38)로부터 읽어 내고, 정점 샘플링 좌표 연산부(30A)로 출력한다. 또한, 수차 계수 기억 테이블(38)에 기억되어 있지 않은 렌즈 스테이트에 대해서는, 유사한 렌즈 스테이트로부터 보간하여 수차 파라미터를 생성한다.
즉, 수차 계수 기억 테이블(38)에는, 모든 렌즈 스테이트에 대응되어 수차 계수를 기억해 두는 것이 곤란하기 때문에, 예컨대 도 8에 도시한 바와 같이, 소정의 렌즈 스테이트에 대응되어 수차 계수를 기억해 둔다. 여기에서는, 피사체 거리로서 Near(근거리) : 0.5 m, Mid(중거리) : 1.Om, Far(원거리) : Inf의 3개가 기억 되고, 또한 그 피사체 거리 마다의 초점 거리로서, Wide : 28 mm, Mid : 50 mm, Tele : 105 mm가 기억되고, 피사체 거리 및 초점 거리에 대응된 렌즈 스테이트가 설정되고 있다. 아울러, 본 발명에서의 고차식의 계수를 기억하는 수단은, 수차 계수 기억 테이블(38)에 의해서 그 기능이 발현된다.
그리고, 피사체 거리 2.Om이고, 초점 거리가 35 mm인 경우에, 도 8에 도시한 수차 계수 기억 테이블(38)에는 그 수차 계수가 기억되어 있지 않기 때문에, 수차 계수 기억 테이블(38)에 기억된 다른 렌즈 스테이트의 수차 계수로부터 보간한다.
즉, 피사체 거리의 Mid가 1.Om이고 초점 거리의 Wide단이 28 mm일 때의 수차 계수 O.08, 피사체 거리의 Far가 Inf이고 초점 거리의 Wide단이 28 mm일 때의 수차 계수 0.05, 피사체 거리의 Mid가 1.Om이고 초점 거리의 Mid가 50 mm일 때의 수차 계수 O.02, 피사체 거리의 Far가 Inf이고 초점 거리의 Mid가 50 mm일 때의 수차 계수 O.00을 읽어 내고, 이들로부터 보간한다. 또한 본 발명에서의 고차식 변경 수단은, 수차 계수 설정부(39)에 의해, 그 기능이 발현된다.
상세하게는, 렌즈 스테이트가 피사체 거리 2.Om이고 초점 거리가 35 mm일 때의 수차 계수를 k1으로 나타내면, k1 = [(1/2.0 - 1/Inf)(1/35 - 1/50) * 0.08 + (1/1.0 - 1/2.0)(1/35 - 1/50) * O.05 + (1/2.0 - 1/Inf)(1/28 - 1/35) * 0.02 + (1/1.0 - 1/2.0)(1/28 - 1/35) * 0.O0]/(l/1.O - Inf)(1/28 - 1/50)의 식에서, k1 = 0.04를 얻는다.
다른 수차 계수 k2, p1, p2, kR, kB, 등에 대해서도, 수차 계수 기억 테이블(38)에 기억되어 있지 않은 경우에는, 동일하게 수차 계수 기억 테이블(38)에 기억되고 있는 수차 계수로부터 보간하여 구하여도 무방하다.
블러 검출부(40)은, 촬상 광학계의 블러를 검출하고, 블러를 보정하기 위한 블러 보정 파라미터 z, θ, dx, dy 등을 정점 샘플링좌표 연산부(30A)로 출력한다.
블러 보정 파라미터에서, z는 촬상 장치(1A)의 전후 방향의 블러에 따른 피사체상의 크기의 보정값, θ는 롤축의 블러에 따른 피사체상의 회전의 보정값, dx는 좌우 방향 또는 요축(yaw axis)의 블러에 따른 피사체상의 좌우 위치의 보정값, dy는 상하 방향 또는 피치축(pitch axis)의 블러에 따른 피사체상의 좌우 위치의 보정값이다.
또한, 블러 보정 파라미터의 z에는, 촬상 장치(1A)의 줌 배율에 의존하는 보정값을 포함하여도 무방하다. 또한, 블러 보정 파라미터를 아핀(affine) 행렬 M으로서 정점 샘플링 좌표 연산부(30A)로 설정하여도 무방하다.
출력 화상 주사부(25A)는, 출력 화상에서, 이산적으로 배치되는 복수의 정점 좌표를 설정하는 정점 좌표 설정부(27A)와, 전체 화소 위치를 주사하는 화소 주사부(28)에 의해서 구성되고 있다.
정점 좌표 설정부(27A)는, 출력 화상에 배치되는 복수의 정점 Pj의 좌표(ud, vd)pj를 설정한다. 계속해서, 정점 샘플링 좌표의 설정 방법에 대해 상세하게 기재한다.
우선, 도 7에 도시한 바와 같이, 출력 화상에서의 정점 좌표(P1, P2, P3, …. Pn)가 미리 설정되고 있다. 또한, 정점 좌표는 출력 화상 상에 이산적으로 복수 배치되고 있는 것으로 한다. 이 정점 좌표의 배치를 조밀하게 하여 수를 많이 하면 왜곡의 보정 정밀도가 향상되지만, 보정과 관련되는 계산량은 많아진다. 반면, 정점 좌표의 배치를 성기게 하여 수를 적게 하면 보정과 관련되는 연산량이 적게 되지만 보정 정밀도는 저하된다. 본 발명자의 연구에 의하면, 정점의 수를 100 ∼ 1000 정도로 하는 것이, 보정 정밀도와 계산량의 면에서 바람직하다. 또한, 복수의 정점 좌표가, 예컨대 도 7에 도시한 바와 같이, 규칙적으로 배치되고 있는 것이 바람직하다.
다음으로, 출력 화상이 1600 * 1200의 등간격으로 이루어지는 화소 배열로 구성되고 있을 때에, 그 화소 위치(u, v)를 왼쪽에서 우하로 향해 (0, 0) ∼ (1599, 1199)로 하고, 종횡 100 화소 간격의 격자 상에 정점을 설정한다. 즉, 다음식과 같이, 정점 좌표(ud, vd)pj = [(0, 0)(100, 0), … (1600, 1200)]로 이루어진 17 * 13 = 221 점을 정점으로 한다. 여기서, j는 격자 상에 배치된 점에 연속하는 번호 1, 2, …, 221이다.
다음으로, 샘플링 좌표 설정부(29A)는, 출력 화상 주사부(25A)에서 설정된 정점에 대응하는 입력 화상의 샘플링 위치를 산출하는 정점 샘플링 좌표 연산부(30A), 정점 샘플링 좌표 연산부(30A)에서 산출된 정점 샘플링 위치를 기억하는 정점 샘플링 좌표 기억 테이블(30B), 정점 샘플링 좌표 연산부(30A)에서 산출된 정점 샘플링 위치로부터, 출력 화상의 각 화소 위치에 대응하는 입력 화상의 샘플링 위치를 보간 산출하는 샘플링 좌표 보간 연산부(31A) 등에 의해 구성되고 있다.
다음으로, 정점 샘플링 좌표 연산부(30A)에서의, 정점 샘플링 좌표 위치의 산출에 대한 상세한 설명을 기재한다.
우선, 제1 실시 형태와 같이, 화소 위치에 대응되고 있는 좌표계를 uv계로 나타내는 것과 함께, 편의상의 좌표계로서 화상 중심을 원점으로서 최대의 상 높이를 1, 화면 좌우 방향을 x로, 화면 상하 방향을 y로 하는 좌표계를 이용한다. 또한, 출력 화상(컬러 화상) 상의 좌표를 첨자 d, 입력 화상 상의 좌표를 첨자 S로 나타낸다.
또한, 출력 화상에서, 좌우 방향으로 1600개, 상하 방향으로 1200개의 화소가 등간격으로 배치되도록 하고, 화소 좌표(ud, vd)를 도 7과 같이 좌상으로부터 우방향으로 (0, 0), (1, 0), (2, 0) …, 다음의 행을 (0, 1), (1, 1), (2, 1) …으로 할당하고, 화소 좌표(ud, vd)의 xy 좌표(xd, yd)를 (식 2)에 의해 산출한다. 다음으로, 블러 보정 파라미터 z, θ, dx, dy를 적용하고, 블러 보정 후의 좌표(x', y')를 (식 3)에 의해서 산출한다.
식 2
Figure pct00002
식 3
Figure pct00003
식 4
Figure pct00004
이 때, 블러 보정 파라미터가 아핀 행렬 M으로 주어지고 있다면, (식 3)에 대신에 (식 4)를 이용하여도 무방하다. 또한, (식 3)에서, x' = wx'/w, y' = wy'/w로 한다.
아울러, 블러 보정 후의 좌표에 대해 왜곡 수차 보정의 계수 k1, k2, p1, p2를 적용하고, 색 평면 분해부(21)에서 생성된 G평면에서의 샘플링 좌표 xsG, ysG를, xsG = x'(1 + k1r'2 + k2r'4) + 2p1x'y' + p2(r'2 + 2x'2), ysG = y'(1 + k1r'2 + k2r'4) + 2p1x'y' + p2(r'2 + 2y'2)의 연산식으로 산출한다. 이 때, r'2 ≡ x'2 + y'2로 한다.
k1, k2, p1, p2는, 촬상 광학계(2A)의 왜곡 수차를 나타내는 계수이고, k1, k2는 방사선 방향의 왜곡, p1, p2는 접선 방향의 왜곡을 나타내고 있다.
아울러 촬상 광학계(2A)의 색 수차를 고려하여 R평면, B평면에서의 샘플링 좌표(xsR, ysR)(xsB, ysB)를 (식 5), (식 6)에 의해서 산출한다.
식 5
Figure pct00005
식 6
Figure pct00006
kR, kB는 G평면을 기준으로 했을 때의 R, B평면의 배율, dRx, dRy는 G평면을 기준으로 했을 때의 R평면의 평행 어긋남 량, dBx, dBy는 G평면을 기준으로 했을 때의 B평면의 평행 어긋남 량이다.
그리고, 입력 화상(색 모자이크 화상)도 1600 * 1200의 화소 배열이고, 화소 번호(us, vs)가 출력 화상(컬러 화상)과 동일하게 할당되어 있다면, (xsR, ysR), (xsG, ysG), (xsB, ysB)에 대응하는 입력 화상 상의 샘플링 좌표(usR, vsR), (usG, vsG), (usB, vsB)를 (식 7), (식 8), (식 9)에 의해서 산출한다.
식 7
Figure pct00007
식 8
Figure pct00008
식 9
Figure pct00009
그리고, 정점 샘플링 좌표 연산부(30A)에서, (식 7), (식 8), (식 9)에 의해 각 정점의 샘플링 좌표(usR, vsR)Pj, (usG, vsG)Pj, (usB, vsB)Pj가 산출되고, 이 정점 샘플링 좌표가 정점 샘플링 좌표 기억 테이블(30B)에 기억 된다. 또한, 정점 샘플링 좌표의 산출값은, 정수가 되는 것에 한정하지 않고, 일반적으로는 비정수가 된다.
다음으로, 샘플링 좌표 보간 연산부(31A)는, 출력하는 출력 화상(컬러 화상)의 각 화소 위치에 대응하는 입력 화상(색 모자이크 화상) 상의 샘플링 좌표를 산출한다.
우선, 처리 출력 화소를 둘러싸는 복수의 정점을 추출한다. 예컨대, 출력 화소 T의 좌표(ud, vd)T = (234, 123)이면, 도 7에 도시한 바와 같이, 이를 둘러싸는 좌표가 P20, P21, P37, P38((ud, vd)P20 = (200, 100), (ud, vd)P21 = (300, 100), (ud, vd)P37 = (200, 200), (ud, vd)P38 = (300, 200)이고, P20, P21, P37, P38의 샘플링 좌표(Pi = 20, 21, 37, 38)에서의 정점 샘플링 좌표(usR, vsR)Pi,, (usG, vsG)Pi, (usB, vsB)Pi를 정점 샘플링 좌표 기억 테이블(30B)로부터 읽어 내고, 출력 화소 T에 대응하는 입력 화상 상의 샘플링 위치(usR, vsR)T,, (usG, vsG)T, (usB, vsB)T를 선형 보간(바이리니어 보간)으로 산출한다.
즉, R의 샘플링 좌표(usR, vsR)T는, (usR, vsR)T = 0.66 * O.77 * (usR, vsR)P20 + 0.34 * 0.77 * (usR, vsR)P21 + 0.66 * 0.23 * (usR, vsR)P37 + 0.34 * 0.23 * (usR, vsR)P38의 연산식으로 산출된다.
또한, G의 샘플링 좌표(usG, vsG)T는, (usG, vsG)T = 0.66 * O.77 * (usG, vsG)P20 + 0.34 * 0.77 * (usG, vsG)P21 + 0.66 * 0.23 * (usG, vsG)P37 + 0.34 * 0.23 * (usG, vsG)P38의 연산식으로 산출된다.
또한, B의 샘플링 좌표(usB, vsB)T는, (usB, vsB)T = 0.66 * O.77 * (usB, vsB)P20 + 0.34 * 0.77 * (usB, vsB)P21 + 0.66 * 0.23 * (usB, vsB)P37 + 0.34 * 0.23 * (usB, vsB)P38의 연산식으로 산출된다. 또한, 이러한 보간으로 산출된 샘플링 좌표도 정점 샘플링 좌표와 동일하게 정수가 되는 것에 한정하지 않고, 일반적으로 비정수가 된다.
다음으로, 도 9에 도시한 바와 같이, 샘플링 부(32)은 색 평면 분해부(21A)에서 생성된 각 색 평면(R평면, Gr평면, Gb평면, B평면)으로부터, 샘플링 좌표 보간 연산부(31A)에서 산출된 샘플링 좌표에서의 샘플링 값을 산출하여 출력한다.
R평면에서는 (usR, vsR)T, Gr평면에서는 (usGR, vsGR)T, Gb평면에서는 (usGB, vsGB)T, B평면에서는 (usB, vsB)T에서의 값을 출력하고, 출력 화상(컬러 화상) 상의 처리 대상 화소 T(ud, vd)에서의 샘플링 값 Rs, Grs, Gbs, Bs를 얻는다.
이 때, 상술한 바와 같이, 샘플링 위치 (us, vs)T가 정수 좌표라고 한정할 수 없기 때문에, (us, vs)T를 둘러싸는 4개의 유치 화소로부터 선형 보간을 실시하여 샘플링 값을 산출한다.
도 9에 도시한 바와 같이, R평면, Gr평면, Gb평면, B평면 중 어느 평면도, 종횡의 격자점 상에 4개의 유치 화소를 가지기 위해, 샘플링 좌표 401, 402, 403, 404를 둘러싸는 4개의 유치 화소는, 해당 샘플링 좌표 usR이 (100.8, 101.4)이면, 이를 둘러싸는 4개의 화소(u, v)가, (100, 100), (100, 102), (102, 100), (102, 102)이 된다.
그리고, 다음으로, 도 9(f)에 도시한 바와 같이, 샘플링 좌표를 통해 대향하는 유치 화소 간의 거리의 비(여기에서는, x 방향이 0.4 : 0.6, y 방향이 0.7 : 0.3이다)를 구하고, 4개의 유치 화소의 화소값을 이용하여, 샘플링 위치(100.8, 101.4)에서의 R의 화소값을 보간에 의해 산출한다.
예컨대, R평면에 대해, 4개의 유치 화소의 화소값을 R(100, 100), R(100, 102), R(102, 100), R(102, 102)로 나타내고, 샘플링 위치(100.8, 101.4)의 R의 화소값을 R(100.8, 101.4)로 나타내면, R평면상에서의 샘플링 좌표 401의 화소값 R(100.8, 101.4)를, R(100.8, 101.4) = 0.6 * 0.3 * R(100, 100) + 0.6 * 0.7 * R(100, 102) + 0.4 * 0.3 * R(102, 100) + 0.4 * 0.7 * R(102, 102)의 연산식에 의해 산출할 수 있다.
Gr, Gb, B평면 상에서의 샘플링 좌표 402, 403, 404의 화소값도, R평면과 같이 샘플링 좌표를 둘러싸는 4개의 유치 화소의 화소값으로부터 보간에 의해서 산출할 수 있다. 그리고, 샘플링 부(32)에서는, 출력 화상에서의 모든 화소에 대해, R, Gr, Gb, B의 샘플링 값을 산출한다.
또한, 여기서 이용된 R의 샘플링 값 Rs = R(usR, vsR), Gr의 샘플링 값 Grs = Gr(usG, vsG), Gb의 샘플링 값 Gbs = Gb(usG, vsG), B의 샘플링 값 Bs = B(usB, vsB)는, 색 수차의 영향도 억제되고, 피사체 상의 동일 부분을 나타내고 있다.
다음으로, 색 생성부(33)는 샘플링 부(32)에서 얻어진 색 평면 마다의 샘플링 값 Rs, Grs, Gbs, Bs로부터 화소 마다에 색 정보(RGB 성분)를 생성하여 출력 화상(컬러 화상)을 생성한다.
이 때, 예컨대, R 및 B의 성분에는 샘플링 값 Rs, Bs를 그대로 이용하고, G 성분에는 Grs와 Gbs의 평균을 이용하여도 무방하지만, 여기에서는 한번 더 위색 억제를 실시한다. 즉, 촬상 소자(5)에 의해 구성되는 베이어 배열의 컬러 이미지 센서에서는, 나이퀴스트(Nyquist) 주파수 근방의 흑백의 줄무늬에 대해서 빨강이나 파랑의 위색이 발생하기 쉽기 때문에, Gr과 Gb의 차분을 취함으로써, 이러한 줄무늬를 검출 할 수 있고, 위색을 억제할 수 있다.
상세하게는, 우선 R과 B에 대해, 샘플링 값의 합 S와 차이 C를, S = Rs + Bs, C = Rs - Bs의 연산식으로 산출하는 것과 함께, Grs와 Gbs와의 차이 K를, K = Grs - Gbs의 연산식으로 산출하고, 다음 식과 같이 + -의 부호가 변하지 않는 범위에서, C의 절대치로부터 K의 절대치를 감소시켜 C'을 생성한다. C' = sign(C)max(O, |C|-|K|)
그리고, 산출된 C'과 S를 이용하여, R = (S + C')/2, B = (S - C')의 연산을 실시하고, 컬러 화상에서의 R 성분 및 B 성분을 구해도 무방하다.
다음으로, 제1 실시 형태와 동일하게, 시각 보정부(34)에서 톤 커브(감마) 보정, 채도 강조, 에지 강조 등의 화상 보정을 실시하고, 그 후 압축부(35)에서 컬러 화상의 디지털 화상 신호를 JPEG(Joint Photographic Experts Group) 등의 방법으로 압축하고, 기록부(36)에서 압축된 디지털 화상 신호를 기록 매체에 기록한다.
다음으로, 도 10에 기초하여, 촬상 광학계(2A)를 통해 입력한 모자이크 화상(입력 화상)으로부터 왜곡 수차를 보정하여 컬러 화상(출력 화상)을 생성할 때의 순서를 설명한다. 이 순서는, CPU(18)가 ROM(19)에 저장된 프로그램에 근거하여, 각 기능부에 명령 신호를 주어 실행한다. 또한, 도 1에서의 S는 단계를 나타내고 있다.
우선, 이 순서는, 작업자에 의해 화상 처리 장치(100A)에 기동 신호가 입력 되었을 때에 개시한다.
다음으로, S110에서, 촬상 광학계(2A)를 통해 화상 신호를 화상 처리 장치(100A)로 읽어 들이고, 계속해서 S120에서, 색 평면 분해부(21)를 이용하여, 베이어 배열에 대응되는, R의 화소 신호, Gr의 화소 신호, Gb의 화소 신호, B의 화소 신호를 기억하며, 그 후 S170의 샘플링 단계로 이동한다.
한편, S300에서, 렌즈 스테이트 검출부(37)를 이용하여, 초점 거리나 피사체 거리에 대응되어 있는 렌즈 스테이트를 검출하고, 그 후 S310으로 이동한다.
그 후, S310에서, S300에서 검출된 렌즈 스테이트가 미리 수차 계수 기억 테이블(38)에 기억되어 있는지를 판정하고, 기억되어 있는(Yes) 경우에는, S320으로 이동하여 수차 계수를 취득하고, 반면 기억되어 있지 않는(No) 경우에는, S330으로 이동하며, 수차 계수 기억 테이블(38)에 기억되고 있는 렌즈 스테이트와 그 수차 계수를 이용하여 기억되어 있지 않은 렌즈 스테이트에 대응하는 수차 계수를 보간 연산하고, 그 후 S500으로 이동한다.
한편, S400에서, 각속도 센서 및 블러 검출부(40)을 이용하여, 촬상 장치(1A)의 블러량을 검출하고, 그 후 S410으로 이동하며, S410에서 블러량 보정을 위한 파라미터를 취득하고, 그 후 S500으로 이동한다.
다음으로, S500에서, S320, S330, S410에서 취득한 렌즈 스테이트의 수차 계수 및 블러 검출의 파라미터를 이용하여, 정점 샘플링 좌표 연산부(30A)를 통해, 각 정점의 샘플링 좌표(usR, vsR)Pj, (usG, vsG)Pj, (usB, vsB)Pj을 산출하고, 그 후 S550으로 이동하며, S550에서 정점 샘플링 좌표를 샘플링 좌표 기억 테이블(30B)에 기억한다.
한편, S150에서, 화소 주사부(28)를 이용하여, 출력 화상(컬러 화상) 내에서의 화소 위치를 주사하여 좌표를 취득하고, 그 후 S165로 이동한다.
다음으로, S165에서, 샘플링 좌표 보간 연산부(31A)를 이용하여, 출력하는 출력 화상(컬러 화상)의 각 화소 위치에 대응하는 입력 화상(색 모자이크 화상) 상의 샘플링 좌표를 보간 연산하여 산출하고, 그 후 S170으로 이동한다.
다음으로, S170에서, 샘플링 부(32)를 이용하여, 색 평면 분해부(21)에서 생성된 각 색 평면으로부터, 샘플링 좌표 설정부(29A)에서 산출한 샘플링 좌표(us, vs)에서의 R, Gr, Gb, B마다의 샘플링 값(샘플링 위치에서의 색 마다의 화소값이다)을 산출하고, 그 후 S180으로 이동한다.
다음으로, S180에서, 색 생성부(33)를 이용하여, 샘플링 부(32)에서 산출된 각 색 샘플링 값을 합성 함으로써, 각 화소값에 각각 복수 색의 색 정보를 생성하고, 그 후 S195로 이동한다.
다음으로, S190에서, 출력 화상 내에서의 다음의 화소 유무를 판정하고, 화소 없음(No)으로 판정되었을 때에는 S210으로 이동하고, 화소 있음(Yes)으로 판정되었을 때에는 S150 ∼ S195를 반복하고, S195에서 화소 없음(No)에 도달할 때에 S210으로 이동한다.
다음으로, S210에서, 시각 보정부(34)를 이용하여, 색 생성부(33)에서 생성된 컬러 화상에 대해서, 톤 커브(감마) 보정, 채도 강조, 에지 강조 등의 화상 보정을 실시하고, 그 후 S220으로 이동한다.
다음으로, S220에서, 압축부(35)를 이용하여, 시각 보정부를 통해 출력된 컬러 화상의 디지털 화상 신호를 JPEG(Joint Photographic Experts Group) 등의 방법으로 압축하고, 기록 시의 화상 데이터의 사이즈를 작게 하고, 그 후 S230으로 이동한다.
다음으로, S230에서, 기록부(36)를 이용하여, 압축된 디지털 화상 신호를 플래시 메모리 등의 기록 매체에 기억하고, 그 후 본 화상 처리 프로그램을 종료한다.
이상과 같이, 제2 실시 형태에 기재된 화상 처리 장치(100A) 및 화상 처리 방법, 및 화상 처리 프로그램에 의하면, 수차 계수 설정부(39)에서 왜곡 수차 보정을 위한 계수를 구함과 동시에, 블러 검출부(40)에서 블러 보정을 위한 파라미터를 구하고, 양자를 디모자이크 시에 적용 함으로써, 디모자이크와 함께 블러 보정 및 왜곡 수차 보정을 할 수 있고, 이러한 처리 공정을 각각 실시하는 것보다, 화상 처리를 간소화 할 수 있다.
또한, 제2 실시 형태에 기재된 화상 처리 장치(100A) 및 화상 처리 방법, 및 화상 처리 프로그램에 의하면, 샘플링 부에서 샘플링을 RGB의 3개의 평면 만이 아니고, 보다 많은 평면(R, Gr, Gb, B) 평면으로 나누어 실시 함으로써, 색 생성부(33)에서 효과적인 위색 억제를 할 수 있다.
또한, 제2 실시 형태에 기재된 화상 처리 장치(100A), 및 화상 처리 방법, 및 화상 처리 프로그램에 의하면, 줌 등의 렌즈 스테이트를 변화 시켰을 경우, 이에 따라 왜곡 수차 보정이 원활하게 동작하고, 부자연스러움이 없는 품위의 좋은 화상을 얻을 수 있다.
또한, 제2 실시 형태에 기재된 화상 처리 장치(100A), 및 화상 처리 방법, 및 화상 처리 프로그램에 의하면, 샘플링 좌표 설정부(29A)에서, 왜곡 수차 보정, 더불어 렌즈 스테이트에 대응되어 왜곡 수차 보정, 블러 보정 등을 일괄적으로 보정하도록 샘플링 좌표를 설정하고 있기 때문에, 샘플링 및 색 생성 등의 디모자이크 처리에서의 부하를 저감 할 수 있다. 즉, 디모자이크시에는, 샘플링 좌표 설정부에서 설정된 샘플링 위치로 각 색 샘플링 값도 정해 합성하면, 그 후에 왜곡 수차나 블러 보정을 별도 실시할 필요가 없기 때문에, 전체의 처리를 간소화 할 수 있다.
또한, 제2 실시 형태에 기재된 화상 처리 장치(100A), 및 화상 처리 방법, 및 화상 처리 프로그램에 의하면, 왜곡 수차 및 블러 보정과 관련되는 연산을, 정점 샘플링 좌표에서만 실시하고 있기 때문에, 출력 화상의 전체 화소에 대해 실시하는 것보다 그 연산량을 저감 할 수 있다. 이 때문에, 정점 샘플링 좌표 연산부(30A)에서의 연산량을 저감 할 수 있고, 정점 샘플링 좌표 연산부(30A)를 범용 프로세서와 프로그램을 이용하여 용이하게 실현 할 수 있고, 소프트웨어의 변경에 의한 보정 계산의 확장도 가능하게 된다. 한편, 출력 화상의 전체 화소에 대해 처리가 필요되는 샘플링 좌표 보간 연산부(31A)를 간소한 하드웨어 로직으로 하는 것으로 가능하고, 고속 처리가 가능하게 된다.
이상, 본 발명의 일실시예에 대해 설명하였지만, 본 발명은 상기 실시예에 한정되지 않고, 다양한 양태를 취할 수 있다. 예컨대, 촬상 장치(1A)에서, 촬상 광학계(2A)와 화상 처리 장치(100A)를 착탈 교환 할 수 있도록 구성하고, 수차 계수 기억 테이블(38)이나 수차 계수 설정부(39), 블러 검출부(40) 등을 촬상 광학계(2A)측에 구비하여도 무방하다.
<산업상 이용 가능성>
소정의 출력 화소에 대해 왜곡 수차를 제거하도록, 입력 화상 상의 샘플링 위치를 고차식에 의해 산출하는 용도에 적용 가능하다.
1, 1A : 촬상 장치
2, 2A : 촬상 광학계
3 : 촬상 렌즈
5 : 촬상 소자 5a : 베이어 배열의 컬러 필터
6 : AFE(Analog Front End)
7 : 상관 이중 샘플링 회로
8 : 가변 이득증폭기(AGC：Automatic Gain Control)
9 : A/D 변환기
10 : 검출부
11 : 센서
12 : 렌즈 구동부
13 : TG(Timing Generator)
15 : 각속도 센서
18 : CPU(Central Processing Unit)
19 : ROM(Read Only Memory)
21 : 색 평면 분해부
22 : R필드 메모리
23 : G필드 메모리, 23a : Gr필드 메모리, 23b : Gb필드 메모리
24 : B필드 메모리
25 : 블록 주사부, 25A : 출력 화상 주사부
26 : 블록 분할부
27, 27A : 정점 좌표 설정부
28 : 화소 주사부
29, 29A : 샘플링 좌표 설정부
30, 30A : 정점 샘플링 좌표 연산부, 30B : 정점 샘플링 좌표 기억 테이블
31, 31A : 샘플링 좌표 보간 연산부
32 : 샘플링 부
33 : 색 생성부
34 : 시각 보정부
35 : 압축부
36 : 기록부
37 : 렌즈 스테이트 검출부
38 : 수차 계수 기억 테이블
39 : 수차 계수 설정부
40 : 블러 검출부
100, 100A : 화상 처리 장치

Claims (30)

  1. 결상 광학계의 왜곡 수차를 수반하여 입력된 입력 화상으로부터, 왜곡을 경감한 출력 화상을 생성하는 화상 처리 장치에 있어서,
    상기 출력 화상에서의 소정 화소 위치에서, 상기 왜곡 수차를 제거하도록, 상기 입력 화상 상의 샘플링 위치를 고차식에 의해 산출하는 고차 연산부와,
    상기 출력 화상에서의 상기 소정 화소 위치 이외의 화소 위치에서, 상기 화소의 근방에 위치하는 소정 출력 화소의 샘플링 위치로부터, 상기 입력 화상 상의 샘플링 위치를 보간 산출하는 보간 연산부와,
    상기 고차 연산부 및 상기 보간 연산부를 통해 산출된 샘플링 위치에서, 상기 입력 화상의 화소값을 샘플링하는 샘플링 부
    를 구비하는 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 보간 연산부는,
    바이리니어 보간에 의해 상기 샘플링 위치를 산출하도록 구성되는 것을 특징으로 하는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 보간 연산부는,
    바이큐빅 보간에 의해 상기 샘플링 위치를 산출하도록 구성되는 것을 특징으로 하는 화상 처리 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 소정 출력 화소의 수는,
    상기 출력 화상의 전체 화소의 수보다 적은 수(단, 제로를 포함하지 않는 것으로 함)인 것을 특징으로 하는 화상 처리 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 고차식은,
    3차 이상으로 구성되는 것을 특징으로 하는 화상 처리 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 결상 광학계는,
    렌즈를 통해 피사체상을 이미지 센서에 결상 시키도록 구성되고,
    상기 고차식 또는 고차식의 계수는,
    상기 이미지 센서에 부착하는 상기 결상 광학계에 관련되는 것을 특징으로 하는 화상 처리 장치.
  7. 제6항에 있어서,
    상기 고차식 또는 고차식의 계수는,
    상기 이미지 센서에 부착하는 결상 광학계의 변경에 따라 변화하도록 구비되는 것을 특징으로 하는 화상 처리 장치.
  8. 제6항 또는 제7항에 있어서,
    상기 피사체와 상기 이미지 센서를 연결하는 광축 상에서의 상기 렌즈의 위치에 따라,
    상기 고차식 또는 고차식의 계수를 변경하는 고차식 변경 수단이 구비되는 것을 특징으로 하는 화상 처리 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 고차식의 계수를 기억하는 기억 수단을 구비하는 것을 특징으로 하는 화상 처리 장치.
  10. 제9항에 있어서,
    상기 기억 수단에는,
    상기 고차식의 계수가 상기 렌즈의 소정 위치에 대응되어 기억되고,
    상기 렌즈의 소정 위치 이외의 위치에서, 상기 기억 수단에 기억된 상기 고차식의 계수로부터, 상기 고차식의 계수를 보간하여 생성하는 계수 보간 생성 수단을 구비하는 것을 특징으로 하는 화상 처리 장치.
  11. 결상 광학계의 왜곡 수차를 수반하여 입력된 입력 화상으로부터, 왜곡을 경감한 출력 화상을 생성하는 화상 처리 방법에 있어서,
    상기 출력 화상에서의 소정 화소 위치에서, 상기 왜곡 수차를 제거하도록, 상기 입력 화상 상의 샘플링 위치를 고차식에 의해 산출하는 고차 연산 단계와,
    상기 출력 화상에서의 상기 소정 화소 위치 이외의 화소 위치에서, 상기 화소의 근방에 위치하는 소정 출력 화소의 샘플링 위치로부터, 상기 입력 화상 상의 샘플링 위치를 보간 산출하는 보간 연산 단계와,
    상기 고차 연산 단계, 및 상기 보간 연산 단계를 통해 산출된 샘플링 위치에서, 상기 입력 화상의 화소값을 샘플링하는 샘플링 단계
    를 이용하는 것을 특징으로 하는 화상 처리 방법.
  12. 제11항에 있어서,
    상기 보간 연산 단계는,
    바이리니어 보간에 의해 상기 샘플링 위치를 산출하는 것을 특징으로 하는 화상 처리 방법.
  13. 제11항에 있어서,
    상기 보간 연산 단계는,
    바이큐빅 보간에 의해 상기 샘플링 위치를 산출하는 것을 특징으로 하는 화상 처리 방법.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 소정 출력 화소의 수는,
    상기 출력 화상의 전체 화소의 수보다 적은 수(단, 제로를 포함하지 않는 것으로 함)인 것을 특징으로 하는 화상 처리 방법.
  15. 제11항 내지 제14항 중 어느 한 항에 있어서,
    상기 고차식으로서 3차 이상의 것을 이용하는 것을 특징으로 하는 화상 처리 방법.
  16. 제11항 내지 제15항 중 어느 한 항에 있어서,
    상기 결상 광학계에는, 렌즈를 통해 피사체상을 이미지 센서에 결상 시키는 것이 이용되고,
    상기 고차식 또는 고차식의 계수가, 상기 이미지 센서에 부착하는 상기 결상 광학계에 관련되는 것을 특징으로 하는 화상 처리 방법.
  17. 제16항에 있어서,
    상기 고차식 또는 고차식의 계수를, 상기 이미지 센서에 부착하는 결상 광학계의 변경에 따라 변경하는 것을 특징으로 하는 화상 처리 방법.
  18. 제16항 또는 제17항에 있어서,
    상기 피사체와 상기 이미지 센서를 연결하는 광축 상에서의 상기 렌즈의 위치에 따라,
    상기 고차식 또는 고차식의 계수를 변경하는 것을 특징으로 하는 화상 처리 방법.
  19. 제11항 내지 제18항 중 어느 한 항에 있어서,
    기억 수단을 이용하여 상기 고차식의 계수를 기억하는 것을 특징으로 하는 화상 처리 방법.
  20. 제19항에 있어서,
    상기 렌즈의 소정 위치에 대응되어 상기 고차식의 계수를 상기 기억 수단에 기억하고,
    상기 렌즈의 소정 위치 이외의 위치에서, 상기 기억 수단에 기억된 상기 고차식의 계수로부터, 상기 고차식의 계수를 보간하여 생성하는 계수 보간 생성 단계를 이용하는 것을 특징으로 하는 화상 처리 방법.
  21. 결상 광학계의 왜곡 수차를 수반하여 입력된 입력 화상으로부터, 왜곡을 경감한 출력 화상을 생성하는 화상 처리 프로그램에 있어서,
    상기 출력 화상에서의 소정 화소 위치에서, 상기 왜곡 수차를 제거하도록, 상기 입력 화상 상의 샘플링 위치를 고차식에 의해 산출하는 고차 연산 단계와,
    상기 출력 화상에서의 상기 소정 화소 위치 이외의 화소 위치에서, 상기 화소의 근방에 위치하는 소정 출력 화소의 샘플링 위치로부터, 상기 입력 화상 상의 샘플링 위치를 보간 산출하는 보간 연산 단계와,
    상기 고차 연산 단계, 및 상기 보간 연산 단계를 통해 산출된 샘플링 위치에서, 상기 입력 화상의 화소값을 샘플링하는 샘플링단계
    를 컴퓨터에서 실행시키는 것을 특징으로 하는 화상 처리 프로그램.
  22. 제21항에 있어서,
    상기 보간 연산 단계에서는, 바이리니어 보간에 의해 상기 샘플링 위치를 산출하도록, 컴퓨터에서 실행시키는 것을 특징으로 하는 화상 처리 프로그램.
  23. 제21항에 있어서,
    상기 보간 연산 단계에서는, 바이큐빅 보간에 의해 상기 샘플링 위치를 산출하도록, 컴퓨터에서 실행시키는 것을 특징으로 하는 화상 처리 프로그램.
  24. 제21항 내지 제23항 중 어느 한 항에 있어서,
    상기 소정 출력 화소의 수는, 상기 출력 화상의 전체 화소의 수보다 적은 수(단, 제로를 포함하지 않는 것으로 함)가 되도록, 컴퓨터에서 실행시키는 것을 특징으로 하는 화상 처리 프로그램.
  25. 제21항 내지 제24항 중 어느 한 항에 있어서,
    상기 고차식으로서 3차 이상의 것을 이용하도록, 컴퓨터에서 실행시키는 것을 특징으로 하는 화상 처리 프로그램.
  26. 제21항 내지 제25항 중 어느 한 항에 있어서,
    상기 결상 광학계에는, 렌즈를 통해 피사체상을 이미지 센서에 결상 시키는 것이 이용되고,
    상기 고차식 또는 고차식의 계수를, 상기 이미지 센서에 부착하는 상기 결상 광학계에 관련되도록, 컴퓨터에서 실행시키는 것을 특징으로 하는 화상 처리 프로그램.
  27. 제26항에 있어서,
    상기 고차식 또는 고차식의 계수를, 상기 이미지 센서에 부착하는 결상 광학계의 변경에 따라 변경하도록, 컴퓨터에서 실행시키는 것을 특징으로 하는 화상 처리 프로그램.
  28. 제26항 또는 제27항에 있어서,
    상기 피사체와 상기 이미지 센서를 연결하는 광축 상에서의 상기 렌즈의 위치에 따라,
    상기 고차식 또는 고차식의 계수를 변경하도록, 컴퓨터에서 실행시키는 것을 특징으로 하는 화상 처리 프로그램.
  29. 제21항 내지 제28항 중 어느 한 항에 있어서,
    기억 수단에 상기 고차식의 계수를 기억하도록, 컴퓨터에서 실행시키는 것을 특징으로 하는 화상 처리 프로그램.
  30. 제29항에 있어서,
    상기 렌즈의 소정 위치에 대응되어 상기 고차식의 계수를 상기 기억 수단에 기억하는 기억 단계와,
    상기 렌즈의 소정 위치 이외의 위치에서, 상기 기억 수단에 기억된 상기 고차식의 계수로부터, 상기 고차식의 계수를 보간하여 생성하는 계수 보간 생성 단계
    를 컴퓨터에서 실행시키는 것을 특징으로 하는 화상 처리 프로그램.
KR1020107006694A 2007-08-31 2008-08-25 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램 KR101373987B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007225214A JP5128207B2 (ja) 2007-08-31 2007-08-31 画像処理装置及び画像処理方法、画像処理プログラム
JPJP-P-2007-225214 2007-08-31
PCT/JP2008/065124 WO2009028468A1 (ja) 2007-08-31 2008-08-25 画像処理装置及び画像処理方法、画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020137033026A Division KR20140004254A (ko) 2007-08-31 2008-08-25 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램

Publications (2)

Publication Number Publication Date
KR20100080772A true KR20100080772A (ko) 2010-07-12
KR101373987B1 KR101373987B1 (ko) 2014-03-12

Family

ID=40387188

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020107006694A KR101373987B1 (ko) 2007-08-31 2008-08-25 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램
KR1020137033026A KR20140004254A (ko) 2007-08-31 2008-08-25 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020137033026A KR20140004254A (ko) 2007-08-31 2008-08-25 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램

Country Status (7)

Country Link
US (1) US9516285B2 (ko)
EP (1) EP2184915B1 (ko)
JP (1) JP5128207B2 (ko)
KR (2) KR101373987B1 (ko)
CN (1) CN101378446A (ko)
TW (1) TW200910255A (ko)
WO (1) WO2009028468A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11323962B2 (en) 2010-08-20 2022-05-03 Samsung Electronics Co., Ltd. Transmission power control method of base station in OFDMA-based wireless communication system

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8901541B2 (en) 2009-04-07 2014-12-02 Rohm Co., Ltd. Photoelectric conversion device and image pick-up device
JP5523017B2 (ja) * 2009-08-20 2014-06-18 キヤノン株式会社 画像処理装置及び画像処理方法
JP5385740B2 (ja) * 2009-09-25 2014-01-08 キヤノン株式会社 撮像装置及び画像データの補正方法
JP5593060B2 (ja) * 2009-11-26 2014-09-17 株式会社メガチップス 画像処理装置、および画像処理装置の動作方法
JP5432697B2 (ja) * 2009-12-21 2014-03-05 キヤノン株式会社 撮像装置及びその制御方法
JP5452242B2 (ja) * 2010-01-15 2014-03-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
JP5316811B2 (ja) * 2010-01-18 2013-10-16 株式会社リコー 画像処理方法及び装置、並びに画像撮像装置
US8577185B2 (en) * 2010-03-17 2013-11-05 Samsung Electronics Co., Ltd. Apparatus and method for interpolating and rendering image on mobile devices
TWI443604B (zh) * 2010-11-01 2014-07-01 Mstar Semiconductor Inc 影像校正方法及影像校正裝置
DE102013012988A1 (de) * 2013-08-03 2015-02-05 Carl Zeiss Microscopy Gmbh Verfahren zur Kalibrierung eines digitalen optischen Abbildungssystems, Verfahren zur Korrektur von Abbildungsfehlern in einem digitalen optischen Abbildungssystem, sowie digitales optisches Abblildungssystem
CN103792760B (zh) * 2014-01-14 2016-06-01 宁波舜宇光电信息有限公司 一种自动调焦执行机构的定位计算与位置校正方法
DE102014215095A1 (de) * 2014-07-31 2016-02-04 Carl Zeiss Microscopy Gmbh Verfahren zur Korrektur von beleuchtungsbedingten Abbildungsfehlern in einem modularen Digitalmikroskop, Digitalmikroskop und Datenverarbeitungsprogramm
US9906691B2 (en) * 2015-03-25 2018-02-27 Tripurari Singh Methods and system for sparse blue sampling
CN108292577B (zh) * 2015-11-27 2019-12-17 株式会社日立高新技术 带电粒子射线装置及带电粒子射线装置中的图像处理方法
JP2021165936A (ja) * 2020-04-07 2021-10-14 キヤノン株式会社 光学機器の評価方法および評価装置
CN112561818B (zh) * 2020-12-14 2024-05-28 英特灵达信息技术(深圳)有限公司 一种图像增强方法、装置、电子设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05284347A (ja) * 1992-03-31 1993-10-29 Olympus Optical Co Ltd カラー画像出力装置
JPH06197261A (ja) * 1992-12-24 1994-07-15 Canon Inc 撮像装置
JPH06205273A (ja) * 1993-01-04 1994-07-22 Sony Corp 幾何補正内蔵ビデオカメラ
JPH11149549A (ja) * 1997-11-17 1999-06-02 Toshiba Corp 画像処理装置
US7567274B2 (en) * 2002-12-09 2009-07-28 Frank Edughom Ekpar Method and apparatus for creating interactive virtual tours
KR100525425B1 (ko) * 2003-02-04 2005-11-02 엘지전자 주식회사 영상 워핑 방법 및 장치
JP2008526055A (ja) * 2004-12-07 2008-07-17 シリコン オプティックス インコーポレイテッド 動的ワープマップ生成システムおよび方法
JP2006270918A (ja) * 2005-02-25 2006-10-05 Ricoh Co Ltd 画像補正方法、撮影装置、画像補正装置およびプログラム並びに記録媒体
US20070126892A1 (en) * 2005-11-30 2007-06-07 Haike Guan Correcting an image captured through a lens
JP4885150B2 (ja) * 2006-01-18 2012-02-29 日東光学株式会社 画像処理装置
JP5296967B2 (ja) * 2006-04-25 2013-09-25 パナソニック株式会社 ３次元形状計測装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11323962B2 (en) 2010-08-20 2022-05-03 Samsung Electronics Co., Ltd. Transmission power control method of base station in OFDMA-based wireless communication system
US11617134B2 (en) 2010-08-20 2023-03-28 Samsung Electronics Co., Ltd. Transmission power control method of base station in OFDMA-based wireless communication system

Also Published As

Publication number Publication date
JP5128207B2 (ja) 2013-01-23
KR101373987B1 (ko) 2014-03-12
US20100246994A1 (en) 2010-09-30
US9516285B2 (en) 2016-12-06
EP2184915B1 (en) 2015-04-08
TW200910255A (en) 2009-03-01
WO2009028468A1 (ja) 2009-03-05
JP2009060329A (ja) 2009-03-19
CN101378446A (zh) 2009-03-04
EP2184915A4 (en) 2011-04-06
EP2184915A1 (en) 2010-05-12
KR20140004254A (ko) 2014-01-10

Similar Documents

Publication Publication Date Title
KR101373987B1 (ko) 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램
KR101299055B1 (ko) 화상 처리 장치 및 화상 처리 방법, 화상 처리 프로그램
JP4104571B2 (ja) 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置
KR101356286B1 (ko) 화상 처리 장치, 화상 처리 방법, 프로그램 및 촬상 장치
US8610801B2 (en) Image processing apparatus including chromatic aberration correcting circuit and image processing method
JP5135953B2 (ja) 画像処理装置、画像処理方法、及び撮像装置
JP4504412B2 (ja) 画像処理装置及び画像処理方法
JP4608436B2 (ja) 画像撮影装置
JP4912979B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5268321B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP5036524B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
WO2015083502A1 (ja) 画像処理装置、該方法および該プログラム
JP5454820B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP4996330B2 (ja) 画像歪み補正装置
US20170289471A1 (en) Image pickup device and image pickup method
JPWO2015083499A1 (ja) 画像処理装置、該方法および該プログラム
JP5780747B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5669556B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
A107 Divisional application of patent
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170302

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee