KR20180118790A - 화상 처리 장치, 화상 처리 방법, 기록 매체, 프로그램 및 촬상 장치 - Google Patents

화상 처리 장치, 화상 처리 방법, 기록 매체, 프로그램 및 촬상 장치 Download PDF

Info

Publication number
KR20180118790A
KR20180118790A KR1020187029600A KR20187029600A KR20180118790A KR 20180118790 A KR20180118790 A KR 20180118790A KR 1020187029600 A KR1020187029600 A KR 1020187029600A KR 20187029600 A KR20187029600 A KR 20187029600A KR 20180118790 A KR20180118790 A KR 20180118790A
Authority
KR
South Korea
Prior art keywords
image
pixel
unit
position information
code
Prior art date
Application number
KR1020187029600A
Other languages
English (en)
Other versions
KR102011938B1 (ko
Inventor
아키히로 오쿠무라
Original Assignee
리어롭 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 리어롭 가부시키가이샤 filed Critical 리어롭 가부시키가이샤
Publication of KR20180118790A publication Critical patent/KR20180118790A/ko
Application granted granted Critical
Publication of KR102011938B1 publication Critical patent/KR102011938B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H04N5/23229—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0037—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration with diffracting elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/006—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N5/3572—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 화상 처리 장치는, 광학계의 수차(收差)의 영향을 받은 제1 화상을 기억하는 화상 기억부와, 상기 수차의 영향이 제거된 제2 화상의 각 화소의 화소값을 생성하기 위해 소정의 순서로 주사(走査)된 주목 화소의 위치 정보와, 상기 제1 화상의 각 화소의 위치 정보와 상기 제2 화상의 각 화소의 위치 정보 간의 대응 관계를 나타내는 왜곡 수차 테이블에 근거하여, 상기 주목 화소가 상기 제2 화상 상에서 소정의 순서로 주사될 때마다, 주사된 주목 화소에 대응하는 상기 제1 화상의 화소의 위치 정보를 생성하는 위치 정보 생성부와, 상기 위치 정보 생성부에 의해 생성된 위치 정보의 정수(整數) 정보에 근거하여, 상기 화상 기억부로부터 상기 제1 화상을 판독함으로써, 1화소 단위로 왜곡 수차 보정이 행해진 제1 화상을 출력하는 화상 출력부와, 상기 위치 정보 생성부에 의해 생성된 위치 정보의 소수점 이하 정보를 이용하여, 상기 화상 출력부로부터 출력된 제1 화상의 각 화소에 대해, 왜곡 수차로 인한 위상 시프트(phase shift)를 보정하는 제1 수차 보정부와, 상기 제1 수차 보정부에 의해 보정된 제1 화상에 대하여, 왜곡 수차 이외의 수차를 보정함으로써 상기 제2 화상을 생성하는 제2 수차 보정부를 구비한다.

Description

화상 처리 장치, 화상 처리 방법, 기록 매체, 프로그램 및 촬상 장치
[0001] 본 발명은, 화상 처리 장치, 화상 처리 방법, 기록 매체, 프로그램 및 촬상 장치에 관한 것이다.
[0002] 최근, 예컨대 비디오 카메라, 전자 스틸 카메라, 이른바 스마트 폰, 보안 카메라, 내시경, 현미경 등의 전자 카메라의 용도에, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서나 CCD(Charge Coupled Device) 이미지 센서 등의 고체 촬상(撮像) 소자를 이용한 고체 촬상 장치가 폭넓게 사용되고 있다.
[0003] 고체 촬상 장치에서는, 피사체로부터의 빛이 촬상 광학계를 통해 고체 촬상 소자에 입사(入射)되므로, 이상적인 결상(結像)으로부터의 벗어남, 즉 수차(收差)가 생긴다. 이 때문에, 고체 촬상 장치의 출력 화상이, 화상 중심부로부터의 거리에 따라, 일그러지거나, 흐려지거나, 어두워지거나 하는 등의 화질 열화(劣化)의 정도가 커진다는 문제가 있다.
[0004] 이러한 문제에 대해서, 특허문헌 1에는, 촬영 렌즈의 왜곡 수차 정보에 근거하여, 촬영 렌즈의 화면 상의 중심으로부터 임의의 상 높이(像高)를 기준으로 하여, 근사(近似) 식을 이용해 화상의 왜곡량을 보정하는 기술이 개시된 바 있다.
[0005] 특허문헌 2에는, 왜곡 수차의 보정 시에 화상에 발생할 수 있는 계단현상(jaggies)을 억제하는 기술이 개시되어 있다.
특허문헌 3에는, 해상도 변환을 행할 때의 화질 열화를 미연에 방지하는 기술이 개시되어 있다.
특허문헌 4 및 특허문헌 5에는, 렌즈 수차에 기인하는 상의 일그러짐을 보정하기 위한 보정량을 양호한 정밀도로 구하는 기술이 개시되어 있다.
[0006] 일본 특허공개공보 H04-348343호 일본 특허공개공보 H06-165024호 일본 특허공개공보 제2005-311473호 일본 특허공개공보 H07-193790호 일본 특허공개공보 제2000-4391호
[0007] 본 발명은, 종래 기술의 문제를 해결하는 것이다.
[0008] 본 발명의 제1 양태는, 광학계의 수차의 영향을 받은 제1 화상을 기억하는 화상 기억부와, 상기 수차의 영향이 제거된 제2 화상의 각 화소의 화소값을 생성하기 위해 소정의 순서로 주사(走査)된 주목 화소의 위치 정보와, 상기 제1 화상의 각 화소의 위치 정보와 상기 제2 화상의 각 화소의 위치 정보 간의 대응 관계를 나타내는 왜곡 수차 테이블에 근거하여, 상기 주목 화소가 상기 제2 화상 상에서 소정의 순서로 주사될 때마다, 주사된 주목 화소에 대응하는 상기 제1 화상의 화소의 위치 정보를 생성하는 위치 정보 생성부와, 상기 위치 정보 생성부에 의해 생성된 위치 정보의 소수점 이하 정보를 이용하여, 상기 화상 기억부로부터 판독된 제1 화상의 각 화소에 대해서, 왜곡 수차로 인한 위상 시프트(phase shift)를 보정하는 제1 수차 보정부와, 상기 제1 수차 보정부에 의해 보정된 제1 화상에 대해, 왜곡 수차 이외의 수차를 보정함으로써 상기 제2 화상을 생성하는 제2 수차 보정부를 구비한다.
[0009] 본 발명의 제2 양태는, 광학계의 수차의 영향을 받은 제1 화상의 각 화소의 위치 정보와 상기 수차의 영향이 제거된 제2 화상의 각 화소의 위치 정보 간의 대응 관계를 나타내는 왜곡 수차 테이블과, 상기 제2 화상의 각 화소의 화소값을 생성하기 위해 소정의 순서로 주사된 주목 화소의 위치 정보에 근거하여, 상기 주목 화소가 상기 제2 화상 상에서 소정의 순서로 주사될 때마다, 주사된 주목 화소에 대응하는 상기 제1 화상의 화소의 위치 정보를 생성하는 위치 정보 생성 단계와, 상기 위치 정보 생성 단계에서 생성된 위치 정보의 소수점 이하 정보를 이용하여, 상기 제1 화상을 기억하는 화상 기억부로부터 판독된 제1 화상의 각 화소에 대하여, 왜곡 수차로 인한 위상 시프트를 보정하는 제1 수차 보정 단계와, 상기 제1 수차 보정 단계에서 보정된 제1 화상에 대하여, 왜곡 수차 이외의 수차를 보정함으로써 상기 제2 화상을 생성하는 제2 수차 보정 단계를 구비한다.
[0010] 본 발명의 제3 양태는, 컴퓨터를, 광학계의 수차의 영향을 받은 제1 화상을 기억하는 화상 기억부와, 상기 수차의 영향이 제거된 제2 화상의 각 화소의 화소값을 생성하기 위해 소정의 순서로 주사된 주목 화소의 위치 정보와, 상기 제1 화상의 각 화소의 위치 정보와 상기 제2 화상의 각 화소의 위치 정보 간의 대응 관계를 나타내는 왜곡 수차 테이블에 근거하여, 상기 주목 화소가 상기 제2 화상 상에서 소정의 순서로 주사될 때마다, 주사된 주목 화소에 대응하는 상기 제1 화상의 화소의 위치 정보를 생성하는 위치 정보 생성부와, 상기 위치 정보 생성부에 의해 생성된 위치 정보의 소수점 이하 정보를 이용하여, 상기 화상 기억부로부터 판독된 제1 화상의 각 화소에 대해, 왜곡 수차로 인한 위상 시프트를 보정하는 제1 수차 보정부와, 상기 제1 수차 보정부에 의해 보정된 제1 화상에 대하여, 왜곡 수차 이외의 수차를 보정함으로써 상기 제2 화상을 생성하는 제2 수차 보정부로 하여금 기능하게 하기 위한 프로그램이 기록된 기록 매체이다.
[0011] 본 발명의 제4 양태는, 광학계를 통해 입사되는 촬상 광에 따라 제1 화상을 생성하는 촬상 소자와, 상기 촬상 소자에 의해 생성된 제1 화상을 기억하는 화상 기억부와, 상기 수차의 영향이 제거된 제2 화상의 각 화소의 화소값을 생성하기 위해 소정의 순서로 주사된 주목 화소의 위치 정보와, 상기 제1 화상의 각 화소의 위치 정보와 상기 제2 화상의 각 화소의 위치 정보 간의 대응 관계를 나타내는 왜곡 수차 테이블에 근거하여, 상기 주목 화소가 상기 제2 화상 상에서 소정의 순서로 주사될 때마다, 주사된 주목 화소에 대응하는 상기 제1 화상의 화소의 위치 정보를 생성하는 위치 정보 생성부와, 상기 위치 정보 생성부에 의해 생성된 위치 정보의 소수점 이하 정보를 이용하여, 상기 화상 기억부로부터 판독된 제1 화상의 각 화소에 대해, 왜곡 수차로 인한 위상 시프트를 보정하는 제1 수차 보정부와, 상기 제1 수차 보정부에 의해 보정된 제1 화상에 대하여, 왜곡 수차 이외의 수차를 보정함으로써 상기 제2 화상을 생성하는 제2 수차 보정부를 구비한다.
[0012] 본 발명은, 광학계의 영향을 받아 화질이 열화된 화상을 고정밀도로 보정할 수가 있다.
[0013] 도 1은 코드 분류형 적응 필터에 의한 화상 변환 처리를 행하는 화상 변환 장치의 구성예를 나타낸 블록도이다.
도 2는 화상 변환 장치에 의한 화상 변환 처리를 설명하는 플로우 차트이다.
도 3은 학습 장치의 구성예를 나타낸 블록도이다.
도 4는 학습부의 구성예를 나타낸 블록도이다.
도 5는 학습 장치에 의한 처리(학습 처리)를 설명하는 플로우 차트이다.
도 6은 본 기술을 적용한 디지털 카메라의 일 실시형태와 관련되는 구성예를 나타낸 블록도이다.
도 7은 화상 보정부에서 행해지는 수차 보정 처리를 행하는 화상 변환 장치의 구성예를 나타낸 블록도이다.
도 8a는 촬상 장치에 의한 왜곡 수차의 성질을 나타내는 개념도이다.
도 8b는 촬상 장치에 의한 왜곡 수차의 성질을 나타내는 개념도이다.
도 9는 디스토션(distortion)의 일례를 나타낸 도면이다.
도 10은 왜곡 수차 보정 위치 정보 생성 처리부의 처리를 설명하는 플로우 차트이다.
도 11은 계수 보간 처리부의 처리를 설명하는 플로우 차트이다.
도 12a는 왜곡 수차가 있는 제1 화상의 근방에 탭을 하는 방법이나 화소를 판독하는 방법을 나타내는 개념도이다.
도 12b는 왜곡 수차가 있는 제1 화상의 근방에 탭을 하는 방법이나 화소를 판독하는 방법을 나타내는 개념도이다.
도 13은 위치 정보 정렬부의 처리를 나타내는 개념도이다.
도 14는 제1 수차 보정 처리부에서의 미소한 수차 보정을 행하는 화상 변환 장치의 구성예를 나타낸 블록도이다.
도 15는 위상 정보로부터 위상 시프트 양을 학습한 탭 계수의 선택 방법을 나타내는 개념도이다.
도 16은 곱합 연산부의 구성예를 나타낸 도면이다.
도 17은 필터 탭 선택부에서 선택되는 필터 탭의 구성예를 나타낸 도면이다.
도 18은 코드 탭 선택부에서 선택되는 코드 탭의 구성예를 나타낸 도면이다.
도 19는 코드 연산부의 구성예를 나타낸 블록도이다.
도 20은 양자화 연산부에서 행해지는 1비트 DR 양자화의 예를 설명하는 도면이다.
도 21은 중심 화소 차분비 검출부에서 행해지는 중심 화소 차분비를 설명하는 도면이다.
도 22a는 9비트로 코드 분류된 양자화 코드와 탭 계수의 관계를 나타낸 도면이다.
도 22b는 9비트로 코드 분류된 양자화 코드, 변환 테이블 및 탭 계수의 관계를 나타낸 도면이다.
도 22c는 9비트로 코드 분류된 양자화 코드, 공통 변환 테이블 및 탭 계수의 관계를 나타낸 도면이다.
도 23은 화상 변환 장치에 의한 화상 변환 처리의 예를 설명하는 플로우 차트이다.
도 24는 제2 수차 보정 처리부에서의 주로 선예감 개선을 위한 수차 보정 처리를 행하는 화상 변환 장치의 구성예를 나타낸 블록도이다.
도 25는 필터 탭 선택부에 의해 선택되는 필터 탭의 구성예를 나타낸 도면이다.
도 26은 코드 탭 선택부에 의해 선택되는 코드 탭의 구성예를 나타낸 도면이다.
도 27은 코드 연산부의 구성예를 나타낸 블록도이다.
도 28은 주목 화소 선택부로부터의 위치 정보를 분할한 위치 정보를 나타내는 개념도이다.
도 29는 화상 변환 장치에 의한 화상 변환 처리의 예를 설명하는 플로우 차트이다.
도 30은 화상 변환 장치에 의한 화상 변환 처리의 예를 설명하는 플로우 차트다.
도 31은 제1 수차 보정 처리부에서의 미소한 수차 보정을 행하는 화상 변환 장치의 다른 구성예를 나타낸 블록도이다.
도 32는 화상 보정부에서 행해지는 수차 보정 처리를 행하는 화상 변환 장치의 다른 구성예를 나타낸 블록도이다.
도 33은 제2 수차 보정 처리부에서의 주로 선예감 개선을 위한 수차 보정 처리를 행하는 화상 변환 장치의 구성예를 나타낸 블록도이다.
도 34는 화상 변환 장치에 의한 화상 변환 처리의 예를 설명하는 플로우 차트이다.
[0014] 이하, 본 발명의 실시형태에 대해 설명한다. 맨 먼저, 코드 분류형 적응 필터에 대해 설명한다.
[0015] ［코드 분류형 적응 필터］
코드 분류형 적응 필터는, 제1 화상을 제2 화상으로 변환하는 화상 변환 처리로서, 제1 및 제2 화상의 정의에 따라 다양한 신호 처리를 행한다.
예컨대, 제1 화상이 저해상도 화상이며, 제2 화상이 고해상도 화상인 경우, 코드 분류형 적응 필터는, 해상도를 향상시키는 초(超)해상 처리를 행한다.
[0016] 제1 화상이 저 S/N(Signal/Noise) 화상이며, 제2 화상이 고 S/N 화상인 경우, 코드 분류형 적응 필터는, 노이즈 제거 처리를 행한다.
제2 화상이 제1 화상보다 화소 수가 많거나 또는 적은 경우, 코드 분류형 적응 필터는, 화상의 리사이징(확대 또는 축소) 처리를 행한다.
[0017] 제1 화상이 가우시안 모델(gaussian model) 등으로 흐려진 화상이며, 제2 화상이 흐려지지 않은 화상인 경우, 코드 분류형 적응 필터는, 흐려짐 제거 처리를 행한다.
제1 화상이 위상을 시프트시킨 화상이며, 제2 화상이 위상을 시프트시키지 않은 화상인 경우, 코드 분류형 적응 필터는, 위상 시프트 처리를 행한다.
[0018] 코드 분류형 적응 필터는, 코드의 탭 계수와, 제2 화상 중 주목하고 있는 주목 화소에 대해서 선택되는 제1 화상의 화소의 화소값을 이용하여, 주목 화소의 화소값을 연산한다. 또한, 코드의 탭 수는, 제2 화상의 주목 화소의 화소값을 복수의 코드 중의 어느 하나의 코드로 코드 분류함으로써 구해진다.
[0019] 도 1은, 코드 분류형 적응 필터에 의한 화상 변환 처리를 행하는 화상 변환 장치(10)의 구성예를 나타낸 블록도이다.
[0020] 화상 변환 장치(10)에는, 제1 화상이 공급된다. 제1 화상은, 코드 탭 선택부(13) 및 필터 탭 선택부(12)에 공급된다.
주목 화소 선택부(11)는, 제2 화상을 구성하는 각각의 화소를, 차례로, 주목 화소로서 선택하고, 선택한 주목 화소를 나타내는 정보를 소정의 블록에 공급한다.
[0021] 필터 탭 선택부(12)는, 주목 화소의 화소값을 필터 연산으로 구하기 위하여, 제1 화상을 구성하는 복수의 화소의 화소값을, 필터 탭으로서 선택한다. 구체적으로는, 필터 탭 선택부(12)는, 주목 화소의 위치로부터 가까운 위치에 있는 제1 화상의 복수의 화소의 화소값을 필터 탭으로서 선택하고, 선택한 필터 탭을 곱합(積和) 연산부(16)에 공급한다.
[0022] 코드 탭 선택부(13)는, 주목 화소를 몇 개의 코드 중의 어느 하나로 코드 분류하기 위하여, 주목 화소의 위치로부터 가까운 위치에 있는 제1 화상을 구성하는 복수의 화소의 화소값을 코드 탭으로서 선택하고, 선택한 코드 탭을 코드 연산부(14)에 공급한다.
또한, 필터 탭과 코드 탭의 탭 구조(선택되는 화소의 구조)는, 동일한 탭 구조여도 되고, 다른 탭 구조여도 된다.
[0023] 코드 연산부(14)는, 코드 탭 선택부(13)로부터의 코드 탭에 근거하여, 소정의 규칙에 따라, 주목 화소를 코드 분류하고, 주목 화소의 코드에 대응하는 코드를 계수 기억부(15)에 공급한다.
[0024] 코드 분류를 행하는 방법은, 예컨대, 코드 탭으로서의 화소값을 양자화하는 DR(Dynamic Range) 양자화 방법 등이 있다. DR 양자화 방법은, 코드 탭을 구성하는 화소의 화소값을 양자화하여, 그 결과 얻어지는 DR 양자화 코드에 따라 주목 화소의 코드를 결정한다.
[0025] N비트 DR 양자화 방법에 있어서는, 예컨대, 최초로 코드 탭을 구성하는 화소의 화소값의 최대치(MAX)와 최소치(MIN)가 검출된다. 다음으로, 다이나믹 레인지(DR)(=최대치(MAX)-최소치(MIN))가, 코드 탭을 구성하는 화소의 집합의 국소적인 다이나믹 레인지로 설정된다. 그리고, 이 다이나믹 레인지(DR)에 근거하여, 코드 탭을 구성하는 각 화소의 화소값이 N비트로 양자화된다.
[0026] 즉, 코드 탭을 구성하는 각 화소의 화소값으로부터 최소치(MIN)가 감산되고, 그 감산치가 DR/2N으로 제산(除算)(양자화)된다.
이상과 같은 코드 탭을 구성하는 N비트의 각 화소의 화소값이 소정의 순서로 배열되며, 배열된 비트 열(列)이 DR 양자화 코드로서 출력된다.
[0027] 코드 탭이 예컨대 1비트 DR 양자화 처리된 경우, 그 코드 탭을 구성하는 각 화소의 화소값은, 최대치(MAX)와 최소치(MIN) 간의 평균치로 제산된다(정수(整數) 연산). 이로써, 각 화소의 화소값이 1비트가 된다(2치화(値化)). 그리고, 그 1비트의 화소값을 소정의 순서로 배열한 비트 열이, DR 양자화 코드로서 출력된다. DR 양자화만으로 코드 분류가 행해질 경우, 예컨대, DR 양자화 코드가, 코드 연산부(14)에서 연산되는 코드가 된다.
[0028] 또한, 코드 연산부(14)는, 예컨대, 코드 탭을 구성하는 화소의 화소값의 레벨 분포의 패턴을, 그대로 클래스 코드로서 출력할 수도 있다. 여기서, 코드 탭이 M개의 화소의 화소값으로 구성되고, 각 화소의 화소값에 A비트가 할당되어 있는 경우, 코드 연산부(14)가 출력하는 코드의 수가 (2M)A 정도가 된다. 즉, 코드의 수는, 화소의 화소값의 비트 수(A)에 대해서 지수함수적으로 비례한 방대한 수가 된다. 따라서, 코드 연산부(14)는, 코드 탭의 정보량을 상술한 DR 양자화나 혹은 벡터 양자화 등에 의해 압축함으로써, 코드 분류를 행하는 것이 바람직하다.
[0029] 계수 기억부(15)는, 후술하는 학습에 의해 구해진 코드마다 탭 계수를 기억하고 있다. 계수 기억부(15)는, 코드 연산부(14)로부터 코드가 공급되면, 그 코드에 대응하는 어드레스에 기억되어 있는 탭 계수를 출력하고, 이 탭 계수를 곱합 연산부(16)에 공급한다. 여기서, 탭 계수란, 디지털 필터에 있어서의, 이른바 탭에 있어서 입력 데이터에 대해 승산(乘算)되는 계수를 말한다.
[0030] 곱합 연산부(16)는, 필터 탭 선택부(12)가 출력하는 필터 탭과, 계수 기억부(15)가 출력하는 탭 계수를 이용하여, 주목 화소의 화소값의 예측치를 구하기 위한 곱합 연산을 행한다. 즉, 곱합 연산부(16)는, 주목 화소의 화소값, 즉, 제2 화상을 구성하는 화소의 화소값을 구한다.
[0031] 도 2는, 화상 변환 장치(10)에 의한 화상 변환 처리를 설명하는 플로우 차트이다.
단계 S11에서는, 주목 화소 선택부(11)는, 화상 변환 장치(10)에 입력된 제1 화상에 대한 제2 화상을 구성하는 화소 중, 아직 주목되어 있지 않은(변환 처리되어 있지 않은) 화소 중 하나를 주목 화소로서 선택한다. 주목 화소 선택부(11)는, 예컨대, 제2 화상을 구성하는 각 화소에 대하여, 래스터 스캔(raster scan) 순으로, 아직 주목되어 있지 않은 화소로부터 주목 화소를 선택한다. 그리고, 단계 S12로 진행한다.
[0032] 단계 S12에서는, 코드 탭 선택부(12)는, 화상 변환 장치(10)에 입력된 제1 화상의 각 화소로부터, 주목 화소에 대한 코드 탭을 구성하는 화소를 선택하고, 선택한 코드 탭을 코드 연산부(14)에 공급한다. 필터 탭 선택부(13)는, 화상 변환 장치(10)에 입력된 제1 화상의 각 화소로부터, 주목 화소에 대한 필터 탭을 구성하는 화소를 선택하고, 선택한 필터 탭을 곱합 연산부(16)에 공급한다. 그리고, 단계 S13으로 진행한다.
[0033] 단계 S13에서는, 코드 연산부(14)는, 코드 탭 선택부(12)로부터 공급된 주목 화소에 대한 코드 탭에 근거하여, 주목 화소를 코드 연산한다. 나아가, 코드 연산부(14)는, 그 코드 연산의 결과 얻어지는 주목 화소의 코드를 계수 기억부(15)에 공급한다. 그리고, 단계 S14로 진행한다.
[0034] 단계 S14에서는, 계수 기억부(15)는, 코드 연산부(14)로부터 공급되는 코드에 대응하는 어드레스에 기억되어 있는 탭 계수를 취득하여 출력한다. 곱합 연산부(16)는, 계수 기억부(15)로부터 출력된 탭 계수를 취득한다. 그리고, 단계 S15로 진행한다.
[0035] 단계 S15에서는, 곱합 연산부(16)는, 필터 탭 선택부(12)로부터 출력된 필터 탭과, 계수 기억부(15)로부터 취득한 탭 계수를 이용하여, 소정의 곱합 연산을 행함으로써 주목 화소의 화소값을 구한다. 그리고, 단계 S16으로 진행한다.
[0036] 단계 S16에서는, 주목 화소 선택부(11)는, 제2 화상의 각 화소 중에, 아직 주목 화소로서 선택되어 있지 않은 화소가 있는지 여부를 판정한다. 긍정적인 판정 결과인 경우, 즉, 주목 화소로서 선택되어 있지 않은 화소가 있는 경우에는, 단계 S11로 돌아와, 다시 단계 S11 이후의 처리가 행해진다. 부정적인 판정 결과인 경우, 즉, 주목 화소로서 선택되어 있지 않은 화소가 없는 경우에는, 제2 화상의 모든 화소에 대해 화소값이 구해졌으므로, 처리를 종료한다.
[0037] ＜탭 계수를 구하는 방법＞
다음으로, 곱합 연산부(16)의 곱합 연산과, 계수 기억부(15)에 기억되는 탭 계수의 학습에 대해 설명한다. 여기에서는, 제2 화상이 고화질 화상이며, 제1 화상이 그 고화질 화상에 LPF(Low Pass Filter) 처리를 실시하여 화질(해상도)을 저하시킨 저화질 화상인 것으로 한다.
[0038] 곱합 연산부(16)는, 예컨대, 선형(線形) 1차 예측 연산을 행한다. 이때, 고화질 화상의 화소값(y)은, 다음의 식 (1)의 선형 1차식에 의해 구해진다.
[0039] [수 1]
Figure pct00001
식 (1)에 있어서, xn은, 고화질 화상의 화소(y)에 대한 필터 탭을 구성하는 n번째의 저화질 화상의 화소(저화질 화소)의 화소값을 나타낸다. wn은, n번째의 저화질 화소의 화소값(xn)에 승산되는 n번째의 탭 계수를 나타낸다. 또, 식 (1)에서는, 필터 탭은, N개의 저화질 화소(x1, x2,…, xn)로 구성된다.
[0040] 여기서, 고화질 화소의 화소값(y)은, 식 (1)에 나타낸 선형 1차식이 아닌, 2차 이상의 고차(高次) 식에 의해서도 구해진다.
제k 샘플(k번째)의 고화질 화소의 화소값의 참값(眞値)을 yk로 나타내고, 식 (1)에 의해 얻어지는 그 참값(yk)의 예측치를 yk＇로 나타낸다. 예측치(yk＇)의 참값(yk)에 대한 예측 오차(ek)는, 식 (2)로 나타내어진다.
[0041] [수 2]
Figure pct00002
[0042] 식 (2)의 예측치(yk＇)는, 식 (1)에 따라 구해진다. 식 (2)의 yk＇를 식 (1)에 따라 치환하면, 식 (3)이 얻어진다.
[0043] [수 3]
Figure pct00003
식 (3)에 있어서, xn,k는, 제k 샘플의 고화질 화소(yk)에 대한 필터 탭을 구성하는 n번째의 저화질 화소를 나타낸다.
[0044] 식 (3)(또는 식 (2))의 예측 오차(ek)를 0으로 하는 탭 계수(wn)가, 고화질 화소(yk)를 예측하기 위해 최적인 탭 계수가 된다. 그러나, 모든 고화질 화소(yk)에 대해 최적인 탭 계수(wn)를 구하는 것은, 일반적으로 곤란하다.
[0045] 따라서, 탭 계수(wn)가 최적인 값임을 나타내는 규범으로서, 예컨대, 최소자승법(最小自乘法)을 채용한다. 이 경우, 최적인 탭 계수(wn)는, 식 (4)로 나타내어지는 자승 오차의 총합(E)을 최소로 함으로써 구해진다.
[0046] [수 4]
Figure pct00004
식 (4)에 있어서, K는, 고화질 화소(yk)와, 그 고화질 화소(yk)에 대한 필터 탭을 구성하는 저화질 화소(x1,k, x2,k,…, xn,k)가 세트가 된 샘플 수(학습용 샘플의 수)를 나타낸다.
[0047] 식 (4)의 자승 오차의 총합(E)의 최소치(극소치(極小値))는, 식 (5)에 나타낸 바와 같이, 총합(E)을 탭 계수(wn)로 편미분(偏微分)한 결과를 0으로 하는 wn에 의해 구해진다.
[0048] [수 5]
Figure pct00005
따라서, 상술한 식 (3)을 탭 계수(wn)로 편미분하면, 식 (6)이 얻어진다.
[0049] [수 6]
Figure pct00006
식 (5) 및 (6)으로부터, 식 (7)이 얻어진다.
[0050] [수 7]
Figure pct00007
식 (7)의 ek에 식 (3)을 대입하면, 식 (7)은 식 (8)에 나타내는 정규 방정식으로 나타내어진다.
[0051] [수 8]
Figure pct00008
[0052] 식 (8)의 정규 방정식에 예컨대 행(行)의 줄임(row reduction)(Gauss-Jordan의 소거법) 등을 이용함으로써, 탭 계수(wn)가 도출된다. 또, 식 (8)의 정규 방정식을 코드마다 식을 세워 풂으로써, 최적의 탭 계수(자승 오차의 총합(E)을 최소로 하는 탭 계수; wn)가 코드마다 구해진다.
[0053] 도 3은, 식 (8)의 정규 방정식을 코드마다 식을 세워 풂으로써 탭 계수(wn)를 구하는 학습을 행하는 학습 장치의 구성예를 나타낸 블록도이다.
학습 장치(20)의 학습용 화상 기억부(21)는, 탭 계수(wn)의 학습에 이용되는 학습용 화상을 기억하고 있다. 또한, 학습용 화상은, 예컨대, 해상도가 높은 고화질 화상이 해당된다.
[0054] 교사(敎師) 데이터 생성부(22)는, 학습용 화상 기억부(21)로부터 학습용 화상을 판독한다. 교사 데이터 생성부(22)는, 학습용 화상으로부터, 탭 계수의 학습의 교사(참값), 즉, 식 (1)에 의한 예측 연산으로서의 맵핑(寫像, mapping)의 맵핑 타겟(寫像先)의 화소값이 되는 교사 데이터(교사 화상)를 생성하여, 교사 데이터 기억부(23)에 공급한다. 또한, 교사 데이터 생성부(22)는, 학습용 화상인 고화질 화상을, 그대로 교사 데이터로서 교사 데이터 기억부(23)에 공급해도 된다.
[0055] 교사 데이터 기억부(23)는, 교사 데이터 생성부(22)로부터 공급되는 고화질 화상을 교사 데이터로서 기억한다.
학생 데이터 생성부(24)는, 학습용 화상 기억부(21)로부터 학습용 화상을 판독한다. 학생 데이터 생성부(24)는, 학습용 화상으로부터, 탭 계수의 학습의 학생, 즉, 식 (1)에 의한 예측 연산으로서의 맵핑에 의한 변환 대상의 화소값이 되는 학생 데이터(학생 화상)를 생성하여, 학생 데이터 기억부(25)에 공급한다.
[0056] 예컨대, 학생 데이터 생성부(24)는, 학습용 화상으로서의 고화질 화상을 필터링하여, 해상도가 저하된 저화질 화상을 생성하고, 이 저화질 화상을 학생 데이터로서 학생 데이터 기억부(25)에 공급한다.
학생 데이터 기억부(25)는, 학생 데이터 생성부(24)로부터 공급되는 저화질 화상을 학생 데이터로서 기억한다.
[0057] 학습부(26)는, 교사 데이터 기억부(23)에 기억된 고화질 화상의 각 화소를, 차례로 주목 화소로서 선택한다. 학습부(26)는, 선택한 주목 화소에 대응하는 필터 탭으로서, 학생 데이터 기억부(25)에 기억된 저화질 화상을 구성하는 저화질 화소 중, 도 1의 필터 탭 선택부(12)가 선택하는 것과 동일한 탭 구조의 저화질 화소를 선택한다.
[0058] 나아가, 학습부(26)는, 교사 데이터를 구성하는 각 화소와, 해당 화소가 주목 화소일 때에 선택된 필터 탭을 이용하여, 코드마다 식 (8)의 정규 방정식을 세워 풂으로써, 코드마다의 탭 계수를 구한다.
[0059] 도 4는, 학습부(26)의 구성예를 나타낸 블록도이다.
주목 화소 선택부(31)는, 교사 데이터 기억부(23)에 기억되어 있는 교사 데이터를 구성하는 화소를, 차례로 주목 화소로서 선택하고, 그 주목 화소를 나타내는 정보를 소정의 블록에 공급한다.
[0060] 필터 탭 선택부(32)는, 주목 화소에 대응하는 필터 탭으로서, 학생 데이터 기억부(25)에 기억된 저화질 화상을 구성하는 저화질 화소로부터, 도 1의 필터 탭 선택부(12)가 선택하는 것과 동일한 화소를 선택한다. 이로써, 필터 탭 선택부(12)에서 얻어지는 것과 동일한 탭 구조의 필터 탭이 얻어진다. 필터 탭은, 누계부(35)에 공급된다.
[0061] 코드 탭 선택부(33)는, 주목 화소에 대응하는 코드 탭으로서, 학생 데이터 기억부(25)에 기억된 저화질 화상을 구성하는 저화질 화소로부터, 도 1의 코드 탭 선택부(13)가 선택하는 것과 동일한 화소를 선택한다. 이로써, 코드 탭 선택부(13)에서 얻어지는 것과 동일한 탭 구조의 코드 탭이 얻어진다. 코드 탭은, 코드 연산부(34)에 공급된다.
[0062] 코드 연산부(34)는, 코드 탭 선택부(33)로부터 출력된 코드 탭에 근거하여, 도 1의 코드 연산부(14)와 동일한 코드 연산을 실시하고, 그 결과 얻어지는 코드를, 누계부(35)에 공급한다.
[0063] 누계부(35)는, 교사 데이터 기억부(23)로부터 주목 화소인 교사 데이터(화소)를 판독한다. 누계부(35)는, 코드 연산부(34)로부터 공급되는 코드마다, 교사 데이터 기억부(23)로부터 판독한 주목 화소와, 필터 탭 선택부(32)로부터 공급되는 주목 화소에 대한 필터 탭을 구성하는 학생 데이터(화소)를 대상으로 한 누계를 행한다.
[0064] 여기서, 누계부(35)에는, 교사 데이터 기억부(23)로부터 판독된 교사 데이터(yk), 필터 탭 선택부(32)에서 선택된 필터 탭(xn,k), 코드 연산부(34)에서 연산된 코드가 공급된다.
[0065] 누계부(35)는, 코드 연산부(34)로부터 공급되는 코드마다, 필터 탭(학생 데이터; xn,k)을 이용하여, 식 (8)의 좌변의 행렬에 있어서의 학생 데이터끼리의 승산(xn,k·xn＇,k)과 총합(summation)(Σ)에 상당하는 연산을 행한다.
[0066] 나아가, 누계부(35)는, 코드 연산부(34)로부터 공급되는 코드마다, 필터 탭(학생 데이터; xn,k)과 교사 데이터(yk)를 이용하여, 식 (8)의 우변의 벡터에 있어서의 학생 데이터(xn,k)와 교사 데이터(yk)의 곱셈(xn,k·yk)과, 총합(Σ)에 상당하는 연산을 행한다.
[0067] 즉, 누계부(35)는, 전회(前回)에, 주목 화소가 된 교사 데이터에 대하여 구해진 식 (8)에 있어서의 좌변의 행렬의 컴퍼넌트(Σxn,k·xn＇,k)와, 우변의 벡터의 컴퍼넌트(Σxn,k·yk)를, 내장된 기억부(도시생략)에 기억하고 있다. 누계부(35)는, 행렬 컴퍼넌트(Σxn,k·xn',k) 또는 벡터 컴퍼넌트(Σxn,k·yk)에 대하여, 새롭게 주목 화소가 된 교사 데이터에 대해, 교사 데이터(yk＋1)와 학생 데이터(xn,k＋1)를 이용해 계산되는, 대응 컴퍼넌트(xn,k＋1·xn＇,k＋1 또는 xn,k＋1·yk＋1)를, 각각 누계한다(식 (8)의 총합(summation)으로 나타내어지는 가산).
[0068] 그리고, 누계부(35)는, 교사 데이터 기억부(23)에 기억된 교사 데이터 모두를 주목 화소로 하여 상술한 누계를 행함으로써, 각 코드에 대해 식 (8)에 나타낸 정규 방정식을 세우고, 그 정규 방정식을 탭 계수 연산부(36)에 공급한다.
[0069] 탭 계수 연산부(36)는, 누계부(35)로부터 공급되는 각 코드에 대한 정규 방정식을 풂으로써, 각 코드에 대해, 최적의 탭 계수(wn)를 구한다.
도 1의 화상 변환 장치(10)에 있어서의 계수 기억부(15)에는, 이상과 같이 하여 구해진 코드마다의 탭 계수(wn)가 기억되어 있다.
[0070] 도 5는, 도 3의 학습 장치(20)의 학습 처리를 설명하는 플로우 차트이다.
단계 S21에서는, 교사 데이터 생성부(22)는, 학습용 화상 기억부(21)에 기억된 학습용 화상으로부터 교사 데이터를 생성하고, 생성한 교사 데이터를 교사 데이터 기억부(23)에 공급한다. 학생 데이터 생성부(24)는, 학습용 화상 기억부(21)에 기억된 학습용 화상으로부터 학생 데이터를 생성하고, 생성한 학생 데이터를 학생 데이터 기억부(25)에 공급한다. 그리고, 단계 S22로 진행한다. 또한, 교사 데이터 또는 학생 데이터로서 최적인 학습용 화상은, 코드 분류형 적응 필터가 어떠한 화상 변환 처리를 행하는가에 따라 선택된다.
[0071] 단계 S22에서는, 도 4에 나타내는 학습부(26)의 주목 화소 선택부(31)는, 도 3에 나타내는 교사 데이터 기억부(23)에 기억된 교사 데이터 중, 아직, 주목 화소가 되지 않은 화소를, 주목 화소로서 선택한다. 그리고, 단계 S23으로 진행한다.
[0072] 단계 S23에서는, 도 4에 나타내는 필터 탭 선택부(32)는, 주목 화소에 대해, 도 3에 나타내는 학생 데이터 기억부(25)에 기억된 학생 데이터로부터 필터 탭으로 하는 학생 데이터로서의 화소를 선택하고, 누계부(35)에 공급한다.
도 4에 나타내는 코드 탭 선택부(33)는, 주목 화소에 대해, 도 3에 나타내는 학생 데이터 기억부(25)에 기억된 학생 데이터로부터 코드 탭으로 하는 학생 데이터를 선택하고, 코드 연산부(34)에 공급한다. 그리고, 단계 S24로 진행한다.
[0073] 단계 S24에서는, 코드 연산부(34)는, 주목 화소에 대한 코드 탭에 근거하여, 주목 화소의 코드 연산을 실시하고, 그 결과 얻어지는 코드를 누계부(35)에 공급한다. 그리고, 단계 S25로 진행한다.
[0074] 단계 S25에서는, 누계부(35)는, 교사 데이터 기억부(23)로부터 주목 화소를 판독한다. 누계부(35)는, 코드 연산부(34)로부터 공급되는 코드마다, 판독한 주목 화소와, 필터 탭 선택부(32)로부터 공급되는 주목 화소에 대해 선택된 필터 탭을 구성하는 학생 데이터를 대상으로 한 식 (8)의 누계를 행한다. 그리고, 단계 S26으로 진행한다.
[0075] 단계 S26에서는, 주목 화소 선택부(31)는, 교사 데이터 기억부(23)에 기억된 교사 데이터 중, 아직 주목 화소로서 선택되지 않은 화소가 있는지 여부를 판정한다. 긍정적인 판정 결과인 경우, 즉, 교사 데이터 중에 주목 화소로서 선택되지 않은 화소가 있는 경우, 단계 S22로 돌아와, 단계 S22 이하의 처리가 실행된다.
[0076] 부정적인 판정 결과인 경우, 즉, 교사 데이터 중에 주목 화소로서 선택되지 않은 화소가 없는 경우, 누계부(35)는, 단계 S22~S26의 처리에 의해 얻어진 코드마다의 식 (8)의 좌변의 행렬 및 우변의 벡터를, 탭 계수 연산부(36)에 공급한다. 그리고, 단계 S27로 진행한다.
[0077] 단계 S27에서는, 탭 계수 연산부(36)는, 누계부(35)로부터 공급되는 코드마다의 식(8)에 있어서의 좌변의 행렬과 우변의 벡터에 의해 구성되는 코드마다의 정규 방정식에 따라, 코드마다 탭 계수(wn)를 연산한다. 그리고, 일련의 처리를 종료한다.
[0078] 또한, 학습용 화상의 수가 충분하지 않은 것 등에 기인하여, 코드에 따라서는, 탭 계수(wn)를 구하는 데에 필요한 수의 정규 방정식이 얻어지지 않는 경우가 있다. 그러한 코드에 대해서는, 탭 계수 연산부(36)는, 예컨대, 미리 설정된 탭 계수를 출력하면 된다.
[0079] ［제1 실시형태］
도 6은, 본 발명의 제1 실시형태와 관련되는 디지털 카메라(40)의 구성예를 나타낸 블록도이다. 디지털 카메라(40)는, 광학계의 설계 정보를 이용하여, 수차가 없는 정지화면 또는 동영상을 촬영한다.
[0080] 디지털 카메라(40)는, 광학계(41), 이미지 센서(42), 기억부(43), 신호 처리부(44), 화상 보정부(45), 출력부(46), 및 제어부(47)를 갖는다.
광학계(41)는, 예컨대, 도시되지 않은 줌 렌즈(zoom lens)나, 포커스 렌즈, 조리개, 광학 로우 패스 필터(low pass filter) 등을 갖는다. 광학계(41)는, 외부로부터의 광을 이미지 센서(42)에 입사시킨다. 광학계(41)는, 도시되지 않은 줌 렌즈의 줌 정보, 조리개의 조임 정보 등의 촬영 정보를 화상 보정부(45)에 공급한다.
[0081] 이미지 센서(42)는, 예컨대, CMOS 이미지 센서이다. 이미지 센서(42)는, 광학계(41)로부터의 입사 광을 수광(受光)하여 광전(光電) 변환을 행하고, 광학계(41)로부터의 입사 광에 대응하는 전기신호로서의 화상을 출력한다.
기억부(43)는, 이미지 센서(42)가 출력하는 화상을 일시 기억한다.
[0082] 신호 처리부(44)는, 기억부(43)에 기억된 화상에 대하여, 예컨대 화이트 밸런스 처리, 디모자이크(demosaic) 처리, 감마 보정 처리나, 노이즈 제거 처리 등의 신호 처리를 실시하고, 신호 처리가 끝난 화상을 화상 보정부(45)에 공급한다.
화상 보정부(45)는, 광학계(41)로부터 공급된 촬영 정보를 이용하여, 신호 처리부(44)로부터 공급된 화상에 대해 수차 보정 등의 화상 보정 처리를 행한다.
[0083] 출력부(46)는, 예컨대, (a) 액정 등으로 구성되는 디스플레이, (b) 반도체 메모리, 자기 디스크, 광 디스크 등의 기록 매체를 구동하는 드라이버, (c) 네트워크, 각종 케이블, 무선 등의 통신 경로를 사용한 통신기에 해당하며, 화상 보정부(45)로부터의 화상을 여러 가지 양태로 출력한다.
[0084] 예컨대, 출력부(46)는, 디스플레이인 경우에는, 화상 보정부(45)로부터의 화상을 이른바 스루 화상(through image)으로서 표시한다. 출력부(46)는, 기록 매체를 구동하는 드라이버인 경우에는, 화상 보정부(45)로부터의 화상을 기록 매체에 기록한다. 출력부(46)는, 통신기인 경우에는, 화상 보정부(45)로부터의 화상을 네트워크 등의 통신 경로를 통해 외부로 출력한다.
제어부(47)는, 사용자의 조작 등에 따라, 디지털 카메라(40)를 구성하는 각 블록을 제어한다.
[0085] 이상과 같이 구성되는 디지털 카메라(40)에서는, 이미지 센서(42)가, 광학계(41)로부터의 입사 광을 수광하고, 그 입사 광에 따라 화상을 출력한다.
이미지 센서(42)가 출력하는 화상은, 기억부(43)에 공급되어 기억된다. 기억부(43)에 기억된 화상은, 신호 처리부(44) 및 화상 보정부(45)에 의한 신호 처리가 실시된다. 화상 보정부(45)에 의한 화상 보정이 끝난 화상은, 출력부(46)를 통해, 외부로 출력된다.
[0086] ＜화상 보정부(45)를 구성하는 화상 변환 장치(50)의 구성예＞
도 7은, 도 6의 화상 보정부(45)에서 행해지는 수차 보정 처리를 행하는 화상 변환 장치(50)의 구성예를 나타낸 블록도이다.
[0087] 화상 보정부(45)는, 예컨대, RGB의 색 성분마다 설치된 복수의 화상 변환 장치(50)를 갖는다. 화상 변환 장치(50)는, RGB의 색 성분마다, 각 색 성분에 대응하는 테이블이나 계수를 이용하여, 화상의 수차 보정 처리를 행한다.
[0088] 화상 변환 장치(50)는, 이상적인 수차가 없는 제1 화상과 광학계(41)를 통해 얻어진 수차가 있는 제2 화상 간의 대응 관계를, 광학 시뮬레이션인 2차원 이미지(像) 시뮬레이션의 결과를 이용해 구한다. 그리고, 화상 변환 장치(50)는, 왜곡 수차 보정용 테이블과 상술한 코드 분류형 적응 필터의 학습 처리에 의해 구한 계수에 의해, 제2 화상에 수차 보정을 행한다.
[0089] 이상적인 왜곡 수차가 없는 제1 화상(x, y)과, 광학계(41)를 통해 얻어진 왜곡 수차가 있는 제2 화상(x＇, y＇) 간의 대응 관계에 대해 설명한다.
왜곡 수차란, 화상의 중심으로부터 방사(放射) 방향으로 화상이 신축하여 화상이 왜곡되는 것을 말한다. 단, 화상의 중심은, 촬상 광학계의 광축과 이미지 센서의 촬상면 간의 교점으로 한다.
[0090] 예컨대, 도 8a에 나타내는 제1 화상 상의 점(P)은, 방사 방향으로 신축하며, 도 8b에 나타내는 제2 화상 상의 점(P＇)에 대응한다. 왜곡의 정도는, 화상의 중심으로부터의 거리(r)에 의존한다. 이상적인 촬상 광학계에 있어서의 왜곡 수차는, 화상의 중심에 대해 점대칭이다. 왜곡 수차가 없는 화상과 왜곡 수차가 있는 화상 간의 대응 관계는, 이하의 식 (9)~(11)과 같다.
[0091] [수 9]
Figure pct00009
식 (9)~(11)에 의하면, 거리(r)와 거리(r＇)의 대응 관계를 나타내는 함수 또는 테이블이 있으면, 이상적인 왜곡 수차가 없는 화상(x, y)과 왜곡 수차가 있는 화상(x＇, y＇) 간의 대응 관계가 구해진다.
[0092] 그러나, 거리(r)와 거리(r＇)의 대응 관계는, 함수를 사용해 고정밀도로 근사(近似)할 수 없다. 이 때문에, 본 실시형태에서는, 거리(r)와 거리(r＇)의 대응 관계에 대해서는, 촬상 광학계의 광학 시뮬레이션 또는 실측치에 의해 구해진 테이블이 사용된다.
[0093] 한편, (x, y)와 (x＇, y＇)의 대응 관계를 직접 나타내는 2차원 테이블을 사용할 수도 있다. 단, 2차원 테이블의 데이터량이 방대해지는 문제가 있다.
[0094] 따라서, 본 실시형태에서는, 식 (12)에 나타낸 바와 같이, 촬상 광학계의 광학 시뮬레이션 또는 실측치에 의해 구해진 것으로서, 거리(r)와 거리(r＇)의 대응 관계를 나타내는 왜곡 수차 테이블(d(r))이 사용된다. 이로써, 방대한 데이터를 이용하는 일 없이, (x, y)로부터 (x＇, y＇)가 얻어진다. 구체적으로는, (x＇, y＇)는, 식 (13) 및 (14)에 의해 구해진다.
[0095] [수 10]
Figure pct00010
[0096] 화상 처리 장치(50)는, 입력된 제2 화상의 (x＇, y＇)의 화소값을 취득하고, 취득한 (x＇, y＇)의 화소값을 제1 화상(x, y)의 화소값으로 변환함으로써, 왜곡 수차가 없는 제1 화상을 얻을 수 있다.
[0097] 도 9는, 디스토션(distortion; d(=(r＇-r)/r))의 일례를 나타낸 도면이다. 또한, 왜곡 수차 테이블(d(r))을 이용하면, r＇는 식 (12)와 같다. 즉, 왜곡 수차 테이블(d(r))은, 거리(r)를 거리(r＇)로 변환하는 테이블을 나타내고, 거리(r)에 의존해 변화한다. 왜곡 수차 테이블(d(r))은, 광학계의 광학 시뮬레이션 또는 실측치에 의해 구해진 것이며, 도 7의 왜곡 수차 테이블 기억부(52)에 기억된다.
[0098] 나아가, 왜곡 수차 테이블(d(r))은, 광학계(41)의 줌 렌즈의 줌 량이 변화하면, 그 변화에 따라 변화한다. 따라서, 다양한 줌 량에 따른 왜곡 수차 테이블(d(r))이 필요하게 된다. 이 때문에, 도 7의 왜곡 수차 테이블 기억부(52)에는, 다양한 줌 량에 따른 복수의 왜곡 수차 테이블(d(r))이 기억되어 있다.
[0099] 왜곡 수차 보정 위치 정보 생성 처리부(53)는, 도 6의 광학계(41)로부터 줌 렌즈의 줌 량 등의 촬영 정보가 공급되고, 주목 화소 선택부(51)에 의해 주목 화소가 선택되면, 왜곡 수차 보정 위치 정보를 생성하여, 왜곡 수차 보정 위치 정보를 왜곡 수차 보정 위치 정보 기억부(54)에 공급시킨다.
[0100] ＜왜곡 수차 보정 위치 정보 생성 처리부(53)에 의한 처리＞
도 10은, 도 7의 왜곡 수차 보정 위치 정보 생성 처리부(53)의 처리를 설명하는 플로우 차트이다.
[0101] 단계 S31에서는, 왜곡 수차 보정 위치 정보 생성 처리부(53)는, 광학계(41)로부터 공급된 촬영 정보, 예컨대 줌 렌즈의 줌 량을 참조하여, 도 7의 왜곡 수차 테이블 기억부(52)로부터, 그 줌 량의 근방의 줌 량에 대응지어진 복수의 왜곡 수차 테이블을 판독한다. 그리고, 단계 S32로 진행한다.
[0102] 단계 S32에서는, 왜곡 수차 보정 위치 정보 생성 처리부(53)는, 단계 S31에서 판독된 복수의 왜곡 수차 테이블의 각 값을, 선형 보간(補間) 또는 라그랑즈(Lagrange) 보간 등의 보간 방법을 이용해 보간한다. 이로써, 현재의 줌 량에 대응하는 왜곡 수차 테이블이 얻어진다. 그리고, 왜곡 수차 보정 위치 정보 생성 처리부(53)는, 제1 화상에 대응하는 어드레스 공간 중, 아직 처리하지 않은 어드레스를 처리 어드레스(x, y)로서 선택한다. 그리고, 단계 S33으로 진행한다.
[0103] 단계 S33에서는, 왜곡 수차 보정 위치 정보 생성 처리부(53)는, 식 (9)를 이용해, 처리 어드레스(x, y)의 중심으로부터의 거리(r)를, 소수점 이하 소정의 자릿수까지 계산한다. 그리고, 단계 S34로 진행한다.
[0104] 단계 S34에서는, 왜곡 수차 보정 위치 정보 생성 처리부(53)는, 단계 S32에서 구한 보간이 끝난 왜곡 수차 테이블과, 단계 S33에서 구한 거리(r)를 이용하여, 왜곡 수차에 의해 신축한 거리(r＇)를 구한다. 여기에서는, 보간이 끝난 왜곡 수차 테이블로부터, 단계 S33에서 구한 거리(r)에 전후(前後)하는 값에 각각 대응하는 거리가 판독되며, 판독된 거리가 선형 보간된다. 이로써, 정밀도가 높은 거리(r＇)가 얻어진다. 그리고, 단계 S35로 진행한다.
[0105] 단계 S35에서는, 왜곡 수차 보정 위치 정보 생성 처리부(53)는, 단계 S33에서 구한 거리(r)와, 단계 S34에서 구한 거리(r＇) 간의 비를 이용하여, 식 (13) 및 (14)에 따라, 소수점 이하 소정의 자릿수의 (x＇, y＇)를 연산한다. 왜곡 수차 보정 위치 정보 생성 처리부(53)는, (x＇, y＇)를 왜곡 수차 보정 위치 정보로서 왜곡 수차 보정 위치 정보 기억부(54)에 공급한다. 그리고, 단계 S36으로 진행한다.
[0106] 단계 S36에서는, 왜곡 수차 보정 위치 정보 생성 처리부(53)는, 미(未)처리 어드레스가 있는지 여부를 판정한다. 긍정적인 판정 결과, 즉 미처리 어드레스가 있는 경우에는, 단계 S33으로 돌아온다. 그리고, 미처리 어드레스가 없어질 때까지, 단계 S33으로부터 단계 S36까지의 처리가 반복된다. 그리고, 단계 S36에서 부정적인 판정 결과가 얻어지면, 일련의 처리를 종료한다.
[0107] 도 7의 계수 기억부(55)에는, 촬영 정보(줌 량이나 조리개값 등)마다, 해상력 열화를 보정하기 위한 계수가 기억되어 있다. 여기서 말하는 해상도 열화란, 왜곡 수차 이외의 수차나, 회절(回折)에 의한 조리개의 조임에 따른 흐려짐이나 광학 로우 패스 필터에 기인하는 것을 말한다. 또한 계수는, 후술하는 학습 방법에 의해 구해진다.
[0108] ＜계수 보간 처리부(56)에 의한 처리＞
도 7의 계수 보간 처리부(56)는, 도 6의 광학계(41)로부터 줌 렌즈의 줌 량이나 조리개값 등의 촬영 정보가 공급되면, 현재의 줌 량 또는 조리개값에 대응하는 위치별 계수를 생성하여, 위치별 계수 기억부(57)에 공급한다.
[0109] 도 11은, 계수 보간 처리부(56)의 처리를 설명하는 플로우 차트이다.
단계 S41에서는, 계수 보간 처리부(56)는, 광학계(41)로부터 공급된 촬영 정보(예컨대, 줌 렌즈의 줌 정보나 F값, 교환 렌즈에 대응한 복수의 계수값)를 참조하여, 도 7의 계수 기억부(55)로부터, 현재의 촬영 정보의 근방의 값에 대응하는 복수의 계수를 판독한다. 그리고, 단계 S42로 진행한다.
[0110] 단계 S42에서는, 계수 보간 처리부(56)는, 단계 S41에서 판독된 복수의 계수를, 선형 보간 또는 라그랑즈 보간 등의 보간 방법을 이용해 보간하며, 보간이 끝난 계수(위치별 계수)를 도 7의 위치별 계수 기억부(57)에 공급한다. 그리고, 단계 S43으로 진행한다.
[0111] 단계 S43에서는, 계수 보간 처리부(56)는, 아직 처리하지 않은 코드(미처리 코드)가 있는지 여부를 판정하여, 긍정적인 판정 결과인 경우에는, 미처리 코드를 선택한다. 그리고, 단계 S41로 돌아온다. 부정적인 판정 결과인 경우에는, 단계 S44로 진행한다. 즉, 미처리 코드가 없어질 때까지, 단계 S41로부터 단계 S43까지의 처리가 반복된다.
[0112] 단계 S44에서는, 계수 보간 처리부(56)는, 미처리 위치가 있는지 여부를 판정하여, 긍정적인 판정 결과인 경우에는, 미처리 위치를 선택한다. 그리고, 단계 S41로 진행한다. 부정적인 판정 결과인 경우에는, 일련의 처리를 종료한다. 즉, 미처리 위치가 없어질 때까지, 단계 S41로부터 단계 S44까지의 처리가 반복된다.
[0113] 이상과 같이, 현재의 촬영 조건에 따라, 왜곡 수차 보정 위치 정보 기억부(54)에 왜곡 수차 보정 위치 정보가 기입되며, 위치별 계수 기억부(57)에 위치별 계수가 기입된다. 그리고, 화상 변환 장치(50)에 의한 제1 화상으로부터 제2 화상으로 변환하는 화상 변환 처리의 준비가 완료된다.
[0114] ＜화상 변환 장치(50)에 의한 화상 변환 처리＞
화상 변환 장치(50)는, 광학계(41)로부터 촬영 정보가 공급되고, 신호 처리부(44)로부터 신호 처리가 끝난 화상(제1 화상)이 공급되면, 다음의 처리를 행한다.
[0115] 주목 화소 선택부(51)는, 제2 화상을 구성하는 화소를, 차례로 주목 화소로서 선택하고, 선택한 주목 화소를 나타내는 정보를 소정의 블록에 공급한다. 또한, 제2 화상은, 이들 생성하고자 하는 화상으로서, 제1 화상으로부터 수차의 영향이 제거된 화상이다.
[0116] 왜곡 수차 보정 위치 정보 기억부(54)는, 주목 화소 선택부(51)로부터 공급되는 주목 화소를 나타내는 어드레스(x, y)에 근거하여, 상술한 처리에 의해 기억된 왜곡 수차 보정 위치 정보(x＇, y＇)를 판독한다. 왜곡 수차 보정 위치 정보 기억부(54)는, 왜곡 수차 보정 위치 정보(x＇, y＇)의 소수점 이하를 사사오입(四捨五入)한다.
[0117] 왜곡 수차 보정 위치 정보 기억부(54)는, 왜곡 수차 보정 위치 정보(x＇, y＇)를 사사오입한 정보인 정수 위치 정보를 프레임 기억부(58)에 공급한다. 왜곡 수차 보정 위치 정보 기억부(54)는, 그 정수 위치 정보의 하위 수 비트를 어드레스 정렬부(59)에 공급한다. 왜곡 수차 보정 위치 정보 기억부(54)는, 왜곡 수차 보정 위치 정보(x＇, y＇)의 소수점 이하의 정보를 제1 수차 보정부(60)에 공급한다.
[0118] 프레임 기억부(58)는, 왜곡 수차 보정 위치 정보 기억부(54)로부터 공급된 정수 위치 정보에 따라, 제1 화상의 각 화소의 화소값을 래스터 스캔 순으로 판독함으로써, 화소 단위로 왜곡 수차 보정된 제1 화상을 출력한다. 나아가, 프레임 기억부(58)는, 도 12b에 나타낸 바와 같이, 그 정수 위치 정보의 화소 근방의 4화소 이상의 화소값을 판독한다. 프레임 기억부(58)는, 판독한 화소값을 위치 정보 정렬부(59)에 공급한다.
[0119] 왜곡 수차의 영향을 받은 제1 화상(도 8b)에는, 왜곡 수차가 없는 제2 화상(도 8a)에 비해, 신장된 부분과 축소된 부분이 생긴다. 계단 현상이 발생하지 않도록 제2 화상으로부터 제1 화상으로 깔끔하게 변환하기 위해서는, 도 12a에 나타낸 바와 같이, 왜곡 수차가 있는 제1 화상의 화소의 근방의 화소에 대해서 탭을 할(복수의 주변 화소와 링크할) 필요가 있다.
[0120] 한편, 프레임 기억부(58)에 기억된 제1 화상으로부터 정수 위치 정보에 따라 각 화소의 화소값을 래스터 스캔 순으로 판독하면, 신장된 부분에 상당하는 화소의 화소값이 건너뛰어 읽혀져, 필요한 화소값이 판독되지 않는 경우가 있다. 그 이유는, 신장된 부분에 대해서는, 제1 화상(도 8b)보다 제2 화상(도 8a) 쪽이, 정보 밀도가 높기 때문이다.
[0121] 따라서, 프레임 기억부(58)는, 왜곡 수차 보정 위치 정보 기억부(54)로부터 정수 위치 정보가 공급되면, 도 12b에 나타낸 바와 같이, 제1 화상으로부터, 해당 정수 위치 정보 및 그 근방에 있는 예컨대 4화소 이상의 각 화소의 화소값을 판독하여, 판독한 화소값을 위치 정보 정렬부(59)에 공급한다. 이로써, 필요한 화소값이 판독되지 않는 문제가 회피된다.
[0122] 정수 위치 정보의 근방의 화소 수는, 신축률(r＇/r)이 1 이하인 경우에는 1화소, 신축률(r＇/r)이 1을 넘고 2 이하인 경우에는 수평방향 및 수직방향으로 각각 2화소씩의 합계 4화소이며, 신축률(r＇/r)이 2를 넘을 경우에는 4화소 이상이다.
[0123] 위치 정보 정렬부(59)는, 프레임 기억부(58)로부터 래스터 스캔 순으로 공급되는 화소값(제1 화상)과, 왜곡 수차 보정 위치 정보 기억부(54)로부터 공급되는 하위 위치 정보(정수 위치 정보의 하위 수 비트)에 근거하여, 도 12a에 있어서의 주목 화소의 근방 화소를 알 수 있도록, 위치 정보에 의한 정렬 처리를 행한다.
[0124] 도 13은, 위치 정보 정렬부(59)의 처리를 나타내는 개념도이다. 위치 정보 정렬부(59)는, 버퍼 메모리 또는 레지스터 등의 기억 매체를 가지며, 프레임 기억부(58)로부터 차례로 공급되는 화소값과, 화소값에 링크하는 동시에 왜곡 수차 보정 위치 정보 기억부(54)로부터 공급되는 하위 위치 정보를 기억한다. 그리고, 주목 화소의 근방의 위치 정보가 선택되면, 위치 정보 정렬부(59)로부터, 주목 화소 근방의 화소값이 탭 정보로서 판독된다. 이 탭 정보는, 제1 수차 보정 처리부(60)에 공급된다.
[0125] 제1 수차 보정 처리부(60)는, 도 14에 나타내는 화상 변환 장치(70)를 갖는다. 화상 변환 장치(70)는, 입력되는 제1 화상에 대해서, 제1 수차 보정으로서 위상 시프트 보정을 실시하고, 제1 수차 보정이 끝난 제3 화상을 출력한다. 제3 화상은, 제2 수차 보정 처리부(61)에 공급된다.
[0126] 제2 수차 보정 처리부(61)는, 도 26에 나타내는 화상 변환 장치(110)를 갖는다. 화상 변환 장치(110)는, 입력되는 제3 화상에 대해서, 제2 수차 보정으로서 주로 선예감 개선을 위한 수차 보정 처리를 실시하고, 제2 수차 보정이 끝난 제2 화상을 출력한다.
[0127] ＜화상 변환 장치(70)의 구성예＞
화상 변환 장치(70)는, 입력 화상의 미소한 수차 보정 처리, 구체적으로는, 입력 화상에 발생할 수 있는 계단현상(jaggies)이나 링잉(ringing)을 억제하면서 입력 화상에 대해서 위상 시프트 보정을 행하는 코드 분류형 적응 필터이다.
[0128] 도 14에 나타낸 바와 같이, 화상 변환 장치(70)는, 주목 화소 선택부(71), 코드 탭 선택부(72), 필터 탭 선택부(73), 코드 연산부(74), 계수 기억부(75), 및 곱합 연산부(76)를 갖는다.
화상 변환 장치(70)에 공급된 입력 화상(제1 화상)은, 코드 탭 선택부(72) 및 필터 탭 선택부(73)에 공급된다. 또한, 입력 화상은, 예컨대, RGB의 각 색 성분의 화소값이다.
[0129] 주목 화소 선택부(71)는, 화상 변환 장치(70)의 출력 화상인 제3 화상을 구성하는 각각 화소를, 차례로, 주목 화소로서 선택하고, 선택한 주목 화소를 나타내는 정보를 소정의 블록에 공급한다.
필터 탭 선택부(72)는, 예컨대, 도 1의 필터 탭 선택부(12)와 마찬가지로, 주목 화소의 위치로부터 가까운 위치에 있는 제1 화상의 복수의 화소의 화소값을 필터 탭으로서 선택하고, 선택한 필터 탭을 곱합 연산부(76)에 공급한다.
[0130] 코드 탭 선택부(73)는, 예컨대, 도 1의 필터 탭 선택부(13)와 마찬가지로, 주목 화소의 위치로부터 가까운 위치에 있는 제1 화상을 구성하는 복수의 화소의 화소값을 코드 탭으로서 선택하고, 선택한 코드 탭을 코드 연산부(74)에 공급한다.
코드 연산부(74)는, 코드 탭 선택부(73)로부터의 코드 탭에 근거하여, 예컨대 DR 양자화에 의한 양자화값, 중심 화소값으로부터의 차분비 등을 연산하고, 코드 탭의 특징량을 나타내는 코드로 분류하여, 해당 코드를 계수 기억부(75)에 공급한다.
[0131] 계수 기억부(75)는, 코드마다 탭 계수를 기억하고 있다. 또한, 탭 계수는, 후술하는 학습에 의해 구해진 것이다.
계수 기억부(75)는, 코드 연산부(74)로부터 코드가 공급되고, 도 7에 나타내는 왜곡 수차 보정 위치 정보 기억부(54)로부터 위상 정보(왜곡 수차 보정 위치 정보의 소수점 이하의 정보)가 공급되면, 공급된 코드에 대응하며, 또한, 공급된 위상 정보의 근방인 복수의 탭 계수를 판독한다. 판독된 복수의 탭 계수는, 곱합 연산부(76)에 공급된다.
[0132] 본 실시형태에서는, 계수 기억부(75)에는, 예컨대 도 15에 나타낸 바와 같이, 코드마다, 원점(주목 화소의 위치)에 대해서, 흰 동그라미 표시 또는 검정 동그라미 표시로 나타내는 수평방향 및 수직방향으로, 각각｛-2/4, -1/4, 0, ＋1/4, ＋2/4｝의 1/4 위상씩 5개 분량(分)의 위상을 시프트시키는 합계 25개의 탭 계수가 기억되어 있다. 예컨대, 오른쪽에서 1번째이고 위에서 1번째인 동그라미 표시는, 원점에 대해서, 수평방향으로 ＋2/4 위상, 수직방향으로 ＋2/4 위상 시프트시키는 탭 계수를 나타낸다. 오른쪽에서 2번째이고 위에서 4번째인 동그라미 표시는, 원점에 대해서, 수평방향으로 ＋1/4 위상, 수직방향으로 -1/4 위상 시프트시키는 탭 계수를 나타낸다.
[0133] 그리고, 계수 기억부(75)에 코드가 공급되면, 공급된 코드에 대응하는 25개의 탭 계수가 특정된다. 다음으로, 계수 기억부(75)에 위상 정보가 공급되면, 25개의 탭 계수 중에서, 해당 위상 정보를 중심으로 하는 16개의 탭 계수가 선택된다. 예컨대 도 15에 나타낸 바와 같이, P점의 화소값을 생성할 경우에는, 공급된 위상 정보를 중심으로 하여 수평방향 및 수직방향으로 1/4 위상씩 위상을 시프트시킴으로써, 수평방향 및 수직방향으로 각각 4개인 합계 16개의 탭 계수(검정 동그라미 표시)가 선택된다. 선택된 탭 계수는, 곱합 연산부(76)에 공급된다.
[0134] 도 16에 나타낸 바와 같이, 곱합 연산부(76)는, 16개의 곱합 연산기(91~106)를 구비하고 있다. 곱합 연산기(91~106)의 수는, 보간 연산부(77)의 보간 처리에서 필요로 하는 화소 수에 대응하고 있으면 되며, 16개로 한정되는 것은 아니다.
곱합 연산기(91~106)에는, 필터 탭(예컨대 후술하는 도 17에 나타내는 13화소의 각 화소값)이 입력된다. 나아가, 곱합 연산기(91~106)에는, 도 15에 나타내는 16개의 탭 계수가 각각 입력된다. 본 실시형태에서는, 선택된 탭 계수의 수는, 곱합 연산기의 수와 같지만, 곱합 연산기의 수와 다른 수여도 된다.
[0135] 곱합 연산기(91)는, 계수 그룹 1(예컨대 도 15의 16개의 검정 동그라미 표시 중 왼쪽에서 1번째이고 위에서 1번째인 검정 동그라미 표시에 대응하는 탭 계수)과 필터 탭(예컨대 상술한 13화소의 각 화소값)을 이용해 곱합 연산을 실시하여, 화소값 1을 출력한다.
곱합 연산기(92)는, 계수 그룹 2(예컨대 도 15의 16개의 검정 동그라미 표시 중 왼쪽에서 1번째이고 위에서 2번째인 검정 동그라미 표시에 대응하는 탭 계수)와 필터 탭(예컨대 상술한 13화소의 각 화소값)을 이용해 곱합 연산을 실시하여, 화소값 2를 출력한다.
마찬가지로, 곱합 연산기(93, 94)는, 계수 그룹 3, 4(예컨대 도 15의 16개의 검정 동그라미 표시 중 왼쪽에서 1번째이고 위에서 3번째 및 4번째인 검정 동그라미 표시에 각각 대응하는 탭 계수)와 필터 탭(예컨대 13화소의 화소값)을 이용해 곱합 연산을 실시하여, 화소값 3, 4를 출력한다.
[0136] 곱합 연산기(95~98)는, 계수 그룹 5~8(예컨대 도 15의 16개의 검정 동그라미 표시 중 왼쪽에서 2번째이고 위에서 1~4번째인 검정 동그라미 표시에 각각 대응하는 탭 계수)과 필터 탭(예컨대 상술한 13화소의 각 화소값)을 이용해 곱합 연산을 실시하여, 화소값 5~8을 출력한다. 곱합 연산기(99~102)는, 계수 그룹 9~12(예컨대 도 15의 16개의 검정 동그라미 표시 중 왼쪽에서 3번째이고 위에서 1~4번째인 검정 동그라미 표시에 각각 대응하는 탭 계수)와, 필터 탭(예컨대 상술한 13화소의 각 화소값)을 이용해 곱합 연산을 실시하여, 화소값 9~12를 출력한다.
[0137] 곱합 연산기(103~106)는, 계수 그룹 13~16(예컨대 도 15의 16개의 검정 동그라미 표시 중 오른쪽에서 1번째이고 위에서 1~4번째인 검정 동그라미 표시에 각각 대응하는 탭 계수)과, 필터 탭(예컨대 상술한 13화소의 각 화소값)을 이용해 곱합 연산을 실시하여, 화소값 13~16을 출력한다.
이상과 같이, 곱합 연산부(76)는, 주목 화소의 화소값에 대해, 계수 기억부(75)로부터 공급된 복수의 탭 계수(계수 그룹 1~16)를 각각의 곱합 연산기(91~106)에 공급하여, 복수의 화소값 1~16을 얻고, 이들 복수의 화소값 1~16을 보간 연산부(77)에 공급한다.
[0138] 보간 연산부(77)는, 곱합 연산부(76)로부터 공급된 복수의 화소값 1~16에 대하여, 왜곡 수차 보정 위치 정보 기억부(54)로부터 공급된 위상 정보를 이용하여, 선형 보간 또는 라그랑즈 보간 등의 보간 방법으로 1/4 위상보다 더 세밀한 정밀도의 보간 처리를 실시하고, 주목 화소의 화소값을 연산하여, 보간 처리에 의해 얻어진 제3 화상을 출력한다.
[0139] 또한, 연산량이 증가하지만, 곱합 연산부(76)와 보간 연산부(77)는 교체 가능하다. 즉, 보간 연산부(77)는, 계수 기억부(75)로부터 공급된 복수 분량(分)의 탭 계수를, 선형 보간 또는 라그랑즈 보간 등의 보간 방법으로 보간할 수 있다. 이때, 곱합 연산부(76)는, 보간된 탭 계수를 이용해 곱합 연산하면 된다.
[0140] ＜화상 변환 장치(70)의 필터 탭의 구성예＞
도 17은, 도 14의 필터 탭 선택부(72)에 의해 선택되는 필터 탭의 구성예를 나타낸 도면이다.
[0141] 가는 선의 동그라미 표시는, 입력 화상의 화소(입력 화소)를 나타내는 동시에, 출력 화상의 화소(출력 화소)도 나타낸다. 도트 무늬의 동그라미 표시는, 입력 화소에 대해서, 화소 위치의 위상 차가 생긴 출력 화소를 나타낸다. 즉, 출력 화소는, 입력 화소로부터 위상을 시프트시킨 위치에 존재한다.
따라서, 입력 화상인 제1 화상은, 왜곡 수차 보정 위치 정보 기억부(54)로부터의 위상 정보에 근거하여, 위상 시프트한 제3 화상으로 변환된다.
[0142] 검정 동그라미 표시는, 주목 화소, 즉 출력 화소를 나타낸다. 굵은 선의 동그라미 표시는, 필터 탭이 되는 입력 화소를 나타낸다. 검정 동그라미 표시와 굵은 선의 동그라미 표시가 겹쳐 있는 이유는, 주목 화소에 대응하는 위치에 있는 입력 화소는, 필터 탭의 하나가 되기 때문이다.
[0143] 주목 화소에 대한 필터 탭이 되는 입력 화소는, 예컨대, 주목 화소에 대응하는 입력 화소의 위치에 가장 가까운 입력 화소를 기준으로 하여 선택된다.
[0144] ＜화상 변환 장치(70)의 코드 탭의 구성예＞
도 18은, 도 14의 코드 탭 선택부(73)에 의해 선택되는 코드 탭의 구성예를 나타낸 도면이다. 굵은 선의 동그라미 표시는, 코드 탭이 되는 입력 화소를 나타낸다. 그 외의 동그라미 표시는, 도 17과 같다.
[0145] 주목 화소에 대한 코드 탭이 되는 입력 화소는, 예컨대, 주목 화소에 대응하는 입력 화소의 위치에 가장 가까운 입력 화소를 기준으로 하여 선택된다. 또한, 본 실시형태에서는, 필터 탭과 코드 탭은, 도 17 및 도 18에 나타낸 바와 같이 동일한 패턴이어도 되고, 다른 패턴이어도 된다.
[0146] ＜코드 연산부(74)의 구성예＞
도 19는, 코드 연산부(74)의 구성예를 나타낸 블록도이다.
코드 연산부(74)는, 양자화 연산부(81), 중심 화소 차분비 검출부(82), 및 변환 테이블 기억부(83)를 갖는다.
[0147] 양자화 연산부(81)는, 코드 탭 선택부(73)로부터 공급되는 코드 탭을 구성하는 입력 화소의 화소값을, 예컨대, 1비트의 DR 양자화를 이용해 양자화하고, 각 입력 화소의 양자화값을 소정의 순서로 배열하며, 배열된 양자화값을 양자화 코드로서 변환 테이블 기억부(83)에 공급한다.
[0148] 도 20은, 1비트 DR 양자화의 예를 설명하는 도면이다. 횡축(橫軸)은, 코드 탭을 구성하는 입력 화소의 순서(또는 위치)를 나타낸다. 종축(縱軸)은, 코드 탭을 구성하는 입력 화소의 화소값을 나타낸다.
[0149] 1비트 DR 양자화에서는, 코드 탭을 구성하는 입력 화소의 화소값 중의 최대 화소값(Max)으로부터 최소 화소값(Min)이 감산되어, 단순 다이나믹 레인지(DR)가 구해진다. 단순 다이나믹 레인지(DR)를 2등분하는 레벨이, 문턱값으로서 설정된다. 코드 탭을 구성하는 각 입력 화소의 화소값이, 설정된 문턱값에 근거하여 2치화되어, 1비트의 양자화값으로 변환된다. 각 화소의 양자화값이 소정의 순서로 배열된 것이, 양자화 코드가 된다.
예컨대, 도 18에 나타내는 코드 탭의 경우, 코드 탭을 구성하는 13화소가 1비트 DR 양자화 처리의 대상이 된다. 그 결과, 입력된 코드 탭의 특징량을 나타내는 13비트의 DR 양자화 코드가 얻어진다.
[0150] 중심 화소 차분비 검출부(82)는, 코드 탭 선택부(73)로부터 공급되는 코드 탭을 구성하는 입력 화소의 화소값으로부터 후술하는 방법으로 코드를 얻어, 도 14의 계수 기억부(75)에 공급한다.
[0151] 도 21은, 중심 화소 차분비 검출부(82)에 의해 행해지는 중심 화소 차분비를 설명하는 도면이다. 횡축은, 코드 탭을 구성하는 입력 화소의 위치를 나타낸다. 종축은, 코드 탭을 구성하는 입력 화소의 화소값을 나타낸다.
[0152] 중심 화소 차분비 검출부(82)는, 다음의 처리를 행한다.
맨 먼저, 중심 화소 차분비 검출부(82)는, 화소 위치(횡축) 방향에 있어서, 주목 화소(중심 화소)가 중심이 되는 소정의 범위를 범위 1로서 설정하며, 주목 화소가 중심이 되고, 또한, 범위 1을 포함하는 넓은 범위를 범위 2로서 설정한다.
[0153] 다음으로, 중심 화소 차분비 검출부(82)는, 범위 1에 있어서, 각 화소의 화소값과 주목 화소의 화소값 간의 차분(差分)이 최대가 되는 차분 최대치를 연산한다. 중심 화소 차분비 검출부(82)는, 범위 2에 있어서, 각 화소의 화소값과 주목 화소의 화소값 간의 차분이 최대가 되는 차분 최대치를 연산한다.
[0154] 그리고, 중심 화소 차분비 검출부(82)는, 2개의 차분 최대치의 비가 소정치 이상인 경우에는 코드 “1”을 출력하고, 그 비가 소정치 미만인 경우에는 코드 “0”을 출력한다. 그 결과, 1비트의 코드가 얻어진다. 또한, 2개의 차분 최대치의 비와 비교되는 복수가 다른 소정치를 준비하여, 보다 세밀한 코드 분류를 행할 수도 있다.
[0155] 이상과 같이, 중심 화소 차분비 검출부(82)는, 주목 화소(중심 화소)를 중심으로 한 협(狹)범위와 광(廣)범위의 각각의 화소 차분의 비에 따라, 코드 탭을 코드 “0” 또는 “1”로 분류한다. 코드 “0”은, 주목 화소(중심 화소)와 원거리 탭의 화소 상관이 높아 링잉이 발생하지 않는 상태를 나타낸다. 코드 “1”은, 주목 화소(중심 화소)와 원거리 탭의 화소 상관이 낮아 링잉이 발생할 우려가 있는 상태를 나타낸다. 중심 화소 차분비 검출부(82)에 의해 얻어진 코드는, 도 14의 계수 기억부(75)에 공급된다.
[0156] 변환 테이블 기억부(83)는, 양자화 연산부(81)에서 얻어진 양자화 코드를 어드레스(새로운 코드)로 변환하기 위한 변환 테이블을 미리 기억하고 있다. 변환 테이블 기억부(83)는, 양자화 연산부(81)로부터 양자화 코드가 공급되면, 변환 테이블을 참조하여, 공급된 양자화 코드를 해당 양자화 코드에 대응하는 새로운 코드로 변환하고, 변환된 코드를 도 14의 계수 기억부(75)에 공급한다.
[0157] 또한, 계수 기억부(75)의 기억용량이 충분히 큰 경우, 도 22a에 나타낸 바와 같이, 변환 테이블 기억부(83)는 불필요하다. 이 경우에는, 양자화 연산부(81) 및 중심 화소 차분비 검출부(82)에서 얻어진 각 코드는, 그대로 계수 기억부(75)에 공급된다.
[0158] 변환 테이블 기억부(83)는, 도 22b에 나타낸 바와 같이, 발생 빈도가 문턱값보다 낮은 코드를 대표적인 소정의 어드레스(새로운 코드)로 변환해도 된다. 또, 변환 테이블 기억부(83)는, 변환이 끝난 다른 새로운 코드로부터 각각 근사(近似)하는 탭 계수가 생성될 경우에는, 변환이 끝난 다른 새로운 코드를 동일한 코드로(다른 새로운 코드를 어느 하나의 코드로 통일)해도 된다. 이로써, 계수 기억부(75)의 기억용량이 적어도 된다.
[0159] 변환 테이블 기억부(83)에 기억되어 있는 변환 테이블은, 곱합 연산기마다 준비되어 있지만, 이것으로 한정되는 것은 아니다. 예컨대, 도 22c에 나타낸 바와 같이, 소정의 복수의 곱합 연산기에 복수의 동일하거나 또는 근사한 값의 탭 계수가 공급될 경우에는, 소정의 복수의 곱합 연산기에 공통되는 변환 테이블을 준비해도 된다. 즉, 복수의 변환 테이블을 1개로 정리할 수가 있다.
[0160] ＜화상 변환 장치(70)에 의한 화상 변환 처리＞
도 23은, 도 14의 화상 변환 장치(70)에 의한 화상 변환 처리의 예를 설명하는 플로우 차트이다.
단계 S51에서는, 주목 화소 선택부(71)는, 화상 변환 장치(70)에 입력되는 입력 화상에 대한 출력 화상을 구성하는 화소 중, 아직 주목되어 있지 않은 화소의 하나를 주목 화소로서 선택한다. 그리고, 단계 S52로 진행한다. 예컨대, 주목 화소 선택부(71)는, 예컨대, 출력 화상을 구성하는 화소 중 주목 화소로서 선택되어 있지 않은 화소를, 래스터 스캔 순으로 주목 화소로서 선택한다.
[0161] 단계 S52에서는, 코드 탭 선택부(72)는, 입력 화상으로부터, 주목 화소에 대한 코드 탭을 구성하는 화소를 선택한다. 필터 탭 선택부(73)는, 입력 화상으로부터, 주목 화소에 대한 필터 탭을 구성하는 화소를 선택한다. 코드 탭은 코드 연산부(74)에 공급되고, 필터 탭은 곱합 연산부(76)에 공급된다. 그리고, 단계 S53으로 진행한다.
[0162] 단계 S53에서는, 코드 연산부(74)는, 코드 탭 선택부(72)로부터 공급되는 주목 화소에 대한 코드 탭에 근거하여, 주목 화소를 코드 연산한다. 코드 연산부(74)는, 그 코드 연산에 의해 얻어진 주목 화소의 코드를 계수 기억부(75)에 공급한다. 그리고, 단계 S54로 진행한다.
[0163] 단계 S54에서는, 계수 기억부(75)는, 코드 연산부(74)로부터 공급되는 코드에 대응하는 어드레스에 기억되어 있는 탭 계수로서, 도 7의 왜곡 수차 보정 위치 정보 기억부(54)로부터 공급되는 위상 정보에 대응한 근방의 복수의 탭 계수를 선택하여 출력한다. 곱합 연산부(76)가, 계수 기억부(75)로부터 복수의 탭 계수를 취득한다. 그리고, 단계 S55로 진행한다.
[0164] 단계 S55에서는, 곱합 연산부(76)가, 필터 탭 선택부(72)에 의해 선택된 필터 탭과, 계수 기억부(75)로부터 취득한 복수의 탭 계수를 이용하여, 소정의 복수의 곱합 연산을 행한다. 이로써, 곱합 연산부(76)는, 복수의 화소값을 구해 출력한다. 그리고, 단계 S56으로 진행한다.
[0165] 단계 S56에서는, 보간 연산부(77)가, 곱합 연산부(76)가 출력하는 복수의 화소값과, 광학계(41)로부터 공급된 위상 정보에 근거하여, 선형 보간 또는 라그랑즈 보간 등의 보간 방법으로 보간한다. 이로써, 주목 화소의 화소값이 구해진다. 그리고, 단계 S57로 진행한다.
[0166] 단계 S57에서는, 주목 화소 선택부(71)가, 출력 화상 중에 아직 주목 화소로 선택되어 있지 않은 화소가 있는지 여부를 판정한다. 긍정적인 판정 결과인 경우에는, 단계 S51로 돌아온다. 그리고, 다시 단계 S51 이후의 처리가 실행된다. 부정적인 판정 결과인 경우에는, 이 일련의 처리가 종료된다.
[0167] ＜탭 계수를 구하는 방법＞
도 14에 나타내는 계수 기억부(75)에 기억되는 탭 계수는, 도 3에 나타내는 학습 장치(20)에 의해 구해진다.
구체적으로는, 도 3에 나타내는 학습용 화상 기억부(21)에는, 학습용 화상으로서 고화질 화상이 기억된다.
[0168] 교사 데이터 생성부(22)는, 학습용 화상 기억부(21)에 기억된 학습용 화상을 필터링하는 등에 의해, 후술하는 학생 데이터(학생 화상)에 대해서 복수의 위상을 변화시켜, 위상을 시프트시킨 교사 데이터(교사 화상)를 생성한다. 교사 데이터 생성부(22)는, 생성된 교사 데이터를 교사 데이터 기억부(23)에 공급한다.
[0169] 학생 데이터 생성부(24)는, 학습용 화상 기억부(21)에 기억된 학습용 화상을 필터링하는 등에 의해, 학생 데이터(학생 화상)를 생성한다. 학생 데이터 생성부(24)는, 생성된 학생 데이터를 학생 데이터 기억부(55)에 공급한다.
[0170] 학습부(26)는, 교사 데이터 기억부(23)로부터 교사 데이터를 판독하고, 학생 데이터 기억부(25)로부터 학생 데이터를 판독한다. 학습부(26)는, 판독한 교사 데이터와 학생 데이터를 이용하여, 코드마다, 위상마다, 식 (8)의 정규 방정식을 세워 풂으로써, 코드마다·위상마다의 탭 계수를 도출한다.
[0171] 이상과 같이, 주목 화소(중심 화소)를 중심으로 한 협범위와 광범위의 각각의 화소 차분의 비에 따라, 코드가 분류된다. 그 결과, 주목 화소(중심 화소)와 원거리 탭의 화소 상관이 높아 링잉이 발생하지 않는 경우에는, 고역(高域)을 강조하는 탭 계수가 얻어진다. 한편, 주목 화소(중심 화소)와 원거리 탭의 화소 상관이 낮아 링잉이 발생할 우려가 있는 경우에는, 링잉을 억제하는 탭 계수가 얻어진다.
[0172] 도 14의 화상 변환 장치(70)는, 상기의 탭 계수를 이용함으로써, 계단 현상이나 링잉이 발생함에 따른 화질 열화를 방지하면서, 선예감을 떨어뜨리지 않고 왜곡 수차를 보정한 화상을 출력할 수가 있다.
[0173] ＜제2 수차 보정 처리부(61)의 화상 변환 장치(110)의 구성예＞
도 7의 제2 수차 보정 처리부(61)는, 도 24에 나타내는 화상 변환 장치(110)를 갖는다. 화상 변환 장치(110)는, 코드 분류형 적응 필터를 이용하여, 제1 수차 보정 처리부(60)에 의해 왜곡 수차가 보정된 제3 화상에 대해서, 주로 선예감 개선을 위한 수차 보정 처리를 행한다. 또한, 화상 변환 장치(110)는, 선예감 개선뿐만 아니라, 수차에 기인하는 모든 화상의 열화를 개선시키기 위한 수차 보정을 행한다.
[0174] 화상 변환 장치(110)에 공급된 입력 화상(제3 화상)은, 코드 탭 선택부(112)와 필터 탭 선택부(113)에 공급된다.
주목 화소 선택부(71)는, 화상 변환 장치(110)의 출력 화상인 제2 화상을 구성하는 각각 화소를, 차례로, 주목 화소로서 선택하고, 선택한 주목 화소를 나타내는 정보를 소정의 블록에 공급한다.
[0175] 필터 탭 선택부(112)는, 예컨대, 도 1의 필터 탭 선택부(12)와 마찬가지로, 주목 화소의 위치로부터 가까운 위치에 있는 제3 화상의 복수의 화소의 화소값을 필터 탭으로서 선택하고, 선택한 필터 탭을 곱합 연산부(116)에 공급한다.
코드 탭 선택부(73)는, 예컨대, 도 1의 필터 탭 선택부(13)와 마찬가지로, 주목 화소의 위치로부터 가까운 위치에 있는 제3 화상을 구성하는 복수의 화소의 화소값을 코드 탭으로서 선택하고, 선택한 코드 탭을 코드 연산부(74)에 공급한다.
[0176] 코드 연산부(114)는, 코드 탭 선택부(113)로부터의 코드 탭에 근거하여, 예컨대 DR 양자화에 의한 양자화값, 중심 화소값으로부터의 차분비 등을 연산하고, 주목 화소를 코드로 분류하여, 해당 코드를 계수 기억부(115)에 공급한다.
계수 기억부(115)는, 도 7의 계수 보간 처리부(56)에서 구한 복수의 탭 계수로서, 도 28에 나타낸 바와 같이 주목 화소 선택부(111)로부터의 위치 정보를 분할한 위치 정보(블록 정보)에 의해 판독된 코드마다 탭 계수를 기억하고 있다.
[0177] 계수 기억부(115)는, 기억하고 있는 탭 계수 중, 코드 연산부(114)로부터 공급되는 코드에 대응하는 어드레스에 기억되어 있는 탭 계수로서, 주목 화소 선택부(111)로부터 공급되는 블록 정보에 대응한 근방의 복수의 탭 계수를 선택하고, 판독한다. 판독된 복수의 탭 계수는, 곱합 연산부(116)에 공급된다. 예컨대, 도 28에 나타낸 바와 같이, 주목 화소(P)에 대해 처리할 경우에는, 3차의 라그랑즈 보간에 필요한 도 28의 굵은 선 부분(太線部)과 같이 수평·수직인 4개씩의 합계 16의 블록의 계수를 선택하여 공급한다.
[0178] 도 16에 나타낸 바와 같이, 곱합 연산부(116)는, 보간 연산부(117)에서 보간에 필요로 하는 화소 분량의 복수(본 실시형태에서는 16개)의 곱합 연산기(91~106)를 구비하고 있다.
곱합 연산부(116)는, 계수 기억부(115)로부터 공급된 복수의 탭 계수를, 각각의 곱합 연산기(91~106)에 공급함으로써 복수의 화소값 1~16을 연산하여, 보간 연산부(117)에 공급한다.
[0179] 보간 연산부(117)는, 곱합 연산부(116)로부터 공급된 복수의 화소값 1~16을, 주목 화소 선택부(111)로부터 공급된 위치 정보를 이용해, 선형 보간 또는 라그랑즈 보간 등의 보간 방법으로 보간하여, 출력 화상(제2 화상)으로서 출력한다.
[0180] 또한, 연산량이 증가하지만, 곱합 연산부(116)와 보간 연산부(117)는 교체 가능하다. 즉, 보간 연산부(117)는, 계수 기억부(115)로부터 공급된 복수의 탭 계수를, 선형 보간 또는 라그랑즈 보간 등의 보간 방법으로 보간할 수 있다. 이때, 곱합 연산부(116)는, 보간된 탭 계수를 이용해 곱합 연산하면 된다.
[0181] ＜화상 변환 장치(110)의 필터 탭의 구성예＞
도 25는, 도 24의 필터 탭 선택부(112)에 의해 선택되는 필터 탭의 구성예를 나타낸 도면이다.
가는 선의 동그라미 표시는, 입력 화소를 나타내는 동시에, 출력 화소도 나타낸다. 출력 화소는, 도 17과 달리, 입력 화소와 같은 위치로 변환된다.
[0182] 검정 동그라미 표시는, 주목 화소, 즉 출력 화소를 나타낸다. 굵은 선의 동그라미 표시는, 필터 탭이 되는 입력 화소를 나타낸다. 검정 동그라미 표시와 굵은 선의 동그라미 표시가 겹쳐 있는 이유는, 주목 화소에 대응하는 위치에 있는 입력 화소는, 필터 탭의 하나가 되기 때문이다.
[0183] 주목 화소에 대한 필터 탭이 되는 입력 화소는, 예컨대, 주목 화소에 대응하는 입력 화소의 위치에 가장 가까운 입력 화소를 기준으로 하여 선택된다.
[0184] ＜화상 변환 장치(110)에 있어서의 코드 탭의 구성예＞
도 26은, 도 24의 코드 탭 선택부(113)에 의해 선택되는 코드 탭의 구성예를 나타낸 도면이다. 굵은 선의 동그라미 표시는, 코드 탭이 되는 입력 화소를 나타낸다. 그 밖의 동그라미 표시는, 도 25와 같다.
[0185] 주목 화소에 대한 코드 탭이 되는 입력 화소는, 예컨대, 주목 화소에 대응하는 입력 화소의 위치에 가장 가까운 입력 화소를 기준으로 하여 선택된다. 또한, 본 실시형태에서는, 필터 탭과 코드 탭은, 도 25 및 도 26에 나타낸 바와 같이 동일한 패턴이어도 되고, 다른 패턴이어도 된다.
[0186] ＜코드 연산부(114)의 구성예＞
도 27은, 코드 연산부(114)의 구성예를 나타낸 블록도이다.
코드 연산부(114)는, 양자화 연산부(121), 및 변환 테이블 기억부(122)를 갖는다.
[0187] 양자화 연산부(121)는, 코드 탭 선택부(113)로부터 공급되는 코드 탭을 구성하는 입력 화소의 화소값을, 예컨대, 상술한 1비트 DR 양자화를 이용해 양자화하고, 각 입력 화소의 양자화값을 소정의 순서로 배열하며, 배열된 양자화값을 양자화 코드로서 변환 테이블 기억부(122)에 공급한다.
예컨대, 도 26에 나타내는 코드 탭의 경우, 코드 탭을 구성하는 9화소가 1비트 DR 양자화 처리의 대상이 된다. 그 결과, 입력된 코드 탭의 특징량을 나타내는 9비트의 DR 양자화 코드가 얻어진다.
[0188] 변환 테이블 기억부(122)는, 양자화 연산부(121)에서 얻어진 양자화 코드를 어드레스(새로운 코드)로 변환하기 위한 변환 테이블을 미리 기억하고 있다. 변환 테이블 기억부(122)는, 양자화 연산부(121)로부터 양자화 코드가 공급되면, 변환 테이블을 참조하여, 공급된 양자화 코드를 해당 양자화 코드에 대응하는 새로운 코드로 변환하며, 변환된 코드를 도 24의 계수 기억부(115)에 공급한다.
[0189] 또한, 계수 기억부(115)의 기억용량이 충분히 큰 경우, 도 22a에 나타낸 바와 같이 변환 테이블 기억부(122)는 불필요하다. 이 경우에는, 양자화 연산부(121)에서 얻어진 양자화 코드는, 그대로 계수 기억부(115)에 공급된다.
[0190] 변환 테이블 기억부(122)는, 도 22b에 나타낸 바와 같이 발생 빈도가 문턱값보다 낮은 코드를 대표적인 소정의 어드레스(새로운 코드)로 변환해도 된다. 또, 변환 테이블 기억부(122)는, 변환이 끝난 다른 새로운 코드로부터 각각 근사하는 탭 계수가 생성될 경우에는, 변환이 끝난 다른 새로운 코드를 동일한 코드로(다른 새로운 코드를 어느 하나의 코드로 통일) 해도 된다. 이로써, 계수 기억부(115)의 기억용량이 적어도 된다.
[0191] 변환 테이블 기억부(83)에 기억되어 있는 변환 테이블은, 곱합 연산기마다 준비되어 있지만, 이것으로 한정되는 것은 아니다. 예컨대, 도 22c에 나타낸 바와 같이, 소정의 복수의 곱합 연산기에 복수의 동일하거나 또는 근사한 값의 탭 계수가 공급되는 경우에는, 소정의 복수의 곱합 연산기에 공통되는 변환 테이블을 준비해도 된다. 즉, 복수의 변환 테이블을 1개로 정리할 수가 있다.
[0192] ＜화상 변환 장치(110)에 의한 화상 변환 처리＞
도 29는, 도 24의 화상 변환 장치(110)에 의한 화상 변환 처리의 예를 설명하는 플로우 차트이다.
[0193] 단계 S71에서는, 주목 화소 선택부(111)는, 화상 변환 장치(110)에 입력되는 입력 화상에 대한 출력 화상을 구성하는 화소 중, 아직, 주목되어 있지 않은 화소의 하나를 주목 화소로서 선택한다. 그리고, 단계 S72로 진행한다. 예컨대, 주목 화소 선택부(111)는, 예컨대, 출력 화상을 구성하는 화소 중 주목 화소로서 선택되어 있지 않은 화소를, 래스터 스캔 순으로 주목 화소로서 선택한다.
[0194] 단계 S72에서는, 코드 탭 선택부(112)는, 입력 화상으로부터, 주목 화소에 대한 코드 탭을 구성하는 화소를 선택한다. 필터 탭 선택부(113)는, 입력 화상으로부터, 주목 화소에 대한 필터 탭을 구성하는 화소를 선택한다. 코드 탭은 코드 연산부(114)에 공급되고, 필터 탭은 곱합 연산부(116)에 공급된다. 그리고, 단계 S73으로 진행한다.
[0195] 단계 S73에서는, 코드 연산부(114)는, 코드 탭 선택부(112)로부터 공급되는 주목 화소에 대한 코드 탭에 근거하여, 주목 화소를 코드 연산한다. 코드 연산부(114)는, 그 코드 연산에 의해 얻어진 주목 화소의 코드를 계수 기억부(115)에 공급한다. 그리고, 단계 S74로 진행한다.
[0196] 단계 S74에서는, 계수 기억부(115)는, 주목 화소 선택부로부터 공급되는 위치 정보(블록 정보)마다 계수를 기억하고 있다.
계수 기억부(115)는, 기억하고 있는 탭 계수 중, 코드 연산부(114)로부터 공급되는 코드에 대응하는 어드레스에 기억되어 있는 탭 계수로서, 주목 화소 선택부(111)로부터 공급되는 블록 정보에 대응한 근방의 복수의 탭 계수를 선택하고, 판독한다. 곱합 연산부(116)는, 계수 기억부(115)로부터 출력된 복수의 탭 계수를 취득한다. 그리고, 단계 S75로 진행한다.
[0197] 단계 S75에서는, 곱합 연산부(116)가, 필터 탭 선택부(112)에 의해 선택된 필터 탭과, 계수 기억부(115)로부터 취득한 복수의 탭 계수를 이용해, 소정의 복수의 곱합 연산을 행한다. 이로써, 곱합 연산부(116)는, 복수의 화소값을 구하여 출력한다. 그리고, 단계 S76으로 진행한다.
[0198] 단계 S76에서는, 보간 연산부(117)가, 곱합 연산부(116)가 출력하는 복수의 화소값과, 광학계(41)로부터 공급된 위상 정보에 근거하여, 선형 보간 또는 라그랑즈 보간 등의 보간 방법으로 보간한다. 이로써, 주목 화소의 화소값이 구해진다. 그리고, 단계 S77로 진행한다.
[0199] 단계 S57에서는, 주목 화소 선택부(111)가, 출력 화상 중에 아직 주목 화소로 선택되어 있지 않은 화소가 있는지 여부를 판정한다. 긍정적인 판정 결과인 경우에는, 단계 S51로 돌아온다. 그리고, 다시 단계 S51 이후의 처리가 실행된다. 부정적인 판정 결과인 경우에는, 이 일련의 처리가 종료된다.
[0200] ＜탭 계수를 구하는 방법＞
도 24에 나타내는 계수 기억부(115)에 기억되는 탭 계수는, 도 3에 나타내는 학습 장치(20)에 의해 구해진다.
구체적으로는, 도 3에 나타내는 학습용 화상 기억부(21)에는, 학습용 화상으로서 선예감이 높은 고화질 화상이 기억된다.
[0201] 교사 데이터 생성부(22)는, 학습용 화상 기억부(21)에 기억된 학습용 화상을, 그대로 교사 데이터(교사 화상)로서 교사 데이터 기억부(23)에 공급한다.
학생 데이터 생성부(24)는, 학습용 화상 기억부(21)로부터 학습용 화상을 판독하고, 판독한 학습용 화상에 대해서, 도 6의 광학계(41)의 설계 데이터에 근거하는 광학 시뮬레이션 데이터나 왜곡 수차 보정 데이터 등을 이용하여, 화질을 열화시킨 학생 데이터(학생 화상)를 생성한다. 학생 데이터 생성부(24)는, 생성된 학생 데이터를 학생 데이터 기억부(25)에 공급한다.
[0202] 학습부(26)는, 교사 데이터 기억부(23)로부터 교사 데이터를 판독하며, 학생 데이터 기억부(25)로부터 학생 데이터를 판독한다. 학습부(26)는, 판독한 교사 데이터와 학생 데이터를 이용하여, 코드마다, 위치마다, 식 (8)의 정규 방정식을 세워 풂으로써, 코드마다·위치마다의 탭 계수를 도출한다.
[0203] 이상과 같이, 학습 장치(20)는, 화상(렌즈)의 위치 정보에 따라 코드를 분류하여 학습함으로써, 모든 수차를 보정하는 탭 계수를 구할 수가 있다.
[0204] 도 24의 화상 변환 장치(110)는, 상기의 탭 계수를 이용함으로써, 왜곡 수차를 제외한 수차, 예컨대, 구면(球面) 수차, 코마(coma) 수차, 비점(批點) 수차, 상면(像面) 만곡, 배율 색 수차 등에 의해 화질이 열화된 화상을 보정하면서, 주변 감광이나 선예감을 떨어뜨리지 않는 균질한 출력 화상을 얻을 수가 있다.
[0205] ＜화상 변환 장치(50)에 의한 화상 변환 처리＞
도 30은, 도 7의 화상 변환 장치(50)에 의한 화상 변환 처리의 예를 설명하는 플로우 차트이다.
단계 S91에서는, 화상 변환 장치(50)는, 도 6의 광학계(41)로부터, 촬상 렌즈의 줌 값이나 조리개의 F값 등의 촬영 정보를 취득한다. 그리고, 단계 S92로 진행한다.
[0206] 단계 S92에서는, 도 7의 왜곡 수차 보정 위치 정보 생성 처리부(53)는, 단계 S91에서 입력된 줌 값 등의 촬영 정보에 근거하여, 수차 보정 테이블 기억부(52)로부터, 소정의 줌 값 등의 촬영 정보 근방의 수차 보정 테이블을 판독한다. 왜곡 수차 보정 위치 정보 생성 처리부(53)는, 상술한 도 10에 나타낸 플로우 차트에 따라, 왜곡 수차 보정 위치 정보를 소수점 이하까지 생성한다. 생성된 왜곡 수차 보정 위치 정보는, 왜곡 수차 보정 위치 정보 기억부(54)에 기억된다.
[0207] 계수 보간 처리부(56)는, 계수 기억부(55)로부터, 단계 S91에서 입력된 줌 값 및 F값 등의 촬영 정보 근방의 계수 정보를 판독하고, 상술한 도 11의 플로우 차트에 따라, 소정의 줌 값 및 F값의 위치별 계수를 생성한다. 생성된 위치별 계수는, 위치별 계수 기억부(57)에 기억된다.
[0208] 단계 S93에서는, 도 7의 프레임 기억부(58)에 제1 화상이 기입된다. 그리고, 단계 S94로 진행한다.
[0209] 단계 S94에서는, 주목 화소 선택부(51)는, 프레임 기억부(58)에 기억된 제1 화상에 대한 제2 화상을 구성하는 화소 중, 아직 주목되어 있지 않은 화소의 하나를 주목 화소로서 선택한다. 즉, 주목 화소 선택부(51)는, 예컨대, 제2 화상을 구성하는 화소 중, 래스터 스캔 순으로, 아직 주목 화소로 되어 있지 않은 화소를 주목 화소로서 선택한다. 그리고, 단계 S95로 진행한다.
[0210] 단계 S95에서는, 왜곡 수차 보정 위치 정보 기억부(54)는, 주목 화소 선택부(51)로부터 공급되는 주목 화소를 나타내는 어드레스(x, y)에 근거하여, 기억되어 있는 왜곡 수차 보정 위치 정보(x＇, y＇)를 판독한다. 왜곡 수차 보정 위치 정보 기억부(54)는, 판독한 왜곡 수차 보정 위치 정보(x＇, y＇)의 소수점 이하를 사사오입한다.
[0211] 왜곡 수차 보정 위치 정보 기억부(54)는, 왜곡 수차 보정 위치 정보(x＇, y＇)를 사사오입한 정보인 정수 위치 정보를 프레임 기억부(58)에 공급한다. 왜곡 수차 보정 위치 정보 기억부(54)는, 그 정수 위치 정보의 하위 수 비트를 어드레스 정렬부(59)에 공급한다. 왜곡 수차 보정 위치 정보 기억부(54)는, 왜곡 수차 보정 위치 정보(x＇, y＇)의 소수점 이하의 정보를 제1 수차 보정부(60)에 공급한다. 그리고, 단계 S96으로 진행한다.
[0212] 단계 S96에서는, 프레임 기억부(58)는, 왜곡 수차 보정 위치 정보 기억부(54)로부터 공급된 정수 위치 정보에 따라, 제1 화상의 각 화소의 화소값을 예컨대 래스터 스캔 순으로 판독함으로써, 화소 단위로 왜곡 수차 보정된 제1 화상을 출력한다.
나아가, 프레임 기억부(58)는, 도 12b에 나타낸 바와 같이, 그 정수 위치 정보의 화소 근방의 4화소 이상의 화소값을 판독한다. 프레임 기억부(58)는, 화소값을 위치 정보 정렬부(59)에 공급한다. 그리고, 단계 S97로 진행한다.
[0213] 단계 S97에서는, 위치 정보 정렬부(59)는, 프레임 기억부(58)로부터 래스터 스캔 순으로 공급된 화소값을, 왜곡 수차 보정 위치 정보 기억부(54)로부터 공급된 하위 위치 정보(하위 수 비트의 위치 정보)에 따라 정렬 처리한다. 이로써, 위치 정보 정렬부(59)는, 도 12a에 있어서의 주목 화소의 근방 화소를 알 수 있으며, 주목 화소 근방의 탭 정보(화소값)를 제1 화상으로 하여, 제1 수차 보정 처리부(60)에 공급한다. 그리고, 단계 S98로 진행한다.
[0214] 단계 S98에서는, 제1 수차 보정부(60)는, 위치 정보 정렬부(59)로부터 공급되는 주목 화소 근방의 탭 정보와, 왜곡 수차 보정 위치 정보 기억부(54)로부터 공급되는 소수점 이하의 위치 정보에 근거하여, 왜곡 수차의 보정 처리를 실시하여, 제3 화상을 출력한다. 제3 화상은 제2 수차 보정부(61)에 공급된다. 그리고, 단계 S99로 진행한다.
[0215] 단계 S99에서는, 제2 수차 보정부(61)는, 주목 화소 선택부(51)로부터 공급되는 주목 화소 정보와, 위치별 계수 기억부(57)로부터 공급되는 위치별 계수를 이용하여, 제1 수차 보정부(60)로부터 공급되는 제3 화상에 대해, 왜곡 수차 이외의 수차 보정을 실시하여, 제2 화상을 출력한다. 그리고, 단계 S100으로 진행한다.
[0216] 단계 S100에서는, 주목 화소 선택부(51)가, 아직 주목 화소로 선택되어 있지 않은 출력 화상이 있는지 여부를 판정한다. 긍정적인 판정 결과인 경우에는, 단계 S94로 돌아와, 단계 S94 이후의 처리가 반복된다. 부정적인 판정 결과인 경우에는, 일련의 처리가 종료된다.
[0217] ＜제1 수차 보정 처리부(60)의 다른 구성예＞
제1 수차 보정 처리부(60)는, 도 14에 나타내는 화상 변환 장치(70)에 대신하여, 도 31에 나타내는 화상 변환 장치(150)를 갖는 구성이어도 된다.
화상 변환 장치(150)에는, 입력 화상(제1 화상)으로서, 예컨대 RGB의 각 색 성분의 화소값이 입력된다. 화상 변환 장치(150)는, 입력 화상의 미소한 왜곡 수차를 보정하며, 또한, 화상에 발생할 수 있는 계단 현상이나 링잉을 억제한 출력 화상을 얻는다. 화상 변환 장치(150)는, 입력 화상의 미소한 왜곡 수차 보정으로서, 입력 화상을 왜곡 수차가 개선된 화상으로 변환하는 화상 처리, 사인 함수에 의한 보간 처리, 삼각파 필터에 의한 보간 처리(선형 보간 처리) 등을 행한다.
[0218] 화상 변환 장치(150)는, 사인 함수에 의한 수평, 수직의 보간 처리를 실시하여, 이하와 같은 화상 신호(Vc)의 화상을 구한다.
여기서, 화상 신호(Va)의 화소 간격을 Δt, 화상 신호(Va)의 화소 위치(nΔt)의 화소 데이터를 x(nΔt), 화상 신호(Vc)의 화소 위치를 t로 한다. 화소 위치(t)의 화소 데이터(x(t))는, 이하의 식 (15)에 의해, 화소 위치(t)의 전후에 위치하는 화상 신호(Va)의 N개(적당한 유한(有限)의 수)의 화소의 화소값을 이용해 구해진다.
[0219] [수 11]
Figure pct00011
[0220] 화상 변환 장치(150)는, 도 31에 나타낸 바와 같이 주목 화소 선택부(151), 수직 보간부(152), 및 수평 보간부(153)를 갖는다. 화상 변환 장치(150)에 공급된 입력 화상은, 수직 보간부(152)에 공급된다.
주목 화소 선택부(151)는, 출력 화상을 구성하는 화소를, 차례로 주목 화소로서 선택하고, 선택한 주목 화소를 나타내는 정보를 소정의 블록에 공급한다.
[0221] 수직 보간부(152)는, 주목 화소에 대해서, 입력 화상의 화소값을 이용해 수직 보간 처리를 실시하고, 수직 보간이 끝난 화상을 수평 보간부(153)에 공급한다. 수평 보간부(153)는, 주목 화소에 대해서, 수직 보간부(152)로부터 공급된 화상을 이용해 수평 보간 처리를 실시하고, 수평 보간이 끝난 화상을 출력 화상(제3 화상)으로서 출력한다.
[0222] ［제2 실시형태］
다음으로, 본 발명의 제2 실시형태에 대해 설명한다.
제1 실시형태와 관련되는 디지털 카메라(40)는, 광학계의 설계 정보를 이용해 수차가 없는 정지화면 또는 동영상을 촬영한다. 단, 타사 제품인 교환 렌즈를 이용하려고 하면, 광학계의 설계 정보를 입수할 수 없기 때문에, 제1 실시형태와 관련되는 디지털 카메라(40)를 이용할 수 없게 된다.
[0223] 이에 대하여, 제2 실시형태와 관련되는 디지털 카메라는, 타사 제품인 교환 렌즈를 이용하는 경우 등의 광학계의 설계 정보를 입수할 수 없는 경우라 하더라도, 정지화면 또는 동영상을 촬영할 수가 있다.
[0224] 제2 실시형태와 관련되는 디지털 카메라는, 제1 실시형태와 거의 마찬가지로 구성되어 있다. 단, 도 6에 나타내는 화상 보정부(45)는, 도 7에 나타내는 화상 변환 장치(50)에 대신하여, 도 32에 나타내는 화상 변환 장치(160)를 가지고 있다. 또한, 화상 변환 장치(160)는, 단독으로, 화상 편집 등의 기하학 변환에도 이용 가능하다.
[0225] 도 32는, 화상 변환 장치(160)의 구성예를 나타낸 블록도이다. 이하에서는, 설명한 부위와 동일한 부위에는 동일한 부호를 붙이고, 중복되는 설명은 생략한다.
화상 변환 장치(160)는, 도 7에 나타내는 화상 변환 장치(50)와 마찬가지로, 주목 화소 선택부(51), 왜곡 수차 테이블 기억부(52), 왜곡 수차 보정 위치 정보 생성 처리부(53), 프레임 기억부(58), 위치 정보 정렬부(59), 및 제1 수차 보정 처리부(60)를 갖는다.
[0226] 화상 변환 장치(160)는, 도 7에 나타내는 화상 변환 장치(50)로부터 계수 기억부(55), 계수 보간 처리부(56), 및 위치별 계수 기억부(57)가 제외되어 있으며, 또한, 왜곡 수차 보정 위치 정보 기억부(54) 및 제2 수차 보정 처리부(61) 대신에, 왜곡 수차 보정 위치 정보 기억부(161) 및 제2 수차 보정 처리부(162)를 갖는다.
[0227] 왜곡 수차 보정 위치 정보 기억부(161)는, 주목 화소 선택부(51)로부터 공급되는 주목 화소를 나타내는 어드레스(x, y)에 근거하여, 상술한 처리에 의해 기억된 왜곡 수차 보정 위치 정보(x＇, y＇)를 판독한다. 왜곡 수차 보정 위치 정보 기억부(161)는, 왜곡 수차 보정 위치 정보(x＇, y＇)의 소수점 이하를 사사오입한다.
[0228] 왜곡 수차 보정 위치 정보 기억부(161)는, 왜곡 수차 보정 위치 정보(x＇, y＇)를 사사오입한 정보인 정수 위치 정보를 프레임 기억부(58)에 공급한다. 왜곡 수차 보정 위치 정보 기억부(161)는, 그 정수 위치 정보의 하위 수 비트를 어드레스 정렬부(59)에 공급한다. 왜곡 수차 보정 위치 정보 기억부(161)는, 왜곡 수차 보정 위치 정보(x＇, y＇)의 소수점 이하의 정보를 제1 수차 보정부(60)에 공급한다. 나아가, 왜곡 수차 보정 위치 정보 기억부(161)는, 인접 화소와의 거리(Δx, Δy)를 제2 수차 보정 처리부(162)에, 각각 공급한다.
[0229] ＜화상 변환 장치(170)의 구성예＞
제2 수차 보정 처리부(162)는, 도 33의 화상 변환 장치(170)를 갖는다. 화상 변환 장치(170)는, 주로 선예감 개선을 위한 수차 보정 처리를 행한다.
화상 변환 장치(170)는, 도 24의 화상 변환 장치(110)와 마찬가지로, 주목 화소 선택부(111), 코드 탭 선택부(112), 필터 탭 선택부(113), 코드 연산부(114), 및 곱합 연산부(116)를 갖는다.
[0230] 단, 화상 변환 장치(170)는, 도 24의 화상 변환 장치(110)에 대해서, 계수 기억부(115) 및 보간 연산부(117) 대신에, 계수 기억부(171) 및 보간 연산부(172)를 갖는다.
[0231] 계수 기억부(171)는, 후술하는 학습 방법으로 구해진 복수의 탭 계수를 기억하고 있다. 계수 기억부(171)는, 도 32의 왜곡 수차 보정 위치 정보 기억부(161)로부터 공급되는 인접 화소와의 거리 정보(Δx, Δy)와, 코드 연산부(114)로부터 공급되는 코드에 근거하여, 그 코드에 대응하는 어드레스에 기억되고, 또한, 거리 정보(Δx, Δy)에 근방의 복수의 계수를 선택한다. 그리고, 계수 기억부(171)는, 선택된 복수의 계수를 판독하여, 곱합 연산부(116)에 공급한다.
[0232] 곱합 연산부(116)는, 보간 연산부(172)에서 보간에 필요로 하는 화소 분(分)의 복수의 곱합 연산기를 구비하고 있다. 곱합 연산부(116)는, 계수 기억부(171)로부터 공급된 복수의 탭 계수를 각각의 곱합 연산기에 공급함으로써 복수의 화소값을 연산하며, 연산된 화소값을 보간 연산부(172)에 공급한다.
[0233] 보간 연산부(172)는, 곱합 연산부(116)로부터 공급된 복수의 화소값에 대해서, 도 32의 왜곡 수차 보정 위치 정보 기억부(161)로부터 공급되는 인접 화소와의 거리 정보(Δx, Δy)를 이용해, 선형 보간 또는 라그랑즈 보간 등의 보간 방법으로 보간하여, 출력 화상(제2 화상)을 얻는다.
[0234] 또한, 연산량이 증가하지만, 곱합 연산부(116)와 보간 연산부(172)는 교체 가능하다. 즉, 보간 연산부(172)는, 계수 기억부(171)로부터 공급된 복수의 탭 계수를, 선형 보간 또는 라그랑즈 보간 등의 보간 방법으로 보간할 수 있다. 이때, 곱합 연산부(116)는, 보간된 탭 계수를 이용해 곱합 연산하면 된다.
이상과 같이 구성된 화상 변환 장치(170)는, 도 29에 나타낸 플로우 차트와 마찬가지로 하여, 화상 변환 처리를 행할 수가 있다.
[0235] ＜탭 계수를 구하는 방법＞
도 33에 나타내는 계수 기억부(171)에 기억되는 탭 계수는, 도 3에 나타내는 학습 장치(20)에 의해 구해진다.
구체적으로는, 도 3에 나타내는 학습용 화상 기억부(21)에는, 학습용 화상으로서 선예감이 높은 고화질 화상이 기억된다.
[0236] 교사 데이터 생성부(22)는, 학습용 화상 기억부(21)에 기억된 학습용 화상을, 그대로 교사 데이터(교사 화상)로서 교사 데이터 기억부(23)에 공급한다.
학생 데이터 생성부(24)는, 학습용 화상 기억부(21)로부터 학습용 화상을 판독하고, 판독한 학습용 화상에 대해서 로우 패스 필터 등으로 필터링함으로써, 교사 데이터보다 선예감이 낮은 학생 데이터(학생 화상)를 생성한다. 학생 데이터 생성부(24)는, 생성된 학생 데이터를 학생 데이터 기억부(25)에 공급한다.
[0237] 학습부(26)는, 교사 데이터 기억부(23)로부터 교사 데이터를 판독하고, 학생 데이터 기억부(25)로부터 학생 데이터를 판독한다. 학습부(26)는, 판독한 교사 데이터와 학생 데이터를 이용해, 코드마다, 수평·수직의 로우 패스 필터의 계수마다, 식 (8)의 정규 방정식을 세워 풂으로써, 코드마다, 수평·수직의 로우 패스 필터의 계수마다의 탭 계수를 도출할 수 있다.
[0238] ＜화상 변환 장치(160)에 의한 화상 변환 처리＞
도 34는, 도 32의 화상 변환 장치(160)에 의한 화상 변환 처리의 예를 설명하는 플로우 차트이다. 또한, 단계 S121로부터 단계 S126까지의 처리는, 도 30에 나타내는 단계 S91로부터 단계 S96까지의 처리와 비교하면, F값의 취득(단계 S91), 위치별 계수의 생성(단계 S92)을 제외하고, 마찬가지로 행해진다. 따라서, 단계 S127 이후의 처리에 대해 설명한다.
[0239] 단계 S127에서는, 위치 정보 정렬부(59)는, 단계 S97과 마찬가지의 처리를 실시하고, 주목 화소 근방의 탭 정보(화소값)를 제1 화상으로서 제1 수차 보정 처리부(60)에 공급한다. 나아가, 위치 정보 정렬부(59)는, 인접 화소와의 거리 정보(Δx, Δy)를 제2 수차 보정 처리부(162)에 공급한다. 그리고, 단계 S128로 진행한다.
[0240] 단계 S128에서는, 제1 수차 보정부(60)는, 단계 S97과 마찬가지의 처리를 실시하고, 왜곡 수차의 보정 처리를 실시하여, 제3 화상을 출력한다. 그리고, 단계 S99로 진행한다.
[0241] 단계 S129에서는, 제2 수차 보정부(162)는, 주목 화소 선택부(51)로부터 공급되는 주목 화소 정보와, 왜곡 수차 보정 위치 정보 기억부(161)로부터 공급되는 인접 화소와의 거리 정보(Δx, Δy)를 이용하여, 상술한 바와 같이, 제1 수차 보정부(60)로부터 공급되는 제3 화상에 대해, 왜곡 수차 이외의 수차 보정(예컨대 선예감의 개선 처리 등)을 실시하여 제2 화상을 출력한다. 그리고, 단계 S130으로 진행한다.
[0242] 단계 S130에서는, 주목 화소 선택부(51)가, 아직 주목 화소로 선택되어 있지 않은 출력 화상이 있는지 여부를 판정한다. 긍정적인 판정 결과인 경우에는, 단계 S124로 돌아와, 단계 S124 이후의 처리가 반복된다. 부정적인 판정 결과인 경우에는, 일련의 처리가 종료된다.
[0243] ［본 발명의 다른 구성예］
본 발명은, 상술한 실시형태로 한정되는 것은 아니며, 청구범위에 기재된 사항의 범위 내에 있어서 다양한 변경이 가능하다.
본 발명은, 1개의 기능을, 네트워크를 통해, 복수의 장치에서 분담, 공동하여 처리하는 클라우드 컴퓨팅에도 적용 가능하다.
[0244] 예컨대, 상술한 실시형태와 같이 1개의 장치가 상술한 플로우 차트로 설명한 각 단계를 실행해도 되고, 복수의 장치가 각 단계를 분담하여 실행해도 된다. 나아가, 하나의 단계가 복수의 처리로 구성되어 있는 경우, 1개의 장치가 복수의 처리를 실행해도 되고, 복수의 장치가 각각의 처리를 분담해 실행해도 된다.
[0245] 또, 상술한 실시형태에서는, 화상 처리의 대상이, RGB의 3색의 색 성분의 화소값으로 되어 있지만, 본 발명은 이것으로 한정되는 것은 아니다. 예컨대, 화이트나 옐로우 등을 더한 4색 이상의 색 성분의 화소값, CMYK의 색 성분의 화소값, 휘도 신호의 화소값 등도 대상이 된다.
본 발명은, 디지털 카메라, 이른바 스마트폰, 감시 카메라, 내시경, 현미경, 시네마 카메라 등의 촬상 장치, 화상을 편집하는 애플리케이션 등에도 적용 가능하다.
[0246] ＜시스템 카메라의 일 실시형태＞
방송국용 카메라, 내시경, 및 현미경 등은, 실시간으로 장시간 촬영하는 경우가 많기 때문에, 카메라 헤드와 화상 처리 장치로 나뉘어 있는 경우가 많다. 카메라 헤드와 화상 처리 장치로 나뉘어 있는 시스템을, 시스템 카메라라고 한다. 본 발명은, 이러한 시스템 카메라에도 적용 가능하다.
[0247] ＜렌즈 교환식 디지털 카메라의 일 실시형태＞
고급 일안(一眼, single lens) 디지털 카메라 및 업무용 카메라 등의 렌즈 교환식 디지털 카메라로 촬영된 화상은, 신호 처리 장치로 편집되는 경우가 많다. 이 경우, 렌즈 교환식 디지털 카메라는, 촬영한 화상이나 촬영 정보 등의 데이터를, 메모리 카드에 기록한다. 신호 처리 장치는, 메모리 카드에 기록된 화상이나 촬영 정보 등의 데이터를 읽어 들여, 화상을 편집한다. 본 발명은, 이러한 신호 처리 장치에도 적용 가능하다.
[0248] 또한, 렌즈 교환식 디지털 카메라로부터 신호 처리 장치로 화상 등을 공급하는 수단은, 메모리 카드로 한정되지 않고, 자기 디스크, 광디스크, 또는, 네트워크나 각종 케이블, 무선 등의 통신 수단이어도 된다.
[0249] ＜컴퓨터의 일 실시형태＞
본 발명은, 하드웨어에도 소프트웨어에도 적용 가능하다. 예컨대, 도 6에 나타내는 화상 보정부(45)는, 하드웨어로 구성된 것이어도 되고, 상술한 일련의 처리를 실행할 수 있는 프로그램이 인스톨된 컴퓨터(프로세서)로 구성된 것이어도 된다.
[0250] 10; 화상 변환 장치
11; 주목 화소 선택부
12; 필터 탭 선택부
13 코드 탭 선택부
14; 코드 연산부
15; 계수 기억부
16; 곱합 연산부
20; 학습 장치
21; 학습용 화상 기억부
22; 교사 데이터 생성부
23; 교사 데이터 기억부
24; 학생 데이터 생성부
25; 학생 데이터 기억부
26; 학습부
31; 주목 화소 선택부
32; 필터 탭 선택부
33; 코드 탭 선택부
34; 코드 연산부
35; 누계부
36; 탭 계수 연산부
41; 광학계
42; 이미지 센서
43; 기억부
44; 신호 처리부
45; 화상 보정부
46; 출력부
47; 제어부
50; 화상 변환 장치
51; 주목 화소 선택부
52; 왜곡 수차 테이블 기억부
53; 왜곡 수차 보정 위치 정보 생성 처리부
54; 왜곡 수차 보정 위치 정보 기억부
55; 계수 기억부
56; 계수 보간 처리부
57; 위치별 계수 기억부
58; 프레임 기억부
59; 위치 정보 정렬부
60; 제1 수차 보정 처리부
61; 제2 수차 보정 처리부
70; 화상 변환 장치
71; 주목 화소 선택부
72; 필터 탭 선택부
73; 코드 탭 선택부
74; 코드 연산부
75; 계수 기억부
76; 곱합 연산부
77; 보간 연산부
81; 양자화 연산부
82; 중심 화소 차분비 검출부
83; 변환 테이블 기억부
91~106; 곱합 연산기
110; 화상 변환 장치
111; 주목 화소 선택부
112; 필터 탭 선택부
113; 코드 탭 선택부
114; 코드 연산부
115; 계수 기억부
116; 곱합 연산부
117; 보간 연산부
121; 양자화 연산부
122; 변환 테이블 기억부
160; 화상 변환 장치
161; 왜곡 수차 보정 위치 정보 기억부
162; 제2 수차 보정 처리부
170; 화상 변환 장치
171; 계수 기억부
172; 보간 연산부

Claims (15)

  1. 광학계의 수차(收差)의 영향을 받은 제1 화상을 기억하는 화상 기억부와,
    상기 수차의 영향이 제거된 제2 화상의 각 화소의 화소값을 생성하기 위해 소정의 순서로 주사(走査)된 주목 화소의 위치 정보와, 상기 제1 화상의 각 화소의 위치 정보와 상기 제2 화상의 각 화소의 위치 정보 간의 대응 관계를 나타내는 왜곡 수차 테이블에 근거하여, 상기 주목 화소가 상기 제2 화상 상에서 소정의 순서로 주사될 때마다, 주사된 주목 화소에 대응하는 상기 제1 화상의 화소의 위치 정보를 생성하는 위치 정보 생성부와,
    상기 위치 정보 생성부에 의해 생성된 위치 정보의 소수점 이하 정보를 이용하여, 상기 화상 기억부로부터 판독된 제1 화상의 각 화소에 대해, 왜곡 수차로 인한 위상 시프트(phase shift)를 보정하는 제1 수차 보정부와,
    상기 제1 수차 보정부에 의해 보정된 제1 화상에 대하여, 왜곡 수차 이외의 수차를 보정함으로써 상기 제2 화상을 생성하는 제2 수차 보정부
    를 구비하는 화상 처리 장치.
  2. 제1항에 있어서,
    제1 수차 보정부는,
    상기 화상 기억부로부터 판독된 상기 제1 화상으로부터, 상기 주사된 주목 화소에 근거하여, 소정 패턴의 복수 화소를 선택하는 제1 선택부와,
    상기 제1 선택부에 의해 선택된 상기 소정 패턴의 복수 화소의 특징량을 나타내는 코드를 연산하는 제1 코드 연산부와,
    코드마다 왜곡 수차로 인한 위상 시프트를 보정하기 위한 탭 계수를 기억하며, 상기 코드 연산부에 의해 연산된 코드와, 상기 위치 정보 생성부에 의해 생성된 위치 정보의 소수점 이하 정보에 근거하는 복수의 탭 계수를 출력하는 제1 계수 기억부와,
    상기 화상 기억부로부터 판독된 상기 제1 화상으로부터, 상기 주사된 주목 화소에 근거하여, 상기 제1 화상의 특정 패턴의 복수 화소를 선택하는 제2 선택부와,
    상기 제2 선택부에 의해 선택된 복수 화소의 각 화소값과, 상기 제1 계수 기억부로부터 출력된 복수의 탭 계수와, 상기 위치 정보 생성부에 의해 생성된 위치 정보의 소수점 이하 정보에 근거하여, 상기 주목 화소의 화소값을 연산함으로써, 상기 제1 화상의 각 화소에 대해서 왜곡 수차로 인한 위상 시프트를 보정하는 제1 화소값 연산부
    를 갖는 화상 처리 장치.
  3. 제1항에 있어서,
    제2 수차 보정부는,
    상기 제1 수차 보정부에 의해 보정된 상기 제1 화상으로부터, 상기 주사된 주목 화소에 근거하여, 소정 패턴의 복수 화소를 선택하는 제3 선택부와,
    상기 제3 선택부에 의해 선택된 상기 소정 패턴의 복수 화소의 특징량을 나타내는 코드를 연산하는 제2 코드 연산부와,
    코드마다 왜곡 수차 이외의 수차를 보정하기 위한 탭 계수를 기억하며, 상기 코드 연산부에 의해 연산된 코드에 근거하여 복수의 탭 계수를 출력하는 제2 계수 기억부와,
    상기 제1 수차 보정부에 의해 보정된 상기 제1 화상으로부터, 상기 주사된 주목 화소에 근거하여, 상기 제1 화상의 특정 패턴의 복수 화소를 선택하는 제4 선택부와,
    상기 제4 선택부에 의해 선택된 복수 화소의 각 화소값과, 상기 제2 계수 기억부로부터 출력된 복수의 탭 계수에 근거하여, 상기 주목 화소의 화소값을 연산함으로써, 상기 제1 화상의 각 화소에 대해 왜곡 수차 이외의 수차를 보정하여 상기 제2 화상을 생성하는 제2 화소값 연산부
    를 갖는 화상 처리 장치.
  4. 제3항에 있어서,
    상기 제2 계수 기억부는, 상기 광학계의 설계 정보에 의한 광학 시뮬레이션을 이용한 학습에 의해 구해진 것으로서, 화상의 선예감을 개선하기 위한 복수의 탭 계수를 기억하고,
    상기 제2 화소값 연산부는, 상기 제2 계수 기억부로부터 출력된 복수의 탭 계수를 이용해 상기 주목 화소의 화소값을 연산함으로써, 상기 제1 화상으로부터 선예감이 개선된 상기 제2 화상을 생성하는
    화상 처리 장치.
  5. 제2항에 있어서,
    상기 제1 코드 연산부는,
    상기 제1 선택부에 의해 선택된 복수 화소의 각 화소값을 양자화(量子化)하여 양자화 코드를 출력하는 제1 양자화 수단과,
    복수의 양자화 코드와 상기 제1 계수 기억부로부터 복수의 탭 계수를 판독하기 위한 복수의 코드 간의 대응 관계를 나타내는 제1 변환 테이블에 대하여, 근사(近似)하는 탭 계수를 판독하기 위한 복수의 코드를 동일한 코드로 설정하고, 상기 제1 양자화 코드 연산부에 의해 연산된 양자화 코드를, 상기 제1 변환 테이블에 근거하여, 대응하는 코드로 변환하는 제1 변환 테이블 기억부
    를 갖는 화상 처리 장치.
  6. 제3항에 있어서,
    상기 제2 코드 연산부는,
    상기 제3 선택부에 의해 선택된 복수 화소의 각 화소값을 양자화하여 양자화 코드를 출력하는 제2 양자화 수단과,
    복수의 양자화 코드와 상기 제2 계수 기억부로부터 복수의 탭 계수를 판독하기 위한 복수의 코드 간의 대응 관계를 나타내는 제2 변환 테이블에 대하여, 근사하는 탭 계수를 판독하기 위한 복수의 코드를 동일한 코드로 설정하고, 상기 제2 양자화 코드 연산부에 의해 연산된 양자화 코드를, 상기 제2 변환 테이블에 근거하여, 대응하는 코드로 변환하는 제2 변환 테이블 기억부
    를 갖는 화상 처리 장치.
  7. 제2항에 있어서,
    제1 화소값 연산부는,
    상기 제2 선택부에 의해 선택된 복수 화소의 각 화소값과, 상기 제1 계수 기억부로부터 출력된 복수의 탭 계수 간의 곱합(積和) 연산을 행함으로써 복수의 화소값을 얻는 복수의 제1 곱합 연산기와,
    상기 복수의 제1 곱합 연산기에 의해 얻어진 복수의 화소값을 이용해 보간(補間) 처리를 행함으로써, 상기 주목 화소의 화소값을 연산하는 제1 보간 연산부
    를 갖는 화상 처리 장치.
  8. 제3항에 있어서,
    제2 화소값 연산부는,
    상기 제4 선택부에 의해 선택된 복수 화소의 각 화소값과, 상기 제2 계수 기억부로부터 출력된 복수의 탭 계수 간의 곱합 연산을 행함으로써 복수의 화소값을 얻는 복수의 제2 곱합 연산기와,
    상기 복수의 제2 곱합 연산기에 의해 얻어진 복수의 화소값을 이용해 보간 처리를 행함으로써, 상기 주목 화소의 화소값을 연산하는 제2 보간 연산부
    를 갖는 화상 처리 장치.
  9. 제1항에 있어서,
    상기 위치 정보 생성부에 의해 생성된 소정 프레임의 상기 제1 화상의 각 화소의 위치 정보를 기억하는 위치 정보 기억부를 더 구비하며,
    상기 제1 수차 보정부는, 상기 소정 프레임 이후의 프레임에 대해, 상기 위치 정보 기억부에 기억된 각 화소의 위치 정보의 소수점 이하의 정보를 이용하여, 왜곡 수차로 인한 위상 시프트를 보정하는
    화상 처리 장치.
  10. 제1항에 있어서,
    촬영 정보마다 준비된 복수의 상기 왜곡 수차 테이블을 기억하는 왜곡 수차 테이블 기억부를 더 구비하며,
    상기 위치 정보 생성부는, 상기 왜곡 수차 테이블 기억부로부터, 입력된 촬영 정보에 근사하는 촬영 정보에 대응하는 복수의 왜곡 수차 테이블을 판독하고, 판독된 복수의 왜곡 수차 테이블을 이용해 상기 입력된 촬영 정보에 대응하는 왜곡 수차 테이블을 보간하며, 보간된 왜곡 수차 테이블을 이용하여, 상기 제1 화상의 화소의 위치 정보를 생성하는
    화상 처리 장치.
  11. 제3항에 있어서,
    상기 제2 수차 보정부는,
    촬영 정보마다 준비된 복수의 탭 계수를 기억하는 상기 제2 계수 기억부로부터, 입력된 촬영 정보에 근사하는 촬영 정보에 대응하는 복수의 탭 계수를 판독하고, 판독된 복수의 탭 계수를 이용하여 상기 입력된 촬영 정보에 대응하는 복수의 탭 계수를 보간하는 탭 계수 보간부를 더 구비하며,
    상기 제2 화소값 연산부는, 상기 탭 계수 보간부에 의해 보간된 복수의 탭 계수를 이용하여, 상기 주목 화소의 화소값을 연산하는
    화상 처리 장치.
  12. 광학계의 수차의 영향을 받은 제1 화상의 각 화소의 위치 정보와 상기 수차의 영향이 제거된 제2 화상의 각 화소의 위치 정보 간의 대응 관계를 나타내는 왜곡 수차 테이블과, 상기 제2 화상의 각 화소의 화소값을 생성하기 위해 소정의 순서로 주사된 주목 화소의 위치 정보에 근거하여, 상기 주목 화소가 상기 제2 화상 상에서 소정의 순서로 주사될 때마다, 주사된 주목 화소에 대응하는 상기 제1 화상의 화소의 위치 정보를 생성하는 위치 정보 생성 단계와,
    상기 위치 정보 생성 단계에서 생성된 위치 정보의 소수점 이하 정보를 이용하여, 상기 제1 화상을 기억하는 화상 기억부로부터 판독된 제1 화상의 각 화소에 대해, 왜곡 수차로 인한 위상 시프트를 보정하는 제1 수차 보정 단계와,
    상기 제1 수차 보정 단계에서 보정된 제1 화상에 대해, 왜곡 수차 이외의 수차를 보정함으로써 상기 제2 화상을 생성하는 제2 수차 보정 단계를
    구비하는 화상 처리 방법.
  13. 컴퓨터를,
    광학계의 수차의 영향을 받은 제1 화상을 기억하는 화상 기억부와,
    상기 수차의 영향이 제거된 제2 화상의 각 화소의 화소값을 생성하기 위해 소정의 순서로 주사된 주목 화소의 위치 정보와, 상기 제1 화상의 각 화소의 위치 정보와 상기 제2 화상의 각 화소의 위치 정보 간의 대응 관계를 나타내는 왜곡 수차 테이블에 근거하여, 상기 주목 화소가 상기 제2 화상 상에서 소정의 순서로 주사될 때마다, 주사된 주목 화소에 대응하는 상기 제1 화상의 화소의 위치 정보를 생성하는 위치 정보 생성부와,
    상기 위치 정보 생성부에 의해 생성된 위치 정보의 소수점 이하 정보를 이용하여, 상기 화상 기억부로부터 판독된 제1 화상의 각 화소에 대해, 왜곡 수차로 인한 위상 시프트를 보정하는 제1 수차 보정부와,
    상기 제1 수차 보정부에 의해 보정된 제1 화상에 대하여, 왜곡 수차 이외의 수차를 보정함으로써 상기 제2 화상을 생성하는 제2 수차 보정부
    로서 기능하게 하기 위한 프로그램이 기록된 기록 매체.
  14. 컴퓨터를,
    광학계의 수차의 영향을 받은 제1 화상을 기억하는 화상 기억부와,
    상기 수차의 영향이 제거된 제2 화상의 각 화소의 화소값을 생성하기 위해 소정의 순서로 주사된 주목 화소의 위치 정보와, 상기 제1 화상의 각 화소의 위치 정보와 상기 제2 화상의 각 화소의 위치 정보 간의 대응 관계를 나타내는 왜곡 수차 테이블에 근거하여, 상기 주목 화소가 상기 제2 화상 상에서 소정의 순서로 주사될 때마다, 주사된 주목 화소에 대응하는 상기 제1 화상의 화소의 위치 정보를 생성하는 위치 정보 생성부와,
    상기 위치 정보 생성부에 의해 생성된 위치 정보의 소수점 이하 정보를 이용하여, 상기 화상 기억부로부터 판독된 제1 화상의 각 화소에 대해, 왜곡 수차로 인한 위상 시프트를 보정하는 제1 수차 보정부와,
    상기 제1 수차 보정부에 의해 보정된 제1 화상에 대해, 왜곡 수차 이외의 수차를 보정함으로써 상기 제2 화상을 생성하는 제2 수차 보정부
    로서 기능하게 하기 위한 프로그램.
  15. 광학계를 통해 입사되는 촬상(撮像) 광에 따라 제1 화상을 생성하는 촬상 소자와,
    상기 촬상 소자에 의해 생성된 제1 화상을 기억하는 화상 기억부와,
    상기 수차의 영향이 제거된 제2 화상의 각 화소의 화소값을 생성하기 위해 소정의 순서로 주사된 주목 화소의 위치 정보와, 상기 제1 화상의 각 화소의 위치 정보와 상기 제2 화상의 각 화소의 위치 정보 간의 대응 관계를 나타내는 왜곡 수차 테이블에 근거하여, 상기 주목 화소가 상기 제2 화상 상에서 소정의 순서로 주사될 때마다, 주사된 주목 화소에 대응하는 상기 제1 화상의 화소의 위치 정보를 생성하는 위치 정보 생성부와,
    상기 위치 정보 생성부에 의해 생성된 위치 정보의 소수점 이하 정보를 이용하여, 상기 화상 기억부로부터 판독된 제1 화상의 각 화소에 대해, 왜곡 수차로 인한 위상 시프트를 보정하는 제1 수차 보정부와,
    상기 제1 수차 보정부에 의해 보정된 제1 화상에 대해, 왜곡 수차 이외의 수차를 보정함으로써 상기 제2 화상을 생성하는 제2 수차 보정부
    를 구비하는 촬상 장치.
KR1020187029600A 2016-03-14 2016-03-14 화상 처리 장치, 화상 처리 방법, 기록 매체, 프로그램 및 촬상 장치 KR102011938B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/057997 WO2017158690A1 (ja) 2016-03-14 2016-03-14 画像処理装置、画像処理方法、記録媒体、プログラム及び撮像装置

Publications (2)

Publication Number Publication Date
KR20180118790A true KR20180118790A (ko) 2018-10-31
KR102011938B1 KR102011938B1 (ko) 2019-08-19

Family

ID=59351317

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187029600A KR102011938B1 (ko) 2016-03-14 2016-03-14 화상 처리 장치, 화상 처리 방법, 기록 매체, 프로그램 및 촬상 장치

Country Status (6)

Country Link
US (1) US10291844B2 (ko)
JP (1) JP6164564B1 (ko)
KR (1) KR102011938B1 (ko)
CN (1) CN107924558B (ko)
DE (1) DE112016006582T5 (ko)
WO (1) WO2017158690A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018000795A (ja) * 2016-07-07 2018-01-11 オリンパス株式会社 内視鏡プロセッサ
CN107845583B (zh) * 2016-09-18 2020-12-18 中芯国际集成电路制造(上海)有限公司 基板表面缺陷检测装置、图像畸变校正方法和装置以及基板表面缺陷检测设备
JP7005168B2 (ja) * 2017-05-02 2022-01-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN107290700B (zh) * 2017-08-08 2020-12-04 上海联影医疗科技股份有限公司 一种相位校正方法、装置及磁共振系统
JP6516806B2 (ja) * 2017-08-31 2019-05-22 キヤノン株式会社 画像表示装置
JP6435560B1 (ja) * 2018-03-10 2018-12-12 リアロップ株式会社 画像処理装置、画像処理方法、プログラム及び撮像装置
TWI692939B (zh) * 2018-08-14 2020-05-01 鈺創科技股份有限公司 過濾訊號的數位濾波器
CN110188225B (zh) * 2019-04-04 2022-05-31 吉林大学 一种基于排序学习和多元损失的图像检索方法
JP7403279B2 (ja) 2019-10-31 2023-12-22 キヤノン株式会社 画像処理装置および画像処理方法
JP6694626B1 (ja) * 2019-12-17 2020-05-20 リアロップ株式会社 画像処理装置、画像処理方法、プログラム及び撮像装置
CN112819725B (zh) * 2021-02-05 2023-10-03 广东电网有限责任公司广州供电局 一种径向畸变的快速图像校正方法
CN116823681B (zh) * 2023-08-31 2024-01-26 尚特杰电力科技有限公司 红外图像的畸变矫正方法、装置、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04348343A (ja) 1991-05-27 1992-12-03 Matsushita Electron Corp 縮小投影露光装置用レチクル
JPH06165024A (ja) 1992-11-18 1994-06-10 Canon Inc 撮像装置及び画像再生装置及び映像システム
JPH07193790A (ja) 1993-12-25 1995-07-28 Sony Corp 画像情報変換装置
JP2000004391A (ja) 1998-06-16 2000-01-07 Fuji Photo Film Co Ltd 収差補正量設定方法、位置調整装置及び画像処理装置
JP2005311473A (ja) 2004-04-16 2005-11-04 Sharp Corp 撮像装置および信号処理方法ならびにそのプログラムと記録媒体
JP2014093714A (ja) * 2012-11-06 2014-05-19 Canon Inc 画像処理装置、その制御方法、および制御プログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6165024A (ja) 1984-09-04 1986-04-03 Mazda Motor Corp エンジンのトルク変動制御装置
JPH0893790A (ja) 1994-09-29 1996-04-09 Exedy Corp ダンパーディスク組立体
JP3950188B2 (ja) * 1996-02-27 2007-07-25 株式会社リコー 画像歪み補正用パラメータ決定方法及び撮像装置
JP4144292B2 (ja) * 2002-08-20 2008-09-03 ソニー株式会社 画像処理装置と画像処理システム及び画像処理方法
JP2004241991A (ja) * 2003-02-05 2004-08-26 Minolta Co Ltd 撮像装置、画像処理装置及び画像処理プログラム
US7596286B2 (en) * 2003-08-06 2009-09-29 Sony Corporation Image processing apparatus, image processing system, imaging apparatus and image processing method
JP2005267457A (ja) * 2004-03-19 2005-09-29 Casio Comput Co Ltd 画像処理装置、撮影装置、画像処理方法及びプログラム
US7920200B2 (en) * 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP4348343B2 (ja) 2006-02-10 2009-10-21 パナソニック株式会社 部品実装機
JP4487952B2 (ja) * 2006-02-27 2010-06-23 ソニー株式会社 カメラ装置及び監視システム
WO2008139577A1 (ja) * 2007-05-09 2008-11-20 Fujitsu Microelectronics Limited 画像処理装置、撮像装置、および画像歪み補正方法
US8169510B2 (en) 2007-12-18 2012-05-01 Sony Corporation Data processing device, data processing method, and storage medium
JP5010533B2 (ja) * 2008-05-21 2012-08-29 株式会社リコー 撮像装置
JP5180687B2 (ja) * 2008-06-03 2013-04-10 キヤノン株式会社 撮像装置及び補正方法
JP5241823B2 (ja) * 2009-07-21 2013-07-17 キヤノン株式会社 色収差を補正する画像処理装置、画像処理方法、プログラム、および、記憶媒体
JP5546229B2 (ja) 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP5438579B2 (ja) * 2010-03-29 2014-03-12 キヤノン株式会社 画像処理装置及びその制御方法
JP5742179B2 (ja) * 2010-11-05 2015-07-01 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
JP2014087022A (ja) * 2012-10-26 2014-05-12 Canon Inc 撮像装置、撮像装置の制御方法、プログラム
JP6041651B2 (ja) * 2012-12-10 2016-12-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2014155754A1 (ja) * 2013-03-28 2014-10-02 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム並びに記録媒体
JP2015198380A (ja) * 2014-04-02 2015-11-09 キヤノン株式会社 画像処理装置、撮像装置、画像処理プログラム、および画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04348343A (ja) 1991-05-27 1992-12-03 Matsushita Electron Corp 縮小投影露光装置用レチクル
JPH06165024A (ja) 1992-11-18 1994-06-10 Canon Inc 撮像装置及び画像再生装置及び映像システム
JPH07193790A (ja) 1993-12-25 1995-07-28 Sony Corp 画像情報変換装置
JP2000004391A (ja) 1998-06-16 2000-01-07 Fuji Photo Film Co Ltd 収差補正量設定方法、位置調整装置及び画像処理装置
JP2005311473A (ja) 2004-04-16 2005-11-04 Sharp Corp 撮像装置および信号処理方法ならびにそのプログラムと記録媒体
JP2014093714A (ja) * 2012-11-06 2014-05-19 Canon Inc 画像処理装置、その制御方法、および制御プログラム

Also Published As

Publication number Publication date
JP6164564B1 (ja) 2017-07-19
US20180198977A1 (en) 2018-07-12
US10291844B2 (en) 2019-05-14
JPWO2017158690A1 (ja) 2018-04-05
KR102011938B1 (ko) 2019-08-19
WO2017158690A1 (ja) 2017-09-21
CN107924558A (zh) 2018-04-17
DE112016006582T5 (de) 2018-12-13
CN107924558B (zh) 2019-04-30

Similar Documents

Publication Publication Date Title
KR102011938B1 (ko) 화상 처리 장치, 화상 처리 방법, 기록 매체, 프로그램 및 촬상 장치
CN102474626B (zh) 用于校正色像差的图像处理设备和图像处理方法
JP4104571B2 (ja) 歪曲補正装置及びこの歪曲補正装置を備えた撮像装置
US8452122B2 (en) Device, method, and computer-readable medium for image restoration
US8189960B2 (en) Image processing apparatus, image processing method, program and recording medium
US7529424B2 (en) Correction of optical distortion by image processing
JP2004241991A (ja) 撮像装置、画像処理装置及び画像処理プログラム
JP6308748B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP2011211426A (ja) 画像処理装置及びその制御方法
JP2013045404A (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
JP2015139141A (ja) 画像処理装置、画像処理方法及びプログラム
JP5631769B2 (ja) 画像処理装置
CN107979715B (zh) 摄像装置
JP6694626B1 (ja) 画像処理装置、画像処理方法、プログラム及び撮像装置
JP6435560B1 (ja) 画像処理装置、画像処理方法、プログラム及び撮像装置
JP6105960B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP4708180B2 (ja) 画像処理装置
JPWO2015083502A1 (ja) 画像処理装置、該方法および該プログラム
KR20140117242A (ko) 영상 처리 장치 및 방법
JP4334484B2 (ja) 画素信号処理装置及び方法
JP5334265B2 (ja) 倍率色収差・像歪補正装置およびそのプログラム
JP2013055622A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP2012142676A (ja) 撮像装置及び画像生成方法
JP6468791B2 (ja) 画像処理装置、撮像装置、画像処理システム、画像処理方法および画像処理プログラム
CN103957392A (zh) 图像处理设备和图像处理方法

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant