KR101241925B1

KR101241925B1 - 화상 처리장치 및 화상 처리방법

Info

Publication number: KR101241925B1
Application number: KR1020100079070A
Authority: KR
Inventors: 타쿠야 코타니
Original assignee: 캐논 가부시끼가이샤
Priority date: 2009-08-20
Filing date: 2010-08-17
Publication date: 2013-03-11
Also published as: US8565555B2; CN101996387A; US9262813B2; US20110043667A1; JP2011043960A; US20140016876A1; JP5523017B2; KR20110019707A

Abstract

반복 연산 처리를 수행함으로써 복수의 입력 화상 데이터로부터 보정 화상 데이터를 생성하는 화상 처리장치는, 상기 복수의 입력 화상 데이터를 입력하도록 구성된 입력부와, 상기 입력 화상 데이터를 취득하기 위해 활영하는데 사용된 촬영 파라미터를 취득하도록 구성된 취득부와, 상기 촬영 파라미터에 근거하여 상기 보정 화상 데이터를 생성하기 위한 반복 회수를 화상 영역마다 설정하도록 구성된 설정부와, 상기 화상 영역마다 설정된 상기 반복 회수에 근거하여 각 화상 영역에 대해 반복 연산 처리를 수행함으로써, 상기 복수의 입력 화상 데이터로부터 보정 화상 데이터를 생성하도록 구성된 생성부를 구비한다.

Description

화상 처리장치 및 화상 처리방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}

본 발명은, 화상 처리장치 및 화상 처리방법에 관한 것이다.

렌즈의 특성값을 사용하여, 카메라로 촬영한 화상에 있어서 렌즈 수차로 불리는 화상 열화를 복원하는 처리가 알려져 있다. 종래에는, 렌즈 수차 중에서 왜곡 및 배율 색수차는, 결상해야 할 상의 상고(image height)와, 실제로 렌즈를 통해 얻어지는 상고 사이의 차이에서 생긴다. 상고란 광축으로부터의 거리를 가리킨다. 이들 수차를 보정하는 방법의 한가지는, 상고가 올바른 위치가 되도록 각 화소의 좌표를 변환하는 것이다.

비트맵 데이터, 즉 디지털 화상의 경우, 좌표 변환을 행하기 전후의 좌표가 반드시 일치한다고는 할 수 없다. 따라서, 좌표 변환을 수반하는 변형처리는 일반적으로 다음과 같이 상의 변형이 행해진 후 화소값을 산출한다. 화상이 변형된 후의 좌표를 화상이 변형되지 전의 좌표로 변환한 후, 변환된 좌표에 따라 인접 화소를 보간처리한다.

이와 같은 변형 처리를 적용한 경우, 특히 이 처리가 렌즈 수차 보정처리인 경우에는, 화상의 단부가 크게 확대되게 된다. 더구나, 좌표의 이동량이 클 때, 해상감도 크게 저하한다. 화상의 위치에 따라 이동량이 변하는 좌표 변화를 수반하는 화상 변형 처리의 또 다른 예로는 프로젝터에 행해지는 키스톤 보정처리를 들 수 있다.

이와 같은 해상감 저하를 해결하는 두가지 방법, 즉 보간처리의 개선과, 저하한 해상도의 회복이 있다.

보간처리의 개선의 경우에는, 해상감 저하가 보간처리에 기인한다고 가정한다. 따라서, 보간처리를 엣지 검출과 병용하여 보간처리 자체를 재현한다(일본국 특개 2004-153668호 참조). 이와 같은 방법에서는, 화상이 노이즈를 거의 포함하지 않는 경우에는 양호한 결과가 얻어진다. 그러나, 보통 디지털 카메라를 사용하여 얻어지고 노이즈를 포함하는 화상의 경우에는 양호한 결과를 얻을 수 없다.

한편, 저하한 해상감은 샤프니스 강도의 콘트롤과 노이즈량의 콘트롤에 의해 회복된다.

샤프니스 강도를 콘트롤하여 저하한 해상감을 회복하는 경우에는, 화소마다 렌즈의 상태에 대응하는 샤프니스 강도를 적용하여, 저하한 해상감을 보충한다(미국 특허 제6603885호 참조). 그렇지만, 화상의 확대로 인해 촬영 화상에 포함되는 노이즈도 흐릿해져 버려, 단순히 샤프니스 강도(또는 필터 반경)를 조정한 것만으로는 바람직한 결과를 얻을 수 없다.

노이즈량을 콘트롤하여 저하한 해상감을 회복하는 경우에는, 화상 확대로 인한 저하된 해상감을 회복하기 위해, 화상 변형전의 화소의 노이즈량을 고려하여 노이즈를 보간 결과에 추가한다. 그 결과, 보간처리에 의해 저하된 노이즈가 회복되어, 겉보기 상의 해상감을 향상시킬 수 있다. 그렇지만, 처리 대상 화상이 노이즈를 많이 포함하지 않는 경우에는, 해상감을 향상시킬 수 없다.

이와 같은 문제를 해결하기 위해, 복수의 저해상도의 화상을 입력으로 하여, 다수의 화소수를 갖는 초해상도의 화상을 생성하는 기술인 초해상(super- resolution) 처리가 존재한다. 저해상도 화상에 포함되는 신호의 주파수 대역이 한정되기 때문에, 해상감의 향상에는 한계가 있다. 따라서, 복수매의 저해상도 화상을 사용해서 고해상도 화상을 생성한다. 이 기술을 응용함으로써, 렌즈 수차 보정에 기인한 저하한 해상감을 복원할 수 있다. 예를 들면, 일본국 특개 2001-197354호에는, 촬상계의 열화 과정으로부터 평가함수를 결정함으로써, 보정결과를 얻는 방법에 대해 서술되어 있다.

다양한 초해상의 방법이 제안되어 있다. 예를 들면, 복수 프레임 사이의 위치 벗어남이 존재하는 저해상도 화상을 합성하여 고해상도의 화상을 생성하는 촬상방법이 존재한다(Sung C. P, Min K. P, "Super-Resolution Image Reconstruction: A technical overview", IEEE Signal Proc. Magazine, Vol. 26. No. 3, p.21-36, 2003). 더구나, 최대 사후 확률(maximum a posteriori: MAP) 추정에 근거한 방법이 알려져 있다(R. R. Schulz. R. L. Stevenson, "Extraction of high-resolution frames from video sequences", IEEE Trans. Image Processing, Vol. 5, p. 996-1011, 1996). MAP 추정법이란, 미리 설정한 확률밀도 함수에 따라 사후확률이 최대가 되는 화상을 추정하는 방법이다. MAP 추정법을 초해상처리에 응용하는 경우에는, 제곱 오차에 고해상도 화상의 확률정보를 부가한 평가함수를 최소화하는 고해상도 화상을 추정하는 것으로 볼 수 있다. 즉, MAP 추정법을 사용하여 초해상처리를 수행할 때, 고해상도 화상의 선견정보를 이용하여, 사후확률을 최대화하는 최적화 문제를 풀어 고해상도 화상을 추정한다.

그렇지만, 일반적으로 초해상처리에 있어서의 추정 처리는 일반적으로 대단히 무거운 처리가 된다. 예를 들면, R. R. Schulz. R. L. Stevenson, "Extraction of high-resolution frames from video sequences", IEEE Trans. Image Processing, Vol. 5, p. 996-1011, 1996에 기재된 방법에서는, 고해상도 화상을 얻기 위해서는 최적화 문제를 풀 필요가 있고, 반복 처리를 행하는 것이 필요하게 된다. 따라서, 초해상 처리의 결과로써 화상을 얻기 위해서는 방대한 처리 부하가 필요하다. 디지털 일안 리플렉스 카메라에 의해 전술한 기능을 실현하려고 하는 경우, 연사 속도의 저하 또는 고속의 프로세서의 탑재의 요구 등의 문제가 발생하여, 소비 전력이 커져 버린다.

본 발명의 일면에 따르면, 반복 연산 처리를 수행함으로써 복수의 입력 화상 데이터로부터 보정 화상 데이터를 생성하는 화상 처리장치는, 상기 복수의 입력 화상 데이터를 입력하도록 구성된 입력부와, 상기 입력 화상 데이터를 취득하기 위해 촬영하는데 사용된 촬영 파라미터를 취득하도록 구성된 취득부와, 상기 촬영 파라미터에 근거하여 상기 보정 화상 데이터를 생성하기 위한 반복 회수를 화상 영역마다 설정하도록 구성된 설정부와, 상기 화상 영역마다 설정된 상기 반복 회수에 근거하여 각 화상 영역에 대해 반복 연산 처리를 수행함으로써, 상기 복수의 입력 화상 데이터로부터 보정 화상 데이터를 생성하도록 구성된 생성부를 구비한다.

본 발명의 예시적인 실시예에 따르면, 화상의 변형에 의해 저하한 해상감을 복원하여, 보다 고화질과 저비용을 실현할 수 있다.

본 발명의 또 다른 특징 및 국면은 첨부된 도면을 참조하여 주어지는 이하의 실시예의 상세한 설명으로부터 명백해질 것이다.

명세서에 포함되고 명세서의 일부를 구성하는 다음의 첨부도면은, 본 발명의 예시적인 실시예, 특징 및 국면을 예시하며, 상세한 설명과 함께, 본 발명의 원리를 설명하는 역할을 한다.
도 1은 화상 처리장치의 일례인 렌즈 교환식 일안 리플렉스 디지털 카메라의 회로 구성의 일례를 도시한 도면이다.
도 2는 디지털 카메라의 외관을 나타낸 사시도다.
도 3은 디지털 카메라의 수직 단면도다.
도 4는 본 발명의 실시예 1에 따라 렌즈 수차 보정처리를 행하는 디지털 카메라의 구성도다.
도 5a 및 도 5b는 왜곡 보정을 예시한 것이다.
도 6은 렌즈의 특성값을 설명하기 위한 도면이다.
도 7a 및 도 7b는 렌즈 보정처리의 일례를 나타낸 흐름도다.
도 8은 지정된 화소 (i, j)의 화소값을 왜곡 보정 룩업 테이블을 사용해서 산출하는 처리를 설명하기 위한 도면이다.
도 9는 프레임 사이의 상대 이동량을 구하는 처리의 일례를 나타낸 흐름도다.
도 10은 평탄부의 블록을 제거하는 처리의 일례를 나타낸 흐름도다.
도 11은 유효 움직임 벡터 판정 처리의 일례를 나타낸 흐름도다.
도 12는 MAP 추정법을 사용한 화상 합성처리의 일례를 나타낸 흐름도다.
도 13은 이터레이션 맵 생성 처리의 일례를 나타낸 흐름도다.
도 14는 본 발명의 실시예 2에 따른 렌즈 수차 보정처리를 행하는 디지털 카메라의 구성도다.
도 15는 키스톤 보정에 있어서의 화소의 이동을 설명하는 도면이다.

이하, 본 발명의 다양한 실시예, 특징 및 국면을 첨부도면을 참조하여 상세히 설명한다.

통상, 디지털 카메라는, 지정된 노광 시간 동안 노광한 화상을 기록 매체에 출력한다. 그렇지만, 본 실시예에 따르면, 초해상처리를 수행함으로써 복수의 화상 데이터로부터 고화질의 보정 화상 데이터를 얻는다. 바꿔 말하면, 지정된 노광 시간이 경과하는 동안 시분할 노광을 수행하여 복수의 프레임 화상 데이터를 얻는다. 그후, 얻은 프레임 화상에 대해 초해상처리를 행함으로써 고화질의 보정 화상 데이터를 얻는다.

본 발명의 실시예에 따른 좌표의 이동과 관련된 화상 변형처리는 렌즈 수차 보정처리이다. 특히, 렌즈 수차 보정처리의 일례로서 왜곡 보정처리에 대해 설명한다. 단, 배율 색수차 보정은, 왜곡 보정과 마찬가지로, 이상 상고와 촬영시의 상고 사이의 차이에 의해 생기는 수차량(왜곡량)을 보정한다. 따라서, 렌즈 수차 보정처리에 배율 색수차 보정처리를 포함해도 된다.

렌즈 수차 보정처리와 초해상처리 중에서 어느쪽을 먼저 적용해도 된다. 본 발명의 실시예 1에 따르면, 렌즈 수차 보정처리를 먼저 적용하는 것으로 한다. 실시예 2에 따르면, 초해상처리를 먼저 적용한다.

도 1은, 화상 처리장치의 일례인 렌즈 교환식 일안 리플렉스 디지털 카메라의 회로 구성의 일례를 도시한 도면이다.

도 1을 참조하면, 마이크로컴퓨터(102)는 카메라 전체의 동작을 제어한다. 예를 들면, 마이크로컴퓨터(102)는, 촬상소자(즉, 본 실시예에 따르면 전하결합소자(CCD))(118)에서 출력된 화상 데이터의 처리와, 액정 디스플레이(LCD) 모니터 장치(117)의 표시 제어를 제어한다.

스위치(SW1)(105)는, 유저가 릴리즈 버튼(214)(도 2 참조)을 반누름하였을 때 온이 된다. 스위치(SW1)(105)가 온이 되면, 본 실시예에 따른 디지털 카메라는 촬영을 준비한다. 스위치(SW2)(106)는, 유저가 릴리즈 버튼(214)을 완전히 눌렀을 때 온이 된다. 스위치(SW2)(106)가 온이 되면, 본 실시예에 따른 디지털 카메라는 촬영을 개시한다.

렌즈 제어회로(107)는, 촬영 렌즈(300)(도 3 참조)와의 통신 제어와, 오토 포커스(AF) 수행시의 촬영 렌즈(300)의 구동 제어와 조리개 블레이드의 구동 제어를 행한다.

외부 표시 제어회로(108)는, 외부 표시장치(OLC)(109)와, 뷰파인더의 표시장치(미도시)를 제어한다. 스위치 센스 회로(110)는, 카메라에 부착된 전자 다이얼(111)을 포함하는 다수의 스위치류의 신호를 마이크로컴퓨터(102)에 전달한다.

플래쉬 발광 제어회로(112)는, X 접점(112a)을 거쳐 접지되어 있고, 외부 플래쉬의 제어를 행한다. 측거 회로(113)는, AF를 행하기 위한 피사체의 디포커스 량을 검출한다. 측광회로(114)는 피사체의 휘도를 측정한다.

셔터 제어회로(115)는, 셔터의 제어를 행하여, 촬상소자의 적절한 노광을 행한다. LCD 모니터 장치(117)와 백라이트 조명 장치(116)는 화상 표시장치를 구성하고 있다. 기억장치(119)는, 예를 들면, 카메라 본체에 착탈가능한 하드디스크 드라이브 또는 반도체 메모리 카드이다.

마이크로컴퓨터(102)는, 아날로그/디지털(A/D) 컨버터(123), 화상 버퍼 메모리(124)와, 디지털 신호 처리기(DSP)로 이루어진 화상 처리회로(125)에 접속되어 있다. 또한, 마이크로컴퓨터(102)는, 후술하는 초해상처리를 수행하는데 필요한 이동량 산출 처리회로(126) 및 화상 합성 처리회로(127)에 접속되어 있다.

도 2는, 디지털 카메라의 외관을 나타낸 사시도다. 도 3은, 디지털 카메라의 수직 단면도다.

도 2를 참조하면, 카메라 본체(200)의 상부에는, 뷰파인더 관찰용 접안창(211), 자동노출(AF) 로크 버튼(212), AF의 측거점 선택 버튼(213)과, 촬영 조작을 하기 위한 릴리즈 버튼(214)이 배치되어 있다. 또한, 카메라 본체(200)의 상부에는, 전자 다이얼(111), 촬영 모드 선택 다이얼(217) 및 외부 표시장치(109)도 배치되어 있다. 전자 다이얼(111)은, 다른 조작 버튼과 병용하여, 유저가 카메라에 수치를 입력하거나, 촬영 모드를 전환하는데 사용되는 다기능 신호 입력장치이다. 외부 표시장치(109)는, 액정표시장치로 구성되고, 셔터 스피드, 조리개 값, 촬영 모드 등의 촬영 조건과, 다른 정보를 표시한다.

카메라 본체(200)의 배면에는, 촬영된 화상과 각종 설정 화면을 표시하는 LCD 모니터 장치(117), LCD 모니터 장치(117)를 온/오프하기 위한 모니터 스위치(221), 십자형 스위치(216), 및 메뉴 버튼(224)이 배치되어 있다.

십자형 스위치(216)는, 상하 좌우에 배치된 4개의 버튼과, 중앙에 배치된 SET 버튼을 갖는다. 십자형 스위치(216)는, 유저가 LCD 모니터 장치(117)에 표시되는 메뉴 항목의 선택 및 실행을 카메라에 지시할 때 사용된다.

메뉴 버튼(224)은, LCD 모니터 장치(117)에 카메라의 각종 설정을 표시하기 위한 메뉴 화면을 표시하는데 사용된다. 예를 들면, 촬영 모드를 선택 및 설정할 때에는, 유저가, 이 메뉴 버튼(224)을 누른 후, 십자형 스위치(216)의 상하 좌우 버튼을 조작해서 원하는 모드를 선택한다. 그후, 유저가 원하는 모드가 선택된 상태에서 SET 버튼을 눌러, 설정이 완료된다. 이 메뉴 버튼(224)과 십자형 스위치(216)는, 후술하는 렌즈 수차 보정 모드의 설정에도 사용된다. 본 실시예에 따른 LCD 모니터 장치(117)는 투과형이기 때문에, LCD 모니터 장치(117)의 구동만으로는 화상을 시인하는 불가능하다. LCD 모니터 장치(117)의 이면에는 도 3에 나타낸 것과 같이 백라이트 조명 장치(116)가 항상 필요하다. 따라서 LCD 모니터 장치(117)와 백라이트 조명 장치(116)는 화상표시장치를 구성하고 있다.

도 3을 참조하면, 촬영 광학계의 촬영 렌즈(300)는, 본체 마운트(302)를 거쳐 카메라 본체(200)로부터 교체가능하다. 촬영 광축(301)은 퀵 리턴 미러(303)를 통과하여 지나간다.

퀵 리턴 미러(303)는 촬영 광로 중에 삽입된다. 퀵 리턴 미러(303)는, 퀵 리턴 미러(303)가 촬영 렌즈(300)로부터의 피사체 광을 뷰파인더 광학계로 안내하는 위치(도 3에 나타낸 위치, 경사 설치 위치라고 한다)와, 퀵 리턴 미러(303)가 촬영 광로로부터 후퇴하는 위치(후퇴 위치라고 한다) 사이에서 이동가능하다.

도 3에 있어서, 초점맞춤 스크린(focusing screen)(304) 위에는 퀵 리턴 미러(303)로부터 뷰파인더 광학계로 안내된 피사체 광이 결상된다. 콘덴서 렌즈(305)는 뷰파인더의 시인성을 향상시킨다. 콘덴서 렌즈(305) 및 펜타고널 루프 프리즘(306)은, 초점맞춤 스크린(304) 및 콘덴서 렌즈(305)를 통과한 피사체 광을 뷰파인더 관찰용의 접안 렌즈(308) 및 측광 센서(307)로 안내한다.

제 2 막(curtain)(309) 및 제 1 막(310)은 셔터를 구성한다. 후방에 배치되어 있는 촬상소자(118), 즉 고체 촬상소자가, 이들 후막(309) 및 선막(310)을 개방함으로써 설정된 기간 동안 노광된다. 촬상소자(118)에 의해 각 화소의 전기신호로 변환된 촬영 화상은, A/D 컨버터(123)와 화상 처리회로(125)에 의해 처리되어, 도 1에 도시된 기억장치(119)에 화상 데이터로서 기록된다.

촬상소자(118)는 프린트 기판(311)에 유지되어 있다. 이 프린트 기판(311)의 후방에는, 또 다른 프린트 기판인 표시 기판(315)이 배치되어 있다. 프린트 기판(311)의 반대측의 표시 기판(315)의 면에 LCD 모니터 장치(117) 및 백라이트 조명 장치(116)가 배치되어 있다.

기억장치(119)는 화상 데이터를 기록한다. 이 기억장치(119) 및 배터리(317)(휴대용 전원)는, 카메라 본체에 대해 착탈가능하다.

도 4는, 실시예 1에 따른 렌즈 수차 보정처리를 행하는 디지털 카메라의 구성도다. 본 실시예에 따른 디지털 카메라는, 통상의 디지털 카메라와 달리, 지정된 노광 시간 동안 시분할 노광을 행한다. 시분할 노광을 행하여 얻은 프레임 화상(420)은 화상 처리회로(125)에의 입력 신호가 된다. 화상 처리회로(125)에 렌즈 수차 보정 처리회로(402)가 포함된다.

렌즈 보정 테이블 생성 회로(401)는, 렌즈 특성값 데이터베이스(411)로부터, 렌즈 특성값(대상 렌즈에 있어서, 촬영시 정보(후술한다)에 대응해서 화소가 이동하는지 여부에 대해 상고마다 규정되어 있는 데이터)을 취득한다. 또한, 렌즈 보정 테이블 생성 회로(401)는, 렌즈 제어회로(107), 셔터 제어회로(115) 및 측거(AF)회로(113)로부터 출력으로서 얻은 촬영시 정보(촬영 파라미터)(412)를 취득한다. 촬영시 정보의 예는, 줌 위치, 조리개 값 및 촬영 거리이다. 그후, 렌즈 보정 테이블 생성 회로(401)는, 취득한 렌즈 특성값에 근거하여 상고마다의 렌즈 보정 테이블(이동량)을 생성(산출)한다. 렌즈 보정 테이블 생성 회로(401)는, 이동량 산출 처리회로(126)에 포함된다.

렌즈 보정 테이블은, 촬영시의 상고와 그 상고에 대응하는 이상 상고의 조합을 표시한다. 렌즈 보정 테이블 생성 회로(401)는, 촬영시 정보에 대응하는 렌즈 특성값에 대해 스플라인 보간을 수행하여, 각 화소의 상고에 대응하는 이상 상고를 얻는다(후술하는 도 6 참조).

초해상 처리회로(404)는, 렌즈 수차 보정 처리회로(402)에서 렌즈 수차 보정처리가 실행된 프레임 화상(즉, 복수의 렌즈 수차 보정 완료 화상)에 대해 초해상처리를 실행한다. 이에 따라, 화상 주변부에서 해상감이 저하하지 않은 화상이 얻어진다. 여기에서, 초해상 파라미터 생성 회로(403)가, 렌즈 보정 테이블에 따라 초해상처리를 수행하기 위한 파라미터를 결정한다. 더구나, 초해상 처리회로(404)의 출력 해상도는, 입력 화상 데이터의 해상도와 동일한 것으로 한다. 초해상 파라미터 생성 회로(403) 및 초해상 처리회로(404)는, 화상 합성 처리회로(127)에 포함된다.

이하, 본 실시예에 따른 렌즈 수차 보정처리에 대해 설명한다. 상기한 것과 같이, 본 실시예에 따르면, 설명을 간단하게 하기 위해 렌즈 수차 보정처리의 일례로서 왜곡 보정처리를 설명한다.

도 5a는, 술통 형상으로 왜곡된 화상을 보정하는 경우를 설명하기 위한 도면이다. 또한, 도 5b는, 실패 형상으로 왜곡된 화상을 보정하는 경우를 설명하기 위한 도면이다. 왜곡 수차는 화소 위치의 이동에 의해 보정되며, 상고마다 복잡하게 이동량이 변화한다. 배율 색수차도 마찬가지로 화소 위치의 이동에 의해 보정되지만, 입력광의 파장에 기인한 벗어남의 차이에 의해 생기는 것이다. 일반적으로, 이들 렌즈 수차는 광축을 중심으로 회전 대칭이 된다. 따라서, 화소마다 상고를 산출하고, 렌즈 특징량으로부터 상고에 대응하는 보정량을 산출하는 경우에는 처리가 장황해져 버린다.

따라서, 렌즈 보정 테이블 생성 회로(401)는, 도 6에 나타낸 것과 같이, 렌즈 특성값에 대해 스플라인 보간을 수행한 렌즈 보정 테이블을 생성한다. 그리고, 렌즈 수차 보정 처리회로(402)는, 생성된 렌즈 보정 테이블을 참조하여, 렌즈 수차 보정처리를 적용한다. 도 6 중의 파선은, 렌즈 수차 보정 전후의 상고가 일치하는 경우를 나타내고 있다. 도 6에 도시된 실시예에서는, 보간한 커브가 이 파선 위를 지나가고 있으므로, 왜곡이 술통 형상이 된다. 렌즈 수차 보정된 화상은, 상고가 높을수록 더 확대된다.

도 7a는, 왜곡 수차 보정처리의 일례를 나타낸 흐름도다.

스텝 S701에서, 렌즈 보정 테이블 생성 회로(401)는, 처리 대상 화상의 촬영시 정보(예를 들어, 렌즈의 종류, 초점거리 및 f값)에 대응하는 렌즈 특성 데이터를 렌즈 특성값 데이터베이스(411)로부터 취득한다. 본 실시예에 따른 렌즈 보정 테이블의 일례인 왜곡 보정용 특성 데이터는, 왜곡 보정후의 상고에 대한 왜곡 보정전의 상고의 데이터이다.

다음에, 스텝 S702에서, 렌즈 보정 테이블 생성 회로(401)는, 처리 대상 화상의 촬영시 정보로부터, 처리 대상 화상의 화소 피치를 취득한다. 화소 피치는 화소들 사이의 거리이며, 본 실시예에 따른 화소 피치는 촬상소자 위에서의 밀리미터 단위의 거리를 표시한다.

스텝 S703에서, 렌즈 보정 테이블 생성 회로(401)는, 화상 사이즈(즉, 픽셀 폭 fw 및 픽셀 높이 fh)를 사용하여, 다음 식(1)에 근거하여, 왜곡 보정 LUT 사이즈 fs를 산출한다. 식 (1)에서, fs는, 피트(fit) 표시용 화상의 중심으로부터 정점까지의 픽셀 단위의 거리이다.

fs＝√(fw/2)×(fw/2))+((fh/2)×(fh/2))) (1)

스텝 S704에서, 렌즈 보정 테이블 생성 회로(401)는, 스텝 S701에서 얻은 렌즈 특성 데이터에 대해 스플라인 보간을 행하여, 스텝 S703에서 구한 사이즈의 왜곡 보정 LUT를 작성한다. 왜곡 보정 LUT에는 처리 대상 화상의 중심으로부터의 거리가 입력되고, 왜곡 보정후의 화상 데이터의 중심으로부터의 거리가 왜곡 보정 LUT에서 출력된다. 이들 거리는 모두 픽셀 단위를 갖는다.

스텝 S705에서, 렌즈 수차 보정 처리회로(402)는, 왜곡 보정후의 화상 데이터의 각 화소에 대해, 도 8에 나타낸 것과 같은 왜곡 보정후의 화소값을 산출한다. 모든 화소에 대해 화소값을 산출한 후, 처리를 종료한다.

도 7b는, 도 7a에 도시된 스텝 S705에서 행해진, 왜곡 보정후 화소값 산출 처리의 일례를 나타낸 흐름도다.

왜곡 보정후의 화소값 산출 처리는, 픽셀 폭 fw 및 픽셀 높이 fh의 처리 대상 화상에서, 지정된 화소 (i, j)의 화소값을 산출하는 처리이다. 이 화소값은 왜곡 보정 LUT를 사용해서 산출한다.

스텝 S801에서, 렌즈 수차 보정 처리회로(402)는, 화상 중심으로부터 화소 (i, j)까지의 픽셀 단위의 거리(즉, 상고)를 구한다.

스텝 S802에서, 렌즈 수차 보정 처리회로(402)는, 왜곡 보정 LUT를 사용해서 상고에 대응하는 보정량(즉, 왜곡 보정을 행하기 전의 상고)을 구한다. 상고가 정수값으로 되지 않는 경우에, 렌즈 수차 보정 처리회로(402)는 선형보간에 의해 보정량을 산출한다.

스텝 S803에서, 렌즈 수차 보정 처리회로(402)는, 스텝 S802에서 산출된 보정량을 사용하여, 왜곡 보정전의 축소 화상에서의 좌표를 산출한다. 렌즈 수차 보정 처리회로(402)는 다음 식 (2)을 사용하여 좌표를 산출한다.

I'(i, j)=d'×I(i, j)×d (2)

식 (2)에서, I(i, j)은, 화상 중심으로부터 왜곡 보정후의 화소 (i, j)으로의 방향 벡터이다. I'(i, j)은, 화상 중심으로부터 왜곡 보정하기 전의 화소 (i, j)의 좌표로의 방향 벡터다. d는, 왜곡 보정후의 화소 (i, j)의 픽셀 단위에서의 상고이다. d'은, 왜곡 보정 LUT를 사용해서 산출한 왜곡 보정전의 화소 (i, j)의 픽셀 단위에서의 상고이다.

스텝 S804에서, 렌즈 수차 보정 처리회로(402)는, 축소 화상에서 I'(i, j)에 해당하는 좌표의 근방의 화소값에 대해 바이리니어 보간을 행하여 화소 (i, j)의 화소값을 결정한다.

본 실시예에 따른 초해상처리는, 반복 연산처리를 수행함으로써 MAP 추정법을 사용해서 실현한다. 초해상처리는, 2 스텝, 즉 복수 화상의 위치를 맞추기 위한 상대 이동량 산출 처리와, 산출한 상대 이동량과 입력 화상군으로부터 고해상도 화상을 생성하는 화상 합성처리를 포함한다. 이하, 이들 처리를 이하에서 순서대로 설명한다.

도 9는, 프레임 사이의 상대 이동량을 산출하는 처리의 일례를 나타낸 흐름도다. 이하에서는, 초해상 처리회로(404)가 블록마다 움직임 벡터를 구하고, 화면 전체의 움직임 량을 아핀(affine) 파라미터로서 구하는 방법에 대해 설명한다.

스텝 S901에서, 초해상 처리회로(404)는, 블록마다의 움직임 벡터를 구하기 전에 유효 블록을 판정한다. 이 처리는, 올바른 움직임 벡터가 구해지지 않지도 모르는 블록을 제거하기 위해 행해진다. 스텝 S901에 행해지는 처리는 후술하는 도 10에서 상세히 나타낸다.

스텝 S902에서, 초해상 처리회로(404)는, 블록의 움직임 벡터를 산출한다. 여기에서는 일반적인 블록 매칭방법에 대해 설명한다. 블록 매칭법에서는, 매칭의 평가값으로서 블록 내부의 화소들 사이의 차분의 자승 합 혹은 절대값 합을 사용한다. 블록 매칭법에서는, 벡터를 구하는 대상 블록을 참조 화상의 서치 범위 내에서 순차 움직임으로써 평가값을 구한다. 서치 범위 내에서 구한 모든 평가값 중에서 최소의 평가값을 갖는 위치가 대칭 블록과 가장 상관이 높은 위치이다. 따라서, 그것의 이동량이 움직임 벡터가 된다. 서치 범위 내에서 한번에 1화소씩 평가값을 구해가는 방법은 풀 서치로 불린다. 이에 대해, 서치 범위에서 간격을 두고 최소의 평가값을 구한 후, 구한 최소값 근방에서 자세하게 서치하는 방법은, 스텝 서치로 불린다. 스텝 서치는 고속으로 움직임 벡터를 구하는 방법으로서 잘 알려져 있다.

스텝 S903에서, 초해상 처리회로(404)는, 전체 블록을 처리하였는지 아닌지를 판정한다. 전체 블록을 처리한 경우(스텝 S903에서 YES), 스텝 S904의 처리로 진행한다. 전체 블록을 처리하지는 않은 경우(스텝 S903에서 NO), 스텝 S901의 처리로 되돌아간다. 스텝 S904에서, 초해상 처리회로(404)는, 유효 움직임 벡터 판정을 행한다. 이것은, 산출 결과가 올바르지 않은 것으로 판단된 움직임 벡터를 제거하는 처리이다. 스텝 S904의 처리는 후술하는 도 11에서 상세히 나타낸다.

스텝 S905에서, 초해상 처리회로(404)는, 유효한 움직임 벡터로부터, 아핀 파라미터의 검출을 행한다.

이하, 아핀 파라미터 검출의 상세를 설명한다. 대상 블록의 중심 좌표가 (x, y)이고, 움직임 벡터의 산출 결과로써 참조 화상에 있어서의 블록의 중심 좌표가 (x', y')로 이동했다고 하면, 이들의 관계는, 식 (3)과 같이 나타낼 수 있다.

(3)

식 (3)에서 3×3의 행렬이 아핀 변환 행렬이다. 행렬의 각 요소가 아핀 파라미터이며, a=1, b=0, d=0, e=1일 때, 이 변환은 평행 이동이 되어, c가 수평 방향의 이동량, f가 수직 방향의 이동량이 된다. 또한, 회전각 θ에서의 회전 이동은, a=cosθ, b=-sinθ, d=sinθ 및 e=cosθ로 표시할 수 있다. 식 (3)은 일반화한 행렬의 형식으로 식 (4)과 같이 표현할 수도 있다.

x'=A·x (4)

식 (4)에서, x와 x'은 3×1의 행렬이고, A는 3×3의 행렬이다. 유효한 움직임 벡터가 n개이었을 경우, 대상 화상의 좌표값은, 식 (5)과 같이 3×n의 행렬로 표현할 수 있다.

X=(x1, x2, …, xn) (5)

이동후의 좌표값도, 식 (5)에서와 마찬가지로, 식 (6)과 같이 n×3의 행렬로 표현할 수 있다.

X'=(x'1, x'2, …, x'n) (6)

따라서, n개의 움직임 벡터가 존재할 때, 좌표값은 식 (7)과 같은 표현된다.

X'=A·X (7)

즉, 식(7)에 있어서의 아핀 행렬 A를 구할 수 있으면, 이 행렬이 화면 전체의 위치 이동량이 된다. 식 (7)을 변형하면, 아핀 행렬은 식 (8)과 같이 구할 수 있다.

A=X'·XT·(X·X)T-1 (8)

전술한 방법에서는, 화면 전체의 이동량을, 아핀변환의 파라미터로 표현할 수 있다. 따라서, 유저가 디지털 카메라를 유지하고 있을 때 발생하는 시프트 블러(blur) 이외에도, 면내 방향에서의 롤링(rolling)에 의해 발생된 블러와 전후 방향의 줌 블러 등에도 적용할 수 있다.

이하, 유효 블록 판정 처리를 도 10에 도시된 흐름도를 참조하여 설명한다.

블록 매칭을 수행하여 블록들 사이의 상관을 구하려고 하는 경우, 블록 내의 화상이 어떠한 특징량을 갖고 있을 필요가 있다. 평탄하고 직류(DC) 성분 밖에 포함하고 있지 않은 블록에서는 올바른 움직임 벡터를 구하는 것이 불가능하다. 반대로, 블록이 수평 방향 또는 수직 방향으로 엣지를 포함하고 있으면, 매칭이 취해지기 쉬워진다. 도 10은, 평탄부의 블록을 제거하는 처리의 일례를 나타낸 흐름도다. 이하에서는 1개의 블록에 대해 행해지는 처리를 설명한다.

스텝 S1001에서, 초해상 처리회로(404)는, 블록 내에 있는 수평 방향의 1개의 라인에서, 최대값과 최소값의 차분값을 산출한다. 예를 들면, 블록의 사이즈가 50×50의 화소이면, 초해상 처리회로(404)는, 블록 내에 있어서의 수평 방향의 5개의 화소로부터 최대값과 최소값을 구하고, 그들 값 사이의 차분값을 산출한다. 스텝 S1002에서, 초해상 처리회로(404)는, 이와 같은 계산을 수평 라인수만큼, 즉 50회 반복한다. 스텝 S1003에서, 초해상 처리회로(404)는, 50개의 차분값으로부터 최대의 차분값을 구한다.

스텝 S1004에 있어서, 초해상 처리회로(404)는, 미리 설정되어 있는 임계값 Tx와 최대 차분값의 비교를 행한다. 최대 차분값이 임계값 Tx보다도 작으면(스텝 S1004에서 YES), 이 블록은 수평 방향으로는 특징량을 갖지 않는 블록으로 판정된다. 스텝 S1005에서, 초해상 처리회로(404)는, 이 블록을 무효 블록으로 판정한다. 이에 반해, 이 블록이 수평 방향으로 특징량을 갖는다고 판정할 수 있는 경우(스텝 S1004에서 NO), 초해상 처리회로(404)는, 수직 방향에서 이와 유사한 검증을 행한다.

스텝 S1006에서, 초해상 처리회로(404)는, 블록 내에 있는 수직 방향의 1개의 라인에서 최대값과 최소값의 차분값을 산출한다. 더욱 구체적으로는, 초해상 처리회로(404)는, 블록 내에 있어서의 수직 방향의 50개의 화소로부터 최대값과 최소값을 구하고, 그들 구해진 값들 사이의 차분값을 산출한다. 스텝 S1007에서, 초해상 처리회로(404)는, 이 계산을 수직 라인 수만큼, 즉 50회 반복한다.

스텝 S1008에서, 초해상 처리회로(404)는, 50개의 산출된 차분값으로부터 최대의 차분값을 구한다.

스텝 S1009에서, 초해상 처리회로(404)는, 미리 설정되어 있는 임계값 Ty와 최대 차분값의 비교를 행한다. 최대 차분값이 임계값 Ty보다도 작으면(스텝 S1009에서 YES), 이 블록은 수직 방향으로는 특징량을 갖지 않은 블록으로 판정된다. 스텝 S1005에서, 초해상 처리회로(404)는, 이 블록을 무효 블록으로 판정한다. 블록이 수평 방향 및 수직 방향으로 특징량을 가지면(스텝 S1009에서 NO), 정확한 블록 매칭이 행해지는 것을 기대할 수 있다. 따라서, 스텝 S1010에서, 초해상 처리회로(404)는, 이 블록을 유효 블록으로 판정한다.

이하, 유효 움직임 벡터 판정 처리를 도 11의 흐름도를 참조하여 설명한다.

스텝 S1101에서, 초해상 처리회로(404)는, 도 9에 도시된 스텝 S902에서 검출한 움직임 벡터를 입력한다.

스텝 S1102에서, 초해상 처리회로(404)는, 움직임 벡터의 발생 빈도를 산출한다.

스텝 S1103에서, 초해상 처리회로(404)는, 모든 움직임 벡터의 발생 빈도가 구해질 때까지 이 처리를 반복한다. 그후, 스텝 S1104에서, 초해상 처리회로(404)는, 최대 발생 빈도의 움직임 벡터를 구한다.

스텝 S1105에서, 초해상 처리회로(404)는, 다시 움직임 벡터를 입력한다.

스텝 S1106에서, 초해상 처리회로(404)는, 입력한 움직임 벡터가 최대 발생 빈도의 움직임 벡터, 혹은 최대 발생 빈도의 움직임 벡터의 근방(소정 범위 내)의 움직임 벡터인지의 판정을 행한다. 화면 전체의 블러가 시프트 뿐인 경우, 각 블록의 움직임 벡터는, 최대 발생 빈도의 움직임 벡터에 거의 일치하는 것이다. 롤링으로 인한 블러가 존재하는 경우에는, 최대 발생 빈도의 움직임 벡터의 근방에 많은 움직임 벡터가 발생한다,

따라서, 입력한 움직임 벡터가 최대 발생 빈도의 움직임 벡터, 혹은 최대 발생 빈도의 움직임 벡터의 근방(소정 범위 내)의 움직임 벡터인 경우(스텝 S1106에서 YES), 스텝 S1107로 처리를 진행한다. 스텝 S1107에서, 초해상 처리회로(404)는 입력한 움직임 벡터가 유효 움직임 벡터라고 판정한다. 한편, 입력한 움직임 벡터가 최대 발생 빈도의 움직임 벡터, 혹은 최대 발생 빈도의 움직임 벡터의 근방(소정 범위 내)의 움직임 벡터가 아닌 경우(스텝 S1106에서 NO), 스텝 S1108로 처리를 진행한다. 스텝 S1108에서, 초해상 처리회로(404)는, 입력한 움직임 벡터가 무효 움직임 벡터라고 판정한다. 스텝 S1109에서, 초해상 처리회로(404)는, 모든 움직임 벡터에 대해 처리를 행하였는지 판정을 행하고, 처리를 완료할 때까지 스텝 S1105로부터의 처리를 반복한다.

본 실시예에 따르면, 초해상 처리회로(404)는, MAP 추정법을 사용해서 화상 합성처리를 실행한다. 즉, 본 실시예에 따른 초해상처리는, 입력 화상군으로부터 추정되는 출력 화상(보정 화상)의 사후확률을 최대화한다. 사후확률 P(X｜Y)에 관해 X를 입력 화상군으로 표시하면, Y는 식 (9)로 표현할 수 있다.

Y=D(h)MX + n (9)

식 (9)에서, D(h)은, 렌즈 수차 보정이 행해질 때 국소적인 확대 처리의 배율을 반영한 행렬이다. D(h)는 촬영시의 상고와 이상 상고의 차이(벗어남 량)로부터 산출된다. 또한, M은, 화상들 사이의 위치 벗어남을 표시하는 행렬이고, n은 노이즈이다.

이하, 화상들 사이의 위치 벗어남을 표시하는 행렬 M의 생성방법에 대해 설명한다. 행렬 M은, 전술한 상대 이동량 산출 처리에서 얻어진 참조 화상과 대상 화상 사이의 상대 관계를 표시하는 아핀 파라미터에 의해 결정된다. 초해상 처리회로(404)는, 입력되는 복수의 화상 데이터 중 1개를 참조 화상으로 정하고, 그 밖의 화상 데이터를 대상 화상으로 정한다. 식 (3)의 화소 위치 (x, y)는 대상 화상에서의 화소 위치에 대응하고, 화소 위치 (x', y')은 참조 화상에서의 화소 위치에 대응한다. 따라서, 초해상 처리회로(404)는, 전술한 대응관계와 추정된 아핀 파라미터로부터, 대상 화상의 화소 위치 (x, y)에 대응하는 참조 화상의 좌표 위치를 결정할 수 있다. 이들의 대응관계가 행렬 M에 반영된다.

초해상 처리회로(404)는, 대응관계의 결과로써 화소 위치 (x', y')이 참조 화상의 격자점 위에 플롯되는 경우에는, 참조 화상의 화소 위치에 대응하는 행렬 M의 요소를 1로 규정하고, 그 밖의 요소에 0을 할당한다. 한편, 초해상 처리회로(404)는, 대응 관계의 결과로써 화소 위치 (x', y')이 참조 화상의 격자점 위에 플롯되지 않는 경우에는, (x', y')의 주변화소의 화소값들의 가중계수들의 함으로서 행렬 M의 계수를 산출한다. 초해상 처리회로(404)는, 선형보간 등의 보간처리를 이용하여, (x', y')의 주변화소의 화소값들로부터 계수를 산출한다. 초해상 처리회로(404)는, 행렬 M에 있어서 (x, y)와 (x', y')의 주변화소의 위치로부터 결정되는 행 및 열의 요소 각각에, (x', y')의 주변화소에 할당되는 가중값을 할당한다. 그리고, 초해상 처리회로(404)는, 그 이외의 요소에 0을 할당하여, 화상 사이의 위치 벗어남 량을 표시하는 행렬 M을 생성한다.

MAP 추정법을 사용하는 초해상처리에서는, 초해상 처리회로(404)는, 입력 화상으로부터 초기 화상을 생성하고, 미리 설정한 확률밀도 함수를 사용해서 상태를 추정한다. 초해상 처리회로(404)는, 종단 조건을 충족시킬 때까지 추정을 반복함으로써, 최적의 해를 산출한다. 도 12는, MAP 추정법을 사용한 화상 합성처리의 일례를 나타낸 흐름도이다.

스텝 S1201에 있어서, 초해상 처리회로(404)는, 입력 화상군의 화소값의 평균값을 사용하여 초기 화상을 생성한다. 스텝 S1202에서, 초해상 처리회로(404)는, 각 화소에 대해, 식 (9)로 나타낸 확률밀도 함수를 사용해서 화소값을 추정한다.

초해상 처리회로(404)는, 이터레이션(iteration) 맵을 참조하여, 대응하는 화소의 이터레이션 회수에 도달하지 않고 있을 경우에만 이 추정처리를 적용한다. 이터레이션 맵은, 출력 화소와 폭과 높이와 같은 비트맵 데이터이며, 그것의 화소값은 각 화소의 이터레이션 회수의 최대값이 된다. 비트맵 1개를 1개의 화상 영역으로 간주하면, 이터레이션 맵은 화상 영역마다 설정되어 있는 이터레이션 회수가 된다. 화상 영역의 단위는, 전술한 것과 같이 화소 단위에 한정되지 않고, 예를 들면, 상고 단위이어도, m×n 블록 단위이어도 된다. 이터레이션 맵의 생성방법에 대해서는 후술하는 도 13에 나타낸다. 추정 처리를 행하지 않는 경우, 초해상 처리회로(404)는, 추정후의 화소값으로서, 추정전의 화소값을 직접 사용한다.

스텝 S1203에서, 초해상 처리회로(404)는, 스텝 S1202에서 화소값이 변화한 화소의 화소값을 갱신한다. 본 실시예에 따르면, 스텝 S1202에서 얻은 추정값을 화소값 갱신에 사용한다. 그러나, 초해상 처리회로(404)는, 미리 정해진 갱신 비율에 따라 추정 전후의 화소값으로부터 갱신할 화소값을 산출해도 된다.

스텝 S1204에서, 초해상 처리회로(404)는, 모든 화소에 대해 종단조건을 충족시키고 있는지 아닌지를 판정한다. 모든 화소가 종단조건을 충족시키고 있는 경우(스텝 S1204에서 YES), 처리를 종료한다. 종단조건을 충족시키지 않고 있는 화소가 존재하는 경우(스텝 S1204에서 NO), 스텝 S1202로 처리가 되돌아가, 초해상 처리회로(404)는, 다시 화소값의 추정 처리를 실행한다.

본 실시예에 따른 종단조건은, 추정 전후에서 모든 화소의 상태가 갱신되지 않고 있는 것이다.

도 13은, 이터레이션 맵 생성 처리(즉 이터레이션 맵 설정 처리)의 일례를 나타낸 흐름도이다.

스텝 S1301에서, 초해상 파라미터 생성 회로(403)는, 렌즈 수차 보정후의 화상과 동일한 폭 및 높이를 갖는 비트맵을 작성하고, 이 비트맵을 0으로 초기화한다.

스텝 S1302에서, 초해상 파라미터 생성 회로(403)는, 렌즈 수차 보정처리에서 사용한 왜곡 보정 LUT 사이즈 fs의 값으로부터, 이터레이션 배율을 화상 영역마다 결정한다. 본 실시예에 따르면, 초해상 파라미터 생성 회로(403)는, 벗어남 량의 절대값에 따라 반복 회수를 결정한다. 이터레이션 배율 α는 식 (11)과 같이 나타낼 수 있다.

α= N/m (11)

식 (11)에서, m은, 미리 정한 기준 벗어남 량이다. 식 (11)로서 이터레이션 배율을 정의한 경우, 벗어남 량이 1mm일 때 반복 회수를 50회로 설정하면, 이터레이션 배율 α는 50이 된다. 스텝 S1303에서, 초해상 파라미터 생성 회로(403)는, 화소마다 왜곡 보정 LUT를 참조해서 벗어남 량을 산출한다. 그후, 초해상 파라미터 생성 회로(403), 이 벗어남 량에 이터레이션 배율 α를 곱해서 얻어진 정수값을 이터레이션 맵에 격납한다. 이 계산에서 음의 값이 얻어지는 경우, 초해상 파라미터 생성 회로(403)는, 이터레이션 맵에 0을 격납한다.

본 실시예에 따른 디지털 카메라는, 전술한 이터레이션 맵을 이용함으로써, 렌즈 수차 보정에 기인한 해상감 저하의 영향의 크기에 따라 추정 처리 회수를 콘트롤할 수 있다. 즉, 디지털 카메라는, 렌즈 수차가 보정될 때 화소값이 갱신되지 않는 화소에 대해서는 추정 처리를 행하지 않는다. 그 대신에, 디지털 카메라는, 렌즈 수차가 보정될 때 화소값이 크게 변화하는 화소에 대해서는 추정 처리를 다수회 적용한다. 그 결과, 화상 전체를 균일하게 보정할 수 있으며, 쓸데 없는 추정 처리를 생략할 수 있으므로, 처리 속도를 대폭 향상시킬 수 있다.

본 실시예에 따르면, 디지털 카메라는, MAP 추정법을 사용해서 고해상도 화상을 생성한다. 그러나, 디지털 카메라는, 루프 처리를 포함하는 다른 고해상도 화상 생성 처리 방법을 사용해서 고해상도 화상을 생성해도 된다. 예를 들면, 디지털 카메라는, POCS(projection onto convex sets)법, POCS-ML(maximum likelihood)법 및 백 프로젝션(back projection)법을 사용해서 고해상도 화상을 생성해도 된다. 또한, 본 실시예에 따른 디지털 카메라는, 추정 처리 회수의 저감을 위해 이터레이션 맵을 사용한다. 그러나, 디지털 카메라는, 촬영시의 상고와 이상 상고의 벗어남 량에 따라, 추정 처리의 반복 회수 이외의 파라미터를 결정하여도 된다, 그후, 디지털 카메라는, 결정한 파라미터를 사용해서 고해상도 화상을 생성해도 된다. 예를 들면, 디지털 카메라는, 확률밀도 함수 P(x｜y)에 수속(convergence) 항을 설치하도록 하여, 벗어남 량에 따라 조기 수속하도록 하는 처리하여도 된다.

또는, 디지털 카메라는, 갱신 비율의 값을 촬영시의 상고와 이상 상고의 벗어남 량을 사용해서 화소마다 변경해도 된다. 본 실시예에 따르면, 추정한 화소의 값을 직접 채용하고 있다. 그러나, 디지털 카메라는, 추정 후의 화소값에 대해 가중된 평균값을 사용하여 화소값을 갱신하도록 해도 된다. 갱신 비율은 추정후의 화소의 가중값을 가리킨다. 벗어남 량이 작을수록 추정값의 가중값을 증가시킴으로써 보다 빠르게 처리를 수속하도록 할 수도 있다.

이상에서 설명한 것과 같이, 본 실시예에 따르면, 초해상도 처리(즉, 고해상도화 처리)는 복수의 프레임을 고해상도 화상으로 변환한다. 이와 같은 처리에 있어서는, 렌즈 수차 보정에 기인한 화소의 이동량(또는 국소적인 확대 배율)에 따라 파라미터를 결정한다. 이 결과, 렌즈 수차 보정처리에 행함으로써 저하한 해상감을 고속으로 회복할 수 있다.

실시예 1에 따른 디지털 카메라는, 시분할 노광에 의해 얻어진 전체의 화상(즉, 복수의 시분할 노광 화상)에 대해 렌즈 수차 보정처리를 실행한다. 이 방법에서는, 디지털 카메라는, 렌즈 보정 테이블로부터 왜곡이 보정된 후에 화상 사이즈가 계산가능하다. 따라서, 렌즈 수차 보정처리와 초해상처리를 실행하기 전에 필요한 메모리 양을 산출할 수 있다. 더구나, 화소 단위로 처리가 행해지므로, 적은 메모리 양이 사용된다.

그렇지만, 실시예 1에 따른 처리는, 렌즈 수차 보정처리를 모든 시분할 노광 화상에 대해 적용하기 때문에, 계산 코스트의 면에서는 효율적이지 않다. 본 발명의 실시예 2에 따르면, 처음에 초해상처리를 행하여 복수개의 화상을 1개의 화상으로 합성한 후, (초해상 처리를 수행하여 얻어진) 1개의 화상에 대해 렌즈 수차 보정처리를 적용한다. 그 결과, 이하에서 설명하는 것과 같이 전체의 계산 코스트를 저감할 수 있다.

도 14는, 본 발명의 실시예 2에 따른 렌즈 수차 보정처리를 수행하는 디지털 카메라의 구성도다. 본 실시예에 따른 디지털 카메라는 실시예 1에 따른 디지털 카메라와 달리, 초해상 처리 회로(1403)가 시분할 노광 화상(1420)을 1개의 화상으로 합성한다. 실시예 1에 따르면, 초해상처리의 적용 전후에서 화상 데이터의 해상도는 변하지 않는다. 이에 반해, 본 실시예에 따르면, 초해상 처리 회로(1403)는, 렌즈 수차 보정처리에 의한 화질 열화의 영향을 고려함으로써 높은 해상도의 화상을 출력한다.

예를 들면, 초해상 처리 회로(1403)는, 렌즈 수차 보정 수행에 있어서 화상 데이터가 확대되는 배율의 최대값을 사용하여 출력 해상도를 산출한다. 그후, 초해상 처리 회로(1403)는 이 해상도를 갖는 화상을 생성한다. 렌즈 수차 보정 처리회로(1404)가, 확대된 화상 데이터에 대해 렌즈 수차 보정처리를 적용하여, 본래의 해상도로 화상 데이터를 축소함으로써, 렌즈 수차 보정에 의한 해상감의 저하를 회피할 수 있다.

본 실시예에 따르면, 식 (12)를 사용하여 산출되는 확대율 β에 따라 초해상 처리 회로(1403)의 출력 화상 해상도를 결정한다.

β=I(h_max)/I'(h_max) (12)

식 (12)에서, h_max는, 이상 상고와 촬영시 상고의 차이가 최대가 되는 상고이다. I'(h)은, 촬영시의 상고, I(h)은 이상 상고이다. β<1인 경우에는, β의 값을 1로 설정한다. 따라서, 이 확대율을 프레임 화상의 폭과 높이에 곱함으로써 초해상처리의 출력 화상의 사이즈가 얻어진다.

본 실시예에 따르면, 초해상처리의 처리 파라미터를 결정하기 위해, 실시예 1과 마찬가지로, 이터레이션 맵을 사용한다. 본 실시예에 따르면 화상이 확대되기 때문에, 실시예 1에 따른 반복 회수보다 반복 회수가 많아지도록 이터레이션 배율 α를 결정하는 것이 바람직하다. 따라서, 본 실시예에 따르면, 이터레이션 배율 α를, 미리 정해진 최대 반복 회수 N과, 이상 상고와 촬영시의 상고의 최대 차이값 d_max를 사용하여, 식 (13)과 같이 표시한다.

α=N/d_max (13)

즉, 본 실시예에 따르면, 상고의 벗어남 량이 최대가 되는 화소에 대해 최대 N회 추정 처리를 반복한다. 본 실시예는, 화상에 대해 최대 반복 회수를 설정함으로써, 초해상처리를 행하기 위한 처리 시간의 최대값이 계산 가능하게 된다고 하는 이점도 있다.

그후, 초해상 처리 회로(1403)의 출력 화상에 대해, 실시예 1과 유사한 방법을 사용하여 렌즈 수차 보정처리를 적용한다. 렌즈 수차 보정 처리회로(1404)의 출력 해상도는, 시분할 노광 화상(1420)의 선두의 프레임 화상에 렌즈 수차 보정처리를 적용한 경우에 얻어진 해상도와 동일하다. 렌즈 수차 보정처리를 적용한 후의 해상도는, 실제로 이 처리를 적용하지 않고도, 렌즈 보정 테이블로부터 산출가능하다. 그러나, 이것은 본 실시예의 주목적이 아니기 때문에, 이 처리의 상세에 대해서는 생략한다.

본 실시예에 따른 전술한 처리를 적용함으로써, 대폭적으로 계산 코스트를 저감할 수 있으며, 실시예 1과 유사한 결과를 얻을 수 있다.

실시예 1 및 실시예 2에 따르면, 화소의 이동을 수반하는 화상 변형처리로서, 렌즈 수차 보정처리를 행하였다. 본 실시예에 따르면, 실시예 1 및 실시예 2와 유사한 화상 변형처리의 일례로서, 프로젝터에서 사용하는 키스톤 보정처리를 적용한다.

도 15는, 본 발명의 실시예 3에 따른 키스톤 보정의 수행에 있어서의 화소의 이동량을 설명하는 도면이다. 도 15를 참조하면, 키스톤 보정은, 어떤 특정한 기준 라인(도 15에 도시된 예에서는 화면의 아래 라인)을 고정하고, 수직 방향과 수평 방향으로 변배함으로써 보정처리를 실현한다. 도 15에 도시된 예에서는, 설명을 간단하게 하기 위해, 스크린의 틸트 방향의 보정에 한정하고 있다.

도 15에 나타낸 것과 같이, 키스톤 보정처리에 있어서 화소의 이동량(즉, 국소적인 확대율)은 장소에 따라 다르다. 따라서, 서브 픽셀 단위에서의 블러를 포함하는 연속 화상을 입력으로 하는 경우, 실시예 1 및 실시예 2에서 설명한 처리를 사용함으로써, 디지털 카메라는, 좌표점마다 최적의 파라미터를 갖는 초해상처리를 적용할 수 있다.

키스톤 보정처리의 경우, 화상 데이터가 기본적으로 축소되므로, 실시예 1 및 실시예 2에서 서술한 것 같은 확대 방향으로 한정되는 구현에서는 효과가 없다. 그렇지만, 키스톤 보정처리를 수행함으로써 축소되는 부분은, 투영될 때 확대되어 해상감이 저하하고 있는 부분이다. 그 결과, 이 부분이 키스톤 보정처리에 의해 축소되었다고 하더라도 해상감은 향상되지 않는다.

따라서, 본 실시예의 디지털 카메라는, 실시예 1과 실시예 2와는 달리, 확대 배율이 감소할수록 초해상처리에 있어서 추정처리 회수를 증가시킨다. 이와 같은 처리를 적용함으로써, 보다 해상감이 높은 축소 화상을 얻을 수 있고, 화면 전체에 걸쳐 양호한 보정결과를 얻을 수 있다.

전술한 실시예들에 따르면, 화상 처리회로(125), 이동량 산출 처리회로(126), 화상 합성 처리회로(127) 등, 하드웨어로서 본 발명의 기능을 디지털 카메라에서 구현하였다. 그렇지만, 상기 기능을 디지털 카메라에서 소프트웨어(프로그램)로서 구현해도 된다.

본 발명은, 전술한 실시예들의 기능을 수행하기 위한 소프트웨어(프로그램 코드)를 기억하는 기억매체를 장치에 제공함으로써 달성될 수도 있다. 기억매체에 기억된 프로그램 코드는 시스템 또는 장치의 컴퓨터(중앙처리장치(CPU) 또는 마이크로프로세싱 유니트(MPU)에 의해 판독되어 실행될 수 있다.

또한, 컴퓨터 상에서 실행되는 오퍼레이팅 시스템(OS) 등이 소프트웨어(프로그램 코드)의 지시에 따라 처리의 일부 또는 전부를 수행하여, 전술한 실시예들의 기능을 실현할 수도 있다.

전술한 실시예를 상기 기억매체에 적용하는 경우, 그 기억매체(컴퓨터 판독가능한 기억매체)에는, 앞서 설명한 흐름도에 대응하는 프로그램 코드가 기억된다.

본 발명의 국면은, 전술한 실시예(들)의 기능을 수행하기 위해 기억장치에 기록된 프로그램을 판독하여 실행하는 시스템 또는 장치(또는 CPU 또는 MPU 등의 소자)의 컴퓨터나, 예를 들면, 전술한 실시예(들)의 기능을 수행하기 위해 기억장치에 기록된 프로그램을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 단계들을 갖는 방법에 의해 구현될 수도 있다. 이와 같은 목적을 위해, 예를 들어, 네트워크를 거쳐, 또는 기억장치로서의 역할을 하는 다양한 종류의 기록매체(예를 들어, 컴퓨터 판독가능한 매체)로부터 이 프로그램이 컴퓨터로 주어진다.

예시적인 실시예들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시예에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims

반복 연산 처리를 수행함으로써 복수의 입력 화상 데이터로부터 보정 화상 데이터를 생성하는 화상 처리장치로서,
상기 복수의 입력 화상 데이터를 입력하도록 구성된 입력부와,
상기 입력 화상 데이터를 취득하기 위해 촬영하는데 사용된 촬영 파라미터를 취득하도록 구성된 취득부와,
상기 촬영 파라미터에 근거하여 상기 보정 화상 데이터를 생성하기 위한 반복 회수를 화상 영역마다 설정하도록 구성된 설정부와,
상기 화상 영역마다 설정된 상기 반복 회수에 근거하여 각 화상 영역에 대해 반복 연산 처리를 수행함으로써, 상기 복수의 입력 화상 데이터로부터 보정 화상 데이터를 생성하도록 구성된 생성부를 구비한 화상 처리장치.
제 1항에 있어서,
상기 설정부에 의해 설정된 화상 영역마다의 반복 회수는, 상기 화상의 왜곡량에 근거하여 설정되는 화상 처리장치.
제 2항에 있어서,
상기 왜곡량은, 화상 내부의 화소의 이동량에 근거하여 결정되는 화상 처리장치.
제 1항에 있어서,
상기 입력부에 의해 입력되는 복수의 입력 화상 데이터는, 렌즈 수차가 보정된 화상을 표시하는 화상 데이터인 화상 처리장치.
제 1항에 있어서,
상기 생성부는, 초해상 처리를 수행함으로써 상기 복수의 입력 화상 데이터로부터 상기 보정 화상 데이터를 생성하는 화상 처리장치.
제 1항에 있어서,
상기 생성부에 의해 생성된 상기 보정 화상 데이터의 렌즈 수차 보정을 행하도록 구성된 수차 보정부를 더 구비한 화상 처리장치.
제 4항에 있어서,
상기 렌즈 수차 보정이 행해진 화상은 키스톤 보정처리가 행해진 화상인 화상 처리장치.
제 1항에 있어서,
상기 복수의 입력 화상 데이터는, 시분할 노광을 행하여 취득되는 화상 처리장치.
제 1항에 있어서,
상기 화상 영역은, 입력 화상 데이터에 의해 표시된 화상의 상고에 따라 설정되고,
설정된 높이보다 상고가 높은 화상 영역의 반복 회수는, 상기 설정된 높이보다 상고가 낮은 화상 영역의 반복 회수보다도 많은, 화상 처리장치.
제 1항에 있어서,
상기 화상 영역의 단위는 화소인 화상 처리장치.
제 1항에 있어서,
상기 화상 영역의 단위는 상고인 화상 처리장치.
제 1항에 있어서,
상기 설정부는, 상기 입력 화상 데이터를 취득하기 위한 촬영하는데 사용된 촬상장치의 렌즈 특성과 촬영 파라미터에 근거하여, 상기 보정 화상 데이터를 생성하기 위한 반복 회수를 화상 영역마다 설정하는 화상 처리장치.
반복 연산 처리를 수행함으로써 복수의 입력 화상 데이터로부터 보정 화상 데이터를 생성하는 화상 처리방법으로서,
상기 복수의 입력 화상 데이터를 입력하는 단계와,
상기 입력 화상 데이터를 취득하기 위해 촬영하는데 사용된 촬영 파라미터를 취득하는 단계와,
상기 촬영 파라미터에 근거하여 상기 보정 화상 데이터를 생성하기 위한 반복 회수를 화상 영역마다 설정하는 단계와,
상기 화상 영역마다 설정된 상기 반복 회수에 근거하여 각 화상 영역에 대해 반복 연산 처리를 수행함으로써, 상기 복수의 입력 화상 데이터로부터 보정 화상 데이터를 생성하는 단계를 포함하는 화상 처리방법.
청구항 제13항에 기재된 화상 처리방법을 수행하게 하는 프로그램을 기억한 컴퓨터 판독가능한 기억매체.