KR101246738B1

KR101246738B1 - 화상처리장치 및 화상처리방법, 및, 데이터 처리장치 및 데이터 처리 방법

Info

Publication number: KR101246738B1
Application number: KR1020117015511A
Authority: KR
Inventors: 토모에 키쿠치
Original assignee: 캐논 가부시끼가이샤
Priority date: 2008-12-10
Filing date: 2009-11-26
Publication date: 2013-03-25
Also published as: CN102246505B; CN103327237B; CN103327237A; JP5162029B2; US20110187874A1; CN102246505A; EP2377308B1; WO2010067740A1; US8730371B2; EP2377308A1; EP2377308A4; JP2012505562A; KR20110102407A

Abstract

촬영 렌즈로부터, 촬영 렌즈의 광학 전달 정보를 입력하고, 촬상장치의 촬상부의 특성정보를 취득한다. 그리고, 특성정보에 근거하여, 광학 전달 정보를 촬상부의 특성에 의존하는 광학 전달 정보로 변환한다. 촬상부의 특성에 의존하는 광학 전달 정보에 근거하여 상기 촬영 렌즈에 의해 촬영한 화상의 열화를 보정하는 보정 필터를 생성한다.

Description

화상처리장치 및 화상처리방법, 및, 데이터 처리장치 및 데이터 처리 방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD, AND DATA PROCESSING APPARATUS AND DATA PROCESSING METHOD}

본 발명은, 열화한 촬영 화상을 보정하는 화상처리장치 및 화상처리방법, 및, 데이터 처리장치 및 데이터 처리 방법에 관한 것이다.

디지털 스틸 카메라등의 촬상장치에서 촬영한 화상이, 예를 들면 수차에 의한 열화되는 경우, 어떠한 열화도 없는 화상을 회복하는 화상회복 처리가 알려져 있다. 화상회복 알고리즘으로서, 화상열화의 특성을 포인트 스프레드 함수(PSF)로 표현하고, PSF에 근거해 어떠한 열화도 없는 화상을 회복하는 방법이 알려져 있다.

일본국 공개특허 특개소 62-127976호는, PSF의 반대특성의 필터 처리에 의해 블러(blur)를 보정하는 발명을 개시한다. 또한, 일본국 공개특허공보 특개 2004-205802공보는, PSF로부터 위너(Wiener)필터를 생성하고, 위너 필터를 이용해서 열화 화상을 회복하는 발명을 개시한다. 한층 더, 일본국 공개특허공보 특개2000-020691공보는, 촬상장치의 특성정보를 사용하여, 고품위의 회복 화상을 얻는 발명을 개시한다.

[화상회복의 원리]

(x, y)를 화면(frame)상의 위치 좌표로 해서 어떠한 열화도 없는 화상(이하, 피사체상(subject image)이라고 함)을 o(x, y), 탈초점 수차, 카메라 흔들림 등에 의해 열화한 화상(이하, 열화 화상이라고 함)을 z(x, y), 및 블러에 의해 펼쳐진 점의 정보PSF를 p(x, y)라고 한다. 이것들 세 개의 정보는 다음식을 충족시킨다.

z(x, y)=0(x, y)＊p(x, y) ...(1)

식(1)에 있어서, "＊"는 콘볼루션 연산을 나타낸다. 따라서, 식(1)을 하기식으로 나타낸 적분식으로서 다시 쓸 수 있다.

z(x, y)=∬o(x, y)p(x-x', y-y')dx'dy' ...(2)

식(2)를 공간주파수(u, v) 영역에 푸리에 변환하면 하기식과 같이 계산된다.

Z(u, v)=0(u, v)·P(u, v) ...(3)

여기에서, Z(u, v)는 z(x, y)의 스펙트럼,

0(u, v)는 o(x, y)의 스펙트럼, 및

P(u, v)는 p(x, y)의 스펙트럼이다.

또한, P(u, v)는, PSF의 이차원 푸리에 변환인 광학전달함수(OTF)의 절대치인 변조 전달 함수(MTF)이다.

열화 화상 z(x, y)와 아울러, 임의의 방법에 의해 PSF인 p(x, y)를 검지할 수 있으면, 그들의 스펙트럼을 산출하고, 식(3)을 변형한 식(4)를 이용함으로써 피사체상의 스펙트럼 0(u, v)를 산출할 수 있다. 그리고, 식(4)에 의해 산출된 스펙트럼을 역 푸리에 변환을 계산함으로써, 피사체상o(x, y)를 얻을 수 있다.

0(u, v)=Z(u, v)/P(u, v) ...(4)

이때, 1/P(u, v)는, 역필터라고 불린다.

열화의 MTF는, 그 값이 0이 되는 주파수를 포함하는 경우가 많다. 제로 MTF의 값은, 열화에 의해 전달되지 않는(정보가 잃어버려진다) 주파수 성분이 존재하는 것을 의미한다. MTF의 값이 0이 되는 주파수가 존재하면, 피사체상을 완전하게 회복할 수는 없다. 따라서, MTF의 역필터는 필터 계수가 무한대가 되는 주파수를 포함하는 경우가 많고, 해당 주파수에 있어서, 피사체상의 스펙트럼 값은 일정하지 않아진다.

거기에서, 역필터의 계수가 무한대가 안되도록, 하기식으로 나타낸 위너필터를 화상회복에 사용하는 경우가 많다.

P(u, v)/{｜P(u, v)｜² +c} ...(5)

여기에서, c는 매우 작은 값의 정수다.

열화 화상으로부터 피사체상을 회복하기 위해서는, 정확한 PSF(또는, OTF, MTF)를 취득하는 것이 요구된다.

PSF는 상높이, 줌 및 피사체 위치에 따라 변화되는 것이 잘 알려져져 있다. 따라서, 이것들 촬영 정보에 따라 PSF를 산출하여, 회복 처리에 피드백하는 방법이 제안되어 있다. 예를 들면, 일본국 공개특허공보 특개평4-088765호는, 피사체 거리에 따라 PSF를 추정하여, 화상열화의 회복에 이용한다. 일본국 공개특허공보 특개2000-020691공보는, 플래쉬 사용시는 셔터 개방 기간동안에 피사체의 휘도변화가 크고, 플래쉬를 사용하지 않는(휘도변화가 균일한) 경우의 셔터 개방 기간동안에 PSF와 다르다는 사실에 착안하여, 플래쉬 사용시는 PSF를 보정해서 회복 처리를 행한다.

회복 처리 방법은 여러가지 문헌에 개시되어 있다. 그렇지만, 이들 문헌에서는, 실제로, 회복 필터의 데이터로서, 무엇이, 어떤 종류의 정보를, 어떻게 유지할지, 그리고, 그것들을 사용해 어떻게 회복 필터를 작성할 것인가라고 하는 점에 대해서, 결코 논의되지 않고 있다. 특히, 교환 가능한 촬영 렌즈를 사용하는 일안 레플렉스 카메라를 상정하고, 촬영 렌즈와 카메라 보디의 복수의 조합을 고려한 논의는 없다.

가장 간단한 방법은, 촬영 렌즈와 카메라 보디를 포함시킨 촬상장치전체의 회복 처리 정보(회복 필터 계수나, 촬상장치 전체의 PSF데이터등)을 데이터베이스로서 카메라 보디나 화상처리 소프트에 격납해두는 것이다. 그리고, 회복 처리를 행할 때, 촬영 조건에 따른 회복 처리 정보를 데이터베이스로부터 취득하는 것만으로 좋다.

상기의 방법은, 촬영 렌즈와 카메라 보디의 조합이 고정된 디지털 카메라에 있어서 효과적이다. 그러나, 교환 가능한 촬영 렌즈를 사용하는 일안 레플렉스 카메라의 경우, 촬영 렌즈와 카메라 보디의 모든 조합에 대하여 회복 처리 정보를 유지할 필요가 있다. 이 경우, 데이터량은 방대해져, 메모리 사이즈에 제약이 있는 각 촬영 렌즈나 카메라 보디에 회복 처리 정보를 유지시키는 것은 곤란하다. 회복 처리 정보는, 특정 촬영 렌즈와 카메라 보디의 조합에 대응하는 고정 데이터다. 이 때문에, 카메라 보디나 촬영 렌즈의 신기종이 등장할 때마다, 신기종과 기존 기종의 조합에 대응하는 회복 처리 정보를 작성하고, 새로운 회복 처리 정보를 기존의 데이터베이스에 반영시킬 필요가 있다. 이러한 작업은, 카메라 보디와 촬영 렌즈의 유저에 번거로운 작업을 강요하게 된다.

일 국면에서, 교환가능한 촬영 렌즈를 사용한 촬상장치의 화상처리장치는, 상기 촬영 렌즈로부터, 상기 촬영 렌즈의 광학 전달 정보를 입력하는 입력부; 상기 촬상장치의 촬상부의 특성정보를 취득하는 취득부; 상기 특성정보에 근거하여, 상기 광학 전달 정보를 상기 촬상부의 특성에 의존하는 광학 전달 정보로 변환하는 변환부; 및 상기 촬상부의 특성에 의존하는 상기 광학 전달 정보에 근거하여, 상기 촬영 렌즈에 의해 촬영한 화상의 열화를 보정하는 보정 필터를 생성하는 생성부를 구비한다.

다른 국면에서, 교환가능한 촬영 렌즈를 사용한 촬상장치의 화상처리장치는, 상기 촬영 렌즈로부터, 상기 촬영 렌즈의 광학 전달 정보를 입력하는 입력부; 상기 촬상장치의 촬상부의 특성정보를 취득하는 취득부; 및 상기 광학 전달 정보, 상기 특성정보, 및 상기 촬영 렌즈에 의해 촬영한 촬상 데이터를 보존한 파일을 출력하는 출력부를 구비한다.

또 다른 국면에서, 교환가능한 촬영 렌즈를 사용한 촬상장치의 화상처리장치는, 상기 촬영 렌즈로부터, 상기 촬영 렌즈의 광학 전달 정보를 입력하는 입력부; 상기 촬상장치의 촬상부의 특성정보를 취득하는 취득부; 상기 특성정보에 근거하여, 상기 광학 전달 정보를 상기 촬상부의 특성에 의존하는 광학 전달 정보로 변환하는 변환부; 상기 촬상부의 특성에 의존하는 상기 광학 전달 정보에 근거하여 보정 필터를 생성하는 생성부; 및 상기 촬상장치의 촬영 모드에 따라, 상기 보정 필터를 사용하여 상기 촬영 렌즈에 의해 촬영한 화상의 열화를 보정하여서 얻어진 화상 데이터를 출력할지, 또는 상기 광학 전달 정보, 상기 특성정보, 및 상기 촬영 렌즈에 의해 촬영한 촬상 데이터를 보존한 파일을 출력할지를 선택적으로 실행하는 출력부를 구비한다.

또 다른 국면에서, 촬상장치의 교환가능한 촬영렌즈의 데이터 처리장치는, 상기 촬상장치의 촬상부의 특성정보를 수신하는 수신부; 상기 촬영 렌즈의 렌즈 설정에 따른 광학 전달 정보를 취득하는 취득부; 상기 특성정보에 근거하여, 상기 광학 전달 정보를 상기 촬상부의 특성에 의존하는 광학 전달 정보로 변환하는 변환부; 상기 촬상부의 특성에 의존하는 상기 광학 전달 정보에 근거하여, 상기 촬영 렌즈에 의해 촬영한 화상의 열화를 보정하는 보정 필터를 생성하는 생성부; 및 상기 보정 필터를 상기 촬상장치에 송신하는 송신부를 구비한다.

또 다른 국면에서, 교환가능한 촬영 렌즈를 사용한 촬상장치의 화상처리방법은, 상기 촬영 렌즈로부터, 상기 촬영 렌즈의 광학 전달 정보를 입력하는 단계; 상기 촬상장치의 촬상부의 특성정보를 취득하는 단계; 상기 특성정보에 근거하여, 상기 광학 전달 정보를 상기 촬상부의 특성에 의존하는 광학 전달 정보로 변환하는 단계; 및 상기 촬상부의 특성에 의존하는 상기 광학 전달 정보에 근거하여, 상기 촬영 렌즈에 의해 촬영한 화상의 열화를 보정하는 보정 필터를 생성하는 단계를 포함한다.

또 다른 국면에서, 교환가능한 촬영 렌즈를 사용한 촬상장치의 화상처리방법은, 상기 촬영 렌즈로부터, 상기 촬영 렌즈의 광학 전달 정보를 입력하는 단계; 상기 촬상장치의 촬상부의 특성정보를 취득하는 단계; 및 상기 광학 전달 정보, 상기 특성정보, 및 상기 촬영 렌즈에 의해 촬영한 촬상 데이터를 보존한 파일을 출력하는 단계를 포함한다.

또 다른 국면에서, 교환가능한 촬영 렌즈를 사용한 촬상장치의 화상처리방법은, 상기 촬영 렌즈로부터, 상기 촬영 렌즈의 광학 전달 정보를 입력하는 단계; 상기 촬상장치의 촬상부의 특성정보를 취득하는 단계; 상기 특성정보에 근거하여, 상기 광학 전달 정보를 상기 촬상부의 특성에 의존하는 광학 전달 정보로 변환하는 단계; 상기 촬상부의 특성에 의존하는 상기 광학 전달 정보에 근거하여 보정 필터를 생성하는 단계; 및 상기 촬상장치의 촬영 모드에 따라, 상기 보정 필터를 사용하여 상기 촬영 렌즈에 의해 촬영한 화상의 열화를 보정하여서 얻어진 화상 데이터를 출력할지, 또는 상기 광학 전달 정보, 상기 특성정보, 및 상기 촬영 렌즈에 의해 촬영한 촬상 데이터를 보존한 파일을 출력할지를 선택적으로 실행하는 단계를 포함한다.

또 다른 국면에서, 촬상장치의 교환가능한 촬영렌즈의 데이터 처리장치의 방법은, 상기 촬상장치의 촬상부의 특성정보를 수신하는 단계; 상기 촬영 렌즈의 렌즈 설정에 따른 광학 전달 정보를 취득하는 단계; 상기 특성정보에 근거하여, 상기 광학 전달 정보를 상기 촬상부의 특성에 의존하는 광학 전달 정보로 변환하는 단계; 상기 촬상부의 특성에 의존하는 상기 광학 전달 정보에 근거하여, 상기 촬영 렌즈에 의해 촬영한 화상의 열화를 보정하는 보정 필터를 생성하는 단계; 및 상기 보정 필터를 상기 촬상장치에 송신하는 단계를 포함한다.

이들 국면에 의하면, 교환가능한 촬영 렌즈를 사용하는 촬상장치가 촬영한 화상의 열화를 보정할 수 있다.

본 발명의 또 다른 특징들은, 첨부도면을 참조하여 아래의 예시적 실시예들의 설명으로부터 명백해질 것이다.

도 1은 디지털 카메라의 외관도다.
도 2는 디지털 카메라의 수직 단면도다.
도 3은 촬상 디바이스의 구성을 도시한 도면이다.
도 4는 디지털 카메라의 제어, 촬영 및 화상처리와 관련된 구성을 나타내는 블럭도다.
도 5는 회복 처리를 실행하는 구성을 설명하는 블럭도다.
도 6은 렌즈 특성값 메모리가 유지하는 데이터 구조의 개념을 도시한 도면이다.
도 7은 특정 파장에 있어서의 상높이 "I"의 OTF의 일례를 도시한 그래프다.
도 8은 회복 처리를 설명하는 흐름도다.
도 9는 회복 필터의 계수를 생성하는 처리를 설명하는 흐름도다.
도 10a 및 10b는 서브 샘플링을 도시한 그래프다.
도 11은 RGB필터의 분광 투과율 특성의 일례를 도시한 그래프다.
도 12는 회복 필터의 생성을 도시한 차트다.
도 13은 제2 실시예에 따른 회복 처리를 설명하는 흐름도다.
도 14는 제3 실시예에 따른 처리순서를 설명하는 흐름도다.
도 15 및 도 16은 제4 실시예에 따른 처리순서를 설명하는 흐름도다.
도 17은 제5 실시예에 따른 렌즈 특성값 메모리가 유지하는 데이터 구조의 개념을 나타내는 도면이다.
도 18은 제6 실시예에 따른 회복 필터를 생성하는 처리를 설명하는 흐름도다.

이하, 본 발명의 실시예들에 따른 화상처리장치 및 화상처리방법, 및, 데이터 처리장치 및 데이터 처리방법을 도면을 참조해서 상세하게 설명한다.

제1 실시예

[카메라의 구성]

도 1은 디지털 카메라의 외관도다.

카메라 보디(100)의 상부에는, 뷰파인더의 접안창(111), 자동노출(AE)록(lock) 버튼(114), 자동초점(AF)의 포인트를 선택하는데 사용된 버튼(113), 및 촬영 조작을 시작하는데 사용된 릴리즈 버튼(112)이 배치되어 있다. 또한, 촬영 모드 선택 다이얼(117), 표시부(409), 디지털 다이얼(411)등이 배치되어 있다.

디지털 다이얼(411)은, 다른 조작 버튼과 병용해서 수치를 입력하고 촬영 모드를 바꾸는데 사용된 다기능 신호 입력부의 역할을 한다. 또한, LCD패널의 표시부(409)는, 셔터 스피드, 조리개 및 촬영 모드등의 촬영 조건이나, 다른 종류의 정보를 표시한다.

카메라 보디(100)의 배면에는, 카메라가 촬영한 화상, 촬영 화상, 각종 설정 화면등을 표시하는 액정 디스플레이(LCD) 모니터(417), 그 LCD모니터(417)의 표시를 온/오프하는데 사용된 스위치(121), 십자 키(116), 메뉴 버튼(124)등이 있다. 또한, LCD모니터(417)는 투과형이기 때문에, LCD모니터(417)의 구동만으로는 유저가 화상을 시인할 수는 없다. 이 때문에, LCD모니터(417)의 이면에는, 후술하는 바와 같이, 백라이트가 필요하다.

십자 키(116)는, 상, 하, 좌 및 우의 위치에 각각 배치된 4개의 버튼과, 중앙위치에 배치된 설정 버튼을 갖고, LCD 모니터(417)에 표시된 메뉴 항목의 선택과 실행 지시에 사용된다.

메뉴 버튼(124)은, LCD모니터(417)에 메뉴 화면을 표시시키는데 사용된다. 예를 들면, 유저가 촬영 모드를 선택 및 설정하기를 원하는 경우, 메뉴 버튼(124)을 누르고, 십자 키(116)의 상, 하, 좌 및 우의 버튼을 조작해서 희망의 촬영 모드를 선택하고, 희망의 촬영 모드가 선택된 상태에서 설정 버튼을 눌러서, 촬영 모드의 설정을 완료한다. 또한, 메뉴 버튼(124)과 십자 키(116)는, (후술하는) AF모드의 설정에도 사용된다.

도 2는 디지털 카메라의 수직 단면도다.

촬상광학계의 촬영 렌즈(200)는, 카메라 보디(100)에 대해 교환가능한 렌즈이고, 그 촬영 렌즈(200)는 렌즈 마운트(202)를 거쳐서 카메라 보디에 착탈가능하다.

촬영 광축(201)을 중심으로 하는 촬영 광로중에 배치된 미러(203)는, 촬영 렌즈(200)로부터의 피사체광을 뷰파인더 광학계에 이끄는 위치(경사위치)와, 촬영 광로외의 대피 위치의 사이에서 퀵 리턴이 가능하다.

미러(203)에 의해 뷰파인더 광학계에 인도된 피사체광은, 포커싱 스크린(204) 위에 결상한다. 그리고, 포커싱 스크린(204)을 통과한 피사체광은, 뷰파인더의 시인성을 향상시키는 콘덴서 렌즈(205), 펜타고날 루프 프리즘(206)을 통과하고, 접안 렌즈(208) 및 측광 센서(207)에 이끌어진다.

선막(first curtain;210)과 후막(second curtain;209)은, 포컬 플레인 셔터(기계식 셔터)를 구성하고, 양쪽 막의 개폐에 의해, 이들 막의 후방에 배치된 전하결합소자(CCD)나 CMOS센서인 촬상 디바이스(418)를 필요기간동안 노광한다. 촬상 디바이스(418)는, 인쇄회로기판(211)에 보유되어 있다. 인쇄회로기판211의 후방에는, 또 다른 인쇄회로기판215가 배치되고, 인쇄회로기판215의 반대면에는 LCD모니터(417)와 백라이트(416)가 배치되어 있다.

도 3은 촬상 디바이스(418)의 구성을 도시한 도면이다. 촬상 디바이스(418)는, 단판식이고, 칼라필터의 배치는 전형적인 베이어(Bayer) 배열을 갖는다.

한층 더, 카메라 보디(100)는, 화상 데이터가 기록되는 기록 매체(419a)와, 휴대용 전원인 전지(217)를 갖는다. 또한, 기록 매체(419a)와 전지(217)는, 카메라 보디(100)로부터 착탈가능하다.

도 4는 디지털 카메라의 제어, 촬영 및 화상처리에 관련된 구성을 나타내는 블록도다.

마이크로컴퓨터(CPU)(402)는, 촬상 디바이스(418)로부터 출력된 화상 데이터의 처리와, LCD모니터(417)의 표시 제어 등의 카메라 전체의 동작을 제어한다.

스위치(SW1)405는, 릴리즈 버튼(112)의 절반 스트로크 위치(반 가압 상태)에서 온(on) 된다. 스위치(SWl)405가 온 되면, 카메라는 촬영 준비 상태가 된다. 스위치(SW2)406은, 릴리즈 버튼(112)의 완전 스트로크 위치(완전 가압 상태)에서 온 된다. 스위치(SW2)406이 온 되면, 카메라 보디(100)는 촬영 동작을 시작한다.

렌즈 제어부(407)는, 촬영 렌즈(200)와 통신하고, AF모드에서 촬영 렌즈(200)의 구동제어와 조리개의 구동제어를 행한다. 표시 제어부(408)는, 표시부(409)와, 뷰파인더내의 표시부(도면에 나타내지 않음)를 제어한다. 스위치 센스부(410)는, 전술한 디지털 다이얼(411)을 포함하는 다수의 스위치와 키로부터 출력된 신호를 CPU(402)에 전송하는데 사용된 인터페이스다.

플래쉬 제어부(412)는, X접점(412a)을 거쳐서 접지되어 있고, 외부 플래쉬의 발광 및 조광제어를 행한다. 기록 매체 드라이브(419)에는, 하드 디스크나 메모리 카드등의 기록 매체(419a)가 장착된다.

측거부(413)는, 피사체에 대한 디포커스량을 검출하여 AF제어를 한다. 측광부(414)는, 피사체의 휘도를 측정하고, 노광 시간을 제어한다. 셔터 제어부(415)는, 촬상 디바이스(418)를 적절하게 노광하기 위해서, 기계식 셔터를 제어한다. LCD모니터(417)와 백라이트(416)는, 상기한 바와 같이 표시장치를 구성한다.

화상처리부(425)는, 디지털 신호 프로세서(DSP)등으로 구성된다. 한층 더, CPU(402)에는, 아날로그 대 디지털 변환기(A/D)(423), 화상 데이터를 버퍼하는데 사용된 버퍼 메모리(424)등이 접속되어 있다.

카메라 특성값 메모리(428)는, 카메라 보디(100)의 여러가지 특성을 기억하는 비휘발성의 메모리다. 렌즈 특성값 메모리(429)는, 촬영 렌즈(200)의 보디내에 구비되고, 촬영 렌즈(200)의 여러가지 특성을 기억하는 비휘발성의 메모리다.

회복 필터 생성부(430)는, 상세히 후술하는 것처럼, 스위치(SW2)406이 온 되어 촬영 상태가 되면, 렌즈 특성값 메모리(429)로부터 촬영시의 기기 설정에 대응하는 렌즈 특성값을 수신한다. 한층 더, 회복 필터 생성부(430)는, 카메라 특성값 메모리(428)로부터 촬영시의 기기설정에 대응하는 카메라 특성값을 판독하고, 열화한 촬영 화상을 보정하는데 사용된 보정 필터인 회복 필터를 생성한다.

[화상처리]

회복 처리의 구성

도 5는 회복 처리를 실행하는 구성을 설명하는 블럭도다.

촬영 상태가 설정되면, 셔터 제어부(415)는, 렌즈 제어부(407)등으로부터 취득한 F값, 피사체까지의 거리(촬영 거리) 및 줌 위치를, 렌즈 설정 정보로서 촬영 렌즈(200)의 마이크로콘트롤러(MPU)(431)에 송신한다. MPU(431)는, 수신한 렌즈 설정 정보에 대응하는 촬영 렌즈(200)의 광학전달 정보인 OTF 데이터를 렌즈 특성값 메모리(429)로부터 판독하고, 그 OTF 데이터를 회복 필터 생성부(430)에 송신한다.

회복 필터 생성부(430)는, 카메라 특성값 메모리(428)로부터 카메라 보디(100)의 기기 특성을 판독한다. 기기 특성에는, 촬상 디바이스(418)의 센서 피치, 광학 로우패스 필터(LPF) 정보, RGB필터의 분광 투과율 특성등이 포함된다.

회복 필터 생성부(430)는, 수신한 OTF데이터와, 판독한 기기 특성에 근거해 회복 필터의 계수를 생성하고, 그 회복 필터의 계수를 화상처리부(425)에 송신한다.

도 6은 렌즈 특성값 메모리(429)가 유지하는 데이터 구조의 개념을 도시한 도면이다.

렌즈 특성값 메모리(429)는, 렌즈 설정 정보에 따른 OTF군이 격납된 OTF테이블의 어드레스를 나타내는 포인터가 기술된 포인터 테이블(501)을 가진다. 또한, 줌 위치는, 예를 들면, 줌 범위를 10개의 위치로 분할하고, 와이드각 단으로부터 텔레포토 단으로 이들 위치에 0 내지 9 범위의 인덱스를 할당한다. 또한, 촬영 거리는, 최단 촬영 거리로부터 무한까지의 범위를 10개의 위치로 분할한다. 따라서, 포인터 테이블(501)에 기술된 포인터의 수는, F값의 수×10²가 된다.

OTF 테이블(502)은, 줌 위치 "1", F값=2.8, 촬영 거리=2500mm에 대응하는 OTF군을 유지한다. OTF 군은, 상높이를 10개의 위치로 분할(인덱스 0 내지 9)하고, 파장범위 400nm 내지 700nm을 분할하여 10nm의 스텝 사이즈를 갖는 310(=10×31)의 OTF데이터의 집합이다. 바꿔 말하면, 하나의 회복 필터의 생성에 이용하는 OTF데이터의 수는, 310이다. 즉, MPU(431)가 송신하는 OTF데이터는, 렌즈 설정 정보에 따른 모든 상높이와 각 파장에 대응하는 OTF데이터의 집합이다.

도 7은 특정 파장에 있어서의 상높이 "I"의 OTF의 일례를 도시한 그래프다. 또한, OTF는 복소수이기 때문에, 도 7에는 OTF의 절대치인 MTF를 나타낸다. 도 7에 있어서, 화상에 있어서의 수평방향(x방향)의 공간주파수는 fx로 나타내고, 수직방향(y방향)의 공간주파수는 fy로 나타내고, 공간주파수의 단위는 mm당 라인 페어(pair)(1p/mm 또는 라인 페어/mm)로 나타낸다. 라인 페어는, 해상도의 지표이며, 폭이 각각 같은 블랙 라인과 화이트 라인의 쌍이 mm당 얼마나 포함되었는지를 나타낸다.

또한, 촬영 조건을 상세하게 구분하면, 촬영 조건에 더 적합한 OTF데이터를 얻을 수 있고, 촬영 조건에 최적의 회복 필터를 생성할 수 있다. 그러나, 촬영 조건을 보다 상세하게 구분하면, 그에 따라 OTF데이터량이 증가하고, 렌즈 특성값 메모리(429)의 메모리 사이즈를 증가시킬 필요가 있다.

회복 처리

도 8은 회복 처리를 설명하는 흐름도다.

셔터 제어부(415)는, CPU(402)로부터 스위치(SW2)406=ON을 나타내는 통지를 수신하면, 즉 촬영 상태가 설정되면(S701), 렌즈 제어부(407)로부터 렌즈 설정 정보를 취득한다(S702). 그리고, 셔터 제어부(415)는, 이 취득한 렌즈 설정 정보를 촬영 렌즈(200)에 송신한다(S703).

촬영 렌즈(200)의 MPU(431)는, 렌즈 설정 정보를 수신하면(S704), 렌즈 설정 정보에 대응하는 OTF데이터를 렌즈 특성값 메모리(429)로부터 판독해(S705), 판독한 OTF데이터를 카메라 보디(100)에 송신한다(S706).

카메라 보디(100)의 회복 필터 생성부(430)는, OTF데이터를 수신해(S707), 카메라 특성값 메모리(428)로부터 카메라 보디(100)의 기기 특성을 판독한다(S708). 그리고, 상세히 후술하는 것처럼, 그 회복 필터 생성부(430)는, 수신한 OTF데이터와 판독한 기기 특성에 근거해 회복 필터의 계수를 생성해(S709), 그 회복 필터의 계수를 화상처리부(425)에 송신한다(S710).

화상처리부(425)는, 버퍼 메모리(424)로부터 판독한 촬상 데이터에 디모자이킹(demosaicing)등의 현상 처리를 실시한다(S711). 또한, 촬상 데이터는, 촬상부인 촬상 디바이스(418)로부터 출력된 신호를 A/D(423)에 의해 디지털 데이터로 변환한 디모자이킹(현상 처리)전의 데이터(이하, RAW데이터라고 부르기도 한다)이다. 또한, 적어도 촬상 디바이스(418)는 촬상부를 구성하지만, 촬상 디바이스(418)와 A/D(423)의 조합을 촬상부라고 부르는 경우가 있다. 또는, 카메라 보디(100)를 촬상부라고 부르는 경우가 있다.

화상처리부(425)는, 수신한 회복 필터의 계수를 사용하여 상기 현상 처리한 화상 데이터에 회복 필터 처리를 실시해서 열화한 화상을 보정한다(S712). 그리고, 화상처리부(425)는, 회복 필터 처리후의 화상 데이터를 표시 제어부(408)나 기록 매체 드라이브(419)에 출력한다(S713).

회복 필터의 생성

도 9는 회복 필터의 계수를 생성하는 처리(S709)를 설명하는 흐름도다.

회복 필터 생성부(430)는, OTF데이터의 공간주파수의 단위를 취득한다(S801). 또한, 본 실시예에서는, 공간주파수의 단위는 1p/mm이다.

그리고나서, 회복 필터 생성부(430)는, 기기 특성으로부터 촬상 디바이스(418)의 센서 피치를 취득한다(S802). 또한, 본 실시예에서는, 센서 피치를 5.0㎛이라고 가정한다.

회복 필터 생성부(430)는, 센서 피치를 사용하는 다음식에 의해, OTF데이터의 공간주파수의 단위를 센서 피치 베이스(base)(화소 피치 베이스)의 단위 1p/화소로 변환한다(S803).

fx[1p/화소]=fx[1p/mm]×5.0[㎛]

fy[1p/화소]=fy[1p/mm]×5.0[㎛] ...(6)

공간주파수의 단위를 1p/화소로 변환함으로써, 나이퀴스트(Nyquist) 주파수는 무조건으로 0.5 1p/화소, 샘플링 주파수는 1.0 1p/화소로서 나타낸다. 센서 피치가 5.0㎛일 경우, 나이퀴스트 주파수는 100 1p/mm이다. 만약에 센서 피치가 2.0㎛이면, 나이퀴스트 주파수는 250 1p/mm이다.

다음에, 회복 필터 생성부(430)는, 센서 피치 기반의 주파수 공간으로 변환한 OTF데이터 중 나이퀴스트 주파수이하의 OTF데이터를, 최종적으로 생성하는 회복 필터의 사이즈를 사용하여 서브 샘플링한다(S804).

도 10a 및 도 10b는, 서브 샘플링을 도시한 그래프다. 도 10a는, 특정 파장에서 OTF데이터의 주파수 fy=0에 있어서의 주파수 fx 방향으로의 MTF(OTF의 절대치)의 분포를 도시한 그래프다. 상기한 바와 같이, 센서 피치가 5㎛일 경우에는, 나이퀴스트 주파수는 100 1p/mm(0.5 1p/화소)이며, 도 10a에 나타낸 파선 사이에 끼워진 영역내의 MTF를 추출한다. 도 10b는 나이퀴스트 주파수이하의 MTF의 분포를 도시한 그래프다. 도 10a에 나타나 있는 바와 같이, MTF가 500 1p/mm까지 분포된다고 하면, 100 1p/mm이하의 MTF를 추출하는 경우, 데이터량은 다음식에 나타나 있는 바와 같이, 1/25로 삭감되고, 이후의 계산량을 대폭 삭감할 수 있다.

(100+100)²/(500+500)²=1/25 ...(7)

회복 필터 생성부(430)는, 상기 추출된 OTF데이터를 회복 필터의 사이즈에 따라 서브 샘플링한다. 예를 들면, 회복 필터의 사이즈를 17×17이라고 하면, 도 10b에 화살표 ↑로 나타나 있는 바와 같이, 0.0625 1p/화소마다 샘플링을 행한다.

이렇게, 단계S804가 종료시에, 파장=400, 410, 420, 690 및 700nm에 대응한 17×17의 OTF데이터를 얻을 수 있다. 또한, 회복 필터의 사이즈는, 미리 결정된 고정 값이어도 좋거나, 유저에 의한 지정이나, 촬영시에 설정된 다른 파라미터(화소수나 ISO속도 등)에 의해 결정되어도 좋다.

회복 필터 생성부(430)는, 기기 특성으로부터 RGB필터의 분광 투과율특성을 취득하고, 17×17의 파장의존 OTF데이터와 그 취득한 특성을 곱하여서, RGB성분마다의 OTF데이터로 변환한다(S805).

도 11은 RGB필터의 분광 투과율 특성의 일례를 도시한 그래프다. 도 11에 나타나 있는 바와 같이, 각 성분의 필터의, 상기 대응한 파장의 투과율과, 각 파장의 OTF데이터를 곱하여, 그것들 적(product)의 총 합계로 상기 OTF 데이터를 정규화하여서, 각 RGB성분마다의 OTF데이터를 얻는다.

회복 필터 생성부(430)는, 기기 특성으로부터 광학 LPF정보를 취득하고, 광학 LPF정보가 나타내는 로우패스 필터특성을 RGB성분마다의 OTF데이터에 적용한다(S806). 이에 따라 촬영 렌즈(200)와 카메라 보디(100)를 조합했을 때의 RGB성분마다의 OTF데이터가 산출되게 된다.

회복 필터 생성부(430)는, 단계S806에서 얻은 OTF데이터를 사용하여 RGB성분마다의 회복 필터의 계수를 산출한다(S807). 또한, 회복 필터 생성방법은 전술했으므로, 그 상세한 설명은 반복하지 않는다. 이렇게 하여, 각각 17×17의 실수값을 갖는 3개의 필터는, 실제의 공간의 회복 필터로서 생성된다.

도 12는 회복 필터의 생성을 도시한 그래프이고, OTF데이터로부터 RGB성분마다의 실제 공간의 회복 필터가 생성될 때까지의 데이터 흐름을 나타낸다. 상술한 것처럼, 촬영 렌즈(200)에는, 촬상 디바이스에 의존하지 않는 주파수마다의 OTF데이터를 준비한다. 그리고, 카메라 보디(100)측에서, 촬영 렌즈(200)로부터 취득한 OTF데이터를, 촬상 디바이스(418)의 센서 피치, RGB필터의 분광 투과율 특성 및 광학 LPF특성에 근거하여 변환한다.

이렇게 하면, 카메라 보디측에서, 촬영 렌즈와 카메라 보디의 각 조합에 대응한 OTF데이터를 생성할 수 있다. 즉, OTF데이터를 유지하는 촬영 렌즈와, 촬상 디바이스의 기기 특성을 유지하는 카메라 보디에 의해, 신기종의 촬영 렌즈와 기존의 카메라 보디의 특정 조합(또는 이와는 반대)에 대응하는 OTF데이터를 생성하고, 회복 필터를 작성할 수 있다.

물론, 촬영 렌즈가 OTF데이터를 유지하고 카메라 보디가 촬상 디바이스의 기기 특성을 유지하므로, 그 촬영 렌즈와 카메라 보디는 독립적으로 개발될 수 있다. 또한, 촬영 렌즈와 카메라 보디는, 그것 자체의 정보만을 유지하면 좋으므로, 회복 필터의 작성에 유지하는 데이터량을, 촬영 렌즈와 카메라 보디 양쪽에서 억제할 수 있다. 한층 더, 신기종의 촬영 렌즈나 카메라 보디를 사용할 경우, 유저는, 펌웨어(firmware)의 업데이트등, 번잡한 조작을 필요로 하지 않는다.

제2 실시예

이하, 본 발명에 따른 제2 실시예의 화상처리를 설명한다. 또한, 제2 실시예에 있어서 동일한 참조번호는 제1 실시예와 동일한 구성요소를 나타내고, 그 상세설명은 반복하지 않겠다.

전술한 바와 같이, 센서 피치=5㎛에 대응하기 위해서는, 나이퀴스트 주파수 100 1p/mm의 데이터까지의 공간주파수의 데이터를 포함하면 좋다. 센서 피치가 보다 촘촘하게 설정되면, 2.0㎛에 대하여는 250 1p/mm까지의 공간주파수의 데이터를 포함할 필요가 있고, 1㎛에 대하여는 500 1p/mm까지의 공간주파수의 데이터를 포함할 필요가 있다.

한층 더, OTF데이터는 복소수이며, 수평 및 수직방향으로 주파수 공간으로 구성된 2차원 데이터다. 따라서, 특정 기기 특성 정보에 대응하는 OTF데이터만이라도, 매우 큰 데이터량이 필요하다. 따라서, 촬영 렌즈(200)로부터 카메라 보디(100)에 송신되는 OTF데이터의 데이터량, 바꿔 말하면 촬영 렌즈(200)와 카메라 보디(100)의 사이의 데이터 통신량은 아주 매우 커진다.

이렇게, 제2 실시예에 있어서는, 촬영 렌즈(200)의 MPU(431)에 의해, 회복 필터의 계수를 산출하고, 산출한 계수를 화상처리부(425)에 송신하는 구성을 설명한다. 또한, 원칩 마이크로콘트롤러등의 MPU(431)는, 그 내장 랜덤 액세스 메모리(RAM)를 워크 메모리로서 사용하여, 내장판독전용 메모리(ROM)에 격납된 프로그램에 따라 후술하는 데이터 처리를 실행한다.

도 13은 제2 실시예에 따른 회복 처리를 설명하는 흐름도다. 또한, 도 13에서의 동일한 단계번호는, 도 8과 같은 처리를 나타내고, 그 상세한 설명은 반복하지 않는다.

화상처리부(425)는, 카메라 특성값 메모리(428)로부터 카메라 보디(100)의 기기 특성을 판독한다(S721). 그리고, 화상처리부(425)는, 기기 특성을 촬영 렌즈(200)에 송신한다(S722). 촬영 렌즈(200)의 MPU(431)는, 기기 특성을 수신한다(S723). 또한, 기기 특성은 촬영 조건에 의존하지 않으므로, 단계S721 내지 S723의 처리는, 촬영 렌즈(200)와 카메라 보디(100)가 접속된 후, 전원이 온(ON)된 초기화 처리의 실행시에 한번 실행하면 좋다.

MPU(431)는, 셔터 제어부(415)로부터 촬영 상태의 통지를 수신하면(S724), 렌즈 제어부(407)로부터 렌즈 설정 정보를 취득해(S725), 렌즈 설정 정보에 대응하는 OTF데이터를 렌즈 특성값 메모리(429)로부터 판독한다(S726). 그리고, MPU(431)는, 수신한 기기 특성과, 판독한 OTF데이터에 근거하여, 도 9와 같은 처리순서를 실행하여 회복 필터의 계수를 생성하고(S727), 회복 필터의 계수를 카메라 보디(100)에 송신한다(S728).

카메라 보디(100)의 화상처리부(425)는, 회복 필터의 계수를 수신한다(S729). 그리고, 화상처리부(425)는, 도 8에 나타낸 처리순서와 마찬가지로, 현상 처리(S711), 회복 필터 처리(S712) 및 출력 처리(S713)를 실행한다.

이러한 구성에 의하면, 촬영 렌즈(200)로부터 카메라 보디(100)에 송신되는 데이터는, 예를 들면 상높이마다 3개의 17×17의 회복 필터의 실수값의 데이터의 집합이며, OTF데이터의 집합을 송신하는 경우와 비교하여 데이터 통신량은 크게 저감될 수 있다.

일반적으로, 촬영 렌즈(200)에 탑재된 MPU(431)는, 카메라 보디(100)에 탑재된 CPU(402)보다 못한 연산 파워를 갖는다. 이 때문에, 촬영렌즈(200)가 회복 필터를 작성하는 경우에, 상기 회복 필터의 연산처리는, 카메라 보디(100)가 회복필터를 생성하는 경우보다 많은 시간이 걸린다. 그러나, 촬영 렌즈(200)와 카메라 보디(100)의 사이의 데이터 통신량은 대폭 삭감될 수 있다.

상기의 예에서는, 기기 특성의 모두를 촬영 렌즈(200)에 송신하고, 촬영 렌즈(200)는 회복 필터의 계수를 생성한다. 그러나, 센서 피치만을 촬영 렌즈(200)에 송신하는 방법이 이용가능하다. 그리고, 회복 필터 생성부(430)는, 서브 샘플링후의 데이터량이 삭감된 OTF데이터를 수신하고, 이후의 처리(RGB필터의 분광 투과율 특성과 광학 LPF특성의 적용, 및 푸리에 변환)를 실행한다. 이렇게 하면, 도 13에 나타낸 처리보다 덜 데이터 통신량을 삭감하지만, MPU(431)의 연산 처리부하를 경감할 수 있다.

마찬가지로, 센서 피치와 RGB필터의 분광 투과율 특성을 촬영 렌즈(200)에 송신하는 방법도 이용가능하다. 그리고, 회복 필터 생성부(430)는, 예를 들면, 상높이마다 3개의 17×17의 회복 필터의 주파수 특성 데이터를 수신하고, 이후의 처리(광학 LPF특성의 적용, 및 푸리에 변환)를 실행한다. 이렇게 하면, 도 13에 나타낸 처리순서와 같이 데이터 통신량을 삭감하고,또한, MPU(431)의 연산 처리 부하를 경감할 수 있다.

특히, 푸리에 변환은, 가장 연산 처리부하가 무겁기 때문에, MPU(431)의 처리로부터 적어도 푸리에 변환을 제외하는 경우, MPU(431)의 연산 처리부하를 상당히 경감할 수 있다.

제3 실시예

이하, 본 발명의 제3 실시예에 따른 화상처리를 설명한다. 또한, 제3 실시예에서의 동일한 참조번호는 상기 제1 및 제2 실시예와 동일한 구성요소를 나타내고, 그 상세한 설명은 반복하지 않는다.

제1 실시예에서는, 카메라 보디(100)에 있어서 회복 필터를 작성하여서 회복 처리를 행하는 경우의 예를 설명했다. 제2 실시예에서는, 촬영 렌즈(200)에 있어서 회복 필터를 작성하여 회복 처리를 행하는 경우의 예를 설명했다. 그러나, 일반적으로, 카메라 보디(100)에 탑재되는 CPU(402)와, 촬영 렌즈(200)에 탑재되는 MPU(431)는 파워가 없고, 회복 필터의 작성에는 많은 시간을 필요로 한다.

제3 실시예에서는, 회복 필터의 작성에 필요한 정보와 촬상 데이터를 파일에 보존하고, 외부의 컴퓨터상에서 가동하는 소프트웨어는 회복 필터를 작성하고, 회복 처리를 실행하는 경우의 예를 들 것이다.

도 14는 제3 실시예에 따른 처리순서를 설명하는 흐름도다.

MPU(431)는, 셔터 제어부(415)로부터 촬영 상태의 통지를 수신하면(S724), 렌즈 제어부(407)로부터 렌즈 설정 정보를 취득해(S731), 렌즈 설정 정보에 대응한 OTF 데이터를 렌즈 특성값 메모리(429)로부터 판독한다(S732). 그리고, MPU(431)는, 판독한 OTF데이터를 카메라 보디(100)에 송신한다(S733).

카메라 보디(100)의 화상처리부(425)는, OFF 데이터를 수신하고(S734), 카메라 특성값 메모리(428)로부터 카메라 보디(100)의 기기 특성을 판독하고(S735),버퍼 메모리(424)로부터 촬영 데이터를 취득한다(S736). 그리고, 화상처리부(425)는, OFF 데이터, 기기 특성 및 촬상 데이터를 파일에 보존하고, 그 파일을 기록매체 드라이브(419)에 출력한다(S737).

기록매체(419a)에 격납된 RAW데이터 포맷의 파일에는, 통상, 촬상 데이터와 함께, 촬영시의 정보로서 렌즈 설정 정보가 보존된다. 따라서, 본 실시예에서 출력되는 파일에서, 기존의 RAW데이터와 렌즈 설정 정보를 보존하는 영역에, 카메라 보디(100)의 기기 특성값과 OTF데이터를 보존하는 새로운 영역을 추가한다.

외부의 컴퓨터상에서 가동하는 소프트웨어에 의한 회복 필터의 작성처리와 회복 처리는, 전술한 방법에서의 처리들과 같다.

상기에서는, 촬영 렌즈(200)로부터 수신한 OTF데이터와, 카메라 보디(100)의 기기 특성인 센서 피치, RGB필터의 분광 투과율 특성 및 광학LPF특성을 파일에 보존하는 예를 설명했다. 이와는 달리, 서브 샘플링 후의 데이터량을 삭감한 OTF데이터, RGB필터의 분광 투과율 특성, 광학LPF특성을 파일에 보존해도 좋다. 이렇게 하면, 기록 매체(419a)에 격납되는 파일의 데이터 사이즈를 삭감할 수 있다.

[변형 예]

제1 및 제2 실시예에서는, 회복 필터를 작성하고, 회복 처리를 실시한 회복 화상을 파일로서 기록 매체(419a)에 격납하는 경우의 예를 설명했다. 제3 실시예에서는, 회복 필터를 작성하는데 필요한 정보를 촬상 데이터와 함께 보존한 파일을 기록 매체(419a)에 격납하는 경우의 예를 설명했다.

카메라 보디(100)에 설정된 촬영 모드가 JPEG모드일 경우에는, 제1 실시예 또는 제2 실시예의 처리순서에 의거하여, 회복 처리를 실행하고, 회복 처리를 실시한 회복 화상을 파일로서 기록 매체(419a)에 격납한다. 한편, 촬영 모드가 RW모드일 경우에는, 제3 실시예의 처리순서에 의거해, 촬상 데이터와 회복 필터의 작성에 필요한 정보를 파일에 보존하여도 좋다.

제4 실시예

이하, 본 발명의 제4 실시예에 따른 화상처리를 설명한다. 또한, 제4 실시예에서의 동일한 참조부호는 제1 내지 제3 실시예와 같은 구성요소를 나타내고, 그 상세한 설명은 반복하지 않는다.

제4 실시예에서는, 촬영 모드에 따른 레벨의 처리를 행하는 경우의 예를 설명한다. 즉, 카메라 보디(100)에서 설정된 촬영 모드가 JPEG모드일 경우에는, 촬영시의 렌즈 설정 정보에 의존하지 않는 공통의 회복 필터를 사용해서 회복 처리를 행하고, 회복 화상을 JPEG포맷으로 파일에 보존한다. 또한, 촬영 모드가 RAW모드일 경우에는, 촬영시의 렌즈 설정 정보에 따라 작성한 회복 필터를 촬상 데이터와 함께 파일에 보존한다.

도 15 및 도 16은 제4 실시예에 따른 처리순서를 설명하는 흐름도다. 또한, 도 15 및 도 16에서의 동일한 단계번호는 도 8 및 도 14와 같은 처리를 나타내고, 그 상세한 설명은 반복하지 않는다.

촬영 렌즈(200)의 MPU(431)는, 공통 회복 필터를 작성하는데 필요한 OTF데이터를 렌즈 특성값 메모리(429)로부터 취득하고(S741), 취득한 OTF데이터를 카메라 보디(100)에 송신한다(S742).

카메라 보디(100)의 회복 필터 생성부(430)는, OTF데이터를 수신하고(S743), 카메라 보디(100)의 기기 특성을 카메라 특성값 메모리(428)로부터 취득한다(S744). 그리고, 회복 필터 생성부(430)는, 수신한 OTF데이터와, 취득한 기기 특성으로부터 공통 회복 필터의 계수를 산출하고(S745), 산출한 계수를 화상처리부(425)에 송신한다(S746).

또한, 공통 회복 필터는, 촬영 렌즈(200)와 카메라 보디(100)의 조합이 고정이면 변화되지 않는다. 따라서, 단계S741 내지 S746의 처리는, 촬영 렌즈(200)와 카메라 보디(100)가 접속된 후, 전원이 온(ON)시에 초기화 처리를 실행시에 한번 실행하면 좋다. 또한, 공통 회복 필터의 생성 처리는, 도 9와 같은 처리다.

화상처리부(425)는, CPU(402)로부터 촬영 상태의 통지를 수신하면(S747), 설정된 촬영 모드를 CPU(402)에 문의한다(S748). 그리고, 화상처리부(425)는, 촬영 모드를 판정한다(S749). 그 촬영 모드가 JPEG모드일 경우에는, 화상처리부(425)는, 도 8에 나타낸 처리순서와 같이, 현상 처리(S711), 회복 필터 처리(S712) 및 출력 처리(S713)를 실행한다. 이때, 화상처리부(425)는, 회복 필터 처리(S712)에는 공통 회복 필터를 사용한다.

한편, 촬영 모드가 RAW모드일 경우, 화상처리부(425)는, OTF데이터를 촬영 렌즈(200)에 요구하여 보낸다(S750). 이 요구에 응답하여, MPU(431)는, 도 14의 처리순서와 같이, 렌즈 설정 정보의 취득(S731), OTF데이터의 판독(S732), 및 OTF데이터의 송신(S733)을 실행한다.

화상처리부(425)는, 도 14에 나타낸 처리순서와 같이, OTF데이터의 수신(S734), 기기 특성의 취득(S735), 촬상 데이터의 취득(S736), 및 OTF데이터, 기기 특성과 촬상 데이터를 보존한 파일의 출력(S737)을 실행한다.

이렇게, 제4 실시예에서는, 촬영 모드에 따라 선택적으로 처리를 행한다. 그 결과, JPEG모드가 설정된 경우에는, 공통 회복 필터에 의해 회복 처리를 행한다. 이 경우에, 회복 정밀도는 저하하지만, 촬영마다 회복 필터를 작성하는 처리에 대한 필요성을 제거할 수 있고, 회복 처리에 필요로 하는 연산 처리 파워와 연산 처리 시간을 저감할 수 있다. 한편, RAW모드가 설정된 경우에는, 외부장치가 최적의 회복 처리를 실행 가능하게, OTF데이터, 기기 특성 및 촬상 데이터를 보존한 파일을 출력할 수 있다.

물론, 촬영 모드로서 JPEG+RAW모드가 설정된 경우에는, 공통 회복 필터로 처리한 JPEG데이터와, OTF데이터, 기기 특성, 및 촬상 데이터를 보존한 파일을 출력할 수 있다.

제5 실시예

이하, 본 발명의 제5 실시예에 따른 화상처리를 설명한다. 또한, 제5 실시예에서 동일한 참조번호는, 상기 제1 내지 제4 실시예와 동일한 구성요소를 나타내고, 그 상세한 설명을 반복하지 않는다.

제1 실시예의 도 6의 예에서는, 렌즈 특성값 메모리(429)는, 각 파라미터의 조합(줌 위치, F값 및 촬영 거리의 각 조합)마다 310개의 OTF데이터를 유지하고, 대단히 큰 기억 용량을 필요로 한다.

도 17은 제5 실시예에 따른 렌즈 특성값 메모리(429)가 유지하는 데이터 구조의 개념을 도시한 도면이다.

제5 실시예에 따른 렌즈 특성값 메모리(429)는, 렌즈 설정 정보에 따른 OTF군이 격납된 OTF테이블의 어드레스를 나타내는 포인터가 기술된 포인터 테이블(1701)을 가진다. 포인터 테이블(1701)은, OTF테이블(도면에 나타내지 않는다)의 메모리중의 어드레스를 나타내는 OTF군 어드레스를 각 파라미터의 조합마다 가진다.

제5 실시예에서는, 렌즈 특성값 메모리(429)의 메모리 사이즈를 삭감하기 위해서, 동일 혹은, 거의 동일한 OTF테이블을 공유하는 것을 특징으로 한다. 예를 들면, 원경을 촬영하는 경우(촬영 거리가 클 경우), 그 때에 촬영 거리를 변화시켜도, 동일한 OTF데이터를 사용하는 경우도 있다. 도 17에 나타낸 데이터 구조 예에 있어서, "줌 위치 '0', F값=2.8"일 경우, ∞로부터 1250mm까지의 원경촬영처리에 대하여는, 동일한 OTF테이블을 가리키는 포인터가 격납되어 있다. 한편, 625mm이하의 근경촬영에 대하여는, 각 파라미터의 조합마다 다른 OTF테이블을 가리키는 포인터가 격납되어 있다.

또한, 도 17은, "줌 위치 '0', F값=3.5, 및 촬영 거리=400mm"에 대한OTF테이블이 "줌 위치 '1', F값=2.8, 및 촬영 거리=625mm"에 대한 OTF테이블과 동일한 것을 나타낸다.

상술한 OTF테이블의 공유화를 실현하기 위해서, 이하의 처리들을 실행한다.

(1) 모두의 파라미터의 조합에 대응하는 OTF테이블을 작성한다.

(2) 렌즈 특성값 메모리(429)의 메모리 사이즈에 의거하여 렌즈 특성값 메모리(429)에 격납가능한 OTF테이블의 수를 산출한다.

(3) 처리(2)에서 산출한 OTF테이블의 수분의 대표적인 OTF테이블을, 처리 (1)에서 작성한 OTF테이블로부터 선택한다.

(4) 처리(3)에서 선택한 OTF테이블을 렌즈 특성값 메모리(429)에 격납된다.

제5 실시예에서는, OTF테이블의 공유화에 의해, 렌즈 특성값 메모리(429)의 메모리 사이즈의 삭감이 가능하게 된다.

추가로, OTF테이블의 파장의 스텝 사이즈를 OTF테이블마다 변화시킴으로써, 렌즈 특성값 메모리(429)의 메모리 사이즈를 삭감할 수 있다. 제1 실시예의 예에서는, OTF데이터를, 400 내지 700nm의 파장 범위에서 스텝 사이즈가 10nm인 파장에 따라 렌즈 특성값 메모리(429)에 보존한다. 그렇지만, 상기 스텝 사이즈는, RGB 필터의 분광 투과율 특성도 보다 작은 것(예를 들면, 1nm)이 되게 설정되어도 된다. 이 경우, 각 데이터량은 10배로 증가되지만, 쌍방이 1nm 스텝 사이즈의 데이터이면, 보다 정확한 OTF데이터를 얻을 수 있고, 회복 처리의 정밀도가 향상한다. 예를 들면, 작은 데이터의 변화량에 대응한 OTF테이블에 대해서는 거친 스텝 사이즈를, 큰 데이터의 변화량에 대응한 OTF테이블에 대해서는 촘촘한 스텝 사이즈를 설정함으로써, 전체적으로 렌즈 특성값 메모리(429)의 메모리 사이즈를 삭감할 수 있다.

제6 실시예

이하, 본 발명의 제6 실시예에 따른 화상처리를 설명한다. 또한, 제6 실시예에서 동일한 참조번호는, 제1 내지 제5 실시예와 동일한 구성요소를 나타내고, 그 상세한 설명을 반복하지 않는다.

상기 제1 실시예에서의 도 10a 및 10b의 예의 설명에서는, 나이퀴스트 주파수 사이에 끼워진 영역내의 OTF데이터(MTF데이터)를 추출하여서 이후의 산출량을 삭감할 수 있다.

그러나, 보다 정밀도가 높은 회복 필터를 작성하기 위해서는, 나이퀴스트 주파수이상의 OTF데이터를 사용하는 편이 낫다. 예를 들면, 나이퀴스트 주파수의 2배의 주파수(샘플링 주파수)까지의 OTF데이터를 취득함에 의해, 나이퀴스트 주파수 성분을 초과하는 주파수의 위신호 효과를 고려한 회복 필터의 설계가 가능해진다.

도 18은 제6 실시예에 따른 회복 필터를 생성하는 처리(S709)를 설명하는 흐름도다.

회복 필터 생성부(430)는, 유저의 입력이나 촬영 조건(예를 들면, 고속연사 모드의 설정)에 의거하여 계산 모드를 설정한다(S1801). 계산 모드에는 고정밀도 모드와 고속 모드가 있다. 그리고, 설정한 계산 모드가 고정밀도 모드인가, 고속 모드인가에 따라 처리가 분기된다(S1802). 고정밀도 모드를 설정한 경우에는, 회복 필터 생성부(430)는, 렌즈 특성값 메모리(429)로부터 샘플링 주파수까지의 OTF데이터를 로딩한다(load)(S1803). 한편, 고속 모드를 설정한 경우에는, 회복 필터 생성부(430)는, 렌즈 특성값 메모리(429)로부터 나이퀴스트 주파수들 사이에 끼워진 영역내의 OTF데이터를 로딩한다(S1804). 그리고, 회복 필터 생성부(430)는, 단계S1803 또는 S1804에 로딩된 OTF데이터에 의거하여 회복 필터를 작성한다(S1805).

이상과 같은 처리에 의해, (고속으로 또는 고정밀도로 회복시키고 싶은가에 관한) 유저의 요구와, 촬영 상황(고속연사 모드인가 아닌가)에 따라 회복 필터를 생성해서 회복 처리를 실행하는 것이 가능해진다.

실시예들의 변형 예

전환 필터를 내장하는 초망원 렌즈등의 촬영 렌즈의 경우에, 렌즈 설정정보는 전환 필터의 종류를 포함한다. 그리고, 촬영 렌즈는, 각각의 전환 필터에 따라 OTF데이터를, 렌즈 특성값 메모리(429)에 유지해둔다.

한층 더, 렌즈 설정 정보는, 촬영 렌즈 자체의 분광 투과율 특성을 포함하여도 된다. 이 경우, 회복 필터를 작성할 때는, 카메라 보디가 갖는 RGB필터의 분광 투과율 특성과 촬영 렌즈의 분광 투과율 특성의 곱셈은, RGB필터 분광 투과율 특성 대신에 사용된다.

또한, 촬상 디바이스 위에 적외선 차단 필터나 자외선 차단 필터가 배치되는 경우도 있다. 이것들 필터의 분광 투과율 특성은, 카메라 보디가 갖는 RGB필터의 분광 투과율 특성에 포함될 수 있다. 한층 더, 촬상 디바이스의 분광감도 특성을 고려하여, 카메라 보디가 갖는 RGB필터의 분광 투과율 특성을 유지할 수 있다.

기타 실시예들

또한, 본 발명의 국면들은, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 시스템 또는 장치(또는 CPU 또는 MPU 등의 디바이스들)의 컴퓨터에 의해서, 또한, 시스템 또는 장치의 컴퓨터에 의해 수행된 단계들, 예를 들면, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 방법에 의해, 실현될 수도 있다. 이를 위해, 상기 프로그램은, 예를 들면, 네트워크를 통해 또는, 여러 가지 형태의 메모리 디바이스의 기록매체(예를 들면, 컴퓨터 판독 가능한 매체)로부터, 상기 컴퓨터에 제공된다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.

본 출원은, 여기서 전체적으로 참고로 포함된 2008년 12월 10일에 출원된 일본국 특허출원번호 2008-315031의 이점을 청구한다.

Claims

교환가능한 촬영 렌즈를 사용한 촬상장치의 화상처리장치로서,
상기 촬영 렌즈로부터, 상기 촬영 렌즈의 광학 전달 정보를 입력하는 입력부;
상기 촬상장치의 촬상부의 특성정보를 취득하는 취득부;
상기 특성정보에 근거하여, 상기 광학 전달 정보를 상기 촬상부의 특성에 의존하는 광학 전달 정보로 변환하는 변환부; 및
상기 촬상부의 특성에 의존하는 상기 광학 전달 정보에 근거하여, 상기 촬영 렌즈에 의해 촬영한 화상의 열화를 보정하는 보정 필터를 생성하는 생성부를 구비한, 화상처리장치.
교환가능한 촬영 렌즈를 사용한 촬상장치의 화상처리장치로서,
상기 촬영 렌즈로부터, 상기 촬영 렌즈의 광학 전달 정보를 입력하는 입력부;
상기 촬상장치의 촬상부의 특성정보를 취득하는 취득부; 및
상기 광학 전달 정보, 상기 특성정보, 및 상기 촬영 렌즈에 의해 촬영한 촬상 데이터를 보존한 파일을 출력하는 출력부를 구비한, 화상처리장치.
제 1 항 또는 제 2 항에 있어서,
상기 촬영 렌즈는, 상기 촬영 렌즈의 렌즈 설정 정보에 대응하는 광학 전달 정보를 출력하는, 화상처리장치.
제 1 항 또는 제 2 항에 있어서,
상기 촬영 렌즈의 렌즈 설정 정보를 상기 촬영 렌즈에 송신하는 송신부를 더 구비하고,
상기 촬영 렌즈는, 수신한 렌즈 설정 정보에 대응하는 광학 전달 정보를 출력하는, 화상처리장치.
교환가능한 촬영 렌즈를 사용한 촬상장치의 화상처리장치로서,
상기 촬영 렌즈로부터, 상기 촬영 렌즈의 광학 전달 정보를 입력하는 입력부;
상기 촬상장치의 촬상부의 특성정보를 취득하는 취득부;
상기 특성정보에 근거하여, 상기 광학 전달 정보를 상기 촬상부의 특성에 의존하는 광학 전달 정보로 변환하는 변환부;
상기 촬상부의 특성에 의존하는 상기 광학 전달 정보에 근거하여 보정 필터를 생성하는 생성부; 및
상기 촬상장치의 촬영 모드에 따라, 상기 보정 필터를 사용하여 상기 촬영 렌즈에 의해 촬영한 화상의 열화를 보정하여서 얻어진 화상 데이터를 출력할지, 또는 상기 광학 전달 정보, 상기 특성정보, 및 상기 촬영 렌즈에 의해 촬영한 촬상 데이터를 보존한 파일을 출력할지를 선택적으로 실행하는 출력부를 구비한, 화상처리장치.
제 5 항에 있어서,
상기 출력부는, 상기 촬영 모드가 JPEG모드일 경우, 상기 촬영 렌즈의 렌즈 설정에 있어서 동일한 광학 전달 정보로부터 생성된 보정 필터를 사용해서 보정한 화상 데이터를 출력하는, 화상처리장치.
제 5 항에 있어서,
상기 출력부는, 상기 촬영 모드가 RAW모드일 경우, 상기 촬영 렌즈의 렌즈 설정에 따른 광학 전달 정보를 보존한 상기 파일을 출력하는, 화상처리장치.
촬상장치의 교환가능한 촬영렌즈의 데이터 처리장치로서,
상기 촬상장치의 촬상부의 특성정보를 수신하는 수신부;
상기 촬영 렌즈의 렌즈 설정에 따른 광학 전달 정보를 취득하는 취득부;
상기 특성정보에 근거하여, 상기 광학 전달 정보를 상기 촬상부의 특성에 의존하는 광학 전달 정보로 변환하는 변환부;
상기 촬상부의 특성에 의존하는 상기 광학 전달 정보에 근거하여, 상기 촬영 렌즈에 의해 촬영한 화상의 열화를 보정하는 보정 필터를 생성하는 생성부; 및
상기 보정 필터를 상기 촬상장치에 송신하는 송신부를 구비한, 데이터 처리장치.
교환가능한 촬영 렌즈를 사용한 촬상장치의 화상처리방법으로서,
상기 촬영 렌즈로부터, 상기 촬영 렌즈의 광학 전달 정보를 입력하는 단계;
상기 촬상장치의 촬상부의 특성정보를 취득하는 단계;
상기 특성정보에 근거하여, 상기 광학 전달 정보를 상기 촬상부의 특성에 의존하는 광학 전달 정보로 변환하는 단계; 및
상기 촬상부의 특성에 의존하는 상기 광학 전달 정보에 근거하여, 상기 촬영 렌즈에 의해 촬영한 화상의 열화를 보정하는 보정 필터를 생성하는 단계를 포함한, 화상처리방법.
교환가능한 촬영 렌즈를 사용한 촬상장치의 화상처리방법으로서,
상기 촬영 렌즈로부터, 상기 촬영 렌즈의 광학 전달 정보를 입력하는 단계;
상기 촬상장치의 촬상부의 특성정보를 취득하는 단계; 및
상기 광학 전달 정보, 상기 특성정보, 및 상기 촬영 렌즈에 의해 촬영한 촬상 데이터를 보존한 파일을 출력하는 단계를 포함한, 화상처리방법.
교환가능한 촬영 렌즈를 사용한 촬상장치의 화상처리방법으로서,
상기 촬영 렌즈로부터, 상기 촬영 렌즈의 광학 전달 정보를 입력하는 단계;
상기 촬상장치의 촬상부의 특성정보를 취득하는 단계;
상기 특성정보에 근거하여, 상기 광학 전달 정보를 상기 촬상부의 특성에 의존하는 광학 전달 정보로 변환하는 단계;
상기 촬상부의 특성에 의존하는 상기 광학 전달 정보에 근거하여 보정 필터를 생성하는 단계; 및
상기 촬상장치의 촬영 모드에 따라, 상기 보정 필터를 사용하여 상기 촬영 렌즈에 의해 촬영한 화상의 열화를 보정하여서 얻어진 화상 데이터를 출력할지, 또는 상기 광학 전달 정보, 상기 특성정보, 및 상기 촬영 렌즈에 의해 촬영한 촬상 데이터를 보존한 파일을 출력할지를 선택적으로 실행하는 단계를 포함한, 화상처리방법.
촬상장치의 교환가능한 촬영렌즈의 데이터 처리장치의 데이터 처리방법으로서,
상기 촬상장치의 촬상부의 특성정보를 수신하는 단계;
상기 촬영 렌즈의 렌즈 설정에 따른 광학 전달 정보를 취득하는 단계;
상기 특성정보에 근거하여, 상기 광학 전달 정보를 상기 촬상부의 특성에 의존하는 광학 전달 정보로 변환하는 단계;
상기 촬상부의 특성에 의존하는 상기 광학 전달 정보에 근거하여, 상기 촬영 렌즈에 의해 촬영한 화상의 열화를 보정하는 보정 필터를 생성하는 단계; 및
상기 보정 필터를 상기 촬상장치에 송신하는 단계를 포함한, 데이터 처리장치의 데이터 처리방법.
청구항 제9항 내지 제11항 중 어느 한 항에 따른 방법을 프로세서가 행하게 하는 컴퓨터 실행가능한 프로그램을 기억한 컴퓨터 판독가능한 기억매체.
청구항 제12항에 따른 방법을 프로세서가 행하게 하는 컴퓨터 실행가능한 프로그램을 기억한 컴퓨터 판독가능한 기억매체.