KR20060046418A - 화상 처리 장치 및 방법, 기록 매체, 및 프로그램 - Google Patents

화상 처리 장치 및 방법, 기록 매체, 및 프로그램 Download PDF

Info

Publication number
KR20060046418A
KR20060046418A KR1020050049899A KR20050049899A KR20060046418A KR 20060046418 A KR20060046418 A KR 20060046418A KR 1020050049899 A KR1020050049899 A KR 1020050049899A KR 20050049899 A KR20050049899 A KR 20050049899A KR 20060046418 A KR20060046418 A KR 20060046418A
Authority
KR
South Korea
Prior art keywords
parameter
feature amount
image
correction
value
Prior art date
Application number
KR1020050049899A
Other languages
English (en)
Other versions
KR101117146B1 (ko
Inventor
히사카즈 시라키
데쓰지로 곤도
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20060046418A publication Critical patent/KR20060046418A/ko
Application granted granted Critical
Publication of KR101117146B1 publication Critical patent/KR101117146B1/ko

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

보정 대상인 화상의 블러링(blurring) 보정에 관한 파라미터를 취득하고, 상기 보정 대상인 화상의 특징량을 검출하고, 상기 특징량에 따라 상기 파라미터를 보정하여 보정 파라미터를 생성하고, 상기 보정 파라미터에 따라 상기 보정 대상인 화상의 블러링을 보정하는 것을 특징으로 하는 화상 처리 장치, 방법, 프로그램, 및 그 프로그램을 기록한 기록 매체에 관한 것이다. 학습용 화상 데이터를 취득하고, 화상에 블러링을 발생하기 위한 파라미터를 설정하고, 취득된 상기 화상 데이터에 상기 파라미터를 포함하는 함수를 적용하여 블러링이 발생한 화상의 화상 데이터를 생성하고, 생성된 상기 화상 데이터의 화상 특징량을 검출하고, 설정된 상기 파라미터에 대응하는 블러링이 발생한 화상의 상기 특징량의 최대값을 검출하고, 지정 파라미터와 지정 특징량이 지정되었을 때, 상기 지정 파라미터와 상기 지정 특징량에 대응하는 보정 파라미터를 판독하는 테이블로서, 상기 지정 특징량이 상기 지정 파라미터에 대응하는 상기 특징량의 최대값보다 작을 경우, 상기 지정 파라미터를 상기 보정 파라미터로 하고, 클 경우, 상기 지정 특징량보다 값이 큰 특징량이 상기 특징량의 최대값으로서 대응하는 상기 파라미터를 상기 보정 파라미터로 하는 상기 테이블을 작성하는 것을 특징으로 하는 화상 처리 장치, 방법, 프로그램, 및 그 프로그램을 기록한 기록 매체에 관한 것이다.
화상, 블러링, 보정, 기록 매체, 프로그램.

Description

화상 처리 장치 및 방법, 기록 매체, 및 프로그램 {IMAGE PROCESSING DEVICE AND METHOD, RECORDING MEDIUM, AND PROGRAM}
도 1은 본 발명을 적용한 화상 처리 장치의 구성예를 나타낸 블록도이다.
도 2는 도 1의 화상 처리 장치의 화상 처리를 설명하는 플로차트이다.
도 3은 블러링(blurring)의 파라미터 σ를 설명하는 도면이다.
도 4는 블러링의 파라미터 σ를 설명하는 도면이다.
도 5는 포커스 블러링의 발생 원리를 설명하는 도면이다.
도 6은 포커스 블러링에 영향을 미치는 화소값의 범위를 설명하는 도면이다.
도 7은 2차원 화소의 배열을 설명하는 도면이다.
도 8은 2차원 포커스 블러링에 영향을 미치는 화소를 설명하는 도면이다.
도 9는 포커스 블러링에 영향을 미치는 에지를 설명하는 도면이다.
도 10은 도 1의 화상 보정 처리 장치의 구성예를 나타낸 블록도이다.
도 11은 도 10의 사용자 인터페이스부의 구성예를 나타낸 도면이다.
도 12는 도 10의 화상 보정 처리 장치의 화상 보정 처리를 설명하는 플로차트이다.
도 13은 도 10의 파라미터 보정부의 기능적 구성예를 나타낸 블록도이다.
도 14는 도 12의 스텝 S31에서의 파라미터 보정 처리를 설명하는 플로차트이 다.
도 15는 관찰 영역을 설명하는 도면이다.
도 16은 룩업 테이블의 예를 나타낸 도면이다.
도 17은 특징량, 도수 및 파라미터 σ와의 관계를 설명하는 도면이다.
도 18은 추정 파라미터 추정 처리를 설명하는 플로차트이다.
도 19는 특징량, 도수, 및 파라미터 σ의 관계를 설명하는 도면이다.
도 20은 특징량, 도수, 및 파라미터 σ의 관계를 설명하는 도면이다.
도 21은 특징량, 도수, 및 파라미터 σ의 관계를 설명하는 도면이다.
도 22는 도 10의 블러링 보정부의 기능적 구성예를 나타낸 블록도이다.
도 23은 도 22의 블러링 보정부의 블러링 보정 처리를 설명하는 플로차트이다.
도 24는 도 22의 블러링 보정부의 블러링 보정 처리를 설명하는 플로차트이다.
도 25는 블러링 보정 전 화상의 예를 나타낸 사진이다.
도 26은 블러링이 보정된 화상의 예를 나타낸 사진이다.
도 27은 블러링이 보정된 화상의 예를 나타낸 사진이다.
도 28은 룩업 테이블 작성 장치의 기능적 구성예를 나타낸 블록도이다.
도 29는 도 28의 룩업 테이블 작성 장치의 룩업 테이블 작성 처리를 설명하는 플로차트이다.
도 30은 특징량, 도수, 및 파라미터 σ의 관계를 설명하는 도면이다.
도 31은 도 29의 스텝 S157에서의 테이블 작성 처리의 상세를 설명하는 플로차트이다.
도 32는 모션 블러링을 보정하는 경우에 있어서의 도 12의 스텝 S31에서의 파라미터 보정 처리를 설명하는 플로차트이다.
도 33은 모션 블러링의 보정 방향을 설명하는 도면이다.
도 34는 모션 블러링을 보정하는 경우에 있어서의 룩업 테이블의 예를 나타낸 도면이다.
도 35는 퍼스널 컴퓨터의 구성예를 나타낸 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
1: 화상 처리 장치 11: 화상 보정 처리 장치
12: 표시 디바이스 31: 사용자 인터페이스부
32: 파라미터 보정부 33: 블러링 보정부
61-1 내지 61-4: 특징량 검출부 62-1 내지 62-4: 룩업 테이블
63: 선택부 71-1 내지 71-4: 특징량 추출부
72-1 내지 72-4: 최대값 탐색부
본 발명은 화상 처리 장치 및 방법, 기록 매체, 및 프로그램에 관한 것이며, 특히, 보다 간단하게, 화상의 블러링을 보정할 수 있도록 한 화상 처리 장치 및 방 법, 기록 매체, 및 프로그램에 관한 것이다.
최근, 디지털 카메라가 보급되어, 많은 사용자가 스냅 사진 등을 촬영하는 기회가 늘어나고 있다. 디지털 카메라에 있어서는, 이른바 오토 포커스 기능이 구비되어 있어, 사용자가 포커스 조정하지 않아도, 피사체에 대하여 최적의 포커스 조정이 카메라 측에서 행해진다.
그러나, 오토 포커스 기능에 있어서는, 미리 정해져 있는 몇개인가의 점의 포커스 상태가 최선으로 되도록 포커스가 조정되기 때문에, 사용자가 피사체로서 촬영하고 싶은 오브젝트에 대하여 포커스가 맞춰지지 않고, 예를 들면, 배경의 화상에 포커스가 조정되어 버리는 일이 있다. 이와 같은 경우, 사용자가 의도하는 피사체의 화상은 흐려져 버리게 된다.
그래서, 예를 들면, 화상의 블러링(blurring)을 보정하는 방법이 제안되어 있다(예를 들면, 일본국 특개 2000-57339호 공보).
그러나, 화상의 전체에 대하여 블러링을 보정하는 처리를 행하면, 예를 들면, 주된 피사체의 화상 블러링은 보정되지만, 역으로 그때까지 흐려져 있지 않았던 배경의 화상에, 오버슈트(overshoot)나 링잉(ringing)이 발생하여, 화상이 열화되어 버리는 결과로 되는 것이 많았다.
그래서, 상기 일본국 특개 2000-57339호 공보의 발명에서는, 사용자에게 블러링을 보정하는 범위를 지정시키고, 그 지정된 범위에 대해서만, 보정 처리가 행해지고 있다.
그러나, 보정 영역의 범위를 사용자에게 지정시키도록 하면, 예를 들면, 그 주된 피사체의 형상이 복잡한 형상을 하고 있는 바와 같은 경우, 그 복잡한 형상을 하고 있는 피사체의 외형을 정확하게 탐색하여, 영역으로서 지정하는 조작이 필요하게 되어, 사용자에게 큰 부담이 되는 과제가 있었다.
본 발명은 이와 같은 상황을 감안하여 이루어진 것이며, 사용자에게 특별한 부하를 주지 않고, 간단하게 화상의 블러링을 보정할 수 있도록 하는 것이다.
본 발명의 제1 측면은 보정 대상인 화상의 블러링 보정에 관한 파라미터를 취득하는 파라미터 취득 수단과, 상기 보정 대상인 화상의 특징량을 검출하는 특징량 검출 수단과, 상기 특징량에 따라 상기 파라미터를 보정하여 보정 파라미터를 생성하는 파라미터 생성 수단과, 상기 보정 파라미터에 따라 상기 보정 대상인 화상의 블러링을 보정하는 블러링 보정 수단을 구비하는 것을 특징으로 하는 화상 처리 장치이다.
본 발명의 제1 측면에 있어서는, 화상의 특징량이 검출되고, 그 특징량에 따라, 화상의 블러링 보정에 관한 파라미터가 보정되어, 보정 파라미터가 생성된다. 그리고, 이 보정 파라미터에 따라, 보정 대상인 화상의 블러링이 보정된다.
본 발명의 제2 측면은 학습용 화상 데이터를 취득하는 취득 수단과, 화상에 블러링을 발생하기 위한 파라미터를 설정하는 설정 수단과, 취득된 상기 화상 데이터에 상기 파라미터를 포함하는 함수를 적용하여 블러링이 발생한 화상의 화상 데이터를 생성하는 생성 수단과, 생성된 상기 화상 데이터의 화상 특징량을 검출하는 특징량 검출 수단과, 설정된 상기 파라미터에 대응하는 블러링이 발생한 화상의 상기 특징량의 최대값을 검출하는 최대값 검출 수단과, 지정 파라미터와 지정 특징량이 지정되었을 때, 상기 지정 파라미터와 상기 지정 특징량에 대응하는 보정 파라미터를 판독하는 테이블로서, 상기 지정 특징량이 상기 지정 파라미터에 대응하는 상기 특징량의 최대값보다 작을 경우, 상기 지정 파라미터를 상기 보정 파라미터로 하고, 클 경우, 상기 지정 특징량보다 값이 큰 특징량이 상기 특징량의 최대값으로서 대응하는 상기 파라미터를 상기 보정 파라미터로 하는 상기 테이블을 작성하는 작성 수단을 구비하는 것을 특징으로 하는 화상 처리 장치이다.
본 발명의 제2 측면에 있어서는, 지정 특징량이 지정 파라미터에 대응하는 특징량의 최대값보다 작을 경우, 지정 파라미터를 보정 파라미터로 하고, 특징량이 지정 파라미터에 대응하는 특징량의 최대값보다 클 경우, 지정 특징량보다 값이 큰 특징량이 특징량의 최대값으로서 대응하는 파라미터를 보정 파라미터로 하는 테이블이 작성된다.
이하에 본 발명의 최선의 형태를 설명하지만, 개시되는 발명과 실시예와의 대응 관계를 예시하면, 다음과 같이 된다. 명세서 중에는 기재되어 있지만, 발명에 대응하는 것으로서, 여기에는 기재되어 있지 않은 실시예가 있다고 해도, 그것은 그 실시예가 그 발명에 대응하는 것이 아닌 것을 의미하는 것은 아니다. 역으로, 실시예가 발명에 대응하는 것으로서 여기에 기재되어 있다고 해도, 그것은 그 실시예가 그 발명 이외의 발명에는 대응하지 않는 것인 것을 의미하는 것도 아니다.
또한, 이 기재는 명세서에 기재되어 있는 발명의 모두를 의미하는 것은 아니다. 환언하면, 이 기재는 명세서에 기재되어 있는 발명으로서, 이 출원에서는 청구되고 있지 않은 발명의 존재, 즉, 장래, 분할 출원되거나, 보정에 의해 출현하여, 추가되는 발명의 존재를 부정하는 것은 아니다.
제1 측면의 화상 처리 장치는 보정 대상인 화상의 블러링 보정에 관한 파라미터(예를 들면, 파라미터 σ)를 취득하는 파라미터 취득 수단(예를 들면, 도 14의 스텝 S51의 처리를 실행하는 도 10의 사용자 IF부(31))와, 상기 보정 대상인 화상의 특징량(예를 들면, 화상 데이터의 1차 미분값, 2차 미분값, 다이내믹 레인지, 또는 분산)을 검출하는 특징량 검출 수단(예를 들면, 도 14의 스텝 S52, S53의 처리를 실행하는 도 13의 특징량 검출부(61-1 내지 61-4))와, 상기 특징량에 따라 상기 파라미터를 보정하여 보정 파라미터를 생성하는 파라미터 생성 수단(예를 들면, 도 14의 스텝 S55의 처리를 실행하는 도 13의 룩업 테이블(62-1 내지 62-4))과, 상기 보정 파라미터에 따라 상기 보정 대상인 화상의 블러링을 보정하는 블러링 보정 수단(예를 들면, 도 12의 스텝 S32의 처리를 실행하는 도 10의 블러링 보정부(33))을 구비하는 것을 특징으로 한다.
상기 파라미터 생성 수단은 상기 보정 대상인 화상의 상기 특징량의 최대값으로서의 제1 특징량(예를 들면, 도 19의 특징량 V80)이, 취득된 상기 파라미터(예를 들면, 도 20의 파라미터 σ70)에 대응하는 최대의 상기 특징량으로서의 제2 특징량(예를 들면, 도 20의 특징량 V70)보다 작을 경우(예를 들면, 제1 특징량이 도 16 의 특징량 V80인 경우), 취득된 상기 파라미터(예를 들면, 도 16의 파라미터 σ70)를 그대로 상기 보정 파라미터로 하여(예를 들면, 도 16의 세로 좌표축의 파라미터 σ70에 대응하는 프레임 중에 보정 파라미터로서 기재되어 있는 파라미터 σ70으로 하여), 클 경우(예를 들면, 제1 특징량이 도 20의 특징량 V60인 경우), 상기 제1 특징량보다 큰 특징량으로서의 제3 특징량(예를 들면, 도 20의 특징량 V50)이 최대의 특징량으로서 대응하는 상기 파라미터(예를 들면, 도 20의 파라미터 σ50)를 상기 보정 파라미터로 한다(예를 들면, 도 16의 세로 좌표축의 파라미터 σ70에 대응하는 프레임 중의 보정 파라미터를 파라미터 σ50으로 한다).
상기 특징량 검출 수단은 복수개의 상기 특징량을 검출하고, 상기 파라미터 생성 수단은 복수개의 상기 특징량에 대응하는 복수개의 상기 보정 파라미터를 생성하고, 상기 화상 처리 장치는 복수개의 상기 보정 파라미터로부터 최소의 것을 선택하는 보정 파라미터 선택 수단(예를 들면, 도 14의 스텝 S56의 처리를 실행하는 도 13의 선택부(63))을 추가로 구비하고, 상기 블러링 보정 수단은 선택된 상기 보정 파라미터에 따라 상기 보정 대상인 화상의 블러링을 보정한다.
상기 특징량 검출 수단(예를 들면, 도 13의 특징량 검출부(61-1 내지 61-4)를 구성하는 특징량 추출부(71-1 내지 71-4))은 상기 특징량으로서 상기 보정 대상인 화상의 일부 영역 내의 복수개 화소의 상기 특징량 중 최대값을 검출한다(예를 들면, 도 14의 스텝 S54의 처리).
상기 블러링 보정 수단은 상기 보정 대상인 화상의 일부 영역(예를 들면, 도 15의 관찰 영역)을, 취득된 상기 파라미터의 값에 따른 크기로 설정한다(예를 들면, 도 14의 스텝 S52의 처리).
상기 블러링 보정 수단은 인접하는 화소의 화소값의 차분(예를 들면, 차분 절대값)을 이용하여, 상기 보정 대상인 화상의 블러링을 보정하는 연산을 행한다(예를 들면, 도 23의 스텝 S104의 처리).
상기 블러링 보정 수단은 상기 차분을 기준값과 비교하여 에지의 방향을 판정 하고(예를 들면, 도 23과 도 24의 스텝 S105, S108, S111, S114의 처리), 상기 에지가 존재하는 방향의 상기 차분은 존재하지 않는 방향의 차분과 비교하여, 이용하는 비율을 적게한다(예를 들면, 도 23과 도 24의 스텝 S106, S107, S109, S110, S112, S113, S115, S116의 처리).
제1 측면의 화상 처리 방법, 기록 매체의 프로그램, 및 프로그램은 보정 대상인 화상의 블러링 보정에 관한 파라미터(예를 들면, 파라미터 σ)를 취득하는 파라미터 취득 스텝(예를 들면, 도 14의 스텝 S51)과, 상기 보정 대상인 화상의 특징량(예를 들면, 화상 데이터의 1차 미분값, 2차 미분값, 다이내믹 레인지, 또는 분산)을 검출하는 특징량 검출 스텝(예를 들면, 도 14의 스텝 S52, S53)과, 상기 특징량에 따라 상기 파라미터를 보정하여 보정 파라미터를 생성하는 파라미터 생성 스텝(예를 들면, 도 14의 스텝 S55)과, 상기 보정 파라미터에 따라 상기 보정 대상인 화상의 블러링을 보정하는 블러링 보정 스텝(예를 들면, 도 12의 스텝 S32)을 포함하는 것을 특징으로 한다.
제2 측면의 화상 처리 장치는 학습용 화상 데이터를 취득하는 취득 수단(예를 들면, 도 29의 스텝 S151의 처리를 실행하는 도 28의 취득부(211))과, 화상에 블러링을 발생하기 위한 파라미터를 설정하는 설정 수단(예를 들면, 도 29의 스텝 S152의 처리를 실행하는 도 29의 설정부(213))과, 취득된 상기 화상 데이터에 상기 파라미터를 포함하는 함수(예를 들면, 식 (2)의 가우스 함수)를 적용하여 블러링이 발생한 화상의 화상 데이터를 생성하는 생성 수단(예를 들면, 도 29의 스텝 S153의 처리를 실행하는 도 28의 연산부(212))과, 생성된 상기 화상 데이터의 화상 특징량(예를 들면, 화상 데이터의 1차 미분값, 2차 미분값, 다이내믹 레인지, 또는 분산)을 검출하는 특징량 검출 수단(예를 들면, 도 29의 스텝 S154의 처리를 실행하는 도 28의 특징량 추출부(214))과, 설정된 상기 파라미터에 대응하는 블러링이 발생한 화상의 상기 특징량의 최대값을 검출하는 최대값 검출 수단(예를 들면, 도 29의 스텝 S156의 처리를 실행하는 도 28의 최대값 검출부(216))과, 지정 파라미터와 지정 특징량(예를 들면, 도 16의 룩업 테이블의 어드레스로서의 세로축의 파라미터 σ와 가로축의 특징량 V)이 지정되었을 때, 상기 지정 파라미터와 상기 지정 특징량에 대응하는 보정 파라미터를 판독하는 테이블(예를 들면, 도 16의 룩업 테이블)로서, 상기 지정 특징량이 상기 지정 파라미터(예를 들면, 도 16의 지시값으로서의 파라미터 σ80)에 대응하는 상기 특징량의 최대값(예를 들면, 도 19의 특징량 V80)보다 작을 경우(예를 들면, 지정 특징량이 도 16의 특징량 V90인 경우), 상기 지정 파라미터를 상기 보정 파라미터로 하여(예를 들면, 도 16의 룩업 테이블의 세로 좌표 축의 파라미터 σ80에 대응하는 프레임 중 보정 파라미터로서 기재되어 있는 파라미터 σ80으로 하여), 클 경우(예를 들면, 지정 특징량이 도 16의 특징량 V60인 경우), 상기 지정 특징량보다 값이 큰 특징량(예를 들면, 도 16의 특징량 V50)이 상기 특징량의 최대값으로서 대응하는 상기 파라미터(예를 들면, 도 17의 파라미터 σ50)를 상기 보정 파라미터로 하는(예를 들면, 도 16의 룩업 테이블의 세로 좌표축의 파라미터 σ70에 대응하는 프레임 중의 보정 파라미터를 파라미터 σ50으로 하는) 상기 테이블을 작성하는 작성 수단(예를 들면, 도 29의 스텝 S157의 처리를 실행하는 도 28의 테이블 작성부(217))을 구비하는 것을 특징으로 한다.
상기 특징량의 도수를 검출하는 도수 검출 수단(예를 들면, 도 29의 스텝 S155의 처리를 실행하는 도 28의 도수 검출부(215))을 추가로 구비하고, 상기 최대값 검출 수단은 검출된 도수가 미리 정해져 있는 임계값보다 큰 상기 특징량 중에서 상기 특징량의 최대값을 검출한다.
제2 측면의 화상 처리 방법, 기록 매체의 프로그램, 및 프로그램은 학습용 화상 데이터를 취득하는 취득 스텝(예를 들면, 도 29의 스텝 S151)과, 화상에 블러링을 발생하기 위한 파라미터를 설정하는 설정 스텝(예를 들면, 도 29의 스텝 S152)과, 취득된 상기 화상 데이터에 상기 파라미터를 포함하는 함수(예를 들면, 식 (2)의 가우스 함수)를 적용하여 블러링이 발생한 화상의 화상 데이터를 생성하는 생성 스텝(예를 들면, 도 29의 스텝 S153)과, 생성된 상기 화상 데이터의 화상 특징량(예를 들면, 화상 데이터의 1차 미분값, 2차 미분값, 다이내믹 레인지, 또는 분산)을 검출하는 특징량 검출 스텝(예를 들면, 도 29의 스텝 S154)과, 설정된 상기 파라미터에 대응하는 블러링이 발생한 화상의 상기 특징량의 최대값을 검출하는 최대값 검출 스텝(예를 들면, 도 29의 스텝 S156)과, 지정 파라미터와 지정 특징량(예를 들면, 도 16의 룩업 테이블의 어드레스로서의 세로축의 파라미터 σ와 가로축의 특징량 V)이 지정되었을 때, 상기 지정 파라미터와 상기 지정 특징량에 대응하는 보정 파라미터를 판독하는 테이블(예를 들면, 도 16의 룩업 테이블)로서, 상기 지정 특징량이 상기 지정 파라미터(예를 들면, 도 16의 지시값으로서의 파라미터 σ80)에 대응하는 상기 특징량의 최대값(예를 들면, 도 19의 특징량 V80)보다 작을 경우(예를 들면, 지정 특징량이 도 16의 특징량 V90인 경우), 상기 지정 파라미터를 상기 보정 파라미터로 하여(예를 들면, 도 16의 룩업 테이블의 세로 좌표축의 파라미터 σ80에 대응하는 프레임 중 보정 파라미터로서 기재되어 있는 파라미터 σ80으로 하여), 클 경우(예를 들면, 지정 특징량이 도 16의 특징량 V60인 경우), 상기 지정 특징량보다 값이 큰 특징량(예를 들면, 도 16의 특징량 V50)이 상기 특징량의 최대값으로서 대응하는 상기 파라미터(예를 들면, 도 17의 파라미터 σ50)를 상기 보정 파라미터로 하는(예를 들면, 도 16의 룩업 테이블의 세로 좌표축의 파라미터 σ70에 대응하는 프레임 중의 보정 파라미터를 파라미터 σ50으로 하는) 상기 테이블을 작성하는 작성 스텝(예를 들면, 도 29의 스텝 S157)을 포함하는 것을 특징으로 한다.
다음에, 본 발명을 적용한 실시예에 대하여 도면을 참조하여 설명한다.
도 1은 본 발명을 적용한 화상 처리 장치의 구성예를 나타내고 있다. 이 화상 처리 장치(1)는 화상 보정 처리 장치(11)와 표시 디바이스(12)에 의해 구성되어 있다. 화상 보정 처리 장치(11)는 입력된 화상 데이터의 화상의 블러링을 보정하여, 출력한다. 표시 디바이스(12)는 화상 보정 처리 장치(11)로부터 출력된 화상 데이터에 따른 화상을 표시하여, 사용자(13)에게 제시한다.
다음에, 도 2의 플로차트를 참조하여, 이 화상 처리 장치(1)의 화상 처리에 대하여 설명한다.
스텝 S1에서, 화상 보정 처리 장치(11)는 화상 보정 처리를 행한다. 그 자세한 것은 도 12를 참조하여 후술하지만, 화상 보정 처리 장치(11)는 입력된 화상 데이터에 대하여, 사용자(13)로부터 지시된 파라미터 σ에 대응하는 보정 처리를 행하고, 보정 처리한 후의 화상 데이터를 출력한다. 이 화상 데이터는 후단의 도시하지 않은 장치에 출력되는 동시에, 표시 디바이스(12)에 공급되어, 화상으로서 표시된다.
사용자(13)는 표시 디바이스(12)에 표시된 화상을 보아, 블러링이 충분히 보정되어 있는지 여부를 판정하고, 블러링이 아직 충분히 보정되어 있지 않은 경우에는, 파라미터 σ의 값을 상이한 값이 되도록 손잡이 등을 조정한다.
그래서, 스텝 S2에서, 화상 보정 처리 장치(11)는 사용자로부터 새로운 조작이 이루어졌는지 여부를 판정하고, 새로운 조작이 이루어진 경우에는, 처리를 스텝 S1로 되돌려, 다시 설정된 새로운 파라미터 신호에 따른 화상 보정 처리를 행한다.
보정된 화상 데이터에 따른 화상이 표시 디바이스(12)에 의해 표시되므로, 사용자(13)는 다시 이 화상을 보고, 화상의 모션을 추가로 보정하는지 여부를 판단한다. 그리고, 추가로 블러링을 보정할 필요가 있다고 판단한 경우에는, 손잡이를 조정함으로써, 추가로 새로운 파라미터 σ의 값을 설정한다.
이상과 같은 처리가 반복 실행된다. 그리고, 스텝 S2에서, 새로운 조작이 이루어지지 않았다고 판정된 경우, 처리는 종료된다.
다음에, 화상 보정 처리 장치(11)에서의 화상 보정의 원리에 대하여 설명한다. 본 발명에서는, 블러링의 발생에 대하여, 다음 식에 따른 모델이 가정된다.
[수식 1]
Figure 112005030811608-PAT00001
상기 식에서의 X(x＋i, y＋j)는 좌표 X(x＋i, y＋j)가 블러링이 발생하고 있지 않은 화상의 데이터를 나타내고, 이것에 가중 계수 W(i, j)를 곱셈한 값을 접어 넣음으로써, 블러링이 발생한 화상의 데이터 Y(x, y)가 발생하는 것이 된다. 그리고, 가중 계수 W(i, j)는 다음 식에 나타낸 바와 같이, 가우스 함수가 된다.
[수식 2]
Figure 112005030811608-PAT00002
파라미터 σ는 블러링에 대응하는 파라미터이며, 파라미터 σ의 값이 커질수 록, 블러링도 커진다.
가중 계수 W(i, j)의 값은 파라미터 σ의 값이 작으면, 도 3에 나타낸 바와 같이, 비교적 급준(急峻)한 특성이 되고, 파라미터 σ의 값이 크면, 도 4에 나타낸 바와 같이, 전체적으로 완만한 넓은 범위에 걸친 분포가 된다.
그리고, 도 3과 도 4의 수평면 내의 플러스의 방향은 각각 수평 방향(i)과 수직 방향(j)의 화소 위치를 나타내고, 세로축은 가중 계수 W(i, j)의 값을 나타낸다.
이상의 관계를, 수평 방향으로 1축에 배려된 CCD 촬상 장치의 화소마다의 출력에 대하여 설명하면, 도 5에 나타낸 바와 같이 된다.
즉, 도 5의 최하단에 나타나는 P0 내지 P8은 각각 수평 방향으로 배열되어 있는 CCD 촬상 장치의 블러링 화상의 전하 축적을 나타낸다. 도 5의 최상단의 X0 내지 X8은 각각 화소 P0 내지 P8이 블러링이 없는 화상을 촬상한 경우의 전하 축적을 나타낸다. 도 5의 중단의 그래프는 가중 계수 W(i)의 특성을 나타낸다. 이 예에서는, 변수 i가 -2≥i≥2로 되고, 중앙의 계수가 W(0)로 되고, 그 좌측의 계수가 W(-1), 또한 그 좌측의 계수는 W(-2)로 된다. 동일하게, 중앙의 계수 W(0)의 우측의 계수는 W(1)로 되고, 또한 그 우측의 계수는 W(2)로 된다. 각 계수 W(i)의 값은 W(0)이 가장 크고, 계수 W(-1), W(1)이 그보다 작고, 계수 W(-2), W(2)는 더욱 그보다 작은 값으로 되어 있다.
상기한 식 (1)에 따라, 화소 P4의 관측값 Y2를 식으로 나타내면, 다음과 같 이 된다.
Y2 = W(-2)X2 ＋ W(-1)X3 ＋ W(0)X4 ＋ W(1)X5 ＋ W(2)X6 … (3)
동일하게, 도 5의 화소 P2의 관측값 Y0을 구하는 경우, 화소 P2를 중심으로 하는 도 6의 프레임(90-1)에서 나타나는 참값으로 연산을 행함으로써, 다음과 같이 관측값 Y0이 구해진다.
Y0 = W(-2)X0 ＋ W(-1)X1 ＋ W(0)X2 ＋ W(1)X3 ＋ W(2)X4 … (4)
또한, 화소 P3의 화소 Y1를 구하는 경우, 화소 P3을 중심으로 하는 도 6의 프레임(90-2)에서 나타나는 참값에 따라 연산을 행함으로써, 다음과 같이 관측값 Y1이 구해진다.
Y1 = W(-2)X1 ＋ W(-1)X2 ＋ W(0)X3 ＋ W(1)X4 ＋ W(2)X5 … (5)
관측값 Y3, Y4 대해서도 동일하게 연산할 수 있다.
도 5에 나타내는 1차원의 관계를 2차원으로 전개하여 나타내면, 도 7과 도 8에 나타낸 바와 같이 된다.
즉, 도 7은 관측값 Yt를 중심으로 하는 7×7 화소 관찰 영역의 관측값 Y(x, y)를 나타낸다. 이 관측값 Y(x, y)는 도 8에 나타낸 참값 X(x, y)의 값을 가중 계수에 의해, 적합계(積合計) 연산함으로써 얻어진 값이 된다.
구체적으로는, 도 7의 좌측 위의 화소 A의 값은 도 8의 화소 A에 대응하는 화소 A'를 중심으로 하는 5×5 화소의 프레임(a)에서 나타나는 25개의 화소에 대응하는 참값에 따라, 다음 식으로 표현된다.
[수식 3]
Figure 112005030811608-PAT00003
동일하게, 도 7의 화소 A의 우측 인접한 화소 B의 관측값은 도 8의 화소 B에 대응하는 화소 B'를 중심으로 하는 프레임(b)에서 나타나는 25개의 화소에 대응하는 참값에 따라, 다음 식으로 연산된다.
[수식 4]
Figure 112005030811608-PAT00004
Figure 112005030811608-PAT00005
Figure 112005030811608-PAT00006
화소 B의 또한 우측 인접한 화소 C 에 대해서는, 도 8의 화소 C에 대응하는 화소 C'를 중심으로 하는 프레임(c) 내의 25개 화소에 대응하는 참값에 따라, 다음 식으로 표현되도록 연산된다.
그리고, 도 8의 Xt는 도 7의 관측값 Yt에 대응하는 참값이며, 프레임(t)은 참값 Xt를 중심으로 하는 5×5 화소의 프레임이다.
[수식 5]
Figure 112005030811608-PAT00007
Figure 112005030811608-PAT00008
Figure 112005030811608-PAT00009
식 (8), (9)에서의 가중 계수 W(i, j)는 식 (6)에서의 경우와 동일하게, 식 (7)로 표현된다.
이상과 같이 하여, 도 7에 나타내는 각 화소에 대응하는 관측값을 모두 구하면 다음 식으로 표현되는 행렬식이 얻어진다.
[수식 6]
Figure 112005030811608-PAT00010
Figure 112005030811608-PAT00011
[수식 7]
Figure 112005030811608-PAT00012
Figure 112005030811608-PAT00013
[수식 8]
Figure 112005030811608-PAT00014
Figure 112005030811608-PAT00015
[수식 9]
Figure 112005030811608-PAT00016
Figure 112005030811608-PAT00017
식 (10) 내지 식 (13)에서 표현되는 행렬식으로부터, Wf의 역행열을 연산할 수 있으면, 참값 X(x, y)를 추정하는 것이 가능하다.
그러나, 도 7의 관찰 영역(21)과 그에 대응하는 도 8의 혼합 영역(22)의 면적(화소수) 차이를 보아도 알 수 있는 바와 같이, 관측값 Y(x, y)에 비해, 추정해야 할 참값 X(x, y)의 수가 많기 때문에, 상기한 식 (10) 내지 식 (13)만으로는, 참값 X(x, y)를 풀 수 없다.
그래서, 본 발명에서는, 식 (10) 내지 식 (13)에 더하여, 다음의 식 (14) 내지 식 (17)이 관계식으로서 도입된다. 이들은 각각 상, 우, 하, 또는 좌측에 인접하는 화소와의 차분에 계수 Wa를 곱셈한 값이 0으로 되는 조건이다.
Wa(X(x, y) - X(x, y-1) = 0 … (14)
Wa(X(x, y) - X(x+1, y) = 0 … (15)
Wa(X(x, y) - X(x, y+1) = 0 … (16)
Wa(X(x, y) - X(x-1, y) = 0 … (17)
즉, 일반적인 화상의 특성으로서, 인접하는 화소 간의 상관은 높으므로, 상 기 식 (14) 내지 식 (17)에서의 계수 Wa를 극히 작은 값으로 해 두면, 그다지 큰 모순은 되지 않는다. 또, 입력 화상으로부터 추정되는 액티비티 등에 따라, 식 (14) 내지 식 (17)에서의 계수 Wa를 각각 화소마다 전환하는 것도 가능하다. 이와 같이, 식 (10) 내지 식 (13)에 더하여, 도 8에 나타내는 11×11의 참값 X(x, y)의 영역 전체에 대하여, 또는 영역 내의 일부에 대하여, 식 (14) 내지 식 (17)의 관계식을 보조적으로 추가함으로써, 참값 X(x, y)의 수가 식의 수와 동일하거나 그 이하로 되며, 다음 식에 따라, 참값 X(x, y)를 연산할 수 있다.
Ys = WsXs … (18)
Xs = Ws -1Ys … (19)
또, 도 9에 나타낸 바와 같이, 에지가 존재하는 방향에 따라 식 (14) 내지 식 (17)의 어느 것을 부가하는가를 선택하도록 할 수 있다.
즉, 화소 P0a는 상하 좌우에 접하는 어느 화소도 에지(25A)에 걸쳐 있지 않다. 그래서, 이 경우에는, 식 (14) 내지 식 (17)의 모든 조건을 부가할 수 있다. 이에 대하여, 화소 P0b는 상하와 우측에 인접하는 화소 사이에는 에지(25A)가 존재하지 않지만, 좌측에 인접하는 화소 사이에는 에지(25A)가 존재한다. 그래서, 이 경우에는, 식 (14) 내지 식 (16)만을 조건으로서 더하도록 하고, 좌측에 인접하는 화소와의 차분에 대응하는 식 (17)은 조건으로서 더하지 않도록 할 수 있다. 이와 같이 함으로써, 보다 정확한 보정이 가능해진다.
동일하게, 화소 P0c는 우측과 하측에 인접하는 화소 사이에는 에지가 존재하지 않지만, 상측과 좌측에 인접하는 화소 사이에는 에지(25A)가 존재한다. 그래서, 우측 또는 하측에 인접하는 화소와의 차분에 대응하는 식 (15)와 식 (16)은 조건식으로서 더하고, 상측 또는 좌측에 인접하는 화소와의 차분에 대응하는 식 (14)와 식 (17)은 조건으로서 더하지 않도록 할 수 있다.
그리고, 조건으로서 더하지 않도록 한다는 것은 식 (14) 내지 식 (17)에서의 계수 Wa의 값을 0으로 하는 것을 의미한다. 계수 Wa의 값을 0으로 하는 것이 아니라, 에지가 존재하는 방향의 계수 Wa의 값을 에지가 존재하지 않는 방향의 계수 Wa의 값에 비해 작은 값으로 설정하도록 해도 된다.
그리고, 이 경우에도, 도 9 (A)에 나타내는 관측값의 화소 P0a, P0b, P0c의 상하 좌우에 인접하는 화소와의 차분의 값이, 도 9 (B)에서의 대응하는 참값의 화소 P1a, P1b, P1c의 상하 좌우에 인접하는 화소와의 차가 대략 동일한 것이 전제로 된다.
도 10은 화상 보정 처리 장치(11)의 보다 상세한 구성예를 나타내고 있다. 이 화상 보정 처리 장치(11)는 사용자 인터페이스(IF)부(31), 파라미터 보정부(32), 및 블러링 보정부(33)에 의해 구성되어 있다.
사용자 인터페이스부(31)는 도 11에 나타낸 바와 같이, 손잡이(51)를 가지고, 그것을 반시계 방향으로 회전함으로써 파라미터 σ의 값을 작게 하고, 시계 방향으로 회전시킴으로써 파라미터 σ의 값을 크게 할 수 있다. 사용자 인터페이스 부(31)에 의해 지정된 파라미터 σ는 파라미터 보정부(32)에 공급된다. 파라미터 보정부(32)는 입력된 화상 데이터의 특징량에 따라, 사용자 인터페이스부(31)로부터 공급된 파라미터 σ의 값을 보정하고, 보정된 파라미터 σ를 블러링 보정부(33)에 공급한다. 블러링 보정부(33)는 보정된 파라미터 σ에 따라, 입력된 화상 데이터의 화상의 블러링을 보정하는 처리를 행하고, 그 화상 데이터를 출력한다.
도 10의 화상 보정 처리 장치(11)의 처리(도 2의 스텝 S1의 화상 보정 처리에 대응함)는 도 12의 플로차트에 나타낸 바와 같이 된다.
즉, 사용자가 사용자 인터페이스부(31)를 조작하여, 소정 파라미터 σ를 지정하면, 스텝 S31에서, 파라미터 보정부(32)는 파라미터 보정 처리를 실행한다. 그 자세한 것은 도 14를 참조하여 후술하지만, 이에 따라, 파라미터 σ가 화상 데이터의 특징량에 따라 보정되고, 보정된 파라미터 σ가 생성된다.
스텝 S32에서, 블러링 보정부(33)는 블러링 보정 처리를 실행한다. 그 자세한 것은 도 23과 도 24의 플로차트를 참조하여 후술하지만, 이에 따라, 입력된 화상 데이터의 화상의 블러링이 보정되고, 블러링이 보정된 화상의 화상 데이터가 출력되어, 표시 디바이스(12)에 공급되고, 화상으로서 표시된다.
그리고, 사용자는 이 화상을 보고 추가로 보정이 필요하다고 판단한 경우에는, 다시 사용자 인터페이스부(31)를 조작하여 새로운 파라미터 σ를 지정한다. 이와 같은 처리가 반복됨으로써, 블러링이 보정된 화상의 화상 데이터가 얻어지게 된다.
도 13은 파라미터 보정부(32)의 상세한 구성예를 나타내고 있다. 파라미터 보정부(32)는 입력된 화상 데이터로부터, 각각 상이한 특징량을 검출하는 특징량 검출부( 61-1 내지 61-4), 특징량 검출부(61-1 내지 61-4)로부터 출력된 특징량과, 사용자 인터페이스부(31)로부터 공급된 파라미터 σ의 값에 따라, 추정 파라미터를 추정하는 룩업 테이블(LUT)(62-1 내지 62-4), 및 룩업 테이블(62-1 내지 62-4)로부터 출력된 4개의 추정 파라미터 중에서, 최소의 추정 파라미터를 보정 파라미터로서 1개 선택하는 선택부(63)에 의해 구성되어 있다.
특징량 검출부(61-1)는 특징량 추출부(71-1)와 최대값 탐색부(72-1)에 의해 구성되어 있다. 특징량 추출부(71-1)는 입력된 화상 데이터가 사용자 인터페이스부(31)로부터 공급되는 파라미터 σ의 값에 따라 설정되는 관찰 영역의 화소 특징량을 추출한다. 관찰 영역 범위의 화소의 수가 N개 있는 경우에는, N개의 특징량이 추출되게 된다. 최대값 탐색부(72-1)는 특징량 추출부(71-1)로부터 공급된 N개의 특징량으로부터 그 최대값을 탐색하여, 룩업 테이블(62-1)에 출력한다.
특징량 검출부(61-2 내지 61-4)도 특징량 검출부(61-1)와 동일하게, 특징량 추출부(71-2 내지 71-4)와 최대값 탐색부(72-2 내지 72-4)를 가지고 있다. 그 기본적 동작은 특징량 검출부(61-1)에서의 경우와 동일하다.
특징량 추출부(71-1 내지 71-4)가 각각 추출하는 특징량은 모두 액티비티계의 특징량이며, 블러링량에 대응하는 파라미터 σ와 일정한 상관을 가지는 특징량이다. 즉, 파라미터 σ가 크면, 특징량은 작아지거나 또는 커진다. 구체적으로는, 화소값의 1차 미분값, 2차 미분값, N개 화소의 다이내믹 레인지, N개 화소의 분산 등이 추출된다.
1차 미분값은 주목 화소를 B, 그 좌측 인접한 화소를 A, 우측 인접한 화소를 C 로 할 때, 주목 화소 B와 좌측 인접한 화소 A와의 차의 절대값 ｜B－A｜와 주목 화소 B와 우측 인접한 화소 C와의 차의 절대값 ｜B－C｜중, 큰 쪽으로 할 수 있다. 또, 2차 미분값은 주목 화소 B의 2배의 값(2B)과 좌우 화소의 합(A＋C)과의 차의 절대값 ｜2B-(A＋C)｜로 할 수 있다. 또, N개 화소의 다이내믹 레인지 DR은 N개의 화소 중 최대값 MAX 와 최소값 MIN의 차분이며, DR = MAX－MIN으로 표현된다. 또, N개 화소의 분산(N개 화소의 평균값과 N개의 각 화소와의 차의 2승의 총계를 N으로 나눈 값) 대신에, N개 화소의 평균값과 N개의 각 화소와의 차의 2승의 총계나, N개 화소의 평균값과 N개의 각 화소와의 차의 절대값의 총계, 또는 그 차의 절대값의 총계를 N으로 나눈 값 등을 사용해도 된다.
다음에, 도 14의 플로차트를 참조하여, 파라미터 보정 처리에 대하여 설명한다. 이 처리는 도 12의 스텝 S31의 처리로서 행해지는 것이다.
스텝 S51에서, 사용자 인터페이스부(31)는 파라미터를 취득한다. 즉, 사용자가 손잡이(51)를 조작함으로써 입력한 파라미터 σ의 값이 취득된다. 취득된 파라미터 σ는 특징량 추출부(71-1 내지 71-4)와 룩업 테이블(62-1 내지 62-4)에 공급된다.
스텝 S52에서, 특징량 추출부(71-1 내지 71-4)는 관찰 영역을 설정한다. 즉, 특징량 추출부(71-1 내지 71-4)는 먼저 스텝 S51의 처리에서 취득된 파라미터 σ에 대응하는 영역을 관찰 영역으로서 설정한다. 구체적으로는, 도 15에 나타낸 바와 같이, 주목 화소로부터 파라미터 σ의 3배의 값의 수의 화소를 포함하는 영역이 관찰 영역으로 된다. 도 15 (A)는 3σ의 값이 1인 경우의 관찰 영역을 나타내고 있다. 단, 3σ의 값은 사사 오입 처리된 값이다. 따라서, σ의 값이 0.1, 0.2, 0.3의 어느 경우에도, 3σ의 값은 1이 된다. 도 15 (B)는 3σ의 값이 2인 경우의 관찰 영역을 나타낸다. 이 경우의 σ의 값은 0.4, 0.5, 또는 0.6이다.
이하, 동일하게, 도 15 (C) 내지 도 15 (I)는 3σ의 값이 각각 3 내지 9인 경우에 있어서의 관찰 영역을 나타내고 있다. 도면 중 아래에 표시되어 있는σ의 값은 각각의 값을 3배하여, 사사 오입 처리한 경우에 대응하는 관찰 영역이 되는 것을 나타낸다. 이 예의 경우에는, 도 15에 나타낸 바와 같이, 관찰 영역은 주목 화소를 중심으로 하는 대략 원형의 영역으로 된다. 이와 같이, 관찰 영역의 크기를 파라미터 σ의 값이 커질수록 커지도록 설정함으로써, 블러링에 영향을 미치지 않는 화소의 특징량이 검출되어, 잘못된 처리가 행해지는 것이 방지된다.
다음에, 스텝 S53에서, 특징량 추출부(71-1 내지 71-4)는 특징량을 추출한다. 전술한 바와 같이, 특징량 추출부(71-1 내지 71-4)는 각각 자기 자신에게 할당된 다른 것과는 상이한 특징량을 추출한다. 예를 들면, 특징량 추출부(71-1)는 1차 미분값을 특징량으로서 추출하고, 특징량 추출부(71-2)는 2차 미분값을 특징량으로서 추출하고, 특징량 추출부(71-3)는 다이내믹 레인지를 특징량으로서 추출하고, 특징량 추출부(71-4)는 분산을 특징량으로서 추출한다. 이와 같이, 복수개의 특징량을 검출함으로써, 본래 이루어져야 할 블러링 파라미터의 보정 누락을 회피할 수 있다.
스텝 S54에서, 최대값 탐색부(72-1 내지 72-4)는 최대값(블러링이 가장 적은 특징량)을 탐색한다. 즉, 최대값 탐색부(72-1)는 특징량 추출부(71-1)가 추출한 관찰 영역 내의 화소의 1차 미분값의 최대값을 탐색한다. 최대값 탐색부(72-2)는 특징량 추출부(71-2)가 추출한 관찰 영역 내 화소의 2차 미분값의 최대값을 탐색한다. 최대값 탐색부(72-3)는 특징량 추출부(71-3)가 추출한 관찰 영역 내 화소의 다이내믹 레인지의 최대값을 탐색한다. 최대값 탐색부(72-4)는 특징량 추출부(71-4)가 추출한 관찰 영역 내 화소의 분산을 탐색한다. 그리고, 분산의 경우에는, 그 값이 1개이므로, 그 값이 그대로 최대값으로서 탐색된다.
스텝 S55에서, 룩업 테이블(62-1 내지 62-4)은 통계적 데이터를 참조하여 추정 파라미터를 추정한다. 그 자세한 것은 도 16 내지 도 21을 참조하여 후술하지만, 이에 따라 사용자 인터페이스부(31)로부터 공급된 사용자에 의해 지정된 파라미터 σ의 값이 추정 파라미터로 변환된다. 이 추정 파라미터는 사용자가 지정한 파라미터 σ의 값에 대응하는 특징량의 최대값이, 최대값 탐색부(72-1 내지 72-4)에서 탐색된 최대값보다 작을 경우에는, 최대값 탐색부(72-1 내지 72-4)에서 탐색된 최대값보다 큰 값의 최대값이 대응하는 파라미터의 값으로 변경된다. 이에 따라, 블러링되어 있지 않은 화상에 대하여, 오버슈트나 링잉 등이 발생하여, 화상이 열화되어 버리는 것이 억제된다.
스텝 S56에서, 선택부(63)는 룩업 테이블(62-1 내지 62-4)이 출력한 추정 파라미터 중에서, 최소의 추정 파라미터를 선택하는 처리를 실행한다. 즉, 룩업 테이블(62-1 내지 62-4)이 출력하는 4개의 추정 파라미터의 대소가 비교되어, 최소의 추정 파라미터(블러링이 가장 적은 파라미터)가 1개 선택되고, 그것이 보정 파라미 터로서 출력된다. 이에 따라, 사용자가 지정한 파라미터 σ가 보정 파라미터로 변환(보정)되게 된다.
이와 같이 하여 생성된 보정 파라미터는 화상의 일부가 블러링되어 있지 않은 부분이, 블러링 보정 처리에 의해 오버슈트나 링잉 등의 열화를 억제 가능한 값으로 설정되어 있다.
도 16은 룩업 테이블(62-1 내지 62-4)의 예를 나타내고 있다. 이들은 모두 동일한 구성으로 되어 있다. 도 16이, 예를 들면, 룩업 테이블(62-1)인 것으로 하면, 동 도면에 나타낸 바와 같이, 룩업 테이블(62-1)은 사용자 인터페이스부(31)에 의해 지정된 파라미터 σ의 값이 한쪽의 축(도 16에서의 세로축)의 어드레스로 되고, 최대값 탐색부(72-1)가 출력하는 특징량의 최대값을 다른 쪽의 축(도 16에서의 가로축)의 어드레스로 하는 테이블이며, 세로축과 가로축으로 지정된 영역에 기억되어 있는 추정 파라미터를 출력한다. 도 16에서, 세로축의 파라미터 σ는 아래로부터 위로 차례로 커지도록 되어 있고, 가로축의 특징량 V는 좌로부터 우로 갈수록 커지도록 되어 있다.
도 16의 프레임(기억 영역을 나타냄) 내에 기억되어 있는 추정 파라미터의 값은 기본적으로는 도 16에서 해칭을 시행하고 있지 않은 영역에 나타내는 바와 같이, 사용자가 지정한 파라미터 σ의 값이 된다. 예를 들면, 세로축의 어드레스로서의 파라미터 σ의 값이 σ60인 프레임에서는, 그 해칭이 시행되고 있지 않은 영역(어드레스로서의 특징량 V의 값이 비교적 작을 경우의 영역)에서, 특징량 V의 값에 관계없이, 그 어드레스로서의 값 σ60과 동일한 값 σ60이 추정 파라미터로서 기억되어 있고, 어드레스로서의 파라미터 σ의 값이 σ80인 프레임에서는, 그 해칭을 시행하고 있지 않은 영역에서, 특징량 V의 값에 관계없이, σ80이 추정 파라미터로서 기억되어 있다.
그러나, 도면 중, 해칭을 시행하고 있는 영역(어드레스로서의 특징량 V의 값이 클 경우의 영역)에서는, 사용자에 의해 지정된 파라미터 σ보다 작은 값 σ70, σ50, σ30 중 어느 하나가 기억되어 있다. 즉, 검출된 최대의 특징량이 사용자에 의해 지정된 파라미터 σ에 대응하는 특징량의 최대값보다 작을 경우에는, 지정된 파라미터 σ의 값이 그대로 추정 파라미터가 되지만, 검출된 최대의 특징량이 지정된 파라미터 σ에 대응하는 특징량의 최대값보다 클 경우, 검출된 특징량보다 값이 큰 특징량이 특징량의 최대값으로서 대응하는 파라미터가 추정 파라미터로서 기억된다.
이 원리(규칙)를 도 17을 참조하여 추가로 설명하면 다음과 같이 된다. 도 17에 나타낸 바와 같이, 파라미터 σ와 특징량 V는 일반적으로, 파라미터 σ의 값이 커질수록, 취할 수 있는 특징량 V의 값이 작아지는 관계에 있는 것이 실험에 의해 확인되고 있다. 즉, 파라미터 σ의 값을 소정값으로 설정한 경우의 화상 특징량 V를 검출하고, 그 수(도수)를 플롯하면, 도 17에 나타낸 바와 같이 되어, 특징량 V의 값이 작은 화소가 많고, 특징량 V가 큰 화소의 수는 차츰 적어져, 소정값( 최대값)보다 큰 특징량 V를 가지는 화소는 거의 없어진다. 환언하면, 화상의 파라미터 σ를 결정하면, 그 화상의 특징량의 최대값이 결정된다. 그리고, 특징량 V의 분포 범위는 파라미터 σ의 값이 클수록 좁아지고, 도수의 최대값은 파라미터 σ의 값이 클수록 커진다(특징량 V와 도수의 특성은 파라미터 σ의 값이 클수록 급준하게 되어, 도수의 최대값도 커지고, 파라미터 σ의 값이 작아질수록 완만하게 되어, 도수의 최대값도 작아진다).
예를 들면, 파라미터 σ의 값이 σ70인 경우, 그 화상이 취할 수 있는 특징량 V의 최대값은 V70인 것으로 한다. 동일하게, 파라미터 σ의 값이 σ50인 경우에 있어서의 특징량의 최대값이 V50이며, 파라미터 σ의 값이 σ30인 경우에 있어서의 특징량의 최대값이 V30인 것으로 한다. 이 경우, 파라미터 σ의 값 σ70이 가장 크고, 값 σ50이 다음으로 크고, 값 σ30이 가장 작은 것으로 하면, 최대값 V30의 값이 가장 크고, 값 V50이 다음으로 크고, 최대값 V70이 가장 작은 것이 된다.
사용자가 지정한 파라미터 σ의 값이 σ70인 경우에 있어서, 처리 대상인 화상 특징량의 최대값이 값 V70(파라미터 σ의 값이 σ70인 경우에 있어서의 특징량 V의 최대값)보다 작을 경우에는, 그와 같은 특징량은 통상 존재할 수 있기 때문에, 블러링 보정 처리를 행해도 오버슈트나 링잉이 발생하지 않는다. 이에 대하여, 그 화상의 특징량의 최대값 V가 값 V70보다 크면, 지정된 파라미터 σ70의 화상 특징량 V로서는, 본래 존재할 수 없는 값이 존재하게 되기 때문에, 그대로 블러링을 보정하는 처리를 행하면, 오버슈트나 링잉이 발생한다. 그래서, 이것을 억제하기 위하여, 이와 같은 경우에는, 지정된 파라미터 σ의 값 σ70을 그것보다 작은 값 σ50으로 강제적으로 변경하도록 한다.
또한, 처리 대상인 화상 특징량의 최대값이 값 V50보다 더욱 클 경우, 파라미터 σ의 값을 σ50으로 변경했다고 해도, 대응하는 최대값 V50보다 큰 특징량이 존재하고 있기 때문에, 오버슈트나 링잉이 발생하게 된다. 그래서, 이 경우에는, 파라미터 σ의 값을 더욱 작은 값 σ30으로 변경시키도록 한다. 그래서, 도 16의 세로축의 파라미터 σ의 값이 σ70인 프레임에 나타낸 바와 같이, 어드레스로서의 특징량 V의 값이 값 V70에 대응하는 영역까지는, 추정 파라미터의 값은 사용자에 의해 지정된 값과 동일한 값 σ70으로 되지만, 특징량 V의 값이 값 V70과 V50 사이의 영역으로서, 도면 중 우측 하강의 해칭을 시행하여 나타낸 영역에서는, 추정 파라미터의 값은 σ50으로 된다. 그리고, 또한 어드레스로서의 특징량 V의 값이 값 V50 내지 V30 사이의 영역으로서, 도면 중 세로 방향의 해칭으로 나타나 있는 영역에서는, 추정 파라미터의 값은 σ30으로 된다.
마찬가지로, 예를 들면, 사용자가 지정한 파라미터 σ의 값이 값 σ90인 경 우에 있어서의, 취할 수 있는 특징량 V의 최대값의 값이 값 V90인 경우에는, 어드레스로서의 특징량 V의 값이 값 V90까지의 도면 중 해칭을 시행하고 있지 않은 영역에서는, 추정 파라미터의 값은 사용자에 의해 지정된 파라미터 σ의 값과 동일한 값 σ90으로 된다. 그리고, 특징량 V의 값이 V90 내지 V70의 영역으로서, 도면 중 좌측 하강의 해칭이 시행되고 있는 영역에서는, 추정 파라미터의 값은 σ70으로 된다. 특징량 V의 값이 V70 내지 V50의 우측 하강의 해칭을 시행하여 나타낸 영역에서는, 추정 파라미터의 값은 σ50으로 되고, 특징량 V의 값이 값 V50 내지 V30의 세로 방향의 해칭을 시행하여 나타낸 영역에서는, 추정 파라미터의 값은 σ30으로 된다.
도 16의 예에서는, 오버슈트 또는 링잉이 발생할 우려가 있는 영역에 있어서의 추정 파라미터의 값을 σ70, σ50, σ30의 3개 중 어느 하나로 하도록 했지만, 보다 많은 수의 추정 파라미터를 미리 준비하는 것도 물론 가능하다.
이 도 16의 실시예에서는, 사용자에 의해 지정 가능한 파라미터 σ의 값은 σ30이 최저로 되어 있다. 따라서, 그보다 작은 파라미터 σ가 설정된 경우의 추정 파라미터는 준비할 필요가 없으므로 기억되어 있지 않다.
도 16에서의 특징량 V80은 사용자가 지정한 파라미터 σ의 값이 σ80인 경우에 있어서, 존재할 수 있는 특징량의 최대값을 나타내고, 특징량 V60은 사용자가 지 정한 파라미터 σ의 값이 σ60인 경우에 있어서, 취할 수 있는 화상의 특징량 V의 최대값을 나타내고, 특징량 V40은 사용자가 지정한 파라미터 σ의 값이 σ40인 경우에 있어서의 특징량 V의 최대값을 의미한다.
그리고, V90＜V80＜V70＜V60＜V50＜V40＜V30의 관계에 있다.
즉, 이 룩업 테이블(62-1 내지 62-4)에 의한 스텝 S55에서의 통계적 데이터를 참조하여, 추정 파라미터를 추정하는 처리는 실질적으로 도 18의 플로차트에 나타내는 처리를 실행하게 된다.
즉, 스텝 S71에서, 룩업 테이블(62-1 내지 62-4)은 사용자 인터페이스부(31)로부터 입력된 파라미터 σ를 취득한다. 스텝 S72에서, 룩업 테이블(62-1 내지 62-4)은 최대값 탐색부(72-1 내지 72-4)로부터 공급되는 특징량의 최대값이, 취득된 파라미터에 대응하는 최대의 특징량보다 큰가를 판정하고, 클 경우에는, 스텝 S74에서, 미리 준비된 값 중, 특징량의 최대값보다 큰 값으로서, 가장 차가 작은 값을 최대의 특징량으로 하는 파라미터의 값을 추정 파라미터로 한다.
예를 들면, 도 19에 나타낸 바와 같이, 지정된 파라미터 σ가 값 σ90인 경우, 처리 대상 화상의 특징량의 최대값 V80이 값 V90보다 클 경우에는, 미리 준비되어 있는 값 V70, V50, V30 중, 최대값 V80보다 큰 값으로서, 가장 차가 작은 값 V70을 최대의 특징량으로 하는 파라미터의 값 σ70이 추정 파라미터로 된다.
또, 예를 들면, 도 20에 나타낸 바와 같이, 지정된 파라미터 σ의 값이 σ70 인 경우에 있어서, 처리 대상 화상의 특징량의 최대값이 값 V70보다 큰 값 V60인 경우에는, 미리 준비되어 있는 값 V70, V50, V30 중, 특징량의 최대값 V60보다 큰 값으로서, 가장 차가 작은 값 V50을 최대의 특징량으로 하는 파라미터 σ50이 추정 파라미터로 된다.
마찬가지로, 도 21에 나타낸 바와 같이, 지정된 파라미터의 값이 σ50인 경우에 있어서, 처리 대상 화상의 특징량의 최대값이 파라미터에 대응하는 최대의 특징량 V50보다 큰 값 V40인 경우에는, 미리 준비된 값 V70, V50, V30 중, 특징량의 최대값 V40보다 큰 값으로서, 가장 차가 작은 값 V30을 최대의 특징량으로 하는 파라미터 σ30의 값이 추정 파라미터로 된다.
이에 대하여, 스텝 S72에서, 특징량의 최대값이, 취득된 파라미터에 대응하는 최대의 특징량과 동일하거나 그보다 작다고 판정된 경우에 있어서는, 스텝 S73에서, 룩업 테이블(62-1 내지 62-4)은 취득된 파라미터를 추정 파라미터로 하는 처리를 행한다. 즉, 이 경우에 있어서는, 스텝 S71에서 취득된 파라미터가 그대로 추정 파라미터로 된다.
이와 같이, 사용자에 의해 지정된 파라미터 σ의 값이 블러링의 보정 처리를 해도, 오버슈트나 링잉이 발생하지 않는 추정 파라미터로 변경된다. 이에 따라, 오버슈트나 링잉의 발생이 방지된다.
그리고, 도 17, 도 19, 도 20, 도 21에서의 도수, 특징량, 파라미터 σ의 값 은 각각의 도면 내에서의 상대적 관계를 나타내도록 나타나 있고, 상이한 도면 사이에서의 상관은 무시되어 있다.
도 22는 도 10의 블러링 보정부(33)의 보다 상세한 구성예를 나타내고 있다. 이 블러링 보정부(33)는 파라미터 취득부(101), 설정부(102), 화소 취득부(103), 차분 절대값 연산부(104), 판정부(105), 판독부(106), 기억부(107), 및 적합계 연산부(108)에 의해 구성되어 있다.
파라미터 취득부(101)는 파라미터 보정부(32)의 선택부(63)로부터 출력된 보정 파라미터를 취득하여, 설정부(102)와 판독부(106)에 공급한다. 설정부(102)는 파라미터 취득부(101)로부터 공급된 보정 파라미터에 따라, 화상 데이터 중 소정 범위의 관찰 영역을 설정한다. 화소 취득부(103)는 입력된 화상 데이터로부터 설정부(102)에 의해 설정된 관찰 영역 내의 화소 데이터를 취득하여, 차분 절대값 연산부(104)와 적합계 연산부(108)에 공급한다.
차분 절대값 연산부(104)는 화소 취득부(103)로부터 공급된 화소의 차분 절대값을 연산한다. 판정부(105)는 차분 절대값 연산부(104)에서 연산된 값을, 미리 설정되어 있는 기준값과 비교한다. 기억부(107)는 전술한 식 (10) 내지 식 (17)을 푸는 것으로 얻어진 식 (19)에 나타나는 계수 Ws -1을 미리 기억하고 있다. 판독부(106)는 판정부(105)의 판정 결과에 따라, 기억부(107)에 기억되어 있는 계수 중에서, 소정 계수를 판독한다. 적합계 연산부(108)는 화소 취득부(103)로부터 공급된 화소 데이터 Ys와, 판독부(106)로부터 공급된 계수 Ws -1에 대하여, 식 (19)에 따라 적합계 연산을 행함으로써, 블러링이 보정된 화상의 화상 데이터를 생성한다.
다음에, 도 23과 도 24의 플로차트를 참조하여, 블러링 보정 처리에 대하여 설명한다. 이 처리는 도 12의 스텝 S32의 처리에 대응한다.
스텝 S101에서, 파라미터 취득부(101)는 도 13의 선택부(63)로부터 출력된 보정 파라미터를 취득하여, 설정부(102)와 판독부(106)에 출력한다. 스텝 S102에서, 설정부(102)는 관찰 영역을 설정하는 처리를 행한다. 구체적으로는, 파라미터 취득부(101)로부터 취득된 보정 파라미터 σ의 3배의 값(3σ)을 반경으로 하는 관찰 영역을 설정한다. 스텝 S103에서, 화소 취득부(103)는 관찰 영역의 화소 데이터를 취득한다. 즉, 입력된 화상 데이터 중에서, 설정부(102)에서 설정된 관찰 영역 내의 화소 데이터를 취득하여, 차분 절대값 연산부(104)와 적합계 연산부(108)에 출력한다.
스텝 S104에서, 차분 절대값 연산부(104)는 주목 화소의 상하 좌우 방향으로 인접하는 화소값의 차분 절대값을 연산한다. 구체적으로는, 전술한 식 (14) 내지 식 (17)의 좌변의 항을 연산한다. 판정부(105)는 스텝 S105에서, 상방향으로 인접하는 화소와의 차분 절대값이 기준값보다 큰지 여부를 판정한다. 즉, 식 (14)의 좌변의 연산 결과가 미리 설정되어 있는 소정 기준값보다 큰지 여부가 판정된다. 차분 절대값이 기준값보다 클 경우에는, 스텝 S106에서, 판정부(105)는 4비트 플래그의 LSB를 1로 설정한다. 차분 절대값이 기준값과 동일하거나 그보다 작다고 판 정된 경우에는, 스텝 S107에서, 판정부(105)는 플래그의 LSB를 0으로 설정한다.
즉, 식 (14)의 좌변의 항의 값이, 기준값보다 크다고 하는 것은 주목 화소의 상방향으로는 에지가 존재하는 것을 의미한다. 따라서, 그 경우에는, 식 (14)에서의 가중 계수 Wa의 값이 0 또는 충분히 작은 값으로 설정된 후에, 예측 계수가 연산되어 있다. 그래서, 이와 같이 하여 생성된 예측 계수를 선택하기 위해, 4비트 플래그의 LSB의 값이 1로 설정된다.
이에 대하여, 차분 절대값이 기준값과 동일하거나 그보다 작을 경우에는, 상방향으로 인접하는 화소 사이에는 에지가 존재하지 않기 때문에, 식 (14)에서의 가중 계수 Wa의 값은 비교적 큰 값으로 설정된 후에, 예측 계수가 연산되어 있다. 그래서, 이 경우에는, 4비트 플래그의 LSB의 값을 0으로 설정함으로써, 상방향으로 인접하는 화소 사이에 에지가 없는 경우에 있어서의 예측 계수가 선택되도록, 플래그의 LSB에 0이 설정된다.
스텝 S108에서, 판정부(105)는 주목 화소의 하방향으로 인접하는 화소와의 차분 절대값이 기준값보다 큰지 여부를 판정한다. 구체적으로는, 식 (16)의 좌변의 값이, 기준값보다 큰지 여부가 판정되고, 클 경우에는, 스텝 S109에서, 판정부(105)는 4비트 플래그의 제2 비트를 1로 설정하고, 동일하거나 그보다 작을 경우에는, 스텝 S110에서, 플래그의 제2 비트를 0으로 설정한다. 즉, 식 (16)의 좌변의 항의 값이 기준값보다 크다고 하는 것은 주목 화소와 하방향으로 인접하는 화소 사이에 에지가 존재하는 것을 의미한다. 그래서, 이 경우, 식 (16)에서의 가중 계수 Wa의 값은 0이거나 충분히 작은 값으로 설정되어 있다. 그래서, 하방향으로 인접하는 화소 사이에 에지가 존재하는 경우에 연산된 예측 계수를 선택할 수 있도록 하기 위해, 플래그의 제2 비트에 1이 설정된다. 역으로, 식 (16)의 좌변의 항의 값이 기준값과 동일하거나 그보다 작을 경우에는, 주목 화소의 하방향으로 인접하는 화소 사이에는, 에지가 존재하지 않게 된다. 그래서, 이 경우에는, 식 (16)에서의 가중 계수 Wa의 값은 비교적 큰 값으로 설정되어 있으므로, 하방향으로 인접하는 화소 사이에, 에지가 존재하지 않는 것을 전제로 하여 계산된 예측 계수를 선택할 수 있도록 하기 위해, 플래그의 제2 비트에 0이 설정된다.
이하, 동일하게 하여, 스텝 S111에서, 판정부(105)는 좌방향으로 인접하는 화소와의 차분 절대값이 기준값보다 큰가를 판정한다. 즉, 식 (17)의 좌변의 값이 기준값보다 큰지 여부가 판정되고, 클 경우에는, 스텝 S112에서, 판정부(105)는 플래그의 제3 비트를 1로 설정하고, 동일하거나 작을 경우에는, 스텝 S113에서 0을 설정한다. 이에 따라, 주목 화소의 좌방향으로 인접하는 화소 사이에, 에지가 존재하는 경우와 존재하지 않는 경우에, 각각을 위해 계산된 예측 계수를 선택할 수 있도록 플래그가 설정된다.
스텝 S114에서는, 판정부(105)는 우방향으로 인접하는 화소와의 차분 절대값이 기준값보다 큰지 여부를 판정한다. 차분 절대값이 기준값보다 클 경우에는, 스텝 S115에서, 판정부(105)는 플래그의 MSB를 1로 설정하고, 동일하거나 작을 경우에는, 스텝 S116에서 0으로 설정한다. 이에 따라, 식 (15)의 좌변에서 나타나는 값이 기준값보다 클 경우(에지가 존재하는 경우)에는, 식 (15)에서의 가중 계수 Wa의 값을 0이거나 충분히 작은 값으로 설정함으로써 연산된 예측 계수를 선택할 수 있게 되고, 역으로, 식 (15)의 좌변에서 나타나는 값이 기준과 동일하거나 그보다 작을 경우(우방향으로 인접하는 화소 사이에 에지가 존재하지 않는 경우)에는, 그것을 전제로 하여 계산된 예측 계수를 선택할 수 있도록 플래그가 설정된다.
스텝 S117에서, 판독부(106)는 플래그와 보정 파라미터에 대응하는 계수를 판독한다. 즉, 이 실시예의 경우, 기억부(107)에는 주목 화소의 상방향으로 인접하는 화소 사이에 에지가 존재하는 경우와 존재하지 않는 경우, 하방향으로 인접하는 화소 사이에 에지가 존재하는 경우와 존재하지 않는 경우, 좌방향으로 인접하는 화소 사이에 에지가 존재하는 경우와 존재하지 않는 경우, 및 우방향으로 인접하는 화소 사이에 에지가 존재하는 경우와 존재하지 않는 경우를 조합한, 합계 16 종류의 예측 계수가 보정 파라미터 σ에 대응하여 기억부(107)에 기억되어 있다. 판독부(106)는 판정부(105)에서 판정된 플래그와, 파라미터 취득부(101)에 의해, 스텝 S101에서 취득된 보정 파라미터 σ에 따라, 16 종류의 예측 계수 중에서, 그 플래그와 보정 파라미터에 대응하는 예측 계수를 판독한다.
스텝 S118에서, 적합계 연산부(108)는 화소값과 계수의 적합계를 연산한다. 구체적으로는, 적합계 연산부(108)는 식 (19)에 따라, 화소 취득부(103)로부터 공급된 화소값과, 판독부(106)로부터 공급된 예측 계수와의 적합계를 연산하여, 화소 데이터를 생성한다. 이 예측 계수는 전술한 바와 같이, 블러링을 보정하는 계수로 되어 있기 때문에, 이 연산에 의해, 블러링이 보정된 화상의 화상 데이터가 생성되게 된다.
도 25 내지 도 27은 블러링이 보정된 화상의 예를 나타내고 있다. 도 25는 보정 전 화상의 예를 나타내며, 이 화상에서는, 배경인 풀에 포커스가 이루어져 있기 때문에, 배경은 선명한 화상으로 되어 있지만, 전경(前景)의 곤충은 블러링된 화상으로 되어 있다.
도 26은 사용자에 의해 지정된 파라미터 σ를 보정하지 않고, 블러링을 보정한 화상의 예를 나타내고 있다. 이 예에서는, 전경 화상의 블러링은 보정되어 있지만, 배경의 화상에 오버슈트 또는 링잉이 발생하여 버린 결과로 되어 있다.
이에 대하여, 도 27은 본 발명에 의해 블러링이 보정된 화상의 예를 나타내고 있다. 동 도면에 나타낸 바와 같이, 본 발명에서는, 전술한 바와 같이, 사용자가 파라미터 σ의 값을 과대하게 설정했다고 해도, 보다 작은 값으로 보정되므로, 배경의 오버슈트나 링잉 등의 열화가 억제되고 있다. 그리고, 물론, 전경 화상의 블러링도 도 25에 나타내는 경우에 비해 충분히 블러링이 보정되어 있다.
도 13의 룩업 테이블(62-1 내지 62-4)은, 예를 들면, 도 28에 나타낸 룩업 테이블 작성 장치(201)에 의해 작성된다. 이 룩업 테이블 작성 장치(201)는 취득부(211), 연산부(212), 설정부(213), 특징량 추출부(214), 도수 검출부(215), 최대값 탐색부(216), 테이블 작성부(217), 및 기억부(218)에 의해 구성되어 있다.
취득부(211)는 학습용 화상 데이터를 취득하여, 연산부(212)에 출력한다. 설정부(213)는 통상 도 1에 나타낸 화상 처리 장치(1)의 메이커인 조작자의 조작에 따라 파라미터 σ를 설정한다. 연산부(212)는 설정부(213)에 의해 설정된 파라미터 σ에 따라, 취득부(211)로부터 공급된 화상 데이터로부터 블러링 화상의 화상 데이터를 생성한다. 구체적으로는, 전술한 식 (1)에 따라, 블러링 화상 데이터가 생성된다. 특징량 추출부(214)는 도 13의 특징량 추출부(71-1 내지 71-4)와 동일한 특징량을 추출한다. 도수 검출부(215)는 특징량 추출부(214)에 의해 추출된 특징량의 도수를 검출한다. 최대값 탐색부(216)는 미리 설정된 임계값 이상의 도수를 가지는 특징량 중의 최대값을 탐색한다.
테이블 작성부(217)는 설정부(213)에 의해 설정된 파라미터 σ의 값과, 최대값 탐색부(216)에 의해 탐색된 최대값에 따라, 추정 파라미터를 설정한다. 기억부(218)는 테이블 작성부(217)에 의해 작성된 테이블을 미리 준비되어 있는 메모리 등에 기억시킨다.
다음에, 도 29의 플로차트를 참조하여, 룩업 테이블 작성 처리에 대하여 설명한다.
스텝 S151에서, 취득부(211)는 학습용 화상 데이터를 취득한다. 이 학습용 화상 데이터로서는, 복수개의, 많은, 여러 가지의 블러링되어 있지 않은 화상의 화상 데이터가 준비되고, 이것이 취득된다. 스텝 S152에서, 설정부(213)는 파라미터 σ를 설정한다. 즉, 설정부(213)는 조작자의 조작에 따른 파라미터 σ의 값을 연산부(212)에 출력한다. 스텝 S153에서, 연산부(212)는 블러링 화상의 화상 데이터를 생성한다. 구체적으로는, 스텝 S152의 설정 처리에서 설정부(213)에 의해 설정된 파라미터 σ의 값을 식 (1)과 식 (2)에 적용하여, 블러링이 없는 화상의 화상 데이터 X(x＋i, y＋j)로부터 블러링 화상의 화상 데이터 Y(x, y)를 생성한다.
스텝 S154에서, 특징량 추출부(214)는 특징량을 추출한다. 즉, 연산부(212)에 의해 연산된 블러링 화상의 화상 데이터로부터, 도 13의 특징량 추출부(71-1 내지 71-4)에서 추출되는 경우와 동일한 특징량이 추출된다.
스텝 S155에서, 도수 검출부(215)는 도수를 검출한다. 즉, 동일한 특징량이 얻어지는 도수가 검출된다. 이에 따라, 예를 들면, 도 30에 나타낸 바와 같은 특징량마다의 도수 분포가 얻어지게 된다. 도 30의 예에서는, 설정부(213)에 의해 설정된 파라미터가 σA인 경우, σB인 경우, 및 σC인 경우에 있어서의 도수 분포의 예가 나타나 있다.
스텝 S156에서, 최대값 탐색부(216)는 파라미터 σ마다의 특징량의 최대값을 탐색한다. 도 30의 예에서는, 설정되어 있는 파라미터의 값이 σA인 경우에는, 특징량의 최대값으로서 VA가, 파라미터가 σB인 경우에는, 특징량의 최대값으로서 VB가, 파라미터가 σC인 경우의 특징량의 최대값으로서 VC가 각각 탐색된다.
그리고, 이 특징량의 최대값은 그 도수가 미리 설정되어 있는 소정 기준값 이상의 도수의 것 중에서 선택하도록 해도 된다. 이에 따라, 노이즈적인 특징량에 따라, 잘못된 보정이 행해지는 것이 억제된다.
스텝 S157에서, 테이블 작성부(217)는 테이블 작성 처리를 실행한다. 그 자세한 것은 도 31의 플로차트를 참조하여 후술하지만, 이 처리에 의해, 룩업 테이블이 작성된다. 스텝 S158에서, 기억부(218)는 스텝 S157의 처리에서 테이블 작성부 (217)에 의해 작성된 테이블을 기억한다. 즉, 기억부(218)는 미리 준비된 메모리에 룩업 테이블을 기록한다. 이 룩업 테이블이 전술한 도 13의 파라미터 보정부(32)의 룩업 테이블(62-1 내지 62-4)로서 사용된다.
다음에, 도 31의 플로차트를 참조하여, 도 29의 스텝 S157에서의 테이블 작성 처리에 대하여 설명한다.
스텝 S181에서, 테이블 작성부(217)는 어드레스로서의 특징량이 스텝 S152에서 설정된 파라미터에 대응하는 특징량의 최대값보다 큰 영역인지 여부를 판정한다. 어드레스로서의 특징량이 설정된 파라미터에 대응하는 특징량의 최대값과 동일하거나, 그보다 작은 영역인 경우에는, 스텝 S182에서, 테이블 작성부(217)는 설정된 파라미터의 값을 그대로 그 영역에 기록하는 처리를 실행한다.
예를 들면, 지금 설정되어 있는 파라미터가 도 16의 파라미터 σ70이며, 어드레스로서의 특징량(도 16의 가로축에 나타낸 특징량)의 값이, 예를 들면, V80인 경우, 값 V80은 파라미터 σ70에 대응하는 특징량의 최대값 V70보다 작다(V80＜V70). 그래서, 이 경우, 도 16에서의 파라미터 σ70의 프레임 중에는, 파라미터의 값 σ70이 그대로 기록된다.
이에 대하여, 스텝 S181에서, 어드레스로서의 특징량이, 설정된 파라미터에 대응하는 특징량의 최대값보다 크다고 판정된 경우, 스텝 S183에서, 테이블 작성부(217)는 미리 준비되어 있는 추정 파라미터 중, 어드레스로서의 특징량을 보다 크게, 또한 어드레스로서의 특징량에 가장 가까운 값을 최대의 특징량으로 하는 파라 미터를 기록한다. 예를 들면, 도 16의 예에서는, 미리 준비되어 있는 추정 파라미터로서는, σ70, σ50, σ30의 3개가 있다. 이들 파라미터에 대응하는 특징량의 최대값은 도 17에 나타낸 바와 같이, 각각, V70, V50, V30이다.
어드레스로서의 특징량의 값이, 예를 들면, V60인 경우, 이 값 V60은 파라미터 σ70이 대응하는 최대값 V70보다 크다. 따라서, 스텝 S181의 처리에서 YES로 판정된다. 어드레스로서의 특징량 V60보다 크게, 또한 이 값 V60에 가장 가까운 미리 준비된 파라미터가 대응하는 최대값 V50을 최대의 특징량으로 하는 파라미터는 파라미터 σ50이다(파라미터 σ70에 대응하는 최대값 V70은 어드레스로서의 V60보다 작고, 또 파라미터 σ30에 대응하는 최대값 V30은 파라미터 σ50이 대응하는 최대값 V50으로부터 떨어져 있다). 그래서, 이 경우에는, 어드레스로서의 특징량 V60의 영역에는, 파라미터 σ50이 기록된다.
파라미터 σ의 값이 σ70이며, 어드레스로서의 특징량이 V70인 경우에는, 어드레스로서의 특징량 V40보다 크게, 또한 어드레스로서의 특징량 V40에 가장 가까운 값을 최대의 특징량으로 하는 파라미터는 값 V30을 최대의 특징량으로 하는 파라미터 σ30이다. 그래서, 어드레스로서의 특징량 V40에 대응하는 영역에는, 파라미터 σ30이 기록된다.
이상과 같이 하여, 도 16에 나타낸 룩업 테이블이 작성된다.
그리고, 이상에서는, 포커스 블러링을 보정하는 경우의 예를 설명했지만, 본 발명은 모션 블러링을 보정하는 경우에도 적용할 수 있다.
모션 블러링을 보정하는 경우의 처리와 그것을 실행하는 기능 블록은 기본적으로 포커스 블러링을 보정하는 경우와 동일하지만, 포커스 블러링을 보정하는 경우의 도 14의 파라미터 보정 처리는 모션 블러링을 보정하는 경우, 도 32에 나타낸 바와 같이 된다.
스텝 S211에서, 사용자 인터페이스부(31)는 모션 블러링의 방향과 크기를 취득한다. 즉, 사용자는 표시 디바이스(12)에 표시되어 있는 화상을 보면서 모션 블러링의 방향(모션 블러링의 보정을 행하는 방향)과 크기를 입력한다. 이 입력은, 예를 들면, 사용자 인터페이스부(31)의 손잡이(51)나 마우스 등을 조작함으로써 행해지도록 할 수 있다. 이 경우, 예를 들면 도 33에 나타낸 바와 같이, 보정 대상인 화상에 중첩하여, 방향을 나타내는 커서(311)을 표시 디바이스(12)에 표시시키고, 이 커서(311)를 사용자가 조작한 손잡이(51)의 회전량과 방향에 따라 회전시켜, 최종적으로 커서(311)가 지향하는 방향이 모션 블러링의 처리를 행하는 방향으로서 취득된다. 또는, 미리 준비되어 있는 상하 좌우, 우측 상, 우측 하, 좌측 상, 좌측 하의 8개 방향(물론, 그 이상의 수의 방향이라도 됨)으로부터, 사용자에 의해 선택된 1개의 방향을 모션 블러링의 처리를 행하는 방향으로서 취득하도록 해도 된다. 또, 크기를 입력하기 위해, 손잡이(51)와는 다른 손잡이를 설치할 수 있다. 또는, 키보드에 의해 크기의 값을 입력시키거나, 마우스로 드래그시켜, 그 길 이(거리)로 입력시켜도 된다.
스텝 S212에서, 사용자 인터페이스부(31)는 모션 블러링을 보정하는 파라미터를 취득한다. 예를 들면, 일본국 특개 2001-250119호 공보에 개시되어 있는 바와 같이, 모션 블러링은 이동하는 물체(오브젝트)의 움직임에 대응하는 수의 화소값 합계를 연산함으로써 모델화할 수 있다. 그래서, 이 연산 대상으로 하는 화소의 수를 파라미터 P로 제어함으로써, 모션 블러링을 조정할 수 있다. 사용자 인터페이스부(31)는 사용자가 입력한 이 파라미터 P의 값을 취득한다. 즉, 사용자에 의해 입력된 모션 블러링의 크기가 이 파라미터 P에 대응한다. 취득된 파라미터 P는 스텝 S211에서 취득된 방향과 함께, 특징량 추출부(71-1 내지 71-4)와 룩업 테이블(62-1 내지 62-4)에 공급된다.
스텝 S213에서, 특징량 추출부(71-1 내지 71-4)는 관찰 영역을 설정한다. 즉, 특징량 추출부(71-1 내지 71-4)는 먼저 스텝 S212의 처리에서 취득된 파라미터 P에 대응하는 영역을 관찰 영역으로서 설정한다. 구체적으로는, 취득된 방향과 일치하는 방향(완전하게 일치하는 방향은 물론, 약간 어긋나 있어도, 그 차가 임계값 이하인 방향을 포함함)이 취득된 파라미터 P에 대응하는 범위의 영역이 관찰 영역으로 된다.
예를 들면, 도 33에 나타낸 바와 같이, 이동하는 오브젝트(301)의 모션 블러링을 보정하는 경우에 있어서, 취득된 방향과 일치하는 방향의 모션 벡터가 화살표(302)일 때, 주목 화소를 포함하는 화소(303) 중, 파라미터 P에 대응하는 수의 화소가 관찰 영역으로서 설정된다.
다음에, 스텝 S214에서, 특징량 추출부(71-1 내지 71-4)는 특징량을 추출한다. 전술한 바와 같이, 특징량 추출부(71-1 내지 71-4)는 각각 자기 자신에게 할당된 다른 것과는 상이한 특징량을 추출한다. 이 처리는 도 14의 스텝 S53의 처리와 동일한 처리이다.
스텝 S215에서, 최대값 탐색부(72-1 내지 72-4)는 최대값(블러링이 가장 적은 특징량)을 탐색한다. 특징량 추출부(71-1)가 1차 미분값을 특징량으로서 추출하고, 특징량 추출부(71-2)가 2차 미분값을 특징량으로서 추출하고, 특징량 추출부(71-3)가 다이내믹 레인지를 특징량으로서 추출하고, 특징량 추출부(71-4)가 분산을 특징량으로서 추출하는 것으로 하면, 최대값 탐색부(72-1)는 특징량 추출부(71-1)가 추출한 관찰 영역 내 화소의 1차 미분값의 최대값을 탐색한다. 최대값 탐색부(72-2)는 특징량 추출부(71-2)가 추출한 관찰 영역 내 화소의 2차 미분값의 최대값을 탐색한다. 최대값 탐색부(72-3)는 특징량 추출부(71-3)가 추출한 관찰 영역 내 화소의 다이내믹 레인지의 최대값을 탐색한다. 최대값 탐색부(72-4)는 특징량 추출부(71-4)가 추출한 관찰 영역 내 화소의 분산을 탐색한다.
스텝 S216에서, 룩업 테이블(62-1 내지 62-4)은 통계적 데이터를 참조하여 추정 파라미터를 추정한다. 즉, 룩업 테이블(62-1 내지 62-4)은 테이블을 가지고 있다. 도 34는 이 테이블의 예를 나타내고 있다. 도 34의 테이블은 세로축의 파라미터의 값이, 도 16에서는, 파라미터 σ인 것이 도 34에서는, 파라미터 P로 되어 있는 점이 상이할 뿐이며, 그 외는 기본적으로 도 16에 나타나 있는 테이블과 동일한 테이블이다. 룩업 테이블(62-1 내지 62-4)은 각각의 테이블에 따라, 취득된 파 라미터 P를 추정 파라미터로 변환한다. 그 기본적인 처리는 도 14의 스텝 S55에서의 경우와 동일하다. 즉, 사용자가 지정한 파라미터 P는 그 값에 대응하는 특징량의 최대값이, 최대값 탐색부(72-1 내지 72-4)에서 탐색된 최대값보다 작을 경우에는, 최대값 탐색부(72-1 내지 72-4)에서 탐색된 최대값보다 큰 값의 최대값이 대응하는 추정 파라미터로 변경된다.
스텝 S217에서, 선택부(63)는 룩업 테이블(62-1 내지 62-4)이 출력한 추정 파라미터 중에서, 최소의 추정 파라미터를 선택하는 처리를 실행한다. 즉, 룩업 테이블(62-1 내지 62-4)이 출력하는 4개의 추정 파라미터의 대소가 비교되어, 최소의 추정 파라미터(모션 블러링이 가장 적은 파라미터)가 1개 선택되고, 그것이 보정 파라미터로서 출력된다. 이에 따라, 사용자가 지정한 파라미터 P가 보정 파라미터로 변환(보정)되게 된다.
모션 블러링을 보정하는 경우에 있어서의 그 밖의 처리는 포커스 블러링을 보정하는 경우와 기본적으로 동일하기 때문에 그 설명은 생략한다.
이상에서는, 파라미터 σ 또는 파라미터 P를 룩업 테이블에 따라 보정하도록 했지만, 그 때마다 연산하도록 해도 되는 것은 물론이다.
전술한 일련의 처리는 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 이 경우, 예를 들면, 화상 처리 장치는 도 35에 나타낸 바와 같은 퍼스널 컴퓨터(420)에 의해 구성된다.
도 35에서, CPU(Central Processing Unit)(421)는 ROM(Read Only Memory)(422)에 기억되어 있는 프로그램, 또는 기억부(428)로부터 RAM(Random Access Memory)(423)에 로드된 프로그램에 따라 각종 처리를 실행한다. RAM(423)에는 또, CPU(421)가 각종 처리를 실행하는 데 있어서 필요한 데이터 등도 적당히 기억된다.
CPU(421), ROM(422), 및 RAM(423)은 버스(424)를 통해 서로 접속되어 있다. 이 버스(424)에는 또, 입출력 인터페이스(425)도 접속되어 있다.
입출력 인터페이스(425)에는, 키보드, 마우스 등으로 이루어지는 입력부(426), CRT(Cathode Ray Tube), LCD(Liquid Crystal display) 등으로 이루어지는 디스플레이, 및 스피커 등으로 이루어지는 출력부(427), 하드 디스크 등으로 구성되는 기억부(428), 모뎀 등으로 구성되는 통신부(429)가 접속되어 있다. 통신부(429)는 인터넷을 포함하는 네트워크를 통한 통신 처리를 행한다.
입출력 인터페이스(425)에는, 또, 필요에 따라 드라이브(430)가 접속되고, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 착탈 가능 미디어(431)가 적당히 장착되고, 이들로부터 판독된 컴퓨터 프로그램이 필요에 따라 기억부(428)에 인스톨된다.
일련의 처리를 소프트 웨어에 의해 실행시키는 경우에는, 그 소프트 웨어를 구성하는 프로그램이 전용 하드웨어에 내장되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에 네트워크나 기록 매체로부터 인스톨된다.
이 기록 매체는 도 35에 나타낸 바와 같이, 장치 본체와는 별도로, 사용자에게 프로그램을 제공하기 위해 배포되는 프로그램이 기록되어 있는 자기 디스크(플 로피 디스크를 포함함), 광 디스크(CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk)를 포함함), 광자기 디스크(MD(Mini-Disk)를 포함함), 또는 반도체 메모리 등으로 이루어지는 착탈 가능 미디어(431)에 의해 구성될 뿐만 아니라, 장치 본체에 미리 내장된 상태에서 사용자에게 제공되는, 프로그램이 기록되어 있는 ROM(422)이나, 기억부(428)에 포함되는 하드 디스크 등으로 구성된다.
그리고, 본 명세서에서, 기록 매체에 기록되는 프로그램을 기술하는 스텝은 기재된 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.
또, 본 명세서에서, 시스템이란 복수개의 장치에 의해 구성되는 장치 전체를 나타내는 것이다.
본 발명의 제1 측면에 의하면, 화상의 블러링을 보정할 수 있다. 특히, 본 발명에 의하면, 사용자에게 특별한 부하를 강요하지 않고, 간단하게 화상의 블러링을 보정하는 것이 가능해진다.
본 발명의 제2 측면에 의하면, 화상을 보정하기 위한 파라미터를 기술한 테이블을 작성할 수 있다. 특히, 사용자에게 부담을 주지 않고, 간단하게 화상의 블러링을 보정하는 것이 가능한 보정 파라미터를 기술한 테이블을 작성하는 것이 가능해진다.
본 발명은 예를 들면, 디지털 카메라에 적용하는 것이 가능하다.

Claims (20)

  1. 보정 대상인 화상의 블러링(blurring) 보정에 관한 파라미터를 취득하는 파라미터 취득 수단과,
    상기 보정 대상인 화상의 특징량을 검출하는 특징량 검출 수단과,
    상기 특징량에 따라 상기 파라미터를 보정하여 보정 파라미터를 생성하는 파라미터 생성 수단과,
    상기 보정 파라미터에 따라 상기 보정 대상인 화상의 블러링을 보정하는 블러링 보정 수단
    을 구비하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 파라미터 생성 수단은, 상기 보정 대상인 화상의 상기 특징량의 최대값으로서의 제1 특징량이, 취득된 상기 파라미터에 대응하는 최대의 상기 특징량으로서의 제2 특징량보다 작을 경우, 취득된 상기 파라미터를 그대로 상기 보정 파라미터로 하고, 클 경우, 상기 제1 특징량보다 큰 특징량으로서의 제3 특징량이 최대의 특징량으로서 대응하는 상기 파라미터를 상기 보정 파라미터로 하는 것을 특징으로 하는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 특징량 검출 수단은, 상기 특징량으로서 상기 보정 대상인 화상의 액티비티를 검출하는 것을 특징으로 하는 화상 처리 장치.
  4. 제3항에 있어서,
    상기 특징량 검출 수단은, 상기 액티비티(activity)로서 상기 보정 대상인 화상의 화소값의 1차 미분값, 2차 미분값, 다이내믹 레인지(dynamic range), 또는 분산을 검출하는 것을 특징으로 하는 화상 처리 장치.
  5. 제1항에 있어서,
    상기 특징량 검출 수단은 복수개의 상기 특징량을 검출하고,
    상기 파라미터 생성 수단은 복수개의 상기 특징량에 대응하는 복수개의 상기 보정 파라미터를 생성하고,
    상기 화상 처리 장치는 복수개의 상기 보정 파라미터로부터 최소의 것을 선택하는 보정 파라미터 선택 수단을 추가로 구비하고,
    상기 블러링 보정 수단은 선택된 상기 보정 파라미터에 따라 상기 보정 대상인 화상의 블러링을 보정하는 것을 특징으로 하는 화상 처리 장치.
  6. 제1항에 있어서,
    상기 특징량 검출 수단은, 상기 특징량으로서 상기 보정 대상인 화상의 일부 영역 내의 복수개 화소의 상기 특징량 중 최대값을 검출하는 것을 특징으로 하는 화상 처리 장치.
  7. 제6항에 있어서,
    상기 블러링 보정 수단은 상기 보정 대상인 화상의 일부 영역을, 취득된 상기 파라미터의 값에 따른 크기로 설정하는 것을 특징으로 하는 화상 처리 장치.
  8. 제1항에 있어서,
    상기 블러링 보정 수단은 인접하는 화소의 화소값의 차분(差分)을 이용하여, 상기 보정 대상인 화상의 블러링을 보정하는 연산을 행하는 것을 특징으로 하는 화상 처리 장치.
  9. 제8항에 있어서,
    상기 블러링 보정 수단은, 상기 차분을 기준값과 비교하여 에지의 방향을 판정하고, 상기 에지가 존재하는 방향의 상기 차분은, 상기 에지가 존재하지 않는 방향의 차분에 비해, 이용하는 비율을 적게 하는 것을 특징으로 하는 화상 처리 장치.
  10. 제1항에 있어서,
    상기 보정 대상인 화상의 블러링은 포커스 블러링인 것을 특징으로 하는 화상 처리 장치.
  11. 제1항에 있어서,
    상기 보정 대상인 화상의 블러링은 모션 블러링인 것을 특징으로 하는 화상 처리 장치.
  12. 보정 대상인 화상의 블러링 보정에 관한 파라미터를 취득하는 파라미터 취득 스텝과,
    상기 보정 대상인 화상의 특징량을 검출하는 특징량 검출 스텝과,
    상기 특징량에 따라 상기 파라미터를 보정하여 보정 파라미터를 생성하는 파라미터 생성 스텝과,
    상기 보정 파라미터에 따라 상기 보정 대상인 화상의 블러링을 보정하는 블러링 보정 스텝
    을 포함하는 화상 처리 방법.
  13. 보정 대상인 화상의 블러링 보정에 관한 파라미터를 취득하는 파라미터 취득 스텝과,
    상기 보정 대상인 화상의 특징량을 검출하는 특징량 검출 스텝과,
    상기 특징량에 따라 상기 파라미터를 보정하여 보정 파라미터를 생성하는 파라미터 생성 스텝과,
    상기 보정 파라미터에 따라 상기 보정 대상인 화상의 블러링을 보정하는 블 러링 보정 스텝
    을 포함하는, 컴퓨터가 판독할 수 있는 프로그램이 기록되어 있는 기록 매체.
  14. 보정 대상인 화상의 블러링 보정에 관한 파라미터를 취득하는 파라미터 취득 스텝과,
    상기 보정 대상인 화상의 특징량을 검출하는 특징량 검출 스텝과,
    상기 특징량에 따라 상기 파라미터를 보정하여 보정 파라미터를 생성하는 파라미터 생성 스텝과,
    상기 보정 파라미터에 따라 상기 보정 대상인 화상의 블러링을 보정하는 블러링 보정 스텝
    을 컴퓨터에 실행시키는 프로그램.
  15. 학습용 화상 데이터를 취득하는 취득 수단과,
    화상에 블러링을 발생하기 위한 파라미터를 설정하는 설정 수단과,
    취득된 상기 화상 데이터에 상기 파라미터를 포함하는 함수를 적용하여 블러링이 발생한 화상의 화상 데이터를 생성하는 생성 수단과,
    생성된 상기 화상 데이터의 화상 특징량을 검출하는 특징량 검출 수단과,
    설정된 상기 파라미터에 대응하는 블러링이 발생한 화상의 상기 특징량의 최대값을 검출하는 최대값 검출 수단과,
    지정 파라미터와 지정 특징량이 지정되었을 때, 상기 지정 파라미터와 상기 지정 특징량에 대응하는 보정 파라미터를 판독하는 테이블로서, 상기 지정 특징량이 상기 지정 파라미터에 대응하는 상기 특징량의 최대값보다 작을 경우, 상기 지정 파라미터를 상기 보정 파라미터로 하고, 클 경우, 상기 지정 특징량보다 값이 큰 특징량이 상기 특징량의 최대값으로서 대응하는 상기 파라미터를 상기 보정 파라미터로 하는 상기 테이블을 작성하는 작성 수단
    을 구비하는 화상 처리 장치.
  16. 제15항에 있어서,
    상기 특징량의 도수(度數)를 검출하는 도수 검출 수단을 추가로 구비하고,
    상기 최대값 검출 수단은 검출된 도수가 미리 정해져 있는 임계값보다 큰 상기 특징량 중에서 상기 특징량의 최대값을 검출하는 것을 특징으로 하는 화상 처리 장치.
  17. 제15항에 있어서,
    상기 지정 특징량이 상기 지정 파라미터와 동일 크기의 상기 파라미터에 대응하는 상기 특징량의 최대값을 넘지 않는 경우에는, 상기 지정 파라미터를 상기 보정 파라미터로 하고, 상기 지정 특징량이 상기 지정 파라미터와 동일 크기의 상기 파라미터에 대응하는 상기 특징량의 최대값을 초과하는 경우에는, 상기 지정 특징량보다 값이 큰 특징량이 상기 특징량의 최대값으로서 대응하는 상기 지정 파라 미터를 상기 보정 파라미터로 하는 것을 특징으로 하는 화상 처리 장치.
  18. 학습용 화상 데이터를 취득하는 취득 스텝과,
    화상에 블러링을 발생하기 위한 파라미터를 설정하는 설정 스텝과,
    취득된 상기 화상 데이터에 상기 파라미터를 포함하는 함수를 적용하여 블러링이 발생한 화상의 화상 데이터를 생성하는 생성 스텝과,
    생성된 상기 화상 데이터의 화상 특징량을 검출하는 특징량 검출 스텝과,
    설정된 상기 파라미터에 대응하는 블러링이 발생한 화상의 상기 특징량의 최대값을 검출하는 최대값 검출 스텝과,
    지정 파라미터와 지정 특징량이 지정되었을 때, 상기 지정 파라미터와 상기 지정 특징량에 대응하는 보정 파라미터를 판독하는 테이블로서, 상기 지정 특징량이 상기 지정 파라미터에 대응하는 상기 특징량의 최대값보다 작을 경우, 상기 지정 파라미터를 상기 보정 파라미터로 하고, 클 경우, 상기 지정 특징량보다 값이 큰 특징량이 상기 특징량의 최대값으로서 대응하는 상기 파라미터를 상기 보정 파라미터로 하는 상기 테이블을 작성하는 작성 스텝
    을 포함하는 화상 처리 방법.
  19. 학습용 화상 데이터를 취득하는 취득 스텝과,
    화상에 블러링을 발생하기 위한 파라미터를 설정하는 설정 스텝과,
    취득된 상기 화상 데이터에 상기 파라미터를 포함하는 함수를 적용하여 블러 링이 발생한 화상의 화상 데이터를 생성하는 생성 스텝과,
    생성된 상기 화상 데이터의 화상 특징량을 검출하는 특징량 검출 스텝과,
    설정된 상기 파라미터에 대응하는 블러링이 발생한 화상의 상기 특징량의 최대값을 검출하는 최대값 검출 스텝과,
    지정 파라미터와 지정 특징량이 지정되었을 때, 상기 지정 파라미터와 상기 지정 특징량에 대응하는 보정 파라미터를 판독하는 테이블로서, 상기 지정 특징량이 상기 지정 파라미터에 대응하는 상기 특징량의 최대값보다 작을 경우, 상기 지정 파라미터를 상기 보정 파라미터로 하고, 클 경우, 상기 지정 특징량보다 값이 큰 특징량이 상기 특징량의 최대값으로서 대응하는 상기 파라미터를 상기 보정 파라미터로 하는 상기 테이블을 작성하는 작성 스텝
    을 포함하는, 컴퓨터가 판독할 수 있는 프로그램이 기록되어 있는 기록 매체.
  20. 학습용 화상 데이터를 취득하는 취득 스텝과,
    화상에 블러링을 발생하기 위한 파라미터를 설정하는 설정 스텝과,
    취득된 상기 화상 데이터에 상기 파라미터를 포함하는 함수를 적용하여 블러링이 발생한 화상의 화상 데이터를 생성하는 생성 스텝과,
    생성된 상기 화상 데이터의 화상 특징량을 검출하는 특징량 검출 스텝과,
    설정된 상기 파라미터에 대응하는 블러링이 발생한 화상의 상기 특징량의 최대값을 검출하는 최대값 검출 스텝과,
    지정 파라미터와 지정 특징량이 지정되었을 때, 상기 지정 파라미터와 상기 지정 특징량에 대응하는 보정 파라미터를 판독하는 테이블로서, 상기 지정 특징량이 상기 지정 파라미터에 대응하는 상기 특징량의 최대값보다 작을 경우, 상기 지정 파라미터를 상기 보정 파라미터로 하고, 클 경우, 상기 지정 특징량보다 값이 큰 특징량이 상기 특징량의 최대값으로서 대응하는 상기 파라미터를 상기 보정 파라미터로 하는 상기 테이블을 작성하는 작성 스텝
    을 컴퓨터에 실행시키는 프로그램.
KR1020050049899A 2004-06-10 2005-06-10 화상 처리 장치 및 방법, 기록 매체 KR101117146B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004173086 2004-06-10
JPJP-P-2004-00173086 2004-06-10

Publications (2)

Publication Number Publication Date
KR20060046418A true KR20060046418A (ko) 2006-05-17
KR101117146B1 KR101117146B1 (ko) 2012-03-07

Family

ID=34979298

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050049899A KR101117146B1 (ko) 2004-06-10 2005-06-10 화상 처리 장치 및 방법, 기록 매체

Country Status (4)

Country Link
US (2) US7792380B2 (ko)
EP (1) EP1605402A2 (ko)
KR (1) KR101117146B1 (ko)
CN (1) CN100399355C (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100828194B1 (ko) * 2006-11-16 2008-05-08 주식회사 윤텔 디지털 화상의 경계 흐림을 판단하는 장치와 방법 및 이를이용한 이미지 처리 시스템
KR100860967B1 (ko) * 2007-04-16 2008-09-30 삼성전자주식회사 영상의 모션 블러를 제거하기 위한 장치 및 방법
KR100954776B1 (ko) * 2008-01-03 2010-04-28 상명대학교 산학협력단 지정맥을 이용한 생체 인식 방법
KR101140414B1 (ko) * 2010-02-22 2012-05-03 한국외국어대학교 연구산학협력단 디블러링 지원 디지털 촬영 장치 및 그 방법
KR101341098B1 (ko) * 2007-10-16 2013-12-13 삼성전기주식회사 영상 복원을 위한 장치 및 방법

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7639889B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US8264576B2 (en) 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US9160897B2 (en) 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US8417055B2 (en) 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US7636486B2 (en) 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US8199222B2 (en) 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
JP4196274B2 (ja) * 2003-08-11 2008-12-17 ソニー株式会社 画像信号処理装置および方法、プログラム、並びに記録媒体
US7639888B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
FR2893810B1 (fr) * 2005-11-23 2008-02-01 Ercom Engineering Reseaux Comm Procede de test de reseau de communication par l'intermediaire d'un terminal
IES20070229A2 (en) 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US20080137978A1 (en) * 2006-12-07 2008-06-12 Guoyi Fu Method And Apparatus For Reducing Motion Blur In An Image
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
JP4924228B2 (ja) 2007-06-19 2012-04-25 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
CN101601279B (zh) * 2007-08-03 2011-11-16 松下电器产业株式会社 摄像装置以及摄像方法
US20090196524A1 (en) * 2008-02-05 2009-08-06 Dts Digital Images, Inc. System and method for sharpening of digital images
JP5487610B2 (ja) * 2008-12-18 2014-05-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2010257196A (ja) * 2009-04-24 2010-11-11 Renesas Electronics Corp 画像処理装置及び画像処理方法
KR20110135720A (ko) * 2010-06-11 2011-12-19 삼성전자주식회사 촬영 환경에 따른 렌즈 쉐이딩 보상 테이블을 생성하기 위한 장치 및 방법
CN103369227A (zh) * 2012-03-26 2013-10-23 联想(北京)有限公司 一种运动对象的拍照方法及电子设备
CN105303508B (zh) * 2014-07-04 2019-06-14 腾讯科技（深圳）有限公司 图片处理方法及装置
US10775996B2 (en) * 2014-11-26 2020-09-15 Snap Inc. Hybridization of voice notes and calling
KR102521656B1 (ko) 2018-01-03 2023-04-13 삼성전자주식회사 객체를 인식하는 방법 및 장치
JP7327917B2 (ja) * 2018-09-14 2023-08-16 キヤノン株式会社 画像処理装置及び画像処理方法
EP4024115A4 (en) * 2019-10-17 2022-11-02 Sony Group Corporation SURGICAL INFORMATION PROCESSING DEVICE, SURGICAL INFORMATION PROCESSING METHOD AND SURGICAL INFORMATION PROCESSING PROGRAM

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3258122B2 (ja) * 1993-03-31 2002-02-18 株式会社東芝 画像処理装置
JPH07121703A (ja) * 1993-10-22 1995-05-12 Canon Inc 画像処理方法
JPH11284944A (ja) * 1998-03-31 1999-10-15 Canon Inc 画像処理方法及び装置
JP3425366B2 (ja) * 1998-06-30 2003-07-14 シャープ株式会社 画像補正装置
JP2000057339A (ja) 1998-08-04 2000-02-25 Canon Inc 画像処理方法及び装置
JP4221534B2 (ja) * 1999-02-19 2009-02-12 日本ケミコン株式会社 ２値画像の特徴量抽出方法
US7016080B2 (en) * 2000-09-21 2006-03-21 Eastman Kodak Company Method and system for improving scanned image detail
JP2002158919A (ja) * 2000-11-17 2002-05-31 Minolta Co Ltd 撮像装置及び画像取得ステップ
WO2002051124A2 (en) * 2000-12-19 2002-06-27 Pulsent Corporation Deblurring and re-blurring image segments
JP4596219B2 (ja) * 2001-06-25 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP2003296711A (ja) * 2002-03-29 2003-10-17 Nec Corp 顔画像識別方法、装置およびプログラム
JP4647183B2 (ja) * 2002-12-25 2011-03-09 株式会社ニコン ブレ補正カメラシステム、画像回復装置及びブレ補正プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100828194B1 (ko) * 2006-11-16 2008-05-08 주식회사 윤텔 디지털 화상의 경계 흐림을 판단하는 장치와 방법 및 이를이용한 이미지 처리 시스템
KR100860967B1 (ko) * 2007-04-16 2008-09-30 삼성전자주식회사 영상의 모션 블러를 제거하기 위한 장치 및 방법
KR101341098B1 (ko) * 2007-10-16 2013-12-13 삼성전기주식회사 영상 복원을 위한 장치 및 방법
KR100954776B1 (ko) * 2008-01-03 2010-04-28 상명대학교 산학협력단 지정맥을 이용한 생체 인식 방법
KR101140414B1 (ko) * 2010-02-22 2012-05-03 한국외국어대학교 연구산학협력단 디블러링 지원 디지털 촬영 장치 및 그 방법

Also Published As

Publication number Publication date
US20080144957A1 (en) 2008-06-19
CN100399355C (zh) 2008-07-02
EP1605402A2 (en) 2005-12-14
US20050281477A1 (en) 2005-12-22
US7792380B2 (en) 2010-09-07
CN1707521A (zh) 2005-12-14
KR101117146B1 (ko) 2012-03-07
US7613354B2 (en) 2009-11-03

Similar Documents

Publication Publication Date Title
KR101117146B1 (ko) 화상 처리 장치 및 방법, 기록 매체
US10388018B2 (en) Image processing apparatus, image processing method, and storage medium
US7542600B2 (en) Video image quality
JP2808773B2 (ja) 階調変換自動化装置
Sim et al. MaD-DLS: mean and deviation of deep and local similarity for image quality assessment
US20080232707A1 (en) Motion blurred image restoring method
KR101821285B1 (ko) 열화상 이미지 개선 장치 및 방법
US10692215B2 (en) Image processing apparatus, image processing method, and storage medium
EP1887514B1 (en) Signal processing device
JP6128987B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR101038690B1 (ko) 화상 신호 처리 장치 및 방법, 및 기록 매체
Rahman et al. Efficient contrast adjustment and fusion method for underexposed images in industrial cyber-physical systems
JP4872508B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP4779449B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP5660300B2 (ja) 画像処理装置
CN115797186A (zh) 一种图像修复方法、装置、电子设备及存储介质
JP2010273764A (ja) 画像処理装置及び方法
JP6375778B2 (ja) 画像処理方法および画像処理装置
CN111784733A (zh) 图像处理方法、装置、终端和计算机可读存储介质
JP2016162421A (ja) 情報処理装置、情報処理方法、およびプログラム
JP4645918B2 (ja) 画像信号処理装置および方法
JP7147878B2 (ja) 画像処理装置
JP7225316B2 (ja) 画像処理方法、画像処理装置、画像処理システム、およびプログラム
SINGH Some Studies on Image Enhancement and Filtering
JP2012064001A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee