KR20180060989A - 화상 처리 장치, 화상 처리 방법 및 화상 처리 방법이 기록된 컴퓨터 판독가능 기록 매체 - Google Patents

화상 처리 장치, 화상 처리 방법 및 화상 처리 방법이 기록된 컴퓨터 판독가능 기록 매체 Download PDF

Info

Publication number
KR20180060989A
KR20180060989A KR1020170153968A KR20170153968A KR20180060989A KR 20180060989 A KR20180060989 A KR 20180060989A KR 1020170153968 A KR1020170153968 A KR 1020170153968A KR 20170153968 A KR20170153968 A KR 20170153968A KR 20180060989 A KR20180060989 A KR 20180060989A
Authority
KR
South Korea
Prior art keywords
reflection component
image
diffuse reflection
specular reflection
pixel
Prior art date
Application number
KR1020170153968A
Other languages
English (en)
Other versions
KR102342283B1 (ko
Inventor
타카히사 야마모토
료타 카와우치
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017171392A external-priority patent/JP2018092597A/ja
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2017/013596 priority Critical patent/WO2018097677A1/en
Priority to EP17874192.2A priority patent/EP3488412B1/en
Priority to US15/824,487 priority patent/US10497106B2/en
Publication of KR20180060989A publication Critical patent/KR20180060989A/ko
Application granted granted Critical
Publication of KR102342283B1 publication Critical patent/KR102342283B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/002—
    • G06K9/4661—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G06T5/75—Unsharp masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

단일 입력 화상으로부터 확산 반사 성분 또는 경면 반사 성분을 고정밀도로 산출하는 화상 처리 장치 등을 제공한다.
화상 처리 장치(1)는 입력 화상의 화소마다 확산 반사 성분과 경면 반사 성분을 산출하는 성분 산출부(20, 30); 확산 반사 성분 화상, 경면 반사 성분 화상 및 입력 화상에 각각 필터 처리를 수행하는 필터 처리부(40); 필터 처리한 확산 반사 성분 화상과, 필터 처리한 경면 반사 성분 화상을 결합하여 결합 화상을 생성하는 성분 결합부(50); 및 결합 화상과, 필터 처리한 입력 화상에 기초하여, 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 평가부(60, 70);을 구비한다.

Description

화상 처리 장치, 화상 처리 방법 및 화상 처리 방법이 기록된 컴퓨터 판독가능 기록 매체{Image processing apparatus, image processing method, and computer readable medium thereof}
다양한 실시예들은 화상 처리 장치, 화상 처리 방법 및 화상 처리 방법이 기록된 컴퓨터 판독가능 기록 매체에 관한 것이다.
3차원 형상 복원 등을 위한, 음영이나 색을 이용하는 화상 계측에서는 화상에 경면 반사 성분이 없는 것이 전제가 되는 경우가 있다. 이 경우, 확산 반사 성분과 경면 반사 성분을 고정밀도 분리하여 경면 반사 성분을 제거하는 것이 고정밀도 계측을 위해 필요하다.
또한, 화상 인식에서는 경면 반사 성분이 재질의 특징이 되기 때문에, 경면 반사 성분을 검출하여 인식에 이용할 수 있다.
또한, 화상 처리에서는 광택감을 향상시키는 경우, 입력 화상으로부터 제어 대상이 되는 경면 반사 성분의 범위를 추출하는 것이 필요하다.
확산 반사 성분과 경면 반사 성분을 분리하기 위해서는 크게 2가지 방법이 있다.
하나는, 복수의 화상으로부터 분리하는 방법으로서, 예컨대, 포토메트릭 스테레오(Photometric Stereo)나 편광 필터를 이용하는 방법이다. 그러나, 이러한 방법으로는 복수의 화상을 촬상하여 이용할 필요가 있고, 디스플레이 등의 장치의 화질 개선에 응용할 수 없다.
또 하나는, 단일 화상으로부터 분리하는 방법으로서, 노이즈에 의한 색상 변동의 모델이나, 물체색은 표면에서는 매끄럽게 변화한다고 하는 가정을 이용하는 방법이다. 예컨대, 일본특허공개 2013－065215호 공보 에는, 화상의 노이즈에 영향을 받지 않고, 대상 화소의 확산 반사 성분을 계산하는 방법이 기재되어 있고, 동일 표면이라면 반사광의 색상은 동일하다고 하는 가정에 기초하여 노이즈에 의한 색상의 변동을 모델화하고, 당해 모델에 의해 확산 반사 성분의 분리 정밀도의 향상을 꾀하고 있다.
그러나, 단일 화상으로부터 확산 반사 성분과 경면 반사 성분을 분리하는 방법은, 물체의 경계와 같은 2색 경계가 되는 부분이나, 채도가 0이 되는 화소값에서 실패하는 경우가 있고, 복수의 화상으로부터 분리하는 방법과 비교하여 분리 정밀도가 낮아져 버린다. 예컨대, 일본특허공개 2013－065215호 공보 에 기재된 방법으로는 노이즈 모델에 맞지 않는 노이즈에 대해서는 분리 정밀도가 낮아지는 경우가 있다.
그리고, 시각 효과를 얻을 목적으로, 분리 정밀도가 낮은 확산 반사 성분 및 경면 반사 성분에 대해 각각 필터 처리 등의 화상 처리를 한 경우, 아티팩트(artifact)가 발생하여 화질이 악화되기도 한다.
도 19는 종래 기술에 따른, 확산 반사 성분과 경면 반사 성분의 분리 정밀도가 낮은 경우의 화상이다. 도 19의 1910은 입력 화상을 나타내고, 백색의 배경에, 적색의 토마토와, 연보라색 토마토의 그림자가 비치고 있다. 또한, 토마토의 녹색 꼭지 주변에는 광택이 나 있다.
도 19의 1920은 확산 반사 성분의 화상을 나타내고, 토마토는 적색인 상태지만, 배경이 흑색이 되고, 토마토의 윤곽 부분(경계면), 광택이 있던 부분 및 그림자 부분이 복숭아색으로 되어 있다. 그리고, 토마토의 경계면 부근에서 확산 반사 성분의 분리에 실패하였음을 알 수 있다.
도 19의 1930은 1920의 확산 반사 성분에 기초하여 경면 반사 성분을 구하고, 입력 화상에서 경면 반사 성분을 1.8배로 강조한 화상을 나타내고, 입력 화상과 비교하였을 때, 토마토의 경계면이었던 부분, 광택이 있던 부분, 그림자가 있던 부분 등에 아티팩트가 발생하였음을 알 수 있다.
본 발명은 이러한 문제를 해결하기 위해 이루어진 것으로, 단일 입력 화상으로부터 확산 반사 성분 또는 경면 반사 성분을 고정밀도로 산출할 수 있는 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램을 제공하는 것을 목적으로 한다.
일 실시예에 따른 화상 처리 장치는, 입력 화상의 화소마다 확산 반사 성분과 경면 반사 성분을 산출하는 성분 산출부; 확산 반사 성분 화상, 경면 반사 성분 화상 및 입력 화상에 각각 필터 처리를 수행하는 필터 처리부; 필터 처리한 확산 반사 성분 화상과, 필터 처리한 경면 반사 성분 화상을 결합하여 결합 화상을 생성하는 성분 결합부; 및 결합 화상과, 필터 처리한 입력 화상에 기초하여, 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 평가부;를 구비하는 것이다.
일 실시예에 따라, 평가부는, 결합 화상과, 필터 처리한 입력 화상과의 차분값을 화소마다 산출하고, 차분값과 소정의 문턱값을 비교하여 분리 정밀도를 평가할 수 있다.
일 실시예에 따라 화상 처리 장치는 평가부가 확산 반사 성분 또는 경면 반사 성분을 수정하는 것으로 판단한 화소마다 확산 반사 성분 또는 상기 경면 반사 성분의 수정값을 산출하는 수정값 산출부; 및 수정값을 이용하여 확산 반사 성분 또는 경면 반사 성분을 수정하는 성분 수정부;를 더 구비하고, 성분 산출부는 입력 화상, 수정한 경면 반사 성분 또는 수정한 확산 반사 성분에 기초하여 확산 반사 성분 및 경면 반사 성분을 산출하고, 평가부는 차분값이 소정의 문턱값 이상의 화소의 확산 반사 성분 또는 경면 반사 성분을 수정하는 것으로 판단할 수 있다.
일 실시예에 따라 평가부는, 필터 처리한 확산 반사 성분 화상 또는 필터 처리한 경면 반사 성분 화상의 각 화소값이 부 인지 여부에 따라 분리 정밀도를 평가할 수 있다.
일 실시예에 따라 평가부가 확산 반사 성분 또는 경면 반사 성분을 수정하는 것으로 판단한 화소마다 확산 반사 성분 또는 경면 반사 성분의 수정값을 산출하는 수정값 산출부; 및 수정값을 이용하여 확산 반사 성분 또는 경면 반사 성분을 수정하는 성분 수정부;를 더 구비하고, 성분 산출부는 상기 입력 화상, 수정한 경면 반사 성분 또는 수정한 확산 반사 성분에 기초하여 확산 반사 성분 및 경면 반사 성분을 산출하고, 평가부는 필터 처리한 확산 반사 성분 화상 또는 필터 처리한 경면 반사 성분 화상의 화소값이 부인 화소의 확산 반사 성분 또는 경면 반사 성분을 수정하는 것으로 판단할 수 있다.
일 실시예에 따라 수정값 산출부는, 수정하는 것으로 판단한 화소의 주변 화소 중 소정의 조건을 충족하는 주변 화소의 확산 반사 성분 또는 경면 반사 성분을 수정값으로서 산출할 수 있다.
일 실시예에 따라, 소정의 조건은, 입력 화상에 있어서의 수정하는 것으로 판단한 화소의 화소값과 주변 화소의 화소값과의 차분, 및 주변 화소에 있어서의 필터 처리한 입력 화상의 화소값과 결합 화상의 화소값과의 차분에 각각 소정의 계수를 곱한 값의 합계가 가장 작은 것일 수 있다.
일 실시예에 따라 수정전 화소수가 소정값 이상, 또는 수정후 화소수가 소정값 이하의 경우, 성분 산출부에 의한 처리를 반복하게 하는 반복 판정부를 더 구비할 수 있다.
일 실시예에 따라 평가부는, 결합 화상과, 필터 처리한 입력 화상과의 PSNR값을 산출하고, PSNR값과 소정의 문턱값을 비교하여 분리 정밀도를 평가할 수 있다.
일 실시예에 따라 화상 처리 장치는 PSNR값이 소정의 문턱값 보다 작을 때, 필터 처리부에서 이용하는 필터의 강도를 변경하여 PSNR값을 다시 산출하도록 판정하는 반복 판정부를 더 구비하고, 평가부는, 필터의 강도를 소정값 이상으로 하더라도, PSNR값이 소정의 문턱값 보다 작을 때, 상기 분리 정밀도가 낮다고 평가할 수 있다.
일 실시예에 따라 필터 처리부는, 필터 처리에 고주파 강조 필터를 이용할 수 있다.
일 실시예 따라 화상 처리 장치는 입력 화상과, 확산 반사 성분 화상 또는 경면 반사 성분 화상에 주파수 해석을 수행하고, 각각의 화상의 주파수 특성을 산출하는 해석부; 및 입력 화상의 주파수 특성과, 확산 반사 성분 화상 또는 경면 반사 성분 화상의 주파수 특성에 기초하여, 분리 정밀도를 평가하는 제2의 평가부;를 더 구비할 수 있다.
일 실시예에 따라 필터 처리부는, 확산 반사 성분 화상 또는 경면 반사 성분 화상의 주파수 특성과, 필터 처리에 이용하는 필터의 강도를 미리 대응시켜 복수개 기억하고, 해석부가 산출한 확산 반사 성분 화상 또는 경면 반사 성분 화상의 주파수 특성에 기초하여 필터 처리에 이용하는 필터의 강도를 결정할 수 있다.
일 실시예에 따른 화상 처리 장치는, 입력 화상의 화소마다 확산 반사 성분 또는 경면 반사 성분을 산출하는 성분 산출부; 확산 반사 성분 화상 또는 경면 반사 성분 화상에 필터 처리를 수행하는 필터 처리부; 및 필터 처리한 확산 반사 성분 화상 또는 필터 처리한 경면 반사 성분 화상의 각 화소값이 부(負)인지 여부에 따라 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 평가부;를 구비하는 것이다.
또한, 일 실시예에 따른 화상 처리 장치는, 입력 화상의 화소마다 확산 반사 성분 또는 경면 반사 성분을 산출하는 성분 산출부; 입력 화상과, 확산 반사 성분 화상 또는 경면 반사 성분 화상에 주파수 해석을 수행하고, 각각의 주파수 특성을 산출하는 해석부; 및 입력 화상의 주파수 특성과, 확산 반사 성분 화상 또는 경면 반사 성분 화상의 주파수 특성에 기초하여, 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 평가부;를 구비하는 것이다.
또한, 일 실시예에 따른 화상 처리 방법은, 입력 화상의 화소마다 확산 반사 성분과 경면 반사 성분을 산출하는 동작; 확산 반사 성분 화상, 경면 반사 성분 화상 및 입력 화상에 각각 필터 처리를 수행하는 동작; 필터 처리한 확산 반사 성분 화상과, 필터 처리한 경면 반사 성분 화상을 결합하여 결합 화상을 생성하는 동작; 및 결합 화상과, 필터 처리한 입력 화상에 기초하여, 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 동작;을 갖는 것이다.
또한, 일 실시예에 따라 화상 처리 방법을 수행하는 프로그램이 저장된 기록 매체를 포함하는 컴퓨터 프로그램 제품은, 상기 화상 처리 방법으로서, 입력 화상의 화소마다 확산 반사 성분과 경면 반사 성분을 산출하는 동작; 확산 반사 성분 화상, 경면 반사 성분 화상 및 상기 입력 화상에 각각 필터 처리를 수행하는 동작; 상기 필터 처리한 확산 반사 성분 화상과, 상기 필터 처리한 경면 반사 성분 화상을 결합하여 결합 화상을 생성하는 동작; 및 상기 결합 화상과, 상기 필터 처리한 입력 화상에 기초하여, 상기 확산 반사 성분 또는 상기 경면 반사 성분의 분리 정밀도를 평가하는 동작;을 포함한다.
본 발명에 의해, 단일 입력 화상으로부터 확산 반사 성분 또는 경면 반사 성분을 고정밀도로 산출하는 화상 처리 장치, 화상 처리 방법 및 화상 처리 방법이 기록된 컴퓨터 판독가능 기록 매체를 제공할 수 있다.
도 1은 실시의 형태 1에 따른 화상 처리 방법의 동작을 나타내는 도면이다.
도 2는 실시의 형태 1에 따른 화상 처리 장치(1)의 개략 구성을 나타내는 블록도이다.
도 3은 실시의 형태 1에 따른 화상 처리 방법의 처리 순서를 나타내는 흐름도이다.
도 4는 실시의 형태 1에 따른 확산 반사 성분 및 경면 반사 성분의 산출 방법 및 산출 결과를 설명하기 위한 도면이다.
도 5는 실시의 형태 1에 따른 차분 처리 및 차분 화상을 설명하기 위한 도면이다.
도 6은 실시의 형태 1에 따른 분리 정밀도의 개선 효과를 나타내는 도면이다.
도 7은 실시의 형태 1에 따른 분리 정밀도의 개선 효과를 나타내는 별도의 도면이다.
도 8은 실시의 형태 1에 따른 분리 정밀도의 개선 효과를 나타내는 별도의 도면이다.
도 9는 실시의 형태 1에 따른 화상의 화질 및 질감의 개선 효과를 나타내는 도면이다.
도 10은 실시의 형태 2에 다른 화상 처리 방법의 동작을 나타내는 도면이다.
도 11은 실시의 형태 2에 따른 화상 평가 장치(2)의 개략 구성을 나타내는 블록도이다.
도 12는 실시의 형태 2에 따른 필터를 설명하기 위한 도면이다.
도 13은 PSNR값과 아티팩트와의 관계를 설명하기 위한 도면이다.
도 14는 실시의 형태 3에 따른 화상 처리 방법의 동작을 나타내는 도면이다.
도 15는 실시의 형태 3에 따른 화상 평가 장치(3)의 개략 구성을 나타내는 블록도이다.
도 16은 일 실시예에 따라 계수 저장부에 저장되는 파워 스펙트럼 파라미터-필터 계수 쌍을 나타내는 도면이다.
도 17은 실시의 형태 3에 따른 파워 스펙트럼을 설명하기 위한 도면이다.
도 18은 실시의 형태 3에 따른 파워 스펙트럼을 설명하기 위한 별도의 도면이다.
도 19는 종래 기술에 따른 확산 반사 성분과 경면 반사 성분의 분리 정밀도가 낮은 경우의 화상이다.
(실시의 형태 1)
본 실시의 형태 1에 따른 화상 처리 장치 및 화상 처리 방법은, 단일 화상으로부터 확산 반사 성분, 경면 반사 성분을 각각 산출하고, 확산 반사 성분, 경면 반사 성분에 필터 처리 등을 수행하여 확산 반사 성분과 경면 반사 성분의 분리 정밀도를 화소마다 평가하고, 또한 독자적으로 정의한 에너지 함수 등으로 산출한 수정값을 이용해서 분리 정밀도가 낮은 확산 반사 성분을 수정하여 확산 반사 성분, 경면 반사 성분의 분리 정밀도를 화소마다 향상시키는 것이다.
이하, 도면을 참조하여 본 실시의 형태 1에 따른 화상 처리 장치 및 화상 처리 방법에 대해 설명한다.
먼저, 도 1은 본 실시의 형태 1에 따른 화상 처리 방법의 동작의 일 예를 나타낸다.
도 1을 참조하면, 스텝 S110에서, 화상 처리 장치는 입력 화상의 화소마다 확산 반사 성분과 경면 반사 성분을 산출할 수 있다.
스텝 S120에서, 화상 처리 장치는 산출된 확산 반사 성분으로 구성된 확산 반사 성분 화상, 산출된 경면 반사 성분으로 구성된 경면 반사 성분 화상 및 입력 화상에 각각 필터 처리를 수행할 수 있다.
스텝 S130에서, 화상 처리 장치는 필터 처리한 확산 반사 성분 화상과, 필터 처리한 경면 반사 성분 화상을 결합하여 결합 화상을 생성할 수 있다.
스텝 S140에서, 화상 처리 장치는, 결합 화상과, 필터 처리한 입력 화상에 기초하여, 확산 반사 성분 또는 상기 경면 반사 성분의 분리 정밀도를 평가할 수 있다.
본 실시의 형태 1에 따른 화상 처리 장치의 구성에 대해 설명한다.
도 2는, 본 실시의 형태 1에 따른 화상 처리 장치(1)의 개략 구성을 나타내는 블록도이다.
화상 처리 장치(1)는 화상 입력부(10), 확산 반사 성분 산출부(20), 경면 반사 성분 산출부(30), 필터 처리부(40), 성분 결합부(50), 차분 산출부(60), 수정 판단부(70), 수정값 산출부(80), 성분 수정부(90), 반복 판정부(100) 등을 구비하고 있다. 또한 확산 반사 성분 산출부(20)와 경면 반사 성분 산출부(30)를 조합하여 성분 산출부로서 구성할 수도 있고, 차분 산출부(60)와 수정 판단부(70)를 조합하여 평가부로서 구성할 수도 있다.
화상 입력부(10)는, 예컨대, 화상 처리 장치(1)의 외부로부터 화상을 입력받고, 이 입력 화상을 확산 반사 성분 산출부(20), 경면 반사 성분 산출부(30), 필터 처리부(40), 수정값 산출부(80) 등으로 출력한다.
확산 반사 성분 산출부(20)는 단일 입력 화상으로부터 확산 반사 성분을 화소마다 산출하고, 경면 반사 성분 산출부(30), 필터 처리부(40), 수정값 산출부(80), 성분 수정부(90) 등으로 출력한다.
경면 반사 성분 산출부(30)는 쉐이퍼(Shafer)의 이색성 반사 모델을 이용하여 입력 화상으로부터 경면 반사 성분을 화소마다 산출하고, 필터 처리부(40) 등으로 출력한다. 이색성 반사 모델을 이용한 경면 반사 성분의 산출 방법에 대해서는 후술한다.
필터 처리부(40)는 입력 화상, 확산 반사 성분으로 구성되는 확산 반사 성분 화상, 및 경면 반사 성분으로 구성되는 경면 반사 성분 화상에 대해, 언샤프 마스크 등의 고주파 강조 필터 또는 고주파 필터를 이용한 필터 처리를 각각 수행하고, 그 결과를 성분 결합부(50), 차분 산출부(60), 수정값 산출부(80) 등으로 출력한다.
성분 결합부(50)는 전술한 이색성 반사 모델을 이용하여 필터 처리한 확산 반사 성분 화상과, 필터 처리한 경면 반사 성분 화상을 결합하여 결합 화상을 생성하고, 차분 산출부(60), 수정값 산출부(80) 등으로 출력한다.
차분 산출부(60)는 필터 처리한 입력 화상과, 생성한 결합 화상과의 화소값의 차분을 화소마다 산출하고, 수정 판단부(70)로 출력한다.
수정 판단부(70)는 화소값의 차분과 소정의 문턱값을 화소마다 비교하여, 차분이 문턱값 보다 큰 화소의 확산 반사 성분을 수정하는 것으로 판단하고, 차분이 문턱값 이하인 화소의 확산 반사 성분을 수정하지 않는 것으로 판단하고, 판단 결과를 수정값 산출부(80)로 출력한다. 여기서, 차분이 문턱값 보다 큰 화소는 확산 반사 성분과 경면 반사 성분의 분리 정밀도가 낮은 화소이다.
수정값 산출부(80)는 확산 반사 성분을 수정하는 것으로 판단한 화소에 대해, 확산 반사 성분의 수정값을 산출하고, 성분 수정부(90)로 출력한다. 확산 반사 성분의 수정값 산출 방법에 대해서도 후술한다.
성분 수정부(90)는 확산 반사 성분을 수정하는 것으로 판단한 화소에 대해, 확산 반사 성분을 그 수정값으로 치환하여 반복 판정부(100)로 출력한다.
반복 판정부(100)는 화상의 확산 반사 성분의 수정 레벨이 소정의 조건을 충족하고 있는지를 판정하고, 확산 반사 성분의 수정 레벨이 소정의 조건을 충족하지 않은 경우에는, 성분 수정부(90)에 의한 수정 결과를 경면 반사 성분 산출부(30)의 입력으로서 이용하여 다시 경면 반사 성분을 산출한다. 또한, 화상의 확산 반사 성분의 수정 레벨이 소정의 조건을 충족하고 있는 경우에는, 각 화소에 대해 산출한 확산 반사 성분과 경면 반사 성분을, 또는 수정한 확산 반사 성분과 경면 반사 성분을 화상 처리 장치(1)의 외부로 출력한다.
또한 본 실시의 형태 1에 따른 화상 처리 장치(1)에서는, 화상 입력부(10), 확산 반사 성분 산출부(20) 등의 각 구성 요소는, 예컨대, 컴퓨터인 화상 처리 장치(1)가 구비하는 프로세서 등의 연산 장치(미도시)의 제어에 의해 프로그램을 실행시킴으로써 실현될 수 있다.
보다 구체적으로, 화상 처리 장치(1)는 기억부(미도시)에 격납된 프로그램을 주기억 장치(미도시)에 로딩하고, 프로세서 등의 연산 장치의 제어에 의해 프로그램을 실행하여 실현된다. 또한, 각 구성 요소는 프로그램에 의한 소프트웨어에서 실현하는 것에 한정하지 않고, 하드웨어, 펌 웨어 및 소프트웨어 중 몇개의 조합에 의해 실현할 수도 있다.
또한, 화상 처리 장치(1)는 TV, 스마트폰, 태블릿 PC, 웨어러블 카메라, HMD, 오토모빌 디스플레이 등의 영상 표시장치에 이용될 수 있다.
상술한 프로그램은 다양한 타입의 기록 미디어, 즉 비일시적인 컴퓨터 가독 매체(non-transitory computer readable medium)를 이용하여 격납되고, 화상 처리 장치(1)로 공급할 수 있다. 비일시적인 컴퓨터 가독 매체는 다양한 타입의 실체가 있는 기록 매체(tangible storage medium)를 포함한다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
비일시적인 컴퓨터 가독 매체의 예는 자기 기록 매체(예컨대, flexible disk, 자기 테이프, 하드 디스크 드라이브), 광자기 기록 매체(예컨대, 광학 자기 디스크), CD－ROM(Read Only Memory), CD－R, CD－R/W, 반도체 메모리(예컨대, 마스크 ROM, PROM(Programmable ROM), EPROM(Erasable PROM), 플래시 ROM, RAM(random access memory))를 포함한다.
또한, 프로그램은 다양한 타입의 일시적인 컴퓨터 가독 매체(transitory computer readable medium)에 의해 화상 처리 장치(1)로 공급될 수도 있다. 일시적인 컴퓨터 가독 매체의 예는 전기 신호, 광신호 및 전자파를 포함한다. 일시적인 컴퓨터 가독 매체는 전선 및 광섬유 등의 유선 통신로, 또는 무선 통신로를 통해 프로그램을 화상 처리 장치(1)로 공급할 수 있다.
또한, 개시된 실시예들에 따른 화상 처리 장치 또는 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다.
이어서, 본 실시의 형태 1에 따른 화상 처리 장치(1)의 동작, 즉, 화상 처리 방법에 대해 보다 구체적으로 설명한다.
도 3은 본 실시의 형태 1에 따른 화상 처리 방법의 처리 순서를 나타내는 흐름도이다.
화상 처리 장치(1)가 동작을 개시하면, 화상 입력부(10)가 화상을 입력받고(스텝 S10), 확산 반사 성분 산출부(20)가 입력 화상의 확산 반사 성분을 화소마다 산출한다(스텝 S20). 확산 반사 성분 산출부(20)는, 종래의 방법을 이용하여 각 확산 반사 성분을 산출한다.
이어서, 경면 반사 성분 산출부(30)가 쉐이퍼(Shafer)의 이색성 반사 모델을 이용하여 입력 화상으로부터 경면 반사 성분을 화소마다 산출한다(스텝 S30).
구체적으로 경면 반사 성분 산출부(30)는 수학식(1)에 나타낸 바와 같이, 이색성 반사 모델에 있어서, 입력 화상의 화소값 P 및 확산 반사 성분 α*D 를 입력하여 경면 반사 성분 β*S를 산출한다.
Figure pat00001
여기서, α는 확산 반사 강도 계수(diffuse reflection intensity coefficient), β는 경면 반사 강도 계수(specular reflection intensity coefficient), D는 확산 반사 색도(diffuse reflection chromaticity), S는 경면 반사 색도(specular reflection chromaticity)를 나타낸다.
도 4는, 본 실시의 형태 1에 따른 확산 반사 성분 및 경면 반사 성분의 산출 방법 및 산출 결과를 설명하기 위한 도면이다. 토마토의 입력 화상(410)으로부터 확산 반사 성분 및 경면 반사 성분을 산출하고 있다.
도 4에 도시한 확산 반사 성분 화상(420)에 있어서, 토마토는 적색인 상태지만, 배경이 흑색이 되고, 토마토의 윤곽 부분(경계면), 광택 부분 및 그림자가 복숭아색으로 되어 있다. 또한, 경면 반사 성분 화상(430)에서는 배경 및 광택 부분이 회색이 되고, 토마토, 꼭지 및 토마토의 그림자가 흑색으로 되어 있다.
이어서, 필터 처리부(40)가 입력 화상, 확산 반사 성분 화상 및 경면 반사 성분 화상에 대해 고주파 강조 필터, 고주파 필터 등을 이용하여 각각 필터 처리를 수행한다(스텝 S40). 고주파 강조 필터 등의 필터 처리에 의해, 분리 정밀도가 낮은 화소의 확산 반사 성분 또는 경면 반사 성분이 강조된다.
이어서, 성분 결합부(50)가 이색성 반사 모델을 이용하여 필터 처리한 확산 반사 성분 화상과, 필터 처리한 경면 반사 성분 화상을 선형 결합하여 결합 화상을 생성한다(스텝 S50).
이어서, 차분 산출부(60)가 필터 처리한 입력 화상과, 생성한 결합 화상과의 화소값의 차분을 화소마다 산출한다(스텝 S60).
도 5는 본 실시의 형태 1에 따른 차분 처리 및 차분 화상을 설명하기 위한 도면이다. 여기서는 필터 처리에 언샤프 마스크(Unsharp masking) 또는 고주파 필터링을 이용하고, 필터 처리한 입력 화상(510)과 결합 화상(520)의 화소값 차분을 차분 화상(530)으로서 산출하고 있다. 또한 도 5에 도시한 차분 화상에서는 차분값이 소정의 문턱값 보다 큰 화소만을 나타내고 있다.
결합 화상(520)에서는 적색 토마토의 경계면, 꼭지, 그림자의 일부 등이 백색으로 되어 있고, 차분 화상(530)에서는 당해 백색 부분 등이 차분이 큰 화소로서 나타나 있다. 전술한 바와 같이, 차분이 문턱값 보다 큰 화소는 확산 반사 성분과 경면 반사 성분의 분리 정밀도가 낮은 화소이다.
이어서, 수정 판단부(70)가 화소값의 차분과 소정의 문턱값을 화소마다 비교하고, 차분이 문턱값 보다 큰 화소를 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도가 낮은 화소로 판정하고, 당해 화소의 확산 반사 성분을 수정하는 것으로 판단한다. 또한, 수정 판단부(70)가 당해 차분이 문턱값 이하의 화소를 확산 반사 성분과 경면 반사 성분의 분리 정밀도가 높은 화소로 판정하고, 당해 화소의 확산 반사 성분을 수정하지 않는 것으로 판단한다(스텝 S70).
이러한 판정, 판단은 각 반사 성분 화상에 필터 처리를 하여 결합한 결합 화상과, 입력 화상에 동일한 필터 처리를 하여 얻어진 화상은 동일한 화상이 될 것이라는 가정에 기초하고 있다.
수정 판단부(70)는 화소값의 차분과, 소정의 문턱값을 비교한 결과로서, 예컨대, 도 5에 도시한 차분 화상에서의 차분값이 큰 화소의 확산 반사 성분을 수정하는 것으로 판단한다.
그리고, 수정 판단부(70)가 확산 반사 성분을 수정하는(스텝 S70의 YES) 것으로 판단한 화소(이하, "주목 화소"라 함)에 대해서는 수정값 산출부(80)가 주목 화소의 주변 화소 중 소정의 조건을 충족하는 주변 화소의 확산 반사 성분을 주목 화소의 확산 반사 성분의 수정값으로서 산출한다(스텝 S80).
구체적으로 수정값 산출부(80)는 목적 함수로서의 에너지 함수(Energy function)(또는 유사도 함수, 코스트 함수라고도 함)를 수학식(2)와 같이 정의하고, 에너지 함수의 값이 가장 작아지는 주변 화소의 확산 반사 성분을 주목 화소의 수정값으로 한다(A, B는 가중 계수).
Figure pat00002
즉, 수정값 산출부(80)는, 예컨대 RGB 화상인 입력 화상에서 주목 화소의 색과 동일한 색 또는 유사한 색을 가지고, 또한, 확산 반사 성분과 경면 반사 성분과의 분리 정밀도가 높은 화소를 주변 화소 중에서 탐색하고, 당해 주변 화소의 확산 반사 성분을 주목 화소의 수정값으로 결정한다.
또한 수정값 산출부(80)는 가중 계수 A, B의 일방을 0으로 설정하여 주변 화소를 탐색할 수도 있다.
또한, 수정값 산출부(80)은 주변 화소를 탐색하는 범위를, 경면 반사 성분이 소정의 문턱값 보다 크고, 경면 반사 성분을 갖는 것으로 간주할 수 있는 화소의 수에 의해 산출한 범위로 한정할 수도 있다. 이 때의 문턱값으로는, 예컨대, 경면 반사 성분에 대한 화상 전체의 평균값, 오츠(Otsu)의 문턱값 결정법에서 피셔비(판별비)를 최대로 하는 값, 키틀러(Kittler)의 문턱값 결정법에서 평균 오식별율에 관한 기준을 최소로 하는 값 등을 이용할 수 있다.
이어서, 성분 수정부(90)가 주목 화소의 확산 반사 성분을 수정값에 의해 치환한다(스텝 S90).
이어서, 반복 판정부(100)가 화상의 확산 반사 성분의 수정 레벨이 소정의 조건, 예컨대 확산 반사 성분의 분리 정밀도가 낮은 화소의 수가 소정값 이하이거나, 확산 반사 성분의 수정 회수가 소정값 이상인 등의 조건을 충족하는지 여부에 따라 확산 반사 성분의 수정 처리를 반복할지 여부를 판정한다(스텝 S100).
그리고, 반복 판정부(100)는 화상의 확산 반사 성분의 수정 레벨이 소정의 조건을 충족하지 않아, 수정 처리를 반복한다고 판정한 경우(스텝 S100의 YES)에는, 예컨대 스텝 S30으로 돌아와, 확산 반사 성분 수정 처리(스텝 S90)의 출력을 경면 반사 성분 산출 처리(스텝 S30)의 입력으로서 이용하여 경면 반사 성분을 다시 산출한다.
또한, 반복 판정부(100)는 화상의 확산 반사 성분의 수정 레벨이 소정의 조건을 충족하고 있어, 수정 처리를 반복하지 않는다고 판정한 경우(스텝 S100의 NO)에는, 각 화소에 대해 스텝 S20, 30에서 산출한 확산 반사 성분, 경면 반사 성분 또는 스텝 S90에서 수정한 확산 반사 성분을 화상 처리 장치(1)의 외부로 출력하고, 화상 처리를 종료한다.
또한 수정 판단부(70)가 어떤 화소의 확산 반사 성분을 수정하지 않는 것으로 판단(스텝 S70의 NO)하였을 때는 스텝 S100으로 진행되고, 반복 판정부(100)가 확산 반사 성분의 수정 처리를 반복할지 여부를 판정한다.
또한, 본 실시의 형태 1에 따른 화상 처리 방법에서는 확산 반사 성분의 수정 처리의 반복 회수가 많을수록, 확산 반사 성분과 경면 반사 성분의 분리 정밀도의 향상을 기대할 수 있다.
도 6은 본 실시의 형태 1에 따른 분리 정밀도의 개선 효과를 나타내는 도면이다. 입력 화상에는 검은 배경에, 빨강 및 초록의 체크무늬를 갖는 구(球)가 그려진 컴퓨터 그래픽(CG) 화상을 이용하고 있다. 도 6의 610, 620는 각각 확산 반사 성분을 나타내는 화상이고, 도 6의 630, 640는 각각 경면 반사 성분을 나타내는 화상이다. 또한, 도 6의 610, 630은 각각 분리 정밀도 개선 전의 화상을 나타내고, 도 6의 620, 640는 각각 분리 정밀도 개선 후의 화상을 나타낸다.
이러한 화상에 있어서, 그라운드 트루스(ground　truth) 또는 참값(true　value)에 대한 피크 신호대 노이즈비(PSNR)에 대해 확산 반사 성분에서는 4.5dB, 경면 반사 성분에서는 9.51dB의 개선을 각각 확인할 수 있었다.
그리고, 상기한 바와 같이 산출하거나 또는 수정한 확산 반사 성분 및 경면 반사 성분에 대해 독립적으로 필터 처리 등의 화상 처리를 수행하면, 디스플레이 등에 표시하는 화상의 화질, 특히 질감, 광택감 등을 향상시킬 수 있다.
도 7은 본 실시의 형태 1에 따른 분리 정밀도의 개선 효과를 나타내는 별도의 도면이다. 도 7의 710, 720, 730은 각각 입력 화상, 개선 전의 경면 반사 성분 강조 화상, 개선 후의 경면 반사 성분 강조 화상을 나타낸다.
분리 정밀도 개선 후의 경면 반사 성분 강조 화상은, 입력 화상과 비교하여 광택감이 향상되어 있고, 또한 개선 전의 경면 반사 성분 강조 화상과 비교하여 토마토 경계 근처의 아티팩트가 감소되어 있음을 알 수 있다.
도 8은 본 실시의 형태 1에 따른 분리 정밀도의 개선 효과를 나타내는 다른 도면이다. 도 8의 810, 820는 개선 전의 경면 반사 성분 강조 화상, 도 8의 830, 840는개선 후의 경면 반사 성분 강조 화상을 나타낸다. 또한, 도 8의 820, 840는 각각 도 8의 810, 830의 일부를 확대한 화상이다. 입력 화상에는 도 6과 같은 CG 화상을 이용하고 있다.
분리 정밀도 개선 전의 경면 반사 성분 강조 화상에서는 체크무늬의 빨강과 초록의 경계 부분에 아티팩트가, 예컨대, 흑색의 선으로 나타나 있는데, 분리 정밀도 개선 후의 경면 반사 성분 강조 화상에서는 당해 아티팩트가 감소되어 있음을 알 수 있다.
도 9는 본 실시의 형태 1에 따른 화상의 화질 및 질감 개선 효과를 나타내는 도면이다. 도 9의 910은 입력 화상을 나타내고, 도 9의 920는 확산 반사 성분 및 경면 반사 성분에 개별적으로 화상 처리를 수행한 화상을 나타낸다. 어떤 화상에도 적자색의 꽃잎과, 그 중심에 있는 황색 또는 황녹색의 꽃받침이 찍혀 있는데, 도 9의 920의 화상 처리 후의 화상에서는 광택감이 향상되어 꽃잎 및 꽃받침 하나하나가 명확해져 있음을 알 수 있다.
또한 본 실시의 형태 1에 따른 화상 처리 장치(1) 또는 화상 처리 방법에서는 다양한 변형이 가능하다.
예컨대, 본 실시의 형태 1에 따른 화상 처리 장치(1)에서는, 수정값 산출부(80)가 에너지 함수에 기초하여 주목 화소의 확산 반사 성분의 수정값을 산출하고, 성분 수정부(90)가 주목 화소의 확산 반사 성분을 수정하였지만, 수정값 산출부(80) 및 성분 수정부(90)가 주목 화소를 중심으로 하는 영역에 미디언 필터 등의 필터 처리를 수행하여 주목 화소의 확산 반사 성분을 수정하게 할 수도 있다. 이 경우, 예컨대, 미디언 필터에서 산출한 중앙값이 확산 반사 성분의 수정값이 된다.
또한, 본 실시의 형태 1에 따른 화상 처리 장치(1)에서는, 수정 판단부(70)가 화소마다 확산 반사 성분을 수정하는 것으로 판단하여 이후의 처리에서 당해 확산 반사 성분을 수정하였지만, 수정 판단부(70)가 화소마다 경면 반사 성분을 수정하는 것으로 판단하고, 수정값 산출부(80)가 경면 반사 성분의 수정값을 산출하고, 성분 수정부(90)가 경면 반사 성분을 수정하는 것으로 판단한 화소에 대해, 경면 반사 성분을 그 수정값으로 치환하게 할 수도 있다. 이 경우, 수정한 경면 반사 성분을 이용하여 확산 반사 성분을 다시 산출할 수 있다.
또한, 본 실시의 형태 1에 따른 화상 처리 장치(1)에서는, 수정 판단부(70)가 필터 처리한 입력 화상과 결합 화상과의 차분에 기초하여 화소마다 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하였지만, 수정 판단부(70)가 필터 처리한 확산 반사 성분 화상 또는 필터 처리한 경면 반사 성분 화상의 각 화소에 대해 화소값이 부(負)인지 아닌지를 판정하여 화소마다 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가할 수도 있다.
구체적으로 수정 판단부(70)는 필터 처리한 확산 반사 성분 화상 또는 필터 처리한 경면 반사 성분 화상의 화소값, 즉, R, G, B의 6개의 값 중 어느 하나가 부(負)인 화소는 이색성 반사 모델과 모순되는 화소값을 가지고 있어 확산 반사 성분 또는 경면 반사 성분의 산출 또는 분리에 실패한 것으로 간주하여 당해 화소의 확산 반사 성분 또는 경면 반사 성분을 수정하는 것으로 판단한다.
이 때도, 수정값 산출부(80)는 별도 산출하는 필터 처리 후의 입력 화상 화소값과 결합 화상 화소값의 차분 등으로부터, 수학식 (2)에 나타낸 에너지 함수를 이용하여 당해 화소의 수정값을 산출할 수 있다.
또한, 수정 판단부(70)가 필터 처리한 입력 화상과 결합 화상의 차분에 근거하는 분리 정밀도의 평가와, 필터 처리한 각 반사 성분 화상의 화소값에 근거하는 분리 정밀도의 평가를 병용하고, 어느 일방의 평가에 기초하여 화소의 확산 반사 성분 또는 경면 반사 성분을 수정하는 것으로 판단하고, 수정값 산출부(80)가 수학식(2)에 나타낸 에너지 함수를 이용하여 수정값을 산출할 수도 있다.
또한, 본 실시의 형태 1에 따른 화상 처리 장치(1) 또는 화상 처리 방법을 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 화상 평가 장치, 화상 평가 방법 등으로서 구성할 수도 있다. 예컨대, 화상 평가 장치로서 구성하는 경우에는, 본 실시의 형태 1에 따른 수정 판단부(70), 수정값 산출부(80), 성분 수정부(90), 반복 판정부(100) 대신에, 후술하는 실시의 형태 2와 같이, 분리 정밀도의 평가부와 같은 것을 설치할 수 있다.
이상, 설명한 바와 같이, 본 실시의 형태 1에 따른 화상 처리 장치(1)는 입력 화상의 화소마다 확산 반사 성분과 경면 반사 성분을 산출하는 성분 산출부(20, 30)와, 확산 반사 성분 화상, 경면 반사 성분 화상 및 입력 화상에 각각 필터 처리를 수행하는 필터 처리부(40)와, 필터 처리한 확산 반사 성분 화상과, 필터 처리한 경면 반사 성분 화상을 결합하여 결합 화상을 생성하는 성분 결합부(50)와, 결합 화상과, 필터 처리한 입력 화상에 기초하여, 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 평가부(60, 70)를 구비하는 것이다.
이러한 구성에 의해, 단일 입력 화상으로부터 산출한 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 적절히 평가하여 확산 반사 성분 또는 경면 반사 성분을 고정밀도로 산출할 수 있다.
또한, 본 실시의 형태 1에 따른 화상 처리 장치(1)에 있어서, 평가부(60, 70)는 결합 화상과, 필터 처리한 입력 화상의 차분값을 화소마다 산출하고, 차분값과 소정의 문턱값을 비교하여 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 것이 바람직하다.
이러한 구성에 의해, 화소마다 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가할 수 있다.
또한, 본 실시의 형태 1에 따른 화상 처리 장치(1)는 평가부(60, 70)가 확산 반사 성분 또는 경면 반사 성분을 수정하는 것으로 판단한 화소마다 확산 반사 성분 또는 경면 반사 성분의 수정값을 산출하는 수정값 산출부(80)와, 수정값을 이용하여 확산 반사 성분 또는 경면 반사 성분을 수정하는 성분 수정부(90)를 더 구비하고, 성분 산출부(20, 30)는 입력 화상, 수정한 경면 반사 성분 또는 수정한 확산 반사 성분에 기초하여 확산 반사 성분 및 경면 반사 성분을 산출하고, 평가부(60, 70)는 차분값이 소정의 문턱값 이상의 화소의 확산 반사 성분 또는 경면 반사 성분을 수정하는 것으로 판단하는 것이 바람직하다.
이러한 구성에 의해, 화소마다 확산 반사 성분 또는 경면 반사 성분을 수정할 수 있다.
또한, 본 실시의 형태 1에 따른 화상 처리 장치(1)는 평가부(70)가 필터 처리한 확산 반사 성분 화상 또는 필터 처리한 경면 반사 성분 화상의 값이 부인지 여부에 따라 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 것이 바람직하다.
이러한 구성에 의해, 화소마다 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 보다 간단하게 평가할 수 있다.
또한, 본 실시의 형태 1에 따른 화상 처리 장치(1)는 평가부(70)가 확산 반사 성분 또는 경면 반사 성분을 수정하는 것으로 판단한 화소마다 확산 반사 성분 또는 경면 반사 성분의 수정값을 산출하는 수정값 산출부(80)와, 수정값을 이용하여 확산 반사 성분 또는 경면 반사 성분을 수정하는 성분 수정부(90)를 더 구비하고, 성분 산출부(20, 30)는 입력 화상, 수정한 경면 반사 성분 또는 수정한 확산 반사 성분에 기초하여 확산 반사 성분 및 경면 반사 성분을 산출하고, 평가부(70)는 필터 처리한 확산 반사 성분 화상 또는 필터 처리한 경면 반사 성분 화상의 화소값이 부인 화소의 확산 반사 성분 또는 경면 반사 성분을 수정하는 것으로 판단하는 것이 바람직하다.
이러한 구성에 의해, 화소마다 확산 반사 성분 또는 경면 반사 성분을 간단하게 수정할 수 있다.
또한, 본 실시의 형태 1에 따른 화상 처리 장치(1)에 있어서, 수정값 산출부(80)는 수정하는 것으로 판단한 화소의 주변 화소 중 소정의 조건을 충족하는 주변 화소의 확산 반사 성분 또는 경면 반사 성분을 수정값으로서 산출하는 것이 바람직하다.
이러한 구성에 의해, 간단하게 확산 반사 성분 또는 경면 반사 성분의 수정값을 산출할 수 있다.
또한, 본 실시의 형태 1에 따른 화상 처리 장치(1)에 있어서, 소정의 조건은 입력 화상에서의 수정하는 것으로 판단한 화소의 화소값과 주변 화소의 화소값의 차분, 및 주변 화소에 있어서의, 필터 처리한 입력 화상의 화소값과 결합 화상의 화소값의 차분에 각각 소정의 계수를 곱한 값의 합계가 가장 작은 것이 바람직하다.
이러한 구성에 의해, 확산 반사 성분 또는 경면 반사 성분의 수정값을 보다 적절히 산출할 수 있다.
또한, 본 실시의 형태 1에 따른 화상 처리 장치(1)는 수정전 화소수가 소정값 이상, 또는 수정후 화소수가 소정값 이하인 경우, 성분 산출부(20, 30)에 의한 처리를 반복하게 하는 반복 판정부(100)를 더 구비하는 것이 바람직하다.
이러한 구성에 의해, 확산 반사 성분 또는 경면 반사 성분을 보다 고정밀도로 산출할 수 있다.
또한, 본 실시의 형태 1에 따른 화상 처리 장치(1)에 있어서, 필터 처리부(40)는 필터 처리에 고주파 강조 필터를 이용하는 것이 바람직하다.
이러한 구성에 의해, 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 보다 적절히 평가할 수 있다.
또한, 본 실시의 형태 1에 따른 화상 처리 장치(1)는 입력 화상의 화소마다 확산 반사 성분 또는 경면 반사 성분을 산출하는 성분 산출부(20, 30); 확산 반사 성분 화상 또는 경면 반사 성분 화상에 필터 처리를 수행하는 필터 처리부(40); 필터 처리한 확산 반사 성분 화상 또는 필터 처리한 경면 반사 성분 화상의 각 화소값이 부인지 여부에 따라 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 평가부(70);를 구비하는 것이다.
이러한 구성에 의해, 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 간단하게 평가할 수 있다.
또한, 본 실시의 형태 1에 따른 화상 처리 방법은 입력 화상의 화소마다 확산 반사 성분과 경면 반사 성분을 산출하는 스텝 S20, S30; 확산 반사 성분 화상, 경면 반사 성분 화상 및 입력 화상에 각각 필터 처리를 수행하는 스텝 S40; 필터 처리한 확산 반사 성분 화상과, 필터 처리한 경면 반사 성분 화상을 결합하여 결합 화상을 생성하는 스텝 S50; 결합 화상과, 필터 처리한 입력 화상에 기초하여, 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 스텝 S60, S70;을 갖는 것이다.
이러한 구성에 의해, 단일 입력 화상으로부터 산출한 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 적절히 평가하여 확산 반사 성분 또는 경면 반사 성분을 고정밀도로 산출할 수 있다.
또한, 본 실시의 형태 1에 따른 화상 처리 프로그램은 컴퓨터에 입력 화상의 화소마다 확산 반사 성분과 경면 반사 성분을 산출하는 순서; 확산 반사 성분 화상, 경면 반사 성분 화상 및 입력 화상에 각각 필터 처리를 수행하는 순서; 필터 처리한 확산 반사 성분 화상과, 필터 처리한 경면 반사 성분 화상을 결합하여 결합 화상을 생성하는 순서; 결합 화상과, 필터 처리한 입력 화상에 기초하여, 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 순서;를 실행시키기 위한 것이다.
이러한 구성에 의해, 단일 입력 화상으로부터 산출한 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 적절히 평가하여 확산 반사 성분 또는 경면 반사 성분을 고정밀도로 산출할 수 있다.
(실시의 형태 2)
실시의 형태 1에 따른 화상 처리 장치(1) 또는 화상 처리 방법은 필터 처리한 입력 화상과 결합 화상과의 차분에 기초하여 화소 마다의 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하였지만, 본 실시의 형태 2에 따른 화상 평가 장치 또는 화상 평가 방법은 필터 처리한 입력 화상과 결합 화상과의 사이의 PSNR값에 기초하여 화상 전체의 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 것이다.
이하, 본 실시의 형태 2에 따른 화상 평가 장치 및 화상 평가 방법에 대해 화상 평가 장치의 구성에 입각하여 설명한다.
먼저, 도 10은 본 실시의 형태 2에 따른 화상 처리 방법의 동작의 일 예를 나타낸다.
도 10을 참조하면, 스텝 S1010에서, 화상 처리 장치는 입력 화상의 화소마다 확산 반사 성분 또는 경면 반사 성분을 산출할 수 있다.
스텝 S1020에서, 화상 처리 장치는 산출된 확산 반사 성분에 기초한 확산 반사 성분 화상, 산출된 경면 반사 성분, 및 입력 화상에 각각 필터 처리를 수행할 수 있다.
스텝 S1030에서, 화상 처리 장치는, 필터 처리한 확산 반사 성분 화상과 필터 처리한 경면 반사 성분 화상을 결합하여 결합 화상을 생성할 수 있다.
스텝 S1040에서, 화상 처리 장치는 결합 화상의 PSNR 과 필터처리한 입력 화상의 PSNR에 기초하여 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가할 수 있다.
실시의 형태 2에 따른 화상 평가 장치에서는 우선 입력 화상에 기존 방법 등을 이용하여 반사 성분 분리한다. 그 후, 언샤프 마스킹(unsharp masking)의 계수 k을 어떤 값(예:초기치=1)으로 설정한다. 그리고 설정한 계수 k를 이용하여 확산 반사 성분과 경면 반사 성분으로 각각 언샤프 마스킹(unsharp masking) 필터링을 하고 그 결과를 2색 성 반사 모델에 근거하여 선형 결합한다. 그 결과와 입력 화상을 같은 계수 k을 이용하여 언샤프 마스킹(unsharp masking)를 건 화상과 Peak signal-to-noise Ratio(PSNR)의 계산을 수행한다. 그 PSNR이 어떤 한계 이상이면 반사 성분 분리가 정밀하게 계산 가능했다고 하자. 그 이유는 각 반사 성분에 언샤프 마스킹(unsharp masking)을 걸고 결합한 화상과 입력 화상에 언샤프 마스킹(unsharp masking)를 건 화상은 같아질 거라는 가정하에 있다. 만약 PSNR이 어떤 역치 이하인 경우, 언샤프 마스킹(unsharp masking)의 계수 k을 (k=k+1)로 변경하고, 같은 계산을 반복한다. 만약 k가 어떤 값까지 PSNR이 있는 한계를 넘지 않는 경우는 반사 성분 분리가 정확하게 이뤄지지 않고 있다고 한다.
도 11은 본 실시의 형태 2에 따른 화상 평가 장치(2)의 개략 구성을 나타내는 블록도이다.
화상 평가 장치(2)는 화상 입력부(110), 확산 반사 성분 산출부(120), 경면 반사 성분 산출부(130), 계수 결정부(140), 필터 처리부(150), 성분 결합부(160), PSNR 산출부(170), 정밀도 평가부(180), 반복 판정부(190) 등을 구비하고 있다.
또한 화상 평가 장치(2)에서는 PSNR 산출부(170)와, 정밀도 평가부(180)를 조합하여 평가부로 구성할 수도 있고, 계수 결정부(140)를 필터 처리부(150)에 포함시킬 수도 있다.
화상 입력부(110)는, 예컨대, 화상 평가 장치(2)의 외부로부터 화상을 입력받고, 이 입력 화상을 확산 반사 성분 산출부(120), 경면 반사 성분 산출부(130), 필터 처리부(150) 등으로 출력한다.
확산 반사 성분 산출부(120), 경면 반사 성분 산출부(130)는 실시의 형태 1의 확산 반사 성분 산출부(20), 경면 반사 성분 산출부(30)와 마찬가지로, 단일 입력 화상으로부터 확산 반사 성분, 경면 반사 성분을 각각 산출하고, 필터 처리부(150) 등으로 출력한다.
계수 결정부(140)는 필터 처리부(150)에서 이용하는 필터의 계수 k를, 예컨대, 그 초기값으로서 "1"로 결정하고, 필터 처리부(150), 반복 판정부(190) 등으로 출력한다. 필터의 계수 k에 대해서는 후술한다.
필터 처리부(150)는 입력 화상, 확산 반사 성분 화상, 경면 반사 성분 화상에 대해 각각 실시의 형태 1과 마찬가지로 고주파 강조 필터 또는 고주파 필터를 이용한 선예화(鮮化) 처리를 수행하고, 그 결과를 성분 결합부(160), PSNR 산출부(170) 등으로 출력한다.
도 12는 본 실시의 형태 2에 따른 필터를 설명하기 위한 도면이다.
본 실시의 형태 2에서는 필터 처리에, 예컨대, 언샤프 마스크 프로세싱을 이용하여 각 화상의 콘트래스트를 강조하는 선예화 처리를 하고 있고, 여기서는 원화상 (1210)과 평활화 화상(1220)의 차분 화상에 대해 필터 계수 k를 승산하여 언샤프 마스크 화상(1230)을 생성하고 있다.
성분 결합부(160)는 실시의 형태 1과 마찬가지로, 이색성 반사 모델을 이용하여 필터 처리한 확산 반사 성분 화상과, 필터 처리한 경면 반사 성분 화상을 선형 결합하여 결합 화상을 생성하고, PSNR 산출부(170)로 출력한다.
PSNR 산출부(170)는 필터 처리한 입력 화상과, 생성한 결합 화상과의 사이의 PSNR값을 산출하고, 정밀도 평가부(180)로 출력한다. PSNR값의 산출에는 종래 기술을 이용할 수 있다.
정밀도 평가부(180)는 PSNR값과 소정의 문턱값(예컨대, 40dB)을 비교하고, 그 결과를 반복 판정부(190)로 출력한다. 정밀도 평가부(180)는 PSNR값이 소정의 문턱값 이상일 때, 확산 반사 성분과 경면 반사 성분이 고정밀도로 분리되어 있는 것으로 판정하고, PSNR값이 소정의 문턱값 미만일 때, 확산 반사 성분과 경면 반사 성분이 고정밀도로 분리되지 않은 것으로 판정한다.
예를 들어, PSNR이 40dB 이상이면, 반사성분이 고정도로 분리되어 있는 것으로 한다. 그 이유는, PSNR이 40dB 이상이면, 화상의 차이를 육안에 의해 판정하는 것이 곤란해지기 때문이다. 즉, 반사 성분 분리가 고정도로 행해지고 그 상태에서 경면 반사 성분의 강조를 행하고, 광택감의 향상을 행해도, 육안에 의해서는 화상에 아티팩트가 생성되지 않는 것으로 고려할 수 있기 때문이다.
도 13은 PSNR값과 아티팩트와의 관계를 설명하기 위한 도면이다.
도 13의 1300A는 PSNR 이 낮아서 분리가 실패한 예를 나타내는 것으로, 1300A1은 필터 처리 후의 입력 화상, 1300A2는 결합 화상, 1300A3는 입력 화상에 있어서 경면 반사 성분을 1.8배로 강조한 화상을 나타내고 있다.
도 13의 1300A1에는 경면성 바닥면 상에 투명한 구가 비쳐 있는 전체적으로 푸르스름한 화상이고, 바닥면에는 구나 배경이 비쳐 있고, 구에도 배경이 비쳐 있다. 확산 반사 성분과 경면 반사 성분과의 분리 정밀도는 낮고, PSNR값은 15.37dB이다. 필터 처리 후의 입력 화상 1300A1과 결합 화상 1300A2은 크게 달라져 있고, 경면 반사 성분 강조 화상 1300A3에서는 많은 아티팩트가 발생하고 있다.
도 13의 1100B는 PSNR 이 높아서 분리가 실패한 예를 나타내는 것으로, 1300B1은 필터 처리 후의 입력 화상, 1300B2는 결합 화상, 1300B3는 입력 화상에 있어서 경면 반사 성분을 1.8배로 강조한 화상을 나타내고 있다.
도 13의 1300B는 흑색 배경에 갈색의 인물의 얼굴이 그려진 화상이다. 확산 반사 성분과 경면 반사 성분과의 분리 정밀도는 높고, PSNR값은 41.08dB이다. 필터 처리 후의 입력 화상 1300B1과 결합 화상 1300B2과의 차이는 작으며, 경면 반사 성분 강조 화상 1300B3에서도 아티팩트를 발생시키지 않고, 이마 및 뺨 주변의 광택이 강조되어 있다.
도 13에서 보이는 바와 같이, PSNR이 40dB 이상의 화상에서는, 경면 반사 성분을 1.8배 강조한 경우에도 아티팩트가 생성되지 않는 것을 알 수 있다.
반복 판정부(190)는 PSNR값이 소정의 문턱값 이상일 때는 확산 반사 성분과 경면 반사 성분을 화상 평가 장치(2)의 외부로 출력한다. 또한, 반복 판정부(190)는 PSNR값이 소정의 문턱값 미만일 때, 필터의 계수 k를 변경하고, 한번 더 계수 결정부(140)로부터 정밀도 평가부(180)까지의 처리, 즉 PSNR값을 산출하여 분리 정밀도를 평가하는 처리를 수행하도록 필터 계수 k를 변경하라는 지시를 계수 결정부(140)로 출력한다.
그리고, 계수 결정부(140)는 필터의 계수 k를 초기값인 "1"로부터 필터의 강도, 여기서는 선예화 처리의 강조도를 변경하기 위해, 예컨대, "2"로 1만큼 증가시켜 필터 처리부(150)로 출력한다. 그 후의 필터 처리부(150)로부터 반복 판정부(190)까지의 처리는 상술한 바와 같다.
반복 판정부(190)는 필터 계수 k가 소정값, 예컨대, 20이 될 때까지, PSNR값을 산출하여 분리 정밀도를 평가하는 처리를 반복하더라도, PSNR값이 소정의 문턱값 이상이 되지 않을 때는 확산 반사 성분과 경면 반사 성분이 고정밀도로 분리되지 않은 것으로 판정하고, 그 사실을 화상 평가 장치(2)의 외부로 출력한다.
또한, 반복 판정부(190)는 필터 계수 k가 소정값이 되어도 PSNR값이 소정의 문턱값 이상이 되지 않을 때, 확산 반사 성분 및 경면 반사 성분을 다시 산출하는 것으로 하고, 확산 반사 성분 산출부(120) 및 경면 반사 성분 산출부(130)에 그러한 지시를 출력할 수도 있다.
또한 본 실시의 형태 2에 있어서, 계수 결정부(140)는 필터의 계수 k의 초기값을 입력 화상의 휘도에 기초하여 결정할 수도 있다. 예컨대, 입력 화상 전체의 평균 휘도값을 이용하여 평균 휘도값이 0일 때, 계수 k를 0으로 하고, 평균 휘도값이 255일 때, 계수 k를 10으로 하도록 결정할 수도 있다.
또한, 본 실시의 형태 2에 따른 화상 평가 장치(2), 화상 평가 방법을 화상 처리 장치, 화상 처리 방법으로서 구성할 수도 있다.
또한, 본 실시의 형태 2에 따른 화상 평가 장치(2)에서는 실시의 형태 1과 마찬가지로, 에너지 함수 등을 이용하여 분리 정밀도가 나쁜 화소의 확산 반사 성분 또는 경면 반사 성분을, 분리 정밀도가 좋은 화소의 확산 반사 성분 또는 경면 반사 성분으로 치환할 수도 있다.
또한, 본 실시의 형태 2에 따른 화상 평가 장치(2)를 화상 처리 장치로서 구성하고, 실시의 형태 1에 따른 화상 처리 장치(1)와 조합하여 이용할 수도 있다. 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 실시의 형태 1에 따른 화상 처리 장치(1)에 의해 화소 단위로 평가하고, 본 실시의 형태 2에 따른 화상 처리 장치에 의해 화상 전체로 평가함으로써, 보다 적절히 분리 정밀도를 평가할 수 있다.
이상, 설명한 바와 같이, 본 실시의 형태 2에 따른 화상 처리 장치(2)는 평가부(170, 180)는 결합 화상과, 필터 처리한 입력 화상과의 PSNR값을 산출하고, PSNR값과 소정의 문턱값을 비교하여 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 것이 바람직하다.
이러한 구성에 의해, 화상 전체의 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가할 수 있다.
또한, 본 실시의 형태 2에 따른 화상 처리 장치(2)는 PSNR값이 소정의 문턱값 보다 작을 때, 필터 처리부에서 이용하는 필터의 강도를 변경하여 PSNR값을 다시 산출하도록 판정하는 반복 판정부(190)를 더 구비하고, 평가부(170, 180)는 필터의 강도를 소정값 이상으로 하더라도, PSNR값이 소정의 문턱값 보다 작을 때, 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도가 나쁘다고 평가하는 것이 바람직하다.
이러한 구성에 의해, 화상 전체의 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 보다 적절히 평가할 수 있다.
(실시의 형태 3)
실시의 형태 1, 2에 따른 화상 처리 장치, 화상 평가 장치 등은 필터 처리한 입력 화상과 결합 화상에 기초하여 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하였지만, 본 실시의 형태 3에 따른 화상 평가 장치 또는 화상 평가 방법은 입력 화상과 확산 반사 성분 화상 또는 경면 반사 성분 화상을 주파수 해석하여 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 것이다.
이하, 본 실시의 형태 3에 따른 화상 평가 장치 및 화상 평가 방법에 대해 화상 평가 장치의 구성에 입각하여 설명한다.
먼저, 도 14는 본 실시의 형태 3에 따른 화상 처리 방법의 동작의 일 예를 나타낸다.
도 14를 참조하면, 스텝 S1410에서, 화상 처리 장치는 입력 화상의 화소마다 확산 반사 성분 또는 경면 반사 성분을 산출할 수 있다.
스텝 S1420에서, 화상 처리 장치는, 입력 화상과, 산출된 확산 반사 성분에 기초한 확산 반사 성분 화상 및 산출된 경면 반사 성분에 기초한 경면 반사 성분 화상에 주파수 해석을 수행하고, 각각의 주파수 특성을 산출할 수 있다.
스텝 S1430에서, 화상 처리 장치는, 입력 화상의 주파수 특성, 확산 반사 성분 화상의 주파수 특성 및 경면 반사 성분 화상의 주파수 특성에 기초하여, 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가할 수 있다.
도 15는 본 실시의 형태 3에 따른 화상 평가 장치(3)의 개략 구성을 나타내는 블록도이다.
화상 평가 장치(3)는 화상 입력부(210), 성분 산출부(220), 해석부(230), 정밀도 평가부(240) 등을 구비하고 있다.
화상 입력부(210)는 화상 평가 장치(3)의 외부 등으로부터 화상을 입력받고, 이 입력 화상을 성분 산출부(220) 등으로 출력한다.
성분 산출부(220)는 단일 입력 화상으로부터 확산 반사 성분 또는 경면 반사 성분을 산출하고, 해석부(230) 등으로 출력한다. 확산 반사 성분 또는 경면 반사 성분의 산출은 실시의 형태 1, 2와 동일하게 수행할 수 있다.
해석부(230)는 입력 화상과 확산 반사 성분 화상 또는 경면 반사 성분 화상에 각각 2차원 고속 푸리에 변환(FFT：Fast Fourier Transform)을 수행하고, 그 결과를 파워 스펙트럼화하여 정밀도 평가부(240)로 출력한다.
도 17은 본 실시의 형태 3에 따른 파워 스펙트럼을 설명하기 위한 도면이다.
도 17의 1700A에서, 1710은 입력 화상, 1720은 입력 화상의 FFT 화상 및 1730은 파워 스펙트럼을 나타내고, 도 17의 1700B에서, 1740은 확산 반사 성분 화상, 1750은 확산 반사 성분 화상의 FFT 화상 및 1760은 파워 스펙트럼을 나타낸다. 또한, 파워 스펙트럼의 횡축은 주파수를 나타내고, 종축은 파워값을 나타낸다.
확산 반사 성분 화상 1740의 파워 스펙트럼 1760은 입력 화상 1710의 파워 스펙트럼 1730과 비교하면, 피크수가 많고, 또한 대부분의 주파수에서 파워값이 크기 때문에, 확산 반사 성분 화상이 입력 화상 보다 많은 고주파 성분을 포함하고 있음을 알 수 있다. 이는 당해 확산 반사 성분의 분리 정밀도가 좋지 않음을 나타낸다.
정밀도 평가부(240)는 입력 화상에 기초한 파워 스펙트럼과 확산 반사 성분 화상 또는 경면 반사 성분 화상에 기초한 파워 스펙트럼을 비교하여 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하고, 그 결과를 화상 평가 장치(3)의 외부로 출력한다. 이 때, 정밀도 평가부(240)는 상술한 바와 같이, 파워 스펙트럼의 피크수(파워 스펙트럼의 형상), 파워값 등에 기초하여 분리 정밀도를 평가한다.
또한 본 실시의 형태 3에 따른 화상 평가 장치(3), 화상 평가 방법을 화상 처리 장치, 화상 처리 방법으로서 구성할 수도 있다.
또한, 본 실시의 형태 3에 따른 화상 평가 장치(3)에서는 실시의 형태 1과 마찬가지로, 확산 반사 성분, 경면 반사 성분의 양측 모두를 각각 산출할 수도 있고, 에너지 함수 등을 이용하여 분리 정밀도가 나쁜 화소의 확산 반사 성분 또는 경면 반사 성분을, 분리 정밀도가 좋은 화소의 확산 반사 성분 또는 경면 반사 성분으로 치환할 수도 있다.
또한, 본 실시의 형태 3에 따른 화상 평가 장치(3)를 화상 처리 장치로서 구성하고, 실시의 형태 1에 따른 화상 처리 장치(1) 또는 실시의 형태 2에 따른 화상 처리 장치의 적어도 하나와 조합하여 이용할 수도 있다. 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를, 실시의 형태 1에 따른 화상 처리 장치(1)에 의해 화소 단위로 평가하고, 본 실시의 형태 2, 3에 따른 화상 처리 장치에 의해 화상 전체로 평가함으로써, 보다 적절히 분리 정밀도를 평가할 수 있다.
이 때, 당해 조합한 화상 처리 장치는 확산 반사 성분 화상 또는 경면 반사 성분 화상에 기초한 파워 스펙트럼의 피크수, 파워값 등의 파워 스펙트럼 파라미터와 당해 화상에 대해 필터 처리하는데 적합한 필터의 계수 k(또는 필터 강도)를 대응지어 파워 스펙트럼 파라미터-필터 계수 쌍(251)을 계수 저장부(250)에 미리 복수개 기억해 둘 수도 있다. 계수 저장부(250)는 예를 들어 계수 결정부(140) 의 일부 일 수 있다. 도 16을 참조하면, 파워 스펙트럼 파라미터-필터 계수 쌍 (251)은 파워 스펙트럼의 피크수, 파워 스펙트럼의 파워값, 및 필터 계수를 포함한다. 이 파워 스펙트럼 파라미터-필터 계수 쌍(251)은, 예컨대, 실험적으로 구할 수 있다.
그리고, 새로운 화상을 입력하였을 때, 해석부가 당해 입력 화상의 확산 반사 성분 화상 또는 경면 반사 성분 화상에 기초한 파워 스펙트럼을 산출하고, 계수 결정부(140)가 산출한 파워 스펙트럼의 피크수, 파워값 등과 유사한 피크수, 파워값 등을 대응지은 파워 스펙트럼 파라미터-필터계수 쌍(251) 중에서 검색하여 당해 확산 반사 성분 화상 또는 경면 반사 성분 화상에 적절한 필터의 계수 k를 결정하게 할 수도 있다.
도 18은 본 실시의 형태 3에 따른 파워 스펙트럼을 설명하기 위한 별도의 도면이다.
도 18의 1800A의 1810은 제1입력 화상, 1820은 제1입력 화상의 FFT 화상 및 1830은 파워 스펙트럼을 나타낸다. 도 18의 1800B의 1840은 제2입력 화상, 1850은 제2입력 화상의 FFT 화상 및 1860은 파워 스펙트럼을 나타낸다.
도 18의 제1입력 화상의 파워 스펙트럼 1830은 제2입력 화상의 스펙트럼 1860보다 피크수가 많고, 또한 전체적으로 파워값이 높으며, 고주파 성분이 많으므로, 계수 결정부(140)는 파워 스펙트럼 파라미터-필터 계수 쌍 (251)에 기초하여 도 14의 제1입력 화상에 대해서는 고주파 성분을 너무 강조하지 않는 필터의 계수 k를 작게 결정하고, 도 14의 제2입력 화상에 대해서는 고주파 성분을 강조하는 필터의 계수 k를 크게 결정한다.
이상, 설명한 바와 같이, 본 실시의 형태 3에 따른 화상 처리 장치(3)는 입력 화상과 확산 반사 성분 화상 또는 경면 반사 성분 화상에 주파수 해석을 수행하고, 각각의 화상의 주파수 특성을 산출하는 해석부(230)와, 입력 화상의 주파수 특성과, 확산 반사 성분 화상 또는 경면 반사 성분 화상의 주파수 특성에 기초하여, 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 제2의 평가부(240)를 구비하는 것이 바람직하다.
이러한 구성에 의해, 화상 전체의 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 간단하게 평가할 수 있다.
또한, 본 실시의 형태 3에 따른 화상 처리 장치(3)는 필터 처리부(140, 150)는 확산 반사 성분 화상 또는 경면 반사 성분 화상의 주파수 특성과, 필터 처리에 이용하는 필터의 강도를 미리 대응시켜 복수개 기억하고, 해석부(230)가 산출한 확산 반사 성분 화상 또는 경면 반사 성분 화상의 주파수 특성에 기초하여 필터 처리에 이용하는 필터의 강도를 결정하는 것이 바람직하다.
이러한 구성에 의해, 확산 반사 성분 화상, 경면 반사 성분 화상 등에 필터 처리할 때의 필터의 강도를 간단하게 결정할 수 있다.
또한, 본 실시의 형태 3에 따른 화상 처리 장치(3)는 입력 화상의 화소마다 확산 반사 성분 또는 경면 반사 성분을 산출하는 성분 산출부(220)와, 입력 화상과 확산 반사 성분 화상 또는 경면 반사 성분 화상에 주파수 해석을 수행하고, 각각의 주파수 특성을 산출하는 해석부(230)와, 입력 화상의 주파수 특성과, 확산 반사 성분 화상 또는 경면 반사 성분 화상의 주파수 특성에 기초하여 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 평가하는 평가부(240)를 구비한다.
이러한 구성에 의해, 확산 반사 성분 또는 경면 반사 성분의 분리 정밀도를 간단하게 평가할 수 있다.
이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (19)

  1. 입력 화상의 화소마다 확산 반사 성분과 경면 반사 성분을 산출하는 성분 산출부;
    상기 산출된 확산 반사 성분에 기초한 확산 반사 성분 화상, 상기 산출된 경면 반사 성분에 기초한 경면 반사 성분 화상 및 상기 입력 화상에 각각 필터 처리를 수행하는 필터 처리부;
    상기 필터 처리한 확산 반사 성분 화상과, 상기 필터 처리한 경면 반사 성분 화상을 결합하여 결합 화상을 생성하는 성분 결합부; 및
    상기 결합 화상과, 상기 필터 처리한 입력 화상에 기초하여, 상기 확산 반사 성분 또는 상기 경면 반사 성분의 분리 정밀도를 평가하는 평가부;를 구비하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 평가부는,
    상기 결합 화상과, 상기 필터 처리한 입력 화상과의 차분값을 상기 화소마다 산출하고,
    상기 차분값과 소정의 문턱값을 비교하여 상기 분리 정밀도를 평가하는 화상 처리 장치.
  3. 제2항에 있어서,
    상기 평가부가 상기 확산 반사 성분 또는 상기 경면 반사 성분을 수정하는 것으로 판단한 화소마다 상기 확산 반사 성분 또는 상기 경면 반사 성분의 수정값을 산출하는 수정값 산출부; 및
    상기 수정값을 이용하여 상기 확산 반사 성분 또는 상기 경면 반사 성분을 수정하는 성분 수정부;를 더 구비하고,
    상기 성분 산출부는 상기 입력 화상, 상기 수정한 경면 반사 성분 또는 상기 수정한 확산 반사 성분에 기초하여 상기 확산 반사 성분 및 상기 경면 반사 성분을 산출하고,
    상기 평가부는 상기 차분값이 상기 소정의 문턱값 이상의 화소의 상기 확산 반사 성분 또는 상기 경면 반사 성분을 수정하는 것으로 판단하는 화상 처리 장치.
  4. 제1항에 있어서,
    상기 평가부는,
    상기 필터 처리한 확산 반사 성분 화상 또는 상기 필터 처리한 경면 반사 성분 화상의 각 화소값이 부 인지 여부에 따라 상기 분리 정밀도를 평가하는 화상 처리 장치.
  5. 제4항에 있어서,
    상기 평가부가 상기 확산 반사 성분 또는 상기 경면 반사 성분을 수정하는 것으로 판단한 화소마다 상기 확산 반사 성분 또는 상기 경면 반사 성분의 수정값을 산출하는 수정값 산출부; 및
    상기 수정값을 이용하여 상기 확산 반사 성분 또는 상기 경면 반사 성분을 수정하는 성분 수정부;를 더 구비하고,
    상기 성분 산출부는 상기 입력 화상, 상기 수정한 경면 반사 성분 또는 상기 수정한 확산 반사 성분에 기초하여 상기 확산 반사 성분 및 상기 경면 반사 성분을 산출하고,
    상기 평가부는 상기 필터 처리한 확산 반사 성분 화상 또는 상기 필터 처리한 경면 반사 성분 화상의 화소값이 부인 화소의 상기 확산 반사 성분 또는 상기 경면 반사 성분을 수정하는 것으로 판단하는 화상 처리 장치.
  6. 제3항 또는 제5항에 있어서,
    상기 수정값 산출부는,
    상기 수정하는 것으로 판단한 화소의 주변 화소 중 소정의 조건을 충족하는 주변 화소의 상기 확산 반사 성분 또는 상기 경면 반사 성분을 상기 수정값으로서 산출하는 화상 처리 장치.
  7. 제6항에 있어서,
    상기 소정의 조건은,
    상기 입력 화상에 있어서의 상기 수정하는 것으로 판단한 화소의 화소값과 상기 주변 화소의 화소값과의 차분, 및
    상기 주변 화소에 있어서의 상기 필터 처리한 입력 화상의 화소값과 상기 결합 화상의 화소값과의 차분에 각각 소정의 계수를 곱한 값의 합계가 가장 작은 것인 화상 처리 장치.
  8. 제3항 또는 제5항에 있어서,
    상기 수정전 화소수가 소정값 이상, 또는 상기 수정후 화소수가 소정값 이하의 경우, 상기 성분 산출부에 의한 처리를 반복하게 하는 반복 판정부를 더 구비하는 화상 처리 장치.
  9. 제1항에 있어서,
    상기 평가부는,
    상기 결합 화상과, 상기 필터 처리한 입력 화상과의 PSNR값을 산출하고,
    상기 PSNR값과 소정의 문턱값을 비교하여 상기 분리 정밀도를 평가하는 화상 처리 장치.
  10. 제9항에 있어서,
    상기 PSNR값이 상기 소정의 문턱값 보다 작을 때, 상기 필터 처리부에서 이용하는 필터의 강도를 변경하여 PSNR값을 다시 산출하도록 판정하는 반복 판정부를 더 구비하고,
    상기 평가부는,
    필터의 강도를 소정값 이상으로 하더라도, 상기 PSNR값이 상기 소정의 문턱값 보다 작을 때, 상기 분리 정밀도가 낮다고 평가하는 화상 처리 장치.
  11. 제1항에 있어서,
    상기 필터 처리부는,
    상기 필터 처리에 고주파 강조 필터를 이용하는 화상 처리 장치.
  12. 제1항에 있어서,
    상기 입력 화상과, 상기 확산 반사 성분 화상 또는 상기 경면 반사 성분 화상에 주파수 해석을 수행하고, 각각의 화상의 주파수 특성을 산출하는 해석부; 및
    상기 입력 화상의 주파수 특성과, 상기 확산 반사 성분 화상 또는 상기 경면 반사 성분 화상의 주파수 특성에 기초하여, 상기 분리 정밀도를 평가하는 제2의 평가부;를 더 구비하는 화상 처리 장치.
  13. 제12항에 있어서,
    상기 필터 처리부는,
    상기 확산 반사 성분 화상 또는 상기 경면 반사 성분 화상의 주파수 특성과, 상기 필터 처리에 이용하는 필터의 강도를 미리 대응시켜 복수개 기억하고,
    상기 해석부가 산출한 상기 확산 반사 성분 화상 또는 상기 경면 반사 성분 화상의 주파수 특성에 기초하여 상기 필터 처리에 이용하는 필터의 강도를 결정하는 화상 처리 장치.
  14. 입력 화상의 화소마다 확산 반사 성분과 경면 반사 성분을 산출하는 동작;
    확산 반사 성분 화상, 경면 반사 성분 화상 및 상기 입력 화상에 각각 필터 처리를 수행하는 동작;
    상기 필터 처리한 확산 반사 성분 화상과, 상기 필터 처리한 경면 반사 성분 화상을 결합하여 결합 화상을 생성하는 동작; 및
    상기 결합 화상과, 상기 필터 처리한 입력 화상에 기초하여, 상기 확산 반사 성분 또는 상기 경면 반사 성분의 분리 정밀도를 평가하는 동작;을 포함하는 화상 처리 방법.
  15. 제14항에 있어서,
    상기 평가하는 동작은,
    상기 결합 화상과, 상기 필터 처리한 입력 화상과의 차분값을 상기 화소마다 산출하는 동작, 및
    상기 차분값과 소정의 문턱값을 비교하여 상기 분리 정밀도를 평가하는 동작을 포함하는, 화상 처리 방법.
  16. 제15항에 있어서,
    상기 확산 반사 성분 또는 상기 경면 반사 성분을 수정하는 것으로 판단한 화소마다 상기 확산 반사 성분 또는 상기 경면 반사 성분의 수정값을 산출하는 동작; 및
    상기 수정값을 이용하여 상기 확산 반사 성분 또는 상기 경면 반사 성분을 수정하는 동작을 더 포함하고,
    상기 성분 산출부 동작은,
    상기 입력 화상, 상기 수정한 경면 반사 성분 또는 상기 수정한 확산 반사 성분에 기초하여 상기 확산 반사 성분 및 상기 경면 반사 성분을 산출하는 동작을 포함하고,
    상기 평가 동작은,
    상기 차분값이 상기 소정의 문턱값 이상의 화소의 상기 확산 반사 성분 또는 상기 경면 반사 성분을 수정하는 것으로 판단하는 동작을 포함하는, 화상 처리 방법.
  17. 화상 처리 방법을 수행하는 프로그램이 저장된 기록 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 화상 처리 방법은,
    입력 화상의 화소마다 확산 반사 성분과 경면 반사 성분을 산출하는 동작;
    확산 반사 성분 화상, 경면 반사 성분 화상 및 상기 입력 화상에 각각 필터 처리를 수행하는 동작;
    상기 필터 처리한 확산 반사 성분 화상과, 상기 필터 처리한 경면 반사 성분 화상을 결합하여 결합 화상을 생성하는 동작; 및
    상기 결합 화상과, 상기 필터 처리한 입력 화상에 기초하여, 상기 확산 반사 성분 또는 상기 경면 반사 성분의 분리 정밀도를 평가하는 동작;을 포함하는, 컴퓨터 프로그램 제품.
  18. 제17항에 있어서,
    상기 평가하는 동작은,
    상기 결합 화상과, 상기 필터 처리한 입력 화상과의 차분값을 상기 화소마다 산출하는 동작, 및
    상기 차분값과 소정의 문턱값을 비교하여 상기 분리 정밀도를 평가하는 동작을 포함하는, 컴퓨터 프로그램 제품.
  19. 제18항에 있어서,
    상기 화상 처리 방법은,
    상기 확산 반사 성분 또는 상기 경면 반사 성분을 수정하는 것으로 판단한 화소마다 상기 확산 반사 성분 또는 상기 경면 반사 성분의 수정값을 산출하는 동작; 및
    상기 수정값을 이용하여 상기 확산 반사 성분 또는 상기 경면 반사 성분을 수정하는 동작을 더 포함하고,
    상기 성분 산출부 동작은,
    상기 입력 화상, 상기 수정한 경면 반사 성분 또는 상기 수정한 확산 반사 성분에 기초하여 상기 확산 반사 성분 및 상기 경면 반사 성분을 산출하는 동작을 포함하고,
    상기 평가 동작은,
    상기 차분값이 상기 소정의 문턱값 이상의 화소의 상기 확산 반사 성분 또는 상기 경면 반사 성분을 수정하는 것으로 판단하는 동작을 포함하는,컴퓨터 프로그램 제품.
KR1020170153968A 2016-11-28 2017-11-17 화상 처리 장치, 화상 처리 방법 및 화상 처리 방법이 기록된 컴퓨터 판독가능 기록 매체 KR102342283B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2017/013596 WO2018097677A1 (en) 2016-11-28 2017-11-27 Image processing apparatus, image processing method, and computer-readable recording medium thereof
EP17874192.2A EP3488412B1 (en) 2016-11-28 2017-11-27 Image processing apparatus, image processing method, and computer-readable recording medium thereof
US15/824,487 US10497106B2 (en) 2016-11-28 2017-11-28 Image processing apparatus, image processing method, and computer-readable recording medium having recorded thereon a program for performing the image processing method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2016-230013 2016-11-28
JP2016230013 2016-11-28
JP2017171392A JP2018092597A (ja) 2016-11-28 2017-09-06 画像処理装置、画像処理方法及び画像処理プログラム
JPJP-P-2017-171392 2017-09-06

Publications (2)

Publication Number Publication Date
KR20180060989A true KR20180060989A (ko) 2018-06-07
KR102342283B1 KR102342283B1 (ko) 2021-12-22

Family

ID=79164014

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170153968A KR102342283B1 (ko) 2016-11-28 2017-11-17 화상 처리 장치, 화상 처리 방법 및 화상 처리 방법이 기록된 컴퓨터 판독가능 기록 매체

Country Status (1)

Country Link
KR (1) KR102342283B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007174689A (ja) * 2005-09-09 2007-07-05 Matsushita Electric Ind Co Ltd 画像処理装置
US7689035B2 (en) * 2005-06-17 2010-03-30 The Regents Of The University Of California Methods for identifying, separating and editing reflection components in multi-channel images and videos
JP2013065215A (ja) * 2011-09-16 2013-04-11 Toshiba Corp 画像処理装置及び画像処理方法
JP5247910B1 (ja) * 2012-03-30 2013-07-24 Ｅｉｚｏ株式会社 画像表示装置またはその方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7689035B2 (en) * 2005-06-17 2010-03-30 The Regents Of The University Of California Methods for identifying, separating and editing reflection components in multi-channel images and videos
JP2007174689A (ja) * 2005-09-09 2007-07-05 Matsushita Electric Ind Co Ltd 画像処理装置
JP2013065215A (ja) * 2011-09-16 2013-04-11 Toshiba Corp 画像処理装置及び画像処理方法
JP5247910B1 (ja) * 2012-03-30 2013-07-24 Ｅｉｚｏ株式会社 画像表示装置またはその方法

Also Published As

Publication number Publication date
KR102342283B1 (ko) 2021-12-22

Similar Documents

Publication Publication Date Title
EP2962278B1 (en) Multi-spectral imaging system for shadow detection and attenuation
JP3810776B2 (ja) ディジタル画像中の赤目を検出し補正する方法
US7747071B2 (en) Detecting and correcting peteye
US9053537B2 (en) Classifier for use in generating a diffuse image
US8577150B2 (en) System and method for removing specularity from an image
US8483480B2 (en) Method and system for factoring an illumination image
US9396411B2 (en) Method and system for generating intrinsic images using a single reflectance technique
CN110717865B (zh) 图片检测方法及装置
US9092693B2 (en) Image processing apparatus and method
US10497106B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium having recorded thereon a program for performing the image processing method
Abebe et al. Towards an automatic correction of over-exposure in photographs: Application to tone-mapping
US9384561B2 (en) Method of selecting a region of interest
US9754155B2 (en) Method and system for generating intrinsic images using a single reflectance technique
KR20180060989A (ko) 화상 처리 장치, 화상 처리 방법 및 화상 처리 방법이 기록된 컴퓨터 판독가능 기록 매체
EP3488412B1 (en) Image processing apparatus, image processing method, and computer-readable recording medium thereof
KR101772626B1 (ko) 단일 영상으로부터 반사성분을 분리하는 방법 및 그 방법에 따른 영상처리 장치
CN110674828A (zh) 一种归一化眼底图像的方法和装置
WO2021201205A1 (ja) 表面状態の評価方法、表面状態の評価装置、及び、プログラム
Zeng et al. Modelling skin colours for preferred colour reproduction
Chen et al. Quantitative evaluation of a new gamma correction method for endoscopic image improvement
Alavi et al. A new contrast enhancement method for Color dark and low-light images
Manabe et al. Glossy appearance editing for heterogeneous material objects (JIST-first)
Liu et al. Image De-hazing Based on Polynomial Estimation and Steepest Descent Concept
JP2021157566A (ja) 画像処理装置
George et al. Automatic Redeye Correction Algorithm with Multilevel Eye Confirmation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right