KR101668829B1 - 공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치 - Google Patents

공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치 Download PDF

Info

Publication number
KR101668829B1
KR101668829B1 KR1020100036954A KR20100036954A KR101668829B1 KR 101668829 B1 KR101668829 B1 KR 101668829B1 KR 1020100036954 A KR1020100036954 A KR 1020100036954A KR 20100036954 A KR20100036954 A KR 20100036954A KR 101668829 B1 KR101668829 B1 KR 101668829B1
Authority
KR
South Korea
Prior art keywords
texture
signal
pattern
image data
frequency domain
Prior art date
Application number
KR1020100036954A
Other languages
English (en)
Other versions
KR20110117474A (ko
Inventor
홍지영
최서영
이호영
로니어 루오 엠.
웨스트랜드 스티븐
장 비엔
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100036954A priority Critical patent/KR101668829B1/ko
Publication of KR20110117474A publication Critical patent/KR20110117474A/ko
Application granted granted Critical
Publication of KR101668829B1 publication Critical patent/KR101668829B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

영상 데이터에 인간 시각 특성이 반영된 텍스처를 향상시키기 위한 텍스처 향상 방법 및 장치가 개시된다. 텍스처 향상 장치는 영상 데이터를 LMS 콘 신호로 변경하고, 변경된 LMS 콘 신호로부터 밝기신호를 추출하여 추출된 밝기신호를 주파수 영역으로 변환하고, 변환된 주파수 영역에 텍스처 패턴을 적용함으로써, 텍스처가 향상된 영상 데이터를 생성한다.

Description

공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치{TEXTURE ENHANCEMENT METHOD AND APPARATUS REFLECTED HUMAN VISUAL CHARACTERISTIC ON SPATIAL FREQUENCY}
본 발명의 일실시예는 디지털 텔레비전, 디지털 카메라 등에서 생성되는 디지털 영상을 디스플레이하는 방법 및 장치에 관한 것이다.
원본 오브젝트(Object)가 디스플레이되거나, 또는 이미지 캡쳐 시스템(Image Capture System)을 거쳐서 영상으로 변환된 후에는 원본 오브젝트와 달리 장치 또는 카메라, 즉, 이미지 캡쳐 시스템의 문제점으로 인해 원본 오브젝트와 상이하게 표현되는 경우가 많다.
특히, 텍스처(Texture) 특성을 가진 영상의 경우에는 원본 오브젝트의 텍스처를 재현하지 못하고, 흐릿한 형체(Blurring)가 하나의 인공물(artifact)로 작용하여 화질 열화에 영향을 끼친다. 예컨대, 흐릿한 영상이 디스플레이되는 경우, 화질 평가 시 가장 민감하게 판단될 수 있는 한가지 요소로 작용될 수 있다.
이에 따라, 텍스처 영역 향상을 위한 텍스처 향상 방법으로 이미 여러 가지 방법이 연구 개발되고 있다. 그러나, 종래의 텍스처 향상 방법은 기하학적 속성만을 고려하여 단순한 디지털 필터(Digital Filter)를 이용한 선명도나 에지 향상을 통해 영상 처리가 이루어졌다. 이러한, 종래 방법은 인간 시지각 특성이 고려되지 않고, 텍스처 영역이 처리됨으로써, 선명도나 에지 향상 만으로 텍스처를 향상시키는 데에는 그 한계가 있다.
본 발명의 일실시예에 따른 텍스처 향상 장치는 영상 데이터를 LMS 콘 신호로 변경하는 인간 시지각 신호 변환부, 상기 LMS 콘 신호로부터 밝기정보를 추출하고, 상기 추출된 밝기정보를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에 텍스처 패턴을 적용하는 자연성 향상부, 및 상기 텍스처 패턴이 적용되어 텍스처가 향상된 영상 데이터를 제공하는 영상 제공부를 포함한다.
이때, 상기 텍스처 향상 장치는 상기 영상 데이터를 sRGB 신호에서 XYZ 신호로 변환하는 색공간 변환부를 더 포함할 수 있다.
이때, 상기 인간 시지각 신호 변환부는 Smith-Pokorny 변환 메트릭스를 이용하여 상기 변환된 XYZ 신호를 LMS 콘 신호로 변경할 수 있다. 이 경우, 상기 자연성 향상부는 상기 변경된 LMS 콘 신호로부터 밝기정보와 색차정보를 분리하는 밝기/색차 분리부를 포함할 수 있다.
또한, 상기 자연성 향상부는 상기 추출된 밝기정보를 이용하여 상기 영상 데이터에 대한 평균 밝기값을 계산하고, 상기 영상 데이터에 포함된 각 픽셀에서 상기 계산된 평균 밝기값을 제거하는 DC 성분 제거부를 더 포함할 수 있다.
또한, 상기 자연성 향상부는 상기 평균 밝기값이 제거된 밝기정보를 CPD(Cycle Per Degree) 단위의 푸리에 진폭 스팩트럼으로 변환하는 주파수 영역 변환부를 더 포함할 수 있다.
또한, 상기 자연성 향상부는 상기 변환된 주파수 영역에 '규칙 텍스처 패턴' 또는 '불규칙 텍스처 패턴'을 적용하는 패턴 적용부를 포함할 수 있다. 이때, 상기 자연성 향상부는 상기 주파수 영역으로 변환된 수평 공간 주파수 또는 수직 공간 주파수에서 중심 주파수를 차감한 차이값을 가우시안형 향상 필터의 표준편차로 나눈 지수함수에 변수를 적용하여 상기 변환된 주파수 영역에 규칙 텍스처 패턴을 적용할지 또는 불규칙 텍스처 패턴을 적용할지 여부를 설정하는 패턴 설정부를 더 포함할 수 있다.
이 경우, 상기 패턴 설정부는 상기 변수와 상기 중심 주파수를 변경하여, 상기 변환된 주파수 영역에 규칙 텍스처 패턴을 적용할지 또는 불규칙 텍스처 패턴을 적용할지 여부를 설정하고, 상기 패턴 적용부는 상기 패턴 설정부에 의해 설정된 텍스처 패턴을 상기 변환된 주파수 영역에 적용할 수 있다.
또한, 상기 자연성 향상부는 상기 텍스처 패턴을 적용한 주파수 영역을 역변환하는 주파수 영역 역변환부, 상기 역변환된 밝기정보에 평균 밝기값을 합성하는 DC 성분 복원부, 및 상기 평균 밝기값이 각 픽셀에 합성된 밝기정보에 색차정보를 합성하는 밝기/색차 합성부를 포함할 수 있다.
상기 텍스처 향상 장치는 상기 텍스처 패턴이 적용되어 텍스처가 향상된 영상 데이터에 관한 XYZ 신호를 sRGB 신호로 역변환하는 색공간 역변환부를 더 포함할 수 있다. 상기 영상 제공부는 상기 sRGB 신호로 역변환된 영상 데이터를 제공할 수 있다.
본 발명의 일실시예에 따른 텍스처 향상 방법은 영상 데이터를 LMS 콘 신호로 변경하는 단계, 상기 변경된 LMS 콘 신호로부터 밝기정보를 추출하는 단계, 상기 추출된 밝기정보를 주파수 영역으로 변환하는 단계, 상기 변환된 주파수 영역에 텍스처 패턴을 적용하는 단계, 및 상기 텍스처 패턴이 적용되어 텍스처가 향상된 영상 데이터를 제공하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, 인간 시지각 특성을 고려하여 밝기 성분을 제어함으로써, 영상 데이터에서 텍스처 영역의 특성을 증대시킬 수 있다.
본 발명의 일실시예에 따르면, 가시광 영역의 장, 중, 단 파장에 대한 인간 시각의 민감도를 반영하는 LMS 콘 신호를 사용하여 영상 데이터로부터 밝기정보를 분리한 후, 분리된 밝기정보를 이용하여 밝기정보의 특정 공간 주파수 영역의 성분을 향상시킴으로써, 특정 텍스처 영역을 향상시킬 수 있다.
본 발명의 일실시예에 따르면, 주파수 영역으로 변환된 밝기신호에 따라 규칙 텍스처 패턴 또는 불규칙 텍스처 패턴을 적절히 적용하여, 텍스처가 향상된 영상 데이터를 생성할 수 있다.
도 1은 본 발명의 일실시예에 따른 텍스처 향상 장치의 구성을 도시한 블록도이다.
도 2는 텍스처 향상 장치에 포함된 자연성 향상부의 상세 구성을 도시한 도면이다.
도 3은 규치 텍스처 패턴의 일례를 도시한 도면이다.
도 4는 불규칙 텍스처 패턴의 일례를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 텍스처 향상 방법의 순서를 도시한 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
텍스처 영역의 인간 시각 특성을 파악하기 위해, 영상 처리에서 일반적으로 사용하는 HVS(Human Visual System) 모델은 영상 데이터를 공간 주파수에 대한 밴드 제한 신호(band-limited signal)로 분해해서 처리한다. 이 때, 밴드 제한 신호는 채널이라고 할 수 있다. 또한, HVS는 공간 패턴에 대해 특정 공간 주파수와 방향에 선택적으로 반응한다. 즉, 프라이머리 비주얼 고어텍스 셀(Primary visual cortex cell)은 멀티 밴드 신호(multi-band signal)에 대해 적응적으로 튜닝하는 특성을 가지고 있다. 이를 MBSF에 이용하면 텍스처의 특성에 따라 텍스처 인식에 중요한 밴드가 다르며 이러한 특성을 이용하여 텍스처 인식에 중요한 밴드를 강조함으로써 텍스처 영역의 인간 인식을 더욱 강조할 수 있다.
이러한 적응적 개념의 텍스처 향상 기법을 적용하기 위해, 본 발명의 텍스처 향상 장치(100)는 텍스처 향상분을 다르게 적용하여 인간 시지각에 적합한 텍스처를 향상하도록 한다.
도 1은 본 발명의 일실시예에 따른 텍스처 향상 장치의 구성을 도시한 블록도이다.
도 1을 참고하면, 텍스처 향상 장치(100)는 색공간 변환부(110), 인간 시지각 신호 변환부(120), 자연성 향상부(130), 색공간 역변환부(140), 및 영상 제공부(150)를 포함할 수 있다.
이미지 퀄러티 평가(Image Quality Evaluation) 중 가장 중요한 요소로 알려져 있는 "Naturalness"는 텍츠처 영역 향상 방법이 중요한 밴드로 알려져 있다. 본 발명에 텍스처 향상은 이미지 퀄러티와 관련이 있으므로, 이는 "Naturalness" 향상과 같은 의미로 해석될 수 있다.
따라서, 텍스처 향상, 즉, 자연성(Naturalness) 향상을 위해, 입력되는 영상 데이터를 "sRGB"로 가정하고, sRGB신호를 XYZ 신호로 변경한다. 즉, 색공간 변환부(110, sRGB to XYZ)는 영상 데이터를 입력받으면, 입력된 영상 데이터를 sRGB 신호에서 XYZ 신호로 변환한다.
일반적으로 sRGB 신호에서 XYZ 신호로 변경하는 방법은 아래와 같은 방법으로 변경할 수 있다.
var_R = ( R / 255 ) //R from 0 to 255
var_G = ( G / 255 ) //G from 0 to 255
var_B = ( B / 255 ) //B from 0 to 255
if ( var_R > 0.04045 ) var_R = ( ( var_R + 0.055 ) / 1.055 ) ^ 2.4
else var_R = var_R / 12.92
if ( var_G > 0.04045 ) var_G = ( ( var_G + 0.055 ) / 1.055 ) ^ 2.4
else var_G = var_G / 12.92
if ( var_B > 0.04045 ) var_B = ( ( var_B + 0.055 ) / 1.055 ) ^ 2.4
else var_B = var_B / 12.92
var_R = var_R * 100
var_G = var_G * 100
var_B = var_B * 100
X = var_R * 0.4124 + var_G * 0.3576 + var_B * 0.1805
Y = var_R * 0.2126 + var_G * 0.7152 + var_B * 0.0722
Z = var_R * 0.0193 + var_G * 0.1192 + var_B * 0.9505
인간 시지각 신호 변환부(120, Human Visual Perception Signal Change)는 Smith-Pokorny 변환 메트릭스를 이용하여 상기 변환된 XYZ 신호를 LMS 콘 신호로 변경한다.
즉, 인간 시지각을 을 바탕으로 설계된 콘 공간(Cone Space)에서는 밝기신호(휘도신호: Luminance Signal)와 색차신호(Chrominance Signal)를 분리하여 추출함으로써, 사람이 인지하는 밝기(Lightness)와 가장 근접한 밝기신호를 추출하는 것이 가능하다는 특성이 있다. 예컨대, 콘 공간(Cone Space)에서는 상기 변환된 XYZ 신호를 밝기신호(Lum = L + M)와 색차신호(Rg = L / (L + M) 또는 Yb = S / (L + M))로 분리하여 추출할 수 있다.
부가적으로, 인간 시지각 신호 변환부(120)는 Smith-Pokorny 변환 메트릭스 이외에도 여러 가지 다른 방법을 통해서도 상기 변환된 XYZ 신호를 LMS 콘 신호로 변경 가능하다.
자연성 향상부(130, Naturalness Enhancement)는 상기 LMS 콘 신호로부터 밝기신호를 추출하고, 상기 추출된 밝기신호를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에 텍스처 패턴을 적용한다.
도 2는 텍스처 향상 장치에 포함된 자연성 향상부의 상세 구성을 도시한 도면이다.
도 2를 참조하면, 자연성 향상부(130)는 밝기/색차 분리부(210), DC 성분 제거부(220), 주파수 영역 변환부(230), 패턴 적용부(240), 패턴 설정부(250), 주파수 영역 역변환부(260), DC 성분 복원부(270), 및 밝기/색차 합성부(280)를 포함할 수 있다.
밝기/색차 분리부(210)는 상기 변경된 LMS 콘 신호로부터 밝기신호와 색차신호를 분리한다.
DC 성분 제거부(220)는 상기 분리된 밝기신호를 이용하여 상기 영상 데이터에 대한 평균 밝기값(Average Luminance)를 계산하고, 영상 데이터에 포함된 각 픽셀(pixel)에서 상기 평균 밝기값을 제거한다. 이는, 차후에 원본 영상 데이터의 밝기값을 유지하기 위하여 사용하는 방법이다.
주파수 영역 변환부(230)는 상기 평균 밝기값이 제거된 밝기신호를 CPD(Cycle Per Degree) 단위의 푸리에 진폭 스팩트럼(Fourier amplitude spectrum)으로 변환한다.
패턴 적용부(240)는 상기 변환된 주파수 영역에 '규칙 텍스처 패턴' 또는 '불규칙 텍스처 패턴'을 적용한다.
이하, 도 3 및 도 4를 참조하여 규칙 텍스터 패턴과 불규칙 텍스처 패턴을 설명한다.
도 3은 규치 텍스처 패턴의 일례를 도시한 도면이다.
도 3을 참조하면, 규칙 텍스처 패턴(Regular texture pattern)은 일정한 패턴이 있는 텍스처를 지칭한다.
도 4는 불규칙 텍스처 패턴의 일례를 도시한 도면이다.
도 4를 참조하면, 불규칙 텍스처 패턴(Irregular texture pattern)은 일정하지 않은 텍스처 패턴을 나타내는 것을 의미한다.
이러한, 규칙 텍스처 패턴과 불규칙 텍스처 패턴은 각각 상이한 텍스처 향상분을 적용하기 위해 사용된다.
패턴 설정부(250)는 상기 주파수 영역으로 변환된 수평 공간 주파수 또는 수직 공간 주파수에서 중심 주파수를 차감한 차이값을 가우시안형 향상 필터의 표준편차로 나눈 지수함수에 변수를 적용하여 상기 변환된 주파수 영역에 규칙 텍스처 패턴을 적용할지 또는 불규칙 텍스처 패턴을 적용할지 여부를 설정한다.
예컨대, 패턴 설정부(250)는 이하 수학식 1을 이용하여 상기 변환된 주파수 영역에 규칙 텍스처 패턴을 적용할지 또는 불규칙 텍스처 패턴을 적용할지 여부를 설정한다.
Figure 112010025570510-pat00001
'u'는 수평 공간 주파수, 'v'는 수직 공간 주파수, 'f'는 중심 주파수, 'a'는 변수(scale factor), 's'는 가우시안형 향상 필터의 표준편차(the standard deviation of the Gaussian-shaped enhancement filter)이다.
실시예로, 패턴 설정부(250)는 상기 변수와 상기 중심 주파수를 변경하여, 상기 변환된 주파수 영역에 규칙 텍스처 패턴을 적용할지 또는 불규칙 텍스처 패턴을 적용할지 여부를 설정할 수 있다. 예를들어, 패턴 설정부(250)는 규칙 텍스처 패턴인 경우, 변수를 '0.6', 중심 주파수를 '3cpd'로 설정할 수 있다. 또는, 패턴 설정부(250)는 불규칙 텍스터 패턴인 경우, 변수를 '0.2', 중심 주파수를 '10cpd'로 설정할 수 있다.
따라서, 패턴 적용부(240)는 패턴 설정부(250)에 의해 설정된 텍스처 패턴(규칙 텍스처 패턴 또는 불규칙 텍스처 패턴)을 상기 변환된 주파수 영역에 적용할 수 있다.
주파수 역변환부(260)는 상기 텍스처 패턴을 적용한 주파수 영역을 역변환한다.
DC 성분 복원부(270)는 상기 역변환된 밝기신호에 평균 밝기값을 합성한다. 상기에서 DC 성분 제거부(220)를 통해 영상 데이터에 포함된 각 픽셀에서 제거되었던 평균 밝기값을 DC 성분 복원부(270)에서 각 픽셀에 평균 밝기값을 다시 합성해주는 것이다. 이는, 영상 데이터의 원래 밝기값을 유지하기 위한 것이다.
밝기/색차 합성부(280)는 상기 평균 밝기값이 각 픽셀에 합성된 밝기신호에 색차신호를 합성한다. 상기에서 밝기/색차 분리부(210)를 통해 분리되었던 밝기신호와 색차신호를 밝기/색차 합성부(280)에서 다시 합성해주는 것이다.
색공간 역변환부(140, XYZ to sRGB)는 상기 텍스처 패턴이 적용되어 텍스처가 향상된 영상 데이터에 관한 XYZ 신호를 sRGB 신호로 역변환한다.
최종적으로, 영상 제공부(150)는 상기 sRGB 신호로 역변환된 영상 데이터를 제공한다.
도 5는 본 발명의 일실시예에 따른 텍스처 향상 방법의 순서를 도시한 흐름도이다.
도 5를 참조하면, 단계 510에서 텍스처 향상 장치(200)는 영상 데이터를 LMS 콘 신호로 변경한다. 그 전에, 텍스처 향상 장치(200)는 상기 영상 데이터를 sRGB 신호에서 XYZ 신호로 변환하고, 변환된 XYZ 신호를 LMS 콘 신호로 변경할 수 있다. 이때, 텍스처 향상 장치(200)는 Smith-Pokorny 변환 메트릭스 또는 여러 가지 다른 방법을 통해 상기 변환된 XYZ 신호를 LMS 콘 신호로 변경할 수 있다.
단계 520에서 텍스처 향상 장치(200)는 상기 변경된 LMS 콘 신호로부터 밝기신호를 추출한다. 텍스처 향상 장치(200)는 상기 변경된 LMS 콘 신호로부터 밝기신호와 색차신호를 분리하고, 상기 분리된 밝기신호를 이용하여 상기 영상 데이터에 대한 평균 밝기값(Average Luminance)를 계산하고, 영상 데이터에 포함된 각 픽셀(pixel)에서 상기 평균 밝기값을 제거한다. 이는, 차후에 원본 영상 데이터의 밝기값을 유지하기 위한 것이다.
단계 530에서 텍스처 향상 장치(200)는 상기 추출된 밝기신호를 주파수 영역으로 변환한다. 텍스처 향상 장치(200)는 상기 평균 밝기값이 제거된 밝기신호를 CPD(Cycle Per Degree) 단위의 푸리에 진폭 스팩트럼(Fourier amplitude spectrum)으로 변환할 수 있다.
단계 540에서 텍스처 향상 장치(200)는 상기 변환된 주파수 영역에 텍스처 패턴을 적용한다. 예컨대, 텍스처 향상 장치(200)는 상기 변환된 주파수 영역에 '규칙 텍스처 패턴' 또는 '불규칙 텍스처 패턴'을 적용할 수 있다. 텍스처 향상 장치(200)는 상기 주파수 영역으로 변환된 수평 공간 주파수 또는 수직 공간 주파수에서 중심 주파수를 차감한 차이값을 가우시안형 향상 필터의 표준편차로 나눈 지수함수에 변수를 적용하고(수학식 1을 이용하여), 상기 변수와 상기 중심 주파수를 가변하여 상기 변환된 주파수 영역에 규칙 텍스처 패턴을 적용할지 또는 불규칙 텍스처 패턴을 적용할지 여부를 설정할 수 있다. 따라서, 텍스처 향상 장치(200)는 상기 설정된 텍스처 패턴을 상기 변환된 주파수 영역에 적용하는 것이다.
단계 550에서 텍스처 향상 장치(200)는 상기 텍스처 패턴이 적용되어 텍스처가 향상된 영상 데이터를 제공한다. 이를 위해, 텍스처 향상 장치(200)는 상기 텍스처 패턴을 적용한 주파수 영역을 역변환하고, 상기 역변환된 밝기신호에 평균 밝기값을 합성한다. 또한, 텍스처 향상 장치(200)는 상기 평균 밝기값이 각 픽셀에 합성된 밝기신호에 색차신호를 합성한 후, 상기 텍스처 패턴이 적용되어 텍스처가 향상된 영상 데이터에 관한 XYZ 신호를 sRGB 신호로 역변환함으로써, 상기 sRGB 신호로 역변환된 영상 데이터를 제공할 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 텍스처 향상 장치
110: 색공간 변환부
120: 인간 시지각 변환부
130: 자연성 향상부
140: 색공간 역변환부
150: 영상 제공부

Claims (19)

  1. 영상 데이터를 LMS 콘 신호로 변경하는 인간 시지각 신호 변환부;
    상기 LMS 콘 신호로부터 밝기신호를 추출하고, 상기 추출된 밝기신호를 주파수 영역으로 변환하고, 상기 변환된 주파수 영역에 텍스처 패턴을 적용하는 자연성 향상부; 및
    상기 텍스처 패턴이 적용되어 텍스처가 향상된 영상 데이터를 제공하는 영상 제공부
    를 포함하고,
    상기 자연성 향상부는,
    상기 추출된 밝기신호를 이용하여 상기 영상 데이터에 대한 평균 밝기값을 계산하고, 상기 영상 데이터에 포함된 각 픽셀에서 상기 계산된 평균 밝기값을 제거하는 DC 성분 제거부 및
    상기 평균 밝기값이 제거된 밝기신호를 CPD(Cycle Per Degree) 단위의 푸리에 진폭 스팩트럼으로 변환하는 주파수 영역 변환부
    를 포함하는,
    텍스처 향상 장치.
  2. 제1항에 있어서,
    상기 영상 데이터를 sRGB 신호에서 XYZ 신호로 변환하는 색공간 변환부
    를 더 포함하는, 텍스처 향상 장치.
  3. 제2항에 있어서,
    상기 인간 시지각 신호 변환부는,
    Smith-Pokorny 변환 메트릭스를 이용하여 상기 변환된 XYZ 신호를 LMS 콘 신호로 변경하는, 텍스처 향상 장치.
  4. 제3항에 있어서,
    상기 자연성 향상부는,
    상기 변경된 LMS 콘 신호로부터 밝기신호와 색차신호를 분리하는 밝기/색차 분리부
    를 포함하는, 텍스처 향상 장치.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 자연성 향상부는,
    상기 변환된 주파수 영역에 '규칙 텍스처 패턴' 또는 '불규칙 텍스처 패턴'을 적용하는 패턴 적용부
    를 포함하는, 텍스처 향상 장치.
  8. 제7항에 있어서,
    상기 자연성 향상부는,
    상기 주파수 영역으로 변환된 수평 공간 주파수 또는 수직 공간 주파수에서 중심 주파수를 차감한 차이값을 가우시안형 향상 필터의 표준편차로 나눈 지수함수에 변수를 적용하여 상기 변환된 주파수 영역에 규칙 텍스처 패턴을 적용할지 또는 불규칙 텍스처 패턴을 적용할지 여부를 설정하는 패턴 설정부
    를 더 포함하는, 텍스처 향상 장치.
  9. 제8항에 있어서,
    상기 패턴 설정부는,
    상기 변수와 상기 중심 주파수를 변경하여, 상기 변환된 주파수 영역에 규칙 텍스처 패턴을 적용할지 또는 불규칙 텍스처 패턴을 적용할지 여부를 설정하고,
    상기 패턴 적용부는,
    상기 패턴 설정부에 의해 설정된 텍스처 패턴을 상기 변환된 주파수 영역에 적용하는, 텍스처 향상 장치.
  10. 제1항에 있어서,
    상기 자연성 향상부는,
    상기 텍스처 패턴을 적용한 주파수 영역을 역변환하는 주파수 영역 역변환부;
    상기 역변환된 밝기신호에 평균 밝기값을 합성하는 DC 성분 복원부; 및
    상기 평균 밝기값이 각 픽셀에 합성된 밝기신호에 색차신호를 합성하는 밝기/색차 합성부
    를 포함하는, 텍스처 향상 장치.
  11. 제1항에 있어서,
    상기 텍스처 패턴이 적용되어 텍스처가 향상된 영상 데이터에 관한 XYZ 신호를 sRGB 신호로 역변환하는 색공간 역변환부
    를 더 포함하고,
    상기 영상 제공부는,
    상기 sRGB 신호로 역변환된 영상 데이터를 제공하는, 텍스처 향상 장치.
  12. 영상 데이터를 LMS 콘 신호로 변경하는 단계;
    상기 변경된 LMS 콘 신호로부터 밝기신호를 추출하는 단계;
    상기 추출된 밝기신호를 주파수 영역으로 변환하는 단계;
    상기 변환된 주파수 영역에 텍스처 패턴을 적용하는 단계;
    상기 텍스처 패턴이 적용되어 텍스처가 향상된 영상 데이터를 제공하는 단계;
    상기 추출된 밝기신호를 이용하여 상기 영상 데이터에 대한 평균 밝기값을 계산하는 단계; 및
    상기 영상 데이터에 포함된 각 픽셀에서 상기 계산된 평균 밝기값을 제거하는 단계
    를 포함하고,
    상기 추출된 밝기신호를 주파수 영역으로 변환하는 단계는,
    상기 평균 밝기값이 제거된 밝기신호를 CPD(Cycle Per Degree) 단위의 푸리에 진폭 스팩트럼으로 변환하는 단계
    를 포함하는,
    텍스처 향상 방법.
  13. 제12항에 있어서,
    상기 영상 데이터를 sRGB 신호에서 XYZ 신호로 변환하는 단계
    를 더 포함하는, 텍스처 향상 방법.
  14. 삭제
  15. 삭제
  16. 제12항에 있어서,
    상기 변환된 주파수 영역에 텍스처 패턴을 적용하는 단계는,
    상기 변환된 주파수 영역에 '규칙 텍스처 패턴' 또는 '불규칙 텍스처 패턴'을 적용하는 단계
    를 포함하는, 텍스처 향상 방법.
  17. 제16항에 있어서,
    상기 변환된 주파수 영역에 텍스처 패턴을 적용하는 단계는,
    상기 주파수 영역으로 변환된 수평 공간 주파수 또는 수직 공간 주파수에서 중심 주파수를 차감한 차이값을 가우시안형 향상 필터의 표준편차로 나눈 지수함수에 변수를 적용하는 단계;
    상기 변수와 상기 중심 주파수를 가변하여 상기 변환된 주파수 영역에 규칙 텍스처 패턴을 적용할지 또는 불규칙 텍스처 패턴을 적용할지 여부를 설정하는 단계; 및
    상기 설정된 텍스처 패턴을 상기 변환된 주파수 영역에 적용하는 단계
    를 포함하는, 텍스처 향상 방법.
  18. 제12항에 있어서,
    상기 텍스처 패턴을 적용한 주파수 영역을 역변환하는 단계;
    상기 역변환된 밝기신호에 평균 밝기값을 합성하는 단계; 및
    상기 평균 밝기값이 각 픽셀에 합성된 밝기신호에 색차신호를 합성하는 단계
    를 포함하는, 텍스처 향상 방법.
  19. 제12항에 있어서,
    상기 텍스처 패턴이 적용되어 텍스처가 향상된 영상 데이터에 관한 XYZ 신호를 sRGB 신호로 역변환하는 단계
    를 더 포함하고,
    상기 텍스처 패턴이 적용되어 텍스처가 향상된 영상 데이터를 제공하는 단계는,
    상기 sRGB 신호로 역변환된 영상 데이터를 제공하는 단계
    를 포함하는, 텍스처 향상 방법.
KR1020100036954A 2010-04-21 2010-04-21 공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치 KR101668829B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100036954A KR101668829B1 (ko) 2010-04-21 2010-04-21 공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100036954A KR101668829B1 (ko) 2010-04-21 2010-04-21 공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110117474A KR20110117474A (ko) 2011-10-27
KR101668829B1 true KR101668829B1 (ko) 2016-10-25

Family

ID=45031390

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100036954A KR101668829B1 (ko) 2010-04-21 2010-04-21 공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101668829B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9305332B2 (en) 2013-03-15 2016-04-05 Samsung Electronics Company, Ltd. Creating details in an image with frequency lifting
US9536288B2 (en) * 2013-03-15 2017-01-03 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency lifting
US9349188B2 (en) 2013-03-15 2016-05-24 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency strength controlled transform
US9652829B2 (en) 2015-01-22 2017-05-16 Samsung Electronics Co., Ltd. Video super-resolution by fast video segmentation for boundary accuracy control
KR101717733B1 (ko) * 2015-11-20 2017-03-17 광운대학교 산학협력단 Hdr 이미지 처리 장치 및 방법
CN107871302A (zh) * 2016-09-23 2018-04-03 电子科技大学 一种基于yuv颜色空间的红外图像伪彩色处理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100349883B1 (ko) * 1994-07-27 2002-12-16 소니 가부시끼 가이샤 동작벡터검출및화상신호부호화방법및장치
WO2006078015A1 (ja) * 2005-01-24 2006-07-27 National University Corporation Yokohama National University カテゴリカル色知覚システム
JP2009098925A (ja) * 2007-10-17 2009-05-07 Sony Corp 画像処理装置、画像処理方法、および、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100349883B1 (ko) * 1994-07-27 2002-12-16 소니 가부시끼 가이샤 동작벡터검출및화상신호부호화방법및장치
WO2006078015A1 (ja) * 2005-01-24 2006-07-27 National University Corporation Yokohama National University カテゴリカル色知覚システム
JP2009098925A (ja) * 2007-10-17 2009-05-07 Sony Corp 画像処理装置、画像処理方法、および、プログラム

Also Published As

Publication number Publication date
KR20110117474A (ko) 2011-10-27

Similar Documents

Publication Publication Date Title
KR102234092B1 (ko) 이미지의 역 톤 매핑을 위한 방법
EP2750101B1 (en) Endoscopic video system with dynamic contrast and detail enhancement
EP2852152B1 (en) Image processing method, apparatus and shooting terminal
Lin et al. Multi-scale retinex improvement for nighttime image enhancement
US7894684B2 (en) Visual processing device, visual processing method, program, display device, and integrated circuit
KR101668829B1 (ko) 공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치
EP2833317B1 (en) Image display device and/or method therefor
KR102523505B1 (ko) 역 톤 매핑을 위한 방법 및 장치
CN105340268B (zh) 图像处理装置、图像处理方法以及图像处理程序
US9002127B2 (en) Image dynamic range compression system, method and program
JP4661238B2 (ja) 画像処理方法および画像処理装置ならびに画像処理プログラム
EP3186954B1 (en) Image processing apparatus, image processing method, recording medium, and program
KR20160040959A (ko) 영상 처리 장치 및 이의 영상 처리 방법
US9691141B2 (en) Image correction device for accelerating image correction and method for same
WO2016045242A1 (zh) 一种图像放大方法、图像放大装置及显示设备
EP3136737A1 (en) Method for inverse tone mapping of a sequence of images
CN111429357B (zh) 训练数据确定方法、视频处理方法、装置、设备及介质
US8659684B2 (en) Image processing apparatus, program, method and image capturing system
JPWO2006117919A1 (ja) 画像処理方法および画像処理装置ならびに画像処理プログラム
KR101514152B1 (ko) 특이값 분해를 이용한 화질 개선 방법 및 장치
WO2015151279A1 (ja) フォーカス評価を補助するための装置、プログラム及び方法
JP6024363B2 (ja) 画像処理装置
Biswas et al. Automatic contrast enhancement of low-light images based on Naka-Rushton visual adaptation in non-sub-sampled shearlet domain
CN110140150B (zh) 一种图像处理方法、装置以及终端设备
Kawasaki et al. A multiscale retinex with low computational cost

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 4