KR20190058753A - 영상 처리 방법 및 이를 수행하는 영상 처리 장치 - Google Patents

영상 처리 방법 및 이를 수행하는 영상 처리 장치 Download PDF

Info

Publication number
KR20190058753A
KR20190058753A KR1020170155735A KR20170155735A KR20190058753A KR 20190058753 A KR20190058753 A KR 20190058753A KR 1020170155735 A KR1020170155735 A KR 1020170155735A KR 20170155735 A KR20170155735 A KR 20170155735A KR 20190058753 A KR20190058753 A KR 20190058753A
Authority
KR
South Korea
Prior art keywords
image data
image
data
gradation
tone mapping
Prior art date
Application number
KR1020170155735A
Other languages
English (en)
Other versions
KR102525546B1 (ko
Inventor
최남곤
임남재
강문식
김진필
배재성
이재훈
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Priority to KR1020170155735A priority Critical patent/KR102525546B1/ko
Priority to US16/190,463 priority patent/US10789687B2/en
Publication of KR20190058753A publication Critical patent/KR20190058753A/ko
Application granted granted Critical
Publication of KR102525546B1 publication Critical patent/KR102525546B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

톤-매핑 동작을 수행함으로써 영상 데이터를 출력 데이터로 변환하는 영상 처리 방법은, 영상 데이터에 상응하는 영상의 에지를 결정하고, 영상 데이터의 제1 영상 데이터가 에지에 상응하지 않는 경우 제1 영상 데이터에 대한 제1 톤 매핑 동작을 수행하며, 제1 영상 데이터가 에지에 상응하는 경우 제1 영상 데이터의 계조가 기 지정된 계조 범위에 속하는 지 여부를 판단하고, 제1 영상 데이터의 계조가 계조 범위에 속하는 경우 제1 영상 데이터에 대한 제2 톤 매핑 동작을 수행하며, 제1 영상 데이터의 계조가 계조 범위에 속하지 않는 경우 제1 영상 데이터에 대한 제1 톤 매핑 동작을 수행한다.

Description

영상 처리 방법 및 이를 수행하는 영상 처리 장치{IMAGE PROCESSING METHOD AND IMAGE PROCESSOR PERFORMING THE SAME}
본 발명은 영상 처리 장치에 관한 것으로, 보다 상세하게는 에지 부분의 정밀도를 향상시킬 수 있는 영상 처리 방법 및 이를 수행하는 영상 처리 장치에 관한 것이다.
일반적으로, 원본 영상 데이터의 다이나믹 레인지(dynamic range)와 표시 장치의 다이나믹 레인지와 차이가 있으면, 원본 영상 데이터를 표시 장치의 다이나믹 레인지에 맞게 변환함으로써, 서로 다른 다이나믹 레인지를 갖는 다양한 표시 장치에서 원본 영상 데이터에 상응하는 영상이 표시될 수 있도록 할 수 있다. 이와 같이, 원본 영상 데이터의 다이나믹 레인지를 표시 장치의 다이나믹 레인지에 맞게 변환하는 동작을 톤 매핑(tone mapping)이라고 한다.
하지만, 톤 매핑 과정에서, 저계조 영역과 고계조 영역의 표현력이 낮아지고, 영상의 에지가 정밀하게 표현되지 않는 문제가 발생할 수 있다.
본 발명의 일 목적은 에지 부분의 정밀도를 향상시킬 수 있는 영상 처리 방법을 제공하는 것이다.
본 발명의 다른 목적은 상기 영상 처리 방법을 수행하는 영상 처리 장치를 제공하는 것이다.
다만, 본 발명의 목적은 상기 목적들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
본 발명의 일 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 영상 처리 방법은 톤-매핑(tone mapping) 동작을 수행함으로써 영상 데이터를 출력 데이터로 변환할 수 있다. 상기 영상 처리 방법은 상기 영상 데이터에 상응하는 영상의 에지(edge)를 결정하는 단계, 상기 영상 데이터의 제1 영상 데이터가 상기 에지에 상응하지 않는 경우 상기 제1 영상 데이터에 대한 제1 톤 매핑 동작을 수행하는 단계, 상기 제1 영상 데이터가 상기 에지에 상응하는 경우 상기 제1 영상 데이터의 계조가 기 지정된 계조 범위에 속하는 지 여부를 판단하는 단계, 상기 제1 영상 데이터의 계조가 상기 계조 범위에 속하는 경우 상기 제1 영상 데이터에 대한 제2 톤 매핑 동작을 수행하는 단계, 및 상기 제1 영상 데이터의 계조가 상기 계조 범위에 속하지 않는 경우 상기 제1 영상 데이터에 대한 상기 제1 톤 매핑 동작을 수행하는 단계를 포함할 수 있다.
일 실시예에 의하면, 상기 제1 톤 매핑 동작은 제1 변환 함수를 이용하여 상기 제1 영상 데이터를 제1 출력 데이터로 변환할 수 있다. 상기 제2 톤 매핑 동작은 상기 제1 변환 함수와 다른 제2 변환 함수를 이용하여 상기 제1 영상 데이터를 제2 출력 데이터로 변환할 수 있다.
일 실시예에 의하면, 상기 계조 범위는 제1 임계 계조보다 작은 제1 계조 범위 및 제2 임계 계조보다 큰 제2 계조 범위 중 적어도 하나를 포함할 수 있다. 상기 제2 임계 계조는 상기 제1 임계 계조보다 클 수 있다.
일 실시예에 의하면, 상기 제1 계조 범위에서 상기 제1 출력 데이터는 상기 제2 출력 데이터보다 작거나 같을 수 있다.
일 실시예에 의하면, 상기 제2 계조 범위에서 상기 제1 출력 데이터는 상기 제2 출력 데이터보다 크거나 같을 수 있다.
일 실시예에 의하면, 상기 제1 계조 범위 및 상기 제2 계조 범위 중 적어도 하나는 상기 영상 데이터의 평균 계조에 기초하여 조정될 수 있다.
일 실시예에 의하면, 상기 제1 영상 데이터와 상기 제1 출력 데이터의 제1 절대차(absolute difference)는 상기 제1 영상 데이터와 상기 제2 출력 데이터의 제2 절대차보다 크거나 같을 수 있다.
일 실시예에 의하면, 상기 영상의 상기 에지를 결정하는 단계는, 상기 영상 데이터의 데이터 포맷을 RGB 포맷에서 휘도 데이터와 색차 데이터가 분리된 변환 영상 포맷으로 변환하는 단계, 및 상기 휘도 데이터에 기초한 고역 통과 필터(high-pass filter)를 이용하여 상기 에지를 결정하는 단계를 포함할 수 있다.
일 실시예에 의하면, 상기 영상 데이터 중 상기 에지에 포함되는 화소수를 도출하는 단계, 및 상기 도출된 화소수가 제1 임계값보다 큰 경우, 상기 영상 데이터 전체에 대한 바이패스(bypass) 동작을 수행하는 단계를 더 포함할 수 있다.
일 실시예에 의하면, 상기 바이패스 동작에 따라 변환된 상기 출력 데이터는 상기 영상 데이터의 계조가 증가함에 따라 선형적으로 증가할 수 있다.
일 실시예에 의하면, 상기 제2 톤 매핑 동작은 제1 색상에 대응하는 상기 영상 데이터를 제1 가중치가 적용된 제2 변환 함수를 이용하여 상기 출력 데이터로 변환하고, 상기 제1 색상과 다른 제2 색상에 대응하는 상기 영상 데이터를 상기 제1 가중치와는 다른 제2 가중치가 적용된 제2 변환 함수를 이용하여 상기 출력 데이터로 변환할 수 있다.
본 발명의 일 목적을 달성하기 위하여, 본 발명의 실시예들에 따른 영상 처리 방법은 톤-매핑(tone mapping) 동작을 수행함으로써 영상 데이터를 출력 데이터로 변환할 수 있다. 상기 영상 처리 방법은 상기 영상 데이터 중 영상의 에지에 포함되는 화소수를 도출하는 단계, 상기 도출된 화소수가 제1 임계값보다 큰 경우, 상기 영상 데이터에 대한 바이패스 동작을 수행하는 단계, 및 상기 도출된 화소수가 상기 제1 임계값보다 작거나 같은 경우, 상기 영상 데이터에 대한 제1 톤 매핑 동작을 수행할 수 있다.
일 실시예에 의하면, 상기 바이패스 동작에 따라 변환된 상기 출력 데이터는 상기 영상 데이터의 계조가 증가함에 따라 선형적으로 증가할 수 있다.
본 발명의 다른 목적을 달성하기 위하여, 발명의 실시예들에 따른 영상 처리 장치는 톤-매핑 동작을 수행함으로써 영상 데이터를 출력 데이터로 변환할 수 있다. 상기 영상 처리 장치는 상기 영상 데이터 및 상기 영상 데이터에 대응하는 메타 데이터를 포함하는 영상 컨텐츠를 수신하는 신호 수신부, 상기 영상 데이터에 상응하는 영상의 에지(edge)를 결정하고, 상기 영상 데이터의 제1 영상 데이터가 상기 에지에 상응하지 않는 경우, 상기 제1 영상 데이터에 대한 제1 톤 매핑 동작을 수행하며, 상기 제1 영상 데이터가 상기 에지에 상응하는 경우, 상기 제1 영상 데이터의 계조가 기 지정된 계조 범위에 속하는 지 여부를 판단하고, 상기 제1 영상 데이터의 계조가 상기 계조 범위에 속하는 경우, 제1 영상 데이터에 대한 제2 톤 매핑 동작을 수행하며, 상기 제1 영상 데이터의 계조가 상기 계조 범위에 속하지 않는 경우, 제1 영상 데이터에 대한 상기 제1 톤 매핑 동작을 수행하는 톤 매핑부, 및 상기 출력 데이터 및 상기 메타 데이터에 기초하여 상기 영상에 대한 후처리 동작을 수행하는 영상 제어부를 포함할 수 있다.
일 실시예에 의하면, 상기 제1 톤 매핑 동작은 제1 변환 함수를 이용하여 상기 제1 영상 데이터를 제1 출력 데이터로 변환할 수 있다. 상기 제2 톤 매핑 동작은 상기 제1 변환 함수와 다른 제2 변환 함수를 이용하여 상기 제1 영상 데이터를 제2 출력 데이터로 변환할 수 있다.
일 실시예에 의하면, 상기 계조 범위는 제1 임계 계조보다 작은 제1 계조 범위 및 제2 임계 계조보다 큰 제2 계조 범위 중 적어도 하나를 포함할 수 있다. 상기 제2 임계 계조는 상기 제1 임계 계조보다 클 수 있다.
일 실시예에 의하면, 상기 제1 계조 범위에서 상기 제1 출력 데이터는 상기 제2 출력 데이터보다 작거나 같을 수 있다.
일 실시예에 의하면, 상기 제2 계조 범위에서 상기 제1 출력 데이터는 상기 제2 출력 데이터보다 크거나 같을 수 있다.
일 실시예에 의하면, 상기 톤 매핑부는 상기 영상 데이터 중 상기 에지에 포함되는 화소수를 도출하고, 상기 도출된 화소수가 제1 임계값보다 큰 경우, 상기 영상 데이터 전체에 대한 바이패스 동작을 수행할 수 있다.
일 실시예에 의하면, 상기 제2 톤 매핑 동작은 제1 색상에 대응하는 상기 영상 데이터를 제1 가중치가 적용된 제2 변환 함수를 이용하여 상기 출력 데이터로 변환하고, 상기 제1 색상과 다른 제2 색상에 대응하는 상기 영상 데이터를 상기 제1 가중치와는 다른 제2 가중치가 적용된 제2 변환 함수를 이용하여 상기 출력 데이터로 변환할 수 있다.
본 발명의 실시예들에 따른 영상 처리 방법은 영상의 에지(edge)를 검출하고, 고계조 에지 또는 저계조 에지에 대해 완화된 톤-매핑(즉, 제2 톤 매핑 동작)을 적용하거나, 영상의 에지에 포함되는 화소수가 임계값보다 많은 경우, 선형 톤 매핑(즉, 바이패스 동작)을 적용할 수 있다. 이에 따라, 상기 영상 처리 방법은 저계조 및 고계조 영역에서 발생하는 에지의 정밀도 손실을 개선하고, DHR 영상 처리 시 발생하는 영상 왜곡을 방지할 수 있다.
본 발명의 실시예들에 따른 영상 처리 장치는 영상 데이터의 특성 또는 조건들(에지의 계조 범위, 색상, 등)에 따라 적절한 톤 매핑 동작을 수행하므로, 에지의 정밀도를 높이면서도 HDR 영상 처리에 대한 정확도의 감소를 최소화할 수 있다.
다만, 본 발명의 효과는 상기 효과들로 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.
도 1은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 방법을 나타내는 순서도이다.
도 3a 내지 도 3c는 도 2의 영상 처리 방법에서 저계조 에지 또는 고계조 에지를 결정하는 동작을 설명하기 위한 도면이다.
도 4a는 도 2의 영상 처리 방법에서 제1 톤 매핑 동작을 설명하기 위한 그래프이다.
도 4b는 도 2의 영상 처리 방법에서 제2 톤 매핑 동작을 설명하기 위한 그래프이다.
도 5a는 도 2의 영상 처리 방법에서 제1 톤 매핑 동작에 따른 출력 데이터를 설명하기 위한 그래프이다.
도 5b는 도 2의 영상 처리 방법에서 제2 톤 매핑 동작에 따른 출력 데이터를 설명하기 위한 그래프이다.
도 6a는 도 2의 영상 처리 방법에서 제1 톤 매핑 동작에 따라 생성된 영상의 일 예를 나타내는 도면이다.
도 6b는 도 2의 영상 처리 방법에서 제2 톤 매핑 동작에 따라 생성된 영상의 일 예를 나타내는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 영상 처리 방법을 나타내는 순서도이다.
도 8a는 도 7의 영상 처리 방법에서 제1 톤 매핑 동작에 따라 생성된 영상의 일 예를 나타내는 도면이다.
도 8b는 도 7의 영상 처리 방법에서 바이패스 동작에 따라 생성된 영상의 일 예를 나타내는 도면이다.
도 9는 본 발명의 다른 실시예에 따른 영상 처리 방법을 나타내는 순서도이다.
도 10은 도 9의 영상 처리 방법에서 영상 데이터의 색상에 딸 가중치를 다르게 설정하는 동작을 설명하기 위한 그래프이다.
도 11은 본 발명의 또 다른 실시예에 따른 영상 처리 방법을 나타내는 순서도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성 요소에 대해서는 동일하거나 유사한 참조 부호를 사용한다.
도 1은 본 발명의 실시예들에 따른 영상 처리 장치를 나타내는 블록도이다.
도 1을 참조하면, 영상 처리 장치(100)는 신호 수신부(110), 메타 데이터 분석부(120), 톤 매핑부(130), 및 영상 제어부(140)를 포함할 수 있다.
신호 수신부(110)는 영상 데이터 및 영상 데이터에 대응하는 메타 데이터를 포함하는 영상 컨텐츠(IC)를 수신할 수 있다. 신호 수신부(110)는 영상 컨텐츠(IC)를 분석하여, 영상 데이터(ID)와 메타 데이터(IM)를 식별하고, 영상 데이터(ID)를 톤 매핑부(130)로 전달하고, 메타 데이터(IM)를 메타 데이터 분석부(120)로 전달할 수 있다.
메타 데이터 분석부(120)는 신호 수신부(110)로부터 영상 컨텐츠(IC)의 메타 데이터(IM)를 수신할 수 있다. 예를 들어, 영상 컨텐츠(IC)의 메타 데이터(IM)는 톤 매핑 동작을 위해 영상 데이터(ID)의 최대 휘도 정보, 등을 포함할 수 있다. 또한, 메타 데이터 분석부(120)는 표시 장치(200)로부터 표시 장치(200)의 메타 데이터(DM)를 수신할 수 있다. 예를 들어, 표시 장치(200)의 메타 데이터(DM)는 톤 매핑 동작을 위해 표시 장치(200)의 최대 휘도 정보, 등을 포함할 수 있다. 메타 데이터 분석부(120)는 영상 컨텐츠(IC)의 메타 데이터(IM) 및/또는 표시 장치(200)의 메타 데이터(DM)를 톤 매핑부(130)로 제공할 수 있다.
톤 매핑부(130)는 메타 데이터 분석부(120)로부터 수신한 메타 데이터들(IM, DM)에 기초하여 영상 데이터(ID)(또는, 영상 콘텐츠(IC))의 다이나믹 레인지가 표시 장치(200)의 다이나믹 레인지에 대응하도록 영상 데이터(ID)를 출력 데이터(OD)로 변환할 수 있다.
구체적으로, 톤 매핑부(130)는 영상 데이터(ID)에 상응하는 영상의 에지(edge)를 결정할 수 있다. 일 실시예에서, 톤 매핑부(130)는 영상 데이터(ID)의 포맷을 RGB 포맷에서 휘도 데이터와 색차 데이터가 분리된 변환 영상 포맷(예를 들어, YCbCr 포맷, 등)으로 변환할 수 있다. 톤 매핑부(130)는 휘도 데이터에 기초한 고역 통과 필터(high-pass filter)를 이용하여 에지를 결정할 수 있다.
톤 매핑부(130)는 영상 데이터(ID)에 포함된 제1 영상 데이터가 에지에 상응하지 않는 경우, 제1 영상 데이터에 대한 제1 톤 매핑 동작(또는, 일반 매핑 동작)을 수행할 수 있다. 톤 매핑부(130)는 제1 영상 데이터가 에지에 상응하는 경우, 제1 영상 데이터의 계조가 기 지정된 계조 범위에 속하는 지 여부를 판단하고, 제1 영상 데이터의 계조가 상기 계조 범위에 속하는 경우(예를 들어, 영상의 고계조 에지 또는 저계조 에지인 경우), 제1 영상 데이터에 대한 제2 톤 매핑 동작(또는, 완화 매핑 동작)을 수행할 수 있다. 제1 영상 데이터의 계조가 상기 계조 범위에 속하지 않는 경우, 제1 영상 데이터에 대한 제1 톤 매핑 동작을 수행할 수 있다. 여기서, 제2 톤 매핑 동작은 제1 톤 매핑 동작에 비하여 선형 매핑에 근접할 수 있다. 예를 들어, 제2 톤 매핑 동작은 제1 톤 매핑 동작에 비해 명암 대비(contrast)는 낮으나, 영상의 정밀도(detail)는 높은 특성을 가질 수 있다.
일 실시예에서, 톤 매핑부(130)는 영상 데이터(ID) 중 영상의 에지에 포함되는 화소수를 도출하고, 도출된 화소수가 기 지정된 제1 임계값보다 큰 경우, 영상 데이터 전체에 대한 바이패스 동작을 수행할 수 있다. 여기서, 바이패스 동작은 영상 데이터를 출력 데이터에 선형적으로 매핑할 수 있다. 즉, 바이패스 동작에 따라 변환된 출력 데이터는 영상 데이터의 계조가 증가함에 따라 선형적으로 증가할 수 있다. 이와 같이, 톤 매핑부(130)는 영상 데이터의 특성 또는 조건들(에지의 계조 범위, 에지의 화소수, 등)에 따라 적절한 톤 매핑 동작을 수행할 수 있다.
영상 제어부(140)는 출력 데이터(OD) 및 메타 데이터들에 기초하여 후처리 동작을 수행할 수 있다. 예를 들어, 영상 제어부(140)는 메타 데이터에 기초하여 휘도에 따라 구분되는 복수의 영역들 각각의 휘도를 제어할 수 있다. 이 밖에도, 영상 제어부(140)는 후처리 동작으로서 영상의 밝은 부분과 어두운 부분 사이의 차이를 극대화시키는 명암 대비 향상(contrast enhancement), 히스토그램을 조절하여 명암 분포가 빈약한 영상을 명암 분포가 균일하게 변화하는 히스토그램 평활화(histogram equalization), 영상을 세밀하게 변환하는 영상 첨예화(image sharpening), 영상을 부드럽게 변환하는 영상 평활화(image smoothing) 등 다양한 영상 처리 기법을 수행할 수 있다. 또한, 영상 제어부(140)는 영상 처리 장치(100)에서 처리된 영상을 표시하기 위해 표시 장치(200)로 후처리된 출력 데이터(AD)를 제공할 수 있다.
따라서, 영상 처리 장치(100)는 고계조 에지 또는 저계조 에지에 대해 제2 톤 매핑 동작을 적용하거나, 영상의 에지에 포함되는 화소수가 임계값보다 많은 경우, 바이패스 동작을 적용할 수 있다. 이에 따라, 영상 처리 장치(100)는 에지의 정밀도를 높이면서도 HDR 영상 처리에 대한 정확도의 감소를 최소화할 수 있다.
비록, 도 1에서는 영상 처리 장치(100)가 신호 수신부(110), 메타 데이터 분석부(120), 톤 매핑부(130), 및 영상 제어부(140)를 포함하는 것으로 도시하였으나, 영상 처리 장치(100)는 톤 매핑 동작을 수행할 수 있는 다양한 구조로 구현될 수 있다.
도 1에서는 영상 처리 장치(100)가 표시 장치(200) 외부에 위치하는 것으로 도시하였으나, 영상 처리 장치(100)는 다양한 위치에서 구현될 수 있다. 예를 들어, 영상 처리 장치(100)는 표시 장치 내부(예를 들어, 타이밍 컨트롤러, 등)에 구현될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 방법을 나타내는 순서도이다. 도 3a 내지 도 3c는 도 2의 영상 처리 방법에서 저계조 에지 또는 고계조 에지를 결정하는 동작을 설명하기 위한 도면이다.
도 2, 도3A, 도3B, 및 도 3C를 참조하면, 영상 처리 방법은 영상의 에지를 검출하고, 검출된 에지 중 저계조 에지 및/또는 저계조 에지에 대해 완화된 톤 매핑(즉, 제2 톤 매핑 동작)을 적용함으로써, 저계조 및 고계조 영역에서 발생하는 에지 부분의 정밀도 손실을 개선할 수 있다.
영상 처리 장치는 영상 데이터 및 영상 데이터에 대응하는 메타 데이터를 포함하는 영상 컨텐츠를 수신(S110)할 수 있다. 영상의 에지를 검출하기 위해 영상 데이터의 포맷이 RGB 포맷에서 휘도 데이터와 색차 데이터가 분리된 변환 영상 포맷으로 변환(S120)될 수 있다. 예를 들어, 변환 영상 포맷은 YCoCg 포맷 또는 YCbCr 포맷일 수 있다.
영상 데이터에 포함된 제1 영상 데이터가 영상의 에지에 상응하는지 여부가 판단(S130)될 수 있다. 예를 들어, 휘도 데이터에 기초한 고역 통과 필터를 이용하여 에지가 결정되고, 각 영상 데이터 대해 영상의 에지에 상응하는지 여부가 판단될 수 있다. 도 3a 및 도 3b에 도시된 바와 같이, 휘도 데이터에 기초하여 영상 데이터에 상응하는 제1 영상(I1)의 에지가 결정되어 생성된 제2 영상(I2)이 도출될 수 있다.
영상 데이터의 제1 영상 데이터가 영상의 에지에 상응하지 않는 경우, 제1 영상 데이터에 대한 제1 톤 매핑 동작이 수행(S160)될 수 있다. 즉, 영상 중 에지가 아닌 영역에서는 높은 정밀도가 요구되지 않으므로 명암 대비(contrast)를 높이기 위해 제1 톤 매핑 동작이 수행될 수 있다.
제1 영상 데이터가 에지에 상응하는 경우, 제1 영상 데이터의 계조가 기 지정된 계조 범위에 속하는 지 여부가 판단(S140)될 수 있다. 일 실시예에서, 계조 범위는 제1 임계 계조(예를 들어, 64계조)보다 작은 제1 계조 범위(예를 들어, 저계조 범위) 및 제2 임계 계조(예를 들어, 220계조)보다 큰 제2 계조 범위(예를 들어, 고계조 범위) 중 적어도 하나를 포함할 수 있다. 여기서, 제2 임계 계조는 제1 임계 계조보다 클 수 있다. 예를 들어, 계조 범위는 0계조 내지 64계조를 포함하는 제1 계조 범위(즉, 저계조 범위) 및 220계조 내지 225계조를 포함하는 제2 계조 범위(즉, 고계조 범위)를 포함할 수 있다. 일 실시예에서, 제1 계조 범위 및 제2 계조 범위 중 적어도 하나는 영상 데이터의 평균 계조 또는 영상 데이터의 명암 분포에 기초하여 조정될 수 있다. 예를 들어, 영상 데이터의 평균 계조가 상대적으로 낮은 경우, 제1 임계 계조 및/또는 제2 임계 계조를 낮출 수 있다.
도 3b 및 도 3c에 도시된 바와 같이, 제2 영상(I1)의 에지 중, 저계조 범위 또는 고계조 범위에 속하는 에지의 영상 데이터(즉, 제3 영상(I3))가 선택될 수 있다. 제3 영상(I3)은 고계조 에지 및 저계조 에지를 포함한다.
제1 영상 데이터의 계조가 상기 계조 범위에 속하는 경우, 제1 영상 데이터에 대한 제2 톤 매핑 동작(S150)이 수행될 수 있다. 즉, 제1 영상 데이터의 계조가 저계조 범위(예를 들어, 0계조 내지 64계조) 또는 고계조 범위(220계조 내지 225계조)에 속하는 경우, 저계조 에지 및 고계조 에지의 정밀도를 높이기 위해 제2 톤 매핑 동작이 수행될 수 있다.
반면에, 제1 영상 데이터의 계조가 상기 계조 범위에 속하지 않는 경우, 제1 영상 데이터에 대한 제1 톤 매핑 동작이 수행(S160)될 수 있다. 즉, 영상 데이터의 제1 영상 데이터가 고계조 범위 또는 저계조 범위에 속하지 않는 경우, 높은 정밀도가 요구되지 않으므로 명암 대비(contrast)를 높이기 위해 제1 톤 매핑 동작이 수행될 수 있다.
도 4a는 도 2의 영상 처리 방법에서 제1 톤 매핑 동작을 설명하기 위한 그래프이다. 도 4b는 도 2의 영상 처리 방법에서 제2 톤 매핑 동작을 설명하기 위한 그래프이다. 도 5a는 도 2의 영상 처리 방법에서 제1 톤 매핑 동작에 따른 출력 데이터를 설명하기 위한 그래프이다. 도 5b는 도 2의 영상 처리 방법에서 제2 톤 매핑 동작에 따른 출력 데이터를 설명하기 위한 그래프이다. 도 6a는 도 2의 영상 처리 방법에서 제1 톤 매핑 동작에 따라 생성된 영상의 일 예를 나타내는 도면이다. 도 6b는 도 2의 영상 처리 방법에서 제2 톤 매핑 동작에 따라 생성된 영상의 일 예를 나타내는 도면이다.
도 4a, 도 4b, 도 5a, 도 5b, 도 6a, 및 도 6b를 참조하면, 영상 처리 방법은 영상 데이터의 특성 또는 조건들(에지의 계조 범위, 색상, 등)에 따라 적절한 톤 매핑 동작을 선택할 수 있다.
도 4a에 도시된 바와 같이, 제1 톤 매핑 동작은 제1 변환 함수를 이용하여 영상 데이터(또는 입력 데이터)(ID)를 제1 출력 데이터(OD)로 변환할 수 있다. 일 예에서, 영상 데이터과 출력 데이터는 서로 동일한 비트 수로 표현될 수 있다. 예를 들어, 영상 데이터(ID) 및 출력 데이터(OD) 8비트로 표현(즉, 0계조 내지 255계조)될 수 있다. 다른 예에서, 영상 데이터(ID)와 출력 데이터(OD)는 서로 다른 비트 수로 표현될 수 있다. 예를 들어, 영상 데이터(ID)는 8비트로 표현(즉, 0계조 내지 255계조)되고, 출력 데이터(OD)는 12비트(즉, 0계조 내지 4095계조)로 표현될 수 있다.
도 5a에 도시된 바와 같이, 제1 톤 매핑 동작은 바이패스 동작과 비교할 때, 낮은 계조 영역에서 영상 데이터(ID)가 더 낮은 계조의 출력 데이터(OD)로 변환되고, 높은 계조 영역에서 영상 데이터(ID)가 더 높은 계조의 출력 데이터(OD)로 변환될 수 있다.
도 4b에 도시된 바와 같이, 제2 톤 매핑 동작은 제2 변환 함수를 이용하여 영상 데이터(ID)를 제2 출력 데이터(OD)로 변환할 수 있다. 제2 톤 매핑 동작은 제1 톤 매핑 동작과 바이패스 동작의 중간 동작일 수 있다.
도 5b에 도시된 바와 같이, 제2 톤 매핑 동작은 제1 톤 매핑 동작과 비교할 때, 출력 데이터(OD)의 변화 정도가 적을 수 있다. 일 실시예에서, 제1 계조 범위에서, 제1 영상 데이터에 대한 제1 톤 매핑 동작에 의해 변환된 제1 출력 데이터는 제1 영상 데이터에 대한 제2 톤 매핑 동작에 의해 변환된 제2 출력 데이터보다 작거나 같을 수 있다. 또한, 제2 계조 범위에서 제1 영상 데이터에 대한 제1 톤 매핑 동작에 의해 변환된 제1 출력 데이터는 제1 영상 데이터에 대한 제2 톤 매핑 동작에 의해 변환된 제2 출력 데이터보다 크거나 같을 수 있다.
영상 데이터(ID) 및 출력 데이터(OD)가 동일한 비트로 표현되는 경우, 제1 영상 데이터와 제1 출력 데이터의 제1 절대차(absolute difference)는 제1 영상 데이터와 제2 출력 데이터의 제2 절대차보다 크거나 같을 수 있다. 또한, 제1 톤 매핑 동작에 의해 생성된 출력 데이터와 바이패스 동작에 의해 생성된 출력 데이터의 제3 절대차는 제2 톤 매핑 동작에 의해 생성된 출력 데이터와 바이패스 동작에 의해 생성된 출력 데이터의 제4 절대차보다 크거나 같을 수 있다.
따라서, 도 6a 및 도 6b에 도시된 바와 같이, 제1 톤 매핑 동작은 제2 톤 매핑 동작에 비해 영상의 명암 대비(contrast)를 높일 수 있다. 즉, 제1 톤 매핑 동작으로 생성된 제4 영상(I4)는 제2 톤 매핑 동작으로 생성된 제5 영상(I5)에 비해 명암 대비가 높으므로, 제4 영상(I4)는 전체적인 영상 품질이 향상될 수 있다. 반면에, 제5 영상(I5)는 제4 영상(I4)에 비해 영상의 저계조 에지 및 고계조 에지의 정밀도(detail)를 높일 수 있다. 예를 들어, 제4 영상(I4)의 A영역은 건물의 창문들이 명확하게 식별되지 않는 반면, 제5 영상(I4)의 A'영역은 건물의 창문들이 명확하게 식별될 수 있다.
도 7은 본 발명의 다른 실시예에 따른 영상 처리 방법을 나타내는 순서도이다. 도 8a는 도 7의 영상 처리 방법에서 제1 톤 매핑 동작에 따라 생성된 영상의 일 예를 나타내는 도면이다. 도 8b는 도 7의 영상 처리 방법에서 바이패스 동작에 따라 생성된 영상의 일 예를 나타내는 도면이다.
도 7, 도 8a, 및 도 8b를 참조하면, 영상 처리 방법은 영상의 에지를 검출하고, 검출된 에지의 화소수가 기 지정된 제1 임계값보다 큰 경우, 해당 프레임의 영상 데이터 전체에 대해 선형 톤 매핑(즉, 바이패스 bypass 동작)을 적용할 수 있다. 이에 따라, 상대적으로 많은 에지를 포함하는 영상에서 전체적인 에지의 정밀도가 향상될 수 있다.
구체적으로, 영상 데이터 및 영상 데이터에 대응하는 메타 데이터를 포함하는 영상 컨텐츠가 수신(S210)될 수 있다. 영상의 에지를 검출하기 위해 영상 데이터의 포맷이 RGB 포맷에서 휘도 데이터와 색차 데이터가 분리된 변환 영상 포맷으로 변환(S220)될 수 있다.
영상 데이터 중 에지에 포함되는 화소수가 도출(S230)될 수 있다. 예를 들어, 휘도 데이터에 기초한 고역 통과 필터를 이용하여 영상의 에지가 결정되고, 영상 데이터 중 영상의 에지에 상응하는 화소 데이터의 개수를 카운팅함으로써 에지에 포함되는 화소수가 도출될 수 있다.
도출된 화소수가 제1 임계값보다 큰지 여부가 판단(S240)되고, 도출된 화소수가 제1 임계값보다 큰 경우, 해당 프레임의 영상 데이터 전체에 대한 바이패스 동작이 수행(S250)될 수 있다. 즉, 영상 데이터에 상응하는 해당 프레임의 영상이 많은 에지를 포함하는 경우, 에지의 정밀도를 향상시킬 필요가 있다. 따라서, 이 경우, 톤 매핑을 적용하지 않거나 영상 데이터를 출력 데이터에 선형적으로 매핑하는 바이패스 동작을 수행할 수 있다. 예를 들어, 제1 임계값은 전체 화소수의 18%에 상응하고 영상의 에지에 포함되는 화소수가 전체 화소수의 20%인 경우, 영상 데이터를 출력 데이터에 선형적으로 매핑할 수 있다.
반면에, 도출된 화소수가 제1 임계값보다 작거나 같은 경우, 해당 프레임의 영상 데이터 전체에 대한 제1 톤 매핑 동작이 수행(S260)될 수 있다. 즉, 영상 데이터에 상응하는 해당 프레임의 영상에 과도한 에지가 존재하지 않으므로, 명암 대비(contrast)를 높이기 위해 제1 톤 매핑 동작이 수행될 수 있다. 예를 들어, 제1 임계값은 전체 화소수의 18%에 상응하고 영상의 에지에 포함되는 화소수가 전체 화소수의 10%인 경우, 영상 데이터에 제1 톤 매핑 동작이 적용될 수 있다.
도 8a 및 도 8b에 도시된 바와 같이, 상대적으로 많은 에지를 포함하는 영상 데이터에 대해 바이패스 동작으로 생성된 제7 영상(I7)은 제1 톤 매핑 동작으로 생성된 제6 영상(I6)에 비해 에지의 정밀도가 높을 수 있다. 예를 들어, 제6 영상(I6)의 B영역은 건물의 창문들이 명확하게 식별되지 않는 반면, 제7 영상(I7)의 B'영역은 건물의 창문들이 명확하게 식별될 수 있다.
도 9는 본 발명의 다른 실시예에 따른 영상 처리 방법을 나타내는 순서도이다. 도 10은 도 9의 영상 처리 방법에서 영상 데이터의 색상에 딸 가중치를 다르게 설정하는 동작을 설명하기 위한 그래프이다.
도 9 및 도 10을 참조하면, 영상 처리 방법은 영상의 에지를 검출하고, 검출된 에지 중 고계조 에지 및/또는 저계조 에지에 대해 완화된 톤 매핑(즉, 제2 톤 매핑 동작)을 적용할 수 있다. 다만, 본 실시예에 따른 영상 처리 방법은 완화된 톤-매핑(제2 톤 매핑 동작)을 적용 시 색상에 따라 가중치를 달리하여 적용되는 것을 제외하면, 도 2의 영상 처리 방법과 실질적으로 동일하므로, 중복되는 설명은 생략하기로 한다.
영상 데이터 및 영상 데이터에 대응하는 메타 데이터를 포함하는 영상 컨텐츠가 수신(S310)될 수 있다. 영상의 에지를 검출하기 위해 영상 데이터의 포맷이 RGB 포맷에서 휘도 데이터와 색차 데이터가 분리된 변환 영상 포맷으로 변환(S320)될 수 있다.
영상 데이터에 포함된 제1 영상 데이터가 영상의 에지에 상응하는지 여부가 판단(S330)될 수 있다.
영상 데이터의 제1 영상 데이터가 에지에 상응하지 않는 경우, 제1 영상 데이터에 대한 제1 톤 매핑 동작을 수행(S370)할 수 있다.
제1 영상 데이터가 에지에 상응하는 경우, 제1 영상 데이터의 계조가 기 지정된 계조 범위에 속하는 지 여부가 판단(S340)될 수 있다.
제1 영상 데이터의 계조가 상기 계조 범위에 속하는 경우, 제1 영상 데이터에 대한 색상이 판단(S350)되고, 제1 영상 데이터의 색상에 따라 가중치를 달리하여 제2 톤 매핑 동작이 적용될 수 있다. 일 실시예에서, 제2 톤 매핑 동작은 제1 색상에 대응하는 영상 데이터를 제1 가중치가 적용된 제2 변환 함수를 이용하여 출력 데이터로 변환하고, 제1 색상과 다른 제2 색상에 대응하는 영상 데이터를 제1 가중치와는 다른 제2 가중치가 적용된 제2 변환 함수를 이용하여 출력 데이터로 변환될 수 있다. 예를 들어, 제1 영상 데이터가 적색 데이터에 상응하는 경우, 제2 변환 함수에 제1 가중치를 적용한 제2 톤 매핑 동작이 수행(S362)될 수 있다. 제1 영상 데이터가 녹색 데이터에 상응하는 경우, 제2 변환 함수에 제2 가중치를 적용한 제2 톤 매핑 동작이 수행(S364)될 수 있다. 제1 영상 데이터가 청색 데이터에 상응하는 경우, 제2 변환 함수에 제3 가중치를 적용한 제2 톤 매핑 동작이 수행(S366)될 수 있다.
즉, 도 10에 도시된 바와 같이, 색상에 따라 에지를 표현하기 위한 정밀도와 관련된 정도가 다를 수 있으므로, 영상 데이터의 적색 데이터, 녹색 데이터, 청색 데이터 각각에 대해 서로 다른 가중치를 적용한 톤 매핑 동작을 수행할 수 있다. 이에 따라, 에지의 정밀도를 높이면서도 HDR 영상 처리에 대한 정확도의 감소를 최소화할 수 있다.
도 11은 본 발명의 또 다른 실시예에 따른 영상 처리 방법을 나타내는 순서도이다.
도 11을 참조하면, 영상 처리 방법은 영상의 에지를 검출하고, 에지의 계조 범위 및 에지에 포함되는 화소수에 기초하여 다양한 톤 매핑 동작을 수행할 수 있다. 다만, 본 실시예에 따른 영상 처리 방법은 도 2 및 도 7의 영상 처리 방법들과 유사하므로, 중복되는 설명은 생략하기로 한다.
구체적으로, 영상 데이터 및 영상 데이터에 대응하는 메타 데이터를 포함하는 영상 컨텐츠가 수신(S410)될 수 있다. 영상의 에지를 검출하기 위해 영상 데이터의 포맷이 RGB 포맷에서 휘도 데이터와 색차 데이터가 분리된 변환 영상 포맷으로 변환(S420)될 수 있다.
영상 데이터 중 에지에 포함되는 화소수가 도출(S430)될 수 있다.
도출된 화소수가 제1 임계값보다 큰지 여부가 판단(S440)되고, 도출된 화소수가 제1 임계값보다 큰 경우, 해당 프레임의 영상 데이터 전체에 대한 바이패스 동작이 수행(S450)될 수 있다.
반면에, 도출된 화소수가 제1 임계값보다 작거나 같은 경우, 영상 데이터에 포함된 제1 영상 데이터가 영상의 에지에 상응하는지 여부가 판단(S460)될 수 있다
영상 데이터의 제1 영상 데이터가 에지에 상응하지 않는 경우, 제1 영상 데이터에 대한 제1 톤 매핑 동작을 수행(S490)할 수 있다.
제1 영상 데이터가 에지에 상응하는 경우, 제1 영상 데이터의 계조가 기 지정된 계조 범위에 속하는 지 여부가 판단(S470)될 수 있다.
제1 영상 데이터의 계조가 상기 계조 범위에 속하는 경우, 제1 영상 데이터에 대한 제2 톤 매핑 동작(S480)이 수행될 수 있다.
반면에, 제1 영상 데이터의 계조가 상기 계조 범위에 속하지 않는 경우, 제1 영상 데이터에 대한 제1 톤 매핑 동작이 수행(S490)될 수 있다.
비록, 상기에서는 영상 데이터의 에지 특성 및 조건들(즉, 에지의 계조 범위, 에지에 포함되는 화소수, 에지의 색상)에 기초하여 톤 매핑 동작(또는 톤 매핑 변환 함수)를 선택하는 일부 실시예들을 도시하였으나, 톤 매핑 동작은 영상 데이터의 에지 특성 및 조건들(즉, 에지의 계조 범위, 에지에 포함되는 화소수, 에지의 색상)의 다양한 조합에 기초하여 선택될 수 있다.
이상, 본 발명의 실시예들에 따른 영상 처리 장치 및 영상 처리 방법에 대하여 도면을 참조하여 설명하였지만, 상기 설명은 예시적인 것으로서 본 발명의 기술적 사상을 벗어나지 않는 범위에서 해당 기술 분야에서 통상의 지식을 가진 자에 의하여 수정 및 변경될 수 있을 것이다. 예를 들어, 상기에서는 영상 데이터가 적색 데이터, 녹색 데이터, 및 청색 데이터를 포함하는 것으로 설명하였으나, 영상 데이터의 포맷은 이에 한정되는 것이 아니다.
본 발명은 영상 처리 장치를 구비한 전자 기기에 다양하게 적용될 수 있다. 예를 들어, 본 발명은 TV, 노트북, 휴대폰, 스마트폰, 스마트패드, 피디에이(PDA), 등에 적용될 수 있다.
상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술분야에서 통상의 지식을 가진 자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 것이다.
100: 영상 처리 장치 110: 신호 수신부
120: 메타 데이터 분석부 130: 톤 매핑부
140: 영상 제어부 200: 표시 장치

Claims (20)

  1. 톤-매핑(tone mapping) 동작을 수행함으로써 영상 데이터를 출력 데이터로 변환하는 영상 처리 방법에 있어서,
    상기 영상 데이터에 상응하는 영상의 에지(edge)를 결정하는 단계;
    상기 영상 데이터의 제1 영상 데이터가 상기 에지에 상응하지 않는 경우, 상기 제1 영상 데이터에 대한 제1 톤 매핑 동작을 수행하는 단계;
    상기 제1 영상 데이터가 상기 에지에 상응하는 경우, 상기 제1 영상 데이터의 계조가 기 지정된 계조 범위에 속하는 지 여부를 판단하는 단계;
    상기 제1 영상 데이터의 계조가 상기 계조 범위에 속하는 경우, 상기 제1 영상 데이터에 대한 제2 톤 매핑 동작을 수행하는 단계; 및
    상기 제1 영상 데이터의 계조가 상기 계조 범위에 속하지 않는 경우, 상기 제1 영상 데이터에 대한 상기 제1 톤 매핑 동작을 수행하는 단계를 포함하는 영상 처리 방법.
  2. 제1 항에 있어서, 상기 제1 톤 매핑 동작은 제1 변환 함수를 이용하여 상기 제1 영상 데이터를 제1 출력 데이터로 변환하고,
    상기 제2 톤 매핑 동작은 상기 제1 변환 함수와 다른 제2 변환 함수를 이용하여 상기 제1 영상 데이터를 제2 출력 데이터로 변환하는 것을 특징으로 하는 영상 처리 방법.
  3. 제2 항에 있어서, 상기 계조 범위는 제1 임계 계조보다 작은 제1 계조 범위 및 제2 임계 계조보다 큰 제2 계조 범위 중 적어도 하나를 포함하고,
    상기 제2 임계 계조는 상기 제1 임계 계조보다 큰 것을 특징으로 하는 영상 처리 방법.
  4. 제3 항에 있어서, 상기 제1 계조 범위에서 상기 제1 출력 데이터는 상기 제2 출력 데이터보다 작거나 같은 것을 특징으로 하는 영상 처리 방법.
  5. 제3 항에 있어서, 상기 제2 계조 범위에서 상기 제1 출력 데이터는 상기 제2 출력 데이터보다 크거나 같은 것을 특징으로 하는 영상 처리 방법.
  6. 제3 항에 있어서, 상기 제1 계조 범위 및 상기 제2 계조 범위 중 적어도 하나는 상기 영상 데이터의 평균 계조에 기초하여 조정되는 것을 특징으로 하는 영상 처리 방법.
  7. 제2 항에 있어서, 상기 제1 영상 데이터와 상기 제1 출력 데이터의 제1 절대차(absolute difference)는 상기 제1 영상 데이터와 상기 제2 출력 데이터의 제2 절대차보다 크거나 같은 것을 특징으로 하는 영상 처리 방법.
  8. 제1 항에 있어서, 상기 영상의 상기 에지를 결정하는 단계는,
    상기 영상 데이터의 데이터 포맷을 RGB 포맷에서 휘도 데이터와 색차 데이터가 분리된 변환 영상 포맷으로 변환하는 단계; 및
    상기 휘도 데이터에 기초한 고역 통과 필터(high-pass filter)를 이용하여 상기 에지를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
  9. 제1 항에 있어서,
    상기 영상 데이터 중 상기 에지에 포함되는 화소수를 도출하는 단계; 및
    상기 도출된 화소수가 제1 임계값보다 큰 경우, 상기 영상 데이터 전체에 대한 바이패스(bypass) 동작을 수행하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
  10. 제9 항에 있어서, 상기 바이패스 동작에 따라 변환된 상기 출력 데이터는 상기 영상 데이터의 계조가 증가함에 따라 선형적으로 증가하는 것을 특징으로 하는 영상 처리 방법.
  11. 제1 항에 있어서, 상기 제2 톤 매핑 동작은 제1 색상에 대응하는 상기 영상 데이터를 제1 가중치가 적용된 제2 변환 함수를 이용하여 상기 출력 데이터로 변환하고, 상기 제1 색상과 다른 제2 색상에 대응하는 상기 영상 데이터를 상기 제1 가중치와는 다른 제2 가중치가 적용된 제2 변환 함수를 이용하여 상기 출력 데이터로 변환하는 것을 특징으로 하는 영상 처리 방법.
  12. 톤-매핑 동작을 수행함으로써 영상 데이터를 출력 데이터로 변환하는 영상 처리 방법에 있어서,
    상기 영상 데이터 중 영상의 에지에 포함되는 화소수를 도출하는 단계;
    상기 도출된 화소수가 제1 임계값보다 큰 경우, 상기 영상 데이터에 대한 바이패스 동작을 수행하는 단계; 및
    상기 도출된 화소수가 상기 제1 임계값보다 작거나 같은 경우, 상기 영상 데이터에 대한 제1 톤 매핑 동작을 수행하는 단계를 포함하는 영상 처리 방법.
  13. 제12 항에 있어서, 상기 바이패스 동작에 따라 변환된 상기 출력 데이터는 상기 영상 데이터의 계조가 증가함에 따라 선형적으로 증가하는 것을 특징으로 하는 영상 처리 방법.
  14. 톤-매핑 동작을 수행함으로써 영상 데이터를 출력 데이터로 변환하는 영상 처리 장치에 있어서,
    상기 영상 데이터 및 상기 영상 데이터에 대응하는 메타 데이터를 포함하는 영상 컨텐츠를 수신하는 신호 수신부;
    상기 영상 데이터에 상응하는 영상의 에지(edge)를 결정하고, 상기 영상 데이터의 제1 영상 데이터가 상기 에지에 상응하지 않는 경우, 상기 제1 영상 데이터에 대한 제1 톤 매핑 동작을 수행하며, 상기 제1 영상 데이터가 상기 에지에 상응하는 경우, 상기 제1 영상 데이터의 계조가 기 지정된 계조 범위에 속하는 지 여부를 판단하고, 상기 제1 영상 데이터의 계조가 상기 계조 범위에 속하는 경우, 제1 영상 데이터에 대한 제2 톤 매핑 동작을 수행하며, 상기 제1 영상 데이터의 계조가 상기 계조 범위에 속하지 않는 경우, 제1 영상 데이터에 대한 상기 제1 톤 매핑 동작을 수행하는 톤 매핑부; 및
    상기 출력 데이터 및 상기 메타 데이터에 기초하여 상기 영상에 대한 후처리 동작을 수행하는 영상 제어부를 포함하는 영상 처리 장치.
  15. 제14 항에 있어서, 상기 제1 톤 매핑 동작은 제1 변환 함수를 이용하여 상기 제1 영상 데이터를 제1 출력 데이터로 변환하고,
    상기 제2 톤 매핑 동작은 상기 제1 변환 함수와 다른 제2 변환 함수를 이용하여 상기 제1 영상 데이터를 제2 출력 데이터로 변환하는 것을 특징으로 하는 영상 처리 장치.
  16. 제15 항에 있어서, 상기 계조 범위는 제1 임계 계조보다 작은 제1 계조 범위 및 제2 임계 계조보다 큰 제2 계조 범위 중 적어도 하나를 포함하고,
    상기 제2 임계 계조는 상기 제1 임계 계조보다 큰 것을 특징으로 하는 영상 처리 장치.
  17. 제16 항에 있어서, 상기 제1 계조 범위에서 상기 제1 출력 데이터는 상기 제2 출력 데이터보다 작거나 같은 것을 특징으로 하는 영상 처리 장치.
  18. 제16 항에 있어서, 상기 제2 계조 범위에서 상기 제1 출력 데이터는 상기 제2 출력 데이터보다 크거나 같은 것을 특징으로 하는 영상 처리 장치.
  19. 제14 항에 있어서, 상기 톤 매핑부는 상기 영상 데이터 중 상기 에지에 포함되는 화소수를 도출하고, 상기 도출된 화소수가 제1 임계값보다 큰 경우, 상기 영상 데이터 전체에 대한 바이패스 동작을 수행하는 것을 특징으로 하는 영상 처리 장치.
  20. 제14 항에 있어서, 상기 제2 톤 매핑 동작은 제1 색상에 대응하는 상기 영상 데이터를 제1 가중치가 적용된 제2 변환 함수를 이용하여 상기 출력 데이터로 변환하고, 상기 제1 색상과 다른 제2 색상에 대응하는 상기 영상 데이터를 상기 제1 가중치와는 다른 제2 가중치가 적용된 제2 변환 함수를 이용하여 상기 출력 데이터로 변환하는 것을 특징으로 하는 영상 처리 장치.
KR1020170155735A 2017-11-21 2017-11-21 영상 처리 방법 및 이를 수행하는 영상 처리 장치 KR102525546B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170155735A KR102525546B1 (ko) 2017-11-21 2017-11-21 영상 처리 방법 및 이를 수행하는 영상 처리 장치
US16/190,463 US10789687B2 (en) 2017-11-21 2018-11-14 Image processing method and image processor performing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170155735A KR102525546B1 (ko) 2017-11-21 2017-11-21 영상 처리 방법 및 이를 수행하는 영상 처리 장치

Publications (2)

Publication Number Publication Date
KR20190058753A true KR20190058753A (ko) 2019-05-30
KR102525546B1 KR102525546B1 (ko) 2023-04-26

Family

ID=66532444

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170155735A KR102525546B1 (ko) 2017-11-21 2017-11-21 영상 처리 방법 및 이를 수행하는 영상 처리 장치

Country Status (2)

Country Link
US (1) US10789687B2 (ko)
KR (1) KR102525546B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021072873A1 (zh) * 2019-10-15 2021-04-22 平安科技（深圳）有限公司 灰度图像处理方法、系统、装置和计算机可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10896492B2 (en) * 2018-11-09 2021-01-19 Qwake Technologies, Llc Cognitive load reducing platform having image edge enhancement

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150120993A (ko) * 2013-02-21 2015-10-28 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위 비디오에 대한 디스플레이 관리
KR20160040981A (ko) * 2014-10-06 2016-04-15 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20160128729A (ko) * 2015-04-29 2016-11-08 엘지디스플레이 주식회사 영상 처리 방법 및 영상 처리 회로와 그를 이용한 표시 장치
KR20170091744A (ko) * 2015-01-19 2017-08-09 돌비 레버러토리즈 라이쎈싱 코오포레이션 높은 동적 범위 비디오에 대한 디스플레이 관리
KR20170107487A (ko) * 2015-02-16 2017-09-25 삼성전자주식회사 메타데이터 기반 영상 처리 방법 및 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090322800A1 (en) 2008-06-25 2009-12-31 Dolby Laboratories Licensing Corporation Method and apparatus in various embodiments for hdr implementation in display devices
KR101520069B1 (ko) 2008-12-26 2015-05-21 삼성전자 주식회사 관심 영역 기반 영상 처리 장치 및 방법
KR20170087078A (ko) 2016-01-19 2017-07-28 삼성디스플레이 주식회사 투명 액정 표시 장치 및 이의 구동 방법
KR102521364B1 (ko) 2016-01-22 2023-04-14 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
US10019785B2 (en) * 2016-03-07 2018-07-10 Novatek Microelectronics Corp. Method of processing high dynamic range images using dynamic metadata
US10032263B2 (en) * 2016-06-12 2018-07-24 Apple Inc. Rendering information into images
US10504487B2 (en) * 2016-10-14 2019-12-10 Apple Inc. Ambient and content adaptive pixel manipulation
US10720091B2 (en) * 2017-02-16 2020-07-21 Microsoft Technology Licensing, Llc Content mastering with an energy-preserving bloom operator during playback of high dynamic range video

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150120993A (ko) * 2013-02-21 2015-10-28 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위 비디오에 대한 디스플레이 관리
KR20160040981A (ko) * 2014-10-06 2016-04-15 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
KR20170091744A (ko) * 2015-01-19 2017-08-09 돌비 레버러토리즈 라이쎈싱 코오포레이션 높은 동적 범위 비디오에 대한 디스플레이 관리
KR20170107487A (ko) * 2015-02-16 2017-09-25 삼성전자주식회사 메타데이터 기반 영상 처리 방법 및 장치
KR20160128729A (ko) * 2015-04-29 2016-11-08 엘지디스플레이 주식회사 영상 처리 방법 및 영상 처리 회로와 그를 이용한 표시 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021072873A1 (zh) * 2019-10-15 2021-04-22 平安科技（深圳）有限公司 灰度图像处理方法、系统、装置和计算机可读存储介质

Also Published As

Publication number Publication date
US10789687B2 (en) 2020-09-29
US20190156469A1 (en) 2019-05-23
KR102525546B1 (ko) 2023-04-26

Similar Documents

Publication Publication Date Title
US9773300B2 (en) Method and apparatus for correcting image based on distribution of pixel characteristic
US10140545B2 (en) Methods and systems for differentiating synthetic and non-synthetic images
CN101340511B (zh) 一种基于亮度检测的自适应视频图像增强方法
CN107680056B (zh) 一种图像处理方法及装置
CN112150368B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112541868B (zh) 图像处理方法、装置、计算机设备和存储介质
US20140348428A1 (en) Dynamic range-adjustment apparatuses and methods
CN100428786C (zh) 用于调节图像亮度的方法和装置
US8335375B2 (en) Image processing apparatus and control method thereof
CN111476744B (zh) 一种基于分类及大气成像模型的水下图像增强方法
US10445865B1 (en) Method and apparatus for converting low dynamic range video to high dynamic range video
US10554900B2 (en) Display apparatus and method of processing image thereof
US20080278632A1 (en) Image processing apparatus
CN104008535B (zh) 基于CbCr角度归一化直方图的图像增强方法及系统
CN104463806B (zh) 基于数据驱动技术的高度自适应图像对比度增强方法
KR102525546B1 (ko) 영상 처리 방법 및 이를 수행하는 영상 처리 장치
CN109509161B (zh) 图像增强装置及图像增强方法
KR101634652B1 (ko) 영상의 대비 강화 방법 및 장치
CN105631812B (zh) 一种对显示图像进行色彩增强的控制方法及控制装置
US10140731B2 (en) Image processing apparatus, image processing method, and storage medium
WO2009150749A1 (ja) 画像補正装置、画像補正プログラムおよび画像補正方法
Chang et al. Perceptual contrast enhancement of dark images based on textural coefficients
US8111935B2 (en) Image processing methods and image processing apparatus utilizing the same
CN101656852B (zh) 影像处理装置及影像处理方法
JP2004282532A (ja) 画像処理装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171121

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201110

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20171121

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220809

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20230130

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20230420

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20230421

End annual number: 3

Start annual number: 1

PG1601 Publication of registration