KR101717733B1 - Hdr 이미지 처리 장치 및 방법 - Google Patents

Hdr 이미지 처리 장치 및 방법 Download PDF

Info

Publication number
KR101717733B1
KR101717733B1 KR1020150163464A KR20150163464A KR101717733B1 KR 101717733 B1 KR101717733 B1 KR 101717733B1 KR 1020150163464 A KR1020150163464 A KR 1020150163464A KR 20150163464 A KR20150163464 A KR 20150163464A KR 101717733 B1 KR101717733 B1 KR 101717733B1
Authority
KR
South Korea
Prior art keywords
image data
brightness
scale
pixels
value
Prior art date
Application number
KR1020150163464A
Other languages
English (en)
Inventor
김형국
한경복
조혜승
고상선
Original Assignee
광운대학교 산학협력단
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단, 서울대학교산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020150163464A priority Critical patent/KR101717733B1/ko
Application granted granted Critical
Publication of KR101717733B1 publication Critical patent/KR101717733B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

HDR 이미지 처리 장치 및 방법을 공개한다. 본 발명은 이미지 데이터를 인가받아 밝기를 계산하여, 이미지 데이터의 밝기 분포를 분석하여 이미지 데이터의 밝기를 조절하는 밝기 조절부 밝기가 조절된 이미지 데이터를 서로 다른 스케일로 지정된 복수개의 스케일 경계선 필터로 필터링하여, 서로 다른 스케일로 경계선이 추출된 복수개의 스케일 이미지 데이터를 획득하고, 획득된 복수개의 스케일 이미지 데이터 각각과 밝기 조절된 이미지 데이터의 차로부터 복수개의 스케일 이미지 데이터 각각의 세부 경계선을 추출하는 다중 스케일 조절부 및 세부 경계선이 추출된 복수개의 스케일 이미지 데이터 각각에 대해 톤 매핑을 수행하고 합성하여 합성 이미지 데이터를 생성하고, 합성 이미지 데이터의 픽셀값과 색상 값 및 색 농도를 조절하여 출력하는 이미지 변환부를 포함한다.

Description

HDR 이미지 처리 장치 및 방법{HDR IMAGE PROCESSING APPARATUS AND METHOD}
본 발명은 이미지 처리 장치 및 방법에 관한 것으로, 특히 다양한 밝기 상황에서 정확한 물체 구분이 가능하도록 경계선을 보존하는 HDR 이미지 처리 장치 및 방법에 관한 것이다.
일반적으로 이미지 처리는 원본 이미지로부터 이미지의 활용 용도에 적합하도록 수정된 고화질의 이미지를 획득하기 위해 수행된다. 특히 최근에는 이미지를 이용한 각종 정보 처리 기술이 발전함에 따라 이미지에서 물체(또는 전경)를 배경과 구분하는 각종 기법이 연구되고 있다. 그러나 매우 어둡거나 밝은 다양한 밝기 상황에서 이미지에 포함된 물체를 정확하게 구분하기는 매우 어렵다.
최근 이미지에서 물체를 구분하기 위한 사전 작업으로 HDR(High Dynamic Range)-톤 매핑(tone mapping) 방식이 주로 이용되고 있다. HDR은 인간의 시각이 인지할 수 있는 이미지 정보의 동적 영역(dynamic range)에 비해 극히 제한된 동적 영역을 갖는 이미지의 다이나믹 레인지를 인간의 시각이 인지할 수 있는 수준으로 확장하는 기법이며, 톤 매핑은 HDR 이미지를 디스플레이 장치를 통해 출력할 수 있는 레벨로 동적 영역을 압축하는 기법이다.
톤 매핑은 일반적으로 방식에 따라서 글로벌 톤 매핑과 로컬 톤 매핑으로 분류된다. 글로벌 톤 매핑 방식은 모든 픽셀에 대해 동일한 매핑 함수를 사용하여 HDR 이미지의 다이내믹 레인지를 압축한다. 이때 사용되는 함수에는 감마 함수, 대수 함수(log), 시그모이드 함수 등이 있다. 글로벌 톤 매핑 방식은 간단하고 빠르다는 장점이 있다. 하지만 글로벌 톤 매핑 방식은 이미지의 대비도를 감소시켜 이미지에 포함된 세부 정보를 잃어버릴 수 있다는 단점이 있다. 반면에 로컬 톤 매핑 방식은 픽셀의 위치에 따라 주변 픽셀의 정보를 추정 할 수 있다. 로컬 톤 매핑 방식은 이미지의 대비도를 증가 시키면서 이미지의 세부적인 부분까지 보존 할 수 있다는 장점이 있다. 이런 이유로 최근 몇 년간 기존의 대부분 연구는 로컬 톤 매핑 방식에 더 많은 관심을 가지고 있다.
로컬 톤 매핑 방식의 주요 개념은 베이스 층 및 세부 층의 이미지를 분리하는 것이다. 변화의 스케일이 큰 베이스 층은 높은 다이내믹 레인지를 갖고 있고 세부 층의 다이내믹 레인지는 낮다. 그 다음 베이스 층은 비선형 매핑 함수로 압축 시켜서 최종적으로 세부 층과 재결합 시킨다.
로컬 톤 매핑 방식에서 가장 중요한 단계는 조명 성분을 추정하기 위해 이미지를 분리하는 과정에서 사용되는 필터이다. 가우시안 필터와 같은 로우 패스 필터를 이용하게 되면 출력한 결과 이미지의 경계선 근처에서 후광이 발생할 수도 있다. 후광의 존재는 로컬 톤 매핑 방식에서 자주 발생하는 문제다. 이러한 문제에 대한 공통적인 해결 방안은 큰 스케일의 경계선들을 보존하면서 작은 스케일의 경계선들을 부드럽게 할 수 있는 경계 보존 필터를 사용하는 것이다.
기존에 가장 효과가 좋은 것으로 알려진 경계 보존 필터는 픽셀의 공간위치와 그 주변 픽셀 값의 차이와 가중치에 의해 결정되는 비선형 경계 보존 필터이다. 하지만 비선형 경계 보존 필터는 잡음 제거에는 아주 효과적이지만 경계선 보존 측면에서는 제한적이다. 비선형 경계 보존 필터를 사용하면 추출된 이미지 내부에서 세부 성분의 스케일이 증가할 때, 필터가 후광을 생성할 수 있어서 물체의 경계선을 흐릿하게 나타낼 수 있다는 문제가 있다.
한국 등록 특허 제10-1456874호 (2014.10.27 등록)
본 발명의 목적은 경계선 보존 필터를 이용한 HDR 방식 이미지 처리 장치를 제공하는데 있다.
본 발명의 다른 목적은 경계선 보존 필터를 이용한 HDR 방식 이미지 처리 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 HDR 방식 이미지 처리 장치는 이미지 데이터를 인가받아 밝기를 계산하여, 상기 이미지 데이터의 밝기 분포를 분석하여 상기 이미지 데이터의 밝기를 조절하는 밝기 조절부; 밝기가 조절된 상기 이미지 데이터를 서로 다른 스케일로 지정된 복수개의 스케일 경계선 필터로 필터링하여, 서로 다른 스케일로 경계선이 추출된 복수개의 스케일 이미지 데이터를 획득하고, 획득된 상기 복수개의 스케일 이미지 데이터 각각과 밝기 조절된 상기 이미지 데이터의 차로부터 상기 복수개의 스케일 이미지 데이터 각각의 세부 경계선을 추출하는 다중 스케일 조절부; 및 세부 경계선이 추출된 상기 복수개의 스케일 이미지 데이터 각각에 대해 톤 매핑을 수행하고 합성하여 합성 이미지 데이터를 생성하고, 상기 합성 이미지 데이터의 픽셀값과 색상 값 및 색 농도를 조절하여 출력하는 이미지 변환부; 를 포함한다.
상기 밝기 조절부는 상기 이미지 데이터의 복수개의 픽셀 각각의 밝기값을 계산하여, 밝기 히스토그램을 생성하고, 생성된 상기 밝기 히스토그램의 분포를 분석하여 정규화함으로써, 상기 밝기 히스토그램 평활화하며, 평활화된 상기 밝기 히스토그램의 값을 상기 복수개의 픽셀 각각에 적용하여 상기 이미지 데이터의 밝기를 조절하는 것을 특징으로 한다.
상기 밝기 조절부는 상기 이미지 데이터가 색상값이 포함된 3차원 이미지 데이터인지 판별하고, 상기 이미지 데이터가 상기 3차원 이미지 데이터로 판별되면, 상기 이미지 데이터의 복수개의 픽셀 각각의 RGB 색상값에 시각적 민감 계수를 적용하여, 2차원의 이미지 데이터로 변환한 후, 밝기를 조절하는 것을 특징으로 한다.
상기 스케일 조절부는 각각 서로 다른 기지정된 스케일로 지정된 복수개의 스케일 경계선 필터를 구비하여, 밝기가 조절된 상기 이미지 데이터를 스케일 변환하고, 경계선 필터링하여, 상기 복수개의 스케일 이미지 데이터를 생성하는 경계선 검출부; 상기 복수개의 스케일 이미지 데이터 각각에 상기 스케일에 대응하는 가중치를 적용하는 가중치 적용부; 및 가중치가 적용된 상기 복수개의 스케일 이미지 데이터와 밝기 조절된 상기 이미지 데이터의 차를 이용하여, 상기 복수개의 스케일 이미지 데이터 각각의 상기 세부 경계선을 추출하는 세부 경계선 검출부; 를 구비하는 것을 특징으로 한다.
상기 가중치 적용부는 상기 복수개의 스케일 이미지 데이터 각각을 고속 퓨리에 변환하여 주파수 영역의 데이터로 변환하고, 복수개의 상기 주파수 영역의 데이터 각각에 대해 상기 스케일에 대응하는 가중치를 적용한 후, 역 고속 퓨리에 변환하는 것을 특징으로 한다.
상기 이미지 변환부는 세부 경계선이 추출된 상기 복수개의 스케일 이미지 데이터 각각의 다이나믹 레인지를 밝기 평균 값과 픽셀 값의 비율에 따라 압축하고, 다이나믹 레인지가 압축된 상기 복수개의 스케일 이미지 데이터를 병합하여 상기 합성 이미지 데이터를 생성하는 톤 매핑부; 상기 합성 이미지 데이터의 픽셀 값을 계산하여, 상위 및 하위 기설정된 비율에 대응하는 픽셀을 잡음으로 판별하여 제거하며, 상기 복수개의 픽셀 각각의 값을 인접한 픽셀의 값을 이용하여 보완하는 픽셀 강화부; 및 상기 밝기 조절부에서 밝기 조절된 상기 이미지 데이터의 복수개의 픽셀 각각의 RGB 색상 존재 확률을 계산하여, 상기 복수개의 픽셀 각각의 색상을 복원하고, 복원된 상기 복수개의 픽셀 각각의 색상 농도값을 기설정된 문턱값과 비교하여, 상기 복수개의 픽셀 각각의 색상 농도값을 문턱값과의 비율에 따라 재설정하는 색상 복원부; 를 포함하는 것을 특징으로 한다.
상기 색상 복원부는 상기 문턱값을 각 픽셀의 RGB 색상 존재 확률의 평균값으로 설정하고, 상기 복수개의 픽셀 각각의 색상 농도값 중 상기 문턱값을 초과하는 색상 농도 값을 갖는 픽셀의 상기 색상 농도 값을 재설정하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명의 일 예에 따른 HDR 방식 이미지 처리 방법은 밝기 조절부, 다중 스케일 조절부 및 이미지 변환부를 포함하는 HDR 이미지 처리 장치의 HDR 이미지 처리 방법에 있어서, 상기 밝기 조절부가 이미지 데이터를 인가받아 밝기를 계산하여, 상기 이미지 데이터의 밝기 분포를 분석하여 상기 이미지 데이터의 밝기를 조절하는 단계; 상기 다중 스케일 조절부가 밝기가 조절된 상기 이미지 데이터를 서로 다른 스케일로 지정된 복수개의 스케일 경계선 필터로 필터링하여, 서로 다른 스케일로 경계선이 추출된 복수개의 스케일 이미지 데이터를 획득하는 단계; 상기 다중 스케일 조절부가 상기 복수개의 스케일 이미지 데이터 각각과 밝기 조절된 상기 이미지 데이터의 차로부터 상기 복수개의 스케일 이미지 데이터 각각의 세부 경계선을 추출하는 단계; 상기 이미지 변환부가 세부 경계선이 추출된 상기 복수개의 스케일 이미지 데이터 각각에 대해 톤 매핑을 수행하고 합성하여 합성 이미지 데이터를 생성하는 단계; 및 상기 이미지 변환부가 상기 합성 이미지 데이터의 픽셀값과 색상 값 및 색 농도를 조절하여 출력하는 단계; 를 포함한다.
따라서, 본 발명의 경계선 보존 필터를 이용한 HDR 방식 이미지 처리 장치 및 방법은 매우 어둡거나 밝은 다양한 밝기의 이미지 데이터의 밝기를 조절하여 물체를 정확하게 판별할 수 있도록 한다. 또한 잡음을 제거하여, 픽셀을 강화할 수 있으며, 후광 효과가 발생하지 않으면서 이미지의 색상 및 경계선이 분명하면서, 자연스럽게 변화되도록 하여 저해상도의 이미지로부터도 고해상도의 이미지와 동등한 수준의 이미지를 도출할 수 있다.
그러므로 본 발명의 HDR 방식 이미지 처리 장치 및 방법은 어두운 방에서 여러 개의 스피커를 설치하여 입체 음향으로 소리를 청취 시, 이미지를 획득하고 획득된 이미지로부터 사람의 귀를 정확하게 추출하여 인식할 수 있도록 함으로써, 스피커가 청취자의 귀의 위치나 움직임에 따라 스피커도 같이 자동적으로 움직여 효과적으로 입체적인 소리를 들을 수 있도록 할 수 있다. 또한 블랙박스에 적용하여 주차장과 같은 명암대비가 좋지 않은 상황에서 정확한 물체를 검출 할 수 있도록 한다.
도1 은 본 발명의 일 실시예에 따른 HDR 이미지 처리 장치를 나타낸다.
도2 는 본 발명의 일 실시예에 따른 HDR 이미지 처리 방법을 나타낸다.
도3 은 도2 의 이미지 밝기 조절 단계를 상세하게 나타낸 도면이다.
도4 는 도2 의 가중치 적용 단계를 상세하게 나타낸 도면이다.
도5 는 도2 의 톤 매핑 단계를 상세하게 나타낸 도면이다.
도6 는 도2 의 픽셀 강화 단계를 상세하게 나타낸 도면이다.
도7 은 도2 의 색상 복원 단계를 상세하게 나타낸 도면이다.
도8 내지 도9 는 본 발명의 HDR 이미지 처리 방법을 적용한 이미지를 기존의 방법과 비교하여 나타낸 도면이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도1 은 본 발명의 일 실시예에 따른 HDR 이미지 처리 장치를 나타낸다.
도1 를 참조하면, 본 발명의 HDR 방식 이미지 처리 장치는 밝기 조절부(110), 경계선 검출부(120), 가중치 적용부(130), 세부 경계선 검출부(140), 톤 매핑부(150), 픽셀 강화부(160) 및 색상 복원부(170)를 구비한다.
우선 밝기 조절부(110)는 이미지 처리가 수행되어야 하는 이미지 데이터를 인가받고, 인가된 이미지 데이터의 밝기를 계산하며, 계산된 이미지 밝기를 적응적으로 조절한다. 여기서 이미지 데이터는 HDR 이미지 데이터인 것으로 가정하여 설명한다. 그리고 본 발명에서 밝기 조절부(110)는 히스토그램 평활화 기법을 이용하여 이미지 데이터의 밝기 분포를 균일하게 한다. 사람의 시각은 색감보다는 밝기 정보에 민감하므로, 밝기 조절부(110)는 이미지의 밝기가 균등하도록 이미지의 밝기 분포를 조절한다.
만약 이미지 데이터가 밝기 정보만 가진 2차원 이미지 데이터이면, 밝기 조절부(110)는 밝기 분포를 추정하기 위해 이미지 데이터의 히스토그램을 계산한다. 그러나 이미지 데이터가 색상의 정보를 포함하는 3차원 이미지 데이터이면 RGB로 구성된 이미지 데이터의 색상값에 대해 시각적 민감 계수를 적용하여, 색상값이 포함된 3차원 이미지 데이터를 2차원의 밝기 이미지 데이터로 변환한다. 즉 컬러 이미지 데이터를 흑백 이미지 데이터로 변환한다. 여기서 시각적 민감 계수는 사람의 색상에 대한 밝기 인식도에 대한 계수로서, 각 색상에 대한 계수가 이미 알려져 있다. 색상값이 포함된 3차원 이미지 데이터를 밝기 정보만을 포함하는 2차원 이미지로 변환하면, 3차원 이미지 데이터보다 연산량이 크게 줄어들어 이후 연산 속도를 높일 수 있다.
밝기 조절부(110)는 계산된 이미지 데이터의 밝기값을 기반으로 밝기 히스토그램을 생성하고, 생성된 밝기 히스토그램의 밝기값의 분포가 특정 영역에 치우친 것으로 판별되면, 밝기 히스토그램의 평활화 기법을 이용하여 밝기 분포를 균일하게 한다.
밝기 히스토그램 평활화는 일 예로 이미지 데이터의 밝기값의 빈도 수를 계산해 모든 픽셀에 누적 합의 값을 계산하고, 계산된 누적 빈도 수를 정규화하여 수행될 수 있다. 여기서 정규화는 최대 밝기값과 누적합의 값을 곱하고, 픽셀의 총 수로 나누어 계산될 수 있다. 그리고 밝기 조절부(110)는 정규화 된 값으로 입력된 이미지 데이터의 픽셀 값을 변환하여 밝기 히스토그램이 평활화된 결과 이미지 데이터를 얻을 수 있다. 밝기 분포가 균일하게 되면 이미지 데이터에서 어두운 부분과 밝은 부분에 대한 대비도가 뚜렷해진다.
경계선 검출부(120)는 밝기 조절부(110)에서 밝기가 조절된 이미지 데이터를 인가받고, 인가된 이미지 데이터에 다중 스케일 경계선 필터를 적용하여 필터링 함으로써, 이미지 데이터에서 서로 다른 스케일의 경계선을 추출한다. 본 발명에서는 일 예로 경계선 검출부(120)가 3개 스케일 경계선 필터를 이용하여 이미지 데이터를 필터링하는 것으로 가정한다. 3개 스케일 경계선 필터 중 제1 스케일 경계선 필터는 현재 이미지 데이터의 스케일을 그대로 유지하며 경계선 필터링하며, 제2 스케일 경계선 필터는 제1 스케일 경계선 필터의 1/2 스케일로 이미지 데이터를 스케일 다운한 후, 경계선 필터링하며, 제3 스케일 경계선 필터는 제2 스케일 경계선 필터의 1/2 스케일로 이미지 데이터를 스케일 다운하여 경계선 필터링한다. 즉 제3 스케일 경계선 필터가 가장 작은 스케일을 갖게 된다.
제3 스케일 경계선 필터와 같이 작은 스케일로 스케일 경계선 필터를 적용하게 되면, 이미지의 세부가 부각되는 반면, 다이내믹 레인지가 줄어들어 전체적인 이미지가 회색조를 띄게 된다. 반대로 제1 스케일 경계선 필터와 같은 큰 스케일의 경계선 필터를 적용할 경우 다이내믹 레인지는 늘어나지만 이미지에서 조명 성분이 정확하게 구분되지 않아 어두운 부분이 효과적으로 살아나지 못하며 경계 부분에서 후광효과가 발생하게 된다.
따라서 본 발명에서는 큰 스케일의 경계선 필터의 필터링으로 발생하는 후광효과를 제거하고, 밝은 영역을 효과적으로 개선시키기 위해 다양한 스케일의 스케일 경계선 필터를 구비하는 다중 스케일 필터를 사용하여 경계선을 검출한다.
그리고 가중치 적용부(130)는 경계선 검출부(120)에서 다중 스케일로 경계선이 검출 된 복수개의 이미지 데이터 각각을 고속 퓨리에 변환(FFT)하여 주파수 영역의 데이터로 변환하고, 각각의 스케일 대응하는 가중치를 계산한다. 여기서 주파수 영역에서의 가중치는 가장 작은 스케일을 갖는 고주파 영역에서는 고주파에 상대적으로 높은 가중치를 부여하며, 가장 큰 스케일을 갖는 저주파 영역에서는 상대적으로 저주파에 큰 가중치를 부여하고, 중간 스케일을 갖는 경우는 일정한 가중치를 부여하도록 계산된다. 그리고 부여된 모든 가중치의 합이 1이 되도록 정규화 한다. 정규화된 가중치는 다른 스케일로 필터링되고 FFT 변환된 이미지 데이터에 적용되며, 가중치가 적용된 이미지 데이터는 다시 역 고속 퓨리에 변환(IFFT)된다.
세부 경계선 검출부(140)는 밝기 조절부(110)에서 밝기가 조절된 이미지데이터와 스케일 변환되고 가중치가 적용된 이미지 데이터의 차를 계산하여 이미지 데이터의 세부 경계선을 검출한다.
그리고 톤 매핑부(150)는 세부 경계선이 검출된 이미지 데이터에 대해 톤 매핑을 수행한다. 실세계가 가지고 있는 이미지 밝기의 범위는 약 108cd/m2 정도이기 때문에, 이를 일반적인 디스플레이 장치로 표현을 하기 위해서는 102cd/m2 정도로 다이내믹 레인지를 감소시켜야 한다.
본 발명에서는 이미지 데이터의 비선형 다이내믹 레인지를 정규화하는 방법을 통해 이미지의 다이내믹 레인지를 감소시켜 밝기를 효율적으로 표현할 수 있도록 하고 이미지 데이터의 세부적인 특징을 유지한다. 비선형 다이내믹 레인지 정규화는 이미지 데이터의 다이내믹 레인지가 0에서 1까지의 값을 갖도록 조절한다.
톤 매핑은 상기한 바와 같이 다이나믹 레인지 압축 방식으로, 이미지 데이터의 다이나믹 레인지를 압축을 할 때 이미지의 밝기를 더 정확하게 표현하기 위해서 이미지 밝기의 평균 값과 픽셀 값의 비율을 계산하여 다이내믹 레인지의 중간 값 주위로 분포시킨다. 또한 정규화 영역의 비율을 확장함으로써 입력된 이미지의 세부적인 성분을 보존한다.
이후 톤 매핑부(150)는 다이나믹 레인지를 압축 시킨 후, 모든 스케일의 경계선이 한번에 표현 가능하도록 검출된 경계선을 합성하여 이미지 데이터에 나타낸다. 그리고 톤 매핑부(150)는 합성된 이미지 데이터의 노출 값을 조절하기 위해 노출값 히스토그램을 계산한다. 톤 매핑부(150)는 계산된 노출값 히스토그램의 최대값과 최소값의 평균값을 획득하여, 평균값에 따라 합성된 이미지 데이터의 노출값을 조절한다.
픽셀 강화부(160)는 톤 매핑부(150)에서 노출값이 조절된 이미지 데이터의 복수개의 픽셀의 최소값과 최대값을 계산하여 잡음을 판별하고, 판별된 잡음을 제거함으로써 픽셀을 강화한다.
픽셀 강화부(160)는 먼저 검출된 경계선들이 합성되는 과정에서 생기는 불필요한 잡음 픽셀들을 제거하기 위해 이미지 픽셀의 최소값과 최대값을 계산한다. 그리고 픽셀 강화부(160)는 픽셀값 히스토그램을 생성하며, 픽셀값 히스토그램에서 상위 및 하위 기설정된 비율(여기서는 일예로 1%)에 해당하는 픽셀은 매우 희거나 검은 부분이므로, 이미지 데이터에서 불필요한 잡음 정보로 인식하여 제거한다. 이후 인접한 픽셀들의 값을 이용하여 픽셀의 값을 추정하는 기법(예를 들면 평균값 보간)을 통해 픽셀 간의 변화 정도를 부드럽게 보완하면, 제거된 픽셀의 값을 대체할 수 있을 뿐만 아니라, 기존 물체의 경계선에 대한 부족한 정확도와 해상도가 높아져서 이미지 확대 시 물체의 세부적인 부분까지도 확인 할 수 있다.
픽셀 강화부(160)에 의해 잡음이 제거되어 픽셀이 강화되면, 색상 복원부(170)가 밝기 조절부(110)에서 2차원의 밝기 이미지 데이터, 즉 흑백 이미지 데이터로 변환된 이미지를 다시 색상이 포함된 3차원 이미지 데이터로 복원한다.
이때 색상 복원부(170)는 밝기 조절부(110)에서 계산된 2차원 밝기 이미지 데이터의 밝기로부터 RGB 색상이 존재할 확률을 계산함으로써, 각 픽셀의 색상을 확인하고, 확인된 픽셀의 색상을 반영한다. 각 픽셀의 색상이 반영되면, 색상 복원부(170)는 각 픽셀의 색 농도를 재설정함으로써, 이미지 데이터의 색상이 자연스럽게 적용되도록 한다.
색상 복원부(170)는 밝기 조절부(110)에서 밝기값이 계산된 2차원 밝기 이미지 데이터의 각 픽셀에서 빨강색(R), 초록색(G) 및 파란색(B) 성분이 각각 존재하는 확률을 밝기 조절부(110)로 인가되는 이미지 데이터의 각 픽셀에서 색상값과 2차원 밝기 이미지 데이터의 각 픽셀에서의 밝기값을 이용하여 기설정된 방식으로 계산한다. 즉 원본 이미지에 대한 정보인 이미지 데이터에 포함된 각 픽셀별 색상값에 2차원 밝기 이미지 데이터의 각 픽셀의 밝기값을 반영하여, 각 픽셀에 2차원 밝기 이미지 데이터의 각 픽셀의 RGB 성분이 존재할 확률을 계산할 수 있다. 이미지 데이터의 각 픽셀의 RGB 성분과 밝기값을 이용하여, 2차원 밝기 이미지 데이터의 각 픽셀의 RGB 성분이 존재할 확률을 계산하는 기법은 공지된 기술이므로 여기서는 상세하게 설명하지 않는다. 그리고 색상 복원부(170)는 계산된 RGB 성분 각각의 확률을 조합하여, 각 픽셀의 RGB 색상값을 획득한다.
또한 색상 복원부(170)는 각 픽셀의 색상값이 적용된 3차원 이미지 데이터가 획득되면, 조합 된 3차원 이미지 데이터의 색상 톤을 보정하기 위해 색상 필터를 적용한다. 색상 필터 적용 후, 색상 복원부(170)는 색상 필터에 의해 필터링된 3차원 이미지 데이터의 색상 농도값을 기설정된 문턱값과 비교하여 문턱값을 초과하는 픽셀들의 색상 농도값을 문턱값과의 비율에 따라 재설정한다. 여기서 문턱값은 RGB 성분이 존재하는 확률을 통해서 각각 성분의 평균값으로 설정되고, 문턱값을 초과하는 색상 농도값은 문턱값으로부터의 초과 비율에 따라 재설정된다. 따라서 전체적인 이미지의 농도가 자연스럽게 되어, 최종적으로 이미지 데이터의 밝기가 적당한 값으로 조절되고 정확한 경계선이 검출되어 물체의 세부적인 부분까지도 구분이 되고, 색상이 보정되어 출력된다.
그리고 도시하지 않았으나, HDR 방식 이미지 처리 장치는 이미치 처리를 수행하고자 하는 이미지를 인가받아 저장하여 밝기 조절부(110)로 전달하는 이미지 입력부(미도시)를 더 구비할 수 있다. 이미지 입력부는 복수개의 이미지가 기저장된 이미지 데이터베이스로 구현될 수도 있으며, 각종 데이터 저장 매체 또는 외부로부터 이미지를 전송받는 통신 장치로 구현될 수 있다.
도1 에서 경계선 검출부(120)와 가중치 적용부(130) 및 세부 경계선 검출부(140)는 다중 스케일 조절부로 구성될 수 있으며, 톤 매핑부(150)와 픽셀 강화부(160) 및 색상 복원부(170)는 이미지 변환부로 구성될 수 있다.
도2 는 본 발명의 일 실시예에 따른 HDR 이미지 처리 방법을 나타낸다.
도1 을 참조하여, 도2 의 HDR 이미지 처리 방법을 설명하면, 우선 밝기 조절부(110)가 이미지 처리가 수행되어야 하는 이미지 데이터를 계산하고, 계산된 이미지 데이터의 밝기 분포가 균일해지도록 조절한다(S10). 이때 밝기 조절부(110)는 이미지 데이터에 색상값이 포함된 3차원 이미지 데이터이면, 색상 값을 밝기값으로 전환하여 3차원 이미지 데이터를 2차원 이미지 데이터로 변환한다.
그리고 경계선 검출부(120)는 밝기 분포가 균일해지도록 조절된 이미지 데이터를 서로 다른 스케일로 지정된 복수개의 스케일 경계선 필터를 이용하여, 다중 스케일 경계선 필터링을 수행한다(S20). 여기서 복수개의 스케일 경계선 필터 중 밝기 조절된 이미지 데이터의 스케일과 동일한 스케일을 갖는 스케일 경계선 필터와 밝기 조절된 이미지 데이터의 스케일보다 작은 스케일을 갖는 적어도 하나의 스케일 경계선 필터로 구성되어, 밝기 조절된 이미지 데이터를 각각 서로 다른 스케일로 경계선 검출한다.
서로 다른 스케일로 경계선이 검출된 복수개의 이미지 데이터 각각에 대해 가중치 적용부(130)가 스케일에 대응하는 가중치를 계산하고, 계산된 가중치를 서로 다른 스케일로 경계선이 검출된 복수개의 이미지 데이터 각각에 적용한다(S30). 이때 가중치 적용부(130)는 복수개의 이미지 데이터 각각을 고속 퓨리에 변환하여 가중치를 계산 및 적용한 후, 역 고속 퓨리에 변환하여 다시 이미지 데이터로 전환할 수 있다.
가중치가 적용되면, 세부 경계선 검출부(140)가 복수개의 이미지 데이터 각각의 세부 경계선을 검출한다(S40). 세부 경계선 검출부(140)는 밝기 조절부(110)에서 밝기가 조절된 이미지데이터와 가중치 적용부(130)에서 가중치가 적용된 복수개의 이미지 데이터 각각의 차를 계산하여 검출할 수 있다.
그리고 톤 매핑부(150)는 세부 경계선이 검출된 복수개의 이미지 데이터 각각의 다이나믹 레인지를 압축하여 톤 매핑을 수행하고, 세부 경계선이 검출된 복수개의 이미지 데이터를 합성한다(S50).
톤 매핑부(150)에서 세부 경계선이 검출된 복수개의 이미지 데이터가 하나의 이미지 데이터로 합성되면, 픽셀 강화부(160)는 합성된 이미지 데이터에서 잡음을 제거하여 픽셀을 강화한다(S60).
이후 색상 복원부(170)는 밝기 조절부(110)에서 밝기가 조절된 2차원 이미지 데이터의 픽셀 각각의 밝기값과 이미지 데이터의 픽셀 각각의 색상값으로부터 각 픽셀에 RGB 색상이 존재할 확률을 계산하여, 각 픽셀의 RGB 색상값을 획득한다. 그리고 획득된 RGB 색상값을 픽셀이 강화된 이미지 데이터에 대입하여, 이미지 데이터의 색상을 복원한다(S70). 그리고 색상이 복원된 이미지 데이터를 출력한다(S80)
도3 은 도2 의 이미지 밝기 조절 단계를 상세하게 나타낸 도면이다.
도3 을 참조하여, 이미지 밝기 조절 단계를 설명하면, 우선 밝기 조절부(110)는 입력된 이미지 데이터가 RGB 색상값이 포함된 3차원 이미지 데이터인지 판별한다(S11). 만일 색상값이 포함된 3차원 이미지 데이터인 것으로 판별되면, RGB 색상값에 대해 시각적 민감 계수를 적용하여, 2차원의 밝기 이미지 데이터로 변환한다(S12). 그리고 2차원의 밝기 이미지 데이터의 밝기를 조절하기 위해 이미지 데이터의 밝기값을 계산한다(S13).
이미지 데이터의 밝기값을 계산되면, 계산된 밝기값을 기반으로 밝기 히스토그램을 생성한다(S14). 밝기 히스토그램이 생성되면, 밝기 조절부(110)는 밝기 히스토그램의 분포를 분석하여 정규화함으로써 밝기 히스토그램을 평활화한다(S15). 그리고 평활화된 밝기 히스토그램을 이미지 데이터에 적용함으로써, 이미지 데이터의 밝기를 조절한다(S16).
도4 는 도2 의 가중치 적용 단계를 상세하게 나타낸 도면이다.
가중치 적용 단계(S30)는 다중 스케일 경계선 검출 단계(S20)에서 밝기 조절된 이미지 데이터가 복수개의 스케일 경계선 필터에 의해 경계선 필터링된 복수개의 이미지 데이터 각각에 대해 가중치를 계산한다(S31). 이때 가중치를 계산하기 위해 경계선 필터링된 복수개의 이미지 데이터 각각을 고속 퓨리에 변환하여 주파수 영역의 데이터로 변환하고, 변환된 주파수 영역의 데이터들 각각의 스케일에 대응하는 가중치를 계산한다.
그리고 가중치의 합이 1이 되도록 스케일별 가중치를 정규화한다(S32). 가중치가 정규화되면, 가중치 적용부(130)는 정규화된 가중치를 복수개의 주파수 영역의 데이터에 적용한 후, 역 고속 퓨리에 변환하여 가중치가 적용된 이미지 데이터로 변환한다(S33).
도5 는 도2 의 톤 매핑 단계를 상세하게 나타낸 도면이다.
톤 매핑 단계(S50)는 세부 경계선 검출 단계(S40)에서 세부 경계선이 검출된 복수개의 이미지 데이터 각각의 다이나믹 레인지를 압축한다(S51). 이때 톤 매핑부(150)는 복수개의 이미지 데이터 각각의 밝기 평균 값과 픽셀 값의 비율을 계산하여 다이내믹 레인지의 중간 값 주위로 분포시켜 다이나믹 레인지를 압축한다.
그리고 다이나믹 레인지가 압축된 스케일별 복수개의 이미지 데이터 각각의 세부 경계선을 결합하여, 하나의 이미지 데이터로 합성한다(S52).
이미지 데이터가 합성되면, 톤 매핑부(150)는 합성된 이미지 데이터의 노출 값을 조절하기 위해 노출값 히스토그램을 계산하고, 계산된 노출값 히스토그램의 최대 및 최소값의 평균값을 획득함으로써 합성된 이미지의 노출값을 조절한다(S53).
도6 는 도2 의 픽셀 강화 단계를 상세하게 나타낸 도면이다.
픽셀 강화 단계(S60)에서 픽셀 강화부(160)는 합성된 이미지 데이터의 픽셀값을 계산하여, 픽셀값 히스토그램을 생성한다(S61).
그리고 생성된 픽셀값 히스토그램에서 상위 및 하위 기설정된 비율(여기서는 일예로 1%)에 해당하는 픽셀값을 갖는 픽셀을 잡음으로 탐색한다(S62). 픽셀 강화부(160)는 잡음으로 탐색되는 픽셀이 존재하는지 판별한다(S63). 만일 잡음으로 탐색되는 픽셀이 존재하는 것으로 판단되면, 픽셀 강화부(160)는 탐색된 픽셀을 제거한다(S64). 그리고 픽셀 강화부(160)는 각 픽셀의 값이 급격하게 변화되지 않도록 인접한 픽셀들의 값을 이용하여 보완한다(S65). 이때 픽셀 강화부(160)는 잡음으로 탐색되어 제거된 픽셀의 값 또한 보완할 수 있다.
도7 은 도2 의 색상 복원 단계를 상세하게 나타낸 도면이다.
색상 복원 단계(S70)는 우선 밝기 조절부(110)에서 밝기가 조절된 2차원 밝기 이미지 데이터의 각 픽셀별 밝기값과 이미지 데이터의 각 픽셀별 색상값으로부터 픽셀별 RGB 색상 각각이 존재할 확률을 계산한다(S71). 그리고 계산된 확률에 따라 픽셀별 RGB 색상이 존재할 확률을 조합하여, 각 픽셀의 색상값을 획득하고 적용한다(S72).
각 픽셀에 색상값이 적용되면, 색상 농도의 문턱값을 계산한다(S73). 여기서 색상 농도의 문턱값은 일예로 각 픽셀의 RGB 성분이 존재하는 확률의 평균값으로 계산될 수 있다.
그리고 각 픽셀의 색상 농도값을 계산된 문턱값과 비교하여, 문턱값을 초과하는 픽셀이 존재하는지 판별한다(S74). 만일 문턱값을 초과하는 색상 농도 값을 갖는 픽셀이 검출되면, 각 픽셀의 색상 농도값을 문턱값과의 비율에 따라 재설정한다(S75).
도8 내지 도9 는 본 발명의 HDR 이미지 처리 방법을 적용한 이미지를 기존의 방법과 비교하여 나타낸 도면이다.
도8 및 도9 에서 (a)는 입력되는 이미지 데이터를 나타내고, (b) 및 (c)는 각각 종래의 이미지 처리 방법에 의해 출력되는 이미지 데이터를 나타내며, (d)는 본 발명의 HDR 이미지 처리 방법에 의해 출력되는 이미지 데이터를 나타낸다.
(b)는 이미지의 밝기를 평균값에 따라 조정한 후, 다이나믹 레인지를 압축하고, 감마 보정한 결과를 나타내고, (c)는 이미지 데이터의 밝기 히스토그램을 이용하여 5개의 이미지를 추출하여 가우시안 필터를 적용한 방식을 나타낸다.
(b) 및 (c)와 비교할 때, 본 발명의 HDR 이미지 처리 방법은 도8 에 도시된 바와 같이, 매우 어두운 이미지 데이터로부터도 후광 효과가 발생하지 않는 경계선이 분명한 이미지를 획득함을 알 수 있으며, 도9 에 도시된 바와 같이, 이미지가 확대된 경우에도 고해상도의 이미지와 같이 경계와 색상의 변화가 자연스러운 이미지를 획득할 수 있음을 알 수 있다.
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (16)

  1. 이미지 데이터를 인가받아 밝기를 계산하여, 상기 이미지 데이터의 밝기 분포를 분석하여 상기 이미지 데이터의 밝기를 조절하는 밝기 조절부;
    밝기가 조절된 상기 이미지 데이터를 서로 다른 스케일로 지정된 복수개의 스케일 경계선 필터로 필터링하여, 서로 다른 스케일로 경계선이 추출된 복수개의 스케일 이미지 데이터를 획득하고, 획득된 상기 복수개의 스케일 이미지 데이터 각각과 밝기 조절된 상기 이미지 데이터의 차로부터 상기 복수개의 스케일 이미지 데이터 각각의 세부 경계선을 추출하는 다중 스케일 조절부; 및
    세부 경계선이 추출된 상기 복수개의 스케일 이미지 데이터 각각에 대해 톤 매핑을 수행하고 합성하여 합성 이미지 데이터를 생성하고, 상기 합성 이미지 데이터의 픽셀값과 색상 값 및 색 농도를 조절하여 출력하는 이미지 변환부; 를 포함하고,
    상기 이미지 변환부는
    세부 경계선이 추출된 상기 복수개의 스케일 이미지 데이터 각각의 다이나믹 레인지를 밝기 평균 값과 픽셀 값의 비율에 따라 압축하고, 다이나믹 레인지가 압축된 상기 복수개의 스케일 이미지 데이터를 병합하여 상기 합성 이미지 데이터를 생성하는 톤 매핑부;
    상기 합성 이미지 데이터의 픽셀 값을 계산하여, 상위 및 하위 기설정된 비율에 대응하는 픽셀을 잡음으로 판별하여 제거하며, 상기 복수개의 픽셀 각각의 값을 인접한 픽셀의 값들을 이용하여 보완하는 픽셀 강화부; 및
    상기 밝기 조절부에서 밝기 조절된 상기 이미지 데이터의 복수개의 픽셀 각각의 밝기값과 상기 이미지 데이터의 복수개의 픽셀 각각의 색상값으로부터 밝기 조절된 상기 이미지 데이터의 복수개의 픽셀 각각의 RGB 색상 존재 확률을 계산하여, 상기 복수개의 픽셀 각각의 색상을 복원하고, 복원된 상기 복수개의 픽셀 각각의 색상 농도값을 기설정된 문턱값과 비교하여, 상기 복수개의 픽셀 각각의 색상 농도값을 문턱값과의 비율에 따라 재설정하는 색상 복원부; 를 포함하는 것을 특징으로 하는 HDR 이미지 처리 장치.
  2. 제1 항에 있어서, 상기 밝기 조절부는
    상기 이미지 데이터의 복수개의 픽셀 각각의 밝기값을 계산하여, 밝기 히스토그램을 생성하고, 생성된 상기 밝기 히스토그램의 분포를 분석하여 정규화함으로써, 상기 밝기 히스토그램 평활화하며, 평활화된 상기 밝기 히스토그램의 값을 상기 복수개의 픽셀 각각에 적용하여 상기 이미지 데이터의 밝기를 조절하는 것을 특징으로 하는 HDR 이미지 처리 장치.
  3. 제2 항에 있어서, 상기 밝기 조절부는
    상기 이미지 데이터가 색상값이 포함된 3차원 이미지 데이터인지 판별하고, 상기 이미지 데이터가 상기 3차원 이미지 데이터로 판별되면, 상기 이미지 데이터의 복수개의 픽셀 각각의 RGB 색상값에 시각적 민감 계수를 적용하여, 2차원의 이미지 데이터로 변환한 후, 밝기를 조절하는 것을 특징으로 하는 HDR 이미지 처리 장치.
  4. 제1 항에 있어서, 상기 스케일 조절부는
    각각 서로 다른 기지정된 스케일로 지정된 복수개의 스케일 경계선 필터를 구비하여, 밝기가 조절된 상기 이미지 데이터를 스케일 변환하고, 경계선 필터링하여, 상기 복수개의 스케일 이미지 데이터를 생성하는 경계선 검출부;
    상기 복수개의 스케일 이미지 데이터 각각에 상기 스케일에 대응하는 가중치를 적용하는 가중치 적용부; 및
    가중치가 적용된 상기 복수개의 스케일 이미지 데이터와 밝기 조절된 상기 이미지 데이터의 차를 이용하여, 상기 복수개의 스케일 이미지 데이터 각각의 상기 세부 경계선을 추출하는 세부 경계선 검출부; 를 구비하는 것을 특징으로 하는 HDR 이미지 처리 장치.
  5. 제4 항에 있어서, 상기 가중치 적용부는
    상기 복수개의 스케일 이미지 데이터 각각을 고속 퓨리에 변환하여 주파수 영역의 데이터로 변환하고, 복수개의 상기 주파수 영역의 데이터 각각에 대해 상기 스케일에 대응하는 가중치를 적용한 후, 역 고속 퓨리에 변환하는 것을 특징으로 하는 HDR 이미지 처리 장치.
  6. 삭제
  7. 제1 항에 있어서, 상기 색상 복원부는
    상기 문턱값을 각 픽셀의 RGB 색상 존재 확률의 평균값으로 설정하고, 상기 복수개의 픽셀 각각의 색상 농도값 중 상기 문턱값을 초과하는 색상 농도 값을 갖는 픽셀의 상기 색상 농도 값을 재설정하는 것을 특징으로 하는 HDR 이미지 처리 장치.
  8. 제1 항에 있어서, 상기 이미지 데이터는
    HDR 이미지 데이터인 것을 특징으로 하는 HDR 이미지 처리 장치.
  9. 밝기 조절부, 다중 스케일 조절부 및 이미지 변환부를 포함하는 HDR 이미지 처리 장치의 HDR 이미지 처리 방법에 있어서,
    상기 밝기 조절부가 이미지 데이터를 인가받아 밝기를 계산하여, 상기 이미지 데이터의 밝기 분포를 분석하여 상기 이미지 데이터의 밝기를 조절하는 단계;
    상기 다중 스케일 조절부가 밝기가 조절된 상기 이미지 데이터를 서로 다른 스케일로 지정된 복수개의 스케일 경계선 필터로 필터링하여, 서로 다른 스케일로 경계선이 추출된 복수개의 스케일 이미지 데이터를 획득하는 단계;
    상기 다중 스케일 조절부가 상기 복수개의 스케일 이미지 데이터 각각과 밝기 조절된 상기 이미지 데이터의 차로부터 상기 복수개의 스케일 이미지 데이터 각각의 세부 경계선을 추출하는 단계;
    상기 이미지 변환부가 세부 경계선이 추출된 상기 복수개의 스케일 이미지 데이터 각각에 대해 톤 매핑을 수행하고 합성하여 합성 이미지 데이터를 생성하는 단계; 및
    상기 이미지 변환부가 상기 합성 이미지 데이터의 픽셀값과 색상 값 및 색 농도를 조절하여 출력하는 단계; 를 포함하고,
    상기 출력하는 단계는
    상기 합성 이미지 데이터의 픽셀 값을 계산하는 단계;
    상기 합성 이미지 데이터의 픽셀 값의 상위 및 하위 기설정된 비율에 대응하는 픽셀을 잡음으로 판별하여 제거하는 단계;
    상기 복수개의 픽셀 각각의 값을 인접한 픽셀의 값을 이용하여 보완하는 단계;
    밝기 조절된 상기 이미지 데이터의 복수개의 픽셀 각각의 밝기값과 상기 이미지 데이터의 복수개의 픽셀 각각의 색상값으로부터 밝기 조절된 상기 이미지 데이터의 복수개의 픽셀 각각의 RGB 색상 존재 확률을 계산하는 단계; 및
    계산된 상기 RGB 색상 존재 확률에 따라 상기 복수개의 픽셀 각각의 색상을 복원하는 단계; 를 포함하는 것을 특징으로 하는 HDR 이미지 처리 방법.
  10. 제9 항에 있어서, 상기 이미지 데이터의 밝기를 조절하는 단계는
    상기 이미지 데이터의 복수개의 픽셀 각각의 밝기값을 계산하여, 밝기 히스토그램을 생성하는 단계;
    상기 밝기 히스토그램의 분포를 분석하여 정규화하여, 상기 밝기 히스토그램을 평활화하는 단계; 및
    평활화된 상기 밝기 히스토그램의 값을 상기 복수개의 픽셀 각각에 적용하여 상기 이미지 데이터의 밝기를 조절하는 단계; 를 포함하는 것을 특징으로 하는 HDR 이미지 처리 방법.
  11. 제10 항에 있어서, 상기 이미지 데이터의 밝기를 조절하는 단계는
    상기 밝기 히스토그램을 생성하는 단계 이전에, 상기 이미지 데이터가 색상값이 포함된 3차원 이미지 데이터인지 판별하는 단계; 및
    상기 이미지 데이터가 상기 3차원 이미지 데이터로 판별되면, 상기 이미지 데이터의 복수개의 픽셀 각각의 RGB 색상값에 시각적 민감 계수를 적용하여, 2차원의 이미지 데이터로 변환하는 단계; 를 더 포함하는 것을 특징으로 하는 HDR 이미지 처리 방법.
  12. 제9 항에 있어서, 상기 스케일 이미지 데이터를 획득하는 단계는
    각각 서로 다른 기지정된 스케일로 지정된 복수개의 스케일 경계선 필터를 이용하여 밝기가 조절된 상기 이미지 데이터를 스케일 변환하고, 경계선 필터링하여 상기 복수개의 스케일 이미지 데이터를 생성하는 것을 특징으로 하는 HDR 이미지 처리 방법.
  13. 제12 항에 있어서, 상기 HDR 이미지 처리 방법은
    상기 스케일 이미지 데이터를 획득하는 단계 이후, 상기 복수개의 스케일 이미지 데이터 각각을 고속 퓨리에 변환하여 주파수 영역의 데이터로 변환하고, 복수개의 상기 주파수 영역의 데이터 각각에 대해 상기 스케일에 대응하는 가중치를 적용한 후, 역 고속 퓨리에 변환하는 단계; 를 더 포함하는 것을 특징으로 하는 HDR 이미지 처리 방법.
  14. 제9 항에 있어서, 상기 합성 이미지 데이터를 생성하는 단계는
    세부 경계선이 추출된 상기 복수개의 스케일 이미지 데이터 각각의 다이나믹 레인지를 밝기 평균 값과 픽셀 값의 비율에 따라 압축하는 단계; 및
    다이나믹 레인지가 압축된 상기 복수개의 스케일 이미지 데이터를 병합하여 상기 합성 이미지 데이터를 생성하는 단계; 를 포함하는 것을 특징으로 특징으로 하는 HDR 이미지 처리 방법.
  15. 삭제
  16. 제9 항에 있어서, 상기 출력하는 단계는
    상기 복수개의 픽셀 각각의 색상을 복원하는 단계 이후, 복원된 상기 복수개의 픽셀 각각의 색상 농도값을 기설정된 문턱값과 비교하는 단계; 및
    상기 문턱값을 초과하는 색상 농도 값을 갖는 픽셀의 상기 색상 농도 값을 재설정하는 단계; 를 더 포함하는 것을 특징으로 하는 HDR 이미지 처리 방법.
KR1020150163464A 2015-11-20 2015-11-20 Hdr 이미지 처리 장치 및 방법 KR101717733B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150163464A KR101717733B1 (ko) 2015-11-20 2015-11-20 Hdr 이미지 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150163464A KR101717733B1 (ko) 2015-11-20 2015-11-20 Hdr 이미지 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101717733B1 true KR101717733B1 (ko) 2017-03-17

Family

ID=58501900

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150163464A KR101717733B1 (ko) 2015-11-20 2015-11-20 Hdr 이미지 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101717733B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107257452A (zh) * 2017-07-21 2017-10-17 浙江大华技术股份有限公司 一种图像处理方法、装置及计算设备
US11138437B2 (en) 2018-11-16 2021-10-05 Samsung Electronics Co., Ltd. Image processing apparatus and method thereof
KR102377318B1 (ko) 2021-11-01 2022-03-21 금오공과대학교 산학협력단 광노출 보정 및 화질 개선을 위한 hdr 기법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05244508A (ja) * 1991-08-14 1993-09-21 Agfa Gevaert Nv コントラストを強化する方法と装置
JP2009017306A (ja) * 2007-07-05 2009-01-22 Olympus Corp 画像表示装置及びそれを用いた撮像装置
KR20110117474A (ko) * 2010-04-21 2011-10-27 삼성전자주식회사 공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치
JP2014056415A (ja) * 2012-09-12 2014-03-27 Nec Corp 画像照合システム、画像照合方法、およびプログラム
KR101456874B1 (ko) 2009-05-11 2014-10-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 이미지 디스플레이에 대한 광 검출, 컬러 표현 모델들, 및 동적 범위의 수정

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05244508A (ja) * 1991-08-14 1993-09-21 Agfa Gevaert Nv コントラストを強化する方法と装置
JP2009017306A (ja) * 2007-07-05 2009-01-22 Olympus Corp 画像表示装置及びそれを用いた撮像装置
KR101456874B1 (ko) 2009-05-11 2014-10-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 이미지 디스플레이에 대한 광 검출, 컬러 표현 모델들, 및 동적 범위의 수정
KR20110117474A (ko) * 2010-04-21 2011-10-27 삼성전자주식회사 공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치
JP2014056415A (ja) * 2012-09-12 2014-03-27 Nec Corp 画像照合システム、画像照合方法、およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107257452A (zh) * 2017-07-21 2017-10-17 浙江大华技术股份有限公司 一种图像处理方法、装置及计算设备
US11138437B2 (en) 2018-11-16 2021-10-05 Samsung Electronics Co., Ltd. Image processing apparatus and method thereof
KR102377318B1 (ko) 2021-11-01 2022-03-21 금오공과대학교 산학협력단 광노출 보정 및 화질 개선을 위한 hdr 기법

Similar Documents

Publication Publication Date Title
US10339643B2 (en) Algorithm and device for image processing
KR101298642B1 (ko) 영상 잡음 제거 방법 및 장치
US20110150268A1 (en) Perceptual Modeling of Media Signals for Data Hiding
KR20150008744A (ko) 깊이 영상 처리 방법 및 장치
US8254717B2 (en) Picture enhancement by utilizing quantization precision of regions
CN110366001B (zh) 视频清晰度的确定方法和装置、存储介质、电子装置
CN111612741B (zh) 一种基于失真识别的精确无参考图像质量评价方法
KR101812341B1 (ko) 이미지의 에지 향상 방법
US20160125618A1 (en) Method, device, and system for pre-processing a video stream for subsequent motion detection processing
Kwok et al. Alternative anti-forensics method for contrast enhancement
KR101717733B1 (ko) Hdr 이미지 처리 장치 및 방법
CN106709890B (zh) 用于低照度视频图像处理的方法及装置
Nevriyanto et al. Image enhancement using the image sharpening, contrast enhancement, and Standard Median Filter (Noise Removal) with pixel-based and human visual system-based measurements
US7848589B2 (en) Method and apparatus for applying edge enhancement based on image characteristics
Solachidis et al. HDR image multi-bit watermarking using bilateral-filtering-based masking
Juarez-Sandoval et al. Digital image ownership authentication via camouflaged unseen-visible watermarking
Wang et al. Robust image watermarking via perceptual structural regularity-based JND model
Lee et al. Image enhancement approach using the just-noticeable-difference model of the human visual system
Hassanpour et al. A novel image structural similarity index considering image content detectability using maximally stable extremal region descriptor
CN111161177B (zh) 图像自适应降噪方法和装置
Parihar Histogram modification and DCT based contrast enhancement
Simon et al. Contrast enhancement of color images using improved Retinex method
KR20170131812A (ko) 영상 처리 방법 및 이를 수행하기 위한 장치
Storozhilova et al. 2.5 D extension of neighborhood filters for noise reduction in 3D medical CT images
Hsu et al. Combination of SSIM and JND with content-transition classification for image quality assessment

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200302

Year of fee payment: 4

R401 Registration of restoration