KR101387023B1 - 하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법 - Google Patents

하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법 Download PDF

Info

Publication number
KR101387023B1
KR101387023B1 KR1020130021625A KR20130021625A KR101387023B1 KR 101387023 B1 KR101387023 B1 KR 101387023B1 KR 1020130021625 A KR1020130021625 A KR 1020130021625A KR 20130021625 A KR20130021625 A KR 20130021625A KR 101387023 B1 KR101387023 B1 KR 101387023B1
Authority
KR
South Korea
Prior art keywords
exposure
lookup table
image
value
generating
Prior art date
Application number
KR1020130021625A
Other languages
English (en)
Inventor
김태권
Original Assignee
김태권
주식회사 인트로메딕
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김태권, 주식회사 인트로메딕 filed Critical 김태권
Priority to KR1020130021625A priority Critical patent/KR101387023B1/ko
Priority to PCT/KR2014/001639 priority patent/WO2014133340A1/ko
Application granted granted Critical
Publication of KR101387023B1 publication Critical patent/KR101387023B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

본 하이 다이나믹 레인지(High Dynamic Range) 영상 기술에 있어서, 특히 고속으로 실시간 영상 처리가 가능한 하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법에 관한 것으로, 원시 영상데이터 중에서 선택된 기준 영상의 노출 값을 기준 노출 값으로 설정하는 단계와, 상기 설정된 기준 노출 값으로부터 변이되는 다수의 노출 보정 값을 포함하는 적어도 하나의 룩업테이블을 생성하는 단계와, 상기 기준 노출 값과 상기 룩업테이블을 구성하는 상기 다수의 노출 보정 값을 사용하여 적어도 하나의 가중 계수(weight factor)를 생성하는 단계와, 상기 생성된 적어도 하나의 가중 계수를 사용하여 합성 이득 값을 생성하는 단계와, 상기 합성 이득 값을 이용하여 HDR 영상을 생성하는 단계로 이루어지는 HDR 영상 처리 방법과, 그를 이용하는 HDR 영상 뷰어에 관한 것이다.

Description

하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법{High dynamic range image viewer, and image process method thereof}
본 발명은 하이 다이나믹 레인지(High Dynamic Range) 영상 기술에 관한 것으로, 특히 고속으로 실시간 영상 처리가 가능한 하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법에 관한 것이다.
일반적으로 가장 밝은 부분과 가장 어두운 부분의 차이(Contrast)가 큰 이미지 즉, 고명암비(High Contrast) 영상은 기기에 의해 촬영 가능한 범위보다 더 큰 명암비를 가지는 영상을 의미한다. 이러한 고명암비의 장면을 촬영할 수 있는 기기의 개발이 계속 연구되고 있다.
고명암비 장면의 카메라로 촬영하면 태양 빛을 받는 부분과 그늘진 부분의 명암 대비는 종종 지나치게 높게 나타나는 것을 알 수 있다. 이때, 그늘진 부분이 잘 보이게 촬영하기 위해 노출을 길게 설정하면 그 그늘진 부분은 밝게 나타나지만 하늘과 같이 밝은 부분은 노출 과다로 인해 거의 하얗게 영상 포화가 일어난다. 반대로 햇빛에 의해 밝게 포화된 부분을 보상하기 위해 노출을 짧게 설정하면 그 밝은 부분은 적당히 노출이 제한되어 적절하게 나타날 수 있으나 어두운 부분은 완전히 검게 표현되거나 노이즈가 발생될 수 있다.
영상 촬영에 있어서 가장 중요한 제약 사항 중에 하나는 다이나믹 레인지(DR: Dynamic Range)이다. 다이나믹 레인지 즉, 영상의 동적 범위란 어두운 부분과 밝은 부분 간의 비율(Ratio)를 나타낸다. 자연계의 동적 범위를 보면, 사람의 눈이 감지할 수 있는 범위는 카메라에 의해 촬영되거나 모니터와 같은 디스플레이장치에 표시되거나 프린트장치에 의해 인쇄되는 영상의 범위보다 훨씬 넓다. 즉, 사람의 눈이 감지하는 루미넌스(luminance: 영상의 밝기 성분)의 범위는 약10,000:1 정도인데, 현재 개발된 대부분의 디스플레이장치는 그 범위가 100:1 정도에 불과한 로우 다이나믹 레인지 영상(LDRI:Low Dynamic Range Image) 수준에 머물러 있다. 따라서 사람의 눈이 많은 종류의 서로 다른 명도 레벨을 수용할 수 있는 반면 대부분의 카메라에 의해 촬영되고 디스플레이장치에 의해 재현될 수 있는 동적 범위는 이보다 훨씬 적은 명도 레벨로 제한되어 있다.
그 결과 사진가나 영상 예술가 그리고 그 밖의 디지털 이미지 작업자는 제한된 동적 범위를 사용하여 작업해야 하기 때문에, 촬영하고자 하는 장면에서 중요한 부분만을 선택적으로 표현할 수밖에 없는 실정이었다.
그러나, 하이 다이나믹 레인지(High Dynamic Range; 이하, HDR) 영상을 사용하여 가시 세계의 동적 범위에 근접한 영상을 표현할 수 있게 됨에 따라, 고명암비 영상을 적절하게 카메라로 촬영할 수 있는 가능성이 열리게 되었다.
HDR 영상은 가시 세계의 거의 모든 광도 값에 거의 정확히 비례하게 표현하고 또한 그러한 영상 정보를 저장하기 때문에, 사람의 눈이 고 명암비 장면을 감지할 때 홍체를 제어하여 노출을 조정하는 것처럼 HDR 영상의 노출을 조정하여 가시 세계의 장면을 촬영할 수 있다.
HDR 영상을 획득하는 방법은 크게 두가지로 구분할 수 있다.
첫 번째는 톤 매핑(tone mapping) 방법이다. 이 방법은 고명암비 장면을 디스플레이장치 또는 프린트에 적합하게 표현하기 위해 동적 범위(DR)를 감소시켜 비선형적으로 밝기를 조절한다. 여기서 톤 매핑이란 HDR의 컬러 값들을 디스플레이장치에 표현 가능한 로우 다이나믹 레인지(LDR:Low Dynamic Range)로 매핑하는 기법을 말한다. 즉, 비선형적으로 어두운 부분에서는 충분한 동적 범위를 보존하고, 밝은 부분으로 갈수록 동적 범위를 제한하도록 하는 기법이다. 이러한 톤 매핑에 대한 여러 기법들은 계속 연구되어 왔다. 그러나 톤 매핑 방법은 HDR 영상을 획득하기 위한 연산량이 너무 커서 실제 실시간 영상 처리에 부적합하며, 톤 매핑에 대한 비선형성이 존재하여 특정 영상에 있어서 노출 부족 및 노출 과다 현상이 종종 발생하여 파라미터 튜닝에 많은 어려움이 있다.
두 번째는 카메라의 자동 노출 브라케팅(AEB:Auto Exposure Bracketing)을 이용한 복수 노출 영상 합성 기법이다. 이는 노출 량이 다른 여러 장의 영상을 획득한 후에 HDR을 이용하여 하나의 개선된 영상을 합성하는 기법이다. 이 기법은 근래의 카메라 제조사들과 휴대폰용 카메라 모듈을 제조하는 제조사들이 주로 사용하는 방법으로, HDR 영상을 획득하는데 필요한 합성의 연산량이 극히 작아 가장 인기있는 방법으로 자리매김하고 있다. 상황에 따라 다르지만 일반적으로 카메라가 표현할 수 있는 동적 범위는 Ev=0을 기준으로 ±3 스탑(Stop) 내외 정도의 추가 영상을 브라케팅(Bracketing) 통해 촬영하고 합성한다. 이러한 복수 노출 영상 합성 기법에서는 고명암비 장면을 복수의 노출 영상을 촬영하여 어두운 부분은 노출을 길게 설정한 영상으로 보상하고 밝은 부분은 노출을 짧게 설정한 영상으로부터 동적 범위를 제한하여 보상한다. 그러나, 복수 노출 영상 합성 기법은 일정 노출 시간대 별로 복수의 영상을 획득하여 합성하기 때문에 움직임이 심한 피사체에 대해 고스트 효과(ghost effect)라고 하는 모션 블러(motion blur)가 발생하는 약점을 가지고 있다. 즉, 도 3에 도시된 바와 같이 움직임이 심한 피사체의 가장자리(Edge) 부분에서 고스트 효과가 나타나게 된다.
본 발명의 목적은 상기한 점을 감안하여 안출한 것으로, 특히 HDR 영상 처리에서 영상데이터의 저장을 위한 별도의 저장매체가 요구되지 않으면서도 고속으로 실시간 영상 처리가 가능한 하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법을 제공하는 데 있다.
본 발명의 또다른 목적은, 촬영된 원시 영상데이터에서 노출정보를 획득하고, 그 획득한 노출정보에 근거하여 영상데이터의 보정에 필요한 보정성분들을 포함하는 룩업테이블을 생성하고, 그 생성된 룩업테이블을 원시 영상데이터에 적용하여 HDR 영상을 합성할 수 있는 하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법을 제공하는 데 있다.
본 발명의 또다른 목적은, 고스트 효과(ghost effect)와 같은 모션 블러(motion blur)가 발생하지 않으면서도 영상 합성의 연산량을 최소화할 수 있는 하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법을 제공하는 데 있다.
상기한 목적을 달성하기 위한 본 발명에 따른 HDR 영상 뷰어의 특징은, 원시 영상데이터 중에서 선택된 기준 영상의 노출 값을 생성하는 노출성분 생성부와, 상기 생성된 노출 값을 기준 노출 값으로 설정하여 상기 기준 노출 값으로부터 변이되는 다수의 노출 보정 값이 포함되는 적어도 하나의 룩업테이블을 생성하는 룩업테이블 생성부와, 상기 기준 노출 값과, 상기 룩업테이블 생성부에서 생성되는 적어도 하나의 룩업테이블을 참조하여 적어도 하나의 가중 계수를 생성하는 가중 계수 생성부와, 상기 생성된 적어도 하나의 가중 계수를 사용하여 합성 이득 값을 생성하는 합성 이득 생성부와, 상기 합성 이득 생성부에서 생성되는 상기 합성 이득 값을 사용하여 합성된 HDR 영상을 생성하는 HDR 영상 생성부로 구성될 수 있다.
바람직하게, 상기 룩업테이블 생성 부는 상기 기준 노출 값으로부터 변이되는 다수 노출 보정 값이 포함되는 저노출 룩업테이블과 과노출 룩업테이블 중 적어도 하나를 생성하되, 상기 저노출 룩업테이블은 상기 기준 노출 값으로부터 일정 스텝씩 감소하게 변이되는 다수의 노출 보정 값을 포함하고, 상기 과노출 룩업테이블은 상기 기준 노출 값으로부터 일정 스텝씩 증가하게 변이되는 다수 노출 보정 값을 포함할 수 있다.
바람직하게, 상기 가중 계수 생성부는 상기 기준 노출 값과 상기 저노출 룩업테이블을 구성하는 다수 노출 보정 값과 상기 과노출 룩업테이블을 구성하는 다수 노출 보정 값 중 적어도 하나를 사용하여 제1 내지 3 가중 계수를 생성하되, 상기 제1 가중 계수는 저노출 영상데이터의 보정에 사용되는 가중 계수이고, 상기 제2 가중 계수는 상기 기준 영상의 영상데이터의 보정에 사용되는 가중 계수이고, 상기 제3 가중 계수는 과노출 영상데이터의 보정에 사용되는 가중 계수일 수 있다.
보다 바람직하게, 상기 저노출 영상데이터와 상기 과노출 영상데이터는 상기 기준 영상의 영상데이터로부터 노출 값의 변이를 통해 가상(virtual)으로 생성될 수 있다.
바람직하게, 상기 가중 계수 생성부는 상기 합성 이득 생성부에서 생성되는 상기 합성 이득 값이 1이 되도록 상기 적어도 하나의 가중 계수를 생성할 수 있다.
상기한 목적을 달성하기 위한 본 발명에 따른 HDR 영상 처리 방법의 다른 특징은, 원시 영상데이터 중에서 선택된 기준 영상의 노출 값을 기준 노출 값으로 설정하는 단계와, 상기 설정된 기준 노출 값으로부터 변이되는 다수의 노출 보정 값을 포함하는 적어도 하나의 룩업테이블을 생성하는 단계와, 상기 기준 노출 값과 상기 룩업테이블을 구성하는 상기 다수의 노출 보정 값을 사용하여 적어도 하나의 가중 계수(weight factor)를 생성하는 단계와, 상기 생성된 적어도 하나의 가중 계수를 사용하여 합성 이득 값을 생성하는 단계와, 상기 합성 이득 값을 이용하여 HDR 영상을 생성하는 단계로 이루어지는 것이다.
바람직하게, 상기 적어도 하나의 룩업테이블을 생성하는 단계는 상기 기준 노출 값으로부터 일정 스텝씩 감소하게 변이되는 다수의 노출 보정 값을 포함하는 저노출 룩업테이블을 생성할 수 있다.
바람직하게, 상기 적어도 하나의 룩업테이블을 생성하는 단계는 상기 기준 노출 값으로부터 일정 스텝씩 증가하게 변이되는 다수 노출 보정 값을 포함하는 과노출 룩업테이블을 생성하는 단계를 포함할 수 있다.
바람직하게, 상기 적어도 하나의 룩업테이블을 생성하는 단계는 상기 기준 노출 값으로부터 일정 스텝씩 감소하게 변이되는 다수의 노출 보정 값을 포함하는 저노출 룩업테이블과, 상기 기준 노출 값으로부터 일정 스텝씩 증가하게 변이되는 다수 노출 보정 값을 포함하는 과노출 룩업테이블을 생성할 수 있다.
바람직하게, 상기 적어도 하나의 가중 계수를 생성하는 단계는 상기 기준 노출 값과 상기 룩업테이블을 구성하는 상기 다수 노출 보정 값을 사용하여 제 1 내지 3 가중 계수를 생성하되, 상기 제1 가중 계수는 저노출 영상데이터의 보정에 사용되고, 상기 제2 가중 계수는 상기 기준 영상의 영상데이터의 보정에 사용되고, 상기 제3 가중 계수는 과노출 영상데이터의 보정에 사용될 수 있다.
보다 바람직하게, 상기 저노출 영상데이터와 상기 과노출 영상데이터는 상기 기준 영상의 영상데이터로부터 노출 값의 변이를 통해 가상(Virtual)으로 생성될 수 있다.
바람직하게, 상기 적어도 하나의 가중 계수를 생성하는 단계는 상기 합성 이득 값이 1이 되도록 상기 적어도 하나의 가중 계수를 생성할 수 있다.
본 발명에 따르면, 촬영된 원시 영상데이터로부터 획득한 노출정보를 사용하여 영상데이터의 보정에 필요한 보정성분들을 포함하는 룩업테이블을 생성하고, 그 생성된 룩업테이블을 원시 영상데이터에 적용하여 HDR 영상을 합성하기 때문에, 종래의 복수 노출 영상 합성 기법에서와 같이 복수 영상을 저장하기 위한 별도의 저장매체가 요구되지 않는다. 또한, 다수 노출정보를 포함하는 룩업테이블을 사용하여 생성되는 영상데이터로부터 영상 보정과 합성이 이루어지기 때문에 고속으로 실시간 영상 처리가 가능하다는 효과가 있다.
또한, 고스트 효과(ghost effect)와 같은 모션 블러(motion blur)가 발생하지 않으면서도 영상 합성의 연산량을 최소화할 수 있다.
결국, 본 발명은 저장매체를 최소한으로 구비하면서 고속으로 실시간 영상 처리가 가능하다는 점에서 비용적인 면과 영상 처리를 위한 연산 부담을 현저히 줄일 수 있다.
도 1은 본 발명의 일 실시 예에 따른 HDR 영상 뷰어의 기능적 구성을 나타낸 블록다이어그램;
도 2는 본 발명의 일 실시 예에 따른 HDR 영상 처리 절차를 나타낸 플로우챠트; 그리고
도 3은 복수 노출 영상 합성 기법에 의해 고스트 효과를 나타낸 영상이다.
본 발명의 다른 목적, 특징 및 이점들은 첨부한 도면을 참조한 실시 예들의 상세한 설명을 통해 명백해질 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시 예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
이하, 첨부한 도면을 참조하여 본 발명에 따른 HDR 영상 뷰어 및 그의 영상 처리 방법의 바람직한 실시 예를 자세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 HDR 영상 뷰어의 기능적 구성을 나타낸 블록다이어그램이다.
도 1을 참조하면, 본 발명에 따른 HDR 영상 뷰어는 영상 입력 디바이스(100), 노출성분 생성부(110), 룩업테이블 생성부(120), 가중 계수 생성부(130), 합성 이득 생성부(140), HDR 영상 생성부(150), 저장부(160), 그리고 디스플레이부(170)로 구성된다. 이러한 구성의 HDR 영상 뷰어는 카메라나 영상감지센서를 구비하는 영상기기 등과 같이 다양한 영상 촬영 기기나 영상을 화면에 출력하는 다양한 영상 출력 기기 등에 적용될 수 있다.
특히, 본 발명에 따른 HDR 영상 뷰어는 사람의 소화기 내부를 촬영하는 캡슐내시경에 의해 촬영된 영상으로부터 HDR 영상을 생성하는데 최적이다. 이는 캡슐내시경이 소화기 내부에서 제한된 광원을 사용하여 촬영할 수 밖에 없으므로, 영상 촬영을 위한 노출 시간을 길게 설정할 수 밖에 없기 때문이다. 이러한 한계를 극복하기 위해 본 발명에 따른 HDR 영상 뷰어와 이후에 설명되는 영상 처리 방법을 캡슐내시경에 의해 촬영된 영상을 처리하는데 적용하여 고스트 효과(ghost effect)가 발생하지 않은 고품질의 HDR 영상을 고속으로 실시간 처리할 수 있다.
영상 입력 디바이스(100)는 광학소자 및 영상감지센서 등과 같은 구성을 사용하여 다수의 영상을 촬영한다. 영상 입력 디바이스(100)에 의해 촬영된 영상은 원시 영상데이터이다. 캡슐내시경의 경우라면, 약 12,000장의 영상에 해당하는 원시 영상데이터를 촬영한다.
노출성분 생성부(110)는 영상 입력 디바이스(100)에 의해 촬영된 원시 영상데이터 중에서 적어도 하나의 기준 영상을 선택하고, 그 선택된 기준 영상의 노출성분을 추출하여 그 기준 영상의 노출 값을 생성한다.
룩업테이블 생성부(120)는 노출성분 생성부(110)에서 생성된 노출 값을 기준 노출 값으로 설정하고, 상기 기준 노출 값으로부터 변이되는 다수의 노출 보정 값이 포함되는 적어도 하나의 룩업테이블을 생성한다.
상세하게, 상기 룩업테이블 생성 부(120)는 상기 설정된 기준 노출 값으로부터 변이되는 다수 노출 보정 값이 포함되는 저노출 룩업테이블과 과노출 룩업테이블 중 적어도 하나를 생성한다. 또한, 기준 노출 값에 기반한 기준노출 룩업테이블을 생성할 수 있다.
상기 저노출 룩업테이블은 상기 기준 노출 값으로부터 일정 스텝씩 감소하게 변이되는 다수의 노출 보정 값을 포함하는 룩업테이블이고, 상기 과노출 룩업테이블은 상기 기준 노출 값으로부터 일정 스텝씩 증가하게 변이되는 다수 노출 보정 값을 포함하는 룩업테이블이다.
일 예로, 기준 노출 값은 절대적 값으로 EV=1일 수 있으며, 그 EV=1를 상대적 값 EV_R=0으로 적용하여, 그 EV_R=0로부터 -1씩 변이되는 다수 노출 보정 값을 포함하는 저노출 룩업테이블을 생성할 수 있다. 또한, 그 EV_R=0로부터 +1씩 변이되는 다수 노출 보정 값을 포함하는 과노출 룩업테이블을 생성할 수 있다.
다른 예로, 기준 노출 값은 절대적 값으로 EV=1일 수 있으며, 그 EV=1를 상대적 값 EV_R=0으로 적용하여, 그 EV_R=0로부터 -0.5씩 변이되는 다수 노출 보정 값을 포함하는 저노출 룩업테이블을 생성할 수 있다. 또한, 그 EV_R=0로부터 +0.5씩 변이되는 다수 노출 보정 값을 포함하는 과노출 룩업테이블을 생성할 수 있다.
가중 계수 생성부(130)는 상기 기준 노출 값을 참조하고 또한 상기 룩업테이블 생성부에서 생성되는 저노출 룩업테이블과 과노출 룩업테이블 중 적어도 하나를 참조하여 적어도 하나의 가중 계수를 생성한다.
일 예로, 가중 계수는 블랜딩 계수(Blending Coefficient)일 수 있다. 다른 예로, 가중 계수는 이미지 톤 계수(Image Tone Coefficient)일 수 있다.
또다른 예로써, 가중 계수 생성부(130)는 상기 기준 노출 값과 상기 저노출 룩업테이블을 구성하는 다수 노출 보정 값과 상기 과노출 룩업테이블을 구성하는 다수 노출 보정 값 중 적어도 하나를 사용하여 다수 가중 계수를 생성한다.
다수 가중 계수는 저노출 영상데이터의 보정에 사용되는 제1 가중 계수, 상기 기준 영상의 영상데이터의 보정에 사용되는 제2 가중 계수, 그리고 과노출 영상데이터의 보정에 사용되는 제3 가중 계수를 포함할 수 있다. 여기서, 다수 가중 계수로는 콘트라스트 계수(Contrast Coefficient), 세츄레이션 계수(Saturation Coefficient), 목적노출 계수(Target-exposedness Coefficient)일 수 있다.
한편, 전술된 저노출 영상데이터와 과노출 영상데이터는 노출성분 생성부(110)에서 선택된 기준 영상의 영상데이터로부터 노출 값의 변이를 통해 가상(Virtual)으로 생성될 수 있다.
합성 이득 생성부(140)는 가중 계수 생성부(130)에서 생성되는 가중 계수를 사용하여 합성 이득 값을 생성한다. 여기서, 합성 이득 값은 1이 되는 것이 바람직하며, 이를 위해 가중 계수 생성부(130)는 합성 이득 값이 1이 되도록 하는 가상 계수를 생성한다.
HDR 영상 생성부(150)는 합성 이득 생성부(140)에서 생성되는 상기 합성 이득 값을 사용하여 합성된 HDR 영상을 생성한다. HDR 영상 생성부(150)는 가중 계수 생성부(130)에서 생성되는 가중 계수를 사용하여 저노출 영상데이터와 과노출 영상데이터와 기준 영상을 보정하는 영상 합성 기술을 이용하여 HDR 영상을 생성하며, 이를 위해 합성 이득 생성부(140)와 연동한다.
합성 이득 생성부(140)와 HDR 영상 생성부(150)의 연동에 따른 HDR 영상의 합성은 다음의 수학식 1과 같이 표현될 수 있다.
[수학식 1]
HDRi = α*Under-exposed image + β*Middle-exposed image + γ*Over-exposed image
상기한 수학식 1에서 HDRi는 HDR 영상이고, Under-exposed image는 저노출 영상데이터이고, Middle-exposed image는 기준 영상의 영상데이터이고, Over-exposed image는 과노출 영상데이터이다. 또한 α와 β와 γ는 다수 가상 계수에 기반한 합성 이득 값을 나타낸다.
상기한 본 발명에서의 영상 합성 과정의 일 예로는, 콘트라스트 계수(Contrast Coefficient), 세츄레이션 계수(Saturation Coefficient), 그리고 목적노출 계수(Well-exposedness Coefficient)에 따른 노출 블랜딩(exposure blending)을 수행하는 과정이다. 따라서, α와 β와 γ는 합성 이득 값으로 그들의 합은 1이 되며, α는 저노출 영상데이터의 보정을 위해 생성되는 콘트라스트 계수, 세츄레이션 계수, 그리고 목적노출 계수를 사용하여 얻어진다. 또한, β는 기준노출 영상데이터의 보정을 위해 생성되는 콘트라스트 계수, 세츄레이션 계수, 그리고 목적노출 계수를 사용하여 얻어진다. 또한, γ는 과노출 영상데이터의 보정을 위해 생성되는 콘트라스트 계수, 세츄레이션 계수, 그리고 목적노출 계수를 사용하여 얻어진다.
저장부(160)는 HDR 영상 생성부(150)에서 생성된 HDR 영상을 저장하며, 디스플레이부(170)는 사용자 인터페이스를 통해 특정 HDR 영상의 출력이 요청됨에 따라 저장부(160)에 저장된 해당 HDR 영상을 화면으로 출력한다.
도 2는 본 발명의 일 실시 예에 따른 HDR 영상 처리 절차를 나타낸 플로우챠트이다.
도 2를 참조하면, 영상입력 디바이스에 의해 촬영된 원시 영상데이터 중에서 적어도 하나의 기준 영상을 선택하고, 그 선택된 기준 영상의 노출 값을 기준 노출 값으로 설정한다(S10).
이어, 상기 설정된 기준 노출 값으로부터 변이되는 다수의 노출 보정 값을 포함하는 적어도 하나의 룩업테이블을 생성한다(S20).
룩업테이블은 시스템 설계에 따라 기준 노출 값으로부터 일정 스텝씩 감소하게 변이되는 다수의 노출 보정 값을 포함하는 저노출 룩업테이블만을 생성할 수 있다. 또는, 기준 노출 값으로부터 일정 스텝씩 증가하게 변이되는 다수 노출 보정 값을 포함하는 과노출 룩업테이블만을 생성할 수 있다. 또는 전술된 저노출 룩업테이블과 과노출 룩업테이블을 생성할 수 있다. 또한, 기준 영상의 노출 값에 기반한 기준노출 룩업테이블을 생성할 수 있다.
이어, 기준 노출 값과 룩업테이블을 구성하는 다수의 노출 보정 값을 사용하여 적어도 하나의 가중 계수(weight factor)를 생성한다(S30). 여기서, 가중 계수는 제 1 내지 3 가중 계수를 포함하며, 상기 제1 가중 계수는 저노출 영상데이터의 보정에 사용되고, 상기 제2 가중 계수는 상기 기준 영상의 영상데이터의 보정에 사용되고, 상기 제3 가중 계수는 과노출 영상데이터의 보정에 사용되는 것이 바람직하다. 보다 상세하게는, 제1 가중 계수는 저노출 영상데이터의 보정을 위한 합성 이득 값을 생성하는데 사용되고, 제2 가중 계수는 기준노출 영상데이터의 보정을 위한 합성 이득 값을 생성하는데 사용되고, 제3 가중 계수는 과노출 영상데이터의 보정을 위한 합성 이득 값을 생성하는 데 사용된다. 여기서, 상기 저노출 영상데이터와 상기 과노출 영상데이터는 상기 기준 영상의 영상데이터로부터 노출 값의 변이를 통해 가상으로 생성될 수 있다.
이와 같이, 상기 생성된 적어도 하나의 가중 계수를 사용하여 합성 이득 값들을 생성한다(S40). 상기 합성 이득 값들은 그들의 합이 1이며, 전술된 가중 계수를 생성할 시에는 합성 이득 값들의 합이 1이 되도록 고려한다.
이어, 생성된 합성 이득 값들을 이용한 합성을 통해 HDR 영상을 생성한다(S50). HDR 영상의 합성 과정은 전술된 수학식 1에서 설명된 바와 같다.
한편, 도 2를 참조한 HDR 영상 처리 과정은 도 1의 HDR 영상 뷰어의 시계열적인 동작과 상호 일치되므로, 도 1에 기반하여 설명된 동작은 도 2에서도 동일하게 적용될 수 있다.
지금까지 본 발명의 바람직한 실시 예에 대해 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성을 벗어나지 않는 범위 내에서 변형된 형태로 구현할 수 있을 것이다.
그러므로 여기서 설명한 본 발명의 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 상술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함되는 것으로 해석되어야 한다.
100: 영상 입력 디바이스 110: 노출성분 생성부
120: 룩업테이블 생성부 130: 가중 계수 생성부
140: 합성 이득 생성부 150: HDR 영상 생성부
160: 저장부 170: 디스플레이부

Claims (12)

  1. 원시 영상데이터 중에서 선택된 기준 영상의 노출 값을 기준 노출 값으로 설정하는 단계;
    상기 설정된 기준 노출 값으로부터 변이되는 다수의 노출 보정 값을 포함하는 적어도 하나의 룩업테이블을 생성하는 단계;
    상기 기준 노출 값과 상기 룩업테이블을 구성하는 상기 다수의 노출 보정 값을 사용하여 적어도 하나의 가중 계수(weight factor)를 생성하는 단계;
    상기 생성된 적어도 하나의 가중 계수를 사용하여 합성 이득 값을 생성하는 단계;
    상기 합성 이득 값을 이용하여 HDR 영상을 생성하는 단계로 이루어지는 것을 특징으로 하는 HDR 영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 적어도 하나의 룩업테이블을 생성하는 단계는,
    상기 기준 노출 값으로부터 일정 스텝씩 감소하게 변이되는 다수의 노출 보정 값을 포함하는 저노출 룩업테이블을 생성하는 것을 특징으로 하는 HDR 영상 처리 방법.
  3. 제 1 항에 있어서,
    상기 적어도 하나의 룩업테이블을 생성하는 단계는,
    상기 기준 노출 값으로부터 일정 스텝씩 증가하게 변이되는 다수 노출 보정 값을 포함하는 과노출 룩업테이블을 생성하는 단계를 포함하는 것을 특징으로 하는 HDR 영상 처리 방법.
  4. 제 1 항에 있어서,
    상기 적어도 하나의 룩업테이블을 생성하는 단계는,
    상기 기준 노출 값으로부터 일정 스텝씩 감소하게 변이되는 다수의 노출 보정 값을 포함하는 저노출 룩업테이블과, 상기 기준 노출 값으로부터 일정 스텝씩 증가하게 변이되는 다수 노출 보정 값을 포함하는 과노출 룩업테이블을 생성하는 것을 특징으로 하는 HDR 영상 처리 방법.
  5. 제 1 항에 있어서,
    상기 적어도 하나의 가중 계수를 생성하는 단계는,
    상기 기준 노출 값과 상기 룩업테이블을 구성하는 상기 다수 노출 보정 값을 사용하여 제 1 내지 3 가중 계수를 생성하되,
    상기 제1 가중 계수는 저노출 영상데이터의 보정에 사용되고, 상기 제2 가중 계수는 상기 기준 영상의 영상데이터의 보정에 사용되고, 상기 제3 가중 계수는 과노출 영상데이터의 보정에 사용되는 것을 특징으로 하는 HDR 영상 처리 방법.
  6. 제 5 항에 있어서,
    상기 저노출 영상데이터와 상기 과노출 영상데이터는 상기 기준 영상의 영상데이터로부터 노출 값의 변이를 통해 가상(Virtual)으로 생성되는 것을 특징으로 하는 HDR 영상 처리 방법.
  7. 제 1 항에 있어서,
    상기 적어도 하나의 가중 계수를 생성하는 단계는,
    상기 합성 이득 값이 1이 되도록 상기 적어도 하나의 가중 계수를 생성하는 것을 특징으로 하는 HDR 영상 처리 방법.
  8. 원시 영상데이터 중에서 선택된 기준 영상의 노출 값을 생성하는 노출성분 생성부;
    상기 생성된 노출 값을 기준 노출 값으로 설정하여 상기 기준 노출 값으로부터 변이되는 다수의 노출 보정 값이 포함되는 적어도 하나의 룩업테이블을 생성하는 룩업테이블 생성부;
    상기 기준 노출 값과, 상기 룩업테이블 생성부에서 생성되는 적어도 하나의 룩업테이블을 참조하여 적어도 하나의 가중 계수를 생성하는 가중 계수 생성부;
    상기 생성된 적어도 하나의 가중 계수를 사용하여 합성 이득 값을 생성하는 합성 이득 생성부; 그리고
    상기 합성 이득 생성부에서 생성되는 상기 합성 이득 값을 사용하여 합성된 HDR 영상을 생성하는 HDR 영상 생성부로 구성되는 것을 특징으로 하는 HDR 영상 뷰어.
  9. 제 8 항에 있어서,
    상기 룩업테이블 생성부는,
    상기 기준 노출 값으로부터 변이되는 다수 노출 보정 값이 포함되는 저노출 룩업테이블과 과노출 룩업테이블 중 적어도 하나를 생성하되,
    상기 저노출 룩업테이블은 상기 기준 노출 값으로부터 일정 스텝씩 감소하게 변이되는 다수의 노출 보정 값을 포함하고, 상기 과노출 룩업테이블은 상기 기준 노출 값으로부터 일정 스텝씩 증가하게 변이되는 다수 노출 보정 값을 포함하는 것을 특징으로 하는 HDR 영상 뷰어.
  10. 제 9 항에 있어서,
    상기 가중 계수 생성부는,
    상기 기준 노출 값과 상기 저노출 룩업테이블을 구성하는 다수 노출 보정 값과 상기 과노출 룩업테이블을 구성하는 다수 노출 보정 값 중 적어도 하나를 사용하여 제1 내지 3 가중 계수를 생성하되,
    상기 제1 가중 계수는 저노출 영상데이터의 보정에 사용되는 가중 계수이고, 상기 제2 가중 계수는 상기 기준 영상의 영상데이터의 보정에 사용되는 가중 계수이고, 상기 제3 가중 계수는 과노출 영상데이터의 보정에 사용되는 가중 계수인 것을 특징으로 하는 HDR 영상 뷰어.
  11. 제 10 항에 있어서,
    상기 저노출 영상데이터와 상기 과노출 영상데이터는 상기 기준 영상의 영상데이터로부터 노출 값의 변이를 통해 가상(Virtual)으로 생성되는 것을 특징으로 하는 HDR 영상 뷰어.
  12. 제 8 항에 있어서,
    상기 가중 계수 생성부는,
    상기 합성 이득 생성부에서 생성되는 상기 합성 이득 값이 1이 되도록 상기 적어도 하나의 가중 계수를 생성하는 것을 특징으로 하는 HDR 영상 뷰어.
KR1020130021625A 2013-02-28 2013-02-28 하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법 KR101387023B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130021625A KR101387023B1 (ko) 2013-02-28 2013-02-28 하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법
PCT/KR2014/001639 WO2014133340A1 (ko) 2013-02-28 2014-02-27 하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130021625A KR101387023B1 (ko) 2013-02-28 2013-02-28 하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법

Publications (1)

Publication Number Publication Date
KR101387023B1 true KR101387023B1 (ko) 2014-04-18

Family

ID=50658159

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130021625A KR101387023B1 (ko) 2013-02-28 2013-02-28 하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법

Country Status (2)

Country Link
KR (1) KR101387023B1 (ko)
WO (1) WO2014133340A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101767596B1 (ko) * 2017-01-05 2017-08-24 (주)오스테오닉 에이치디알 영상 처리 방법 및 그를 위한 장치
KR20190017290A (ko) * 2017-08-10 2019-02-20 엘지디스플레이 주식회사 디스플레이 장치와 그 휘도 제어방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6110574B2 (ja) * 2014-11-21 2017-04-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ハイダイナミックレンジ画像化方法及びカメラ
CN104601901A (zh) * 2015-02-02 2015-05-06 深圳酷派技术有限公司 终端拍照控制方法及终端
CN105306836B (zh) * 2015-10-23 2019-04-30 北大方正集团有限公司 一种图像显示方法及装置
CN110035233A (zh) * 2019-04-09 2019-07-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3510868B2 (ja) 2001-06-19 2004-03-29 三洋電機株式会社 画像合成装置
JP2011029695A (ja) 2009-07-21 2011-02-10 Nikon Corp 画像処理装置、画像処理プログラム
KR101225482B1 (ko) 2012-02-15 2013-01-23 인텔 코오퍼레이션 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3510868B2 (ja) 2001-06-19 2004-03-29 三洋電機株式会社 画像合成装置
JP2011029695A (ja) 2009-07-21 2011-02-10 Nikon Corp 画像処理装置、画像処理プログラム
KR101225482B1 (ko) 2012-02-15 2013-01-23 인텔 코오퍼레이션 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101767596B1 (ko) * 2017-01-05 2017-08-24 (주)오스테오닉 에이치디알 영상 처리 방법 및 그를 위한 장치
KR20190017290A (ko) * 2017-08-10 2019-02-20 엘지디스플레이 주식회사 디스플레이 장치와 그 휘도 제어방법
KR102369669B1 (ko) 2017-08-10 2022-03-04 엘지디스플레이 주식회사 디스플레이 장치와 그 휘도 제어방법

Also Published As

Publication number Publication date
WO2014133340A1 (ko) 2014-09-04

Similar Documents

Publication Publication Date Title
KR101387023B1 (ko) 하이 다이나믹 레인지 영상 뷰어 및 그의 영상 처리 방법
JP5713752B2 (ja) 画像処理装置、及びその制御方法
US10194091B2 (en) Image capturing apparatus, control method therefor, program, and recording medium
JP5141733B2 (ja) 撮像装置、撮像方法、及びプログラム
JP5133085B2 (ja) 撮像装置および撮像方法
US9357139B2 (en) Image processing apparatus, display apparatus and image capturing apparatus with generation of composite image by adding multiplied edge components outputted from first multiplier and multiplied low frequency components outputted from second mylitplier
JP6570918B2 (ja) 撮像装置、撮像方法
JP6218389B2 (ja) 画像処理装置及び画像処理方法
US20100103268A1 (en) Digital camera
JP2012109900A (ja) 撮影装置、撮影方法、およびプログラム
KR101294735B1 (ko) 이미지 처리 방법 및 이를 이용한 촬영 장치
JP4999871B2 (ja) 撮像装置およびその制御方法
JP2019047169A (ja) ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム
JP5713643B2 (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP7148428B2 (ja) 撮像装置および撮像方法
JP6351452B2 (ja) 撮像装置、撮像方法およびプログラム
JP5335964B2 (ja) 撮像装置およびその制御方法
JP5952574B2 (ja) 画像処理装置およびその制御方法
JP6368618B2 (ja) 撮像装置、撮像装置の制御方法、およびプログラム
JP2017068513A (ja) 画像処理装置及びその方法、プログラム、記憶媒体
KR101767596B1 (ko) 에이치디알 영상 처리 방법 및 그를 위한 장치
JP2011029695A (ja) 画像処理装置、画像処理プログラム
CN116437221B (zh) 一种内窥镜视频图像的截取方法及系统
JP2016054447A (ja) 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム
JP2021185649A (ja) 画像処理装置、方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170411

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 5