KR102106537B1 - 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템 - Google Patents

하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템 Download PDF

Info

Publication number
KR102106537B1
KR102106537B1 KR1020130115699A KR20130115699A KR102106537B1 KR 102106537 B1 KR102106537 B1 KR 102106537B1 KR 1020130115699 A KR1020130115699 A KR 1020130115699A KR 20130115699 A KR20130115699 A KR 20130115699A KR 102106537 B1 KR102106537 B1 KR 102106537B1
Authority
KR
South Korea
Prior art keywords
image
still
still image
sequence
motion information
Prior art date
Application number
KR1020130115699A
Other languages
English (en)
Other versions
KR20150035315A (ko
Inventor
김낙훈
송병철
배점한
Original Assignee
삼성전자주식회사
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 인하대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020130115699A priority Critical patent/KR102106537B1/ko
Priority to US14/465,422 priority patent/US9554058B2/en
Publication of KR20150035315A publication Critical patent/KR20150035315A/ko
Application granted granted Critical
Publication of KR102106537B1 publication Critical patent/KR102106537B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

노출 시간이 동일한 영상 시퀀스를 획득하고, 적어도 하나의 영상 시퀀스와 시간적으로 각각 대응되고, 노출 시간이 서로 다른 복수 개의 스틸(still) 영상을 획득하고, 영상 시퀀스를 이용하여 스틸 영상으로부터 하이 다이나믹 래인지(High dynamic range)를 가지는 정합 영상을 획득하는 하이 다이나믹 레인지 영상 생성 방법이 개시된다.

Description

하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템 {Method for generating a High Dynamic Range image, device thereof, and system thereof}
본 발명은 하이 다이나믹 레인지 영상을 생성하는 방법 및 그에 따른 장치, 그에 따른 시스템에 대한 것이다.
구체적으로, 본원 발명은 복수 개의 영상으로부터 하이 다이나믹 레인지 영상을 생성하는 방법 및 그에 따른 장치, 그에 따른 시스템에 대한 것이다.
카메라에서 인식될 수 있는 래디언스(radiance)의 범위는 RGB 각 채널당 256개의 값으로 영상을 표현할 수 있어 제한적이나, 실제 환경에서의 래디언스의 범위는 훨씬 더 광범위하다.
카메라에서 인식될 수 있는 제한적인 래디언스의 범위를 해결하기 위해, 장치는 정적인 스틸(still) 영상을 여러장 촬영하고, 촬영된 영상들을 정합하여 하이 다이나믹 레인지(High Dynamic Range, HDR) 영상을 생성할 수 있다.
그러나, 스틸 영상 간 물체의 움직임이 존재하는 경우, 생성된 하이 다이나믹 레인지 영상은 물체의 움직임에 의한 고스트 아티팩트(ghost artifact)가 발생될 수 있다.
본원 발명은 스틸 영상 간 물체의 움직임이 존재함에 따라 발생될 수 있는 고스트 아티팩트의 발생을 최소화하는 하이 다이나믹 레인지 영상 생성 방법 및 그에 따른 장치, 그에 따른 시스템에 대한 것이다.
본 발명의 일 실시 예에 의한 하이 다이나믹 레인지 영상 생성 방법은 노출 시간이 동일한 영상 시퀀스를 획득하는 단계; 상기 적어도 하나의 영상 시퀀스와 시간적으로 각각 대응되고, 노출 시간이 서로 다른 복수 개의 스틸(still) 영상을 획득하는 단계; 상기 영상 시퀀스를 이용하여 상기 스틸 영상으로부터 하이 다이나믹 래인지(High dynamic range)를 가지는 정합 영상을 획득하는 단계를 포함하는 것을 특징으로 한다.
상기 정합 영상을 획득하는 단계는 상기 영상 시퀀스로부터 모션 정보를 획득하는 단계; 상기 획득된 모션 정보에 기초하여, 상기 적어도 하나의 스틸 영상의 모션 정보를 획득하는 단계; 상기 획득된 스틸 영상의 모션 정보에 기초하여, 소정 영역의 고스트 아티팩트가 제거된 정합 영상을 획득하는 단계를 포함하는 것을 특징으로 한다.
상기 제2 영상의 모션 정보를 획득하는 단계는 상기 영상 시퀀스 및 상기 스틸 영상의 해상도에 기초하여, 상기 획득된 모션 정보를 업 스케일링하는 단계를 포함하는 것을 특징으로 한다.
상기 영상 시퀀스의 해상도는 상기 스틸 영상의 해상도보다 작거나 같은 것을 특징으로 한다.
상기 영상 시퀀스 및 상기 스틸 영상은 복수 개의 렌즈를 가진 카메라의 각각 다른 렌즈로부터 획득된 것을 특징으로 한다.
상기 스틸 영상 간 밝기의 차이에 기초하여, 각 스틸 영상의 밝기를 조절하는 단계; 상기 밝기가 조절된 스틸 영상을 이용하여, 상기 스틸 영상 간 픽셀값의 차이가 기준치 이상인 값을 가지는 영역을 차폐 영역으로 결정하는 단계를 더 포함하는 것을 특징으로 한다.
상기 차폐 영역을 결정하는 단계는 상기 영상 시퀀스에 포함된 각 영상 간의 픽셀값의 차이가 기준치 이상인 값을 가지는 영역을 차폐 영역으로 결정하는 단계를 포함하는 것을 특징으로 한다.
상기 결정된 차폐 영역을 상기 스틸 영상 간 밝기의 차이에 기초하여 보정하는 단계; 상기 차폐 영역이 보정된 스틸 영상을 이용하여 카메라 응답 함수(CRF)를 획득하는 단계; 상기 카메라 응답 함수를 이용하여 상기 스틸 영상의 래디언스(radiance)을 획득하는 단계; 상기 획득한 래디언스 값을 이용하여 상기 스틸 영상과 해상도가 동일하고, 하이 다이나믹 래인지(High dynamic range)를 가지는 정합 영상을 획득하는 단계를 더 포함하는 것을 특징으로 한다.
상기 정합 영상을 획득하는 단계는 수학식
Figure 112013088088718-pat00001
,
Figure 112013088088718-pat00002
,
Figure 112013088088718-pat00003
Figure 112013088088718-pat00004
,
Figure 112013088088718-pat00005
, where,
Figure 112013088088718-pat00006
을 이용하여 톤 맵핑(tone mapping)을 수행함으로써 상기 정합 영상을 획득하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시 예에 의한 장치는 노출 시간이 동일한 영상 시퀀스 및 상기 적어도 하나의 영상 시퀀스와 시간적으로 각각 대응되고, 노출 시간이 서로 다른 복수 개의 스틸 영상을 획득하는 촬영부; 상기 영상 시퀀스를 이용하여 상기 스틸 영상으로부터 하이 다이나믹 래인지를 가지는 정합 영상을 획득하는 제어부를 포함하는 것을 특징으로 한다.
본 발명의 일 실시 예에 있어서, 하이 다이나믹 레인지 영상을 생성하기 위해 다수의 영상을 정합할 때 발생될 수 있는 고스트 아티팩트의 발생을 최소화함으로써 보다 선명한 하이 다이나믹 레인지 영상을 생성할 수 있다.
도 1은 본 발명의 일 실시 예에 의한 장치의 내부 구조를 도시한 블록도이다.
도 2는 본 발명의 일 실시 예에 의한 하이 다이나믹 레인지 영상을 생성하는 방법을 나타낸 순서도이다.
도 3은 본 발명의 일 실시 예에 의한 하이 다이나믹 레인지 영상을 생성하는 방법을 도시한 블록도이다.
도 4는 본 발명의 일 실시 예에 의한 카메라 응답 함수를 구하는 방법을 도시한 블록도이다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
본 명세서 전반에 걸쳐 사용되는 '영상'이라는 용어는 '영상'이라는 용어 자체뿐만 아니라, '픽쳐', '프레임', '필드', 및 '슬라이스'로서 관련 분야에서 알려질 수 있는 비디오 이미지 정보의 다양한 형태들을 설명하기 위한 포괄적인 용어로서 사용될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 1은 본 발명의 일 실시 예에 의한 장치의 내부 구조를 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 의한 장치(100)은 촬영부(110) 및 제어부(120)를 포함할 수 있다. 그러나 도시된 구성요소가 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 장치(100)이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 장치(100)이 구현될 수 있다.
촬영부(110)는 외부 장면을 촬영할 수 있는 하나 이상의 렌즈를 포함할 수 있다.
본 발명의 일 실시 예에 있어서, 촬영부(110)는 하나 이상의 렌즈를 이용하여 동시에 둘 이상의 영상을 촬영할 수 있다. 하나 이상의 렌즈를 가지고 각각의 렌즈가 고화질 또는 저화질 영상을 촬영할 수 있는 카메라를 비대칭 카메라(Asymmetric camera)라고 일컬을 수 있다. 촬영부(110)는 동시에 영상 시퀀스와 스틸 영상을 각각 다른 렌즈를 이용하여 촬영함으로써, 제어부(120)는 촬영된 영상 시퀀스와 스틸 영상을 이용하여 하이 다이나믹 레인지를 갖는 영상을 생성할 수 있다.
제어부(120)는 통상적으로 장치(100)의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(120)는 촬영부(110)로부터 촬영된 영상들을 이용하여 하이 다이나믹 레인지를 갖는 영상을 생성할 수 있다. 즉, 제어부(120)는 촬영부(110)를 전반적으로 제어할 수 있다.
장치(100)은 노출 시간이 각각 다른 하나 이상의 스틸 영상으로부터 하이 다이나믹 레인지 영상을 생성할 수 있으나, 노출 시간 동안 이동하는 피사체가 포함되어 있는 경우, 고스트 아티팩트가 발생될 수 있다. 다시 말하면, 노출 시간 동안 이동하는 피사체가 포함되어 있는 경우, 피사체의 잔상이 영상에 포함될 수 있으므로, 영상에서 피사체에 의한 고스트 아티팩트가 발생될 수 있다.
따라서, 본 발명의 일 실시 예에 의한 장치(100)은 각 스틸 영상과 동일한 시점에서 촬영된 영상 시퀀스를 이용하여 스틸 영상에 포함된 피사체의 모션 정보를 추정할 수 있다. 그리고, 장치(100)은 영상 시퀀스로부터 획득된 모션 정보를 이용하여 피사체의 움직임을 보상해 줌으로써 고스트 아티팩트를 제거할 수 있다. 즉, 장치(100)은 모션 정보를 이용하여 영상에 포함된 피사체의 잔상을 제거할 수 있다.
연속적으로 촬영된 하나 이상의 영상들이 정합될 때, 각 영상이 촬영되는 동안 시간 차가 발생될 수 있는데, 그 시간 동안 물체나 사람의 움직임이 발생하면, 정합된 영상에서 고스트 아티팩트가 발생될 수 있다. 영상에서 고스트 아티팩트가 발생되면, 움직이는 물체 또는 사람이 표시된 영역이 번지거나 흔들리는 것과 같이 표시될 수 있다. 장치(100)에서 영상의 고스트 아티팩트를 제거하기 위해서는 움직이는 물체 또는 사람의 움직임 정보를 획득하여, 고스트 아티팩트가 발생된 영역을 정확히 검출하는 것이 필요하다. 본 발명의 일 실시 예에 있어서 장치(100)은 영상 시퀀스로부터 물체 또는 사람의 움직임 정보를 획득하여 정합된 영상에 존재하는 고스트 아티팩트를 제거할 수 있다.
스틸 영상은 외부 장면이 촬영된 각각 노출 시간이 서로 다른 적어도 하나의 정지 영상을 포함할 수 있다. 따라서, 각 스틸 영상은 노출 시간에 따라 포화(saturation)된 영역을 포함할 수 있다. 이는 장치(100)의 촬영부(110)에서 인식할 수 있는 래디언스의 범위가 실제 환경에서의 범위보다 훨씬 좁기 때문에 빛의 양이 충분하지 않거나 지나치게 많은 곳에서 촬영하는 경우, 촬영부(110)에서 인식 가능한 래디언스의 범위가 초과될 수 있다. 피사체의 밝기가 촬영부(110)에서 인식 가능한 범위를 넘어서면, 피사체의 밝기를 실제와 같이 인식하지 못하므로, 영상 내 피사체가 알아보기 어려울 정도로 밝거나 어둡게 표시될 수 있다.
따라서, 촬영부(110)는 실제 피사체의 밝기를 실제와 같이 인식하지 못하는 포화 영역을 포함하는 스틸 영상을 생성할 수 있다. 예를 들면, 노출 시간이 짧은 영상은 어두운 영역에 대해 어두운 색으로 포화된 영역을 포함할 수 있다. 또한, 노출 시간이 긴 영상은 밝은 영역에 대해 밝은 색으로 포화된 영역을 포함할 수 있다.
그러나, 노출 시간이 짧은 영역에서 어둡게 포화된 영역은 노출 시간이 긴 영상에서 노출된 시간만큼 밝게 표시될 수 있다. 마찬가지로, 노출 시간이 긴 영상에서 밝게 포화된 영역은 노출 시간이 짧은 영상에서 노출된 시간만큼 어둡게 표시될 수 있다. 따라서, 장치(100)은 각 스틸 영상에서 포화된 영역과 대응되는 다른 스틸 영상의 포화되지 않은 영역을 이용하여 하이 다이나믹 레인지 영상을 생성할 수 있다.
각 스틸 영상들은 영상 시퀀스에 포함된 적어도 하나의 영상과 시간적으로 대응될 수 있다. 즉, 각 스틸 영상들은 영상 시퀀스에 포함된 적어도 하나의 영상과 동일한 시점에서 촬영된 것일 수 있다.
영상 시퀀스는 소정의 장면이 촬영된 동영상을 포함할 수 있다. 영상 시퀀스에 포함된 영상들은 동일한 노출 시간을 가져 영상의 다이나믹 레인지가 각각 동일할 수 있다. 영상 시퀀스에 포함된 영상들이 동일한 피사체를 포함한다면 각 영상에 포함된 피사체가 동일 범위의 픽셀값을 가질 수 있어, 영상 시퀀스의 움직이는 피사체가 검출될 수 있다. 따라서, 장치(100)은 영상 시퀀스에서 검출된 피사체로부터 피사체의 모션 정보를 추정할 수 있다.
스틸 영상과 영상 시퀀스에 포함된 장면은 영상 간 이동하는 피사체를 제외하고는 동일한 장면을 포함할 수 있다. 따라서, 장치(100)은 노출 시간이 서로 다른 스틸 영상으로부터 고스트 아티팩트를 제거할 필요 없이 정지한 외부 장면을 포함하는 영역에 대한 하이 다이나믹 레인지를 가지는 영상을 생성하기 위한 스틸 영상의 정합 영상을 생성할 수 있다.
그리고, 장치(100)은 피사체의 움직임이 보상된 스틸 영상과 영상 시퀀스를 이용하여 영상의 차폐 영역을 결정할 수 있다. 차폐 영역은 모션 정보에 의한 움직임 보상을 수행한 이후에도 피사체의 움직임이 보상되지 않은 일부 영역을 포함할 수 있다. 장치(100)은 차폐 영역이 보상된 스틸 영상을 이용하여 영상의 각 영역에 대한 래디언스를 획득하고, 획득한 래디언스를 이용하여 하이 다이나믹 레인지 영상을 생성할 수 있다. 따라서, 영상에 포함된 포화 영역은 획득된 래디언스 값에 의해 밝기가 조절될 수 있으므로, 포화 영역에 포함된 피사체가 인식할 수 있을 정도로 표시될 수 있다.
본 발명의 일 실시 예에 있어서, 장치(100)은 촬영부(110)를 포함하지 않고, 제어부(120)만 포함할 수 있다. 이때 장치(100)은 외부로부터 영상 시퀀스와 스틸 영상을 수신하고, 수신된 영상들을 이용하여 하이 다이나믹 레인지 영상을 생성할 수 있다.
도 2는 본 발명의 일 실시 예에 의한 하이 다이나믹 레인지 영상을 생성하는 방법을 나타낸 순서도이다.
도 2를 참조하면, 단계 S201에서, 장치(100)은 각 영상들의 밝기 범위가 동일한 영상 시퀀스, 즉 동영상을 획득할 수 있다.
또한, 단계 S203에서, 장치(100)은 노출 시간이 서로 다른 스틸 영상을 획득할 수 있다. 스틸 영상들은 노출 시간이 서로 다르므로, 밝기 범위도 서로 다를 수 있다. 영상 시퀀스와 스틸 영상은 동일한 시점에서 촬영된 것일 수 있다. 각각의 스틸 영상에서 피사체의 이동으로 인해 발생될 수 있는 고스트 아티팩트는 영상 시퀀스의 영상에 의해 제거될 수 있다.
단계 S205에서, 장치(100)은 영상 시퀀스를 이용하여 스틸 영상으로부터 하이 다이나믹 레인지를 가지는 정합 영상을 획득할 수 있다.
영상 시퀀스는 각각의 영상들이 동일한 노출 시간을 가짐에 따라 영상에 포함된 각 물체의 픽셀값이 변하지 않으므로 이동하는 피사체가 정확히 검출될 수 있다. 장치(100)은 영상 시퀀스로부터 피사체의 모션 정보를 획득하고, 획득한 모션 정보를 이용하여, 스틸 영상에서 피사체의 이동으로 인해 발생된 고스트 아티팩트를 제거함으로써 정확하게 정합된 스틸 영상의 정합 영상을 생성할 수 있다.
그리고, 장치(100)은 생성된 정합 영상을 이용하여 래디언스 값을 획득하고, 래디언스 값으로부터 하이 다이나믹 레인지 영상을 생성할 수 있다. 이에 대한 자세한 설명은 이하 도 3 내지 도 4에서 더 자세히 설명하기로 한다.
도 3는 본 발명의 일 실시 예에 의한 하이 다이나믹 레인지 영상을 생성하는 방법을 도시한 블록도이다.
본 발명의 일 실시 예에 의한 장치(100)이 하이 다이나믹 레인지 영상을 생성하는 방법은 크게 세가지 단계, 즉 영상 정합 단계(310), HDR 영상 합성 단계(320) 및 톤 맵핑 단계(330)를 포함할 수 있다.
영상 정합 단계(310)에서 장치(100)은 스틸 영상(1)과 영상 시퀀스(2)를 이용하여 영상간 피사체의 움직임 정보를 획득하고, 움직임 정보에 기초하여 고스트 아티팩트가 제거된 정합 영상을 생성할 수 있다.
구체적으로, 장치(100)은 하이 다이나믹 레인지 영상을 생성하는데 이용할 스틸 영상들과, 이에 대응될 수 있는, 즉 동일 시점에서 촬영된 영상 시퀀스의 영상들을 획득할 수 있다. 장치(100)은 각 스틸 영상과 대응되는 영상 시퀀스의 영상들 중 일부 영상들을 하이 다이나믹 레인지 영상을 생성하기 위해 획득할 수 있다.
그리고, 장치(100)은 스틸 영상과 영상 시퀀스에서 포화된(saturation) 영역이 가장 적게 포함된 영상을 각각 선택하여 목표 영상으로 둘 수 있다. 장치(100)은 목표 영상을 기준으로 두고 참조 영상을 참조하여 정합된 하이 다이나믹 레인지 영상을 생성할 수 있다.
예를 들면, 장치(100)은 노출 시간이 중간 정도인 스틸 영상을 목표 영상(HRt)으로 두고, 목표 영상과 대응되는 영상 시퀀스의 영상을 목표 영상(LRt)으로 둘 수 있다. 또한, 장치(100)은 목표 영상 이외의 스틸 영상 또는 영상 시퀀스의 영상은 참조 영상(HRn, LRn)으로 둘 수 있다.
모션 추정 단계(312)에서, 장치(100)은 영상 시퀀스의 영상 간 피사체의 움직임을 추정할 수 있다. 이때 장치(100)은 스틸 영상과 대응되는 일부 영상들 간에 피사체의 움직임을 추정할 수 있다. 장치(100)은 옵티컬 플로우(optical flow) 또는 블록 매칭(block matching)의 방법을 이용하여 피사체의 움직임을 추정할 수 있다.
스틸 영상 정합(311) 단계에서, 장치(100)은 영상 시퀀스의 영상간 추정된 움직임 정보를 이용하여 스틸 영상의 피사체의 움직임 정보를 획득할 수 있다. 예를 들면, 장치(100)은 아래 수학식 1과 같이 스틸 영상간 피사체의 움직임 정보를 영상 시퀀스의 영상간 추정된 움직임 정보를 업스케일링함으로써 획득할 수 있다.
[수학식 1]
Figure 112013088088718-pat00007
수학식 1에서서,
Figure 112013088088718-pat00008
과
Figure 112013088088718-pat00009
는 각각 HRt 영상과 LRt 영상에 대한 모션 벡터를 의미하고,
Figure 112013088088718-pat00010
는 영상 시퀀스의 해상도에 대한 스틸 영상의 해상도의 비율을 의미할 수 있다. 이때 영상 시퀀스의 해상도는 스틸 영상의 해상도보다 작거나 같을 수 있다.
장치(100)은 영상 시퀀스의 움직임 정보를 수학식 1과 같이 업스케일링할 때, 모션 벡터를 보간하여 스틸 영상의 모션 벡터를 획득할 수 있다. 예를 들면, 장치(100)은 최근접 이웃 보간 방법(nearest neighbor interpolation)을 이용하여 연속 신호의 중간값들을 추정함으로써 모션 벡터를 확대함에 따라 발생될 수 있는 왜곡을 정정할 수 있다.
장치(100)은 추정된 모션 벡터
Figure 112013088088718-pat00011
를 이용하여 스틸 영상의 목표 영상에서 이동 물체의 이동에 따라 발생된 고스트 아티팩트가 일부 제거된 스틸 영상의 정합 영상을 획득할 수 있다.
또한, 영상 시퀀스 정합 단계(313)에서, 장치(100)은 추정된 모션 벡터
Figure 112013088088718-pat00012
를 이용하여, 영상 시퀀스의 목표 영상에서 발생될 수 있는 고스트 아티팩트가 제거된 영상 시퀀스의 영상의 정합 영상을 획득할 수 있다. 영상 시퀀스에서 발생될 수 있는 고스트 아티팩트는 렌즈의 떨림이나 피사체의 이동에 의해 발생될 수 있다.
영상 정합 단계(310)에서, 장치(100)은 모션 벡터에 따라 움직임이 보상된 스틸 영상 및 영상 시퀀스의 정합 영상을 획득할 수 있다.
HDR 영상 합성 단계(320)에서, 장치(100)은 영상 정합 단계(310)에서 정합된 영상을 이용하여 영상의 각 영역에 대한 래디언스 값을 획득할 수 있다.
구체적으로, 차폐 영역 처리 단계(321)에서, 장치(100)은 스틸 영상 및 영상 시퀀스의 정합 영상으로부터 차폐 영역(occlusion region)을 결정할 수 있다. 차폐 영역은 영상 정합 단계(310)에서 고스트 아티팩트가 제거되지 않은 영상의 일부 영역을 포함할 수 있다. 예를 들어, 영상이 모션 정보에 포함되어 있지 않은 움직임을 포함하는 경우, 해당 움직임에 의해 발생된 고스트 아티팩트 영역은 차폐 영역으로 결정될 수 있다.
영상 시퀀스의 차폐 영역은 단순히 정합된 영상에서 참조 영상의 각 픽셀의 차이값이 기준치 이상인지 여부를 판단함으로써 결정될 수 있다. 즉, 움직임 보상이 이루어진 영상 시퀀스의 정합된 영상과 목표 영상의 차이값이 기준치 이상인지 여부가 판단될 수 있다. 영상 시퀀스에서의 차폐 영역은 수학식 2에서와 같이 결정될 수 있다.
[수학식 2]
Figure 112013088088718-pat00013
Figure 112013088088718-pat00014
은 LRn, 즉 영상 시퀀스의 참조 영상의 차폐 영역을 나타낸 것이다. 은 영상 시퀀스의 차폐 영역을 결정하기 위한 기준치로써 임의로 결정될 수 있다. k는 색성분을 나타내는 것으로 r, g, b의 값을 가질 수 있으며, 차폐 영역은 색성분마다 결정될 수 있다. 이하 후술될 수학식에 포함된 k도 이와 동일한 의미를 포함할 수 있다. 따라서, 본 명세서에서의 영상 정합 단계(310) 및 하이 다이나믹 영상 합성 단계(320)는, R, G, B 영상마다 개별적으로 수행될 수 있다.
Figure 112013088088718-pat00015
은 스틸 영상의 해상도에 맞게 업 스케일링될 수 있다. 이때
Figure 112013088088718-pat00016
은 모션 벡터에서와 같이 최측근 이웃 보간 방법에 따라 업스케일링될 수 있다.
또한, 차폐 영역은 스틸 영상에서도 결정될 수 있다. 영상 시퀀스에 포함된 영상들은 동일한 노출 시간을 가지므로, 영상의 어두운 영역에서는 대비 정도 즉, 콘트래스트(contrast)가 낮을 수 있다. 따라서, 영상 시퀀스의 어두운 영역에서는 고스트 아티팩트가 발생되어도 픽셀값의 차이가 크지 않아 차폐 영역의 검출이 어려울 수 있다. 그러므로, 본 발명의 일 실시 예에 있어서, 장치(100)은 스틸 영상을 이용하여 차폐 영역을 추가로 결정할 수 있다.
스틸 영상들은 각각 노출 시간이 달라 밝기 범위, 즉 다이나믹 레인지가 각각 다르므로, 스틸 영상의 차폐 영역의 결정을 위한 스틸 영상들의 밝기 범위가 균등해지도록 조절될 수 있다. 이는 각 영상의 밝기 범위가 다르면, 영상에서 동일한 물체의 픽셀값이 각각 달라질 수 있기 때문에, 이동 또는 떨림이 발생된 물체가 검출되기 어려울 수 있으므로, 차폐 영역을 결정하기 위해 비교하는 영상의 밝기 범위는 균등하게 조절될 수 있다.
본 발명의 일 실시 예에 있어서, 장치(100)은 스틸 영상의 밝기 범위를 균등하게 조절하기 위해 다음 수학식 3을 이용할 수 있다.
[수학식 3]
Figure 112013088088718-pat00017
수학식 3에서,
Figure 112013088088718-pat00018
는 i번째 스틸 영상에 대한 j번째 스틸 영상의 각 픽셀값에 대한 강도 맵핑 함수(intensity mapping function, IMF)를 나타낼 수 있다. IMF는 픽셀값이 Z값을 가지는 i번째 스틸 영상의 픽셀들과 동일 좌표에 위치하는 j번째 스틸 영상의 픽셀값들의 평균값을 의미할 수 있다. 또한,
Figure 112013088088718-pat00019
는
Figure 112013088088718-pat00020
집합의 원소 개수를 의미할 수 있다.
그리고, 장치(100)은 수학식 3을 이용하여 수학식 4와 같이 스틸 영상들의 밝기 범위를 동일하게 조절할 수 있다.
[수학식 4]
Figure 112013088088718-pat00021
Figure 112013088088718-pat00022
는 밝기 범위가 조절된
Figure 112013088088718-pat00023
을 의미한다. 각 스틸 영상의 밝기 범위의 조절은 어둡게 포화된 영역을 검출하기 위하여 노출 시간이 짧은 영상의 밝기 범위를 노출 시간이 긴 영상의 밝기 범위에 따라 조절함이 바람직하다.
수학식 4에서, n은 참조 영상의 인덱스를 의미하고, t는 목표 영상의 인덱스를 의미한다. 이때, 영상의 인덱스는 영상의 노출 시간에 따라 대응되는 값을 가질 수 있다. 예를 들면, 영상의 인덱스 값이 클수록 노출 시간이 긴 영상일 수 있다.
수학식 4를 참조하면, 영상의 픽셀마다, 비교하고자 하는 영상의 밝기 범위에 따라 영상의 밝기 범위를 조절할 수 있다. 수학식 4에 의하면, 영상의 각 픽셀값과 동일한 픽셀값을 가지는 비교되는 영상의 영역의 픽셀값의 평균값이 영상의 픽셀값으로 결정될 수 있다. 즉, 영상의 픽셀값마다 비교하고자 하는 영상에 의해 밝기 범위가 조절된 픽셀값이 결정될 수 있다. 참조 영상의 노출 시간이 목표 영상의 노출 시간이 짧은 경우에는 참조 영상이 목표 영상의 밝기 범위로 조절될 수 있고, 반대의 경우에는 참조 영상이 참조 영상의 밝기 범위로 조절될 수 있다.
장치(100)은 수학식 4에서 결정된
Figure 112013088088718-pat00024
를 이용하여 수학식 5와 같이 차폐 영역을 결정할 수 있다.
[수학식 5]
Figure 112013088088718-pat00025
수학식 5에서
Figure 112013088088718-pat00026
는 n번째 스틸 영상에 대한 차폐 영역을 나타낼 수 있다.
Figure 112013088088718-pat00027
은 스틸 영상의 차폐 영역을 결정하기 위한 기준치로써 임의로 결정될 수 있다. 수학식 5를 참조하면, 각 스틸 영상의 차폐 영역은 목표 영상 또는 밝기 범위가 조절되기 전의 각 스틸 영상과 비교됨으로써 결정될 수 있다.
수학식 5를 참조하면, 스틸 영상의 차폐 영역이 결정될 수 있도록, 참조 영상의 노출 시간이 목표 영상의 노출 시간보다 짧은 경우, 목표 영상과, 밝기 범위가 목표 영상의 밝기 범위로 조절된 참조 영상이 비교될 수 있다. 또한, 참조 영상의 노출 시간이 목표 영상의 노출 시간보다 긴 경우, 참조 영상과, 밝기 범위가 참조 영상의 밝기 범위로 조절된 참조 영상이 비교될 수 있다.
n번째 스틸 영상 및 시퀀스 영상의 차폐 영역은 수학식 6과 같이 스틸 영상과 영상 시퀀스의 차폐영역을 합한 것으로 결정될 수 있다.
[수학식 6]
Figure 112013088088718-pat00028
그리고, n번째 스틸 영상의 차폐 영역은 수학식 7과 같이 목표 영상의 각 픽셀값과 동일한 픽셀값을 가지는 해당 참조 영상의 영역의 픽셀값의 평균값으로 채워질 수 있다. 따라서, 떨림 또는 피사체의 움직임에 의해 발생된 고스트 아티팩트에 의해 표시된 픽셀값 간의 경계가 상쇄됨으로써 차폐 영역의 고스트 아티팩트를 제거할 수 있다.
[수학식 7]
Figure 112013088088718-pat00029
장치(100)은 차폐 영역 처리 단계(321)에서 상술된 과정을 수행함으로써, 차폐 영역에서의 고스트 아티팩트를 제거할 수 있다. 따라서, 장치(100)은 하이 다이나믹 레인지 영상을 생성할 때 고스트 아티팩트로 인한 다이나믹 레인지가 감소되는 것을 방지할 수 있다.
CRF(camera response function) 추정 단계(322)에서, 장치(100)은 다음과 같은 수학식 8을 통해 차폐 영역이 처리된 스틸 영상을 이용하여 CRF를 추정할 수 있다.
[수학식 8]
Figure 112013088088718-pat00030
E와
Figure 112013088088718-pat00031
는 각각 이래디언스(irradiance)와 노출 시간을 나타내며, f는 CRF를 의미한다.
Figure 112013088088718-pat00032
에 자연로그를 취함으로써
Figure 112013088088718-pat00033
식을 획득할 수 있는데, h 함수가 추정됨으로써 CRF가 추정될 수 있다.
노출 시간이 다르더라도 래디언스의 값은 동일하다는 사실을 이용하여 장치(100)은 다음의 수학식 9와 같이 Ok의 값이 최소가 되도록 하는 h를 추정할 수 있다.
[수학식 9]
Figure 112013088088718-pat00034
이때, Ok와 hk는 각 컬러 채널에 대한 오브젝티브 함수와 역(inverse) CRF를 의미하고, Z는 디지털 값으로써 0에서 255 사이의 정수의 값을 가질 수 있다. Ok 함수의 첫번째 텀은 수학식 8을 만족시키기 위한 제약으로 스틸 영상 간 래디언스의 오차를 최소화하기 위한 것이다. 두번째 텀은 h 커브의 평활도(smoothness)를 보정하기 위한 것이다.
w(Z)는 영상에서 어두운 영역과 밝은 영역보다 중간 영역의 값이 신뢰도가 높다고 가정하여 128에 가까울수록 높은 웨이트를 가지도록 한 것이다. 특이값 분해(Singular alue decomposition, SVD)를 이용하여 Ok 함수를 최소화하는 h 함수가 추정될 수 있다.
래디언스 값 획득 단계(323)에서, 장치(100)은, CRF 추정 단계(322)에서 추정된 CRF를 이용하여 각 스틸 영상에 대한 래디언스 값을 획득할 수 있다. 이는 아래 수학식 10이 이용될 수 있다.
[수학식 10]
Figure 112013088088718-pat00035
lnEk n는 스틸 영상의 k 컬러 채널에 대한 래디언스 값을 의미할 수 있다. 이 래디언스 값은 잡음에 대해 민감하므로, 장치(100)은 잡음에 대한 영향을 최소화하기 위해 다음 수학식 11과 같이 스틸 영상들에 대한 래디언스 값을 가중치 평균하여 최종 래디언스를 획득할 수 있다.
[수학식 11]
Figure 112013088088718-pat00036
수학식 11의 w(Z)는 수학식 9의 것과 동일한 것이다. 장치(100)은 스틸 영상들에 대한 래디언스 값을 가중치 평균함으로써 잡음을 줄일 뿐만 아니라 포화 영역의 디테일을 향상시킬 수 있다.
톤 맵핑 단계(330)에서, 장치(100)은 HDR 영상 합성 단계(320)에서 획득된 래디언스 값을 효율적으로 디스플레이하기 위해 래디언스 값을 0 내지 255 사이의 값으로 압축할 수 있다. 톤 맵핑 단계(330)는 글로벌 압축 단계(331), 로컬 대비 강조 단계(332) 및 컬러 처리 단계(333)를 포함할 수 있다.
글로벌 압축 단계(331)에서, 장치(100)은, 카메라의 비주얼 시스템이 로그(logarithmic) 함수와 같이 빛을 인식하는 점을 기초로 하여, 다음 수학식 12와 같이 휘도 값을 0 내지 255 값으로 압축할 수 있다.
[수학식 12]
Figure 112013088088718-pat00037
L(x, y)는 휘도 값을 나타낼 수 있다. 휘도값은 다양한 값으로 표현될 수 있는데, 예를 들면, 다음 수학식 13과 같이 표현될 수 있다.
[수학식 13]
L(x,y) = 0.213 Er(x,y) + 0.715 Eg(x,y) + 0.072 Eb(x,y)
수학식 12에서, 로그 함수가 이용됨에 따라 영상 전반적으로 콘트라스트가 낮아질 수 있다.
로컬 대비 강조 단계(332)에서, 장치(100)은 SD-MSR(Sub band decomposed-multiscale retinex) 기법을 이용할 수 있다. 먼저, 장치(100)은 수학식 14와 같이 Nb 개의 밴드를 갖는 i번째 SSR(single scale retinex)인, Ri(x,y)를 획득할 수 있다.
[수학식 14]
Figure 112013088088718-pat00038
Hi(x,y)는 Lg를 가이드 필터링(guided filtering)한 결과값이다. 장치(100)은 가우시안 트랜스퍼 함수(Gaussian transfer function) 대신 가이드 필터(guided filter)를 사용함으로써 엣지 주변에서의 하로 아티팩트(halo artifact)도 방지할 수 있다.
TH는 mlog의 한계점이며 wl은 mlog의 선형성을 조절하는 가중치로 값이 클수록 mlog가 직선에 가까워질 수 있다. 장치(100)은 수학식 14와 같은 mlog를 사용함으로써 어두운 영역의 콘트라스트뿐만 아니라 포화된 영역의 콘트라스트를 향상시킬 수 있다.
모든 밴드의 SSR이 획득되면, 다음 수학식 15와 같이 서브 밴드 분해가 수행될 수 있다.
[수학식 15]
Figure 112013088088718-pat00039
Figure 112013088088718-pat00040
는 서브 밴드 분해된 SSR을 의미할 수 있다. 각각의 서브 밴드가 획득된 후, 디테일 강조를 위해 장치(100)은 각각의 밴드에 대한 게인(gain)을 아래 수학식 16과 같이 설정할 수 있다.
[수학식 16]
Figure 112013088088718-pat00041
gi과 은 각각 i 번째 밴드의 게인과 가이드 필터의 반지름(radius) 값을 나타낸다.
Figure 112013088088718-pat00042
는 디테일 파라미터를 나타내며, 임의로 설정될 수 있다. 이러한 과정을 통해 장치(100)은 SSR 값이 낮은 영역일수록 높은 게인을 할당함으로써 디테일을 효과적으로 향상시킬 수 있다.
게인이 결정되면, 다음 수학식 17과 같이 다시 서브 밴드 컴포지션이 수행될 수 있다.
[수학식 17]
Figure 112013088088718-pat00043
컴포지션된 영상은 다음 수학식 18과 같이 0 내지 255의 값으로 압축될 수 있다.
[수학식 18]
Figure 112013088088718-pat00044
컬러 처리 단계(333)에서, 장치(100)은 휘도 값이 압축되면, 다시 래디언스의 컬러 값을 이용하여 컬러 영상으로 복원시킬 수 있다. 이때, 각 컬러 채널 간 비율은 압축되기 전후가 동일하므로, 다음 수학식 19가 이용될 수 있다.
[수학식 19]
Figure 112013088088718-pat00045
Figure 112013088088718-pat00046
는 최종 결과 영상, 즉 HDR 영상(3)의 k 컬러 채널을 나타내며, 위 수학식 19를 정리하면 수학식 20과 같이 나타날 수 있다.
[수학식 20]
Figure 112013088088718-pat00047
장치(100)은 수학식 20으로부터 각 컬러 채널에 대한
Figure 112013088088718-pat00048
를 구함으로써 HDR 영상(3)을 획득할 수 있다.
도 4는 본 발명의 일 실시 예에 의한 카메라 응답 함수를 구하는 방법을 도시한 블록도이다.
도 4를 참조하면, 카메라(400)는 렌즈(410), 셔터(420) 및 CRF 함수(430)를 포함할 수 있다. 도 4의 카메라(400)는 장치(100)과 대응되고, 중복되는 설명은 생략하기로 한다.
카메라(400)는 외부 장면을 촬영할 때, 각 물체들의 래디언스를 렌즈(410)를 통해 인식하고, 셔터(420)을 이용하여 렌즈(410)로 들어오는 빛의 양을 조절할 수 있다.
CRF 함수(430)는 상술된 바와 같이 노출 시간과 래디언스에 따른 카메라 응답 함수를 의미할 수 있다. 카메라 응답 함수에 따라 노출 시간과 래디언스에 따라서 카메라로 들어온 빛은 디지털 값(Z)으로 변환될 수 있다.
카메라 응답 함수의 결과 값은, 카메라 렌즈의 다이나믹 레인지에 의해 자연광의 밝기 레벨이 변형되어 생성된 픽셀값을 의미한다. 장치(100)는 CRF 함수(430)를 정확히 추정하여 CRF 함수의 역함수를 추정함으로써 역함수에 픽셀값이 입력되면 자연광의 밝기 레벨이 출력될 수 있다. 본 발명의 일 실시 예에 따라 CRF 함수 또는 CRF 함수의 역함수가 정확히 추정되면, 카메라 렌즈의 협대역 다이나믹 레인지에 의해 좁아진 원본 다이나믹 레인지가 추정될 수 있으므로, 하이 다이나믹 레인지 영상이 생성될 수 있다.
본 발명의 일 실시 예에 있어서, 하이 다이나믹 레인지 영상을 생성하기 위해 다수의 영상을 정합할 때 발생될 수 있는 고스트 아티팩트의 발생을 최소화함으로써 보다 선명한 하이 다이나믹 레인지 영상을 생성할 수 있다.
본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터(정보 처리 기능을 갖는 장치를 모두 포함한다)가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 장치의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장 장치 등이 있다.
비록 상기 설명이 다양한 실시예들에 적용되는 본 발명의 신규한 특징들에 초점을 맞추어 설명되었지만, 본 기술 분야에 숙달된 기술을 가진 사람은 본 발명의 범위를 벗어나지 않으면서도 상기 설명된 장치 및 방법의 형태 및 세부 사항에서 다양한 삭제, 대체, 및 변경이 가능함을 이해할 것이다. 따라서, 본 발명의 범위는 상기 설명에서보다는 첨부된 특허청구범위에 의해 정의된다. 특허청구범위의 균등 범위 안의 모든 변형은 본 발명의 범위에 포섭된다.

Claims (19)

  1. 노출 시간이 동일한 영상 시퀀스를 획득하는 단계;
    상기 적어도 하나의 영상 시퀀스와 시간적으로 각각 대응되고, 노출 시간이 서로 다른 복수 개의 스틸(still) 영상을 획득하는 단계;
    상기 영상 시퀀스를 이용하여 상기 스틸 영상으로부터 하이 다이나믹 래인지(High dynamic range)를 가지는 정합 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 생성 방법.
  2. 제1항에 있어서, 상기 정합 영상을 획득하는 단계는
    상기 영상 시퀀스로부터 모션 정보를 획득하는 단계;
    상기 획득된 모션 정보에 기초하여, 상기 적어도 하나의 스틸 영상의 모션 정보를 획득하는 단계;
    상기 획득된 스틸 영상의 모션 정보에 기초하여, 소정 영역의 고스트 아티팩트가 제거된 정합 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 생성 방법.
  3. 제2항에 있어서, 상기 제2 영상의 모션 정보를 획득하는 단계는
    상기 영상 시퀀스 및 상기 스틸 영상의 해상도에 기초하여, 상기 획득된 모션 정보를 업 스케일링하는 단계를 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 생성 방법.
  4. 제1항에 있어서,
    상기 영상 시퀀스의 해상도는 상기 스틸 영상의 해상도보다 작거나 같은 것을 특징으로 하는 하이 다이나믹 레인지 영상 생성 방법.
  5. 제1항에 있어서,
    상기 영상 시퀀스 및 상기 스틸 영상은 복수 개의 렌즈를 가진 카메라의 각각 다른 렌즈로부터 획득된 것을 특징으로 하는 하이 다이나믹 레인지 영상 생성 방법.
  6. 제1항에 있어서,
    상기 스틸 영상 간 밝기의 차이에 기초하여, 각 스틸 영상의 밝기를 조절하는 단계;
    상기 밝기가 조절된 스틸 영상을 이용하여, 상기 스틸 영상 간 픽셀값의 차이가 기준치 이상인 값을 가지는 영역을 차폐 영역으로 결정하는 단계를 더 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 생성 방법.
  7. 제6항에 있어서, 상기 차폐 영역을 결정하는 단계는
    상기 영상 시퀀스에 포함된 각 영상 간의 픽셀값의 차이가 기준치 이상인 값을 가지는 영역을 차폐 영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 생성 방법.
  8. 제6항에 있어서,
    상기 결정된 차폐 영역을 상기 스틸 영상 간 밝기의 차이에 기초하여 보정하는 단계;
    상기 차폐 영역이 보정된 스틸 영상을 이용하여 카메라 응답 함수(CRF)를 획득하는 단계;
    상기 카메라 응답 함수를 이용하여 상기 스틸 영상의 래디언스(radiance)을 획득하는 단계;
    상기 획득한 래디언스 값을 이용하여 상기 스틸 영상과 해상도가 동일하고, 하이 다이나믹 래인지(High dynamic range)를 가지는 정합 영상을 획득하는 단계를 더 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 생성 방법.
  9. 제8항에 있어서, 상기 정합 영상을 획득하는 단계는
    SD-MSR 기법을 이용하여 톤 맵핑(tone mapping)을 수행함으로써 상기 정합 영상을 획득하는 단계를 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 영상 생성 방법.
  10. 노출 시간이 동일한 영상 시퀀스 및 상기 적어도 하나의 영상 시퀀스와 시간적으로 각각 대응되고, 노출 시간이 서로 다른 복수 개의 스틸 영상을 획득하는 촬영부;
    상기 영상 시퀀스를 이용하여 상기 스틸 영상으로부터 하이 다이나믹 래인지를 가지는 정합 영상을 획득하는 제어부를 포함하는 것을 특징으로 하는 장치.
  11. 제10항에 있어서, 상기 제어부는
    상기 영상 시퀀스로부터 모션 정보를 획득하고, 상기 획득된 모션 정보에 기초하여, 상기 적어도 하나의 스틸 영상의 모션 정보를 획득하고, 상기 획득된 스틸 영상의 모션 정보에 기초하여, 소정 영역의 고스트 아티팩트가 제거된 정합 영상을 획득하는 것을 특징으로 하는 장치.
  12. 제11항에 있어서, 상기 제어부는,
    상기 영상 시퀀스 및 상기 스틸 영상의 해상도에 기초하여, 상기 획득된 모션 정보를 업 스케일링하는 것을 특징으로 하는 장치.
  13. 제10항에 있어서,
    상기 영상 시퀀스의 해상도는 상기 스틸 영상의 해상도보다 작거나 같은 것을 특징으로 하는 장치.
  14. 제10항에 있어서,
    상기 영상 시퀀스 및 상기 스틸 영상은 복수 개의 렌즈를 가진 카메라의 각각 다른 렌즈로부터 획득된 것을 특징으로 하는 장치.
  15. 제10항에 있어서, 상기 제어부는
    상기 스틸 영상 간 밝기의 차이에 기초하여, 각 스틸 영상의 밝기를 조절하고, 상기 밝기가 조절된 스틸 영상을 이용하여, 상기 스틸 영상 간 픽셀값의 차이가 기준치 이상인 값을 가지는 영역을 차폐 영역으로 결정하는 것을 특징으로 하는 장치.
  16. 제15항에 있어서, 상기 제어부는
    상기 영상 시퀀스에 포함된 각 영상 간의 픽셀값의 차이가 기준치 이상인 값을 가지는 영역을 차폐 영역으로 결정하는 것을 특징으로 하는 장치.
  17. 제15항에 있어서, 상기 제어부는
    상기 결정된 차폐 영역을 상기 스틸 영상 간 밝기의 차이에 기초하여 보정하고, 상기 차폐 영역이 보정된 스틸 영상을 이용하여 카메라 응답 함수(CRF)를 획득하고, 상기 카메라 응답 함수를 이용하여 상기 스틸 영상의 래디언스을 획득하고, 상기 획득한 래디언스 값을 이용하여 상기 스틸 영상과 해상도가 동일하고, 하이 다이나믹 래인지(High dynamic range)를 가지는 정합 영상을 획득하는 것을 특징으로 하는 장치.
  18. 제17항에 있어서, 상기 제어부는
    SD-MSR 기법을 이용하여 톤 맵핑(tone mapping)을 수행함으로써 상기 정합 영상을 획득하는 것을 특징으로 하는 장치.
  19. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록매체.
KR1020130115699A 2013-09-27 2013-09-27 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템 KR102106537B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130115699A KR102106537B1 (ko) 2013-09-27 2013-09-27 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
US14/465,422 US9554058B2 (en) 2013-09-27 2014-08-21 Method, apparatus, and system for generating high dynamic range image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130115699A KR102106537B1 (ko) 2013-09-27 2013-09-27 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템

Publications (2)

Publication Number Publication Date
KR20150035315A KR20150035315A (ko) 2015-04-06
KR102106537B1 true KR102106537B1 (ko) 2020-05-04

Family

ID=52739790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130115699A KR102106537B1 (ko) 2013-09-27 2013-09-27 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템

Country Status (2)

Country Link
US (1) US9554058B2 (ko)
KR (1) KR102106537B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6674255B2 (ja) * 2015-12-28 2020-04-01 キヤノン株式会社 固体撮像素子及び撮像装置
US9883119B1 (en) * 2016-09-22 2018-01-30 Qualcomm Incorporated Method and system for hardware-based motion sensitive HDR image processing
JP6718831B2 (ja) * 2017-02-27 2020-07-08 アルパイン株式会社 表示制御装置、表示システム及び表示制御方法
JP7057079B2 (ja) * 2017-09-01 2022-04-19 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
US10628965B2 (en) * 2017-11-17 2020-04-21 Qualcomm Incorporated Systems and methods for illuminant-invariant model estimation
KR102650217B1 (ko) * 2017-12-07 2024-03-21 삼성전자주식회사 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
CN108833775B (zh) * 2018-05-22 2020-04-03 深圳岚锋创视网络科技有限公司 一种抗运动鬼影的hdr方法、装置及便携式终端
US10789675B2 (en) 2018-12-28 2020-09-29 Intel Corporation Apparatus and method for correcting image regions following upsampling or frame interpolation
CN111311524B (zh) * 2020-03-27 2023-04-18 电子科技大学 一种基于msr的高动态范围视频生成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005519534A (ja) 2002-02-28 2005-06-30 アプライド・ビジョン・システムズ・インコーポレーテッド ダイナミックレンジビデオ記録および再生システムならびに方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2570090C (en) 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images
US8242426B2 (en) 2006-12-12 2012-08-14 Dolby Laboratories Licensing Corporation Electronic camera having multiple sensors for capturing high dynamic range images and related methods
KR101604068B1 (ko) * 2009-09-22 2016-03-17 삼성전자주식회사 고대비 영상 생성 장치 및 방법
WO2011093994A1 (en) * 2010-01-27 2011-08-04 Thomson Licensing High dynamic range (hdr) image synthesis with user input
US8462221B2 (en) 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
KR101301069B1 (ko) * 2011-09-28 2013-08-28 연세대학교 산학협력단 Ｈｄｒ 영상 시스템에서 영상 간의 전역 움직임을 추정하기 위한 장치 및 그 방법
US9648248B2 (en) * 2012-12-17 2017-05-09 Sony Corporation Methods, systems, and media for high dynamic range imaging
JP6172967B2 (ja) * 2013-02-20 2017-08-02 キヤノン株式会社 撮像装置、及びその制御方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005519534A (ja) 2002-02-28 2005-06-30 アプライド・ビジョン・システムズ・インコーポレーテッド ダイナミックレンジビデオ記録および再生システムならびに方法

Also Published As

Publication number Publication date
US20150092075A1 (en) 2015-04-02
KR20150035315A (ko) 2015-04-06
US9554058B2 (en) 2017-01-24

Similar Documents

Publication Publication Date Title
KR102106537B1 (ko) 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
EP2987134B1 (en) Generation of ghost-free high dynamic range images
CN108259774B (zh) 图像合成方法、系统和设备
US9202263B2 (en) System and method for spatio video image enhancement
KR101574733B1 (ko) 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
KR101442153B1 (ko) 저조도 영상 처리 방법 및 시스템
US8773548B2 (en) Image selection device and image selecting method
US8508605B2 (en) Method and apparatus for image stabilization
US9344636B2 (en) Scene motion correction in fused image systems
US9324153B2 (en) Depth measurement apparatus, image pickup apparatus, depth measurement method, and depth measurement program
US20110128422A1 (en) Image capturing apparatus and image processing method
JP4454657B2 (ja) ぶれ補正装置及び方法、並びに撮像装置
KR20140142381A (ko) 단일영상 내의 안개 제거 방법 및 장치
KR20110084025A (ko) 다중노출 영상을 합성하는 영상합성장치 및 방법
JP2009207118A (ja) 撮像装置及びぶれ補正方法
KR20110138114A (ko) 다중 노출에 의한 프레임 처리 방법 및 장치
JP6293374B2 (ja) 画像処理装置、画像処理方法、プログラム、これを記録した記録媒体、映像撮影装置、及び映像記録再生装置
JP2017102245A (ja) 画像処理装置および画像処理方法
CN111242860A (zh) 超级夜景图像的生成方法、装置、电子设备及存储介质
KR101287521B1 (ko) 단일 프레임 기반의 높은 동적 대역 영상 생성장치 및 방법
KR101651889B1 (ko) 극저조도 영상의 화질 개선 장치 및 방법
JP2021005206A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2017130167A (ja) 画像処理装置、撮像装置および画像処理プログラム
CN113469908B (zh) 图像降噪方法、装置、终端、存储介质
JP7214407B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right