KR102314703B1 - 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법 - Google Patents

이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법 Download PDF

Info

Publication number
KR102314703B1
KR102314703B1 KR1020170179052A KR20170179052A KR102314703B1 KR 102314703 B1 KR102314703 B1 KR 102314703B1 KR 1020170179052 A KR1020170179052 A KR 1020170179052A KR 20170179052 A KR20170179052 A KR 20170179052A KR 102314703 B1 KR102314703 B1 KR 102314703B1
Authority
KR
South Korea
Prior art keywords
frame
low
exposure
noise
image
Prior art date
Application number
KR1020170179052A
Other languages
English (en)
Other versions
KR20190077680A (ko
Inventor
김민혁
최인창
Original Assignee
에스케이하이닉스 주식회사
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이하이닉스 주식회사, 한국과학기술원 filed Critical 에스케이하이닉스 주식회사
Priority to KR1020170179052A priority Critical patent/KR102314703B1/ko
Priority to US15/980,456 priority patent/US10778917B2/en
Publication of KR20190077680A publication Critical patent/KR20190077680A/ko
Application granted granted Critical
Publication of KR102314703B1 publication Critical patent/KR102314703B1/ko

Links

Images

Classifications

    • G06T5/007—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/626—Reduction of noise due to residual charges remaining after image readout, e.g. to remove ghost images or afterimages
    • G06T5/002—
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)

Abstract

본 기술의 일 실시예에 따른 인터레이스 기반 HDR(High Dynamic Range) 이미징 장치는 하나의 이미지 프레임 내에 고노출 영역과 저노출 영역이 인터레이스된 인터레이스 베이어 로우 프레임을 디인터레이싱하여 고노출 베이어 프레임과 저노출 베이어 프레임을 생성하는 디인터레이싱부, 상기 고노출 베이어 프레임과 상기 저노출 베이어 프레임을 각각 고노출 RGB 프레임 및 저노출 RGB 프레임으로 변환하는 디모자이킹부, 일대일 대응되지만 대응되는 값들이 서로 다른 복수의 베이시스들을 포함하는 트레이닝 데이터 세트에 대한 조인트 딕셔너리 학습을 통해 생성된 조인트 딕셔너리들을 이용하여 상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 인터레이스 아티팩트 및 노이즈를 제거하는 복원부, 및 상기 복원부에서 인터레이스 아티팩트 및 노이즈가 제거된 고노출 RGB 프레임 및 저노출 RGB 프레임을 결합하여 HDR(High Dynamic Range) 이미지 프레임을 생성하는 HDR 생성부를 포함할 수 있다.

Description

이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법{JOINT DICTIONARY GENERATION METHOD FOR IMAGE PROCESSING, INTERLACE BASED HIGH DYNAMIC RANGE IMAGING APPARATUS USING THE JOINT DICTIONARY AND IMAGE PROCESSING METHOD OF THE SAME}
본 발명은 HDR(High Dynamic Range) 이미징 장치에 관한 것으로, 보다 상세하게는 조인트 딕셔너리 학습(joint dictionary learning)을 통해 생성한 조인트 딕셔너리들을 이용하여 인터레이스 기반 HDR 영상의 품질을 극대화시킬 수 있는 이미징 장치 및 그 이미지 처리 방법에 관한 것이다.
HDR(High Dynamic Range)은 명암을 세밀하게 분석해 사람의 눈과 유사하게 자연스러운 영상을 보여주는 기술이다.
HDR 이미지를 획득 하기 위해서는, 노출을 달리하여 찍은 여러 장의 이미지들이 필요하다. 노출을 달리하는 여러 장의 이미지들을 얻는 방법으로는 일반적으로 노출 세팅을 달리하여 여러 장의 이미지들을 연속으로 촬영하는 방법이 사용되었다. 하지만 이러한 경우 각 이미지들이 촬영되는 시각이 다르기 때문에, 피사체의 움직임이 합성된 HDR 이미지에 "고스트 효과"라는 문제가 발생한다.
이를 극복하기 위해서, 인터레이스(Interlace) 기반의 HDR 이미징이 제안되었다. 인터레이스 기반의 센서는 홀수의 매트로 행(macro row)와 짝수의 매크로 행에 서로 다른 노출 시간(exposure time)이나 게인(gain)을 설정하여 이미지를 촬영할 수 있다.
인터레이스 기반의 센서를 이용하면, 한 번의 촬영으로 같은 시각에 촬영되는 노출이 다른 두 장의 이미지를 생성할 수 있고, 따라서 고스트 효과를 줄일 수 있다. 하지만 각 이미지의 수직 해상도(vertical resolution)가 반으로 줄어드는 공간 해상도(spatial resolution) 문제가 발생한다.
또한 각 매크로 행의 게인을 조절하여 노출을 바꾼다면, 높은 게인(high gain)으로 세팅된 매크로 행에는 그만큼 노이즈도 심하게 발생하게 된다. 특히 장면의 어두운 부분인 암부에서 이러한 노이즈 문제가 더욱 심각하게 된다.
특허문헌 1: 대한민국 공개특허 10-2017-0096492(2017.08.24) 특허문헌 2: 미국공개특허 2005-024693(2005. 12.01)
본 발명은 인터레이스 기반의 HDR 이미지를 처리하는 과정에서 발생되는 해상도 및 노이즈 문제를 해결하여 HDR 영상의 품질을 극대화시킬 수 있는 새로운 조인트 딕셔너리 학습 방법 및 이를 통해 생성된 조인트 딕셔너리들을 이용한 HDR 이미징 장치와 그 이미지 처리 방법을 제공하고자 한다.
본 발명의 실시예에 따른 이미지 처리를 위한 조인트 딕셔너리 생성 방법은 고해상도 제 1 베이시스(Basis)들의 집합인 제 1 데이터를 제공받는 단계; 저해상도 제 2 베이시스들의 집합인 제 2 데이터를 제공받는 단계; 및 상기 제 1 데이터 및 상기 제 2 데이터에 대해 스파스 코딩을 수행하여 특정 스파스 코드를 공유하는 고품질용 조인트 딕셔너리 및 저품질용 조인트 딕셔너리를 생성하는 단계를 포함하며, 상기 제 1 베이시스들과 상기 제 2 베이시스들은 일대일 대응될 수 있다.
본 발명의 실시예에 따른 인터레이스 기반 HDR(High Dynamic Range) 이미징 장치는 하나의 이미지 프레임 내에 고노출 영역과 저노출 영역이 인터레이스된 인터레이스 베이어 로우 프레임을 디인터레이싱하여 고노출 베이어 프레임과 저노출 베이어 프레임을 생성하는 디인터레이싱부, 상기 고노출 베이어 프레임과 상기 저노출 베이어 프레임을 각각 고노출 RGB 프레임 및 저노출 RGB 프레임으로 변환하는 디모자이킹부, 일대일 대응되지만 대응되는 값들이 서로 다른 복수의 베이시스들을 포함하는 트레이닝 데이터 세트에 대한 조인트 딕셔너리 학습을 통해 생성된 조인트 딕셔너리들을 이용하여 상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 인터레이스 아티팩트 및 노이즈를 제거하는 복원부, 및 상기 복원부에서 인터레이스 아티팩트 및 노이즈가 제거된 고노출 RGB 프레임 및 저노출 RGB 프레임을 결합하여 HDR(High Dynamic Range) 이미지 프레임을 생성하는 HDR 생성부를 포함할 수 있다.
본 발명의 실시예에 따른 하이 다이나믹 레인지 이미지 처리 방법은 하나의 이미지 프레임 내에 고노출 영역과 저노출 영역이 인터레이스된 인터레이스 베이어 로우 프레임을 이용하여 고노출 베이어 프레임과 저노출 베이어 프레임을 생성하는 디인터레이싱 단계; 상기 고노출 베이어 프레임과 상기 저노출 베이어 프레임을 각각 고노출 RGB 프레임 및 저노출 RGB 프레임으로 변환하는 디모자이킹 단계; 일대일 대응되지만 대응되는 값들이 서로 다른 복수의 베이시스들을 포함하는 트레이닝 데이터 세트에 대한 조인트 딕셔너리 학습을 통해 생성된 조인트 딕셔너리들을 이용하여 상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 인터레이스 아티팩트 및 노이즈를 제거하는 복원 단계; 및 인터레이스 아티팩트 및 노이즈가 제거된 고노출 RGB 프레임 및 저노출 RGB 프레임을 결합하여 HDR(High Dynamic Range) 이미지 프레임을 생성하는 HDR 생성 단계를 포함할 수 있다.
본 발명은 인터레이스 기반의 HDR 이미지를 처리하는 과정에서 발생되는 해상도 및 노이즈 문제를 모두 해결함으로써 HDR 영상의 품질을 극대화시킬 수 있다.
도 1은 본 발명의 실시예에 따른 인터레이스 기반의 HDR 이미징 장치의 구성을 나타내는 구성도.
도 2는 이미지 센서에서 촬영된 인터레이스된 원시 입력 이미지 신호의 모습을 보여주는 도면.
도 3은 도 2의 인터레이스된 원시 입력 이미지 신호를 디인터레이싱하는 모습을 보여주는 도면.
도 4는 본 발명의 실시예에 따른 조인트 딕셔너리 학습 방법을 통해 조인트 딕셔너리들을 구하는 방법을 설명하기 위한 도면.
도 5는 도 4에서와 같은 방법으로 구해진 조인트 딕셔너리들을 이용하여 품질이 저하된 신호를 고품질의 신호로 복원(reconstruction)하는 방법을 설명하기 위한 도면.
도 6은 본 발명의 다른 실시예에 따른 인터레이스 기반 HDR 이미징 장치의 구성을 나타내는 구성도.
도 7은 멀티 스케일 호모그래피를 이용한 시간축 디노이징 방법을 설명하기 위한 도면.
도 8은 본 발명의 또 다른 실시예에 따른 인터레이스 기반 HDR 이미징 장치의 구성을 나타내는 구성도.
이하, 첨부한 도면들을 참고하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예에 대하여 상세히 설명하기로 한다. 각 도면에 제시된 참조부호들 중 동일한 참조부호는 동일한 부재를 나타낸다.
본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도 1은 본 발명의 일 실시예에 따른 인터레이스 기반 HDR 이미징 장치의 구성을 나타내는 구성도이다.
도 1의 인터레이스 기반의 HDR 이미징 장치는 이미지 센서(10), 디인터레이싱(deinterlacing)부(20), 디모자이킹(demosaicing)부(30), 복원(reconstructing)부(40), HDR 생성부(50) 및 메모리(60)를 포함할 수 있다.
이미지 센서(10)는 광학 영상의 강약과 색채를 감지하고 이를 디지털 영상 데이터로 변환하여 이미지 프레임을 생성 및 출력한다. 특히, 본 실시예의 이미지 센서(10)는 프레임의 홀수 매크로 행과 짝수 매크로 행에 서로 다른 노출 시간(exposure time) 또는 게인(gain)을 설정하여 피사체를 촬영함으로써 한 장의 이미지 프레임 내에 고노출 영역과 저노출 영역이 모두 포함된(인터레이스 된) 원시 입력 이미지 신호{이하, 인터레이스 베이어 로오 프레임(Interlace Bayer Raw Frame) 이라 함}를 생성하여 출력한다. 예컨대, 이미지 센서(10)는 도 2에서와 같이, 프레임의 홀수 매크로 행은 고노출(high exposure) 행이 되도록 하고, 짝수 매크로 행은 저노출(low exposure) 행이 되도록 하는 인터레이스 베이어 로오 프레임을 생성할 수 있다. 이때, 매크로 행은 연속된 두 개의 센서 라인들을 의미하며, 베이어 패턴을 구성하는 정사각형 형태의 BGGR(또는 RGGB) 픽셀들의 연속적인 배열로 이루어져있다. 이러한 이미지 센서(10)는 씨모스 이미지 센서(CIS; CMOS Image Sensor)를 포함할 수 있다.
디인터레이싱(deinterlacing)부(20)는 이미지 센서(10)에서 출력되는 인터레이스 베이어 로오 프레임을 이용하여 고노출 베이어 프레임(BAYER_HE)과 저노출 베이어 프레임(BAYER_LE)을 추출하여 출력한다. 예컨대, 디인터레이싱(deinterlacing)부(20)는 기 설정된 기준값(threshold 값)을 이용하여 인터레이스 베이어 로오 프레임에서 고노출 영역과 저노출 영역을 탐지한 후, 도 3에서와 같이, 저노출 영역을 스케일 업(예컨대, 기 설정된 게인 값을 곱함)시켜 프레임 전체가 고노출 영역이 되도록 함으로써 고노출 베이어 프레임(BAYER_HE)을 추출하고, 이와 함께, 고노출 영역을 스케일 다운(예컨대, 기 설정된 게인 값으로 나눔)시켜 프레임 전체가 저노출 영역이 되도록 함으로써 저노출 베이어 프레임(BAYER_LE)을 추출할 수 있다. 이때, 과다 노출된 매크로 행이 존재하는 경우, 저노출 베이어 프레임(BAYER_LE) 추출은 인접한 저노출 매크로 행을 과다 노출된 매크로 행에 복사함으로써 가능하며, 고노출 베이어 프레임(BAYER_HE) 추출은 저노출 프레임 추출시와 같이 복사한 후 저노출 영역들을 스케일 업 함으로써 가능하다.
디모자이킹(demosaicing)부(30)는 디인터레이싱된 고노출 베이어 프레임(BAYER_HE)과 저노출 베이어 프레임(BAYER_LE)에 대해 디모자이킹(demosaicing) 프로세스를 적용하여 베이어 프레임을 RGB 프레임으로 변환한다. 예컨대, 디모자이킹(demosaicing)부(30)는 디인터레이싱된 고노출 베이어 프레임(BAYER_HE) 및 저노출 베이어 프레임(BAYER_LE)에 포함된 각각의 베이어 패턴(BGGR 픽셀)을 적색 값, 녹색 값 및 청색 값의 세트로 변환하여 고노출 RGB 프레임(RGB_HE) 및 저노출 RGB 프레임(RGB_LE)을 생성한다. 이러한 디모자이킹 프로세스에는 다양한 알고리즘이 이용될 수 있으며, 본 실시예서는 종래의 다양한 알고리즘들 중 어느 하나를 선택하여 디모자이킹을 수행할 수 있다. 따라서, 본 실시예에서는 디모자이킹 프로세스에 대한 설명은 생략한다. 이때, 변환되어 만들어진 RGB 프레임(이미지)은 RGB 채널간의 화이트 밸런스(white_balance)가 맞지 않을 수 있기 때문에, 미리 실시한 실험 및 캘리브레이션을 통해 구한 카메라 특성 정보를 이용하여 디모자이킹된 프레임들(RGB_HE, RGB_LE)에 대해 화이트 밸런싱이 추가적으로 수행될 수 있다. 화이트 밸런싱은 디모자이킹(demosaicing)부(30)에서 수행될 수도 있으며, 디모자이킹(demosaicing)부(30)의 출력단에 화이트 밸런싱을 위한 별도의 구성이 추가될 수도 있다. 이러한 화이트 밸런싱 역시 종래의 방법들 중 어느 하나의 방법이 선택적으로 사용될 수 있다.
복원부(40)는 디모자이킹부(30)에서 출력되는 고노출 RGB 프레임(RGB_HE) 및 저노출 RGB 프레임(RGB_LE)에 대해, 트레이닝 데이터 세트에 대한 조인트 딕셔너리 학습(joint dictionary learning)을 통해 생성된 조인트 딕셔너리들(
Figure 112017128717110-pat00001
,
Figure 112017128717110-pat00002
,
Figure 112017128717110-pat00003
,
Figure 112017128717110-pat00004
)을 이용하여 각 프레임에 존재하는 인터레이스 아티팩트(interlace artifact) 및 노이즈를 제거한다. 이러한 복원부(40)는 해상도 복원부(42) 및 제 1 디노이징부(44)를 포함할 수 있다. 해상도 복원부(42)는 디모자이킹부(30)에서 출력되는 고노출 RGB 프레임(RGB_HE) 및 저노출 RGB 프레임(RGB_LE)에 대해 스파스 코드(
Figure 112017128717110-pat00005
)를 공유하는 고해상도용 조인트 딕셔너리(
Figure 112017128717110-pat00006
) 및 저해상도용 조인트 딕셔너리(
Figure 112017128717110-pat00007
)를 이용하여 해당 프레임들(RGB_HE, RGB_LE)에서 인터레이스 아티팩트(interlace artifact)를 제거한다. 즉, 해상도 복원부(42)는 인터레이스된 프레임을 디인터레이싱하는 과정에서 발생한 인터레이스 아티팩트를 조인트 딕셔너리들(
Figure 112017128717110-pat00008
,
Figure 112017128717110-pat00009
)을 이용하여 제거한다. 제 1 디노이징부(44)는 해상도 복원부(42)에서 출력되는 고노출 RGB 프레임(RA_RGB_HE) 및 저노출 RGB 프레임(RA_RGB_LE)에 대해 스파스 코드(
Figure 112017128717110-pat00010
)를 공유하는 저노이즈용 조인트 딕셔너리(
Figure 112017128717110-pat00011
) 및 고노이즈용 조인트 딕셔너리(
Figure 112017128717110-pat00012
)를 이용하여 해당 프레임들(RA_RGB_HE, RA_RGB_LE) 내에 존재하는 노이즈를 제거한다.
조인트 딕셔너리 학습을 이용하여 조인트 딕셔너리들을 생성하는 방법 및 이를 이용하여 인터레이스 아티팩트 및 노이즈를 제거하는 방법은 후술된다.
HDR 생성부(50)는 제 1 디노이징부(44)에서 출력되는 RGB 프레임들 즉 인터레이스 아티팩트 및 노이즈가 제거된 고노출 RGB 프레임(RNA_RGB_HE)와 저노출 RGB 프레임(RNA_RGB_LE)을 결합하여 하이 다이나믹 레인지(HDR) 이미지 프레임을 생성한다. 이러한 HDR 이미지 프레임 생성 방법은 이미 사용되고 있는 다양한 방법들 중 어느 하나의 방법이 사용될 수 있다.
메모리(60)는 조인트 딕셔너리 학습을 통해 사전에 생성된 조인트 딕셔너리들(
Figure 112017128717110-pat00013
,
Figure 112017128717110-pat00014
,
Figure 112017128717110-pat00015
,
Figure 112017128717110-pat00016
)을 저장한다. 즉, 메모리(70)는 아티팩트 인터레이스를 제거하기 위한 딕셔너리들(
Figure 112017128717110-pat00017
,
Figure 112017128717110-pat00018
)과 노이즈를 제거하기 위한 조인트 딕셔너리들(
Figure 112017128717110-pat00019
,
Figure 112017128717110-pat00020
)을 저장한다.
도 4는 본 발명의 일 실시예에 따른 조인트 딕셔너리 학습 방법을 통해 조인트 딕셔너리들을 구하는 방법을 설명하기 위한 도면이다.
먼저, 스파스 선형 모델(Sparse linear model) 및 스파스 디컴포지션(sparse decomposition)에 대해 설명하면 다음과 같다.
x를 Rm 에 속한 신호(signal)라고 가정할 때, 스파스 선형 모델(Sparse linear model)에서는 x를 어떤 새로운 베이시스(basis)인 딕셔너리(D, dictionary)와 그것에 관한 스파스 계수(또는 스파스 코드)(sparse coefficient)를 이용하여 표현할 수 있다. 즉, 딕셔너리 D는 수학적으로 다음과 같이 m×p의 행렬(matrix)로서 표현될 수 있다.
Figure 112017128717110-pat00021
이때, 딕셔너리(D)의 컬럼 벡터(column vector)인 di 는 주어진 신호 x와 같은 차원(m)을 가지는 베이시스 벡터(basis vector)로 생각할 수 있으며, 아톰(atom)이라고 지칭된다.
따라서, x는 수학식 1에서 보여지는 것과 같이, 딕셔너리(D)와 스파스 코드(α, p×1 vector)의 곱으로 근사(approximate)된다.
Figure 112017128717110-pat00022
이때, p ≥ m 을 만족하도록 큰 수의 p를 정하면, α 벡터의 대부분의 엔트리(entry)가 0이 되도록 할 수 있으며, 이를 가리켜 스파스(sparse) 하다고 말한다.
또한 스파스 디컴포지션이란, 딕셔너리
Figure 112017128717110-pat00023
가 주어졌을 때, 들어오는 입력 신호 x를 딕셔너리 D로 표현하는 스파스 코드(또는 스파스 계수)(α)를 계산하는 작업을 말한다.
다음의 수학식 2는 스파스 디컴포지션 문제를 풀기 위한 비용 함수(cost function)이다.
Figure 112017128717110-pat00024
여기서, 첫 번째 항(term)은 데이터 피팅(fitting) 항으로써, x의 새로운 대표값인 α가 딕셔너리 D를 이용해 복원되었을 때 입력 신호와 최대한 유사하도록 제한한다. 두 번째 항인
Figure 112017128717110-pat00025
는 계수 α를 스파스하게 제한을 두는 항이다.
Figure 112017128717110-pat00026
는 주로 다음의 아래의 두 가지 형태의 함수를 사용한다.
Figure 112017128717110-pat00027
첫 번째
Figure 112017128717110-pat00028
-pseudo-norm은 스파스 코드 (α)의 요소(element) 중 0이 아닌 엔트리의 개수를 세는 함수이며, 진정한 의미의 희소성(sparsity)을 측정하지만 최적화(optimization)가 어렵다{OMP(Orthogonal Matching Pursuit)라는 방법으로 최적화}.
두 번째
Figure 112017128717110-pat00029
-norm은 스파스 코드(α)의 모든 요소들의 절대값을 더하는 함수로, 좀 더 느슨한 의미의 희소성을 측정하지만, 컨벡스(convex) 함수로써 최적화가 용이하다(Lasso라는 방법으로 최적화).
상술한 바와 같이, 스파스 디컴포지션을 수행하기 위해서는 딕셔너리
Figure 112017128717110-pat00030
가 필요하다.
주어진 트레이닝 신호들(데이터)에 대해서, 딕셔너리(D)를 구하는 것을 딕셔너리 학습(dictionary learning)이라 부르며, 이를 위해 다음의 수학식 3과 같은 최적화가 수행된다.
Figure 112017128717110-pat00031
딕셔너리 학습은 n개의 모든 트레이닝 신호들에 대해서 가장 적합한 딕셔너리(D)를 찾는 작업으로, 최적화가 어려운 문제가 있다. 따라서, 복잡도를 낮추기 위해 본 실시예에서는 수학식 2에서의
Figure 112017128717110-pat00032
의 함수로서
Figure 112017128717110-pat00033
-norm을 사용한다.
본 실시예에 따른 조인트 딕셔너리 생성 방법은, 일대일 대응되지만 대응되는 값들이 서로 다른 복수의 베이시스들을 포함하는 트레이닝 데이터 세트(training dataset)를 학습 데이터로서 이용하여 공통된 스파스 코드(α)를 공유하는 두 개의 딕셔너리들(
Figure 112017128717110-pat00034
,
Figure 112017128717110-pat00035
)을 구하는 것이다.
예를 들어, 학습 데이터로서 고해상도의 신호들의 집합인
Figure 112017128717110-pat00036
와 이와 일대일 대응되는 저해상도의 신호들의 집합인
Figure 112017128717110-pat00037
(
Figure 112017128717110-pat00038
≒ L×
Figure 112017128717110-pat00039
, L은 계수)가 주어졌을 때, 수학식 4와 같이 최적화를 수행함으로써 스파스 코드(α)를 공유하는 딕셔너리들(
Figure 112017128717110-pat00040
,
Figure 112017128717110-pat00041
)을 구할 수 있다. 이때, 학습 데이터는 고해상도의 이미지 프레임과 저해상도의 이미지 프레임에서 각각 예컨대, 8×8 또는 7×7과 같은 작은 사이즈로 분해(샘플링)된 이미지 패치(patch)들이 될 수 있다.
고해상도의 신호들
Figure 112017128717110-pat00042
은 스파스 코드(α)를 이용하여
Figure 112017128717110-pat00043
Figure 112017128717110-pat00044
료 와 같이 나타낼 수 있으며, 저해상도의 신호들
Figure 112017128717110-pat00045
은 스파스 코드(α)를 이용하여
Figure 112017128717110-pat00046
≒ L×
Figure 112017128717110-pat00047
= L×
Figure 112017128717110-pat00048
×α =
Figure 112017128717110-pat00049
×α와 같이 나타낼 수 있다.
이러한 학습 데이터(고해상도의 신호들
Figure 112017128717110-pat00050
과 저해상도의 신호들
Figure 112017128717110-pat00051
)에 대해, 머신 러닝을 이용하여 스파스 코딩을 수행함으로써 딕셔너리들(
Figure 112017128717110-pat00052
,
Figure 112017128717110-pat00053
) 및 스파스 코드(α)를 구할 수 있다.
Figure 112017128717110-pat00054
이러한 최적화를 통해서 딕셔너리들(
Figure 112017128717110-pat00055
,
Figure 112017128717110-pat00056
)과 스파스 코드(α)를 구해보면, 트레이닝 데이터 세트(
Figure 112017128717110-pat00057
,
Figure 112017128717110-pat00058
)의 요소들(
Figure 112017128717110-pat00059
,
Figure 112017128717110-pat00060
)이 일대일 대응관계로 있었던 것처럼, 딕셔너리들(
Figure 112017128717110-pat00061
,
Figure 112017128717110-pat00062
)의 베이시스 벡터들도 일대일 대응관계를 가지며, 대응되는 베이시스 벡터들은 공통된 스파스 코드(α)를 가진다. 이때, 딕셔너리(
Figure 112017128717110-pat00063
)는 고해상도 신호에 대한 딕셔너리가 되며, 딕셔너리(
Figure 112017128717110-pat00064
)는 저해상도 신호에 대한 딕셔너리가 된다.
상술한 실시예에서는 해상도를 예시적으로 들었지만, 해상도뿐만 아니라 다른 특성들도 역시 조인트 딕셔너리 학습에 사용될 수 있다. 조인트 딕셔너리 학습은 한 세트의 데이터(training dataset) 즉 고품질의 데이터와 저품질의 데이터 세트를 이용하여 스파스 코드를 공유하는 두 개의 딕셔너리들(조인트 딕셔너리들)을 구하는 것이므로, 고품질의 데이터와 저품질의 데이터 사이의 관계 즉 품질 계수 L의 값을 어떻게 정하느냐에 따라 해상도에 대한 조인트 딕셔너리 학습 또는 노이즈에 대한 조인트 딕셔너리 학습이 될 수 있다. 즉, 목적에 따라 트레이닝 데이터 세트를 달리함으로써, 같은 학습 방법으로 해상도 복원(인터레이스 아티팩트 제거)을 위한 조인트 딕셔너리들(
Figure 112017128717110-pat00065
,
Figure 112017128717110-pat00066
)과 노이즈 제거를 위한 조인트 딕션너리들(
Figure 112017128717110-pat00067
,
Figure 112017128717110-pat00068
)을 각각 구할 수 있다.
본 실시예에서는 인터레이스 아티팩트를 제거(해상도 복원)하기 위한 트레이닝 데이터 세트로서, 이미지 프레임 전체가 실제 촬영된 이미지 프레임인 고품질 이미지 프레임에서 일정 수(예컨대, 10만개)의 이미지 패치들을 샘플링하여 고품질의 데이터로 하고, 고품질 이미지 프레임에서 짝수 번째 매크로 행에 홀수 번째 매크로 행을 복사하여 저품질의 이미지 프레임을 생성한 후 저품질 이미지 프레임에서도 같은 수(10만개)의 이미지 패치들을 샘플링하여 저품질의 데이터로 하였다. 즉, 디인터레이싱시에는 하나의 프레임 내에 절반의 영역(고노출 영역 또는 저노출 영역)만을 가지고 이를 복사해서 고노출 프레임 또는 저노출 프레임을 생성한다. 이와 같이, 프레임의 절반이 복사된 저품질의 데이터를 프레임 전체가 실제 촬영된 것과 같은 고품질의 데이터로 변환하기 위해, 이미지 프레임 전체가 실제 촬영된 이미지 프레임과 고품질 이미지 프레임에서 짝수 번째 매크로 행에 홀수 번째 매크로 행을 복사한 이미지 프레임을 이용하여 트레이닝 데이터 세트를 만든다. 이때, 고품질의 이미지 패치와 저품질의 이미지 패치들은 서로 일대일 대응된다. 또한, 각 이미지 패치들은 서로 최대한 많이 중첩(overlap)되도록 샘플링된다. 예컨대, 이미지 프레임이 가지는 픽셀의 수가 N개 라면, N개의 8×8(또는 7×7) 사이즈의 이미지 패치들이 샘플링 된다.
프레임 내 노이즈를 제거하기 위해서는, 노이즈가 없는 깨끗한 디노이징 이미지 프레임 및 디노이징 이미지 프레임에 대해 특정한 노이즈 변수(noise variation,
Figure 112017128717110-pat00069
)을 가지는 AGWN(Additive Gaussian White Noise)를 추가한 노이징 이미지 프레임 각각에서 해당 이미지 프레임의 픽셀수 만큼의 이미지 패치들이 샘플링되어 트레이닝 데이터 세트로 사용되었다.
본 실시예에서는 상술한 조인트 학습을 통해 생성된 인터레이스 아티팩트 제거를 위한 조인트 딕셔너리들(
Figure 112017128717110-pat00070
,
Figure 112017128717110-pat00071
)과 노이즈 제거를 위한 조인트 딕셔너리들(
Figure 112017128717110-pat00072
,
Figure 112017128717110-pat00073
)이 메모리(60)에 저장된다.
도 5는 도 4에서와 같은 방법으로 구해진 조인트 딕셔너리들을 이용하여 품질이 저하된 신호를 고품질의 신호로 복원(reconstruction)하는 방법을 설명하기 위한 도면이다.
입력되는 저품질(저해상도 또는 고노이즈)의 신호를
Figure 112017128717110-pat00074
라 하면, 먼저 저품질의 신호에 대한 조인트 딕셔너리(
Figure 112017128717110-pat00075
)를 이용하여 저품질의 신호
Figure 112017128717110-pat00076
에 대해 스파스 디컴포지션을 수행함으로써 스파스 코드(
Figure 112017128717110-pat00077
)를 구할 수 있다.
즉, 상술한 바와 같이, 스파스 디컴포지션은 딕셔너리가 주어졌을 때, 입력 신호를 딕셔너리로 표현하는 스파스 코드를 계산하는 작업이므로, 입력 신호
Figure 112017128717110-pat00078
와 딕셔너리(
Figure 112017128717110-pat00079
)를 알면, 스파스 디컴포지션을 통해 스파스 코드(
Figure 112017128717110-pat00080
)를 구할 수 있게 된다. 이때, 스파스 코드(
Figure 112017128717110-pat00081
)는, 상술한 바와 같이, 조인트 딕셔너리들(
Figure 112017128717110-pat00082
,
Figure 112017128717110-pat00083
)의 베이시스 벡터들이 공통으로 가지는 코드 값이다.
따라서, 구해진 스파스 코드(
Figure 112017128717110-pat00084
)를 고품질의 신호에 대한 조인트 딕셔너리(
Figure 112017128717110-pat00085
)에 곱해서 신호를 복원(sparse reconstruction)하면, 복원된 신호는 고품질의 신호
Figure 112017128717110-pat00086
가 된다. 이는 조인트 딕셔너리들(
Figure 112017128717110-pat00087
,
Figure 112017128717110-pat00088
)이 일대일 대응관계를 가지기 때문에 가능한 것이다.
위와 같은 원리를 이용하여, 도 1에서의 해상도 복원부(42)는 디모자이킹부(30)로부터 입력되는 고노출 RGB 프레임(RGB_HE) 및 저노출 RGB 프레임(RGB_LE) 각각에서 기 설정된 사이즈(조인트 학습을 수행했을 때의 이미지 패치 사이즈) 예컨대, 8×8(또는 7×7) 사이즈의 이미지 패치들을 샘플링한다. 이때, 고노출 RGB 프레임(RGB_HE)에서 샘플링된 이미지 패치와 저노출 RGB 프레임(RGB_LE)에서 샘플링된 이미지 패치들은 서로 일대일 대응된다. 또한, 각 RGB 프레임에서 샘플링된 이미지 패치들은 서로 최대한 많이 중첩(overlap)되도록 샘플링된다. 예컨대, RGB 프레임이 가지는 픽셀의 수가 N개 라면, 해상도 복원부(42)는 각 RGB 프레임에서 N개의 8×8(또는 7×7) 사이즈의 이미지 패치들을 샘플링 한다.
다음에, 상술한 도 5에서와 같이, 해상도 복원부(42)는 고노출 RGB 프레임(RGB_HE) 및 저노출 RGB 프레임(RGB_LE)에서 각각 샘플링된 이미지 패치들에 대해, 메모리(60)에 저장된 저해상도용 조인트 딕셔너리(
Figure 112017128717110-pat00089
)를 이용한 스파스 디컴포지션을 수행하여 스파스 코드(
Figure 112017128717110-pat00090
)를 생성한다. 다음에, 해상도 복원부(42)는 생성된 스파스 코드(
Figure 112017128717110-pat00091
)를 메모리(60)에 저장된 고해상도용 조인트 딕셔너리(
Figure 112017128717110-pat00092
)에 곱하는 스파스 복원(sparse reconstruction)을 수행함으로써 고해상도의 이미지 패치들을 생성하고, 이들을 결합함으로써 인터페이스 아티팩트가 제거된 고노출 RGB 프레임(RA_RGB_HE) 및 저노출 RGB 프레임(RA_RGB_LE)을 생성하게 된다.
도 1에서의 제 1 디노이징부(44)는 메모리(60)에 저장된 노이즈 제거용 조인트 딕셔너리들(
Figure 112017128717110-pat00093
,
Figure 112017128717110-pat00094
)을 이용하여 해상도 복원부(42)에서 출력되는 고노출 RGB 프레임(RA_RGB_HE) 및 저노출 RGB 프레임(RA_RGB_LE) 각각에 대해 프레임 내에 존재하는 노이즈를 제거한다.
이를 위해, 제 1 디노이징부(44)는 해상도 복원부(42)로부터 입력되는 고노출 RGB 프레임(RA_RGB_HE) 및 저노출 RGB 프레임(RA_RGB_LE) 각각에서 기 설정된 사이즈 예컨대, 8×8(또는 7×7) 사이즈의 이미지 패치들을 샘플링한다. 예컨대, 해상도 복원부(42)에서 수행된 것과 같은 방법으로 이미지 패치들을 샘플링할 수 있다.
제 1 디노이징부(44)는 샘플링된 이미지 패치들에 대해, 메모리(60)에 저장된 고노이즈용 조인트 딕셔너리(
Figure 112017128717110-pat00095
)를 이용한 스파스 디컴포지션을 수행하여 스파스 코드(
Figure 112017128717110-pat00096
)를 생성한다. 다음에, 제 1 디노이징부(44)는 생성된 스파스 코드(
Figure 112017128717110-pat00097
)를 메모리(60)에 저장된 저노이즈용 조인트 딕셔너리(
Figure 112017128717110-pat00098
)에 곱하는 스파스 복원(sparse reconstruction)을 수행하여 디노이징된 이미지 패치들을 생성하고, 이들을 결합함으로써 디노이징된 고노출 RGB 프레임(RNA_RGB_HE) 및 저노출 RGB 프레임(RNA_RGB_LE)을 생성하게 된다.
상술한 실시예에서, 해상도 복원부(42)는 인터레이스 아티팩트가 제거된 고해상도의 이미지 패치들을 생성한 후 이들을 결합한 고노출 RGB 프레임(RA_RGB_HE) 및 저노출 RGB 프레임(RA_RGB_LE)을 출력하는 것으로 설명되었으나, 고해상도의 이미지 패치들을 바로 출력할 수도 있다. 그러한 경우, 제 1 디노이징부(44)는 해상도 복원부(42)로부터 입력되는 고해상도의 이미지 패치들에 대해 노이즈 제거용 조인트 딕셔너리들(
Figure 112017128717110-pat00099
,
Figure 112017128717110-pat00100
)을 이용한 스파스 디컴포지션 및 스파스 복원을 수행하여 디노이징된 이미지 패치들을 생성하고, 이들을 결함함으로써 고해상도의 디노이징된 고노출 RGB 프레임(RNA_RGB_HE) 및 저노출 RGB 프레임(RNA_RGB_LE)을 생성할 수 있다.
상술한 실시예에서는 해상도 복원 후 해상도가 복원된 프레임에 대해 프레임 내 노이즈를 제거하는 순서로 설명되었으나, 그 순서는 반대로 바뀔 수도 있다. 즉, 고노출 RGB 프레임(RGB_HE) 및 저노출 RGB 프레임(RGB_LE)에 대해 노이즈 제거를 먼저 수행한 후 이어서 해상도 복원을 수행할 수도 있다.
도 6은 본 발명의 다른 실시예에 따른 인터레이스 기반 HDR 이미징 장치의 구성을 나타내는 구성도이다.
상술한 도 1의 실시예에서의 제 1 디노이징부(44)는 각 프레임 내에서 노이즈를 제거하는 것이였다. 그러나, 입력되는 신호가 동영상 신호인 경우에는 프레임 내에서의 노이즈 제거(spatial denoising)뿐만 아니라 연속된 이미지 프레임들 간의 노이즈 제거(temporal denoising)도 함께 수행되는 것이 바람직하다.
따라서, 본 실시예에서는 도 1의 구성에서 제 1 디노이징부(44)의 출력단에 프레임들 간의 노이즈를 제거하기 위한 제 2 디노이징부(70)를 더 포함한다.
제 2 디노이징부(70)는 제 1 디노이징부(44)에서 연속적으로 출력되는 고노출 RGB 프레임(RNA_RGB_HE)들 간의 노이즈 및 저노출 RGB 프레임(RNA_RGB_LE)들 간의 노이즈를 제거한다. 이러한 연속된 프레임들 간의 노이즈 제거를 위한 방법으로, 제 2 디노이징부(70)는 멀티 스케일 호모그래피(multiscale homography)를 이용한 시간축 디노이징(temporal denoising) 방법이 사용될 수 있다.
도 7은 멀티 스케일 호모그래피를 이용한 시간축 디노이징 방법을 설명하기 위한 도면이다.
먼저, (a)에서와 같이, 하나의 이미지를 서로 다른 스케일(해상도)별로 나타낸 가우시안 피라미드를 프레임별로 만든 후 인접한 가우시안 피라미드들 사이의 호모그래피(모션)를 예측함으로써 연속된 프레임들(t-1, t)에 대한 멀티 스케일 호모그래피 피라미드를 형성한다. 즉, 인접한 가우시안 피라미드들 사이에서의 각 스케일별 모션 플로우를 나타내는 멀티 스케일 호모그래피 피라미드가 (b)와 같이 형성된다. 이때, (b)의 멀티 스케일 호모그래피 피라미드에서 스케일이 클수록 보다 작은 모션을 설명한다. 즉, 스케일이 가장 작은 레벨(레벨 h)에서 찾은 호모그래피는 큰 모션을 설명하는 것이며, 스케일이 가장 큰 레벨(레벨 1)에서 찾은 호모그래피는 가장 작은 모션을 설명한다.
다음에, 각 멀티 스케일 호모그래피 피라미드에서 레벨별 이미지들을 웝핑(warping)하여 모든 레벨들을 같은 스케일로 만든 후, 코스-투-파인(coarse-to-fine) 방식을 적용하여 전체 레벨들을 픽셀별로 결합시킴으로써, (c)에서와 같이, 각 프레임(t-1, t, t+1)에 대한 크로스-스케일(cross scale) 호모그래피 플로우 맵들을 형성한다. 즉, 각 프레임에 대해 픽셀별로 최적의 모션을 예측할 수 있게 된다.
이러한 방법을 통해, 전체 프레임들에 대해 크로스-스케일 호모그래피 플로우 맵들을 형성하게 되면, 연속되는 프레임들에 대해 각 픽셀별로 모션들이 트래킹(tracking)될 수 있으며, 트래킹된 모션들의 평균값이 구해질 수 있다.
이러한 과정에서 목표치와의 명암 차이(intensity difference)가 임계값 이하인 픽셀들이 가려지며, 그러한 픽셀들에 대해 평균값을 할당함으로써 프레임들 간 노이즈가 제거될 수 있다.
도 6의 제 2 디노이징부(70)는 상술한 바와 같이, 멀티 스케일 호모그래피 플로우를 이용하여 고노출 프레임들 및 저노출 프레임들에 대해 연속되는 프레임들 사이의 노이즈를 제거한다.
HDR 생성부(80)는 제 2 디노이징부(70)에서 출력되는 고노출 RGB 프레임들(CLEAN_RGB_HE) 및 저노출 RGB 프레임들(CLEAN_RGB_LE)을 결합하여 하이 다이나믹 레인지(HDR) 이미지를 생성한다. 즉, HDR 생성부(80)는 인터레이스 아티팩트, 프레임 내 노이즈 및 프레임들 간의 노이즈가 제거된 고노출 RGB 프레임들(CLEAN_RGB_HE) 및 저노출 RGB 프레임들(CLEAN_RGB_LE)을 결합하여 하이 다이나믹 레인지(HDR) 이미지를 생성한다.
도 8은 본 발명의 또 다른 실시예에 따른 인터레이스 기반 HDR 이미징 장치의 구성을 나타내는 구성도이다.
상술한 도 6의 실시예에서는 프레임들 간의 노이즈 제거가 HDR 이미지를 생성하기 전에 수행되는 경우에 대해 설명되었으나, 프레임들 간의 노이즈 제거는 HDR 이미지 프레임들에 대해 수행될 수도 있다.
즉, 본 실시예에서는 도 6의 구성과 달리, 도 1의 구성에서 HDR 생성부(50)의 출력단에 프레임들 간의 노이즈를 제거하기 위한 제 3 디노이징부(90)를 더 포함한다.
제 3 디노이징부(90)는 HDR 생성부(50)에서 생성된 HDR 이미지 프레임들에 대해 프레임들 간 노이즈를 제거한다. 이때, 연속된 HDR 이미지 프레임들 간의 노이즈 제거 방법은 상술된 제 2 디노이징부(70)에서 수행되는 방법과 같은 방법이 이용된다.
본 발명은 도면들에 도시된 실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이들로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
10 : 이미지 센서
20 : 디인터레이싱부
30 : 디모자이킹부
40 : 복원부
42 : 해상도 복원부
44 : 제 1 디노이징부
50, 80 : HDR 생성부
60 : 메모리
70 : 제 2 디노이징부
90 : 제 3 디노이징부

Claims (23)

  1. 고해상도 제 1 베이시스(Basis)들의 집합인 제 1 데이터를 제공받는 단계;
    저해상도 제 2 베이시스들의 집합인 제 2 데이터를 제공받는 단계; 및
    상기 제 1 데이터 및 상기 제 2 데이터에 대해 스파스 코딩을 수행하여 특정 스파스 코드를 공유하는 고품질용 조인트 딕셔너리 및 저품질용 조인트 딕셔너리를 생성하는 단계를 포함하며,
    상기 제 1 베이시스들과 상기 제 2 베이시스들은 일대일 대응되고,
    상기 제 1 데이터는 실제 촬영된 제 1 이미지 프레임으로부터 샘플링한 이미지 패치를 포함하며, 상기 제 2 데이터는 상기 제 1 이미지 프레임에 인터레이스 아티팩트 또는 노이즈를 부가하여 생성한 제 2 이미지 프레임으로부터 샘플링한 이미지 패치를 포함하고,
    상기 제 2 이미지 프레임은 상기 제 1 이미지 프레임의 홀수 번째 매크로 행을 짝수 번째 매크로 행에 복사하거나 특정 변수를 갖는 AGWN(Additive Gaussian White Noise)를 상기 제 1 이미지 프레임에 부가하여 생성되고,
    상기 조인트 딕셔너리들은 메모리에 저장되는 것을 특징으로 하는 이미지 처리를 위한 조인트 딕셔너리 생성 방법.
  2. 제 1항에 있어서, 상기 고품질용 조인트 딕셔너리 및 저품질용 조인트 딕셔너리를 생성하는 단계는
    상기 제 1 데이터(
    Figure 112020101295655-pat00101
    ) 및 상기 제 2 데이터(
    Figure 112020101295655-pat00102
    )에 대해 아래의 수학식에 따른 최적화를 수행하는 것을 특징으로 하는 이미지 처리를 위한 조인트 딕셔너리 생성 방법.
    Figure 112020101295655-pat00103

    여기에서,
    Figure 112020101295655-pat00104
    는 상기 제 1 데이터(
    Figure 112020101295655-pat00105
    )에 포함되는 신호값,
    Figure 112020101295655-pat00106
    은 상기 제 2 데이터(
    Figure 112020101295655-pat00107
    )에 포함되는 신호값,
    Figure 112020101295655-pat00108
    는 상기 고품질용 조인트 딕셔너리,
    Figure 112020101295655-pat00109
    은 상기 저품질용 조인트 딕셔너리,
    Figure 112020101295655-pat00110
    는
    Figure 112020101295655-pat00111
    와
    Figure 112020101295655-pat00112
    에 공유되는 상기 스파스 코드를 나타냄.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 하나의 이미지 프레임 내에 고노출 영역과 저노출 영역이 인터레이스된 인터레이스 베이어 로우 프레임을 디인터레이싱하여 고노출 베이어 프레임과 저노출 베이어 프레임을 생성하는 디인터레이싱부;
    상기 고노출 베이어 프레임과 상기 저노출 베이어 프레임을 각각 고노출 RGB 프레임 및 저노출 RGB 프레임으로 변환하는 디모자이킹부;
    일대일 대응되지만 대응되는 값들이 서로 다른 복수의 베이시스들을 포함하는 트레이닝 데이터 세트에 대한 조인트 딕셔너리 학습을 통해 생성된 조인트 딕셔너리들을 이용하여 상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 인터레이스 아티팩트 및 노이즈를 제거하는 복원부; 및
    상기 복원부에서 인터레이스 아티팩트 및 노이즈가 제거된 고노출 RGB 프레임 및 저노출 RGB 프레임을 결합하여 HDR(High Dynamic Range) 이미지 프레임을 생성하는 HDR 생성부를 포함하는 하이 다이나믹 레인지 이미징 장치.
  7. 제 6항에 있어서,
    상기 조인트 딕셔너리들을 저장하는 메모리를 더 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치.
  8. 제 6항에 있어서, 상기 복원부는
    제 1 스파스 코드를 공유하는 고해상도용 조인트 딕셔너리 및 저해상도용 조인트 딕셔너리를 이용하여 상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 인터레이스 아티팩트를 제거하는 해상도 복원부; 및
    제 2 스파스 코드를 공유하는 고노이즈용 조인트 딕셔너리 및 저노이즈용 조인트 딕셔너리를 이용하여 상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임 내에 존재하는 노이즈를 제거하는 제 1 디노이징부를 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치.
  9. 제 8항에 있어서, 상기 해상도 복원부는
    상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 이미지 패치들을 샘플링한 후, 샘플링된 이미지 패치에 대해 상기 저해상도용 조인트 딕셔너리를 이용한 스파스 디컴포지션(sparse decomposition)을 수행하여 상기 제 1 스파스 코드를 구하고, 구해진 제 1 스파스 코드를 상기 고해상도용 조인트 딕셔너리에 곱하여 해당 이미지 패치에 포함된 인터레이스 아티팩트(interlace artifact)를 제거하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치.
  10. 제 9항에 있어서, 상기 해상도 복원부는
    상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에 포함된 픽셀수와 동일한 수만큼의 이미지 패치들을 샘플링하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치.
  11. 제 9항에 있어서, 상기 제 1 디노이징부는
    상기 해상도 복원부에서 인터레이스 아티팩트가 제거된 이미지 패치들에 대해 고노이즈용 조인트 딕셔너리를 이용한 스파스 디컴포지션을 수행하여 상기 제 2 스파스 코드를 구하고, 구해진 제 2 스파스 코드를 상기 저노이즈용 조인트 딕셔너리에 곱하여 해당 이미지 패치에 포함된 노이즈를 제거하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치.
  12. 제 8항에 있어서, 상기 제 1 디노이징부는
    상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 이미지 패치들을 샘플링한 후, 샘플링된 이미지 패치에 대해 상기 고노이즈용 조인트 딕셔너리를 이용한 스파스 디컴포지션을 수행하여 상기 제 2 스파스 코드를 구하고, 구해진 제 2 스파스 코드를 상기 저노이즈용 조인트 딕셔너리에 곱하여 해당 이미지 패치에 포함된 노이즈를 제거하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치.
  13. 제 12항에 있어서, 상기 제 1 디노이징부는
    상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에 포함된 픽셀수와 동일한 수만큼의 이미지 패치들을 샘플링하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치.
  14. 제 6항에 있어서,
    상기 복원부에서 출력되는 고노출 RGB 프레임들 및 저노출 RGB 프레임들에 대한 멀티 스케일 호모그래피 플로우를 이용하여 상기 고노출 RGB 프레임들 및 상기 저노출 RGB 프레임들에 대한 프레임들 간 노이즈를 제거하는 제 2 디노이징부를 더 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치.
  15. 제 6항에 있어서,
    상기 HDR 생성부에서 생성된 HDR 이미지 프레임들에 대한 멀티 스케일 호모그래피 플로우를 이용하여 상기 HDR 이미지 프레임들에 대한 프레임들 간 노이즈를 제거하는 제 3 디노이징부를 더 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 이미징 장치.
  16. 하나의 이미지 프레임 내에 고노출 영역과 저노출 영역이 인터레이스된 인터레이스 베이어 로우 프레임을 이용하여 고노출 베이어 프레임과 저노출 베이어 프레임을 생성하는 디인터레이싱 단계;
    상기 고노출 베이어 프레임과 상기 저노출 베이어 프레임을 각각 고노출 RGB 프레임 및 저노출 RGB 프레임으로 변환하는 디모자이킹 단계;
    일대일 대응되지만 대응되는 값들이 서로 다른 복수의 베이시스들을 포함하는 트레이닝 데이터 세트에 대한 조인트 딕셔너리 학습을 통해 생성된 조인트 딕셔너리들을 이용하여 상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 인터레이스 아티팩트 및 노이즈를 제거하는 복원 단계; 및
    인터레이스 아티팩트 및 노이즈가 제거된 고노출 RGB 프레임 및 저노출 RGB 프레임을 결합하여 HDR(High Dynamic Range) 이미지 프레임을 생성하는 HDR 생성 단계를 포함하는 하이 다이나믹 레인지 이미지 처리 방법.
  17. 제 16항에 있어서, 상기 조인트 딕셔너리를 생성하는 방법은
    제 1 해상도를 갖는 제 1 베이시스들 및 상기 제 1 베이시스들과 일대일 대응되며 상기 제 1 해상도보다 낮은 제 2 해상도를 갖는 제 2 베이시스들에 대해 스파스 코딩을 수행하여 제 1 스파스 코드를 공유하는 고해상도용 조인트 딕셔너리 및 저해상도용 조인트 딕셔너리를 생성하고,
    제 1 노이즈를 갖는 제 3 베이시스들 및 상기 제 3 베이시스들과 일대일 대응되며 상기 제 1 노이즈보다 적은 제 2 노이즈를 갖는 제 4 베이시스들에 대해 스파스 코딩을 수행하여 제 2 스파스 코드를 공유하는 고노이즈용 조인트 딕셔너리 및 저노이즈용 조인트 딕셔너리를 생성하는 것을 특징으로 하는 하이 다이나믹 레인지 이미지 처리 방법.
  18. 제 17항에 있어서, 상기 복원 단계는
    상기 고해상도용 조인트 딕셔너리 및 상기 저해상도용 조인트 딕셔너리를 이용하여 상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 인터레이스 아티팩트를 제거하는 해상도 복원 단계; 및
    상기 고노이즈용 조인트 딕셔너리 및 상기 저노이즈용 조인트 딕셔너리를 이용하여 상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임 내에 존재하는 노이즈를 제거하는 제 1 디노이징 단계를 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 이미지 처리 방법.
  19. 제 18항에 있어서, 상기 해상도 복원 단계는
    상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 이미지 패치들을 샘플링한 후, 샘플링된 이미지 패치에 대해 상기 저해상도용 조인트 딕셔너리를 이용한 스파스 디컴포지션(sparse decomposition)을 수행하여 상기 제 1 스파스 코드를 구하고, 구해진 제 1 스파스 코드를 상기 고해상도용 조인트 딕셔너리에 곱하여 해당 이미지 패치에 포함된 인터레이스 아티팩트(interlace artifact)를 제거하는 것을 특징으로 하는 하이 다이나믹 레인지 이미지 처리 방법.
  20. 제 19항에 있어서, 상기 제 1 디노이징 단계는
    상기 해상도 복원 단계를 통해 인터레이스 아티팩트가 제거된 이미지 패치들에 대해 상기 고노이즈용 조인트 딕셔너리를 이용한 스파스 디컴포지션을 수행하여 상기 제 2 스파스 코드를 구하고, 구해진 제 2 스파스 코드를 상기 저노이즈용 조인트 딕셔너리에 곱하여 해당 이미지 패치에 포함된 노이즈를 제거하는 것을 특징으로 하는 하이 다이나믹 레인지 이미지 처리 방법.
  21. 제 18항에 있어서, 상기 제 1 디노이징 단계는
    상기 고노출 RGB 프레임 및 상기 저노출 RGB 프레임에서 이미지 패치들을 샘플링한 후, 샘플링된 이미지 패치에 대해 상기 고노이즈용 조인트 딕셔너리를 이용한 스파스 디컴포지션을 수행하여 상기 제 2 스파스 코드를 구하고, 구해진 제 2 스파스 코드를 상기 저노이즈용 조인트 딕셔너리에 곱하여 해당 이미지 패치에 포함된 노이즈를 제거하는 것을 특징으로 하는 하이 다이나믹 레인지 이미지 처리 방법.
  22. 제 16항에 있어서,
    상기 복원 단계에서 인터레이스 아티팩트 및 노이즈가 제거된 고노출 RGB 프레임들 및 저노출 RGB 프레임들에 대한 멀티 스케일 호모그래피 플로우를 이용하여 상기 고노출 RGB 프레임들 및 상기 저노출 RGB 프레임들에 대한 프레임들 간 노이즈를 제거하는 제 2 디노이징 단계를 더 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 이미지 처리 방법.
  23. 제 16항에 있어서,
    상기 HDR 이미지 프레임에 대한 멀티 스케일 호모그래피 플로우를 이용하여 상기 HDR 이미지 프레임들에 대한 프레임들 간 노이즈를 제거하는 제 3 디노이징부를 더 포함하는 것을 특징으로 하는 하이 다이나믹 레인지 이미지 처리 방법.
KR1020170179052A 2017-12-26 2017-12-26 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법 KR102314703B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170179052A KR102314703B1 (ko) 2017-12-26 2017-12-26 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법
US15/980,456 US10778917B2 (en) 2017-12-26 2018-05-15 Joint dictionary generation method for image processing, interlace-based high dynamic range imaging apparatus using joint dictionaries and image processing method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170179052A KR102314703B1 (ko) 2017-12-26 2017-12-26 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법

Publications (2)

Publication Number Publication Date
KR20190077680A KR20190077680A (ko) 2019-07-04
KR102314703B1 true KR102314703B1 (ko) 2021-10-18

Family

ID=66949719

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170179052A KR102314703B1 (ko) 2017-12-26 2017-12-26 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법

Country Status (2)

Country Link
US (1) US10778917B2 (ko)
KR (1) KR102314703B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10789696B2 (en) * 2018-05-24 2020-09-29 Tfi Digital Media Limited Patch selection for neural network based no-reference image quality assessment
WO2020053837A1 (en) * 2018-09-13 2020-03-19 Spectrum Optix Inc. Photographic underexposure correction using a neural network
US20200137380A1 (en) * 2018-10-31 2020-04-30 Intel Corporation Multi-plane display image synthesis mechanism
CN110072051B (zh) * 2019-04-09 2021-09-03 Oppo广东移动通信有限公司 基于多帧图像的图像处理方法和装置
CN110471995B (zh) * 2019-08-14 2022-04-15 中电科新型智慧城市研究院有限公司 一种跨领域信息共享交换数据模型建模方法
KR20210101941A (ko) 2020-02-11 2021-08-19 삼성전자주식회사 전자 장치 및 그의 hdr 영상 생성 방법
CN113496468B (zh) * 2020-03-20 2023-07-04 北京航空航天大学 深度图像的修复方法、装置和存储介质
CN117014729B (zh) * 2023-09-27 2023-12-05 合肥辉羲智能科技有限公司 一种二次曝光图像融合高动态范围图像的方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050024693A1 (en) 2000-12-28 2005-02-03 Kabushiki Kaisha Toshiba Image reader for use in image forming apparatus

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0916122A4 (en) * 1997-04-04 2001-08-16 Raytheon Co POLYNOMIC FILTERS FOR CORRELATION OF HIGHER ORDERS AND TO COMBINE MULTIPLE INPUTED INFORMATION
WO2001080559A2 (en) * 2000-04-18 2001-10-25 Silicon Image Method, system and apparatus for identifying the source type and quality level of a video sequence
KR20050024693A (ko) 2003-09-01 2005-03-11 양강석 오카리나와 그의 제작방법
US7460178B2 (en) * 2004-05-14 2008-12-02 Sony Corporation Image processing apparatus and image processing method
CN101682693B (zh) * 2008-01-09 2013-08-07 松下电器产业株式会社 图像数据生成装置、图像数据生成方法
EP2263373B1 (en) * 2008-03-28 2014-08-13 The Trustees of Columbia University in the City of New York Generalized assorted pixel camera systems and methods
US8049817B2 (en) * 2008-10-02 2011-11-01 Interra Systems Inc. Method and system for calculating interlace artifact in motion pictures
JP5933211B2 (ja) * 2011-09-27 2016-06-08 株式会社Ｓｃｒｅｅｎホールディングス ノズルシェーディング方法およびそれを用いたインクジェット印刷装置
EP2909811B1 (en) * 2012-10-17 2020-02-19 Cathx Research Ltd. Improvements in and relating to gathering range and dimensional information underwater surveys
EP2989607B1 (en) * 2013-04-25 2019-01-09 Thomson Licensing Method and device for performing super-resolution on an input image
US9183616B2 (en) * 2014-01-13 2015-11-10 Arecont Vision, Llc. System and method for obtaining super image resolution through optical image translation
US9300865B2 (en) * 2014-01-24 2016-03-29 Goodrich Corporation Random imaging
JP2015185943A (ja) * 2014-03-20 2015-10-22 株式会社東芝 フィルタアレイ付マイクロレンズおよび固体撮像装置
US9225889B1 (en) * 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
US9467628B2 (en) * 2014-08-26 2016-10-11 Sensors Unlimited, Inc. High dynamic range image sensor
US9538126B2 (en) * 2014-12-03 2017-01-03 King Abdulaziz City For Science And Technology Super-resolution of dynamic scenes using sampling rate diversity
WO2016132152A1 (en) * 2015-02-19 2016-08-25 Magic Pony Technology Limited Interpolating visual data
KR102221118B1 (ko) 2016-02-16 2021-02-26 삼성전자주식회사 영상의 특징을 추출하여 객체를 인식하는 방법
EP3510558A4 (en) * 2016-09-06 2020-05-06 B.G. Negev Technologies and Applications Ltd., at Ben-Gurion University OBTAINING HYPERSPECTRAL DATA FROM AN IMAGE

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050024693A1 (en) 2000-12-28 2005-02-03 Kabushiki Kaisha Toshiba Image reader for use in image forming apparatus

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jianchao Yang et al., Image super-resolution as sparse representation of raw image patches, IEEE Conference on Computer Vision and Pattern Recognition, 23-28 June 2008(2008.06.23.) 1부.*

Also Published As

Publication number Publication date
KR20190077680A (ko) 2019-07-04
US20190199948A1 (en) 2019-06-27
US10778917B2 (en) 2020-09-15

Similar Documents

Publication Publication Date Title
KR102314703B1 (ko) 이미지 처리를 위한 조인트 딕셔너리 생성 방법, 그 조인트 딕셔너리들을 이용한 인터레이스 기반 하이 다이나믹 레인지 이미징 장치 및 그 이미지 처리 방법
US9100514B2 (en) Methods and systems for coded rolling shutter
US8810663B2 (en) Methods for motion correction for high-dynamic-range imaging systems
US8379120B2 (en) Image deblurring using a combined differential image
Zhang et al. Rethinking noise synthesis and modeling in raw denoising
US10991281B2 (en) Apparatus and method for encoding high frame rate content in standard frame rate video using temporal interlacing
CN102769756A (zh) 图像处理设备、图像处理方法和程序
JP4317587B2 (ja) 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム
WO2020146911A3 (en) Multi-stage multi-reference bootstrapping for video super-resolution
KR20090078583A (ko) 저조도 영상 처리 방법 및 시스템
JP2009130537A (ja) 画像処理装置、画像処理方法
US20120033131A1 (en) Method and device for video processing
WO2012147523A1 (ja) 撮像装置及び画像生成方法
US9172890B2 (en) Method, apparatus, and manufacture for enhanced resolution for images from high dynamic range (HDR) interlaced sensors
US9398273B2 (en) Imaging system, imaging apparatus, and imaging method
Dudhane et al. Burstormer: Burst image restoration and enhancement transformer
CN113273180B (zh) 图像处理装置和方法
Jeelani et al. Expanding synthetic real-world degradations for blind video super resolution
WO2017146972A1 (en) Apparatus and method for encoding high frame rate content in standard frame rate video using temporal interlacing
US11640654B2 (en) Image processing method and apparatus
Zhang et al. Bracketing is All You Need: Unifying Image Restoration and Enhancement Tasks with Multi-Exposure Images
Baranov et al. High-quality uhd demosaicing on low-cost fpga
JP2018067868A (ja) 撮像装置
JP2011015228A (ja) 画像処理装置、撮像処理装置、画像処理方法、および、画像処理装置の制御プログラム
JP6350532B2 (ja) ノイズ除去装置、方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant