KR102664341B1 - 움직임 벡터 산출 장치 및 방법 - Google Patents

움직임 벡터 산출 장치 및 방법 Download PDF

Info

Publication number
KR102664341B1
KR102664341B1 KR1020190094121A KR20190094121A KR102664341B1 KR 102664341 B1 KR102664341 B1 KR 102664341B1 KR 1020190094121 A KR1020190094121 A KR 1020190094121A KR 20190094121 A KR20190094121 A KR 20190094121A KR 102664341 B1 KR102664341 B1 KR 102664341B1
Authority
KR
South Korea
Prior art keywords
exposure image
motion vector
sub
long
feature points
Prior art date
Application number
KR1020190094121A
Other languages
English (en)
Other versions
KR20210015376A (ko
Inventor
정갑천
Original Assignee
한화비전 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화비전 주식회사 filed Critical 한화비전 주식회사
Priority to KR1020190094121A priority Critical patent/KR102664341B1/ko
Priority to US16/742,077 priority patent/US11373316B2/en
Publication of KR20210015376A publication Critical patent/KR20210015376A/ko
Application granted granted Critical
Publication of KR102664341B1 publication Critical patent/KR102664341B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 움직임 벡터 산출 장치에 관한 것으로, 현재 프레임의 장노광 화상의 포화정도에 따라 장노광 화상에서의 특징점을 추출하고, 이전 프레임의 장노광 화상과의 차이를 이용하여 장노광 화상의 움직임 벡터를 산출하며, 단노광 화상에서의 특징점을 추출하고, 현재 프레임의 단노광 화상의 포화정도에 따라 이전 프레임의 단노광 화상과의 차이를 이용하여 단노광 화상의 움직임 벡터를 산출하는 것을 특징으로 함으로써 흔들림 보정을 위한 움직임 벡터의 산출의 정확성을 높일 수 있다.

Description

움직임 벡터 산출 장치 및 방법 {Apparatus for calculating motion vector, and method thereof}
본 발명은 움직임 벡터 산출 장치 및 방법에 관한 것으로서, 보다 상세하게는 장노광 화상 및 단노광 화상을 합성하는 WDR(Wide Dynamic Range)에 있어서 움직임 벡터를 산출하는 장치 및 방법에 관한 것이다.
넓은 동적 영역확보를 위해 영상 2장 이상의 영상들을 합성하는 WDR(Wide Dynamic Range) 기술은 감시용 CCTV 카메라, 디지털 카메라에서의 흔들림 보정에 이용된다. 영상 품질을 향상시키고자 서로 다른 노출 값을 적용하여 촬영된 2장 이상의 영상들을 결합하는 WDR 기술이 많이 사용되고 있다.
이때, 영상의 흔들림은 현재 영상과 이전 영상간의 전역 움직임 벡터를 산출하여 보정하게 되는데, 서로 다른 노출 값을 적용하여 촬영된 2장 이상의 영상들을 결합하는 WDR 기술을 포함하는 시스템에서는 WDR 합성을 먼저 진행하여 합성된 영상을 가지고서 움직임 벡터를 산출한다. 노출 정도가 다른 영상 프레임들은 시간적으로도 다른 영상프레임들이며, 합성된 프레임 영상은 시간적으로 다른 영상프레임들을 결합한 영상이 된다. 즉, 영상의 흔들림이 발생할 경우 위치차이로 인해 1개의 합성된 영상은 합성 영역별로 영상이 균일 하지 못하게 된다. 이 합성된 영상들로 움직임 벡터를 산출 후 흔들림 보정을 할 경우 영상의 특정 영역만 흔들림 보정이 되는 단점이 존재한다.
WDR 전 노출 정도가 다른 (Long-Short) 프레임들로 흔들림 보정을 진행하는 경우, 노출 정도가 다른 프레임들은 서로간 휘도 성분이 크게 다르기 때문에 흔들림 보정을 위한 움직임 벡터 검출이 매우 부정확 할 수 있는 문제가 있다.
한국공개특허공보 제10-2009-0111065호
본 발명이 해결하고자 하는 과제는, 장노광 화상 및 단노광 화상을 합성하는 WDR(Wide Dynamic Range)에 있어서 정확한 움직임 벡터를 산출하는 장치을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위하여, 본 발명의 실시예에 따른 움직임 벡터 산출 장치는, 현재 프레임의 장노광 화상 및 단노광 화상을 수신하여 상기 장노광 화상의 움직임 벡터 및 상기 단노광 화상의 움직임 벡터를 산출하는 하나 이상의 프로세서를 포함하되, 상기 프로세서는, 상기 현재 프레임의 장노광 화상의 포화정도에 따라 상기 장노광 화상에서의 특징점을 추출하고, 이전 프레임의 장노광 화상과의 차이를 이용하여 상기 장노광 화상의 움직임 벡터를 산출하며, 상기 단노광 화상에서의 특징점을 추출하고, 상기 현재 프레임의 단노광 화상의 포화정도에 따라 이전 프레임의 단노광 화상과의 차이를 이용하여 상기 단노광 화상의 움직임 벡터를 산출하는 것을 특징으로 한다.
또한, 상기 프로세서는, 상기 장노광 화상에서의 특징점을 추출함에 있어서, 상기 장노광 화상의 포화 픽셀의 수가 임계치 이상인 경우, 장노광 화상의 특징점을 추출하기 위하여 장노광 화상의 영역을 나누는 부영역의 수를 증가시키고, 상기 부영역의 특징점들 중 각 부영역의 포화정도의 순서에 따라 소정의 수만큼 상기 장노광 화상의 특징점으로 추출할 수 있다.
또한, 상기 프로세서는, 상기 장노광 화상의 움직임 벡터를 산출함에 있어서, 상기 장노광 화상에서의 각 특징점들의 해당 부영역에서의 지역 움직임 벡터를 산출하고, 상기 지역 움직임 벡터들로부터 장노광 화상의 전역 움직임 벡터를 산출할 수 있다.
또한, 상기 프로세서는, 상기 단노광 화상의 움직임 벡터를 산출함에 있어서, 상기 단노광 화상에서의 각 특징점들의 해당 부영역에서의 지역 움직임 벡터를 산출하고, 상기 단노광 화상의 저포화 픽셀의 수가 임계치 이상인 경우, 복수의 부영역을 하나의 부영역 집합으로 구분하고, 각 부영역 집합에 포함되는 특징점들의 지역 움직임 벡터들의 평균을 이용하여 단노광 화상의 전역 움직임 벡터를 산출할 수 있다.
또한, 상기 프로세서는, 상기 단노광 화상의 움직임 벡터를 산출함에 있어서, 특징점을 추출하기 전에, 단노광 화상에 대해 감마 보정을 수행하여 전처리할 수 있다.
또한, 상기 프로세서는, 상기 장노광 화상의 움직임 벡터를 이용하여 상기 장노광 화상에 대한 움직임 보상을 수행하고, 상기 단노광 화상의 움직임 벡터를 이용하여 상기 단노광 화상에 대한 움직임 보상을 수행할 수 있다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
본 발명에 따르면 흔들림 보정을 위한 움직임 벡터의 산출의 정확성을 높일 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 움직임 벡터 산출장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 움직임 벡터 산출장치에서 수행되는 움직임 벡터 산출 과정을 도시한 것이다.
도 3은 본 발명의 실시예에 감마보정에 따른 감마보정변환 그래프이다.
도 4는 움직임 벡터를 산출하는 과정을 개략적으로 도시한 것이다.
도 5 내지 도 7은 본 발명의 실시예에 따른 움직임 벡터 산출장치에서 움직임 벡터를 산출하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 움직임 벡터 산출 방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시예에 따른 움직임 벡터 산출장치의 블록도이다.
본 발명의 일 실시예에 따른 움직임 벡터 산출장치(110)는 현재 프레임의 장노광 화상 및 단노광 화상을 수신하여 상기 장노광 화상의 움직임 벡터 및 상기 단노광 화상의 움직임 벡터를 산출하는 하나 이상의 프로세서(111)를 포함한다. 메모리 또는 통신부를 더 포함할 수 있다.
움직임 벡터 산출장치(110)는 WDR(Wide Dynamic Range) 환경에서 영상의 흔들림을 보정하는 흔들림 보정에 필요한 움직임 벡터를 산출한다. WDR 환경에서 흔들림 보정을 수행함에 있어서 정확성을 높이기 위하여, 이미지 센서(120)로부터 현재 프레임의 장노광 화상 및 단노광 화상을 수신하여, 각각 이전 프레임의 장노광 화상 및 단노광 화상과의 흔들림 보정을 수행하기 위한 움직임 벡터를 산출하고, 움직임 벡터를 이용하여 흔들림 보정을 수행한 후, WDR 합성장치(130)에서 WDR 합성을 수행한다. 즉, 장노광-장노광 화상간 흔들림 보정 및 단노광-단노광 화상간 흔들림 보정을 수행한 후, 장노광화상과 단노광 화상간 WDR 합성을 수행한다.
장노광-장노광 화상간 흔들림 보정을 위해, 현재 프레임의 장노광 화상의 포화정도에 따라 장노광 화상에서의 특징점을 추출하고, 이전 프레임의 장노광 화상과의 차이를 이용하여 장노광 화상의 움직임 벡터를 산출한다.
장노광 화상의 경우, 셔터 속도가 긴 화상을 의미하며, 노출이 길기 때문에 이미지 센서(120)가 긴시간 동안 빛을 받아들여 빛의 양이 많아 밝은 화면을 얻을 수 있으나, 포화 영역도 많아질 수 있다. 포화 영역에서는 특징점 검출이 어려워질 수 있고, 움직임 벡터를 산출하는데 어려움이 있다. 즉, 포화 영역이 많을수록 특징점 개수가 줄어들고 이에 따른 움직임 벡터 산출이 부정확해진다. 따라서, 장노광 화상의 포화정도에 따라 특징점을 추출하는 영역을 다르게 적용하여 장노광 화상에서의 특징점을 추출하고, 이전 프레임의 장노광 화상과의 차이를 이용하여 장노광 화상의 움직임 벡터를 산출한다.
또한, 단노광-단노광 화상간 흔들림 보정을 위해, 단노광 화상에서의 특징점을 추출하고, 상기 현재 프레임의 단노광 화상의 포화정도에 따라 이전 프레임의 단노광 화상과의 차이를 이용하여 상기 단노광 화상의 움직임 벡터를 산출한다.
단노광 화상의 경우, 장노광 화상과 달리 저포화된 영역이 많아질 수 있다. 저포화된 영역에서는 노이즈가 많아 움직임 벡터를 산출함에 있어서 정확도가 떨어질 수 있다. 따라서, 단노광 화상의 포화정도에 따라 움직임 벡터들로부터 정확성이 높은 움직임 벡터를 산출하여, 그 정확성을 높일 수 있다.
장노광-장노광 화상간 흔들림 보정 및 단노광-단노광 화상간 흔들림 보정은
이미지 센서(120)로부터 수신되는 현재 프레임의 화상이 장노광일경우 장노광-장노광 화상간 흔들림 보정을 수행하며, 이미지 센서(120)로부터 수신되는 현재 프레임의 화상이 단노광일경우 단노광-단노광 화상간 흔들림 보정을 수행한다.
장노광 화상 및 단노광 화상을 수신하고 움직임 벡터를 산출하여 움직임을 보상하여 흔들림 보정을 수행하는 구체적인 과정을 도 2를 참조하여 설명하면 다음과 같다.
이미지 센서(120)에서 현재 프레임의 장노광 화상(Long Image(Cur.)) 및 단노광 화상(Short Image(Cur.))를 수신한다. 이후 전처리부(112)가 셔터 속도(Shutter speed)에 따라 화상에 대한 전처리를 수행한다. 이때, 전처리부(112)는 특징점을 추출하기 전에, 단노광 화상에 대해 감마 보정을 수행하여 전처리할 수 있다. 도 3과 같이, 감마보정을 수행하여 화상 전반적인 밝기를 조절할 수 있다. 셔터 속도(shutter speed)가 짧은 단노광 화상의 경우 짧은 시간 동안만 빛을 받아들이기 때문에 영상이 어둡다. 즉, 단노광 화상의 경우 셔터 속도가 짧은 수록 영상은 보다 어두워져 움직임 벡터 검출하기가 어려워진다. 이를 보완하기 위에 전처리부(112)에서는 단노광 화상에 대하여 영상의 전반적인 밝기를 조절하기 위하여, 감마 보정을 수행한다. 이때 감마는 셔터 속도를 입력으로 하여 셔터 속도가 짧을수록 감마 값을 감소하는 adaptive 감마 보정(gamma correction)을 수행한다. 감마 보정을 수행하면 영상은 밝아지지만, 노이즈가 많이 올라오게 되므로 감마 보정된 영상에 2-D Noise reduction 을 수행할 수 있다.
전처리가 수행된 이후, 현재 프레임의 장노광 화상 및 단노광 화상은 다음 프레임에서의 움직임 벡터 산출을 위해 메모리(116)에 저장된다. 메모리(116)에는 이전 프레임의 장노광 화상 및 단노광 화상이 저장된다.
이후, 특징점 추출(113)을 수행한다. 객체들의 움직임 벡터가 아닌 전역 움직임 벡터를 요구하는 흔들림 보정에서는 연산량 감소를 위해 화상의 특징점들에 대해 블록정합법을 이용한 움직임 벡터 추출하는 방식을 이용한다. 지역 모션 벡터(LMV)는 연산량 감소를 위해 영상의 특징점들을 추출한 후 특징점들에 대해 블럭 정합을 통해 생성하도록 하며, 특징점 검출은 도 4(a)와 같이, 사각형의 중첩되지 않은 부영역으로 나뉘어진 부영역(subblock, 410)들에 대해 수행한다. 화상의 부영역당 1개의 특징점을 추출함으로써 K개(IxJ)의 부영역들에 대해 K개의 특징점을 먼저 추출하고, 도 4(b)와 같이, 특징점들의 검출을 위해 부영역 내 영상화소들에 대해 edge 검출 필터로 edge strength(contrast level, 상기 F_out)를 추출후 가장 큰 값을 부영역의 특징점(FP: Feature Point)으로 채택한다.
특징점을 추출한 이후, 메모리(116)에서 이전 프레임의 장노광 화상 및 단노광 화상을 독출하여 현재 프레임과 이전 프레임의 장노광-장노광 화상간 및 단노광-단노광 화상간 지역 움직임 벡터(LMV, Local Motion Vector)를 추출(114)한다. 추출된 지역 움직임 벡터로부터 전역 움직임 벡터(GMV, Global Motion Vector)를 추출(115)한다.
이후, 현재 프레임의 장노광 화상 및 단노광 화상에 대해 움직임 보상을 수행(117)하고, 움직임 보상된 현재 현재 프레임의 장노광 화상 및 단노광 화상을 WDR 합성장치(130)로 전달하여 흔들림 보정이 적용된 WDR 합성을 수행한다.
장노광 화상에서의 특징점을 추출함에 있어서, 장노광 화상의 포화정도에 따라 특징점을 추출하는 픽셀의 위치를 다르게 설정할 수 있다.
보다 구체적으로, 장노광 화상의 포화 픽셀의 수가 임계치 이상인 경우, 장노광 화상의 특징점을 추출하기 위하여 장노광 화상의 영역을 나누는 부영역의 수를 증가시키고, 상기 부영역의 특징점들 중 각 부영역의 포화정도의 순서에 따라 소정의 수만큼 상기 장노광 화상의 특징점으로 추출할 수 있다.
장노광 화상에 대해 히스토그램을 생성한 후, 전체적으로 영상의 포화 픽셀의 수가 임계치 이상인 경우, 부영역들의 특징점 윈도우(FP window) 개수를 증가시킨다. 보통의 경우, 4x4 부영역을 이용하는 경우, 도 5와 같이, 히스토그램 값이 255인 픽셀(510)의 빈도수가 임계치 이상이면, 4x4 부영역을 8x8 부영역으로 증가시킨다. 이후, 각 부영역의 포화정도의 순서에 따라 소정의 수만큼 상기 장노광 화상의 특징점으로 추출할 수 있다. 이때, 64 개의 부영역의 특징점 중 에지 스트렝스(edge strength)가 큰 순서로 정렬하여 16 개의 특징점을 장노광 화상의 특징점으로 추출할 수 있다. 포화여부를 판단하는 기준은 히스토그램 값 255를 기준으로 하거나 영상 센싱 환경 또는 사용자의 설정에 따라 그 이하로 설정할 수 있다. 이와 같이, 장노광 화상에 대해, 포화 영역이 아닌 다른 영역에서 특징점을 이용할 수 있어, 특징점 개수를 유지할 수 있고, 결과적으로 움직임 벡터의 정확성을 향상할 수 있다.
단노광 화상의 경우, 포화 픽셀이 없거나 많지 않기 때문에 장노광과 같이, 부영역의 수를 가변적으로 조절하지 않고, 특징점을 추출한다. 즉 도 5와 같이, 4x4 부영역으로부터 특징점을 추출한다.
현재 프레임의 장노광 화상 및 단노광 화상에서의 특징점이 추출되면, 움직임 벡터를 산출한다. 먼저, 각 부영역에서의 지역 움직임 벡터(LMV)를 산출하고, 지역 움직임 벡터로부터 전역 움직임 벡터(GMV)를 산출한다.
현재 프레임의 특징점이 도 6과 같은 경우, 이전 프레임에서 특징점 사이의 이동방향과 이동 정도를 나타내는 지역 움직임 벡터를 산출한다. 현재 프레임의 블록과 이전 프레임의 블록에서의 차이를 블록 내 화소들의 차이에 대한 절대값 합의 평균의 MAD(Mean Absolute Difference)를 이용하여 산출하여 지역 움직임 벡터를 산출한다.
산출된 각 부영역에서의 지역 움직임 벡터들을 이용하여 전역 움직임 벡터를 산출한다. 이때, K개의 지역 움직임 벡터들의 히스토그램 또는 중간값을 이용하여 전역 움직임 벡터을 산출한다.
상기 과정을 통해, 장노광 화상에서의 각 특징점들의 해당 부영역에서의 지역 움직임 벡터를 산출하고, 상기 지역 움직임 벡터들로부터 장노광 화상의 전역 움직임 벡터를 산출한다.
장노광 화상과 달리, 상기 단노광 화상의 움직임 벡터를 산출함에 있어서, 상기 단노광 화상에서의 각 특징점들의 해당 부영역에서의 지역 움직임 벡터를 산출하고, 상기 단노광 화상의 저포화 픽셀의 수가 임계치 이상인 경우, 복수의 부영역을 하나의 부영역 집합으로 구분하고, 각 부영역 집합에 포함되는 특징점들의 지역 움직임 벡터들의 평균을 이용하여 단노광 화상의 전역 움직임 벡터를 산출한다.
단노광 화상의 경우, 저포화된 픽셀이 많은 경우, 노이즈가 많이 포함되어 있을 수 있어, 지역 움직임 벡터의 정확성이 떨어질 수 있다. 따라서, 상기 단노광 화상의 저포화 픽셀의 수가 임계치 이상인 경우, 각 부영역에서의 지역 움직임 벡터를 바로 이용하지 않고, 인접하는 지역 움직임 벡터들의 평균으로 하나의 지역 움직임 벡터로 재산출하여 전역 움직임 벡터를 산출하는데 이용할 수 있다. 저포화 픽셀 여부를 판단함에 있어서, 도 7과 같이, 단노광 화상의 히스토그램을 이용하여 저포화 픽셀을 판단하는 기준(710) 이하의 픽셀의 빈도수가 임계치 이상인 경우, 인접하는 4개 또는 8개의 지역 움직임 벡터(721 내지 724)로부터 하나의 지역 움직임 벡터(720)를 산출할 수 있다. 모든 부영역에서의 지역 움직임 벡터를 재산출하거나, 저포화 픽셀을 포함하는 영역에서만 해당 영역에서의 지역 움직임 벡터를 재산출할 수도 있다.
장노광 화상 및 단노광 화상의 움직임 벡터가 산출되면, 상기 장노광 화상의 움직임 벡터를 이용하여 상기 장노광 화상에 대한 움직임 보상을 수행하고, 상기 단노광 화상의 움직임 벡터를 이용하여 상기 단노광 화상에 대한 움직임 보상을 수행하여 흔들림 보정을 수행할 수 있다. 이후, WDR 합성장치(130)에서 WDR 합성을 수행함으로써 흔들림이 보정된 WDR 영상을 생성할 수 있다.
도 8은 본 발명의 일 실시예에 따른 움직임 벡터 산출 방법의 흐름도이다. 도 8의 각 단계에 대한 상세한 설명은 도 1 내지 도 7의 움직임 벡터 산출장치(110)에 대한 상세한 설명에 대응되는 바, 이하, 중복된 설명은 간략하게 설명하도록 한다.
이미지 센서로부터 현재 프레임의 장노광 화상 및 단노광 화상을 수신하여, 810 단계에서 현재 프레임의 장노광 화상의 포화정도에 따라 장노광 화상에서의 특징점을 추출하고, 이전 프레임의 장노광 화상과의 차이를 이용하여 상기 장노광 화상의 움직임 벡터를 산출한다.
장노광 화상에서의 특징점을 추출함에 있어서, 상기 장노광 화상의 포화 픽셀의 수가 임계치 이상인 경우, 장노광 화상의 특징점을 추출하기 위하여 장노광 화상의 영역을 나누는 부영역의 수를 증가시키고, 상기 부영역의 특징점들 중 각 부영역의 포화정도의 순서에 따라 소정의 수만큼 상기 장노광 화상의 특징점으로 추출할 수 있다.
장노광 화상의 움직임 벡터를 산출함에 있어서, 상기 장노광 화상에서의 각 특징점들의 해당 부영역에서의 지역 움직임 벡터를 산출하고, 상기 지역 움직임 벡터들로부터 장노광 화상의 전역 움직임 벡터를 산출할 수 있다.
장노광 화상의 움직임 벡터의 산출과 함께 820 단계에서 상기 단노광 화상에서의 특징점을 추출하고, 상기 현재 프레임의 단노광 화상의 포화정도에 따라 이전 프레임의 단노광 화상과의 차이를 이용하여 상기 단노광 화상의 움직임 벡터를 산출한다.
이때, 상기 단노광 화상의 움직임 벡터를 산출함에 있어서, 특징점을 추출하기 전에, 단노광 화상에 대해 감마 보정을 수행하여 전처리할 수 있고, 특징점을 추출한 이후, 상기 단노광 화상에서의 각 특징점들의 해당 부영역에서의 지역 움직임 벡터를 산출하고, 상기 단노광 화상의 저포화 픽셀의 수가 임계치 이상인 경우, 복수의 부영역을 하나의 부영역 집합으로 구분하고, 각 부영역 집합에 포함되는 특징점들의 지역 움직임 벡터들의 평균을 이용하여 단노광 화상의 전역 움직임 벡터를 산출할 수 있다.
장노광 화상 및 단노광 화상에서의 움직임 벡터를 산출한 이후, 상기 장노광 화상의 움직임 벡터를 이용하여 상기 장노광 화상에 대한 움직임 보상을 수행하고, 상기 단노광 화상의 움직임 벡터를 이용하여 상기 단노광 화상에 대한 움직임 보상을 수행할 수 있다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체 (magnetic media), CD-ROM, DVD와 같은 광기록 매체 (optical media), 플롭티컬 디스크 (floptical disk)와 같은 자기-광 매체 (magneto-optical media), 및 롬 (ROM), 램 (RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 움직임 벡터 산출장치
120: 이미지 센서
130: WDR 합성장치

Claims (6)

  1. 현재 프레임의 장노광 화상 및 단노광 화상을 수신하여 상기 장노광 화상의 움직임 벡터 및 상기 단노광 화상의 움직임 벡터를 산출하는 하나 이상의 프로세서를 포함하되,
    상기 프로세서는,
    상기 현재 프레임의 장노광 화상의 포화정도에 따라 상기 장노광 화상에서의 특징점들을 추출하고, 이전 프레임의 장노광 화상과의 차이를 이용하여 상기 장노광 화상의 움직임 벡터를 산출하며,
    상기 단노광 화상에서의 특징점들을 추출하고, 상기 현재 프레임의 단노광 화상의 포화정도에 따라 이전 프레임의 단노광 화상과의 차이를 이용하여 상기 단노광 화상의 움직임 벡터를 산출하되,
    상기 프로세서는,
    상기 장노광 화상에서의 특징점들을 추출함에 있어서, 상기 장노광 화상의 포화 픽셀의 수가 임계치 이상이면 장노광 화상의 영역을 나누는 부영역의 수를 증가시키고,
    상기 증가된 부영역 중에서, 상기 포화 픽셀이 포함되는 부영역에서는 상기 특징점들을 추출하지 않고, 상기 포화 픽셀이 포함되지 않은 부영역에서만 상기 특징점들을 추출하며,
    상기 포화 픽셀이 포함되지 않은 부영역에서 추출된 특징점들을 이용하여 상기 장노광 화상의 움직임 벡터를 산출하되,
    상기 장노광 화상의 영역을 나누는 부영역의 수의 증가에 따라 상기 부영역 각각의 크기는 감소하여 상기 특징점을 추출하기 위한 부영역의 조밀도가 향상되는 것을 특징으로 하는 움직임 벡터 산출 장치.
  2. ◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 프로세서는,
    상기 부영역의 특징점들 중 각 부영역의 포화정도의 순서에 따라 소정의 수만큼 상기 장노광 화상의 특징점으로 추출하는 것을 특징으로 하는 움직임 벡터 산출 장치.
  3. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 프로세서는,
    상기 장노광 화상의 움직임 벡터를 산출함에 있어서,
    상기 장노광 화상에서의 각 특징점들의 해당 부영역에서의 지역 움직임 벡터를 산출하고,
    상기 지역 움직임 벡터들로부터 장노광 화상의 전역 움직임 벡터를 산출하는 것을 특징으로 하는 움직임 벡터 산출 장치.
  4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 프로세서는,
    상기 단노광 화상의 움직임 벡터를 산출함에 있어서,
    상기 단노광 화상에서의 각 특징점들의 해당 부영역에서의 지역 움직임 벡터를 산출하고,
    상기 단노광 화상의 저포화 픽셀의 수가 임계치 이상인 경우, 복수의 부영역을 하나의 부영역 집합으로 구분하고, 각 부영역 집합에 포함되는 특징점들의 지역 움직임 벡터들의 평균을 이용하여 단노광 화상의 전역 움직임 벡터를 산출하는 것을 특징으로 하는 움직임 벡터 산출 장치.
  5. ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 프로세서는,
    상기 단노광 화상의 움직임 벡터를 산출함에 있어서,
    상기 특징점들을 추출하기 전에, 단노광 화상에 대해 감마 보정을 수행하여 전처리하는 것을 특징으로 하는 움직임 벡터 산출 장치.
  6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈
    제1항에 있어서,
    상기 프로세서는,
    상기 장노광 화상의 움직임 벡터를 이용하여 상기 장노광 화상에 대한 움직임 보상을 수행하고,
    상기 단노광 화상의 움직임 벡터를 이용하여 상기 단노광 화상에 대한 움직임 보상을 수행하는 것을 특징으로 하는 움직임 벡터 산출 장치.
KR1020190094121A 2019-08-02 2019-08-02 움직임 벡터 산출 장치 및 방법 KR102664341B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190094121A KR102664341B1 (ko) 2019-08-02 2019-08-02 움직임 벡터 산출 장치 및 방법
US16/742,077 US11373316B2 (en) 2019-08-02 2020-01-14 Apparatus and method for calculating motion vector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190094121A KR102664341B1 (ko) 2019-08-02 2019-08-02 움직임 벡터 산출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210015376A KR20210015376A (ko) 2021-02-10
KR102664341B1 true KR102664341B1 (ko) 2024-05-09

Family

ID=74259613

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190094121A KR102664341B1 (ko) 2019-08-02 2019-08-02 움직임 벡터 산출 장치 및 방법

Country Status (2)

Country Link
US (1) US11373316B2 (ko)
KR (1) KR102664341B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022188690A (ja) * 2021-06-09 2022-12-21 オリンパス株式会社 撮像装置、画像処理装置、画像処理方法、記憶媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017098750A (ja) * 2015-11-24 2017-06-01 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． ベクトル算出装置およびベクトル算出方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6864916B1 (en) 1999-06-04 2005-03-08 The Trustees Of Columbia University In The City Of New York Apparatus and method for high dynamic range imaging using spatially varying exposures
EP2018048A4 (en) 2006-05-09 2011-07-20 Sharp Kk PICTURE SETUP
US7548689B2 (en) * 2007-04-13 2009-06-16 Hewlett-Packard Development Company, L.P. Image processing method
KR100892972B1 (ko) 2007-05-29 2009-04-10 한국과학기술연구원 영상센서의 물리적 특성을 이용한 넓은 생동폭을 갖는 영상신호 처리 방법
JP2009065350A (ja) 2007-09-05 2009-03-26 Canon Inc 画像処理装置、画像処理方法、及び記憶媒体
KR20090111065A (ko) 2008-04-21 2009-10-26 엘지전자 주식회사 영상 합성 장치
US8390698B2 (en) * 2009-04-08 2013-03-05 Panasonic Corporation Image capturing apparatus, reproduction apparatus, image capturing method, and reproduction method
JP5744614B2 (ja) * 2011-04-28 2015-07-08 オリンパス株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
KR102171387B1 (ko) * 2014-03-06 2020-10-28 삼성전자주식회사 포화 픽셀 데이터의 보정 방법 및 이를 이용한 이미지 데이터의 프로세싱 방법
JP2016053849A (ja) * 2014-09-03 2016-04-14 ソニー株式会社 画像処理装置および画像処理方法、並びに固体撮像装置
KR102273656B1 (ko) 2014-11-24 2021-07-05 삼성전자주식회사 광역 역광 보정 영상의 노이즈 레벨 제어 장치, 및 이를 포함하는 영상 처리 시스템
JP2019083364A (ja) * 2017-10-27 2019-05-30 キヤノン株式会社 画像処理装置、撮像装置および制御方法
KR102429337B1 (ko) * 2018-01-16 2022-08-03 한화테크윈 주식회사 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017098750A (ja) * 2015-11-24 2017-06-01 ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． ベクトル算出装置およびベクトル算出方法

Also Published As

Publication number Publication date
US11373316B2 (en) 2022-06-28
KR20210015376A (ko) 2021-02-10
US20210035308A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
US9202263B2 (en) System and method for spatio video image enhancement
US9843730B2 (en) Scene motion correction in fused image systems
US8989484B2 (en) Apparatus and method for generating high dynamic range image from which ghost blur is removed using multi-exposure fusion
US8384805B2 (en) Image processing device, method, and computer-readable medium for executing pixel value correction in a synthesized image
US8135235B2 (en) Pre-processing method and apparatus for wide dynamic range image processing
KR101225482B1 (ko) 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체
JP5213670B2 (ja) 撮像装置及びぶれ補正方法
KR101026577B1 (ko) 하이 다이나믹 레인지 비디오 생성 시스템, 컴퓨터 구현 방법, 및 컴퓨터 판독가능 기록 매체
EP3482560B1 (en) Low complexity auto-exposure control for computer vision and imaging systems
KR20110009936A (ko) 모션 적응적 고대비 영상 획득 장치 및 방법
KR20150035315A (ko) 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
CN115104120A (zh) 将低动态范围图像合并为单幅图像的方法及装置
CN110958361B (zh) 能够进行hdr合成的摄像设备及其控制方法和存储介质
KR102664341B1 (ko) 움직임 벡터 산출 장치 및 방법
JP2013118513A (ja) 撮像装置
Mangiat et al. Inexpensive high dynamic range video for large scale security and surveillance
KR102136716B1 (ko) 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
KR20160056729A (ko) 극저조도 영상의 화질 개선 장치 및 방법
KR101038695B1 (ko) 화상 처리 장치 및 기록 매체
KR101301069B1 (ko) Ｈｄｒ 영상 시스템에서 영상 간의 전역 움직임을 추정하기 위한 장치 및 그 방법
JP2825863B2 (ja) 移動物体検出装置
EP1480469B1 (en) Video processing
JP2020047979A (ja) 画像処理装置及び画像処理方法
JP2020047981A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant