KR101698314B1 - 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법 - Google Patents

영상 통계정보에 기반한 정지장면 분할장치 및 그 방법 Download PDF

Info

Publication number
KR101698314B1
KR101698314B1 KR1020150174593A KR20150174593A KR101698314B1 KR 101698314 B1 KR101698314 B1 KR 101698314B1 KR 1020150174593 A KR1020150174593 A KR 1020150174593A KR 20150174593 A KR20150174593 A KR 20150174593A KR 101698314 B1 KR101698314 B1 KR 101698314B1
Authority
KR
South Korea
Prior art keywords
image
average
value
average image
variance value
Prior art date
Application number
KR1020150174593A
Other languages
English (en)
Inventor
서수영
Original Assignee
경북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단 filed Critical 경북대학교 산학협력단
Priority to KR1020150174593A priority Critical patent/KR101698314B1/ko
Priority to EP16873375.6A priority patent/EP3389255A4/en
Priority to PCT/KR2016/014429 priority patent/WO2017099510A1/ko
Priority to US16/060,614 priority patent/US10593050B2/en
Application granted granted Critical
Publication of KR101698314B1 publication Critical patent/KR101698314B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H04N5/23248—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N5/217—
    • H04N5/23258—
    • H04N5/23267—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 정지장면에 대한 다수 영상프레임의 통계정보를 기반으로 움직임 및 밝기 성분을 보정하여 평균영상을 생성하고, 이 평균영상으로부터 에지 영역과 비에지 영역을 분할함으로써, 보다 정확한 영상 분할 처리를 수행할 수 있도록 해 주는 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법에 관한 것이다.
본 발명에 따른 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법은 카메라로부터 제공되는 하나의 정지장면에 대한 다수의 영상프레임을 이용하여 해당 정지장면에 대한 영역을 분할하는 영상 통계정보에 기반한 정지장면 분할 장치에 있어서, 상기 카메라로부터 제공되는 다수의 영상프레임을 기 설정된 기준영상과 각각 비교하여 움직임 차이에 따른 리샘플링 영상을 생성하는 움직임 보정 모듈과, 상기 움직임 보정 모듈을 통해 움직임 보정된 다수 영상프레임의 픽셀별 평균값을 이용하여 생성된 영상을 초기 평균영상으로 설정하고, 이 평균영상과 각 영상 프레임의 밝기차에 의한 분산값을 근거로 평균영상을 생성하여 평균영상을 업데이트 하되, 현재 평균영상의 분산값과 이전 평균영상의 분산값과의 차이가 기 설정된 기준값 이하가 되는 때까지 분산값에 기반한 평균영상 업데이트처리를 반복수행하는 밝기 보정 모듈 및, 상기 밝기 보정 모듈에서 생성된 최종 평균영상을 이용하여 에지 영역과 비에지 영역을 분할하는 영상 분할 모듈을 구비하여 구성되는 정지장면 분할 디바이스를 포함하여 구성되는 것을 특징으로 한다.

Description

영상 통계정보에 기반한 정지장면 분할장치 및 그 방법{Aparatus and method for deviding of static scene based on statistics of images}
본 발명은 정지장면에 대한 다수 영상프레임의 통계정보를 기반으로 움직임 및 밝기 성분을 보정하여 평균영상을 생성하고, 이 평균영상으로부터 에지 영역과 비에지 영역을 분할함으로써, 보다 정확한 영상 분할 처리를 수행할 수 있도록 해 주는 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법에 관한 것이다.
영상은 R,G,B의 3가지 신호로 이루어져 있고, 영상분할은 입력 색신호로 이루어진 영상에서 동일색 영역이나 동일 물체영역을 추출한다. 이러한 영상추출데이터는 객체기반 영상정보 처리를 위한 영상분석, 영상인식 등과 같은 디지털 영상처리와 관련된 분야에서 유용하게 사용될 수 있다.
색신호에 기반한 대부분의 영상영역 분할방법은 보통 입력 색신호를 여러 다른 형태의 색공간으로 투영하여 그 밀집도를 추출하거나 영상영역에서의 각 색화소들의 공간 인접성 등을 이용하여 분할한다.
보다 구체적으로 영상분할 방법은 에지검출분할, 문턱치를 활용한 분할, 영역 기반의 분할, 움직임에 의한 분할 방법 등이 있으며 특히 영역성장기법은 영역 기반의 영상분할 방법으로 영역의 기준이 되는 씨앗점을 검출하고 씨앗점과 주변 이웃 화소의 관계에 따라 주변 화소들이 씨앗점과 동일 영역에 포함될 수 있는 지를 결정하는 방법에 의해서 영역을 분할한다.
그러나 영상분할에 있어서 주요 관심사는 영역의 과분할에 관한 것이다. 과분할은 영상이 의도하지 않는 영역까지 너무 많이 분할되는 것을 의미하고, 이러한 과분할을 방지하기 위하여 영역성장과 병합을 위한 적절한 기준의 설정이 필요하다. 이때, 분할되는 영역의 크기에 대한 고려도 동반되어야 한다.
이러한 영역성장 기법에 의한 영상의 분할은 비교적 성능이 우수하고 간단히 구현할 수 있으나 실제 사진에서 그림자 부분과 같이 점진적인 밝기 강도변화에 대하여 정확한 분할의 기준을 설정하기 어렵고, 노이즈의 영향을 많이 받는다.
특히, 종래 단일 프레임을 활용한 영역성장기법은 노이즈에 취약하다. 이러한 노이즈를 줄이기 위해서 스무딩(Smoothing) 연산을 적용하는 방법이 이용되고 있으나, 이는 단일 영상에서 노이즈를 감소시키는 효과는 있는 반면, 예리한 형상들이 무디어지게 되어 결과적으로 영상의 분할 성능을 저하시키게 된다.
한국공개특허 제10-2012-0071219호 (2010.12.22 출원)
본 발명은 상기한 사정을 감안하여 창출된 것으로, 하나의 정지장면에 대하여 다수의 영상프레임을 획득하고, 각 영상프레임에 대한 평균 및 분산값을 통해 움직임 및 밝기성분을 보정하여 생성된 평균영상을 근거로 해당 정지장면을 에지 영역과 비에지 영역으로 분할함으로써, 보다 정확하고 효율적인 정지장면에 대한 분할처리를 수행할 수 있도록 해 주는 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법을 제공함에 그 기술적 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 따르면, 카메라로부터 제공되는 하나의 정지장면에 대한 다수의 영상프레임을 이용하여 해당 정지장면에 대한 영역을 분할하는 영상 통계정보에 기반한 정지장면 분할 장치에 있어서, 상기 카메라로부터 제공되는 다수의 영상프레임 중 하나의 영상 프레임을 기준 영상으로 설정하고, 기준영상과 나머지 영상프레임을 각각 비교함으로써, 움직임 차이에 따른 각각의 리샘플링 영상을 생성하는 움직임 보정 모듈과, 상기 움직임 보정 모듈을 통해 움직임 보정된 다수의 리샘플링 영상프레임과 기준영상에 대한 픽셀별 평균값을 이용하여 생성된 영상을 초기 평균영상으로 설정하고, 평균영상과 각 영상 프레임의 밝기차에 의한 분산값을 근거로 평균영상을 재생성하여 평균영상을 업데이트 하되, 현재의 평균영상 분산값과 이전 평균영상 분산값간의 차이가 기 설정된 기준값 이하가 되는 때까지 분산값에 기반한 평균영상 업데이트처리를 반복수행하는 밝기 보정 모듈 및, 상기 밝기 보정 모듈에서 생성된 평균영상의 분산값 갱신량이 기 설정된 기준값 이하인 최종 평균영상을 이용하여 에지 영역과 비에지 영역을 분할하는 영상 분할 모듈을 구비하여 구성되는 정지장면 분할 디바이스를 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할 장치가 제공된다.
또한, 상기 움직임 보정 모듈은 상기 카메라로부터 제공되는 각 영상프레임에 대하여 코너점을 검출하는 코너점 검출블럭과, 상기 코너점 검출블럭에서 검출된 코너점을 기준으로 기준 영상과 각 영상프레임간의 코너점 변위량을 산출하는 변위량 산출블럭 및, 상기 변위량 산출블럭에서 산출된 코너점 변위량을 이용하여 해당 영상 프레임에 대한 리샘플링 영상을 생성하는 영상 리샘플링 블럭을 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할 장치가 제공된다.
또한, 상기 변위량 산출블럭에서 기준 영상은 최초 영상 프레임으로 설정되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할장치가 제공된다.
또한, 상기 밝기 보정 모듈은 움직임 보정된 다수 영상프레임의 픽셀별 평균값을 이용하여 초기 평균영상을 생성하고, 이를 현재 평균영상으로 설정하는 초기 평균영상 생성블럭과, 현재 평균영상과 상기 카메라로부터 제공된 다수의 영상 프레임에 대한 픽셀별 밝기값 차이를 추정하는 밝기값 추정블럭, 상기 밝기값 추정블럭에서 추정된 각 영상 프레임에 대한 밝기값 차이를 근거로 기 설정된 평균영상에 기반한 각 영상 프레임별 분산값을 추정하는 분산값 추정블럭, 상기 각 영상 프레임의 평균 분산값을 이용하여 평균영상을 생성하여 현재 평균영상으로 업데이트하는 평균영상 생성블럭 및, 상기 현재 평균영상에 대한 영상 분산값을 산출하여 현재 평균영상에 대한 영상 분산값과 이전 평균영상의 분산값 차이가 기 설정된 기준값을 초과하는 경우에는 평균 분산값에 기반한 평균영상 생성 처리를 재수행하도록 설정하고, 현재 평균영상에 대한 영상 분산값과 이전 평균영상의 분산값 차이가 기 설정된 기준값 이하인 경우에는 해당 현재 평균영상을 최종 평균영상으로 설정하는 평균영상 설정블럭을 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할장치가 제공된다.
또한, 상기 영상 분할모듈은 상기 밝기 보정 모듈에서 생성된 최종 평균영상을 각 픽셀별 그 주변 픽셀값과의 차이에 기반한 그래디언트 영상으로 변환하는 그래디언트 영상 생성 블럭과, 상기 그래디언트 영상에서 각 픽셀에 대한 그래디언트 크기를 산출하고, 산출된 픽셀 크기와 기 설정된 임계치를 비교하여 해당 평균영상을 에지 영역과 비에지 영역으로 분할하는 영상 분할블럭을 포함하여 구성되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할장치가 제공된다.
또한, 상기 임계치는 상기 밝기 보정 모듈에서 생성된 평균영상에 대한 분산값의 일정 비율로 설정되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할장치가 제공된다.
또한, 상기 영상 분할블럭에서 그래디언트 크기가 임계치 이상인 역역은 에지영역으로 설정하고, 임계치 미만인 영역은 비에지영역으로 설정하는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할장치가 제공된다.
또한, 상기 픽셀별 그래디언트 크기는 하기의 수학식에 의해 산출되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할장치가 제공된다.
Figure 112015120333585-pat00001
여기서, 상기 GX 는 좌우 주변픽셀 차이값이고, GY는 상하 주변픽셀 차이값임.
또한, 상기 목적을 달성하기 위한 본 발명의 또 다른 일측면에 따르면, 카메라로부터 제공되는 하나의 정지장면에 대한 다수의 영상프레임 중 하나의 영상 프레임을 기준 영상으로 설정하고, 기준영상과 나머지 영상프레임을 각각 비교함으로써, 움직임 차이에 따른 각각의 리샘플링 영상을 생성하는 움직임 보정과정과, 상기 움직임 보정과정에서 생성된 다수의 리샘플링 영상 및 기준영상에 대한 각 픽셀별 평균값을 이용하여 초기 평균영상을 현재 평균영상으로 설정하고, 현재 평균영상과 각 영상 프레임의 밝기차에 의한 분산값을 근거로 평균영상을 재생성하여 현재 평균영상을 업데이트 하되, 현재 평균영상과 이전 평균영상의 분산값의 차이가 기준값 이하가 되는 때까지 분산값에 기반한 평균영상 업데이트처리를 반복수행하는 밝기 보정과정 및, 상기 밝기 보정과정에서 생성된 최종 평균영상을 이용하여 에지 영역과 비에지 영역을 분할하는 영상 분할 단계를 포함하여 구성되는 것을 특징으로 영상 통계정보에 기반한 정지장면 분할 방법이 제공된다.
또한, 상기 움직임 보정과정은 상기 카메라로부터 제공되는 각 영상프레임에 대하여 코너점을 검출하는 코너점 검출단계와, 상기 코너점 검출단계에서 검출된 코너점을 기준으로 기준 영상과 각 영상프레임간의 코너점 변위량을 산출하는 변위량 산출단계 및, 상기 변위량 산출단계에서 산출된 코너점 변위량을 이용하여 해당 영상 프레임에 대한 리샘플링 영상을 생성하는 영상 리샘플링 단계를 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할 방법이 제공된다.
또한, 상기 움직임 보정 과정에서 기준 영상은 해당 정지장면에 대한 최초 영상 프레임으로 설정되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할방법이 제공된다.
또한, 상기 밝기 보정 과정은, 상기 움직임 보정과정에서 움직임 보정된 다수 영상프레임의 픽셀별 평균값을 이용하여 초기 평균영상을 생성하고, 이를 현재 평균영상으로 설정하는 초기 평균영상 생성단계와, 현재 평균영상과 상기 카메라로부터 제공된 다수의 영상 프레임에 대한 픽셀별 밝기값 차이를 추정하는 밝기값 추정단계, 상기 밝기값 추정단계에서 추정된 각 영상 프레임에 대한 밝기값 차이를 근거로 기 설정된 평균영상에 기반한 각 영상 프레임별 분산값을 추정하는 분산값 추정단계, 상기 각 영상 프레임의 평균 분산값을 이용하여 평균영상을 생성하여 이를 현재 평균영상으로 업데이트하는 평균영상 생성단계 및, 상기 현재 평균영상에 대한 영상 분산값을 산출하여 현재 평균영상에 대한 영상 분산값과 이전 평균영상의 분산값 차이가 기 설정된 기준값을 초과하는 경우에는 평균 분산값에 기반한 평균영상 생성 처리를 재수행하도록 설정하고, 현재 평균영상에 대한 영상 분산값과 이전 평균영상의 분산값 차이가 기 설정된 기준값 이하인 경우에는 해당 현재 평균영상을 최종 평균영상으로 설정하는 평균영상 설정단계를 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할방법이 제공된다.
또한, 상기 영상 분할단계는, 상기 밝기 보정과정에서 생성된 최종 평균영상을 각 픽셀 주변 픽셀값과의 차이에 기반한 그래디언트 영상으로 변환하는 그래디언트 영상 생성 단계와, 상기 그래디언트 영상에서 각 픽셀에 대한 그래디언트 크기를 산출하고, 산출된 픽셀 크기와 기 설정된 임계치를 비교하여 해당 평균영상을 에지 영역과 비에지 영역으로 분할하는 영상 분할단계를 포함하여 구성되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할방법이 제공된다.
또한, 상기 임계치는 상기 밝기 보정과정에서 생성되는 평균영상의 분산값에 대한 일정 비율로 설정되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할방법이 제공된다.
또한, 상기 영상 분할단계에서 그래디언트 크기가 임계치 이상인 영역은 에지영역으로 설정하고, 임계치 미만인 영역은 비에지영역으로 설정하여 해당 정지장면을 분할하는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할방법이 제공된다.
본 발명에 의하면 영상의 노이즈 성분은 현저히 저감시키면서 예리한 형상에 대한 명확성은 향상된 평균영상을 이용하여 에지 영역과 비에지 영역을 분할함으로써, 정지장면을 보다 정확하고 효율적으로 분할하는 것이 가능하게 된다.
또는, 노이즈 성분이 저감되고 예리한 형상이 명확하게 됨으로써, 영상 내에 존재하는 객체의 형태들에 대한 정확한 정보를 추출하는 것이 가능하게 되어 영상을 이용한 처리를 수행하는 사용하는 분야, 예컨대 로봇이나 3차원 매핑, 3D 프린팅 등의 분야에 활용되는 디바이스들의 성능을 획기적으로 개선할 수 있다.
도1은 본 발명의 제1 실시예에 따른 영상 통계정보에 기반한 정지장면 분할장치의 개략적인 구성을 도시한 도면.
도2는 도1에 도시된 움직임 보정 모듈(210)의 내부구성을 기능적으로 블럭화하여 나타낸 도면.
도3은 도2에 도시된 움직임 보정 모듈(210)에서의 영상 처리 결과를 예시한 도면.
도4는 도1에 도시된 밝기 보정 모듈(220)의 내부구성을 기능적으로 블럭화하여 나타낸 도면.
도5는 도4에 도시된 밝기 보정 모듈(220)에서의 영상 처리 결과를 예시한 도면.
도6은 도1에 도시된 영상 분할모듈(230)의 내부구성을 기능적으로 블럭화하여 나타낸 도면.
도7은 도6에 도시된 영상 분할모듈(230)에서 생성되는 그래디언트 영상을 예시한 도면.
도8은 본 발명의 제1 실시예에 따른 영상 통계정보에 기반한 정지장면 분할방법을 설명하기 위한 흐름도.
이하에서는 첨부된 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호로 나타내고 있음을 유의해야 한다. 한편, 이에 앞서 본 명세서 및 특허청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도1은 본 발명의 제1 실시예에 따른 영상 통계정보에 기반한 정지장면 분할장치의 개략적인 구성을 도시한 도면이다.
도1에 도시된 바와 같이, 본 발명에 따른 영상 통계정보에 기반한 정지장면 분할장치는 카메라(100)와 정지장면 분할 디바이스(200)로 구성된다.
상기 카메라(100)는 하나의 정지장면을 동일 조건에서 다수 회 촬영을 수행하여 하나의 정지장면에 대한 다수의 영상프레임을 상기 정지장면 분할 디바이스(200)로 제공한다.
상기 정지장면 분할 디바이스(200)는 상기 카메라(100)로부터 제공되는 다수의 촬영영상 즉, 원 영상 프레임의 통계정보를 산출하고, 이를 이용하여 움직임 및 밝기 성분이 보정된 평균영상을 획득함과 더불어, 이 평균영상을 이용하여 에지 영역과 비에지 영역을 분할하도록 구성된다.
이때, 상기 정지장면 분할 디바이스(200)는 움직임 보정 모듈(210)과, 밝기 보정 모듈(220) 및, 영상 분할모듈(230)을 포함하여 구성된다.
도1에서 상기 움직임 보정 모듈(210)은 상기 카메라(100)로부터 제공되는 다수의 영상프레임에 대해 발생되는 움직임을 보정한다. 예컨대, 촬영동작에 따른 카메라(100) 자체의 흔들림이나 바람 등과 같은 외부 요인에 의한 카메라(100) 움직임 등으로 인해 발생될 수 있는 각종 움직임 노이즈를 보정한다.
상기 움직임 보정 모듈(210)은 도2에 도시된 바와 같이, 코너점 검출블럭(211)과, 변위량 산출블럭(212) 및, 영상 리샘플링 블럭(213)을 포함하여 구성된다.
상기 코너점 검출블럭(211)은 상기 카메라(100)로부터 제공되는 각 영상프레임에 대하여 Harris 연산자를 이용하여 코너점을 검출한다. 도3a는 코너점(A) 검출결과를 예시한 도면이다. 예컨대, 30개의 각 영상 프레임에 대한 코너점을 각각 검출한다.
상기 변위량 산출블럭(212)은 상기 코너점 검출블럭(211)에서 검출된 코너점을 기준으로 기준 영상과 원 영상 프레임간의 변위량을 최소제곱매칭(Least squares matching) 기법을 이용하여 산출한다. 이때, 기준 영상은 최초 영상 프레임으로 설정된다. 즉, 상기 변위량 산출블럭(212)은 촬영순서에 따라 제1 내지 제30 영상 프레임이 존재하는 경우, 제1 영상 프레임을 기준 영상으로 설정하여 제1 영상 프레임과 제2 영상프레임간의 코너점 변위량, 제1 영상 프레임과 제3 영상프레임간의 코너점 변위량, …, 제1 영상 프레임과 제30 영상 프레임간의 코너점 변위량을 산출한다. 도3b는 도3a에 도시된 정지장면에 대한 제1 영상프레임과 제30 영상 프레임간의 최소 제곱매칭으로 산출된 코너점 변위량을 예시한 도면이다.
상기 영상 리샘플링 블럭(213)은 상기 변위량 산출블럭(212)에서 산출된 변위량을 근거로 원 영상프레임에 대한 리샘플링(Resampling) 영상을 생성한다. 즉, 제1 영상 프레임과 제30 영상 프레임간의 코너점 변위량을 근거로 제30 영상 프레임에 대한 리샘플링 영상을 생성한다. 도3c 는 도3b에 도시된 변위량을 근거로 제30 영상 프레임에 대한 리샘플링된 영상을 예시한 도면이다. 즉, 도3c에 도시된 바와 같이 제30 영상프레임(30번째 원영상)에 비해 제30 리샘플링 영상프레임(30번째 리샘플링된 영상)이 기준영상인 제1 영상에 위치적으로 잘 정합되어 있음을 확인할 수 있다.
한편, 도1에서 밝기 보정 모듈(200)은 일련의 영상 프레임간에 발생되는 미세한 밝기 변화에 대한 계통적인 보정을 수행한다. 이때, 상기 밝기 보정 모듈(200)은 영상 프레임의 각 픽셀 위치에서 평균과 분산값을 근거로 밝기 보정을 수행한다.
상기 밝기 보정 모듈(220)은 도4에 도시된 바와 같이, 초기 평균영상 생성블럭(221)과, 밝기값 추정블럭(222), 분산값 추정블럭(223), 평균영상 생성블럭(224) 및, 평균영상 설정블럭(225)를 포함하여 구성된다.
상기 초기 평균영상 생성블럭(221)은 상기 움직임 보정 모듈(210)에서 생성된 리샘플링 영상들과 기준 영상의 각 픽셀의 밝기 평균값을 산출하여, 이를 근거초기 평균영상을 생성함과 더불어, 이를 현재 평균영상으로 설정한다. 예컨대, 상기 평균값 영상 생성블럭(221)은 제1 영상 프레임과 제2 내지 제30 영상프레임에 대한 제2 내지 제30 리샘플링 영상에서 각 픽셀별 밝기 평균값을 각각 산출하고, 각 픽셀별 밝기 평균값을 갖는 초기 평균영상을 생성한다. 도5a는 임의 픽셀에 대한 원 영상의 밝기값 표면과 초기 평균영상의 밝기값 표면을 비교 예시한 도면이다. 도5a에서 초기 평균영상은 원 영상에 비하여 노이즈가 대폭 감소되고 예리한 형상들이 더욱 선명하게 되는 것을 확인할 수 있다.
상기 밝기값 추정블럭(222)은 현재 평균영상과 상기 카메라(100)로부터 제공된 원 영상 즉, 다수의 영상 프레임에 대한 밝기값 차이를 추정한다. 여기서, 상기 밝기값 추정블럭(222)은 최초에는 상기 초기 평균영상 생성블럭(221)에서 생성된 초기 평균영상과 원 영상프레임에 대한 밝기값 차이를 추정하고, 이후에는 분산값 조건에 따라 재 설정된 현재 평균영상과 원 영상 프레임에 대한 밝기값 차이를 추정한다. 도 5b는 평균영상과 특정 원 영상프레임간의 밝기값 관계를 예시한 도면이다. 도5b에서 평균영상과 원 영상프레임간에는 전체적인 밝기값이 일정한 양의 차이를 갖는 것을 알 수 있다. 즉, 상기 밝기값 추정블럭(222)은 초기 평균영상과 제1 내지 제30 영상 프레임에 대해 픽셀별 밝기값 차이를 각각 추정한다.
상기 분산값 추정블럭(223)은 상기 밝기값 추정블럭(222)에서 추정된 각 원 영상프레임에 대한 밝기값 차이를 근거로 기 설정된 현재 평균영상에 기반한 해당 영상 프레임에 대한 분산값을 추정한다. 즉, 상기 분산값 추정블럭(223)은 초기에는 초기 평균영상에 기반한 영상 프레임에 대한 분산값을 추정하고, 이후에는 이전 분산값 조건에 따라 생성된 평균영상에 기반한 영상 프레임에 대한 분산값을 추정한다.
상기 평균영상 생성블럭(224)은 상기 분산값 추정블럭(223)에서 추정된 분산값을 이용하여 평균영상을 생성하여, 이를 현재 평균영상으로 업데이트한다. 즉, 상기 평균영상 생성블럭(224)은 각 영상 프레임의 각 픽셀별 분산값에 대한 분산 평균값을 산출하여, 이를 근거로 평균영상을 생성한다. 예컨대, 상기 평균영상 생성블럭(224)은 제1 내지 제30 영상 프레임의 각 픽셀별 분산값에 대한 분산 평균값을 산출하여 이에 따른 평균영상을 생성한다.
또한, 평균영상 설정블럭(225)은 상기 평균영상 생성블럭(224)에서 생성된 평균영상에 대한 영상 분산값을 산출하고, 현재 평균영상의 분산값 갱신량 즉, 현재 평균영상에 대한 영상 분산값과 이전 반복에서 생성된 평균영상의 분산값과의 차이가 기 설정된 기준값 이하인 경우, 현재 생성된 평균영상을 최종 평균영상으로 설정한다. 즉, 도5c는 반복 추정 갱신에 따른 평균영상의 변화를 예시한 도면으로, 분산값이 작아질수록 평균영상이 보다 선명해진다.
한편 도1에서 영상 분할모듈(230)은 상기 밝기 보정 모듈(220)에서 최종 평균영상으로 결정된 평균영상에서 에지 영역과 비에지 영역을 구분하여 분할한다. 이때, 상기 영상 분할모듈(230)은 그래디언트 영상 생성블럭(231)과, 분할영역 설정블럭(232)을 포함하여 구성된다.
상기 그래디언트 영상 생성블럭(231)은 상기 밝기 보정 모듈(220)에서 최종 평균영상으로 결정된 평균영상을 그래디언트 영상으로 변환한다. 여기서, 그래디언트 영상변환처리는 해당 영상에 있어서 각 픽셀의 주변 픽셀값, 바람직하게는 상하좌우의 4개 주변 픽셀값과의 차이를 근거로 생성되는 영상이다. 도7은 그래디언트 변환영상을 예시한 도면이다.
상기 분할영역 설정블럭(232)은 상기 그래디언트 영상블럭(231)에서 생성된 그래디언트 영상에서 각 픽셀에 대한 그래디언트 크기를 산출하고, 산출된 픽셀 크기와 임계치를 비교하여 해당 평균영상을 에지 영역과 비에지 영역으로 분할한다. 이때, 상기 임계치는 상기 밝기 보정 모듈에서 생성된 평균영상에 대한 분산값의 일정 비율, 예컨대 평균영상 분산값의 "10 배" 로 설정할 수 있다. 또한, 상기 분할영역 설정블럭(232)은 각 픽셀과 그 주변 픽셀값, 좌우상하의 4개 주변 픽셀값과의 차이값을 이용하여 픽셀별 그래디언트 크기를 산출한다. 예컨대, 상기 분할영역 설정블럭(232)은 하기의 수학식 1을 통해 각 픽셀별 그래디언트 크기(G)를 산출할 수 있다.
Figure 112015120333585-pat00002
여기서, 상기 GX 는 좌우 주변픽셀 차이값이고, GY는 상하 주변픽셀 차이값이다.
즉, 상기 분할영역 설정블럭(232)은 그래디언트 크기가 기 설정된 임계치 이상인 영역은 에지영역으로 설정하고, 기 설정된 임계치 미만인 영역은 비에지영역으로 설정한다.
한편, 상기 밝기 보정 모듈(200)에서의 평균영상 분산값 산출과정은 수학식2 내지 수학식8을 통해 수학적으로 모델링될 수 있다.
먼저, 영상 프레임간의 밝기값 차이는 수학식2 및 수학식3을 통해 추정된다. 이때, 수학식2와 수학식3은 전체적인 밝기값이 일정한 양의 차이를 가지는 경우를 수학적으로 모델링한 것이다.
Figure 112015120333585-pat00003
Figure 112015120333585-pat00004
여기서, 상기 수학식3은 수학식2를 정리한 것으로, 수학식1과 수학식2에서 j는 반복횟수,
Figure 112015120333585-pat00005
는 현재 반복에서 평균영상 밝기값,
Figure 112015120333585-pat00006
는 각 영상 프레임의 밝기값(i=1,…f, f:프레임 인덱스),
Figure 112015120333585-pat00007
는 노이즈량,
Figure 112015120333585-pat00008
는 밝기 차이값이다.
또한, 상기 수학식3에서 밝기값 차이 및 노이즈량은 수학식4와 같이 나타낼 수 있다.
Figure 112015120333585-pat00009
Figure 112015120333585-pat00010
Figure 112015120333585-pat00011
Figure 112015120333585-pat00012
여기서, 상기
Figure 112015120333585-pat00013
는 상기 수학식3 에서 τ=[1,…1]일때, 영상의 로우 번호(R)와 컬럼 번호(C)에 대한 벡터 항등식으로,
Figure 112015120333585-pat00014
은 분산 성분이다.
한편, 상기 수학식4에서 영상의 픽셀위치(r,c)에서의 해당 영상 프레임의 밝기값은 수학식5와 같이 모델링 된다.
Figure 112015120333585-pat00015
또한, 상기한 수학식5를 N개 영상프레임에 대한 벡터 항등식으로 표현하면 수학식6과 같다.
Figure 112015120333585-pat00016
여기서, τ =[1,…1]이고, 이미지의 개수는 "1×N"이다.
상기 수학식6에서 노이즈 벡터(
Figure 112015120333585-pat00017
)는 분산 성분 매트릭스를 갖는다. 이 노이즈 벡터(
Figure 112015120333585-pat00018
) 추정식은 수학식 7과 같다.
Figure 112015120333585-pat00019
따라서, 새로운 평균영상의 밝기값은 수학식8과 같이 모델링된다.
Figure 112015120333585-pat00020
또한, 수학식8에 의해 추정된 새로운 평균영상의 분산값(
Figure 112015120333585-pat00021
은 수학식 9과 같이 모델링된다.
Figure 112015120333585-pat00022
즉, 밝기 보정 모듈(200)은 상기한 수학적 모델링을 통해 획득한 수학식을 이용하여 새로운 평균영상의 분산값을 산출하고, 이 새로운 평균영상의 분산값과 이전 평균영상의 기준값과의 차이값을 기 설정된 기준값과 비교하여 최종 평균영상을 설정한다.
이어, 상기한 구성으로 된 제1 실시예에 따른 영상 통계정보에 기반한 정지장면 분할방법을 도8에 도시된 흐름도를 참조하여 설명한다.
먼저, 본 발명에 따른 영상 통계정보에 기반한 정지장면 분할방법은, 카메라(100)로부터 제공되는 다수의 영상프레임간에 발생되는 시프트 노이즈를 보정하는 움직임 보정 단계(ST100)와, 영상프레임간의 밝기 분산값을 근거로 평균영상을 생성하되, 이전 평균영상에 대한 가중 밝기 분산값을 적용하여 평균영상을 갱신하되 기 설정된 기준값과의 조건을 만족하는 최종 평균영상을 생성함으로써, 일련의 영상 프레임간에 발생되는 미세한 밝기 변화에 대한 계통적인 보정을 수행하는 밝기 보정 단계(ST200) 및, 영상 분할 단계(ST300)로 크게 나누어 볼 수 있다.
먼저, 상기 움직임 보정 단계(ST100)에서는 카메라(100)로부터 제공되는 하나의 정지장면에 대한 다수의 영상 프레임을 획득하는 단계(ST110)와, 획득된 다수의 영상 프레임에 대하여 Harris 연산자를 이용하여 코너점을 검출하는 단계(ST120), 검출된 코너점을 기준으로 기준 영상과 다른 영상 즉, 비교 영상 간의 코너점 변위량을 최소제곱매칭(Least squares matching) 기법을 이용하여 산출하는 단계(ST130), 코너점 변위량을 근거로 각 영상 프레임에 대한 리샘플링 영상을 생성하는 단계(ST140)를 포함하여 구성된다.
이후 밝기 보정 단계(ST200)에서는 상기 움직임 보정 단계(ST100)에서 생성된 리샘플링 영상을 이용하여 초기 평균영상을 생성하고, 초기 평균영상을 현재 평균영상으로 설정하는 단계(ST210)와, 현재 평균영상과 각 영상 프레임 간의 픽셀별 밝기 차이값을 추정하는 단계(ST220), 픽셀별 밝기 차이값을 이용하여 현재 평균영상에 기반한 각 영상 프레임에 대한 분산값을 추정하는 단계(ST230), 각 영상 프레임에 대한 분산값을 이용하여 평균영상을 생성하고, 현재 평균영상을 업데이트 하는 단계(ST240), 현재 평균영상으로 설정된 평균영상의 분산값과 이전 반복에서 생성된 평균영상의 분산값과의 차이가 기 설정된 기준값 이하인지를 판단하는 단계(ST250) 및 상기 현재 평균영상의 분산값과 이전 평균영상의 분산값과의 차이가 기준값 이하인 경우 해당 현재 평균영상을 최종 평균영상으로 설정하는 단계(ST260)를 포함하여 구성된다. 이때, 상기 ST250 단계에서 현재 평균영상의 분산값이 기준 분산값을 초과하는 경우에는 상술한 ST220 내지 ST250 의 단계를 반복하여 수행한다.
이어, 영상 분할 단계(ST300)에서는 상기 밝기 보정단계(ST200)에서 설정된 최종 평균영상을 그래디언트 영상으로 변환하는 단계(ST310)와, 그래디언트 영상에서 각 픽셀에 대한 그래디언트 크기를 산출하고, 산출된 픽셀 크기와 임계치를 비교하여 그 결과를 근거로 해당 평균영상을 에지 영역과 비에지 영역으로 분할하는 단계(ST320)를 수행한다.
즉, 상기 실시예에 의하면 하나의 정지장면에 대해 다수의 영상프레임을 획득하고, 이 다수의 영상프레임에 대한 움직임 보정을 통해 초기 평균영상을 생성하며, 초기 평균영상을 기준으로 다수 영상프레임간의 밝기 보정을 수행하되, 새로운 평균영상의 분산값과 이전 평균영상의 분산값 차이가 기 설정된 기준값 이하가 될 때 까지 가중 평균영상에 대한 밝기 보정을 수행하여 최종 평균영상을 생성하도록 구성된다.
따라서, 노이즈 성분이 최소화된 최종 평균영상을 이용하여 에지 영역과 비에지 영역을 분할하게 됨으로써, 보다 정확하고 효율적인 정지장면 분할처리가 가능하게 된다.
100 : 카메라, 200 : 정지장면 분할 디바이스,
210 : 움직임 보정 모듈, 220 : 밝기 보정 모듈,
230 : 영상 분할 모듈, 211 : 코너점 검출블럭,
212 : 변위량 산출블럭, 213 : 영상 리샘플링블럭,
221 :초기 평균영상 생성블럭, 222 : 밝기값 추정블럭,
223 : 분산값 추정블럭, 224 : 평균영상 생성블럭,
225 : 평균영상 설정블럭, 231 : 그래디언트 영상 생성블럭,
232 : 분할영역 설정블럭.

Claims (15)

  1. 카메라로부터 제공되는 하나의 정지장면에 대한 다수의 영상프레임을 이용하여 해당 정지장면에 대한 영역을 분할하는 영상 통계정보에 기반한 정지장면 분할 장치에 있어서,
    상기 카메라로부터 제공되는 다수의 영상프레임 중 하나의 영상 프레임을 기준 영상으로 설정하고, 기준영상과 나머지 영상프레임을 각각 비교함으로써, 움직임 차이에 따른 각각의 리샘플링 영상을 생성하는 움직임 보정 모듈과,
    상기 움직임 보정 모듈을 통해 움직임 보정된 다수의 리샘플링 영상프레임과 기준영상에 대한 픽셀별 평균값을 이용하여 생성된 영상을 초기 평균영상으로 설정하고, 평균영상과 각 영상 프레임의 밝기차에 의한 분산값을 근거로 평균영상을 재생성하여 평균영상을 업데이트 하되, 현재의 평균영상 분산값과 이전 평균영상 분산값간의 차이가 기 설정된 기준값 이하가 되는 때까지 분산값에 기반한 평균영상 업데이트처리를 반복수행하는 밝기 보정 모듈 및,
    상기 밝기 보정 모듈에서 생성된 평균영상의 분산값 갱신량이 기 설정된 기준값 이하인 최종 평균영상을 이용하여 에지 영역과 비에지 영역을 분할하는 영상 분할 모듈을 구비하여 구성되는 정지장면 분할 디바이스를 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할 장치.
  2. 제1항에 있어서,
    상기 움직임 보정 모듈은 상기 카메라로부터 제공되는 각 영상프레임에 대하여 코너점을 검출하는 코너점 검출블럭과,
    상기 코너점 검출블럭에서 검출된 코너점을 기준으로 기준 영상과 각 영상프레임간의 코너점 변위량을 산출하는 변위량 산출블럭 및,
    상기 변위량 산출블럭에서 산출된 코너점 변위량을 이용하여 해당 영상 프레임에 대한 리샘플링 영상을 생성하는 영상 리샘플링 블럭을 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할 장치.
  3. 제2항에 있어서,
    상기 변위량 산출블럭에서 기준 영상은 최초 영상 프레임으로 설정되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할장치.
  4. 제1항에 있어서,
    상기 밝기 보정 모듈은 움직임 보정된 다수 영상프레임의 픽셀별 평균값을 이용하여 초기 평균영상을 생성하고, 이를 현재 평균영상으로 설정하는 초기 평균영상 생성블럭과,
    현재 평균영상과 상기 카메라로부터 제공된 다수의 영상 프레임에 대한 픽셀별 밝기값 차이를 추정하는 밝기값 추정블럭,
    상기 밝기값 추정블럭에서 추정된 각 영상 프레임에 대한 밝기값 차이를 근거로 기 설정된 평균영상에 기반한 각 영상 프레임별 분산값을 추정하는 분산값 추정블럭,
    상기 각 영상 프레임의 평균 분산값을 이용하여 평균영상을 생성하여 현재 평균영상으로 업데이트하는 평균영상 생성블럭 및,
    상기 현재 평균영상에 대한 영상 분산값을 산출하여 현재 평균영상에 대한 영상 분산값과 이전 평균영상의 분산값 차이가 기 설정된 기준값을 초과하는 경우에는 평균 분산값에 기반한 평균영상 생성 처리를 재수행하도록 설정하고, 현재 평균영상에 대한 영상 분산값과 이전 평균영상의 분산값 차이가 기 설정된 기준값 이하인 경우에는 해당 현재 평균영상을 최종 평균영상으로 설정하는 평균영상 설정블럭을 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할장치.
  5. 제1항에 있어서,
    상기 영상 분할모듈은 상기 밝기 보정 모듈에서 생성된 최종 평균영상을 각 픽셀별 그 주변 픽셀값과의 차이에 기반한 그래디언트 영상으로 변환하는 그래디언트 영상 생성 블럭과,
    상기 그래디언트 영상에서 각 픽셀에 대한 그래디언트 크기를 산출하고, 산출된 픽셀 크기와 기 설정된 임계치를 비교하여 해당 평균영상을 에지 영역과 비에지 영역으로 분할하는 영상 분할블럭을 포함하여 구성되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할장치.
  6. 제5항에 있어서,
    상기 임계치는 상기 밝기 보정 모듈에서 생성된 평균영상에 대한 분산값의 일정 비율로 설정되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할장치.
  7. 제5항 또는 제6항에 있어서,
    상기 영상 분할블럭에서 그래디언트 크기가 임계치 이상인 영역은 에지영역으로 설정하고, 임계치 미만인 영역은 비에지영역으로 설정하는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할장치.
  8. 제5항에 있어서,
    상기 픽셀별 그래디언트 크기는 하기의 수학식에 의해 산출되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할장치.
    Figure 112015120333585-pat00023

    여기서, 상기 GX 는 좌우 주변픽셀 차이값이고, GY는 상하 주변픽셀 차이값임.
  9. 카메라로부터 제공되는 하나의 정지장면에 대한 다수의 영상프레임 중 하나의 영상 프레임을 기준 영상으로 설정하고, 기준영상과 나머지 영상프레임을 각각 비교함으로써, 움직임 차이에 따른 각각의 리샘플링 영상을 생성하는 움직임 보정과정과,
    상기 움직임 보정과정에서 생성된 다수의 리샘플링 영상 및 기준영상에 대한 각 픽셀별 평균값을 이용하여 초기 평균영상을 현재 평균영상으로 설정하고, 현재 평균영상과 각 영상 프레임의 밝기차에 의한 분산값을 근거로 평균영상을 재생성하여 현재 평균영상을 업데이트 하되, 현재 평균영상과 이전 평균영상의 분산값의 차이가 기준값 이하가 되는 때까지 분산값에 기반한 평균영상 업데이트처리를 반복수행하는 밝기 보정과정 및,
    상기 밝기 보정과정에서 생성된 최종 평균영상을 이용하여 에지 영역과 비에지 영역을 분할하는 영상 분할 단계를 포함하여 구성되는 것을 특징으로 영상 통계정보에 기반한 정지장면 분할 방법.
  10. 제9항에 있어서,
    상기 움직임 보정과정은,
    상기 카메라로부터 제공되는 각 영상프레임에 대하여 코너점을 검출하는 코너점 검출단계와,
    상기 코너점 검출단계에서 검출된 코너점을 기준으로 기준 영상과 각 영상프레임간의 코너점 변위량을 산출하는 변위량 산출단계 및,
    상기 변위량 산출단계에서 산출된 코너점 변위량을 이용하여 해당 영상 프레임에 대한 리샘플링 영상을 생성하는 영상 리샘플링 단계를 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할 방법.
  11. 제9항 또는 제10항에 있어서,
    상기 움직임 보정 과정에서 기준 영상은 해당 정지장면에 대한 최초 영상 프레임으로 설정되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할방법.
  12. 제9항에 있어서,
    상기 밝기 보정 과정은,
    상기 움직임 보정과정에서 움직임 보정된 다수 영상프레임의 픽셀별 평균값을 이용하여 초기 평균영상을 생성하고, 이를 현재 평균영상으로 설정하는 초기 평균영상 생성단계와,
    현재 평균영상과 상기 카메라로부터 제공된 다수의 영상 프레임에 대한 픽셀별 밝기값 차이를 추정하는 밝기값 추정단계,
    상기 밝기값 추정단계에서 추정된 각 영상 프레임에 대한 밝기값 차이를 근거로 기 설정된 평균영상에 기반한 각 영상 프레임별 분산값을 추정하는 분산값 추정단계,
    상기 각 영상 프레임의 평균 분산값을 이용하여 평균영상을 생성하여 이를 현재 평균영상으로 업데이트하는 평균영상 생성단계 및,
    상기 현재 평균영상에 대한 영상 분산값을 산출하여 현재 평균영상에 대한 영상 분산값과 이전 평균영상의 분산값과의 차이가 기 설정된 기준값을 초과하는 경우에는 평균 분산값에 기반한 평균영상 생성 처리를 재수행하도록 설정하고, 현재 평균영상에 대한 영상 분산값과 이전 평균영상의 분산값과의 차이가 기 설정된 기준값 이하인 경우에는 해당 현재 평균영상을 최종 평균영상으로 설정하는 평균영상 설정단계를 포함하여 구성되는 것을 특징으로 하는 영상 통계정보에 기반한 정지장면 분할방법.
  13. 제9항에 있어서,
    상기 영상 분할단계는,
    상기 밝기 보정과정에서 생성된 최종 평균영상을 각 픽셀 주변 픽셀값과의 차이에 기반한 그래디언트 영상으로 변환하는 그래디언트 영상 생성 단계와,
    상기 그래디언트 영상에서 각 픽셀에 대한 그래디언트 크기를 산출하고, 산출된 픽셀 크기와 기 설정된 임계치를 비교하여 해당 평균영상을 에지 영역과 비에지 영역으로 분할하는 영상 분할단계를 포함하여 구성되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할방법.
  14. 제13항에 있어서,
    상기 임계치는 상기 밝기 보정과정에서 생성되는 평균영상의 분산값에 대한 일정 비율로 설정되는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할방법.
  15. 제13항 또는 제14항에 있어서,
    상기 영상 분할단계에서 그래디언트 크기가 임계치 이상인 영역은 에지영역으로 설정하고, 임계치 미만인 영역은 비에지영역으로 설정하여 해당 정지장면을 분할하는 것을 특징으로 하는 영상의 통계정보에 기반한 정지장면 분할방법.
KR1020150174593A 2015-12-09 2015-12-09 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법 KR101698314B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020150174593A KR101698314B1 (ko) 2015-12-09 2015-12-09 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
EP16873375.6A EP3389255A4 (en) 2015-12-09 2016-12-09 METHOD FOR SEGMENTING A STATIC SCENE BASED ON IMAGE STATISTICAL INFORMATION AND RELATED METHOD
PCT/KR2016/014429 WO2017099510A1 (ko) 2015-12-09 2016-12-09 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
US16/060,614 US10593050B2 (en) 2015-12-09 2016-12-09 Apparatus and method for dividing of static scene based on statistics of images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150174593A KR101698314B1 (ko) 2015-12-09 2015-12-09 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101698314B1 true KR101698314B1 (ko) 2017-01-20

Family

ID=57989619

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150174593A KR101698314B1 (ko) 2015-12-09 2015-12-09 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법

Country Status (4)

Country Link
US (1) US10593050B2 (ko)
EP (1) EP3389255A4 (ko)
KR (1) KR101698314B1 (ko)
WO (1) WO2017099510A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784715A (zh) * 2020-08-13 2020-10-16 北京英迈琪科技有限公司 一种图像分离方法及其系统
CN114723803A (zh) * 2022-03-23 2022-07-08 北京欣奕华科技有限公司 动态场景变化程度评估方法、装置及存储介质
CN116996639A (zh) * 2023-02-13 2023-11-03 深圳Tcl新技术有限公司 投屏帧率获取方法、装置、计算机设备以及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019210829A1 (en) * 2018-04-30 2019-11-07 Mediatek Inc. Signaling for illumination compensation
US11985324B2 (en) 2019-03-14 2024-05-14 Hfi Innovation Inc. Methods and apparatuses of video processing with motion refinement and sub-partition base padding
CN111107251A (zh) * 2019-10-10 2020-05-05 曹婷 基于通信内容分析的信号补偿装置
WO2024070101A1 (ja) * 2022-09-27 2024-04-04 Ｊｆｅスチール株式会社 表面欠陥検出方法及び表面欠陥検出装置
CN116630321B (zh) * 2023-07-24 2023-10-03 铁正检测科技有限公司 基于人工智能的桥梁健康智能监测系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030011632A (ko) * 2001-07-31 2003-02-11 캐논 가부시끼가이샤 자기 적응형 2치화를 이용한 이미지 처리 방법 및 장치
KR20120071219A (ko) 2010-12-22 2012-07-02 한국전자통신연구원 3차원 깊이 정보 획득 장치 및 그 방법
KR20120090491A (ko) * 2011-02-08 2012-08-17 경북대학교 산학협력단 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
KR20130047050A (ko) * 2011-10-31 2013-05-08 (주)컨벡스 영상보정방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100785397B1 (ko) * 2001-06-28 2007-12-13 아피메즈 주식회사 인체 파필로마 바이러스 유사 입자를 생산하는 재조합아데노바이러스 벡터 및 자궁경부암 생백신
JP4133060B2 (ja) * 2002-03-14 2008-08-13 株式会社リコー 画像入力装置、画像入力方法、およびコンピュータ読み取り可能な記録媒体
GB0227570D0 (en) * 2002-11-26 2002-12-31 British Telecomm Method and system for estimating global motion in video sequences
JP3845407B2 (ja) * 2003-10-03 2006-11-15 Ｎｅｃアクセステクニカ株式会社 携帯端末および撮像記録方法
US7463753B2 (en) * 2004-09-15 2008-12-09 Raytheon Company FLIR-to-missile boresight correlation and non-uniformity compensation of the missile seeker
KR100721543B1 (ko) 2005-10-11 2007-05-23 (주) 넥스트칩 통계적 정보를 이용하여 노이즈를 제거하는 영상 처리 방법및 시스템
US8670611B2 (en) * 2011-10-24 2014-03-11 International Business Machines Corporation Background understanding in video data
KR101373704B1 (ko) 2012-05-29 2014-03-14 주식회사 코아로직 적응적 가중치 예측을 이용한 영상 처리 방법
US9082198B2 (en) 2012-10-19 2015-07-14 Qualcomm Technologies, Inc. Method for creating automatic cinemagraphs on an imagine device
US9715903B2 (en) * 2014-06-16 2017-07-25 Qualcomm Incorporated Detection of action frames of a video stream

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030011632A (ko) * 2001-07-31 2003-02-11 캐논 가부시끼가이샤 자기 적응형 2치화를 이용한 이미지 처리 방법 및 장치
KR20120071219A (ko) 2010-12-22 2012-07-02 한국전자통신연구원 3차원 깊이 정보 획득 장치 및 그 방법
KR20120090491A (ko) * 2011-02-08 2012-08-17 경북대학교 산학협력단 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법
KR20130047050A (ko) * 2011-10-31 2013-05-08 (주)컨벡스 영상보정방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784715A (zh) * 2020-08-13 2020-10-16 北京英迈琪科技有限公司 一种图像分离方法及其系统
CN114723803A (zh) * 2022-03-23 2022-07-08 北京欣奕华科技有限公司 动态场景变化程度评估方法、装置及存储介质
CN116996639A (zh) * 2023-02-13 2023-11-03 深圳Tcl新技术有限公司 投屏帧率获取方法、装置、计算机设备以及存储介质

Also Published As

Publication number Publication date
US10593050B2 (en) 2020-03-17
US20180374220A1 (en) 2018-12-27
EP3389255A1 (en) 2018-10-17
WO2017099510A1 (ko) 2017-06-15
EP3389255A4 (en) 2019-07-24

Similar Documents

Publication Publication Date Title
KR101698314B1 (ko) 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
KR102104403B1 (ko) 단일영상 내의 안개 제거 방법 및 장치
US9251589B2 (en) Depth measurement apparatus, image pickup apparatus, and depth measurement program
US9191589B2 (en) Image processing device
US8385732B2 (en) Image stabilization
KR101811718B1 (ko) 영상 처리 방법 및 장치
US9135683B2 (en) System and method for temporal video image enhancement
KR20120068470A (ko) 스테레오 영상 정합 장치 및 그 방법
WO2019221013A2 (en) Video stabilization method and apparatus and non-transitory computer-readable medium
US20150029306A1 (en) Method and apparatus for stabilizing panorama video captured based on multi-camera platform
JPH0799660A (ja) 動き補償予測装置
KR101690645B1 (ko) 다단계 시차영상 분할이 적용된 시차탐색범위 추정 방법 및 이를 이용한 스테레오 영상 정합장치
EP3200442B1 (en) Method and apparatus for image processing
KR20100132189A (ko) 영상 처리 장치 및 방법
CN109478329A (zh) 图像处理方法和装置
KR101341871B1 (ko) 비디오 디블러링 방법 및 그 장치
US20150187051A1 (en) Method and apparatus for estimating image noise
KR101827361B1 (ko) 안개 제거를 위한 대기 강도 추정 장치 및 방법
JP2019020839A (ja) 画像処理装置、画像処理方法、及びプログラム
KR101921608B1 (ko) 깊이 정보 생성 장치 및 방법
US9672605B2 (en) Image processing device and image processing method
KR101825218B1 (ko) 깊이 정보 생성 장치 및 방법
WO2015016984A1 (en) Image processor for estimation and elimination of background information
KR101265021B1 (ko) 고정 또는 가변 프레임 레이트를 위한 고속의 고해상도 디스패리티 맵 생성 방법 및 장치
US20130286289A1 (en) Image processing apparatus, image display apparatus, and image processing method

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20151209

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160811

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20161110

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170116

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170116

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20200102

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20201230

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20230110

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240109

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20250107

Start annual number: 9

End annual number: 9