KR101937436B1 - 3d 영상에서 배경과 전경을 분리하는 장치 및 방법 - Google Patents

3d 영상에서 배경과 전경을 분리하는 장치 및 방법 Download PDF

Info

Publication number
KR101937436B1
KR101937436B1 KR1020160151742A KR20160151742A KR101937436B1 KR 101937436 B1 KR101937436 B1 KR 101937436B1 KR 1020160151742 A KR1020160151742 A KR 1020160151742A KR 20160151742 A KR20160151742 A KR 20160151742A KR 101937436 B1 KR101937436 B1 KR 101937436B1
Authority
KR
South Korea
Prior art keywords
background
section
peak
frame
frames
Prior art date
Application number
KR1020160151742A
Other languages
English (en)
Other versions
KR20180054151A (ko
Inventor
조영관
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020160151742A priority Critical patent/KR101937436B1/ko
Publication of KR20180054151A publication Critical patent/KR20180054151A/ko
Application granted granted Critical
Publication of KR101937436B1 publication Critical patent/KR101937436B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 복수의 프레임으로 구성된 동영상에 있어서, 특정 프레임의 소정 위치의 화소가 배경 영역과 전경 영역 중 어느 쪽에 속하는지 판단하는 방법은, 상기 특정 프레임 내의 상기 소정 위치의 화소의 깊이를 측정하는 단계, 상기 특정 프레임보다 시간 순으로 이전의 프레임 중 적어도 하나 이상의 프레임 내의 상기 소정 위치의 화소 각각에 대한 깊이 값을 획득하고, 상기 적어도 하나 이상의 프레임 각각의 모든 화소가 가질 수 있는 깊이 값의 최대값과 최소값 사이의 구간을 깊이 값의 크기에 따라 복수의 구간으로 분할하고, 상기 복수의 구간에 속하는 각 구간은 상기 적어도 하나 이상의 프레임 중 상기 소정 위치의 화소의 깊이 값이 해당 구간에 포함되는 프레임의 수를 상기 특정 프레임에 대한 각 구간별 빈도로서 획득하는 단계, 상기 복수의 구간 중 인접한 양 구간보다 높은 빈도를 갖는 구간을 피크 구간으로서 인식하고, 상기 인식된 피크 구간 중 소정의 임계 빈도보다 높은 빈도를 갖는 구간을 배경 피크 후보 구간으로 설정하는 단계, 상기 배경 피크 후보 구간 각각이 상기 배경 피크 후보 구간별 빈도에 기초한 히트 수를 가질 때, 상기 히트 수에 기초하여 상기 배경 피크 후보 구간 중에서 배경 피크 구간을 선택하는 단계 및 상기 특정 화소의 깊이가 상기 배경 피크 구간에 속할 경우 상기 특정 화소를 배경 영역의 일부로 판단하고, 상기 배경 피크 구간에 속하지 않을 경우 상기 특정 화소를 전경 영역의 일부로 판단하는 단계를 포함할 수 있다.

Description

3D 영상에서 배경과 전경을 분리하는 장치 및 방법 {APPARATUS AND METHOD FOR SEPARATING BACKGROUND AND FOREGROUND IN 3D VIDEO}
본 발명은 3D 영상 내의 각 화소(pixel)에 대하여 프레임(frame)별로 깊이(depth)를 측정한 결과에 대한 통계적 분석에 기초하여, 영상에서 배경에 해당하는 영역과 전경에 해당하는 영역을 분리하기 위한 장치 및 방법에 관한 것이다.
카메라 등의 영상 입력 장치에 의해 촬영된 영상 데이터 내의 영역을 배경(background) 영역과 전경(foreground) 영역으로 분리하는 기술은 영상 처리 분야에서 중요하게 취급되는 분야 중 하나이다. 예컨대, 사람의 활동을 대신하는 인간형 로봇은 주위의 배경으로부터 물체 혹은 사람을 올바르게 식별해야 할 필요가 있으며, 이를 위해서는 로봇의 주변 환경에서 획득한 영상으로부터 전경과 배경을 올바르게 구분하는 것이 선결 조건이 된다.
영상으로부터 전경과 배경을 분리하는 종래의 기술은 모수적 방법(parametric method)과 비모수적 방법(non-parametric method)으로 분류할 수 있다. 이들 중 모수적 방법은 영상의 각 화소의 깊이와 같은 영상 관련 데이터를 수학적인 확률 분포로 모델링하는 방법을 이용한다. 예컨대, 화소의 깊이에 관한 실제 통계 자료를 정규분포(Gaussian distribution) 함수 혹은 이들의 합으로 나타내어 모델링하는 것이다. 이러한 모수적 방법은 구현이 쉬운 반면, 근사적인 모델을 사용함에 따른 오차로 인한 잘못된 결과를 도출할 가능성이 높다. 이에 비해 비모수적 방법은 영상과 관련하여 얻어진 데이터에 대해 모수적 가정을 하지 않고 직접 확률분포를 계산하나, 이 역시 정확한 확률분포를 계산하기 어려울 뿐 아니라 계산의 양이 많고 복잡하다는 단점을 갖는다.
한국공개특허공보, 제 10-2012-0069331 호 (2012.06.28. 공개)
본 발명의 해결하고자 하는 과제는, 기존의 방법들에 비해 보다 정확하면서도 빠르게 영상으로부터 배경 영역과 전경 영역을 분리할 수 있는 장치 및 방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 복수의 프레임으로 구성된 동영상에 있어서, 특정 프레임의 소정 위치의 화소가 배경 영역과 전경 영역 중 어느 쪽에 속하는지 판단하는 방법은, 상기 특정 프레임 내의 상기 소정 위치의 화소의 깊이를 측정하는 단계, 상기 특정 프레임보다 시간 순으로 이전의 프레임 중 적어도 하나 이상의 프레임 내의 상기 소정 위치의 화소 각각에 대한 깊이 값을 획득하고, 상기 적어도 하나 이상의 프레임 각각의 모든 화소가 가질 수 있는 깊이 값의 최대값과 최소값 사이의 구간을 깊이 값의 크기에 따라 복수의 구간으로 분할하고, 상기 복수의 구간에 속하는 각 구간은 상기 적어도 하나 이상의 프레임 중 상기 소정 위치의 화소의 깊이 값이 해당 구간에 포함되는 프레임의 수를 상기 특정 프레임에 대한 각 구간별 빈도로서 획득하는 단계, 상기 복수의 구간 중 인접한 양 구간보다 높은 빈도를 갖는 구간을 피크 구간으로서 인식하고, 상기 인식된 피크 구간 중 소정의 임계 빈도보다 높은 빈도를 갖는 구간을 배경 피크 후보 구간으로 설정하는 단계, 상기 배경 피크 후보 구간 각각이 상기 배경 피크 후보 구간별 빈도에 기초한 히트(hit) 수를 가질 때, 상기 히트 수에 기초하여 상기 배경 피크 후보 구간 중에서 배경 피크 구간을 선택하는 단계 및 상기 특정 화소의 깊이가 상기 배경 피크 구간에 속할 경우 상기 특정 화소를 배경 영역의 일부로 판단하고, 상기 배경 피크 구간에 속하지 않을 경우 상기 특정 화소를 전경 영역의 일부로 판단하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 복수의 프레임으로 구성된 동영상에 있어서, 특정 프레임의 소정 위치의 화소가 배경 영역과 전경 영역 중 어느 쪽에 속하는지 판단하는 방법을 수행하기 위한 장치는, 상기 특정 프레임 내의 상기 소정 위치의 화소의 깊이를 측정하는 깊이 측정부, 상기 특정 프레임보다 시간 순으로 이전의 프레임 중 적어도 하나 이상의 프레임 내의 상기 소정 위치의 화소 각각에 대한 깊이 값을 획득하고, 상기 적어도 하나 이상의 프레임 각각의 모든 화소가 가질 수 있는 깊이 값의 최대값과 최소값 사이의 구간을 깊이 값의 크기에 따라 복수의 구간으로 분할하고, 상기 복수의 구간에 속하는 각 구간은 상기 적어도 하나 이상의 프레임 중 상기 소정 위치의 화소의 깊이 값이 해당 구간에 포함되는 프레임의 수를 상기 특정 프레임에 대한 각 구간별 빈도로서 획득하는 통계 생성부 및 상기 복수의 구간 중 인접한 양 구간보다 높은 빈도를 갖는 구간을 피크 구간으로서 인식하고, 상기 인식된 피크 구간 중 소정의 임계 빈도보다 높은 빈도를 갖는 구간을 배경 피크 후보 구간으로 설정하며, 상기 배경 피크 후보 구간 각각이 상기 배경 피크 후보 구간별 빈도에 기초한 히트(hit) 수를 가질 때, 상기 히트 수에 기초하여 상기 배경 피크 후보 구간 중에서 배경 피크 구간을 선택하고, 상기 특정 화소의 깊이가 상기 배경 피크 구간에 속할 경우 상기 특정 화소를 배경 영역의 일부로 판단하며, 상기 배경 피크 구간에 속하지 않을 경우 상기 특정 화소를 전경 영역의 일부로 판단하는 제어부를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 영상의 특정 프레임의 대상 화소가 배경 영역과 전경 영역중 어느 쪽에 속하는지를 판별하기 위해, 상기 대상 화소의 과거 프레임에서의 깊이 측정 결과에 대한 통계적 데이터를 획득하고, 상기 통계적 데이터와 현재의 특정 프레임에서 대상 화소의 깊이 값을 이용하여 대상 화소가 소속된 영역을 판별할 수 있으며, 이러한 과정을 전 화소에 대해 수행함으로써 영상의 특정 프레임에서 배경 영역과 전경 영역을 분리할 수 있다. 본 발명은 실제 통계적 데이터에 기초하여 생성된 히스토그램으로부터 배경 모델을 추출함으로써 높은 정확성을 보일 수 있으며, 히스토그램의 전 영역이 아닌 피크(peak) 근처의 영역을 중심으로 분석을 수행하므로 속도가 빠르다. 또한, 프레임 인덱스가 증가할 때마다 배경 모델에 대한 업데이트를 수행하는 특징에 의해 오탐지의 가능성을 더욱 줄일 수 있다.
도 1은 본 발명의 일 실시예에 따른 배경-전경 분리 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 배경-전경 분리 장치 및 방법에 사용되는 히스토그램에 대해 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 배경-전경 분리 장치에 의해 수행되는 배경-전경 분리 방법의 순서를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 배경-전경 분리 방법에서 수행되는 히스토그램의 스무딩(smoothing) 프로세스에 대해 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 배경-전경 분리 방법에서 프레임 번호 증가에 따른 임계 히트 수의 변화를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 배경-전경 분리 방법에서 수행되는 플래토(plateau) 검출 과정에 대해 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 배경-전경 분리 장치의 구성을 도시한 도면이다. 도 1의 배경-전경 분리 장치(100)는 인터페이스부(110), 깊이 측정부(120), 통계 생성부(130), 제어부(140) 및 저장부(150)를 포함할 수 있다. 다만, 도 1의 배경-전경 분리 장치(100)의 구성 요소는 본 발명의 일 실시예에 불과하므로, 도 1에 의해 본 발명의 기술적 사상이 한정 해석되는 것은 아니다.
인터페이스부(110)는 배경-전경 분리 장치(100)와 외부 장치 간의 정보 교환을 수행할 수 있다. 예컨대, 인터페이스부(110)는 동작의 대상이 되는 영상을 촬영하는 카메라 등의 영상 촬영 장치로부터 촬영된 영상을 입력받을 수 있다. 이러한 영상은 일정한 시간 간격으로 촬영된 정지 영상이 결합된 동영상이 될 수 있으며, 그 중에서도 영상의 각 화소가 저마다의 깊이(depth) 정보를 갖는 3D 동영상이 될 수 있다. 또한, 인터페이스부(110)는 배경-전경 분리 장치(100)가 수행한 배경-전경 분리의 결과를 배경-전경 분리 장치(100)의 외부에 제공할 수 있다. 이러한 인터페이스부(110)는 유선 혹은 무선 통신 모듈이나 데이터 버스 등을 통해 구현될 수 있다.
깊이 측정부(120)는 인터페이스부(110)를 통해 입력된 영상의 특정 프레임(frame)의 특정 화소의 깊이 값을 측정할 수 있다. 상기 특정 프레임을 비롯하여 영상에 존재하는 각각의 프레임은 직사각형 형태를 갖고 가로 x개, 세로 y개의 화소로 구획되어 총 x×y개의 화소를 포함할 수 있으며, 특정 화소(이하 "대상 화소"라 지칭한다)란 상기 특정 프레임의 화소들 중 소정 위치에 존재하는 하나의 화소가 될 수 있다. 상기 소정 위치는 예컨대 가장 왼쪽 위의 화소를 기준으로 할 때 (m, n)의 2차원 좌표로서 표현될 수 있다(여기서, m 및 n은 정수이며, 0≤m≤x-1 이고 0≤n≤y-1). 이러한 깊이 측정부(120)는 영상으로부터 직접 대상 화소의 깊이를 측정함으로써 깊이 값을 알아낼 수도 있지만, 카메라 등의 다른 장치를 통해 측정된 대상 화소의 깊이 값을 인터페이스부(110)를 통해 전달받을 수도 있다. 이러한 깊이 측정부(120)의 구체적인 구현 방법은 통상의 기술자에게 자명한 사항이므로 자세한 설명을 생략하도록 한다.
통계 생성부(130)는 입력된 영상에서 현재 분석 대상이 되는 특정 프레임보다 이전의 프레임에서의 대상 화소의 깊이 측정 결과에 관한 통계 자료를 생성할 수 있다. 보다 구체적으로, 통계 생성부(130)는 상기 특정 프레임보다 시간 순으로 이전에 위치하는 프레임들에서 상기 소정 위치의 화소 각각에 대한 깊이 값을 획득할 수 있다. 즉, 전술한 바와 같이 소정 위치를 (m, n)라 할 때, 통계 생성부(130)는 이전의 프레임들 내에서 (m, n)에 위치하는 각 화소들이 어떠한 깊이 값을 갖는지에 대한 정보를 획득할 수 있다. 보다 구체적인 예로서는, 통계 생성부(130)는 대상 화소가 깊이 값으로서 가질 수 있는 값의 범위가 복수의 구간으로 분할된 상태에서, 이전의 프레임들 내에서 (m, n)에 위치하는 각 화소들에 대한 깊이 측정 결과에 기초하여 상기 복수의 구간 각각에 대응되는 빈도 데이터를 얻은 후, 이를 가로축과 세로축을 갖는 2차원의 도표로서 표현한 히스토그램을 획득하여 통계 분석의 도구로서 사용할 수 있다.
도 2는 본 발명의 일 실시예에 따른 배경-전경 분리 장치 및 에 사용되는 히스토그램에 대해 도시한 도면이다. 즉, 도 2의 히스토그램은 통계 생성부(130)에 의해 획득되는 히스토그램의 한 예시가 될 수 있다. 도 2의 히스토그램에서, 가로축은 화소의 깊이 값, 세로축은 이전 프레임에서 상기 깊이 값의 출현 빈도를 각각 나타낼 수 있다. 예컨대, 영상의 화소가 깊이 값으로서 0부터 1000까지의 값을 가질 수 있다고 가정할 때, 도 2에 의하면 상기 범위를 25개의 구간으로 분할한 것이므로 하나의 구간의 크기는 1000을 25로 나눈 40이 된다. 따라서, 도 2의 히스토그램의 첫 번째 선분의 높이는 상기 특정 프레임의 이전 프레임들에서 상기 소정 위치의 화소의 깊이 값을 측정했을 때 0 이상 40 미만의 깊이 값이 출현한 횟수가 되며, 이는 곧 상기 25개의 구간을 깊이 값에 따라 오름차순으로 정렬했을 때에 0번 인덱스(index)를 갖는 구간의 빈도가 된다(본 발명에서는, 인덱스를 매길 때에 1이 아닌 0부터 시작하는 것을 규칙으로 한다). 또 달리 표현하면, 첫 번째 선분의 높이는 상기 특정 프레임의 이전 프레임들 중 상기 소정 위치의 화소의 깊이 값이 0 이상 40 미만인 프레임의 수라고 할 수도 있다. 마찬가지로, 히스토그램의 두 번째 선분의 높이는 상기 특정 프레임의 이전 프레임들에서 소정 위치의 화소의 깊이 값을 측정했을 때 40 이상 80 미만의 깊이 값이 출현한 횟수, 즉 1번 인덱스를 갖는 구간의 빈도가 된다. 물론 더 큰 인덱스를 갖는 구간에 대해서도 위의 설명이 적용될 수 있다. 도 2의 히스토그램에 대해서는 이후에 도 3을 함께 참고하여 보다 자세히 서술하도록 한다.
제어부(140)는 통계 생성부(130)에 의해 획득된 히스토그램을 분석하여, 대상 화소가 현재의 대상 프레임에서 갖는 깊이 값이 배경 영역에 해당하는 값인지, 혹은 전경 영역에 해당하는 값인지를 판단할 수 있다. 제어부(140)가 수행하는 상기 분석 및 판단에 대한 구체적인 사항에 대해서는 후술하도록 한다. 한편, 제어부(140)는 상기 히스토그램을 분석하기 전에, 히스토그램의 가로축 상에서 인접 구간보다 높은 빈도를 갖는 구간인 피크(peak) 구간의 개수를 줄여서 빠른 분석이 이루어질 수 있도록, 히스토그램에 대해 스무딩 프로세스(smoothing process)를 수행할 수 있다. 또한, 제어부(140)는 히스토그램의 가로축 상에 같은 빈도를 갖는 구간이 연속하여 존재하고, 상기 연속하여 존재하는 구간의 빈도가 인접한 구간의 빈도보다 높은 경우, 상기 연속하여 존재하는 구간 중 가운데에 위치하는 구간도 피크 구간으로 취급할 수 있다. 이러한 제어부(140)는 전술한 통계 생성부(130)와 함께 마이크로프로세서(microprocessor)를 포함하는 연산 장치에 의해 구현될 수 있다.
저장부(150)는 제어부(140)의 제어에 기초하여 배경-전경 분리 장치(100)에 필요한 정보를 저장할 수 있다. 이러한 필요 정보의 예로서는 히스토그램의 획득을 위한 기초가 되는 데이터인, 현재의 대상 프레임보다 이전의 프레임에서의 대상 화소의 깊이 측정 결과 등을 들 수 있다. 그 밖에도, 저장부(150)는 배경-전경 분리 장치(100)의 각 구성 요소의 동작에 필요한 인자(parameter)들을 저장할 수 있으며, 이러한 인자들의 예시에 대해서는 후술한다. 저장부(150)가 저장하는 정보는 반드시 위의 예시에 한정되는 것은 아니고, 배경-전경 분리 장치(100)의 동작에 필요한 것이라면 어떤 것이든 될 수 있다. 이러한 저장부(150)는 구체적으로 컴퓨터 판독 기록 매체로서 구현될 수 있으며, 이러한 컴퓨터 판독 기록 매체의 예로는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 플래시 메모리(flash memory)와 같은 프로그램 명령어들을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 들 수 있다.
도 3은 본 발명의 일 실시예에 따른 배경-전경 분리 장치에 의해 수행되는 배경-전경 분리 방법의 순서를 도시한 도면이다. 단, 도 3에 도시된 방법은 본 발명의 일 실시예에 불과하므로 도 3에 의해 본 발명의 사상이 한정 해석되는 것은 아니며, 도 5에 도시된 방법의 각 단계는 경우에 따라 도면에 제시된 바와 그 순서를 달리하여 수행될 수도 있음은 물론이다.
본 발명의 일 실시예에 따른 배경-전경 분리 방법은, 시간에 따라 연속 재생되는 복수의 프레임을 대상으로 함을 이미 언급한 바 있다. 또한 상기 복수의 프레임은 재생 순서에 따라 자연수로 된 인덱스를 가질 수 있다.
우선, 방법이 적용될 대상 화소의 위치로서 소정 위치를 선택할 수 있다(S101). 전술한 바와 같이, 상기 소정 위치는 (m, n)의 2차원 좌표로서 표현될 수 있다. 다음으로 f번 인덱스(f는 0부터 시작하여 1씩 증가)의 프레임을 배경-전경 분리 방법의 적용 대상으로 하되, 맨 먼저 f에 0을 대입함으로써 영상의 0번 인덱스의 프레임에 대해 배경-전경 분리 방법을 가장 먼저 적용할 수 있다(S102). 이에 따라, f번 인덱스의 프레임에서 소정 위치에 존재하는 화소를 대상 화소로 삼고, 상기 대상 화소의 깊이를 측정할 수 있다(S103). 여기서, 0번 인덱스의 프레임의 경우 아직 이전 프레임을 통해 축적된 깊이 측정 결과가 없기 때문에, 깊이 측정 외의 통계적 분석 과정은 이루어지지 않게 된다. 즉, f가 1 이상일 때에만 이하에서 설명할 S105 내지 S110의 통계적 분석 과정 및 S111의 f의 값을 1을 증가시키는 단계가 차례로 수행되도록 할 수 있고, f가 1 미만이면 바로 S111로 이동하여 f의 값을 1 증가시키기만 하도록 할 수 있다(S104). S111의 단계에 의해 f의 값이 1 증가하고 나면 증가된 f값을 이용하여 다시 S103 내지 S111의 단계를 차례로 수행할 수 있다.
이하에서는 임의의 f(단, f는 1 이상)번 인덱스의 프레임을 가정하고 S103 내지 S111의 단계를 설명하도록 한다. 먼저 현재의 프레임인 f번 인덱스의 프레임의 상기 소정 위치에 존재하는 화소의 깊이를 측정할 수 있다(S103). 여기에서는 f가 1 이상임을 가정하였으므로, S105 내지 S110의 단계를 이어서 수행할 수 있다(S104). 한편, 여기에서 f의 값은 "f번 인덱스의 프레임의 이전 프레임의 수"로 이해될 수도 있다. 예컨대, 5번 인덱스의 프레임의 이전 프레임으로는 0번 인덱스 내지 4번 인덱스의 프레임, 총 5개가 존재하게 된다.
이에 따라, f번 인덱스의 프레임의 이전 프레임인 0번 인덱스의 프레임 내지 f-1번 인덱스의 프레임 중 하나 이상의 프레임에서 상기 소정 위치의 화소의 깊이를 측정한 결과를 나타내는 히스토그램을 획득할 수 있다(S105). 여기서, 히스토그램 생성의 대상이 되는 이전 프레임은 f번 인덱스의 프레임 바로 이전의 프레임(즉, f-1번 인덱스의 프레임이 되며, 이하에서는 f번 인덱스의 프레임과의 거리를 기준으로 하여 f-1번 인덱스의 프레임을 "제 1 이전 프레임"이라 칭함)부터 제 n 이전 프레임(n은 자연수)까지의 프레임이 될 수 있다.
여기에서 f의 값이 소정의 임계 프레임 수인 F(F는 2 이상의 자연수) 이하일 경우 n의 값은 f의 값과 동일하게 설정될 수 있으며, f의 값이 상기 F의 값을 초과할 경우 n의 값은 F의 값과 동일하게 설정될 수 있다. 이에 대한 예로서, F가 100으로 설정되었다고 가정한다. 이 때 현재 대상 프레임이 50번 인덱스의 프레임이라면 f의 값은 50으로 F의 값인 100 이하이므로 n의 값은 f의 값과 동일한 50이 되고, 이에 따라 50번 인덱스의 프레임 이전의 모든 프레임인 50개의 프레임이 히스토그램 생성에 이용될 수 있다. 이와 달리 현재 대상 프레임이 150번 인덱스의 프레임이라면 f의 값은 150으로 F의 값인 100을 초과하므로 n의 값은 F의 값과 동일한 100이 되고, 이에 따라 150번 인덱스의 프레임 이전의 프레임 150개 중 제 1 이전 프레임(149번 인덱스의 프레임)부터 제 100 이전 프레임(50번 인덱스의 프레임)의 총 100개의 프레임이 히스토그램 생성에 이용될 수 있다. 즉, 이는 이전 프레임들 중 분석 시점 기준으로 F개의 최신 프레임만을 이용함으로써 데이터의 최신성과 분석의 신속성을 달성하기 위함이다. 단, 최신 이전 프레임의 개수가 F개가 되지 않을 경우에는 이전 프레임을 모두 이용하게 된다.
히스토그램이 획득되면, 히스토그램의 가로축 상에 정의된 복수의 구간 중 일부의 구간을 "배경 피크 후보 구간"으로 설정할 수 있다(S107). 구체적으로 설명하면, 우선 상기 복수의 구간 중 인접한 양 구간보다 높은 빈도를 갖는 구간, 즉 극댓값(local maximum)에 해당하는 구간을 식별할 수 있는데, 이와 같은 구간을 "피크 구간"이라 칭할 수 있다. 도 2를 참조하면, 총 4개의 구간(ia, ib, ic, id)이 피크 구간에 해당됨을 알 수 있다. 이와 같이 인식된 피크 구간 중, 소정의 임계 빈도인 θb보다 높은 빈도를 갖는 구간을 배경 피크 후보 구간으로 설정할 수 있다. 이에 따르면, 도 2의 히스토그램에서는 총 3개의 구간(ib, ic, id)이 배경 피크 후보 구간이 될 수 있다. 실시예에 따라서는, 피크 구간 중 타 피크 구간보다 빈도가 높은 소정 개수의 피크 구간을 배경 피크 후보 구간으로 설정할 수도 있다. 예컨대 이러한 소정 개수는 3개가 될 수 있으며, 이에 따르면 상기 피크 구간 중 빈도가 가장 낮은 구간(ia)을 제외한 총 3개의 구간(ib, ic, id)이 배경 피크 후보 구간이 될 수 있다.
실시예에 따라서는, 배경 피크 후보 구간을 설정하는 S107 단계 이전에, 획득된 히스토그램에 대한 스무딩 프로세스(smoothing process)를 수행할 수 있다(S106). 도 4는 본 발명의 일 실시예에 따른 배경-전경 분리 방법에서 수행되는 히스토그램의 스무딩 프로세스에 대해 설명하기 위한 도면이다. 도 4의 히스토그램의 일부 영역을 보면, 두 개의 피크 구간(i2, i4)이 하나의 구간(i3)을 사이에 두고 존재함을 알 수 있다. 실제로는 i3 구간이 피크 구간이 되어야 했으나 측정 오차에 의해 양 옆의 두 구간(i2, i4)이 피크 구간이 되는 경우가 있고, 실제의 피크 구간이 i2, i4인 경우에도 상기 두 구간 사이의 거리가 매우 가까우므로 두 구간의 중간에 위치하는 하나의 구간을 피크 구간으로 가정해도 방법 수행의 결과의 정확성에 큰 영향이 없다. 이에 따라, 히스토그램에 스무딩 프로세스를 수행함으로써 피크 구간의 수가 스무딩 프로세스 수행 전에 비해 일정 비율 이하로 줄어들도록 할 수 있다. 이와 같이 피크 구간의 수를 줄임으로써 방법의 수행에 수반되는 연산의 양을 줄일 수 있다. 이러한 스무딩 프로세스의 예로는 가우시안 커널 스무딩(Gaussian kernel smoothing) 등을 들 수 있으나, 반드시 이에 한정되지는 않는다.
배경 피크 후보 구간의 설정 후에, 배경 피크 후보 구간 각각이 갖는 히트 수에 기초하여 배경 피크 후보 구간 중에서 "배경 피크 구간"을 선택할 수 있다(S108). 구체적으로, 배경 피크 구간은 배경 피크 후보 구간 중에서 히트 수가 소정의 임계 히트 수인 θh 이상인 히트 수를 갖는 배경 피크 후보 구간을 배경 피크 구간으로 선택할 수 있다. 즉, θh는 일반적인 배경 피크 후보 구간과 배경 피크 후보를 구분하기 위한 기준이 된다. 한편, 각 배경 피크 후보 구간별 히트 수가 정해지는 구체적인 방법에 대해서는 후술한다.
도 5는 본 발명의 일 실시예에 따른 배경-전경 분리 방법에서 프레임 번호 증가에 따른 임계 히트 수의 변화를 나타낸 도면이다. f번 인덱스의 프레임에서의 θh의 값은 아래와 같이 결정될 수 있으며, 도 5는 이를 그래프로 나타낸 것이다.
Figure 112016111303594-pat00001
부연하자면, θh의 값은 f가 F 이하일 경우 f의 값에 비례하여 증가하고, f가 F를 초과할 경우 f가 F일 때의 θh의 값인 α로 고정되도록 설정될 수 있다. 이는 f가 F 이하일 경우 전술한 바와 같이 히스토그램 생성의 근거가 되는 이전 프레임의 개수가 충분히 확보되지 못하므로, 이를 반영하기 위한 것이다.
배경 피크 구간의 선택이 완료되면, 이에 기초하여 대상 화소가 배경 영역과 전경 영역 중 어느 영역에 속하는지를 판단할 수 있다(S109). 간단하게는 대상 화소의 깊이가 배경 피크 구간에 속하면 대상 화소가 배경 영역에 속하는 것으로, 배경 피크 구간에 속하지 않으면 전경 영역에 속하는 것으로 정할 수 있다. 하지만 이를 보다 확장하여, "배경 피크의 범위"라는 개념을 정의하여, 대상 화소의 깊이가 정확히 배경 피크 구간에 속하지 않더라도, 배경 피크 구간 및 그 주변의 일정 구간을 포함하는 배경 피크의 범위에 속하면 배경 영역에 속하는 것으로 취급할 수도 있다. 이와 같은 배경 피크의 범위 R은 다음과 같이 정의될 수 있다.
R = [ik*0.9, ik*1.1]
구체적으로 설명하면, 배경 피크 구간의 인덱스가 ik라 할 경우, 인덱스가 ik*0.9 이상 ik*1.1 이하인 구간을 배경 피크의 범위로 설정할 수 있는 것이다.
위와 같이 대상 화소가 속하는 영역에 대한 판단이 이루어지면, 본 배경-전경 분리 방법에 사용된 배경 모델의 업데이트를 수행할 수 있다(S110). 구체적으로 설명하면, 배경 피크 후보 구간 중 대상 화소의 깊이를 포함하는 배경 피크 후보 구간의 히트 수를 소정의 증가폭만큼 증가시키고, 대상 화소의 깊이를 포함하지 않는 배경 피크 후보 구간의 히트 수를 소정의 감소폭만큼 감소시킬 수 있다. 여기서 소정의 증가폭과 소정의 감소폭은 모두 1로 설정될 수 있다. 만일 배경 피크 구간의 히트 수가 본 단계에서 감소하여 θh보다 작아진다면, 상기 배경 피크 구간은 배경 피크 구간의 지위를 잃고 배경 피크 구간 후보가 된다. 만일 히트 수가 소정의 최소 필요 히트 수(θl) 미만으로 떨어지는 배경 피크 구간 후보가 있다면, 상기 배경 피크 구간 후보는 배경 피크 구간 후보로서의 지위를 잃어 배경 피크 구간 후보 목록에서 삭제된다.
한편, 다음 번 인덱스인 f+1번 인덱스의 프레임에 대한 방법의 수행에서 사용될 히스토그램인, 새롭게 업데이트된 히스토그램 기준으로 새로운 배경 피크 후보 구간이 생성될 수 있다. 즉, 업데이트 전 히스토그램(f번 인덱스의 프레임에 대한 방법의 수행에서 사용된 히스토그램) 기준으로는 배경 피크 후보 구간이 아니었으나 업데이트된 히스토그램 기준으로 배경 피크 후보 구간의 기준을 만족하는 새로운 배경 피크 후보 구간이 발생할 경우, 상기 새로운 배경 피크 후보 구간의 히트 수를, 업데이트된 히스토그램을 기준으로 한 상기 새로운 배경 피크 후보 구간의 빈도와 같은 값으로 설정할 수 있다. 이 과정에서, 종전의 배경 피크 후보 구간 중 히트 값이 가장 작은 배경 피크 후보 구간은 배경 피크 후보 구간의 목록에서 삭제될 수 있다. 한편, 이와 같은 새로운 배경 피크 후보 구간의 생성은 대상 화소의 깊이가 어떤 배경 피크의 범위에도 속하지 않을 경우 수행될 수 있다.
전술한 바와 같은 단계의 수행을 통해, f번 인덱스의 프레임의 대상 화소가 배경 영역에 속하는지, 혹은 전경 영역에 속하는지의 여부를 판단할 수 있다. 상기 단계들의 수행이 완료되면, f의 값을 1 증가시켜 다음 프레임의 상기 소정 위치에 존재하는 화소에 대해 방법을 수행할 수 있다. 이와 같이 상기 방법의 수행을 모든 프레임에 대해 반복하고, 또한 프레임 상의 모든 위치의 화소에 대해 반복한다면, 전체 3D 동영상에 대한 배경과 전경의 분리가 이루어질 수 있다.
도 6은 본 발명의 일 실시예에 따른 배경-전경 분리 방법에서 수행되는 플래토(plateau) 검출 과정에 대해 설명하기 위한 도면이다. 경우에 따라, 도 6과 같이 히스토그램의 가로축 상에서 연속한 복수의 구간(i1, i2, i3, i4, i5)의 빈도가 모두 같고, 상기 연속한 복수의 구간 양쪽으로 인접한 구간의 빈도는 상기 연속한 복수의 구간의 빈도에 비해 작을 경우, 이들 복수의 구간은 실질적으로는 피크 구간으로 취급해야 함에도 불구하고 피크 구간으로서의 정의를 만족하지 않게 된다. 따라서, 이러한 플래토 구간을 검출하여 피크 구간으로 삼기 위한 알고리즘을 제안할 수 있다.
먼저, 히스토그램의 가로축 상의 구간 중 왼쪽에 인접한 구간보다 빈도가 높고 오른쪽에 인접한 구간과 빈도가 같은 구간(i1)이 발견될 경우, 가로축 상에서 다음 구간(도 6의 i2)으로 이동할 수 있다. 다음 구간의 빈도가 양 옆에 인접한 구간의 빈도와 모두 같을 경우, 플래토 구간은 계속되고 있는 것으로 취급될 수 있다. 플래토 구간이 계속되고 있다면 계속하여 다음 구간으로 이동할 수 있으며, i5 구간까지 이동하고 나면 왼쪽 구간과는 빈도가 같지만 오른쪽 구간보다는 빈도가 높다는 것을 알 수 있다. 이와 같은 구간이 등장하면 해당 구간에서 플래토 구간이 끝나는 것으로 판단할 수 있으며, 이에 따라 플래토 구간의 폭인 k를 확정할 수 있다. 즉, 플래토 구간은 같은 빈도를 갖는 구간이 k(k는 2 이상의 자연수)개 연속하여 존재하고, 상기 k개의 구간의 빈도가 상기 k개의 구간에 인접한 양 구간의 빈도보다 높은 경우로 정의할 수 있다. 이 때에는, 상기 k개의 구간 중 [(k+1)/2]([(k+1)/2]는 (k+1)/2를 넘지 않는 최대의 정수)번째 구간을 피크 구간으로 인식할 수 있다. 이는 플래토 구간의 가운데에 존재하는 구간을 피크 구간으로 삼기 위함이다. 예컨대, 도 6의 경우에 의하면 k가 5가 되고, 상기 식에 의해 i3 구간이 피크 구간이 되는데, i3 구간은 실제로 플래토 구간의 가운데에 위치함을 알 수 있다. 이와 같은 플래토 구간 검출 알고리즘을 통해, 더욱 정확한 방법의 수행이 가능하다.
지금까지 설명한 바와 같은 본 발명의 일 실시예에 따르면, 실제 통계적 데이터에 기초하여 생성된 히스토그램으로부터 배경 모델을 추출함으로써 높은 정확성을 보일 수 있으며, 히스토그램의 전 영역이 아닌 피크(peak) 근처의 영역을 중심으로 분석을 수행하므로 속도가 빠르다. 또한, 프레임 인덱스가 증가할 때마다 배경 모델에 대한 업데이트를 수행하는 특징에 의해 오탐지의 가능성을 더욱 줄일 수 있다. 이와 같은 특징들을 통해 3D 동영상을 비롯한 영상 정보로부터 보다 효과적으로 배경 영역과 전경 영역을 분리할 수 있다.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 일 실시예에 따르면, 실제 통계적 데이터에 기초하여 생성된 히스토그램으로부터 배경 모델을 추출함으로써 높은 정확성을 보일 수 있으며, 히스토그램의 전 영역이 아닌 피크(peak) 근처의 영역을 중심으로 분석을 수행하므로 속도가 빠르다. 또한, 프레임 인덱스가 증가할 때마다 배경 모델에 대한 업데이트를 수행하는 특징에 의해 오탐지의 가능성을 더욱 줄일 수 있다. 이와 같은 특징들을 통해 3D 동영상을 비롯한 영상 정보로부터 보다 효과적으로 배경 영역과 전경 영역을 분리할 수 있다.
100: 배경-전경 분리 장치
110: 인터페이스부
120: 깊이 측정부
130: 통계 생성부
140: 제어부
150: 저장부

Claims (10)

  1. 복수의 프레임으로 구성된 동영상에 있어서, 특정 프레임의 소정 위치의 화소가 배경 영역과 전경 영역 중 어느 쪽에 속하는지 판단하는 방법에 있어서,
    상기 특정 프레임 내의 상기 소정 위치의 화소의 깊이를 측정하는 단계;
    상기 특정 프레임보다 시간 순으로 이전의 프레임 중 적어도 하나 이상의 프레임 내의 상기 소정 위치의 화소 각각에 대한 깊이 값을 획득하고, 상기 적어도 하나 이상의 프레임 각각의 모든 화소가 가질 수 있는 깊이 값의 최대값과 최소값 사이의 구간을 깊이 값의 크기에 따라 복수의 구간으로 분할하고, 상기 복수의 구간에 속하는 각 구간은 상기 적어도 하나 이상의 프레임 중 상기 소정 위치의 화소의 깊이 값이 해당 구간에 포함되는 프레임의 수를 상기 특정 프레임에 대한 각 구간별 빈도로서 획득하는 단계;
    상기 복수의 구간 중 인접한 양 구간보다 높은 빈도를 갖는 구간을 피크 구간으로서 인식하고, 상기 인식된 피크 구간 중 소정의 임계 빈도보다 높은 빈도를 갖는 구간을 배경 피크 후보 구간으로 설정하는 단계;
    상기 배경 피크 후보 구간 각각이 상기 배경 피크 후보 구간별 빈도에 기초한 히트(hit) 수를 가질 때, 상기 히트 수에 기초하여 상기 배경 피크 후보 구간 중에서 배경 피크 구간을 선택하는 단계; 및
    상기 소정 위치의 화소의 깊이가 상기 배경 피크 구간에 속할 경우 상기 소정 위치의 화소를 배경 영역의 일부로 판단하고, 상기 배경 피크 구간에 속하지 않을 경우 상기 소정 위치의 화소를 전경 영역의 일부로 판단하는 단계를 포함하는
    배경과 전경을 분리하는 방법.
  2. 제 1 항에 있어서,
    상기 선택하는 단계에서는,
    상기 배경 피크 후보 구간 중 소정의 임계 히트 수 이상인 히트 수를 갖는 배경 피크 후보 구간을 상기 배경 피크 구간으로 선택하며,
    상기 판단하는 단계는,
    상기 배경 피크 후보 구간 중 상기 소정 위치의 화소의 깊이를 포함하는 배경 피크 후보 구간의 히트 수를 소정의 증가폭만큼 증가시키고, 상기 소정 위치의 화소의 깊이를 포함하지 않는 배경 피크 후보 구간의 히트 수를 소정의 감소폭만큼 감소시키는
    배경과 전경을 분리하는 방법.
  3. 제 1 항에 있어서,
    상기 배경 피크 후보 구간 중 히트 수가 소정의 최소 필요 히트 수 미만인 배경 피크 후보 구간을 상기 배경 피크 후보 구간에서 제외하는 단계를 더 포함하는
    배경과 전경을 분리하는 방법.
  4. 제 1 항에 있어서,
    상기 선택하는 단계에서는,
    상기 배경 피크 후보 구간 중 소정의 임계 히트 수 이상인 히트 수를 갖는 배경 피크 후보 구간을 상기 배경 피크 구간으로 선택하되,
    상기 임계 히트 수는,
    상기 특정 프레임 이전의 프레임의 총 개수인 f가 소정의 임계 프레임 수인 F(F는 2 이상의 자연수) 이하일 경우 상기 f의 값에 비례하는 값을 갖고, 상기 f가 상기 F를 초과할 경우 상기 f가 상기 F일 때의 임계 히트 수와 같은 값을 갖는
    배경과 전경을 분리하는 방법.
  5. 제 1 항에 있어서,
    상기 적어도 하나 이상의 프레임은, 상기 특정 프레임보다 시간 순으로 바로 이전의 제 1 이전 프레임부터 n(n은 자연수)번째 이전인 제 n 이전 프레임까지의 n개의 프레임이며,
    상기 획득하는 단계는, 상기 특정 프레임 이전의 프레임의 총 개수인 f가 소정의 임계 프레임 수인 F(F는 2 이상의 자연수) 이하일 경우 상기 n의 값을 f의 값과 동일하게 설정하고, 상기 f가 상기 F를 초과할 경우 상기 n의 값을 상기 F의 값과 동일하게 설정하는 단계를 포함하는
    배경과 전경을 분리하는 방법.
  6. 제 1 항에 있어서,
    상기 설정하는 단계는, 상기 특정 프레임에 대한 각 구간별 빈도에 대해 스무딩 프로세스(smoothing process)를 수행하여, 상기 피크 구간의 수가 상기 스무딩 프로세스 전에 비해 일정 비율 이하로 줄어들도록 하는 단계를 포함하는
    배경과 전경을 분리하는 방법.
  7. 제 1 항에 있어서,
    상기 설정하는 단계는, 상기 복수의 구간을 깊이 값의 크기에 따라 오름차순으로 정렬할 때 같은 빈도를 갖는 구간이 k(k는 2 이상의 자연수)개 연속하여 존재하고, 상기 k개의 구간의 빈도가 상기 k개의 구간에 인접한 양 구간의 빈도보다 높은 경우, 상기 k개의 구간 중 [(k+1)/2]([(k+1)/2]는 (k+1)/2를 넘지 않는 최대의 정수)번째 구간을 상기 피크 구간으로 인식하는 단계를 포함하는
    배경과 전경을 분리하는 방법.
  8. 복수의 프레임으로 구성된 동영상에 있어서, 특정 프레임의 소정 위치의 화소가 배경 영역과 전경 영역 중 어느 쪽에 속하는지 판단하는 방법을 수행하기 위한 장치에 있어서,
    상기 특정 프레임 내의 상기 소정 위치의 화소의 깊이를 측정하는 깊이 측정부;
    상기 특정 프레임보다 시간 순으로 이전의 프레임 중 적어도 하나 이상의 프레임 내의 상기 소정 위치의 화소 각각에 대한 깊이 값을 획득하고, 상기 적어도 하나 이상의 프레임 각각의 모든 화소가 가질 수 있는 깊이 값의 최대값과 최소값 사이의 구간을 깊이 값의 크기에 따라 복수의 구간으로 분할하고, 상기 복수의 구간에 속하는 각 구간은 상기 적어도 하나 이상의 프레임 중 상기 소정 위치의 화소의 깊이 값이 해당 구간에 포함되는 프레임의 수를 상기 특정 프레임에 대한 각 구간별 빈도로서 획득하는 통계 생성부; 및
    상기 복수의 구간 중 인접한 양 구간보다 높은 빈도를 갖는 구간을 피크 구간으로서 인식하고, 상기 인식된 피크 구간 중 소정의 임계 빈도보다 높은 빈도를 갖는 구간을 배경 피크 후보 구간으로 설정하며, 상기 배경 피크 후보 구간 각각이 상기 배경 피크 후보 구간별 빈도에 기초한 히트(hit) 수를 가질 때, 상기 히트 수에 기초하여 상기 배경 피크 후보 구간 중에서 배경 피크 구간을 선택하고, 상기 소정 위치의 화소의 깊이가 상기 배경 피크 구간에 속할 경우 상기 소정 위치의 화소를 배경 영역의 일부로 판단하며, 상기 배경 피크 구간에 속하지 않을 경우 상기 소정 위치의 화소를 전경 영역의 일부로 판단하는 제어부를 포함하는
    배경과 전경을 분리하는 장치.
  9. 제 1 항 내지 제 7 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는, 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
  10. 제 1 항 내지 제 7 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는 프로그램이 기록된 컴퓨터 판독 가능 기록매체.
KR1020160151742A 2016-11-15 2016-11-15 3d 영상에서 배경과 전경을 분리하는 장치 및 방법 KR101937436B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160151742A KR101937436B1 (ko) 2016-11-15 2016-11-15 3d 영상에서 배경과 전경을 분리하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160151742A KR101937436B1 (ko) 2016-11-15 2016-11-15 3d 영상에서 배경과 전경을 분리하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180054151A KR20180054151A (ko) 2018-05-24
KR101937436B1 true KR101937436B1 (ko) 2019-01-10

Family

ID=62296803

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160151742A KR101937436B1 (ko) 2016-11-15 2016-11-15 3d 영상에서 배경과 전경을 분리하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101937436B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161299B (zh) * 2018-11-08 2023-06-30 深圳富泰宏精密工业有限公司 影像分割方法、存储介质及电子装置
CN113916213A (zh) * 2020-07-08 2022-01-11 北京猎户星空科技有限公司 定位方法、装置、电子设备和计算机可读存储介质
CN111954075B (zh) * 2020-08-20 2021-07-09 腾讯科技（深圳）有限公司 视频处理模型状态调整方法、装置、电子设备及存储介质
CN112669328B (zh) * 2020-12-25 2023-04-07 人和未来生物科技（长沙）有限公司 一种医学图像分割方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016081251A (ja) * 2014-10-15 2016-05-16 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016081251A (ja) * 2014-10-15 2016-05-16 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
KR20180054151A (ko) 2018-05-24

Similar Documents

Publication Publication Date Title
KR101937436B1 (ko) 3d 영상에서 배경과 전경을 분리하는 장치 및 방법
CN109076198B (zh) 基于视频的对象跟踪遮挡检测系统、方法和设备
JP5976198B2 (ja) 人数計数装置および人数計数方法
JP7006702B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN106663325B (zh) 图像处理装置及其图像处理方法
KR20170091496A (ko) 양안 시차 영상의 처리 방법 및 장치
TWI500904B (zh) 立體攝影機及用來測量立體攝影機與基準面之距離的自動測距方法
KR20140109790A (ko) 영상 처리 장치 및 영상 처리 방법
KR20140088697A (ko) 깊이 영상 처리 장치 및 방법
CN105741312A (zh) 目标对象跟踪方法和设备
US11107237B2 (en) Image foreground detection apparatus and method and electronic device
JP2016058085A (ja) 対象の遮蔽を検出する方法と装置
CN103096117B (zh) 视频噪声检测方法及装置
CN104079798B (zh) 图像检测方法、装置及一种视频监控系统
US10296810B2 (en) Apparatus and method for determining lesion similarity of medical image
CN108596032B (zh) 一种视频中打架行为检测方法、装置、设备及介质
EP3156972A1 (en) Counting apparatus and method for moving objects
CN104766332B (zh) 一种图像处理方法及电子设备
JP5976126B2 (ja) ターゲットサイズを見積もるためのシステム及び方法
JP2010238008A (ja) 映像特徴抽出装置、及びプログラム
US20180357468A1 (en) Method and apparatus for determining temporal behaviour of an object
CN107818287B (zh) 一种客流统计装置及系统
JP7340487B2 (ja) プログラム作成装置、対象物検知システム、アンカー設定方法及びアンカー設定プログラム
CN110662106B (zh) 一种录像回放的方法及装置
KR101693106B1 (ko) 무작위 보팅을 이용하는 동영상에서의 움직임 분할 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right