KR20110066609A - 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법 - Google Patents

다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법 Download PDF

Info

Publication number
KR20110066609A
KR20110066609A KR1020090123341A KR20090123341A KR20110066609A KR 20110066609 A KR20110066609 A KR 20110066609A KR 1020090123341 A KR1020090123341 A KR 1020090123341A KR 20090123341 A KR20090123341 A KR 20090123341A KR 20110066609 A KR20110066609 A KR 20110066609A
Authority
KR
South Korea
Prior art keywords
background
foreground
codebook
codeword
image
Prior art date
Application number
KR1020090123341A
Other languages
English (en)
Other versions
KR101282196B1 (ko
Inventor
김갑기
황본우
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090123341A priority Critical patent/KR101282196B1/ko
Priority to US12/788,809 priority patent/US8538150B2/en
Publication of KR20110066609A publication Critical patent/KR20110066609A/ko
Application granted granted Critical
Publication of KR101282196B1 publication Critical patent/KR101282196B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

본 발명은 다시점 영상에서 코드북 기반의 전경 및 배경 분리 기술에 관한 것으로, 한정된 하드웨어와 하드웨어 운영프로그램을 이용하여 다시점 영상에서 전경 및 배경 분리 프로그램을 구동하는 경우, 메모리 사용량에는 한계가 있으므로, 다시점 영상 전체에서 코드북을 생성하고, 각 시점에서 화소 단위의 코드워드 맵핑 테이블을 생성하고, 각 시점에서 화소 단위의 코드워드 맵핑 테이블을 생성하여 전경 및 배경을 분리하는 것을 특징으로 한다. 본 발명에 의하면, 다시점 영상에서 전경 및 배경을 분리하기 위해 사용되는 한정된 하드웨어와 하드웨어 운영프로그램으로 다른 응용 프로그램과 메모리를 공유하여 사용하는 경우, 전경 및 배경의 분리 성능 저하를 최소화하면서도 메모리 사용량을 줄일 수 있다.
다시점 영상, 코드북, 전경, 배경, 메모리

Description

다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법{Apparatus and method for separating foreground and background of based codebook In a multi-view image}
본 발명은 영상에서 전경 및 배경을 분리하는 기술에 관한 것으로서, 특히 다시점 영상에서 전경 및 배경을 분리하는 경우, 성능 저하를 최소화 하면서도 메모리 사용량을 줄이는데 적합한 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법에 관한 것이다.
본 발명은 문화체육관광부의 IT성장동력기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-030-02, 과제명: 방통융합형 Full 3D 복원 기술 개발(표준화 연계)].
종래 기술에 따른 전경 및 배경의 분리 방식은 화소의 밝기 값으로 배경을 모델링하여 전경과 배경을 분리하였다.
그러나 복잡한 배경에서는 배경을 밝기 값으로 모델링 하기 쉽지 않으므로 가우시안 믹스쳐(Mixture of Gaussian, 이하 MOG라 한다) 방법을 통해 배경을 모델 링 하였다. 그러나 MOG 방법은, 배경의 빠른 변화를 적은 수의 가우시안으로는 모델링하기 어렵다는 단점이 있었다. 이에 가우시안 수를 증가시키고 학습 비율을 빠른 변화에 맞추면, 천천히 변하는 배경에 대해서는 전경으로 인식하는 문제점이 발생하였다.
한편 실제 적용 기술은 속도에 중점을 두고 있는 코드북 방법을 사용하는 것으로, 이는 기 설정된 조건을 만족하는지 여부에 따라 배경 모델을 생성하는데, 단점으로는 정교한 모델이 만들어지지 않을뿐더러 필요 이상의 배경 모델, 즉 코드북 내의 코드워드가 생성될 수 있기 때문에 속도 면에서는 장점이 있지만 많은 코드워드를 검색하게 되어 시간적인 손해가 발생하게 된다.
또한, 위의 기술에서 간과 되는 것이 메모리 사용량으로 픽셀 단위의 배경 모델이 생성 되는 경우 영상의 크기에 비례하여 메모리를 증가하여 사용하게 된다. 위에서 소개한 알고리즘 대부분은 단일 시점 영상에 한하여 적용한 것으로 다시점 영상에 대해 단일 시점에서 사용하는 알고리즘을 사용하는 경우, 시점이 늘어나는 만큼 메모리 사용량이 배수로 증가한다. 이러한 다시점 영상의 화질이 HD(high-definition)이상이 되면 메모리 제한이 불가피하게 되는데, 실제 적용을 위해 시스템 구성하는 측면에서는 하드웨어와 운용체제로 인한 메모리 제약을 받을 수 밖에 없다.
예를 들어, 일반적으로 사용되는 32 비트 윈도우 계열 운용프로그램에서 메모리 사용량이 최대 2GB 이하로 한정되어 있고, 전경/배경 분리 소프트웨어를 이용한 응용 프로그램을 사용한다면, 전경/배경 분리 소프트웨어에 할당되는 메모리 사 용은 제약을 받게 되며, 응용 프로그램이 1GB를 사용한다면 전경/배경 분리 소프트웨어는 1GB 이하를 사용할 수 있고, 이때 다시점, 즉 20대의 HD 카메라를 사용한다고 가정한다면, 한 시점에 50MB 정도의 메모리가 사용 가능함을 예상할 수 있다.
상기한 바와 같이 동작하는 종래 기술에 의한 영상의 전경/배경 분리 방식에 있어서는, 단일 시점 영상의 전경/배경 분리 처리 방법을 다시점 영상에 적용할 때 메모리 사용량에 제한을 받게 되며, 만약 전경/배경 분리 소프트웨어를 사용하는 응용 프로그램이 1GB 이상을 사용할 경우, 또는 HD 카메라 대수가 20대를 넘을 경우 예상할 수 있는 메모리 사용량은 더욱 줄어들 수 밖에 없다는 문제점이 있었다.
이에 본 발명은, 다시점 영상 전체에서 전경 및 배경을 분리하는 경우, 메모리 사용량을 줄이면서도 성능 저하를 최소화할 수 있는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법을 제공한다.
또한 본 발명은, 한정된 하드웨어와 하드웨어 운영프로그램을 이용하여 다시점 영상에서 전경 및 배경 분리 프로그램을 구동하는 경우, 메모리 사용량에는 한계가 있으므로, 다시점 영상 전체에서 코드북을 생성하고, 각 시점에서 화소 단위의 코드워드 맵핑 테이블을 생성하여 전경 및 배경을 분리할 수 있는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법을 제공한다.
본 발명의 일 실시예에 따른 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치는, 다시점 배경 영상으로부터 코드북을 추출하고, 상기 코드북과 연동하는 코드워드 맵핑 테이블을 생성하는 배경 모델 생성부와, 상기 코드북과 코드워드 맵핑 테이블을 이용하여 다시점 영상에서 전경 및 배경을 분리하는 전경 및 배경 분리 실행부를 포함한다.
여기서 상기 배경 모델 생성부는, 다시점 배경 영상의 각 화소 정보로부터 코드워드 인덱스를 추출하여 코드북 정보를 생성하는 코드북 생성부와, 각 시점에서 해당 코드북의 상기 코드워드 인덱스를 연결하는 코드워드 맵핑 테이블을 생성하는 코드워드 맵핑 테이블 생성부를 포함한다.
그리고 상기 코드북 생성부는, 상기 각 화소 정보와 기존에 생성된 코드워드 간의 거리를 측정하여 상기 기존에 생성된 코드워드에 대해 기 설정된 임계치 보다 큰 경우, 새로운 코드워드로 결정하고, 상기 기 설정된 임계치 보다 작은 경우, 기존 코드워드로 결정하는 것을 특징으로 한다.
또한, 상기 코드워드 맵핑 테이블 생성부는, 각 시점 별로 코드워드 맵핑 테이블을 생성하는 것을 특징으로 한다.
한편, 상기 배경 모델 생성부는, 각 코드워드 맵핑 테이블의 화소별로 해당하는 인덱스를 상기 코드북의 빈도수에 따라서 우선순위로 정렬하는 코드워드 재정렬부를 더 포함하는 것을 특징으로 한다.
그리고 상기 전경 및 배경 분리 실행부는, 상기 다시점 영상을 입력 받고, 상기 코드북과 코드워드 맵핑 테이블을 사용하여 상기 다시점 영상의 화소 정보와 해당하는 코드워드 정보 간의 거리를 측정하여 전경 및 배경을 결정하는 전배경 결정부와, 모폴로지 연산을 통하여 전경 및 배경으로 결정된 영상을 후처리하여 전경 및 배경으로 영상을 분리하는 후처리부를 포함하는 것을 특징으로 한다.
여기서, 상기 전배경 결정부는, 해당 화소가 위치한 코드워드들과 순차적으로 거리를 측정하여 측정된 거리값이 기 설정된 임계치 보다 가까운 경우, 배경으로 결정하고, 상기 측정된 거리값이 기 설정된 임계치보다 멀거나 같은 경우, 전경으로 결정하는 것을 특징으로 한다.
이때, 상기 모폴로지 연산은, 입력된 영상 전체에 대한 이진화를 수행한 후, 이진화된 영상에서 배경에 대해 전경의 크기를 축소하는 침식 연산과, 상기 배경에 대해 전경을 균일하게 확장시키는 팽창 연산을 수행한 후, 각 연산을 통해 출력된 두 영상 사이의 차이를 이용하여 각 영역의 경계선을 처리하는 것을 특징으로 한다.
그리고 상기 배경 모델 생성부는, 특정 영상의 컬러 모델을 기반으로 하는 경우, 다시점 영상 전체에서 배경 색상 정보가 모델링된 코드워드와, 컬러 공간에서 3차원 위치 정보를 나타내는 코드북과, 각 위치에서 코드워드 수와 코드워드의 인덱스로 구성되는 코드워드 맵핑 테이블로 설정되는 것을 특징으로 한다.
한편, 상기 전경 및 배경 분리 장치의 전경 및 배경 분리 성능은, 배경을 전경으로 잘못 판단한 화소의 개수와, 상기 전경을 상기 배경으로 잘못 판단한 화 소의 개수의 합을 전경을 구성하는 화소의 개수로 나눈 값을 통해 산출되는 오류율로 판단하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 다시점 영상에서 코드북 기반의 전경 및 배경 분리 방법은, 다시점 배경 영상으로부터 코드북을 추출하고, 상기 코드북과 연동하는 코드워드 맵핑 테이블을 생성하는 배경 모델 생성 과정과, 상기 코드북과 코드워드 맵핑 테이블을 이용하여 다시점 영상에서 전경 및 배경을 분리하는 전경 및 배경 분리 실행 과정을 포함한다.
여기서, 상기 배경 모델 생성 과정은, 다시점 배경 영상의 각 화소 정보로부터 코드워드 인덱스를 추출하여 코드북 정보를 생성하는 과정과, 각 시점에서 해당 코드북의 상기 코드워드 인덱스를 연결하는 코드워드 맵핑 테이블을 생성하는 과정을 포함한다.
그리고 상기 전경 및 배경 분리 실행 과정은, 상기 각 화소 정보와 기존에 생성된 코드워드 간의 거리를 측정하여 상기 기존에 생성된 코드워드에 대해 기 설정된 임계치 보다 큰 경우, 새로운 코드워드로 결정하는 과정과, 상기 기 설정된 임계치 보다 작은 경우, 기존 코드워드로 결정하는 과정을 포함 한다.
그리고 상기 코드워드 맵핑 테이블을 생성하는 과정은, 각 시점 별로 코드워드 맵핑 테이블을 생성하는 것을 특징으로 한다.
한편, 상기 배경 모델 생성 과정은, 각 코드워드 맵핑 테이블의 화소별로 해당하는 인덱스를 상기 코드북의 빈도수에 따라서 우선순위로 정렬하는 과정을 더 포함하는 것을 특징으로 한다.
한편, 상기 전경 및 배경 분리 실행 과정은, 상기 다시점 영상을 입력 받는 과정과, 상기 코드북과 코드워드 맵핑 테이블을 사용하여 상기 다시점 영상의 화소 정보와 해당하는 코드워드 정보 간의 거리를 측정하여 전경 및 배경을 결정하는 과정과, 모폴로지 연산을 통하여 전경 및 배경으로 결정된 영상을 후처리하여 전경 및 배경으로 영상을 분리하는 후처리 과정을 포함 한다.
그리고 상기 전경 및 배경을 결정하는 과정은, 해당 화소가 위치한 코드워드들과 순차적으로 거리를 측정하여 측정된 거리값이 기 설정된 임계치 보다 가까운 경우, 배경으로 결정하는 과정과, 상기 측정된 거리값이 기 설정된 임계치보다 멀거나 같은 경우, 전경으로 결정하는 과정을 포함하는 것을 특징으로 한다.
여기서, 상기 모폴로지 연산은, 입력된 영상 전체에 대한 이진화를 수행한 후, 이진화된 영상에서 배경에 대해 전경의 크기를 축소하는 침식 연산 과정과, 상기 배경에 대해 전경을 균일하게 확장시키는 팽창 연산을 수행하는 과정과, 각 연산을 통해 출력된 두 영상 사이의 차이를 이용하여 각 영역의 경계선을 처리하는 과정을 토대로 수행하는 것을 특징으로 한다.
그리고 상기 배경 모델 생성 과정은, 특정 영상의 컬러 모델을 기반으로 하는 경우, 다시점 영상 전체에서 배경 색상 정보가 모델링된 코드워드와, 컬러 공간에서 3차원 위치 정보를 나타내는 코드북과, 각 위치에서 코드워드 수와 코드워드의 인덱스로 구성되는 코드워드 맵핑 테이블로 설정하는 것을 특징으로 한다.
한편, 상기 전경 및 배경 분리 방법의 전경 및 배경 분리 성능은, 배경을 전경으로 잘못 판단한 화소의 개수와, 상기 전경을 상기 배경으로 잘못 판단한 화소 의 개수의 합을 전경을 구성하는 화소의 개수로 나눈 값을 통해 산출되는 오류율로 판단하는 것을 특징으로 한다.
상기와 같은 본 발명의 실시예에 따른 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법에 따르면 다음과 같은 효과가 있다.
본 발명의 실시예에 따른 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법에 의하면, 다시점 영상에서 전경 및 배경을 분리하기 위해 사용되는 하드웨어와 하드웨어 운영프로그램에는 어느 정도 한계가 있으며, 다른 응용 프로그램과 메모리를 공유하여 사용하는 경우, 다시점 영상에서 전경 및 배경을 분리하는 성능 저하를 최소화 하면서도 메모리 사용량을 줄일 수 있는 효과가 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 발명의 실시예는, 한정된 하드웨어와 하드웨어 운영프로그램을 이용하여 다시점 영상에서 전경 및 배경 분리 프로그램을 구동하는 경우, 메모리 사용량에는 한계가 있으므로, 다시점 영상 전체에서 코드북을 생성하고, 각 시점에서 화소 단위의 코드워드 맵핑 테이블을 생성하여 전경 및 배경을 분리한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 전경 및 배경 분리 장치의 구조를 도시한 블록도이다.
도 1을 참조하면, 전경 및 배경 분리 장치는 다시점 배경 영상을 입력으로 공유하는 코드북을 생성하고, 생성된 코드북과 연동하는 코드워드 맵핑 테이블을 생성하는 배경모델 생성부와(100), 생성된 다시점 영상에서 공유하는 코드북과 코드워드 맵핑 테이블을 이용하여 입력되는 다시점 영상에서 전경 및 배경을 분리하는 전경/배경 분리 실행부(150) 등을 포함한다.
여기서, 배경모델 생성부(100)는 코드북 생성부(102), 코드워드 맵핑 테이블 생성부(104), 코드워드 재정렬부(106) 등을 포함하며, 전경/배경 분리 실행부(150)는 전배경 결정부(152)와, 후처리부(154) 등을 포함한다.
구체적으로 배경 모델 생성부(100)의 코드북 생성부(102)에서는 배경모델의 생성을 위하여 입력되는 다시점 영상(예컨대, N개의 다시점 배경 영상)의 각 화소 정보로부터 코드북 정보를 추출하여 생성하고, 코드워드 맵핑 테이블 생성부(104)에서는 입력되는 다시점 영상 정보를 토대로 각 시점에서 해당 코드북의 코드워드 인덱스를 연결하는 코드워드 맵핑 테이블을 생성한다.
이때, 코드북 생성부(102)에서 생성되는 코드북은 다시점 영상 전체를 기준으로 하나가 생성되지만, 반면에 코드워드 맵핑 테이블 생성부(104)에서 생성되는 코드워드 맵핑 테이블은 각 시점, 즉 각 카메라 단위로 만들어지므로 만약 N대의 카메라가 있는 경우, N개의 코드워드 맵핑 테이블을 생성하게 된다.
그리고 코드북 생성부(102)에서의 코드북 생성은 입력되는 다시점 영상의 화소 정보와 기존에 생성된 코드워드 간의 거리를 측정하여 측정된 값에 따라 기존 코드워드로 결정하거나, 새로운 코드워드를 등록할지 여부를 결정한다. 이에 측정된 거리값이 기존 코드워드에 대해서 기 설정된 임계치(예를 들어, 설정된 임계치를 입실론(EPSILON)이라 함) 보다 클 경우, 다른 코드워드로 인식하여 코드북에 새 로운 코드워드를 추가하고, 기 설정된 임계치 보다 작을 경우 기존 코드워드로 인식하여 처리한다.
코드워드 맵핑 테이블 생성부(104)에서 코드워드 맵핑 테이블의 생성은 입력되는 다시점 영상에서 화소의 시점(예컨대, 해당 카메라)과 위치(예컨대, 영상에서의 해당 좌표)를 알고 있으므로, 코드워드 생성부(102)에서 지정된 코드워드 인덱스를 코드워드 맵핑 테이블의 해당 위치에 저장한다. 이때 코드워드 맵핑 테이블에는 같은 내용이 중복되는 것을 허용하지 않으며, 고유한 코드워드 수가 각 위치에 저장된다.
그리고 코드워드 재정렬부(106)는 발생 빈도수에 기반하여 코드워드를 정렬하는 것으로서, 전체 입력 영상에 대해서 처리한 후 각 코드워드 맵핑 테이블의 화소별로 해당하는 인덱스를 코드북의 빈도수에 따라서 많은 순서가 처음으로 오도록 정렬한다.
전경/배경 분리 실행부(150) 내의 전배경 결정부(152)는 배경모델 생성부(100)에서 만들어진 코드북과 코드워드 맵핑 테이블을 사용하여 입력되는 다시점 영상 화소 정보와 해당하는 코드워드 정보 간의 거리를 측정하여 전경 및 배경을 결정한다.
거리 값은 해당 화소가 위치한 코드워드들과의 차례대로 입실론이라 정의한 임계치와 함께 거리를 측정하는데, 거리가 임계치 보다 가까우면 배경으로 결정하고, 거리가 임계치 보다 멀면 차례대로 동일한 거리 측정을 수행하고, 해당 위치에서 임계치보다 가까운 거리의 코드워드가 없으면 전경으로 결정한다.
이에 전배경 결정부(152)를 통해 전경 및 배경으로 결정되어 분리된 영상은 후처리부(154)로 전달된다.
후처리부(154)는 모폴로지(morphology) 기반으로 전경 및 배경으로 결정되어 분리된 영상에 대한 후처리를 통해 좀 더 정확한 전경 및 배경으로 분리된 영상을 출력한다. 이때, 후처리에는 모폴로지 연산이 사용되며, 끊어진 엣지(edge), 혹은 겹치는 영역, 잡음 영역에 대한 처리를 통해 경계선을 확립할 수 있다.
이에 모폴로지 연산은, 영상 전체에 대한 이진화를 수행한 후, 이진화된 영상에서 배경에 대해 전경의 크기를 축소하는 침식 연산과, 배경에 대해 전경을 균일하게 확장시키는 팽창 연산을 수행한 후, 각 연산을 통해 출력된 두 영상 사이의 차이를 이용하여 좀 더 정확하게 각 영역의 경계선을 처리하게 된다.
도 2는 본 발명의 실시예에 따른 전경 및 배경 분리 장치의 동작 절차를 도시한 흐름도이다.
도 2를 참조하면, 200단계에서 배경 모델 생성부(100)에서 입력 받은 N개의 다시점 배경 영상은 코드북 생성부(102)와 코드워드 맵핑 테이블 생성부(104)로 전달되어, 202단계에서 코드북 생성부(102)는 다시점 배경 영상의 각 화소 정보로부터 코드북 정보를 추출하여 생성한다.
그리고 204단계에서 코드워드 맵핑 테이블 생성부(104)는 각 시점에서 화소 단위의 코드워드 맵핑 테이블을 생성한다. 이후, 코드워드 재정렬부(106)에서는 206단계에서 생성된 코드북 및 코드워드 맵핑 테이블을 입력 받아 각 코드워드 맵핑 테이블의 화소별로 해당하는 인덱스를 코드북의 빈도수에 따라 순차적으로 정렬 하게 된다.
코드북과 재정렬된 N개의 코드워드 맵핑 테이블은 전경/배경 분리 실행부로 전달되어, 208단계에서 전배경 결정부(152)는 N개의 다시점 영상의 화소 정보와 해당하는 코드워드 정보 간의 거리 측정을 통해 전경 및 배경을 결정하고, 결정된 전경 및 배경의 분리 영상을 모폴로지 기반으로 후처리하여 전경 및 배경이 분리된 영상을 출력하게 된다.
도 3은 본 발명의 실시예에 따른 코드북 생성 및 코드워드 맵핑 테이블 생성 방식을 도시한 도면이다.
도 3을 참조하면, LAB 컬러 모델을 기반으로 배경 모델 생성부(100)를 동작하는 것으로서, 코드북 정보(LAB 컬러 공간에서 3차원 위치 정보)로 컬러를 사용했고, 공간 내에서 구(sphere)(300)의 집합으로 표현 된다. 여기서 각 코드워드들은 입실론(EPSILON)이라는 임계치를 반지름으로 하는 구(300)를 의미하고 해당 코드워드는 다시점 영상 전체에서 배경 색상 정보를 모델링한 것이 된다.
이에 배경모델 생성부(100)에서는 도 2의 코드북(310) 형태로 저장 되고, 각 시점의 화소 위치에 나타날 수 있는 코드워드(302)를 저장한 것이 코드워드 맵핑 테이블(320)이 된다. 코드워드 맵핑 테이블의 구조는 해당 위치에서 코드워드 수(322)와 코드워드의 인덱스(324)가 된다. 이런 방식으로 배경모델 생성부(100)에 저장된 것을 전경/배경 분리 실행부(150)에서 참조하여 전경과 배경으로 분리를 수행한다.
한편, 하기에서는 본 발명의 전경 및 배경 분리 장치를 적용한 결과를 기술 한 것으로, 여러 장점들을 구체적인 수치로 산출한 것이다.
먼저, 전경 및 배경의 분리 성능은 오류율로 측정하였고, 오류율은 아래의 식과 같다.
Figure 112009076728014-PAT00001
여기서, false positive #은 배경을 전경으로 잘못 판단한 화소의 개수이고, false negative #은 전경을 배경으로 잘못 판단한 화소의 개수이며, object #은 전경을 구성하는 화소의 개수이다.
즉, 배경을 전경으로 잘못 판단한 화소의 개수와, 전경을 배경으로 잘못 판단한 화소의 개수의 합을 전경을 구성하는 화소의 개수로 나눈 값이 오류율이 된다.
도 4는 본 발명의 실시예에 따른 단일 시점 영상에 적용하는 LAB 컬러 모델의 코드북 기반 전경/배경 분리 방법을 다시점 영상에 적용한 전경/배경 분리 정확도 성능 그래프이다.
도 4를 참조하면, 전경/배경 분리 오류율을 통해 최고 성능의 임계치를 내는 EPSILON 225(400)에서 카메라 별로 최소 4.9%에서 최대 11.47% 의 전경/배경 분리 오류율을 나타내고 있음을 알 수 있으며, 이 그래프를 통해 전경/배경 분리 성능의 저하가 없을 확인 할 수 있다.
도 5는 본 발명의 바람직한 실시예에 따른 다시점 영상에서 LAB 컬러 모델의 코드북 기반 전경/배경 분리 정확도 성능 그래프이다.
도 5를 참조하면, 도 3의 코드북 생성 및 코드워드 맵핑 테이블을 통해 생성되는 DB를 적용한 오류율 성능을 산출한 것으로서, 동일한 EPSILON 225(500)에서 최소 4.24%에서 최대 11.74%의 전경/배경 분리 오류율 성능을 얻었다. 결론적으로 성능 적인 면에서 제안한 방법이 전경/배경 분리 성능적 차이가 거의 없고 때로는 성능이 더 높음을 알 수 있다.
한편, 실제 전경/배경 분리 프로그램에서의 구동 테스트 결과 메모리 사용량에서는 단일 시점 영상에 적용하는 LAB 컬러 모델 코드북 기반 전경/배경 분리 방법이 20대의 HD 카메라를 기준으로 700MB 정도였지만, 제안한 방법은 270MB 정도로 메모리 사용량을 확연히 줄일 수 있다. 그리고 단위 시간당 처리 속도도 종래와 거의 같은 수준인 66 fps ~100fps로 측정되었으므로, 별다른 성능 저하 없이 메모리 사용량을 중일 수 있다는 장점이 있다.
이상 설명한 바와 같이, 본 발명의 실시예에 따른 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법은, 한정된 하드웨어와 하드웨어 운영프로그램을 이용하여 다시점 영상에서 전경 및 배경 분리 프로그램을 구동하는 경우, 메모리 사용량에는 한계가 있으므로, 다시점 영상 전체에서 코드북을 생성하고, 각 시점에서 화소 단위의 코드워드 맵핑 테이블을 생성하여 전경 및 배경을 분리한다.
한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이 다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되지 않으며, 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 실시예에 따른 전경 및 배경 분리 장치의 구조를 도시한 블록도,
도 2는 본 발명의 실시예에 따른 전경 및 배경 분리 장치의 동작 절차를 도시한 흐름도,
도 3은 본 발명의 실시예에 따른 코드북 생성 및 코드워드 맵핑 테이블 생성 방식을 도시한 도면,
도 4는 본 발명의 실시예에 따른 단일 시점 영상에 적용하는 LAB 컬러 모델의 코드북 기반 전경/배경 분리 방법을 다시점 영상에 적용한 전경/배경 분리 정확도 성능 그래프,
도 5는 본 발명의 바람직한 실시예에 따른 다시점 영상에서 LAB 컬러 모델의 코드북 기반 전경/배경 분리 정확도 성능 그래프.
<　도면의 주요 부분에 대한 부호 설명 >
100 : 배경 모델 생성부 102 : 코드북 생성부
104 : 코드워드 맵핑 테이블 생성부 106 : 코드워드 재정렬부
150 : 전경/배경 분리 실행부　　　　 152 : 전배경 결정부
154 : 후처리부 300 : 구(sphere)
310 : 코드북 302 : 코드워드 320 : 코드워드 맵핑 테이블
322 : 코드워드수 324 : 코드워드 인덱스

Claims (20)

  1. 다시점 배경 영상으로부터 코드북을 추출하고, 상기 코드북과 연동하는 코드워드 맵핑 테이블을 생성하는 배경 모델 생성부와,
    상기 코드북과 코드워드 맵핑 테이블을 이용하여 다시점 영상에서 전경 및 배경을 분리하는 전경 및 배경 분리 실행부
    를 포함하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치.
  2. 제 1항에 있어서,
    상기 배경 모델 생성부는,
    다시점 배경 영상의 각 화소 정보로부터 코드워드 인덱스를 추출하여 코드북 정보를 생성하는 코드북 생성부와,
    각 시점에서 해당 코드북의 상기 코드워드 인덱스를 연결하는 코드워드 맵핑 테이블을 생성하는 코드워드 맵핑 테이블 생성부
    를 포함하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치.
  3. 제2항에 있어서,
    상기 코드북 생성부는,
    상기 각 화소 정보와 기존에 생성된 코드워드 간의 거리를 측정하여 상기 기존에 생성된 코드워드에 대해 기 설정된 임계치 보다 큰 경우, 새로운 코드워드로 결정하고, 상기 기 설정된 임계치 보다 작은 경우, 기존 코드워드로 결정하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치.
  4. 제 2항에 있어서,
    상기 코드워드 맵핑 테이블 생성부는,
    각 시점 별로 코드워드 맵핑 테이블을 생성하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치.
  5. 제 1항에 있어서,
    상기 배경 모델 생성부는,
    각 코드워드 맵핑 테이블의 화소별로 해당하는 인덱스를 상기 코드북의 빈도수에 따라서 우선순위로 정렬하는 코드워드 재정렬부
    를 더 포함하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치.
  6. 제 1항에 있어서,
    상기 전경 및 배경 분리 실행부는,
    상기 다시점 영상을 입력 받고,
    상기 코드북과 코드워드 맵핑 테이블을 사용하여 상기 다시점 영상의 화소 정보와 해당하는 코드워드 정보 간의 거리를 측정하여 전경 및 배경을 결정하는 전배경 결정부와,
    모폴로지 연산을 통하여 전경 및 배경으로 결정된 영상을 후처리하여 전경 및 배경으로 영상을 분리하는 후처리부
    를 포함하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치.
  7. 제 6항에 있어서,
    상기 전배경 결정부는,
    해당 화소가 위치한 코드워드들과 순차적으로 거리를 측정하여 측정된 거리값이 기 설정된 임계치 보다 가까운 경우, 배경으로 결정하고,
    상기 측정된 거리값이 기 설정된 임계치보다 멀거나 같은 경우, 전경으로 결정하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치.
  8. 제 6항에 있어서,
    상기 모폴로지 연산은,
    입력된 영상 전체에 대한 이진화를 수행한 후, 이진화된 영상에서 배경에 대해 전경의 크기를 축소하는 침식 연산과,
    상기 배경에 대해 전경을 균일하게 확장시키는 팽창 연산을 수행한 후, 각 연산을 통해 출력된 두 영상 사이의 차이를 이용하여 각 영역의 경계선을 처리하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치.
  9. 제 1항에 있어서,
    상기 배경 모델 생성부는,
    특정 영상의 컬러 모델을 기반으로 하는 경우, 다시점 영상 전체에서 배경 색상 정보가 모델링된 코드워드와, 컬러 공간에서 3차원 위치 정보를 나타내는 코드북과, 각 위치에서 코드워드 수와 코드워드의 인덱스로 구성되는 코드워드 맵핑 테이블로 설정되는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치.
  10. 제 1항에 있어서,
    상기 전경 및 배경 분리 장치의 전경 및 배경 분리 성능은,
    배경을 전경으로 잘못 판단한 화소의 개수와, 상기 전경을 상기 배경으로 잘못 판단한 화소의 개수의 합을 전경을 구성하는 화소의 개수로 나눈 값을 통해 산출되는 오류율로 판단하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치.
  11. 다시점 배경 영상으로부터 코드북을 추출하고, 상기 코드북과 연동하는 코드워드 맵핑 테이블을 생성하는 배경 모델 생성 과정과,
    상기 코드북과 코드워드 맵핑 테이블을 이용하여 다시점 영상에서 전경 및 배경을 분리하는 전경 및 배경 분리 실행 과정
    을 포함하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 방법.
  12. 제 11항에 있어서,
    상기 배경 모델 생성 과정은,
    다시점 배경 영상의 각 화소 정보로부터 코드워드 인덱스를 추출하여 코드북 정보를 생성하는 과정과,
    각 시점에서 해당 코드북의 상기 코드워드 인덱스를 연결하는 코드워드 맵 핑 테이블을 생성하는 과정
    을 포함하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 방법.
  13. 제12항에 있어서,
    상기 전경 및 배경 분리 실행 과정은,
    상기 각 화소 정보와 기존에 생성된 코드워드 간의 거리를 측정하여 상기 기존에 생성된 코드워드에 대해 기 설정된 임계치 보다 큰 경우, 새로운 코드워드로 결정하는 과정과,
    상기 기 설정된 임계치 보다 작은 경우, 기존 코드워드로 결정하는 과정
    을 포함하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 방법.
  14. 제 12항에 있어서,
    상기 코드워드 맵핑 테이블을 생성하는 과정은,
    각 시점 별로 코드워드 맵핑 테이블을 생성하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 방법.
  15. 제 11항에 있어서,
    상기 배경 모델 생성 과정은,
    각 코드워드 맵핑 테이블의 화소별로 해당하는 인덱스를 상기 코드북의 빈도수에 따라서 우선순위로 정렬하는 과정
    을 더 포함하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 방법.
  16. 제 11항에 있어서,
    상기 전경 및 배경 분리 실행 과정은,
    상기 다시점 영상을 입력 받는 과정과,
    상기 코드북과 코드워드 맵핑 테이블을 사용하여 상기 다시점 영상의 화소 정보와 해당하는 코드워드 정보 간의 거리를 측정하여 전경 및 배경을 결정하는 과정과,
    모폴로지 연산을 통하여 전경 및 배경으로 결정된 영상을 후처리하여 전경 및 배경으로 영상을 분리하는 후처리 과정
    을 포함하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 방법.
  17. 제 16항에 있어서,
    상기 전경 및 배경을 결정하는 과정은,
    해당 화소가 위치한 코드워드들과 순차적으로 거리를 측정하여 측정된 거리값이 기 설정된 임계치 보다 가까운 경우, 배경으로 결정하는 과정과,
    상기 측정된 거리값이 기 설정된 임계치보다 멀거나 같은 경우, 전경으로 결정하는 과정
    을 포함하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 방법.
  18. 제 16항에 있어서,
    상기 모폴로지 연산은,
    입력된 영상 전체에 대한 이진화를 수행한 후, 이진화된 영상에서 배경에 대해 전경의 크기를 축소하는 침식 연산 과정과,
    상기 배경에 대해 전경을 균일하게 확장시키는 팽창 연산을 수행하는 과정과,
    각 연산을 통해 출력된 두 영상 사이의 차이를 이용하여 각 영역의 경계선을 처리하는 과정을 토대로 수행하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 방법.
  19. 제 11항에 있어서,
    상기 배경 모델 생성 과정은,
    특정 영상의 컬러 모델을 기반으로 하는 경우, 다시점 영상 전체에서 배경 색상 정보가 모델링된 코드워드와, 컬러 공간에서 3차원 위치 정보를 나타내는 코드북과, 각 위치에서 코드워드 수와 코드워드의 인덱스로 구성되는 코드워드 맵핑 테이블로 설정하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 방법.
  20. 제 11항에 있어서,
    상기 전경 및 배경 분리 방법의 전경 및 배경 분리 성능은,
    배경을 전경으로 잘못 판단한 화소의 개수와, 상기 전경을 상기 배경으로 잘못 판단한 화소의 개수의 합을 전경을 구성하는 화소의 개수로 나눈 값을 통해 산출되는 오류율로 판단하는 것을 특징으로 하는 다시점 영상에서 코드북 기반의 전경 및 배경 분리 방법.
KR1020090123341A 2009-12-11 2009-12-11 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법 KR101282196B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090123341A KR101282196B1 (ko) 2009-12-11 2009-12-11 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법
US12/788,809 US8538150B2 (en) 2009-12-11 2010-05-27 Method and apparatus for segmenting multi-view images into foreground and background based on codebook

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090123341A KR101282196B1 (ko) 2009-12-11 2009-12-11 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110066609A true KR20110066609A (ko) 2011-06-17
KR101282196B1 KR101282196B1 (ko) 2013-07-04

Family

ID=44142982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090123341A KR101282196B1 (ko) 2009-12-11 2009-12-11 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법

Country Status (2)

Country Link
US (1) US8538150B2 (ko)
KR (1) KR101282196B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101268596B1 (ko) * 2011-07-28 2013-06-04 광주과학기술원 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치 및 방법
US9916694B2 (en) 2016-03-08 2018-03-13 Foundation Of Soongsil University-Industry Cooperation Method for hole filling in 3D model, and recording medium and apparatus for performing the same
US9961330B2 (en) 2015-03-02 2018-05-01 Electronics And Telecommunications Research Institute Device and method of generating multi-view immersive content

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101215987B1 (ko) * 2008-12-22 2012-12-28 한국전자통신연구원 전경/배경 분리 장치 및 방법
US8503767B2 (en) * 2009-09-16 2013-08-06 Microsoft Corporation Textual attribute-based image categorization and search
CN102510437B (zh) * 2011-10-25 2014-07-16 重庆大学 基于rgb分量分布的视频图像背景检测方法
CN102568206B (zh) * 2012-01-13 2014-09-10 大连民族学院 一种基于视频监控的违章停车检测方法
CN104978734B (zh) * 2014-04-11 2019-06-18 北京数码视讯科技股份有限公司 前景图像的提取方法及装置
JP6482195B2 (ja) * 2014-07-02 2019-03-13 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
CN105678347A (zh) * 2014-11-17 2016-06-15 中兴通讯股份有限公司 行人检测方法及装置
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10242474B2 (en) * 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
CN105488814A (zh) * 2015-11-25 2016-04-13 华南理工大学 一种检测视频中摇动背景的方法
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
KR102579994B1 (ko) * 2016-10-24 2023-09-18 삼성에스디에스 주식회사 다중 배경 모델을 이용한 전경 생성 방법 및 그 장치
US10535142B2 (en) 2017-01-10 2020-01-14 Electronics And Telecommunication Research Institute Method and apparatus for accelerating foreground and background separation in object detection using stereo camera
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
CN107633545A (zh) * 2017-08-25 2018-01-26 包谦 一种全景图像的处理方法
TWI667620B (zh) * 2018-01-25 2019-08-01 國立臺灣大學 蟲害監控系統
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6983074B1 (en) * 2000-06-14 2006-01-03 Adobe Systems Incorporated Data compression system and technique
US20030058111A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Computer vision based elderly care monitoring system
KR100433625B1 (ko) * 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치
US6999620B1 (en) * 2001-12-10 2006-02-14 Hewlett-Packard Development Company, L.P. Segmenting video input using high-level feedback
US6898313B2 (en) * 2002-03-06 2005-05-24 Sharp Laboratories Of America, Inc. Scalable layered coding in a multi-layer, compound-image data transmission system
US7127127B2 (en) * 2003-03-04 2006-10-24 Microsoft Corporation System and method for adaptive video fast forward using scene generative models
US20040222987A1 (en) * 2003-05-08 2004-11-11 Chang Nelson Liang An Multiframe image processing
US7606417B2 (en) * 2004-08-16 2009-10-20 Fotonation Vision Limited Foreground/background segmentation in digital images with differential exposure calculations
JP2008514261A (ja) 2004-09-28 2008-05-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像処理装置及び方法
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
ITRM20050192A1 (it) * 2005-04-20 2006-10-21 Consiglio Nazionale Ricerche Sistema per la rilevazione e la classificazione di eventi durante azioni in movimento.
KR100748719B1 (ko) 2005-07-14 2007-08-13 연세대학교 산학협력단 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
US8467570B2 (en) * 2006-06-14 2013-06-18 Honeywell International Inc. Tracking system with fused motion and object detection
KR100926520B1 (ko) 2006-12-05 2009-11-12 한국전자통신연구원 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법
KR100918392B1 (ko) * 2006-12-05 2009-09-24 한국전자통신연구원 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법
KR100845969B1 (ko) * 2006-12-29 2008-07-11 아주대학교산학협력단 동적객체 영역 추출방법 및 장치
US8045800B2 (en) * 2007-06-11 2011-10-25 Microsoft Corporation Active segmentation for groups of images
KR100953076B1 (ko) * 2007-12-13 2010-04-13 한국전자통신연구원 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
US9031279B2 (en) * 2008-07-09 2015-05-12 Disney Enterprises, Inc. Multiple-object tracking and team identification for game strategy analysis
BRPI0917864A2 (pt) * 2008-08-15 2015-11-24 Univ Brown aparelho e método para estimativa da forma corporal
KR101215987B1 (ko) * 2008-12-22 2012-12-28 한국전자통신연구원 전경/배경 분리 장치 및 방법
US8253792B2 (en) * 2009-08-28 2012-08-28 GM Global Technology Operations LLC Vision system for monitoring humans in dynamic environments

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101268596B1 (ko) * 2011-07-28 2013-06-04 광주과학기술원 정사각 코드북과 다중 경계 값이 적용된 텍스쳐 특징을 이용한 전경 검출 장치 및 방법
US9961330B2 (en) 2015-03-02 2018-05-01 Electronics And Telecommunications Research Institute Device and method of generating multi-view immersive content
US9916694B2 (en) 2016-03-08 2018-03-13 Foundation Of Soongsil University-Industry Cooperation Method for hole filling in 3D model, and recording medium and apparatus for performing the same

Also Published As

Publication number Publication date
US8538150B2 (en) 2013-09-17
US20110142343A1 (en) 2011-06-16
KR101282196B1 (ko) 2013-07-04

Similar Documents

Publication Publication Date Title
KR101282196B1 (ko) 다시점 영상에서 코드북 기반의 전경 및 배경 분리 장치 및 방법
CN105981051B (zh) 用于图像解析的分层互连多尺度卷积网络
KR101215987B1 (ko) 전경/배경 분리 장치 및 방법
CN110689599B (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
US10037602B2 (en) Method and apparatus for enhancing stereo vision
CN111126202A (zh) 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN102196292B (zh) 基于人机交互生成视频深度图序列的方法及系统
CN111462183A (zh) 一种基于注意力机制双流网络的行为识别方法及系统
KR102161052B1 (ko) 영상에서 객체를 분리하는 방법 및 장치.
SE1000142A1 (sv) Digital bildmanipulation innefattande identifiering av ett målområde i en målbild och sömlös ersättning av bildinformation utifrån en källbild
KR101173559B1 (ko) 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법
CN109308711A (zh) 目标检测方法、装置及图像处理设备
CN108463823A (zh) 一种用户头发模型的重建方法、装置及终端
CN111738265A (zh) Rgb-d图像的语义分割方法、系统、介质及电子设备
CN112465709B (zh) 一种图像增强方法、装置、存储介质及设备
CN113963170A (zh) 一种基于交互式特征融合的rgbd图像显著性检测方法
CN107886533B (zh) 立体图像的视觉显著性检测方法、装置、设备及存储介质
CN115330940A (zh) 一种三维重建方法、装置、设备和介质
US9679205B2 (en) Method and system for displaying stereo image by cascade structure and analyzing target in image
CN105893578B (zh) 一种照片选择的方法及装置
CN117036770A (zh) 基于级联注意力的检测模型训练和目标检测方法、系统
KR101849696B1 (ko) 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치
CN112990226A (zh) 一种基于机器学习的显著性物体检测方法
CN104079915A (zh) 一种并行虚拟视点合成方法
CN115965848B (zh) 一种图像处理方法和相关装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190527

Year of fee payment: 7