KR100960694B1 - 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체 - Google Patents

다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체 Download PDF

Info

Publication number
KR100960694B1
KR100960694B1 KR1020080108864A KR20080108864A KR100960694B1 KR 100960694 B1 KR100960694 B1 KR 100960694B1 KR 1020080108864 A KR1020080108864 A KR 1020080108864A KR 20080108864 A KR20080108864 A KR 20080108864A KR 100960694 B1 KR100960694 B1 KR 100960694B1
Authority
KR
South Korea
Prior art keywords
image
view
multiview
foreground
trimap
Prior art date
Application number
KR1020080108864A
Other languages
English (en)
Other versions
KR20100049855A (ko
Inventor
호요성
현명한
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020080108864A priority Critical patent/KR100960694B1/ko
Publication of KR20100049855A publication Critical patent/KR20100049855A/ko
Application granted granted Critical
Publication of KR100960694B1 publication Critical patent/KR100960694B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20041—Distance transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체에 관한 것이다. 보다 상세하게는 기준 시점의 트라이맵을 모든 시점과 공유함으로써 모든 시점의 전경을 추출해 낼 수 있고, 각 시점의 트라이맵을 각각 독립적으로 만들어서 매팅을 구현하는 것보다 빠른 시간 내에 다시점 매팅이 가능하도록 하며, 추출된 다시점 전경을 다시점 배경과 합성함으로써 다시점 전경과 다시점 배경이 자연스럽게 병합된 다시점 합성 영상을 구현할 수 있을 뿐만 아니라, 각 시점마다의 특성에 부합하는 알파맷을 획득함으로써 전경 객체의 경계 부분을 정확하게 분리해 낼 수 있는 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체에 관한 것이다.
이를 위해 본 발명은 단일 트라이맵(trimap)을 사용하여 다시점 영상으로부터 모든 시점의 전경 객체를 추출하고, 상기 각 전경 객체를 해당 시점의 배경과 합성하여 다시점 합성 영상을 생성하는 것을 특징으로 하는 다시점 영상 매팅 시스템을 제공한다.
다시점 영상 매팅, 트라이맵, 알파맷, 합성 개구 영상, 분산 영상

Description

다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체{System and Method for matting multi-view image, Storage medium storing the same}
본 발명은 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체에 관한 것이다. 보다 상세하게는 기준 시점의 트라이맵을 모든 시점과 공유함으로써 모든 시점의 전경을 추출해 낼 수 있고, 각 시점의 트라이맵을 각각 독립적으로 만들어서 매팅을 구현하는 것보다 빠른 시간 내에 다시점 매팅이 가능하도록 하며, 추출된 다시점 전경을 다시점 배경과 합성함으로써 다시점 전경과 다시점 배경이 자연스럽게 병합된 다시점 합성 영상을 구현할 수 있을 뿐만 아니라, 각 시점마다의 특성에 부합하는 알파맷을 획득함으로써 전경 객체의 경계 부분을 정확하게 분리해 낼 수 있는 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체에 관한 것이다.
영화 산업이나 방송국에서는 특수효과를 위해 영상 합성 기술을 필요로 한다. 특히, 첨단 3차원 컴퓨터 그래픽 기술이 적용된 블록 버스터가 쏟아지는 요즈음은 우수한 영상 합성 기술의 확보가 필수적이라고 해도 과언이 아니다.
일반적으로 합성 영상은 전경 객체와 배경으로 구분된다. 전경 객체를 배경 으로부터 추출하는 것을 전경 맷(foreground matte)이라고 하며, 이미지의 픽셀 불투명도(opacity)를 나타내는 알파값을 고려하여 원 영상의 배경으로부터 배경을 제거한다. 이러한 기술을 디지털 매팅(digital matting)이라고 한다. 한편, 디지털 합성은 알파값을 이용하여 전경 맷을 임의의 배경과 결합하는 것을 의미한다.
최근 다시점 카메라를 이용한 디지털 매팅 알고리즘은 어느 정도 정확도를 가진 알파맷을 생성할 정도로 발전하고 있다. 그러나, 이러한 방법들은 다시점 카메라 시스템을 채용하고 있으면서도 단일 시점의 알파맷을 생성하는 데 불과하다는 문제점이 있다. 이는 알파값이 모든 시점의 영상에 있어서 고정된 값이라고 가정하고 있기 때문이다. 따라서, 이러한 알고리즘에 의하면 다시점 카메라 시스템으로부터 다시점 합성 영상을 생성할 수 없게 된다.
더욱이, 기존의 방식들은 트라이맵(trimap)을 생성하기 위해 이중 임계치(double-threshold)와 같은 애드혹 운용(ad-hoc operation)이 지나쳐, 트라이맵의 미지 영역은 고립되고 확장되는 경향이 있다. 따라서, 이러한 방식에 의하면 미지 영역에서 알파값을 산출하기 어렵다는 문제점이 있다.
즉, 기존의 방식들은 시점에 독립적인 알파맷을 사용하기 때문에 기준 시점 영상의 전경 객체만을 추출할 수 있고 다른 모든 시점의 전경 객체를 정확하게 추출할 수 없는 문제점이 있다. 또한, 기존의 방식들은 추출된 전경 객체를 임의의 배경과 합성함으로써 전경과 배경의 시차 특성을 살리지 못하고 부자연스러운 합성 영상을 생성할 수밖에 없는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 모든 시점의 전경을 추출해 낼 수 있고 빠른 시간 내에 다시점 매팅이 가능하도록 하며, 다시점 전경과 다시점 배경이 자연스럽게 병합된 다시점 합성 영상을 구현할 수 있는 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체를 제공하는 데 그 목적이 있다.
또한, 본 발명은 전경 객체의 경계 부분을 정확하게 분리해 낼 수 있는 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체를 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위해 안출된 본 발명에 따른 다시점 영상 매팅 시스템은 단일 트라이맵(trimap)을 사용하여 다시점 영상으로부터 모든 시점의 전경 객체를 추출하고, 상기 각 전경 객체를 해당 시점의 배경과 합성하여 다시점 합성 영상을 생성하는 것을 특징으로 한다.
또한, 상기 다시점 영상 매팅 시스템은 다시점 카메라를 통해 획득한 다시점 영상에서 기준 영상의 전경 객체를 기준으로 합성 개구 영상을 생성하는 합성 개구 영상 생성부; 상기 합성 개구 영상의 각 화소에 따른 분산을 계산하여 분산 영상을 생성하는 분산 영상 생성부; 및 상기 분산 영상으로부터 상기 단일 트라이맵을 생성하는 트라이맵 생성부를 포함할 수 있다.
또한, 상기 합성 개구 영상 생성부는 상기 기준 영상의 전경 객체와 상기 기준 영상을 제외한 다른 시점 영상의 전경 객체 사이의 변이(disparity)만큼 상기 다른 시점 영상을 이동시켜 상기 합성 개구 영상을 생성할 수 있다.
또한, 상기 트라이맵 생성부는 상기 분산 영상에 임계치를 설정하여 이진 영상을 생성하는 이진 영상 생성부; 상기 이진 영상의 테두리 부분을 안으로 침식하고 밖으로 확장하여 미지 영역을 생성하는 미지 영역 생성부; 및 상기 미지 영역 생성부로부터 얻은 상기 단일 트라이맵을 모든 시점의 영상에 공유하는 트라이맵 공유부를 포함할 수 있다.
또한, 상기 다시점 영상 매팅 시스템은 상기 단일 트라이맵을 이용하여 모든 시점 영상에 종속적인 알파맷을 생성하는 다시점 알파맷 생성부; 상기 다시점 알파맷을 각 시점의 영상에 적용하여 다시점 전경을 추출하는 전경 추출부; 및 추출된 다시점 전경 객체들을 다시점 배경과 합성하여 다시점 합성 영상을 생성하는 배경 합성부를 더 포함할 수 있다.
또한, 상기 다시점 알파맷 생성부는 상기 트라이맵의 미지 영역의 정보를 이용하여 각 시점 영상의 미지 영역 에지를 추출하는 미지 영역 에지 추출부와, 상기 추출된 에지들의 길이를 기준으로 특정 길이 이하의 에지는 삭제하고 나머지 에지들만 이용하여 레이블링을 수행하는 에지 레이블링부를 포함할 수 있다.
본 발명에 따른 다시점 영상 매팅 방법은 (a) 다시점 영상의 전경과 배경의 시차 차이를 이용하여 합성 개구 영상을 생성하는 단계; (b) 상기 합성 개구 영상의 각 화소에 따른 분산을 계산하여 분산 영상을 생성하는 단계; (c) 상기 분산 영 상의 분산값에 임계치를 설정하여 트라이맵을 생성하는 단계; (d) 상기 다시점 영상에 상기 트라이맵과 에지 레이블링 기법을 적용하여 각 시점별로 알파맷을 생성하는 단계; 및 (e) 상기 알파맷을 이용하여 각 시점에 따른 전경을 추출하고, 미리 준비된 다시점 배경과 합성하여 다시점 합성 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 (a)단계는 기준 영상의 전경 객체와 상기 기준 영상을 제외한 다른 시점 영상의 전경 객체 사이의 변이(disparity)만큼 상기 다른 시점 영상을 이동시켜 상기 합성 개구 영상을 생성할 수 있다.
또한, 상기 (c)단계는 (c1) 상기 분산 영상에 임계치를 설정하여 이진 영상을 생성하는 단계; (c2) 상기 이진 영상의 테두리 부분을 안으로 침식하고 밖으로 확장하여 미지 영역을 생성하는 단계; 및 (c3) 상기 (c2)단계에서 얻은 상기 트라이맵을 모든 시점의 영상에 공유하는 단계를 포함할 수 있다.
또한, 상기 (d)단계는 (d1) 상기 트라이맵의 미지 영역의 정보를 이용하여 각 시점 영상의 미지 영역 에지를 추출하는 단계; 및 (d2) 상기 추출된 에지들의 길이를 기준으로 특정 길이 이하의 에지는 삭제하고 나머지 에지들만 이용하여 레이블링을 수행하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 의하면 기준 시점의 트라이맵을 모든 시점과 공유함으로써 모든 시점의 전경을 추출해 낼 수 있고, 각 시점의 트라이맵을 각각 독립적으로 만들어서 매팅을 구현하는 것보다 빠른 시간 내에 다시점 매팅이 가능하도록 하는 효과가 있다.
또한, 본 발명에 의하면 추출된 다시점 전경을 다시점 배경과 합성함으로써 다시점 전경과 다시점 배경이 자연스럽게 병합된 다시점 합성 영상을 구현할 수 있는 효과가 있다.
또한, 본 발명에 의하면 각 시점마다의 특성에 부합하는 알파맷을 획득함으로써 전경 객체의 경계 부분을 정확하게 분리해 낼 수 있는 효과가 있다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 다시점 영상 매팅 시스템의 전체적인 개념을 설명하기 위한 구성도이다.
본 발명에서는 다시점 영상으로부터 각 시점의 전경(foreground)을 추출하고, 이를 다시점 배경(background)과 합성함으로써 다시점 영상매팅을 구현한다. 이때, 각 시점의 전경과 상기 전경의 배경을 이루게 될 다시점 배경은 동일한 다시 점 카메라를 이용하여 촬영되고 합성될 수 있으며, 이 경우 각 시점별로 다시점 전경과 다시점 배경이 자연스럽게 병합된 다시점 합성 영상이 구현된다.
도 1의 좌측에 도시된 다시점 카메라는 다시점 전경과 다시점 배경을 획득하기 위한 것으로, 2대 이상의 카메라 배열로 이루어진 카메라들의 집합이다. 다시점 전경을 효율적으로 추출해내기 위해 다시점 카메라는 7대 이상의 카메라로 구성되는 것이 바람직하다.
다시점 카메라를 통해 다시점 영상이 획득되면 다시점 영상으로부터 각각 전경을 추출하여 다시점 전경 객체를 형성한다. 본 발명에서는 기존의 방법들처럼 기준 시점 영상의 전경 객체만을 추출하는 것이 아니라, 모든 시점의 전경 객체를 정확하게 추출함으로써 보다 자연스러운 다시점 합성 영상을 얻을 수 있도록 한다.
이와 같이 추출된 다시점 전경 객체는 기존의 방법들처럼 임의의 배경과 합성하는 것이 아니라, 다시점 배경과 합성함으로써 입체감과 실제감을 제공하는 다시점 합성 영상이 구현되도록 한다. 도 1의 최우측에는 이와 같은 과정으로 형성된 다시점 디지털 매팅 영상이 도시되어 있다.
도 2는 본 발명의 바람직한 실시예에 따른 다시점 영상 매팅 시스템의 블록도이다. 도 3a 내지 도 3i는 본 발명의 바람직한 실시예에 따른 다시점 영상 매팅 시스템에 의해 예제 영상을 매팅하는 각 과정에서의 영상이다.
본 발명의 바람직한 실시예에 따른 다시점 영상 매팅 시스템은, 도 2를 참조하면, 합성 개구 영상 생성부(10), 분산 영상 생성부(20), 트라이맵 생성부(30), 다시점 알파맷 생성부(40), 전경 추출부(50), 및 배경 합성부(60)를 포함하여 이루 어진다. 도시되지 않았으나, 다시점 영상 매팅 시스템은 다시점 영상 획득부를 더 포함하여 이루어질 수 있다. 도 3a에는 다시점 영상 획득부로부터 얻은 다시점 영상이 시점의 배열대로 도시되어 있다.
다시점 영상에서는 전경과 배경 사이에 시차의 차이가 존재하게 된다. 다시점 영상에서 전경을 기준으로 볼 때, 배경끼리의 시차는 크지만 전경 객체끼리의 시차는 거의 존재하지 않는다. 본 발명에서는 이러한 전경과 배경의 시차를 트라이맵을 구하기 위한 특성으로 사용하였다. 즉, 전경과 배경의 시차를 이용하면 기준 시점으로 다른 시점의 영상을 전경 객체의 시차만큼 이동시켜 기준 시점에만 초점이 맞춰진 합성 개구 영상(synthetic aperture image)을 만들 수 있고, 합성 개구 영상에 분산을 취하여 분산 영상(variance image)을 얻은 후, 이 분산 영상에 임계치를 설정하여 전경 영역과 배경 영역, 그리고 전경인지 배경인지 알 수 없는 미지 영역으로 영상을 구분하여 트라이맵(trimap) 영상을 만들 수 있다.
합성 개구 영상 생성부(10)는 다시점 영상 획득부(미도시)에서 얻은 다시점 영상에서 기준 영상의 전경 객체를 기준으로 좌우의 영상들을 이동하여 모든 영상의 전경 객체들끼리 겹쳐진 합성 개구 영상을 생성하는 부분이다. 이때, 기준 영상은 전체 다시점 영상에서 중앙에 위치한 시점의 영상일 수 있다. 예컨대, 다시점 영상의 개수가 총 7개인 경우, 4번째에 위치한 중앙 영상이 기준 영상이 될 수 있다.
구체적으로 합성 개구 영상은 기준 영상의 전경 객체와 다른 시점 영상의 전경 객체 사이의 변이(disparity)만큼 다른 시점 영상을 이동시켜 각 시점 영상의 전경 객체를 이루는 화소끼리 겹치게 함으로써 생성될 수 있다.
도 3b에는 합성 개구 영상 생성부를 통해 생성한 합성 개구 영상이 도시되어 있다. 합성 개구 영상은 전경 객체의 깊이면(depth plane)을 기준으로 초점이 재조정된다. 합성 개구 영상은 전경에 초점이 맞춰진 반면, 배경은 초점이 흐려지게 되는 특성을 갖는다. 합성 개구 영상으로부터 분산 영상을 얻기 위한 분산값을 계산할 수 있다.
분산 영상 생성부(20)는 합성 개구 영상의 각 화소에 따른 분산을 계산하여 분산 영상을 생성하는 부분이다. 도 3c에는 분산 영상 생성부를 통해 생성한 분산 영상이 도시되어 있다. 예컨대, 7개의 시점 영상을 겹쳐서 상기 합성 개구 영상을 만든 경우, 합성 개구 영상에서 서로 겹쳐진 화소마다의 분산을 계산하여 0 ~ 255까지의 화소값으로 정규화된 분산 영상을 생성할 수 있다.
트라이맵 생성부(30)는 분산 영상을 이용하여 트라이맵을 생성하는 부분이다. 도 3c에는 분산 영상 생성부를 통해 생성된 분산 영상이 도시되어 있다.
트라이맵은 매팅을 수행하기 위해 필수적인 알파맷(alpha matte)을 얻기 이전의 영상으로, 전경과 배경 그리고 전경인지 배경인지 불확실한 미지 영역으로 구분된 영상이다. 트라이맵 생성부(30)는 분산 영상을 이진 영상(binary image)으로 만든 후, 이진 영상의 테두리 부분을 안으로 침식하고 밖으로 확장하여 미지 영역을 생성한다. 예컨대, 배경은 0, 전경은 255, 미지 영역은 128의 화소값을 갖도록 트라이맵을 생성할 수 있다. 도시되지 않았으나, 트라이맵 생성부(30)는 이진 영상 생성부와 미지 영역 생성부 및 트라이맵 공유부를 포함할 수 있다.
트라이맵을 자동으로 생성하기 위해 이진 영상 생성부는 분산 영상으로부터 이진 영상을 얻기 위한 자동 임계 알고리즘(automatic threshold algorithm)을 이용한다. 자동 임계 알고리즘에 의하면 먼저, 분산값의 히스토그램(histogram)을 계산하고 초기 임계값 T를 특정값으로 설정한다. 예컨대, T = 20으로 설정될 수 있으며, 이는 분산 영상의 대부분의 화소값은 히스토그램에서 20 미만이기 때문이다. 다음으로, 초기 임계값 T를 이용하여 히스토그램을 두 영역으로 구분하고, 각 영역의 평균 화소값을 계산한다. 마지막으로, 임계값 T를 각 평균의 평균값으로 업데이트하고 T값이 수렴할 때까지 평균을 구하는 과정과 업데이트 과정을 반복한다. 그 결과, 자동으로 이진 영상을 얻을 수 있게 된다.
이어서, 미지 영역 생성부는 미지 영역(unknown area)을 특정하기 위해 이진 영상의 테두리 부분을 안으로 침식하고 밖으로 확장하여 미지 영역을 생성한다. 전경 객체와 배경 및 미지 영역은 아래 수학식과 같이 나타낼 수 있다.
Figure 112008076434714-pat00001
전경 집합 A는 분산값이 T보다 작은 영역을 포함하고, 배경 집합 B는 분산값이 T와 같거나 큰 영역을 포함한다. 집합 A, B, C는 각각 화소값이 255, 0, 128인 트라이맵을 나타낸다. 기호
Figure 112008076434714-pat00002
,
Figure 112008076434714-pat00003
,
Figure 112008076434714-pat00004
는 형태학상의 연산자(morphological operation)로서, 각각 확장(dialation), 침식(erosion), 배타적 OR(exclusive-or)를 의미한다. 또한, var(I)는 화소 위치 I에서의 분산 영상의 화소값을 의미한다.
트라이맵을 생성한 후에는 다시점 알파맷을 생성한다. 이를 위해 트라이맵 공유부는 생성된 트라이맵을 다른 모든 시점의 영상들과 공유한다. 도 3d에 트라이맵 생성부를 통해 생성된 트라이맵 영상이 도시되어 있고, 도 3e에는 기준 영상의 트라이맵을 모든 시점의 영상에 공유하는 개념이 도시되어 있으며, 도 3f에는 기준 영상의 트라이맵을 모든 시점의 전경에 공유한 일례가 도시되어 있다. 각 영상의 시차가 과도하게 크지 않기 때문에 기준 영상의 트라이맵을 모든 시점의 영상과 공유하여도 알파맷을 구하는 데에는 큰 지장이 없게 된다. 공유된 트라이맵은 모든 시점 전경의 윤곽선을 포함하게 된다. 도 3e와 도 3f에는 7개의 시점 영상 중 4번째에 위치한 기준 영상의 트라이맵을 나머지 모든 시점의 영상에 공유한 경우가 도시되어 있다.
한편, 미지 영역의 크기를 결정하기 위해 3차원 워핑(3-D warping) 기법을 사용할 수 있다. 기준 영상에서 거리가 최대인 전경 상의 두 점을 선택한 후 최좌측 영상과 최우측 영상의 대응되는 위치로 3차원 워핑을 수행한다. 그 후, 워핑된 두 점 사이의 거리를 계산한다. 미지 영역의 크기는 아래 수학식과 같이 너비(width)로 설정될 수 있다.
Width = longest distance - shortest distance
다시점 알파맷 생성부(40)는 에지 레이블링(edge labelling)을 이용하여 모든 시점 영상에 종속적인 알파맷을 생성하는 부분이다. 알파맷은 매팅 방정식 I = αF + (1-α)B 에서 사용되는 α(alpha)값으로 이루어진 영상을 의미한다(I, F, B 는 각각 합성 영상, 전경, 배경 영상). 매팅 방정식에 의해 전경과 배경의 픽셀이 합성된다. 도시되지 않았으나, 다시점 알파맷 생성부(40)는 Cb 변환부, 에지 추출부, 미지 영역 에지 추출부, 에지 레이블링부를 포함할 수 있다. 도 3g에는 다시점 알파맷을 생성하는 과정이 도시되어 있다.
Cb 변환부는 다시점 영상에서 RGB 컬러 공간을 YCbCr 컬러 공간으로 변환하고, 가우시안 필터를 Cb에 적용하여 전경 경계 주위의 노이즈를 감소시키는 역할을 수행한다.
에지 추출부는 Cb 변환부를 통해 변환된 영상에서 경계를 추출한다.
미지영역 에지 추출부는 공유한 트라이맵 미지 영역의 정보와 상기 에지 추출부에서 추출한 다시점 영상의 경계를 바탕으로 각 시점 영상의 미지 영역 에지들을 추출하는 부분이다.
에지 레이블링부는 찾아낸 에지들의 길이를 기준으로 특정 길이 이하의 에지는 삭제하고 나머지 에지들만 이용하여 레이블링을 수행한다. 에지 레이블링부는 레이블링된 에지들의 양끝을 찾고 가장 가까운 끝점끼리 연결하여 폐곡선을 완성한다. 이에 따라 최종적으로 완성된 폐곡선의 안쪽은 전경, 바깥쪽은 배경이 된다.
이러한 방법으로 각 시점마다 알파맷을 생성함으로써 다시점 알파맷을 완성한다. 도 3h에는 시점별로 생성된 다시점 알파맷이 도시되어 있다.
전경 추출부(50)는 다시점 알파맷을 각 시점의 영상에 적용하여 다시점 전경을 추출하는 부분이다. 도 3i의 좌측 상단에는 추출된 다시점 전경이 도시되어 있다.
배경 합성부(60)는 추출된 다시점 전경 객체들을 동일한 카메라 환경에서 찍은 다시점 배경과 합성하여 다시점 합성 영상을 생성하는 부분이다. 도 3i의 우측 하단에는 다시점 전경과 같은 카메라 환경에서 촬영한 다시점 배경이 도시되어 있고, 도 3i의 하단에는 다시점 전경과 다시점 배경이 합성된 다시점 합성 영상이 도시되어 있다.
본 발명의 바람직한 실시예에 따른 다시점 영상 매팅 시스템은 기준 시점의 트라이맵을 모든 시점과 공유함으로써 모든 시점의 전경을 추출해 낼 수 있고, 각 시점의 트라이맵을 각각 독립적으로 만들어서 매팅을 구현하는 것보다 빠른 시간 내에 다시점 매팅이 가능하도록 한다. 또한, 상기 다시점 영상 매팅 시스템은 추출된 다시점 전경을 다시점 배경과 합성함으로써 다시점 전경과 다시점 배경이 자연스럽게 병합된 다시점 합성 영상을 구현할 수 있도록 한다.
도 4는 본 발명의 바람직한 실시예에 따른 다시점 영상 매팅 방법의 흐름도이다. 본 발명의 바람직한 실시예에 따른 다시점 영상 매팅 방법은, 일례로 본 발명의 바람직한 실시예에 따른 다시점 영상 매팅 시스템에 의해 구현될 수 있으며, 이에 한정되지는 않는다. 또한, 상기 다시점 영상 매팅 시스템에 대한 설명에서 다시점 영상 매팅의 각 과정을 충분히 설명하였으므로, 다시점 영상 매팅 방법은 간략하게 설명한다.
단계 S10 은 다시점 영상의 전경과 배경의 시차 차이를 이용하여 합성 개구 영상을 생성하는 단계이다.
단계 S20 은 합성 개구 영상의 각 화소에 따른 분산을 계산하여 분산 영상을 생성하는 단계이다.
단계 S30 은 분산 영상의 분산값에 임계치를 설정하여 트라이맵을 생성하는 단계이다. 단계 S30 은 분산 영상을 이진 영상으로 만드는 단계, 이진 영상의 테두리 부분을 안으로 침식, 밖으로 확장하여 미지 영역을 형성하는 단계, 생성된 트라이맵을 모든 시점으로 공유하는 단계를 포함하여 이루어질 수 있다.
단계 S40 은 에지 레이블링을 이용하여 다시점 알파맷을 생성하는 단계이다. 단계 S40 은 다시점 영상에서 RGB 컬러 공간을 YCbCr 컬러 공간으로 변환하는 단계, 가우시안 필터를 Cb에 적용하여 전경 경계 주위의 노이즈를 감소시키는 단계, YCbCr 컬러 공간으로 변환 영상에서 경계를 추출하는 단계, 공유한 트라이맵 미지 영역과 상기 다시점 영상의 변환 영상에서 추출한 경계를 이용하여 각 시점 영상의 미지 영역 에지들을 추출하는 단계, 에지 레이블링을 수행하여 알파맷을 생성하는 단계를 포함하여 이루어질 수 있다.
단계 S50 은 생성된 알파맷을 이용하여 각 시점에 따른 전경을 추출하고, 미리 준비된 다시점 배경과 합성하여 다시점 합성 영상을 생성하는 단계이다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인 터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 다시점 영상 매팅에 관한 것으로, 다시점 합성 영상을 생성하여 3차원 텔레비전이나 스테레오 모니터에서 입체 효과를 충분히 발휘할 수 있어, 다시점 합성 영상의 3차원 영상 편집 분야에 광범위하게 적용될 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 다시점 영상 매팅 시스템의 전체적인 개념을 설명하기 위한 구성도,
도 2는 본 발명의 바람직한 실시예에 따른 다시점 영상 매팅 시스템의 블록도,
도 3a 내지 도 3i는 본 발명의 바람직한 실시예에 따른 다시점 영상 매팅 시스템에 의해 예제 영상을 매팅하는 각 과정에서의 영상,
도 4는 본 발명의 바람직한 실시예에 따른 다시점 영상 매팅 방법의 흐름도이다.

Claims (11)

  1. 삭제
  2. 다시점 카메라를 통해 획득한 다시점 영상에서 기준 영상의 전경 객체를 기준으로 합성 개구 영상을 생성하는 합성 개구 영상 생성부;
    상기 합성 개구 영상의 각 화소에 따른 분산을 계산하여 분산 영상을 생성하는 분산 영상 생성부;
    상기 분산 영상으로부터 단일 트라이맵을 생성하는 트라이맵 생성부;
    상기 단일 트라이맵을 이용하여 모든 시점 영상에 종속적인 알파맷을 생성하는 다시점 알파맷 생성부;를 포함하고,
    상기 트라이맵 생성부는,
    상기 분산 영상에 임계치를 설정하여 이진 영상을 생성하는 이진 영상 생성부; 및
    상기 이진 영상의 테두리 부분을 안으로 침식하고 밖으로 확장하여 상기 단일 트라이맵의 미지 영역을 생성하는 미지 영역 생성부;를 포함하고,
    상기 다시점 알파맷 생성부는
    상기 다시점 영상에서 RGB 컬러 공간을 YCbCr 컬러 공간으로 변환하고, 가우시안 필터를 Cb에 적용하여 전경 객체 주위의 노이즈를 감소시키는 Cb 변환부;
    상기 Cb 변환부를 통해 변환된 영상에서 경계를 추출하는 에지 추출부;
    상기 미지 영역 및 상기 경계를 바탕으로 각 시점 영상의 미지 영역 에지를 추출하는 미지 영역 에지 추출부;
    상기 추출된 에지들의 길이를 기준으로 특정 길이 이하의 에지는 삭제하고 나머지 에지들만 이용하여 레이블링을 수행하는 에지 레이블링부;를 포함하고,
    상기 다시점 알파맷을 각 시점의 영상에 적용하여 전경 객체를 추출하고, 상기 각 전경 객체를 해당 시점의 배경과 합성하여 다시점 합성 영상을 생성하는 것을 특징으로 하는 다시점 영상 매팅 시스템.
  3. 제2항에 있어서,
    상기 합성 개구 영상 생성부는 상기 기준 영상의 전경 객체와 상기 기준 영상을 제외한 다른 시점 영상의 전경 객체 사이의 변이(disparity)만큼 상기 다른 시점 영상을 이동시켜 상기 합성 개구 영상을 생성하는 것을 특징으로 하는 다시점 영상 매팅 시스템.
  4. 삭제
  5. 제2항에 있어서,
    상기 다시점 알파맷을 각 시점의 영상에 적용하여 다시점 전경을 추출하는 전경 추출부; 및
    추출된 다시점 전경 객체들을 다시점 배경과 합성하여 다시점 합성 영상을 생성하는 배경 합성부
    를 더 포함하는 것을 특징으로 하는 다시점 영상 매팅 시스템.
  6. 삭제
  7. (a) 다시점 영상의 전경과 배경의 시차 차이를 이용하여 합성 개구 영상을 생성하는 단계;
    (b) 상기 합성 개구 영상의 각 화소에 따른 분산을 계산하여 분산 영상을 생성하는 단계;
    (c) 상기 분산 영상의 분산값에 임계치를 설정하여 트라이맵을 생성하는 단계;
    (d) 상기 다시점 영상에 상기 트라이맵과 에지 레이블링 기법을 적용하여 각 시점별로 알파맷을 생성하는 단계; 및
    (e) 상기 알파맷을 이용하여 각 시점에 따른 전경을 추출하고, 미리 준비된 다시점 배경과 합성하여 다시점 합성 영상을 생성하는 단계를 포함하고,
    상기 (c)단계는
    (c1) 상기 분산 영상에 임계치를 설정하여 이진 영상을 생성하는 단계;
    (c2) 상기 이진 영상의 테두리 부분을 안으로 침식하고 밖으로 확장하여 상기 트라이맵의 미지 영역을 생성하는 단계;를 포함하고,
    상기 (d)단계는
    (d1) 다시점 영상에서 RGB 컬러 공간을 YCbCr 컬러 공간으로 변환하고, 가우시안 필터를 Cb에 적용하여 전경 객체 주위의 노이즈를 감소시키는 단계;
    (d2) 변환된 영상에서 경계를 추출하는 단계;
    (d3) 상기 미지 영역 및 상기 경계를 바탕으로 각 시점 영상의 미지 영역 에지를 추출하는 단계;
    (d4) 상기 추출된 에지들의 길이를 기준으로 특정 길이 이하의 에지는 삭제하고 나머지 에지들만 이용하여 레이블링을 수행하는 단계;를 포함하는 것을 특징으로 하는 다시점 영상 매팅 방법.
  8. 제7항에 있어서,
    상기 (a)단계는 기준 영상의 전경 객체와 상기 기준 영상을 제외한 다른 시점 영상의 전경 객체 사이의 변이(disparity)만큼 상기 다른 시점 영상을 이동시켜 상기 합성 개구 영상을 생성하는 것을 특징으로 하는 다시점 영상 매팅 방법.
  9. 삭제
  10. 삭제
  11. 제7항 및 제8항 중 어느 한 항에 따른 다시점 영상 매팅 방법이 프로그램으로 수록된 컴퓨터가 판독가능한 저장매체.
KR1020080108864A 2008-11-04 2008-11-04 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체 KR100960694B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080108864A KR100960694B1 (ko) 2008-11-04 2008-11-04 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080108864A KR100960694B1 (ko) 2008-11-04 2008-11-04 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체

Publications (2)

Publication Number Publication Date
KR20100049855A KR20100049855A (ko) 2010-05-13
KR100960694B1 true KR100960694B1 (ko) 2010-06-01

Family

ID=42276097

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080108864A KR100960694B1 (ko) 2008-11-04 2008-11-04 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체

Country Status (1)

Country Link
KR (1) KR100960694B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9071835B2 (en) 2012-09-24 2015-06-30 Samsung Electronics Co., Ltd. Method and apparatus for generating multiview image with hole filling
US9445071B2 (en) 2011-01-03 2016-09-13 Samsung Electronics Co., Ltd. Method and apparatus generating multi-view images for three-dimensional display
US9489588B2 (en) 2014-10-15 2016-11-08 Postech Academy-Industry Foundation Matting method for extracting foreground object and apparatus for performing the matting method
KR20220096700A (ko) * 2020-12-31 2022-07-07 한국과학기술연구원 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015056955A1 (ko) * 2013-10-14 2015-04-23 삼성전자 주식회사 다시점 비디오 부호화 방법 및 장치, 다시점 비디오 복호화 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
다시점 카메라 시스템을 이용한 디지털 매팅방법, 현명한 외, 2007년도 대한전자공학회 하계종합학술대회 제30권 제1호(2008.06.19-20)1부.

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9445071B2 (en) 2011-01-03 2016-09-13 Samsung Electronics Co., Ltd. Method and apparatus generating multi-view images for three-dimensional display
US9071835B2 (en) 2012-09-24 2015-06-30 Samsung Electronics Co., Ltd. Method and apparatus for generating multiview image with hole filling
US9489588B2 (en) 2014-10-15 2016-11-08 Postech Academy-Industry Foundation Matting method for extracting foreground object and apparatus for performing the matting method
KR20220096700A (ko) * 2020-12-31 2022-07-07 한국과학기술연구원 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법
US11579746B2 (en) 2020-12-31 2023-02-14 Korea Institute Of Science And Technology Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology
KR102558294B1 (ko) * 2020-12-31 2023-07-24 한국과학기술연구원 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법

Also Published As

Publication number Publication date
KR20100049855A (ko) 2010-05-13

Similar Documents

Publication Publication Date Title
JP4954206B2 (ja) ビデオオブジェクトのカットアンドペースト
JP4644669B2 (ja) マルチビュー画像の生成
KR100931311B1 (ko) 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법
CN109462747B (zh) 基于生成对抗网络的dibr系统空洞填充方法
KR102380862B1 (ko) 영상 처리 방법 및 장치
Phan et al. Semi-automatic 2D to 3D image conversion using scale-space random walks and a graph cuts based depth prior
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
TW201432622A (zh) 產生一關於一影像之深度圖
Pearson et al. Plenoptic layer-based modeling for image based rendering
KR101181199B1 (ko) 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
KR100960694B1 (ko) 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체
KR20130084850A (ko) 시차 값을 생성하는 영상 처리 방법 및 장치
KR100926520B1 (ko) 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법
KR100987412B1 (ko) 멀티프레임을 고려한 비디오 오브젝트 매팅 시스템 및 방법
KR100989435B1 (ko) 다시점 영상 처리 방법 및 장치
KR101549929B1 (ko) 깊이 지도를 생성하는 방법 및 장치
KR20190030870A (ko) 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램
Kim et al. 3D video generation and service based on a TOF depth sensor in MPEG-4 multimedia framework
KR20110093616A (ko) 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
Liu et al. An enhanced depth map based rendering method with directional depth filter and image inpainting
KR101511315B1 (ko) 스테레오스코픽 컨텐츠를 위한 다이나믹 플로팅 윈도우 생성 방법 및 시스템
Guillemaut et al. Stereoscopic content production of complex dynamic scenes using a wide-baseline monoscopic camera set-up
KR101993961B1 (ko) 임의시점 영상의 홀 채움 방법
KR101993962B1 (ko) 중간시점 영상합성에서의 n-시점 블렌딩 기반 홀 채움 방법
KR101801898B1 (ko) 다시점 영상 기반의 단일 영상 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130410

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160610

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee