KR101281003B1 - 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법 - Google Patents

다시점 영상을 이용한 영상 시스템 및 영상 처리 방법 Download PDF

Info

Publication number
KR101281003B1
KR101281003B1 KR1020110063124A KR20110063124A KR101281003B1 KR 101281003 B1 KR101281003 B1 KR 101281003B1 KR 1020110063124 A KR1020110063124 A KR 1020110063124A KR 20110063124 A KR20110063124 A KR 20110063124A KR 101281003 B1 KR101281003 B1 KR 101281003B1
Authority
KR
South Korea
Prior art keywords
image
parallax
pixel
matching
background
Prior art date
Application number
KR1020110063124A
Other languages
English (en)
Other versions
KR20130002090A (ko
Inventor
이상화
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020110063124A priority Critical patent/KR101281003B1/ko
Publication of KR20130002090A publication Critical patent/KR20130002090A/ko
Application granted granted Critical
Publication of KR101281003B1 publication Critical patent/KR101281003B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Abstract

본 기술은 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법에 관한 것이다. 다시점 영상을 이용한 영상 시스템에 있어서, 다시점 영상을 촬영하는 영상 촬영 장치; 상기 영상 촬영 장치의 교정값을 이용하여 상기 영상 촬영 장치에서 촬영된 다시점 영상을 교정하여 출력하는 전처리부; 상기 다시점 영상에 대하여 블록 정합을 수행하여 현재 픽셀을 중심으로 정합에러를 산출하고, 상기 정합에러, 컬러 정보 및 시차 정보에 근거하여 시차값을 추정하는 스테레오 영상 정합부; 상기 기준 영상과 상기 시차값을 이용하여 상기 기준 영상에서 객체를 추출하는 객체 추출부; 및 상기 추출된 객체와 배경 영상을 합성하여 합성 영상을 생성하는 합성부를 포함한다.

Description

다시점 영상을 이용한 영상 시스템 및 영상 처리 방법{IMAGE PROCESSING SYSTEM AND METHOD USING MULTI VIEW IMAGE}
본 기술은 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법에 관한 것이다.
다시점 영상은 복수의 영상 촬영장치 또는 카메라를 이용하여 촬영된 영상을 말한다. 다시점 영상 가운데 하나인 스테레오 영상은 2대의 영상 촬영 장치로부터 촬영된 영상을 말한다. 스테레오 영상은 2대의 영상 촬영 장치로부터 촬영된 좌측 영상과 우측 영상을 포함한다.
스테레오 영상 시스템은 촬영된 스테레오 영상 가운데 하나의 영상을 기준 영상으로 선택하고 다른 영상을 탐색 영상으로 선택하여, 3차원 공간상의 한 점이 기준 영상과 탐색 영상에서 각각 대응되는 픽셀 위치를 매칭할 수 있다. 스테레오 영상 시스템은 대응되는 픽셀 위치 정보를 이용하여, 촬영된 영상의 3차원 정보를 얻을 수 있다.
영상의 배경으로부터 추출된 물체영역과 새로운 배경영상을 자연스럽게 합성하여 새로운 영상을 생성할 수 있다. 물체 영역과 새로운 배경 영역이 합성되는 정도를 알파값이라 하며 0에서 1사이의 실수값으로 표현하는데, 다음과 같이 선형적으로 영상을 합성하는데 사용된다.
합성영상컬러 = 알파값*물체영역컬러 + (1-알파값)*배경영역 컬러.
인간의 형태와 같이 특정한 모양의 객체를 추출하기 위하여 사전에 객체의 경계 영역에 대하여 에지의 방향정보를 히스토그램으로 표현하고, 이 히스토그램에 가장 정합되는 에지를 추출하여 객체를 추출하는 방법을 HOG (Histogram of Gradient) 이라 한다.
영상으로부터 객체영역을 추출하기 위하여 사전에 객체가 없는 배경영상만을 저장해 두고, 배경영상과 객체가 존재하는 영상을 빼서 그 값이 큰 영역을 객체로 추출하는 방법을 배경차분이라 한다. 이 때, 모폴로지 필터 등으로 객체 내부 및 경계의 오류를 제거하여 깨끗한 객체영역을 추출한다.
새로운 배경 영상을 3차원 조명 조건으로 설정하여 추출된 물체영역을 합성하는 기술을 조명 기반 렌더링이라 하는데, 물체 표면의 밝기나 색상이 조명변화에 따라서 자연스럽게 합성된다. 알파값을 이용하는 합성이 물체영역의 경계부분에 초점을 맞춘 것이라면, 조명기반 렌더링은 물체의 표면까지도 고려하여 더욱 자연스럽게 합성하는 기술이다.
개시된 기술이 이루고자 하는 과제는 다시점 영상과 시차 정보를 이용하여 간단하고 효율적으로 입체 영상을 생성하는 데 있다.
상술한 바와 같은 목적을 달성하기 위하여 본 발명은, 다시점 영상을 이용한 영상 시스템에 있어서, 다시점 영상을 촬영하는 영상 촬영 장치; 상기 영상 촬영 장치의 교정값을 이용하여 상기 영상 촬영 장치에서 촬영된 다시점 영상을 교정하여 출력하는 전처리부; 상기 다시점 영상에 대하여 블록 정합을 수행하여 현재 픽셀을 중심으로 정합에러를 산출하고, 상기 정합에러, 컬러 정보 및 시차 정보에 근거하여 시차값을 추정하는 스테레오 영상 정합부; 상기 기준 영상과 상기 시차값을 이용하여 상기 기준 영상에서 객체를 추출하는 객체 추출부; 및 상기 추출된 객체와 배경 영상을 합성하여 합성 영상을 생성하는 합성부를 포함한다.
일 실시예에 따른 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법은 다시점 영상과 시차 정보를 이용하여 입체 영상을 생성할 수 있다. 영상 시스템은 간단하고 효율적으로 입체 영상을 생성할 수 있으며, 시차 정보를 이용하여 영상의 입체 효과를 향상시킬 수 있다.
일 실시예에 따른 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법은 다시점 영상에 포함된 객체를 추출하여 추출된 객체와 새로운 배경 영상을 자연스럽게 합성할 수 있다. 영상 시스템은 시차 분리와 배경 차분, 에지 검출 방식을 이용하여 정확하게 객체 영역을 추출할 수 있다. 또한, 영상 시스템은 배경 영역의 조명 환경을 모델링하여 영상을 합성하므로 자연스러운 합성 영상을 만들 수 있으며, 합성 영상에 대한 사용자의 거부감을 줄일 수 있다.
일 실시예에 따른 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법은 생성된 입체 영상이나 배경 합성 영상, 다시점 합성 영상을 실시간으로 상대편 수신기로 전송할 수 있다. 영상 시스템은 생성된 영상을 저장할 수 있으며, 사용자는 저장된 입체 영상을 후처리하거나 재가공할 수 있다.
일 실시예에 따른 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법을 이용하여 상대편 사용자와 화상 회의 또는 화상 통신을 하거나, 상대편 사용자에게 시청각 교육을 할 수 있다. 입체 영상을 수신한 상대편 사용자는 영상에 포함된 피사체를 보다 정밀히 관찰할 수 있다. 배경 합성 영상을 이용하여 화상 회의 또는 화상 통신을 하는 경우, 사용자는 자신의 배경 영상을 원하는 배경 영상으로 원하는 때에 바꿀 수 있으므로 화상 회의 또는 화상 통신의 몰입도나 메시지 전달 효과를 높일 수 있다. 또한, 화상 회의 또는 화상 통신의 심미적 효과를 높일 수 있다. 다시점 합성 영상을 이용하여 화상 회의 또는 화상 통신을 하는 경우, 영상 촬영 장치에서 촬영하지 못한 시점에서의 예상 촬영 영상을 상대편 사용자에게 제공할 수 있다.
도 1은 개시된 기술의 일 실시예에 따른 영상 시스템의 배경 합성 시스템을 나타내는 도면이다.
도 2은 도 1에 도시된 배경 합성 시스템의 객체 추출부를 나타낸 도면이다.
도 3은 블록 정합을 수행하는 일 실시예를 나타낸 도면이다.
도 4는 영상에서 객체를 추출하고 새로운 배경 영상과 객체를 합성하는 과정을 나타낸 도면이다.
도 5는 배경 영상의 조명 환경을 객체 영역에 적용하여 합성된 영상을 나타내는 도면이다.
도 6은 개시된 기술의 일 실시예에 따른 배경 합성 영상 처리 방법을 나타내는 순서도이다.
개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.
각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
개시된 기술의 일 실시예에 따른 영상 시스템 및 영상 처리 방법의 동작을 첨부한 도면을 참조하여 설명하면 다음과 같다. 일 실시예에 따른 영상 시스템 및 입체 영상 처리 방법은 다양한 시점에서 촬영된 다시점 영상을 이용하여 입체 영상을 만들거나, 영상을 합성할 수 있다. 영상 시스템에서 생성된 입체 영상이나 합성 영상은 상대편 수신기로 전송되거나 시스템에 저장되어 가공될 수 있다.
도 1은 개시된 기술의 일 실시예에 따른 영상 시스템의 배경 합성 시스템을 나타내는 도면이다. 도 1의 배경 합성 시스템(100)은 스테레오 카메라에서 촬영된 스테레오 영상을 이용하여 객체를 추출하고, 추출된 객체를 다른 배경과 합성하여 영상을 만드는 시스템의 예이다.
도 1을 참조하면, 배경 합성 시스템(100)은 제1 영상촬영 장치(110a), 제2 영상촬영 장치(110b), 전처리부(120), 스테레오 영상 정합부(130), 객체 추출부(140), 합성부(150), 전송부(160) 및 저장부(170)를 포함한다.
제1 영상촬영 장치(110a), 제2 영상촬영 장치(110b)는 피사체를 촬영한다. 예를 들어, 영상 촬영 장치(110a, 110b)는 CMOS(Complementary Metal-Oxide Semiconductor) 모듈, CCD(Charge Coupled Device) 모듈 등을 이용하여 피사체를 촬영한다. 피사체의 이미지(또는, 동영상)는 렌즈를 통해 CCD 모듈 또는 CMOS 모듈로 제공되며, 영상 촬영 장치(110a, 110b)의 CCD 모듈 또는 CMOS 모듈은 렌즈를 통과한 피사체의 광신호를 영상 신호로 변환하여 출력한다. 영상 촬영 장치(110a, 110b)는 노출 조정, 감마 조정, 이득 조정, 화이트 밸런스 조정, 또는 컬러 매트릭스 조정 등을 수행한 후, ADC(Analogto- Digital Converter, 이하 ADC라 함)를 통해 광신호를 디지털 영상 신호로 변환하여 출력한다.
전처리부(120)는 영상촬영 장치의 교정 파라미터(rectification parameter) 값을 통해 스테레오 영상을 교정(rectification)하고, 영상의 에피폴라(epipolar) 라인을 일치시켜 출력한다. 전처리부(120)는 스테레오 카메라와 같은 영상촬영 장치의 특성 차이, 밝기 차이 등을 교정하는 교정 파라미터를 이용하여 스테레오 영상을 교정하고, 영상의 에피폴라 라인이 수평이 되도록 교정한다.
스테레오 영상 정합부(130)는 다시점 영상에 대하여 블록 정합을 수행하여 현재 픽셀을 중심으로 정합에러를 산출하고, 정합에러, 컬러 정보 및 시차 정보에 근거하여 시차값을 추정한다. 정합에러는 실시예에 따라, SSD(Sum of Squared Difference) 또는 SAD(Sum of Absolute Difference) 등으로 산출될 수 있으며, 본 실시예에서는 SAD를 이용하여 정합에러를 산출하는 것을 예를 들어 설명한다. 우선 영상의 픽셀 좌표 (i,j)를 중심으로 영상 신호에 대하여 수학식 1과 같이 저역 통과 필터를 수행하여 영상의 잡음 성분을 감소시킨다.
Figure 112011049405615-pat00001
수학식 1에서, I(x,y)는 영상 좌표 (i,j)를 중심으로 저역 통과 필터의 블록 WL 안에 포함되는 픽셀의 영상값(밝기 또는 컬러)를 나타내고, w(x,y)는 가중치를 나타내며, 블록의 크기와 가중치 함수에 따라서 결정된다.
Figure 112011049405615-pat00002
수학식 2에서 (i,j)는 블록의 중심좌표이고, σW는 가우시안 가중치 함수의 파라미터를 나타낸다. 수학식 2는 가우시안 가중치 함수를 나타낸다.
저역통과필터가 수행된 영상신호 I'(i,j)에 대하여 수학식 3과 같이 영상 변환을 수행한다.
Figure 112011049405615-pat00003
수학식 3에서 U()는 단위 계단 함수(unit step function)이고, M은 윈도우 W안의 픽셀 개수를 나타낸다. 영상을 변환한 후에, 좌우 다시점 영상(스테레오 영상)에 대하여 블록 정합을 수행한다.
Figure 112011049405615-pat00004
수학식 4에서 dij는 픽셀 (i,j)에서의 시차를 나타내며, Bij는 픽셀 (i,j)를 중심으로 블록 정합을 수행하는 블록을 나타낸다. 수학식 4에서는 좌우 평행한 스테레오 카메라 구조를 가정하여 시차는 x축에서만 변하도록 식을 전개하고 있는데, 스테레오 영상의 나열된 구조에 따라서 y축 또는 다른 방향으로 식을 변경할 수 있다.
Figure 112011049405615-pat00005
수학식 5는 시차값을 산출하는 식으로,
Figure 112011049405615-pat00006
는 k번째 횟수에서 추정된 이웃 픽셀의 시차값을 나타낸다. 각 픽셀에서의 시차값은 수학식 5와 같은 반복적인 과정을 거치면서 갱신되고, 일정한 횟수가 지나거나 시차 지도가 더 이상 크게 변하지 않는 상태로 수렴된 후에 최종적으로 결정된다.
객체 추출부(140)는 영상 정합부(130)에서 출력된 영상과 시차 정보(또는, 시차값)를 이용하여 영상에 포함된 객체를 추출한다. 객체 추출부(140)는 배경 차분 기술이나 에지(edge) 검출 기술을 이용하여 객체를 추출하거나, 시차 정보를 이용하여 객체를 추출한다. 객체 추출부(140)는 영상에 포함된 적어도 하나의 객체를 추출할 수 있다.
합성부(150)는 객체를 합성할 배경 영상을 선택하여 객체 추출부(140)에서 추출된 객체와 배경 영상을 합성한다. 배경 합성 시스템(100)은 메모리(미도시)에 이미 저장되어 있는 배경 영상 가운데 하나를 선택하거나, 사용자로부터 배경 영상을 입력받아 객체와 배경 영상을 합성할 수 있다. 합성부(150)는 객체를 합성할 배경 영상의 조명 환경(lighting environment)을 모델링한 후, 객체와 배경 영상이 합성된 합성 영상에 상기 모델링된 조명 환경을 적용하여 자연스러운 합성 영상을 만들 수 있다.
전송부(160)는 합성부(150)에서 생성된 합성 영상을 상대편 수신기로 전송하며, 저장부(170)는 합성부(150)에서 생성된 합성 영상을 저장한다.
전송부(150)는 입체 영상 생성부(140)에서 생성된 입체 영상을 수신하여 목적지로 전송한다. 전송부(150)는 입체 영상을 변조하여 실시예에 따른 유/무선 통신, 네트워크 시스템을 통하여 상대편 수신기(미도시)로 전송할 수 있다. 전송부(150)는 입체 영상 생성 시스템에서 생성된 입체 영상을 IP(Internet Protocol) 프로토콜에 따라 컴퓨터 네트워크로 전송할 수도 있고, 이동 통신 변조(modulation) 방식에 따라 변조하여 이동 통신 네트워크로 전송할 수도 있다.
스테레오 영상 촬영장치 또는 카메라가 컴퓨터나 노트북, 개인 이동 통신 단말기 등에 설치되어 있는 경우, 입체 영상 생성 시스템은 컴퓨터나 노트북, 개인 이동 통신 단말기 등의 어플리케이션 형태로 사용될 수 있다. 예를 들어, 입체 영상 생성 시스템은 컴퓨터나 노트북, 개인 이동 통신 단말기를 이용한 화상 회의 어플리케이션이나, 화상 통화 어플리케이션, 메신저 어플리케이션의 화상 메신저 기능 등으로 사용될 수 있다.
도 2은 도 1에 도시된 배경 합성 시스템의 객체 추출부를 나타낸 도면이다. 도 2를 참조하면, 객체 추출부(140)는 시차 분리부(210), 배경 차분부(220), 에지 검출부(230) 및 객체 결정부(240)를 포함한다.
시차 분리부(210)는 영상 매칭부(130)에서 수신된 영상과 시차값을 이용하여 영상에 포함된 객체를 추출한다. 시차값은 영상 촬영 장치와 거리가 가까울수록 값이 커지며, 영상 촬영 장치와 거리가 멀어질수록 값이 작아진다. 영상에 포함된 배경 영역의 픽셀의 경우에는 특정 값(threshold)이하의 시차값을 가지며, 객체가 포함된 객체 영역의 픽셀의 경우에는 배경 영역과 달리 특정 값(threshold) 이상으로 일정 범위의 시차값을 가질 수 있다. 예를 들어, 사용자가 스테레오 영상촬영 장치를 이용하여 화상 통신을 하는 경우, 영상촬영 장치에 촬영된 사용자의 얼굴 영역은 배경 영역과 달리 일정한 범위의 시차값을 가질 수 있다. 상기 얼굴 영역의 시차값 범위는 영상촬영 장치와 사용자와의 거리에 따라 달라질 수 있으며, 이러한 시차값 범위는 실험을 통해 얻어질 수 있다. 시차 분리부(110)는 상기와 같은 시차값의 특성을 이용하여 일정한 범위의 시차값을 갖는 픽셀 영역을 객체 영역으로 판단하여 추출할 수 있다.
객체 영역을 판단한 후, 시차 분리부(110)는 객체 영역을 필터링하여 노이즈를 제거할 수 있다. 예를 들어, 시차 분리부(110)는 모폴로지 필터(Mophological filter)를 이용하여 객체 영역의 노이즈를 제거할 수 있다. 모폴로지 필터는 상기 객체 영역으로 판단된 각 픽셀에 대하여, 각 픽셀을 중심 픽셀로 하는 픽셀 윈도우(예를 들어, 3×3 픽셀 윈도우, 5×5 픽셀 윈도우 등)를 이용하여 노이즈를 제거한다. 즉, 모폴로지 필터는 픽셀 윈도우에 포함된 객체 영역의 픽셀 수가 특정 수(threshold)보다 큰 경우, 중심 픽셀을 객체 영역의 픽셀로 판단하며, 픽셀 윈도우에 포함된 객체 영역의 픽셀 수가 특정 수(threshold)보다 작은 경우, 중심 픽셀을 배경 영역의 픽셀로 판단한다. 모폴로지 필터는 객체 영역으로 판단된 영역의 주변 픽셀 예를 들어, 객체 영역의 경계 픽셀로부터 일정 거리 내에 있는 픽셀까지만 필터링하여 연산량을 줄일 수도 있다.
배경 차분부(120)는 객체가 포함되지 않은 배경 영상과 현재 수신되는 영상을 차분하여 객체를 추출한다. 배경 차분부(120)는 이미 저장되어 있는 배경 영상과 현재 수신되는 영상을 비교하여 픽셀 값(예를 들어, 픽셀의 밝기값 또는 색차값)의 차이가 일정 값(threshold) 이상 차이가 나는 영역을 객체 영역으로 판단할 수 있다. 배경 합성 시스템(100)은 시스템을 새로 동작시킬 때마다 객체가 없는 배경 영상을 미리 촬영하거나, 사용자가 수동으로 객체가 없는 배경 영상을 미리 촬영하도록 할 수 있다. 예를 들어, 화상 통신을 하는 경우, 배경 합성 시스템(100)은 화상 통신을 하기 전에 사용자가 포함되지 않은 배경 영상을 미리 촬영한 후 객체를 추출할 수 있다. 객체 영역을 판단한 후, 배경 차분부(120)는 모폴로지 필터와 같은 필터를 이용하여 객체 영역을 필터링하고 노이즈를 제거할 수 있다.
에지 검출부(130)는 현재 수신되는 영상의 에지(edge)를 검출한다. 에지 검출부(130)는 밝기값이 불연속적인 픽셀을 이용하여 객체의 에지를 검출할 수 있다. 예를 들어, 에지 검출부(130)는 픽셀의 밝기값이 주변 픽셀과 비교하여 갑작스럽게 변하는 픽셀을 에지로 검출할 수 있다. 에지 검출부(130)는 그래디언트(gradient) 연산과 같은 1차 미분에 의한 수평, 수직 방향 미분 연산을 이용하여 에지를 검출할 수 있고, 라플라시안(laplacian) 연산과 같은 2차 미분 연산, 가우시안 차(Difference of Gaussian) 연산 등 다양한 검출 연산을 이용하여 에지를 검출할 수 있다.
객체 결정부(140)는 시차 분리부(110)와 배경 차분부(120)에서 추출된 객체 영역과 에지 검출부(130)에서 검출된 에지를 이용하여 확정적으로 객체를 결정한다. 예를 들어, 객체 결정부(140)는 시차 분리부(110)와 배경 차분부(120)에서 동시에 객체 영역으로 추출된 영역을 확정적으로 객체 영역으로 결정한다. 시차 분리부(110)와 배경 차분부(120) 가운데 어느 하나에서만 객체 영역으로 판정된 픽셀은 에지 검출부(730)에서 추출된 에지 정보를 이용하여 객체 영역을 결정한다. 예를 들어, 시차 분리부(110)와 배경 차분부(120) 가운데 어느 하나에서만 객체 영역으로 판정된 픽셀이 객체의 에지와 일정 거리(예를 들어, 1 내지 2 픽셀 거리) 이내에 있는 경우, 객체 결정부(140)는 상기 픽셀을 객체 영역에 포함되는 픽셀로 결정한다. 만약, 객체의 에지와 일정 거리 이상 떨어져 있는 경우, 객체 결정부(140)는 상기 픽셀을 배경 영역에 포함되는 픽셀로 결정한다.
도 3은 블록 정합을 수행하는 일 실시예를 나타낸 도면이다.
도 3을 참조하면, 블록 정합을 수행하여 수학식 4와 같이 SAD를 구하는 과정에서 슬라이딩 윈도우(Sliding Window) 방식으로 수행하여 고속화할 수 있다. 일 실시예에 따라, 도 3에서는 블록 정합을 수행하는 블록 Bij가 x축의 양의 방향(예컨대, 우측 방향)으로 한 픽셀 씩 이동하며 SAD를 구하는 경우를 가정한다. 이때, 좌측 영상에 대하여 이동 전과 이동 후의 두 블록, 즉, 두 개의 중심 픽셀 (i, j)와 (i+1, j)에 대한 블록을 비교하면, 도 3에서와 같이 가장 우측의 세로 픽셀들과 가장 좌측의 세로 픽셀들만이 다르고 나머지 부분은 동일하다. 이제 이 두 좌측 블록들이 우측 영상의 하나의 블록과 각각 정합을 수행한다고 하면, 두 개의 좌측 블록의 위치 관계에 의하여 가장 우측과 가장 좌측의 세로 픽셀들에 대한 연산만이 오직 다름을 알 수 있다. 도 3 에서 보는 바와 같이, 좌측 영상이 x축의 우측 방향으로 블록을 이동시키면서 블록정합을 하는 경우, 한 픽셀 단위의 세로 영역이 우측에서 미끄러지듯이 새로 들어오고, 좌측에서는 빠지게 된다. 따라서, 하나의 동일한 우측 영상 블록과의 블록정합을 계산함에 있어서 이전 위치(i, j)에서 계산한 블록정합 에러(SAD)에 대하여 다음 위치(i+1, j)에서 새로 추가되는 부분을 더하고 빠지는 부분의 에러를 제외하면, 블록안의 모든 픽셀에 대한 연산을 수행하지 않고서도 전체 블록정합 에러를 연속적으로 구할 수 있다. 이 때, 블록정합을 수행하는 연산순서는 하나의 좌측 블록에 대하여 모든 시차 값을 계산하는 것이 아니라, 하나의 좌측 블록 (i, j)에 대하여 시차 값 d인 SAD를 우선 구하고, 바로 인접한 블록 (i+1, j)에 대하여 시차 값이 d-1인 SAD를 구하는 순서로 이루어지게 된다. 이와 같은 방식을 슬라이딩 윈도우(sliding window) 라 부르며, 시차추정을 수행하는 순서를 바꾸어 불필요한 연산을 획기적으로 줄일 수 있게 된다. 또한, 블록정합 에러를 합산하는 과정은 한 픽셀 폭의 세로방향 영역(좌우 색칠된 영역) 단위로 이루어진다.
도 4는 영상에서 객체를 추출하고 새로운 배경 영상과 객체를 합성하는 과정을 나타낸 도면이다.
도 4의 a는 객체가 촬영된 원 영상을 나타내며, 도 4의 b는 스테레오 영상을 정합하여 산출된 각 픽셀의 시차값을 밝기로 나타낸 도면이다. 영상촬영 장치와 가까울수록 시차값이 크므로 밝은 색으로 표현된다. 도 4의 c는 도 4의 a 영상에서 객체 영역을 추출한 것을 나타낸 도면이며, 도 4의 d는 도 4의 a 영상에서 추출된 객체와 새로운 배경 영상을 합성한 것을 나타낸 도면이다.
합성부(150)는 조명 합성 기능을 이용하여 더 자연스러운 합성 영상을 만들 수 있다. 합성부(150)는 객체를 합성할 배경 영상의 조명 환경(lighting environment)을 모델링한 후, 합성된 영상에 상기 모델링된 조명 환경을 적용하여 자연스러운 합성 영상을 만든다.
도 5는 배경 영상의 조명 환경을 객체 영역에 적용하여 합성된 영상을 나타내는 도면이다. 도 5에서 위 도면은 배경 영상을 나타내며, 아래 도면은 배경 각각의 배경 영상의 조명 환경을 객체 영역에 적용하여 합성된 영상을 나타낸다.
전송부(160)는 합성부(150)에서 생성된 합성 영상을 수신하여 목적지로 전송한다. 합성부(150)는 기능 설정에 따라 배경 영상과 객체를 합성한 합성 영상을 출력할 수도 있고, 배경 영상과 객체를 합성한 영상에 배경 영상의 조명 환경을 적용한 합성 영상을 출력할 수도 있다. 저장부(170)는 합성부(150)에서 생성된 입체 영상을 저장한다.
도 6은 개시된 기술의 일 실시예에 따른 배경 합성 영상 처리 방법을 나타내는 순서도이다. 도 6을 참조하면, 도 6은 다시점 영상 가운데 하나인 스테레오 영상을 이용하여 배경 합성 영상을 생성하고 처리하는 방법을 나타낸다.
배경 합성 시스템은 영상 촬영 장치를 이용하여 스테레오 영상을 촬영한다(S600). 배경 합성 시스템은 영상 촬영 장치를 통해 촬영된 스테레오 영상을 전처리 한다. 배경 합성 시스템은 스테레오 영상을 영상 촬영 장치 교정 파라미터를 이용하여 스테레오 영상을 교정한다(S610). 배경 합성 시스템은 스테레오 영상을 매칭하여 시차 정보를 산출한다(S620).
시차 정보를 산출한 후, 배경 합성 시스템은 영상에 포함된 객체를 추출한다(S630). 예를 들어, 배경 합성 시스템은 시차 분리를 이용하여 객체를 추출하거나, 배경 차분을 이용하여 객체를 추출한다. 배경 합성 시스템은 영상에 포함된 에지를 검출하여 객체를 추출할 수도 있다. 또는, 시차 분리와 배경 차분에 의하여 동시에 객체 영역으로 추출된 영역은 객체 영역으로 결정하고, 어느 하나에서만 객체 영역으로 추출된 픽셀은 에지와의 거리를 기준으로 객체 영역으로 판단할 수도 있다.
객체를 추출한 배경 합성 시스템은 추출된 객체와 새로운 배경 영상을 합성한다(S640). 배경 합성 시스템은 객체의 경계를 기준으로 객체 영역과 배경 영역을 포함하는 혼합 영역을 설정하고, 거리에 따른 선형 혼합 비율을 이용하여 혼합 영역의 픽셀값을 정한다. 객체와 배경 영상을 합성한 배경 합성 시스템은 배경 영상의 조명 환경을 모델링한 후, 모델링된 조명 환경에 따라 객체 영역을 다시 합성하여 더 자연스러운 합성 영상을 만들 수 있다.
상기에서는 본 발명의 일 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (23)

  1. 다시점 영상을 촬영하는 영상 촬영 장치;
    상기 영상 촬영 장치의 교정값을 이용하여 상기 영상 촬영 장치에서 촬영된 다시점 영상을 교정하여 출력하는 전처리부;
    상기 다시점 영상에 대하여 블록 정합을 수행하여 현재 픽셀을 중심으로 산출되는 정합에러, 상기 현재 픽셀과 이웃 픽셀의 컬러 유사도를 비교하여 산출되는 컬러정보 및 상기 현재 픽셀 및 상기 이웃 픽셀의 시차 차이값인 시차 정보에 근거하여 시차값을 추정하는 스테레오 영상 정합부;
    상기 시차값을 이용하여 상기 다시점 영상에서 선택된 기준 영상에서 객체를 추출하는 객체 추출부; 및
    상기 추출된 객체와 배경 영상을 합성하여 합성 영상을 생성하는 합성부를 포함하는 다시점 영상을 이용한 영상 시스템.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 스테레오 영상 정합부는
    상기 다시점 영상 가운데 선택된 기준 영상을 기준으로 탐색 영상의 블록을 픽셀 단위로 이동하면서 상기 블록 정합을 수행하여 정합에러를 산출하는 다시점 영상을 이용한 영상 시스템.
  5. 제 4 항에 있어서,
    상기 정합에러는
    세로 영역 단위로 픽셀 단위의 블록 정합의 에러를 산출하고, 슬라이딩 윈도우(Sliding Window) 방식으로 전체 블록 정합의 에러를 산출하는 다시점 영상을 이용한 영상 시스템.
  6. 제 1 항에 있어서,
    상기 스테레오 영상 정합부는
    상기 이웃 픽셀의 컬러 분포와 상기 블록 정합의 신뢰도를 이용하여 시차값을 산출하는 다시점 영상을 이용한 영상 시스템.
  7. 제 6 항에 있어서,
    상기 이웃 픽셀의 컬러 분포에 근거한 가중치 및 상기 픽셀의 시차 정보로부터 시차값을 산출하는 다시점 영상을 이용한 영상 시스템.
  8. 제 6 항에 있어서,
    상기 정합에러 중에서 가장 낮은 에러 및 두 번째로 낮은 에러에 근거하여 상기 블록 정합의 신뢰도를 산출하는 다시점 영상을 이용한 영상 시스템.
  9. 제 6 항에 있어서,
    상기 블록 정합의 신뢰도에 근거하여 상기 이웃 픽셀의 시차 정보에 가중치를 주어 시차값을 산출하는 다시점 영상을 이용한 영상 시스템.
  10. 제 6 항에 있어서,
    상기 블록 정합의 신뢰도에 근거하여 상기 정합에러에 가중치를 주어 시차값을 산출하는 다시점 영상을 이용한 영상 시스템.
  11. 제 1 항에 있어서,
    상기 스테레오 영상 정합부는
    상기 다시점 영상을 다중 해상도의 계층적 구조로 변환하고, 저해상도로부터 고해상도까지 컬러 분포에 근거하여 시차 지도를 보간하여 시차값을 산출하는 다시점 영상을 이용한 영상 시스템.
  12. 제 11 항에 있어서,
    각 픽셀의 컬러 분포에 근거하여 상기 이웃 픽셀 중 상기 현재 픽셀과 가장 비슷한 컬러를 갖는 이웃 픽셀의 시차값을 이용하여 시차 지도를 보간하는 다시점 영상을 이용한 영상 시스템.
  13. 제 11 항에 있어서,
    블록 정합의 신뢰도가 기준값 보다 높은 픽셀의 시차값을 이용하여 시차 지도를 보간하는 다시점 영상을 이용한 영상 시스템.
  14. 제 1 항에 있어서,
    상기 객체 추출부는
    상기 시차값을 이용하여 상기 기준 영상에서 객체가 포함된 객체 영역을 추출하는 시차 분리부;
    객체가 포함되지 않은 영상과 상기 기준 영상을 차분하여 상기 기준 영상에서 객체가 포함된 객체 영역을 추출하는 배경 차분부;
    상기 기준 영상에서 에지(edge)를 검출하는 에지 검출부; 및
    상기 시차 분리부와 배경 차분부에서 추출된 객체 영역과 상기 에지 검출부에서 검출된 에지를 이용하여 객체 영역을 결정하는 객체 결정부를 포함하는 다시점 영상을 이용한 영상 시스템.
  15. 제 14 항에 있어서,
    상기 객체 결정부는
    상기 시차 분리부와 상기 배경 차분부에서 동시에 객체 영역으로 추출된 영역을 객체 영역으로 결정하는 다시점 영상을 이용한 영상 시스템.
  16. 제 14 항에 있어서,
    상기 시차 분리부와 배경 차분부 가운데 어느 하나에서만 객체 영역으로 판정된 픽셀의 경우, 상기 픽셀이 객체의 에지와 일정 거리 이내에 있으면 상기 픽셀을 객체 영역에 포함되는 픽셀로 결정하는 다시점 영상을 이용한 영상 시스템.
  17. 제 1 항에 있어서,
    상기 객체와 배경을 합성한 영상이나 생성된 중간시점 영상을 실시간 비디오 신호로 전송하는 전송부; 및
    상기 객체와 배경을 합성한 영상이나 생성된 중간시점 영상을 실시간 비디오 신호로 저장하는 저장부를 포함하는 다시점 영상을 이용한 영상 시스템.
  18. 다시점 영상을 촬영하는 단계;
    상기 다시점 영상을 촬영한 영상 촬영 장치의 교정값을 이용하여 상기 다시점 영상을 교정하여 출력하는 단계;
    상기 다시점 영상에 대하여 블록 정합을 수행하여 현재 픽셀을 중심으로 산출되는 정합에러, 상기 다시점 영상에 대하여 블록 정합을 수행하여 현재 픽셀을 중심으로 산출되는 정합에러, 상기 현재 픽셀과 이웃 픽셀의 컬러 유사도를 비교하여 산출되는 컬러정보 및 상기 현재 픽셀 및 상기 이웃 픽셀의 시차 차이값인 시차 정보에 근거하여 시차값을 산출하는 단계;
    상기 시차값을 이용하여 상기 다시점 영상에서 선택된 기준 영상에서 객체를 추출하는 단계; 및
    상기 추출된 객체와 배경 영상을 합성하여 합성 영상을 생성하는 단계를 포함하는 다시점 영상을 처리하는 방법.
  19. 삭제
  20. 삭제
  21. 제 18 항에 있어서,
    상기 시차값을 산출하는 단계는
    상기 다시점 영상 가운데 선택된 기준 영상을 기준으로 탐색 영상의 블록을 픽셀 단위로 이동하면서 상기 블록 정합을 수행하여 상기 정합에러를 산출하는 다시점 영상을 처리하는 방법.
  22. 제 18 항에 있어서, 상기 객체를 추출하는 단계는
    상기 기준 영상에서 일정한 범위 내의 시차값을 갖는 픽셀을 포함하는 영역을 객체 영역으로 추출하는 제1 단계;
    객체가 포함되지 않은 영상과 상기 기준 영상을 차분하여 상기 기준 영상에서 객체가 포함된 객체 영역을 추출하는 제2 단계;
    상기 기준 영상에서 에지(edge)를 검출하는 제3 단계; 및
    상기 제1 단계와 제2 단계 에서 추출된 객체 영역과 상기 제3 단계에서 검출된 에지를 이용하여 객체 영역을 결정하는 단계를 포함하는 다시점 영상을 처리하는 방법.
  23. 제 18 항에 있어서,
    상기 객체와 배경을 합성한 영상이나 생성된 중간시점 영상을 실시간 비디오 신호로 전송하는 단계; 및
    상기 객체와 배경을 합성한 영상이나 생성된 중간시점 영상을 실시간 비디오 신호로 저장하는 단계를 포함하는 다시점 영상을 처리하는 방법.
KR1020110063124A 2011-06-28 2011-06-28 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법 KR101281003B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110063124A KR101281003B1 (ko) 2011-06-28 2011-06-28 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110063124A KR101281003B1 (ko) 2011-06-28 2011-06-28 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20130002090A KR20130002090A (ko) 2013-01-07
KR101281003B1 true KR101281003B1 (ko) 2013-07-08

Family

ID=47834852

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110063124A KR101281003B1 (ko) 2011-06-28 2011-06-28 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR101281003B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787087B (zh) 2016-03-14 2019-09-17 腾讯科技（深圳）有限公司 合演视频中搭档的匹配方法和装置
CN109816619A (zh) * 2019-01-28 2019-05-28 努比亚技术有限公司 图像融合方法、装置、终端及计算机可读存储介质
KR102618853B1 (ko) * 2021-12-28 2023-12-29 라온피플 주식회사 피사체 굴곡 표시 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070068086A (ko) * 2005-12-26 2007-06-29 엠텍비젼 주식회사 윤곽선 검출을 이용한 영상 합성 방법 및 장치
KR100776805B1 (ko) * 2006-09-29 2007-11-19 한국전자통신연구원 스테레오 비전 처리를 통해 지능형 서비스 로봇 시스템에서효율적인 영상 정보의 전송을 위한 장치 및 그 방법
KR20100134288A (ko) * 2009-06-15 2010-12-23 이상화 입체 영상 시스템 및 입체 영상 처리 방법
KR20110101722A (ko) * 2010-03-09 2011-09-16 (주)알파캠 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070068086A (ko) * 2005-12-26 2007-06-29 엠텍비젼 주식회사 윤곽선 검출을 이용한 영상 합성 방법 및 장치
KR100776805B1 (ko) * 2006-09-29 2007-11-19 한국전자통신연구원 스테레오 비전 처리를 통해 지능형 서비스 로봇 시스템에서효율적인 영상 정보의 전송을 위한 장치 및 그 방법
KR20100134288A (ko) * 2009-06-15 2010-12-23 이상화 입체 영상 시스템 및 입체 영상 처리 방법
KR20110101722A (ko) * 2010-03-09 2011-09-16 (주)알파캠 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법

Also Published As

Publication number Publication date
KR20130002090A (ko) 2013-01-07

Similar Documents

Publication Publication Date Title
CN111066065B (zh) 用于混合深度正则化的系统和方法
CN107396080B (zh) 产生深度信息的方法及系统
KR101023207B1 (ko) 영상 객체 추출 장치 및 그 방법
US20140198977A1 (en) Enhancement of Stereo Depth Maps
TWI483612B (zh) Converting the video plane is a perspective view of the video system
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
JP6020471B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
KR20100104591A (ko) 파노라마의 생성 방법
KR101139389B1 (ko) 스테레오 카메라를 이용한 영상인식장치 및 방법
US20140340486A1 (en) Image processing system, image processing method, and image processing program
WO2014000663A1 (zh) 一种实现立体成像的方法及装置
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
US9584806B2 (en) Using depth information to assist motion compensation-based video coding
Sun et al. Novel temporal domain hole filling based on background modeling for view synthesis
CN111480342A (zh) 编码装置、编码方法、解码装置和解码方法
KR20140074201A (ko) 추적 장치
KR101281003B1 (ko) 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법
CN113348489A (zh) 图像处理方法和装置
US8908012B2 (en) Electronic device and method for creating three-dimensional image
KR101158678B1 (ko) 입체 영상 시스템 및 입체 영상 처리 방법
US20230290061A1 (en) Efficient texture mapping of a 3-d mesh
JP2013150071A (ja) 符号化装置、符号化方法、プログラム及び記憶媒体
EP3391330B1 (en) Method and device for refocusing at least one plenoptic video
KR20110101722A (ko) 다시점 영상을 이용한 영상 시스템 및 영상 처리 방법
CN113139999B (zh) 一种透明物体单视图多尺度深度估计方法和系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160204

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170524

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180521

Year of fee payment: 6