KR101473648B1 - 배경 스크린 없는 실시간 크로마키 영상 합성 방법 및 시스템 - Google Patents

Abstract

본 발명은, 단색의 배경 스크린 없이도 크로마키 영상 합성을 수행할 수 있는 시스템에 관한 것으로, 카메라, 컴퓨터 및 모니터를 포함하는 크로마키 영상 합성 방법에 있어서, 1차 카메라 고정 판별 단계(S10); 영상 입력 단계(S20); 제2 영상 입력 단계(S30); 2차 카메라 고정 판별 단계(S40); 움직임 및 외곽선 추적 단계(S50); 제1 영상을 생성하는 제1 영상 생성 단계(S60); 알파매트 생성 단계(S70); 및 영상 합성 단계(S80)를 포함하는 것을 기술적 특징으로 한다.
또한 본 발명은, 1차 카메라 고정 판별 단계(S10)에서 카메라가 고정된 것으로 판별되는 경우, 배경 입력 단계(S11) 및 영상 비교 단계(S41)를 더 포함하는 ㄱ것을 기술적 특징으로 한다.
더불어 본 발명은, 카메라, 컴퓨터 및 컴퓨터를 포함하여 크로마키 기법을 이용해 영상 합성을 수행하는 시스템에 있어서, 컴퓨터는, 영상 입력부; 영상 처리부; 영상 합성부; 및 영상 출력 및 저장부;를 포함하여, 컴퓨터는 카메라로부터 입력받은 입력 영상에서 피사체의 외곽선 및 움직임을 추적하여 타겟 피사체를 추출하는 것으로, 단색의 배경 스크린 없이 크로마키 영상 합성을 수행하는 것을 기술적 특징으로 한다.

Description

배경 스크린 없는 실시간 크로마키 영상 합성 방법 및 시스템{METHOD AND SYSTEM FOR REAL-TIME CHROMA-KEY IMAGE SYNTHESIS WITHOUT BACKGROUND SCREEN}

본 발명은, 단색의 배경 스크린 없이 크로마키(Chroma-key) 영상을 합성하기 위한 방법 및 시스템에 관한 것으로 더욱 구체적으로는, 카메라로 촬영되어 입력된 입력 영상에서 피사체의 외곽선 및 움직임을 추적하며, 상기 추적된 피사체의 외곽선 및 움직임에 근거하여 추출된 타겟 피사체를 포함하는 제1 영상을 생성하고, 상기 제1 영상과 다른 배경(제2 영상)을 합성하여 크로마키 합성 영상을 제작하는 배경 스크린 없는 실시간 크로마키 영상 합성 방법 및 시스템에 관한 것이다.

본 발명은, 상기 제1 영상과 제2 영상이 합성될 때 자연스럽게 합성되도록 하기 위하여 상기 입력 영상을 이용해 실시간으로 적응형 알파매트를 생성하는 배경 스크린 없는 실시간 크로마키 영상 합성 방법 및 시스템에 관한 것이다.

본 발명은, 상기 카메라가 고정되어 있는 경우 배경 영상(추출될 타겟 피사체를 포함하지 않고, 배경 영상만 포함된 영상 데이터)을 먼저 촬영한 후, 입력 영상을 촬영하는 것으로, 상기 피사체를 포함하지 않는 배경 영상과 상기 입력 영상을 비교하는 것으로, 입력 영상에서 피사체의 외곽선 및 움직임을 추적하는 배경 스크린 없는 실시간 크로마키 영상 합성 방법 및 시스템에 관한 것이다.

일반적으로 영화 또는 TV 방송에서는 사람이 직접 행동하기 어려운 동작들을 촬영하기 위하여 크로마키 기법을 이용해 영상 합성을 수행하고 있다.

크로마키(Chroma-key) 기법이란, 청색(Blue) 스크린 또는 녹색(Green) 스크린과 같은 단색의 스크린을 배경으로 인물이나 물체를 배치하고 컬러 카메라로 촬영하여 피사체상(被寫體像)을 다른 화면에 합성하는 기법으로서, 이 기술의 과정은 모두 전자적으로 행하여지기 때문에 간단한 스위치 조작만으로 이루어지고 있다.

또한 크로마키 기법을 이용한 영상 합성은, 단색의 배경 스크린을 이용하여 피사체를 촬영하고, 상기 촬영된 영상에서 배경에 해당하는 색을 제거함으로써, 피사체를 추출하고 다른 배경의 영상에 합성하는 것인바, 크로마키 영상 합성을 위해서는 반드시 단색의 배경 스크린이 요구된다.

이러한 크로마키 기법을 이용한 영상 합성과 관련하여 공개특허공보 제10-2003-0079316호에 영상 크로마키 기능이 있는 사진 자판기가 기재되어 있다.

위에 기재된 기술은, 자판기 형태로 사용자에게 설치 제공되는 것으로, 특정 색상의 스크린과 동일색의 임의 형상 피사체 가림 수단을 제공하여 피사체를 촬영하고 촬영된 피사체 영상을 배경 영상과 크로마키 기법으로 합성하여 제공하는 것이다.

이 기술에서 크로마키 영상으로 합성하기 위한 수단으로, 피사체의 후방에 배치되는 배경 스크린, 특정 색상의 유사 색상 범위의 색상이 일정 영역에 도색되거나 색상이 도색된 물체가 부착된 소정의 가림도구, 가림도구를 착용한 피사체를 촬영하여 제1 영상을 생성하는 영상 촬영부, 제1 영상 상의 특정 색상 및 유사 색상 범위의 색상을 제거하여 피사체 영상을 생성하는 피사체 영상 생성 모듈, 배경 영상을 포함하는 제2 영상을 생성하는 제2 영상 생성모듈 및 제1 영상과 제2 영상을 합성하여 합성 영상을 생성하는 영상 합성 모듈을 구비하는 영상 처리부 및 합성 영상을 출력하는 출력부를 구비한다.

그러나 위에 기재된 기술을 포함한 크로마키 영상 합성의 기술은, 피사체를 촬영할 때에 단색의 배경 스크린이 반드시 구비되어야만 하는 것으로, 이에 따라 고가의 장비가 요구되고, 배경 스크린을 항상 구비하여야 하기 때문에, 장소가 한정되며, 야외에서의 사용이 현실적으로 어려운 문제점이 있다.

한편 인터넷을 이용하는 네티즌(netizen)들은, 자신의 블로그나 홈페이지를 통해 자신만의 색을 담은 UCC(User Created Contens, 사용자가 직접 제작한 컨텐츠)를 게시하며 다른 이들의 블로그나 홈페이지를 접속하여 관심있는 UCC를 보며 즐기고 있다.

이에 따라 최근에는 UCC 제작을 쉽게 할 수 있도록 스튜디오를 제작하여 임대하는 서비스를 제공하는 업체들도 생기고 있으며, 기업들은 홍보를 위해 UCC를 제작할 수 있는 스튜디오를 대여해주고 있는 추세이다.

그러나 상기의 UCC 제작 방법은, 복잡하거나 비싼 장비들을 이용해야 하기 때문에 임대료 및 대여료가 저렴하지 않은 문제점이 있다.

또한 스튜디오에서 제작되는 UCC는 합성된 결과물이 사용자에게 실시간으로 전달되지 않으므로, 사용자는 결과물을 일정 시간 후에 확인할 수 있고, 이로 인해 사용자는 자신이 의도하는 대로 결과물을 보정할 수 없는 문제점이 있다.

이에 대해 단색의 배경 스크린을 이용하지 않고 일반 배경을 사용하여 크로마키 영상 합성을 수행한다면, 스튜디오와 같은 제한적 장소 또는 스튜디오 장비가 필요하지 않으며, 실시간으로 제작 및 확인할 수 있기 때문에 제작 시간 단축 및 제작 비용을 절감할 수 있다.

한편 크로마키 영상 합성을 수행하는데 있어서, 단색의 배경 스크린 없이 크로마키 영상 합성을 수행하는 데에는 기술적으로 용이하지 않은 문제점이 있기 때문에 기술 개발에 어려움이 있었다.

왜냐하면 크로마키 기법은 단색의 배경 스크린에 해당하는 색을 제거하는 영상 합성 기법인데, 추출하고자 하는 객체에 포함된 색 중 배경 스크린의 색과 유사한 색이 포함되어 있는 경우, 상기 객체에 포함된 배경 스크린과 유사한 색이 함께 제거되기 때문이다.

그러나 단색 배경이 아닌 일반 배경으로 이루어져 있는 영상에서 피사체의 외곽선 및 움직임을 추적하여 피사체를 추출해낼 수 있다면, 단색의 배경 스크린 없이도 크로마키 영상 합성을 수행할 수 있다.

위와 같이 영상에서 피사체를 추출하는 기술과 관련하여 등록특허공고 제10-0661528호에 적응형 크로마키 합성 장치 및 그 방법이 기재되어 있다.

위에 기재된 기술은, 카메라를 통해 촬상된 영상과 배경스크린 대체 영상을 입력받기 위한 영상입력수단; 입력 영상을 스캔한 후, 매 프레임마다 전체 화면을 공간 분할하여, 각 분할면에 대하여 별도의 크로마키를 생성한 후, 크로마키 값의 변화를 추적하여 크로마키를 생성하기 위한 전처리수단; 상기 크로마키를 바탕으로 크로마키잉 처리하여, 객체가 포함된 입력 영상에서 배경스크린 크로마키에 해당하는 화소를 상기 배경스크린 대체 영상으로 대체, 합성하기 위한 크로마키잉 처리수단; 상기 크로마키잉 처리시에, 객체와 배경스크린의 공통적인 부분이 존재하는 경우, 크로마 성분 외에 휘도 성분을 적용하여 배경 스크린과 객체의 공통 색상 영역을 최소화하기 위한 후처리수단; 및 상기 합성된 객체와 배경스크린 대체 영상을 출력하기 위한 영상출력수단을 포함하는 것으로 기재되어 있다.

이와 같이 위에 기재된 기술을 포함한 피사체를 추출하여 크로마키 기법으로 영상을 합성하는 기술은, 영상을 이루는 각 프레임에서 피사체를 추출하여 영상으로 합성하는 방법 또는 센서 카메라를 통해 피사체를 추출하여 합성하는 방법으로 이루어지고 있다.

그러나 위의 기술들은, 센서 카메라와 같은 별도의 장비를 요구하기 때문에 비용이 증가되거나 장비를 구비해야하는 번거로움이 있고, 또한 영상을 이루는 각 프레임에서 피사체를 추출하는 방법은 기술을 이루는데 요구되는 연산 과정이 복잡한 문제점이 있다.

따라서 별도의 특수 장비(예를 들어 센서 카메라 등) 없이 일반 카메라를 통해 촬영되는 영상을 이용하여 상기 영상에서 피사체의 움직임 및 외곽선을 추적하는 것으로, 특정 피사체를 추출해낼 수 있다면 단색의 배경 스크린 없이 크로마키 영상 합성을 수행할 수 있는 것이다.

즉 별도의 단색 배경 스크린이 없어도 크로마키 영상 합성이 이루어질 수 있으며, 이에 따라 실시간으로 영상 제작이 가능하여 쉽고, 실시간으로 확인할 수 있는 크로마키 영상 합성 시스템의 개발이 요구된다.

특허문헌 001: 공개특허공보 제10-2003-0079316호(2003. 10. 10.) 특허문헌 002: 등록특허공보 제10-0661528호(2006. 12. 27. 공고)

위와 같은 요구에 부응하기 위하여 안출된 것으로 본 발명의 목적은, 입력 영상에서 피사체의 외곽선 및 움직임을 추적하고, 추적된 피사체의 외곽선 및 움직임에 근거하여 추출된 타겟 피사체를 포함하는 제1 영상과 제2 영상을 크로마키 기법으로 합성하는 것으로, 단색의 배경 스크린 없이 크로마키 영상 합성을 수행할 수 있는 방법 및 시스템을 제공하는 데 있다.

본 발명의 다른 목적은, 상기 타겟 피사체와 상기 다른 배경이 합성될 때, 자연스럽게 합성되도록 하기 위하여 입력 영상을 이용해 실시간으로 적응형 알파매트를 생성하는 배경 스크린 없는 실시간 크로마키 영상 합성 방법 및 시스템을 제공하는 데 있다.

본 발명의 또 다른 목적은, 카메라가 고정되어 있는 경우, 피사체를 포함하지 않는 배경 영상을 먼저 촬영한 후, 피사체를 포함하는 영상(입력 영상)을 촬영하는 것으로, 상기 피사체를 포함하지 않는 배경 영상과 상기 입력 영상을 비교하여 입력 영상에서 피사체의 외곽선 및 움직임을 추적하는 배경 스크린 없는 실시간 크로마키 영상 합성 방법 및 시스템을 제공하는 데 있다.

본 발명은, 카메라 및 컴퓨터를 포함하고, 컴퓨터에 입력된 입력 영상에서 피사체의 움직임 및 외곽선을 추적하여 크로마키 영상 합성을 수행하는 방법에 있어서, 1차 카메라 고정 판별 단계(S10); 영상 입력 단계(S20); 제2 영상 입력 단계(S30); 2차 카메라 고정 판별 단계(S40); 움직임 및 외곽선 추적 단계(S50); 제1 영상을 생성하는 제1 영상 생성 단계(S60); 알파매트 생성 단계(S70); 및 영상 합성 단계(S80)를 포함하는 것을 기술적 특징으로 한다.

또한 본 발명은, 1차 카메라 고정 판별 단계(S10)에서 카메라가 고정된 것으로 판별되는 경우, 배경 입력 단계(S11) 및 영상 비교 단계(S41)를 더 포함하는 것을 기술적 특징으로 한다.

더불어 본 발명은, 카메라 및 컴퓨터를 포함하고, 크로마키 기법을 이용해 영상 합성을 수행하는 시스템에 있어서, 컴퓨터는, 영상 입력부; 영상 처리부; 영상 합성부; 및 영상 출력 및 저장부;를 포함하여, 컴퓨터는 카메라로부터 입력받은 입력 영상에서 피사체의 외곽선 및 움직임을 추적하여 타겟 피사체를 추출하는 것으로, 단색의 배경 스크린 없이 크로마키 영상 합성을 수행하는 것을 기술적 특징으로 한다.

본 발명은, 크로마키 영상을 합성할 때 요구되는 단색의 배경 스크린이 없어도 크로마키 영상 합성을 수행할 수 있기 때문에 촬영 장소에 한정되지 않고, 야외에서도 사용 가능한 효과를 보유하고 있다.

또한 본 발명은, 개인 단말기(컴퓨터 등)를 이용하여 영상 합성을 수행할 수 있으므로, 합성 영상에 따른 제작 비용 및 제작 시간을 절감할 수 있는 효과를 보유하고 있다.

더불어 본 발명은, 크로마키 영상 합성을 수행하면서 사용자가 실시간으로 확인할 수 있기 때문에 사용자의 의도에 따라 크로마키 합성 영상을 보정할 수 있는 효과를 보유하고 있다.

도 1은 본 발명에 따른 배경 스크린 없는 실시간 크로마키 영상 합성 방법의 흐름도를 도시한 것이다.
도 2는 본 발명에 따른 배경 스크린 없는 실시간 크로마키 영상 합성 시스템의 개략적인 구성을 도시한 것이다.
도 3은 본 발명에 따른 배경 스크린 없는 실시간 크로마키 영상 합성 시스템의 전체 구성을 도시한 것이다.
도 4는 본 발명에 따른 배경 스크린 없는 실시간 크로마키 영상 합성 시스템의 영상 입력부가 카메라로부터 입력받은 영상을 도시한 것이다.
도 5는 본 발명에 따른 배경 스크린 없는 실시간 크로마키 영상 합성 시스템에서 제1 영상, 제2 영상 및 알파매트를 합성하는 것을 도시한 것이다.

본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

이하, 도면을 참조하여 설명하기에 앞서, 본 발명의 요지를 드러내기 위해서 필요하지 않은 사항 즉 통상의 지식을 가진 당업자가 자명하게 부가할 수 있는 공지 구성에 대해서는 도시하지 않거나, 구체적으로 기술하지 않았음을 밝혀둔다.

다시 말해 본 명세서는, 본 발명에 따른 목적을 달성하기 위한 구성(예를 들어, 영상 입력부, 영상 처리부, 영상 합성부, 영상 저장 및 출력부 등)을 주요하게 설명할 수 있으며, 이에 따라 본 발명이 상기 구성에 한정되지 않는다는 점을 강조하는 바이다.

설명에 앞서 본 명세서에서는, 카메라로부터 촬영되어 입력된 영상을 입력 영상이라 지칭하며, 상기 입력 영상에서 피사체의 움직임 및 외곽선을 추적하는 것으로, 추출된 타겟 핏가체를 포함하는 영상을 제1 영상으로 지칭하고, 제1 영상과 합성되는 다른 배경을 제2 영상이라 지칭한다.

또한 카메라가 고정된 경우, 피사체가 포함되지 않고 배경만을 포함하는 영상 데이터를 배경 영상이라 지칭한다.

이는 본 발명의 구성을 설명하는데 있어서, 당업자의 이해를 돕기 위한 것이다.

본 발명은, 크로마키 영상을 합성하는데 있어서, 반드시 요구되는 단색의 배경 스크린을 구비하지 않고, 카메라를 통해 촬영된 일반 영상을 컴퓨터가 입력받아 입력 영상으로 생성하고, 상기 입력 영상에서 피사체의 외곽선 및 움직임을 추적하고, 이에 근거하여 타겟 피사체를 추출하는 것으로, 크로마키 영상 합성을 수행할 수 있는 배경 스크린 없는 실시간 크로마키 영상 합성 방법에 관한 것이다.

다시 말해 타겟 피사체는, 입력 영상에서 추적된 피사체의 외관선 및 움직임에 근거하여 추출되어 합성에 이용되는 영상 데이터(제1 영상)를 의미한다.

먼저, 배경 스크린 없는 실시간 크로마키 영상 합성 방법을, 첨부된 도면의 도 1을 통해 설명한다.

도 1은 본 발명에 따른 배경 스크린 없는 실시간 크로마키 영상 합성 방법의 흐름도를 도시한 것이다.

첨부된 도면의 도 1에 따른 본 발명의 크로마키 영상 합성 방법은, 1차 카메라 고정 판별 단계(S10), 영상 입력 단계(S20), 제2 영상 입력 단계(S30), 2차 카메라 고정 판별 단계(S40), 움직임 및 외곽선 추적 단계(S50), 제1 영상 생성 단계(S60), 알파매트 생성 단계(S70) 및 영상 합성 단계(S80)을 포함한다.

(1) 1차 카메라 고정 판별 단계(S10)

1차 카메라 고정 판별 단계(S10)는, 카메라가 고정되어 있는지를 1차적으로 판별하는 단계이다.

(2) 영상 입력 단계(S20)

영상 입력 단계(S20)는, 1차 카메라 고정 판별 단계(S10)에서 카메라가 고정되어 있지 않은 것으로 판별되는 경우에 상기 카메라로부터 촬영된 영상을 컴퓨터로 입력하여 입력 영상을 생성하는 단계이다.

(3) 제2 영상 입력 단계(S30)

제2 영상 입력 단계(S30)는, 타겟 피사체와 합성할 다른 배경(제2 영상)을 생성 또는 입력하는 단계이다.

이때 제2 영상을 입력 및 저장하기 위한 인터페이스가 구비되도록 구성될 수 있다.

또한 제2 영상 입력 단계(S30)는, 영상 입력 단계(S20) 후에 이루어지는 것으로 기재되어 있지만, 다른 조건에 따라서는 순서와 상관없이 언제든지 이루어질 수 있다.

예를 들어, 제2 영상 입력 단계(S30)는 후술될 영상 합성 단계(S50) 전에만 이루어지면 된다.

(4) 2차 카메라 고정 판별 단계(S40)

2차 카메라 고정 판별 단계(S40)는, 카메라가 고정되어 있는지를 2차적으로 판별하는 단계이다.

이는 카메라가 고정되어 있는 경우를 위한 과정인 것으로 본 발명에서 카메라가 고정되어 있는 경우에 따른 크로마키 영상 합성 방법은 하기에서 설명한다.

(5) 움직임 및 외곽선 추적 단계(S50)

움직임 및 외곽선 추적 단계(S50)는, 상기 영상 입력 단계(S20)에서 입력된 입력 영상에서 피사체의 움직임 및 외곽선을 추적하는 단계이다.

(6) 제1 영상 생성 단계(S60)

제1 영상 생성 단계(S60)는, 움직임 및 외곽선 추적 단계(S50)에서 추적된 피사체의 움직임 및 외곽선에 근거하여 합성할 타겟 피사체를 추출하는 단계이다.

즉 추출된 타겟 피사체로 이루어진 영상 데이터를 제1 영상이라 지칭한다.

(7) 알파매트 생성 단계(S70)

알파매트 생성 단계(S70)는, 상기 영상 입력 단계(S20)에서 입력된 입력 영상을 이용하여 상기 입력 영상에 기반한 알파매트를 실시간으로 생성한다.

즉 알파매트는, 상기 입력 영상에 기반하여 실시간으로 생성된 알파매트인 것으로, 본 발명에서는 실시간 적응형 알파매트로 지칭한다.

(8) 영상 합성 단계(S80)

영상 합성 단계(S80)는, 상기 제1 영상 생성 단계(S60)에서 생성된 제1 영상, 제2 영상 입력 단계(S30)에서 생성 또는 입력된 제2 영상, 알파매트 생성 단계(S70)에서 생성된 실시간 적응형 알파매트를 합성하여 크로마키 합성 영상으로 제작하는 단계이다.

한편 전술된 단계(S10 내지 S80)는, 카메라가 고정되지 않은 경우에 이루어지는 것으로, 카메라가 고정되는 경우에는 배경 입력 단계(S11) 및 영상 비교 단계(S41)을 더 포함한다.

(1.1) 배경 입력 단계(S11)

배경 입력 단계(S11)는, 1차 카메라 고정 판별 단계(S10)에서 카메라가 고정된 것으로 판별되는 경우에 입력 영상보다 먼저 배경 영상을 촬영하고 컴퓨터에 입력하는 단계이다.

즉 배경 영상은, 입력 영상에서 추출될 피사체가 포함되지 않고 배경만 포함된 영상 데이터를 의미(첨부된 도면의 도 4의 (b) 참조)한다.

또한 배경 입력 단계(S11) 후에는, 영상 입력 단계(S20) 및 제2 영상 입력 단계(S30)를 거쳐 2차 카메라 고정 판별 단계(S40)로 이루어지는데, 이때 2차 카메라 고정 판별 단계(S40)에서 카메라가 고정되어 있는 경우, 영상 비교 단계(S41)가 이루어진다.

설계 조건에 따라서, 배경 입력 단계(S11)에서 배경 영상이 입력된 경우에는, 2차 카메라 고정 판별 단계(S40)에서 카메라가 고정된 것으로 판별할 수 있다.

(1.2) 영상 비교 단계(S41)

영상 비교 단계(S41)는, 2차 카메라 고정 판별 단계(S40)에서 카메라가 고정된 것으로 판별되는 경우에 상기 배경 입력 단계(S11)에서 입력된 배경 영상과 상기 영상 입력 단계(S20)에서 입력된 입력 영상을 비교하는 단계이다.

즉 본 발명에서는, 카메라가 고정되어 있는 경우에는 배경 영상과 입력 영상을 비교하는 것으로, 상기 입력 영상에서 피사체의 움직임 및 외곽선을 더욱 수월하게 추적할 수 있다.

따라서 영상 비교 단계(S41) 후에는, 움직임 및 외곽선 추적 단계(S50)가 이루어진다.

전술된 바와 같이 이루어지는 크로마키 영상 합성 방법을 위한 배경 스크린 없는 실시간 크로마키 영상 합성 시스템을, 첨부된 도면의 도 2 및 도 3을 통해 설명한다.

도 2는 본 발명에 따른 배경 스크린 없는 실시간 크로마키 영상 합성 시스템의 개략적인 구성을 도시한 것이며, 도 3은 본 발명에 따른 배경 스크린 없는 실시간 크로마키 영상 합성 시스템의 전체 구성을 도시한 것이다.

본 발명에 따른 배경 스크린 없는 실시간 크로마키 영상 합성 시스템은, 주요하게 카메라(100), 컴퓨터(200) 및 영상 출력을 위한 모니터로 이루어진다.

여기에서 모니터는, 합성 완료된 크로마키 합성 영상을 출력하기 위한 수단일 뿐, 반드시 모니터인 것으로 한정되지 않으며, 스마트 단말기 등과 같은 다른 출력 수단을 통해 크로마키 합성 영상을 출력할 수도 있다.

이 경우 컴퓨터(200)에는 다른 출력 수단과 연결하기 위한 포트(Port)가 더 구비될 수 있음은 물론이다.

카메라(100)는, 일정 대상을 영상으로 촬영하기 위한 수단으로 캠코더, 디지털 카메라, 웹카메라 등 카메라의 종류에 한정되지 않고, 영상을 촬영하여 컴퓨터(200)에 입력하기 위한 구성이면 충분하다.

컴퓨터(200)는, 카메라(100)를 통해 촬영된 영상을 입력받아 입력 영상을 생성하고, 상기 입력 영상에서 피사체의 외곽선 및 움직임을 추적하며, 이에 근거하여 추출될 타겟 피사체를 포함하는 제1 영상을 생성하고, 제1 영상과 제2 영상을 합성하기 위한 기능을 수행하며, 영상 입력부(210), 영상 처리부(220), 영상 합성부(230), 영상 저장 및 출력부(240)를 포함한다.

이때 영상 입력부(210), 영상 처리부(220), 영상 합성부(230), 영상 저장 및 출력부(240)에 포함된 각 모듈들은 다양한 시스템과 연동되어 동작되도록 설계될 수 있는 것을 미리 밝혀둔다.

첨부된 도면의 도 2에 따른 영상 입력부(210)는, 영상 입력모듈을 포함하여 이루어진다.

영상 입력모듈은, 컴퓨터(200)가 카메라(100)를 통해 촬영된 영상을 입력 받는 기능을 수행한다.

또한 영상 입력모듈은, 상기 입력 영상에서 추출되는 타겟 피사체와 합성될 다른 배경(제2 영상)을 생성 또는 입력받는 기능을 수행한다.

이때 제2 영상은, 사용자의 조작에 따라 입력되도록 구성될 수 있는데, 이 경우에는 입력을 위한 인터페이스가 구비될 수 있다.

또한 영상 입력모듈은, 카메라가 고정되어 있는 경우에 상기 타겟 피사체로 추출될 객체가 포함되지 않고 배경만을 포함하는 배경 영상을 입력 영상보다 먼저 촬영하도록 구성된다.

이는 카메라가 고정되는 경우, 입력 영상의 배경이 항상 고정되어 있는 것으로, 이에 따라 입력 영상에서 피사체의 움직임 및 외곽선을 추적하는 것이 더욱 수월해지기 때문에 배경 영상을 입력 영상보다 먼저 촬영하여 상기 배경 영상과 입력 영상을 비교하는 것이다.

또한 배경 영상을 입력 영상보다 먼저 촬영하는 이유는, 피사체가 포함되기 전에 미리 배경 영상을 촬영하는 것에 있으며, 다른 조건에 따라서, 배경 영상이 입력 영상보다 먼저 촬영될 수도 있음은 물론이다.

전술된 바와 같이 본 발명은, 카메라가 고정되어 있는 경우와, 고정되지 않은 경우로 나누어서 설명하고 있다.

이때 카메라의 고정을 판별하는 것은, 사용자의 조작에 따라 고정을 판별할 수 있는데, 이 경우 조작을 위한 인터페이스가 구비될 수 있음은 당연하다.

또한 다른 조건에 따라서, 카메라를 통해 입력되는 영상이 일정 시간 동안 변동이 없는 경우에 카메라가 고정된 것으로 판단할 수도 있다.

이는 카메라를 통해 입력되는 영상을 이루는 각각의 프레임을 비교하는 것으로, 예를 들어 n번째 프레임의 일정 부분에 해당하는 픽셀 RGB 값을, n+N번째(n번째 프레임보다 N번 후의 프레임) 프레임에서 상기 n번째 프레임의 해당 픽셀 RGB 값에 대응되는 동일 위치에 해당하는 픽셀 RGB 값을 비교하는 것이다.

이때 비교되는 영역별 픽셀 RGB값은, 적어도 두 개 이상으로 구성될 수 있으며, 비교되는 영역별 픽셀 RGB 값이 적어도 한 개 이상 일치하는 경우에 카메라가 고정된 것으로 판별한다.

여기에서 카메라(100)를 통해 촬영된 영상을 영상 입력부(210)가 입력받은 입력 영상을 첨부된 도면의 도 4를 통해 설명한다.

도 4는 본 발명에 따른 배경 스크린 없는 실시간 크로마키 영상 합성 시스템의 영상 입력부가 카메라로부터 입력받는 입력 영상을 도시한 것이다.

첨부된 도면의 도 4는, 피사체가 포함된 입력 영상(a)과 카메라가 고정되어 있는 경우 배경 영상(b)를 나타낸 것이다.

이와 같이 영상 입력부(210)에 입력된 입력 영상은, 영상 처리부(220)를 통해 타겟 피사체를 추출한다.

영상 처리부(220)는, 입력 영상에서 피사체의 움직임 및 외곽선을 추적하고 이를 근거하여 타겟 피사체를 추출하는 기능을 수행하며, 영상 비교모듈, 외곽선 추적모듈, 움직임 추적모듈, 제1 영상 생성모듈 및 알파매트 생성모듈을 포함하여 이루어진다.

영상 처리부(220)의 설명에 앞서 본 발명은, 카메라가 고정된 경우에는 전술된 바와 같이 배경 영상을 먼저 촬영하는 것으로 한다.

따라서 영상 처리부(220)는, 카메라가 고정된 경우에 영상 비교 모듈을 통해 입력 영상과 배경 영상을 비교하는 것으로 타겟 피사체를 추출하도록 구성된다.

이때 타겟 피사체를 추출하는 것은, 입력 영상에서 피사체의 외곽선 및 움직임을 추적하는 것으로 이루어지는데, 이는 외곽선 추적모듈 및 움직임 추적모듈을 통해 설명한다.

외곽선 추적모듈 및 움직임 추적모듈은, 카메라의 고정 유무와 관계없이 제기능을 수행한다.

다만, 카메라가 고정된 경우에는 먼저 촬영된 배경 영상을 통해 입력 영상과 비교하는 것으로, 더욱 수월하게 피사체의 외곽선 및 움직임을 추적한다.

외곽선 추적모듈은, 상기 입력 영상에서 피사체의 외곽선을 추적하는 기능을 수행한다.

이는 영상 데이터를 이루는 픽셀 영역별 RGB 값을 통해 이루어지는 것에 기술적 의의가 있다.

예를 들어 카메라(100)가 고정되어 배경 영상을 먼저 촬영한 경우, 입력 영상과 배경 영상을 비교하는데, 이때 비교되는 영역별 RGB 평균값, 색상(HUE) 및 밝기(Lumination)에 따른 임계값을 통해 상기 입력 영상 및 비교영상을 비교한 후에, 비교되는 영역별 RGB 평균값에 근거하여 피사체의 외곽선을 추적하는 것이다.

움직임 추적모듈은, 입력 영상에서 피사체의 움직임을 추적하는 기능을 수행하는데, 움직임 벡터를 통해 피사체의 움직임을 추적한다.

즉 움직임 추적 모듈은, 동영상에서 영상이 흐르는 시간 축 방향으로 변화를 감지하여 영상 내 객체의 움직임 정보를 추적하는 것이다.

이는 영상을 구성하는 각 프레임 중에서 해당 프레임의 특정 위치의 블록이 이전 프레임의 어느 위치에서 이동한 블록인지를 찾는 기법이다.

이를 통해 움직이는 피사체를 찾아내어 표시할 수 있으며, 피사체의 움직임 방향을 추적할 수 있다.

다시 말해 전술된 바와 같이 움직임을 추적하기 위해 움직임 벡터에 따른 움직임을 추적하는 기법으로 이루어질 수도 있으나, 다른 조건에 따라서는 블록 정합법을 통해서 얻은 움직임 벡터 구간으로부터 전력 움직임을 추적하는 방법이 있다.

이러한 피사체의 외곽선 및 움직임 추적은, Color difference Keying을 이용하는 것이 바람직하다.

Color Difference Keying은, 영상 입력모듈에서 생성된 입력 영상을 이용하여 0~255 사이의 값을 갖는 8비트 그레이 영상에 근거하여 제거될 색상 및 보존될 색상을 선택하는 기능을 수행한다.

다시 말해, 소프트웨어 시스템의 Color Difference Keying과 연계되어 입력 영상에서 피사체의 외곽선 및 움직임을 추적할 수 있다.

또한 피사체의 외곽선 및 움직임 추적 중, 발생하는 노이즈(Noise, 영상의 잡음)를 제거할 수 있으며, 이를 위한 인터페이스가 추가로 구성될 수 있다.

제1 영상 생성모듈은, 입력 영상에서 피사체의 외곽선 및 움직임을 추적하고, 이에 근거하여 추출될 타겟 피사체를 포함하는 제1 영상을 생성한다.

다시 말해 입력 영상에서 추출된 타겟 피사체를 포함하는 영상 데이터가 제1 영상 데이터이다.

알파매트 생성모듈은, 제1 영상 생성모듈에서 생성된 제1 영상을 제2 영상과 자연스럽게 합성하기 위해서 알파매트를 생성하는 기능을 수행한다.

즉 추출된 피사체의 경계선에는 배경의 색상과 섞여 있는 픽셀이 존재하고 또한 계단 현상을 보이고 있는바, 이를 제거하여 정교한 합성을 위해서는 알파매트를 생성하여 이용하여야만 한다.

바람직하게, 본 발명은 실시간 합성을 목표로 하기 때문에, Knockout 매팅, Bayesian 매팅, Poisson 매팅을 사용하지 않고 영상 입력모듈에서 입력되는 입력 영상을 이용하여 알파매트를 구현한다.

즉 알파매트는, 입력 영상을 이용하여 실시간으로 생성되는 것으로, 매번 다르게 촬영되어 생성되는 입력 영상에 근거하여 실시간으로 생성되는 알파매트인 바, 본 발명에서는 이를 실시간 적응형 알파매트라고 지칭한다.

또한 실시간 적응형 알파매트는, 소프트웨어적인 수단을 통해 생성될 수 있으며, 이러한 소프트웨어 시스템을 통해 자동으로 조작될 수도 있는 것으로, 이는 알파매트 생성모듈과 연동하여 영상 입력모듈에서 입력된 영상 입력을 이용하여 0~255 사이의 값을 갖는 8비트 그레이스케일 알파매트를 생성하는 것으로 구성될 수 있다.

영상 합성부(230)는, 제1 영상, 제2 영상 및 실시간 적응형 알파매트를 이용하여 크로마키 기법으로 크로마키 합성 영상을 제작하는 기능을 수행하며, 영상 합성모듈을 포함하여 이루어진다.

여기에서 첨부된 도면의 도 5를 통해 크로마키 영상 합성을 수행하는 것을 설명한다.

도 5는 본 발명에 따른 배경 스크린 없는 실시간 크로마키 영상 합성 시스템에서 제1 영상, 제2 영상 및 알파매트를 합성하는 것을 도시한 것이다.

첨부된 도면의 도 5는, 본 발명에 따른 배경 스크린 없는 실시간 크로마키 영상 합성 시스템에서 영상 합성을 나타낸 도면으로, 도 5의 (a)는 제1 영상 생성모듈에서 생성된 제1 영상이며, 도 5의 (b)는, 영상 합성부에서 생성된 알파매트이고, 도 5의 (c)는 제2 영상 생성모듈에서 생성 또는 입력된 제2 영상이며, 도 5의 (d)는 전술된 도 5의 각 (a), (b), (c)의 영상을 합성하여 생성된 크로마키 합성 영상을 나타낸 것이다.

또한 전술된 바와 같이 크로마키 합성 영상으로 합성된 영상은, 영상 저장 및 출력부(240)를 통해 컴퓨터(200)에 저장되거나 모니터 등 디스플레이 장치에 출력된다.

영상 저장 및 출력부(240)는, 합성된 크로마키 합성 영상을 저장하며, 모니터 등 디스플레이 장치에 출력하는 기능을 수행하는 것으로, 영상 저장모듈 및 영상 출력모듈을 포함한다.

영상 저장모듈은, 합성 완료된 크로마키 합성 영상을 컴퓨터(200)에 저장한다.

이때 크로마키 합성 영상이 저장되는 것은, 컴퓨터(200)의 저장부(미도시)와 연동되어 시스템에 저장될 수 있도록 구성된다.

영상 출력모듈은, 합성 완료된 크로마키 합성 영상을 모니터 등과 같은 디스플레이 장치에 출력되도록 한다.

여기에서 디스플레이 장치는, 전술된 바와 같이 모니터 외에도 스마트 단말기 등과 같은 별도의 장치로 대체될 수 있으며, 이에 따라 연결을 위한 포트(Port)가 컴퓨터에 더 구비되도록 구성될 수 있다.

이와 같이 본 발명은, 크로마키 영상을 합성할 때 요구되는 단색의 배경 스크린이 없어도 크로마키 영상 합성을 수행할 수 있기 때문에 촬영 장소에 한정되지 않고, 야외에서도 사용할 수 있다.

또한 본 발명은, 개인 단말기(컴퓨터 등)를 이용하여 영상 합성을 수행할 수 있으므로, 합성 영상 제작 비용 및 제작 시간을 절감할 수 있다.

더불어 본 발명은, 크로마키 영상 합성을 수행하면서 사용자가 실시간으로 확인할 수 있기 때문에 더 향상된 품질의 크로마키 합성 영상을 얻을 수 있다.

한편, 상기에서 도 1 내지 도 5를 이용하여 서술한 것은, 본 발명의 주요 사항만을 서술한 것으로, 그 기술적 범위 내에서 다양한 설계가 가능한 만큼, 본 발명이 도 1 내지 도 5의 구성에 한정되는 것이 아님은 자명하다.

S10 : 1차 카메라 고정 판별 단계 S11 : 배경 입력 단계
S20 : 영상 입력 단계 S30 : 제2 영상 입력 단계
S40 : 2차 카메라 고정 판별 단계 S41 : 영상 비교 단계
S50 : 움직임 및 외곽선 추적 S60 : 제1 영상 생성 단계
S70 : 알파매트 생성 단계 S80 : 영상 합성 단계
100 : 카메라 200 : 컴퓨터
210 : 영상 입력부 220 : 영상 처리부
230 : 영상 합성부 240 : 영상 저장 및 출력부

Claims (5)

1. 카메라 및 컴퓨터를 포함하고, 카메라로부터 촬영되어 컴퓨터에 입력된 입력영상에서 피사체의 움직임 및 외곽선을 추적하여 크로마키 영상을 합성하는 방법에 있어서,
   카메라가 고정되었는지를 1차적으로 판별하는 1차 카메라 고정 판별 단계(S10);
   상기 1차 카메라 고정 판별 단계(S10)에서 카메라가 고정된 것으로 판별되는 경우, 타겟 피사체가 포함되지 않고 배경만 포함된 배경영상을 촬영하여 컴퓨터에 입력하는 배경 입력 단계(S11);
   상기 카메라로부터 타겟 피사체가 포함된 입력영상을 촬영하여 컴퓨터에 입력하는 영상 입력 단계(S20);
   타겟 피사체와 합성할 배경만 포함하는 제2 영상을 컴퓨터에 입력하는 제2 영상 입력 단계(S30);
   상기 카메라가 고정되었는지를 2차적으로 판별하는 2차 카메라 고정 판별 단계(S40);
   상기 2차 카메라 고정 판별 단계(S40)에서 카메라가 고정된 것으로 판별되는 경우, 상기 배경 입력 단계(S11)에서 입력된 배경영상과 상기 영상 입력 단계(S20)에서 입력된 입력영상을 비교하는 영상 비교 단계(S41);
   상기 영상 입력 단계(S20)에서 입력된 상기 입력영상에서 타겟 피사체의 외곽선 및 움직임을 추적하되,
   - 상기 2차 카메라 고정 판별 단계(S40)에서 카메라가 고정된 것으로 판별되는 경우에는 상기 영상 비교 단계(S41)에서 수행된 비교 결과를 이용하여 상기 입력영상에서 타겟 피사체의 외곽선 및 움직임을 추적하고,
   - 외곽선은 영상 데이터를 이루는 픽셀 영역별 RGB 값을 이용하여 추적하고, 움직임은 움직임 벡터를 이용하여 추적하는, 외곽선 및 움직임 추적 단계(S50);
   상기 외곽선 및 움직임 추적 단계(S50)에서 추적된 타겟 피사체의 외곽선 및 움직임에 근거하여 추출된 타겟 피사체를 포함하는 제1 영상을 생성하는 제1 영상 생성 단계(S60);
   상기 영상 입력 단계(S20)에서 입력된 입력영상에 기반된 알파매트를 실시간으로 생성하는 알파매트 생성 단계(S70); 및
   상기 알파매트 생성 단계(S70) 후, 상기 제1 영상, 제2 영상 및 알파매트를 크로마키 기법으로 영상 합성을 수행하는 영상 합성 단계(S80)를 포함하는 것을 특징으로 하는 배경 스크린 없는 실시간 크로마키 영상 합성 방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제

Images