KR20040091994A - 실시간 영상 합성방법 - Google Patents

Abstract

본 발명은 실시간 영상 합성방법에 관한 것으로, 이펙트 변형 필터를 이용하여 RGB 값에 새로운 알파 값이 생성되도록 하고, 이 생성된 알파 값의 투명도를 조절할 수 있도록 하여 영사의 합성 시 이펙트 영상이 한 점을 기준으로 사방으로 퍼지도록 하는 영상일 경우에는 그에 맞는 알파 값을 산출하여 영상에 적용하고, 이펙트 영상의 픽셀에 대한 경계부분이 뚜렷하게 설정되도록 하는 것은 상기 알파 값을 산출하여 그에 해당하는 알파 값이 컴퓨터에 의해 연산 과정을 거쳐 얻어진 값이 영상 합성 시 자동으로 적용되도록 하여 픽셀에 대한 경계가 뚜렷이 또는 뚜렷하지 않도록 하여 자연스러운 영상이 표출되는 것을 특징으로 하며, 이펙트 영상에 대하여 픽셀의 경계 값을 조절하면서 투명도를 같이 조절하므로 백그라운드 영상, 카메라 영상에서 이펙트 영상의 표현이 원활하게 표현되는 효과가 있고, 또한 백그라운드 영상과 카메라 영상과 이펙트 영상을 합성할 시에 기존의 그래픽 카드에 이펙트 변형 필터를 적용하므로 적은 비용(기존의 하드웨어보다 아주 적은 비용)으로도 고가의 하드웨어와 같은 영상이 표현되는 효과가 있다.

Description

실시간 영상 합성방법{Real time reflex composition method}

본 발명은 실시간으로 영상을 합성하는 방법에 관한 것으로, 더욱 상세하게는 백그라운드 영상에 이펙트 영상을 합성할 시에 이펙트 영상의 투명도와 명암을 사용자 임의대로 조절하여 최종적으로 표출되는 영상이 부드럽고 원활하게 표출되도록 한 실시간 영상 합성방법에 관한 것이다.

현재 시장에 나와 있는 동영상 제작기의 경우에 크로마키 기법을 이용해서 단순히 배경화면과 노래를 부르는 사용자를 합성하여 CD나 비디오테이프로 만들어 주는 것이 있다. 크로마키(chroma Key) 기법이란, 영상 프로그램에 특수한 효과와 텍스트를 추가하는 영상합성 방법으로서, 특정한 색상부분을 제거하고 그 이외의 요소만 추출하여 다른 영상과 합성할 때 가장 많이 사용되는 기법이다. 예를 들어, 텔레비전 방송국과 같은 곳에서 뉴스 또는 일기예보를 진행하는 장면을 방영하고자 할 경우 자주 사용하고 있다.

그러나, 이러한 동영상 제작기의 경우에 연출기능이 없기 때문에 사용자들이 임의로 동작이나 표정을 연기해야 하는 관계로, 매우 어색한 장면이 연출되며 만들어진 동영상이 재미가 없어서 사용자들이 많이 이용하지 않고 외면하고 있다.

또한, 영상합성을 이용하여 영화 속의 주인공이 될 수 있는 소프트웨어가 있으나 얼굴사진을 찍어 이를 동영상물상 주인공의 얼굴을 사용자의 얼굴로 치환할 수 있는 시스템으로 부자연스러운 동작 및 치환에 걸리는 시간이 많이 소요되어 자판기형태의 제품구현에 많은 한계가 있었다.

따라서, 더 이상 수동적인 문화소비에 만족하지 않고 스스로 창작하려는 현상이 젊은 층을 중심으로 번져가고 있고, 영화나 텔레비전에서 대리만족을 하는 것이 아니라 직접 몸을 움직여 즐거움을 얻는 것이 목적인 사람들의 욕구를 충족시켜 줄 제품이 절실히 요구된다.

그리고, 일반적으로 영상합성방법에 있어서, 크로마키(Chroma key)로 이펙트 영상의 배경 색상만을 빼내려 한다면 다음과 같이 이펙트 영상의 효과부분이 도 1α와 도 1b에 도시된 바와 같이 픽셀의 블록이 보여지게 되고, 또한 이펙트 영상의 뒤에 있는 백그라운드 영상이 전혀 보여지지 않게 되는 문제점이 있다.

상기 문제점을 해소하기 위하여 픽셀이 보이지 않게 하기 위해서 비디오 믹싱 랜더러 필터의 알파 브랜딩(Alphaα Blending) 기능을 사용하여 도 2α, 2b, 2c에 도시된 바와 같이 합성할 수도 있다.

그러나 이 방법은 백그라운드 영상이나 이펙트 영상 둘 중에서 어느 하나의 선명도를 떨어뜨려야 한다.

상기 도 2α는 이펙트 영상의 투명도(transparency)를 75% 주었을 때이고, 도 2b는 투명도를 50% 주었을 때 도 2c는 투명도를 25%를 주었을 때이다.

도 2α 내지 도 2c에 도시된 바와 같이 그 투명도를 덜 주게 되면 이펙트 영상의 뒤에 있는 백그라운드의 영상이 보이질 않게 되고, 투명도를 도 2c와 같이 많이 주게 되면 백그라운드의 영상은 잘 보이나 이펙트 영상이 잘 보이지 않게 된다.

상기와 같이 단순히 이펙트 영상의 투명도만을 조절하여 백그라운드 영상과 이펙트 영상을 합성하는 것은 어느 한 영상이 전혀 잡히지 않게 되어 영상을 합성하기가 매우 힘이 드는 문제점이 있다.

그리고, 상기와 같은 영상을 도출하기 위하여 사용되는 하드웨어 부품이 시중에 판매되고 있는데, 이 판매되는 부품의 경우 어느 정도의 품질이 보장되는 부품을 구매할 시에 그 구매 단가가 상당히 고가품이며, 이러한 영상을 도출하기 위하여 고가의 구매품을 구입하여 사용하기란 매우 힘이 드는 문제점이 있다.

본 발명의 목적은 상기의 문제점을 해결하기 위한 것으로, 본 발명은 영상을 합성할 시에 백그라운드 영상과 이펙트 영상의 합성 시 이펙트 영상의 픽셀에 대한 경계를 부드럽게 처리하여 백그라운드 영상과의 조화를 한층 더 고급화하고, 또한 백그라운드 영상과 이펙트 영상의 합성할 시에 백그라운드 영상과 이펙트 영상이 한층 더 자연스럽게 합성되며, 어느 한 영상 영상에 의해 다른 영상의 질을 떨어뜨리는 것을 방지할 수 있는 실시간 영상 합성방법을 제공하는데 목적이 있다.

상기한 목적을 달성하기 위한 본 발명은 카메라를 통해 실시간으로 영상을 합성하고, 이를 통해 디스플레이(텔레비전, 프로젝션 등)를 통해 출력할 수 있도록 한 실시간 영상 합성방법에 있어서, 백그라운드의 영상 위에 행하여질 이펙트 영상(효과영상)을 불러오는 제1단계; 상기 이펙트 영상의 ARGB32(색상 값)를 섭 타입(Sub Type)으로 변환하는 제2단계; 상기 섭 타입으로 변환된 영상으로부터 A값(색상의 투명도)을 읽어들이는 제3단계; 상기 섭 타입으로 변환된 영상에서 A값을 읽어 들여 픽셀의 경계 값을 조절할 수 있도록 디폴트 A값을 설정하는 제4단계; 상기 제3단계에서 섭 타입으로 변환된 A값에서 포맷할 영상의 크기를 불러오고, 불러온 포맷영상의 크기에서 카운터 값을 0으로 하여 초기화는 제5단계; 상기 카운터 값이 포맷할 영상의 크기보다 그 값이 작을 경우에는 다음단계를 계속적으로 행할 수 있도록 하고, 카운터 값이 포맷할 영상의 크기보다 같거나 클 경우에는 상기 제3단계로 되돌려 영상으로부터 A값을 새로이 읽어 들일 수 있도록 연산하고 판단하는 제6단계; 상기 제6단계에서 상기 카운터 값이 포맷할 영상의 크기보다 작을 경우에는 카운터 픽셀의 명도(luminosity) 값을 산출하여 이를 적용할 수 있도록 하는 제7단계; 상기 제7단계를 통해 얻은 명도(luminosity) 값이 상기 A값과 동일한지, 큰지, 아니면 작은 지를 판단하는 제8단계; 상기 제8단계를 통해 상기 명도 값이 A값과 동일하거나 클 경우 카운터 픽셀의 알파 값이 255 값과 동일한 것으로 하여 이를 출력하는 제9단계; 상기 제8단계와 제9단계를 통해 판단되고, 출력되는 값에 따라 이를 몇 번째 픽셀의 알파 값을 산정 하여 설정할 것인지 대하여 연산하는 제10단계; 상기 10단계를 통해 산출된 값과 카메라 영상에서 제공하는 영상을 받아 이를 다이렉트 쇼우의 비디오 믹싱 랜더러 필터를 통해 영상을 합성하는 제11단계; 상기 제11단계를 통해 출력되는 백그라운드 영상과 이펙트 영상의 출력에 대하여 현 상태를 유지할 것인지 아니면 이를 종료할 것인지를 선택하는 제12단계를 포함하여 이루어지는 것을 특징으로 하는 실시간 영상 합성방법을 제공한다.

또한 본 발명에 따른 제10단계에서 출력되는 값에 따라 이를 몇 번째 픽셀에 적용되는 알파 값을 산출할 시에 명도 곱하기 A값 분에 255를 곱하여 이를 통해 알파 값을 산출하는 것을 특징으로 한다.

또한 본 발명에 따른 상기 알파 값은 그 투명도를 선정하기 위한 값의 폭을 1내지 255의 값을 갖는 것을 특징으로 한다.

또한 본 발명에 따른 상기 픽셀의 경계가 확연하게 구분되거나 그 경계가 구분되지 않고 부드럽게 될 수 있도록 알파 값의 명암을 통해 조절되도록 하는 것을 특징으로 한다.

또한 본 발명에 따른 상기 픽셀의 경계 값을 A값의 변화를 통해 그 픽셀의 경계를 정확하게 구분하거나 픽셀의 경계를 구분이 안 가도록 조정하는 것을 특징으로 한다.

도 1α는 종래의 백그라운드 영상과 이펙트 영상을 합성한 것을 보인 예시도.

도 1b 는 도 1α의 부분확대도.

도 2α는 종래의 백그라운드와 이펙트 영상을 합성한 예시도

도 2b는 도 2α의 다른 실시예를 보인 예시도.

도 2c는 도 2α의 다른 실시예를 보인 예시도.

도 3은 본 발명에 따른 실시간 영상 합성방법을 보인 순서도.

도 4α는 본 발명에 따른 백그라운드 영상과 이펙트 영상을 합성한 예시도

도 4b는 도 4α의 부분확대도.

도 5α는 본 발명에 따른 이펙트 영상만을 보인 예시도.

도 5b는 도 5α의 부분확대도.

도 5c는 도 5α의 부분확대도.

도 6α는 본 발명에 따른 백그라운드 영상과 이펙트 영상의 증감비율을 보인 그래프.

도 6b는 본 발명에 따른 백그라운드 영상과 이펙트 영상의 증감비율을 조절한 상태를 보인 그래프.

*도면의 주요 부분에 대한 부호의 설명*

S10 : 제1단계 S20 : 제2단계

S30 : 제3단계 S40 : 제4단계

S50 : 제5단계 S60 : 제6단계

S70 : 제7단계 S80 : 제8단계

S90 : 제9단계 S100 : 제10단계

S110 : 제11단계 S120 : 제12단계

S130 : 제13단계

이하 본 발명에 의한 이펙트 변형 필터를 통한 실시간 영상 합성방법을 첨부된 도면을 통해 설명하면 다음과 같다.

도 3은 본 발명에 따른 이펙트 변형 필터를 통한 실시간 영상 합성방법을 보인 순서도이며, 도 4α는 본 발명에 따른 백그라운드 영상과 이펙트 영상을 합성한 예시도이고, 도 4b는 도 4α의 부분확대도이며, 도 5α는 본 발명에 따른 이펙트 영상만을 보인 예시도이고, 도 5b는 도 5α의 부분확대도이며, 도 5c는 도 5α의 부분확대도이고, 도 6α는 본 발명에 따른 백그라운드 영상과 이펙트 영상의 증감비율을 보인 그래프이며, 도 6b는 본 발명에 따른 백그라운드 영상과 이펙트 영상의 증감비율을 조절한 상태를 보인 그래프이다.

도 3은 본 발명에 따른 이펙트 변형 필터를 통한 실시간 영상 합성방법을 보인 순서도로서 도면에 도시된 바와 같이 백그라운드의 영상 위에 행하여질 이펙트 영상(효과영상)을 불러오는 제1단계(S10)와, 상기 이펙트 영상의 ARGB32(색상 값)를 섭 타입(Sub Type)으로 변환하는 제2단계(S20)와, 상기 섭 타입으로 변환된 영상으로부터 A값(색상의 투명도)을 읽어들이는 제3단계(S30)와, 상기 섭 타입으로 변환된 영상에서 A값을 읽어 들여 픽셀의 경계 값을 조절할 수 있도록 디폴트 A값을 설정하는 제4단계(S40)와, 상기 제3단계(S30)에서 섭 타입으로 변환된 A값에서 포맷할 영상의 크기를 불러오고, 불러온 포맷영상의 크기에서 카운터 값을 0으로 하여 초기화는 제5단계(S50)와, 상기 카운터 값이 포맷할 영상의 크기보다 그 값이 작을 경우에는 다음단계를 계속적으로 행할 수 있도록 하고, 카운터 값이 포맷할 영상의 크기보다 같거나 클 경우에는 상기 제3단계(S30)로 되돌려 영상으로부터 A값을 새로이 읽어 들일 수 있도록 연산하고 판단하는 제6단계(S60)와, 상기 제6단계(S60)에서 상기 카운터 값이 포맷할 영상의 크기보다 작을 경우에는 카운터 픽셀의 명도(luminosity) 값을 산출하여 이를 적용할 수 있도록 하는 제7단계(S70)와,상기 제7단계(S70)를 통해 얻은 명도(luminosity) 값이 상기 A값과 동일한지, 큰지, 아니면 작은 지를 판단하는 제8단계(S80)와, 상기 제8단계(S80)를 통해 상기 명도 값이 A값과 동일하거나 클 경우 카운터 픽셀의 알파 값이 255 값과 동일한 것으로 하여 이를 출력하는 제9단계(S90)와, 상기 제8단계(S80)와 제9단계(S90)를 통해 판단되고, 출력되는 값에 따라 이를 몇 번째 픽셀의 알파 값을 산정 하여 설정할 것인지 대하여 연산하는 제10단계(S100)와, 카메라를 통해 영상 데이터를 실시간으로 입력하는 제12단계(S120)와, 상기 10단계(S100)를 통해 산출된 값과 카메라 영상에서 제공하는 영상을 받아 이를 다이렉트 쇼우의 비디오 믹싱 랜더러 필터를 통해 영상을 합성하는 제11단계(S110)와, 상기 제11단계(S110)를 통해 출력되는 백그라운드 영상과 이펙트 영상의 출력에 대하여 현 상태를 유지할 것인지 아니면 이를 종료할 것인지를 선택하는 제13단계(S120)를 행한다.

그리고, 제10단계(S100)에서 출력되는 값에 따라 이를 몇 번째 픽셀에 적용되는 알파 값을 산출할 시에 명도 곱하기 A값 분에 255를 곱하여 이를 통해 알파 값을 산출하고, 상기 알파 값은 그 투명도를 선정하기 위한 값의 폭을 0내지 255의 값을 갖는다.

또한, 상기 픽셀의 경계가 확연하게 구분되거나 그 경계가 구분되지 않고 부드럽게 될 수 있도록 알파 값의 명암을 통해 조절되도록 하며, 상기 픽셀의 경계 값을 A값의 변화를 통해 그 픽셀의 경계를 정확하게 구분하거나 픽셀의 경계를 구분이 안 가도록 조정할 수 있다.

상기와 같이 행하여지는 본 발명에 의한 실시간 영상 합성방법을 도4a 내지도 6b에 따른 실시예를 통해 그 작용효과를 설명한다.

먼저, 비디오 믹싱 랜더러의 기능 중에서 퍼-픽셀 알파 브랜딩(per-pixel Alpha Blending)의 기법을 사용할 수 있으며, 이 비디오 믹싱 랜더러는 영상의 서브타입이 다음 네 가지 중의 하나일 때 퍼-픽셀 알파 브랜딩을 지원한다.

그 서브타입 4가지는 MEDIASUBTYPE_ARGB1555, MEDIASUBTYPE_ARGB4444, MEDIASUBTYPE_ARGB32, MEDIASUBTYPE_AYUV 이다.

동영상을 위네 가지 서브타입으로 변화했을 경우 알파채널이 생성되며 알파채널을 사용하여 각각의 픽셀들의 투명도를 조절할 수 있게 되어 그 픽셀의 블록화 현상을 막을 수 있게 된다.

상기 픽셀의 블록화 현상을 도시한 것이 도 3a와 도3b 이며, 이 도 3은 상기 알파채널이 생성된 값을 상기에서 설명한 명도 곱하기 A값 분에 255를 곱하여 산출한다.

상기 식에서 얻어진 값을 통해 도3b에 도시된 바와 같이 백그라운드 영상, 카메라를 통해 입력되는 영상, 그리고 이펙트 영상 중에서 상기 이펙트 영상의 블록화가 없어지고 그에 따라 이펙트 영상의 픽셀에 대한 경계가 사라지게 되므로 인하여 상기에서 언급한 블록화 현상을 방지할 수 있는 것이다.

그리고 도 4a, 4b, 4c에 도시된 것은 백그라운드 영상과 카메라 영상을 배제한 상태에서 이펙트 영상만을 표시한 것인데, 이는 이펙트 영상의 경계 값을 도 5a와 도5b에 따라 그 투명도를 달리하여 픽셀의 경계를 없애고, 상기 투명도를 조절하여 그 경계가 어떻게 나타나는 지에 대하여 도시한 것이다.

좀더 구체적으로 설명하면, 이펙트 변형 필터에서 각각의 픽셀의 투명도를 조절하는 방식으로 도 4a, 4b, 4c에 도시된바와 같이 점점 어두워지는 부분의 픽셀들을 그 명암에 비례하여 투명도를 조절하므로 도면에 도시된 바와 같이 경계가 사라지게 된다.

명암과 비례하여 투명도를 조절하는 알고리즘은 도 5a와 도 5b에 도시된 바와 같이 표현할 수 있으며, 도 5a의 그래프에서 이펙트 영상을 처리하게 될 경우에 이펙트 영상이 폭발 즉 한 점에서 사방으로 퍼져나가는 영상을 표현할 시에 그 한 점에서 번짐이 잇는 효과의 이펙트 영상은 매우 효과적으로 표현되고, 이 표현되는 것은 도 3a 내지 도 4c에 표시된 것과 같다.

그러나 상기와 같이 오브젝트의 영상이 퍼져나가는 것은 도 3a 내지 도 4c에 표시되나 오브젝트의 영상이 명확한 경우, 즉 다시 말해서 오브젝트의 경계가 명확한 영상의 경우에는 그 경계자체가 번지거나 오브젝트 전체가 약간의 투명도를 가질 우려가 발생되는데, 이때 도 5b에 도시된 바와 같이 A값을 조절하여 그 오브젝트의 경계가 명확하게 나올 수 있도록 한다.

이때 상기 A값은 명도 곱하기 A값 분에 255를 곱하여 산출하는데, 이 오브젝트의 영상이 명확하게 나오게 하는 경우로 일례를 들어 설명하면, 한 위치에서 다른 위치로 공이 날아가는 경우 그 픽셀에 대한 경계가 명확하지 않으면 상기 도 3a 내지 도 4c에 나타난 바와 같이 그 픽셀의 경계가 구분이 가진 않게 되므로 공이 퍼지거나 또는 투명하게 보여지게 된다.

상기 픽셀에 대한 A값을 도 5b와 같이 조절하여 그 픽셀의 경계를 명확하게설정하여 주면 공이 날아갈 때 투명하거나 또는 픽셀의 경계가 불명료하게 되는 것을 방지할 수 있다.

상기에서 언급한 내용들에 대하여 다시 정리하여 설명하면, 실시간 동영상 합성에 있어서, 도 5b와 같이 A값을 조절하여 이펙트 영상 안의 오브젝트와 백그라운드 자체의 경계부분의 투명도 비율을 조절할 수 있도록 하는 데 이때 다음과 같은 연산에 의해 처리된다.

상기 도 5a를 통해 픽셀의 경계의 구분이 가지 않도록 하기 위해서는

"①투명도(y)= 명도(x)×완전불투명도 값 255/최대 밝을 때의 명도 값"을 적용하고, 상기 도 5b에 통해 픽셀의 경계의 구분이 명확하게 이루어지도록 하기 위해서는

"②투명도(y)=명도(x)×완전불투명도 값 255/A"를 적용한다.

상기 ②의 식의 경우에는 투명도 y 값이 255를 넘으면 디폴트로 255(완전불투명 값)를 알파 값에 적용한다는 if문을 상기 ②식에 적용하도록 한다.

그리고 연속된 이펙트 스트림의 경우 각각의 영상에 맞는 A값이 존재하므로, 데이터의 입력 시 분할된 데이터의 프레임에서 처음에 들어오는 이펙트 스트림의 5 내지 10프레임의 데이터 중에서 가장 위 부분의 픽셀 부분에 미리 특정신호의 값을 처리해 놓는 다면 이펙트 변형 필터에 그 신호를 읽고 순간적으로 A값의 변경할 수 있게 되는 장점도 있다.

상기 이펙트 변형 필터에서 신호를 읽고 미리 준비된 프로그래밍에 의해 처음에 입력되는 데이터 프레임에서 소정의 RGB값을 산출하고 이를 처음 몇 바이트를검사하여 A값을 받아 들여 CPU의 부하율을 최소한으로 하면서 연산을 한다.

이때 CPU의 부하율이 최소한으로 되는 것을 상기 RGB값을 구할 시에 데이터의 몇 바이트만을 통해 검사하므로 실질적으로 CPU의 부하율은 극히 미미하게 작용되는 효과가 있고, 처음에 입력된 데이터의 프레임에서 몇 바이트만을 통해 그 RGB 값을 산출하여 미리 준비된 프로그램에 이를 적용하므로 실시간으로 합성되어 출력되는 영상이 보다 명확하게 표출되며, 또한 연산에 의한 작업 시 CPU의 부하율을 줄일 수 있는 장점이 있는 것이다.

상기 데이터의 프레임에서 몇 바이트만을 먼저 연산하는 것은 미리 디자인된 이펙트 영상의 흐름에 맞추어서, 여러 대의 카메라를 통해 입력되는 데이터를 선택적으로 어느 한 카메라에서만 영상을 받아들일 경우에도 사용될 수 있다.

그리고, 이펙트 영상의 디자인 적인 측면에서 이미 고정되어 있는 카메라의 샷(풀 샷, 상반신 샷, 측면 샷) 등을 선택할 수 있는 장점 또한 있다.

이상에서 설명한 바와 같이 카메라를 통해 입력되는 영상에 대하여 편집이 가능하여 짐으로 실시간으로 백그라운드 영상, 이펙트 영상, 카메라 영상을 혼합하여 사용하므로 노래방, 방송프로그램 또는 카메라 영상을 입력하여 편집하고자 하는 동영상에 대하여 이펙트 영상을 삽입하여 보다 다양한 편집을 할 수 있고, 상기 편집을 통해 개성 있는 영상의 표출할 수 있는 장점이 있다.

이하 본 발명에 따른 실시간 영상 합성방법의 효과를 살펴보면, 이펙트 영상에 대하여 픽셀의 경계 값을 조절하면서 투명도를 같이 조절하므로 백그라운드 영상, 카메라 영상에서 이펙트 영상의 표현이 원활하게 표현되는 효과가 있다.

또한 백그라운드 영상과 카메라 영상과 이펙트 영상을 합성할 시에 기존의 그래픽 카드에 이펙트 변형 필터를 적용하므로 적은 비용(기존의 하드웨어보다 아주 적은 비용)으로도 고가의 하드웨어와 같은 영상이 표현되는 효과가 있다.

Claims (5)

1. 카메라를 통해 실시간으로 영상을 합성하고, 이를 통해 디스플레이(텔레비전, 프로젝션 등)를 통해 출력할 수 있도록 한 실시간 영상 합성방법에 있어서,

   백그라운드의 영상 위에 행하여질 이펙트 영상(효과영상)을 불러오는 제1단계;

   상기 이펙트 영상의 ARGB32(색상 값)를 섭 타입(Sub Type)으로 변환하는 제2단계;

   상기 섭 타입으로 변환된 영상으로부터 A값(색상의 투명도)을 읽어들이는 제3단계;

   상기 섭 타입으로 변환된 영상에서 A값을 읽어 들여 픽셀의 경계 값을 조절할 수 있도록 디폴트 A값을 설정하는 제4단계;

   상기 제3단계에서 섭 타입으로 변환된 A값에서 포맷할 영상의 크기를 불러오고, 불러온 포맷영상의 크기에서 카운터 값을 0으로 하여 초기화는 제5단계;

   상기 카운터 값이 포맷할 영상의 크기보다 그 값이 작을 경우에는 다음단계를 계속적으로 행할 수 있도록 하고, 카운터 값이 포맷할 영상의 크기보다 같거나 클 경우에는 상기 제3단계로 되돌려 영상으로부터 A값을 새로이 읽어 들일 수 있도록 연산하고 판단하는 제6단계;

   상기 제6단계에서 상기 카운터 값이 포맷할 영상의 크기보다 작을 경우에는 카운터 픽셀의 명도(luminosity) 값을 산출하여 이를 적용할 수 있도록 하는 제7단계;

   상기 제7단계를 통해 얻은 명도(luminosity) 값이 상기 A값과 동일한지, 큰지, 아니면 작은 지를 판단하는 제8단계;

   상기 제8단계를 통해 상기 명도 값이 A값과 동일하거나 클 경우 카운터 픽셀의 알파 값이 255 값과 동일한 것으로 하여 이를 출력하는 제9단계;

   상기 제8단계와 제9단계를 통해 판단되고, 출력되는 값에 따라 이를 몇 번째 픽셀의 알파 값을 산정 하여 설정할 것인지 대하여 연산하는 제10단계;

   카메라를 통해 영상 데이터를 실시간으로 입력하는 제12단계;

   상기 10단계를 통해 산출된 값과 카메라 영상에서 제공하는 영상을 받아 이를 다이렉트 쇼우의 비디오 믹싱 랜더러 필터를 통해 영상을 합성하는 제11단계;

   상기 제11단계를 통해 출력되는 백그라운드 영상과 이펙트 영상의 출력에 대하여 현 상태를 유지할 것인지 아니면 이를 종료할 것인지를 선택하는 제12단계를 포함하여 이루어지는 것을 특징으로 하는 실시간 영상 합성방법.
2. 제1항에 있어서,

   제10단계에서 출력되는 값에 따라 이를 몇 번째 픽셀에 적용되는 알파 값을 산출할 시에 명도 곱하기 A값 분에 255를 곱하여 이를 통해 알파 값을 산출하는 것을 특징으로 하는 실시간 영상 합성방법.
3. 제1항에 있어서,

   상기 알파 값은 그 투명도를 선정하기 위한 값의 폭을 1내지 255의 값을 갖는 것을 특징으로 하는 실시간 영상 합성방법.
4. 제1항에 있어서,

   상기 픽셀의 경계가 확연하게 구분되거나 그 경계가 구분되지 않고 부드럽게 될 수 있도록 알파 값의 명암을 통해 조절되도록 하는 것을 특징으로 하는 실시간 영상 합성방법.
5. 제1항 내지 제3항에 있어서,

   상기 픽셀의 경계 값을 A값의 변화를 통해 그 픽셀의 경계를 정확하게 구분하거나 픽셀의 경계를 구분이 안 가도록 조정하는 것을 특징으로 하는 실시간 영상 합성방법.