KR100460221B1

KR100460221B1 - 화상 통신 시스템

Info

Publication number: KR100460221B1
Application number: KR10-2002-0002440A
Authority: KR
Inventors: 이진수; 이지은; 김현준; 유재신
Original assignee: 엘지전자 주식회사
Priority date: 2002-01-16
Filing date: 2002-01-16
Publication date: 2004-12-04
Also published as: KR20030062042A

Abstract

본 발명은 실시간 영상 자동 편집 기능을 구현한 화상 통신 시스템에 관한 것이다.

본 발명의 화상 통신 시스템은, 화상 통신을 위한 영상의 입력 수단과, 상기 입력된 영상에서 얼굴 영역을 추출하는 수단과,화상 통신을 위하여 송신할 데이터를 코딩함에 있어 처음에만 상기 추출된 얼굴 영역과 편집을 위한 새로운 영상을 코딩하고 이후에는 상기 추출된 얼굴 영역만을 코딩하는수단과, 상기 코딩된 데이터를 전송하는 수단으로 구성된 송신부와;

상기 전송된 얼굴 영역및 편집을 위한 새로운 영상을수신하는 수단과,화상 통신을 위한 데이터를 디코딩함에 있어 처음에만 상기 편집을 위한 새로운 영상과 추출된 얼굴 영역을 디코딩하고 이후에는 상기 전송된 얼굴 영역만을 디코딩하는 수단과,상기디코딩된 얼굴 영역과 새로운 영상을 합성하는 수단과, 상기 합성된 새로운 영상을 디스플레이하는 수단으로 구성된 수신부; 를 포함하여 이루어진다.

Description

화상 통신 시스템{VIDEO COMMUNICATION SYSTEM}

본 발명은 자동으로 다양한 실시간 영상 편집을 통해 질 높은 화상통신 및 비디오 메일 서비스를 가능하게 하고, 또한 데이터 양을 줄일 수 있도록 한 화상 통신 시스템에 관한 것이다.

최근에 음성으로만 전달되던 통신 방법이 통신자의 화상까지도 같이 전달되는 멀티미디어 환경의 화상통신으로 바뀌고 있다. 이러한 화상통신은 지금까지는 주로 PC 카메라를 사용한 화상 통신 및 화상 채팅, 비디오 폰을 사용한 화상 통신 등이 주류를 이루었으나, 향후 IMT 2000 서비스가 개시되면서 이동 통신 단말기를 사용한 화상 통신 환경이 곧 이루어 질 것으로 예측하고 있다.

이미 단말기를 사용한 화상 통신을 위해 H.263 및 MPEG-4와 같은 동영상 표준이 이동 화상 통신에서의 동영상 표준으로 지정되고, 많은 통신 단말기 회사들은 질 높은 화상 통신이 가능한 단말기를 개발하고 있다.

이와 같이 동영상을 이용한 통신 서비스가 기본 기능으로 자리잡고 있으나 보다 질 높은 서비스를 위해 사용자의 다양한 요구를 만족시켜 주기에는 아직 많은 한계를 가지고 있다. 사용자의 요구는 크게 두 가지 종류로 나누어 생각할 수 있는데, 먼저 낮은 네트워크 환경에서도 자연스런 동영상이 표시될 수 있는 질적인 면과, 사용자가 원하지 않는 배경을 가리거나 사용자만의 개성을 반영할 수 있는 서비스 측면이 있다.

이러한 두 가지 부분을 모두 해결하기 위해서는 실시간으로 통신 영상에서 사람 등의 중요 객체를 분리하는 기술이 요구되는데, 이러한 기술은 현재로는 매우 어려운 기술로서 실시간으로 이루어지지 못하고 있다. 이와 같이 주어진 영상에서 객체를 분리하는 기존 기술을 대략 살펴보면 다음과 같다.

주어진 영상에서 객체를 분리하는 기술로, 칼라 그룹을 기반으로 이미지에서 부분 영역을 분리하는 기술이 있다. 이 기술은 이미지에서 비교적 영역을 잘 분리하고 있으나 칼라 기반의 영역일 뿐, 의미를 갖는 오브젝트 영역이 아니라는 점과 처리 시간이 매우 길다는 문제가 있다.

주어진 영상에서 객체를 분리하는 또 다른 기술로, 차영상과 에지 영상을 이용하여 객체를 분리하는 방법이 있는데, 이 방법은 사용하는 특징 정보가 단순하여 빠른 처리가 가능하지만 복잡한 화면에서 분리가 되지 않고, 기본적으로 배경은 정지되어 있고 움직이는 물체가 객체라는 전제 아래에서 분리를 행하므로 이동 카메라 환경에서는 적용할 수 없는 문제점이 있다. 또한, 칼라정보를 특징 정보로 사용해서 객체를 분리하는 기법도 제안되고 있으나, 이 방법 또한 칼라가 일정한 영역을 분리한 후 이를 이용하는데 상당한 처리 시간이 요구되어 실시간 적용이 어렵고, 움직이는 객체를 분리하는 알고리즘의 경우에도 이와 같은 이유로 이동 카메라 환경에 적용하기 어려운 문제점이 있다.

이와 같이 지금까지 이동 통신 환경에서 사람과 같은 객체를 실시간으로 추출하는 알고리즘은 소개된 바가 없다. 대신에 객체의 의미를 얼굴로 한정 시켜서 얼굴을 분리하려는 연구는 몇 보고되고 있다. 즉, 얼굴 영역의 분리 기술은 비교적 실시간에 가능하기도 하지만 아직까지 보안 시스템과 같은 특정한 목적 이외에 이동 단말기를 이용한 실시간 화상통신 환경 등과 같은 응용에서는 유용하게 사용되지 못하고 있다.

본 발명은 화상 통신을 위한 입력 영상에서 사용자 얼굴을 추출하고, 추출된 얼굴 영역을 기반으로 하여 다양한 영상 편집(합성 포함) 효과를 실시간으로 부가하여 화상통신이 이루어질 수 있도록, 영상 자동 편집 기능을 갖는 화상 통신 시스템을 제공함을 목적으로 한다.

또한 상기 목적을 달성하기 위하여 본 발명의 화상 통신 시스템은, 화상 통신을 위한 영상의 입력 수단과, 상기 입력된 영상에서 얼굴 영역을 추출하는 수단과,화상 통신을 위하여 송신할 데이터를 코딩함에 있어 처음에만 상기 추출된 얼굴 영역과 편집을 위한 새로운 영상을 코딩하고 이후에는 상기 추출된 얼굴 영역만을 코딩하는수단과, 상기 코딩된 데이터를 전송하는 수단으로 구성된 송신부와;상기 전송된 얼굴 영역및 편집을 위한 새로운 영상을수신하는 수단과,화상 통신을 위한 데이터를 디코딩함에 있어 처음에만 상기 편집을 위한 새로운 영상과 추출된 얼굴 영역을 디코딩하고 이후에는 상기 전송된 얼굴 영역만을 디코딩하는 수단과,상기디코딩된 얼굴 영역과 새로운 영상을 합성하는 수단과, 상기 합성된 새로운 영상을 디스플레이하는 수단으로 구성된 수신부; 를 포함하여 이루어지는 것을 특징으로 한다.

또한 상기 목적을 달성하기 위하여 본 발명의 화상 통신 시스템은, 화상 통신을 위한 영상의 입력 단계와, 상기 입력된 영상에서 얼굴 영역을 추출하는 단계와,화상 통신을 위한 데이터를 송신함에 있어, 처음에만 상기 추출된 얼굴 영역 및 얼굴 영역 기술정보와 편집을 위한 새로운 영상을 전송하고, 이후에는 상기 추출된 얼굴 영역 및 얼굴 영역 기술정보만을 전송하는 단계와, 화상 통신을 위한 데이터를 수신함에 있어, 처음에만 상기 편집을 위한 새로운 영상과 상기 추출된 얼굴 영역 및 얼굴 영역 기술정보를 수신하고, 이후에는 상기 전송된 얼굴 영역 및 얼굴 영역 기술정보만을 수신하는 단계와,상기 수신된 얼굴 영역과 새로운 영상을 편집 또는 합성하는 단계; 를 포함하여 이루어지는 것을 특징으로 한다.

도1은 본 발명 화상 통신 시스템의 블록 구성도

도2는 본 발명에서 얼굴 영역 검출방법을 설명하기 위한 플로우차트

도3은 본 발명에서 배경합성을 설명하기 위한 도면

도4는 본 발명에서 배경선택을 설명하기 위한 도면

도5는 본 발명에서 배경선택과 합성방법을 설명하기 위한 플로우차트

도6은 본 발명에서 캐릭터 배경합성을 설명하기 위한 도면

도7은 본 발명에서 캐릭터 배경합성 방법을 설명하기 위한 플로우차트

도8은 본 발명에서 액자배경 합성을 설명하기 위한 도면

도9는 본 발명에서 액자배경 합성을 위한 마스크를 설명하기 위한 도면

도10은 본 발명에서 액자배경 합성방법을 설명하기 위한 플로우차트

도11은 본 발명에서 영상효과를 설명하기 위한 도면

도12는 본 발명에서 미디언 필터링 효과를 설명하기 위한 도면

도13은 본 발명에서 텍스트 배경합성을 설명하기 위한 도면

도14는 본 발명에서 브러링을 설명하기 위한 도면

도15는 본 발명에서 브러링 방법을 설명하기 위한 도면

도16은 본 발명의 화상 통신 시스템의 다른 실시예를 나타낸 블록 구성도

도17은 도16의 화상 통신 시스템을 이용한 배경합성 방법을 설명하기 위한 플로우차트

도18은 도16의 화상 통신 시스템을 이용한 캐릭터 합성방법 제1실시예를 설명하기 위한 플로우차트

도19는 도16의 화상 통신 시스템을 이용한 캐릭터 합성방법 제2실시예를 설명하기 위한 플로우차트

본 발명을 구현하기 위한 시스템을 살펴보면 도1과 같다. 도1에 나타낸 바와 같이 본 발명의 화상 통신 시스템은, 화상 통신을 위한 영상을 취득하는 영상 취득 수단(11)과, 상기 영상 취득 수단(11)으로부터 취득한 영상에서 얼굴 영역을 추출하기 위한 얼굴영역추출부(12)와, 상기 얼굴 영역 추출부(12)에 의해서 추출된 얼굴과 합성할 영상들이 내장된 영상 데이터베이스(13)와, 사용자가 합성할 영상을 선택하도록 하는 영상 선택 인터페이스(14)와, 사용자가 선택한 영상과 추출된 얼굴 영역을 자연스럽게 합성하는 영상 합성부(15)와, 상기 합성된 영상 전송을 위해 영상신호를 코딩하는통신 영상인코더(16)와, 통신을 위한 통신 디바이스(17)를 포함하여 구성되고 있다.

도1에서 영상 취득수단(11)은 카메라 등과 같이 영상을 취득하는 디바이스로서, 화상 통신시에는 주로 사용자 얼굴 영상을 취득하게 된다. 영상 취득수단(11)은 단말기와 유선 또는 무선 인터페이스를 통해서 연결되거나 또는 단말기가 영상 취득수단을 포함할 수도 있다. 영상 취득수단(11)에 의해서 취득된 영상은 얼굴 영역 추출부(12)에 입력된다. 얼굴 영역 추출부(12)는 입력된 영상에서 얼굴 영역과 배경을 분리하고 얼굴 영역을 추출한다. 추출된 얼굴 영역의 데이터는 영상 데이터 베이스(13)에 저장되며, 영상 데이터 베이스(13)에는 합성할 영상 데이터도 가지고 있다. 영상 선택 인터페이스(14)는 사용자 인터페이스로서 이를 이용하여 사용자가 합성할 배경 영상 등을 선택하며, 선택된 합성할 영상은 영상 데이터 베이스(13)로부터 영상 합성부(15)로 전달된다. 영상 합성부(15)는 얼굴 영역 추출부(12)에서 추출된 얼굴과 상기 선택된 합성할 영상을 자연스럽게 합성하여 출력하고, 합성된 영상은 통신 영상 인코더(16)에서 인코딩되어 통신 디바이스(17)를 통해 전송된다.

도2는 상기 얼굴 영역 추출부(12)에서 수행되는 얼굴 영역 추출 과정을 보여준다. 도2에 나타낸 바와 같이 얼굴 영역의 추출은 영상 입력단계(S11), 상기 입력된 영상에서 살색 영역을 추출하는 단계(S12), 상기 살색 영역의 추출 결과인 살색 픽셀들로 구성된 이미지(S12a)에 대한 살색 영역의 그룹화를 수행하는 단계(S13), 상기 살색 그룹별 영역과 MBR(S13a)에 대하여 타원형 검증을 수행하는 단계(S14), 타원형 검증이 이루어진 영역에 대하여 눈, 코, 입을 검출하여 타원 형태의 얼굴 영역(S15a)을 확인하는 단계(S15)로 실행되고 있다.

영상이 입력되면, 주어진 영상에서 살색 범위에 해당하는 색을 지닌 픽셀을 검출하는 살색 영역 추출 단계를 수행한다(S11,S12).

사람의 살색은 인종이나 영상 취득시의 조명, 취득 장치 등에 따라 다양하므로 광범위하게 나타날 수 있다. 그렇기 때문에 살색 영역에는 사람 영역 이외에도 유사한 색의 영역들이 포함될 수 있다. 이를 해결하기 위하여 살색 영역들을 다시 그 안에서 유사한 색으로 모여 있는 영역들을 분리하는 살색 그룹화 단계를 수행한다(S13).

살색 그룹화에 의해 분리된 영역들은 얼굴 확인 단계(S14,S15)를 거쳐 얼굴을 확인하게 되는데, 본 발명에서 얼굴의 확인은 살색의 공간적 분포가 타원인 사람의 특성을 이용하는 타원 맵핑(Ellipse Mapping)방법과 눈, 코, 입 검출을 사용하였다. 즉, 사람의 얼굴 모양이 타원형에 가깝다는 특징(얼굴 모양의 특징)을 기반으로 해서, 상기 찾아낸 살색 영역들을 미리 준비된 타원형 마스크와 매칭시켜 그 매칭의 정도에 따라 사람 얼굴 영역인지의 여부(얼굴 영역 후보)를 구하고, 이 영역에 대해서는 다시 눈, 코, 입 등이 검출되는가를 판단하여 눈, 코, 입 등 사람 얼굴이라고 할 만한 특징적인 정보들이 검출되면 그 영역을 최종적으로 사람의 얼굴 영역이라고 확인하는 방법을 사용하는 것이다.

위와 같이 얼굴 확인 단계에 의해 최종적으로 검출된 얼굴은 타원 형태로 나타나며 타원으로 기술될 수 있는 얼굴 영역 정보를 사용하여 다음에 기술될 다양한 실시간 편집 기능을 수행할 수 있다.

즉, 상기 추출된 얼굴 영역을 사용하여 배경합성, 캐릭터 합성, 액자합성, 영상효과, 텍스트합성 등 다양한 실시간 편집 기능을 수행할 수 있는데, 각 편집 기능별로 편집 방법과 효과를 설명하면 다음과 같다.

[1]. 실시간 배경 합성 기능

사용자가 때로는 통화하는 장소를 상대방에게 보이기 싫어할 수 있다. 이럴 때 배경 전환과 같은 기능으로 배경을 숨김으로써 통화하는 장소를 숨길 수 있다. 하지만 이러한 기술이 현실화되려면 사람 영역을 실시간으로 자동 분리한 후 배경을 분리해야 한다.

본 발명에서는 사람의 전체 영역 대신 얼굴 영역만을 분리한 후 자연스러운 배경 분리를 통해 사용자의 목적인 통화 장소의 숨김은 물론, 재미있는 배경으로 편집하여 사용자의 개성을 살릴 수 있는 부가적인 서비스를 가능하도록 한다. 또한 본 기능에 의해 전환된 배경이 정지 영상일 경우, 코딩된 영상의 크기가 줄어들도록 함으로써 낮은 네트워크 환경에서도 자연스런 영상이 전송 및 디스플레이 될 수 있도록 하였다.

추출된 얼굴 영역은 상기 기술하였듯이 타원 형태로 표현된다. 타원 형태의 얼굴 영역으로 자연스럽게 배경을 전환한 예가 도3에 나타나 있다. 도3의 (a)와같은 원래의 영상에서 대략 타원형으로 얼굴 영역이 추출되고, 여기에 도3의 (b)와 같은 배경 영상을 데이터 베이스(13)에서 선택하여 원래의 얼굴과 합성함으로써도3의 (c)와 같이 배경이 전환된 합성 영상을 생성하고 이 것을 인코딩하여 전송하는 것이다.

도3의 (c)에 나타낸 바와 같이 원래의 영상에서 얼굴 영역만이 나타나고 배경은 사용자가 지정한 화면이 나타나므로 영상을 수신하는 쪽에서는 원래의 배경을 알 수 없게 된다. 게다가 도면과 같이 아름다운 배경에 사용자의 얼굴이 자연스럽게 떠오르는 모습은 배경을 숨기려는 목적 이외에 통화 시 재미 요소를 주는 또 다른 서비스 기능을 한다.

따라서, 영상 합성부(15)에는 단순히 추출된 얼굴 영역을 새로운 배경 영상에 덧붙이는 것 대신 자연스럽게 가장자리 영역(얼굴 영역과 배경 사이의 경계)이 이어지도록 처리하는 기능을 포함하여야 한다. 본 발명에서는 이렇게 가장자리 영역을 자연스럽게 하기 위해 후에 기술하는 브러링 방법을 사용하였다.

도3에서 새로운 배경은 사용자가 마음대로 선택할 수 있는데 이러한 사용자 인터페이스의 예가 도4에 표현되어 있다. 도4는 이동 단말기의 인터페이스 화면을 보인 것으로, 인터페이스 화면 아래쪽에 6개의 배경 영상을 예시하였고, 이 중에서 한 개를 선택하여 합성한 결과가 위쪽 창에 디스플레이된 것을 보여준다.

도4에서와 같은 사용자 인터페이스를 이용할 때, 사용자는 통화 시작 전에 전환할 배경을 선택하던가 또는 통화 중에도 배경 전환이 가능하다. 전환할 배경은 기본적으로 제공하는 배경이거나 사용자가 직접 취득한 배경일 수 있고, 배경합성용 영상을 제공하는 서버에서 통신 디바이스(17)를 이용해서 다운로드 받을 수도 있다.

도5는 상기한 바와 같이, 추출된 얼굴 영역에 배경을 실시간 전환하기 위한 순서도를 보여준다. 먼저, 사용자가 전환하고자 하는 배경을 선택하고(S21), 화상 통신을 위한 영상이 입력되면(S22), 상기 기술한 얼굴 영역 추출방법을 거쳐 얼굴 영역을 추출하고(S23), 이렇게 추출된 얼굴 영역을 선택된 배경과 합성하고(S24),합성된 영상을 바로 인코더(16)에 의해서 인코딩하여 전송하는 것이다(S25).

이와 같이 얼굴 영역을 분리하고, 새로운 배경으로 합성하여 인코딩할 때, 새로운 배경이 간단한 정지영상일 경우는 얼굴 영역을 보다 높은 비트 레이트로 코딩하고 배경 영역을 보다 낮은 비트 레이트로 코딩하는 방법을 적용함으로써 낮은 전송 환경에서 사용자가 주로 관심 있는 통화자의 얼굴에 대해서는 고화질을 확보하고, 그렇지 않은 영역에 대해서는 재미있는 배경을 전송하는 서비스도 가능하게 된다.

[2]. 실시간 캐릭터 합성 기능

추출된 얼굴 영역을 기존에 잘 알려진 캐릭터, 또는 얼굴 영역이 들어갈 수 있는 재미있는 배경에 삽입함으로써 캐릭터 자동 배경 전환을 할 수 있다. 도6은 그러한 예를 보여주고 있다. 도6 에 나타난 예 2가지는 모두 재미있는 배경 캐릭터의 얼굴 영역에, 본인의 얼굴 영역을 삽입함으로써 재미있는 통신 영상으로 변환된 것을 보여준다. 각각 왼쪽의 영상이 취득한 본인의 영상이며, 오른쪽 영상은 특정 캐릭터의 얼굴 대신 본인의 얼굴을 삽입하여 합성해 낸 영상이다.

이러한 기능을 위해서는 상기 기술한 배경 전환 기술 이외에, 추출된 얼굴의 크기를 삽입할 영역의 크기에 맞도록 조정하는 리사이징(Resizing)과, 삽입할 영역의 위치로 추출된 얼굴 영역을 옮기는 리로케이션(Relocation)과정이 요구되는데, 이는 캐릭터 배경에 삽입될 얼굴의 위치가 고정되어 있기 때문이다. 이와 같은 과정을 도7에 나타내었다.

먼저, 사용자가 전환하고자 하는 캐릭터 배경을 선택하고(S31), 영상이 입력되면 상기 기술한 얼굴 영역 추출 단계를 거쳐 얼굴 영역을 추출하고(S32,S33), 상기 추출된 얼굴 영역을 삽입할 영역의 크기에 맞도록 크기를 조절하는 리사이징(resizing)을 수행하고(S34), 리사이징된 얼굴 영역을 삽입할 영역의 위치로 옮기는 리로케이션(relocation)을 수행한다(S35). 그런 후, 선택된 배경과 상기 리사이징된 얼굴 영상을 합성하는 합성단계(S36)를 수행한다. 이 때에도 자연스러운 합성을 위하여 후에 기술할 브러링 방법을 사용하였다. 이와 같이 영상 합성부(15)에 의해서 합성된 영상은 인코더(16)에 의해서 인코딩된다.

[3]. 실시간 액자 합성 기능

이 기능은 추출된 얼굴 영역을 액자가 그려진 새로운 이미지에 합성하여 사진틀 속의 사진과 같게 보이도록 합성하는 방법으로 도8에 예를 도시하였다. 도8의 왼쪽은 획득한 영상이고 오른쪽은 이 영상에서 얼굴영역을 추출하여 액자 속에 넣어 놓은 것을 보여준다. 이 기술은 상기 기술한 배경 합성 기능과 유사하지만, 원영상이 액자 이미지의 틀 내부에만 합성되며 액자틀이나 액자틀에 부착된 장식 등 사진보다 위에 놓여지는 부분에 해당된 액자 이미지의 정보와는 합성되지 않는다는 차이점이 있다.

이를 구현하기 위해서 본 발명에서는 액자 이미지에 대해 원영상과 합성이가능한 부분과 합성이 불가능한 부분을 구분한 마스크를 구성하여 실시간 합성에 참조한다. 즉, 도9의 (a)와 같이 액자 이미지가 있고 이에 대한 마스크를 도9의 (b)에 나타낸 바와 같이 합성이 가능한 부분은 '1'(도면에서 흰색 영역)로, 합성이 불가능한 부분(도면에서 검은색 영역)은 '0'으로 세팅하여, 실제 합성시 마스크 값이 '1'인 픽셀에 대해서만 원영상과 액자영상을 합성하며, '0'인 픽셀에 대해서는 액자영상의 값을 그대로 사용한다.

도10은 실시간 액자 합성 방법의 수순을 보여준다. 먼저, 사용자가 합성할 액자 영상을 선택하고(S41), 이에 따라 해당 액자 마스크를 획득한다(S42). 영상 취득수단에 의해서 취득한 영상이 입력되면 해당 영상에서 얼굴영역을 추출하고(S43,S44), 상기 액자 마스크에 의해 정해지는 액자의 내부 영역인 부분을 상기 검출된 얼굴 영역과 합성하며(S45), 상기 액자 마스크에 의해 정해지는 액자의 틀 영역인 부분을 합성 영상에 추가함으로써 액자속에 사용자 얼굴 사진이 개입된 합성 영상을 완성한다(S46). 이렇게 완성된 합성 영상은 인코더(16)에 의해서 인코딩되어 전송된다.

[4]. 실시간 영상 효과 기능

실시간 영상 효과는 입력 영상에 대해 도11과 같은 기존의 영상효과를 주되, 얼굴영역은 선명하게 드러나도록, 추출된 얼굴영역 정보를 이용하여 영상 효과의 강도를 조절하는 것이다. 도11의 (a)는 영상 취득수단(11)에 의해서 취득한 원래의 영상이고, (b)는 원 영상에 미디언(Median) 효과를 준 영상이고, (c)는 원 영상에 크리스탈(Crystallize) 효과를 준 영상이고, (d)는 원 영상에 메조틴트(Mezzotint)효과를 준 영상이고, (e)는 원 영상에 콘테 크레용(Conte Cryon) 효과를 준 영상이다.

도12는 상기 도11 (b)의 미디언 필터링(median filtering)으로 이미지 효과를 주되, 얼굴 영역은 원영상을 그대로 사용하여 선명하게 드러내고 얼굴의 경계부분부터 미디언 필터링(median filtering)의 윈도우 사이즈를 점차로 크게 적용하여 이미지가 더욱 흐려지는 효과를 준 것을 보여주고 있다. 도11의 (c), (d), (e)와 같은 효과를 줄 때에도 이와 같은 방법으로 얼굴 영역은 원영상을 그대로 사용하여 선명하게 드러내도록 한다.

상기 미디언 필터링(median filtering)의 윈도우 사이즈를 조절하는 방법은 후에 설명할 '영상 합성시 브러링(blurring) 방법'에 기술된, 타원식으로 임의의 픽셀이 타원의 경계에 놓이는 거리를 고려하되 그 값을 원영상과 합성할 새 영상의 정보 비율로 이용하지 않고, 미디언 필터링(median filtering)의 윈도우 사이즈로 변환하여 사용한다.

[5]. 실시간 텍스트 합성 기능

실시간 텍스트 합성 방법은 영상 편집시 텍스트를 영상에 추가하는 방법이다. 텍스트를 추가하는 방법은 테스트도 넓은 의미에서 합성할 영상의 개념으로 보고, 사용자가 입력하거나 또는 미리 저장되어 있는 텍스트를 원 영상의 소정 위치에 합성하여 넣는 것이다. 이 때 사용자가 얼굴영역에 텍스트가 놓이는 것을 막을 경우, 실시간으로 추출되는 얼굴 영역 정보를 이용하여 얼굴 영역에는 텍스트가 놓이지 않도록 합성할 수 있다. 즉, 텍스트가 놓이는 영역이 상기 검출되는 얼굴 영역에 대해서는 '금지'되도록 하고, 얼굴 이외의 영역에 텍스트를 삽입해 넣는 것이다. 여기서 추가되는 텍스트는 축하, 생일 등 미리 저장된 상용구일 수 있고, 사용자가 직접 입력할 수도 있음은 기 설명한 바와 같다. 도13은 텍스트 합성의 예를 보여주고 있다.

[6]. 영상 합성시 브러링(blurring) 방법

분리된 얼굴 영역을 새로운 이미지에 합성할 때 테두리 부분을 브러링하면 보다 자연스럽게 영상을 합성할 수 있다. 도14의 (a)는 브러링을 하지 않은 경우의 합성 영상을 보여주며, 도14의 (b)는 브러링을 한 합성 영상을 보여준다. 도14에서 알 수 있듯이 브러링을 하지 않은 결과와 브러링을 한 결과를 비교해 보면 브러링을 한 쪽이 보다 자연스러움을 알 수 있다.

본 발명에서 브러링의 기본 개념은 타원으로 분리된 얼굴영역에 대해 타원 중심에 가까울수록 원래 얼굴영상 정보의 비율을 높이고, 타원 중심에서 멀어질수록 새로 합성될 이미지의 정보 비율을 높인다는 것이다. 도15는 이 개념을 보여주고 있다. 즉, 도15의 (a)에서 실선으로 표시된 부분이 실제로 분리된 얼굴 영역이고 굵은 점선으로 표시된 부분이 합성을 시작할 경계이고, 가는 점선으로 표시된 부분이 합성을 끝낼 경계라면, 굵은 점선 안쪽 영역은 원래의 얼굴 영상 정보를 사용하고, 가는 점선 바깥 부분은 새로운 이미지의 정보를 사용하며, 굵은 점선과 가는 점선의 사이 영역은 원 영상과 새로운 영상 정보 비율을 선형적으로 변화시켜 가며 사용한다.

본 발명에서는 타원의 정보를 매개변수식으로 표현함으로써 합성을 시작할내부 경계를 표현하거나, 합성을 끝낼 외부경계를 표현하거나, 두 영상이 섞이는 영역의 정보 비율을 수치적으로 계산해 낼 수 있는 장점이 있다.

이를 도15의 (b)에 나타내었으며 브러링 기법을 설명한다.

타원(Ellipse)은 2차원 평면의 x,y좌표축에 대해서 그 중심이 (0,0)이라고 하고, x축의 교점이 a, y축의 교점이 b라고 할 때, x²/a²+ y²/b²= 1 을 만족하는 점(x,y)의 집합이다. 또한 타원의 내부에 위치하는 점들은 x²/a²+ y²/b²< 1 을 만족하는 점(x,y)의 집합이고, 타원의 외부에 위치하는 점들은 x²/a²+ y²/b²> 1 을 만족하는 점(x,y)의 집합이다.

그러므로 타원의 우변의 상수 값을 조정하면 합성할 구간의 경계를 지정할 수 있고, 임의의 점을 타원식에 대입하여 우변의 상수 값을 계산할 때 그 값이 브러링 시작 경계 값 보다 크고 브러링 종료 경계 값 보다 작을 경우 원 영상과 새로운 영상을 브러링할 영역임을 알 수 있고, 원 영상 정보와 새 영상 정보의 혼합 비율을 계산할 수 있다.

도15의 (b)의 예에 임의의 점(x1,y1)을 타원식에 적용한 값이 0.9일 때,

x1²/a²+ y1²/b²= 0.9, abs(0.8-0.9) : abs(0.9-1.2) = 1: 3 이므로 점(x1,y1)의 최종적인 칼라값 Color_value(x1,y1) = 원영상_Color_value(x1,y1) ×0.75 + 새영상_Color_value(x1,y1) ×0.25 로 계산될 수 있다.

여기서, 원영상이란 얼굴이 포함된 원래 영상이고, 새영상이란 원영상에 합성할 배경이나 캐릭터, 액자 이미지 등에 해당한다.

지금까지 설명한 바와 영상 합성시의 브러링 기법을 다음과 같이 정리해 볼수 있다.

브러링을 시작할 경계가 x²/a²+ y²/b²= InnerTh(임계치) 로 정의되고,

브러링을 종료할 경계가 x²/a²+ y²/b²= OuterTh(임계치) 로 정의될 때,

임의의 점(x,y)에 대해 d = x²/a²+ y²/b²를 구하여,

d < InnerTh 이면 Color_value(x,y) = 원영상_Color_value(x,y)

InnerTh ≤d < OuterTh 이면,

Color_value(x,y) =

원영상_Color_value(x,y) ×(OuterTh-d)/(OuterTh-InnerTh)

+ 새영상_Color_value(x,y) ×(d-InnerTh)/(OuterTh-InnerTh)

d ≥OuterTh 이면 Color_value(x,y) = 새영상_Color_value(x,y)

로 칼라값을 계산함으로써 해당 합성 영상에 대한 브러링을 수행할 수 있다.

[7]. 합성 영상과 데이터 양과의 관계

본 발명에서 상기 기술한 기능은 모두 정지 영상과 사용자의 얼굴 영역을 합성하는 기술을 사용하고 있다.

화상 통신에서 사용되는 동영상 표준으로는 H.263계열과 MPEG-4 등이 있는데, 이들 표준에서는 각 프레임을 16 ×16 픽셀 크기의 매크로 블록 단위로 코딩을 하고, 이전 프레임과 현재 프레임 매크로 블록의 내용이 같을 경우 현재 프레임에서는 코딩을 별도로 하지 않는 Not-Coded 블록을 사용한다.

그런데 본 발명에서 배경의 경우 이전 프레임과 현재 프레임의 내용이 같으므로, 배경에 해당하는 매크로 블록은 Not-coded 블록이 된다. Not-coded 블록은한 비트만이 할당되므로 Not-coded 블록이 많아지면 그만큼 코딩된 데이터양이 작아지게 된다. 데이터 양이 작으면 낮은 네트워크 환경에서도 모두 전송 가능하여, 일반적으로 네트워크 환경이 떨어질 때 발생하는 화질 저하가 발생하지 않게 된다. 이와 같이 본 발명은 배경을 숨기거나 재미있는 부가 요소 이외에, 낮은 네트워크 환경에서도 높은 화질로 통화할 수 있는 방법을 제시하고 있다.

[화상 통신 시스템의 실시예]

상기 도1에서는 송신부(단말기)에서 얼굴 영역을 분리하여 다른 영상과 합성한 후 이를 인코딩하여 송신하는 예를 기술하고 있다. 이 경우 일단 전송되는 데이터는 일반적인 표준 포멧과 동일하므로 수신 파트에서는 일반적인 수신 장치로 문제없이 사용할 수 있다.

하지만 객체 분리 정보를 보다 효과적으로 사용하려면 송신 파트에서는 영역을 분리하고 분리된 영역 정보만을 송신하고, 수신측에서 이를 수신하여 새로운 배경과 합성하는 방법도 가능하다. 이렇게 할 경우에는 전송되는 데이터 양이 경우에 따라 상기 기술한 경우보다 작을 수 있고, 필요하면 송신쪽에서 인코딩하는데 필요한 처리 시간도 단축시킬 수 있는 장점이 있다.

이러한 화상 통신 시스템의 예를 도16에 나타내었다. 도16에 나타낸 화상 통신 시스템의 송신부는 영상 취득수단(21)으로 취득한 영상에서 얼굴 영역을 추출하는 얼굴 영역 추출부(22), 합성될 영상 데이터가 저장되는 배경 데이터 베이스(23), 합성 영상 선택을 위한 사용자 인터페이스(24), 상기 추출된 얼굴 영역 정보를 포함하여 송신할 데이터를 인코딩하는통신 영상인코더(25), 인코딩된 데이터 송수신을 위한 통신 디바이스(26)를 포함하며, 수신부는 데이터 송수신을 위한 통신 디바이스(27), 수신된 데이터를 디코딩하기 위한통신 영상디코더(28), 상기 디코딩된 영상의 합성을 위한 영상 합성부(29), 상기 합성된 영상을 디스플레이하기 위한 디스플레이어(30)를 포함하고 있다.

도16의 화상 통신 시스템은 도1의 화상 통신 시스템과 비교해 보면 도1의 경우는 송신부에 영상 합성부(15)가 있는 대신 도16의 경우는 수신부에 영상 합성부(29)가 포함되어 있음을 알 수 있다. 따라서, 도16의 시스템은 송신부에서는 얼굴 영역을 분리한 후 분리된 영역 정보만을 전송하고 이를 이용하여 수신부에서 새로운 영상으로 합성하게 된다. 얼굴 영역에 대한 정보는 얼굴 영역을 제외한 나머지 영역을 사전에 약속한 일정 값으로 대치하여 코딩하여 표시하거나, 얼굴 영역을 포함하는 최소한의 사각 영역인 MBR(Minimum Boundary Rectangle)로 표현 가능하다. 후자의 경우 MBR정보를 같이 전송해야 하는데, 사각형의 대각선 두 포인트 정보만 전송되면 수신 측에서 얼굴 영역의 타원을 구할 수 있으므로 전송될 얼굴 영역 정보는 매우 적기 때문에 얼굴 영역 기술 정보 전송으로 인한 부하는 없다.

도17은 도16의 화상 통신 시스템에서, 수신 측에서 얼굴영상에 배경영상을 합성할 경우 배경 전환을 위한 전체 프로세스를 보여주고 있다. 도17의 (a)는 송신부의 프로세스이며, 도17의 (b)는 수신부의 프로세스이다.

먼저 사용자가 인터페이스(24)를 이용해서 전환할 배경을 데이터 베이스(23)로부터 선택하고(S51), 영상 취득수단(21)에 의해서 영상이 입력되면 얼굴 영역 추출부(22)에서 얼굴 영역을 추출한다(S52,S53). 이후에는 상기 추출한 얼굴 영역만을 인코더(25)에서 코딩하여 전송하되 만일 처음이면 전환할 배경을 먼저 전송하고 그렇지 않으면 얼굴 영역만을 전송한다(S54,S55,S56,S57). 즉, 최초 통신 단계에서만 배경이 될 영상을 인코더(25)에서 인코딩하여 통신 디바이스(26)를 통해 전송하고 그 이후부터는 얼굴 영역 정보만을 인코딩하여 전송하는 것이다.

수신부에서는 전송된 얼굴 영역을 통신 디바이스(27)를 통해 수신하되 처음 전송인가를 판단하고(S61), 처음 전송이면 전송된 전환할 배경(송신부에서 사용자가 선택한 배경)을 수신하며 처음 전송 이후에는 얼굴 영역만을 수신한다(S62,S63). 이후에는 수신된 얼굴 영역을 디코더(28)에서 디코딩하고(S64), 상기 처음 전송시 수신(전송)된 배경과 얼굴 영역을 영상 합성부(29)에서 합성하고 디스플레이함으로써 전체 프로세스가 끝난다(S65,S66).

도18은 도16의 화상 통신 시스템에서, 수신 측에서 얼굴영상에 캐릭터 영상을 합성할 경우 배경 전환을 위한 전체 프로세스를 보여주고 있다. 도18의 (a)는 송신부의 프로세스이며, 도18의 (b)는 수신부의 프로세스이다.

먼저 사용자가 인터페이스(24)를 이용해서 전환할 캐릭터 배경을 데이터 베이스(23)로부터 선택하고(S71), 영상 취득수단(21)에 의해서 영상이 입력되면 얼굴 영역 추출부(22)에서 얼굴 영역을 추출한다(S72,S73). 이후에는 상기 추출한 얼굴 영역만을 인코더(25)에서 코딩하여 전송하되 만일 처음이면 전환할 캐릭터 배경을 먼저 전송하고 그렇지 않으면 얼굴 영역만을 전송한다(S74,S75,S76,S77). 즉, 최초 통신 단계에서만 배경이 될 캐릭터 영상을 인코더(25)에서 인코딩하여 통신 디바이스(26)를 통해 전송하고 그 이후부터는 얼굴 영역 정보만을 인코딩하여 전송하는것이다.

수신부에서는 전송된 얼굴 영역을 통신 디바이스(27)를 통해 수신하되 처음 전송인가를 판단하고(S81), 처음 전송이면 전송된 전환할 캐릭터 배경(송신부에서 사용자가 선택한 캐릭터 배경)을 수신하며 처음 전송 이후에는 얼굴 영역만을 수신한다(S82,S83). 이후에는 수신된 얼굴 영역을 디코더(28)에서 디코딩하고(S84), 수신된 얼굴 영역을 캐릭터에 맞게 사이즈 조절하는 리사이징(Resizing) 및 위치를 맞추는 리로케이션(Relocation)을 수행하며(S85,S86), 상기 처음 전송시 수신(전송)된 배경과 얼굴 영역을 영상 합성부(29)에서 합성하고 디스플레이함으로써 전체 프로세스가 끝난다(S87,S88).

지금까지 설명한 바와 같이 도18에 나타낸 캐릭터 배경 전환의 경우도 상기 도17과 같은 프로세스를 거치되, 수신된 배경과 얼굴 영역 합성 시에 얼굴 영역의 캐릭터 배경에 얼굴의 영역 크기와 동일하게 추출된 얼굴 영역을 크기 조절하는 단계(S85)와 캐릭터 배경의 얼굴 영역 위치로 위치를 재조정하는 단계(S86)가 추가된다. 이와 같은 작업은 도18에 나타낸 바와 같이 수신부의 영역 합성과정에서 이루어질 수도 있으나, 얼굴 영역을 추출하여 전송하기 전에 송신부에서 미리 크기와 위치를 조정한 후 이를 전송할 수도 있다. 이 때 수신부는 전송된 얼굴 영역을 단순히 캐릭터 배경에 합성하기만 하면 되며, 이 경우의 프로세스를 도19에 나타내었다.

도19의 (a)는 송신부의 프로세스이며, 도19의 (b)는 수신부의 프로세스이다.

앞서 설명한 바와 같이, 먼저 사용자가 인터페이스(24)를 이용해서 전환할캐릭터 배경을 데이터 베이스(23)로부터 선택하고(S91), 영상 취득수단(21)에 의해서 영상이 입력되면 얼굴 영역 추출부(22)에서 얼굴 영역을 추출한다(S92,S93). 이후에는 상기 추출한 얼굴 영역만을 인코더(25)에서 코딩하여 전송하되 만일 처음이면 전환할 캐릭터 배경을 먼저 전송하고, 그렇지 않으면 캐릭터 배경 전송은 하지 않는다(S94,S95). 즉, 최초 통신 단계에서만 배경이 될 캐릭터 영상을 인코더(25)에서 인코딩하여 통신 디바이스(26)를 통해 전송하고 그 이후부터는 얼굴 영역 정보만을 인코딩하여 전송하는 것이다. 다음에는 배경과 얼굴 영역 합성 시에 얼굴 영역의 캐릭터 배경에 얼굴의 영역 크기와 동일하게 추출된 얼굴 영역을 크기 조절하는 단계(S96)와 캐릭터 배경의 얼굴 영역 위치로 위치를 재조정하는 단계(S97)를 수행하고, 상기 얼굴 영역을 인코딩하여 전송한다(S98,S99).

수신부에서는 전송된 얼굴 영역을 통신 디바이스(27)를 통해 수신하되 처음 전송인가를 판단하고(S100), 처음 전송이면 전송된 전환할 캐릭터 배경(송신부에서 사용자가 선택한 캐릭터 배경)을 수신하며 처음 전송 이후에는 얼굴 영역만을 수신한다(S101,S102). 이후에는 수신된 얼굴 영역을 디코더(28)에서 디코딩하고(S103), 수신된 얼굴 영역을 캐릭터 배경과 영상 합성부(29)에서 합성하고 디스플레이함으로써 전체 프로세스가 끝난다(S104,S105).

지금까지 기술한 본 발명은 실시간으로 배경을 자동 전환하여 화상 통신에 사용할 수 있다. 이 외에 미리 취득하여 파일로 저장한 비디오 메일을 사용자가 본 발명에서 제시한 기술을 사용하여 편집한 후 전송할 수도 있다. 이 경우 상기 기술한 편집 기술 이외에 텍스트 입력 등의 편집 기능을 추가할 수 있다.

본 발명은 실시간 분리 가능한 얼굴 영역 추출 방법을 사용하여, 사용자가 원하는 배경으로 배경을 자동으로 전환하여 화상 통신을 행할 수 있도록 함으로써, 사용자가 숨기고 싶은 통화 장소(배경)를 숨기게 해줄 수 있고, 다양한 배경을 사용하여 사용자의 개성을 살리는 재미있는 서비스를 가능하게 한다. 본 발명은 일반적인 배경 전환 기능 뿐 아니라, 캐릭터와 같이 알려진 기존 배경에 얼굴만을 교체하여 통신 가능하게 함으로써, 화상 통신의 본연의 기능은 통신 이외에도 사용자의 개성을 살릴 수 있는 다양한 서비스를 가능하게 한다.

또한 본 발명은 얼굴 이외의 영역을 정지 영상으로 전환할 경우 코딩된 데이터 양이 크게 줄어 낮은 네트워크 환경에서도 자연스럽게 통신할 수 있는 효과를 줄 뿐 아니라, 비디오 메일에 본 발명을 적용할 경우, 전송할 패킷 수가 줄어 전송 요금을 줄일 수 있는 효과를 갖는다.

Claims

삭제
삭제
삭제
삭제
삭제
삭제
삭제
화상 통신을 위한 영상의 입력 수단과, 상기 입력된 영상에서 얼굴 영역을 추출하는 수단과,화상 통신을 위하여 송신할 데이터를 코딩함에 있어 처음에만 상기 추출된 얼굴 영역과 편집을 위한 새로운 영상을 코딩하고 이후에는 상기 추출된 얼굴 영역만을 코딩하는수단과, 상기 코딩된 데이터를 전송하는 수단으로 구성된 송신부와;

상기 전송된 얼굴 영역및 편집을 위한 새로운 영상을수신하는 수단과,화상 통신을 위한 데이터를 디코딩함에 있어 처음에만 상기 편집을 위한 새로운 영상과 추출된 얼굴 영역을 디코딩하고 이후에는 상기 전송된 얼굴 영역만을 디코딩하는 수단과,상기디코딩된 얼굴 영역과 새로운 영상을 합성하는 수단과, 상기 합성된 새로운 영상을 디스플레이하는 수단으로 구성된 수신부; 를 포함하여 이루어지는 것을 특징으로 하는 영상 자동 편집 화상 통신 시스템.
화상 통신을 위한 영상의 입력 단계와,

상기 입력된 영상에서 얼굴 영역을 추출하는 단계와,

화상 통신을 위한 데이터를 송신함에 있어, 처음에만 상기 추출된 얼굴 영역 및 얼굴 영역 기술정보와 편집을 위한 새로운 영상을 전송하고, 이후에는 상기 추출된 얼굴 영역 및 얼굴 영역 기술정보만을 전송하는 단계와,

화상 통신을 위한 데이터를 수신함에 있어, 처음에만 상기 편집을 위한 새로운 영상과 상기 추출된 얼굴 영역 및 얼굴 영역 기술정보를 수신하고, 이후에는 상기 전송된 얼굴 영역 및 얼굴 영역 기술정보만을 수신하는 단계와,

상기 수신된 얼굴 영역과 새로운 영상을 편집 또는 합성하는 단계; 를 포함하여 이루어지는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.
삭제
제 9 항에 있어서, 상기 얼굴 영역 기술 정보는 얼굴 영역을 포함하는 최소한의 사각형인 MBR(Minimum Boundary Rectangle)을 기술하기 위한 대각선 두 포인트 정보임을 특징으로 하는 영상 자동 편집 화상 통신방법.
제 9 항에 있어서,상기 얼굴 영역 추출은, 주어진 영상에서 살색 영역을 추출하는 단계와, 상기 추출된 살색 영역을 그룹화하는 살색 그룹화 단계와, 상기 그룹화된 각 살색 그룹별로, 매개 변수식으로 표현되는 타원으로 기술되는 영역이 있는지 검증하는 단계와, 상기 타원형 영역에 대하여 눈,코,입을 검출하여 얼굴을 확인하는 단계에 의해서 이루어지는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.
제 9 항에 있어서,상기 검출된 얼굴 영역을 기반으로 하는 영상 편집이나 합성은 일반적인 배경영상과 이루어지되, 상기 추출된 타원 형태의 얼굴 영역을 새로운 배경 위에 조합하는 단계와, 상기 조합된 얼굴 영역의 가장자리 영역을 자연스럽게 변형하는 단계에 의하여 영상 편집이나 합성이 이루어지는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.
제 9 항에 있어서,상기 검출된 얼굴 영역을 기반으로 하는 영상 편집이나 합성은 얼굴과 캐릭터를 표현하는 영상에 의해서 이루어지되, 상기 추출된 타원 형태의 얼굴 영역을 캐릭터 영상의 얼굴 영역의 크기와 동일하게 크기를 조절하는 단계와, 상기 크기가 조절된 얼굴 영역을 캐릭터 영상의 얼굴 영역 위치에 재 위치시키는 단계와, 상기 조합에 의하여 영상 편집이나 합성이 이루어지는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.
제 9 항에 있어서,상기 검출된 얼굴 영역을 기반으로 하는 영상 편집이나 합성은 얼굴과 액자를 표현하는 영상에 의해서 이루어지되, 액자의 내부에 해당되는 부분과 액자의 틀에 해당되는 부분을 구분한 액자 영상의 마스크를 구하는 단계와, 상기 추출된 타원형 얼굴영역을 액자 영상 마스크를 이용하여 액자의 내부 영역과 자연스럽게 합성하는 단계와, 상기 액자의 틀에 해당되는 부분을 액자 영상 마스크를 이용하여 액자 내부와 합성된 영상의 위에 합성하는 단계에 의하여 영상 편집이나 합성이 이루어지는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.
제 9 항에 있어서,상기 검출된 얼굴 영역을 기반으로 하는 영상 편집이나 합성이 텍스트의 추가에 의하여 이루어지는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.
제 9 항에 있어서,상기 검출된 얼굴 영역을 기반으로 하여 새로운 영상을 합성할 때, 추출된 얼굴 영상 정보만을 사용할 부분을 설정하는 단계와, 새로운 영상 정보만을 사용할 부분을 설정하는 단계와, 나머지 부분을 얼굴 영상과 새로운 영상을 혼합할 부분으로 설정하는 단계와, 추출된 얼굴 영상 정보만을 사용할 부분에 추출된 얼굴 영상 정보를 넣는 단계와, 새로운 영상 정보만을 사용할 부분에 새로운 영상 정보를 넣는 단계와, 얼굴 영상과 새로운 영상을 혼합할 부분에 두 영상 정보를 선형적으로 조합하여 넣는 단계를 포함하여 얼굴 영상과 합성될 새로운 영상 사이의 경계를 자연스럽게 변형시키는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.
제 17 항에 있어서, 상기 추출된 얼굴 영상 정보만을 사용할 부분과, 얼굴 영상과 새로운 영상을 혼합할 부분과, 새로운 영상 정보만을 사용할 부분을 설정하는 방법은;

추출된 얼굴 영상 정보만을 사용할 부분과 얼굴 영상과 새로운 영상을 혼합할 부분의 경계와, 얼굴 영상과 새로운 영상을 혼합할 부분과 새로운 영상 정보만을 사용할 부분의 경계를, 중심이 같고 크기가 순차적으로 커지는 2개의 타원의 매개변수식으로 표현하는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.
제 17 항에 있어서, 상기 추출된 얼굴 영상 정보만을 사용할 부분에 추출된 얼굴 영상 정보를 넣는 단계는; 제 18 항에 기재된 타원 중 추출된 얼굴 영상 정보만을 사용할 부분과 얼굴 영상과 새로운 영상을 혼합할 부분의 경계를 설정한 타원의 매개변수식에 대해,

임의의 픽셀의 위치가 타원의 내부에 있다고 계산되면 이 픽셀의 영상정보는 추출된 얼굴 영상 정보를 그대로 사용하는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.
제 17 항에 있어서, 상기 새로운 영상 정보만을 사용할 부분에 새로운 영상 정보를 넣는 단계는; 제 18 항에 기재된 타원 중 얼굴 영상과 새로운 영상을 혼합할 부분과 새로운 영상 정보만을 사용할 부분의 경계를 설정한 타원의 매개변수식에 대해,

임의의 픽셀의 위치가 타원의 외부에 있다고 계산되면 이 픽셀의 영상정보는 새로운 영상 정보를 그대로 사용하는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.
제 17 항에 있어서, 상기 얼굴 영상과 새로운 영상을 혼합할 부분에 두 영상 정보를 선형적으로 조합하여 넣는 단계는; 제18항에 기재된 타원을 적용하여,

임의의 픽셀의 위치가 추출된 얼굴 영상 정보만을 사용할 부분과 얼굴 영상과 새로운 영상을 혼합할 부분의 경계를 설정한 타원A의 외부에 있고, 임의의 픽셀의 위치가 얼굴 영상과 새로운 영상을 혼합할 부분과 새로운 영상 정보만을 사용할 부분의 경계를 설정한 타원B의 내부에 있다고 계산되면, 타원A의 경계에 대한 거리에 반비례하는 정도로 계산된 원래 얼굴 영상 정보와 타원B의 경계에 대한 거리에 반비례하는 정도로 계산된 새로운 영상 정보를 합하여 픽셀의 영상정보를 계산하는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.
제 9 항에 있어서,상기 추출된 얼굴 영역을 기준으로 영상을 다르게 편집하기 위하여,

기존의 다양한 이미지 효과를 적용할 때 얼굴 영역에 적용하는 정도는 약하게 하고, 얼굴 이외의 영역에 적용하는 정도는 강하게 하고, 가장자리 영역은 자연스럽게 강도가 조절되도록 하는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.
제 22 항에 있어서, 상기 얼굴영역과 얼굴 이외의 영역에 적용되는 이미지효과의 정도는,

얼굴 영상 영역에 대해 이미지 효과를 약하게 적용할 임계치(Ts)를 설정하는 단계와, 얼굴 이외의 영역에 대해 이미지 효과를 강하게 적용할 임계치(Th)를 설정하는 단계와, 이미지 효과 임계치 Ts를 적용할 부분을 설정하는 단계와, 이미지 효과 임계치 Th를 적용할 부분을 설정하는 단계와, 나머지 부분을 이미지 효과의 임계치를 Ts에서 Th로 점진적으로 변화시키는 부분으로 설정하는 단계와, 이미지 효과 임계치 Ts를 적용할 부분에 임계치 Ts로 이미지 효과를 적용하는 단계와, 이미지 효과 임계치 Th를 적용할 부분에 임계치 Th로 이미지 효과를 적용하는 단계와, 나머지 부분에 이미지 효과의 임계치를 Ts에서 Th로 점진적으로 변화시켜 이미지 효과를 적용하는 단계; 에 의하여 조절되는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.
제 23 항에 있어서, 상기 이미지 효과 임계치들을 적용할 부분의 설정은,

이미지 효과 임계치 Ts를 적용할 부분과 이미지 효과 임계치를 Ts에서 Th까지 적용할 부분의 경계와, 이미지 효과 임계치를 Ts에서 Th까지 적용할 부분과 이미지 효과 임계치 Th를 적용할 부분의 경계를, 중심이 같고 크기가 순차적으로 커지는 2개의 타원의 매개변수식으로 표현하는 것에 의해서 이루어지는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.
제 23 항에 있어서, 상기 이미지 효과 임계치 Ts를 적용할 부분으로 설정된부분에 임계치 Ts로 이미지 효과를 적용하는 단계는;

제 24 항에 기재된 타원 중 이미지 효과 임계치 Ts를 적용할 부분과 이미지 효과 임계치를 Ts에서 Th까지 적용할 부분의 경계를 설정한 타원의 매개변수식에 대해,

임의의 픽셀의 위치가 타원의 내부에 있다고 계산되면, 이 픽셀의 영상정보는 이미지 효과 임계치 Ts를 적용하는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.
제 23 항에 있어서, 상기 이미지 효과 임계치 Th를 적용할 부분으로 설정된 부분에 임계치 Th로 이미지 효과를 적용하는 단계는; 제 24 항에 기재된 타원 중 이미지 효과 임계치를 Ts에서 Th까지 적용할 부분과 이미지 효과 임계치 Th를 적용할 부분의 경계를 설정한 타원의 매개변수식에 대해,

임의의 픽셀의 위치가 타원의 외부에 있다고 계산되면, 이 픽셀의 영상정보는 이미지 효과 임계치 Th를 적용하는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.
제 23 항에 있어서, 상기 이미지 효과의 임계치를 Ts에서 Th로 점진적으로 변화시키는 부분으로 설정된 부분에 이미지 효과의 임계치를 Ts에서 Th로 점진적으로 변화시켜 이미지 효과를 적용하는 단계는;제 24 항에기재된 타원을 적용하여,

임의의 픽셀의 위치가 상기 이미지 효과 임계치 Ts를 적용할 부분과 이미지 효과 임계치를 Ts에서 Th까지 적용할 부분의 경계를 설정한 타원A의 외부에 있고, 임의의 픽셀 위치가 상기 이미지 효과 임계치를 Ts에서 Th까지 적용할 부분과 이미지 효과 임계치 Th를 적용할 부분의 경계를 설정한 타원B의 내부에 있다고 계산되면, 타원A의 경계에 대한 거리에 반비례하는 정도로 계산된 임계치 Ts값과 타원B의 경계에 대한 거리에 반비례하는 정도로 계산된 임계치 Th값을 합하여 구한 새 임계치로 이미지 효과를 적용하는 것을 특징으로 하는 영상 자동 편집 화상 통신방법.