KR100479619B1 - 이동통신 단말기에서의 영상 합성 방법 - Google Patents

이동통신 단말기에서의 영상 합성 방법 Download PDF

Info

Publication number
KR100479619B1
KR100479619B1 KR10-2002-0077193A KR20020077193A KR100479619B1 KR 100479619 B1 KR100479619 B1 KR 100479619B1 KR 20020077193 A KR20020077193 A KR 20020077193A KR 100479619 B1 KR100479619 B1 KR 100479619B1
Authority
KR
South Korea
Prior art keywords
image
region
interest
distance
area
Prior art date
Application number
KR10-2002-0077193A
Other languages
English (en)
Other versions
KR20040049423A (ko
Inventor
유재신
이진수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2002-0077193A priority Critical patent/KR100479619B1/ko
Publication of KR20040049423A publication Critical patent/KR20040049423A/ko
Application granted granted Critical
Publication of KR100479619B1 publication Critical patent/KR100479619B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Abstract

본 발명에 따른 이동통신 단말기에서의 영상 합성 방법은, 관심 객체의 영역 정보를 이용하여 다른 배경 영상만으로 채워질 제 1 영역을 지정하는 단계와; 앞서 지정된 제 1 영역에 대하여, 메모리 직접 참조(DMA)를 사용하여 버퍼에 각 영역에 해당되는 영상을 채우는 단계; 및 나머지 영역에 대해 관심 객체 영역의 중심점으로부터의 거리를 비교 기준으로 사용하여, 다른 배경 영상과 원 영상을 합성하는 단계; 를 포함하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 관심 객체 영역이 타원이고, 관심 객체 영역의 중심으로부터 타원 경계까지의 거리를 기준 단위로 하여, 관심 객체 영역의 중심으로부터, 기준 단위 보다 큰 제 1 임계치보다 더 큰 거리에 있는 점들에 대해서는 다른 배경 영상으로 채워지고; 관심 객체 영역의 중심으로부터, 기준 단위 보다 작은 제 2 임계치보다 더 작은 거리에 있는 점들에 대해서는 원 영상으로 채워지고; 관심 객체 영역의 중심으로부터, 제 1 임계치보다 작고 제 2 임계치보다 큰 거리에 있는 점들에 대해서는, 원 영상과 다른 배경 영상의 같은 위치에 있는 두 점을 합성하되, 제 1 임계치에 가까울수록 다른 배경 영상의 해당 점 색에 큰 비중으로 두고, 제 2 임계치에 가까울수록 원 영상의 해당 점 색에 큰 비중을 두고 합성한다.

Description

이동통신 단말기에서의 영상 합성 방법{Image composition method in mobile station}
본 발명은 이동통신 단말기에 관한 것으로서, 특히 입력된 영상에 대하여 관심 영역과 배경 영역으로 분리하고, 한정된 CPU와 DSP 칩을 사용하여 고속으로 관심 영역과 다른 배경 영상을 합성할 수 있는 이동통신 단말기에서의 영상 합성 방법에 관한 것이다.
또한, 본 발명은 얼굴과 같은 특정 객체를 원래의 배경과 다른 배경으로 합성하여 통신하거나, 영상 메일을 전송하기 위한 응용 분야에 관한 것이며, 특히 이동통신과 같은 분야에서 한정된 CPU와 DSP 칩을 사용하여 고속으로 얼굴 영역을 합성할 수 있는 방안에 관한 것이다.
최근 들어 IMT2000, CDMA2000 1x 등의 초고속 무선 통신 서비스가 구현되면서, 이동통신 분야는 음성 통신 이외의 정지영상이나 동영상과 같은 멀티미디어 서비스를 제공하는 다양한 분야로 확대되고 있다. 그러한 다양한 분야 중 하나가 얼굴과 같은 특정 객체를 제외한 나머지 배경 영역을 다른 배경으로 대체하여 통신을 하거나, 메일로 주고 받는 배경 전환 서비스를 생각할 수 있다. 도 1에서 이러한 예를 기술하고 있는데, 원래의 영상에서 얼굴 영역만을 추출하여 다른 사용자가 원하는 정지 배경과 합성된 영상으로 대신 전송하는 것을 보여준다.
이와 같은 기능을 하려면 이동통신 단말기에서 얼굴과 같은 객체를 추출하는 기능과 추출된 객체를 다른 배경과 합성하는 기능을 포함하고 있어야 한다. 이러한 기능들은 일반적으로 많은 CPU와 메모리를 사용하여 이루어지는 알고리즘으로 구성되어 있다. 얼굴 추출의 경우 기존에 많은 알고리즘이 소개되어 있는데 주로 살색 정보 등을 사용하고 있다.
이러한 추출 알고리즘은 원래의 입력 영상 크기와 상관 없이, 영상을 축소하여 적은 크기의 영상을 처리함으로써 원하는 결과를 가져올 수 있다. 이 경우 축소된 만큼 CPU 사용과 메모리 사용 양을 줄일 수 있다. 또한 경우에 따라서는 사용자가 직접 간단하게 얼굴 영역 정보를 기술하여 반 자동, 또는 수동으로 추출할 수도 있다. 하지만 얼굴 합성의 경우, 전송할 영상의 크기를 축소하여 처리할 수 없고 있는 그대로 처리하여야만 하므로 합성하는데 요구되는 CPU 사용양과 메모리 사용양을 줄이는 것은 그렇게 쉽지 않다.
일반적으로 이동통신 단말기에는 제한된 크기의 메모리와 제한된 성능의 CPU를 가지고 있으므로 상기와 같은 많은 CPU와 메모리를 요구하는 기능을 제대로 수행하기 어려운 문제가 있다. 최근에는 동영상 처리를 수행하는 이동통신 단말기에 이러한 한계를 조금이나마 극복하고자 DSP 칩과 DMA(Direct Memory Access) 기능을 탑재하는 경우가 많다.
이동통신 단말기에서 주로 사용하는 주요 처리 기능은 송신할 데이터를 인코딩하거나 수신된 데이터를 디코딩하는 것이다. 따라서 보다 빠르게 실시간 처리를 위해서는 전용 하드웨어의 도움을 받아야 하는데 이 때 사용되는 것이 DSP 칩이다. DSP 칩은 인코딩/디코딩에서 사용하는 DCT 변환 등 단순하지만 반복 연산이 많은 신호 처리를 빠르게 처리할 수 있는 전용 칩이라고 할 수 있다. 이러한 이동 통신 단말기용 DSP 칩의 가장 큰 특징은 많은 처리를 적은 전원을 사용하여 수행한다는 것이다. 또한 DMA를 사용하면 특정 위치의 메모리에 있는 데이터를 CPU를 사용하지 않고 다른 위치의 메모리로 가져올 수 있다.
본 발명은 이러한 특징을 갖는 이동통신 단말기에서 초고속으로 영상의 객체와 다른 배경 영상을 합성할 수 있는 방법을 제시하고자 한다.
본 발명은, 입력된 영상에 대하여 관심 영역과 배경 영역으로 분리하고, 한정된 CPU와 DSP 칩을 사용하여 고속으로 관심 영역과 다른 배경 영상을 합성할 수 있는 이동통신 단말기에서의 영상 합성 방법을 제공함에 그 목적이 있다.
상기의 목적을 달성하기 위하여 본 발명에 따른 이동통신 단말기에서의 영상 합성 방법은, 원 영상에 대해 관심 객체 영역과 배경 영역으로 분리하고, 상기 관심 객체 영역과 다른 배경 영상을 합성하는 배경 전환 서비스를 지원하는 이동통신 단말기에 있어서,
상기 관심 객체의 영역 정보를 이용하여 상기 다른 배경 영상만으로 채워질 제 1 영역을 지정하는 단계와;
앞서 지정된 제 1 영역에 대하여, 메모리 직접 참조(DMA:Direct Memory Access)를 사용하여 버퍼에 각 영역에 해당되는 영상을 채우는 단계; 및
나머지 영역에 대해 상기 관심 객체의 중심점으로부터의 거리를 비교 기준으로 사용하여, 상기 다른 배경 영상과 원 영상을 합성하는 단계; 를 포함하는 점에 그 특징이 있다.
여기서 본 발명에 의하면, 상기 관심 객체의 영역 정보를 이용하여 원래의 관심 객체 영상만으로 채워질 제 2 영역을 지정하는 단계와;
지정된 제 2 영역에 대하여, 메모리 직접 참조(DMA:Direct Memory Access)를 사용하여 버퍼에 각 영역에 해당되는 영상을 채우는 단계; 를 더 포함하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 다른 배경 영상만으로 채워지는 제 1 영역은 네 개의 사각형 영역으로 지정되는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 다른 배경 영상만으로 채워지는 제 1 영역을 네 개의 사각형으로 지정함에 있어, 상기 관심 객체 영역의 상위 경계 지점보다 더 상위에 위치한 특정 임계치의 상위에 위치한 모든 점들을 포함하는 하나의 사각형과; 상기 관심 객체 영역의 하위 경계 지점보다 더 하위에 위치한 특정 임계치의 하위에 위치한 모든 점들을 포함하는 하나의 사각형과; 상기 관심 객체 영역의 왼쪽 경계 지점보다 더 왼쪽에 위치한 특정 임계치의 왼쪽에 위치한 모든 점들을 포함하되, 이미 지정된 상위 및 하위 사각형에 포함된 점들을 제외한 모든 점을 포함하는 하나의 사각형; 및 상기 관심 객체 영역의 오른쪽 경계 지점보다 더 오른쪽에 위치한 특정 임계치의 오른쪽에 위치한 모든 점들을 포함하되, 이미 지정된 상위 및 하위 사각형에 포함된 점들을 제외한 모든 점을 포함하는 하나의 사각형; 으로 제 1 영역을 지정하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 제 1 영역으로 지정되는 네 개의 사각형 영역은 여러 개의 매크로 블록들로 구성된 영역인 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 관심 객체의 영역 정보를 이용하여 원래의 관심 객체 영상만으로 채워질 제 2 영역은 여러 개의 매크로 블록 들로 구성된 사각형 영역인 점에 그 특징이 있으며, 상기 관심 객체의 영역 정보를 이용하여 원래의 관심 객체 영상만으로 채워질 제 2 영역을 지정함에 있어, 상기 관심 객체의 경계 영역 내에 완전히 포함된 사각형인 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 관심 객체 영역의 중심점으로부터의 거리를 비교 기준으로 사용하여, 상기 다른 배경 영상과 원 영상을 합성함에 있어, 상기 관심 객체 영역의 모양이 타원이고, 상기 관심 객체 영역의 중심으로부터 타원 경계까지의 거리를 기준 단위로 하여, 상기 관심 객체 영역의 중심으로부터, 상기 기준 단위 보다 큰 제 1 임계치 (th1)보다 더 큰 거리에 있는 점들에 대해서는 상기 다른 배경 영상으로 채워지고; 상기 관심 객체 영역의 중심으로부터, 상기 기준 단위 보다 작은 제 2 임계치(th2)보다 더 작은 거리에 있는 점들에 대해서는 상기 원 영상으로 채워지고; 상기 관심 객체 영역의 중심으로부터, 상기 제 1 임계치 보다 작고 제 2 임계치 보다 큰 거리에 있는 점들에 대해서는, 상기 원 영상과 다른 배경 영상의 같은 위치에 있는 두 점을 합성하되, 상기 제 1 임계치에 가까울수록 다른 배경 영상의 해당 점 색에 큰 비중으로 두고, 상기 제 2 임계치에 가까울수록 원 영상의 해당 점 색에 큰 비중을 두고 합성하는 점에 그 특징이 있다.
또한 본 발명에 의하면, 상기 다른 배경 영상과 원 영상의 합성은 매크로 블록 단위로 이루어지는 점에 그 특징이 있으며; 합성되는 해당 점이 매크로 블록 각 라인의 첫 번째 위치의 점이면 상기 관심 객체 영역의 중심으로부터의 거리를 구한 후, 같은 라인의 이웃한 점 간의 거리 증감분을 구하고; 합성되는 해당 점이 매크로 블록 간 라인의 첫 번째 위치가 아닌 점이면, 이전 점의 거리에, 이미 구해진 이웃한 점 간의 거리 증감분을 사용하여 거리를 변경하며; 상기 구해진 거리를 사용하여, 해당 거리가 상기 제 1 임계치에 가까운지, 또는 제 2 임계치에 가까운지에 따라 원 영상과 다른 배경 영상을 조합하여 합성하는 점에 그 특징이 있다.
이와 같은 본 발명에 의하면, 입력된 영상에 대하여 관심 영역과 배경 영역으로 분리하고, 한정된 CPU와 DSP 칩을 사용하여 고속으로 관심 영역과 다른 배경 영상을 합성할 수 있는 장점이 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.
본 발명에서는, 얼굴 객체와 다른 배경영상을, 이동통신 단말기에서 DSP 칩과 DMA를 사용하여 효과적으로 합성할 수 있는 방법을 제시하고자 한다. 예컨대, 이와 같은 구조를 갖는 이동통신 단말기로는 DSP 칩으로 TI사의 TMS320C55x를 채용할 수 있으며, 전체 프레임 구조는 C55x와 ARM925 CPU, 두 개의 CPU를 채용하는 OMAP 1510 구조를 채택할 수 있다.
한편, 영상을 합성하는 일반적인 알고리즘을 개략적으로 설명하면 다음과 같다.
먼저, 도 2에 나타낸 바와 같이, 영상은 크게 3 개의 영역으로 나뉘어 질 수 있다. 여기서 '영역 1'은 배경 영역으로서 사용자가 선택한 특정 배경으로 채워질 부분이며, '영역 3'은 원래의 객체 영상으로 채워질 부분이다. 그리고, '영역 2'는 원래의 영상과 사용자가 선택한 영역이 합성되어 나타날 부분으로서, 실제 추출된 객체의 경계 영역을 중심으로 특정 범위 안에 위치한 영역이 된다.
그 범위 내에서 '영역 1'에 가까울수록 배경 영상에 좀더 많은 비중을 갖고 합성이 되고 '영역 3'에 가까울수록 원 객체 영상 영상에 좀더 많은 비중을 갖고 합성이 된다. 본 발명에서는 객체가 얼굴 영역으로서 얼굴이 타원 형태로 합성되는 예를 보여준다.
따라서, 도 2에서 나타낸 것과 같이 객체 중심점으로부터 '영역 3'과 '영역 2'의 경계까지의 거리를 'Inner Dist'라고 하고, 중심점으로부터 '영역 2'와 '영역 1'의 경계까지의 거리를 'Outer Dist'라고 한다면 임의의 '영역 2'에 속한 점 (x,y)의 합성 식은 다음과 같이 연산 된다
여기서, A는 객체가 포함된 원 영상의 x, y 색 값이고, B는 합성할 배경 영상의 x, y 색 값이고, α는 (Dist - Inner Dist)/(Outer Dist - Inner Dist)이고, β는 (Outer Dist - Dist)/(Outer Dist - Inner Dist)이고, Dist는 객체 중심에서 합성할 점의 위치인 x, y 까지의 거리를 각각 나타낸다.
이와 같은 개념을 사용하여 가장 쉽게 생각할 수 있는 합성 방법은, 영상의 모든 점들에 대하여, 해당 점의 위치를 사용하여 객체 중심으로부터의 거리를 구한 후, 그 거리가 'Outer Dist'보다 크면 배경 영상을, 그렇지 않고 'Inner Dist'보다 작으면 객체가 포함된 원 영상을 사용하고, 그 사이에 존재하는 점들에 대해서는 위에서 기술한 식에 의해 원 영상과 배경 영상을 합성하여 사용함으로써, 합성된 새로운 영상을 만들게 된다.
이때, 한 점은 H.263, MPEG1, 2와 같은 동영상 압축 표준에서 Y, Cb, Cr 세 값으로 표현되는데, 실제로 영상의 크기가 176*144일 경우 Y는 모든 픽셀에 대해 값이 표현되지만 Cb, Cr은 면적의 1/4인 88*72 크기 만큼만 표현된다. 따라서 합성은 Y의 경우 모든 픽셀에 대해 처리되지만 Cb, Cr은 한 픽셀 건너 처리된다. 이러한 일련의 과정을 기술하면 도 3과 같다.
이와 같은 방법은 여러 가지로 많은 CPU 사용과 메모리 사용을 요구하는 문제점이 있다. 먼저 모든 점들의 수 만큼에 대하여 객체의 중심점으로부터의 거리를 구해야 하고, 매 점들마다 그 거리가 'Outer Dist', 'Inner Dist'와 그 크기가 어떻게 되는 지 비교하여야 하며, 비교 결과에 따라 영상을 합성, 또는 기존 영상에서 복사하는 행위를 수행하여야 한다.
일반적으로 프로그램을 수행함에 있어, Loop 구문 안에 비교 구문이 있을 경우, 비교 결과에 따라 다른 명령어를 처리하여야 하므로 처리 시간이 매우 오래 걸린다. 또한 모든 점들마다 거리를 계산하는 것도 매우 많은 시간을 요구하며, 그 결과 비록 합성을 하지 않더라도 특정 메모리에서 메모리로 데이터 값을 이동시키기 위해 CPU가 처리를 할 경우 CPU 사용 양이 상당히 증가하게 된다. 게다가 DSP 칩과 같이 제한된 메모리를 사용하는 경우 전체 영상을 내부 메모리에 올리지 못하는 것이 일반적이므로 외부 메모리를 사용해야 하는데, 이 경우 메모리 접근 시간으로 인하여 처리 속도는 더욱 저하된다. 이러한 여러 문제점을 해결하기 위하여 다음과 같이 효과적으로 영상을 합성할 수 있는 방법을 제안한다.
DMA(Direct Memory Access)를 사용한 메모리 복사
먼저 본 발명에서는 DMA를 사용하여 매크로 블록 단위(16*16)로 외부 메모리에 있는 원영상의 데이터와 배경 영상의 데이터를 내부 메모리로 복사한다. 이 때 복사는 DMA를 사용하므로 별도의 CPU 처리 시간은 사용되지 않는다.
한편, 도 4에 나타낸 바와 같이, 상기 기술한 객체 영역과 배경 영역은 5 개의 4각형으로 구분되어 표기될 수 있다. 이렇게 5 개의 사각형으로 표기된 영역 내에 완전히 포함된 매크로 블록은 상기 기술한 비교 구문이나 Dist 계산 없이 바로 원영상, 또는 배경 영상에서 데이터 값을 읽어 오면 된다. 즉, 도 4에서 영역 1(top), 2(bottom), 3(left), 4(right)에 속하는 매크로 블록의 경우에는 배경영상에서, 그리고 영역 5(center)에 속하는 매크로 블록의 경우에는 원 영상에서 데이터 값을 읽어오면 된다. 영역 1, 2, 3, 4, 5는 객체영역을 알고 있으므로 자동적으로 계산될 수 있다. 이와 같이 함으로써 상기 기술한 기본 방법에서 완전한 배경 영역과 완전한 객체 영역에 해당하는 매크로 블록들은 아무런 CPU 연산 없이 DMA를 사용하여 영상을 가져올 수 있게 된다. 여기서 영역 5의 경우, 그 크기가 크지 않으므로 경우에 따라서는 영역 5는 따로 구분하지 않고, 합성 대상 영역에 포함하여 처리할 수도 있다.
Line별 Dist 계산
합성할 영역 즉 도 4에서 영역 6에 해당하는 부분은 기본적인 방법에서는 각각의 점(위치)마다 Dist를 계산하여야 한다. 여기서는 매크로 블록 처리 시 각 line의 처음 점에서만 Dist를 계산하고 그 다음 점들에 대해서는 일정 크기의 값을 단순히 기존 Dist에 증감하여 Dist를 계산하는 방법을 소개한다. 먼저 해당 매크로 블록을 읽어오면 첫번째 점 위치에서는 기존 방법대로 Dist를 계산한다. 하지만 같은 Y 위치의 다른 점들에 대해서는 이전 점의 Dist에 일정 크기의 값을 증감시킨다. 증감할 일정 크기의 값은 첫 번째 Dist로부터 실험적으로 구할 수 있다. 물론 한 line에서도 x 위치에 따라 증감분이 조금씩 다르지만 하나의 매크로 블록 내 한 라인에서는 그 정도의 오차는 사람의 시각으로 구분할 수 없다. 대신 하나의 매크로 블록 내 다른 라인에 대해서는 오차가 확대되는 것을 막기 위하여 도 5에서와 같이 매번 Dist를 새로 계산해 준다. 이와 같이, 계산을 수행함으로서 Dist 계산을 1/8로 감소시킬 수 있다.
이와 같은 계산 방식에 대하여 부연하여 설명하면 다음과 같다.
본 발명에 의하면, 타원의 경계선을 기준으로 하여 그보다 멀리 있느냐, 가까이 있느냐에 따라서, 영상을 합성하는 방법이 달라지게 된다. 따라서, 여기서는 타원의 중심으로부터 그 경계선에 있는 점까지의 거리를 기준 Dist로 보고, 각 점에서의 거리가 기준 Dist 보다 큰 값을 갖는 지 또는 작은 값을 갖는 지에 따라 그 점에서의 영상 합성 방법을 결정하게 된다.
알려진 바와 같이 타원의 식은 x2/a2+ y2/b2 = 1(여기서, a:타원의 장축, b:타원의 단축)로 주어지는데, 여기서는 개념적으로 이 값을 '거리'라는 표현으로 나타내기로 한다. 예컨대, 점 (x,y)의 좌표가 상기 타원의 경계선 위에 있다면 타원의 중점으로부터 그 점의 거리는 1이 되는 것이다.
즉, 좌표 (x,y)가 타원 위에 있다면 거리 Dist는 1이 될 것이고, 좌표 (x,y)가 타원 밖에 있다면 거리 Dist는 1 보다 크게 될 것이며, 또한 반대로 좌표 (x,y)가 타원 안에 있다면 거리 Dist는 1 보다 작게 될 것이다.
한편, 타원의 중심점이 (Cx,Cy)의 좌표 값을 갖는 경우에는, 각 (x,y) 좌표 지점에서 타원의 중점(Cx,Cy)과의 거리를 계산하고자 할 때, 그 식은 Dist = ((Cx-x)*(Cx-x))/ a2+ ((Cy-y)* (Cy-y))/ b2 으로 나타낼 수 있게 된다. 여기서, (Cx-x)는 타원 중점의 X 좌표(Cx)에서 현재 X 좌표(x)까지의 거리(Euclidean distance)이고, (Cy-y)는 타원 중점의 Y 좌표(Cy)에서 현재 Y 좌표(y)까지의 거리(Euclidean distance)를 각각 나타낸다(도 6 참조).
이때, 매 좌표마다 위와 같은 거리 계산을 하면 곱셈의 연산과 나누기 연산이 들어가기 때문에 그 연산 시간이 매우 많이 걸리게 된다. 그러므로 각 pixel이 이동할 때마다 거리가 어느 정도 변경되는지 그 값에 대한 근사치를 구하여 각 좌표마다 타원의 원점에서와의 거리를 계산하지 않고 일정한 값을 가지고 더하기/빼기 연산만을 이용하여 각 좌표에서의 거리를 계산할 수 있다.
위 타원의 식에서 x가 1 만큼 증가 할 때 전체 거리의 증가 분은 다음과 같이 나타낼 수 있다.
x가 한 점 증가했을 때, 그 점을 수식에 넣어보면,
(Cx-(x+1))2/a2 + (Cy-y)2/b2 = Dist1이 된다. 이때 그 전 픽셀(pixel)의 위치에서의 거리 값인
(Cx-x)2/a2 + (Cy-y)2/b2 = Dist0 과의 차이가 x가 1 만큼 증가했을 때의 거리의 증가분이 된다.
즉, x축으로 한 픽셀(pixel) 이동했을 경우 거리의 증가분
= [(Cx-(x+1))2/a2 + (Cy-y)2/b2 ] - [(Cx-x)2/a 2 + (Cy-y)2/b2]이 된다.
위 식을 풀어 보면, (2*(Cx-x)-1)/a2 이 x축으로 픽셀(pixel)을 하나 증가했을 때 변화되는 거리의 값이다.
Y축으로 하나의 픽셀(pixel)을 이동했을 때는 X축의 증가분 계산과 개념이 동일하기 때문에, 그 변화되는 거리의 값은 (2*(Cy-y)-1)/ b2 로 표현될 수 있게 된다.
하지만, DSP 칩에서는 정수 연산을 하기 때문에 계속적으로 위와 같은 차분치 만을 이용하면, 오차의 누적이 생겨 거리 값에 따른 합성이 부자연스럽게 된다. 그와 같은 일을 방지하기 위하여 y축으로 하나의 값이 증가되었을 경우에는 증가 분이 아닌 실제 현재 픽셀(pixel) 위치와 타원의 중심을 이용한 거리 계산을 수행해 주도록 한다.
이때, 위 거리의 변화량을 나타내는 수식에서 a2, b2으로 나눠주는 것은 상수이므로, Loop문 밖으로 빼 줄 수 있다. 그러면, loop문 안에는 곱하기와 더하기 연산만이 남기 때문에 전체적인 연산 시간을 많이 줄일 수 있게 된다.
변형된 합성 계산 식
한편, 도 2의 영역 2에 속한 점 (x,y)에 대한 영상 합성을 수행함에 있어, 앞에서 기술된 합성 식은 2 개의 곱하기 연산과 1 개의 나누기 연산, 그리고 2 개의 더하기 연산이 요구된다. 상기 기술된 식을 다음과 같이 동일 식으로 유도할 수 있다.
여기서, β/(α+ β)는 한 픽셀 당 한번만 계산해 놓으면 해당 픽셀을 구성하는 Y, Cb, Cr 모든 값에 대해 적용될 수 있다. 따라서 이를 상수 변수 t에 저장하여 사용할 경우 Y, Cb, Cr 각각에 대해 다시 계산할 필요 없이 A-(A-B)*t로 합성될 수 있다. 하나의 Cb, Cr 값을 사용하는 4 개의 픽셀, 즉 4 개의 Y 값과 한 개씩의 Cb, Cr 값에 대해 하나의 dist를 계산하여 사용할 경우, 이와 같이 하면 6 개의 값에 대해 각각, 하나의 곱하기 연산과 두개의 빼기 연산으로 동일한 연산을 수행 할 수 있게 된다.
지금까지 기술한 전체 처리 과정을 나열하면 도 7과 같다. 먼저 영상이 입력되면 객체 영역을 추출하는 과정과, 추출된 객체 영역 정보를 사용하여 배경 영상만을 사용할 매크로 블록들을 네 개의 사각형 영역(top, bottom, left, right)으로 지정하는 단계와, 지정된 4 개의 사각형 영역에 해당하는 부분을 배경 영상에서 DMA를 사용하여 가져오도록 명령하여 DMA가 이를 수행하는 단계와, 추출된 객체 영역 정보를 사용하여 원 영상의 객체 영상만을 사용할 매크로 블록들을 하나의 사각형 영역으로 지정하는 단계와, 지정된 사각형 영역에 해당하는 부분을 원 영상에서 DMA를 사용하여 가져오도록 명령하여 DMA가 이를 수행하는 단계를 사용하여 순수한 배경이나 원 영상이 복사되어져야 할 영역이 구성된다.
그리고, 나머지 영역에 해당하는 매크로 블록들에 대하여 각 매크로 블록마다, 한 라인의 첫 픽셀의 경우 객체 중심으로부터 거리를 구한 후, 구해진 거리를 사용하여 해당 라인에 포함된 8 픽셀에 적용될 Dist 증감분을 계산하는 단계와, 첫 픽셀이 아닌 경우 증감분을 이용하여 Dist를 갱신하는 단계와, 구해진 Dist를 사용하여 각 픽셀의 원영상과 배경 영상의 Y, Cb, Cr 값을 합성하는 단계를 사용하여 남은 영역이 합성됨으로써, 모든 합성 과정이 끝나게 된다.
이와 같은 일련의 과정을 통해 배경 전환 서비스를 할 수 있는 이동통신 단말기의 구성이 도 8에 도시되어 있다. 도 8에서는 영상 입력부 예컨대 카메라가 부착된 이동 통신 단말기를 예로 도시하였으며, 본 발명에 따른 이동통신 단말기는 DMA 제어부 및 원영상과, 배경 영상, 그리고 합성된 영상이 저장될 3 개의 버퍼(원영상 버퍼, 배경 버퍼, 합성 버퍼), 합성된 영상이 디스플레이될 영상 표시부 및 전송 수단을 포함하고 있다. 그리고 본 발명에 따른 이동통신 단말기는 DPS 칩과, 이를 이용한 엔진으로서, 객체 추출 엔진과 배경 합성 엔진을 더 포함하여 구성된다.
이상의 설명에서와 같이 본 발명에 따른 이동통신 단말기에서의 영상 합성 방법에 의하면, 입력된 영상에 대하여 관심 영역과 배경 영역으로 분리하고, 한정된 CPU와 DSP 칩을 사용하여 고속으로 관심 영역과 다른 배경 영상을 합성할 수 있는 장점이 있다.
또한, 본 발명에 따른 이동통신 단말기에서의 영상 합성 방법에 의하면, DSP 칩을 포함한 이동 통신 단말기에서 효과적으로 배경을 합성할 수 있는 방법을 제시하고 있으며, 특히 매크로 블록 단위로 처리하고 DMA를 사용하기 때문에 H.263, MPEG1, 2, 4 등을 표준 포멧으로 사용하고 있는 동영상 전송 서비스에서 효과적으로 이용될 수 있는 장점이 있다.
도 1은 일반적인 원 영상에 대하여 관심 영역과 배경 영역으로 분리하고, 관심 영역과 다른 배경 영상의 합성을 개념적으로 나타낸 도면.
도 2는 본 발명에 따른 이동통신 단말기에서의 영상 합성 방법에 의하여, 영상 합성을 수행하기 위하여 영역을 구분하기 위한 임계치를 나타낸 도면.
도 3은 본 발명에 따른 이동통신 단말기에서의 영상 합성 방법에 의하여, 해당 영역의 영상 합성 조건을 결정하는 과정을 나타낸 순서도.
도 4는 본 발명에 따른 이동통신 단말기에서의 영상 합성 방법에 의하여 영상 합성이 수행됨에 있어, 원 영상이 표시되는 영역, 다른 배경 영상이 표시되는 영역, 영상 합성이 수행되는 영역을 구분하여 나타낸 도면.
도 5 및 도 6은 본 발명에 따른 이동통신 단말기에서의 영상 합성 방법에 의하여 영상 합성이 수행됨에 있어, 해당 영역의 영상 합성 조건을 결정하기 위하여 기준 거리를 산출하는 방식을 설명하기 위한 도면.
도 7은 본 발명에 따른 이동통신 단말기에서의 영상 합성 방법에 의하여, 각 영역의 영상 합성 조건을 결정하고, 각 영역에 대하여 영상 합성을 수행하는 과정을 나타낸 순서도.
도 8은 본 발명에 따른 이동통신 단말기에서의 영상 합성 방법이 채용된 이동통신 단말기의 구성을 개략적으로 나타낸 도면.

Claims (10)

  1. 원 영상에 대해 관심 객체 영역과 배경 영역으로 분리하고, 상기 관심 객체 영역과 다른 배경 영상을 합성하는 배경 전환 서비스를 지원하는 이동통신 단말기에 있어서,
    상기 관심 객체의 영역 정보를 이용하여 상기 다른 배경 영상만으로 채워질 제 1 영역을 지정하는 단계와;
    앞서 지정된 제 1 영역에 대하여, 메모리 직접 참조(DMA:Direct Memory Access)를 사용하여 버퍼에 각 영역에 해당되는 영상을 채우는 단계와;
    나머지 영역에 대해 상기 관심 객체의 중심점으로부터의 거리를 비교 기준으로 사용하여, 상기 다른 배경 영상과 원 영상을 합성하는 단계; 를 포함하는 것을 특징으로 하는 이동통신 단말기에서의 영상 합성 방법.
  2. 제 1항에 있어서,
    상기 관심 객체의 영역 정보를 이용하여 원래의 관심 객체 영상만으로 채워질 제 2 영역을 지정하는 단계와;
    지정된 제 2 영역에 대하여, 메모리 직접 참조(DMA:Direct Memory Access)를 사용하여 버퍼에 각 영역에 해당되는 영상을 채우는 단계; 를 더 포함하는 것을 특징으로 하는 이동통신 단말기에서의 영상 합성 방법.
  3. 제 1항에 있어서,
    상기 다른 배경 영상만으로 채워지는 제 1 영역은 네 개의 사각형 영역으로 지정되는 것을 특징으로 하는 이동통신 단말기에서의 영상 합성 방법.
  4. 제 3항에 있어서,
    상기 다른 배경 영상만으로 채워지는 제 1 영역을 네 개의 사각형으로 지정함에 있어,
    상기 관심 객체 영역의 상위 경계 지점보다 더 상위에 위치한 특정 임계치의 상위에 위치한 모든 점들을 포함하는 하나의 사각형과;
    상기 관심 객체 영역의 하위 경계 지점보다 더 하위에 위치한 특정 임계치의 하위에 위치한 모든 점들을 포함하는 하나의 사각형과;
    상기 관심 객체 영역의 왼쪽 경계 지점보다 더 왼쪽에 위치한 특정 임계치의 왼쪽에 위치한 모든 점들을 포함하되, 이미 지정된 상위 및 하위 사각형에 포함된 점들을 제외한 모든 점을 포함하는 하나의 사각형; 및
    상기 관심 객체 영역의 오른쪽 경계 지점보다 더 오른쪽에 위치한 특정 임계치의 오른쪽에 위치한 모든 점들을 포함하되, 이미 지정된 상위 및 하위 사각형에 포함된 점들을 제외한 모든 점을 포함하는 하나의 사각형; 으로 제 1 영역을 지정하는 것을 특징으로 하는 이동통신 단말기에서의 영상 합성 방법.
  5. 제 3항에 있어서,
    상기 제 1 영역으로 지정되는 네 개의 사각형 영역은 여러 개의 매크로 블록들로 구성된 영역인 것을 특징으로 하는 이동통신 단말기에서의 영상 합성 방법.
  6. 제 2항에 있어서,
    상기 관심 객체의 영역 정보를 이용하여 원래의 관심 객체 영상만으로 채워질 제 2 영역은 여러 개의 매크로 블록 들로 구성된 사각형 영역인 것을 특징으로 하는 이동통신 단말기에서의 영상 합성 방법.
  7. 제 6항에 있어서,
    상기 관심 객체의 영역 정보를 이용하여 원래의 관심 객체 영상만으로 채워질 제 2 영역을 지정함에 있어, 상기 관심 객체의 경계 영역 내에 완전히 포함된 사각형인 것을 특징으로 하는 이동통신 단말기에서의 영상 합성 방법.
  8. 제 1항에 있어서,
    상기 관심 객체 영역의 중심점으로부터의 거리를 비교 기준으로 사용하여, 상기 다른 배경 영상과 원 영상을 합성함에 있어, 상기 관심 객체 영역의 모양이 타원이고, 상기 관심 객체 영역의 중심으로부터 타원 경계까지의 거리를 기준 단위로 하여,
    상기 관심 객체 영역의 중심으로부터, 상기 기준 단위 보다 큰 제 1 임계치 (th1)보다 더 큰 거리에 있는 점들에 대해서는 상기 다른 배경 영상으로 채워지고,
    상기 관심 객체 영역의 중심으로부터, 상기 기준 단위 보다 작은 제 2 임계치(th2)보다 더 작은 거리에 있는 점들에 대해서는 상기 원 영상으로 채워지고,
    상기 관심 객체 영역의 중심으로부터, 상기 제 1 임계치 보다 작고 제 2 임계치 보다 큰 거리에 있는 점들에 대해서는, 상기 원 영상과 다른 배경 영상의 같은 위치에 있는 두 점을 합성하되, 상기 제 1 임계치에 가까울수록 다른 배경 영상의 해당 점 색에 큰 비중으로 두고, 상기 제 2 임계치에 가까울수록 원 영상의 해당 점 색에 큰 비중을 두고 합성하는 것을 특징으로 하는 이동통신 단말기에서의 영상 합성 방법.
  9. 제 8항에 있어서,
    상기 다른 배경 영상과 원 영상의 합성은 매크로 블록 단위로 이루어지는 것을 특징으로 하는 이동통신 단말기에서의 영상 합성 방법.
  10. 제 8항에 있어서,
    상기 다른 배경 영상과 원 영상의 합성을 매크로 블록 단위로 수행함에 있어,
    합성되는 해당 점이 매크로 블록 각 라인의 첫 번째 위치의 점이면 상기 관심 객체 영역의 중심으로부터의 거리를 구한 후, 같은 라인의 이웃한 점 간의 거리 증감분을 구하고,
    합성되는 해당 점이 매크로 블록 간 라인의 첫 번째 위치가 아닌 점이면, 이전 점의 거리에, 이미 구해진 이웃한 점 간의 거리 증감분을 사용하여 거리를 변경하며,
    상기 구해진 거리를 사용하여, 해당 거리가 상기 제 1 임계치에 가까운지, 또는 제 2 임계치에 가까운지에 따라 원 영상과 다른 배경 영상을 조합하여 합성하는 것을 특징으로 하는 이동통신 단말기에서의 영상 합성 방법.
KR10-2002-0077193A 2002-12-06 2002-12-06 이동통신 단말기에서의 영상 합성 방법 KR100479619B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0077193A KR100479619B1 (ko) 2002-12-06 2002-12-06 이동통신 단말기에서의 영상 합성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0077193A KR100479619B1 (ko) 2002-12-06 2002-12-06 이동통신 단말기에서의 영상 합성 방법

Publications (2)

Publication Number Publication Date
KR20040049423A KR20040049423A (ko) 2004-06-12
KR100479619B1 true KR100479619B1 (ko) 2005-03-31

Family

ID=37343832

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0077193A KR100479619B1 (ko) 2002-12-06 2002-12-06 이동통신 단말기에서의 영상 합성 방법

Country Status (1)

Country Link
KR (1) KR100479619B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070056229A (ko) * 2005-11-29 2007-06-04 주식회사 케이티 영상 부호기 및 이의 관심 영역 검출방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01205673A (ja) * 1988-02-12 1989-08-18 Fujitsu Ltd 画像合成回路
JPH02241285A (ja) * 1989-03-15 1990-09-25 Matsushita Electric Ind Co Ltd 動画像信号の高能率符号化装置
JPH06319130A (ja) * 1993-05-08 1994-11-15 Fujitsu General Ltd 画像伝送システム
JPH1013799A (ja) * 1996-06-19 1998-01-16 Mega Chips:Kk テレビ電話装置
KR20010067992A (ko) * 2001-04-13 2001-07-13 장민근 배경화상 추출 및 삽입이 가능한 동화상 제공 이동통신단말기 및 이를 이용한 배경화상 분리 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01205673A (ja) * 1988-02-12 1989-08-18 Fujitsu Ltd 画像合成回路
JPH02241285A (ja) * 1989-03-15 1990-09-25 Matsushita Electric Ind Co Ltd 動画像信号の高能率符号化装置
JPH06319130A (ja) * 1993-05-08 1994-11-15 Fujitsu General Ltd 画像伝送システム
JPH1013799A (ja) * 1996-06-19 1998-01-16 Mega Chips:Kk テレビ電話装置
KR20010067992A (ko) * 2001-04-13 2001-07-13 장민근 배경화상 추출 및 삽입이 가능한 동화상 제공 이동통신단말기 및 이를 이용한 배경화상 분리 방법

Also Published As

Publication number Publication date
KR20040049423A (ko) 2004-06-12

Similar Documents

Publication Publication Date Title
CN114424542B (zh) 具有非规范平滑的基于视频的点云压缩
US8199805B2 (en) Image processing apparatus and image processing method
US20090073277A1 (en) Image processing apparatus, image processing method and image pickup apparatus
US20050111739A1 (en) Method of extracting contour of image, method of extracting object from image, and video transmission system using the same method
US11922599B2 (en) Video super-resolution processing method and apparatus
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
JP2002511687A (ja) 動き推定システムおよび方法
KR101295441B1 (ko) 기록 매체, 동화상 처리 장치 및 방법, 촬상 장치, 호스트 단말기 및 촬상 시스템
US6693960B2 (en) Moving picture encoder and moving picture decoder
JPH07203451A (ja) テレビジョン信号における動きの階層的予測方法
KR101629746B1 (ko) 움직임 보상 기반 비디오 코딩을 보조하는 깊이 정보의 사용
JPH06197331A (ja) 動画像のフレーム内挿方式
JP2002534919A (ja) テクスチャマッピングエンジンにおける動き補償を実行するための方法および装置
US20050047502A1 (en) Method and apparatus for the efficient representation of interpolated video frames for motion-compensated coding
KR100479619B1 (ko) 이동통신 단말기에서의 영상 합성 방법
CN105991937A (zh) 一种基于Bayer格式图像的虚拟曝光方法及装置
US10257488B2 (en) View synthesis using low resolution depth maps
JP2006270294A (ja) 動画像符号化装置及び動画像復号化装置
JP2021013145A (ja) 動画像伝送装置、動画像伝送方法
Lebowsky Optimizing color fidelity for display devices using contour phase predictive coding for text, graphics, and video content
JP2007525916A (ja) 制限された帯域幅メディアを介した映像通信のための方法及び機器
US20240153150A1 (en) Mesh Compression Texture Coordinate Signaling and Decoding
JP2010114474A (ja) 動画像の動き情報を利用した画像処理装置及び画像処理方法
JP4100321B2 (ja) セグメント単位画像符号化装置及びセグメント単位画像符号化プログラム
JP4136403B2 (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080102

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee