KR20050080995A

KR20050080995A - Method for live separating speaker and background at television telephone

Info

Publication number: KR20050080995A
Application number: KR1020040009205A
Authority: KR
Inventors: 정경택; 박동권
Original assignee: 주식회사 유빅스시스템; 정경택; 박동권
Priority date: 2004-02-12
Filing date: 2004-02-12
Publication date: 2005-08-18

Abstract

본 발명은 화상 통신이 가능한 단말기에서 카메라를 통해 입력되는 영상의 자동분할에 관한 것이다. 이를 위하여 카메라 정면에 서있는 사람을 배경 부분과 자동분할 하기 위하여 초기영역설정의 문제를 해결해야 한다. 본 발명에서는 카메라를 들고 통화자를 축으로 좌우 회전 행동 함으로써 매우 간단하면서도 확실한 초기영역설정을 위한 영상을 획득할 수 있다. 이후 이 초기값을 참조값으로 하여 실시간 자동영상 분할을 수행한다.The present invention relates to an automatic splitting of an image input through a camera in a terminal capable of video communication. To solve this problem, the problem of initial area setting should be solved to automatically divide the person standing in front of the camera into the background part. In the present invention, by holding the camera to rotate the caller to the left and right to move the axis can obtain a very simple and reliable image for the initial area setting. Thereafter, real time automatic image segmentation is performed using this initial value as a reference value.

Description

Method for live separating speaker and background at television telephone}

본 발명의 목적은 화상을 이용한 대화 시 실시간으로 배경과 인물을 분할하는 것이다. 일반적인 화상통신의 경우 통화자의 영상과 함께 배경 영상까지 부호화 되어 전송하기 때문에 전송 데이터량의 증가 및 통화자가 원하지 않는 정보까지 상대방에게 노출된다는 단점이 있다. 따라서 실시간 배경 분할 기법은 데이터량의 감소의 장점과 개인정보 보호라는 목적을 이룰 수 있다. 한편, MPEG-4와 같은 객체단위 부호화기의 필수 전처리 과정으로 사용될 수 있는 큰 장점이 있다. An object of the present invention is to divide a background and a person in real time during a conversation using an image. In general video communication, since the background image is coded and transmitted together with the video of the caller, there is a disadvantage in that an increase in the amount of data transmitted and information that the caller does not want are exposed to the other party. Therefore, real-time background segmentation can achieve the purpose of reducing data volume and protecting personal information. On the other hand, there is a big advantage that can be used as an essential preprocessing process of the object unit encoder such as MPEG-4.

영상분할의 문제는 오래 전부터 관련 전문가와 그 사용에 초점을 둔 기업들에게 관심의 대상이 되었던 분야이다. 초기에는 영상 내부에 동질 영역 단위 세그멘테이션 방법을 제안하였다. 이렇게 분할된 영역에 대한 후처리 과정을 통하여 사람이 인지하는 물체라는 개념을 컴퓨터 비전 측면에서 기계가 인식할 수 있는 토대를 제공하고 있다. 동영상의 경우 여기에 움직임 정보를 추가해 줌으로써 객체의 움직임을 연속적으로 추적할 수 있다. 이러한 기법들은 영상 압축분야에서 직사각형의 영역만을 부호화하는 MPEG-1, MPEG-2, H.261, H.263 등의 부호화 한계를 뛰어넘을 수 있는 계기가 된다. MPEG-4는 객체 단위의 부호화가 가능한 알고리즘이다. 이는 영상 압축 효율을 매우 많이 개선시켰으며 객체단위 부호화를 이용한 다양한 어플리케이션을 가능하게 만들었다. 그러나 아직까지는 객체를 분할하는 적당한 전처리 알고리즘의 부재로 실시간 입력 영상에 대하여 대부분의 MPEG-4 응용 어플리케이션은 직사각형 영상의 압축만 지원하고 있는 실정이다.The issue of video segmentation has long been of interest to related professionals and companies focused on their use. Initially, we proposed a homogeneous region unit segmentation method in the image. Through the post-processing process on such divided areas, the machine provides a foundation for the machine to recognize the concept of human perception in terms of computer vision. In the case of a video, motion information can be tracked continuously by adding motion information to it. These techniques provide an opportunity to overcome the coding limitations of MPEG-1, MPEG-2, H.261, H.263, etc., which encode only rectangular regions in the image compression field. MPEG-4 is an algorithm capable of encoding on an object basis. This greatly improved the image compression efficiency and enabled various applications using object unit coding. However, due to the lack of a suitable preprocessing algorithm for segmenting objects, most MPEG-4 applications only support the compression of rectangular images for real-time input images.

현재 주로 이용되는 객체를 분할 방법으로는 객체에 해당되는 대상이 블루스크린 이라는 특수한 환경에서 영상획득을 한다든지 초기영상 분할 방법을 수동으로 그 특징점을 지정해주고, 이후 움직임 추정을 통하여 분할된 영상 정보를 생성한다. 이 경우 제한된 환경에서만 구현이 가능하고 모바일 환경의 측면에서는 실현 불가능한 단점이 있다.Object segmentation methods that are currently used include the acquisition of images in a special environment called a blue screen, or the initial image segmentation method to specify the feature points manually, and then the segmented image information through motion estimation. Create In this case, it can be implemented only in a limited environment, and it is impossible to realize in terms of a mobile environment.

본 발명은 화상 통신에 있어서 실시간으로 입력되는 영상의 배경과 객체의 자동분할을 수행한다. 이를 위하여 초기 영역분할과정 및 이후 연속적으로 입력되는 영상정보를 고속으로 분할 할 수 있어야 한다. 그리고 영역 분할 결과의 신뢰도가 높아야 한다. 이를 위하여 본 발명에서는 사용자의 특정 초기 동작을 통하여 초기 영역 분할의 속도 향상 및 정확성을 향상시키고 이후 입력되는 영상 정보에 대하여는 초기 영역정보를 사용하여 통화가 끝날 때 까지 신뢰도 있는 영상분할을 실행하게 된다. 이를 위하여 초기 영역의 자동 검출 기법과 검출된 초기 영역의 특징정보 구성 및 이후 입력 영상에서 초기 영역 정보를 이용한 자동 영역 분할이 구현하려는 기술적 과제이다. The present invention performs the automatic division of the background and the object of the image input in real time in the video communication. For this purpose, it is necessary to be able to divide the image information inputted continuously after the initial region division process at high speed. And the reliability of the segmentation result should be high. To this end, the present invention improves the speed and accuracy of initial region segmentation through a specific initial operation of the user, and performs reliable video segmentation until the end of the call using the initial region information on the image information input thereafter. To this end, an automatic detection technique of an initial region, configuration of feature information of a detected initial region, and automatic region segmentation using initial region information in an input image thereafter are technical problems.

본 발명은 크게 두 가지 동작으로 구성된다. 첫번째 동작은 초기 영상 분할 과정이고 두 번째 동작은 연속 영상 분할 과정이다. 도1에서 S100과정은 영상분할을 위한 초기화 작업이다. 화상전화를 비롯한 모든 화상통신 도구들은 그 입력도구로서 동영상 획득이 가능한 카메라 모듈을 사용한다. 그 대표적인 모듈로서는 NTSC 또는 PAL 출력이 가능한 비디오 카메라, USB 카메라 등이 될 수 있다. 이들 비디오 신호의 디지타이징 및 실시간 처리를 위한 캡춰 모듈이 있는 부분으로서 카메라의 초기 위치, 광량, 초점 조정 등의 카메라 초기 작업 및 영상분할 알고리즘의 메모리 초기화 과정이다.The present invention is largely composed of two operations. The first operation is an initial image segmentation process and the second operation is a continuous image segmentation process. In FIG. 1, S100 is an initialization operation for image segmentation. All video communication tools, including video phones, use a camera module that can capture video as an input tool. The representative module may be a video camera or a USB camera capable of NTSC or PAL output. The capture module for digitizing and real-time processing of these video signals is the initial camera operation such as initial camera position, light quantity, and focus adjustment, and memory initialization process of image segmentation algorithm.

도 2의 S200 과정은 초기 영상 분할과정으로서 3 장의 초기영상을 사용한 학습을 통하여 통화자의 부분과 배경을 분리한다. 보다 자세한 설명은 도 2에 나타나있다. The S200 process of FIG. 2 is an initial video segmentation process that separates the part of the caller and the background through learning using three initial images. A more detailed description is shown in FIG.

도 2의 S210과정은 3장의 영상을 입력 받는 과정이다. 3장의 영상을 입력 받는 방법은 도 4의 Mode1 의 방법과 도 5의 Mode2 방법이 있다. 이때 입력된 영상은 S270단계에서 다양한 스케일을 갖는 계층적인 영상이 될 수 있도록 입력된 각 영상마다 1/4 크기, 1/16 크기의 영상을 함께 생성한다.The process S210 of FIG. 2 is a process of receiving three images. A method of receiving three images is classified into Mode1 of FIG. 4 and Mode2 of FIG. 5. In this case, the input image generates a 1/4 size and 1/16 size image for each input image so that the input image can be a hierarchical image having various scales in step S270.

도 2의 S220 단계의 모드 결정에 따라 Mode1과 Mode2 방법을 결정한다. Mode1의 방법은 핸드폰 카메라와 같이 이동이 가능한 카메라에서 초기 영역을 추출하기 위한 방법이고 Mode2는 고정된 카메라에서 초기 영역을 추출 할 수 있다.Mode1 and Mode2 methods are determined according to the mode determination in step S220 of FIG. 2. Mode1's method is to extract the initial region from a mobile camera such as a mobile phone camera, and Mode2 can extract the initial region from a fixed camera.

도 2의 S230 인 Mode1의 경우 3장의 차분 영상을 생성한다. 각 차분 영상의 생성 방법은 아래 수학식과 같다.In case of Mode1 of S230 of FIG. 2, three difference images are generated. The generation method of each difference image is as follows.

D1 = ~Diff(A, B) D1 = ~ Diff ( A , B )

D2 = ~Diff(A, C) D2 = ~ Diff ( A , C )

D3 = ~Diff(B, C) D3 = ~ Diff ( B , C )

여기서 각 차분 영상 D1, D2, D3는 3장의 입력영상 A, B, C 들 중 2장의 조합으로 결정된다. Diff(A,B) 함수는 두 장의 영상 절대 차이값을 나타내는 것으로 아래 수학식과 같이 나타낼 수 있다.Here, each of the difference images D1 , D2 , and D3 is determined by a combination of two of the three input images A , B , and C. The Diff ( A , B ) function represents the absolute difference of two images and can be expressed as in the following equation.

I _diff (i, j) = |I _A (i, j) I _B (i, j)|I _diff (i, j) = | I _A (i, j) I _B (i, j) |

여기서 I(i, j)는 i, j 좌표에서 화소의 밝기값을 나타낸다. 가장 밝은 화소값을 1.0, 가장 어두운 화소값을 0.0으로 정규화 하였을 경우 밝기 값이 같은 경우 0.0의 값이 되고 밝기 차이가 많이 날수록 1.0에 가까운 값으로 표현된다.Where I (i, j) represents the brightness value of the pixel at the i, j coordinate. When the brightest pixel value is normalized to 1.0, and the darkest pixel value is normalized to 0.0, when the brightness value is the same, it becomes 0.0.

그리고 ~ 연산은 밝기에 대한 역상값을 취하는 것으로 아래 수학식과 같다.And the ~ operation takes an inverse value for brightness and is expressed as in the following equation.

~I(i, j) = 1.0 I(i, j)~ I (i, j) = 1.0 I (i, j)

도 2의 S203과정에서 생성된 3장의 차분 영상을 S240과정에서 최종적인 객체영상으로 결정한다. 결정하는 방법은 입력영상으로부터 구하여진 3장의 차분 영상을 아래 수학식과 같이 3영상의 평균값으로 구성된 하나의 평균영상으로 만든다.The three difference images generated in step S203 of FIG. 2 are determined as the final object image in step S240. The method of determination is to make three difference images obtained from the input image into one average image composed of the average values of the three images as shown in the following equation.

O = mean(D ₁ , D ₂ , D ₃ ) O = mean ( D ₁ , D ₂ , D ₃ )

I _O (i, j) = ( I _D1 (i, j) + I _D2 (i, j) + I _D3 (i, j) ) / 3I _O (i, j) = (I _D1 (i, j) + I _D2 (i, j) + I _D3 (i, j)) / 3

도 2의 S250 인 Mode2의 경우 2장의 차분 영상을 생성한다. 각 차분 영상의 생성 방법은 아래 수학식과 같다.In case of Mode2 of S250 of FIG. 2, two difference images are generated. The generation method of each difference image is as follows.

D ₁ = Diff (A, B) D ₁ = Diff ( A , B )

D ₂ = Diff(A, C) D ₂ = Diff ( A , C )

도 2의 S260 단계에서는 아래 수학식과 같이 두 차분 영상의 논리 곱을 사용하여 최종적인 객체영상을 생성한다.In operation S260 of FIG. 2, a final object image is generated by using a logical product of two difference images as in the following equation.

O = D ₁ and D ₂ O = D ₁ and D ₂

이 논리곱의 형태를 영상의 밝기값에 대응하기 위하여 아래와 같은 수학식으로 재사용이 가능하다.This logical product can be reused by the following equation to correspond to the brightness value of the image.

O = min(D _1, D ₂ ) O = min ( D _1, D ₂ )

여기서 min( , ) 함수는 최소값을 갖는 값을 선택하는 것이다.Here the min (,) function selects the value with the minimum value.

도 2의 S270 단계는 다중 계층 객체 정보 저장 단계로서 S210 단계부터 S270 단계로 오기까지의 작업을 축소 영상들에 대하여 각각 적용하여 다양한 스케일을 갖는 객체 정보 영상을 생성하여 저장한다.Step S270 of FIG. 2 is a multi-layer object information storage step, and the operations from step S210 to step S270 are applied to the reduced images, respectively, to generate and store object information images having various scales.

도 1의 S300 과정은 S200 과정에서 생성된 초기 영상 분할 결과를 사용자가 확인하고 그 결과가 만족하지 않을 경우 S200 단계를 다시 실행할 것인지 통화 모드로 이동할 것인지를 결정하는 단계이다.In step S300 of FIG. 1, a user checks an initial image segmentation result generated in step S200 and determines whether to execute step S200 again or move to a call mode when the result is not satisfactory.

도 1의 S400 과정은 실제 통화기간 동안 카메라로 입력되는 영상에 자동으로 객체분할을 실행하는 단계이다. 도3에서 보다 자세하게 그 과정을 설명한다.S400 of FIG. 1 is a step of automatically performing object segmentation on an image input by a camera during an actual call. The process will be described in more detail in FIG.

도 3의 S410 과정은 실시간으로 카메라의 입력영상을 받아들이는 과정이다. S210의 단계와 다른점은 실시간으로 데이터를 처리한다는 것이기 때문에 프레임 메모리에서 직접적으로 데이터 관리가 되어야 한다.S410 of FIG. 3 is a process of receiving an input image of a camera in real time. The difference from the step of S210 is that the data is processed in real time, so the data must be managed directly in the frame memory.

도 3의 S420 과정은 S270단계서 나온 다중 계층의 특징정보와 비교하기위한 다중 계층 영상의 생성 단계로서 S210 단계에서 보인 것과 같은 해상도의 영상을 생성한다.S420 of FIG. 3 is a step of generating a multi-layer image for comparison with feature information of the multi-layer shown in step S270 to generate an image having the same resolution as that shown in step S210.

도 3의 S430 과정은 각 계층별로 나온 영상에 대하여 S270 과정에서 나온 특징정보와 비교단계이다. 이때 사용되는 특징정보는 색상 정보와 색상의 배치, 위치 정보이다. 도 6에서 보이는 것과 같이 가장 최상의 계층의 검색을 통하여 대강의 동일 특징 정보 영역을 탐색한 후 해상도를 높여가며 영역검색을 수행한다. S440단계에서 검색된 영역이 이전 영상의 영역과 유사하다고 판단될 경우에는 S450단계로 넘어가서 실제 화면에 검색된 객체를 보여주게 되고 유사하지 않을 경우는 S460 단계로 넘어가서 이전에 보여준 객체를 다시 보여준다.The process S430 of FIG. 3 is a comparison step with the feature information from the process S270 for the image of each layer. At this time, the feature information used is color information, color arrangement and position information. As shown in FIG. 6, after searching the roughly identical feature information area through the search of the best hierarchical layer, the area search is performed while increasing the resolution. If it is determined in step S440 that the searched area is similar to the area of the previous image, the process proceeds to step S450 and the searched object is displayed on the actual screen.

도 1의 S500 단계는 매 프레임마다 통화 종료가 아니라면 계속적으로 입력되는 영상에 대한 객체 추출을 위하여 S400 단계로 반복 수행하도록 한다.In step S500 of FIG. 1, if the call is not terminated every frame, the process is repeatedly performed in step S400 to extract an object for a video that is continuously input.

본 발명은 화상통화에 있어서 개인 사생활 침해가 될 소지가 있는 배경 부분을 자동으로 제거하기위한 전처리 과정인 객체 추출을 사용자의 간단한 조작을 통하여 구현 가능하다. 한편 이렇게 추출된 객체는 MPEG-4와 같이 객체 지향적인 영상 부호화기에서도 효과적으로 사용될 수 있다.The present invention can be implemented through the user's simple operation of object extraction, which is a preprocessing process for automatically removing a background part that may be invading personal privacy in a video call. Meanwhile, the extracted object can be effectively used in an object-oriented video encoder such as MPEG-4.

제1도는 화상전화에서 객체와 배경 실시간 분리 순서도1 is a flow chart of real-time separation of object and background in videophone

제2도는 초기 영상 분할 과정의 순서도2 is a flowchart of an initial image segmentation process

제3도는 연속 영상 분할 과정의 순서도3 is a flow chart of a continuous image segmentation process

제4도는 화자가 카메라를 들고 회전시키며 초기 분할 영상을 추출하는 기법4 is a technique in which the speaker picks up and rotates the camera and extracts the initial segmented image.

제5도는 고정된 카메라에서 화자가 움직이며 초기 분할 영상을 추출하는 기법5 is a method of extracting an initial segmented image while the speaker moves in a fixed camera

제6도는 다중계층의 특징정보 추출과 검색 예시도6 is a diagram illustrating extracting and searching feature information of multiple layers.

Claims

All attempts to separate the object and the background into three initial images using the image rotating around the body looking at the camera as shown in FIG.

In separating the object image from the image of claim 1, three difference images are obtained as

D1 = ~ Diff ( A , B )

D2 = ~ Diff ( A , C )

D3 = ~ Diff ( B , C )

O = mean ( D ₁ , D ₂ , D ₃ )

How to extract an object using the average image

D1 = ~ Diff ( A , B )

D2 = ~ Diff ( A , C )

D3 = ~ Diff ( B , C )

O = median ( D ₁ , D ₂ , D ₃ )

How to extract an object using the median image

All attempts to separate the object and the background with three initial images by placing a moving object in a fixed camera as shown in FIG.

In separating the object image from the image of claim 4, two difference images are obtained as

D ₁ = Diff ( A , B )

D ₂ = Diff ( A , C )

O = min ( D _1, D ₂ )

How to extract an object using its minimum image