KR100588742B1 - Apparatus and method for gaining vision alignment image in video phone - Google Patents

Apparatus and method for gaining vision alignment image in video phone Download PDF

Info

Publication number
KR100588742B1
KR100588742B1 KR1019990059254A KR19990059254A KR100588742B1 KR 100588742 B1 KR100588742 B1 KR 100588742B1 KR 1019990059254 A KR1019990059254 A KR 1019990059254A KR 19990059254 A KR19990059254 A KR 19990059254A KR 100588742 B1 KR100588742 B1 KR 100588742B1
Authority
KR
South Korea
Prior art keywords
image
gaze
images
matching
eye
Prior art date
Application number
KR1019990059254A
Other languages
Korean (ko)
Other versions
KR20010064876A (en
Inventor
장순화
한영태
정학진
윤종성
권순홍
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1019990059254A priority Critical patent/KR100588742B1/en
Publication of KR20010064876A publication Critical patent/KR20010064876A/en
Application granted granted Critical
Publication of KR100588742B1 publication Critical patent/KR100588742B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야1. TECHNICAL FIELD OF THE INVENTION

본 발명은 영상 통신을 위한 시선일치 영상 획득 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.The present invention relates to an apparatus for acquiring eye-matching images for video communication, a method thereof, and a computer-readable recording medium having recorded thereon a program for realizing the method.

2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention

본 발명은, 시선이 정면을 향하는 영상으로부터 눈영상을 미리 획득하여 영상 통신시 입력되는 눈위치에 이를 삽입하여 시선이 정면을 향하도록 하여 시선을 일치시키거나, 적어도 2대의 카메라를 대칭적으로 설치하여 영상을 획득하고 획득된 영상을 합성하여 시선을 일치시키어 상대방에게 제공하는 영상 통신을 위한 시선일치 영상 획득 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하고자 함.The present invention obtains an eye image in advance from an image in which the gaze faces the front and inserts it into an eye position input during video communication so that the gaze faces the front to match the eyes, or at least two cameras are installed symmetrically. To obtain an image and to synthesize the obtained images to match the gaze to the other party, and to provide an apparatus for visual communication, and a computer-readable recording medium having recorded thereon a program for realizing the method. To do so.

3. 발명의 해결방법의 요지 3. Summary of Solution to Invention

본 발명은, 각각의 카메라로부터 입력된 신호를 확인하여 각각의 영상을 획득하기 위한 영상 획득수단; 및 상기 영상 획득수단으로부터 획득된 각각의 상기 영상을 전달받아 한쪽 영상은 고정하고 다른 쪽 영상을 조금씩 움직여 최적의 시선일치 영상을 찾기 위한 영상합성수단을 포함함.The present invention, image acquisition means for acquiring each image by checking the signal input from each camera; And image synthesizing means for receiving each of the images obtained from the image acquiring means, fixing one image and moving the other image little by little to find an optimal gaze matched image.

4. 발명의 중요한 용도4. Important uses of the invention

본 발명은 영상 통신 시스템 등에 이용됨.The present invention is used in video communication systems and the like.

시선일치, 좌우 영상, 좌우 눈 영상, 영상 삽입Line of sight, left and right video, left and right eye video, video insertion

Description

영상 통신을 위한 시선일치 영상 획득 장치 및 그 방법{APPARATUS AND METHOD FOR GAINING VISION ALIGNMENT IMAGE IN VIDEO PHONE} Apparatus and method for acquiring gamut matching for video communication {APPARATUS AND METHOD FOR GAINING VISION ALIGNMENT IMAGE IN VIDEO PHONE}             

도 1 은 본 발명에 따른 영상 통신을 위한 시선일치 영상 획득 장치의 일실시예 형상도.1 is a diagram illustrating an embodiment of an apparatus for acquiring eye-matching images for video communication according to the present invention;

도 2 는 본 발명에 따른 영상 통신을 위한 시선일치 영상 획득 장치의 일실시예 구성도.2 is a block diagram of an embodiment of an apparatus for acquiring eye-matching images for video communication according to the present invention;

도 3 은 본 발명에 따른 좌우영상합성에 의한 시선일치 영상 획득 방법의 일실시예 흐름도.Figure 3 is a flow diagram of an embodiment of a gaze matching image acquisition method by left and right image synthesis according to the present invention.

도 4 는 본 발명에 따른 영상 통신을 위한 시선일치 영상 획득 장치의 다른 실시예 구성도.4 is a block diagram of another embodiment of the apparatus for acquiring gaze coincidence image for image communication according to the present invention;

도 5 는 본 발명에 따른 좌우 눈 영상삽입에 의한 시선일치 영상 획득 방법의 일실시예 흐름도.5 is a flow chart of an embodiment of a method for acquiring gaze coincidence images by left and right eye image insertion according to the present invention;

*도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings

201 : 왼쪽 카메라 202 : 오른쪽 카메라201: left camera 202: right camera

203 : 제1 영상획득부 204 : 제2 영상획득부203: first image acquisition unit 204: second image acquisition unit

205 : 영상 합성부 206 : 압축부호화부205: Image synthesizer 206: Compression encoder

207 : 영상재생부 208 : 디스플레이 장치207: Video playback unit 208: Display device

209 : 압축복원부209: Compression Restoration Unit

본 발명은 영상 통신을 위한 시선일치 영상 획득 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 특히 영상전화나 화상회의 등에서 상대방과 시선의 일치를 이루기 위해, 좌우 눈 영상을 삽입하여 시선일치 영상을 획득하거나, 좌우 등에서 대칭적으로 찍은 영상을 합성하여 시선일치 영상을 획득하는, 영상 통신을 위한 시선일치 영상 획득 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus for acquiring gaze matching for video communication, and a method thereof and a computer-readable recording medium recording a program for realizing the method. In order to realize a gaze-matched image acquisition device for image communication, and a method and the method for inserting a left-eye image to obtain a gaze-matched image, or synthesizing the images taken symmetrically from the left and right, etc. The present invention relates to a computer-readable recording medium having recorded thereon a program.

종래의 영상전화나 회의시스템에서 상대방과의 시선일치가 되지않아 대화의 현실감이 떨어지는 문제점이 있었다.In the conventional video telephone or a conference system, there is a problem in that the reality of the conversation is lowered due to the disagreement with the other party.

이를 극복하기 위해서는 화면 중앙 부근에 카메라를 설치해야 되나 디스플레이 화면을 가리거나, 구멍을 뚫고 렌즈를 설치해야 하므로 결국 화면을 손상하는 결과를 가져오는 문제점이 있다. In order to overcome this problem, the camera should be installed near the center of the screen, but the display screen must be obscured, or a hole must be installed because of a lens.

몇몇 연구에서는 액정디스플레이(LCD : Liquid Crystal Display) 화면 뒤에 카메라를 설치하고, 디스플레이시에는 LCD 화면 전체에 디스플레이하고, 촬영시는 LCD를 투명하게 한 후 촬영하며, 이를 초당 30번 이상 반복하여 사용자가 느끼지 못하도록 하는 방식에 대한 연구가 진행중이나 아직 실용화되지 못하고 있으며, 실용화되어도 고비용과 생산 및 작업의 복잡성 등으로 인해 일반화하기가 쉽지 않은 문제점이 있다.In some studies, the camera is installed behind a liquid crystal display (LCD) screen, the entire LCD screen is displayed when the display is displayed, and the LCD is taken after the display is made transparent, and the user repeats it more than 30 times per second. The research on the way to make people feel in progress is not yet in practical use, and there is a problem that it is not easy to generalize due to the high cost and complexity of production and work even if it is used.

이에 대해 상세히 설명하면 다음과 같다.This will be described in detail below.

최근 통신망이 음성전화망에서 종합정보 통신망(ISDN : Intergrated Srvices Digital Network) 혹은 고속 인터넷망 등으로 고도화함에 따라, 기존의 음성전화에서 탈피하여 상대방의 얼굴을 보며 이야기하는 영상전화 및 이를 응용한 영상회의(이하 영상전화장치라 통칭) 장치들이 출시되고 있다. 그러나, 지금까지의 영상전화장치는 시선일치가 되지 않는다는 문제점을 가지고 있다. Recently, as the communication network has been advanced from voice telephone network to integrated information network (ISDN) or high-speed internet network, video telephony that talks to the other party's face and talks away from the existing voice telephone and video conference using the same Commonly referred to as video telephone devices) devices have been released. However, the conventional video telephone apparatuses have a problem that they do not match the gaze.

통상 우리는 대화할 때 상대방의 눈 혹은 그 주변을 보면서 대화하기를 원하며, 음성으로 전달되는 정보이외의 많은 정보를 상대방의 눈빛으로부터 얻고 있다. 즉, 상대방과 시선이 일치된 상태가 정보의 전달이 가장 명확하며, 의도적으로 시선을 떼는 것은 무언가 부정적인 의사표시로 비쳐지기도 한다. 이러한 시선일치는 상대방의 눈에서 조금이라도 벗어나면 금방 느낄 수 있을 정도로 민감하다.Normally, when we talk, we want to talk by looking at the other's eyes or its surroundings, and we get a lot of information from the other's eyes other than the information transmitted by voice. In other words, the state of eye contact with the other party is the clearest transmission of information, and deliberately distracting may be seen as something negative. Such eye-matching is sensitive enough that you can immediately feel a little out of your eyes.

현재 영상전화기는 대개 상대방의 얼굴이 나타나는 디스플레이 장치 상단에 카메라를 설치한다. A와 B가 영상전화할 경우 A는 자신의 카메라를 보아야만 B의 화면에 직시하는 것으로 나타나며, B도 마찬가지이다. 그러나 시선을 카메라에 두면 상대방의 얼굴을 자세히 볼 수 없어 시선일치가 무의미해진다. 그렇다고 상대방 의 얼굴을 보게 되면 카메라에 찍히는 얼굴은 밑을 쳐다보는 얼굴상이 되므로 마찬가지로 시선일치가 되지 않는다.Currently, video phones usually install a camera on top of a display device on which the other's face appears. When A and B make a video call, A appears to face B's screen only by looking at his camera, and B does the same. However, if you keep your eyes on the camera, you will not be able to see the other person's face in detail, which will make your eyes match. However, when you see the other person's face, the face taken by the camera becomes a face looking down, so it does not coincide.

이를 극복하기 위해서는 화면 중앙 부근에 카메라를 설치해야 되나 디스플레이 화면을 가리거나, 구멍을 뚫고 렌즈를 설치해야 하므로 결국 화면을 손상하는 결과를 가져온다. 최근 몇몇 연구에서는 LCD 화면 뒤에 카메라를 설치하고, 디스플레이시는 LCD 화면 전체에 디스플레이하고, 촬영시는 LCD를 투명하게 한 후 촬영하며, 이를 초당 30번 이상 반복하여 사용자가 느끼지 못하도록 하는 방식의 연구가 진행중이나 아직 실용화되지 못하고 있다.In order to overcome this, the camera should be installed near the center of the screen, but the display screen should be obscured, or a hole must be installed in the lens, resulting in damage to the screen. Recently, some studies have installed a camera behind the LCD screen, displays the entire LCD screen when the display is displayed, and transparently captures the LCD when shooting, and repeats it more than 30 times per second so that the user does not feel it. It is underway but not yet put into practical use.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 시선이 정면을 향하는 영상으로부터 눈영상을 미리 획득하여 영상 통신시 입력되는 눈위치에 이를 삽입하여 시선이 정면을 향하도록 하여 시선을 일치시키는 영상 통신을 위한 시선일치 영상 획득 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다. The present invention has been made to solve the problems described above, the eye gaze is obtained from the image facing the front face in advance to insert it into the eye position input during video communication to match the gaze to face the front It is an object of the present invention to provide an apparatus for acquiring eye-matching images for video communication, a method thereof, and a computer-readable recording medium having recorded thereon a program for realizing the method.

또한, 본 발명은, 적어도 2대의 카메라를 대칭적으로 설치하여 영상을 획득하고 획득된 영상을 합성하여 시선을 일치시키는 영상 통신을 위한 시선일치 영상 획득 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 다른 목적이 있다.
The present invention also provides an apparatus, and a method for realizing the same method, and a method for achieving the same method for the image communication apparatus for acquiring an image by symmetrically installing at least two cameras and synthesizing the acquired images to match the gaze. Another purpose is to provide a computer readable recording medium having recorded thereon.

상기 목적을 달성하기 위한 본 발명의 장치는, 영상 통신을 위한 시선일치 영상 획득 장치에 있어서, 각각의 카메라로부터 입력된 신호를 확인하여 각각의 영상을 획득하기 위한 영상 획득수단; 및 상기 영상 획득수단으로부터 획득된 각각의 상기 영상을 전달받아 한쪽 영상은 고정하고 다른 쪽 영상을 조금씩 움직여 최적의 시선일치 영상을 찾기 위한 영상합성수단을 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a gaze matching image acquisition apparatus for video communication, comprising: image acquisition means for acquiring each image by checking a signal input from each camera; And an image synthesizing means for receiving the respective images obtained from the image acquiring means, fixing one image and moving the other image little by little to find an optimal gaze coincidence image.

또한, 본 발명의 방법은, 영상 통신을 위한 시선일치 영상 획득 장치에 적용되는 시선일치 영상 획득 방법에 있어서, 카메라에 찍힌 두 영상에 대해 제1 소정크기의 제1 영상과 소정의 위치를 중심으로 하여 제2 소정크기의 위치이동이 있는 소정수의 제2 영상을 획득하는 제 1 단계; 상기 제1 영상과 상기 소정수의 제2 영상 각각을 합하여 소정수의 임시 시선일치 영상을 획득하고 오차를 확인하여 최저의 오차를 갖는 임시 시선일치 영상이 상기 제2 영상의 중심에서 얻은 영상인지를 판단하는 제 2 단계; 상기 제 2 단계의 판단 결과, 상기 제2 영상의 중심에서 얻은 상기 임시 시선일치 영상이 최저의 오차를 가지면 상기 임시 시선일치 영상을 시선일치 영상으로 판정하는 제 3 단계; 및 상기 제 2 단계의 판단 결과, 상기 임시 시선일치 영상이 최저의 오차를 가지지 않으면 소정수의 제2 영상 중에 경계에 도달한 영상이 있는가에 따라 소정수의 임시 시선일치 영상 중 최저의 오차를 갖는 영상을 시선일치 영상으로 판정하거나 최저의 오차를 가질 때의 제2 영상을 중심으로 하여 상기 제 1 단계의 제2 소정크기의 위치이동이 있는 소정수의 제2 영상을 획득하는 과정부터 반복 수행하는 제 4 단계를 포함하는 것을 특징으로 한다.In addition, the method of the present invention, in the gaze matching image acquisition method applied to the gaze matching image acquisition apparatus for video communication, the first image of the first predetermined size and the predetermined position with respect to the two images captured by the camera A first step of acquiring a predetermined number of second images having a position movement of a second predetermined size; The first image and each of the predetermined number of second images are combined to obtain a predetermined number of temporary gaze matching images, and to determine whether the temporary gaze matching image having the lowest error is an image obtained from the center of the second image. Determining a second step; A third step of determining the temporary gaze coincidence image as a gaze coincidence image when the temporary gaze coincidence image obtained at the center of the second image has the lowest error as a result of the determination of the second step; And if the temporary gaze coincidence image does not have a minimum error as a result of the determination of the second step, has a minimum error among a predetermined number of temporary gaze coincidence images according to whether there is an image reaching a boundary among a predetermined number of second images. Determining the image as a gaze-matched image or repeatedly performing a process of acquiring a predetermined number of second images having the position shift of the second predetermined size in the first step based on the second image when the image has the lowest error And a fourth step.

또한, 본 발명은, 프로세서를 구비한 시선일치 영상 획득 장치에, 카메라에 찍힌 두 영상에 대해 제1 소정크기의 제1 영상과 소정의 위치를 중심으로 하여 제2 소정크기의 위치이동이 있는 소정수의 제2 영상을 획득하는 제 1 기능; 상기 제1 영상과 상기 소정수의 제2 영상 각각을 합하여 소정수의 임시 시선일치 영상을 획득하고 오차를 확인하여 최저의 오차를 갖는 임시 시선일치 영상이 상기 제2 영상의 중심에서 얻은 영상인지를 판단하는 제 2 기능; 상기 제 2 기능의 판단 결과, 상기 제2 영상의 중심에서 얻은 상기 임시 시선일치 영상이 최저의 오차를 가지면 상기 임시 시선일치 영상을 시선일치 영상으로 판정하는 제 3 기능; 및 상기 제 2 기능의 판단 결과, 상기 임시 시선일치 영상이 최저의 오차를 가지지 않으면 소정수의 제2 영상 중에 경계에 도달한 영상이 있는가에 따라 소정수의 임시 시선일치 영상 중 최저의 오차를 갖는 영상을 시선일치 영상으로 판정하거나 최저의 오차를 가질 때의 제2 영상을 중심으로 하여 상기 제 1 기능의 제2 소정크기의 위치이동이 있는 소정수의 제2 영상을 획득하는 과정부터 반복 수행하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.In addition, the present invention, the gaze coincidence image acquisition device having a processor, a predetermined movement of the position of the second predetermined size with respect to the two images taken by the camera centered around the first image and the predetermined position of the first predetermined size A first function of acquiring the second image of the number; The first image and each of the predetermined number of second images are combined to obtain a predetermined number of temporary gaze matching images, and to determine whether the temporary gaze matching image having the lowest error is an image obtained from the center of the second image. A second function of judging; A third function of determining the temporary gaze coincidence image as a gaze coincidence image when the temporary gaze coincidence image obtained at the center of the second image has the lowest error as a result of the determination of the second function; And as a result of the determination of the second function, if the temporary gaze coincidence image does not have a minimum error, the second gamma image has the lowest error among a predetermined number of temporary gaze coincidence images according to whether there is an image reaching the boundary. Determining the image as a gaze-matched image or repeatedly performing a process of acquiring a predetermined number of second images having a position shift of the second predetermined size of the first function based on the second image when the image has the lowest error A computer readable recording medium having recorded thereon a program for realizing the fourth function is provided.

상기 다른 목적을 달성하기 위한 본 발명의 장치는, 영상 통신을 위한 시선일치 영상 획득 장치에 있어서, 카메라로부터 시선이 정면을 향하는 사용자의 눈 영상을 추출하기 위한 눈 영상 추출수단; 상기 눈 영상 추출수단에서 획득된 시선 정면의 눈 영상을 저장하기 위한 저장수단; 영상 통신시에 상기 사용자의 영상을 획득하기 위한 영상 획득수단; 및 상기 영상 획득수단에서 획득된 영상에 상기 저장수단에 저장된 시선 정면의 눈 영상을 삽입하기 위한 영상 합성수단을 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for acquiring eye-matching images for video communication, comprising: eye image extracting means for extracting an eye image of a user whose eye is facing from a camera; Storage means for storing an eye image in front of the gaze obtained by the eye image extracting means; Image acquisition means for acquiring an image of the user during video communication; And image synthesizing means for inserting an eye image in front of the gaze stored in the storage means into an image acquired by the image acquiring means.

또한, 본 발명의 방법은, 영상 통신을 위한 시선일치 영상 획득 장치에 적용되는 시선일치 영상 획득 방법에 있어서, 사용자로부터 시선일치 영상으로 사용할 눈 영상을 획득하여 저장하는 제 1 단계; 저장된 눈 영상을 삽입하기 위해 영상 통신 중의 상기 사용자로부터 얻어지는 영상에서 삽입 위치를 패턴 매칭을 통해 찾는 제 2 단계; 및 저장된 시선일치를 위한 눈 영상을 찾아진 위치에 삽입하여 시선일치 영상을 획득하는 제 3 단계를 포함하는 것을 특징으로 한다.In addition, the method of the present invention includes a gaze matching image acquisition method applied to a gaze matching image acquisition apparatus for video communication, comprising: a first step of obtaining and storing an eye image to be used as a gaze matching image from a user; A second step of finding an insertion position through pattern matching in an image obtained from the user during video communication to insert a stored eye image; And a third step of acquiring the gaze coincidence image by inserting the stored eye image into the found position.

또한, 본 발명은, 프로세서를 구비한 시선일치 영상 획득 장치에, 사용자로부터 시선일치 영상으로 사용할 눈 영상을 획득하여 저장하는 제 1 기능; 저장된 눈 영상을 삽입하기 위해 영상 통신 중의 상기 사용자로부터 얻어지는 영상에서 삽입 위치를 패턴 매칭을 통해 찾는 제 2 기능; 및 저장된 시선일치를 위한 눈 영상을 찾아진 위치에 삽입하여 시선일치 영상을 획득하는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.The present invention also provides a gaze matching image acquisition apparatus having a processor, comprising: a first function of acquiring and storing an eye image to be used as a gaze matching image from a user; A second function of finding an insertion position through pattern matching in an image obtained from the user during video communication to insert a stored eye image; And a computer-readable recording medium having recorded thereon a program for realizing a third function of acquiring a gaze-matched image by inserting a stored eye image into a found position.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

우선, 좌우영상합성 등과 같이 적어도 2대의 카메라를 이용하여 대칭적인 영상을 획득하여 영상을 합성하는 장치 및 방법에 대해 서술한다. 본 발명의 실시예에서는 화면 좌우에 설치되는 카메라를 이용하나 이는 화면 좌우에만 한정되는 것이 아니라 적어도 2대의 카메라를 사용하여 영상전화를 이용하는 이용자의 얼굴 영 상을 획득할 수 있으면 카메라의 위치에는 상관이 없다.First, an apparatus and method for synthesizing an image by acquiring a symmetrical image using at least two cameras such as left and right image synthesis will be described. The embodiment of the present invention uses a camera installed on the left and right sides of the screen, but the present invention is not limited to the left and right sides of the screen. However, at least two cameras may be used to obtain a face image of a user using a videophone. none.

도 1 은 본 발명에 따른 영상 통신을 위한 시선일치 영상 획득 장치의 일실시예 형상도이다.1 is a diagram illustrating an embodiment of an apparatus for acquiring eye-matching images for video communication according to the present invention.

영상전화 본체에는 디스플레이 장치가 있으며 그 양쪽에 카메라 2대가 설치된 형상을 도 1 에서 제시하고 있다. The video telephony main body has a display device, and two cameras are installed on both sides thereof.

도 2 는 본 발명에 따른 영상 통신을 위한 시선일치 영상 획득 장치의 일실시예 구성도이다.2 is a block diagram of an embodiment of an apparatus for acquiring eye-matching images for video communication according to the present invention.

도 2 에서는 본 발명에 따른 시선일치 영상 획득 장치를 포함한 시선일치 영상전화의 구성을 도시하고 있다. 이는 왼쪽 카메라(201), 오른쪽 카메라(202), 제1 영상획득부(203), 제2 영상획득부(204), 영상합성부(205), 압축부호화부(206), 영상재생부(207), 디스플레이 장치(208) 및 압축복원부(209)를 구비한다. FIG. 2 illustrates a configuration of a line of sight video call including a line of sight matching device according to the present invention. The left camera 201, the right camera 202, the first image acquisition unit 203, the second image acquisition unit 204, the image synthesis unit 205, the compression encoder 206, and the image reproduction unit 207. ), A display device 208 and a compression restorer 209.

영상전화 본체에는 디스플레이 장치(208)가 있으며 그 양쪽에 2대의 카메라(201, 202)가 설치된다. 영상획득부(203, 204)는 아날로그 영상신호를 적절한 규격의 디지털 데이터로 변환한다. 영상합성부(205)는 본 발명의 주된 내용으로 획득된 좌우 영상을 전달받아 시선일치를 위해 이를 합성하며, 압축 부호화부(206)는 에이치-261(H-261), 엠펙-1(MPEG-1), 엠펙-2(MPEG-2) 혹은 동등한 압축규격에 따른 부호화 장치이다. 압축 복원부(209)는 상기 압축 표준에 따라 압축된 데이터를 수신하여 디지털 영상데이터로 복원하는 장치이며, 영상재생부(207)는 디지털 영상데이터를 디스플레이 장치(208)에 맞게 변환해 준다. 2대의 카메라로부터 획득된 영상은 영상합성부(205)에서 합성된 후 압축 부호화하여 전송된다.The video telephone main body has a display device 208, and two cameras 201 and 202 are provided on both sides thereof. The image acquisition units 203 and 204 convert analog video signals into digital data of appropriate standards. The image synthesis unit 205 receives the left and right images obtained as the main contents of the present invention, and synthesizes them for gaze matching. The compression encoder 206 performs H-261 (H-261) and MPEG-1 (MPEG-). 1), MPEG-2 (MPEG-2) or an equivalent encoding apparatus. The decompression unit 209 is a device that receives data compressed according to the compression standard and restores the digital image data, and the image reproducing unit 207 converts the digital image data into the display device 208. Images obtained from two cameras are synthesized by the image synthesizer 205 and then compressed and transmitted.

상대방 영상이 담긴 수신된 데이터는 압축된 상태에서 복원한 후 영상재생부(207)를 거쳐 디스플레이 장치(208)로 간다. The received data containing the counterpart image is restored in the compressed state and then goes to the display device 208 via the image reproducing unit 207.

사용자가 원하면 자신의 합성된 영상을 확인할 필요가 있으므로 영상재생부(207)를 통해 재생할 수 있다. If the user wants to check his / her synthesized video, it can be played back through the video player 207.

영상합성부(205)에서 이루어지는 좌우 영상으로부터 시선일치 영상을 합성하는 과정에 대해 설명하면 다음과 같다.A process of synthesizing the gaze coincidence image from the left and right images made by the image synthesizer 205 will now be described.

좌우카메라에서 얻은 두 장의 영상은 대개 사람의 얼굴이 좌우 대칭이고 카메라로부터 얼굴이 어느 정도 거리가 떨어져 있으므로 상당히 유사한 영상이다. 그러나, 부분부분 미세한 부분은 보는 각도가 다르기 때문에 당연히 차이가 발생하게 된다. The two images from the left and right cameras are usually very similar because the human face is symmetrical and the face is some distance away from the camera. However, because the viewing angles are different for the minute part, the difference occurs naturally.

얻고자 하는 영상은 왼쪽 영상(LI : Left Image)에도 치우치지 않고, 오른쪽 영상(RI : Right Image)에도 치우치지 않은 중간 영상(CI : Central Image)일 것이다. 이 CI는 RI와 LI를 더하여 얻는다. 그러나, RI와 LI에 찍힌 사람의 얼굴의 위치가 정확히 같다고는 할 수 없다. 그 이유는 얼굴이 정확히 정 중앙에 있지 않을 수도 있고 얼굴의 각도가 왼쪽이나 오른쪽으로 치우쳐서 위치할 수도 있기 때문이다. 이 오차를 얼굴 위치 오차(FPD : Face Position Displacement)라 할 때, FPD의 최대값을 FPDmax로 정의한다. 만일 전송하고자 하는 영상의 크기가 수평으로 H화소, 수직으로 V화소라면 카메라에서 영상을 얻을 때에는 좌, 우, 위, 아래로 FPDmax 화소 만큼을 더 얻는다. 그것을 H', V'라 하면 H'와 V'는 다음의 [수학식 1]과 같이 얻어진다.The image to be obtained may be an intermediate image (CI) that is not biased to the left image (LI) and is not biased to the right image (RI). This CI is obtained by adding RI and LI. However, the positions of the faces of RI and LI are not exactly the same. This is because the face may not be exactly centered, or the angle of the face may be left or right. When this error is called a face position error (FPD), the maximum value of the FPD is defined as FPDmax. If the size of the image to be transmitted is H pixels horizontally and V pixels vertically, an additional FPDmax pixel is obtained when the image is acquired by the camera. If it is H 'and V', H 'and V' are obtained as shown in [Equation 1].

H'=h+2FPDmax, H '= h + 2FPDmax,

V'=V+2FPDmaxV '= V + 2FPDmax

LI, RI 두 장의 영상으로부터 CI를 얻는데 그 과정은 다음과 같다. Obtain CI from two images of LI and RI. The process is as follows.

LI에서는 가운데를 중심으로 수평으로 H, 수직으로 V 크기의 영상을 얻는다. RI에서는 가운데를 중심으로 (-1,-1), (0,-1), (1,-1), (-1,0), (0,0), (1,0), (-1,1), (0,1), (1,1) 만큼 이동한 위치에서 수평H, 수직V 크기를 갖는 총 9장의 영상을 얻는다. In LI, you get H- and V-size images. In RI, (-1, -1), (0, -1), (1, -1), (-1,0), (0,0), (1,0), (-1 A total of nine images having horizontal H and vertical V sizes are obtained at positions moved by, 1), (0,1) and (1,1).

CI는 LI와 방금 설명한 바와 같이 수평 1 ~ +1 , 수직 1 ~ +1 범위에서 얻어낸 RI를 더해서 만든다. 따라서, 얻어지는 CI는 총 9장이다. 9장의 RI와 CI의 수평, 수직의 화소 위치를 RIi(x,y) , CII(x,y)라 할 때 I는 이동시켜가면서 얻어진 영상의 인덱스이고, x와 y는 수평수직의 위치값을 나타낸다. 이때 CI와 LI, RI 사이에 다음 오차값을 계산한다.CI is created by adding LI and RI, as just described, from horizontal 1 to +1 and vertical 1 to +1. Therefore, a total of nine CIs are obtained. When the horizontal and vertical pixel positions of the nine RIs and CIs are RI i (x, y) and CI I (x, y), I is the index of the image obtained by shifting, and x and y are the horizontal and vertical positions. Indicates a value. At this time, calculate the following error value between CI, LI, RI.

SE(m,n) = SUM(x=0 to H-1)SUM(y=0 to V-1)(CII(x,y)-LI(x,y))SE (m, n) = SUM (x = 0 to H-1) SUM (y = 0 to V-1) (CI I (x, y) -LI (x, y))

+ SUM(x=0 to H-1)SUM(y=0 to V-1)(CII(x,y)-RII(x+m,y+n))+ SUM (x = 0 to H-1) SUM (y = 0 to V-1) (CI I (x, y) -RI I (x + m, y + n))

여기서, SUM(x=0 to N)은 x를 0부터 N까지 증가시키면서 다음 식을 모두 더한다는 의미이다. m, n은 수평, 수직의 위치이동값(displacement)으로서 RII영상을 얻을 때 각각 -1, 0, 1의 값을 갖는다. m의 최소값(mmin), n의 최소값(nmin)은 다음의 [수학식 3]과 같이 구한다.Here, SUM (x = 0 to N) means adding all of the following equations while increasing x from 0 to N. m and n are horizontal and vertical displacement values, and have values of -1, 0, and 1 when the RI I image is obtained. The minimum value of m (m min ) and n minimum value (n min ) are obtained as shown in Equation 3 below.

Figure 111999017536170-pat00001
Figure 111999017536170-pat00001

얻어진 최저의 오차를 갖는 수평, 수직의 위치이동값(mmin, nmin)이 모두 0이면 그 위치를 최적의 CI를 얻은 위치로 한다. 만일 모두 0이 아니면 RI의 중앙에서 그 값만큼을 이동한 후, 이를 새로운 RI의 중심으로 하여 다시 위와같이 9장의 영상을 얻어내어 새로운 최소 SEI(m,n), I=0 ~ 8을 얻어낸다. 이 과정은 얻어낸 RII의 경계가 RI영상의 경계인 FPDmax에 도달할 때까지 계속되며, 경계에 도달하면 그 위치에서 (mmin, nmin)을 구하고 그때의 CIi(x,y) 영상을 최적의 시선일치 영상으로 한다If the horizontal and vertical position shift values (m min and n min ) having the lowest error obtained are both 0, the position is taken as the position where the optimal CI is obtained. If it is not 0, move the value from the center of RI, and then use this as the center of the new RI to get 9 images as above and get the new minimum SE I (m, n), I = 0 ~ 8. Serve This process is continued until the boundary of the obtained RI I reaches FPDmax, which is the boundary of the RI image, and when the boundary is reached, (m min , n min ) is obtained from the position and the CIi (x, y) image at that position is optimal. We do with eyes-matched picture

도 3 은 본 발명에 따른 좌우영상합성에 의한 시선일치 영상 획득 방법의 일실시예 흐름도이다.3 is a flowchart illustrating a gaze matching image acquisition method by left and right image synthesis according to the present invention.

본 발명에 따른 시선일치 영상 획득 방법은, 영상전화등에서 시선일치를 위 해 두 대의 카메라로 좌, 우로 배치하고 각각의 영상을 얻은 후 이를 합성하여 시선이 중앙을 향하는 영상을 얻는 방법으로, 최적의 시선일치 영상을 얻기 위해 한쪽 영상은 고정하고 다른 쪽 영상을 조금씩 움직여 내면서 상기한 [수학식 2]와 [수학식 3]에 의해 최적 위치를 찾고 그 위치로 이동하여 다시 위의 과정을 반복 적용함으로서 보다 최적의 위치를 찾게된다.The method of acquiring gaze matching images according to the present invention is a method of obtaining images in which a gaze is directed toward the center by arranging left and right with two cameras for video matching in a videophone, and obtaining respective images. In order to obtain an eye-matching image, one image is fixed and the other image is moved a little while finding the optimum position by the above Equation 2 and Equation 3, and moving to that position again and repeating the above process. You will find a more optimal location.

이에 대해 도면에 도시한 흐름에 따라 설명하면 다음과 같다.This will be described according to the flow shown in the drawings.

우선, FPDmax를 고려하여 LI, RI를 획득한다(301). LI의 가운데를 중심으로 H, V크기의 영상을 얻고(302), RI의 가운데를 중심으로 수평, 수직의 화소값을 -1 ~ +1까지 변화시킨 9장의 RII를 얻는다(303). 이때, RII의 크기는 LI와 마찬가지로 H, V이다.First, LI and RI are obtained in consideration of FPDmax (301). Around the center of the LI to obtain an image of the H, V size (302), obtains the chapter 9 RI I was changed to the pixel values in the horizontal, vertical to -1 and +1 around the center of the RI (303). At this time, the size of RI I is H, V like LI.

LI와 9장의 RII를 각각 더하여 9장의 CII를 획득한다(304). CII와 LI, RI I 사이의 오차 값을 얻고(305), 최저의 오차를 갖는 영상의 위치이동값(mmin, nmin)이 수평, 수직 모두 0인가를 확인한다(306). 확인 결과, 최저의 오차를 갖는 영상의 위치이동값(mmin, nmin)이 수평, 수직 모두 0이면 그 CII를 최적의 시선일치 영상으로 판정한다(307).Each of LI and 9 RI I is added to obtain 9 CI I (304). The error value between CI I , LI, and RI I is obtained (305), and it is checked whether the position shift value (m min , n min ) of the image having the lowest error is 0 in both horizontal and vertical (306). As a result of the check, if the position shift values (m min , n min ) of the image having the lowest error are both horizontal and vertical, the CI I is determined to be an optimal gaze coincidence image (307).

확인 결과, 최저의 오차를 갖는 영상의 위치이동값(mmin, nmin)이 수평, 수직 모두 0이 아니면, 9장의 RII 중에서 전체 RI의 경계에 도달한 영상이 있는지를 검사한다(308). 검사 결과, 경계에 도달한 영상이 없으면, 최저의 오차를 갖는 위치이 동값(mmin, nmin)으로 RII의 중심을 이동시켜 수평, 수직값을 -1 ~ +1까지 변화시킨 9장의 영상을 얻고(309), CII와 LI, RII 사이의 오차 값을 얻는 과정(304)부터 반복 수행한다.As a result of the check, if the position shift value (m min , n min ) of the image having the lowest error is not 0 in both horizontal and vertical, it is checked whether there is an image reaching the boundary of the entire RI among 9 RI I (308). . As a result of the inspection, if there is no image reaching the boundary, the 9 images with the lowest error are moved to the same value (m min , n min ) by moving the center of RI I to the horizontal and vertical values from -1 to +1. Obtaining 309 and repeating the process 304 of obtaining an error value between CI I and LI and RI I.

9장의 RII 중에서 전체 RI의 경계에 도달한 영상이 있는지를 검사한 결과, 경계에 도달한 영상이 있으면 그때, 수평, 수직의 오차값이 최저인 CII에 대해 최적의 시선일치 영상으로 판정한다(307).After a check to see if the image reaches the boundary of the whole RI in Chapter 9 RI I, if there is a video reaches the boundary then the horizontal is determined as the optimum line of sight matches the image for the error value of the vertical minimum CI I (307).

다음으로 시선이 정면을 향하는 영상으로부터 눈영상을 미리 획득한 후, 영상 통화시 입력되는 영상의 눈위치에 이를 삽입하여 시선이 정면을 향하도록 하여 시선일치 영상을 획득하는 장치 및 그 방법에 대하여 도 4 및 도 5 를 통하여 설명한다.Next, an apparatus and method for acquiring a gaze-matched image by acquiring an eye image from an image in which the gaze faces the front in advance and inserting it in an eye position of an image input during a video call so that the gaze faces the front 4 and 5 will be described.

본 발명은, 시선이 정면을 향하는 영상으로부터 눈영상을 미리 획득한 후, 영상전화시 입력되는 영상의 눈위치에 이를 삽입하여 시선이 정면으로 향하도록 한다.The present invention obtains an eye image from an image in which the line of sight is facing in advance, and then inserts it into the eye position of the image input during the video call so that the line of sight is directed to the front.

도 4 는 본 발명에 따른 영상 통신을 위한 시선일치 영상 획득 장치의 다른 실시예 구성도이다.4 is a block diagram of another embodiment of the apparatus for acquiring eye-matching images for video communication according to the present invention.

도 4 에서는 본 발명에 따른 시선일치 영상 획득 장치를 포함하는 영상전화의 송신부 구성을 도시하고 있다. 영상전화의 송신부는, 카메라(401), 눈동자 영상추출부(402), 기록저장부(403), 영상획득부(404), 영상합성부(405) 및 영상부호화부(406)를 구비한다.4 illustrates a configuration of a transmitter of a video telephone including an apparatus for acquiring gaze matching images according to the present invention. The transmission unit of the video telephone includes a camera 401, a pupil image extraction unit 402, a recording storage unit 403, an image acquisition unit 404, an image synthesis unit 405, and an image encoding unit 406.

본 발명에서 제시하는 영상전화의 사용자는 전화사용전에 자신의 정면 눈 영상을 입력시켜야 한다. 물론 매번 입력할 필요는 없다. 자신의 눈 영상을 얻기 위해서는 먼저 시선일치 영상획득 버튼을 누른다. 그리고, 사용자는 통상의 영상전화를 사용하는 위치에서 카메라(401)를 바라본다. 그 상태에서 영상을 획득한 후 왼쪽과 오른쪽 눈동자의 위치를 커서로 움직여 버튼을 눌러 지정한다. 시선일치를 위한 눈동자 영상추출부(402)는 커서위치를 중심으로 수평으로 M화소, 수직으로 N화소 만큼의 크기의 왼쪽과 오른쪽의 눈 영상을 저장한다. M과 N의 결정은 전송하려는 영상의 크기, 카메라와 사용자간의 거리 등에 따라 변화하기 때문에 사용자가 키패드를 통해 변경할 수 있도록 한다. 이것으로서 눈 영상의 획득이 이루어진다.The user of the video telephone proposed in the present invention should input his front eye image before using the telephone. Of course, you don't have to type it every time. To get an eye image of yourself, first press the line of sight acquisition button. Then, the user looks at the camera 401 at a position using a normal videophone. After acquiring the image in that state, move the cursor to the position of the left and right eyes by pressing the button. The eye image extractor 402 for eye-matching stores eye images of left and right sizes of M pixels horizontally and N pixels vertically around the cursor position. The determination of M and N changes depending on the size of the image to be transmitted and the distance between the camera and the user, so that the user can change it through the keypad. This acquires an eye image.

일반적으로 영상통화시에 사용자는 영상전화기 앞에서 전화를 건 후 시선일치 버튼을 누른다. 시선일치 처리를 위한 영상합성부(405)에서는 미리 얻어진 M X N 크기의 영상을 얻어진 영상 내에서 패턴 매칭을 통해 찾는다. 통상 눈의 위치는 전체 영상내의 중앙 상단에 있으므로 전체 영상을 탐색하기 보다는 중앙 상단의 적정한 영역을 설정하여 탐색을 한다. 탐색은 왼쪽 눈과 오른쪽 눈 각각에 대해 행해지며 왼쪽 눈과 오른쪽 눈이 바뀌는 현상을 방지 하기 위해 왼쪽 눈의 수평위치보다 오른쪽 눈의 수평위치가 더 오른쪽에 있다. 즉, 왼쪽 눈의 수평위치 < 오른쪽 눈의 수평위치라는 전제 조건하에서 탐색한다.In general, during a video call, the user dials in front of the video phone and presses a line of sight button. The image synthesizing unit 405 for the gaze matching process searches for an image of M X N size obtained in advance through pattern matching in the obtained image. In general, the eye position is located at the top of the center of the entire image, so the search is performed by setting an appropriate area at the top of the center rather than searching the entire image. The search is done for the left and right eyes respectively, and the right eye's horizontal position is more to the right than the left eye's horizontal position to prevent the left and right eyes from changing. That is, the search is performed under the precondition that the horizontal position of the left eye &lt; the horizontal position of the right eye.

왼쪽 눈의 위치가 결정되었으면, 기 추출된 왼쪽 눈 영상을 그 위치에 대치하는 작업을 수행한다. 대치하기 전에 합성할 왼쪽 눈 영상과 입력된 영상사이에 조명 등의 변화에 의한 밝기 변화를 보정해야 하는데 그 과정은 다음과 같다.Once the position of the left eye has been determined, a task of replacing the previously extracted left eye image with the position is performed. Before the replacement, the brightness change caused by the change of lighting between the left eye image and the input image to be synthesized should be corrected.

입력된 영상의 왼쪽 눈 위치의 M X N크기의 화소들의 평균을 얻고, 기 추출된 왼쪽은 영상의 화소들의 평균값을 얻은 후 다음의 [수학식 4]와 같이 대치할 왼쪽 눈 영상을 얻는다.The average of the pixels of the size M X N of the left eye position of the input image is obtained, and the extracted left side obtains the average value of the pixels of the image and then replaces the left eye image as shown in Equation 4 below.

CLE(x,y)=LE(x,y)L/K CLE (x, y) = LE (x, y) L / K

여기서, CLE(x,y)는 대치할 왼쪽 눈 영상으로서 M X N크기이다. LE(x,y)는 기 추출된 왼쪽 눈 영상으로서 M X N크기이다. L은 입력 영상의 왼쪽 눈 위치의 M X N크기의 화소들의 평균 밝기이고, K는 기 추출된 왼쪽 눈 영상의 화소들의 평균 밝기이다. 밝기 보정이 완료되었으면 입력 영상의 왼쪽 눈 위치에 CLE(x,y) 영상을 대치한다. 그리고, 대치된 경계면을 3 X 3화소 크기를 갖는 저역통과 필터링을 행하여 눈에 거슬리는 경계면을 없앤다. 오른쪽 눈은 동일하게 수행하며, 수행이 완료되면 영상압축 및 부호화를 처리하는 영상부호화부(406)에서 압축하여 전송한다.Here, CLE (x, y) is M X N size as the left eye image to be replaced. LE (x, y) is a pre-extracted left eye image having an M × N size. L is the average brightness of the pixels of the size M X N of the left eye position of the input image, K is the average brightness of the pixels of the left eye image extracted previously. When the brightness correction is completed, replace the CLE (x, y) image at the left eye position of the input image. Subsequently, the substituting interface is subjected to lowpass filtering having a size of 3 X 3 pixels to remove the unobtrusive interface. The right eye is performed in the same way, and when the execution is completed, the right eye is compressed and transmitted by the image encoder 406 which processes image compression and encoding.

이러한 시선일치 영상 합성은 경우에 따라 사용자가 사용하지 않을 수도 있으므로, 스위치를 두어 기능을 끄거나 킬 수 있도록 한다. This gaze matched image may not be used by the user in some cases, so a switch can be turned off or on.

도 5 는 본 발명에 따른 좌우 눈 영상삽입에 의한 시선일치 영상 획득 방법의 일실시예 흐름도이다.5 is a flowchart illustrating a method of acquiring gaze coincidence images by inserting left and right eye images according to the present invention.

본 발명은, 영상전화기 등에서 시선일치 영상을 얻기 위해 먼저 사용자가 카메라를 바라보고 정면 사진을 정지 영상으로 찍고 여기서 눈동자 위치를 지정하여, 왼쪽 눈과 오른쪽 눈 영상을 얻어 놓고 이를 전송하려는 동영상 내의 각 입력영상에 대해 왼쪽 눈과 오른쪽 눈의 위치를 기 추출된 왼쪽 눈 영상, 오른쪽 눈 영상으로 패턴 매칭을 통해 찾으며, 찾은 위치에 왼쪽 눈 영상, 오른쪽 눈 영상을 대치하여 시선일치 영상을 얻는 기술로서, 대치과정에서 상기한 [수학식 4]와 같은 방법으로 밝기 변화를 보정하여 대치된 경계면을 이차원 저역통과 필터링을 수행하여 경계면 통과를 없애는 기술이다.The present invention, in order to obtain a line-of-sight image in a video phone, etc., the user first looks at the camera and takes a front picture as a still image, where the pupil position is specified to obtain a left eye and right eye image, and then input each video within a video to be transmitted. It is a technology that obtains the eye-matched image by replacing the left eye image and the right eye image by pattern matching between the left eye image and the right eye image. In the process described above, Equation 4 is a technique of correcting the brightness change and performing the two-dimensional low pass filtering on the replaced boundary to eliminate the boundary passing.

이를 도면에 도시된 흐름에 따라 설명하면 다음과 같다.This will be described according to the flow shown in the drawings.

우선, 사용자의 선택에 따라 시선이 정면을 향하는 영상을 획득하여 저장한다(501).First, according to a user's selection, an image in which the gaze faces the front is obtained and stored (501).

영상 통화를 시작한 사용자로부터 시선일치를 위해 저장한 영상의 삽입을 요청받는다(502), 기 저장된 시선일치를 위한 영상에 매칭되는 위치를 영상 통화중의 영상으로부터 찾는다(503). 이때는, 각각의 눈에 대해 따로이 수행하도록 하며, 우선 순위는 지정에 따라 좌측이나 우측 눈 중에서 택일한다. 물론, 두 영상을 동시에 삽입처리할 수 도 있다.In operation 502, a user who initiates a video call is requested to insert a stored video for gaze matching from a user who starts a video call from a video during a video call. In this case, each eye is performed separately, and the priority is selected from the left or the right eye according to the designation. Of course, two images can be inserted at the same time.

해당하는 위치에 시선일치를 위한 영상을 위치시키고, 삽입되는 영상의 밝기 보정을 수행한다(504).The image for gaze matching is positioned at the corresponding position, and brightness correction of the inserted image is performed (504).

삽입된 영상이 기존의 영상과 융화되도록 저역 통과 필터링 작업을 통해 경계면을 다듬고(505), 이를 시선일치 영상으로서 제공한다.The interface is trimmed by low pass filtering so that the inserted image is compatible with the existing image (505), and the image is provided as a gaze matching image.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치 환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and various substitutions, modifications, and changes can be made without departing from the technical spirit of the present invention. It will be apparent to those of ordinary skill in Esau.

상기한 바와 같은 본 발명은, 좌우 눈 영상삽입이나 좌우영상합성에 의해 시선일치된 영상을 획득할 수 있어 영상전화나 회의시스템 등에서 상대방과의 시선일치가 되지않아 대화의 현실감이 떨어지는 것을 방지하는 효과가 있다. As described above, the present invention can obtain an image matched by the left and right eye image insertion or the left and right image synthesis, and prevents the reality of the conversation from falling out of line with the other party in a video telephone or a conference system. There is.

또한, 본 발명은, 영상 통신에서 시선일치 문제를 복잡하지 않은 방식으로 구현함으로써 보다 많은 사람들이 시선일치 문제가 해결된 영상 통신 서비스를 이용할 수 있도록 하는 효과가 있다.In addition, the present invention has an effect of enabling the use of the video communication service that more people can solve the gaze matching problem by implementing the gaze matching problem in an uncomplicated manner in video communication.

Claims (11)

영상 통신을 위한 시선일치 영상 획득 장치에 있어서,In the eye-matching image acquisition device for video communication, 각각의 카메라로부터 입력된 신호를 확인하여 각각의 영상을 획득하기 위한 영상 획득수단; 및Image acquisition means for acquiring each image by checking a signal input from each camera; And 상기 영상 획득수단으로부터 획득된 각각의 상기 영상을 전달받아 한쪽 영상은 고정하고 다른 쪽 영상을 조금씩 움직여 최적의 시선일치 영상을 찾기 위한 영상합성수단Image synthesizing means for receiving the respective images obtained from the image acquiring means and fixing one image and moving the other image little by little to find an optimal gaze match image. 을 포함하는 영상 통신을 위한 시선일치 영상 획득 장치.Gaze matching image acquisition device for video communication comprising a. 제 1 항에 있어서,The method of claim 1, 상기 영상 획득수단은,The image acquisition means, 제1 카메라로부터 입력된 신호를 처리하여 상기 제1 카메라에서 획득된 영상을 제시하기 위한 제1 영상 획득수단; 및First image acquisition means for processing a signal input from a first camera to present an image acquired by the first camera; And 상기 제1 카메라에 대칭적으로 위치하는 제2 카메라로부터 입력된 신호를 처리하여 상기 제2 카메라에서 획득된 영상을 제시하기 위한 제2 영상 획득수단Second image acquisition means for presenting an image obtained by the second camera by processing a signal input from a second camera symmetrically positioned in the first camera 을 포함하는 영상 통신을 위한 시선일치 영상 획득 장치.Gaze matching image acquisition device for video communication comprising a. 영상 통신을 위한 시선일치 영상 획득 장치에 있어서,In the eye-matching image acquisition device for video communication, 카메라로부터 시선이 정면을 향하는 사용자의 눈 영상을 추출하기 위한 눈 영상 추출수단;Eye image extraction means for extracting an eye image of a user whose gaze faces the camera from the front; 상기 눈 영상 추출수단에서 획득된 시선 정면의 눈 영상을 저장하기 위한 저장수단;Storage means for storing an eye image in front of the gaze obtained by the eye image extracting means; 영상 통신시에 상기 사용자의 영상을 획득하기 위한 영상 획득수단; 및Image acquisition means for acquiring an image of the user during video communication; And 상기 영상 획득수단에서 획득된 영상에 상기 저장수단에 저장된 시선 정면의 눈 영상을 삽입하기 위한 영상 합성수단Image synthesizing means for inserting an eye image of the eye gaze front stored in the storage means to the image acquired by the image acquiring means. 을 포함하는 영상 통신을 위한 시선일치 영상 획득 장치.Gaze matching image acquisition device for video communication comprising a. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,The method according to any one of claims 1 to 3, 상대방으로부터 전달된 영상과 함께 시선일치된 사용자 본인의 영상을 상기 사용자에게 제공하기 위한 영상 재생수단Image reproducing means for providing to the user the image of the user in line with the image transmitted from the other party 을 더 포함하는 영상 통신을 위한 시선일치 영상 획득 장치.Apparatus for obtaining gaze matching for video communication further comprising. 영상 통신을 위한 시선일치 영상 획득 장치에 적용되는 시선일치 영상 획득 방법에 있어서,In the gaze matching image acquisition method applied to a gaze matching image acquisition apparatus for video communication, 카메라에 찍힌 두 영상에 대해 제1 소정크기의 제1 영상과 소정의 위치를 중 심으로 하여 제2 소정크기의 위치이동이 있는 소정수의 제2 영상을 획득하는 제 1 단계;A first step of acquiring a predetermined number of second images having a position movement of a second predetermined size with respect to two images captured by a camera, with a first image having a first predetermined size and a predetermined position as a center; 상기 제1 영상과 상기 소정수의 제2 영상 각각을 합하여 소정수의 임시 시선일치 영상을 획득하고 오차를 확인하여 최저의 오차를 갖는 임시 시선일치 영상이 상기 제2 영상의 중심에서 얻은 영상인지를 판단하는 제 2 단계;The first image and each of the predetermined number of second images are combined to obtain a predetermined number of temporary gaze matching images, and to determine whether the temporary gaze matching image having the lowest error is an image obtained from the center of the second image. Determining a second step; 상기 제 2 단계의 판단 결과, 상기 제2 영상의 중심에서 얻은 상기 임시 시선일치 영상이 최저의 오차를 가지면 상기 임시 시선일치 영상을 시선일치 영상으로 판정하는 제 3 단계; 및A third step of determining the temporary gaze coincidence image as a gaze coincidence image when the temporary gaze coincidence image obtained at the center of the second image has the lowest error as a result of the determination of the second step; And 상기 제 2 단계의 판단 결과, 상기 임시 시선일치 영상이 최저의 오차를 가지지 않으면 소정수의 제2 영상 중에 경계에 도달한 영상이 있는가에 따라 소정수의 임시 시선일치 영상 중 최저의 오차를 갖는 영상을 시선일치 영상으로 판정하거나 최저의 오차를 가질 때의 제2 영상을 중심으로 하여 상기 제 1 단계의 제2 소정크기의 위치이동이 있는 소정수의 제2 영상을 획득하는 과정부터 반복 수행하는 제 4 단계As a result of the determination in the second step, if the temporary gaze coincidence image does not have a minimum error, an image having the lowest error among a predetermined number of temporary gaze coincidence images according to whether there is an image reaching a boundary among a predetermined number of second images. Is determined as a gaze coincidence image or is repeatedly performed from a process of acquiring a predetermined number of second images having a position shift of the second predetermined size of the first step based on the second image when the minimum error is obtained. 4 steps 를 포함하는 시선일치 영상 획득 방법.Gaze matching image acquisition method comprising a. 제 5 항에 있어서,The method of claim 5, wherein 상기 제 4 단계는,The fourth step, 상기 임시 시선일치 영상이 최저의 오차를 가지지 않으면 소정수의 제2 영상 중에 전체 제2 영상의 경계에 도달한 영상이 있는가를 확인하는 제 5 단계;A fifth step of checking whether there is an image reaching the boundary of the entire second image among a predetermined number of second images if the temporary gaze coincidence image does not have a minimum error; 상기 제 5 단계의 확인 결과, 소정수의 제2 영상 중에 전체 제2 영상의 경계에 도달한 영상이 있으면, 소정수의 임시 시선일치 영상 중 최저의 오차를 갖는 영상을 시선일치 영상으로 판정하는 제 6 단계; 및And as a result of the checking of the fifth step, when there is an image reaching the boundary of the entire second image among the predetermined number of second images, the image which determines the image having the lowest error among the predetermined number of temporary gaze matching images as the gaze matching image. 6 steps; And 상기 제 5 단계의 확인 결과, 소정수의 제2 영상 중에 전체 제2 영상의 경계에 도달한 영상이 없으면, 최저의 오차를 가질 때의 제2 영상을 중심으로 하여 상기 제 1 단계의 제2 소정크기의 위치이동이 있는 소정수의 제2 영상을 획득하는 과정부터 반복 수행하는 제 7 단계As a result of the checking of the fifth step, if there is no image reaching the boundary of the entire second image among the predetermined number of second images, the second predetermined image of the first step is centered on the second image having the lowest error. A seventh step of repeatedly performing a process of acquiring a predetermined number of second images having a position shift of a size; 를 포함하는 시선일치 영상 획득 방법.Gaze matching image acquisition method comprising a. 영상 통신을 위한 시선일치 영상 획득 장치에 적용되는 시선일치 영상 획득 방법에 있어서,In the gaze matching image acquisition method applied to a gaze matching image acquisition apparatus for video communication, 사용자로부터 시선일치 영상으로 사용할 눈 영상을 획득하여 저장하는 제 1 단계;A first step of obtaining and storing an eye image to be used as a gaze matching image from a user; 저장된 눈 영상을 삽입하기 위해 영상 통신 중의 상기 사용자로부터 얻어지는 영상에서 삽입 위치를 패턴 매칭을 통해 찾는 제 2 단계; 및A second step of finding an insertion position through pattern matching in an image obtained from the user during video communication to insert a stored eye image; And 저장된 시선일치를 위한 눈 영상을 찾아진 위치에 삽입하여 시선일치 영상을 획득하는 제 3 단계A third step of acquiring a gaze-matched image by inserting a stored eye image for a matched gaze at a found position 를 포함하는 시선일치 영상 획득 방법.Gaze matching image acquisition method comprising a. 제 7 항에 있어서,The method of claim 7, wherein 저장된 눈 영상을 영상 통신 중의 상기 사용자 영상의 밝기와 일치하도록 보정하는 제 4 단계A fourth step of correcting the stored eye image to match the brightness of the user image during video communication 를 더 포함하는 시선일치 영상 획득 방법.Gaze matching image acquisition method further comprising. 제 7 항 또는 제 8 항에 있어서,The method according to claim 7 or 8, 저장된 눈 영상이 영상 통신 중의 상기 사용자 영상에 삽입된 영상의 경계면에 대해 저역통과 필터링을 수행하여 경계면 통과를 없애는 제 5 단계A fifth step of eliminating boundary pass by performing low pass filtering on the boundary of the image inserted into the user image during the video communication; 를 더 포함하는 시선일치 영상 획득 방법.Gaze matching image acquisition method further comprising. 프로세서를 구비한 시선일치 영상 획득 장치에,In the gaze matching image acquisition device having a processor, 카메라에 찍힌 두 영상에 대해 제1 소정크기의 제1 영상과 소정의 위치를 중심으로 하여 제2 소정크기의 위치이동이 있는 소정수의 제2 영상을 획득하는 제 1 기능;A first function of acquiring a predetermined number of second images having a position movement of a second predetermined size about a first image having a first predetermined size and a predetermined position with respect to two images captured by a camera; 상기 제1 영상과 상기 소정수의 제2 영상 각각을 합하여 소정수의 임시 시선일치 영상을 획득하고 오차를 확인하여 최저의 오차를 갖는 임시 시선일치 영상이 상기 제2 영상의 중심에서 얻은 영상인지를 판단하는 제 2 기능;The first image and each of the predetermined number of second images are combined to obtain a predetermined number of temporary gaze matching images, and to determine whether the temporary gaze matching image having the lowest error is an image obtained from the center of the second image. A second function of judging; 상기 제 2 기능의 판단 결과, 상기 제2 영상의 중심에서 얻은 상기 임시 시선일치 영상이 최저의 오차를 가지면 상기 임시 시선일치 영상을 시선일치 영상으로 판정하는 제 3 기능; 및A third function of determining the temporary gaze coincidence image as a gaze coincidence image when the temporary gaze coincidence image obtained at the center of the second image has the lowest error as a result of the determination of the second function; And 상기 제 2 기능의 판단 결과, 상기 임시 시선일치 영상이 최저의 오차를 가지지 않으면 소정수의 제2 영상 중에 경계에 도달한 영상이 있는가에 따라 소정수의 임시 시선일치 영상 중 최저의 오차를 갖는 영상을 시선일치 영상으로 판정하거나 최저의 오차를 가질 때의 제2 영상을 중심으로 하여 상기 제 1 기능의 제2 소정크기의 위치이동이 있는 소정수의 제2 영상을 획득하는 과정부터 반복 수행하는 제 4 기능As a result of the determination of the second function, if the temporary gaze coincidence image does not have a minimum error, an image having the lowest error among a predetermined number of temporary gaze coincidence images according to whether there is an image reaching a boundary among a predetermined number of second images. Is repeated as a gaze-matched image or a process of repeatedly acquiring a predetermined number of second images having a position shift of a second predetermined size of the first function based on the second image when the minimum error is obtained. 4 functions 을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for realizing this. 프로세서를 구비한 시선일치 영상 획득 장치에,In the gaze matching image acquisition device having a processor, 사용자로부터 시선일치 영상으로 사용할 눈 영상을 획득하여 저장하는 제 1 기능;A first function of acquiring and storing an eye image to be used as a gaze matching image from a user; 저장된 눈 영상을 삽입하기 위해 영상 통신 중의 상기 사용자로부터 얻어지는 영상에서 삽입 위치를 패턴 매칭을 통해 찾는 제 2 기능; 및A second function of finding an insertion position through pattern matching in an image obtained from the user during video communication to insert a stored eye image; And 저장된 시선일치를 위한 눈 영상을 찾아진 위치에 삽입하여 시선일치 영상을 획득하는 제 3 기능A third function of acquiring a gaze matching image by inserting an eye image for storing gaze matching into a found position 을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for realizing this.
KR1019990059254A 1999-12-20 1999-12-20 Apparatus and method for gaining vision alignment image in video phone KR100588742B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990059254A KR100588742B1 (en) 1999-12-20 1999-12-20 Apparatus and method for gaining vision alignment image in video phone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990059254A KR100588742B1 (en) 1999-12-20 1999-12-20 Apparatus and method for gaining vision alignment image in video phone

Publications (2)

Publication Number Publication Date
KR20010064876A KR20010064876A (en) 2001-07-11
KR100588742B1 true KR100588742B1 (en) 2006-06-13

Family

ID=19627167

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990059254A KR100588742B1 (en) 1999-12-20 1999-12-20 Apparatus and method for gaining vision alignment image in video phone

Country Status (1)

Country Link
KR (1) KR100588742B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011053315A1 (en) * 2009-10-30 2011-05-05 Hewlett-Packard Development Company, L.P. Video display systems
KR101252762B1 (en) * 2012-01-26 2013-04-12 (주) 피디케이리미티드 Apparatus and method for image synthesis in image conference terminal

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101585202B1 (en) * 2013-12-04 2016-01-25 이화여자대학교 산학협력단 Ring Voltage Controlled Oscillator
US9407871B2 (en) 2014-03-31 2016-08-02 Electronics And Telecommunications Research Instit Apparatus and method for controlling eye-to-eye contact function

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750819A (en) * 1993-03-30 1995-02-21 Nec Corp Video conference system
JPH0799644A (en) * 1993-09-29 1995-04-11 Canon Inc Visual communication equipment
JPH07111638A (en) * 1993-10-14 1995-04-25 Nippon Telegr & Teleph Corp <Ntt> Line of sight coincidence type display image pickup device for intra multi-spot video telephone
JPH09191452A (en) * 1996-01-09 1997-07-22 Konica Corp Video telephone system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750819A (en) * 1993-03-30 1995-02-21 Nec Corp Video conference system
JPH0799644A (en) * 1993-09-29 1995-04-11 Canon Inc Visual communication equipment
JPH07111638A (en) * 1993-10-14 1995-04-25 Nippon Telegr & Teleph Corp <Ntt> Line of sight coincidence type display image pickup device for intra multi-spot video telephone
JPH09191452A (en) * 1996-01-09 1997-07-22 Konica Corp Video telephone system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011053315A1 (en) * 2009-10-30 2011-05-05 Hewlett-Packard Development Company, L.P. Video display systems
US8964018B2 (en) 2009-10-30 2015-02-24 Hewlett-Packard Development Company, L.P. Video display systems
KR101252762B1 (en) * 2012-01-26 2013-04-12 (주) 피디케이리미티드 Apparatus and method for image synthesis in image conference terminal

Also Published As

Publication number Publication date
KR20010064876A (en) 2001-07-11

Similar Documents

Publication Publication Date Title
KR100881526B1 (en) Data transmission method, apparatus using same, and data transmission system
US9774896B2 (en) Network synchronized camera settings
US9491418B2 (en) Method of providing a digitally represented visual instruction from a specialist to a user in need of said visual instruction, and a system therefor
KR100836616B1 (en) Portable Terminal Having Image Overlay Function And Method For Image Overlaying in Portable Terminal
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
KR100588742B1 (en) Apparatus and method for gaining vision alignment image in video phone
JP2001326948A (en) Stereoscopic image display device
CN103329549B (en) Dimensional video processor, stereoscopic imaging apparatus and three-dimensional video-frequency processing method
US9113153B2 (en) Determining a stereo image from video
JP2020167600A (en) Image processing method, image processing apparatus, and head-mounted display
CN107613210B (en) Image display method and device, terminal and storage medium
KR101665988B1 (en) Image generation method
CN114007057A (en) Terminal, photographing method, photographing apparatus, and computer-readable storage medium
JPH1188912A (en) Compound eye camera and display control method for the compound eye camera
CN101742172A (en) Picture in picture display device having function of stereo display and method for displaying pictures
JP2002051315A (en) Data transmitting method and data transmitter, and data transmitting system
CN110288680A (en) Image generating method and mobile terminal
KR100755020B1 (en) Both Eyes 3D Camera of YUV Colour System and 3D Image Display and Processing Method Using The Same
JP2001320734A (en) Stereoscopic image display device
JP2008219744A (en) Terminal equipment with video telephone function and video telephone method
CN114390189A (en) Image processing method, device, storage medium and mobile terminal
JP2001320733A (en) Stereoscopic image display system, stereoscopic image display device, stereoscopic image display method and storage medium
KR100189488B1 (en) Method for converting digital stereoscopic image
JP7468391B2 (en) Image capture device and image capture processing method
JPH09191452A (en) Video telephone system

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110601

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee