KR20120064545A - 시선일치 기능을 구비한 영상통화 장치 및 그 방법 - Google Patents

Abstract

영상 통화 당사자간에 서로 시선을 일치시켜 통화할 수 있도록 하는 시선일치 기능을 구비한 영상통화 장치 및 그 방법이 개시된다. 영상통화 장치는 영상통화 상대방의 영상을 표시하고, 선택 제어신호에 상응하여 활성화되는 복수의 카메라가 설치된 디스플레이부와, 복수의 카메라 중 활성화된 카메라로부터 촬영된 영상을 부호화하고, 영상통화 상대방으로부터 제공된 영상을 복호화하여 복호화된 영상으로부터 영상통화 상대방의 눈 위치를 식별하는 영상처리부와, 복수의 카메라 중 영상통화 상대방의 눈 위치에 대응되는 위치에 설치된 카메라를 활성화시키는 카메라 선택부 및 영상처리부로부터 제공된 부호화된 영상을 영상통화 상대방에게 전송하고, 영상통화 상대방으로부터 수신한 영상을 상기 영상처리부에 제공하는 송수신부를 포함한다. 따라서, 시선 일치를 위해 별도의 거울이나 보조 장치 없이 용이하게 시선이 일치된 영상통화를 수행할 수 있다.

Description

시선일치 기능을 구비한 영상통화 장치 및 그 방법{VIDEO COMMUNICATING APPARATUS HAVING FUNCTION OF EYE-TO-EYE COMMUNICATION AND METHOD THEREOF}

본 발명은 영상통화 장치에 관한 것으로, 더욱 상세하게는 영상 통화 당사자간에 서로 시선을 일치시켜 통화할 수 있도록 하는 시선일치 기능을 구비한 영상통화 장치 및 그 방법에 관한 것이다.

최근들어, 사용자간의 통신은 음성만을 이용한 전화 또는 회의에서 영상을 이용한 전화 또는 회의로 변화하고 있다.

영상 통화시 영상통화 상대방간에 시선일치는 상대방이 대화에 어떤 자세로 임하고 있는지, 그리고 어느 정도 자신의 이야기에 관심을 가지고 있는지를 알게 해주는 것으로 영상통화에서 매우 중요한 요소이다. 시선일치는 대화를 시작하거나 자신이 말을 하기 시작한다는 단서를 제공함으로써 대화의 흐름을 조절하며, 통화자들 간에 상대방과의 대화에 흥미가 있다거나 주의를 기울이고 있음을 나타내는 무언의 언어가 된다. 또한, 감정을 전달하는데 있어서 중요한 역할을 하는 눈, 이마, 입, 얼굴 근육의 움직임을 통해 서로의 감정상태를 인지할 수 있다고 알려져 있다.

그러나, 현재 상용화되어 있는 대부분의 영상통화 장치들은 영상통화를 위한 카메라가 디스플레이 소자의 상단에 설치되기 때문에 영상통화 상대방과 시선을 맞추고 대화하는 것이 어렵고 이로 인해 현실감이 저하되는 문제가 있다. 특히 디스플레이 소자의 크기가 대형인 경우 상기와 같은 문제는 더욱 두드러지게 된다.

영상통화시 통화자들간에 시선을 일치시키기 위한 기술로는 크게 하드웨어적 접근방법과 소프트웨어적 접근방법이 있다.

하드웨어적 접근방법으로는 반투명 거울(HM, Half-transparent Mirror) 방식, BHM(Blazed Half-Mirror) 방식과 같은 광분할 방식, 공간분할 방식 및 시분할 방식 등이 있다.

반투명 거울 방식은 사용자가 스크린을 바라보고 있는 모습이 반투명 거울에 반사되어 카메라로 입력되도록 한 것으로, 모니터 앞에 반투명 거울이 45도 기울어져 있어야 하므로 모니터 크기에 비례하여 사용자와 모니터 간의 거리가 증가하게 되어 전체 시스템 크기가 커진다는 문제점이 있다. 또한, 반투명 거울 방식은 반투명 거울이 빛의 양을 반만 통과시키고 나머지는 반사시키기 때문에 사용자가 보는 화면이 흐려지고, 카메라 설치를 위한 별도의 기구가 필요한 문제점이 있다.

BHM 방식은 작은 크기의 반투명 거울을 여러 개 배치하여 반투명 거울이 모니터와 평행하게 되도록 하고 카메라를 BHM의 반사각과 수직이 되도록 배치한 것으로, 상기 반투명 거울 방식에서 반투명 거울과 모니터 사이의 거리가 커지는 문제점을 보완하였다. 그러나, BHM 방식은 특수하게 제작된 반투명 거울이 필요하며 카메라 설치를 위한 공간 제약 문제는 여전히 존재하게 된다.

공간분할 방식은 상대방의 눈이 디스플레이되는 위치의 스크린에 작은 구멍을 뚫고 거기에 작은 카메라를 설치 하며, 비디오 프로젝터를 사용하여 상대방의 모습을 스크린에 투영한 방식이다. 이 방식은 스크린에 구멍을 내야하는 번거로움과, 카메라 구멍이 상대방의 모습에 합쳐져서 보이는 단점이 있다. 또한, 비디오 프로젝터의 강한 빛이 카메라에 그대로 입력되므로, 편광필터 등을 사용하여 프로젝터에서 입사되는 광선과 사용자에게 반사되어 들어오는 광선을 구분해야 하는 문제점이 있다.

시분할 방식은 스위칭 가능한 LCD 패널 뒤에 카메라와 비디오 프로젝터를 두고 LCD를 구동시킬 때는 상대방 모습을 디스플레이하고, 구동시키지 않을 때는 투명한 LCD를 통해 사용자의 모습이 카메라에 캡쳐되도록 한 방식이다. 이 방식은 카메라나 디스플레이가 전체 시간의 반씩만 사용할 수 있으므로, 카메라에 입사되는 광선의 강도와 디스플레이되는 빛의 양이 감소한다는 문제점이 있다.

또한, 상기한 종래의 방법들은 카메라와 인물의 거리, 디스플레이 장치의 크기 등에 일정한 제한을 두고 시선을 맞추는 것과 유사한 효과를 내는 것이므로, 실제로 통화자 간에 시선맞춤이 제대로 이루어 지지 못하는 경우가 많다. 예를 들어, 촬영된 인물이 너무 크거나 작은 경우, 인물이 정중앙에 위치하지 않게되면 시선맞춤의 효과를 얻기는 어려우며, 디스플레이 장치가 커질수록 이와 같은 문제점은 더욱 두드러지게 된다.

기타, 소프트웨어적인 방법으로는 촬영된 영상을 3차원 처리하여 시선방향을 보정하는 방법이 있으나, 이와 같은 방법은 실물영상을 실시간으로 보정하여 출력해야 하기 때문에 현실적으로 지연없이 보정된 영상을 출력하기가 어렵고, 디스플레이 화면의 크기가 커질수록 지연시간은 더욱 증가하는 단점이 있다.

상기한 바와 같은 단점을 극복하기 위한 본 발명의 목적은 용이하게 시선 일치 영상 통화를 수행할 수 있도록 하는 시선일치 기능을 구비한 영상통화 장치를 제공하는 것이다.

또한, 본 발명의 다른 목적은 용이하게 시선 일치 영상 통화를 수행할 수 있도록 하는 영상통화 방법을 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 측면에 따른 시선 일치 영상통화 장치는 영상통화 상대방의 영상을 표시하고, 선택 제어신호에 상응하여 활성화되는 복수의 카메라가 설치된 디스플레이부와, 상기 복수의 카메라 중 활성화된 카메라로부터 촬영된 영상을 부호화하고, 영상통화 상대방으로부터 제공된 영상을 복호화하여 복호화된 영상으로부터 상기 영상통화 상대방의 눈 위치를 식별하는 영상처리부와, 상기 복수의 카메라 중 상기 영상통화 상대방의 눈 위치에 대응되는 위치에 설치된 카메라를 활성화시키는 카메라 선택부 및 상기 영상처리부로부터 제공된 부호화된 영상을 상기 영상통화 상대방에게 전송하고, 상기 영상통화 상대방으로부터 수신한 영상을 상기 영상처리부에 제공하는 송수신부를 포함한다.

상기 복수의 카메라 각각은 상기 디스플레이부의 표시 영역보다 더 넓은 영역을 촬영할 수 있다.

상기 영상처리부는 상기 복수의 카메라 중 미리 지정된 소정 카메라로부터 촬영된 영상을 제공받고, 제공받은 영상에 기초하여 사용자의 눈의 위치를 인식한 후, 인식된 사용자의 눈 위치에 대응되는 카메라의 위치를 판단한 후, 판단된 카메라의 위치 정보를 상기 카메라 선택부에 제공할 수 있다.

상기 카메라 선택부는 영상통화가 실행되면 상기 미리 지정된 소정 카메라를 활성화시킨 후, 상기 영상처리부로부터 상기 판단된 카메라의 위치 정보가 제공되면 상기 복수의 카메라 중 상기 영상처리부로부터 제공된 상기 판단된 카메라 위치 정보에 상응하는 카메라를 활성화시키는 위한 선택 제어신호를 제공할 수 있다.

상기 영상처리부는 상기 판단된 카메라의 위치 정보를 상기 촬영된 영상과 함께 부호화하여 상기 송수신부에 제공할 수 있다.

상기 영상처리부는 상기 영상통화 상대방의 영상을 복호화하여 영상통화 상대방의 활성화된 카메라의 위치 정보를 추출하여 상기 카메라 선택부에 제공할 수 있다.

또한, 본 발명의 다른 목적을 달성하기 위한 본 발명의 일 측면에 따른 영상통화 방법은, 영상통화 상대방으로부터 수신한 영상을 복호화하는 단계와, 복호화된 영상에서 상기 영상통화 상대방의 눈의 위치를 인식하는 단계와, 상기 영상통화 장치의 디스플레이부에 설치된 복수의 카메라 중 인식된 상기 영상통화 상대방의 눈의 위치에 해당하는 위치에 설치된 카메라를 활성화하는 단계 및 상기 활성화된 카메라로부터 제공된 촬영 영상을 부호화하여 상기 영상통화 상대방에게 전송하는 단계를 포함한다.

상기 복호화된 영상에서 상기 영상통화 상대방의 눈의 위치를 인식하는 단계는, 상기 복호화된 영상으로부터 상기 영상통화 상대방의 활성화된 카메라의 위치 정보를 추출할 수 있다.

상기 영상통화 방법은 상기 복호화된 영상에서 상기 영상통화 상대방의 눈의 위치를 인식하는 단계 이후에, 인식된 상기 영상통화 상대방의 눈의 위치에 상응하여 상기 복호화된 영상이 표시될 위치를 조정하여 표시하는 단계를 더 포함할 수 있다.

상기 복호화된 영상이 표시될 위치를 조정하여 표시하는 단계는, 상기 복호화된 영상에 포함된 상기 영상통화 상대방의 눈의 위치가 상기 활성화된 카메라와 일치하도록 상기 복호화된 영상의 표시 위치를 조정할 수 있다.

또한, 본 발명의 다른 목적을 달성하기 위한 본 발명의 다른 측면에 따른 영상통화 방법은, 사용자의 영상을 촬영하는 단계와, 촬영된 상기 사용자의 영상에 기초하여 사용자의 눈 위치를 검출하는 단계와, 영상통화 장치의 디스플레이부에 설치된 복수의 카메라 중 검출된 상기 사용자의 눈 위치에 해당하는 위치에 설치된 카메라를 활성화하는 단계 및 상기 활성화된 카메라로부터 제공된 촬영 영상을 부호화하여 영상통화 상대방에게 전송하는 단계를 포함한다.

상술한 바와 같은 시선일치 기능을 구비한 영상통화 장치 및 그 방법에 따르면, 영상통화 상대방으로부터 수신한 영상을 분석하여 영상통화 상대방의 눈 위치를 검출한 후, 디스플레이부에 설치된 복수의 카메라 중 상기 검출된 눈 위치에 해당하는 위치에 설치된 카메라를 활성화시켜 사용자의 영상을 촬영한 후 촬영된 영상을 부호화하여 영상통화 상대방의 영상통화 장치로 전송한다.

따라서, 시선 일치를 위해 별도의 거울이나 보조 장치 없이 용이하게 시선이 일치된 영상통화를 수행할 수 있고, 사용자의 눈 위치에 해당하는 카메라를 통해 영상을 촬영함으로써 선명한 영상 통화를 수행할 수 있다. 또한, 상기 시선일치 영상통화 방법이 다자간의 영상 통화에 확대 적용될 경우 복수의 영상 통화 상대방간에 서로 시선이 일치된 영상통화를 수행할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상통화 장치의 구성을 나타내는 블록도이다.
도 2는 도 1에 도시한 디스플레이부 및 카메라의 설치 구조를 나타내는 개념도이다.
도 3는 본 발명의 일 실시예에 따른 영상통화 방법을 설명하기 위한 개념도이다.
도 4는 본 발명의 일 실시예에 따른 영상통화 방법을 나타내는 흐름도이다.
도 5는 도 4에 도시한 영상통화 상대방의 눈 위치 인식 과정을 설명하기 위한 개념도이다.
도 6은 본 발명의 다른 실시예에 따른 영상 통화 방법을 나타내는 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

현재 디스플레이 기술은 종래의 브라운관 방식에서 PDP(Plasma Display Panel), LCD(Liquid Crystal Display) 장치 등과 같이 두께는 얇아지고, 화면표시 영역은 커지는 방향으로 발전하고 있고, 최근에는 투명 스크린 기술이 개발되고 있다. 또한, 이동 단말 등의 발전으로 인해 카메라 렌즈 또한 매우 작게 개발되고 있다.

영상통화시에 상대방과 시선을 맞추기 위해서는 카메라가 사용자의 눈위치에서 촬영한 후, 촬영된 영상을 영상통화 상대방의 장치에 표시하는 것이 바람직하다. 이를 위해 본 발명의 일 실시예에 따른 영상통화 장치에서는 복수의 카메라를 디스플레이 장치의 뒤에 설치하고, 설치된 복수의 카메라 중 눈 위치에 설치된 카메라를 구동시켜 통화자를 촬영한 후 이를 부호화한 후 전송한다.

상술한 바와 같이 최근에는 대화면의 디스플레이 장치 개발되고 있고, 카메라 모듈은 점점 더 소형화되고 있기 때문에 디스플레이 장치에 설치된 카메라의 노출을 최소화할 수 있고, 이를 통해 카메라를 통한 영상 촬영 및 디스플레이 장치를 통한 영상 출력 모두 정상적으로 수행될 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상통화 장치의 구성을 나타내는 블록도이고, 도 2는 도 1에 도시한 디스플레이부 및 카메라의 설치 구조를 나타내는 개념도이다.

도 1 및 도 2를 참조하면, 영상통화 장치(100)는 디스플레이부(110), 복수의 카메라(120), 제1 영상처리부(130), 송수신부(140), 제2 영상처리부(150) 및 카메라 선택부(150)를 포함한다.

디스플레이부(110)는 예를 들어, PDP, LCD 또는 OLED(Organic Light Emitting Diode)로 구성될 수 있고, 디스플레이부(110)에는 복수의 홀이 형성되고 각 홀에는 카메라(120)가 설치된다.

구체적으로, 디스플레이부(110)에는 카메라의 외경과 동일한 크기를 가지는 을 홀이 미리 설정된 거리만큼 이격되어 형성되고, 상기 각 홀에는 카메라(120)가 삽입된다. 여기서, 상기 디스플레이부(110)의 홀에 삽입된 카메라(120)는 렌즈면이 상기 디스플레이부(110)의 표면과 동일한 평면을 이루도록 설치될 수도 있고, 디스플레이부(110)의 표면으로부터 홀 내부로 일정거리 삽입하여 카메라(120)를 설치한 후, 카메라(120)의 촬영각을 보상하기 위하여 카메라(120)의 렌즈면과 디스플레이부(110)의 표면 사이의 거리에 해당하는 홀의 영역에 보상렌즈를 설치할 수도 있다.

또는, 카메라가 위치한 전면의 디스플레이부(110)에 투명스크린 기술을 이용하면 카메라가 활성화될 경우에만 작은 영역을 투명화하여 카메라 촬영을 원할하게 할 수 있다. 또는 카메라 촬영이 어려운 경우에는 적은 화소만 탈락시켜 카메라 촬영이 가능하도록 구성할 수도 있다.

상술한 바와 같이 본 발명의 일 실시예에 따른 영상통화 장치에서는 상기 디스플레이부(110) 표면에 형성되어 있는 수많은 화소들의 일부 위치에 복수의 홀을 형성하고, 형성된 각 홀에 카메라를 설치하였기 때문에 영상 통화 상대방으로부터 수신된 영상을 표시하거나, 사용자의 영상을 촬영하는데는 전혀 문제가 없다.

디스플레이부(110)는 제2 영상처리부(150)로부터 영상통화 상대방의 복호화된 영상을 제공받고 제공받은 영상을 표시한다.

복수의 카메라(120)는 디스플레이부(110)에 형성된 복수의 홀에 각각 설치된다. 복수의 카메라(120)에 포함된 각각의 카메라는 카메라 선택부(160)의 선택 제어신호에 상응하여 활성화되거나 비활성화되고, 활성화된 카메라는 사용자의 영상을 촬영하여 제1 영상처리부(130)에 제공한다. 여기서, 상기 복수의 카메라(120) 각각은 상기 디스플레이부(110)의 해상도 보다 더 넓은 화각을 촬영할 수 있도록 구성될 수 있다. 예를 들어, 상기 디스플레이부(110)의 해상도가 1024ㅧ768인 경우, 디스플레이부(110)에 설치된 각 카메라(120)는 상기 디스플레이부(120)의 표시 영역(즉, 1024ㅧ768) 보다 더 넓은 영역을 촬영할 수 있는 화각(예를 들면, 1920ㅧ1024)을 가지도록 구성될 수 있다.

제1 영상처리부(130)는 복수의 카메라(120) 중 선택된 적어도 하나의 카메라로부터 촬영된 영상을 제공받고 영상 부호화 규격에 따라 제공받은 영상을 부호화한 후 송수신부(140)에 제공한다.

또는, 본 발명의 다른 실시예에서 제1 영상처리부(130)는 상기 복수의 카메라(120) 중 소정 카메라로부터 촬영된 영상을 제공받고, 제공받은 영상에 기초하여 사용자의 눈의 위치를 인식한 후, 인식된 사용자의 눈 위치에 대응되는 카메라의 위치를 판단한 후, 판단된 카메라의 위치 정보를 카메라 선택부(160)에 제공함과 동시에 상기 카메라의 위치 정보를 촬영된 영상과 함께 부호화하여 송수신부(140)를 통해 영상통화 상대방의 영상통화 장치에 전송하도록 구성될 수도 있다.

송수신부(140)는 유선 및/또는 무선 네트워크 인터페이스로 구성될 수 있고, 제1 영상처리부(130)로부터 제공된 영상을 영상통화 상대방의 영상통화 장치에 전송하거나, 영상통화 상대방으로부터 전송된 영상을 제2 영상처리부(150)에 제공한다.

제2 영상처리부(150)는 송수신부(140)를 통해 영상통화 상대방으로부터 전송된 영상을 제공받고, 제공받은 영상을 복호화하여 디스플레이부(110)에 제공한다.

또한, 제2 영상처리부(150)는 상기 영상통화 상대방의 영상을 복호화한 후, 복호화한 영상통화 상대방의 영상으로부터 영상통화 상대방의 눈의 위치를 인식한 후, 인식된 눈의 위치 정보를 카메라 선택부(160)에 제공한다. 여기서, 제2 영상처리부(150)는 영상통화 상대방으로부터 전송된 영상에 카메라 위치 정보가 포함된 경우에는 상술한 영상통화 상대방의 눈의 위치를 인식하기 위한 처리 과정을 수행하지 않고, 복호화된 영상으로부터 영상통화 상대방의 카메라 위치 정보(즉, 활성화된 카메라의 위치 정보)를 추출하여 상기 카메라 선택부(160)에 제공할 수 있다.

카메라 선택부(150)는 디스플레이부(110)에 설치된 복수의 카메라(120)와 연결되고, 제2 영상처리부(150)으로부터 제공된 영상통화 상대방의 카메라 위치 정보에 상응하여, 상기 복수의 카메라(120) 중 영상통화 상대방의 카메라 위치에 대응되는 카메라를 활성화시키기 위한 선택 제어신호를 해당 카메라에 제공한다. 여기서, 카메라 선택부(150)는 활성화된 카메라의 위치 정보를 직접 디스플레이부(110)에 제공하거나, 제2 영상처리부(150)를 통해 디스플레이부(110)에 제공하여 디스플레이부(110)에 활성화된 카메라의 위치가 표시되도록 함으로써, 사용자가 활성화된 카메라를 인지하여 활성화된 카메라를 응시면서 영상통화를 수행하도록 구성될 수도 있다.

또는, 본 발명의 다른 실시예에서 카메라 선택부(150)는 영상통화가 시작되면, 복수의 카메라(120) 중 미리 정해진 소정 카메라를 구동시킨 후 제1 영상처리부(130)로부터 특정 카메라의 위치 정보(즉, 사용자의 눈 위치에 대응되는 카메라)가 제공되면, 이에 상응하여 복수의 카메라(120) 중 사용자의 눈 위치에 대응되는 카메라를 활성화시키는 위한 선택 제어신호를 해당 카메라에 제공하도록 구성될 수도 있다.

도 3는 본 발명의 일 실시예에 따른 영상통화 방법을 설명하기 위한 개념도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 영상 통화 방법에서는 디스플레이부(110)에 설치된 복수의 카메라(120) 중 영상통화 상대방의 눈 위치에 대응되는 위치에 설치된 카메라(121)를 활성화시켜 사용자를 촬영한 후, 이를 미리 정해진 규격에 따라 부호화한 후 영상통화 상대방의 영상통화 장치로 전송함으로써, 사용자와 영상통화 상대방이 서로 시선을 일치시킨 상태에서 영상통화를 수행할 수 있도록 한다.

도 4는 본 발명의 일 실시예에 따른 영상통화 방법을 나타내는 흐름도이다. 또한, 도 5는 도 4에 도시한 영상통화 상대방의 눈 위치 인식 과정을 설명하기 위한 개념도이다.

도 4 및 도 5를 참조하면, 영상 통화가 시작되면 사용자의 영상통화 장치(이하, '송신영상통화 장치'라 지칭함)는 영상통화 상대방의 영상통화 장치(이하, '수신영상통화 장치'라 지칭함)로부터 영상통화 상대방의 영상을 수신하고(단계 410), 수신된 영상을 복호화한다(단계 420).

이후, 송신영상통화 장치는 복호화된 영상통화 상대방의 영상으로부터 눈 위치를 인식한다(단계 430). 여기서, 송신영상통화 장치는 복호화된 영상통화 상대방의 영상에 대해 영상처리를 수행하여 영상통화 상대방의 눈의 위치를 인식할 수도 있고, 수신영상통화 장치로부터 제공된 부호화된 영상에 포함된 카메라 위치 정보를 추출함으로써 인식할 수도 있다.

이후, 송신영상통화 장치는 상술한 바와 같이 인식한 영상통화 상대방의 눈 위치 또는 영상통화 상대방을 촬영한 카메라 위치에 대응되는 카메라를 활성화시킨다(단계 440).

송신영상통화 장치는 활성화된 카메라를 통해 사용자의 영상을 촬영하고, 촬영된 영상을 부호화한 후 부호화된 사용자의 영상을 수신영상통화 장치에 전송한다(단계 450).

영상통화 과정에서 디스플레이부에 설치된 카메라의 수에 비해 디스플레이부의 표시 영역 크기가 매우 큰 경우에는, 영상통화 상대방의 눈의 위치에 대응하는 위치에 설치된 카메라가 존재하지 않을 수도 있다. 이와 같은 경우, 카메라의 촬영 범위가 디스플레이부의 표시영역 보다 더 넓은 범위를 촬영하여 전송한 후, 이를 수신한 영상통화 장치에서 출력 영상의 위치를 조정하여 영상통화 상대방의 눈의 위치에 카메라가 위치하도록 할 수도 있다.

즉, 도 5의 (a)에 도시된 바와 같이 디스플레이부(110)에 설치된 카메라(130)의 수보다 디스플레이부(110)의 표시영역이 더 큰 경우, 활성화된 카메라(122)가 디스플레이부(110)의 표시영역보다 더 넓은 영역(111)을 촬영한 후, 이를 부호화하여 전송하면, 사용자의 영상통화 장치는 상기 촬영 영상(111)을 수신하여 복호화한 후, 복호화된 영상에서 영상통화 상대방의 눈의 위치를 인식하고, 인식된 눈의 위치와 가장 근접한 카메라(123)를 활성화시킨 후, 도 5의 (b)에 도시한 바와 같이 상기 활성화된 카메라(123)의 위치와 상기 영상통화 상대방의 눈의 위치가 일치할 수 있도록 상기 복호화된 촬영 영상(111)의 표시 영역을 조정(예를 들면, 영상 이동, 확대, 축소 또는 크롭 등)하여 출력한다.

또는, 도 5의 (a)에 도시된 바와 같이 디스플레이부(110)에 설치된 카메라(130)의 수보다 디스플레이부(110)의 표시영역이 더 큰 경우, 활성화된 카메라(122)가 디스플레이부(110)의 표시영역보다 더 넓은 영역(111)을 촬영한 후, 이를 부호화하여 전송하기 전에, 도 5의 (b)에 도시한 바와 같이 영상을 조정하여 활성화된 카메라의 위치와 사용자의 눈 위치를 일치시킨 후, 이를 부호화하여 영상통화 상대방의 영상통화 장치로 전송하도록 구성될 수도 있다. 이와 같은 경우, 상기 영상을 수신한 영상통화 장치에서는 도 5의 (b)에 도시한 영상 조정과정을 수행할 필요가 없다. 상기한 바와 같이 표시범위를 조정하는 방법을 사용하면 일정크기로 제한된 영상 단말(예를 들면, 휴대전화 등)에서는 단일 카메라만 이용하여 시선맞춤 효과를 충분히 거둘 수 있다.

상술한 바와 같은 본 발명의 일 실시예에 따른 영상통화 방법은 복수의 사용자간에 영상통화를 수행하는 경우에도 적용될 수 있다.

즉, 복수의 영상통화 상대방으로부터 각각 수신한 영상에 대해 각각의 해당 영상통화 상대방의 눈 위치를 인식하고, 디스플레이부에 설치된 복수의 카메라 중 인식한 각 영상통화 상대방의 눈 위치에 해당하는 카메라를 활성화시킨 후, 활성화된 각 카메라가 일정 영역을 촬영하도록 한 후, 촬영된 영상을 조합하여 부호화한 후 전송함으로써 영상통화 장치에 포함된 하나의 디스플레이부를 통해 복수의 사용자간 시선이 일치된 영상통화를 수행할 수 있다.

상기 시선맞춤을 위한 모든 방법은 영상통화중에 주기적으로 수행되도록 함으로써 사용자의 이동에 따라 사용자의 눈위치에 해당하는 카메라를 선택적으로 활성화시킴으로써 영상통화 중 사용자의 이동에 상관없이 항상 시선이 일치되도록 할 수 있다.

도 6은 본 발명의 다른 실시예에 따른 영상 통화 방법을 나타내는 흐름도로서, 송신영상통화 장치에서 사용자의 눈 위치에 해당하는 카메라를 활성화시켜 영상을 촬영한 후 촬영된 영상을 부호화하여 영상통화 상대방의 수신영상통화 장치에 전송하는 과정을 나타낸다.

도 6을 참조하면, 송신영상통화 장치는 영상통화가 실행되면, 디스플레이부에 설치된 소정 카메라를 활성화시켜 사용자의 영상을 촬영한다(단계 610).

이후, 송신영상통화 장치는 촬영된 영상을 분석하여 사용자의 눈 위치를 검출하고(620), 검출된 사용자의 눈 위치에 해당하는 위치에 설치된 카메라를 활성화시킨다(단계 630). 여기서, 단계 610에서 활성화된 카메라와 단계 630에서 활성화시키는 카메라가 동일한 경우에는 단계 610에서 활성화된 카메라를 계속 활성화시키고, 단계 610 및 단계 630에서 활성화한 카메라가 서로 다른 경우에는 단계 610에서 활성화시킨 카메라는 비활성화시킨다.

또한, 단계 620에서 사용자의 눈 위치가 검출되지 않는 경우에는 단계 610에서 활성화시킨 카메라를 비활성화시키고, 인접한 다른 카메라를 활성화시킨 후 단계 620 및 630을 반복 수행한다.

이후, 송신영상통화 장치는 단계 630에서 활성화된 카메라를 통해 사용자의 영상을 촬영하고(단계 640), 촬영된 영상을 미리 설정된 부호화 규격에 따라 부호화한 후, 영상통화 상대방의 수신영상통화 장치에 전송한다(650).

또한, 송신영상통화 장치는 선택적으로, 영상통화가 종료되었는가를 판단하고(단계 660), 영상통화가 종료되지 않은 것으로 판단되면 단계 620으로 되돌아가서 이후의 단계를 수행함으로써, 사용자의 이동에 따라 사용자의 눈위치에 해당하는 카메라를 선택적으로 활성화시킴으로써 영상통화 중 사용자의 이동에 상관없이 항상 시선이 일치되도록 할 수 있다.

또한, 도 6에 도시한 바와 같은 영상 통화 방법을 사용할 경우, 사용자의 움직임과 상관없이 자신의 모습이 항상 상대방의 디스플레이부의 지정된 위치에 머물도록 만들 수 있다.

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

110 : 디스플레이부 120 : 카메라
130 : 제1 영상처리부 140 : 제2 영상처리부
150 : 송수신부 160 : 카메라 선택부

Claims (11)

1. 영상통화 상대방의 영상을 표시하고, 선택 제어신호에 상응하여 활성화되는 복수의 카메라가 설치된 디스플레이부;
   상기 복수의 카메라 중 활성화된 카메라로부터 촬영된 영상을 부호화하고, 영상통화 상대방으로부터 제공된 영상을 복호화하여 복호화된 영상으로부터 상기 영상통화 상대방의 눈 위치를 식별하는 영상처리부;
   상기 복수의 카메라 중 상기 영상통화 상대방의 눈 위치에 대응되는 위치에 설치된 카메라를 활성화시키는 카메라 선택부; 및
   상기 영상처리부로부터 제공된 부호화된 영상을 상기 영상통화 상대방에게 전송하고, 상기 영상통화 상대방으로부터 수신한 영상을 상기 영상처리부에 제공하는 송수신부를 포함하는 영상통화 장치.
2. 제1항에 있어서, 상기 복수의 카메라 각각은
   상기 디스플레이부의 표시 영역보다 더 넓은 영역을 촬영하는 것을 특징으로 하는 영상통화 장치.
3. 제1항에 있어서, 상기 영상처리부는
   상기 복수의 카메라 중 미리 지정된 소정 카메라로부터 촬영된 영상을 제공받고, 제공받은 영상에 기초하여 사용자의 눈의 위치를 인식한 후, 인식된 사용자의 눈 위치에 대응되는 카메라의 위치를 판단한 후, 판단된 카메라의 위치 정보를 상기 카메라 선택부에 제공하는 것을 특징으로 하는 영상통화 장치.
4. 제3항에 있어서, 상기 카메라 선택부는
   영상통화가 실행되면 상기 미리 지정된 소정 카메라를 활성화시킨 후, 상기 영상처리부로부터 상기 판단된 카메라의 위치 정보가 제공되면 상기 복수의 카메라 중 상기 영상처리부로부터 제공된 상기 판단된 카메라 위치 정보에 상응하는 카메라를 활성화시키는 위한 선택 제어신호를 제공하는 것을 특징으로 하는 영상통화 장치.
5. 제3항에 있어서, 상기 영상처리부는
   상기 판단된 카메라의 위치 정보를 상기 촬영된 영상과 함께 부호화하여 상기 송수신부에 제공하는 것을 특징으로 하는 영상통화 장치.
6. 제1항에 있어서, 상기 영상처리부는
   상기 영상통화 상대방의 영상을 복호화하여 영상통화 상대방의 활성화된 카메라의 위치 정보를 추출하여 상기 카메라 선택부에 제공하는 것을 특징으로 하는 영상통화 장치.
7. 영상통화 장치의 영상통화 수행 방법에 있어서,
   영상통화 상대방으로부터 수신한 영상을 복호화하는 단계;
   복호화된 영상에서 상기 영상통화 상대방의 눈의 위치를 인식하는 단계;
   상기 영상통화 장치의 디스플레이부에 설치된 복수의 카메라 중 인식된 상기 영상통화 상대방의 눈의 위치에 해당하는 위치에 설치된 카메라를 활성화하는 단계; 및
   상기 활성화된 카메라로부터 제공된 촬영 영상을 부호화하여 상기 영상통화 상대방에게 전송하는 단계를 포함하는 영상통화 방법.
8. 제7항에 있어서, 상기 복호화된 영상에서 상기 영상통화 상대방의 눈의 위치를 인식하는 단계는,
   상기 복호화된 영상으로부터 상기 영상통화 상대방의 활성화된 카메라의 위치 정보를 추출하는 것을 특징으로 하는 영상통화 방법.
9. 제7항에 있어서, 상기 영상통화 방법은
   상기 복호화된 영상에서 상기 영상통화 상대방의 눈의 위치를 인식하는 단계 이후에, 인식된 상기 영상통화 상대방의 눈의 위치에 상응하여 상기 복호화된 영상이 표시될 위치를 조정하여 표시하는 단계를 더 포함하는 것을 특징으로 하는 영상통화 방법.
10. 제9항에 있어서, 상기 복호화된 영상이 표시될 위치를 조정하여 표시하는 단계는,
    상기 복호화된 영상에 포함된 상기 영상통화 상대방의 눈의 위치가 상기 활성화된 카메라와 일치하도록 상기 복호화된 영상의 표시 위치를 조정하는 것을 특징으로 하는 영상통화 방법.
11. 영상통화 장치의 영상통화 수행 방법에 있어서,
    사용자의 영상을 촬영하는 단계;
    촬영된 상기 사용자의 영상에 기초하여 사용자의 눈 위치를 검출하는 단계;
    영상통화 장치의 디스플레이부에 설치된 복수의 카메라 중 검출된 상기 사용자의 눈 위치에 해당하는 위치에 설치된 카메라를 활성화하는 단계; 및
    상기 활성화된 카메라로부터 제공된 촬영 영상을 부호화하여 영상통화 상대방에게 전송하는 단계를 포함하는 영상통화 방법.

Images