KR20150113795A - 눈맞춤 기능 제어 장치 및 방법 - Google Patents

눈맞춤 기능 제어 장치 및 방법 Download PDF

Info

Publication number
KR20150113795A
KR20150113795A KR1020140106160A KR20140106160A KR20150113795A KR 20150113795 A KR20150113795 A KR 20150113795A KR 1020140106160 A KR1020140106160 A KR 1020140106160A KR 20140106160 A KR20140106160 A KR 20140106160A KR 20150113795 A KR20150113795 A KR 20150113795A
Authority
KR
South Korea
Prior art keywords
eye
participant
remote participant
video conference
information
Prior art date
Application number
KR1020140106160A
Other languages
English (en)
Inventor
이미숙
황인기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/625,962 priority Critical patent/US9407871B2/en
Publication of KR20150113795A publication Critical patent/KR20150113795A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact

Abstract

본 발명은 영상회의 시스템에서 영상합성 방식 등을 이용한 눈맞춤 기능 제공 시 로컬 참여자의 시선 정보와 스크린상의 원격 참여자의 위치 정보를 이용하여 눈맞춤 기능을 제어함으로써 자연스러운 눈맞춤을 제공하여 원격회의에 대한 몰입감을 높일 수 있는, 눈맞춤 기능 제어 장치 및 방법에 관한 것이다.

Description

눈맞춤 기능 제어 장치 및 방법{Apparatus and Method for Controlling Eye-contact Function}
본 발명은 영상회의(telepresence)를 위한 눈맞춤 제어 장치 및 방법에 관한 것으로서, 특히, 영상회의 시 원격 참여자들 간의 자연스러운 눈맞춤을 제공하기 위한 눈맞춤 기능 제어 장치 및 방법에 관한 것이다.
일반적으로, 사람들간의 대화에서 눈맞춤은 상대방이 어느 정도 자신의 이야기에 집중하고 있는지를 알게 해주는 중요한 요소이다. 눈맞춤은 말로 표현되지 않는 상대방의 반응과 감정을 알게 해주는 무언의 언어이며, 눈을 맞추는 상대에 대해서는 신뢰도와 친밀감이 증가한다는 연구 결과도 있다. 따라서 영상회의 시스템을 이용한 회의에서 원격 참여자들 간의 눈맞춤은 회의에 대한 몰입감을 높여주는 핵심기술 중 하나로 주목 받고 있다.
일반적으로 영상회의 시스템에서 카메라는 도 1과 같이 스크린(또는 모니터) 위에 설치 운영된다. 따라서 로컬 참여자가 스크린에 나타난 원격 참여자의 얼굴을 바라보더라도 카메라가 스크린의 위에 있기 때문에 스크린을 바라보는 로컬 참여자에 대하여 발생하는 각도 차이(θ)에 의해, 원격 참여자에게 보여지는 카메라로 획득한 영상에서는 로컬 참여자의 시선이 아래쪽을 향하고 있게 된다. 따라서 실제로는 로컬 참여자가 스크린에 나타난 원격 참여자의 눈(또는 얼굴)을 바라보고 있지만, 원격 참여자는 상대방이 자신의 눈(또는 얼굴)이 아닌 아래쪽을 바라보고 있다고 느끼게 된다. 반대로, 만일 카메라가 스크린의 아래쪽에 위치하게 되면 로컬 참여자가 스크린에 있는 원격 참여자를 보고 있더라도, 카메라로 획득한 영상에서는 로컬 참여자의 시선이 위쪽을 향하게 된다.
이러한 문제점을 해결하기 위해 많은 기관들에서 눈맞춤 기술에 대한 연구를 진행하고 있다. 영상회의 시스템을 위한 눈맞춤 기술은 크게 두 가지 방식 즉, 물리적 방식과 영상합성 방식으로 연구가 진행되고 있다.
물리적 방식은 카메라의 위치를 조정하여 눈맞춤 영상을 제공하는 기술을 의미한다. 일반적으로는 반투과 스크린 뒤의 중앙에 카메라를 위치시키거나 카메라 위치를 가능한 한 로컬 참여자의 눈높이로 조정하여 영상을 획득함으로써 눈맞춤을 제공한다. 이와 같은 물리적 방식에서 전자의 경우 별도의 시스템 설치가 필요하고, 후자의 경우에는 로컬 참여자의 시선을 가릴 수 있다는 문제점이 있다.
영상합성 방식은 한 대 이상의 카메라를 통해 획득한 영상을 이용하여 눈맞춤 영상을 합성하는 기술을 의미한다. 대표적인 방법으로는 눈맞춤을 위한 영상을 미리 저장해 놓았다가 카메라로 획득한 영상에서 눈 부분만 눈맞춤 영상으로 대체하거나 스테레오 매칭과 같은 영상처리 방식을 통해 3차원 영상을 합성한 후에 정면으로 시점을 변환하여 눈맞춤을 제공하는 방법이 있다. 이 방식에서는 실시간으로 자연스러운 눈맞춤 영상을 합성하는 것이 매우 중요하다. 또한 이러한 눈맞춤 기술을 적용함에 있어서 로컬 참여자가 상대방의 눈(또는 얼굴)이 아닌 다른 곳을 바라보고 있을 때 눈맞춤을 적용하면 매우 부자연스러운 영상이 합성된다.
국내 특허등록번호 10-0588742 (2006. 06. 02 공고)
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 영상회의 시스템에서 영상합성 방식 등을 이용한 눈맞춤 기능 제공 시 로컬 참여자의 시선 정보와 스크린상의 원격 참여자의 위치 정보를 이용하여 눈맞춤 기능을 제어함으로써 자연스러운 눈맞춤을 제공하여 원격회의에 대한 몰입감을 높일 수 있는, 눈맞춤 기능 제어 장치 및 방법을 제공하는 데 있다.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의일면에 따른 영상회의 시스템의 눈맞춤 기능 제어를 위한 영상회의 제어 방법은, 카메라 영상으로부터 실시간으로 로컬 참여자의 시선 정보를 생성하는 단계; 네트워크를 통해 원격 참여자의 영상회의 시스템으로부터 수신한 텔레프리젠스 데이터로부터 실시간으로 영상 회의용 디스플레이 장치의 스크린 상에 표시되는 원격 참여자에 대한 눈 또는 얼굴 위치 정보를 생성하는 단계; 및 상기 로컬 참여자의 시선 정보와 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보를 이용하여, 상기 카메라 영상에 눈맞춤 기능의 적용 여부를 결정하는 단계를 포함한다.
상기 영상회의 제어 방법은, 상기 눈맞춤 기능의 적용 여부의 결정에 따라 상기 카메라 영상 중 상기 로컬 참여자의 눈이 상기 원격 참여자의 눈 또는 얼굴을 바라보는 영상으로의 영상 조정을 수행하는 단계를 더 포함한다.
상기 영상회의 제어 방법은, 상기 영상 조정으로 생성한 조정된 영상을 포함하는 텔레프리젠스 데이터를 상기 원격 참여자의 영상회의 시스템으로 전송하는 단계를 더 포함한다.
상기 로컬 참여자의 시선 정보를 생성하는 단계는, 상기 로컬 참여자의 시선이 상기 디스플레이 장치 스크린 상의 원격 참여자 표시 영역을 향하고 있는지 여부에 대한 정보를 상기 시선 정보로서 생성하는 단계를 포함한다.
상기 로컬 참여자의 시선 정보를 생성하는 단계는, 상기 로컬 참여자의 시선이 상기 디스플레이 장치 스크린 상의 원격 참여자 표시 영역이나 그 상하좌우 중 어느 방향을 향하는지를 나타내는 정보, 또는 상기 로컬 참여자의 실질적인 시선 방향에 대한 정보를 상기 시선 정보로서 생성하는 단계를 포함한다.
상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보를 생성하는 단계는, 상기 카메라 또는 소정의 기준점에 상대적인 좌표를 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보로서 생성하는 단계를 포함한다.
상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보를 생성하는 단계는, 상기 디스플레이 장치 스크린 상의 영상에 상기 원격 참여자에 대한 눈 또는 얼굴이 없는 경우에는 미리 정한 소정의 코드를 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보로서 생성하는 단계를 포함한다.
상기 눈맞춤 기능의 적용 여부를 결정하는 단계는, 상기 로컬 참여자의 시선 정보에 따라 상기 로컬 참여자가 상기 디스플레이 장치 스크린 상의 원격 참여자 표시 영역 방향을 보고 있으며, 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보에 따라 상기 원격 참여자의 시선이 앞쪽인 경우에는, 상기 눈맞춤 기능의 적용을 결정하는 단계를 포함한다.
상기 눈맞춤 기능의 적용 여부를 결정하는 단계는, 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보에 따라, 상기 원격 참여자의 시선이 앞쪽이 아니거나 상기 디스플레이 장치 스크린 상의 영상에 상기 원격 참여자의 눈 또는 얼굴이 없는 경우, 상기 눈맞춤 기능의 적용 배제를 결정하는 단계를 포함한다.
그리고, 본 발명의 다른 일면에 따른 영상회의 시스템의 눈맞춤 기능 제어를 위한 영상회의 제어 장치는, 카메라 영상으로부터 실시간으로 로컬 참여자의 시선 정보를 생성하는 시선 추적부; 네트워크를 통해 원격 참여자의 영상회의 시스템으로부터 수신한 텔레프리젠스 데이터로부터 실시간으로 영상 회의용 디스플레이 장치의 스크린 상에 표시되는 원격 참여자에 대한 눈 또는 얼굴 위치 정보를 생성하는 얼굴 위치 추적부; 및 상기 로컬 참여자의 시선 정보와 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보를 이용하여, 상기 카메라 영상에 눈맞춤 기능의 적용 여부를 결정하는 결정부를 포함한다.
상기 영상회의 제어 장치는, 상기 결정부의 결정에 따라 상기 카메라 영상 중 상기 로컬 참여자의 눈이 상기 원격 참여자의 눈 또는 얼굴을 바라보는 영상으로의 영상 조정을 수행하는 영상 조정부를 더 포함한다.
상기 영상회의 제어 장치는, 상기 영상 조정부가 수행하여 생성한 조정된 영상을 포함하는 텔레프리젠스 데이터를 상기 원격 참여자의 영상회의 시스템으로 전송하는 전송부를 더 포함한다.
상기 시선 추적부는, 상기 로컬 참여자의 시선이 상기 디스플레이 장치 스크린 상의 원격 참여자 표시 영역을 향하고 있는지 여부에 대한 정보를 상기 시선 정보로서 생성할 수 있다.
상기 시선 추적부는, 상기 로컬 참여자의 시선이 상기 디스플레이 장치 스크린 상의 원격 참여자 표시 영역이나 그 상하좌우 중 어느 방향을 향하는지를 나타내는 정보, 또는 상기 로컬 참여자의 실질적인 시선 방향에 대한 정보를 상기 시선 정보로서 생성할 수도 있다.
상기 얼굴 위치 추적부는, 상기 카메라 또는 소정의 기준점에 상대적인 좌표를 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보로서 생성할 수 있다.
상기 얼굴 위치 추적부는, 상기 디스플레이 장치 스크린 상의 영상에 상기 원격 참여자에 대한 눈 또는 얼굴이 없는 경우에는 미리정한 소정의 코드를 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보로서 생성할 수도 있다.
상기 결정부는, 상기 로컬 참여자의 시선 정보에 따라 상기 로컬 참여자가 상기 디스플레이 장치 스크린 상의 원격 참여자 표시 영역 방향을 보고 있으며, 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보에 따라 상기 원격 참여자의 시선이 앞쪽인 경우에는, 상기 눈맞춤 기능의 적용을 결정할 수 있다.
상기 결정부는,상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보에 따라, 상기 원격 참여자의 시선이 앞쪽이 아니거나 상기 디스플레이 장치 스크린 상의 영상에 상기 원격 참여자의 눈 또는 얼굴이 없는 경우, 상기 눈맞춤 기능의 적용 배제를 결정할 수도 있다.
상술한 바와 같이 본 발명의 영상회의 시스템의 눈맞춤 기능 제어 장치 및 방법에 따르면, 눈맞춤 기능을 갖는 영상회의 시스템에서 로컬 참여자의 시선정보와 스크린에 재생된 원격 참여자의 위치 정보를 이용하여 눈맞춤 기능을 제어함으로써 로컬 참여자와 원격 참여자간의 자연스러운 눈맞춤을 제공함으로써 원격회의 참여자들의 몰입도를 증대시킬 수 있다.
도 1은 일반적인 영상회의 시스템에서 카메라의 위치를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상회의 시스템에서 원격 참여자와 로컬 참여자 간의 눈맞춤 기능에 대한 개념을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상회의 시스템의 눈맞춤 기능 제어 장치를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 영상회의 시스템에서 눈맞춤 기능 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부된 도면들을 참조하여 본 발명에 대해서 자세히 설명한다. 이때, 각각의 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타낸다. 또한, 이미 공지된 기능 및/또는 구성에 대한 상세한 설명은 생략한다. 이하에 개시된 내용은, 다양한 실시 예에 따른 동작을 이해하는데 필요한 부분을 중점적으로 설명하며, 그 설명의 요지를 흐릴 수 있는 요소들에 대한 설명은 생략한다. 또한 도면의 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시될 수 있다. 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니며, 따라서 각각의 도면에 그려진 구성요소들의 상대적인 크기나 간격에 의해 여기에 기재되는 내용들이 제한되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 영상회의 시스템에서 원격 참여자(10)와 로컬 참여자(20) 간의 눈맞춤 기능에 대한 개념을 설명하기 위한 도면이다.
도 2와 같이, 본 발명의 일 실시예에 따른 영상회의 시스템은, 디스플레이 장치(210), 카메라(211), 및 영상과 음성 데이터 등 영상회의 시에 주고 받는 텔레프리젠스 데이터를 송수신하기 위한 소정의 영상회의 제어 장치(도시되지 않음) 등을 포함할 수 있다. 이외에도 영상회의 시스템에는 원격 영상회의 중 사용하기 위하여 추가적인 디스플레이 장치(220)가 더 포함될 수 있으며, 이와 같은 추가적인 디스플레이 장치(220)는 영상회의 중 회의 관련한 그래프, 동영상, 이미지, 기타 참고자료를 디스플레이할 수도 있고, 경우에 따라서는 3이상 다수 참여자의 영상회의에서 다른 원격 참여자의 영상을 디스플레이하기 위하여 사용될 수도 있다.
이하에서 본 발명의 일 실시예에 따른 영상회의 시스템에 대하여 로컬 참여자(20) 측에 구비되는 위와 같은 구성요소들을 중심으로 설명한다. 다만, 원격 참여자(10) 측에도 영상회의 시스템의 구성요소로 위와 같은 디스플레이 장치, 카메라, 및 텔레프리젠스 데이터를 송수신하기 위한 영상회의 제어 장치 등이나, 참고자료나 다른 참여자의 영상을 디스플레이하기 위한 별도의 추가 디스플레이 장치 등을 구비하고, 로컬 참여자(20) 측의 영상회의 시스템과 연동할 수 있다.
원격 참여자(10)의 영상회의 시스템과 로컬 참여자(20)의 영상회의 시스템 간의 연동은, 인터넷, 이동통신망(WCDMA, LTE,..), LAN, WiFi 망 등의 네트워크를 통해 가능하다.
먼저, 도 2의 (a)와 같이, 로컬 참여자(20)는 영상 회의용 디스플레이 장치(210)의 스크린에 표시된 원격 참여자(10)의 눈 또는 얼굴을 보고 있지만 카메라(211)가 스크린 밖(예, 위)에 위치하기 때문에, 카메라(211) 영상을 그대로 전송하는 경우에 원격 참여자(10)는 로컬 참여자(20)가 자신의 눈 또는 얼굴이 아닌 그 아래쪽을 보고 있다고 느끼게 된다. 이 경우에 본 발명에서는 하기하는 바와 같이 영상회의 제어 장치에서, 카메라(211)를 통해 획득한 로컬 참여자(20)의 영상에 눈맞춤 기능을 적용하여 아래쪽으로 향한 시선을 정면을 향하도록 조정한 영상을 전송함으로써, 원격 참여자(10)는 로컬 참여자(20)가 자신을 보고 있다는 느낌을 가지도록 할 수 있게 하였다.
그러나, 원격 영상회의 중에 도 2의 (b)와 같이 로컬 참여자(20)가 영상 회의용 디스플레이 장치(210)에 나타난 원격 참여자(10) 방향이 아닌, 별도의 추가 디스플레이 장치(220) 등 다른 곳을 바라보고 있을 경우에는, 눈맞춤 기능을 적용할 필요가 없다. 이 경우에는 로컬 참여자(20)의 영상에 눈맞춤 기능을 적용하면 오히려 부자연스러운 영상이 합성될 가능성 높다. 예를 들어, 도 2의 (b) 그림과 같은 환경에서, 카메라(211)로 로컬 참여자(20)에 대해 획득된 영상에 눈 부분만 정면을 바라보는 영상으로 대체하는 등 눈맞춤 기능을 적용할 경우에 로컬 참여자(20)의 얼굴 및 상체와 눈의 방향이 불일치하는 영상이 전송되어 매우 부자연스럽게 된다.
따라서, 본 발명에서는 로컬 참여자(20)가 원격 참여자(10)의 눈 또는 얼굴을 보고 있는 경우에는 눈맞춤 기능을 적용하고, 로컬 참여자(20)가 영상 회의용 디스플레이 장치(210)가 아닌 별도의 추가 디스플레이 장치(220) 등 다른 곳을 보고 있는 경우에는 눈맞춤 기능을 적용하지 않음으로써 불필요한 눈맞춤 기능 적용으로 인한 부자연스러운 눈맞춤 합성 영상이 야기할 수 있는 회의 몰입도 저하문제를 해결하고자 하였다.
즉, 도 2의 (a) 그림과 같이 로컬 참여자(20)가 영상 회의용 디스플레이 장치(210)의 스크린에 표시된 원격 참여자(10)의 눈 또는 얼굴을 보고 있는 경우에는 눈맞춤 기능을 적용하고, 도 2의 (b) 그림과 같이 로컬 참여자(20)가 영상 회의용 디스플레이 장치(210) 스크린상의 원격 참여자(10)의 얼굴이 아닌 별도의 추가 디스플레이 장치(220) 등 다른 곳을 보고 있는 경우에는 눈맞춤 기능을 적용하지 않도록 하였다.
이를 위해 본 발명에서는 로컬 참여자(20)의 시선과 영상 회의용 디스플레이 장치(210)에 표시된 원격 참여자(10)의 얼굴 위치를 고려하여 눈맞춤 기능 적용여부를 결정한다. 또한 눈맞춤 기능을 적용할 때는 로컬 참여자(20)의 시선 및 스크린상의 원격 참여자(10)의 얼굴 위치에 대한 정보를 이용함으로써 눈맞춤 기능의 성능을 높일 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상회의 시스템의 눈맞춤 기능 제어를 위한 영상회의 제어 장치(300)를 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 영상회의 시스템의 영상회의 제어 장치(300)는, 카메라(211)와 연동하는 시선 추적부(310), 원격 참여자(10)의 영상회의 시스템으로부터 텔레프리젠스 데이터를 수신하여 원격 참여자(10)의 눈 또는 얼굴 위치를 추적하는 스크린 얼굴 위치 추적부(320), 눈맞춤 기능의 적용 여부를 결정하는 결정부(330), 메모리(341) 등에 저장된 데이터를 이용하여 눈맞춤을 위한 영상 조정을 수행하는 영상 조정부(340), 원격 참여자(10)의 영상회의 시스템으로 텔레프리젠스 데이터를 전송하는 전송부(350)를 포함한다. 원격 참여자(10)의 영상회의 시스템으로부터 수신되는 텔레프리젠스 데이터는 디스플레이 장치(210)에서 처리되어 도 2와 같이 스크린에 원격 참여자(10)가 표시된다.
본 발명의 일 실시예에 따른 영상회의 시스템의 영상회의 제어 장치(300)의 각부 구성요소들은 하드웨어, 소프트웨어, 또는 이들의 결합으로 구현될 수 있다. 예를 들어, 메모리(341)에 저장된 소정의 응용 프로그램을 실행하여 본 발명의 눈맞춤 기능 제어를 위해 필요한 영상회의 제어 장치(300)의 각부 구성요소들에 필요한 설정이나 데이터가 제공될 수 있다. 또한, 영상회의 제어 장치(300)의 위와 같은 각부 구성요소들의 전부 또는 일부가 하나의 프로세서로 구현될 수도 있다.
이하 도 4를 참조하여 본 발명의 일 실시예에 따른 영상회의 시스템의 영상회의 제어 장치(300)를 통한 눈맞춤 기능 제어 방법을 자세히 설명한다.
시선 추적부(310)는 로컬 참여자(20) 영상이 포함된 카메라(211) 영상으로부터 로컬 참여자(20)의 시선을 추적하여 실시간으로 소정의 주기마다(예, 1msec 등) 로컬 참여자(20)의 시선 정보를 생성한다(S410). 이를 위하여, 카메라(211)의 위치 정보(예, 소정의 기준점에 대한 좌표 (X, Y, Z))가 미리 메모리(341) 등에 저장되어 이용될 수 있으며, 또한, 카메라(211)의 위치 정보에 상대적인 디스플레이 장치(210)의 스크린 전체 영역 또는 스크린 상의 원격 참여자(10)의 눈이나 얼굴을 포함한 영상을 표시하기 위하여 미리 지정한 영역(이하 원격 참여자 표시 영역이라 함)에 대한 데이터가 메모리(341) 등에 저장되어 이용될 수 있다. 시선 추적부(310)는 카메라(211) 영상을 분석하여 로컬 참여자(20)의 눈(이외에도 머리카락, 이마, 코, 입, 볼, 또는 귀 등의 방향을 더 참조가능)이 향하는 방향을 추출하여(예, 카메라 또는 정면을 볼 때의 각각의 영상을 기준으로 그와 비교된 영상으로부터 방향을 추출가능), 로컬 참여자(20)의 시선이 위와 같은 원격 참여자 표시 영역을 향하고 있는지 여부에 대한 정보, 즉, 시선 정보를 생성할 수 있다. 예를 들어, 시선 정보는 로컬 참여자(20)의 시선이 위와 같은 원격 참여자 표시 영역으로 향하는 경우에는 로지컬 하이(logical high) 정보일 수 있고, 그 외에는 로지컬 로우(logical low) 정보일 수 있다. 경우에 따라서는 시선 정보는 위와 같은 원격 참여자 표시 영역이나 그 상하좌우 중 어느 방향을 향하는지를 나타내는 정보일 수도 있고, 또는 소정의 기준점(카메라(211)의 위치 정보가 기준점이 될 수 있음)에 대한 실질적인 시선 방향(예, 소정의 기준점에 대한 방향 벡터(X, Y, Z))을 나타내는 정보가 될 수도 있다.
소정의 수신부가 네트워크를 통해 원격 참여자(10)의 영상회의 시스템으로부터 텔레프리젠스 데이터를 수신하면, 얼굴 위치 추적부(320)는 수신 텔레프리젠스 데이터로부터 실시간으로 소정의 주기마다(예, 1msec 등) 영상 회의용 디스플레이 장치(210) 스크린 상에 표시된 원격 참여자(10)의 눈 또는 얼굴 위치를 추적하고 원격 참여자(10)에 대한 스크린 상의 눈 또는 얼굴 위치 정보를 생성한다(S420). 이때 원격 영상 회의 중 원격 참여자(10)가 잠시 자리를 비우거나 다른 자료를 설명하기 위하여 시선을 앞쪽(로컬 참여자 방향)이 아닌 다른 곳에 둘 수도 있으므로 이를 판단할 수 있다. 예를 들어, 얼굴 위치 추적부(320)는 위와 같은 디스플레이 장치(210)의 스크린 상의 원격 참여자 표시 영역 중 원격 참여자(10)의 눈 또는 얼굴 위치에 대한 정보로서, 소정의 기준점에 대한 상대 좌표 (X, Y, Z)를 산출할 수 있으며, 또는 카메라(211)의 위치 정보에 상대적인 좌표 (X, Y, Z)를 산출할 수도 있다. 원격 참여자(10)의 눈 또는 얼굴이 영상에 없는 경우에는 얼굴 위치 추적부(320)는 해당 정보로서 미리정한 소정의 코드를 출력할 수 있다.
결정부(330)는 시선 추적부(310)가 생성한 로컬 참여자(20)의 시선 정보와 얼굴 위치 추적부(320)가 생성한 원격 참여자(10)에 대한 스크린 상의 눈 또는 얼굴 위치 정보를 이용하여, 로컬 참여자(20)의 시선 등의 분석으로(S430) 로컬 참여자(20) 영상이 포함된 카메라(211) 영상에 눈맞춤 기능을 적용하여 영상을 조정할 지 여부를 결정한다(S440). 예를 들어, 로컬 참여자(20)의 시선 정보에 따라 로컬 참여자(20)가 스크린 상의 원격 참여자(10)의 눈 또는 얼굴(또는 원격 참여자 표시 영역 방향)을 보고 있으며(예, 원격 참여자 표시 영역이나 소정의 거리 이내의 그 상하좌우를 보는 경우를 포함함) 원격 참여자(10)에 대한 스크린 상의 눈 또는 얼굴 위치 정보에 따라 원격 참여자(10)의 시선이 앞쪽인 경우에는 눈맞춤 기능의 적용을 결정한다. 또한, 로컬 참여자(20)가 영상 회의용 디스플레이 장치(210)가 아닌 별도의 추가 디스플레이 장치(220) 등 다른 곳을 보고 있는 경우에는 눈맞춤 기능을 적용하지 않음으로써 불필요한 눈맞춤 기능 적용으로 인한 부자연스러운 눈맞춤 기능이 적용된 영상이 야기할 수 있는 회의 몰입도 저하문제를 해결한다. 이외에도, 원격 참여자(10)에 대한 스크린 상의 눈 또는 얼굴 위치 정보에 따라 원격 참여자(10)의 시선이 앞쪽이 아니거나 원격 참여자(10)의 눈 또는 얼굴이 영상에 없는 경우에도 눈맞춤 기능이 이루어지지 않게 결정할 수 있다.
영상 조정부(340)는 결정부(330)가 눈맞춤 기능의 적용을 결정하면 로컬 참여자(20) 영상이 포함된 카메라(211) 영상 중 로컬 참여자(20)의 눈이 원격 참여자(10)의 눈 또는 얼굴을 바라보는 영상으로 조정한다(S450). 영상 조정부(340)는 다양한 영상 조정 기법이나 영상 합성 기법으로 카메라(211) 영상 중 로컬 참여자(20)의 눈 부분을 조정 또는 합성하거나 로컬 참여자(20)의 얼굴 부분을 조정 또는 합성하여, 원격 참여자(10)가 해당 영상을 볼 때 자신의 눈이나 얼굴을 바라보고 있다고 느낄 수 있도록 눈 맞춤된 영상을 생성할 수 있다.
경우에 따라서는, 일례로서 영상 조정부(340)는 원격 참여자(10)의 눈 부분을 앞쪽(원격 참여자 방향) 또는 정면을 바라보는 눈 영상으로 대체하는 영상합성을 수행할 수 있다. 이를 위하여 영상 조정부(340)는 진행중인 영상회의 중 카메라(211) 영상으로부터 로컬 참여자(20)가 앞쪽 또는 정면을 바라볼 때의 눈 부분을 미리 추출하여 메모리(341)에 해당 데이터를 저장할 수 있고, 영상 합성 시에 이를 이용할 수 있다. 경우에 따라서는 앞쪽 또는 정면을 바라보는 로컬 참여자(20)의 눈 영상 데이터가 영상회의 진행 이전에 메모리(341)에 미리 저장될 수도 있으며, 또한, 로컬 참여자(20)의 실질적인 눈이 아니더라도 앞쪽 또는 정면을 바라보는 다른 눈 영상(예, 디지털 애니메이션 영상) 데이터가 메모리(341)에 미리 저장되어 이용되는 것도 가능하다.
전송부(350)는 로컬 참여자(20) 영상이 포함된 카메라(211) 영상을 포함하는 텔레프리젠스 데이터를 원격 참여자(10)의 영상회의 시스템으로 전송하되, 위와 같이 결정부(330)가 눈맞춤 기능의 적용을 결정하는 경우에는 영상 조정부(340)가 수행하여 생성한 조정된 영상을 포함하는 텔레프리젠스 데이터를 원격 참여자(10)의 영상회의 시스템으로 전송한다. 도시하지 않았지만 영상회의 시스템에는 원격 참여자(10)의 보이스 신호를 생성하기 위한 마이크(microphone)가 포함될 수 있으며, 텔레프리젠스 데이터에는 이와 같이 원격 참여자(10)가 마이크에 입력하는 보이스에 대한 해당 보이스 데이터가 실시간으로 반영되어 포함될 수 있다.
원격 영상 회의 중에는 원격 참여자(10)의 움직임에 따라 화면상에 나타나는 원격 참여자(10)의 눈 또는 얼굴 위치가 다를 수 있고, 로컬 참여자(20)의 움직임에 따라 시선이 달라질 수 있다. 따라서 본 발명과 같이 눈맞춤 기능 적용 시 카메라(211)의 위치 정보와 함께 이러한 로컬 참여자(20)의 시선 정보와 원격 참여자(10)의 스크린상 눈 또는 얼굴 위치 정보 등을 이용하여 좀 더 정교하게 눈맞춤에 필요한 파라미터를 추정함으로써 눈맞춤 기능의 성능을 높일 수 있게 된다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
카메라(211)
디스플레이 장치(210)
시선 추적부(310)
스크린 얼굴 위치 추적부(320)
결정부(330)
메모리(341)
영상 조정부(340)
전송부(350)

Claims (18)

  1. 영상회의 시스템의 눈맞춤 기능 제어를 위한 영상회의 제어 방법에 있어서,
    카메라 영상으로부터 실시간으로 로컬 참여자의 시선 정보를 생성하는 단계;
    네트워크를 통해 원격 참여자의 영상회의 시스템으로부터 수신한 텔레프리젠스 데이터로부터 실시간으로 영상 회의용 디스플레이 장치의 스크린 상에 표시되는 원격 참여자에 대한 눈 또는 얼굴 위치 정보를 생성하는 단계; 및
    상기 로컬 참여자의 시선 정보와 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보를 이용하여, 상기 카메라 영상에 눈맞춤 기능의 적용 여부를 결정하는 단계
    를 포함하는 것을 특징으로 하는 영상회의 제어 방법.
  2. 제1항에 있어서,
    상기 눈맞춤 기능의 적용 여부의 결정에 따라 상기 카메라 영상 중 상기 로컬 참여자의 눈이 상기 원격 참여자의 눈 또는 얼굴을 바라보는 영상으로의 영상 조정을 수행하는 단계
    를 더 포함하는 것을 특징으로 하는 영상회의 제어 방법.
  3. 제2항에 있어서,
    상기 영상 조정으로 생성한 조정된 영상을 포함하는 텔레프리젠스 데이터를 상기 원격 참여자의 영상회의 시스템으로 전송하는 단계
    를 더 포함하는 것을 특징으로 하는 영상회의 제어 방법.
  4. 제1항에 있어서,
    상기 로컬 참여자의 시선 정보를 생성하는 단계는,
    상기 로컬 참여자의 시선이 상기 디스플레이 장치 스크린 상의 원격 참여자 표시 영역을 향하고 있는지 여부에 대한 정보를 상기 시선 정보로서 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상회의 제어 방법.
  5. 제1항에 있어서,
    상기 로컬 참여자의 시선 정보를 생성하는 단계는,
    상기 로컬 참여자의 시선이 상기 디스플레이 장치 스크린 상의 원격 참여자 표시 영역이나 그 상하좌우 중 어느 방향을 향하는지를 나타내는 정보, 또는 상기 로컬 참여자의 실질적인 시선 방향에 대한 정보를 상기 시선 정보로서 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상회의 제어 방법.
  6. 제1항에 있어서,
    상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보를 생성하는 단계는,
    상기 카메라 또는 소정의 기준점에 상대적인 좌표를 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보로서 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상회의 제어 방법.
  7. 제1항에 있어서,
    상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보를 생성하는 단계는,
    상기 디스플레이 장치 스크린 상의 영상에 상기 원격 참여자에 대한 눈 또는 얼굴이 없는 경우에는 미리 정한 소정의 코드를 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보로서 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상회의 제어 방법.
  8. 제1항에 있어서,
    상기 눈맞춤 기능의 적용 여부를 결정하는 단계는,
    상기 로컬 참여자의 시선 정보에 따라 상기 로컬 참여자가 상기 디스플레이 장치 스크린 상의 원격 참여자 표시 영역 방향을 보고 있으며, 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보에 따라 상기 원격 참여자의 시선이 앞쪽인 경우에는, 상기 눈맞춤 기능의 적용을 결정하는 단계
    를 포함하는 것을 특징으로 하는 영상회의 제어 방법.
  9. 제1항에 있어서,
    상기 눈맞춤 기능의 적용 여부를 결정하는 단계는,
    상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보에 따라, 상기 원격 참여자의 시선이 앞쪽이 아니거나 상기 디스플레이 장치 스크린 상의 영상에 상기 원격 참여자의 눈 또는 얼굴이 없는 경우, 상기 눈맞춤 기능의 적용 배제를 결정하는 단계를 포함하는 것을 특징으로 하는 영상회의 제어 방법.
  10. 영상회의 시스템의 눈맞춤 기능 제어를 위한 영상회의 제어 장치에 있어서,
    카메라 영상으로부터 실시간으로 로컬 참여자의 시선 정보를 생성하는 시선 추적부;
    네트워크를 통해 원격 참여자의 영상회의 시스템으로부터 수신한 텔레프리젠스 데이터로부터 실시간으로 영상 회의용 디스플레이 장치의 스크린 상에 표시되는 원격 참여자에 대한 눈 또는 얼굴 위치 정보를 생성하는 얼굴 위치 추적부; 및
    상기 로컬 참여자의 시선 정보와 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보를 이용하여, 상기 카메라 영상에 눈맞춤 기능의 적용 여부를 결정하는 결정부
    를 포함하는 것을 특징으로 하는 영상회의 제어 장치.
  11. 제10항에 있어서,
    상기 결정부의 결정에 따라 상기 카메라 영상 중 상기 로컬 참여자의 눈이 상기 원격 참여자의 눈 또는 얼굴을 바라보는 영상으로의 영상 조정을 수행하는 영상 조정부
    를 더 포함하는 것을 특징으로 하는 영상회의 제어 장치.
  12. 제11항에 있어서,
    상기 영상 조정부가 수행하여 생성한 조정된 영상을 포함하는 텔레프리젠스 데이터를 상기 원격 참여자의 영상회의 시스템으로 전송하는 전송부
    를 더 포함하는 것을 특징으로 하는 영상회의 제어 장치.
  13. 제10항에 있어서,
    상기 시선 추적부는,
    상기 로컬 참여자의 시선이 상기 디스플레이 장치 스크린 상의 원격 참여자 표시 영역을 향하고 있는지 여부에 대한 정보를 상기 시선 정보로서 생성하는 것을 특징으로 하는 영상회의 제어 장치.
  14. 제10항에 있어서,
    상기 시선 추적부는,
    상기 로컬 참여자의 시선이 상기 디스플레이 장치 스크린 상의 원격 참여자 표시 영역이나 그 상하좌우 중 어느 방향을 향하는지를 나타내는 정보, 또는 상기 로컬 참여자의 실질적인 시선 방향에 대한 정보를 상기 시선 정보로서 생성하는 것을 특징으로 하는 영상회의 제어 장치.
  15. 제10항에 있어서,
    상기 얼굴 위치 추적부는,
    상기 카메라 또는 소정의 기준점에 상대적인 좌표를 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보로서 생성하는 것을 특징으로 하는 영상회의 제어 장치.
  16. 제10항에 있어서,
    상기 얼굴 위치 추적부는,
    상기 디스플레이 장치 스크린 상의 영상에 상기 원격 참여자에 대한 눈 또는 얼굴이 없는 경우에는 미리정한 소정의 코드를 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보로서 생성하는 것을 특징으로 하는 영상회의 제어 장치.
  17. 제10항에 있어서,
    상기 결정부는,
    상기 로컬 참여자의 시선 정보에 따라 상기 로컬 참여자가 상기 디스플레이 장치 스크린 상의 원격 참여자 표시 영역 방향을 보고 있으며, 상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보에 따라 상기 원격 참여자의 시선이 앞쪽인 경우에는, 상기 눈맞춤 기능의 적용을 결정하는 것을 특징으로 하는 영상회의 제어 장치.
  18. 제10항에 있어서,
    상기 결정부는,
    상기 원격 참여자에 대한 눈 또는 얼굴 위치 정보에 따라, 상기 원격 참여자의 시선이 앞쪽이 아니거나 상기 디스플레이 장치 스크린 상의 영상에 상기 원격 참여자의 눈 또는 얼굴이 없는 경우, 상기 눈맞춤 기능의 적용 배제를 결정하는 것을 특징으로 하는 영상회의 제어 장치.
KR1020140106160A 2014-03-31 2014-08-14 눈맞춤 기능 제어 장치 및 방법 KR20150113795A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/625,962 US9407871B2 (en) 2014-03-31 2015-02-19 Apparatus and method for controlling eye-to-eye contact function

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140037785 2014-03-31
KR1020140037785 2014-03-31

Publications (1)

Publication Number Publication Date
KR20150113795A true KR20150113795A (ko) 2015-10-08

Family

ID=54346658

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140106160A KR20150113795A (ko) 2014-03-31 2014-08-14 눈맞춤 기능 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20150113795A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017184277A1 (en) * 2016-04-22 2017-10-26 Intel Corporation Eye contact correction in real time using neural network based machine learning
US10664949B2 (en) 2016-04-22 2020-05-26 Intel Corporation Eye contact correction in real time using machine learning

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017184277A1 (en) * 2016-04-22 2017-10-26 Intel Corporation Eye contact correction in real time using neural network based machine learning
US10423830B2 (en) 2016-04-22 2019-09-24 Intel Corporation Eye contact correction in real time using neural network based machine learning
US10664949B2 (en) 2016-04-22 2020-05-26 Intel Corporation Eye contact correction in real time using machine learning

Similar Documents

Publication Publication Date Title
CN109952759B (zh) 用于具有hmd的视频会议的改进的方法和系统
US20230081404A1 (en) Eye contact enabling device for video conferencing
KR101734635B1 (ko) 증강된 가상 현실을 사용하는, 원격 참여자들 간의 개선된 통신의 제공
EP3275181B1 (en) Eye gaze correction
US11218669B1 (en) System and method for extracting and transplanting live video avatar images
CN110413108B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
US20170237941A1 (en) Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing
JP2003506927A (ja) ビデオ会議の参加者がカメラに焦点を合わせた状態で相手方ユーザの前に出現できるようにする方法と装置
US9996940B1 (en) Expression transfer across telecommunications networks
EP3275180B1 (en) Eye gaze correction
CN107924589A (zh) 通信系统
US9407871B2 (en) Apparatus and method for controlling eye-to-eye contact function
Jaklič et al. User interface for a better eye contact in videoconferencing
CN111064919A (zh) 一种vr远程会议方法及装置
JP6157077B2 (ja) カメラ付き表示装置
JPWO2017141584A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
KR20170014818A (ko) 다자간 영상 회의 시스템 및 방법과 이를 수행하기 위한 클라이언트 장치
KR20150113795A (ko) 눈맞춤 기능 제어 장치 및 방법
EP4113982A1 (en) Method for sensing and communicating visual focus of attention in a video conference
TW201639347A (zh) 視線校正(二)
WO2023075810A1 (en) System and method for extracting, transplanting live images for streaming blended, hyper-realistic reality
Young Removing spatial boundaries in immersive mobile communications
US20240119619A1 (en) Deep aperture
WO2020162035A1 (ja) 情報処理装置、情報処理方法、及びプログラム
Johanson The turing test for telepresence

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment