KR102600601B1 - 원격 현실 영상 송수신 장치 및 방법 - Google Patents

원격 현실 영상 송수신 장치 및 방법 Download PDF

Info

Publication number
KR102600601B1
KR102600601B1 KR1020210031256A KR20210031256A KR102600601B1 KR 102600601 B1 KR102600601 B1 KR 102600601B1 KR 1020210031256 A KR1020210031256 A KR 1020210031256A KR 20210031256 A KR20210031256 A KR 20210031256A KR 102600601 B1 KR102600601 B1 KR 102600601B1
Authority
KR
South Korea
Prior art keywords
user
virtual
information
image
unit
Prior art date
Application number
KR1020210031256A
Other languages
English (en)
Other versions
KR20220126922A (ko
Inventor
김시호
차재광
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020210031256A priority Critical patent/KR102600601B1/ko
Publication of KR20220126922A publication Critical patent/KR20220126922A/ko
Application granted granted Critical
Publication of KR102600601B1 publication Critical patent/KR102600601B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/50—Business processes related to the communications industry
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Hardware Design (AREA)
  • Operations Research (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 영상을 획득하는 영상 획득부, 영상에 포함된 사용자를 대체하기 위한 가상 자아를 기지정된 방식으로 생성하는 가상 자아 생성부, 실시간으로 획득된 영상에 포함된 사용자의 얼굴에서 표정과 동작을 표현하기 위해 AU 정보와 사용자를 본인 확인을 위한 사용자 특징을 추출하는 특징 획득부, 가상 자아를 기지정된 다른 사용자의 사용자 단말로 전송하고, 이후 실시간으로 획득되는 영상에서 추출된 AU 정보와 사용자 특징을 전송하며, 다른 사용자 단말에서 생성된 가상 자아 및 특징을 수신하는 통신부, 인증용 사용자 특징을 미리 획득하여 저장하고, 저장된 인증용 사용자 특징과 추출된 사용자 특징을 비교하여 사용자 인증을 수행하는 사용자 설정부, 수신된 AU 정보를 기반으로 수신된 가상 자아를 기지정된 방식으로 변환하여 표정 및 동작이 표현된 가상 자아를 복원하는 가상 자아 복원부 및 복원된 가상 자아를 디스플레이하고, 사용자 인증 결과에 따라 결과를 함께 출력하는 디스플레이부를 포함하여, 전송할 데이터량을 저감하여 통신 대역폭을 효율적으로 이용할 수 있도록 하고, 사용자의 프라이버시와 개인정보를 보호할 수 있으며, 신뢰도를 유지할 수 있는 원격 현실 영상 송수신 장치 및 방법을 제공할 수 있다.

Description

원격 현실 영상 송수신 장치 및 방법{Apparatus and method for transmitting and receiving remote reality video}
본 발명은 원격 현실 영상 송수신 장치 및 방법에 관한 것으로, 대역폭을 절감하고, 개인정보를 보호할 수 있는 원격 현실 영상 송수신 장치 및 방법에 관한 것이다.
통신 네트워크 기술의 발전에 따라 사람들이 서로 대면하지 않고 원격지에서 서로 영상을 전송하여 대화를 수행하는 화상 통화나 화상 회의 등의 원격 현실 영상 전송 기법이 이용되는 빈도가 점차 증대되고 있다. 다만 원격 현실 영상 전송 기법은 실시간으로 영상을 전송해야 하므로 문자 전송이나 음성 전송에 비해 대량의 데이터의 고속 전송을 필요로 한다. 따라서 제한된 통신 네트워크의 대역폭에서 사용자의 급증은 안정적인 서비스 이용을 어렵게 하는 요인이 된다. 특히 화상 회의와 같은 다자간 통화 방식에서는 1 대 1 통신이 주를 이루는 화상 통화에 비해 매우 큰 데이터 용량을 이용하여, 안정적인 실시간 통신이 수행되기 어렵도록 한다는 문제가 있다.
특히 최근에는 팬데믹(pandemic) 사태로 인해 재택 근무나, 가정내 수업과 같이 언택트(Untact) 문화가 사회 전반으로 확대됨에 따라, 원격 현실 영상 전송 기법이 가정 내에서도 빈번하게 이용되고 있다. 그러나 원격 현실 영상 전송 기법이 가정 등과 같은 개인의 사적인 공간에 이용되는 경우, 의도하지 않게 개인의 사생활과 같은 개인 정보가 유출될 가능성이 높다는 문제가 있다. 뿐만 아니라, 화상 회의 등의 경우에는 자신의 용모와 더불어 영상에 비춰질 수 있는 주변 환경을 정리해야 한다는 심리적 부담으로 인해, 업무에 무관한 추가적인 노력을 기울여야 하는 경우가 자주 발생하며, 이는 업무 효율성을 저하시키는 요인이 되기도 한다.
한국 공개 특허 제10-2013-0087315호 (2013.08.06 공개)
본 발명의 목적은 제한된 대역폭을 효율적으로 이용할 수 있는 원격 현실 영상 송수신 장치 및 방법을 제공하는데 있다.
본 발명의 다른 목적은 개인 정보를 보호할 수 있으면서도 사용자에 대한 신뢰성을 유지할 수 있는 원격 현실 영상 송수신 장치 및 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 원격 현실 영상 송수신 장치는 영상을 획득하는 영상 획득부; 상기 영상에 포함된 사용자를 대체하기 위한 가상 자아를 기지정된 방식으로 생성하는 가상 자아 생성부; 실시간으로 획득된 영상에 포함된 사용자의 얼굴에서 표정과 동작을 표현하기 위해 AU 정보와 사용자를 본인 확인을 위한 사용자 특징을 추출하는 특징 획득부; 상기 가상 자아를 기지정된 다른 사용자의 사용자 단말로 전송하고, 이후 실시간으로 획득되는 영상에서 추출된 상기 AU 정보와 상기 사용자 특징을 전송하며, 다른 사용자 단말에서 생성된 가상 자아 및 특징을 수신하는 통신부; 인증용 사용자 특징을 미리 획득하여 저장하고, 저장된 인증용 사용자 특징과 추출된 사용자 특징을 비교하여 사용자 인증을 수행하는 사용자 설정부; 수신된 AU 정보를 기반으로 수신된 가상 자아를 기지정된 방식으로 변환하여 표정 및 동작이 표현된 가상 자아를 복원하는 가상 자아 복원부; 및 복원된 가상 자아를 디스플레이하고, 사용자 인증 결과에 따라 결과를 함께 출력하는 디스플레이부를 포함한다.
상기 가상 자아 생성부는 상기 가상 자아를 별도로 획득되는 인증용 이미지, 상기 실시간으로 획득된 영상의 지정된 이미지, 그래픽으로 생성된 이미지 또는 사용자와 무관한 타인의 이미지 중 하나를 이용하여 생성할 수 있다.
상기 특징 획득부는 상기 실시간으로 획득된 영상을 인가받아 얼굴 영역을 추출하는 전처리 작업을 수행하는 전처리부; 전처리된 영상을 인가받아 표정을 표현하기 위한 눈 주변과 입 주변의 기지정된 개수의 AU를 추출하고, 동작을 표현하기 위한 시선 방향과 머리의 회전 방향에 따른 정보를 추출하여 상기 AU 정보를 획득하는 AU 정보 추출부; 및 전처리된 영상을 인가받아 기지정된 방식으로 얼굴 영역의 특징을 추출하여 상기 사용자 특징을 획득하는 사용자 특징 추출부를 포함할 수 있다.
상기 사용자 설정부는 사용자를 식별하기 위한 식별자와 상기 가상 자아를 매칭하여 저장하는 사용자 정보 저장부; 상기 인증용 사용자 특징을 획득하여 상기 식별자와 매칭하여 저장하는 사용자 특징 저장부; 및 상기 인증용 사용자 특징과 상기 실시간으로 획득된 영상에서 추출된 사용자 특징을 비교하여 사용자 인증을 수행하는 사용자 확인부를 포함할 수 있다.
상기 가상 자아 복원부는 상기 식별자와 함께 수신된 가상 자아를 저장하는 가상 자아 저장부; 및 상기 식별자와 함께 AU 정보가 수신되면, 저장된 가상 자아 중 상기 식별자에 대응하는 가상 자아를 획득하고, 획득된 가상 자아의 기지정된 특징 위치를 수신된 AU 정보에 따라 변경하여, 표정 및 동작이 표현된 가상 자아를 복원하는 가상 자아 변환부를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 원격 현실 영상 송수신 방법은 사용자를 식별하기 위한 식별자와 실시간으로 획득되는 영상의 사용자를 대체하기 위한 가상 자아 및 사용자를 인증하기 위한 인증용 사용자 특징을 생성하고, 기지정된 사용자 단말로 상기 인증용 사용자 특징과 상기 가상 자아를 전송하는 단계; 상기 사용자를 실시간으로 촬영한 실시간 영상을 획득하고, 상기 실시간 영상에 포함된 사용자의 얼굴에서 표정과 동작을 표현하기 위한 AU 정보와 사용자를 확인하기 위한 사용자 특징을 획득하여, 획득된 AU 정보와 사용자 특징을 전송하는 단계; 다른 사용자 단말에서 생성된 가상 자아와 AU 정보 및 사용자 특징을 수신하고, 수신된 AU 정보를 기반으로 가상 자아를 기지정된 방식으로 변환하여 표정 및 동작이 표현된 가상 자아를 복원하는 단계; 상기 인증용 사용자 특징과 상기 실시간 영상에서 획득된 사용자 특징을 비교하여 사용자 본인 인증을 수행하는 단계; 및 복원된 가상 자아를 디스플레이하고, 사용자 본인 인증 결과에 따라 경고를 출력하는 단계를 포함한다.
따라서, 본 발명의 실시예에 따른 원격 현실 영상 송수신 장치 및 방법은 실제 사용자 영상 대신 기지정된 가상 자아를 전송하고, 이후, 사용자의 표정과 동작에 대응하는 AU 정보를 추출하여 전송함으로써, 통신 대역폭을 대폭 절감할 수 있으며, 상대방의 사용자 단말에 현재 사용자의 실제 모습이 아닌 가상 자아가 출력되도록 함으로써, 사용자의 프라이버시와 개인정보를 보호할 수 있다. 또한 사용자 특징을 추출하여 영상이 획득된 사람에 대해 실시간으로 사용자 인증을 수행함으로써, 가상 자아를 이용하면서도 상대가 지정된 사용자임을 확인할 수 있어 신뢰성을 유지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 원격 현실 영상 송수신 시스템의 일 예를 나타낸다.
도 2는 도 1의 원격 현실 영상 송수신 장치의 개략적 구조를 나타낸다.
도 3은 생성된 가상 자아의 일 예를 나타낸다.
도 4는 도 2의 특징 획득부가 추출하는 특징과 추출된 특징에 따라 재구성되는 가상 자아 동작의 일 예를 나타낸다.
도 5 내지 도 7은 본 발명의 일 실시예에 따른 원격 현실 영상 송수신 방법을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 원격 현실 영상 송수신 시스템의 일 예를 나타낸다.
도 1을 참조하면, 원격 현실 영상 송수신 시스템은 다수의 사용자 단말(11 ~ 14) 및 서버(20)를 포함할 수 있다.
다수의 사용자 단말(11 ~ 14) 각각은 PC, 노트북, 휴대폰 등과 같이 사용자 개개인이 이용하는 단말로서, 원격 현실 영상 송수신 장치이다. 다수의 사용자 단말(11 ~ 14) 각각은 사용자에 대한 영상을 획득하고, 구성된 화면을 디스플레이할 수 있다. 일반적으로 원격 현실 영상 송수신 시스템에서 사용자 단말(11 ~ 14) 각각은 획득된 사용자 영상을 서버(20)를 통해 다른 사용자 단말로 전송하고, 서버(20)를 통해 전송된 영상을 화면으로 구성하여 디스플레이한다. 즉 획득된 사용자 영상이 그대로 다른 사용자 단말로 전달된다.
그러나 본 실시예에서 원격 현실 영상 송수신 장치로 동작하는 다수의 사용자 단말(11 ~ 14) 중 영상을 송신하는 송신 사용자 단말은 사용자 영상이 획득하고, 획득된 사용자 영상에서 사용자의 표정 및 동작에 대응하는 정보를 추출하고, 추출된 정보와 미리 지정된 가상 자아를 전송한다. 이때 송신 사용자 단말은 가상 자아를 사전에 생성하여 미리 전송할 수 있으며, 실제 화상 채팅이나 화상 회의와 같이 실시간으로 영상을 전송해야 하는 경우에는 사용자의 표정 및 동작에 대응하는 정보만을 전송할 수 있다. 따라서 원격 현실 영상 전송을 위한 데이터 크기를 크게 줄일 수 있다.
또한 가상 자아와 정보를 수신한 수신 사용자 단말은 전송된 정보를 가상 자아에 적용하여 가상 자아를 변환시킴으로써, 사용자의 표정 및 동작에 대응하는 가상 자아가 화면에 표시되도록 한다. 따라서 수신 사용자 단말에서 표시되는 화면 상에서는 사용자에 대한 영상이 아닌 가상 자아가 대체되어 표시된다. 이때 가상 자아와 가상 자아가 표시되는 화면의 배경은 송신 사용자 단말에서 미리 지정될 수 있으므로, 송신 사용자 단말의 사용자는 자신의 현재 상태나 주변 환경 등과 같은 개인 정보가 타인에게 노출될 걱정없이 화상 채팅이나 화상 회의를 수행할 수 있다. 그리고 생성된 가상 자아가 실시간으로 인가되는 정보에 따라 사용자의 표정 및 동작을 모방하여 표현될 수 있으므로, 가상 자아를 이용한 대화의 이질감을 저감시킬 수 있다.
다만 실시간 획득된 사용자에 대한 영상을 대체하여 가상 자아가 이용되는 경우, 각 사용자는 현재 자신과 대화하고 있는 대화 상대가 실제로 대화하고자 하는 사용자인지를 확인하기 어렵다. 즉 가상 자아를 이용함에 따라 사용자는 의도하지 않은 사람과 대화할 가능성이 존재하며, 이는 화상 회의 대리 참여등의 문제를 야기할 수 있다. 이러한 문제를 해소하기 위해 본 발명의 원격 현실 영상 송수신 장치는 실시간으로 획득된 영상을 기반으로 사용자 인증을 수행하고, 사용자가 등록된 사용자로 인증되지 않으면 경고를 추가로 전송하여 상대가 지정된 사용자가 아님을 인지하도록 할 수 있다.
상기에서는 설명의 편의를 위하여 송신 사용자 단말과 수신 사용자 단말을 구분하였으나, 기본적으로 사용자 단말은 송수신을 모두 수행하도록 구성되며, 따라서 다수의 사용자 단말(11 ~ 14) 각각은 송신 사용자 단말이자 수신 사용자 단말로 동작한다.
한편, 서버(200)는 다수의 사용자 단말(11 ~ 14) 중 서로 원격 현실 영상을 기반으로 대화하고자 하는 사용자 단말들을 서로 연결하는 역할을 수행한다. 서버(200)는 다수의 사용자 단말(11 ~ 14) 각각으로부터 사용자 정보와 가상 자아를 인가받아 저장할 수 있다. 경우에 따라서 서버(200)는 사용자 단말의 요청에 따라 사용자 정보와 가상 자아를 직접 생성하여 저장하고, 송신 사용자 단말이 대화하고자 지정한 수신 사용자 단말로 생성된 가상 자아를 전송할 수 있다.
또한 서버(200)는 사용자 정보를 저장할 때, 사용자에 대한 영상을 미리 인가받아 저장하고, 송신 사용자 단말이 접속되어 사용자 특징이 전송되면, 전송된 사용자 특징과 미리 저장된 사용자 특징을 비교하여 전송된 특징이 저장된 사용자 특징에 대응하는지 여부를 판별할 수 있다. 그리고 전송된 사용자 특징이 저장된 사용자 특징에 대응하지 않는 것으로 판단되면, 수신 사용자 단말로 가상 자아를 전송하면서 경고를 함께 전송할 수 있다.
즉 추출된 특징은 개별 사용자 단말(11 ~ 14) 또는 서버(20) 중 적어도 하나는 사용자 영상에 대한 사용자 인증을 수행하여 경고를 수신 사용자 단말로 전송함으로써, 원격 현실 영상 송수신 시스템의 신뢰도가 저하되지 않도록 할 수 있다.
도 2는 도 1의 원격 현실 영상 송수신 장치의 개략적 구조를 나타내고, 도 3은 생성된 가상 자아의 일 예를 나타내며, 도 4는 도 2의 특징 획득부가 추출하는 정보와 추출된 정보에 따라 재구성되는 가상 자아 동작의 일 예를 나타낸다.
도 2에 도시된 원격 현실 영상 송수신 장치(100)는 도 1에 도시된 사용자 단말(11 ~ 14)로서 영상 획득부(110), 가상 자아 생성부(120), 특징 획득부(130), 통신부(140), 가상 자아 복원부(150) 및 디스플레이부(160)를 포함할 수 있다.
영상 획득부(110)는 카메라 등으로 구현되어 실시간으로 사용자 영상을 획득한다. 영상 획득부(110)는 화상 회의 등과 같이 원격 현실 영상을 전송해야 하는 경우, 실시간으로 영상을 획득하여 특징 획득부(130)로 전달한다. 또한 영상 획득부(110)는 가상 자아 생성부(120)에서 가상 자아를 생성하기 위한 이미지를 추출하기 위해 영상을 획득할 수도 있다.
가상 자아 생성부(120)는 실시간으로 획득되는 사용자에 대한 영상을 대체하여 이용될 가상 자아를 생성한다. 가상 자아 생성부(120)는 일 예로 기지정된 다수의 가상 자아가 미리 저장되고, 사용자 명령에 응답하여 다수의 가상 자아 중 하나를 선택하도록 구성될 수 있다. 또한 가상 자아 생성부(120)는 가상 자아로 이용될 가상 자아 생성용 이미지를 별도로 인가받아 가상 자아를 생성할 수 있으며, 영상 획득부(110)에서 획득된 영상을 기반으로 기지정된 방식으로 가상 자아를 생성할 수도 있다.
이때 가상 자아 생성용 이미지는 도 3의 (a)에 도시된 바와 같이, 사용자의 얼굴이 포함된 이미지나, (b)와 같이 다양한 그래픽 프로그램을 기반으로 작성된 그래픽 얼굴 이미지, 또는 (c)와 같이 타인의 얼굴이 포함된 이미지일 수 있다. 여기서 사용자의 얼굴이 포함된 이미지를 가상 자아로 이용하는 것은 상대가 사용자 자신과 대화하고 있다는 것을 인식할 수 있으면서도, 사용자의 현재 상태의 얼굴이 아니라 이전 준비된 상태에서의 얼굴로 대화할 수 있도록 하기 위함이다.
다만 가상 자아는 정적인 이미지가 아니라 사용자의 표정이나 동작 변화에 대응하여 실시간으로 동적으로 변화할 수 있어야 한다. 이에 가상 자아 생성부(120)는 획득된 가상 자아 생성용 영상을 기반으로 기지정된 개수의 얼굴 특징 정보만을 이용하여 다양한 얼굴 표정 표현이 가능하도록 가상 자아를 생성할 수 있다.
경우에 따라 가상 자아 생성부(120)는 가상 자아 생성용 이미지가 획득되면, 가상 자아 생성용 이미지를 특징 획득부(130)로 전달하고, 특징 획득부(130)가 가상 자아 생성용 이미지로부터 추출한 얼굴 정보를 인가받아 가상 자아 생성용 이미지에 매칭시킴으로써 가상 자아를 생성할 수도 있다.
그리고 가상 자아 생성부(120)는 생성된 가상 자아를 사용자 식별자에 매칭하여 저장할 수 있다. 즉 각 사용자마다 서로 다른 가상 자아를 생성할 수 있도록 각각 사용자 식별자에 대응하는 가상 자아를 생성할 수 있으며, 생성된 가상 자아와 매칭된 사용자 식별자를 함께 통신부(140)로 전달할 수 있다.
가상 자아 생성부(120)는 대화 상대에 따른 사용자 단말이 지정되면, 생성되어 저장된 가상 자아를 통신부(140)로 전달하여 지정된 사용자 단말로 전송한다. 이때, 가상 자아는 초기 1회만 전송되며, 이후 실제 화상 회의나 화상 채팅 등으로 대화가 수행될 때는 전송될 필요가 없다.
특징 획득부(130)는 영상 획득부(110)에서 획득된 영상을 인가받고, 기지정된 방식에 따라 획득된 영상에서 얼굴 정보와 사용자 특징을 추출한다. 특징 획득부(130)는 획득된 영상에서 사용자를 식별할 수 있는 사용자 특징과 사용자의 얼굴 표정이나 동작을 표현할 수 있는 기지정된 개수의 얼굴 정보를 별도로 추출할 수 있다.
특징 획득부(130)는 전처리부(131), AU 정보 추출부(132) 및 사용자 특징 추출부(133)를 포함할 수 있다.
전처리부(131)는 영상 획득부(110)에서 획득된 영상이 인가되면, AU 정보 추출부(132)와 사용자 특징 추출부(133)가 인가된 영상에서 용이하게 얼굴 정보와 사용자 특징을 추출할 수 있도록 전처리를 수행한다. 일 예로 전처리부(131)는 우선 영상 획득부(110)로부터 영상이 인가되면, 기지정된 방식으로 인가된 영상에서 얼굴 영역을 추출하여 AU 정보 추출부(132)와 사용자 특징 추출부(133)로 전달할 수 있다.
AU 정보 추출부(132)는 전처리부(131)에서 전처리된 영상을 인가받고, 인가된 영상에 대해 사용자의 얼굴 표정이나 동작을 표현할 수 있는 얼굴 정보인 AU 정보를 기지정된 방식으로 추출한다. 여기서 AU 정보 추출부(132)는 일 예로 얼굴 움직임 부호화 시스템(Facial Action Coding System: 이하 FACS) ("Facial Action Coding System". Paul Ekman Group. Retrieved 2019-10-23)의 움직임 유닛(Action Unit: 이하 AU)을 기반으로 AU 정보를 추출하거나, 미리 학습된 인공 신경망을 이용하여 AU 정보를 추출할 수 있다.
도 4에서는 FACS의 AU를 기반으로 추출된 AU 정보를 나타내며, 도 4에서는 영상 획득부(110)에 포함된 영상으로부터 사용자 표정을 나타내는 AU 정보로 사용자 얼굴 상부 AU(UPPER AU)인 눈 주변에 7개의 AU와 얼굴 하부 AU(LOWER AU)입 주변에 10개의 AU를 추출하고, 사용자의 동작을 나타내는 정보로 2차원 벡터로 표현되는 시선 정보(Eye gaze)과 3차원 벡터로 표현되는 두부 회전 정보(Head rotation)를 추출하였다. 즉 특징 획득부(130)는 획득된 영상에 포함된 사람 얼굴의 표정과 동작을 표현할 수 있는 22개의 AU 정보를 추출할 수 있다. 따라서 가상 자아에서 미리 지정된 AU 위치를 추출된 22개의 AU 정보에 따라 기지정된 방식으로 변형하게 되면, 가상 자아는 획득된 영상에 포함된 사람의 표정과 동작을 모방할 수 있게 된다. 즉 가상 자아가 실시간으로 획득되는 사용자 영상에 대응하여 동적으로 변화될 수 있다.
한편, 사용자 특징 추출부(133)는 전처리부(131)에서 전처리된 영상을 인가받아 사용자를 식별하기 위한 다수의 사용자 특징을 추출한다. 사용자 특징 추출부(133)는 사용자의 표정이나 동작을 표현하기 위한 정보를 추출하는 AU 정보 추출부(132)와 달리 영상 획득부(110)에서 획득된 영상에 포함된 사람이 기지정된 인증 사용자인지를 판별하기 위한 사용자 특징을 추출한다. 사용자 특징 추출부(133) 또한 일 예로 미리 학습된 인공 신경망을 이용하여 얼굴 특징 벡터 등을 추출함으로써 사용자 특징을 획득할 수 있다.
결과적으로 특징 획득부(130)는 실제 대화가 수행되는 동안, 영상 획득부(110)에서 실시간으로 획득된 영상을 인가받아 AU 정보와 사용자 특징을 추출하고, 추출된 특징을 통신부(140)로 전달한다.
통신부(140)는 상기한 바와 같이, 대화 상대에 따른 사용자 단말이 지정되면 생성된 가상 자아를 대화 상대로 지정된 사용자 단말로 전송한다. 이후 화상 회의나 화상 채팅 등이 수행되는 동안 특징 획득부(130)에서 추출된 AU 정보와 사용자 특징을 인가받아 지정된 사용자 단말로 전송한다. 이때 통신부(140)는 가상 자아와 추출된 AU 정보와 사용자 특징을 서버(200)로 전송하고, 서버(200)가 다시 가상 자아와 AU 정보와 사용자 특징을 지정된 사용자 단말로 전송할 수 있다.
한편, 통신부(140)는 다른 사용자 단말에서 전송된 가상 자아와 AU 정보와 사용자 특징을 인가받아 가상 자아 복원부(150)로 전달한다.
가상 자아 복원부(150)는 통신부(140)에서 인가된 가상 자아에 AU 정보를 적용하여 획득된 가상 자아가 AU 정보에 의해 지정된 표정과 동작을 표현하도록 가상 자아를 변경한다.
가상 자아 복원부(150)는 가상 자아 수신부(151)와 가상 자아 변환부(152)를 포함할 수 있다. 가상 자아 수신부(151)는 통신부(140)로부터 가상 자아를 인가받아 저장한다. 이때 가상 자아 수신부(151)는 가상 자아와 함께 인가된 사용자 식별자에 따라 인가된 가상 자아를 구분하여 저장할 수 있다.
그리고 가상 자아 변환부(152)는 통신부(140)로부터 AU 정보와 함께 사용자 식별자가 인가되면, 가상 자아 수신부(151)에 저장된 가상 자아 중 동일한 사용자 식별자를 갖는 가상 자아를 획득하고, 획득된 가상 자아에 인가된 AU 정보를 적용하여 가상 자아의 표정 및 동작을 변화시킨다.
상기한 바와 같이, 만일 AU 정보 추출부(132)가 FACS의 AU를 기반으로 눈 주변에 7개의 AU와 입 주변에 10개의 AU를 추출하고, 사용자의 동작을 나타내는 정보로서 2차원 벡터로 표현되는 시선 정보와 3차원 벡터로 표현되는 두부 회전 정보를 추출하도록 구성된 경우, 가상 자아 변환부(152)는 가상 자아의 기지정된 AU 위치를 인가된 22개의 AU 정보를 기반으로 리깅(rigging)함으로써 가상 자아의 표정 및 동작을 조절할 수 있다. 즉 가상 자아 변환부(152)는 도 4에 도시된 바와 같이, 가상 자아의 기지정된 AU 위치를 FACS에 따라 추출된 17개의 AU 정보의 위치로 변형시킴으로써, 가상 자아의 표정을 조절하고, 22개의 AU 정보 중 나머지 5개의 AU 정보를 기반으로 시선 방향과 머리 방향을 결정함으로써 가상 자아의 동작을 조절할 수 있다.
이때, 가상 자아 변환부(152)는 가상 자아의 배경 화면을 미리 지정하여 이용할 수 있으나, 송신 사용자 단말의 가상 자아 생성부(120)에서 배경 화면이 가상 자아와 함께 생성되어 전송된 경우, 전송된 배경 화면을 적용하여 가상 자아 변환 시에 함께 적용할 수도 있다.
가상 자아의 표정 및 동작이 조절되면, 가상 자아 변환부(152)는 표정 및 동작이 조절된 가상 자아를 디스플레이부(160)로 전달하고, 디스플레이부(160)는 디스플레이 장치로 구현되어 조절된 가상 자아를 화면상에 표시한다.
만일 AU 정보와 함께 경고가 전송되면, 가상 자아 변환부(152)는 도 1에 도시된 바와 같이, 기지정된 형식의 경고를 더 포함시켜 디스플레이부(160)로 전달함으로써, 가상 자아와 함께 경고가 디스플레이되도록 할 수 있다.
서버(200)에 구비되는 사용자 설정부(210)는 사용자 단말(100)에서 생성된 가상 자아와 사용자 특징을 인가받아 저장하고, 이후 대화 시에 저장된 가상 자아를 수신 사용자 단말로 전송한다. 그리고 사용자 설정부(210)는 인가되는 사용자 특징을 저장된 사용자 특징과 비교하여, 현재 대화에 참여하는 사용자가 인증된 사용자인지를 검증하고, 검증 결과에 따라 인증된 사용자가 아닌 것으로 판별되면 경고를 수신 사용자 단말로 전송한다.
사용자 설정부(210)는 가상 자아 저장부(211), 사용자 특징 저장부(212) 및 사용자 확인부(213)를 포함할 수 있다.
가상 자아 저장부(211)는 사용자 단말(100)로부터 대화 이전에 미리 가상 자아를 수신하여 저장한다. 이때 가상 자아 저장부(211)는 가상 자아와 사용자 식별자를 함께 인가받아 매칭하여 함께 저장할 수 있다. 가상 자아 저장부(211)는 서버(200)의 사용자 등록 또는 사용자 정보 수정 시에 사용자 식별자와 가상 자아를 미리 인가받아 저장할 수 있다.
사용자 특징 저장부(212)는 사용자 단말(100)로부터 대화에 참여하는 사용자가 등록된 사용자인지 확인하기 위한 사용자 특징을 인가받아 저장할 수 있다. 여기서 사용자 특징은 가상 자아와 무관하게 사용자를 식별하기 위해 저장되는 특징으로서, 사용자 식별자에 매칭되어 저장될 수 있다. 사용자 특징 또한 가상 자아와 마찬가지로 대화 이전, 사용자 등록 또는 사용자 정보 수정 시에 미리 인가받아 저장할 수 있다.
사용자 확인부(213)는 대화 시에 사용자 단말(100)로부터 사용자 특징이 인가되면, 사용자 특징 저장부(212)에 미리 저장된 사용자 특징과 비교하여 사용자에 대한 인증을 수행할 수 있다. 사용자 확인부(213)는 인가된 사용자 특징이 저장된 사용자 특징과 매칭되지 않는 경우, 즉 사용자 특징 사이의 유사도가 기지정된 기준 유사도에 미치지 않는 경우, 사용자 단말(100) 및 수신 사용자 단말로 경고를 전송할 수 있다.
여기서는 사용자 설정부(210)가 서버(200)에 구비되는 것으로 설명하였으나, 사용자 설정부(210)는 사용자 단말(100)에 구비될 수도 있으며, 사용자 단말(100)과 서버(200) 모두에 구비될 수도 있다.
결과적으로 본 실시예에 따른 원격 현실 영상 송수신 장치는 사용자의 현재 상태에 대한 영상을 획득하되, 획득된 영상을 그대로 전송하지 않고, 가상 자아를 우선 전송하고 이후 가상 자아를 변경하기 위한 AU 정보를 전송하여 원격 현실 영상 송수신을 위한 데이터 량을 크게 줄일 수 있을 뿐만 아니라, 사용자의 개인 정보와 프라이버시를 보호할 수 있도록 한다. 또한 사용자 특징을 이용하여 획득된 영상에 포함된 사람이 등록되어 저장된 사용자인지를 실시간으로 판별하여 인증으로써, 가상 자아를 이용하면서도 지정된 사용자가 아닌 대리자가 대화에 참여할 수 없도록 하여 신뢰도를 높일 수 있다.
도 5 내지 도 7은 본 발명의 일 실시예에 따른 원격 현실 영상 송수신 방법을 나타낸다.
본 발명의 일 실시예에 따른 원격 현실 영상 송수신 방법은 도 5의 사용자 등록 단계와 도 6의 원격 현실 영상 송신 단계 및 도 7의 원격 현실 영상 수신 단계를 포함할 수 있다. 여기서 사용자 등록 단계는 서버(200)에서 수행될 수 있으나, 사용자 설정부(210)가 사용자 단말(100)에 구비되는 경우에는 사용자 단말(100)에서 수행될 수도 있으며, 원격 현실 영상 송신 단계 및 원격 현실 영상 수신 단계 이전에 수행되어야 한다.
그리고 원격 현실 영상 송신 단계와 원격 현실 영상 수신 단계는 서로 무관하게 독립적으로 수행될 수 있으며 동시에 수행될 수도 있다.
도 1 내지 도 4를 참조하여 원격 현실 영상 송수신 방법을 설명하면, 우선 도 5의 사용자 등록 단계에서는 사용자 정보를 획득하여 저장한다(S11). 여기서 사용자 정보는 사용자에 의해 입력되어 저장될 수 있으며, 사용자 식별자인 사용자 아이디와 패스워드 등이 포함될 수 있다. 그리고 저장된 사용자에 대한 인증용 이미지를 획득한다(S12). 여기서 인증용 이미지는 이후 다른 사람이 사용자를 가장하여 대화에 참여하는 것을 방지하기 위해서 미리 획득되는 이미지로서, 사용자 본인의 얼굴이 포함된 이미지이다. 사용자 설정부(210)가 사용자 단말(100)에 포함된 경우, 인증용 이미지는 사용자 단말(100)이 직접 획득할 수 있으나, 사용자 설정부(210)가 서버(200)에 포함된 경우에 서버(200)는 사용자 단말(100)로부터 인증용 이미지를 인가받아 획득할 수 있다.
인증용 이미지가 획득되면, 획득된 인증용 이미지로부터 사용자 본인을 인증하기 위한 인증용 사용자 특징을 획득한다(S13). 여기서 사용자 특징은 인공 신경망 등을 이용하여 획득되는 얼굴 특징 벡터일 수 있다.
그리고 대화 시에 사용자의 현재 상태를 대신하여 상대 사용자 단말에서 표시될 가상 자아를 획득한다(S14). 가상 자아는 인증용 이미지를 기반으로 생성되거나, 현재 획득된 사용자가 포함된 영상에서 추출된 이미지를 기반으로 생성할 수 있으나, 타인에 대한 이미지나 그래픽으로 생성된 이미지를 기반으로 생성될 수도 있다. 여기서 생성되는 가상 자아는 기지정된 개수의 얼굴 특징 정보만을 이용하여 다양한 얼굴 표정 표현이 가능하도록 기지정된 특징 위치가 미리 설정된다.
인증용 사용자 특징과 가상 자아 또한 사용자 설정부(210)가 서버(200)에 포함된 경우, 사용자 단말(100)로부터 인증용 사용자 특징과 가상 자아를 인가받아 저장할 수 있다.
또한 인증된 사용자 특징과 가상 자아는 사용자 식별자에 매칭되어 저장될 수 있다.
한편, 도 6을 참조하면, 원격 현실 영상 송신 단계에서는 우선 사용자 명령으로 지정된 적어도 하나의 사용자 단말에 대한 접속 요청이 입력되는지 판별한다(S21). 여기서 접속 요청은 화상 채팅 또는 화상 회의를 수행하기 위한 상대 사용자 단말에 대한 접속 요청을 의미한다.
상대 사용자 단말에 대한 접속 요청이 입력되면, 사용자 등록 단계에서 미리 생성되어 저장된 가상 자아를 상대 사용자 단말로 전송한다(S22). 그리고 실시간으로 영상을 촬영하여 획득한다(S23). 실시간으로 영상이 획득되면, 획득된 영상에 대해 기지정된 전처리를 수행한다(S24). 여기서 전처리는 획득된 영상에서 얼굴 영역을 추출하는 작업을 포함한다.
전처리가 수행되면, 전처리된 영상을 인가받아 미리 지정된 방식에 따라 전처리되어 추출된 얼굴 영역에서 얼굴의 표정과 동작을 표현할 수 있는 기지정된 개수의 AU 정보를 추출하고, 인증용 사용자 특징과의 비교를 위한 사용자 특징을 추출한다(S25). 일 예로 표정을 표현하기 위해 FACS를 기반으로 눈과 입주변에서 17개의 AU 정보를 추출하고, 동작을 표현하기 위해 시선 방향과 머리 회전 방향에 따른 5개의 특징을 추출하여 총 22개의 AU 정보를 추출할 수 있다. 그리고 사용자 특징은 인공 신경망 등을 이용하여 얼굴 특징 벡터의 형태로 추출될 수 있다.
AU 정보와 사용자 특징이 추출되면, 지정된 상대 사용자 단말로 추출된 특징을 전송한다(S26).
도 7을 참조하면, 원격 현실 영상 송신 단계에서는 먼저 다른 사용자 단말, 즉 다른 원격 영상 송수신 장치(100)로부터 접속 요청이 수신되는지 판별한다(S31). 그리고 접속 요청이 수신되면, 접속 요청을 전송한 사용자 단말로부터 가상 자아를 수신하여 저장한다(S32). 이때 인증용 사용자 특징을 함께 인가받아 저장할 수 있다. 그리고 이후, AU 정보가 수신되는지 판별한다(S33). AU 정보가 수신되면, 이미 수신되어 저장된 가상 자아에 수신된 AU 정보를 적용하여 가상 자아를 변환한다. 즉 AU 정보를 이용하여 가상 자아의 표정 및 동작을 조절한다(S34). 그리고 변환된 가상 자아를 사용자에게 디스플레이한다(S35).
한편 사용자 특징이 수신되면, 수신된 사용자 특징과 저장된 인증용 사용자 특징을 비교하여 현재 대화 상대가 사용자 본인인지 여부를 판별한다(S36). 즉 사용자 인증을 수행한다. 사용자 인증은 수신된 사용자 특징과 저장된 인증용 사용자 특징 사이의 유사도가 기지정된 기준 유사도 이상인지 판별하여 수행될 수 있다. 만일 사용자 본인이 아닌 것으로 판별되면, 기지정된 형식의 경고를 출력할 수 있다. 여기서 경고는 일 예로 도 1과 같이 디스플레이되는 형식일 수도 있다.
본 발명에 따른 방법은 컴퓨터에서 실행시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110: 영상 획득부 120: 가상 자아 생성부
120: 영상 획득부 130: 특징 획득부
131: 전처리부 132: AU 정보 추출부
133: 사용자 특징 추출부 140: 통신부
150: 가상 자아 복원부 151: 가상 자아 저장부
152: 가상 자아 변환부 160: 디스플레이부
210: 사용자 설정부 211: 사용자 정보 저장부
212: 사용자 특징 저장부 213: 사용자 확인부

Claims (10)

  1. 영상을 획득하는 영상 획득부;
    상기 영상에 포함된 사용자를 대체하기 위한 가상 자아를 기지정된 방식으로 생성하는 가상 자아 생성부;
    실시간으로 획득된 영상에 포함된 사용자의 얼굴에서 표정과 동작을 표현하기 위한 AU(Action Unit) 정보와 사용자 본인 확인을 위한 사용자 특징을 추출하는 특징 획득부;
    상기 가상 자아를 다른 사용자의 사용자 단말로 전송하고, 이후 실시간으로 획득되는 영상에서 추출된 상기 AU 정보와 상기 사용자 특징을 전송하며, 다른 사용자 단말에서 생성된 가상 자아, 상기 다른 사용자 단말의 AU 정보 및 사용자 특징을 수신하는 통신부;
    상기 다른 사용자 단말의 인증용 사용자 특징을 획득하여 저장하고, 저장된 인증용 사용자 특징과 상기 다른 사용자 단말의 사용자 특징을 비교하여 사용자 인증을 수행하는 사용자 설정부;
    수신된 상기 다른 사용자 단말의 AU 정보를 기반으로 수신된 다른 사용자 단말의 가상 자아를 기지정된 방식으로 변환하여 표정 및 동작이 표현된 가상 자아를 복원하는 가상 자아 복원부; 및
    복원된 가상 자아를 디스플레이하고, 사용자 인증 결과에 따라 결과를 함께 출력하는 디스플레이부를 포함하되,
    상기 사용자 설정부는
    사용자를 식별하기 위한 식별자와 상기 가상 자아를 매칭하여 저장하는 사용자 정보 저장부;
    상기 다른 사용자 단말의 인증용 사용자 특징을 획득하여 상기 식별자와 매칭하여 저장하는 사용자 특징 저장부; 및
    상기 다른 사용자 단말의 인증용 사용자 특징과 상기 수신한 다른 사용자 단말의 사용자 특징을 비교하여 사용자 인증을 수행하는 사용자 확인부를 포함하는 원격 현실 영상 송수신 장치.
  2. 제1항에 있어서, 상기 가상 자아 생성부는
    상기 가상 자아를 별도로 획득되는 인증용 이미지, 상기 실시간으로 획득된 영상의 지정된 이미지, 그래픽으로 생성된 이미지 또는 사용자와 무관한 타인의 이미지 중 하나를 이용하여 생성하는 원격 현실 영상 송수신 장치.
  3. 제1항에 있어서, 상기 특징 획득부는
    상기 실시간으로 획득된 영상을 인가받아 얼굴 영역을 추출하는 전처리 작업을 수행하는 전처리부;
    전처리된 영상을 인가받아 표정을 표현하기 위한 눈 주변과 입 주변의 기지정된 개수의 AU를 추출하고, 동작을 표현하기 위한 시선 방향과 머리의 회전 방향에 따른 정보를 추출하여 상기 AU 정보를 획득하는 AU 정보 추출부; 및
    전처리된 영상을 인가받아 기지정된 방식으로 얼굴 영역의 특징을 추출하여 상기 사용자 특징을 획득하는 사용자 특징 추출부를 포함하는 원격 현실 영상 송수신 장치.
  4. 삭제
  5. 제3항에 있어서, 상기 가상 자아 복원부는
    상기 식별자와 함께 수신된 가상 자아를 저장하는 가상 자아 저장부; 및
    상기 식별자와 함께 AU 정보가 수신되면, 저장된 가상 자아 중 상기 식별자에 대응하는 가상 자아를 획득하고, 획득된 가상 자아의 기지정된 특징 위치를 수신된 AU 정보에 따라 변경하여, 표정 및 동작이 표현된 가상 자아를 복원하는 가상 자아 변환부를 포함하는 원격 현실 영상 송수신 장치.
  6. 원격 현실 영상 송수신 장치에서 수행되는 원격 현실 영상 송수신 방법으로서,
    사용자를 식별하기 위한 식별자와 실시간으로 획득되는 영상의 사용자를 대체하기 위한 가상 자아를 생성하고, 다른 사용자 단말로 상기 가상 자아를 전송하는 단계;
    상기 사용자를 실시간으로 촬영한 실시간 영상을 획득하고, 상기 실시간 영상에 포함된 사용자의 얼굴에서 표정과 동작을 표현하기 위한 AU(Action Unit) 정보와 사용자를 확인하기 위한 사용자 특징을 획득하여, 획득된 AU 정보와 사용자 특징을 상기 다른 사용자 단말로 전송하는 단계;
    상기 다른 사용자 단말에서 생성된 가상 자아와 AU 정보 및 사용자 특징을 수신하고, 수신된 AU 정보를 기반으로 가상 자아를 기지정된 방식으로 변환하여 표정 및 동작이 표현된 가상 자아를 복원하는 단계;
    상기 다른 사용자 단말의 인증용 사용자 특징을 획득하고, 상기 다른 사용자 단말의 인증용 사용자 특징과 상기 다른 사용자 단말의 사용자 특징을 비교하여 사용자 본인 인증을 수행하는 단계; 및
    복원된 가상 자아를 디스플레이하고, 사용자 본인 인증 결과에 따라 경고를 출력하는 단계를 포함하되,
    상기 인증용 사용자 특징과 상기 식별자는 매칭하여 저장되는 원격 현실 영상 송수신 방법.
  7. 제6항에 있어서, 상기 가상 자아를 전송하는 단계는
    상기 식별자를 포함하는 사용자 정보를 획득하는 단계; 및
    상기 실시간 영상에 포함된 사람의 표정 및 동작을 대체할 수 있도록 기지정된 개수로 특징 위치가 지정된 가상 자아를 생성하는 단계;
    상기 인증용 사용자 특징을 생성하는 단계; 및
    상기 가상 자아와 상기 인증용 사용자 특징을 상기 식별자에 매칭하여 저장하고, 저장된 상기 가상 자아와 상기 인증용 사용자 특징을 매칭된 식별자와 함께 전송하는 단계를 포함하는 원격 현실 영상 송수신 방법.
  8. 제7항에 있어서, 상기 가상 자아를 생성하는 단계는
    상기 가상 자아를 별도로 획득되는 인증용 이미지, 상기 실시간으로 획득된 영상의 지정된 이미지, 그래픽으로 생성된 이미지 또는 사용자와 무관한 타인의 이미지 중 하나를 이용하여 생성하는 원격 현실 영상 송수신 방법.
  9. 제7항에 있어서, 상기 AU 정보와 사용자 특징을 전송하는 단계는
    상기 실시간 영상을 인가받아 얼굴 영역을 추출하는 전처리 작업을 수행하는 단계; 및
    전처리된 영상을 인가받아 표정을 표현하기 위한 눈 주변과 입 주변의 기지정된 개수의 AU를 추출하고, 동작을 표현하기 위한 시선 방향과 머리의 회전 방향에 따른 정보를 추출하여 상기 AU 정보를 획득하는 단계;
    전처리된 영상을 인가받아 기지정된 방식으로 얼굴 영역의 특징을 추출하여 상기 사용자 특징을 획득하는 단계; 및
    상기 AU 정보와 상기 사용자 특징을 대응하는 식별자와 함께 전송하는 단계를 포함하는 원격 현실 영상 송수신 방법.
  10. 제9항에 있어서, 상기 가상 자아를 복원하는 단계는
    대응하는 식별자와 함께 수신된 가상 자아를 저장하는 단계; 및
    대응하는 식별자와 함께 AU 정보가 수신되면, 대응하는 식별자에 대한 가상 자아를 획득하는 단계; 및
    획득된 가상 자아의 기지정된 특징 위치를 수신된 AU 정보에 따라 변경하여, 표정 및 동작이 표현된 가상 자아를 복원하는 단계를 포함하는 원격 현실 영상 송수신 방법.
KR1020210031256A 2021-03-10 2021-03-10 원격 현실 영상 송수신 장치 및 방법 KR102600601B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210031256A KR102600601B1 (ko) 2021-03-10 2021-03-10 원격 현실 영상 송수신 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210031256A KR102600601B1 (ko) 2021-03-10 2021-03-10 원격 현실 영상 송수신 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220126922A KR20220126922A (ko) 2022-09-19
KR102600601B1 true KR102600601B1 (ko) 2023-11-08

Family

ID=83460700

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210031256A KR102600601B1 (ko) 2021-03-10 2021-03-10 원격 현실 영상 송수신 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102600601B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102078249B1 (ko) * 2019-06-18 2020-02-17 주식회사 페이스테그 얼굴 인증 방법, 얼굴 인증 장치, 이를 위한 컴퓨터 프로그램

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120018479A (ko) * 2010-08-23 2012-03-05 에스케이플래닛 주식회사 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법
KR20130087315A (ko) 2012-01-27 2013-08-06 엔에이치엔아츠(주) 모바일 환경의 채팅 서비스에서 채팅 내용에 기초하여 아바타를 제어하는 아바타 서비스 시스템 및 방법
KR20200109634A (ko) * 2019-03-13 2020-09-23 주식회사 케이티 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102078249B1 (ko) * 2019-06-18 2020-02-17 주식회사 페이스테그 얼굴 인증 방법, 얼굴 인증 장치, 이를 위한 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR20220126922A (ko) 2022-09-19

Similar Documents

Publication Publication Date Title
CN108876877B (zh) 表情符号人偶化
WO2020204000A1 (ja) コミュニケーション支援システム、コミュニケーション支援方法、コミュニケーション支援プログラム、および画像制御プログラム
WO2018153267A1 (zh) 群组视频会话的方法及网络设备
CN109314661B (zh) 通信系统
US8099462B2 (en) Method of displaying interactive effects in web camera communication
CN101502088B (zh) 基于对会议参与者的脸部识别的交互
KR20200083008A (ko) 영상 통화 서비스를 제공하는 단말기 및 서버
CN106302427B (zh) 在虚拟现实环境中的分享方法及装置
US20100153858A1 (en) Uniform virtual environments
JP7073116B2 (ja) オフィス用バーチャルリアリティシステム、及びオフィス用バーチャルリアリティプログラム
US20210241465A1 (en) Expression transfer across telecommunications networks
CN111064919A (zh) 一种vr远程会议方法及装置
CN114900637A (zh) 一种视频会议方法、系统及其投影终端
CN109150690B (zh) 交互数据处理方法、装置、计算机设备和存储介质
CN110401810B (zh) 虚拟画面的处理方法、装置、系统、电子设备及存储介质
JP2008263297A (ja) 通信制御装置および通信端末
Riek et al. The age of avatar realism
KR20210149674A (ko) 아바타를 이용하여 영상 통화를 수행하는 사용자 단말, 통화 중계 서버 및 방법
CN106559636A (zh) 一种视频通信方法、装置及系统
JP2020136921A (ja) ビデオ通話システム、およびコンピュータプログラム
KR102412823B1 (ko) 번역 기능을 제공하는 실시간 양방향 온라인 회의 시스템
KR102151430B1 (ko) 스마트 컨택 센터 서비스를 수행하기 위한 컴퓨팅 장치
KR102600601B1 (ko) 원격 현실 영상 송수신 장치 및 방법
CN112669416B (zh) 客服服务系统、方法、装置、电子设备及存储介质
KR101577144B1 (ko) 디스플레이부의 화면공유를 통한 원격회의시스템 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant