KR101768532B1 - 증강 현실을 이용한 화상 통화 시스템 및 방법 - Google Patents

증강 현실을 이용한 화상 통화 시스템 및 방법 Download PDF

Info

Publication number
KR101768532B1
KR101768532B1 KR1020160070926A KR20160070926A KR101768532B1 KR 101768532 B1 KR101768532 B1 KR 101768532B1 KR 1020160070926 A KR1020160070926 A KR 1020160070926A KR 20160070926 A KR20160070926 A KR 20160070926A KR 101768532 B1 KR101768532 B1 KR 101768532B1
Authority
KR
South Korea
Prior art keywords
virtual content
terminal
dimensional position
image
video
Prior art date
Application number
KR1020160070926A
Other languages
English (en)
Inventor
박재완
권기석
김승균
Original Assignee
주식회사 맥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 맥스트 filed Critical 주식회사 맥스트
Priority to KR1020160070926A priority Critical patent/KR101768532B1/ko
Priority to US15/671,305 priority patent/US10084986B2/en
Application granted granted Critical
Publication of KR101768532B1 publication Critical patent/KR101768532B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/101—Collaborative creation, e.g. joint development of products or services
    • H04M1/72519—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38—Displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/359—Augmented reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

증강 현실을 이용한 화상 통화 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 화상 통화 시스템은 영상을 촬영하는 제1 단말; 및 상기 제1 단말로부터 수신되는 상기 영상에 가상 콘텐츠를 부가하고, 부가된 상기 가상 콘텐츠 정보를 상기 제1 단말로 제공하는 제2 단말을 포함하며, 상기 제1 단말은, 수신된 상기 가상 콘텐츠 정보를 기반으로 상기 영상에 대응되는 3차원 공간 상에서 상기 가상 콘텐츠의 3차원 위치 좌표를 계산하고, 계산된 상기 3차원 위치 좌표를 이용하여 상기 가상 콘텐츠를 상기 영상과 결합하여 디스플레이하도록 구성된다.

Description

증강 현실을 이용한 화상 통화 시스템 및 방법{SYSTEM AND METHOD FOR VIDEO CALL USING AUGMENTED REALITY}
본 발명의 실시예들은 증강 현실을 이용한 화상 통화 기술과 관련된다.
화상 통화란 상대방과 통화 시 음성과 함께 서로의 얼굴을 보면서 통화하는 통화 방식을 의미한다. 최근에는 스마트폰의 대중화와 함께 다양한 화상 통화 솔루션이 등장하면서, 화상 통화의 이용률이 증가하고 있는 추세이다.
초기의 화상 통화는 단순히 서로의 얼굴만을 보면서 통화하는 형태였으나, 최근에는 온라인 컨퍼런스, 원격 지원 등 다양한 분야에 화상 통화가 응용되고 있다. 그러나, 기존의 화상 통화 솔루션들은 통화 당사자 간 영상을 전달하는 것 이외에 부가적인 정보를 전달하는 데 한계가 존재하였다.
대한민국 등록특허공보 제10-0816442호 (2008.03.18)
본 발명의 실시예들은 증강 현실 기술을 이용하여 화상 통화 참가자간의 정보 교환을 용이하게 하기 위한 것이다.
예시적인 실시예에 따르면, 영상을 촬영하는 제1 단말; 및 상기 제1 단말로부터 수신되는 상기 영상에 가상 콘텐츠를 부가하고, 부가된 상기 가상 콘텐츠 정보를 상기 제1 단말로 제공하는 제2 단말을 포함하며, 상기 제1 단말은, 수신된 상기 가상 콘텐츠 정보를 기반으로 상기 영상에 대응되는 3차원 공간 상에서 상기 가상 콘텐츠의 3차원 위치 좌표를 계산하고, 계산된 상기 3차원 위치 좌표를 이용하여 상기 가상 콘텐츠를 상기 영상과 결합하여 디스플레이하는, 증강 현실을 이용한 화상 통화 시스템이 제공된다.
상기 가상 콘텐츠 정보는, 부가된 상기 가상 콘텐츠의 종류 및 상기 가상 콘텐츠의 상기 영상 내에서의 2차원 위치 좌표를 포함할 수 있다.
상기 제1 단말은, 상기 영상으로부터 3차원 공간 맵을 생성하고, 생성된 상기 3차원 공간 맵 내에서 상기 2차원 위치 좌표에 대응되는 지점의 깊이(depth)를 계산하며, 상기 2차원 위치 좌표 및 계산된 상기 깊이를 결합하여 상기 3차원 위치 좌표를 생성할 수 있다.
상기 제1 단말은, 상기 3차원 공간 맵 내의 특징점 중 상기 2차원 위치 좌표와 인접한 N개(N은 1 이상의 자연수)의 특징점을 선택하고, 선택된 N개의 특징점의 깊이로부터 상기 2차원 위치 좌표에 대응되는 지점의 깊이를 계산할 수 있다.
상기 제1 단말은, 기 설정된 주기마다 상기 3차원 위치 좌표를 재계산할 수 있다.
다른 예시적인 실시예에 따르면, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 영상을 촬영하여 화상 통화 상대방 단말로 송신하는 단계; 상기 상대방 단말로부터, 상기 영상에 부가된 가상 콘텐츠 정보를 수신하는 단계; 수신된 상기 가상 콘텐츠 정보에 기반하여 상기 영상에 대응되는 3차원 공간 상에서 상기 가상 콘텐츠의 3차원 위치 좌표를 계산하는 단계; 및 계산된 상기 3차원 위치 좌표를 이용하여 상기 가상 콘텐츠를 상기 영상과 결합하여 디스플레이하는 단계를 포함하는, 증강 현실을 이용한 화상 통화 방법이 제공된다.
상기 가상 콘텐츠 정보는, 부가된 상기 가상 콘텐츠의 종류 및 상기 가상 콘텐츠의 상기 영상 내에서의 2차원 위치 좌표를 포함할 수 있다.
상기 3차원 위치 좌표를 계산하는 단계는, 상기 영상으로부터 3차원 공간 맵을 생성하는 단계; 생성된 상기 3차원 공간 맵 내에서 상기 2차원 위치 좌표에 대응되는 지점의 깊이(depth)를 계산하는 단계; 및 상기 2차원 위치 좌표 및 계산된 상기 깊이를 결합하여 상기 3차원 위치 좌표를 생성하는 단계를 더 포함할 수 있다.
상기 깊이를 계산하는 단계는, 상기 3차원 공간 맵 내의 특징점 중 상기 2차원 위치 좌표와 인접한 N개(N은 1 이상의 자연수)의 특징점을 선택하고, 선택된 N개의 특징점의 깊이로부터 상기 2차원 위치 좌표에 대응되는 지점의 깊이를 계산하도록 구성될 수 있다.
다른 예시적인 실시예에 따르면, 비일시적 컴퓨터 판독 가능한 저장매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금, 영상을 촬영하여 화상 통화 상대방 단말로 송신하고,
상기 상대방 단말로부터, 상기 영상에 부가된 가상 콘텐츠 정보를 수신하고, 수신된 상기 가상 콘텐츠 정보에 기반하여 상기 영상에 대응되는 3차원 공간 상에서 상기 가상 콘텐츠의 3차원 위치 좌표를 계산하고, 그리고 계산된 상기 3차원 위치 좌표를 이용하여 상기 가상 콘텐츠를 상기 영상과 결합하여 디스플레이하도록 하는, 컴퓨터 프로그램이 제공된다.
본 발명의 실시예들에 따르면, 화상 통화시 통화 참가자간에 증강 현실 콘텐츠를 부가 정보의 형태로 전달함으로써 화상 통화 참가자간의 정보 교환을 용이하게 수행할 수 있을 뿐 아니라, 화상 통화의 활용 범위를 증대시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강 현실을 이용한 화상 통화 시스템을 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 증강 현실을 이용한 화상 통화 시스템에서, 제1 단말의 디스플레이 화면을 나타낸 예시도
도 3은 본 발명의 일 실시예에 따른 증강 현실을 이용한 화상 통화 시스템에서, 제2 단말의 디스플레이 화면을 나타낸 예시도
도 4는 본 발명의 일 실시예에 따른 제1 단말에서 영상에 가상 콘텐츠가 합성되어 디스플레이되는 예를 나타낸 예시도
도 5는 본 발명의 일 실시예에 따른 화상 통화 방법을 설명하기 위한 흐름도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 증강 현실을 이용한 화상 통화 시스템(100)을 설명하기 위한 블록도이다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 화상 통화 시스템(100)은 제1 단말(102) 및 제2 단말(104)을 포함한다.
제1 단말(102)은 영상을 촬영하여 제2 단말(104)로 송신하고, 제2 단말(104)로부터 상기 영상에 부가된 가상 콘텐츠 정보를 수신하며, 상기 가상 콘텐츠를 상기 영상과 합성하여 디스플레이하기 위한 단말이다. 개시되는 실시예들에서, 제1 단말(102)은 휴대폰, 스마트폰 등의 이동통신 장치, 태블릿 컴퓨터, 노트북 컴퓨터 등의 개인용 컴퓨팅 장치, 또는 시스루(see-through) 타입의 헤드 마운티드 디스플레이(head mounted display) 등의 웨어러블 디바이스일 수 있다.
제1 단말(102)은 영상을 촬영하기 위한 영상 촬영 수단 및 촬영된 영상 및/또는 가상 콘텐츠를 디스플레이하기 위한 디스플레이 수단을 포함한다. 예를 들어, 제1 단말(102)은 원격의 기술 전문가와 실시간 화상 통화를 수행하는 현장의 작업자가 사용하는 디바이스일 수 있다. 이 경우, 상기 작업자는 제1 단말(102)을 이용하여 원격의 기술 전문가의 자문을 필요로 하는 기기 또는 장치에 대한 실시간 영상을 촬영하고 이를 제2 단말(104)로 송신할 수 있다.
제2 단말(104)은 제1 단말(102)에서 촬영된 영상을 수신하고, 상기 영상에 가상 콘텐츠를 부가한 뒤, 부가된 가상 콘텐츠의 정보를 제1 단말(102)로 제공하기 위한 단말이다. 제1 단말(102)과 마찬가지로, 제2 단말(104)은 휴대폰, 스마트폰 등의 이동통신 장치, 태블릿 컴퓨터, 노트북 컴퓨터 등의 개인용 컴퓨팅 장치, 또는 시-스루(see-through) 타입의 헤드 마운티드 디스플레이(head mounted display) 등의 웨어러블 디바이스일 수 있다.
제2 단말(104)은 제1 단말(102)로부터 수신되는 영상을 디스플레이하기 위한 디스플레이 수단 및 상기 영상에 가상 콘텐츠를 부가하기 위한 입력 수단을 포함한다. 일 실시예에서, 상기 입력 수단은 키보드, 마우스 또는 터치패드 등의 입력 장치, 또는 디스플레이된 영상을 직접 터치하여 가상 콘텐츠를 부가하기 위한 터치 인터페이스 등일 수 있다. 예를 들어, 제2 단말(104)은 현장의 작업자와 원격으로 연결되어 작업자를 자문하는 전문가가 사용하는 디바이스일 수 있다. 이 경우, 원격 전문가는 제2 단말(104)을 통하여 현장의 작업자로부터 수신되는 영상을 보고, 가상 콘텐츠를 이용하여 작업자에게 적절한 지시를 할 수 있다. 개시되는 실시예들에서, 상기 가상 콘텐츠는 원, 다각형, 화살표, 별표 등의 도형, 텍스트, 작업 매뉴얼, 또는 이미지 등일 수 있으나, 본 발명의 실시예들은 특정 형태의 가상 콘텐츠에 한정되는 것은 아니다.
제2 단말(104)의 이용자가 영상에 가상 콘텐츠를 부가하는 경우, 제2 단말(104)은 제1 단말(102)로 부가된 가상 콘텐츠의 정보를 송신한다. 이때, 상기 가상 콘텐츠 정보는 부가된 상기 가상 콘텐츠의 종류 및 상기 가상 콘텐츠의 상기 영상 내에서의 2차원 위치 좌표 중 하나 이상을 포함할 수 있다. 이후 제1 단말(102)은 제2 단말(104)로부터 수신된 상기 가상 콘텐츠 정보를 기반으로 상기 영상에 대응되는 3차원 공간 상에서 상기 가상 콘텐츠의 3차원 위치 좌표를 계산하고, 계산된 상기 3차원 위치 좌표를 이용하여 상기 가상 콘텐츠를 상기 영상과 결합하여 디스플레이한다.
한편 제1 단말(102) 및 제2 단말(104)은 네트워크(106)를 통하여 서로 연결되며 상호간에 데이터를 주고받도록 구성된다. 개시되는 실시예들에서, 네트워크(106)는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wire area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다. 또한, 본 발명의 실시예들에서 네트워크(106)는 제1 단말(102) 및 제2 단말(104) 간의 화상 통화 서비스를 제공하기 위한 하나 이상의 서버를 포함할 수 있다. 예를 들어, 상기 서버는 webRTC 기술 등을 이용하여 제1 단말(102) 및 제2 단말(104) 간의 화상 통화 서비스를 제공할 수 있다. 그러나 본 발명의 실시예들은 특정 종류 내지 유형의 화상 통화 기술에 제한되는 것은 아님을 유의한다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 증강 현실을 이용한 화상 통화 시스템(100)의 화상 통화 진행 과정을 설명하기 위한 예시도이다. 먼저, 도 2는 본 발명의 일 실시예에 따른 증강 현실을 이용한 화상 통화 시스템(100)에서, 제1 단말(102)의 디스플레이 화면을 나타낸 예시도이다. 도 2에 도시된 바와 같이, 제1 단말(102)은 현재 촬영 중인 영상을 화면 상에 디스플레이할 수 있다. 또한, 상기 화면에는 타 단말 이용자와의 채팅 또는 화상 통화 연결 등을 위한 하나 이상의 버튼(202, 204)을 포함할 수 있다. 예를 들어, 버튼 202는 타 단말 이용자와의 채팅을 위한 버튼이고, 버튼 204는 타 단말 이용자와 화상 통화를 수행하기 위한 버튼일 수 있다. 이 경우, 제1 단말(102)의 이용자는 버튼 204를 터치하여 제2 단말(104)과 화상 통화 연결을 시도할 수 있다.
도 3은 본 발명의 일 실시예에 따른 증강 현실을 이용한 화상 통화 시스템(100)에서, 제2 단말(104)의 디스플레이 화면을 나타낸 예시도이다. 제2 단말(102)이 제1 단말(102)과 화상 통화를 수행하는 경우, 제2 단말(102)에는 제2 단말(102)로부터 수신되는 영상(302)이 디스플레이된다. 또한, 제2 단말(104)의 화면에는 상기 영상에 가상 콘텐츠를 부가하기 위한 하나 이상의 버튼(306~314)이 함께 디스플레이될 수 있다. 전술한 바와 같이, 상기 가상 콘텐츠는 원, 다각형, 화살표, 별표 등의 도형, 텍스트, 작업 매뉴얼, 또는 이미지 등일 수 있다. 제2 단말(104)의 사용자는 상기 하나 이상의 버튼 중 하나의 버튼을 선택하고, 해당 버튼에 대응되는 가상 콘텐츠의 출력 위치를 화면 상에 지정함으로써 가상 콘텐츠를 영상에 부가할 수 있다. 예를 들어, 제2 단말(104)의 사용자는 터치 인터페이스를 통하여 영상의 특정 지점을 터치함으로써 가상 콘텐츠의 출력 위치를 지정할 수 있다. 또한, 제2 단말(104)의 사용자는 드래그(drag) 제스처, 또는 멀티 터치 인터페이스를 이용한 핀치 제스처 등을 이용하여 출력된 가상 콘텐츠의 위치를 재조정하거나, 가상 콘텐츠를 회전하거나, 또는 가상 콘텐츠의 크기를 조절할 수 있다. 도시된 실시예에서는 화면 상에 화살표 형태의 가상 콘텐츠(318)를 출력한 예를 나타내었다. 한편, 제2 단말(104)의 화면에는 상기 하나 이상의 버튼과 함께 제1 단말(102)과의 채팅 또는 사용자 정보 디스플레이 등을 위한 추가적인 버튼(304, 316)이 구비될 수 있다.
도 4는 본 발명의 일 실시예에 따른 제1 단말(104)에서 영상에 가상 콘텐츠가 합성되어 디스플레이되는 예를 나타낸 예시도이다. 전술한 바와 같이, 제2 단말(104)의 이용자가 영상에 가상 콘텐츠를 부가하는 경우, 제2 단말(104)은 제1 단말(102)로 부가된 가상 콘텐츠의 정보를 송신한다. 이때, 상기 가상 콘텐츠 정보는 부가된 상기 가상 콘텐츠의 종류(가상 콘텐츠의 형태, 또는 식별 정보 등) 및 상기 가상 콘텐츠의 상기 영상 내에서의 2차원 위치 좌표 중 하나 이상을 포함할 수 있다. 이중 상기 2차원 위치 좌표는 상기 가상 콘텐츠가 상기 영상 내에서 어떠한 지점에 위치하는 지를 나타낸다. 예를 들어, 상기 2차원 위치 좌표는, 영상 내에서 상기 가상 콘텐츠의 시작점의 좌표일 수 있다.
제1 단말(102)이 촬영하는 대상은 3차원 공간인 반면, 상기 대상을 촬영한 영상 자체는 2차원 정보만을 포함한다. 따라서 제2 단말(104)로부터 가상 콘텐츠의 정보를 수신하여 이를 기반으로 가상 콘텐츠를 화면에 표시하는 경우, 제1 단말(102)의 이동으로 인해 영상 내 촬영 대상의 위치가 변경되더라도 가상 콘텐츠는 화면 내에서 동일한 위치에 존재하게 된다. 이 경우, 가상 콘텐츠는 결과적으로 제2 단말(104)이 원래 의도하지 않았던 위치에 존재하게 될 수도 있다. 이와 같은 가상 콘텐츠와 화면 간의 불일치를 해소하기 위하여, 본 발명의 실시예에서 제1 단말(102)은 영상으로부터 3차원 공간을 인식하고, 인식된 공간 상에 가상 콘텐츠를 배치함으로써 제1 단말(102)이 이동하더라도 가상 콘텐츠가 계속하여 동일한 공간 상의 위치에 존재할 수 있도록 구성된다. 이를 좀 더 구체적으로 설명하면 다음과 같다.
제2 단말(104)로부터 가상 콘텐츠 정보가 수신되면, 제1 단말(102)은 영상 촬영 수단을 통하여 획득되는 영상으로부터 3차원 공간 맵을 구성한다. 일 실시예에서, 제1 단말(102)은 영상 촬영 수단을 통해 입력되는 연속된 영상으로부터 하나 이상의 특징점을 추출할 수 있다. 전술한 바와 같이 카메라 영상은 2차원의 평면 정보만을 포함하나, 연속된 프레임 간의 관계를 분석함으로써 3차원 공간 정보를 유추할 수 있다. 예를 들어, 제1 단말(102)은 FAST(Features from Accelerated Segment Test), SIFT(Scale Invariant Feature Transform), HOG(Histogram of Oriented Gradient), SURF(Speeded Up Robust Features) 등의 알고리즘을 이용하여 영상으로부터 3차원 공간 맵을 구성할 수 있으나, 본 발명의 실시예들은 특정 종류의 알고리즘에 한정되는 것은 아니다.
3차원 공간 맵이 생성되면, 다음으로 제1 단말(102)은 생성된 상기 3차원 공간 맵 내에서 상기 2차원 위치 좌표에 대응되는 지점의 깊이(depth)를 계산한다. 3차원 공간 맵 상에서 각 특징점들은 각각 카메라로부터 해당 특징점까지의 거리에 해당하는 깊이 정보를 가지게 된다. 따라서 제1 단말(102)은 상기 깊이 정보를 이용하여 상기 2차원 위치 좌표에 대응되는 지점의 깊이를 계산할 수 있다.
일 실시예에서, 제1 단말(102)은 상기 3차원 공간 맵 내의 특징점 중 상기 2차원 위치 좌표와 인접한 순으로 N개(N은 1 이상의 자연수)의 특징점을 선택하고, 선택된 N개의 특징점의 깊이로부터 상기 2차원 위치 좌표에 대응되는 지점의 깊이를 계산할 수 있다. 예를 들어, 제1 단말(102)은 선택된 N개의 특징점의 깊이의 평균값 또는 중간값을 상기 2차원 위치 좌표에 대응되는 깊이로 설정할 수 있다.
이후, 제1 단말(102)은 상기 2차원 위치 좌표 및 상기 깊이를 결합하여 상기 가상 콘텐츠의 3차원 위치 좌표를 생성하고, 생성된 상기 3차원 좌표 상에 가상 콘텐츠(402)를 렌더링하게 된다.
이와 같이, 본 발명의 실시예들에서 제1 단말(102)은 가상 콘텐츠의 공간 내에서의 깊이를 계산하고 이를 이용하여 가상 콘텐츠를 영상 내에 배치하게 된다. 이에 따라, 본 발명의 실시예들에서 가상 콘텐츠는 2차원 평면상에 존재하는 것이 아니라, 마치 3차원 공간 내에 실제로 존재하는 오브젝트와 같은 형태로 영상에 표현되게 된다. 또한, 전술한 깊이 계산 및 3차원 위치 좌표의 생성은 기 설정된 주기에 따라 반복하여 수행되는 바, 가상 콘텐츠의 수신 이후 제1 단말(102)이 이동하더라도 가상 콘텐츠는 계속하여 공간 내의 동일 지점을 가리키도록 동적으로 변화될 수 있다. 따라서 본 발명의 실시예들에 따를 경우, 화상 통화의 이용자들은 화면을 통하여 마치 실제 3차원 공간상에 콘텐츠를 배치하는 것과 같은 방식으로 서로 정보를 교환할 수 있게 되며, 이에 따라 화상 통화를 통한 정보 전달의 효율성을 높일 수 있다.
일 실시예에서, 제1 단말(102) 및 제2 단말(104)은 하나 이상의 프로세서 및 그 프로세서와 연결된 컴퓨터 판독 가능 기록 매체를 포함하는 컴퓨팅 장치 상에서 구현될 수 있다. 컴퓨터 판독 가능 기록 매체는 프로세서의 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다. 컴퓨팅 장치 내의 프로세서는 각 컴퓨팅 장치로 하여금 본 명세서에서 기술되는 예시적인 실시예에 따라 동작하도록 할 수 있다. 예를 들어, 프로세서는 컴퓨터 판독 가능 기록 매체에 저장된 명령어를 실행할 수 있고, 컴퓨터 판독 가능 기록 매체에 저장된 명령어는 프로세서에 의해 실행되는 경우 컴퓨팅 장치로 하여금 본 명세서에 기술되는 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
도 5는 본 발명의 일 실시예에 따른 화상 통화 방법을 설명하기 위한 흐름도이다. 도시된 방법은 예를 들어, 전술한 제1 단말(102) 또는 제2 단말(104)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
단계 502에서, 제1 단말(102)은 영상을 촬영하고, 촬영 영상을 제2 단말(104)로 송신한다.
단계 504에서, 제2 단말(104)은 제1 단말(102)로부터 수신되는 상기 영상에 가상 콘텐츠를 부가한다.
단계 506에서, 제2 단말(104)은 부가된 상기 가상 콘텐츠 정보를 제1 단말(102)로 제공한다. 상기 가상 콘텐츠 정보는, 부가된 상기 가상 콘텐츠의 종류 및 상기 가상 콘텐츠의 상기 영상 내에서의 2차원 위치 좌표를 포함할 수 있다.
단계 508에서, 제1 단말(102)은 상기 영상으로부터 3차원 공간 맵을 생성한다. 3차원 공간 맵과 관련된 상세한 사항에 대해서는 전술하였다.
단계 510에서, 제1 단말(102)은 수신된 상기 가상 콘텐츠 정보에 기반하여 상기 영상에 대응되는 3차원 공간 상에서 상기 가상 콘텐츠의 3차원 위치 좌표를 계산한다. 구체적으로, 제1 단말(102)은 생성된 상기 3차원 공간 맵 내에서 상기 2차원 위치 좌표에 대응되는 지점의 깊이(depth)를 계산하고, 상기 2차원 위치 좌표 및 계산된 상기 깊이를 결합함으로써 상기 3차원 위치 좌표를 생성할 수 있다. 또한, 제1 단말(102)은 상기 3차원 공간 맵 내의 특징점 중 상기 2차원 위치 좌표와 인접한 N개(N은 1 이상의 자연수)의 특징점을 선택하고, 선택된 N개의 특징점의 깊이로부터 상기 2차원 위치 좌표에 대응되는 지점의 깊이를 계산할 수 있다.
단계 512에서, 제1 단말(102)은 계산된 상기 3차원 위치 좌표를 이용하여 상기 가상 콘텐츠를 상기 영상과 결합하여 디스플레이한다.
한편, 본 발명의 실시예는 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
102: 제1 단말
104: 제2 단말
202, 304: 채팅 버튼
204: 화상 통화 버튼
306~314: 가상 콘텐츠 입력 버튼
316: 사용자 정보 출력 버튼
318, 402: 가상 콘텐츠

Claims (10)

  1. 영상을 촬영하는 제1 단말; 및
    상기 제1 단말로부터 수신되는 상기 영상에 가상 콘텐츠를 부가하고, 부가된 상기 가상 콘텐츠 정보를 상기 제1 단말로 제공하는 제2 단말을 포함하며,
    상기 제1 단말은,
    수신된 상기 가상 콘텐츠 정보를 기반으로 상기 영상에 대응되는 3차원 공간 상에서 상기 가상 콘텐츠의 3차원 위치 좌표를 계산하고, 계산된 상기 3차원 위치 좌표를 이용하여 상기 가상 콘텐츠를 상기 영상과 결합하여 디스플레이하되, 상기 영상으로부터 3차원 공간 맵을 생성하고, 상기 3차원 공간 맵 내의 특징점 중 상기 가상 콘텐츠의 상기 영상 내에서의 2차원 위치 좌표와 인접한 N개(N은 1 이상의 자연수)의 특징점을 선택하고, 선택된 N개의 특징점의 깊이로부터 상기 2차원 위치 좌표에 대응되는 지점의 깊이를 계산하는, 증강 현실을 이용한 화상 통화 시스템.
  2. 청구항 1에 있어서,
    상기 가상 콘텐츠 정보는,
    부가된 상기 가상 콘텐츠의 종류 및 상기 2차원 위치 좌표를 포함하는, 증강 현실을 이용한 화상 통화 시스템.
  3. 청구항 2에 있어서,
    상기 제1 단말은,
    상기 2차원 위치 좌표 및 계산된 상기 깊이를 결합하여 상기 3차원 위치 좌표를 생성하는, 증강 현실을 이용한 화상 통화 시스템.
  4. 삭제
  5. 청구항 3에 있어서,
    상기 제1 단말은,
    기 설정된 주기마다 상기 3차원 위치 좌표를 재계산하는, 증강 현실을 이용한 화상 통화 시스템.
  6. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    영상을 촬영하여 화상 통화 상대방 단말로 송신하는 단계;
    상기 상대방 단말로부터, 상기 영상에 부가된 가상 콘텐츠 정보를 수신하는 단계;
    수신된 상기 가상 콘텐츠 정보에 기반하여 상기 영상에 대응되는 3차원 공간 상에서 상기 가상 콘텐츠의 3차원 위치 좌표를 계산하는 단계; 및
    계산된 상기 3차원 위치 좌표를 이용하여 상기 가상 콘텐츠를 상기 영상과 결합하여 디스플레이하는 단계를 포함하고,
    상기 3차원 위치 좌표를 계산하는 단계는,
    상기 영상으로부터 3차원 공간 맵을 생성하는 단계; 및
    상기 3차원 공간 맵 내의 특징점 중 상기 가상 콘텐츠의 상기 영상 내에서의 2차원 위치 좌표와 인접한 N개(N은 1 이상의 자연수)의 특징점을 선택하고, 선택된 N개의 특징점의 깊이로부터 상기 2차원 위치좌표에 대응되는 지점의 깊이를 계산하는 단계를 포함하는, 증강 현실을 이용한 화상 통화 방법.
  7. 청구항 6에 있어서,
    상기 가상 콘텐츠 정보는,
    부가된 상기 가상 콘텐츠의 종류 및 상기 2차원 위치 좌표를 포함하는, 증강 현실을 이용한 화상 통화 방법.
  8. 청구항 7에 있어서,
    상기 3차원 위치 좌표를 계산하는 단계는,
    상기 2차원 위치 좌표 및 계산된 상기 깊이를 결합하여 상기 3차원 위치 좌표를 생성하는 단계를 더 포함하는, 증강 현실을 이용한 화상 통화 방법.
  9. 삭제
  10. 비일시적 컴퓨터 판독 가능한 저장매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
    영상을 촬영하여 화상 통화 상대방 단말로 송신하고,
    상기 상대방 단말로부터, 상기 영상에 부가된 가상 콘텐츠 정보를 수신하고,
    수신된 상기 가상 콘텐츠 정보에 기반하여 상기 영상에 대응되는 3차원 공간 상에서 상기 가상 콘텐츠의 3차원 위치 좌표를 계산하고, 그리고
    계산된 상기 3차원 위치 좌표를 이용하여 상기 가상 콘텐츠를 상기 영상과 결합하여 디스플레이하되, 상기 영상으로부터 3차원 공간 맵을 생성하고, 상기 3차원 공간 맵 내의 특징점 중 상기 가상 콘텐츠의 상기 영상 내에서의 2차원 위치 좌표와 인접한 N개(N은 1 이상의 자연수)의 특징점을 선택하고, 선택된 N개의 특징점의 깊이로부터 상기 2차원 위치 좌표에 대응되는 지점의 깊이를 계산하도록 하는, 비일시적 컴퓨터 판독 가능한 저장매체에 저장된 컴퓨터 프로그램.
KR1020160070926A 2016-06-08 2016-06-08 증강 현실을 이용한 화상 통화 시스템 및 방법 KR101768532B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160070926A KR101768532B1 (ko) 2016-06-08 2016-06-08 증강 현실을 이용한 화상 통화 시스템 및 방법
US15/671,305 US10084986B2 (en) 2016-06-08 2017-08-08 System and method for video call using augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160070926A KR101768532B1 (ko) 2016-06-08 2016-06-08 증강 현실을 이용한 화상 통화 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101768532B1 true KR101768532B1 (ko) 2017-08-30

Family

ID=59760390

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160070926A KR101768532B1 (ko) 2016-06-08 2016-06-08 증강 현실을 이용한 화상 통화 시스템 및 방법

Country Status (2)

Country Link
US (1) US10084986B2 (ko)
KR (1) KR101768532B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102148103B1 (ko) * 2019-11-06 2020-08-25 세종대학교산학협력단 스테레오 카메라를 장착한 드론을 이용한 혼합현실 환경 생성 방법 및 장치
CN111837381A (zh) * 2018-09-20 2020-10-27 华为技术有限公司 增强现实的通信方法及电子设备
KR20210085929A (ko) * 2019-12-31 2021-07-08 주식회사 버넥트 다중 사용자 간의 증강현실 커뮤니케이션 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101577986B1 (ko) * 2015-03-24 2015-12-16 (주)해든브릿지 양방향 가상 현실 구현 시스템
KR101768532B1 (ko) * 2016-06-08 2017-08-30 주식회사 맥스트 증강 현실을 이용한 화상 통화 시스템 및 방법
CN111131305A (zh) * 2019-12-31 2020-05-08 青岛小鸟看看科技有限公司 视频通信方法、装置及vr设备
WO2022147698A1 (zh) * 2021-01-06 2022-07-14 华为技术有限公司 三维视频通话方法及电子设备
US11949527B2 (en) * 2022-04-25 2024-04-02 Snap Inc. Shared augmented reality experience in video chat

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101099838B1 (ko) * 2010-06-02 2011-12-27 신두일 컴퓨터와 휴대단말기 간 영상통신을 이용한 원격 에프터 서비스방법
KR101126449B1 (ko) * 2011-06-30 2012-03-29 양재일 증강 현실 서비스 시스템 및 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7007236B2 (en) * 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
FR2837597A1 (fr) * 2002-03-25 2003-09-26 Thomson Licensing Sa Procede de modelisation d'une scene 3d
US10109315B2 (en) * 2005-03-01 2018-10-23 Eyesmatch Ltd Devices, systems and methods for auto-delay video presentation
JP4847192B2 (ja) * 2006-04-14 2011-12-28 キヤノン株式会社 画像処理システム、画像処理装置、撮像装置、及びそれらの制御方法
KR100816442B1 (ko) 2006-08-17 2008-03-27 에스케이 텔레콤주식회사 화상통화에 영상 효과 서비스를 제공하는 방법 및 시스템
JP4989417B2 (ja) * 2007-10-26 2012-08-01 キヤノン株式会社 画像表示システム、画像表示装置及びその制御方法、コンピュータプログラム
EP2434769B1 (en) * 2009-05-19 2016-08-10 Panasonic Intellectual Property Management Co., Ltd. Recording method and playback method
US8290338B2 (en) * 2009-05-27 2012-10-16 Panasonic Corporation Recording medium, playback device, encoding device, integrated circuit, and playback output device
KR101096392B1 (ko) * 2010-01-29 2011-12-22 주식회사 팬택 증강 현실 제공 시스템 및 방법
KR101118010B1 (ko) 2010-07-16 2012-06-12 텔코웨어 주식회사 증강 현실을 이용한 영상 통화 서비스 방법 및 그 시스템, 및 기록매체
ES2392229B1 (es) * 2010-08-27 2013-10-16 Telefónica, S.A. Método de generación de un modelo de un objeto plano a partir de vistas del objeto.
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
CN103971400B (zh) * 2013-02-06 2018-02-02 阿里巴巴集团控股有限公司 一种基于标识码的三维交互的方法和系统
KR102099834B1 (ko) 2013-06-18 2020-04-10 엘지전자 주식회사 전자장치 및 전자장치의 동작방법
KR101768532B1 (ko) * 2016-06-08 2017-08-30 주식회사 맥스트 증강 현실을 이용한 화상 통화 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101099838B1 (ko) * 2010-06-02 2011-12-27 신두일 컴퓨터와 휴대단말기 간 영상통신을 이용한 원격 에프터 서비스방법
KR101126449B1 (ko) * 2011-06-30 2012-03-29 양재일 증강 현실 서비스 시스템 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111837381A (zh) * 2018-09-20 2020-10-27 华为技术有限公司 增强现实的通信方法及电子设备
US11743954B2 (en) 2018-09-20 2023-08-29 Huawei Technologies Co., Ltd. Augmented reality communication method and electronic device
KR102148103B1 (ko) * 2019-11-06 2020-08-25 세종대학교산학협력단 스테레오 카메라를 장착한 드론을 이용한 혼합현실 환경 생성 방법 및 장치
KR20210085929A (ko) * 2019-12-31 2021-07-08 주식회사 버넥트 다중 사용자 간의 증강현실 커뮤니케이션 방법
KR102467017B1 (ko) * 2019-12-31 2022-11-14 주식회사 버넥트 다중 사용자 간의 증강현실 커뮤니케이션 방법

Also Published As

Publication number Publication date
US10084986B2 (en) 2018-09-25
US20180020180A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
KR101768532B1 (ko) 증강 현실을 이용한 화상 통화 시스템 및 방법
US10460512B2 (en) 3D skeletonization using truncated epipolar lines
US20220319139A1 (en) Multi-endpoint mixed-reality meetings
EP3213507B1 (en) Modifying video call data
WO2016165615A1 (zh) 一种即时视频中的表情特效动画加载方法和电子设备
EP3198559B1 (en) Modifying video call data
WO2019184499A1 (zh) 一种视频通话的方法、设备和计算机存储介质
KR102402580B1 (ko) 메타버스 환경에서의 영상 처리 시스템 및 방법
US20180157321A1 (en) Private real-time communication between meeting attendees during a meeting using one or more augmented reality headsets
CN113420719A (zh) 生成动作捕捉数据的方法、装置、电子设备以及存储介质
CN109948093B (zh) 表情图片生成方法、装置及电子设备
US20200312022A1 (en) Method and device for processing image, and storage medium
WO2019109828A1 (zh) Ar业务处理方法、装置、服务器、移动终端及存储介质
WO2016165614A1 (zh) 一种即时视频中的表情识别方法和电子设备
CN110168630A (zh) 增强视频现实
EP2953351B1 (en) Method and apparatus for eye-line augmentation during a video conference
CN112714337A (zh) 视频处理方法、装置、电子设备和存储介质
JP6146869B2 (ja) 撮影動画像に指示画像を同期して重畳する映像指示表示方法、システム、端末、及びプログラム
US10068147B2 (en) System and method for insertion of photograph taker into a photograph
KR20170127354A (ko) 페이셜 모션 캡쳐를 이용한 얼굴 변환 화상 대화 장치 및 방법
CN113242398A (zh) 一种三维标注的音视频通话方法和系统
CN111524240A (zh) 场景切换方法、装置及增强现实设备
Cao et al. Immediate presence of handwritten annotation on moving picture in real-time collaborative system
US20230069614A1 (en) High-definition real-time view synthesis
US20240087242A1 (en) 3d cursor functionality for augmented reality content in messaging systems

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant