KR20220018760A - 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법 - Google Patents

단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법 Download PDF

Info

Publication number
KR20220018760A
KR20220018760A KR1020200099260A KR20200099260A KR20220018760A KR 20220018760 A KR20220018760 A KR 20220018760A KR 1020200099260 A KR1020200099260 A KR 1020200099260A KR 20200099260 A KR20200099260 A KR 20200099260A KR 20220018760 A KR20220018760 A KR 20220018760A
Authority
KR
South Korea
Prior art keywords
key point
information
point information
similarity
character image
Prior art date
Application number
KR1020200099260A
Other languages
English (en)
Inventor
주영현
김선희
김영기
김정훈
우효경
조효영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020200099260A priority Critical patent/KR20220018760A/ko
Priority to PCT/KR2021/010276 priority patent/WO2022031041A1/ko
Priority to US17/601,602 priority patent/US11694383B2/en
Priority to CN202180056888.9A priority patent/CN116250015A/zh
Priority to EP21852798.4A priority patent/EP4167188A4/en
Publication of KR20220018760A publication Critical patent/KR20220018760A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H04L67/2842—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/289—Intermediate processing functionally located close to the data consumer application, e.g. in same machine, in same home or in same sub-network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 개시는 단말에 3차원(3D) 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법을 개시한다. 본 개시의 일 실시예는 네트워크 인터페이스, 하나 이상의 명령어들(instructions)을 포함하는 프로그램을 저장하는 메모리, 및 메모리에 저장된 프로그램의 하나 이상의 명령어들을 실행하는 프로세서를 포함하고, 프로세서는 네트워크 인터페이스를 이용하여 제1 단말로부터 제1 사용자의 신체 부위에 관한 특징점 좌표를 포함하는 키 포인트(key points) 정보를 획득하고, 제2 단말로부터 제2 사용자가 3D 캐릭터 이미지를 바라보는 가상의 시점에 관한 가상의 위치 좌표값 정보를 포함하는 뷰 포인트(view points) 정보를 획득하며, 획득된 키 포인트 정보 및 뷰 포인트 정보를 데이터 캐시(data cache)에 캐싱된 키 포인트 정보 및 뷰 포인트 정보와 비교함으로써, 키 포인트 유사도 및 뷰 포인트 유사도를 측정하고, 측정된 키 포인트 유사도 및 뷰 포인트 유사도에 기초하여, 데이터 캐시에 캐싱된 3D 캐릭터 이미지를 리드아웃(read out)하며, 리드아웃된 3D 캐릭터 이미지를 제2 단말에 전송하는 엣지 데이터 네트워크를 개시한다.

Description

단말에 3D 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법 {EDGE DATA NETWORK FOR PROVIDING THREE-DIMENSIONAL CHARACTER IMAGE TO THE USER EQUIPMENT AND METHOD FOR OPERATING THE SAME}
본 개시는 단말에 3D 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법에 관한 것이다. 보다 구체적으로는, 제1 단말과 제2 단말과 증강 현실 원격 회의(Augmented Reality Telepresence)를 수행하는 엣지 데이터 네트워크가 사용자에 관한 3D 캐릭터 이미지를 제2 단말에 제공하는 방법 및 엣지 데이터 네트워크에 관한 것이다.
최근, 엣지 서버(edge server)를 이용하여 데이터를 전송하는 엣지 컴퓨팅(edge computing) 기술이 논의되고 있다. 엣지 컴퓨팅 기술은, 예를 들어, MEC(Multi-access Edge Computing) 또는 포그 컴퓨팅(fog computing, FOC)을 포함할 수 있다. 엣지 컴퓨팅 기술은 전자 장치와 지리적으로 가까운 위치, 예를 들어, 기지국 내부 또는 기지국 근처에 설치된 별도의 서버(이하, '엣지 데이터 네트워크' 또는 'MEC 서버'라 한다)를 통해 전자 장치로 데이터를 제공하는 기술을 의미할 수 있다. 예를 들어, 전자 장치에 설치된 적어도 하나의 애플리케이션 중 낮은 지연 시간(latency)을 요구하는 애플리케이션은 외부 데이터 네트워크(data network, DN)(예: 인터넷)에 위치한 서버를 통하지 않고, 지리적으로 가까운 위치에 설치된 엣지 서버를 통해 데이터를 송수신할 수 있다.
최근에는 엣지 컴퓨팅 기술을 이용한 서비스(이하, 'MEC 기반 서비스' 또는 'MEC 서비스'라 한다)에 관하여 논의되고 있으며, MEC 기반 서비스를 지원하도록 전자 장치에 관한 연구 및 개발이 진행되고 있다. 특히, 전자 장치는 애플리케이션을 통해, 엣지 서버(또는 엣지 서버의 애플리케이션)와 애플리케이션 레이어(application layer) 상에서 엣지 컴퓨팅 기반으로 증강 현실 원격 회의(augmented reality telepresence, AR Telepresence)를 수행할 수 있다.
증강 현실 원격 회의 애플리케이션의 경우, 액터 디바이스(actor device)와 뷰어 디바이스(viewer device)는 MEC 서버(엣지 데이터 네트워크)를 통해 3D 아바타 이미지를 이용하여 회의를 진행한다. 증강 현실 원격 회의 애플리케이션은 고품질, 고성능을 요구하므로, 3D 아바타 이미지를 렌더링하기 위해서는 MEC 서버에 의한 연산량이 많아 처리 시간(processing time)이 오래 걸리고, 네트워크를 통해 전송되는 데이터의 용량도 크므로 네트워크 사용 비용이 증가하는 문제점이 있다. 특히, 회의의 특성 상 사용자들의 움직임이 정도 또는 빈도가 적고, 특정 행위가 반복되는 경우가 많은데, 사용자의 모든 행위 또는 움직임에 대하여 3D 아바타 이미지를 렌더링함으로써, 컴퓨팅 파워가 비효율적으로 소모되는 문제점이 있다.
본 개시는 엣지 컴퓨팅(edge computing) 서비스를 이용하여 단말에 3D 캐릭터 이미지를 제공하기 위한 방법 및 장치를 제공한다. 또한, 본 개시는 3D 캐릭터 이미지 렌더링을 위한 컴퓨팅 자원의 절감과 처리 시간의 단축을 위하여, 기 생성된 3D 캐릭터 이미지를 데이터 캐시 내에 저장하고, 단말의 사용자의 동작 또는 행위가 동일하거나 유사한 경우, 캐싱된 3D 캐릭터 이미지를 단말에 전송하는 방법 및 장치를 제공한다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는 엣지 데이터 네트워크(edge data network)가 단말에 3차원(3D) 캐릭터 이미지를 제공하는 방법을 제공한다. 상기 방법은, 제1 단말을 통해 촬영된 제1 이미지 프레임으로부터 추출된 제1 사용자의 신체 부위, 자세, 또는 골격 구조에 관한 복수의 특징 좌표값을 포함하는 제1 키 포인트(key points) 정보 및 제2 단말을 통해 디스플레이되는 3D 캐릭터 이미지를 바라보는 가상의 시점(view points)에 관한 가상의 위치 좌표값 정보를 포함하는 제1 뷰 포인트(view points) 정보를 획득하는 단계, 획득된 상기 제1 키 포인트 정보 및 상기 제1 뷰 포인트 정보에 기초하여 상기 제1 사용자의 모습, 행동 또는 동작을 나타내는 3D 캐릭터 이미지를 렌더링(rendering)하는 단계, 상기 렌더링된 3D 캐릭터 이미지를 상기 제1 키 포인트 정보 및 상기 제1 뷰 포인트 정보와 연관하여 데이터 캐시(data cache)에 저장하는 단계, 상기 제1 이미지 프레임 이후에 획득되는 제2 이미지 프레임에 관한 제2 키 포인트 정보 및 제2 뷰 포인트 정보를 각각 획득하는 단계, 획득된 제2 키 포인트 정보 및 상기 제2 뷰 포인트 정보를 상기 데이터 캐시에 기 저장된 상기 제1 키 포인트 정보 및 상기 제1 뷰 포인트 정보와 각각 비교함으로써, 키 포인트 유사도 및 뷰 포인트 유사도를 측정하는 단계, 및 상기 측정된 키 포인트 유사도 및 상기 뷰 포인트 유사도에 기초하여, 상기 데이터 캐시에 기 저장된 3D 캐릭터 이미지를 상기 제2 이미지 프레임에 관한 3D 캐릭터 이미지로서 상기 제2 단말에 제공하는 단계를 포함한다.
일 실시예에서, 상기 제1 키 포인트 정보 및 상기 제1 뷰 포인트 정보를 획득하는 단계는, 원격에 배치되는 다른 엣지 데이터 네트워크로부터 상기 제1 키 포인트 정보를 수신할 수 있다.
일 실시예에서, 상기 제1 키 포인트 정보 및 상기 제1 뷰 포인트 정보를 획득하는 단계는, 상기 제1 단말에 의해 상기 제1 사용자를 촬영하여 획득된 제1 이미지 프레임을 상기 제1 단말로부터 수신하는 단계, 상기 수신된 제1 이미지 프레임으로부터 상기 제1 사용자의 신체 부위, 자세, 또는 골격 구조에 관한 복수의 특징점에 관한 복수의 위치 좌표값을 추출하는 단계, 및 상기 추출된 복수의 위치 좌표값을 포함하는 제1 키 포인트 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에서, 상기 3D 캐릭터 이미지를 렌더링하는 단계는, 상기 제1 사용자의 사용자 식별 정보(user identification information)를 수신하는 단계, 및 상기 수신된 사용자 식별 정보에 따라 기 생성된 3D 캐릭터 이미지를 이용하여 상기 3D 캐릭터 이미지를 렌더링하는 단계를 포함할 수 있다.
일 실시예에서, 상기 3D 캐릭터 이미지를 상기 데이터 캐시에 저장하는 단계는, 상기 제1 사용자의 사용자 식별 정보, 상기 제1 사용자의 모습, 과거 행동, 동작, 자세 또는 방향에 관하여 기 획득된 복수의 키 포인트 정보, 키 포인트 유사도 판단의 우선 순위 정보, 원격 회의의 타입(type)에 관한 정보 중 적어도 하나를 상기 3D 캐릭터 이미지와 함께 상기 데이터 캐시에 저장할 수 있다.
일 실시예에서, 상기 키 포인트 유사도를 측정하는 단계는 제3 이미지 프레임으로부터 추출된 복수의 제3 특징 좌표값을 포함하는 제3 키 포인트 정보를 획득하는 단계, 상기 제3 키 포인트 정보에 포함되는 복수의 제3 특징 좌표값과 상기 제2 키 포인트 정보에 포함되는 복수의 제2 특징 좌표값 간의 차이값(difference value)을 각각 산출하는 단계, 상기 산출된 차이값이 기설정된 임계치를 초과하는 적어도 하나의 제3 특징 좌표값을 식별하는 단계, 상기 데이터 캐시에 저장된 상기 제1 키 포인트 정보에 포함되는 복수의 제1 특징 좌표값 중 상기 식별된 적어도 하나의 제3 특징 좌표값에 대응되는 적어도 하나의 제1 특징 좌표값을 식별하는 단계, 및 식별된 상기 적어도 하나의 제3 특징 좌표값과 상기 적어도 하나의 제1 특징 좌표값 간의 유사도를 측정함으로써, 상기 제3 키 포인트 정보와 상기 제1 키 포인트 정보 간의 키 포인트 유사도를 측정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 키 포인트 유사도를 측정하는 단계는, 상기 제2 키 포인트 정보에 포함되는 복수의 제2 특징 좌표값 중 기설정된 우선 순위에 따라 우선 순위가 높은 신체 부위로부터 추출된 적어도 하나의 제2 특징 좌표값을 선택하는 단계, 상기 제1 키 포인트 정보에 포함되는 복수의 제1 특징 좌표값 중 상기 선택된 적어도 하나의 제2 특징 좌표값에 대응되는 적어도 하나의 제1 특징 좌표값을 식별하는 단계, 및 상기 적어도 하나의 제1 특징 좌표값과 상기 적어도 하나의 제2 특징 좌표값 간의 유사도를 측정함으로써, 상기 키 포인트 유사도를 측정하는 단계를 포함할 수 있다.
일 실시예에서, 상기 우선 순위는 상기 엣지 데이터 네트워크를 통해 수행되는 원격 회의의 타입에 따른 상기 제1 사용자의 신체 부위 중 움직임의 정도 및 빈도에 기초하여 결정될 수 있다.
일 실시예에서, 상기 방법은 기존에 수행되었던 원격 회의를 통해 기 획득되어 상기 데이터 캐시에 저장된 복수의 키 포인트 정보들 각각에 포함되는 복수의 특징 좌표값 간의 차이값을 산출하는 단계, 상기 산출된 차이값을 큰 값에서 작은 값의 순서로 나열하는 단계, 및 나열된 차이값의 순서에 기초하여, 상기 복수의 위치 좌표값 각각에 대응되는 신체 부위에 따른 우선 순위를 결정하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 데이터 캐시에는 동작을 구성하는 복수의 키 포인트 정보가 동작 정보에 따라 분류되어 저장되어 있고, 상기 키 포인트 유사도를 측정하는 단계는, 시간의 흐름에 따라 연속적으로 획득되는 복수의 이미지 프레임 각각으로부터 추출된 복수의 키 포인트 정보를 입력받는 단계, 및 상기 입력된 복수의 키 포인트 정보와 상기 데이터 캐시에 기 저장된 복수의 키 포인트 정보 간의 유사도를 각각 측정하는 단계를 포함하고, 상기 방법은 상기 측정된 유사도에 기초하여, 상기 입력된 복수의 키 포인트 정보에 대응되는 동작 정보를 식별하고, 상기 식별된 동작 정보에 대응되는 복수의 3D 캐릭터 이미지 프레임을 상기 데이터 캐시로부터 획득하고 단계를 더 포함할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 일 실시예는, 단말에 3D 캐릭터 이미지를 제공하는 엣지 데이터 네트워크를 제공한다. 상기 엣지 데이터 네트워크는 네트워크 인터페이스, 하나 이상의 명령어들(instructions)을 포함하는 프로그램을 저장하는 메모리, 및 상기 메모리에 저장된 프로그램의 하나 이상의 명령어들을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 네트워크 인터페이스를 이용하여, 제1 단말을 통해 촬영된 제1 이미지 프레임으로부터 추출된 제1 사용자의 신체 부위, 자세, 또는 골격 구조에 관한 복수의 특징 좌표값을 포함하는 제1 키 포인트(key points) 정보 및 제2 단말을 통해 디스플레이되는 3D 캐릭터 이미지를 바라보는 가상의 시점에 관한 가상의 위치 좌표값 정보를 포함하는 제1 뷰 포인트(view points) 정보를 획득하고, 획득된 상기 제1 키 포인트 정보 및 상기 제1 뷰 포인트 정보에 기초하여 상기 제1 사용자의 모습, 행동 또는 동작을 나타내는 3D 캐릭터 이미지를 렌더링(rendering)하고, 상기 렌더링된 3D 캐릭터 이미지를 상기 제1 키 포인트 정보 및 상기 제1 뷰 포인트 정보와 연관하여 상기 메모리 내의 데이터 캐시(data cache)에 저장하고, 상기 네트워크 인터페이스를 이용하여, 상기 제1 이미지 프레임 이후에 획득되는 제2 이미지 프레임에 관한 제2 키 포인트 정보 및 제2 뷰 포인트 정보를 각각 획득하고, 획득된 제2 키 포인트 정보 및 상기 제2 뷰 포인트 정보를 상기 데이터 캐시에 기 저장된 상기 제1 키 포인트 정보 및 상기 제1 뷰 포인트 정보와 각각 비교함으로써, 키 포인트 유사도 및 뷰 포인트 유사도를 측정하고, 상기 측정된 키 포인트 유사도 및 상기 뷰 포인트 유사도에 기초하여, 상기 데이터 캐시에 기 저장된 3D 캐릭터 이미지를 상기 제2 이미지 프레임에 관한 3D 캐릭터 이미지로서 상기 제2 단말에 제공하도록 상기 네트워크 인터페이스를 제어할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 네트워크 인터페이스를 이용하여, 원격에 배치되는 다른 엣지 데이터 네트워크로부터 상기 제1 키 포인트 정보를 수신할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 네트워크 인터페이스를 이용하여 상기 제1 단말에 의해 상기 제1 사용자를 촬영하여 획득된 제1 이미지 프레임을 상기 제1 단말로부터 수신하고, 상기 수신된 제1 이미지 프레임으로부터 상기 제1 사용자의 신체 부위, 자세, 또는 골격 구조에 관한 복수의 특징점에 관한 복수의 위치 좌표값을 추출하고, 상기 추출된 복수의 위치 좌표값을 포함하는 제1 키 포인트 정보를 획득할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 네트워크 인터페이스를 이용하여, 상기 제1 사용자의 사용자 식별 정보(user identification information)를 수신하고, 상기 수신된 사용자 식별 정보에 따라 기 생성된 3D 캐릭터 이미지를 이용하여 상기 3D 캐릭터 이미지를 렌더링할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 제1 사용자의 사용자 식별 정보, 상기 제1 사용자의 모습, 과거 행동, 동작, 자세 또는 방향에 관하여 기 획득된 복수의 키 포인트 정보, 키 포인트 유사도 판단의 우선 순위 정보, 원격 회의의 타입(type)에 관한 정보 중 적어도 하나를 상기 3D 캐릭터 이미지와 함께 상기 데이터 캐시에 저장할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 네트워크 인터페이스를 이용하여, 제3 이미지 프레임으로부터 추출된 복수의 제3 특징 좌표값을 포함하는 제3 키 포인트 정보를 획득하고, 상기 제3 키 포인트 정보에 포함되는 복수의 제3 특징 좌표값과 상기 제2 키 포인트 정보에 포함되는 복수의 제2 특징 좌표값 간의 차이값(difference value)을 각각 산출하고, 상기 산출된 차이값이 기설정된 임계치를 초과하는 적어도 하나의 제3 특징 좌표값을 식별하고, 상기 데이터 캐시에 저장된 상기 제1 키 포인트 정보에 포함되는 복수의 제1 특징 좌표값 중 상기 식별된 적어도 하나의 제3 특징 좌표값에 대응되는 적어도 하나의 제1 특징 좌표값을 식별하고, 식별된 상기 적어도 하나의 제3 특징 좌표값과 상기 적어도 하나의 제1 특징 좌표값 간의 유사도를 측정함으로써, 상기 제3 키 포인트 정보와 상기 제1 키 포인트 정보 간의 키 포인트 유사도를 측정할 수 있다.
일 실시예에서, 상기 프로세서는, 상기 제2 키 포인트 정보에 포함되는 복수의 제2 특징 좌표값 중 기설정된 우선 순위에 따라 우선 순위가 높은 신체 부위로부터 추출된 적어도 하나의 제2 특징 좌표값을 선택하고, 상기 제1 키 포인트 정보에 포함되는 복수의 제1 특징 좌표값 중 상기 선택된 적어도 하나의 제2 특징 좌표값에 대응되는 적어도 하나의 제1 특징 좌표값을 식별하고, 상기 적어도 하나의 제1 특징 좌표값과 상기 적어도 하나의 제2 특징 좌표값 간의 유사도를 측정함으로써, 상기 키 포인트 유사도를 측정할 수 있다.
일 실시예에서, 상기 프로세서는, 기존에 수행되었던 원격 회의를 통해 기 획득되어 상기 데이터 캐시에 저장된 복수의 키 포인트 정보들 각각에 포함되는 복수의 특징 좌표값 간의 차이값을 산출하고, 상기 산출된 차이값을 큰 값에서 작은 값의 순서로 나열하고, 나열된 차이값의 순서에 기초하여, 상기 복수의 위치 좌표값 각각에 대응되는 신체 부위에 따른 우선 순위를 결정할 수 있다.
일 실시예에서, 상기 데이터 캐시에는 동작을 구성하는 복수의 키 포인트 정보가 동작 정보에 따라 분류되어 저장되어 있고, 상기 프로세서는, 시간의 흐름에 따라 연속적으로 획득되는 복수의 이미지 프레임 각각으로부터 추출된 복수의 키 포인트 정보를 입력받고, 상기 입력된 복수의 키 포인트 정보와 상기 데이터 캐시에 기 저장된 복수의 키 포인트 정보 간의 유사도를 각각 측정하고, 상기 측정된 유사도에 기초하여, 상기 입력된 복수의 키 포인트 정보 대응되는 동작 정보를 식별하고, 상기 식별된 동작 정보에 대응되는 복수의 3D 캐릭터 이미지 프레임을 상기 데이터 캐시로부터 획득할 수 있다.
상술한 기술적 과제를 해결하기 위하여, 본 개시의 다른 실시예는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
도 1은 본 개시의 일 실시예에 따른 네트워크 환경에서 MEC(multi-access edge computing) 기술을 설명하기 위해 개략적으로 도시하는 도면이다.
도 2는 본 개시의 일 실시예에 따른 엣지 데이터 네트워크(edge data network)와 단말 각각의 모듈 구조 및 데이터 송수신을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시예에 따른 엣지 데이터 네트워크와 단말 간의 동작 방법을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시예에 따른 엣지 데이터 네트워크의 구성 요소를 도시한 블록도이다.
도 5는 본 개시의 일 실시예에 따른 엣지 데이터 네트워크가 키 포인트 유사도 및 뷰 포인트 유사도에 기초하여, 데이터 캐시에 저장된 3D 캐릭터 이미지를 제2 단말에 제공하는 동작 방법을 도시한 도면이다.
도 6은 본 개시의 일 실시예에 따른 엣지 데이터 네트워크의 동작 절차를 도시한 흐름도이다.
도 7은 본 개시의 일 실시예에 따른 엣지 데이터 네트워크가 키 포인트 유사도를 측정하는 방법을 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따른 엣지 데이터 네트워크가 키 포인트 유사도를 측정하는 방법을 도시한 흐름도이다.
도 9는 본 개시의 일 실시예에 따른 엣지 데이터 네트워크가 키 포인트 정보에 포함되는 복수의 특징 좌표값의 우선 순위에 대하여 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 엣지 데이터 네트워크가 키 포인트 정보에 포함되는 복수의 특징 좌표값의 우선 순위에 기초하여 키 포인트 유사도를 결정하는 방법을 도시한 흐름도이다.
도 11은 본 개시의 일 실시예에 따른 엣지 데이터 네트워크가 데이터 캐시에 동작 단위로 저장된 복수의 키 포인트 정보와 입력된 복수의 키 포인트 정보 간의 유사도를 측정하고, 측정된 유사도에 기초하여 3D 캐릭터 이미지를 제2 단말에 제공하는 방법을 도시한 도면이다.
도 12는 본 개시의 일 실시예에 따른 엣지 데이터 네트워크가 데이터 캐시에 동작 단위로 저장된 복수의 키 포인트 정보와 입력된 복수의 키 포인트 정보 간의 유사도를 측정하고, 측정된 유사도에 기초하여 3D 캐릭터 이미지를 제2 단말에 제공하는 방법을 도시한 흐름도이다.
도 13은 본 개시의 일 실시예에 따른 엣지 데이터 네트워크가 신체 부위 각각에 대응되는 이미지를 생성하고, 생성된 이미지를 합성함으로써 3D 캐릭터 이미지를 렌더링하는 방법을 도시한 도면이다.
도 14는 본 개시의 일 실시예에 따른 엣지 데이터 네트워크와 단말 각각의 모듈 구조 및 데이터 송수신을 설명하기 위한 도면이다.
이하, 본 개시의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
실시 예를 설명함에 있어서 본 개시가 속하는 기술 분야에 익히 알려져 있고 본 개시와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 개시의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
본 개시에서, '...부', 또는 '...모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 그러나, '...부' 또는 '...모듈'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '...부' 또는 '...모듈'은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 실시예로서 '...부' 또는 '... 모듈'은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.
본 개시에서 '단말'은 사용자에 의해 사용되는 전자 장치를 의미한다. 단말은 예를 들어, 사용자 단말(UE, user equipment), 이동 국(mobile station), 가입자 국(subscriber station), 원격 단말(remote terminal), 무선 단말(wireless terminal), 또는 사용자 장치(user device)를 의미할 수 있다. 본 개시의 일 실시예에서, '단말'은 사용자의 3차원(3D) 캐릭터 이미지를 디스플레이함으로써, 증강 현실 원격 회의(AR Telepresence)를 수행하도록 하는 전자 장치일 수 있다.
본 개시에서 '엣지 데이터 네트워크'는 단말이 모바일 엣지 컴퓨팅(Mobile Edge Computing) 서비스를 이용하기 위하여 접속하는 서버를 의미할 수 있다. 일 실시예에서, 엣지 데이터 네트워크는 MEC 호스트(host), 엣지 컴퓨팅 서버(edge computing server), 모바일 엣지 호스트(mobile edge host), 엣지 컴퓨팅 플랫폼(edge computing platform), MEC 서버 등으로 지칭될 수 있다.
본 개시에서 '이미지 프레임'은 동영상 또는 비디오에 포함되는 정지 이미지(still image)의 단위이다.
본 개시에서 '3차원 캐릭터 이미지'는 사용자의 모습, 행동, 또는 동작을 나타내는 이미지로서, 예를 들어 아바타 이미지(Avatar image), 만화 캐릭터 이미지, 또는 이모티콘 이미지 중 적어도 하나일 수 있다.
도 1은 본 개시의 일 실시 예에 따른 네트워크 환경에서 MEC(multi-access edge computing) 기술을 설명하기 위해 개략적으로 도시하는 도면이다.
도 1을 참조하면, 본 개시의 네트워크 환경(100)은 엣지 데이터 네트워크(1000), 단말(2000), 리모트 서버(3000), 및 액세스 네트워크(access network, AN)(4000)를 포함할 수 있다. 다만, 네트워크 환경(100)이 포함하는 구성이 이에 제한되는 것은 아니다.
일 실시예에 따르면, 네트워크 환경(100)에 포함되는 구성요소들 각각은 물리적인 객체(entity) 단위를 의미하거나, 개별적인 기능(function)을 수행할 수 있는 소프트웨어 또는 모듈 단위를 의미할 수 있다.
일 실시예에 따르면, 액세스 네트워크(4000)는 엣지 데이터 네트워크(1000)와 단말(2000) 간의 무선 통신을 위한 채널(channel)을 제공할 수 있다. 예를 들면, 액세스 네트워크(4000)는 RAN(radio access network), 기지국(base station), 이노드비(eNB, eNodeB), 5G 노드(5G node), 송수신 포인트(TRP, transmission/reception point), 또는 5GNB(5th generation NodeB)를 의미할 수 있다.
일 실시예에 따르면, 엣지 데이터 네트워크(1000)는 단말(2000)이 MEC 서비스를 이용하기 위하여 접속하는 서버를 의미할 수 있다. 엣지 데이터 네트워크(1000)는 단말(2000)과 지리적으로 가까운 위치, 예를 들어, 기지국 내부 또는 기지국 근처에 설치될 수 있다. 일 실시예에 따르면, 엣지 데이터 네트워크(1000)는 외부 데이터 네트워크(data network, DN)(예: 인터넷)를 통하지 않고, 단말(2000)과 데이터를 송수신할 수 있다. 일 실시 예에서, MEC는 multi-access edge computing 또는 mobile-edge computing로 지칭될 수 있다.
일 실시예에 따르면, 엣지 데이터 네트워크(1000)는, MEC 호스트(host), 엣지 컴퓨팅 서버(edge computing server), 모바일 엣지 호스트(mobile edge host), 엣지 컴퓨팅 플랫폼(edge computing platform), MEC 서버 등으로 지칭될 수 있다. 편의를 위해, 이하, 본 개시에서는 MEC 서버는 엣지 데이터 네트워크(1000)로 지칭된다. 도 1을 참조하면, 엣지 데이터 네트워크(1000)는, 제1 엣지 애플리케이션(edge application)(1312), 제2 엣지 애플리케이션(1314) 및 엣지 인에이블러 서버(또는, MEP(MEC platform))(1316)를 포함할 수 있다. 엣지 인에이블러 서버(1316)는 엣지 데이터 네트워크(1000)에서 MEC 서비스를 제공하거나 트래픽 제어 등을 수행하는 구성으로, 엣지 인에이블러 서버(1316)에 대한 구체적인 설명은 후술된다.
일 실시예에 따르면, 엣지 데이터 네트워크(1000)는 복수의 애플리케이션들을 실행할 수 있다. 예를 들면, 엣지 데이터 네트워크(1000)는 제1 엣지 애플리케이션 클라이언트(1312) 및 제2 엣지 애플리케이션 클라이언트(1314)을 실행할 수 있다. 일 실시예에 따르면, 엣지 에플리케이션은 MEC 서비스를 제공하는 엣지 데이터 네트워크 내 제3자가 제공하는 응용 애플리케이션을 의미할 수 있고, 엣지 애플리케이션으로 지칭될 수도 있다. 엣지 애플리케이션은 애플리케이션 클라이언트와 관련된 데이터를 송수신하기 위하여, 애플리케이션 클라이언트와 데이터 세션을 형성하는데 이용될 수 있다. 즉, 엣지 애플리케이션은 애플리케이션 클라이언트와 데이터 세션을 형성할 수 있다. 일 실시예에서, 데이터 세션은, 단말(2000)의 애플리케이션 클라이언트와 엣지 데이터 네트워크(1000)의 엣지 애플리케이션이 데이터를 송수신하기 위하여 형성되는 통신 경로를 의미할 수 있다.
일 실시예에 따르면, 엣지 데이터 네트워크(1000)의 애플리케이션은, MEC 애플리케이션(MEC App), ME(MEC) App, 엣지 애플리케이션 서버(edge application server) 및 엣지 애플리케이션으로 지칭될 수 있다. 편의를 위해, 이하, 본 개시에서는 엣지 데이터 네트워크(1000)의 애플리케이션은 엣지 에플리케이션으로 지칭된다. 이때, 애플리케이션으로 기재되었으나, 엣지 애플리케이션은 엣지 데이터 네트워크에 존재하는 애플리케이션 서버를 의미할 수 있다.
본 개시의 일 실시예에 따르면, 단말(2000)에서 제1 애플리케이션 클라이언트(2312) 또는 제2 애플리케이션 클라이언트(2314)가 실행되는 경우, 단말(2000)은 액세스 네트워크(4000)를 통해 엣지 데이터 네트워크(1000)에 접속함으로써, 애플리케이션 클라이언트를 실행시키기 위한 데이터를 송수신할 수 있다.
일 실시예에 따르면, 단말(2000)은 사용자에 의해 사용되는 장치를 의미할 수 있다. 예를 들면, 단말(2000)는 단말(terminal), 사용자 단말(UE, user equipment), 이동 국(mobile station), 가입자국(subscriber station), 원격 단말(remote terminal), 무선 단말(wireless terminal), 또는 사용자 장치(user device)를 의미할 수 있다.
일 실시예에서, 단말(2000)은 사용자의 3D 캐릭터 이미지를 디스플레이함으로써, 증강 현실 원격 회의(AR Telepresence)를 수행하도록 하는 전자 장치일 수 있다. 단말(2000)은 예를 들어, 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 영상 전화기, 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 또는 웨어러블 장치(wearable device) 중 적어도 하나를 포함하는 모바일 디바이스일 수 있다. 그러나, 이에 한정되는 것은 아니고, 단말(2000)은 가상 현실, 증강 현실 또는 혼합 현실을 위한 컨텐츠를 제공하는 헤드 마운트 디스플레이(Head Mounted Display, HMD) 또는 가상 현실 헤드셋(Virtual Reality Headset, VRH)일 수 있다.
도 1을 참조하면, 단말(2000)는 제1 애플리케이션 클라이언트(또는, 애플리케이션 클라이언트)(2312), 제2 애플리케이션 클라이언트(2314) 및 엣지 인에이블러 클라이언트(edge enabler client)(또는, MEL(MEC enabling layer))(2316)를 포함할 수 있다. 단말(2000)은 MEC 서비스의 사용을 위하여 엣지 인에이블러 클라이언트(2316)를 이용하여 필요한 작업을 수행할 수 있다. 엣지 인에이블러 클라이언트(2316)에 대한 구체적인 설명은 후술된다.
일 실시예에 따르면, 단말(2000)는 복수의 애플리케이션들을 실행할 수 있다. 예를 들면, 단말(2000)는 제1 애플리케이션 클라이언트(2312) 및 제2 애플리케이션 클라이언트(2314)를 실행할 수 있다. 복수의 애플리케이션들은 요구되는 데이터 전송 속도, 지연 시간(또는 속도)(latency), 신뢰성(reliability), 네트워크에 접속(access)된 단말의 수, 단말(2000)의 네트워크 접속 주기, 또는 평균 데이터 사용량 중 적어도 하나에 기반하여 서로 다른 네트워크 서비스를 요구(require)할 수 있다. 서로 다른 네트워크 서비스는, 예를 들어, eMBB(enhanced mobile broadband), URLLC(ultra-reliable and low latency communication), 또는 mMTC(massive machine type communication)를 포함할 수 있다.
단말(2000)의 애플리케이션 클라이언트는 단말(2000)에 미리 설치된 기본 애플리케이션 또는 제 3자가 제공하는 애플리케이션을 의미할 수 있다. 즉, 특정 응용 서비스를 위하여 단말(2000) 내에서 구동되는 클라이언트(client) 응용 프로그램을 의미할 수 있다. 단말(2000) 내에는 여러 애플리케이션 클라이언트들이 구동될 수 있다. 이 애플리케이션 클라이언트들 중 적어도 하나 이상은 엣지 데이터 네트워크(1000)로부터 제공되는 서비스를 사용할 수 있다. 예를 들면, 애플리케이션 클라이언트는 단말(2000)에 설치되어 실행되는 애플리케이션으로서, 엣지 데이터 네트워크(1000)를 통해 데이터를 송수신하는 기능을 제공할 수 있다. 단말(2000)의 애플리케이션 클라이언트는, 하나 이상의 특정 엣지 애플리케이션들에 의해 제공된 기능을 이용하기 위해, 단말(2000) 상에서 실행되는 애플리케이션 소프트웨어를 의미할 수 있다.
일 실시예에 따르면, 단말(2000)의 복수의 애플리케이션들(2312, 2314)은 요구되는 네트워크 서비스 타입에 기반하여 리모트 서버(3000)와 데이터 전송을 수행하거나, 또는 엣지 데이터 네트워크(1000)와 엣지 컴퓨팅에 기반한 데이터 전송을 수행할 수 있다. 예를 들어, 제1 애플리케이션 클라이언트(2312)가 낮은 지연 시간을 요구하지 않으면, 제1 애플리케이션 클라이언트(2312)는 리모트 서버(3000)와 데이터 전송을 수행할 수 있다. 다른 예를 들어, 제2 애플리케이션 클라이언트(2314)가 낮은 지연 시간을 요구하면, 제2 애플리케이션 클라이언트(2314)는 엣지 데이터 네트워크(1000)와 MEC 기반 데이터 전송을 수행할 수 있다.
일 실시예에 따르면, 단말(2000)의 애플리케이션은, 애플리케이션 클라이언트(application client), 클라이언트 애플리케이션(client application, Client App), UE 애플리케이션(UE App)으로 지칭될 수 있다. 편의를 위해, 이하, 본 개시에서는 단말(2000)의 애플리케이션은 애플리케이션 클라이언트로 지칭된다.
일 실시예에 따르면, 리모트 서버(3000)는 애플리케이션과 관련된 컨텐츠를 제공할 수 있다. 예를 들어, 리모트 서버(3000)는 컨텐츠 사업자에 의하여 관리될 수 있다. 일 실시예에 따르면, 리모트 서버(3000)는 외부 데이터 네트워크(data network, DN)(예: 인터넷)를 통해서, 단말(2000)와 데이터를 송수신할 수 있다.
도 1에는 도시되지 아니하였으나, 액세스 네트워크(4000)와 엣지 데이터 네트워크(1000) 사이에 코어 네트워크(core network, CN) 및 데이터 네트워크(data network, DN)가 존재할 수 있다. 일 실시예에 따르면, 데이터 네트워크는 코어 네트워크 및 액세스 네트워크(4000)를 통해, 단말(2000)에게 데이터(또는 데이터 패킷)를 송수신함으로써 서비스(예: 인터넷 서비스, IMS(IP multimedia subsystem) 서비스)를 제공할 수 있다. 예를 들어, 데이터 네트워크는 통신 사업자에 의하여 관리될 수 있다. 일 실시 예에서, 엣지 데이터 네트워크(1000)는 데이터 네트워크(예: 로컬(local) DN)를 통해 액세스 네트워크(4000) 또는 코어 네트워크와 연결될 수 있다.
도 2는 본 개시의 일 실시예에 따른 네트워크 환경(110)에서 엣지 데이터 네트워크(edge data network)(1000a, 1000b)와 단말(2000a, 2000b) 간의 동작 절차를 개략적으로 설명하기 위한 도면이다.
도 2를 참조하면, 네트워크 환경(110)은 제1 엣지 데이터 네트워크(1000a), 제2 엣지 데이터 네트워크(1000b), 제1 단말(2000a), 제2 단말(2000b)을 포함할 수 있다. 그러나, 네트워크 환경(110)이 포함하는 구성이 도 2에 도시된 바와 같이 한정되는 것은 아니다. 본 개시의 일 실시예에서, 네트워크 환경(110)에 포함되는 구성요소들 각각은 물리적인 객체(entity) 단위를 의미하거나, 개별적인 기능(function)을 수행할 수 있는 소프트웨어 또는 모듈 단위를 의미할 수 있다.
제1 단말(2000a)과 제2 단말(2000b)은 제1 엣지 데이터 네트워크(1000a) 및 제2 엣지 데이터 네트워크(1000b)를 통해 커뮤니케이션을 수행할 수 있다. 예를 들어, 제1 단말(2000a)과 제2 단말(2000b)은 제1 엣지 데이터 네트워크(1000a) 및 제2 엣지 데이터 네트워크(1000b)를 통해 원격 회의, 영상 통화, 또는 온라인 강의 등을 수행할 수 있다.
일 실시예에서, 제1 단말(2000a)과 제2 단말(2000b)이 원격 회의를 수행하는 경우, 제1 단말(2000a)은 동작 또는 행동을 하는 제1 사용자가 사용하는 단말이고, 제2 단말(2000b)은 제1 사용자의 모습, 동작 또는 행동을 나타내는 3차원(3D) 캐릭터 이미지를 디스플레이하는 단말일 수 있다. 제2 사용자는 제2 단말(2000b)을 통해 제1 사용자에 관한 3D 캐릭터 이미지를 볼 수 있다. 이 경우, 제1 단말(2000a)은 액터 디바이스(actor device)이고, 제2 단말(2000b)은 뷰어 디바이스(viewer device)일 수 있다. 그러나, 이에 한정되는 것은 아니다.
제1 단말(2000a)은 카메라(2110) 및 네트워크 인터페이스(2410)를 포함할 수 있다. 도 1에는 제1 단말(2000a)의 일부 구성 요소만을 도시한 것으로서, 제1 단말(2000a)이 카메라(2110) 및 네트워크 인터페이스(2410)만을 포함하는 것은 아니다.
제1 단말(2000a)은 예를 들어, 원격 회의를 수행할 수 있는 애플리케이션 클라이언트를 실행할 수 있다. 이 경우, 제1 단말(2000a)이 실행하는 애플리케이션 클라이언트는, 제1 엣지 데이터 네트워크(1000a) 및 제2 엣지 데이터 네트워크(1000b)가 서비스를 제공할 수 있는 원격 회의 애플리케이션일 수 있다. 제1 단말(2000a)은 애플리케이션 클라이언트를 실행함으로써, 카메라(2110)를 통해 제1 사용자를 촬영하고, 액터 이미지(actor image)를 획득할 수 있다. 제1 단말(2000a)은 카메라(2110)를 이용하여 획득한 액터 이미지를 네트워크 인터페이스(2410)에 제공할 수 있다.
제1 단말(2000a)은 네트워크 인터페이스(2410)를 이용하여 액터 이미지를 제1 엣지 데이터 네트워크에 전송할 수 있다. 일 실시예에서, 제1 단말(2000a)은 제1 사용자의 모습, 행동, 또는 동작에 관한 동영상 또는 비디오를 촬영하고, 촬영된 동영상 또는 비디오에 포함되는 복수의 액터 이미지를 순차적으로 제1 엣지 데이터 네트워크(1000a)에 전송할 수 있다. 일 실시예에서, 제1 단말(2000a)은, 액터 이미지와 함께 제1 단말(2000a)의 단말 식별 정보(예를 들어, 디바이스 id), 제1 사용자의 식별 정보(예를 들어, user id), 실행되고 있는 애플리케이션 클라이언트의 정보, 및 원격 회의실의 식별 정보(예를 들어, 회의실 위치 정보, 회의실 식별 번호 등) 중 적어도 하나에 관한 정보를 제1 엣지 데이터 네트워크(1000a)에 전송할 수 있다.
제1 엣지 데이터 네트워크(1000a)는 제1 단말(2000a)로부터 액터 이미지를 수신하고, 키 포인트 추출 모듈(1320)을 이용하여 액터 이미지로부터 복수의 특징점에 관한 특징 좌표값을 추출할 수 있다. '복수의 특징점'은, 액터 이미지 내의 제1 사용자의 신체 부위, 자세, 또는 골격 구조에 관한 특징을 나타내는 포인트(points)일 수 있다. 복수의 특징점은 예를 들어, 사람 신체의 얼굴, 어깨, 팔, 허벅지, 종아리 등의 신체 부위 또는 골격 구조의 특징으로부터 추출될 수 있다.
키 포인트 추출 모듈(1320)은 특징점 추출 알고리즘을 이용하여, 액터 이미지로부터 복수의 특징점을 추출하고, 복수의 특징점을 포함하는 키 포인트 정보를 출력하도록 구성되는 모듈이다. 키 포인트 추출 모듈(1320)은 예를 들어, SIFT(Scale Invariant Feature Transform), FAST(Features from Accelerated Segment Test), AGAST (Adaptive and Generic corner detection based on the Accelerated Segment Test), 또는 Brief(Binary robust independent elementary features)와 같은 공지의 특징점 추출 알고리즘을 이용하거나, 또는 기계 학습(machine learning)을 이용하여 액터 이미지로부터 복수의 특징점을 추출할 수 있다. '키 포인트 정보'는, 추출된 복수의 특징점 각각에 관한 복수의 3차원 위치 좌표값에 관한 정보를 포함할 수 있다.
키 포인트 추출 모듈(1320)은 복수의 특징점에 관한 정보를 포함하는 키 포인트 정보를 네트워크 인터페이스(1110)에 제공할 수 있다.
제1 엣지 데이터 네트워크(1000a)는 네트워크 인터페이스(1110)를 이용하여 키 포인트 정보를 제2 엣지 데이터 네트워크(1000b)에 전송한다.
제2 단말(2000b)은 뷰 포인트 정보를 획득한다. '뷰 포인트 정보'는 제2 단말(2000b)의 디스플레이부(2620)를 통해 디스플레이되는 3D 캐릭터 이미지를 3차원 가상 공간에서 가상의 카메라를 통해 바라보는 가상의 시점(view point)에 관한 정보이다. 뷰 포인트 정보는 가상의 카메라가 3D 캐릭터 이미지를 바라보는 위치 및 방향을 나타내는 가상의 위치 좌표값 정보를 포함할 수 있다.
일 실시예에서, 제2 단말(2000b)은 카메라(2120)를 이용하여 제2 사용자, 제2 사용자가 위치하는 회의실의 벽, 또는 사물을 촬영하고, 촬영된 이미지와 센서(2520)를 통해 획득된 센싱 정보를 이용하여 사용자의 위치를 3차원 가상 공간과 연동할 수 있다. 예를 들어, 제2 단말(2000b)은 SLAM 기법(Simultaneous Localization And Mapping)을 사용하여 3차원 가상 공간과 현실 위치의 위치 정보를 매핑(mapping)하고, 사용자의 위치와 매핑되는 3D 캐릭터 이미지(예를 들어, 아바타 이미지)의 위치를 설정할 수 있다.
센서(2520)는 예를 들어, GPS 센서, 자이로스코프 센서(Gyroscope sensor), 가속 센서(Acceleration sensor), 및 관성 센서(Inertia Measurement Unit; IMU) 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 제2 단말(2000b)은 센서(2520)를 이용하여 획득한 센싱 정보에 기초하여, 제2 사용자의 위치와 3D 캐릭터 이미지의 위치를 기준으로 3차원 위치 좌표값을 연산함으로써, 뷰 포인트 정보를 획득할 수 있다.
제2 단말(2000b)은 획득된 뷰 포인트 정보를 네트워크 인터페이스(2420)를 통해 제2 엣지 데이터 네트워크(1000b)에 전송한다. 일 실시예에서, 제2 단말(2000b)은 뷰 포인트 정보와 함께, 다른 정보도 제2 엣지 데이터 네트워크(1000b)에 전송할 수 있다. 제2 단말(2000b)은 예를 들어, 제2 단말의 단말 식별 정보(예를 들어, 디바이스 id), 제2 사용자의 식별 정보(예를 들어, user id), 제2 단말(2000b)에 의해 실행되고 있는 애플리케이션 클라이언트의 정보, 및 원격 회의실의 식별 정보(예를 들어, 회의실 위치 정보, 회의실 식별 번호 등) 중 적어도 하나에 관한 정보를 제2 엣지 데이터 네트워크(1000b)에 전송할 수 있다.
도 2에는, 제2 단말(2000b)이 네트워크 인터페이스(2420)를 이용하여 뷰 포인트 정보를 제2 엣지 데이터 네트워크(1000b)에 전송하는 것으로 도시되었지만, 본 개시의 실시예가 이에 한정되는 것은 아니다. 다른 실시예에서, 제2 단말(2000b)은 카메라(2120)를 통해 제2 사용자를 촬영함으로써 획득한 이미지 및 센서(2520)를 통해 획득한 센싱 정보를 제2 엣지 데이터 네트워크(1000b)에 전송할 수 있다. 이 경우, 제2 엣지 데이터 네트워크(1000b)는 제2 단말(2000b)로부터 수신한 이미지 및 센싱 정보로부터 뷰 포인트 정보를 획득할 수 있다. 예를 들어, 제2 엣지 데이터 네트워크(1000b)는 SLAM 기법을 이용하여, 이미지 및 센싱 정보로부터 뷰 포인트 정보를 획득할 수 있다.
제2 엣지 데이터 네트워크(1000b)는 네트워크 인터페이스(1120), 3D 캐릭터 이미지 생성 모듈(1330), 및 데이터 캐시(1360)를 포함할 수 있다. 그러나, 제2 엣지 데이터 네트워크(1000b)가 포함하는 구성 요소가 도 2에 도시된 바와 같이 한정되는 것은 아니다.
제2 엣지 데이터 네트워크(1000b)는 네트워크 인터페이스(1120)를 통해 제1 단말(2000a)로부터 키 포인트 정보를 수신하고, 제2 단말(2000b)로부터 뷰 포인트 정보를 수신할 수 있다. 네트워크 인터페이스(1120)는 키 포인트 정보 및 뷰 포인트 정보를 3D 캐릭터 이미지 생성 모듈(1330)에 제공한다.
3D 캐릭터 이미지 생성 모듈(1330)은 키 포인트 정보 및 뷰 포인트 정보에 기초하여 제1 사용자의 모습, 행동 또는 동작을 나타내는 3D 캐릭터 이미지를 생성하도록 구성되는 모듈이다. 여기서, '3D 캐릭터 이미지'는 3차원 이미지로 구성된 아바타 이미지(Avatar image), 만화 캐릭터 이미지, 또는 이모티콘 이미지일 수 있다. 3D 캐릭터 이미지 생성 모듈(1330)은 렌더링 모듈(1340) 및 유사도 판단 모듈(1350)을 포함할 수 있다.
렌더링 모듈(1340)은 제1 엣지 데이터 네트워크(1000a)로부터 수신된 키 포인트 정보 및 제2 단말(2000b)로부터 수신된 뷰 포인트 정보를 이용하여 3D 캐릭터 이미지를 렌더링하도록 구성되는 모듈이다. 일 실시예에서, 렌더링 모듈(1340)은 키 포인트 정보에 포함되는 복수의 특징 좌표값의 크기를 재조정(resize)하고, 스케일(scale)을 조절함으로써, 기설정된 크기의 3D 캐릭터 이미지를 렌더링할 수 있다. 일 실시예에서, 렌더링 모듈(1340)은 뷰 포인트 정보에 포함되는 3D 캐릭터 이미지를 바라보는 가상의 시점 정보에 기초하여, 3D 캐릭터 이미지가 표시되는 위치 및 방향을 결정하고, 결정된 위치 및 방향에 따라 3D 캐릭터 이미지가 디스플레이되도록 3D 캐릭터 이미지를 렌더링할 수 있다.
일 실시예에서, 렌더링 모듈(1340)은 렌더링된 3D 캐릭터 이미지를 데이터 캐시(1360)에 저장할 수 있다.
데이터 캐시(1360)는 제2 엣지 데이터 네트워크(1000b)에 포함되는 버퍼 메모리(buffer memory)이다. 데이터 캐시(1360)는 키 포인트 정보(1362), 뷰 포인트 정보(1364), 및 3D 캐릭터 이미지(1366)를 캐싱(caching) 형태로 저장할 수 있다. '캐싱'은 데이터에 대한 요청이 있기 전에, 데이터를 제공하는 장치(예: 단말 또는 엣지 데이터 네트워크) 등으로부터 데이터를 미리 획득하여 저장하는 기술을 의미한다. 일 실시예에서, 데이터 캐시(1360)는 키 포인트 정보(1362), 뷰 포인트 정보(1364) 및 3D 캐릭터 이미지(1366)를 키(key)-밸류(value) 타입으로 저장할 수 있다. 즉, 데이터 캐시(1360)에 저장되는 3D 캐릭터 이미지(1366)는 밸류로서, 키 포인트 정보(1362) 및 뷰 포인트 정보(1364)을 포함하는 키에 기초하여 생성된 이미지일 수 있다.
데이터 캐시(1360)는 뷰 포인트 정보를 기설정된 개수의 논리 인덱스(logical index)로 분류하여 저장할 수 있다. 예를 들어, 데이터 캐시(1360)는 뷰 포인트 정보에 포함되는 데이터를 12개 혹은 27개의 논리 인덱스로 분류하고, 분류된 논리 인덱스로 정규화하여 저장할 수 있다.
일 실시예에서, 데이터 캐시(1360)는 LRU policy(Least Recently Used policy)에 따라, 가장 오랫동안 사용되지 않은 데이터를 제거하고, 신규로 입력된 데이터를 저장할 수 있다.
유사도 판단 모듈(1350)은 데이터 캐시(1360)에 기 저장된 키 포인트 정보(1362) 및 뷰 포인트 정보(1364)와, 제1 엣지 데이터 네트워크(1000a)로부터 수신된 키 포인트 정보 및 제2 단말(2000b)로부터 수신된 뷰 포인트 정보를 각각 비교함으로써, 키 포인트 유사도 및 뷰 포인트 유사도를 측정하고, 측정된 유사도에 기초하여 캐싱된 3D 캐릭터 이미지를 제2 단말(2000b)에 제공할 지 여부를 판단하도록 구성되는 모듈이다. 유사도 판단 모듈(1350)은 유사도 측정 모듈(1352) 및 비교 모듈(1354)을 포함할 수 있다.
유사도 측정 모듈(1352)은, 제1 엣지 데이터 네트워크(1000a)로부터 수신된 키 포인트 정보 및 제2 단말(2000b)로부터 수신된 뷰 포인트 정보를 데이터 캐시(1360)에 기 저장된 키 포인트 정보(1362) 및 뷰 포인트 정보(1364)와 각각 비교함으로써, 키 포인트 유사도 및 뷰 포인트 유사도를 측정하도록 구성되는 모듈이다. 일 실시예에서, 유사도 측정 모듈(1352)은 유클리디언 거리(Euclidean distance) 또는 코사인 유사도(Cosine similarity) 측정 방법을 이용하여, 제1 엣지 데이터 네트워크(1000a)로부터 수신된 키 포인트 정보와 데이터 캐시(1360)에 기 저장된 키 포인트 정보(1362)에 각각 포함된 복수의 특징 좌표값 간의 키 포인트 유사도를 측정할 수 있다. 일 실시예에서, 유사도 측정 모듈(1352)은 제2 단말(2000b)로부터 수신된 뷰 포인트 정보에 포함되는 수치값과 데이터 캐시(1360)에 저장된 뷰 포인트 정보(1364)에 포함되는 수치값을 비교함으로써, 뷰 포인트 유사도를 측정할 수 있다.
비교 모듈(1354)은 유사도 측정 모듈(1352)에 의해 측정된 키 포인트 유사도 및 뷰 포인트 유사도를 기 설정된 임계값과 비교하도록 구성되는 모듈이다. 비교 모듈(1354)은 키 포인트 유사도를 기 설정된 제1 임계값(α)과 비교하고, 뷰 포인트 유사도를 기 설정된 제2 임계값(β)과 각각 비교할 수 있다.
일 실시예에서, 키 포인트 유사도가 제1 임계값(α)을 초과하고, 뷰 포인트 유사도가 제2 임계값(β)을 초과하는 경우, 비교 모듈(1354)은 수신된 키 포인트 정보가 데이터 캐시(1360)에 기 저장된 키 포인트 정보(1362)와 유사하고, 수신된 뷰 포인트 정보가 데이터 캐시(1360)에 기 저장된 뷰 포인트 정보(1364)와 유사하다고 판단할 수 있다. 이 경우, 비교 모듈(1354)은 데이터 캐시(1360)에 액세스하여, 키 포인트 정보(1362) 및 뷰 포인트 정보(1364)와 연관되어 데이터 캐시(1360)에 캐싱된 3D 캐릭터 이미지(1366)를 식별(identify)할 수 있다. 3D 캐릭터 이미지 생성 모듈(1330)은 식별된 3D 캐릭터 이미지(1366)를 리드아웃(readout)하고, 리드아웃된 3D 캐릭터 이미지(1366)을 네트워크 인터페이스(1120)에 제공한다. 제2 엣지 데이터 네트워크(1000b)는 네트워크 인터페이스(1120)를 이용하여, 3D 캐릭터 이미지를 제2 단말(2000b)에 전송할 수 있다.
일 실시예에서, 키 포인트 유사도가 제1 임계값(α) 이하이거나, 또는 뷰 포인트 유사도가 제2 임계값(β) 이하인 경우, 비교 모듈(1354)은 수신된 키 포인트 정보가 데이터 캐시(1360)에 기 저장된 키 포인트 정보(1362)와 유사하지 않고, 수신된 뷰 포인트 정보가 데이터 캐시(1360)에 기 저장된 뷰 포인트 정보(1364)와 유사하지 않다고 판단할 수 있다. 이 경우, 비교 모듈(1354)은 제1 엣지 데이터 네트워크(1000a)로부터 수신된 키 포인트 정보 및 제2 단말(2000b)로부터 수신된 뷰 포인트 정보를 렌더링 모듈(1340)에 제공할 수 있다. 렌더링 모듈(1340)은 제공받은 키 포인트 정보 및 뷰 포인트 정보를 이용하여, 3D 캐릭터 이미지를 렌더링할 수 있다. 제2 엣지 데이터 네트워크(1000b)는 네트워크 인터페이스(1120)를 이용하여, 렌더링된 3D 캐릭터 이미지를 제2 단말(2000b)에 전송할 수 있다.
제2 단말(2000b)은 네트워크 인터페이스(2420)를 통해 제2 엣지 데이터 네트워크(1000b)로부터 3D 캐릭터 이미지를 수신하고, 수신된 3D 캐릭터 이미지를 디스플레이부(2620) 상에 디스플레이할 수 있다.
제1 단말(2000a)을 제2 단말(2000b)을 통한 증강 현실 원격 회의(Augmented Reality Telepresence)에서는, 제1 사용자의 모습, 행동, 또는 동작을 나타내는 3D 캐릭터 이미지가 제2 단말(2000b)의 디스플레이부(2620)를 통해 디스플레이될 수 있다. 일반적인 회의의 경우, 사람의 움직임이 빈번하지 않고, 움직임이 있더라도 동작 또는 행위의 정도가 크지 않으며, 일정한 행위가 반복되는 경우가 많다. 종래의 증강 현실 원격 회의에서는, 엣지 데이터 네트워크가 제1 단말(2000a)의 카메라(2110)를 이용하는 촬영을 통해 획득된 액터 이미지로부터 추출되는 키 포인트 정보 및 제2 사용자가 제2 단말(2000b)을 바라보는 시점과 관련된 뷰 포인트에 기초하여 모든 이미지 프레임에 대하여 반복적으로 렌더링을 수행함으로써 3D 캐릭터 이미지를 생성하는바, 반복적인 렌더링 프로세싱에 의해 컴퓨팅 파워(computing power)가 많이 소모되고, 처리 시간(processing time)도 오래 걸리는 문제점이 있었다.
본 개시의 일 실시예에서, 제2 엣지 데이터 네트워크(1000b)는 제1 엣지 데이터 네트워크(1000a)로부터 획득되는 키 포인트 정보 및 제2 단말(2000b)로부터 획득되는 뷰 포인트 정보를 데이터 캐시(1360)에 저장된 키 포인트 정보(1362) 및 뷰 포인트 정보(1364)와 각각 비교하고, 키 포인트 유사도 및 뷰 포인트 유사도를 측정하며, 측정된 키 포인트 유사도 및 뷰 포인트 유사도가 기설정된 임계값 보다 큰 경우, 렌더링을 하지 않고 캐싱된 3D 캐릭터 이미지(1366)를 리드 아웃(read out)하여 제2 단말(2000b)에 제공하는바, 반복적인 렌더링을 방지할 수 있다. 따라서, 본 개시의 제2 엣지 데이터 네트워크(1000b)는 컴퓨팅 파워를 절감하고, 처리 시간을 단축시킬 수 있다.
또한, 본 개시의 일 실시예에서는, 제1 단말(2000a)이 지리적으로 인접한 위치에 배치되는 제1 엣지 데이터 네트워크(1000a)와 데이터를 송수신하고, 제2 단말(2000b)은 지리적으로 인접한 위치에 배치되는 제2 엣지 데이터 네트워크(1000b)와 데이터를 송수신하는바, 제1 단말(2000a) 및 제2 단말(2000b)은 외부 데이터 네트워크를 통하지 않는 MEC 방식으로 데이터를 송수신할 수 있다. 특히, 지리적으로 인접한 제1 단말(2000a)과 제1 엣지 데이터 네트워크(1000a) 사이에는 액터 이미지와 같이 상대적으로 용량이 큰 파일을 전송하고, 지리적으로 멀리 떨어진 제1 엣지 데이터 네트워크(1000a)와 제2 엣지 데이터 네트워크(1000b) 사이에는 키 포인트 정보와 같이 용량이 상대적으로 작은 데이터를 전송하는바, 데이터를 효율적으로 전송할 수 있고, 네트워크 이용에 관한 비용 부담도 절감할 수 있다. 본 개시의 일 실시예에 따른 네트워크 환경(110)에서는, 제1 단말(2000a) 및 제2 단말(2000b)이 외부 데이터 네트워크(예를 들어, 인터넷 네트워크)를 이용하여 클라우드 서버(cloud server)에 데이터를 송수신하는 경우와 비교하여, 지연 시간(latency)을 줄일 수 있고, 처리 속도를 단축시킬 수 있으며, 따라서 원격 회의 등 애플리케이션 클라이언트를 실시간으로 구현할 수 있다.
도 3은 본 개시의 일 실시예에 따른 엣지 데이터 네트워크(1000a, 1000b)와 단말(2000a, 2000b) 간의 동작 방법을 설명하기 위한 도면이다.
단계 S310에서, 제1 단말(2000a)은 제1 사용자를 촬영함으로써, 액터 이미지(actor image)를 획득한다. 일 실시예에서, 제1 단말(2000a)은 애플리케이션 클라이언트를 실행하고, 카메라를 이용하여 제1 사용자의 모습, 행동, 또는 동작에 관한 동영상 또는 비디오를 촬영하고, 촬영된 동영상 또는 비디오에 포함되는 복수의 액터 이미지를 획득할 수 있다.
단계 S312에서, 제1 단말(2000a)은 액터 이미지 및 제1 단말의 식별 정보(예를 들어, 디바이스 id)를 제1 엣지 데이터 네트워크(1000a)에 전송한다. 일 실시예에서, 제1 단말(2000a)은 복수의 액터 이미지를 순차적으로 제1 엣지 데이터 네트워크(1000a)에 전송할 수 있다. 일 실시예에서, 제1 단말(2000a)은, 복수의 액터 이미지 및 제1 단말(2000a)의 단말 식별 정보 뿐만 아니라, 제1 사용자의 식별 정보(예를 들어, user id), 제1 단말(2000a)에 의해 실행되고 있는 애플리케이션 클라이언트의 정보, 및 원격 회의실의 식별 정보(예를 들어, 회의실 위치 정보, 회의실 식별 번호 등) 중 적어도 하나에 관한 정보를 제1 엣지 데이터 네트워크(1000a)에 전송할 수 있다.
단계 S320에서, 제1 엣지 데이터 네트워크(1000a)는 액터 이미지로부터 복수의 특징점에 관한 키 포인트 정보를 추출한다. '복수의 특징점'은, 액터 이미지 내의 제1 사용자의 신체 부위, 자세, 또는 골격 구조에 관한 특징을 나타내는 포인트(points)일 수 있다. 복수의 특징점은 예를 들어, 사람 신체의 얼굴, 어깨, 팔, 허벅지, 종아리 등의 신체 부위 또는 골격 구조의 특징으로부터 추출될 수 있다. 제1 엣지 데이터 네트워크(1000a)는 특징점 추출 알고리즘을 이용하여, 액터 이미지로부터 복수의 특징점을 추출하고, 복수의 특징점을 포함하는 키 포인트 정보를 획득할 수 있다. 제1 엣지 데이터 네트워크(1000a)는 예를 들어, SIFT(Scale Invariant Feature Transform), FAST(Features from Accelerated Segment Test), AGAST (Adaptive and Generic corner detection based on the Accelerated Segment Test), 또는 Brief(Binary robust independent elementary features)와 같은 공지의 특징점 추출 알고리즘을 이용하거나, 또는 기계 학습(machine learning)을 이용하여 액터 이미지로부터 복수의 특징점을 추출할 수 있다. '키 포인트 정보'는, 추출된 복수의 특징점 각각에 관한 복수의 3차원 위치 좌표값에 관한 정보를 포함할 수 있다.
단계 S322에서, 제1 엣지 데이터 네트워크(1000a)는 키 포인트 정보 및 제1 단말의 식별 정보(예를 들어, 디바이스 id)를 제2 엣지 데이터 네트워크(1000b)에 전송한다. 일 실시예에서, 제1 엣지 데이터 네트워크(1000a)는 제1 사용자의 식별 정보, 제1 단말에 의해 실행되고 있는 애플리케이션 클라이언트의 정보, 및 원격 회의실의 식별 정보 중 적어도 하나에 관한 정보를 제2 엣지 데이터 네트워크(1000b)에 전송할 수 있다.
단계 S330에서, 제2 단말(2000b)은 센서를 이용하여, 제2 사용자의 뷰 포인트 정보를 획득한다. '뷰 포인트 정보'는 제2 단말(2000b)을 통해 디스플레이되는 3D 캐릭터 이미지(예를 들어, 아바타 이미지)를 3차원 가상 공간에서 가상의 카메라를 통해 바라보는 가상의 시점(view point)에 관한 정보이다. 뷰 포인트 정보는 가상의 카메라가 3D 캐릭터 이미지를 바라보는 위치 및 방향을 나타내는 가상의 위치 좌표값 정보를 포함할 수 있다.
일 실시예에서, 제2 단말(2000b)은 카메라를 이용하여 제2 사용자, 제2 사용자가 위치하는 회의실의 벽, 또는 사물을 촬영하고, 촬영된 이미지와 센서를 통해 획득된 센싱 정보를 이용하여 사용자의 위치를 3차원 가상 공간과 연동할 수 있다. 예를 들어, 제2 단말(2000b)은 SLAM 기법(Simultaneous Localization And Mapping)을 사용하여 3차원 가상 공간과 현실 위치의 위치 정보를 매핑(mapping)하고, 사용자의 위치와 매핑되는 3D 캐릭터 이미지(예를 들어, 아바타 이미지)의 위치를 설정할 수 있다. 센싱 정보는 예를 들어, GPS 센서, 자이로스코프 센서(Gyroscope sensor), 가속 센서(Acceleration sensor), 및 관성 센서(Inertia Measurement Unit; IMU) 중 적어도 하나를 통해 센싱하여 획득한 정보를 의미한다. 일 실시예에서, 제2 단말(2000b)은 센싱 정보에 기초하여, 제2 사용자의 위치와 3D 캐릭터 이미지의 위치를 기준으로 3차원 위치 좌표값을 연산함으로써, 뷰 포인트 정보를 획득할 수 있다.
단계 S332에서, 제2 단말(2000b)은 뷰 포인트 정보 및 제2 단말의 식별 정보(예를 들어, 디바이스 id)를 제2 엣지 데이터 네트워크(1000b)에 전송한다. 일 실시예에서, 제2 단말(2000b)은 뷰 포인트 정보 및 제2 단말의 식별 정보 뿐만 아니라, 제2 사용자의 식별 정보(예를 들어, user id), 제2 단말(2000b)에 의해 실행되고 있는 애플리케이션 클라이언트의 정보, 및 원격 회의실의 식별 정보(예를 들어, 회의실 위치 정보, 회의실 식별 번호 등) 중 적어도 하나에 관한 정보를 제2 엣지 데이터 네트워크(1000b)에 전송할 수 있다.
도 3에서 단계 S322와 단계 S332가 시간적으로 동시에 수행되는 것으로 도시되었지만, 이는 예시적인 것이고, 도시된 바와 같이 한정되는 것은 아니다. 예를 들어, 단계 S322가 단계 S332 보다 시간적으로 먼저 수행되거나, 또는 단계 S332가 단계 S322 보다 시간적으로 먼저 수행될 수도 있다. 즉, 제2 엣지 데이터 네트워크(1000b)는 제1 엣지 데이터 네트워크(1000a)로부터 키 포인트 정보를 먼저 수신하거나, 또는 제2 단말(2000b)로부터 뷰 포인트 정보를 먼저 수신할 수도 있다. 이 경우, 제2 엣지 데이터 네트워크(1000b)는 키 포인트 정보 및 뷰 포인트 정보 중 먼저 수신되는 데이터를 Request Queue에 임시로 저장할 수 있다. 일 실시예에서, 제2 엣지 데이터 네트워크(1000b)는 Request Queue에 키 포인트 정보 및 뷰 포인트 정보를 임시로 저장함으로써, 키 포인트 정보와 뷰 포인트 정보가 각각 다른 시점에 수신되더라도, 키 포인트 정보 및 뷰 포인트 정보를 동기화(synchronization)할 수 있다.
단계 S340에서, 제2 엣지 데이터 네트워크(1000b)는 획득된 키 포인트 정보 및 뷰 포인트 정보를 데이터 캐시에 기 저장된 키 포인트 정보 및 뷰 포인트 정보와 각각 비교함으로써, 키 포인트 유사도 및 뷰 포인트 유사도를 측정한다. 제2 엣지 데이터 네트워크(1000b)는 키 포인트 정보 및 뷰 포인트 정보를 캐싱(caching)하고 있는 버퍼 메모리(buffer memory)로 구성된 데이터 캐시를 포함할 수 있다. '캐싱'은 데이터에 대한 요청이 있기 전에, 데이터를 제공하는 장치(예: 단말 또는 엣지 데이터 네트워크) 등으로부터 데이터를 미리 획득하여 저장하는 기술을 의미한다. 일 실시예에서, 데이터 캐시는 키 포인트 정보, 뷰 포인트 정보 및 3D 캐릭터 이미지가 키(key)-밸류(value) 타입으로 저장될 수 있다. 여기서, '3D 캐릭터 이미지'는 3차원 이미지로 구성된 아바타 이미지(Avatar image), 만화 캐릭터 이미지, 또는 이모티콘 이미지일 수 있다.
제2 엣지 데이터 네트워크(1000b)는 데이터 캐시에 캐싱된 키 포인트 정보 및 뷰 포인트 정보와, 제1 엣지 데이터 네트워크(1000a)로부터 획득한 키 포인트 정보 및 제2 단말(2000b)로부터 획득한 뷰 포인트 정보를 각각 비교함으로써, 키 포인트 유사도 및 뷰 포인트 유사도를 측정할 수 있다. 예를 들어, 제2 엣지 데이터 네트워크(1000b)는 유클리디언 거리(Euclidean distance) 또는 코사인 유사도(Cosine similarity) 측정 방법을 이용하여, 제1 엣지 데이터 네트워크(1000a)로부터 수신된 키 포인트 정보와 데이터 캐시에 캐싱된 키 포인트 정보 간의 유사도를 측정할 수 있다. 일 실시예에서, 제2 엣지 데이터 네트워크(1000b)는 제2 단말(2000b)로부터 수신된 뷰 포인트 정보에 포함되는 수치값과 데이터 캐시에 캐싱된 뷰 포인트 정보에 포함되는 수치값 간의 유사도를 측정할 수 있다.
단계 S350에서, 제2 엣지 데이터 네트워크(1000b)는 측정된 키 포인트 유사도를 기설정된 제1 임계값(α)과 비교하고, 측정된 뷰 포인트 유사도를 기 설정된 제2 임계값(β)과 각각 비교한다.
비교 결과, 키 포인트 유사도가 제1 임계값(α)을 초과하고, 뷰 포인트 유사도가 제2 임계값(β)을 초과하는 경우(단계 S360), 제2 엣지 데이터 네트워크(1000b)는 캐싱된 3D 캐릭터 이미지를 데이터 캐시로부터 식별(identify)한다. 단계 S360에서 제2 엣지 데이터 네트워크(1000b)는, 제1 엣지 데이터 네트워크(1000a)로부터 획득한 키 포인트 정보가 데이터 캐시에 캐싱된 키 포인트 정보와 유사하고, 제2 단말(2000b)로부터 획득한 뷰 포인트 정보가 데이터 캐시에 캐싱된 뷰 포인트 정보와 유사하다고 판단할 수 있다. 이 경우, 제2 엣지 데이터 네트워크(1000b)는 데이터 캐시에 액세스하여, 캐싱된 복수의 3D 캐릭터 이미지 중 키 포인트 정보 및 뷰 포인트 정보와 연관되어 캐싱된 3D 캐릭터 이미지를 식별할 수 있다.
단계 S362에서, 제2 엣지 데이터 네트워크(1000b)는 캐싱된 3D 캐릭터 이미지를 제2 단말(2000b)에 전송한다. 일 실시예에서, 제2 엣지 데이터 네트워크(1000b)는 단계 S360에서 식별한 3D 캐릭터 이미지를 데이터 캐시로부터 리드아웃(read out)하고, 리드아웃된 3D 캐릭터 이미지를 제2 단말(2000b)에 전송할 수 있다.
비교 결과, 키 포인트 유사도가 제1 임계값(α) 이하이거나, 또는 뷰 포인트 유사도가 제2 임계값(β) 이하인 경우(단계 S370), 제2 엣지 데이터 네트워크(1000b)는 키 포인트 정보 및 뷰 포인트 정보를 이용하여 3D 캐릭터 이미지를 렌더링(rendering)한다. 단계 S370에서 제2 엣지 데이터 네트워크(1000b)는, 제1 엣지 데이터 네트워크(1000a)로부터 획득한 키 포인트 정보가 데이터 캐시에 캐싱된 키 포인트 정보와 유사하지 않고, 제2 단말(2000b)로부터 획득한 뷰 포인트 정보가 데이터 캐시에 캐싱된 뷰 포인트 정보와 유사하지 않다고 판단할 수 있다. 이 경우 제2 엣지 데이터 네트워크(1000b)는, 제1 엣지 데이터 네트워크(1000a)로부터 획득한 키 포인트 정보 및 제2 단말(2000b)로부터 획득한 뷰 포인트 정보를 이용하여, 3D 캐릭터 이미지를 렌더링할 수 있다.
단계 S372에서, 제2 엣지 데이터 네트워크(1000b)는 렌더링된 3D 캐릭터 이미지를 제2 단말(2000b)에 전송한다.
단계 S380에서, 제2 단말(2000b)은 3D 캐릭터 이미지를 디스플레이한다.
도 4는 본 개시의 일 실시예에 따른 엣지 데이터 네트워크(1000)의 구성 요소를 도시한 블록도이다.
도 4를 참조하면, 엣지 데이터 네트워크(1000)는 네트워크 인터페이스(1100), 프로세서(1200), 및 메모리(1300)를 포함할 수 있다. 그러나, 엣지 데이터 네트워크(1000)의 구성 요소가 도 4에 도시된 실시예로 한정되는 것은 아니다. 예를 들어, 엣지 데이터 네트워크(1000)는 도시된 구성 요소보다 더 많은 구성 요소를 포함하거나 더 적은 구성 요소를 포함할 수 있다. 뿐만 아니라, 네트워크 인터페이스(1100), 프로세서(1200), 및 메모리(1300)는 하나의 칩(Chip) 형태로 구현될 수도 있다.
네트워크 인터페이스(1100)는 외부 장치, 예를 들어, 단말, 액세스 네트워크, 리모트 서버 또는 3GPP 네트워크 등과 신호를 송수신할 수 있다. 외부 장치와 송수신하는 신호는 제어 정보 및 데이터를 포함할 수 있다. 네트워크 인터페이스(1100)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신기와, 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF 수신기 등으로 구성될 수 있다. 그러나, 네트워크 인터페이스(1100)가 전술한 예시로 구성되는 것으로 한정되는 것은 아니다. 네트워크 인터페이스(1100)는 예를 들어, 무선 LAN(Wireless Local Area Network), 와이파이(Wi-Fi), WFD(Wi-Fi Direct), 및 와이기그(Wireless Gigabit Allicance, WiGig)를 포함하는 무선 데이터 통신 방식 중 적어도 하나를 이용하여 외부 장치와 신호를 송수신할 수 있다. 네트워크 인터페이스(1100)는 수신된 신호를 프로세서(1200)로 출력하고, 프로세서(1200)로부터 출력된 신호를 외부 장치에 전송할 수 있다.
도면에는 도시되지 않았지만, 네트워크 인터페이스(1100)는 다른 엣지 데이터 네트워크(예를 들어, 제1 엣지 데이터 네트워크(1000a, 도 2 참조))와 데이터를 송수신하도록 구성되는 제1 네트워크 인터페이스 및 단말(예를 들어, 제2 단말(2000b, 도 2 참조))와 데이터를 송수신하도록 구성되는 제2 네트워크 인터페이스를 포함할 수 있다.
네트워크 인터페이스(1100)는, 프로세서(1200)의 제어를 통해, 외부 장치로부터 키 포인트 정보 및 뷰 포인트 정보를 수신할 수 있다. 일 실시예에서, 네트워크 인터페이스(1100)에 포함되는 제1 네트워크 인터페이스는 제1 엣지 데이터 네트워크(1000a, 도 2 참조)로부터 제1 사용자에 대한 키 포인트 정보를 수신할 수 있다. '키 포인트 정보'는, 제1 단말(2000a, 도 2 참조)을 통해 촬영된 액터 이미지로부터 추출된 제1 사용자의 신체 부위, 자세, 또는 골격 구조의 특징을 나타내는 복수의 특징점에 관한 복수의 3차원 위치 좌표값을 포함할 수 있다. 일 실시예에서, 네트워크 인터페이스(1100)는 제1 단말(2000a)로부터 단말의 식별 정보(예를 들어, 디바이스 id), 제1 사용자의 사용자 식별 정보(user identification information), 실행되고 있는 애플리케이션 클라이언트의 정보, 및 원격 회의실의 식별 정보(예를 들어, 회의실 위치 정보, 회의실 식별 번호 등) 중 적어도 하나에 관한 정보를 수신할 수 있다.
네트워크 인터페이스(1100)에 포함되는 제2 네트워크 인터페이스는 제2 단말(2000b, 도 2 참조)로부터 뷰 포인트 정보를 수신할 수 있다. '뷰 포인트 정보'는, 제2 단말(2000b)을 통해 디스플레이되는 3D 캐릭터 이미지의 가상의 시점에 관한 가상의 위치 좌표값 정보를 포함할 수 있다. 일 실시예에서, 네트워크 인터페이스(1100)는 제2 단말(2000b)로부터 단말의 식별 정보(예를 들어, 디바이스 id), 제2 사용자의 사용자 식별 정보(user identification information), 실행되고 있는 애플리케이션 클라이언트의 정보, 및 원격 회의실의 식별 정보(예를 들어, 회의실 위치 정보, 회의실 식별 번호 등) 중 적어도 하나에 관한 정보를 수신할 수 있다.
프로세서(1200)는, 메모리(1300)에 저장된 프로그램의 하나 이상의 명령어들(instructions)을 실행할 수 있다. 프로세서(1200)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성 요소로 구성될 수 있다. 프로세서(1200)는 예를 들어, 중앙 처리 장치(Central Processing Unit), 마이크로 프로세서(microprocessor), NPU(Neural Processor Unit), 그래픽 프로세서(Graphic Processing Unit), ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), 및 FPGAs(Field Programmable Gate Arrays) 중 적어도 하나로 구성될 수 있으나, 이에 한정되는 것은 아니다.
메모리(1300)는 예를 들어, 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나로 구성될 수 있다.
메모리(1300)에는 키 포인트 정보 및 뷰 포인트 정보를 획득하고, 획득된 키 포인트 정보 및 뷰 포인트 정보와 데이터 캐시(1360)에 기 저장된 키 포인트 정보 및 뷰 포인트 정보 간의 유사도를 측정하며, 측정된 유사도에 기초하여 데이터 캐시(1360)에 캐싱된 3D 캐릭터 이미지를 리드아웃(read out)하여 제2 단말(2000b, 도 2 참조)에 제공하는 기능 또는 동작의 수행과 관련된 명령어들(instruction)을 포함하는 프로그램이 저장될 수 있다. 메모리(1300)에는 프로세서(1200)가 판독할 수 있는 명령어들, 알고리즘(algorithm), 데이터 구조, 및 프로그램 코드(program code) 중 적어도 하나가 저장될 수 있다. 메모리(1300)에 저장되는 명령어들, 알고리즘, 데이터 구조, 및 프로그램 코드는 예를 들어, C,　C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다.　
일 실시예에서, 메모리(1300)에는 운영 체제(OS, operating system), 미들웨어(middleware) 또는 애플리케이션 클라이언트를 포함하는 소프트웨어가 저장될 수 있다. 일 실시예에서, 메모리(1300)에는 도 1에 도시된 제1 애플리케이션 클라이언트(1312) 및 제2 애플리케이션 클라이언트(1314)가 저장될 수 있다.
이하의 실시예에서, 프로세서(1200)는 메모리에 저장된 프로그램의 명령어들 또는 프로그램 코드들을 실행함으로써 구현될 수 있다.
메모리(1300)는 3D 캐릭터 이미지 생성 모듈(1330) 및 데이터 캐시(1360)가 포함될 수 있다. 3D 캐릭터 이미지 생성 모듈(1330)은 렌더링 모듈(1340) 및 유사도 판단 모듈(1350)을 포함할 수 있다. 메모리(1300)에 포함되는 복수의 '모듈'은 프로세서(1200)에 의해 수행되는 기능이나 동작을 처리하는 단위를 의미하고, 이는 명령어들 또는 프로그램 코드와 같은 소프트웨어로 구현될 수 있다.
3D 캐릭터 이미지 생성 모듈(1330)은 키 포인트 정보 및 뷰 포인트 정보에 기초하여, 제1 단말(2000a, 도 2 참조)를 통해 획득된 제1 사용자의 모습, 행동, 또는 동작을 나타내는 3D 캐릭터 이미지를 생성하도록 구성되는 모듈이다. 여기서, '3D 캐릭터 이미지'는 3차원 이미지로 구성된 아바타 이미지(Avatar image), 만화 캐릭터 이미지, 또는 이모티콘 이미지일 수 있다. 3D 캐릭터 이미지 생성 모듈(1330)은 렌더링 모듈(1340) 및 유사도 판단 모듈(1350)을 포함할 수 있다.
렌더링 모듈(1340)은, 네트워크 인터페이스(1100)를 통해 수신된 키 포인트 정보 및 뷰 포인트 정보에 기초하여, 제1 사용자의 모습, 행동, 또는 동작을 나타내는 3D 캐릭터 이미지를 렌더링하도록 구성되는 모듈이다. 일 실시예에서, 프로세서(1200)는 렌더링 모듈(1340)와 관련된 데이터 또는 프로그램 코드를 이용하여, 키 포인트 정보에 포함되는 복수의 특징 좌표값의 크기를 재조정(resize)하고, 스케일(scale)을 조절함으로써, 기설정된 크기의 3D 캐릭터 이미지를 렌더링할 수 있다.
프로세서(1200)는 뷰 포인트 정보에 포함되는 3D 캐릭터 이미지를 바라보는 가상의 시점 정보에 기초하여, 3D 캐릭터가 표시되는 위치 및 방향을 결정할 수 있다. 일 실시예에서, 프로세서(1200)는 뷰 포인트 정보에 포함되는 가상의 시점 정보에 관한 데이터를 기설정된 개수의 논리 인덱스(logical index)로 분류하고, 분류된 논리 인덱스에 따라 3D 캐릭터가 표시되는 위치 및 방향을 결정할 수 있다. 일 실시예에서, 프로세서(1200)는 렌더링 모듈(1340)의 데이터 또는 프로그램 코드를 이용하여, 결정된 위치 및 방향에 따라 3D 캐릭터 이미지가 디스플레이되도록 3D 캐릭터 이미지를 렌더링할 수 있다.
일 실시예에서, 프로세서(1200)는 네트워크 인터페이스(1100)를 통해 수신된 제1 사용자의 사용자 식별 정보에 기초하여, 3D 캐릭터 이미지를 렌더링할 수도 있다. 예를 들어, 프로세서(1200)는 기 생성된 적어도 하나의 3D 캐릭터 이미지를 사용자 식별 정보에 따라 분류하여 메모리(1300) 내의 저장부(미도시)에 저장하고, 제1 사용자의 사용자 식별 정보에 기초하여 저장된 적어도 하나의 3D 캐릭터 이미지 중 제1 사용자에 해당되는 3D 캐릭터 이미지를 선택할 수 있다. 프로세서(1200)는 선택된 3D 캐릭터 이미지를 이용하여, 수신된 키 포인트 정보 및 뷰 포인트 정보에 따른 3D 캐릭터 이미지를 렌더링할 수 있다.
프로세서(1200)는 렌더링된 3D 캐릭터 이미지를 데이터 캐시(1360)에 저장할 수 있다.
데이터 캐시(1360)는, 프로세서(1200)에 의해 판독된 명령어 또는 데이터를 임시로 저장하는 버퍼 메모리(buffer memory)로서, 비휘발성 메모리로 구성될 수 있다. 데이터 캐시(1360)는 예를 들어, 플래시 메모리 (flash memory type), 하드디스크(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 및 광디스크 중 적어도 하나의 비휘발성 메모리로 구성될 수 있다. 그러나, 이에 한정되는 것은 아니다.
프로세서(1200)는 렌더링된 3D 캐릭터 이미지와, 3D 캐릭터 이미지의 렌더링에 이용된 키 포인트 정보 및 뷰 포인트 정보를 데이터 캐시(1360)에 저장할 수 있다. 일 실시예에서, 프로세서(1200)는 키 포인트 정보(1362), 뷰 포인트 정보(1364) 및 3D 캐릭터 이미지(1366)를 키(key)-밸류(value) 타입으로 데이터 캐시(1360)에 저장할 수 있다. 즉, 데이터 캐시(1360)에 저장되는 3D 캐릭터 이미지는 밸류로서, 키 포인트 정보 및 뷰 포인트 정보을 포함하는 키에 기초하여 생성된 이미지일 수 있다.
일 실시예에서, 프로세서(1200)는 제1 엣지 데이터 네트워크(1000a, 도 2 참조)로부터 수신된 복수의 키 포인트 정보 및 제2 단말(2000b, 도 2 참조)로부터 수신된 복수의 뷰 포인트를 이용하여 렌더링함으로써 생성된 복수의 3D 캐릭터 이미지를 이미지 프레임 단위로 데이터 캐시(1360)에 저장할 수 있다. 예를 들어, 프로세서(1200)는 제1 키 포인트 정보 및 제1 뷰 포인트 정보를 이용하여 렌더링된 제1 3D 캐릭터 이미지를 제1 인덱스로, 제2 키 포인트 정보 및 제2 뷰 포인트 정보를 이용하여 렌더링된 제2 3D 캐릭터 이미지를 제2 인덱스로 데이터 캐시(1360)에 저장할 수 있다.
일 실시예에서, 프로세서(1200)는 제1 사용자의 사용자 식별 정보, 제1 사용자의 모습, 과거 행동, 동작, 자세 또는 방향에 관하여 기 획득된 복수의 키 포인트 정보, 키 포인트 유사도 판단의 우선 순위 정보, 원격 회의의 타입(type)에 관한 정보 중 적어도 하나를 렌더링된 3D 캐릭터 이미지와 함께 데이터 캐시(1360)에 저장할 수 있다.
일 실시예에서, 프로세서(1200)는 LRU policy(Least Recently Used policy)를 이용하여, 가장 오랫동안 사용되지 않은 데이터를 제거하고, 신규로 입력된 데이터를 데이터 캐시(1360)에 저장할 수 있다.
유사도 판단 모듈(1350)은 데이터 캐시(1360)에 기 저장된 키 포인트 정보 및 뷰 포인트 정보와, 제1 엣지 데이터 네트워크(1000a, 도 2 참조)로부터 수신된 키 포인트 정보 및 제2 단말(2000b, 도 2 참조)로부터 수신된 뷰 포인트 정보를 각각 비교함으로써, 키 포인트 유사도 및 뷰 포인트 유사도를 측정하고, 측정된 유사도에 기초하여 제2 단말(2000b)에 제공할 3D 캐릭터 이미지를 결정하도록 구성되는 모듈이다. 유사도 판단 모듈(1350)은 유사도 측정 모듈(1352) 및 비교 모듈(1354)을 포함할 수 있다.
유사도 측정 모듈(1352)은 제1 엣지 데이터 네트워크(1000a)로부터 수신된 키 포인트 정보와 제2 단말(2000b)로부터 수신된 뷰 포인트 정보를 데이터 캐시(1360)에 기 저장된 키 포인트 정보 및 뷰 포인트 정보와 각각 비교함으로써, 키 포인트 유사도 및 뷰 포인트 유사도를 측정하도록 구성되는 모듈이다. 일 실시예에서, 프로세서(1200)는 유사도 측정 모듈(1352)과 관련된 데이터 또는 프로그램 코드를 이용하여, 제1 엣지 데이터 네트워크(1000a)로부터 수신된 키 포인트 정보와 데이터 캐시(1360)에 기 저장된 키 포인트 정보에 각각 포함된 복수의 특징 좌표값 간의 키 포인트 유사도를 측정할 수 있다. 일 실시예에서, 프로세서(1200)는 유사도 측정 모듈(1352)과 관련된 데이터 또는 프로그램 코드를 이용하여 제2 단말(2000b)로부터 수신된 뷰 포인트 정보에 포함되는 가상의 위치 좌표값과 데이터 캐시(1360)에 저장된 뷰 포인트 정보에 포함되는 가상의 위치 좌표값을 비교함으로써, 뷰 포인트 유사도를 측정할 수 있다. 일 실시예에서, 프로세서(1200)는 유클리디언 거리(Euclidean distance) 또는 코사인 유사도(Cosine similarity) 측정 방법을 이용하여, 키 포인트 유사도 및 뷰 포인트 유사도를 측정할 수 있다.
프로세서(1200)는 데이터 캐시(1360)에 기 저장된 키 포인트 정보에 포함되는 복수의 제1 특징 좌표값 중 적어도 하나의 특징 좌표값과 제1 엣지 데이터 네트워크(1000a)로부터 입력되는 키 포인트 정보에 포함되는 복수의 특징 좌표값 중 선택된 적어도 하나의 특징 좌표값 간의 유사도를 측정함으로써, 입력된 키 포인트 정보와 캐싱된 키 포인트 정보 간의 키 포인트 유사도를 측정할 수 있다. 일 실시예에서, 프로세서(1200)는 제1 엣지 데이터 네트워크(1000a)로부터 시간의 흐름에 따라 연속적으로 입력되는 복수의 키 포인트 정보 각각에 포함되는 복수의 특징 좌표값 간의 차이값(difference value)을 각각 산출하고, 산출된 차이값이 기설정된 임계치를 초과하는 적어도 하나의 특징 좌표값을 데이터 캐시(1360)에 캐싱된 복수의 특징 좌표값 중 대응되는 특징 좌표값과 비교함으로써, 키 포인트 유사도를 측정할 수 있다. 이에 관해서는 도 7 및 도 8에서 상세하게 설명하기로 한다.
프로세서(1200)는 제1 엣지 데이터 네트워크(1000a)로부터 수신된 키 포인트 정보에 포함되는 복수의 제2 특징 좌표값 중 기설정된 우선 순위에 따라 우선 순위가 높은 신체 부위로부터 추출된 적어도 하나의 제2 특징 좌표값을 선택할 수 있다. 여기서, '우선 순위'는 엣지 데이터 네트워크(1000)를 통해 수행되는 증강 현실 원격 회의에서 제1 사용자의 신체 부위 중 움직임 또는 이동의 정도와 빈도에 기초하여 결정될 수 있다. 일 실시예에서, 우선 순위는 증강 현실 원격 회의의 타입(type)에 기초하여 결정될 수 있다. 예를 들어, 증강 현실 원격 회의가 업무 회의인 경우, 제1 사용자의 신체 부위 중 팔, 손, 얼굴 표정 등 상체 부위에 관한 움직임의 정도가 크고, 빈도도 하체 부위에 비하여 상대적으로 잦을 수 있다. 다른 예를 들어, 증강 현실 원격 회의가 운동과 관련된 회의인 경우, 업무 회의인 경우 보다 움직임의 정도 및 빈도수가 상대적으로 많을 수 있다.
프로세서(1200)는 데이터 캐시(1360)에 기 저장된 키 포인트 정보에 포함되는 복수의 제1 특징 좌표값 중 선택된 적어도 하나의 특징 좌표값에 대응되는 적어도 하나의 제1 특징 좌표값을 식별할 수 있다. 일 실시예에서, 프로세서(1200)는 유사도 측정 모듈(1352)을 이용하여, 적어도 하나의 제1 특징 좌표값과 적어도 하나의 제2 특징 좌표값 간의 유사도를 측정할 수 있다. 이에 관해서는, 도 9 및 도 10에서 상세하게 설명하기로 한다.
프로세서(1200)는 제1 엣지 데이터 네트워크(1000a)로부터 획득한 키 포인트 정보에 포함되는 복수의 제2 특징 좌표값과 데이터 캐시(1360)에 캐싱된 키 포인트 정보에 포함되는 복수의 제1 특징 좌표값 간의 유사도를 모두 측정하지 않고, 일부의 특징 좌표값만의 유사도를 측정함으로써, 연산량을 줄일 수 있다. 따라서, 본 개시의 일 실시예에 따른 프로세서(1200)는 소모되는 컴퓨팅 파워를 절감하고, 처리 시간(processing time)을 단축시킬 수 있다.
비교 모듈(1354)은 유사도 측정 모듈(1352)에 의해 측정된 키 포인트 유사도 및 뷰 포인트 유사도를 기 설정된 임계값과 비교하도록 구성되는 모듈이다. 프로세서(1200)는 비교 모듈(1354)과 관련된 데이터 또는 프로그램 코드를 이용하여, 키 포인트 유사도를 기 설정된 제1 임계값과 비교하고, 뷰 포인트 유사도를 기 설정된 제2 임계값과 각각 비교할 수 있다.
일 실시예에서, 프로세서(1200)는 키 포인트 유사도가 제1 임계값을 초과하고, 뷰 포인트 유사도가 제2 임계값을 초과하는 경우, 제1 엣지 데이터 네트워크(1000a)로부터 수신된 키 포인트 정보가 데이터 캐시(1360)에 기 저장된 키 포인트 정보와 유사하고, 제2 단말(2000b)로부터 수신된 뷰 포인트 정보가 데이터 캐시(1360)에 기 저장된 뷰 포인트 정보와 유사하다고 판단할 수 있다. 이 경우, 프로세서(1200)는 데이터 캐시(1360)에 액세스하여, 데이터 캐시(1360)에 캐싱된 키 포인트 정보 및 뷰 포인트 정보와 연관되어 저장되어 있는 3D 캐릭터 이미지를 식별할 수 있다. 프로세서(1200)는 식별된 3D 캐릭터 이미지를 데이터 캐시(1360)로부터 리드아웃(read out)하고, 리드아웃된 3D 캐릭터 이미지를 네트워크 인터페이스(1100)를 통해 제2 단말(2000b)에 전송할 수 있다.
키 포인트 유사도가 제1 임계값 이하이거나, 또는 뷰 포인트 유사도가 제2 임계값 이하인 경우, 프로세서(1200)는 제1 엣지 데이터 네트워크(1000a)로부터 수신된 키 포인트 정보가 데이터 캐시(1360)에 캐싱된 키 포인트 정보와 유사하지 않고, 제2 단말(2000b)로부터 수신된 뷰 포인트 정보가 데이터 캐시(1360)에 캐싱된 뷰 포인트 정보와 유사하지 않다고 판단할 수 있다. 이 경우, 프로세서(1200)는 제1 엣지 데이터 네트워크(1000a)로부터 수신된 키 포인트 정보 및 제2 단말(2000b)로부터 수신된 뷰 포인트 정보를 렌더링 모듈(1340)에 제공할 수 있다. 프로세서(1200)는 렌더링 모듈(1340)을 통해, 제공받은 키 포인트 정보 및 뷰 포인트 정보를 이용하여 3D 캐릭터 이미지를 렌더링할 수 있다. 프로세서(1200)는 네트워크 인터페이스(1100)를 이용하여, 렌더링된 3D 캐릭터 이미지를 제2 단말(2000b)에 전송할 수 있다.
도 5는 본 개시의 일 실시예에 따른 엣지 데이터 네트워크(1000)가 키 포인트 유사도 및 뷰 포인트 유사도에 기초하여, 데이터 캐시에 저장된 3D 캐릭터 이미지를 제2 단말(2000b)에 제공하는 동작 방법을 도시한 도면이다.
도 5를 참조하면, 제1 단말(2000a, 도 2 참조)은 제1 사용자를 촬영함으로써 복수의 이미지 프레임(i1 내지 in)을 획득할 수 있다. 복수의 이미지 프레임(i1 내지 in)은 시간의 흐름에 따라 순차적으로 획득될 수 있다. 복수의 이미지 프레임(i1 내지 in)은 제1 사용자의 행동 또는 동작을 나타내는 동영상을 구성할 수 있다.
단계 S510에서, 엣지 데이터 네트워크(1000)는 제1 이미지 프레임(i1)으로부터 추출된 제1 키 포인트 정보를 수신한다. 엣지 데이터 네트워크(1000)는 제1 엣지 데이터 네트워크(1000a, 도 2 참조)로부터 제1 키 포인트 정보를 수신할 수 있지만, 이에 한정되는 것은 아니다. 제1 키 포인트 정보는, 제1 이미지 프레임(i1)에 포함되는 제1 사용자의 복수의 특징점(kp1 내지 kpn)에 관한 특징 좌표값을 포함할 수 있다. '복수의 특징점(kp1 내지 kpn)'은, 제1 이미지 프레임(i1) 내에 포함되는 제1 사용자 이미지의 신체 부위, 자세, 또는 골격 구조에 관한 특징을 나타내는 포인트(points)일 수 있다. 복수의 특징점(kp1 내지 kpn)은 예를 들어, 사람 신체의 얼굴, 어깨, 팔, 허벅지, 종아리 등의 신체 부위 또는 골격 구조의 특징으로부터 추출될 수 있다.
일 실시예에서, 엣지 데이터 네트워크(1000)는 키 포인트 추출 모듈(1340, 도 2 참조)을 포함할 수 있다. 이 경우, 엣지 데이터 네트워크(1000)는 제1 단말(2000a)로부터 복수의 이미지 프레임(i1 내지 in)을 획득하고, 복수의 이미지 프레임(i1 내지 in) 중 제1 이미지 프레임(i1)으로부터 제1 키 포인트 정보를 추출할 수 있다.
단계 S512에서, 엣지 데이터 네트워크(1000)는 제1 뷰 포인트 정보를 획득한다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 제2 단말(2000b)로부터 제1 뷰 포인트 정보를 획득할 수 있다. '제1 뷰 포인트 정보'는, 제2 단말(2000b)의 디스플레이부(2620)를 통해 디스플레이되는 3D 캐릭터 이미지를 가상의 카메라가 바라보는 가상의 시점(view point)에 관한 정보이다. 뷰 포인트 정보는 3차원 가상 공간에서 가상의 카메라를 통해 3D 캐릭터 이미지를 바라보는 위치 및 방향을 나타내는 가상의 위치 좌표값 정보를 포함할 수 있다.
단계 S520에서, 엣지 데이터 네트워크(1000)의 렌더링 모듈(1340)은 제1 키 포인트 정보 및 제1 뷰 포인트 정보를 이용하여, 제1 3D 캐릭터 이미지를 렌더링한다.
단계 S530에서, 엣지 데이터 네트워크(1000)는 제1 키 포인트 정보, 제1 뷰 포인트 정보 및 렌더링된 제1 3D 캐릭터 이미지를 데이터 캐시(1360)에 저장한다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 제1 키 포인트 정보(1362-1), 제1 뷰 포인트 정보(1364-1) 및 제1 3D 캐릭터 이미지(1366-1)를 키(key)-밸류(value) 타입으로 데이터 캐시(1360)에 저장할 수 있다. 즉, 제1 키 포인트 정보(1362-1) 및 제1 뷰 포인트 정보(1364-1)는 키(1360k)로서, 제1 키 포인트 정보(1362-1) 및 제1 뷰 포인트 정보(1364-1)에 기초하여 렌더링된 제1 3D 캐릭터 이미지(1366-1)는 밸류(1360v)로서, 데이터 캐시(1360)에 저장될 수 있다. 키(1360k)와 밸류(1360v)는 쌍(pair)을 형성하여 데이터 캐시(1360)에 저장될 수 있다.
단계 S540에서, 엣지 데이터 네트워크(1000)는 제2 이미지 프레임(i2)으로부터 추출된 제2 키 포인트 정보를 획득한다.
단계 S542에서, 엣지 데이터 네트워크(1000)는 제2 단말(2000b)로부터 제2 뷰 포인트 정보를 획득한다.
단계 S550에서, 엣지 데이터 네트워크(1000)는 유사도 판단 모듈(1350)을 이용하여, 제2 키 포인트 정보를 데이터 캐시(1360)에 저장되어 있는 제1 키 포인트 정보(1362-1)과 비교함으로써, 키 포인트 유사도를 측정한다.
단계 S552에서, 엣지 데이터 네트워크(1000)는 유사도 판단 모듈(1350)을 이용하여, 제2 뷰 포인트 정보를 데이터 캐시(1360)에 저장되어 있는 제1 뷰 포인트 정보(1364-1)과 비교함으로써, 뷰 포인트 유사도를 측정한다.
엣지 데이터 네트워크(1000)는 키 포인트 유사도를 기설정된 제1 임계값과 비교하고, 뷰 포인트 유사도를 기설정된 제2 임계값과 비교할 수 있다. 키 포인트 유사도가 제1 임계값을 초과하고, 뷰 포인트 유사도가 제2 임계값을 초과하는 경우, 엣지 데이터 네트워크(1000)는 데이터 캐시(1360)에 저장된 제1 3D 캐릭터 이미지(1366-1)를 제2 단말(2000b)에 제공한다 (단계 S560).
도 6은 본 개시의 일 실시예에 따른 엣지 데이터 네트워크(1000)의 동작 절차를 도시한 흐름도이다.
단계 S610에서, 엣지 데이터 네트워크(1000)는, 제1 단말(2000a, 도 2 참조)을 통해 촬영된 제1 사용자에 관한 제1 이미지 프레임으로부터 추출된 제1 키 포인트 정보 및 제2 단말(2000b, 도 2 참조)을 통해 디스플레이되는 3D 캐릭터 이미지를 바라보는 가상의 시점에 관한 가상의 위치 좌표값을 포함하는 제1 뷰 포인트 정보를 획득한다. 제1 키 포인트는, 제1 사용자의 신체 부위, 자세, 또는 골격 구조에 관한 특징을 나타내는 복수의 특징점에 관한 특징 좌표값을 포함할 수 있다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 원격에 배치되는 다른 엣지 데이터 네트워크로부터 제1 키 포인트 정보를 획득할 수 있으나, 이에 한정되는 것은 아니다.
다른 실시예에서, 엣지 데이터 네트워크(1000)는 키 포인트 추출 모듈을 포함하고, 키 포인트 추출 모듈을 이용하여 제1 단말(2000a, 도 2 참조)로부터 획득한 제1 이미지 프레임으로부터 제1 키 포인트를 추출할 수도 있다. 이 경우, 엣지 데이터 네트워크(1000)는 기 공지된 특징점 추출 알고리즘을 이용하여, 제1 이미지 프레임으로부터 복수의 특징점을 추출하고, 복수의 특징점을 포함하는 키 포인트 정보를 획득할 수 있다. 엣지 데이터 네트워크(1000)는 예를 들어, SIFT(Scale Invariant Feature Transform), FAST(Features from Accelerated Segment Test), AGAST (Adaptive and Generic corner detection based on the Accelerated Segment Test), 또는 Brief(Binary robust independent elementary features)와 같은 공지의 특징점 추출 알고리즘을 이용하거나, 또는 기계 학습(machine learning)을 이용하여 제1 이미지 프레임으로부터 복수의 특징점을 추출할 수 있다.
제1 뷰 포인트 정보는 제2 단말(2000b)의 디스플레이부(2620, 도 2 참조)를 통해 디스플레이되는 3D 캐릭터 이미지를 3차원 가상 공간에서 가상의 카메라를 통해 바라보는 가상의 시점(view point)에 관한 정보이다. 제1 뷰 포인트 정보는 가상의 카메라가 3D 캐릭터 이미지를 바라보는 위치 및 방향을 나타내는 가상의 위치 좌표값 정보를 포함할 수 있다.
단계 S620에서, 엣지 데이터 네트워크(1000)는 제1 키 포인트 정보 및 제1 뷰 포인트 정보에 기초하여, 제1 사용자의 모습, 행동 또는 동작을 나타내는 3D 캐릭터 이미지를 렌더링(rendering)한다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 제1 키 포인트 정보에 포함되는 복수의 특징 좌표값의 크기를 재조정(resize)하고, 스케일(scale)을 조절함으로써, 기설정된 크기의 3D 캐릭터 이미지를 렌더링할 수 있다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 제1 뷰 포인트 정보에 포함되는 3D 캐릭터 이미지를 바라보는 가상의 시점 정보에 기초하여, 3D 캐릭터 이미지가 표시되는 위치 및 방향을 결정하고, 결정된 위치 및 방향에 따라 3D 캐릭터 이미지가 디스플레이되도록 3D 캐릭터 이미지를 렌더링할 수 있다.
일 실시예에서, 엣지 데이터 네트워크(1000)는 제1 사용자의 사용자 식별 정보(user identification information)를 수신하고, 사용자 식별 정보에 기초하여 메모리(1300, 도 4 참조)에 기 저장된 복수의 3D 캐릭터 이미지 중 제1 사용자에 해당되는 3D 캐릭터 이미지를 선택할 수 있다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 선택된 3D 캐릭터 이미지를 이용하여, 제1 키 포인트 정보 및 제1 뷰 포인트 정보에 따른 3D 캐릭터 이미지를 렌더링할 수 있다.
단계 S630에서, 엣지 데이터 네트워크(1000)는 렌더링된 3D 캐릭터 이미지를 데이터 캐시에 저장한다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 제1 키 포인트 정보, 제1 뷰 포인트 정보, 및 3D 캐릭터 이미지를 키(key)-밸류(value) 타입으로 데이터 캐시(1360)에 저장할 수 있다. 엣지 데이터 네트워크(1000)는 제1 키 포인트 정보 및 제1 뷰 포인트 정보를 키로서, 렌더링된 3D 캐릭터 이미지를 밸류로서 데이터 캐시(1360)에 저장할 수 있다.
일 실시예에서, 엣지 데이터 네트워크(1000)는 제1 사용자의 사용자 식별 정보, 제1 사용자의 모습, 과거 행동, 동작, 자세 또는 방향에 관하여 기 획득된 복수의 키 포인트 정보, 키 포인트 유사도 판단의 우선 순위 정보, 원격 회의의 타입(type)에 관한 정보 중 적어도 하나를 렌더링된 3D 캐릭터 이미지와 함께 데이터 캐시에 저장할 수 있다.
단계 S640에서, 엣지 데이터 네트워크(1000)는 제2 이미지 프레임에 관한 제2 키 포인트 정보 및 제2 뷰 포인트 정보를 획득한다. 제2 이미지 프레임은 제1 단말(2000a)에 의해 제1 이미지 프레임을 획득된 이미지이다. 제2 키 포인트 정보를 획득하고, 제2 뷰 포인트 정보를 획득하는 구체적인 방법은 단계 S610에서 설명한 방법과 동일한바, 중복되는 설명은 생략한다.
단계 S650에서, 엣지 데이터 네트워크(1000)는 획득된 제2 키 포인트 정보 및 제2 뷰 포인트 정보를 데이터 캐시에 저장된 제1 키 포인트 정보 및 제2 뷰 포인트 정보와 각각 비교함으로써, 키 포인트 유사도 및 뷰 포인트 유사도를 측정한다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 유클리디언 거리(Euclidean distance) 또는 코사인 유사도(Cosine similarity) 측정 방법을 이용하여, 키 포인트 유사도 및 뷰 포인트 유사도를 측정할 수 있다.
단계 S660에서, 엣지 데이터 네트워크(1000)는 측정된 키 포인트 유사도 및 뷰 포인트 유사도에 기초하여, 데이터 캐시에 기 저장된 3D 캐릭터 이미지를 제2 단말(2000b, 도 2 참조)에 제공한다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 측정된 키 포인트 유사도를 기설정된 제1 임계값과 비교하고, 측정된 뷰 포인트 유사도를 기설정된 제2 임계값과 비교할 수 있다. 키 포인트 유사도가 제1 임계값을 초과하고, 뷰 포인트 유사도가 제2 임계값을 초과하는 경우, 엣지 데이터 네트워크(1000)는 제2 키 포인트 정보가 데이터 캐시에 기 저장된 제1 키 포인트 정보와 유사하고, 제2 뷰 포인트 정보가 데이터 캐시에 기 저장된 제1 뷰 포인트 정보와 유사하다고 판단할 수 있다. 이 경우, 엣지 데이터 네트워크(1000)는 데이터 캐시에 액세스하여, 캐싱된 키 포인트 정보 및 뷰 포인트 정보와 연관되어 캐싱된 3D 캐릭터 이미지를 식별(identify)할 수 있다. 엣지 데이터 네트워크(1000)는 식별된 3D 캐릭터 이미지를 데이터 캐시로부터 리드아웃(read out)하고, 리드아웃된 3D 캐릭터 이미지를 네트워크 인터페이스(1100, 도 4 참조)를 통해, 제2 단말(2000b)에 전송할 수 있다.
도 7은 본 개시의 일 실시예에 따른 엣지 데이터 네트워크(1000)가 키 포인트 유사도를 측정하는 방법을 도시한 도면이다.
도 7을 참조하면, 엣지 데이터 네트워크(1000)는 액터 이미지(700)로부터 추출된 복수의 특징점(P1 내지 Pn)을 포함하는 키 포인트 정보(710, 720)를 시간의 흐름에 따라 순차적으로 획득할 수 있다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 키 포인트 정보(710, 720)를 다른 엣지 데이터 네트워크(예를 들어, 제1 엣지 데이터 네트워크(1000a, 도 2 참조))로부터 수신할 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 제1 단말(2000a, 도 2 참조)로부터 액터 이미지를 획득하고, 획득된 액터 이미지로부터 복수의 특징점을 추출함으로써, 키 포인트 정보(710, 720)를 획득할 수도 있다.
제1 키 포인트 정보(710) 및 제2 키 포인트 정보(720)는 사용자를 시간의 흐름에 따라 연속적으로 촬영함으로써 획득한 복수의 액터 이미지(700) 각각으로부터 추출될 수 있다. 제1 키 포인트 정보(710)는 제1 시점(t1)에 획득되는 정보로서, 제1 시점(t1)에 촬영되어 획득된 액터 이미지(700)로부터 추출된 복수의 특징점(P1 내지 Pn)에 관한 3차원 위치 좌표값(710-1 내지 710-n)을 포함할 수 있다. 제2 키 포인트 정보(720)는 제2 시점(t2)에 획득되는 정보로서, 제2 시점(t2)에 촬영되어 획득된 액터 이미지(700)로부터 추출된 복수의 특징점(P1 내지 Pn)에 관한 3차원 위치 좌표값(720-1 내지 720-n)을 포함할 수 있다.
일 실시예에서, 엣지 데이터 네트워크(1000)는 제1 키 포인트 정보(710)에 포함되는 복수의 3차원 위치 좌표값(710-1 내지 710-n)과 제2 키 포인트 정보(720)에 포함되는 복수의 3차원 위치 좌표값(720-1 내지 720-n) 간의 차이값(difference value)을 각각 산출할 수 있다. 예를 들어, 엣지 데이터 네트워크(1000)의 프로세서(1200, 도 4 참조)는 제1 키 포인트 정보(710)에 포함되는 제1 특징점(P1)에 관한 제1 위치 좌표값(710-1)과 제2 키 포인트 정보(720)에 포함되는 제1 특징점(P1)에 관한 제1 위치 좌표값(720-1) 간의 차이값 △1을 산출할 수 있다. 마찬가지로, 프로세서(1200)는 제1 키 포인트 정보(710)에 포함되는 제2 특징점(P2)에 관한 제2 위치 좌표값(710-2)과 제2 키 포인트 정보(720)에 포함되는 제2 특징점(P2)에 관한 제2 위치 좌표값(720-2) 간의 차이값 △2을 산출할 수 있다. 전술한 방식과 같이, 프로세서(1200)는 제1 키 포인트 정보(710)에 포함되는 제n 특징점(Pn)에 관한 제n 위치 좌표값(710-n)과 제2 키 포인트 정보(720)에 포함되는 제n 특징점(Pn)에 관한 제n 위치 좌표값(720-n) 간의 차이값 △n을 산출할 수 있다.
엣지 데이터 네트워크(1000)는 복수의 특징점(P1 내지 Pn) 각각에 대하여 산출된 차이값(△1 내지 △n)을 기설정된 임계값과 비교하고, 산출된 차이값(△1 내지 △n)이 임계값을 초과하는 적어도 하나의 특징점을 식별할 수 있다. 도 7에 도시된 실시예에서, △2 및 △3의 크기가 기설정된 임계값을 초과하고, 따라서 엣지 데이터 네트워크(1000)의 프로세서(1200)는 제2 키 포인트 정보(720)에 포함되는 복수의 위치 좌표값(720-1 내지 720-n) 중 차이값이 임계값을 초과한 특징점인 제2 특징점(P2) 및 제3 특징점(P3)의 3차원 위치 좌표값(720-2, 720-3)을 식별할 수 있다.
엣지 데이터 네트워크(1000)는 식별된 적어도 하나의 특징점에 관한 위치 좌표값(도 7에서는, 720-2, 720-3)과 대응되는 위치 좌표값을 데이터 캐시(1360)로부터 식별할 수 있다. 도 7에 도시된 실시예에서, 데이터 캐시(1360)에는 복수의 특징점(P1 내지 Pn) 각각에 관한 3차원 위치 좌표값(1362-1 내지 1362-n)이 캐싱되어 있고, 엣지 데이터 네트워크(1000)의 프로세서(1200)는 데이터 캐시(1360)에 캐싱된 키 포인트 정보에 포함되는 복수의 3차원 위치 좌표값(1362-1 내지 1362-n) 중 차이값이 기설정된 임계값을 초과하는 것으로 식별된 제2 위치 좌표값(720-2) 및 제3 위치 좌표값(720-3)에 각각 대응되는 위치 좌표값(1362-2, 1362-3)을 식별할 수 있다.
엣지 데이터 네트워크(1000)는 제2 키 포인트 정보(720)로부터 식별된 제2 위치 좌표값(720-2) 및 제3 위치 좌표값(720-3)과 데이터 캐시(1360)로부터 식별된 제2 위치 좌표값(1362-1) 및 제3 위치 좌표값(1362-3) 간의 유사도를 측정함으로써, 키 포인트 유사도를 측정할 수 있다.
도 8은 본 개시의 일 실시예에 따른 엣지 데이터 네트워크(1000)가 키 포인트 유사도를 측정하는 방법을 도시한 흐름도이다.
단계 S810에서, 엣지 데이터 네트워크(1000)는 제1 키 포인트 정보에 포함되는 복수의 제1 특징 좌표값과 제2 키 포인트 정보에 포함되는 복수의 제2 특징 좌표값 간의 차이값(difference value)을 산출한다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 제1 키 포인트 정보 및 제2 키 포인트 정보를 원격지에 배치된 다른 엣지 데이터 네트워크로부터 수신할 수 있으나, 이에 한정되는 것은 아니다. 다른 실시예에서, 엣지 데이터 네트워크(1000)는 단말로부터 시간의 흐름에 따라 순차적으로 복수의 액터 이미지를 획득하고, 획득된 복수의 액터 이미지 각각으로부터 복수의 특징점을 추출함으로써, 제1 키 포인트 정보 및 제2 키 포인트 정보를 획득할 수도 있다.
엣지 데이터 네트워크(1000)는 제1 키 포인트 정보에 포함되는 복수의 제1 특징 좌표값과 제2 키 포인트 정보에 포함되는 복수의 제2 특징 좌표값 간의 차이값을 복수의 특징 좌표값에 관하여 각각 산출할 수 있다.
단계 S820에서, 엣지 데이터 네트워크(1000)는 산출된 차이값이 기설정된 임계값을 초과하는 적어도 하나의 제2 특징 좌표값을 식별한다. 엣지 데이터 네트워크(10000는 제2 키 포인트 정보에 포함되는 복수의 제2 특징 좌표값 중 산출된 차이값이 기설정된 임계값을 초과하는 적어도 하나의 제2 특징 좌표값을 식별할 수 있다.
단계 S830에서 엣지 데이터 네트워크(1000)는, 데이터 캐시에 기 저장된 키 포인트 정보에 포함되는 복수의 특징 좌표값 중 식별된 적어도 하나의 제2 특징 좌표값에 대응되는 적어도 하나의 특징 좌표값을 식별한다. 데이터 캐시에는 복수의 특징점 각각에 관한 복수의 특징 좌표값이 캐싱되어 있고, 엣지 데이터 네트워크(1000)는 데이터 캐시에 캐싱된 복수의 특징 좌표값 중 단계 S820에서 식별된 적어도 하나의 제2 특징 좌표값에 대응되는 적어도 하나의 특징 좌표값을 식별할 수 있다.
단계 S840에서, 엣지 데이터 네트워크(1000)는 데이터 캐시로부터 식별된 적어도 하나의 특징 좌표값과 적어도 하나의 제2 특징 좌표값 간의 유사도를 측정한다. 엣지 데이터 네트워크(1000)는 측정된 유사도 정보를 이용하여, 제2 키 포인트 정보와 데이터 캐시에 캐싱된 키 포인트 정보 간의 유사도를 측정할 수 있다.
엣지 데이터 네트워크(1000)는 단계 S840에서 측정된 유사도를 이용하여, 데이터 캐시에 캐싱된 3D 캐릭터 이미지를 이용할 지 여부를 판단할 수 있다.
높은 FPS(Frames per second)로 복수의 액터 이미지가 획득되는 환경에서는, 이전 이미지 프레임의 키 포인트 정보와 현재 이미지 프레임의 피키 포인트 정보에 각각 포함되는 복수의 특징 좌표값의 차이가 크지 않다. 예를 들어, 사용자가 오른 손을 드는 동작, 또는 왼팔을 움직이는 동작 등의 경우, 이전 이미지 프레임과 현재 이미지 프레임 사이에서 손이나 팔을 제외한 나머지 신체 부위에 대응되는 특징점의 위치 좌표값은 실질적인 변화가 없다. 다만, 움직이는 신체 부위, 예를 들어 오른 손 또는 왼팔에 대응되는 특징점의 위치 좌표값은 이미지 프레임에 따라 변화의 값이 상대적으로 클 수 있다.
도 7 및 도 8에 도시된 실시예에서, 엣지 데이터 네트워크(1000)는 시간의 흐름에 따라 연속적으로 획득되는 복수의 키 포인트 정보(710, 720)에 각각 포함되는 복수의 3차원 위치 좌표값 모두를 데이터 캐시(1360)에 캐싱된 복수의 위치 좌표값(1362-1 내지 1362-n)과 비교함으로써 유사도를 측정하지 않고, 차이값이 기 설정된 임계값을 초과하는 일부의 3차원 위치 좌표값(720-2, 720-3)만을 캐싱된 위치 좌표값(1362-2, 1362-3)과 비교하여 유사도를 측정함으로써, 연산량을 줄일 수 있다. 따라서, 도 7 및 도 8에 도시된 실시예에 따른 엣지 데이터 네트워크(1000)는, 프로세서(1200)에 의해 소모되는 컴퓨팅 파워를 절감하고, 처리 시간(processing time)을 단축시킬 수 있다.
도 9는 본 개시의 일 실시예에 따른 엣지 데이터 네트워크(1000)가 키 포인트 정보에 포함되는 복수의 특징 좌표값의 우선 순위에 대하여 설명하기 위한 도면이다.
도 9를 참조하면, 엣지 데이터 네트워크(1000)는 액터 이미지(900)에 포함되는 복수의 특징점(P1 내지 P13) 각각의 3차원 위치 좌표값에 관한 키 포인트 정보를 획득할 수 있다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 복수의 특징점(P1 내지 P13) 중 기설정된 우선 순위에 따라, 우선 순위가 높은 신체 부위로부터 추출된 적어도 하나의 특징점을 선택하고, 선택된 적어도 하나의 특징점에 관한 3차원 위치 좌표값을 획득할 수 있다.
일 실시예에서, 우선 순위는 엣지 데이터 네트워크(1000)를 통해 수행되는 원격 회의의 타입(type) 또는 속성에 따른 사용자의 신체 부위 중 움직임의 정도 및 빈도에 기초하여 결정될 수 있다. 우선 순위는 원격 회의의 타입에 기초하여 미리 결정되어 있고, 우선 순위에 관한 정보는 엣지 데이터 네트워크(1000)의 메모리(1300)에 저장되어 있을 수 있다. 예를 들어, 원격 회의의 타입이 책상에 앉아서 진행하는 회의인 경우, 사용자의 신체 부위 중 다리의 움직임이나 허리, 골반 등은 회의 내용 또는 의견 전달 등에 큰 영향을 미치지 않지만, 손 동작, 얼굴 표정, 머리의 각도, 시선 방향 등은 상대적으로 중요한 요소이다. 엣지 데이터 네트워크(1000)의 프로세서(1200, 도 4 참조)는 예를 들어, 원격 회의가 책상에 앉아서 수행되는 타입인 경우, 복수의 특징점(P1 내지 Pn) 중 손, 팔, 머리, 또는 시선에 대응되는 적어도 하나의 특징점에 관한 우선 순위를 다리, 허리 또는 골반 등에 대응되는 특징점의 우선 순위 보다 높게 설정할 수 있다.
다른 예를 들어, 서서 하는 회의이거나, 운동 정보를 전달하는 회의, 또는 운동 교육의 경우, 사용자의 신체 부위 중 다리의 움직임이나 허리, 골반 등의 움직임 정도 및 빈도의 중요도는 손, 팔, 얼굴 등의 움직임 정도 및 빈도의 중요도와 유사하다. 프로세서(1200)는 예를 들어, 원격 회의가 서서 하는 회의이거나, 또는 운동 정보를 전달하는 회의 타입인 경우, 복수의 특징점(P1 내지 Pn)에 대하여 특정 우선 순위를 설정하지 않을 수도 있다.
일 실시예에서, 엣지 데이터 네트워크(1000)는 과거의 시점에서의 원격 회의 수행 이력에 따라 복수의 특징점(P1 내지 P13)에 관한 우선 순위를 결정할 수도 있다. 프로세서(1200)는 과거의 시점에 수행하였던 원격 회의를 통해 기 획득되어 데이터 캐시에 저장된 복수의 키 포인트 정보 각각에 포함되는 복수의 특징 좌표값 간의 차이값을 산출하고, 산출된 차이값을 큰 값에서 작은 값의 순서로 나열하고, 나열된 차이값의 순서에 기초하여, 복수의 특징 좌표값 각각에 대응되는 신체 부위에 따른 우선 순위를 결정할 수 있다.
도 9에 도시된 실시예에서, 복수의 특징점(P1 내지 Pn)의 우선 순위는 사용자의 신체 부위 중 어깨 부위에 대응되는 제6 특징점(P6), 팔 부위에 대응되는 제7 특징점(P7), 팔꿈치 부위에 대응되는 제8 특징점(P8), 손 부위에 대응되는 제4 특징점(P4), ... , 종아리 부위에 대응되는 제13 특징점(P13)의 순서로 결정될 수 있다. 도 9에 도시된 실시예는 예시일 뿐, 본 개시의 우선 순위가 도시된 바와 같이 한정되는 것은 아니다.
엣지 데이터 네트워크(1000)의 프로세서(1200)는 우선 순위에 따라 나열된 복수의 특징점(P1 내지 Pn) 중 적어도 하나의 특징점(P3, P6, P7, P8)만을 선택할 수 있다. 프로세서(1200)는 선택된 적어도 하나의 특징점(P3, P6, P7, P8) 각각에 관한 적어도 하나의 3차원 위치 좌표값을 획득하고, 데이터 캐시에 캐싱된 키 포인트 정보에 포함되는 복수의 3차원 위치 좌표값 중 적어도 하나의 특징점(P3, P6, P7, P8) 각각에 관한 적어도 하나의 3차원 위치 좌표값에 대응되는 적어도 하나의 3차원 위치 좌표값을 식별할 수 있다. 프로세서(1200)는 적어도 하나의 특징점(P3, P6, P7, P8) 각각에 관한 적어도 하나의 3차원 위치 좌표값과 캐싱된 복수의 3차원 위치 좌표값으로부터 식별된 적어도 하나의 3차원 위치 좌표값 간의 유사도를 측정할 수 있다. 프로세서(1200)는 상기 측정된 유사도를 이용하여, 데이터 캐시에 캐싱된 3D 캐릭터 이미지를 이용할 지 여부를 판단할 수 있다.
도 10은 본 개시의 일 실시예에 따른 엣지 데이터 네트워크(1000)가 키 포인트 정보에 포함되는 복수의 특징 좌표값의 우선 순위에 기초하여 키 포인트 유사도를 결정하는 방법을 도시한 흐름도이다.
단계 S1010에서, 엣지 데이터 네트워크(1000)는 제2 키 포인트 정보에 포함되는 복수의 제2 특징 좌표값 중 기설정된 우선 순위에 따라 우선 순위가 높은 적어도 하나의 제2 특징 좌표값을 선택한다. 제2 키 포인트 정보는, 제1 키 포인트 정보 이후에 순차적으로 획득되는 키 포인트 정보이다. 제1 키 포인트 정보는 데이터 캐시에 '캐싱' 방식으로 저장될 수 있다.
복수의 특징 좌표값의 우선 순위는 원격 회의의 타입에 기초하여 미리 결정되어 있을 수 있다. 일 실시예에서, 우선 순위는 엣지 데이터 네트워크(1000)를 통해 수행되는 원격 회의의 타입(type) 또는 속성에 따른 사용자의 신체 부위 중 움직임의 정도 및 빈도에 기초하여 결정될 수 있다.
그러나, 이에 한정되는 것은 아니고, 복수의 특징 좌표값의 우선 순위는 엣지 데이터 네트워크(1000)에 의해 과거의 시점에서 수행되었던 원격 회의의 수행 이력에 따라 결정될 수도 있다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 과거의 시점에 수행하였던 원격 회의를 통해 기 획득되어 데이터 캐시에 저장된 복수의 키 포인트 정보 각각에 포함되는 복수의 특징 좌표값 간의 차이값을 산출하고, 산출된 차이값을 큰 값에서 작은 값의 순서로 나열하고, 나열된 차이값의 순서에 기초하여, 복수의 특징 좌표값 각각에 대응되는 신체 부위에 따른 우선 순위를 결정할 수 있다.
엣지 데이터 네트워크(1000)는 제2 키 포인트 정보에 포함되는 복수의 제2 특징 좌표값 중 우선 순위가 높은 적어도 하나의 제2 특징 좌표값을 선택할 수 있다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 복수의 제2 특징 좌표값을 우선 순위가 높은 순서에서 낮은 순서로 나열하고, 나열된 복수의 제2 특징 좌표값 중 우선 순위가 높은 기설정된 개수의 특징 좌표값만을 선택할 수 있다. 예를 들어, 엣지 데이터 네트워크(1000)는 복수의 제2 특징 좌표값 중 우선 순위가 높은 4개의 특징 좌표값만을 선택할 수 있으나, 선택되는 특징 좌표값의 개수가 4개로 한정되는 것은 아니다.
단계 S1020에서, 캐싱된 제1 키 포인트 정보에 포함되는 복수의 제1 특징 좌표값 중 선택된 적어도 하나의 제2 특징 좌표값에 대응되는 적어도 하나의 제1 특징 좌표값을 식별한다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 데이터 캐시에 캐싱된 제1 키 포인트 정보 내에 포함되는 복수의 제1 특징 좌표값 중, 단계 S1010에서 제2 키 포인트 정보로부터 선택된 적어도 하나의 제2 특징 좌표값에 대응되는 적어도 하나의 제1 특징 좌표값을 식별할 수 있다. 엣지 데이터 네트워크(1000)는 적어도 하나의 제2 특징 좌표값, 즉 우선 순위가 높은 순서대로 선택된 적어도 하나의 신체 부위로부터 추출된 특징점과 동일한 특징점에 관한 적어도 하나의 특징 좌표값을 데이터 캐시에 캐싱된 복수의 제1 특징 좌표값으로부터 식별할 수 있다.
단계 S1030에서, 엣지 데이터 네트워크(1000)는 적어도 하나의 제1 특징 좌표값과 적어도 하나의 제2 특징 좌표값 간의 유사도를 측정한다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 단계 S1010에서 선택된 적어도 하나의 제2 특징 좌표값과 단계 S1020에서 식별된 적어도 하나의 제1 특징 좌표값 간의 유사도를 측정할 수 있다. 엣지 데이터 네트워크(1000)는 상기 측정된 유사도를 이용하여, 데이터 캐시에 캐싱된 3D 캐릭터 이미지를 이용할 지 여부를 판단할 수 있다.
일반적으로 원격 회의는 앉은 상태에서 진행하는 경우가 많으므로, 허리 또는 다리의 움직임 보다는 손, 팔, 얼굴 등에서의 움직임의 빈도수가 많고, 움직임의 정도도 크다. 즉, 사용자의 신체 부위에 따라 움직임 또는 이동의 빈도와 정도는 회의의 타입에 따라 달라질 수 있다. 도 9 및 도 10에 도시된 실시예에서, 엣지 데이터 네트워크(1000)는 사용자의 신체 부위로부터 추출된 복수의 특징 좌표값 모두를 데이터 캐시에 캐싱된 복수의 특징 좌표값과 비교하여 유사도를 측정하지 않고, 선택된 적어도 하나의 특징 좌표값의 유사도만을 측정함으로써, 프로세서(1200)의 연산량을 줄일 수 있다. 따라서, 도 9 및 도 10에 도시된 실시예에 따른 엣지 데이터 네트워크(1000)는, 프로세서(1200)에 의해 소모되는 컴퓨팅 파워를 절감하고, 처리 시간(processing time)을 단축시킬 수 있다.
도 11은 본 개시의 일 실시예에 따른 엣지 데이터 네트워크(1000)가 데이터 캐시(1360)에 동작 단위로 저장된 복수의 키 포인트 정보와 입력된 복수의 키 포인트 정보 간의 유사도를 측정하고, 측정된 유사도에 기초하여 3D 캐릭터 이미지를 제2 단말에 제공하는 방법을 도시한 도면이다.
도 11을 참조하면, 데이터 캐시(1360)에는 복수의 키 포인트 정보(1362-1 내지 1362-10) 및 복수의 3D 캐릭터 이미지(1366-1 내지 1366-10)가 동작 정보에 따라 분류되어 저장되어 있을 수 있다. 도 11에 도시된 실시예에서, 데이터 캐시(1360)에는 동작 A 및 동작 B에 관한 정보가 저장되어 있고, 동작 A는 제1 키 포인트 정보(1362-1) 내지 제5 키 포인트 정보(1362-5) 및 제1 3D 캐릭터 이미지(1366-1) 내지 제5 3D 캐릭터 이미지(1366-5)를 포함하고, 동작 B는 제6 키 포인트 정보(1362-6) 내지 제10 키 포인트 정보(1362-10) 및 제6 3D 캐릭터 이미지(1366-6) 내지 제10 3D 캐릭터 이미지(1366-10)를 포함할 수 있다. 복수의 키 포인트 정보(1362-1 내지 1362-10)와 복수의 3D 캐릭터 이미지(1366-1 내지 1366-10)는 각각 대응되는 키 포인트 정보와 3D 캐릭터 이미지가 키(key)-밸류(value) 타입으로 저장될 수 있다. 예를 들어, 데이터 캐시(1360)에 저장되는 제1 3D 캐릭터 이미지(1366-1)는 밸류로서, 제1 키 포인트 정보(1362-1)에 해당되는 키에 기초하여 생성된 이미지 프레임일 수 있다.
동작 A 및 동작 B는 사용자에 의해 반복적으로 수행되는 동작에 관한 정보를 나타낸다. 예를 들어, 동작 A는 사용자가 오른 손을 기준 위치로부터 특정 위치까지 움직였다가 다시 기준 위치로 돌아오는 동작을 나타낼 수 있다. 이 경우, 엣지 데이터 네트워크(1000)는 사용자의 움직임에 따라 복수의 액터 이미지 프레임(예를 들어, 5장의 이미지 프레임)을 획득하고, 복수의 액터 이미지 각각으로부터 추출된 복수의 특징점에 관한 복수의 키 포인트 정보(예를 들어, 제1 키 포인트 정보(1362-1) 내지 제5 키 포인트 정보(1362-5))를 추출하고, 추출된 복수의 키 포인트 정보를 동작 A로 그룹핑(grouping)하여 데이터 캐시(1360)에 저장할 수 있다.
엣지 데이터 네트워크(1000)는, 원격지에 배치된 다른 엣지 데이터 네트워크 또는 단말로부터 키 포인트 정보를 입력받고, 입력된 키 포인트 정보를 데이터 캐시(1360)에 동작 단위로 분류되어 저장된 복수의 키 포인트 정보와 각각 비교함으로써, 키 포인트 유사도를 측정할 수 있다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 네트워크 인터페이스(1100, 도 4 참조)를 통해, 키 포인트 정보를 입력받을 수 있다. 입력된 키 포인트 정보는 시간의 흐름에 따라 순차적으로 입력된 제1 입력 키 포인트 정보(1370-1) 내지 제5 입력 키 포인트 정보(1370-5)를 포함할 수 있다. 프로세서(1200)는 제1 입력 키 포인트 정보(1370-1) 내지 제5 입력 키 포인트 정보(1370-5)를 유사도 판단 모듈(1350)에 제공할 수 있다. 프로세서(1200, 도 4 참조)는 3D 캐릭터 이미지 생성 모듈(1330)에 포함되는 유사도 판단 모듈(1350)에 관한 데이터 또는 프로그램 코드를 실행함으로써, 입력된 키 포인트 정보를 데이터 캐시(1360)에 제공하고, 입력된 키 포인트 정보와 데이터 캐시(1360)에 캐싱된 키 포인트 정보 간의 유사도를 측정할 수 있다.
프로세서(1200)는, 측정된 키 포인트 유사도가 기설정된 임계값을 초과하는 복수의 키 포인트 정보를 데이터 캐시(1360)로부터 획득할 수 있다. 도 11에 도시된 실시예에서, 키 포인트 유사도의 측정 결과, 입력된 키 포인트 정보에 포함되는 제1 입력 키 포인트 정보(1370-1) 내지 제5 입력 키 포인트 정보(1370-5) 각각과 유사한 것으로 식별된 키 포인트 정보는 제1 키 포인트 정보(1362-1) 내지 제5 키 포인트 정보(1362-5)일 수 있다. 제1 키 포인트 정보(1362-1) 내지 제5 키 포인트 정보(1362-5)는 데이터 캐시(1360) 내에서 동작 A로 분류되어 저장되는바, 프로세서(1200)는 데이터 캐시(1360)로부터 동작 정보, 즉 입력된 키 포인트 정보와 유사도가 높은 동작은 동작 A라는 정보를 획득할 수 있다.
프로세서(1200)는 3D 캐릭터 이미지 생성 모듈(1330)과 관련된 데이터 또는 프로그램 코드를 실행하여, 데이터 캐시(1360)로부터 동작 정보에 대응되는 복수의 3D 캐릭터 이미지를 식별할 수 있다. 도 11에 도시된 실시예에서, 프로세서(1200)는 동작 A에 대응되는 제1 3D 캐릭터 이미지(1366-1) 내지 제5 3D 캐릭터 이미지(1366-5)를 식별할 수 있다.
프로세서(1200)는 식별된 복수의 3D 캐릭터 이미지(1366-1 내지 1366-5)를 데이터 캐시(1360)로부터 리드아웃(read out)하고, 리드아웃된 복수의 3D 캐릭터 이미지(1366-1 내지 1366-5)를 제2 단말(2000b)에 전송할 수 있다. 일 실시예에서, 프로세서(1200)는 네트워크 인터페이스(1100)를 이용하여, 복수의 3D 캐릭터 이미지(1366-1 내지 1366-5)를 제2 단말(2000b)에 전송할 수 있다.
도 12는 본 개시의 일 실시예에 따른 엣지 데이터 네트워크(1000)가 데이터 캐시에 동작 단위로 저장된 복수의 키 포인트 정보와 입력된 복수의 키 포인트 정보 간의 유사도를 측정하고, 측정된 유사도에 기초하여 3D 캐릭터 이미지를 제2 단말에 제공하는 방법을 도시한 흐름도이다. 도 12에 도시된 단계 S1210 내지 단계 S1230은 도 6에 도시된 단계 S650을 구체화한 단계들이고, 단계 S1240 및 단계 S1250은 도 6에 도시된 단계 S660을 구체화한 단계들이다.
단계 S1210에서, 엣지 데이터 네트워크(1000)는 복수의 키 포인트 정보를 입력받는다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 원격지에 배치된 다른 엣지 데이터 네트워크 또는 단말로부터 시간의 흐름에 따라 순차적으로 복수의 키 포인트 정보를 입력 받을 수 있다.
단계 S1220에서, 엣지 데이터 네트워크(1000)는 입력된 복수의 키 포인트 정보와 데이터 캐시에 동작 정보에 따라 분류되어 저장된 복수의 키 포인트 정보 간의 유사도를 측정한다.
단계 S1230에서, 엣지 데이터 네트워크(1000)는 유사도 측정 결과에 기초하여, 입력된 복수의 키 포인트 정보에 대응되는 동작 정보를 획득한다. 일 실시예에서, 엣지 데이터 네트워크는 측정된 키 포인트 유사도가 기 설정된 임계값을 초과하는 복수의 키 포인트 정보를 데이터 캐시로부터 식별할 수 있다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 식별된 복수의 키 포인트 정보가 분류된 동작 정보를 획득할 수 있다.
단계 S1240에서, 엣지 데이터 네트워크(1000)는 데이터 캐시로부터 동작 정보에 대응되는 복수의 3D 캐릭터 이미지 프레임을 식별한다. 일 실시예에서, 데이터 캐시에는 복수의 키 포인트 정보와 복수의 3D 캐릭터 이미지가 각각 대응되는 키 포인트 정보 및 3D 캐릭터 이미지 프레임 간 키(key)-밸류(value) 타입으로 데이터 캐시 내에 저장될 수 있다. 엣지 데이터 네트워크(1000)는 데이터 캐시로부터, 동작 정보로 분류되어 저장된 복수의 키 포인트 정보와 대응되어 키-밸류 타입으로 저장된 복수의 3D 캐릭터 이미지 프레임들을 식별할 수 있다.
단계 S1250에서, 엣지 데이터 네트워크(1000)는 식별된 복수의 3D 캐릭터 이미지 프레임을 제2 단말에 전송한다.
일반적으로, 원격 회의에서 사용자는 일정 행위, 예를 들어 오른 손으로 특정 대상을 가리키거나, 양 손을 위로 올리는 등의 행위를 반복적으로 수행할 수 있다. 엣지 데이터 네트워크(1000)를 통해 원격 회의를 수행하는 경우, 반복되는 행위에 관하여 사용자를 촬영하여 획득된 복수의 액터 이미지 각각으로부터 특징점을 추출하고, 특징점의 3차원 위치 좌표값을 이용하여 복수의 3D 캐릭터 이미지를 렌더링하기에는 연산량이 많아지고, 컴퓨팅 파워도 많이 소요된다.
도 11 및 도 12에 도시된 실시예에서, 엣지 데이터 네트워크(1000)는 반복적인 동작에 관하여 획득된 복수의 키 포인트 정보와 이를 이용하여 렌더링된 복수의 3D 캐릭터 이미지의 프레임을 동작 정보에 따라 분류하여 데이터 캐시(1360)에 저장하고, 동일한 동작이 반복적으로 행해지는 경우, 동작에 관하여 입력된 복수의 키 포인트 정보를 데이터 캐시(1360)에 캐싱된 복수의 키 포인트 정보와 비교함으로써 키 포인트 유사도를 측정하고, 측정된 키 포인트 유사도에 기초하여 캐싱된 복수의 3D 캐릭터 이미지 프레임을 제공할 수 있다. 본 개시의 엣지 데이터 네트워크(1000)는 반복적인 동작에 관하여 매번 렌더링을 수행할 필요가 없고, 따라서 불필요한 컴퓨팅 파워를 절감할 수 있고, 처리 시간(processing time)도 단축시킬 수 있다.
도 13은 본 개시의 일 실시예에 따른 엣지 데이터 네트워크(1000)가 신체 부위 각각에 대응되는 이미지를 생성하고, 생성된 이미지를 합성함으로써 3D 캐릭터 이미지를 렌더링하는 방법을 도시한 도면이다.
도 13을 참조하면, 데이터 캐시(1360)에는 키 포인트 정보(1362) 및 3D 부분 이미지(1370)가 저장되어 있다. 3D 부분 이미지(1370)는 사용자의 신체 부위 중 일부로부터 추출된 특징점을 포함하는 키 포인트 정보(1362)를 이용하여 렌더링된 부분 이미지이다. 도 13에 도시된 실시예에서, 3D 부분 이미지(1370)는 사용자의 머리 및 가슴 부위를 포함하는 상체 부위의 특징으로부터 추출된 복수의 특징점을 포함하는 키 포인트 정보(1362)를 이용하여 렌더링된 상체 이미지일 수 있다. 키 포인트 정보(1362)와 3D 부분 이미지(1370)는 키-밸류 타입으로 데이터 캐시(1360)에 저장될 수 있다.
엣지 데이터 네트워크(1000)의 프로세서(1200, 도 4 참조)는 원격지에 배치된 다른 엣지 데이터 네트워크 또는 단말로부터 키 포인트 정보를 입력 받을 수 있다. 3D 캐릭터 이미지 생성 모듈(1330)에 포함되는 유사도 판단 모듈(1350)과 관련된 데이터 또는 프로그램 코드를 실행함으로써, 입력 키 포인트 정보를 데이터 캐시(1360)에 제공함으로써, 입력 키 포인트 정보와 캐싱된 키 포인트 정보(1362) 간의 유사도를 측정할 수 있다. 일 실시예에서, 입력 키 포인트 정보에 포함되는 복수의 특징 좌표값 중 적어도 하나의 특징 좌표값만이 캐싱된 키 포인트 정보에 포함되는 복수의 특징 좌표값 중 적어도 하나의 특징 좌표값과 유사할 수 있다. 측정 결과, 유사도가 기설정된 임계값 이상으로 측정된 적어도 하나의 특징 좌표값은 사용자의 상체 부위에 관한 특징점으로부터 추출된 특징 좌표값일 수 있다. 프로세서(1200)는 캐싱된 키 포인트 정보(1362)와 키-밸류 타입으로 저장된 3D 부분 이미지(1370)를 식별할 수 있다. 프로세서(1200)는 데이터 캐시(1360)로부터 식별된 3D 부분 이미지(1370)를 획득할 수 있다.
프로세서(1200)는 입력 키 포인트 정보에 포함되는 복수의 특징 좌표값 중 데이터 캐시(1360)에 캐싱된 키 포인트 정보(1362)와 유사도가 기 설정된 임계값을 초과한 적어도 하나의 특징 좌표값을 제외한 나머지 특징 좌표값들을 이용하여, 나머지 신체 부위에 관한 3D 부분 이미지(1380)를 렌더링할 수 있다. 도 13에 도시된 실시예에서, 프로세서(1200)는 렌더링 모듈(1340)에 관한 데이터 또는 프로그램 코드를 실행함으로써, 입력 키 포인트 정보 중 사용자의 상체 부위의 특징점으로부터 추출된 적어도 하나의 특징 좌표값을 제외한 나머지 특징 좌표값들을 이용하여 왼쪽 팔(1382), 오른쪽 팔(1384) 왼쪽 다리(1386) 및 오른쪽 다리(1388)를 포함하는 3D 부분 이미지(1380)를 렌더링할 수 있다.
프로세서(1200)는 렌더링 모듈(1340)을 이용하여 렌더링된 3D 부분 이미지(1380)와 데이터 캐시(1360)로부터 획득한 3D 부분 이미지(1370)를 합성함으로써, 전체 3D 캐릭터 이미지(1380)를 생성할 수 있다. 프로세서(1200)는 네트워크 인터페이스(1100, 도 4 참조)를 통해, 전체 3D 캐릭터 이미지(1380)를 제2 단말(2000b)에 전송할 수 있다.
도 13에 도시된 실시예에 따른 엣지 데이터 네트워크(1000)는 상대적으로 움직임의 빈도 또는 정도가 적은 신체 부위인 상체 부위에 관한 3D 부분 이미지(1370)는 데이터 캐시(1360)에 캐싱하고, 움직임의 빈도 또는 정도가 상대적으로 많은 팔, 다리 부위에 관한 3D 부분 이미지(1380)만을 렌더링함으로써, 프로세서(1200)가 렌더링을 위해 소모하는 컴퓨팅 파워를 절감하고, 렌더링 시간을 단축시킬 수 있다.
도 14는 본 개시의 일 실시예에 따른 엣지 데이터 네트워크(1000)와 단말(2000a, 2000b) 각각의 모듈 구조 및 데이터 송수신을 설명하기 위한 도면이다.
도 14를 참조하면, 제1 단말(2000a)과 제2 단말(2000b)이 원격 회의를 수행하는 경우, 제1 단말(2000a)은 동작 또는 행동을 하는 제1 사용자가 사용하는 단말이고, 제2 단말(2000b)은 제1 사용자의 모습, 동작 또는 행동을 나타내는 3D 캐릭터 이미지를 디스플레이하는 단말일 수 있다. 제2 사용자는 제2 단말(2000b)을 통해 제1 사용자에 관한 3D 캐릭터 이미지를 볼 수 있다. 이 경우, 제1 단말(2000a)은 액터 디바이스(actor device)이고, 제2 단말(2000b)은 뷰어 디바이스(viewer device)일 수 있다. 그러나, 이에 한정되는 것은 아니다. 그러나, 이에 한정되는 것은 아니고, 제1 단말(2000a)과 제2 단말(2000b)이 양방향으로 애플리케이션 클라이언트를 실행함으로써, 양방향 원격 회의를 수행하는 경우, 제2 단말(2000b)이 액터 디바이스이고, 제1 단말(2000a)이 뷰어 디바이스일 수 있다.
이하에서는 제1 단말(2000a)이 액터 디바이스이고, 제2 단말(2000b)이 뷰어 디바이스인 실시예에 대하여 설명한다.
단계 S1410에서, 제1 단말(2000a)은 제1 사용자를 촬영함으로써, 액터 이미지(actor image)를 획득한다. 일 실시예에서, 제1 단말(2000a)은 애플리케이션 클라이언트를 실행하고, 카메라를 이용하여 제1 사용자의 모습, 행동, 또는 동작에 관한 동영상 또는 비디오를 촬영하고, 촬영된 동영상 또는 비디오에 포함되는 복수의 액터 이미지를 획득할 수 있다.
단계 S1412에서, 제1 단말(2000a)은 액터 이미지 및 제1 단말의 식별 정보(예를 들어, 디바이스 id)를 엣지 데이터 네트워크(1000)에 전송한다. 일 실시예에서, 제1 단말(2000a)은 복수의 액터 이미지를 순차적으로 엣지 데이터 네트워크(1000)에 전송할 수 있다. 일 실시예에서, 제1 단말(2000a)은, 복수의 액터 이미지 및 제1 단말(2000a)의 단말 식별 정보 뿐만 아니라, 제1 사용자의 식별 정보(예를 들어, user id), 제1 단말(2000a)에 의해 실행되고 있는 애플리케이션 클라이언트의 정보, 및 원격 회의실의 식별 정보(예를 들어, 회의실 위치 정보, 회의실 식별 번호 등) 중 적어도 하나에 관한 정보를 엣지 데이터 네트워크(1000)에 전송할 수 있다.
단계 S1420에서, 엣지 데이터 네트워크(1000)는 액터 이미지로부터 복수의 특징점에 관한 키 포인트 정보를 추출한다. '복수의 특징점'은, 액터 이미지 내의 제1 사용자의 신체 부위, 자세, 또는 골격 구조에 관한 특징을 나타내는 포인트(points)일 수 있다. 복수의 특징점은 예를 들어, 사람 신체의 얼굴, 어깨, 팔, 허벅지, 종아리 등의 신체 부위 또는 골격 구조의 특징으로부터 추출될 수 있다. 엣지 데이터 네트워크(1000)는 특징점 추출 알고리즘을 이용하여, 액터 이미지로부터 복수의 특징점을 추출하고, 복수의 특징점을 포함하는 키 포인트 정보를 획득할 수 있다. 엣지 데이터 네트워크(1000)가 특징점 추출 알고리즘을 이용하여 복수의 특징점을 추출하고, 키 포인트 정보를 획득하는 구체적인 방법은 도 3에 도시된 단계 S320과 동일하므로, 중복되는 설명은 생략한다.
단계 S1430에서, 제2 단말(2000b)은 센서를 이용하여, 제2 사용자의 뷰 포인트 정보를 획득한다. '뷰 포인트 정보'는 제2 단말(2000b)을 통해 디스플레이되는 3D 캐릭터 이미지(예를 들어, 아바타 이미지)를 3차원 가상 공간에서 가상의 카메라를 통해 바라보는 가상의 시점(view point)에 관한 정보이다. 뷰 포인트 정보는 가상의 카메라가 3D 캐릭터 이미지를 바라보는 위치 및 방향을 나타내는 가상의 위치 좌표값 정보를 포함할 수 있다.
제2 단말(2000b)이 센서를 이용하여 획득된 센싱 정보를 이용하여, 뷰 포인트 정보를 획득하는 구체적인 방법은 도 3에 도시된 단계 S330과 동일하므로, 중복되는 설명은 생략한다.
단계 S1432에서, 제2 단말(2000b)은 뷰 포인트 정보 및 제2 단말의 식별 정보(예를 들어, 디바이스 id)를 엣지 데이터 네트워크(1000)에 전송한다. 일 실시예에서, 제2 단말(2000b)은 뷰 포인트 정보 및 제2 단말의 식별 정보 뿐만 아니라, 제2 사용자의 식별 정보(예를 들어, user id), 제2 단말(2000b)에 의해 실행되고 있는 애플리케이션 클라이언트의 정보, 및 원격 회의실의 식별 정보(예를 들어, 회의실 위치 정보, 회의실 식별 번호 등) 중 적어도 하나에 관한 정보를 엣지 데이터 네트워크(1000)에 전송할 수 있다.
도 14에서는 단계 S1432가 단계 S1420 보다 시간적으로 이후에 수행된 것으로 도시되었지만, 이는 예시적인 것이고, 단계 S1420와 단계 S1432가 도시된 시간 순서로 수행되는 것은 아니다. 예를 들어, 단계 S1432가 단계 S1420 보다 시간적으로 먼저 수행되거나, 또는 단계 S1420와 단계 S1432가 동시에 수행될 수도 있다. 즉, 엣지 데이터 네트워크(1000)는 키 포인트 정보를 먼저 추출하거나, 또는 제2 단말(2000b)로부터 뷰 포인트 정보를 먼저 획득할 수도 있다. 이 경우, 엣지 데이터 네트워크(1000)는 키 포인트 정보 및 뷰 포인트 정보 중 먼저 획득되는 데이터를 Request Queue에 임시로 저장할 수 있다. 일 실시예에서, 엣지 데이터 네트워크(1000)는 Request Queue에 키 포인트 정보 및 뷰 포인트 정보를 임시로 저장함으로써, 키 포인트 정보와 뷰 포인트 정보가 각각 다른 시점에 획득되더라도, 키 포인트 정보 및 뷰 포인트 정보를 동기화(synchronization)할 수 있다.
단계 S1440에서, 엣지 데이터 네트워크(1000)는 획득된 키 포인트 정보 및 뷰 포인트 정보를 데이터 캐시에 기 저장된 키 포인트 정보 및 뷰 포인트 정보와 각각 비교함으로써, 키 포인트 유사도 및 뷰 포인트 유사도를 측정한다.
단계 S1450에서, 엣지 데이터 네트워크(1000)는 측정된 키 포인트 유사도를 기설정된 제1 임계값(α)과 비교하고, 측정된 뷰 포인트 유사도를 기 설정된 제2 임계값(β)과 각각 비교한다.
비교 결과, 키 포인트 유사도가 제1 임계값(α)을 초과하고, 뷰 포인트 유사도가 제2 임계값(β)을 초과하는 경우(단계 S1460), 엣지 데이터 네트워크(1000)는 캐싱된 3D 캐릭터 이미지를 데이터 캐시로부터 식별(identify)한다.
단계 S1462에서, 엣지 데이터 네트워크(1000)는 캐싱된 3D 캐릭터 이미지를 제2 단말(2000b)에 전송한다.
비교 결과, 키 포인트 유사도가 제1 임계값(α) 이하이거나, 또는 뷰 포인트 유사도가 제2 임계값(β) 이하인 경우(단계 S1470), 엣지 데이터 네트워크(1000)는 키 포인트 정보 및 뷰 포인트 정보를 이용하여 3D 캐릭터 이미지를 렌더링(rendering)한다.
단계 S1472에서, 엣지 데이터 네트워크(1000)는 렌더링된 3D 캐릭터 이미지를 제2 단말(2000b)에 전송할 수 있다.
단계 S1440 내지 단계 S1472는, 동작의 수행 주체가 엣지 데이터 네트워크(1000)인 점을 제외하면, 도 3에 도시된 단계 S340 내지 단계 S372와 동일하므로, 중복되는 설명은 생략한다.
단계 S1480에서, 제2 단말(2000b)은 3D 캐릭터 이미지를 디스플레이한다.
본 개시를 통해 설명된 엣지 데이터 네트워크(1000, 1000a, 1000b)에 의해 실행되는 프로그램은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 프로그램은 컴퓨터로 읽을 수 있는 명령어들을 수행할 수 있는 모든 시스템에 의해 수행될 수 있다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령어(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.
소프트웨어는, 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체로는, 예를 들어 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 명세서에 개시된 실시예들에 따른 프로그램은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 소프트웨어 프로그램, 소프트웨어 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 디바이스의 제조사 또는 전자 마켓(예를 들어, 구글 플레이 스토어TM, 앱 스토어TM)을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션(downloadable application))을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 소프트웨어 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 디바이스로 구성되는 시스템에서, 서버의 저장매체 또는 디바이스의 저장매체를 포함할 수 있다. 또는, 서버 또는 디바이스와 통신 연결되는 제3의 디바이스(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3의 디바이스의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 디바이스 또는 제3 디바이스로 전송되거나, 제3 디바이스로부터 디바이스로 전송되는 소프트웨어 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 디바이스 및 제3 디바이스 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 디바이스 및 제3 디바이스 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 디바이스가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제3 디바이스가 컴퓨터 프로그램 제품을 실행하여, 제3 디바이스와 통신 연결된 디바이스가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다.
제3 디바이스가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 디바이스는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 디바이스는 프리로드(pre-loaded)된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 컴퓨터 시스템 또는 모듈 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

Claims (20)

  1. 엣지 데이터 네트워크(edge data network)가 단말에 3차원(3D) 캐릭터 이미지를 제공하는 방법에 있어서,
    제1 단말을 통해 촬영된 제1 이미지 프레임으로부터 추출된 제1 사용자의 신체 부위, 자세, 또는 골격 구조에 관한 복수의 특징 좌표값을 포함하는 제1 키 포인트(key points) 정보 및 제2 단말을 통해 디스플레이되는 3D 캐릭터 이미지를 바라보는 가상의 시점(view points)에 관한 가상의 위치 좌표값 정보를 포함하는 제1 뷰 포인트(view points) 정보를 획득하는 단계;
    획득된 상기 제1 키 포인트 정보 및 상기 제1 뷰 포인트 정보에 기초하여 상기 제1 사용자의 모습, 행동 또는 동작을 나타내는 3D 캐릭터 이미지를 렌더링(rendering)하는 단계;
    상기 렌더링된 3D 캐릭터 이미지를 상기 제1 키 포인트 정보 및 상기 제1 뷰 포인트 정보와 연관하여 데이터 캐시(data cache)에 저장하는 단계;
    상기 제1 이미지 프레임 이후에 획득되는 제2 이미지 프레임에 관한 제2 키 포인트 정보 및 제2 뷰 포인트 정보를 각각 획득하는 단계;
    획득된 제2 키 포인트 정보 및 상기 제2 뷰 포인트 정보를 상기 데이터 캐시에 기 저장된 상기 제1 키 포인트 정보 및 상기 제1 뷰 포인트 정보와 각각 비교함으로써, 키 포인트 유사도 및 뷰 포인트 유사도를 측정하는 단계; 및
    상기 측정된 키 포인트 유사도 및 상기 뷰 포인트 유사도에 기초하여, 상기 데이터 캐시에 기 저장된 3D 캐릭터 이미지를 상기 제2 이미지 프레임에 관한 3D 캐릭터 이미지로서 상기 제2 단말에 제공하는 단계;
    를 포함하는, 방법.
  2. 제1 항에 있어서,
    상기 제1 키 포인트 정보 및 상기 제1 뷰 포인트 정보를 획득하는 단계는,
    원격에 배치되는 다른 엣지 데이터 네트워크로부터 상기 제1 키 포인트 정보를 수신하는, 방법.
  3. 제1 항에 있어서,
    상기 제1 키 포인트 정보 및 상기 제1 뷰 포인트 정보를 획득하는 단계는,
    상기 제1 단말에 의해 상기 제1 사용자를 촬영하여 획득된 제1 이미지 프레임을 상기 제1 단말로부터 수신하는 단계;
    상기 수신된 제1 이미지 프레임으로부터 상기 제1 사용자의 신체 부위, 자세, 또는 골격 구조에 관한 복수의 특징점에 관한 복수의 위치 좌표값을 추출하는 단계; 및
    상기 추출된 복수의 위치 좌표값을 포함하는 제1 키 포인트 정보를 획득하는 단계;
    를 포함하는, 방법.
  4. 제1 항에 있어서,
    상기 3D 캐릭터 이미지를 렌더링하는 단계는,
    상기 제1 사용자의 사용자 식별 정보(user identification information)를 수신하는 단계; 및
    상기 수신된 사용자 식별 정보에 따라 기 생성된 3D 캐릭터 이미지를 이용하여 상기 3D 캐릭터 이미지를 렌더링하는 단계;
    를 포함하는, 방법.
  5. 제1 항에 있어서,
    상기 3D 캐릭터 이미지를 상기 데이터 캐시에 저장하는 단계는,
    상기 제1 사용자의 사용자 식별 정보, 상기 제1 사용자의 모습, 과거 행동, 동작, 자세 또는 방향에 관하여 기 획득된 복수의 키 포인트 정보, 키 포인트 유사도 판단의 우선 순위 정보, 원격 회의의 타입(type)에 관한 정보 중 적어도 하나를 상기 3D 캐릭터 이미지와 함께 상기 데이터 캐시에 저장하는, 방법.
  6. 제1 항에 있어서,
    상기 키 포인트 유사도를 측정하는 단계는,
    제3 이미지 프레임으로부터 추출된 복수의 제3 특징 좌표값을 포함하는 제3 키 포인트 정보를 획득하는 단계;
    상기 제3 키 포인트 정보에 포함되는 복수의 제3 특징 좌표값과 상기 제2 키 포인트 정보에 포함되는 복수의 제2 특징 좌표값 간의 차이값(difference value)을 각각 산출하는 단계;
    상기 산출된 차이값이 기설정된 임계치를 초과하는 적어도 하나의 제3 특징 좌표값을 식별하는 단계;
    상기 데이터 캐시에 저장된 상기 제1 키 포인트 정보에 포함되는 복수의 제1 특징 좌표값 중 상기 식별된 적어도 하나의 제3 특징 좌표값에 대응되는 적어도 하나의 제1 특징 좌표값을 식별하는 단계; 및
    식별된 상기 적어도 하나의 제3 특징 좌표값과 상기 적어도 하나의 제1 특징 좌표값 간의 유사도를 측정함으로써, 상기 제3 키 포인트 정보와 상기 제1 키 포인트 정보 간의 키 포인트 유사도를 측정하는 단계;
    를 포함하는, 방법.
  7. 제1 항에 있어서,
    상기 키 포인트 유사도를 측정하는 단계는,
    상기 제2 키 포인트 정보에 포함되는 복수의 제2 특징 좌표값 중 기설정된 우선 순위에 따라 우선 순위가 높은 신체 부위로부터 추출된 적어도 하나의 제2 특징 좌표값을 선택하는 단계;
    상기 제1 키 포인트 정보에 포함되는 복수의 제1 특징 좌표값 중 상기 선택된 적어도 하나의 제2 특징 좌표값에 대응되는 적어도 하나의 제1 특징 좌표값을 식별하는 단계; 및
    상기 적어도 하나의 제1 특징 좌표값과 상기 적어도 하나의 제2 특징 좌표값 간의 유사도를 측정함으로써, 상기 키 포인트 유사도를 측정하는 단계;
    를 포함하는, 방법.
  8. 제7 항에 있어서,
    상기 우선 순위는, 상기 엣지 데이터 네트워크를 통해 수행되는 원격 회의의 타입에 따른 상기 제1 사용자의 신체 부위 중 움직임의 정도 및 빈도에 기초하여 결정되는, 방법.
  9. 제7 항에 있어서,
    기존에 수행되었던 원격 회의를 통해 기 획득되어 상기 데이터 캐시에 저장된 복수의 키 포인트 정보들 각각에 포함되는 복수의 특징 좌표값 간의 차이값을 산출하는 단계;
    상기 산출된 차이값을 큰 값에서 작은 값의 순서로 나열하는 단계; 및
    나열된 차이값의 순서에 기초하여, 상기 복수의 위치 좌표값 각각에 대응되는 신체 부위에 따른 우선 순위를 결정하는 단계;
    를 더 포함하는, 방법.
  10. 제1 항에 있어서,
    상기 데이터 캐시에는 동작을 구성하는 복수의 키 포인트 정보가 동작 정보에 따라 분류되어 저장되어 있고,
    상기 키 포인트 유사도를 측정하는 단계는,
    시간의 흐름에 따라 연속적으로 획득되는 복수의 이미지 프레임 각각으로부터 추출된 복수의 키 포인트 정보를 입력받는 단계; 및
    상기 입력된 복수의 키 포인트 정보와 상기 데이터 캐시에 기 저장된 복수의 키 포인트 정보 간의 유사도를 각각 측정하는 단계;
    를 포함하고,
    상기 방법은,
    상기 측정된 유사도에 기초하여, 상기 입력된 복수의 키 포인트 정보에 대응되는 동작 정보를 식별하고, 상기 식별된 동작 정보에 대응되는 복수의 3D 캐릭터 이미지 프레임을 상기 데이터 캐시로부터 획득하고 단계; 를 더 포함하는, 방법.
  11. 단말에 3D 캐릭터 이미지를 제공하는 엣지 데이터 네트워크에 있어서,
    네트워크 인터페이스;
    하나 이상의 명령어들(instructions)을 포함하는 프로그램을 저장하는 메모리; 및
    상기 메모리에 저장된 프로그램의 하나 이상의 명령어들을 실행하는 프로세서;
    를 포함하고,
    상기 프로세서는,
    상기 네트워크 인터페이스를 이용하여, 제1 단말을 통해 촬영된 제1 이미지 프레임으로부터 추출된 제1 사용자의 신체 부위, 자세, 또는 골격 구조에 관한 복수의 특징 좌표값을 포함하는 제1 키 포인트(key points) 정보 및 제2 단말을 통해 디스플레이되는 3D 캐릭터 이미지를 바라보는 가상의 시점에 관한 가상의 위치 좌표값 정보를 포함하는 제1 뷰 포인트(view points) 정보를 획득하고,
    획득된 상기 제1 키 포인트 정보 및 상기 제1 뷰 포인트 정보에 기초하여 상기 제1 사용자의 모습, 행동 또는 동작을 나타내는 3D 캐릭터 이미지를 렌더링(rendering)하고,
    상기 렌더링된 3D 캐릭터 이미지를 상기 제1 키 포인트 정보 및 상기 제1 뷰 포인트 정보와 연관하여 상기 메모리 내의 데이터 캐시(data cache)에 저장하고,
    상기 네트워크 인터페이스를 이용하여, 상기 제1 이미지 프레임 이후에 획득되는 제2 이미지 프레임에 관한 제2 키 포인트 정보 및 제2 뷰 포인트 정보를 각각 획득하고,
    획득된 제2 키 포인트 정보 및 상기 제2 뷰 포인트 정보를 상기 데이터 캐시에 기 저장된 상기 제1 키 포인트 정보 및 상기 제1 뷰 포인트 정보와 각각 비교함으로써, 키 포인트 유사도 및 뷰 포인트 유사도를 측정하고,
    상기 측정된 키 포인트 유사도 및 상기 뷰 포인트 유사도에 기초하여, 상기 데이터 캐시에 기 저장된 3D 캐릭터 이미지를 상기 제2 이미지 프레임에 관한 3D 캐릭터 이미지로서 상기 제2 단말에 제공하도록 상기 네트워크 인터페이스를 제어하는, 엣지 데이터 네트워크.
  12. 제11 항에 있어서,
    상기 프로세서는,
    상기 네트워크 인터페이스를 이용하여, 원격에 배치되는 다른 엣지 데이터 네트워크로부터 상기 제1 키 포인트 정보를 수신하는, 엣지 데이터 네트워크.
  13. 제11 항에 있어서,
    상기 프로세서는,
    상기 네트워크 인터페이스를 이용하여, 상기 제1 단말에 의해 상기 제1 사용자를 촬영하여 획득된 제1 이미지 프레임을 상기 제1 단말로부터 수신하고, 상기 수신된 제1 이미지 프레임으로부터 상기 제1 사용자의 신체 부위, 자세, 또는 골격 구조에 관한 복수의 특징점에 관한 복수의 위치 좌표값을 추출하고, 상기 추출된 복수의 위치 좌표값을 포함하는 제1 키 포인트 정보를 획득하는, 엣지 데이터 네트워크.
  14. 제11 항에 있어서,
    상기 프로세서는,
    상기 네트워크 인터페이스를 이용하여, 상기 제1 사용자의 사용자 식별 정보(user identification information)를 수신하고, 상기 수신된 사용자 식별 정보에 따라 기 생성된 3D 캐릭터 이미지를 이용하여 상기 3D 캐릭터 이미지를 렌더링하는, 엣지 데이터 네트워크.
  15. 제11 항에 있어서,
    상기 프로세서는,
    상기 제1 사용자의 사용자 식별 정보, 상기 제1 사용자의 모습, 과거 행동, 동작, 자세 또는 방향에 관하여 기 획득된 복수의 키 포인트 정보, 키 포인트 유사도 판단의 우선 순위 정보, 원격 회의의 타입(type)에 관한 정보 중 적어도 하나를 상기 3D 캐릭터 이미지와 함께 상기 데이터 캐시에 저장하는, 엣지 데이터 네트워크.
  16. 제11 항에 있어서,
    상기 프로세서는,
    상기 네트워크 인터페이스를 이용하여, 제3 이미지 프레임으로부터 추출된 복수의 제3 특징 좌표값을 포함하는 제3 키 포인트 정보를 획득하고, 상기 제3 키 포인트 정보에 포함되는 복수의 제3 특징 좌표값과 상기 제2 키 포인트 정보에 포함되는 복수의 제2 특징 좌표값 간의 차이값(difference value)을 각각 산출하고, 상기 산출된 차이값이 기설정된 임계치를 초과하는 적어도 하나의 제3 특징 좌표값을 식별하고, 상기 데이터 캐시에 저장된 상기 제1 키 포인트 정보에 포함되는 복수의 제1 특징 좌표값 중 상기 식별된 적어도 하나의 제3 특징 좌표값에 대응되는 적어도 하나의 제1 특징 좌표값을 식별하고, 식별된 상기 적어도 하나의 제3 특징 좌표값과 상기 적어도 하나의 제1 특징 좌표값 간의 유사도를 측정함으로써, 상기 제3 키 포인트 정보와 상기 제1 키 포인트 정보 간의 키 포인트 유사도를 측정하는, 엣지 데이터 네트워크.
  17. 제11 항에 있어서,
    상기 프로세서는,
    상기 제2 키 포인트 정보에 포함되는 복수의 제2 특징 좌표값 중 기설정된 우선 순위에 따라 우선 순위가 높은 신체 부위로부터 추출된 적어도 하나의 제2 특징 좌표값을 선택하고, 상기 제1 키 포인트 정보에 포함되는 복수의 제1 특징 좌표값 중 상기 선택된 적어도 하나의 제2 특징 좌표값에 대응되는 적어도 하나의 제1 특징 좌표값을 식별하고, 상기 적어도 하나의 제1 특징 좌표값과 상기 적어도 하나의 제2 특징 좌표값 간의 유사도를 측정함으로써, 상기 키 포인트 유사도를 측정하는, 엣지 데이터 네트워크.
  18. 제17 항에 있어서,
    상기 프로세서는,
    기존에 수행되었던 원격 회의를 통해 기 획득되어 상기 데이터 캐시에 저장된 복수의 키 포인트 정보들 각각에 포함되는 복수의 특징 좌표값 간의 차이값을 산출하고, 상기 산출된 차이값을 큰 값에서 작은 값의 순서로 나열하고, 나열된 차이값의 순서에 기초하여, 상기 복수의 위치 좌표값 각각에 대응되는 신체 부위에 따른 우선 순위를 결정하는, 엣지 데이터 네트워크.
  19. 제11 항에 있어서,
    상기 데이터 캐시에는 동작을 구성하는 복수의 키 포인트 정보가 동작 정보에 따라 분류되어 저장되어 있고,
    상기 프로세서는,
    시간의 흐름에 따라 연속적으로 획득되는 복수의 이미지 프레임 각각으로부터 추출된 복수의 키 포인트 정보를 입력받고, 상기 입력된 복수의 키 포인트 정보와 상기 데이터 캐시에 기 저장된 복수의 키 포인트 정보 간의 유사도를 각각 측정하고, 상기 측정된 유사도에 기초하여, 상기 입력된 복수의 키 포인트 정보 대응되는 동작 정보를 식별하고, 상기 식별된 동작 정보에 대응되는 복수의 3D 캐릭터 이미지 프레임을 상기 데이터 캐시로부터 획득하는, 엣지 데이터 네트워크.
  20. 제1 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020200099260A 2020-08-07 2020-08-07 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법 KR20220018760A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020200099260A KR20220018760A (ko) 2020-08-07 2020-08-07 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법
PCT/KR2021/010276 WO2022031041A1 (ko) 2020-08-07 2021-08-04 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법
US17/601,602 US11694383B2 (en) 2020-08-07 2021-08-04 Edge data network for providing three-dimensional character image to user equipment and method for operating the same
CN202180056888.9A CN116250015A (zh) 2020-08-07 2021-08-04 向终端提供3d人物图像的边缘数据网络及其运行方法
EP21852798.4A EP4167188A4 (en) 2020-08-07 2021-08-04 EDGE DATA NETWORK FOR PROVIDING 3D CHARACTER IMAGE TO TERMINAL AND OPERATION METHOD THEREFOR

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200099260A KR20220018760A (ko) 2020-08-07 2020-08-07 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR20220018760A true KR20220018760A (ko) 2022-02-15

Family

ID=80118264

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200099260A KR20220018760A (ko) 2020-08-07 2020-08-07 단말에 3d 캐릭터 이미지를 제공하는 엣지 데이터 네트워크 및 그 동작 방법

Country Status (5)

Country Link
US (1) US11694383B2 (ko)
EP (1) EP4167188A4 (ko)
KR (1) KR20220018760A (ko)
CN (1) CN116250015A (ko)
WO (1) WO2022031041A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3092416B1 (fr) * 2019-01-31 2022-02-25 Univ Grenoble Alpes Système et procédé d’interaction avec des robots dans des applications de réalité mixte
US20220165024A1 (en) * 2020-11-24 2022-05-26 At&T Intellectual Property I, L.P. Transforming static two-dimensional images into immersive computer-generated content

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120018479A (ko) 2010-08-23 2012-03-05 에스케이플래닛 주식회사 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법
JP5866728B2 (ja) * 2011-10-14 2016-02-17 サイバーアイ・エンタテインメント株式会社 画像認識システムを備えた知識情報処理サーバシステム
CN104170358B (zh) * 2012-04-09 2016-05-11 英特尔公司 用于化身管理和选择的系统和方法
US8970656B2 (en) 2012-12-20 2015-03-03 Verizon Patent And Licensing Inc. Static and dynamic video calling avatars
EP3335418A1 (en) 2015-08-14 2018-06-20 PCMS Holdings, Inc. System and method for augmented reality multi-view telepresence
TWI632812B (zh) * 2016-12-16 2018-08-11 財團法人工業技術研究院 視訊串流之接合與傳輸方法、視訊串流閘道裝置及視訊串流觀看裝置
KR20180123248A (ko) * 2017-05-08 2018-11-16 (주)몬스터즈랩 가상 공간 캐릭터의 모션데이터 생성을 위한 모션인식피규어 장치 및 모션데이터 생성 방법
KR102565755B1 (ko) * 2018-02-23 2023-08-11 삼성전자주식회사 얼굴의 특징점의 움직임에 따라 모션이 수행된 아바타를 표시하는 전자 장치와 이의 동작 방법
CN110531846B (zh) * 2018-05-24 2023-05-23 卡兰控股有限公司 在实时3d虚拟世界代表真实世界的范围内的实时3d虚拟对象的双向实时3d交互操作
WO2020009800A1 (en) * 2018-07-02 2020-01-09 Magic Leap, Inc. Methods and systems for interpolation of disparate inputs
KR102181859B1 (ko) * 2018-12-12 2020-11-23 한국전자기술연구원 홀로포테이션 제공 시스템 및 방법
CN111353930B (zh) 2018-12-21 2022-05-24 北京市商汤科技开发有限公司 数据处理方法及装置、电子设备及存储介质
KR20190005144A (ko) 2018-12-28 2019-01-15 에스케이플래닛 주식회사 캐릭터 서비스 시스템, 그 시스템에서의 캐릭터 서비스를 제공하기 위한 방법 및 장치

Also Published As

Publication number Publication date
EP4167188A1 (en) 2023-04-19
EP4167188A4 (en) 2023-12-13
US20220309725A1 (en) 2022-09-29
CN116250015A (zh) 2023-06-09
US11694383B2 (en) 2023-07-04
WO2022031041A1 (ko) 2022-02-10

Similar Documents

Publication Publication Date Title
US11861936B2 (en) Face reenactment
KR102293008B1 (ko) 정보 디스플레이 방법, 디바이스, 및 시스템
JP7504968B2 (ja) アバター表示装置、アバター生成装置及びプログラム
KR102246355B1 (ko) 하이브리드 비쥬얼 커뮤니케이션
US20190228580A1 (en) Dynamic Creation of Augmented Reality Effects
CN111768479B (zh) 图像处理方法、装置、计算机设备以及存储介质
CN108875539B (zh) 表情匹配方法、装置和系统及存储介质
EP4167188A1 (en) Edge data network for providing 3d character image to terminal and operation method therefor
KR102012405B1 (ko) 애니메이션 생성 방법 및 애니메이션 생성 장치
KR20170048137A (ko) 미디어 컨텐츠 송신 방법, 미디어 컨텐츠 송신 장치, 미디어 컨텐츠 수신 방법, 및 미디어 컨텐츠 수신 장치
KR20160108158A (ko) 3차원 배경 콘텐트를 합성하는 방법 및 디바이스
US20230154115A1 (en) Method and apparatus for providing multi-user-involved augmented reality content for diorama application
CN113870133B (zh) 多媒体显示及匹配方法、装置、设备及介质
CN115222862B (zh) 虚拟人衣物生成方法、装置、设备、介质及程序产品
CN115244495A (zh) 针对虚拟环境运动的实时式样
WO2023030176A1 (zh) 视频处理方法、装置、计算机可读存储介质及计算机设备
CN114998935A (zh) 图像处理方法、装置、计算机设备及存储介质
CN113965773A (zh) 直播展示方法和装置、存储介质及电子设备
CN110084306B (zh) 用于生成动态图像的方法和装置
CN113313735B (zh) 全景视频数据处理方法及装置
US20140135121A1 (en) Method and apparatus for providing three-dimensional characters with enhanced reality
US11538214B2 (en) Systems and methods for displaying stereoscopic rendered image data captured from multiple perspectives
US11843829B1 (en) Systems and methods for recommending content items based on an identified posture
CN114004922B (zh) 骨骼动画显示方法、装置、设备、介质及计算机程序产品
JP6292921B2 (ja) カメラワーク情報生成装置、カメラワーク情報生成方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination