KR102480642B1 - 데이터 처리 방법, 서버 및 컴퓨터 저장 매체 - Google Patents
데이터 처리 방법, 서버 및 컴퓨터 저장 매체 Download PDFInfo
- Publication number
- KR102480642B1 KR102480642B1 KR1020217002089A KR20217002089A KR102480642B1 KR 102480642 B1 KR102480642 B1 KR 102480642B1 KR 1020217002089 A KR1020217002089 A KR 1020217002089A KR 20217002089 A KR20217002089 A KR 20217002089A KR 102480642 B1 KR102480642 B1 KR 102480642B1
- Authority
- KR
- South Korea
- Prior art keywords
- model
- data
- matching
- video data
- preset
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Generation (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 실시예는 데이터 처리 방법, 서버 및 컴퓨터 저장 매체를 개시한다. 상기 방법은, 단말로부터의 3 차원 비디오 데이터를 수신하고, 상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축하는 단계; 상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하는 단계 - 상기 미리 설정된 모델 세트는 복수 개의 타깃 대상의 전체 모델을 포함함 - ; 및 매칭 결과에 기반하여 상기 단말에 지시 정보를 송신하는 단계를 포함한다.
Description
본 발명은 데이터 처리 기술에 관한 것이고, 구체적으로 데이터 처리 방법, 서버 및 컴퓨터 저장 매체{METHOD FOR PROCESSING DATA, SERVER AND COMPUTER STORAGE MEDIUM}에 관한 것이다.
<관련 출원의 상호 참조>
본 출원은 2018년 9월 30일에 제출한 중국 특허 출원 번호가 201811161566.7인 특허 출원의 우선권 및 권리를 주장한다.
이동 통신 네트워크의 부단한 발전을 따라, 이동 통신 네트워크의 전송 속도가 빠르게 향상됨으로써, 3 차원 비디오 서비스의 생성 및 발전에 유력한 기술적인 지원을 제공한다. 3 차원 비디오 데이터는 2 차원 이미지 데이터(예를 들어 RGB 데이터) 및 깊이 데이터(Depth 데이터)를 포함하고, 3 차원 비디오 데이터의 전송 과정에서 2 차원 비디오 데이터 및 깊이 데이터를 각각 전송해야 한다. 다만, 3 차원 비디오 데이터의 데이터 수집량이 매우 크므로, 전송되어야 하는 데이터양도 매우 크며, 데이터 전송 과정 중 비교적 높은 기술적 지원이 필요하기에, 이동 통신 네트워크가 비교적 빠른 데이터 전송 효율 및 비교적 안정적인 데이터 전송 환경을 구비해야 한다. 또한, 데이터양이 비교적 크므로, 모바일 엣지 컴퓨팅(Mobile Edge Computing, MEC) 서버가 모델링하는데 소비하는 시간이 매우 길다.
상기 기술적인 과제를 해결하기 위해, 본 발명의 실시예는 데이터 처리 방법, 서버 및 컴퓨터 저장 매체를 제공한다.
제1 측면에 있어서, 본 발명의 실시예는 MEC 서버에 적용되는 데이터 처리 방법을 제공하고; 상기 방법은,
단말로부터의 3 차원 비디오 데이터를 수신하고, 상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축하는 단계;
상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하는 단계 - 상기 미리 설정된 모델 세트는 복수 개의 타깃 대상의 전체 모델을 포함함 - ; 및
매칭 결과에 기반하여 상기 단말에 지시 정보를 송신하는 단계를 포함한다.
제2 측면에 있어서, 본 발명의 실시예는 MEC 서버를 더 제공하고, 상기 MEC 서버는 프로세서 및 통신 인터페이스를 포함하며; 여기서,
상기 통신 인터페이스는, 단말로부터의 3 차원 비디오 데이터를 수신하기 위한 것이고;
상기 프로세서는, 상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축하고; 상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하기 위한 것이며, 상기 미리 설정된 모델 세트는 복수 개의 타깃 대상의 전체 모델을 포함하며;
상기 통신 인터페이스는, 매칭 결과에 기반하여 상기 단말에 지시 정보를 송신하기 위한 것이다.
제3 측면에 있어서, 본 발명의 실시예는 MEC 서버를 더 제공하고, 상기 MEC 서버는 통신 유닛, 모델링 유닛 및 매칭 유닛을 포함하며, 여기서,
상기 통신 유닛은, 단말로부터의 3 차원 비디오 데이터를 수신하기 위한 것이고;
상기 모델링 유닛은, 상기 통신 유닛에 의해 수신된 상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축하기 위한 것이며;
상기 매칭 유닛은, 상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하기 위한 것이며, 상기 미리 설정된 모델 세트는 복수 개의 타깃 대상의 전체 모델을 포함하며;
상기 통신 유닛은 또한, 상기 매칭 유닛에 의해 획득된 매칭 결과에 기반하여 상기 단말에 지시 정보를 송신하기 위한 것이다.
제4 측면에 있어서, 본 발명의 실시예는 컴퓨터 명령어가 저장되어 있는 컴퓨터 판독 가능한 저장 매체를 더 제공하고, 상기 컴퓨터 명령어가 프로세서에 의해 실행될 경우 상기 프로세서가 데이터 처리 방법을 실행하도록 하며, 상기 방법은, 단말로부터의 3 차원 비디오 데이터를 수신하고, 상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축하는 단계; 상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하는 단계 - 상기 미리 설정된 모델 세트는 복수 개의 타깃 대상의 전체 모델을 포함함 - ; 및 매칭 결과에 기반하여 상기 단말에 지시 정보를 송신하는 단계를 포함한다.
본 발명의 실시예는 데이터 처리 방법, 서버 및 컴퓨터 저장 매체를 제공하고, 상기 방법은, 단말로부터의 3 차원 비디오 데이터를 수신하고, 상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축하는 단계; 상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하는 단계 - 상기 미리 설정된 모델 세트는 복수 개의 타깃 대상의 전체 모델을 포함함 - ; 및 매칭 결과에 기반하여 상기 단말에 지시 정보를 송신하는 단계를 포함한다. 본 발명의 실시예의 기술방안을 사용하면, 서버에서 미리 설정된 복수 개의 타깃 대상의 전체 모델을 통해, 일 측면으로 서버는 획득된 한 프레임의 3 차원 비디오 데이터에 기반하여 미리 설정된 모델과 매칭시킬 수 있고, 매칭되는 모델에 기반하여 타깃 대상의 모델을 빠르게 구축할 수 있어, 모델링의 소비 시간을 크게 단축시키며; 다른 측면으로 서버에 모델이 미리 설정되었으므로, 데이터 전송 과정에서 필요한 기술적 지원의 요구를 감소시키며, 즉 비교적 빠른 데이터 전송 효율 및 안정적인 데이터 전송 환경이 필요하지 않을 수 있어, 다양한 통신 시나리오에 적용되며; 또한, 서버에 모델이 미리 설정되므로, 단말에 의해 수집된 전부 3 차원 비디오 데이터를 전송할 필요없이도 모델을 구축할 수 있어, 전송되어야 하는 데이터양을 어느 정도 감소시킬 수도 있다.
도 1은 본 발명의 실시예의 데이터 처리 방법이 적용되는 시스템 아키텍처 예시도이다.
도 2는 본 발명의 실시예의 데이터 처리 방법의 흐름 예시도 1이다.
도 3은 본 발명의 실시예의 데이터 처리 방법의 흐름 예시도 2이다.
도 4는 본 발명의 실시예의 데이터 처리 방법의 흐름 예시도 3이다.
도 5는 본 발명의 실시예의 서버의 구성 구조 예시도이다.
도 6은 본 발명의 실시예의 서버의 다른 구성 구조 예시도이다.
도 7은 본 발명의 실시예의 서버의 하드웨어 구성 구조 예시도이다.
도 2는 본 발명의 실시예의 데이터 처리 방법의 흐름 예시도 1이다.
도 3은 본 발명의 실시예의 데이터 처리 방법의 흐름 예시도 2이다.
도 4는 본 발명의 실시예의 데이터 처리 방법의 흐름 예시도 3이다.
도 5는 본 발명의 실시예의 서버의 구성 구조 예시도이다.
도 6은 본 발명의 실시예의 서버의 다른 구성 구조 예시도이다.
도 7은 본 발명의 실시예의 서버의 하드웨어 구성 구조 예시도이다.
본 발명의 실시예의 기술방안을 상세하게 설명하기 전, 먼저 본 발명의 실시예의 데이터 처리 방법이 적용되는 시스템 아키텍처를 간단하게 설명하고자 한다. 본 발명의 실시예의 데이터 처리 방법은 3 차원 비디오 데이터의 관련 서비스에 적용되고, 상기 서비스는 예를 들어 3 차원 비디오 데이터에 의해 공유된 서비스, 또는 3 차원 비디오 데이터에 기반한 생방송 서비스 등이다. 이러한 경우, 3 차원 비디오 데이터의 데이터양이 비교적 크므로, 각각 전송된 깊이 데이터 및 2 차원 비디오 데이터가 데이터 전송 과정에서 비교적 높은 기술적 지원이 필요하므로, 이동 통신 네트워크가 비교적 빠른 데이터 전송 효율 및 비교적 안정적인 데이터 전송 환경을 구비해야 한다.
도 1은 본 발명의 실시예의 데이터 전송 방법이 적용되는 시스템 아키텍처 예시도이고; 도 1에 도시된 바와 같이, 시스템은 단말, 기지국, MEC 서버, 서비스 처리 서버, 코어 네트워크 및 인터넷(Internet) 등을 포함할 수 있으며; MEC 서버와 서비스 처리 서버 사이는 코어 네트워크를 통해 고속 통로를 구축하여 데이터 동기화를 구현한다.
도 1에 도시된 두 개의 단말이 인터랙션하는 응용 시나리오를 예로 들면, MEC 서버 A는 단말 A(송신 엔드)에 가까운 MEC 서버에 전개되고, 코어 네트워크 A는 단말 A가 위치하는 영역의 코어 네트워크이며; 이에 상응하게, MEC 서버 B는 단말 B(수신 엔드)에 가까운 MEC 서버이며, 코어 네트워크 B는 단말 B가 위치하는 영역의 코어 네트워크이며; MEC 서버 A 및 MEC 서버 B는 서비스 처리 서버 사이와 각각 코어 네트워크 A 및 코어 네트워크 B를 통해 고속 통로를 구축하여 데이터 동기화를 구현할 수 있다.
여기서, 단말 A에 의해 송신된 3 차원 비디오 데이터가 MEC 서버 A에 전송된 후, MEC 서버 A에 의해 코어 네트워크 A가 데이터 서비스 처리 서버로 동기화되며; MEC 서버 B에 의해 서비스 처리 서버로부터 단말 A에 의해 송신된 3 차원 비디오 데이터가 획득되고, 단말 B에 송신되어 디스플레이된다.
여기서, 단말 B와 단말 A가 동일한 MEC 서버를 통해 전송을 구현하면, 단말 B 및 단말 A는 서비스 처리 서버의 참여가 필요없이, 직접 하나의 MEC 서버를 통해 3 차원 비디오 데이터의 전송을 구현하며, 이러한 방식은 로컬 백홀 방식으로 지칭된다. 구체적으로, 단말 B와 단말 A가 MEC 서버 A를 통해 3 차원 비디오 데이터의 전송을 구현하는 것으로 가정하면, 단말 A에 의해 송신된 3 차원 비디오 데이터가 MEC 서버 A에 전송된 후, MEC 서버 A에 의해 3 차원 비디오 데이터가 단말 B에 송신되어 디스플레이된다.
여기서, 단말은 네트워크 상황, 또는 단말 자체의 구성 상황, 또는 자체 구성한 알고리즘에 기반하여 4G 네트워크에 액세스하는 진화형 기지국(eNB), 또는 5G 네트워크에 액세스하는 다음 세대 진화형 기지국(gNB)을 선택할 수 있음으로써, eNB가 롱 텀 에볼루션(Long Term Evolution, LTE) 액세스 네트워크를 통해 MEC 서버에 연결되도록 하고, gNB가 다음 세대 액세스 네트워크(NG-RAN)를 통해 MEC 서버에 연결되도록 한다.
여기서, MEC 서버는 단말 또는 데이터 소스에 가까운 네트워크 엣지 측에 전개되고, 단말에 가깝거나 데이터 소스에 가까운 것은, 논리적 위치뿐만 아니라, 지리적 위치에서 단말에 가깝거나 데이터 소스에 가까운 것을 가리킨다. 기존의 이동 통신 네트워크 중 주요한 서비스 처리 서버가 몇 개의 대도시에 전개된 것과 구별되게, MEC 서버는 한 도시에서 복수 개가 전개될 수 있다. 예를 들어 특정한 오피스텔에서, 사용자가 비교적 많으면, 상기 오피스텔 근처에 하나의 MEC 서버를 전개할 수 있다.
여기서, MEC 서버는 융합 네트워크, 컴퓨팅, 저장, 애플리케이션의 핵심 기능을 구비하는 엣지 컴퓨팅 게이트웨이로서, 엣지 컴퓨팅에게 기기 도메인, 네트워크 도메인, 데이터 도메인 및 애플리케이션 도메인을 포함하는 플랫폼 지원을 제공한다. 상기 MEC 서버는 다양한 타입의 지능형 기기 및 센서에 연결되어, 가까운 곳에서 지능형 연결 및 데이터 처리 서비스를 제공하여, 상이한 타입의 애플리케이션 및 데이터가 MEC 서버에서 처리되도록 하므로, 실시간 서비스, 지능형 서비스, 데이터 집합 및 상호 조작, 보안과 개인 정보 보호 등 키포인트 지능형 서비스를 구현하여, 서비스의 지능형 결책 효율을 효과적으로 향상시킨다.
본 발명의 실시예는 서버에 적용되는 데이터 처리 방법을 더 제공하고, 상기 서버는 구체적으로 도 1에 도시된 MEC 서버이다. 도 2는 본 발명의 실시예의 데이터 처리 방법의 흐름 예시도 1이고; 도 2에 도시된 바와 같이, 상기 방법은 아래와 같은 단계를 포함한다.
단계 201에 있어서, 단말로부터의 3 차원 비디오 데이터를 수신하고, 상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축한다.
단계 202에 있어서, 상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하고; 상기 미리 설정된 모델 세트는 복수 개의 타깃 대상의 전체 모델을 포함한다.
단계 203에 있어서, 매칭 결과에 기반하여 상기 단말에 지시 정보를 송신한다.
본 실시예에 있어서, 3 차원 비디오 데이터는 단말에 의해 적어도 깊이 데이터를 수집 가능한 컴포넌트로부터 획득되고; 상기 수집 컴포넌트는 적어도 하나의 단말과 통신 링크를 구축하여 대응되는 단말이 상기 3 차원 비디오 데이터를 획득하도록 할 수 있다.
구체적으로, 본 실시형태에 있어서, 깊이 데이터를 수집 가능한 수집 컴포넌트가 상대적으로 비싸므로, 단말은 3 차원 비디오 데이터의 수집 기능을 구비하지 않고, 단말과 무관한 수집 컴포넌트를 통해 3 차원 비디오 데이터를 수집한 다음, 수집 컴포넌트 및 단말에서의 통신 컴포넌트를 통해 통신 링크를 구축하여, 단말이 수집 컴포넌트에 의해 수집된 3 차원 비디오 데이터를 획득하도록 한다. 여기서, 상기 수집 컴포넌트는 깊이 카메라, 양안 카메라, 3D 구조광 촬영 모듈, 비행 시간(Time Of Flight, TOF) 촬영 모듈 중 적어도 하나를 통해 구현될 수 있다.
여기서, 수집 컴포넌트는 적어도 하나의 단말과 통신 링크를 구축하여, 수집하여 얻은 3 차원 비디오 데이터를 상기 적어도 하나의 단말에 송신할 수 있음으로써, 대응되는 단말이 3 차원 비디오 데이터를 획득하도록 하며, 이로써 하나의 수집 컴포넌트에 의해 수집된 3 차원 비디오 데이터가 적어도 하나의 단말로 공유되는 것을 구현할 수 있음으로써, 수집 컴포넌트의 공유를 구현한다.
다른 실시형태로서, 단말 자체는 3 차원 비디오 데이터의 수집 기능을 구비하는데, 이는 단말에는 적어도 깊이 데이터를 수집 가능한 수집 컴포넌트, 예를 들어 깊이 카메라, 양안 카메라, 3D 구조광 촬영 모듈, TOF 촬영 모듈 중 적어도 하나가 설치되어 있어, 3 차원 비디오 데이터를 수집하는 것으로 이해될 수 있다.
여기서, 획득된 3 차원 비디오 데이터는 2 차원 비디오 데이터 및 깊이 데이터를 포함하고; 상기 2 차원 비디오 데이터는 평면 이미지를 나타내기 위한 것이며, 예를 들어 RGB 데이터일 수 있으며; 깊이 데이터는 수집 컴포넌트가 대상으로 하는 수집 대상의 표면과 수집 컴포넌트 사이의 거리를 나타낸다.
본 실시예는 단말과 MEC 서버 사이의 통신 채널 품질이 좋은 응용 시나리오, 즉 통신 채널의 전송 속도 및 전송 안정성이 기설정된 조건을 만족하는 시나리오에 적용되고, 예를 들어, 통신 채널의 전송 속도가 제1 기설정된 임계값보다 크고, 데이터 전송의 로스트율이 제2 기설정된 임계값보다 낮은 것이다. 이러한 고속 저지연의 시나리오에 있어서, 단말 전송은 3 차원 비디오 데이터에 대응되고, 단말 로콜에서는 3 차원 비디오 데이터를 저장하지 않고 직접 전송한다.
설명해야 할 것은, 본 실시예에서의 단말 로컬에서는 3 차원 비디오 데이터를 저장하지 않고 직접 전송하는 것은, 송신된 데이터가 단말 로컬에서 저장되지 않는 것을 가리키고; 송신되지 않은 데이터의 경우, 여전히 단말 로컬에서 저장되어야 한다.
본 실시예에 있어서, 한 가지 실시형태로서, 수신된 3 차원 비디오 데이터는 2 차원 비디오 데이터 및 깊이 데이터를 포함하고; 다른 실시형태로서, 수신된 3 차원 비디오 데이터는 깊이 데이터만 포함할 수도 있다. 서버는 수신된 3 차원 비디오 데이터에서의 깊이 데이터에 기반하여 모델링을 수행하여, 초기 모델을 획득한다.
본 실시예에 있어서, 서버는 모델 세트를 미리 설정하고, 모델 세트는 복수 개의 타깃 대상의 전체 모델을 포함한다. 여기서, 타깃 대상은 실제 인물, 가상 인물, 실제 동물, 가상 동물 등일 수 있고, 본 실시예에서 타깃 대상의 카테고리를 한정하지 않는다. 실제 응용에 있어서, 모델 세트는 복수 개의 서브 모델 세트를 포함할 수 있고, 각 서브 모델 세트는 한 가지 카테고리의 타깃 대상을 대상으로 할 수 있다. 예를 들어, 실제 인물의 경우 대응되는 하나의 서브 모델 세트가 미리 설정되어 있을 수 있고; 특정한 카테고리의 실제 동물의 경우, 예를 들어 강아지의 경우, 대응되는 하나의 서브 모델 세트가 미리 설정되어 있을 수 있는 등이다.
일 실시예에 있어서, 도 3에 도시된 바와 같이, 상기 방법은 아래와 같은 단계를 더 포함한다.
단계 204에 있어서, 복수 개의 샘플 데이터를 획득하고; 상기 복수 개의 샘플 데이터는 상이한 타깃 대상에 대응하는 전체 데이터 및 타깃 대상의 상이한 부위에 대응하는 부분 데이터 중 적어도 하나이다.
단계 205에 있어서, 상기 복수 개의 샘플 데이터에 기반하여 타깃 대상의 전체 모델을 구축하거나; 상기 복수 개의 샘플 데이터에 기반하여 타깃 대상의 상이한 부위의 부분 모델을 구축하며, 상이한 타깃 대상의 상이한 부위의 부분 모델에 기반하여 상이한 타깃 대상의 전체 모델을 생성한다.
본 실시예에 있어서, 서버는 획득된 복수 개의 샘플 데이터에 따라 전체 모델을 구축한다. 첫 번째 실시형태로서, 획득된 샘플 데이터는 타깃 대상에 대응되는 전체 데이터이다. 예를 들어 타깃 대상이 실제 인물이면, 샘플 데이터는 실제 인물의 전체 데이터이다. 다른 실시형태로서, 획득된 샘플 데이터는 타깃 대상에 대응되는 상이한 부위의 부분 데이터이다. 예를 들어 타깃 대상이 실제 인물이고, 상기 실제 인물은 머리 영역, 몸 영역(몸 영역은 또한 어깨 영역, 가슴 영역, 허리 영역 등으로 구체적으로 분할될 수 있음) 및 사지 영역(사지 영역은 또한 팔 영역, 손 영역, 다리 영역 및 발 영역 등으로 구체적으로 분할될 수 있음) 등을 포함할 수 있으면, 샘플 데이터는 실제 인물의 상기 상이한 부위에 대한 부분 영역일 수 있다.
설명해야 할 것은, 본 실시예의 복수 개의 샘플 데이터는 상이한 타깃 대상에 대응되고, 심지어는 상이한 타깃 대상의 상이한 부위에 대응되며; 이해할 수 있는 것은, 본 실시예에서 상이한 타깃 대상에 대한 전체 모델을 구축한다.
한 가지 실시형태로서, 샘플 데이터가 타깃 대상에 대응되는 전체 데이터일 경우, 상기 전체 데이터에 기반하여 대응되는 타깃 대상의 전체 모델을 구축한다.
다른 실시형태로서, 샘플 데이터가 타깃 대상의 상이한 부위에 대응되는 부분 데이터일 경우, 상기 부분 데이터에 기반하여 대응되는 타깃 대상의 부분 모델을 구축하고; 더 나아가 상이한 타깃 대상의 상이한 부위의 부분 모델에 기반하여 배열 조합을 수행할 수 있으며, 예를 들어 타깃 대상 A의 부분 모델 a1 및 부분 모델 a2를 획득하며; 타깃 대상 B의 부분 모델 b1 및 부분 모델 b2를 획득하면, 일 측면으로 부분 모델 a1 및 부분 모델 a2에 기반하여 타깃 대상 A의 전체 모델을 구축할 수 있고, 부분 모델 b1 및 부분 모델 b2에 기반하여 타깃 대상 B의 전체 모델을 구축할 수 있으며, 다른 측면으로 또한 부분 모델 a1 및 부분 모델 b2에 기반하여 하나의 전체 모델을 구축할 수 있고, 부분 모델 b1 및 부분 모델 a2에 기반하여 다른 전체 모델을 구축할 수 있다. 본 실시예는 부분 모델에 기반하여 더욱 많은 개수의 타깃 대상의 전체 모델을 획득할 수 있음으로써, 모델 매칭에 도움을 준다.
본 실시예에 있어서, 샘플 데이터는 깊이 데이터만 포함할 수 있고; 또는 깊이 데이터 및 2 차원 비디오 데이터를 포함할 수도 있다. 3 차원 모델을 구축할 수 있는 임의의 데이터는 본 발명의 실시예의 보호 범위에 속한다.
이해할 수 있는 것은, 단계 204 및 단계 205는 단계 202 전에 실행되고, 즉 상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하는 단계 전에, 모델 세트에서의 전체 모델의 구축을 수행한다.
본 실시예에 있어서, 서버는 상기 초기 모델과 미리 설정된 모델 세트에서의 모델에 대해 매칭을 수행한다.
한 가지 실시형태로서, 서버는 초기 모델과 미리 설정된 모델 세트에서의 전체 모델에 대해 매칭을 수행한다. 본 실시예는 수신된 3 차원 비디오 데이터가 타깃 대상의 전체 데이터에 대응되는 시나리오에 적용되고, 즉 한 가지 예로서, 단말이 수집된 타깃 대상 전체에 대응되는 3 차원 비디오 데이터를 서버에 전부 전송하면, 서버가 수신한 3 차원 비디오 데이터는 타깃 대상 전체에 대응되는 3 차원 비디오 데이터이고, 서버가 3 차원 비디오 데이터에 기반하여 구축한 초기 모델은 타깃 대상 전체에 대응되는 초기 모델이다.
다른 실시형태로서, 서버는 초기 모델과 미리 설정된 모델 세트에서의 전체 모델을 구성하는 부분 모델에 대해 매칭을 수행한다. 본 실시예는 수신된 3 차원 비디오 데이터가 타깃 대상의 부위에 대응되는 부분 데이터인 시나리오에 적용되고, 즉 한 가지 예로서, 단말이 수집된 타깃 대상의 각 부위에 대응되는 3 차원 비디오 데이터를 서버에 각각 전송하면, 서버는 수신된 각 부위에 대응되는 3 차원 비디오 데이터에 대해 각각 모델링 처리를 수행해야 하고, 즉 여기서 획득된 초기 모델은 타깃 대상의 각 부위에 대응되는 초기 모델이다.
본 실시예에 있어서, 상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하는 단계는, 상기 초기 모델의 특징 파라미터를 추출하고, 상기 초기 모델의 특징 파라미터와 상기 모델 세트에서의 모델의 특징 파라미터를 매칭시켜, 매칭률을 획득하는 단계를 포함한다.
구체적으로, 타깃 대상 전체에 대응되는 초기 모델이거나, 타깃 대상의 각 부위에 대응되는 초기 모델인지와 관계없이, 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭시키는 과정에서, 한 가지 실시형태로서, 상기 초기 모델의 특징 파라미터를 추출하고, 추출된 특징 파라미터와 모델 세트에서의 각 모델의 특징 파라미터를 매칭시키며; 추출된 특징 파라미터와 특정한 모델의 특징 파라미터의 매칭률이 기설정된 임계값을 초과하면, 매칭 성공을 나타낼 수 있고; 이에 상응하게, 추출된 특징 파라미터와 모델 세트에서의 임의의 모델의 특징 파라미터의 매칭률이 기설정된 임계값을 초과하지 않으면, 매칭 실패를 나타낼 수 있다. 여기서, 특징 파라미터는 구체적으로 윤곽 특징 포인트 및 골격 키 포인트 중 적어도 하나를 나타내는 파라미터일 수 있다.
일 실시예에 있어서, 도 4에 도시된 바와 같이, 상기 방법은 아래와 같은 단계를 더 포함한다.
단계 203a에 있어서, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 모델과 매칭되는 것일 경우, 상기 단말에 제1 지시 정보를 송신하고, 상기 제1 지시 정보는 상기 단말이 다른 3 차원 비디오 데이터를 계속하여 전송하도록 지시하기 위한 것이다.
본 실시예에 있어서, MEC 서버가 초기 모델이 미리 설정된 모델 세트에서의 모델과 매칭되는 것, 즉 상기 3 차원 비디오 데이터에 대응되는 모델이 성공적으로 구축된 것으로 결정되면, 단말에 제1 지시 정보를 송신하고, 제1 지시 정보는 먼저 전송된 3 차원 비디오 데이터가 성공적으로 모델링할 수 있고, 다음 3 차원 비디오 데이터를 계속하여 전송할 수 있음을 나타낸다.
본 발명의 한 가지 실시형태에 있어서, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트에서의 모델이 매칭되는 것일 경우, 상기 3 차원 비디오 데이터 및 매칭되는 모델에 기반하여 제1 모델을 생성한다.
본 실시예에 있어서, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트에서의 모델이 매칭되는 것일 경우, 서버에 대응되는 타깃 대상의 전체 모델이 저장되어 있음을 나타내며; 그러나 상기 전체 모델이 종종 3 차원 비디오 데이터에 대응되는 타깃 대상과 완전히 일치하는 것은 아니므로; 본 실시예에서는 3 차원 비디오 데이터(2 차원 비디오 데이터 및 깊이 데이터를 포함함)에 기반하여 매칭되는 모델에 대해 조정 최적화를 수행하며, 이해할 수 있는 것은, 매칭되는 모델의 기초 상에서, 상응하는 조정만 하면 타깃 대상에 대응되는 제1 모델을 얻을 수 있으며; 3 차원 비디오 데이터를 참조하여 모델을 생성하는 방식에 비해, 본 발명의 실시예는 모델 구축의 소비 시간을 크게 축소시킬 수 있다.
본 발명의 실시형태에 있어서, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트에서의 모델이 매칭되는 것일 경우, 상기 방법은, 상기 3 차원 비디오 데이터에 기반하여 매칭되는 모델을 업데이트하는 단계를 더 포함한다. 본 실시형태는 매칭되는 모델(즉 특정한 타깃 대상에 대응되는 전체 모델)을 최적화할 수 있고, 구체적으로 획득되는 3 차원 비디오 데이터에서의 깊이 데이터 및 2 차원 비디오 데이터에 기반하여 모델을 최적화하는 것이며; 최적화하는 방식은 모델에서 초기 모델에서의 특징 파라미터와 매칭되지 않는 특징 파라미터에 대해 초기 모델 파라미터의 특징 파라미터를 참조하여 조정을 수행함으로써, 모델이 더욱 정확하고, 타깃 대상에 더욱 가까워지도록 한다.
일 실시예에 있어서, 도 4에 도시된 바와 같이, 상기 방법은, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트에서의 모델이 매칭되지 않는 것일 경우, 상기 단말에 제2 지시 정보를 송신하는 단계 203b - 상기 제2 지시 정보는 상기 단말이 3 차원 비디오 데이터를 다시 수집하도록 지시하기 위한 것임 - 를 더 포함한다.
본 실시예에 있어서, MEC 서버가 초기 모델과 미리 설정된 모델 세트에서의 모델이 매칭되지 않는 것으로 결정되면, 서버가 3 차원 비디오 데이터에 대응되는 모델을 성공적으로 구축하지 못한 것으로 이해할 수 있으므로, 단말에 제2 지시 정보를 송신하고, 제2 지시 정보는 먼저 전송된 3 차원 비디오 데이터가 성공적으로 모델링할 수 없으므로, 대응되는 3 차원 비디오 데이터를 다시 전송해야 함을 나타낸다.
본 발명의 실시예의 기술방안을 사용하면, 서버에서 미리 설정된 복수 개의 타깃 대상의 전체 모델을 통해, 일 측면으로 서버는 획득된 한 프레임의 3 차원 비디오 데이터에 기반하여 미리 설정된 모델과 매칭시킬 수 있고, 매칭되는 모델에 기반하여 타깃 대상의 모델을 빠르게 구축할 수 있어, 모델링의 소비 시간을 크게 단축시키며; 다른 측면으로 서버에 모델이 미리 설정되었으므로, 데이터 전송 과정에서 필요한 기술적 지원의 요구를 감소시키며, 즉 비교적 빠른 데이터 전송 효율 및 안정적인 데이터 전송 환경이 필요하지 않을 수 있어, 다양한 통신 시나리오에 적용되며; 또한, 서버에 모델이 미리 설정되므로, 단말에 의해 수집된 전부 3 차원 비디오 데이터를 전송할 필요없이도 모델을 구축할 수 있어, 전송되어야 하는 데이터양을 어느 정도 감소시킬 수도 있다.
본 발명의 실시예에 따른 서버측의 방법을 구현하기 위해, 본 발명의 실시예는 MEC 서버를 더 제공한다. 도 5는 본 발명의 실시예의 서버의 구성 구조 예시도이고; 도 5에 도시된 바와 같이, 상기 서버는 통신 유닛(31), 모델링 유닛(32) 및 매칭 유닛(33)을 포함하며; 여기서,
상기 통신 유닛(31), 단말로부터의 3 차원 비디오 데이터를 수신하기 위한 것이고;
상기 모델 구축 유닛(32)은, 상기 통신 유닛(31)에 의해 수신된 상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축하기 위한 것이며;
상기 매칭 유닛(33)은, 상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하기 위한 것이며; 상기 미리 설정된 모델 세트는 복수 개의 타깃 대상의 전체 모델을 포함하고;
상기 통신 유닛(31)은 또한, 상기 매칭 유닛에 의해 획득된 매칭 결과에 기반하여 상기 단말에 지시 정보를 송신하기 위한 것이다.
일 실시예에 있어서, 도 6에 도시된 바와 같이, 상기 서버는 복수 개의 샘플 데이터를 획득하기 위한 획득 유닛(34)을 더 포함하고; 상기 복수 개의 샘플 데이터는 상이한 타깃 대상에 대응하는 전체 데이터 및 타깃 대상의 상이한 부위에 대응하는 부분 데이터 중 적어도 하나이며;
상기 모델링 유닛(32)은 또한, 상기 복수 개의 샘플 데이터에 기반하여 타깃 대상의 전체 모델을 구축하거나; 상기 복수 개의 샘플 데이터에 기반하여 타깃 대상의 상이한 부위의 부분 모델을 구축하며, 상이한 타깃 대상의 상이한 부위의 부분 모델에 기반하여 상이한 타깃 대상의 전체 모델을 생성하기 위한 것이다.
한 가지 실시형태로서, 상기 통신 유닛(31)은, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 모델과 매칭되는 것일 경우, 상기 단말에 제1 지시 정보를 송신하기 위한 것이며, 상기 제1 지시 정보는 상기 단말이 다른 3 차원 비디오 데이터를 계속하여 전송하도록 지시하기 위한 것이다.
일 실시예에 있어서, 상기 모델링 유닛(32)은 또한, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 하나의 모델이 매칭되는 것일 경우, 상기 3 차원 비디오 데이터에 기반하여 매칭되는 모델을 업데이트하기 위한 것이다.
다른 실시형태로서, 상기 통신 유닛(31)은, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트에서의 모델이 매칭되지 않는 것일 경우, 상기 단말에 제2 지시 정보를 송신하기 위한 것이고, 상기 제2 지시 정보는 상기 단말이 3 차원 비디오 데이터를 다시 수집하도록 지시하기 위한 것이다.
본 발명의 실시예에 있어서, 상기 서버에서의 모델링 유닛(32), 매칭 유닛(33) 및 획득 유닛(34)은, 실제 응용에서 상기 단말에서의 프로세서, 예를 들어 중앙처리장치(Central Processing Unit, CPU), 디지털 시그널 프로세서(Digital Signal Processor, DSP), 마이크 컨트롤 유닛(Microcontroller Unit, MCU) 또는 필드 프로그래머블 게이트 어레이(Field-Programmable Gate Array, FPGA) 등에 의해 구현될 수 있으며; 상기 서버에서의 통신 유닛(31)은, 실제 응용에서 통신 모듈(기초 통신 세트, 운영 체제, 통신 모듈, 표준 인터페이스 및 프로토콜 등) 및 송수신 안테나를 통해 구현될 수 있다.
설명해야 하는 것은, 상기 실시예에서 제공한 서버가 데이터 처리를 수행할 경우, 상기 각 프로그램 모듈의 분할로 예를 들면, 실제 응용에서, 수요에 따라 상기 처리 분배를 상이한 프로그램 모듈을 통해 완료할 수 있고, 즉 서버의 내부 구조를 상이한 프로그램 모듈로 분할하여, 상기 설명한 전부 또는 일부 처리를 완료한다. 또한, 상기 실시예에서 제공한 서버와 데이터 처리 방법의 실시예는 동일한 사상에 속하며, 이의 구체적인 구현 과정은 방법 실시예를 참조하면 되고, 여기서 더이상 반복하지 않는다.
상기 기기의 하드웨어적 구현에 기반하여, 본 발명의 실시예는 서버를 더 제공하고, 도 7은 본 발명의 실시예의 서버의 하드웨어 구성 구조 예시도이며, 도 7에 도시된 바와 같이, 상기 서버는 메모리, 프로세서 및 메모리에 저장되고 프로세서 상에서 작동 가능한 컴퓨터 프로그램을 포함하며, 상기 프로세서는 상기 프로그램을 실행할 경우, 단말로부터의 3 차원 비디오 데이터를 수신하고, 상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축하는 단계; 상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하는 단계 - 상기 미리 설정된 모델 세트는 복수 개의 타깃 대상의 전체 모델을 포함함 - ; 및 매칭 결과에 기반하여 상기 단말에 지시 정보를 송신하는 단계를 구현한다.
일 실시예에 있어서, 상기 프로세서는 상기 프로그램을 실행할 경우, 복수 개의 샘플 데이터를 획득하는 단계 - 상기 복수 개의 샘플 데이터는 상이한 타깃 대상에 대응하는 전체 데이터 및 타깃 대상의 상이한 부위에 대응하는 부분 데이터 중 적어도 하나임 - ; 상기 복수 개의 샘플 데이터에 기반하여 타깃 대상의 전체 모델을 구축하는 단계; 또는, 상기 복수 개의 샘플 데이터에 기반하여 타깃 대상의 상이한 부위의 부분 모델을 구축하며, 상이한 타깃 대상의 상이한 부위의 부분 모델에 기반하여 상이한 타깃 대상의 전체 모델을 생성하는 단계를 구현한다.
일 실시예에 있어서, 상기 프로세서는 상기 프로그램을 실행할 경우, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 모델과 매칭되는 것일 경우, 상기 단말에 제1 지시 정보를 송신하는 단계 - 상기 제1 지시 정보는 상기 단말이 다른 3 차원 비디오 데이터를 계속하여 전송하도록 지시하기 위한 것임 - 를 구현한다.
일 실시예에 있어서, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트에서의 모델이 매칭되는 것일 경우, 상기 3 차원 비디오 데이터에 기반하여 매칭되는 모델을 업데이트하는 단계를 구현한다.
일 실시예에 있어서, 상기 프로세서는 상기 프로그램을 실행할 경우, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 모델과 매칭되지 않는 것일 경우, 상기 단말에 제2 지시 정보를 송신하는 단계 - 상기 제2 지시 정보는 상기 단말이 3 차원 비디오 데이터를 다시 수집하도록 지시하기 위한 것임 - 를 구현한다.
이해할 수 있는 것은, 서버는 통신 인터페이스를 더 포함하고; 서버에서의 각 컴포넌트는 버스 시스템을 통해 함께 커플링된다. 이해할 수 있는 것은, 버스 시스템은 이러한 컴포넌트 사이의 연결 통신을 구현하기 위한 것이다. 버스 시스템은 데이터 버스를 포함하는 것 외에, 전원 버스, 제어 버스 및 상태 신호 버스를 더 포함한다.
이해할 수 있는 것은, 본 실시예의 메모리는 휘발성 메모리 또는 비휘발성 메모리일 수 있으며, 휘발성 메모리 및 비휘발성 메모리 모두를 포함할 수도 있다. 여기서, 비휘발성 메모리는 롬(Read Only Memory, ROM), 프로그래머블 롬(Programmable Read-Only Memory, PROM), 소거 가능 프로그래머블 롬(Erasable Programmable Read-Only Memory, EPROM), 전기적 소거 가능한 프로그램머블 롬(Electrically Erasable Programmable Read-Only Memory, EEPROM), 에프램(ferromagnetic random access memory, FRAM), 플래쉬 메모리(Flash Memory), 자기 표면 메모리, 광디스크, 또는 판독 전용 광디스크(Compact Disc Read-Only Memory, CD-ROM)일 수 있으며; 자기 표면 메모리는 마그네틱 메모리 또는 자기 테이프 메모리일 수 있다. 휘발성 메모리는 외부 쾌속 캐시 역할을 하는 랜덤 액세스 메모리(Random Access Memory, RAM)일 수 있다. 한정적이 아닌 예시적인 설명을 통해, 많은 형태의 RAM이 사용 가능하며, 예를 들어, 정적 랜덤 액세스 메모리(Static RAM, SRAM), 동기식 정적 랜덤 액세스 메모리(Synchronous Static Random Access Memory, SSRAM), 동적 랜덤 액세스 메모리(Dynamic RAM, DRAM), 동기식 동적 랜덤 액세스 메모리(Synchronous DRAM, SDRAM), 더블 데이터 레이트 동기식 동적 랜덤 액세스 메모리(Double Data Rate SDRAM, DDR SDRAM), 향상된 동기식 동적 랜덤 액세스 메모리(Enhanced SDRAM, ESDRAM), 동기식 연결 동적 랜덤 액세스 메모리(Synchlink DRAM, SLDRAM) 및 직접 메모리 버스 랜덤 액세스 메모리(Direct Rambus RAM, DR RAM)이다. 본 발명의 실시예에서 설명한 메모리는 이러한 메모리 및 다른 임의의 타입의 메모리를 포함하지만 이에 한정되지 않는다.
상기 본 발명 실시예에서 언급된 방법은 프로세서에 적용 가능하거나, 프로세서에 의해 구현된다. 프로세서는 신호 처리 능력을 구비하는 집적 회로 칩일 수 있다. 구현 과정에서, 상기 방법의 각 단계는 프로세서에서의 하드웨어의 집적 논리 회로 또는 소프트웨어 형태의 명령어를 통해 완료될 수 있다. 상기 프로세서는 범용 프로세서, DSP, 또는 다른 프로그래머블 논리 소자, 이산 게이트 또는 트랜지스터 논리 장치, 이산 하드웨어 부재 등일 수 있다. 프로세서는 본 발명의 실시예에서 개시한 각 방법, 단계 및 논리 블록도를 구현 또는 실행할 수 있다. 범용 프로세서는 마이크로 프로세서 또는 임의의 일반적인 프로세서 등일 수도 있다. 본 발명의 실시예와 결합하여 개시된 방법의 단계들은 하드웨어 디코팅 프로세서에 의해 직접 실행 완료되어 구현되거나, 디코팅 프로세서의 하드웨어 및 소프트웨어 모듈의 조합을 사용하여 실행 완료될 수 있다. 소프트웨어 모듈은 저장 매체에 위치할 수 있고, 상기 저장 매체는 메모리, 프로세서에 위치하여 메모리에서의 정보를 판독하며, 하드웨어와 결합하여 전술한 방법의 단계를 완료한다.
본 발명의 실시예는 프로세서를 포함하는 칩을 더 포함하고, 프로세서는 메모리로부터 컴퓨터 프로그램을 호출하여 작동시켜, 본 출원의 실시예에 따른 방법을 구현할 수 있다.
일부 실시예에 있어서, 칩은 메모리를 더 포함할 수 있다. 여기서, 프로세서는 메모리로부터 컴퓨터 프로그램을 호출하여 작동시켜, 본 출원의 실시예에 따른 방법을 구현한다.
여기서, 메모리는 프로세서와 독립적인 하나의 독립적인 소재일 수 있고, 프로세서에 통합될 수도 있다.
일부 실시예에 있어서, 상기 칩은 입력 인터페이스를 더 포함할 수 있다. 여기서, 프로세서는 상기 입력 인터페이스가 다른 기기 또는 칩과 통신하도록 제어할 수 있고, 구체적으로, 다른 기기 또는 칩에 의해 송신된 정보 또는 데이터를 획득할 수 있다.
일부 실시예에 있어서, 상기 칩은 출력 인터페이스를 더 포함할 수 있다. 여기서, 프로세서는 상기 출력 인터페이스가 다른 기기 또는 칩과 통신하도록 제어할 수 있고, 구체적으로, 다른 기기 또는 칩에 정보 또는 데이터를 출력할 수 있다.
일부 실시예에 있어서, 상기 칩은 본 출원의 실시예에 따른 MEC 서버에 적용될 수 있고, 상기 칩은 본 출원의 실시예에 따른 각 방법 중 MEC 서버에 의해 구현되는 상응하는 플로우를 구현할 수 있으며, 간결함을 위해, 여기서 더이상 반복하지 않는다.
이해해야 할 것은, 본 출원의 실시예에서 언급한 칩은 또한 시스템 레벨 칩, 시스템 온 칩, 칩 시스템 또는 칩 온 시스템 칩 등으로 지칭될 수 있다.
본 발명의 실시예는 컴퓨터 저장 매체를 더 제공하고, 구체적으로 컴퓨터 판독 가능한 저장 매체이다. 상기 컴퓨터 저장 매체에는 컴퓨터 명령어가 저장되어 있고, 상기 컴퓨터 명령어가 프로세서에 의해 실행될 경우 본 발명의 실시예가 MEC 서버에 적용되는 데이터 처리 방법을 구현한다.
본 출원의 실시예는 컴퓨터 프로그램 명령어를 포함하는 컴퓨터 프로그램 제품을 더 제공한다.
일부 실시예에 있어서, 상기 컴퓨터 프로그램 제품은 본 출원의 실시예에서의 MEC 서버에 적용될 수 있고, 상기 컴퓨터 프로그램 명령어는 컴퓨터가 본 출원의 실시예의 각 방법 중 MEC 서버에 의해 구현되는 상응하는 플로우를 실행하도록 하며, 간결함을 위해, 여기서 더이상 반복하여 설명하지 않는다.
본 출원의 실시예는 컴퓨터 프로그램을 더 제공한다.
일부 실시예에 있어서, 상기 컴퓨터 프로그램은 본 출원의 실시예에서의 MEC 서버에 적용될 수 있고, 상기 컴퓨터 프로그램이 컴퓨터 상에서 작동될 경우, 컴퓨터가 본 출원의 실시예의 각 방법 중 MEC 서버에 의해 구현되는 상응하는 플로우를 실행하도록 하며, 간결함을 위해, 여기서 더이상 반복하여 설명하지 않는다.
추가적인 실시예
본 발명의 적어도 일부 실시예는 모바일 엣지 컴퓨팅(MEC) 서버에 적용되는 데이터 처리 방법을 제공하고; 상기 방법은,
단말로부터의 3 차원 비디오 데이터를 수신하고, 상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축하는 단계;
상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하는 단계 - 상기 미리 설정된 모델 세트는 복수 개의 타깃 대상의 전체 모델을 포함함 - ; 및
매칭 결과에 기반하여 상기 단말에 지시 정보를 송신하는 단계를 포함한다.
적어도 일부 실시예에 따르면, 상기 방법은, 상기 미리 설정된 모델 세트에서의 전체 모델을 구축하는 단계를 더 포함한다.
적어도 일부 실시예에 따르면, 상기 미리 설정된 모델 세트에서의 전체 모델을 구축하는 단계는,
복수 개의 샘플 데이터를 획득하는 단계 - 상기 복수 개의 샘플 데이터는 상이한 타깃 대상에 대응하는 전체 데이터 및 타깃 대상의 상이한 부위에 대응하는 부분 데이터 중 적어도 하나임 - ;
상기 복수 개의 샘플 데이터가 타깃 대상에 대응되는 전체 데이터일 경우, 상기 복수 개의 샘플 데이터에 기반하여 타깃 대상의 전체 모델을 구축하는 단계;
상기 복수 개의 샘플 데이터가 타깃 대상의 상이한 부위에 대응되는 부분 데이터일 경우, 상기 복수 개의 샘플 데이터에 기반하여 타깃 대상의 상이한 부위의 부분 모델을 구축하며, 상이한 타깃 대상의 상이한 부위의 부분 모델에 기반하여 상이한 타깃 대상의 전체 모델을 생성하는 단계를 포함한다.
적어도 일부 실시예에 따르면, 상기 3 차원 비디오 데이터는 2 차원 비디오 데이터 및 깊이 데이터를 포함하거나, 상기 3 차원 비디오 데이터는 깊이 데이터를 포함하며, 여기서,
상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축하는 단계는,
상기 초기 모델을 획득하기 위해, 상기 3 차원 비디오 데이터에서의 상기 깊이 데이터에 기반하여 모델링을 수행하는 단계를 포함한다.
적어도 일부 실시예에 따르면, 상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하는 단계는,
매칭률을 획득하기 위해, 상기 초기 모델의 특징 파라미터를 추출하고, 상기 초기 모델의 특징 파라미터와 상기 미리 설정된 모델 세트에서의 각 모델의 특징 파라미터를 매칭하는 단계;
상기 초기 모델의 특징 파라미터와 상기 미리 설정된 모델 세트 중 하나의 모델의 특징 파라미터의 매칭률이 기설정된 임계값을 초과할 경우, 매칭 성공을 나타내는 단계; 및
상기 초기 모델의 특징 파라미터와 상기 미리 설정된 모델 세트에서의 임의의 모델의 특징 파라미터의 매칭률이 모두 기설정된 임계값을 초과하지 않을 경우, 매칭 실패를 나타내는 단계를 포함한다.
적어도 일부 실시예에 따르면, 상기 매칭 결과에 기반하여 상기 단말에 지시 정보를 송신하는 단계는,
상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 하나의 모델이 매칭되는 것일 경우, 상기 단말에 제1 지시 정보를 송신하는 단계 - 상기 제1 지시 정보는 상기 단말이 다음 3 차원 비디오 데이터를 계속 전송하도록 지시하기 위한 것임 - 를 포함한다.
적어도 일부 실시예에 따르면, 상기 매칭 결과에 기반하여 상기 단말에 지시 정보를 송신하는 단계는,
상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 임의의 모델이 매칭되지 않는 것일 경우, 상기 단말에 제2 지시 정보를 송신하는 단계 - 상기 제2 지시 정보는 상기 단말이 3 차원 비디오 데이터를 다시 수집하도록 지시하기 위한 것임 - 를 포함한다.
적어도 일부 실시예에 따르면, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 하나의 모델이 매칭되는 것일 경우, 상기 방법은,
상기 3 차원 비디오 데이터에 기반하여 매칭되는 모델을 업데이트하는 단계를 더 포함한다.
본 발명의 적어도 일부 실시예는 MEC 서버를 제공하고, 상기 MEC 서버는,
트랜시버; 및
프로세서를 포함하고, 여기서,
상기 트랜시버, 단말로부터의 3 차원 비디오 데이터를 수신하기 위한 것이고;
상기 프로세서는, 상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축하고;
상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하며 - 상기 미리 설정된 모델 세트는 복수 개의 타깃 대상의 전체 모델을 포함함 - ;
매칭 결과에 기반하여 트랜시버를 통해 상기 단말에 지시 정보를 송신하기 위한 것이다.
적어도 일부 실시예에 따르면, 상기 프로세서는, 상기 미리 설정된 모델 세트에서의 전체 모델을 구축한다.
적어도 일부 실시예에 따르면, 상기 프로세서는, 복수 개의 샘플 데이터를 획득하고 - 상기 복수 개의 샘플 데이터는 상이한 타깃 대상에 대응하는 전체 데이터 및 타깃 대상의 상이한 부위에 대응하는 부분 데이터 중 적어도 하나임 - ;
상기 복수 개의 샘플 데이터가 타깃 대상에 대응되는 전체 데이터일 경우, 상기 복수 개의 샘플 데이터에 기반하여 타깃 대상의 전체 모델을 구축하며;
상기 복수 개의 샘플 데이터가 타깃 대상의 상이한 부위에 대응되는 부분 데이터일 경우, 상기 복수 개의 샘플 데이터에 기반하여 타깃 대상의 상이한 부위의 부분 모델을 구축하며, 상이한 타깃 대상의 상이한 부위의 부분 모델에 기반하여 상이한 타깃 대상의 전체 모델을 생성하기 위한 것이다.
적어도 일부 실시예에 따르면, 상기 3 차원 비디오 데이터는 2 차원 비디오 데이터 및 깊이 데이터를 포함하거나, 상기 3 차원 비디오 데이터는 깊이 데이터를 포함한다.
적어도 일부 실시예에 따르면, 상기 프로세서는, 상기 초기 모델을 획득하기 위해, 상기 3 차원 비디오 데이터에서의 상기 깊이 데이터에 기반하여 모델링을 수행하기 위한 것이다.
적어도 일부 실시예에 따르면, 상기 프로세서는, 매칭률을 획득하기 위해, 상기 초기 모델의 특징 파라미터를 추출하고, 상기 초기 모델의 특징 파라미터와 상기 미리 설정된 모델 세트에서의 각 모델의 특징 파라미터에 대해 매칭을 수행하고;
상기 초기 모델의 특징 파라미터와 상기 미리 설정된 모델 세트 중 하나의 모델의 특징 파라미터의 매칭률이 기설정된 임계값을 초과할 경우, 매칭 성공을 나타내며;
상기 초기 모델의 특징 파라미터와 상기 미리 설정된 모델 세트에서의 임의의 모델의 특징 파라미터의 매칭률이 모두 기설정된 임계값을 초과하지 않을 경우, 매칭 실패를 나타내기 위한 것이다.
적어도 일부 실시예에 따르면, 상기 프로세서는, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 하나의 모델이 매칭되는 것일 경우, 트랜시버를 통해 상기 단말에 제1 지시 정보를 송신하기 위한 것이고, 상기 제1 지시 정보는 상기 단말이 다음 3 차원 비디오 데이터를 계속 전송하도록 지시하기 위한 것이다.
적어도 일부 실시예에 따르면, 상기 프로세서는, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 임의의 모델이 매칭되지 않는 것일 경우, 트랜시버를 통해 상기 단말에 제2 지시 정보를 송신하기 위한 것이고, 상기 제2 지시 정보는 상기 단말이 3 차원 비디오 데이터를 다시 수집하도록 지시하기 위한 것이다.
적어도 일부 실시예에 따르면, 상기 프로세서는 또한, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 하나의 모델이 매칭되는 것일 경우, 상기 3 차원 비디오 데이터에 기반하여 매칭되는 모델을 업데이트하기 위한 것이다.
본 발명의 적어도 일부 실시예는 MEC 서버를 제공하고, 상기 MEC 서버는 통신 유닛, 모델링 유닛 및 매칭 유닛을 포함하며; 여기서,
상기 통신 유닛은, 단말로부터의 3 차원 비디오 데이터를 수신하기 위한 것이고;
상기 모델링 유닛은, 상기 통신 유닛에 의해 수신된 상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축하기 위한 것이며;
상기 매칭 유닛은, 상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하기 위한 것이며; 상기 미리 설정된 모델 세트는 복수 개의 타깃 대상의 전체 모델을 포함하며;
상기 통신 유닛은 또한, 상기 매칭 유닛에 의해 획득된 매칭 결과에 기반하여 상기 단말에 지시 정보를 송신하기 위한 것이다.
적어도 일부 실시예에 따르면, 상기 모델링 유닛은, 상기 미리 설정된 모델 세트에서의 전체 모델을 구축하기 위한 것이다.
적어도 일부 실시예에 따르면, 획득 유닛을 추가로 포함하고, 여기서, 상기 획득 유닛은, 복수 개의 샘플 데이터를 획득하기 위한 것이고; 상기 복수 개의 샘플 데이터는 상이한 타깃 대상에 대응하는 전체 데이터 및 타깃 대상의 상이한 부위에 대응하는 부분 데이터 중 적어도 하나이며;
상기 모델링 유닛은 또한, 상기 복수 개의 샘플 데이터가 타깃 대상에 대응되는 전체 데이터일 경우, 상기 복수 개의 샘플 데이터에 기반하여 타깃 대상의 전체 모델을 구축하고; 상기 복수 개의 샘플 데이터가 타깃 대상의 상이한 부위에 대응되는 부분 데이터일 경우, 상기 복수 개의 샘플 데이터에 기반하여 타깃 대상의 상이한 부위의 부분 모델을 구축하며, 상이한 타깃 대상의 상이한 부위의 부분 모델에 기반하여 상이한 타깃 대상의 전체 모델을 생성하기 위한 것이다.
적어도 일부 실시예에 따르면, 상기 3 차원 비디오 데이터는 2 차원 비디오 데이터 및 깊이 데이터를 포함하거나, 상기 3 차원 비디오 데이터는 깊이 데이터를 포함한다.
적어도 일부 실시예에 따르면, 상기 모델링 유닛은, 상기 초기 모델을 획득하기 위해, 상기 3 차원 비디오 데이터에서의 상기 깊이 데이터에 기반하여 모델링을 수행하기 위한 것이다.
적어도 일부 실시예에 따르면, 상기 매칭 유닛은, 매칭률을 획득하기 위해, 상기 초기 모델의 특징 파라미터를 추출하고, 상기 초기 모델의 특징 파라미터와 상기 미리 설정된 모델 세트에서의 각 모델의 특징 파라미터에 대해 매칭을 수행하며;
상기 초기 모델의 특징 파라미터와 상기 미리 설정된 모델 세트 중 하나의 모델의 특징 파라미터의 매칭률이 기설정된 임계값을 초과할 경우, 매칭 성공을 나타내며;
상기 초기 모델의 특징 파라미터와 상기 미리 설정된 모델 세트에서의 임의의 모델의 특징 파라미터의 매칭률이 모두 기설정된 임계값을 초과하지 않을 경우, 매칭 실패를 나타내기 위한 것이다.
적어도 일부 실시예에 따르면, 상기 통신 유닛은, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 하나의 모델이 매칭되는 것일 경우, 상기 단말에 제1 지시 정보를 송신하기 위한 것이고, 상기 제1 지시 정보는 상기 단말이 다음 3 차원 비디오 데이터를 계속 전송하도록 지시하기 위한 것이다.
적어도 일부 실시예에 따르면, 상기 통신 유닛은, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 임의의 모델이 매칭되지 않는 것일 경우, 상기 단말에 제2 지시 정보를 송신하기 위한 것이고, 상기 제2 지시 정보는 상기 단말이 3 차원 비디오 데이터를 다시 수집하도록 지시하기 위한 것이다.
적어도 일부 실시예에 따르면, 상기 모델링 유닛은 또한, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 하나의 모델이 매칭되는 것일 경우, 상기 3 차원 비디오 데이터에 기반하여 매칭되는 모델을 업데이트하기 위한 것이다.
본 발명의 적어도 일부 실시예는 컴퓨터 명령어가 저장되어 있는 비일시적 컴퓨터 판독 가능한 저장 매체를 제공하고, 상기 컴퓨터 명령어가 MEC 서버의 프로세서에 의해 실행될 경우 상기 프로세서가 상기 추가적인 실시예에서의 데이터 처리 방법을 실행하도록 한다.
본 발명의 실시예는 데이터 처리 방법, 서버 및 컴퓨터 저장 매체를 제공하고, 상기 방법은, 단말로부터의 3 차원 비디오 데이터를 수신하고, 상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축하는 단계; 상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하는 단계 - 상기 미리 설정된 모델 세트는 복수 개의 타깃 대상의 전체 모델을 포함함 - ; 및 매칭 결과에 기반하여 상기 단말에 지시 정보를 송신하는 단계를 포함한다. 본 발명의 실시예의 기술방안을 사용하면, 서버에서 미리 설정된 복수 개의 타깃 대상의 전체 모델을 통해, 일 측면으로 서버는 획득된 한 프레임의 3 차원 비디오 데이터에 기반하여 미리 설정된 모델과 매칭시킬 수 있고, 매칭되는 모델에 기반하여 타깃 대상의 모델을 빠르게 구축할 수 있어, 모델링의 소비 시간을 크게 단축시키며; 다른 측면으로 서버에 모델이 미리 설정되었으므로, 데이터 전송 과정에서 필요한 기술적 지원의 요구를 감소시키며, 즉 비교적 빠른 데이터 전송 효율 및 안정적인 데이터 전송 환경이 필요하지 않을 수 있어, 다양한 통신 시나리오에 적용되며; 또한, 서버에 모델이 미리 설정되므로, 단말에 의해 수집된 전부 3 차원 비디오 데이터를 전송할 필요없이도 모델을 구축할 수 있어, 전송되어야 하는 데이터양을 어느 정도 감소시킬 수도 있다.
본 발명에서 제공한 일부 실시예에 있어서, 이해할 수 있는 것은, 개시된 방법 및 서버는, 다른 방식을 통해 구현될 수 있다. 전술한 기기 실시예는 다만 예시적일 뿐이고, 예컨대, 상기 유닛에 대한 분할은 다만 논리적 기능 분할이고, 실제로 구현될 경우 다른 분할 방식이 있을 수 있으며, 예를 들어, 복수 개의 유닛 또는 컴포넌트는 다른 시스템에 결합되거나 통합될 수 있거나, 또는 일부 특징을 무시하거나 실행하지 않을 수 있다. 또한, 나타내거나 논의된 각 구성 부분의 상호 간의 결합 또는 직접 결합 또는 통신 연결은, 일부 인터페이스, 기기 또는 유닛을 통한 간접 결합 또는 통신 연결일 수 있고, 전기적, 기계적 또는 다른 형태일 수 있다.
상기 분리 부재로서 설명된 유닛은, 물리적으로 분리되거나, 분리되지 않을 수도 있고, 유닛으로서 나타낸 부재는 물리적 유닛일 수도, 아닐 수도 있으며, 즉 한 곳에 위치할 수 있거나, 복수 개의 네트워크 유닛에 분포될 수도 있으며; 실제 필요에 따라 유닛의 일부 또는 전부를 선택하여 본 실시예의 방안의 목적을 구현할 수 있다.
또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 제2 처리 유닛에 전부 통합될 수 있으며, 각 유닛이 각각 독립적으로 하나의 유닛으로서 존재할 수도 있거나, 두 개 또는 두 개 이상의 유닛이 하나의 유닛에 통합될 수도 있으며; 상기 통합된 유닛은 하드웨어의 형태로 구현될 수 있을 뿐만 아니라, 하드웨어와 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.
본 기술분야의 통상의 기술자는 상기 방법 실시예를 구현하기 위한 모든 또는 일부 동작은 프로그램 명령어와 관련되는 하드웨어를 통해 완료되며, 전술한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 경우, 상기 방법 실시예를 포함하는 단계를 실행하며; 전술한 저장 매체는 모바일 저장 기기, ROM, RAM, 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함하는 것을 이해할 수 있을 것이다.
또는, 본 발명의 상기 통합된 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로서 판매되거나 사용되는 경우, 컴퓨터 판독 가능 저장 매체에 저장될 수도 있다. 이러한 이해에 기반하여, 본 발명의 실시예의 기술 방안, 즉 기존 기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 발명의 각 실시예의 상기 방법의 전부 또는 일부를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는, 모바일 하드 디스크, ROM, RAM, 자기 디스크 또는 광 디스크 등과 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
설명해야 할 것은, 본 발명의 실시예에 기재된 기술방안 사이는, 충돌되지 않는 한, 임의로 조합할 수 있다.
이상의 설명은 본 발명의 구체적인 실시형태일 뿐이지만, 본 발명의 보호 범위는 이에 한정되지 않으며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자라면 본 발명에 개시된 기술적 범위 내에서 쉽게 생각할 수 있는 변화 또는 교체는 모두 본 발명의 보호 범위에 속할 것이다.
Claims (15)
- 모바일 엣지 컴퓨팅(MEC) 서버에 적용되는 데이터 처리 방법으로서,
복수 개의 샘플 데이터를 획득(204)하는 단계 - 상기 복수 개의 샘플 데이터는 상이한 타깃 대상에 대응하는 전체 데이터 및 타깃 대상의 상이한 부위에 대응하는 부분 데이터 중 적어도 하나임 - ;
상기 복수 개의 샘플 데이터가 타깃 대상에 대응되는 전체 데이터일 경우, 상기 복수 개의 샘플 데이터에 기반하여 타깃 대상의 전체 모델을 구축(205)하는 단계; 및
상기 복수 개의 샘플 데이터가 타깃 대상의 상이한 부위에 대응되는 부분 데이터일 경우, 상기 복수 개의 샘플 데이터에 기반하여 타깃 대상의 상이한 부위의 부분 모델을 구축(205)하고, 상이한 타깃 대상의 상이한 부위의 부분 모델에 기반하여 상이한 타깃 대상의 전체 모델을 생성(205)하는 단계 - 상기 부분 모델의 배열 조합을 통하여 더 많은 개수의 타깃 대상의 상기 전체 모델을 획득함 -;를 포함하여,
미리 설정된 모델 세트에서의 전체 모델을 구축하는 단계;
단말로부터의 3 차원 비디오 데이터를 수신(201)하고, 상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축(201)하는 단계;
상기 초기 모델과 상기 미리 설정된 모델 세트에서의 모델을 매칭(202)하는 단계; 및
매칭 결과에 기반하여 상기 단말에 지시 정보를 송신(203)하는 단계;
를 포함하는 것을 특징으로 하는,
데이터 처리 방법. - 제1항에 있어서,
상기 3 차원 비디오 데이터는 2 차원 비디오 데이터 및 깊이 데이터를 포함하거나, 상기 3 차원 비디오 데이터는 깊이 데이터를 포함하며,
상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축(201)하는 단계는,
상기 초기 모델을 획득하기 위해, 상기 3 차원 비디오 데이터에서의 상기 깊이 데이터에 기반하여 모델링을 수행하는 단계;
를 포함하는 것을 특징으로 하는,
데이터 처리 방법. - 제1항에 있어서,
상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하는 단계(202)는,
매칭률을 획득하기 위해, 상기 초기 모델의 특징 파라미터를 추출하고, 상기 초기 모델의 특징 파라미터와 상기 미리 설정된 모델 세트에서의 각 모델의 특징 파라미터를 매칭하는 단계;
상기 초기 모델의 특징 파라미터와 상기 미리 설정된 모델 세트 중 하나의 모델의 특징 파라미터의 매칭률이 기설정된 임계값을 초과할 경우, 매칭 성공을 나타내는 단계; 및
상기 초기 모델의 특징 파라미터와 상기 미리 설정된 모델 세트에서의 임의의 모델의 특징 파라미터의 매칭률이 모두 기설정된 임계값을 초과하지 않을 경우, 매칭 실패를 나타내는 단계;
를 포함하는 것을 특징으로 하는,
데이터 처리 방법. - 제1항에 있어서,
상기 매칭 결과에 기반하여 상기 단말에 지시 정보를 송신하는 단계는,
상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 하나의 모델이 매칭되는 것일 경우, 상기 단말에 제1 지시 정보를 송신(203a)하는 단계 - 상기 제1 지시 정보는 상기 단말이 다음 3 차원 비디오 데이터를 계속 전송하도록 지시하기 위한 것임 - ; 및
상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 임의의 모델이 매칭되지 않는 것일 경우, 상기 단말에 제2 지시 정보를 송신(203b)하는 단계 - 상기 제2 지시 정보는 상기 단말이 3 차원 비디오 데이터를 다시 수집하도록 지시하기 위한 것임 - ;
를 포함하는 것을 특징으로 하는,
데이터 처리 방법. - 제4항에 있어서,
상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 하나의 모델이 매칭되는 것일 경우, 상기 데이터 처리 방법은,
상기 3 차원 비디오 데이터에 기반하여 매칭되는 모델을 업데이트하는 단계;
를 더 포함하는 것을 특징으로 하는,
데이터 처리 방법. - 모바일 엣지 컴퓨팅(MEC) 서버에 있어서,
단말로부터의 3 차원 비디오 데이터를 수신하기 위한 통신 유닛(31);
상기 통신 유닛(31)에 의해 수신된 상기 3 차원 비디오 데이터에 기반하여 초기 모델을 구축하기 위한 모델링 유닛(32);
상기 초기 모델과 미리 설정된 모델 세트에서의 모델을 매칭하기 위한 매칭 유닛(33) - 상기 미리 설정된 모델 세트는 복수 개의 타깃 대상의 전체 모델을 포함함 - ; 및
획득 유닛(34);
을 포함하고;
상기 통신 유닛(31)은 또한, 상기 매칭 유닛에 의해 획득된 매칭 결과에 기반하여 상기 단말에 지시 정보를 송신하기 위한 것이고;
상기 모델링 유닛(32)은, 상기 미리 설정된 모델 세트에서의 전체 모델을 구축하기 위한 것이고;
상기 획득 유닛(34)은, 복수 개의 샘플 데이터를 획득하기 위한 것이고; 상기 복수 개의 샘플 데이터는 상이한 타깃 대상에 대응하는 전체 데이터 및 타깃 대상의 상이한 부위에 대응하는 부분 데이터 중 적어도 하나이며;
상기 모델링 유닛(32)은, 상기 복수 개의 샘플 데이터가 타깃 대상에 대응되는 전체 데이터일 경우, 상기 복수 개의 샘플 데이터에 기반하여 타깃 대상의 전체 모델을 구축하고; 상기 복수 개의 샘플 데이터가 타깃 대상의 상이한 부위에 대응되는 부분 데이터일 경우, 상기 복수 개의 샘플 데이터에 기반하여 타깃 대상의 상이한 부위의 부분 모델을 구축하며, 상이한 타깃 대상의 상이한 부위의 부분 모델에 기반하여 상이한 타깃 대상의 전체 모델을 생성하기 위한 것이고;
상기 부분 모델의 배열 조합을 통하여 더 많은 개수의 타깃 대상의 상기 전체 모델을 획득함을 특징으로 하는,
모바일 엣지 컴퓨팅 서버. - 제6항에 있어서,
상기 3 차원 비디오 데이터는 2 차원 비디오 데이터 및 깊이 데이터를 포함하거나, 상기 3 차원 비디오 데이터는 깊이 데이터를 포함하며;
상기 모델링 유닛(32)은, 상기 초기 모델을 획득하기 위해, 상기 3 차원 비디오 데이터에서의 상기 깊이 데이터에 기반하여 모델링을 수행하기 위한 것임을 특징으로 하는,
모바일 엣지 컴퓨팅 서버. - 제6항에 있어서,
상기 매칭 유닛(33)은, 매칭률을 획득하기 위해, 상기 초기 모델의 특징 파라미터를 추출하고, 상기 초기 모델의 특징 파라미터와 상기 미리 설정된 모델 세트에서의 각 모델의 특징 파라미터를 매칭하며;
상기 초기 모델의 특징 파라미터와 상기 미리 설정된 모델 세트 중 하나의 모델의 특징 파라미터의 매칭률이 기설정된 임계값을 초과할 경우, 매칭 성공을 나타내며;
상기 초기 모델의 특징 파라미터와 상기 미리 설정된 모델 세트에서의 임의의 모델의 특징 파라미터의 매칭률이 모두 기설정된 임계값을 초과하지 않을 경우, 매칭 실패를 나타내기 위한 것임을 특징으로 하는,
모바일 엣지 컴퓨팅 서버. - 제6항에 있어서,
상기 통신 유닛(31)은, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 하나의 모델이 매칭되는 것일 경우, 상기 단말에 제1 지시 정보를 송신하고 - 상기 제1 지시 정보는 상기 단말이 다음 3 차원 비디오 데이터를 계속 전송하도록 지시하기 위한 것임 - ; 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 임의의 모델이 매칭되지 않는 것일 경우, 상기 단말에 제2 지시 정보를 송신하기 위한 것 - 상기 제2 지시 정보는 상기 단말이 3 차원 비디오 데이터를 다시 수집하도록 지시하기 위한 것임 - 임을 특징으로 하는,
모바일 엣지 컴퓨팅 서버. - 제9항에 있어서,
상기 모델링 유닛(32)은 또한, 상기 매칭 결과가 상기 초기 모델과 미리 설정된 모델 세트 중 하나의 모델이 매칭되는 것일 경우, 상기 3 차원 비디오 데이터에 기반하여 매칭되는 모델을 업데이트하기 위한 것임을 특징으로 하는,
모바일 엣지 컴퓨팅 서버. - 모바일 엣지 컴퓨팅(MEC) 서버로서,
메모리, 프로세서 및 통신 인터페이스를 포함하고,
상기 메모리는, 컴퓨터 프로그램을 저장하기 위한 것이며;
상기 통신 인터페이스는, 상기 프로세서의 제어 하에 외부 기기와 통신하기 위한 것이며;
상기 프로세서는, 제1항 내지 제5항 중 어느 한 항에 따른 데이터 처리 방법을 구현하기 위해, 상기 메모리에 저장된 컴퓨터 프로그램을 실행하기 위한 것임을 특징으로 하는,
모바일 엣지 컴퓨팅 서버.
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811161566.7A CN109410319B (zh) | 2018-09-30 | 2018-09-30 | 一种数据处理方法、服务器和计算机存储介质 |
CN201811161566.7 | 2018-09-30 | ||
PCT/CN2019/109152 WO2020063978A1 (en) | 2018-09-30 | 2019-09-29 | Method for processing data, server and computer storage medium |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20210024059A KR20210024059A (ko) | 2021-03-04 |
KR102480642B1 true KR102480642B1 (ko) | 2022-12-23 |
Family
ID=65466012
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020217002089A KR102480642B1 (ko) | 2018-09-30 | 2019-09-29 | 데이터 처리 방법, 서버 및 컴퓨터 저장 매체 |
Country Status (8)
Country | Link |
---|---|
US (1) | US11044457B2 (ko) |
EP (1) | EP3629235B1 (ko) |
JP (1) | JP2021532509A (ko) |
KR (1) | KR102480642B1 (ko) |
CN (2) | CN112492290B (ko) |
AU (1) | AU2019349369B2 (ko) |
BR (1) | BR112021001654A2 (ko) |
WO (1) | WO2020063978A1 (ko) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112492290B (zh) | 2018-09-30 | 2022-11-11 | Oppo广东移动通信有限公司 | 一种数据处理方法、服务器和计算机存储介质 |
CN112241431A (zh) * | 2019-07-18 | 2021-01-19 | 中移(苏州)软件技术有限公司 | 一种数据可视化方法和系统,及计算机可读存储介质 |
JP7497250B2 (ja) * | 2020-08-21 | 2024-06-10 | 株式会社日立製作所 | データ処理方法、エッジ装置、および、データ処理システム |
CN114630382B (zh) * | 2022-03-30 | 2024-04-23 | 阿里巴巴(中国)有限公司 | 基于无线网络的数据处理方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130170541A1 (en) | 2004-07-30 | 2013-07-04 | Euclid Discoveries, Llc | Video Compression Repository and Model Reuse |
US20150009214A1 (en) * | 2013-07-08 | 2015-01-08 | Vangogh Imaging, Inc. | Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis |
CN105243139A (zh) * | 2015-10-10 | 2016-01-13 | 天津大学 | 一种基于深度学习的三维模型检索方法及其检索装置 |
US20160101356A1 (en) | 2014-01-02 | 2016-04-14 | Ubitus Inc. | System And Method For Delivering Media Over Network |
CN107222468A (zh) * | 2017-05-22 | 2017-09-29 | 北京邮电大学 | 增强现实处理方法、终端、云端服务器和边缘服务器 |
CN107578467A (zh) | 2017-09-04 | 2018-01-12 | 苏州英诺迈医学创新服务有限公司 | 一种医疗器械三维建模方法及装置 |
CN108600728A (zh) | 2018-05-10 | 2018-09-28 | Oppo广东移动通信有限公司 | 一种数据传输方法及终端、计算机存储介质 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271469B (zh) * | 2008-05-10 | 2013-08-21 | 深圳先进技术研究院 | 一种基于三维模型库下二维图像的识别和物体的重建方法 |
US20120109375A1 (en) * | 2009-06-26 | 2012-05-03 | Lizard Technology | Sound localizing robot |
US20140201029A9 (en) * | 2010-09-03 | 2014-07-17 | Joseph Anthony Plattsmier | 3D Click to Buy |
US9721383B1 (en) * | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
CN103731583B (zh) * | 2013-12-17 | 2016-05-18 | 四川金手指时代投资管理有限公司 | 用于拍照智能化合成、打印处理方法 |
CN105760809B (zh) * | 2014-12-19 | 2019-05-31 | 联想(北京)有限公司 | 用于头部姿态估计的方法和设备 |
CN104679831B (zh) * | 2015-02-04 | 2020-07-07 | 腾讯科技(深圳)有限公司 | 一种匹配人体模型的方法及装置 |
KR101940718B1 (ko) * | 2015-09-04 | 2019-01-22 | 한국전자통신연구원 | Rgb-d 영상 기반 사람 영역 추출 장치 및 그 방법 |
CN105511602A (zh) * | 2015-11-23 | 2016-04-20 | 合肥金诺数码科技股份有限公司 | 3d虚拟漫游系统 |
CN106169067B (zh) * | 2016-07-01 | 2019-05-28 | 恒东信息科技无锡有限公司 | 一种高通量警用动态人脸采集比对方法及系统 |
EP3506238A4 (en) * | 2016-08-26 | 2019-11-27 | Panasonic Intellectual Property Corporation of America | THREE-DIMENSIONAL INFORMATION PROCESSING METHOD AND THREE-DIMENSIONAL INFORMATION PROCESSING DEVICE |
JP6840968B2 (ja) * | 2016-09-20 | 2021-03-10 | 富士通株式会社 | 形状推定方法、形状推定装置および形状推定プログラム |
JP7098857B2 (ja) * | 2017-03-10 | 2022-07-12 | 国際航業株式会社 | 物理量分布図の作成方法、及び物理量分布図作成装置 |
CN107464280B (zh) * | 2017-07-31 | 2020-08-07 | Oppo广东移动通信有限公司 | 用户3d建模的匹配方法和装置 |
CN108023942A (zh) * | 2017-11-27 | 2018-05-11 | 中车工业研究院有限公司 | 基于云平台的cad建模数据传输方法、服务器和客户端 |
CN108182728A (zh) * | 2018-01-19 | 2018-06-19 | 武汉理工大学 | 一种基于Leap Motion的在线体感三维建模方法及系统 |
CN108399367B (zh) * | 2018-01-31 | 2020-06-23 | 深圳市阿西莫夫科技有限公司 | 手部动作识别方法、装置、计算机设备及可读存储介质 |
CN108446628A (zh) * | 2018-03-19 | 2018-08-24 | 广东欧珀移动通信有限公司 | 屏幕控制方法、装置、移动终端及计算机可读存储介质 |
CN108446680B (zh) * | 2018-05-07 | 2021-12-21 | 西安电子科技大学 | 一种基于边缘计算的人脸认证系统中的隐私保护方法及系统 |
CN112492290B (zh) | 2018-09-30 | 2022-11-11 | Oppo广东移动通信有限公司 | 一种数据处理方法、服务器和计算机存储介质 |
-
2018
- 2018-09-30 CN CN202011409348.8A patent/CN112492290B/zh active Active
- 2018-09-30 CN CN201811161566.7A patent/CN109410319B/zh active Active
-
2019
- 2019-09-27 US US16/585,120 patent/US11044457B2/en active Active
- 2019-09-29 WO PCT/CN2019/109152 patent/WO2020063978A1/en active Application Filing
- 2019-09-29 KR KR1020217002089A patent/KR102480642B1/ko active IP Right Grant
- 2019-09-29 AU AU2019349369A patent/AU2019349369B2/en active Active
- 2019-09-29 BR BR112021001654-6A patent/BR112021001654A2/pt unknown
- 2019-09-29 JP JP2021525360A patent/JP2021532509A/ja active Pending
- 2019-09-30 EP EP19200524.7A patent/EP3629235B1/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130170541A1 (en) | 2004-07-30 | 2013-07-04 | Euclid Discoveries, Llc | Video Compression Repository and Model Reuse |
US20150009214A1 (en) * | 2013-07-08 | 2015-01-08 | Vangogh Imaging, Inc. | Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis |
US20160101356A1 (en) | 2014-01-02 | 2016-04-14 | Ubitus Inc. | System And Method For Delivering Media Over Network |
CN105243139A (zh) * | 2015-10-10 | 2016-01-13 | 天津大学 | 一种基于深度学习的三维模型检索方法及其检索装置 |
CN107222468A (zh) * | 2017-05-22 | 2017-09-29 | 北京邮电大学 | 增强现实处理方法、终端、云端服务器和边缘服务器 |
CN107578467A (zh) | 2017-09-04 | 2018-01-12 | 苏州英诺迈医学创新服务有限公司 | 一种医疗器械三维建模方法及装置 |
CN108600728A (zh) | 2018-05-10 | 2018-09-28 | Oppo广东移动通信有限公司 | 一种数据传输方法及终端、计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112492290B (zh) | 2022-11-11 |
US11044457B2 (en) | 2021-06-22 |
CN109410319A (zh) | 2019-03-01 |
KR20210024059A (ko) | 2021-03-04 |
WO2020063978A1 (en) | 2020-04-02 |
AU2019349369A1 (en) | 2021-01-28 |
CN112492290A (zh) | 2021-03-12 |
CN109410319B (zh) | 2021-02-02 |
JP2021532509A (ja) | 2021-11-25 |
EP3629235A1 (en) | 2020-04-01 |
BR112021001654A2 (pt) | 2021-05-04 |
US20200107010A1 (en) | 2020-04-02 |
EP3629235B1 (en) | 2023-08-09 |
AU2019349369B2 (en) | 2022-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102480642B1 (ko) | 데이터 처리 방법, 서버 및 컴퓨터 저장 매체 | |
CN108495112B (zh) | 数据传输方法及终端、计算机存储介质 | |
CN109561434A (zh) | 用于保证通信服务的方法、设备以及计算机可读介质 | |
CN109272576B (zh) | 一种数据处理方法、mec服务器、终端设备及装置 | |
CN109413405B (zh) | 一种数据处理方法、终端、服务器和计算机存储介质 | |
WO2020063168A1 (zh) | 一种数据处理方法、终端、服务器和计算机存储介质 | |
US11556100B2 (en) | Control method, related device, and system | |
WO2020063171A1 (zh) | 数据传输方法、终端、服务器和存储介质 | |
CN114679382A (zh) | 智能组件更新的方法和通信装置 | |
CN108632376B (zh) | 一种数据处理方法、终端、服务器和计算机存储介质 | |
CN109147043B (zh) | 一种数据处理方法、服务器及计算机存储介质 | |
CN109246409B (zh) | 一种数据处理方法、终端、服务器和计算机存储介质 | |
WO2020062919A1 (zh) | 一种数据处理方法、mec服务器、终端设备 | |
RU2800627C2 (ru) | Способ обработки данных, сервер и компьютерный носитель данных | |
CN109151435B (zh) | 一种数据处理方法、终端、服务器及计算机存储介质 | |
CN109345623B (zh) | 模型校验方法及服务器、计算机存储介质 | |
CN109299323B (zh) | 一种数据处理方法、终端、服务器和计算机存储介质 | |
CN109302598B (zh) | 一种数据处理方法、终端、服务器和计算机存储介质 | |
CN109325997B (zh) | 模型校验方法及服务器、计算机存储介质 | |
WO2024067245A1 (zh) | 模型匹配的方法和通信装置 | |
WO2024036453A1 (zh) | 一种联邦学习方法及相关装置 | |
An et al. | Channel-Aware Throughput Maximization for Cooperative Data Fusion in CAV | |
CN117676765A (zh) | 数据转发方法、装置、设备及可读存储介质 | |
CN113746652A (zh) | 确定主备保护对的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |