KR102521565B1 - 3차원 그래프 뉴럴 네트워크 검출을 이용하여 증강현실 서비스를 제공하고 재생하는 장치 및 방법 - Google Patents

3차원 그래프 뉴럴 네트워크 검출을 이용하여 증강현실 서비스를 제공하고 재생하는 장치 및 방법 Download PDF

Info

Publication number
KR102521565B1
KR102521565B1 KR1020210000415A KR20210000415A KR102521565B1 KR 102521565 B1 KR102521565 B1 KR 102521565B1 KR 1020210000415 A KR1020210000415 A KR 1020210000415A KR 20210000415 A KR20210000415 A KR 20210000415A KR 102521565 B1 KR102521565 B1 KR 102521565B1
Authority
KR
South Korea
Prior art keywords
augmented reality
point cloud
color point
graph
color
Prior art date
Application number
KR1020210000415A
Other languages
English (en)
Other versions
KR20220098572A (ko
Inventor
정치서
정계동
정태원
김인선
권순철
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020210000415A priority Critical patent/KR102521565B1/ko
Publication of KR20220098572A publication Critical patent/KR20220098572A/ko
Application granted granted Critical
Publication of KR102521565B1 publication Critical patent/KR102521565B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

단말 장치와 증강현실 서버를 포함하는 증강현실 서비스 제공 시스템이 개시된다. 단말 장치는 깊이 맵 및 컬러 이미지를 이용하여 3차원 컬러 포인트 클라우드를 생성하고, 상기 3차원 포인트 클라우드를 증강현실 서버에 전송한다. 증강현실 서버는 3차원 컬러 포인트 클라우드를 그래프로 변환하고, 그래프에 기초하여 인식된 오브젝트에 맞는 증강현실 컨텐츠를 상기 단말기에 제공한다. 단말 장치는 카메라로부터 획득되는 이미지와 함께 증강현실 컨텐츠를 재생한다.

Description

3차원 그래프 뉴럴 네트워크 검출을 이용하여 증강현실 서비스를 제공하고 재생하는 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AND REGENERATING AUGMENTED REALITY SERVICE USING 3 DIMENSIONAL GRAPH NEURAL NETWORK DETECTION}
본 발명은 증강현실(Augmented Reality, AR) 서비스를 제공하고 재생하는 장치 및 방법에 관한 것이다.
증강현실은 현실 세계에 가상의 컨텐츠를 제공하는 기술로 물체에 부가적인 정보를 3차원(3-dimention, 3D) 컨텐츠를 통해 실시간으로 제공해주는 기술이다. 과거에는 증강현실을 체험하기 위해 고성능의 기기가 필요하였으나, 모바일 단말기의 성능 향상과 비행 시간(Time of Flight, ToF) 센서와 같은 다양한 센서의 탑재를 통해 보다 손쉽게 증강현실을 구현할 수 있게 되었다. 또한 5G와 같은 고속의 무선 인터넷의 상용화로 모바일 증강현실 분야의 중요성은 점차 커지고 있다.
증강현실 서비스를 제공하기 위해서 서비스 대상이 되는 오브젝트를 정확하게 인식하는 것은 중요하다. 오브젝트를 인식하는 방법에는 2차원 정보로 인식하는 방법과 3차원 정보를 이용하여 인식하는 방법이 있다. 딥 러닝을 이용한 3차원 오브젝트를 인식하는 방법에는 컨볼루션 뉴럴 네트워크(Convolution Neural Network, CNN)을 이용하는 것이 대표적이다. 3D CNN의 경우 전체 공간을 복셀(voxel)을 기반으로 직육면체 그리드 공간을 구성하고 컨볼루션 과정을 통해 특징 맵(feature map)을 추출한다. 커널 사이즈에 따라 지역적 특징과 전체적 특징을 파악할 수 있는 장점이 있으나, 그리드를 기반으로 진행 시 빈공간까지 연산을 해야 하고 특징을 추출하기 위해 커널 사이즈마다 컨볼루션을 진행해야 하기 때문에 연산량이 많다는 단점이 있다.
본 발명이 이루고자 하는 기술적 과제는 연산량을 줄여 실시간으로 증강현실 서비스를 제공할 수 있게 하는 장치 및 방법을 제공하는 것을 제시하는 것에 있다.
본 발명의 일 실시예에 따른 증강현실 서버의 증강현실 서비스 제공 방법은 단말기로부터 3차원 컬러 포인트 클라우드를 수신하는 단계; 상기 3차원 컬러 포인트 클라우드를 그래프로 변환하는 단계; 상기 그래프에 기초하여 오브젝트를 인식하는 단계; 상기 인식된 오브젝트에 맞는 증강현실 컨텐츠를 맵핑하는 단계; 및 상기 맵핑된 증강현실 컨텐츠를 상기 단말기에 제공하는 단계를 포함할 수 있다.
상기 증강현실 서비스 제공 방법은 상기 그래프에 기초하여 상기 오브젝트의 경계 상자를 도출하는 단계; 상기 경계 상자의 한 꼭지점을 앵커 포인트로 지정하는 단계; 및 상기 앵커 포인트를 상기 맵핑된 증강현실 컨텐츠와 함께 상기 단말기에 제공하는 단계를 더 포함할 수 있다.
상기 그래프에 기초하여 상기 오브젝트를 인식하는 단계는 키 포인트를 추출하는 단계와, 상기 키 포인트를 중심으로 상기 3차원 컬러 포인트 클라우드의 연결 관계를 나타내는 에지 리스트를 생성하는 단계와, 상기 에지 리스트를 이용하여 상기 오브젝트를 인식하고 상기 오브젝트의 경계 상자를 도출하는 단계를 포함할 수 있다.
상기 키 포인트를 추출하는 단계는 상기 3차원 컬러 포인트 클라우드를 포함하는 공간을 3차원 화소 단위로 분할하는 단계와, 각 3차원 화소에서 상기 키 포인트를 추출하는 단계를 포함할 수 있다.
상기 에지 리스트를 이용하여 상기 오브젝트를 인식하고 상기 오브젝트의 경계 상자를 도출하는 단계는, 상기 에지 리스트를 이용하여 상기 키 포인트의 특징을 통합하여 특징 맵을 생성하는 단계와, 상기 특징 맵을 이용하여 상기 오브젝트를 인식하고 상기 오브젝트의 경계 상자를 도출하는 단계를 포함할 수 있다.
상기 3차원 컬러 포인트 클라우드를 상기 그래프로 변환하는 단계는, 상기 3차원 컬러 포인트 클라우드에 대하여 라벨링을 수행하여 라벨링 파일을 생성하는 단계와, 상기 라벨링 파일에 기초하여 상기 3차원 컬러 포인트 클라우드를 상기 그래프로 변환하는 단계를 포함할 수 있다.
상기 3차원 컬러 포인트 클라우드는 상기 단말기에서 다운샘플링된 것일 수 있다.
본 발명의 일 실시예에 따른 단말 장치의 증강현실 재생 방법은 깊이 맵 및 컬러 이미지를 이용하여 3차원 컬러 포인트 클라우드를 생성하는 단계; 상기 3차원 포인트 클라우드를 증강현실 서버에 전송하는 단계; 상기 3차원 포인트 클라우드에 대응하는 증강현실 컨텐츠를 상기 증강현실 서버로부터 수신하는 단계; 및 카메라로부터 획득되는 이미지와 함께 상기 증강현실 컨텐츠를 재생하는 단계를 포함할 수 있다.
상기 증강현실 재생 방법은 상기 3차원 포인트 클라우드에 대응하는 앵커 포인트를 상기 증강현실 서버로부터 수신하는 단계를 더 포함하고, 상기 증강현실 컨텐츠는 상기 카메라로부터 획득되는 이미지와 함께 상기 앵커 포인트에 재생될 수 있다.
상기 3차원 포인트 클라우드를 상기 증강현실 서버에 전송하는 단계는, 상기 3차원 컬러 포인트 클라우드를 다운샘플링하는 단계와, 상기 다운샘플링된 3차원 포인트 클라우드를 상기 증강현실 서버에 전송하는 단계를 포함할 수 있다.
상기 깊이 맵은 ToF 센서를 통해 획득되고, 상기 컬러 이미지는 상기 카메라를 통해 획득될 수 있다.
본 발명의 실시예에 따르면, 연산량을 줄임으로써, 증강현실 컨텐츠가 단말기에 미리 설치되어 있을 필요 없이, 서버는 실시간으로 증강현실 서비스를 단말기에 제공할 수 있다.
특히, 본 발명의 실시예에 따르면, 학습 시 그래프 구조를 이용하여 버텍스(vertex)를 중심으로 특징을 통합하여 특징 맵을 구성하고 버텍스 및 포인트 연산을 하기 때문에 빈 공간에 대한 연산이 불필요하다.
또한 본 발명의 실시예에 따르면, 특징을 추출하기 위해 그래프 구조를 새로 생성하는 것이 아닌 기존에 만들어 놓은 구조를 재활용하기 때문에 연산에 있어서 낭비가 없다는 장점이 있다.
도 1은 본 발명의 실시예에 따른 증강현실 서비스 제공 시스템을 보여준다.
도 2는 본 발명의 실시예에 따른 증강현실 서비스의 과정을 보여준다.
도 3은 본 발명의 실시예에 따른 증강현실 서비스 제공을 위한 학습 과정을 보여준다.
도 4는 본 발명의 실시예에 따른 증강현실 서비스 제공을 위한 전체적인 프레임워크를 보여준다.
도 5는 본 발명의 실시예에 따라 RGB 이미지와 깊이 맵을 사용하여 생성되는 포인트 클라우드를 보여준다.
도 6은 본 발명의 실시예에 따른 증강현실 서비스의 구현을 위한 프레임워크를 보여준다.
도 7은 본 발명의 실시예에 따른 GNN 검출 결과 및 증강현실 구현을 보여준다.
도 8은 본 발명의 실시예에 따른 단말기의 블록도이다.
도 9는 본 발명의 실시예에 따른 증강현실 서버의 블록도이다.
도 10은 본 발명의 실시예에 따른 증강현실 서비스를 제공하는 방법을 보여주는 래더 다이어 그램이다.
이하에서는 도면을 참고하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략되었다.
도 1은 본 발명의 실시예에 따른 증강현실 서비스 제공 시스템을 보여준다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 증강현실 서비스 제공 시스템은 클라이언트에 해당하는 단말기(100) 및 증강현실 서버(200)를 포함한다. 단말기(100) 및 증강현실 서버(200)의 동작은 이하에서 설명된다.
도 2는 본 발명의 실시예에 따른 증강현실 서비스의 과정을 보여준다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 단말기(100)는 ToF 센서를 통해 깊이 맵을 획득하고(S101), 카메라를 통해 컬러 이미지를 획득한다(S102). 이때 컬러는 RGB로 표현될 수도 있고, 휘도(Luminance) 및 색차(Chrominance)로 표현될 수도 있다.
이후, 깊이 맵과 컬러 이미지를 이용하여 3D 컬러 포인트 클라우드가 생성된다(S103).
3D 컬러 포인트 클라우드로부터 그래프의 노드로 사용될 키 포인트인 특징 포인트가 추출되고(S105), 특징 포인트를 이용하여 3D 컬러 포인트 클라우드는 그래프로 변환된다(S107). Graph neural network (GNN) 검출 과정(S109)을 통해 오브젝트와 경계 상자가 인식되고 경계 상자의 한 꼭지점은 앵커 포인트로 지정된다(S111).
이후, 증강현실 서버(200)는 앵커 포인트와 오브젝트에 해당하는 증강현실 컨텐츠를 단말기(100)에 제공한다(S113).
앵커는 공간이나 평면에 증강현실을 제공하는 위치를 나타낸다. 앵커는 공간상에 가상 오브젝트가 표시될 위치를 나타내는 기준점으로서, 간단하게 공간 좌표계로 표현될 수 있다. 서비스 목적에 따라 표시될 오브젝트가 방향성을 가지는 경우 앵커는 공간상 x, y, z 좌표뿐만 아니라 각 축의 회전 값까지 포함할 수 있다.
증강현실 서비스를 제공하기 위하여, 크게 4 종류의 앵커가 사용되고 있다. 이미지 앵커는 이미지를 마커로 인식하여 구현되고, 그라운드 앵커는 바닥면을 인식하여 구현되며, 포인트 클라우드 앵커는 포인트 클라우드의 특징점을 기반으로 생성된다. 오브젝트 앵커는 오브젝트를 인식하여 생성되며, 특정 오브젝트에 맞는 증강현실 서비스를 제공하기 위해서는 사용하는 것이 적합하다고 평가되고 있다. 앵커 포인트는 특징점을 추출하여 추정될 수도 있고, 딥 러닝과 접목시켜 추정될 수도 있다.
도 3은 본 발명의 실시예에 따른 증강현실 서비스 제공을 위한 학습 과정을 보여준다.
도 3에 도시된 바와 같이, 증강현실 서비스 제공을 위한 학습은 포인트 클라우드 생성부(Point Cloud Generator)(310), 데이터 라벨링 처리부(Data Labeling Processor)(320), GNN 모델 생성 레이어(330), 박스 재결합 모듈(Box Recombination Module)(340), 앵커 해석부(Anchor translator)(350)를 통해 수행될 수 있으며, GNN 모델 생성 레이어(330)는 포인트 클라우드를 그래프로 변환시키는 그래프 생성부(Graph Generator)(331), 학습 레이어를 포함하는 GNN 학습 처리부(GNN Learning Processor)(332), 학습을 통해 도출된 최종 모델을 저장하는 모델 저장부(Model Saver)(333)을 포함할 수 있다.
포인트 클라우드 생성부(310)는 단말기(100)에서 생성된 깊이 맵으로 포인트 클라우드를 생성하고, 생성된 포인트 클라우드를 데이터 라벨링 처리부(320)로 전달한다.
데이터 라벨링 처리부(320)는 labeling을 진행한다. 오브젝트에 대한 경계 상자의 위치나 크기는 학습에 맞는 라벨 파일로 자동 변환될 수 있다. 데이터 라벨링 처리부(320)는 생성된 라벨과 포인트 클라우드를 GNN 모델 생성 레이어(330)의 그래프 생성부(Graph Generator)(331)로 전달한다.
그래프 생성부(331)는 입력된 포인트 클라우드를 voxel 단위로 공간을 분할하고 각 voxel에서 그래프의 노드로 사용할 키포인트를 추출한다. 그래프 생성부(331)는 학습 시 overfit을 방지하기 위해 voxel 내에 포함되는 포인트 클라우드 중 랜덤으로 한 포인트를 키포인트로 지정할 수 있다. 그래프 생성부(331)는 생성된 키포인트를 중심으로 포인트 클라우드의 연결 관계를 나타내는 에지 리스트(edge list)를 생성하여 GNN 학습 처리부(332)로 전달한다.
GNN 학습 처리부(332)는 키 포인트의 고유한 RGB 특성을 그래프 연산을 통해 각 그래프의 중심이 되는 버텍스(vertex)로 통합(aggregate)한다. GNN 학습 처리부(332)는 통합된 키 포인트의 특징 맵(feature map)을 통해 분류(classification)과 박스 검출(box detection)을 진행한다. GNN 학습 처리부(332)에서 일정 수준 학습이 진행되면, GNN 학습 처리부(332)는 모델 저장부(333)를 호출하여 모델 저장부(333)가 해당 학습 모델을 저장할 수 있도록 한다.
모델 저장부(333)에 저장된 학습 모델은 박스 재결합 모듈(340)로 전달되고, 박스 재결합 모듈(340)은 키 포인트마다 예측되는 경계 상자를 오브젝트 당 하나의 경계 상자로 확정한다. 박스 재결합 모듈(340)은 확정된 오브젝트의 오른쪽 상단의 포인트와 같은 한 포인트를 증강현실 서비스를 위한 앵커 포인트로서 앵커 해석부(350)로 전달한다. 앵커 해석부(350)는 전달받은 포인트를 증강현실 서비스를 위한 앵커 포인트로 사용한다.
도 4는 본 발명의 실시예에 따른 증강현실 서비스 제공을 위한 전체적인 프레임워크를 보여준다.
도 4에서 보여지는 바와 같이, 본 발명의 실시예에 따른 증강현실 서비스 제공을 위한 전체적인 프레임워크는 포인트 클라우드 생성부(Point cloud generator)(410), GNN 처리부(GNN Processor)(420), 증강현실 컨텐츠 맵핑부(AR Contents Mapper)(430), 및 앵커 해석부(Anchor Translator)(440)를 포함한다.
단말기(100)를 통해 얻은 깊이 맵과 RGB 이미지와 같은 정보는 하이브리드 앱에 있는 포인트 클라우드 생성부(410)에 입력되고, 포인트 클라우드로 변환된다. 단말기(100)를 위해 다운샘플링된 포인트 클라우드는 증강현실 서버(200)에 있는 GNN 처리부(420)에 제공된다.
GNN 처리부(420)는 포인트 클라우드를 그래프로 변환하고 오브젝트 인식을 수행하여 오브젝트의 클래스와 경계 상자를 도출한다. 도출된 오브젝트와 경계 상자에 대한 정보는 증강현실 컨텐츠 맵핑부(430)로 전달된다.
증강현실 컨텐츠 맵핑부(430)는 증강현실 컨텐츠를 가지고 있으며 인식된 오브젝트에 맞는 증강현실 컨텐츠를 맵핑하고, 검출된 경계 상자의 오른쪽 상단의 점을 앵커로 지정한다. 지정된 앵커와 증강현실 컨텐츠는 하이브리드 앱으로 전달되어 앵커 해석부(440)에 의해 증강현실 서비스를 위한 카메라 좌표계의 점으로 변환된다. 최종적으로 단말기(100)는 사용자에게 WebXR과 같은 증강현실 프레임워크를 통해 증강현실 서비스를 제공한다.
도 5는 본 발명의 실시예에 따라 RGB 이미지와 깊이 맵을 사용하여 생성되는 포인트 클라우드를 보여준다.
도 5에서, RGB 이미지(501)는 RGB 카메라 센서를 이용하여 획득되었고, 깊이 맵(502)은 ToF 센서를 통해 획득되었다. RGB 이미지(501)와 깊이 맵(502)를 이용하여, 도 5에서 도시되는 바와 같은 포인트 클라우드(503)가 생성될 수 있다.
도 6은 본 발명의 실시예에 따른 증강현실 서비스의 구현을 위한 프레임워크를 보여준다.
도 6에 도시된 바와 같이, 증강현실 서비스는 단말기(100)와 증강현실 서버(200)를 통해 이루어질 수 있다.
단말기(100)는 오브젝트의 스캔(601)을 통해 깊이 맵(602)과 RGB 이미지(603)를 획득하고, 깊이 맵(602)과 RGB 이미지(603)를 이용하여 포인트 클라우드를 생성한다. 그리고, 단말기(100)는 증강현실 서버(200)와의 원활한 통신을 위해 포인트 클라우드를 다운샘플링하여 서버로 전송한다. 단말기(100)는 소켓 통신을 이용하여 바이너리 형태로 포인트 클라우드를 서버에 전송하여 증강현실 서버(200)가 이 포인트 클라우드를 파일로 포인트 클라우드 저장소(611)에 저장할 수 있도록 할 수 있다.
증강현실 서버(200)는 파일 확인부(File Checker)(612)를 통해 포인트 클라우드 저장소(611)에 포인트 클라우드 파일이 저장되어 있는지를 확인한다. 포인트 클라우드 저장소(611)에 포인트 클라우드 파일이 저장되어 있는 경우, GNN 예측 레이어(613)는 GNN 검출(GNN Detection)을 수행할 수 있다.
그래프 생성부(614)는 포인트 클라우드 저장소(611)에 저장되어 있는 포인트 클라우드 파일을 이용하여 그래프를 생성하고, 모델 로딩부(615)는 GNN 예측을 위해 미리 학습시킨 모델을 로딩하며, 예측부(616)는 그래프를 이용하여 미리 학습시킨 모델을 검출한다. 만약 학습시킨 오브젝트가 검출되었을 경우 서버(200)는 앵커 포인트를 파일로 웹 서버 폴더(616)에 저장할 수 있다.
AR 프레임워크(605)는 웹 서버 폴더(616)에 앵커 포인트 파일이 저장되어 있는지를 확인한다. 웹 서버 폴더(616)에 앵커 포인트 파일이 웹 서버 폴더(616)에 저장되어 있는 경우, AR 프레임워크(605)는 앵커 포인트와 오브젝트에 맞는 증강현실 컨텐츠를 서버(200)로부터 수신하여 증강현실을 구현할 수 있다.
AR 프레임워크(605)는 웹 브라우저를 통해 증강현실 서비스를 제공하는 프레임 워크이다(AR SDK). 일반적으로 모바일 기기에서 증강현실 서비스 또는 가상현실(virtual reality, VR) 서비스를 제공받기 위해서는 미리 운영체제에 맞는 어플리케이션을 다운받는 과정이 필요하다. 이 경우 모바일 기기의 저장 공간이 사용되며 서비스에 필요한 증강현실 컨텐츠 또한 기기에 저장되어야 하기 때문에 접근성이 떨어진다는 단점이 있다. AR 프레임워크(605)는 서비스를 웹 페이지를 통해 제공하기 때문에 추가로 어플리케이션이나 컨텐츠를 받아 놓을 필요가 없으며, 실시간으로 증강현실 서비스를 제공할 수 있다. 증강현실 컨텐츠의 용량이 크기 때문에 기존에는 웹페이지를 통해 증강현실 서비스의 실시간 제공이 어려웠으나, 통신 기술의 발달은 증강현실 서비스의 실시간 서비스를 가능하게 하고 있다. 증강현실의 경우 단말기는 웹 브라우저를 통해 카메라 사용 권한을 받아온 후 해당 카메라를 사용하며, WebGL로 생성된 좌표계를 통해 증강현실 서비스를 제공할 수 있다.
도 7은 본 발명의 실시예에 따른 GNN 검출 결과 및 증강현실 구현을 보여준다.
도 7에서, 입력된 포인트 클라우드로부터 서비스를 제공하고자 하는 건물이 오브젝트로서 검출된다. 이 검출 결과를 기반으로 단말기(100)는 WebXR의 Hit Test 기능을 이용하여 검출된 건물의 위에 WebXR의 기본 증강현실 컨텐츠인 해바라기 모델을 표시한다.
도 8은 본 발명의 실시예에 따른 단말기의 블록도이다.
단말기(100)는 비행 시간(Time of Flight, ToF) 센서(110), 깊이 맵 획득부(120), 카메라(130), 컬러 이미지 획득부(140), 포인트 클라우드 생성부(150), 다운 샘플링부(160), 포인트 클라우드 전송부(170), 증강현실 컨텐츠 수신부(180), 증강현실 컨텐츠 재생부(190)를 포함한다. 단말기(100)의 구성 요소의 구체적인 동작은 도 10의 증강현실 서비스 제공 방법에서 설명된다.
도 9는 본 발명의 실시예에 따른 증강현실 서버의 블록도이다.
증강현실 서버(200)는 포인트 클라우드 수신부(210), 데이터 라벨링 처리부(220), 학습 처리부(230), 학습 모델 저장부(235), 증강현실 컨텐츠 맵핑부(240), 및 증강현실 컨텐츠 제공부(250)를 포함한다. 증강현실 서버(200)의 구성 요소의 구체적인 동작은 도 10의 증강현실 서비스 제공 방법에서 설명된다.
도 10은 본 발명의 실시예에 따른 증강현실 서비스를 제공하는 방법을 보여주는 래더 다이어 그램이다.
먼저, 단말기(100)의 깊이 맵 획득부(120)는 ToF 센서(110)를 통해 깊이 맵을 획득한다(S201). ToF 센서를 이용할 경우 어두운 환경에서도 깊이 정보를 획득하여 포인트 클라우드를 생성할 수 있다.
다음, 단말기(100)의 컬러 이미지 획득부(140)는 카메라(130)를 통해 컬러 이미지를 획득한다(S203). 컬러 이미지는 RGB로 표현될 수도 있고, 휘도(Luminance) 및 색차(Chrominance)로 표현될 수도 있다.
단말기(100)의 포인트 클라우드 생성부(150)는 획득한 깊이 맵 및 컬러 이미지를 이용하여 3차원 컬러 포인트 클라우드를 생성한다(S205).
단말기(100)의 다운샘플링부(160)는 데이터의 양을 줄이기 위하여 3차원 컬러 포인트 클라우드를 다운샘플링한다(S207).
단말기(100)의 포인트 클라우드 전송부(170)는 다운샘플링된 3차원 컬러 포인트 클라우드를 증강현실 서버(200)에 전송하고, 증강현실 서버(200)의 포인트 클라우드 수신부(210)는 단말기(100)로부터 다운샘플링된 3차원 컬러 포인트 클라우드를 수신한다(S209). 본 발명의 다른 실시예에서는, 단말기(100)는 3차원 컬러 포인트 클라우드로부터 특징점을 추출하여, 추출된 특징점을 증강현실 서버(200)에 전송하여 연산량을 더욱 줄이고, 오브젝트 인식의 정확도를 높일 수도 있다.
증강현실 서버(200)의 데이터 라벨링 처리부(220)는 3차원 컬러 포인트 클라우드에 대하여 라벨링을 수행하여 라벨링 파일을 생성한다(S211).
증강현실 서버(200)의 학습 처리부(230)는 라벨링 파일에 기초하여 3차원 컬러 포인트 클라우드를 그래프로 변환한다(S213). 여기서 그래프는 오브젝트인 노드와 이들의 관계인 에지의 셋을 모델링하는 데이터 구조일 수 있다. 구체적으로, 학습 처리부(230)는 3차원 컬러 포인트 클라우드를 포함하는 공간을 3D 화소인 복셀(voxel) 단위로 분할할 수 있다. 학습 처리부(230)는 각 voxel에서 그래프의 노드로 사용될 키 포인트를 추출할 수 있다. 학습 처리부(230)는 학습 시 overfit을 방지하기 위해 voxel 내에 포함되는 포인트 클라우드 중 랜덤으로 한 포인트를 키 포인트로 결정할 수 있다. 학습 처리부(230)는 생성된 키포인트를 중심으로 3차원 컬러 포인트 클라우드의 연결 관계를 나타내는 에지 리스트(edge list)를 생성할 수 있다. 학습 처리부(230)는 그래프 구조를 이용하여 vertex를 중심으로 키포인트의 고유한 컬러 노드 특징을 통합(aggregate)하여 통합된 노드 특징(aggregated node feature)인 특징 맵(feature map)을 생성할 수 있다.
증강현실 서버(200)의 학습 처리부(230)는 그래프에 기초하여 오브젝트를 인식하여 오브젝트의 클래스와 경계 상자를 학습 모델로서 도출한다(S215). 학습 처리부(230)는 특징 맵을 이용하여 분류(classification)를 수행하여 오브젝트의 클래스를 도출하고, 박스 검출(box detection)을 수행하여 오브젝트의 경계 상자를 검출할 수 있다. 학습 처리부(230)는 학습 모델 저장부(235)에 저장된 학습 모델들을 이용하여 오브젝트의 학습 모델을 도출할 수 있고, 도출한 학습 모델을 학습 모델 저장부(235)에 저장할 수 있다.
증강현실 서버(200)의 증강현실 컨텐츠 맵핑부(240)는 인식된 오브젝트에 맞는 증강현실 컨텐츠를 맵핑한다(S217).
증강현실 서버(200)의 증강현실 컨텐츠 맵핑부(240)는 검출된 경계 상자의 한 꼭지점을 앵커 포인트로 지정한다(S219).
증강현실 서버(200)의 증강현실 컨텐츠 제공부(250)는 맵핑된 증강현실 컨텐츠와 앵커 포인트를 단말기(100)에 제공하고, 단말기(100)의 증강현실 컨텐츠 수신부(180)는 맵핑된 증강현실 컨텐츠와 앵커 포인트를 증강현실 서버(200)로부터 수신한다(S221). 단말기(100)가 추출된 특징점을 증강현실 서버(200)에 전송한 경우, 증강현실 서버(200)는 특징점에 맵핑되는 증강현실 컨텐츠와 앵커 포인트를 단말기(100)에 전송할 수 있다.
단말기(100)의 증강현실 컨텐츠 재생부(190)는 카메라(130)로부터 획득되는 이미지와 함께 앵커 포인트에 증강현실 컨텐츠를 재생한다(S223).
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며 이에 한정되지 않고, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 보호 범위는 특허청구범위의 기술적 사상에 의하여 정해져야 한다.

Claims (11)

  1. 증강현실 서버의 증강현실 서비스 제공 방법에 있어서,
    단말기로부터 3차원 컬러 포인트 클라우드를 수신하는 단계;
    상기 3차원 컬러 포인트 클라우드를 그래프로 변환하는 단계;
    상기 그래프에 기초하여 오브젝트를 인식하는 단계;
    상기 인식된 오브젝트에 맞는 증강현실 컨텐츠를 맵핑하는 단계; 및
    상기 맵핑된 증강현실 컨텐츠를 상기 단말기에 제공하는 단계; 를 포함하고,
    상기 3차원 컬러 포인트 클라우드는 상기 단말기에서 다운샘플링되고,
    상기 그래프에 기초하여 상기 오브젝트를 인식하는 단계는,
    키 포인트를 추출하는 단계와,
    상기 키 포인트를 중심으로 상기 3차원 컬러 포인트 클라우드의 연결 관계를 나타내는 에지 리스트를 생성하는 단계와,
    상기 에지 리스트를 이용하여 상기 오브젝트를 인식하고 상기 오브젝트의 경계 상자를 도출하는 단계를 포함하고,
    상기 키 포인트를 추출하는 단계는,
    상기 3차원 컬러 포인트 클라우드를 포함하는 공간을 3차원 화소 단위로 분할하는 단계와,
    각 3차원 화소에서 상기 키 포인트를 추출하는 단계를 포함하는,
    증강현실 서비스 제공 방법.
  2. 제1항에 있어서,
    상기 그래프에 기초하여 상기 오브젝트의 경계 상자를 도출하는 단계;
    상기 경계 상자의 한 꼭지점을 앵커 포인트로 지정하는 단계; 및
    상기 앵커 포인트를 상기 맵핑된 증강현실 컨텐츠와 함께 상기 단말기에 제공하는 단계를 더 포함하는
    증강현실 서비스 제공 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 에지 리스트를 이용하여 상기 오브젝트를 인식하고 상기 오브젝트의 경계 상자를 도출하는 단계는
    상기 에지 리스트를 이용하여 상기 키 포인트의 특징을 통합하여 특징 맵을 생성하는 단계와,
    상기 특징 맵을 이용하여 상기 오브젝트를 인식하고 상기 오브젝트의 경계 상자를 도출하는 단계를 포함하는
    증강현실 서비스 제공 방법.
  6. 제1항에 있어서,
    상기 3차원 컬러 포인트 클라우드를 상기 그래프로 변환하는 단계는
    상기 3차원 컬러 포인트 클라우드에 대하여 라벨링을 수행하여 라벨링 파일을 생성하는 단계와,
    상기 라벨링 파일에 기초하여 상기 3차원 컬러 포인트 클라우드를 상기 그래프로 변환하는 단계를 포함하는
    증강현실 서비스 제공 방법.
  7. 삭제
  8. 단말 장치의 증강현실 재생 방법에 있어서,
    깊이 맵 및 컬러 이미지를 이용하여 3차원 컬러 포인트 클라우드를 생성하는 단계;
    상기 3차원 컬러 포인트 클라우드를 증강현실 서버에 전송하는 단계;
    상기 3차원 컬러 포인트 클라우드에 대응하는 증강현실 컨텐츠를 상기 증강현실 서버로부터 수신하는 단계; 및
    카메라로부터 획득되는 이미지와 함께 상기 증강현실 컨텐츠를 재생하는 단계; 를 포함하고,
    상기 3차원 컬러 포인트 클라우드에 대응하는 앵커 포인트를 상기 증강현실 서버로부터 수신하는 단계를 더 포함하고,
    상기 증강현실 컨텐츠는 상기 카메라로부터 획득되는 이미지와 함께 상기 앵커 포인트에 재생되고,
    상기 3차원 컬러 포인트 클라우드를 상기 증강현실 서버에 전송하는 단계는,
    상기 3차원 컬러 포인트 클라우드를 다운샘플링하는 단계와,
    상기 다운샘플링된 3차원 컬러 포인트 클라우드를 상기 증강현실 서버에 전송하는 단계를 포함하는,
    증강현실 재생 방법.
  9. 삭제
  10. 삭제
  11. 제8항에 있어서,
    상기 깊이 맵은 ToF 센서를 통해 획득되고,
    상기 컬러 이미지는 상기 카메라를 통해 획득되는
    증강현실 재생 방법.
KR1020210000415A 2021-01-04 2021-01-04 3차원 그래프 뉴럴 네트워크 검출을 이용하여 증강현실 서비스를 제공하고 재생하는 장치 및 방법 KR102521565B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210000415A KR102521565B1 (ko) 2021-01-04 2021-01-04 3차원 그래프 뉴럴 네트워크 검출을 이용하여 증강현실 서비스를 제공하고 재생하는 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210000415A KR102521565B1 (ko) 2021-01-04 2021-01-04 3차원 그래프 뉴럴 네트워크 검출을 이용하여 증강현실 서비스를 제공하고 재생하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220098572A KR20220098572A (ko) 2022-07-12
KR102521565B1 true KR102521565B1 (ko) 2023-04-13

Family

ID=82419778

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210000415A KR102521565B1 (ko) 2021-01-04 2021-01-04 3차원 그래프 뉴럴 네트워크 검출을 이용하여 증강현실 서비스를 제공하고 재생하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102521565B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102626755B1 (ko) 2023-08-23 2024-01-19 주식회사 엘에스엠케이 증강현실 객체의 자동생성을 위한 프레임워크

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019053597A (ja) * 2017-09-15 2019-04-04 Kddi株式会社 選別装置、方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LU100465B1 (en) * 2017-10-05 2019-04-09 Applications Mobiles Overview Inc System and method for object recognition
KR102357355B1 (ko) * 2017-10-23 2022-01-28 삼성전자주식회사 가상 오브젝트 생성 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019053597A (ja) * 2017-09-15 2019-04-04 Kddi株式会社 選別装置、方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102626755B1 (ko) 2023-08-23 2024-01-19 주식회사 엘에스엠케이 증강현실 객체의 자동생성을 위한 프레임워크

Also Published As

Publication number Publication date
KR20220098572A (ko) 2022-07-12

Similar Documents

Publication Publication Date Title
EP2871612B1 (en) Structure model creation from a three dimensional surface
CN111311756B (zh) 增强现实ar显示方法及相关装置
CN105678842A (zh) 室内环境三维地图制作方法及装置
CN109635783A (zh) 视频监控方法、装置、终端和介质
CN108491848A (zh) 基于深度信息的图像显著性检测方法和装置
CN111932943A (zh) 动态目标的检测方法、装置、存储介质及路基监测设备
US11798181B2 (en) Method and system for location detection of photographs using topographic techniques
CN110490959B (zh) 三维图像处理方法及装置、虚拟形象生成方法以及电子设备
CN113313832B (zh) 三维模型的语义生成方法、装置、存储介质与电子设备
WO2023146241A1 (en) System and method for generating a three-dimensional photographic image
CN114429528A (zh) 图像处理方法、装置、设备、计算机程序及存储介质
CN104484814A (zh) 一种基于视频地图的广告方法及系统
KR20200136723A (ko) 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치
CN113378605B (zh) 多源信息融合方法及装置、电子设备和存储介质
KR102521565B1 (ko) 3차원 그래프 뉴럴 네트워크 검출을 이용하여 증강현실 서비스를 제공하고 재생하는 장치 및 방법
CN112836698A (zh) 一种定位方法、装置、存储介质及电子设备
CN111738972B (zh) 建筑检测系统、方法和装置
CN115527101A (zh) 图像的篡改检测方法和处理器
US8643678B1 (en) Shadow generation
JP6863634B1 (ja) モデル生成装置、学習器生成装置、モデル生成方法、及び、学習器生成方法
CN113570615A (zh) 一种基于深度学习的图像处理方法、电子设备及存储介质
CN117422851A (zh) 虚拟换衣方法及其装置、电子设备
CN114663810B (zh) 基于多模态的物体图像增广方法及装置、设备及存储介质
JP2020166473A (ja) 学習済みモデル生成装置、プログラム及び学習済みモデル生成システム
CN115115699A (zh) 姿态估计方法、装置、相关设备和计算机产品

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant