WO2020111307A1 - 모바일 증강현실을 위한 3d 객체 인식 및 추적 방법 - Google Patents

모바일 증강현실을 위한 3d 객체 인식 및 추적 방법 Download PDF

Info

Publication number
WO2020111307A1
WO2020111307A1 PCT/KR2018/014821 KR2018014821W WO2020111307A1 WO 2020111307 A1 WO2020111307 A1 WO 2020111307A1 KR 2018014821 W KR2018014821 W KR 2018014821W WO 2020111307 A1 WO2020111307 A1 WO 2020111307A1
Authority
WO
WIPO (PCT)
Prior art keywords
object recognition
image
model
camera
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2018/014821
Other languages
English (en)
French (fr)
Inventor
신춘성
강훈종
홍성희
홍지수
김영민
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Electronics Technology Institute
Original Assignee
Korea Electronics Technology Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Electronics Technology Institute filed Critical Korea Electronics Technology Institute
Publication of WO2020111307A1 publication Critical patent/WO2020111307A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass

Definitions

  • the present invention relates to augmented reality related technology, and more particularly, to a 3D object recognition and tracking method for mobile augmented reality.
  • 3D object recognition in the real space for augmented reality is being progressed based on matching with a related 3D model or template. This is the method of constructing the outline of the 3D model and the method of constructing the image feature template.
  • the present invention has been devised to solve the above problems, and an object of the present invention is to provide a 3D object recognition and tracking method for mobile augmented reality capable of multi-object recognition at a high speed for various objects.
  • 3D object recognition method using the learned object recognition model identifying the type of 3D object appearing in the image; Determining a posture of a camera observing a 3D object using the learned object recognition model; And estimating coordinates of the 3D object based on the identified pose of the camera.
  • the 3D object recognition method comprises the steps of storing a learning image in a DB together with information about the type of 3D object appearing in the image and the attitude of the camera observing the 3D object;
  • the step of training the object recognition model using the DB may further include.
  • the 3D object recognition method comprises the steps of reconstructing a 3D object in a real space into a 3D model; A step of sampling an image for each viewpoint of the 3D model; and further comprising, the storing step may be to store the sampled image as a learning image in the DB.
  • the saving step may be to save the image in the form of Bag of visual Word.
  • the step of grasping the type of the 3D object and the step of grasping the posture of the camera may be performed by the server, and the coordinate estimation step of the 3D object may be performed by the mobile terminal.
  • the image may be an image acquired by the mobile terminal.
  • a 3D object recognition method includes storing a learning image in a DB together with information on the type of 3D object appearing in the image and the attitude of the camera observing the 3D object; And using the DB to train the object recognition model.
  • the 3D object recognition method comprises the steps of reconstructing a 3D object in a real space into a 3D model; A step of sampling an image for each viewpoint of the 3D model; and further comprising, the storing step may be to store the sampled image as a learning image in the DB.
  • FIG. 1 is a view showing the configuration of a mobile augmented reality service system according to an embodiment of the present invention
  • FIG. 6 is a detailed block diagram of the mobile terminal shown in FIG. 1, and
  • FIG. 7 is a detailed block diagram of the 3D object recognition server shown in FIG. 1.
  • FIG. 1 is a view showing the configuration of a mobile augmented reality service system according to an embodiment of the present invention.
  • the mobile terminal 100 and the 3D object recognition server 200 are interconnected and constructed through a communication network.
  • the mobile terminal 100 may be a wearable device for providing augmented reality content to a user or a wireless communication terminal connected to the wearable device.
  • the mobile terminal 100 transmits the image captured by the built-in camera to the 3D object recognition server 200.
  • the 3D object recognition server 200 learns an object recognition model, recognizes a 3D object from an image received from the mobile terminal 100 using the learned object recognition model, and provides the recognition result to the mobile terminal 100 .
  • FIG. 2 is a diagram provided for conceptual description of an object recognition model learning process
  • FIG. 3 is a flowchart provided for explaining an object recognition model learning method.
  • the 3D object recognition server 200 reconstructs various 3D objects in the real space into 3D models (S310 ).
  • the 3D object recognition server 200 samples images for each viewpoint of the 3D model generated in step S310 (S320). By step S320, images of various viewpoints for the 3D model are generated.
  • step S320 the image sampled in step S320 is stored in the DB together with information on the type of the 3D object appearing in the image and the attitude of the camera observing the 3D object (S330).
  • the images may be stored in the form of Bag of visual Word. Then, the speed of 3D object recognition can be improved.
  • FIG. 4 is a diagram provided for conceptual description of a real-time 3D object recognition and tracking process
  • FIG. 5 is a flowchart provided for a description of a real-time 3D object recognition and tracking method.
  • the mobile terminal 100 requests 3D object recognition while transmitting the image acquired in real time to the 3D object recognition server 200 (S410).
  • the 3D object recognition server 200 uses the object recognition model learned according to the procedure shown in FIG. 3 to determine the type of 3D object appearing in the image received in step S410 (S420).
  • the 3D object recognition server 200 uses the trained object recognition model to grasp the posture of the camera observing/shooting the 3D object (S430).
  • the 3D object recognition server 200 provides the mobile terminal 100 with information on the type of the 3D object (3D object ID) and the attitude of the camera (observation time point) identified in step S420 (S440). .
  • the mobile terminal 100 estimates the coordinates of the 3D object based on the attitude information of the camera among the information provided in step S440 (S450).
  • the mobile terminal 100 virtually generates/displays a 3D object at the coordinate estimated in step S450 (S460), and provides augmented reality content to the user.
  • the mobile terminal 100 includes a camera 110, a display 120, a processor 130, a storage unit 140, and a communication unit 150.
  • the camera 110 acquires an image by photographing the observed 3D object, and the communication unit 150 transmits the acquired image to the 3D object recognition server 200 to receive 3D object recognition information from the 3D object recognition server 200 do.
  • the display 120 is a device in which augmented reality content is displayed, and the processor 130 generates augmented reality content based on information received through the communication unit 150 and displays it on the display 120.
  • the storage unit 140 provides a storage space required for the processor 130 to operate and function.
  • the 3D object recognition server 200 includes a communication unit 210, a processor 220, and a DB 230, as shown in FIG. 7.
  • the communication unit 210 is a communication interface for communicating with the mobile terminal 100 through a communication network.
  • the processor 220 builds the DB 230 for training the object recognition model, and trains the object recognition model using the constructed DB 230.
  • the processor 220 uses the learned DB 230 to perform 3D object recognition on the image received from the mobile terminal 100 through the communication unit 210 and to recognize the result of the recognition through the communication unit 210 (100).
  • the images for each viewpoint are sampled and used together to construct a DB, and the object type is first recognized through the recognition DB, and then the posture is set. This is an estimation method.
  • a DB for 3D object recognition can be configured, various 3D objects can be recognized in real time, and camera attitude from the recognized 3D objects can be estimated in real time.
  • the conventional method for constructing a model DB for 3D object recognition was performed in a manner of constructing an outer line of a 3D model and a method of constructing an image feature template
  • the method according to an embodiment of the present invention was used to construct a 3D object in real space. After reconstructing it into a 3D model, the image for each viewpoint was sampled and the DB was constructed by using related information together.
  • the conventional 3D object recognition method estimates the camera posture based on the determined object
  • the method according to the embodiment of the present invention adopts a method of estimating the posture after first recognizing the object type through the recognition DB.
  • the recognition/tracking is performed at the terminal, and thus the speed is slow as the number of objects increases.
  • object recognition through a server and tracking at the terminal are integrated methods. Speed improves.
  • the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program that performs functions of the apparatus and method according to the present embodiment. Further, the technical idea according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium.
  • the computer-readable recording medium can be any data storage device that can be read by a computer and stores data.
  • the computer-readable recording medium can be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, and the like.
  • computer-readable codes or programs stored on a computer-readable recording medium may be transmitted through a network connected between computers.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

다양한 객체에 대해 빠른 속도로 다중 객체 인식이 가능한 모바일 증강현실을 위한 3D 객체 인식 및 추적 방법이 제공된다. 본 발명의 실시예에 따른 3D 객체 인식 방법은 학습된 객체 인식 모델을 이용하여, 영상에 등장하는 3D 객체의 종류를 파악하는 단계; 학습된 객체 인식 모델을 이용하여, 3D 객체를 관찰하는 카메라의 자세를 파악하는 단계; 및 파악된 카메라의 자세를 기초로, 3D 객체의 좌표를 추정하는 단계;를 포함한다. 이에 의해, 다양한 객체에 대해 빠른 속도로 객체 인식이 가능하며, 실시간으로 다중 객체를 인식하는 것까지 가능해진다.

Description

모바일 증강현실을 위한 3D 객체 인식 및 추적 방법
본 발명은 증강현실 관련 기술에 관한 것으로, 더욱 상세하게는 모바일 증강현실을 위한 3D 객체 인식 및 추적 방법에 관한 것이다.
현재 증강현실을 위한 현실 공간 내 3D 객체 인식은, 관련 3D 모델이나 템플릿과의 매칭을 바탕으로 진행되고 있다. 3D 모델의 외각선을 구성하는 방식과 영상 특징 템플릿을 구성하는 방식이다.
하지만, 이와 같은 방법은, 대상 객체가 많아지는 경우 객체 인식 속도가 늦어지는 문제가 있다. 또한, 모델 DB를 구성함에 있어서도, 많은 영상 정보를 필요로 하며, 다양한 객체를 인식/추적하는데 어려움이 있다.
이에, 현재 제공되고 있는 대부분의 서비스는, 정해진 한 개의 3D 객체에 대한 인식과 추적만을 지원함에 그치고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 다양한 객체에 대해 빠른 속도로 다중 객체 인식이 가능한 모바일 증강현실을 위한 3D 객체 인식 및 추적 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 3D 객체 인식 방법은 학습된 객체 인식 모델을 이용하여, 영상에 등장하는 3D 객체의 종류를 파악하는 단계; 학습된 객체 인식 모델을 이용하여, 3D 객체를 관찰하는 카메라의 자세를 파악하는 단계; 및 파악된 카메라의 자세를 기초로, 3D 객체의 좌표를 추정하는 단계;를 포함한다.
본 발명에 따른 3D 객체 인식 방법은 학습 영상을 영상에 등장하는 3D 객체의 종류에 대한 정보 및 3D 객체를 관찰하는 카메라의 자세에 대한 정보와 함께 DB에 저장하는 단계; DB를 이용하여 객체 인식 모델을 학습시키는 단계;를 더 포함할 수 있다.
본 발명에 따른 3D 객체 인식 방법은 현실 공간의 3D 객체를 3D 모델로 재구성하는 단계; 3D 모델의 각 시점에 대한 영상을 샘플링하는 단계;를 더 포함하고, 저장 단계는, 샘플링된 영상을 학습 영상으로 DB에 저장하는 것일 수 있다.
저장 단계는, 영상을 Bag of visual Word 형태로 저장하는 것일 수 있다.
3D 객체의 종류를 파악단계 및 카메라의 자세 파악단계는, 서버에 의해 수행되고, 3D 객체의 좌표 추정단계는, 모바일 단말에 의해 수행되는 것일 수 있다.
영상은, 모바일 단말에 의해 획득된 영상일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 3D 객체 인식 방법은 학습 영상을 영상에 등장하는 3D 객체의 종류에 대한 정보 및 3D 객체를 관찰하는 카메라의 자세에 대한 정보와 함께 DB에 저장하는 단계; 및 DB를 이용하여 객체 인식 모델을 학습시키는 단계;를 포함한다.
본 발명에 따른 3D 객체 인식 방법은 현실 공간의 3D 객체를 3D 모델로 재구성하는 단계; 3D 모델의 각 시점에 대한 영상을 샘플링하는 단계;를 더 포함하고, 저장 단계는, 샘플링된 영상을 학습 영상으로 DB에 저장하는 것일 수 있다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 다양한 객체에 대해 빠른 속도로 객체 인식이 가능하며, 실시간으로 다중 객체를 인식하는 것까지 가능해진다.
도 1은 본 발명의 일 실시예에 따른 모바일 증강현실 서비스 시스템의 구성을 도시한 도면,
도 2는 객체 인식 모델 학습 과정의 개념 설명에 제공되는 도면이고,
도 3은 객체 인식 모델 학습 방법의 설명에 제공되는 흐름도,
도 4는 실시간 3D 객체 인식 및 추적 과정의 개념 설명에 제공되는 도면,
도 5는 실시간 3D 객체 인식 및 추적 방법의 설명에 제공되는 흐름도,
도 6은, 도 1에 도시된 모바일 단말의 상세 블럭도, 그리고,
도 7은, 도 1에 도시된 3D 객체 인식 서버의 상세 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 모바일 증강현실 서비스 시스템의 구성을 도시한 도면이다.
본 발명의 실시예에 따른 모바일 증강현실 서비스 시스템은, 도 1에 도시된 바와 같이, 모바일 단말(100)과 3D 객체 인식 서버(200)가 통신망을 통해 상호 연결되어 구축된다.
모바일 단말(100)은 사용자에게 증강현실 컨텐츠를 제공하기 위한 웨어러블 디바이스이거나 웨어러블 디바이스에 연결된 무선 통신 단말일 수 있다. 모바일 단말(100)은 내장 카메라로 촬영한 영상을 3D 객체 인식 서버(200)로 전송한다.
3D 객체 인식 서버(200)는 객체 인식 모델을 학습시키고, 학습된 객체 인식 모델을 이용하여 모바일 단말(100)로부터 수신한 영상에서 3D 객체를 인식하며, 인식 결과를 모바일 단말(100)에 제공한다.
3D 객체 인식 서버(200)에 의한 객체 인식 모델을 학습은 오프라인으로 수행된다. 도 2는 객체 인식 모델 학습 과정의 개념 설명에 제공되는 도면이고, 도 3은 객체 인식 모델 학습 방법의 설명에 제공되는 흐름도이다.
도 2와 도 3에 도시된 바와 같이, 객체 인식 모델 학습을 위해, 3D 객체 인식 서버(200)는 현실 공간에서의 다양한 3D 객체들을 3D 모델들로 재구성한다(S310).
다음, 3D 객체 인식 서버(200)는 S310단계에서 생성한 3D 모델의 각 시점에 대한 영상들을 샘플링한다(S320). S320단계에 의해, 3D 모델에 대한 다양한 시점들의 영상들이 생성된다.
이후, S320단계에서 샘플링된 영상을 영상에 등장하는 3D 객체의 종류에 대한 정보 및 3D 객체를 관찰하는 카메라의 자세에 대한 정보와 함께 DB에 저장한다(S330).
S330단계에서, 영상들은 Bag of visual Word 형태로 저장할 수 있다. 그러면, 3D 객체 인식 속도를 향상시킬 수 있다.
다음, S330단계에서 구축한 DB를 이용하여 객체 인식 모델을 학습시킨다(S340).
이하에서는, 3D 객체 인식 서버(200)에 의해 학습된 객체 인식 모델을 이용하여, 모바일 단말(100)을 통해 촬영된 영상에 대해 실시간으로 3D 객체 인식 및 추적을 수행하는 과정에 대해, 도 4와 도 5를 참조하여 설명한다.
도 4는 실시간 3D 객체 인식 및 추적 과정의 개념 설명에 제공되는 도면이고, 도 5는 실시간 3D 객체 인식 및 추적 방법의 설명에 제공되는 흐름도이다.
도 4와 도 5에 도시된 바와 같이, 먼저, 모바일 단말(100)은 실시간으로 획득한 영상을 3D 객체 인식 서버(200)에 전달하면서 3D 객체 인식을 요청한다(S410).
그러면, 3D 객체 인식 서버(200)는 도 3에 도시된 절차에 따라 학습된 객체 인식 모델을 이용하여, S410단계에서 수신한 영상에 등장하는 3D 객체의 종류를 파악한다(S420).
또한, 3D 객체 인식 서버(200)는 학습된 객체 인식 모델을 이용하여, 3D 객체를 관찰/촬영하는 카메라의 자세를 파악한다(S430).
그리고, 3D 객체 인식 서버(200)는 S420단계에서 파악된 3D 객체의 종류에 대한 정보(3D 객체 ID)와 카메라의 자세에 대한 정보(관찰 시점)를 모바일 단말(100)에 제공한다(S440).
그러면, 모바일 단말(100)은 S440단계에서 제공된 정보 중 카메라의 자세 정보를 기초로, 3D 객체의 좌표를 추정한다(S450).
다음, 모바일 단말(100)은 S450단계에서 추정된 좌표에 3D 객체를 가상으로 생성/표시하여(S460), 사용자에게 증강현실 콘텐츠를 제공한다.
도 6은, 도 1에 도시된 모바일 단말(100)의 상세 블럭도이다. 모바일 단말(100)은, 도 6에 도시된 바와 같이, 카메라(110), 디스플레이(120), 프로세서(130), 저장부(140) 및 통신부(150)를 포함하여 구성된다.
카메라(110)는 관찰하는 3D 객체를 촬영하여 영상을 획득하고, 통신부(150)는 획득한 영상을 3D 객체 인식 서버(200)로 전송하여 3D 객체 인식 서버(200)로부터 3D 객체 인식 정보를 수신한다.
디스플레이(120)는 증강 현실 컨텐츠가 표시되는 소자로, 프로세서(130)는 통신부(150)를 통해 수신한 정보를 기초로 증강현실 컨텐츠를 생성하여 디스플레이(120)에 표시한다.
저장부(140)는 프로세서(130)가 동작하고 기능함에 있어 필요한 저장공간을 제공한다.
도 7은, 도 1에 도시된 3D 객체 인식 서버(200)의 상세 블럭도이다. 3D 객체 인식 서버(200)는, 도 7에 도시된 바와 같이, 통신부(210), 프로세서(220) 및 DB(230)를 포함하여 구성된다.
통신부(210)는 통신망을 통해 모바일 단말(100)과 통신하기 위한 통신 인터페이스이다.
프로세서(220)는 객체 인식 모델을 학습시키기 위한 DB(230)를 구축하고, 구축된 DB(230)를 이용하여 객체 인식 모델을 학습시킨다.
또한, 프로세서(220)는 학습된 DB(230)를 이용하여, 통신부(210)를 통해 모바일 단말(100)로부터 수신되는 영상에서 3D 객체 인식을 수행하고 인식 결과를 통신부(210)를 통해 모바일 단말(100)로 제공한다.
지금까지, 모바일 증강현실을 위한 3D 객체 인식 및 추적 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
본 발명의 실시예에서는, 현실공간의 3D 객체를 3D 모델로 재구성한 뒤, 각 시점에 대한 영상을 샘플링하고 관련 함께 활용하여 DB를 구성하고, 인식 DB를 통해 객체 종류를 먼저 인식한 뒤에 자세를 추정하는 방식이다.
이에 의해, 3D 객체 인식을 위한 DB를 구성할 수 있고, 다양한 3D 객체를 실시간으로 인식할 수 있으며, 인식된 3D 객체로부터의 카메라 자세를 실시간으로 추정할 수 있다.
종래의 3D 객체 인식을 위한 모델 DB 구성 방식은 3D 모델의 외각선을 구성하는 방식과 영상 특징 템플릿을 구성하는 방식으로 진행되었음에 반해, 본 발명의 실시예에 따른 방법은 현실공간의 3D 객체를 3D 모델로 재구성한 뒤 각 시점에 대한 영상을 샘플링하고 관련 정보를 함께 활용해 DB를 구성하였다.
또한, 종래의 3D 객체 인식 방법은 정해진 객체를 바탕으로 카메라 자세를 추정하는 반면, 본 발명의 실시예에 따른 방법은 인식 DB를 통해 객체 종류를 먼저 인식한 뒤에 자세를 추정하는 방식을 채택하였다.
그리고, 종래의 3D 객체 인식은 인식/추적이 단말에서 모두 이루어져 객체 개수 증가에 따라 속도가 느린 반면, 본 발명의 실시예에 따른 방법은 서버를 통한 객체 인식과 단말에서의 추적이 통합된 방법이라 속도가 향상된다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (8)

  1. 학습된 객체 인식 모델을 이용하여, 영상에 등장하는 3D 객체의 종류를 파악하는 단계;
    학습된 객체 인식 모델을 이용하여, 3D 객체를 관찰하는 카메라의 자세를 파악하는 단계; 및
    파악된 카메라의 자세를 기초로, 3D 객체의 좌표를 추정하는 단계;를 포함하는 것을 특징으로 하는 3D 객체 인식 방법.
  2. 청구항 1에 있어서,
    학습 영상을 영상에 등장하는 3D 객체의 종류에 대한 정보 및 3D 객체를 관찰하는 카메라의 자세에 대한 정보와 함께 DB에 저장하는 단계;
    DB를 이용하여 객체 인식 모델을 학습시키는 단계;를 더 포함하는 것을 특징으로 하는 3D 객체 인식 방법.
  3. 청구항 2에 있어서,
    현실 공간의 3D 객체를 3D 모델로 재구성하는 단계;
    3D 모델의 각 시점에 대한 영상을 샘플링하는 단계;를 더 포함하고,
    저장 단계는,
    샘플링된 영상을 학습 영상으로 DB에 저장하는 것을 특징으로 하는 3D 객체 인식 방법.
  4. 청구항 3에 있어서,
    저장 단계는,
    영상을 Bag of visual Word 형태로 저장하는 것을 특징으로 하는 3D 객체 인식 방법.
  5. 청구항 1에 있어서,
    3D 객체의 종류를 파악단계 및 카메라의 자세 파악단계는,
    서버에 의해 수행되고,
    3D 객체의 좌표 추정단계는,
    모바일 단말에 의해 수행되는 것을 특징으로 하는 3D 객체 인식 방법.
  6. 청구항 5에 있어서,
    영상은,
    모바일 단말에 의해 획득된 영상인 것을 특징으로 하는 3D 객체 인식 방법.
  7. 학습 영상을 영상에 등장하는 3D 객체의 종류에 대한 정보 및 3D 객체를 관찰하는 카메라의 자세에 대한 정보와 함께 DB에 저장하는 단계; 및
    DB를 이용하여 객체 인식 모델을 학습시키는 단계;를 포함하는 것을 특징으로 하는 3D 객체 인식 방법.
  8. 청구항 7에 있어서,
    현실 공간의 3D 객체를 3D 모델로 재구성하는 단계;
    3D 모델의 각 시점에 대한 영상을 샘플링하는 단계;를 더 포함하고,
    저장 단계는,
    샘플링된 영상을 학습 영상으로 DB에 저장하는 것을 특징으로 하는 3D 객체 인식 방법.
PCT/KR2018/014821 2018-11-28 2018-11-28 모바일 증강현실을 위한 3d 객체 인식 및 추적 방법 Ceased WO2020111307A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180149305A KR20200068088A (ko) 2018-11-28 2018-11-28 모바일 증강현실을 위한 3d 객체 인식 및 추적 방법
KR10-2018-0149305 2018-11-28

Publications (1)

Publication Number Publication Date
WO2020111307A1 true WO2020111307A1 (ko) 2020-06-04

Family

ID=70853279

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/014821 Ceased WO2020111307A1 (ko) 2018-11-28 2018-11-28 모바일 증강현실을 위한 3d 객체 인식 및 추적 방법

Country Status (2)

Country Link
KR (1) KR20200068088A (ko)
WO (1) WO2020111307A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110119589A (ko) * 2010-04-27 2011-11-02 서울시립대학교 산학협력단 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법
US20170243352A1 (en) * 2016-02-18 2017-08-24 Intel Corporation 3-dimensional scene analysis for augmented reality operations
KR20170108339A (ko) * 2016-03-17 2017-09-27 한국전자통신연구원 영상에서 다수의 객체를 인식하는 방법
KR101817440B1 (ko) * 2016-09-23 2018-01-10 한국해양대학교 산학협력단 다중 카메라를 통한 3차원 모델 기반 객체 인식 기법과 시스템
US20180286065A1 (en) * 2014-11-21 2018-10-04 Metaio Gmbh Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110119589A (ko) * 2010-04-27 2011-11-02 서울시립대학교 산학협력단 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법
US20180286065A1 (en) * 2014-11-21 2018-10-04 Metaio Gmbh Method and system for determining spatial coordinates of a 3D reconstruction of at least part of a real object at absolute spatial scale
US20170243352A1 (en) * 2016-02-18 2017-08-24 Intel Corporation 3-dimensional scene analysis for augmented reality operations
KR20170108339A (ko) * 2016-03-17 2017-09-27 한국전자통신연구원 영상에서 다수의 객체를 인식하는 방법
KR101817440B1 (ko) * 2016-09-23 2018-01-10 한국해양대학교 산학협력단 다중 카메라를 통한 3차원 모델 기반 객체 인식 기법과 시스템

Also Published As

Publication number Publication date
KR20200068088A (ko) 2020-06-15

Similar Documents

Publication Publication Date Title
WO2010005251A9 (ko) 복수 객체 추적 방법과 장치 및 저장매체
WO2018012888A1 (en) Method and system for interactive transmission of panoramic video
JP7836543B2 (ja) キーポイント検出モデル訓練、仮想キャラクタ駆動の方法及び装置、電子デバイス、記憶媒体、コンピュータプログラム
CN114093024A (zh) 人体动作的识别方法、装置、设备及存储介质
WO2012093811A1 (ko) 입력 이미지에 포함된 객체에 대한 콜렉션을 수행할 수 있도록 지원하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
CN115035546B (zh) 三维人体姿态检测方法、装置及电子设备
WO2019190076A1 (ko) 시선 추적 방법 및 이를 수행하기 위한 단말
WO2021066392A2 (ko) 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체
CN113850750B (zh) 一种目标轨迹校验的方法、装置、设备及存储介质
WO2019164277A1 (ko) 수술영상을 이용한 출혈 평가 방법 및 장치
WO2024012367A1 (zh) 视觉目标跟踪方法、装置、设备以及存储介质
CN107656991A (zh) 一种远程指导方法、装置及系统
JPWO2022070956A5 (ko)
WO2024048944A1 (en) Apparatus and method for detecting a user intent for image capturing or video recording
CN113486717A (zh) 一种行为识别的方法及装置
CN112257527A (zh) 基于多目标融合与时空视频序列的手机检测方法
CN110852196A (zh) 人脸识别信息展示方法及装置
WO2021261687A1 (ko) 영상 기반 사람의 3차원 자세 및 형상 모델 복원 장치 및 방법
KR20200068088A (ko) 모바일 증강현실을 위한 3d 객체 인식 및 추적 방법
CN110516094A (zh) 门类兴趣点数据的去重方法、装置、电子设备及存储介质
WO2025033602A1 (ko) Rgb 이미지 및 깊이 정보를 기반으로 객체의 포즈를 추정하는 장치 및 방법
WO2022131390A1 (ko) 다중 시점 이미지를 사용한 자가지도 학습 기반 3차원 사람 자세 추정 방법
CN114926665A (zh) 一种利用ar技术进行离线单人训练的方法和终端
WO2023224169A1 (ko) 3차원 스켈레톤 추정 시스템 및 3차원 스켈레톤 추정 방법
KR102099852B1 (ko) 증강현실 게임북을 이용한 멀티유저 증강현실 컨텐츠 제공 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18941557

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18941557

Country of ref document: EP

Kind code of ref document: A1