KR20200068088A - 모바일 증강현실을 위한 3d 객체 인식 및 추적 방법 - Google Patents

모바일 증강현실을 위한 3d 객체 인식 및 추적 방법 Download PDF

Info

Publication number
KR20200068088A
KR20200068088A KR1020180149305A KR20180149305A KR20200068088A KR 20200068088 A KR20200068088 A KR 20200068088A KR 1020180149305 A KR1020180149305 A KR 1020180149305A KR 20180149305 A KR20180149305 A KR 20180149305A KR 20200068088 A KR20200068088 A KR 20200068088A
Authority
KR
South Korea
Prior art keywords
object recognition
image
model
camera
augmented reality
Prior art date
Application number
KR1020180149305A
Other languages
English (en)
Inventor
신춘성
강훈종
홍성희
홍지수
김영민
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to PCT/KR2018/014821 priority Critical patent/WO2020111307A1/ko
Priority to KR1020180149305A priority patent/KR20200068088A/ko
Publication of KR20200068088A publication Critical patent/KR20200068088A/ko

Links

Images

Classifications

    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N99/00—Subject matter not provided for in other groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

다양한 객체에 대해 빠른 속도로 다중 객체 인식이 가능한 모바일 증강현실을 위한 3D 객체 인식 및 추적 방법이 제공된다. 본 발명의 실시예에 따른 3D 객체 인식 방법은 학습된 객체 인식 모델을 이용하여, 영상에 등장하는 3D 객체의 종류를 파악하는 단계; 학습된 객체 인식 모델을 이용하여, 3D 객체를 관찰하는 카메라의 자세를 파악하는 단계; 및 파악된 카메라의 자세를 기초로, 3D 객체의 좌표를 추정하는 단계;를 포함한다.
이에 의해, 다양한 객체에 대해 빠른 속도로 객체 인식이 가능하며, 실시간으로 다중 객체를 인식하는 것까지 가능해진다.

Description

모바일 증강현실을 위한 3D 객체 인식 및 추적 방법{3D Object Recognition and Tracking Method for Mobile Augmented Reality}
본 발명은 증강현실 관련 기술에 관한 것으로, 더욱 상세하게는 모바일 증강현실을 위한 3D 객체 인식 및 추적 방법에 관한 것이다.
현재 증강현실을 위한 현실 공간 내 3D 객체 인식은, 관련 3D 모델이나 템플릿과의 매칭을 바탕으로 진행되고 있다. 3D 모델의 외각선을 구성하는 방식과 영상 특징 템플릿을 구성하는 방식이다.
하지만, 이와 같은 방법은, 대상 객체가 많아지는 경우 객체 인식 속도가 늦어지는 문제가 있다. 또한, 모델 DB를 구성함에 있어서도, 많은 영상 정보를 필요로 하며, 다양한 객체를 인식/추적하는데 어려움이 있다.
이에, 현재 제공되고 있는 대부분의 서비스는, 정해진 한 개의 3D 객체에 대한 인식과 추적만을 지원함에 그치고 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 다양한 객체에 대해 빠른 속도로 다중 객체 인식이 가능한 모바일 증강현실을 위한 3D 객체 인식 및 추적 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 3D 객체 인식 방법은 학습된 객체 인식 모델을 이용하여, 영상에 등장하는 3D 객체의 종류를 파악하는 단계; 학습된 객체 인식 모델을 이용하여, 3D 객체를 관찰하는 카메라의 자세를 파악하는 단계; 및 파악된 카메라의 자세를 기초로, 3D 객체의 좌표를 추정하는 단계;를 포함한다.
본 발명에 따른 3D 객체 인식 방법은 학습 영상을 영상에 등장하는 3D 객체의 종류에 대한 정보 및 3D 객체를 관찰하는 카메라의 자세에 대한 정보와 함께 DB에 저장하는 단계; DB를 이용하여 객체 인식 모델을 학습시키는 단계;를 더 포함할 수 있다.
본 발명에 따른 3D 객체 인식 방법은 현실 공간의 3D 객체를 3D 모델로 재구성하는 단계; 3D 모델의 각 시점에 대한 영상을 샘플링하는 단계;를 더 포함하고, 저장 단계는, 샘플링된 영상을 학습 영상으로 DB에 저장하는 것일 수 있다.
저장 단계는, 영상을 Bag of visual Word 형태로 저장하는 것일 수 있다.
3D 객체의 종류를 파악단계 및 카메라의 자세 파악단계는, 서버에 의해 수행되고, 3D 객체의 좌표 추정단계는, 모바일 단말에 의해 수행되는 것일 수 있다.
영상은, 모바일 단말에 의해 획득된 영상일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 3D 객체 인식 방법은 학습 영상을 영상에 등장하는 3D 객체의 종류에 대한 정보 및 3D 객체를 관찰하는 카메라의 자세에 대한 정보와 함께 DB에 저장하는 단계; 및 DB를 이용하여 객체 인식 모델을 학습시키는 단계;를 포함한다.
본 발명에 따른 3D 객체 인식 방법은 현실 공간의 3D 객체를 3D 모델로 재구성하는 단계; 3D 모델의 각 시점에 대한 영상을 샘플링하는 단계;를 더 포함하고, 저장 단계는, 샘플링된 영상을 학습 영상으로 DB에 저장하는 것일 수 있다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 다양한 객체에 대해 빠른 속도로 객체 인식이 가능하며, 실시간으로 다중 객체를 인식하는 것까지 가능해진다.
도 1은 본 발명의 일 실시예에 따른 모바일 증강현실 서비스 시스템의 구성을 도시한 도면,
도 2는 객체 인식 모델 학습 과정의 개념 설명에 제공되는 도면이고,
도 3은 객체 인식 모델 학습 방법의 설명에 제공되는 흐름도,
도 4는 실시간 3D 객체 인식 및 추적 과정의 개념 설명에 제공되는 도면,
도 5는 실시간 3D 객체 인식 및 추적 방법의 설명에 제공되는 흐름도,
도 6은, 도 1에 도시된 모바일 단말의 상세 블럭도, 그리고,
도 7은, 도 1에 도시된 3D 객체 인식 서버의 상세 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 모바일 증강현실 서비스 시스템의 구성을 도시한 도면이다.
본 발명의 실시예에 따른 모바일 증강현실 서비스 시스템은, 도 1에 도시된 바와 같이, 모바일 단말(100)과 3D 객체 인식 서버(200)가 통신망을 통해 상호 연결되어 구축된다.
모바일 단말(100)은 사용자에게 증강현실 컨텐츠를 제공하기 위한 웨어러블 디바이스이거나 웨어러블 디바이스에 연결된 무선 통신 단말일 수 있다. 모바일 단말(100)은 내장 카메라로 촬영한 영상을 3D 객체 인식 서버(200)로 전송한다.
3D 객체 인식 서버(200)는 객체 인식 모델을 학습시키고, 학습된 객체 인식 모델을 이용하여 모바일 단말(100)로부터 수신한 영상에서 3D 객체를 인식하며, 인식 결과를 모바일 단말(100)에 제공한다.
3D 객체 인식 서버(200)에 의한 객체 인식 모델을 학습은 오프라인으로 수행된다. 도 2는 객체 인식 모델 학습 과정의 개념 설명에 제공되는 도면이고, 도 3은 객체 인식 모델 학습 방법의 설명에 제공되는 흐름도이다.
도 2와 도 3에 도시된 바와 같이, 객체 인식 모델 학습을 위해, 3D 객체 인식 서버(200)는 현실 공간에서의 다양한 3D 객체들을 3D 모델들로 재구성한다(S310).
다음, 3D 객체 인식 서버(200)는 S310단계에서 생성한 3D 모델의 각 시점에 대한 영상들을 샘플링한다(S320). S320단계에 의해, 3D 모델에 대한 다양한 시점들의 영상들이 생성된다.
이후, S320단계에서 샘플링된 영상을 영상에 등장하는 3D 객체의 종류에 대한 정보 및 3D 객체를 관찰하는 카메라의 자세에 대한 정보와 함께 DB에 저장한다(S330).
S330단계에서, 영상들은 Bag of visual Word 형태로 저장할 수 있다. 그러면, 3D 객체 인식 속도를 향상시킬 수 있다.
다음, S330단계에서 구축한 DB를 이용하여 객체 인식 모델을 학습시킨다(S340).
이하에서는, 3D 객체 인식 서버(200)에 의해 학습된 객체 인식 모델을 이용하여, 모바일 단말(100)을 통해 촬영된 영상에 대해 실시간으로 3D 객체 인식 및 추적을 수행하는 과정에 대해, 도 4와 도 5를 참조하여 설명한다.
도 4는 실시간 3D 객체 인식 및 추적 과정의 개념 설명에 제공되는 도면이고, 도 5는 실시간 3D 객체 인식 및 추적 방법의 설명에 제공되는 흐름도이다.
도 4와 도 5에 도시된 바와 같이, 먼저, 모바일 단말(100)은 실시간으로 획득한 영상을 3D 객체 인식 서버(200)에 전달하면서 3D 객체 인식을 요청한다(S410).
그러면, 3D 객체 인식 서버(200)는 도 3에 도시된 절차에 따라 학습된 객체 인식 모델을 이용하여, S410단계에서 수신한 영상에 등장하는 3D 객체의 종류를 파악한다(S420).
또한, 3D 객체 인식 서버(200)는 학습된 객체 인식 모델을 이용하여, 3D 객체를 관찰/촬영하는 카메라의 자세를 파악한다(S430).
그리고, 3D 객체 인식 서버(200)는 S420단계에서 파악된 3D 객체의 종류에 대한 정보(3D 객체 ID)와 카메라의 자세에 대한 정보(관찰 시점)를 모바일 단말(100)에 제공한다(S440).
그러면, 모바일 단말(100)은 S440단계에서 제공된 정보 중 카메라의 자세 정보를 기초로, 3D 객체의 좌표를 추정한다(S450).
다음, 모바일 단말(100)은 S450단계에서 추정된 좌표에 3D 객체를 가상으로 생성/표시하여(S460), 사용자에게 증강현실 콘텐츠를 제공한다.
도 6은, 도 1에 도시된 모바일 단말(100)의 상세 블럭도이다. 모바일 단말(100)은, 도 6에 도시된 바와 같이, 카메라(110), 디스플레이(120), 프로세서(130), 저장부(140) 및 통신부(150)를 포함하여 구성된다.
카메라(110)는 관찰하는 3D 객체를 촬영하여 영상을 획득하고, 통신부(150)는 획득한 영상을 3D 객체 인식 서버(200)로 전송하여 3D 객체 인식 서버(200)로부터 3D 객체 인식 정보를 수신한다.
디스플레이(120)는 증강 현실 컨텐츠가 표시되는 소자로, 프로세서(130)는 통신부(150)를 통해 수신한 정보를 기초로 증강현실 컨텐츠를 생성하여 디스플레이(120)에 표시한다.
저장부(140)는 프로세서(130)가 동작하고 기능함에 있어 필요한 저장공간을 제공한다.
도 7은, 도 1에 도시된 3D 객체 인식 서버(200)의 상세 블럭도이다. 3D 객체 인식 서버(200)는, 도 7에 도시된 바와 같이, 통신부(210), 프로세서(220) 및 DB(230)를 포함하여 구성된다.
통신부(210)는 통신망을 통해 모바일 단말(100)과 통신하기 위한 통신 인터페이스이다.
프로세서(220)는 객체 인식 모델을 학습시키기 위한 DB(230)를 구축하고, 구축된 DB(230)를 이용하여 객체 인식 모델을 학습시킨다.
또한, 프로세서(220)는 학습된 DB(230)를 이용하여, 통신부(210)를 통해 모바일 단말(100)로부터 수신되는 영상에서 3D 객체 인식을 수행하고 인식 결과를 통신부(210)를 통해 모바일 단말(100)로 제공한다.
지금까지, 모바일 증강현실을 위한 3D 객체 인식 및 추적 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
본 발명의 실시예에서는, 현실공간의 3D 객체를 3D 모델로 재구성한 뒤, 각 시점에 대한 영상을 샘플링하고 관련 함께 활용하여 DB를 구성하고, 인식 DB를 통해 객체 종류를 먼저 인식한 뒤에 자세를 추정하는 방식이다.
이에 의해, 3D 객체 인식을 위한 DB를 구성할 수 있고, 다양한 3D 객체를 실시간으로 인식할 수 있으며, 인식된 3D 객체로부터의 카메라 자세를 실시간으로 추정할 수 있다.
종래의 3D 객체 인식을 위한 모델 DB 구성 방식은 3D 모델의 외각선을 구성하는 방식과 영상 특징 템플릿을 구성하는 방식으로 진행되었음에 반해, 본 발명의 실시예에 따른 방법은 현실공간의 3D 객체를 3D 모델로 재구성한 뒤 각 시점에 대한 영상을 샘플링하고 관련 정보를 함께 활용해 DB를 구성하였다.
또한, 종래의 3D 객체 인식 방법은 정해진 객체를 바탕으로 카메라 자세를 추정하는 반면, 본 발명의 실시예에 따른 방법은 인식 DB를 통해 객체 종류를 먼저 인식한 뒤에 자세를 추정하는 방식을 채택하였다.
그리고, 종래의 3D 객체 인식은 인식/추적이 단말에서 모두 이루어져 객체 개수 증가에 따라 속도가 느린 반면, 본 발명의 실시예에 따른 방법은 서버를 통한 객체 인식과 단말에서의 추적이 통합된 방법이라 속도가 향상된다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 모바일 단말
200 : 3D 객체 인식 서버

Claims (8)

  1. 학습된 객체 인식 모델을 이용하여, 영상에 등장하는 3D 객체의 종류를 파악하는 단계;
    학습된 객체 인식 모델을 이용하여, 3D 객체를 관찰하는 카메라의 자세를 파악하는 단계; 및
    파악된 카메라의 자세를 기초로, 3D 객체의 좌표를 추정하는 단계;를 포함하는 것을 특징으로 하는 3D 객체 인식 방법.
  2. 청구항 1에 있어서,
    학습 영상을 영상에 등장하는 3D 객체의 종류에 대한 정보 및 3D 객체를 관찰하는 카메라의 자세에 대한 정보와 함께 DB에 저장하는 단계;
    DB를 이용하여 객체 인식 모델을 학습시키는 단계;를 더 포함하는 것을 특징으로 하는 3D 객체 인식 방법.
  3. 청구항 2에 있어서,
    현실 공간의 3D 객체를 3D 모델로 재구성하는 단계;
    3D 모델의 각 시점에 대한 영상을 샘플링하는 단계;를 더 포함하고,
    저장 단계는,
    샘플링된 영상을 학습 영상으로 DB에 저장하는 것을 특징으로 하는 3D 객체 인식 방법.
  4. 청구항 3에 있어서,
    저장 단계는,
    영상을 Bag of visual Word 형태로 저장하는 것을 특징으로 하는 3D 객체 인식 방법.
  5. 청구항 1에 있어서,
    3D 객체의 종류를 파악단계 및 카메라의 자세 파악단계는,
    서버에 의해 수행되고,
    3D 객체의 좌표 추정단계는,
    모바일 단말에 의해 수행되는 것을 특징으로 하는 3D 객체 인식 방법.
  6. 청구항 5에 있어서,
    영상은,
    모바일 단말에 의해 획득된 영상인 것을 특징으로 하는 3D 객체 인식 방법.
  7. 학습 영상을 영상에 등장하는 3D 객체의 종류에 대한 정보 및 3D 객체를 관찰하는 카메라의 자세에 대한 정보와 함께 DB에 저장하는 단계; 및
    DB를 이용하여 객체 인식 모델을 학습시키는 단계;를 포함하는 것을 특징으로 하는 3D 객체 인식 방법.
  8. 청구항 7에 있어서,
    현실 공간의 3D 객체를 3D 모델로 재구성하는 단계;
    3D 모델의 각 시점에 대한 영상을 샘플링하는 단계;를 더 포함하고,
    저장 단계는,
    샘플링된 영상을 학습 영상으로 DB에 저장하는 것을 특징으로 하는 3D 객체 인식 방법.
KR1020180149305A 2018-11-28 2018-11-28 모바일 증강현실을 위한 3d 객체 인식 및 추적 방법 KR20200068088A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2018/014821 WO2020111307A1 (ko) 2018-11-28 2018-11-28 모바일 증강현실을 위한 3d 객체 인식 및 추적 방법
KR1020180149305A KR20200068088A (ko) 2018-11-28 2018-11-28 모바일 증강현실을 위한 3d 객체 인식 및 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180149305A KR20200068088A (ko) 2018-11-28 2018-11-28 모바일 증강현실을 위한 3d 객체 인식 및 추적 방법

Publications (1)

Publication Number Publication Date
KR20200068088A true KR20200068088A (ko) 2020-06-15

Family

ID=70853279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180149305A KR20200068088A (ko) 2018-11-28 2018-11-28 모바일 증강현실을 위한 3d 객체 인식 및 추적 방법

Country Status (2)

Country Link
KR (1) KR20200068088A (ko)
WO (1) WO2020111307A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101179108B1 (ko) * 2010-04-27 2012-09-07 서울시립대학교 산학협력단 중첩 전방위 영상을 이용하여 객체의 3차원 좌표를 결정하기 위한 시스템 및 그 방법
EP4224424A1 (en) * 2014-11-21 2023-08-09 Apple Inc. Method and system for determining spatial coordinates of a 3d reconstruction of at least part of a real object at absolute spatial scale
US10373380B2 (en) * 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
KR102286571B1 (ko) * 2016-03-17 2021-08-06 한국전자통신연구원 영상에서 다수의 객체를 인식하는 방법
KR101817440B1 (ko) * 2016-09-23 2018-01-10 한국해양대학교 산학협력단 다중 카메라를 통한 3차원 모델 기반 객체 인식 기법과 시스템

Also Published As

Publication number Publication date
WO2020111307A1 (ko) 2020-06-04

Similar Documents

Publication Publication Date Title
CN111325796B (zh) 用于确定视觉设备的位姿的方法和装置
WO2019242262A1 (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
JP7017689B2 (ja) 情報処理装置、情報処理システムおよび情報処理方法
Schauerte et al. Saliency-based identification and recognition of pointed-at objects
CN105074776A (zh) 平面自然特征目标的原位形成
CN113420719A (zh) 生成动作捕捉数据的方法、装置、电子设备以及存储介质
CN108509621B (zh) 景区全景图的景点识别方法、装置、服务器和存储介质
CN111784776A (zh) 视觉定位方法及装置、计算机可读介质和电子设备
KR20140026629A (ko) 동적 제스처 인식 프로세스 및 저작 시스템
CN108804971A (zh) 一种图像识别系统、增强现实显示设备和图像识别方法
US20200349349A1 (en) Human Body Recognition Method And Apparatus, And Storage Medium
US20230206093A1 (en) Music recommendation method and apparatus
US11875080B2 (en) Object sharing method and apparatus
EP3885934A1 (en) Video search method and apparatus, computer device, and storage medium
CN113763466B (zh) 一种回环检测方法、装置、电子设备和存储介质
WO2021189640A1 (zh) 酒品信息管理方法、装置、计算机设备以及存储介质
WO2024012367A1 (zh) 视觉目标跟踪方法、装置、设备以及存储介质
KR20200068088A (ko) 모바일 증강현실을 위한 3d 객체 인식 및 추적 방법
US10032080B2 (en) Evaluation of models generated from objects in video
WO2020028068A1 (en) Learning template representation libraries
CN110874830A (zh) 图像处理的方法、装置和设备
Li et al. Kinect-based gesture recognition and its application in moocs recording system
CN114721562B (zh) 用于数字对象的处理方法、装置、设备、介质及产品
CN116820251B (zh) 一种手势轨迹交互方法、智能眼镜及存储介质
WO2023058809A1 (ko) 동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination