KR20210069806A - 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법 및 그 장치 - Google Patents

휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법 및 그 장치 Download PDF

Info

Publication number
KR20210069806A
KR20210069806A KR1020190159498A KR20190159498A KR20210069806A KR 20210069806 A KR20210069806 A KR 20210069806A KR 1020190159498 A KR1020190159498 A KR 1020190159498A KR 20190159498 A KR20190159498 A KR 20190159498A KR 20210069806 A KR20210069806 A KR 20210069806A
Authority
KR
South Korea
Prior art keywords
virtual
neural network
image
camera module
artificial intelligence
Prior art date
Application number
KR1020190159498A
Other languages
English (en)
Inventor
박철오
Original Assignee
주식회사 이토이랩
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이토이랩 filed Critical 주식회사 이토이랩
Priority to KR1020190159498A priority Critical patent/KR20210069806A/ko
Publication of KR20210069806A publication Critical patent/KR20210069806A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 휴대단말기의 단안 카메라 및 관성 측정장치를 이용하여 사물 및 공간 인식 기능이 학습된 신경망 처리를 통해 카메라 이미지 내 사물 및 공간 정보를 인식 후 이를 기반으로 가상 객체가 자연스럽게 융화되어 표현되는 상태로 사용자와의 인터렉션(Interaction)을 제공하는 휴대단말기의 인공신경망을 이용한 실상 및 가상의 정합 방법 및 그 장치에 관한 것으로서, 본 발명의 정합 방법은, 휴대단말기의 카메라 모듈을 통한 이미지의 획득 및 획득된 이미지상에서의 실/가상 정합 처리를 위한 공간 범위가 계산되는 단계, 상기 카메라 모듈의 회전값이 결정되고 상기 카메라 모듈을 통해 획득된 상기 이미지상의 특징점에 대한 프레임 간 차이를 계산 후 상기 특징점 및 상기 카메라 모듈 간의 거리를 삼각 측량하여 상기 카메라 모듈의 위치가 산정되는 단계, 상기 이미지 내에서 사전에 인식 훈련을 마친 인공신경망의 처리를 통해 인식된 사물에 대한 정보가 생성되는 단계, 계산된 상기 공간 범위를 바탕으로 가상 세계가 구축된 후 상기 가상 세계의 카메라 설정이 상기 카메라 모듈의 회전값 및 위치값과 동기화되는 단계, 상기 인공신경망의 처리를 통해 인식된 면들 중 평면을 대상으로 대리 객체가 생성되고, 가상 객체가 상기 대리 객체 상에 생성되는 단계, 상기 이미지 내에 상기 가상 세계 및 대리 객체와 가상 객체가 정합되는 단계를 포함할 수 있다.

Description

휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법 및 그 장치{Image merging method of reality and imagination using artifical intelligence nerve network for portable terminal and apparatus therefor}
본 발명은 휴대단말기의 단안 카메라 및 관성 측정장치(IMU : Inertial Measurement Unit)를 이용하여 사물 및 공간 인식 기능이 학습된 신경망 처리를 통해 카메라 이미지 내 사물 및 공간 정보를 인식 후 이를 기반으로 가상 객체가 자연스럽게 융화되어 표현되는 상태로 사용자와의 인터렉션(Interaction)을 제공하는 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법 및 그 장치에 관한 것이다.
현실의 오브젝트의 형상을 반영한 가상 오브젝트가 디지털 컨텐츠에서 이용될 수 있다. 예를 들어, 가상 현실(Virtual Reality) 컨텐츠 또는 증강 현실(Augmented Reality) 컨텐츠에서 가상 오브젝트가 이용될 수 있다.
가상 현실 컨텐츠 또는 증강 현실 컨텐츠는 현실과 유사한 환경을 구현해야하고, 사용자와 밀접하게 인터랙션을 해야하므로 가상 오브젝트가 유용하게 이용될 수 있다.
한국 공개특허 제10-2019-0045013호(2019.05.02.공개), “가상 오브젝트 생성 방법 및 장치” 한국 등록특허 제10-1879207호(2018.07.17.공고), “약한 지도 학습 방식의 객체 인식 방법 및 장치”
본 발명의 실시 예는 휴대단말기의 단안 카메라 및 관성 측정장치(IMU : Inertial Measurement Unit)를 이용하여 사물 및 공간 인식 기능이 학습된 신경망 처리를 통해 카메라 이미지 내 사물 및 공간 정보를 인식 후 이를 기반으로 가상 객체가 자연스럽게 융화되어 표현되는 상태로 사용자와의 인터렉션(Interaction)을 제공하는 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법 및 그 장치를 제공한다.
또한, 본 발명의 실시 예는 휴대단말기의 단안 카메라, 관성 측정장치 및 디스플레이 패널 등 기본적으로 탑재된 장치만을 이용하면서도 단순 이미지 결합이 아닌 3차원 공간을 인식하여 배치하는 방식을 통해 가상 객체의 실제감을 높이는 동시에 해당 가상 객체들 간 및 가상 객체와 사용자 간의 인터렉션(Interaction) 행위를 통해 증강 현실의 몰입도 향상 및 사용성의 증진이 이루어질 수 있도록 하는 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법 및 그 장치를 제공한다.
본 발명의 실시 예에 따른 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법은, 휴대단말기의 카메라 모듈을 통한 이미지의 획득 및 획득된 이미지상에서의 실/가상 정합 처리를 위한 공간 범위가 계산되는 단계와, 상기 카메라 모듈의 회전값이 결정되고 상기 카메라 모듈을 통해 획득된 상기 이미지상의 특징점에 대한 프레임 간 차이를 계산 후 상기 특징점 및 상기 카메라 모듈 간의 거리를 삼각 측량하여 상기 카메라 모듈의 위치가 산정되는 단계 그리고 상기 이미지 내에서 사전에 인식 훈련을 마친 인공 지능 신경망의 처리를 통해 인식된 사물에 대한 정보가 생성되는 단계와, 계산된 상기 공간 범위를 바탕으로 가상 세계가 구축된 후 상기 가상 세계의 카메라 설정이 상기 카메라 모듈의 회전값 및 위치값과 동기화되는 단계와, 상기 인공 지능 신경망의 처리를 통해 인식된 면들 중 평면을 대상으로 대리 객체가 생성되는 단계와, 상기 인공 지능 신경망의 처리를 통해 인식된 객체 중 관심 객체에 해당되는 가상 객체가 상기 대리 객체 상에 생성되는 단계와, 상기 이미지 내에 상기 가상 세계 및 대리 객체와 가상 객체가 정합되는 단계를 포함할 수 있다.
또한, 상기 인공 지능 신경망의 처리를 통해 인식된 면들 중 평면을 대상으로 대리 객체가 생성되는 단계에는, 상기 인공 지능 신경망의 처리를 기반으로 제공되는 일련의 꼭지점 좌표를 기준으로 랜더링용 메쉬, 충돌체(Collider) 및 상기 가상 객체의 조종에 필요한 네비게이션 메쉬(Navigation Mesh)가 생성되는 과정이 포함될 수 있다.
또한, 상기 인공 지능 신경망의 처리를 통해 인식된 객체 중 관심 객체에 해당되는 가상 객체가 상기 대리 객체 상에 생성되는 단계에는, 생성되는 가상 객체의 유형에 따라 상기 대리 객체상의 상기 네비게이션 메쉬상에 변경을 가해 다른 가상 객체가 해당 가상 객체를 통과하지 못하도록 처리하는 과정 및 생성되는 가상 객체의 형태에 따라 사용자와의 상호 작용을 위한 상기 충돌체를 추가하는 과정 중 적어도 하나의 과정이 포함될 수 있다.
또한, 상기 인공 지능 신경망의 처리를 통해 인식된 객체 중 관심 객체에 해당되는 가상 객체가 상기 대리 객체 상에 생성되는 단계에는, 인식된 객체의 이미지 내 바운딩 박스(Bounding Box) 좌표를 기준으로 상기 가상 객체의 크기(Scale)가 계산되는 과정이 포함될 수 있다.
또한, 본 발명의 실시 예에 따른 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법은, 상기 이미지 내에 상기 가상 세계 및 대리 객체와 가상 객체가 정합되는 단계 이후에, 상기 이미지 내에 상기 가상 세계 및 대리 객체와 가상 객체가 정합된 이미지가 상기 휴대단말기의 디스플레이부에 표시되는 단계와, 사용자의 입력에 따라 상기 디스플레이부의 표시 화면상에서 상기 가상 객체의 이동, 회전, 크기 변환이 포함된 행동(Action) 및 상기 행동에 기반하는 애니메이션 동작이 표시되는 단계를 더 포함할 수 있다.
또한, 상기 카메라 모듈의 회전값 결정은 상기 휴대단말기의 관성 측정장치(IMU : Inertial Measurement Unit)를 통해 이루어지는 것일 수 있다.
그리고 본 발명의 실시 예에 따른 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 장치는, 휴대단말기의 카메라 모듈을 통해 획득된 이미지를 대상으로 상기 이미지상에서의 실/가상 정합 처리를 위한 공간 범위를 계산하는 전처리부와, 상기 카메라 모듈의 회전값을 결정하고, 상기 이미지상의 특징점에 대한 프레임 간 차이를 계산 후 상기 특징점 및 상기 카메라 모듈 간의 거리를 삼각 측량하여 상기 카메라 모듈의 위치를 산정하는 공간 정보 추출부와, 상기 이미지 내에서 사전에 인식 훈련을 마친 인공 지능 신경망의 처리를 통해 인식된 사물에 대한 정보를 생성하는 사물 인식 신경망 처리부와, 상기 전처리부에서 계산된 상기 공간 범위를 바탕으로 가상 세계를 구축 후 상기 가상 세계의 카메라 설정을 상기 카메라 모듈의 회전값 및 위치값과 동기화하는 가상 카메라 동기화부와, 상기 사물 인식 신경망 처리부를 통해 인식된 면들 중 평면을 대상으로 대리 객체를 생성하는 대리객체 생성부와, 상기 사물 인식 신경망 처리부를 통해 인식된 객체 중 관심 객체에 해당되는 가상 객체를 상기 대리 객체 상에 생성하는 가상객체 생성부와, 상기 이미지 내에 상기 가상 세계 및 대리 객체와 가상 객체를 정합하는 실/가상 정합 처리부와, 사용자의 조작 신호가 입력 및 처리되는 사용자 인터렉션 입력/처리부를 포함하며, 상기 실/가상 정합 처리부 및 사용자 인터렉션 입력/처리부를 통한 정합 이미지가 상기 휴대단말기의 디스플레이부를 통해 표시되는 것일 수 있다.
또한, 상기 대리객체 생성부는 상기 사물 인식 신경망 처리부로부터 제공되는 일련의 꼭지점 좌표를 기준으로 랜더링용 메쉬, 충돌체(Collider) 및 상기 가상 객체의 조종에 필요한 네비게이션 메쉬(Navigation Mesh)를 생성하는 기능을 더 포함할 수 있다.
또한, 상기 가상객체 생성부는 생성되는 가상 객체의 유형에 따라 상기 대리 객체상의 상기 네비게이션 메쉬상에 변경을 가해 다른 가상 객체가 해당 가상 객체를 통과하지 못하도록 처리하는 기능 및 생성되는 가상 객체의 형태에 따라 사용자와의 상호 작용을 위한 상기 충돌체를 추가하는 기능 중 적어도 하나의 기능을 더 포함할 수 있다.
또한, 상기 가상객체 생성부는 상기 사물 인식 신경망 처리부를 통해 인식된 객체의 이미지 내 바운딩 박스(Bounding Box) 좌표를 기준으로 상기 가상 객체의 크기(Scale)를 계산하는 것일 수 있다.
또한, 상기 공간 정보 추출부는 상기 휴대단말기의 관성 측정장치(IMU : Inertial Measurement Unit)를 통해 상기 카메라 모듈의 회전값을 결정하는 것일 수 있다.
본 발명의 실시 예에 따르면, 휴대단말기의 단안 카메라 및 관성 측정장치(IMU : Inertial Measurement Unit)를 이용하여 사물 및 공간 인식 기능이 학습된 신경망 처리를 통해 카메라 이미지 내 사물 및 공간 정보를 인식 후 이를 기반으로 가상 객체가 자연스럽게 융화되어 표현되는 상태로 사용자와의 인터렉션(Interaction)을 제공할 수 있게 된다.
또한, 휴대단말기의 단안 카메라, 관성 측정장치 및 디스플레이 패널 등 기본적으로 탑재된 장치만을 이용하면서도 단순 이미지 결합이 아닌 3차원 공간을 인식하여 배치하는 방식을 통해 가상 객체의 실제감을 높이는 동시에 해당 가상 객체들 간 및 가상 객체와 사용자 간의 인터렉션(Interaction) 행위를 통해 증강 현실의 몰입도 향상 및 사용성의 증진이 이루어질 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법을 예시한 플로우챠트
도 2는 본 발명의 일 실시 예에 따른 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 장치를 예시한 구성도
도 3 내지 도 9는 본 발명의 실시 예에 따른 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법 내지 장치를 통해 실상 및 가상의 정합이 이루어지는 일례를 예시한 도면
이하의 본 발명에 관한 상세한 설명들은 본 발명이 실시될 수 있는 실시 예이고 해당 실시 예의 예시로써 도시된 첨부 도면을 참조한다. 이들 실시 예는 당업자가 본 발명의 실시에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시 예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시 예에 관련하여 본 발명의 사상 및 범위를 벗어나지 않으면서 다른 실시 예로 구현될 수 있다. 또한, 각각의 기재된 실시 예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 사상 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다.
따라서 후술되는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는 적절하게 설명된다면 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
발명에서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”,　＂…모듈“ 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
도 1 내지 도 9를 참조하여 본 발명의 실시 예에 따른 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법 및 그 장치에 대해 설명한다.
도 1은 본 발명의 일 실시 예에 따른 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법을 예시한 플로우챠트이다.
도시된 바와 같이, 단계(S110)에서, 휴대단말기의 카메라 모듈을 통한 이미지의 획득 및 획득된 이미지상에서의 실/가상 정합 처리를 위한 공간 범위가 계산된다.
단계(S120)에서, 상기 카메라 모듈의 회전값이 결정되고 상기 카메라 모듈을 통해 획득된 상기 이미지상의 특징점에 대한 프레임 간 차이를 계산 후 상기 특징점 및 상기 카메라 모듈 간의 거리를 삼각 측량하여 상기 카메라 모듈의 위치가 산정된다. 여기서, 상기 카메라 모듈의 회전값 결정은 상기 휴대단말기의 관성 측정장치(IMU : Inertial Measurement Unit)를 통해 이루어지는 것일 수 있다.
단계(S130)에서, 상기 이미지 내에서 사전에 인식 훈련을 마친 인공 지능 신경망의 처리를 통해 인식된 사물에 대한 정보가 생성된다.
단계(S140)에서, 단계(S110) 및 단계(S120)을 기반으로 가상 세계가 구축된 후, 구축된 가상 세계의 카메라 설정이 상기 카메라 모듈의 회전값 및 위치값과 동기화된다.
단계(S150)에서, 상기 인공 지능 신경망의 처리를 통해 인식된 면들 중 평면을 대상으로 대리(Proxy) 객체가 생성된다. 여기서, 단계(S150)에는 상기 인공 지능 신경망의 처리를 기반으로 제공되는 일련의 꼭지점 좌표를 기준으로 랜더링용 메쉬, 충돌체(Collider) 및 가상 객체의 조종에 필요한 네비게이션 메쉬(Navigation Mesh)가 생성되는 과정이 포함될 수 있다.
단계(S160)에서, 상기 인공 지능 신경망의 처리를 통해 인식된 객체 중 관심 객체에 해당되는 가상 객체가 상기 대리 객체 상에 생성된다. 여기서, 단계(S160)에는 생성되는 가상 객체의 유형에 따라 상기 대리 객체상의 상기 네비게이션 메쉬상에 변경을 가해 다른 가상 객체가 해당 가상 객체를 통과하지 못하도록 처리하는 과정 및 생성되는 가상 객체의 형태에 따라 사용자와의 상호 작용을 위한 상기 충돌체를 추가하는 과정 중 적어도 하나의 과정이 포함될 수 있다. 또한, 단계(S160)에는 인식된 객체의 이미지 내 바운딩 박스(Bounding Box) 좌표를 기준으로 상기 가상 객체의 크기(Scale)가 계산되는 과정이 포함될 수 있다.
단계(S170)에서, 상기 이미지 내에 상기 가상 세계 및 대리 객체와 가상 객체가 정합된다.
단계(S180)에서, 단계(S170)을 통해 상기 이미지 내에 상기 가상 세계 및 대리 객체와 가상 객체가 정합된 이미지가 상기 휴대단말기의 디스플레이부에 표시된다.
단계(S190)에서, 사용자의 입력에 따라 상기 디스플레이부의 표시 화면상에서 상기 가상 객체의 이동, 회전, 크기 변환이 포함된 행동(Action) 및 상기 행동에 기반하는 애니메이션 동작이 표시된다.
다음은 도 2를 참조하여 본 발명의 실시 예에 따른 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 장치에 대해 설명한다.
도 2는 본 발명의 일 실시 예에 따른 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 장치를 예시한 구성도이다.
도시된 바와 같이, 본 발명의 일 실시 예에 따른 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 장치는 전처리부(100), 공간 정보 추출부(200), 사물 인식 신경망 처리부(300), 가상 카메라 동기화부(400), 대리객체 생성부(500), 가상객체 생성부(600), 실/가상 정합 처리부(700) 및 사용자 인터렉션 입력/처리부(800)를 포함하여 구성된다.
전처리부(100)는 휴대단말기(10)의 카메라 모듈(11)을 통해 획득된 이미지를 대상으로 상기 이미지상에서의 실/가상 정합 처리를 위한 공간 범위를 계산한다.
공간 정보 추출부(200)는 카메라 모듈(11)의 회전값을 결정하고, 상기 이미지상의 특징점에 대한 프레임 간 차이를 계산 후 상기 특징점 및 카메라 모듈(11) 간의 거리를 삼각 측량하여 카메라 모듈(11)의 위치를 산정한다. 여기서, 공간 정보 추출부(200)는 휴대단말기(10)의 관성 측정장치(IMU : Inertial Measurement Unit, 13))를 통해 카메라 모듈(11)의 회전값을 결정하는 것일 수 있다.
사물 인식 신경망 처리부(300)는 상기 이미지 내에서 사전에 인식 훈련을 마친 인공 지능 신경망의 처리를 통해 인식된 사물에 대한 정보를 생성한다.
가상 카메라 동기화부(400)는 전처리부(100)에서 계산된 상술한 공간 범위를 바탕으로 가상 세계를 구축 후 이렇게 구축된 가상 세계의 카메라 설정을 카메라 모듈(11)의 회전값 및 위치값과 동기화한다.
대리객체 생성부(500)는 사물 인식 신경망 처리부(300)를 통해 인식된 면들 중 평면을 대상으로 대리 객체를 생성한다. 여기서, 대리객체 생성부(500)는 사물 인식 신경망 처리부(300)로부터 제공되는 일련의 꼭지점 좌표를 기준으로 랜더링용 메쉬, 충돌체(Collider) 및 상기 가상 객체의 조종에 필요한 네비게이션 메쉬(Navigation Mesh)를 생성하는 기능을 더 포함할 수 있다.
가상객체 생성부(600)는 사물 인식 신경망 처리부(300)를 통해 인식된 객체 중 관심 객체에 해당되는 가상 객체를 상기 대리 객체 상에 생성한다. 여기서, 가상객체 생성부(600)는 생성되는 가상 객체의 유형에 따라 상기 대리 객체상의 상기 네비게이션 메쉬상에 변경을 가해 다른 가상 객체가 해당 가상 객체를 통과하지 못하도록 처리하는 기능을 포함할 수 있다. 그리고 가상객체 생성부(600)는 생성되는 가상 객체의 형태에 따라 사용자와의 상호 작용을 위한 상기 충돌체를 추가하는 기능을 포함할 수 있다.
또한, 가상객체 생성부(600)는 사물 인식 신경망 처리부(300)를 통해 인식된 객체의 이미지 내 바운딩 박스(Bounding Box) 좌표를 기준으로 상기 가상 객체의 크기(Scale)를 계산하는 것일 수 있다.
실/가상 정합 처리부(700)는 상술한 이미지 내에 상기 가상 세계 및 대리 객체와 가상 객체를 정합하는 기능을 한다.
사용자 인터렉션 입력/처리부(800)는 사용자의 조작 신호가 입력 및 처리되는 기능을 한다.
이에 따라 실/가상 정합 처리부(700) 및 사용자 인터렉션 입력/처리부(800)를 통한 정합 이미지가 휴대단말기(10)의 디스플레이부(12)를 통해 표시된다.
도 3 내지 도 9를 참조하면, 도 3 내지 도 9는 본 발명의 실시 예에 따른 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법 내지 장치를 통해 실상 및 가상의 정합이 이루어지는 일례를 예시한 도면이다.
도 3은 휴대단말기의 카메라 모듈을 통해 획득되는 이미지상에서 책상 및 컵이 인식되는 상태를 예시한 것이다.
도 4는 이미지상의 책상을 인식하여 책상 테두리 좌표점을 인식하는 장면을 예시한 것이다.
도 5는 이미지상의 책상에 해당하는 평면의 대리 객체를 생성하는 장면을 예시한 것이다.
도 6은 관심 객체를 검출하여 해당 위치에 가상 객체를 생성하는 장면을 예시한 것이다. 본 실시 예를 기준으로 부연 설명하면, 관심 객체인 컵을 검출하여 이를 기반으로 가상 객체를 생성한 것을 예시한 것이다.
도 7은 이미지상에 가상 공간 및 가상 객체를 정합한 장면을 예시한 것이다.
도 8은 사용자의 입력에 따라 가상 객체들의 액션이 이루어지고 있는 장면을 예시한 것이다.
도 9는 생성된 가상 공간 및 가상 객체가 휴대단말기의 카메라 모듈 이동에 따른 실 공간 변경(위치 및 회전)에도 대응하는 것을 보여주는 장면을 예시한 것이다.
상술한 실시 예들을 통한 설명에서 알 수 있는 바와 같이, 본 발명의 실시 예에 따른 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법 및 그 장치는, 휴대단말기의 단안 카메라 및 관성 측정장치(IMU : Inertial Measurement Unit)를 이용하여 사물 및 공간 인식 기능이 학습된 신경망 처리를 통해 카메라 이미지 내 사물 및 공간 정보를 인식 후 이를 기반으로 가상 객체가 자연스럽게 융화되어 표현되는 상태로 사용자와의 인터렉션(Interaction)이 제공될 수 있게 한다.
또한, 휴대단말기의 단안 카메라, 관성 측정장치 및 디스플레이 패널 등 기본적으로 탑재된 장치만을 이용하면서도 단순 이미지 결합이 아닌 3차원 공간을 인식하여 배치하는 방식을 통해 가상 객체의 실제감을 높이는 동시에 해당 가상 객체들 간 및 가상 객체와 사용자 간의 인터렉션(Interaction) 행위를 통해 증강 현실의 몰입도 향상 및 사용성의 증진이 이루어질 수 있게 한다.
이상과 같이 본 설명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시 예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시 예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서 본 발명의 사상은 설명된 실시 예에 국한되어 정하여 저서는 안되며, 후술되는 청구범위뿐만 아니라 이 청구범위와 균등하거나 등가적인 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
10 : 휴대 단말기 11 : 카메라 모듈
12 : 디스플레이부 13 : 관성 측정장치
100 : 전처리부 200 : 공간 정보 추출부
300 : 사물 인식 신경망 처리부 400 : 가상 카메라 동기화부
500 : 대리객체 생성부 600 : 가상객체 생성부
700: 실/가상 정합 처리부 800 : 사용자 인터렉션 입력/처리부

Claims (11)

  1. 휴대단말기의 카메라 모듈을 통한 이미지의 획득 및 획득된 이미지상에서의 실/가상 정합 처리를 위한 공간 범위가 계산되는 단계;
    상기 카메라 모듈의 회전값이 결정되고 상기 카메라 모듈을 통해 획득된 상기 이미지상의 특징점에 대한 프레임 간 차이를 계산 후 상기 특징점 및 상기 카메라 모듈 간의 거리를 삼각 측량하여 상기 카메라 모듈의 위치가 산정되는 단계와, 상기 이미지 내에서 사전에 인식 훈련을 마친 인공 지능 신경망의 처리를 통해 인식된 사물에 대한 정보가 생성되는 단계;
    계산된 상기 공간 범위를 바탕으로 가상 세계가 구축된 후 상기 가상 세계의 카메라 설정이 상기 카메라 모듈의 회전값 및 위치값과 동기화되는 단계;
    상기 인공 지능 신경망의 처리를 통해 인식된 면들 중 평면을 대상으로 대리 객체가 생성되는 단계;
    상기 인공 지능 신경망의 처리를 통해 인식된 객체 중 관심 객체에 해당되는 가상 객체가 상기 대리 객체 상에 생성되는 단계; 및
    상기 이미지 내에 상기 가상 세계 및 대리 객체와 가상 객체가 정합되는 단계를 포함하는 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법.
  2. 제 1 항에 있어서,
    상기 인공 지능 신경망의 처리를 통해 인식된 면들 중 평면을 대상으로 대리 객체가 생성되는 단계에는,
    상기 인공 지능 신경망의 처리를 기반으로 제공되는 일련의 꼭지점 좌표를 기준으로 랜더링용 메쉬, 충돌체(Collider) 및 상기 가상 객체의 조종에 필요한 네비게이션 메쉬(Navigation Mesh)가 생성되는 과정이 포함되는 것을 특징으로 하는 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법.
  3. 제 2 항에 있어서,
    상기 인공 지능 신경망의 처리를 통해 인식된 객체 중 관심 객체에 해당되는 가상 객체가 상기 대리 객체 상에 생성되는 단계에는,
    생성되는 가상 객체의 유형에 따라 상기 대리 객체상의 상기 네비게이션 메쉬상에 변경을 가해 다른 가상 객체가 해당 가상 객체를 통과하지 못하도록 처리하는 과정 및 생성되는 가상 객체의 형태에 따라 사용자와의 상호 작용을 위한 상기 충돌체를 추가하는 과정 중 적어도 하나의 과정이 포함되는 것을 특징으로 하는 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법.
  4. 제 1 항에 있어서,
    상기 인공 지능 신경망의 처리를 통해 인식된 객체 중 관심 객체에 해당되는 가상 객체가 상기 대리 객체 상에 생성되는 단계에는,
    인식된 객체의 이미지 내 바운딩 박스(Bounding Box) 좌표를 기준으로 상기 가상 객체의 크기(Scale)가 계산되는 과정이 포함되는 것을 특징으로 하는 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법.
  5. 제 1 항에 있어서,
    상기 이미지 내에 상기 가상 세계 및 대리 객체와 가상 객체가 정합되는 단계 이후에,
    상기 이미지 내에 상기 가상 세계 및 대리 객체와 가상 객체가 정합된 이미지가 상기 휴대단말기의 디스플레이부에 표시되는 단계; 및
    사용자의 입력에 따라 상기 디스플레이부의 표시 화면상에서 상기 가상 객체의 이동, 회전, 크기 변환이 포함된 행동(Action) 및 상기 행동에 기반하는 애니메이션 동작이 표시되는 단계를 더 포함하는 것을 특징으로 하는 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법.
  6. 제 1 항에 있어서,
    상기 카메라 모듈의 회전값 결정은 상기 휴대단말기의 관성 측정장치(IMU : Inertial Measurement Unit)를 통해 이루어지는 것을 특징으로 하는 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법.
  7. 휴대단말기의 카메라 모듈을 통해 획득된 이미지를 대상으로 상기 이미지상에서의 실/가상 정합 처리를 위한 공간 범위를 계산하는 전처리부;
    상기 카메라 모듈의 회전값을 결정하고, 상기 이미지상의 특징점에 대한 프레임 간 차이를 계산 후 상기 특징점 및 상기 카메라 모듈 간의 거리를 삼각 측량하여 상기 카메라 모듈의 위치를 산정하는 공간 정보 추출부;
    상기 이미지 내에서 사전에 인식 훈련을 마친 인공 지능 신경망의 처리를 통해 인식된 사물에 대한 정보를 생성하는 사물 인식 신경망 처리부;
    상기 전처리부에서 계산된 상기 공간 범위를 바탕으로 가상 세계를 구축 후 상기 가상 세계의 카메라 설정을 상기 카메라 모듈의 회전값 및 위치값과 동기화하는 가상 카메라 동기화부;
    상기 사물 인식 신경망 처리부를 통해 인식된 면들 중 평면을 대상으로 대리 객체를 생성하는 대리객체 생성부;
    상기 사물 인식 신경망 처리부를 통해 인식된 객체 중 관심 객체에 해당되는 가상 객체를 상기 대리 객체 상에 생성하는 가상객체 생성부;
    상기 이미지 내에 상기 가상 세계 및 대리 객체와 가상 객체를 정합하는 실/가상 정합 처리부; 및
    상기 가상 객체의 이동, 회전, 크기 변환이 포함된 행동(Action)용 신호 및 기타 사용자의 조작 신호가 입력 및 처리되는 사용자 인터렉션 입력/처리부를 포함하는 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 장치.
  8. 제 7 항에 있어서,
    상기 대리객체 생성부는 상기 사물 인식 신경망 처리부로부터 제공되는 일련의 꼭지점 좌표를 기준으로 랜더링용 메쉬, 충돌체(Collider) 및 상기 가상 객체의 조종에 필요한 네비게이션 메쉬(Navigation Mesh)를 생성하는 기능을 더 포함하는 것을 특징으로 하는 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 장치.
  9. 제 8 항에 있어서,
    상기 가상객체 생성부는 생성되는 가상 객체의 유형에 따라 상기 대리 객체상의 상기 네비게이션 메쉬상에 변경을 가해 다른 가상 객체가 해당 가상 객체를 통과하지 못하도록 처리하는 기능 및 생성되는 가상 객체의 형태에 따라 사용자와의 상호 작용을 위한 상기 충돌체를 추가하는 기능 중 적어도 하나의 기능을 더 포함하는 것을 특징으로 하는 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 장치.
  10. 제 7 항에 있어서,
    상기 가상객체 생성부는 상기 사물 인식 신경망 처리부를 통해 인식된 객체의 이미지 내 바운딩 박스(Bounding Box) 좌표를 기준으로 상기 가상 객체의 크기(Scale)를 계산하는 것을 특징으로 하는 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 장치.
  11. 제 7 항에 있어서,
    상기 공간 정보 추출부는 상기 휴대단말기의 관성 측정장치(IMU : Inertial Measurement Unit)를 통해 상기 카메라 모듈의 회전값을 결정하는 것을 특징으로 하는 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 장치.
KR1020190159498A 2019-12-04 2019-12-04 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법 및 그 장치 KR20210069806A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190159498A KR20210069806A (ko) 2019-12-04 2019-12-04 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190159498A KR20210069806A (ko) 2019-12-04 2019-12-04 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR20210069806A true KR20210069806A (ko) 2021-06-14

Family

ID=76417724

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190159498A KR20210069806A (ko) 2019-12-04 2019-12-04 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20210069806A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101879207B1 (ko) 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
KR20190045013A (ko) 2017-10-23 2019-05-02 삼성전자주식회사 가상 오브젝트 생성 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101879207B1 (ko) 2016-11-22 2018-07-17 주식회사 루닛 약한 지도 학습 방식의 객체 인식 방법 및 장치
KR20190045013A (ko) 2017-10-23 2019-05-02 삼성전자주식회사 가상 오브젝트 생성 방법 및 장치

Similar Documents

Publication Publication Date Title
US9576183B2 (en) Fast initialization for monocular visual SLAM
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
US10733798B2 (en) In situ creation of planar natural feature targets
US20240087237A1 (en) Augmented reality guidance that generates guidance markers
KR20120068253A (ko) 사용자 인터페이스의 반응 제공 방법 및 장치
WO2017213974A1 (en) Tap event location with a selection apparatus
US11582409B2 (en) Visual-inertial tracking using rolling shutter cameras
US11682138B2 (en) Localization and mapping using images from multiple devices
US11741679B2 (en) Augmented reality environment enhancement
KR101638550B1 (ko) 혼합현실을 이용한 가상현실 시스템 및 그 구현방법
EP3260950A1 (en) Mediated reality
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
US20200211275A1 (en) Information processing device, information processing method, and recording medium
US10713847B2 (en) Method and device for interacting with virtual objects
JP6168597B2 (ja) 情報端末装置
Piérard et al. I-see-3d! an interactive and immersive system that dynamically adapts 2d projections to the location of a user's eyes
KR20210069806A (ko) 휴대단말기의 인공 지능 신경망을 이용한 실상 및 가상의 정합 방법 및 그 장치
CN114201028B (zh) 扩增实境系统与其锚定显示虚拟对象的方法
KR20230095197A (ko) 3차원 공간에서 생성한 인지적 매쉬 정보와 가상 객체들간의 상호작용 방법 및 그 장치
TWI779332B (zh) 擴增實境系統與其錨定顯示虛擬物件的方法
US12028626B2 (en) Visual-inertial tracking using rolling shutter cameras
KR20220083166A (ko) 인체 추정 방법 및 장치
KR20230081696A (ko) 증강현실 제공 장치
CN117940963A (zh) 显示装置、显示装置的控制方法以及程序
EP3847621A1 (en) Object tracking

Legal Events

Date Code Title Description
E601 Decision to refuse application