KR20230071588A - 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치 및 그 방법 - Google Patents

디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치 및 그 방법 Download PDF

Info

Publication number
KR20230071588A
KR20230071588A KR1020210157954A KR20210157954A KR20230071588A KR 20230071588 A KR20230071588 A KR 20230071588A KR 1020210157954 A KR1020210157954 A KR 1020210157954A KR 20210157954 A KR20210157954 A KR 20210157954A KR 20230071588 A KR20230071588 A KR 20230071588A
Authority
KR
South Korea
Prior art keywords
diorama
location
map
user
augmented reality
Prior art date
Application number
KR1020210157954A
Other languages
English (en)
Inventor
정성욱
김경일
김주영
박상헌
이병규
조현우
지형근
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210157954A priority Critical patent/KR20230071588A/ko
Priority to US17/841,998 priority patent/US20230154115A1/en
Publication of KR20230071588A publication Critical patent/KR20230071588A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Abstract

본 발명은 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치에 관한 것이다.
본 발명은 사용자 카메라 영상이나 센서를 통해 입력되는 영상 데이터를 이용하여 AR맵을 구축하는 디오라마 공간생성 및 구축 모듈; 상기 구축된 AR맵을 AR 디바이스로 로딩하고, 실시간으로 입력되는 영상데이터를 기반으로 디오라마 공간에서의 AR 디바이스의 위치를 실시간으로 추적하는 디오라마 환경 추적 및 위치 최적화 모듈; 및 사용자 인터랙션 처리, 사용자 이벤트 정보 처리 및 관리, 그리고 증강현실 콘텐츠를 재생하는 사용자 인터렉션 모듈과 인터랙션 동기화 처리, 콘텐츠 동기화 처리 및 사용자 정보 동기화 처리를 수행하는 다수 사용자 연동 및 이벤트 동기화 모듈을 포함한다.

Description

디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치 및 그 방법{Multi person augmented reality content providing device and method for diorama application}
본 발명은 기존의 기계적 디오라마(Diorama, 정밀모형)에서 증강현실(AR: Augmented Reality) 기술을 적용하여 가상의 콘텐츠를 디오라마상에 증강시키기 위한 것으로써, 더욱 상세하게는 RGB 단안 카메라 센서를 사용하여 조밀한 정밀모형의 위치를 6DOF(Degree of Freedom) 뷰에서 추적하고, 다수의 사용자가 참여하여 체험하며, 사용자와 가상객체와의 상호작용하는 방법을 포함한 디오라마 기반 증강현실 콘텐츠 제공방법 및 그 장치에 관한 것이다.
최근 드론, 스마트폰, 로봇 등 새로운 놀이 산업의 등장으로 전통적인 정밀 완구 제조업의 시장 규모가 좁아지고 있으나, 키덜트 시장의 모형시장(피규어, 프라모델, 무선모형 등) 세분화 및 다각도 시도와 각각의 영역에서 융합을 통한 시장은 계속 확대되고 있는 추세이다.
기존의 디오라마 기반의 AR 시스템은 2D 평면인식을 통해 가상객체를 증강하기 때문에 3차원 실제 모델과 다수의 사용자가 참여하기에는 제약이 있다. 예를 들어, 구글의 AR Core를 적용한 레고(Lego)의 '히든사이드' 제품군은, 완성된 레고 제품 및 평면인식 기반 추적 기술로 서비스를 실시하였다.
하지만, 제한된 각도에서만 증강현실 효과를 제공하고 있으며, 해즈브로(Hazbro)의 '마블 히어로 비전'의 경우, 제품을 통한 AR 인터랙션 요소가 제한적으로 제공되고 있다.
현재의 기계식 디오라마 시스템은 정밀 모형 및 기계장치의 조합으로 기존 정밀 완구의 경우, 정적인 구조물이 대부분이며 개인에 따라 선호도에 차이가 있어 주제에 맞추어 디오라마를 새롭게 제작해야 한다.
최근에는 디오라마에 동적 움직임을 활용하는 기술들이 다양하게 시도되고 있으나, 기계적인 매커니즘을 활용하여 제작하기 때문에 유지보수가 어려우며, 자연 효과(불, 연기, 구름, 물 등)를 표현하는데 제약이 있다.
따라서, 추가적인 매커니즘 개발없이 정밀모형만을 제작하고, AR기술 기반의 정밀한 동적효과 제공을 통해서 디오라마의 구성 및 관리를 효율적으로 변경하고, 제작하는 시간을 줄이는 방법이 필요하다.
기계식 디오라마 시스템에 증강현실 기술을 적용하기 위해서는 복잡한 정밀모형 상에서 사용자가 가상객체를 6DOF(Degree of freedom) 뷰로 볼 수 있도록 하는 AR 디바이스 위치 추정 방법, 다수의 사용자가 각자의 디바이스로 참여할 수 있는 방법, 가상객체와 디오라마 그리고, 사용자간 인터랙션 방법, 위와 같은 고려사항이 반영된 디오라마 증강현실 시스템이 필요하다.
본 발명은 종래 문제점을 해결하기 위해 안출된 것으로, 다양한 복잡한 구조의 기계식 디오라마에 증강현실을 적용하기 위해 디오라마에 공간 추적 기술을 접목하여 AR 디바이스의 위치를 정밀하게 추정하고, 다수의 사용자가 동시에 체험하기 위한 구조를 포함하여, 개인의 범용 디바이스를 통해 다수의 사용자가 다양한 인터랙션을 체험할 수 있는 디오라마 기반 증강현실 시스템을 제공하는데 그 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치는 사용자 카메라 영상이나 센서를 통해 입력되는 영상 데이터를 이용하여 AR맵을 구축하는 디오라마 공간생성 및 구축 모듈; 상기 구축된 AR맵을 AR 디바이스로 로딩하고, 실시간으로 입력되는 영상데이터를 기반으로 디오라마 공간에서의 AR 디바이스의 위치를 실시간으로 추적하는 디오라마 환경 추적 및 위치 최적화 모듈; 및 사용자 인터랙션 처리, 사용자 이벤트 정보 처리 및 관리, 그리고 증강현실 콘텐츠를 재생하는 사용자 인터렉션 모듈과 인터랙션 동기화 처리, 콘텐츠 동기화 처리 및 사용자 정보 동기화 처리를 수행하는 다수 사용자 연동 및 이벤트 동기화 모듈을 포함한다.
상기 디오라마 공간생성 및 구축 모듈은, 각각의 디바이스에서 입력된 데이터를 기반으로 디오라마 공간을 생성하고, AR 디바이스로부터 입력되는 영상 데이터를 기반으로 3차원 증강현실 AR맵을 구축한다.
상기 디오라마 공간생성 및 구축 모듈은, 모바일 디바이스의 입력 데이터를 입력받는 데이터 입력부; 영상 내에서 특징점 및 키프레임(Key Frame)을 추출하는 특징점 추출부; 영상에서 특징점이 추출되면, 특징점 중에서 필요 없는 부분을 제거하는 특징점 보정부; 필요 없는 부분이 제거된 특징점을 이용하여 포인트 클라우드맵을 생성하는 클라우드 맵 생성부; 현재 접속된 AR 디바이스가 복수인지를 판단하는 접속 단말 판단부; 및 현재 접속된 AR 디바이스가 복수이면, 각각의 AR 디바이스에 의해 생성된 AR 맵을 ICP(Iterative Closest Point) 방법 등을 사용하여 전체 AR 맵 데이터를 생성하는 AR맵 병합부를 포함한다.
여기서, 상기 특징점은, SLAM(Simultaneous Localization and Mapping) 분야에서 사용하는 특징점 추출 알고리즘(ORB SLAM, SVO)을 이용하는 점기반 추출 알고리즘을 사용하는 것이 바람직하다.
상기 디오라마 환경 추적 및 위치 최적화 모듈은, 디오라마 공간에 이용할 AR 맵 데이터를 로딩하는 AR 맵 로딩부; 디바이스의 RGB 영상 데이터 및 IMU 데이터를 입력받는 영상 입력부; 상기 디바이스를 통해 입력된 RGB 영상 데이터에서 특징점을 추출하는 특징점 검출부; 상기 로딩한 AR맵과 상기 RGB 영상 데이터에서 특징점을 매핑시켜 AR 디바이스의 위치를 추정하는 디바이스 위치 추정부; AR 디바이스의 위치가 유효한 3D 위치하는지를 판단하는 AR 디바이스 위치 판단부; 및 AR 디바이스의 위치가 유효한 3D 위치에 위치하면, AR 디바이스의 정밀 3D 위치로 결정하는 AR 디바이스 위치 결정부를 포함한다.
상기 AR 디바이스 위치 결정부는, AR 디바이스의 위치가 유효한 3D 위치에 위치하지 않으면, 다시 특징점 검출부를 통해 다음 RGB 영상 프레임에서 특징점을 추출한 후 AR 디바이스 위치 추정부를 통해 AR 디바이스가 유효한 3D 위치에 위치하는지를 판단하는 과정을 다시 수행할 수 있다.
상기 다수 사용자 연동 및 이벤트 동기화 모듈은, 상기의 AR 디바이스 위치정보를 통해 구축된 콘텐츠와의 인터랙션 및 각각의 디바이스의 뷰동기화를 수행하고, 사용자 인터랙션 처리, 이벤트 처리, 통신을 통한 뷰동기화 및 이벤트 동기화를 처리하며, AR 디바이스에서의 사용자의 입력을 인식하는 기능과 AR 서버에서 들어오는 이벤트를 인식하는 기능을 수행하고, 서버에서 입력되는 정보에 기반하여 증강되는 가상객체를 각 디바이스에 동기화한다.
또한 본 발명은 상기 디오라마 공간 생성 및 구축 모듈로부터 제공되는 AR 맵데이터와 디오라마 환경 추적 위치 최적화 모듈로부터 제공되는 사용자 디바이스 위치정보를 이용하여 디오라마 맵상에 사용자 디바이스의 현재위치를 기반으로 가상 콘텐츠를 처리하는 디오라마 공간정보 기반 가상 콘텐츠 정합 모듈을 더 포함한다.
본 발명의 일 실시예에 따른 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 방법은 디오라마 공간생성 및 구축 모듈에 의해, 사용자 카메라 영상이나 센서를 통해 만들어진 AR맵을 구축하는 단계; 디오라마 환경 추적 및 위치 최적화 모듈에 의해, 상기 구축된 AR맵을 AR 디바이스로 로딩하는 단계; 실시간으로 입력되는 영상데이터를 기반으로 디오라마 공간에서의 AR 디바이스의 위치를 실시간으로 추적하는 단계; 디오라마 환경 추적 및 위치 최적화 모듈에 의해, AR 공간 맵 로드 및 장소 인식, 키프레임기반 로컬레이제이션, AR 디바이스 기기의 정밀 자세 추정 및 최적화 기능을 수행하는 단계; 및 다수 사용자 연동 및 이벤트 동기화 모듈에 의해, 사용자 인터랙션 처리, 이벤트 처리, 통신을 통한 뷰동기화 및 이벤트 동기화를 처리하는 단계를 포함한다.
본 발명의 일 실시예에 따르면, 복잡한 3차원 구조의 디오라마 적합한 6DOF 뷰의 카메라 트래킹 기술을 적용하여 어느 시점에서도 가상객체 증강이 가능하여 좀 더 자유로운 가상객체 표현이 가능한 효과가 있다.
본 발명의 일 실시예에 따르면, 모바일용 증강현실 기술(ICT)과 현실감을 부여한 모형 또는 부 재료(예시. 불난 효과, 연기 효과, 움직임 효과, 물 흐름 효과 등)를 이용한 모형 기술(Hardware)을 융합하여, 획일적인 형태에서 벗어나 대중적으로 소비자들에게 서비스 제공 가능한 효과가 있다.
그리고, 본 발명은 기존의 정밀모형 시장의 기계적 매커니즘을 이용한 방식을 대체하여, AR 기술로 더욱 빠르게 다양한 효과를 제공 가능하고, 특정 효과(불, 물)에 대한 안전사고의 위험이나, 개발 이후 지속적인 관리 및 다양한 리소스를 추가해야 하는 부담을 경감시킬 수 있는 효과가 있으며, 고정적인 테마의 디오라마를 일반 사용자들도 쉽게 자신만의 테마로 디오라마 재구성 가능한 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치를 설명하기 위한 구성블록도.
도 2는 본 발명의 일 실시예에 따른 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치에 의한 디오라마 공간을 구축하기 위한 구조도를 나타낸 도면.
도 3은 도 1의 디오라마 공간생성 및 구축 모듈의 세부 구성을 설명하기 위한 구성블록도.
도 4는 도 1의 디오라마 환경 추적 및 위치 최적화 모듈의 세부 구성을 설명하기 위한 구성블록도.
도 5는 도 1의 다수 사용자 연동 및 이벤트 동기화 모듈의 세부 구성을 설명하기 위한 구성블록도.
도 6은 디오라마 증강현실 시스템의 예를 설명하기 위한 참고도.
도 7은 본 발명의 일 실시예에 따른 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 방법을 설명하기 위한 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명에 따른 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치를 설명하기 위한 구성블록도이고, 도 2는 본 발명의 일 실시예에 따른 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치의 시스템 구성도이다.
도 1 및 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치는 디오라마 공간생성 및 구축 모듈(100), 디오라마 환경 추적 및 위치 최적화 모듈(200) 및 다수 사용자 연동 및 이벤트 동기화 모듈(300)을 포함한다.
디오라마 공간생성 및 구축 모듈(100)은 사용자 카메라 영상이나 센서를 통해 만들어진 AR맵을 구축한다. 사용자 디바이스에서 입력되는 영상과 센서데이터(IMU. Depth, GPS 데이터 등)을 분석해서 공간에서의 3차원 포인트 클라우드(Point Cloud)를 추출하고 이를 결합하여 전체적인 맵을 구축한다. 이러한 디오라마 공간생성 및 구축 모듈(100)은 각각의 사용자 디바이스에서 입력되는 영상과 센서데이터(IMU. Depth, GPS 데이터 등)을 분석해서 공간에서의 3차원 포인트 클라우드(Point Cloud)를 추출하고 이를 결합하여 전체적인 AR맵을 구축한다. 즉, 참여자의 AR 디바이스(101)(스마트폰, AR글래스 등)로부터 입력되는 영상 데이터를 기반으로 3차원 증강현실 AR맵을 구축한다.
이러한, 디오라마 공간생성 및 구축 모듈(100)은 AR 디바이스(101)에서 입력된 영상에서 영상 특징점 추출 및 분석, 특징점 기반 포인트 클라우드(Point Cloud) AR맵 생성, 그리고 AR공간 맵 관리 및 업데이트 기능을 수행하는 것으로, 도 3에 도시된 바와 같이, 데이터 입력부(110), 특징점 추출부(120), 특징점 보정부(130), 클라우드 맵 생성부(140), 접속 단말 판단부(150) 및 AR맵 병합부(160)를 포함한다.
데이터 입력부(110)는 모바일 디바이스(스마트폰, 스마트패드, AR글래스 등)의 입력 데이터(RGB 영상, IMU 데이터 등)를 입력받는다.
특징점 추출부(120)는 영상 내에서 특징점 및 키프레임(Key Frame)을 추출한다. 여기서, 특징점은 SLAM(Simultaneous Localization and Mapping) 분야에서 사용하는 특징점 추출 알고리즘(ORB SLAM, SVO) 등의 점기반 추출 알고리즘을 사용한다. 이는 실시간을 보장하기 위해 속도 위주의 알고리즘을 사용한다.
특징점 보정부(130)는 영상에서 특징점이 추출되면, 특징점 중에서 필요 없는 부분을 제거한다. 필요없는 특징점은 이전 프레임에서 추출된 특징점과 이후 프레임에서 추출된 특징점과의 상관관계를 계산하여 제거한다.
클라우드 맵 생성부(140)는 특징점 중 필요 없는 부분이 제거된 특징점을 이용하여 포인트 클라우드맵을 생성한다.
접속 단말 판단부(150)는 현재 접속된 AR 디바이스(101)가 복수인지를 판단한다.
AR맵 병합부(160)는 현재 접속된 AR 디바이스(101)가 복수이면, 각각의 AR 디바이스(101)에 의해 생성된 AR 맵을 ICP(Iterative Closest Point) 방법 등을 사용하여 전체 AR 맵 데이터를 생성한다.
디오라마 환경 추적 및 위치 최적화 모듈(200)은 상기 구축된 AR맵을 AR 디바이스(101)로 로딩하고, 실시간으로 입력되는 영상데이터를 기반으로 디오라마 공간에서의 AR 디바이스(101)의 위치를 실시간으로 추적한다.
디오라마 환경 추적 및 위치 최적화 모듈(200)은 도 4에 도시된 바와 같이, AR 맵 로딩부(210), 영상 입력부(220), 특징점 검출부(230), 디바이스 위치 추정부(240), AR 디바이스 위치 판단부(250) 및 AR 디바이스 위치 결정부(260)를 포함한다.
AR 맵 로딩부(210)는 디오라마 공간에 이용할 AR 맵 데이터를 로딩한다.
영상 입력부(220)는 디바이스의 RGB 영상 데이터 및 IMU 데이터를 입력받는다.
특징점 검출부(230)는 상기 디바이스를 통해 입력된 RGB 영상 데이터에서 특징점을 추출한다.
디바이스 위치 추정부(240)는 상기 로딩한 AR맵과 상기 RGB 영상 데이터에서 특징점을 매핑시켜 AR 디바이스의 위치를 추정한다.
AR 디바이스 위치 판단부(250)는 AR 디바이스의 위치가 유효한 3D 위치하는지를 판단한다. 유효한 3D위치는 구축된 AR맵에서 디바이스에서 추출된 특징점이 매핑되었을 때 유효한 3D 위치로 판별한다.
AR 디바이스 위치 결정부(260)는 AR 디바이스의 위치가 유효한 3D 위치에 위치하면(YES), AR 디바이스(101)의 정밀 3D 위치로 결정하고, AR 디바이스의 위치가 유효한 3D 위치에 위치하지 않으면(NO), 다시 특징점 검출부(230)를 통해 다음 RGB 영상 프레임에서 특징점을 추출한 후 AR 디바이스 위치 추정부(240)를 통해 AR 디바이스가 유효한 3D 위치에 위치하는지를 판단하는 과정을 다시 수행한다. 이를 통해 AR 디바이스가 위치한 장소를 인식하고, 키프레임기반 로컬레이제이션, AR 디바이스(101)기기의 정밀 자세 추정 및 최적화 기능을 수행한다.
다수 사용자 연동 및 이벤트 동기화 모듈(300)은 사용자 인터랙션 처리, 사용자 이벤트 정보 처리 및 관리, 그리고 증강현실 콘텐츠를 재생하는 사용자 인터렉션 모듈과 인터랙션 동기화 처리, 콘텐츠 동기화 처리 및 사용자 정보 동기화 처리를 수행하는 통신모듈을 포함한다.
이러한, 다수 사용자 연동 및 이벤트 동기화 모듈(300)은 도 5에 도시된 바와 같이, AR 디바이스(101)에 이벤트 동기화부(310), 뷰 동기화부(320), 가상객체 렌더링부(330) 및 AR 디바이스 위치 추정부(340)를 포함하고, 서버(201)에 AR 맵 데이터(350), 사용자 데이터(360), 가상객체 데이터(370) 및 다수 디바이스 위치 데이터(380)를 구비하여 동기화를 수행한다.
위의 구조에 따른 실시 예는 도 6에 도시된 바와 같이, 초기에 관리자가 모바일 디바이스인 AR 디바이스(101)를 가지고 주변 영역을 녹화하면, 디오라마 공간생성 및 구축 모듈(100)에서는 디오라마 공간 맵을 구축한다. 이렇게 구축된 AR 맵은 사용자가 AR 디바이스(101)에 다시 다운받고, 서비스를 받기 위해서 카메라를 켜면, 디오라마 공간생성 및 구축 모듈(100) 실시간으로 사용자의 카메라 위치를 검출 및 추적한다. 이 검출된 위치는 클라우드를 통해서 서버(201)에 실시간으로 저장되게 된다.
다수 사용자 연동 및 이벤트 동기화 모듈(300)은 AR 디바이스(101)에서의 정보(카메라위치)를 입력받고, 사용자의 카메라위치를 기반으로 가상객체를 클라우드를 통해서 다운받거나, 미리 저장된 가상객체를 공간 맵을 구축한 영역으로 보내어, AR 디바이스(101) 상의 디스플레이를 통해 볼 수 있게 된다.
즉, 상기의 AR 디바이스(101) 위치정보를 통해 구축된 콘텐츠와의 인터랙션 및 각각의 디바이스의 뷰동기화 부분을 담당하게 된다.
다수 사용자 연동 및 이벤트 동기화 모듈(300)에서는 사용자 인터랙션 처리, 이벤트 처리, 통신을 통한 뷰동기화 및 이벤트 동기화를 처리한다.
이벤트 동기화 부분에서는 AR 디바이스(101)에서의 사용자의 입력을 인식하는 기능과 AR 서버에서 들어오는 이벤트를 인식하는 기능을 수행한다.
뷰동기화 부분에서는 서버에서 입력되는 정보에 기반하여 증강되는 가상객체를 각 디바이스에 동기화 한다.
가상객체 렌더링 부분에서는 미리 정의된 3D 가상객체를 3차원 공간에서 디바이스위치에 상대적으로 배치하고 랜더링 하는 기능을 수행한다. 마지막으로 AR 디바이스(101)와 서버 간에 필요한 정보(AR 맵, 사용자 정보, 디바이스 위치정보)를 상호간에 전송한다.
디오라마 공간정보 기반 가상 콘텐츠 정합 모듈(400)은 디오라마 공간 생성 및 구축 모듈(100)로부터 제공되는 AR맵데이터와 디오라마 환경 추적 위치 최적화 모듈(200)로부터 제공되는 사용자 디바이스 위치정보를 이용하여 디오라마 맵상에 사용자 디바이스의 현재위치를 기반으로 가상 콘텐츠를 정합 시킨다.
가상 콘텐츠는 AR맵을 기반으로 사전에 제작하고, 이를 디오라마 공간정보 기반 가상 콘텐츠 정합 모듈(400)의 3D 신 구성 재현기 (Unity3D, Unreal 등의 물리엔진)을 사용하여 공간상에 렌더링한다.
즉, 이렇게 3D 신 구성 재현기에 의해 처리된 콘텐츠를 디오라마 공간정보 추출 및 정합부를 통해 AR 공간 맵핑과 실사와 가상 객체 정합을 수행하여 3D 렌더링 엔진을 통해 콘텐츠를 렌더링한다. 좀더 자세한 예로 디오라마 공간정보 기반 가상 콘텐츠 정합 모듈(400)은 가상 콘텐츠의 정합을 위해 AR 맵데이터, 사용자 디바이스의 위치 정보, 3D 애셋 데이터, 사전에 정의된 3D 애셋데이터의 스크립트 등을 사용해서 디오라마 공간상에 가상의 객체를 증강하게 된다.
이렇게 렌더링된 3D 렌더링 컨텐츠를 다수 사용자 연동 및 이벤트 동기화 모듈(300)에 제공한다.
이하, 하기에서는 본 발명의 일 실시예에 따른 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 방법에 대하여 도 7을 참조하여 설명하기로 한다.
먼저, 디오라마 공간생성 및 구축 모듈(100)은 사용자 카메라 영상이나 센서를 통해 만들어진 AR맵을 구축한다(S100). 상기 AR맵을 구축하는 단계는 디오라마 공간생성 및 구축 모듈(100)이 각각의 사용자 디바이스에서 입력되는 영상과 센서데이터(IMU. Depth, GPS 데이터 등)을 분석해서 공간에서의 3차원 포인트 클라우드(Point Cloud)를 추출하고 이를 결합하여 전체적인 맵을 생성한다. 즉, 참여자의 AR 디바이스(101)(스마트폰, AR글래스 등)로부터 입력되는 영상 데이터를 기반으로 3차원 증강현실 AR맵을 구축한다.
이어서, 디오라마 공간생성 및 구축 모듈(100)은 AR 디바이스(101)에서 입력된 영상에서 영상 특징점 추출 및 분석, 특징점 기반 포인트 클라우드(Point Cloud) AR맵 생성, 그리고 AR공간 맵 관리 및 업데이트 기능을 수행한다. 여기서, 디오라마 공간생성 및 구축 모듈(100)은 모바일 디바이스(스마트폰, 스마트패드, AR글래스 등)의 입력 데이터(RGB 영상, IMU 데이터 등)가 들어오면, 영상 내에서 특징점 및 키프레임(Key Frame)을 추출한다. 여기서, 특징점은 SLAM(Simultaneous Localization and Mapping) 분야에서 사용하는 특징점 추출 알고리즘(ORB SLAM, SVO) 등의 점기반 추출 알고리즘을 사용한다. 이는 실시간을 보장하기 위해 속도 위주의 알고리즘을 사용한다.
영상에서 특징점이 추출되면, 특징점 중에서 필요 없는 부분을 제거하고, 포인트 클라우드맵을 생성한다. 사용된 디바이스가 여러 대인 경우 각각의 생성된 AR맵을 ICP(Iterative Closest Point) 방법 등을 사용하여 전체 AR 맵데이터를 생성한다.
그리고, AR맵 데이터는 디오라마 공간의 포인트 클라우드와 키프레임으로 이루어져 있다.
디오라마 환경 추적 및 위치 최적화 모듈(200)은 상기 구축된 AR맵을 AR 디바이스(101)로 로딩하고, 실시간으로 입력되는 영상데이터를 기반으로 디오라마 공간에서의 AR 디바이스(101)의 위치를 실시간으로 추적하고, 디오라마 환경 추적 및 위치 최적화 모듈(200)은 AR 공간 맵 로드 및 장소 인식, 키프레임기반 로컬레이제이션, AR 디바이스(101)기기의 정밀 자세 추정 및 최적화 기능을 수행한다(S200).
디오라마 공간생성 및 구축 모듈(100)에서 디오라마 공간 AR맵 데이터를 위치를 추정하려고 하는 AR 디바이스(101)에 로딩한다.
AR 디바이스(101)에서는 실시간으로 입력되는 데이터에서 특징점을 추출한다. 추출된 특징점과 디오라마 공간 AR맵과 매칭하여 디바이스의 3차원 공간상의 위치를 추정한다.
추정된 위치가 유효한 위치가 아닌 경우 AR 디바이스(101)의 다음 프레임 데이터에 위의 작업을 실시한다. 위의 과정은 여러 대의 디바이스의 경우 각각 실시한다.
다수 사용자 연동 및 이벤트 동기화 모듈(300)에서는 사용자 인터랙션 처리, 이벤트 처리, 통신을 통한 뷰동기화 및 이벤트 동기화를 처리한다(S300). 다수 사용자 연동 및 이벤트 동기화 모듈(300)은 상기의 AR 디바이스(101) 위치정보를 통해 구축된 콘텐츠와의 인터랙션 및 각각의 디바이스의 뷰동기화 부분을 담당하게 된다.
이벤트 동기화 부분에서는 AR 디바이스(101)에서의 사용자의 입력을 인식하는 기능과 AR 서버에서 들어오는 이벤트를 인식하는 기능을 수행한다.
뷰동기화 부분에서는 서버에서 입력되는 정보에 기반하여 증강되는 가상객체를 각 디바이스에 동기화 한다.
가상객체 렌더링 부분에서는 미리 정의된 3D 가상객체를 3차원 공간에서 디바이스위치에 상대적으로 배치하고 랜더링 하는 기능을 수행한다. 마지막으로 AR 디바이스(101)와 서버간에 필요한 정보(AR 맵, 사용자 정보, 디바이스 위치정보)를 상호간에 전송한다.
위의 구조에 따른 실시 예는 도 6에 도시된 바와 같이, 초기에 관리자가 모바일 디바이스인 AR 디바이스(101)를 가지고 주변 영역을 녹화하면, 디오라마 공간생성 및 구축 모듈(100)에서는 디오라마 공간 맵을 구축한다. 이렇게 구축된 AR 맵은 사용자가 AR 디바이스(101)에 다시 다운받고, 서비스를 받기 위해서 카메라를 켜면, 디오라마 공간생성 및 구축 모듈(100) 실시간으로 사용자의 카메라 위치를 검출 및 추적한다. 이 검출된 위치는 클라우드를 통해서 서버에 실시간으로 저장되게 된다.
이상, 본 발명의 구성에 대하여 첨부 도면을 참조하여 상세히 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명이 속하는 기술분야에 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 변형과 변경이 가능함은 물론이다. 따라서 본 발명의 보호 범위는 전술한 실시예에 국한되어서는 아니되며 이하의 특허청구범위의 기재에 의하여 정해져야 할 것이다.

Claims (9)

  1. 사용자 카메라 영상이나 센서를 통해 입력되는 영상 데이터를 이용하여 AR맵을 구축하는 디오라마 공간생성 및 구축 모듈;
    상기 구축된 AR맵을 AR 디바이스로 로딩하고, 실시간으로 입력되는 영상데이터를 기반으로 디오라마 공간에서의 AR 디바이스의 위치를 실시간으로 추적하는 디오라마 환경 추적 및 위치 최적화 모듈; 및
    사용자 인터랙션 처리, 사용자 이벤트 정보 처리 및 관리, 그리고 증강현실 콘텐츠를 재생하는 사용자 인터렉션 모듈과 인터랙션 동기화 처리, 콘텐츠 동기화 처리 및 사용자 정보 동기화 처리를 수행하는 다수 사용자 연동 및 이벤트 동기화 모듈을 포함하는 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치.
  2. 제1항에 있어서,
    상기 디오라마 공간생성 및 구축 모듈은,
    각각의 디바이스에서 입력된 데이터를 기반으로 디오라마 공간을 생성하고, AR 디바이스로부터 입력되는 영상 데이터를 기반으로 3차원 증강현실 AR맵을 구축하는 것을 특징으로 하는 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치.
  3. 제1항에 있어서,
    상기 디오라마 공간생성 및 구축 모듈은,
    모바일 디바이스의 입력 데이터를 입력받는 데이터 입력부;
    영상 내에서 특징점 및 키프레임(Key Frame)을 추출하는 특징점 추출부;
    영상에서 특징점이 추출되면, 특징점 중에서 필요 없는 부분을 제거하는 특징점 보정부;
    필요 없는 부분이 제거된 특징점을 이용하여 포인트 클라우드맵을 생성하는 클라우드 맵 생성부;
    현재 접속된 AR 디바이스가 복수인지를 판단하는 접속 단말 판단부; 및
    현재 접속된 AR 디바이스가 복수이면, 각각의 AR 디바이스에 의해 생성된 AR 맵을 ICP(Iterative Closest Point) 방법 등을 사용하여 전체 AR 맵 데이터를 생성하는 AR맵 병합부를 포함하는 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치.
  4. 제3항에 있어서,
    상기 특징점은,
    SLAM(Simultaneous Localization and Mapping) 분야에서 사용하는 특징점 추출 알고리즘(ORB SLAM, SVO) 등의 점기반 추출 알고리즘을 사용하는 것을 특징으로 하는 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치.
  5. 제1항에 있어서,
    상기 디오라마 환경 추적 및 위치 최적화 모듈은,
    디오라마 공간에 이용할 AR 맵 데이터를 로딩하는 AR 맵 로딩부;
    디바이스의 RGB 영상 데이터 및 IMU 데이터를 입력받는 영상 입력부;
    상기 디바이스를 통해 입력된 RGB 영상 데이터에서 특징점을 추출하는 특징점 검출부;
    상기 로딩한 AR맵과 상기 RGB 영상 데이터에서 특징점을 매핑시켜 AR 디바이스의 위치를 추정하는 디바이스 위치 추정부;
    AR 디바이스의 위치가 유효한 3D 위치하는지를 판단하는 AR 디바이스 위치 판단부; 및
    AR 디바이스의 위치가 유효한 3D 위치에 위치하면, AR 디바이스의 정밀 3D 위치로 결정하는 AR 디바이스 위치 결정부를 포함하는 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치.
  6. 제5항에 있어서,
    상기 AR 디바이스 위치 결정부는,
    AR 디바이스의 위치가 유효한 3D 위치에 위치하지 않으면, 다시 특징점 검출부를 통해 다음 RGB 영상 프레임에서 특징점을 추출한 후 AR 디바이스 위치 추정부를 통해 AR 디바이스가 유효한 3D 위치에 위치하는지를 판단하는 과정을 다시 수행하는 것을 특징으로 하는 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치.
  7. 제1항에 있어서,
    상기 다수 사용자 연동 및 이벤트 동기화 모듈은,
    상기의 AR 디바이스 위치정보를 통해 구축된 콘텐츠와의 인터랙션 및 각각의 디바이스의 뷰동기화를 수행하고,
    사용자 인터랙션 처리, 이벤트 처리, 통신을 통한 뷰동기화 및 이벤트 동기화를 처리하며,
    AR 디바이스에서의 사용자의 입력을 인식하는 기능과 AR 서버에서 들어오는 이벤트를 인식하는 기능을 수행하고,
    서버에서 입력되는 정보에 기반하여 증강되는 가상객체를 각 디바이스에 동기화하는 것을 특징으로 하는 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치.
  8. 제1항에 있어서,
    상기 디오라마 공간 생성 및 구축 모듈로부터 제공되는 AR맵데이터와 디오라마 환경 추적 및 위치 최적화 모듈부터 제공되는 사용자 디바이스 위치정보를 이용하여 디오라마 맵상에 사용자 디바이스의 현재위치를 기반으로 가상 콘텐츠를 처리하는 디오라마 공간정보 기반 가상 콘텐츠 정합 모듈을 더 포함하는 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치.
  9. 디오라마 공간생성 및 구축 모듈에 의해, 사용자 카메라 영상이나 센서를 통해 만들어진 AR맵을 구축하는 단계;
    디오라마 환경 추적 및 위치 최적화 모듈에 의해, 상기 구축된 AR맵을 AR 디바이스로 로딩하는 단계;
    실시간으로 입력되는 영상데이터를 기반으로 디오라마 공간에서의 AR 디바이스의 위치를 실시간으로 추적하는 단계;
    디오라마 환경 추적 및 위치 최적화 모듈에 의해, AR 공간 맵 로드 및 장소 인식, 키프레임기반 로컬레이제이션, AR 디바이스 기기의 정밀 자세 추정 및 위치 최적화 기능을 수행하는 단계; 및
    다수 사용자 연동 및 이벤트 동기화 모듈에 의해, 사용자 인터랙션 처리, 이벤트 처리, 통신을 통한 뷰동기화 및 이벤트 동기화를 처리하는 단계를 포함하는 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 방법.
KR1020210157954A 2021-11-16 2021-11-16 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치 및 그 방법 KR20230071588A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210157954A KR20230071588A (ko) 2021-11-16 2021-11-16 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치 및 그 방법
US17/841,998 US20230154115A1 (en) 2021-11-16 2022-06-16 Method and apparatus for providing multi-user-involved augmented reality content for diorama application

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210157954A KR20230071588A (ko) 2021-11-16 2021-11-16 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20230071588A true KR20230071588A (ko) 2023-05-23

Family

ID=86323876

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210157954A KR20230071588A (ko) 2021-11-16 2021-11-16 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20230154115A1 (ko)
KR (1) KR20230071588A (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240050854A1 (en) * 2022-08-09 2024-02-15 Reuven Bakalash Integrated Reality Gaming
CN117155978B (zh) * 2023-10-31 2024-01-26 山东弘毅节能服务有限公司 一种基于人工智能的智慧校园管理系统
CN117348734B (zh) * 2023-12-06 2024-04-16 山东大学 一种双人漫游模式的交互系统及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013032955A1 (en) * 2011-08-26 2013-03-07 Reincloud Corporation Equipment, systems and methods for navigating through multiple reality models
US10685489B2 (en) * 2017-03-02 2020-06-16 Daqri, Llc System and method for authoring and sharing content in augmented reality
US10854004B2 (en) * 2018-08-24 2020-12-01 Facebook, Inc. Multi-device mapping and collaboration in augmented-reality environments

Also Published As

Publication number Publication date
US20230154115A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
US10628675B2 (en) Skeleton detection and tracking via client-server communication
US10855936B2 (en) Skeleton-based effects and background replacement
US10839585B2 (en) 4D hologram: real-time remote avatar creation and animation control
KR20230071588A (ko) 디오라마 적용을 위한 다수 참여 증강현실 콘텐츠 제공 장치 및 그 방법
US20180227482A1 (en) Scene-aware selection of filters and effects for visual digital media content
US20130101164A1 (en) Method of real-time cropping of a real entity recorded in a video sequence
CN113272870A (zh) 用于逼真的实时人像动画的系统和方法
CN109997175B (zh) 确定虚拟对象的大小
US10863210B2 (en) Client-server communication for live filtering in a camera view
JP7387202B2 (ja) ３次元顔モデル生成方法、装置、コンピュータデバイス及びコンピュータプログラム
WO2018095317A1 (zh) 视频数据处理方法、装置及设备
WO2022237249A1 (zh) 三维重建方法、装置和系统、介质及计算机设备
KR20200000106A (ko) 객체의 3차원 모델을 복원하는 방법 및 장치
US20220270314A1 (en) Robust facial animation from video using neural networks
CN113709543A (zh) 基于虚拟现实的视频处理方法、装置、电子设备和介质
CN110211222A (zh) 一种ar沉浸式旅游导览方法、装置、存储介质及终端设备
Kowalski et al. Holoface: Augmenting human-to-human interactions on hololens
CN112308977A (zh) 视频处理方法、视频处理装置和存储介质
CN108983974A (zh) Ar场景处理方法、装置、设备和计算机可读存储介质
US20230386147A1 (en) Systems and Methods for Providing Real-Time Composite Video from Multiple Source Devices Featuring Augmented Reality Elements
CN111881807A (zh) 基于人脸建模及表情追踪的vr会议控制系统及方法
CN109829960A (zh) 一种vr动漫系统交互方法
US20230386135A1 (en) Methods and systems for deforming a 3d body model based on a 2d image of an adorned subject
Kameda et al. High speed 3D reconstruction by spatio-temporal division of video image processing
Dluzniewski et al. 3D reconstruction for tele-immersion in 360° live stream

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right