KR102597040B1 - 증강현실 콘텐츠 현장 저작 방법 및 그 장치 - Google Patents

증강현실 콘텐츠 현장 저작 방법 및 그 장치 Download PDF

Info

Publication number
KR102597040B1
KR102597040B1 KR1020220184756A KR20220184756A KR102597040B1 KR 102597040 B1 KR102597040 B1 KR 102597040B1 KR 1020220184756 A KR1020220184756 A KR 1020220184756A KR 20220184756 A KR20220184756 A KR 20220184756A KR 102597040 B1 KR102597040 B1 KR 102597040B1
Authority
KR
South Korea
Prior art keywords
cube
dimensional
augmentation
virtual
space
Prior art date
Application number
KR1020220184756A
Other languages
English (en)
Inventor
이종원
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020220184756A priority Critical patent/KR102597040B1/ko
Application granted granted Critical
Publication of KR102597040B1 publication Critical patent/KR102597040B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Architecture (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강현실 콘텐츠 현장 저작 방법 및 그 장치가 개시된다. 증강현실 콘텐츠 현장 저작 방법은 현실 세계에 대한 카메라 프리뷰 영상에서 기준 객체 또는 증강할 증강 대상 객체를 선택받고, 상기 선택된 기준 객체 또는 상기 증강 대상 객체를 기준으로 2차원 평면 영역을 인식한 후 상기 2차원 평면 영역을 중심으로 가상의 3차원 공간을 구성하여 분할하고, 분할된 공간을 통해 증강현실 콘텐츠를 증강할 수 있다.

Description

증강현실 콘텐츠 현장 저작 방법 및 그 장치{Augmented reality content in-suit authoring method and apparatus}
본 발명은 증강현실 콘텐츠 현장 저작 방법 및 그 장치에 관한 것이다.
최근 모바일 시장의 활성화에 따른 모바일 기기의 사용량의 급격한 증가로 인하여 이와 관련된 스마트폰 어플리케이션이 많이 생겨나고 있다. 특히 모바일 기기를 이용한 증강현실(Augmented Reality: AR) 서비스는 현실 세계(실제 공간)에 증강된 콘텐츠(가상 객체)를 보여주는 기술로서, 현실 세계에 실시간으로 부가정보를 갖는 증강된 콘텐츠를 합쳐 하나의 영상으로 보여주는 것으로 혼합현실(Mixed Reality)라 하여 1990년대 후반부터 다양한 연구 개발이 진행되고 있다.
그러나, 종래의 저작 시스템은 대부분 PC 환경에서 기존의 일반적인 상호작용 방법이 주가 되고 있다. 일부 스마트장치를 활용하여 3차원 실제 공간을 스캔하고 실제 공간에 존재하는 면을 기반으로 저작하는 어플리케이션과 관련 연구가 진행되고 있으나, 실제 공간의 다양한 위치에 가상 콘텐츠 증강에는 어려움이 존재하고 효율성이 떨어진다.
대한민국등록특허 10-1940720
본 발명은 증강현실 콘텐츠 현장 저작 방법 및 그 장치를 제공하기 위한 것이다.
본 발명은 증강현실 콘텐츠가 실제 사용될 현장에서의 3차원 공간에 대한 반복적 분할을 통해 객체 증강 위치를 세밀하게 조정할 수 있는 증강현실 콘텐츠 현장 저작 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면 증강현실 콘텐츠 현장 저작 방법이 제공된다.
본 발명의 일 실시예에 따르면, (a) 현실 세계에 대한 카메라 프리뷰 영상에서 기준 객체 또는 증강할 증강 대상 객체를 선택받는 단계; (b) 상기 선택된 기준 객체 또는 상기 증강 대상 객체를 기준으로 2차원 평면 영역을 인식한 후 상기 2차원 평면 영역을 중심으로 가상의 3차원 공간을 구성하는 단계-상기 가상의 3차원 공간은 상기 인식된 2차원 평면 영역을 둘러싸는 복수의 3차원 큐브 영역을 포함함; (c) 상기 복수의 3차원 큐브 영역 중 적어도 하나를 적어도 1회 분할하여 복수의 서브 큐브 영역을 포함하는 가상 서브 공간을 재구성하는 단계; 및 (d) 상기 복수의 서브 큐브 영역 중 어느 하나를 증강 대상 공간으로 선택한 후 상기 증강 대상 공간을 중심으로 증강 대상 객체를 증강한 후 회전시켜 증강 방향을 결정하여 증강현실 콘텐츠로 데이터베이스에 등록하는 단계를 포함하되, 상기 가상의 3차원 공간의 크기는 상기 증강 대상 객체 또는 상기 기준 객체의 유형 및 크기 중 적어도 하나에 따라 상이하게 구성되는 것을 특징으로 하는 증강현실 콘텐츠 현장 저작 방법이 제공될 수 있다.
상기 증강현실 콘텐츠는 증강 관련 메타 정보를 더 포함하되, 상기 증강 관련 메타 정보는 증강 대상 공간에 상응하는 증강 위치 및 상기 증강 방향을 포함할 수 있다.
상기 (b) 단계 이전에, 저작자 시선 추적, 상기 카메라 프리뷰 영상 속에서의 저작자의 신체 일부를 이용한 포인트 지점을 통해 상기 카메라 프리뷰 영상 내에서의 저작 위치를 선택받는 단계를 더 포함하되, 상기 가상의 3차원 공간의 크기 및 상기 중심 위치 중 적어도 하나는 상기 선택된 저작 위치에 따라 상이하게 구성될 수 있다.
상기(c) 단계에서, 상기 증강 대상 공간의 크기가 목표 크기에 도달할때까지 상기 분할 과정은 반복 수행될 수 있다.
상기 가상의 3차원 공간을 구성하는 복수의 3차원 큐브 영역은 서로 다른 시각 정보로 표현되되, 저작자의 제약 조건을 고려하여 서로 다른 시각 정보로 표현될 수 있다.
상기 (c) 단계 이전에, 상기 선택된 3차원 큐브 영역에 인접한 다른 큐브 영역이 추가 선택되면, 상기 선택된 3차원 큐브 영역과 상기 추가 선택된 큐브 영역을 통합하여 서브 가상 공간을 재구성하는 단계를 더 포함할 수 있다.
상기 (d) 단계 이전에, 크기 또는 위치 조정 트리거 명령에 따라 상기 선택된 3차원 큐브 영역의 크기 또는 위치를 조정하는 단계를 더 포함할 수 있다.
본 발명의 다른 측면에 따르면, 증강현실 콘텐츠 현장 저작 장치가 제공된다.
본 발명의 일 실시예에 따르면, 카메라; 적어도 하나의 명령어를 저장하는 메모리; 및 상기 메모리에 저장된 명령어를 실행하는 프로세서를 포함하되, 상기 프로세서에 의해 실행된 명령어는 각각, (a) 현실 세계에 대한 카메라 프리뷰 영상에서 기준 객체 또는 증강할 증강 대상 객체를 선택받는 단계; (b) 상기 선택된 기준 객체 또는 상기 증강 대상 객체를 기준으로 2차원 평면 영역을 인식한 후 상기 2차원 평면 영역을 중심으로 가상의 3차원 공간을 구성하는 단계-상기 가상의 3차원 공간은 상기 인식된 2차원 평면 영역을 둘러싸는 복수의 3차원 큐브 영역을 포함함; (c) 상기 복수의 3차원 큐브 영역 중 적어도 하나를 적어도 1회 분할하여 복수의 서브 큐브 영역을 포함하는 가상 서브 공간을 재구성하는 단계; 및 (d) 상기 복수의 서브 큐브 영역 중 어느 하나를 증강 대상 공간으로 선택한 후 상기 증강 대상 공간을 중심으로 증강 대상 객체를 증강한 후 회전시켜 증강 방향을 결정하여 증강현실 콘텐츠로 데이터베이스에 등록하는 단계를 수행하되, 상기 가상의 3차원 공간의 크기는 상기 증강 대상 객체 또는 상기 기준 객체의 유형 및 크기 중 적어도 하나에 따라 상이하게 구성되는 것을 특징으로 하는 증강현실 콘텐츠 현장 저작 장치가 제공될 수 있다.
상기 (b) 단계 이전에, 저작자 시선 추적, 상기 카메라 프리뷰 영상 속에서의 저작자의 신체 일부를 이용한 포인트 지점을 통해 상기 카메라 프리뷰 영상 내에서의 저작 위치를 선택받는 단계를 더 수행하되, 상기 가상의 3차원 공간의 크기 및 상기 중심 위치 중 적어도 하나는 상기 선택된 저작 위치에 따라 상이하게 구성될 수 있다.
상기(c) 단계에서, 상기 증강 대상 공간의 크기가 목표 크기에 도달할때까지 상기 분할 과정은 반복 수행될 수 있다.
본 발명의 일 실시예에 따른 증강현실 콘텐츠 현장 저작 방법 및 그 장치를 제공함으로써, 증강현실 콘텐츠가 실제 사용될 현장에서의 3차원 공간에 대한 반복적 분할을 통해 객체 증강 위치를 세밀하게 조정할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 가상의 3차원 공간의 분할을 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 일부 가상 공간을 통합한 일 예를 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 통합된 가상 공간의 분할을 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 증강현실 현장 저작 장치의 내부 구성을 개략적으로 도시한 블록도.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 행동을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 증강현실 콘텐츠 저작 방법을 나타낸 순서도이고, 도 2는 본 발명의 일 실시예에 따른 가상의 3차원 공간의 분할을 예시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 일부 가상 공간을 통합한 일 예를 도시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 통합된 가상 공간의 분할을 예시한 도면이다.
단계 110에서 증강현실 현장 저작 장치(100)는 저작자 위치를 기준으로 현실 세계에 대한 카메라 프리뷰 영상에서 기준 객체 또는 증강할 증강 대상 객체를 선택받는다. 여기서, 저작자 위치는 저작자가 위치한 실제 위치로, 증강 대상 객체가 증강되어야 할 위치로 저작자가 이동함에 따라 추적된 저작자의 위치로, 증강현실 현장 저작 장치(100)에 GPS 정보를 기반으로 획득될 수 있다.
저작자 위치는 저작자가 착용 또는 소지한 증강현실 현장 저작 장치(100)의 위치로, 실제 증강 대상 객체가 증강되는 위치와는 차이가 있다. 저작자 위치는 추후 증강 현실 콘텐츠가 다른 체험자에 제공될 때 레퍼런스 위치로 이용될 수 있다.
저작자 위치에서 증강현실 현장 저작 장치(100)는 당해 증강현실 현장 저작 장치(100)에 탑재된 카메라를 통해 현실 세계에 대한 프리뷰 영상을 획득한 후 증강현실 현장 저작 장치(100)를 통해 출력할 수 있다.
단계 115에서 증강현실 현장 저작 장치(100)는 선택된 기준 객체 또는 증강 대상 객체를 중심으로 카메라 프리뷰 영상에서 2차원 평면 영역을 인식한다.
단계 120에서 증강현실 현장 저작 장치(100)는 인식된 2차원 평면 영역을 기준으로 가상의 3차원 공간을 구성한다.
이에 대해 보다 상세히 설명하기로 한다.
구성된 가상의 3차원 공간은 복수의 3차원 큐브 영역을 포함할 수 있다. 즉, 증강현실 현장 저작 장치(100)는 인식된 2차원 평면 영역을 둘러싸도록 가상의 3차원 공간을 구성함에 있어, 인식된 2차원 평면 영역을 포함하는 9개의 3차원 큐브 영역을 가지는 가상의 3차원 공간으로 구성할 수 있다. 여기서, 3차원 가상 공간의 중심은 2차원 평면 영역의 중심으로 설정될 수 있다. 또한, 본 발명의 일 실시예에서는 이해와 설명의 편의를 도모하기 위해 가상의 3차원 공간이 복수의 큐브 영역으로 구성되는 것을 가정하고 있으나, 3차원 공간의 형상은 큐브 형상 이외에도, 다각형, 원기둥 등과 같이 다양한 형상으로 구현될 수도 있음은 당연하다. 또한, 가상의 3차원 공간의 형상은 기준 객체 또는 증강 대상 객체의 형상에 따라 상이하게 구성될 수도 있다.
이때, 가상의 3차원 공간의 크기는 증강 대상 객체의 유형 및 크기 중 적어도 하나를 고려하여 상이하게 설정될 수 있다. 예를 들어, 증강 대상 객체가 신분증인 경우를 가정하기로 한다. 가상의 3차원 공간은 카메라 프리뷰 영상을 통해 인식된 현실 공간 중 임의의 지점에서 신분증을 증강할 수 있도록 해당 신분증 크기에 따라 최초 가상의 3차원 공간이 구성될 수 있다. 다른 예를 들어, 증강 대상 객체가 소화기라고 가정하기로 한다. 이때, 소화기가 증강될 공간과 신분증이 증강될 공간의 크기는 서로 상이할 수 있다.
따라서, 증강현실 현장 저작 장치(100)는 증강 대상 객체의 유형 및 크기 중 적어도 하나를 고려하여 가상의 3차원 공간의 크기를 상이하게 설정하여 구성할 수 있다. 이때, 증강 대상 객체의 유형은 정보형, 게임형, 가상체험형, 비주얼 이펙트형일 수 있다.
또한, 증강현실 현장 저작 장치(100)는 2차원 평면 영역을 기준으로 가상의 3차원 공간을 구성함에 있어, 가상의 3차원 공간의 중심 위치는 저작자 시선 추적에 의해 결정된 위치 또는 카메라 프리뷰 영상내에서 저작자의 신체 일부의 포인팅 위치를 시작 위치로 결정할 수 있다.
증강현실 현장 저작 장치(100)는 해당 시작 위치를 2차원 평면 영역의 중심으로 위치시킨 후 해당 2차원 평면 영역을 감싸도록 가상의 3차원 공간을 구성할 수도 있다.
또한, 증강현실 현장 저작 장치(100)는 카메라가 복수인 경우, 카메라 프리뷰 영상내에서 해당 시작 위치까지의 거리를 도출하고, 도출된 거리를 더 고려하여 가상의 3차원 공간의 크기를 결정할 수도 있다. 스테레오 카메라의 영상을 기초로 영상내의 특정 지점까지의 거리를 도출하는 방법 자체는 당업자에는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.
또한, 증강현실 현장 저작 장치(100)는 가상의 3차원 공간을 구성함에 있어 복수의 3차원 큐브 영역을 서로 다른 시각 정보로 표출할 수 있다. 이때, 증강현실 현장 저작 장치(100)는 저작자 제약 조건을 반영하여 복수의 3차원 큐브 영역을 서로 다른 시각 정보로 표출할 수 있다. 예를 들어, 저작자 제약 조건이 색약이라고 가정하기로 한다. 증강현실 현장 저작 장치(100)는 색약 색을 제외한 나머지 색상으로 3차원 큐브 영역을 서로 다른 색상으로 표출할 수 있다.
저작자 제약 조건이 색맹인 경우, 증강현실 현장 저작 장치(100)는 복수의 3차원 큐브 영역 각각에 서로 다른 해치(hatch)를 적용하여 표출할 수도 있다. 저작자가 각각의 3차원 큐브 영역을 쉽게 구분할 수 있도록 저작자 제약 조건을 고려하여 각각의 3차원 큐브 영역이 서로 다른 시각 정보로 표출될 수 있다.
단계 125에서 증강현실 현장 저작 장치(100)는 가상의 3차원 공간을 구성하는 복수의 3차원 큐브 영역들 중 어느 하나를 선택받고, 선택된 3차원 큐브 영역을 분할한다.
즉, 증강현실 현장 저작 장치(100)는 3차원 큐브 영역들 중 어느 하나를 선택받은 후 해당 선택된 큐브 영역을 다시 복수의 서브 큐브 영역으로 분할하는 과정을 반복적으로 수행할 수 있다. 이때, 증강현실 현장 저작 장치(100)는 최종 3차원 큐브 영역의 크기가 목표 크기에 도달할때까지 3차원 큐브 영역을 분할하는 과정을 반복적으로 수행할 수 있다. 3차원 큐브 영역은 n x n 크기로 분할될 수 있다. 여기서, n은 자연수일 수 있다. 물론 구현 방법에 따라 큐브 영역은 n x m으로 분할될 수도 있으며, n,m은 서로 다른 자연수일 수도 있다.
또한, 증강현실 현장 저작 장치(100)는 분할된 3차원 큐브 영역 중 어느 하나를 선택한 후 인접한 다른 큐브 영역과 통합하여 재구성된 3차원 공간을 복수의 3차원 큐브 영역으로 분할할 수도 있다. 이와 같이, 인접한 다른 큐브 영역의 통합을 통해 가상의 3차원 공간을 재구성하여 크기를 변경함으로써 증강 대상 객체가 증강될 위치 및 크기를 세밀하게 조정할 수 있는 이점이 있다.
분할된 3차원 큐브 영역 중 어느 하나를 선택하는 방법은 소정 시간 간격으로, 순서대로 큐브 영역이 순차적으로 활성화되는 경우, 저작자가 음성, 터치 등의 방식으로 선택 명령을 입력하는 경우, 해당 선택 명령이 입력된 시점에 활성화된 큐브 영역이 선택될 수 있다.
다른 예를 들어, 분할된 3차원 큐브 영역 중 어느 하나에 할당된 시각 정보를 선택하는 명령(예를 들어, 번호, 색상 등)을 통해 해당 3차원 큐브 영역 중 어느 하나가 선택될 수도 있다. 물론, 증강현실 현장 저작 장치(100)는 제스처 인식을 기반으로 분할된 3차원 큐브 영역 중 어느 하나를 선택할 수도 있다.
또 다른 예를 들어, 증강현실 현장 저작 장치(100)는 분할된 3차원 큐브 영역 중 어느 하나의 크기 조정 트리거 명령에 따라 해당 3차원 큐브 영역의 크기를 조정할 수도 있다. 이때, 크기 조정 트리거 명령은 음성 명령일 수도 있으며, 텍스트 명령일 수도 있다.
또 다른 예를 들어, 도 3에 도시된 바와 같이, 증강현실 현장 저작 장치(100)는 복수의 서브 큐브 영역들 중 적어도 복수를 통합한 후 서브 가상 공간을 재구성할 수 있다. 재구성된 서브 가상 공간은 도 4에 도시된 바와 같이, 복수의 서브 큐브 영역을 포함할 수 있다.
이와 같이, 증강현실 현장 저작 장치(100)는 복수의 큐브 영역을 포함하는 가상의 3차원 공간을 구성한 후 이를 분할 또는 일부를 통합한 재구성/분할 과정 등을 통해 증강 대상 객체가 증강될 위치를 세밀하게 조정할 수 있다.
단계 130에서 증강현실 현장 저작 장치(100)는 복수의 서브 큐브 영역 중 어느 하나를 증강 대상 공간으로 선택하고, 선택된 증강 대상 공간을 중심으로 증강 대상 객체를 증강한 후 회전시켜 증강 방향을 결정할 수 있다.
증강현실 현장 저작 장치(100)는 기준 객체 또는 증강 대상 객체를 중심으로 인식된 2차원 평면 영역을 기준으로 가상의 3차원 공간을 구성한 후 이를 분할 및 통합 중 적어도 하나를 통해 3차원 공간을 재구성하는 과정을 거쳐 증강 대상 객체가 증강될 증강 위치를 결정할 수 있다.
이와 같이, 증강 위치가 결정되면, 증강현실 현장 저작 장치(100)는 증강 위치에서 증강 대상 객체를 증강시킨 후 해당 증강 대상 객체를 회전시켜 증강 방향을 결정할 수 있다.
단계 135에서 증강현실 현장 저작 장치(100)는 증강현실 콘텐츠와 해당 증강현실 콘텐츠에 대한 증강 관련 메타 정보를 데이터베이스에 등록한다. 여기서, 증강 관련 메타 정보는 증강현실 콘텐츠에 대한 증강 방향을 포함할 수 있다. 또한, 증강 관련 메타 정보는 저작자 위치와 증강 위치를 더 포함할 수 있다. 저작자 위치는 증강현실 현장 저작 장치(100)의 GPS 정보일 수 있으며, 증강 위치는 카메라 프리뷰 영상에서 획득되는 기준 객체 또는 증강 대상 객체까지의 거리 정보와 증강 대상 공간에 대한 픽셀 좌표 정보 중 적어도 하나를 포함할 수 있다.
도 5는 본 발명의 일 실시예에 따른 증강현실 현장 저작 장치의 내부 구성을 개략적으로 도시한 블록도이다. 증강현실 현장 저작 장치(100)는 HMD 장치이거나 스마트폰일 수 있다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 증강현실 현장 저작 장치(100)는 통신부(510), 카메라(515), GPS 모듈(520), 복수의 센서(525), 음성 인식부(530), 디스플레이부(535), 공간 구성부(540), 저작부(545), 메모리(550) 및 프로세서(555)를 포함하여 구성된다.
통신부(510)는 통신망을 통해 다른 장치들(예를 들어, 서버(미도시))와 데이터를 송수신하기 위한 수단이다.
카메라(515)는 현실 세계에 대한 영상을 획득하기 위한 수단이다.
GPS 모듈(520)은 GPS 정보를 획득하기 위한 수단이다.
복수의 센서(525)는 당해 증강현실 현장 저작 장치(100)에 탑재되며, 방위 정보를 감지하기 위한 수단이다. 즉, 복수의 센서(525)는 증강현실 현장 저작 장치(100)를 착용한 저작자가 바라보는 시점에 따른 방위 정보를 감지할 수 있다. 또한, 복수의 센서(525)는 저작자의 제스처를 인식할 수도 있다.
음성 인식부(530)는 음성 명령을 입력받기 위한 수단이다. 예를 들어, 음성 인식부(530)는 마이크일 수 있다.
디스플레이부(535)는 프로세서(555)의 제어에 따라 카메라(515)를 통해 획득되는 현실 세계에 대한 영상 및 증강현실 콘텐츠, 가상의 3차원 공간(큐브 영역) 등을 시각 정보의 형태로 표출하기 위하기 위한 수단이다.
공간 구성부(540)는 현실 세계에 대한 카메라 프리뷰 영상에서 선택된 기준 객체 또는 증강할 증강 대상 객체를 중심으로 2차원 평면 영역을 인식하고, 해당 인식된 2차원 평면 영역을 중심으로 가상의 3차원 공간을 구성하기 위한 수단이다. 여기서, 가상의 3차원 공간은 인식된 2차원 평면 영역을 둘러싸는 복수의 3차원 큐브 영역을 포함할 수 있다.
또한, 공간 구성부(540)는 복수의 3차원 큐브 영역 중 어느 하나를 선택한 후 분할하여 서브 가상 공간을 재구성할 수도 있다. 여기서, 공간 구성부(540)는 가상의 3차원 공간을 분할하는 과정을 복수회 수행하여 증강 대상 공간을 결정할 수 있다. 이때, 공간 구성부(540)는 전술한 바와 같이, 큐브 영역들 중 일부를 통합하여 서브 가상 공간을 재구성한 후 분할하는 과정을 반복 수행할 수도 있다.
저작부(545)는 공간 구성부(540)에서 최종 결정된 증강 대상 공간을 중심으로 증강 대상 객체를 증강한 후 회전하여 증강 방향을 결정하여 증강현실 콘텐츠로 데이터베이스에 등록할 수 있다.
또한, 저작부(545)는 음성 인식부(530)로부터 위치 조정 트리거 명령이 입력되는 경우, 해당 위치 조정 트리거 명령에 따라 증강 대상 공간의 위치를 조정할 수도 있다.
본 발명의 일 실시예에서는 음성 인식부(530)를 통해 위치 조정 트리거 명령이 입력되는 것을 가정하여 이를 중심으로 설명하고 있으나, 터치, 제스처 등을 통해 위치 조정 트리거 명령을 입력받을 수도 있음은 당연하다.
또한, 전술한 바와 같이, 증강현실 콘텐츠는 증강 관련 메타데이터를 포함하여 데이터베이스에 등록될 수 있다. 증강 관련 메타데이터는 저작자 위치, 증강 위치를 더 포함할 수도 있다. 이는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
메모리(550)는 본 발명의 일 실시예에 따른 증강현실 현장 저작 방법을 수행하기 위한 프로그램 코드를 저장하기 위한 수단이다.
프로세서(555)는 본 발명의 일 실시예에 따른 증강현실 현장 저작 장치(100)의 내부 구성 요소들(예를 들어, 통신부(510), 카메라(515), GPS 모듈(520), 복수의 센서(525), 음성 인식부(530), 디스플레이부(535), 공간 구성부(540), 저작부(545), 메모리(550) 등)을 제어하기 위한 수단이다.
또한 프로세서(555)는 카메라(515)를 통해 저작자 신체 일부를 인식하여 저작 위치를 결정하거나, 복수의 센서(525)를 통해 감지되는 저작자의 제스처를 인식하여 저작 관련 트리거 명령으로 공간 구성부(540) 및 저작부(545) 중 적어도 하나로 공간 분할/통합을 제어하거나 증강현실 콘텐츠의 위치 조정 및 회전 등을 제어할 수도 있다.
본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (11)

  1. (a) 현실 세계에 대한 카메라 프리뷰 영상에서 기준 객체 또는 증강할 증강 대상 객체를 선택받는 단계;
    (b) 상기 선택된 기준 객체 또는 상기 증강 대상 객체를 기준으로 2차원 평면 영역을 인식한 후 상기 2차원 평면 영역을 중심으로 가상의 3차원 공간을 구성하는 단계-상기 가상의 3차원 공간은 상기 인식된 2차원 평면 영역을 둘러싸는 복수의 3차원 큐브 영역을 포함함;
    (c) 상기 복수의 3차원 큐브 영역 중 적어도 하나를 적어도 1회 분할하여 복수의 서브 큐브 영역을 포함하는 가상 서브 공간을 재구성하는 단계; 및
    (d) 상기 복수의 서브 큐브 영역 중 어느 하나를 증강 대상 공간으로 선택한 후 상기 증강 대상 공간을 중심으로 증강 대상 객체를 증강한 후 회전시켜 증강 방향을 결정하여 증강현실 콘텐츠로 데이터베이스에 등록하는 단계를 포함하되,
    상기 가상의 3차원 공간의 크기는 상기 증강 대상 객체 또는 상기 기준 객체의 유형 및 크기 중 적어도 하나에 따라 상이하게 구성되되,
    상기 (b) 단계 이전에, 저작자 시선 추적, 상기 카메라 프리뷰 영상 속에서의 저작자의 신체 일부를 이용한 포인트 지점을 통해 상기 카메라 프리뷰 영상 내에서의 저작 위치를 선택받는 단계를 더 포함하되, 상기 가상의 3차원 공간의 크기 및 중심 위치 중 적어도 하나는 상기 선택된 저작 위치를 더 고려하여 상기 선택된 저작 위치에 따라 상이하게 구성되며,
    상기 (c) 단계 이전에,
    상기 복수의 3차원 큐브 영역 중 어느 하나가 선택된 후 인접한 다른 큐브 영역이 추가 선택되면, 상기 선택된 3차원 큐브 영역과 상기 인접한 다른 큐브 영역을 통합하여 3차원 공간을 재구성한 후 복수의 3차원 큐브 영역으로 분할하는 단계를 더 포함하되,
    상기 가상의 3차원 공간을 구성하는 복수의 3차원 큐브 영역은 서로 다른 시각 정보로 표현되되, 저작자의 제약 조건을 고려하여 서로 다른 시각 정보로 표현되되, 상기 저작자의 제약 조건은 색약 또는 색맹 조건으로, 색약 색을 제외한 나머지 색상으로 상기 복수의 3차원 큐브 영역을 서로 다른 색상 또는 서로 다른 해치(hatch)로 표현하는 것을 특징으로 하는 증강현실 콘텐츠 현장 저작 방법.
  2. 제1 항에 있어서,
    상기 증강현실 콘텐츠는 증강 관련 메타 정보를 더 포함하되, 상기 증강 관련 메타 정보는 증강 대상 공간에 상응하는 증강 위치 및 상기 증강 방향을 포함하는 것을 특징으로 하는 증강현실 콘텐츠 현장 저작 방법.
  3. 삭제
  4. 제1 항에 있어서,
    상기(c) 단계에서,
    상기 복수의 3차원 큐브 영역 중 적어도 하나를 적어도 1회 분할하는 것은,
    상기 증강 대상 공간의 크기가 목표 크기에 도달할때까지 반복 수행되는 것을 특징으로 하는 증강현실 콘텐츠 현장 저작 방법.
  5. 삭제
  6. 삭제
  7. 제1 항에 있어서,
    상기 (d) 단계 이전에,
    크기 또는 위치 조정 트리거 명령에 따라 상기 선택된 3차원 큐브 영역의 크기 또는 위치를 조정하는 단계를 더 포함하는 증강현실 콘텐츠 현장 저작 방법.
  8. 제1 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체.
  9. 카메라;
    적어도 하나의 명령어를 저장하는 메모리; 및
    상기 메모리에 저장된 명령어를 실행하는 프로세서를 포함하되,
    상기 프로세서에 의해 실행된 명령어는 각각,
    (a) 현실 세계에 대한 카메라 프리뷰 영상에서 기준 객체 또는 증강할 증강 대상 객체를 선택받는 단계;
    (b) 상기 선택된 기준 객체 또는 상기 증강 대상 객체를 기준으로 2차원 평면 영역을 인식한 후 상기 2차원 평면 영역을 중심으로 가상의 3차원 공간을 구성하는 단계-상기 가상의 3차원 공간은 상기 인식된 2차원 평면 영역을 둘러싸는 복수의 3차원 큐브 영역을 포함함;
    (c) 상기 복수의 3차원 큐브 영역 중 적어도 하나를 적어도 1회 분할하여 복수의 서브 큐브 영역을 포함하는 가상 서브 공간을 재구성하는 단계; 및
    (d) 상기 복수의 서브 큐브 영역 중 어느 하나를 증강 대상 공간으로 선택한 후 상기 증강 대상 공간을 중심으로 증강 대상 객체를 증강한 후 회전시켜 증강 방향을 결정하여 증강현실 콘텐츠로 데이터베이스에 등록하는 단계를 수행하되,
    상기 가상의 3차원 공간의 크기는 상기 증강 대상 객체 또는 상기 기준 객체의 유형 및 크기 중 적어도 하나에 따라 상이하게 구성되되,
    상기 (b) 단계 이전에, 저작자 시선 추적, 상기 카메라 프리뷰 영상 속에서의 저작자의 신체 일부를 이용한 포인트 지점을 통해 상기 카메라 프리뷰 영상 내에서의 저작 위치를 선택받는 단계를 더 포함하되, 상기 가상의 3차원 공간의 크기 및 중심 위치 중 적어도 하나는 상기 선택된 저작 위치를 더 고려하여 상기 선택된 저작 위치에 따라 상이하게 구성되며,
    상기 (c) 단계 이전에,
    상기 복수의 3차원 큐브 영역 중 어느 하나가 선택된 후 인접한 다른 큐브 영역이 추가 선택되면, 상기 선택된 3차원 큐브 영역과 상기 인접한 다른 큐브 영역을 통합하여 3차원 공간을 재구성한 후 복수의 3차원 큐브 영역으로 분할하는 단계를 더 포함하되,
    상기 가상의 3차원 공간을 구성하는 복수의 3차원 큐브 영역은 서로 다른 시각 정보로 표현되되, 저작자의 제약 조건을 고려하여 서로 다른 시각 정보로 표현되되, 상기 저작자의 제약 조건은 색약 또는 색맹 조건으로, 색약 색을 제외한 나머지 색상으로 상기 복수의 3차원 큐브 영역을 서로 다른 색상 또는 서로 다른 해치(hatch)로 표현하는 것을 특징으로 하는 증강현실 콘텐츠 현장 저작 장치.
  10. 삭제
  11. 제9 항에 있어서,
    상기(c) 단계에서,
    상기 복수의 3차원 큐브 영역 중 적어도 하나를 적어도 1회 분할하는 것은,
    상기 증강 대상 공간의 크기가 목표 크기에 도달할때까지 반복 수행되는 것을 특징으로 하는 증강현실 콘텐츠 현장 저작 장치.
KR1020220184756A 2022-12-26 2022-12-26 증강현실 콘텐츠 현장 저작 방법 및 그 장치 KR102597040B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220184756A KR102597040B1 (ko) 2022-12-26 2022-12-26 증강현실 콘텐츠 현장 저작 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220184756A KR102597040B1 (ko) 2022-12-26 2022-12-26 증강현실 콘텐츠 현장 저작 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR102597040B1 true KR102597040B1 (ko) 2023-10-31

Family

ID=88543079

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220184756A KR102597040B1 (ko) 2022-12-26 2022-12-26 증강현실 콘텐츠 현장 저작 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102597040B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101470757B1 (ko) * 2013-09-30 2014-12-08 세종대학교산학협력단 증강현실 서비스 제공 방법 및 장치
KR101743569B1 (ko) * 2016-04-28 2017-06-05 한림대학교 산학협력단 증강 현실 콘텐츠 제어 방법과 그 장치
KR101940720B1 (ko) 2016-08-19 2019-04-17 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101470757B1 (ko) * 2013-09-30 2014-12-08 세종대학교산학협력단 증강현실 서비스 제공 방법 및 장치
KR101743569B1 (ko) * 2016-04-28 2017-06-05 한림대학교 산학협력단 증강 현실 콘텐츠 제어 방법과 그 장치
KR101940720B1 (ko) 2016-08-19 2019-04-17 한국전자통신연구원 공간 기반 증강현실을 위한 콘텐츠 저작 장치 및 그 방법

Similar Documents

Publication Publication Date Title
US11562542B2 (en) Cross reality system with simplified programming of virtual content
US11869158B2 (en) Cross reality system with localization service and shared location-based content
US11790619B2 (en) Cross reality system with accurate shared maps
US10692287B2 (en) Multi-step placement of virtual objects
AU2021203688B2 (en) Volumetric depth video recording and playback
US11954243B2 (en) Mapping and localization of a passable world
US20230119217A1 (en) Cross reality system with fast localization
US11967021B2 (en) Cross reality system for large scale environment reconstruction
WO2023015409A1 (zh) 物体姿态的检测方法、装置、计算机设备和存储介质
CN115349140A (zh) 基于多种特征类型的有效定位
US10373385B2 (en) Subtractive rendering for augmented and virtual reality systems
KR102597040B1 (ko) 증강현실 콘텐츠 현장 저작 방법 및 그 장치
KR20210057586A (ko) 블라인드 워터마킹 기술을 이용한 카메라 기반 측위 방법 및 시스템
US20240212299A1 (en) Augmented reality content in-situ authoring method and apparatus
KR20230036543A (ko) 딥러닝 기반 단안 rgb 이미지 3차원 장면 복원 방법 및 장치
US20240211029A1 (en) Mapping and localization of a passable world
US20240096041A1 (en) Avatar generation based on driving views
US20240193855A1 (en) Spatially disentangled generative radiance fields for controllable 3d-aware scene synthesis
Hamadouche Augmented reality X-ray vision on optical see-through head mounted displays
Trabelsi Perception Systems for Robust Autonomous Navigation in Natural Environments
KR20240022727A (ko) 모노깊이추정 딥뉴럴네트워크를 이용한 다시점위성영상의 3차원 복원시스템 및 복원방법
CN117197401A (zh) 针对点云构建的测试方法、装置、电子设备及存储介质
NZ736107B2 (en) Virtual trying-on experience

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant