KR102510767B1 - 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치 및 방법 - Google Patents

가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치 및 방법 Download PDF

Info

Publication number
KR102510767B1
KR102510767B1 KR1020220078113A KR20220078113A KR102510767B1 KR 102510767 B1 KR102510767 B1 KR 102510767B1 KR 1020220078113 A KR1020220078113 A KR 1020220078113A KR 20220078113 A KR20220078113 A KR 20220078113A KR 102510767 B1 KR102510767 B1 KR 102510767B1
Authority
KR
South Korea
Prior art keywords
marker
self
unit
content
made content
Prior art date
Application number
KR1020220078113A
Other languages
English (en)
Inventor
신동한
조성진
Original Assignee
주식회사 티웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 티웍스 filed Critical 주식회사 티웍스
Priority to KR1020220078113A priority Critical patent/KR102510767B1/ko
Application granted granted Critical
Publication of KR102510767B1 publication Critical patent/KR102510767B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에서는 종래 가상현실을 이용한 복합전시시스템의 경우에, 전시장 내에서 디스플레이모듈, 착용유닛을 구비한 채, 돌아다녀야 하므로, 안전사고의 위험과, 특정인만이 한정되어 체험할 수 있어, 전시체험률이 떨어지는 문제점과, 실내에서는 정확한 위치파악이 어렵고 추가장비를 설치해야 하는 문제점과, 디스플레이 모듈에 표출되는 마커의 경우에, 사용자의 스마트디바이스와 실시간 상호작용으로 연계되지 않고, 끊김 현상이나 버퍼링 현상이 자주 발생되어, 마커를 통한 사용자위치인식이 어렵고, 이로 인해 사용자참여형 체험분위기 형성이 어려운 문제점과, 전시장 내의 디스플레이모듈에 표출되거나, 안내시키는 캐릭터콘텐츠가 획일적이고 딱딱한 느낌을 주어, 사용자로 하여금 흥미나 관심을 떨어뜨림으로써, 전체 가상현실기반의 전시시장이 침체 되는 문제점을 개선하고자, 가상영상표출디스플레이부(100), 마커표출제어부(200), 메인시스템제어모듈(300), 자작형 콘텐츠 앱 모듈(400)로 구성됨으로써, 스캔한 마커의 윤곽선을 검출시키고, 마커이미지를 추출시킨 후, 최소거리식별을 통해 마커를 인식시키는 마커인식제어부와;, 마커인식데이터에다가, 깊이맵정보와, 스마트디바이스의 폰식별번호를 부가한 마커인식·식별데이터생성부를 통해, 끊김 현상이나 버퍼링 현상없이, 마커를 통한 사용자위치인식율을 기존에 비해 80% 향상시킬 수 있고, 사용자가 원하는 전시 공간, 원하는 화면영역에 자신의 위치를 인식시켜서 가상영상컨텐츠와 상호작용을 할 수 있어, 실감있고 능동적인 가상 영상컨텐츠를 구현시킬 수 있고, 이로 인해, 사용자로 하여금 기존보다 집중도를 1.5배~3배로 높일 수 있으며, 사용자가 직접 만들어서 제작한 자작형 콘텐츠를 가상영상표출디스플레이부 상에 표출시킴으로써, 기존의 획일적이고 딱딱한 가상전시분위기보다, 사용자의 관심과 흥미를 높여서, 활기찬 가상전시분위기를 형성시킬 수 있고, 가상현실의 영상요소인 게임, 전시, 안내, 안전체험 중 어느 하나가 선택된 가상데이터에다가 마커를 대신하여 자작형 콘텐츠를 변환표출시켜 사용자 위치인식시켜주도록 구성됨으로써, 증강 현실(Augmented Reality), 메타버스공간, 로봇의 경로이동, 객체인식분야 등의 다양한 분야에 마커를 통한 실시간 사용자 위치인식장치 및 방법을 응용시켜, 적용시킬 수 있는 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치 및 방법을 제공하는데 그 목적이 있다.

Description

가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치 및 방법{Real-time user location recognition device and method through marker in virtual reality-based space}
본 발명은 게임, 전시, 안내, 안전체험 중 어느 하나가 선택된 가상분위기를 형성시키는 가상현실기반형 공간상에 적용되어, 가상데이터가 디스플레이되는 화면상에 표출되는 마커에, 스마트디바이스를 통해 마커인식시키면, 마커를 대신하여 자작형 콘텐츠를 변환표출시켜 사용자 위치인식시킬 수 있는 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치 및 방법에 관한 것이다.
일반적으로, 관람객은 전시물을 보호하고 전시 정보가 표시되는 전시 케이스를 통해 내부에 존재하는 전시물을 관람하게 된다.
그러나 이러한 관람 방법은 전시 정보를 관람객에게 전달하는데 있어 전시 케이스에 의존하는 바, 관람객에게 전시 정보를 효과적으로 전달하지 못하게 된다.
이에, 전시 정보를 보다 효과적으로 전달하기 위해 전시 케이스(또는 전시 케이스의 전방)에 디스플레이 패널을 마련하고, 전시 정보가 포함된 영상을 디스플레이 패널의 화면에 표시하는 방법이 제안되었다.
그러나 이러한 방법은 반복적인 전시 영상을 보여주기 때문에 관람객의 입장에서는 단조롭게 느껴지고 전시물에 대한 몰입감이 떨어지게 된다.
이러한 문제점을 해결하기 위해, 국내공개특허공보 제10-2021-0067545호에서는 가상현실을 이용한 복합전시시스템이 제시된 바 있으나,
이는 전시장 내에서 디스플레이모듈, 착용유닛을 구비한 채, 돌아다녀야 하므로, 안전사고의 위험과, 특정인만이 한정되어 체험할 수 있어, 전시체험률이 떨어지는 문제점이 있었다.
그리고, 전시관 내에서 사용자의 위치를 알 수 있도록 하기 위해, GPS, 비콘, RFID 등의 장치가 구성되지만, 실내에서는 정확한 위치파악이 어렵고 추가장비를 설치해야 하는 문제점과, 디스플레이 모듈에 표출되는 마커의 경우에, 사용자의 스마트디바이스와 실시간 상호작용으로 연계되지 않고, 끊김 현상이나 버퍼링 현상이 자주 발생되어, 마커를 통한 사용자 위치인식이 어렵고, 이로 인해 사용자참여형 체험분위기 형성이 어려운 문제점이 있었다.
또한, 전시장 내의 디스플레이모듈에 표출되거나, 안내시키는 캐릭터콘텐츠가 획일적이고 딱딱한 느낌을 주어, 사용자로 하여금 흥미나 관심을 떨어뜨림으로써, 전체 가상현실기반의 전시시장이 침체되는 문제점이 있었다.
국내공개특허공보 제10-2021-0067545호
상기의 문제점을 해결하기 위해 본 발명에서는 스캔한 마커의 윤곽선을 검출시키고, 마커이미지를 추출시킨 후, 최소거리식별을 통해 마커를 인식시키는 마커인식제어부와;, 마커인식데이터에다가, 깊이맵정보와, 스마트디바이스의 폰식별번호를 부가한 마커인식·식별데이터생성부를 통해, 끊김 현상이나 버퍼링 현상없이, 마커를 통한 사용자위치인식율을 향상시킬 수 있고, 사용자가 원하는 전시 공간, 원하는 화면영역에 자신의 위치를 인식시켜서 가상영상컨텐츠와 상호작용을 할 수 있어, 실감있고 능동적인 가상 영상컨텐츠를 구현시킬 수 있으며, 사용자가 직접 만들어서 제작한 자작형 콘텐츠를 가상영상표출디스플레이부 상에 표출시킬 수 있고, 가상현실의 영상요소인 게임, 전시, 안내, 안전체험 중 어느 하나가 선택된 가상데이터에다가 마커를 대신하여 자작형 콘텐츠를 변환표출시켜 사용자 위치 인식시켜줄 수 있는 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치 및 방법을 제공하는데 그 목적이 있다.
상기의 목적을 달성하기 위해 본 발명에 따른 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치는
가상데이터가 디스플레이되는 화면상에 표출되는 마커에, 스마트디바이스를 통해 마커인식시키면, 마커를 대신하여 자작형 콘텐츠를 변환표출시켜 사용자 위치인식시키도록 구성됨으로써 달성된다.
상기 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치는 보다 구체적으로, 특정공간에 위치되어, 메인시스템제어모듈과 마커표출제어부의 제어하에 구동되어, 마커와 영상을 결합시켜 표출시키다가 마커가 자작형 콘텐츠로 변환되면서, 변환된 자작형 콘텐츠와 영상으로 이루어진 게임, 전시, 안내, 안전체험 중 어느 하나가 선택된 가상데이터를 표출시키는 가상영상표출디스플레이부(100)와,
가상영상표출디스플레이부 일측에 위치되고, 메인시스템제어모듈의 제어신호에 따라 구동되어, 가상영상표출디스플레이부 상에 마커가 표출되도록 제어시키다가, 검증과 사용승인이 완료된 새로운 마커에 1:1로 매칭되는 자작형 콘텐츠를 수신받아, 새로운 마커를 대신하여 자작형 콘텐츠를 변환표출시켜 사용자 위치인식시키도록 제어시키는 마커표출제어부(200)와,
가상영상표출디스플레이부, 마커표출제어부, 자작형 콘텐츠 앱 모듈과 연결되어, 각 기기의 전반적인 동작을 제어하면서, 검증과 사용승인을 거친 후, 마커표출제어부쪽으로 새로운 마커에 1:1로 매칭되는 자작형 콘텐츠를 보내어, 특정공간상에 사용자위치인식인 자작형 콘텐츠가 포함된 게임, 전시, 안내, 안전체험 중 어느 하나가 선택된 가상분위기를 형성시키도록 제어하는 메인시스템제어모듈(300)과,
스마트디바이스 내에 어플형태로 활성화되어, 마커인식시키면 가상영상표출디스플레이부상에 바로 표출되는 자작형 콘텐츠를 스마트디바이스 사용자가 직접 제작하여 생성시킨 후, 메인시스템제어모듈쪽으로 마커인식·식별데이터를 보내고, 마커인식·식별데이터의 검증과 사용승인이 완료되면, 메인시스템제어모듈쪽으로 자작형 콘텐츠를 전송시키는 자작형 콘텐츠 앱 모듈(400)로 구성되는 것을 특징으로 한다.
이상에서 설명한 바와 같이, 본 발명에서는
첫째, 스캔한 마커의 윤곽선을 검출시키고, 마커이미지를 추출시킨 후, 최소거리식별을 통해 마커를 인식시키는 마커인식제어부와;, 마커인식데이터에다가, 깊이맵정보와, 스마트디바이스의 폰식별번호를 부가한 마커인식·식별데이터생성부를 통해, 실내공간에서도 끊김 현상이나 버퍼링 현상없이, 마커를 통한 사용자위치인식율을 기존에 비해 80% 향상시킬 수 있다.
둘째, 사용자가 원하는 전시 공간, 원하는 화면영역에 자신의 위치를 인식시켜서 가상영상컨텐츠와 상호작용을 할 수 있어, 실감있고 능동적인 가상 영상컨텐츠를 구현시킬 수 있고, 이로 인해, 사용자로 하여금 기존보다 집중도를 1.5배~3배로 높일 수 있다.
셋째, 사용자가 직접 만들어서 제작한 자작형 콘텐츠를 가상영상표출디스플레이부 상에 표출시킴으로써, 기존의 획일적이고 딱딱한 가상전시분위기보다, 사용자의 관심과 흥미를 높여서, 활기찬 가상전시분위기를 형성시킬 수 있다.
넷째, 가상현실의 영상요소인 게임, 전시, 안내, 안전체험 중 어느 하나가 선택된 가상데이터에다가 마커를 대신하여 자작형 콘텐츠를 변환표출시켜 사용자 위치인식시켜주도록 구성됨으로써, 증강 현실(Augmented Reality), 메타버스공간, 로봇의 경로이동, 객체인식분야 등의 다양한 분야에 마커를 통한 실시간 사용자 위치인식장치 및 방법을 응용시켜, 적용시킬 수 있다.
도 1은 본 발명에 따른 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치의 구성요소를 도시한 블럭도,
도 2는 본 발명에 따른 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치의 구성요소를 도시한 사시도,
도 3은 본 발명에 따른 가상영상표출디스플레이부의 구성요소를 도시한 사시도,
도 4는 본 발명에 따른 마커표출제어부의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 메인시스템제어모듈의 구성요소를 도시한 블럭도,
도 6은 본 발명에 따른 마커생성제어부의 구성요소를 도시한 블럭도,
도 7은 본 발명에 따른 자작형 콘텐츠 앱 모듈의 구성요소를 도시한 블럭도,
도 8은 본 발명에 따른 자작형 콘텐츠용 액티비티부의 구성요소를 도시한 블럭도,
도 9는 본 발명에 따른 자작형 콘텐츠용 서비스제어부의 구성요소를 도시한 블럭도,
도 10은 본 발명에 따른 자작형 콘텐츠용 콘텐츠 제어부의 구성요소를 도시한 블럭도,
도 11은 본 발명에 따른 3D 자작형 콘텐츠생성부의 구성요소를 도시한 블럭도,
도 12는 본 발명에 따른 마커인식제어부의 구성요소를 도시한 블럭도,
도 13은 본 발명에 따른 최소거리식별형 마커인식알고리즘엔진부를 통해, 특징 벡터를 하나의 점으로 표시한 것을 도시한 일실시예도,
도 14는 본 발명에 따른 마커인식·식별데이터생성부 중 깊이맵 제너레이터부를 통해 깊이맵정보가 생성되는 것을 도시한 일실시예도,
도 15는 본 발명에 따른 자작형 콘텐츠생성제어부의 구성을 통해, 자작형 콘텐츠가 생성되는 것을 도시한 일실시예도,
도 16은 본 발명에 따른 3D 자작형 콘텐츠생성부를 통해, 캐릭터를 불러와서 360도 회전시키면서, 색칠하기, 편집을 거쳐 저장시켜 3D 자작형 콘텐츠를 생성시키는 것을 도시한 일실시예도,
도 17은 본 발명에 따른 자작형 콘텐츠전송부를 통해, 메인시스템제어모듈쪽으로, 자작형 콘텐츠생성제어부에서 생성된 자작형 콘텐츠를 전송시키는 것을 도시한 일실시예도,
도 18은 본 발명에 따른 스마트디바이스에 설치된 자작형 콘텐츠 앱 모듈을 통해 가상영상표출디스플레이부상에 표출되는 마커인식시키는 것을 도시한 일실시예도,
도 19는 본 발명에 따른 마커표출제어부의 자작형 콘텐츠표출부를 통해, 새로운 마커를 대신하여 자작형 콘텐츠를 변환표출시켜 사용자 위치 인식시키는 것을 도시한 일실시예도,
도 20은 본 발명에 따른 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식방법을 도시한 순서도.
이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.
도 1은 본 발명에 따른 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치의 구성요소를 도시한 블럭도에 관한 것이고, 도 2는 본 발명에 따른 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치의 구성요소를 도시한 사시도에 관한 것으로, 이는 가상데이터가 디스플레이되는 화면상에 표출되는 마커에, 스마트디바이스를 통해 마커인식시키면, 마커를 대신하여 자작형 콘텐츠를 변환표출시켜 사용자 위치인식시키도록 구성된다.
보다 구체적으로, 상기 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치(1)는 가상영상표출디스플레이부(100), 마커표출제어부(200), 메인시스템제어모듈(300), 자작형 콘텐츠 앱 모듈(400)로 구성된다.
먼저, 본 발명에 따른 가상영상표출디스플레이부(100)에 관해 설명한다.
상기 가상영상표출디스플레이부(100)는 특정공간에 위치되어, 메인시스템제어모듈과 마커표출제어부의 제어하에 구동되어, 마커와 영상을 결합시켜 표출시키다가 마커가 자작형 콘텐츠로 변환되면서, 변환된 자작형 콘텐츠와 영상으로 이루어진 게임, 전시, 안내, 안전체험 중 어느 하나가 선택된 가상데이터를 표출시키는 역할을 한다.
여기서, 가상현실이라는 것은 VR(Virtual Reality), AR(Augmented Reality), MR(Mixed Reality) 중 어느 하나가 선택되어 이루어지는 것을 말한다.
이하, 본 발명에서는 AR(Augmented Reality)기반의 가상현실에 관해 설명한다.
상기 가상영상표출디스플레이부(100)는 도 3에 도시한 바와 같이, 디스플레이본체(110), 영상수신부(120), 영상표출부(130)로 구성된다.
상기 디스플레이본체(110)는 사각패널구조로 형성되어, 각 기기를 외압으로부터 보호하고 지지하는 역할을 한다.
이는 내부공간 일측에 영상수신부가 형성되고, 표면상에 영상표출부가 형성되어 구성된다.
일예로, LED 대형 스크린으로 구성된다.
상기 영상수신부(120)는 메인시스템제어모듈로부터 영상데이터를 수신받아 영상표출부로 전달시키는 역할을 한다.
상기 영상표출부(130)는 영상수신부로부터 수신받은 영상데이터에다가 마커를 결합시킨 가상데이터를 표출시키다가, 자작형 콘텐츠와 영상으로 이루어진 가상데이터를 표출시키는 역할을 한다.
이는 LED(자체 발광 다이오드)로 백라이트를 사용하고, LCD로 빛의 굴절을 하며 컬러 필터를 통해 색상을 표현하도록 구성된다.
상기 가상데이터는 가상현실의 종류인 게임, 전시, 안내, 안전체험 중 어느 하나가 선택되어 이루어진다.
다음으로, 본 발명에 따른 마커표출제어부(200)에 관해 설명한다.
상기 마커표출제어부(200)는 가상영상표출디스플레이부 일측에 위치되고, 메인시스템제어모듈의 제어신호에 따라 구동되어, 가상영상표출디스플레이부 상에 마커가 표출되도록 제어시키다가, 검증과 사용승인이 완료된 새로운 마커에 1:1로 매칭되는 자작형 콘텐츠를 수신받아, 새로운 마커를 대신하여 자작형 콘텐츠를 변환표출시켜 사용자 위치인식시키도록 제어시키는 역할을 한다.
이는 도 4에 도시한 바와 같이, 마커요청부(210), 마커타이머설정부(220), 마커표출부(230), 자작형 콘텐츠표출부(240)로 구성된다.
상기 마커요청부(210)는 메인시스템제어모듈쪽으로 가상영상표출디스플레이부상에 표출될 마커를 요청시키는 역할을 한다.
상기 마커타이머설정부(220)는 가상영상표출디스플레이부상에 표출된 마커의 표출시간을 카운팅하면서, 기준카운팅범위를 넘으면, 마커요청부쪽으로 마커요청신호를 보내는 역할을 한다.
여기서, 마커의 표출시간은 사용목적 및 형태에 따라, 10분, 30분, 60분, 90분 중 어느 하나가 선택되어 이루어진다.
상기 기준카운팅범위라는 것은 마커의 표출시간에 따른 카운팅시간을 말한다.
일예로, 마커의 표출시간이 30분이라면, 기준카운팅범위는 마커의 표출시간인 30분을 카운팅시킨다.
이처럼, 본 발명에 빠른 마커타이머설정부를 통해 마커를 마커타이머에 맞게 설정한 후, 리플레쉬시킬 수 있다.
상기 마커표출부(230)는 마커요청부를 통해 요청한 마커를 메인시스템제어모듈로부터 수신받아, 가상영상표출디스플레이부상에 표출시키는 역할을 한다.
상기 자작형 콘텐츠표출부(240)는 새로운 마커를 대신하여 자작형 콘텐츠를 변환표출시켜 사용자 위치 인식시키는 역할을 한다.
다음으로, 본 발명에 따른 메인시스템제어모듈(300)에 관해 설명한다.
상기 메인시스템제어모듈(300)은 가상영상표출디스플레이부, 마커표출제어부, 자작형 콘텐츠 앱 모듈과 연결되어, 각 기기의 전반적인 동작을 제어하면서, 검증과 사용승인을 거친 후, 마커표출제어부쪽으로 새로운 마커에 1:1로 매칭되는 자작형 콘텐츠를 보내어, 특정공간상에 사용자위치인식인 자작형 콘텐츠가 포함된 게임, 전시, 안내, 안전체험 중 어느 하나가 선택된 가상분위기를 형성시키도록 제어하는 역할을 한다.
이는 도 5에 도시한 바와 같이, 마커생성제어부(310), 영상데이터송신부(320), 마커송신부(330), 마커검증제어부(340), 자작형 콘텐츠수신부(350), 마커사용승인제어부(360), 자작형 콘텐츠저장·송신부(370)로 구성된다.
첫째, 본 발명에 따른 마커생성제어부(310)에 관해 설명한다.
상기 마커생성제어부(310)는 가상영상표출디스플레이부상에 표출될 마커를 생성시키는 역할을 한다.
이는 마커를 이용하여 사용자가 조작하게 될 물체의 상대적 좌표를 추출하고, 이에 맞는 가상정보를 구현하게 된다.
여기서, 마커는 도 6에 도시한 바와 같이, QR마커(311), 가상툴키트마커(312), HOM 마커(313), IGD 마커(314), SCR 마커(315) 중 어느 하나가 선택되어 구성된다.
상기 QR마커(311)는 QR코드 패턴으로 인식되도록 마커를 형성시키는 역할을 한다.
상기 가상툴키트마커(312)는 마커 내의 사각영역 안에 패턴으로 템플리트 매칭 알고리즘을 통해 인식되고, 각각의 마커의 동/서/남/북 네 방향에 대한 템플리트 정보를 모두 비교하여, 마커의 모양 및 방향이 인식되도록 마커를 형성시키는 역할을 한다. 이는 처리속도가 빠른 장점과 사각영역 안의 내용이 이미지 및 아이콘화하는 것이 가능하다.
상기 HOM 마커(313)는 주요 사각영역 이외에, 부가적으로 마커의 한 변 외각에 6비트의 인코딩 영역을 통해 인식되도록 마커를 형성시키는 역할을 한다.
이는 인식할 수 있는 아이디(ID)의 양이 16비트에서 24비트까지 가능한 특성을 가진다.
상기 IGD 마커(314)는 사각틀구조로 이루어지고, 사각틀이 마커의 원점 및 의미를 갖도록 마커를 형성시키는 역할을 한다.
이는 6×6의 사각틀로 구성되며 내부 4×4 사각틀이 마커의 원점 및 의미를 나타내게 되어 마커의 인식의 정확도와 처리속도가 빠른 특성을 가진다.
상기 SCR 마커(315)는 사각영역 안에 마커의 의미가 코드화되어 인식되도록 마커를 형성시키는 역할을 한다.
이는 시간적인 트래킹 정보를 이용하기 때문에 비디어 시퀸스를 사용하는 시스템에서 우수한 성능을 나타내고, 마커의 갯수가 늘어나도 연산속도가 쉽게 떨어지지 않는 특성을 가진다.
둘째, 본 발명에 따른 영상데이터송신부(320)에 관해 설명한다.
상기 영상데이터송신부(320)는 가상영상표출디스플레이부쪽으로, 게임, 전시, 안내, 안전체험 중 어느 하나가 선택된 영상데이터를 송신시키는 역할을 한다.
셋째, 본 발명에 따른 마커송신부(330)에 관해 설명한다.
상기 마커송신부(330)는 마커생성제어부에서 생성된 마커를 마커표출제어부쪽으로 송신시키는 역할을 한다.
넷째, 본 발명에 따른 마커검증제어부(340)에 관해 설명한다.
상기 마커검증제어부(340)는 자작형 콘텐츠수신부로부터 수신받은 마커인식·식별데이터가 가상영상표출디스플레이부 상에 표출될 유효한 마커인지 검증제어시키는 역할을 한다.
이는 마커인식·식별데이터의 깊이맵정보와, 자작형 콘텐츠 앱 모듈의 폰식별번호를 기준으로, 미리 설정된 기준 깊이맵정보와, 로그인한 폰식별번호, 또는 수수료를 납부한 폰식별번호인지를 매칭시켜, 사용불가 또는 사용허가 중 어느 하나를 검증제어시킨다.
즉, 마커인식·식별데이터가 기준 깊이맵정보에 맞게 깊이맵이 제작되고, 가상 분위기공간에 들어오기 위해 사전에 등록하거나, 또는 현장에서 수수료를 납부하고 등록한 폰식별번호이면, 사용허가시킨다.
반대로, 마커인식·식별데이터가 기준 깊이맵정보에 맞게 깊이맵이 제작되지 않거나, 또는 가상 분위기공간에 들어오기 위해 사전에 등록하지 않는 폰식별번호이거나, 또는 현장에서 수수료를 납부하지 않은 폰식별번호이면, 사용불가시킨다.
다섯째, 본 발명에 따른 자작형 콘텐츠수신부(350)에 관해 설명한다.
상기 자작형 콘텐츠수신부(350)는 자작형 콘텐츠 앱 모듈로부터 마커인식·식별데이터를 수신받아 마커검증제어부로 전달시키는 역할을 한다.
여섯째, 본 발명에 따른 마커사용승인제어부(360)에 관해 설명한다.
상기 마커사용승인제어부(360)는 마커검증제어부를 통해 사용허가가 검증된 마커인식·식별데이터에 1:1로 매칭되는 새로운 마커를 생성시킨 후, 새롭게 생성된 마커를 마커표출제어부쪽으로 송신시키도록 명령신호를 전달과 동시에, 자작형 콘텐츠 앱 모듈 쪽으로 자작형 콘텐츠 사용을 승인한다는 승인제어신호를 보내도록 제어시키는 역할을 한다.
여기서, 자작형 콘텐츠 사용승인이 되면, 자작형 콘텐츠 앱 모듈쪽으로 자작형 콘텐츠를 전송시키라는 명령신호를 보낸다.
일곱째, 본 발명에 따른 자작형 콘텐츠저장·송신부(370)에 관해 설명한다.
상기 자작형 콘텐츠저장·송신부(370)는 자작형 콘텐츠 앱 모듈로부터 전송된 자작형 콘텐츠를 저장시킨 후, 새로운 마커에 1:1로 매칭되는 자작형 콘텐츠를 실시간 사용자 위치인식되도록 하기 위해, 마커표출제어부쪽으로 송신시키는 역할을 한다.
다음으로, 본 발명에 따른 자작형 콘텐츠 앱 모듈(400)에 관해 설명한다.
상기 자작형 콘텐츠 앱 모듈(400)은 스마트디바이스 내에 어플형태로 활성화되어, 마커인식시키면 가상영상표출디스플레이부상에 바로 표출되는 자작형 콘텐츠를 스마트디바이스 사용자가 직접 제작하여 생성시킨 후, 메인시스템제어모듈쪽으로 마커인식·식별데이터를 보내고, 마커인식·식별데이터의 검증과 사용승인이 완료되면, 메인시스템제어모듈쪽으로 자작형 콘텐츠를 전송시키는 역할을 한다.
이는 도 7에 도시한 바와 같이, 자작형 콘텐츠용 액티비티부(410), 자작형 콘텐츠용 서비스제어부(420), 자작형 콘텐츠용 브로드캐스트 리시버부(430), 자작형 콘텐츠용 콘텐츠 제어부(440)로 구성된다.
첫째, 본 발명에 따른 자작형 콘텐츠용 액티비티부(410)에 관해 설명한다.
상기 자작형 콘텐츠용 액티비티부(410)는 스마트디바이스의 화면상에 자작형 콘텐츠용 사용자 인터페이스(UI)를 생성시키는 역할을 한다.
여기서, 자작형 콘텐츠용 사용자 인터페이스(UI)는 자작형 콘텐츠 생성자가 직접 자작형 콘텐츠UI를 만드는 인터페이스를 말한다.
상기 자작형 콘텐츠용 액티비티부(410)는 도 8에 도시한 바와 같이, 자작형 콘텐츠용 프레그멘트(Fragments)부(411), 자작형 콘텐츠용 액티비티 라이프 사이클부(412), 자작형 콘텐츠용 구성변환부(413), 자작형 콘텐츠용 액티비티결과값수신부(414), 자작형 콘텐츠용 상태저장부(415), 자작형 콘텐츠용 권한설정부(416), 자작형 콘텐츠용 프로세스라이프사이클부(417)로 구성된다.
상기 자작형 콘텐츠용 프레그멘트(Fragments)부(411)는 한 화면에 다양한 인터페이스 또는 응용 프로그램을 확장 및 구축시키는 역할을 한다.
이는 캐릭터불러오기 인터페이스, 색칠하기 인터페이스, 편집 인터페이스, 저장하기 인터페이스로 구성된다.
상기 자작형 콘텐츠용 액티비티 라이프 사이클부(412)는 액티비티의 동작 상태에 따라 전체(Entire), 가시성(Visible), 이전 수명(Foreground Lifetime)으로 구분하여 사이클을 형성시키는 역할을 한다.
상기 자작형 콘텐츠용 구성변환부(413)는 액티비티의 환경 변화에 따라 변경시키고, 런타임 변경시 온디스트로이(onDestroy)호출과, 액티비티를 다시 시작시키는 역할을 한다.
상기 자작형 콘텐츠용 액티비티결과값수신부(414)는 액티비티가 끝나면, 그 결과값을 반환하거나, 또는 그 결과값을 받아오는 역할을 한다.
상기 자작형 콘텐츠용 상태저장부(415)는 액티비티의 동작상태, 액티비티 결과값을 저장시키는 역할을 한다.
상기 자작형 콘텐츠용 권한설정부(416)는 특정활동에 대한 액세스 권한 부여를 설정시키는 역할을 한다.
상기 자작형 콘텐츠용 프로세스라이프사이클부(417)는 자작형 콘텐츠용 앱의 메모리 부족시 오래된 프로세스를 설정값에 따라 자동으로 제거하고, 프로세스의 우선순위를 조절시키는 역할을 한다.
이처럼, 자작형 콘텐츠용 프레그멘트(Fragments)부(411), 자작형 콘텐츠용 액티비티 라이프 사이클부(412), 자작형 콘텐츠용 구성변환부(413), 자작형 콘텐츠용 액티비티결과값수신부(414), 자작형 콘텐츠용 상태저장부(415), 자작형 콘텐츠용 권한설정부(416), 자작형 콘텐츠용 프로세스라이프사이클부(417)로 이루어진 자작형 콘텐츠용 액티비티부(410)에서, 생성시킨 자작형 콘텐츠용 사용자 인터페이스(UI)를 통해, 자작형 콘텐츠 생성자가 직접 자작형 콘텐츠UI를 만들 수 있다.
둘째, 본 발명에 따른 자작형 콘텐츠용 서비스제어부(420)에 관해 설명한다.
상기 자작형 콘텐츠용 서비스제어부(420)는 백그라운드에서 실행되어, 자작형 콘텐츠용 앱의 또 다른 구성요소를 서비스에 바인딩하여 서비스와 상호작용하면서, 프로세스간 통신을 수행시키도록 제어하는 역할을 한다.
이는 스마트디바이스의 카메라와 연계시켜, 마커를 카메라촬영의 스캐너방식으로 스캔되도록 한다.
상기 자작형 콘텐츠용 서비스제어부는 인터페이스를 제공하지 않고, 시작과 바인드 형식을 가진다.
그리고, 자작형 콘텐츠 생성자가 자작형 콘텐츠용 앱 중 자작형 콘텐츠UI에서, 또 다른 이벤트 인터페이스를 전환하더라도 백그라운드에서 계속해서 실행된다.
일예로, 하나의 서비스는 네트워크 트랜잭션을 처리하고, 자작형 콘텐츠UI 음악을 재생하며, 파일I/O를 수행하거나 콘텐츠 제공자와 상호작용하며, 이 모든 것을 백그라운드에서 수행시킨다.
상기 자작형 콘텐츠용 서비스제어부(420)는 도 9에 도시한 바와 같이, 포그라운드 서비스 제어부(421), 백그라운드서비스 제어부(422), 바인드 제어부(423)로 구성된다.
상기 포그라운드 서비스 제어부(421)는 자작형 콘텐츠 생성자에게 잘 보이는 서비스 작업을 수행시키도록 제어하는 역할을 한다.
일예로, 자작형 콘텐츠용 앱이라면 클릭시 자작형 콘텐츠UI 카테고리 선택 트랙을 재생할 때, 포그라운드 서비스 제어부가 구동된다.
그리고, 상기 포그라운드 서비스 제어부는 알림을 표시하고, 자작형 콘텐츠 생성자가 앱과 상호작용하지 않을 때도 계속 실행되도록 구성된다.
상기 백그라운드서비스 제어부(422)는 자작형 콘텐츠 생성자에게 직접 보이지 않는 서비스 작업을 수행시키도록 제어하는 역할을 한다.
일예로, 자작형 콘텐츠용 앱이 저장소를 압축하는데 서비스를 사용했다면, 이것은 백그라운드서비스 제어부의 작업이다.
상기 바인드 제어부(423)는 자작형 콘텐츠용 앱의 구성요소인 바인드서비스(bindService)를 호출하여 해당 서비스를 바인딩시키면 서비스를 바인딩시키도록 제어하는 역할을 한다.
바인딩된 서비스는 자작형 콘텐츠용 제어모듈과 인터페이스를 제공하여 구성요소가 서비스와 상호작용하게 하며, 결과를 받을 수 있고, 여러 프로세스에 걸쳐 프로세스간 통신(IPC)으로 수행할 수 있다.
이처럼, 포그라운드 서비스 제어부(421), 백그라운드서비스 제어부(422), 바인드 제어부(423)로 이루어진 자작형 콘텐츠용 서비스 제어부(420)는 자작형 콘텐츠 생성자가 자작형 콘텐츠용 앱과 상호작용하는 동안 기본 스레드 밖에서 작업을 수행해야 하는 경우, 새 스레드를 생성시키도록 구성된다.
즉, 자작형 콘텐츠용 액티비티부가 실행되는 중에만 음악을 재생하고자 하는 경우, 온크리에이트(onCreate) 안에 스레드를 생성하고, 이를 온스타트(onSt가상t)에서 실행하기 시작한 다음, 온스탑(onStop)에서 중단하도록 구성된다.
셋째, 본 발명에 따른 자작형 콘텐츠용 브로드캐스트 리시버부(430)에 관해 설명한다.
상기 자작형 콘텐츠용 브로드캐스트 리시버부(430)는 스마트디바이스의 시스템 이벤트가 발생시 알림의 브로드 캐스트 메시지를 화면상에 생성시키는 역할을 한다.
여기서, 스마트디바이스의 시스템 이벤트는 기기의 충전 알림, 전원오프 알림 등의 이벤트를 말한다.
상기 자작형 콘텐츠용 브로드캐스트 리시버부는 인터페이스를 제공하지 않고, 시스템 앱과 자작형 콘텐츠용 앱 사이에서 양방향으로 브로드 캐스트 메시지를 송수신시키도록 구성된다.
그리고, 매니페스트(manifest)엔 선언된 수신자 및 컨텍스트에 등록된 수신자를 통해 브로드캐스트 메시지를 수신하도록 구성된다.
넷째, 본 발명에 따른 자작형 콘텐츠용 콘텐츠 제어부(440)에 관해 설명한다.
상기 자작형 콘텐츠용 콘텐츠 제어부(440)는 자작형 콘텐츠용 앱에 저장한 자작형 콘텐츠에 대한 액세스 권한을 관리하면서, 스마트 디바이스의 또 다른 앱 또는 메인시스템제어모듈과 자작형 콘텐츠를 공유시키고, 자작형 콘텐츠 생성자가 직접 자작형 콘텐츠UI를 만드는 자작형 콘텐츠UI 화면 또는, 자작형 콘텐츠UI에서 마커인식UI로 전환시키는 역할을 한다.
여기서, 자작형 콘텐츠는 현장에서 만들어지는 아바타 캐릭터, 메타버스내 평상시에 사용자가 사용하는 제페토/로블록스 캐릭터, 유명연예인 사진캐릭터, 사용자 본인의 사진 캐릭터, 3D 캐릭터를 모두 포함한다.
이는 하나의 프로세스의 자작형 콘텐츠에 다른 프로세스에서 실행 중인 코드를 연결하는 표준인터페이스로 구성된다.
또한, 스마트 디바이스의 애플리케이션이 자작형 콘텐츠용 앱의 자작형 콘텐츠에 안전하게 액세스하여 이를 수정할 수 있도록 허용하는 기능을 제공한다.
그리고, 자작형 콘텐츠 액세스 권한에 데한 세분화된 제어 기능이 구성된다.
이로 인해, 애플리케이션 내에서만 자작형 콘텐츠용 콘텐츠 제공부에 액세스하도록 제한하거나, 다른 애플리케이션에서 자작형 콘텐츠용 앱 데이터에 액세스하도록 포괄적인 권한을 부여하거나, 콘텐츠데이터 읽기 및 쓰기에 다른 권한을 설정한다.
본 발명에 따른 자작형 콘텐츠용 콘텐츠 제어부는 스마트 디바이스의 또 다른 어플리케이션에 맞춤 검색 추전을 구현하거나, 자작형 콘텐츠용 앱 콘텐츠데이터를 위젯에 노출시킨다.
또한, 자작형 콘텐츠용 앱에서 여러 가지 데이터 소스에 액세스하기 위한 세부정보를 추상화하도록 구성된다.
상기 자작형 콘텐츠용 콘텐츠 제어부(440)는 도 10에 도시한 바와 같이, 자작형 콘텐츠생성제어부(441), 마커스캐너부(442), 마커인식제어부(443), 마커인식·식별데이터생성부(444), 마커재인식제어부(445), 자작형 콘텐츠전송부(446)로 구성된다.
[ 자작형 콘텐츠생성제어부(441)]
상기 자작형 콘텐츠생성제어부(441)는 스마트 디바이스의 어플상에서, 마커인식시키면 가상영상표출디스플레이부상에 바로 표출되는 자작형 콘텐츠를 스마트디바이스 사용자가 직접 제작한 자작형 콘텐츠가 생성되도록 제어시키는 역할을 한다.
이는 도 15에 도시한 바와 같이, 캐릭터불러오기 인터페이스, 색칠하기 인터페이스, 편집 인터페이스, 저장하기 인터페이스를 통해, 자작형 콘텐츠를 생성시키도록 구성된다.
그리고, 자작형 콘텐츠는 현장에서 만들어지는 아바타 캐릭터, 메타버스내 평상시에 사용자가 사용하는 제페토/로블록스 캐릭터, 유명연예인 사진캐릭터, 사용자 본인의 사진 캐릭터, 3D 캐릭터 중 어느 하나가 선택되어 이루어진다.
상기 자작형 콘텐츠는 가상영상표출디스플레이부상에 표출되는 마커의 크기와 동일한 사이즈로 형성된다.
또한, 상기 자작형 콘텐츠생성제어부(441)는 도 11에 도시한 바와 같이, 360도 회전시키면서 3D 형태로 이루어진 3D 자작형 콘텐츠가 생성되도록 제어시키는 3D 자작형 콘텐츠생성부(441a)가 포함되어 구성된다.
상기 3D 자작형 콘텐츠생성부(441a)는 도 16에 도시한 바와 같이, 우주인 캐릭터를 불러와서 360도 회전시키면서, 색칠하기, 편집을 거쳐 저장시켜 3D 자작형 콘텐츠를 생성시킨다.
이렇게 생성된 3D 자작형 콘텐츠는 가상영상표출디스플레이부상에 3D 자작형 콘텐츠로 표출된다.
[ 마커스캐너부 (442)]
상기 마커스캐너부(442)는 가상영상표출디스플레이부상에 표출되는 마커를 마커스캐너를 통해 스캔시키는 역할을 한다.
이는 QR스캐너로 구성된다.
[ 마커인식제어부 (443)]
상기 마커인식제어부(443)는 마커스캐너부를 통해 스캔한 마커의 윤곽선을 검출시키고, 마커이미지를 추출시킨 후, 최소거리식별을 통해 마커를 인식시키도록 제어시키는 역할을 한다.
이는 도 12에 도시한 바와 같이, 마커 윤곽선검출엔진알고리즘부(443a), 마커이미지추출부(443b), 최소거리식별형 마커인식알고리즘엔진부(443c)로 구성된다.
상기 마커 윤곽선검출엔진알고리즘부(443a)는 마커를 검출하기 위해 먼저 입력 이미지를 이진 이미지로 변환시키고 윤곽선을 검출시키는 역할을 한다.
여기서, 검출시킨 윤곽선은 연결된 픽셀들로 구성된다.
마커의 윤곽선인 사각형 검출을 위해 윤곽선을 선분으로 근사화한다.
선분으로 근사화한 다음에는 윤곽선을 이루는 선분의 수, 윤곽선 내부의 면적, 볼록 객체 여부 등의 기하하적 특징을 검출하여 이로부터 윤곽선이 사각형인지 아닌지를 판단한다.
여기서, 입력이미지를 이진이미지로 변환시킨다는 것은 컬러이미지인 가상 디스플레이이미지를 그대로 사용하지 않고, 배경색은 255이고, 마커 색은 0인 이진 이미지로 변환시키는 것을 말한다.
흑백이미지를 이진이미지로 변환하기 위해서는 임계값을 정하여 임계값보다 크면 배경색으로 변환하고, 그렇지 않으면 마커색으로 변환하는 방법을 사용한다.
마커는 흰색 배경에 검색으로 되어 있지만, 스마트디바이스로부터 스캔한 입력 이미지에서는 주변 환경의 빛의 밝기에 따라 배경과 마커의 명암도가 많은 영향을 받게되므로, 이진화를 위한 적절한 임계값을 정하기 위해, 흑백이미지가 가질 수 있는 명암도값인 0에서 255사이에 일정간격으로 9개의 임계값을 지정하여 이진 이미지 9개를 생성하고 각 이진 이미지로부터 마커를 검출하도록 구성된다.
이어서, 윤곽선 검출부를 통해 윤곽선을 검출한다.
윤곽선은 객체의 가장자리 선을 말하는 것으로, 일예로, QR마커와 같이 객체 내부에 특징부가 채워져 있는 경우에는 바깥쪽 윤곽선만이 존재한다.
이어서, 선분근사화부를 통해 윤곽선 검출에 의해 구한 물체의 가장자리 점들을 다시 선분으로 근사화시킨다.
상기 선분근사화부는 더글라스 퓨커(Douglas-Peucker) 알고리즘엔진부가 포함되어 구성된다.
더글라스 퓨커(Douglas-Peucker) 알고리즘엔진부를 이용해서 선분으로 근사화한 다음에는 사각형인지 아닌지를 판단하기 위하여 기하학적 특징을 이용한다.
기하학적 특징으로는 윤곽선 내부의 면적, 각 선분사이의 가도, 블록 객체 여부, 윤곽선을 구성하는 선분의 수, 선분의 길이를 이용한다.
윤곽선 내부 면적은 다각형 면적을 연산하는 공식을 이용해서 연산시킨다.
본 발명에서는 선분으로 근사화된 윤곽선이 마커의 윤곽선인지를 판별하는 조건으로 윤곽선을 구성하는 선분의 수가 4개이고, 윤곽선 내부 면적이 100이상이고 이웃한 선분사이각인 45도에서 135도 사이이며 볼록 다각형이 되도록 구성된다.
상기 마커이미지추출부(443b)는 입력 이미지의 마커를 인식하기 위해 검출된 마커의 이미지를 추출한 다음에 정사각형 형태의 표준마커 형상 형태로 변환시키는 역할을 한다.
이때, 마커이미지가 정사각형이 아닌 경우에는 워핑(Warping) 기법을 통해, 직사각형 형태로 변환시킨다.
그리고, 확대 또는 축소연산을 이용하여 표준 크기의 사각형 형태로 변환시킨다.
정사각형 형태로 변환한 다음에는 이진화를 수행하는데, 이진화에 사용하는 임계값은 사각형 검출시에 적용되었던 임계값과 같은 값을 사용하도록 구성된다.
입력이미지에서 임계값이 50, 75, 100, 125인 경우에 마커가 검출되는데, 이중에서 임계값이 75를 사용하여 이진화를 수행한다.
상기 최소거리식별형 마커인식알고리즘엔진부(443c)는 최소거리식별을 통해, 마커를 인식시키는 역할을 한다.
패턴인식에서 인식대상이 되는 각 부류를 대표하는 패턴을 표준패턴이라 하는데, 표준패턴은 각 부류마다 하나 또는 여러 개 존재한다.
M개의 부류 w1,w2,...,wM가 있고, 부류 wi를 대표하는 표준 패턴을 yi라 하고, 입력패턴을 x로 나타내기로 한다.
각 패턴을 N차원의 특징 벡터로 나타내면, yi=(y1,y2,..., yiN), x=(x1,x2,...,xN)이된다.
그리고 패턴 x와 패턴 yi의 거리 D(x, yi)는 다음의 수학식 1과 같이 연산된다.
최소거리식별법에서는 입력패턴 x를 D(x,yi)의 값이 최소가 되는 부류 wi로 인식한다.
Figure 112022066800615-pat00001
입력이미지로부터 구한 정사각형 마커 이미지의 크기는 64×64이다.
이미지의 픽셀값을 그대로 특징 벡터로 사용하면 특징벡터의 차원은 4096이 되고, 최소거리 식별법에서 많은 양의 연산을 필요로 하게된다.
따라서, 인식의 수행속도를 높이기 위해 특징벡터의 차원을 줄이도록 하기 위해, 본 발명에서는 주성분 분석부(443b-1)를 이용하여 특징 벡터의 차원을 줄이도록 구성된다.
주성분 분석부는 고차원 특징 벡터를 몇 개의 주성분 값으로 나타내어, 저차원의 특징 벡터로 표현해 주는 방식으로 이루어진다.
특징벡터가 N-차원일 경우에는 각 특징벡터는 N개의 기준축을 기준으로 표현된다.
따라서, 특징 벡터의 차원을 줄인다는 것은 기준 축을 줄이는 것을 말한다.
일예로 X축과 Y축으로 구성된 2차원 평면에서 특징 벡터가 대각선방향으로 퍼져 있을 때를 살펴본다.
여기에서는 각 특징 벡터를 하나의 점으로 표시한다.
도 13에 도시한 바와 같이, (a)와 같은 분포에서 대각선 방향과 그에 수직방향인 X'축과 Y'축 관점에서 특징 벡터를 살펴볼 때에는 특징벡터가 X'축을 중심으로 넓게 퍼져 있고, Y'축을 중심으로 좁게 모여 있다.
따라서, 특징 벡터를 구분할 때에 X' 축 상에서 어느 위치에 있느냐가 가장 중요한 요소가 되고, Y'축상에서는 어느 위치에 있느냐 하는 것이 다음으로 중요하게 된다.
이와 같이 특징 벡터의 분포에 따른 새로운 기준축을 구한 다음에는 기준축 중에서 중요한 것만 남기고, 나머지는 버림으로써 데이터의 차원을 줄일 수 있다.
도 13에 도시한 바와 같이, (a)의 경우에 X'축이 더 중요하므로, (b)에 나타나 있듯이 특징 벡터를 X'축에 투영하여 Y'축 성분값은 버리고, X'축 성분값만 남도록 함으로써 2차원의 특징 벡터를 1차원의 특징벡터로 줄여서 표현할 수 있다.
주성분 분석을 위해서는 마커 이미지들이 미리 저장되어 DB화된다.
[ 마커인식 · 식별데이터생성부 (444)]
상기 마커인식·식별데이터생성부(444)는 마커인식제어부를 통해 마커인식데이터에다가, 깊이맵정보와, 스마트디바이스의 폰식별번호를 부가하여, 마커인식·식별데이터생성시키는 역할을 한다.
상기 깊이맵정보는 마커의 입력이미지 내에서 스마트디바이스의 카메라부로부터 가깝고 먼 정도를 수치적으로 나타낸 것으로, 마커이미지의 2차원 또는 3차원 구조를 나타내기 위해 표현된다.
깊이맵정보는 깊이맵 제너레이터부(444a)에 의해 생성된다.
즉, 도 14에 도시한 바와 같이, 입력이미지의 픽셀당 깊이값을 계산할 때의 공식은 Z=1/d가 되는데, 이때 d는 스마트디바이스의 카메라가 바라보는 축을 따라 카메라의 센터로부터의 깊이가 된다.
입력이미지 안의 각 픽셀은 3D포인트(x,y,z)를 2D 이미지 플레인(u,v)로 프로젝트할 때 생겨나는 광선과 같이 대응되는데, 그 픽셀을 위해 카메라 포컬렝스 f와 센터 포인트 (cx,cy)에 의해 규정되는 광선을 만들어내는 것을 첫번째로, 이어서 카메라로부터의 깊이d 값을 셋팅함으로서, 3D포인트가 복원된다.
이러한 과정을 통해 깊이맵 제너레이터부(444a)가 깊이맵을 산출한다.
이어서, 현장에서 산출한 깊이맵이 메인시스템제어모듈에서 제시한 기준 깊이맵과 비교분석 후, 메인시스템제어모듈에서 제시한 기준 깊이맵에 맞게 보정시킨다.
상기 식별데이터는 자작형 콘텐츠 앱 모듈의 고유식별ID 또는 폰식별번호로서, 메인시스템제어모듈에서 특정공간의 가상영상표출디스플레이부를 사용하고자 하는 사용자임을 인식시키고, 식별시키는 모든 데이터를 포함한다.
본 발명에서는 자작형 콘텐츠 앱 모듈이 설치된 스마트디바이스의 폰식별번호로 구성된다.
여기서, 폰식별번호는 폰번호, 또는 식별ID가 부가된 폰번호 중 어느 하나가 선택되어 이루어진다.
이러한 과정을 통해, 상기 마커인식·식별데이터생성부는 마커인식데이터에다가, 메인시스템제어모듈에서 제시한 기준 깊이맵으로 보정한 깊이맵정보를 추가하고, 이어서, 스마트디바이스의 폰식별번호를 부가하여, 마커인식·식별데이터생성시킨다.
본 발명에 따른 마커인식·식별데이터생성부에서, 마커인식데이터 + 깊이맵정보 + 폰식별번호로 이루어지는 마커인식·식별데이터를 생성시키는 이유는, 메인시스템제어모듈에서 보다 정확하고, 빠르게 유효한 마커검증과 사용승인을 수행할 수 있도록 하기 위함이다.
이를 통해, 끊김 현상이나 버퍼링 현상없이, 마커를 통한 사용자위치인식율을 기존에 비해 80% 향상시킬 수 있다.
[ 마커재인식제어부 (445)]
상기 마커재인식제어부(445)는 메인시스템제어모듈의 마커검증제어부에서 검증결과 후, 사용불가가 나왔을 때, 스마트디바이스의 화면상에서 마커 재인식요청메세지가 활성화되면서, 마커를 재인식시키도록 제어시키는 역할을 한다.
[ 자작형 콘텐츠전송부 (446)]
상기 자작형 콘텐츠전송부(446)는 도 17에 도시한 바와 같이, 메인시스템제어모듈쪽으로, 자작형 콘텐츠생성제어부에서 생성된 자작형 콘텐츠를 전송시키는 역할을 한다.
이하, 본 발명에 따른 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식방법의 구체적인 과정에 관해 설명한다.
도 20은 본 발명에 따른 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식방법을 도시한 순서도에 관한 것이다.
먼저, 마커표출제어부의 마커요청부를 통해, 메인시스템제어모듈쪽으로 가상영상표출디스플레이부상에 표출될 마커를 요청시킨다(S10).
다음으로, 메인시스템제어모듈의 마커생성제어부를 통해, 가상영상표출디스플레이부상에 표출될 마커를 생성시킨 후, 마커송신부를 통해 마커표출제어부쪽으로 송신시킨다(S20).
다음으로, 마커표출제어부의 마커표출부를 통해, 요청한 마커를 메인시스템제어모듈로부터 수신받아, 가상영상표출디스플레이부상에 표출시킨다(S30).
다음으로, 마커표출제어부의 마커타이머설정부를 통해, 가상영상표출디스플레이부상에 표출된 마커의 표출시간을 카운팅하면서, 기준카운팅범위를 넘으면, 마커요청부쪽으로 마커요청신호를 다시 보낸다(S40).
다음으로, 자작형 콘텐츠 앱 모듈의 자작형 콘텐츠생성제어부를 통해, 마커인식시키면 가상영상표출디스플레이부상에 바로 표출되는 자작형 콘텐츠를 스마트디바이스 사용자가 직접 제작하여 생성시킨다(S50).
즉, 상기 자작형 콘텐츠생성제어부(441)는 캐릭터불러오기 인터페이스, 색칠하기 인터페이스, 편집 인터페이스, 저장하기 인터페이스를 통해, 자작형 콘텐츠를 생성시킨다.
이때, 생성되는 자작형 콘텐츠는 현장에서 만들어지는 아바타 캐릭터, 메타버스내 평상시에 사용자가 사용하는 제페토/로블록스 캐릭터, 유명연예인 사진캐릭터, 사용자 본인의 사진 캐릭터, 3D 캐릭터 중 어느 하나가 선택되어 이루어진다.
또한, 3D 자작형 콘텐츠생성부(441a)를 통해 360도 회전시키면서 3D 형태로 이루어진 3D 자작형 콘텐츠가 생성된다.
다음으로, 스마트디바이스에 설치된 자작형 콘텐츠 앱 모듈을 통해 가상영상표출디스플레이부상에 표출되는 마커를 인식시킨다(S60).
이는 마커인식제어부를 통해, 스캔한 마커의 윤곽선을 검출시키고, 마커이미지를 추출시킨 후, 최소거리식별을 통해 마커를 인식시키도록 제어시킨다.
그리고, 마커인식·식별데이터생성부를 통해, 마커인식데이터에다가, 깊이맵정보와, 스마트디바이스의 폰식별번호를 부가하여, 마커인식·식별데이터생성시킨다.
도 18은 본 발명에 따른 스마트디바이스에 설치된 자작형 콘텐츠 앱 모듈을 통해 가상영상표출디스플레이부상에 표출되는 마커인식시키는 것을 도시한 일실시예도에 관한 것이다.
다음으로, 자작형 콘텐츠 앱 모듈을 통해, 메인시스템제어모듈쪽으로, 마커인식·식별데이터를 전송시킨다(S70).
다음으로, 메인시스템제어모듈의 마커검증제어부를 통해, 자작형 콘텐츠수신부로부터 수신받은 마커인식·식별데이터가 가상영상표출디스플레이부 상에 표출될 유효한 마커인지 검증제어시킨다(S80).
다음으로, 메인시스템제어모듈의 마커사용승인제어부를 통해, 사용허가가 검증된 마커인식·식별데이터에 1:1로 매칭되는 새로운 마커를 생성시킨 후, 새롭게 생성된 마커를 마커표출제어부쪽으로 송신시킨다(S90).
다음으로, 메인시스템제어모듈의 마커사용승인제어부를 통해, 자작형 콘텐츠 앱 모듈 쪽으로 자작형 콘텐츠 사용을 승인한다는 승인제어신호를 보낸다(S90a).
다음으로, 자작형 콘텐츠 앱 모듈의 마커재인식제어부를 통해, 메인시스템제어모듈의 마커검증제어부에서 검증결과 후, 사용불가가 나왔을 때, 스마트디바이스의 화면상에서 마커 재인식요청메세지가 활성화되면서, 마커를 재인식시키도록 제어시킨다(S90b).
다음으로, 자작형 콘텐츠 앱 모듈의 자작형 콘텐츠전송부를 통해, 메인시스템제어모듈쪽으로, 자작형 콘텐츠생성제어부에서 생성된 자작형 콘텐츠를 전송시킨다(S90c).
다음으로, 메인시스템제어모듈의 자작형 콘텐츠저장·송신부를 통해, 자작형 콘텐츠 앱 모듈로부터 전송된 자작형 콘텐츠를 저장시킨 후, 새로운 마커에 1:1로 매칭되는 자작형 콘텐츠를 실시간 사용자 위치인식되도록 하기 위해, 마커표출제어부쪽으로 송신시킨다(S90d).
끝으로, 도 19에 도시한 바와 같이, 마커표출제어부의 자작형 콘텐츠표출부를 통해, 새로운 마커를 대신하여 자작형 콘텐츠를 변환표출시켜 사용자 위치인식시킨다(S90e).
이와 같이, 스마트디바이스에 어플화되어 설치된 자작형 콘텐츠 앱 모듈을 통해, 가상영상표출디스플레이부상에 표출되는 마커인식시키고, 마커(또는 새로운 마커)를 대신하여 자작형 콘텐츠를 변환표출시켜 사용자 위치 인식시키는데 걸리는 시간은 0.8초~1.2초로 설정된다.
그리고, 본 발명에서는 가상현실의 영상요소인 게임, 전시, 안내, 안전체험 중 어느 하나가 선택된 가상데이터에다가 마커를 대신하여 자작형 콘텐츠를 변환표출시켜 사용자 위치인식시켜주도록 구성됨으로써, 증강 현실(Augmented Reality), 메타버스공간, 로봇의 경로이동, 객체인식분야 등의 다양한 분야에 마커를 통한 실시간 사용자 위치인식장치 및 방법을 응용시켜, 적용시킬 수 있다.
1 : 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치
100 : 가상영상표출디스플레이부
110 : 디스플레이본체
120 : 영상수신부
130 : 영상표출부
200 : 마커표출제어부
210 : 마커요청부
220 : 마커타이머설정부
230 : 마커표출부
240 : 자작형 콘텐츠표출부
300 : 메인시스템제어모듈
310 : 마커생성제어부
320 : 영상데이터송신부
330 : 마커송신부
340 : 마커검증제어부
350 : 자작형 콘텐츠수신부
360 : 마커사용승인제어부
370 : 자작형 콘텐츠저장·송신부
400 : 자작형 콘텐츠 앱 모듈
410 : 자작형 콘텐츠용 액티비티부
420 : 자작형 콘텐츠용 서비스제어부
430 : 자작형 콘텐츠용 브로드캐스트 리시버부
440 : 자작형 콘텐츠용 콘텐츠 제어부

Claims (10)

  1. 가상데이터가 디스플레이되는 화면상에 표출되는 마커에, 스마트디바이스를 통해 마커인식시키면, 마커를 대신하여 자작형 콘텐츠를 변환표출시켜 사용자 위치 인식시키는 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치로 이루어지고,
    상기 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치는
    특정공간에 위치되어, 메인시스템제어모듈과 마커표출제어부의 제어하에 구동되어, 마커와 영상을 결합시켜 표출시키다가 마커가 자작형 콘텐츠로 변환되면서, 변환된 자작형 콘텐츠와 영상으로 이루어진 게임, 전시, 안내, 안전체험 중 어느 하나가 선택된 가상데이터를 표출시키는 가상영상표출디스플레이부(100)와,
    가상영상표출디스플레이부 일측에 위치되고, 메인시스템제어모듈의 제어신호에 따라 구동되어, 가상영상표출디스플레이부 상에 마커가 표출되도록 제어시키다가, 검증과 사용승인이 완료된 새로운 마커에 1:1로 매칭되는 자작형 콘텐츠를 수신받아, 새로운 마커를 대신하여 자작형 콘텐츠를 변환표출시켜 사용자 위치인식시키도록 제어시키는 마커표출제어부(200)와,
    가상영상표출디스플레이부, 마커표출제어부, 자작형 콘텐츠 앱 모듈과 연결되어, 각 기기의 전반적인 동작을 제어하면서, 검증과 사용승인을 거친 후, 마커표출제어부쪽으로 새로운 마커에 1:1로 매칭되는 자작형 콘텐츠를 보내어, 특정공간상에 사용자위치인식인 자작형 콘텐츠가 포함된 게임, 전시, 안내, 안전체험 중 어느 하나가 선택된 가상분위기를 형성시키도록 제어하는 메인시스템제어모듈(300)과,
    스마트디바이스 내에 어플형태로 활성화되어, 마커인식시키면 가상영상표출디스플레이부상에 바로 표출되는 자작형 콘텐츠를 스마트디바이스 사용자가 직접 제작하여 생성시킨 후, 메인시스템제어모듈쪽으로 마커인식·식별데이터를 보내고, 마커인식·식별데이터의 검증과 사용승인이 완료되면, 메인시스템제어모듈쪽으로 자작형 콘텐츠를 전송시키는 자작형 콘텐츠 앱 모듈(400)이 구성되는 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치에 있어서,
    상기 마커표출제어부(200)는
    메인시스템제어모듈쪽으로 가상영상표출디스플레이부상에 표출될 마커를 요청시키는 마커요청부(210)와,
    가상영상표출디스플레이부상에 표출된 마커의 표출시간을 카운팅하면서, 기준카운팅범위를 넘으면, 마커요청부쪽으로 마커요청신호를 보내는 마커타이머설정부(220)와,
    마커요청부를 통해 요청한 마커를 메인시스템제어모듈로부터 수신받아, 가상영상표출디스플레이부상에 표출시키는 마커표출부(230)와,
    새로운 마커를 대신하여 자작형 콘텐츠를 변환표출시켜 사용자 위치 인식시키는 자작형 콘텐츠표출부(240)로 구성되는 것을 특징으로 하는 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
KR1020220078113A 2022-06-27 2022-06-27 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치 및 방법 KR102510767B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220078113A KR102510767B1 (ko) 2022-06-27 2022-06-27 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220078113A KR102510767B1 (ko) 2022-06-27 2022-06-27 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치 및 방법

Publications (1)

Publication Number Publication Date
KR102510767B1 true KR102510767B1 (ko) 2023-03-16

Family

ID=85985622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220078113A KR102510767B1 (ko) 2022-06-27 2022-06-27 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치 및 방법

Country Status (1)

Country Link
KR (1) KR102510767B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110084748A (ko) * 2010-01-18 2011-07-26 (주)엔시드코프 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법
KR20190032296A (ko) * 2016-05-27 2019-03-27 스왑보츠 리미티드 증강 현실 장난감
KR20190133867A (ko) * 2018-05-24 2019-12-04 (주)네모랩스 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법
KR20200094025A (ko) * 2019-01-29 2020-08-06 순천대학교 산학협력단 이미지 분석 기반 마커제작을 통한 증강현실 기반 광고플랫폼 시스템
KR20210067545A (ko) 2019-11-29 2021-06-08 주식회사 지엔아이씨티 가상현실을 이용한 복합 전시 시스템
KR20220069282A (ko) * 2020-11-20 2022-05-27 오상언 현장체험학습을 위한 증강현실구현방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110084748A (ko) * 2010-01-18 2011-07-26 (주)엔시드코프 인터렉티브 모드를 지원하는 증강현실 구현 장치 및 방법
KR20190032296A (ko) * 2016-05-27 2019-03-27 스왑보츠 리미티드 증강 현실 장난감
KR20190133867A (ko) * 2018-05-24 2019-12-04 (주)네모랩스 증강현실 서비스 제공 시스템 및 이의 360도 회전 이미지 파일 생성 방법
KR20200094025A (ko) * 2019-01-29 2020-08-06 순천대학교 산학협력단 이미지 분석 기반 마커제작을 통한 증강현실 기반 광고플랫폼 시스템
KR20210067545A (ko) 2019-11-29 2021-06-08 주식회사 지엔아이씨티 가상현실을 이용한 복합 전시 시스템
KR20220069282A (ko) * 2020-11-20 2022-05-27 오상언 현장체험학습을 위한 증강현실구현방법

Similar Documents

Publication Publication Date Title
US11538229B2 (en) Image processing method and apparatus, electronic device, and computer-readable storage medium
US10607567B1 (en) Color variant environment mapping for augmented reality
CN107392888B (zh) 一种基于Unity引擎的距离测试方法及系统
CN109600674A (zh) 非线性媒体的基于客户端的自适应流式传输
US9392248B2 (en) Dynamic POV composite 3D video system
CN104170368B (zh) 关于图像内容的方法和设备
US20210038975A1 (en) Calibration to be used in an augmented reality method and system
US11375559B2 (en) Communication connection method, terminal device and wireless communication system
CN110555876B (zh) 用于确定位置的方法和装置
KR20180088886A (ko) 증강 현실 환경을 생성하기 위한 디바이스를 제어하는 방법
US20190251722A1 (en) Systems and methods for authorized exportation of virtual content to an augmented reality device
CN103650001A (zh) 动画分发服务器、动画播放装置、控制方法、程序、及记录介质
KR102510767B1 (ko) 가상현실기반형 공간상에서의 마커를 통한 실시간 사용자 위치인식장치 및 방법
CA1209287A (en) Entity controls for raster displays
CN114358112A (zh) 视频融合方法、计算机程序产品、客户端及存储介质
CN113867875A (zh) 标记对象的编辑及显示方法、装置、设备、存储介质
US20230388109A1 (en) Generating a secure random number by determining a change in parameters of digital content in subsequent frames via graphics processing circuitry
CN106951077B (zh) 一种提示方法及第一电子设备
CN115937725B (zh) 空间交互装置的姿态显示方法、装置、设备及其存储介质
US10643662B1 (en) Mobile augmented reality video editing system
US7668402B2 (en) Method for generating a composite image
CN107423688B (zh) 一种基于Unity引擎的远程测试距离的方法及系统
CN112295221B (zh) 人机交互的处理方法、装置及电子设备
CN114422791A (zh) 一种三维点云的收发方法及装置
CN110598605B (zh) 定位方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant