KR101909994B1

KR101909994B1 - 나노블럭을 이용한 3d 증강현실 서비스 제공 방법

Info

Publication number: KR101909994B1
Application number: KR1020170101036A
Authority: KR
Inventors: 서영철; 서영호
Original assignee: 서영철; 서영호; (주)아이씨에프
Priority date: 2017-08-09
Filing date: 2017-08-09
Publication date: 2018-10-22

Abstract

나노블럭을 이용한 3D 증강현실 서비스 제공 방법이 제공되며, 사용자 단말로부터 3D 증강현실 서비스를 신청 및 사용자를 등록하는 등록 이벤트를 수신하고, 사용자 단말을 등록하여 저장하는 단계, 사용자 단말로부터 증강현실로 출력될 3D 애니메이션을 선택하는 단계, 사용자 단말에서 3D 증강현실 서비스를 통하여 3D 애니메이션이 출력될 나노블럭의 고유코드를 수신하는 단계, 수신된 고유코드와 기 매핑되어 저장된 3D 애니메이션이 사용자 단말에서 구동되도록 제어하는 단계, 및 사용자 단말에서 나노블럭을 촬영한 시간에 따라 3D 애니메이션이 나노블럭 상에서 출력되되, 사용자 단말의 촬영 위치 및 각도에 대응하는 3D 애니메이션이 출력되도록 제어하는 단계를 포함한다.

Description

나노블럭을 이용한 3D 증강현실 서비스 제공 방법{METHOD FOR PROVIDING 3D ANIMATING AR CONTENTS SERVICE USING NANO UNIT BLOCK}

본 발명은 3D 증강현실 서비스 제공 방법에 관한 것으로, 나노블럭을 이용하여 고유코드를 생성하고, 고유코드 상에 3D 애니메이션을 카메라의 자세 및 시간에 동기화되도록 출력하는 방법을 제공한다.

최근, 스마트폰의 계산 능력이 수년전의 컴퓨터 수준으로 향상되고, 다양한 센서장치들이 통합됨에 따라 증강현실을 수행하기에 알맞은 기기로 진화되었다. 증강현실은 현실세계에 존재하는 기존 정보들을 가상의 3차원 모델이나 그래픽을 이용하여 사용자가 인지하기 좋은 형태로 증강시켜주는 기술로서 영화 등의 다양한 미디어를 통해 앞으로 다가올 미래에 가장 주목받는 기술로 발전해왔다. 특히, 스마트 폰의 대중화와 더불어 카메라와 디스플레이 및 연산장치가 통합된 특성에 의해 모바일 증강현실은 단시간 내에 사람들의 이목을 집중시키는 기술이 되었다.

이때, 증강현실에 따라 3D 애니메이션을 구현하는 방법은, 사용자를 촬영한 깊이 영상에 기초하여 3차원 애니메이션을 생성하는 방법으로 이루어진다. 이와 관련하여, 선행기술인 한국공개특허 제2017-0067673호(2017년06월16일 공개)에는, 사람 및 전경이 촬영된 깊이 영상을 획득하는 깊이영상 획득부, 사람에 대응하는 캐릭터 및 전경에 대응하는 배경을 배치하여 3차원 애니메이션을 생성하는 애니메이션 생성부를 포함하는 구성을 개시한다.

다만, 깊이 영상에 기초하여 구현해야 하므로 사용자가 깊이 카메라를 이용하고, 각 객체의 깊이값을 파악해야 하며, 각 객체의 깊이에 따라 3차원 애니메이션을 적용할 때, 모바일 단말 기반의 컴퓨팅 자원으로는 실제적으로 구현될 수 없기 때문에, 애플리케이션이나 모바일 기반의 단말에서는 구현불가하거나, 깊이 카메라를 이용하여 구현된다고 할지라도 딜레이가 발생하거나 실시간으로 대응하는 컨텐츠를 제공할 수 없는 한계가 있다.

본 발명의 일 실시예는, 64비트 코드 형식의 오프라인 마커를 온라인 서버와 자동으로 연결하여 증강현실에 따른 3D 애니메이션이 사용자 화면에서 출력되도록 하고, 오프라인 마커는 나노 블럭으로 직접 오프라인에서 사용자가 만들도록 하며, 증강현실 애니메이션이 출력되는 블럭으로 기능할 수 있으며, 4차 산업혁명의 AR 관련 시장 전반하여 증강현실을 온라인화함으로써 증강현실 콘텐츠의 공급 문제를, 3차원 증강현실 콘텐츠를 온라인에 게시함으로 해결할 수 있는, 3D 증강현실 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 사용자 단말로부터 3D 증강현실 서비스를 신청 및 사용자를 등록하는 등록 이벤트를 수신하고, 사용자 단말을 등록하여 저장하는 단계, 사용자 단말로부터 증강현실로 출력될 3D 애니메이션을 선택하는 단계, 사용자 단말에서 3D 증강현실 서비스를 통하여 3D 애니메이션이 출력될 나노블럭의 고유코드를 수신하는 단계, 수신된 고유코드와 기 매핑되어 저장된 3D 애니메이션이 사용자 단말에서 구동되도록 제어하는 단계, 및 사용자 단말에서 나노블럭을 촬영한 시간에 따라 3D 애니메이션이 나노블럭 상에서 출력되되, 사용자 단말의 촬영 위치 및 각도에 대응하는 3D 애니메이션이 출력되도록 제어하는 단계를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 64비트 코드 형식의 오프라인 마커를 온라인 서버와 자동으로 연결하여 증강현실에 따른 3D 애니메이션이 사용자 화면에서 출력되도록 하고, 오프라인 마커는 나노 블럭으로 직접 오프라인에서 사용자가 만들도록 하며, 증강현실 애니메이션이 출력되는 블럭으로 기능할 수 있으며, 4차 산업혁명의 AR 관련 시장 전반하여 증강현실을 온라인화함으로써 증강현실 콘텐츠의 공급 문제를, 3차원 증강현실 콘텐츠를 온라인에 게시함으로 해결할 수 있다.

도 1은 본 발명의 일 실시예에 따른 나노블럭을 이용한 3D 증강현실 서비스 제공 시스템을 설명하기 위한 구성도이다.
도 2는 도 1에 도시된 3D 증강현실 서비스 제공 서버를 설명하기 위한 구성도이다.
도 3을 본 발명의 일 실시예에 따른 3D 증강현실 서비스를 이용하여 나노블럭을 촬영하여 3D 증강현실의 애니메이션이 출력되는 화면을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 3D 증강현실 서비스에 이용되는 나노블럭의 구성을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 3D 증강현실 서비스가 구현되는 일 실시예를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 3D 증강현실 서비스의 컨텐츠를 관리하기 위한 화면을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 3D 증강현실 서비스의 3D 애니메이션을 편집하기 위한 화면을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 나노블럭을 이용한 3D 증강현실 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 나노블럭을 이용한 3D 증강현실 서비스 제공 시스템을 설명하기 위한 구성도이다. 도 1을 참조하면, 나노블럭을 이용한 3D 증강현실 서비스 제공 시스템(1)은, 사용자 단말(100), 3D 증강현실 서비스 제공 서버(300), AR 조절 단말(400)을 포함할 수 있다. 다만, 이러한 도 1의 나노블럭을 이용한 3D 증강현실 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통해 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 사용자 단말(100)은 네트워크(200)를 통하여 3D 증강현실 서비스 제공 서버(300)와 연결될 수 있다. 또한, 3D 증강현실 서비스 제공 서버(300)는, 네트워크(200)를 통하여 사용자 단말(100), AR 조절 단말(400)과 연결될 수 있다. 그리고, AR 조절 단말(400)은, 네트워크(200)를 통하여 3D 증강현실 서비스 제공 서버(300)로 연결될 수 있다.

여기서, 네트워크(200)는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(200)의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

사용자 단말(100)은, 나노블럭을 이용한 3D 증강현실 서비스를 이용하는 사용자의 단말일 수 있다. 그리고, 사용자 단말(100)은, 나노블럭이 고유코드와 동일한 이미지를 가지도록 나노블럭을 조립하는 사용자의 단말일 수 있고, 조립된 나노블럭의 고유코드를 촬영하여 증강된 3D 애니메이션을 출력하는 단말일 수 있다. 또한, 사용자 단말(100)은, 사용자 단말(100)의 위치, 각도, 속도 등에 따라 대응하는 3D 애니메이션을 출력하기 위한 사용자의 단말일 수 있다. 그리고, 사용자 단말(100)은, 나노블럭을 이용한 3D 증강현실 서비스를 이용하기 위하여 3D 증강현실 서비스 제공 서버(300)에서 인증을 받은 단말일 수 있다. 또한, 사용자 단말(100)은, 나노블럭을 조립하기 위한 설명서를 출력하는 단말일 수도 있다.

여기서, 사용자 단말(100)은, 네트워크(200)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 사용자 단말(100)은, 네트워크(200)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

3D 증강현실 서비스 제공 서버(300)는, 3D 증강현실 서비스 서비스에 대한 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하거나, 3D 증강현실 서비스 제공 서버(300)와 연동하여 구동되는 다른 서버(미도시)를 통하여 제공하는 서버일 수 있다. 또한, 3D 증강현실 서비스 제공 서버(300)는, 사용자 단말(100)의 사용자 등록을 수신하고, 사용자가 선택하거나 또는 AR 조절 단말(400)에서 선택한 3D 애니메이션이 사용자 단말(100)에서 출력되도록 하는 서버일 수 있다. 그리고, 3D 증강현실 서비스 제공 서버(300)는, 사용자 단말(100)이 인증을 받은 사용자인지의 여부를 확인하고, 3D 애니메이션이 증강된 형태로 사용자 단말(100)에 출력될 수 있는지의 여부를 결정하는 서버일 수 있다. 또한, 3D 증강현실 서비스 제공 서버(300)는, AR 조절 단말(400)에서 3D 애니메이션이 편집되거나 3D 애니메이션을 이루는 개체가 추가 또는 삭제된 경우, 설정을 업데이트하고 업데이트한 3D 애니메이션이 사용자 단말(100)에서 출력되도록 하는 서버일 수 있다. 그리고, 3D 증강현실 서비스 제공 서버(300)는, 3D 애니메이션이 출현되는 시간, 장소 또는 기간이 설정된 경우, 설정된 조건 하에서만 출력되도록 사용자 단말(100)을 제어하는 서버일 수 있다.

여기서, 3D 증강현실 서비스 제공 서버(300)는, 네트워크(200)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

AR 조절 단말(400)은, 사용자 단말(100)일 수도 있지만, 다른 주체의 단말일 수도 있다. 예를 들어, AR 조절 단말(400)은, 사용자 단말(100)의 사용자에게 3D 애니메이션을 선물한 주체일 수도 있고, 사용자 단말(100)은 선물을 받은 객체일 수도 있으며, 이와 같은 경우에는 각각의 사용자가 달라질 수 있다. 그리고, AR 조절 단말(400)은, 사용자 단말(100)에서 출력되는 3D 애니메이션을 편집하는 사용자의 단말일 수 있다. 그리고, AR 조절 단말(400)은 3D 애니메이션의 플레이 속도, 기울기, 크기 등을 조절하는 단말일 수 있다.

여기서, AR 조절 단말(400)은, 네트워크(200)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, AR 조절 단말(400)은, 네트워크(200)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. AR 조절 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

도 2는 도 1에 도시된 3D 증강현실 서비스 제공 서버를 설명하기 위한 구성도이고, 도 3을 본 발명의 일 실시예에 따른 3D 증강현실 서비스를 이용하여 나노블럭을 촬영하여 3D 증강현실의 애니메이션이 출력되는 화면을 설명하기 위한 도면이고, 도 4는 본 발명의 일 실시예에 따른 3D 증강현실 서비스에 이용되는 나노블럭의 구성을 설명하기 위한 도면이고, 도 5는 본 발명의 일 실시예에 따른 3D 증강현실 서비스가 구현되는 일 실시예를 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시예에 따른 3D 증강현실 서비스의 컨텐츠를 관리하기 위한 화면을 설명하기 위한 도면이고, 도 7은 본 발명의 일 실시예에 따른 3D 증강현실 서비스의 3D 애니메이션을 편집하기 위한 화면을 설명하기 위한 도면이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 3D 증강현실 서비스 제공 서버(300)는, 저장부(310), 선택부(320), 수신부(330), 구동 제어부(340), 출력 제어부(350), 인증부(360) 및 편집부(370)를 포함할 수 있다.

본 발명의 일 실시예에 따른 3D 증강현실 서비스 제공 서버(300) 또는 3D 증강현실 서비스 제공 서버(300)와 연동되어 동작하는 다른 서버(미도시)가 사용자 단말(100) 및 AR 조절 단말(400)로 3D 증강현실 서비스 제공 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 사용자 단말(100) 및 AR 조절 단말(400)는, 3D 증강현실 서비스 제공 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 사용자 단말(100) 및 AR 조절 단말(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.

이때, 네트워크(200)의 연결은, 사용자 단말(100), 3D 증강현실 서비스 제공 서버(300), AR 조절 단말(400)이 네트워크(200)로 연결되어 있는 단말과 통신을 위해 통신 접점에 통신 객체를 생성하는 것을 의미한다. 3D 증강현실 서비스 제공 서버(300)는 통신 객체를 통해 서로 데이터를 교환할 수 있다.

저장부(310)는, 사용자 단말(100)로부터 3D 증강현실 서비스를 신청 및 사용자를 등록하는 등록 이벤트를 수신하고, 사용자 단말(100)을 등록하여 저장할 수 있다.

선택부(320)는, 사용자 단말(100)로부터 증강현실로 출력될 3D 애니메이션을 선택할 수 있다.

수신부(330)는, 사용자 단말(100)에서 3D 증강현실 서비스를 통하여 3D 애니메이션이 출력될 나노블럭의 고유코드를 수신할 수 있다. 이때, 나노블럭이란, 나노블럭은, 고유코드에 대응하는 나노블럭의 유닛블럭이 배치될 플레이트, 플레이트 상에 배치되어 고유코드를 형성하는 유닛블럭을 포함하는 실물의 블럭일 수 있다. 그리고, 유닛블럭은, 플레이트 상에 배치되어 고유코드 중 검은색 부분을 표현하는 블랙 유닛블럭과, 플레이트 상에 배치되어 고유코드 중 흰색 부분을 표현하는 화이트 유닛블럭을 포함할 수 있다.

또한, 유닛블럭의 크기는 1X1이고, 플레이트의 크기는 14X14이고, 고유코드의 크기는 10X10의 크기이며, 고유코드의 테두리는 블랙 유닛블럭이 위치되어 플레이트와 고유코드를 구분하도록 할 수 있다. 이때, 고유코드는 64비트 코드 형식일 수 있다. 그리고, 1X1의 크기는 다양할 수 있으나, 각 유닛블럭의 크기는 동일하다. 예를 들어, 1X1의 크기는 2mmX2mm인 경우, 모든 유닛블럭의 크기는 2mmX2mm로 동일하다. 이때, 1X1의 크기는 각 구현되는 실시예에 따라 달라질 수 있다.

구동 제어부(340)는, 수신된 고유코드와 기 매핑되어 저장된 3D 애니메이션이 사용자 단말(100)에서 구동되도록 제어할 수 있다.

출력 제어부(350)는, 사용자 단말(100)에서 나노블럭을 촬영한 시간에 따라 3D 애니메이션이 나노블럭 상에서 출력되되, 사용자 단말(100)의 촬영 위치 및 각도에 대응하는 3D 애니메이션이 출력되도록 제어할 수 있다.

이때, 사용자 인터페이스는 크게 3 가지 기능, 즉 3D 모델 가시화(Model Visualization), 값 정보 정의(Specification Information), 시뮬레이션(Animation Process Simulation)으로 구분할 수 있다.

첫 번째의 기능은, 나노블럭 상에 3차원 애니메이션을 증강시켜 보여주는데, 이 구조물을 사용자가 x, y, z축으로 이동 및 회전, 확대, 축소를 하며 관찰할 수 있다. 이 기능을 통해 사용자는 애니메이션 자체 또는 애니메이션을 이루는 적어도 하나의 개체를 확대, 축소, 안보임/보임, 속도 조절, 반복 조절 등을 통하여 흥미도를 높일 수 있다. 그리고, 간단한 키 조작만으로 3차원 모델을 이동, 회전, 확대 및 축소시켜 볼 수 있도록 하여 애니메이션을 보다 자세히 살펴 볼 수 있도록 한다. 두 번째 기능은 3차원 애니메이션에 대한 상세 정보를 확인할 수 있다. 3차원 모델의 구성 요소에 대한 정보나 텍스트 등을 화면상에 나타나게 하여 단순한 2차원 도면에서 제시하는 한정적인 정보가 아닌 보다 풍부한 정보를 사용자에게 제공해준다. 세 번째 기능은 애니메이션 4D 시뮬레이션인데, 애니메이션이 예를 들어, 다리라고 가정하면, 다리라는 구조물이 어떤 순서로 시공이 되는지 간단한 키조작을 통해 시공 정보를 시각적으로 화면상에서 보여줄 수 있다. 다만, 이에 한정되는 것은 아니고, 더 많은 실시예가 있음은 자명하다 할 것이다.

인증부(360)는, 수신부(330)에서 사용자 단말(100)에서 3D 증강현실 서비스를 통하여 3D 애니메이션이 출력될 나노블럭의 고유코드를 수신한 후, 사용자 단말(100)에서 3D 증강현실 서비스에 가입, 결제 및 인증된 사용자인지를 확인할 수 있고, 가입, 결제 및 인증된 사용자가 아닌 경우, 3D 증강현실 서비스를 이용하기 위하여, 가입, 결제 및 인증을 요구하는 사용자 인터페이스를 제공할 수 있다.

편집부(370)는, 출력 제어부(350)에서 사용자 단말(100)에서 나노블럭을 촬영한 시간에 따라 3D 애니메이션이 나노블럭 상에서 출력되되, 사용자 단말(100)의 촬영 위치 및 각도에 대응하는 3D 애니메이션이 출력되도록 제어한 후, 사용자 단말(100)에서 출력되는 3D 애니메이션을 출력하기 위하여, AR 조절 단말에서 3D 애니메이션을 편집하는 편집 페이지에 접속하는 경우, 편집 페이지의 편집 인터페이스를 제공할 수 있다. 그리고, 편집부(370)는, 편집 인터페이스를 통하여 3D 애니메이션을 이루는 적어도 하나의 개체의 반복, 속도, 배율, 보임/안보임, 각도, 위치 및 텍스트 중 적어도 하나 또는 적어도 하나의 조합이 변경된 경우, 변경된 데이터를 저장하여 업데이트할 수 있고, 사용자 단말(100)에서 나노블럭을 재촬영하는 경우, 업데이트된 3D 애니메이션이 출력되도록 제어할 수 있다.

이때, 개체는 개체별로 고유번호가 부여되어 저장되고, 개체 이외의 다른 개체가 추가될 경우, 고유번호가 새로이 부여되어 저장되고, 보임/안보임은, 3D 애니메이션을 이루는 적어도 하나의 개체가 사용자가 나노블럭을 촬영한 상태에서 보이는지 또는 보이지 않아야 하는지를 선택하는 사용자 인터페이스이고, 반복은, 개체의 3D 애니메이션이 반복되는지의 여부를 선택하는 사용자 인터페이스이고, 속도는, 애니메이션의 속도 조절하는 인터페이스로, 최대크기와 최대속도는 원하는 만큼 조절할 수 있다. 마찬가지로, 속도도 개체별로 설정할 수 있다. 배율은, 개체의 크기를 조정하는 인터페이스로, 자유롭게 개체의 크기를 조정할 수 있다. 각도는, 개체의 3D 애니메이션이 출력되는 각도인, 앞뒤좌우 또는 기울기의 회전각을 조절하는 사용자 인터페이스일 수 있다. 그리고, 위치는, 개체의 X,Y,Z 위치를 조절하는 사용자 인터페이스이고, 텍스트는, 3D 애니메이션에 함께 출력되는 텍스트를 입력하거나 편집하는 사용자 인터페이스일 수 있다. 상술한 인터페이스 이외에 다른 편집 인터페이스가 존재할 수 있음은 자명하다 할 것이다.

한편, 출력 제어부(350)에서 카메라의 촬영 위치에 따라 대응하는 3D 애니메이션을 출력하는 방법을 일 실시예에 따라 상세히 설명하기로 한다. 이때, 출력 제어부(350)는, 고유코드를 마커로 사용하고, 고유코드 내에 삽입된 인터넷 주소의 온라인 서버에서 받아온 메타데이터(meta-data)의 내용에 따라 특정 대상물의 증강된 정보를 제공할 수 있다. 이때, 증강현실 구현을 위해 필수적인 카메라 자세 추정은 기본적으로 고유코드 외곽의 사각형 검출을 기반으로 카메라와 3차원 평면간의 자세를 추정한다. 다만, 사각형 검출에 실패하거나 카메라가 마커를 벗어날 경우에는 특징점을 이용한 프레임간의 호모그래피를 누적하여 마커리스 기반의 카메라의 자세 추정을 수행할 수 도 있다. 그리고, 출력 제어부(350)는, 카메라 자세 추정이 완료되었다면 해당 위치에 3차원 모델이나 이미지와 같은 데이터를 증강된 형태로 가시화할 수 있다.

즉, 사용자 단말(100)에서 입력으로 카메라를 통하여 고유코드를 촬영하고 공개된 고유코드 인식기를 통해서 고유코드를 인식할 수 있고, 인식된 고유코드 내부의 메타데이터 정보를 해석하여 데이터 서버인 3D 증강현실 서비스 제공 서버(300)로부터 상세 메타데이터 및 데이터를 요청한다. 상세 메타데이터를 해석하여, 메타 데이터의 시나리오에 맞는 결과를 사용자 단말(100)에 가시화한다. 이때, 실제 고유코드가 존재하는 3차원 지형정보에 정확히 정렬된 형태로 출력하기 위해서 카메라 자세 추정을 수행한다. 카메라 자세는 고유코드 외곽에 존재하는 사각형 추출을 기반으로 계산되는데, 모바일이라는 시스템의 특성상 계산량을 적게 소모하는 사각형 검출을 통해 사각형의 네 모서리와 실제 3차원 공간 평면상에 존재하는 고유코드의 실제 위치를 사용하여 둘 사이의 변환(transformation)을 계산하여 카메라의 자세를 추정한다.

다만, 상술한 바와 같이, 이 방법의 경우 사각형 검출 성능에 의존적이기 때문에 사각형의 일정부분이 가려지거나 사각형 검출에 실패할 경우 카메라 자세를 구할수 없는 마커기반 증강현실 시스템의 문제점을 고스란히 안고 있다. 따라서 본 발명의 일 실시예에서는 이러한 경우를 대비하여 특징점을 통한 모션 추정에 기반하여 프레임간의 호모그래피를 계산하여 누적함으로써 카메라 자세를 추정하는 마커리스 기반의 카메라 자세 추정기술을 함께 사용하여 보다 강인한 자세 추정을 수행할 수 있고, 자세 추정이 완료되면 온라인 서버로부터 전송받은 메타데이터의 내용에 따라 다양한 멀티미디어 정보를 증강하여 3차원 공간상에 증강된 형태로 가시화할수 있다.

이때, 고유코드의 마커를 추적하는 방법은, 고유코드의 경우 내부 영역은 위치 검출 패턴(position detection pattern), 정렬 검출 패턴(alignment detection pattern), 데이터 영역(data region)의 세 영역으로 구성될 수 있다. 여기서, 모바일 환경에서 좀 더 빠른 마커 추적을 구현하기 위해서 외곽 사각형이 삽입될 수 있다. 이는, 고유코드에서 필수적으로 확보해야 하는 6 픽셀(pixel)의 여백(margin)을 확보하는 효과도 있어 고유코드 인식기의 인식 오류도 줄여주는 부수적인 효과도 얻을 수 있다. 다만, 사각형은 정사각형의 형태를 띄기에 사각형의 방향을 알 수 없는 문제가 존재한다. 따라서, 사각형만을 검출하는 방법만으로는 증강현실을 구현하기 위한 마커로 사용하기가 어렵다. 이에 따라, 사각형의 방향(orientation)을 결정하기 위해서, 위치 검출 패턴을 포함한 사각형 집합(rectangle set)을 함께 검출하여 고유코드의 방향(orientation)을 정해준다.

마커 검출이 완료되었으면, 미리 측정된 3차원 공간상의 마커의 위치 및 크기를 사용하여 마커가 존재하는 3차원 평면과 사용자 단말(100)의 카메라로 촬영된 2차원 영상 사이의 호모그래피를 계산할 수 있고, 이렇게 얻어진 호모그래피로부터 카메라 자세를 얻을 수 있다. 이후 카메라의 모션에 따라 카메라의 자세는 지속적으로 변화하는데, 이 변화하는 자세를 연속적으로 추정하기 위해서 고유코드의 사각형 집합을 매 프레임에서 추적할 수 있다. 이때, 카메라 자세 추정은 고유코드가 존재하는 3차원 공간이 평면이라는 가정 하에 호모그래피(H)을 분해하여 얻을 수 있다.

이때, 수학식 1은, 호모그래피로부터 회전변환과 이동변환을 얻는 과정을 보여준다.

여기서 H는 호모그래피를 의미하고, K는 현재 카메라의 내부 파라미터(intrinsic parameter), E는 현재 카메라의 외부 파라미터, r1과 r2는 X축과 Y축 각각에 대한 회전변환 벡터, 그리고 t는 이동변환 벡터를 의미한다. 이때, 3차원 공간이 평면이라고 가정하고 있으므로 호모그래피에서 알 수 없는 Z축에 대한 회전은 이하 수학식 2에서처럼 X축과 Y축의 회전을 외적하여 계산할 수 있다. 여기서 P는 3x4의 투영변환행렬을 의미한다.

고유코드로부터 사각형 집합을 검출하고, 그 결과로부터 카메라의 자세를 추정하여 3차원 공간상에 X, Y, Z 좌표축을 증강시켜 나타낸 결과를 보여줄 수 있다.

또한, 프레임 간의 호모그래피를 이용한 카메라 자세 추정은, 고유코드 사각형 집합을 이용한 카메라 자세 추정 방법은 모바일 상에서 빠르면서도 정확한 결과를 보여주지만, 카메라와 마커 사이의 거리가 멀어지거나, 마커가 일정부분 혹은 전체가 카메라의 시야에서 사라질 경우 카메라의 자세를 추정할 수 없기 때문에, 고유코드 사각형 집합 추적에 실패할 경우 연속된 프레임간의 호모그래피를 이용하여 카메라 자세를 추정하는 마커리스기반의 추적기법을 적용할 수 있다,

여기서, 특징점 검출은 모바일 환경임을 감안하여 빠른 검출 속도를 보이는 FAST 검출기를 사용하여 특징점을 검출할 수 있으나, 이에 한정되는 것은 아니다. 연속된 두 프레임 간에 특징점을 검출하였다면, 이 특징점을 SSD(sum of squared difference)를 사용하여 매칭을 수행한 뒤 프레임간의 모션을 구할 수 있다. 이때, 실제 특징점 추출 및 매칭에 많은 계산량이 소모되므로, 모바일 환경 하에서 계산량을줄이기 위해 영상 피라미드(image pyramid)를 생성하여 특징점 추출을 원본 영상의 25% 크기로 줄인영상에서 수행할 수 있다.

또한, 특징점 매칭의 경우에는 전체 영상의 영역을 격자방식으로 나눈 뒤, 전체 영상의 모션을 대표할 만한 영상 중심 인근에 위치한 영역에 대한 특징점을 걸러낼 수 있다. 이때, 일정 개수 이하로 걸러진 특징점들만을 매칭 대상으로 선정함으로서 매칭을 위한 특징점의 개수를 최대한 줄일 수 있고, 이러한 방법으로 특징점 검출 및 매칭의 수행 속도를 최대한 높일 수 있다. 다만, 모바일 환경에서 수행할 컴퓨팅 자원 또는 네트워킹 자원이 기 설정된 기준값에 미치지 못하는 경우, 3D 증강현실 서비스 제공 서버(300)에서 수행하는 것을 배제하는 것은 아니다.

이에 따라, 두 프레임 간의 특징점 매칭이 완료되었다면, 매칭된 특징점들을 사용하여 연속된 두 프레임간의 호모그래피를 계산할 수 있다. 본 발명의 일 실시예에서는, 강인한 호모그래피 계산을 위해, 매칭된 특징점 중에서 이상치(outlier) 제거를 위해 RANSAC을 적용할 수 있지만, 물론 이에 한정되는 것은 아니다. 따라서, 이하 수학식 3과 같이 마지막으로 자세 추정에 성공한 3차원 공간상의 고유코드와 2차원 영상 간의 호모그래피(H0)으로부터 연속된 프레임에서 계산된 호모그래피(Hi)을 누적하여 3차원 공간상의 고유코드와 현재 카메라 위치 사이의 호모그래피(Hc)을 계산할 수 있다.

이 호모그래피를 사용하여 앞서 언급된 수학식 1 및 2를 적용하면, 카메라의 자세를 추정할 수 있다. 일반적인 증강현실 시스템들은 정해진 형태의 콘텐츠를 프로그램 내부에 미리 정의해둘 수도 있지만, 본 발명의 일 실시예에서는, 다양한 시나리오의 콘텐츠를 프로그램 수정 없이 간편하게 제작가능 하도록 메타데이터를 활용할 수 있다. 이때, 메타데이터는 콘텐츠의 종류 및 업데이트 정보를 관리하는 콘텐츠 메타데이터와 증강현실 구현을 위한 콘텐츠의 실제 정보를 담고 있는 상세 메타데이터의 두 가지로 구분될 수 있다. 3D 증강현실 서비스 제공 서버(300) 상에는 콘텐츠 메타데이터, 상세 메타데이터, 그리고 실제 증강시킬 미디어파일(media file)들이 저장될 수 있고, 고유코드 내부에는 콘텐츠 정보를 담고 있는 온라인 서버의 주소가 특수한 형태로 기록될 수 있다.

이때, 증강시킬 콘텐츠 정보를 고유코드가 아닌 3D 증강현실 서비스 제공 서버(300)에 메타데이터 형태로 저장하여 활용하는 이유는 두 가지일 수 있는데, 고유코드의 형태로 저장하는 것을 배제하는 것은 아님이 자명하다 할 것이다.

여기서, 메타데이터의 형태로 유지하는 경우, 첫째로, 콘텐츠 유지관리의 효율성을 높이기 위함인데, 즉 고유코드 배포 후 콘텐츠의 업데이트를 위해서 프로그램 업데이트 등의 불필요한 절차 없이 단순히 3D 증강현실 서비스 제공 서버(300)내의 메타데이터와 미디어 파일들만 교체함으로서 손쉽게 증강시킬 콘텐츠들을 최신의 상태로 유지할 수 있다. 두 번째는, 고유코드의 단순화이다. 즉, 고유코드는 크기에 따라 데이터 영역의 크기 및 복잡도가 달라진다. 따라서, 최소한의 데이터만을 삽입함으로서 고유코드 크기를 최소로 유지할 수 있다. 고유코드의 크기를 최소로 유지함으로서 다양한 제품에 다양한 형태로 어느 곳에나 삽입 가능할 수 있다.

그리고, 고유코드 인식 후 지정된 3D 증강현실 서비스 제공 서버(300)로부터 전송된 콘텐츠 메타데이터는 크게 두 가지의 역할을 수행할 수 있다. 하나는 제작하고자 하는 콘텐츠 정보의 관리를 수행하는데, 콘텐츠 정보는 콘텐츠의 저작자, 콘텐츠 데이터의 최근 갱신정보, 상세 메타데이터의 위치 등이 표기된다. 또 다른 하나의 중요한 역할은 제작하고자 하는 시나리오에 따라 콘텐츠의 종류를 결정하는 것이다. 증강된 형태로 가시화하고자 하는 콘텐츠의 종류가 3차원 모델, 영상 등에 따라 콘텐츠 타입을 지정하는 것이 가능하다.

콘텐츠 메타데이터의 경우 간단한 정보만을 포함하며 JSON타입으로 관리될 수 있다. 이때, 콘텐츠 메타데이터의 파싱(parsing)이 완료되면 콘텐츠 메타데이터에 정의된 URL을 참조하여 상세 메타데이터를 불러들인다. 상세 메타데이터는 콘텐츠의 시나리오에 따라 다양한 형태의 세부적인 설정을 기술하고 있다. 예를 들자면, 3차원 공간상의 어느 위치에 미디어를 가시화할 것인지, 사용자 상호작용(interaction)을 가미할 것인지, 어떤 형태의 미디어를 가시화할 것인지 등의 정보가 기술될 수 있다. 상세 메타데이터의 경우 설정에 따라 기술되어야 하는 정보의 양이 많아질 수 있기 때문에 XML보다 빠르면서도 데이터양을 적게 요하는 JSON 타입으로 기술될 수 있지만, 이에 한정되는 것은 아니다.

그리고, 콘텐츠 제작은 고유코드 생성과 메타데이터 제작의 두 단계로 이루어질 수 있다. 제작되는 콘텐츠는 적용되고자 하는 제품 및 나타내고자 하는 시나리오에 따라 영상 및 텍스트 정보 가시화, 번역된 언어 가시화, 3차원 모델 및 영상 가시화, 3차원 애니메이션 가시화와 같은 다양한 형태로 제작이 가능하다. 고유코드 생성은 일반적인 고유코드 생성 시스템을 이용하고, 고유코드 생성시 내부 데이터는 자신의 3D 증강현실 서비스 제공 서버(300)를 구분해 줄 문구와 주소를 함께 입력하여 생성할 수 있다.

그리고, 메타데이터는, 생성하고자 하는 콘텐츠의 시나리오 타입을 결정하고 콘텐츠 정보를 관리하는 콘텐츠 메타데이터 파일과 증강된 정보를 가시화하기 위해 필요한 상세 메타데이터 파일로 나눠질 수 있다. 이때, 콘텐츠 메타데이터에는 콘텐츠의 이름과 콘텐츠 타입, 서버 내 상세 메타데이터의 주소, 그리고 콘텐츠의 저작 정보가 기록될 수 있다. 여기서, 콘텐츠 메타데이터가 작성되었다면, 이제 실질적인 증강현실 정보를 출력하기 위해서 JSON으로 작성된 상세 메타데이터 파일을 설정할 수 있다.

여기서, 상세 메타데이터는 작성하고자 하는 콘텐츠에 따라 달리 작성되나 일반적으로 미디어 파일의 위치와 증강될 위치, 사용자 상호작용 유무, 애니메이션 등이 설정된다. 본 발명의 일 실시예에서는, 상세 텍스트 가시화, 표지판 번역, 제품 광고 가시화, 상품 3차원 모델 가시화, 3차원 애니메이션 정보 가시화 서비스와 같은 결과를 보인다. 이때, 본 발명의 일 실시예의 카메라 자세 추정 기법의 정확도를 평가하기 위해서 3차원 광학 모션 캡쳐 시스템을 이용하여 정답 데이터(groundtruth data)를 측정할 수 있다.

이때, 이 정답 데이터와 본 발명의 일 실시예에 따른 영상처리 기반의 카메라 자세 추정 결과를 비교하여 정확도를 비교할 수 있다. 즉, 롤(roll), 피치(pitch), 요(yaw) 각 방향에 대한 각도 변화의 정답 데이터와 본 발명의 일 실시예에 따른 시스템에서 추정된 결과를 비교하여 보여줄 수도 있다.

상술한 본 발명의 일 실시예에 따른 나노블럭을 이용한 3D 증강현실 서비스를 이하 도 3 내지 도 7을 참조로 하여 그 구동과정을 상세히 설명하기로 한다.

도 3을 참조하면, 사용자는 나노블럭의 유닛블럭과 플레이트를 이용하여, 자신이 원하는 3D 애니메이션이 구동될 고유코드를 표현하도록 블럭을 쌓기 시작할 수 있다. 그리고, 고유코드에 대응하도록 나노블럭이 쌓여지면, 사용자는 사용자 단말(100)을 이용하여 고유코드를 촬영할 수 있고, 시간이 지남에 따라 변화하는 3D 애니메이션을 출력할 수 있고, 사용자는 애니메이션을 이루는 개체를 클릭하여 제거할 수도 있고 움직이도록 할 수도 있다. 도 3의 우측에는 심슨 캐릭터가 춤을 추는 것이 도시되어 있는데, 예를 들어, 심슨의 손을 잡아당기는 경우, 이에 대응하도록 심슨이 넘어지거나 움찔하는 동작이 애니메이션으로 출력될 수도 있고, 심슨이 모자를 쓰고 있다고 가정하면, 사용자의 터치 등에 의하여 인터렉션 작용으로 심슨의 모자를 벗기거나 할 수도 있다.

도 4를 참조하면, 사용자는, 플레이트 상에 유닛블럭(블랙 또는 화이트)으로 고유코드에 대응하도록 사용자는 오프라인에서 유닛블럭을 쌓을 수 있다. 각각의 유닛블럭은 1X1의 공간을 차지하도록 형성될 수 있으나, 이에 한정되는 것은 아니고, (X,1)의 크기나, (1,Y)의 크기, (X,Y)의 크기 등도 가능할 수 있다. 이때, 사용자 단말(100)은, 3D 증강현실 서비스 제공 서버(300)로부터 고유코드를 형성하기 위한 인스트럭션을 수신하여 출력할 수 있다. 이때, 인스트럭션 또한 증강현실로 플레이트를 비추는 경우, 사용자 단말(100)은, 어떠한 자리에 화이트 유닛블럭이 위치해야 하는지, 어떠한 자리에 블랙 유닛블럭이 위치해야 하는지 등의 여부를 오버레이하여 출력할 수 있다.

도 5를 참조하면, 3D 증강현실 서비스 제공 서버(300)는, 사용자 단말(100)에서 고유코드를 촬영하면, 이에 대응하여 등록된 컨텐츠를 전송할 수 있고, 사용자 단말(100) 또는 AR 조작 단말(400)은, 컨텐츠를 등록, 관리 및 조회할 수 있도록 3D 증강현실 서비스 제공 서버(300)에 접속할 수 있다.

도 6을 참조하면, (a) 3D 증강현실 서비스 제공 서버(300)는, 사용자 단말(100)에서 증강현실 컨텐츠 목록을 조회하거나 선택할 수 있는 페이지를 제공할 수 있고, (b) 사용자 단말(100)에서 편집 프로그램을 다운로드하거나 웹 페이지 또는 앱 페이지나 애플리케이션을 실행하는 경우, 컨텐츠를 편집할 수 있도록 한다. 또한, (c) 해당 페이지에서는 컨텐츠를 수정하거나 신규로 등록하거나 삭제할 수 있고, 컨텐츠가 출력되는 기간, 장소 또는 조건을 설정할 수도 있다. 그리고, (d) 컨텐츠 코드는 등록된 컨텐츠별 코드가 생성된 것이고, 썸네일 이미지로 해당 컨텐츠 코드를 생성할 수 있다.

도 7을 참조하면, ① 개체나무(개체트리)는, 추가되는 개체에 새로운 번호가 부여되도록 하고, 메뉴화되도록 하는 트리구조를 나타낸다. 정의하기에 따라 어떠한 개체를 하나의 개체로 정의하고, 부속되는 개체로 정의할 것인지는 달라질 수 있다. 이때, 본 발명의 일 실시예에서는 1 개 이상의 개체를 조합할 수 있는데, 심슨이 춤을 추는 것을 1 개의 개체로 정의한다면, 심슨 옆에 바트가 붙어서 같이 춤을 추는 경우에는, 바트를 다른 1 개의 개체로 정의할 수 있고, 별도의 번호가 부여될 수 있다. 이때, 하나의 개체(심슨 또는 바트)를 이루는 복수의 개체(몸통, 머리, 옷, 장신구 등)가 존재할 수 있는데, 복수의 개체는 하나의 개체의 하위 개체로 트리화될 수 있고, 하나의 개체로 묶임으로써 정의될 수 있다.

② 넘버는, 개체별 고유넘버를 의미하며, 하나의 개체(심슨)와 다른 하나의 개체(바트)를 구분하기 위한 번호일 수도 있고, 하나의 개체(심슨) 내에 하나의 개체(심슨)를 이루는 복수의 개체(몸통, 장신구, 머리 등)를 구분하기 위한 번호일 수도 있다. 이때, 보임은, 한 개 이상의 개체가 하나의 3D 애니메이션 상에 존재할 경우 보임과 안보임을 선택할 수 있다. 이때, 심슨만 춤을 추고 싶게 한다면, 바트를 안보임으로 선택할 수 있고, 바트와 심슨 모두 춤을 추는데, 바트의 신발이 없는 상태로 하고 싶다면, 바트(상위개체)의 신발(하위개체)만을 안보임 선택을 할 수도 있다.

반복은, 개체의 애니메이션 반복 여부를 선택하는데, 심슨은 1 번만 춤을 추고, 바트는 2번 이상 춤을 춘다고 가정하면, 심슨은 1번의 반복을 선택하고, 바트는 2회 이상으로 설정하도록 하는 인터페이스일 수 있다.

속도는, 애니메이션의 속도 조절하는 인터페이스로, 사용자가 원하는만큼 자유롭게 속도를 조절할 수 있다. 마찬가지로, 속도도 개체별로 설정할 수 있다. 배율은, 개체의 크기를 조정하는 인터페이스로, 자유롭게 개체의 크기를 조정할 수 있다.

바로가기는 하이퍼링크이며, 3D 애니메이션은 캐릭터로부터 사물이나 상품 등 복수의 개체를 보여지게 할 수 있으므로, 상품을 3D 개체로 제공하였을 때, 제공자에게 보여지는 상품을 쇼핑몰에서 바로 구매할 수 있다면, 쇼핑몰의 해당 구매 페이지로의 링크를 거는 방법으로 이용할 수 있다.

③ 각도는, 개체의 각도를 조절하는 인터페이스이며, X는 앞뒤로 움직이는 회전각을 조절하고, Y는, 좌우로 움직이는 회전각을 조절하며, Z는 기울기 각도 및 회전각을 조절할 수 있는 인터페이스일 수 있다.

④ 위치는, 개체의 위치를 조절하는 인터페이스이며, X는 앞뒤로 위치를 조절하고, Y는 좌우로 위치를 조절하며, Z는 상하로 위치를 조절하는 인터페이스일 수 있다.

⑤ 텍스트는 텍스트를 입력하고 편집하는 기능에 대응하는 인터페이스를 제공하고, ⑥ 저장은, 편집 내용을 저장하기 위한 인터페이스인데, 로그인한 해당 아이디로 생성한 컨텐츠를 비췄을 때만 저장 버튼은 활성화되도록 구현될 수 있다.

이와 같은 도 2 내지 도 7의 나노블럭을 이용한 3D 증강현실 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 나노블럭을 이용한 3D 증강현실 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 8은 본 발명의 일 실시예에 따른 나노블럭을 이용한 3D 증강현실 서비스 제공 방법을 설명하기 위한 동작 흐름도이다. 도 8은 본 발명의 일 실시예에 따른 도 1의 나노블럭을 이용한 3D 증강현실 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 8을 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 8에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 8을 참조하면, 3D 증강현실 서비스 제공 서버는, 사용자 단말로부터 3D 증강현실 서비스를 신청 및 사용자를 등록하는 등록 이벤트를 수신하고, 사용자 단말을 등록하여 저장한다(S8100).

그리고 나서, 3D 증강현실 서비스 제공 서버는, 사용자 단말로부터 증강현실로 출력될 3D 애니메이션을 선택하고(S8200), 사용자 단말에서 3D 증강현실 서비스를 통하여 3D 애니메이션이 출력될 나노블럭의 고유코드를 수신한다(S8300).

여기서, 3D 증강현실 서비스 제공 서버는, 수신된 고유코드와 기 매핑되어 저장된 3D 애니메이션이 사용자 단말에서 구동되도록 제어하고(S8400), 사용자 단말에서 나노블럭을 촬영한 시간에 따라 3D 애니메이션이 나노블럭 상에서 출력되되, 사용자 단말의 촬영 위치 및 각도에 대응하는 3D 애니메이션이 출력되도록 제어한다(S8500).

상술한 단계들(S8100~S8500)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S8100~S8500)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 8의 3D 증강현실 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 7을 통해 3D 증강현실 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 8을 통해 설명된 일 실시예에 따른 3D 증강현실 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 3D 증강현실 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 3D 증강현실 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

3D 증강현실 서비스 제공 서버에서 실행되는 3D 증강현실 서비스 제공 방법에 있어서,
사용자 단말로부터 3D 증강현실 서비스를 신청 및 사용자를 등록하는 등록 이벤트를 수신하고, 상기 사용자 단말을 등록하여 저장하는 단계;
상기 사용자 단말로부터 증강현실로 출력될 3D 애니메이션을 선택하는 단계;
상기 사용자 단말에서 상기 3D 증강현실 서비스를 통하여 상기 3D 애니메이션이 출력될 나노블럭의 고유코드를 수신하는 단계;
상기 수신된 고유코드와 기 매핑되어 저장된 3D 애니메이션이 상기 사용자 단말에서 구동되도록 제어하는 단계; 및
상기 사용자 단말에서 상기 나노블럭을 촬영한 시간에 따라 3D 애니메이션이 상기 나노블럭 상에서 출력되되, 상기 사용자 단말의 촬영 위치 및 각도에 대응하는 3D 애니메이션이 출력되도록 제어하는 단계;
를 포함하고,
상기 사용자 단말에서 상기 나노블럭을 촬영한 시간에 따라 3D 애니메이션이 상기 나노블럭 상에서 출력되되, 상기 사용자 단말의 촬영 위치 및 각도에 대응하는 3D 애니메이션이 출력되도록 제어하는 단계 이후에,
상기 사용자 단말에서 출력되는 3D 애니메이션을 출력하기 위하여, AR 조절 단말에서 상기 3D 애니메이션을 편집하는 편집 페이지에 접속하는 경우, 상기 편집 페이지의 편집 인터페이스를 제공하는 단계;
상기 편집 인터페이스를 통하여 상기 3D 애니메이션을 이루는 적어도 하나의 개체의 반복, 속도, 배율, 보임/안보임, 각도, 위치 및 텍스트 중 적어도 하나 또는 적어도 하나의 조합이 변경된 경우, 상기 변경된 데이터를 저장하여 업데이트하는 단계;
상기 사용자 단말에서 상기 나노블럭을 재촬영하는 경우, 상기 업데이트된 3D 애니메이션이 출력되도록 제어하는 단계;
를 더 포함하며,
상기 개체는 상기 개체별로 고유번호가 부여되어 저장되고,
상기 개체 이외의 다른 개체가 추가될 경우, 상기 고유번호가 새로이 부여되어 저장되고,
상기 보임/안보임은, 상기 3D 애니메이션을 이루는 적어도 하나의 개체가 상기 사용자가 나노블럭을 촬영한 상태에서 보이는지 또는 보이지 않아야 하는지를 선택하는 사용자 인터페이스이고,
상기 반복은, 상기 개체의 3D 애니메이션이 반복되는지의 여부를 선택하는 사용자 인터페이스이고,
상기 속도는, 상기 개체의 3D 애니메이션이 출력되는 속도를 조절하는 사용자 인터페이스이고,
상기 각도는, 상기 개체의 3D 애니메이션이 출력되는 각도인, 앞뒤좌우 또는 기울기의 회전각을 조절하는 사용자 인터페이스이고,
상기 위치는, 상기 개체의 X,Y,Z 위치를 조절하는 사용자 인터페이스이고,
상기 텍스트는, 상기 3D 애니메이션에 함께 출력되는 텍스트를 입력하거나 편집하는 사용자 인터페이스인 것인, 나노블럭을 이용한 3D 증강현실 서비스 제공 방법.
제 1 항에 있어서,
상기 나노블럭은,
상기 고유코드에 대응하는 나노블럭의 유닛블럭이 배치될 플레이트;
상기 플레이트 상에 배치되어 상기 고유코드를 형성하는 유닛블럭;
을 포함하여 이루어지고,
상기 유닛블럭은, 상기 플레이트 상에 배치되어 상기 고유코드 중 검은색 부분을 표현하는 블랙 유닛블럭과, 상기 플레이트 상에 배치되어 상기 고유코드 중 흰색 부분을 표현하는 화이트 유닛블럭을 포함하는 것인, 나노블럭을 이용한 3D 증강현실 서비스 제공 방법.
제 2 항에 있어서,
상기 유닛블럭의 크기는 1X1이고, 상기 플레이트의 크기는 14X14이고, 상기 고유코드의 크기는 10X10의 크기이며, 상기 고유코드의 테두리는 상기 블랙 유닛블럭이 위치되어 상기 플레이트와 상기 고유코드를 구분하도록 하는 것인, 나노블럭을 이용한 3D 증강현실 서비스 제공 방법.
제 1 항에 있어서,
상기 사용자 단말에서 상기 3D 증강현실 서비스를 통하여 상기 3D 애니메이션이 출력될 나노블럭의 고유코드를 수신하는 단계 이후에,
상기 사용자 단말에서 상기 3D 증강현실 서비스에 가입, 결제 및 인증된 사용자인지를 확인하는 단계;
상기 가입, 결제 및 인증된 사용자가 아닌 경우, 상기 3D 증강현실 서비스를 이용하기 위하여, 가입, 결제 및 인증을 요구하는 사용자 인터페이스를 제공하는 단계;
를 더 포함하는 것인, 나노블럭을 이용한 3D 증강현실 서비스 제공 방법.
삭제
삭제
제 1 항에 있어서,
상기 고유코드는 64비트 코드 형식인 것인, 나노블럭을 이용한 3D 증강현실 서비스 제공 방법.