KR102420089B1

KR102420089B1 - 이미지 인식 기반의 증강현실 컨텐츠 제공 장치 및 방법

Info

Publication number: KR102420089B1
Application number: KR1020200164418A
Authority: KR
Inventors: 방성환
Original assignee: 방성환; (주)픽셀쓰리디
Priority date: 2020-11-30
Filing date: 2020-11-30
Publication date: 2022-07-13
Also published as: KR20220075861A

Abstract

본 발명은 서버와의 네트워크 연결을 통해 이미지 인식 기반 증강현실(AR) 컨텐츠를 제공하는 장치로서, 상기 장치는: 카메라; 데이터를 저장하는 메모리; 상기 메모리를 제어하는 프로세서; 카메라 촬영 이미지와 그 위에 중첩가능하게 표시되는 AR 컨텐츠를 출력하는 디스플레이; 를 포함하고, 상기 프로세서는, 사용자에 제공 가능한 AR 컨텐츠 분야의 정보를 포함하는 AR 이미지 리스트를 서버로부터 수신하고, 상기 AR 이미지 리스트에 포함된 AR 컨텐츠 분야 중 사용자가 선택한 AR 출력을 원하는 적어도 하나의 분야에 대한 정보를 수신하고, 사용자가 선택한 분야의 AR 이미지의 정보를 서버에 요청하고, 요청한 분야에 속하는 적어도 하나의 미리 정해진 AR 이미지를 서버로부터 수신하여 상기 메모리에 저장하며, 상기 카메라를 사용하여 이미지 트래킹을 수행하고, 카메라가 저장된 AR 이미지 중 하나와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 트래킹된 이미지에 대응하는 AR 컨텐츠의 동영상을 요청하는 메시지를 서버에 전송하고, 서버로부터 전송된 동영상 스트리밍 정보를 수신하고, 수신된 스트리밍 정보를 기반으로, 상기 디스플레이 상에서, 트래킹된 이미지의 위치에 동영상을 실시간으로 AR 출력한다.

Description

이미지 인식 기반의 증강현실 컨텐츠 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING AUGMENTED REALITY CONTENTS BASED ON IMAGE RECOGNITION}

본 발명은 이미지 인식을 기반으로 증강현실(Augmented Reality, AR) 컨텐츠를 제공하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 트래킹된 이미지 종류에 따라 연계된 동영상을 AR 출력하여 컨텐츠를 제공하는 장치 및 방법에 관한 것이다.

증강현실(Augmented Reality, AR)이란 현실의 이미지나 배경 등에 3차원 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 기술로서, 혼합현실(Mixed Reality, MR)이라고도 한다. 증강현실은 현재 일반인들에게도 널리 활용될 만큼 대중화된 상태이며, 최근에는 스마트폰이나 태블릿 PC 등의 휴대용 기기를 대상으로 한 다양한 증강현실 기술이 공개되고 있다.

현재 일반적인 AR 구현 어플리케이션의 경우 미리 관련 영상과 자료를 모바일 장치에 전부 구비하여야 하므로 큰 용량의 메모리를 필요로 하며, 또한 각각의 상황이나 제공하고자 하는 컨텐츠 별로 매번 새로운 장치를 사용하거나 별도의 어플리케이션을 설치해야 하는 문제점이 있다.

이에 따라 증강현실(AR)을 구현할 때, 관련 영상과 자료나 데이터를 미리 전부 준비하지 않아도, 즉 스마트폰의 메모리 부담 없이, 5G 등을 통해 하나의 장치 또는 공통 어플리케이션으로 다양한 상황과 환경에서 증강현실을 구현할 필요가 있다.

상술한 기술적 과제 해결을 위하여, 본 발명의 일 실시예에 따른 서버와의 네트워크 연결을 통해 이미지 인식 기반 증강현실(AR) 컨텐츠를 제공하는 장치는: 카메라; 데이터를 저장하는 메모리; 상기 메모리를 제어하는 프로세서; 카메라 촬영 이미지와 그 위에 중첩가능하게 표시되는 AR 컨텐츠를 출력하는 디스플레이;를 포함하고, 상기 프로세서는, 사용자에 제공 가능한 AR 컨텐츠 분야의 정보를 포함하는 AR 이미지 리스트를 서버로부터 수신하고, 상기 AR 이미지 리스트에 포함된 AR 컨텐츠 분야 중 사용자가 선택한 AR 출력을 원하는 적어도 하나의 분야에 대한 정보를 수신하고, 사용자가 선택한 분야의 AR 이미지의 정보를 서버에 요청하고, 요청한 분야에 속하는 적어도 하나의 미리 정해진 AR 이미지를 서버로부터 수신하여 상기 메모리에 저장하며, 상기 카메라를 사용하여 이미지 트래킹을 수행하고, 카메라가 저장된 AR 이미지 중 하나와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 트래킹된 이미지에 대응하는 AR 컨텐츠의 동영상을 요청하는 메시지를 서버에 전송하고, 서버로부터 전송된 동영상 스트리밍 정보를 수신하고, 수신된 스트리밍 정보를 기반으로, 상기 디스플레이 상에서, 트래킹된 이미지의 위치에 동영상을 실시간으로 AR 출력한다.

본 발명의 일 실시예에 따른 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 장치에 있어서, 상기 AR 컨텐츠 분야는, 광고 분야, 웨딩 분야, 관광 분야, 음식 분야, 출판 분야 및 엔터테인먼트 분야 중 적어도 하나를 포함한다.

본 발명의 일 실시예에 따른 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 장치에 있어서, 사용자에 의해 광고 분야가 선택된 경우, AR 이미지는 미리 정해진 광고제품, 광고모델, 제품로고, 지면광고 또는 외부간판과 관련된 적어도 하나의 이미지를 포함하고, 카메라가 저장된 광고 분야의 AR 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 연계된 광고 동영상을 트래킹된 이미지 위치에 실시간으로 AR 출력한다.

본 발명의 일 실시예에 따른 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 장치에 있어서, 사용자에 의해 웨딩 분야가 선택된 경우, AR 이미지는 청첩장 관련 이미지를 포함한다.

본 발명의 일 실시예에 따른 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 장치에 있어서, 사용자에 의해 출판 분야가 선택된 경우, AR 이미지는 미리 정해진 동화책 또는 컬러링북과 관련된 적어도 하나의 이미지를 포함하고, 카메라가 저장된 동화책 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 연계된 움직이는 동화책 동영상을 트래킹된 동화책 이미지 위치에 실시간으로 AR 출력하고, 카메라가 저장된 컬러링북 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 컬러링 북에 칠해진 색을 그대로 구현한 AR 이미지가 트래킹된 컬러링북 이미지 위치에 실시간으로 AR 출력된다.

본 발명의 일 실시예에 따른 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 장치에 있어서, 사용자에 의해 관광 분야가 선택된 경우, AR 이미지는 미리 정해진 관광지와 관련된 적어도 하나의 이미지를 포함하고, 카메라가 저장된 관광지의 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 대응하는 관광지와 연계된 동영상을 트래킹된 이미지 위치에 실시간으로 AR 출력한다.

본 발명의 일 실시예에 따른 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 장치에 있어서, 사용자에 의해 엔터테인먼트 분야가 선택된 경우, AR 이미지는 미리 정해진 영화 또는 음악과 관련된 적어도 하나의 이미지를 포함하고, 카메라가 저장된 영화 관련 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 해당 영화와 연계된 동영상을 트래킹된 이미지 위치에 실시간으로 AR 출력하고, 카메라가 저장된 음악 관련 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 해당 음악과 연계된 동영상을 트래킹된 이미지 위치에 실시간으로 AR 출력한다.

본 발명의 일 실시예에 따른 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 장치에 있어서, 상기 음악 관련 이미지는 앨범, 공연 포스터 또는 굿즈 상품 이미지 중 적어도 하나를 포함하고, 상기 음악과 연계된 동영상은, 콘서트, 공연영상 또는 뮤직비디오 중 적어도 하나를 포함한다.

본 발명의 일 실시예에 따른 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 장치에 있어서, 사용자에 의해 음식 분야가 선택된 경우, AR 이미지는 미리 정해진 음식과 관련된 적어도 하나의 이미지를 포함하고, 카메라가 저장된 음식 관련 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 해당 음식의 재료, 요리과정 또는 먹는 방법과 관련된 동영상을 트래킹된 이미지 위치에 실시간으로 AR 출력한다.

본 발명의 일 실시예에 따른 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 장치에 있어서, 상기 프로세서는, 트래킹된 이미지 위치에 동영상을 출력하기 위해 그린스크린 쉐이더로 알파처리 한다.

상술한 기술적 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 사용자 단말이 서버와의 네트워크 연결을 통해 이미지 인식 기반 증강현실(AR) 컨텐츠를 제공하는 방법은, (A) 사용자에 제공 가능한 AR 컨텐츠 분야의 정보를 포함하는 AR 이미지 리스트를 서버로부터 수신하는 단계; (B) 상기 AR 이미지 리스트에 포함된 AR 컨텐츠 분야 중 AR 출력을 원하는 적어도 하나의 분야에 대한 사용자의 선택이 입력되는 단계; (C) 선택된 분야의 AR 이미지의 정보를 서버에 요청하고, 요청한 분야의 적어도 하나의 미리 정해진 AR 이미지를 서버로부터 수신하여 메모리에 저장하는 단계; (D) 카메라를 사용하여 이미지 트래킹을 수행하는 단계; (E) 카메라가 저장된 AR 이미지 중 하나와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 트래킹된 이미지에 대응하는 AR 컨텐츠의 동영상을 요청하는 메시지를 서버에 전송하는 단계; (F) 서버로부터 동영상 스트리밍 정보를 수신하는 단계; 및 (G) 수신된 스트리밍 정보를 기반으로, 트래킹된 이미지 위치에 동영상을 실시간으로 AR 출력하는 단계; 를 포함한다.

본 발명의 일 실시예에 따른 사용자 단말이 서버와의 네트워크 연결을 통해 이미지 인식 기반 증강현실(AR) 컨텐츠를 제공하는 방법에 있어서, 상기 (G) 단계는, 트래킹된 이미지 위치에 동영상을 출력하기 위해 그린스크린 쉐이더로 알파처리 하는 단계를 포함한다.

이하 설명하는 기술은 스마트폰 어플리케이션을 이용하여 광고 등 캠페인이 가능한 제품 이미지에 AR 기술을 접목하여 광고모델, 제품로고, 지면광고 등에서 증강현실로 광고가 실행되게 하는 등 다양한 방식의 광고마케팅이 가능하다.

이하 설명하는 기술은 소비자에게는 언제 어디서나 현실감 있는 광고모델과의 밀착감과 제품 광고서비스를 제공할 수 있고, 광고주에게는 합리적인 광고효율을 제공할 수 있다.

이하 설명하는 기술은 기존 광고서비스 및 홍보매체와의 차별화를 추구하며, 기존에 없는 새로운 운영방식을 경험하게 할 수 있다.

이하 설명하는 기술은 다양한 AR 컨텐츠 분야의 증강 현실을 하나의 장치 또는 장치에 설치된 하나의 어플리케이션을 통해 제공할 수 있다.

이하 설명하는 기술은 필요한 AR 컨텐츠 분야의 AR 이미지만 다운로드하여 사용함으로써 메모리 사용량을 절약할 수 있다.

도 1은 본 발명의 일 실시예에 따른, 사용자 단말, 서버 및 관리자를 통한 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 과정을 나타낸다.
도 2는 본 발명의 일 실시예에 따른, 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 장치의 내부 블록도를 나타낸다.
도 3은 일 실시예에 따른 본 발명의 이미지 인식 기반 AR 컨텐츠 제공 방법에 기반한 AR K-POP 컨텐츠 실행 이미지를 나타낸다.
도 4는 일 실시예에 따른 본 발명의 이미지 인식 기반 AR 컨텐츠 제공 방법에 기반한 AR 동물도감 3D 모션 이미지를 나타낸다.
도 5는 일 실시예에 따른 본 발명의 이미지 인식 기반 AR 컨텐츠 제공 방법에 기반한 AR 웨딩청첩장 실행 이미지를 나타낸다.
도 6은 일 실시예에 따른 본 발명의 이미지 인식 기반 AR 컨텐츠 제공 방법에 기반한 AR 주류광고 실행 이미지를 나타낸다.
도 7은 일 실시예에 따른 본 발명의 이미지 인식 기반 AR 컨텐츠 제공 방법에 기반한 AR 황룡사9층목탑 3D 모션 이미지를 나타낸다.
도 8은 일 실시예에 따른 본 발명의 이미지 인식 기반 AR 컨텐츠 제공 방법에 기반한 AR 통합어플 실행 이미지를 나타낸다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

본 명세서에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 명세서에서 사용되는 기술적 용어는 본 명세서에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당해 기술분야의 통상의 지식을 가진 사람이 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다.

본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서 상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 1은 이미지 인식 기반 AR 컨텐츠 제공 장치(100) (이하, '장치(100)' 라고 함), 서버(200) 및 관리자(300)를 통한 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 과정을 나타낸다.

도 2는 본 발명의 일 실시예에 따른 장치(100)의 내부 블록도를 나타낸다.

이하에서는 도 1 및 도 2를 함께 참조하여 본 발명의 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 과정을 설명한다.

장치(100)는 본 발명의 이미지 인식 기반 AR 컨텐츠 제공 장치에 해당한다. 일 예로, 장치(100)는 사용자 단말로서, 스마트폰, 스마트패드, 스마트안경 등의 스마트 장치이거나 모바일 장치, 핸드헬드 장치 등의 기타 휴대 장치일 수 있다. 다른 예로, 장치(100)는 본 명세서에 개시된 이미지 인식 기반 AR 컨텐츠 제공 기능을 갖는 어플리케이션이 설치된 장치일 수 있다.

장치(100)는 데이터를 저장하는 메모리(2010), 카메라(2020), 메모리(2010)를 제어하는 프로세서(2030) 및 디스플레이(2040)를 포함하며, 서버(200)와 통신하기 위한 통신부를 더 포함한다. 디스플레이(2040)는 카메라 촬영 이미지를 출력할 수 있고, 또한 AR 컨텐츠를 카메라 촬영 이미지 위에 중첩가능하게 출력할 수 있다.

서버(200)는 웹 서버에 해당하고, 유무선 네트워크 연결을 통해 장치와 통신하고, 사용자(또는 장치/앱 조작자)에 AR 컨텐츠를 제공하기 위한 AR 이미지 리스트, AR 이미지, 동영상 등을 장치에 제공한다.

이하에서 설명되는 이미지 인식 기반 AR 컨텐츠 제공 장치의 동작은, 사용자 단말, 사용자 단말에 설치된 어플리케이션 또는 사용자 단말 내의 프로세서(2030)의 동작으로도 이해될 수 있다.

먼저, 장치(100)는 이미지 인식 기반 AR 컨텐츠 제공을 시작하기 위한 시작 정보를 입력받는다(S1010). 일 예로, 사용자는 스마트폰의 디스플레이에 표시된 시작 버튼을 터치하여 이미지 인식을 시작할 수 있다. 일 예로, 시작 정보는 외부의 다른 장치로부터 수신될 수 있다. 대안으로, 장치(100)는 별도의 시작 정보 수신 없이 어플리케이션을 실행함과 동시에 이미지 인식을 시작할 수도 있다.

장치(100)는 서버(200)에 버전 확인 요청 메시지를 전송한다(S1020). 일 예로, 이 과정은 일정 주기로만 수행되거나, 사용자 설정 또는 필요에 따라 선택적으로 수행될 수 있다.

이후, 버전 확인 메시지를 수신한 서버(200)는 응답으로 버전 정보 메시지를 장치(100)에 전송하며, 이때 서버(200)는 버전 정보 메시지와 함께 해당 버전에 포함된 AR 이미지 리스트를 서버(200)에 전송한다(S1030). 일 예로, 현재 장치에 설치된 버전 또는 어플리케이션 버전이 최신 버전인 경우, 업데이트할 이미지 리스트가 없으므로 이미지 URL 리스트 제공은 생략될 수 있다. 일 예로, AR 이미지 리스트는 AR 이미지 URL 리스트일 수 있다.

AR 이미지 리스트는 사용자에게 제공 가능한 적어도 하나의 AR 컨텐츠 분야 정보를 포함한다. 일 예로, AR 컨텐츠 분야는, 광고 분야, 웨딩 분야, 관광 분야, 음식 분야, 출판 분야 및 엔터테인먼트 분야 중 적어도 하나를 포함할 수 있고, 버전 업데이트에 따라 제공가능한 분야가 더 추가될 수도 있다.

도면에 도시되어 있지 않지만, 장치(100)는 수신한 AR 이미지 리스트를 디스플레이에 표시하여 사용자가 (예컨대, AR 출력을 사용하길 원하거나 필요로 하는 또는 관심있는) AR 컨텐츠 분야를 적어도 하나 선택하게 할 수 있다. 선택 동작은 다양한 방식으로 이루어질 수 있다. 이로써 본 발명은 불필요한 컨텐츠의 AR 이미지를 다운로드할 필요가 없으므로 장치의 메모리 사용량을 절약할 수 있다. 대안으로, 장치(100)는 필요에 따라 사용자 선택 없이 수신한 AR 이미지 리스트에 포함된 현재 제공가능한 AR 컨텐츠 분야를 자동으로 모두 선택할 수도 있다.

사용자가 원하는 AR 컨텐츠 분야를 선택한 경우, 장치(100)는 선택된 분야(들)의 AR 이미지 정보를 요청하는 메시지를 서버(200)에 전송한다(S1040). 대안으로, 장치(100)는 모든 컨텐츠 분야의 AR 이미지를 요청할 수도 있다. 각각의 AR 컨텐츠 분야는 해당 분야와 관련된 미리 정해진 적어도 하나의 AR 이미지를 포함한다. 각 분야에 포함된 미리 정해진 AR 이미지(들)는 (예컨대 관리자에 의해) 업데이트, 수정, 교체, 또는 삭제될 수 있다.

이후, 장치(100)는 요청한 분야에 속하는 적어도 하나의 미리 정해진 AR 이미지를 서버(200)로부터 수신하고(S1050), 메모리(2010)에 저장한다. 즉, 장치(100)가 웹 서버로부터 AR 이미지를 다운로드한다. 각 컨텐츠에 포함되거나 장치에 저장된 AR 이미지는 하나의 이미지일 수도 있고 복수의 이미지일 수도 있다. AR 이미지는 정지 이미지일 수도 있다.

광고 분야의 경우, 해당 분야에 포함된 AR 이미지는 미리 정해진 광고제품, 광고모델, 지면광고 또는 외부간판 등과 관련된 이미지를 포함할 수 있다. 본 발명은 이와 같이 스마트폰 어플리케이션을 이용하여 광고 등 캠페인이 가능한 제품 이미지에 AR 기술을 접목하여 광고모델, 제품로고, 지면광고 등에서 증강현실로 광고가 실행되게 하는 등 다양한 광고마케팅이 가능하도록 한다. 일 예로, 술병을 인식하여 AR 구동될 수 있다.

웨딩 분야의 경우, 해당 분야에 포함된 AR 이미지는 청첩장 관련 이미지 등을 포함할 수 있다.

출판 분야의 경우, 해당 분야에 포함된 AR 이미지는 미리 정해진 동화책 또는 컬러링북(coloring book) 등과 관련된 적어도 하나의 이미지를 포함할 수 있다. 이를 통해 단순하게 읽는 동화책을 넘어 움직이는 동화책이 구현될 수 있다.

관광 분야의 경우, 해당 분야에 포함된 AR 이미지는 미리 정해진 관광지 장소 또는 촬영지 등과 관련된 적어도 하나의 이미지를 포함할 수 있다.

엔터테인먼트 분야의 경우, 해당 분야에 포함된 AR 이미지는 미리 정해진 영화 또는 음악 등과 관련된 적어도 하나의 이미지를 포함할 수 있다. 음악 관련 이미지는 예를 들어 앨범, 공연 포스터 또는 굿즈(goods) 상품 이미지 중 적어도 하나를 포함할 수 있다. 일 예로, 영화 포스터에 어플리케이션을 실행하면 감독, 배우인사 등의 AR이 구현되도록 하여 다양한 마케팅이 가능하다. 기타 VR도 가능하며, 예컨대 기존에 2D로 제작된 영화, 드라마 등의 영상을 3D로 변환하여 VR 접목할 수 있다.

음식 분야의 경우, 해당 분야에 포함된 AR 이미지는 미리 정해진 음식과 관련된 적어도 하나의 이미지를 포함할 수 있다.

이후, 장치(100)는 카메라를 사용하여 이미지 트래킹(image tracking)을 수행한다(S1060). 장치(100)는 단말에 저장된 선택된 분야(들)의 AR 이미지(들)를 기준으로 그와 일치하는 이미지가 현재 촬영되고 있는 이미지 내에 존재하는지를 검출한다.

이후, 장치(100)는 저장된 AR 이미지 중 하나와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 트래킹된 이미지에 대응하는 AR 컨텐츠의 동영상을 요청하는 메시지를 서버(200)에 전송한다(S1070).

이후, 장치(100)는 서버(200)로부터 동영상 스트리밍 정보를 수신한다(S1080).

이후, 장치(100)는 수신된 스트리밍 정보를 기반으로, 디스플레이 상에서, 트래킹된 이미지 위치(위)에 동영상을 (덧씌워) 실시간으로 AR 출력한다. 이를 위해 장치(100)는 트래킹된 이미지 위치에 동영상을 출력하기 위해 그린스크린 쉐이더로 알파처리를 한다(S1090). AR 이미지가 덧씌워지는 영역을 결정하는 방식과 관련하여, 이미지 전체를 인식하게 할 수 있으면 도용방지를 위해 이미지 중 특정 분야를 정밀하게 인식시킬 수 있는 강점이 있다. 쉐이더를 활용하여 알파처리(키 제거)는 동영상 제작시 전문적인 촬영법이 적용되어야 주체가 배경에 묻혀 들어가는 현상을 방지할 수 있다.

일 실시예에 따르면, 카메라가 저장된 광고 분야의 AR 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 장치(100)는 연계된 광고 동영상을 트래킹된 이미지 위치에 실시간으로 AR 출력할 수 있다. 카메라가 저장된 동화책 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 장치(100)는 연계된 움직이는 동화책 동영상을 트래킹된 동화책 이미지 위치에 실시간으로 AR 출력할 수 있다. 카메라가 저장된 컬러링북 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 장치(100)는 컬러링 북에 칠해진 색이 그대로 구현된 이미지를 트래킹된 컬러링북 이미지 위치에 실시간으로 AR 출력할 수 있다. 카메라가 저장된 관광지의 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 장치(100)는 대응하는 관광지와 연계된 동영상을 트래킹된 이미지 위치에 실시간으로 AR 출력할 수 있다. 카메라가 저장된 영화 관련 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 장치(100)는 해당 영화와 연계된 동영상을 트래킹된 이미지 위치에 실시간으로 AR 출력할 수 있다. 카메라가 저장된 음악 관련 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 장치(100)는 해당 음악과 연계된 동영상을 트래킹된 이미지 위치에 실시간으로 AR 출력할 수 있다. 음악과 연계된 동영상은, 콘서트, 공연영상 또는 뮤직비디오 중 적어도 하나를 포함할 수 있다.

일 예로, 이미지 일치 여부를 결정하는 임계비율은 트래킹 속도와 정확도 사이의 트레이드 오프를 고려한 적절한 값으로 결정될 수 있고, 또는 관리자에 의해 임의로 조절될 수 있다. 일 예로, 각각의 AR 컨텐츠 분야별로 (주된 촬영 환경, 이미지 공통 특징 등의) 그 특성에 따라 서로 다른 임계비율을 적용할 수 있다.

관리자(300)는 버전파일 이미지를 서버(200)에 전송하고 동영상을 업로드할 수 있다(S1100). 이 과정은 관리자(300)에 의해 수행되므로 장치(100)와 서버(200) 사이의 과정들과는 무관하게 언제든지 수행될 수 있다.

상술한 기술을 통해 본 발명은 다양한 AR 컨텐츠 분야의 증강 현실을 하나의 장치 또는 장치에 설치된 하나의 어플리케이션을 통해 제공할 수 있다.

또한 본 발명과 관련하여 1 Gb의 영상을 30~40 Mb로 압축할수있는 기술을 보유하고 있어서, 본 발명의 실시간 스트리밍 서비스를 구현하는데 탁월한 성능을 구현할수 있다. 예를 들어 기존의 타사 AR 컨텐츠의 용량은 7~8 Gb로 실시간 스트리밍은 불가하고 다운로드하여 사용하라는 메시지가 나타난다.

본 개시에 따른 사용자 단말이 서버와의 네트워크 연결을 통해 이미지 인식 기반 증강현실(AR) 컨텐츠를 제공하는 방법은, (A) 사용자에 제공 가능한 AR 컨텐츠 분야의 정보를 포함하는 AR 이미지 리스트를 서버로부터 수신하는 단계(S1030); (B) 상기 AR 이미지 리스트에 포함된 AR 컨텐츠 분야 중 AR 출력을 원하는 적어도 하나의 분야에 대한 사용자의 선택이 입력되는 단계; (C) 선택된 분야의 AR 이미지의 정보를 서버에 요청하고, 요청한 분야의 적어도 하나의 미리 정해진 AR 이미지를 서버로부터 수신하여 메모리에 저장하는 단계(S1040, S1050); (D) 카메라를 사용하여 이미지 트래킹을 수행하는 단계(S1060); (E) 카메라가 저장된 AR 이미지 중 하나와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 트래킹된 이미지에 대응하는 AR 컨텐츠의 동영상을 요청하는 메시지를 서버에 전송하는 단계(S1070); (F) 서버로부터 전송된 동영상 스트리밍 정보를 수신하는 단계(S1080); 및 (G) 수신된 스트리밍 정보를 기반으로, 디스플레이 상에서, 트래킹된 이미지의 위치에 동영상을 실시간으로 AR 출력하는 단계(S1090)를 포함할 수 있다. 상기 (G) 단계는, 트래킹된 이미지 위치에 동영상을 출력하기 위해 그린스크린 쉐이더로 알파처리 하는 단계(S1090)를 포함할 수 있다.

도 3은 일 실시예에 따른 본 발명의 이미지 인식 기반 AR 컨텐츠 제공 방법에 기반한 AR K-POP 컨텐츠 실행 이미지를 나타낸다. 도 4는 일 실시예에 따른 본 발명의 이미지 인식 기반 AR 컨텐츠 제공 방법에 기반한 AR 동물도감 3D 모션 이미지를 나타낸다. 도 5는 일 실시예에 따른 본 발명의 이미지 인식 기반 AR 컨텐츠 제공 방법에 기반한 AR 웨딩청첩장 실행 이미지를 나타낸다. 도 6은 일 실시예에 따른 본 발명의 이미지 인식 기반 AR 컨텐츠 제공 방법에 기반한 AR 주류광고 실행 이미지를 나타낸다. 도 7은 일 실시예에 따른 본 발명의 이미지 인식 기반 AR 컨텐츠 제공 방법에 기반한 AR 황룡사9층목탑 3D 모션 이미지를 나타낸다. 도 8은 일 실시예에 따른 본 발명의 이미지 인식 기반 AR 컨텐츠 제공 방법에 기반한 AR 통합어플 실행 이미지를 나타낸다.

본 개시에 따른 서버와의 네트워크 연결을 통해 이미지 인식 기반 증강현실(AR) 컨텐츠를 제공하는 어플리케이션은, (A) 사용자에 제공 가능한 AR 컨텐츠 분야의 정보를 포함하는 AR 이미지 리스트를 서버로부터 수신하고(S1030); (B) 상기 AR 이미지 리스트에 포함된 AR 컨텐츠 분야 중 AR 출력을 원하는 적어도 하나의 분야에 대한 사용자의 선택이 입력되고; (C) 선택된 분야의 AR 이미지의 정보를 서버에 요청하고, 요청한 분야의 적어도 하나의 미리 정해진 AR 이미지를 서버로부터 수신하여 메모리에 저장하고(S1040, S1050); (D) 카메라를 사용하여 이미지 트래킹을 수행하고(S1060); (E) 카메라가 저장된 AR 이미지 중 하나와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 트래킹된 이미지에 대응하는 AR 컨텐츠의 동영상을 요청하는 메시지를 서버에 전송하고(S1070); (F) 서버로부터 전송된 동영상 스트리밍 정보를 수신하고(S1080); 및 (G) 수신된 스트리밍 정보를 기반으로, 디스플레이 상에서, 트래킹된 이미지의 위치에 동영상을 실시간으로 AR 출력(S1090)하는 것을 수행할 수 있다. 상기 (G) 단계는, 트래킹된 이미지 위치에 동영상을 출력하기 위해 그린스크린 쉐이더로 알파처리 하는 것(S1090)을 포함할 수 있다.

개시된 내용은 예시에 불과하며, 특허청구범위에서 청구하는 청구의 요지를 벗어나지 않고 당해 기술분야에서 통상의 지식을 가진 자에 의하여 다양하게 변경 실시될 수 있으므로, 개시된 내용의 보호범위는 상술한 특정의 실시예에 한정되지 않는다.

본 실시예 및 본 명세서에 첨부된 도면은 상술한 기술에 포함된 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하다. 상술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서, 당해 기술분야의 통상의 기술자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 상술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

100: 이미지 인식 기반 AR 컨텐츠 제공 장치
200: 서버
300: 관리자
2010: 메모리
2020: 카메라
2030: 프로세서
2040: 디스플레이

Claims

삭제
삭제
삭제
삭제
서버와의 네트워크 연결을 통해 이미지 인식 기반 증강현실(AR) 컨텐츠를 제공하는 장치로서, 상기 장치는:
카메라;
데이터를 저장하는 메모리;
상기 메모리를 제어하는 프로세서;
카메라 촬영 이미지와 그 위에 중첩가능하게 표시되는 AR 컨텐츠를 출력하는 디스플레이; 를 포함하고,
상기 프로세서는,
사용자에 제공 가능한 AR 컨텐츠 분야의 정보를 포함하는 AR 이미지 리스트를 서버로부터 수신하고,
상기 AR 이미지 리스트에 포함된 AR 컨텐츠 분야 중 사용자가 선택한 AR 출력을 원하는 적어도 하나의 분야에 대한 정보를 수신하고,
사용자가 선택한 분야의 AR 이미지의 정보를 서버에 요청하고, 요청한 분야에 속하는 적어도 하나의 미리 정해진 AR 이미지를 서버로부터 수신하여 상기 메모리에 저장하며,
상기 카메라를 사용하여 이미지 트래킹을 수행하고,
카메라가 저장된 AR 이미지 중 하나와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 트래킹된 이미지에 대응하는 AR 컨텐츠의 동영상을 요청하는 메시지를 서버에 전송하고,
서버로부터 전송된 동영상 스트리밍 정보를 수신하고,
수신된 스트리밍 정보를 기반으로, 상기 디스플레이 상에서, 트래킹된 이미지의 위치에 동영상을 실시간으로 AR 출력하며,

상기 AR 컨텐츠 분야는, 광고 분야, 웨딩 분야, 관광 분야, 음식 분야, 출판 분야 및 엔터테인먼트 분야 중 적어도 하나를 포함하고,

사용자에 의해 광고 분야가 선택된 경우,
AR 이미지는 미리 정해진 광고제품, 광고모델, 제품로고, 지면광고 또는 외부간판과 관련된 적어도 하나의 이미지를 포함하고,
카메라가 저장된 광고 분야의 AR 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 프로세서는 연계된 광고 동영상을 트래킹된 이미지 위치에 실시간으로 AR 출력하며,

사용자에 의해 출판 분야가 선택된 경우,
AR 이미지는 미리 정해진 동화책 또는 컬러링북과 관련된 적어도 하나의 이미지를 포함하고,
카메라가 저장된 동화책 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 프로세서는연계된 움직이는 동화책 동영상을 트래킹된 동화책 이미지 위치에 실시간으로 AR 출력하고,
카메라가 저장된 컬러링북 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 프로세서는 컬러링 북에 칠해진 색이 그대로 구현된 이미지를 트래킹된 컬러링북 이미지 위치에 실시간으로 AR 출력하는, 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 장치.
서버와의 네트워크 연결을 통해 이미지 인식 기반 증강현실(AR) 컨텐츠를 제공하는 장치로서, 상기 장치는:
카메라;
데이터를 저장하는 메모리;
상기 메모리를 제어하는 프로세서;
카메라 촬영 이미지와 그 위에 중첩가능하게 표시되는 AR 컨텐츠를 출력하는 디스플레이; 를 포함하고,
상기 프로세서는,
사용자에 제공 가능한 AR 컨텐츠 분야의 정보를 포함하는 AR 이미지 리스트를 서버로부터 수신하고,
상기 AR 이미지 리스트에 포함된 AR 컨텐츠 분야 중 사용자가 선택한 AR 출력을 원하는 적어도 하나의 분야에 대한 정보를 수신하고,
사용자가 선택한 분야의 AR 이미지의 정보를 서버에 요청하고, 요청한 분야에 속하는 적어도 하나의 미리 정해진 AR 이미지를 서버로부터 수신하여 상기 메모리에 저장하며,
상기 카메라를 사용하여 이미지 트래킹을 수행하고,
카메라가 저장된 AR 이미지 중 하나와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 트래킹된 이미지에 대응하는 AR 컨텐츠의 동영상을 요청하는 메시지를 서버에 전송하고,
서버로부터 전송된 동영상 스트리밍 정보를 수신하고,
수신된 스트리밍 정보를 기반으로, 상기 디스플레이 상에서, 트래킹된 이미지의 위치에 동영상을 실시간으로 AR 출력하며,

상기 AR 컨텐츠 분야는, 광고 분야, 웨딩 분야, 관광 분야, 음식 분야, 출판 분야 및 엔터테인먼트 분야 중 적어도 하나를 포함하고,

사용자에 의해 광고 분야가 선택된 경우,
AR 이미지는 미리 정해진 광고제품, 광고모델, 제품로고, 지면광고 또는 외부간판과 관련된 적어도 하나의 이미지를 포함하고,
카메라가 저장된 광고 분야의 AR 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 프로세서는 연계된 광고 동영상을 트래킹된 이미지 위치에 실시간으로 AR 출력하며,

사용자에 의해 관광 분야가 선택된 경우,
AR 이미지는 미리 정해진 관광지 장소와 관련된 적어도 하나의 이미지를 포함하고,
카메라가 저장된 관광지의 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 프로세서는 대응하는 관광지와 연계된 동영상을 트래킹된 이미지 위치에 실시간으로 AR 출력하는, 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 장치.
서버와의 네트워크 연결을 통해 이미지 인식 기반 증강현실(AR) 컨텐츠를 제공하는 장치로서, 상기 장치는:
카메라;
데이터를 저장하는 메모리;
상기 메모리를 제어하는 프로세서;
카메라 촬영 이미지와 그 위에 중첩가능하게 표시되는 AR 컨텐츠를 출력하는 디스플레이; 를 포함하고,
상기 프로세서는,
사용자에 제공 가능한 AR 컨텐츠 분야의 정보를 포함하는 AR 이미지 리스트를 서버로부터 수신하고,
상기 AR 이미지 리스트에 포함된 AR 컨텐츠 분야 중 사용자가 선택한 AR 출력을 원하는 적어도 하나의 분야에 대한 정보를 수신하고,
사용자가 선택한 분야의 AR 이미지의 정보를 서버에 요청하고, 요청한 분야에 속하는 적어도 하나의 미리 정해진 AR 이미지를 서버로부터 수신하여 상기 메모리에 저장하며,
상기 카메라를 사용하여 이미지 트래킹을 수행하고,
카메라가 저장된 AR 이미지 중 하나와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 트래킹된 이미지에 대응하는 AR 컨텐츠의 동영상을 요청하는 메시지를 서버에 전송하고,
서버로부터 전송된 동영상 스트리밍 정보를 수신하고,
수신된 스트리밍 정보를 기반으로, 상기 디스플레이 상에서, 트래킹된 이미지의 위치에 동영상을 실시간으로 AR 출력하며,

상기 AR 컨텐츠 분야는, 광고 분야, 웨딩 분야, 관광 분야, 음식 분야, 출판 분야 및 엔터테인먼트 분야 중 적어도 하나를 포함하고,

사용자에 의해 광고 분야가 선택된 경우,
AR 이미지는 미리 정해진 광고제품, 광고모델, 제품로고, 지면광고 또는 외부간판과 관련된 적어도 하나의 이미지를 포함하고,
카메라가 저장된 광고 분야의 AR 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 프로세서는 연계된 광고 동영상을 트래킹된 이미지 위치에 실시간으로 AR 출력하며,

사용자에 의해 엔터테인먼트 분야가 선택된 경우,
AR 이미지는 미리 정해진 영화 또는 음악과 관련된 적어도 하나의 이미지를 포함하고,
카메라가 저장된 영화 관련 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 프로세서는 해당 영화와 연계된 동영상을 트래킹된 이미지 위치에 실시간으로 AR 출력하고,
카메라가 저장된 음악 관련 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 프로세서는 해당 음악과 연계된 동영상을 트래킹된 이미지 위치에 실시간으로 AR 출력하는, 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 장치.
제7항에 있어서,
상기 음악 관련 이미지는 앨범, 공연 포스터 또는 굿즈 상품 이미지 중 적어도 하나를 포함하고,
상기 음악과 연계된 동영상은, 콘서트, 공연영상 또는 뮤직비디오 중 적어도 하나를 포함하는, 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 장치.
서버와의 네트워크 연결을 통해 이미지 인식 기반 증강현실(AR) 컨텐츠를 제공하는 장치로서, 상기 장치는:
카메라;
데이터를 저장하는 메모리;
상기 메모리를 제어하는 프로세서;
카메라 촬영 이미지와 그 위에 중첩가능하게 표시되는 AR 컨텐츠를 출력하는 디스플레이; 를 포함하고,
상기 프로세서는,
사용자에 제공 가능한 AR 컨텐츠 분야의 정보를 포함하는 AR 이미지 리스트를 서버로부터 수신하고,
상기 AR 이미지 리스트에 포함된 AR 컨텐츠 분야 중 사용자가 선택한 AR 출력을 원하는 적어도 하나의 분야에 대한 정보를 수신하고,
사용자가 선택한 분야의 AR 이미지의 정보를 서버에 요청하고, 요청한 분야에 속하는 적어도 하나의 미리 정해진 AR 이미지를 서버로부터 수신하여 상기 메모리에 저장하며,
상기 카메라를 사용하여 이미지 트래킹을 수행하고,
카메라가 저장된 AR 이미지 중 하나와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 트래킹된 이미지에 대응하는 AR 컨텐츠의 동영상을 요청하는 메시지를 서버에 전송하고,
서버로부터 전송된 동영상 스트리밍 정보를 수신하고,
수신된 스트리밍 정보를 기반으로, 상기 디스플레이 상에서, 트래킹된 이미지의 위치에 동영상을 실시간으로 AR 출력하며,

사용자에 의해 음식 분야가 선택된 경우,
AR 이미지는 미리 정해진 음식과 관련된 적어도 하나의 이미지를 포함하고,
카메라가 저장된 음식 관련 이미지와 임계비율 이상 일치하는 이미지를 트래킹한 경우, 해당 음식의 재료, 요리과정 또는 먹는 방법과 관련된 동영상을 트래킹된 이미지 위치에 실시간으로 AR 출력하는, 이미지 인식 기반 증강현실(AR) 컨텐츠 제공 장치.
삭제
삭제
삭제