KR102138880B1 - ３ｄ 피사체 및 ３ｄ 영상을 이용한 ａｒ 간행물 서비스 제공 시스템 - Google Patents

Abstract

3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 시스템이 제공되며, 온라인 또는 오프라인 간행물을 촬영하고, 온라인 또는 오프라인 간행물 상에 위치한 2D 피사체 및 2D 배경화면과 연결되는 3D 피사체 및 3D 영상을 화면 상에 AR(Augmented Reality) 콘텐츠로 출력하는 사용자 단말, 및 온라인 또는 오프라인 간행물과, AR 콘텐츠를 매핑하여 저장하는 데이터베이스화부, 사용자 단말에서 온라인 또는 오프라인 간행물을 촬영하는 경우, 온라인 또는 오프라인 간행물 상에 포함된 적어도 하나의 AR 마커를 추출하는 추출부, 적어도 하나의 AR 마커를 기준으로 온라인 또는 오프라인 간행물 상에 위치한 2D 피사체 및 2D 배경화면과 연결되도록 3D 피사체 및 3D 영상을 화면 상에 출력되도록 제어하는 제어부를 포함하는 AR 간행물 서비스 제공 서버를 포함한다.

Description

３Ｄ 피사체 및 ３Ｄ 영상을 이용한 ＡＲ 간행물 서비스 제공 시스템{SYSTEM FOR PROVIDING AUGMENTED REALITY PUBLICATION SERVICE USING THREE DIMENSION OBJECT AND THREE DIMENSION VIDEO IMAGERY}

본 발명은 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 시스템에 관한 것으로, 매거진이나 화보 상에 AR 평면을 생성하여 3D 영상을 출력하고 2D 피사체를 3D 피사체로 전방향 이동가능하도록 깊이감 및 실재감을 주는 플랫폼을 제공한다.

가상현실이란 컴퓨터 등을 사용한 인공적인 기술로 만들어낸 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황 혹은 그 기술 자체를 의미한다. 즉, 인공적으로 만들어진 특별한 환경이지만, 사람에게는 마치 실재하는 환경 혹은 물리적인 공간인 것처럼 느껴지도록 만들어진 가상의 세계이다. 실재하는 현실과 가상의 객체가 어느 정도 혼합되어 있는 정도에 따라서 정의되는 증강현실은 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법으로 설명되기도 한다. 이와 같은 정의에 더하여, 실재하는 물체와 가상의 객체가 혼합되어 되어 나타나는 것을 폭넓게 포함하여 실재하는 공간 위에 그래픽 영상이 프로젝션되어 가상의 환경을 연출하는 미디어 파사드(Media Facade)와 같은 프로젝션 맵핑을 공간증강현실(Spatial Augmented Reality)이라고 한다.

이때, 3차원으로 증강현실의 객체를 표현하는 방법이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국공개특허 제2012-0122512호(2012년11월07일 공개)에는, 서비스 서버를 통해 수신받은 서비스 정보를 통해 클라이언트가 서비스 위치에 포토 서비스를 선택하고, 비스에 해당하는 가상객체가 존재하는 경우, 서비스 위치 영상에 가상객체를 적재하며, 서비스 위치 영상에 대한 깊이지도를 생성하고, 서비스 위치 영상을 깊이지도를 바탕으로 계층화를 수행하고, 가상객체를 계층화된 영상 사이에 삽입하고, 사용자의 컨텍스트 정보에 기반하여 영상을 정합하고, 정합된 영상을 이용하여 촬영하며, 촬영된 영상을 저장하는 구성을 개시한다.

다만, 상술한 방법으로 구현된 증강현실의 결과물들은 고정된 구조물 위에 미리 제작된 형태의 그래픽 영상이 영사되거나, 그 공간 위에 투영되는 형식이어서, 현대미술의 미디어 아트의 흐름에서 커다란 특징의 하나로 드러나는 시계열에 따른 변화가 없고, 관객과의 상호작용성을 제공하지 않기 때문에, 고전적인 의미에서의 증강현실 미디어 아트라고 할 수 있다. 또는, 상호작용적이라고 하더라도, 미리 카메라가 설정된 정해진 위치만 구현이 된다는 점과 이때 구현된 영상은 물체의 표면에 비추어진 2D의 이미지라는 것 때문에, 실제와 가상이 하나의 공간에 존재한다는 느낌을 충분하게 주지 못하는 한계를 가지고 있다.

본 발명의 일 실시예는, 화보나 매거진을 발행할 때, 인쇄물의 일부 또는 전부에 위치한 AR 마커를 이용하여 카메라의 자세나 위치를 측정하고, 화보나 매거진의 피사체가 AR 콘텐츠로 이어지는 연속성을 제공함으로써 실재감을 증대시키며, 3차원의 영상을 제공함으로써 3D 영화와 같은 현실감을 제공하고, 실재하는 현실의 공간 속에 가상의 객체가 구현되어 하나의 공간으로 융합된 형식으로 구현되는 증강현실을 제공함으로써 디지털 매체의 특성을 살릴 수 있는, 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 온라인 또는 오프라인 간행물을 촬영하고, 온라인 또는 오프라인 간행물 상에 위치한 2D 피사체 및 2D 배경화면과 연결되는 3D 피사체 및 3D 영상을 화면 상에 AR(Augmented Reality) 콘텐츠로 출력하는 사용자 단말, 및 온라인 또는 오프라인 간행물과, AR 콘텐츠를 매핑하여 저장하는 데이터베이스화부, 사용자 단말에서 온라인 또는 오프라인 간행물을 촬영하는 경우, 온라인 또는 오프라인 간행물 상에 포함된 적어도 하나의 AR 마커를 추출하는 추출부, 적어도 하나의 AR 마커를 기준으로 온라인 또는 오프라인 간행물 상에 위치한 2D 피사체 및 2D 배경화면과 연결되도록 3D 피사체 및 3D 영상을 화면 상에 출력되도록 제어하는 제어부를 포함하는 AR 간행물 서비스 제공 서버를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 화보나 매거진을 발행할 때, 인쇄물의 일부 또는 전부에 위치한 AR 마커를 이용하여 카메라의 자세나 위치를 측정하고, 화보나 매거진의 피사체가 AR 콘텐츠로 이어지는 연속성을 제공함으로써 실재감을 증대시키며, 3차원의 영상을 제공함으로써 3D 영화와 같은 현실감을 제공하고, 실재하는 현실의 공간 속에 가상의 객체가 구현되어 하나의 공간으로 융합된 형식으로 구현되는 증강현실을 제공함으로써 디지털 매체의 특성을 살릴 수 있다.

도 1은 본 발명의 일 실시예에 따른 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 AR 간행물 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), AR 간행물 서비스 제공 서버(300), 적어도 하나의 업로드 단말(400)을 포함할 수 있다. 다만, 이러한 도 1의 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 AR 간행물 서비스 제공 서버(300)와 연결될 수 있다. 그리고, AR 간행물 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 업로드 단말(400)과 연결될 수 있다. 또한, 적어도 하나의 업로드 단말(400)은, 네트워크(200)를 통하여 AR 간행물 서비스 제공 서버(300)와 연결될 수 있다.

여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5th Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.

적어도 하나의 사용자 단말(100)은, 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 AR 간행물에 대응하는 AR 콘텐츠를 출력하는 단말일 수 있다. 이를 위하여, 적어도 하나의 사용자 단말(100)은, 인쇄된 간행물에 대응하는 오프라인 간행물이나, 디스플레이에 출력되는 온라인 간행물을 촬영하는 단말일 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 촬영된 화면을 실시간으로 AR 간행물 서비스 제공 서버(300)로 전송하고, AR 간행물 서비스 제공 서버(300)에서 AR 마커를 추출한 후, 이에 대응하는 AR 콘텐츠를 스트리밍받아 출력하는 단말일 수 있다. 이때, 사용자 단말(100)의 자세 변경, 각도 변경이나 AR 마커와 사용자 단말(100) 간의 거리 변경이 존재하는 경우 이에 대응하여 변형 또는 변경된 AR 콘텐츠를 출력하는 단말일 수 있다. 또한, 사용자 단말(100)은, 사용자의 터치 또는 촬영화면 내 손가락의 위치나 모션 또는 제스처에 대응하여 인터랙션되는 AR 콘텐츠를 출력하는 단말일 수 있다. 그리고, 사용자 단말(100)은, 3D 피사체 및 3D 영상을 2D 피사체 및 2D 영상과 이어지도록 출력하는 단말일 수 있다.

여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

AR 간행물 서비스 제공 서버(300)는, 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, AR 간행물 서비스 제공 서버(300)는, 적어도 하나의 업로드 단말(400)로부터 온라인 또는 오프라인 간행물, AR 마커 및 AR 콘텐츠를 업로드받아 매핑하여 데이터베이스화하는 서버일 수 있다. 또한, AR 간행물 서비스 제공 서버(300)는, 기 설정된 모션, 제스처 및 터치에 대응하여 변형, 변경, 이동되는 인터랙션 콘텐츠를 AR 마커에 매핑하여 저장하는 서버일 수 있다. 그리고, AR 간행물 서비스 제공 서버(300)는, 사용자 단말(100)의 자세, 각도, 및 AR 마커와의 거리에 따라 AR 콘텐츠를 변형시키는 서버일 수 있다. 또한, AR 간행물 서비스 제공 서버(300)는, 온라인 또는 오프라인 간행물의 2D 피사체 및 2D 배경화면을, AR 콘텐츠의 3D 피사체 및 3D 영상과 매핑하여 저장하는 서버일 수 있다.

여기서, AR 간행물 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

적어도 하나의 업로드 단말(400)은, 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 온라인 또는 오프라인 간행물, AR 콘텐츠, AR 마커, 2D 피사체, 2D 배경화면, 3D 피사체 및 3D 영상을 업로드하는 직원 또는 관리자의 단말일 수 있다.

여기서, 적어도 하나의 업로드 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 업로드 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 업로드 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

도 2는 도 1의 시스템에 포함된 AR 간행물 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 및 도 4는 본 발명의 일 실시예에 따른 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, AR 간행물 서비스 제공 서버(300)는, 데이터베이스화부(310), 추출부(320), 제어부(330), 및 인터랙션부(340)를 포함할 수 있다.

본 발명의 일 실시예에 따른 AR 간행물 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100) 및 적어도 하나의 업로드 단말(400)로 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100) 및 적어도 하나의 업로드 단말(400)은, 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100) 및 적어도 하나의 업로드 단말(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.

도 2를 참조하면, 데이터베이스화부(310)는, 온라인 또는 오프라인 간행물과, 증강현실 콘텐츠를 매핑하여 저장할 수 있다. 이때, 적어도 하나의 업로드 단말(400)에서 온라인 또는 오프라인 간행물을 업로드하게 되는데, 오프라인 간행물은 디지털 데이터로 간행물이나 책자 등으로 인쇄되기 이전의 컴퓨터 파일을 의미할 수 있다. 또, 온라인 또는 오프라인 간행물은, 화보, 매거진, 및 음반앨범 중 어느 하나일 수 있지만, 열거된 것들로 한정되지는 않는다. 이때, 데이터베이스화부(310)는, 후술될 AR 콘텐츠를 출력하기 위하여, 업로드된 온라인 또는 오프라인 간행물을 AR 콘텐츠(증강현실 콘텐츠)와 매핑하여 저장해야 한다. AR 콘텐츠는, 화면 상에서 AR 마커를 기준으로 투사될 텍스트, 이미지 및 동영상을 포함하는데, 각각의 AR 콘텐츠가 출력될 XYZ 좌표값과 벡터값도 함께 가지고 있어야 한다. 그리고, AR 콘텐츠는, 사용자와의 상호작용, 즉 인터랙션을 위하여 모션, 터치, 제스처에 매핑된 텍스트, 이미지 및 동영상이나, 기 출력된 AR 콘텐츠의 변형된 텍스트, 이미지 및 동영상도 함께 데이터베이스화할 수 있다. 본 발명의 일 실시예에 따른 AR 콘텐츠는, 이미지 뿐만 아니라 동영상을 함께 포함하기 때문에 AR 콘텐츠는 적어도 하나의 일련의 시계열적인 영상 프레임을 포함하게 된다. 따라서, 영상 프레임을 되감기하거나 넘기기 또는 스킵하거나 정지하기 등 2D 콘텐츠에서 제공했던 UX/UI는 디폴트로 제공될 수 있고, 데이터베이스화부(310)는 UX/UI에 대응하도록 AR 콘텐츠를 제어하는 데이터도 디폴트로 저장할 수 있음은 자명하다 할 것이다.

추출부(320)는, 사용자 단말(100)에서 온라인 또는 오프라인 간행물을 촬영하는 경우, 온라인 또는 오프라인 간행물 상에 포함된 적어도 하나의 AR 마커를 추출할 수 있다. 이때, AR 마커는, 온라인 또는 오프라인 간행물의 적어도 하나의 영역에 위치할 수 있고, AR 마커는 온라인 또는 오프라인 간행물에 포함된 어느 영역에 대응할 수 있다. 예를 들어, 온라인 간행물 1 페이지에 나무 한 그루, 구름 한 점, 탁자 1 개, 의자 1 개가 1 내지 4 분면에 각각 분포한다고 가정하면, 이 자체를 모두 AR 마커로 사용함으로써 예술성을 해치지 않으면서도 모든 영역에 AR 마커를 둠으로써, 자세, 각도 및 거리 변화에 강인한 AR 콘텐츠를 제공할 수 있도록 한다. 물론, AR 마커를 화보나 앨범자켓사진과 별도로 인쇄하거나 위치시키는 것을 배제하지 않으며, 일부 영역에만 AR 마커를 위치하는 것도 가능함은 자명하다 할 것이다.

이때, 미리 정의된 영상이나 패턴을 추적하여 3D 모델, 단일 영상, 알파 영상 등의 컨텐츠를 시각화하는 마커(marker)기반 방식과 원 영상에서 컬러, 객체 또는 배경의 특징을 추출하여 추적할 목표 영상으로 사용하는 마커리스(markerless) 방식으로 구분할 수 있지만, 두 방식 모두 객체를 추적한다는 공통점이 있어 마커라는 용어를 사용하므로, 본 발명의 AR 마커는 두 가지의 방법을 모두 포함하는 것으로 정의한다. AR 마커는 증강현실의 주요 기능인 객체의 인식 및 추적(tracking)의 성능에 직접적으로 영향을 미치기 때문에 AR 마커를 관리하는 것은 증강현실 시스템을 구현하고 성능을 유지하는데 중요한 요소이다. 자연영상을 AR 마커로 사용할 때 영상 내에 객체의 분포가 특정 영역에 집중되어 있는 경우, 텍스처 등의 반복 패턴을 포함하는 경우, 조명 등에 의하여 영상의 일부분이 손실된 경우 등에 따라 AR 마커 인식 및 추적 성능에 차이가 있을 수 있다.

따라서, 본 발명의 일 실시예에서는, 특징점 분석을 통해 영상 내의 객체(촬영화면 내에 포함된 사람, 사물, 자연 등)의 분포 및 반복 패턴 포함 여부를 반영하여 마커를 평가하는 방법을 이용할 수 있다. 먼저 촬영된 화면에서 객체가 영상 전체에 고르게 분포하지 않고 일부분에 집중되어 있으면 가림 현상에 취약한 AR 마커가 될 수 있기 때문에, 객체가 마커영상 내에 고르게 분포하는지 판단하기 위하여 특징점의 위치에 대한 통계적 특성을 이용할 수 있다. 또한, 반복 패턴을 찾는 문제는, 일반 영상의 SIFT(Scale Invariant Feature Transform) 기술자의 분포가 가우시안 분포로 근사화될 수 있으므로, 이를 기반으로 AR 마커의 특징점 기술자에 대한 히스토그램과 가우시안 분포의 유사도를 측정함으로써 반복 패턴 포함 여부를 측정할 수 있다.

첫 번째로 SIFT 기법을 이용한 특징점 검출한다. SIFT는 크게 스케일 공간 극점 검출, 특징점 조정, 방향정보 할당, 특징점 기술자 생성 등의 과정을 거쳐 크기, 회전 및 조명 등의 변화에 강인한 특징점을 추출할 수 있다. 특징점 기술자는, 예를 들어, 특징점 주변의 16×16 픽셀을 16개의 4×4 블록으로 나눈 후 각 블록에 대해 8방향의 방향 히스토그램을 구하여 128차원의 벡터로 표현할 수 있다. 다양한 기술자 벡터를 가진 특징점이 많을수록 영상 내에서 객체를 추적하거나 인식하기 용이하고, 보통 자연영상은 다양한 특징점을 포함하기 때문에 AR 마커로 사용하면 우수한 증강현실 성능을 나타낼 수 있다. 하지만, 빌딩 등과 같이 인공적이고 반복되는 패턴을 포함하는 객체가 있는 영상은 특징점을 표현하는 기술자 벡터가 동일하거나 매우 유사한 값을 나타내므로 추적이나 인식과정에서 오정합 문제가 발생하게 된다. 이러한 기술자 벡터가 다수 포함된 영상은 마커로 사용하기 부적절하기 때문에, 기술자 벡터의 중복성에 기반하여 사용여부가 결정될 수 있다.

또한, SIFT 기법에서 특징점 조정 단계를 거친 특징점의 위치 좌표에 대한 통계적 특성, 즉 분산(Variance)을 구하여 특징점들이 영상 전체에 골고루 퍼져있는지 여부를 판단할 수 있으며, 분산이 낮은 경우에는 AR 마커에 대응하는 객체가 일부 영역에 몰려있어 약간의 가림에도 대부분의 특징점이 손실될 수 있고, 증강현실 성능이 저하될 수 있다. 이에 따라, 특징점 분포에 따라 마커를 평가하는 구성을 더 실행할 수 있다. SIFT 기법에 의해 추출된 특징점의 위치 좌표에 대한 통계적 특성 중에서 분산을 이용하여 마커영상의 부분적 가림 및 잡음 등의 영향을 판단하고 마커 평가 요소로 사용할 수 있다. 객체가 영상 전체에 골고루 분포하지 않고 일부 영역에 집중되어 있으면 특징점 좌표가 낮은 분산값을 갖고, 이는 x 또는 y 방향의 가림 현상에 의해 많은 객체 및 특징점이 소실될 가능성이 높음과 동시에 가림 현상에 취약한 AR 마커이므로 선택하지 않는 것이 좋다. 그 역도 마찬가지로 성립한다.

만약, 반복 패턴이 존재할 경우 SIFT 기법에 의해 추출된 특징점, 특히 기술자 벡터의 각 성분이 중복되거나 유사한 값을 갖는다. 이를 확인하기 위해서 각 기술자 벡터를 비교해야 하는데 128차원의 벡터를 직접 비교하는 과정은 매우 비효율적이다. 이에 따라, 촬영화면 내에서 평균 기술자 벡터를 구하고, 각 기술자 벡터와 평균 기술자 벡터와의 거리를 이용함으로써 차원을 줄이는 효과를 얻을 수 있다. 반복 패턴 영상을 비롯한 다양한 영상에 대해 생성한 히스토그램을 보면, 일반적인 자연영상은 가우시안 분포에 가까운 모양을 보이는 반면, 반복패턴 영상은 정형화되지 않는 모양으로 나타난다는 점을 이용한다. 이는 일반 영상이 다양한 요소로 이루어진 특징점을 풍부하게 가지고 있기 때문에 평균 기술자 벡터와의 거리가 가우시안 분포를 보이는 반면, 반복 패턴 영상은 기술자 벡터의 많은 성분이 중복되어 평균 기술자 벡터와의 거리가 특정 성분에 집중되기 때문이다. 이에 따라, 히스토그램 분포, 평균 및 분산을 파라미터로 하는 가우시안 분포와의 차이를 이용하여 반복 패턴 마커영상을 평가할 수 있다.

제어부(330)는, 적어도 하나의 AR 마커를 기준으로 온라인 또는 오프라인 간행물 상에 위치한 2D 피사체 및 2D 배경화면과 연결되도록 3D 피사체 및 3D 영상을 화면 상에 출력되도록 제어할 수 있다. 예를 들어, 2D 피사체가 A라는 연예인이라고 가정하자. 이때, 3D 피사체는, 2D 피사체가 존재하는 XY 평면과 평행하고, Z축의 높이가 다른 평면(이하, AR 평면이라 한다)에 존재하고 있다. 이때, 시간이 지나면서, AR 평면상에서 A라는 연예인이 2D 피사체가 있었던 자리와 동일한 자리의 AR 평면상에서 XY 평면을 기준으로 상하좌우로 움직일 수도 있고, Z축으로 이동을 할 수도 있다. 이렇게 구현을 하게 되면, 마치 매거진의 고정된 A 연예인이 살아서 움직이는 듯한 실재감을 느낄 수 있게 된다. 또, 시작점은 2D 피사체가 있었던 자리에서 시작하기 때문에, 실제로 무생물이었던 존재가 생명이 있는 존재로 살아나는 것과 같은 효과를 얻을 수 있다. 물론, 2D 피사체가 존재하던 자리에서 시작하는 것 이외에도 다른 영역이나 위치에서 시작하는 것도 물론 배제하는 것은 아니다. 또, 3D 피사체인 A 연예인이 AR 평면 뿐만 아니라, 화면 앞으로도 또는 뒤로도 걸어가는 깊이감을 주기 때문에 3D 영화를 보는 것과 같은 생동감을 줄 수도 있다.

이를 위하여, 제어부(330)는, 우선 사용자 단말(100)의 자세, 즉 사용자가 어떠한 각도로 핸드폰을 들고 있는지, 촬영되고 있는 화면에 포함된 피사체와의 거리는 어느 정도인지 등을 파악해야 한다. 이를 위하여, 제어부(330)는, 실내 공간의 객체를 3차원으로 세그멘테이션하고 3차원 자세를 추정할 수 있다. 이때, 화면에 비추어지는 실내공간은 다수의 평면구조로 이루어져 있다고 가정하자. 이 가정을 바탕으로 RANSAC(Random Sample Consensus) 기반의 평면 세그멘테이션(Segmentation)을 사용하여 공간에서 평면객체들을 추출할 수 있다. 평면객체들이 추출된 후, 제어부(330)는, 실내공간을 구성하는 평면객체의 평면모델 계수(Coefficient), 평면을 구성하는 점들의 좌표를 얻을 수 있다. 추출된 평면에서 카메라와 실내공간의 상대적인 배치 환경을, 바닥 평면의 중심점은 카메라보다 아래에 위치하고, 카메라의 업 벡터(Up Vector)와 바닥 평면의 정상 벡터(Normal Vector) 각도는 임계치 범위 내라고 가정하면, 바닥평면을 찾을 수 있다. 제어부(330)는, 바닥평면을 찾은 후에는 바닥면 위의 포인트 클라우드(Point Cloud)에 유클라디안 클러스터링(Euclidean Clustering)을 사용하여 실내 공간의 객체 영역을 구분할 수 있다. 이를 통하여, 실 객체와 가상 객체간의 인터랙션이 가능하다. 그리고 정확한 공간 구조의 3차원 자세 추정을 위해서 PCA(Principal Component Analysis)와 MBR (Minimum Bounding Rectangle)을 사용하여 평면 객체의 바운딩 박스(Bounding box)를 추출할 수 있으나, 이에 한정되는 것은 아니다.

실 객체와 가상 객체 간의 3차원 기반의 인터랙션을 구현하기 위해서 입력 포인트 클라우드를 실시간으로 3D 메쉬(Mesh)로 복원하고 메쉬 기반의 객체 충돌을 사용할 수 있다. 3D 메쉬는 입력 프레임의 포인트 클라우드와, 정상 벡터에 GST(Greedy Surface Triangulation) 알고리즘을 적용하여 복원할 수 있는데, 이 과정을 통하여 실 객체에서 복원된 메쉬와 가상 객체인 AR 콘텐츠는 같은 3차원 세계에 표현될 수 있고, 객체 충돌 및 물리 엔진을 통한 객체 변형 등이 가능하게 된다

이때, 3D 피사체는, 온라인 또는 오프라인 간행물 상의 2D 피사체와 동일한 피사체이고, 3D 피사체 및 3D 영상은, 온라인 또는 오프라인 간행물 상에서 적어도 하나의 영상 프레임에 의해 시계열적으로 움직일 수 있다. AR 콘텐츠는, 영상화보, 영상매거진, 및 뮤직비디오 중 어느 하나일 수 있다. 3D 피사체 및 3D 영상은, 온라인 또는 오프라인 간행물의 XY 평면상에서 Z축 방향으로 평행된 AR 면 상에 프로젝트(Project)될 수 있다. 그리고, 3D 피사체는 AR 면의 XYZ축 상하부로 이동하는 콘텐츠일 수 있다. 예를 들어, AR 평면 상에서만 움직이는 경우 2차원의 매거진이 그대로 공중에 떠있는 것과 같은 효과만을 주게 되므로, 3D 피사체가 사용자를 향해서 걸어오거나 또는 사용자를 등지고 걸어가는 등으로 Z축을 기준으로 이동을 시킬 수도 있다.

인터랙션부(340)는, 사용자 단말(100)에서 터치 패드의 터치 또는 촬영 화면 상에 모션이 감지된 경우, 터치 또는 모션에 대응하도록 반응하는 기 저장된 AR 콘텐츠를 사용자 단말(100)에서 출력되도록 할 수 있다. 인터랙션부(340)는, 손의 위치를 파악하고 손의 위치나 제스처에 따라 AR 콘텐츠가 반응하도록, 즉 인터랙션하도록 할 수도 있다. 이를 위해서는, 카메라를 통하여 입력되는 손의 위치, AR 위치, 카메라의 위치와 각도, AR 마커의 위치 등을 알아야 한다. 예를 들어, 깊이 카메라가 설치되는 경우, 깊이 카메라 근처에는 깊이 카메라의 위치를 알 수 있게 하는 마커가 부착된다. 깊이 카메라 앞에 증강현실 카메라(사용자 단말(100)의 카메라)의 위치를 알 수 있게 하고 가상 물체를 표시하기 위한 마커인 AR 마커가 놓여진다. 위와 같은 상태에서 증강현실 카메라가 깊이 카메라 마커와 증강현실 마커를 둘다 동시에 볼 경우에 깊이 카메라 마커가 증강현실 마커에 상대적으로 어디에 놓여져 있는지를 알 수가 있다. 편의상 증강현실 마커가 원점(0,0,0)이라고 설정하는 경우, 깊이 카메라 마커와 깊이 카메라의 위치는 같거나 가깝기 때문에 깊이 카메라의 위치를 알 수가 있다. 깊이 카메라는 고정이 되어 있으므로 이 위치를 계속 사용하면 된다. 그 다음으로, 증강현실 카메라가 증강현실 마커를 보고 있을 경우에 증강현실 카메라의 위치는 증강현실 마커를 기준으로 산출가능하다.

또, 깊이 카메라가 손을 보고 있을 경우에도 손과 손가락의 상대적인 위치를 알수 있으며, 세 번째로 깊이 카메라의 위치를 알고 있고, 깊이 카메라에서 손의 상대적인 위치도 알고 있는 경우, 손이 원점에서 얼마나 떨어져 있는지를 알 수 있다. 또한 증강현실 카메라의 위치도 알고 있기 때문에, 증강현실 카메라에서 손이 어떻게 그려지는가는 프로젝션(Projection)을 통하여 구할 수가 있다. 이렇게 손의 위치나 제스처가 파악되는 경우, 다양한 제스쳐 인식 및 인터랙션이 가능하게 된다. 증강되어 나타나는 연예인과 자연스러운 인터랙션을 하기 위하여 필요한 동작을 구성할 수 있다. 예를 들어, 간식을 주는 손바닥을 위로 하고 내미는 동작과 손등을 위로하고 쓰다듬는 동작 등을 구현할 수 있으며, 손바닥을 인식하고 제스처를 인식하는 경우, 연예인이 고개를 숙여 인사를 하거나 웃거나 하트모양을 만드는 등의 반응을 나타낼 수도 있다. 각각 손 동작들을 구별하기 위하여 사용한 방법은 SVM(Support Vector Machine)으로 데이터 그룹들 사이에 구분을 지어주는 서포트 벡터(Support Vector)를 찾아서 그 사이를 구별하는 방법을 이용할 수 있다. 다만, 이에 한정되는 것은 아니다.

상술한 구성으로 인하여, 사용자 단말(100)은, 온라인 또는 오프라인 간행물을 촬영하고, 온라인 또는 오프라인 간행물 상에 위치한 2D 피사체 및 2D 배경화면과 연결되는 3D 피사체 및 3D 영상을 화면 상에 AR 콘텐츠로 출력할 수 있게 된다.

이하, 상술한 도 2의 AR 간행물 서비스 제공 서버의 구성에 따른 동작 과정을 도 3을 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.

도 3을 참조하면, (a) AR 간행물 서비스 제공 서버(300)는 사용자 단말(100)에서 간행물을 촬영하는 경우, 적어도 하나의 AR 마커를 추적하고 카메라(사용자 단말(100)의 카메라)의 자세를 추정하고 각도나 거리를 측정한다. 그리고, (b) 사용자 단말(100)의 촬영화면 내에서 AR 콘텐츠, 즉 3D 피사체와 3D 영상이 출력되도록 하고, 3D 피사체는, AR 평면상에 존재하는 3D 영상과는 다르게 Z축을 중심으로 상하로 이동할 수 있다. 물론, 3D 영상 자체도, AR 평면상에만 머무르지 않고 Z축을 중심으로 계층인 레이어를 이루거나 적층되는 방식으로 깊이감을 주는 것도 가능하다.

(c) 그리고, AR 간행물 서비스 제공 서버(300)는, AR 평면 상에 적어도 하나의 일련의 시계열 순서로 이루어지는 영상 프레임을 출력하는데, (c)와 같이 영상 프레임이 모두 나열된 것이 아니라, 하나의 프레임이 정해진 프레임 레이트(Prame Rate)마다 이동하며 하나의 화면에 영화와 같이 보여주는 방법이다. 또, (d)와 같이 3D 피사체는 AR 평면에만 머무르는 것이 아니라, Z축으로 이동하기도 하고, AR 평면 밖을 벗어날 수도 있으며, 다양한 각도를 가지면서 진행도 가능하다.

도 4a를 참조하면, 화보집이 탁자 위에 올려진 상태를 도시하는데, 초록색으로 표시된 부분이 AR 마커가 AR 콘텐츠로 표시된 부분이다. 원래 화보집에 인쇄된 상태의 AR 마커는, 초록색 부분의 하부에 표시된 검정색 부분이고, 도 4c를 참조하면 인쇄된 AR 마커(검정색)와, AR 콘텐츠 내의 AR 마커(초록색)를 잘 구분할 수 있다. 도 4d 내지 도 4f 같이 AR 평면과 3D 피사체(AR 콘텐츠 내의 AR 마커가 3D 피사체로 구현된 일 실시예임)는 동일 평면에 존재하지 않을 수 있다.

도 4g를 보면, 또 다른 화보집인데, 이 경우 화보집 사진의 사각형 자체를 AR 마커로 이용하거나, 화보집을 이루는 사각형(화보집의 테두리)을 에지검출하여 AR 마커로 활용한 일 실시예이다. 이때, 도 4h와 같이 초록색 부분으로 3D 피사체가 출력되며, AR 평면 상에 영상이 플레이되기 시작하면서, 앉아있던 남성(3D 피사체)가 일어나면서 점차적으로 이동하기 시작한다. 시간이 지나면서 3D 피사체인 남성은, 도 4i 및 도 4j와 같이 앞으로 전진할 수도 있고, 뒤로 물러날 수도 있다. 또, 원근법 및 입체감을 주기 위하여, 도 4k와 같이 AR 평면 내에서도 남성 이외에 바닥면, 배경 등을 서로 다른 깊이를 주어 레이어를 이루도록 배치를 할 수도 있다. 도 4l과 같이 영상이 진행되면서 3D 피사체와 3D 영상은 함께, 그리고 또 따로 스트리밍될 수 있고, AR 콘텐츠의 플레이가 끝나면 3D 피사체 및 3D 영상은 촬영화면 상에 사라지고 실 세계의 피사체만 남게 된다.

이와 같은 도 2 내지 도 4의 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5는 본 발명의 일 실시예에 따른 도 1의 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 5를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 5에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 5를 참조하면, AR 간행물 서비스 제공 서버는, 온라인 또는 오프라인 간행물과, 증강현실 콘텐츠를 매핑하여 저장하고(S5100), 사용자 단말에서 온라인 또는 오프라인 간행물을 촬영하는 경우, 온라인 또는 오프라인 간행물 상에 포함된 적어도 하나의 AR 마커를 추출한다(S5200).

그리고, AR 간행물 서비스 제공 서버는, 적어도 하나의 AR 마커를 기준으로 온라인 또는 오프라인 간행물 상에 위치한 2D 피사체 및 2D 배경화면과 연결되도록 3D 피사체 및 3D 영상을 화면 상에 출력되도록 제어한다(S5300).

상술한 단계들(S5100~S5300)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S5100~S5300)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 5의 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5를 통해 설명된 일 실시예에 따른 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (7)

1. 온라인 또는 오프라인 간행물을 촬영하고, 상기 온라인 또는 오프라인 간행물 상에 위치한 2D 피사체 및 2D 배경화면과 연결되는 3D 피사체 및 3D 영상을 화면 상에 AR(Augmented Reality) 콘텐츠로 출력하는 사용자 단말; 및
   온라인 또는 오프라인 간행물과, AR 콘텐츠를 매핑하여 저장하는 데이터베이스화부, 상기 사용자 단말에서 온라인 또는 오프라인 간행물을 촬영하는 경우, 상기 온라인 또는 오프라인 간행물 상에 포함된 적어도 하나의 AR 마커를 추출하는 추출부, 상기 적어도 하나의 AR 마커를 기준으로 상기 온라인 또는 오프라인 간행물 상에 위치한 2D 피사체 및 2D 배경화면과 연결되도록 3D 피사체 및 3D 영상을 화면 상에 출력되도록 제어하는 제어부를 포함하는 AR 간행물 서비스 제공 서버;를 포함하되,
   상기 3D 피사체 및 3D 영상은, 상기 온라인 또는 오프라인 간행물의 XY 평면상에서 Z축 방향으로 평행된 AR 면 상에 프로젝트(Project)되고,
   상기 3D 피사체는 상기 AR 면의 XYZ축 상하부로 이동하는 콘텐츠인 것을 특징으로 하는 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 시스템.
   
2. 제 1 항에 있어서,
   상기 3D 피사체는, 상기 온라인 또는 오프라인 간행물 상의 2D 피사체와 동일한 피사체이고,
   상기 3D 피사체 및 3D 영상은, 상기 온라인 또는 오프라인 간행물 상에서 적어도 하나의 영상 프레임에 의해 시계열적으로 움직이는 것을 특징으로 하는 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 시스템.
   
3. 제 1 항에 있어서,
   상기 온라인 또는 오프라인 간행물은, 화보, 매거진, 및 음반앨범 중 어느 하나이고,
   상기 AR 콘텐츠는, 영상화보, 영상매거진, 및 뮤직비디오 중 어느 하나인 것을 특징으로 하는 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 시스템.
   
4. 삭제
5. 삭제
6. 제 1 항에 있어서,
   상기 AR 마커는, 상기 온라인 또는 오프라인 간행물의 적어도 하나의 영역에 위치하는 것을 특징으로 하는 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 시스템.
   
7. 제 1 항에 있어서,
   상기 AR 간행물 서비스 제공 서버는,
   상기 사용자 단말에서 터치 패드의 터치 또는 촬영 화면 상에 모션이 감지된 경우, 상기 터치 또는 모션에 대응하도록 반응하는 기 저장된 AR 콘텐츠를 상기 사용자 단말에서 출력되도록 하는 인터랙션부;
   를 더 포함하는 것을 특징으로 하는 3D 피사체 및 3D 영상을 이용한 AR 간행물 서비스 제공 시스템.

Images