KR20190098293A

KR20190098293A - 프로젝션 매핑 장치 및 시스템

Info

Publication number: KR20190098293A
Application number: KR1020180017148A
Authority: KR
Inventors: 박상현
Original assignee: 박상현
Priority date: 2018-02-12
Filing date: 2018-02-12
Publication date: 2019-08-22
Also published as: KR102013622B1

Abstract

본 발명은 프로젝션 매핑 장치 및 시스템에 관한 것으로서, 인쇄물에 포함된 마커를 인식하여 해당하는 컨텐츠를 인쇄물 위에 프로젝션 방식으로 출력하는 장치 및 시스템에 관한 것이다.
본 발명에 따른 프로젝션 매핑 장치는 인쇄물에 포함된 마커를 촬영하는 촬영부; 상기 촬영부에서 촬영된 마커에 포함된 마커정보를 인식하여 상기 마커정보에 대응되는 출력정보를 생성하는 제어부; 및 상기 제어부로부터 출력정보를 전달받아 상기 인쇄물 또는 임의의 공간에 상기 출력정보에 대응되는 컨텐츠를 프로젝션방식으로 출력하는 출력부; 를 포함한다.

Description

프로젝션 매핑 장치 및 시스템 {APPARATUS AND SYSTEM FOR PROJECTION MAPPING}

본 발명은 프로젝션 매핑 장치 및 시스템에 관한 것으로서, 인쇄물에 포함된 마커를 인식하여 해당하는 컨텐츠를 인쇄물 위에 프로젝션 방식으로 출력하는 장치 및 시스템에 관한 것이다.

디지털 미디어가 발달함에 따라 전자책, 웹툰 등 기존 매체의 스토리텔링에서 확장된 디지털스토리텔링이라는 새로운 개념이 등장하였다.

그러나 이러한 디지털 미디어의 발달에도 불구하고 여전히 대부분의 사람들은 종이책을 이용해 정보를 취득하고 독서를 수행하고 있으며, 이러한 종이책은 인쇄물이라는 한정성에 의해 그 내용에 따라 다양한 컨텐츠를 즐기지 못하는 한계가 있다.

한국등록특허 제10-1301501호 한국공개특허 제10-2016-0021391호

이에 본 발명은 인쇄물에 포함된 마커를 인식하여 해당하는 컨텐츠를 인쇄물 위에 프로젝션 방식으로 출력하는 장치 및 시스템을 제공하여 사용자로 하여금 인쇄물의 내용에 따라 다양한 화상 컨텐츠를 즐길 수 있도록 하는데 그 목적이 있다.

본 발명에 따른 프로젝션 매핑 장치는 인쇄물에 포함된 마커를 촬영하는 촬영부; 상기 촬영부에서 촬영된 마커에 포함된 마커정보를 인식하여 상기 마커정보에 대응되는 출력정보를 생성하는 제어부; 및 상기 제어부로부터 출력정보를 전달받아 상기 인쇄물 또는 임의의 공간에 상기 출력정보에 대응되는 컨텐츠를 프로젝션방식으로 출력하는 출력부; 를 포함함한다.

본 발명에 따른 프로젝션 매핑 장치는 다수의 마커정보와 상기 마커정보에 대응되는 출력정보를 저장하는 저장부; 를 더 포함하고, 상기 제어부는 상기 마커정보를 인식하여 상기 저장부에 저장된 다수의 마커정보 중 상기 인식된 마커정보에 대응되는 마커정보와 출력정보를 추출한다.

본 발명에 따른 프로젝션 매핑 장치는 상기 제어부에서 인식된 마커정보를 외부의 서버로 전송하고, 상기 서버로부터 상기 마커정보에 해당하는 출력정보를 수신받아 상기 제어부에 전달하는 통신부; 를 더 포함한다.

본 발명에서 상기 마커정보는 상기 인쇄물 식별자 및 상기 인쇄물 페이지번호를 포함하고, 상기 출력정보는 상기 마커정보에 포함된 상기 인쇄물 식별자 및 상기 인쇄물 페이지번호에 대응되는 컨텐츠로 상기 인쇄물 페이지에 표시되어야 할 이미지, 영상, 텍스트 중 적어도 하나를 포함한다.

본 발명에서 상기 마커는 상기 인쇄물에 직접 인쇄되거나 상기 인쇄물에 스티커 형태로 부착가능하다.

본 발명에서 상기 마커는 상기 인쇄물 또는 상기 스티커 형태에 적외선 잉크로 인쇄되며, 상기 촬영부는 적외선 영상 촬영장치로 구성된다.

본 발명에서 상기 마커정보는 상기 인쇄물에서 출력정보가 표시되어야 할 위치와 방향정보를 포함하고, 상기 출력부는 상기 출력정보에 대응되는 컨텐츠를 상기 마커정보에 포함된 상기 위치와 방향정보에 따라 출력한다.

본 발명에 따른 프로젝션 매핑 장치는 상기 인쇄물을 구독하는 사용자를 촬영하여 시선은 인식하는 시선인식부; 를 더 포함하고, 상기 출력부는 상기 시선인식부에서 인식된 사용자의 시선을 이용하여 상기 사용자의 시선에서 3차원 컨텐츠가 정방향으로 표시되도록 상기 출력정보에 대응되는 컨텐츠를 영상처리하여 출력한다.

본 발명에서 상기 촬영부는 상기 출력부에서 컨텐츠가 출력되는 상태의 상기 인쇄물을 촬영하고, 상기 인쇄물이 움직이면 상기 제어부는 상기 촬영부에서 촬영된 인쇄물의 움직임에 따라 기설정된 출력명령을 상기 출력부에 전달하고, 상기 출력부는 상기 출력명령에 따라 상기 인쇄물에 출력중인 컨텐츠를 동적으로 변환하여 출력한다.

본 발명에서 상기 촬영부는 상기 출력부에서 컨텐츠가 출력되는 상태의 상기 인쇄물을 촬영하고, 상기 인쇄물에 기설정된 또 다른 마커가 추가되면, 상기 제어부는 상기 촬영부에서 촬영된 상기 또 다른 마커에 따라 기설정된 출력명령을 상기 출력부에 전달하고, 상기 출력부는 상기 출력명령에 따라 상기 인쇄물에 출력중인 컨텐츠를 동적으로 변환하여 출력한다.

본 발명에서 상기 프로젝션 매핑 장치는 스탠드 장치의 내부에 구비되며, 상기 스탠드 장치는 스탠드 갓, 스탠드 암, 스탠드 지지대로 구성되며, 상기 스탠드 갓 안쪽에는 상기 촬영부, 상기 출력부 및 적외선 광원을 조사하는 조명부가 구비되고, 상기 스탠드 암은 상기 스탠드 갓과 상기 스탠드 지지대 사이를 연결하며, 상기 스탠드 갓의 각도를 조절할 수 있는 형태로 구비되고, 상기 스탠드 지지대에는 상기 제어부 및 통신부와 상기 프로젝션 매핑 장치 및 조명부에 전원을 공급하는 전원부가 구비된다.

본 발명에 따른 프로젝션 매핑 시스템은 프로젝션 매핑 장치; 상기 통신부와 통신망을 통해 연결되어 상기 통신부로부터 상기 마커정보를 수신받아 상기 마커정보에 대응되는 출력정보를 기저장된 다수의 매핑데이터에서 검색하여 검색된 출력정보를 상기 통신부로 전송하는 서버; 및 다수의 마커정보와 상기 마커정보에 각각 대응되는 출력정보를 매핑하여 상기 매핑데이터로 저장하는 데이터베이스; 를 포함한다.

본 발명에 따른 프로젝션 매핑 시스템은 프로젝션 매핑 장치; 상기 통신부와 통신망을 통해 연결되어 상기 통신부로부터 상기 마커정보를 수신받아 상기 마커정보에 대응되는 출력정보를 기저장된 매핑데이터에서 검색하여 검색된 출력정보를 상기 통신부로 전송하는 서버; 다수의 마커정보와 상기 마커정보에 각각 대응되는 출력정보를 매핑하여 상기 매핑데이터로 저장하는 데이터베이스; 및 상기 서버와 통신망을 통해 연결되어 상기 데이터베이스에 저장된 상기 다수의 마커정보에 대응되는 출력정보를 생성하거나 수정하는 사용자단말; 를 포함한다.

본 발명에서 상기 매핑데이터에는 상기 마커정보에 대응되는 상기 인쇄물 페이지의 요약정보가 더 포함되며, 상기 사용자단말은 상기 서버를 통해 상기 데이터버이스에 저장된 상기 다수의 마커정보와 상기 마커정보에 대응되는 요약정보를 수신받아 표시한다.

본 발명에서 상기 사용자단말은 상기 다수의 마커정보 중 어느 하나의 마커정보가 선택되면, 상기 마커정보에 대응되는 출력정보를 상기 요약정보를 참조하여 수정 또는 설정할 수 있는 출력설정메뉴를 제공한다.

본 발명에서 상기 출력설정메뉴는 컨텐츠의 종류로 이미지, 영상, 텍스트 중 어느 하나를 선택할 수 있는 메뉴와, 선택된 컨텐츠의 종류에 따라 컨텐츠를 입력할 수 있는 메뉴를 포함한다.

본 발명에 따르면 사용자는 인쇄물의 마커를 통해 다양한 화상 컨텐츠를 즐길 수 있으며, 인쇄물의 내용에 따라 그리고 인쇄물의 움직임이나 부가되는 마커에 따라 화상 컨텐츠를 부가적으로 제어할 수 있도록 하여 실제현실에 가상현실을 혼합한 혼합현실(MR, Mixed Reality) 컨텐츠를 즐길 수 있도록 할 수 있다.

또한 인쇄물에 표시될 화상 컨텐츠를 사용자 단말을 통해 사용자가 직접 설정하거나 편집할 수 있도록 하여 사용자가 능동적으로 개입할 수 있고, 이를 통해 사용자 맞춤형의 컨텐츠를 제공할 수도 있다.

도 1은 본 발명의 일 실시 예에 따른 프로젝션 매핑 시스템의 개략적인 구성도이다.
도 2는 본 발명의 일 실시예에 따른 프로젝션 매핑 장치의 실시 예이다.
도 3은 본 발명의 일 실시예에 따른 프로젝션 매핑 장치의 동적 변환 출력에 대한 예시이다.
도 4는 본 발명의 다른 실시예에 따른 프로젝션 매핑 장치의 동적 변환 출력에 대한 예시이다.

이하에서, 본 발명의 바람직한 실시예가 첨부된 도면들을 참조하여 설명할 것이다. 또한 본 발명을 설명함에 있어서 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

도 1은 본 발명의 일 실시 예에 따른 프로젝션 매핑 시스템의 개략적인 구성도이다.

도 1을 참조하면 프로젝션 매핑 시스템(1000)은 촬영부(110), 제어부(120), 출력부(140), 통신부(130)를 포함하는 프로젝션 매핑 장치(100)와 서버(200), 데이터베이스(210), 사용자단말(220)을 포함하여 구성된다.

프로젝션 매핑 장치(100)는 인쇄물(10)에 포함된 마커(11)를 인식하여 해당하는 컨텐츠를 인쇄물(10)에 프로젝션 방식으로 출력하는 구성으로, 인쇄물(10)이라는 실제세계에 프로젝션 방식의 컨텐츠라는 가상현실을 제공하여 사용자에게 혼합현실을 제공하는 구성이다.

인쇄물(10)은 책이나 잡지 뿐 아니라 신문, 개별 출력물, 홍보물, 교육용 카드 등을 포함할 수 있다.

먼저 촬영부(110)는 인쇄물(10)에 포함된 마커(11)를 촬영하는 구성으로, 카메라 또는 캠코더 등의 영상 촬영 장치가 적용된다.

촬영부(110)는 인쇄물(10)의 상단에 배치되어 인쇄물(10)에 포함된 마커(11)를 촬영해야 하므로, 인쇄물(10)이 놓여지는 공간의 상단에서 하단의 인쇄물(10)을 향하도록 배치되는 것이 바람직하며, 인쇄물(10)이 놓여지는 공간 예컨대 책상의 경우 책상 상단의 전 영역을 촬영할 수 있는 화각을 제공하는 것이 바람직하다.

촬영부(110)는 인쇄물(10)이 놓여진 공간 전체를 촬영하게 되는데 촬영부(110)에서 촬영이 이루어지면, 다음으로 제어부(120)는 촬영된 영상에서 마커(11)의 형태를 구별하여 마커(11)를 인식하고 마커(11)에서 마커정보를 추출한다. 마커(11)는 예컨대 QR코드나 바코드의 형태로 구현되어 코드 내에 특정 정보를 포함하고 있다.

이러한 마커(11)는 일반 잉크로 인쇄될 수도 있으나, 적외선 잉크로 인쇄될 수 있으며, 적외선 잉크로 인쇄되어 잇는 경우, 마커(11)를 촬영하는 촬영부(110)는 적외선 촬영에 특화된 카메라를 적용해야하며, 이때 촬영부(110)는 적외선 영역만을 촬영하게 되므로 가시광선 영역에 해당하는 인쇄물의 내용이나 출력부(140)에서 출력되는 컨텐츠들은 촬영부(110)에서 촬영되지 않는다.

마커정보는 책의 종류 및 페이지에 대한 정보를 포함하는 것으로, 인쇄물 식별자와 인쇄물 페이지번호를 포함하게 된다.

따라서 제어부(120)는 촬영부(110)에서 촬영된 마커(11)로부터 인쇄물(10)의 종류를 식별하고 해당 페이지를 식별할 수 있는 마커정보를 얻을 수 있게 된다.

제어부(120)가 마커정보를 인식하면 이러한 마커정보에 대응되는 출력정보를 생성하여 출력부(140)에 전달하게 된다.

출력정보는 출력부(140)를 통해 프로젝션 방식으로 인쇄물(10)에 출력하게 되는 컨텐츠에 대한 정보이며, 이러한 출력정보는 제어부(120) 내부 또는 외부에 구성된 저장부(미도시)에 저장되어 있을 수 있는데 저장부에는 다수의 마커정보와 각각의 마커정보에 대응되는 출력정보가 저장되어 있다.

제어부(120)는 마커정보를 인식하면 저장부에 저장된 다수의 마커정보 중 인식된 마커정보를 추출하여 추출된 마커정보에 대응되어 저장된 출력정보를 추출하여 출력부(140)에 전송하게 된다.

예를 들어 저장부에 마커정보 "어린왕자, 33페이지"에 대응되는 출력정보 "장미꽃 이미지"가 저장되어 있고, "어린왕자, 40페이지"에 대응되는 출력정보 "비행기 영상 이미지"가 저장되어 있을 때, 제어부(120)가 인식한 마커정보가 "어린왕자, 40페이지"라면 제어부(120)는 이에 대응되는 출력정보 "비행기 영상 이미지"를 출력부(140)에 전송하게 되는 것이다.

그러나 도 1의 실시예에서는 제어부(120)는 마커정보에 대응되는 출력정보를 저장부로부터 검색하는 것이 아니라 별도로 구성된 서버(210)를 통해 수신받게 된다.

이때 필요한 구성이 통신부(130)이며, 제어부(120)는 마커(11)로부터 인식된 마커정보를 통신부(130)에 전달하고 통신부(130)는 통신망을 통해 연결된 외부의 서버(210)에 마커정보를 전달하게 된다.

서버(210)는 마커정보를 수신하면 마커정보에 대응되는 출력정보를 기저장된 다수의 매핑데이터에서 검색하게 되는데 이때 매핑데이터는 별도로 구성된 데이터베이스(220)에 저장된다.

데이터베이스(220)는 다수의 마커정보에 대응되는 출력정보를 각각 매핑하여 저장하게 되는데 서버(210)는 마커정보를 수신하면 데이터베이스(220)의 매핑데이터를 검색하여 수신된 마커정보에 대응되는 출력정보를 추출하게 된다.

서버(210)는 추출된 출력정보를 통신망을 통해 다시 통신부(130)에 전송하고, 통신부(130)는 수신된 출력정보를 제어부(120)에 전달하게 된다.

제어부(120)가 출력정보를 얻게되면 출력부(140)에 전달하게 되고, 출력부(140)는 출력정보에 대응되는 컨텐츠를 프로젝션 방식으로 인쇄물(10) 또는 임의의 공간에 출력하게 된다.

출력부(140)는 출력정보에 대응되는 컨텐츠를 프로젝션 방식으로 인쇄물(10) 또는 임의의 공간에 출력하기 위해 프로젝션 장치인 프로젝터로 구현된다.

프로젝터는 영상을 확대하여 스크린 등에 투영하기 기기를 말하며, CRT 프로젝터, LCD 프로젝터, DLP 프로젝터 등의 다양한 종류가 있다.

최근에는 투사된 영상에 터치 등의 입력을 통해 다양한 조작이 가능하여 디지터 화이트 보드처럼 사용가능한 인터렉티브 프로젝터가 등장하였으며, 이러한 인터렉티브 프로젝터의 경우, 펜 또는 손가락 터치로 투사된 영상의 이미지를 이동 및 조작하고 메모를 삽입하는 등의 기능을 추가로 제공할 수도 있다.

이러한 다양한 프로젝터 중에서 사용자는 사용자의 환경에 적합한 프로젝터를 선택하여 출력부(140)를 구성할 수 있으며, 출력부(140)로 적용된 프로젝터의 영상 투영하는 방식에 따라 인쇄물(10)의 전면, 측면 및 천장에 설치가 가능하고 간편하게 스탠드 형태로 구성할 수 있다.

일반적인 정면 투사방식의 프로젝터가 출력부(140)로 적용된 경우, 출력부(140)에서 영상이 송출되는 렌즈가 인쇄물(10)을 향하도록 인쇄물(10)의 전면이나 천장에 설치하는 것이 바람직하고, 단초점 방식의 프로젝터가 출력부(140)로 적용된 경우, 출력부(140)의 렌즈가 인쇄물(10)에 영상을 투사할 수 있을정도의 근거리에 측면으로 설치할 수도 있다.

또한 출력부(140)가 스탠드 형태로 구성되어 스탠드 헤드에 렌즈가 구비된 경우, 스탠드 헤드의 위치를 조절하여 인쇄물(10)에 영상을 투사하는 것이 바람직하다.

이러한 출력부(140)는 인쇄물(11)위에 컨텐츠를 투사할때 컨텐츠가 표시되어야 할 정확한 위치에 컨텐츠를 출력해야하며, 이를 위해 마커정보에는 인쇄물(11)에서 출력정보가 표시되어야 할 위치와 방향정보가 포함될 수 있다.

즉, 출력부(140)가 컨텐츠를 투사하여 표시할 수 있는 전체영역 중 인쇄물(11)이 놓여진 위치에 대한 좌표 및 해당 인쇄물(11)에서 컨텐츠가 표시될 공간에 대한 좌표가 미리 마커(10)에 포함되어 있는것이며, 출력부(140)는 이러한 마커정보에 포함된 출력정보 표시 위치 및 방향정보를 분석하여 인쇄물(11) 위의 정확한 위치에 출력정보를 표시하도록 한다.

또 다른 실시예에서 출력부(140)는 인쇄물(11)위에 컨텐츠를 정확하게 투사하기 위해 마커(10)의 틀어짐 또는 일그러짐 상태를 감지하여 이를 통해 인쇄물(11)의 틀어짐과 굴곡을 유추한 후 출력부(140)에서 투사해야할 출력정보를 이에 맞게 보정할 수 있다.

인쇄물(11)은 인쇄물의 두께와 펼침 상태에 따라 굴곡이 생길 수 있으며, 이러한 굴곡에 의해 일그러짐이 심한 경우, 출력부(140)에서 정상적으로 출력정보를 투사하더라고 그 형상이 함께 일그러져 출력정보가 왜곡될 수도 있다.

따라서 이러한 출력정보의 왜곡을 방지하기 위해 , 제어부(120)는 촬영부(110)에서 촬영된 마커(10)의 틀어짐 또는 일그러짐 상태를 파악하여, 인쇄물(11)의 틀어짐과 굴곡을 유추한 후, 출력부(140)에서 투사될 출력정보를 역으로 일그러트린 상태로 보정하여, 출력부(140)에서 인쇄물(11)에 최종적으로 투사된 영상이 왜곡없이 사용자의 눈에 정상적으로 보이도록 한다.

또한 출력부(140)는 사람의 시선을 인식하여 시선이 향하는 방향에 맞게 3차원 입체 영상을 출력할 수도 있다.

이를 위해 프로젝션 매핑 장치(100)는 인쇄물(10)을 구독하는 사용자를 촬영하여 사용자의 시선을 인식하는 시선인식부(미도시)를 더 포함하게 되며, 출력부(140)는 미리 시선인식부에서 촬영되는 영역에 대한 좌표와 촬영부(140)에서 컨텐츠가 출력되는 공간의 좌표 관계를 매칭시켜, 시선인식부에서 인식된 시선의 좌표 및 방향에 따라 3차원 컨텐츠가 정방향으로 사용자의 시선에 인식될 수 있도록 출력정보에 대응되는 컨텐츠의 영상처리를 수행하게 된다.

또한 시선인식부는 사용자의 시선을 실시간으로 추적하고, 출력부(140)는 실시간으로 변화되는 사용자의 시선방향에 대응되도록 3차원의 컨텐츠의 출력방향을 변화시켜 사용자의 움직임에 따라 동적으로 변화되는 3차원 입체 컨텐츠의 출력이 가능하도록 한다.

또한 출력부(140)는 실시예에 따라 스피커를 포함하여 영상에 부가되는 음성을 함께 출력할 수도 있다. 스피커는 출력부(140)에 프로젝터와 함께 구비되거나 또는 별도로 제공될 수 있으며, 스피커가 별도로 구비되는 경우, 출력부(140)에는 스피커와 유무선으로 연결되어 음성정보를 송수신하는 구성이 포함된다.

도 1에서 출력부(140)는 인쇄물(10)의 전면에 설치되어 별의 이미지를 인쇄물(10)에 출력하고 있는데 출력부(140)에서 출력되는 컨텐츠는 이미지 뿐 아니라 움직이는 영상 또는 텍스트 중 적어도 하나를 포함할 수 있다.

한편 인쇄물(10)에 포함된 마커(11)는 인쇄물(10)에 직접 인쇄되는 형태로 제공될 수도 있지만 인쇄물(10)에 스티커 형태로 부착되거나 카드에 인쇄되어 인쇄물(10) 상단에 임의의 지점에 놓여지는 형태로 제공될 수도 있다.

마커(11)가 인쇄물(10)에 직접 인쇄되는 경우, 마커정보를 변경하는 것이 불가능하지만, 스티커에 인쇄하여 인쇄물(10)에 부착하거나 카드에 인쇄되어 인쇄물(10)에 놓여지는 경우, 인쇄물(10)에 적용되는 마커정보를 수정하는 것이 가능하기 때문에 사용자의 요구사항에 맞는 마커(11)를 만들어낼 수 있어 응용 범위를 넓힐 수 있다.

서버(210)와 데이터베이스(220)를 제외한 프로젝션 매핑 장치(100)는 스탠드의 형태로 구성될 수 있는데 이러한 형태의 실시 예를 도 2에 나타내었다.

도 2는 본 발명의 일 실시예에 따른 프로젝션 매핑 장치의 실시 예이다.

도 2를 참조하면 책상의 일측에 놓여진 스탠드 장치의 형태로 프로젝션 매핑 장치(100)가 구비된 것을 알 수 있으며, 스탠드는 프로젝션 매핑 장치(100)의 출력부(140)에 구비된 프로젝터를 통해 인쇄물(10)에 광원을 제공한다.

스탠드 장치는 스탠드 갓(101), 스탠드 암(102), 스탠드 지지대(103)로 구성되는데 스탠드 갓(101) 내부에 촬영부(110)와 출력부(140)를 함께 구비되어 출력부(140)로 인쇄물(10)에 광을 조사함과 함께 촬영부(110)가 인쇄물(10)에 포함된 마커(11)를 촬영하여 인식하고, 인식된 마커정보에 대응되는 출력정보에 따라 출력부(140)가 컨텐츠를 인쇄물(10)에 출력하도록 하는 구조를 가지고 있다.

이러한 구성에서 스탠드 갓(101)내부에는 적외선 광원을 조사하는 조명부(150)가 설치될 수 있다. 인쇄물(11)에 마커(10)가 적외선 잉크로 인쇄된 경우, 이러한 마커(10)를 인식하기 위해서는 적외선 광원이 필요하게 되며, 이를 위해 스탠드 갓(101)내부에 적외선 광원을 조사하는 광원(150)부를 설치하여 마커(10)를 인식하기 위한 시점에 조명부(150)의 적외선 광원은 on하여 촬영부(110)로 하여금 적외선으로 표시되는 마커(10)를 촬영하도록 한다.

이에 따라 촬영부(110)는 적외선 영역 촬영에 특화된 장치가 적용되도록 하며, 출력부(140)에서 출력되는 컨텐츠에 의해 적외선으로 표시되는 마커(10)가 변형되는 일이 없도록 출력부(140)에는 IR-cut(Infrared Ray cut) 필터를 추가하여 최대한 가시광 영역의 컨텐츠만 투사될 수 있도록 한다.

이러한 프로젝션 매핑 장치(100)에 있어서, 마커(11)가 적외선 잉크로 인쇄되는 경우, 사용자의 육안으로는 마커가 인식되지 않기때문에 사용자는 이질감없이 인쇄물(10)에 인쇄된 정보를 인식하여 일상적인 독서나 작업을 수행할 수 있으며, 출력부(140)에서 출력되는 영상이나 이미지의 간섭없이 마커(11)를 인식할 수 있도록 한다.

스탠드 암(102)은 스탠드 갓(101)과 스탠드 지지대(103) 사이를 연결하며, 벤딩이 가능한 형태로 구성되어 스탠드 갓(101)의 각도를 조절할 수 있도록 한다.

또한 도 2에는 도시되지 않았으나 스탠드 지지대(103)의 내부에는 제어부(120)와 통신부(130)를 구비하여 외부의 서버(210)와 통신을 수행할 수 있도록 하며, 또한 전원부(미도시)를 구비하여 스탠드 장치에 구비된 프로젝션 매핑 장치(100)와 조명부(150)에 전원을 공급할 수 있도록 한다.

이를 위해 스탠드 지지대(103)에는 전원선과 함께 통신선을 구비하여 외부로부터 전원을 공급받을 수 있도록 하며 외부의 통신망과 연결될 수 있도록 한다.

이러한 스탠드 장치 형태의 프로젝션 매핑 장치(100)는 본원발명의 일실시 예에 불과하며, 반드시 스탠드 형태로 구성될 필요는 없다.

한편 프로젝션 매핑 장치(100)의 촬영부(110)는 출력부(140)에서 컨텐츠가 실시간으로 출력되는 상태에서도 인쇄물(10)을 지속적으로 촬영하고 이때 인쇄물(10)이 기설정된 패턴으로 움직이거나 또 다른 마커(미도시)가 추가적으로 인식되면, 제어부(120)는 이를 감지하여 인쇄물(10)의 기설정된 패턴이나 추가된 마커(미도시)에 대응되는 출력명령을 생성하여 출력부(140)에 전달하고 출력부(140)는 이에 따라 현재 출력중인 컨텐츠를 동적으로 변환시켜 출력한다.

예를 들어, 도 1에서와 같이 인쇄물(10)에 별 이미지가 출력되고 있는 상태에서 인쇄물(10)의 상단이 들어올려져 5도 이상 기울어지면, 제어부(120)는 촬영부(110)를 통해 인쇄물(10)의 변화된 움직임을 감지하고, 5도 이상 기울어지는 상태변경에 른 출력명령 예컨대 이미지를 오른쪽으로 이동시키는 출력명령을 출력부(140)에 전달하고, 출력부(140)는 출력명령에 따라 이미 출력되고 있는 별 이미지를 오른쪽으로 이동시키는 출력을 수행한다.

즉, 제어부(120)는 촬영부(110)를 통해 인쇄물(10)의 수직 또는 수평 키스톤을 인식하여 이에 따라 기설정된 별도의 출력명령을 부가하여 프로젝션 영상에 상호작용을 부가할 수 있는 것이다.

이러한 동적 변환 출력에 대한 예시를 도 3과 도 4에 나타내었다.

도 3을 참조하면 먼저 도 3의 (a)에는 인쇄물(10)의 하단에 동화의 내용이 인쇄되어 있는 상태이며 좌측상단에 QR코드로 마커(11)가 표시되어 있는것을 알 수 있다.

이러한 상태에서 촬영부(110)가 마커(11)를 촬영한 후 마커정보를 인식하면 도 3의 (b)와 같이 출력정보에 대응되는 동화의 삽화를 출력부(140)를 통해 인쇄물(10)에 프로젝션방식으로 출력하게 된다.

이상태에서 사용자가 인쇄물(10)의 하단을 들어올려 도 3의 (c)와 같이 인쇄물(10)이 기울어지면 촬영부(110)는 인쇄물(10)의 수직 또는 수평 변화를 통해 키스톤의 변화를 인식하여 이에 따라 기설정된 별도의 출력명령을 부가하여 도 4의 (d)에 표시된 것처럼 출력부(140)에서 출력되는 삽화의 등장인물을 하단으로 이동시켜 출력하게 된다.

또한 도 4를 참조하면 도 4의 (a)와 도 4의 (b)는 도 3(a)와 도3(b)와 같은 과정을 보이고 있다.

도 4의 (b)와 같이 출력부(140)가 마커(11)에 따른 출력정보를 출력하는 상황에서 도 4의 (c)와 같이 사용자가 인쇄물(10)의 일측에 또다른 마커(11a)를 놓게되면 촬영부(110)는 또다른 마커(11a)의 마커정보를 인식하게 되고, 제어부(120)는 마커정보에 대응되는 출력정보인 삽화의 인물 이동명령을 생성하여 출력부(140)에 전달하게 된다.

출력부(140)는 제어부(120)로부터 추가된 마커(11a)에 대한 출력정보를 전달받으면 도 4의 (d)에 표시된 것처럼 출력되는 삽화의 등장인물을 하단으로 이동시켜 출력하게 되는 것이다.

이러한 동적 변환 기능의 예시는 본원발명의 실시예에 한정되지 않으며 또 다른 실시 예에서는 인쇄물(10)에 투사된 캐릭터가 인쇄물(10)위를 걸어다니게 하거나 인쇄물(10) 내용의 다음 장면에 해당하는 컨텐츠를 출력하도록 하는 컨텐츠를 부가 할 수 있어 사용자와의 상호작용을 극대화시킬 수 있다.

한편 도 1에서 프로젝션 매핑 시스템(1000)은 서버(210)와 통신을 수행하는 사용자단말(230)을 포함하고 있는데, 사용자단말(230)은 서버(210)와 통신망을 통해 연결되어 데이터베이스(220)에 저장된 다수의 마커정보에 대응되는 출력정보를 생성하거나 수정할 수 있는 구성이다.

데이터베이스(220)에 저장된 매핑데이터는 다수의 마커정보에 각각 출력정보가 매핑되어 저장되는데 이러한 매핑데이터에는 마커정보에 각각 대응되는 요약정보가 추가로 포함될 수 있다.

요약정보는 마커정보가 가리키는 인쇄물(10)의 페이지에 어떤 내용이 포함되어 있는지에 대한 정보이며, 서버(210)와 연결된 사용자단말(230)에는 서버(210)를 통해 데이터베이스(220)에 저장된 다수의 마커정보와 각각에 대응되는 요약정보가 표시된다.

즉, 사용자는 사용자단말(230)을 통해 인쇄물(10)의 각 페이지별 내용에 대한 요약정보를 확인할 수 있는 것이며, 사용자는 이러한 요약정보를 통해 각 인쇄물(10)의 페이지에 어떠한 컨텐츠가 출력되는 것이 좋은지 판단할 수 있고 이에 따라 출력되어야 할 컨텐츠를 설정하거나 편집할 수 있는 것이다.

사용자단말(230)에 표시된 마커정보 중 어느 하나의 마커정보가 선택되면, 마커정보에 대응되는 출력정보를 수정 또는 설정할 수 있는 출력설정메뉴가 표시된다.

출력설정메뉴에는 컨텐츠의 종류를 선택하고, 컨텐츠의 출력조건을 선택하며, 컨텐츠를 입력할 수 있는 메뉴가 표시되며, 사용자는 컨텐츠의 종류에서 이미지, 영상, 텍스트 중 어느 하나를 선택한다.

선택이 완료되면 컨텐츠를 입력할 수 있는 메뉴에서 직접 컨텐츠를 입력하거나 선택된 조건에 맞는 다수의 기저장된 컨텐츠 중 어느 하나의 컨텐츠를 선택하여 입력하도록 한다.

예를 들어 사용자가 사용자단말(230)에 표시된 출력설정메뉴에서 영상을 이미지, 영상, 텍스트 중에서 영상을 선택하면, 사용자단말(230)에는 컨텐츠를 입력할 수 있는 메뉴가 표시되고, 여기서 사용자는 사용자단말(230)에 기저장된 영상 중 인쇄물(11)에 표시하고 싶은 영상을 선택하면 선택된 영상이 사용자단말(230)에 표시된 마커정보에 대응되는 출력정보로 설정되어 데이터베이스(22)에 저장된다.

즉, 사용자는 사용자단말(230)을 통해 각 마커(11)에 대응되는 출력정보를 설정 및 편집할 수 있으므로 사용자가 컨텐츠에 적극적으로 개입하여 사용자의 취향에 맞게 인쇄물(10)에 표시될 컨텐츠를 제작할 수 있게 된다.

이러한 기능을 적용하면 교육용 인쇄물에 표시될 컨텐츠를 학습자의 지식수준에 맞도록 설정하고 편집하는 것이 가능하며, 자녀에게 읽어줄 동화책에 표시될 컨텐츠를 자녀의 취향에 맞추어 색감이나 등장하는 캐릭터를 변경하여 표시할 수 있게된다.

즉, 이러한 구성을 통해 사용자 맞춤형 컨텐츠 제공이 가능하게 되는 것이다.

이처럼 프로젝션 매핑 시스템(1000)은 프로젝션 매핑 장치(100)와 서버(210), 데이터베이스(220) 및 사용자단말(230)의 구성을 통해 인쇄물(10)에 포함된 마커(11)를 인식하여 마커(11)에 대응되는 컨텐츠를 검색하여 프로젝션 방식으로 인쇄물(10) 또는 임의의 공간에 투사가 가능하며, 마커(11)에 대응되는 컨텐츠를 설정하거나 편집하여 사용자에 맞게는 컨텐츠를 제공할 수 있도록 하고, 인쇄물(10)의 움직임이나 추가되는 마커에 따라 컨텐츠가 동적으로 변환되도록 하는 기능을 제공한다.

이상에서 설명한 본 발명은 바람직한 실시 예들을 통하여 상세하게 설명되었지만, 본 발명은 이러한 실시 예들의 내용에 한정되는 것이 아님을 밝혀둔다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면, 비록 실시 예에 제시되지 않았지만 첨부된 청구항의 기재 범위 내에서 다양한 본 발명에 대한 모조나 개량이 가능하며, 이들 모두 본 발명의 기술적 범위에 속함은 너무나 자명하다 할 것이다. 이에, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

1000 : 프로젝션 매핑 시스템
100 : 프로젝션 매핑 장치 110 : 촬영부
120 : 제어부 130 : 통신부
140 : 출력부 150 : 조명부
210 : 서버 220 : 데이터베이스
230 : 사용자단말 101 : 스탠드 갓
102 : 스탠드 암 103 : 스탠드 지지대
10 : 인쇄물 11, 11a : 마커

Claims

인쇄물에 포함된 마커를 촬영하는 촬영부;
상기 촬영부에서 촬영된 마커에 포함된 마커정보를 인식하여 상기 마커정보에 대응되는 출력정보를 생성하는 제어부; 및
상기 제어부로부터 출력정보를 전달받아 상기 인쇄물 또는 임의의 공간에 상기 출력정보에 대응되는 컨텐츠를 프로젝션방식으로 출력하는 출력부; 를 포함하는 프로젝션 매핑 장치.
제 1 항에 있어서,
다수의 마커정보와 상기 마커정보에 대응되는 출력정보를 저장하는 저장부; 를 더 포함하고,
상기 제어부는 상기 마커정보를 인식하여 상기 저장부에 저장된 다수의 마커정보 중 상기 인식된 마커정보에 대응되는 마커정보와 출력정보를 추출하는 프로젝션 매핑 장치.
제 1 항에 있어서,
상기 제어부에서 인식된 마커정보를 외부의 서버로 전송하고, 상기 서버로부터 상기 마커정보에 해당하는 출력정보를 수신받아 상기 제어부에 전달하는 통신부; 를 더 포함하는 프로젝션 매핑 장치.
제 3 항에 있어서,
상기 마커정보는 상기 인쇄물 식별자 및 상기 인쇄물 페이지번호를 포함하고, 상기 출력정보는 상기 마커정보에 포함된 상기 인쇄물 식별자 및 상기 인쇄물 페이지번호에 대응되는 컨텐츠로 상기 인쇄물 페이지에 표시되어야 할 이미지, 영상, 텍스트 중 적어도 하나를 포함하는 프로젝션 매핑 장치.
제 4 항에 있어서,
상기 마커는 상기 인쇄물에 직접 인쇄되거나 상기 인쇄물에 스티커 형태로 부착가능한 프로젝션 매핑 장치.
제 4 항에 있어서,
상기 마커는 상기 인쇄물 또는 상기 스티커 형태에 적외선 잉크로 인쇄되며, 상기 촬영부는 적외선 영상 촬영장치로 구성되는 프로젝션 매핑 장치.
제 4 항에 있어서,
상기 마커정보는 상기 인쇄물에서 출력정보가 표시되어야 할 위치와 방향정보를 포함하고, 상기 출력부는 상기 출력정보에 대응되는 컨텐츠를 상기 마커정보에 포함된 상기 위치와 방향정보에 따라 출력하는 프로젝션 매핑 장치.
제 4 항에 있어서,
상기 인쇄물을 구독하는 사용자를 촬영하여 시선은 인식하는 시선인식부; 를 더 포함하고,
상기 출력부는 상기 시선인식부에서 인식된 사용자의 시선을 이용하여 상기 사용자의 시선에서 3차원 컨텐츠가 정방향으로 표시되도록 상기 출력정보에 대응되는 컨텐츠를 영상처리하여 출력하는 프로젝션 매핑 장치.
제 4 항에 있어서,
상기 촬영부는 상기 출력부에서 컨텐츠가 출력되는 상태의 상기 인쇄물을 촬영하고, 상기 인쇄물이 움직이면 상기 제어부는 상기 촬영부에서 촬영된 인쇄물의 움직임에 따라 기설정된 출력명령을 상기 출력부에 전달하고, 상기 출력부는 상기 출력명령에 따라 상기 인쇄물에 출력중인 컨텐츠를 동적으로 변환하여 출력하는 프로젝션 매핑 장치.
제 4 항에 있어서,
상기 촬영부는 상기 출력부에서 컨텐츠가 출력되는 상태의 상기 인쇄물을 촬영하고, 상기 인쇄물에 기설정된 또 다른 마커가 추가되면, 상기 제어부는 상기 촬영부에서 촬영된 상기 또 다른 마커에 따라 기설정된 출력명령을 상기 출력부에 전달하고, 상기 출력부는 상기 출력명령에 따라 상기 인쇄물에 출력중인 컨텐츠를 동적으로 변환하여 출력하는 프로젝션 매핑 장치.
제 4 항에 있어서,
상기 프로젝션 매핑 장치는 스탠드 장치의 내부에 구비되며,
상기 스탠드 장치는 스탠드 갓, 스탠드 암, 스탠드 지지대로 구성되며,
상기 스탠드 갓 안쪽에는 상기 촬영부, 상기 출력부 및 적외선 광원을 조사하는 조명부가 구비되고,
상기 스탠드 암은 상기 스탠드 갓과 상기 스탠드 지지대 사이를 연결하며, 상기 스탠드 갓의 각도를 조절할 수 있는 형태로 구비되고,
상기 스탠드 지지대에는 상기 제어부 및 통신부와 상기 프로젝션 매핑 장치 및 조명부에 전원을 공급하는 전원부가 구비되는 프로젝션 매핑 장치.
제 1 항 내지 제 11 항 중 어느 한 항에 기재된 프로젝션 매핑 장치;
상기 통신부와 통신망을 통해 연결되어 상기 통신부로부터 상기 마커정보를 수신받아 상기 마커정보에 대응되는 출력정보를 기저장된 다수의 매핑데이터에서 검색하여 검색된 출력정보를 상기 통신부로 전송하는 서버; 및
다수의 마커정보와 상기 마커정보에 각각 대응되는 출력정보를 매핑하여 상기 매핑데이터로 저장하는 데이터베이스; 를 포함하는 프로젝션 매핑 시스템.
제 1 항 내지 제 11 항 중 어느 한 항에 기재된 프로젝션 매핑 장치;
상기 통신부와 통신망을 통해 연결되어 상기 통신부로부터 상기 마커정보를 수신받아 상기 마커정보에 대응되는 출력정보를 기저장된 매핑데이터에서 검색하여 검색된 출력정보를 상기 통신부로 전송하는 서버;
다수의 마커정보와 상기 마커정보에 각각 대응되는 출력정보를 매핑하여 상기 매핑데이터로 저장하는 데이터베이스; 및
상기 서버와 통신망을 통해 연결되어 상기 데이터베이스에 저장된 상기 다수의 마커정보에 대응되는 출력정보를 생성하거나 수정하는 사용자단말; 를 포함하는 프로젝션 매핑 기술을 활용한 프로젝션 매핑 시스템.
제 13 항에 있어서,
상기 매핑데이터에는 상기 마커정보에 대응되는 상기 인쇄물 페이지의 요약정보가 더 포함되며,
상기 사용자단말은 상기 서버를 통해 상기 데이터버이스에 저장된 상기 다수의 마커정보와 상기 마커정보에 대응되는 요약정보를 수신받아 표시하는 프로젝션 매핑 시스템.
제 14 항에 있어서,
상기 사용자단말은 상기 다수의 마커정보 중 어느 하나의 마커정보가 선택되면, 상기 마커정보에 대응되는 출력정보를 상기 요약정보를 참조하여 수정 또는 설정할 수 있는 출력설정메뉴를 제공하는 프로젝션 매핑 시스템.
제 14 항에 있어서,
상기 출력설정메뉴는 컨텐츠의 종류로 이미지, 영상, 텍스트 중 어느 하나를 선택할 수 있는 메뉴와, 선택된 컨텐츠의 종류에 따라 컨텐츠를 입력할 수 있는 메뉴를 포함하는 프로젝션 매핑 시스템.