KR101116261B1 - 영상 해석 장치를 이용한 컨텐츠 제공 시스템 및 방법 - Google Patents

Abstract

영상 해석 장치를 이용하여 도서와 연관된 컨텐츠를 제공할 수 있도록 하는 시스템 및 방법이 제공된다. 본 발명은 도서의 페이지에 대한 영상을 처리하고 이를 기초로 상기 도서의 페이지와 관련이 있는 컨텐츠를 사용자에게 제공하며, 제공된 컨텐츠에 대하여 과금을 처리함으로써, 사용자가 편안한 상태로 보다 현실감 있는 독서를 할 수 있도록 하고, 도서의 내용과 관련이 높은 광고를 사용자에게 제공함으로써, 광고의 효과를 극대화 시킬 수 있도록 한다.

영상 처리 장치, 영상 인식, 영상 해석, 컨텐츠, 과금, 혼합미디어 컨텐츠

Description

영상 해석 장치를 이용한 컨텐츠 제공 시스템 및 방법 {A SYSTEM FOR PROVIDING CONTENTS USING IMAGE ANALYSIS APPARATUS AND A METHOD THEREOF}

본 발명은 영상 해석 장치를 이용하여 사용자가 보고 있는 내용에 부합되는 컨텐츠를 제공하고 제공되는 컨텐츠의 특성에 따라 과금을 처리하는 시스템 및 방법에 관한 것이다.

IT기술의 발달로 사용자들이 다양한 멀티미디어 컨텐츠들을 이용할 수 있게 되었다. 이에 따라, 컴퓨터 등의 단말기를 이용하는 경우뿐 아니라, 책이나 사진 등과 같이 오프라인 컨텐츠를 이용하는 경우에도 멀티미디어 컨텐츠를 제공하는 장치가 개발되고 있다.

도 1은 종래 기술에 따른 도서 음향 장치의 일례를 도시하는 도면이다.

도면에 도시된 바와 같이 종래의 도서 음향 장치는 도서(100)의 각 페이지의 내용에 관한 소리를 사용자에게 제공하도록 하는 것으로, 도서(100)에서 페이지를 인식하기 위한 수단으로 일측에 형성된 페이지 코드부(40)와 적외선 센서, 이미지 센서 또는 카메라(10)를 이용하여 해당 페이지 정보를 인식하는 장치이다. 인식된 내용은 하드웨어 장치(20)가 오디오 정보로 변형하여 스피커(30)를 통해 출력하는 방식을 이용하고 있다.

이러한 장치는 책의 위치가 정해진 위치를 벗어나거나, 페이지 코드가 손상된 경우에 페이지 코드 인식의 오작동이 발생하게 되는 문제점이 있었다. 또한, 페이지 코드를 인식하고 그에 해당하는 내용을 소리로 사용자에게 제공하기 때문에, 페이지 코드가 책에 직접 인쇄되어 있어야 하므로, 미리 이와 같은 서비스를 제공하기 위하여 준비된 책 이외에는 이와 같은 기술을 적용할 수 없기 때문에 그 적용 범위가 매우 좁다.

한편, 이와 같은 종래의 도서 음향 장치 등에서는 책을 출판하는 시점에서 이미 페이지 코드가 인쇄되어야 하고, 이에 대응되는 컨텐츠도 준비되어 있어야 하므로, 출판사가 자체 제작한 컨텐츠 또는 미리 구입한 컨텐츠만이 사용자에게 제공될 수 있었다. 따라서, 저작권 등의 문제로 인하여 여러 컨텐츠 제공자들의 다양한 컨텐츠를 제공할 수 없고, 한정된 컨텐츠만을 제공할 수 있으며, 추후 컨텐츠를 업데이트하거나 새로운 컨텐츠를 추가하는 것도 매우 어려웠다.

따라서, 도서의 페이지 등에 별도의 식별 코드를 부가하지 않고도 도서 및 페이지를 식별할 수 있도록 하여 다양한 도서에서 멀티미디어 컨텐츠를 제공할 수 있도록 하면서, 합리적인 과금 시스템을 이용하여 다양한 컨텐츠 제공자들의 컨텐츠를 제공하면서 적절한 과금을 처리하는 시스템 및 방법이 요구된다.

본 발명은 사용자가 사용하는 도서, 사진 또는 그림 등의 자료를 식별하여 연관된 컨텐츠를 제공하는 시스템을 제공할 수 있다.

본 발명은 사용자에게 제공되는 컨텐츠에 대하여 과금을 처리하는 시스템을 제공할 수 있다.

본 발명은 사용자에게 제공되는 컨텐츠의 특성에 따라, 광고형 컨텐츠인 경우 컨텐츠의 소유주로부터 요금을 받을 수 있도록 하는 시스템을 제공할 수 있다.

본 발명은 사용자에게 제공되는 컨텐츠의 특성에 따라 일반 컨텐츠인 경우 컨텐츠의 소유주에게 컨텐츠 사용에 대한 요금을 제공할 수 있도록 하는 시스템을 제공할 수 있다.

본 발명의 일실시예에 따른 컨텐츠 제공 시스템은 카메라를 통하여 촬영된 도서의 페이지에 대한 영상을 캡쳐하여 쿼리 이미지(Query Image)를 생성하는 영상 처리부, 상기 쿼리 이미지를 근거로 특징정보를 추출하는 영상 해석부, 사용자에게 컨텐츠를 제공하는 출력부, 상기 특징정보를 기저장한 상기 쿼리 이미지의 메타데이터 및 상기 메타데이터에 대응되는 컨텐츠 정보를 대응시켜 저장하는 문서 데이터베이스, 상기 컨텐츠의 소유권 또는 과금에 관한 정보를 저장하는 컨텐츠 과금 정보 데이터베이스, 상기 영상 해석부에서 추출된 특징정보 및 상기 문서 데이터베이스에 저장되어 있는 상기 메타데이터를 비교하여 일치하는 경우 상기 메타데이터에 대응되는 컨텐츠 정보를 이용하여 컨텐츠를 상기 출력부를 통하여 제공하도록 제어하는 제어부 및 상기 컨텐츠 과금 정보 데이터베이스를 기초로 상기 출력부를 통하여 제공되는 컨텐츠에 대한 과금을 처리하는 과금 처리부를 포함하여 구성될 수 있다.

또한, 본 발명의 다른 실시예에 따른 컨텐츠 제공 시스템은 카메라를 통하여 촬영된 도서의 페이지에 대한 영상을 캡쳐하여 생성된 쿼리 이미지(Query Image)를 영상 해석 장치로부터 수신하는 쿼리 이미지 수신부, 상기 쿼리 이미지를 근거로 특징정보를 추출하는 영상 해석부, 사용자에게 제공될 컨텐츠를 상기 영상 해석 장치로 전송하는 컨텐츠 전송부, 상기 특징정보를 기저장한 상기 쿼리 이미지의 메타데이터 및 상기 메타데이터에 대응되는 컨텐츠 정보를 대응시켜 저장하는 문서 데이터베이스, 상기 컨텐츠의 소유권 또는 과금에 관한 정보를 저장하는 컨텐츠 과금 정보 데이터베이스, 상기 영상 해석부에서 추출된 특징정보 및 상기 문서 데이터베이스에 저장되어 있는 상기 메타데이터를 비교하여 일치하는 경우 상기 메타데이터에 대응되는 컨텐츠 정보를 이용하여 컨텐츠를 상기 컨텐츠 전송부를 통하여 상기 영상 해석 장치로 전송하도록 제어하는 제어부 및 상기 컨텐츠 과금 정보 데이터베이스를 기초로 상기 전송되는 컨텐츠에 대한 과금을 처리하는 과금 처리부를 포함하여 구성될 수 있다.

이 때, 상기 컨텐츠 과금 정보 데이터베이스는 각각의 컨텐츠가 광고형 컨텐츠인지 여부를 나타내는 정보를 더 포함하고, 상기 과금 처리부는 상기 컨텐츠가 광고형 컨텐츠인 경우에는 상기 컨텐츠의 소유권을 보유한 자에게 요금을 부과하는 처리를 수행하고, 광고형 컨텐츠가 아닌 경우에는 상기 컨텐츠의 소유권을 보유한 자에게 요금을 제공하는 처리를 수행할 수 있다.

상기 제어부는 상기 도서의 페이지에 대한 영상 중 손 또는 펜 형태의 지시자를 식별하고, 상기 지시자의 동작을 지시동작과 일반동작으로 구분하며, 상기 지시자의 동작이 지시동작인 경우, 해당 동작에 따른 컨텐츠를 제공할 수 있다.

본 발명의 일실시예에 따른 컨텐츠 제공 방법은 영상 처리부가 카메라를 통하여 촬영된 도서의 페이지에 대한 영상을 캡쳐하여 쿼리 이미지(Query Image)를 생성하는 단계, 영상 해석부가 상기 쿼리 이미지를 근거로 특징정보를 추출하는 단계, 문서 데이터베이스가 상기 특징정보를 기저장한 상기 쿼리 이미지의 메타데이터 및 상기 메타데이터에 대응되는 컨텐츠 정보를 대응시켜 저장하는 단계, 컨텐츠 과금 정보 데이터베이스가 상기 컨텐츠의 소유권 또는 과금에 관한 정보를 저장하는 단계, 제어부가 상기 영상 해석부에서 추출된 특징정보 및 상기 문서 데이터베이스에 저장되어 있는 상기 메타데이터를 비교하여 일치하는 경우 상기 메타데이터에 대응되는 컨텐츠 정보를 이용하여 컨텐츠를 제공하도록 제어하는 단계, 출력부가 사용자에게 상기 컨텐츠를 제공하는 단계, 및 과금 처리부가 상기 컨텐츠 과금 정보 데이터베이스를 기초로 상기 제공되는 컨텐츠에 대한 과금을 처리하는 단계를 포함할 수 있다.

또한 본 발명의 다른 실시예에 따른 컨텐츠 제공 방법은 쿼리 이미지 수신부가 카메라를 통하여 촬영된 도서의 페이지에 대한 영상을 캡쳐하여 생성된 쿼리 이미지(Query Image)를 영상 해석 장치로부터 수신하는 단계, 영상 해석부가 상기 쿼리 이미지를 근거로 특징정보를 추출하는 단계, 문서 데이터베이스가 상기 특징정보를 기저장한 상기 쿼리 이미지의 메타데이터 및 상기 메타데이터에 대응되는 컨텐츠 정보를 대응시켜 저장하는 단계, 컨텐츠 과금 정보 데이터베이스가 상기 컨텐츠의 소유권 또는 과금에 관한 정보를 저장하는 단계, 제어부가 상기 영상 해석부에서 추출된 특징정보 및 상기 문서 데이터베이스에 저장되어 있는 상기 메타데이터를 비교하여 일치하는 경우 상기 메타데이터에 대응되는 컨텐츠 정보를 이용하여 컨텐츠를 전송하도록 제어하는 단계, 컨텐츠 전송부가 사용자에게 제공될 상기 컨텐츠를 상기 영상 해석 장치로 전송하는 단계, 및 과금 처리부가 상기 컨텐츠 과금 정보 데이터베이스를 기초로 상기 전송되는 컨텐츠에 대한 과금을 처리하는 단계를 포함할 수 있다.

그리고, 본 발명은 상기 컨텐츠 제공 방법을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터에서 판독 가능한 기록매체를 포함할 수 있다.

본 발명에 따르면 사용자가 사용하는 도서를 식별하여 연관된 컨텐츠를 제공하는 효과가 있다.

본 발명에 따르면 높은 페이지 인식률을 이용하여 페이지에 대응되는 컨텐츠가 정확히 제공될 수 있도록 하며, 사용자가 편안한 자세로 도서에 대응하는 다양한 컨텐츠를 제공받을 수 있도록 하는 효과가 있다.

본 발명에 따르면 다양한 컨텐츠 제공자들의 다양한 형태의 컨텐츠를 사용자에게 제공할 수 있도록 하는 효과가 있다.

본 발명에 따르면 사용자에게 제공되는 컨텐츠에 대하여 과금을 처리하는 효과가 있다.

본 발명에 따르면 사용자에게 제공되는 컨텐츠의 특성에 따라, 광고형 컨텐츠인 경우 컨텐츠의 소유주로부터 요금을 받을 수 있도록 하는 효과가 있다.

본 발명에 따르면 사용자에게 제공되는 컨텐츠의 특성에 따라 일반 컨텐츠인 경우 컨텐츠의 소유주에게 컨텐츠 사용에 대한 요금을 제공할 수 있도록 하는 효과가 있다.

이하에서, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

본 발명에 따른 컨텐츠 제공 시스템은 중앙처리장치(CPU) 및 메모리(Memory, 기억장치)를 구비하고 인터넷 등의 통신망을 통해 다른 단말기와 연결 가능한 서버의 형태로 구성될 수 있다. 그러나 본 발명이 중앙처리장치 및 메모리 등의 구성에 의하여 한정되는 것은 아니다. 또한, 본 발명에 따른 컨텐츠 제공 시스템은 하나의 서버 또는 복수의 서버에 분산되어 구성될 수 있으며, 서버 및 단말기가 통신망을 통하여 연결되어 있는 형태로 구성되는 것도 가능하다. 이 때, 서버라 함은 단말 장치에 대응되는 개념으로 사용되는 것으로, 개인용 PC와 구별하기 위하여 사용되는 개념은 아니며, 개인용 PC를 이용하여 소규모 서버로 구성하는 것 등 다양한 구성이 가능하다.

본 발명에서 도서라 함은 일반적으로 의미하는 다수의 페이지를 포함하여 구성된 책자를 나타내는 것일 수도 있으나, 본 발명에서는 단일 페이지로 구성된 문서, 사진 또는 그림 등의 자료까지 모두 포괄하는 개념으로 사용된다. 따라서, 본 발명에 따른 컨텐츠 제공 시스템에서 인식하는 도서는 영상 해석 장치(202)를 통하 여 인식될 수 있는 자료라면 어떤 자료도 가능하다.

본 발명에서 컨텐츠라 함은 일반적으로 컴퓨터, 휴대전화, PDA, PMP 등의 다양한 멀티미디어 재생 단말기에서 재생 가능한 오디오, 비디오 또는 오디오 및 비디오가 결합된 형태의 멀티미디어 컨텐츠를 의미하는 것으로 해석되며, 이 밖에도 LED 광원 등을 이용한 조명, 진동 모터를 이용한 진동 또는 화학물질을 이용하여 제공되는 냄새 정보 등을 포함할 수 있으며, 사용자의 감각을 통하여 인지할 수 있도록 하는 형태의 모든 컨텐츠를 포함하는 의미로 사용된다.

도 2는 본 발명의 일실시예에 따른 컨텐츠 제공 시스템을 개략적으로 도시하는 도면이다.

도면에 도시한 바와 같이 본 발명의 일실시예에 따른 컨텐츠 제공 시스템(201)은 통신망을 통하여 영상 해석 장치(202), 컨텐츠 제공자 서버(203) 및 광고주 서버(204)와 연결되어 구성될 수 있다. 또한 경우에 따라서는 본 발명에 따른 컨텐츠 제공 시스템(201)이 영상 해석 장치(202)와 결합된 형태로 구성되는 것도 가능하다.

상술한 바와 같이 본 발명의 일실시예에 따른 컨텐츠 제공 시스템(201)은 인터넷을 통하여 접속 가능한 서버의 형태로 구성될 수 있으며, 복수의 서버로 구성되거나, 영상 해석 장치(202)등의 단말기와 결합된 형태로 구성될 수도 있다. 컨텐츠 제공 시스템(201)은 인터넷을 통해 접속 가능하도록 통신 모듈을 포함할 수 있으며, 데이터베이스, 사용자에게 제공될 컨텐츠 등을 저장하기 위한 저장매체를 포함하여 구성될 수 있다. 또한, 상기 컨텐츠 제공자 서버(203) 및 광고주 서버(204)와의 결제를 처리하기 위하여 결제 모듈을 포함할 수 있으며, 경우에 따라서는 상기 결제 모듈이 상기 영상 해석 장치(202)에서 해석될 수 있는 도서를 판매하는 오프라인 출판사와의 수수료 결제를 수행하도록 할 수도 있다.

영상 해석 장치(202)는 카메라를 이용하여 도서의 페이지에 대한 영상을 촬영하고 촬영된 영상을 처리하여 상기 도서의 페이지에 대응되는 쿼리 이미지(Query Image)를 생성할 수 있다. 또한, 컨텐츠 제공 시스템(201)으로부터 컨텐츠 또는 컨텐츠 제공을 위한 정보를 수신하여 사용자에게 컨텐츠를 제공할 수 있다. 영상 해석 장치(202)의 구성에 대하여는 아래 도 3에서 보다 구체적으로 설명하도록 한다.

컨텐츠 제공자 서버(203)는 영상 해석 장치(202)에서 해석한 도서의 페이지와 관련된 컨텐츠를 제공한다. 상기 제공되는 컨텐츠는 상기 컨텐츠 제공자가 그 소유권을 가지고 있는 컨텐츠일 수 있으며, 상기 제공되는 컨텐츠에 따라서 컨텐츠 사용료를 수신할 수 있다. 상기 컨텐츠는 컨텐츠 제공자와 컨텐츠 제공 시스템(201)의 운영자 사이의 계약에 따라서 제공될 수 있으며, 상기 제공되는 컨텐츠는 계약 이후 이전되어 컨텐츠 제공 시스템(201) 내부의 소정의 저장장치에 저장되어 있다가 영상 해석 장치(202)를 통하여 사용자에게 제공될 수도 있고, 상기 컨텐츠 제공자 서버(203)에 저장되어 있다가 상기 컨텐츠 제공 시스템(201)의 제어에 따라서 상기 영상 해석 장치(202)를 통해 사용자에게 제공될 수도 있다.

광고주 서버(204)는 영상 해석 장치(202)에서 해석한 도서의 페이지와 관련된 광고 컨텐츠를 제공한다. 광고 컨텐츠가 사용자에게 제공됨에 따라 상기 광고 주 서버(204)의 광고주는 상기 광고 컨텐츠의 노출에 대한 비용을 납부하도록 할 수 있다. 상기 광고 컨텐츠는 광고 컨텐츠의 제공을 허락한 사용자에게만 제공되도록 구성될 수도 있고, 경우에 따라서 상기 광고 컨텐츠가 제공되도록 설정된 경우에는 광고 컨텐츠의 제공에 따라 캐시백을 해주거나 도서의 구입 비용을 할인하여 줄 수도 있다. 이와 같은 비용 분배 방법에 의하여 본 발명이 제한되는 것은 아니다.

상술한 컨텐츠 제공자 서버(203) 및 광고주 서버(204)는 인터넷 등의 통신망을 통하여 접속 가능한 서버의 형태로 구성될 수 있으며, 컨텐츠 제공 시스템(201)과 연결을 통하여 컨텐츠를 제공하면서, 보안을 위하여 별도의 전용 통신회선이 이용될 수 있다. 사용자에게 서비스를 제공함에 따라 이와 같은 구성에서는 다양한 변형이 가능하다.

도 3은 본 발명의 일실시예에 따른 컨텐츠 제공 시스템(201)에서 사용되는 영상 해석 장치(202)의 사시도이다.

도면에 도시한 바와 같이, 본 발명의 일실시예에 따른 컨텐츠 제공 시스템(201)에서 사용되는 영상 해석 장치(202)는 도서(301)의 페이지와 배면이 마주보도록 이격 배치된 메인프레임(340)과 상기 메인프레임(340)을 지지하도록 상기 메인프레임(340)의 가장자리에 배치된 서브프레임(350)으로 구성될 수 있다.

이 때, 상기 메인프레임(340)의 배면에는 상기 도서(301)의 페이지에 대한 영상을 획득할 수 있도록 카메라(310)가 도서를 향해 배치되어 있으며, 상기 메인 프레임(340)과 서브프레임(350)에 각각 상기 페이지의 인식을 통해 상기 페이지와 관련된 다양한 효과 및 음향 등의 컨텐츠를 제공하기 위한 조명장치(320) 또는 음성출력 장치(330)와 같은 다양한 컨텐츠 출력 장치가 구성될 수 있다. 이 밖에도 영상으로 구성된 컨텐츠의 제공을 위하여 영상 디스플레이 장치가 포함되는 것도 가능하다.

또한, 상기 카메라(310)에서 제공되는 영상을 처리하여, 상기 영상의 근거가 되는 페이지와 매칭되는 효과나 음향 또는 음성을 상기 출력장치(320, 330)를 통해 출력하는 컨트롤 박스가 상기 메인프레임(340) 또는 서브프레임(350) 중 어느 하나에 구성되거나 상기 메인 및 서브 프레임과 별도로 외부에 구성되어, 사용자가 도서(301)를 읽는 동안 해당 도서의 페이지에 상응하는 효과나 음성 또는 음향을 제공할 수 있다.

이와 같은 구성을 통해, 상기 카메라(310)를 통해 추출되는 영상이 환경에 따라 가변적인 밝기나 외부광에 의해 영상처리 과정에서 왜곡되는 것을 방지하여 상기 컨트롤 박스가 해당 페이지를 용이하게 인식함과 동시에 처리된 영상과 기설정된 영상에 대한 메타데이터의 비교시 정확성을 높여 대응되는 출력이 원활하게 제공하도록 할 수 있다.

도 4는 본 발명의 일실시예에 따른 컨텐츠 제공 시스템(201)의 내부 구성을 도시하는 도면이다.

도면에 도시한 바와 같이, 본 발명의 컨텐츠 제공 시스템(201)은 영상 처리부(410), 영상 해석부(420), 출력부(430), 문서 데이터베이스(440), 컨텐츠 과금 정보 데이터베이스(450), 제어부(460) 및 과금 처리부(470)을 포함하여 구성될 수 있다. 상기한 구성요소들은 소프트웨어, 하드웨어 또는 소프트웨어 및 하드웨어가 결합된 형태로 구현될 수 있으며, 서로 물리적 또는 논리적으로 연결되어 데이터를 주고 받을 수 있도록 구성될 수 있다. 또한, 상기한 구성요소들은 컨텐츠 제공 시스템(201)을 구성하면서, 하나의 물리적인 서버 시스템에 모두 포함될 수도 있고, 둘 이상의 서버 시스템 또는 서버 시스템과 단말 장치에 분산되어 구성되며 서로 통신망을 통하여 연결될 수도 있다. 이하 구성요소 별로 구체적으로 기술하도록 한다.

영상 처리부(410)는 카메라를 통하여 촬영된 도서의 페이지에 대한 영상을 처리하여 쿼리 이미지(Query Image)를 생성한다. 본 발명의 일실시예에 따른 컨텐츠 제공 시스템(201)은 사용자가 읽고 있는 도서의 페이지를 인식하여 해당 페이지와 관련된 컨텐츠를 제공할 수 있도록 하는 것이므로, 사용자가 읽고 있는 도서의 페이지를 카메라를 통하여 촬영하고, 촬영된 영상을 처리하여 쿼리 이미지를 생성한다. 상기 쿼리 이미지라 함은 인터넷의 검색 상에서 검색을 위한 질의어를 의미하는 쿼리(Query)와 마찬가지로, 도서의 페이지와 관련된 컨텐츠를 찾기 위한 정보임을 의미한다.

영상 처리부(410)에서 도서의 페이지를 촬영하는 카메라는 개인용 컴퓨터 단말기 등에 부착되는 웹캠과 같은 동영상 촬영이 가능한 간단한 카메라일 수 있으며, 보다 세밀한 쿼리 이미지를 생성하기 위하여 높은 해상도의 영상을 촬영할 수 있는 카메라로 구성될 수도 있다. 상기 카메라는 도 3에서 살펴본 바와 같이 도서를 거치하는 곳을 동영상으로 계속 촬영하며, 사용자로부터 컨텐츠 제공 요청 을 수신하거나, 페이지 넘김이 인식되는 경우 도서의 페이지에 대한 정지 영상을 캡쳐함으로써, 쿼리 이미지를 생성하도록 할 수 있다.

영상 처리부(410)에서 생성된 쿼리 이미지는 상술한 바와 같이 정지 영상의 형태일 수 있는데, 본 발명에 따른 컨텐츠 제공 시스템(201)에서 디지털 데이터로 용이하게 처리할 수 있도록 디지털로 표현되는 정지 영상일 수 있다. 특히, 데이터의 용량을 줄이기 위하여 JPEG, GIF 등의 압축 영상의 형태를 가질 수도 있고, 쿼리 이미지를 해석하는 데에 색상이 사용되지 않는 경우라면 색상을 배제한 흑백 영상의 형태를 가질 수 있다. 이와 같이 디지털로 표현되는 정지 영상을 생성하기 위하여 상기 카메라는 CCD 등과 같이 디지털 영상 수신이 가능한 형태를 가질 수 있다.

영상 해석부(420)는 상기 쿼리 이미지(Query Image)를 근거로 특징정보를 추출한다. 상술한 바와 같이 상기 쿼리 이미지는 디지털 데이터로 표현된 정지 영상 데이터일 수 있다. 상기 특징정보는 도서의 표지면에 대한 윤곽을 인식하여 생성된 이미지 데이터이거나, 문단 또는 단어별로 블록화하여 생성된 적어도 하나 이상의 블록의 길이값이거나, 단어와 공백을 기준으로 이분화하여 생성된 문자열 특징점 데이터일 수 있다.

또한 상기 영상 해석부(420)에서는 표지나 문단영역이 아닌 표 또는 그림영역에 대하여 일정 특징점을 추출하여, 상기 특징점 주변화소의 방위를 근거로 생성된 벡터 정보를 정규화하고, 정규화된 상기 벡터 정보를 히스토그램 비교법을 통해 정합하여 생성된 지역 서술자를 상기 특징정보를 추출하도록 할 수 있다.

이와 같은 특징정보를 추출하기 위하여 상기 영상 해석부(420)는 상기 표지 또는 문단영역에 대한 특징정보 추출을 수행하는 윤곽인식부와, 표 또는 그림영역에 대한 특징점을 추출하여 지역 서술자를 생성하는 특징점 추출부로 구성될 수 있다. 이와 같은 분리 구성을 통해, 다양한 종류의 특징정보들을 단순 비교에서 상세한 비교로 순차적으로 수행하도록 할 수 있어, 페이지의 단순비교에 대한 출력 반응 속도의 신속성, 상세비교를 통한 정확성을 보장할 수 있다.

또한, 제어부(460)에서는 상기 도서의 페이지에 대한 영상에 손 또는 지시도구 등을 이용하여 지시하고 있는 상태가 포함되는 경우 그 지시 동작을 인식하여 지시된 부분에 대응되는 다양한 컨텐츠가 제공되도록 할 수도 있다.

예를 들어, 펜 형태의 도구를 이용하여 특정 페이지의 어떤 문단이나 표, 그림 등을 지목할 경우 상기 제어부(460)는 상기 펜의 가로 길이와 세로 길이의 비율을 측정하여 일정 비율 이상일 경우 지시도구임을 인식하고, 상기 지시도구가 특정 페이지나 특정 문단을 일정 시간이상 가리키고 있거나 혹은 좌에서 우로, 위에서 아래로 특정 거리 이상 혹은 특정 속도 이상으로 이동한다면 상기 지시도구가 상기 특정 페이지나 특정 문단을 지시하는 동작으로 인식하여 상기 특정 페이지나 특정 문단에 대한 음성효과나 영상효과 등의 해당 효과를 서비스할 수 있다.

또한, 도서의 페이지에 대한 영상에서 손의 형태가 인식될 경우 손의 모양이 지시동작인지 일반동작인지를 구별하여 지시동작이라면 해당 효과를 서비스하고 일반동작이라면 효과를 서비스하지 않을 수 있다. 상기 손의 모양을 지시동작과 일반동작으로 구별하는 방법은 손 모양을 인식하고 손의 모양 중 손가락의 외곽선을 추출하여 상기 영상에서 인식된 손가락 중 가장 길게 돌출된 손가락의 길이와 가장 짧거나 또는 두 번째로 돌출된 손가락 길이의 비율을 측정하여 일정 비율 이상일 경우 지시동작으로 인식하고 그렇지 않을 경우 일반동작으로 인식할 수 있다. 혹은, 펜을 쥐고 있는 손의 형태도 상기 영상에서 인식된 손의 형태 중 펜과 같이 가장 길게 돌출된 길이와 가장 짧거나 또는 두 번째로 돌출된 손가락 길이의 비율을 계산함으로써 지시동작과 일반동작의 인식이 가능하다.

출력부(430)는 사용자에게 컨텐츠를 제공한다. 상기 컨텐츠는 상기 도서의 출판사, 별도의 컨텐츠 제공자가 제공하는 컨텐츠로 사용자의 독서 의욕을 배가시킬 수 있도록 하는 컨텐츠일 수 있으며, 별도의 광고주가 제공하는 광고 컨텐츠로 사용자가 읽는 도서의 페이지와 연관이 있는 광고가 제공되어 사용자는 유익한 정보를 얻고, 광고주는 광고의 효과를 극대화시킬 수 있도록 할 수 있다.

상기 출력부(430)에서 제공되는 컨텐츠는 다양한 형태를 가질 수 있는데, LED나 진동모터를 이용하여 조명의 밝기, 색상이나 진동을 제공함으로써, 사용자가 도서를 읽으면서 현실감을 충족시키도록 하는 효과를 제공할 수 있고, 특정 페이지에 대한 내용을 음성으로 출력하거나 각종 특수음향이나 멜로디를 제공할 수 있도록 할 수 있다. 또한, 디스플레이 장치를 이용하여 동영상, 정지영상 등의 화면을 사용자에게 제공하여 도서의 내용과 관련된 관련 정보를 사용자가 부수적으로 얻을 수 있도록 할 수 있다.

출력부(430)의 구성은 상술한 바와 같이 LED, 진동모터, 스피커 또는 디스플레이 장치를 포함할 수 있고, 이 밖에도 사용자의 오감을 통하여 인식할 수 있는 다양한 형태의 컨텐츠를 제공하기 위하여 화학물질을 이용하여 냄새를 합성하여 제공하는 등과 같이 다양한 변형이 가능하다. 상술한 내용은 본 발명의 일실시예에 불과한 것으로, 출력부(430)의 다양한 변형 또한 본 발명의 권리범위에 포함될 수 있다.

문서 데이터베이스(440)는 기설정된 상기 쿼리 이미지(Query Image)의 메타데이터(Meta-Data) 및 상기 메타데이터에 대응되는 컨텐츠 정보를 대응시켜 저장한다. 이 때, 기설정된 상기 쿼리 이미지의 메타데이터는 상술한 영상 처리부(410) 및 영상 해석부(420)를 통하여 추출된 특징정보일 수 있고, 사용자가 도서를 읽기 전에 미리 해당 도서에 대하여 상기 영상 처리부(410) 및 영상 해석부(420)에서 수행하는 동작과 동일한 동작을 수행하여 특징정보를 추출하고 이를 저장한 것일 수 있다.

문서 데이터베이스(440)에 이와 같이 도서에 대한 특징정보를 미리 추출하여 메타데이터로 저장함으로써, 추후 동일한 도서를 사용자가 읽는 경우, 상기 영상 처리부(410) 및 영상 해석부(420)를 통하여 추출되는 상기 도서의 페이지에 대한 특징정보를 상기 문서 데이터베이스(440)에 저장되어 있는 메타데이터와 비교함으로써, 사용자가 읽는 도서의 페이지가 무엇을 나타내는 것인지를 용이하게 식별하도록 할 수 있다.

또한, 문서 데이터베이스(440)에는 상기 메타데이터와 대응되는 컨텐츠 정보가 저장될 수 있는데, 상기 컨텐츠 정보는 상기 컨텐츠가 저장되어 있는 위치를 나타내는 주소 정보이거나, 상기 컨텐츠를 제공하는 서버의 IP주소 등을 나타내는 정 보일 수 있다. 또한, 상기 컨텐츠가 조명, 진동 등인 경우에는 상기 조명의 색상, 밝기 등을 나타내는 정보, 진동의 회수, 강도 등을 나타내는 정보를 포함할 수 있다.

이 때, 문서 데이터베이스(440)에 저장되는 컨텐츠 정보가 동영상 컨텐츠 또는 오디오 컨텐츠 등 시계열적으로 구성되어 스트리밍이 가능한 컨텐츠에 대한 정보인 경우, 해당 컨텐츠의 일정 부분을 나타내는 시간 정보(time stamp)를 더 포함하여 구성될 수 있다. 예를 들어, 컨텐츠가 동영상 데이터인 경우, 해당 페이지에 대응되는 컨텐츠가 상기 동영상 데이터 중 1분 30초부터 1분 45초까지의 범위 내에 해당되는 동영상 데이터라고 하면, 이에 대한 정보를 컨텐츠 정보로 저장함으로써, 동영상 데이터 내에서 필요한 부분만을 추출하여 사용자에게 제공할 수 있다.

이와 같은 구성을 통하여, 사용자에게 제공될 컨텐츠를 도서의 각 페이지에 대응시켜 여러 개의 파일로 나누어 관리할 필요가 없고, 하나의 도서 또는 복수의 도서에서 사용될 음향 컨텐츠, 동영상 컨텐츠를 소수의 파일로 저장하고, 필요한 부분을 나타내는 시간 정보를 이용하여 관리하도록 함으로써, 컨텐츠 관리가 용이해지고, 사용자에게 필요한 부분만을 추려서 제공할 수 있는 효과를 얻을 수 있다.

상기 문서 데이터베이스(440)는 오라클, MySQL, DB2 등의 상용 DBMS를 이용하여 구성할 수도 있으나, 이와 같은 형태에 의하여 제한되지는 아니하며, 이 밖에도 데이터를 저장하고 검색할 수 있는 모든 저장 장치 또는 상기 저장장치에 상기 데이터를 저장하고 관리하는 모든 프로그램을 이용하여 구성할 수 있다.

컨텐츠 과금 정보 데이터베이스(450)는 상기 컨텐츠의 소유권 또는 과금에 관한 정보를 저장한다. 상술한 바와 같이 출력부(430)를 통하여 사용자에게 제공되는 컨텐츠는 도서를 제작한 출판사가 직접 제작하여 보유하고 있는 컨텐츠이거나 별도의 컨텐츠 제공자가 보유하고 있는 컨텐츠일 수 있다. 또한, 경우에 따라서는 광고주가 제공하는 광고 컨텐츠일 수 있다. 따라서 각각의 경우에 따라서 컨텐츠가 사용자에게 제공되는 것에 대한 과금을 어떻게 처리할 것인지에 관한 정보를 저장해야 하는데, 이를 위하여 컨텐츠 과금 정보 데이터베이스(450)가 사용된다.

컨텐츠 과금 정보 데이터베이스(450)에 저장되는 컨텐츠의 소유권에 관한 정보는 각 컨텐츠 별로 소유권을 가지고 있는 주체를 식별하기 위한 정보일 수 있다. 상기 각 컨텐츠 별로 소유권을 가지고 있는 주체를 식별하기 위한 정보는 본 발명에 따른 컨텐츠 제공 시스템(201)에서 정해 놓은 식별 코드의 형태로 구성될 수 있다. 일반 컨텐츠 또는 광고 컨텐츠를 제공하고자 하는 컨텐츠 제공자 또는 광고주가 본 발명에 따른 컨텐츠 제공 시스템(201)과 컨텐츠 공급에 관한 계약을 체결하면, 해당 컨텐츠 제공자 또는 광고주를 식별하기 위한 식별 코드를 부여하고, 컨텐츠 과금 정보 데이터베이스(450)에는 각 컨텐츠에 관한 정보를 상기 컨텐츠의 소유권을 나타내기 위한 식별 코드에 대응시켜 저장함으로써, 각 컨텐츠의 소유권을 명확히 파악할 수 있도록 한다.

또한 컨텐츠 과금 정보 데이터베이스(450)에 저장되는 컨텐츠의 과금에 관한 정보는 각 컨텐츠 별로 부과되는 금액에 관한 정보를 포함할 수 있고, 과금 방식에 관한 정보를 포함할 수도 있다. 과금 방식은 각 컨텐츠에 대하여 라이센스를 구입한 출판사에서 출판된 도서에 관하여 컨텐츠를 제공하는 경우 제공 횟수와 무관하 게 일정 금액을 제공하도록 설정될 수도 있고, 컨텐츠의 제공 횟수별로 정해진 금액이 제공되도록 설정될 수도 있다.

그리고, 컨텐츠 과금 정보 데이터베이스(450)는 상기 각 컨텐츠가 일반 컨텐츠인지 광고형 컨텐츠인지를 식별하기 위한 정보를 포함할 수 있다. 상술한 바와 같이 일반 컨텐츠의 경우 컨텐츠의 제공에 대한 비용을 컨텐츠 제공자에게 지출해야 하지만, 광고 컨텐츠의 경우 반대로 광고주가 광고의 노출에 따른 비용을 납부해야 하기 때문에, 상기 컨텐츠 과금 정보 데이터베이스(450)는 상술한 바와 같이 각 컨텐츠의 유형에 관한 정보를 포함할 수 있다.

상기 과금 정보 데이터베이스(450) 또한 오라클, MySQL, DB2 등의 상용 DBMS를 이용하여 구성할 수도 있으나, 이와 같은 형태에 의하여 제한되지는 아니하며, 이 밖에도 데이터를 저장하고 검색할 수 있는 모든 저장 장치 또는 상기 저장장치에 상기 데이터를 저장하고 관리하는 모든 프로그램을 이용하여 구성할 수 있다.

제어부(460)는 상기 영상 해석부(420)에서 추출된 특징정보 및 상기 문서 데이터베이스(440)에 저장되어 있는 상기 메타데이터를 비교하여 일치하는 경우 상기 메타데이터에 대응되는 컨텐츠 정보를 이용하여 컨텐츠를 상기 출력부(430)를 통하여 제공하도록 제어한다. 이 때, 특징정보 및 메타데이터를 비교하는 것은 복수의 단계를 통하여 이루어 질 수도 있는데, 첫 번째 단계에서 일치하는 메타데이터를 찾은 경우, 이에 대응되는 컨텐츠를 제공하고, 찾지 못한 경우에는 두 번째 단계의 비교를 통하여 일치하는 메타데이터를 찾도록 할 수 있다. 이와 같은 단계적인 매칭(matching) 과정을 통하여 도서의 페이지에 관련된 컨텐츠를 보다 빠르고 정확하 게 찾을 수 있는 효과가 있다.

제어부(460)에서 상기 영상 해석부(420)에서 추출된 특징정보 및 상기 문서 데이터베이스(440)에 저장되어 있는 상기 메타데이터를 비교하는 각 단계별 구체적인 방법에 대하여서는 아래의 도 6 내지 도 8에 관한 설명에서 보다 상세히 설명하도록 한다.

과금 처리부(470)는 상기 컨텐츠 과금 정보 데이터베이스(450)를 기초로 상기 출력부(430)를 통하여 제공되는 컨텐츠에 대한 과금을 처리한다. 상술한 바와 같이, 본 발명에 따른 컨텐츠 제공 시스템(201)에서는 사용자에게 도서의 페이지와 연관된 페이지를 제공하는데, 이 때, 각 컨텐츠의 특성에 따라서 컨텐츠 제공자에게 비용을 지불하거나, 광고주에게서 광고 금액을 받는 경우가 발생한다.

따라서 과금 처리부(470)는 광고 컨텐츠가 제공되는 경우 광고주로부터 과금 정보 데이터베이스(450)의 과금 정보에 따른 금액을 수신하고, 일반 컨텐츠가 제공되는 경우 컨텐츠 제공자에게 과금 정보 데이터베이스(450)의 과금 정보에 따른 금액을 제공할 수 있다.

이 때, 과금 처리부(470)는 컨텐츠의 과금 유형에 따라서 다른 형태로 과금을 처리할 수 있는데, 각 컨텐츠가 제공될 때 마다 일정 금액을 받거나 제공하도록 하는 유형의 경우에는 각각의 경우 결제가 처리될 수 있도록 과금 처리를 수행할 수 있고, 일, 주, 월 등 소정의 기간 동안에 제공되는 컨텐츠에 대한 과금을 한꺼번에 수행하도록 하는 유형인 경우에는 해당 기간 동안 컨텐츠가 제공되는 회수에 관한 정보를 별도의 데이터베이스 등에 저장해 두었다가 매월 말일 등과 같이 결제 가 이루어지는 시간이 도래하면 해당 기간 동안 제공된 컨텐츠에 대한 과금을 수행할 수 있다. 또한, 특정 도서와의 제휴로 인하여 컨텐츠 제공 건당 과금이 부과되지 않는 경우는 각 계약에 따라서 소정의 금액을 결제하도록 처리할 수도 있다.

과금 처리부(470)는 이와 같은 과금 처리를 위하여 타 기관 서버와의 결제 수행을 위한 결제 모듈을 포함하여 구성될 수 있으며, 별도의 금융기관과의 연계를 통하여 실제 금액의 입출금은 지정된 금융기관에서 이루어지고 과금 처리부(470)에서는 이를 제어하는 형태로 구성될 수 있다. 과금 처리부(470)는 이와 같이 각 컨텐츠의 특성에 따라 과금을 처리하도록 제어하는 동작을 수행하는 것으로, 실제 결제 프로세스 등에 의하여 제한되는 것은 아니며, 다양한 형태의 결제 방법들이 본 발명에서 사용될 수 있다.

도 5는 본 발명의 다른 실시예에 따른 컨텐츠 제공 시스템의 내부 구성을 도시하는 도면이다.

도면에 도시한 바와 같이, 본 발명의 컨텐츠 제공 시스템(201)은 쿼리 이미지 수신부(510), 영상 해석부(420), 컨텐츠 전송부(520), 문서 데이터베이스(440), 컨텐츠 과금 정보 데이터베이스(450), 제어부(460) 및 과금 처리부(470)를 포함하여 구성될 수 있다. 상기한 구성요소들은 소프트웨어, 하드웨어 또는 소프트웨어 및 하드웨어가 결합된 형태로 구현될 수 있으며, 서로 물리적 또는 논리적으로 연결되어 데이터를 주고 받을 수 있도록 구성될 수 있다. 또한, 상기한 구성요소들은 컨텐츠 제공 시스템(201)을 구성하면서, 하나의 물리적인 서버 시스템에 모두 포함될 수도 있고, 둘 이상의 서버 시스템 또는 서버 시스템과 단말 장치에 분산되 어 구성되며 서로 통신망을 통하여 연결될 수도 있다. 이하 구성요소 별로 구체적으로 기술하도록 한다.

쿼리 이미지 수신부(510)는 카메라를 통하여 촬영된 도서의 페이지에 대한 영상을 처리하여 생성된 쿼리 이미지(Query Image)를 영상 해석 장치로부터 수신한다. 상기 영상 해석 장치는 카메라를 구비하여 도서의 페이지를 촬영하고 촬영된 영상을 처리하여 춰리 이미지를 생성하는 장치로, 상술한 도 3에서와 같은 구조를 가질 수 있다.

쿼리 이미지 수신부(510)는 상기 영상 해석 장치로부터 상기 쿼리 이미지를 수신하기 위해서 통신 모듈을 구비할 수 있다. 상기 통신 모듈은 유선 또는 무선 데이터 통신을 수행하기 위한 모듈로, 디지털 정지 영상의 형태로 이루어진 쿼리 이미지를 수신하기 위하여 디지털 데이터를 송수신하는 기능을 갖추도록 할 수 있다. 또한 상기 영상 해석 장치는 상기 쿼리 이미지를 전송하기 위한 통신 모듈을 포함하여 구성될 수 있다.

영상 해석부(420)는 상기 쿼리 이미지(Query Image)를 근거로 특징정보를 추출한다. 상술한 바와 같이 상기 쿼리 이미지는 디지털 데이터로 표현된 정지 영상 데이터일 수 있다. 상기 특징정보는 도서의 표지면에 대한 윤곽을 인식하여 생성된 이미지 데이터이거나, 문단 또는 단어별로 블록화하여 생성된 적어도 하나 이상의 블록의 길이값이거나, 단어와 공백을 기준으로 이분화하여 생성된 문자열 특징점데이터일 수 있다.

또한 상기 영상 해석부(420)에서는 표지나 문단영역이 아닌 표 또는 그림영 역에 대하여 일정 특징점을 추출하여, 상기 특징점 주변화소의 방위를 근거로 생성된 벡터 정보를 정규화하고, 정규화된 상기 벡터 정보를 히스토그램 비교법을 통해 정합하여 생성된 지역 서술자를 상기 특징정보를 추출하도록 할 수 있다.

이와 같은 특징정보를 추출하기 위하여 상기 영상 해석부(420)는 상기 표지 또는 문단영역에 대한 특징정보 추출을 수행하는 윤곽인식부와, 표 또는 그림영역에 대한 특징점을 추출하여 지역 서술자를 생성하는 특징점 추출부로 구성될 수 있다. 이와 같은 분리 구성을 통해, 다양한 종류의 특징정보들을 단순 비교에서 상세한 비교로 순차적으로 수행하도록 할 수 있어, 페이지의 단순비교에 대한 출력 반응 속도의 신속성, 상세비교를 통한 정확성을 보장할 수 있다.

컨텐츠 전송부(520)는 사용자에게 제공될 컨텐츠를 상기 영상 해석 장치로 전송한다. 상기 전송되는 컨텐츠는 상기 도서의 출판사, 별도의 컨텐츠 제공자가 제공하는 컨텐츠로 사용자의 독서 의욕을 배가시킬 수 있도록 하는 컨텐츠일 수 있으며, 별도의 광고주가 제공하는 광고 컨텐츠로 사용자가 읽는 도서의 페이지와 연관이 있는 광고가 제공되어 사용자는 유익한 정보를 얻고, 광고주는 광고의 효과를 극대화시킬 수 있도록 할 수 있다.

컨텐츠 전송부(520)는 컨텐츠의 전송을 위하여 통신 모듈을 구비할 수 있는데 상기 컨텐츠가 디지털 데이터의 형태로 구성되는 경우 디지털 데이터의 송수신을 위한 모듈을 포함할 수 있다. 또한 상기 영상 해석 장치는 상기 컨텐츠 전송부(520)로부터 수신되는 컨텐츠를 별도의 출력장치를 이용하여 사용자에게 제공할 수 있는데, 상기 컨텐츠의 수신을 위하여 상기 컨텐츠 전송부(520)에 구비되 는 통신 모듈과 호환 가능한 통신 모듈을 포함하여 구성될 수 있다.

문서 데이터베이스(440)는 기설정된 상기 쿼리 이미지(Query Image)의 메타데이터(Meta-Data) 및 상기 메타데이터에 대응되는 컨텐츠 정보를 대응시켜 저장한다. 이 때, 기설정된 상기 쿼리 이미지의 메타데이터는 상술한 영상 처리부(410) 및 영상 해석부(420)를 통하여 추출된 특징정보일 수 있고, 사용자가 도서를 읽기 전에 미리 해당 도서에 대하여 상기 영상 처리부(410) 및 영상 해석부(420)에서 수행하는 동작과 동일한 동작을 수행하여 특징정보를 추출하고 이를 저장한 것일 수 있다.

컨텐츠 과금 정보 데이터베이스(450)는 상기 컨텐츠의 소유권 또는 과금에 관한 정보를 저장한다. 상술한 바와 같이 출력부(430)를 통하여 사용자에게 제공되는 컨텐츠는 도서를 제작한 출판사가 직접 제작하여 보유하고 있는 컨텐츠이거나 별도의 컨텐츠 제공자가 보유하고 있는 컨텐츠일 수 있다. 또한, 경우에 따라서는 광고주가 제공하는 광고 컨텐츠일 수 있다. 따라서 각각의 경우에 따라서 컨텐츠가 사용자에게 제공되는 것에 대한 과금을 어떻게 처리할 것인지에 관한 정보를 저장해야 하는데, 이를 위하여 컨텐츠 과금 정보 데이터베이스(450)가 사용된다.

제어부(460)는 상기 영상 해석부(420)에서 추출된 특징정보 및 상기 문서 데이터베이스(440)에 저장되어 있는 상기 메타데이터를 비교하여 일치하는 경우 상기 메타데이터에 대응되는 컨텐츠 정보를 이용하여 컨텐츠를 상기 컨텐츠 전송부(520)를 통하여 상기 영상 해석 장치로 전송하도록 제어한다. 이 때, 특징정보 및 메타데이터를 비교하는 것은 복수의 단계를 통하여 이루어 질 수도 있는데, 첫 번째 단 계에서 일치하는 메타데이터를 찾은 경우, 이에 대응되는 컨텐츠를 제공하고, 찾지 못한 경우에는 두 번째 단계의 비교를 통하여 일치하는 메타데이터를 찾도록 할 수 있다. 이와 같은 단계적인 매칭(matching) 과정을 통하여 도서의 페이지에 관련된 컨텐츠를 보다 빠르고 정확하게 찾을 수 있는 효과가 있다.

과금 처리부(470)는 상기 컨텐츠 과금 정보 데이터베이스(450)를 기초로 상기 컨텐츠 전송부(520)를 통하여 전송되는 컨텐츠에 대한 과금을 처리한다. 상술한 바와 같이, 본 발명에 따른 컨텐츠 제공 시스템(201)에서는 사용자에게 도서의 페이지와 연관된 페이지를 제공하는데, 이 때, 각 컨텐츠의 특성에 따라서 컨텐츠 제공자에게 비용을 지불하거나, 광고주에게서 광고 금액을 받는 경우가 발생한다.

따라서 과금 처리부(470)는 광고 컨텐츠가 제공되는 경우 광고주로부터 과금 정보 데이터베이스(450)의 과금 정보에 따른 금액을 수신하고, 일반 컨텐츠가 제공되는 경우 컨텐츠 제공자에게 과금 정보 데이터베이스(450)의 과금 정보에 따른 금액을 제공할 수 있다.

도 6 내지 도 8은 본 발명에 따른 컨텐츠 제공 시스템에서 쿼리 이미지를 해석하는 도서 인식 과정을 나타낸 것이다.

먼저 도 6은 표지영역을 근거로 기저장된 메타데이터와 비교하여 문서를 인식하는 과정을 나타낸 것이다.

우선, 유아용 그림책이나 특수 지도와 같은 페이지마다 다양한 종류의 표지 윤곽을 가지는 도서(301)에 대하여, 상기 영상 해석 장치는 카메라(110)를 통해 도서(100)의 표지 윤곽을 인식하고, 표지 윤곽에 대한 이미지 데이터를 생성하여 상 기 문서 DB부에 저장된 메타데이터와 비교함으로써 일치여부를 용이하게 파악할 수 있다. 일례로, 도 6의 상단에 도시된 바와 같이, 일반적인 도서는 네모난 형태의 문서 표지를 가져 표지의 윤곽 인식으로 일치하는 도서(301)를 구별하기 어렵지만, 도 6의 하단에 도시된 바와 같이 일반적인 책 표지의 윤곽과 구별되는 자동차 및 집과 같은 다양한 윤곽의 표지로 구성된 책의 경우 용이하게 해당 도서(301)를 구별할 수 있다.

따라서, 공통된 표지가 아닌 다양한 윤곽의 형태로 구성된 도서(301)의 경우 해당 도서를 손쉽게 검색할 수 있다. 한편, 이러한 윤곽선 추출을 통해 도서(301)의 왜곡 상태를 쉽게 인지할 수 있어 후속 인식률을 높일 수 있다.

상술한 바는 가장 기본적인 비교로서, 이후 더욱 상세한 특징점을 추출하여 정확한 페이지의 인식과 더불어 대응되는 출력을 제공토록 할 수 있는데, 이를 도 7(a)를 참고하여 상세히 설명하면, 페이지에 기술된 문장을 문단영역으로 구분하여 블록화하고, 생성된 블록의 윤곽에 대한 길이값을 특징점으로 생성하고 상기 문서 DB부의 메타데이터와 비교하여 해당 페이지의 문단 구성을 정확하게 구별함으로써 페이지에 대응하는 정확한 출력이 제공되도록 할 수 있다.

한편, 상술한 블록 윤곽이 일치하는 페이지가 없거나 복수로 존재하는 경우, 검색된 페이지 중에서 일치하는 부분을 추출하기 위하여, 문단으로 구별된 윤곽을 다시 단어별로 블록화하여 단어별 블록 길이값을 상기 문서 DB부의 메타데이터와 비교함으로써, 더욱 세분화된 비교를 통한 페이지 인식의 정확성을 높일 수 있다.

그러나 이러한 비교에도 일치하는 페이지가 없거나 복수로 생성되는 경우, 도 7(b)에 도시된 바와 같이, 글자와 공백을 각각 1과 0으로 취급하여 이진 데이터화함으로써, 상기 문서 DB부와 비교하는 과정이 더욱 상세하게 이루어지도록 할 수 있다.

상술한 과정에서도 일치하는 페이지가 없거나 복수로 존재하거나 없는 경우, 최종적으로 대상 페이지에 포함된 표나 그림을 근거로 특징정보를 추출하여 상기 문서 DB부의 메타데이터와 비교하도록 할 수 있는데, 이를 도 8을 통해 상세히 설명하면, 상기 영상 해석부(410)는 페이지에 포함된 표나 그림영역에 대하여 일정 특징점을 추출하고, 추출된 특징점은 주변 화소와의 관계성에 대하여 지역 서술자(local descriptor)를 생성하게 된다. 특히, 특징점의 기준 방위는 영상의 그레디언트 정보를 이용하여 서술자를 생성하게 되며, 이는 비교되는 영상의 회전 및 크기 변화에 강한 인식 결과를 제공할 수 있다. 도 8에서 보듯이 지역 서술자를 생성하기 위해서 특징점 주변의 일정 영역을 4분할된 영역으로 구분한다. 각각의 분할된 영역은 내부의 화소들의 기울기를 이용하여 기준 방위를 추출하게 되며, 최종적으로 특징 벡터를 생성하게 된다. 특징벡터는 화소들의 기울기를 45°씩 구분하여 총 8개의 방향성을 가질 수 있게 된다. 즉, 각각의 특징점은 4X4 영역에 8개의 방향성을 가지게 되므로 총 128차원의 벡터차원을 가지게된다. 생성된 특징 벡터는 정규화 과정을 거쳐 히스토그램 비교법을 통해 특징점 정합 과정을 수행하여 지역 서술자를 생성하게 된다.

이후, 상기 지역 서술자를 상기 특징정보로 설정하여 상기 문서 DB부의 메타데이터와 비교함으로써 대응되는 페이지의 출력을 제공할 수 있게 된다.

도 9는 본 발명의 일실시예에 따른 컨텐츠 제공 시스템(201)에서 도서의 페이지를 인식하는 과정을 도시하는 흐름도이다.

도 6 내지 도 8에서 설명한 바와 같이, 본 발명의 일실시예에 따른 컨텐츠 제공 시스템(201)은 세 단계를 거쳐 도서의 페이지를 인식하도록 할 수 있다. 먼저 본 발명에 따른 컨텐츠 제공 시스템(201)에서 카메라를 이용하여 도서의 페이지의 영상을 촬영하고 이를 처리하여 쿼리 이미지(Query Image)를 생성하고(S901), 생성된 쿼리 이미지로부터 표지영역에 대한 특징정보를 추출한다(S902). 상기 표지영역에 대한 특징 정보는 도서의 표지의 윤곽에 특징이 있는 경우 다른 도서와의 구별을 위하여 사용될 수 있으며, 일반적인 사각형 형태의 도서인 경우에는 식별하기가 쉽지 않을 수 있다.

상기 추출된 표지영역에 대한 특징정보를 이용하여 문서 데이터베이스(440)에 저장된 메타데이터 중 상기 특징정보와 대응되는 메타데이터가 있는지 검색한다(S903). 상기 검색 결과 대응되는 메타데이터가 있으면 그 메타데이터에 대응되는 컨텐츠를 제공한다(S909).

상기 검색 결과 대응되는 메타데이터가 없는 경우에는 상기 쿼리 이미지로부터 문단영역 특징정보를 추출한다(S904). 상기 문단영역 특징정보는 도서의 각 페이지의 문단의 배치를 특징으로 하여 도서의 각 페이지를 식별할 수 있도록 한 정보로, 이를 이용하면 도서의 각 페이지를 용이하게 식별할 수 있다. 상기 추출된 문단영역 특징정보를 이용하여 문서 데이터베이스(440)에 저장된 메타데이터 중 상기 특징정보와 대응되는 메타데이터가 있는지 검색한다(S905). 대응되는 메타데이 터가 있으면 그 메타데이터에 대응되는 컨텐츠를 제공한다(S909).

상기 검색 결과 대응되는 메타데이터가 없는 경우, 상기 쿼리 이미지로부터 표/그림영역 특징정보를 추출한다(S906). 상기 표/그림영역 특징정보는 도서의 각 페이지에 존재하는 표나 그림에 대한 특징을 추출한 것으로, 도서의 페이지를 구분하는 가장 강력한 특징정보가 될 수 있다. 상기 추출된 표/그림영역 특징정보를 이용하여 문서 데이터베이스(440)에 저장된 메타데이터 중 상기 특징정보와 대응되는 메타데이터가 있는지 검색한다(S907).

상기 검색 결과 대응되는 메타데이터가 있으면 그 메타데이터에 대응되는 컨텐츠를 제공하고(S909), 대응되는 메타데이터가 없으면 새로운 도서의 페이지에 대한 입력영상을 처리하여 상술한 과정을 반복하여 수행한다.

도 10은 본 발명의 일실시예에 따른 컨텐츠 제공 방법의 흐름을 도시하는 흐름도이다. 본 발명에 따른 컨텐츠 제공 방법은 도 10의 설명에 의하여만 한정되는 것은 아니고, 상술한 컨텐츠 제공 시스템의 구성이 모두 적용될 수 있으며, 그 밖의 다양한 변형도 가능하다.

단계 S1001에서는 카메라를 통하여 촬영된 도서의 페이지에 대한 영상을 처리하여 쿼리 이미지(Query Image)를 생성한다. 경우에 따라서 상기 쿼리 이미지는 별도의 영상 해석 장치로부터 디지털 데이터 통신 모듈 등을 이용하여 전송되어 온 데이터일 수도 있다.

단계 S1002에서는 상기 생성된 쿼리 이미지를 근거로 특징정보를 추출한다. 상기 특징정보는 도서의 표지면에 대한 윤곽을 인식하여 생성된 이미지 데이터이거 나, 문단 또는 단어 별로 블록화하여 생성된 적어도 하나 이상의 블록의 길이값이거나, 단어와 공백을 기준으로 이분화하여 생성된 문자열 특징점 데이터일 수 있다.

단계 S1003에서는 기설정된 상기 쿼리 이미지의 메타데이터 및 상기 메타데이터에 대응되는 컨텐츠 정보를 대응시켜 문서 데이터베이스에 저장한다. 상기 메타데이터는 상술한 단계 S1002에서 추출하는 특징정보와 마찬가지로 도서의 표지면에 대한 윤곽을 인식하여 생성된 이미지 데이터이거나, 문단 또는 단어 별로 블록화하여 생성된 적어도 하나 이상의 블록의 길이값이거나, 단어와 공백을 기준으로 이분화하여 생성된 문자열 특징점 데이터일 수 있다. 따라서, 상기 쿼리 이미지 및 특징정보를 비교하여 도서의 페이지를 식별할 수 있다.

단계 S1004에서는 상기 컨텐츠의 소유권 또는 과금에 관한 정보를 컨텐츠 과금 정보 데이터베이스에 저장한다. 상기 컨텐츠의 소유권에 관한 정보는 각 컨텐츠의 소유권을 가진 주체를 식별하기 위한 코드 형태일 수 있으며, 상기 과금에 관한 정보는 각 컨텐츠에 대하여 과금되는 액수, 과금의 형태 등에 대한 정보를 포함할 수 있다. 또한 상기 컨텐츠 과금 정보 데이터베이스에는 각 컨텐츠가 광고 컨텐츠인지 여부에 관한 정보를 포함할 수 있다.

단계 S1005에서는 상기 추출된 특징정보 및 상기 문서 데이터베이스에 저장되어 있는 상기 메타데이터를 비교하여 일치하는 경우 상기 메타데이터에 대응되는 컨텐츠 정보를 이용하여 컨텐츠를 제공한다. 상술한 바와 같이, 특징정보 및 메타데이터는 서로 비교됨으로써 도서의 페이지를 식별하도록 할 수 있다.

단계 S1006에서는 상기 컨텐츠 과금 정보 데이터베이스에 저장된 정보를 기초로 상기 제공되는 컨텐츠에 대한 과금을 처리한다. 상술한 바와 같이 컨텐츠 과금 정보 데이터베이스에는 각 컨텐츠의 소유권에 관한 정보 및 과금에 관한 정보가 저장되어 있으므로, 그 정보를 이용하여 과금을 처리할 수 있다. 제공되는 컨텐츠가 광고형 컨텐츠인 경우에는 컨텐츠가 노출되는 것에 대한 비용을 광고주가 납부하도록 처리할 수 있고, 일반 컨텐츠인 경우에는 컨텐츠 제공자에게 컨텐츠 제공에 대한 비용을 납부하도록 처리할 수 있다.

본 발명의 일실시예에 따른 컨텐츠 제공 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

도 1은 종래 기술에 따른 도서 음향 장치의 일례를 도시하는 도면이다.

도 2는 본 발명의 일실시예에 따른 컨텐츠 제공 시스템을 개략적으로 도시하는 도면이다.

도 3은 본 발명의 일실시예에 따른 컨텐츠 제공 시스템에서 사용되는 영상 해석 장치의 사시도이다.

도 4는 본 발명의 일실시예에 따른 컨텐츠 제공 시스템의 내부 구성을 도시하는 도면이다.

도 5는 본 발명의 다른 실시예에 따른 컨텐츠 제공 시스템의 내부 구성을 도시하는 도면이다.

도 6은 본 발명의 일실시예에 따른 컨텐츠 제공 시스템에서 도서의 표지 영역에 대한 윤곽 인식을 도시하는 도면이다.

도 7은 본 발명의 일실시예에 따른 컨텐츠 제공 시스템에서 도서의 문단 영역에 대한 기본 및 상세 윤곽 인식 과정을 도시하는 도면이다.

도 8은 본 발명의 일실시예에 따른 컨텐츠 제공 시스템에서 표 및 그림 영역에 대한 인식 과정을 도시하는 도면이다.

도 9는 본 발명의 일실시예에 따른 컨텐츠 제공 방법에서 도서의 페이지를 인식하는 과정을 도시하는 흐름도이다.

도 10은 본 발명의 일실시예에 따른 컨텐츠 제공 방법의 흐름을 도시하는 흐름도이다.

<도면의 주요 부분에 대한 부호의 설명>

201: 컨텐츠 제공 시스템

410: 영상 처리부

420: 영상 해석부

430: 출력부

440: 문서 데이터베이스

450: 컨텐츠 과금 정보 데이터베이스

460: 제어부

470: 과금 처리부

Claims (7)

1. 카메라를 통하여 촬영된 도서의 페이지에 대한 영상을 캡쳐하여 쿼리 이미지(Query Image)를 생성하는 영상 처리부;

   상기 쿼리 이미지를 근거로 특징정보를 추출하는 영상 해석부;

   사용자에게 컨텐츠를 제공하는 출력부;

   상기 특징정보를 기저장한 상기 쿼리 이미지의 메타데이터 및 상기 메타데이터에 대응되는 컨텐츠 정보를 대응시켜 저장하는 문서 데이터베이스;

   상기 컨텐츠의 소유권 또는 과금에 관한 정보를 저장하는 컨텐츠 과금 정보 데이터베이스;

   상기 영상 해석부에서 추출된 특징정보 및 상기 문서 데이터베이스에 저장되어 있는 상기 메타데이터를 비교하여 일치하는 경우 상기 메타데이터에 대응되는 컨텐츠 정보를 이용하여 컨텐츠를 상기 출력부를 통하여 제공하도록 제어하는 제어부; 및

   상기 컨텐츠 과금 정보 데이터베이스를 기초로 상기 출력부를 통하여 제공되는 컨텐츠에 대한 과금을 처리하는 과금 처리부

   를 포함하는 것을 특징으로 하는 컨텐츠 제공 시스템.
2. 카메라를 통하여 촬영된 도서의 페이지에 대한 영상을 캡쳐하여 생성된 쿼리 이미지(Query Image)를 영상 해석 장치로부터 수신하는 쿼리 이미지 수신부;

   상기 쿼리 이미지를 근거로 특징정보를 추출하는 영상 해석부;

   사용자에게 제공될 컨텐츠를 상기 영상 해석 장치로 전송하는 컨텐츠 전송부;

   상기 특징정보를 기저장한 상기 쿼리 이미지의 메타데이터 및 상기 메타데이터에 대응되는 컨텐츠 정보를 대응시켜 저장하는 문서 데이터베이스;

   상기 컨텐츠의 소유권 또는 과금에 관한 정보를 저장하는 컨텐츠 과금 정보 데이터베이스;

   상기 영상 해석부에서 추출된 특징정보 및 상기 문서 데이터베이스에 저장되어 있는 상기 메타데이터를 비교하여 일치하는 경우 상기 메타데이터에 대응되는 컨텐츠 정보를 이용하여 컨텐츠를 상기 컨텐츠 전송부를 통하여 상기 영상 해석 장치로 전송하도록 제어하는 제어부; 및

   상기 컨텐츠 과금 정보 데이터베이스를 기초로 상기 전송되는 컨텐츠에 대한 과금을 처리하는 과금 처리부

   를 포함하는 것을 특징으로 하는 컨텐츠 제공 시스템.
3. 제1항 또는 제2항에 있어서,

   상기 컨텐츠 과금 정보 데이터베이스는

   각각의 컨텐츠가 광고형 컨텐츠인지 여부를 나타내는 정보를 더 포함하고,

   상기 과금 처리부는

   상기 컨텐츠가 광고형 컨텐츠인 경우에는 상기 컨텐츠의 소유권을 보유한 자에게 요금을 부과하는 처리를 수행하고, 광고형 컨텐츠가 아닌 경우에는 상기 컨텐츠의 소유권을 보유한 자에게 요금을 제공하는 처리를 수행하는 것

   을 특징으로 하는 컨텐츠 제공 시스템.
4. 제1항 또는 제2항에 있어서,

   상기 제어부는

   상기 도서의 페이지에 대한 영상 중 손 또는 펜 형태의 지시자를 식별하고, 상기 지시자의 동작을 지시동작과 일반동작으로 구분하며,

   상기 지시자의 동작이 지시동작인 경우, 해당 동작에 따른 컨텐츠를 제공하는 것

   을 특징으로 하는 컨텐츠 제공 시스템.
5. 영상 처리부가 카메라를 통하여 촬영된 도서의 페이지에 대한 영상을 캡쳐하여 쿼리 이미지(Query Image)를 생성하는 단계;

   영상 해석부가 상기 쿼리 이미지를 근거로 특징정보를 추출하는 단계;

   문서 데이터베이스가 상기 특징정보를 기저장한 상기 쿼리 이미지의 메타데이터 및 상기 메타데이터에 대응되는 컨텐츠 정보를 대응시켜 저장하는 단계;

   컨텐츠 과금 정보 데이터베이스가 상기 컨텐츠의 소유권 또는 과금에 관한 정보를 저장하는 단계;

   제어부가 상기 영상 해석부에서 추출된 특징정보 및 상기 문서 데이터베이스에 저장되어 있는 상기 메타데이터를 비교하여 일치하는 경우 상기 메타데이터에 대응되는 컨텐츠 정보를 이용하여 컨텐츠를 제공하도록 제어하는 단계;

   출력부가 사용자에게 상기 컨텐츠를 제공하는 단계; 및

   과금 처리부가 상기 컨텐츠 과금 정보 데이터베이스를 기초로 상기 제공되는 컨텐츠에 대한 과금을 처리하는 단계

   를 포함하는 것을 특징으로 하는 컨텐츠 제공 방법.
6. 쿼리 이미지 수신부가 카메라를 통하여 촬영된 도서의 페이지에 대한 영상을 캡쳐하여 생성된 쿼리 이미지(Query Image)를 영상 해석 장치로부터 수신하는 단계;

   영상 해석부가 상기 쿼리 이미지를 근거로 특징정보를 추출하는 단계;

   문서 데이터베이스가 상기 특징정보를 기저장한 상기 쿼리 이미지의 메타데이터 및 상기 메타데이터에 대응되는 컨텐츠 정보를 대응시켜 저장하는 단계;

   컨텐츠 과금 정보 데이터베이스가 상기 컨텐츠의 소유권 또는 과금에 관한 정보를 저장하는 단계;

   제어부가 상기 영상 해석부에서 추출된 특징정보 및 상기 문서 데이터베이스에 저장되어 있는 상기 메타데이터를 비교하여 일치하는 경우 상기 메타데이터에 대응되는 컨텐츠 정보를 이용하여 컨텐츠를 전송하도록 제어하는 단계;

   컨텐츠 전송부가 사용자에게 제공될 상기 컨텐츠를 상기 영상 해석 장치로 전송하는 단계; 및

   과금 처리부가 상기 컨텐츠 과금 정보 데이터베이스를 기초로 상기 전송되는 컨텐츠에 대한 과금을 처리하는 단계

   를 포함하는 것을 특징으로 하는 컨텐츠 제공 방법.
7. 제5항 또는 제6항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.

Images