KR102196799B1

KR102196799B1 - 도서 객체와 상호작용 컨텐츠를 연계한 독서 지원 시스템 및 방법

Info

Publication number: KR102196799B1
Application number: KR1020200059963A
Authority: KR
Inventors: 최삼락; 박정욱; 장혜정; 김봉규; 신재옥; 정현선
Original assignee: (주)웅진씽크빅
Priority date: 2020-05-19
Filing date: 2020-05-19
Publication date: 2020-12-30

Abstract

상호작용 객체와 연동하여 상호작용 컨텐츠를 출력하고, 입력된 위치 정보를 근거로 상호작용 컨텐츠를 변화시켜 출력하도록 한 독서 지원 시스템 및 방법을 제시한다. 제시된 독서 지원 시스템은 활동 영역 영상에 대응하는 상호작용 컨텐츠를 출력하고, 상호작용 컨텐츠가 표시된 영역에서 입력되는 사용자 입력을 기반으로 적어도 하나의 객체가 변화하는 상호작용 컨텐츠를 출력하는 독서 지원 장치를 포함한다.

Description

도서 객체와 상호작용 컨텐츠를 연계한 독서 지원 시스템 및 방법{APPARATUS AND METHOD FOR SUPPORTING READING BY LINKING ADDITIONAL CONTENT TO BOOK}

본 발명은 독서 지원 시스템 및 방법에 관한 것으로, 더욱 상세하게는 실물 도서에 관련된 부가 컨텐츠를 제공하여 사용자의 독서를 지원하는 독서 지원 시스템 및 방법에 관한 것이다

일반적으로, 독서는 문자, 이미지 등을 포함한 도서를 읽고 지식을 습득하기 위한 행위이다. 최근에는 사람들이 스마트폰, 태블릿 등의 전자기기에 익숙해짐에 따라 문자, 이미지(즉, 정지 영상)만으로 구성된 실물도서의 독서보다는 인터넷 서핑, 인터넷 동영상 시청 등을 통해 지식을 습득하는 빈도가 증가하고 있다.

출판업계에서는 문자, 이미지, 음성, 효과음, 동영상 등으로 구성된 멀티미디어 도서로 실물도서를 대체하고 있으나, 종래의 멀티미디어 도서는 단순히 도서 내용에 관련된 음성, 영상 등을 제공하는 정도로 수동적이고 일차원적으로 필요한 정보를 제공하는 정도이다.

이에, 출판업계에서는 능동적인 독서 및 능동적인 독서 참여를 유도하기 위한 다양한 독서 지원 기술을 연구하고 있다.

이상의 배경기술에 기재된 사항은 발명의 배경에 대한 이해를 돕기 위한 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진　종래 기술이 아닌 사항을 포함할 수 있다.

한국등록특허 제10-1587471호(명칭: 웨어러블 컴퓨터를 이용한 독서 증강을 위한 책 시스템 및 독서 증강 방법)

본 발명은 상기한 사정을 감안하여 제안된 것으로 도서 객체 상호작용 객체와 연동하여 상호작용 컨텐츠를 출력하고, 입력된 위치 정보를 근거로 상호작용 컨텐츠를 변화시켜 출력하도록 한 독서 지원 시스템 및 방법을 제공하는 것을 목적으로 한다.

상기한 목적을 달성하기 위하여 본 발명의 실시 예에 따른 독서 지원 시스템은 도서 객체가 배치되는 활동 영역을 갖는 물리적 표면에 배치되고, 하나 이상의 프로세서를 갖는 독서 지원 장치를 포함하고, 독서 지원 장치는 활동 영역과 활동 영역을 촬영한 활동 영역 영상을 입력받고, 활동 영역 영상을 영상 분석한 영상 분석 결과를 출력하는 영상 처리 엔진, 통신을 위해 영상 처리 엔진과 연결되고, 영상 처리 엔진에서 출력된 영상 분석 결과에 연계된 독서 지원 정보의 메인 부가 영상을 상호작용 컨텐츠로 검출하고, 상호작용 컨텐츠를 포함한 출력 신호를 출력하는 프로세서 및 통신을 위해 영상 처리 엔진 및 프로세서와 연결되고, 활동 영역 영상을 출력하고, 출력 신호에 응답하여 상호작용 컨텐츠를 출력하되 활동 영역 영상에 오버랩 되도록 상호작용 컨텐츠를 출력하는 디스플레이를 포함하고, 프로세서는 상호작용 컨텐츠를 출력한 후에 입력 신호 검출 요청을 출력하고, 통신을 위해 프로세서와 연결되고, 입력 신호 검출 요청에 응답하여 상호작용 컨텐츠가 표시된 영역에서 사용자 입력을 검출하고, 사용자 입력을 포함한 입력 감지 신호를 프로세서로 전송하는 검출기를 더 포함하고, 프로세서는 독서 지원 정보로부터 입력 감지 신호의 사용자 입력에 연계된 서브 부가 영상을 검출하고, 검출한 서브 부가 영상을 상호작용 컨텐츠로 재설정하고, 재설정된 상호작용 컨텐츠를 포함한 상호작용 컨텐츠 대체 출력 요청을 디스플레이로 전송하고, 디스플레이는 상호작용 컨텐츠 대체 출력 요청에 응답하여 출력 중인 상호작용 컨텐츠를 재설정된 상호작용 컨텐츠로 대체하여 출력한다.

영상 처리 엔진은 도서 컨텐츠 및 상호작용 객체 중 하나를 포함한 영상 분석 결과를 출력할 수 있다.

독서 지원 정보는 복수의 서브 부가 영상을 더 포함하고, 복수의 서브 부가 영상은 서로 다른 드래그 기준값과 연계되고, 드래그 기준값은 드래그 방향 및 드래그 거리 중 적어도 하나를 포함할 수 있다.

메인 부가 영상 및 서브 부가 영상은 입력 객체 및 변화 객체를 포함하되, 서브 부가 영상의 변화 객체는 메인 부가 영상의 변화 객체와 다를 수 있다.

검출기는 상호작용 컨텐츠가 출력된 영역 중에서 메인 부가 영상의 입력 객체가 배치된 영역에서 사용자 입력을 검출할 수 있다. 이때, 검출기는 입력 객체가 배치된 영역에서 드래그 시작 위치 좌표 및 드래그 종료 위치 좌표를 검출하고, 드래그 시작 위치 좌표 및 드래그 종료 위치 좌표를 기반으로 하는 드래그 방향 및 드래그 거리 중 하나 이상을 사용자 입력으로 검출할 수 있다.

메인 부가 영상은 기준 객체를 더 포함하고, 검출기는 입력 객체가 배치된 영역에서 드래그 시작 위치 좌표 및 드래그 종료 위치 좌표를 검출하고, 드래그 시작 위치 좌표 및 드래그 종료 위치 좌표를 기반으로 한 기준 객체와 입력 객체의 위치 관계를 사용자 입력으로 검출할 수 있다. 여기서, 위치 관계는 드래그 시작 위치 좌표와 기준 객체의 중심점을 연결한 제1 직선과 드래그 종료 위치 좌표와 기준 객체의 중심점을 연결한 제2 직선 사이의 각도일 수 있다.

영상 처리 엔진은 영상 분석 결과로 상호작용 객체 및 상호작용 객체 출력 영역을 검출하되, 활동 영역 영상의 전체 영역 중에서 상호작용 객체가 표시된 영역의 일부를 상호작용 객체 출력 영역으로 검출하고, 디스플레이는 상호작용 객체 출력 영역에 상호작용 컨텐츠를 출력할 수 있다.

상기한 목적을 달성하기 위하여 본 발명의 실시 예에 따른 독서 지원 방법은 활동 영역을 포함한 활동 영역 영상을 출력하는 단계, 활동 영역 영상을 영상 분석한 영상 분석 결과를 출력하는 단계, 영상 분석 결과에 연계된 독서 지원 정보의 메인 부가 영상을 상호작용 컨텐츠로 검출하는 단계, 상호작용 컨텐츠를 포함한 출력 신호를 출력하는 단계, 출력 신호에 응답하여 활동 영역 영상과 오버랩되도록 상호작용 컨텐츠를 출력하는 단계, 상호작용 컨텐츠를 출력하는 단계 이후에 입력 신호 검출 요청을 출력하는 단계, 입력 신호 검출 요청에 응답하여 상호작용 컨텐츠가 표시된 영역에서 사용자 입력을 검출하고, 사용자 입력을 포함한 입력 감지 신호를 출력하는 단계, 입력 감지 신호로부터 사용자 입력을 검출하고, 독서 지원 정보로부터 사용자 입력에 연계된 서브 부가 영상을 검출하고, 검출한 서브 부가 영상을 상호작용 컨텐츠로 재설정하는 단계, 재설정하는 단계에서 재설정된 상호작용 컨텐츠를 포함한 상호작용 컨텐츠 대체 출력 요청을 출력하는 단계 및 대체 출력 요청에 응답하여 출력 중인 상호작용 컨텐츠를 재설정하는 단계에서 재설정된 상호작용 컨텐츠로 대체하여 출력하는 단계를 포함한다.

영상 분석 결과를 출력하는 단계에서는 활동 영역 영상의 도서 컨텐츠 및 상호작용 객체 중 하나를 포함한 영상 분석 결과를 출력할 수 있다.

독서 지원 정보는 복수의 서브 부가 영상을 더 포함하고, 복수의 서브 부가 영상은 서로 다른 드래그 기준값과 연계되고, 드래그 기준값은 드래그 방향 및 드래그 거리 중 적어도 하나를 포함할 수 있다. 메인 부가 영상 및 서브 부가 영상은 입력 객체 및 변화 객체를 포함하되, 서브 부가 영상의 변화 객체는 메인 부가 영상의 변화 객체와 다를 수 있다.

입력 감지 신호를 출력하는 단계에서는 상호작용 컨텐츠가 출력된 영역 중에서 메인 부가 영상의 입력 객체가 배치된 영역에서 사용자 입력을 검출할 수 있다.

입력 감지 신호를 출력하는 단계는 입력 객체가 배치된 영역에서 드래그 시작 위치 좌표 및 드래그 종료 위치 좌표를 검출하는 단계 및 드래그 시작 위치 좌표 및 드래그 종료 위치 좌표를 기반으로 하는 드래그 방향 및 드래그 거리 중 하나 이상을 사용자 입력으로 검출하는 단계를 포함할 수 있다.

입력 감지 신호를 출력하는 단계는 입력 객체가 배치된 영역에서 드래그 시작 위치 좌표 및 드래그 종료 위치 좌표를 검출하는 단계 및 드래그 시작 위치 좌표 및 드래그 종료 위치 좌표를 기반으로 한 메인 부가 영상의 기준 객체와 입력 객체의 위치 관계를 사용자 입력으로 검출하는 단계를 포함할 수 있다.

입력 감지 신호를 출력하는 단계는 드래그 시작 위치 좌표와 기준 객체의 중심점을 연결한 제1 직선과 드래그 종료 위치 좌표와 기준 객체의 중심점을 연결한 제2 직선 사이의 각도를 위치 관계로 검출하는 단계를 더 포함할 수 있다.

영상 분석 결과를 출력하는 단계에서는 영상 분석 결과로 상호작용 객체 및 상호작용 객체 출력 영역을 검출하되, 활동 영역 영상의 전체 영역 중에서 상호작용 객체가 표시된 영역의 일부를 상호작용 객체 출력 영역으로 검출하고, 상호작용 컨텐츠를 출력하는 단계에서는 활동 영역 영상의 상호작용 객체 출력 영역에 상호작용 컨텐츠를 출력할 수 있다.

본 발명에 의하면, 독서 지원 시스템 및 방법은 사용자에 의해 변경되는 상호작용 객체 위치와 연동하여 디스플레이에 표시된 상호작용 컨텐츠를 변화시킴으로써, 정해진 시간에 정해진 부가 영상을 제공하는 종래 기술에 비해 사용자가 독서에 집중할 수 있는 환경을 제공할 수 있는 효과가 있다.

또한, 독서 지원 시스템 및 방법은 사용자에 의해 변경되는 상호작용 객체 위치와 연동하여 디스플레이에 표시된 상호작용 컨텐츠를 변화시킴으로써, 상호작용 객체를 이용한 사용자의 능동적인 독서 참여를 유도할 수 있는 효과가 있다.

또한, 독서 지원 시스템 및 방법은 사용자에 의해 변경되는 상호작용 객체 위치와 연동하여 디스플레이에 표시된 상호작용 컨텐츠를 변화시킴으로써, 미리 설정된 위치에 상호작용 컨텐츠를 출력하는 종래 기술에 비해 능동적인 독서를 유도할 수 있는 효과가 있다.

이상과 같은 본 발명의 기술적 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 실시 예에 따른 독서 지원 시스템을 설명하기 위한 도면.
도 2는 도 1의 독서 지원 장치를 설명하기 위한 도면.
도 3 및 도 4는 도 1의 독서 지원 장치를 사용하기 위한 거치대를 설명하기 위한 도면.
도 5 및 도 6은 도 1의 독서 지원 장치를 사용하기 위한 어댑터를 설명하기 위한 도면.
도 7은 도 1의 독서 지원 장치의 구성을 설명하기 위한 도면.
도 8 내지 도 11은 도 1의 독서 지원 장치의 동작을 설명하기 위한 도면.
도 12 내지 도 17은 도 1의 독서 지원 장치가 사용자 입력을 기반으로 상호작용 컨텐츠에 포함된 적어도 하나의 객체를 변형하여 출력하는 동작을 설명하기 위한 도면.
도 18은 도 1의 서비스 서버의 구성을 설명하기 위한 도면.
도 19 및 도 20은 도 1의 서비스 서버의 동작을 설명하기 위한 도면.
도 21은 도 1의 데이터베이스의 구성을 설명하기 위한 도면.
도 22는 도 21의 도서 식별자 저장소를 설명하기 위한 도면.
도 23은 도 21의 도서 정보 저장소를 설명하기 위한 도면.
도 24는 도 21의 독서 지원 정보 저장소를 설명하기 위한 도면.
도 25 내지 도 27은 본 발명의 실시 예에 따른 독서 지원 방법을 설명하기 위한 흐름도.
도 28 내지 도 30은 본 발명의 실시 예에 따른 독서 지원 방법에서 사용자 입력을 기반으로 상호작용 컨텐츠에 포함된 적어도 하나의 객체를 변형하여 출력하는 일례를 설명하기 위한 흐름도.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시 예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

본 기술분야의 통상의 지식을 가진 자들은 본 명세서에서 개시되는 구성들과 관련하여 설명되는 다양한 예시적인 블록, 장치 또는 동작들이 전자　하드웨어, 컴퓨터 소프트웨어 또는 이 둘의 조합으로서 구현될 수 있다는 것을 알 것이다. 이러한 블록, 장치 또는 동작들은 프로세서, DSP(digital signal processor), ASIC(application-specific integrated circuit) 또는 ASSP(application-specific standard product), FPGA(field-programmable gate array) 또는 다른 프로그래밍가능 논리 디바이스, 개별 게이트 또는 트랜지스터 논리, 개별 하드웨어 구성요소 또는 본 명세서에 개시되는 바와 같은 구성을 생성하도록 설계된 이들의 임의의 조합을 이용하여 구현 또는 수행될 수 있다. 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들어 DSP와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 연계된 하나 이상의 마이크로프로세서 또는 임의의 다른 구성으로서 구현될 수 있다. 컴퓨터 소프트웨어 또는 프로그램은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 플래시 RAM과 같은 비휘발성 RAM, 소거 및 프로그래밍 가능한 ROM(EPROM), 전기적으로 소거 및 프로그래밍 가능한 ROM(EEPROM), 레지스터, 하드 디스크, 이동식 디스크, CD-ROM 또는 본 기술 분야에 공지된 임의의 다른 형태의 저장 매체에 존재할 수 있으며, 프로세서 또는 DSP와 같은 논리 요소들의 어레이에 의해 실행될 수 있는 머신 판독 가능 명령어를 포함할 수 있다. 예시적인 저장 매체가 프로세서와 결합될 수 있고, 프로세서는 저장 매체로부터의 정보를 판독하고 저장 매체에 정보를 기록할 수 있다. 대안으로서, 저장 매체는 프로세서와 일체일 수 있다. 프로세서와 저장 매체는 ASIC 내에 위치할 수 있다. ASIC은 사용자　단말기 내에 위치할 수 있다. 대안으로서, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 구성요소로서 존재할 수 있다.

도 1을 참조하면, 본 발명의 실시 예에 따른 독서 지원 시스템은 독서 지원 장치(100), 서비스 서버(200) 및 데이터베이스(300)를 포함하여 구성된다. 여기서, 도 1에서는 본 발명의 실시 예를 용이하게 설명하기 위해서 서비스 서버(200) 및 데이터베이스(300)가 분리된 것으로 도시하였으나, 이에 한정되지 않고 서비스 서버(200) 및 데이터베이스(300)가 하나의 서버로 구성되거나, 서비스 서버(200) 및 데이터베이스(300)가 독서 지원 장치(100) 내에서 모듈 형태로 구현될 수도 있다.

독서 지원 장치(100)는 촬영 기능을 갖는 단말기로 구성된다. 독서 지원 장치(100)는 영상을 촬영할 수 있는 카메라(130)가 장착된 스마트폰, 태블릿, 랩톱(laptop) 등인 것을 일례로 한다. 독서 지원 장치(100)는 서비스 서버(200) 및 데이터베이스(300)와 네트워크를 통해 연결되어 독서 지원 서비스를 제공하기 위한 다양한 정보들을 송수신한다.

도 2를 참조하면, 독서 지원 장치(100)는 카메라(130)를 통해 도서 객체(BO; Book Object)가 배치된 활동 영역(AS; Activity Surface)을 촬영한다. 여기서, 활동 영역(AS)은 독서 지원 장치가 배치되는 물리적 표면 중 일부 영역을 의미한다.

독서 지원 장치(100)는 도서 컨텐츠(BC; Book Contents)를 포함한 활동 영역 영상(ASV)을 디스플레이(140)를 이용해 출력한다. 여기서, 활동 영역(AS)은 독서 지원 장치(100) 및 도서 객체(BO)가 배치된 바닥면의 일부 영역으로, 도서 객체(BO)가 배치된 영역을 포함하는 영역이다. 활동 영역 영상(ASV)은 카메라(130)를 통해 활동 영역(AS)을 촬영한 영상이다. 도서 객체(BO)는 실물 도서이고, 도서 컨텐츠(BC)는 디스플레이(140)에 표시된 컨텐츠로, 도서 객체(BO)의 각 페이지에 포함된 텍스트, 이미지 등을 포함한다.

활동 영역 영상(ASV)에 상호작용 객체(IO; Interactive Object)가 인식되면, 독서 지원 장치(100)는 인식된 상호작용 객체(IO)에 대응되는 상호작용 컨텐츠(IC; Interactive Contents)를 디스플레이(140)를 이용해 출력한다.

사용자가 독서 지원 장치(100)를 파지한 상태인 경우, 독서 지원 장치(100)는 흔들림 또는 이동이 발생할 수 있다. 이 경우, 독서 지원 장치(100)는 활동 영역(AS)의 일부만 촬영하기 때문에 도서 객체(BO)의 텍스트, 이미지 중 일부가 누락된 도서 객체(BO)가 디스플레이(140)에 출력되거나, 활동 영역 영상(ASV)에 불러(blur)가 발생하여 영상 인식이 불가능해진다.

이에, 도 3 및 도 4를 참조하면, 독서 지원 장치(100)는 거치대(400)에 거치된 상태로 활동 영역(AS)을 촬영한다.

일반적으로 독서 지원 장치(100)에는 표준 화각(40~50도)을 갖는 카메라(130)가 장착된다. 표준 화각의 카메라(130)로 활동 영역(AS)을 모두 촬영하기 위해서는 카메라(130)와 활동 영역(AS) 사이를 설정 거리 이상 이격되도록 배치해야 한다.

이에, 거치대(400)는 본체(410)와 지지대(420)로 구성되며, 본체(410)에는 독서 지원 장치(100)의 하부를 지지하는 고정 장치(412)를 포함한다. 고정 장치(412)는 활동 영역(AS)에서 설정 높이(H) 이상 이격된 위치에 배치되어, 거치대(400)가 독서 지원 장치(100)의 카메라(130)를 활동 영역(AS)과 설정 거리 이상 이격시켜 카메라(130)가 활동 영역(AS) 모두를 촬영할 수 있도록 한다.

여기서, 독서 지원 장치(100)는 디스플레이(140)가 배치된 전면, 전면에 대향되는 후면 및 네 측면을 갖고, 독서 지원 장치(100)의 하부는 독서 지원 장치(100)의 네 측면 중에서 거치대(400)에 거치시 활동 영역(AS) 방향으로 배치된 측면을 의미한다. 설정 높이(H)는 독서 지원 장치(100)의 구성에 따라 달라질 수 있으므로, 본 발명의 실시 예에서는 설정 높이(H)의 수치를 별도로 한정하지 않는다.

또한, 독서 지원 장치(100)의 카메라(130)가 활동 영역(AS) 모두를 촬영할 수 있도록 하기 위해서, 본체(410)와 지지대(420)는 결합 축(430)을 중심으로 회동할 수 있도록 결합된다. 독서 지원 장치(100)는 본체(410)의 전면에 거치되며, 지지대(420)는 결합 축(430)을 중심으로 본체(410)의 후면 방향으로 회동한다. 이때, 본체(410)와 지지대(420) 사이의 각도(θ, 사잇각)는 활동 영역(AS)을 모두 촬영할 수 있는 화각을 확보하기 위해서 설정 각도 범위 내의 각도를 갖는다.

여기서, 사잇각은 지지대(420)가 회동하여 본체(410)의 후면 방향으로 배치된 상태에서 본체(410)와 지지대(420) 사이의 끼인각이다. 설정 각도는 독서 지원 장치(100), 본체(410) 및 지지대(420)의 구조에 따라 달라질 수 있으므로, 본 발명의 실시 예에서는 설정 각도의 수치를 별도로 한정하지 않는다.

독서 지원 장치(100)는 활동 영역 영상(ASV)을 사용자가 시청할 수 있도록 하기 위해서 전면 방향을 촬영하는 카메라(130; 즉, 전면 카메라)를 이용해 활동 영역(AS)을 촬영한다. 일반적으로 독서 지원 장치(100)의 카메라(130)는 전면 방향을 촬영하도록 설치되어 있기 때문에 활동 영역(AS)의 촬영이 불가능하다.

이에, 독서 지원 장치(100)는 어댑터(500; Adaptor)가 장착된 상태에서 활동 영역(AS)을 촬영한다. 어댑터(500)는 하우징(520)과 하우징(520) 내부에 배치된 반사경(540)을 포함하여 구성된다.

하우징(520)은 독서 지원 장치(100)와의 결합시 독서 지원 장치(100)의 손상을 방지하면서 체결력을 유지하기 위해 탄성을 갖는 재질로 형성될 수 있다. 하우징(520)은 독서 지원 장치(100)의 상부에 장착되며, 독서 지원 장치(100)의 전면에 배치된 카메라(130)와 중첩되도록 장착된다. 여기서, 독서 지원 장치(100)의 상부는 독서 지원 장치(100)의 네 측면 중에서 거치대(400)에 거치시 활동 영역(AS) 방향으로 배치된 측면과 대향되는 측면을 의미한다.

반사경(540)은 하우징(520)의 내부에 배치되어 활동 영역(AS)을 독서 지원 장치(100)의 카메라(130) 방향으로 반사시킨다. 반사경(540)은 하우징(520)의 내부에서 독서 지원 장치(100)의 전면과 예각(acute angle)을 이루고, 독서 지원 장치(100)의 카메라(130)와 마주하도록 배치된다.

도 5 및 도 6을 참조하면, 어댑터(500)는 독서 지원 장치(100)의 카메라(130)가 배치된 영역에 끼움 결합된다. 이때, 어댑터(500)는 하우징(520)을 통해 카메라(130)에 다른 영역이 촬영되는 것을 차단하고, 반사경(540)을 통해 활동 영역(AS)을 카메라(130)로 반사시킨다.

한편, 독서 지원 장치(100)는 어댑터(500)가 정확한 위치에 장착되도록 가이드하는 가이드 장치가 형성될 수 있다. 가이드 장치는 독서 지원 장치(100)에 배치되며, 돌기, 요홈 등과 같이 다양한 형태 중 하나 또는 둘 이상의 조합으로 형성될 수 있다. 이때, 가이드 장치는 독서 지원 장치(100)의 하우징(520)과 일체로 형성될 수 있다. 어댑터(500)의 하우징(520)은 독서 지원 장치(100)와 결합시 가이드 장치와 오버랩되는 영역에 가이드 장치와 대응되는 형태의 돌기, 요홈 등이 형성될 수 있다.

독서 지원 장치(100)는 거치대(400)에 거치된 상태에서 어댑터(500)를 통해 도서 객체(BO)가 배치된 활동 영역(AS)을 촬영한다. 독서 지원 장치(100)는 촬영의 결과로 생성되는 활동 영역 영상(ASV)을 이용하여 도서 컨텐츠(BC)에 연계된 상호작용 컨텐츠(IC)를 출력한다. 이때, 독서 지원 장치(100)는 활동 영역 영상(ASV)에 오버랩(오버라이트)되도록 상호작용 컨텐츠(IC)를 출력한다.

여기서, 상호작용 컨텐츠(IC)는 증강 현실(AR; Augmented Reality) 컨텐츠, 혼합 현실(MR; Mixed Reality) 컨텐츠, 초실감(XR; eXtended Reality) 컨텐츠 등과 같이 실시간 영상에 부가 영상을 출력하는 컨텐츠인 것을 일례로 한다.

도 7을 참조하면, 독서 지원 장치(100)는 애플리케이션(110), 프로세서(120), 카메라(130), 디스플레이(140), 영상 처리 엔진(150), 제1 통신 모듈(160), 저장소(170), 메모리(180) 및 검출기(190)를 포함하여 구성된다. 애플리케이션(110), 프로세서(120), 카메라(130), 디스플레이(140), 영상 처리 엔진(150), 제1 통신 모듈(160), 저장소(170), 메모리(180) 및 검출기(190)는 버스(bus)를 통해 신호 및 데이터를 입력받거나 출력한다.

사용자는 독서 지원 서비스를 이용하기 위해 독서 지원 장치(100)에 설치된 애플리케이션(110)을 구동한다. 즉, 사용자는 독서 지원 장치(100)를 구동시킨 후에 터치, 클릭, 더블 클릭 등의 조작을 통해 독서 지원 서비스를 지원하는 애플리케이션(110)을 실행한다.

애플리케이션(110)은 사용자의 실행에 의해 활성화되어 카메라 구동 요청 신호를 프로세서(120)로 출력한다. 프로세서(120)는 애플리케이션(110)의 카메라 구동 요청 신호에 응답하여 촬영 개시 신호를 카메라(130)로 출력한다. 카메라(130)는 프로세서(120)의 촬영 개시 신호에 응답하여 활동 영역(AS)의 촬영을 개시하고, Ack 신호를 애플리케이션(110)으로 전송한다. 카메라(130)는 활동 영역(AS)을 촬영한 활동 영역 영상(ASV)을 생성하고, 이를 디스플레이(140)로 실시간 전송한다. 디스플레이(140)는 카메라(130)로부터 전송받은 활동 영역 영상(ASV)을 실시간 출력한다.

애플리케이션(110)은 카메라(130)의 Ack 신호에 응답하여 독서 지원 서비스 대상인 도서 객체(BO)의 표지 촬영을 위해 프로세서(120)로 가이드 출력 신호를 전송한다. 프로세서(120)는 카메라(130)의 Ack 신호 및 애플리케이션(110)의 표지 가이드 출력 신호에 응답하여 표지 촬영 가이드 출력 신호를 디스플레이(140)로 전송한다. 디스플레이(140)는 가이드 출력 신호에 응답하여 활동 영역 영상(ASV)에 표지 촬영 가이드(CSG)를 오버랩(오버라이트)되도록 출력한다.

도 8을 참조하면, 디스플레이(140)는 화면을 중심점을 연결하는 가로 직선(HL) 및 세로 직선(VL)과, 표지 인식 영역을 포함하는 표지 촬영 가이드(CSG)를 활동 영역 영상(ASV)에 오버랩(오버라이트)시켜 출력한다.

도 9를 참조하면, 사용자가 디스플레이(140)에서 출력한 표지 인식 영역에 도서 객체(BO)가 위치하도록 도서 객체(BO)를 배치하면, 카메라(130)는 도서 객체(BO)가 배치된 영역을 촬영하고, 디스플레이(140)는 카메라(130)에서 촬영된 활동 영역 영상(ASV)을 출력한다.

영상 처리 엔진(150)은 활동 영역 영상(ASV)의 전체 영역 중에서 표지 촬영 가이드(CSG)의 표지 인식 영역에 대응되는 영역에 대한 영상 인식을 수행한다. 영상 처리 엔진(150)은 영상 인식에 대한 결과로 표지 이미지를 생성하고, 메모리(180)는 영상 처리 엔진(150)에서 생성한 표지 이미지를 임시 저장한다.

프로세서(120)는 메모리(180)에 저장된 표지 이미지를 포함하는 도서 식별 요청 신호를 생성하여 제1 통신 모듈(160)로 전송한다. 제1 통신 모듈(160)은 전송받은 도서 식별 요청 신호를 네트워크를 통해 서비스 서버(200)로 전송한다.

제1 통신 모듈(160)은 도서 식별 요청 신호에 대응하는 도서 식별 응답을 수신한다. 제1 통신 모듈(160)은 도서 객체(BO)에 대응하는 도서 정보를 포함하는 도서 식별 응답을 서비스 서버(200)로부터 수신한다. 이때, 제1 통신 모듈(160)은 도서명, 상호작용 객체 정보를 포함하는 도서 정보를 서비스 서버(200)로부터 수신하며, 상호작용 객체 정보는 도서에 대한 독서 지원시 사용되는 상호작용 객체(IO)의 상호작용 객체 이미지(IOI)를 포함하는 것을 일례로 한다.

표지 이미지가 도서 객체(BO)의 표지가 아니거나, 서비스 서버(200)에 등록된 도서 객체(BO)가 아닌 경우, 제1 통신 모듈(160)은 도서 인식 오류 메시지를 포함하는 도서 식별 응답을 수신할 수도 있다. 제1 통신 모듈(160)은 서비스 서버(200)로부터 전송받은 도서 식별 응답을 프로세서(120)로 전송한다.

도서 식별 응답에 도서 인식 오류 메시지가 포함된 경우, 프로세서(120)는 디스플레이(140)로 가이드 출력 신호를 전송한다. 디스플레이(140)는 가이드 출력 신호에 응답하여 활동 영역 영상(ASV)에 표지 촬영 가이드(CSG)가 오버랩(오버라이트)되도록 출력한다. 이때, 디스플레이(140)는 표지 촬영 가이드(CSG)와 함께 도서 객체(BO)의 교체 안내, 위치 이동 안내 등을 출력할 수도 있다.

도서 식별 응답에 도서 정보가 포함된 경우, 프로세서(120)는 디스플레이(140)로 도서 정보 출력 신호를 전송한다. 디스플레이(140)는 도서 정보 출력 신호에 응답하여 도서 정보와 함께 도서 객체(BO)의 서비스 개시 확인 객체가 활동 영역 영상(ASV)에 오버랩(오버라이트)되도록 출력한다.

사용자가 독서 지원 장치(100)에 표시된 서비스 개시 확인 객체 중에서 서비스 개시 확인 객체를 선택하면, 애플리케이션(110)은 독서 지원 서비스 개시 확인 객체를 프로세서(120)에게로 전송한다.

프로세서(120)는 독서 지원 서비스 개시 확인 객체에 응답하여 도서 식별 응답으로부터 도서 정보를 검출한다. 프로세서(120)는 검출한 도서 정보를 포함하는 독서 지원 정보 신호를 생성하여 제1 통신 모듈(160)로 전송한다. 제1 통신 모듈(160)은 전송받은 독서 지원 정보 신호를 네트워크를 통해 서비스 서버(200)로 전송한다.

제1 통신 모듈(160)은 독서 지원 정보 신호에 대응하는 독서 지원 정보를 수신한다. 이때, 제1 통신 모듈(160)은 도서 객체(BO)의 페이지 인식을 위한 페이지 이미지, 도서 객체(BO)의 페이지에 연계된 상호작용 객체 이미지(IOI), 도서 객체(BO)의 페이지 또는 상호작용 객체 이미지(IOI)에 매칭된 부가 영상, 영상 변형 정보 등을 포함하는 독서 지원 정보를 수신하여 프로세서(120)로 전송한다.

프로세서(120)는 제1 통신 모듈(160)을 통해 전송받은 독서 지원 정보를 저장소(170)에 저장한다. 이때, 저장소(170)는 도서 객체(BO)의 독서 지원이 완료될 때까지 도서 객체(BO)에 대응하는 독서 지원 정보의 저장 상태를 유지한다.

한편, 독서 지원 정보는 영상, 이미지 등을 포함하기 때문에 서비스 서버(200)로부터 수신(다운로드)하는데 일정 시간이 소요된다. 이에, 프로세서(120)는 도서 정보에 포함된 상호작용 객체(IO)의 준비를 요청하는 상호작용 객체 정보 출력 신호를 디스플레이(140)로 전송한다.

도 10에 도시된 바와 같이, 디스플레이(140)는 상호작용 객체 정보 출력 신호에 응답하여 도서 정보에 포함된 상호작용 객체 정보를 포함한 상호작용 객체 준비 요청 화면을 출력한다. 이때, 디스플레이(140)는 도서 식별 응답에 포함된 도서 정보로부터 상호작용 객체 이미지(IOI)를 검출하고, 검출한 상호작용 객체 이미지(IOI)를 소정 조건에 따라 배열한 상호작용 객체 준비 요청 화면을 출력한다. 이를 통해, 디스플레이(140)는 독서 지원 정보의 수신이 완료될 때까지 상호작용 객체 준비 요청 화면을 출력한다.

독서 지원 정보의 수신이 완료되면, 프로세서(120)는 활동 영역 영상(ASV) 및 페이지 이미지를 근거로 상호작용 컨텐츠(IC)를 검출한다. 즉, 프로세서(120)는 카메라(130)에서 촬영한 활동 영역 영상(ASV)을 독서 지원 정보의 페이지 이미지와 비교하여 도서 객체(BO)의 페이지를 검출한다. 프로세서(120)는 검출한 페이지를 포함하는 페이지 검출 신호를 저장소(170)로 전송한다.

저장소(170)는 기저장된 독서 지원 정보 중에서 페이지 검출 신호에 포함된 페이지에 대응하는 페이지 이미지를 검출한다. 저장소(170)는 검출한 페이지 이미지를 포함한 독서 지원 정보를 검출한다. 여기서, 페이지 이미지는 페이지를 촬영한 이미지뿐만 아니라 페이지에 포함된 특정 객체 이미지, 페이지 번호, 글자 등과 같이 페이지에 포함된 정보일 수도 있다.

저장소(170)는 검출한 독서 지원 정보를 프로세서(120)로 전송하고, 프로세서(120)는 전송받은 독서 지원 정보에 포함된 부가 영상을 상호작용 컨텐츠(IC)로 검출한다. 프로세서(120)는 검출한 상호작용 컨텐츠(IC)를 포함하는 상호작용 컨텐츠 출력 신호를 디스플레이(140)에게로 전송한다.

도 11에 도시된 바와 같이, 디스플레이(140)는 프로세서(120)의 상호작용 컨텐츠 출력 신호에 응답하여 활동 영역 영상(ASV)에 오버랩(오버라이트)되도록 상호작용 컨텐츠(IC)를 출력한다. 이때, 디스플레이(140)는 화면 전체에 상호작용 컨텐츠(IC)를 출력하거나, 활동 영역 영상(ASV)이 출력된 화면의 일부에 상호작용 컨텐츠(IC)를 출력할 수 있다.

독서 지원 장치(100)는 활동 영역 영상(ASV)의 도서 컨텐츠(BC)를 근거로 상호작용 컨텐츠(IC)를 출력할 수 있다. 독서 지원 장치(100)는 입력 객체(Oi)와 변화 객체(Oc)를 포함한 상호작용 컨텐츠(IC)를 출력한다. 여기서, 입력 객체(Oi)는 사용자 입력을 검출하기 위한 영역에 배치된 객체이고, 변화 객체(Oc)는 사용자 입력에 따라 변화하는 객체이다.

영상 처리 엔진(150)은 활동 영역 영상(ASV)에 대한 영상 분석을 수행하고, 영상 분석 결과로 페이지 이미지를 검출한다. 페이지 이미지가 검출되면, 프로세서(120)는 저장소(170)로부터 페이지 이미지를 포함한 독서 지원 정보 검출한다. 이때, 프로세서(120)는 메인 부가 영상과 복수의 서브 부가 영상을 포함한 독서 지원 정보를 검출한다. 여기서, 복수의 서브 부가 영상은 서로 다른 드래그 기준값과 연계되며, 드래그 기준값은 드래그 방향 및 드래그 거리 범위를 포함할 수 있다. 서브 부가 영상은 메인 부가 영상의 객체 중 적어도 하나가 다른 형상, 다른 색상, 다른 위치에 배치된 영상인 것을 일례로 한다.

프로세서(120)는 검출한 독서 지원 정보로부터 상호작용 컨텐츠(IC)를 검출한다. 프로세서(120)는 검출한 독서 지원 정보의 메인 부가 영상을 상호작용 컨텐츠(IC)로 검출한다.

프로세서(120)는 상호작용 컨텐츠(IC)를 포함한 상호작용 컨텐츠(IC) 출력 신호를 디스플레이(140)에게로 전송한다. 디스플레이(140)는 상호작용 컨텐츠(IC) 출력 신호에 대한 응답으로 상호작용 컨텐츠(IC) 출력 신호로부터 상호작용 컨텐츠(IC)를 검출하고, 검출한 상호작용 컨텐츠(IC)를 출력한다.

프로세서(120)는 검출기(190)로 입력 신호 검출 요청을 전송한다. 즉, 프로세서(120)는 상호작용 컨텐츠(IC)가 출력된 후 검출기(190)로 사용자 입력의 검출을 요청하는 입력 신호 검출 요청을 전송한다.

검출기(190)는 입력 신호 검출 요청에 응답하여 사용자 입력을 검출한다. 검출기(190)는 디스플레이(140)를 통해 출력된 상호작용 컨텐츠(IC)의 전체 영역 중에서 입력 객체(Oi)로 설정된 객체가 위치한 영역에서 사용자 입력을 검출한다. 즉, 검출기(190)는 사용자의 터치가 입력되면 터치 좌표를 사용자 입력으로 검출한다.

검출기(190)는 사용자의 드래그가 입력되면 드래그 시작 위치 좌표 및 종료 위치 좌표를 기반으로 한 드래그 방향 및 드래그 거리를 사용자 입력으로 검출한다. 이때, 검출기(190)는 사용자의 터치가 입력되면 기준 위치 좌표와 터치 좌표를 기반으로 한 방향 및 거리를 사용자 입력으로 검출할 수도 있다.

여기서, 드래그 시작 위치 좌표 및 종료 위치 좌표 중 적어도 하나와 터치 좌표는 디스플레이(140)를 통해 출력된 상호작용 컨텐츠(IC)의 전체 영역 중에서 입력 객체(Oi)가 배치된 영역을 포함한 좌표인 것을 일례로 한다.

또한, 본 발명의 실시 예에서는 디스플레이(140)가 터치 패널로 구성되고, 검출기(190)가 디스플레이(140)를 통해 사용자 입력을 검출하는 것으로 예를 들어 설명하였으나, 이에 한정되지 않고 검출기(190)는 별도의 입력 장치 등을 통해 입력되는 터치, 드래그 등의 사용자 입력을 검출할 수도 있다.

검출기(190)는 검출한 사용자 입력을 포함한 입력 감지 신호를 프로세서(120)로 전송한다. 프로세서(120)는 입력 감지 신호에 응답하여 입력 감지 신호로부터 사용자 입력을 검출한다.

프로세서(120)는 검출기(190)에서 검출한 사용자 입력을 근거로 복수의 서브 부가 영상들 중 하나의 서브 부가 영상을 상호작용 컨텐츠(IC)로 검출한다. 즉, 프로세서(120)는 사용자 입력의 드래그 방향과 동일한 드래그 방향과 연계된 서브 부가 영상들을 1차 검출한다. 프로세서(120)는 1차 검출한 서브 부가 영상들 중에서 사용자 입력의 드래그 거리를 포함한 드래그 거리 범위에 연계된 서브 부가 영상을 상호작용 컨텐츠(IC)로 검출한다.

프로세서(120)는 검출한 상호작용 컨텐츠(IC)를 포함한 상호작용 컨텐츠(IC) 대체 요청을 디스플레이(140)로 전송한다. 디스플레이(140)는 상호작용 컨텐츠(IC) 대체 요청에 응답하여 상호작용 컨텐츠(IC) 대체 요청으로부터 상호작용 컨텐츠(IC)를 검출하고, 출력 중인 상호작용 컨텐츠(IC)를 검출한 상호작용 컨텐츠(IC)로 대체하여 출력한다.

일례로, 도 12를 참조하면, 프로세서(120)는 입력 객체(Oi)인 온도계와 변화 객체(Oc)인 알을 포함하고, 알이 부화전 상태인 메인 부가 영상을 상호작용 컨텐츠(IC)로 검출한다. 프로세서(120)는 상호작용 컨텐츠(IC) 출력 신호를 디스플레이(140)로 전송하고, 디스플레이(140)는 메인 부가 영상인 상호작용 컨텐츠(IC)를 출력한다.

온도계(입력 객체(Oi))가 표시된 영역에서 사용자의 드래그가 발생하면, 검출기(190)는 드래그 시작 위치 좌표(P1) 및 종료 위치 좌표(P2)를 기반으로 드래그 방향인 "상 방향" 및 드래그 거리인 "D"를 사용자 입력으로 검출한다.

프로세서(120)는 드래그 방향이 "상 방향"인 서브 부가 영상들을 1차 검출하고, 1차 검출한 서브 부가 영상들 중에서 드래그 거리가 "D"인 서브 부가 영상을 상호작용 컨텐츠(IC)로 검출한다. 프로세서(120)는 검출한 상호작용 컨텐츠(IC)를 포함한 상호작용 컨텐츠(IC) 대체 요청을 디스플레이(140)로 전송한다.

이에, 도 13에 도시된 바와 같이, 디스플레이(140)는 3개의 알이 모두 부화된 상태의 상호작용 컨텐츠(IC)를 출력한다.

독서 지원 장치(100)는 활동 영역 영상(ASV)의 상호작용 객체(IO)를 근거로 상호작용 컨텐츠(IC)를 출력할 수 있다. 이때, 독서 지원 장치(100)는 기준 객체(Or), 입력 객체(Oi) 및 변화 객체(Oc)를 포함한 상호작용 컨텐츠(IC)를 출력한다. 여기서, 기준 객체(Or)는 입력 객체(Oi)의 위치 관계를 검출하기 위해 기준 위치에 배치된 객체이고, 입력 객체(Oi)는 사용자 입력을 검출하기 위한 영역에 배치된 객체이고, 변화 객체(Oc)는 사용자 입력에 따라 변화하는 객체이다.

영상 처리 엔진(150)은 활동 영역 영상(ASV)에 대한 영상 분석을 수행하고, 영상 분석 결과로 상호작용 객체(IO)를 검출한다.

상호작용 객체(IO)가 검출되면, 프로세서(120)는 저장소(170)로부터 상호작용 객체(IO)를 포함한 독서 지원 정보 검출한다. 이때, 프로세서(120)는 메인 부가 영상과 복수의 서브 부가 영상을 포함한 독서 지원 정보를 검출한다. 여기서, 서브 부가 영상은 기준 객체(Or)와 입력 객체(Oi) 사이의 위치 관계에 연계되며, 복수의 서브 부가 영상을 서로 다른 위치 관계에 연계된다. 서브 부가 영상은 메인 부가 영상의 객체 중 적어도 하나가 다른 형상, 다른 색상, 다른 위치에 배치된 영상인 것을 일례로 한다.

검출기(190)는 입력 신호 검출 요청에 응답하여 사용자 입력을 검출한다. 검출기(190)는 디스플레이(140)를 통해 출력된 상호작용 컨텐츠(IC)의 전체 영역 중에서 입력 객체(Oi)로 설정된 객체에서 시작하는 드래그, 상호작용 컨텐츠(IC) 내에서 발생하는 터치 등을 사용자 입력으로 검출한다.

검출기(190)는 드래그의 종료 위치 좌표 및 터치 위치 좌표 중 하나와 기준 객체(Or)의 위치 좌표를 기반으로 한 기준 객체(Or)와 입력 객체(Oi) 사이의 위치 관계를 사용자 입력으로 검출한다. 여기서, 위치 관계는 기준 객체(Or)를 기준으로 한 입력 개체의 상대적인 위치이다. 위치 관계는 드래그 시작 위치 좌표와 기준 객체(Or)의 중심점 좌표를 연결하는 가상의 제1 직선과 드래그 종료 위치 좌표와 기준 객체(Or)의 중심점을 연결한 가상의 제2 직선 사이의 각도인 것을 일례로 한다. 물론, 위치 관계는 상술한 각도 이외에도 기준 객체(Or)와 입력 객체(Oi) 사이의 상대적인 위치를 표현할 수 있는 정보라면 사용이 가능하다.

프로세서(120)는 검출기(190)에서 검출한 사용자 입력을 근거로 복수의 서브 부가 영상들 중 하나의 서브 부가 영상을 상호작용 컨텐츠(IC)로 검출한다. 즉, 프로세서(120)는 사용자 입력과 동일한 위치 관계에 연계된 서브 부가 영상을 상호작용 컨텐츠(IC)로 검출한다.

일례로, 도 14 및 도 15를 참조하면, 프로세서(120)는 입력 객체(Oi)인 지구, 기준 객체(Or)인 해, 변화 객체(Oc)인 배경 화면을 포함하고, 배경 화면이 봄인 메인 부가 영상을 상호작용 컨텐츠(IC)로 검출한다. 프로세서(120)는 상호작용 컨텐츠(IC) 출력 신호를 디스플레이(140)로 전송하고, 디스플레이(140)는 메인 부가 영상인 상호작용 컨텐츠(IC)를 출력한다.

지구(입력 객체(Oi))가 표시된 영역에서 사용자가 드래그를 통해 제1 위치(P3)에서 제2 위치(P4)로 지구(입력 객체(Oi))를 이동시키면, 검출기(190)는 드래그 종료 위치 좌표를 기반으로 위치 관계인 각도 "θ"를 사용자 입력으로 검출한다.

프로세서(120)는 위치 관계가 각도 "θ"이거나, 각도 "θ"를 포함한 각도 범위에 연계된 서브 부가 영상을 상호작용 컨텐츠(IC)로 검출한다. 프로세서(120)는 검출한 상호작용 컨텐츠(IC)를 포함한 상호작용 컨텐츠(IC) 대체 요청을 디스플레이(140)로 전송한다.

이에, 도 15에 도시된 바와 같이, 디스플레이(140)는 변화 객체(Oc)인 배경 화면이 여름인 상호작용 컨텐츠(IC)를 출력한다.

독서 지원 장치(100)는 상호작용 객체(IO) 위치와 연동하여 상호작용 컨텐츠(IC)를 출력한다. 독서 지원 장치(100)는 활동 영역 영상(ASV)에 오버랩(오버라이트)되도록 상호작용 컨텐츠(IC)를 출력하되, 상호작용 컨텐츠(IC)가 표시된 영역 중 일부 영역에 상호작용 컨텐츠(IC)를 출력한다.

독서 지원 장치(100)는 입력 객체(Oi)와 변화 객체(Oc)를 포함한 상호작용 컨텐츠(IC)를 출력한다. 여기서, 입력 객체(Oi)는 사용자 입력을 검출하기 위한 영역에 배치된 객체이고, 변화 객체(Oc)는 사용자 입력에 따라 변화하는 객체이다.

영상 처리 엔진(150)은 상호작용 객체(IO)가 포함된 활동 영역 영상(ASV)에 대한 영상 인식(분석)을 통해 상호작용 객체(IO) 및 상호작용 객체 출력 영역을 검출한다. 영상 처리 엔진(150)은 활동 영역 영상(ASV) 중에서 상호작용 객체 출력 영역에 대응되는 영역에 대한 영상 인식(분석)을 수행하고, 영상 인식(분석)의 결과로 기준 심볼의 위치를 검출한다. 이때, 영상 처리 엔진(150)은 기준 심볼의 위치를 기준(중심)으로 미리 설정된 영역을 상호작용 컨텐츠(IC) 출력 영역으로 검출할 수 있다. 이를 통해 영상 처리 엔진(150)은 활동 영역 영상(ASV)으로부터 검출한 상호작용 객체(IO)의 전체 영역 중 일부 영역을 상호작용 컨텐츠(IC) 출력 영역으로 검출한다.

프로세서(120)는 상호작용 객체(IO)를 포함한 독서 지원 정보로부터 상호작용 컨텐츠(IC)를 검출한다. 프로세서(120)는 검출한 독서 지원 정보의 메인 부가 영상을 상호작용 컨텐츠(IC)로 검출한다. 프로세서(120)는 검출한 상호작용 컨텐츠(IC)와 상호작용 컨텐츠(IC) 출력 영역을 포함하는 상호작용 컨텐츠(IC) 출력 신호를 디스플레이(140)에게로 전송한다.

디스플레이(140)는 프로세서(120)의 상호작용 컨텐츠(IC) 출력 신호에 응답하여 상호작용 객체(IO)가 배치된 위치에 상호작용 컨텐츠(IC)를 출력한다. 즉, 디스플레이(140)는 상호작용 컨텐츠(IC) 출력 신호로부터 상호작용 객체 출력 영역을 검출한다. 디스플레이(140)는 활동 영역 영상(ASV)이 출력되는 영역 중에서 검출한 상호작용 객체 출력 영역에 대응하는 영역에 상호작용 컨텐츠(IC)를 출력한다.

이를 통해, 디스플레이(140)는 활동 영역 영상(ASV)에 표시된 상호작용 객체(IO)의 일부 영역에 입력 객체(Oi) 및 변화 객체(Oc)를 포함한 상호작용 컨텐츠(IC)를 출력한다.

검출기(190)는 입력 신호 검출 요청에 응답하여 사용자 입력을 검출한다. 검출기(190)는 디스플레이(140)를 통해 출력된 상호작용 컨텐츠(IC)의 전체 영역 중에서 입력 객체(Oi)로 설정된 객체가 위치한 영역에서 사용자 입력을 검출한다. 즉, 검출기(190)는 사용자의 터치가 입력되면 터치 좌표를 사용자 입력으로 검출한다

여기서, 디스플레이(140)가 터치 패널로 구성되고, 검출기(190)가 디스플레이(140)를 통해 사용자 입력을 검출하는 것으로 설명하였으나, 이에 한정되지 않고 검출기(190)는 별도의 입력 장치 등을 통해 입력되는 터치, 드래그 등의 사용자 입력을 검출할 수도 있다.

프로세서(120)는 검출기(190)에서 검출한 사용자 입력을 근거로 서브 부가 영상을 상호작용 컨텐츠(IC)로 검출한다. 즉, 프로세서(120)는 사용자 입력의 드래그 방향 및 드래그 종료 위치가 서브 부가 영상에 연계된 기준값과 동일하면(또는 기준값 내에 포함되면) 서브 부가 영상을 상호작용 컨텐츠(IC)로 검출한다.

일례로, 도 16을 참조하면, 상호작용 객체(IO)가 스마트폰 형상이면, 디스플레이(140)는 상호작용 객체(IO)를 상호작용 객체(IO)가 배치된 영역에 오버랩(오버라이트)되도록 출력한다. 이때, 디스플레이(140)는 변화 객체(Oc)인 대기 화면과 입력 객체(Oi)인 "밀어서 잠금 해제" 객체를 포함한 메인 부가 영상인 상호작용 객체(IO)를 출력한다.

사용자가 "밀어서 잠금 해제" 객체가 배치된 영역을 드래그하면, 검출기(190)는 드래그 시작 위치 좌표 및 드래그 종료 위치 좌표를 기반으로 드래그 방향을 검출한다. 검출기(190)는 드래그 방향 및 드래그 종료 위치 좌표를 사용자 입력으로 검출한다.

프로세서(120)는 사용자 입력의 드래그 방향 및 드래그 종료 위치 좌표를 포함한 기준값에 연계된 서브 부가 영상인 앱 화면을 검출한다. 프로세서(120)는 검출한 앱 화면을 상호작용 컨텐츠(IC)로 설정한다.

프로세서(120)는 검출한 상호작용 컨텐츠(IC)를 포함한 상호작용 컨텐츠(IC) 대체 요청을 디스플레이(140)로 전송한다. 도 17에 도시된 바와 같이, 디스플레이(140)는 상호작용 컨텐츠(IC) 대체 요청에 응답하여 출력 중인 변화 객체(Oc)인 대기 화면을 상호작용 객체(IO)인 앱 화면으로 대체하여 출력한다.

서비스 서버(200)는 독서 지원 서비스를 제공하는 서버로 구성된다. 서비스 서버(200)는 독서 지원 장치(100)의 신호에 따라 데이터베이스(300)로부터 도서 정보, 상호작용 객체 정보, 상호작용 컨텐츠(IC) 등을 검출하고, 검출한 정보를 독서 지원 장치(100)에게로 전송한다.

도 18을 참조하면, 서비스 서버(200)는 독서 지원 장치(100)와 통신하는 제2 통신 모듈(210), 독서 지원 장치(100)의 도서 식별자 검출 요청에 응답하여 데이터베이스(300)로부터 도서 식별자를 검출하는 도서 식별 엔진(220), 도서 식별자를 근거로 데이터베이스(300)로부터 도서 정보를 검출하는 도서 정보 검출 엔진(230), 도서 식별 정보를 근거로 독서 지원 정보를 검출하는 독서 지원 정보 검출 엔진(240) 및 독서 지원 서비스를 제공하기 위해 제2 통신 모듈(210), 도서 식별 엔진(220), 도서 정보 검출 엔진(230) 및 독서 지원 정보 검출 엔진(240)을 제어하는 제어 엔진(250)을 포함하여 구성된다. 여기서, 제어 엔진(250), 도서 식별 엔진(220), 도서 정보 검출 엔진(230) 및 독서 지원 정보 검출 엔진(240)은 하나의 프로세서(120)로 구성되어 동작할 수도 있다.

도 19를 참조하면, 제2 통신 모듈(210)은 독서 지원 장치(100)로부터 도서 식별 요청 신호를 수신한다. 제2 통신 모듈(210)은 도서 객체(BO)의 표지 이미지를 포함하는 도서 식별 요청 신호를 수신하여 제어 엔진(250)으로 전송한다.

제어 엔진(250)은 전송받은 도서 식별 요청 신호로부터 표지 이미지를 검출한다. 제어 엔진(250)은 검출한 표지 이미지를 포함하는 도서 식별자 검출 신호를 생성하여 도서 식별 엔진(220)에게로 전송한다.

도서 식별 엔진(220)은 도서 식별자 검출 신호에 응답하여 표지 이미지로부터 도서 식별자를 검출한다. 즉, 도서 식별 엔진(220)은 제어 엔진(250)으로부터 전송받은 도서 식별자 검출 신호로부터 표지 이미지를 검출한다. 도서 식별 엔진(220)은 검출한 표지 이미지에 대한 영상 인식을 통해 표지 이미지에 포함된 객체 이미지를 검출한다. 도서 식별 엔진(220)은 OCR을 통해 표지 이미지에 포함된 도서명, 출판사, 도서 그룹명 등과 같이 문자로 구성된 객체 이미지를 검출할 수도 있다.

도서 식별 엔진(220)은 검출한 객체 이미지를 포함하는 쿼리(Query) 데이터를 생성하여 데이터베이스(300)에게로 전송한다. 여기서, 객체 이미지는 표지 이미지에 포함된 도서명, 표지 구성 이미지, 출판사, 도서 그룹명 중 하나 이상을 포함하는 것을 일례로 한다.

도서 식별 엔진(220)은 데이터베이스(300)로부터 쿼리 데이터에 대한 응답으로 쿼리 응답을 수신한다. 이때, 도서 식별 엔진(220)은 도서 식별자를 포함하는 도서 정보를 포함하는 쿼리 응답을 수신한다. 여기서, 도서 식별자는 독서 지원 서비스에서 제공된 도서 객체(BO)들 각각에 부여된 고유 식별자인 것을 일례로 한다

도서 식별 엔진(220)은 데이터베이스(300)로부터 전송받은 쿼리 응답으로부터 도서 식별자를 검출하고, 검출한 도서 식별자를 제어 엔진(250)으로 전송한다. 제어 엔진(250)은 전송받은 도서 식별자를 포함하는 도서 정보 검출 요청 신호를 생성하여 도서 정보 검출 엔진(230)에게로 전송한다.

도서 정보 검출 엔진(230)은 제어 엔진(250)의 도서 정보 검출 요청 신호에 응답하여 데이터베이스(300)로부터 도서 정보를 검출한다. 도서 정보 검출 엔진(230)은 도서 정보 검출 요청 신호로부터 도서 식별자를 검출한다. 도서 정보 검출 엔진(230)은 검출한 도서 식별자를 포함하는 쿼리 데이터를 생성하여 데이터베이스(300)에게로 전송한다.

여기서, 도 21에서는 도서 정보 검출 엔진(230)이 도서 식별 엔진(220)의 영상 인식을 통해 검출한 도서 식별자를 이용한 쿼리 데이터를 생성하는 것으로 설명하였으나, 이에 한정되지 않고 표지 이미지를 쿼리 데이터로 하여 도서 정보를 검출할 수도 있다. 이 경우, 도서 식별 엔진(220)은 서비스 서버(200)의 구성에서 제외될 수도 있다.

도서 정보 검출 엔진(230)은 데이터베이스(300)로부터 쿼리 데이터에 대한 응답으로 쿼리 응답을 수신하여 제어 엔진(250)에게로 전송한다. 이때, 도서 정보 검출 엔진(230)은 도서명, 상호작용 객체 정보를 포함하는 도서 정보를 포함하는 쿼리 응답을 수신한다. 여기서, 상호작용 객체 정보는 도서에 대한 독서 지원시 사용되는 상호작용 객체(IO)의 상호작용 객체 이미지(IOI)를 포함하는 것을 일례로 한다.

제어 엔진(250)은 도서 정보 검출 엔진(230)으로부터 전송받은 쿼리 응답으로부터 도서 정보를 검출한다. 이때, 제어 엔진(250)은 쿼리 응답으로부터 도서명, 상호작용 객체 정보를 포함하는 도서 정보를 검출한다. 제어 엔진(250)은 검출한 도서 정보를 포함하는 도서 식별 응답을 생성하고, 도서 식별 응답을 포함한 도서 식별 응답 신호를 제2 통신 모듈(210)에게로 전송한다.

제2 통신 모듈(210)은 도서 식별 응답 신호로부터 도서 식별 응답을 검출한다. 제2 통신 모듈(210)은 도서 식별 요청 신호를 전송한 독서 지원 장치(100)에게로 도서 식별 응답을 전송한다.

한편, 표지 이미지가 도서 객체(BO)의 표지가 아니거나, 서비스 서버(200)에 등록된 도서 객체(BO)가 아닌 경우, 도서 정보 검출 엔진(230)은 쿼리 데이터에 대한 쿼리 응답이 없거나, 검출 결과가 없는 쿼리 응답을 수신할 수 있다. 이 경우, 제어 엔진(250)은 도서 인식 오류 메시지를 포함하는 도서 식별 응답을 생성하고, 제2 통신 모듈(210)은 도서 식별 요청 신호를 전송한 독서 지원 장치(100)에게로 도서 인식 오류 메시지를 포함하는 도서 식별 응답을 전송한다.

도 20를 참조하면, 제2 통신 모듈(210)은 독서 지원 장치(100)로부터 독서 지원 정보 신호를 수신한다. 제2 통신 모듈(210)은 도서 정보를 포함하는 독서 지원 정보 신호를 수신하여 제어 엔진(250)으로 전송한다.

제어 엔진(250)은 전송받은 독서 지원 정보 신호로부터 도서 정보를 검출한다. 제어 엔진(250)은 검출한 도서 정보를 포함하는 독서 지원 정보 검출 신호를 생성하여 독서 지원 정보 검출 엔진(240)에게로 전송한다.

독서 지원 정보 검출 엔진(240)은 제어 엔진(250)의 독서 지원 정보 검출 신호에 응답하여 데이터베이스(300)로부터 상호작용 컨텐츠 정보를 검출한다. 독서 지원 정보 검출 엔진(240)은 독서 지원 정보 검출 신호로부터 도서 정보를 검출하고, 검출한 도서 정보로부터 도서 식별자를 검출한다. 독서 지원 정보 검출 엔진(240)은 검출한 도서 식별자를 포함하는 쿼리 데이터를 생성하여 데이터베이스(300)에게로 전송한다. 독서 지원 정보 검출 엔진(240)은 데이터베이스(300)로부터 쿼리 데이터에 대한 응답으로 쿼리 응답을 수신하여 제어 엔진(250)에게로 전송한다.

이때, 독서 지원 정보 검출 엔진(240)은 도서 객체(BO)의 페이지 인식을 위한 페이지 이미지, 도서 객체(BO)의 페이지에 연계된 상호작용 객체 이미지(IOI), 도서 객체(BO)의 페이지 또는 상호작용 객체 이미지(IOI)에 매칭된 부가 영상 등을 포함하는 독서 지원 정보를 포함하는 쿼리 응답을 수신한다.

제어 엔진(250)은 독서 지원 정보 검출 엔진(240)으로부터 전송받은 쿼리 응답으로부터 독서 지원 정보를 검출한다. 제어 엔진(250)은 검출한 독서 지원 정보를 포함하는 독서 지원 정보 전송 신호를 생성하여 제2 통신 모듈(210)에게로 전송한다.

제2 통신 모듈(210)은 독서 지원 정보 전송 신호로부터 독서 지원 정보를 검출한다. 제2 통신 모듈(210)은 독서 지원 정보 신호를 전송한 독서 지원 장치(100)에게로 독서 지원 정보를 전송한다.

데이터베이스(300)는 독서 지원 서비스를 제공하기 위한 다양한 정보를 저장하는 서버로 구성된다. 데이터베이스(300)는 도서 정보, 상호작용 객체 정보, 상호작용 컨텐츠(IC) 등을 저장하며, 서비스 서버(200)의 신호에 대응하는 정보를 검출하여 서비스 서버(200)에게로 전송한다.

도 21을 참조하면, 데이터베이스(300)는 서비스 서버(200)로부터 전송받은 쿼리 데이터를 근거로 저장소(170)로부터 검출한 정보를 포함한 쿼리 응답을 생성하여 서비스 서버(200)로 전송하는 쿼리 처리 엔진(310), 도서 객체(BO)에 연계된 도서 식별자를 저장한 도서 식별자 저장소(320), 도서 식별자와 연계된 도서 정보를 저장한 도서 정보 저장소(330), 도서 식별자와 연계된 독서 지원 정보를 저장한 독서 지원 정보 저장소(340)를 포함하여 구성된다.

쿼리 처리 엔진(310)은 쿼리 데이터를 근거로 도서 식별자 저장소(320)로부터 도서 식별자를 검출하고, 검출한 도서 식별자 포함하는 쿼리 응답을 생성하여 서비스 서버(200)로 전송한다.

쿼리 처리 엔진(310)은 표지 이미지의 객체 이미지를 포함한 쿼리 데이터를 전송받는다. 이때, 쿼리 처리 엔진(310)은 표지 이미지에 포함된 도서명, 표지 구성 이미지, 출판사, 도서 그룹명 중 하나 이상을 포함하는 객체 이미지가 포함된 쿼리 데이터를 전송받는다.

쿼리 처리 엔진(310)은 쿼리 데이터로부터 객체 이미지를 검출한다. 쿼리 처리 엔진(310)은 객체 이미지를 근거로 도서 식별자 저장소(320)로부터 도서 식별자를 검출한다. 쿼리 처리 엔진(310)은 검출한 객체 이미지와 연계된 도서 식별자를 검출한다. 쿼리 처리 엔진(310)은 검출한 도서 식별자를 포함한 쿼리 응답을 생성하여 서비스 서버(200)로 전송한다.

일례로, 도 22를 참조하면, 도서 식별자 저장소(320)는 독서 지원 서비스가 가능한 도서 객체(BO) 각각에 부여된 도서 식별자를 저장하며, 도서 식별자 저장소(320)는 도서 식별자에 도서명(타이틀 이미지), 도서 그룹명(그룹 이미지), 출판사(출판사 이미지) 등과 연계하여 저장한다.

여기서, 도 21에서는 도서 식별자 저장소(320)가 도서명, 도서 그룹명, 출판사 등으로 이미지 형태로 저장하는 것으로 도시 및 설명하였으나, 이에 한정되지 않고 텍스트 형태로 저장할 수 있다.

쿼리 처리 엔진(310)은 도서명인 "타이틀 이미지#1"에 대응하는 객체 이미지를 포함한 쿼리 데이터를 전송받은 경우, 동일한 도서명에 연계된 "a0001"을 도서 식별자로 검출한다.

쿼리 처리 엔진(310)은 도서 그룹명인 "그룹 이미지#1" 및 출판사인 "B 출판사 이미지"에 대응하는 객체 이미지를 포함한 쿼리 데이터를 전송받은 경우, 동일한 도서 그룹명 및 출판사에 연계된 "a0002"를 도서 식별자로 검출한다.

쿼리 처리 엔진(310)은 표지 이미지를 포함한 쿼리 데이터를 전송받을 수도 있다. 쿼리 처리 엔진(310)은 쿼리 데이터의 표지 이미지와 연계된 도서 식별자를 도서 식별자 저장소(320)로부터 검출한다. 쿼리 처리 엔진(310)은 검출한 도서 식별자를 포함한 쿼리 응답을 생성하여 서비스 서버(200)로 전송한다.

쿼리 처리 엔진(310)은 쿼리 데이터를 근거로 도서 정보 저장소(330)로부터 도서 정보를 검출하고, 검출한 도서 정보를 포함하는 쿼리 응답을 생성하여 서비스 서버(200)로 전송한다.

쿼리 처리 엔진(310)은 서비스 서버(200; 즉, 도서 정보 검출 엔진(230))로부터 도서 식별자를 포함한 쿼리 데이터를 전송받는다. 쿼리 처리 엔진(310)은 쿼리 데이터의 도서 식별자에 연계된 도서 정보를 도서 정보 저장소(330)로부터 검출한다. 이때, 쿼리 처리 엔진(310)은 서비스 서버(200)로부터 표지 이미지를 포함한 쿼리 데이터를 전송받고, 표지 이미지에 연계된 도서 정보를 도서 정보 저장소(330)로부터 검출할 수도 있다. 여기서, 도서 정보는 도서명, 상호작용 객체 정보(즉, 상호작용 객체 이미지(IOI))를 포함하는 것을 일례로 한다.

도 23을 참조하면, 도서 정보 저장소(330)는 도서 식별자, 도서명, 상호작용 객체 이미지(IOI)를 연계하여 저장한다.

쿼리 처리 엔진(310)은 도서 식별자 "a0002"를 포함한 쿼리 데이터를 전송받은 경우, 도서 식별자 "a0002"에 연계된 도서명 "타이틀#2"와 상호작용 객체 이미지(IOI)#1, 상호작용 객체 이미지(IOI)#2 및 상호작용 객체 이미지(IOI)#5를 검출한다.

쿼리 처리 엔진(310)은 검출한 "타이틀#2", 상호작용 객체 이미지(IOI)#1, 상호작용 객체 이미지(IOI)#2 및 상호작용 객체 이미지(IOI)#5를 포함하는 도서 정보를 생성하고, 이를 포함하는 쿼리 응답을 서비스 서버(200)에게로 전송한다.

쿼리 처리 엔진(310)은 쿼리 데이터를 근거로 독서 지원 정보 저장소(340)로부터 독서 지원 정보를 검출하고, 검출한 독서 지원 정보를 포함하는 쿼리 응답을 생성하여 서비스 서버(200)로 전송한다.

쿼리 처리 엔진(310)은 서비스 서버(200; 즉, 독서 지원 정보 검출 엔진(240))로부터 도서 식별자를 포함한 쿼리 데이터를 전송받는다.

쿼리 처리 엔진(310)은 쿼리 데이터로부터 도서 식별자를 검출한다. 쿼리 처리 엔진(310)은 도서 식별자를 근거로 독서 지원 정보 저장소(340)로부터 독서 지원 정보를 검출한다.

도 24를 참조하면, 독서 지원 정보 저장소(340)는 도서 식별자에 페이지 이미지, 상호작용 객체 이미지(IOI), 부가 영상을 연계하여 저장한다.

페이지 이미지는 도서 객체(BO)의 페이지를 인식하기 위한 기준 이미지로, 도서 식별자, 페이지와 연계되어 독서 지원 정보 저장소(340)에 저장된다.

상호작용 객체 이미지(IOI)는 도서 객체(BO) 상에 놓여진 상호작용 객체(IO)를 인식하기 위한 기준 이미지로, 도서 식별자, 페이지와 연계되어 독서 지원 정보 저장소(340)에 저장된다.

부가 영상은 상호작용 객체(IO)에 연계된 증강 현실 컨텐츠, 혼합 현실 컨텐츠, 초실감 컨텐츠 등으로, 도서 식별자, 페이지 및 상호작용 객체 이미지(IOI)와 연계되어 독서 지원 정보 저장소(340)에 저장된다. 이때, 부가 영상은 상호작용 객체(IO)와 연계되지 않고 도서 객체(BO)의 페이지에만 연계된 영상일 수도 있으며, 도서 식별자 및 페이지와 연계되어 독서 지원 정보 저장소(340)에 저장된다. 여기서, 부가 영상은 실제 영상 데이터이거나, 실제 영상 데이터가 저장된 웹 주소일 수 있다.

도서 식별자 "a0001"을 포함한 쿼리 데이터를 전송받은 경우, 쿼리 처리 엔진(310)은 도서 식별자 "a0001"에 연계된 페이지, 페이지 이미지, 상호작용 객체 이미지(IOI) 및 부가 영상 중 적어도 하나를 포함하는 독서 지원 정보들을 모두 검출한다. 쿼리 처리 엔진(310)은 검출한 독서 지원 정보들을 서비스 서버(200)에게로 전송한다.

한편, 쿼리 처리 엔진(310)은 서비스 서버(200)의 쿼리 데이터에 대응하는 검출 결과가 없는 경우 "NULL"을 포함하는 쿼리 응답을 서비스 서버(200)로 전송한다.

이하 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 도서 객체(BO)와 상호작용 컨텐츠(IC)를 연계한 독서 지원 방법을 설명하면 아래와 같다. 도 25 내지 도 27은 본 발명의 실시 예에 따른 도서 객체(BO)와 상호작용 컨텐츠(IC)를 연계한 독서 지원 방법을 설명하기 위한 흐름도이다.

먼저, 독서 지원 장치(100)는 네트워크와 연결된 상태이다. 사용자는 독서 지원 서비스를 이용하기 위해 독서 지원 장치(100)에 설치된 애플리케이션(110)을 구동한다. 즉, 사용자는 독서 지원 장치(100)를 구동시킨 후에 터치, 클릭, 더블 클릭 등의 조작을 통해 독서 지원 서비스를 지원하는 애플리케이션(110)을 실행한다.

사용자에 의해 활성화된 애플리케이션(110)은 프로세서(120)에게로 카메라 구동 요청 신호를 출력하고(S111), 프로세서(120)는 카메라 구동 요청 신호에 응답하여 카메라(130) 및 디스플레이(140)에게로 촬영 개시 신호를 출력한다(S112).

카메라(130)는 촬영 개시 신호에 응답하여 활동 영역(AS)의 촬영을 개시한다(S113). 이때, 카메라(130)는 활동 영역(AS)의 정상적인 촬영이 시작되면 촬영 개시 신호에 대한 Ack 신호를 애플리케이션(110) 및 프로세서(120)로 출력한다.

디스플레이(140)는 촬영 개시 신호에 응답하여 카메라(130)에서 촬영된 활동 영역 영상(ASV)을 실시간 출력한다(S114).

카메라(130)로부터 Ack 신호를 수신한 애플리케이션(110)은 도서 객체(BO)의 표지 촬영을 위한 가이드 출력 신호를 프로세서(120)로 출력한다(S115).

카메라(130)의 Ack 신호 및 애플리케이션(110)의 가이드 출력 신호를 입력받은 프로세서(120)는 표지 촬영 가이드 출력 신호를 디스플레이(140)로 출력한다(S116).

프로세서(120)의 표지 가이드 출력 신호를 입력받은 디스플레이(140)는 표지 가이드 출력 신호에 응답하여 표지 촬영 가이드(CSG)를 출력한다(S117). 이때, 디스플레이(140)는 출력 중인 활동 영역 영상(ASV)에 오버랩(오버라이트)되도록 표지 촬영 가이드(CSG)를 출력한다.

사용자는 도서 객체(BO)의 표지가 촬영되도록 활동 영역(AS)에 도서 객체(BO)를 배치한다. 도서 객체(BO)가 활동 영역(AS)에 배치되면, 디스플레이(140)에는 도서 객체(BO)가 배치된 활동 영역(AS)을 촬영한 활동 영역 영상(ASV)이 출력된다. 이때, 디스플레이(140)에는 도서 객체(BO)의 표지를 포함한 활동 영역 영상(ASV)이 출력된다.

도서 객체(BO)의 표지를 포함한 활동 영역 영상(ASV)이 출력되면(S118; 예), 영상 처리 엔진(150)은 활동 영역 영상(ASV)에 대한 영상 인식을 통해 표지 이미지를 생성한다(S119). 즉, 영상 처리 엔진(150)은 활동 영역 영상(ASV)의 전체 영역 중에서 표지 촬영 가이드(CSG)의 표지 인식 영역에 대응되는 영역에 대한 영상 인식을 수행한다. 영상 처리 엔진(150)은 영상 인식에 대한 결과로 표지 이미지를 생성하여 메모리(180)에 임시 저장한다.

프로세서(120)는 표지 이미지를 포함한 도서 식별 요청 신호를 생성한다(S120). 즉, 프로세서(120)는 메모리(180)에 저장된 표지 이미지를 검출하고, 검출한 표지 이미지를 포함하는 도서 식별 요청 신호를 생성한다. 프로세서(120)는 버스를 통해 제1 통신 모듈(160)로 도서 식별 요청 신호를 전송한다.

제1 통신 모듈(160)은 프로세서(120)에서 생성된 도서 식별 요청 신호를 네트워크를 통해 서비스 서버(200)로 전송하고, 도서 식별 요청 신호에 대한 응답으로 도서 식별 응답을 수신한다(S121). 이때, 제1 통신 모듈(160)은 도서 정보 및 도서 인식 오류 메시지를 중 하나를 포함하는 도서 식별 응답을 수신할 수 있다.

도서 정보는 도서명, 상호작용 객체 정보를 포함하는 도서 정보를 포함하며, 상호작용 객체 정보는 도서에 대한 독서 지원시 사용되는 상호작용 객체(IO)의 상호작용 객체 이미지(IOI)를 포함할 수 있다.

도서 인식 오류 메시지는 도서 식별 요청 신호에 포함된 표지 이미지가 도서 객체(BO)의 표지가 아니거나, 서비스 서버(200)에 등록된 도서 객체(BO)가 아님을 전달하는 메시지이다.

제1 통신 모듈(160)에서 수신한 도서 식별 응답에 도서 인식 오류 메시지가 포함된 경우(S122; 아니오), 독서 지원 장치(100)는 상술한 S117 단계 내지 S121 단계를 재수행한다. 이때, 디스플레이(140)는 표지 촬영 가이드(CSG)와 함께 도서 객체(BO)의 교체 안내, 위치 이동 안내 등을 출력할 수도 있다.

제1 통신 모듈(160)로부터 수신한 도서 식별 응답에 도서 정보가 포함된 경우(S122; 예), 프로세서(120)는 디스플레이(140)로 도서 정보 출력 신호를 전송한다(S123). 즉, 프로세서(120)는 도서 식별 응답으로부터 도서명, 상호작용 객체 정보를 포함하는 도서 정보를 검출하고, 검출한 도서 정보를 포함한 도서 정보 출력 신호를 생성한다. 프로세서(120)는 생성한 도서 정보 출력 신호를 디스플레이(140)로 전송한다.

디스플레이(140)는 프로세서(120)의 도서 정보 출력 신호에 응답하여 도서 정보 및 도서 객체(BO)의 서비스 개시 확인 객체를 출력한다(S124). 이때, 디스플레이(140)는 도서 정보 및 서비스 개시 확인 객체를 활동 영역 영상(ASV)에 오버랩(오버라이트)하여 출력할 수도 있다.

사용자에 의해 서비스 개시 확인 객체가 선택되면(S125; 예), 애플리케이션(110)은 독서 지원 서비스 개시 신호를 프로세서(120)에게로 전송한다(S126).

프로세서(120)는 독서 지원 서비스 개시 신호에 응답하여 도서 식별 응답으로부터 도서 정보를 검출하고, 검출한 도서 정보를 포함하는 독서 지원 정보 신호를 생성한다(S127). 프로세서(120)는 생성한 독서 지원 정보 신호를 제1 통신 모듈(160)로 전송한다.

제1 통신 모듈(160)은 프로세서(120)에서 생성된 독서 지원 정보 신호를 네트워크를 통해 서비스 서버(200)로 전송하고, 독서 지원 정보 신호에 대한 응답으로 독서 지원 정보를 수신한다(S128). 이때, 독서 지원 정보는 도서 객체(BO)의 페이지 인식을 위한 페이지 이미지, 도서 객체(BO)의 페이지에 연계된 상호작용 객체 이미지(IOI), 도서 객체(BO)의 페이지 또는 상호작용 객체 이미지(IOI)에 매칭된 부가 영상 등을 포함하는 것을 일례로 한다. 제1 통신 모듈(160)은 수신한 독서 지원 정보를 프로세서(120)로 전송한다.

프로세서(120)는 제1 통신 모듈(160)을 통해 전송받은 독서 지원 정보를 저장소(170)에 저장한다(S129). 이때, 저장소(170)는 도서 객체(BO)의 독서 지원이 완료될 때까지 도서 객체(BO)에 대응하는 독서 지원 정보의 저장 상태를 유지한다.

독서 지원 정보는 영상, 이미지 등을 포함하기 때문에 서비스 서버(200)로부터 수신(다운로드)하는데 일정 시간이 소요된다. 이에, 프로세서(120)는 도서 정보에 포함된 상호작용 객체(IO)의 준비를 신호하는 상호작용 객체 정보 출력 신호를 디스플레이(140)로 출력한다(S130).

디스플레이(140)는 상호작용 객체 정보 출력 신호에 응답하여 도서 정보에 포함된 상호작용 객체 정보를 포함한 상호작용 객체 준비 요청 화면을 출력한다(S131). 이때, 디스플레이(140)는 도서 식별 응답에 포함된 도서 정보로부터 상호작용 객체 이미지(IOI)를 검출하고, 검출한 상호작용 객체 이미지(IOI)를 소정 조건에 따라 배열한 상호작용 객체 준비 요청 화면을 출력한다. 이를 통해, 디스플레이(140)는 독서 지원 정보의 수신이 완료될 때까지 상호작용 객체 준비 요청 화면을 출력한다.

독서 지원 정보의 수신이 완료되면(S132; 예), 프로세서(120)는 카메라(130)에서 촬영한 활동 영역 영상(ASV)의 도서 컨텐츠(BC)를 독서 지원 정보의 페이지 이미지와 비교하여 도서 객체(BO)의 페이지를 검출한다(S133). 프로세서(120)는 페이지를 포함하는 페이지 검출 신호를 저장소(170)로 전송한다.

저장소(170)는 기저장된 독서 지원 정보 중에서 페이지 검출 신호에 포함된 페이지에 대응하는 페이지 이미지를 검출하고(S134), 검출한 페이지 이미지를 포함한 독서 지원 정보를 검출한다(S135). 즉, 저장소(170)는 기저장된 독서 지원 정보들 중에서 S134 단계에서 검출한 페이지 이미지를 포함한 독서 지원 정보를 검출한다. 여기서, 페이지 이미지는 페이지를 촬영한 이미지뿐만 아니라 페이지에 포함된 특정 객체 이미지, 페이지 번호, 글자 등과 같이 페이지에 포함된 정보일 수도 있다. 저장소(170)는 검출한 독서 지원 정보를 프로세서(120)로 전송한다.

프로세서(120)는 전송받은 독서 지원 정보에 포함된 부가 영상을 상호작용 컨텐츠(IC)로 검출하고(S136), 검출한 상호작용 컨텐츠(IC)를 포함하는 상호작용 컨텐츠 출력 신호를 디스플레이(140)에게로 전송한다(S137).

디스플레이(140)는 도서 컨텐츠(BC)를 포함한 활동 영역 영상(ASV)에 오버랩(오버라이트)하여 상호작용 컨텐츠 출력 신호의 상호작용 컨텐츠(IC)를 출력한다(S138).

본 발명의 실시 예에 따른 독서 지원 방법에서는 상호작용 객체 위치를 기반으로 상호작용 컨텐츠(IC)의 일부 영역을 변형한 변형 영상을 출력한다.

본 발명의 독서 지원 방법에서는 활동 영역 영상(ASV)의 도서 컨텐츠(BC)를 기반으로 입력 객체(Oi)와 변화 객체(Oc)를 포함한 메인 부가 영상을 상호작용 컨텐츠(IC)로 출력하고, 입력 객체(Oi)가 출력된 영역에서의 사용자 입력을 기반으로 변화 객체(Oc)가 변경되는 서브 부가 영상을 상호작용 컨텐츠(IC)로 대체하여 출력할 수 있다.

도 28을 참조하면, 영상 처리 엔진(150)은 활동 영역 영상(ASV)에 대한 영상 분석을 수행하고, 영상 분석 결과로 도서 컨텐츠(BC; 즉, 페이지 이미지)를 검출한다(S205).

프로세서(120)는 저장소(170)로부터 독서 지원 정보 검출하되, 영상 처리 엔진(150)에서 검출한 도서 컨텐츠(BC; 즉, 페이지 이미지)를 포함한 독서 지원 정보를 검출한다(S210). 프로세서(120)는 도서 컨텐츠(BC; 즉, 페이지 이미지)를 기반으로 메인 부가 영상과 복수의 서브 부가 영상을 포함한 독서 지원 정보를 검출한다. 여기서, 복수의 서브 부가 영상은 서로 다른 드래그 기준값과 연계되며, 드래그 기준값은 드래그 방향 및 드래그 거리 범위를 포함할 수 있다. 서브 부가 영상은 메인 부가 영상의 객체 중 적어도 하나가 다른 형상, 다른 색상, 다른 위치에 배치된 영상인 것을 일례로 한다.

프로세서(120)는 독서 지원 정보의 메인 부가 영상을 상호작용 컨텐츠(IC)로 검출하고(S215), 상호작용 컨텐츠(IC)를 포함한 상호작용 컨텐츠(IC) 출력 신호를 디스플레이(140)에게로 전송한다(S220).

상호작용 컨텐츠(IC) 출력 신호를 수신한 디스플레이(140)는 상호작용 컨텐츠(IC) 출력 신호로부터 상호작용 컨텐츠(IC)를 검출하고, 검출한 상호작용 컨텐츠(IC)를 출력한다(S225). 이때, 디스플레이(140)는 활동 영역 영상(ASV)과 오버랩되도록 상호작용 컨텐츠(IC, 즉, 메인 부가 영상)을 출력한다.

디스플레이(140)에서 상호작용 컨텐츠(IC)를 출력한 이후에, 프로세서(120)는 검출기(190)로 입력 신호 검출 요청을 전송한다(S230). 즉, 프로세서(120)는 상호작용 컨텐츠(IC)가 출력된 후 검출기(190)로 사용자 입력의 검출을 요청하는 입력 신호 검출 요청을 전송한다.

입력 신호 검출 요청에 응답하여, 검출기(190)는 디스플레이(140)를 통해 출력된 상호작용 컨텐츠(IC)의 전체 영역 중에서 입력 객체(Oi)로 설정된 객체가 위치한 영역에서 사용자 입력을 검출한다(S235).

S235 단계에서, 검출기(190)는 사용자의 터치가 입력되면 터치 좌표를 사용자 입력으로 검출한다. 검출기(190)는 사용자의 드래그가 입력되면 드래그 시작 위치 좌표 및 종료 위치 좌표를 기반으로 한 드래그 방향 및 드래그 거리를 사용자 입력으로 검출한다.

S235 단계에서, 검출기(190)는 사용자의 터치가 입력되면 기준 위치 좌표와 터치 좌표를 기반으로 한 방향 및 거리를 사용자 입력으로 검출할 수도 있다.

검출기(190)는 검출한 사용자 입력을 포함한 입력 감지 신호를 프로세서(120)로 전송한다(S240).

입력 감지 신호에 응답하여 프로세서(120)는 입력 감지 신호로부터 사용자 입력을 검출하고, 검출한 사용자 입력을 근거로 복수의 서브 부가 영상들 중 하나의 서브 부가 영상을 상호작용 컨텐츠(IC)로 검출한다(S245). 즉, 프로세서(120)는 사용자 입력의 드래그 방향과 동일한 드래그 방향과 연계된 서브 부가 영상들을 1차 검출한다. 프로세서(120)는 1차 검출한 서브 부가 영상들 중에서 사용자 입력의 드래그 거리를 포함한 드래그 거리 범위에 연계된 서브 부가 영상을 상호작용 컨텐츠(IC)로 검출한다.

프로세서(120)는 검출한 상호작용 컨텐츠(IC)를 포함한 상호작용 컨텐츠(IC) 대체 요청을 디스플레이(140)로 전송하고(S250), 디스플레이(140)는 상호작용 컨텐츠(IC) 대체 요청에 응답하여 상호작용 컨텐츠(IC) 대체 요청으로부터 상호작용 컨텐츠(IC)를 검출하고, 출력 중인 상호작용 컨텐츠(IC)를 검출한 상호작용 컨텐츠(IC)로 대체하여 출력한다(S255).

도 29를 참조하면, 영상 처리 엔진(150)은 활동 영역 영상(ASV)에 대한 영상 분석을 수행하고, 영상 분석 결과로 상호작용 객체(IO)를 검출한다(S305).

프로세서(120)는 저장소(170)로부터 독서 지원 정보 검출하되, 영상 처리 엔진(150)에서 검출한 상호작용 객체(IO)를 포함한 독서 지원 정보를 검출한다(S310).

프로세서(120)는 메인 부가 영상과 복수의 서브 부가 영상을 포함한 독서 지원 정보를 검출한다. 여기서, 서브 부가 영상은 기준 객체(Or)와 입력 객체(Oi) 사이의 위치 관계에 연계되며, 복수의 서브 부가 영상을 서로 다른 위치 관계에 연계된다. 서브 부가 영상은 메인 부가 영상의 객체 중 적어도 하나가 다른 형상, 다른 색상, 다른 위치에 배치된 영상인 것을 일례로 한다.

프로세서(120)는 독서 지원 정보의 메인 부가 영상을 상호작용 컨텐츠(IC)로 검출하고(S315), 상호작용 컨텐츠(IC)를 포함한 상호작용 컨텐츠(IC) 출력 신호를 디스플레이(140)에게로 전송한다(S320).

상호작용 컨텐츠(IC) 출력 신호를 수신한 디스플레이(140)는 상호작용 컨텐츠(IC) 출력 신호로부터 상호작용 컨텐츠(IC)를 검출하고, 검출한 상호작용 컨텐츠(IC)를 출력한다(S325). 이때, 디스플레이(140)는 활동 영역 영상(ASV)과 오버랩되도록 상호작용 컨텐츠(IC, 즉, 메인 부가 영상)을 출력한다.

디스플레이(140)에서 상호작용 컨텐츠(IC)를 출력한 이후에, 프로세서(120)는 검출기(190)로 입력 신호 검출 요청을 전송한다(S330). 즉, 프로세서(120)는 상호작용 컨텐츠(IC)가 출력된 후 검출기(190)로 사용자 입력의 검출을 요청하는 입력 신호 검출 요청을 전송한다.

입력 신호 검출 요청에 응답하여, 검출기(190)는 디스플레이(140)를 통해 출력된 상호작용 컨텐츠(IC)의 전체 영역 중에서 입력 객체(Oi)로 설정된 객체가 위치한 영역에서 사용자 입력을 검출한다(S335).

S235 단계에서, 검출기(190)는 드래그의 종료 위치 좌표 및 터치 위치 좌표 중 하나와 기준 객체(Or)의 위치 좌표를 기반으로 한 기준 객체(Or)와 입력 객체(Oi) 사이의 위치 관계를 사용자 입력으로 검출한다.

여기서, 위치 관계는 기준 객체(Or)를 기준으로 한 입력 개체의 상대적인 위치이다. 위치 관계는 드래그 시작 위치 좌표와 기준 객체(Or)의 중심점 좌표를 연결하는 가상의 제1 직선과 드래그 종료 위치 좌표와 기준 객체(Or)의 중심점을 연결한 가상의 제2 직선 사이의 각도인 것을 일례로 한다.

위치 관계는 상술한 각도 이외에도 기준 객체(Or)와 입력 객체(Oi) 사이의 상대적인 위치를 표현할 수 있는 정보라면 사용이 가능하다.

검출기(190)는 검출한 사용자 입력을 포함한 입력 감지 신호를 프로세서(120)로 전송한다(S340).

입력 감지 신호에 응답하여 프로세서(120)는 입력 감지 신호로부터 사용자 입력을 검출하고, 검출한 사용자 입력을 근거로 복수의 서브 부가 영상들 중 하나의 서브 부가 영상을 상호작용 컨텐츠(IC)로 검출한다(S345). 즉, 프로세서(120)는 사용자 입력과 동일한 위치 관계에 연계된 서브 부가 영상을 상호작용 컨텐츠(IC)로 검출한다.

프로세서(120)는 검출한 상호작용 컨텐츠(IC)를 포함한 상호작용 컨텐츠(IC) 대체 요청을 디스플레이(140)로 전송하고(S350), 디스플레이(140)는 상호작용 컨텐츠(IC) 대체 요청에 응답하여 상호작용 컨텐츠(IC) 대체 요청으로부터 상호작용 컨텐츠(IC)를 검출하고, 출력 중인 상호작용 컨텐츠(IC)를 검출한 상호작용 컨텐츠(IC)로 대체하여 출력한다(S355).

본 발명의 독서 지원 방법에서는 활동 영역 영상(ASV) 중에서 상호작용 객체(IO)가 표시된 영역 중 일부 영역에 입력 객체(Oi)와 변화 객체(Oc)를 포함한 메인 부가 영상을 상호작용 컨텐츠(IC)로 출력하고, 입력 객체(Oi)가 출력된 영역에서의 사용자 입력을 기반으로 변화 객체(Oc)가 변경되는 서브 부가 영상을 상호작용 컨텐츠(IC)로 대체하여 출력할 수 있다.

도 30을 참조하면, 영상 처리 엔진(150)은 활동 영역 영상(ASV)에 대한 영상 분석을 수행하고, 영상 분석 결과로 상호작용 객체 출력 영역을 검출한다(S405).

S405 단계에서, 영상 처리 엔진(150)은 활동 영역 영상(ASV) 중에서 상호작용 객체 출력 영역에 대응되는 영역에 대한 영상 인식(분석)을 수행하고, 영상 인식(분석)의 결과로 기준 심볼의 위치를 검출한다. 영상 처리 엔진(150)은 기준 심볼의 위치를 기준(중심)으로 미리 설정된 영역을 상호작용 컨텐츠(IC) 출력 영역으로 검출할 수 있다. 이를 통해 영상 처리 엔진(150)은 활동 영역 영상(ASV)으로부터 검출한 상호작용 객체(IO)의 전체 영역 중 일부 영역을 상호작용 컨텐츠(IC) 출력 영역으로 검출한다.

프로세서(120)는 저장소(170)로부터 독서 지원 정보 검출하되, 영상 처리 엔진(150)에서 검출한 상호작용 객체(IO)를 포함한 독서 지원 정보를 검출한다(S410). 프로세서(120)는 메인 부가 영상과 서브 부가 영상을 포함한 독서 지원 정보를 검출한다. 여기서, 서브 부가 영상은 드래그 방향 및 드래그 종료 위치의 기준값과 연계되며, 메인 부가 영상의 객체 중 적어도 하나가 다른 형상, 다른 색상, 다른 위치에 배치된 영상인 것을 일례로 한다.

프로세서(120)는 독서 지원 정보의 메인 부가 영상을 상호작용 컨텐츠(IC)로 검출하고(S415), 상호작용 컨텐츠(IC) 및 상호작용 컨텐츠(IC) 출력 영역을 포함한 상호작용 컨텐츠(IC) 출력 신호를 디스플레이(140)에게로 전송한다(S420).

상호작용 컨텐츠(IC) 출력 신호를 수신한 디스플레이(140)는 상호작용 컨텐츠(IC) 출력 신호로부터 상호작용 객체 출력 영역을 검출하고, 활동 영역 영상(ASV)이 출력되는 영역 중에서 검출한 상호작용 객체 출력 영역에 대응하는 영역에 상호작용 컨텐츠(IC)를 출력한다(S425). 이때, 디스플레이(140)는 활동 영역 영상(ASV)의 상호작용 객체(IO)의 일부 영역과 오버랩되도록 상호작용 컨텐츠(IC, 즉, 메인 부가 영상)을 출력한다. 디스플레이(140)는 활동 영역 영상(ASV)에 표시된 상호작용 객체(IO)의 일부 영역에 입력 객체(Oi) 및 변화 객체(Oc)를 포함한 상호작용 컨텐츠(IC)를 출력한다.

디스플레이(140)에서 상호작용 컨텐츠(IC)를 출력한 이후에, 프로세서(120)는 검출기(190)로 입력 신호 검출 요청을 전송한다(S430). 즉, 프로세서(120)는 상호작용 컨텐츠(IC)가 출력된 후 검출기(190)로 사용자 입력의 검출을 요청하는 입력 신호 검출 요청을 전송한다.

입력 신호 검출 요청에 응답하여, 검출기(190)는 디스플레이(140)를 통해 출력된 상호작용 컨텐츠(IC)의 전체 영역 중에서 입력 객체(Oi)로 설정된 객체가 위치한 영역에서 사용자 입력을 검출한다(S435).

S435단계에서, 검출기(190)는 사용자의 드래그가 입력되면 드래그 시작 위치 좌표 및 종료 위치 좌표를 기반으로 한 드래그 방향 및 드래그 거리를 사용자 입력으로 검출한다.

S435단계에서, 검출기(190)는 사용자의 터치가 입력되면 기준 위치 좌표와 터치 좌표를 기반으로 한 방향 및 거리를 사용자 입력으로 검출할 수도 있다.

S435단계에서, 검출기(190)는 사용자의 터치가 입력되면 터치 좌표를 사용자 입력으로 검출할 수도 있다.

검출기(190)는 검출한 사용자 입력을 포함한 입력 감지 신호를 프로세서(120)로 전송한다(S440).

입력 감지 신호에 응답하여 프로세서(120)는 입력 감지 신호로부터 사용자 입력을 검출하고, 검출한 사용자 입력을 근거로 서브 부가 영상을 상호작용 컨텐츠(IC)로 검출한다(S445).

S445에서, 프로세서(120)는 사용자 입력의 드래그 방향 및 드래그 종료 위치가 서브 부가 영상에 연계된 기준값과 동일하면(또는 기준값 내에 포함되면) 서브 부가 영상을 상호작용 컨텐츠(IC)로 검출한다.

프로세서(120)는 검출한 상호작용 컨텐츠(IC)를 포함한 상호작용 컨텐츠(IC) 대체 요청을 디스플레이(140)로 전송하고(S450), 디스플레이(140)는 상호작용 컨텐츠(IC) 대체 요청에 응답하여 상호작용 컨텐츠(IC) 대체 요청으로부터 상호작용 컨텐츠(IC)를 검출하고, 출력 중인 상호작용 컨텐츠(IC)를 검출한 상호작용 컨텐츠(IC)로 대체하여 출력한다(S455).

이상에서 본 발명의 실시 예를 설명함에 있어 상호작용 컨텐츠를 대체 출력할때 메인 부가 영상을 서브 부가 영상으로 대체하여 출력하는 것으로 설명하였으나, 이에 한정되지 않고 상호작용 컨텐츠의 특정 객체에 그래픽 효과를 추가하여 변경되는 것으로 구현될 수도 있다.

이상과 같이 실시 예들이 비록 한정된 실시 예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

100: 독서 지원 장치 110: 애플리케이션
120: 프로세서 130: 카메라
140: 디스플레이 150: 영상 처리 엔진
160: 제1 통신 모듈 170: 저장소
180: 메모리 200: 서비스 서버
210: 제2 통신 모듈 220: 도서 식별 엔진
230: 도서 정보 검출 엔진 240: 독서 지원 정보 검출 엔진
250: 제어엔진 300: 데이터베이스
310: 쿼리 처리 엔진 320: 도서 식별자 저장소
330: 도서 정보 저장소 340: 독서 지원 정보 저장소
400: 거치대 410: 본체
412: 고정 장치 420: 지지대
430: 결합 축 500: 어댑터
520: 하우징 540: 반사경
AS: 활동 영역 ASV: 활동 영역 영상
IO: 상호작용 객체 IOI: 상호작용 객체 이미지
IC: 상호작용 컨텐츠 BO: 도서 객체
BC: 도서 컨텐츠 HL: 가로 직선
VL: 세로 직선 CSG: 표지 촬영 가이드
Oi: 입력 객체 Oc: 변화 객체
Or: 기준 객체

Claims

도서 객체가 배치되는 활동 영역을 갖는 물리적 표면에 배치되고, 하나 이상의 프로세서를 갖는 독서 지원 장치를 포함하고,
상기 독서 지원 장치는,
상기 활동 영역과 상기 활동 영역을 촬영한 활동 영역 영상을 입력받고, 상기 활동 영역 영상을 영상 분석한 영상 분석 결과를 출력하는 영상 처리 엔진;
통신을 위해 상기 영상 처리 엔진과 연결되고, 상기 영상 처리 엔진에서 출력된 상기 영상 분석 결과에 연계된 독서 지원 정보의 메인 부가 영상을 상호작용 컨텐츠로 검출하고, 상기 상호작용 컨텐츠를 포함한 출력 신호를 출력하는 프로세서; 및
통신을 위해 상기 영상 처리 엔진 및 상기 프로세서와 연결되고, 상기 활동 영역 영상을 출력하고, 상기 출력 신호에 응답하여 상기 상호작용 컨텐츠를 출력하되 상기 활동 영역 영상에 오버랩 되도록 상기 상호작용 컨텐츠를 출력하는 디스플레이를 포함하고,
상기 프로세서는 상기 상호작용 컨텐츠를 출력한 후에 입력 신호 검출 요청을 출력하고,
통신을 위해 상기 프로세서와 연결되고, 상기 입력 신호 검출 요청에 응답하여 상기 상호작용 컨텐츠가 표시된 영역에서 사용자 입력을 검출하고, 상기 사용자 입력을 포함한 입력 감지 신호를 상기 프로세서로 전송하는 검출기를 더 포함하고,
상기 프로세서는 상기 독서 지원 정보로부터 상기 입력 감지 신호의 사용자 입력에 연계된 서브 부가 영상을 검출하고, 검출한 상기 서브 부가 영상을 상호작용 컨텐츠로 재설정하고, 재설정된 상기 상호작용 컨텐츠를 포함한 상호작용 컨텐츠 대체 출력 요청을 상기 디스플레이로 전송하고,
상기 디스플레이는 상기 상호작용 컨텐츠 대체 출력 요청에 응답하여 출력 중인 상호작용 컨텐츠를 재설정된 상기 상호작용 컨텐츠로 대체하여 출력하고,
상기 프로세서는 지구 형상의 입력 객체, 해 형상의 기준 객체 및 배경 화면인 변화 객체를 포함한 상호작용 컨텐츠를 검출하되, 제1 계절의 메인 부가 영상이 배경 화면으로 설정된 상호작용 컨텐츠를 검출하고, 상기 상호작용 컨텐츠를 포함한 상호작용 컨텐츠 출력 요청을 상기 디스플레이로 전송하고,
상기 디스플레이는 상기 상호작용 컨텐츠 출력 요청에 응답하여 상기 지구 형상의 입력 객체, 해 형상의 기준 객체 및 상기 제1 계절의 메인 부가 영상으로 설정된 배경 화면인 변화 객체를 출력하고,
상기 지구 형상의 입력 객체가 표시된 영역에서 사용자 드래그가 발생하여 상기 지구 형상의 입력 객체가 제1 위치에서 제2 위치로 이동되면, 상기 검출기는 드래그 종료 위치 좌표를 기반으로 상기 제1 위치와 제2 위치 사이의 각도를 위치 관계로 검출하고,
상기 프로세서는 상기 검출기에서 검출한 위치 관계인 각도를 포함한 각도 범위에 연계된 제2 계절의 서브 부가 영상을 상호작용 컨텐츠로 재검출하고, 상기 상호작용 컨텐츠를 포함한 상호작용 컨텐츠 대체 요청을 디스플레이로 전송하고,
상기 디스플레이는 변화 객체인 배경 화면을 제1 계절의 메인 부가 영상에서 제2 계절의 서브 부가영상으로 대체하여 출력하는 독서 지원 장치.
제1항에 있어서,
상기 영상 처리 엔진은 도서 컨텐츠 및 상호작용 객체 중 하나를 포함한 상기 영상 분석 결과를 출력하는 독서 지원 장치.
제1항에 있어서,
상기 독서 지원 정보는 복수의 서브 부가 영상을 더 포함하고, 상기 복수의 서브 부가 영상은 서로 다른 각도와 연계된 독서 지원 장치.
제1항에 있어서,
상기 메인 부가 영상 및 상기 서브 부가 영상은 입력 객체 및 변화 객체를 포함하되, 상기 서브 부가 영상의 변화 객체는 상기 메인 부가 영상의 변화 객체와 다른 독서 지원 장치.
제1항에 있어서,
상기 검출기는 상기 상호작용 컨텐츠가 출력된 영역 중에서 상기 메인 부가 영상의 입력 객체가 배치된 영역에서 사용자 입력을 검출하는 독서 지원 장치
제5항에 있어서,
상기 검출기는 상기 입력 객체가 배치된 영역에서 드래그 시작 위치 좌표 및 드래그 종료 위치 좌표를 검출하고, 상기 드래그 시작 위치 좌표 및 상기 드래그 종료 위치 좌표를 기반으로 하는 드래그 방향 및 드래그 거리 중 하나 이상을 사용자 입력으로 검출하는 독서 지원 장치.
제5항에 있어서,
상기 메인 부가 영상은 기준 객체를 더 포함하고,
상기 검출기는 상기 입력 객체가 배치된 영역에서 드래그 시작 위치 좌표 및 드래그 종료 위치 좌표를 검출하고, 상기 드래그 시작 위치 좌표 및 상기 드래그 종료 위치 좌표를 기반으로 한 상기 기준 객체와 상기 입력 객체의 위치 관계를 사용자 입력으로 검출하는 독서 지원 장치.
제7항에 있어서,
상기 제1 위치와 제2 위치 사이의 각도는 상기 드래그 시작 위치 좌표와 상기 기준 객체의 중심점을 연결한 제1 직선과 상기 드래그 종료 위치 좌표와 기준 객체의 중심점을 연결한 제2 직선 사이의 각도인 독서 지원 장치.
제1항에 있어서,
상기 영상 처리 엔진은 영상 분석 결과로 상호작용 객체 및 상호작용 객체 출력 영역을 검출하되, 상기 활동 영역 영상의 전체 영역 중에서 상기 상호작용 객체가 표시된 영역의 일부를 상기 상호작용 객체 출력 영역으로 검출하는 독서 지원 장치.
제9항에 있어서,
상기 디스플레이는 상기 상호작용 객체 출력 영역에 상기 상호작용 컨텐츠를 출력하는 독서 지원 장치.
디스플레이에 의해, 활동 영역을 포함한 활동 영역 영상을 출력하는 단계;
영상 처리 엔진에 의해, 상기 활동 영역 영상을 영상 분석한 영상 분석 결과를 출력하는 단계;
프로세서에 의해, 상기 영상 분석 결과에 연계된 독서 지원 정보의 메인 부가 영상을 상호작용 컨텐츠로 검출하는 단계;
상기 프로세서에 의해, 상기 상호작용 컨텐츠를 포함한 출력 신호를 출력하는 단계;
상기 디스플레이에 의해, 상기 출력 신호에 응답하여 상기 활동 영역 영상과 오버랩되도록 상기 상호작용 컨텐츠를 출력하는 단계;
상기 프로세서에 의해, 상기 상호작용 컨텐츠를 출력하는 단계 이후에 입력 신호 검출 요청을 출력하는 단계;
검출기에 의해, 상기 입력 신호 검출 요청에 응답하여 상기 상호작용 컨텐츠가 표시된 영역에서 사용자 입력을 검출하고, 상기 사용자 입력을 포함한 입력 감지 신호를 출력하는 단계;
상기 프로세서에 의해, 상기 입력 감지 신호로부터 사용자 입력을 검출하고, 상기 독서 지원 정보로부터 상기 사용자 입력에 연계된 서브 부가 영상을 검출하고, 검출한 상기 서브 부가 영상을 상호작용 컨텐츠로 재설정하는 단계;
상기 프로세서에 의해, 상기 재설정하는 단계에서 재설정된 상기 상호작용 컨텐츠를 포함한 상호작용 컨텐츠 대체 출력 요청을 출력하는 단계; 및
상기 디스플레이에 의해, 상기 대체 출력 요청에 응답하여 출력 중인 상호작용 컨텐츠를 상기 재설정하는 단계에서 재설정된 상기 상호작용 컨텐츠로 대체하여 출력하는 단계를 포함하고,
상기 상호작용 컨텐츠로 검출하는 단계에서는 지구 형상의 입력 객체, 해 형상의 기준 객체 및 배경 화면인 변화 객체를 포함한 상호작용 컨텐츠를 검출하되, 제1 계절의 메인 부가 영상이 배경 화면으로 설정된 상호작용 컨텐츠를 검출하고,
상기 상호작용 컨텐츠를 출력하는 단계에서는 상호작용 컨텐츠 출력 요청에 응답하여 상기 지구 형상의 입력 객체, 해 형상의 기준 객체 및 상기 제1 계절의 메인 부가 영상으로 설정된 배경 화면인 변화 객체를 출력하고,
상기 입력 감지 신호를 출력하는 단계에서는 상기 지구 형상의 입력 객체가 표시된 영역에서 사용자 드래그가 발생하여 상기 지구 형상의 입력 객체가 제1 위치에서 제2 위치로 이동되면, 상기 검출기는 드래그 종료 위치 좌표를 기반으로 상기 제1 위치와 제2 위치 사이의 각도인 위치 관계를 포함하는 입력 감지 신호로 출력하고,
상기 상호작용 컨텐츠로 재설정하는 단계에서는 상기 입력 감지 신호에 포함된 위치 관계인 각도를 포함한 각도 범위에 연계된 제2 계절의 서브 부가 영상을 상호작용 컨텐츠로 재검출하고,
상기 상호작용 컨텐츠로 대체하여 출력하는 단계에서는 변화 객체인 배경 화면을 제1 계절의 메인 부가 영상에서 제2 계절의 서브 부가영상으로 대체하여 출력하는 독서 지원 방법.
제11항에 있어서,
상기 영상 분석 결과를 출력하는 단계에서는 상기 활동 영역 영상의 도서 컨텐츠 및 상호작용 객체 중 하나를 포함한 상기 영상 분석 결과를 출력하는 독서 지원 방법.
제11항에 있어서,
상기 독서 지원 정보는 복수의 서브 부가 영상을 더 포함하고, 상기 복수의 서브 부가 영상은 서로 다른 각도와 연계된 독서 지원 방법.
제11항에 있어서,
상기 메인 부가 영상 및 상기 서브 부가 영상은 입력 객체 및 변화 객체를 포함하되, 상기 서브 부가 영상의 변화 객체는 상기 메인 부가 영상의 변화 객체와 다른 독서 지원 방법.
제11항에 있어서,
상기 입력 감지 신호를 출력하는 단계에서는 상기 상호작용 컨텐츠가 출력된 영역 중에서 상기 메인 부가 영상의 입력 객체가 배치된 영역에서 사용자 입력을 검출하는 독서 지원 방법.
제15항에 있어서,
상기 입력 감지 신호를 출력하는 단계는,
상기 입력 객체가 배치된 영역에서 드래그 시작 위치 좌표 및 드래그 종료 위치 좌표를 검출하는 단계; 및
상기 드래그 시작 위치 좌표 및 상기 드래그 종료 위치 좌표를 기반으로 하는 드래그 방향 및 드래그 거리 중 하나 이상을 사용자 입력으로 검출하는 단계를 포함하는 독서 지원 방법.
제15항에 있어서,
상기 입력 감지 신호를 출력하는 단계는,
상기 검출기에 의해, 상기 입력 객체가 배치된 영역에서 드래그 시작 위치 좌표 및 드래그 종료 위치 좌표를 검출하는 단계; 및
상기 검출기에 의해, 상기 드래그 시작 위치 좌표 및 상기 드래그 종료 위치 좌표를 기반으로 한 상기 메인 부가 영상의 기준 객체와 상기 입력 객체의 위치 관계를 사용자 입력으로 검출하는 단계를 포함하는 독서 지원 방법.
제17항에 있어서,
상기 입력 감지 신호를 출력하는 단계는,
상기 드래그 시작 위치 좌표와 상기 기준 객체의 중심점을 연결한 제1 직선과 상기 드래그 종료 위치 좌표와 기준 객체의 중심점을 연결한 제2 직선 사이의 각도를 상기 제1 위치와 제2 위치 사이의 각도로 검출하는 단계를 더 포함하는 독서 지원 방법.
제11항에 있어서,
상기 영상 분석 결과를 출력하는 단계에서는 영상 분석 결과로 상호작용 객체 및 상호작용 객체 출력 영역을 검출하되, 상기 활동 영역 영상의 전체 영역 중에서 상기 상호작용 객체가 표시된 영역의 일부를 상기 상호작용 객체 출력 영역으로 검출하는 독서 지원 방법.
제19항에 있어서,
상기 상호작용 컨텐츠를 출력하는 단계에서는, 상기 활동 영역 영상의 상기 상호작용 객체 출력 영역에 상기 상호작용 컨텐츠를 출력하는 독서 지원 방법.