KR102512184B1 - 독서 지원 시스템 및 방법 - Google Patents

독서 지원 시스템 및 방법 Download PDF

Info

Publication number
KR102512184B1
KR102512184B1 KR1020220026332A KR20220026332A KR102512184B1 KR 102512184 B1 KR102512184 B1 KR 102512184B1 KR 1020220026332 A KR1020220026332 A KR 1020220026332A KR 20220026332 A KR20220026332 A KR 20220026332A KR 102512184 B1 KR102512184 B1 KR 102512184B1
Authority
KR
South Korea
Prior art keywords
marker
image
request signal
response
book
Prior art date
Application number
KR1020220026332A
Other languages
English (en)
Inventor
최정우
강지석
Original Assignee
주식회사 아티젠스페이스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아티젠스페이스 filed Critical 주식회사 아티젠스페이스
Priority to KR1020220026332A priority Critical patent/KR102512184B1/ko
Application granted granted Critical
Publication of KR102512184B1 publication Critical patent/KR102512184B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 독서 지원 시스템 및 방법은 제1 디바이스에서 물리적 표면에 정의된 활동 영역에 도서 객체가 배치된 상태에서, 활동 영역을 촬영한 활동 영역 영상을 출력하고, 활동 영역 영상에 대한 영상 분석을 통해 활동 영역에 배치된 제2 디바이스에서 출력한 마커 이미지를 인식하고, 인식한 마커 이미지에 대응하는 상호작용 컨텐츠를 활동 영역 영상에 오버랩되도록 출력한다.

Description

독서 지원 시스템 및 방법{SYSTEM AND METHOD FOR SUPPORTING A READING}
본 발명은 사용자의 독서를 지원하는 기술에 관한 것으로, 더욱 상세하게는 도서에 관련된 이미지, 동영상 등의 컨텐츠를 출력하여 사용자의 독서를 지원하는 독서 지원 시스템 및 방법에 관한 것이다.
일반적으로, 독서는 문자, 이미지 등을 포함한 도서를 읽고 지식을 습득하기 위한 행위이다. 최근에는 사람들이 스마트폰, 태블릿 등의 전자기기에 익숙해 짐에 따라 문자, 이미지(즉, 정지 영상)만으로 구성된 실물도서의 독서보다는 인터넷 서핑, 인터넷 동영상 시청 등을 통해 지식을 습득하는 빈도가 증가하고 있다.
출판업계에서는 문자, 이미지, 음성, 효과음, 동영상 등으로 구성된 멀티미디어 도서로 실물도서를 대체하고 있으나, 종래의 멀티미디어 도서는 단순히 도서 내용에 관련된 음성, 영상 등을 제공하는 정도로 수동적이고 일차원적으로 필요한 정보를 제공하는 정도이다.
이에, 출판업계에서는 능동적인 독서 및 능동적인 독서 참여를 유도하기 위한 다양한 독서 지원 기술을 연구하고 있다.
이상의 배경기술에 기재된 사항은 발명의 배경에 대한 이해를 돕기 위한 것으로서, 공개된　종래 기술이 아닌 사항을 포함할 수 있다.
한국등록특허 제10-1587471호(명칭: 웨어러블 컴퓨터를 이용한 독서 증강을 위한 책 시스템 및 독서 증강 방법)
본 발명은 상기한 사정을 감안하여 제안된 것으로 제1 디바이스가 활동 영역에 배치된 도서 객체를 촬영한 활동 영역 영상을 출력하고, 활동 영역에 배치된 제2 디바이스에서 출력되는 마커 이미지에 대응하는 상호작용 컨텐츠를 활동 영역 영상에 오버랩시켜 출력하도록 한 독서 지원 시스템 및 방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명의 실시 예에 따른 독서 지원 시스템은 제2 디바이스와 통신이 가능하도록 연결되고, 물리적 표면에 정의된 활동 영역을 촬영한 활동 영역 영상을 출력하고, 활동 영역에서 배치된 제2 디바이스에 표시된 마커 이미지를 검출하고, 마커 이미지에 대응하는 상호작용 컨텐츠를 활동 영역 영상에 오버랩되도록 출력하는 제1 디바이스를 포함하고, 제1 디바이스는 카메라 구동 요청 신호에 응답하여 도서 객체 및 제2 디바이스 중에서 하나 이상이 배치된 활동 영역을 촬영하여 활동 영역 영상을 생성하도록 구성된 카메라, 카메라와 통신이 가능하도록 연결되고, 영상 인식 개시 신호에 응답하여 활동 영역 영상에 대한 영상 분석을 수행하여 도서 객체의 표지 이미지 및 제2 디바이스에 표시된 마커 이미지 중에서 하나의 이미지를 영상 인식 결과로 생성하고, 영상 인식 결과를 포함한 이미지 확인 요청 신호를 전송하는 영상 처리 엔진, 카메라 및 영상 처리 엔진과 통신이 가능하도록 연결되고, 영상 처리 엔진의 이미지 확인 요청 신호에 응답하여 이미지 확인 요청 신호에 포함된 표지 이미지에 대응하는 도서 식별자를 검출하고, 도서 식별자를 포함한 마커 출력 요청 신호를 전송하고, 마커 출력 요청 신호를 전송한 후 영상 처리 엔진의 이미지 확인 요청 신호에 응답하여 이미지 확인 요청 신호에 포함된 마커 이미지와 연계된 상호작용 컨텐츠를 검출하고, 상호작용 컨텐츠를 포함한 컨텐츠 출력 요청 신호를 출력하는 프로세서 및 카메라 및 프로세서와 통신이 가능하도록 연결되고, 카메라에서 생성된 활동 영역 영상을 출력하고, 프로세서의 컨텐츠 출력 요청 신호에 응답하여 활동 영역 영상의 상호작용 객체에 오버랩 되도록 상호작용 컨텐츠를 출력하는 디스플레이를 포함한다.
상기한 목적을 달성하기 위하여 본 발명의 실시 예에 따른 독서 지원 시스템은 물리적 표면에 정의된 활동 영역을 촬영한 활동 영역 영상과 상호작용 컨텐츠를 출력하도록 구성된 제1 디바이스와 통신이 가능하도록 연결되고, 물리적 표면에 정의된 활동 영역에 배치되어 마커 이미지를 출력하는 제2 디바이스를 포함하고, 제2 디바이스는 제1 디바이스의 마커 출력 요청 신호에 응답하여 마커 출력 요청 신호로부터 도서 식별자를 검출하고, 도서 식별자를 포함한 마커 검출 요청 쿼리를 출력하고, 마커 검출 요청 쿼리에 대한 응답 신호에 응답하여 응답 신호로부터 마커 이미지를 검출하고, 마커 이미지를 포함한 마커 표시 요청 신호를 출력하는 프로세서 및 프로세서와 통신이 가능하도록 연결되고, 프로세서의 마커 표시 요청 신호에 응답하여 마커 표시 요청 신호로부터 검출한 마커 이미지를 출력하는 디스플레이를 포함한다.
상기한 목적을 달성하기 위하여 본 발명의 실시 예에 따른 독서 지원 방법은 제1 디바이스에 의해, 물리적 표면에 정의된 활동 영역을 촬영하되, 도서 객체 및/또는 제2 디바이스가 배치된 활동 영역을 촬영하여 활동 영역 영상을 생성하는 단계, 제1 디바이스에 의해, 활동 영역 영상을 출력하는 단계, 제1 디바이스에 의해, 활동 영역 영상에 대한 영상 분석을 수행하여 도서 객체의 표지 이미지를 인식하는 단계, 제1 디바이스에 의해, 표지 이미지에 대응하는 도서 식별자를 검출하는 단계, 제1 디바이스에 의해, 도서 식별자를 포함한 마커 출력 요청 신호를 출력하는 단계, 제2 디바이스에 의해, 마커 출력 요청 신호에 응답하여 마커 출력 요청 신호로부터 검출하 도서 식별자에 연계된 마커 이미지를 출력하는 단계, 제1 디바이스에 의해, 활동 영역 영상에 대한 영상 분석을 수행하여 활동 영역에 배치된 제2 디바이스에서 출력된 마커 이미지를 인식하는 단계, 제1 디바이스에 의해, 마커 이미지를 인식하는 단계에서 인식한 마커 이미지와 연계된 상호작용 컨텐츠를 검출하는 단계 및 제1 디바이스에 의해, 활동 영역 영상에 오버랩되도록 상호작용 컨텐츠를 출력하는 단계를 포함한다.
본 발명에 의하면, 독서 지원 시스템 및 방법은 활동 영역 영상을 출력하는 제1 디바이스가 제2 디바이스에서 출력된 마커 이미지에 연계된 상호작용 컨텐츠를 출력함으로써, 종이, 플라스틱 등으로 구성된 마커를 이용하는 종래기술에 비해 자원 낭비를 최소화하고, 마커의 변화에 빠르게 대처할 수 있는 효과가 있다.
또한, 독서 지원 시스템 및 방법은 활동 영역 영상을 출력하는 제1 디바이스가 제2 디바이스에서 출력된 마커 이미지에 연계된 상호작용 컨텐츠를 출력함으로써, 종이, 플라스틱 등으로 구성이 어려운 마커 이미지를 구현할 수 있어 더욱 생동감 있는 마커를 제공하여 종래기술에 비해 사용자가 독서에 집중할 수 있는 환경을 제공할 수 있는 효과가 있다.
또한, 독서 지원 시스템 및 방법은 활동 영역 영상을 출력하는 제1 디바이스가 제2 디바이스에서 출력된 마커 이미지에 연계된 상호작용 컨텐츠를 출력함으로써, 상호작용 객체를 이용한 사용자의 능동적인 독서 참여를 유도할 수 있는 효과가 있다.
또한, 독서 지원 시스템 및 방법은 사용자에 의해 변경되는 제2 디바이스(마커 이미지)의 위치와 연동하여 도서 객체에 관련된 상호작용 컨텐츠를 출력함으로써, 미리 설정된 위치에 상호작용 컨텐츠를 출력하는 종래 기술에 비해 능동적인 독서를 유도할 수 있는 효과가 있다.
또한, 독서 지원 시스템 및 방법은 마커 진행도 및 페이지 진행도를 산출하여 표시함으로써, 사용자가 도서 객체 및/또는 페이지에 대한 독서 진행 상태를 확인할 수 있도록 하는 효과가 있다.
또한, 독서 지원 시스템 및 방법은 마커 이미지의 이탈을 감지하여 이미지 교체를 안내(가이드)함으로써, 사용자가 독서를 위해 사용되는 마커 이미지를 쉽게 선택할 수 있고, 마커 탐색 및 선택을 위한 시간 소비를 최소화하는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 독서 지원 시스템을 설명하기 위한 도면.
도 2는 도 1의 제1 디바이스를 설명하기 위한 도면.
도 3은 도 1의 제1 디바이스의 구성을 설명하기 위한 도면.
도 4 및 도 5는 도 1의 제1 디바이스가 마커 이미지의 이탈을 감지하는 동작을 설명하기 위한 도면.
도 6은 도 1의 제2 디바이스의 구성을 설명하기 위한 도면.
도 7 및 도 8은 도 1의 제2 디바이스가 마커 이미지를 출력하는 일례를 설명하기 위한 도면.
도 9는 도 1의 제2 디바이스가 마커 진행도를 출력하는 일례를 설명하기 위한 도면.
도 10은 도 1의 제2 디바이스가 페이지 진행도를 출력하는 일례를 설명하기 위한 도면.
도 11은 도 1의 지원 서버에 저장되는 도서 정보의 일례를 설명하기 위한 도면.
도 12는 도 1의 지원 서버에 저장되는 마커 정보의 일례를 설명하기 위한 도면.
도 13은 도 1의 지원 서버에 저장되는 컨텐츠 정보의 일례를 설명하기 위한 도면.
도 14는 도 1의 지원 서버의 변형 예를 설명하기 위한 도면.
도 15는 본 발명의 실시 예에 따른 독서 지원 방법을 설명하기 위한 흐름도.
도 16 내지 도 19는 도 15의 S19 단계(도서 식별자, 도서 페이지 및 마커 이미지 중에 적어도 하나 검출)를 설명하기 위한 흐름도.
도 20 및 도 21은 도 15의 S23 단계(상호작용 컨텐츠 검출)를 설명하기 위한 흐름도.
도 22 내지 도 24는 도 15의 S22 단계(마커 이미지 출력)를 설명하기 위한 흐름도.
도 25는 본 발명의 실시 에에 따른 독서 지원 방법에서 마커의 이탈을 감지하여 마커 교체를 안내(가이드)하는 단계를 설명하기 위한 흐름도.
도 26 및 도 27은 본 발명의 실시 에에 따른 독서 지원 방법에서 진행도를 표시하는 단계를 설명하기 위한 흐름도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이고, 하기 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 하기 실시예에 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하고, 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 또한, 본 명세서에서 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다.
본 기술분야의 통상의 지식을 가진 자들은 본 명세서에서 개시되는 구성들과 관련하여 설명되는 다양한 예시 적인 블록, 장치 또는 동작들이 전자　하드웨어, 컴퓨터 소프트웨어 또는 이 둘의 조합으로 서 구현될 수 있다는 것을 알 것이다. 이러한 블록, 장치 또는 동작들은 제1 프로세서, DSP(digital signal processor), ASIC(application-specific integrated circuit) 또는 ASSP(application-specific standard product), FPGA(field-programmable gate array) 또는 다른 프로그래밍가능 논리 디바이스, 개별 게이트 또는 트랜지스터 논리, 개별 하드웨어 구성요소 또는 본 명세서에 개시되는 바와 같은 구성을 생성하도록 설계된 이들의 임의 조합을 이용하여 구현 또는 수행될 수 있다. 제1 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들어 DSP와 마이크로 프로세서의 조합, 복수의 마이크로 프로세서, DSP 코어와 연계된 하나 이상의 마이크로 프로세서 또는 임의 다른 구성으로서 구현될 수 있다. 컴퓨터 소프트웨어 또는 프로그램은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 플래시 RAM과 같은 비휘발성 RAM, 소거 및 프로그래밍 가능한 ROM(EPROM), 전기적으로 소거 및 프로그래밍 가능한 ROM(EEPROM), 레지스터, 하드 디스크, 이동식 디스크, CD-ROM 또는 본 기술 분야에 공지된 임의 다른 형태의 저장 매체에 존재할 수 있으며, 제1 프로세서 또는 DSP와 같은 논리 요소들의 어레이에 의해 실행될 수 있는 머신 판독 가능 명령어를 포함할 수 있다. 예시 적인 저장 매체가 제1 프로세서와 결합될 수 있고, 제1 프로세서는 저장 매체로부터의 정보를 판독하고 저장 매체에 정보를 기록할 수 있다. 대안으로서, 저장 매체는 제1 프로세서와 일체일 수 있다. 제1 프로세서와 저장 매체는 ASIC 내에 위치할 수 있다. ASIC은 사용자　단말기 내에 위치할 수 있다. 대안으로서, 제1 프로세서 및 저장 매체는 사용자 단말기 내에 개별 구성요소로서 존재할 수 있다.
도면은 본 발명의 사상을 이해할 수 있도록 하기 위한 것일 뿐, 도면에 의해서 본 발명의 범위가 제한되는 것으로 해석되지 않아야 한다. 또한 도면에서 상대적인 두께, 길이나 상대적인 크기는 설명의 편의 및 명확성을 위해 과장될 수 있다.
먼저, 본 발명의 실시 예를 설명하기 위해 사용되는 용어를 정의하면 아래와 같다.
도서 객체(BO; Book Object)는 실물 도서를 의미한다.
활동 영역(AS; Activity Surface)은 실물 도서가 배치된 물리적 표면의 일부 영역으로, 물리적 표면 중에서 도서 객체(BO)가 배치된(차지하는) 영역을 의미한다.
활동 영역 영상(ASV; Activity Surface Video)는 카메라를 통해 활동 영역(AS)을 촬영한 영상이다.
도서 컨텐츠(BC; Book Contents)는 제1 디바이스의 디스플레이를 통해 출력된 활동 영역에 포함된 텍스트, 이미지 등을 포함한다. 이때, 도서 컨텐츠(BC)는 도서 객체(BO)의 표지, 도서 객체(BO)의 각 페이지에 포함된 텍스트 및/또는 이미지 등을 포함한다.
상호작용 컨텐츠는 도서에 관련된 이미지, 동영상 등의 컨텐츠로, 제1 디바이스를 통해 출력되며, 제1 디바이스에서 출력된 도서 컨텐츠에 오버랩 되도록 표시되는 컨텐츠이다. 이때, 상호작용 컨텐츠는 증강 현실(AR; Augmented Reality) 컨텐츠, 혼합 현실(MR; Mixed Reality) 컨텐츠, 초실감(XR; eXtended Reality) 컨텐츠 등과 같이 실시간 영상에 출력되는 컨텐츠인 것을 일례로 한다.
마커 이미지(MI; Marker Image)는 제2 디바이스에 표시되는 이미지로, 제1 디바이스에서 출력될 상호 작용 컨텐츠를 설정하기 위한 기준값으로 사용되는 이미지이다. 이때, 마커 이미지(MI)는 상호 작용 컨텐츠, 실물 도서의 도서 식별자 및 도서 페이지와 연계되어 관리된다.
디스플레이 좌표는 디스플레이의 전체 영역 중에서 마커 이미지가 인식된 위치 또는 영역의 좌표를 의미한다.
이하에서, 본 발명의 실시 예를 용이하게 설명하기 위해서 데이터 파일(예를 들어, 표지 이미지, 도서 표지, 페이지 이미지, 마커 이미지, 상호작용 컨텐츠 등)를 포함한 신호를 전송하는 것으로 기재하였으나, 이에 한정되지 않고 데이터의 식별자, 링크 주소 등을 포함한 신호를 전송하는 것도 포함한다.
도 1을 참조하면, 본 발명의 실시 예에 따른 독서 지원 시스템은 제1 디바이스(100), 제2 디바이스(200) 및 지원 서버(300)를 포함하여 구성된다.
제1 디바이스(100)는 촬영 기능, 디스플레이 기능 및 통신 기능을 갖는 단말기로 구성되며, 스마트폰, 태블릿, 랩톱(LAPTOP) 등과 같이 촬영, 디스플레이 및 통신이 가능한 단말기로 구성된 것을 일례로 한다.
제1 디바이스(100)는 활동 영역의 상부에 위치하는 카메라(130)를 통해 도서 객체가 배치된 영역을 촬영한 영상을 출력한다. 제1 디바이스(100)는 영상에 포함된 마커 이미지를 인식하고, 마커 이미지에 대응하는 상호작용 컨텐츠를 출력한다. 이때, 제1 디바이스(100)는 도서 객체, 도서 페이지 및 마커 이미지에 대응하는 상호작용 컨텐츠를 출력하며, 활동 영역 영상(ASV)에 오버랩 되도록 상호작용 컨텐츠를 출력한다.
도 2를 참조하면, 제1 디바이스(100)는 활동 영역의 상부에서 도서 객체가 배치된 활동 영역을 촬영하여 활동 영역 영상(ASV)을 생성한다. 제1 디바이스(100)는 생성한 활동 영역 영상(ASV)을 출력한다. 이때, 제1 디바이스(100)는 후술할 동작을 수행하면서 실시간으로 활동 영역 영상(ASV)을 생성 및 출력한다.
제1 디바이스(100)는 활동 영역 영상(ASV)에 포함된 도서 컨텐츠를 인식하여 도서 객체에 대응하는 도서 식별자를 검출한다. 즉, 제1 디바이스(100)는 활동 영역에 배치된 도서 객체의 표지를 촬영하고, 활동 영역 영상(ASV) 중에서 도서 컨텐츠가 촬영된 제1 영역(A1)을 도서 표지로 검출한다. 제1 디바이스(100)는 도서 표지를 포함한 도서 식별 요청 신호를 생성하여 지원 서버(300)로 전송한다. 제1 디바이스(100)는 도서 식별 요청 신호에 대한 지원 서버(300)의 응답 신호를 수신하고, 응답 신호로부터 도서 식별자를 검출한다.
제1 디바이스(100)는 도서 식별자를 검출한 후 생성(출력)되는 활동 영역 영상(ASV)으로부터 도서 페이지를 검출한다. 즉, 제1 디바이스(100)는 활동 영역 영상(ASV) 중에서 도서 컨텐츠가 촬영된 제1 영역(A1)에 대한 영상분석을 통해 도서 객체의 도서 페이지를 인식한다. 제1 디바이스(100)는 도서 컨텐츠에 포함된 페이지 번호를 도서 페이지로 인식하는 것을 일례로 한다.
제1 디바이스(100)는 제2 디바이스(200)로 마커 출력 요청 신호를 전송한다. 즉, 제1 디바이스(100)는 도서 식별자를 포함한 마커 출력 요청 신호를 생성하여 제2 디바이스(200)로 전송한다. 제1 디바이스(100)는 도서 식별자 및 도서 페이지를 포함한 마커 출력 요청 신호를 생성하여 제2 디바이스(200)로 전송할 수도 있다.
제1 디바이스(100)는 마커 이미지를 포함한 마커 출력 요청 신호를 전송할 수도 있다. 즉, 제1 디바이스(100)는 활동 영역 영상(ASV)을 근거로 검출한 도서 식별자 및 도서 페이지에 연계된 마커 이미지를 검출한다. 제1 디바이스(100)는 내부 메모리(180)에 저장된 마커 이미지들 중에서 활동 영역 영상(ASV)을 근거로 검출한 도서 식별자 및 도서 페이지에 연계된 하나 이상의 마커 이미지를 검출한다.
제1 디바이스(100)는 마커 이미지를 지원 서버(300)로부터 검출할 수도 있다. 제1 디바이스(100)는 활동 영역 영상(ASV)을 근거로 검출한 도서 식별자 및 도서 페이지를 포함한 마커 전송 요청 신호를 생성하여 지원 서버(300)로 전송한다. 제1 디바이스(100)는 지원 서버(300)로부터 마커 전송 요청 신호에 대한 응답을 수신하고, 응답으로부터 하나 이상의 마커 이미지를 검출한다. 제1 디바이스(100)는 하나 이상의 마커 이미지를 포함한 마커 출력 요청 신호를 생성하여 제2 디바이스(200)로 전송한다.
제1 디바이스(100)는 활동 영역 영상(ASV)에 포함된 마커 이미지를 인식한다. 즉, 제1 디바이스(100)는 영상 분석을 통해 활동 영역 영상(ASV)에 포함된 제2 디바이스(200)에 표시된 마커 이미지를 인식한다. 제1 디바이스(100)는 활동 영역 영상(ASV)으로부터 제2 디바이스(200)가 인식되면 활동 영역 영상(ASV) 중에서 제2 디바이스(200)가 인식된 영역에 대한 영상 분석을 통해 제2 디바이스(200)에 표시된 마커 이미지를 인식한다. 이때, 제1 디바이스(100)는 마커 이미지가 인식된 위치에 대응하는 마커 이미지의 디스플레이 좌표를 함께 검출한다.
제1 디바이스(100)는 활동 영역 영상(ASV)으로부터 마커 이미지가 인식되면 마커 이미지에 대응하는 상호작용 컨텐츠를 검출한다. 제1 디바이스(100)는 상호작용 컨텐츠를 내부 저장소에 저장하고, 내부 저장소로부터 상호작용 컨텐츠를 검출하는 것을 일례로 한다.
제1 디바이스(100)는 지원 서버(300)로부터 상호작용 컨텐츠를 검출할 수도 있다. 제1 디바이스(100)는 도서 식별자, 페이지 및 마커 이미지를 포함한 컨텐츠 검출 요청 신호를 생성하여 지원 서버(300)로 전송한다. 제1 디바이스(100)는 컨텐츠 검출 요청 신호에 대한 지원 서버(300)의 응답 신호로부터 상호작용 컨텐츠를 검출한다.
제1 디바이스(100)는 활동 영역 영상(ASV)에 오버랩 되도록 상호작용 컨텐츠를 출력한다. 제1 디바이스(100)는 활동 영역 영상(ASV)의 도서 컨텐츠 상에 오버랩 되도록 상호작용 컨텐츠를 출력한다.
제1 디바이스(100)는 마커 이미지의 위치를 반영하여 상호작용 컨텐츠를 출력한다. 즉, 제1 디바이스(100)는 마커 이미지가 인식된 위치에 오버랩 되도록 상호작용 컨텐츠를 출력한다. 제1 디바이스(100)는 디스플레이들 통해 상호작용 컨텐츠를 출력하되, 마커 이미지의 디스플레이 좌표에 대응하는 위치에 출력한다. 그에 따라, 상호작용 컨텐츠는 활동 영역 영상(ASV)의 도서 컨텐츠에 오버랩 되도록 출력된다.
제1 디바이스(100)는 마커 이탈 여부를 판단한다. 즉, 제1 디바이스(100)는 제2 디바이스(200)에서 출력된 마커 이미지를 인식하여 상호작용 컨텐츠를 출력한 후 활동 영역 영상(ASV)에서 해당 마커 이미지가 인식되지 않으면 마커 이탈로 감지한다. 제1 디바이스(100)는 마커 이미지가 제1 영역(A1)에서 인식된 후 활동 영역 영상(ASV)에서 인식되지 않으면 마커 이탈로 감지한다. 여기서, 제1 영역(A1)은 활동 영역 영상(ASV) 중에서 도서 컨텐츠가 표시된 영역인 것을 일례로 한다.
제1 디바이스(100)는 마커 이미지가 제1 영역(A1)에서 인식된 후 제2 영역(A2)에서 인식되면 마커 이탈로 감지할 수도 있다. 여기서, 제2 영역(A2)은 활동 영역 영상(ASV) 중에서 제1 영역(A1)의 외부에 위치한 영역인 것을 일례로 한다.
제1 디바이스(100)는 마커 이탈로 판단하면 마커 이탈 감지 신호를 생성하여 제2 디바이스(200)로 전송한다. 이때, 제1 디바이스(100)는 마커 이미지 및/또는 마커 식별자를 포함한 마커 이탈 감지 신호를 생성하여 제2 디바이스(200)로 전송하는 것을 일례로 한다.
제1 디바이스(100)는 도서 페이지의 변경 여부를 더 판단할 수 있다. 즉, 제1 디바이스(100)는 제1 영역(A1)에 대한 영상분석을 통해 도서 페이지의 변경을 판단한다. 제1 디바이스(100)는 마커 이미지가 제1 영역(A1)에서 인식된 제1 시점에서 도서 페이지를 인식한다. 제1 디바이스(100)는 마커 이탈로 판단한 제2 시점에서 도서 페이지를 인식한다. 제1 디바이스(100)는 제1 시점 및 제2 시점의 도서 페이지를 비교하여 도서 페이지의 변경 여부를 판단한다. 제1 디바이스(100)는 제1 시점 및 제2 시점의 도서 페이지가 동일하면 페이지 유지로 판단하고, 두 시점의 도서 페이지가 다르면 페이지 변경으로 판단한다.
제1 디바이스(100)는 마커 이탈 및 도서 페이지 유지로 판단하면 마커 교체 요청 신호를 생성하여 제2 디바이스(200)로 출력한다. 이때, 제1 디바이스(100)는 마커 이미지의 식별자인 마커 식별자를 포함한 마커 교체 요청 신호를 생성하여 제2 디바이스(200)로 전송하는 것을 일례로 한다.
제1 디바이스(100)는 제2 디바이스(200)의 진행도 제공 요청 신호에 응답하여 진행도를 산출한다. 이때, 제1 디바이스(100)는 마커 진행도, 페이지 진행도 중에서 적어도 하나의 진행도를 산출할 수 있다.
제1 디바이스(100)는 도서 객체에 연계된 마커 이미지별 진행 정도를 마커 진행도로 산출한다. 제1 디바이스(100)는 마커 이미지가 연계된 전체 페이지 수와 마커 이미지와 연계된 상호작용 컨텐츠가 출력된 페이지 수의 비율을 마커 진행도로 산출할 수 있다.
제1 디바이스(100)는 마커 이미지가 연계된 상호작용 컨텐츠의 총 출력 시간과 마커 이미지와 연계된 상호작용 컨텐츠가 출력된 시간의 비율을 마커 진행도로 산출할 수 있다.
제1 디바이스(100)는 각 페이지에 연계된 상호작용 컨텐츠의 진행 정도를 페이지 진행도로 산출할 수 있다. 즉, 제1 디바이스(100)는 페이지에 연계된 상호작용 컨텐츠의 총 출력 시간과 상호작용 컨텐츠가 출력된 시간의 비율을 페이지 진행도로 산출할 수 있다.
일례로, 제1 도서 객체의 제1 페이지에 제1 마커 이미지 및 제2 마커 이미지가 연계되고, 제1 마커 이미지 및 제2 마커 이미지에 동일한 출력 시간(재생 시간)을 갖는 상호작용 컨텐츠가 연계된 것으로 가정한다. 제1 마커 이미지에 연계된 상호작용 컨텐츠의 출력이 완료된 경우, 제1 디바이스(100)는 대략 50% 정도를 페이지 진행도로 산출한다.
제1 디바이스(100)는 진행도를 산출한 후에 마커 진행도 및/또는 페이지 진행도를 포함한 응답 신호를 생성한다. 제1 디바이스(100)는 진행도 제공 요청 신호에 대한 응답으로 생성한 응답 신호를 제2 디바이스(200)로 전송한다.
도 3을 참조하면, 제1 디바이스(100)는 제1 애플리케이션(110), 제1 프로세서(120), 카메라(130), 제1 디스플레이(140), 영상 처리 엔진(150), 제1 통신 모듈(160), 제1 내부 저장소(170), 메모리(180)를 포함하여 구성된다.
사용자는 독서 지원 서비스를 이용하기 위해 제1 디바이스(100)에 설치된 제1 애플리케이션(110)을 구동한다. 즉, 사용자는 제1 디바이스(100)를 구동 시킨 후에 터치, 클릭, 더블 클릭 등의 조작을 통해 독서 지원 서비스를 지원하는 제1 애플리케이션(110)을 실행한다.
제1 애플리케이션(110)은 사용자의 조작에 의해 활성화(실행)되어 카메라 구동 요청 신호를 제1 프로세서(120)로 출력한다. 제1 프로세서(120)는 제1 애플리케이션(110)의 카메라 구동 요청 신호에 응답하여 촬영 개시 신호를 카메라(130)로 출력한다.
카메라(130)는 제1 프로세서(120)의 촬영 개시 신호에 응답하여 활동 영역의 촬영을 개시한 후 제1 애플리케이션(110)으로 Ack 신호를 전송한다. 카메라(130)는 활동 영역을 촬영한 활동 영역 영상(ASV)을 생성하여 제1 디스플레이(140)로 실시간 전송한다. 제1 디스플레이(140)는 카메라(130)로부터 전송받은 활동 영역 영상(ASV)을 출력한다.
제1 애플리케이션(110)은 카메라(130)의 Ack 신호에 응답하여 영상 처리 엔진(150)으로 영상 인식 개시 신호를 전송한다. 영상 처리 엔진(150)은 제1 애플리케이션(110)의 영상 인식 개시 신호에 응답하여 활동 영역 영상(ASV)에 대한 영상 인식을 수행한다.
영상 처리 엔진(150)은 영상 인식에 대한 결과로 표지 이미지, 페이지 이미지 및 마커 이미지 등을 생성한다.
영상 처리 엔진(150)은 영상 인식을 통해 활동 영역 영상(ASV) 중에서 도서 객체의 표지가 촬영된 제1 영역(A1)을 검출하여 표지 이미지(즉, 도서 표지)를 생성한다. 영상 처리 엔진(150)은 영상 인식을 통해 활동 영역 영상(ASV) 중에서 도서 객체의 표지가 촬영된 제1 영역(A1)을 검출하고, 검출한 제1 영역(A1)을 표지 이미지(즉, 도서 표지)로 생성한다.
영상 처리 엔진(150)은 영상 인식을 통해 활동 영역 영상(ASV) 중에서 도서 객체의 페이지 촬영된 제1 영역(A1)을 검출하여 페이지 이미지를 생성한다. 영상 처리 엔진(150)은 영상 인식을 통해 활동 영역 영상(ASV) 중에서 도서 객체의 페이지가 촬영된 제1 영역(A1)을 검출하고, 검출한 제1 영역(A1)을 페이지 이미지로 생성한다.
영상 처리 엔진(150)은 영상 인식을 통해 활동 영역 영상(ASV) 중에서 도서 객체 상에 배치된 제2 디바이스(200)가 촬영된 영역을 검출한다. 영상 처리 엔진(150)은 검출한 영역 중에서 제2 디바이스(200)에 표시된 마커 이미지가 촬영된 영역을 검출하여 마커 이미지로 생성한다. 이때, 영상 처리 엔진(150)은 검출한 마커 이미지의 디스플레이 좌표를 함께 검출할 수 있다.
영상 처리 엔진(150)은 표지 이미지, 페이지 이미지 및 마커 이미지 등을 생성한 후 메모리(180)로 이미지 임시 저장 요청 신호를 전송하고, 제1 프로세서(120)로 이미지 확인 요청 신호를 전송한다. 여기서, 영상 처리 엔진(150)은 각각의 이미지를 생성할 때마다 이미지 임시 저장 요청 신호 및 이미지 확인 요청 신호를 전송한다.
메모리(180)는 영상 처리 엔진(150)의 이미지 임시 저장 요청 신호에 응답하여 영상 처리 엔진(150)에서 생성된 표지 이미지, 페이지 이미지 및 마커 이미지 등을 임시 저장한다. 이때, 메모리(180)는 영상 처리 엔진(150)에서 검출한 디스플레이 좌표를 마커 이미지와 연계하여 임시 저장할 수도 있다.
제1 프로세서(120)는 영상 처리 엔진(150)의 이미지 확인 요청 신호에 응답하여 도서 식별자, 도서 페이지를 검출한다. 제1 프로세서(120)는 영상 처리 엔진(150)의 이미지 확인 요청 신호에 응답하여 메모리(180)에 임시 저장된 이미지를 검출한다. 제1 프로세서(120)는 검출한 이미지가 표지 이미지 및 페이지 이미지이면 도서 식별자, 도서 페이지를 검출한다.
제1 프로세서(120)는 메모리(180)에 저장된 표지 이미지를 포함한 도서 식별 요청 신호를 생성하여 제1 통신 모듈(160)로 전송한다. 제1 통신 모듈(160)은 제1 프로세서(120)의 도서 식별 요청 신호에 응답하여 도서 식별 요청 신호를 지원 서버(300)로 전송한다. 제1 통신 모듈(160)은 도서 식별 요청 신호에 대한 응답 신호를 수신하여 제1 프로세서(120)로 전송한다. 제1 프로세서(120)는 제1 통신 모듈(160)로부터 수신한 응답 신호로부터 도서 식별자를 검출한다.
제1 프로세서(120)는 메모리(180)에 저장된 페이지 이미지를 포함한 페이지 인식 요청 신호를 생성하여 영상 처리 엔진(150)으로 전송한다. 영상 처리 엔진(150)은 제1 프로세서(120)의 페이지 인식 요청 신호에 응답하여 페이지 인식 요청 신호로부터 페이지 이미지를 검출한다. 영상 처리 엔진(150)은 페이지 이미지에 대한 영상분석을 통해 페이지 이미지에 포함된 페이지를 인식하고, 이를 도서 페이지로 검출한다. 영상 처리 엔진(150)은 도서 페이지를 포함한 응답 신호를 제1 프로세서(120)로 전송한다. 제1 프로세서(120)는 응답 신호로부터 도서 페이지를 검출한다.
제1 프로세서(120)는 도서 식별자, 도서 페이지의 검출을 완료한 후 도서 식별자 및/또는 도서 페이지를 근거로 마커 이미지를 검출한다.
제1 프로세서(120)는 도서 식별자의 검출을 완료한 후에 도서 식별자를 포함한 마커 검출 요청 쿼리를 생성한다. 제1 프로세서(120)는 마커 검출 요청 쿼리를 제1 내부 저장소(170)로 전송한다. 제1 내부 저장소(170)는 제1 프로세서(120)의 마커 검출 요청 쿼리에 응답하여 마커 검출 요청 쿼리로부터 도서 식별자를 검출한다. 제1 내부 저장소(170)는 기 저장된 마커 정보 중에서 마커 검출 요청 쿼리로부터 검출한 도서 식별자와 연계된 하나 이상의 마커 이미지를 검출한다. 제1 내부 저장소(170)는 검출한 하나 이상의 마커 이미지를 포함한 응답 신호를 생성하여 제1 프로세서(120)로 전송한다. 제1 프로세서(120)는 제1 내부 저장소(170)의 응답 신호로부터 하나 이상의 마커 이미지를 검출한다.
제1 프로세서(120)는 도서 식별자 및 도서 페이지의 검출을 완료한 후에 도서 식별자 및 도서 페이지를 포함한 마커 검출 요청 쿼리를 생성할 수도 있다. 제1 프로세서(120)는 마커 검출 요청 쿼리를 제1 내부 저장소(170)로 전송한다.
제1 내부 저장소(170)는 제1 프로세서(120)의 마커 검출 요청 쿼리에 응답하여 마커 검출 요청 쿼리로부터 도서 식별자 및 도서 페이지를 검출한다. 제1 내부 저장소(170)는 기 저장된 마커 정보 중에서 마커 검출 요청 쿼리로부터 검출한 도서 식별자와 연계된 하나 이상의 마커 이미지를 1차 검출한다. 제1 내부 저장소(170)는 1차 검출한 하나 이상의 마커 이미지 중에서 마커 검출 요청 쿼리로부터 검출한 도서 페이지와 연계된 하나 이상의 마커 이미지를 2차 검출한다. 제1 내부 저장소(170)는 2차 검출한 하나 이상의 마커 이미지를 포함한 응답 신호를 생성하여 제1 프로세서(120)로 전송한다. 제1 프로세서(120)는 제1 내부 저장소(170)의 응답 신호로부터 하나 이상의 마커 이미지를 검출한다.
제1 프로세서(120)는 도서 식별자의 검출을 완료한 후에 도서 식별자를 포함한 마커 검출 요청 신호를 제1 통신 모듈(160)로 전송한다. 제1 프로세서(120)는 도서 식별자 및 도서 페이지의 검출을 완료한 후에 도서 식별자 및 도서 페이지를 포함한 마커 검출 요청 신호를 제1 통신 모듈(160)로 전송할 수도 있다. 제1 통신 모듈(160)은 제1 프로세서(120)의 마커 검출 요청 신호에 응답하여 마커 검출 요청 신호를 지원 서버(300)로 전송한다. 제1 통신 모듈(160)은 마커 검출 요청 신호에 대한 지원 서버(300)의 응답 신호를 수신하여 제1 프로세서(120)로 전송한다. 제1 프로세서(120)는 제1 통신 모듈(160)의 응답 신호로부터 하나 이상의 마커 이미지를 검출한다.
제1 프로세서(120)는 도서 식별자, 도서 페이지 및 마커 이미지의 검출 결과를 근거로 제2 디바이스(200)로 마커 이미지의 출력을 요청한다.
제1 프로세서(120)는 도서 식별자의 검출을 완료한 후에 도서 식별자를 포함한 마커 출력 요청 신호를 생성하여 제1 통신 모듈(160)로 전송한다. 제1 프로세서(120)는 도서 식별자 및 도서 페이지의 검출을 완료한 후에 도서 식별자 및 도서 페이지를 포함한 마커 출력 요청 신호를 생성하여 제1 통신 모듈(160)로 전송할 수도 있다. 제1 통신 모듈(160)은 제1 프로세서(120)의 마커 출력 요청 신호에 응답하여 마커 출력 요청 신호를 제2 디바이스(200)로 전송한다.
제1 프로세서(120)는 하나 이상의 마커를 포함한 마커 출력 요청 신호를 생성하여 제1 통신 모듈(160)로 전송한다. 제1 통신 모듈(160)은 제1 프로세서(120)의 마커 출력 요청 신호에 응답하여 마커 출력 요청 신호를 제2 디바이스(200)로 전송한다.
제1 프로세서(120)는 영상 처리 엔진(150)의 이미지 확인 요청 신호에 응답하여 상호작용 컨텐츠를 검출한다. 제1 프로세서(120)는 영상 처리 엔진(150)의 이미지 확인 요청 신호에 응답하여 메모리(180)에 임시 저장된 이미지를 검출한다. 제1 프로세서(120)는 검출한 이미지가 마커 이미지이면 마커 이미지에 대응하는 상호작용 컨텐츠를 검출한다.
제1 프로세서(120)는 메모리(180)에 저장된 마커 이미지와 기 검출한 도서 식별자 및 도서 페이지를 포함한 컨텐츠 검출 요청 쿼리를 생성하여 제1 내부 저장소(170)로 전송한다. 제1 내부 저장소(170)는 제1 프로세서(120)의 컨텐츠 검출 요청 쿼리에 응답하여 컨텐츠 검출 요청 쿼리로부터 마커 이미지, 도서 식별자 및 도서 페이지를 검출한다. 제1 내부 저장소(170)는 기 저장된 상호작용 컨텐츠 중에서 컨텐츠 검출 요청 쿼리로부터 검출한 마커 이미지와 도서 식별자 및 도서 페이지에 연계된 상호작용 컨텐츠를 검출한다. 제1 내부 저장소(170)는 검출한 상호작용 컨텐츠를 포함한 응답 신호를 생성하여 제1 프로세서(120)로 전송한다. 제1 프로세서(120)는 제1 내부 저장소(170)의 응답 신호로부터 상호작용 컨텐츠를 검출한다.
제1 프로세서(120)는 메모리(180)에 저장된 마커 이미지와 기 검출한 도서 식별자 및 도서 페이지를 포함한 컨텐츠 검출 요청 쿼리를 생성하여 제1 통신 모듈(160)로 전송한다. 제1 통신 모듈(160)은 제1 프로세서(120)의 컨텐츠 검출 요청 쿼리에 응답하여 컨텐츠 검출 요청 쿼리를 지원 서버(300)로 전송한다. 제1 통신 모듈(160)은 컨텐츠 검출 요청 쿼리에 대한 응답 신호를 지원 서버(300)로부터 수신하여 제1 프로세서(120)로 전송한다. 제1 프로세서(120)는 응답 신호로부터 상호작용 컨텐츠를 검출한다.
제1 프로세서(120)는 상호작용 컨텐츠를 검출한 후에 제1 디스플레이(140)로 컨텐츠 출력 요청 신호를 출력한다.
제1 프로세서(120)는 검출한 상호작용 컨텐츠를 포함한 컨텐츠 출력 요청 신호를 생성한다. 제1 프로세서(120)는 검출한 상호작용 컨텐츠와 마커 이미지의 디스플레이 좌표를 포함한 컨텐츠 출력 요청 신호를 생성할 수도 있다. 제1 프로세서(120)는 컨텐츠 출력 요청 신호를 제1 디스플레이(140)로 전송한다.
제1 디스플레이(140)는 제1 프로세서(120)의 컨텐츠 출력 요청 신호에 응답하여 상호작용 컨텐츠를 출력한다. 제1 디스플레이(140)는 활동 영역 영상(ASV)에 상호작용 컨텐츠가 오버랩 되도록 출력한다. 이때, 제1 디스플레이(140)는 상호작용 컨텐츠를 출력하되, 디스플레이 좌표에 대응하는 위치에 상호작용 컨텐츠를 출력할 수도 있다. 그에 따라, 상호작용 컨텐츠는 제2 디바이스(200; 또는 제2 디바이스(200)에 표시된 마커 이미지)에 오버랩 된다.
제1 프로세서(120)는 제1 시점의 활동 영역 영상(ASV)에 대한 영상 인식 모듈의 영상 분석 결과와 제2 시점의 활동 영역 영상(ASV)에 대한 영상 인식 모듈의 영상 분석 결과를 비교하여 마커 이탈 여부를 판단한다. 여기서, 제2 시점은 제1 시점 이후의 시점인 것을 일례로 한다.
제1 프로세서(120)는 제1 시점의 활동 영역 영상(ASV)에 대한 영상 인식 모듈의 영상 분석 결과인 제1 마커 이미지의 제1 디스플레이(140) 좌표를 메모리(180)로부터 검출한다. 제1 프로세서(120)는 제1 디스플레이(140) 좌표가 활동 영역 영상(ASV) 중에서 도서 컨텐츠가 표시된 제1 영역(A1)에 포함되면 마커 이탈 감지를 개시한다.
마커 이탈 감지를 개시한 후, 제1 프로세서(120)는 제2 시점의 활동 영역 영상(ASV)에 대한 영상 인식 모듈의 영상 분석 결과인 제1 마커 이미지의 제2 디스플레이 좌표를 메모리(180)로부터 검출한다. 제1 프로세서(120)는 제2 디스플레이 좌표가 존재하지 않으면 제1 마커 이미지의 이탈로 감지한다. 즉, 제2 디스플레이 좌표가 존재하지 않으면 제1 마커 이미지가 활동 영역 영상(ASV)에서 인식되지 않은 상태이므로, 제1 프로세서(120)는 제1 마커 이미지의 이탈로 감지한다.
즉, 도 4를 참조하면, 제1 프로세서(120)는 제1 마커 이미지(MI#1)가 제1 시점에서 활동 영역 영상(ASV)의 제1 영역(A1)에서 감지된 후 제2 시점에서 활동 영역 영상(ASV)에서 제1 마커 이미지(MI#1)가 감지되지 않으면 제1 마커 이미지(MI#1)의 이탈로 감지한다.
제1 프로세서(120)는 제2 디스플레이 좌표가 활동 영역 영상(ASV)의 제2 영역(A2)에 포함되면 마커 이탈로 감지한다. 즉, 제1 프로세서(120)는 제1 마커 이미지(MI#1)가 제1 시점에서 활동 영역 영상(ASV)의 제1 영역(A1)에서 감지된 후 제2 시점에서 활동 영역 영상(ASV)의 제2 영역(A2)에서 감지되면 제1 마커 이미지(MI#1)의 이탈로 감지한다. 이때, 제2 영역(A2)은 활동 영역 영상(ASV) 중에서 도서 컨텐츠가 표시된 제1 영역(A1)의 주변에 위치한 영역으로, 도서 컨텐츠가 표시되지 않은 영역이다.
즉, 도 5를 참조하면, 제1 프로세서(120)는 제1 시점에서 활동 영역 영상(ASV)의 제1 영역(A1)에서 감지된 마커 이미지가 제2 시점에서 활동 영역 영상(ASV)의 제2 영역(A2)에서 감지되면 마커 이탈로 감지한다.
제1 프로세서(120)는 마커 이탈로 감지하면 마커 이미지 및/또는 마커 식별자를 포함한 마커 교체 요청 신호를 생성하여 제1 통신 모듈(160)로 전송한다. 제1 통신 모듈(160)은 제1 프로세서(120)의 마커 교체 요청 신호에 응답하여 제2 디바이스(200)로 마커 교체 요청 신호를 전송한다.
제1 프로세서(120)는 제2 디바이스(200)로부터 진행도 제공 요청 신호에 응답하여 진행도를 산출한다. 제1 프로세서(120)는 제2 디바이스(200)의 진행도 제공 요청 신호에 응답하여 마커 진행도, 페이지 진행도 중에서 하나 이상을 포함한 진행도를 산출한다. 제1 프로세서(120)는 산출한 진행도를 포함한 응답 신호를 생성하여 제1 통신 모듈(160)로 전송한다.
제1 프로세서(120)는 제2 디바이스(200)의 진행도 제공 요청 신호에 응답하여 마커 진행도를 산출한다.
제1 프로세서(120)는 제2 디바이스(200)의 진행도 제공 요청 신호에 응답하여 진행도 제공 요청 신호로부터 도서 식별자를 검출한다. 제1 프로세서(120)는 진행도 제공 요청 신호로부터 검출한 도서 식별자와 동일한 도서 식별자 연계된 마커 식별자 및 도서 페이지를 검출한다.
이때, 제1 프로세서(120)는 쿼리 생성을 통해 제1 내부 저장소(170)로부터 마커 식별자 및 도서 페이지를 검출할 수 있다.
제1 프로세서(120)는 제1 통신 모듈(160)을 통해 도서 식별자를 포함한 검출 요청 신호를 지원 서버(300)로 전송하고, 검출 요청 신호에 대한 지원 서버(300)의 응답 신호로부터 마커 식별자 및 도서 페이지를 검출할 수도 있다.
제1 프로세서(120)는 진행도 제공 요청 신호로부터 도서 식별자 및 마커 식별자(또는 마커 이미지)를 검출할 수도 있다. 제1 프로세서(120)는 제공 요청 신호로부터 검출한 도서 식별자 및 마커 식별자와 동일한 도서 식별자 및 마커 식별자와 연계된 도서 페이지를 검출한다.
제1 프로세서(120)는 마커 이미지가 연계된 전체 페이지 수와 마커 이미지와 연계된 상호작용 컨텐츠가 출력된 페이지 수의 비율을 마커 진행도로 산출한다. 일례로, 도서 객체에 제1 마커 이미지 및 제2 마커 이미지가 연계되고, 제1 마커 이미지가 20페이지에 연계되고, 제2 마커 이미지가 대략 40페이지에 연계된 것으로 가정한다. 제1 마커 이미지가 10페이지에서 사용된 경우, 제1 프로세서(120)는 대략 50%를 제1 마커 이미지의 마커 진행도로 산출한다. 제2 마커 이미지가 5페이지에서 사용된 경우, 제1 프로세서(120)는 대략 12.5%를 제2 마커 이미지의 마커 진행도로 산출한다.
제1 프로세서(120)는 마커 이미지가 연계된 상호작용 컨텐츠들의 총 출력 시간과 마커 이미지와 연계된 상호작용 컨텐츠가 출력된 시간의 비율을 마커 진행도로 산출할 수 있다. 일례로, 제1 마커 이미지가 도서 객체의 2페이지에 연계되고, 제1 마커 이미지 및 제1 페이지에 출력 시간이 대략 60초인 제1 상호작용 컨텐츠가 연계되고, 제1 마커 이미지 및 제2 페이지에 출력 시간이 대략 30초인 제2 상호작용 컨텐츠가 연계된 것으로 가정한다. 제1 상호작용 컨텐츠가 30초 정도 출력된 경우, 제1 프로세서(120)는 대략 33.3% 정도를 제1 마커 이미지의 마커 진행도로 산출한다.
제1 프로세서(120)는 제2 디바이스(200)의 진행도 제공 요청 신호에 응답하여 페이지 진행도를 산출한다. 제1 프로세서(120)는 도서 객체의 각 페이지에 연계된 상호작용 컨텐츠의 진행 정도를 페이지 진행도로 산출한다.
제1 프로세서(120)는 진행도 제공 요청 신호로부터 도서 식별자 및 도서 페이지를 검출한다. 제1 프로세서(120)는 검출한 도서 식별자 및 도서 페이지를 포함한 마커 식별자 검출 요청 쿼리를 생성하여 제1 내부 저장소(170)로 전송한다.
제1 내부 저장소(170)는 제1 프로세서(120)의 마커 식별자 검출 요청 쿼리에 응답하여 마커 식별자 검출 요청 쿼리로부터 도서 식별자 및 도서 페이지를 검출한다. 제1 내부 저장소(170)는 기 저장된 마커 정보 중에서 검출한 도서 식별자에 연계된 마커 식별자를 1차 검출한다. 제1 내부 저장소(170)는 1차 검출한 마커 식별자 중에서 마커 식별자 검출 요청 쿼리로부터 검출한 도서 페이지에 연계된 마커 식별자를 2차 검출한다. 제1 내부 저장소(170)는 2차 검출한 마커 식별자에 연계된 컨텐츠 식별자를 검출한다. 제1 내부 저장소(170)는 검출한 컨텐츠 식별자의 출력 시간(재생 시간)을 검출한다. 제1 내부 저장소(170)는 검출한 출력 시간들을 포함한 응답 신호를 생성하여 제1 프로세서(120)로 전송한다.
제1 프로세서(120)는 제1 내부 저장소(170)의 응답 신호에 응답하여 응답 신호로부터 출력 시간들을 검출한다. 제1 프로세서(120)는 검출한 출력 시간들의 총합을 페이지에 연계된 상호작용 컨텐츠의 총 출력 시간으로 산출한다. 제1 프로세서(120)는 페이지에 연계된 상호작용 컨텐츠 중에서 출력된 상호작용 컨텐츠의 출력 시간을 산출한다. 제1 프로세서(120)는 페이지에 연계된 상호작용 컨텐츠의 총 출력 시간과 상호작용 컨텐츠가 출력된 시간의 비율을 페이지 진행도로 산출한다.
일례로, 제1 도서 객체의 제1 페이지에 제1 마커 이미지 및 제2 마커 이미지가 연계되고, 제1 마커 이미지 및 제2 마커 이미지에 동일한 출력 시간(재생 시간)을 갖는 상호작용 컨텐츠가 연계된 것으로 가정한다. 제1 마커 이미지에 연계된 상호작용 컨텐츠의 출력이 완료된 경우, 제1 프로세서(120)는 대략 50% 정도를 페이지 진행도로 산출한다.
다른 일례로, 제1 도서 객체의 제1 페이지에 제1 마커 이미지 및 제2 마커 이미지가 연계되고, 제1 마커 이미지에 연계된 상호작용 컨텐츠의 출력 시간이 대략 60초이고, 제2 마커 이미지에 연계된 상호작용 컨텐츠의 출력 시간이 대략 90초인 것으로 가정한다. 제1 마커 이미지에 연계된 상호작용 컨텐츠의 출력이 완료된 경우, 제1 프로세서(120)는 대략 40% 정도를 페이지 진행도로 산출한다.
제1 디바이스(100)는 진행도를 산출한 후에 마커 진행도 및/또는 페이지 진행도를 포함한 응답 신호를 생성하여 제1 통신 모듈(160)로 전송한다. 제1 통신 모듈(160)은 제1 디바이스(100)의 응답 신호에 응답하여 진행도 제공 요청 신호에 대한 응답으로 생성한 응답 신호를 제2 디바이스(200)로 전송한다.
제2 디바이스(200)는 디스플레이 기능 및 통신 기능을 갖는 단말기로 구성된다. 제2 디바이스(200)는 마커 표시 기능을 위해 제작된 특수 단말기로 구성되거나, 스마트폰 등과 같이 디스플레이 및 통신이 가능한 일반적인 단말기로 구성될 수 있다.
제2 디바이스(200)는 제1 디바이스(100)의 마커 출력 요청 신호에 응답하여 하나 이상의 마커 이미지를 출력한다.
제2 디바이스(200)는 제1 디바이스(100)의 마커 출력 요청 신호에 응답하여 내부 메모리(180)로부터 마커 이미지를 검출한다. 제2 디바이스(200)는 마커 출력 요청 신호로부터 도서 식별자를 검출한다. 제2 디바이스(200)는 내부 메모리(180)에 도서 식별자와 연계된 마커 이미지들을 저장하고, 마커 출력 요청 신호로부터 검출한 도서 식별자에 연계된 하나 이상의 마커 이미지를 검출한다. 이때, 제2 디바이스(200)는 마커 출력 요청 신호로부터 도서 식별자 및 도서 페이지를 검출하고, 도서 식별자 및 도서 페이지에 연계된 하나 이상의 마커 이미지를 내부 메모리(180)로부터 검출할 수도 있다.
제2 디바이스(200)는 제1 디바이스(100)의 마커 출력 요청 신호에 응답하여 지원 서버(300)로부터 마커 이미지를 검출할 수도 있다. 즉, 제2 디바이스(200)는 마커 출력 요청 신호로부터 검출한 도서 식별자를 포함한 마커 검출 요청 신호를 생성한다. 이때, 제2 디바이스(200)는 마커 출력 요청 신호로부터 도서 식별자 및 도서 페이지를 검출하고, 도서 식별자 및 도서 페이지를 포함한 마커 검출 요청 신호를 지원 서버(300)로 전송할 수도 있다. 제2 디바이스(200)는 마커 검출 요청 신호를 지원 서버(300)로 전송한다. 제2 디바이스(200)는 지원 서버(300)로부터 마커 검출 요청 신호에 대한 응답을 수신하고, 응답으로부터 하나 이상의 마커 이미지를 검출한다.
제2 디바이스(200)는 제1 디바이스(100)의 마커 출력 요청 신호에 응답하여 마커 출력 요청 신호로부터 마커 이미지를 검출할 수도 있다. 즉, 제2 디바이스(200)는 제1 디바이스(100)의 마커 검출 요청 신호로부터 하나 이상의 마커 이미지를 검출한다.
제2 디바이스(200)는 내부 메모리(180), 지원 서버(300), 마커 출력 요청 신호 중에서 하나로부터 검출한 하나 이상의 마커 이미지를 출력한다.
도서 객체의 한 페이지에 하나의 마커 이미지가 연계된 경우, 제2 디바이스(200)는 하나의 마커 이미지를 검출하고, 검출된 마커 이미지를 출력한다.
도서 객체의 한 페이지에 둘 이상의 마커 이미지가 연계된 경우, 제2 디바이스(200)는 둘 이상의 마커 이미지를 검출한다. 제2 디바이스(200)는 검출한 둘 이상의 마커 이미지의 우선 순위를 검출하고, 검출한 우선 순위에 따라 둘 이상의 마커 이미지를 출력한다. 제2 디바이스(200)는 마커 이미지에 대응하는 상호작용 컨텐츠의 출력이 완료된 후 다음 우선 순위의 마커 이미지를 출력한다.
이때, 제2 디바이스(200)는 제1 디바이스(100) 또는 제2 디바이스(200)를 통한 사용자의 조작에 의해 다음 우선 순위의 마커 이미지를 출력할 수 있다. 제2 디바이스(200)는 제1 디바이스(100)의 마커 교체 요청 신호에 응답하여 다음 우선 순위의 마커 이미지를 출력할 수도 있다.
도서 객체에 연계된 복수의 마커 이미지가 검출된 경우, 제2 디바이스(200)는 복수의 마커 이미지를 동시에 출력한다. 제2 디바이스(200)는 사용자에 의해 입력된 선택 정보에 대응하는 마커 이미지를 출력한다.
선택 정보에 대응하는 마커 이미지가 복수의 페이지에 연계된 경우, 제2 디바이스(200)는 마커 이미지를 출력하기 전에 각 마커 이미지에 대응하는 도서 정보를 출력할 수도 있다. 여기서, 도서 정보는 마커가 사용되는 소제목, 페이지(들) 등을 포함한 것을 일례로 한다. 이때, 제2 디바이스(200)는 사용자가 선택한 마커 이미지가 사용되는 페이지로 이동하도록 유도하는 화면을 출력할 수도 있다. 제2 디바이스(200)는 사용자가 선택한 마커 이미지가 사용되는 페이지로 이동하도록 유도하는 화면을 출력하도록 제1 디바이스(100)에 요청 신호할 수도 있다.
이를 통해, 본 발명의 실시 예에 따른 독서 지원 시스템은 사용자가 원하는 마커 이미지와 페이지를 선택적으로 독서할 수 있도록 한다. 즉, 독서 지원 시스템은 사용자가 선택한 마커 이미지만 연속적으로 사용하여 독서할 수 있도록 한다.
제2 디바이스(200)는 사용자의 진행도 출력 요청 신호에 응답하여 진행도를 출력할 수 있다. 제2 디바이스(200)는 진행도 출력 요청 신호에 응답하여 제1 디바이스(100)로 진행도 제공 요청 신호를 출력한다. 제2 디바이스(200)는 도서 식별자 및 마커 식별자를 포함한 진행도 제공 요청 신호를 출력하거나, 도서 식별자를 포함한 진행도 제공 요청 신호를 출력할 수 있다. 제2 디바이스(200)는 진행도 제공 요청 신호에 대한 응답 신호를 수신하고, 응답 신호로부터 진행도를 검출하여 출력한다. 여기서, 진행도는 마커 진행도, 페이지 진행도 중에서 적어도 하나의 진행도인 것을 일례로 한다.
이를 통해, 본 발명의 실시 예에 따른 독서 지원 시스템은 사용자가 도서 객체 및/또는 페이지에 대한 독서 진행 상태를 확인할 수 있도록 한다.
제2 디바이스(200)는 복수의 마커가 필요한 경우 사용자가 선택한 마커 이미지를 출력하도록 구성될 수도 있다. 즉, 제2 디바이스(200)는 마커 이미지 출력 요청 신호가 입력되면 해당 마커 이미지를 외부의 프린터로 전송하여 마커 이미지를 출력한다.
도 6를 참조하면, 제2 디바이스(200)는 제2 애플리케이션(210), 제2 프로세서(220), 제2 통신 모듈(230), 제2 디스플레이(240), 제2 내부 저장소(250)를 포함하여 구성된다.
사용자는 독서 지원 서비스를 이용하기 위해 제2 디바이스(200)에 설치된 제2 애플리케이션(210)을 구동한다. 즉, 사용자는 제2 디바이스(200)를 구동 시킨 후에 터치, 클릭 더블 클릭 등의 조작을 통해 독서 지원 서비스를 지원하는 제2 애플리케이션(210)을 실행한다.
제2 애플리케이션(210)은 사용자의 조작에 의해 활성화(실행)되어 통신 개시 요청 신호를 제2 통신 모듈(230)로 출력한다. 제2 통신 모듈(230)은 제2 애플리케이션(210)의 통신 개시 요청 신호에 응답하여 제1 디바이스(100)와의 통신을 개시한다.
제2 통신 모듈(230)은 제1 디바이스(100)의 마커 출력 요청 신호에 응답하여 마커 출력 요청 신호를 제2 프로세서(220)로 전송한다.
제2 프로세서(220)는 제2 통신 모듈(230)의 마커 출력 요청 신호에 응답하여 마커 출력 요청 신호로부터 도서 식별자를 검출한다. 제2 프로세서(220)는 검출한 도서 식별자를 포함한 마커 검출 요청 쿼리를 생성하여 제2 내부 저장소(250)로 전송한다. 제2 내부 저장소(250)는 제2 프로세서(220)의 마커 검출 요청 쿼리로부터 도서 식별자를 검출한다. 제2 내부 저장소(250)는 기 저장된 마커 정보 중에서 마커 검출 요청 쿼리로부터 검출한 도서 식별자와 연계된 하나 이상의 마커 이미지를 검출한다. 제2 내부 저장소(250)는 검출한 하나 이상의 마커 이미지를 포함한 응답 신호를 생성하여 제2 프로세서(220)로 전송한다. 제2 프로세서(220)는 제2 내부 저장소(250)의 응답 신호로부터 하나 이상의 마커 이미지를 검출한다.
제2 프로세서(220)는 제2 통신 모듈(230)의 마커 출력 요청 신호에 응답하여 마커 출력 요청 신호로부터 도서 식별자 및 도서 페이지를 검출한다. 제2 프로세서(220)는 검출한 도서 식별자 및 도서 페이지를 포함한 마커 검출 요청 쿼리를 생성하여 제2 내부 저장소(250)로 전송한다. 제2 내부 저장소(250)는 제2 프로세서(220)의 마커 검출 요청 쿼리로부터 도서 식별자 및 도서 페이지를 검출한다. 제2 내부 저장소(250)는 기 저장된 마커 정보 중에서 마커 검출 요청 쿼리로부터 검출한 도서 식별자와 연계된 하나 이상의 마커 이미지를 1차 검출한다. 제2 내부 저장소(250)는 1차 검출한 하나 이상의 마커 이미지 중에서 마커 검출 요청 쿼리로부터 검출한 도서 페이지와 연계된 하나 이상의 마커 이미지를 2차 검출한다. 제2 내부 저장소(250)는 2차 검출한 하나 이상의 마커 이미지를 포함한 응답 신호를 생성하여 제2 프로세서(220)로 전송한다. 제2 프로세서(220)는 제2 내부 저장소(250)의 응답 신호로부터 하나 이상의 마커 이미지를 검출한다.
제2 프로세서(220)는 도서 식별자를 포함한 마커 검출 요청 신호를 생성하여 제1 통신 모듈(160)로 전송한다. 제2 프로세서(220)는 도서 식별자 및 도서 페이지를 포함한 마커 검출 요청 신호를 생성하여 제1 통신 모듈(160)로 전송할 수도 있다. 제1 통신 모듈(160)은 제2 프로세서(220)의 마커 검출 요청 신호에 응답하여 마커 검출 요청 신호를 지원 서버(300)로 전송한다. 제1 통신 모듈(160)은 지원 서버(300)의 응답 신호에 응답하여 응답 신호를 제2 프로세서(220)로 전송한다. 제2 프로세서(220)는 제1 통신 모듈(160)의 응답 신호로부터 하나 이상의 마커 이미지를 검출한다.
제2 프로세서(220)는 제2 통신 모듈(230)의 마커 출력 요청 신호에 응답하여 마커 출력 요청 신호로부터 하나 이상의 마커 이미지를 검출할 수도 있다.
제2 프로세서(220)는 검출한 하나 이상의 마커 이미지를 포함한 마커 표시 요청 신호를 생성하여 제2 디스플레이(240)로 전송한다. 제2 디스플레이(240)는 제2 프로세서(220)의 마커 표시 요청 신호에 응답하여 마커 표시 요청 신호로부터 하나 이상의 마커 이미지를 검출한다. 제2 디스플레이(240)는 검출한 하나 이상의 마커 이미지를 출력한다.
하나의 마커 이미지가 검출되면, 제2 프로세서(220)는 마커 이미지를 포함한 마커 표시 요청 신호를 제2 디스플레이(240)로 전송한다. 제2 디스플레이(240)는 제2 프로세서(220)의 마커 표시 요청 신호에 응답하여 마커 표시 요청 신호로부터 검출한 하나의 마커 이미지를 출력한다.
복수의 마커 이미지가 검출되면, 제2 프로세서(220)는 마커 이미지 및 우선 순위를 포함한 마커 표시 요청 신호를 제2 디스플레이(240)로 전송한다. 제2 디스플레이(240)는 제2 프로세서(220)의 마커 표시 요청 신호에 응답하여 마커 표시 요청 신호로부터 마커 이미지 및 우선 순위를 검출한다. 제2 디스플레이(240)는 우선 순위를 기준으로 복수의 마커 이미지를 순차적으로 출력한다.
이때, 제2 통신 모듈(230)을 통해 제1 디바이스(100)로부터 마커 교체 요청 신호를 수신하면, 제2 프로세서(220)는 마커 교체 요청 신호에 응답하여 다음 우선 순위의 마커 이미지 출력을 요청 신호하는 마커 교체 출력 요청 신호를 제2 디스플레이(240)로 전송한다. 제2 디스플레이(240)는 제2 프로세서(220)의 마커 교체 출력 요청 신호에 응답하여 다음 우선 순위의 마커 이미지를 출력한다.
복수의 마커 이미지가 검출되면, 제2 프로세서(220)는 복수의 마커 이미지를 포함한 마커 표시 요청 신호를 제2 디스플레이(240)로 전송한다. 제2 디스플레이(240)는 제2 프로세서(220)의 마커 표시 요청 신호에 응답하여 마커 표시 요청 신호로부터 복수의 마커 이미지를 검출한다. 제2 디스플레이(240)는 검출한 복수의 마커 이미지를 하나의 화면에(즉, 동시에) 출력한다. 이때, 제2 디스플레이(240)는 디스플레이 영역을 복수의 구역으로 구분하고, 각 구역에 하나의 마커 이미지가 배치(또는 매칭)되도록 복수의 마커 이미지를 출력한다.
제2 디스플레이(240)는 터치 스크린 패널로 구성되어, 터치 스크린 패널의 표면 또는 표면 근처에서 발생하는 객체(예를 들면, 손가락, 터치 펜 등)의 이동을 감지한다. 제2 디스플레이(240)는 객체의 이동을 근거로 복수의 구역 중에서 하나의 구역을 표시 대상 구역으로 검출한다. 제2 디스플레이(240)는 표시 대상 구역으로 검출한 구역에 배치(또는 매칭)된 마커 이미지를 표시 대상으로 검출한다. 제2 디스플레이(240)는 표시 대상 검출이 완료되면 복수의 마커 이미지 출력을 중단하고, 표시 대상으로 검출한 마커 이미지를 출력한다.
일례로, 도 7을 참조하면, 제2 디스플레이(240)는 4개의 마커를 출력하기 위해서 디스플레이 영역을 제1 구역, 제2 구역, 제3 구역 및 제4 구역으로 구분한다. 제2 디스플레이(240)는 디스플레이 영역의 제1 구역에 마커 1의 마커 이미지를 출력한다. 제2 디스플레이(240)는 디스플레이 영역의 제2 구역에 마커 2의 마커 이미지를 출력한다. 제2 디스플레이(240)는 디스플레이 영역의 제3 구역에 마커 3의 마커 이미지를 출력한다. 제2 디스플레이(240)는 디스플레이 영역의 제4 구역에 마커 4의 마커 이미지를 출력한다.
제2 디스플레이(240)는 표면 또는 표면 주면에서 발생하는 손가락의 이동을 감지하고, 사용자가 마커 3이 표시된 영역을 터치하면 제3 구역을 표시 대상 구역을 검출한다. 제2 디스플레이(240)는 표시 대상 구역으로 검출한 제3 구역에 출력된 마커 3의 마커 이미지를 표시 대상으로 검출한다. 제2 디스플레이(240)는 마커 1 내지 마커 4의 마커 이미지들의 출력을 중단하고, 표시 대상으로 검출한 마커 3의 마커 이미지를 출력한다.
복수의 마커 이미지가 검출되면, 제2 프로세서(220)는 복수의 마커 이미지 및 각 마커 이미지와 연계된 도서 정보를 포함한 마커 표시 요청 신호를 제2 디스플레이(240)로 전송한다. 이때, 도서 정보는 마커 이미지가 사용되는 도서 객체의 소제목, 도서 페이지 등을 포함하는 것을 일례로 한다.
제2 디스플레이(240)는 제2 프로세서(220)의 마커 표시 요청 신호에 응답하여 마커 표시 요청 신호로부터 복수의 마커 이미지 및 도서 정보를 검출한다. 제2 디스플레이(240)는 검출한 마커 이미지와 도서 정보를 연계하여 출력한다.
제2 디스플레이(240)는 터치 스크린 패널로 구성되어, 터치 스크린 패널의 표면 또는 표면 근처에서 발생하는 객체(예를 들면, 손가락, 터치 펜 등)의 이동을 감지한다. 제2 디스플레이(240)는 객체의 이동을 근거로 복수의 마커 이미지 중에서 하나를 표시 대상으로 검출한다. 제2 디스플레이(240)는 표시 대상 검출이 완료되면 복수의 마커 이미지 및 도서 정보의 출력을 중단하고, 표시 대상으로 검출한 마커 이미지를 출력한다.
일례로, 도 8을 참조하면, 제2 디스플레이(240)는 마커 1 및 마커 2를 출력하되, 마커가 사용되는 도서 객체의 소제목 및 페이지를 함께 출력한다.
제2 디스플레이(240)는 표면 또는 표면 주면에서 발생하는 손가락의 이동을 감지하고, 사용자가 마커 2이 표시된 영역을 터치하면 마커 2의 마커 이미지를 표시 대상으로 검출한다. 제2 디스플레이(240)는 마커 1 및 마커 2의 마커 이미지들의 출력을 중단하고, 표시 대상으로 검출한 마커 2의 마커 이미지를 출력한다.
사용자는 진행도 확인을 위해 마커 이미지를 출력 중인 제2 디스플레이(240)를 조작하여 진행도 출력 요청 신호를 입력한다. 제2 프로세서(220)는 진행도 출력 요청 신호에 응답하여 진행도 제공 요청 신호를 생성한다. 이때, 제2 프로세서(220)는 도서 식별자 및 마커 식별자를 포함한 진행도 제공 요청 신호를 생성한다. 제2 프로세서(220)는 도서 식별자를 포함한 진행도 제공 요청 신호를 생성할 수도 있다.
제2 프로세서(220)는 진행도 제공 요청 신호를 제2 통신 모듈(230)로 전송한다. 제2 통신 모듈(230)은 제2 프로세서(220)의 진행도 제공 요청 신호에 응답하여 제1 디바이스(100)로 진행도 제공 요청 신호를 전송한다. 제2 통신 모듈(230)은 제1 디바이스(100)로부터 진행도 제공 요청 신호에 대한 응답 신호를 수신하여 제2 프로세서(220)로 전송한다.
제2 프로세서(220)는 제2 통신 모듈(230)의 응답 신호에 응답하여 응답 신호로부터 진행도를 검출한다. 이때, 제2 프로세서(220)는 응답 신호로부터 마커 진행도, 페이지 진행도 중에서 적어도 하나의 진행도를 검출하는 것을 일례로 한다.
제2 프로세서(220)는 진행도를 포함한 진행도 출력 요청 신호를 생성하여 제2 디스플레이(240)로 전송한다. 제2 디스플레이(240)는 제2 프로세서(220)의 진행도 출력 요청 신호에 응답하여 진행도 출력 요청 신호로부터 진행도를 검출하고, 마커 진행도(도 9 참조) 및 페이지 진행도(도 10 참조) 중에 적어도 하나를 포함한 진행도를 출력한다.
지원 서버(300)는 독서 지원 서비스를 제공하는 서버로 구성되며, 도서 정보, 마커 정보 및 컨텐츠 정보를 저장 및 관리한다.
도 11을 참조하면, 지원 서버(300)는 도서 식별자, 도서명 및 표지 이미지를 연계한 도서 정보를 저장한다. 여기서, 도서 식별자는 도서 객체에 부여된 고유 식별자이고, 도서명은 도서 객체의 제목이고, 표지 이미지는 도서 객체의 표지에 대응하는 이미지로, 도서 객체를 촬영한 이미지인 것을 일례로 한다.
도 12를 참조하면, 지원 서버(300)는 마커 식별자, 마커 이미지, 도서 식별자, 소제목, 도서 페이, 컨텐츠 식별자 및 우선 순위를 연계한 마커 정보를 저장한다. 여기서, 마커 식별자는 독서 지원 서비스에 사용되는 마커 이미지에 부여된 고유 식별자이고, 마커 이미지는 제1 디바이스(100)에 출력된 상호작용 컨텐츠를 설정하기 위해 정의된 이미지이고, 소제목은 도서 객체의 본문을 복수의 구역으로 구분하기 위해 설정된 것으로 마커 이미지가 사용되는 페이지가 포함된 구역의 제목이고, 도서 페이지는 도서 객체의 페이지 번호로 마커 이미지가 사용되는 페이지 번호이고, 컨텐츠 식별자는 마커 이미지에 연계된 상호작용 컨텐츠의 고유 식별자이고, 우선 순위는 동일한 도서 객체 및 페이지에 사용되는 마커 이미지들에 각각 부여되는 출력 순서인 것을 일례로 한다.
도 13을 참조하면, 지원 서버(300)는 컨텐츠 식별자, 상호작용 컨텐츠 및 출력 시간(재생 시간)을 연계한 컨텐츠 정보를 저장한다. 여기서, 컨텐츠 식별자는 상호작용 컨텐츠에 부여된 고유 식별자이고, 상호작용 컨텐츠를 제1 디바이스(100)에서 출력될 컨텐츠이고, 출력 시간(재생 시간)은 상호작용 컨텐츠가 제1 디바이스(100)에 출력되는 시작 시점부터 종료 시점까지의 시간인 것을 일례로 한다. 이때, 상호작용 컨텐츠는 증강 현실(AR; Augmented Reality) 컨텐츠, 혼합 현실(MR; Mixed Reality) 컨텐츠, 초실감(XR; eXtended Reality) 컨텐츠 등과 같이 실시간 영상(즉, 활동 영역 영상(ASV))에 부가 영상을 출력하는 컨텐츠인 것을 일례로 한다.
지원 서버(300)는 제1 디바이스(100)의 도서 식별 요청 신호에 응답하여 도서 식별자를 검출한다. 지원 서버(300)는 도서 식별자 검출 요청 신호로부터 도서 표지를 검출한다. 지원 서버(300)는 저장된 도서 정보 중에서 도서 표지에 대응하는 표지 이미지에 연계된 도서 식별자를 검출한다. 지원 서버(300)는 검출한 도서 식별자를 포함한 응답 신호를 생성하여 제1 디바이스(100)로 전송한다.
지원 서버(300)는 제1 디바이스(100)의 마커 전송 요청 신호에 응답하여 하나 이상의 마커 이미지를 검출한다. 지원 서버(300)는 마커 전송 요청 신호로부터 도서 식별자 및 도서 페이지를 검출한다. 지원 서버(300)는 저장된 마커 정보 중에서 검출한 도서 식별자 및 도서 페이지에 연계된 하나 이상의 마커 이미지를 검출한다. 지원 서버(300)는 검출한 하나 이상의 마커 이미지를 포함한 응답 신호를 생성하여 제1 디바이스(100)로 전송한다.
지원 서버(300)는 제1 디바이스(100)의 컨텐츠 검출 요청 신호에 응답하여 상호작용 컨텐츠를 검출한다. 지원 서버(300)는 컨텐츠 검출 요청 신호로부터 도서 식별자, 도서 페이지 및 마커 이미지를 검출한다. 지원 서버(300)는 저장된 마커 정보 중에서 검출한 도서 식별자, 도서 페이지 및 마커 이미지에 연계된 컨텐츠 식별자를 검출한다. 지원 서버(300)는 저장된 컨텐츠 정보 중에서 검출한 컨텐츠 식별자에 연계된 상호작용 컨텐츠를 검출한다. 지원 서버(300)는 검출한 상호작용 컨텐츠를 포함한 응답 신호를 생성하여 제1 디바이스(100)로 전송한다.
지원 서버(300)는 제2 디바이스(200)의 마커 전송 요청 신호에 응답하여 복수의 마커 이미지를 검출한다. 지원 서버(300)는 마커 전송 요청 신호로부터 도서 식별자를 검출한다. 지원 서버(300)는 저장된 마커 정보 중에서 검출한 도서 식별자에 연계된 복수의 마커 이미지를 검출한다. 지원 서버(300)는 검출한 복수의 마커 이미지를 포함한 응답 신호를 생성하여 제2 디바이스(200)로 전송한다.
지원 서버(300)는 제2 디바이스(200)의 마커 전송 요청 신호에 응답하여 하나 이상의 마커 이미지를 검출한다. 지원 서버(300)는 마커 전송 요청 신호로부터 도서 식별자 및 도서 페이지를 검출한다. 지원 서버(300)는 저장된 마커 정보 중에서 검출한 도서 식별자 및 도서 페이지에 연계된 하나 이상의 마커 이미지를 검출한다. 지원 서버(300)는 검출한 하나 이상의 마커 이미지를 포함한 응답 신호를 생성하여 제2 디바이스(200)로 전송한다.
도 14를 참조하면, 지원 서버(300)는 도서 정보, 마커 정보, 컨텐츠 정보를 저장하는 데이터베이스와 분리된 서버로 구성되고, 제1 디바이스(100) 및/또는 제2 디바이스(200)의 요청 신호에 따라 도서 정보, 마커 정보, 컨텐츠 정보를 검출하여 제1 디바이스(100) 및/또는 제2 디바이스(200)로 전송하도록 구성될 수도 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예에 따른 독서 지원 방법을 상세하게 설명하기로 한다.
도 15를 참조하면, 제1 디바이스(100), 제2 디바이스(200) 및 지원 서버(300)를 서로 통신이 가능한 상태이다. 사용자는 독서 지원 서비스를 이용하기 위해 제1 디바이스(100) 및 제2 디바이스(200)에 설치된 애플리케이션을 구동한다. 이때, 사용자는 제1 디바이스(100)를 구동시킨 후에 터치, 클릭, 더블 클릭 등의 조작을 통해 독서 지원 서비스를 지원하는 제1 애플리케이션(110)을 실행한다. 사용자는 제2 디바이스(200)를 구동시킨 후에 터치, 클릭, 더블 클릭 등의 조작을 통해 독서 지원 서비스를 지원하는 제2 애플리케이션(210)을 실행한다.
사용자에 의해 활성화된 제1 애플리케이션(110)은 카메라 구동 요청 신호를 제1 프로세서(120)로 출력하고(S11), 제1 프로세서(120)는 제1 애플리케이션(110)의 카메라 구동 요청 신호에 응답하여 촬영 개시 신호를 카메라(130)로 출력한다(S12).
카메라(130)는 제1 프로세서(120)의 촬영 개시 신호에 응답하여 활동 영역의 촬영을 개시한다(S13). 카메라(130)는 활동 영역의 촬영이 정상적으로 수행되면 촬영 개시 신호에 대한 Ack 신호를 제1 애플리케이션(110)으로 전송한다.
카메라(130)는 제1 프로세서(120)의 활동 영역을 촬영한 활동 영역 영상(ASV)을 생성하여 제1 디스플레이(140)로 전송하고(S14), 제1 디스플레이(140)는 카메라(130)로부터 전송받은 활동 영역 영상(ASV)을 출력한다(S15).
제1 애플리케이션(110)은 카메라(130)의 Ack 신호에 응답하여 영상 처리 엔진(150)으로 영상 인식 개시 신호를 전송하고(S16), 영상 처리 엔진(150)은 제1 애플리케이션(110)의 영상 인식 개시 신호에 응답하여 활동 영역 영상(ASV)에 대한 영상 인식을 수행하여 표지 이미지, 페이지 이미지 및 마커 이미지 중에서 적어도 하나의 이미지를 생성한다(S17).
S17 단계에서, 영상 처리 엔진(150)은 영상 인식을 통해 활동 영역 영상(ASV) 중에서 도서 객체의 표지가 촬영된 제1 영역(A1)을 검출하여 표지 이미지(즉, 도서 표지)를 생성한다. 영상 처리 엔진(150)은 영상 인식을 통해 활동 영역 영상(ASV) 중에서 도서 객체의 표지가 촬영된 제1 영역(A1)을 검출하고, 검출한 제1 영역(A1)을 표지 이미지(즉, 도서 표지)로 생성한다.
S17 단계에서, 영상 처리 엔진(150)은 영상 인식을 통해 활동 영역 영상(ASV) 중에서 도서 객체의 페이지 촬영된 제1 영역(A1)을 검출하여 페이지 이미지를 생성한다. 영상 처리 엔진(150)은 영상 인식을 통해 활동 영역 영상(ASV) 중에서 도서 객체의 페이지가 촬영된 제1 영역(A1)을 검출하고, 검출한 제1 영역(A1)을 페이지 이미지로 생성한다.
S17 단계에서, 영상 처리 엔진(150)은 영상 인식을 통해 활동 영역 영상(ASV) 중에서 도서 객체 상에 배치된 제2 디바이스(200)가 촬영된 영역을 검출한다. 영상 처리 엔진(150)은 검출한 영역 중에서 제2 디바이스(200)에 표시된 마커 이미지가 촬영된 영역을 검출하여 마커 이미지로 생성한다. 이때, 영상 처리 엔진(150)은 검출한 마커 이미지의 디스플레이 좌표를 함께 검출할 수 있다.
S17 단계에서 표지 이미지, 페이지 이미지 및 마커 이미지 중에서 적어도 하나의 이미지를 생성한 영상 처리 엔진(150)은 제1 프로세서(120)로 이미지 확인 요청 신호를 전송한다(S18). 영상 처리 엔진(150)은 S17 단계를 통해 이미지를 생성할 때마다 이미지 확인 요청 신호를 전송한다.
한편, S18 단계에서, 영상 처리 엔진(150)은 메모리(180)로 이미지 임시 저장 요청 신호를 전송할 수도 있다. 메모리(180)는 영상 처리 엔진(150)의 이미지 임시 저장 요청 신호에 응답하여 영상 처리 엔진(150)에서 생성된 표지 이미지, 페이지 이미지 및 마커 이미지 등을 임시 저장한다. 이때, 메모리(180)는 S17 단계에서 검출된 마커 이미지의 디스플레이 좌표를 마커 이미지와 연계하여 임시 저장할 수도 있다.
제1 프로세서(120)는 영상 처리 엔진(150)의 이미지 확인 요청 신호에 응답하여 도서 식별자, 도서 페이지 및 마커 이미지 중에 적어도 하나를 검출한다(S19). S19 단계에서, 제1 프로세서(120)는 영상 처리 엔진(150)의 이미지 확인 요청 신호에 응답하여 메모리(180)에 임시 저장된 이미지를 검출한다. 제1 프로세서(120)는 검출한 이미지가 표지 이미지이면 도서 식별자를 검출하고, 검출한 이미지가 페이지 이미지이면 도서 페이지를 검출한다.
도 16을 참조하면, 제1 프로세서(120)는 이미지 검출 요청 쿼리를 메모리(180)로 전송한다(S111).
이미지 검출 요청 쿼리에 대한 메모리(180)의 응답 신호로부터 표지 이미지가 검출되면(S112; 예), 제1 프로세서(120)는 표지 이미지를 포함한 도서 식별 요청 신호를 제1 통신 모듈(160)로 전송한다(S113).
제1 통신 모듈(160)은 제1 프로세서(120)의 도서 식별 요청 신호에 응답하여 도서 식별 요청 신호를 지원 서버(300)로 전송한다(S114).
제1 통신 모듈(160)은 도서 식별 요청 신호에 대한 응답 신호를 수신하여 제1 프로세서(120)로 전송한다(S115).
제1 프로세서(120)는 제1 통신 모듈(160)로부터 수신한 응답 신호로부터 도서 식별자를 검출한다(S116).
이미지 검출 요청 쿼리에 대한 메모리(180)의 응답 신호로부터 페이지 이미지가 검출되면(S121; 예), 제1 프로세서(120)는 페이지 이미지를 포함한 페이지 인식 요청 신호를 생성하여 영상 처리 엔진(150)으로 전송한다(S122).
영상 처리 엔진(150)은 제1 프로세서(120)의 페이지 인식 요청 신호에 응답하여 페이지 인식 요청 신호로부터 페이지 이미지를 검출한다(S123).
영상 처리 엔진(150)은 페이지 이미지에 대한 영상분석을 통해 페이지 이미지에 포함된 페이지를 인식하여 도서 페이지로 검출한다(S124).
영상 처리 엔진(150)은 검출한 도서 페이지를 포함한 응답 신호를 제1 프로세서(120)로 전송하고(S125), 제1 프로세서(120)는 영상 처리 엔진(150)의 응답 신호로부터 도서 페이지를 검출한다(S126).
도 17을 참조하면, 제1 프로세서(120)는 S116 단계에서 검출한 도서 식별자를 포함한 마커 검출 요청 쿼리를 생성하여 제1 내부 저장소(170)로 전송한다(S131).
제1 내부 저장소(170)는 제1 프로세서(120)의 마커 검출 요청 쿼리에 응답하여 마커 검출 요청 쿼리로부터 도서 식별자를 검출한다(S132).
제1 내부 저장소(170)는 기 저장된 마커 정보 중에서 S132 단계에서 검출한 도서 식별자와 연계된 하나 이상의 마커 이미지를 검출한다(S133).
제1 내부 저장소(170)는 S133 단계에서 검출한 하나 이상의 마커 이미지를 포함한 응답 신호를 생성하여 제1 프로세서(120)로 전송한다(S134).
제1 프로세서(120)는 제1 내부 저장소(170)의 응답 신호로부터 하나 이상의 마커 이미지를 검출한다(S135).
도 18을 참조하면, 제1 프로세서(120)는 S116 단계에서 검출한 도서 식별자 및 S126 단계에서 검출한 도서 페이지를 포함한 마커 검출 요청 쿼리를 생성하여 제1 내부 저장소(170)로 전송한다(S141).
제1 내부 저장소(170)는 제1 프로세서(120)의 마커 검출 요청 쿼리에 응답하여 마커 검출 요청 쿼리로부터 도서 식별자 및 도서 페이지를 검출한다(S142).
제1 내부 저장소(170)는 기 저장된 마커 정보 중에서 마커 검출 요청 쿼리로부터 검출한 도서 식별자와 연계된 하나 이상의 마커 이미지를 1차 검출한다(S143).
제1 내부 저장소(170)는 1차 검출한 하나 이상의 마커 이미지 중에서 마커 검출 요청 쿼리로부터 검출한 도서 페이지와 연계된 하나 이상의 마커 이미지를 2차 검출한다(S144).
제1 내부 저장소(170)는 2차 검출한 하나 이상의 마커 이미지를 포함한 응답 신호를 생성하여 제1 프로세서(120)로 전송한다(S145).
제1 프로세서(120)는 제1 내부 저장소(170)의 응답 신호로부터 하나 이상의 마커 이미지를 검출한다(S146).
도 19를 참조하면, 제1 프로세서(120)는 도서 식별자(및 도서 페이지)를 포함한 마커 검출 요청 신호를 제1 통신 모듈(160)로 전송한다(S151).
제1 통신 모듈(160)은 제1 프로세서(120)의 마커 검출 요청 신호에 응답하여 마커 검출 요청 신호를 지원 서버(300)로 전송한다(S152).
제1 통신 모듈(160)은 마커 검출 요청 신호에 대한 지원 서버(300)의 응답 신호를 수신하여 제1 프로세서(120)로 전송한다(S153).
제1 프로세서(120)는 제1 통신 모듈(160)의 응답 신호로부터 하나 이상의 마커 이미지를 검출한다(S154).
제1 프로세서(120)는 제1 통신 모듈(160)로 S19 단계의 검출 결과를 포함한 마커 출력 요청 신호를 생성하여 제1 통신 모듈(160)로 전송한다(S20). 이때, 제1 프로세서(120)는 S19 단계의 검출 결과인 도서 식별자를 포함한 마커 이미지 출력 요청 신호를 생성하여 제1 통신 모듈(160)로 전송한다. 제1 프로세서(120)는 S19 단계의 검출 결과인 도서 식별자 및 도서 페이지를 포함한 마커 이미지 출력 요청 신호를 생성하여 제1 통신 모듈(160)로 전송할 수도 있다. 제1 프로세서(120)는 S19 단계의 검출 결과인 하나 이상의 마커 이미지를 포함한 마커 이미지 출력 요청 신호를 생성하여 제1 통신 모듈(160)로 전송할 수도 있다.
제1 통신 모듈(160)은 제1 프로세서(120)의 마커 출력 요청 신호에 응답하여 마커 출력 요청 신호를 제2 디바이스(200)로 전송한다(S21).
제2 디바이스(200)는 제1 디바이스(100)의 마커 출력 요청 신호에 응답하여 마커 이미지를 출력한다(S22).
한편, 제1 프로세서(120)는 영상 처리 엔진(150)의 이미지 확인 요청 신호(S18 단계)에 응답하여 상호작용 컨텐츠를 검출한다(S23). 제1 프로세서(120)는 영상 처리 엔진(150)의 이미지 확인 요청 신호에 응답하여 메모리(180)에 임시 저장된 마커 이미지에 대응하는 상호작용 컨텐츠를 검출한다.
도 20을 참조하면, 제1 프로세서(120)는 메모리(180)에 저장된 마커 이미지와 S19 단계에서 검출한 도서 식별자 및 도서 페이지를 포함한 컨텐츠 검출 요청 쿼리를 생성한다(S161).
제1 프로세서(120)는 컨텐츠 검출 요청 쿼리를 제1 내부 저장소(170)로 전송한다(S162).
제1 내부 저장소(170)는 제1 프로세서(120)의 컨텐츠 검출 요청 쿼리에 응답하여 컨텐츠 검출 요청 쿼리로부터 마커 이미지, 도서 식별자 및 도서 페이지를 검출한다(S163).
제1 내부 저장소(170)는 기 저장된 상호작용 컨텐츠 중에서 컨텐츠 검출 요청 쿼리로부터 검출한 마커 이미지와 도서 식별자 및 도서 페이지에 연계된 상호작용 컨텐츠를 검출한다(S164).
제1 내부 저장소(170)는 검출한 상호작용 컨텐츠를 포함한 응답 신호를 생성하여 제1 프로세서(120)로 전송한다(S165).
제1 프로세서(120)는 제1 내부 저장소(170)의 응답 신호로부터 상호작용 컨텐츠를 검출한다(S166).
도 21을 참조하면, 제1 프로세서(120)는 메모리(180)에 저장된 마커 이미지와 S19 단계에서 검출한 도서 식별자 및 도서 페이지를 포함한 컨텐츠 검출 요청 쿼리를 생성한다(S171).
제1 프로세서(120)는 컨텐츠 검출 요청 쿼리를 제1 통신 모듈(160)로 전송한다(S172).
제1 통신 모듈(160)은 제1 프로세서(120)의 컨텐츠 검출 요청 쿼리에 응답하여 컨텐츠 검출 요청 쿼리를 지원 서버(300)로 전송한다(S173).
제1 통신 모듈(160)은 지원 서버(300)로부터 컨텐츠 검출 요청 쿼리에 대한 응답 신호를 수신하여 제1 프로세서(120)로 전송한다(S174).
제1 프로세서(120)는 응답 신호로부터 상호작용 컨텐츠를 검출한다(S175).
제1 프로세서(120)는 S22 단계에서 검출한 상호작용 컨텐츠를 포함한 컨텐츠 출력 요청 신호를 제1 디스플레이(140)로 전송한다(S24). 이때, 제1 프로세서(120)는 마커 이미지의 디스플레이 좌표를 더 포함한 컨텐츠 출력 요청 신호를 제1 디스플레이(140)로 전송할 수 있다.
제1 디스플레이(140)는 제1 프로세서(120)의 컨텐츠 출력 요청 신호에 응답하여 상호작용 컨텐츠를 출력한다(S25). 제1 디스플레이(140)는 활동 영역 영상(ASV)에 상호작용 컨텐츠가 오버랩 되도록 출력한다. 이때, 제1 디스플레이(140)는 상호작용 컨텐츠를 출력하되, 디스플레이 좌표에 대응하는 위치에 상호작용 컨텐츠를 출력할 수도 있다. 그에 따라, 상호작용 컨텐츠는 제2 디바이스(200; 또는 제2 디바이스(200)에 표시된 마커 이미지)에 오버랩 된다.
이하 첨부된 도면을 참조하여 도 16에 도시된 마커 이미지 출력 단계(S22)를 상세하게 설명하면 아래와 같다.
도 22를 참조하면, 사용자에 의해 활성화된 제2 애플리케이션(210)은 사용자의 조작에 의해 활성화(실행)되어 통신 개시 요청 신호를 제2 통신 모듈(230)로 전송한다(S211). 제2 통신 모듈(230)은 제2 애플리케이션(210)의 통신 개시 요청 신호에 응답하여 제1 디바이스(100)와의 통신을 개시한다. 제2 통신 모듈(230)은 제1 디바이스(100)의 마커 출력 요청 신호에 응답하여 마커 출력 요청 신호를 제2 프로세서(220)로 전송한다(S212).
제2 프로세서(220)는 제2 통신 모듈(230)의 마커 출력 요청 신호에 응답하여 마커 이미지를 검출한다(S213). 제2 프로세서(220)는 마커 출력 요청 신호에 포함된 도서 식별자, 도서 페이지를 근거로 마커 이미지를 검출할 수 있다. 제2 프로세서(220)는 마커 출력 요청 신호로부터 마커 이미지를 직접 검출할 수도 있다.
도 23을 참조하면, 마커 출력 요청 신호로부터 도서 식별자가 검출되면(S311; 예), 제2 프로세서(220)는 검출한 도서 식별자를 포함한 마커 검출 요청 쿼리를 생성하여 제2 내부 저장소(250)로 전송한다(S312).
제2 내부 저장소(250)는 제2 프로세서(220)의 마커 검출 요청 쿼리로부터 도서 식별자를 검출한다(S313).
제2 내부 저장소(250)는 기 저장된 마커 정보 중에서 마커 검출 요청 쿼리로부터 검출한 도서 식별자와 연계된 하나 이상의 마커 이미지를 검출한다(S314).
제2 내부 저장소(250)는 검출한 하나 이상의 마커 이미지를 포함한 응답 신호를 생성하여 제2 프로세서(220)로 전송하고(S315), 제2 프로세서(220)는 제2 내부 저장소(250)의 응답 신호로부터 하나 이상의 마커 이미지를 검출한다(S316).
마커 출력 요청 신호로부터 도서 식별자 및 도서 페이지가 검출되면(S321; 예), 제2 프로세서(220)는 검출한 도서 식별자 및 도서 페이지를 포함한 마커 검출 요청 쿼리를 생성하여 제2 내부 저장소(250)로 전송한다(S322).
제2 내부 저장소(250)는 제2 프로세서(220)의 마커 검출 요청 쿼리로부터 도서 식별자 및 도서 페이지를 검출한다(S323)
제2 내부 저장소(250)는 기 저장된 마커 정보 중에서 S323 단계에서 검출한 도서 식별자와 연계된 하나 이상의 마커 이미지를 1차 검출한다(S324).
제2 내부 저장소(250)는 1차 검출한 하나 이상의 마커 이미지 중에서 S323 단계에서 검출한 도서 페이지와 연계된 하나 이상의 마커 이미지를 2차 검출한다(S325).
제2 내부 저장소(250)는 2차 검출한 하나 이상의 마커 이미지를 포함한 응답 신호를 생성하여 제2 프로세서(220)로 전송하고(S326), 제2 프로세서(220)는 제2 내부 저장소(250)의 응답 신호로부터 하나 이상의 마커 이미지를 검출한다(S327).
제2 프로세서(220)는 제1 디바이스(100)의 마커 출력 요청 신호로부터 마커 이미지가 검출할 수도 있다(S328).
S213 단계에서, 제2 프로세서(220)는 지원 서버(300)로부터 마커 이미지를 검출할 수도 있다. 제2 프로세서(220)는 도서 식별자를 포함한 마커 검출 요청 신호를 생성하거나, 도서 식별자 및 도서 페이지를 포함한 마커 검출 요청 신호를 생성한다. 제2 프로세서(220)는 마커 검출 요청 신호를 제1 통신 모듈(160)로 전송하고, 제1 통신 모듈(160)은 제2 프로세서(220)의 마커 검출 요청 신호에 응답하여 마커 검출 요청 신호를 지원 서버(300)로 전송한다. 제1 통신 모듈(160)은 지원 서버(300)로부터 마커 검출 요청 쿼리에 대한 응답 신호를 수신하여 제2 프로세서(220)로 전송하고, 제2 프로세서(220)는 제1 통신 모듈(160)의 응답 신호로부터 하나 이상의 마커 이미지를 검출한다.
제2 프로세서(220)는 S213 단계에서 검출한 마커 이미지를 포함한 마커 표시 요청 신호를 생성하여 제2 디스플레이(240)로 전송한다(S214). S213 단계에서 하나의 마커 이미지를 검출하면, 제2 프로세서(220)는 마커 이미지를 포함한 마커 표시 요청 신호를 생성하여 제2 디스플레이(240)로 전송한다. S213 단계에서 복수의 마커 이미지를 검출하면, 제2 프로세서(220)는 복수의 마커 이미지를 포함한 마커 표시 요청 신호를 생성하여 제2 디스플레이(240)로 전송한다. 제2 프로세서(220)는 복수의 마커 이미지 및 우선 순위를 포함한 마커 표시 요청 신호를 생성하여 제2 디스플레이(240)로 전송할 수도 있다.
제2 디스플레이(240)는 제2 프로세서(220)의 마커 표시 요청 신호에 응답하여 마커 이미지를 출력한다(S215). 제2 디스플레이(240)는 마커 표시 요청 신호로부터 마커 이미지를 검출하고, 검출한 마커 이미지를 출력한다.
마커 표시 요청 신호에 복수의 마커 이미지가 포함되면, 제2 디스플레이(240)는 마커 이미지와 우선 순위를 검출하고, 우선 순위에 따라 복수의 마커 이미지를 순차적으로 출력한다.
S215 단계에서, 제2 디스플레이(240)는 마커 표시 요청 신호로부터 하나의 마커 이미지가 검출되면 해당 마커 이미지를 출력하면 되기 때문에 문제가 되지 않는다.
마커 표시 요청 신호로부터 복수의 마커 이미지와 우선 순위가 검출된 경우에도, 제2 디스플레이(240)는 우선 순위에 따라 복수의 마커 이미지를 출력하면 되기 때문에 문제가 되지 않는다.
하지만, 마커 표시 요청 신호로부터 복수의 마커 이미지만 검출된 경우, 제2 디스플레이(240)는 복수의 마커 이미지 중에서 하나의 마커 이미지를 선택해서 출력해야 하는데 기준이 없기 때문에 선택이 불가능하다.
이에, 도 24를 참조하면, 제2 디스플레이(240)는 마커 표시 요청 신호로부터 검출한 복수의 마커 이미지를 동시에 출력하되, 디스플레이 영역을 복수의 구역으로 구분하고, 각 구역에 하나의 마커 이미지가 배치(또는 매칭)되도록 복수의 마커 이미지를 출력한다(S331). 이때, 제2 디스플레이(240)는 마커 이미지와 연계된 도서 정보(예를 들면, 소제목, 도서 페이지 등)을 마커 이미지와 함께 출력할 수도 있다.
터치 스크린 패널로 구성된 제2 디스플레이(240)는 터치 스크린 패널의 표면 또는 표면 근처에서 발생하는 객체(예를 들면, 손가락, 터치 펜 등)의 이동을 감지하여 선택 정보를 입력받는다(S332). 이때, 제2 디스플레이(240)는 객체의 이동을 감지를 통해 사용자의 터치를 감지하고, 이를 선택 정보로 입력받는 것을 일례로 한다.
제2 디스플레이(240)는 복수의 구역 중에서 선택 정보에 대응하는 하나의 구역을 표시 대상 구역으로 검출하고(S333), 표시 대상 구역으로 검출한 구역에 배치(또는 매칭)된 마커 이미지를 표시 대상으로 검출한다(S334).
제2 디스플레이(240)는 표시 대상 검출이 완료되면 복수의 마커 이미지 출력을 중단하고, 표시 대상으로 검출한 마커 이미지를 출력한다(S335).
한편, 본 발명의 실시 예에 따른 독서 지원 방법에서는 마커 인식 후 외부로 이동하여 마커를 잃어버리면(즉, 인식 범위 밖으로 이동하면), 마커 이미지의 교체 동작으로 인식하여 다음 마커 이미지를 표시하는 화면을 출력하는 마커 이미지의 교체를 안내(가이드)할 수 있다.
즉, 제1 프로세서(120)는 제1 시점의 활동 영역 영상(ASV)에 대한 영상 인식 모듈의 영상 분석 결과와 제2 시점의 활동 영역 영상(ASV)에 대한 영상 인식 모듈의 영상 분석 결과를 비교하여 마커 이탈 여부를 판단한다. 제1 프로세서(120)는 마커 이탈로 판단하면 제2 디바이스(200)로 마커 교체 요청 신호를 출력한다. 제2 프로세서(220)는 제1 프로세서(120)의 마커 교체 요청 신호에 응답하여 다음 우선 순위의 마커 이미지를 출력하거나, 복수의 마커 이미지를 출력하여 다음 마커 이미지의 선택을 사용자에게 요청할 수 있다.
도 25를 참조하면, 제1 프로세서(120)는 제1 시점의 활동 영역 영상(ASV)에 대한 영상 인식 모듈의 영상 분석 결과인 마커 이미지의 제1 디스플레이(140) 좌표를 메모리(180)로부터 검출한다(S31).
제1 디스플레이(140) 좌표가 활동 영역 영상(ASV) 중에서 도서 컨텐츠가 표시된 제1 영역(A1)에 포함되면(S32; 예), 제1 프로세서(120)는 마커 이탈 감지를 개시한다(S33).
마커 이탈 감지를 개시한 후, 제1 프로세서(120)는 제1 시점 이후의 시점인 제2 시점의 활동 영역 영상(ASV)에 대한 영상 인식 모듈의 영상 분석 결과인 마커 이미지의 제2 디스플레이 좌표를 메모리(180)로부터 검출한다(S34).
제2 디스플레이 좌표가 검출되고(S35; 예), 제2 디스플레이 좌표가 활동 영역 영상(ASV) 중에서 도서 컨텐츠가 표시된 제1 영역(A1)의 주변에 위치한 제2 영역(A2)에 포함되면(S36; 예), 제1 프로세서(120)는 마커 이미지의 이탈로 감지한다(S37). 즉, 제1 프로세서(120)는 마커 이미지가 제1 시점에서 활동 영역 영상(ASV)의 제1 영역(A1)에서 감지된 후 제2 시점에서 활동 영역 영상(ASV)의 제2 영역(A2)에서 감지되면 마커 이미지의 이탈로 감지한다.
한편, S34 단계에서 제2 디스플레이 좌표가 검출되지 않으면(S35; 아니오), 제1 프로세서(120)는 마커 이미지의 이탈로 감지한다. 제1 프로세서(120)는 마커 이미지가 제1 시점에서 활동 영역 영상(ASV)의 제1 영역(A1)에서 감지된 후 제2 시점에서 활동 영역 영상(ASV)에서 마커 이미지가 감지되지 않으면 제2 디스플레이 좌표가 인식되지 않는다. 이에, 제1 프로세서(120)는 제2 디스플레이 좌표가 검출되지 않으면 마커 이미지의 이탈로 감지한다.
마커 이탈로 감지한 제1 프로세서(120)는 마커 교체 요청 신호를 생성하여 제1 통신 모듈(160)로 전송한다(S38). 제1 프로세서(120)는 마커 이미지 및/또는 마커 식별자를 포함한 마커 교체 요청 신호를 생성하는 것을 일례로 한다.
제1 통신 모듈(160)은 제1 프로세서(120)의 마커 교체 요청 신호에 응답하여 제2 디바이스(200)로 마커 교체 요청 신호를 전송한다(S39).
제2 통신 모듈(230)은 제1 통신 모듈(160; 즉, 제1 디바이스(100))의 마커 교체 요청 신호에 응답하여 제2 프로세서(220)로 마커 교체 요청 신호를 전송한다(S40).
제2 프로세서(220)는 제2 통신 모듈(230)의 마커 교체 요청 신호에 응답하여 다음 우선 순위의 마커 이미지를 출력을 요청 신호하는 마커 교체 출력 요청 신호를 제2 디스플레이(240)로 전송한다(S41). 이때, 제2 프로세서(220)는 다음 우선 순위의 마커 이미지 또는 마커 식별자를 포함한 마커 교체 출력 요청 신호를 제2 디스플레이(240)로 전송하는 것을 일례로 한다.
제2 디스플레이(240)는 제2 프로세서(220)의 마커 교체 출력 요청 신호에 응답하여 다음 우선 순위의 마커 이미지를 출력한다(S42).
한편, 본 발명의 실시 예에 따른 독서 지원 방법에서는 사용자의 요청시 진행도를 표시할 수도 있다. 여기서, 진행도는 마커 진행도, 페이지 진행도 중에서 하나 이상을 포함할 수 있다.
도 26을 참조하면, S11 단계 내지 S25 단계를 수행하는 중에 진행도 출력 요청이 입력되면(S51; 예), 제2 프로세서(220)는 진행도 출력 요청에 응답하여 진행도 제공 요청 신호를 제2 통신 모듈(230)로 전송한다(S52). 이때, 제2 프로세서(220)는 도서 식별자 및 마커 식별자를 포함한 진행도 제공 요청 신호를 생성한다. 제2 프로세서(220)는 도서 식별자를 포함한 진행도 제공 요청 신호를 생성할 수도 있다.
제2 통신 모듈(230)은 제2 프로세서(220)의 진행도 제공 요청 신호에 응답하여 제1 디바이스(100)로 진행도 제공 요청 신호를 전송한다(S53).
제1 프로세서(120)는 제2 디바이스(200)로부터 진행도 제공 요청 신호에 응답하여 진행도를 산출한다(S54). 제1 프로세서(120)는 제2 디바이스(200)의 진행도 제공 요청 신호에 응답하여 마커 진행도, 페이지 진행도 중에서 하나 이상을 포함한 진행도를 산출한다.
S54 단계에서, 제1 프로세서(120)는 마커 이미지가 연계된 전체 페이지 수와 마커 이미지와 연계된 상호작용 컨텐츠가 출력된 페이지 수의 비율을 마커 진행도로 산출하는 것을 일례로 한다. 제1 프로세서(120)는 마커 이미지가 연계된 상호작용 컨텐츠들의 총 출력 시간과 마커 이미지와 연계된 상호작용 컨텐츠가 출력된 시간의 비율을 마커 진행도로 산출할 수도 있다.
S54 단계에서, 제1 프로세서(120)는 제2 디바이스(200)의 진행도 제공 요청 신호에 응답하여 페이지 진행도를 산출하되, 도서 객체의 각 페이지에 연계된 상호작용 컨텐츠의 진행 정도를 페이지 진행도로 산출한다.
도 27을 참조하면, 제1 프로세서(120)는 진행도 제공 요청 신호로부터 도서 식별자 및 도서 페이지를 검출한다(S411).
제1 프로세서(120)는 검출한 도서 식별자 및 도서 페이지를 포함한 마커 식별자 검출 요청 쿼리를 생성하여 제1 내부 저장소(170)로 전송한다(S412).
제1 내부 저장소(170)는 마커 식별자 검출 요청 쿼리에 응답하여 마커 식별자 검출 요청 쿼리로부터 도서 식별자 및 도서 페이지를 검출한다(S413).
제1 내부 저장소(170)는 기 저장된 마커 정보 중에서 검출한 도서 식별자에 연계된 마커 식별자를 1차 검출한다(S414).
제1 내부 저장소(170)는 1차 검출한 마커 식별자 중에서 마커 식별자 검출 요청 쿼리로부터 검출한 도서 페이지에 연계된 마커 식별자를 2차 검출한다(S415).
제1 내부 저장소(170)는 2차 검출한 마커 식별자에 연계된 컨텐츠 식별자를 검출한다(S416).
제1 내부 저장소(170)는 검출한 컨텐츠 식별자의 출력 시간(재생 시간)을 검출한다(S417).
제1 내부 저장소(170)는 검출한 출력 시간들을 포함한 응답 신호를 생성하여 제1 프로세서(120)로 전송한다(S418).
제1 프로세서(120)는 제1 내부 저장소(170)의 응답 신호에 응답하여 응답 신호로부터 출력 시간들을 검출한다(S419).
제1 프로세서(120)는 검출한 출력 시간들의 총합을 페이지에 연계된 상호작용 컨텐츠의 총 출력 시간으로 산출한다(S420).
제1 프로세서(120)는 페이지에 연계된 상호작용 컨텐츠 중에서 출력된 상호작용 컨텐츠의 출력 시간을 산출한다(S421).
제1 프로세서(120)는 페이지에 연계된 상호작용 컨텐츠의 총 출력 시간과 상호작용 컨텐츠가 출력된 시간의 비율을 페이지 진행도로 산출한다(S422).
제1 프로세서(120)는 산출한 진행도를 포함한 응답 신호를 생성하여 제1 통신 모듈(160)로 전송한다(S55).
제1 통신 모듈(160)은 응답 신호를 제2 통신 모듈(230)로 전송하고(S56), 제2 통신 모듈(230)은 제2 통신 모듈(230)의 응답 신호를 제2 프로세서(220)로 전송한다(S57).
제2 프로세서(220)는 제2 통신 모듈(230)의 응답 신호에 응답하여 응답 신호로부터 진행도를 검출한다(S58). 이때, 제2 프로세서(220)는 응답 신호로부터 마커 진행도, 페이지 진행도 중에서 적어도 하나의 진행도를 검출하는 것을 일례로 한다.
제2 프로세서(220)는 진행도를 포함한 진행도 출력 요청을 생성하여 제2 디스플레이(240)로 전송한다(S59).
제2 디스플레이(240)는 제2 프로세서(220)의 진행도 출력 요청에 응답하여 진행도 출력 요청으로부터 진행도를 검출하고, 마커 진행도(도 9 참조) 및 페이지 진행도(도 10 참조) 중에 적어도 하나를 포함한 진행도를 출력한다(S60).
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명된 장치(유닛)는 하드웨어 요소 및/또는 소프트웨어 요소로 구현될 수 있다. 예를 들어, 하드웨어 요소는 마이크로폰, 증폭기, 밴드패스 필터, A/D 컨버터, 처리 장치(processing device)를 포함할 수 있다. 처리 장치는, 예를 들어 제1 프로세서(processor), 제어기(controller), ALU(arithmetic logic unit), 디지털 신호 제1 프로세서(digital signal processor),　마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로 프로세서, 또는　정의된 방식으로 명령어(instruction)에 응답하고 명령어를 실행할 수 있는 다른 장치들처럼, 하나 이상의 범용 컴퓨터 또는 특수　목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(operating system, OS) 및 이 운영 체제 상에서 동작하는 하나　이상의 소프트웨어 제1 애플리케이션을 동작 시킬 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 간략한 설명을 위해 처리 장치가 하나인 것으로 설명할 수도 있지만, 당해 기술분야에서 통상의 지식을 가진 자라면 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리　장치는 복수 개의 제1 프로세서 또는 제1 프로세서와 제어기(controller)를 포함할 수 있다. 또한, 병렬 제1 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램, 코드(code), 명령어(instruction), 또는 그 조합을 포함해서, 원하는 대로 동작하도록 독립적으로 또는 결합적으로(collectively) 처리 장치를 구성하거나 처리 장치에 명령할 수 있다. 소프트웨어와 데이터는, 처리 장치에 의해 해석되거나 처리 장치에 명령어 또는 데이터를 제공할 수 있는 전송 신호 파형(propagated signal wave)으로, 또는 각종 유형의 기계, 요소(component), 물리적 장치,　가상 장치(virtual equipment), 컴퓨터 저장 매체나 장치 등에　영구적으로 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에　분산되어서, 분산된 방식으로 저장되고 실행될 수 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있고, 이는 데이터를 저장했다가 나중에 컴퓨터 시스템이나 처리 장치가 읽을 수 있는 데이터 저장 장치를 포함한다. 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 기록 매체의 예에는 ROM, RAM, CD-ROM, 마그네틱 테이프, 플로피 디스크, 옵티컬 데이터 저장 장치가 포함된다. 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한, 여기 개시된 예들을 완수하는 기능적 프로그램, 코드, 코드 세그먼트 들은 도면의 흐름도 및 블록도 및 관련되어 여기 제공된 설명에 근거하거나 이를 이용해서 이 예들에 관련된 기술분야에서 통상의 지식을 가진 프로그래머가 쉽게 이해하여 구현할 수 있다.
전반적으로 적용되는 것은 아닐 수 있지만, 여기 설명된 단말이나 장치는 셀룰러 전화기, PDA, 디지털 카메라, 휴대용 게임 콘솔, MP3 플레이어, 휴대용/개인 멀티미디어 플레이어(PMP), 휴대용 e-book, 휴대용 랩톱 PC, GPS 네비게이션, 태블릿, 센서와 같은 모바일 장치, 및 데스크탑 PC, HDTV, 옵티컬 디스크 플레이어, 셋톱 박스, 가전 기기 그리고 무선 통신이나 네트워크 통신을 할 수 있는 장치들에 적용될 수 있다.
그리고 상기 컴퓨터 판독 가능 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령어는 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 프로그램 명령어의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 여러 실시예들을 설명했으나, 다양한 변형을 할 수 있다는 것을 이해해야 한다. 예를 들어 설명된 기술들이 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 요소들이 다른 방식으로 결합되거나, 다른 요소 또는 균등물에 의하여 대치되거나 보충되더라도 적절한 결과가 달성될 수 있다. 따라서, 다른 구현들도 후술하는 특허청구범위의 범위에 속한다.
100: 제1 디바이스 110: 제1 애플리케이션
120: 제1 프로세서 130: 카메라
140: 제1 디스플레이 150: 영상 처리 엔진
160: 제1 통신 모듈 170: 제1 내부 저장소
180: 메모리 200: 제2 디바이스
210: 제2 애플리케이션 220: 제2 프로세서
230: 제2 통신 모듈 240: 제2 디스플레이
250: 제2 내부 저장소 300: 지원 서버
400: 데이터 베이스

Claims (20)

  1. 마커 이미지를 표시하기 위한 디스플레이를 구비한 제2 디바이스와 통신이 가능하도록 연결되고, 물리적 표면에 정의된 활동 영역을 촬영한 활동 영역 영상을 출력하고, 상기 활동 영역에 배치된 상기 제2 디바이스에 표시된 마커 이미지를 검출하고, 상기 마커 이미지에 대응하는 상호작용 컨텐츠를 상기 활동 영역 영상에 오버랩되도록 출력하는 제1 디바이스를 포함하고,
    상기 제1 디바이스는,
    카메라 구동 요청 신호에 응답하여 도서 객체 및 상기 제2 디바이스 중에서 하나 이상이 배치된 상기 활동 영역을 촬영하여 활동 영역 영상을 생성하도록 구성된 카메라;
    상기 카메라와 통신이 가능하도록 연결되고, 영상 인식 개시 신호에 응답하여 상기 활동 영역 영상에 대한 영상 분석을 수행하여 상기 제2 디바이스의 디스플레이에 표시된 마커 이미지를 포함한 이미지 확인 요청 신호를 전송하는 영상 처리 엔진;
    상기 카메라 및 상기 영상 처리 엔진과 통신이 가능하도록 연결되고, 마커 이미지를 표시하기 위한 마커 출력 요청 신호를 전송하고, 상기 마커 출력 요청 신호에 의해 상기 제2 디바이스가 제1 마커 이미지를 표시한 후 상기 영상 처리 엔진의 이미지 확인 요청 신호에 응답하여 상기 제1 마커 이미지와 연계된 상호작용 컨텐츠를 검출하고, 상기 상호작용 컨텐츠를 표시하기 위한 컨텐츠 출력 요청 신호를 출력하고, 상기 컨텐츠 출력 요청 신호를 출력한 후에 상기 제1 마커 이미지의 이탈을 감지하면 상기 제2 디바이스에서 상기 제1 마커 이미지의 출력을 중단하고 제2 마커 이미지를 출력하도록 제어하기 위해 상기 제2 디바이스로 마커 교체 요청 신호를 전송하는 프로세서; 및
    상기 카메라 및 상기 프로세서와 통신이 가능하도록 연결되고, 상기 카메라에서 생성된 상기 활동 영역 영상을 출력하고, 상기 프로세서의 상기 컨텐츠 출력 요청 신호에 응답하여 상기 활동 영역 영상에 오버랩 되도록 상기 상호작용 컨텐츠를 출력하는 디스플레이를 포함하는 독서 지원 시스템.
  2. 제1항에 있어서,
    상기 영상 처리 엔진은 상기 활동 영역 영상에 대한 영상 인식을 통해 상기 마커 이미지의 디스플레이 좌표를 더 검출하고, 상기 디스플레이 좌표를 포함한 이미지 확인 요청 신호를 전송하고,
    상기 프로세서는 상기 이미지 확인 요청 신호에 응답하여 상기 디스플레이 좌표를 포함한 컨텐츠 출력 요청 신호를 출력하고,
    상기 디스플레이는 상기 컨텐츠 출력 요청 신호에 응답하여 상기 활동 영역 영상 중에서 상기 디스플레이 좌표에 대응하는 좌표를 기준으로 상기 상호작용 컨텐츠를 출력하는 독서 지원 시스템.
  3. 제1항에 있어서,
    상기 영상 처리 엔진은 상기 활동 영역 영상에 대한 영상 인식을 통해 상기 마커 이미지의 디스플레이 좌표를 더 검출하고, 상기 디스플레이 좌표를 포함한 이미지 확인 요청 신호를 전송하고,
    상기 프로세서는,
    제1 시점의 상기 이미지 확인 요청 신호에 응답하여 상기 이미지 확인 요청 신호로부터 디스플레이 좌표를 검출하고, 상기 제1 시점의 디스플레이 좌표가 상기 활동 영역 영상의 제1 영역에 포함되면 마커 이탈 감지를 개시하고,
    상기 제1 시점의 이후 시점인 제2 시점의 상기 이미지 확인 요청 신호에 응답하여 상기 이미지 확인 요청 신호로부터 디스플레이 좌표를 검출하고, 상기 제2 시점의 디스플레이 좌표가 상기 활동 영역의 제2 영역에 포함되면 상기 마커 이미지의 이탈로 감지하여 마커 교체 요청 신호를 상기 제2 디바이스로 출력하고,
    상기 제1 영역은 활동 영역 영상 중에서 도서 객체가 출력된 영역이고, 상기 제2 영역은 상기 활동 영역 영상 중에서 상기 제1 영역의 주변에 위치한 영역으로 상기 도서 객체가 표시되지 않은 영역인 독서 지원 시스템.
  4. 제1항에 있어서,
    상기 영상 처리 엔진은 상기 활동 영역 영상에 대한 영상 인식을 통해 상기 마커 이미지의 디스플레이 좌표를 더 검출하고, 상기 디스플레이 좌표를 포함한 이미지 임시 저장 요청 신호를 출력하고,
    상기 제1 디바이스는 상기 이미지 임시 저장 요청 신호에 응답하여 상기 마커 이미지 및 상기 디스플레이 좌표를 저장하는 메모리를 더 포함하고,
    상기 프로세서는,
    제1 시점에 상기 메모리에 저장된 디스플레이 좌표를 검출하고, 상기 제1 시점의 디스플레이 좌표가 상기 활동 영역 영상의 제1 영역에 포함되면 마커 이탈 감지를 개시하고,
    상기 제1 시점의 이후 시점인 제2 시점에 상기 마커 이미지에 연계된 디스플레이 좌표가 상기 메모리로부터 검출되지 않으면 상기 마커 이미지의 이탈로 감지하여 마커 교체 요청 신호를 상기 제2 디바이스로 출력하는 독서 지원 시스템.
  5. 제1항에 있어서,
    상기 프로세서는,
    진행도 제공 요청에 응답하여 상기 진행도 제공 요청으로부터 검출한 도서 식별자에 연계된 마커 식별자 및 도서 페이지를 검출하고,
    상기 도서 식별자에 연계된 도서 객체 중에서 상기 마커 식별자가 연계된 전체 페이지 수와 상기 마커 식별자와 연계된 상호작용 컨텐츠가 출력된 페이지 수의 비율, 및 상기 도서 식별자 및 상기 마커 식별자가 연계된 상호작용 컨텐츠들의 총 출력 시간과 상기 도서 식별자 및 상기 마커 이미지와 연계된 상호작용 컨텐츠가 출력된 시간의 비율 중에 하나의 비율을 마커 진행도로 산출하는 독서 지원 시스템.
  6. 제1항에 있어서,
    상기 프로세서는,
    진행도 제공 요청에 응답하여 상기 진행도 제공 요청으로부터 검출한 도서 식별자 및 도서 페이지에 연계된 하나 이상의 마커 식별자를 검출하고,
    상기 하나 이상의 마커 식별자에 연계된 상호작용 컨텐츠의 총 출력 시간을 산출하고, 상기 하나 이상의 마커 식별자에 연계된 상호작용 컨텐츠 중에서 출력된 상호작용 컨텐츠의 출력 시간을 산출하고, 상호작용 컨텐츠의 총 출력 시간과 상호작용 컨텐츠가 출력된 시간의 비율을 페이지 진행도로 산출하는 독서 지원 시스템.
  7. 물리적 표면에 정의된 활동 영역을 촬영한 활동 영역 영상과 상호작용 컨텐츠를 출력하도록 구성된 제1 디바이스와 통신이 가능하도록 연결되고, 물리적 표면에 정의된 활동 영역에 배치되어 마커 이미지를 출력하는 제2 디바이스를 포함하고,
    상기 제2 디바이스는
    상기 제1 디바이스의 마커 출력 요청 신호에 응답하여 상기 마커 출력 요청 신호에 대응하는 마커 이미지를 표시하기 위한 마커 표시 요청 신호를 출력하고, 상기 마커 표시 요청 신호를 출력한 후에 상기 제1 디바이스의 마커 교체 요청 신호에 응답하여 마커 교체 출력 요청 신호를 출력하는 프로세서; 및
    상기 프로세서와 통신이 가능하도록 연결되고, 상기 프로세서의 마커 표시 요청 신호에 응답하여 제1 마커 이미지를 출력하고, 상기 마커 교체 출력 요청 신호에 응답하여 상기 제1 마커 이미지의 출력을 중단하고 제2 마커 이미지를 출력하는 디스플레이를 포함하는 독서 지원 시스템.
  8. 제7항에 있어서,
    상기 프로세서는 우선 순위를 갖는 복수의 마커 이미지를 표시하기 위한 마커 표시 요청 신호를 출력하고,
    상기 디스플레이는 상기 마커 표시 요청 신호에 응답하여 복수의 마커 이미지를 출력하되, 상기 우선 순위를 기준으로 상기 복수의 마커 이미지를 순차적으로 출력하고,
    상기 프로세서는 마커 이미지의 이탈을 감지한 상기 제1 디바이스의 마커 교체 요청 신호에 응답하여 상기 제1 마커 이미지의 다음 우선 순위를 갖는 상기 제2 마커 이미지의 출력을 요청하는 마커 교체 출력 요청 신호를 출력하고,
    상기 디스플레이는 상기 마커 표시 요청 신호에 응답하여 상기 제1 마커 이미지의 출력을 중단하고 다음 우선 순위인 상기 제2 마커 이미지를 출력하는 독서 지원 시스템.
  9. 제7항에 있어서,
    상기 프로세서는 복수의 마커 이미지를 표시하기 위한 마커 표시 요청 신호를 출력하고,
    상기 디스플레이는 상기 마커 표시 요청 신호에 응답하여 복수의 마커 이미지를 하나의 화면에 출력하고,
    상기 복수의 마커 이미지가 출력되는 디스플레이 영역을 복수의 구역으로 구분하고, 각 구역에 하나의 마커 이미지가 배치되도록 상기 복수의 마커 이미지를 출력하는 독서 지원 시스템.
  10. 제7항에 있어서,
    상기 프로세서는 소제목 도서 정보가 연계된 복수의 마커 이미지를 표시하기 위한 마커 표시 요청 신호를 출력하고,
    상기 디스플레이는 상기 마커 표시 요청 신호에 응답하여 복수의 마커 이미지를 하나의 화면에 출력하고,
    상기 복수의 마커 이미지가 출력되는 디스플레이 영역을 복수의 구역으로 구분하고, 각 구역에 하나의 마커 이미지와 도서 정보가 배치되도록 상기 복수의 마커 이미지를 출력하는 독서 지원 시스템.
  11. 제9항 또는 제10항에 있어서,
    상기 디스플레이는 터치 스크린 패널로 구성되고, 상기 터치 스크린 패널의 표면 또는 표면 근처에서 발생하는 객체의 이동을 감지하고, 상기 객체의 이동을 근거로 복수의 구역 중에서 하나의 구역을 표시 대상 구역이 검출되면 상기 복수의 마커 이미지의 출력을 중단하고 상기 표시 대상 구역에 배치된 마커 이미지를 출력하는 독서 지원 시스템.
  12. 제7항에 있어서,
    상기 프로세서는 진행도 출력 요청 신호에 응답하여 도서 식별자 및/또는 마커 식별자를 포함한 진행도 제공 요청 신호를 출력하고, 상기 진행도 제공 요청 신호에 대한 응답 신호에 응답하여 상기 응답 신호로부터 검출한 마커 진행도 및/또는 페이지 진행도를 포함한 진행도 출력 요청 신호를 출력하고,
    상기 디스플레이는 상기 진행도 출력 요청 신호에 응답하여 상기 진행도 출력 요청 신호로부터 검출한 상기 마커 진행도 및/또는 페이지 진행도를 출력하는 독서 지원 시스템.
  13. 제1 디바이스에 의해, 물리적 표면에 정의된 활동 영역을 촬영하되, 도서 객체 및/또는 제2 디바이스가 배치된 상기 활동 영역을 촬영하여 활동 영역 영상을 생성하는 단계;
    상기 제1 디바이스에 의해, 상기 활동 영역 영상을 출력하는 단계;
    상기 제1 디바이스에 의해, 제1 마커 이미지를 표시하기 위한 마커 출력 요청 신호를 출력하는 단계;
    상기 제2 디바이스에 의해, 상기 마커 출력 요청 신호에 응답하여 제1 마커 이미지를 출력하는 단계;
    상기 제1 디바이스에 의해, 상기 활동 영역 영상에 대한 영상 분석을 수행하여 상기 활동 영역에 배치된 상기 제2 디바이스에서 출력된 마커 이미지를 인식하는 단계;
    상기 제1 디바이스에 의해, 상기 마커 이미지를 인식하는 단계에서 인식한 상기 제1 마커 이미지와 연계된 상호작용 컨텐츠를 검출하는 단계;
    상기 제1 디바이스에 의해, 상기 활동 영역 영상에 오버랩되도록 상기 상호작용 컨텐츠를 출력하는 단계;
    상기 제1 디바이스에 의해, 상기 상호작용 컨텐츠를 출력한 후에 상기 제2 디바이스에 표시된 상기 제1 마커 이미지의 이탈을 감지하면 마커 교체 요청 신호를 출력하는 단계; 및
    상기 제2 디바이스에 의해, 상기 마커 교체 요청 신호에 응답하여 상기 제1 마커 이미지의 출력을 중단하고 제2 마커 이미지를 출력하는 단계를 포함하는 독서 지원 방법.
  14. 제13항에 있어서,
    상기 마커 이미지를 인식하는 단계에서는 상기 제2 디바이스에서 표시된 마커 이미지의 디스플레이 좌표를 더 검출하고,
    상기 상호작용 컨텐츠를 출력하는 단계에서는 상기 활동 영역 영상 중에서 상기 디스플레이 좌표에 대응하는 좌표를 기준으로 상기 상호작용 컨텐츠를 출력하는 독서 지원 방법.
  15. 제13항에 있어서,
    상기 마커 교체 요청 신호를 출력하는 단계는,
    상기 제1 디바이스에 의해, 상기 마커 이미지를 인식하는 단계에서 인식된 상기 제1 마커 이미지의 디스플레이 좌표를 검출하는 단계;
    상기 제1 디바이스에 의해, 상기 디스플레이 좌표를 검출하는 단계에서 제1 시점에 검출한 상기 제1 마커 이미지의 상기 디스플레이 좌표가 상기 활동 영역 영상의 제1 영역에 포함되면 마커 이탈 감지를 개시하는 단계;
    상기 제1 디바이스에 의해, 상기 디스플레이 좌표를 검출하는 단계에서 제1 시점 이후의 시점인 제2 시점에 검출한 상기 제1 마커 이미지의 상기 디스플레이 좌표가 상기 활동 영역 영상의 제2 영역에 포함되면 상기 제1 마커 이미지의 이탈로 감지하는 단계; 및
    상기 제1 디바이스에 의해, 상기 제1 마커 이미지의 이탈로 감지하는 단계에서 상기 제1 마커 이미지의 마커 이탈로 감지하면 상기 제2 디바이스로 마커 교체 요청 신호를 출력하는 단계를 포함하고,
    상기 제1 영역은 상기 활동 영역 영상 중에서 상기 도서 객체가 출력된 영역이고, 상기 제2 영역은 상기 활동 영역 영상 중에서 상기 제1 영역의 주변에 위치한 영역으로 상기 도서 객체가 표시되지 않은 영역인 독서 지원 방법.
  16. 제13항에 있어서,
    상기 마커 교체 요청 신호를 출력하는 단계는,
    상기 제1 디바이스에 의해, 상기 마커 이미지를 인식하는 단계에서 인식된 상기 제1 마커 이미지의 디스플레이 좌표를 검출하는 단계;
    상기 제1 디바이스에 의해, 상기 디스플레이 좌표를 검출하는 단계에서 제1 시점에 검출한 상기 제1 마커 이미지의 상기 디스플레이 좌표가 상기 활동 영역 영상의 제1 영역에 포함되면 마커 이탈 감지를 개시하는 단계;
    상기 제1 디바이스에 의해, 상기 디스플레이 좌표를 검출하는 단계에서 제1 시점 이후의 시점인 제2 시점에서 상기 제1 마커 이미지의 디스플레이 좌표가 검출되지 않으면 상기 제1 마커 이미지의 이탈로 감지하는 단계; 및
    상기 제1 디바이스에 의해, 상기 제1 마커 이미지의 이탈로 감지하는 단계에서 상기 제1 마커 이미지의 마커 이탈로 감지하면 상기 제2 디바이스로 마커 교체 요청 신호를 출력하는 단계를 포함하고,
    상기 제1 영역은 상기 활동 영역 영상 중에서 상기 도서 객체가 출력된 영역인 독서 지원 방법.
  17. 제13항에 있어서,
    상기 제1 마커 이미지를 출력하는 단계는,
    상기 제1 디바이스의 상기 마커 출력 요청 신호에 응답하여 우선 순위를 갖는 복수의 마커 이미지를 검출하는 단계; 및
    상기 복수의 마커 이미지 중에서 가장 높은 우선순위를 갖는 제1 마커 이미지를 출력하는 단계를 포함하고,
    상기 제2 마커 이미지를 출력하는 단계는,
    상기 제1 마커 이미지의 이탈을 감지한 상기 제1 디바이스의 마커 교체 요청 신호에 응답하여 상기 제1 마커 이미지를 출력하는 단계에서 출력된 상기 제1 마커 이미지의 출력을 중단하는 단계; 및
    상기 제1 마커 이미지를 출력하는 단계에서 출력된 상기 제1 마커 이미지의 다음 우선 순위를 갖는 제2 마커 이미지를 출력하는 단계를 포함하는 독서 지원 방법.
  18. 제13항에 있어서,
    상기 제1 마커 이미지를 출력하는 단계는,
    상기 제1 디바이스의 상기 마커 출력 요청 신호에 응답하여 복수의 마커 이미지를 검출하는 단계;
    상기 복수의 마커 이미지를 하나의 화면에 출력하되, 디스플레이 영역을 복수의 구역으로 구분하고, 각 구역에 하나의 마커 이미지가 배치되도록 상기 복수의 마커 이미지를 출력하는 단계;
    상기 제2 디바이스의 터치 스크린 패널의 표면 또는 표면 근처에서 발생하는 객체의 이동을 감지하는 단계;
    상기 객체의 이동을 감지하는 단계의 감지 결과를 근거로 복수의 구역 중에서 하나의 구역을 표시 대상 구역으로 검출하는 단계; 및
    상기 표시 대상 구역을 검출하는 단계에서 표시 대상 구역이 검출되면 상기 복수의 마커 이미지의 출력을 중단하고 상기 표시 대상 구역에 배치된 마커 이미지인 제1 마커 이미지를 출력하는 단계를 포함하는 독서 지원 방법.
  19. 제13항에 있어서,
    상기 제2 디바이스에 의해, 진행도 출력 요청 신호에 응답하여 도서 식별자 및/또는 마커 식별자를 포함한 진행도 제공 요청 신호를 출력하는 단계;
    상기 제1 디바이스에 의해, 상기 진행도 제공 요청에 응답하여 상기 진행도 제공 요청으로부터 검출한 도서 식별자에 연계된 마커 식별자 및 도서 페이지를 검출하는 단계;
    상기 제1 디바이스에 의해, 상기 도서 식별자에 연계된 도서 객체 중에서 상기 마커 식별자가 연계된 전체 페이지 수와 상기 마커 식별자와 연계된 상호작용 컨텐츠가 출력된 페이지 수의 비율, 및 상기 도서 식별자 및 상기 마커 식별자가 연계된 상호작용 컨텐츠들의 총 출력 시간과 상기 도서 식별자 및 상기 마커 이미지와 연계된 상호작용 컨텐츠가 출력된 시간의 비율 중에 하나의 비율을 마커 진행도로 산출하는 단계;
    상기 제1 디바이스에 의해, 상기 진행도를 산출하는 단계에서 산출한 마커 진행도 및/또는 페이지 진행도를 포함한 응답 신호를 출력하는 단계; 및
    상기 제2 디바이스에 의해, 상기 진행도 제공 요청 신호에 대한 응답 신호에 응답하여 상기 응답 신호로부터 검출한 마커 진행도 및/또는 페이지 진행도를 출력하는 단계를 더 포함하는 독서 지원 방법.
  20. 제13항에 있어서,
    상기 제2 디바이스에 의해, 진행도 출력 요청 신호에 응답하여 도서 식별자 및/또는 마커 식별자를 포함한 진행도 제공 요청 신호를 출력하는 단계;
    상기 제1 디바이스에 의해, 상기 진행도 제공 요청에 응답하여 상기 진행도 제공 요청으로부터 검출한 도서 식별자 및 도서 페이지에 연계된 하나 이상의 마커 식별자를 검출하는 단계;
    상기 제1 디바이스에 의해, 상기 하나 이상의 마커 식별자에 연계된 상호작용 컨텐츠의 총 출력 시간을 산출하는 단계;
    상기 제1 디바이스에 의해, 상기 하나 이상의 마커 식별자에 연계된 상호작용 컨텐츠 중에서 출력된 상호작용 컨텐츠의 출력 시간을 산출하는 단계;
    상기 제1 디바이스에 의해, 상호작용 컨텐츠의 총 출력 시간과 상호작용 컨텐츠가 출력된 시간의 비율을 페이지 진행도로 산출하는 단계;
    상기 제1 디바이스에 의해, 상기 진행도를 산출하는 단계에서 산출한 마커 진행도 및/또는 페이지 진행도를 포함한 응답 신호를 출력하는 단계; 및
    상기 제2 디바이스에 의해, 상기 진행도 제공 요청 신호에 대한 응답 신호에 응답하여 상기 응답 신호로부터 검출한 마커 진행도 및/또는 페이지 진행도를 출력하는 단계를 더 포함하는 독서 지원 방법.
KR1020220026332A 2022-02-28 2022-02-28 독서 지원 시스템 및 방법 KR102512184B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220026332A KR102512184B1 (ko) 2022-02-28 2022-02-28 독서 지원 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220026332A KR102512184B1 (ko) 2022-02-28 2022-02-28 독서 지원 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102512184B1 true KR102512184B1 (ko) 2023-03-21

Family

ID=85801111

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220026332A KR102512184B1 (ko) 2022-02-28 2022-02-28 독서 지원 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102512184B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102613096B1 (ko) 2023-04-21 2023-12-13 박성순 독서 심리 지도 서비스 제공 방법 및 그 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130009127A (ko) * 2011-07-14 2013-01-23 에스케이마케팅앤컴퍼니 주식회사 전자책 제공 시스템 및 방법
KR20140073155A (ko) * 2012-12-06 2014-06-16 주식회사 에스제이더블유인터내셔널 증강 현실 마커를 이용한 어학 학습 시스템 및 방법
KR101587471B1 (ko) 2014-03-17 2016-01-21 홍익대학교 산학협력단 웨어러블 컴퓨터를 이용한 독서 증강을 위한 책 시스템 및 독서 증강 방법
KR102199007B1 (ko) * 2020-05-19 2021-01-06 (주)웅진씽크빅 도서 객체와 상호작용 컨텐츠를 연계한 독서 지원 시스템 및 방법
KR102222599B1 (ko) * 2020-05-19 2021-03-04 (주)웅진씽크빅 도서 객체와 상호작용 컨텐츠를 연계한 독서 지원 시스템 및 방법
KR20220014981A (ko) * 2020-07-30 2022-02-08 주식회사 카루랩 마커 컨텐츠 제공 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130009127A (ko) * 2011-07-14 2013-01-23 에스케이마케팅앤컴퍼니 주식회사 전자책 제공 시스템 및 방법
KR20140073155A (ko) * 2012-12-06 2014-06-16 주식회사 에스제이더블유인터내셔널 증강 현실 마커를 이용한 어학 학습 시스템 및 방법
KR101587471B1 (ko) 2014-03-17 2016-01-21 홍익대학교 산학협력단 웨어러블 컴퓨터를 이용한 독서 증강을 위한 책 시스템 및 독서 증강 방법
KR102199007B1 (ko) * 2020-05-19 2021-01-06 (주)웅진씽크빅 도서 객체와 상호작용 컨텐츠를 연계한 독서 지원 시스템 및 방법
KR102222599B1 (ko) * 2020-05-19 2021-03-04 (주)웅진씽크빅 도서 객체와 상호작용 컨텐츠를 연계한 독서 지원 시스템 및 방법
KR20220014981A (ko) * 2020-07-30 2022-02-08 주식회사 카루랩 마커 컨텐츠 제공 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102613096B1 (ko) 2023-04-21 2023-12-13 박성순 독서 심리 지도 서비스 제공 방법 및 그 시스템

Similar Documents

Publication Publication Date Title
KR101933558B1 (ko) 동영상 내 하이라이트 댓글을 처리하기 위한 방법 및 시스템
US8135440B2 (en) System for using mobile communication terminal as pointer and method and medium thereof
US9213436B2 (en) Fingertip location for gesture input
EP3701521B1 (en) Voice recognition apparatus and operation method thereof cross-reference to related application
KR102464984B1 (ko) 사용자를 인증하는 방법 및 시스템
US20210209962A1 (en) Teaching system and method, electronic device, and storage medium
TWI703492B (zh) 控制使用者介面之方法、程式及裝置
US11644956B2 (en) Method and system for information providing interface based on new user experience
KR102512184B1 (ko) 독서 지원 시스템 및 방법
US9953380B2 (en) Method and system for setting relationship between users of service using gestures information
JP2017041780A (ja) 動画を特定の視野で表示するシステム、方法、及びプログラム
US20200183974A1 (en) Electronic device for generating video comprising character and method thereof
US9538319B1 (en) Synchronization for mapping applications
KR102520350B1 (ko) 독서 지원 시스템 및 방법
CN114223021A (zh) 电子装置及其处理手写输入的方法
KR102542046B1 (ko) 시각적으로 코딩된 패턴 인식 방법 및 장치
KR101948123B1 (ko) 자동입력 탐지 방법 및 시스템
JP2019003629A (ja) チートアプリケーション識別方法およびシステム
KR102257442B1 (ko) 사용자의 상황에 반응하는 증강현실 서비스 제공 방법 및 그 시스템
KR102172611B1 (ko) 정지영상 또는 동영상 인식을 이용한 증강현실 서비스 제공 방법 및 그 시스템
KR20200054787A (ko) 외국어 사용자를 위한 쇼핑 지원 시스템 및 방법
JP7314221B2 (ja) 音源を検出するための電子装置およびその作動方法
WO2022215347A1 (ja) コンテンツ表示制御システム
KR102593866B1 (ko) 스마트 디바이스 사용 과정에서 시각 장애인의 객체 탐지를 돕기 위한 태스크 기반의 음향 가이드 방법 및 장치
KR102666045B1 (ko) 클라우드 서비스를 제공하는 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant