KR101696558B1 - 증강현실형 hmd를 활용한 독서/학습 보조 시스템 및 방법 - Google Patents

증강현실형 hmd를 활용한 독서/학습 보조 시스템 및 방법 Download PDF

Info

Publication number
KR101696558B1
KR101696558B1 KR1020150170554A KR20150170554A KR101696558B1 KR 101696558 B1 KR101696558 B1 KR 101696558B1 KR 1020150170554 A KR1020150170554 A KR 1020150170554A KR 20150170554 A KR20150170554 A KR 20150170554A KR 101696558 B1 KR101696558 B1 KR 101696558B1
Authority
KR
South Korea
Prior art keywords
additional information
book
display
user
contents
Prior art date
Application number
KR1020150170554A
Other languages
English (en)
Inventor
장인석
정흥섭
차재민
서동윤
박동수
이상돈
김영미
Original Assignee
에스케이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 주식회사 filed Critical 에스케이 주식회사
Priority to KR1020150170554A priority Critical patent/KR101696558B1/ko
Application granted granted Critical
Publication of KR101696558B1 publication Critical patent/KR101696558B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Abstract

증강현실형 HMD를 활용한 독서/학습 보조 시스템 및 방법이 제공된다. 본 발명의 실시예에 따른 독서 보조 시스템은, 사용자가 손으로 들고 책에 표시된 내용을 지시하는데 사용하는 지시 장치 및 사용자가 머리에 착용하며, 책을 투과하여 사용자가 볼 수 있도록 하고, 지시 장치에 의해 지시된 내용에 대한 부가 정보를 획득하여 증강 현실로 표시하는 디스플레이를 포함한다. 이에 의해, 다양한 시각적 효과에 의한 정보 전달에 의한 독자 이해도 향상 및 재미 증대를 통해 독서와 학습의 능률을 배가시킬 수 있게 된다.

Description

증강현실형 HMD를 활용한 독서/학습 보조 시스템 및 방법{Reading/Learning Assistance System and Method using the Augmented Reality type HMD}
본 발명은 독서/학습 보조 기술에 관한 것으로, 더욱 상세하게는 증강현실을 이용하여 독서와 학습 활동을 보조하여 주는 시스템 및 방법에 관한 것이다.
책은 다양한 정보를 문자, 그림, 사진 등으로 인쇄하여 사용자(독자)에게 전달하여 준다. 책을 읽는 중에는 부가 정보가 필요하기 마련이다. 이를 테면, 책에 이해되지 않는 단어가 있는 경우, 그 단어에 대한 설명을 담은 부가 정보가 필요하다.
부가 정보 획득은, 다른 책, 전자사전과 같은 전자기기 또는 인터넷을 통해야 한다. 이는, 사용자가 책에 몰입하는 것을 방해하는 요소로 작용하여, 책에 대한 이해와 재미를 떨어뜨림은 물론, 독서 시간을 길어지게 하여 지루하게 만드는 요인이 되기도 한다.
이에, 책의 내용에 대한 부가 정보를 사용자에게 즉각적이고 간편하게 제공하되, 기왕이면 우수한 시각적인 효과와 재미를 덧붙이기 위한 방안의 모색이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 사용자가 지시 장치로 지시한 책의 내용에 대한 부가 정보를 증강 현실로 제공하는 독서/학습 보조 시스템 및 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 독서 보조 시스템은, 책에 표시된 내용을 지시하는데 사용하는 지시 장치; 및 상기 지시 장치에 의해 지시된 내용에 대한 부가 정보를 획득하여 증강 현실로 표시하는 디스플레이;를 포함한다.
그리고, 상기 디스플레이는, 상기 지시 장치에 의해 지시된 내용을 촬영하는 촬영부; 상기 촬영부에 의해 촬영된 영상으로부터 상기 지시 장치에 의해 지시된 내용을 인식하는 프로세서; 및 인식된 내용에 대한 부가 정보를 외부 서버로부터 획득하는 통신부;를 포함할 수 있다.
또한, 상기 지시된 내용은, 상기 책에 표시된 문자열, 마커 및 객체 중 적어도 하나일 수 있다.
그리고, 상기 지시 장치는, 부가 정보 표시 명령을 입력하기 위한 입력부; 및 상기 입력부를 통해 입력된 상기 부가 정보 표시 명령을 상기 디스플레이로 전달하는 통신모듈;을 포함하고, 상기 디스플레이는, 상기 통신부로부터 상기 부가 정보 표시 명령을 수신하면, 상기 촬영부를 동작시킬 수 있다.
또한, 상기 지시 장치는, 사용자가 손으로 쥐는, 펜 타입의 몸체;를 더 포함하고, 상기 입력부 및 상기 통신모듈은 상기 몸체에 구비되어 있을 수 있다.
그리고, 상기 입력부 및 상기 통신모듈은, 필기구에 착탈 가능한 타입의 부속기구에 구비되어 있을 수 있다.
또한, 상기 부속기구는, 상기 사용자가 상기 필기구를 손에 쥘 때, 손가락들이 위치하는 지점에 장착될 수 있다.
그리고, 상기 책은, 종이 책 및 전자 책 중 적어도 하나를 포함할 수 있다.
또한, 상기 부가 정보는, 상기 지시된 내용에 대한 사전적 의미, 연관 정보 및 관련 컨텐츠, 관련 광고 및 지시된 문제에 대한 답안 중 적어도 하나를 포함할 수 있다.
그리고, 상기 디스플레이는, 상기 사용자가 머리에 착용하며, 상기 책을 투과하여 상기 사용자가 볼 수 있도록 하는 HMD(Head Mounted Display)일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 독서 보조 방법은, 디스플레이가, 책에 표시된 내용을 지시하는데 사용하는 지시 장치에 의해 지시된 내용에 대한 부가 정보를 획득하여 단계; 및 상기 디스플레이가, 획득한 부가 정보를 획득하여, 증강 현실로 표시하는 단계;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 부가 정보 제공 서버는, 네트워크를 통해 부가 정보 요청을 수신하는 네트워크 인터페이스; 및 요청된 부가 정보를 제공하는 정보 제공부;를 포함하고, 상기 부가 정보는, 책에 표시된 내용을 지시하는데 사용하는 지시 장치에 의해 지시된 내용에 대한 부가 정보를 증강 현실로 표시하는 디스플레이에 제공된다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 사용자가 지시 장치로 지시한 책의 내용에 대한 부가 정보를 증강 현실로 제공하여, 다양한 시각적 효과에 의한 정보 전달에 의한 독자 이해도 향상 및 재미 증대를 통해 독서와 학습의 능률을 배가시킬 수 있게 된다.
또한, 본 발명의 실시예들에 따르면, 펜으로 기능하는 지시 장치나 필기를 위해 사용하는 펜에 부속기구를 장착하여, 부가정보를 원하는 내용을 지시할 수 있어, 사용자가 내용 지시를 위한 다른 입력 수단을 사용하지 않아도 되므로, 독서와 학습에 보다 더 집중할 수 있게 된다.
아울러, 본 발명의 실시예들에 따르면, 사용자의 명령이 있는 경우에 비로소 촬영을 통해 지시 내용을 파악하므로, 부가 정보 제공을 위한 전력 소모 및 리소스 낭비를 최소화할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 독서/학습 보조 시스템의 블럭도,
도 2는, 도 1에 도시된 펜형 지시 장치의 일 구현 예를 나타낸 도면,
도 3은, 도 1에 도시된 펜형 지시 장치의 다른 구현 예를 나타낸 도면,
도 4는, 도 1에 도시된 투시형 HMD의 상세 블럭도,
도 5는, 도 1에 도시된 부가 정보 제공 서버의 상세 블럭도, 그리고,
도 6은, 도 1에 도시된 독서/학습 보조 시스템에 의한 부가 정보 제공 방법의 설명에 제공되는 순서도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
1. 독서/학습 보조 시스템
도 1은 본 발명의 일 실시예에 따른 독서/학습 보조 시스템의 블럭도이다. 본 발명의 실시예에 따른 독서/학습 보조 시스템은, 사용자가 지시한 책(100)의 내용(110, 120, 130)에 대한 부가 정보를 증강현실로 제공하여, 독서와 학습 활동을 보조하기 위한 시스템이다.
이와 같은 기능을 수행하기 위한, 본 발명의 실시예에 따른 독서/학습 보조 시스템은, 도 1에 도시된 바와 같이, 책(100), 펜형 지시 장치(200), 투시형 HMD(Head Mounted Display)(300), 모바일 단말(400) 및 부가 정보 제공 서버(500)를 포함하여 구축된다.
책(100)은 종이 책, 전자 책 등 그 유형을 불문하며, 책의 분야/장르 등을 불문한다. 책(100)에는 문자열(110), 마커(120), 객체(130) 등이 내용으로 표시되어 있는데, 본 발명의 실시예에 따른 시스템에서는 이들에 대한 부가 정보가 제공된다.
펜형 지시 장치(200)는 사용자가 손으로 들고, 책(100)에 표시된 내용을 지시하는데 사용하는 장치이다. 책(100)에 표시된 문자열(110), 마커(120), 객체(130) 등이 지시 대상이다.
투시형 HMD(300)는 사용자가 머리에 착용하며, 전방의 물체를 투시하는 타입의 디스플레이이다. 이에, 사용자는 투시형 HMD(300)를 착용한 상태로 책(100)을 볼 수 있다.
또한, 투시형 HMD(300)는 펜형 지시 장치(200)를 이용하여 사용자가 지시한 내용을 인식하고, 인식된 내용에 대한 부가 정보를 증강현실로 표시한다.
모바일 단말(400)은 투시형 HMD(300)와 부가 정보 제공 서버(500) 간의 요청 및 정보 전달을 중계하는 통신 수단이다. 투시형 HMD(300)이 부가 정보 제공 서버(500)와 직접 통신할 수 없어 필요한 구성이다.
부가 정보 제공 서버(500)는, 모바일 단말(400)을 통해 투시형 HMD(300)가 요청한 내용에 대한 부가 정보를 제공한다. 제공되는 부가 정보는, 부가 정보 제공 서버(500)가 보유하고 있거나 검색 등을 통해 외부로부터 획득할 수 있다.
부가 정보는, 텍스트 정보일 수도 있고, 이미지나 동영상 등의 컨텐츠일 수도 있다.
본 발명의 실시예에 따른 독서/학습 보조 시스템은, 책(100)에 대한 부가 서비스 제공에 이용되는 시스템으로, 서비스는 무료로 제공할 수 있음은 물론, 유료로 제공할 수도 있다.
또한, 제공되는 부가 정보의 종류에 대한 제한은 없다. 부가 정보는, 지시된 내용에 대한 사전적 의미, 연관 정보 및 관련 컨텐츠는 물론, 연관/관련 광고도 포함할 수 있다.
나아가, 책(100)이 학습지(문제지)인 경우, 문제에 대한 정답이나 모범 답안을 부가 정보로써 증강현실로 제공하는 서비스도 가능하다.
2. 펜형 지시 장치
도 2는, 도 1에 도시된 펜형 지시 장치(200)의 일 구현 예를 나타낸 도면이다. 도시된 펜형 지시 장치(210)는, 몸체(211), 입력부(212) 및 통신 모듈(213)을 포함한다.
몸체(211)는 사용자가 손으로 쥘 수 있는 펜 타입이다. 몸체(211)의 하단은 사용자가 책(100)의 내용(110, 120, 130)을 지시하는데 이용된다.
책(100)이 종이책인 경우, 펜형 지시 장치(210)에는 필기 기능이 요구되므로, 몸체(211)의 하단에 연필, 볼펜 등의 필기 수단을 구비시킬 수 있다.
입력부(212)는 부가 정보 표시 명령을 입력하기 위한 사용자 입력 수단이다. 입력부(212)는 사용자가 펜형 지시 장치(210)를 손에 쥘 때, 손가락들(엄지, 검지, 중지)이 위치하는 지점에 위치한다.
입력부(212)는 버튼 타입으로 구현 가능한데, 이 경우 물리적 버튼과 터치형 버튼을 불문한다. 나아가, 입력부(212)를 버튼 타입 이외의 다른 방식의 사용자 입력 수단으로 구현하는 것도 가능함은 물론이다.
통신 모듈(213)은 입력부(212)를 통해 입력된 부가 정보 표시 명령을 투시형 HMD(300)로 무선 전송한다. 몸체(211) 내에서 통신 모듈(213)의 위치에 대한 제한은 없다. 몸체(211)의 상부가 아닌 다른 곳에도 통신 모듈(213)이 위치할 수 있다.
도 3은, 도 1에 도시된 펜형 지시 장치(200)의 다른 구현 예를 나타낸 도면이다. 도시된 펜형 지시 장치는, 도 3에 도시된 바와 같이, 필기구(20)와 부속 기구(220)의 결합에 의해 완성된다.
필기구(20)는 사용자가 보유/사용하고 있는 연필, 볼펜 등의 필기 수단이다. 부속 기구(220)는 필기구(20)에 착탈 가능한 타입으로 구현되어, 필기구(20)의 다양한 높이에 결합 되도록, 위치 조정이 가능하다. 이에, 사용자가 필기구(20)를 손에 쥘 때, 손가락들(엄지, 검지, 중지)이 위치하는 지점에 위치시킬 수 있다.
입력부(222)와 통신 모듈(223)은, 도 2에 도시된 입력부(212)와 통신 모듈(213)과 그 기능이 동일하므로, 이들에 대한 상세한 설명은 생략한다.
3. 투시형 HMD
도 4는, 도 1에 도시된 투시형 HMD(300)의 상세 블럭도이다. 투시형 HMD(300)는, 도 4에 도시된 바와 같이, 카메라(310), 투시형 양안 디스플레이(320), 프로세서(330), 저장부(340) 및 통신부(350)를 포함한다.
카메라(310)는 투시형 HMD(300)에서 사용자의 시야 방향을 촬영할 수 있는 각도로 설치된다. 이에, 카메라(310)는 사용자가 바라보고 있는 '펜형 지시 장치(200)로 지시한 책(100)의 내용'을 촬영할 수 있다.
프로세서(330)는 카메라(310)에 의해 촬영된 영상으로부터 펜형 지시 장치(200)에 의해 지시된 내용을 인식한다. 이를 위해, 프로세서(330)는 문자 인식, 마커/코드 인식, 객체/사물 인식 등을 수행할 수 있다.
프로세서(330)는 인식된 내용에 대한 부가 정보를 통신부(350)를 통해 모바일 단말(400)에 요청한다. 모바일 단말(400)에 전달된 부가 정보 요청은 네트워크(N)를 통해 부가 정보 제공 서버(500)로 전달되며, 이에 부가 정보 제공 서버(500)로부터 부가 정보가 제공된다.
투시형 양안 디스플레이(320)는, 책(100)의 내용을 사용자의 양안에 투시하는 한편, 프로세서(330)에 의해 인가되는 부가 정보를 증강현실로 표시하여, 책(100)과 부가 정보가 합성된 장면을 사용자에게 제공한다.
한편, 통신부(350)는 펜형 지시 장치(200)로부터 부가 정보 표시 명령을 수신하여 프로세서(330)로 전달한다. 부가 정보 표시 명령을 수신한 프로세서(330)는 카메라(310)의 촬영 동작을 개시시킨다.
즉, 카메라(310)는 항시 촬영 동작을 수행하는 것이 아니라, 펜형 지시 장치(200)를 통해 사용자가 부가 정보 표시 명령을 입력한 경우에만 촬영 동작을 수행하는 것임에 유념하여야 한다.
저장부(340)는 투시형 HMD(300)에 필요한 프로그램과 데이터가 저장되는 저장매체이다.
4. 부가 정보 제공 서버
도 5는, 도 1에 도시된 부가 정보 제공 서버(500)의 상세 블럭도이다. 부가 정보 제공 서버(500)는, 도 5에 도시된 바와 같이, 네트워크 인터페이스(510), 정보 검색부(520), 정보 제공부(530) 및 저장부(540)를 포함한다.
네트워크 인터페이스(510)는 네트워크(N)에 액세스하여, 모바일 단말(400)을 통해 투시형 HMD(300)와 통신한다.
정보 검색부(520)는 투시형 HMD(300)가 요청한 부가 정보를 네트워크(N)를 통해 외부 서버, 외부 DB 등에 접속하여 검색한다.
저장부(540)는 책(100)의 내용들(110, 120, 130)에 대한 부가 정보들과 사전 DB, 지식 정보 등을 보유하고 있다.
정보 제공부(530)는 투시형 HMD(300)가 요청한 부가 정보를 네트워크 인터페이스(510)를 통해 투시형 HMD(300)에 전달한다. 전달하는 부가 정보는, 정보 검색부(520)에 의해 검색된 정보와, 정보 제공부(530)가 저장부(540)에서 추출한 정보가 포함된다.
5. 부가 정보 제공을 통한 독서/학습 보조 방법
도 6은, 도 1에 도시된 독서/학습 보조 시스템에 의한 부가 정보 제공 방법의 설명에 제공되는 순서도이다.
도 6에 도시된 바와 같이, 투시형 HMD(300)가 책(100)의 내용(110, 120 ,130)을 사용자의 양안에 투시하여, 사용자가 읽을 수 있도록 한다(S610).
이 과정에서, 펜형 지시 장치(200)를 통해 사용자가 책(100)의 내용(110, 120 ,130)을 지시하면서 버튼을 눌러 부가 정보 표시를 명령하면(S620), 펜형 지시 장치(200)는 입력된 부가 정보 표시 명령을 투시형 HMD(300)에 전송한다(S630).
투시형 HMD(300)는 카메라(310)를 동작시켜 사용자가 펜형 지시 장치(200)로 지시한 책(100)의 내용(110, 120 ,130)을 촬영하고(S640), 촬영된 영상으로부터 펜형 지시 장치(200)에 의해 지시된 내용을 인식한다(S650).
다음, 투시형 HMD(300)는 인식한 내용에 대한 부가 정보를 모바일 단말(400)에 요청하고(S660), 모바일 단말(400)은 수신한 요청을 네트워크(N)를 통해 부가 정보 제공 서버(500)에 전달한다(S670).
이에, 부가 정보 제공 서버(500)는 요청된 부가 정보를 모바일 단말(400)에 제공하고(S680), 모바일 단말(400)은 수신한 부가 정보를 투시형 HMD(300)에 전달한다(S690).
그러면, 투시형 HMD(300)는 전달받은 부가 정보를 증강현실로 표시하여, 책(100)의 내용(110, 120 ,130)과 부가 정보가 합성된 장면을 사용자에게 제공한다(S695).
6. 변형예
지금까지, 증강현실형 HMD를 활용한 독서/학습 보조 시스템 및 방법에 대해 바람직한 실시예들을 들어 상세히 설명하였다.
위 실시예에서, 모바일 단말(400)이 필요한 것은 투시형 HMD(300)이 부가 정보 제공 서버(500)와 직접 통신할 수 없기 때문이었다. 따라서, 투시형 HMD(300)이 부가 정보 제공 서버(500)와 직접 통신할 수 있다면, 즉, 투시형 HMD(300)이 무선 인터넷이나 이동 통신이 가능하다면, 모바일 단말(400)은 생략 가능하다.
그리고, 위 실시예에서, 증강 현실을 제공하는 장치가 투시형 HMD(300)인 것으로 설명하였으나, 이는 일 예에 불과하며, 증강현실을 기능을 제공할 수 있는 장치라면 어느 것이라도 될 수 있음은 물론이다. 예를 들어, 모바일 단말(400)이 카메라로 촬영된 영상에 증강현실로 부가 정보를 제공하도록 구현될 수도 있음은 물론이다.
또한, 위 실시예에서, 부가 정보는 부가 정보 제공 서버(500)에 의해 제공되는 것을 상정하였으나, 이 역시 예시적인 것에 불과하다. 투시형 HMD(300)의 저장부(340)에 부가 정보가 저장되어 있거나, 미리 다운로드 되는 것으로 구현가능하며, 이 경우, 독서/학습 보조 시스템에서 모바일 단말(400)과 부가 정보 제공 서버(500)는 생략 가능하다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 책
200 : 펜형 지시 장치
300 : 투시형 HMD
400 : 모바일 단말
500 : 부가 정보 제공 서버

Claims (12)

  1. 필기구에 착탈 가능한 부속기구 타입으로, 책에 표시된 내용을 지시하는데 사용하는 지시 장치; 및
    상기 지시 장치에 의해 지시된 내용에 대한 부가 정보를 획득하여 증강 현실로 표시하는 디스플레이;를 포함하고,
    상기 지시 장치는,
    사용자가 상기 필기구를 손에 쥘 때 손가락이 위치하는 지점에 마련되어, 상기 사용자로부터 부가 정보 표시 명령을 입력받는 입력부; 및
    상기 입력부를 통해 입력된 상기 부가 정보 표시 명령을 상기 디스플레이로 전달하는 통신모듈;을 포함하며,
    상기 디스플레이는,
    상기 지시 장치에 의해 지시된 내용을 촬영하는 촬영부;
    상기 촬영부에 의해 촬영된 영상으로부터 상기 지시 장치에 의해 지시된 내용을 인식하는 프로세서; 및
    인식된 내용에 대한 부가 정보를 외부 서버로부터 획득하는 통신부;를 포함하고,
    상기 프로세서는,
    상기 통신부를 통해 상기 지시 장치의 상기 통신모듈로부터 상기 부가 정보 표시 명령을 수신하면, 상기 촬영부를 동작시키는 것을 특징으로 하는 독서 보조 시스템.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 지시된 내용은, 상기 책에 표시된 문자열, 마커 및 객체 중 적어도 하나인 것을 특징으로 하는 독서 보조 시스템.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 청구항 1에 있어서,
    상기 책은,
    종이 책 및 전자 책 중 적어도 하나를 포함하는 것을 특징으로 하는 독서 보조 시스템.
  9. 청구항 1에 있어서,
    상기 부가 정보는,
    상기 지시된 내용에 대한 사전적 의미, 연관 정보 및 관련 컨텐츠, 관련 광고 및 지시된 문제에 대한 답안 중 적어도 하나를 포함하는 것을 특징으로 하는 독서 보조 시스템.
  10. 청구항 1에 있어서,
    상기 디스플레이는,
    상기 사용자가 머리에 착용하며, 상기 책을 투과하여 상기 사용자가 볼 수 있도록 하는 HMD(Head Mounted Display)인 것을 특징으로 하는 독서 보조 시스템.,
  11. 디스플레이가, 책에 표시된 내용을 지시하는데 사용하는 지시 장치에 의해 지시된 내용에 대한 부가 정보를 획득하여 단계; 및
    상기 디스플레이가, 획득한 부가 정보를 획득하여, 증강 현실로 표시하는 단계;를 포함하고,
    상기 지시 장치는,
    필기구에 착탈 가능한 부속기구 타입으로, 사용자가 상기 필기구를 손에 쥘 때 손가락이 위치하는 지점에 상기 사용자로부터 부가 정보 표시 명령을 입력받는 입력부가 마련되어 있고, 상기 입력부를 통해 입력된 상기 부가 정보 표시 명령을 상기 디스플레이로 전달하며,
    상기 디스플레이는,
    상기 지시 장치로부터 상기 부가 정보 표시 명령을 수신하면 상기 지시 장치에 의해 지시된 내용을 촬영하는 촬영부를 동작시켜, 상기 촬영부에 의해 촬영된 영상으로부터 상기 지시 장치에 의해 지시된 내용을 인식하고, 인식된 내용에 대한 부가 정보를 외부 서버로부터 획득하는 것을 특징으로 하는 독서 보조 방법.
  12. 네트워크를 통해 부가 정보 요청을 수신하는 네트워크 인터페이스; 및
    요청된 부가 정보를 제공하는 정보 제공부;를 포함하고,
    상기 부가 정보는,
    책에 표시된 내용을 지시하는데 사용하는 지시 장치에 의해 지시된 내용에 대한 부가 정보를 증강 현실로 표시하는 디스플레이에 제공되고,
    상기 지시 장치는,
    필기구에 착탈 가능한 부속기구 타입으로, 사용자가 상기 필기구를 손에 쥘 때 손가락이 위치하는 지점에 상기 사용자로부터 부가 정보 표시 명령을 입력받는 입력부가 마련되어 있고, 상기 입력부를 통해 입력된 상기 부가 정보 표시 명령을 상기 디스플레이로 전달하며,
    상기 디스플레이는,
    상기 지시 장치로부터 상기 부가 정보 표시 명령을 수신하면 상기 지시 장치에 의해 지시된 내용을 촬영하는 촬영부를 동작시켜, 상기 촬영부에 의해 촬영된 영상으로부터 상기 지시 장치에 의해 지시된 내용을 인식하고, 인식된 내용에 대한 부가 정보를 외부 서버로부터 획득하는 것을 특징으로 하는 부가 정보 제공 서버.
KR1020150170554A 2015-12-02 2015-12-02 증강현실형 hmd를 활용한 독서/학습 보조 시스템 및 방법 KR101696558B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150170554A KR101696558B1 (ko) 2015-12-02 2015-12-02 증강현실형 hmd를 활용한 독서/학습 보조 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150170554A KR101696558B1 (ko) 2015-12-02 2015-12-02 증강현실형 hmd를 활용한 독서/학습 보조 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101696558B1 true KR101696558B1 (ko) 2017-01-13

Family

ID=57835475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150170554A KR101696558B1 (ko) 2015-12-02 2015-12-02 증강현실형 hmd를 활용한 독서/학습 보조 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101696558B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200128506A (ko) 2018-12-26 2020-11-13 (주)소프트젠 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법
CN112270768A (zh) * 2020-11-09 2021-01-26 中山大学 基于虚拟现实技术的古籍阅读方法、系统及其构建方法
WO2023106674A1 (ko) * 2021-12-07 2023-06-15 주식회사 모랑스 독서대에서 촬영되는 이미지를 활용한 광고 방법 및 광고 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000032647A (ko) * 1998-11-17 2000-06-15 정선종 3차원 독서 지원 시스템 및 방법
JP2003524270A (ja) * 2000-02-24 2003-08-12 シルバーブルック リサーチ ピーティーワイ リミテッド ペン用コードセンサ付属部品
KR20110099176A (ko) * 2010-03-01 2011-09-07 이문기 증강현실의 포인팅 장치
KR20120035321A (ko) * 2010-10-05 2012-04-16 에스케이플래닛 주식회사 증강 현실 컨텐츠 재생 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000032647A (ko) * 1998-11-17 2000-06-15 정선종 3차원 독서 지원 시스템 및 방법
JP2003524270A (ja) * 2000-02-24 2003-08-12 シルバーブルック リサーチ ピーティーワイ リミテッド ペン用コードセンサ付属部品
KR20110099176A (ko) * 2010-03-01 2011-09-07 이문기 증강현실의 포인팅 장치
KR20120035321A (ko) * 2010-10-05 2012-04-16 에스케이플래닛 주식회사 증강 현실 컨텐츠 재생 시스템 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200128506A (ko) 2018-12-26 2020-11-13 (주)소프트젠 발달장애인의 언어 훈련을 위한 가상현실 교육 시스템 및 방법
CN112270768A (zh) * 2020-11-09 2021-01-26 中山大学 基于虚拟现实技术的古籍阅读方法、系统及其构建方法
CN112270768B (zh) * 2020-11-09 2023-11-03 中山大学 基于虚拟现实技术的古籍阅读方法、系统及其构建方法
WO2023106674A1 (ko) * 2021-12-07 2023-06-15 주식회사 모랑스 독서대에서 촬영되는 이미지를 활용한 광고 방법 및 광고 시스템

Similar Documents

Publication Publication Date Title
US9836263B2 (en) Display control device, display control method, and program
Agrawal et al. Using mobile phones to write in air
US20180129278A1 (en) Interactive Book and Method for Interactive Presentation and Receiving of Information
US20180101237A1 (en) System, method, and apparatus for man-machine interaction
CN105306084B (zh) 眼镜型终端及其控制方法
US7958447B2 (en) Method and system for page navigating user interfaces for electronic devices
KR20120053803A (ko) 시선 궤적을 이용한 컨텐츠 표시 장치 및 방법
US20140193038A1 (en) Image processing apparatus, image processing method, and program
KR101696558B1 (ko) 증강현실형 hmd를 활용한 독서/학습 보조 시스템 및 방법
WO2007141204A1 (en) System and method for recalling media
JP2011516924A (ja) マルチモードの学習システム
TWI333365B (en) Rending and translating text-image method and system thereof
CN104217197A (zh) 一种基于视觉手势的点读方法和装置
US9378427B2 (en) Displaying handwritten strokes on a device according to a determined stroke direction matching the present direction of inclination of the device
WO2020192394A1 (zh) 笔记显示方法、装置、终端和存储介质
KR20020090227A (ko) 정보 조합 방법 및 시스템
US20170053449A1 (en) Apparatus for providing virtual contents to augment usability of real object and method using the same
CN111160333A (zh) Ar眼镜及其文本翻译方法、装置和计算机可读存储介质
JP2015158900A (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2019061590A (ja) 情報処理装置、情報処理システム及びプログラム
CN113950822A (zh) 实体活动表面的虚拟化
Billah et al. Write-it-yourself with the aid of smartwatches: A wizard-of-oz experiment with blind people
JP2008241736A (ja) 学習端末およびその制御方法、正誤判定サーバおよびその制御方法、学習システム、学習端末制御プログラム、正誤判定サーバ制御プログラム、並びに、該プログラムを記録した記録媒体
Aranyanak et al. A system for tracking braille readers using a Wii Remote and a refreshable braille display
KR20140082618A (ko) 전자펜을 이용하여 단말장치의 동작을 제어하는 방법 및 그 단말장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191226

Year of fee payment: 6