KR102338019B1 - 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템 및 방법 - Google Patents

펜모션 인식 멀티디바이스 콘텐츠 구현 시스템 및 방법 Download PDF

Info

Publication number
KR102338019B1
KR102338019B1 KR1020170170720A KR20170170720A KR102338019B1 KR 102338019 B1 KR102338019 B1 KR 102338019B1 KR 1020170170720 A KR1020170170720 A KR 1020170170720A KR 20170170720 A KR20170170720 A KR 20170170720A KR 102338019 B1 KR102338019 B1 KR 102338019B1
Authority
KR
South Korea
Prior art keywords
pen
motion
output device
output
leader
Prior art date
Application number
KR1020170170720A
Other languages
English (en)
Other versions
KR20190070162A (ko
Inventor
조상용
Original Assignee
주식회사 글로브포인트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 글로브포인트 filed Critical 주식회사 글로브포인트
Priority to KR1020170170720A priority Critical patent/KR102338019B1/ko
Publication of KR20190070162A publication Critical patent/KR20190070162A/ko
Application granted granted Critical
Publication of KR102338019B1 publication Critical patent/KR102338019B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

펜모션 인식 멀티디바이스 콘텐츠 구현 시스템 및 방법이 개시된다. 본 발명의 실시 예에 따르면, 고유의 마커를 포함하는 복수의 오브젝트로 이루어진 콘텐츠 제공기, 복수의 오브젝트 중 어느 하나의 오브젝트가 선택되면, 사용자의 조작에 의해 발생한 모션에 대응하도록 기설정된 출력 형태를 결정하여 제어하는 리더펜, 및 리더펜에 의해 결정된 출력 형태에 따라, 선택된 오브젝트에 포함된 고유의 마커에 해당하는 콘텐츠를 출력하는 출력기를 포함하는 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템이 제공된다.

Description

펜모션 인식 멀티디바이스 콘텐츠 구현 시스템 및 방법 {System and method for realizing multi-device contents based on pen-motion}
본 발명은 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템 및 방법에 관한 것으로서, 보다 상세하게는, 전자펜의 움직임을 인식하여 그에 따른 멀티디바이스 콘텐츠를 재생하는 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템 및 방법에 관한 것이다.
도서나 학습 벽보에 펜을 갖다 대면 글을 읽어주거나 그림을 설명해주는 전자펜이 인기를 얻고 있다. 전자펜은 원하는 단어와 문장을 반복해서 들을 수 있어 언어 학습에 도움이 되며, 녹음 기능을 포함하고 있는 경우 사용자가 직접 목소리를 녹음해 발음을 비교할 수도 있어 활용도가 높은 제품으로 각광받고 있다.
기존의 전자펜은 기본적으로 책이나 벽보 등에 나와 있는 단어나 그림에 전자펜을 가져다대면, 전자펜이 단어나 그림에 포함되어 있는 보이지 않는 특정 마커를 인식하여 해당 음성이나 소리를 스피커로 출력한다.
전자펜이 인기를 얻고 있음에 따라, 각종 출판사, 및 학습지 업체들은 다양한 전자펜의 활용 방안들을 제시하고 있으며, 각 업체들에서 각자의 성격에 맞추어 변화된 전자펜들을 선보이고 있다.
하지만, 여러 업체들별로 제공되는 전자펜은 그 외형이 변형되는 것이 대부분일 뿐, 소리 혹은 음성을 출력하는 기능, 음악 파일을 저장하여 음악을 재생하는 기능, 및 사용자에 의해 발생하는 소리를 녹음하는 기능과 같이 전자펜에 기본적으로 포함되는 메모리 및 스피커를 이용하는 기능 이외에는 다른 기능을 제공하지는 못하고 있는 실정이다.
국내공개특허 제2009-012558호(2009. 12. 09. 공개)
전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 사용자에 의해 조작되는 리더펜의 모션에 따라 리더펜의 내장 스피커 이외에도 다양한 디바이스를 통해 콘텐츠를 구현할 수 있는 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템 및 방법을 제시하는 데 있다.
본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 기술적 과제를 해결하기 위한 수단으로서, 본 발명의 실시 예에 따르면, 고유의 마커를 포함하는 복수의 오브젝트로 이루어진 콘텐츠 제공기, 복수의 오브젝트 중 어느 하나의 오브젝트가 선택되면, 사용자의 조작에 의해 발생한 모션에 대응하도록 기설정된 출력 형태를 결정하여 제어하는 리더펜, 및 리더펜에 의해 결정된 출력 형태에 따라, 선택된 오브젝트에 포함된 고유의 마커에 해당하는 콘텐츠를 출력하는 출력기를 포함하는 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템이 제공된다.
바람직하게, 사용자의 조작에 의해 발생한 모션은, 어느 하나의 오브젝트가 선택되는 동작의 직전 혹은 직후에 발생하는 모션일 수 있다.
또한 바람직하게, 출력기는 리더펜에 내장된 내장 스피커를 포함하는 내부 출력기, 및 외부 스피커, 영상출력기기, 및 VR HMD(Virtual Reality Head Mounted Display) 를 포함하는 외부 출력기중 적어도 어느 하나일 수 있다.
또한 바람직하게, 리더펜은, 복수의 오브젝트에 포함되어 있는 고유의 마커를 인식하는 센서부, 사용자의 조작에 의해 발생한 모션을 인식하는 모션 인식부, 외부 출력기와의 인터페이스를 지원하는 근거리 통신부, 및 모션 인식부에 의해 인식된 모션에 대응하는 출력 형태를 결정하고, 결정된 출력 형태에 따라 내부 출력기 및 외부 출력기를 제어하는 제어부를 포함할 수 있다.
또한 바람직하게, 센서부는, 복수의 오브젝트 중 어느 하나의 오브젝트에 기설정된 인식범위 이내로 근접하게 되면, 어느 하나의 오브젝트에 포함되어 있는 고유의 마커를 인식할 수 있다.
또한 바람직하게, 제어부는, 결정된 출력 형태가 내부 출력기에 의해 수행되는 것일 경우, 내장된 내장 스피커를 통해 선택된 오브젝트에 포함된 고유의 마커에 해당하는 콘텐츠를 출력하도록 제어하고, 결정된 출력 형태가 외부 출력기에 의해 수행되는 것일 경우, 근거리 통신부를 통해 외부 출력기 중 해당 외부 출력기가 선택된 오브젝트에 포함된 고유의 마커에 해당하는 콘텐츠를 출력하도록 제어할 수 있다.
한편, 본 발명의 다른 실시 예에 따르면, 고유의 마커를 포함하는 복수의 오브젝트로 이루어진 콘텐츠 제공기로부터 리더펜에 의해 복수의 오브젝트 중 어느 하나의 오브젝트가 선택되는 단계, 사용자의 조작에 의해 발생한 모션에 대응하도록 기설정된 출력 형태를 결정하는 단계, 및 결정된 출력 형태에 따라, 선택된 오브젝트에 포함된 고유의 마커에 해당하는 콘텐츠를 출력하는 단계를 포함하는 펜모션 인식 멀티디바이스 콘텐츠 구현 방법이 제공된다.
바람직하게, 사용자에 의한 리더펜의 조작에 의해 발생하는 모션을 인식하는 단계를 더 포함할 수 있다.,
또한 바람직하게, 모션을 인식하는 단계는, 어느 하나의 오브젝트가 선택되는 단계의 직전 혹은 직후에 수행될 수 있다.
또한 바람직하게, 오브젝트가 선택되는 단계에서, 리더펜이 복수의 오브젝트 중 어느 하나의 오브젝트에 기설정된 인식범위 이내로 근접하게 되면, 어느 하나의 오브젝트에 포함되어 있는 고유의 마커를 인식할 수 있다.
본 발명에 따르면, 책, 학습벽보 등과 같은 제한적인 매체를 통해서는 제공할 수 없었던 다양한 형태의 정보를 리더펜을 기정해진 모션으로 움직이는 간단한 동작에 의해 다양한 매체를 통해 제공할 수 있는 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템 및 방법을 제공하는 효과가 있다.
이러한 리더펜을 학습 시스템에 적용할 경우, 다양한 매체를 통해 다양한 형태로 학습 정보를 전달함으로써, 학습자의 흥미를 유발하고 쉽게 지치지 않도록 하여 학습효과를 향상할 수 있는 효과가 이TEk.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 바람직한 실시예에 따른 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템의 구성도,
도 2는 본 발명의 바람직한 실시예에 따른 리더펜의 블럭도,
도 3a 내지 도 3c는 본 발명의 바람직한 실시예에 따른 리더펜의 모션을 예시한 도면, 그리고,
도 4는 본 발명의 바람직한 실시예에 따른 펜모션 인식 멀티디바이스 콘텐츠 구현 방법을 설명하기 위한 흐름도이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시 예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시 예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시 예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.
어떤 엘리먼트, 구성요소, 장치, 또는 시스템이 프로그램 또는 소프트웨어로 이루어진 구성요소를 포함한다고 언급되는 경우, 명시적인 언급이 없더라도, 그 엘리먼트, 구성요소, 장치, 또는 시스템은 그 프로그램 또는 소프트웨어가 실행 또는 동작하는데 필요한 하드웨어(예를 들면, 메모리, CPU 등)나 다른 프로그램 또는 소프트웨어(예를 들면 운영체제나 하드웨어를 구동하는데 필요한 드라이버 등)를 포함하는 것으로 이해되어야 할 것이다.
또한, 어떤 엘리먼트(또는 구성요소)가 구현됨에 있어서 특별한 언급이 없다면, 그 엘리먼트(또는 구성요소)는 소프트웨어, 하드웨어, 또는 소프트웨어 및 하드웨어 어떤 형태로도 구현될 수 있는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 바람직한 실시예에 따른 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템은 콘텐츠 제공기(100), 리더펜(200), 및 출력기(300)로 이루어진다.
콘텐츠 제공기(100)는 고유의 마커를 포함하는 복수의 오브젝트로 이루어진 콘텐츠를 제공한다. 여기서, 복수의 오브젝트는, 콘텐츠 제공기(100) 내에 포함되는 그림, 문자, 배경을 포함하며, 각 오브젝트에는 오브젝트별로 표현할 수 있는 다양한 콘텐츠를 재생하기 위한 고유의 마커가 포함된다. 또한, 오브젝트별로 표현할 수 있는 다양한 콘텐츠는 소리, 음성, 영상, 가상현실 중 적어도 하나의 형태로 구현될 수 있다.
콘텐츠 제공기(100)로는 종이책, 전자책, 및 컴퓨터와 같은 매체를 이용한 스토리북과 같이 다양한 형태로 콘텐츠를 제공할 수 있는 것이면 모두 적용될 수 있다.
리더펜(200)은 사용자가 손으로 잡고 사용하기 용이하도록 펜 형상으로 형성되며, 사용자의 조작에 의해 콘텐츠 제공기(100)에 포함되어 있는 복수의 오브젝트 중 어느 하나를 선택하여 정보를 제공받을 수 있다.
본 실시예에서, 리더펜(200)은 단순히 오브젝트를 선택하는 기능만을 수행하는 것이 아니라, 사용자와 기약속된 모션을 인식하여 모션에 해당하는 출력기(300)를 선택할 수 있다. 리더펜(200)에 관하여는 후술하는 도 2에서 보다 상세히 설명한다.
출력기(300)는 리더펜(200)에 의해 결정된 출력 형태에 따라, 사용자가 선택한 오브젝트에 포함된 고유의 마커에 해당하는 콘텐츠를 출력한다. 본 실시예에서, 출력기(300)는 내부 출력기와 외부 출력기(300)를 포함한다.
내부 출력기는 리더펜(200)에 내장된 내장 스피커일 수 있다. 또한, 외부 출력기(300)는 리더펜(200)과의 근거리 통신이 가능한 외부 스피커 예를 들면, 블루투스 스피커, 전자패드와 같은 영상출력기기, 및 가상현실의 구현이 가능한 VR HMD(Virtual Reality Head Mounted Display) 중 적어도 어느 하나일 수 있다.
출력기(300)가 내장 스피커 혹은 블루투스 스피커로 선택된 경우에는 콘텐츠가 소리 혹은 음성으로만 출력될 것이고, 전자패드로 선택된 경우에는 소리와 영상이 함께 출력될 것이다. 또한, VR HMD가 선택된 경우에는 가상현실 콘텐츠가 출력되어 사용자는 3D로 콘텐츠를 제공받을 수 있다.
본 실시예에서는 도시하지 않았으나, 리더펜(200)에 소형 디스플레이가 구비될 수도 있다. 이러한 경우, 내부 출력기는 내장 스피커와 내장 소형 디스플레이를 포함하며, 콘텐츠의 출력이 내부 출력기를 통하는 것으로 선택된 경우에 소리와 영상이 함께 출력될 수 있다.
도 2는 본 발명의 바람직한 실시예에 따른 리더펜의 블럭도이다.
도 2를 참조하면, 본 발명의 바람직한 실시예에 따른 리더펜(200)은 센서부(210), 모션 인식부(220), 근거리 통신부(230), 내장 스피커(240), 메모리부(250), 및 제어부(260)를 포함한다.
센서부(210)는 콘텐츠 제공기(100)에 포함되어 있는 복수의 오브젝트 중 사용자의 조작에 의해 어느 하나의 오브젝트가 선택되면, 선택된 오브젝트에 포함되어 있는 고유의 마커를 인식한다.
센서부(210)는 하드웨어적으로 리더펜(200)의 몸체 하단에 구비된다. 이에 의해, 사용자가 리더펜(200)의 몸체를 손으로 잡았을 때, 통상의 펜을 사용하는 것과 동일하게 몸체의 하단을 콘텐츠 제공기(100)의 오브젝트에 가져다대는 동작을 용이하게 수행할 수 있다.
모션 인식부(220)는 사용자의 조작에 의해 발생하는 모션을 인식한다. 앞에서도 언급한 바와 같이, 기존의 전자펜에서는 전자펜을 종이책에 인쇄된 그림 혹은 문자에 가져다대면 전자펜에 내장된 스피커를 통해 소리나 음성을 출력하는 형태이다.
하지만, 본 실시예에 따르면, 본 발명에 사용되는 리더펜(200)은 리더펜(200)을 종이책과 같은 콘텐츠 제공기(100)의 원하는 부분에 가져다대는 동작과 더불어 기설정된 모션에 의해 출력기(300)를 선택할 수 있도록 구성하였다. 그러므로, 모션 인식부(220)는 기설정된 모션 정보에 따라, 사용자가 리더펜(200)을 손에 들고 취하는 모션을 인식한다.
모션 인식부(220)에 의해 인식되는 모션 정보는 매우 다양하게 설정될 수 있다. 예를 들면, 리더펜(200)이 시계방향으로 회전되는 모션이 취해지면 선택된 오브젝트에 설정되어 있는 음성을 블루투스 스피커로 출력하도록 할 수 있고, 리더펜(200)이 시계 반대방향으로 회전되는 모션이 취해지면 선택된 오브젝트에 설정되어 있는 영상을 태블릿으로 출력하도록 할 수 있으며, 리더펜(200)이 "V" 형상을 그리는 모션이 취해지면 선택된 오브젝트에 설정되어 있는 가상현실 데이터를 VR HMD로 출력하도록 할 수 있다.
이는, 리더펜(200)이 취할 수 있는 모션을 이해를 돕기 위해 예시한 것일 뿐, 반드시 이에 한정되는 것은 아니며, 사용자의 편의성을 고려한 방안으로 얼마든지 변경될 수 있다. 모션 인식부(220)에서 리더펜(200)의 모션을 인식하는 것은 후술하는 도 3a 내지 도 3c에서 보다 상세히 설명한다.
근거리 통신부(230)는 리더펜(200)과 외부 출력기(300)간의 인터페이스를 지원하는 것으로, 통상 블루투스를 적용할 수 있다. 즉, 블루투스 기능을 갖는 기기라면, 어느 것이든 근거리 통신부(230)를 통해 리더펜(200)으로부터 콘텐츠 제공기(100)의 정보를 제공받아 사용자가 원하는 출력을 제공할 수 있다.
내장 스피커(240)는 리더펜(200)에 구비된 내부 출력기에 해당하는 것으로, 후술하는 제어부(260)에 의해 출력 형태가 내부 출력기에 의한 것으로 결정되었을 때, 기선택된 오브젝트에 해당하는 소리 혹은 음성을 출력한다.
본 실시예에서는, 리더펜(200)의 내부 출력기로 내장 스피커(240)만을 도시하였으나, 경우에 따라서는 리더펜(200)에 다른 내부 출력기가 더 구비될 수도 있다. 예를 들면, 리더펜(200)에 소형 디스플레이가 더 구비될 경우, 리더펜(200) 자체적으로 사용자에게 영상과 음성을 모두 제공하도록 구성할 수 있다.
메모리부(250)는 본 리더펜(200)의 동작에 필요한 모든 정보를 저장한다. 일 예로, 메모리부(250)는 모션 인식부(220)에서 모션을 인식할 때 사용하기 위하여 기설정된 모션 정보가 저장할 수 있으며, 외부 출력기(300)가 리더펜(200)에 등록되면 추후에 등록 절차 없이 사용할 수 있도록 외부 출력기(300)에 대한 정보를 저장할 수 있다.
제어부(260)는 리더펜(200)의 동작에 필요한 모든 신호를 제어한다. 즉, 제어부(260)는 센서부(210), 모션 인식부(220), 근거리 통신부(230), 내장 스피커(240), 및 메모리부(250)들 간의 신호 입출력을 제어한다.
제어부(260)는 모션 인식부(220)에 의해 인식된 모션에 대응하는 출력 형태를 결정한다. 즉, 제어부(260)는 모션 인식부(220)에 의해 인식된 모션을 메모리부(250)에 기저장되어 있는 모션정보와 비교하여 어느 출력기를 통해 출력하면 되는지를 결정할 수 있다.
또한, 제어부(260)는 결정된 출력 형태에 따라, 내부 출력기 혹은 외부 출력기(300)를 제어한다. 보다 구체적으로, 제어부(260)는 출력 형태가 내부 출력기에 의해 수행되는 것일 경우, 내장 스피커를 통해 기선택된 오브젝트에 해당하는 콘텐츠를 출력하도록 제어한다. 또한, 제어부(260)는 출력 형태가 외부 출력기에 의해 수행되는 것일 경우, 근거리 통신부(230)를 통해 외부 출력기(300) 중 해당 외부 출력기가 기선택된 오브젝트에 해당하는 콘텐츠를 출력하도록 제어한다.
도 3a 내지 도 3c는 본 발명의 바람직한 실시예에 따른 리더펜의 모션을 예시한 도면이다.
도 3a 내지 도 3c를 통해, 복수의 오브젝트를 포함하는 콘텐츠 제공기(100a)와 더불어 리더펜(200)을 사용하는 방법을 설명한다. 종이책이나 학습벽보 등과 같은 형태인 평면상의 콘텐츠 제공기(100a)를 예시하였으며, 콘텐츠 제공기(100a)에는 여러 도형 형태의 오브젝트가 포함되어 있다. 즉, 콘텐츠 제공기(100a)에는 원형의 오브젝트(110a), 삼각형의 오브젝트(110b), 및 사각형의 오브젝트(110c)가 포함되어 있으며, 원형의 오브젝트(110a), 삼각형의 오브젝트(110b), 및 사각형의 오브젝트(110c)에는 리더펜(200)의 센서부(210)가 인식할 수 있는 각각의 고유의 마커가 포함되어 있다.
도 3a를 참조하면, 사용자가 콘텐츠 제공기(100)를 보던 중, 추가적인 음성, 영상, 및 가상현실 데이터를 더 제공받고자 하는 경우, 사용자는 리더펜(200)을 이용하여 원형의 오브젝트(110a), 삼각형의 오브젝트(110b), 및 사각형의 오브젝트(110c) 중 원하는 하나의 오브젝트를 선택할 수 있다.
도시한 바와 같이, 사용자가 리더펜(200)을 이용하여 복수의 오브젝트 중 하나를 선택하는 동작은 리더펜(200)의 하단을 해당 오브젝트 즉, 사각형의 오브젝트(110c)에 근접하게 가져다대는 행위에 의해 수행될 수 있다. 리더펜(200)은 센서부(210)를 통해 특정 오브젝트의 고유 마커가 인식되면, 다음에 수행될 리더펜(200)의 모션이 인식될때까지 대기한다.
도 3b를 참조하면, 사용자는 리더펜(200)을 사각형의 오브젝트(110c)에 가져다댄 후, 리더펜(200)을 오른쪽(도면상에서 화살표 방향)으로 드래그하듯이 이동시킬 수 있다. 이러한 경우, 모션 인식부(220)는 오른쪽으로 드래그하는 모션을 인식한다.
도 3c를 참조하면, 사용자는 리더펜(200)을 사각형의 오브젝트(110c)에 가져다댄 후, 리더펜(200)을 시계반대방향(도면상에서 화살표 방향)으로 회전시킬 수 있다. 이러한 경우, 모션 인식부(220)는 시계반대방향으로 회전하는 모션을 인식한다.
본 실시예에서는, 리더펜(200)을 특정 오브젝트에 가져다대는 동작이 먼저 이루어진 후, 리더펜(200)의 모션이 뒤따르는 형태를 설명하였다. 이를 변경하여, 사용자가 리더펜(200)을 손에 쥔 상태에서 원하는 출력 형태에 따라 기설정된 모션을 먼저 수행한 후, 리더펜(200)을 특정 오브젝트에 가져다대는 동작이 뒤따르도록 구성할 수도 있다.
즉, 본 실시예에서는, 도 3a의 동작이 먼저 이루어지고 그 이후에 도 3b 혹은 도 3c의 동작이 이루어지는 형태이지만, 이를 변형하여 도 3b 혹은 도 3c의 동작이 먼저 이루어지고 그 이후에 도 3a의 동작이 이루어지도록 구성하는 것도 가능하다. 이는, 사용자의 편의성을 고려하여 변경할 수 있다.
도 4는 본 발명의 바람직한 실시예에 따른 펜모션 인식 멀티디바이스 콘텐츠 구현 방법을 설명하기 위한 흐름도이다.
여기에서는 도 1 내지 도 4를 참조하여, 본 발명의 바람직한 실시예에 따른 펜모션 인식 멀티디바이스 콘텐츠 구현 방법을 설명한다.
사용자가 콘텐츠 제공기(100)를 이용하던 중, 콘텐츠 제공기(100)에서 보여지는 정보 이외에 다른 정보를 더 제공받고자 하는 경우, 사용자는 리더펜(200)을 이용하여 오브젝트 선택 및 모션을 입력한다. 이에 의해, 오브젝트가 선택되면 센서부(210)에서 오브젝트에 포함된 고유 마커를 인식하고, 출력기를 선택하는 모션이 입력되면, 모션 인식부(220)에서 사용자의 조작에 의한 모션을 인식한다(S400). 여기서, 모션 입력은 오브젝트가 선택되는 직전 혹은 직후에 이루어질 수 있다.
제어부(260)는 모션 인식부(220)를 통해 인식된 모션에 대응하는 출력 형태를 결정한다. 이때, 제어부(260)는 메모리부(250)에 기저장된 모션 정보를 이용하여 출력 형태를 결정할 수 있다(S410).
제어부(260)는 모션에 대응하는 출력 형태가 내부 출력 모션일 경우(S420-Y), 내장 스피커를 제어하여 기선택된 오브젝트에 해당하는 소리 혹은 음성을 출력한다(S430).
또한, 제어부(260)는 모션에 대응하는 출력 형태가 외부 출력 모션일 경우(S420-N), 제어부(260)는 근거리 통신부(230)를 통해 외부 출력기(300) 중 해당 출력기로 제어신호를 송신한다(S440). 이에 의해, 제어신호를 수신한 외부 출력기에서 기선택된 오브젝트에 해당하는 소리, 음성, 영상, 가상현실 데이터를 출력한다(S450).
이와 같이, 사용자의 손에 잡히는 형태로 제작되는 리더펜(200)의 특성상 그 크기에 제약이 따른다. 그러므로, 여러 출력기를 내장할 수 없으므로, 통상 내장 스피커 정도가 내장되는 것이 바람직하다. 이러한 경우, 리더펜(200)을 통해 제공할 수 있는 정보가 그림이나 문자과 관련된 소리 혹은 음성에 제한된다. 예를 들면, 책을 음성으로 읽어주기 기능이 이에 해당한다.
하지만, 본 실시예에서의 리더펜(200)에서는 리더펜(200)에 내장된 출력기 이외에도 블루투스와 같은 근거리 통신이 가능한 다양한 출력기를 통해 콘텐츠 제공기(100)에서 제공할 수 없는 부가 정보를 제공한다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 콘텐츠 제공기 200 : 리더펜
300 : 외부 출력기 210 : 센서부
220 : 모션 인식부 230 : 근거리 통신부
240 : 내장 스피커 250 : 메모리부
260 : 제어부

Claims (10)

  1. 고유의 마커를 포함하는 복수의 오브젝트로 이루어진 콘텐츠 제공기;
    상기 복수의 오브젝트 중 어느 하나의 오브젝트가 선택되면, 사용자의 조작에 의해 발생한 모션에 대응하도록 기설정된 출력 형태를 결정하여 제어하는 리더펜; 및
    상기 리더펜에 의해 결정된 출력 형태에 따라, 상기 선택된 오브젝트에 포함된 고유의 마커에 해당하는 콘텐츠를 출력하는 출력기;를 포함하며,
    상기 출력기는, 상기 리더펜에 내장된 내장 스피커를 포함하는 내부 출력기, 및 외부 스피커, 영상출력기기, 및 VR HMD(Virtual Reality Head Mounted Display) 를 포함하는 외부 출력기중 적어도 어느 하나이며,
    상기 리더펜은,
    상기 복수의 오브젝트에 포함되어 있는 상기 고유의 마커를 인식하는 센서부; 상기 사용자의 조작에 의해 발생한 모션을 인식하는 모션 인식부; 상기 외부 출력기와의 인터페이스를 지원하는 근거리 통신부; 및 상기 모션 인식부에 의해 인식된 모션에 대응하는 상기 출력 형태를 결정하고, 상기 결정된 출력 형태에 따라 상기 내부 출력기 및 상기 외부 출력기를 제어하는 제어부;를 포함하는 것을 특징으로 하는 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템.
  2. 제 1 항에 있어서,
    상기 사용자의 조작에 의해 발생한 모션은, 상기 어느 하나의 오브젝트가 선택되는 동작의 직전 혹은 직후에 발생하는 모션인 것을 특징으로 하는 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 센서부는, 상기 복수의 오브젝트 중 어느 하나의 오브젝트에 기설정된 인식범위 이내로 근접하게 되면, 상기 어느 하나의 오브젝트에 포함되어 있는 고유의 마커를 인식하는 것을 특징으로 하는 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템.
  6. 제 1 항에 있어서,
    상기 제어부는, 상기 결정된 출력 형태가 상기 내부 출력기에 의해 수행되는 것일 경우, 상기 내장된 내장 스피커를 통해 상기 선택된 오브젝트에 포함된 고유의 마커에 해당하는 콘텐츠를 출력하도록 제어하고, 상기 결정된 출력 형태가 상기 외부 출력기에 의해 수행되는 것일 경우, 상기 근거리 통신부를 통해 상기 외부 출력기 중 해당 외부 출력기가 상기 선택된 오브젝트에 포함된 고유의 마커에 해당하는 콘텐츠를 출력하도록 제어하는 것을 특징으로 하는 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템.
  7. 고유의 마커를 포함하는 복수의 오브젝트로 이루어진 콘텐츠 제공기로부터 리더펜에 의해 복수의 오브젝트 중 어느 하나의 오브젝트가 선택되는 단계;
    사용자에 의한 상기 리더펜의 조작에 의해 발생하는 모션을 인식하는 단계;
    상기 사용자의 조작에 의해 발생한 모션에 대응하도록 기설정된 출력 형태를 결정하는 단계; 및
    상기 결정된 출력 형태에 따라, 상기 선택된 오브젝트에 포함된 고유의 마커에 해당하는 콘텐츠를 출력하는 단계;를 포함하며,
    상기 출력 형태는, 상기 리더펜에 내장된 내장 스피커를 포함하는 내부 출력기, 및 외부 스피커, 영상출력기기, 및 VR HMD(Virtual Reality Head Mounted Display)를 포함하는 외부 출력기중 적어도 어느 하나인 것을 특징으로 하는 펜모션 인식 멀티디바이스 콘텐츠 구현 방법.
  8. 삭제
  9. 제 7 항에 있어서,
    상기 모션을 인식하는 단계는, 상기 어느 하나의 오브젝트가 선택되는 단계의 직전 혹은 직후에 수행되는 것을 특징으로 하는 펜모션 인식 멀티디바이스 콘텐츠 구현 방법.
  10. 제 7 항에 있어서,
    상기 오브젝트가 선택되는 단계에서, 상기 리더펜이 상기 복수의 오브젝트 중 어느 하나의 오브젝트에 기설정된 인식범위 이내로 근접하게 되면, 상기 어느 하나의 오브젝트에 포함되어 있는 고유의 마커를 인식하는 것을 특징으로 하는 펜모션 인식 멀티디바이스 콘텐츠 구현 방법.
KR1020170170720A 2017-12-12 2017-12-12 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템 및 방법 KR102338019B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170170720A KR102338019B1 (ko) 2017-12-12 2017-12-12 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170170720A KR102338019B1 (ko) 2017-12-12 2017-12-12 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20190070162A KR20190070162A (ko) 2019-06-20
KR102338019B1 true KR102338019B1 (ko) 2021-12-10

Family

ID=67103762

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170170720A KR102338019B1 (ko) 2017-12-12 2017-12-12 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102338019B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102333726B1 (ko) * 2020-03-11 2021-12-02 주식회사 인포랩 치과 방사선 영상 판독 소견 작성 보조 시스템
EP4332736A1 (en) 2021-08-10 2024-03-06 Samsung Electronics Co., Ltd. Electronic device and method for controlling input of electronic pen thereof
KR20230023277A (ko) * 2021-08-10 2023-02-17 삼성전자주식회사 전자 장치 및 그 전자 펜의 입력 제어 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100904288B1 (ko) 2007-07-30 2009-06-25 최규영 분말 미세 분쇄장치
KR102126292B1 (ko) * 2012-11-19 2020-06-24 삼성전자주식회사 이동 단말에서 화면 표시 방법 및 이를 위한 이동 단말
KR20150043109A (ko) * 2013-10-14 2015-04-22 삼성전자주식회사 오브젝트 디스플레이를 제어하는 전자 장치 및 방법

Also Published As

Publication number Publication date
KR20190070162A (ko) 2019-06-20

Similar Documents

Publication Publication Date Title
US8638319B2 (en) Customer authoring tools for creating user-generated content for smart pen applications
KR102141044B1 (ko) 복수의 터치스크린을 가지는 휴대 장치 및 복수의 터치스크린을 가지는 휴대 장치의 사운드 출력방법
US8944824B2 (en) Multi-modal learning system
US9332100B2 (en) Portable communications device
US10528249B2 (en) Method and device for reproducing partial handwritten content
US8719029B2 (en) File format, server, viewer device for digital comic, digital comic generation device
US20060194181A1 (en) Method and apparatus for electronic books with enhanced educational features
US20160124702A1 (en) Audio Bookmarking
KR102338019B1 (ko) 펜모션 인식 멀티디바이스 콘텐츠 구현 시스템 및 방법
US20140315163A1 (en) Device, method, and graphical user interface for a group reading environment
WO2014160316A2 (en) Device, method, and graphical user interface for a group reading environment
JP2015533004A (ja) スマートペンを使用した対話型デジタルワークブック
US9047858B2 (en) Electronic apparatus
KR101789057B1 (ko) 시각 장애인을 위한 자동 오디오 북 시스템 및 그 운영 방법
US9472113B1 (en) Synchronizing playback of digital content with physical content
KR102347068B1 (ko) 컨텐트를 재생하는 방법 및 이를 위한 디바이스
CN114402274A (zh) 程序、信息处理装置以及方法
JP7047168B1 (ja) コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム
KR101790709B1 (ko) 구연동화 서비스 제공 시스템, 장치 및 구연동화 서비스 제공 방법
US20160266654A1 (en) Providing contextual information
KR20180042116A (ko) 구연동화 서비스 제공 시스템, 장치 및 구연동화 서비스 제공 방법
JP2004325905A (ja) 外国語学習装置および外国語学習プログラム
JP2022051500A (ja) 関連情報提供方法及びシステム
KR20170009487A (ko) 청크 기반 언어 학습 방법 및 이를 수행하는 전자 기기
KR101853322B1 (ko) 학습 콘텐츠 편집 기능을 가진 학습 애플리케이션 제공 단말 및 그 학습 콘텐츠 편집 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant