KR20220113633A - 장애인을 위한 전자책 제어 장치 및 제어 방법 - Google Patents
장애인을 위한 전자책 제어 장치 및 제어 방법 Download PDFInfo
- Publication number
- KR20220113633A KR20220113633A KR1020210025540A KR20210025540A KR20220113633A KR 20220113633 A KR20220113633 A KR 20220113633A KR 1020210025540 A KR1020210025540 A KR 1020210025540A KR 20210025540 A KR20210025540 A KR 20210025540A KR 20220113633 A KR20220113633 A KR 20220113633A
- Authority
- KR
- South Korea
- Prior art keywords
- book
- control unit
- sensor
- control
- eye
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 210000001508 eye Anatomy 0.000 claims abstract description 36
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 31
- 230000004397 blinking Effects 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims description 27
- 230000004424 eye movement Effects 0.000 claims description 16
- 210000003128 head Anatomy 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 230000000193 eyeblink Effects 0.000 claims description 2
- 210000001747 pupil Anatomy 0.000 description 11
- 238000002570 electrooculography Methods 0.000 description 9
- 210000000744 eyelid Anatomy 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000009547 development abnormality Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
제어 장치가 제공된다. 상기 제어 장치는 안구의 움직임을 감지하는 제1 센서; 눈의 깜빡임을 감지하는 제2 센서; 상기 안구의 움직임과 상기 눈의 깜빡임의 감지 결과에 따라 전자책을 제어하는 제어부;를 포함할 수 있다.
Description
본 발명은 거동이 불편한 사용자가 전자책을 정상적으로 사용할 수 있도록 전자책을 제어하는 장치 및 방법에 관한 것이다.
지체 장애를 겪는 사용자는 골격, 근육, 신경 계통의 질환, 손상, 기능 이상, 발달 이상으로 인해 신체의 이동과 움직임 등을 제한받을 수 있다.
지체 장애를 갖는 경우, 움직임이 불편하므로 같은 자리에서 즐길 수 있는 여가 활동이 필요하다. 예를 들어, 전자책을 이용한 독서 활동이 가능하다. 하지만, 손으로 책장을 넘기기조차 어려운 경우에는 독서 활동 마저도 타인의 도움이 요구된다.
이에 대한 해결책으로 전자책을 제어할 수 있는 별도의 리모콘 스위치를 조작하는 방안이 존재하나, 여전히 손을 사용해야 하므로 적절한 해결 방안이 되지 못하고 있다.
한국공개특허공보 제2017-0046108호에는 하나 이상의 프로세서들로 하여금 안구 신호 동작들을 프로세싱하는 기술이 나타나 있다.
본 발명은 안구의 움직임을 통해 전자책의 책장을 넘겨주는 제어 장치 및 방법을 제공하기 위한 것이다.
본 발명의 제어 장치는 안구의 움직임을 감지하는 제1 센서; 눈의 깜빡임을 감지하는 제2 센서; 상기 안구의 움직임과 상기 눈의 깜빡임의 감지 결과에 따라 전자책을 제어하는 제어부;를 포함할 수 있다.
본 발명의 제어 장치는 안구의 움직임을 감지하는 제1 센서; 얼굴 또는 머리의 움직임을 감지하는 제3 센서; 상기 제1 센서 및 상기 제3 센서의 감지 결과에 따라 전자책을 제어하는 제어부;를 포함할 수 있다.
상기 제어부는 상기 안구의 광축이 상기 전자책을 향하면서 상기 안구가 고정된 상태에서 상기 얼굴이 움직이거나 상기 머리가 움직이면 상기 전자책을 제어하며, 상기 제어부는 상기 얼굴 또는 상기 머리가 움직이는 방향에 따라 상기 전자책의 책장 넘김을 제어할 수 있다.
본 발명의 제어 방법은 안구의 움직임을 감지하고 눈의 깜빡임을 감지하는 센싱 단계; 상기 안구의 움직임과 상기 눈의 깜빡임을 분석하는 분석 단계; 분석 결과에 따라 전자책의 책장 넘김을 제어하는 제어 단계;를 포함할 수 있다.
본 발명에 따르면, 안구, 눈의 움직임을 통해 전자책(e-Book)을 제어할 수 있다. 따라서, 본 발명에 따르면, 지체 장애 또는 일시적인 운동 기능의 저하로 인해 손을 이용해 책장을 넘기기 어려운 상황에서 전자책을 정상적으로 이용할 수 있는 환경이 제공될 수 있다.
기존 지체 장애인을 위한 독서 보조 장치는 비싼 가격과 큰 부피로 인해 보통 사회 기관에 설치되어 있는 경우가 많다. 따라서, 독서 보조 장치는 현실적으로 개인이 집에서 사용하기 어렵다. 본 발명의 제어 장치는 손으로 들고 다닐 수 있는 1kg 미만의 태블릿 피시, 스마트폰, 전용 전자책 등에 일체로 포함되거나, 별개로 마련될 수 있다.
본 발명의 제어 장치에 따르면, 휴대성을 그대로 유지하면서도 지체 장애인의 제어를 입력받을 수 있는 전자책이 제공될 수 있다. 따라서, 손을 자유롭게 사용하지 못하는 사용자라 하더라도, 본 발명의 제어 장치를 이용하면 혼자서도 쉽게 책을 읽을 수 있다.
도 1은 본 발명의 일 실시예에 따른 제어 장치를 나타낸 개략도이다.
도 2는 본 발명의 다른 실시예에 따른 제어 장치를 나타낸 개략도이다.
도 3은 안구와 눈꺼풀, 얼굴을 나타낸 개략도이다.
도 4는 본 발명의 제어 방법을 나타낸 흐름도이다.
도 5는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
도 2는 본 발명의 다른 실시예에 따른 제어 장치를 나타낸 개략도이다.
도 3은 안구와 눈꺼풀, 얼굴을 나타낸 개략도이다.
도 4는 본 발명의 제어 방법을 나타낸 흐름도이다.
도 5는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
본 발명의 제어 장치는 EOG(Electro OculoGraphy) 센서와 카메라를 이용해 눈 잠김, 안구(91) 움직임을 측정할 수 있다. EOG 센서와 카메라에서 센싱된 눈 잠김 또는 안구(91) 움직임은 라즈베리파이로 전송될 수 있다. EOG 센서와 카메라에서 센싱된 센싱값들은 라즈베리파이에서 연산 및 변환되고, 블루투스를 통해 전자책(10)으로 전달될 수 있다. 블루투스를 통해 전달된 센싱값 또는 그에 대응되는 제어 명령에 따라 전자책(10)이 제어되거나 전자책(10)의 독서 화면이 재구성될 수 있다.
전자책(10)은 독서앱이 설치 및 구동된 스마트폰, 태블릿 피시, E-ink 태블릿 등을 포함할 수 있다.
전자책(10)은 손가락을 좌우측으로 스와이프하는 동작을 통해 책장을 넘길 수 있다. 스와이프 동작을 입력받기 위해 전자책(10)에는 터치스크린이나 별도의 버튼이 마련될 수 있다.
전자책(10)의 전면에는 전자책(10)의 콘텐츠가 페이지 단위로 표시되는 디스플레이(11) 또는 터치스크린패널이 마련될 수 있다. 터치스크린패널은 디스플레이(11)와 일체로 형성될 수 있다.
EOG 센서는 안구(91)의 움직임을 센싱하고, 카메라는 눈의 깜빡임을 센싱할 수 있다. 제어부(150)는 EOG 센서 및 카메라로부터 획득된 센싱값을 통해 안구(91)의 움직임에 따른 값을 생성하고, 해당 값에 대응되게 터치스크린패널을 제어하여 전자책(10)에 표시되는 책장을 다음 장 또는 이전 장으로 넘길 수 있다.
도 1은 본 발명의 일 실시예에 따른 제어 장치를 나타낸 개략도이다. 도 2는 본 발명의 다른 실시예에 따른 제어 장치를 나타낸 개략도이다. 도 3은 안구(91)와 눈꺼풀(93), 얼굴(95)을 나타낸 개략도이다.
도 1에 도시된 제어 장치는 전자책(10)에 일체로 형성된 제어 장치를 나타낼 수 있다. 도 2에 도시된 제어 장치는 전자책(10)과 별개로 형성된 제어 장치를 나타낼 수 있다.
제어 장치는 제1 센서(110), 제2 센서(130), 제어부(150)를 포함할 수 있다.
제1 센서(110)는 안구(91)의 움직임을 감지할 수 있다. 안구(91)의 움직임은 곧 눈동자의 움직임 또는 시선(눈의 광축)의 이동 등을 의미할 수 있다. 안구(91)의 움직임을 파악하거나 센싱하기 위해 제1 센서(110)는 EOG(Electro OculoGraphy) 센서를 포함할 수 있다.
제2 센서(130)는 눈의 깜빡임을 감지할 수 있다. 눈의 깜빡임은 안구(91)를 감싸는 눈꺼풀(93)의 움직임을 의미할 수 있다. 안구(91)의 움직임과 눈꺼풀(93)의 움직임은 관련성이 낮으므로 제2 센서(130)는 제1 센서(110)와 별도로 마련되는 것이 좋다. 일 예로, 제2 센서(130)는 눈 또는 눈꺼풀(93)을 촬영하는 카메라 또는 눈꺼풀(93)의 움직임을 센싱하는 모션 센서를 포함할 수 있다.
제어부(150)는 안구(91)의 움직임과 눈의 깜빡임의 감지 결과에 따라 전자책(10)을 제어할 수 있다.
일 예로, 제어부(150)는 안구(91)의 움직임에 따라 현재 전자책(10)에 표시되는 책장을 다음 장으로 넘기거나 이전 장으로 넘길 수 있다. 사용자가 안구(91), 다시 말해 눈동자를 현재 상태에서 오른쪽으로 돌리면 전자책(10)에 표시되는 책장이 제어부(150)에 의해 다음 장으로 넘어갈 수 있다. 사용자가 안구(91)를 왼쪽으로 돌리면 전자책(10)에 표시되는 책장이 제어부(150)에 의해 이전 장으로 넘어갈 수 있다. 물론, 반대로 움직여도 무방하다.
일 예로, 제어부(150)는 눈의 깜빡임에 따라 전자책(10)에 현재 표시 중인 책장을 다음장으로 넘기거나 이전 장으로 넘길 수 있다. 사용자가 설정 시간 내에 눈을 두 번 깜빡이면 책장이 제어부(150)에 의해 다음 장으로 넘어갈 수 있다. 사용자가 설정 시간 내에 눈을 세번 깜빡이면 제어부(150)에 의해 책장이 이전 장으로 넘어갈 수 있다.
제어부(150)는 제1 센서(110)로부터 입수된 감지 결과 또는 제2 센서(130)로부터 입수된 감지 결과를 저장할 수 있다.
제어부(150)는 감지 결과가 새롭게 입수되면, 새롭게 입수된 감지 결과에 해당하는 제1 리딩값과 마지막에 저장된 감지 결과에 해당하는 제2 리딩값을 비교할 수 있다.
제어부(150)는 제1 리딩값과 제2 리딩값이 다르면, 제1 리딩값에 설정값을 곱하여 정수 형태로 변환된 이벤트 상태값을 생성할 수 있다. 제어부(150)는 이벤트 상태값을 이용해서 전자책(10)을 제어할 수 있다.
제1 리딩값과 제2 리딩값이 다르다는 것은 안구(91)가 움직인 것을 의미하거나 눈이 깜빡거린 것을 의미할 수 있다.
이때, 변화된 제1 리딩값에 대응되는 제어 신호를 생성하기 위해 다양한 방법이 마련될 수 있다. 제어부(150)는 제1 리딩값에 설정값을 곱하여 정수 형태로 변환함으로써, 센싱값을 증폭할 수 있다. 제어부(150)는 증폭된 센싱값에 해당하는 이벤트 상태값을 이용해서 전자책(10)을 제어할 수 있다. 일 예로, 제1 리딩값과 제2 리딩값 간의 비교를 통해 눈동자가 오른쪽으로 움직인 것으로 파악되면, 해당 동작에 매칭된 다음 장 넘기기 제어 명령이 실행되거나 생성될 수 있다.
제어부(150)는 이벤트 상태값에 대응되게 전자책(10)의 터치스크린의 출력값을 제어할 수 있다. 터치스크린의 출력값은 사용자가 손으로 터치스크린을 조작할 때 발생되는 값을 나타낼 수 있다. 해당 출력값은 표시 중인 전자책(10)의 책장을 제어할 수 있다. 제어부(150)는 터치스크린의 출력값을 안구(91) 움직임 또는 눈의 깜빡임을 나타내는 이벤트 상태값으로 대체할 수 있다. 예를 들어, 제어부(150)의 터치스크린의 출력값 제어에 의해 전자책(10)의 책장을 넘기는 속도 또는 책장 넘김 애니메이션 동작이 제어될 수 있다.
일 예로, 사용자가 눈동자를 빠르게 돌리면 제어부(150)는 책장을 넘기는 속도를 증가시킬 수 있다. 사용자가 눈동자를 느리게 돌리면 제어부(150)는 책장을 넘기는 속도를 낮출 수 있다.
제어부(150)는 타이머 인터럽트에 따라 감지 결과를 입수할 수 있다. 일 예로, 제어부(150)는 주기적으로 또는 설정 시간 간격마다 제1 센서(110)의 감지 결과 또는 제2 센서(130)의 감지 결과를 입수할 수 있다.
제어부(150)는 현재 타이머 인터럽트 시점에 입수한 감지 결과에 해당하는 제1 리딩값을 이전 타이머 인터럽트 시점에 입수한 감지 결과에 해당하는 제2 리딩값과 비교할 수 있다.
제어부(150)는 제1 리딩값과 제2 리딩값이 서로 다르면, 리딩값의 변화 시각을 현재 타이머 인터럽트 시점으로 변경할 수 있다. 본 실시예에 따르면, 기저장된 마지막 감지 결과가 주기적으로 현재 시점의 감지 결과로 업데이트될 수 있다.
제어부(150)에는 전자책(10)의 제어 명령이 복수로 마련될 수 있다.
제어부(150)는 안구(91)의 움직임에 해당하는 제1 인자와 상기 눈의 깜빡임에 해당하는 제2 인자의 조합 정보를 각 제어 명령에 할당할 수 있다.
제어부(150)는 안구(91)의 움직임의 감지 결과와 눈의 깜빡임의 감지 결과가 입수되면, 복수의 조합 정보 중에서 매칭되는 특정 조합 정보를 추출하고, 상기 특정 조합 정보가 할당된 제어 명령을 실행시킬 수 있다.
복수의 상기 제어 명령 중 적어도 하나는 전자책(10)의 책장을 넘기는 명령을 포함할 수 있다. 일 예로, 눈의 깜빡임을 단독으로 사용해서 전자책(10)을 사용하는 비교 실시예에 고려될 수 있다. 비교 실시예에 따르면, 사용자가 눈을 깜빡거리기만 하면 책장이 다음 장으로 넘어갈 수 있다. 이 경우, 사용자는 책장이 의도하지 않게 다음 장으로 넘어가지 않도록 눈 깜빡임을 참아야 하는 상황이 발생될 수 있다. 발명에 따르면, 제어부(150)는 제1 인자와 제2 인자의 조합, 예를 들어 눈을 깜빡인 이후의 눈동자 움직임을 통해서 책장이 다음장으로 넘어갈 수 있다. 본 실시예에 따르면, 사용자가 눈을 복수 회수로 깜빡이더라도 책장은 변화가 없다. 사용자가 눈을 깜빡인 후 곧바로 눈동자를 좌로 돌리거나 우로 돌려야지만 책장의 넘김 동작이 수행될 수 있다.
제1 센서(110), 제2 센서(130), 제어부(150)가 설치되는 케이스(200)가 마련될 수 있다. 이때, 케이스(200)는 전자책(10)에 착탈될 수 있다. 일 예로, 케이스(200)에는 전자책(10)의 일측 단부에 끼워지는 집게(201)가 마련될 수 있다.
케이스(200)에는 제어부(150)에서 추출한 제어 명령을 전자책(10)으로 전송하는 제1 통신부(170)가 추가로 마련될 수 있다. 일 예로, 제1 통신부(170)는 전자책(10)에 마련된 제2 통신부(17)와 근거리 무선 통신하는 블루투스 모듈 또는 와이파이 모듈 등을 포함할 수 있다.
한편, 안구(91)의 움직임과 다른 움직임을 이용해서 전자책(10)이 제어될 수 있다. 안구(91)의 움직임을 이용하는 경우, 눈동자의 움직임을 통해 전자책(10)을 제어할 수 있는 반면, 독서 집중력이 저하될 수 있다.
일 예로, 책을 읽는 도중 다음 장으로 넘어가기 위해 눈동자를 우측으로 돌리는 상황을 가정한다. 눈동자가 돌아간다는 것은 책을 바라보는 사용자의 시전이 다른 곳을 바라본다는 것을 의미하고, 이는 책을 집중해서 읽고 있던 사용자의 집중력을 방해할 수 있다. 또한, 잠시 책을 바라보지 않을 때 책장이 넘어가므로, 책장 넘김을 시각적으로 확인하기 어려울 수 있다. 즉, 사용자는 눈동자를 돌린 후 다시 전자책(10)을 바라보게 되는데 이때, 책장이 넘어가는 시각 효과를 놓친 상태이므로, 눈에 보이는 현재 책장의 페이지 수 또는 내용의 확인을 통해 책장 넘김을 파악할 수밖에 없다.
책장 넘김을 직관적으로 확인하거나 독서 집중력을 유지하기 위해 안구(91)의 움직임이 전자책(10)에 고정될 필요가 있다. 이런 상황을 고려하여, 본 발명의 다른 실시예에 따르면, 제1 센서(110)와 제3 센서가 사용될 수 있다. 제1 센서(110)는 안구(91)의 움직임을 감지하는 EOG 센서 등을 포함할 수 있다.
제3 센서는 제2 센서(130)와 다르게 얼굴(95)의 움직임을 감지하거나 머리의 움직임을 감지할 수 있다. 제3 센서는 카메라 또는 모션 센서를 포함할 수 있다. 경우에 따라 제3 센서는 제2 센서(130)와 일체로 형성되어도 무방하다. 다시 말해, 본 발명의 제어 장치는 제1 센서(110), 제2 센서(130), 제3 센서를 모두 포함하는 실시예도 포함할 수 있다.
제어부(150)는 제1 센서(110) 및 제3 센서의 감지 결과에 따라 전자책(10)을 제어할 수 있다.
제어부(150)는 안구(91)의 광축이 전자책(10)을 향하면서 안구(91)가 고정된 상태를 입력 상태로 인식할 수 있다. 제어부(150)는 해당 입력 상태에서 얼굴(95)이 움직이거나 머리가 움직이면 전자책(10)을 제어할 수 있다. 본 실시예에 따르면, 다른 곳을 응시하기 위해 얼굴(95) 또는 머리를 돌리더라도 전자책(10)은 별다른 반응을 보이지 않을 수 있다. 왜냐하면, 사용자의 시선 또한 전자책(10)이 아닌 곳을 향해 움직였기 때문이다.
제어부(150)는 얼굴(95) 또는 머리가 움직이는 방향에 따라 전자책(10)의 책장 넘김을 제어할 수 있다. 사용자가 전자책(10)을 응시하는 눈동자를 고정한 채 머리를 우측으로 돌리면 책장이 다음 장으로 넘어갈 수 있다. 사용자가 전자책(10)을 응시하는 눈동자를 고정한 상태에서 머리를 좌측으로 돌리면 책장이 이전 장으로 넘어갈 수 있다. 물론, 설정에 따라 반대로 동작되어도 무방하다.
이상의 실시예에 따르면, 사용자는 책장의 넘김 동작에도 불구하고 지속적으로 전자책(10)을 바라보고 있는 상태이므로, 시각적으로 책장 넘김을 확인하고, 독서 집중력을 유지할 수 있다.
도 4는 본 발명의 제어 방법을 나타낸 흐름도이다.
도 4에 도시된 전자책(10) 제어 방법은 도 1 또는 도 2에 도시된 제어 장치에 의해 수행될 수 있다.
본 발명의 제어 방법은 센싱 단계(S 510), 분석 단계(S 520), 제어 단계(S 530)를 포함할 수 있다.
센싱 단계(S 510)는 안구(91)의 움직임을 감지하고 눈의 깜빡임을 감지할 수 있다. 센싱 단계(S 510)는 제1 센서(110), 제2 센서(130), 제3 센서에 의해 수행될 수 있다. 제3 센서는 추가적으로 얼굴(95)의 움직임 또는 머리의 움직임을 감지할 수 있다.
분석 단계(S 520)는 안구(91)의 움직임(움직인 방향, 움직이는 속도)과 눈의 깜빡임을 분석할 수 있다. 제어부(150)에 의해 수행될 수 있다. 제3 센서의 감지 결과가 입수되는 경우, 제어부(150)는 추가로 얼굴(95)이 움직인 방향 또는 머리가 움직인 방향을 추가로 분석할 수 있다.
제어 단계(S 530)는 분석 단계(S 520)의 분석 결과에 따라 전자책(10)의 책장 넘김을 제어할 수 있다. 분석 단계(S 520) 및 제어 단계(S 530)는 제어부(150)에 의해 수행될 수 있다.
도 5는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 5의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 제어 장치 등) 일 수 있다.
도 5의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
10...전자책
11...디스플레이
17...제2 통신부 91...안구(눈동자)
93...눈꺼풀 95...얼굴
110...제1 센서 130...제2 센서
150...제어부 170...제1 통신부
200...케이스 201...집게
17...제2 통신부 91...안구(눈동자)
93...눈꺼풀 95...얼굴
110...제1 센서 130...제2 센서
150...제어부 170...제1 통신부
200...케이스 201...집게
Claims (7)
- 안구의 움직임을 감지하는 제1 센서;
눈의 깜빡임을 감지하는 제2 센서;
상기 안구의 움직임과 상기 눈의 깜빡임의 감지 결과에 따라 전자책을 제어하는 제어부;
를 포함하는 제어 장치.
- 제1항에 있어서,
상기 제어부는 입수한 상기 감지 결과를 저장하고,
상기 제어부는 상기 감지 결과가 새롭게 입수되면, 새롭게 입수된 감지 결과에 해당하는 제1 리딩값과 마지막에 저장된 감지 결과에 해당하는 제2 리딩값을 비교하며,
상기 제어부는 상기 제1 리딩값과 상기 제2 리딩값이 다르면, 상기 제1 리딩값에 설정값을 곱하여 정수 형태로 변환된 이벤트 상태값을 생성하고,
상기 제어부는 상기 이벤트 상태값을 이용해서 상기 전자책을 제어하는 제어 장치.
- 제2항에 있어서,
상기 제어부는 상기 이벤트 상태값에 대응되게 상기 전자책의 터치스크린의 출력값을 제어하며,
상기 제어부의 터치스크린의 출력값 제어에 의해 상기 전자책의 책장을 넘기는 속도 또는 애니메이션 동작이 제어되는 제어 장치.
- 제1항에 있어서,
상기 제어부는 타이머 인터럽트에 따라 상기 감지 결과를 입수하고,
상기 제어부는 현재 타이머 인터럽트 시점에 입수한 감지 결과에 해당하는 제1 리딩값을 이전 타이머 인터럽트 시점에 입수한 감지 결과에 해당하는 제2 리딩값과 비교하며,
상기 제어부는 상기 제1 리딩값과 상기 제2 리딩값이 서로 다르면, 리딩값의 변화 시각을 현재 타이머 인터럽트 시점으로 변경하는 제어 장치.
- 제1항에 있어서,
상기 제어부에는 상기 전자책의 제어 명령을 복수로 마련되고,
상기 제어부는 상기 안구의 움직임에 해당하는 제1 인자와 상기 눈의 깜빡임에 해당하는 제2 인자의 조합 정보를 각 제어 명령에 할당하며,
상기 제어부는 상기 안구의 움직임의 감지 결과와 상기 눈의 깜빡임의 감지 결과가 입수되면, 복수의 조합 정보 중에서 매칭되는 특정 조합 정보를 추출하고, 상기 특정 조합 정보가 할당된 제어 명령을 실행시키고,
복수의 상기 제어 명령 중 적어도 하나는 상기 전자책의 책장을 넘기는 명령을 포함하며,
상기 제1 센서, 상기 제2 센서, 상기 제어부가 설치되고, 상기 전자책에 착탈되는 케이스가 마련되고,
상기 케이스에는 상기 제어부에서 추출한 상기 제어 명령을 상기 전자책으로 전송하는 제1 통신부가 추가로 마련되는 제어 장치.
- 안구의 움직임을 감지하는 제1 센서;
얼굴 또는 머리의 움직임을 감지하는 제3 센서;
상기 제1 센서 및 상기 제3 센서의 감지 결과에 따라 전자책을 제어하는 제어부;를 포함하고,
상기 제어부는 상기 안구의 광축이 상기 전자책을 향하면서 상기 안구가 고정된 상태에서 상기 얼굴이 움직이거나 상기 머리가 움직이면 상기 전자책을 제어하며,
상기 제어부는 상기 얼굴 또는 상기 머리가 움직이는 방향에 따라 상기 전자책의 책장 넘김을 제어하는 제어 장치.
- 제어 장치에 의해 수행되는 전자책 제어 방법에 있어서,
안구의 움직임을 감지하고 눈의 깜빡임을 감지하는 센싱 단계;
상기 안구의 움직임과 상기 눈의 깜빡임을 분석하는 분석 단계;
분석 결과에 따라 전자책의 책장 넘김을 제어하는 제어 단계;
를 포함하는 제어 방법.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20210016977 | 2021-02-05 | ||
| KR1020210016977 | 2021-02-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220113633A true KR20220113633A (ko) | 2022-08-16 |
Family
ID=83064012
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210025540A KR20220113633A (ko) | 2021-02-05 | 2021-02-25 | 장애인을 위한 전자책 제어 장치 및 제어 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220113633A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170046108A (ko) | 2014-05-09 | 2017-04-28 | 아이플루언스, 인크. | 보안 모바일 통신들과 함께 안구 신호들을 이용하는 시스템들 및 방법들 |
-
2021
- 2021-02-25 KR KR1020210025540A patent/KR20220113633A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20170046108A (ko) | 2014-05-09 | 2017-04-28 | 아이플루언스, 인크. | 보안 모바일 통신들과 함께 안구 신호들을 이용하는 시스템들 및 방법들 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107791893B (zh) | 车辆座椅 | |
| US10212343B2 (en) | Power management in an eye-tracking system | |
| Majaranta et al. | Eye tracking and eye-based human–computer interaction | |
| KR101331655B1 (ko) | 전자 데이터 입력 방법, 시스템 및 컴퓨터 판독 가능한 매체 | |
| KR20140011203A (ko) | 복수의 디스플레이 장치와 연결된 제어 장치 및 그의 제어 방법, 그리고 디스플레이 장치 제어 시스템 | |
| US11291385B2 (en) | System for controlling assistive technologies and related method | |
| EP2587341A1 (en) | Power management in an eye-tracking system | |
| KR20130101395A (ko) | 실감 인터랙션을 이용한 인지재활 시스템 및 방법 | |
| Machado et al. | A conceptual framework for adaptive user interfaces for older adults | |
| CN114546102B (zh) | 眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置 | |
| Majaranta et al. | Eye movements and human-computer interaction | |
| CN104866164A (zh) | 一种基于眨眼信号模式检测实现的人机交互系统与方法 | |
| JP2007265274A (ja) | 生理適応型表示装置 | |
| Lledó et al. | Internet browsing application based on electrooculography for disabled people | |
| US11029758B2 (en) | Dynamic command remapping for human-computer interface | |
| Dobosz et al. | Brain-computer interface for mobile devices | |
| KR20220113633A (ko) | 장애인을 위한 전자책 제어 장치 및 제어 방법 | |
| Castillo et al. | Hands free mouse | |
| JP2024048680A (ja) | 制御装置、制御方法、プログラム | |
| US20190035126A1 (en) | Body information analysis apparatus capable of indicating blush-areas | |
| JP6035837B2 (ja) | 画像生成装置、画像表示装置、画像生成方法、表示制御方法、画像生成プログラム及び表示制御プログラム | |
| Drewes | Eye gaze tracking | |
| Rafid et al. | Empowering Quadriplegic Patients: A Computer Vision Based Approach for Keyboard Control Using Eye Gaze and Blink | |
| WO2023032617A1 (ja) | 判定システム、判定方法、及び、プログラム | |
| KR101943206B1 (ko) | 착시 ui를 이용하여 명령을 입력하는 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal |