KR101541061B1 - Apparatus and method for guiding the sensory organ movements in portable terminal - Google Patents

Apparatus and method for guiding the sensory organ movements in portable terminal Download PDF

Info

Publication number
KR101541061B1
KR101541061B1 KR1020130007410A KR20130007410A KR101541061B1 KR 101541061 B1 KR101541061 B1 KR 101541061B1 KR 1020130007410 A KR1020130007410 A KR 1020130007410A KR 20130007410 A KR20130007410 A KR 20130007410A KR 101541061 B1 KR101541061 B1 KR 101541061B1
Authority
KR
South Korea
Prior art keywords
user
unit
eye movement
tracking
eye
Prior art date
Application number
KR1020130007410A
Other languages
Korean (ko)
Other versions
KR20140094851A (en
Inventor
유병덕
김진석
Original Assignee
서울시립대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울시립대학교 산학협력단 filed Critical 서울시립대학교 산학협력단
Priority to KR1020130007410A priority Critical patent/KR101541061B1/en
Publication of KR20140094851A publication Critical patent/KR20140094851A/en
Application granted granted Critical
Publication of KR101541061B1 publication Critical patent/KR101541061B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
    • A61H5/00—Exercisers for the eyes
    • A61H5/005—Exercisers for training the stereoscopic view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/60—Supervising unattended repeaters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Rehabilitation Therapy (AREA)
  • General Health & Medical Sciences (AREA)
  • Pain & Pain Management (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Rehabilitation Tools (AREA)

Abstract

본 발명은 휴대용 단말기를 통해 대상체를 출력하여 눈 운동을 보조할 때, 사용자의 입력이 대상체를 추적하고 있는지를 판별하고, 사용자의 입력이 대상체를 추적하고 있으면 대상체의 이동 속도를 높이고, 사용자의 입력이 대상체를 추적하지 못하면 대상체의 이동 속도를 낮추어 눈 운동의 효과를 높이는 휴대용 단말기에서 감각기관의 기능 걔선 운동을 보조하는 장치 및 방법에 관한 것이다.In the present invention, when an object is output through a portable terminal to assist eye movement, it is determined whether the input of the user is tracking the object. If the input of the user is tracking the object, the moving speed of the object is increased. And a device and a method for assisting the functional socioeconomic movement of the sensory organs in a portable terminal which improves the effect of eye movement by lowering the moving speed of the object when the object can not be tracked.

Description

휴대용 단말기에서 감각 기관의 운동을 보조하는 장치 및 방법{Apparatus and method for guiding the sensory organ movements in portable terminal}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a device and a method for assisting movement of a sensory organ in a portable terminal,

본 발명은 눈, 귀, 촉각기관 등 감각기관의 기능 개선 운동을 보조하는 장치 및 방법에 관한 것으로, 특히 휴대용 단말기를 통해 대상체를 출력하여 눈, 귀, 촉각기관 등 감각기관의 운동을 보조할 때, 사용자의 시선이 대상체를 추적하고 있는지를 판별하여 감각기관의 운동의 효과를 높이는 장치 및 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and a method for assisting a function improvement exercise of a sensory organs such as an eye, an ear, and a tactile organs. More particularly, the present invention relates to an apparatus and method for assisting movement of sensory organs such as eyes, And a device and a method for enhancing the effect of movement of the sensory organ by discriminating whether or not the user's eyes are tracking the object.

현대화가 되면서 생활 속에서 눈이 나빠지는 요인들이 많아지고 있다.As modernization becomes more and more common, the factors that cause the snow to deteriorate are becoming more common.

그중에서도 요즘 들어 가장 많이 눈이 나빠지는 이유를 살펴보면 요즘 현대인들의 필수품이 되어버린 스마트폰과 PC, TV 등이 있다. 잠을 자며 휴식을 취하여야 할 시간에도 TV시청이나 장시간 컴퓨터사용, 스마트폰 사용 등 한시도 눈을 쉬게 하지 않는데 이처럼 현대사회에서의 눈은 장시간 가혹한 일을 반복적으로 할 수 밖에 없는 환경이 되었다.Among them, there are smart phones, PCs, and TVs that have become the necessities of modern people these days. Even when it is time to take a rest and sleep, watching TV, using computer for a long time, using smart phone, and so on, do not let your eyes rest. In this way, eyes in modern society became an environment that can do repetitive work for a long time.

특히, 스마트폰 사용자가 늘어나면서 길거리에서 지하철에서도 스마트폰 사용자를 찾아보기란 어렵지 않다.Especially, as the number of smartphone users increases, it is not difficult to find smartphone users in the subway.

그런데 이런 스마트폰 보급과 함께 근시 환자 또한 상당히 높아진 것으로 조사한 결과 드러났다.However, with the spread of such smartphones, myopia patients also increased significantly.

사실 직장인은 근무 시 하루 종일 컴퓨터를 보고 있는데, 그 결과 눈이 피로해지고 안구건조증, 흐림 증상 등을 느끼고 있다.In fact, the worker is looking at his computer all day when he works, and as a result his eyes become tired, he feels dry eye syndrome and blur symptoms.

퇴근 후에도 버스나 지하철 심지어 길을 걸을 때도 스마트폰을 쳐다보고 더구나 스마트폰의 글자는 작기 때문에 쉽게 시력이 저하되게 된다.After work, even when walking on a bus or subway or even on the street, I look at my smartphone.

실제로 스마트폰을 30분 가량 지속적으로 사용할 경우 근시가 상당히 진행되는 것으로 나타났으며 일시적인 형상이지만 장시간 반복적으로 사용할 경우 근시 진행이 빨라질 수 있다.In fact, when my smartphone is continuously used for about 30 minutes, myopia progresses significantly, and myopia progresses quickly if it is repeatedly used for a long period of time.

전문가들은 시력을 보호하기 위해서는 너무 오랫동안 스마트폰 화면을 쳐다보지 말라고 조언 하면서, 시력이 단기간에 급격히 떨어지는 것은 눈을 제대로 사용하지 않아서 나타나는 현상이므로 적당한 휴식을 취하면서 먼거리를 볼 수 있도록 노력해야 한다고 조언하고 있다.Experts advise not to look at the screen of the smartphone for too long to protect their eyesight, and the fact that their eyesight falls rapidly in a short period of time is due to the fact that they are not using their eyes properly, .

종래의 눈 운동 관련 기술의 한 예로, 한국등록특허 제0127648호 "텔레비젼 수상기 시청시 눈 피로 방지 방법"이 제안되었다. 상기 선행기술에서는 텔레비젼 수상기의 동작모드가 눈운동 동작모드로 설정되면 도형 모양의 OSD문자가 화면상에서 이동하도록 하여 눈 운동을 하도록 하여 눈의 피로를 방지하도록 하는 기술이 개시되었다.Korean Patent No. 0127648 entitled " Method for preventing eye fatigue when watching TV receivers "has been proposed as an example of conventional art relating to eye movement. In the above prior art, when the operation mode of the television receiver is set to the eye movement operation mode, OSD characters of a graphic shape are moved on the screen so that eye movement is performed to prevent eye fatigue.

하지만 종래의 선행기술의 경우 단순하게 눈 운동을 할 대상체를 출력할 뿐, 사용자가 눈 운동을 정확히 하고 있는지 판단하지 못하여서 효과적인 눈 운동을 보조하지 못하였다.However, in the conventional art, only the object to be used for eye movement is outputted, and the user can not judge whether the eye movement is correct, so that the effective eye movement can not be assisted.

따라서, 눈 운동을 효과적으로 보조하는 장치 및 방법의 필요성이 대두 되었다.Therefore, a need has arisen for an apparatus and a method for effectively assisting eye movement.

한국등록특허 제0127648호 (등록일 1997.10.23)Korean Registered Patent No. 0127648 (registered on October 23, 1997)

본 발명은 상기와 같은 종래 기술의 문제점을 해결하고자 도출된 것으로서, 휴대용 단말기에서 눈 운동을 보조하는 장치 및 방법을 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide an apparatus and method for assisting eye movement in a portable terminal.

구체적으로, 본 발명은 휴대용 단말기를 통해 대상체를 출력하여 눈 운동을 보조할 때, 사용자의 시선 및 사용자의 터치 등을 포함하는 사용자의 입력이 대상체를 추적하고 있는지를 판별하여 눈 운동의 효과를 높이는 장치 및 방법을 제공하는 것을 목적으로 한다.More particularly, the present invention relates to a method and apparatus for enhancing the effect of eye movement by discriminating whether a user's input, including a user's gaze and a user's touch, is tracking a target object, And an object of the present invention is to provide an apparatus and a method.

본 발명은 휴대용 단말기를 통해 대상체를 출력하여 눈 운동을 보조할 때, 사용자의 시선이 대상체를 추적하고 있는지를 판별하여 눈 운동의 효과를 높이는 장치 및 방법을 제공하는 것을 목적으로 한다.An object of the present invention is to provide an apparatus and method for enhancing the effect of eye movement by discriminating whether or not a user's eyes are tracking a target object in assisting eye movement by outputting a target object through a portable terminal.

또한, 본 발명은 휴대용 단말기를 통해 대상체를 출력하여 눈 운동을 보조할 때, 사용자의 시선이 대상체를 추적하고 있는지를 판별하고, 사용자의 시선이 대상체를 기설정한 시간동안 추적하고 있으면, 대상체의 이동 속도를 기설정된 속도만큼 높여서 눈 운동의 효과를 높이는 장치 및 방법을 제공하는 것을 목적으로 한다.In addition, the present invention provides a method for outputting a target object through a portable terminal to assist in eye movement, determining whether a user's eyes are tracking a target object, and if the user's eyes are tracking the target object for a preset time, And an object of the present invention is to provide an apparatus and a method for enhancing the effect of eye movement by raising the moving speed by a predetermined speed.

또한, 본 발명은 휴대용 단말기를 통해 대상체를 출력하여 눈 운동을 보조할 때, 사용자의 시선이 대상체를 추적하고 있는지를 판별하고, 사용자의 시선이 대상체를 기설정한 시간동안 추적하지 못하면, 대상체의 이동 속도를 기설정된 속도만큼 낮춰서 눈 운동의 효과를 높이는 장치 및 방법을 제공하는 것을 목적으로 한다.The present invention also relates to a method and apparatus for outputting a target object through a portable terminal to assist in eye movement, to discriminate whether a user's gaze is tracking a target object, and if the gaze of the user does not track the target object for a preset time, And an object of the present invention is to provide an apparatus and method for increasing the effect of eye movement by lowering the moving speed by a predetermined speed.

상기와 같은 목적을 달성하기 위하여, 본 발명의 다른 실시 예에 따른 휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 장치는, 눈 운동시 대상체의 위치를 알리는 위치 알림부; 눈 운동 이벤트의 발생을 감지하는 이벤트 감지부; 사용자의 입력을 감지하는 입력부; 상기 눈 운동 이벤트가 발생하면, 상기 위치 알림부를 통해 상기 대상체의 위치를 알리도록 하고, 상기 대상체가 기설정된 궤적을 따라 기설정된 기준 속도로 이동하도록 하는 대상체 조정부; 상기 사용자의 입력을 추적하는 추적부; 및 상기 사용자의 입력과 상기 대상체의 이동을 비교하여 상기 사용자의 입력이 상기 대상체를 추적하고 있는지 확인하는 눈 운동 관리부를 포함한다.According to another aspect of the present invention, there is provided an apparatus for assisting movement of a sensory organ in a portable terminal, the apparatus comprising: a position notification unit for informing a position of a target object during eye movement; An event sensing unit for sensing occurrence of an eye movement event; An input unit for sensing a user input; A target object adjuster that informs the position of the target object through the position notification unit when the eye movement event occurs and causes the target object to move at a predetermined reference speed along a predetermined trajectory; A tracking unit for tracking an input of the user; And an eye motion management unit for comparing the input of the user with the motion of the object and checking whether the input of the user is tracking the object.

이때, 상기 위치 알림부는, 상기 대상체를 디스플레이하는 표시부 또는 상기 대상체의 움직임을 음향 또는 음성으로 출력하는 오디오부 중에서 적어도 하나를 포함할 수 있다.In this case, the location notification unit may include at least one of a display unit for displaying the object, or an audio unit for outputting the motion of the object as sound or voice.

이때, 상기 입력부는, 사용자의 시선을 추적하기 위한 영상을 촬영하는 카메라부 또는 사용자의 터치를 감지하는 터치 감지부 중에서 적어도 하나를 포함할 수 있다.At this time, the input unit may include at least one of a camera unit for capturing an image for tracking a user's gaze or a touch sensing unit for sensing a touch of a user.

이때, 상기 추적부는, 상기 카메라부를 통해 촬영된 영상을 이용하여 상기 사용자의 시선을 추적하는 시선 추적부 또는 상기 터치 감지부를 통해 감지된 상기 사용자의 터치를 추적하는 터치 추적부 중에서 적어도 하나를 포함할 수 있다.In this case, the tracking unit may include at least one of a gaze tracking unit for tracking the user's gaze using the image photographed through the camera unit or a touch tracker for tracking the touch of the user sensed through the touch sensing unit .

이때, 상기 눈 운동 관리부는, 상기 사용자의 입력이 상기 대상체를 기설정한 시간동안 추적하고 있으면, 상기 대상체의 이동 속도를 기설정된 속도만큼 높일 수 있다.At this time, the eye movement management unit may increase the moving speed of the object by a predetermined speed if the input of the user tracks the object for a preset time.

이때, 상기 눈 운동 관리부는, 상기 사용자의 입력이 상기 대상체를 기설정한 시간동안 추적하고 있지 못하면, 상기 대상체의 이동 속도를 기설정된 속도만큼 낮출 수 있다.At this time, the eye movement management unit can lower the moving speed of the object by a predetermined speed if the input of the user does not track the object for a preset time.

이때, 상기 눈 운동 관리부는, 상기 사용자의 입력이 상기 대상체를 기설정된 시간동안 추적하고 있으면, 상기 눈 운동을 종료할 수 있다.At this time, the eye movement management unit may terminate the eye movement if the input of the user tracks the object for a preset time.

이때, 상기 휴대용 단말기를 통해 디스플레이 되는 데이터의 종류, 연속으로 상기 표시부가 동작한 시간, 상기 사용자의 눈과 상기 표시부 간의 거리 중 적어도 하나를 고려한 눈의 피로도를 누적하여 계산하는 피로도 계산부를 더 포함할 수 있다. The portable terminal may further include a fatigue calculator for calculating the fatigue of the eye based on at least one of a type of data displayed through the portable terminal, a time when the display unit continuously operates, and a distance between the user's eyes and the display unit .

그리고, 상기 이벤트 감지부는, 상기 눈의 피로도가 기설정한 임계값을 초과하면 상기 눈 운동 이벤트를 발생시키거나 또는 눈 운동이 필요함을 알리는 메시지를 디스플레이 할 수 있다.The event detection unit may generate the eye movement event or display a message indicating that eye movement is required if the eye fatigue exceeds a predetermined threshold value.

이때, 상기 눈 운동 이벤트는, 상기 휴대용 단말기의 잠금 화면의 해제가 요청되는 경우, 기설정된 어플리케이션이 실행되는 경우, 기설정된 시간동안 연속으로 디스플레이된 경우 중에서 적어도 하나의 경우에 상기 눈 운동 이벤트가 발생할 수 있다.In this case, the eye movement event may cause the eye movement event to occur in at least one of the following cases: when the release of the lock screen of the portable terminal is requested, when a predetermined application is executed, .

본 발명의 다른 실시 예에 따른 휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 장치는, 눈 운동시 대상체를 디스플레이 하는 표시부; 눈 운동 이벤트의 발생을 감지하는 이벤트 감지부; 사용자의 시선을 추적하기 위한 영상을 촬영하는 카메라부; 상기 눈 운동 이벤트가 발생하면, 상기 대상체를 상기 표시부를 통해 디스플레이하고, 상기 대상체가 기설정된 궤적을 따라 기설정된 기준 속도로 이동하도록 하는 대상체 조정부; 상기 카메라부를 통해 촬영된 영상을 이용하여 사용자의 시선을 추적하는 시선 추적부; 및 상기 사용자의 시선과 상기 대상체의 이동을 비교하여 상기 사용자의 시선이 상기 대상체를 추적하고 있는지 확인하는 눈 운동 관리부를 포함한다.According to another aspect of the present invention, there is provided an apparatus for assisting a function improvement exercise of a sensory organs in a portable terminal, comprising: a display unit for displaying an object during eye movement; An event sensing unit for sensing occurrence of an eye movement event; A camera unit for capturing an image for tracking a user's gaze; A target object adjuster that displays the target object through the display unit when the eye movement event occurs and causes the target object to move at a predetermined reference speed along a predetermined trajectory; A gaze tracking unit for tracking a user's gaze using an image photographed through the camera unit; And an eye movement management unit for comparing the movement of the object with the sight line of the user and checking whether the user's eyes are tracking the object.

이때, 상기 눈 운동 관리부는, 상기 사용자의 시선이 상기 대상체를 기설정한 시간동안 추적하고 있으면, 상기 대상체의 이동 속도를 기설정된 속도만큼 높일 수 있다.At this time, the eye movement management unit may increase the moving speed of the object by a predetermined speed if the user's eyes are tracking the object for a preset time.

이때, 상기 눈 운동 관리부는, 상기 사용자의 시선이 상기 대상체를 기설정한 시간동안 추적하고 있지 못하면, 상기 대상체의 이동 속도를 기설정된 속도만큼 낮출 수 있다.At this time, the eye movement management unit may lower the moving speed of the object by a predetermined speed if the eye of the user does not track the object for a preset time.

이때, 상기 눈 운동 관리부는, 상기 사용자의 시선이 상기 대상체를 기설정된 시간동안 추적하고 있으면, 상기 눈 운동을 종료할 수 있다.At this time, the eye movement management unit may terminate the eye movement if the user's eyes track the object for a preset time.

본 발명의 다른 일 실시 예에 따른 휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 방법은, 눈 운동 이벤트가 발생하면, 대상체가 기설정된 궤적을 따라 기설정된 기준 속도로 이동하도록 표시부에 디스플레이 하는 단계; 카메라부를 통해 촬영된 영상을 이용하여 사용자의 시선의 움직임을 추적하는 단계; 및 상기 사용자의 시선과 상기 대상체의 이동을 비교하여 상기 사용자의 시선이 상기 대상체를 추적하고 있는지 확인하는 단계를 포함한다.A method of assisting a function improvement exercise of a sensory organ in a portable terminal according to another embodiment of the present invention includes the steps of displaying on a display unit a target object moving at a predetermined reference speed along a preset locus when an eye movement event occurs ; Tracking a movement of a user's gaze using an image photographed through a camera unit; And checking whether the user's gaze is tracking the target by comparing the gaze of the user with the movement of the target.

이때, 상기 사용자의 시선이 상기 대상체를 기설정한 시간동안 추적하고 있으면, 상기 대상체의 이동 속도를 기설정된 속도만큼 높이는 단계를 더 포함할 수 있다.The method may further include increasing the moving speed of the target object by a predetermined speed if the user's eyes are tracking the target object for a preset time.

이때, 상기 사용자의 시선이 상기 대상체를 기설정한 시간동안 추적하고 있지 못하면, 상기 대상체의 이동 속도를 기설정된 속도만큼 낮추는 단계를 더 포함할 수 있다.In this case, if the user's gaze does not track the object for a preset time, the step of lowering the moving speed of the object may be further reduced by a predetermined speed.

이때, 상기 사용자의 시선이 상기 대상체를 기설정된 시간동안 추적하고 있으면, 상기 눈 운동을 종료하는 단계를 더 포함할 수 있다.The method may further include terminating the eye movement if the eye of the user tracks the object for a preset time.

이때, 상기 휴대용 단말기를 통해 디스플레이 되는 데이터의 종류, 연속으로 상기 표시부가 동작한 시간, 상기 사용자의 눈과 상기 표시부 간의 거리 중 적어도 하나를 고려한 눈의 피로도를 누적하여 계산하는 단계; 및 상기 눈의 피로도가 기설정한 임계값을 초과하면 상기 눈 운동 이벤트를 발생시키거나 또는 눈 운동이 필요함을 알리는 메시지를 디스플레이 하는 단계를 더 포함할 수 있다.Accumulating and calculating eye fatigue considering at least one of a type of data displayed through the portable terminal, a time when the display unit continuously operates, and a distance between the user's eyes and the display unit; And displaying a message informing that the eye movement event is generated or the eye movement is required if the eye fatigue exceeds a preset threshold value.

본 발명은 휴대용 단말기를 통해 대상체를 출력하여 눈 운동을 보조할 때, 사용자의 시선이 대상체를 추적하고 있는지를 판별하고, 사용자의 시선이 대상체를 추적하고 있으면 대상체의 이동 속도를 높이고, 사용자의 시선이 대상체를 추적하지 못하면 대상체의 이동 속도를 낮추는 휴대용 단말기에서 눈 운동을 보조하는 장치 및 방법에 관한 것으로 눈 운동의 효과를 높일 수 있다.The present invention relates to a method and apparatus for outputting an object through a portable terminal to assist in eye movement, to discriminate whether a user's eyes are tracking a target object, to increase a moving speed of the target object when the user's eyes are tracking the target object, And a device and a method for assisting eye movement in a portable terminal that reduces the moving speed of the object if the object can not be tracked.

도 1은 본 발명의 일 실시예에 따른 휴대용 단말기에서 눈 운동을 보조하는 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따라 휴대용 단말기에서 눈 운동을 보조하는 과정의 일 예를 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따라 휴대용 단말기에서 눈 운동을 보조하는 과정의 다른 예를 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따라 눈 운동을 보조할 때 대상체가 움직이는 궤적의 일 예를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따라 눈 운동을 보조할 때 대상체가 움직이는 궤적의 다른 예를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따라 눈 운동을 보조할 때 대상체가 움직이는 궤적의 또 다른 예를 도시한 도면이다.FIG. 1 is a block diagram illustrating an apparatus for assisting eye movement in a portable terminal according to an exemplary embodiment of the present invention. Referring to FIG.
2 is a flowchart illustrating an example of a process of assisting eye movement in a portable terminal according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating another example of a process of assisting eye movement in a portable terminal according to an embodiment of the present invention.
FIG. 4 is a view showing an example of a trajectory in which a subject moves when assisting eye movement according to an embodiment of the present invention.
5 is a view showing another example of a trajectory in which a subject moves when assisting eye movement according to an embodiment of the present invention.
FIG. 6 is a view showing another example of a trajectory in which a subject moves in assisting eye movement according to an embodiment of the present invention.

상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시 예에 대한 설명을 통하여 명백히 드러나게 될 것이다.Other objects and features of the present invention will become apparent from the following description of embodiments with reference to the accompanying drawings.

본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.However, the present invention is not limited to or limited by the embodiments. Like reference symbols in the drawings denote like elements.

이하에서는, 본 발명의 일 실시 예에 따른 휴대용 단말기에서 눈 운동을 보조하는 장치 및 방법을 첨부된 도 1 내지 도 6을 참조하여 상세히 설명한다.Hereinafter, an apparatus and method for assisting eye movement in a portable terminal according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 6.

도 1은 본 발명의 일 실시예에 따른 휴대용 단말기에서 눈 운동을 보조하는 장치의 구성을 도시한 도면이다.FIG. 1 is a block diagram illustrating an apparatus for assisting eye movement in a portable terminal according to an exemplary embodiment of the present invention. Referring to FIG.

도 1을 참조하면, 운동 보조 장치(100)는 제어부(110), 피로도 계산부(111), 이벤트 감지부(112), 대상체 조정부(113), 시선 추적부(114), 눈 운동 관리부(115), 표시부(120), 카메라부(130) 및 저장부(140)를 포함할 수 있다.1, the exercise assisting apparatus 100 includes a control unit 110, a fatigue calculation unit 111, an event detection unit 112, a target object adjustment unit 113, a sight line tracking unit 114, an eye movement management unit 115 A display unit 120, a camera unit 130, and a storage unit 140.

표시부(120)는 운동 보조 장치(100)의 동작 중에 발생되는 상태 정보(또는 인디케이터), 제한된 숫자와 문자들, 동화상(moving picture) 및 정화상(still picture) 등을 디스플레이한다. 또한, 본 발명에 따라 눈 운동을 위한 대상체를 디스플레이 하고, 설정에 따라 대상체가 움직이는 궤적 또한 디스플레이 할 수 있다.The display unit 120 displays status information (or an indicator), limited numbers and characters, a moving picture, and a still picture, which are generated during the operation of the exercise assisting apparatus 100. Also, according to the present invention, it is possible to display an object for eye movement and also display a trajectory in which the object moves according to the setting.

카메라부(130)는 사용자의 시선을 추적하기 위한 영상을 촬영하는 장치로 촬영된 영상을 시선 추적부(114)로 제공한다. 이때, 촬영된 영상은 시선 추적부(114)로 제공되기에 앞서 이미지 보정을 통해 보정될 수 있다. The camera unit 130 provides a captured image to a gaze tracking unit 114, which captures an image for tracking a user's gaze. At this time, the photographed image may be corrected through image correction before being provided to the gaze tracking unit 114.

저장부(140)는 운동 보조 장치(100)의 전반적인 동작을 제어하기 위한 운영체제, 응용 프로그램 및 저장용 데이터(전화번호, SMS 메시지, 압축된 이미지 파일, 동영상 등)를 저장한다. 또한, 저장부(140)는 본 발명에 따라 대상체의 형태를 나타내는 데이터, 대상체가 이동하는 궤적의 정보, 대상체가 이동하는 속도 등의 정보를 저장한다.The storage unit 140 stores an operating system, an application program, and storage data (telephone number, SMS message, compressed image file, moving image, etc.) for controlling the overall operation of the exercise assisting device 100. In addition, the storage unit 140 stores information indicating the shape of the object, information of the locus of movement of the object, and the speed at which the object moves, according to the present invention.

피로도 계산부(111)는 휴대용 단말기를 통해 디스플레이 되는 데이터의 종류, 연속으로 표시부(120)가 동작한 시간, 사용자의 눈과 표시부(120) 간의 거리 중 적어도 하나를 고려한 눈의 피로도를 누적하여 계산한다.The fatigue calculator 111 accumulates and calculates the fatigue of the eyes considering at least one of the type of data displayed on the portable terminal, the time when the display unit 120 continuously operates, and the distance between the user's eyes and the display unit 120 do.

이벤트 감지부(112)는 눈 운동 이벤트의 발생을 감지한다.The event detection unit 112 detects occurrence of an eye movement event.

이때, 눈 운동 이벤트는 휴대용 단말기의 잠금 화면의 해제가 요청되는 경우, 기설정된 어플리케이션이 실행되는 경우, 기설정된 시간동안 연속으로 디스플레이된 경우, 사용자의 눈 운동 요청을 수신한 경우, 피로도 계산부(111)에서 계산한 눈의 피로도가 기설정한 임계값을 초과한 경우 중에서 적어도 하나의 경우에 눈 운동 이벤트가 발생될 수 있다.In this case, the eye movement event may include a case where a lock screen of the portable terminal is requested to be released, a predetermined application is executed, a predetermined time is continuously displayed, a user's eye movement request is received, The eye movement event may occur in at least one of the cases where the fatigue of the eyes calculated in the step 111) exceeds the preset threshold value.

이벤트 감지부(112)는 눈의 피로도가 기설정한 임계값을 초과하면 눈 운동 이벤트를 발생시키거나 또는 눈 운동이 필요함을 알리는 메시지를 표시부(120)에 디스플레이할 수도 있다.The event detection unit 112 may generate an eye movement event or display a message on the display unit 120 indicating that eye movement is required if the eye fatigue exceeds a preset threshold value.

대상체 조정부(113)는 눈 운동 이벤트가 발생하면, 대상체를 표시부(120)를 통해 디스플레이하고, 대상체가 기설정된 궤적을 따라 기설정된 기준 속도로 이동하도록 한다. 이때, 대상체 조정부(113)는 디스플레이 되는 대상체의 형태를 대상체의 이동속도에 따라 다른 형태로 디스플레이 할 수 있다. 또한 대상체 조정부(113)는 사용자의 설정에 따라 사용자가 선호하는 대상체의 형태를 디스플레이 할 수 있다.When the eye movement event occurs, the object adjustment unit 113 displays the object via the display unit 120, and causes the object to move at a preset reference velocity along a predetermined locus. At this time, the object adjusting unit 113 can display the shape of the displayed object in a different form according to the moving speed of the object. In addition, the object adjusting unit 113 can display the shape of the object preferred by the user according to the setting of the user.

대상체 조정부(113)는 대상체를 이동하는 궤적을 사용자의 사용 패턴을 고려해서 선택할 수도 있다. 예를 들어 사용자가 휴대용 단말기를 세로로 주로 사용하는 경우, 대상체 조정부(113)는 좌우로 움직이는 눈 근육의 움직임이 적을 것으로 판단 좌우로 많이 움직이는 형태의 궤적을 선택할 수 있다. 반대로 휴대용 단말기를 가로로 주로 사용하는 경우, 대상체 조정부(113)는 상하로 움직이는 눈 근육의 움직임이 적을 것으로 판단 상하로 많이 움직이는 형태의 궤적을 선택할 수 있다.The object adjusting unit 113 may select the trajectory for moving the object in consideration of the usage pattern of the user. For example, when the user mainly uses the portable terminal vertically, the object adjusting unit 113 can select a trajectory in which the movement of the left and right eye muscles is determined to be small, and the trajectory is largely moved from side to side. On the other hand, when the portable terminal is mainly used as the lateral side, the object adjusting unit 113 can select a trajectory in which the upward and downward movements of the eye muscles are determined to be small.

대상체 조정부(113)는 대상체를 디스플레이 할 때, 대상체가 이동한 또는 이동할 궤적을 디스플레이 할 수도 있다.The object adjusting unit 113 may display a trajectory in which the object moves or moves when displaying the object.

대상체가 이동하는 궤적은 아래 도 4에서 도 6과 같은 궤적을 가질 수 있다. 대상체의 이동 궤적은 도 4에서 도 6의 예 외에도 눈 운동을 위한 모든 궤적이 가능하다.The locus of the object moving may have the locus shown in FIG. 4 to FIG. 6 below. In addition to the example of FIG. 4 to FIG. 6, the movement trajectory of the object can be all traces for eye movement.

도 4는 본 발명의 일 실시예에 따라 눈 운동을 보조할 때 대상체가 움직이는 궤적의 일 예를 도시한 도면이다.FIG. 4 is a view showing an example of a trajectory in which a subject moves when assisting eye movement according to an embodiment of the present invention.

도 4를 참조하면, 대상체(410)가 움직이는 궤적은 8자 형태를 가지며, 눈 운동시 표시부(120)의 가로와 세로 영역을 효과적으로 사용할 수 있다.Referring to FIG. 4, the trajectory of the object 410 has an eight-character shape, and the horizontal and vertical regions of the display unit 120 can be used effectively during eye movement.

도 5는 본 발명의 일 실시예에 따라 눈 운동을 보조할 때 대상체가 움직이는 궤적의 다른 예를 도시한 도면이다.5 is a view showing another example of a trajectory in which a subject moves when assisting eye movement according to an embodiment of the present invention.

도 5를 참조하면, 대상체(510)가 움직이는 궤적은 상하 좌우 대각선으로 움직이는 형태를 가지며, 도 4에 비해서 섬세한 움직임을 요구하며 눈 주위의 세부 근육을 균형적으로 운동시키기에 적합하다.Referring to FIG. 5, the trajectory of the object 510 moves vertically, horizontally, and diagonally, and requires a more delicate movement than that of FIG. 4, and is suitable for balancing the detailed muscles around the eyes.

도 6은 본 발명의 일 실시예에 따라 눈 운동을 보조할 때 대상체가 움직이는 궤적의 또 다른 예를 도시한 도면이다.FIG. 6 is a view showing another example of a trajectory in which a subject moves in assisting eye movement according to an embodiment of the present invention.

도 6을 참조하면, 대상체(610)가 움직이는 궤적은 달팽이 형태를 가지며, 도 4에 비해서 좌우 움직임은 적으나 섬세한 움직임을 요구하며 눈 주위의 세부 근육의 조절 능력을 향상 시키기에 적합하다.Referring to FIG. 6, the trajectory of the object 610 has a snail shape. The trajectory of the object 610 has a snail shape.

시선 추적부(114)는 카메라부(130)를 통해 촬영된 영상을 이용하여 사용자의 시선을 추적한다.The gaze tracking unit 114 tracks the user's gaze using the image photographed through the camera unit 130.

눈 운동 관리부(115)는 시선 추적부(114)에서 추적한 사용자의 시선과 대상체의 이동을 비교하여 사용자의 시선이 대상체를 추적하고 있는지 확인한다.The eye movement management unit 115 compares the gaze of the user tracked by the gaze tracking unit 114 with the movement of the target object and confirms whether the user's gaze is tracking the target.

그리고, 눈 운동 관리부(115)는 사용자의 시선이 대상체를 기설정한 시간동안 추적하고 있으면, 대상체의 이동 속도를 기설정된 속도만큼 높일 수 있다.The eye movement management unit 115 can increase the moving speed of the object by a predetermined speed if the user's eyes are tracking the object for a preset time.

하지만, 눈 운동 관리부(115)는 사용자의 시선이 대상체를 기설정한 시간동안 추적하고 있지 못하면, 대상체의 이동 속도를 기설정된 속도만큼 낮출 수 있다.However, if the eye movement management unit 115 does not track the object for a preset time, the eye movement management unit 115 can lower the moving speed of the object by a predetermined speed.

또한, 눈 운동 관리부(115)는 사용자의 시선이 대상체를 기설정된 종료 시간동안 추적하고 있으면, 눈 운동을 종료할 수 있다.In addition, the eye movement management unit 115 can terminate the eye movement if the user's eyes track the object for a predetermined end time.

한편, 눈 운동 관리부(115)는 별도의 거리 감지 센서를 이용하여 사용자와 표시부(120) 간의 거리를 측정하고, 사용자가 눈 운동시 사용자와 표시부(120) 간의 거리가 눈 운동하기에 적절한 기설정한 범위가 아닌 경우, 적절한 거리에서 눈 운동하도록 안내 메시지를 출력할 수도 있다. Meanwhile, the eye movement management unit 115 measures the distance between the user and the display unit 120 using a separate distance sensor, and determines the distance between the user and the display unit 120 in the eye movement, If it is not in one range, a guidance message may be output to cause eye movement at an appropriate distance.

제어부(110)는 운동 보조 장치(100)의 전반적인 동작을 제어할 수 있다. 그리고, 제어부(110)는 피로도 계산부(111), 이벤트 감지부(112), 대상체 조정부(113), 시선 추적부(114) 및 눈 운동 관리부(115)의 기능을 수행할 수 있다. 제어부(110), 피로도 계산부(111), 이벤트 감지부(112), 대상체 조정부(113), 시선 추적부(114) 및 눈 운동 관리부(115)를 구분하여 도시한 것은 각 기능들을 구별하여 설명하기 위함이다. 따라서 제어부(110)는 피로도 계산부(111), 이벤트 감지부(112), 대상체 조정부(113), 시선 추적부(114) 및 눈 운동 관리부(115) 각각의 기능을 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다. 또한, 제어부(110)는 피로도 계산부(111), 이벤트 감지부(112), 대상체 조정부(113), 시선 추적부(114) 및 눈 운동 관리부(115) 각각의 기능 중 일부를 수행하도록 구성된(configured) 적어도 하나의 프로세서를 포함할 수 있다.The control unit 110 may control the overall operation of the exercise assisting device 100. [ The control unit 110 may perform the functions of the fatigue calculation unit 111, the event detection unit 112, the object adjustment unit 113, the eye tracking unit 114, and the eye movement management unit 115. The control unit 110, the fatigue calculation unit 111, the event detection unit 112, the object adjustment unit 113, the eye tracking unit 114, and the eye movement management unit 115 are distinguished from each other, . Therefore, the control unit 110 may be configured to perform at least the functions of the fatigue calculation unit 111, the event detection unit 112, the object adjustment unit 113, the eye tracking unit 114, and the eye movement management unit 115 And may include one processor. The controller 110 is configured to perform some of the functions of the fatigue calculator 111, the event detector 112, the object adjuster 113, the eye tracking unit 114, and the eye movement management unit 115 configured at least one processor.

한편, 도 1의 운동 보조 장치(100)는 사용자의 시선을 추적하여 눈 운동을 보조하는 것으로 한정하고 있지만, 터치감지부(미도시)를 통하여 사용자의 터치가 대상체를 추적하는지 확인하고, 대상체의 속도를 제어하여 눈 운동과 동시에 손가락 운동을 병행하도록 할 수도 있다.The exercise assist device 100 of FIG. 1 is limited to assist the eye movement by tracking the user's gaze. However, it is possible to confirm whether the user's touch tracks the target through the touch sensing unit (not shown) It is also possible to control the speed so that the finger exercise is performed simultaneously with the eye movement.

또한, 대상체의 디스플레이 없이 오디오(미도시)를 이용하여 대상체의 이동을 설명하고, 사용자의 터치가 대상체를 추적하는지 확인하여 대상체의 속도를 제어하는 방식으로 구현될 수도 있다. 이때, 사용자의 터치가 잘못된 궤적을 그리면 진동을 통해 잘 못된 궤적임을 알릴 수도 있다. 위의 방법을 적용하면 눈 운동 보조뿐 아니라 귀, 손가락 및 감각기관의 운동 또한 보조할 수 있다.In addition, the movement of the object may be described using audio (not shown) without displaying the object, and the speed of the object may be controlled by checking whether the user's touch tracks the object. At this time, when the user's touch draws a wrong locus, it may be noticed that the locus is an incorrect locus through vibration. Applying the above method can also assist the movement of the ears, the fingers and the sensory organs as well as the eye exercise aids.

이하, 상기와 같이 구성된 본 발명에 따른 휴대용 단말기에서 눈 운동을 보조하는 방법을 아래에서 도면을 참조하여 설명한다.Hereinafter, a method of assisting eye movement in the portable terminal according to the present invention will be described with reference to the drawings.

도 2는 본 발명의 일 실시예에 따라 휴대용 단말기에서 눈 운동을 보조하는 과정의 일 예를 도시한 흐름도이다.2 is a flowchart illustrating an example of a process of assisting eye movement in a portable terminal according to an exemplary embodiment of the present invention.

도 2를 참조하면, 운동 보조 장치(100)는 눈 운동 이벤트의 발생 여부를 확인한다(S210). 이때, 눈 운동 이벤트는 휴대용 단말기의 잠금 화면의 해제가 요청되는 경우, 기설정된 어플리케이션이 실행되는 경우, 기설정된 시간동안 연속으로 디스플레이된 경우, 사용자의 눈 운동 요청을 수신한 경우, 피로도 계산부(111)에서 계산한 눈의 피로도가 기설정한 임계값을 초과한 경우 중에서 적어도 하나의 경우에 눈 운동 이벤트가 발생될 수 있다.Referring to FIG. 2, the exercise assisting apparatus 100 confirms whether an eye movement event has occurred (S210). In this case, the eye movement event may include a case where a lock screen of the portable terminal is requested to be released, a predetermined application is executed, a predetermined time is continuously displayed, a user's eye movement request is received, The eye movement event may occur in at least one of the cases where the fatigue of the eyes calculated in the step 111) exceeds the preset threshold value.

S210단계의 확인결과 눈 운동 이벤트가 발생하면, 운동 보조 장치(100)는 대상체가 기설정된 궤적을 따라 기설정된 기준 속도로 이동하도록 표시부(120)에 디스플레이한다(S212). If it is determined in step S210 that the eye movement event occurs, the exercise assisting apparatus 100 displays the object on the display unit 120 so as to move at a preset reference speed along a preset trajectory (S212).

그리고, 운동 보조 장치(100)는 카메라부(130)를 통해 촬영된 영상을 이용하여 사용자의 시선의 움직임을 추적한다(S214).Then, the exercise assisting apparatus 100 tracks the movement of the user's gaze using the image photographed through the camera unit 130 (S214).

그리고, 운동 보조 장치(100)는 사용자의 시선과 대상체의 이동을 비교하여 사용자의 시선이 대상체를 추적하고 있는지 확인한다(S216).Then, the exercise assisting apparatus 100 compares the user's gaze with the movement of the target object, and checks whether the user's gaze is tracking the target object (S216).

그리고, 운동 보조 장치(100)는 사용자의 시선이 대상체를 기설정된 시간동안 추적하고 있는지 확인한다(S218).Then, the exercise assisting apparatus 100 confirms whether the user's gaze is tracking the target object for a preset time (S218).

S218단계의 확인결과 사용자의 시선이 대상체를 기설정된 시간동안 추적하고 있지 못하면, 운동 보조 장치(100)는 S212단계로 돌아간다.If it is determined in step S218 that the user's eyes are not tracking the target object for a preset time, the exercise assisting device 100 returns to step S212.

S218단계의 확인결과 사용자의 시선이 대상체를 기설정된 시간동안 추적하고 있으면, 운동 보조 장치(100)는 눈 운동을 종료한다.If it is determined in step S218 that the user's eyes are tracking the target object for a predetermined time, the exercise assisting apparatus 100 ends the eye movement.

도 3은 본 발명의 일 실시예에 따라 휴대용 단말기에서 눈 운동을 보조하는 과정의 다른 예를 도시한 흐름도이다.3 is a flowchart illustrating another example of a process of assisting eye movement in a portable terminal according to an embodiment of the present invention.

도 3을 참조하면, 운동 보조 장치(100)는 휴대용 단말기를 통해 디스플레이 되는 데이터의 종류, 연속으로 표시부(120)가 동작한 시간, 사용자의 눈과 표시부(120) 간의 거리 중 적어도 하나를 고려한 눈의 피로도를 누적하여 계산한다(S310).Referring to FIG. 3, the exercise assisting apparatus 100 may include a display unit 120 for displaying information on at least one of a type of data displayed on the portable terminal, a time when the display unit 120 continuously operates, (S310). ≪ / RTI >

그리고, 운동 보조 장치(100)는 눈의 피로도가 기설정한 임계값을 초과하는지 확인한다(S312).Then, the exercise assisting apparatus 100 confirms whether the eye fatigue exceeds a preset threshold value (S312).

S312단계의 확인결과 눈의 피로도가 기설정한 임계값을 초과하면, 운동 보조 장치(100)는 대상체가 기설정된 궤적을 따라 기설정된 기준 속도로 이동하도록 표시부(120)에 디스플레이한다(S314). If it is determined in step S312 that the eye fatigue exceeds the preset threshold value, the exercise assisting apparatus 100 displays the object on the display unit 120 so as to move at a predetermined reference speed along a predetermined trajectory (S314).

그리고, 운동 보조 장치(100)는 카메라부(130)를 통해 촬영된 영상을 이용하여 사용자의 시선의 움직임을 추적한다(S316).Then, the exercise assisting apparatus 100 tracks the movement of the user's gaze using the image photographed through the camera unit 130 (S316).

그리고, 운동 보조 장치(100)는 사용자의 시선과 대상체의 이동을 비교하여 사용자의 시선이 대상체를 추적하고 있는지 확인한다(S318).Then, the exercise assisting apparatus 100 compares the user's gaze and the movement of the target object to check whether the user's gaze is tracking the target object (S318).

그리고, 운동 보조 장치(100)는 사용자의 시선이 대상체를 기설정된 시간동안 추적하고 있는지 확인한다(S320).Then, the exercise assisting apparatus 100 confirms whether the user's gaze is tracking the target object for a preset time (S320).

S320단계의 확인결과 사용자의 시선이 대상체를 기설정된 시간동안 추적하고 있으면, 운동 보조 장치(100)는 대상체의 이동 속도를 기설정된 속도만큼 높인다(S322).If it is determined in step S320 that the user's eyes are tracking the object for a preset time, the exercise assisting apparatus 100 increases the moving speed of the object by a predetermined speed (S322).

하지만, S320단계의 확인결과 사용자의 시선이 대상체를 기설정된 시간동안 추적하고 있지 못하면, 운동 보조 장치(100)는 대상체의 이동 속도를 기설정된 속도만큼 낮춘다(S324).However, if it is determined in step S320 that the user's gaze does not track the object for a preset time, the exercise assisting apparatus 100 lowers the moving speed of the object by a predetermined speed (S324).

그리고, 운동 보조 장치(100)는 사용자의 시선이 대상체를 기설정된 종료 시간동안 추적하고 있는지 확인한다(S326).Then, the exercise assisting apparatus 100 confirms whether the user's gaze is tracking the target object for a predetermined end time (S326).

S326단계의 확인결과 사용자의 시선이 대상체를 기설정된 종료 시간동안 추적하고 있지 못하면, 운동 보조 장치(100)는 S314단계로 돌아간다.If it is determined in step S326 that the user's eyes are not tracking the target object for the predetermined end time, the exercise assisting device 100 returns to step S314.

S326단계의 확인결과 사용자의 시선이 대상체를 기설정된 종료 시간동안 추적하고 있으면, 운동 보조 장치(100)는 눈 운동을 종료한다.If it is determined in step S326 that the user's eyes are tracking the target object for the preset end time, the exercise assisting apparatus 100 ends the eye movement.

본 발명의 일 실시 예에 따른 휴대용 단말기에서 눈 운동을 보조하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.A method for assisting eye movement in a portable terminal according to an exemplary embodiment of the present invention may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

Claims (19)

눈 운동시 대상체의 위치를 알리도록, 상기 대상체를 디스플레이하는 표시부를 포함하는 위치 알림부;
눈 운동 이벤트의 발생을 감지하는 이벤트 감지부;
사용자의 입력을 감지하는 입력부;
상기 눈 운동 이벤트가 발생하면, 상기 위치 알림부를 통해 상기 대상체의 위치를 알리도록 하고, 상기 대상체가 기설정된 궤적을 따라 기설정된 기준 속도로 이동하도록 하는 대상체 조정부;
상기 사용자의 입력을 추적하는 추적부;
상기 표시부를 통해 디스플레이 되는 데이터의 종류, 연속으로 상기 표시부가 동작한 시간, 상기 사용자의 눈과 상기 표시부 간의 거리 중 적어도 하나를 고려한 눈의 피로도를 누적하여 계산하는 피로도 계산부; 및
상기 사용자의 입력인 사용자의 추적 시선과 상기 대상체의 이동을 비교하여 상기 사용자의 입력이 상기 대상체를 추적하고 있는지 확인하며, 별도의 거리 감지 센서를 이용하여 사용자와 상기 대상체를 디스플레이하는 표시부 간의 거리를 측정하고, 사용자가 눈 운동시 사용자와 상기 표시부 간의 거리가 상기 피로도 계산부에 의해 계산된 눈의 피로도가 기설정한 임계값을 초과하게 하는 범위의 거리인 경우, 상기 눈의 피로도가 기설정한 임계값을 초과하지 않는 범위의 거리에서 눈 운동하도록 안내 메시지를 출력할 수 있는 눈 운동 관리부; 를 포함하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 장치.
A position notification unit including a display unit for displaying the object so as to inform the position of the object during eye movement;
An event sensing unit for sensing occurrence of an eye movement event;
An input unit for sensing a user input;
A target object adjuster that informs the position of the target object through the position notification unit when the eye movement event occurs and causes the target object to move at a predetermined reference speed along a predetermined trajectory;
A tracking unit for tracking an input of the user;
A fatigue calculation unit for calculating cumulative fatigue of eyes considering at least one of a type of data displayed through the display unit, a time when the display unit continuously operates, and a distance between the user's eyes and the display unit; And
A distance between a user and a display unit for displaying the object by comparing the movement of the object with the tracking line of the user as an input of the user and checking whether the input of the user is tracking the object, And when the distance between the user and the display unit in a user's eye movement is a distance in a range exceeding a threshold value set by the fatigue of the eye calculated by the fatigue calculating unit, A range that does not exceed the threshold An eye movement management unit capable of outputting a guidance message for eye movement at a distance; Containing
A device for assisting movement improvement of sensory organs in a portable terminal.
제1항에 있어서,
상기 위치 알림부는,
상기 대상체의 움직임을 음향 또는 음성으로 출력하는 오디오부를 더 포함함을 특징으로 하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 장치.The method according to claim 1,
The location notification unit,
And an audio unit for outputting the motion of the target object by sound or voice
A device for assisting movement improvement of sensory organs in a portable terminal. 제1항에 있어서,
상기 입력부는,
사용자의 시선을 추적하기 위한 영상을 촬영하는 카메라부 또는
사용자의 터치를 감지하는 터치 감지부 중에서 적어도 하나를 포함함을 특징으로 하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 장치.The method according to claim 1,
Wherein the input unit comprises:
A camera unit for capturing an image for tracking a user's gaze or
And a touch sensing unit for sensing a touch of a user.
A device for assisting movement improvement of sensory organs in a portable terminal. 제3항에 있어서,
상기 추적부는,
상기 카메라부를 통해 촬영된 영상을 이용하여 상기 사용자의 시선을 추적하는 시선 추적부 또는,
상기 터치 감지부를 통해 감지된 상기 사용자의 터치를 추적하는 터치 추적부 중에서 적어도 하나를 포함함을 특징을 하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 장치.The method of claim 3,
The tracking unit includes:
A gaze-tracking unit for tracking the gaze of the user using the image photographed through the camera unit,
And a touch-tracking unit for tracking a touch of the user sensed by the touch-sensing unit.
A device for assisting movement improvement of sensory organs in a portable terminal. 제1항에 있어서,
상기 눈 운동 관리부는,
상기 사용자의 입력이 상기 대상체를 기설정한 시간동안 추적하고 있으면, 상기 대상체의 이동 속도를 기설정된 속도만큼 높임을 특징으로 하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 장치.The method according to claim 1,
The eye movement management unit,
Wherein the moving speed of the object is increased by a predetermined speed if the input of the user tracks the object for a preset time period
A device for assisting movement improvement of sensory organs in a portable terminal. 제1항에 있어서,
상기 눈 운동 관리부는,
상기 사용자의 입력이 상기 대상체를 기설정한 시간동안 추적하고 있지 못하면, 상기 대상체의 이동 속도를 기설정된 속도만큼 낮춤을 특징으로 하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 장치.The method according to claim 1,
The eye movement management unit,
Wherein the moving speed of the object is lowered by a predetermined speed if the input of the user does not track the object for a preset time
A device for assisting movement improvement of sensory organs in a portable terminal. 제1항에 있어서,
상기 눈 운동 관리부는,
상기 사용자의 입력이 상기 대상체를 기설정된 시간동안 추적하고 있으면, 상기 눈 운동을 종료함을 특징으로 하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 장치.The method according to claim 1,
The eye movement management unit,
And if the input of the user tracks the object for a preset time, the eye movement is terminated
A device for assisting movement improvement of sensory organs in a portable terminal. 제1항에 있어서,
상기 이벤트 감지부는,
상기 눈의 피로도가 기설정한 임계값을 초과하면 상기 눈 운동 이벤트를 발생시키거나 또는 눈 운동이 필요함을 알리는 메시지를 디스플레이 하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 장치.The method according to claim 1,
Wherein the event detection unit comprises:
When the eye fatigue exceeds a preset threshold value, a message indicating that the eye movement event is generated or that eye movement is required is displayed
A device for assisting movement improvement of sensory organs in a portable terminal. 제1항에 있어서,
상기 눈 운동 이벤트는,
상기 휴대용 단말기의 잠금 화면의 해제가 요청되는 경우,
기설정된 어플리케이션이 실행되는 경우,
기설정된 시간동안 연속으로 디스플레이된 경우 중에서 적어도 하나의 경우에 상기 눈 운동 이벤트가 발생하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 장치.The method according to claim 1,
The eye movement event includes:
When the release of the lock screen of the portable terminal is requested,
When the preset application is executed,
The eye movement event occurs in at least one of the cases where the eye movement event is continuously displayed for a predetermined time
A device for assisting movement improvement of sensory organs in a portable terminal. 눈 운동시 대상체를 디스플레이 하는 표시부;
눈 운동 이벤트의 발생을 감지하는 이벤트 감지부;
사용자의 시선을 추적하기 위한 영상을 촬영하는 카메라부;
상기 눈 운동 이벤트가 발생하면, 상기 대상체를 상기 표시부를 통해 디스플레이하고, 상기 대상체가 기설정된 궤적을 따라 기설정된 기준 속도로 이동하도록 하는 대상체 조정부;
상기 카메라부를 통해 촬영된 영상을 이용하여 사용자의 시선을 추적하는 시선 추적부;
상기 표시부를 통해 디스플레이 되는 데이터의 종류, 연속으로 상기 표시부가 동작한 시간, 상기 사용자의 눈과 상기 표시부 간의 거리 중 적어도 하나를 고려한 눈의 피로도를 누적하여 계산하는 피로도 계산부; 및
상기 사용자의 추적 시선과 상기 대상체의 이동을 비교하여 상기 사용자의 시선이 상기 대상체를 추적하고 있는지 확인하며, 별도의 거리 감지 센서를 이용하여 사용자와 상기 대상체를 디스플레이하는 표시부 간의 거리를 측정하고, 사용자가 눈 운동시 사용자와 상기 표시부 간의 거리가 상기 피로도 계산부에 의해 계산된 눈의 피로도가 기설정한 임계값을 초과하게 하는 범위의 거리인 경우, 상기 눈의 피로도가 기설정한 임계값을 초과하지 않는 범위의 거리에서 눈 운동하도록 안내 메시지를 출력할 수 있는 눈 운동 관리부를 포함하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 장치.A display unit for displaying an object during eye movement;
An event sensing unit for sensing occurrence of an eye movement event;
A camera unit for capturing an image for tracking a user's gaze;
A target object adjuster that displays the target object through the display unit when the eye movement event occurs and causes the target object to move at a predetermined reference speed along a predetermined trajectory;
A gaze tracking unit for tracking a user's gaze using an image photographed through the camera unit;
A fatigue calculation unit for calculating cumulative fatigue of eyes considering at least one of a type of data displayed through the display unit, a time when the display unit continuously operates, and a distance between the user's eyes and the display unit; And
A distance between the user and the display unit for displaying the object is measured by using a distance sensor to determine whether the user's eyes are tracking the object by comparing the movement line of the user with the movement of the object, When the distance between the user and the display unit during the eye movement is a distance within a range in which the fatigue of the eye calculated by the fatigue calculation unit exceeds a preset threshold value, the eye fatigue exceeds the predetermined threshold value And an eye movement management section capable of outputting a guidance message to perform eye movement at a distance within a range
A device for assisting movement improvement of sensory organs in a portable terminal. 제10항에 있어서,
상기 눈 운동 관리부는,
상기 사용자의 시선이 상기 대상체를 기설정한 시간동안 추적하고 있으면, 상기 대상체의 이동 속도를 기설정된 속도만큼 높임을 특징으로 하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 장치.11. The method of claim 10,
The eye movement management unit,
Wherein the moving speed of the object is increased by a predetermined speed if the user's eyes are tracking the object for a preset time period
A device for assisting movement improvement of sensory organs in a portable terminal. 제10항에 있어서,
상기 눈 운동 관리부는,
상기 사용자의 시선이 상기 대상체를 기설정한 시간동안 추적하고 있지 못하면, 상기 대상체의 이동 속도를 기설정된 속도만큼 낮춤을 특징으로 하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 장치.11. The method of claim 10,
The eye movement management unit,
Wherein the moving speed of the target object is lowered by a predetermined speed when the user's gaze does not track the target object for a predetermined period of time
A device for assisting movement improvement of sensory organs in a portable terminal. 제10항에 있어서,
상기 눈 운동 관리부는,
상기 사용자의 시선이 상기 대상체를 기설정된 시간동안 추적하고 있으면, 상기 눈 운동을 종료함을 특징으로 하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 장치.11. The method of claim 10,
The eye movement management unit,
When the eye of the user tracks the object for a predetermined period of time, ends the eye movement.
A device for assisting movement improvement of sensory organs in a portable terminal. 눈 운동 이벤트가 발생하면, 대상체가 기설정된 궤적을 따라 기설정된 기준 속도로 이동하도록 표시부에 디스플레이 하는 단계;
카메라부를 통해 촬영된 영상을 이용하여 사용자의 시선의 움직임을 추적하는 단계;
상기 표시부를 통해 디스플레이 되는 데이터의 종류, 연속으로 상기 표시부가 동작한 시간, 상기 사용자의 눈과 상기 표시부 간의 거리 중 적어도 하나를 고려한 눈의 피로도를 누적하여 계산하는 피로도 계산 단계; 및
상기 사용자의 추적 시선과 상기 대상체의 이동을 비교하여 상기 사용자의 시선이 상기 대상체를 추적하고 있는지 확인하는 단계를 포함하며,
상기 사용자의 시선이 상기 대상체를 추적하고 있는지 확인하는 단계는, 별도의 거리 감지 센서를 이용하여 사용자와 상기 대상체를 디스플레이하는 표시부 간의 거리를 측정하고, 사용자가 눈 운동시 사용자와 상기 표시부 간의 거리가 상기 피로도 계산부에 의해 계산된 눈의 피로도가 기설정한 임계값을 초과하게 하는 범위의 거리인 경우, 상기 눈의 피로도가 기설정한 임계값을 초과하지 않는 범위의 거리에서 눈 운동하도록 안내 메시지를 출력할 수 있는 단계인
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 방법.Displaying an object on the display unit so as to move at a predetermined reference speed along a predetermined locus when an eye movement event occurs;
Tracking a movement of a user's gaze using an image photographed through a camera unit;
Calculating a fatigue degree of the eye in consideration of at least one of a type of data displayed through the display unit, a time at which the display unit continuously operates, and a distance between the user's eyes and the display unit; And
Comparing the tracking line of the user with the movement of the object and checking whether the user's gaze is tracking the object,
Wherein the step of determining whether the user's eyesight is tracking the object measures a distance between a user and a display unit displaying the object using a distance sensor and determines whether the distance between the user and the display unit When the eye fatigue calculated by the fatigue calculation unit exceeds a predetermined threshold value, the eye fatigue of the eye is a distance that does not exceed a preset threshold value, Which is a step
A method for assisting a function improvement exercise of a sensory organ in a portable terminal. 제14항에 있어서,
상기 사용자의 시선이 상기 대상체를 기설정한 시간동안 추적하고 있으면, 상기 대상체의 이동 속도를 기설정된 속도만큼 높이는 단계를 더 포함하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 방법.15. The method of claim 14,
Further comprising the step of raising the moving speed of the object by a predetermined speed if the user's eyes are tracking the object for a predetermined time,
A method for assisting a function improvement exercise of a sensory organ in a portable terminal. 제14항에 있어서,
상기 사용자의 시선이 상기 대상체를 기설정한 시간동안 추적하고 있지 못하면, 상기 대상체의 이동 속도를 기설정된 속도만큼 낮추는 단계를 더 포함하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 방법.15. The method of claim 14,
Further comprising the step of lowering the moving speed of the object by a predetermined speed if the user's gaze does not track the object for a predetermined period of time
A method for assisting a function improvement exercise of a sensory organ in a portable terminal. 제14항에 있어서,
상기 사용자의 시선이 상기 대상체를 기설정된 시간동안 추적하고 있으면, 상기 눈 운동을 종료하는 단계를 더 포함하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 방법.15. The method of claim 14,
And terminating the eye movement if the eye of the user is tracking the object for a preset time period
A method for assisting a function improvement exercise of a sensory organ in a portable terminal. 제14항에 있어서,
상기 눈의 피로도가 기설정한 임계값을 초과하면 상기 눈 운동 이벤트를 발생시키거나 또는 눈 운동이 필요함을 알리는 메시지를 디스플레이 하는 단계를 더 포함하는
휴대용 단말기에서 감각기관의 기능 개선 운동을 보조하는 방법.15. The method of claim 14,
Further comprising the step of generating the eye movement event or displaying a message indicating that eye movement is required if the eye fatigue exceeds a predetermined threshold
A method for assisting a function improvement exercise of a sensory organ in a portable terminal. 제14항 내지 제18항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.A computer-readable recording medium having recorded therein a program for executing the method according to any one of claims 14 to 18.
KR1020130007410A 2013-01-23 2013-01-23 Apparatus and method for guiding the sensory organ movements in portable terminal KR101541061B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130007410A KR101541061B1 (en) 2013-01-23 2013-01-23 Apparatus and method for guiding the sensory organ movements in portable terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130007410A KR101541061B1 (en) 2013-01-23 2013-01-23 Apparatus and method for guiding the sensory organ movements in portable terminal

Publications (2)

Publication Number Publication Date
KR20140094851A KR20140094851A (en) 2014-07-31
KR101541061B1 true KR101541061B1 (en) 2015-07-31

Family

ID=51740355

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130007410A KR101541061B1 (en) 2013-01-23 2013-01-23 Apparatus and method for guiding the sensory organ movements in portable terminal

Country Status (1)

Country Link
KR (1) KR101541061B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220125859A (en) * 2021-03-04 2022-09-15 강지영 Eye movement device for enlarging the viewing angle and the method of eye movement using it

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101594839B1 (en) * 2014-09-12 2016-02-17 고려대학교 산학협력단 Method and apparatus for providing prefrontal activity game
KR102072788B1 (en) * 2015-04-30 2020-03-12 삼성전자주식회사 Portable apparatus and method for changing a screen of content
KR102256050B1 (en) * 2019-01-28 2021-05-25 한국기술교육대학교 산학협력단 Wearable apparatus and system for preventing computer vision syndrome including the same
WO2022174380A1 (en) * 2021-02-19 2022-08-25 徐園植 Eye exercising instrument for repairing/recovering/enhancing visual acuity

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090010780A (en) * 2007-07-24 2009-01-30 (주)케이티에프테크놀로지스 Digital processing apparatus and eyesight management method using the same
KR20110072263A (en) * 2009-12-22 2011-06-29 한양대학교 산학협력단 An apparatus for exercising ciliary muscle by detecting the line of sight in 3-dimensional display systems

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090010780A (en) * 2007-07-24 2009-01-30 (주)케이티에프테크놀로지스 Digital processing apparatus and eyesight management method using the same
KR20110072263A (en) * 2009-12-22 2011-06-29 한양대학교 산학협력단 An apparatus for exercising ciliary muscle by detecting the line of sight in 3-dimensional display systems

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220125859A (en) * 2021-03-04 2022-09-15 강지영 Eye movement device for enlarging the viewing angle and the method of eye movement using it
KR102561740B1 (en) * 2021-03-04 2023-08-01 강지영 Eye movement device for enlarging the viewing angle and the method of eye movement using it

Also Published As

Publication number Publication date
KR20140094851A (en) 2014-07-31

Similar Documents

Publication Publication Date Title
KR101541061B1 (en) Apparatus and method for guiding the sensory organ movements in portable terminal
US9978422B2 (en) Playback regulation method and apparatus
KR101868597B1 (en) Apparatus and method for assisting in positioning user`s posture
CN109905590B (en) Video image processing method and device
KR101646356B1 (en) Apparatus and Method for Controlling of Vehicle Using Wearable Device
US10061995B2 (en) Imaging system to detect a trigger and select an imaging area
US9323339B2 (en) Input device, input method and recording medium
WO2016197639A1 (en) Screen picture display method and apparatus
KR20170078488A (en) Apparatus and method for recognizing hand gestures in a virtual reality headset
JP2015056173A (en) Information processor, method and program
EP2816456A1 (en) Information processing device, information processing method, and computer program
CN104281384A (en) Systems and methods for occlusion accommodation
CN110969116B (en) Gaze point position determining method and related device
US11360550B2 (en) IMU for touch detection
JP2015194992A (en) Portable terminal and control method
CN110007832B (en) Information terminal device, information processing system, and computer-readable non-transitory storage medium storing display control program
JP6255954B2 (en) Motion input device, motion input program, and motion input method
US10802620B2 (en) Information processing apparatus and information processing method
US9148537B1 (en) Facial cues as commands
KR20140105116A (en) Method for controlling operation and an electronic device thereof
CN106371552B (en) Control method and device for media display at mobile terminal
CN106774829B (en) Object control method and device
US20140168106A1 (en) Apparatus and method for processing handwriting input
US10379659B2 (en) Method and apparatus for generating a personalized input panel
CN107957781B (en) Information display method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 4