WO2023128611A1 - 사용자 입력을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 - Google Patents

사용자 입력을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
WO2023128611A1
WO2023128611A1 PCT/KR2022/021509 KR2022021509W WO2023128611A1 WO 2023128611 A1 WO2023128611 A1 WO 2023128611A1 KR 2022021509 W KR2022021509 W KR 2022021509W WO 2023128611 A1 WO2023128611 A1 WO 2023128611A1
Authority
WO
WIPO (PCT)
Prior art keywords
body part
control target
event information
pointer
target region
Prior art date
Application number
PCT/KR2022/021509
Other languages
English (en)
French (fr)
Inventor
김석중
Original Assignee
주식회사 브이터치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 브이터치 filed Critical 주식회사 브이터치
Publication of WO2023128611A1 publication Critical patent/WO2023128611A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects

Definitions

  • the present invention relates to a method, system and non-transitory computer readable recording medium for supporting user input.
  • a direct input method or an indirect input method is supported for a pointing interface.
  • the direct input method is a method using absolute coordinates
  • an input method using a physical pointer such as a multi-touch or a stylus pen
  • the indirect input method is a method using relative coordinates
  • an input method using an indirect pointer (eg, cursor) indicated by a mouse, a touch pad, or the like may be cited as an example.
  • the direct input method has an advantage in that a desired object can be selected immediately because the step of determining the pointing coordinates and the step of inputting the trigger are performed at once.
  • the direct input method has a disadvantage in that inaccurate trigger input may occur (eg, pointing coordinates may be shaken during selection) in the process of specifying pointing coordinates by a real pointer.
  • the indirect input method has a disadvantage in that the step of determining the pointing coordinates and the step of inputting the trigger are separated, so that the immediacy and intuitiveness are lower than the direct input method.
  • the indirect input method has an advantage in that a desired object can be selected more accurately and elaborately in that pointing coordinates are specified by an indirect pointer corresponding to a graphic pointer.
  • the present inventor(s) proposes a new and advanced technology capable of providing a new user experience related to pointing by supporting a pointing interface with a hybrid input method that takes advantage of the direct input method and the indirect input method. .
  • the object of the present invention is to solve all the problems of the prior art described above.
  • the present invention by allowing the pointer to be displayed under predetermined conditions, the process of continuously moving the pointer to a desired position by the user is blocked, and to reduce time consumption and fatigue caused in the process of continuous movement of the pointer, for another purpose. do.
  • Another object of the present invention is to improve the accuracy of object selection by generating a trigger input corresponding to a pointer position at a time point different from a time point at which a motion for generating a trigger input is performed.
  • a method for supporting a user input includes pointing associated with the user's intention with reference to a reference vector specified based on coordinates of a first body part and a second body part of the user.
  • a method including determining coordinates, and determining event information associated with the pointing coordinates by referring to motion information of the second body part is provided.
  • a system for supporting user input provides a pointing vector associated with the user's intention with reference to a reference vector specified based on coordinates of a first body part and a second body part of the user.
  • a system including a pointing coordinate determination unit that determines coordinates and an event information determination unit that determines event information associated with the pointing coordinates by referring to motion information of the second body part is provided.
  • a process of continuously moving the pointer to a desired position by a user is blocked, and time consumption and fatigue occurring in the process of continuously moving the pointer can be reduced.
  • FIG. 1 is a diagram showing in detail the internal configuration of an input support system according to an embodiment of the present invention.
  • 2 to 5 exemplarily illustrate a process of supporting a user input according to an embodiment of the present invention.
  • control unit 140 control unit
  • FIG. 1 is a diagram showing in detail the internal configuration of an input support system 100 according to an embodiment of the present invention.
  • an input support system 100 may include a pointing coordinate determination unit 110, an event information determination unit 120, a communication unit 130, and a control unit 140.
  • a pointing coordinate determination unit 110 may be included in the input support system 100 in the form of an operating system, application program module, or other program module, and may be physically stored in various well-known storage devices.
  • these program modules may be stored in a remote storage device capable of communicating with the input support system 100 .
  • these program modules include routines, subroutines, programs, objects, components, data structures, etc. that perform specific tasks or execute specific abstract data types according to the present invention, but are not limited thereto.
  • the input support system 100 has been described as above, this description is exemplary, and at least some of the components or functions of the input support system 100 are provided within a device (not shown) to be described later as needed. It is obvious to those skilled in the art that it may be realized or included in such a device. In addition, in some cases, all functions and all components of the input support system 100 may be entirely executed in the device or included in the device.
  • a device is a digital device equipped with a memory unit and a microprocessor equipped with an arithmetic capability, and includes smart glasses, smart watches, smart bands, smart rings, smart necklaces, smart earsets, smart earphones, Wearable devices such as smart earrings, etc., or rather traditional devices such as smart phones, smart pads, desktop computers, servers, notebook computers, workstations, PDAs, web pads, mobile phones, remote controllers, etc. may be included. Any number of changes may be made within the range capable of achieving the object of the present invention, not just one example.
  • the device includes a camera module (not shown) for photographing the user's body (eg, the user's eyes or fingertips) or a camera module (not shown) through a known communication network. or another device including a camera module).
  • a camera module for photographing the user's body (eg, the user's eyes or fingertips) or a camera module (not shown) through a known communication network. or another device including a camera module).
  • the above device may include an application supporting user input according to the present invention.
  • an application may be downloaded from the input support system 100 or an external application distribution server (not shown).
  • the characteristics of these applications may be generally similar to the pointing coordinate determining unit 110, the event information determining unit 120, the communication unit 130, and the control unit 140 of the input support system 100, which will be described later.
  • at least a part of the application may be replaced with a hardware device or a firmware device capable of performing substantially the same or equivalent functions as necessary.
  • the pointing coordinate determination unit 110 refers to a reference vector specified based on the coordinates of the first body part and the coordinates of the second body part of the user, and is associated with the user's intention. A function of determining pointing coordinates may be performed.
  • the pointing coordinate determination unit 110 may determine the coordinates of a first body part of the user (eg, one eye of the user) in the image of the user obtained from the camera module. and a reference vector specifying the coordinates of a second body part (eg, the user's fingertip), and specifying the coordinates of the first body part as a start point and the coordinates of the second body part as an end point. can be specified. Furthermore, the pointing coordinate determination unit 110 according to an embodiment of the present invention determines pointing coordinates based on a point at which the extension line of the reference vector specified above and the control target area intersect (or the corresponding point as pointing coordinates).
  • control target area is an area where at least one object to be controlled by a user (the object may be created based on a graphic element) is visually output (eg For example, a display screen, a projector screen, etc.) may be included.
  • each coordinate according to an embodiment of the present invention is a predetermined 2-dimensional or 3-dimensional coordinate system (eg, Cartesian coordinate system, cylindrical coordinate system, It may be a coordinate defined in a spherical coordinate system, etc.).
  • the event information determination unit 120 may perform a function of determining event information associated with the pointing coordinates by referring to motion information of the second body part.
  • the event information determination unit 120 provides motion information of the second body part (the motion information of the second body part is generated as the user moves the second body part). It may be information, and it may be specified by at least one of the moving direction and the moving speed of the second body part (for example, it may be specified based on the reference coordinate system associated with the input support system 100) with reference to Event information corresponding to the motion information may be determined.
  • a pointer eg, cursor
  • the location (or pointing coordinates) of the pointer displayed in the control target region At least one of whether to update and whether to generate a trigger input for the control target region may be included.
  • the event information determination unit 120 points to the control target region in response to the second body part stopping or moving at a speed less than a predetermined level (ie, moving at a low speed).
  • a pointer corresponding to the coordinates can be displayed.
  • pointing coordinates may be specified when there exists a point at which the extension line of the reference vector and the control target region intersect.
  • the event information determination unit 120 does not immediately display the pointer corresponding to the pointing coordinates in the control target region simply by specifying the pointing coordinates in the control target region.
  • a pointer may be displayed in the control target region only when the first type of motion with respect to the second body part of the user is additionally performed by the corresponding user.
  • the motion of the first type according to an embodiment of the present invention as described above, may include stopping the second body part or moving at a speed less than a predetermined level. That is, the event information determination unit 120 according to an embodiment of the present invention, when the first type of motion is performed by the user in a situation in which pointing coordinates are specified in the control target region, the pointer is displayed in the control target region. can be displayed.
  • the event information determining unit 120 may cause the second body part to move in a first direction specified based on the control target region or in a second direction specified based on a reference vector.
  • the position of the pointer displayed in the control target area may be updated.
  • the event information determination unit 120 when a user performs a second type of motion with respect to a second body part in a situation where a pointer is displayed in the control target region, the corresponding pointer It is possible to ensure that is continuously displayed on the control target screen and its location is updated.
  • the first direction in which the second body part is specified based on the control target region eg, the normal vector of the control target region ( This normal vector may be specified with any one point included in the control target area as the starting point and any one point in the area where the user is located based on the control target area as the end point.
  • the same as or more than a certain level similar to the vertical direction for the normal vector eg, within -45 degrees to 45 degrees of the normal vector direction
  • a second direction specified based on the reference vector eg, the reference vector
  • This may include moving at a speed less than a predetermined level in a direction equal to or similar to a direction perpendicular to the vector (eg, within -45 to 45 degrees of the direction perpendicular to the reference vector).
  • the event information determination unit 120 when the second type of motion is performed by the user in a situation where a pointer is displayed on the control target area, the corresponding pointer is continuously displayed on the control target screen. along with being displayed as .
  • the event information determination unit 120 determines whether the second body part moves at a speed higher than a predetermined level (ie, high-speed movement), or the second body part moves in the control target area.
  • the location of the pointer displayed in the control target region is not updated in response to movement at a speed less than a predetermined level (ie, low-speed movement) in the third direction specified based on the reference vector or the fourth direction specified based on the reference vector. It is possible to generate a trigger input for the control target region.
  • the event information determination unit 120 when a user performs a motion of the third type with respect to a second body part in a situation where a pointer is displayed in the control target region, the corresponding pointer is continuously displayed in the control target area, but its location may not be updated.
  • the third type of motion according to an embodiment of the present invention, as described above, the second body part moves at a speed equal to or higher than a predetermined level, or the second body part is specified based on the control target region.
  • Direction for example, the normal vector of the control target area (this normal vector is a point included in the control target area as the starting point and any one in the area where the user is located based on the control target area) It can be specified using the point of as the end point.) in one direction that is the same as the opposite direction of or similar to a predetermined level or more (eg, within 45 degrees of the opposite direction of the normal vector); FIG. 2 (a) and (b) Reference) or a fourth direction specified based on the reference vector (eg, the same as or more than a predetermined level similar to the direction of the reference vector (eg, within 45 degrees of the direction of the reference vector); FIG. 3 ( See a) and (b)) may include moving at a speed less than a predetermined level.
  • the event information determining unit 120 may determine a second point in time different from the first point in time when the third type of motion is performed by the user (here, the second point in time is temporally different from the first point in time).
  • the second point in time is temporally different from the first point in time.
  • means an adjacent viewpoint specifically, a viewpoint in the past that is temporally adjacent to the first viewpoint
  • the motion of the second type It may correspond to the time point at which the motion was performed.
  • the control target area more specifically, the selection target object (eg, icon, button, tap, etc.) included in the control target area) corresponding to the position of the pointer of A trigger input can be generated.
  • the event information determination unit 120 when the user performs a third type of motion in a situation where a pointer is displayed in the control target region, the corresponding pointer continuously moves in the control target region. , but the position of the pointer is maintained at the position at the first viewpoint when the third type of motion is performed by the user, and corresponds to the position of the pointer at the second viewpoint corresponding to a viewpoint previous to the first viewpoint.
  • a trigger input for the control target region may be generated.
  • the event information determining unit 120 may provide a guide for inducing a trigger input for the control target region in response to a pointer being displayed on the control target region.
  • the event information determination unit 120 when a pointer is displayed on the control target region according to the first type of motion performed by the user, controls the target region to the corresponding user.
  • a guide for inducing a trigger input for can be provided. More specifically, the above guide according to an embodiment of the present invention may be a guide that induces the user to perform the third type of motion, and may be provided using voice, image, video, text, or a combination thereof. there is.
  • the communication unit 130 may perform a function of enabling data transmission/reception from/to the pointing coordinate determination unit 110 and the event information determination unit 120 .
  • control unit 140 may perform a function of controlling data flow between the pointing coordinate determination unit 110, the event information determination unit 120, and the communication unit 130. That is, the controller 140 according to the present invention controls the flow of data from/to the outside of the input support system 100 or the flow of data between components of the input support system 100, so that the pointing coordinate determination unit 110 , The event information determining unit 120 and the communication unit 130 can be controlled to perform unique functions, respectively.
  • FIG. 4 is a diagram illustrating a process of supporting user input according to an embodiment of the present invention from a third-person perspective
  • FIG. 5 illustrates a process of supporting user input according to an embodiment of the present invention. It is a drawing from a first person point of view. Meanwhile, in FIGS.
  • each viewpoint may be formed at the same time interval.
  • the user's second body part ie, the user's fingertip
  • the second body part moves at a speed greater than or equal to a predetermined level.
  • the pointer may not be displayed in the control target area. That is, according to an embodiment of the present invention, movement of the second body part at a speed equal to or higher than a predetermined level does not correspond to the motion of the first type with respect to the second body part, and thus input support according to an embodiment of the present invention
  • the system 100 may prevent the pointer from being displayed in the control target area.
  • the input support system 100 at time T 0 and time T +1 , in response to the movement of the second body part at a speed less than a predetermined level, moves to the control target region.
  • a pointer can be displayed. That is, according to an embodiment of the present invention, movement of the second body part at a speed less than a predetermined level corresponds to the motion of the first type with respect to the second body part, and thus input support according to an embodiment of the present invention
  • the system 100 may display a pointer on the control target area.
  • a first direction in which the second body part is specified based on the control target region (or based on a reference vector) In response to movement in the second direction specified by ) at a speed less than a predetermined level, the location of the pointer may be updated based on the intersection between the extension line of the reference vector and the target region to be controlled.
  • the input support system 100 at the time point T +2 , the second body part moves at a speed equal to or greater than a predetermined level (or the second body part moves through the control target area). moving at a speed less than a predetermined level in a third direction specified as a reference), the position of the pointer displayed in the control target area is maintained without being updated (for example, the position of the pointer at time T +1 ) is maintained without being updated; the second body part may start to move at a speed higher than a predetermined level after the time point T +1 ), and a trigger input for the control target region is generated (eg, at the time T 0 ).
  • a trigger input for the control target region is generated based on the location of the pointer of ; the time T 0 is a time immediately before the time T +1 , and may correspond to a time immediately before the final update time). That is, according to one embodiment of the present invention, the second body part moves at a speed higher than or equal to a predetermined level (or the second body part moves at a speed lower than a predetermined level in a third direction specified based on the control target region). Since doing) corresponds to the third type of motion with respect to the second body part, the input support system 100 according to an embodiment of the present invention maintains the position of the pointer displayed on the control target area without updating, , a trigger input for the control target region can be generated.
  • Embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded on a computer-readable recording medium.
  • the computer readable recording medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the art of computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks. medium), and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine language codes generated by a compiler.
  • a hardware device may be modified with one or more software modules to perform processing according to the present invention and vice vers

Abstract

본 발명의 일 태양에 따르면, 사용자 입력을 지원하기 위한 방법으로서, 사용자의 제1 신체 부위의 좌표 및 제2 신체 부위의 좌표에 기초하여 특정되는 지칭 벡터를 참조하여 상기 사용자의 의도와 연관되는 포인팅 좌표를 결정하는 단계, 및 상기 제2 신체 부위의 모션 정보를 참조하여 상기 포인팅 좌표와 연관되는 이벤트 정보를 결정하는 단계를 포함하는 방법이 제공된다.

Description

사용자 입력을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
본 발명은 사용자 입력을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
통상적으로 포인팅 인터페이스는 직접 입력 방식 또는 간접 입력 방식이 지원된다. 여기서, 직접 입력 방식은 절대 좌표를 이용하는 방식으로서, 멀티 터치, 스타일러스 펜 등의 실물 포인터를 이용한 입력 방식을 예시로 들 수 있다. 그리고, 간접 입력 방식은 상대 좌표를 이용하는 방식으로서, 마우스, 터치 패드 등에 의해 지시되는 간접 포인터(예를 들어, 커서)를 이용한 입력 방식을 예시로 들 수 있다.
위의 두 방식 중 직접 입력 방식은 포인팅 좌표를 결정하는 단계와 트리거를 입력하는 단계가 한 번에 이루어지게 되므로 원하는 객체를 즉시 선택할 수 있다는 장점이 있다. 다만, 직접 입력 방식은 실물 포인터에 의해 포인팅 좌표가 특정되는 과정에서 부정확한 트리거 입력이 발생(예를 들어, 선택 도중 포인팅 좌표가 흔들릴 수 있음)할 수 있다는 단점이 있다.
한편, 간접 입력 방식은 포인팅 좌표를 결정하는 단계와 트리거를 입력하는 단계가 분리되어 있기 때문에 직접 입력 방식보다는 즉시성과 직관성이 낮다는 단점이 있다. 다만, 간접 입력 방식은 포인팅 좌표가 그래픽 포인터에 해당하는 간접 포인터에 의해 특정된다는 점에서 원하는 객체를 보다 정확하고 정교하게 선택할 수 있다는 장점이 있다.
이에 본 발명자(들)는, 직접 입력 방식과 간접 입력 방식의 장점을 취한 하이브리드 입력 방식을 포인팅 인터페이스에 지원함으로써, 포인팅에 관한 새로운 사용자 경험을 제공할 수 있는 신규하고도 진보된 기술을 제안하는 바이다.
본 발명은 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 소정의 조건하에서 포인터가 표시되도록 함으로써 사용자가 원하는 위치까지 포인터를 연속적으로 이동하는 과정이 차단되고 포인터의 연속적인 이동 과정에서 발생하는 시간 소모 및 피로도를 감소시키는 것을 다른 목적으로 한다.
또한, 본 발명은, 트리거 입력을 발생시키기 위한 모션이 행해지는 시점과 다른 시점에서의 포인터 위치에 대응하여 트리거 입력이 발생되도록 함으로써 객체 선택의 정확도를 향상시키는 것을 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 사용자 입력을 지원하기 위한 방법으로서, 사용자의 제1 신체 부위의 좌표 및 제2 신체 부위의 좌표에 기초하여 특정되는 지칭 벡터를 참조하여 상기 사용자의 의도와 연관되는 포인팅 좌표를 결정하는 단계, 및 상기 제2 신체 부위의 모션 정보를 참조하여 상기 포인팅 좌표와 연관되는 이벤트 정보를 결정하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 사용자 입력을 지원하기 위한 시스템으로서, 사용자의 제1 신체 부위의 좌표 및 제2 신체 부위의 좌표에 기초하여 특정되는 지칭 벡터를 참조하여 상기 사용자의 의도와 연관되는 포인팅 좌표를 결정하는 포인팅 좌표 결정부, 및 상기 제2 신체 부위의 모션 정보를 참조하여 상기 포인팅 좌표와 연관되는 이벤트 정보를 결정하는 이벤트 정보 결정부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 소정의 조건하에서 포인터가 표시되도록 함으로써 사용자가 원하는 위치까지 포인터를 연속적으로 이동하는 과정이 차단되고 포인터의 연속적인 이동 과정에서 발생하는 시간 소모 및 피로도를 감소시킬 수 있게 된다.
또한, 본 발명에 의하면, 트리거 입력을 발생시키기 위한 모션이 행해지는 시점과 다른 시점에서의 포인터 위치에 대응하여 트리거 입력이 발생되도록 함으로써 객체 선택의 정확도를 향상시킬 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 입력 지원 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 2 내지 도 5는 본 발명의 일 실시예에 따라 사용자 입력을 지원하는 과정을 예시적으로 나타내는 도면이다.
<부호의 설명>
100: 입력 지원 시스템
110: 포인팅 좌표 결정부
120: 이벤트 정보 결정부
130: 통신부
140: 제어부
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
입력 지원 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 입력 지원 시스템(100)의 내부 구성과 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 1은 본 발명의 일 실시예에 따른 입력 지원 시스템(100)의 내부 구성을 상세하게 도시하는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 입력 지원 시스템(100)은, 포인팅 좌표 결정부(110), 이벤트 정보 결정부(120), 통신부(130) 및 제어부(140)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 입력 지원 시스템(100)의 포인팅 좌표 결정부(110), 이벤트 정보 결정부(120), 통신부(130) 및 제어부(140)는 그 중 적어도 일부가 외부의 시스템(미도시됨)과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 입력 지원 시스템(100)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 입력 지원 시스템(100)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
한편, 입력 지원 시스템(100)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 입력 지원 시스템(100)의 구성요소 또는 기능 중 적어도 일부가 필요에 따라 후술할 디바이스(미도시됨) 내에서 실현되거나 이러한 디바이스 내에 포함될 수도 있음은 당업자에게 자명하다. 또한, 경우에 따라서는, 입력 지원 시스템(100)의 모든 기능과 모든 구성요소가 디바이스 내에서 전부 실행되거나 디바이스 내에 전부 포함될 수도 있다.
본 발명의 일 실시예에 따른 디바이스는, 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기로서, 스마트 글래스, 스마트 워치, 스마트 밴드, 스마트 링, 스마트 넥클리스, 스마트 이어셋, 스마트 이어폰, 스마트 이어링 등과 같은 웨어러블 디바이스이거나 스마트폰, 스마트 패드, 데스크탑 컴퓨터, 서버, 노트북 컴퓨터, 워크스테이션, 피디에이(PDA), 웹 패드, 이동 전화기, 리모트 컨트롤러 등과 같은 다소 전통적인 디바이스가 포함될 수 있으며, 디바이스는 전술한 예시뿐만 아니라 본 발명의 목적을 달성할 수 있는 범위 내에서 얼마든지 변경될 수 있다. 또한, 본 발명의 일 실시예에 따른 디바이스는, 사용자의 신체(예를 들어, 사용자 눈 또는 손 끝 등)를 촬영하기 위한 카메라 모듈(미도시됨)을 포함하거나 공지의 통신망을 통해 카메라 모듈(또는 카메라 모듈을 포함하는 다른 디바이스)과 통신 가능할 수 있다.
한편, 본 발명의 일 실시예에 따른 위의 디바이스에는 본 발명에 따른 사용자 입력을 지원하는 애플리케이션이 포함되어 있을 수 있다. 이와 같은 애플리케이션은 입력 지원 시스템(100) 또는 외부의 애플리케이션 배포 서버(미도시됨)로부터 다운로드된 것일 수 있다. 한편, 이러한 애플리케이션의 성격은 후술할 바와 같은 입력 지원 시스템(100)의 포인팅 좌표 결정부(110), 이벤트 정보 결정부(120), 통신부(130) 및 제어부(140)와 전반적으로 유사할 수 있다. 여기서, 애플리케이션은 그 적어도 일부가 필요에 따라 그것과 실질적으로 동일하거나 균등한 기능을 수행할 수 있는 하드웨어 장치나 펌웨어 장치로 치환될 수도 있다.
먼저, 본 발명의 일 실시예에 따른 포인팅 좌표 결정부(110)는, 사용자의 제1 신체 부위의 좌표 및 제2 신체 부위의 좌표에 기초하여 특정되는 지칭 벡터를 참조하여 사용자의 의도와 연관되는 포인팅 좌표를 결정하는 기능을 수행할 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 포인팅 좌표 결정부(110)는, 카메라 모듈로부터 획득되는 사용자에 관한 이미지 내에서 사용자의 제1 신체 부위(예를 들어, 사용자의 한쪽 눈)의 좌표 및 제2 신체 부위(예를 들어, 사용자의 손 끝)의 좌표를 특정하고, 제1 신체 부위의 좌표를 시점(始點)으로 하고 제2 신체 부위의 좌표를 종점으로 하여 특정되는 지칭 벡터를 특정할 수 있다. 나아가, 본 발명의 일 실시예에 따른 포인팅 좌표 결정부(110)는, 위와 같이 특정되는 지칭 벡터의 연장선과 제어 대상 영역이 교차하는 지점을 기준으로 포인팅 좌표를(또는 해당 지점을 포인팅 좌표로서) 결정할 수 있다. 여기서, 본 발명의 일 실시예에 따른 제어 대상 영역은, 사용자에 의해 제어 대상이 되는 적어도 하나의 객체(이러한 객체는 그래픽 요소에 기초하여 생성되는 것일 수 있다.)가 시각적으로 출력되는 영역(예를 들어, 디스플레이 화면, 프로젝터 화면 등)을 포함할 수 있다. 한편, 본 발명의 일 실시예에 따른 각각의 좌표는 본 발명에 따른 카메라 모듈 또는 입력 지원 시스템(100)에서 기준으로 삼는 소정의 2차원 또는 3차원 좌표계(예를 들어, 직교 좌표계, 원통 좌표계, 구면 좌표계 등)에서 정의되는 좌표일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 이벤트 정보 결정부(120)는, 제2 신체 부위의 모션 정보를 참조하여 포인팅 좌표와 연관되는 이벤트 정보를 결정하는 기능을 수행할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 이벤트 정보 결정부(120)는, 제2 신체 부위의 모션 정보(이러한 제2 신체 부위의 모션 정보는, 사용자가 제2 신체 부위를 움직임에 따라 생성되는 정보일 수 있으며, 제2 신체 부위의 이동 방향 및 이동 속도 중 적어도 하나에 의해 특정(예를 들어, 입력 지원 시스템(100)과 연관되는 기준 좌표계를 기준으로 특정)될 수 있다.)를 참조하여 그 모션 정보에 대응하는 이벤트 정보를 결정할 수 있다. 여기서, 본 발명의 일 실시예에 따른 이벤트 정보에는, 제어 대상 영역에서 포인팅 좌표에 대응되는 포인터(예를 들어, 커서)의 표시 여부, 제어 대상 영역에 표시되는 포인터의 위치(또는 포인팅 좌표)의 업데이트 여부 및 제어 대상 영역에 대한 트리거 입력의 발생 여부 중 적어도 하나가 포함될 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 이벤트 정보 결정부(120)는, 제2 신체 부위가 정지하거나 소정 수준 미만의 속도로 이동(즉, 저속 이동)하는 것에 대응하여 제어 대상 영역에 포인팅 좌표에 대응되는 포인터가 표시되도록 할 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 따르면, 지칭 벡터의 연장선과 제어 대상 영역이 교차하는 지점이 존재하는 경우에 포인팅 좌표가 특정될 수 있다. 다만, 본 발명의 일 실시예에 따른 이벤트 정보 결정부(120)는, 제어 대상 영역에 포인팅 좌표가 특정되는 것만으로 그 포인팅 좌표에 대응되는 포인터가 곧바로 제어 대상 영역에 표시되도록 하는 것은 아니며, 사용자의 제2 신체 부위에 관한 제1 유형의 모션이 해당 사용자에 의해 추가적으로 행해지는 경우에만 제어 대상 영역에 포인터가 표시되도록 할 수 있다. 여기서, 본 발명의 일 실시예에 따른 제1 유형의 모션에는, 전술한 바와 같이, 제2 신체 부위가 정지하거나 소정 수준 미만의 속도로 이동하는 것이 포함될 수 있다. 즉, 본 발명의 일 실시예에 따른 이벤트 정보 결정부(120)는, 제어 대상 영역에 포인팅 좌표가 특정된 상황에서 사용자에 의해 제1 유형의 모션이 행해지는 경우에, 제어 대상 영역에 포인터가 표시되도록 할 수 있다.
다른 예를 들어, 본 발명의 일 실시예에 따른 이벤트 정보 결정부(120)는, 제2 신체 부위가 제어 대상 영역을 기준으로 특정되는 제1 방향 또는 지칭 벡터를 기준으로 특정되는 제2 방향으로 소정 수준 미만의 속도로 이동(즉, 저속 이동)하는 것에 대응하여 제어 대상 영역에 표시되는 포인터의 위치가 업데이트되도록 할 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 따른 이벤트 정보 결정부(120)는, 제어 대상 영역에 포인터가 표시된 상황에서 사용자에 의해 제2 신체 부위에 관한 제2 유형의 모션이 행해지면, 해당 포인터가 제어 대상 화면에서 계속적으로 표시되도록 하는 것과 함께 그 위치가 업데이트되도록 할 수 있다. 여기서, 본 발명의 일 실시예에 따른 제2 유형의 모션에는, 전술한 바와 같이, 제2 신체 부위가 제어 대상 영역을 기준으로 특정되는 제1 방향(예를 들어, 제어 대상 영역의 법선 벡터(이러한 법선 벡터는 제어 대상 영역에 포함되는 어느 하나의 지점을 시점(始點)으로 하고 제어 대상 영역을 기준으로 사용자가 위치하는 영역에서의 어느 하나의 지점을 종점으로 하여 특정될 수 있다.)에 대한 수직 방향과 동일하거나 소정 수준 이상 유사(예를 들어, 법선 벡터에 대한 수직 방향과 -45도 내지 45도 이내)한 방향) 또는 지칭 벡터를 기준으로 특정되는 제2 방향(예를 들어, 지칭 벡터에 대한 수직 방향과 동일하거나 소정 수준 이상 유사(예를 들어, 지칭 벡터에 대한 수직 방향과 -45도 내지 45도 이내)한 방향)으로 소정 수준 미만의 속도로 이동하는 것이 포함될 수 있다. 즉, 본 발명의 일 실시예에 따른 이벤트 정보 결정부(120)는, 제어 대상 영역에 포인터가 표시된 상황에서 사용자에 의해 제2 유형의 모션이 행해지는 경우에, 해당 포인터가 제어 대상 화면에서 계속적으로 표시되도록 하는 것과 함께 그 위치가 업데이트되도록 할 수 있다.
또 다른 예를 들어, 본 발명의 일 실시예에 따른 이벤트 정보 결정부(120)는, 제2 신체 부위가 소정 수준 이상의 속도로 이동(즉, 고속 이동)하거나, 제2 신체 부위가 제어 대상 영역을 기준으로 특정되는 제3 방향 또는 지칭 벡터를 기준으로 특정되는 제4 방향으로 소정 수준 미만의 속도로 이동(즉, 저속 이동)하는 것에 대응하여, 제어 대상 영역에 표시되는 포인터의 위치가 업데이트되지 않고 유지되도록 하며, 제어 대상 영역에 대한 트리거 입력이 발생되도록 할 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 따른 이벤트 정보 결정부(120)는, 제어 대상 영역에 포인터가 표시된 상황에서 사용자에 의해 제2 신체 부위에 관한 제3 유형의 모션이 행해지면, 해당 포인터가 제어 대상 영역에서 계속적으로 표시되도록 하되 그 위치가 업데이트되지 않도록 할 수 있다. 여기서, 본 발명의 일 실시예에 따른 제3 유형의 모션에는, 전술한 바와 같이, 제2 신체 부위가 소정 수준 이상의 속도로 이동하거나, 제2 신체 부위가 제어 대상 영역을 기준으로 특정되는 제3 방향(예를 들어, 제어 대상 영역의 법선 벡터(이러한 법선 벡터는 제어 대상 영역에 포함되는 어느 하나의 지점을 시점(始點)으로 하고 제어 대상 영역을 기준으로 사용자가 위치하는 영역에서의 어느 하나의 지점을 종점으로 하여 특정될 수 있다.)의 반대 방향과 동일하거나 소정 수준 이상 유사(예를 들어, 법선 벡터의 반대 방향과 45도 이내)한 방향; 도 2의 (a) 및 (b) 참조) 또는 지칭 벡터를 기준으로 특정되는 제4 방향(예를 들어, 지칭 벡터의 방향과 동일하거나 소정 수준 이상 유사(예를 들어, 지칭 벡터의 방향과 45도 이내)한 방향; 도 3의 (a) 및 (b) 참조)으로 소정 수준 미만의 속도로 이동하는 것이 포함될 수 있다. 또한, 본 발명의 일 실시예에 따른 이벤트 정보 결정부(120)는, 제3 유형의 모션이 사용자에 의해 행해지는 제1 시점과 다른 제2 시점(여기서, 제2 시점은 제1 시점과 시간적으로 인접한 시점(구체적으로, 제1 시점과 시간적으로 인접한 과거의 시점)을 의미하며, 예를 들어, 제3 유형의 모션이 행해지기 직전에 제2 유형의 모션이 행해진 경우에 그 제2 유형의 모션이 행해진 시점에 해당할 수 있다.)의 포인터의 위치에 대응하여 제어 대상 영역(보다 구체적으로, 제어 대상 영역에 포함되는 선택 대상 객체(예를 들어, 아이콘, 버튼, 탭 등))에 대한 트리거 입력이 발생되도록 할 수 있다. 즉, 본 발명의 일 실시예에 따른 이벤트 정보 결정부(120)는, 제어 대상 영역에 포인터가 표시된 상황에서 사용자에 의해 제3 유형의 모션이 행해지는 경우에, 해당 포인터가 제어 대상 영역에서 계속적으로 표시되도록 하되 그 포인터의 위치가 제3 유형의 모션이 사용자에 의해 행해지는 제1 시점에서의 위치에서 유지되도록 하며, 제1 시점보다 이전 시점에 해당하는 제2 시점에서의 포인터의 위치에 대응하여 제어 대상 영역에 대한 트리거 입력이 발생되도록 할 수 있다.
한편, 본 발명의 일 실시예에 따른 이벤트 정보 결정부(120)는, 제어 대상 영역에 포인터가 표시되는 것에 대응하여 제어 대상 영역에 대한 트리거 입력을 유도하는 가이드를 제공할 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 이벤트 정보 결정부(120)는, 사용자에 의해 제1 유형의 모션이 행해짐에 따라 제어 대상 영역에 포인터가 표시되는 경우에, 해당 사용자에게 제어 대상 영역에 대한 트리거 입력을 유도하는 가이드를 제공할 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 위의 가이드는, 사용자에게 제3 유형의 모션을 행하도록 유도하는 가이드일 수 있으며, 음성, 이미지, 동영상, 텍스트 또는 그 조합을 이용하여 제공될 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(130)는 포인팅 좌표 결정부(110) 및 이벤트 정보 결정부(120)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(140)는 포인팅 좌표 결정부(110), 이벤트 정보 결정부(120) 및 통신부(130) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(140)는 입력 지원 시스템(100)의 외부로부터의/로의 데이터 흐름 또는 입력 지원 시스템(100)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 포인팅 좌표 결정부(110), 이벤트 정보 결정부(120) 및 통신부(130)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
실시예
도 4 및 도 5는 본 발명의 일 실시예에 따라 사용자 입력을 지원하는 과정을 예시적으로 나타내는 도면이다. 구체적으로, 도 4는 본 발명의 일 실시예에 따라 사용자 입력을 지원하는 과정을 3인칭 시점(視點)에서 나타내는 도면이고, 도 5는 본 발명의 일 실시예에 따라 사용자 입력을 지원하는 과정을 1인칭 시점(視點)에서 나타내는 도면이다. 한편, 도 4 및 도 5에서, 설명의 편의를 위하여, 복수의 시점(즉, T-3 시점, T-2 시점, T-1 시점, T0 시점, T+1 시점 및 T+2 시점; 여기서, 각각의 시점은 동일한 시간 간격으로 형성될 수 있다.)에서 특정되는 사용자의 제2 신체 부위(즉, 사용자의 손 끝)를 연속적으로 도시하였음을 밝혀 둔다.
도 4 및 도 5를 참조하면, 본 발명의 일 실시예에 따른 입력 지원 시스템(100)은, T-3 시점, T-2 시점 및 T-1 시점에서, 제2 신체 부위가 소정 수준 이상의 속도로 이동하는 것에 대응하여 제어 대상 영역에 포인터가 표시되지 않도록 할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 제2 신체 부위가 소정 수준 이상의 속도로 이동하는 것은 제2 신체 부위에 관한 제1 유형의 모션에 해당하지 않으므로, 본 발명의 일 실시예에 따른 입력 지원 시스템(100)은 제어 대상 영역에 포인터가 표시되지 않도록 할 수 있다.
그 다음에, 본 발명의 일 실시예에 따른 입력 지원 시스템(100)은, T0 시점 및 T+1 시점에서, 제2 신체 부위가 소정 수준 미만의 속도로 이동하는 것에 대응하여 제어 대상 영역에 포인터가 표시되도록 할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 제2 신체 부위가 소정 수준 미만의 속도로 이동하는 것은 제2 신체 부위에 관한 제1 유형의 모션에 해당하므로, 본 발명의 일 실시예에 따른 입력 지원 시스템(100)은 제어 대상 영역에 포인터가 표시되도록 할 수 있다. 또한, 본 발명의 일 실시예에 따른 입력 지원 시스템(100)은, T0 시점 및 T+1 시점에서, 제2 신체 부위가 제어 대상 영역을 기준으로 특정되는 제1 방향(또는 지칭 벡터를 기준으로 특정되는 제2 방향)으로 소정 수준 미만의 속도로 이동하는 것에 대응하여 지칭 벡터의 연장선과 제어 대상 영역 사이의 교차점을 기초로 포인터의 위치를 업데이트할 수 있다.
그 다음에, 본 발명의 일 실시예에 따른 입력 지원 시스템(100)은, T+2 시점에서, 제2 신체 부위가 소정 수준 이상의 속도로 이동하는 것(또는 제2 신체 부위가 제어 대상 영역을 기준으로 특정되는 제3 방향으로 소정 수준 미만의 속도로 이동하는 것)에 대응하여, 제어 대상 영역에 표시되는 포인터의 위치가 업데이트되지 않고 유지(예를 들어, T+1 시점에서의 포인터의 위치가 업데이트되지 않고 유지; T+1 시점 이후에 제2 신체 부위가 소정 수준 이상의 속도로 이동하기 시작할 수 있다.)되도록 하며, 제어 대상 영역에 대한 트리거 입력이 발생(예를 들어, T0 시점에서의 포인터의 위치를 기준으로 제어 대상 영역에 대한 트리거 입력이 발생; T0 시점은 T+1 시점의 직전 시점으로서, 최종 업데이트 시점의 직전 시점에 해당할 수 있다.)되도록 할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 제2 신체 부위가 소정 수준 이상의 속도로 이동하는 것(또는 제2 신체 부위가 제어 대상 영역을 기준으로 특정되는 제3 방향으로 소정 수준 미만의 속도로 이동하는 것)은 제2 신체 부위에 관한 제3 유형의 모션에 해당하므로, 본 발명의 일 실시예에 따른 입력 지원 시스템(100)은 제어 대상 영역에 표시되는 포인터의 위치가 업데이트되지 않고 유지되도록 하며, 제어 대상 영역에 대한 트리거 입력이 발생되도록 할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (15)

  1. 사용자 입력을 지원하기 위한 방법으로서,
    사용자의 제1 신체 부위의 좌표 및 제2 신체 부위의 좌표에 기초하여 특정되는 지칭 벡터를 참조하여 상기 사용자의 의도와 연관되는 포인팅 좌표를 결정하는 단계, 및
    상기 제2 신체 부위의 모션 정보를 참조하여 상기 포인팅 좌표와 연관되는 이벤트 정보를 결정하는 단계를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 이벤트 정보 결정 단계에서, 상기 제2 신체 부위의 이동 방향 및 이동 속도 중 적어도 하나를 참조하여, 제어 대상 영역에서 상기 포인팅 좌표에 대응되는 포인터의 표시 여부, 상기 제어 대상 영역에 표시되는 상기 포인터의 위치의 업데이트 여부 및 상기 제어 대상 영역에 대한 트리거 입력의 발생 여부 중 적어도 하나를 결정하는
    방법.
  3. 제2항에 있어서,
    상기 이벤트 정보 결정 단계에서, 상기 제2 신체 부위가 정지하거나 소정 수준 미만의 속도로 이동하는 것에 대응하여 상기 제어 대상 영역에 상기 포인터가 표시되도록 하는
    방법.
  4. 제2항에 있어서,
    상기 이벤트 정보 결정 단계에서, 상기 제2 신체 부위가 상기 제어 대상 영역을 기준으로 특정되는 제1 방향 또는 상기 지칭 벡터를 기준으로 특정되는 제2 방향으로 소정 수준 미만의 속도로 이동하는 것에 대응하여 상기 제어 대상 영역에 표시되는 상기 포인터의 위치가 업데이트되도록 하는
    방법.
  5. 제2항에 있어서,
    상기 이벤트 정보 결정 단계에서, 상기 제2 신체 부위가 소정 수준 이상의 속도로 이동하거나, 상기 제2 신체 부위가 상기 제어 대상 영역을 기준으로 특정되는 제3 방향 또는 상기 지칭 벡터를 기준으로 특정되는 제4 방향으로 소정 수준 미만의 속도로 이동하는 것에 대응하여, 상기 제어 대상 영역에 표시되는 상기 포인터의 위치가 업데이트되지 않고 유지되도록 하며, 상기 트리거 입력이 발생되도록 하는
    방법.
  6. 제1항에 있어서,
    상기 이벤트 정보 결정 단계에서, 제1 시점에 상기 제2 신체 부위의 모션 정보가 소정 조건을 만족하는 것에 대응하여, 상기 제1 시점과 다른 제2 시점에서의 포인팅 좌표에 대응되는 포인터를 기준으로 제어 대상 영역에 대한 트리거 입력이 발생되도록 하는
    방법.
  7. 제2항에 있어서,
    상기 이벤트 정보 결정 단계에서, 상기 제어 대상 영역에 상기 포인터가 표시되는 것에 대응하여 상기 트리거 입력을 유도하는 가이드를 제공하는
    방법.
  8. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
  9. 사용자 입력을 지원하기 위한 시스템으로서,
    사용자의 제1 신체 부위의 좌표 및 제2 신체 부위의 좌표에 기초하여 특정되는 지칭 벡터를 참조하여 상기 사용자의 의도와 연관되는 포인팅 좌표를 결정하는 포인팅 좌표 결정부, 및
    상기 제2 신체 부위의 모션 정보를 참조하여 상기 포인팅 좌표와 연관되는 이벤트 정보를 결정하는 이벤트 정보 결정부를 포함하는
    시스템.
  10. 제9항에 있어서,
    상기 이벤트 정보 결정부는, 상기 제2 신체 부위의 이동 방향 및 이동 속도 중 적어도 하나를 참조하여, 제어 대상 영역에서 상기 포인팅 좌표에 대응되는 포인터의 표시 여부, 상기 제어 대상 영역에 표시되는 상기 포인터의 위치의 업데이트 여부 및 상기 제어 대상 영역에 대한 트리거 입력의 발생 여부 중 적어도 하나를 결정하는
    시스템.
  11. 제10항에 있어서,
    상기 이벤트 정보 결정부는, 상기 제2 신체 부위가 정지하거나 소정 수준 미만의 속도로 이동하는 것에 대응하여 상기 제어 대상 영역에 상기 포인터가 표시되도록 하는
    시스템.
  12. 제10항에 있어서,
    상기 이벤트 정보 결정부는, 상기 제2 신체 부위가 상기 제어 대상 영역을 기준으로 특정되는 제1 방향 또는 상기 지칭 벡터를 기준으로 특정되는 제2 방향으로 소정 수준 미만의 속도로 이동하는 것에 대응하여 상기 제어 대상 영역에 표시되는 상기 포인터의 위치가 업데이트되도록 하는
    시스템.
  13. 제10항에 있어서,
    상기 이벤트 정보 결정부는, 상기 제2 신체 부위가 소정 수준 이상의 속도로 이동하거나, 상기 제2 신체 부위가 상기 제어 대상 영역을 기준으로 특정되는 제3 방향 또는 상기 지칭 벡터를 기준으로 특정되는 제4 방향으로 소정 수준 미만의 속도로 이동하는 것에 대응하여, 상기 제어 대상 영역에 표시되는 상기 포인터의 위치가 업데이트되지 않고 유지되도록 하며, 상기 트리거 입력이 발생되도록 하는
    시스템.
  14. 제9항에 있어서,
    상기 이벤트 정보 결정부는, 제1 시점에 상기 제2 신체 부위의 모션 정보가 소정 조건을 만족하는 것에 대응하여, 상기 제1 시점과 다른 제2 시점에서의 포인팅 좌표에 대응되는 포인터를 기준으로 제어 대상 영역에 대한 트리거 입력이 발생되도록 하는
    시스템.
  15. 제10항에 있어서,
    상기 이벤트 정보 결정부는, 상기 제어 대상 영역에 상기 포인터가 표시되는 것에 대응하여 상기 트리거 입력을 유도하는 가이드를 제공하는
    시스템.
PCT/KR2022/021509 2021-12-30 2022-12-28 사용자 입력을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 WO2023128611A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210192767A KR20230102557A (ko) 2021-12-30 2021-12-30 사용자 입력을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR10-2021-0192767 2021-12-30

Publications (1)

Publication Number Publication Date
WO2023128611A1 true WO2023128611A1 (ko) 2023-07-06

Family

ID=86999587

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/021509 WO2023128611A1 (ko) 2021-12-30 2022-12-28 사용자 입력을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Country Status (2)

Country Link
KR (1) KR20230102557A (ko)
WO (1) WO2023128611A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20130086574A (ko) * 2013-03-28 2013-08-02 삼성전자주식회사 프로젝터를 포함하는 전자 장치 및 그 제어 방법
KR101549031B1 (ko) * 2014-04-11 2015-09-02 서울시립대학교 산학협력단 포인팅 기능을 제공하는 장치, 방법 및 기록매체
JP2021518965A (ja) * 2018-09-19 2021-08-05 ブイタッチ・カンパニー・リミテッド 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
KR102291879B1 (ko) * 2013-01-07 2021-08-20 엘지전자 주식회사 영상표시장치 및 그것의 제어방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210150903A (ko) 2020-06-04 2021-12-13 삼성전자주식회사 디스플레이를 포함하는 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR102291879B1 (ko) * 2013-01-07 2021-08-20 엘지전자 주식회사 영상표시장치 및 그것의 제어방법
KR20130086574A (ko) * 2013-03-28 2013-08-02 삼성전자주식회사 프로젝터를 포함하는 전자 장치 및 그 제어 방법
KR101549031B1 (ko) * 2014-04-11 2015-09-02 서울시립대학교 산학협력단 포인팅 기능을 제공하는 장치, 방법 및 기록매체
JP2021518965A (ja) * 2018-09-19 2021-08-05 ブイタッチ・カンパニー・リミテッド 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体

Also Published As

Publication number Publication date
KR20230102557A (ko) 2023-07-07

Similar Documents

Publication Publication Date Title
KR101542625B1 (ko) 제스처를 수행함으로써 사용자 인터페이스 내 오브젝트를 선택하기 위한 방법 및 장치
US10671238B2 (en) Position-dependent modification of descriptive content in a virtual reality environment
US11054894B2 (en) Integrated mixed-input system
CN107636590B (zh) 用于电子装置上所执行的游戏的介质、服务器、装置和方法
US20130132873A1 (en) Information processing apparatus and information processing method to realize input means having high operability
WO2016088981A1 (ko) 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2017095123A1 (ko) 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2020130356A1 (en) System and method for multipurpose input device for two-dimensional and three-dimensional environments
WO2014116056A1 (ko) 애니메이션의 모션 시퀀스를 생성하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20130112629A (ko) 미디어 기기의 메뉴 제어 방법 및 장치와 그 방법에 대한 프로그램 소스를 저장한 기록 매체
CN115443445A (zh) 用于可穿戴系统的手部手势输入
CN113515202A (zh) 光标移动方法、装置和电子设备
US9665232B2 (en) Information-processing device, storage medium, information-processing method, and information-processing system for enlarging or reducing an image displayed on a display device
US10073609B2 (en) Information-processing device, storage medium, information-processing method and information-processing system for controlling movement of a display area
KR20200113834A (ko) 애플리케이션 정보 제공 장치 및 방법
WO2023128611A1 (ko) 사용자 입력을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US20210055784A1 (en) Information processing apparatus
WO2019078632A1 (ko) 증강현실 및 가상현실 내 투영기하를 사용한 3d 윈도우 관리 기법
WO2020209455A1 (en) System and method for natural three-dimensional calibration for robust eye tracking
JPH07248872A (ja) 入力装置及び演算入出力装置
US20180348953A1 (en) Selecting First Digital Input Behavior Based On A Second Input
WO2016032303A1 (ko) 문맥 정보에 기초하여 스크롤을 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2020242103A1 (ko) 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20140136854A (ko) 어플리케이션 운영 방법 및 이를 구현하는 전자 장치
KR102448108B1 (ko) 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22916752

Country of ref document: EP

Kind code of ref document: A1