KR20140059109A - System and method for human computer interaction - Google Patents

System and method for human computer interaction Download PDF

Info

Publication number
KR20140059109A
KR20140059109A KR1020130050237A KR20130050237A KR20140059109A KR 20140059109 A KR20140059109 A KR 20140059109A KR 1020130050237 A KR1020130050237 A KR 1020130050237A KR 20130050237 A KR20130050237 A KR 20130050237A KR 20140059109 A KR20140059109 A KR 20140059109A
Authority
KR
South Korea
Prior art keywords
user
interaction
unit
pose
image data
Prior art date
Application number
KR1020130050237A
Other languages
Korean (ko)
Other versions
KR102110811B1 (en
Inventor
쑨 쉰
첸 마오린
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/071,180 priority Critical patent/US9684372B2/en
Publication of KR20140059109A publication Critical patent/KR20140059109A/en
Application granted granted Critical
Publication of KR102110811B1 publication Critical patent/KR102110811B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Disclosed are an HCI system and a HCI method. The HCI system acquires image data, and determines an interaction a user is intending to proceed according to the various motions and poses of the user detected from the image data. Also, the HCI system displays a screen corresponding to the result of the interaction on a display unit.

Description

HCI 시스템 및 방법{SYSTEM AND METHOD FOR HUMAN COMPUTER INTERACTION}SYSTEM AND METHOD FOR HUMAN COMPUTER INTERACTION [0002]

아래의 실시예들은 HCI(Human Computer Interaction) 시스템 및 방법에 관한 것이다.The following embodiments relate to a HCI (Human Computer Interaction) system and method.

컴퓨터 시각 기술 기반의 HCI 방식(computer vision technology based HCI)은 각종 영상을 획득하고, 이를 처리하여 사용자의 입력을 획득할 수 있다. 컴퓨터 시각 기술 기반의 HCI방식은 신세대 HCI 기술로서 많은 관심을 받고 있으며, 레저 및 엔터테인먼트 산업에서 폭넓게 사용되고 있다. 이러한 HCI 방식은 사용자의 신체 포즈(body pose), 머리 포즈(head pose), 시선(LOS: line of sight) 또는 동작을 통해 컴퓨터와 인터랙션(interaction)을 수행하며, 사용자가 키보드 및 마우스 등 전통적인 입력 방식에서 벗어나 새로운 인터랙션을 체험할 수 있도록 한다.The computer vision technology based HCI (HCI) can acquire user's input by acquiring various images and processing them. The HCI method based on computer vision technology is attracting much attention as a new generation HCI technology and widely used in the leisure and entertainment industry. Such an HCI scheme performs interaction with a computer through body pose, head pose, line of sight, or motion of a user, and allows a user to input traditional input such as a keyboard and a mouse And to experience new interactions.

HCI 방법 중 하나는 터치 입력 및 3D 제스처(3D gesture) 입력을 통해 3D 물체를 생성, 수정, 및 조작하는 방법이 있다. 또 다른 방법으로는, 신체 포즈를 검출하여 가상 사용자 인터페이스(virtual user interface)와 인터랙션을 수행하는 HCI 방법도 있다.One of the HCI methods is to create, modify, and manipulate 3D objects through touch input and 3D gesture input. As another method, there is an HCI method for detecting a body pose and performing an interaction with a virtual user interface.

일 실시예에 따르면, 영상 데이터를 획득하는 영상 획득부(image acquisition unit), 상기 영상 데이터로부터 사용자의 머리(head)의 피치 방향(pitch direction) 및 편향 방향(deflection direction)을 검출함으로써 상기 영상 데이터로부터 상기 사용자의 시선(LOS)(line of sight) 방향을 검출하는 시선 캐치부(LOS catch unit), 및 상기 시선 캐치부(LOS catch unit)가 검출한 상기 사용자의 시선 방향에 따라 인터랙션의 시작 여부를 결정하는 인터랙션 결정부(interaction determining unit)를 포함하는 HCI 시스템(HCI system)이 제공된다.According to an embodiment, there is provided an image processing apparatus including an image acquisition unit for acquiring image data, a controller for detecting a pitch direction and a deflection direction of a user's head from the image data, (LOS) catch unit for detecting the direction of the line of sight of the user from the LOS catch unit, and an LOS catch unit for detecting whether or not the interaction is started according to the gaze direction of the user detected by the LOS catch unit (HCI system) including an interaction determining unit for determining an interaction determination unit.

일 실시예에 따르면, 상기 HCI 시스템은, 상기 영상 데이터에서 상기 사용자의 신체의 포즈 및 동작을 추적하고 식별하는 포즈 추적부(pose tracking unit)을 더 포함할 수 있다. 상기 포즈 추적부(pose tracking unit)는, 상기 영상 데이터에서 상기 사용자의 손 노드(hand node)를 추적 및 검출하여 상기 사용자의 손의 동작 및 제스쳐(gesture)를 결정하고, 상기 사용자의 신체 스켈레톤 노드(skeleton node)를 검출하여 상기 사용자의 신체의 포즈 및 동작을 결정할 수 있다. 상기 포즈 추적부(pose tracking unit)는, 상기 사용자가 상기 영상 획득부(image acquisition unit)로부터 미리 결정된 거리 이내에 있으면, 상기 사용자의 손가락(finger)의 동작을 추적 및 식별함으로써 상기 사용자의 동작(gesture)을 식별하고, 상기 사용자가 상기 영상 획득부(image acquisition unit)에서 상기 미리 결정된 거리보다 떨어져 있으면, 상기 사용자의 팔(arm)의 동작을 추적 및 식별할 수 있다.According to one embodiment, the HCI system may further include a pose tracking unit for tracking and identifying the pose and operation of the user's body in the image data. The pose tracking unit is configured to track and detect a hand node of the user in the image data to determine an operation and a gesture of the user's hand and to determine a gesture of the user's body skeleton node a skeleton node may be detected to determine a pose and an operation of the user's body. The pose tracking unit may be configured to track and identify the operation of the user's finger to determine whether the user's gesture is present if the user is within a predetermined distance from the image acquisition unit. And track and identify the motion of the user's arm if the user is spaced from the predetermined distance by the image acquisition unit.

일 실시예에 따르면, 영상 데이터를 획득하는 단계, 상기 사용자가 상기 영상 데이터를 획득하는 영상 획득부로부터 미리 결정된 거리 이내에 있으면, 상기 사용자의 손가락의 동작을 추적 및 식별함으로써 상기 사용자의 동작을 검출하는 단계, 및 상기 사용자가 상기 영상 획득부에서 상기 미리 결정된 거리보다 떨어져 있으면, 상기 사용자의 팔의 동작을 추적 및 식별함으로써 상기 사용자의 동작을 검출하는 단계를 포함하는 인간 컴퓨터 인터랙션 방법이 제공될 수 있다. 상기 검출한 상기 사용자의 동작에 따라 인터랙션의 시작 및 종료 중 적어도 하나가 결정될 수 있다. 또한, 상기 사용자의 시선 방향 및 상기 사용자의 손의 방향이 모두 상기 스크린에 표시된 디스플레이 아이템을 가리키는 방향이고, 미리 설정된 시간이 초과되면, 상기 디스플레이 아이템에 대하여 미리 결정된 인터랙션이 시작될 수 있다. 상기 사용자의 시선 방향 및 상기 사용자의 손의 방향이 모두 상기 디스플레이 아이템을 가리키는 방향이 아니면, 상기 디스플레이 아이템에 대한 인터랙션이 종료(stop)될 수 있다.According to one embodiment, there is provided a method of detecting an operation of a user by tracking and identifying an operation of a user's finger when the user is within a predetermined distance from an image acquisition unit from which the user acquires the image data And detecting an operation of the user by tracking and identifying an operation of the user's arm if the user is away from the predetermined distance in the image acquiring unit . At least one of the start and the end of the interaction may be determined according to the detected operation of the user. Also, if the user's gaze direction and the direction of the user's hand are all points in the direction of the display item displayed on the screen, a predetermined interaction with the display item may be initiated when the predetermined time is exceeded. The interaction with the display item may be stopped if the direction of the user's gaze and the direction of the user's hand are not all points in the direction of the display item.

일 실시예에 따르면, 상기 인간 컴퓨터 인터랙션 방법은, 상기 영상 데이터로부터 사용자의 머리의 피치 방향 및 편향 방향을 검출함으로써 상기 영상 데이터로부터 상기 사용자의 시선 방향을 검출하는 단계, 및 상기 검출한 상기 사용자의 상기 시선 방향 및 상기 검출한 상기 사용자의 상기 동작에 따라 인터랙션의 시작 및 종료 중 적어도 하나를 결정하는 단계를 더 포함할 수 있다. 또한, 상기 사용자가 정의한 포즈에 대응하는 인터랙션 지시를 등록하는 경우, 상기 사용자가 정의한 상기 포즈의 재현성 및 모호성에 관한 정보를 상기 사용자에게 제공될 수 있다.According to one embodiment, the human-computer interaction method includes the steps of: detecting a direction of a user's gaze from the image data by detecting a pitch direction and a deflection direction of a user's head from the image data; And determining at least one of starting and ending an interaction according to the viewing direction and the operation of the detected user. In addition, when an interaction instruction corresponding to the pose defined by the user is registered, information on the reproducibility and ambiguity of the pose defined by the user may be provided to the user.

일 실시예에 따르면, 영상 데이터를 획득하는 영상 획득부(image acquisition unit), 상기 영상 데이터로부터 검출된 사용자의 다양한 동작 및 포즈에 따라 사용자가 진행하고자 하는 인터랙션을 결정하는 HCI 처리부(HCI processing unit), 및 상기 인터랙션의 결과에 대응하여 스크린(screen)을 표시하는 디스플레이부를 포함하는 HCI 시스템이 제공된다.According to one embodiment, there is provided an image processing apparatus including an image acquisition unit for acquiring image data, an HCI processing unit for determining an interaction to be performed by the user according to various operations and poses of the user detected from the image data, And a display unit for displaying a screen corresponding to the result of the interaction.

상기 HCI 처리부는, 상기 영상 데이터로부터 사용자의 다양한 동작 및 포즈를 검출하는 동작 검출부, 상기 동작 검출부에 의하여 검출된 상기 사용자의 상기 다양한 동작 및 포즈에 따라, 상기 사용자가 진행하고자 하는 인터랙션을 결정하는 인터랙션 결정부(interaction determining unit), 및 상기 인터랙션 결정부(interaction determining unit)에 의하여 결정된 상기 인터랙션에 따라 상기 디스플레이부를 제어하여 상기 스크린에 상기 인터랙션을 표시하는 디스플레이 제어부를 포함할 수 있다.Wherein the HCI processing unit comprises: an operation detecting unit for detecting various operations and pauses of a user from the image data; an interaction unit for determining an interaction to be performed by the user in accordance with the various actions and poses of the user detected by the operation detecting unit; And a display controller for controlling the display unit according to the interaction determined by the interaction determining unit to display the interaction on the screen.

일 측에 따르면, 상기 동작 검출부는, 상기 영상 데이터로부터 상기 사용자의 시선(LOS)방향을 검출하는 시선 캐치부(LOS catch unit)(LOS catch module), 및 상기 영상 데이터에서 상기 사용자의 각 신체 부위의 포즈 및 동작을 추적 및 식별하는 포즈 추적부(pose tracking unit)를 포함할 수 있다. 상기 시선 캐치부(LOS catch unit)는, 상기 영상 데이터로부터 상기 사용자의 머리의 피치(pitch) 방향 및 편향(deflection) 방향을 검출함으로써 상기 사용자의 상기 시선 방향을 결정할 수 있다. 상기 포즈 추적부(pose tracking unit)는, 상기 영상 데이터에서 상기 사용자의 손 노드(hand node)를 추적 및 검출하여 상기 사용자의 손의 동작 및 제스쳐(gesture)를 결정하고, 상기 사용자의 신체 스켈레톤 노드(skeleton node)를 검출하여 상기 사용자의 각 신체 부위의 포즈 및 동작을 결정할 수 있다.According to one aspect of the present invention, the motion detection unit includes: a LOS catch module (LOS catch module) for detecting a direction of a user's line of sight (LOS) from the image data; And a pose tracking unit that tracks and identifies pose and motion of the pose. The LOS catch unit may determine the viewing direction of the user by detecting a pitch direction and a deflection direction of the user's head from the image data. The pose tracking unit is configured to track and detect a hand node of the user in the image data to determine an operation and a gesture of the user's hand and to determine a gesture of the user's body skeleton node a skeleton node may be detected to determine a pose and an operation of each body part of the user.

일 측에 따르면, 상기 인터랙션 결정부(interaction determining unit)는, 상기 시선 캐치부(LOS catch unit)가 검출한 상기 사용자의 시선 방향 및 상기 포즈 추적부(pose tracking unit)가 식별한 상기 사용자의 손 동작에 따라 인터랙션 시작 여부를 결정할 수 있다. 또한, 상기 인터랙션 결정부(interaction determining unit)는, 상기 사용자의 시선 방향 및 상기 사용자의 손 방향이 모두 상기 스크린에 표시된 디스플레이 아이템(display item)을 가리키는 방향이고, 미리 설정된 시간이 초과되면, 상기 디스플레이 아이템에 대하여 인터랙션을 시작할 수 있다. 또는, 상기 인터랙션 결정부(interaction determining unit)는, 상기 사용자의 시선 방향 및 상기 사용자의 손 방향이 모두 상기 디스플레이 아이템을 가리키는 방향이 아니면, 상기 디스플레이 아이템에 대하여 인터랙션을 정지(stop)시킬 수 있다.According to one aspect of the present invention, the interaction determining unit determines a direction of the user's gaze detected by the LOS catch unit and a position of the user's hand, which is identified by the pose tracking unit, Depending on the action, you can decide whether to start the interaction. The interaction determination unit is a direction in which the direction of the user's gaze and the direction of the hand of the user indicate a display item displayed on the screen, You can start interacting with an item. Alternatively, the interaction determining unit may stop the interaction with the display item if the direction of the user's gaze and the direction of the user's hand are not all points in the direction of the display item.

일 측에 따르면, 상기 포즈 추적부(pose tracking unit)는, 상기 사용자가 상기 영상 획득부(image acquisition unit)의 근처에 있으면, 상기 사용자의 손가락(finger) 동작을 추적 및 식별함으로써 상기 사용자의 동작(gesture)을 식별하고, 상기 사용자가 상기 영상 획득부(image acquisition unit)에서 멀리 떨어져 있으면, 상기 사용자의 팔(arm) 동작을 추적 및 식별할 수 있다.According to one aspect, the pose tracking unit is configured to track and identify a finger motion of the user if the user is near the image acquisition unit, and may track and identify the user's arm movement if the user is far away from the image acquisition unit.

일 측면에 따르면, 상기 HCI 처리부는, 사용자 정의(user-defined) 포즈에 대응하는 인터랙션 지시를 등록하는 사용자 정의 포즈 등록(register)부를 더 포함할 수 있다.According to an aspect of the present invention, the HCI processing unit may further include a user-defined pause register unit for registering an interaction instruction corresponding to a user-defined pose.

일 실시예에 따르면, 영상 데이터를 획득하는 단계, 상기 영상 데이터로부터 검출된 사용자의 다양한 동작 및 포즈에 따라 사용자가 진행하고자 하는 인터랙션을 결정하는 단계, 및 상기 인터랙션의 결과에 대응하여 스크린을 표시하는 단계를 포함하는 HCI 방법이 제공된다.According to an embodiment of the present invention, there is provided an image processing method including the steps of acquiring image data, determining an interaction the user wants to proceed according to various actions and poses of a user detected from the image data, A HCI method is provided that includes steps.

일 측에 따르면, 상기 인터랙션을 결정하는 단계는, 상기 영상 데이터로부터 사용자의 다양한 동작 및 포즈를 검출하는 단계, 상기 동작 검출부에 의하여 검출된 상기 사용자의 상기 다양한 동작 및 포즈에 따라, 상기 사용자가 진행하고자 하는 인터랙션을 결정하고 상기 인터랙션에 대응하는 디스플레이 지시를 전송하는 단계, 및 상기 결정된 지시에 따라 상기 디스플레이부를 제어하여 상기 스크린에 상기 인터랙션을 표시하는 단계를 포함할 수 있다.According to one aspect, the step of determining the interaction further comprises the steps of: detecting various actions and pauses of the user from the image data; determining, based on the various actions and poses of the user detected by the motion detection unit, Determining a desired interaction and transmitting a display instruction corresponding to the interaction, and controlling the display unit according to the determined instruction to display the interaction on the screen.

일 측에 따르면, 상기 사용자의 다양한 동작 및 포즈를 검출하는 단계는, 상기 영상 데이터로부터 상기 사용자의 시선 방향을 검출하는 단계, 및 상기 사용자의 각 신체 부위의 포즈 및 동작을 추적 및 식별하는 단계를 포함할 수 있다.According to one aspect, detecting the various actions and pauses of the user includes detecting the direction of the user's gaze from the image data, and tracking and identifying pose and motion of each body part of the user .

일 측에 따르면, 상기 영상 데이터로부터 상기 사용자의 머리의 피치 방향 및 편향 방향을 검출함으로써 상기 사용자의 상기 시선 방향이 결정될 수 있다.According to one aspect, the gaze direction of the user can be determined by detecting the pitch direction and the deflection direction of the user's head from the image data.

일 측에 따르면, 상기 영상 데이터에서 상기 사용자의 손 노드를 추적 및 검출하여 상기 사용자의 손의 동작 및 제스쳐를 결정하고, 상기 사용자의 신체 스켈레톤 노드를 검출하여 상기 사용자의 각 신체 부위의 포즈 및 동작을 결정할 수 있다. 또한, 상기 검출한 사용자의 시선 방향 및 상기 포즈 추적부(pose tracking unit)가 식별한 상기 사용자의 손 동작에 따라 인터랙션 시작 여부를 결정할 수 있다.According to one aspect of the present invention, there is provided a method and apparatus for tracking and detecting a user's hand node in the image data to determine an operation and a gesture of the user's hand, detecting a body skeleton node of the user, Can be determined. In addition, it is possible to determine whether or not to start the interaction according to the gaze direction of the detected user and the hand movements of the user identified by the pose tracking unit.

도 1은 일 실시예에 따라 HCI 시스템 및 사용자가 인터랙션을 수행하는 것을 도시한 개념도이다.
도 2는 일 실시예에 따라 HCI 시스템에 포함된 HCI 처리부의 구조를 도시하는 불록도이다.
도 3은 일 실시예에 따라 HCI를 시작 또는 정지하는 동작(gesture)을 도시하는 개념도이다.
도 4는 일 실시예에 따른 HCI 방법을 도시하는 흐름도이다.
도 5는 일 실시예에 따른 HCI 방법을 이용하여 메뉴(menu) 조작을 수행하는 방법을 도시하는 흐름도이다.
도 6은 일 실시예에 따른 HCI 방법을 이용하여 3D 디스플레이 아이템(3D display item)에 대하여 인터랙션을 수행하는 방법을 도시하는 흐름도이다.
도 7은 일 실시예에 따른 HCI 방법을 이용하여 손 필기(hand writing)를 수행하는 방법을 도시하는 흐름도이다.1 is a conceptual diagram showing an HCI system and a user performing an interaction according to an embodiment.
2 is a block diagram illustrating a structure of an HCI processing unit included in an HCI system according to an embodiment.
3 is a conceptual diagram showing a gesture for starting or stopping the HCI according to an embodiment.
4 is a flow chart illustrating an HCI method according to one embodiment.
5 is a flowchart illustrating a method of performing a menu operation using the HCI method according to an exemplary embodiment.
6 is a flowchart illustrating a method of performing an interaction with a 3D display item using an HCI method according to an exemplary embodiment.
7 is a flowchart illustrating a method of performing handwriting using the HCI method according to an embodiment.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

도 1은 일 실시예에 따라 HCI 시스템 및 사용자가 인터랙션을 수행하는 것을 도시한 개념도이다. 도 1에 도시된 바와 같이, 일 실시예에 따른 HCI 시스템은 영상 획득부(image acquisition unit)(100), HCI 처리부(HCI processing unit)(200) 및 디스플레이부(display unit)(300)를 포함할 수 있다. 1 is a conceptual diagram showing an HCI system and a user performing an interaction according to an embodiment. 1, an HCI system according to an embodiment includes an image acquisition unit 100, an HCI processing unit 200, and a display unit 300 can do.

영상 획득부(image acquisition unit)(100)는 영상 데이터를 획득하는 장치이다. 상기 영상 데이터는 깊이 특징 및/또는 칼라 특징을 포함할 수 있다. 영상 획득부 (100)는 깊이 영상을 촬영할 수 있는 장치(예를 들어, 깊이 카메라(depth camera))일 수 있다.An image acquisition unit (100) is a device for acquiring image data. The image data may include a depth feature and / or a color feature. The image acquisition unit 100 may be a device (e.g., a depth camera) capable of photographing a depth image.

HCI 처리부(HCI processing unit)(200)는 영상 획득부(100)에 의하여 획득된 영상 데이터를 분석하여 사용자의 포즈 및 동작을 식별할 수 있다. 또한, HCI 처리부(200)는 사용자의 포즈 및 동작에 대해 분석할 수 있다. 그리고, HCI 처리부(200)는 분석된 결과에 따라 디스플레이부(300)를 제어하여 대응하는 디스플레이를 수행한다. 디스플레이부(300)는 TV, 프로젝터(projector), LCD 모니터 등과 같은 장치일 수 있다.The HCI processing unit 200 may analyze the image data obtained by the image obtaining unit 100 to identify the pose and operation of the user. In addition, the HCI processing unit 200 can analyze the pose and operation of the user. The HCI processing unit 200 controls the display unit 300 according to the analyzed result to perform a corresponding display. The display unit 300 may be a device such as a TV, a projector, an LCD monitor, or the like.

여기서, 도 1에 도시된 바와 같이, HCI 처리부(200)는 검출된 다양한 동작 및 포즈에 따라, 사용자가 진행하고자 하는 인터랙션을 결정할 수 있다. 예를 들어, 사용자가 디스플레이부(300)에 표시된 콘텐츠의 여러 대상(objects)(예를 들어, 도 1에 도시된 OBJ1, OBJ2, OBJ3) 중의 특정 대상(예를 들어, OBJ2)을 보면서 동시에 손가락(finger)을 사용하여 상기 특정 대상을 가리키면서 인터랙션을 수행할 수 있다. HCI 처리부(200)는 사용자의 시선 방향(LOS: line of sight), 동작(gesture) 및 각 신체 부위의 동작 및 포즈를 검출할 수 있다. 또한, HCI 처리부(200)를 통해, 사용자는 손가락을 이동하여 지시(indicate)한 어느 특정 대상을 조작할 수 있다. 예를 들어, HCI 처리부(200)는 디스플레이부(300) 상에 표시된 대상의 위치를 변경할 수 있다. 그리고, 사용자가 신체 부위(예를 들어, 팔)를 이동하거나 신체 전체를 이동하면서 인터랙션을 수행할 수 있다.Here, as shown in FIG. 1, the HCI processing unit 200 can determine the interaction that the user intends to perform according to the detected various actions and poses. For example, when a user views a specific object (e.g., OBJ2) among various objects (e.g., OBJ1, OBJ2, OBJ3 shown in Fig. 1) of content displayed on the display unit 300, the finger can be used to perform the interaction while pointing to the specific object. The HCI processing unit 200 can detect a user's line of sight (LOS), a gesture, and an operation and a pose of each body part. In addition, through the HCI processing unit 200, the user can manipulate a specific object by moving a finger to indicate. For example, the HCI processing unit 200 can change the position of an object displayed on the display unit 300. [ Then, the user can perform the interaction while moving the body part (e.g., arm) or moving the entire body.

도 1에서 영상 획득부(100), HCI 처리부(200) 및 디스플레이부(300)는 분리된 장치로 도시되어 있지만, 상기 3개의 구성을 하나 또는 2 개의 구성으로 조합할 수 있다. 예를 들어, 영상 획득부(100)와 HCI 처리부(200)를 하나의 구성으로 실현할 수 있다. 또한 하나의 구성(예를 들어, HCI 처리부(200))이 복수 개의 물리적 또는 논리적 구성으로 구현될 수도 있다.Although the image acquisition unit 100, the HCI processing unit 200, and the display unit 300 are shown as separate devices in FIG. 1, the three configurations may be combined into one or two configurations. For example, the image acquiring unit 100 and the HCI processing unit 200 can be realized in a single configuration. Also, one configuration (e.g., the HCI processing unit 200) may be implemented in a plurality of physical or logical configurations.

이하에서, 도 2를 참조하여 일 실시예에 따라 HCI 시스템에 포함된 HCI 처리부(200)의 구조에 대해 상세히 설명한다.Hereinafter, the structure of the HCI processing unit 200 included in the HCI system will be described in detail with reference to FIG.

도 2에 도시된 바와 같이, 일 실시예에 따른 HCI 처리부(200)는 동작 검출부(gesture detecting unit)(210), 인터랙션 결정부(interaction determining unit)(220) 및 디스플레이 제어부(display control unit)(230)을 포함할 수 있다. 동작 검출부(gesture detecting unit)(210)은 사용자의 다양한 동작을 검출하여 사용자의 포즈를 결정한다. 예를 들어, 동작 검출부(210)는, 사용자의 시선 방향, 신체 부위의 동작 및 신체 포즈를 검출 및 결정할 수 있다. 인터랙션 결정부(interaction determining unit)(220)는 상기 동작 검출부(210)에 의하여 검출된 사용자의 다양한 동작 및/또는 포즈에 따라 진행될 인터랙션을 결정한다. 2, the HCI processing unit 200 according to an exemplary embodiment includes a gesture detecting unit 210, an interaction determining unit 220, and a display control unit 230). A gesture detecting unit 210 detects various operations of the user to determine a user's pose. For example, the motion detection section 210 can detect and determine the direction of the user's gaze, the motion of the body part, and the body pose. The interaction determination unit 220 determines an interaction to be performed according to various actions and / or pauses of the user detected by the motion detection unit 210.

이하에서, 동작 검출부(210) 작동 과정에 대해 자세히 설명한다.Hereinafter, the operation of the motion detector 210 will be described in detail.

일 실시예에 따르면, 동작 검출부(gesture detecting unit)(210)는 시선 캐치부(LOS catch unit)(211) 및 포즈 추적부(pose tracking unit)(213)를 포함할 수 있다.According to one embodiment, the gesture detecting unit 210 may include a LOS catch unit 211 and a pose tracking unit 213.

시선 캐치부(LOS catch unit)(211)는 상기 영상 데이터로부터 사용자의 시선 방향(line of sight)을 검출한다. 예를 들어, 시선 캐치부(211)는 상기 영상 데이터로부터 사용자의 머리 포즈(head pose)를 검출하여 사용자의 시선 방향을 획득할 수 있다. 머리 포즈는 머리의 피치(pitch of a head) 및 머리의 편향(deflection of a head)에 의하여 표시될 수 있다. 따라서 깊이 영상에 포함된 머리 영역에서 머리의 피치각(pitch angle) 및 편향각(deflection angle)을 각각 추정하고, 상기 추정된 피치각 및 편향각에 기초하여 대응하는 머리 포즈를 합성하여 사용자의 시선 방향을 획득할 수 있다.A LOS catch unit 211 detects a line of sight of the user from the image data. For example, the gaze catching unit 211 may detect the head pose of the user from the image data to obtain the gaze direction of the user. The head pose can be indicated by the pitch of a head and the deflection of a head. Accordingly, the pitch angle and the deflection angle of the head are respectively estimated in the head region included in the depth image, and the corresponding head pose is synthesized based on the estimated pitch angle and the deflection angle, Direction can be obtained.

포즈 추적부(pose tracking unit)(213)는 사용자의 각 신체 부위의 포즈(pose)를 추적 및 식별한다. 예를 들어, 포즈 추적부(pose tracking unit)(213)는 획득된 영상 데이터로부터 사용자가 가리키는 방향을 추적 및 식별할 수 있다. 또한, 포즈 추적부(213)는 사용자의 손가락 동작(finger gesture)을 추적 및 식별할 수 있다. 포즈 추적부(213)는 손의 동작에 의해 손이 움직이는 경로(track)를 추적(track)할 수 있다. 포즈 추적부(213)는 손의 동작에 의해 손이 움직이는 속도를 추적할 수 있다. 또한, 포즈 추적부(213)은 사용자의 각 신체 부위(예, 팔)의 동작을 추적 및 식별할 수 있다. A pose tracking unit 213 tracks and identifies the pose of each body part of the user. For example, the pose tracking unit 213 may track and identify the direction pointed by the user from the acquired image data. In addition, the pose tracking unit 213 can track and identify the finger gesture of the user. The pose tracking unit 213 may track a track on which the hand moves by the motion of the hand. The pose tracking unit 213 can track the speed at which the hand moves by the motion of the hand. In addition, the pose tracking unit 213 can track and identify the motion of each body part (e.g., an arm) of the user.

일 실시예에 따르면, 사용자가 상기 영상 획득부(image acquisition unit)(100)로부터 미리 결정된 거리 이내에 있으면(예를 들어, 상기 사용자가 영상 획득부(100)의 근처에 있으면), 포즈 추적부(pose tracking unit)(213)는 정밀하고 신뢰성 있는 영상 데이터(dense and reliable image data)를 통해 사용자의 손 노드(hand node)를 추적하여 사용자의 손가락이 가리키는 방향 및 손가락의 동작(gesture)을 결정할 수 있다. According to one embodiment, when the user is within a predetermined distance from the image acquisition unit 100 (for example, if the user is near the image acquisition unit 100), the pose tracking unit The pose tracking unit 213 tracks the user's hand node through dense and reliable image data to determine the direction the user's finger points and the gesture of the finger have.

사용자가 상기 영상 획득부(image acquisition unit)(100)로부터 미리 결정된 거리보다 떨어져 있으면(예를 들어, 상기 사용자가 상기 영상 획득부(100)에서 멀리 떨어져 있는 경우), 획득된 영상 데이터가 정밀하지 않고, 노이즈(noise)도 많고 손 영역도 작아진다. 이 경우, 포즈 추적부(213)는 신체의 스켈레톤 노드(skeleton node)에 대한 추적을 통해 사용자의 팔(예를 들어, 손목 노드(wrist node)와 팔꿈치 노드(elbow node) 사이의 스켈레톤)에 대해 추적하여 사용자의 팔이 가리키는 방향 및 팔의 동작을 추적 및 식별할 수 있다.If the user is distant from the image acquisition unit 100 by a predetermined distance (for example, when the user is far from the image acquisition unit 100), the acquired image data is not precise The noise is large and the hand area is small. In this case, the pose tracking unit 213 may be configured to track the user's arm (e.g., the skeleton between the wrist node and the elbow node) through tracking of the skeleton node of the body And track and identify the direction that the user's arms point and the movement of the arms.

일 실시예에 따르면, 포즈 추적부(pose tracking unit)(213)는 피부 칼라 및/또는 3D 특징에 따라 사용자의 손의 동작을 식별할 수 있다. 구체적으로, 포즈 추적부(pose tracking unit)(213)는 피부 칼라 및/또는 3D 특징에 기초하여 훈련(training)하는 분류기(sorter)를 포함할 수 있다. 피부 칼라 분류기를 함으로써, 확률 모델(예, GMM)을 이용하여 손의 칼라 분포에 따라 파서블 픽셀(possible pixel)이 손의 픽셀(pixel)인지 아닌지 구분할 수 있다. According to one embodiment, a pose tracking unit 213 may identify the motion of the user's hand according to skin color and / or 3D features. Specifically, the pose tracking unit 213 may include a sorter that trains based on skin color and / or 3D features. By using a skin color classifier, a probabilistic model (eg GMM) can be used to distinguish whether a possible pixel is a hand pixel or not according to the color distribution of the hand.

깊이 특징에 대하여, "Real-Time Human Pose Recognition in Parts from Single Depth Images. Jamie Shotton et al. In CVPR 2011"에 소개된 방식과 같이, 깊이 비교 특징을 생성하거나, 일부 깊이 블록 (작은 사각형)을 손 모델의 블록과 비교하여 서로의 유사 정도를 측정할 수 있다.For depth features, you can create depth comparison features, or use some depth blocks (small squares), as described in "Real-Time Human Pose Recognition in Parts from Single Depth Images. Jamie Shotton et al. It is possible to measure the degree of similarity with each other in comparison with the block of the hand model.

이어서, 2D 영상 및 3D 공간에서 손을 포지셔닝(positioning)하기 위해, 포즈 추적부(pose tracking unit)(213)는 한 프레임씩(frame by frame) 손을 검출하여 손의 동작에 대해 경로(track) 및 속도를 추적 및 계산할 수 있다. 손이 영상 획득부(100)에서 멀리 떨어져 있고, 영상 데이터에서 손 영역의 크기가 미리 설정된 임계값보다 작은 것으로 나타나면, 데이터의 신뢰성을 고려하여 사용자의 신체 스켈레톤을 추적하는 방식을 사용하여 팔의 동작을 결정할 수 있다.Then, in order to position the hand in the 2D image and the 3D space, the pose tracking unit 213 detects a hand by frame by frame to track the motion of the hand, And speed can be tracked and calculated. If the hand is far away from the image acquisition unit 100 and the size of the hand region in the image data is smaller than a preset threshold value, the user's body skeleton is tracked in consideration of the reliability of the data, Can be determined.

인터랙션 결정부(interaction determining unit)(220)는 동작 검출부(210)에 의해 검출된 사용자의 다양한 동작에 따라 사용자가 진행하고자 하는 인터랙션을 결정할 수 있다. 예건대, 인터랙션 결정부(220)는 시선 캐치부(LOS catch unit)(211)에 의하여 검출된 사용자의 시선 방향에 따라 인터랙션의 시작 여부를 결정할 수 있다. 또는, 인터랙션 결정부(220)는 포즈 추적부(213)에 의하여 식별된 사용자가 가리키는 방향에 따라 인터랙션의 시작 여부를 결정할 수 있다. 또는, 인터랙션 결정부(220)는 시선 캐치부(LOS catch unit)(211)에 의하여 검출된 사용자의 시선 방향 및 포즈 추적부(213)에 의하여 식별된 사용자가 가리키는 방향 모두를 이용하여 인터랙션의 시작 여부를 결정할 수 있다.The interaction determining unit 220 can determine an interaction that the user intends to proceed according to various operations of the user detected by the motion detecting unit 210. [ For example, the interaction determining unit 220 may determine whether to start an interaction according to the direction of the user's sight detected by the LOS catch unit 211. Alternatively, the interaction determination unit 220 may determine whether to start the interaction according to the direction indicated by the user identified by the pose tracking unit 213. Alternatively, the interaction determining unit 220 may determine whether to start the interaction using both the direction of the user's gaze detected by the LOS catch unit 211 and the direction indicated by the user identified by the pose-tracking unit 213 Can be determined.

또 다른 실시예에서, 인터랙션 결정부(220)는 시선 캐치부(LOS catch unit)(211)에 의하여 검출된 사용자의 시선 방향에 따라 인터랙션의 종료 여부를 결정할 수 있다. 또는, 인터랙션 결정부(220)는 포즈 추적부(213)에 의하여 식별된 사용자가 가리키는 방향에 따라 인터랙션의 종료 여부를 결정할 수 있다. 또는, 인터랙션 결정부(220)는 시선 캐치부(LOS catch unit)(211)에 의하여 검출된 사용자의 시선 방향 및 포즈 추적부(213)에 의하여 식별된 사용자가 가리키는 방향 모두를 이용하여 인터랙션의 종료 여부를 결정할 수 있다.In another embodiment, the interaction determining unit 220 may determine whether to terminate the interaction according to the direction of the user's gaze detected by the LOS catch unit 211. [ Alternatively, the interaction determination unit 220 may determine whether the interaction ends according to the direction indicated by the user identified by the pose tracking unit 213. Alternatively, the interaction determination unit 220 may determine whether or not the interaction end is detected using both the user's gaze direction detected by the LOS catch unit 211 and the direction pointed by the user identified by the pose tracking unit 213 Can be determined.

다시 말하면, 인터랙션 결정부(interaction determining unit)(220)는 사용자의 시선 방향 및/또는 사용자가 가리키는 방향에 따라 인터랙션 시작 또는 종료를 결정할 수 있다. 예를 들어, 시선 캐치부(LOS catch unit)(211)에 의하여 검출된 사용자의 시선 방향 및 포즈 추적부(213)에 의하여 식별된 사용자가 가리키는 방향 모두 디스플레이부(300)에 표시된 어느 디스플레이 아이템(display item)(즉, 시선 방향과 가리키는 방향의 교차점에 위치된 특정한 디스플레이 아이템)을 가리키는 방향이고 미리 설정된 시간이 초과되면, 인터랙션 결정부(220)는 사용자가 진행하고자 하는 인터랙션을 결정하여 표시된 디스플레이 아이템을 조작할 수 있다. 디스플레이 아이템을 조작하는 과정에서 인터랙션 결정부(220)는 사용자의 시선 방향 및 가리키는 방향 중의 적어도 하나의 방향이 지속적으로 상기 디스플레이 아이템을 가리키는지 확인한다. 사용자의 시선 방향 및 가리키는 방향이 모두 상기 디스플레이 아이템을 가리키는 방향이 아니면, 인터랙션 결정부(220)는 사용자가 상기 디스플레이 아이템과의 인터랙션을 정지한 것으로 결정할 수 있다. 따라서 이러한 방식을 통해 사용자가 인터랙션을 시작하였는지 또는 종료하였는지 여부에 대하여 더욱 정확하게 결정할 수 있으므로, 인터랙션의 정확성이 향상된다.In other words, the interaction determining unit 220 can determine the start or end of the interaction according to the direction of the user's gaze direction and / or the direction pointed by the user. For example, the direction of the user's gaze detected by the LOS catch unit 211 and the direction indicated by the user identified by the pose tracking unit 213 are the same as any displayed items (i.e., a specific display item located at the intersection of the direction of the line of sight and the direction of the pointing), and if the predetermined time is exceeded, the interaction determining unit 220 determines the interaction to be performed by the user, Can be operated. In the course of operating the display item, the interaction determining unit 220 determines whether at least one direction of the user's gaze direction and the pointing direction continuously indicates the display item. The interaction determining unit 220 may determine that the user has stopped the interaction with the display item if the direction of the user's gaze direction and the direction of the user's point of sight are not the direction indicating the display item. This way, it is possible to more precisely determine whether the user has initiated or terminated the interaction, thereby improving the accuracy of the interaction.

상기와 같이, 검출된 사용자의 동작 및 포즈에 따라 인터랙션의 시작 및/또는 종료 여부를 결정하는 실시예를 설명하였지만, 실시예는 이에 한정되지 않는다. As described above, the embodiment has been described in which the start and / or end of the interaction is determined according to the detected operation and pose of the user, but the embodiment is not limited thereto.

다른 미리 설정된 방식으로 인터랙션 시작 및/또는 종료 여부가 결정될 수 있다. 예를 들어, 사용자의 시선 방향 및/또는 미리 설정된 동작(gesture)에 따라 인터랙션이 시작될 수 있다.Whether the interaction is started and / or terminated can be determined in other predetermined ways. For example, the interaction may be initiated according to a user's gaze direction and / or a predetermined gesture.

도 3을 참조하면, 도 2의 동작 검출부(210)가 영상 데이터로부터 사용자의 손가락이 펼쳐져 있고 시선 방향이 디스플레이부(300)의 스크린에 표시된 특정 아이템을 가리키는 방향인 것을 확인하면, 인터랙션 결정부(220)는 사용자가 상기 특정 아이템에 대한 인터랙션을 진행하고자 하는 것으로 결정할 수 있다.Referring to FIG. 3, if the motion detection unit 210 of FIG. 2 confirms that the user's finger is extended from the image data and the direction of the eye is the direction pointing to the specific item displayed on the screen of the display unit 300, 220 may determine that the user wishes to proceed with the interaction for the particular item.

동작 검출부(210)가 사용자가 손가락을 합치고 손을 이동하는 것을 확인하면, 인터랙션 결정부(interaction determining unit)(220)는 사용자가 특정 아이템을 이동하고자 하는 것으로 결정할 수 있다.When the motion detection unit 210 confirms that the user joins the fingers and moves his or her hand, the interaction determining unit 220 can determine that the user intends to move the specific item.

마지막으로, 동작 검출부(210)는 사용자가 손을 주먹으로 움켜쥐는 것을 확인하면, 인터랙션 결정부(220)는 사용자가 인터랙션을 정지하고자 하는 것으로 결정할 수 있다.Finally, when the motion detection unit 210 confirms that the user grasps the hand with the fist, the interaction determination unit 220 can determine that the user intends to stop the interaction.

인터랙션이 시작되면, 인터랙션 결정부(interaction determining unit)(220)는 사용자의 동작 및/또는 포즈에 따라 사용자가 진행하고자 하는 인터랙션을 결정할 수 있다. 일 실시예에 따르면, 인터랙션 결정부(220)는 사용자의 손(hand)이 가리키는 방향에 따라 이동 포인터(move pointer)에 대한 인터랙션을 결정할 수 있다. 포즈 추적부(pose tracking unit)(213)에 의하여 검출된 사용자의 손이 가리키는 방향에 따라, 인터랙션 결정부(220)는 상기 손이 가리키는 방향과 스크린의 교차점을 계산하고, 상기 교차점에 대한 스크린에서의 포인터의 위치를 획득할 수 있다. 사용자의 손이 이동하게 되면, 인터랙션 결정부(220)는 대응하는 인터랙션 지시를 디스플레이 제어부(230)로 전송한다. 디스플레이 제어부(230)는 포인터가 손의 이동에 따라 스크린 상에서 이동하도록 디스플레이부(300)를 제어한다Once the interaction is initiated, the interaction determining unit 220 may determine the interaction that the user wishes to proceed based on the user's actions and / or pose. According to one embodiment, the interaction determining unit 220 may determine an interaction with a move pointer according to a direction indicated by a user's hand. According to the direction indicated by the user's hand detected by the pose tracking unit 213, the interaction determining unit 220 calculates the intersection of the screen and the direction pointed by the hand, The position of the pointer of the pointer can be obtained. When the user's hand is moved, the interaction determination unit 220 transmits a corresponding interaction instruction to the display control unit 230. The display control unit 230 controls the display unit 300 to move the pointer on the screen as the hand moves

일 실시예에 따르면, 인터랙션 결정부(220)는 포즈 추적부(pose tracking unit)(213)에 의하여 검출된 사용자의 손 동작에 따라 버튼(button)에 대한 인터랙션을 결정할 수 있다. 또한 인터랙션 결정부(220)는, 포즈 추적부(213)에 의하여 검출된 사용자의 손이 가리키는 방향에 따라, 상기 손이 가리키는 방향과 스크린의 교차점을 계산할 수 있다. 상기 교차점에 버튼과 같은 디스플레이 아이템이 존재하면, 인터랙션 결정부(220)는 사용자가 상기 디스플레이 아이템(예를 들어, 버튼)을 터치하고자 하는 것으로 결정할 수 있다. 또는 포즈 추적부(213)가 사용자의 손가락 또는 주먹이 상기 손가락 또는 주먹이 가리키는 방향으로 신속하게 이동하는 것을 확인하면, 인터랙션 결정부(220)는 대응하는 디스플레이 아이템(예를 들어, 버튼)이 터치된 것으로 결정할 수 있다.According to one embodiment, the interaction determination unit 220 may determine an interaction with a button according to a user's hand motion detected by a pose tracking unit 213. The interaction determination unit 220 may calculate the intersection of the screen and the direction pointed by the hand according to the direction indicated by the user's hand detected by the pose tracking unit 213. [ If there is a display item such as a button at the intersection, the interaction determining unit 220 may determine that the user wants to touch the display item (e.g., a button). Or the pose tracking unit 213 moves quickly in the direction in which the user's finger or fist points the finger or the fist, the interaction determination unit 220 determines that the corresponding display item (e.g., button) .

여기서 예시로 인터랙션 결정부(interaction determining unit)(220)가 시선 캐치 부(211)에 의하여 검출된 사용자의 시선 방향 및/또는 포즈 추적부(213)에 의하여 식별된 사용자의 포즈 및/또는 동작에 따라 사용자가 진행하고자 하는 인터랙션을 결정하는 것을 설명하였다. 그러나, 실시예에 따른 인터랙션은 상기 예시에 한정되지 않는다. 사용자의 동작 및/또는 사용자의 시선 방향에 따라 더 많은 인터랙션을 수행할 수 있다. 예를 들어, 손의 이동에 의하여 디스플레이 아이템을 이동하거나, 디스플레이 아이템을 회전시킬 수 있다. 또는 손가락 동작에 의하여 디스플레이 아이템을 터치 또는 더블 터치를 수행할 수 있다.Here, for example, the interaction determining unit 220 may determine whether the user's gaze direction detected by the gaze catching unit 211 and / or the pose and / or action of the user identified by the pose tracking unit 213 And the user determines the interaction to proceed. However, the interaction according to the embodiment is not limited to the above example. It is possible to perform more interactions according to the action of the user and / or the direction of the user's gaze. For example, the movement of the hand may move the display item or rotate the display item. Or perform a touch or a double touch on the display item by a finger operation.

또한, 일 실시예에 따르면, 사용자가 일정한 동작 및/또는 포즈에 대응하는 인터랙션에 대하여 스스로 정의(사용자 정의, user-defined)할 수 있다. 이를 위해, HCI 처리부(200)는, 사용자 정의 포즈(user-defined pose)에 대응하는 인터랙션을 등록(register)하는 사용자 정의 포즈 등록부(미 도시)를 더 포함할 수 있다. 사용자 정의 포즈 등록부는 데이터베이스를 포함하여, 등록된 포즈 및/또는 동작에 대응하여 인터랙션 지시를 매핑(mapping)할 수 있다. 예를 들어, 2D 또는 3D 디스플레이 아이템이 표시되면, 두 손의 방향을 추적하여 2D 또는 3D 디스플레이 아이템을 축소 또는 확대할 수 있다. Also, according to one embodiment, a user may define (user-defined) himself / herself about the interaction corresponding to a certain action and / or pose. To this end, the HCI processing unit 200 may further include a user-defined pose registration unit (not shown) for registering an interaction corresponding to a user-defined pose. The user-defined pause register may include a database to map the interaction instructions in response to the registered pose and / or action. For example, when a 2D or 3D display item is displayed, the direction of both hands can be tracked to reduce or enlarge the 2D or 3D display item.

새로운 포즈 및/또는 동작을 등록하기 위해, 사용자 정의 포즈 등록부는 사용자 정의 포즈의 재현성(reproducibility) 및 모호성(ambiguity)을 측정하고, 상기 사용자 정의 포즈의 재현성 및/또는 모호성에 관한 정보를 사용자에게 반환(return)할 수 있다. 사용자 정의 포즈 등록부는 사용자가 정의한 포즈 및/또는 동작의 재현성, 모호성, 복잡성 등을 계산할 수 있다. 사용자 정의 포즈 등록부는 상기 계산된 값을 임계값과 비교하여, 상기 임계값보다 큰 경우에는 상기 사용자가 정의한 포즈 및/또는 동작을 등록할 수 있다. 상기 계산된 값이 임계값보다 작은 경우 사용자 정의 포즈 등록부는 재현성이 높고 모호성이 낮은 포즈 및/동작의 등록을 사용자에게 요구할 수 있다. 상기 재현성 및/또는 모호성에 관한 정보는 신뢰성 스코어(reliability score)로 숫자로 제시될 수도 있고, "모호한 동작"과 같이 문자 정보일 수도 있다.To register a new pose and / or action, the user-defined pose registration unit measures the reproducibility and ambiguity of the user-defined pose and returns information about the reproducibility and / or ambiguity of the user-defined pose to the user (return). The user-defined pose registration unit may calculate the reproducibility, ambiguity, complexity, etc. of the pose and / or action defined by the user. The user-defined pose registering unit compares the calculated value with a threshold value, and may register the pose and / or operation defined by the user when the calculated value is larger than the threshold value. If the calculated value is smaller than the threshold value, the user-defined pose registration unit can request the user to register the pose and / or the operation with high reproducibility and low ambiguity. The information on the reproducibility and / or ambiguity may be expressed in terms of a reliability score, or may be character information such as "ambiguous operation ".

인터랙션 결정부(interaction determining unit)(220)가 사용자가 수행하고 하는 인터랙션을 결정하면, 인터랙션 결정부(220)는 대응하는 인터랙션 지시(interaction instruction)를 디스플레이 제어부(230)로 전송할 수 있다. 디스플레이 제어부(230)는 상기 인터랙션 지시에 따라 디스플레이부(300)를 제어하여 스크린 상에 해당하는 인터랙션을 표시할 수 있다. 예를 들어, 디스플레이부(300)를 제어하여 포인터가 이동된 화면, 디스플레이 아이템이 이동된 화면, 및 버튼이 터치된 화면 등을 표시할 수 있다.When the interaction determining unit 220 determines an interaction performed by the user, the interaction determining unit 220 can transmit a corresponding interaction instruction to the display control unit 230. [ The display control unit 230 may display the corresponding interaction on the screen by controlling the display unit 300 according to the interaction instruction. For example, the display unit 300 may be controlled to display a screen on which the pointer is moved, a screen on which the display item is moved, a screen on which the button is touched, and the like.

이하에서, 도 4를 참조하여 일 실시예에 따른 HCI 방법을 구체적으로 설명한다. Hereinafter, the HCI method according to one embodiment will be described in detail with reference to FIG.

도4에 도시된 바와 같이, 단계(S410)에서, 영상 획득부(image acquisition unit)(100)는 영상 데이터를 획득할 수 있다. As shown in FIG. 4, in step S410, the image acquisition unit 100 may acquire image data.

이어서, 단계(S420)에서 HCI 처리부(200)는, 영상 획득부(100)에 의하여 획득된 영상 데이터로부터 사용자의 다양한 포즈 및 동작을 분석할 수 있다. 또한, HCI 처리부(200)는 인터랙션 시작 여부 및 사용자가 진행하고자 하는 인터랙션을 결정할 수 있다. 예를 들어, HCI 처리부(200)는 영상 데이터로부터 사용자의 시선 방향 및 신체 각 부위의 동작 및 포즈를 검출 및 식별하여 사용자가 진행하고자 하는 인터랙션을 결정할 수 있다. 일 실시예를 따르면, HCI 처리부(200)는 검출된 시선 방향 및 사용자가 가리키는 방향에 따라 인터랙션 시작 여부를 결정할 수 있다. 예를 들어, HCI 처리부(200)에 의하여, 영상 데이터에 검출된 사용자의 시선 방향 및 사용자의 손의 방향이 모두 디스플레이부(300)의 스크린에 표시된 어느 디스플레이 아이템을 가리키는 방향이고, 미리 설정된 시간이 초과된 것이 확인되면, HCI 처리부(200)는 인터랙션을 시작하고 사용자의 지속된 동작 및 포즈에 따라 디스플레이 아이템에 대한 인터랙션을 결정한다.Then, in step S420, the HCI processing unit 200 can analyze various pose and operation of the user from the image data obtained by the image obtaining unit 100. [ In addition, the HCI processing unit 200 can determine whether to start the interaction and the interaction that the user wants to proceed. For example, the HCI processing unit 200 may detect and identify an operation and a pose of the user's gaze direction and body parts from the image data to determine the interaction that the user intends to proceed. According to one embodiment, the HCI processing unit 200 can determine whether to start an interaction according to the detected line of sight and the direction indicated by the user. For example, if the HCI processing unit 200 determines that the direction of the user's gaze detected by the image data and the direction of the user's hand all indicate the display item displayed on the screen of the display unit 300, If it is confirmed that the hint is exceeded, the HCI processing unit 200 starts the interaction and determines the interaction with the display item according to the user's continuous operation and pose.

이어서, 단계(S430)에서, 결정된 인터랙션에 따라, 디스플레이부(300)를 제어하여 대응하는 스크린을 표시하거나 스크린을 업데이트한다. 예를 들어, HCI 처리부(200)는 사용자의 손이 가리키는 방향에 따라 사용자가 포인터를 이동하고자 하는 위치를 결정할 수 있다. 그러면, 상기 결정된 인터랙션에 따라, 디스플레이부(300)는 스크린 상에 사용자가 포인터를 이동하고자 하는 위치로 상기 포인터를 이동하여 표시한다. 또한, HCI 처리부(200)는 사용자의 손이 가리키는 방향에 따라 디스플레이 아이템에 대한 이동을 결정할 수 있다. 그러면, 상기 결정된 인터랙션에 따라, 디스플레이부(300)는 스크린 상에 상기 디스플레이 아이템을 이동하여 표시한다. 또한, HCI 처리부(200)는 사용자의 손의 동작(gesture)에 따라 디스플레이 아이템에 대한 터치를 결정할 수 있다. 그러면, 상기 결정된 인터랙션에 따라, 디스플레이부(300)는 스크린 상에 상기 디스플레이 아이템이 터치된 것으로 표시한다. 또한, HCI 처리부(200)는 사용자의 손의 동작(gesture)에 따라 디스플레이 아이템에 대한 더블 터치를 결정할 수 있다. 그러면, 상기 결정된 인터랙션에 따라, 디스플레이부(300)는 스크린 상에 상기 디스플레이 아이템이 더블 터치된 것으로 표시한다.Then, in step S430, in accordance with the determined interaction, the display unit 300 is controlled to display the corresponding screen or update the screen. For example, the HCI processing unit 200 can determine a position at which the user desires to move the pointer according to the direction indicated by the user's hand. Then, according to the determined interaction, the display unit 300 moves the pointer to a position where the user wants to move the pointer on the screen and displays the pointer. In addition, the HCI processing unit 200 can determine the movement of the display item according to the direction indicated by the user's hand. Then, according to the determined interaction, the display unit 300 moves and displays the display item on the screen. In addition, the HCI processing unit 200 can determine a touch on the display item according to a gesture of the user's hand. Then, according to the determined interaction, the display unit 300 displays the display item as being touched on the screen. In addition, the HCI processing unit 200 can determine a double-touch on the display item according to the gesture of the user's hand. Then, according to the determined interaction, the display unit 300 displays the display item as a double-touch on the screen.

단계(S420)에서, 인터랙션을 수행하는 동안, HCI 처리부(200)는 사용자의 가리키는 방향 및 시선 방향이 모두 디스플레이 아이템에서 떠난 것을 확인하면, 사용자가 디스플레이 아이템에 대한 인터랙션을 정지하고자 하는 것으로 결정할 수 있다. 여기서, 사용자의 다른 동작 및 포즈를 통하여, 사용자가 인터랙션을 정지하고자 하는 것으로 결정할 수도 있다. 예를 들어, 사용자의 특정한 동작(예를 들어, 주먹을 움켜쥐는 동작)에 따라 인터랙션을 정지시킬 수 있다.In step S420, while performing the interaction, the HCI processing unit 200 can determine that the user intends to stop the interaction with the display item, by confirming that the direction pointed by the user and the direction of the visual axis have all left the display item . Here, through another operation and pose of the user, it may be determined that the user intends to stop the interaction. For example, the interaction can be stopped according to a user ' s specific action (e.g., a fist clenching action).

이하에서는, 도 5 내지 도 7을 참조하여 일 실시예에 따른 HCI 방법을 이용하여 각종 인터랙션을 수행하는 방법을 설명한다.Hereinafter, a method of performing various interactions using the HCI method according to an embodiment will be described with reference to FIG. 5 to FIG.

도 5는 일 실시예에 따른 HCI 방법을 이용하여 메뉴 조작을 수행하는 방법을 도시하는 흐름도이다.5 is a flowchart illustrating a method of performing a menu operation using the HCI method according to an exemplary embodiment.

도 5에 도시된 실시예에서, 미리 설정된 메뉴가 디스플레이부(300)에 표시되고, 사용자가 인터랙션을 수행하기 위한 복수의 아이템이 포함되는 것으로 가정(assume)된다.In the embodiment shown in FIG. 5, a preset menu is displayed on the display unit 300, and it is assumed that the user includes a plurality of items for performing the interaction.

단계(S510)에서, 영상 데이터로부터 검출된 신체의 포즈에서 사용자의 손이 가리키는 방향 및 시선 방향이 모두 스크린 상의 특정한 메뉴를 가리키는 방향인 것이 결정되면, HCI 처리부(200)는 메뉴에 대한 인터랙션을 시작한다.If it is determined in step S510 that the direction of the user's hand and the direction of the line of sight indicated by the user's hand in the pose of the body detected from the image data are all the directions indicating a specific menu on the screen, the HCI processing unit 200 starts the interaction with the menu do.

이어서, 단계(S520)에서, 사용자의 손 동작에 대해 경로(track) 및 속도를 추적하여 사용자의 손의 동작(gesture)을 결정하고, 상기 손의 동작에 따라 사용자가 진행하고자 하는 인터랙션을 결정할 수 있다. 예를 들어, 사용자의 손의 동작에 따라 마우스에 대한 인터랙션을 시뮬레이션(simulate)할 수 있다. 사용자가 집게 손가락을 사용하여 클릭하면 손가락이 가리키는 메뉴의 특정 아이템을 선택할 수 있다. 사용자가 가운데 손가락을 사용하여 클릭하면, 마우스의 우측 버튼에 대응하는 콘텐츠를 표시할 수 있다. 예를 들어, 상기 아이템에 대응하는 추가 메뉴를 표시할 수 있다.Next, in step S520, a track and a velocity of the user's hand motion are tracked to determine a gesture of the user's hand, and the user can determine the interaction to be performed according to the motion of the hand have. For example, the interaction with the mouse can be simulated according to the motion of the user's hand. When the user clicks with the index finger, the user can select a particular item of the menu the finger is pointing to. When the user clicks using the middle finger, the content corresponding to the right button of the mouse can be displayed. For example, an additional menu corresponding to the item may be displayed.

이어서, 단계(S530)에서, 디스플레이부(300)를 제어하여 결정된 인터랙션에 대응하는 메뉴를 표시 또는 업데이트한다.Then, in step S530, the display unit 300 is controlled to display or update the menu corresponding to the determined interaction.

도 6은 일 실시예에 따른 HCI 방법을 이용하여 3D 디스플레이 아이템에 대하여 인터랙션을 수행하는 방법을 도시하는 흐름도이다. 여기서 디스플레이부(300)는 3D 콘텐츠를 표시할 수 있는 디스플레이부를 포함할 수 있다.6 is a flowchart illustrating a method of performing an interaction with a 3D display item using an HCI method according to an exemplary embodiment. Here, the display unit 300 may include a display unit capable of displaying 3D contents.

우선, 단계(S610)에서, 영상 데이터로부터 검출된 신체의 포즈에서 사용자의 손이 가리키는 방향 및 시선 방향이 모두 스크린 상의 특정한 3D 디스플레이 아이템을 가리키는 방향인 것으로 결정되면, 3D 디스플레이 아이템에 대한 인터랙션을 시작한다.First, in step S610, if it is determined that the direction and eye direction indicated by the user's hand in the pose of the detected body from the image data are all the directions indicating the specific 3D display item on the screen, the interaction with the 3D display item is started do.

이어서, 단계(S620)에서, 사용자의 손의 동작에 대해 경로(track) 및 속도를 추적하여 사용자의 손의 동작을 결정할 수 있다. 상기 손의 동작에 따라 사용자가 진행하고자 하는 인터랙션이 결정될 수 있다. 예를 들어, 손이 가리키는 방향과 시선 방향의 교차점에 대응하는 3D 디스플레이 아이템을 픽업하고, 손의 이동에 따라 3D 디스플레이 아이템을 이동시킬 수 있다. 또한 손의 동작에 따라 선택된 3D 디스플레이 아이템을 이동, 확대, 또는 축소할 수 있다.Subsequently, in step S620, the operation of the user's hand can be determined by tracking the track and the speed with respect to the motion of the user's hand. The interaction desired by the user can be determined according to the motion of the hand. For example, it is possible to pick up a 3D display item corresponding to the intersection of the direction pointed by the hand and the direction of the line of sight, and move the 3D display item according to the movement of the hand. In addition, the selected 3D display item can be moved, enlarged or reduced according to the motion of the hand.

마지막으로, 단계(S630)에서, 디스플레이부(300)를 제어하여 결정된 인터랙션에 따라 인터랙션 후의 3D 디스플레이 아이템을 다시 렌더링(rendering)할 수 있다. Finally, in step S630, the display unit 300 may be controlled to render the 3D display item after the interaction according to the determined interaction.

도 7은 일 실시예에 따른 HCI 방법을 이용하여 손 필기를 수행하는 방법을 도시하는 흐름도이다. 예를 들어, 디스플레이부(300)에 표시된 스크린에서 미리 설정된 영역을 손 필기 영역(hand writing area)으로 설정할 수 있다.7 is a flowchart illustrating a method of performing handwriting using the HCI method according to an embodiment. For example, a predetermined area on the screen displayed on the display unit 300 can be set as a handwriting area.

우선, 단계(S701)에서 영상 데이터로부터 검출된 신체의 포즈에서 사용자의 손이 가리키는 방향 및 시선 방향이 모두 스크린에 설정된 손 필기 영역을 가리키는 방향인 것으로 결정되면, 손 필기에 대한 인터랙션을 시작한다.First, in step S701, when it is determined that the direction indicated by the user's hand and the direction of the sight line all indicate the handwriting area set on the screen in the pose of the body detected from the image data, the interaction with the handwriting starts.

이어서, 단계(S720)에서, 사용자의 손의 동작에 대해 경로(track) 및 속도를 추적하여 사용자의 손의 이동 경로(track)에 따라 사용자가 입력하고자 하는 텍스트(text)를 결정할 수 있다. 또한 학습 기반의 식별 방식(learning based text recognizing method)에 따라 사용자가 입력하고자 하는 텍스트가 결정될 수 있다. 그 다음, HCI 처리부(200)는 상기 텍스트에 대응하는 인터랙션 지시를 해석(interpret)할 수 있다.Then, in step S720, a track and a speed of the motion of the user's hand are tracked to determine a text to be input by the user according to a track of the user's hand. In addition, the text to be input by the user can be determined according to a learning based text recognizing method. Then, the HCI processing unit 200 can interpret the interaction instruction corresponding to the text.

마지막으로, 단계(S730)에서, HCI 처리부(200)는 디스플레이부(300)를 제어하여 상기 인터랙션 지시가 수행된 결과를 스크린에 표시할 수 있다.Finally, in step S730, the HCI processing unit 200 controls the display unit 300 to display the result of the interaction instruction on the screen.

상기의 실시예에서 시선 방향 및 손이 가리키는 방향에 따라 인터랙션을 시작하였는지, 인터랙션을 종료하였는지, 및/또는 지속적인 인터랙션인지를 결정하였다. 그러나, 실시예는 이에 한정된 것이 아니라, 다른 동작을 검출하고, 검출된 동작 또는 동작들의 조합에 따라 인터랙션을 시작하였는지, 인터랙션을 종료하였는지, 및/또는 지속적인 인터랙션인지를 결정할 수 있다.In the above embodiment, it was determined whether the interaction started, the interaction ended, and / or the continuous interaction according to the gaze direction and the direction pointed by the hand. However, the embodiment is not so limited, but may detect other actions and determine whether interaction has been initiated, terminated, and / or continuous interaction based on the detected action or combination of actions.

실시예에 따르면, 다양한 동작을 검출하는 방법을 이용하여 HCI를 수행할 수 있으며, 추가적인 입력 장치(예, 터치 스크린 입력 장치)가 불필요하다. 또한, HCI를 식별함에 있어서 모호성을 방지하고 HCI의 정확성을 향상시킬 수 있다. 예를 들어, 터치 스크린 입력 장치를 사용하지 않아도 디스플레이 아이템을 확대 및 축소하는 인터랙션을 실현할 수 있다. 따라서, 컴퓨터 시각 기술의 동작 검출 방식을 이용하여 사용자에게 더욱 만족스러운 인터랙션 체험을 제공할 수 있다.According to the embodiment, HCI can be performed using a method of detecting various operations, and no additional input device (e.g., a touch screen input device) is required. In addition, it is possible to prevent ambiguity in identifying the HCI and improve the accuracy of the HCI. For example, it is possible to realize an interaction for enlarging and reducing a display item without using a touch-screen input device. Therefore, a more satisfactory interaction experience can be provided to the user by using the motion detection method of the computer vision technology.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (16)

영상 데이터를 획득하는 영상 획득부;
상기 영상 데이터로부터 사용자의 머리의 피치 방향 및 편향 방향을 검출함으로써 상기 영상 데이터로부터 상기 사용자의 시선 방향을 검출하는 시선 캐치부; 및
상기 시선 캐치부가 검출한 상기 사용자의 시선 방향에 따라 인터랙션의 시작 및 종료 중 적어도 하나를 결정하는 인터랙션 결정부
를 포함하는 HCI 시스템.An image acquiring unit acquiring image data;
A line-of-sight catcher for detecting a line-of-sight direction of the user from the image data by detecting a pitch direction and a deflection direction of a user's head from the image data; And
And an interaction determining unit for determining at least one of an interaction start and an ending in accordance with a viewing direction of the user detected by the eye catching unit
/ RTI > 제1항에 있어서,
상기 영상 데이터에서 상기 사용자의 신체의 포즈 및 동작을 추적하고 식별하는 포즈 추적부
을 더 포함하는 HCI 시스템.The method according to claim 1,
A pose tracking unit for tracking and identifying the pose and operation of the user's body in the image data;
The HCI system further comprising: 제2항에 있어서,
상기 포즈 추적부는,
상기 영상 데이터에서 상기 사용자의 손 노드를 추적 및 검출하여 상기 사용자의 손의 동작을 결정하고,
상기 사용자의 신체 스켈레톤 노드를 검출하여 상기 사용자의 신체의 포즈 및 동작을 결정하는
HCI 시스템.3. The method of claim 2,
The pose-
Determining an operation of the user's hand by tracking and detecting the user's hand node in the image data,
A body skeleton node of the user is detected to determine a pose and an operation of the user's body
HCI system. 제2항에 있어서,
상기 포즈 추적부는,
상기 사용자가 상기 영상 획득부로부터 미리 결정된 거리 이내에 있으면, 상기 사용자의 손가락의 동작을 추적 및 식별함으로써 상기 사용자의 동작을 식별하고,
상기 사용자가 상기 영상 획득부에서 상기 미리 결정된 거리보다 떨어져 있으면, 상기 사용자의 팔의 동작을 추적 및 식별하는
HCI 시스템.3. The method of claim 2,
The pose-
Identifying an operation of the user by tracking and identifying an operation of the user's finger when the user is within a predetermined distance from the image acquisition unit,
And tracking and identifying an operation of the user's arm if the user is away from the predetermined distance in the image acquisition unit
HCI system. 제3항에 있어서,
상기 인터랙션 결정부는,
상기 사용자의 상기 신체의 포즈 및 동작에 따라, 상기 사용자가 진행하고자 하는 인터랙션을 결정하는
을 더 포함하는 HCI 시스템.The method of claim 3,
The interaction determination unit may determine,
According to the pose and operation of the body of the user, an interaction to be performed by the user is determined
The HCI system further comprising: 제5항에 있어서,
상기 인터랙션 결정부는,
상기 시선 캐치부가 검출한 상기 사용자의 시선 방향 및 상기 포즈 추적부가 검출한 상기 사용자의 손의 동작에 따라 상기 인터랙션의 시작 여부를 결정하는
HCI 시스템.6. The method of claim 5,
The interaction determination unit may determine,
Whether or not the interaction is started is determined according to the gaze direction of the user detected by the gaze catch section and the operation of the hand of the user detected by the pose tracking section
HCI system. 제3항에 있어서,
상기 인터랙션의 결과에 대응하여 스크린에 표시하는 디스플레이부
을 더 포함하고,
상기 인터랙션 결정부는,
상기 사용자의 시선 방향 및 상기 사용자의 손의 방향이 모두 상기 스크린에 표시된 디스플레이 아이템을 가리키는 방향이고, 미리 설정된 시간이 초과되면, 상기 디스플레이 아이템에 대하여 미리 결정된 인터랙션을 시작하는
HCI 시스템.The method of claim 3,
A display unit for displaying on the screen in response to the result of the interaction,
Further comprising:
The interaction determination unit may determine,
The direction of the user's gaze direction and the direction of the hand of the user all point in the direction of the display item displayed on the screen, and when a predetermined time is exceeded, a predetermined interaction with respect to the display item is started
HCI system. 제7항에 있어서,
상기 인터랙션 결정부는,
상기 사용자의 시선 방향 및 상기 사용자의 손의 방향이 모두 상기 디스플레이 아이템을 가리키는 방향이 아니면, 상기 디스플레이 아이템에 대한 인터랙션을 정지시키는
HCI 시스템.8. The method of claim 7,
The interaction determination unit may determine,
If the direction of the user's gaze and the direction of the user's hand are not all points in the direction of the display item,
HCI system. 제1항에 있어서,
사용자가 정의한 포즈에 대응하는 인터랙션 지시를 등록하는 사용자 정의 포즈 등록부
를 더 포함하는 HCI 시스템. The method according to claim 1,
A user-defined pose registration unit for registering an interaction instruction corresponding to a pose defined by a user
The HCI system further comprising: 영상 데이터를 획득하는 단계;
상기 사용자가 상기 영상 데이터를 획득하는 영상 획득부로부터 미리 결정된 거리 이내에 있으면, 상기 사용자의 손가락의 동작을 추적 및 식별함으로써 상기 사용자의 동작을 검출하는 단계; 및
상기 사용자가 상기 영상 획득부에서 상기 미리 결정된 거리보다 떨어져 있으면, 상기 사용자의 팔의 동작을 추적 및 식별함으로써 상기 사용자의 동작을 검출하는 단계
를 포함하는 인간 컴퓨터 인터랙션 방법.Acquiring image data;
Detecting an operation of the user by tracking and identifying an operation of the user's finger when the user is within a predetermined distance from the image obtaining unit obtaining the image data; And
Detecting an operation of the user by tracking and identifying an operation of the user's arm if the user is away from the predetermined distance in the image acquisition unit
Gt; a human computer interaction method. 제10항에 있어서,
상기 검출한 상기 사용자의 동작에 따라 인터랙션의 시작 및 종료 중 적어도 하나를 결정하는 단계
를 더 포함하는 인간 컴퓨터 인터랙션 방법.11. The method of claim 10,
Determining at least one of starting and ending an interaction according to the detected operation of the user
Further comprising the steps of: 제10항에 있어서,
상기 사용자의 시선 방향 및 상기 사용자의 손의 방향이 모두 상기 스크린에 표시된 디스플레이 아이템을 가리키는 방향이고, 미리 설정된 시간이 초과되면, 상기 디스플레이 아이템에 대하여 미리 결정된 인터랙션을 시작하는 단계
를 더 포함하는 인간 컴퓨터 인터랙션 방법.11. The method of claim 10,
Starting the predetermined interaction with respect to the display item if the direction of the user's gaze direction and the direction of the user's hand are both in a direction indicating the display item displayed on the screen,
Further comprising the steps of: 제12항에 있어서,
상기 사용자의 시선 방향 및 상기 사용자의 손의 방향이 모두 상기 디스플레이 아이템을 가리키는 방향이 아니면, 상기 디스플레이 아이템에 대한 인터랙션을 종료(stop)시키는 단계
를 더 포함하는 인간 컴퓨터 인터랙션 방법.13. The method of claim 12,
Stopping the interaction with the display item if the direction of the user's gaze and the direction of the user's hand are not all points in the direction of the display item
Further comprising the steps of: 제10항에 있어서,
상기 영상 데이터로부터 사용자의 머리의 피치 방향 및 편향 방향을 검출함으로써 상기 영상 데이터로부터 상기 사용자의 시선 방향을 검출하는 단계; 및
상기 검출한 상기 사용자의 상기 시선 방향 및 상기 검출한 상기 사용자의 상기 동작에 따라 인터랙션의 시작 및 종료 중 적어도 하나를 결정하는 단계
를 더 포함하는 인간 컴퓨터 인터랙션 방법.11. The method of claim 10,
Detecting a direction of a user's gaze from the image data by detecting a pitch direction and a deflection direction of a user's head from the image data; And
Determining at least one of starting and ending an interaction in accordance with the gaze direction of the detected user and the detected operation of the user
Further comprising the steps of: 제10항에 있어서,
상기 사용자가 정의한 포즈에 대응하는 인터랙션 지시를 등록하는 단계; 및
상기 사용자가 정의한 상기 포즈의 재현성 및 모호성에 관한 정보를 상기 사용자에게 제공하는 단계
를 더 포함하는 인간 컴퓨터 인터랙션 방법.11. The method of claim 10,
Registering an interaction instruction corresponding to the pose defined by the user; And
Providing information about the reproducibility and ambiguity of the pose defined by the user to the user
Further comprising the steps of: 제10항 내지 제15항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록매체.16. A computer-readable recording medium recording a program for performing the method of any one of claims 10 to 15.
KR1020130050237A 2012-11-07 2013-05-03 System and method for human computer interaction KR102110811B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/071,180 US9684372B2 (en) 2012-11-07 2013-11-04 System and method for human computer interaction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210440197.1 2012-11-07
CN201210440197.1A CN103809733B (en) 2012-11-07 2012-11-07 Man-machine interactive system and method

Publications (2)

Publication Number Publication Date
KR20140059109A true KR20140059109A (en) 2014-05-15
KR102110811B1 KR102110811B1 (en) 2020-05-15

Family

ID=50706630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130050237A KR102110811B1 (en) 2012-11-07 2013-05-03 System and method for human computer interaction

Country Status (2)

Country Link
KR (1) KR102110811B1 (en)
CN (2) CN108845668B (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104740869A (en) * 2015-03-26 2015-07-01 北京小小牛创意科技有限公司 True environment integrated and virtuality and reality combined interaction method and system
KR20200037725A (en) * 2018-10-01 2020-04-09 도요타지도샤가부시키가이샤 Device control apparatus
WO2021187701A1 (en) * 2020-03-19 2021-09-23 주식회사 메이아이 Method and system for estimating interaction information between person and product on basis of image, and non-transitory computer-readable recording medium
KR20220023681A (en) * 2020-08-21 2022-03-02 김덕규 System for interaction with object of content

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030093065A (en) * 2002-05-31 2003-12-06 주식회사 유니온금속 Heat Exchanger using Fin Plate having plural burring tubes and Method for manufacturing the same
CN104391578B (en) * 2014-12-05 2018-08-17 重庆蓝岸通讯技术有限公司 A kind of real-time gesture control method of 3-dimensional image
CN105005779A (en) * 2015-08-25 2015-10-28 湖北文理学院 Face verification anti-counterfeit recognition method and system thereof based on interactive action
CN105740948B (en) * 2016-02-04 2019-05-21 北京光年无限科技有限公司 A kind of exchange method and device towards intelligent robot
CN105759973A (en) * 2016-03-09 2016-07-13 电子科技大学 Far-near distance man-machine interactive system based on 3D sight estimation and far-near distance man-machine interactive method based on 3D sight estimation
CN108076365B (en) * 2017-02-22 2019-12-31 解波 Human body posture recognition device
CN109426498B (en) * 2017-08-24 2023-11-17 北京迪文科技有限公司 Background development method and device for man-machine interaction system
CN107678545A (en) * 2017-09-26 2018-02-09 深圳市维冠视界科技股份有限公司 A kind of information interactive terminal and method
CN107944376A (en) * 2017-11-20 2018-04-20 北京奇虎科技有限公司 The recognition methods of video data real-time attitude and device, computing device
CN107895161B (en) * 2017-12-22 2020-12-11 北京奇虎科技有限公司 Real-time attitude identification method and device based on video data and computing equipment
CN110442243A (en) * 2019-08-14 2019-11-12 深圳市智微智能软件开发有限公司 A kind of man-machine interaction method and system
WO2021097600A1 (en) * 2019-11-18 2021-05-27 华为技术有限公司 Inter-air interaction method and apparatus, and device
CN112051746B (en) * 2020-08-05 2023-02-07 华为技术有限公司 Method and device for acquiring service
CN112099623A (en) * 2020-08-20 2020-12-18 昆山火灵网络科技有限公司 Man-machine interaction system and method
US11693482B2 (en) * 2021-05-28 2023-07-04 Huawei Technologies Co., Ltd. Systems and methods for controlling virtual widgets in a gesture-controlled device
CN113849065A (en) * 2021-09-17 2021-12-28 支付宝(杭州)信息技术有限公司 Method and device for triggering client operation instruction by using body-building action
US20230168736A1 (en) * 2021-11-29 2023-06-01 Sony Interactive Entertainment LLC Input prediction for pre-loading of rendering data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040097477A (en) * 2003-05-12 2004-11-18 한국과학기술원 Head mounted computer interfacing device and method using eye-gaze direction
US20110193939A1 (en) * 2010-02-09 2011-08-11 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
WO2012107892A2 (en) * 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
WO2012144666A1 (en) * 2011-04-19 2012-10-26 Lg Electronics Inc. Display device and control method therof

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259989A (en) * 2001-03-02 2002-09-13 Gifu Prefecture Pointing gesture detecting method and its device
CN1293446C (en) * 2005-06-02 2007-01-03 北京中星微电子有限公司 Non-contact type visual control operation system and method
JP5207513B2 (en) * 2007-08-02 2013-06-12 公立大学法人首都大学東京 Control device operation gesture recognition device, control device operation gesture recognition system, and control device operation gesture recognition program
CN101344816B (en) * 2008-08-15 2010-08-11 华南理工大学 Human-machine interaction method and device based on sight tracing and gesture discriminating
JP5483899B2 (en) * 2009-02-19 2014-05-07 株式会社ソニー・コンピュータエンタテインメント Information processing apparatus and information processing method
KR101596890B1 (en) * 2009-07-29 2016-03-07 삼성전자주식회사 Apparatus and method for navigation digital object using gaze information of user
US8418237B2 (en) * 2009-10-20 2013-04-09 Microsoft Corporation Resource access based on multiple credentials
US9244533B2 (en) * 2009-12-17 2016-01-26 Microsoft Technology Licensing, Llc Camera navigation for presentations
CN102270035A (en) * 2010-06-04 2011-12-07 三星电子株式会社 Apparatus and method for selecting and operating object in non-touch mode
JP2012098771A (en) * 2010-10-29 2012-05-24 Sony Corp Image forming apparatus and image forming method, and program
US20130154913A1 (en) * 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US20120257035A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
CN202142050U (en) * 2011-06-29 2012-02-08 由田新技股份有限公司 Interactive customer reception system
US9201500B2 (en) * 2012-09-28 2015-12-01 Intel Corporation Multi-modal touch screen emulator

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040097477A (en) * 2003-05-12 2004-11-18 한국과학기술원 Head mounted computer interfacing device and method using eye-gaze direction
US20110193939A1 (en) * 2010-02-09 2011-08-11 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
WO2012107892A2 (en) * 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
WO2012144666A1 (en) * 2011-04-19 2012-10-26 Lg Electronics Inc. Display device and control method therof

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104740869A (en) * 2015-03-26 2015-07-01 北京小小牛创意科技有限公司 True environment integrated and virtuality and reality combined interaction method and system
CN104740869B (en) * 2015-03-26 2018-04-03 北京小小牛创意科技有限公司 The exchange method and system that a kind of actual situation for merging true environment combines
KR20200037725A (en) * 2018-10-01 2020-04-09 도요타지도샤가부시키가이샤 Device control apparatus
US11023786B2 (en) 2018-10-01 2021-06-01 Toyota Jidosha Kabushiki Kaisha Device control apparatus
WO2021187701A1 (en) * 2020-03-19 2021-09-23 주식회사 메이아이 Method and system for estimating interaction information between person and product on basis of image, and non-transitory computer-readable recording medium
KR20220023681A (en) * 2020-08-21 2022-03-02 김덕규 System for interaction with object of content
KR20230054806A (en) * 2020-08-21 2023-04-25 김덕규 Beam projector for interacting with content

Also Published As

Publication number Publication date
CN103809733B (en) 2018-07-20
CN103809733A (en) 2014-05-21
KR102110811B1 (en) 2020-05-15
CN108845668B (en) 2022-06-03
CN108845668A (en) 2018-11-20

Similar Documents

Publication Publication Date Title
KR102110811B1 (en) System and method for human computer interaction
US9684372B2 (en) System and method for human computer interaction
US10511778B2 (en) Method and apparatus for push interaction
US10048763B2 (en) Distance scalable no touch computing
KR101809636B1 (en) Remote control of computer devices
US8166421B2 (en) Three-dimensional user interface
CN107665042B (en) Enhanced virtual touchpad and touchscreen
EP3527121B1 (en) Gesture detection in a 3d mapping environment
US9122311B2 (en) Visual feedback for tactile and non-tactile user interfaces
US8457353B2 (en) Gestures and gesture modifiers for manipulating a user-interface
US9128526B2 (en) Operation control device, operation control method, and computer-readable recording medium for distinguishing an intended motion for gesture control
JP4323180B2 (en) Interface method, apparatus, and program using self-image display
US20120202569A1 (en) Three-Dimensional User Interface for Game Applications
US20120204133A1 (en) Gesture-Based User Interface
US20110254765A1 (en) Remote text input using handwriting
US20110304632A1 (en) Interacting with user interface via avatar
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
KR20160063163A (en) Method and apparatus for recognizing touch gesture
WO2017000917A1 (en) Positioning method and apparatus for motion-stimulation button
JP6834197B2 (en) Information processing equipment, display system, program
KR101374316B1 (en) Apparatus for recognizing gesture by using see-through display and Method thereof
Caputo Gestural interaction in virtual environments: User studies and applications
Fan Practical ad hoc tangible interactions in augmented reality
WO2021075103A1 (en) Information processing device, information processing method, and program
WO2017096802A1 (en) Gesture-based operating component control method and device, computer program, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right