KR19990046909A - Computer window control device using hand gesture and method thereof - Google Patents

Computer window control device using hand gesture and method thereof Download PDF

Info

Publication number
KR19990046909A
KR19990046909A KR1019970065068A KR19970065068A KR19990046909A KR 19990046909 A KR19990046909 A KR 19990046909A KR 1019970065068 A KR1019970065068 A KR 1019970065068A KR 19970065068 A KR19970065068 A KR 19970065068A KR 19990046909 A KR19990046909 A KR 19990046909A
Authority
KR
South Korea
Prior art keywords
hand
input
computer
hand gesture
gesture
Prior art date
Application number
KR1019970065068A
Other languages
Korean (ko)
Inventor
윤호섭
전병태
배창석
민병우
소정
Original Assignee
정선종
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정선종, 한국전자통신연구원 filed Critical 정선종
Priority to KR1019970065068A priority Critical patent/KR19990046909A/en
Publication of KR19990046909A publication Critical patent/KR19990046909A/en

Links

Abstract

본 발명은 시각적으로 입력되는 손동작의 영상을 이용하여 컴퓨터 윈도우를 제어하는 장치 및 그 방법에 관한 것으로서, 하나의 CCD 카메라에 의해 입력된 영상에서 손동작의 부분을 구분하여 이의 움직임을 해석하고, 그 결과로 컴퓨터 상의 윈도우를 제어하는 장치 및 그 방법을 제공함으로써, 사용자가 의도하는 바를 컴퓨터에 전달하고, 컴퓨터는 이에 의해 사용자가 원하는 정보를 출력하여, 컴퓨터와 사람 사이의 의사 전달 체계가 사람과 사람 사이의 의사 전달과 동일한 수준으로 이루어지도록 하는 시스템을 구현할 수 있는 효과가 있다.The present invention relates to an apparatus and method for controlling a computer window using an image of a hand gesture visually inputted, and to classify a portion of the hand gesture in an image inputted by one CCD camera, thereby analyzing the movement of the hand gesture. By providing a device for controlling a window on a computer and a method thereof, the computer communicates what the user intends to the computer, thereby outputting the information desired by the user, so that the communication system between the computer and the person is It is effective to implement a system that achieves the same level of communication.

Description

손동작을 이용한 컴퓨터 윈도우 제어 장치 및 그 방법Computer window control device using hand gesture and method thereof

본 발명은 손동작을 이용하여 컴퓨터 윈도우를 제어하는 장치 및 그 방법에 관한 것으로서, 특히, 키보드나 마우스를 사용하지 않고, 영상 입력 카메라를 통하여 시각적으로 입력되는 손동작의 영상을 입력하고 해석하여 그 결과로 컴퓨터 윈도우의 제어 및 명령을 수행시키는 제어 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for controlling a computer window by using a hand gesture, and more particularly, to input and interpret an image of a hand gesture visually input through an image input camera without using a keyboard or a mouse. A control device and method for performing control and commands of a computer window.

사람과 컴퓨터와의 정보 수수 메커니즘에 있어서, 사람은 필수적인 한 부분이며 모니터링, 제어 의사 결정의 중심적인 역할을 한다. 그러므로, 사람의 의도 및 기술(skill)을 지능 시스템에 입력하는 사람 행위의 모델링, 즉, 사람의 의도를 자연스럽게 알아내어 이를 입력 정보로서 활용하는 것이 컴퓨터 시스템, 로보트 제어, 자동 운반 기구 등에 사용되어 왔다. 따라서, 사람과 행위를 수행하는 기구가 매우 자연스런 환경에서 같이 일하는 협조적인 환경을 만들고, 이러한 일의 반복적인 방법으로 일의 질을 향상시키기 위해 많은 연구와 노력을 기울이고 있다.In the mechanism of information delivery between people and computers, people are an integral part and play a central role in monitoring and control decisions. Therefore, modeling of human behavior that inputs human intentions and skills into an intelligent system, that is, naturally discovering human intentions and using them as input information, has been used in computer systems, robot controls, automatic transport equipment, and the like. . Therefore, a great deal of research and effort has been made to create a collaborative environment in which people and bodies of conduct work together in a very natural environment and improve the quality of work in a repetitive way of doing this.

종래에는 컴퓨터에 정보를 입력하기 위해, 정보 입력의 일괄처리 방식에서, 키보드에 의한 입력 방법, 그리고 마우스나 스타일러스(stylus) 펜 등을 이용하는 방법으로 발전하여 왔다. 그러나 상기와 같은 입력에 의한 윈도우 제어 장치 및 방법은 자동 기기의 활용을 사람-기계의 접속 방식에서 접속 방식의 최종 목표로 간주되는 사람-사람의 접속 수준이 될 수 없으며, 사람이 컴퓨터를 좀 더 편리하고 자연스럽게 활용할 수 없는 문제점이 있다.Background Art Conventionally, in order to input information into a computer, it has been developed from a batch processing method of information input to an input method using a keyboard and a method using a mouse, a stylus pen, or the like. However, the window control apparatus and method by the above input cannot be the level of connection of person-to-person, in which the utilization of the automatic device is regarded as the final goal of the connection method in the connection method of the person-machine, and the person can access the computer more. There is a problem that can not be conveniently and naturally utilized.

상기 문제점을 해결하기 위해 본 발명은, 하나의 CCD 카메라에 의해 입력된 영상에서 손동작의 부분을 구분하여 이의 움직임을 해석하고, 그 결과로 컴퓨터 상의 윈도우를 제어하는 방식에 의해 사용자가 의도하는 바를 컴퓨터에 전달하고, 컴퓨터는 이에 의해 사용자가 원하는 정보를 출력함으로써 컴퓨터와 사람 사이의 의사 전달 체계가 사람과 사람 사이의 의사 전달과 동일한 수준으로 이루어지도록 하는 시스템을 구현하는데 그 목적이 있다.In order to solve the above problems, the present invention distinguishes a part of a hand gesture from an image input by one CCD camera, interprets its movement, and as a result, the user intends to control the window on the computer. And a computer thereby outputting the information desired by the user, so that the computer-to-person communication system can be made at the same level as the communication between the person and the person.

도 1 은 본 발명에 따른 컴퓨터 윈도우 제어 장치 구성도,1 is a block diagram of a computer window control apparatus according to the present invention;

도 2 는 본 발명에 따른 컴퓨터 윈도우 제어 흐름도,2 is a computer window control flowchart according to the present invention;

도 3 은 도 2 의 시간 흐름에 따른 상세 처리 흐름도,3 is a detailed processing flowchart according to the time flow of FIG. 2;

도 4 는 도 2 의 주 메뉴 출력을 위한 손동작 이동 궤도 생성도,4 is a hand gesture movement trajectory generation for the main menu output of FIG.

도 5 는 도 4 의 손동작 이동 궤도 생성을 위한 손동작 변화에 대한 방향 구분도,5 is a direction diagram for a hand gesture change for generating a hand gesture movement trajectory of FIG. 4;

도 6 은 도 4 의 손동작 궤도를 해석하기 위한 처리 흐름도.6 is a process flow diagram for analyzing the hand motion trajectory of FIG.

〈도면의 주요 부분에 대한 부호의 설명〉<Explanation of symbols for main parts of drawing>

10 : 촬영 및 입력 수단 20 : A/D 변환 수단10: photographing and input means 20: A / D conversion means

30 : 손영역 추출 수단 40 : 손동작 궤도 생성 수단30: hand region extraction means 40: hand motion trajectory generating means

50 : 손동작 궤도 해석 수단 60 : 컴퓨터 윈도우 제어 수단50: hand motion trajectory analysis means 60: computer window control means

본 발명은 손동작을 이용하여 컴퓨터 윈도우를 제어하는 장치 및 그 방법에 관한 것으로서, 특히, 키보드나 마우스를 사용하지 않고, 영상 입력 카메라를 통하여 시각적으로 입력되는 손동작의 영상을 입력하고 해석하여 그 결과로 컴퓨터 윈도우의 제어 및 명령을 수행시키는 제어 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for controlling a computer window by using a hand gesture, and more particularly, to input and interpret an image of a hand gesture visually input through an image input camera without using a keyboard or a mouse. A control device and method for performing control and commands of a computer window.

사람이 컴퓨터를 좀 더 편리하고 자연스럽게 활용하기 위한 가장 좋은 정보 수수의 방법은, 손동작과 같이 사람이 본래부터 본능적으로 지니고 있는 의사 수단을 그대로 이용하는 것이다. 그러나, 사람의 손동작은 그 표현 방식이 고정되어 있지 않으며, 고정되어 있더라도 이를 컴퓨터 상에서 해석하여 응용하는 것은 매우 어려운 일이다. 따라서, 본 발명에서는 컴퓨터나 각종 자동 기기에 영상 입력 카메라를 장착하고 이를 통하여 시각적으로 입력되는 손동작의 영상을 입력받아 해석하여 그 결과를 컴퓨터 윈도우의 제어 및 명령을 수행시킴으로서 컴퓨터 또는 자동화 기기의 사용자는 사람과의 손동작 대화와 같은 수준에서 자신이 의도하는 바를 컴퓨터에 전달하여 작업을 수행시킬 수 있는 윈도우 제어 장치 및 그 방법을 제안한다.The best way to receive information to help a person use a computer more conveniently and naturally is to use his or her own instincts, such as hand gestures. However, the human hand gestures are not fixed in their way of expression, and even if they are fixed, it is very difficult to interpret and apply them on a computer. Accordingly, in the present invention, a user of a computer or an automatic device is equipped with an image input camera on a computer or various automatic devices, and receives and interprets an image of a hand gesture visually input through the same. The present invention proposes a window control device and a method for performing a task by transmitting a user's intention to a computer at the same level as a hand-talk dialogue with a person.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail the present invention.

도 1 은 본 발명에 따른 컴퓨터 윈도우 제어 장치 구성도로서, 손동작의 영상을 아날로그 신호로 촬영하여 입력하는 촬영 및 입력 수단(10)과, 상기 촬영 및 입력 수단(10)으로부터 입력된 아날로그 영상 신호를 디지털 영상 신호로 변환하는 A/D 변환 수단(20)과, 상기 A/D 변환 수단(20)에서 변환된 디지털 영상 신호 중에서 손영역을 추출하는 손영역 추출 수단(30)과, 상기 손영역 추출 수단(30)에서 추출된 손영역들로부터 손 움직임의 궤도를 생성하는 손동작 궤도 생성 수단(40)과, 상기 손동작 궤도 생성 수단(40)에서 생성된 손동작 궤도를 해석하는 손동작 궤도 해석 수단(50)과, 상기 손동작 궤도 해석 수단(50)에서 해석된 결과에 의해 컴퓨터 윈도우를 제어하고, 명령어를 선택하여 이를 실행하는 컴퓨터 윈도우 제어 수단(60)으로 구성된다.1 is a block diagram of a computer window control apparatus according to the present invention, which captures and inputs an image of a hand gesture as an analog signal, and inputs and captures an analog image signal input from the photographing and input means 10. A / D conversion means 20 for converting into a digital image signal, hand region extraction means 30 for extracting a hand region from the digital image signal converted by the A / D conversion means 20, and the hand region extraction. Hand motion trajectory generating means 40 for generating a hand motion trajectory from the hand regions extracted by the means 30, and hand motion trajectory analyzing means 50 for analyzing the hand motion trajectory generated by the hand motion trajectory generating means 40. And computer window control means 60 for controlling the computer window by the result analyzed by the hand motion trajectory analyzing means 50, and selecting and executing a command.

상기와 같이 구성된 컴퓨터 윈도우 제어 장치의 동작을 살펴보면 다음과 같다.The operation of the computer window control apparatus configured as described above is as follows.

먼저, 촬영 및 입력 수단(10)에서 손동작의 영상을 아날로그 신호로 촬영하고 입력하면, A/D 변환 수단(20)에서 입력된 아날로그 영상 신호를 디지털 영상 신호로 변환하여 출력한다. 손영역 추출 수단(30)은 상기 A/D 변환 수단(20)에서 변환된 디지털 영상 신호 중에서 손영역을 추출하고, 손동작 궤도 생성 수단(40)이 상기 손영역 추출 수단(30)에서 추출된 손영역들로부터 손 움직임의 궤도를 생성한다. 그리고, 손동작 궤도 해석 수단(50)은 상기 손동작 궤도 생성 수단(40)에서 생성된 손동작 궤도를 해석하고, 컴퓨터 윈도우 제어 수단(60)이 최종적으로 상기 손동작 궤도 해석 수단(50)에서 해석된 결과에 의해 컴퓨터 윈도우를 제어하고, 명령어를 선택하여 이를 실행시킨다.First, when the photographing and input means 10 captures and inputs an image of a hand motion as an analog signal, the analog video signal input by the A / D conversion means 20 is converted into a digital video signal and output. The hand region extracting means 30 extracts a hand region from the digital image signal converted by the A / D converting means 20, and the hand motion trajectory generating means 40 extracts the hand region extracted from the hand region extracting means 30. Generate trajectories of hand movement from the regions. Then, the hand motion trajectory analyzing means 50 analyzes the hand motion trajectory generated by the hand motion trajectory generating means 40, and the computer window control means 60 finally depends on the result analyzed by the hand motion trajectory analyzing means 50. Control the computer window and select the command to execute it.

상기와 같은 장치에 의해 매우 간단하면서도 효과적인 사람의 행위, 즉, 손 제스처(hand gesture)를 모델링하고, 컴퓨터 윈도우 상의 명령어들을 선택하여 이를 실행시킬 수 있다.Such a device can model a very simple and effective human behavior, namely a hand gesture, and select and execute instructions on a computer window.

도 2 는 본 발명에 따른 컴퓨터 윈도우 제어 흐름도이다.2 is a computer window control flow diagram in accordance with the present invention.

먼저, 촬영 및 입력 수단(10)에서 손의 출현을 기다리고,(110), 손동작이 입력되면 입력된 영상 신호에서 손영역의 유무를 판단하여 손영역이 존재하지 않는 경우에는, 상기 대기 상태(110)로 귀환하고, 손영역이 존재할 경우에는, 다음 단계로 간다(120). 손영역이 존재할 경우, 손영역 추출 수단(30)에서 주 메뉴를 출력하고(130), 출력된 주 메뉴 상의 명령어를 선택하며(140), 컴퓨터 윈도우 제어 수단(60)이 최종적으로 윈도우를 제어한다(150).First, when the hand-in is input by the photographing and input means 10 (110), when the hand gesture is input, it is determined whether there is a hand region in the input image signal and the hand region is not present. ), And if there is a hand region, go to the next step (120). If there is a hand region, the hand region extracting means 30 outputs a main menu (130), selects a command on the output main menu (140), and the computer window control means 60 finally controls the window. 150.

도 3 은 도 2 의 시간 흐름에 따른 상세 처리 흐름도이다.FIG. 3 is a detailed processing flowchart according to the time flow of FIG. 2.

먼저, 손의 출현을 기다리는 대기 상태(1)에서 손이 나타나면 손동작의 흐름을 추적하여 손동작을 해석하고 명령어를 선택하는 추적 및 손동작 해석 상태(2)로 된다. 그리고, 최종적으로 선택된 명령어를 실행시키는 명령어 실행 상태(3)로 되어 명령어로 윈도우를 제어하게 된다. 이후에 다시 손의 움직임을 추적하는 추적 및 손동작 해석 상태(2)로 되거나 손이 사라지면 손의 출현을 기다리는 대기 상태(1)로 되돌아간다.First, when the hand appears in the waiting state (1) waiting for the appearance of the hand, the flow of the hand gestures is traced and the hand gestures are analyzed and the hand gesture analysis state (2) for selecting a command. Then, the command execution state (3) for finally executing the selected command is controlled to control the window with the command. Afterwards, the user goes back to the tracking and hand motion analysis state (2) for tracking the movement of the hand or returns to the waiting state (1) waiting for the appearance of the hand when the hand disappears.

여기서, 언급하는 명령 선택 및 실행은 사용자가 자신의 작업에 알맞게 명령어를 구성하여 활용할 수 있는 유연 체계를 갖추고 있다.Here, the command selection and execution mentioned above have a flexible system in which the user can configure and utilize the command according to his or her work.

도 4 는 도 2 의 주 메뉴 출력을 위한 손동작 이동 궤도 생성도로서, 시간 T-5시점에서 T시점에 이르는 손동작의 이동을 각각 보여주고, 손동작의 이동 궤적들을 연결하면 T-5시점에서 T시점까지의 손동작 궤도를 얻을 수 있다. 여기서, 손동작을 궤적화하기 위해서는 입력 영상에서 손영역을 추출하고, 추출된 손영역의 중심점을 구한다. 손영역의 추출은 영상이 입력되면 R(Red), G(Green), B(Blue) 칼라 좌표계를 하기의 식(1)을 이용하여 Y(luminance), I(in-phase), Q(quadrature-phase) 칼라 좌표계로 변환한 후 I와 Q 값을 인덱스로 하는 2차원 Look-Up 테이블을 구성한다.FIG. 4 is a diagram of hand movement trajectory generation for the main menu output of FIG. 2, showing movements of hand movements from time T-5 to T time, and connecting the movement trajectories of hand movements to T time at T-5. Hand movement trajectory to can be obtained. In order to track the hand motion, the hand region is extracted from the input image, and the center point of the extracted hand region is obtained. When the image is input, R (Red), G (Green), B (Blue) color coordinate system is extracted using Y (luminance), I (in-phase), Q (quadrature) using Equation (1) -phase) Construct a two-dimensional look-up table with indexes of I and Q values after conversion to the color coordinate system.

이 Look-Up 테이블은 손 칼라 정보 모델의 데이터 베이스 정보를 갖고 있으며, 입력 영상으로부터 손영역을 추출하는 데 활용된다. 또한 조명 환경 등에 따른 손 칼라 정보의 변환에 대비하여 이 시스템의 운용 중에 수시로 새로운 정보로서 변경되어 적응력을 갖도록 한다. 이러한 손 칼라 정보 모델에 의해 입력되는 영상에서 손영역이 추출되면, 추출된 손영역의 중심좌표를 구한다. 다음 입력 영상에서 동일한 과정을 반복하여 중심점을 구하고 이웃하는 프레임상의 중심점들을 연결함으로써 손의 이동 벡터를 구한다. 이렇게 일정한 시간 축적된 이동 벡터의 변환을 누적함으로써 하나의 궤적이 형성된다.This look-up table contains database information of the hand color information model and is used to extract the hand region from the input image. In addition, in preparation for the conversion of the hand color information according to the lighting environment, the system is changed to new information from time to time to have adaptability. When the hand region is extracted from the image input by the hand color information model, the center coordinates of the extracted hand region are obtained. In the next input image, the same process is repeated to obtain a center point and to obtain a hand motion vector by connecting center points on neighboring frames. This trajectory is formed by accumulating the transforms of the motion vectors accumulated at a constant time.

도 5 는 도 4 의 손동작 이동 궤도 생성을 위한 손동작 변화에 대한 방향 구분도이다.FIG. 5 is a direction diagram illustrating a hand gesture change for generating a hand gesture moving track of FIG. 4. FIG.

이웃하는 영상간에 형성된 이동 벡터의 방향성은 각도에 의해 구분하면, 0도에서 360도까지의 임의의 방향성을 갖을 수 있다. 그러나, 모든 방향의 의미를 해석하는 것은 시간이 많이 걸림은 물론 의미가 없어진다. 따라서, 궤적의 방향성분을 8 가지로 구분하였다. 그러므로, 이동 벡터의 방향 성분은 8개의 방향 성분 벡터로 정규화 된다. 그리고, 8가지의 방향을 살펴보면, 왼쪽의 범위는 0 방향을 기준으로 1, 7의 방향을 포함하며, 오른쪽의 범위는 4 방향을 기준으로 3, 5 방향을 포함한다. 위의 범위는 2 방향을 기준으로 3, 1 방향의 범주까지를 포함하며, 아래의 범위는 6 방향을 기준으로 5, 7 방향의 범주를 포함한다.The directionality of the motion vector formed between neighboring images may have any directionality from 0 degree to 360 degree when divided by the angle. However, interpreting the meaning of all directions takes a lot of time and becomes meaningless. Therefore, the direction components of the trajectory were divided into eight types. Therefore, the direction component of the motion vector is normalized to eight direction component vectors. And, looking at the eight directions, the range of the left side includes the directions of 1, 7 based on the 0 direction, and the range of the right side includes the 3, 5 directions based on the 4 directions. The above range includes the range of 3 and 1 directions based on 2 directions, and the range below includes the categories of 5 and 7 directions based on 6 directions.

도 6 은 도 4 의 손동작 궤도를 해석하기 위한 처리 흐름도이다.FIG. 6 is a process flowchart for analyzing the hand motion trajectory of FIG. 4.

기본적으로 손동작 궤도의 체인 코드가 11011717070과 같이 0, 1, 7이 연속해서 나타나면 상태 S1을 통과한 것으로 판정하여 왼쪽(Left)으로 해석하고(121), 3343533443353353와 같이 4, 3, 5가 연속해서 나타나면 상태 S2를 통과한 것으로 판정하여 오른쪽(Right)으로 해석하며(122), 마찬가지로 2, 3, 1이 연속해서 나타나면 상태 S3을 통과한 것으로 판정하여 위쪽(Up)으로 해석하고(123), 6, 5, 7이 연속해서 나타나면 상태 S4를 통과한 것으로 판정하여 아래쪽(Down)으로 해석한다(124). 여기서, 상태 S1∼S4는 추출된 이동궤적의 체인 코드에서 나타나는 패턴(pattern)에 의해 결정되는 상태를 의미한다.Basically, if chain code of hand motion track shows 0, 1, 7 consecutively as 11011717070, it is determined that it has passed state S1 and is interpreted as left (121), and 4, 3, 5 continuously as 3343533443353353. If it appears, it is determined that the state S2 has passed and is interpreted as Right (122). Likewise, if 2, 3, and 1 appear in succession, it is determined that the state S3 has been passed and is interpreted as Up (123), 6 If 5, 7 appears in succession, it is determined that the state S4 has been passed and is analyzed as down (124). Here, states S1 to S4 mean states determined by a pattern appearing in the chain code of the extracted movement trajectory.

본 발명은 하나의 CCD 카메라에 의해 입력된 영상에서 손동작의 부분을 구분하여 이의 움직임을 해석하고, 그 결과로 컴퓨터상의 윈도우를 제어하는 장치 및 그 방법을 제공하여, 사용자가 의도하는 바를 컴퓨터에 전달하고, 컴퓨터는 이에 의해 사용자가 원하는 정보를 출력함으로써, 컴퓨터와 사람 사이의 의사 전달 체계가 사람과 사람 사이의 의사 전달과 동일한 수준으로 이루어지도록 하는 시스템을 구현할 수 있다.The present invention provides a device and method for controlling a window on a computer by analyzing a part of a hand gesture in an image inputted by a single CCD camera, and as a result, providing a device and a method for transmitting a user's intention to the computer. In addition, the computer may thereby output a user's desired information, thereby implementing a system in which the communication system between the computer and the person is made at the same level as the communication between the person and the person.

Claims (5)

손동작을 이용하여 컴퓨터 윈도우를 제어하는 장치에 있어서,An apparatus for controlling a computer window using a hand gesture, 손동작의 영상을 아날로그 신호로 촬영하여 입력하는 촬영 및 입력 수단(10)과;Photographing and input means (10) for photographing and inputting an image of a hand gesture as an analog signal; 상기 촬영 및 입력 수단(10)으로부터 입력된 아날로그 영상 신호를 디지털 영상 신호로 변환하는 A/D 변환 수단(20)과;A / D conversion means (20) for converting the analog video signal input from the photographing and input means (10) into a digital video signal; 상기 A/D 변환 수단(20)에서 변환된 디지털 영상 신호 중에서 손영역을 추출하는 손영역 추출 수단(30)과;Hand region extraction means (30) for extracting a hand region from the digital image signal converted by the A / D conversion means (20); 상기 손영역 추출 수단(30)에서 추출된 손영역들로부터 손 움직입의 궤도를 생성하는 손동작 궤도 생성 수단(40)과;Hand gesture trajectory generating means (40) for generating a trajectory of the hand movement from the hand regions extracted by the hand region extracting means (30); 상기 손동작 궤도 생성 수단(40)에서 생성된 손동작 궤도를 해석하는 손동작 궤도 해석 수단(50)과;Hand motion trajectory analysis means (50) for analyzing the hand motion trajectory generated by the hand motion trajectory generating means (40); 상기 손동작 궤도 해석 수단(50)에서 해석된 결과에 의해 컴퓨터 윈도우를 제어하고, 명령어를 선택하여 이를 실행하는 컴퓨터 윈도우 제어 수단(60)으로 구성된 것을 특징으로 하는 손동작을 이용한 컴퓨터 윈도우 제어 장치.Computer window control device using a hand gesture, characterized in that the computer window control means for controlling the computer window according to the result analyzed by the hand motion trajectory analysis means (50), and executing the command. 손동작을 이용하여 컴퓨터 윈도우를 제어하는 방법에 있어서,In a method of controlling a computer window using a hand gesture, 촬영 및 입력 수단(10)에서 손의 출현을 기다리는 제 1 과정과;A first process of waiting for the appearance of the hand in the photographing and input means (10); 상기 제 1 과정에서 손동작이 입력되면 입력된 영상 신호에서 손영역의 유무를 판단하여 손영역이 존재하지 않는 경우에는, 상기 제 1 과정으로 귀환하고, 손영역이 존재할 경우에는, 다음 과정로 가는 제 2 과정과;When the hand gesture is input in the first process, it is determined whether there is a hand region in the input image signal, and when the hand region does not exist, the process returns to the first process. 2 courses; 상기 제 2 과정에서 손영역이 존재하는 것으로 판단된 경우, 손영역 추출 수단(30)에서 주 메뉴를 출력하는 제 3 과정과;A third process of outputting a main menu by the hand region extracting means 30 when it is determined that the hand region exists in the second process; 상기 제 3 과정에서 출력된 주 메뉴상의 명령어를 선택하는 제 4 과정과;A fourth step of selecting a command on the main menu output in the third step; 상기 제 4 과정에서 선택된 명령어에 따라 컴퓨터 윈도우 제어 수단(60)이 최종적으로 윈도우를 제어하는 제 5 과정를 포함하는 것을 특징으로 하는 손동작을 이용한 컴퓨터 윈도우 제어 방법.And a fifth process of finally controlling the window by the computer window control means (60) according to the command selected in the fourth process. 제 2 항에 있어서,The method of claim 2, 상기 제 3 과정은, 시간의 흐름에 따른 손동작의 이동 궤적들을 연결하여 손동작 궤도를 생성하는 제 1 단계와;The third process may include a first step of generating hand gesture trajectories by connecting movement trajectories of hand gestures over time; 상기 제 1 단계에서 생성된 손동작 궤도를 왼쪽, 오른쪽, 위, 아래의 네 방향으로 해석하는 제 2 단계를 포함하는 것을 특징으로 하는 손동작을 이용한 컴퓨터 윈도우 제어 방법.And a second step of interpreting the hand motion trajectory generated in the first step in four directions of left, right, up, and down. 제 3 항에 있어서,The method of claim 3, wherein 상기 제 1 단계는, 손 영상이 입력되면 R(Red), G(Green), B(Blue)의 칼라 좌표계를 Y(luminance), I(In-phase), Q(Quadrature-phase)의 칼라 좌표계로 변환하는 제 1 부단계와;In the first step, when a hand image is input, color coordinate systems of R (Red), G (Green), and B (Blue) are color coordinate systems of Y (luminance), I (In-phase), and Q (Quadrature-phase). A first sub-step of converting to a; 상기 제 1 부단계에서 변환된 칼라 좌표계에서 I와 Q값을 인덱스로 하는 2차원 Look-Up 테이블을 구성하는 제 2 부단계와;A second substep of constructing a two-dimensional look-up table having I and Q values as indices in the color coordinate system converted in the first substep; 상기 제 2 부단계에서 구성된 Look-Up 테이블에 의해 추출된 손영역의 중심 좌표를 구하고, 다음 입력 영상에서 동일한 과정을 반복하여 중심점을 구하는 제 3 부단계와;A third substep of obtaining a center coordinate of the hand region extracted by the look-up table configured in the second substep, and obtaining a center point by repeating the same process in the next input image; 상기 제 3 부단계에서 구한 이웃하는 프레임상의 중심점들을 연결하여 손의 이동 벡터를 구하고, 일정 시간 축적된 이동 벡터의 변환을 누적하여 하나의 궤적을 형성하는 제 4 부단계와;A fourth substep of connecting the center points on the neighboring frames obtained in the third substep to obtain a motion vector of the hand, and accumulating transforms of the motion vectors accumulated for a predetermined time to form a locus; 상기 제 4 부단계에서 형성된 궤적을 연결하여 손동작 궤도를 생성하는 제 5 부단계를 포함하는 것을 특징으로 하는 손동작을 이용한 컴퓨터 윈도우 제어 방법.And a fifth sub-step of generating a hand gesture trajectory by connecting the trajectory formed in the fourth sub-step. 제 3 항에 있어서,The method of claim 3, wherein 상기 제 2 단계는, 손동작 궤도의 체인 코드가 0, 1, 7이 연속해서 나타나면 왼쪽으로, 4, 3, 5가 연속해서 나타나면 오른쪽으로, 2, 3, 1이 연속해서 나타나면 위쪽으로, 6, 5, 7이 연속해서 나타나면 아래쪽으로 각각 해석하는 것을 특징으로 하는 손동작을 이용한 컴퓨터 윈도우 제어 방법.The second step is to the left when the chain code of the hand movement track is 0, 1, 7 consecutively, to the right when 4, 3, 5 consecutively, to the right when 2, 3, 1 consecutively, 6, If 5, 7 appear in succession, the computer window control method using a hand gesture, characterized in that the interpretation respectively downward.
KR1019970065068A 1997-12-01 1997-12-01 Computer window control device using hand gesture and method thereof KR19990046909A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019970065068A KR19990046909A (en) 1997-12-01 1997-12-01 Computer window control device using hand gesture and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970065068A KR19990046909A (en) 1997-12-01 1997-12-01 Computer window control device using hand gesture and method thereof

Publications (1)

Publication Number Publication Date
KR19990046909A true KR19990046909A (en) 1999-07-05

Family

ID=66094285

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970065068A KR19990046909A (en) 1997-12-01 1997-12-01 Computer window control device using hand gesture and method thereof

Country Status (1)

Country Link
KR (1) KR19990046909A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020037106A (en) * 2000-11-13 2002-05-18 오희범 System for three-dimensional sensing of the end portion of object including human body
KR100617976B1 (en) * 2004-11-15 2006-08-31 한국과학기술원 Hand-posture database construction, hand-posture recognition, and recording medium
US7122478B2 (en) * 2003-07-31 2006-10-17 Samsung Electronics Co., Ltd. Method of manufacturing a semiconductor device using a polysilicon etching mask
KR100705510B1 (en) * 2004-03-16 2007-04-10 김성규 Apparatus and method for control using chase information of the object
US7702130B2 (en) 2004-12-20 2010-04-20 Electronics And Telecommunications Research Institute User interface apparatus using hand gesture recognition and method thereof

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020037106A (en) * 2000-11-13 2002-05-18 오희범 System for three-dimensional sensing of the end portion of object including human body
US7122478B2 (en) * 2003-07-31 2006-10-17 Samsung Electronics Co., Ltd. Method of manufacturing a semiconductor device using a polysilicon etching mask
KR100705510B1 (en) * 2004-03-16 2007-04-10 김성규 Apparatus and method for control using chase information of the object
KR100617976B1 (en) * 2004-11-15 2006-08-31 한국과학기술원 Hand-posture database construction, hand-posture recognition, and recording medium
US7702130B2 (en) 2004-12-20 2010-04-20 Electronics And Telecommunications Research Institute User interface apparatus using hand gesture recognition and method thereof

Similar Documents

Publication Publication Date Title
US20180186452A1 (en) Unmanned Aerial Vehicle Interactive Apparatus and Method Based on Deep Learning Posture Estimation
US6360003B1 (en) Image processing apparatus
Voronin et al. Action recognition for the robotics and manufacturing automation using 3-D binary micro-block difference
CN108983636B (en) Man-machine intelligent symbiotic platform system
CN107765855A (en) A kind of method and system based on gesture identification control machine people motion
JPH07141101A (en) Input system using picture
CN111752456A (en) Projection interactive system design based on image sensor
KR20080062520A (en) The extraction method of moving object and the apparatus thereof
CN103793056A (en) Mid-air gesture roaming control method based on distance vector
CN107894834A (en) Gesture identification method and system are controlled under augmented reality environment
CN107193384B (en) Switching method of mouse and keyboard simulation behaviors based on Kinect color image
CN107578015A (en) A kind of first impression identification and feedback system and method based on deep learning
KR19990046909A (en) Computer window control device using hand gesture and method thereof
Rehman et al. Two hand gesture based 3d navigation in virtual environments
Conci et al. Natural human-machine interface using an interactive virtual blackboard
El Sibai et al. A new robust approach for real-time hand detection and gesture recognition
Hu et al. Efficient face and gesture recognition techniques for robot control
Patil et al. Gesture Recognition for Media Interaction: A Streamlit Implementation with OpenCV and MediaPipe
Dudhapachare et al. Voice Guided, Gesture Controlled Virtual Mouse
Xu Gesture-based Human-robot Interaction for Field Programmable Autonomous Underwater Robots
Deb et al. Designing an intelligent blink analyzer tool for effective human computer interaction through eye
Agarwal et al. Gesture Controlled Virtual Mouse
Sneha et al. Mid-Air Gesture Based Multi-Finger Control System For Paralyzed Patients Using Leap Motion
Saner et al. Dynamic Color Recognition for Video Game Controller
Upasana et al. Virtual Mouse with RGB Colored Tapes

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application