KR20120138126A - Apparatus and method controlling digital device by recognizing motion - Google Patents

Apparatus and method controlling digital device by recognizing motion Download PDF

Info

Publication number
KR20120138126A
KR20120138126A KR1020110057451A KR20110057451A KR20120138126A KR 20120138126 A KR20120138126 A KR 20120138126A KR 1020110057451 A KR1020110057451 A KR 1020110057451A KR 20110057451 A KR20110057451 A KR 20110057451A KR 20120138126 A KR20120138126 A KR 20120138126A
Authority
KR
South Korea
Prior art keywords
hand
user
motion
image
light emitting
Prior art date
Application number
KR1020110057451A
Other languages
Korean (ko)
Other versions
KR101807516B1 (en
Inventor
정진혁
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020110057451A priority Critical patent/KR101807516B1/en
Publication of KR20120138126A publication Critical patent/KR20120138126A/en
Application granted granted Critical
Publication of KR101807516B1 publication Critical patent/KR101807516B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

PURPOSE: An apparatus controlling a digital device by recognizing motion and a method for the same using an IR(Infrared) LED(Light Emitting Diode) and an IR camera are provided to improve accuracy of motion recognition by sensing non-contact motion through an IR LED and an IR camera, thereby enlarging applicable scope of control technology by the motion recognition. CONSTITUTION: An IR LED(110) is arranged in a predetermined pattern. An IR camera(121) takes a photo of the IR LED and a user's hand image. An IR image processor(130) calculates a direction and an extent of the user's hand movement based on the IR LED image and the hand image, and generates recognition information by recognizing the user's hand motion. Based on the recognition information, a control unit(140) outputs a control signal to control operation of a digital device. [Reference numerals] (110) IR light emitting module; (121) IR camera; (130) IR image processor; (131) Image motion calculation unit; (132) Light emitting motion correction unit; (133) Motion correction unit; (140) Control unit; (200) AVN; (AA) IR image of a user hand

Description

모션 인식을 통한 디지털 기기 제어 장치 및 방법{Apparatus And Method Controlling Digital Device By Recognizing Motion}Apparatus And Method Controlling Digital Device By Recognizing Motion}

본 발명은 디지털 기기 제어 장치 및 방법에 관한 것으로서, 보다 구체적으로는 모션을 인식하여 디지털 기기의 동작을 제어하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for controlling a digital device, and more particularly, to an apparatus and method for controlling the operation of a digital device by recognizing motion.

종래의 기술은 도 1에 도시된 바와 같이, 적외선 카메라를 사용하여 모션을 인식하였다. 즉, 센싱되는 물체의 적외선 발광 값을 카메라로 인식하여 물체의 움직임을 계산하였다. The prior art recognizes motion using an infrared camera, as shown in FIG. That is, the movement of the object was calculated by recognizing the infrared light emission value of the sensing object with a camera.

또는 도 2에 도시된 바와 같이, 적외선 발광 다이오드를 움직이는 동체에 장착하여 카메라가 적외선 발광 다이오드를 추적하여 위치 변화를 계산한 것으로 모션을 인식하였다.Or, as shown in Figure 2, by mounting the infrared light emitting diode to the moving body, the camera tracks the infrared light emitting diode to calculate the position change to recognize the motion.

그러나, 종래의 기술에서 적외선 카메라를 사용하여 모션을 인지하는 것은 대게 차량 내에서 한대의 적외선 카메라를 사용하기 때문에 히터 작동시 히터에서 방출된 열에 의해 오차가 발생할 가능성이 커 인식에 대한 정확도가 많이 떨어지게 되고, 운전자의 손에 발광 다이오드를 부착해야 하는 것은 사용 편의성이 떨어지는 등의 문제가 있다.However, in the conventional technology, motion recognition using an infrared camera usually uses one infrared camera in a vehicle, so that errors are likely to occur due to heat emitted from the heater when the heater is operated. In this case, there is a problem in that the light emitting diode must be attached to the driver's hand.

본 발명은 상기와 같은 문제점을 감안하여 창출한 것으로서, 적외선 카메라와 적외선 발광 다이오드를 사용하여 비접촉 모션 인식을 통해 디지털 기기를 제어하는 장치 및 방법을 제공하는 데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and an object thereof is to provide an apparatus and method for controlling a digital device through non-contact motion recognition using an infrared camera and an infrared light emitting diode.

전술한 목적을 달성하기 위하여, 본 발명의 일면에 따른 차량에 장착된 디지털 기기를 사용자의 손 모션 인식을 통해 제어하는 장치는 특정 패턴으로 배열된 다수의 적외선 발광 다이오드; 각 적외선 발광 다이오드의 영상과 상기 사용자의 손 영상을 촬영하는 적외선 카메라; 촬영된 상기 각 적외선 발광 다이오드의 영상과 상기 사용자의 손 영상을 토대로 상기 사용자의 손이 움직인 방향과 움직인 양을 계산하여 이를 근거로 상기 사용자의 손 모션을 인식한 인식 정보를 생성하는 적외선 영상처리부; 및 생성된 상기 인식 정보를 근거로 상기 사용자의 손 모션에 따라 상기 디지털 기기의 동작을 제어하기 위한 제어신호를 출력하는 제어부를 포함한다.In order to achieve the above object, according to an aspect of the present invention, a device for controlling a digital device mounted on a vehicle through hand motion recognition of a user includes a plurality of infrared light emitting diodes arranged in a specific pattern; An infrared camera which captures an image of each infrared light emitting diode and an image of the user's hand; An infrared image which calculates the direction and the amount of movement of the user's hand based on the captured images of the infrared light emitting diodes and the image of the user's hand, and generates recognition information that recognizes the user's hand motion based on the image. Processing unit; And a controller configured to output a control signal for controlling an operation of the digital device according to the hand motion of the user based on the generated recognition information.

본 발명의 다른 면에 따른 차량에 장착된 디지털 기기를 사용자의 손 모션 인식을 통해 제어하는 방법은 상기 차량의 특정 위치에 특정 패턴으로 배열된 다수의 적외선 발광 다이오드의 영상과 상기 사용자의 손 영상을 촬영하는 단계; 촬영된 각 적외선 발광 다이오드의 영상과 상기 사용자의 손 영상을 토대로 상기 사용자의 손이 움직인 방향과 움직인 양을 계산하여 상기 사용자의 손 모션을 인식한 인식 정보를 생성하는 단계; 및 생성된 상기 인식 정보를 근거로 상기 사용자의 손 모션에 따라 상기 디지털 기기의 동작을 제어하기 위한 제어신호를 출력하는 단계를 포함한다.According to another aspect of the present invention, a method of controlling a digital device mounted on a vehicle through hand motion recognition of a user may include images of a plurality of infrared light emitting diodes arranged in a specific pattern at a specific position of the vehicle and images of the user's hand. Photographing; Generating recognition information recognizing the user's hand motion by calculating a direction and an amount of movement of the user's hand based on the captured images of the infrared light emitting diodes and the user's hand image; And outputting a control signal for controlling the operation of the digital device according to the hand motion of the user based on the generated recognition information.

본 발명에 따르면, 디지털 기기 제어를 위한 모션 인식의 정확도를 개선하여 모션 인식에 의한 제어 기술의 적용 범위를 확대시킬 수 있는 효과가 있다.According to the present invention, it is possible to improve the accuracy of motion recognition for digital device control to extend the application range of the control technology by motion recognition.

특히 모션 인식에 대한 정확성의 향상으로 디지털 기기 제어에 대한 편의성 또한 향상시킬 수 있는 이점이 있다.In particular, there is an advantage that the convenience of digital device control can be improved by improving the accuracy of motion recognition.

도 1 및 도 2는 종래의 모션 인식 기술을 설명하기 위한 도면.
도 3은 본 발명의 일 실시예에 따른 모션 인식을 통한 디지털 기기 제어 장치를 설명하기 위한 블럭도.
도 4 내지 도 6은 모션인식을 설명하기 위한 도면.
도 7은 인식된 영상을 설명하기 위한 도면.
도 8은 본 발명의 일 실시예에 따른 디지털 기기 메뉴의 선택 및 실행을 설명하기 위한 흐름도.
도 9는 DMB의 채널 변경을 설명하기 위한 흐름도.
도 10은 모션 인식을 통한 스크롤 기능을 설명하기 위한 흐름도.1 and 2 are diagrams for explaining a conventional motion recognition technology.
3 is a block diagram illustrating a digital device control apparatus through motion recognition according to an embodiment of the present invention.
4 to 6 are views for explaining motion recognition.
7 is a view for explaining a recognized image.
8 is a flowchart for explaining selection and execution of a menu of a digital device according to an embodiment of the present invention.
9 is a flowchart for explaining channel change in DMB.
10 is a flowchart illustrating a scroll function through motion recognition.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.Advantages and features of the present invention, and methods of achieving the same will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. And is intended to enable a person skilled in the art to readily understand the scope of the invention, and the invention is defined by the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. It is noted that " comprises, " or "comprising," as used herein, means the presence or absence of one or more other components, steps, operations, and / Do not exclude the addition.

본 발명은 일반적인 적외선 카메라를 통한 모션 인식과 달리 적외선 발광 다이오드와 하나의 적외선 카메라를 동시에 사용하여 그 정확도를 높이고, 적외선 발광 다이오드의 빛 파장을 달리하여 모션 인식 정확도를 높이는 데 특징이 있다.The present invention is characterized by increasing the accuracy by using an infrared light emitting diode and one infrared camera at the same time, and by increasing the wavelength of light of the infrared light emitting diode, unlike motion recognition through a general infrared camera.

이하, 도 3 내지 도 7을 참조하여 본 발명의 일 실시예에 따른 모션 인식을 통한 디지털 기기 제어 장치를 설명한다. 도 3은 본 발명의 일 실시예에 따른 모션 인식을 통한 디지털 기기 제어 장치를 설명하기 위한 블럭도이고, 도 4 내지 도 6은 모션인식을 설명하기 위한 도면이며, 도 7은 인식된 영상을 설명하기 위한 도면이다.Hereinafter, a digital device control apparatus through motion recognition according to an embodiment of the present invention will be described with reference to FIGS. 3 to 7. 3 is a block diagram illustrating a digital device control apparatus through motion recognition according to an embodiment of the present invention, FIGS. 4 to 6 are views for explaining motion recognition, and FIG. 7 is for explaining a recognized image. It is a figure for following.

도 3에 도시된 바와 같이, 본 발명의 모션 인식을 통한 디지털 기기 제어 장치는 적외선 발광 모듈(110), 모션 인식 모듈(120), 적외선 영상처리부(130) 및 제어부(140)를 포함한다.As shown in FIG. 3, the apparatus for controlling digital devices through motion recognition of the present invention includes an infrared light emitting module 110, a motion recognition module 120, an infrared image processor 130, and a controller 140.

본 발명에서 디지털 기기는 AVN(200), PC, 노트북, 휴대폰, 스마트폰 등을 포함하고, 이하에서는 디지털 기기로 AVN(200)을 예로 들어 설명한다.In the present invention, the digital device includes an AVN 200, a PC, a notebook computer, a mobile phone, a smartphone, and the like. Hereinafter, the digital device will be described using the AVN 200 as an example.

적외선 발광 모듈(110)은 다수의 적외선 발광 다이오드(111-1,...,111-n)를 포함하고, 도 4 내지 도 6에 도시된 바와 같이 각 적외선 발광 다이오드(111-1,...,111-n)가 특정 위치(차량의 전면 유리 등)에 일정한 패턴, 예컨대 열십자 형태로 배열되며, 배열된 적외선 발광 다이오드(111-1,...,111-n)의 개수는 AVN(200)의 사양 등에 따라 결정된다.The infrared light emitting module 110 includes a plurality of infrared light emitting diodes 111-1,..., 111-n, and each infrared light emitting diode 111-1 .. .111-n are arranged at a specific position (such as the windshield of a vehicle) in a predetermined pattern, for example, crisscross, and the number of the infrared light emitting diodes 111-1, ..., 111-n arranged is AVN. And the specification of 200.

모션 인식 모듈(120)은 적외선 카메라(121)를 포함하고, 적외선 카메라(121)를 통해 동시에 일정한 패턴으로 배열된 각 적외선 발광 다이오드(111-1,...,111-n)로부터 발광된 빛, 즉 각 적외선 발광 다이오드(111-1,...,111-n)의 영상과 손에서 나오는 적외선 영상, 즉 사람의 손 영상을 도 7에 도시된 바와 같이 포착하여 적외선 영상처리부(130)로 전달한다.The motion recognition module 120 includes an infrared camera 121 and light emitted from each of the infrared light emitting diodes 111-1,..., 111-n arranged simultaneously in a predetermined pattern through the infrared camera 121. That is, the image of each of the infrared light emitting diodes (111-1, ..., 111-n) and the infrared image from the hand, that is, the image of the human hand is captured as shown in Figure 7 to the infrared image processing unit 130 To pass.

적외선 카메라(121)는 사용자의 손 영상 포착시, 사용자의 손이 전후, 좌우 및 상하로 움직일 경우, 손의 움직임에 따라 적외선 발광 다이오드의 개수와 파장을 다르게 하여 적외선 발광 다이오드의 영상을 포착한다.The infrared camera 121 captures an image of the infrared light emitting diode by varying the number and wavelengths of the infrared light emitting diodes according to the movement of the hand when the user's hand moves back, forth, left, and right when capturing an image of the user.

한편, 각 적외선 발광 다이오드(111-1,...,111-n)는 열십자 형태로 배열시 원점 위치의 적외선 발광 다이오드는 적외선 카메라(121)와 수직이 되는 위치에 위치하도록 배열된다.Meanwhile, when the infrared light emitting diodes 111-1,..., 111-n are arranged in a crisscross shape, the infrared light emitting diodes at the origin positions are arranged to be perpendicular to the infrared camera 121.

적외선 영상처리부(130)는 영상 모션 계산부(131), 발광 모션 보정부(132) 및 모션 보정부(133)를 포함한다.The infrared image processor 130 includes an image motion calculator 131, a light emission motion corrector 132, and a motion corrector 133.

영상 모션 계산부(131)는 전달된 영상에서 손 영상을 이용하여 사용자의 손이 전후, 좌우 및 상하 중 어느 방향으로 움직였는지를 계산한다.The image motion calculator 131 calculates which direction the user's hand moves in the front, rear, left and right directions by using the hand image in the transferred image.

발광 모션 보정부(132)는 전달된 영상에서 적외선 발광 다이오드의 파장을 근거로 사용자의 손이 움직인 양을 계산한다. 예컨대, 사용자의 손이 전후로 움직이는 경우, 적외선 발광 다이오드의 파장 변화는 수신된 영상에서 좌우, 상하 변화와 다르기 때문에 손의 전후 움직임을 구별할 수 있고, 움직인 양을 계산할 수 있다.The light emission motion correction unit 132 calculates the amount of movement of the user's hand based on the wavelength of the infrared light emitting diode in the transmitted image. For example, when the user's hand moves back and forth, since the wavelength change of the infrared light emitting diode is different from the left, right, and up and down changes in the received image, the front and rear movements of the hand can be distinguished and the amount of movement can be calculated.

모션 보정부(133)는 계산된 손이 움직인 방향과 계산된 손이 움직인 양을 근거로 사용자의 손 모션을 인식한 인식 정보를 생성하여 제어부(140)에 전달한다.The motion corrector 133 generates recognition information that recognizes the hand motion of the user based on the calculated direction of movement of the hand and the calculated amount of movement of the hand, and transmits the recognition information to the controller 140.

제어부(140)는 전달된 인식 정보를 토대로 사용자의 손 모션에 따라 AVN(200)을 제어하기 위한 제어신호를 출력한다.The controller 140 outputs a control signal for controlling the AVN 200 according to the hand motion of the user based on the transmitted recognition information.

전술한 바와 같이, 본 발명은 사람의 손 움직임으로 디지털 기기의 커서를 움직여 디지털 기기의 명령을 실행할 수 있고, 디지털 기기 제어를 위한 모션 인식의 정확도를 개선하여 모션 인식에 의한 제어 기술의 적용 범위를 확대시킬 수 있으며, 모션 인식에 대한 정확성의 향상으로 디지털 기기 제어에 대한 편의성을 향상시킬 수 있다.As described above, the present invention can move the cursor of a digital device by the movement of a human hand to execute a command of the digital device, and improve the accuracy of motion recognition for controlling the digital device, thereby improving the scope of application of the control technology by motion recognition. In addition, it is possible to increase the accuracy of motion recognition and improve the convenience of digital device control.

이상, 도 3 내지 도 7을 참조하여 본 발명의 일 실시예에 따른 모션 인식을 통한 디지털 기기 제어 장치를 설명하였고, 이하에서는 도 8 내지 도 10을 참조하여 본 발명의 일 실시예에 따른 모션 인식을 통한 디지털 기기 제어 방법을 설명한다. 도 8은 본 발명의 일 실시예에 따른 디지털 기기 메뉴의 선택 및 실행을 설명하기 위한 흐름도이고, 도 9는 DMB의 채널 변경을 설명하기 위한 흐름도이며, 도 10은 모션 인식을 통한 스크롤 기능을 설명하기 위한 흐름도이다.The digital device control apparatus through motion recognition according to an embodiment of the present invention has been described above with reference to FIGS. 3 to 7, and the motion recognition according to an embodiment of the present invention is described below with reference to FIGS. 8 to 10. It describes a digital device control method through. 8 is a flowchart illustrating selection and execution of a menu of a digital device according to an embodiment of the present invention, FIG. 9 is a flowchart illustrating channel change of a DMB, and FIG. 10 illustrates a scroll function through motion recognition. It is a flowchart for doing so.

도 8에 도시된 바와 같이, 디지털 기기, 예컨대 AVN(200)의 메뉴 선택 및 실행하는 방법은 일정시간 동안 사용자의 손이 적외선 카메라(121)에 위치하면, 즉 적외선 카메라(121)에 사용자의 손 영상이 일정시간 동안 포착되면, 적외선 카메라(121)는 사용자의 손 모션을 인식하기 위해 손 영상을 촬영한다(S800). As shown in FIG. 8, a method of selecting and executing a menu of a digital device, such as the AVN 200, may be performed when the user's hand is positioned in the infrared camera 121 for a predetermined time, that is, in the infrared camera 121. If the image is captured for a certain time, the infrared camera 121 captures a hand image to recognize the user's hand motion (S800).

촬영된 손 영상을 토대로 사용자의 손 모션을 인식하고, 인식된 사용자의 손 모션을 AVN(200)의 화면 정중앙에 위치한 커서의 움직임에 동기화하여(S801), 사용자의 손이 상하 좌우로 움직일 경우 그에 따라 커서가 상하 좌우로 움직이도록 AVN(200)을 제어한다(S802).Recognizes the user's hand motion based on the captured hand image, and synchronizes the recognized user's hand motion with the movement of the cursor located at the center of the screen of the AVN 200 (S801). Accordingly, the AVN 200 is controlled to move the cursor up, down, left, and right (S802).

커서가 아이콘에 위치되어 사용자의 손 움직임에 따라 프로그램을 선택하여 실행시키도록 AVN(200)의 동작을 제어한다(S803).The cursor is located on the icon to control the operation of the AVN 200 to select and execute the program according to the user's hand movement (S803).

이하에서는 도 9를 참조하여 AVN(200)에서 DMB의 채널 변경을 설명한다. 도 9에 도시된 바와 같이, DMB의 채널 변경은 일정시간 동안 사용자의 손이 적외선 카메라(121)에 위치하면, 즉 적외선 카메라(121)에 사용자의 손 영상이 일정시간 동안 포착되면, 적외선 카메라(121)는 사용자의 손 모션을 인식하기 위해 손 영상을 촬영한다(S900).Hereinafter, the channel change of the DMB in the AVN 200 will be described with reference to FIG. 9. As shown in FIG. 9, the channel change of the DMB is performed when the user's hand is positioned in the infrared camera 121 for a predetermined time, that is, when the user's hand image is captured by the infrared camera 121 for a predetermined time. 121 captures a hand image in order to recognize a user's hand motion (S900).

촬영된 손 영상을 토대로 사용자의 손 모션을 인식하고, 인식된 사용자의 손 모션을 AVN(200)의 화면 정중앙에 위치한 커서의 움직임에 동기화하여 사용자의 손이 상하 좌우로 움직일 경우 그에 따라 커서가 상하 좌우로 움직이도록 AVN(200)을 제어한다.Recognizes user's hand motion based on the captured hand image and synchronizes the recognized user's hand motion with the movement of the cursor located in the center of the screen of AVN 200. The AVN 200 is controlled to move left and right.

커서가 아이콘에 위치되어 사용자의 손 움직임에 따라 DMB를 실행시키도록 AVN(200)의 동작을 제어한다(S901).The cursor is positioned on the icon to control the operation of the AVN 200 to execute the DMB according to the user's hand movement (S901).

사용자의 손이 일정시간 정지 후 상하로 움직이면 채널 변경 최초 위치에서 움직이는 방향을 채널 변경 방향으로 인지하여 사용자의 손 움직임에 따라 채널을 변경하도록 AVN(200)을 제어한다(S902). 즉, 사용자의 손이 상하로 움직일 경우 최초 움직인 방향이 최초 위치에서 윗 방향으로 움직이면 윗 방향으로 움직이는 것으로 인지하여 채널을 변경하도록 AVN(200)을 제어한다.If the user's hand moves up and down after a certain time stop, the AVN 200 is controlled to change the channel according to the user's hand movement by recognizing the moving direction from the initial position of the channel change as the channel change direction (S902). That is, when the user's hand moves up and down, the AVN 200 is controlled to change the channel by recognizing that the first moving direction moves upward when the first moving direction moves upward from the initial position.

채널 변경과 동일한 원리로 사용자의 손이 좌우로 움직이는 경우 사용자의 손이 좌우 방향으로 움직이는 것으로 인지하여 볼륨을 조절하도록 AVN(200)을 제어한다(S903).When the user's hand moves left and right in the same principle as the channel change, the AVN 200 is controlled to adjust the volume by recognizing that the user's hand moves in the left and right directions (S903).

이하에서는 도 10을 참조하여 모션 인식을 통한 스크롤 기능을 설명한다. 도 10에 도시된 바와 같이, 모션 인식을 통한 스크롤 방법은 일정시간 동안 사용자의 손이 적외선 카메라(121)에 위치하면, 즉 적외선 카메라(121)에 사용자의 손 영상이 일정시간 동안 포착되면, 적외선 카메라(121)는 사용자의 손 모션을 인식하기 위해 손 영상을 촬영한다(S1000).Hereinafter, a scroll function through motion recognition will be described with reference to FIG. 10. As shown in FIG. 10, in the scrolling method using motion recognition, when a user's hand is positioned in the infrared camera 121 for a predetermined time, that is, when the user's hand image is captured by the infrared camera 121 for a predetermined time, the infrared ray is infrared. The camera 121 photographs a hand image in order to recognize a user's hand motion (S1000).

촬영된 손 영상을 토대로 사용자의 손 모션을 인식하고, 인식된 사용자의 손 모션을 AVN(200)의 화면 정중앙에 위치한 커서의 움직임에 동기화하여 사용자의 손이 상하 좌우로 움직일 경우 그에 따라 커서가 상하 좌우로 움직이도록 AVN(200)을 제어한다.Recognizes user's hand motion based on the captured hand image and synchronizes the recognized user's hand motion with the movement of the cursor located in the center of the screen of AVN 200. The AVN 200 is controlled to move left and right.

안드로이드와 같은 화면 구성인 경우, 커서가 아이콘에 위치되어 사용자의 손 움직임에 따라 AVN(200) 화면에서 페이지를 이동시키도록 AVN(200)을 제어한다(S1001).In the case of a screen configuration such as Android, the cursor is positioned on the icon to control the AVN 200 to move the page on the AVN 200 screen according to the user's hand movement (S1001).

사용자의 손 움직임에 따라 커서 위치를 이동시키고, 커서 위치 이동 중 일정시간 정지 후 상하로 움직이면, 화면이 스크롤되도록 AVN(200)을 제어한다(S1002).If the user moves the cursor position according to the user's hand movement and moves up and down after stopping for a predetermined time during the movement of the cursor position, the AVN 200 is controlled to scroll the screen (S1002).

이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
Although the configuration of the present invention has been described in detail with reference to the preferred embodiments and the accompanying drawings, this is only an example, and various modifications are possible within the scope without departing from the spirit of the present invention. Therefore, the scope of the present invention should not be limited by the illustrated embodiments, but should be determined by the scope of the appended claims and equivalents thereof.

110 : 적외선 발광 모듈 120 : 모션 인식 모듈
130 : 적외선 영상처리부 140 : 제어부
200 : AVN110: infrared light emitting module 120: motion recognition module
130: infrared image processing unit 140: control unit
200: AVN

Claims (5)

차량에 장착된 디지털 기기를 사용자의 손 모션 인식을 통해 제어하는 장치에 있어서,
특정 패턴으로 배열된 다수의 적외선 발광 다이오드;
각 적외선 발광 다이오드의 영상과 상기 사용자의 손 영상을 촬영하는 적외선 카메라;
촬영된 상기 각 적외선 발광 다이오드의 영상과 상기 사용자의 손 영상을 토대로 상기 사용자의 손이 움직인 방향과 움직인 양을 계산하여 이를 근거로 상기 사용자의 손 모션을 인식한 인식 정보를 생성하는 적외선 영상처리부; 및
생성된 상기 인식 정보를 근거로 상기 사용자의 손 모션에 따라 상기 디지털 기기의 동작을 제어하기 위한 제어신호를 출력하는 제어부
를 포함하는 모션 인식을 통한 디지털 기기 제어 장치.In the device for controlling a digital device mounted on the vehicle through the user's hand motion recognition,
A plurality of infrared light emitting diodes arranged in a specific pattern;
An infrared camera which captures an image of each infrared light emitting diode and an image of the user's hand;
An infrared image which calculates the direction and the amount of movement of the user's hand based on the captured images of the infrared light emitting diodes and the image of the user's hand, and generates recognition information that recognizes the user's hand motion based on the image. Processing unit; And
A controller for outputting a control signal for controlling an operation of the digital device according to the hand motion of the user based on the generated recognition information
Digital device control apparatus through motion recognition comprising a. 제1항에 있어서,
상기 다수의 적외선 발광 다이오드는 상기 차량의 특정 위치에 열십자 형태로 배치되되, 원점 위치의 적외선 발광 다이오드는 상기 적외선 카메라와 수직이 되는 위치에 위치하도록 배열되는 것
인 모션 인식을 통한 디지털 기기 제어 장치.The method of claim 1,
The plurality of infrared light emitting diodes are arranged in a crisscross shape at a specific position of the vehicle, the infrared light emitting diodes of the origin position is arranged to be located at a position perpendicular to the infrared camera.
Device control with in-motion recognition. 제1항에 있어서, 상기 적외선 영상처리부는,
촬영된 상기 사용자의 손 영상을 토대로 상기 사용자의 손이 움직인 방향을 계산하고, 촬영된 상기 각 적외선 발광 다이오드의 영상에서 상기 각 적외선 발광 다이오드의 파장을 근거로 상기 사용자의 손이 움직인 양을 계산하며, 계산된 상기 손이 움직인 방향과 움직인 양을 근거로 상기 사용자의 손 모션을 인식한 인식 정보를 생성하는 것
인 모션 인식을 통한 디지털 기기 제어 장치.The method of claim 1, wherein the infrared image processor,
The direction of the user's hand movement is calculated based on the photographed image of the user's hand, and the amount of movement of the user's hand is based on the wavelength of the infrared light emitting diodes in the images of the infrared light emitting diodes. Calculating, and generating recognition information recognizing the hand motion of the user based on the calculated direction and amount of movement of the hand.
Device control with in-motion recognition. 차량에 장착된 디지털 기기를 사용자의 손 모션 인식을 통해 제어하는 방법에 있어서,
상기 차량의 특정 위치에 특정 패턴으로 배열된 다수의 적외선 발광 다이오드의 영상과 상기 사용자의 손 영상을 촬영하는 단계;
촬영된 각 적외선 발광 다이오드의 영상과 상기 사용자의 손 영상을 토대로 상기 사용자의 손이 움직인 방향과 움직인 양을 계산하여 상기 사용자의 손 모션을 인식한 인식 정보를 생성하는 단계; 및
생성된 상기 인식 정보를 근거로 상기 사용자의 손 모션에 따라 상기 디지털 기기의 동작을 제어하기 위한 제어신호를 출력하는 단계
를 포함하는 모션 인식을 통한 디지털 기기 제어 방법.In the method of controlling the digital device mounted on the vehicle through the user's hand motion recognition,
Capturing an image of a plurality of infrared light emitting diodes arranged in a specific pattern at a specific position of the vehicle and an image of a hand of the user;
Generating recognition information recognizing the user's hand motion by calculating a direction and an amount of movement of the user's hand based on the captured images of the infrared light emitting diodes and the user's hand image; And
Outputting a control signal for controlling an operation of the digital device according to the hand motion of the user based on the generated recognition information
Digital device control method through motion recognition comprising a. 제4항에 있어서, 상기 생성하는 단계는,
촬영된 상기 사용자의 손 영상을 토대로 상기 사용자의 손이 움직인 방향을 계산하는 단계;
촬영된 상기 각 적외선 발광 다이오드의 영상에서 상기 각 적외선 발광 다이오드의 파장을 근거로 상기 사용자의 손이 움직인 양을 계산하는 단계; 및
계산된 상기 사용자의 손이 움직인 방향과 움직인 양을 근거로 상기 사용자의 손 모션을 인식한 인식 정보를 생성하는 단계를 포함하는 것
인 모션 인식을 통한 디지털 기기 제어 방법.The method of claim 4, wherein the generating step,
Calculating a direction in which the user's hand moves based on the photographed image of the user's hand;
Calculating an amount of movement of the user's hand based on the wavelength of each infrared light emitting diode in the captured images of the infrared light emitting diodes; And
Generating recognition information recognizing the hand motion of the user based on the calculated direction and the amount of movement of the user's hand;
Digital device control method through in-motion recognition.
KR1020110057451A 2011-06-14 2011-06-14 Apparatus And Method Controlling Digital Device By Recognizing Motion KR101807516B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110057451A KR101807516B1 (en) 2011-06-14 2011-06-14 Apparatus And Method Controlling Digital Device By Recognizing Motion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110057451A KR101807516B1 (en) 2011-06-14 2011-06-14 Apparatus And Method Controlling Digital Device By Recognizing Motion

Publications (2)

Publication Number Publication Date
KR20120138126A true KR20120138126A (en) 2012-12-24
KR101807516B1 KR101807516B1 (en) 2017-12-12

Family

ID=47905004

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110057451A KR101807516B1 (en) 2011-06-14 2011-06-14 Apparatus And Method Controlling Digital Device By Recognizing Motion

Country Status (1)

Country Link
KR (1) KR101807516B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015130572A1 (en) 2014-02-28 2015-09-03 Bombardier Inc. Method, system, and executable program product for controlling lighting
WO2015130567A1 (en) 2014-02-28 2015-09-03 Bombardier Inc. Method, system, and executable program product for controlling passenger services
WO2015130571A1 (en) 2014-02-28 2015-09-03 Bombardier Inc. Method, system, and executable program product for controlling passenger services
CN105095852A (en) * 2014-05-23 2015-11-25 上海通用汽车有限公司 Vehicle gesture instruction identification system
KR20160143252A (en) * 2015-06-05 2016-12-14 현대자동차주식회사 Geofence setting method, vehicle electronic system, vehicle management center, program and recording medium
US9573471B2 (en) 2013-12-11 2017-02-21 Hyundai Motor Company Terminal, vehicle having the same, and control method thereof

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101002072B1 (en) 2010-02-08 2010-12-17 전자부품연구원 Apparatus for touching a projection of images on an infrared screen

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9573471B2 (en) 2013-12-11 2017-02-21 Hyundai Motor Company Terminal, vehicle having the same, and control method thereof
WO2015130572A1 (en) 2014-02-28 2015-09-03 Bombardier Inc. Method, system, and executable program product for controlling lighting
WO2015130567A1 (en) 2014-02-28 2015-09-03 Bombardier Inc. Method, system, and executable program product for controlling passenger services
WO2015130571A1 (en) 2014-02-28 2015-09-03 Bombardier Inc. Method, system, and executable program product for controlling passenger services
CN105095852A (en) * 2014-05-23 2015-11-25 上海通用汽车有限公司 Vehicle gesture instruction identification system
KR20160143252A (en) * 2015-06-05 2016-12-14 현대자동차주식회사 Geofence setting method, vehicle electronic system, vehicle management center, program and recording medium

Also Published As

Publication number Publication date
KR101807516B1 (en) 2017-12-12

Similar Documents

Publication Publication Date Title
US20110242054A1 (en) Projection system with touch-sensitive projection image
JP6202942B2 (en) Information processing apparatus and control method thereof, computer program, and storage medium
US9477324B2 (en) Gesture processing
US9367138B2 (en) Remote manipulation device and method using a virtual touch of a three-dimensionally modeled electronic device
KR101807516B1 (en) Apparatus And Method Controlling Digital Device By Recognizing Motion
CN107077258B (en) Projection type image display device and image display method
JP3201426U (en) Virtual two-dimensional positioning module of input device and virtual input device
CN103019518B (en) A kind of method of automatic adjustment human-computer interaction interface
KR20100037014A (en) Optical finger navigation utilizing quantized movement information
US20130044054A1 (en) Method and apparatus for providing bare-hand interaction
US20150109437A1 (en) Method for controlling surveillance camera and system thereof
US20140168065A1 (en) Motion detection system
US9501160B2 (en) Coordinate detection system and information processing apparatus
KR20110100582A (en) Information processing apparatus, information processing method, and program
US9285887B2 (en) Gesture recognition system and gesture recognition method thereof
US10078396B2 (en) Optical touch sensing device and touch signal determination method thereof
KR101488287B1 (en) Display Device for Recognizing Touch Move
US9489077B2 (en) Optical touch panel system, optical sensing module, and operation method thereof
JP2020135096A (en) Display method, display unit, and interactive projector
US9430094B2 (en) Optical touch system, method of touch detection, and computer program product
KR101359731B1 (en) System for recognizing touch-point using mirror
US10185445B2 (en) Determining touch signals from interactions with a reference plane proximate to a display surface
TW201435656A (en) Information technology device input systems and associated methods
TWI535288B (en) Depth camera system
JP6057407B2 (en) Touch position input device and touch position input method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant