KR101227875B1 - Display device based on user motion - Google Patents

Display device based on user motion Download PDF

Info

Publication number
KR101227875B1
KR101227875B1 KR1020110051324A KR20110051324A KR101227875B1 KR 101227875 B1 KR101227875 B1 KR 101227875B1 KR 1020110051324 A KR1020110051324 A KR 1020110051324A KR 20110051324 A KR20110051324 A KR 20110051324A KR 101227875 B1 KR101227875 B1 KR 101227875B1
Authority
KR
South Korea
Prior art keywords
user
hand
screen
control unit
command
Prior art date
Application number
KR1020110051324A
Other languages
Korean (ko)
Other versions
KR20120132923A (en
Inventor
김호진
Original Assignee
김호진
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김호진 filed Critical 김호진
Priority to KR1020110051324A priority Critical patent/KR101227875B1/en
Publication of KR20120132923A publication Critical patent/KR20120132923A/en
Application granted granted Critical
Publication of KR101227875B1 publication Critical patent/KR101227875B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

디스플레이 장치가 제공된다. 본 디스플레이 장치는, 카메라를 통해 촬영된 영상 및 상기 깊이 측정 센서에 의해 감지된 골격 추적 데이터를 이용하여 사용자의 손을 인식하고, 인식된 사용자의 손의 동작에 대응되는 기능을 수행할 수 있게 되어, 사용자는 더욱 직관적으로 디스플레이 장치를 제어할 수 있게 된다.A display device is provided. The display apparatus may recognize a user's hand using an image captured by a camera and bone tracking data detected by the depth measuring sensor, and perform a function corresponding to the recognized user's hand operation. The user can more intuitively control the display device.

Description

사용자 동작 기반 디스플레이 장치 {Display device based on user motion}Display device based on user motion

사용자 동작 기반 디스플레이 장치에 관한 것으로, 더욱 상세하게는 사용자의 동작을 인식하여 제어되는 사용자 동작 기반 디스플레이 장치에 관한 것이다. The present invention relates to a user motion based display device, and more particularly, to a user motion based display device which recognizes and controls a user's motion.

기술 수준이나 경제 수준의 향상으로 인해, 방송국에서 송신하는 영상 신호 및 음성 신호를 수신하여 이를 출력하는 텔레비전 수상지의 보급이 일반화되었고, 현재 보급되어지는 텔레비전 수상기는 단순한 방송 데이터의 출력 기능 외에 다양한 부가 기능을 추가로 실행할 수 있는 형태로 진화하고 있다.Due to the improvement of the technical level and the economic level, the spread of the television award receiving and outputting video and audio signals transmitted from broadcasting stations has become popular. Is evolving into a form that can be implemented further.

그리고, 일반적으로 텔레비전 수상기의 채널 선택/볼륨 조절 등은 텔레비전 수상기의 외면에 노출되어 있는 기능 버튼의 입력을 통해 제어되거나 또는 근거리/원거리에서 리모콘을 이용하여 제어된다.In general, channel selection / volume adjustment or the like of the television receiver is controlled through input of a function button exposed on the outer surface of the television receiver or by using a remote controller at a short distance / distance.

즉, 텔레비전을 제어하는 기술은 기계식으로 채널과 볼륨을 조절하여 해당 전기 신호를 발생시키는 방식으로 시작으로, 텔레비전에 PCB 회로판을 접촉하여 버튼을 누름으로써 신호를 전달하는 전자식 방식으로 발전하였고, 또한 최근에는 일반화된 제어 방식인 리모콘을 이용한 제어 방식으로까지 진화하였다.In other words, the technology for controlling television has begun by mechanically adjusting channels and volumes to generate corresponding electric signals, and has developed into an electronic method of transmitting signals by touching a PCB circuit board to a television and pressing a button. Has evolved into a control method using a remote control, which is a generalized control method.

하지만, 현재는 다양한 형태의 사용자 인터페이스가 발전하고 있으며, 그 일환으로 사용자의 동작을 인식하는 사용자 인터페이스가 개발되고 있다. 이에 따라, 텔레비전과 같은 전자 기기를 사용자가 더욱 쉽게 제어하기 위한 방안의 모색이 요청된다. However, various types of user interfaces have been developed at present, and as a part thereof, user interfaces for recognizing a user's operation have been developed. Accordingly, there is a demand for a scheme for a user to more easily control an electronic device such as a television.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 카메라를 통해 촬영된 영상 및 상기 깊이 측정 센서에 의해 감지된 골격 추적 데이터를 이용하여 사용자의 손을 인식하고, 인식된 사용자의 손의 동작에 대응되는 기능을 수행하는 디스플레이 장치를 제공함에 있다. The present invention has been made to solve the above problems, an object of the present invention is to recognize the user's hand using the image taken through the camera and the skeleton tracking data sensed by the depth measuring sensor, The present invention provides a display apparatus that performs a function corresponding to the operation of a user's hand.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 디스플레이 장치는, 피사체를 촬영하는 카메라로 부터 촬영된 영상에 대한 데이터를 입력받고, 사용자의 동작을 감지하는 깊이 측정 센서로부터 골격 추적 데이터를 입력받는 입력부; 및 상기 카메라를 통해 촬영된 영상 및 상기 깊이 측정 센서에 의해 감지된 골격 추적 데이터를 이용하여 사용자의 손을 인식하고, 상기 인식된 사용자의 손의 동작에 대응되는 기능을 수행하는 제어부;를 포함한다. According to an embodiment of the present invention for achieving the above object, the display device receives the data on the captured image from the camera photographing the subject, and receives the skeleton tracking data from the depth measurement sensor for detecting the user's motion An input unit receiving an input; And a controller configured to recognize a user's hand by using the image captured by the camera and the skeleton tracking data sensed by the depth measuring sensor, and to perform a function corresponding to the operation of the recognized user's hand. .

그리고, 상기 제어부는, 상기 사용자의 손의 움직임에 따라 화면에 표시된 포인터의 위치를 이동시킬 수도 있다. The controller may move the position of the pointer displayed on the screen according to the movement of the user's hand.

또한, 상기 제어부는, 상기 사용자의 손의 움직임에 따라, 화면에 표시된 3차원 오브젝트에 대한 확대, 축소, 회전 중 어느 하나의 기능을 수행할 수도 있다. In addition, the controller may perform any one of zooming in, zooming out, and rotating the 3D object displayed on the screen according to the movement of the user's hand.

그리고, 상기 제어부는, 사용자의 손바닥을 움켜쥐는 동작이 인식되면 포인터의 현재 위치에서 클릭 명령을 수행할 수도 있다. The controller may perform a click command at the current position of the pointer when it is recognized that the user grabs the palm of the user.

또한, 상기 제어부는, 사용자가 양손을 움켜 쥔 상태에서 양손의 간격을 넓히는 동작이 인식되면, 현재 표시된 화면을 확대하는 명령을 수행할 수도 있다. The controller may perform a command to enlarge the currently displayed screen when the user recognizes an operation of widening the distance between the two hands while holding the hands.

그리고, 상기 제어부는, 사용자가 양손을 움켜 쥔 상태에서 양손의 간격을 좁히는 동작이 인식되면, 현재 표시된 화면을 축소하는 명령을 수행할 수도 있다. The controller may perform a command to reduce the currently displayed screen when the user recognizes an operation of narrowing the distance between the two hands while holding the hands.

또한, 상기 제어부는, 사용자가 한손을 움켜쥔 상태에서 특정 방향으로 이동시키면, 현재 화면에 표시된 3차원 오브젝트를 상기 특정 방향으로 회전시키는 명령을 수행할 수도 있다. The controller may perform a command to rotate the 3D object currently displayed on the screen in the specific direction when the user moves in a specific direction while holding one hand.

그리고, 상기 제어부는, 사용자가 한손을 움켜쥔 상태에서 특정 방향으로 이동시키면, 현재 화면에 표시된 화면을 가로 또는 세로 방향으로 스크롤하는 명령을 수행할 수도 있다. The controller may perform a command to scroll the screen displayed on the current screen in a horizontal or vertical direction when the user moves in a specific direction while holding one hand.

또한, 상기 입력부는, 사용자의 음성 데이터를 더 입력받고, 상기 제어부는, 상기 인식된 사용자의 손의 동작 및 사용자의 음성 데이터에 대응되는 기능을 수행할 수도 있다. The input unit may further receive user voice data, and the controller may perform a function corresponding to the recognized user's hand operation and the user's voice data.

본 발명의 다양한 실시예에 따르면, 카메라를 통해 촬영된 영상 및 상기 깊이 측정 센서에 의해 감지된 골격 추적 데이터를 이용하여 사용자의 손을 인식하고, 인식된 사용자의 손의 동작에 대응되는 기능을 수행하는 디스플레이 장치를 제공할 수 있게 되어, 사용자는 더욱 직관적으로 디스플레이 장치를 제어할 수 있게 된다. According to various embodiments of the present disclosure, a user's hand is recognized using an image captured by a camera and bone tracking data sensed by the depth measuring sensor, and a function corresponding to the recognized user's hand motion is performed. The display device can be provided so that the user can control the display device more intuitively.

도 1은 본 발명의 일 실시예에 따른, 사용자 동작 기반 제어장치가 TV에 장착된 상태를 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 사용자 동작 기반 제어장치의 구성을 도시한 도면,
도 3은 본 발명의 일 실시예에 따른, TV의 구성을 도시한 도면,
도 4는 본 발명의 일 실시예에 따른, 사용자의 손을 이동시키는 동작에 따라 TV의 화면에 표시된 포인터가 이동하는 기능을 도시한 도면,
도 5는 본 발명의 일 실시예에 따른, TV의 화면에 표시된 구가 사용자의 동작에 의해 확대되는 경우를 도시한 도면,
도 6은 본 발명의 일 실시예에 따른, TV의 화면에 표시된 구가 사용자의 동작에 의해 축소되는 경우를 도시한 도면,
도 7은 본 발명의 일 실시예에 따른, TV의 화면에 표시된 리스트가 사용자의 동작에 의해 스크롤되는 경우를 도시한 도면,
도 8은 본 발명의 일 실시예에 따른, 사용자 동작 기반 제어장치가 내장된 TV를 도시한 도면이다. 1 is a diagram illustrating a state in which a user motion based control apparatus is mounted on a TV according to an embodiment of the present invention;
2 is a diagram showing the configuration of a user motion based control apparatus according to an embodiment of the present invention;
3 is a diagram illustrating a configuration of a TV according to an embodiment of the present invention;
4 is a diagram illustrating a function of moving a pointer displayed on a screen of a TV according to an operation of moving a user's hand, according to an embodiment of the present invention;
5 is a diagram illustrating a case in which a sphere displayed on a screen of a TV is enlarged by a user's operation according to one embodiment of the present invention;
FIG. 6 is a diagram illustrating a case in which a sphere displayed on a screen of a TV is reduced by a user's operation according to one embodiment of the present invention;
7 is a diagram illustrating a case in which a list displayed on a screen of a TV is scrolled by a user's operation, according to an embodiment of the present invention;
8 is a diagram illustrating a TV with a built-in user motion control device according to an embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. Hereinafter, with reference to the drawings will be described the present invention in more detail.

도 1은 본 발명의 일 실시예에 따른, 사용자 동작 기반 제어장치(100)가 TV(200)에 장착된 상태를 도시한 도면이다. 사용자 동작 기반 제어장치(100)는 사용자의 얼굴 및 동작을 감지하고, TV(200)는 감지된 사용자의 얼굴 및 동작에 따라 제어된다. 1 is a diagram illustrating a state in which a user motion based control apparatus 100 is mounted on a TV 200 according to an embodiment of the present invention. The user motion based control apparatus 100 detects a user's face and motion, and the TV 200 is controlled according to the detected user's face and motion.

도 2는 본 발명의 일 실시예에 따른, 사용자 동작 기반 제어장치(100)의 구성을 도시한 도면이다. 도 2에 도시된 바와 같이, 사용자 동작 기반 제어장치(100)는 카메라(110), 깊이 측정 센서(120), 마이크(130), 제어부(140) 및 출력부(150)를 포함한다. 또한, 도 2에서는 깊이 측정 센서(120), 카메라(110) 및 마이크(130)가 별개인 것으로 도시되어 있으나, 카메라(110) 및 마이크(130)가 깊이 측정 센서(120)에 내장되어 있는 형태로 구현될 수도 있다. 2 is a diagram illustrating a configuration of a user operation based control apparatus 100 according to an embodiment of the present invention. As shown in FIG. 2, the user motion based control apparatus 100 includes a camera 110, a depth measurement sensor 120, a microphone 130, a controller 140, and an output unit 150. In addition, although the depth measuring sensor 120, the camera 110, and the microphone 130 are illustrated as separate in FIG. 2, the camera 110 and the microphone 130 are embedded in the depth measuring sensor 120. It may be implemented as.

카메라(110)는 피사체를 촬영하고, 촬영된 이미지 신호를 제어부(140)로 제공한다. 카메라(110)는 렌즈를 통과한 빛을 감지하여 피사체의 상에 대한 이미지 신호를 생성한다. 디지털 카메라의 경우는, 촬상 영역에 이미지 센서들이 배열된다. 본 실시예에서 카메라(110)가 디지털 카메라인 경우에 대해 설명한다. 디지털 카메라에 쓰이는 이미지 센서는 보통 크게 CCD(charge coupled devices)와 CMOS(complementary metal oxide semi-conductor)로 나뉘며 방식은 다르지만 기본원리는 동일하다. CCD는 약한 빛에도 민감하게 반응하며 이미지품질이 높아 대부분의 디지털카메라에 사용된다. 하지만 생산 공정이 까다롭고 생산단가가 비싸다는 단점이 있다. 반면, CMOS는 CCD에 비해 생산 단가가 적게 들고 생산과정도 비교적 쉬워 저가형 디지털 카메라의 센서로 많이 사용됐었으며, 최근에는 영상처리기술의 발달로 인하여 고화질 고품질의 이미지 구현이 가능해져 전문가용 DSLR에도 쓰이면서 많이 사용되고 있다. 이와 같은 카메라(110)는 사용자를 촬영하여, 촬영된 사용자에 대한 이미지 신호를 생성하여 제어부(140)로 전송하게 된다. The camera 110 photographs a subject and provides the photographed image signal to the controller 140. The camera 110 detects light passing through the lens and generates an image signal of an image of a subject. In the case of a digital camera, image sensors are arranged in the imaging area. In the present embodiment, a case in which the camera 110 is a digital camera will be described. Image sensors used in digital cameras are generally divided into charge coupled devices (CCD) and complementary metal oxide semi-conductors (CMOS). The method is different but the basic principle is the same. CCDs are sensitive to weak light and have high image quality and are used in most digital cameras. However, there are disadvantages in that the production process is difficult and the production cost is high. On the other hand, CMOS has been used as a sensor for low-cost digital cameras because it has a lower production cost and a relatively easy production process than CCDs. Recently, the development of image processing technology enables high-quality, high-quality images to be used in professional DSLRs. While being used a lot. The camera 110 photographs the user, generates an image signal for the photographed user, and transmits the image signal to the controller 140.

깊이 측정 센서(120)는 특정 영역의 깊이를 측정하여 깊이 데이터를 생성하고, 측정된 깊이 데이터를 이용하여 특정 영역에 포함된 사용자의 골격 추적 데이터 및 깊이 측정 이미지를 생성한다. 여기에서, 깊이 측정 이미지는 특정 영역에 대한 깊이 데이터들의 크기를 특정 색상, 채도, 명암 등으로 이미지화하여 표현한 이미지 데이터를 나타낸다. The depth measurement sensor 120 generates depth data by measuring a depth of a specific area, and generates skeleton tracking data and a depth measurement image of a user included in the specific area by using the measured depth data. Here, the depth measurement image represents image data obtained by expressing the size of the depth data for a specific region in a specific color, saturation, contrast, and the like.

구체적으로, 깊이 측정 센서(120)는 사용자를 스캔하기 위해 특정 영역에 다량의 적외선을 쏜다. 그러면, 사용자의 몸에 닿은 적외선은 다시 반사되서 깊이 측정 센서(120)로 전달된다. 깊이 측정 센서(120)는 반사된 적외선을 픽셀별로 감지하여, 각 픽셀별 깊이를 측정하고, 각 픽셀별 깊이를 이용하여 특정 영역 전체에 대한 깊이 데이터를 생성하게 된다. Specifically, the depth measurement sensor 120 shoots a large amount of infrared light in a specific area to scan the user. Then, the infrared rays hitting the user's body are reflected back to the depth measurement sensor 120. The depth sensor 120 senses the reflected infrared rays for each pixel, measures the depth for each pixel, and generates depth data for the entire specific region using the depth for each pixel.

그 후에, 깊이 측정 센서(120)는 특정 영역에 대한 깊이 데이터를 이용하여 사용자의 골격 추적 데이터를 추출한다. 구체적으로, 깊이 측정 센서(120)는 사용자의 모양으로 튀어 나와 있는 영역을 사용자가 위치한 영역으로 판단하고, 기설정된 골격 및 관절 부분에 해당되는 위치를 추출한다. 그리고, 깊이 측정 센서(120)는 골격 및 관절 부분에 해당되는 위치들을 연결하여 사용자에 대한 골격 추적 데이터를 산출하게 된다. 그 후에, 깊이 측정 센서(120)는 기설정된 골격 및 관절 부분에 해당되는 위치의 움직임을 계속 추적하여 사용자의 동작에 해당되는 골격 추적 데이터를 감지하게 된다. 그 후에, 깊이 측정 센서(120)는 생성된 골격 추적 데이터를 제어부(140)로 전송하게 된다. Thereafter, the depth measurement sensor 120 extracts the skeleton tracking data of the user using the depth data for the specific region. In detail, the depth measuring sensor 120 determines the area protruding in the shape of the user as the area where the user is located, and extracts a position corresponding to a predetermined skeleton and joint part. The depth sensor 120 calculates skeletal tracking data for the user by connecting the positions corresponding to the skeletal and the joint parts. Thereafter, the depth measurement sensor 120 continues to track the movement of the position corresponding to the predetermined skeleton and joint part to detect the skeleton tracking data corresponding to the user's motion. Thereafter, the depth measurement sensor 120 transmits the generated skeleton tracking data to the controller 140.

또한, 깊이 측정 센서(120)는 특정 영역의 깊이 데이터를 측정하여 제어부(140)로 전송하고, 제어부(140)가 사용자의 골격 추적 데이터를 생성할 수도 있다. In addition, the depth measurement sensor 120 may measure depth data of a specific region and transmit the depth data to the controller 140, and the controller 140 may generate skeleton tracking data of the user.

이와 같은 과정을 통해, 깊이 측정 센서(120)는 사용자의 동작을 인식하게 된다. Through this process, the depth measurement sensor 120 recognizes the user's motion.

마이크(130)는 사용자의 음성을 감지하여, 감지된 음성 데이터를 제어부(140)로 전송한다. The microphone 130 detects a user's voice and transmits the detected voice data to the controller 140.

저장부(160)는 다양한 사용자 정보 및 사용자별 환경 설정 정보가 저장되어 있다. 사용자 정보는 사용자 동작 기반 제어장치(100)에 등록된 사용자의 개인정보, 얼굴 정보, 체형 정보 및 음성 정보가 포함되어 있다. The storage unit 160 stores various user information and environment setting information for each user. The user information includes personal information, face information, body shape information, and voice information of a user registered in the user motion based control apparatus 100.

사용자의 개인정보는 사용자 이름, 아이디 등을 포함한다. The user's personal information includes a user name, ID, and the like.

그리고, 얼굴 정보는 사용자의 얼굴 사진 및 얼굴의 특징점 등의 얼굴 인식에 사용되는 정보이다. 얼굴 정보는 촬영된 영상에 포함된 얼굴을 이용하여 사용자를 인식하는데 사용된다. The face information is information used for face recognition such as a face photograph of a user and feature points of a face. Face information is used to recognize a user by using a face included in a captured image.

또한, 사용자 체형 정보는 사용자별 체형에 대한 형태 정보를 나타낸다. 사용자별로 키, 몸무게 등이 다르기 때문에 사용자의 체형 정보를 이용하여 사용자를 인식을 위한 보조 정보로 이용될 수도 있다. 또한, 사용자 체형 정보는 사용자 동작의 인식율을 높이기 위해 사용될 수도 있다. In addition, the user body type information indicates shape information about a body type for each user. Since height and weight are different for each user, the user may be used as auxiliary information for recognizing the user by using the user's body type information. In addition, the user body type information may be used to increase the recognition rate of the user's motion.

그리고, 사용자의 음성 정보는 각 사용자별 음성 정보로 저장된다. 구체적으로, 사용자별 음성 정보는 주파수 대역 및 음색 등에 대해 각각 저장될 수 있다. 그리고, 사용자별 음성 정보는 마이크(130)를 통해 입력된 음성이 누구의 음성인지를 구분해 내는데 사용된다. The voice information of the user is stored as voice information for each user. Specifically, user-specific voice information may be stored for frequency bands and tones, respectively. The user-specific voice information is used to distinguish whose voice the voice input through the microphone 130 is.

또한, 사용자별 환경 설정 정보는 각 사용자별로 등록된 사용별 환경 설정 정보이다. 사용자별 환경 설정 정보는 각 사용자별 동작 기반의 사용자 인터페이스 정보를 포함한다. 여기에서, 사용자 인터페이스 정보는 사용자의 동작에 따른 특정 기기의 제어 명령들에 대한 정보를 나타낸다. 같은 동작, 음성의 입력에 대해서도 사용자별로 다른 명령으로 설정될 수 있다. 예를 들어, '만세 동작'이 사용자 A의 경우 사용자별 환경 설정 정보에 볼륨 업 명령으로 설정될 수 있고, 사용자 B의 경우 채널 업 명령으로 설정될 수도 있다. 또한, 사용자 인터페이스 정보는 사용자의 음성에 따른 특정 기기의 제어 명령들 및 사용자의 동작과 음성에 따른 특정 기기의 제어명령들에 대한 정보를 포함할 수도 있다. In addition, the environment setting information for each user is environment setting information for each user registered for each user. The user setting information for each user includes user interface information based on actions for each user. Here, the user interface information represents information on control commands of a specific device according to the user's operation. The same operation and voice input may also be set to different commands for each user. For example, the 'hurray operation' may be set as a volume up command in the user-specific environment setting information for the user A, or may be set as a channel up command for the user B. In addition, the user interface information may include control commands of a specific device according to the voice of the user and information about control commands of the specific device according to the user's operation and voice.

제어부(140)는 카메라(110)를 통해 촬영된 영상을 이용하여 사용자의 얼굴을 인식하고, 인식된 사용자에 대응되는 환경설정 정보를 추출하며, 깊이 측정 센서(120)에 의해 감지된 데이터를 사용자에 대응되는 환경설정 정보에 따라 처리한다. The controller 140 recognizes a user's face using the image photographed by the camera 110, extracts configuration information corresponding to the recognized user, and uses the data sensed by the depth measurement sensor 120. Process according to the environment setting information corresponding to.

구체적으로, 제어부(140)는 카메라(110)를 통해 촬영된 영상에서 얼굴을 구분해 낸다. 그리고, 제어부(140)는 촬영된 영상에 포함된 얼굴을 저장부(160)에 저장된 얼굴 정보와 비교하여, 촬영된 영상에 얼굴이 포함된 사용자가 누구인지를 인식하게 된다. 제어부(140)는 저장된 사용자별 환경설정 정보들 중 인식된 사용자에 대응되는 환경설정 정보를 적용하게 된다. 제어부(140)는 깊이 측정 센서(120)에 의해 감지된 골격 추적 데이터를 이용하여 사용자의 동작의 종류를 파악하게 된다. 따라서, 제어부(140)는 깊이 측정 센서(120)에 의해 감지된 골격 추적 데이터에 따른 사용자의 동작의 종류를 이용하여, 적용된 환경설정 정보에 따라 해당되는 제어 명령을 수행하게 된다. In detail, the controller 140 distinguishes faces from images captured by the camera 110. The controller 140 compares the face included in the captured image with the face information stored in the storage 160 to recognize who the user includes the face in the captured image. The controller 140 applies the environment setting information corresponding to the recognized user among the stored user setting information for each user. The controller 140 determines the type of the user's motion by using the skeleton tracking data sensed by the depth measuring sensor 120. Therefore, the controller 140 performs a control command corresponding to the applied configuration information by using the type of the user's motion according to the bone tracking data sensed by the depth sensor 120.

또한, 제어부(140)는 마이크(130)를 통해 입력되는 음성 신호가 누구의 음성인지를 구분해낼 수 있다. 구체적으로, 제어부(140)는 마이크(130)를 통해 입력되는 음성신호의 음성 정보(예를 들어, 주파수 대역 및 음색 정보)를 추출한다. 그리고, 제어부(140)는 저장부(160)에 저장된 사용자별 음성 정보를 입력된 음성신호의 음성 정보와 비교하여, 사용자를 구분하게 된다. In addition, the controller 140 may distinguish whose voice the voice signal input through the microphone 130 is. In detail, the controller 140 extracts voice information (eg, frequency band and tone information) of the voice signal input through the microphone 130. The controller 140 compares the user-specific voice information stored in the storage unit 160 with the voice information of the input voice signal to distinguish the user.

이와 같이, 제어부(140)는 얼굴 정보 및 음성 정보를 이용하여 사용자를 인식할 수 있게 된다. 그리고, 제어부(140)는 사용자의 동작에 대한 데이터인 골격 추적 데이터를 이용하여 사용자의 동작에 대응되는 TV(200)에 대한 제어 명령을 선택하게 된다. 또한, 제어부(140)는 사용자의 음성을 이용하여 사용자의 음성에 대응되는 TV(200)에 대한 제어 명령을 선택할 수도 있다. 그리고, 제어부(140)는 사용자의 음성과 동작을 조합하여 TV(200)에 대한 제어 명령을 선택할 수도 있다. As such, the controller 140 may recognize the user by using face information and voice information. In addition, the controller 140 selects a control command for the TV 200 corresponding to the user's motion by using the skeleton tracking data which is data on the user's motion. In addition, the controller 140 may select a control command for the TV 200 corresponding to the voice of the user using the voice of the user. The controller 140 may select a control command for the TV 200 by combining a user's voice and an operation.

또한, 제어부(140)는 감지된 골격 추적 데이터, 음성 데이터 및 영상 데이터 중 적어도 하나를 처리하지 않고 바로 TV(200)로 전송할 수도 있다. 이 경우, TV(200)가 직접 골격 추적 데이터, 음성 데이터 및 얼굴 정보 중 적어도 하나를 처리하여 대응되는 제어 명령을 수행하게 된다. 본 실시예에서는 이와 같은 경우에 대해 설명한다. In addition, the controller 140 may directly transmit to the TV 200 without processing at least one of the detected skeleton tracking data, audio data, and image data. In this case, the TV 200 directly processes at least one of skeleton tracking data, voice data, and face information to perform a corresponding control command. In this embodiment, such a case will be described.

또한, 제어부(140)는 사용자에 따른 동작 패턴 및 관련 정보들을 수집하여 저장부(160)에 저장할 수도 있다. 그리고, 제어부(140)는 사용자의 골격 추적 데이터를 산출할 때, 사용자의 동작 패턴에 대해 수집된 데이터를 이용하여 골격 추적 데이터 산출의 정확도를 높일 수도 있다. In addition, the controller 140 may collect an operation pattern and related information according to a user and store the same in the storage 160. In addition, when calculating the skeleton tracking data of the user, the controller 140 may increase the accuracy of the skeleton tracking data calculation using the data collected for the user's operation pattern.

그리고, 제어부(140)는 사용자에 의해 동작에 따른 명령어를 직접 설정할 수도 있다. 구체적으로, 제어부(140)는 깊이 측정 센서(120)를 통해 감지된 사용자의 동작에 대응되는 제어 명령을 사용자의 선텍에 따라 설정할 수도 있다. 즉, 사용자는 만세 동작이 채널 업 명령으로 설정되도록 설정할 수도 있다. In addition, the controller 140 may directly set a command according to an operation by the user. In detail, the controller 140 may set a control command corresponding to the user's motion detected by the depth measurement sensor 120 according to the user's selection. That is, the user may set the hurray to be set to the channel up command.

출력부(150)는 제어부(140)에서 출력되는 제어 명령 또는 영상 데이터 및 골격 추척 데이터를 TV(200)로 출력하게 된다. 출력부(150)는 유선 또는 무선으로 데이터를 출력하게 된다. 출력부(150)는 무선일 경우 블루투스 또는 무선랜을 통해 데이터를 TV(200)로 전송하게 된다. The output unit 150 outputs a control command or image data and skeleton tracking data output from the controller 140 to the TV 200. The output unit 150 outputs data by wire or wirelessly. The output unit 150 transmits data to the TV 200 through a Bluetooth or a wireless LAN when wireless.

이와 같은 구조의 사용자 동작 기반 제어장치(100)는 감지된 골격 추적 데이터, 음성 데이터 및 영상 데이터 중 적어도 하나를 처리하지 않고 바로 TV(200)로 전송할 수 있다. 이 경우, TV(200)는 직접 골격 추적 데이터, 음성 데이터 및 영상 데이터 중 적어도 하나를 처리하여 대응되는 제어 명령을 수행하게 된다. 본 실시예에서는 이와 같은 경우에 대해 설명한다. The user motion-based control apparatus 100 having the structure as described above may directly transmit to the TV 200 without processing at least one of the detected skeleton tracking data, audio data, and image data. In this case, the TV 200 directly processes at least one of skeleton tracking data, audio data, and image data to perform a corresponding control command. In this embodiment, such a case will be described.

도 3은 본 발명의 일 실시예에 따른, 디스플레이 장치(200)의 구조를 도시한 도면이다. 도 3에 도시된 바와 같이, 디스플레이 장치(200)는 입력부(210), 저장부(220), 디스플레이부(230), 및 제어부(240)를 포함한다. 3 is a diagram illustrating a structure of a display apparatus 200 according to an embodiment of the present invention. As shown in FIG. 3, the display apparatus 200 includes an input unit 210, a storage unit 220, a display unit 230, and a controller 240.

입력부(210)는 사용자 동작 기반 제어장치(100)로부터 감지된 데이터들을 수신한다. 구체적으로, 입력부(210)는 피사체를 촬영하는 카메라로 부터 촬영된 영상에 대한 데이터를 입력받고, 사용자의 동작을 감지하는 깊이 측정 센서로부터 골격 추적 데이터를 입력받는다. The input unit 210 receives the detected data from the user motion based control apparatus 100. In detail, the input unit 210 receives data on a captured image from a camera photographing a subject, and receives skeleton tracking data from a depth measuring sensor detecting a user's motion.

입력부(210)는 유선 또는 무선 통신을 통해 데이터를 수신할 수 있다. 예를 들어, 유선 통신이 이용되는 경우, 입력부(210)는 USB를 통해 사용자 동작 기반 제어장치(100)와 연결될 수도 있다. 그리고, 무선 통신의 경우, 입력부(210)는 블루투스, 무선랜 등을 이용하여 사용자 동작 기반 제어장치(100)와 연결될 수 있다. The input unit 210 may receive data through wired or wireless communication. For example, when wired communication is used, the input unit 210 may be connected to the user motion based control apparatus 100 through USB. In addition, in the case of wireless communication, the input unit 210 may be connected to the user operation based control apparatus 100 using Bluetooth, WLAN, or the like.

저장부(220)는 다양한 데이터들이 저장된다. 구체적으로, 저장부(220)는 동작 및 음성 입력 기반의 제어환경과 유저 인터페이스에 적합하게 설계된 가전제품용 커널 레벨의 운영체제가 설치되어 있다. 이와 같은 운영체제는 사용자의 동작을 기반으로 하는 유저 인터페이스의 운영 환경을 제공하며, 커널 레이어, UI(User Interface) 레이어, 및 소프트웨어 레이어로 구성된다. The storage unit 220 stores various data. Specifically, the storage unit 220 is installed with a kernel-level operating system for home appliances designed to be suitable for operation and voice input based control environment and user interface. Such an operating system provides an operating environment of a user interface based on a user's motion, and is composed of a kernel layer, a user interface (UI) layer, and a software layer.

커널 레이어는 리눅스 또는 기타 커널로 이루어진 기본적인 레이어로, TV 또는 깊이 측정 센서 등의 하드웨어와 소프트웨어 컴포넌트간의 소통 및 시스템 리소스 할당을 담당한다. The kernel layer is a basic layer of Linux or other kernels that is responsible for the communication and allocation of system resources between hardware and software components, such as TVs or depth sensors.

UI 레이어는 그래픽, 텍스트 입력을 통한 사용자 이용 환경에 관련된 기능을 제공한다. UI 레이어에서 사용자 동작 및 음성을 이용한 유저 인터페이스가 정의되고 관련 기능을 제공하게 된다. The UI layer provides functions related to the user's environment through graphic and text input. In the UI layer, user interfaces using voices and user actions are defined and related functions are provided.

소프트웨어 레이어는 각종 애플리케이션 및 앱스토어, 스트리밍 콘텐츠와 관련된 프레임워크 및 개발자들을 위한 SDK, API가 포함되어 있는 계층이다. The software layer is a layer that contains SDKs and APIs for various applications and app stores, frameworks related to streaming content, and developers.

저장부(220)에는 이와 같은 운영체제가 설치되어 있어 사용자 동작을 이용한 유저 인터페이스를 원활하게 제공할 수 있게 된다. The storage unit 220 is provided with such an operating system to smoothly provide a user interface using a user action.

디스플레이부(230)는 다양한 영상을 화면에 디스플레이하게 된다. The display 230 displays various images on the screen.

제어부(240)는 TV(200)의 전반적인 기능을 제어한다. 구체적으로, 제어부(240)는 카메라를 통해 촬영된 영상 및 상기 깊이 측정 센서에 의해 감지된 골격 추적 데이터를 이용하여 사용자의 손을 인식하고, 상기 인식된 사용자의 손의 동작에 대응되는 기능을 수행한다. The controller 240 controls the overall functions of the TV 200. In detail, the controller 240 recognizes the user's hand using the image captured by the camera and the skeleton tracking data detected by the depth measuring sensor, and performs a function corresponding to the operation of the recognized user's hand. do.

일반적으로, 손 영역을 검출하기 위한 방법으로는 RGB 컬러 모델에서 피부색을 찾는 것이 보편적이다. RGB 컬러 좌표계를 이용하면 RGB 성분 모두에 색상 정보가 포함되어 있으므로 16,777,216가지 색상 모두에 대한 고려가 필요하다는 것을 의미한다. 따라서 대부분의 컬러 양상처리 응용 프로그램에서는 색상과 명도 정보가 혼합된 RGB 컬러 좌표계 상의 영상 정보를 색상과 명도 정보가 분리되는 다른 컬러 좌표계로 변환하여 처리한다. 제어부(240)는 이와 같은 방법을 이용하여 촬영된 영상에서 손 영역을 검출할 수 있게 된다. In general, it is common to find the skin color in the RGB color model as a method for detecting the hand region. Using the RGB color coordinate system means that all of the RGB components contain color information, which requires consideration for all 16,777,216 colors. Therefore, most color image processing applications convert image information on an RGB color coordinate system in which color and brightness information are mixed into another color coordinate system in which color and brightness information are separated. The controller 240 may detect the hand region in the captured image by using the above method.

또한, 제어부(240)는 골격 추적 데이터를 이용하여 손에 해당하는 영역이 어떤 동작을 취하는지 및 어떤 방향으로 이동하는지를 파악할 수 있게 된다. 예를 들어, 제어부(240)는 손의 영역을 넓은 경우와 좁은 경우로 구분하고, 손의 영역이 넓은 경우를 손을 편 상태로 판단하고, 좁은 경우를 손을 움켜쥔 상태인 것으로 판단할 수 있다. 이외 에도, 손의 동작을 인식하는 방법은 다양하게 적용될 수 있음은 물론이다. In addition, the control unit 240 may determine the movement of the area corresponding to the hand and in which direction, using the skeleton tracking data. For example, the controller 240 may divide the area of the hand into a wide case and a narrow case, determine the case where the area of the hand is wide as the open state, and determine that the narrow case is the state where the hand is held. have. In addition, the method of recognizing the motion of the hand may be applied in various ways.

그리고, 제어부(240)는 인식된 사용자의 손의 동작에 대응되는 다양한 기능 또는 명령을 수행한다. 구체적으로, 제어부(240)는 사용자의 손의 움직임에 따라 화면에 표시된 포인터의 위치를 이동시킬 수 있다. 사용자의 손의 동작을 인식한 결과 손이 펴진 상태로 이동한다면, 제어부(240)는 이를 화면에 표시된 포인터의 이동 명령으로 인식하여, 손이 이동한 방향으로 포인터를 이동시키게 된다. In addition, the controller 240 performs various functions or commands corresponding to the recognized operation of the user's hand. In detail, the controller 240 may move the position of the pointer displayed on the screen according to the movement of the user's hand. As a result of recognizing the operation of the user's hand, if the hand moves to the open state, the controller 240 recognizes this as a movement command of the pointer displayed on the screen, and moves the pointer in the direction in which the hand moves.

이와 같은 동작에 대해, 도 4에 도시되어 있다. 도 4는 본 발명의 일 실시예에 따른, 사용자의 손을 이동시키는 동작에 따라 TV(200)의 화면에 표시된 포인터가 이동하는 기능을 도시한 도면이다. 도 4에 도시된 바와 같이, 사용자가 손을 이동시키면, TV(200)에 표시된 포인터는 손을 따라 이동하게 된다. This operation is shown in FIG. 4. 4 is a diagram illustrating a function of moving a pointer displayed on a screen of the TV 200 according to an operation of moving a user's hand, according to an exemplary embodiment. As shown in FIG. 4, when a user moves a hand, the pointer displayed on the TV 200 moves along the hand.

또한, 제어부(240)는, 사용자의 손바닥을 움켜쥐는 동작이 인식되면 포인터의 현재 위치에서 클릭 명령을 수행하게 된다. 즉, 제어부(240)는 사용자의 손을 움켜 쥐는 동작을 인식했을 때, 마우스의 왼쪽 버튼을 클릭했을 때와 동일한 기능을 하도록 클릭 명령을 수행하게 된다. 예를 들어, 포인터가 특정 파일의 위에 위치된 상태에서 사용자가 손을 쥐는 동작을 취한 경우, 제어부(240)는 특정 파일을 선택하는 명령을 실행하게 된다. In addition, if it is recognized that the user grabs the palm of the user, the controller 240 performs a click command at the current position of the pointer. That is, when the controller 240 recognizes an operation of grasping the user's hand, the controller 240 performs a click command to perform the same function as clicking the left button of the mouse. For example, when the user takes his hand while the pointer is positioned on the specific file, the controller 240 executes a command for selecting a specific file.

또한, 제어부(240)는 사용자의 손의 움직임에 따라, 화면에 표시된 사진 또는 3차원 오브젝트에 대한 확대, 축소, 회전 중 어느 하나의 기능을 수행할 수도 있다. 이와 관련하여, 도 5 및 도 6에 도시된 실시 예에 따라 이하에서 설명한다. In addition, the controller 240 may perform any one function of zooming in, zooming out, and rotating the picture or 3D object displayed on the screen according to the movement of the user's hand. In this regard, it will be described below according to the embodiment shown in FIGS. 5 and 6.

도 5는 본 발명의 일 실시예에 따른, TV(200)의 화면에 표시된 구가 사용자의 동작에 의해 확대되는 경우를 도시한 도면이다. 도 5에 도시된 바와 같이, 사용자가 두 손을 움켜쥔 상태로 양쪽으로 벌리는 동작을 취하면, TV(200)는 이를 확대 명령으로 인식하고, 화면에 표시된 구를 확대시키게 된다. FIG. 5 is a diagram illustrating a case in which a sphere displayed on a screen of the TV 200 is enlarged by a user's operation according to an embodiment of the present invention. As shown in FIG. 5, when the user takes an operation of spreading the hands apart with both hands, the TV 200 recognizes this as an enlargement command and enlarges the sphere displayed on the screen.

이와 같이, 제어부(240)는 사용자가 양손을 움켜 쥔 상태에서 양손의 간격을 넓히는 동작이 인식되면, 현재 표시된 화면을 확대하는 명령을 수행하게 된다. As such, when the user recognizes an operation of widening the distance between the two hands while the user is holding both hands, the controller 240 performs a command to enlarge the currently displayed screen.

도 6은 본 발명의 일 실시예에 따른, TV(200)의 화면에 표시된 구가 사용자의 동작에 의해 축소되는 경우를 도시한 도면이다. 도 6에 도시된 바와 같이, 사용자가 두 손을 움켜쥔 상태로 양손의 간격을 좁히는 동작을 취하면, TV(200)는 이를 축소 명령으로 인식하고, 화면에 표시된 구를 축소시키게 된다. FIG. 6 is a diagram illustrating a case in which a sphere displayed on a screen of the TV 200 is reduced by a user's operation according to an embodiment of the present invention. As shown in FIG. 6, when the user takes an operation of narrowing the distance between both hands while holding both hands, the TV 200 recognizes this as a reduction command and reduces the sphere displayed on the screen.

이와 같이, 제어부(240)는 사용자가 양손을 움켜 쥔 상태에서 양손의 간격을 좁히는 동작이 인식되면, 현재 표시된 화면을 축소하는 명령을 수행하게 된다. As such, when it is recognized that the user narrows the distance between the two hands while the user is holding both hands, the controller 240 performs a command to reduce the currently displayed screen.

또한, 제어부(240)는 사용자가 한손을 움켜쥔 상태에서 특정 방향으로 이동시키면, 현재 화면에 표시된 3차원 오브젝트를 특정 방향으로 회전시키는 명령을 수행할 수도 있다. 예를 들어, 3차원 구가 화면에 표시된 상태에서 사용자가 오른쪽으로 손을 움직인 경우, 제어부(240)는 3차원 구를 오른쪽 방향으로 회전시키는 명령을 수행하게 된다. In addition, when the user moves in a specific direction while holding one hand, the controller 240 may perform a command to rotate the 3D object currently displayed on the screen in a specific direction. For example, when the user moves his hand to the right while the 3D sphere is displayed on the screen, the control unit 240 performs a command to rotate the 3D sphere in the right direction.

그리고, 제어부(240)는 사용자가 한손을 움켜쥔 상태에서 특정 방향으로 이동시키면, 현재 화면에 표시된 화면을 가로 또는 세로 방향으로 스크롤하는 명령을 수행할 수도 있다. 구체적인 예는, 도 7에 도시된 바와 같다. 도 7은 본 발명의 일 실시예에 따른, TV(200)의 화면에 표시된 리스트가 사용자의 동작에 의해 스크롤되는 경우를 도시한 도면이다. 도 7에 도시된 바와 같이, 사용자가 손을 움켜쥔 채로 아래로 움직인 경우, 제어부(240)는 화면에 표시된 리스트를 아래 방향으로 스크롤하게 된다. In addition, when the user moves in a specific direction while grasping one hand, the controller 240 may perform a command to scroll the screen displayed on the current screen in a horizontal or vertical direction. A specific example is as shown in FIG. FIG. 7 is a diagram illustrating a case in which a list displayed on a screen of the TV 200 is scrolled by a user's operation according to an embodiment of the present invention. As illustrated in FIG. 7, when the user moves downward while holding his hand, the controller 240 scrolls the list displayed on the screen in the downward direction.

또한, 상기 제어부(240)는 인식된 사용자의 손의 동작 및 사용자의 음성 데이터에 대응되는 기능을 수행할 수도 있다. 즉, 제어부(240)는 사용자의 특정 음성이 입력된 후, 일정시간동안의 사용자의 동작만을 입력받을 수도 있다. 예를 들어, 제어부(240)는 사용자의 '아'라는 음성이 입력된 후, 10초동안의 움직임에 대해 골격 추적 데이터를 입력받고, 10초 동안의 동작에 대한 기능 및 명령을 수행할 수도 있다. In addition, the controller 240 may perform a function corresponding to the recognized operation of the user's hand and voice data of the user. That is, the controller 240 may receive only the user's motion for a predetermined time after the user's specific voice is input. For example, after the user's voice 'A' is input, the controller 240 may receive the skeleton tracking data with respect to the movement for 10 seconds and perform a function and a command for the operation for the 10 seconds. .

한편, 본 실시예에서는 사용자 동작 기반 제어장치(100)가 TV(200)와 별개의 장치인 것으로 설명하였으나, 이는 일 실시예에 불과하다, 따라서, 사용자 동작 기반 제어장치(100)는 TV(200)의 내부에 내장된 상태로 구현될 수도 있음은 물론이다. 이와 같은 경우에 대해서는, 도 8에 도시되어 있다. 즉, 도 8은 본 발명의 일 실시예에 따른, 사용자 동작 기반 제어장치(100)가 내장된 TV(200)를 도시한 도면이다. Meanwhile, in the present exemplary embodiment, the user motion based control apparatus 100 is described as a separate device from the TV 200, but this is only an example. Thus, the user motion based control apparatus 100 may be a TV 200. Of course, it can be implemented as a built-in inside of). Such a case is shown in FIG. That is, FIG. 8 is a diagram illustrating a TV 200 in which a user motion based control apparatus 100 is incorporated according to an embodiment of the present invention.

한편, 본 실시예에서는, 디스플레이 장치가 TV(200)인 것으로 설명하였으나, TV 외에 다른 디스플레이 장치들도 적용될 수 있음은 물론이다. Meanwhile, in the present exemplary embodiment, the display apparatus is described as the TV 200, but other display apparatuses may be applied in addition to the TV.

한편, 본 실시예에 따른 디스플레이 장치의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다. On the other hand, the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program for performing the function of the display device according to the present embodiment. In addition, the technical idea according to various embodiments of the present disclosure may be implemented in the form of computer readable codes recorded on a computer readable recording medium. The computer-readable recording medium is any data storage device that can be read by a computer and can store data. For example, the computer-readable recording medium may be a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical disk, a hard disk drive, or the like. In addition, the computer readable code or program stored in the computer readable recording medium may be transmitted through a network connected between the computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the spirit and scope of the present invention.

100 : 사용자 동작 기반 제어장치 110 : 카메라
120 : 깊이측정센서 130 ; 마이크
140 : 제어부 150 : 출력부
160 : 저장부
200 : TV 210 : 입력부
220 : 저장부 230 : 디스플레이부
240 : 제어부100: user motion based control device 110: camera
120: depth measuring sensor 130; MIC
140: control unit 150: output unit
160:
200: TV 210: input unit
220: storage unit 230: display unit
240: control unit

Claims (9)

피사체를 촬영하는 카메라로부터 촬영된 영상에 대한 데이터를 입력받고, 사용자의 동작을 감지하는 깊이 측정 센서로부터 골격 추적 데이터를 입력받으며, 상기 사용자의 음성을 입력받는 입력부; 및
상기 카메라를 통해 촬영된 영상 및 상기 깊이 측정 센서에 의해 감지된 골격 추적 데이터를 이용하여 사용자의 손을 인식하고, 상기 인식된 사용자의 손의 동작에 대응되는 기능을 수행하는 제어부;를 포함하고,
상기 제어부는,
상기 사용자의 특정 음성이 입력된 후 일정 시간 동안만 상기 사용자의 손을 인식하는 것을 특징으로 하는 디스플레이 장치.An input unit configured to receive data about an image captured by a camera photographing a subject, receive skeleton tracking data from a depth measuring sensor that detects a user's motion, and receive the user's voice; And
And a controller configured to recognize a user's hand by using the image captured by the camera and the skeleton tracking data sensed by the depth measuring sensor, and to perform a function corresponding to the operation of the recognized user's hand.
The control unit,
And a user's hand is recognized only for a predetermined time after the specific voice of the user is input. 제1항에 있어서,
상기 제어부는,
상기 사용자의 손의 움직임에 따라 화면에 표시된 포인터의 위치를 이동시키는 것을 특징으로 하는 디스플레이 장치.The method of claim 1,
The control unit,
And a position of the pointer displayed on the screen according to the movement of the user's hand. 제1항에 있어서,
상기 제어부는,
상기 사용자의 손의 움직임에 따라, 화면에 표시된 3차원 오브젝트에 대한 확대, 축소, 회전 중 어느 하나의 기능을 수행하는 것을 특징으로 하는 디스플레이 장치. The method of claim 1,
The control unit,
The display apparatus according to claim 1, wherein the display apparatus is configured to perform any one of zooming in, zooming out, and rotating the 3D object displayed on the screen according to the movement of the user's hand. 제1항에 있어서,
상기 제어부는,
사용자의 손바닥을 움켜쥐는 동작이 인식되면 포인터의 현재 위치에서 클릭 명령을 수행하는 것을 특징으로 하는 디스플레이 장치. The method of claim 1,
The control unit,
And a click command is performed at the current position of the pointer when the user grabs the palm of the user. 제1항에 있어서,
상기 제어부는,
사용자가 양손을 움켜 쥔 상태에서 양손의 간격을 넓히는 동작이 인식되면, 현재 표시된 화면을 확대하는 명령을 수행하는 것을 특징으로 하는 디스플레이 장치. The method of claim 1,
The control unit,
And recognizing an operation of widening the distance between the two hands while the user grabs both hands, performing a command to enlarge the currently displayed screen. 제1항에 있어서,
상기 제어부는,
사용자가 양손을 움켜 쥔 상태에서 양손의 간격을 좁히는 동작이 인식되면, 현재 표시된 화면을 축소하는 명령을 수행하는 것을 특징으로 하는 디스플레이 장치.The method of claim 1,
The control unit,
And recognizing an operation of narrowing the distance between the two hands while the user is holding both hands, and performing a command to reduce the currently displayed screen. 제1항에 있어서,
상기 제어부는,
사용자가 한손을 움켜쥔 상태에서 특정 방향으로 이동시키면, 현재 화면에 표시된 3차원 오브젝트를 상기 특정 방향으로 회전시키는 명령을 수행하는 것을 특징으로 하는 디스플레이 장치. The method of claim 1,
The control unit,
And when the user moves in a specific direction while grasping one hand, performing a command to rotate the 3D object currently displayed on the screen in the specific direction. 제1항에 있어서,
상기 제어부는,
사용자가 한손을 움켜쥔 상태에서 특정 방향으로 이동시키면, 현재 화면에 표시된 화면을 가로 또는 세로 방향으로 스크롤하는 명령을 수행하는 것을 특징으로 하는 디스플레이 장치. The method of claim 1,
The control unit,
If the user moves in a specific direction while holding one hand, the display device, characterized in that for performing a command to scroll the screen displayed on the current screen in the horizontal or vertical direction. 제1항에 있어서,
상기 입력부는,
사용자의 음성 데이터를 더 입력받고,
상기 제어부는,
상기 인식된 사용자의 손의 동작 및 사용자의 음성 데이터에 대응되는 기능을 수행하는 것을 특징으로 하는 디스플레이 장치.The method of claim 1,
Wherein the input unit comprises:
Receive more user voice data,
The control unit,
And a function corresponding to the recognized operation of the user's hand and voice data of the user.
KR1020110051324A 2011-05-30 2011-05-30 Display device based on user motion KR101227875B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110051324A KR101227875B1 (en) 2011-05-30 2011-05-30 Display device based on user motion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110051324A KR101227875B1 (en) 2011-05-30 2011-05-30 Display device based on user motion

Publications (2)

Publication Number Publication Date
KR20120132923A KR20120132923A (en) 2012-12-10
KR101227875B1 true KR101227875B1 (en) 2013-01-31

Family

ID=47516378

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110051324A KR101227875B1 (en) 2011-05-30 2011-05-30 Display device based on user motion

Country Status (1)

Country Link
KR (1) KR101227875B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015174597A1 (en) * 2014-05-13 2015-11-19 박남태 Voice-controllable image display device and voice control method for image display device

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105260014A (en) * 2015-09-07 2016-01-20 中国科学院自动化研究所北仑科学艺术实验中心 Fluid imaging device and control method
KR101687289B1 (en) 2016-06-10 2016-12-16 주식회사 아하정보통신 Signage using motion-based input signal

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100030737A (en) * 2008-09-11 2010-03-19 이필규 Implementation method and device of image information based mouse for 3d interaction

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100030737A (en) * 2008-09-11 2010-03-19 이필규 Implementation method and device of image information based mouse for 3d interaction

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015174597A1 (en) * 2014-05-13 2015-11-19 박남태 Voice-controllable image display device and voice control method for image display device

Also Published As

Publication number Publication date
KR20120132923A (en) 2012-12-10

Similar Documents

Publication Publication Date Title
US9319632B2 (en) Display apparatus and method for video calling thereof
US11089351B2 (en) Display apparatus and remote operation control apparatus
US8818027B2 (en) Computing device interface
WO2015037177A1 (en) Information processing apparatus method and program combining voice recognition with gaze detection
JP5900161B2 (en) Information processing system, method, and computer-readable recording medium
KR102273027B1 (en) Method and apparatus for generating image data using a region of interest which is determined by position information
KR102655625B1 (en) Method and photographing device for controlling the photographing device according to proximity of a user
KR20120051209A (en) Method for providing display image in multimedia device and thereof
JP2009075685A (en) Image processor, image processing method, and program
KR101773116B1 (en) Image photographing apparatus and method thereof
TWI572203B (en) Media streaming system, control method and non-transitory computer readable storage medium
KR20130081580A (en) Display apparatus and controlling method thereof
JP2010068385A (en) Image display device and detection method
US20130326422A1 (en) Method and apparatus for providing graphical user interface
CN107291221A (en) Across screen self-adaption accuracy method of adjustment and device based on natural gesture
JP5874626B2 (en) Display control apparatus, display control system, display control method, and program
JP2006091948A (en) Controller for electronic equipment
KR101227875B1 (en) Display device based on user motion
CN116114250A (en) Display device, human body posture detection method and application
KR101227878B1 (en) Display device and display method based on user motion
KR101227883B1 (en) Control device based on user motion/voice and control method applying the same
KR100843586B1 (en) Device capable of non-contact function selection and method thereof
CN111880422B (en) Equipment control method and device, equipment and storage medium
US20130127841A1 (en) Three-dimensional (3d) image display method and apparatus for 3d imaging and displaying contents according to start or end of operation
US11445102B2 (en) Information processing device and information processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee