KR20080041760A - Motion detection system in robot and thereof method - Google Patents
Motion detection system in robot and thereof method Download PDFInfo
- Publication number
- KR20080041760A KR20080041760A KR1020060109743A KR20060109743A KR20080041760A KR 20080041760 A KR20080041760 A KR 20080041760A KR 1020060109743 A KR1020060109743 A KR 1020060109743A KR 20060109743 A KR20060109743 A KR 20060109743A KR 20080041760 A KR20080041760 A KR 20080041760A
- Authority
- KR
- South Korea
- Prior art keywords
- video
- movement
- user
- robot
- motion
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
Abstract
Description
도 1은 본 발명에 따른 로봇에서 입력 장치 기능을 위한 움직임 검출 시스템 구성도이다.1 is a block diagram of a motion detection system for an input device function in a robot according to the present invention.
도 2는 사용자의 움직임을 처리하여 특정 Object를 선택하는 절차를 설명한 도면이다.2 is a diagram illustrating a procedure of selecting a specific object by processing a user's movement.
도 3은 본 발명에 따른 로봇에서 입력 장치 기능을 위한 움직임 검출 절차를 나타낸 일실시 예에 대한 흐름도이다.3 is a flowchart illustrating an embodiment of a motion detection procedure for an input device function in a robot according to the present invention.
도 4는 움직임 검출을 수행하는 과정을 나타내는 도면이다.4 is a diagram illustrating a process of performing motion detection.
도 5는 본 발명에 따른 로봇에서 입력 장치 기능을 위한 움직임 검출 절차를 나타낸 일실시 예에 대한 흐름도이다.5 is a flowchart illustrating an embodiment of a motion detection procedure for an input device function in a robot according to the present invention.
< 도면의 주요부분에 대한 부호의 설명 ><Description of Symbols for Major Parts of Drawings>
100 : 화상카메라(100) 200 : 화면100:
300 : 움직임 감지부 400 : 교차 판별부300: motion detection unit 400: cross discrimination unit
500 : 프로그램 실행부 500: program execution unit
본원 발명은 화상 카메라가 장착된 Robot에서 실행되는 프로그램의 Flow에 대한 입력 장치 기능을 위하여, 프로그램 진행에 따른 사용자의 행동에 대한 동영상을 입력받아 움직임 검출 기능을 적용하여 e동영상을 처리하여 사용자의 행동을 분석하여 프로그램에서 필요한 입력 정보를 제공하는 발명이다.The present invention receives the video of the user's behavior according to the progress of the program for the input device function for the flow of the program running on the robot equipped with the image camera, applying the motion detection function to process the e-video to process the user's behavior The present invention provides an input information necessary for analyzing a program.
Robot에서는 키보드나 마우스를 사용하여 특정 위치를 가리키거나, 버튼 등을 누르는 동작을 하려면, Robot 앞에서 무선으로 된 키보드나 마우스를 고정시키고 해야 한다. Robot에서는 리모콘을 이용하여 메뉴를 선택할 수 있으나 마우스의 기능을 대체하기에는 부족하다. 특히 모니터에서 일정 거리를 두고 진행하는 체감형 프로그램 수행시에는 프로그램 도중에 이러한 입력 장치를 사용하는 것이 매우 불편한 문제점이 있었다.In Robot, if you want to use a keyboard or mouse to point to a specific location or press a button, you need to fix the wireless keyboard or mouse in front of the Robot. In Robot, menu can be selected by using remote controller, but it is not enough to replace the function of mouse. In particular, when performing a haptic program that runs at a certain distance from the monitor, it is very inconvenient to use such an input device during the program.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 본 발명의 목적은 화상 카메라가 장착된 Robot에서 실행되는 체감형 프로그램 분야는 사용자가 Robot과 일정 거리를 떨어져서 프로그램을 진행하므로 무선 리모콘이나 무선 키보드등의 입력 장치를 이용하는 대신 새롭고 직관적인 정보 입력 기능을 제공할 필요가 있으며, 이를 위해 Robot에 장착된 화상 카메라로 사용자의 행동을 동영상으로 입력받아 움직임 검출 기능으로 동영상을 분석하여 사용자의 행동이 특정 입력 정보에 해당하는 행위인지를 판별하고, 해당하는 입력정보를 프로그램이 사용하도록 하는 기능을 개발하는 하는데 목적이 있다. The present invention was created to solve the above problems, an object of the present invention is to realize the field of the program that is implemented in a robot equipped with an image camera, so that the user proceeds the program at a certain distance away from the robot wireless remote control or wireless Instead of using an input device such as a keyboard, it is necessary to provide a new and intuitive information input function. To do this, the robot's image camera receives the user's action as a video and analyzes the video using the motion detection function. The purpose of the present invention is to determine whether an action corresponds to specific input information, and to develop a function of allowing a program to use the corresponding input information.
움직임 검출을 이용한 입력 장치 기능은 체감형 프로그램과 연관 프로그램에서 사용하며, Robot에서 새로운 형태의 정보 입력 장치로서 활용될 수 있다.Input device function using motion detection is used in haptic program and related program, and can be used as a new type of information input device in Robot.
상기 본 발명의 목적을 달성하기 위한 기술적 사상으로서, 본 발명에서는, 사람의 움직임을 감지하여 이를 입력신호로 인식하는 로봇에 있어서, 작은 블록으로 구분되어 각각의 블록마다 위치정보를 가지며 사용자가 정의한 블록에 객체 정보를 가지고 있는 화면과, 상기 화면에 보여지는 사람의 움직임을 촬영하는 화상카메라와, 상기 화상카메라에 입력되는 사람의 움직임을 판별하는 움직임 감지부와, 상기 사람의 움직임과 화면상의 객체 위치가 교차되는지를 판단하며 판단결과 사용자의 움직임이 특정 객체의 위치와 교차되면 상기 객체를 선택한 것으로 판정하는 교차판별부와, 상기 선택된 객체에 해당하는 프로그램 내의 기능을 수행하는 프로그램 실행부를 포함하는 로봇에서 입력 장치 기능을 위한 움직임 검출 시스템에 관한 발명을 제시한다.As a technical idea for achieving the object of the present invention, in the present invention, in the robot that detects the movement of a person and recognizes it as an input signal, it is divided into small blocks, each block has a location information for each block defined by the user A screen having object information on the screen, an image camera for capturing the movement of a person shown on the screen, a motion detector for discriminating the movement of a person inputted to the image camera, a motion of the person and an object position on the screen In the robot comprising a cross discrimination unit for determining that the object is selected when the movement of the user intersects the position of a specific object, and a program execution unit for performing a function in a program corresponding to the selected object as a result of the determination. Presenting an Invention Regarding Motion Detection System for Input Device Function All.
이하, 본 발명의 실시 예에 대한 구성 및 그 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.Hereinafter, with reference to the accompanying drawings, the configuration and operation of the embodiment of the present invention will be described in detail.
도 1은 본 발명에 따른 로봇에서 입력 장치 기능을 위한 움직임 검출 시스템 구성도이다. 도 1에서와 같이, 본 발명의 로봇은 화상카메라(100), 화면(200), 움직임 감지부(300), 교차판별부(400), 프로그램 실행부(500)로 구성된다.1 is a block diagram of a motion detection system for an input device function in a robot according to the present invention. As shown in FIG. 1, the robot of the present invention includes an
화상카메라(100)는 사람의 움직임을 촬영하여 화면에 출력한다. 상기 화상카메라는 디지탈 카메라로서 사진을 촬영하고 동영상을 촬영하는 기능을 가진다. 상 기 화상카메라는 화소수가 100만 화소 이상이면 충분하나 보다 많은 기능을 위해 그 이상이 바람직하다.The
상기 화면(200)은 사용자의 입력을 위해 사용한 객체들의 위치정보를 가지고 있다. 즉, 화면을 여러개의 블록으로 분할하여 사람이 움직임을 분할된 블록의 변경으로 인식한다. 상기 화면은 작은 블록으로 분할하여 위치정보를 가지고 있다.The
상기 움직임 감지부(300)는 화상카메라에 입력되는 사용자의 움직임을 판별한다. 상기 움직임 감지부는 움직이기 전의 동영상을 작은 블록으로 분할하고 움직인 후의 동영상을 작은 블록으로 분할하여 상기 두 동영상을 비교하여 변경된 동영상 부분을 검출한다.The
상기 교차판별부(400)는 사용자의 움직임과 화면상의 객체 위치가 교차되는지를 판단하며 판단결과 사용자의 움직임이 특정 객체의 위치와 교차되면 상기 객체를 선택한 것으로 판정한다. 상기 교차 판별부는 사용자가 해당 객체를 소정의 시간동안 선택시 상기 객체를 선택한다.The
상기 프로그램실행부(500)는 선택된 객체에 해당하는 프로그램 내의 기능을 수행한다.The
도 2는 사용자의 움직임을 처리하여 특정 Object를 선택하는 절차를 설명한 것이다. 2 illustrates a procedure of selecting a specific object by processing a user's movement.
도 2(1): 화면에 3개의 원 Object를 위치시키고 사용자의 동영상을 입력받아 각 프레임마다 사용자의 움직임을 움직임 검출 으로 판별한다.Fig. 2 (1): Positions three circle objects on the screen, receives a user's video, and determines the user's movement by motion detection for each frame.
도 2(2): 사용자의 움직임이 왼쪽 상단 원 Object 영역과 교차한 것으로 판 단한다.Fig. 2 (2): It is determined that the user's movement intersects with the upper left circle Object area.
움직임 검출을 위한 기능 처리는 다음과 같다.The function processing for motion detection is as follows.
1. 사용자가 화상카메라가 장착된 Robot 앞에서 행위를 한다1. The user acts in front of a robot equipped with an image camera.
2. 화상카메라로 입력되는 동영상을 화면에 출력한다2. Output the video input to the video camera on the screen
3. 화면에는 입력 장치로 사용할 Object들의 위치 정보를 가지고 있다3. The screen contains the location information of the objects to be used as input devices.
4. 동영상을 화면에 출력할 때 사용자의 움직임을 움직임 검출에 의해 판별해 낸다4. When motion picture is output to the screen, the user's motion is determined by motion detection.
5. 사용자의 움직임과 화면상의 Object 위치가 교차되는지 검사한다.5. Check whether the movement of the user and the position of the object on the screen intersect.
6. 사용자의 움직임이 특정 Object의 위치와 교차되면 그 Object를 선택한 것으로 판정한다6. If the user's movement intersects the location of a specific object, determine that the object is selected.
7. 해당 Object(예를 들면, 시작/멈춤/다음)에 해당하는 프로그램 내의 기능을 수행한다.7. Perform the function in the program corresponding to the object (eg start / stop / next).
도 3은 본 발명에 따른 로봇에서 입력 장치 기능을 위한 움직임 검출 절차를 나타낸 일실시 예에 대한 흐름도이다.3 is a flowchart illustrating an embodiment of a motion detection procedure for an input device function in a robot according to the present invention.
로봇의 화상카메라로 사용자의 움직임을 촬영한다(S10). 상기 화상카메라로 촬영한 동영상을 화면에 출력한다(S11). 상기 동영상을 화면에 출력할 때 사용자의 움직임을 움직임 감지에 의해 판별해 낸다(S12). 상기 사용자의 움직임과 화면상의 객체 위치가 교차되는지 판단한다(S13). 상기 판단결과 사용자의 움직임이 특정 객체의 위치와 교차되면 상기 객체를 선택한 것으로 판정한다(S14). 상기 선택된 객체에 해당하는 프로그램 내의 기능을 수행한다(S15).The user's movement is photographed by the image camera of the robot (S10). The video shot by the image camera is output to the screen (S11). When outputting the video to the screen, the user's movement is determined by the motion detection (S12). It is determined whether the movement of the user and the object position on the screen intersect (S13). As a result of the determination, when the movement of the user crosses the position of the specific object, it is determined that the object is selected (S14). A function in a program corresponding to the selected object is performed (S15).
도 4는 움직임 검출을 수행하는 과정을 설명한다.4 illustrates a process of performing motion detection.
도 4(1), 도 4(2)는 연속으로 입력되는 동영상에 대한 움직임 검출 하는 과정을 보여준다.4 (1) and 4 (2) show a process of detecting a motion of a continuously input video.
1. <도 4(1) 움직이기 전>의 동영상을 입력 받는다.1. Receive the video of <Figure 4 (1) before moving>.
2. 이 동영상을 작은 블록으로 구분한다.2. Divide this video into small blocks.
3. <도 4(2) 움직인 후>의 동영상을 입력 받는다.3. Receive the video of <after moving 4 (2)>.
4. 두 번째 동영상을 같은 방식으로 작은 블록으로 구분한다.4. Separate the second video into smaller blocks in the same way.
5. 두 동영상을 블록 단위로 구분하여 변경된 동영상 부분을 검출한다.5. Detects the changed video part by dividing the two videos into block units.
6. 변경된 동영상 부분의 좌표를 계산한다.6. Calculate the coordinates of the changed video part.
7. 해당 좌표가 <도 4(3) 메뉴 선택 전>의 Battle메뉴 영역의 밖에 있으므로 메뉴 활성화를 하지 않는다.7. Since the coordinates are outside the Battle menu area of <Fig. 4 (3) before menu selection>, do not activate the menu.
8. <도 4(4) 메뉴 선택 후>와 같이 위치가 변경된 손의 동영상 좌표가 Battle메뉴 영역과 교차되는 것을 판단한다.8. As shown in <after Fig. 4 (4) menu selection>, it is determined that the video coordinate of the hand whose position has been changed intersects with the Battle menu area.
9. 동영상간의 움직임 검출에 의해 판단된 차영상이 메뉴와 교차되고 일정 시간이 경과되면 해당 메뉴를 실행시킨다.9. If the difference image determined by the motion detection between the moving images intersects with the menu and the predetermined time elapses, the corresponding menu is executed.
도 5는 본 발명에 따른 로봇에서 입력 장치 기능을 위한 움직임 검출 절차를 나타낸 일실시 예에 대한 흐름도이다.5 is a flowchart illustrating an embodiment of a motion detection procedure for an input device function in a robot according to the present invention.
먼저 로봇의 화상카메라로 사용자의 움직이기 전의 동영상을 입력 받는다(S20). 상기 동영상을 작은 블록으로 분할한다(S21). 로봇의 화상카메라로 사용자의 움직인 후의 동영상을 입력 받는다(S22). 상기 움직임 후의 동영상을 작은 블록으로 분할한다(S23). 상기 두 동영상을 비교하여 변경된 동영상 부분을 검출한 다(S24). 상기 검출된 변경된 동영상 부분의 좌표를 계산한다(S25). 상기 계산한 좌표값이 객체에 해당되면 해당 객체의 프로그램을 수행한다(S26).First, a video before the user's movement is input to the robot's image camera (S20). The video is divided into small blocks (S21). The moving image of the user is input to the robot's image camera (S22). The video after the movement is divided into small blocks (S23). The two moving images are compared to detect a changed moving image portion (S24). The coordinates of the detected changed video portion are calculated (S25). If the calculated coordinate value corresponds to the object, the program of the object is performed (S26).
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시 예들에서 구체적으로 기술되었으나, 상기한 실시 예는 그 설명을 위한 것이며, 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명은 이 기술 분야의 통상의 전문가라면 본 발명의 기술적 사상의 범위에서 다양한 실시 예가 가능함을 이해할 수 있을 것이다.Although the technical spirit of the present invention described above has been described in detail in the preferred embodiments, it should be noted that the above-described embodiment is for the purpose of description and not of limitation. In addition, the present invention will be understood by those of ordinary skill in the art that various embodiments are possible within the scope of the technical idea of the present invention.
이상에서와 같이 본 발명은 Robot에 장착된 화상 카메라로 사용자의 행동을 동영상으로 입력받아 움직임 검출 기능으로 동영상을 분석하여 사용자의 행동이 특정 입력 정보에 해당하는 행위인지를 판별하고, 해당하는 입력정보를 프로그램이 사용하도록 함으로서 체감형 프로그램 실행시 프로그램 도중에 입력장치로 마우스나 키보드를 쓰는 불편을 줄일 수 있다.As described above, the present invention receives a user's action as a video with a robot equipped with a robot and analyzes the video with a motion detection function to determine whether the user's action corresponds to specific input information, and corresponding input information. By using the program, you can reduce the inconvenience of using the mouse or keyboard as an input device during the program execution.
또한, 움직임 검출을 이용한 입력 장치 기능은 체감형 프로그램과 연관 프로그램에서 사용하며, Robot에서 새로운 형태의 정보 입력 장치로서 활용될 수 있다.In addition, the input device function using motion detection is used in the haptic program and the related program, and can be utilized as a new type of information input device in Robot.
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060109743A KR101294212B1 (en) | 2006-11-08 | 2006-11-08 | Motion Detection system in robot and thereof method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020060109743A KR101294212B1 (en) | 2006-11-08 | 2006-11-08 | Motion Detection system in robot and thereof method |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20080041760A true KR20080041760A (en) | 2008-05-14 |
KR101294212B1 KR101294212B1 (en) | 2013-08-08 |
Family
ID=39648719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020060109743A KR101294212B1 (en) | 2006-11-08 | 2006-11-08 | Motion Detection system in robot and thereof method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101294212B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL2003662C2 (en) * | 2009-10-16 | 2011-04-19 | Sara Lee De Nv | METHOD, CONTROL UNIT FOR AN APPARATUS AND APPARATUS PROVIDED WITH A CONTROL UNIT. |
KR101048406B1 (en) * | 2008-12-17 | 2011-07-11 | 한국전자통신연구원 | Game system and method for recognizing user posture as user command |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101536353B1 (en) * | 2014-07-16 | 2015-07-14 | 주식회사 매크론 | A gesture recognition toy |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003085571A (en) * | 2001-09-07 | 2003-03-20 | Tomy Co Ltd | Coloring toy |
JP2003080484A (en) * | 2001-09-07 | 2003-03-18 | Tomy Co Ltd | Action reaction toy |
-
2006
- 2006-11-08 KR KR1020060109743A patent/KR101294212B1/en active IP Right Grant
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101048406B1 (en) * | 2008-12-17 | 2011-07-11 | 한국전자통신연구원 | Game system and method for recognizing user posture as user command |
NL2003662C2 (en) * | 2009-10-16 | 2011-04-19 | Sara Lee De Nv | METHOD, CONTROL UNIT FOR AN APPARATUS AND APPARATUS PROVIDED WITH A CONTROL UNIT. |
WO2011046429A1 (en) * | 2009-10-16 | 2011-04-21 | Sara Lee/ N.V. | Method, control unit for a device, and device provided with a control unit |
US9299208B2 (en) | 2009-10-16 | 2016-03-29 | Koninklijke Douwe Egberts B.V. | Method, control unit for a device, and device provided with a control unit |
Also Published As
Publication number | Publication date |
---|---|
KR101294212B1 (en) | 2013-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101627185B1 (en) | Control method of image photographing apparatus | |
CN108900767B (en) | Camera device and control method thereof | |
JP4991458B2 (en) | Image display apparatus and control method thereof | |
KR101983288B1 (en) | Apparatus and method for controlling a shooting status in a portable device having a dual camera | |
EP2079009A1 (en) | Apparatus and methods for a touch user interface using an image sensor | |
US20130321261A1 (en) | Recognition apparatus | |
US20150331491A1 (en) | System and method for gesture based touchscreen control of displays | |
JP2017533602A (en) | Switching between electronic device cameras | |
JP6350261B2 (en) | Object operation system, object operation control program, and object operation control method | |
KR101631011B1 (en) | Gesture recognition apparatus and control method of gesture recognition apparatus | |
JP2010182014A (en) | Gesture recognition apparatus, method and program therefor | |
US20160065838A1 (en) | Device and method for using pressure-sensing touch screen to take picture | |
JP2012238293A (en) | Input device | |
KR101949218B1 (en) | Method and apparatus for photographing in portable terminal | |
JP2011118533A (en) | Device and method for inputting touch position | |
KR101883291B1 (en) | Device and method for controlling gesture | |
KR101590334B1 (en) | Image photographing device and control method for the same | |
JP2011095985A (en) | Image display apparatus | |
KR101294212B1 (en) | Motion Detection system in robot and thereof method | |
KR101134245B1 (en) | Electronic device including 3-dimension virtualized remote controller and driving methed thereof | |
KR102070598B1 (en) | Camera apparatus and method for controlling thereof | |
JP5229928B1 (en) | Gaze position specifying device and gaze position specifying program | |
KR20120044783A (en) | Touch screen and touch position detection method thereof using projector | |
JP2017090203A (en) | Information processing system, information processing device, information processing method, information processing program, and handheld information processing device | |
JP2010067090A (en) | Information terminal device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
N231 | Notification of change of applicant | ||
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20160729 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20170414 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20180705 Year of fee payment: 6 |