KR100361462B1 - Method for Acquisition of Motion Capture Data - Google Patents
Method for Acquisition of Motion Capture Data Download PDFInfo
- Publication number
- KR100361462B1 KR100361462B1 KR1019990049880A KR19990049880A KR100361462B1 KR 100361462 B1 KR100361462 B1 KR 100361462B1 KR 1019990049880 A KR1019990049880 A KR 1019990049880A KR 19990049880 A KR19990049880 A KR 19990049880A KR 100361462 B1 KR100361462 B1 KR 100361462B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- camera
- motion capture
- capture data
- motion
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
- G06F7/38—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation
- G06F7/48—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices
- G06F7/544—Methods or arrangements for performing computations using exclusively denominational number representation, e.g. using binary, ternary, decimal representation using non-contact-making devices, e.g. tube, solid state device; using unspecified devices for evaluating functions by calculation
- G06F7/548—Trigonometric functions; Co-ordinate transformations
Abstract
본 발명은 모션 캡쳐 데이터 획득 방법에 관한 것으로서, 동작을 나타내는 데이터의 양을 줄일 수 있고, 이를 이용하여 게임용 캐릭터 제작, 디지털 애니메이션 제작 등에 자연스러운 몸 동작을 용이하게 나타낼 수 있으며, 데이터 제공자의 몸에 케이블이 연결되어 있지 않기 때문에 행동범위와 움직임에 제한을 받지 않는 모션 캡처 데이터 획득 방법을 제공하고자 데이터 제공자는 몸의 주요 관절 및 말단 부위에 각기 다른 색상 값을 가지는 색상 포인터를 부착하여 움직이고, 3대 또는 3대 이상의 디지털 카메라를 이용하여 이를 촬영하는 것과, 상기 각각의 카메라를 통하여 입력되는 영상을 컴퓨터를 이용하여 좌표 값(X, Y, Z)으로 변환하는 것과, 인체의 움직임을 각 색상 포인터의 움직임에 의한 3차원 위치 좌표 값으로 추출하는 것을 특징으로 한다.The present invention relates to a method for acquiring motion capture data, which can reduce the amount of data representing motion, and can easily represent natural body motions for game character production, digital animation production, and the like, using the cable to the data provider's body. In order to provide a method of acquiring motion capture data that is not limited to range of motion and movement because of its lack of connection, the data provider moves by attaching color pointers with different color values to the major joints and distal parts of the body. Photographing them using three or more digital cameras, converting images inputted through the respective cameras into coordinate values (X, Y, Z) using a computer, and moving a human body's movement of each color pointer. It is characterized by extracting the three-dimensional position coordinate value by.
Description
본 발명은 모션 데이터 획득 방법에 관한 것으로서 보다 상세하게는 사람의 몸 동작이나 동물의 움직임에 따른 변화를 컬러 마커로 캡쳐하고 이 캡처된 데이터에 의하여 3차원 상의 움직임으로 데이터를 형성하는 모션 캡쳐 데이터 획득 방법에 관한 것이다.The present invention relates to a method of acquiring motion data, and more particularly, to capture motion capturing data of capturing changes according to human body motion or animal movement with color markers and forming data in three-dimensional motion by the captured data. It is about a method.
영화와 게임 산업의 발전으로 3차원의 모델링과 렌더링, 애니메이션 기법들이 도입되면서 자연스러운 움직임을 생성할 수 있는 기술에 관심이 집중되고 있다.이에 대한 방법으로 사람의 동작을 그대로 캡쳐, 수치화된 동작 데이터를 컴퓨터에 입력하고 이 동작 데이터를 이용하여 캐릭터 등을 움직이게 하는 모션 캡쳐 기술이 도입되었다.모션 캡쳐 기술에서 가장 중요한 점은 자연스러운 몸 동작 데이터를 신속하게 얻는 것이다.With the development of the film and game industry, the introduction of three-dimensional modeling, rendering, and animation techniques has drawn attention to technologies that can produce natural movements. Motion capture technology has been introduced that inputs to a computer and uses this motion data to move characters, etc. The most important thing in motion capture technology is to get natural body motion data quickly.
알려진 모션 캡쳐 시스템은 대부분 인체에 마커나 센서를 붙인 다음, 카메라로 잡은 마커 영상이나 센서로부터 나온 데이터를 분석하여 인체 각 관절들의 위치와 방향을 측정한다.여기에서 사용된 마커나 센서의 작동 방식에 따라서 초음파(Acoustic) 방식, 기계(Mechanical) 방식, 자기(Magnetic) 방식, 광학(Optical) 방식의 네 가지로 나눌 수 있다. 이중에서 자기 방식과 광학 방식을 이용한 장비들이 가장 널리 사용되고 있다.상기 다양한 방식으로 시도되고 있는 종래 기술 들의 특징과 문제점을 살펴본다.Most known motion capture systems attach markers or sensors to the human body and then analyze the marker images captured by the camera or data from the sensors to measure the position and orientation of each joint in the human body. Therefore, it can be divided into four types: ultrasonic method, mechanical method, magnetic method, and optical method. Among them, devices using magnetic and optical methods are most widely used. The characteristics and problems of the conventional technologies that have been tried in various ways will be described.
도 7 내지 도 9 는 각 카메라의 사각 영역과 사각 영역의 데이터 검출을 설명하는 상태도.도 10은 본 발명의 모션 캡쳐 데이터 처리 흐름을 설명하는 플로우챠트.7 to 9 are state diagrams illustrating the detection of blind spots and data of the blind spots of respective cameras. FIG. 10 is a flowchart illustrating the motion capture data processing flow of the present invention.
기계방식(Mechanical)은 연기자의 관절 움직임을 측정하기 위한 전위차계(Potentiometer)와 슬라이더로 이루어진 복합체로 구성되어 있다. 이 방식은 수신 장치를 갖지 않기 때문에 다른 환경의 간섭이나 영향을 전혀 받지 않는 절대적인 측정 장치이다. 따라서 초음파 방식에 비하여 초기 세트 과정(calibration)이 거의 필요없으며, 고가의 스튜디오 환경 설비도 필요없다. 또한, 기계 방식은 다른 장치에 비하여 저가이고 매우 높은 샘플링 빈도로 동작 데이터를 획득할 수 있는 장점이 있다. 그러나, 기계 방식에서는 부담스러운 기계 장치를 연기자의 몸에 부착하여야 하므로, 동작이 부자연스러워질 수 있고, 기계 장치가 연기자의 각 관절에 얼마나 정확하게 위치했는지에 따라서 정확도가 달라지는 단점이 있다.Mechanical consists of a complex consisting of a potentiometer and slider for measuring the joint movement of the actor. This method is an absolute measuring device that does not have any receiving device and thus is not subjected to any interference or influence of other environments. Thus, there is little initial set-up and no expensive studio environment equipment is required compared to the ultrasonic method. In addition, the mechanical method has the advantage of obtaining operation data at a low cost and very high sampling frequency compared to other devices. However, in the mechanical method, since a burdensome mechanical device must be attached to the performer's body, the operation may be unnatural, and the accuracy may vary depending on how accurately the mechanical device is located at each joint of the performer.
자기방식(Magnetic)은 연기자의 각 관절 부위에 자기장을 계측할 수 있는 센서를 부착하고 자기장 발생 장치 근처에서 연기자가 움직일 때 각 센서에서 측정되는 자기장의 변화를 다시 공간적인 변화량으로 계산하여 움직임을 측정하는 방식이다. 각 센서와 자기장 발생 장치 및 본체는 케이블로 연결되어 있고, 최근에는 무선으로 이루어진 시스템도 개발되었다. 자기 방식은 비교적 저렴하고 가격 대 성능비가 우수하고 실시간 처리가 가능한 장점이 있다. 그러나, 유선 방식의 센서인 경우, 센서로부터 연결된 케이블들로 인하여 연기자들의 동작에 제한을 주고, 이로 인하여 복잡하고 빠른 움직임을 자연스럽게 표현하기가 어려운 단점이 있다. 케이블을 무선 송신기로 연결한 무선 시스템이 개발되었지만 이 역시 연기자의 신체에 커다란 송신기를 부착하여야 한다. 또한, 자기장 영역 안에서 가능하므로 동작 반경이 제한되는 단점이 있다.Magnetic method attaches a sensor to measure the magnetic field at each joint part of the performer, and measures the movement by calculating the change in the magnetic field measured by each sensor as a spatial change when the actor moves near the magnetic field generating device. That's the way it is. Each sensor, the magnetic field generating device and the main body are connected by cables, and recently, a wireless system has been developed. Magnetic method has the advantage of being relatively inexpensive, cost-effective, and real-time processing. However, in the case of the wired sensor, the cables connected from the sensor limit the operation of the performers, and thus, it is difficult to express the complex and fast movement naturally. Wireless systems have been developed that connect cables to radio transmitters, but this also requires attaching a large transmitter to the performer's body. In addition, there is a disadvantage that the operating radius is limited because it is possible in the magnetic field region.
광학방식(Optical)은 연기자의 주요 분절 부분에 적외선을 반사하는 반사 마커를 부착하고 3∼16 대의 적외선 필터가 부착된 카메라를 이용하여 반사되는 마커들의 2차원 좌표를 생성한다. 여러 대의 카메라로 캡쳐한 2차원 좌표는 전용 프로그램에 의하여 분석되어 3차원 공간상 좌표로 계산된다. 종전의 광학 방식은 캐릭터 등의 동작을 사실적으로 표현하는데 중점을 두고 있기 때문에 데이터의 양이 방대하고 따라서 이러한 방대한 양의 데이터를 처리하기 위하여 고급 사양의 컴퓨터가 필요하다.The optical method attaches a reflection marker that reflects infrared rays to the main segment of the performer, and generates two-dimensional coordinates of the markers that are reflected by using a camera equipped with 3 to 16 infrared filters. Two-dimensional coordinates captured by several cameras are analyzed by a dedicated program and calculated as coordinates in three-dimensional space. Conventional optical systems focus on realistic representations of characters and the like, so the amount of data is enormous. Therefore, high-end computers are needed to process such enormous amounts of data.
본 발명은 상술한 바와 같은 종래의 기술이 갖는 제반 문제점을 해소하고 안출된 것으로서 다음과 같은 목적을 갖는다.본 발명은 움직임에 따른 변화된 좌표 값만을 추출하여 처리하므로 데이터 양을 줄여 처리할 수 있도록 이루어진 모션 캡쳐 데이터 획득 방법을 제공한다.본 발명은 움직임을 캡처하기 위한 초기 준비가 극히 간편한 모션 캡쳐 데이터 획득 방법을 제공한다.본 발명은 처리 데이터 양이 적고, 복잡한 주변 기기 또는 설비를 구비치 아니하고 저가의 개인용 컴퓨터와 캠코더 및 USB 카메라의 저렴한 장비로 이루므로 경제적인 모션 캡쳐 데이터 획득 방법을 제공한다.본 발명은 동작을 연출하는 액터와 모션 데이터를 처리하는 시스템간에 케이블이 없어 편리하고 격렬한 동작도 추출할 수 있는 모션 캡쳐 데이터 획득 방법을 제공한다.본 발명은 주변 조도, 전파의 간섭도 등의 주위 환경과 무관하게 정확한 동작이 가능한 모션 캡쳐 데이터 획득 방법을 제공한다.상기 목적을 구현하기 위하여 이루어지는 본 발명은 사람이나 물체(Object)의 움직임을 컴퓨터가 사용 가능한 형태로 기록하는 것을 목표로 하는 모션 캡처 시스템(Motion Capture System)에서의 데이터 획득에 대한 방법을 개시하며 다음과 같은 기술적 요구가 선행되어 진다.색상추출 알고리즘,색상의 위치 추적 알고리즘,각각 상이한 다수의 색상 마커로 인체에 움직임을 추적,USB카메라에서 초당 24~30Frame의 영상을 인식하는 영상처리 기술,2차원으로 추출된 데이터를 3차원 동작으로 변환하는 기술 등이 요구된다.The present invention solves the problems of the prior art as described above, and has the following object. The present invention extracts and processes only the changed coordinate values according to the movement, thereby reducing the amount of data. A method for obtaining motion capture data is provided. The present invention provides a method for acquiring motion capture data that is extremely easy to prepare for capturing motion. The present invention has a small amount of processing data, and is inexpensive without complicated peripherals or equipment. It is a low-cost device of a personal computer, a camcorder, and a USB camera. Thus, the present invention provides an economical method for acquiring motion capture data. The present invention extracts a convenient and violent motion because there is no cable between an actor that produces motion and a system that processes motion data. A method of acquiring motion capture data can be provided. The present invention provides a method for acquiring motion capture data capable of accurate operation irrespective of the surrounding environment such as ambient illumination and interference of radio waves. The present invention has been made to achieve the above object. A method for data acquisition in a Motion Capture System aimed at recording in usable form is preceded by the following technical requirements: color extraction algorithm, color tracking algorithm, each different Tracking the movement on the human body with multiple color markers, image processing technology to recognize 24-30 frames per second from a USB camera, and converting data extracted in two dimensions into three-dimensional motion are required.
모션 캡쳐 기술은 캐릭터 등의 동작을 사실적으로 표현하는 것 이전에 몸 동작 등을 데이터화하는 인터페이스로서의 기본적인 기능을 가진다.본 발명에서는 모션 캡쳐 기술이 인터페이스의 한 방법이라는 관점에서 몸 동작에 대한 데이터를 용이하게 획득할 수 있는 방법을 제시하고자 한다.Motion capture technology has a basic function as an interface for data-body motion, etc., prior to the realistic representation of motions of characters and the like. In the present invention, the motion capture technology facilitates data on body motion in view of a method of an interface. I would like to present a way to achieve this.
도 1 은 본 발명에 의한 모션 캡쳐 데이터 획득 방법을 설명하기 위한 시스템 구성도.1 is a system configuration for explaining a motion capture data acquisition method according to the present invention.
도 2 는 본 발명에 따른 3차원 데이터 획득을 설명하기 위한 카메라 배치를 보여주는 평면도.2 is a plan view showing a camera arrangement for explaining three-dimensional data acquisition according to the present invention.
도 3 은 정면 배치 카메라에 따른 X축, Z축 좌표 값 검출을 설명하는 개략도.도 4 는 좌측면 배치 카메라에 따른 X축, Y축 및 Z축 좌표 값 검출을 설명하는 개략도.도 5 는 우측면 배치 카메라에 따른 X축, Y축 및 Z축 좌표 값 검출을 설명하는 개략도.도 6 은 모션 캡처 대상인 피사체가 움직이는 가상의 영역을 도시한 상태도.도 7 내지 도 9 는 각 카메라의 사각 영역과 사각 영역의 데이터 검출을 설명하는 상태도.** 도면의 주요 부분에 대한 부호의 설명 **100 : 정면 카메라 200 : 좌측 카메라 300 : 우측 카메라Fig. 3 is a schematic diagram illustrating the detection of X and Z axis coordinate values according to the front layout camera. Fig. 4 is a schematic diagram illustrating the detection of X, Y and Z axis coordinate values according to the left side layout camera. Schematic diagram illustrating detection of X, Y and Z axis coordinate values according to a batch camera. FIG. 6 is a diagram illustrating a virtual region in which a subject to be motion captured is moved. FIGS. State diagram illustrating the detection of data in a blind area. ** Explanation of symbols for the main parts of the drawings. ** 100: Front camera 200: Left camera 300: Right camera
이하 첨부된 도면을 참조하여 본 발명의 기술 사상에 대하여 살펴보기로 한다.Hereinafter, the technical spirit of the present invention will be described with reference to the accompanying drawings.
도 1 내지 도 2에 도시한 바와 같이 본 발명은 촬영되는 데이터 제공자의 몸 주요 관절부 및 말단부에 각기 다른 색상을 갖는 포인터를 부착하는 것과, 상기 데이터 제공자를 촬영하기 위하여 등각 배치한 3대 또는 3대 이상의 카메라를 마련하는 것과, 상기 각 카메라를 통하여 촬영된 데이터를 컴퓨터로 처리하여 3차원 좌표값(X, Y, Z)으로 변환하여 각 부위의 포인터가 어디에서 어디로 이동했는가의 위치 변화를 모션 캡쳐 데이터로 생성 저장하는 것으로 이루어진다.상기 카메라의 영상 신호는 컴퓨터의 버퍼에 입력되어, 영상 신호로부터 몸 부위의 각 색상 포인터의 움직임에 대한 위치 좌표 값만을 추출한다. 전체 영상 신호가 아닌 몸 부위의 움직임에 따라서 변화되는 좌표값만을 추출하여 저장하므로 처리하는 데이터 양을 줄일 수 있어 처리가 보다 빠르게 이루어질 수 있다.As shown in Figs. 1 and 2, the present invention attaches pointers having different colors to main joints and distal ends of the data provider to be photographed, and three or three conformal arrangements for photographing the data provider. The above-described cameras are provided, and the data captured by the cameras are processed by a computer, and converted into three-dimensional coordinate values (X, Y, Z) to capture the change in position where and where the pointer of each part moves. The image signal of the camera is input to a buffer of a computer, and only the position coordinate value of the movement of each color pointer of the body part is extracted from the image signal. Since only the coordinate values that change according to the movement of the body part rather than the entire image signal are extracted and stored, the amount of data to be processed can be reduced and the processing can be made faster.
본 발명에 따른 모션 캡처와 캡처된 영상으로부터의 3차원 모션 데이터를 추출하는 단계를 살펴본다.The process of extracting 3D motion data from a motion capture and captured image according to the present invention will be described.
다음의 표 1은 연기자의 몸 주요 부분에 256 색상 중 13가지의 기본 색상을 배정한 예를 기준으로 설명한다.Table 1 below is based on an example of assigning 13 basic colors of 256 colors to the main body of the performer.
자기방식(Magnetic)은 연기자의 각 관절 부위에 자기장을 계측할 수 있는 센서를 부착하고 자기장 발생 장치 근처에서 연기자가 움직일 때 각 센서에서 측정되는 자기장의 변화를 다시 공간적인 변화량으로 계산하여 움직임을 측정하는 방식이다. 각 센서와 자기장 발생 장치 및 본체는 케이블로 연결되어 있고, 최근에는 무선으로 이루어진 시스템도 개발되었다. 자기 방식은 비교적 저렴하고 가격 대 성능비가 우수하고 실시간 처리가 가능한 장점이 있다. 그러나, 유선 방식의 센서인 경우, 센서로부터 연결된 케이블들로 인하여 연기자들의 동작에 제한을 주고, 이로 인하여 복잡하고 빠른 움직임을 자연스럽게 표현하기가 어려운 단점이 있다. 케이블을 무선 송신기로 연결한 무선 시스템이 개발되었지만 이 역시 연기자의 신체에 커다란 송신기를 부착하여야 한다. 또한, 자기장 영역 안에서 가능하므로 동작 반경이 제한되는 단점이 있다.상기 자기 방식 중 하나로서 일본국 공개 특허 평 10-261090호의 '모션 캡쳐 시스템'이 공지되어 있다.이는 사용자의 어깨와 손목에 각각 삼차원 위치 센서를 설치하여 센서 출력에 입각하여, 삼차원 위치 센서가 존재하는 장소를 특정하는 위치 정보를 이용하여 어깨 센서의 위치에서 사용자의 방향을 특정하고 동일측에 위치하는 어깨와 손목에 장착한 센서 사이의 거리에서 굽힘 각을 산출하고 상기 동일측에 위치하는 어깨와 손목에 장착한 센서의 상대 위치 관계로부터 팔이 흔들리는 각을 산출하고, 산출한 팔꿈치의 굴절각과 팔의 흔들리는 각에 기초하여 팔의 자세를 특정하여 사용자의 동작 상태를 검출하도록 이루어진 것이다.상기 자기 방식의 센서는 코일을 갖으며 이격된 장소에 설치된 친국으로부터 발생되는 교류 자장에 반응하여 유도되는 센서의 전기적인 값을 신호선을 통하여 단마라에 전달하도록 이루어지는 것으로서 이 역시 유선으로 사용자 신체에 센서를 설치하여 연기자의 움직임을 부자연스럽게 하는 폐해와 함께 상기 센서의 출력을 무선으로 연결하더라도 연기자가 무선 장비를 착용하여야 하므로 사용이 극히 부자연스럽고 제한적일 수 밖에 없는 단점이 있다.Magnetic method attaches a sensor to measure the magnetic field at each joint part of the performer, and measures the movement by calculating the change in the magnetic field measured by each sensor as a spatial change when the actor moves near the magnetic field generating device. That's the way it is. Each sensor, the magnetic field generating device and the main body are connected by cables, and recently, a wireless system has been developed. Magnetic method has the advantage of being relatively inexpensive, cost-effective, and real-time processing. However, in the case of the wired sensor, the cables connected from the sensor limit the operation of the performers, and thus, it is difficult to express the complex and fast movement naturally. Wireless systems have been developed that connect cables to radio transmitters, but this also requires attaching a large transmitter to the performer's body. In addition, there is a disadvantage in that the operating radius is limited because it is possible in the magnetic field region. As one of the magnetic methods, a `` motion capture system '' of Japanese Patent Application Laid-open No. Hei 10-261090 is known. Based on the sensor output by installing the position sensor, using the position information to specify the location of the three-dimensional position sensor to specify the user's direction at the position of the shoulder sensor and between the shoulder and the wrist-mounted sensor located on the same side Calculate the bend angle at the distance of the arm and calculate the angle of arm swing from the relative positional relationship between the shoulder and the sensor attached to the wrist on the same side, the arm posture based on the calculated angle of refraction of the elbow and the arm The magnetic sensor has a coil and is spaced apart from each other to detect an operation state of the user. It is made to transmit the electric value of the sensor induced in response to the alternating magnetic field generated from the friendly station installed in the place to the short mara through the signal line, which also installs the sensor on the user's body by wire and makes the movement of the actor unnatural. Even when the output of the sensor is wirelessly connected, the performer has to wear the wireless equipment, so the use is extremely unnatural and limited.
광학방식(Optical)은 연기자의 주요 분절 부분에 적외선을 반사하는 반사 마커를 부착하고 3∼16 대의 적외선 필터가 부착된 카메라를 이용하여 반사되는 마커들의 2차원 좌표를 생성한다. 여러 대의 카메라로 캡쳐한 2차원 좌표는 전용 프로그램에 의하여 분석되어 3차원 공간상 좌표로 계산된다. 종전의 광학 방식은 캐릭터 등의 동작을 사실적으로 표현하는데 중점을 두고 있기 때문에 데이터의 양이 방대하고 따라서 이러한 방대한 양의 데이터를 처리하기 위하여 고급 사양의 컴퓨터가 필요하다.상술한 종래 방식 중에서 기계식을 제외한 모든 방식들은 센서 또는 광학 마커가 순간적으로 교차되어 위치 이동되면 해당 센서 또는 마커를 인식하고 추적하는 것이 어렵고 실시간 처리를 불가능하게 하며 반드시 데이터를 후 처리 과정을 통하여 인위적으로 캡쳐 데이터를 보정하여야한 하는 커다란 단점이 있다.상기 센서 또는 마커를 트래킹(tracking)하는 과정에서의 실시간 처리를 불가하게 하는 경우는 예컨대 연기자의 양 손목에 센서를 달고 모션 캡쳐를 하던 중에 손목이 교차되는 경우에 트래킹의 실패가 일어나며 이러한 실패는 일일히 프로그래머가 후처리를 통해 보정하여야 하며 따라서 실시간으로 캡쳐 데이터를 이용할 수 없는 제한이 생기는 것이다.The optical method attaches a reflection marker that reflects infrared rays to the main segment of the performer, and generates two-dimensional coordinates of the markers that are reflected by using a camera equipped with 3 to 16 infrared filters. Two-dimensional coordinates captured by several cameras are analyzed by a dedicated program and calculated as coordinates in three-dimensional space. Conventional optical systems focus on realistic representations of characters and the like, so the amount of data is enormous, and therefore high-end computers are needed to process such enormous amounts of data. All the methods except that if the sensor or the optical marker are intersected and moved in an instant, it is difficult to recognize and track the sensor or the marker, and it is impossible to process in real time, and the data must be artificially corrected through the post-processing process. In the case of disabling real-time processing during the tracking of the sensor or the marker, a tracking failure may occur, for example, when a wrist is crossed while a sensor is attached to both wrists of an actor and motion capture is performed. Happens and these failures It is corrected by the below meoga after treatment and thus caused the real-time constraints do not have access to captured data.
상기 본 발명에 의한 모션 데이터 획득 방법을 각 도면을 참조하여 보다 구체적으로 살펴보기로 한다.일차적으로 각각의 카메라에 의해 촬영되어 컴퓨터로 전송되는 이미지로부터 데이터 제공자의 몸 주요 관절부 및 말단부에 부착된 각 색상 포인터의 위치 변화를 추출하여 2차원 동작 데이터 좌표값을 획득한다.The motion data acquisition method according to the present invention will be described in more detail with reference to the drawings. First, the angles attached to the main joints and the distal end of the body of the data provider from an image photographed by each camera and transmitted to a computer are described. The location change of the color pointer is extracted to obtain a two-dimensional motion data coordinate value.
상기 획득된 2차원 동작 데이터 좌표값을 내부 네트워크를 통해 서버 컴퓨터로 전송하여 3차원 합성 함수 엔진을 기반으로한 합성 프로그램을 통해 3차원 모션 캡쳐 데이터로 가공된다.The obtained two-dimensional motion data coordinate values are transmitted to a server computer through an internal network and processed into three-dimensional motion capture data through a synthesis program based on a three-dimensional synthesis function engine.
도1 은 모션 캡쳐 시스템 전체 구성을 나타내는 것으로 3대 또는 그 이상의 카메라를 통하여 대상자로부터의 모션 데이터를 획득, 연결된 컴퓨터에 의한 전술한 연산 처리 과정에 의한 이미지 처리 , 내부 네트워크 시스템을 통한 처리된 데이터의 전송, 전송된 데이터의 취합 등의 과정을 수행하는 전체 시스템의 구성과 각각의 시스템 부분의 기능적인 연관 관계를 보여 주고 있다.Figure 1 shows the overall configuration of a motion capture system, which acquires motion data from a subject through three or more cameras, image processing by the above-described computational processing by a connected computer, and processing of data processed through an internal network system. It shows the functional relationship between each system part and the composition of the whole system which performs the process of transmission and collection of transmitted data.
도 2는 모션에 대한 3차원 데이터를 획득하기 위하여 카메라를 배치한 평면도로서 3대의 카메라를 구성하고 있음을 설명하고 있다. 이는 피사체인 데이터 제공자를 중심으로 정면 카메라(100), 좌측 카메라(200) 및 우측 카메라(300)가 배치된다.상기 각 카메라는 120도의 각도를 유지하도록 등각으로 배치하여 이루고 3대의 카메라 뷰가 교차하는 중심의 일정 범위가 가상의 영역으로 설정되어 그 영역은 컴퓨터상의 좌표계로 바뀌어 인식된다.2 is a plan view of arranging cameras in order to obtain three-dimensional data about motion, and thus, three cameras are configured. The front camera 100, the left camera 200, and the right camera 300 are arranged around the data provider as the subject. The cameras are arranged at an angle to maintain an angle of 120 degrees, and the three camera views intersect. The predetermined range of the center is set as a virtual area, and the area is recognized by changing into a coordinate system on a computer.
도 1에 도시된 바와 같이 3대의 카메라들을 배치하였을 때, 각각의 카메라는 모든 면의 Z 축 값을 획득하게되고, 정면 카메라(100)에서 획득되는 X축에 따르는 좌표 값의 변화와 좌측과 우측 카메라(200, 300)에서 획득되는 X, + Y, -X, +Y 데이터를 연산해서 대상물의 X Y 좌표값을 산출해 낸다. 위와 같은 방법으로 대상의 모든면에 대한 모션 캡쳐 데이터를 확보 할 수 있다.When three cameras are arranged as shown in FIG. 1, each camera acquires Z-axis values of all surfaces, and changes in coordinate values along the X-axis obtained from the front camera 100 and left and right sides. The X, + Y, -X, and + Y data obtained by the cameras 200 and 300 are calculated to calculate the XY coordinate value of the object. In this way, motion capture data for all sides of the object can be obtained.
도 3은 정면 카메라(100) 영역에 의한 X , Z 좌표값 검출하는 상태를 나타낸다.3 illustrates a state of detecting X and Z coordinate values by the front camera 100 region.
이는 정면 카메라(100)를 통해서 피사체의 전면에 위치한 포인터에 대한 모든 X , Z 위치 좌표값을 검출하여 좌, 우측 카메라(200,300)에서 검출되는 데이터와 비교 연산하는 기준이 된다. 정면 카메라를 통해 검출된 데이터의 경우 기준이 되는 X Z 좌표값이 되며 다른 카메라에서 검출된 데이터 보정의 기준이 된다,This is a reference for detecting all X and Z position coordinate values of the pointer located in front of the subject through the front camera 100 and comparing them with data detected by the left and right cameras 200 and 300. In case of data detected through the front camera, it becomes the standard X Z coordinate value and it becomes the standard of data correction detected by other camera.
도 4는 좌측 카메라(200) 영역에 의한 (30°)X , (60°)Y , Z 좌표값 검출을 도시한 것으로 좌측 카메라를 통해서 좌측과 후면에 위치한 포인터의 Z 값과 X Y 좌표 값을 검출하여 정면 카메라(100)와 우측 카메라(300)에서 검출되는 데이터와 Z축 데이터를 기준으로 X Y 좌표값을 비교 회전 변환 연산하여 좌표값을 검출해 낸다.FIG. 4 illustrates detection of (30 °) X, (60 °) Y, Z coordinate values by the left camera 200 region. The Z and XY coordinate values of the pointers located on the left and rear sides are detected through the left camera. Then, the coordinate values are detected by performing a comparative rotation conversion operation on the XY coordinate values based on the data detected by the front camera 100 and the right camera 300 and the Z axis data.
도 5는 우측 카메라(300) 영역에 의한 (60°)Y , (30°)X , Z 좌표값 검출을 도시한 것으로 우측 카메라(300)를 통해서 우측과 후면에 위치한 포인터의 Z 값과 X Y 좌표 값을 검출하여 정면 카메라(100)와 좌측 카메라(200)에서 검출되는 데이터와 Z축 데이터를 기준으로 X Y 좌표값을 비교 회전 변환 연산하여 좌표값을 검출해 낸다.FIG. 5 illustrates detection of (60 °) Y, (30 °) X, Z coordinate values by the region of the right camera 300. The Z and XY coordinates of the pointers located on the right and rear sides through the right camera 300 are illustrated in FIG. The value is detected, and the coordinate value is detected by performing a comparative rotation conversion operation on the XY coordinate values based on the data detected by the front camera 100 and the left camera 200 and the Z axis data.
도 6은 모션 캡쳐 대상자인 피사체가 움직이는 가상의 영역 (X , Y 좌표계)을 도시한 것으로 모든 카메라(100, 200, 300)의 뷰가 교차하는 영역의 범위가 가상영역의 공간이 되고 변환되는 공간으로 대상자의 모든 움직임이 이 영역 안에서 이루어 져야 한다. 각각의 카메라에 의해 발생되는 사각은 나머지 2대의 카메라가 교차하는 뷰를 통해 검출되며 각각 검증 연산 및 보정 연산을 통하여 정확한 좌표값으로 검출된다.상기 각 카메라의 사각은 도 7, 도 8, 도 9에 도시되어 있다.도 7의 정면 카메라(100)에 의해 발생하는 사각 영역에 존재하는 포인터의 좌표값은 좌측 카메라와 우측 카메라를 통해 검출된 데이터를 비교 연산 후 정면 카메라의 데이터와 검증, 보정 연산을 시행하여 최종 포인터의 위치를 결정한다.도 8의 좌측 카메라(200)에 의해 발생하는 사각 영역에 존재하는 포인터의 좌표값은 정면 카메라와 우측 카메라를 통해 검출된 데이터를 비교 연산 후 정면 카메라의 데이터와 검증, 보정 연산을 시행하여 최종 포인터의 위치를 결정한다.도 9의 우측 카메라(300)에 의해 발생하는 사각 영역에 존재하는 포인터의 좌표값은 정면 카메라와 좌측 카메라를 통해 검출된 데이터를 비교 연산 후 우측 카메라의 데이터와 검증, 보정 연산을 시행하여 최종 포인터의 위치를 결정한다.FIG. 6 illustrates a virtual region (X, Y coordinate system) in which a subject, which is a motion capture subject, moves, in which a view intersection of all cameras 100, 200, and 300 intersects and becomes a space of a virtual region. All movements of the subject must be made within this area. The blind spots generated by the respective cameras are detected through the view where the other two cameras intersect, and the correct blind spots are detected through the verification and correction operations, respectively. The blind spots of the cameras are illustrated in FIGS. 7, 8, and 9. The coordinate values of the pointer present in the rectangular area generated by the front camera 100 of FIG. 7 are compared with the data of the front camera and the verification and correction operation after comparing the data detected through the left and right cameras. The position of the final pointer is determined by determining the coordinates of the pointer in the rectangular area generated by the left camera 200 of FIG. 8. The position of the final pointer is determined by performing data, verification, and correction operation. The rectangular area generated by the right camera 300 of FIG. The coordinate value of the pointer is compared with the data detected through the front camera and the left camera, and then the final pointer position is determined by verifying and correcting the data of the right camera.
이상에서 상세하게 살펴본 바와 같은 본 발명에 따르면 모션을 나타내는 데이터를 색상 포인터를 추출하여 처리하므로 전체 이미지를 처리하는 것에 비하여 현저하게 줄어든 데이타 량을 만들어 데이터의 처리가 용이하며 속도가 빨라질 수 있는 효과가 있고 장비의 운용시스템은 저가의 PC와 일반 캠코더 및 USB카메라로 단순 구성되므로 매우 경제적으로 구현이 가능한 잇점이 있고, 이러한 운용시스템은 초기 셋팅 작업 역시 매우 간단하고 장소에 구애됨이 없이 이루어지는 효과가 있다.또한, 모션을 연기하는 액터와 시스템과의 유, 무선의 어떤 형태의 연결이 없이도 모션 데이터를 추출하는 것에 의하여 액터의 행동에 대한 제약이 없으므로 격렬한 동작일지라도 모션 데이터를 추출할 수 있는 효과가 있다.동시에 본 발명은 소프트웨어의 업그레이드 만으로도 전체 성능을 개선할 수 있어 반드시 하드웨어와 함께 성능을 발휘하는 종전의 방식들에 비하여 매우 큰 잇점이 있다.그리고 위와 같은 특징으로 인해 엔터테인먼트 및 가상현실분야에 직접연계가 가능하여 활용범위가 넓다.According to the present invention as described in detail above, the data representing the motion is extracted by processing the color pointer, so that the amount of data is significantly reduced compared to processing the entire image, the data can be easily processed and the speed can be faster In addition, the operating system of the equipment consists of low-cost PCs, general camcorders, and USB cameras, and thus has the advantage of being very economically feasible. Such an operating system has an effect that the initial setting is very simple and can be performed anywhere. In addition, there is no restriction on the behavior of actors by extracting the motion data without any form of wired or wireless connection between the actor that acts the motion and the system, and thus the motion data can be extracted even if the motion is intense. At the same time, the present invention software upgrade It is possible to improve the overall performance by itself, which is a big advantage over the previous methods that must perform with the hardware. And because of the above characteristics, it can be directly connected to the entertainment and virtual reality fields, and thus has a wide range of applications. .
Claims (3)
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990049880A KR100361462B1 (en) | 1999-11-11 | 1999-11-11 | Method for Acquisition of Motion Capture Data |
| CN00803619A CN1340170A (en) | 1999-11-11 | 2000-10-17 | Method for acquisition of motion capture data |
| AU79672/00A AU7967200A (en) | 1999-11-11 | 2000-10-17 | Method for acquisition of motion capture data |
| JP2001536676A JP2003514298A (en) | 1999-11-11 | 2000-10-17 | How to capture motion capture data |
| DE10083785T DE10083785T1 (en) | 1999-11-11 | 2000-10-17 | Process for capturing motion capture data |
| PCT/KR2000/001158 WO2001035208A1 (en) | 1999-11-11 | 2000-10-17 | Method for acquisition of motion capture data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990049880A KR100361462B1 (en) | 1999-11-11 | 1999-11-11 | Method for Acquisition of Motion Capture Data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20000017755A KR20000017755A (en) | 2000-04-06 |
| KR100361462B1 true KR100361462B1 (en) | 2002-11-21 |
Family
ID=19619529
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019990049880A KR100361462B1 (en) | 1999-11-11 | 1999-11-11 | Method for Acquisition of Motion Capture Data |
Country Status (6)
| Country | Link |
|---|---|
| JP (1) | JP2003514298A (en) |
| KR (1) | KR100361462B1 (en) |
| CN (1) | CN1340170A (en) |
| AU (1) | AU7967200A (en) |
| DE (1) | DE10083785T1 (en) |
| WO (1) | WO2001035208A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100753965B1 (en) * | 2006-04-07 | 2007-08-31 | (주)아이토닉 | Posture capture system of puppet and method thereof |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100362383B1 (en) * | 1999-12-27 | 2002-11-23 | 한국전자통신연구원 | Post-processing method for motion captured data using 3D interface |
| KR20020017576A (en) * | 2000-08-31 | 2002-03-07 | 이준서 | System and method for motion capture using camera image |
| KR20020095867A (en) * | 2001-06-16 | 2002-12-28 | 이희만 | A Motion Capture System using Color Wavelength |
| KR20030065620A (en) * | 2002-01-30 | 2003-08-09 | 대한민국(전남대학교총장) | apparatus and method for recognizing action of virtual game system |
| AU2003220185B2 (en) | 2002-03-12 | 2007-05-10 | Menache, Llc | Motion tracking system and method |
| US8454428B2 (en) | 2002-09-12 | 2013-06-04 | Wms Gaming Inc. | Gaming machine performing real-time 3D rendering of gaming events |
| US7009561B2 (en) | 2003-03-11 | 2006-03-07 | Menache, Llp | Radio frequency motion tracking system and method |
| US7573480B2 (en) * | 2003-05-01 | 2009-08-11 | Sony Corporation | System and method for capturing facial and body motion |
| CN100361070C (en) * | 2004-10-29 | 2008-01-09 | 中国科学院计算技术研究所 | skeleton motion extraction method by means of optical-based motion capture data |
| US7580546B2 (en) | 2004-12-09 | 2009-08-25 | Electronics And Telecommunications Research Institute | Marker-free motion capture apparatus and method for correcting tracking error |
| JP4687265B2 (en) * | 2005-06-14 | 2011-05-25 | 富士ゼロックス株式会社 | Image analyzer |
| KR100763578B1 (en) * | 2005-12-01 | 2007-10-04 | 한국전자통신연구원 | Method for Estimating 3-Dimensional Position of Human's Joint using Sphere Projecting Technique |
| US7869646B2 (en) | 2005-12-01 | 2011-01-11 | Electronics And Telecommunications Research Institute | Method for estimating three-dimensional position of human joint using sphere projecting technique |
| US20080170750A1 (en) * | 2006-11-01 | 2008-07-17 | Demian Gordon | Segment tracking in motion picture |
| CN101581966B (en) * | 2008-05-16 | 2011-03-16 | 英业达股份有限公司 | Method and system for operating personal computer by utilizing action recognition |
| US20100277470A1 (en) * | 2009-05-01 | 2010-11-04 | Microsoft Corporation | Systems And Methods For Applying Model Tracking To Motion Capture |
| US20120253517A1 (en) * | 2009-12-24 | 2012-10-04 | Rottelaillu (House Of Bread) | Necktie Personal-Extender/Environment-Integrator and Method for Super-Augmenting a Persona to manifest a Pan-Environment Super-Cyborg for Global Governance |
| CN101982836B (en) * | 2010-10-14 | 2012-02-29 | 西北工业大学 | Mark point identification initializing method based on principal components analysis (PCA) in motion capture system |
| CN102622500A (en) * | 2011-01-30 | 2012-08-01 | 德信互动科技（北京）有限公司 | Game achieving system |
| KR101465087B1 (en) * | 2012-11-14 | 2014-11-26 | 포항공과대학교 산학협력단 | Analyzing method of trajectory and behavior pattern of a living organism |
| CN105118343A (en) * | 2015-09-15 | 2015-12-02 | 北京瑞盖科技有限公司 | Tennis training examination and evaluation system and training method |
| KR101968420B1 (en) * | 2017-11-24 | 2019-04-11 | 이화여자대학교 산학협력단 | System and Method for Customized Game Production Based on User Body Motion and Recording Medium thereof |
| CN108742841B (en) * | 2018-05-30 | 2020-11-06 | 上海交通大学 | Tool real-time positioning device of multi-position tracker |
| CN109186455A (en) * | 2018-09-06 | 2019-01-11 | 安徽师范大学 | A kind of device of view-based access control model measurement dynamic object three-dimensional coordinate |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0656352B2 (en) * | 1987-11-17 | 1994-07-27 | 安全自動車株式会社 | Detecting device |
| JP2941412B2 (en) * | 1990-11-26 | 1999-08-25 | 株式会社東芝 | 3D measurement method |
| US5546189A (en) * | 1994-05-19 | 1996-08-13 | View Engineering, Inc. | Triangulation-based 3D imaging and processing method and system |
| US6041652A (en) * | 1998-07-31 | 2000-03-28 | Litton Systems Inc. | Multisensor rotor flexure mounting |
-
1999
- 1999-11-11 KR KR1019990049880A patent/KR100361462B1/en not_active IP Right Cessation
-
2000
- 2000-10-17 AU AU79672/00A patent/AU7967200A/en not_active Abandoned
- 2000-10-17 CN CN00803619A patent/CN1340170A/en active Pending
- 2000-10-17 WO PCT/KR2000/001158 patent/WO2001035208A1/en active Application Filing
- 2000-10-17 JP JP2001536676A patent/JP2003514298A/en active Pending
- 2000-10-17 DE DE10083785T patent/DE10083785T1/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100753965B1 (en) * | 2006-04-07 | 2007-08-31 | (주)아이토닉 | Posture capture system of puppet and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| AU7967200A (en) | 2001-06-06 |
| JP2003514298A (en) | 2003-04-15 |
| DE10083785T1 (en) | 2001-11-29 |
| CN1340170A (en) | 2002-03-13 |
| KR20000017755A (en) | 2000-04-06 |
| WO2001035208A1 (en) | 2001-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100361462B1 (en) | Method for Acquisition of Motion Capture Data | |
| KR101606628B1 (en) | Pointing-direction detecting device and its method, program and computer readable-medium | |
| Fahn et al. | Development of a data glove with reducing sensors based on magnetic induction | |
| US7460687B2 (en) | Watermarking scheme for digital video | |
| KR101768958B1 (en) | Hybird motion capture system for manufacturing high quality contents | |
| WO2013035554A1 (en) | Method for detecting motion of input body and input device using same | |
| CN111353355B (en) | Motion tracking system and method | |
| Fang et al. | Development of a wearable device for motion capturing based on magnetic and inertial measurement units | |
| EP3343242B1 (en) | Tracking system, tracking device and tracking method | |
| US11507192B2 (en) | Gesture acquisition system | |
| KR20020017576A (en) | System and method for motion capture using camera image | |
| Mitobe et al. | Development of a motion capture system for a hand using a magnetic three dimensional position sensor | |
| KR100415884B1 (en) | Method and apparatus for capturing motion of human body and thereby making motion data file | |
| CN203630822U (en) | Virtual image and real scene combined stage interaction integrating system | |
| JP2023507241A (en) | A proxy controller suit with arbitrary dual-range kinematics | |
| Shi et al. | Human motion capture system and its sensor analysis | |
| KR101527792B1 (en) | Method and apparatus for modeling interactive character | |
| CN110209270A (en) | A kind of data glove, data glove system, bearing calibration and storage medium | |
| KR102460361B1 (en) | System and method for performing calibrations | |
| CN110515466B (en) | Motion capture system based on virtual reality scene | |
| KR101094137B1 (en) | Motion capture system | |
| Wang et al. | Study on virtual coordinate measuring machine based on augmented virtuality | |
| EP4235578A1 (en) | Mixed reality processing system and mixed reality processing method | |
| JP2000321044A (en) | Motion capturing apparatus | |
| WO2023277586A1 (en) | Motion tracking system using deep learning technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| G15R | Request for early opening | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20051101 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |