KR20120028416A - Integration motion sensing device - Google Patents

Integration motion sensing device Download PDF

Info

Publication number
KR20120028416A
KR20120028416A KR1020100089911A KR20100089911A KR20120028416A KR 20120028416 A KR20120028416 A KR 20120028416A KR 1020100089911 A KR1020100089911 A KR 1020100089911A KR 20100089911 A KR20100089911 A KR 20100089911A KR 20120028416 A KR20120028416 A KR 20120028416A
Authority
KR
South Korea
Prior art keywords
motion
information
integrated
motion information
inertial
Prior art date
Application number
KR1020100089911A
Other languages
Korean (ko)
Inventor
이보람
방원철
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100089911A priority Critical patent/KR20120028416A/en
Publication of KR20120028416A publication Critical patent/KR20120028416A/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/10—Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void
    • G01J1/20—Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void intensity of the measured or reference value being varied to equalise their effects at the detectors, e.g. by varying incidence angle
    • G01J1/28—Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void intensity of the measured or reference value being varied to equalise their effects at the detectors, e.g. by varying incidence angle using variation of intensity or distance of source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves

Abstract

PURPOSE: An integrated motion detection apparatus is provided to improve estimation accuracy and stability about the position and posture of an object. CONSTITUTION: An integrated motion detection apparatus(100) comprises a first motion detection part(110), a second motion detection part(120), and a motion estimation part(130). The first motion detection part calculates the first motion information of objects based on the intensity of an infrared ray which is measured by using one or more optical sensors. The second motion detection part calculates the second motion information of the objects based on inertia information which is measured by using one or more inertia sensors. The motion estimation part calculates the third motion information of the objects based on the intensity of the infrared ray, the first motion information, the inertia information or the second motion information.

Description

통합 움직임 감지 장치{INTEGRATION MOTION SENSING DEVICE}Integrated motion detection device {INTEGRATION MOTION SENSING DEVICE}

본 발명의 실시예들은 광센서 및 관성 센서를 이용하여 측정된 정보 및 상기 측정된 정보를 연산하여 추정된 정보들을 기반으로 대상물의 최종 움직임 정보를 추정하는 통합 움직임 감지 장치에 관한 것이다.Embodiments of the present invention relate to an integrated motion detection apparatus for estimating final motion information of an object based on information measured using an optical sensor and an inertial sensor and the estimated information.

움직임 감지 장치(motion sensor)는 대상물의 위치 및 자세 등을 측정 및 추정할 수 있는 영상 센서(카메라), 광 센서, 초음파 센서, 자기 센서, 관성 센서 등의 다양한 방식으로 개발되고 있다.Motion sensors are being developed in various ways such as image sensors (cameras), optical sensors, ultrasonic sensors, magnetic sensors, and inertial sensors that can measure and estimate the position and attitude of an object.

영상 센서는 영상 획득 장치(카메라)로 대상물을 촬영하고, 정지된 한 순간의 영상으로부터 관심 대상의 위치를 계산할 수 있다. 영상 센서는 3차원(depth) 정보를 제공하는 영상 획득 장치가 아닌 경우, 2차원 위치만 계산 할 수 있으나 둘 이상의 장치를 이용하면 3차원 위치를 계산할 수도 있다. The image sensor may photograph an object with an image capturing device (camera), and calculate a position of the object of interest from an image of one stationary moment. If the image sensor is not an image acquisition device that provides three-dimensional information, only the two-dimensional position may be calculated, but the three-dimensional position may be calculated using two or more devices.

영상 센서는 특정 표식의 도움 없이(markerless) 자유로운 움직임을 인식하기 어려우며, 표식이 있더라도 영상 장치의 해상도와 처리 장치의 연산 능력의 한계 때문에 고속으로 정확한 대상물의 위치와 자세를 얻지 못 할 수도 있다.The image sensor is difficult to recognize free movement without the help of a specific marker, and even if the marker is present, it may not be able to obtain a precise object position and posture at high speed due to the limitation of the resolution of the imaging apparatus and the computing power of the processing apparatus.

초음파 센서는 발신부와 수신부를 이용하여 대상물의 거리를 측정할 수 있는 센서로써, 다수 개의 쌍을 이용하면 대상물의 위치 및 자세 등을 계산할 수 있다.The ultrasonic sensor is a sensor that can measure the distance of the object by using the transmitter and the receiver, and when using a plurality of pairs, the position and the posture of the object can be calculated.

자기 센서는 대상물의 지자기 또는 인위적으로 발생한 자기를 측정하여 자세를 추정할 수 있다. 자기 센서는 지자기장을 측정하는 경우, 자북(magnetic north)을 기준으로 하는 절대 방위각을 알아 낼 수 있고, 인위적으로 발생한 자기장을 측정하는 경우 자기장 발생원으로부터의 상대적인 자세를 계산할 수 있다.The magnetic sensor may estimate the posture by measuring the geomagnetism or artificially generated magnetism of the object. The magnetic sensor can determine the absolute azimuth angle based on magnetic north when measuring the geomagnetic field, and calculate the relative posture from the source of magnetic field when measuring the magnetic field generated artificially.

영상 센서, 초음파 센서 및 자기 센서는 빛의 반사, 초음파 송/수신, 자기장 발생/측정 등 외부의 자원(external source) 및 조건(external condition)에 의존하는 특성이 있다.Image sensors, ultrasonic sensors, and magnetic sensors have characteristics that depend on external sources and external conditions such as light reflection, ultrasonic transmission / reception, and magnetic field generation / measurement.

관성 센서는 측정 값이 비교적 고속(high sampling rate)으로 출력되고 자체적으로 물리량 측정이 가능한(self-contained) 특성을 지니지만, 대상물의 위치 및 자세를 계산하는 데 있어서, 장시간 독립적으로 사용할 수 없고, 센서 오차, 적분 오차 등을 주기적으로 보정해주어야 한다.The inertial sensor has a characteristic that the measured value is output at a relatively high sampling rate and is self-contained. However, the inertial sensor cannot be used independently for a long time in calculating the position and attitude of the object, Sensor error, integral error, etc. should be corrected periodically.

본 발명의 일실시예에 따른 통합 움직임 감지 장치는 하나 이상의 광센서를 이용하여 측정된 적외선의 세기(intensity)를 기반으로 대상물의 제1 움직임 정보를 연산하는 제1 동작 감지부, 하나 이상의 관성 센서를 이용하여 측정된 관성 정보를 기반으로 상기 대상물의 제2 움직임 정보를 연산하는 제2 동작 감지부 및 상기 적외선의 세기, 상기 제1 움직임 정보, 상기 관성 정보 또는 상기 제2 움직임 정보 중 어느 하나 이상을 기반으로 상기 대상물의 제3 움직임 정보를 추정하는 동작 추정부를 포함한다.Integrated motion detection apparatus according to an embodiment of the present invention is a first motion detection unit for calculating the first motion information of the object based on the intensity (intensity) of the infrared rays measured using at least one optical sensor, at least one inertial sensor At least one of a second motion detection unit for calculating second motion information of the object based on the inertial information measured by using and the intensity of the infrared ray, the first motion information, the inertial information or the second motion information And an motion estimator for estimating third motion information of the object based on.

또한, 본 발명의 다른 실시예에 따른 통합 움직임 감지 장치는 하나 이상의 광센서를 이용하여 측정된 적외선의 세기(intensity)를 기반으로 대상물의 제1 움직임 정보를 연산하는 제1 동작 감지부, 하나 이상의 관성 센서를 이용하여 상기 대상물에 대한 관성 정보를 측정하는 제2 동작 감지부 및 상기 제1 움직임 정보 및 관성 정보를 기반으로 상기 대상물의 제2 움직임 정보를 추정하는 동작 추정부를 포함한다.In addition, the integrated motion detection apparatus according to another embodiment of the present invention, the first motion detection unit for calculating the first motion information of the object based on the intensity (intensity) of the infrared rays measured using one or more optical sensors, one or more And a second motion detector configured to measure inertial information about the object by using an inertial sensor, and an motion estimation unit to estimate second motion information of the object based on the first motion information and the inertia information.

또한, 본 발명의 또 다른 실시예에 따른 통합 움직임 감지 장치는 하나 이상의 광센서를 이용하여 대상물로부터 반사되는 적외선의 세기(intensity)를 측정하는 제1 동작 감지부, 하나 이상의 관성 센서를 이용하여 측정된 관성 정보를 기반으로 상기 대상물의 제1 움직임 정보를 연산하는 제2 동작 감지부 및 상기 적외선의 세기 및 상기 제1 움직임 정보를 기반으로 상기 대상물의 제2 움직임 정보를 추정하는 동작 추정부를 포함한다.In addition, the integrated motion detection apparatus according to another embodiment of the present invention is a first motion detection unit for measuring the intensity (intensity) of the infrared light reflected from the object using one or more optical sensors, using one or more inertial sensors And a second motion detector for calculating first motion information of the object based on the inertial information, and an motion estimator for estimating second motion information of the object based on the intensity of the infrared ray and the first motion information. .

또한, 본 발명의 또 다른 실시예에 따른 통합 움직임 감지 장치는 하나 이상의 광센서를 이용하여 대상물로부터 반사되는 적외선의 세기(intensity)를 측정하는 제1 동작 감지부, 하나 이상의 관성 센서를 이용하여 상기 대상물에 대한 관성 정보를 측정하는 제2 동작 감지부 및 상기 적외선의 세기 및 상기 관성 정보를 기반으로 상기 대상물의 움직임 정보를 추정하는 동작 추정부를 포함한다.In addition, the integrated motion detection apparatus according to another embodiment of the present invention is a first motion detection unit for measuring the intensity (intensity) of the infrared light reflected from the object by using at least one optical sensor, the at least one inertial sensor And a second motion detector configured to measure inertial information about an object, and an motion estimation unit to estimate motion information of the object based on the intensity of the infrared ray and the inertial information.

또한, 본 발명의 또 다른 실시예에 따른 통합 움직임 감지 장치는 하나 이상의 광센서를 이용하여 측정된 적외선의 세기(intensity)를 기반으로 대상물의 제1 움직임 정보를 연산하는 제1 동작 감지부, 하나 이상의 관성 센서를 이용하여 측정된 관성 정보를 기반으로 상기 대상물의 제2 움직임 정보를 연산하는 제2 동작 감지부 및 상기 제1 움직임 정보 및 상기 제2 움직임 정보를 기반으로 상기 대상물의 제3 움직임 정보를 추정하는 동작 추정부를 포함한다.In addition, the integrated motion detection apparatus according to another embodiment of the present invention is a first motion detection unit for calculating the first motion information of the object based on the intensity (intensity) of the infrared rays measured using one or more optical sensors, one A second motion detector configured to calculate second motion information of the object based on the inertial information measured using the inertial sensor; and third motion information of the object based on the first motion information and the second motion information. And an operation estimator for estimating.

본 발명의 일실시예에 따르면 둘 이상의 센서가 통합된 통합 움직임 감지 장치를 이용하여 대상물의 위치 및 자세에 대한 추정 정확도 및 안정성을 높일 수 있다.According to an embodiment of the present invention, the accuracy and the stability of the estimation of the position and posture of the object may be increased by using the integrated motion detection apparatus in which two or more sensors are integrated.

또한, 본 발명의 일실시예에 따르면 하나의 센서가 대상물에 대한 움직임 정보를 수신하지 못 하는 상태에서도 끊어짐 없이(Seamless) 대상물의 운동 상태를 추정할 수 있다.In addition, according to an embodiment of the present invention, even if one sensor does not receive motion information on an object, it is possible to estimate the motion state of the object seamlessly.

도 1은 본 발명의 제1 실시예에 통합 움직임 감지 장치의 구성을 도시한 블록도이다.
도 2는 본 발명의 제1 실시예에 따른 통합 움직임 감지 장치의 상세 구성을 도시한 블록도이다.
도 3은 본 발명의 제2 실시예에 따른 통합 움직임 감지 장치의 상세 구성을 도시한 블록도이다.
도 4는 본 발명의 제3 실시예에 따른 통합 움직임 감지 장치의 구성을 도시한 블록도이다.
도 5는 본 발명의 제4 실시예에 따른 통합 움직임 감지 장치의 구성을 도시한 블록도이다.
도 6은 본 발명의 제5 실시예에 따른 통합 움직임 감지 장치의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of an integrated motion detection apparatus in a first embodiment of the present invention.
2 is a block diagram showing a detailed configuration of the integrated motion detection apparatus according to the first embodiment of the present invention.
3 is a block diagram showing the detailed configuration of the integrated motion detection apparatus according to a second embodiment of the present invention.
4 is a block diagram illustrating a configuration of an integrated motion detection apparatus according to a third embodiment of the present invention.
5 is a block diagram showing the configuration of the integrated motion detection apparatus according to the fourth embodiment of the present invention.
6 is a block diagram showing the configuration of the integrated motion detection apparatus according to the fifth embodiment of the present invention.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings and accompanying drawings, but the present invention is not limited to or limited by the embodiments.

한편, 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.On the other hand, in describing the present invention, when it is determined that the detailed description of the related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. The terminology used herein is a term used for appropriately expressing an embodiment of the present invention, which may vary depending on the user, the intent of the operator, or the practice of the field to which the present invention belongs. Therefore, the definitions of the terms should be made based on the contents throughout the specification.

본 발명의 일실시예에 따른 통합 움직임 감지 장치는 다양한 종류의 움직임 감지 장치를 둘 이상 결합하여 대상물의 위치 및 자세 등을 측정 및 추정함으로써, 대상물에 대한 움직임을 더욱 정확하게 측정할 수 있다.The integrated motion detection apparatus according to an embodiment of the present invention combines two or more kinds of motion detection devices to measure and estimate the position and posture of the object, thereby more accurately measuring the motion of the object.

본 발명의 일측에 따른 통합 움직임 감지 장치는 하나 이상의 광센서를 이용하여 하나 이상의 광원에서 발광하는 적외선(IR)을 측정하고, 측정된 적외선의 세기(intensity)를 기반으로 대상물의 위치, 자세 또는 이동 방향 등을 계산하는 제1 동작 감지부를 포함한다.An integrated motion detection apparatus according to an aspect of the present invention measures the infrared rays (IR) emitted from one or more light sources using one or more optical sensors, and the position, posture or movement of the object based on the measured intensity of the infrared rays It includes a first motion detector for calculating the direction and the like.

또한, 본 발명의 일측에 따른 통합 움직임 감지 장치는 1축 이상의 가속도계와 1축 이상의 자이로스코프(자이로) 등의 관성 센서를 이용하여 대상물의 움직임에 따른 관성 정보를 측정하고, 측정된 관성 정보를 기반으로 대상물의 위치, 자세 또는 이동 방향 등을 계산하는 제2 동작 감지부를 포함한다.In addition, the integrated motion detection apparatus according to an aspect of the present invention measures the inertial information according to the movement of the object using an inertial sensor such as an accelerometer or more than one axis and a gyroscope (gyro) or more, and based on the measured inertial information And a second motion detector for calculating a position, a posture, or a moving direction of the object.

본 발명의 일실시예에 따르면, 상기 제1 동작 감지부 및 상기 제2 동작 감지부와 같이 둘 이상의 동작 감지부를 통합함으로써, 대상물의 움직임을 더욱 정확하게 측정할 수 있는 통합 움직임 감지 장치를 제공한다.According to an embodiment of the present invention, by integrating two or more motion detection units, such as the first motion detection unit and the second motion detection unit, to provide an integrated motion detection device that can more accurately measure the movement of the object.

도 1은 본 발명의 제1 실시예에 통합 움직임 감지 장치의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of an integrated motion detection apparatus in a first embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 통합 움직임 감지 장치(100)는 제1 동작 감지부(110), 제2 동작 감지부(120) 및 동작 추정부(130)로 구성된다.As shown in FIG. 1, the integrated motion detection apparatus 100 according to an embodiment of the present invention includes a first motion detection unit 110, a second motion detection unit 120, and a motion estimation unit 130. do.

본 발명의 일실시예에 따른 제1 동작 감지부(110)는 하나 이상의 광센서를 이용하여 측정된 적외선의 세기(intensity)를 기반으로 대상물의 제1 움직임 정보를 연산한다.The first motion detection unit 110 according to an embodiment of the present invention calculates the first motion information of the object based on the intensity of the infrared rays measured using one or more optical sensors.

본 발명의 일실시예에 따른 제2 동작 감지부(120)는 하나 이상의 관성 센서를 이용하여 측정된 관성 정보를 기반으로 상기 대상물의 제2 움직임 정보를 연산한다.The second motion detector 120 according to an embodiment of the present invention calculates the second motion information of the object based on the inertial information measured using one or more inertial sensors.

본 발명의 일실시예에 따른 동작 추정부(130)는 상기 적외선의 세기, 상기 제1 움직임 정보, 상기 관성 정보 또는 상기 제2 움직임 정보 중 어느 하나 이상을 기반으로 상기 대상물의 제3 움직임 정보를 추정한다.The motion estimator 130 according to an embodiment of the present invention may obtain the third motion information of the object based on at least one of the infrared intensity, the first motion information, the inertial information, or the second motion information. Estimate.

도 2는 본 발명의 제1 실시예에 따른 통합 움직임 감지 장치의 상세 구성을 도시한 블록도이다.2 is a block diagram showing a detailed configuration of the integrated motion detection apparatus according to the first embodiment of the present invention.

본 발명의 일측에 따른 제1 동작 감지부(210)는 적외선(IR)을 이용하여 대상물의 움직임을 감지하는 동작 감지부로써, 하나 이상의 적외선(IR) 광원(211)에서 발광하는 적외선을 하나 이상의 광센서(212)를 이용하여 측정하고, 측정된 적외선의 세기(intensity)를 기반으로 대상물에 대한 위치, 자세 및 이동 방향을 연산한다.The first motion detection unit 210 according to one side of the present invention is a motion detection unit for detecting a movement of an object using infrared (IR), at least one infrared light emitted from one or more infrared (IR) light source 211 The light sensor 212 is used to calculate the position, attitude, and moving direction of the object based on the measured intensity of the infrared light.

본 발명의 일측에 따른 제1 동작 감지부(210)는 상기 대상물에 대한 위치, 자세 또는 이동 방향 등의 대상물에 대한 다양한 움직임 관련 정보를 포함하는 상기 제1 움직임 정보를 연산하는 제1 연산부(213)을 포함한다.The first motion detector 210 according to an embodiment of the present invention may include a first calculator 213 that calculates the first motion information including various motion related information about an object such as a position, a posture, or a moving direction with respect to the object. ).

본 발명의 일측에 따른 제1 동작 감지부(210)는 대상물에 대한 위치, 자세 또는 이동 방향 등을 연산하는 과정에서 적분(integration) 과정이 필요한 경우, 이전 샘플링 시간(sampling time)에서 연산된 대상물의 위치, 자세 또는 이동 방향을 시작점(seeding point)으로 적용하여 상기 제1 움직임 정보를 연산할 수 있다.The first motion detection unit 210 according to one aspect of the present invention, when an integration process is required in the process of calculating the position, posture, or movement direction with respect to the object, the object calculated at the previous sampling time (sampling time) The first motion information may be calculated by applying a position, a posture, or a moving direction of a as a starting point.

본 발명의 일측에 따른 제2 동작 감지부(220)는 1축 이상의 가속도계 또는 1축 이상의 자이로스코프(자이로) 등의 관성 측정 유닛(IMU: Inertial Measurement Unit)으로 구성된 관성 센서(221)를 포함한다.The second motion detection unit 220 according to an embodiment of the present invention includes an inertial sensor 221 including an inertial measurement unit (IMU) such as one or more axes of accelerometers or one or more axes of gyroscopes (gyros). .

본 발명의 일측에 따른 관성 센서(221)는 대상물의 움직임에 대한 가속도(specific force) 또는 회전 각속도(angular rate) 등의 관성 정보를 측정한다.The inertial sensor 221 according to an embodiment of the present invention measures inertia information such as a specific force or an angular rate of rotation of an object.

본 발명의 일측에 따른 제2 동작 감지부(220)는 상기 관성 센서(221)에 의하여 측정된 관성 정보를 수신하여 상기 대상물에 대한 적분된 속도, 적분된 위치, 적분된 자세 또는 적분된 이동 방향 등의 제2 움직임 정보를 연산하는 제2 연산부(222)를 포함한다.The second motion detection unit 220 according to an aspect of the present invention receives the inertial information measured by the inertial sensor 221 to integrate the speed, the integrated position, the integrated posture or the integrated moving direction with respect to the object. And a second calculator 222 that calculates second motion information such as the back.

본 발명의 일측에 따른 제2 동작 감지부(220)는 관성 항법 장치(INS: Inertial Navigation System)라고도 할 수 있으며, 초기값이 주어지는 경우 대상물에 대한 위치, 자세 및 이동 방향에 대한 적분 계산을 시작할 수 있다.The second motion detection unit 220 according to an aspect of the present invention may also be referred to as an inertial navigation system (INS). When an initial value is given, the second motion detection unit 220 starts to calculate the integral about the position, the attitude, and the moving direction of the object. Can be.

본 발명의 일측에 따른 제2 동작 감지부(220)는 단일 시스템으로 사용하는 경우 자체적으로 좌표 변환 정보(자세와 관련된 정보)를 연산할 수도 있으며, 바이어스(bias) 보정 및 상대적 크기 보정(scale factor) 등의 센서 보정 정보를 입력하여 성능을 향상시킬 수도 있다.When used as a single system, the second motion detector 220 according to an embodiment of the present invention may calculate coordinate transformation information (information related to posture) by itself, bias correction, and relative scale correction (scale factor). Performance can also be improved by entering sensor calibration information such as

예를 들어, 본 발명의 일측에 따른 통합 움직임 감지 장치(200)는 제1 동작 감지부(210)를 이용하여 대상물에 대한 위치 및 이동 방향이 포함된 제1 움직임 정보를 연산하고, 제2 동작 감지부(220)를 이용하여 대상물에 대한 위치 및 이동 방향이 포함된 제2 움직임 정보를 연산할 수 있다.For example, the integrated motion detecting apparatus 200 according to an embodiment of the present invention uses the first motion detecting unit 210 to calculate first motion information including a position and a moving direction of an object, and a second motion. The sensor 220 may calculate second motion information including the position and the moving direction of the object.

다른 예로, 본 발명의 일측에 따른 통합 움직임 감지 장치(220)는 제1 동작 감지부(210)를 이용하여 대상물에 대한 위치 및 이동 방향이 포함된 제1 움직임 정보를 연산한 후, 상기 제1 움직임 정보를 기반으로 상기 관성 정보를 보정하여 제3 움직임 정보를 생성할 수도 있다.As another example, the integrated motion detecting apparatus 220 according to one side of the present invention calculates first motion information including a position and a moving direction of an object by using the first motion detecting unit 210, and then the first motion information. The third motion information may be generated by correcting the inertia information based on the motion information.

본 발명의 일측에 따른 동작 추정부(230)는 추정된 제3 움직임 정보를 광센서(211) 또는 관성 센서(221)로 피드백(feedback)할 수도 있다.The motion estimation unit 230 according to an embodiment of the present invention may feed back the estimated third motion information to the optical sensor 211 or the inertial sensor 221.

본 발명의 일실시예에 따른 통합 움직임 감지 장치는 3차원 동작(3D motion)을 트래킹(tracking)함으로써, 3차원 디스플레이(3D Display) 및 대화형 게임(Interactive game), 가상현실 시스템(VR system)에 적용할 수 있다.Integrated motion detection apparatus according to an embodiment of the present invention by tracking the 3D motion (3D motion), 3D display (3D Display), interactive game (Virtual game), VR system (VR system) Applicable to

예를 들어, 본 발명의 통합 움직임 감지 장치는 모션 센싱 기반 리모컨, 3차원 포인팅 장치, 3차원 사용자 기반 인터페이스(3D User Interface) 등으로 활용 가능하다.For example, the integrated motion detection apparatus of the present invention may be utilized as a motion sensing based remote controller, a 3D pointing device, a 3D user interface, or the like.

본 발명의 일실시예에 따른 통합 움직임 감지 장치는 뇌, 척추, 무릎, 골반, 고관절, 이비인후 등의 수술 중에 주기적으로 MRI(Magnetic Resonance Imaging) 또는 CT(Computed Tomography) 영상을 획득하여 수술 도구의 위치를 실시간으로 추적하고, 수술 도구의 위치 정보를 제공하는 영상 유도 수술(Image Guided Surgery)에 적용하는 경우 상기 획득된 영상으로부터 수술 도구의 위치를 추적할 수 있다.The integrated motion detection apparatus according to an embodiment of the present invention is a surgical tool by acquiring MRI (Magnetic Resonance Imaging) or CT (Computed Tomography) images periodically during surgery of the brain, spine, knee, pelvis, hip, ear, throat, etc. The location of the surgical tool may be tracked in real time and applied to an image guided surgery (Image Guided Surgery) providing position information of the surgical tool.

도 3은 본 발명의 제2 실시예에 따른 통합 움직임 감지 장치의 상세 구성을 도시한 블록도이다.3 is a block diagram showing the detailed configuration of the integrated motion detection apparatus according to a second embodiment of the present invention.

본 발명의 일측에 따른 통합 움직임 감지 장치(300)는 제1 동작 감지부(310) 및 제2 동작 감지부(320)가 서로 독립적으로 동작하여 각각 상기 제1 움직임 정보 및 상기 제2 움직임 정보를 연산하고, 동작 추정부(330)를 이용하여 대상물에 대한 새로운 위치, 자세 또는 이동 방향 등의 상기 제3 움직임 정보를 연산할 수 있다.In the integrated motion detection apparatus 300 according to an embodiment of the present invention, the first motion detection unit 310 and the second motion detection unit 320 operate independently of each other to respectively provide the first motion information and the second motion information. The third motion information such as a new position, a posture, or a moving direction with respect to the object may be calculated using the motion estimation unit 330.

본 발명의 일측에 따른 제2 동작 감지부(320)는 자체적으로 상기 관성 정보에 대한 바이어스(bias) 보정 및 상대적 크기 보정(scale factor) 등을 수행하는 관성 정보 보상부(322)를 포함할 수 있다.The second motion detector 320 according to an embodiment of the present invention may include an inertial information compensation unit 322 which performs a bias correction and a relative scale correction on the inertial information by itself. have.

본 발명의 일측에 따른 제2 동작 감지부(320)는 상기 보정된 관성 정보를 상기 제2 움직임 정보와 관련된 좌표 정보로 변환하는 관성 정보 변환부(323)를 포함할 수도 있다.The second motion detector 320 according to an embodiment of the present invention may include an inertial information converter 323 for converting the corrected inertial information into coordinate information related to the second motion information.

본 발명의 일측에 따른 제1 동작 감지부(310) 및 제2 동작 감지부(320)는 동일한 물리량을 입력 신호로 수신하여 아래 수학식 1과 같은 가중된 합계(weighted sum)에 따른 상기 제3 움직임 정보를 출력할 수 있다.The first motion detection unit 310 and the second motion detection unit 320 according to one side of the present invention receives the same physical quantity as an input signal and the third according to the weighted sum as shown in Equation 1 below. The motion information can be output.

Figure pat00001
Figure pat00001

본 발명의 일측에 따르면 상기 XIR은 제1 움직임 정보, 상기 XINS는 제2 움직임 정보, 상기

Figure pat00002
는 제상기 3 움직임 정보 및 상기 α는 가중치로 가정한다.According to one aspect of the invention the X IR is the first motion information, the X INS is the second motion information, the
Figure pat00002
The third motion information and α are assumed to be weights.

본 발명의 일측에 따른 통합 움직임 감지 장치(300)는 상기 제3 움직임 정보를 연산하기 위하여 상기 가중치 α를 다양하게 적용할 수 있는데, 예를 들어, 상기 제1 움직임 정보 및 상기 제2 움직임 정보의 값을 대등하게 적용되도록 가중치 α의 값을 0.5로 지정할 수도 있다.The integrated motion detection apparatus 300 according to an embodiment of the present invention may apply the weight α in various ways to calculate the third motion information, for example, the first motion information and the second motion information. The value of the weight α may be designated as 0.5 so that the value is applied equally.

본 발명의 일측에 따른 통합 움직임 감지 장치(300)는 입력 신호의 특성에 따라 시간적으로 변하는 가중치를 지정할 수도 있다(α = α(t)). The integrated motion detection apparatus 300 according to an embodiment of the present invention may designate a weight that changes in time according to the characteristics of the input signal (α = α (t)).

도 4는 본 발명의 제3 실시예에 따른 통합 움직임 감지 장치의 구성을 도시한 블록도이다.4 is a block diagram illustrating a configuration of an integrated motion detection apparatus according to a third embodiment of the present invention.

본 발명의 일측에 따른 통합 움직임 감지 장치(400)는 제1 동작 감지부(410) 및 제2 동작 감지부(420)로부터 상기 제1 움직임 정보 및 상기 제2 움직임 정보를 수신하여 상기 제3 움직임 정보를 추정한 후, 동작 추정부(430)를 이용하여 상기 제3 움직임 정보에 대한 상태 변수를 보정함으로써, 더욱 정확한 정보를 추정할 수도 있다.The integrated motion detection apparatus 400 according to an embodiment of the present invention receives the first motion information and the second motion information from a first motion detector 410 and a second motion detector 420 to perform the third motion. After estimating the information, the motion estimation unit 430 may be used to correct the state variable with respect to the third motion information to estimate more accurate information.

본 발명의 일측에 따른 동작 추정부(430)는 상기 제1 움직임 정보 또는 상기 제2 움직임 정보에 대한 오차(error)의 추정치를 기반으로 상기 제3 움직임 정보를 보정하여 제4 움직임 정보를 추정하는 보정부(431)를 포함한다.The motion estimation unit 430 according to an embodiment of the present invention corrects the third motion information based on an estimate of an error with respect to the first motion information or the second motion information to estimate fourth motion information. The correction unit 431 is included.

예를 들어, 본 발명의 일측에 따른 동작 추정부(430)는 상보적 칼만 필터(Complementary Kalman Filter)를 보정부(431)로 취한 경우, 제3 움직임 정보에 대한 주요 상태 변수(primary state variable)의 오류(error)를 추정함으로써, 제3 움직임 정보에 대한 상태 변수를 보정하여 제4 움직임 정보를 추정할 수 있다.For example, when the motion estimation unit 430 according to one embodiment of the present invention takes a complementary Kalman filter as the correction unit 431, a primary state variable for the third motion information is obtained. By estimating an error of, the fourth motion information may be estimated by correcting the state variable for the third motion information.

본 발명의 일측에 따른 동작 추정부(430)는 상기 제1 움직임 정보와 상기 제2 움직임 정보에 대하여 동일한 물리량의 위치와 이동 방향을 수신하는 경우, 상기 제2 움직임 정보에 포함된 위치 및 이동 방향을 기준으로 다른 값에 대한 오차(error)의 추정치를 연산함으로써, 상기 제4 움직임 정보를 추정할 수 있다.When the motion estimation unit 430 according to one side of the present invention receives a position and a movement direction of the same physical quantity with respect to the first motion information and the second motion information, the position and the movement direction included in the second motion information. The fourth motion information may be estimated by calculating an estimated value of an error with respect to another value based on.

본 발명의 일측에 따른 동작 추정부(430)는 상기 제1 움직임 정보가 상기 통합 움직임 정보에 대한 기준 정보인 경우, 상기 제4 움직임 정보 및 상기 제1 움직임 정보를 합산하여 제5 움직임 정보를 추정할 수 있다.When the first motion information is reference information for the integrated motion information, the motion estimation unit 430 according to one aspect of the present invention estimates fifth motion information by adding the fourth motion information and the first motion information. can do.

본 발명의 일측에 따른 동작 추정부(430)는 상기 제2 움직임 정보가 상기 통합 움직임 정보에 대한 기준 정보인 경우, 상기 제4 움직임 정보 및 상기 제2 움직임 정보를 합산하여 제6 움직임 정보를 추정할 수도 있다.When the second motion information is reference information for the integrated motion information, the motion estimation unit 430 according to one side of the present invention estimates the sixth motion information by adding the fourth motion information and the second motion information. You may.

예를 들어, 본 발명의 일측에 따른 동작 추정부(430)는 상기 제2 움직임 정보가 상기 통합 움직임 정보에 대한 기준 정보인 경우, 상기 제1 움직임 정보 및 상기 제2 움직임 정보의 차인 제3 움직임 정보(

Figure pat00003
)를 구한다.For example, when the second motion information is reference information for the integrated motion information, the motion estimation unit 430 according to one side of the present invention may include a third motion that is a difference between the first motion information and the second motion information. Information(
Figure pat00003
).

다음으로, 본 발명의 일측에 따른 동작 추정부(430)는 상기 제3 움직임 정보(

Figure pat00004
)를 상보적 칼만 필터의 입력으로 하여 차가 0이 되도록 하는 차의 추정치(
Figure pat00005
)를 구하고, 상기 추정치(
Figure pat00006
)와 제2 움직임 정보를 합산함으로써 상기 제6 움직임 정보를 추정할 수 있다.Next, the motion estimation unit 430 according to the present invention is the third motion information (
Figure pat00004
) Is the input of the complementary Kalman filter to estimate the difference (
Figure pat00005
) And the estimate (
Figure pat00006
) And the second motion information may be summed to estimate the sixth motion information.

본 발명의 다른 측면에 따르면, 다음과 같은 구성의 통합 움직임 장치를 제공할 수도 있다.According to another aspect of the present invention, it is possible to provide an integrated movement device having the following configuration.

도 5는 본 발명의 제4 실시예에 따른 통합 움직임 감지 장치의 구성을 도시한 블록도이다.5 is a block diagram showing the configuration of the integrated motion detection apparatus according to the fourth embodiment of the present invention.

도 5를 참조하면, 본 발명의 다른 실시예에 따른 통합 움직임 감지 장치는 제1 동작 감지부(510), 제2 동작 감지부(520) 및 동작 추정부(530)로 구성된다.Referring to FIG. 5, the integrated motion detection apparatus according to another embodiment of the present invention includes a first motion detector 510, a second motion detector 520, and a motion estimator 530.

본 발명의 다른 측면에 따른 제1 동작 감지부(510)는 광원(511)으로부터 발광되는 적외선을 하나 이상의 광센서(512)를 이용하여 측정하고, 연산부(513)를 이용하여 상기 적외선의 세기(intensity)를 기반으로 대상물의 제1 움직임 정보를 연산한다.The first motion detector 510 according to another aspect of the present invention measures the infrared light emitted from the light source 511 using at least one optical sensor 512, and uses the calculator 513 to measure the intensity of the infrared light ( the first motion information of the object is calculated based on the intensity).

본 발명의 다른 측면에 따른 연산부(513)는 상기 대상물에 대한 위치, 자세 또는 이동 방향 중 어느 하나 이상을 포함하는 상기 제1 움직임 정보를 연산한다.The calculating unit 513 according to another aspect of the present invention calculates the first motion information including any one or more of a position, a posture, or a moving direction with respect to the object.

본 발명의 다른 측면에 따른 제2 동작 감지부(520)는 하나 이상의 관성 센서(521)를 이용하여 상기 대상물에 대한 관성 정보를 측정하고, 관성 정보 보상부(522)를 이용하여 측정된 관성 정보를 보정한다.According to another aspect of the present invention, the second motion detector 520 measures inertial information about the object using one or more inertial sensors 521, and measures inertial information measured using the inertial information compensation unit 522. Calibrate

본 발명의 다른 측면에 따르면 상기 관성 정보는 상기 대상물의 움직임에 대한 가속도(specific force) 또는 회전 각속도(angular rate) 등의 다양한 관성에 관련된 정보를 포함한다.According to another aspect of the present invention, the inertia information includes information related to various inertia such as a specific force or a angular rate of rotation of the object.

본 발명의 다른 측면에 따른 동작 추정부(530)는 상기 제1 움직임 정보 및 관성 정보를 기반으로 상기 대상물의 제2 움직임 정보를 추정한다.The motion estimation unit 530 according to another aspect of the present invention estimates the second motion information of the object based on the first motion information and the inertia information.

본 발명의 다른 측면에 따른 통합 움직임 감지 장치(500)는 제1 동작 감지부(510)에서 연산한 상기 제1 움직임 정보를 상기 관성 정보를 이용하여 보정함으로써, 최종적으로 상기 제2 움직임 정보를 추정할 수 있다.The integrated motion detection apparatus 500 according to another aspect of the present invention finally estimates the second motion information by correcting the first motion information calculated by the first motion detector 510 using the inertia information. can do.

예를 들어, 본 발명의 다른 측면에 따른 제1 움직임 감지부(510)는 운동 방정식을 이용하여 상기 대상물의 위치와 자세에 관련된 상태 변수(state variables)인 제1 움직임 정보를 모델링(modeling)한 후, 상기 모델링된 제1 움직임 정보를 동작 추정부(530)에 제공한다.For example, the first motion detector 510 according to another aspect of the present invention uses the equation of motion to model first motion information that is state variables related to the position and posture of the object. Then, the modeled first motion information is provided to the motion estimation unit 530.

본 발명의 다른 측면에 따른 제2 움직임 감지부(520)는 관성 센서(521)를 이용하여 운동 가속도 및 중력 가속도가 혼재하는 관성 정보를 측정한 후, 상기 관성 정보를 동작 추정부(530)에 제공한다.According to another aspect of the present invention, the second motion detector 520 measures inertial information in which motion acceleration and gravity acceleration are mixed using the inertial sensor 521, and then transmits the inertial information to the motion estimation unit 530. to provide.

본 발명의 다른 측면에 따른 동작 추정부(530)는 측정 벡터(measurement vector)로써 상기 제1 움직임 정보 및 상기 관성 정보를 수신하고, 확장된 칼만 필터(Extended Kalman Filter)를 이용하여 상기 수신된 정보를 보정할 수 있다.The motion estimation unit 530 according to another aspect of the present invention receives the first motion information and the inertia information as a measurement vector, and uses the extended Kalman Filter to receive the received information. Can be corrected.

예를 들어, 본 발명의 다른 측면에 따른 통합 움직임 감지 장치(500)는 아래 수학식 2 내지 3과 같은 상태 벡터와 측정 벡터를 정의할 수 있다.For example, the integrated motion detection apparatus 500 according to another aspect of the present invention may define a state vector and a measurement vector as shown in Equations 2 to 3 below.

Figure pat00007
Figure pat00007

Figure pat00008
Figure pat00008

이때, 본 발명의 다른 측면에 따르면 상기 수학식 2 내지 3의 각 변수들은 아래 표 1과 같은 정보를 의미할 수 있으나, 표 1의 값에 한정되지 아니한다.In this case, according to another aspect of the present invention, each variable of Equations 2 to 3 may mean information as shown in Table 1 below, but is not limited to the values of Table 1.

Figure pat00009
Figure pat00009

본 발명의 다른 측면에 따른 상기 상태 변수와 관련된 운동 방정식으로는 다음과 같은 수학식 4인 4원수(quaternion) 관계식과 수학식 5인 회전 각속도(angular rate) 관계식을 적용할 수 있다.As a motion equation associated with the state variable according to another aspect of the present invention, a four-quaternion relation and a rotational angular rate relation may be applied.

Figure pat00010
Figure pat00010

Figure pat00011
Figure pat00011

본 발명의 다른 측면에 따른 상기 제2 움직임 정보에 포함된 위치, 속도, 가속도 관계식은 하기 수학식 6을 적용할 수 있다.Equation 6 may be applied to the position, velocity, and acceleration relational expressions included in the second motion information according to another aspect of the present invention.

Figure pat00012
Figure pat00012

본 발명의 다른 측면에 따르면 상기

Figure pat00013
은 센서 좌표(body frame)에서 기준 좌표(reference frame)로의 변환을 나타내는 메트릭스(matrix)일 수 있다.According to another aspect of the present invention
Figure pat00013
May be a matrix representing a transformation from a sensor frame to a reference frame.

본 발명의 다른 측면에 따르면 상기 상태 변수들의 다음 상태를 구하기 위한 시스템 모델은 하기 수학식 7 내지 12를 통하여 구할 수 있다.According to another aspect of the present invention, a system model for obtaining the next state of the state variables may be obtained through Equations 7 to 12.

Figure pat00014
Figure pat00014

Figure pat00015
Figure pat00015

Figure pat00016
Figure pat00016

Figure pat00017
Figure pat00017

Figure pat00018
Figure pat00018

Figure pat00019
Figure pat00019

본 발명의 다른 측면에 따른 상태 변수인 자이로 바이어스(gyro bias)와 가속도는 상수로 가정할 수 있으며, 측정 변수들의 다음 상태를 구하기 위한 측정 모델은 하기 수학식 13을 통하여 구할 수 있다.Gyro bias and acceleration, which are state variables according to another aspect of the present invention, may be assumed as constants, and a measurement model for obtaining a next state of measurement variables may be obtained through Equation 13 below.

Figure pat00020
Figure pat00020

도 6은 본 발명의 제5 실시예에 따른 통합 움직임 감지 장치의 구성을 도시한 블록도이다.6 is a block diagram showing the configuration of the integrated motion detection apparatus according to the fifth embodiment of the present invention.

본 발명의 또 다른 실시예에 따른 통합 움직임 감지 장치(600)는 제1 동작 감지부(610), 제2 동작 감지부(620) 및 동작 추정부(630)로 구성된다.The integrated motion detection apparatus 600 according to another embodiment of the present invention includes a first motion detector 610, a second motion detector 620, and a motion estimator 630.

본 발명의 다른 측면에 따른 제1 동작 감지부(610)는 하나 이상의 광원(611)을 이용하여 대상물에 하나 이상의 적외선을 발광하고, 하나 이상의 광센서(612)를 이용하여 상기 대상물로부터 반사되는 적외선의 세기(intensity)를 측정한다.The first motion detector 610 according to another aspect of the present invention emits one or more infrared rays to the object using one or more light sources 611, and infrared rays reflected from the object using one or more optical sensors 612. Measure the intensity of.

본 발명의 다른 측면에 따른 제2 동작 감지부(620)는 하나 이상의 관성 센서를 이용하여 측정된 관성 정보를 기반으로 상기 대상물의 제1 움직임 정보를 연산한다.The second motion detector 620 according to another aspect of the present invention calculates the first motion information of the object based on the inertial information measured using one or more inertial sensors.

본 발명의 다른 측면에 따른 상기 관성 정보는 상기 대상물의 움직임에 대한 가속도(specific force) 또는 회전 각속도(angular rate) 등의 다양한 정보를 포함한다.The inertial information according to another aspect of the present invention includes various information such as a specific force or an angular rate of rotation of the object.

본 발명의 다른 측면에 따른 제2 동작 감지부(620)는 자체적으로 상기 관성 정보에 대한 바이어스(bias) 보정 및 상대적 크기 보정(scale factor) 등을 수행하는 관성 정보 보상부(622)를 포함할 수 있다.The second motion detector 620 according to another aspect of the present invention may include an inertial information compensator 622 which performs a bias correction and a relative scale factor for the inertial information by itself. Can be.

본 발명의 다른 측면에 따른 제2 동작 감지부(620)는 상기 보정된 관성 정보를 상기 제2 움직임 정보와 관련된 좌표 정보로 변환하는 관성 정보 변환부(623)를 포함할 수도 있다.The second motion detector 620 according to another aspect of the present invention may include an inertial information converter 623 for converting the corrected inertial information into coordinate information related to the second motion information.

본 발명의 다른 측면에 따른 제2 동작 감지부(620)는 상기 대상물에 대한 적분된 속도, 적분된 위치, 적분된 자세 또는 적분된 이동 방향 중 어느 하나 이상을 포함하는 제1 움직임 정보를 연산하는 연산부(624)를 포함한다.According to another aspect of the present invention, the second motion detector 620 may calculate first motion information including at least one of an integrated speed, an integrated position, an integrated attitude, and an integrated moving direction with respect to the object. The calculation unit 624 is included.

본 발명의 다른 측면에 따른 통합 움직임 감지 장치(600)는 동작 추정부(630)를 이용하여 상기 적외선의 세기 및 상기 제1 움직임 정보를 기반으로 상기 대상물의 제2 움직임 정보를 추정한다.The integrated motion sensing apparatus 600 according to another aspect of the present invention estimates the second motion information of the object based on the intensity of the infrared ray and the first motion information using the motion estimation unit 630.

본 발명의 또 다른 실시예에 따른 통합 움직임 감지 장치는 하나 이상의 광센서를 이용하여 대상물로부터 반사되는 적외선의 세기(intensity)를 측정하는 제1 동작 감지부, 하나 이상의 관성 센서를 이용하여 상기 대상물에 대한 관성 정보를 측정하는 제2 동작 감지부 및 상기 적외선의 세기 및 상기 관성 정보를 기반으로 상기 대상물의 움직임 정보를 추정하는 동작 추정부로 구성될 수도 있다.An integrated motion detection apparatus according to another embodiment of the present invention is a first motion detection unit for measuring the intensity (intensity) of the infrared light reflected from the object by using at least one optical sensor, at least one inertial sensor And a second motion detector for measuring inertia information about the motion and an motion estimator for estimating motion information of the object based on the intensity of the infrared ray and the inertia information.

또한, 본 발명의 또 다른 실시예에 따른 통합 움직임 감지 장치는 하나 이상의 광센서를 이용하여 측정된 적외선의 세기(intensity)를 기반으로 대상물의 제1 움직임 정보를 연산하는 제1 동작 감지부, 하나 이상의 관성 센서를 이용하여 측정된 관성 정보를 기반으로 상기 대상물의 제2 움직임 정보를 연산하는 제2 동작 감지부 및 상기 제1 움직임 정보 및 상기 제2 움직임 정보를 기반으로 상기 대상물의 제3 움직임 정보를 추정하는 동작 추정부로 구성된다.In addition, the integrated motion detection apparatus according to another embodiment of the present invention is a first motion detection unit for calculating the first motion information of the object based on the intensity (intensity) of the infrared rays measured using one or more optical sensors, one A second motion detector configured to calculate second motion information of the object based on the inertial information measured using the inertial sensor; and third motion information of the object based on the first motion information and the second motion information. It is composed of an operation estimating unit for estimating.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 　프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention can be implemented in the form of program instructions that can be executed by various computer means can be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of the computer-readable recording medium include magnetic media such as a hard disk, a floppy disk, and a magnetic tape; optical media such as CD-ROM and DVD; magnetic recording media such as a floppy disk; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.In the present invention as described above has been described by the specific embodiments, such as specific components and limited embodiments and drawings, but this is provided to help a more general understanding of the present invention, the present invention is not limited to the above embodiments. For those skilled in the art, various modifications and variations are possible from these descriptions. Therefore, the spirit of the present invention should not be limited to the described embodiments, and all of the equivalents or equivalents of the claims as well as the claims to be described later will belong to the scope of the present invention. .

210: 제1 동작 감지부
211: 광원
212: 광센서
213: 제1 연산부
220: 제2 동작 감지부
221: 관성 센서
222: 제2 연산부
230: 동작 추정부210: first motion detection unit
211: light source
212: light sensor
213: first operation unit
220: second motion detection unit
221: inertial sensor
222: second operation unit
230: motion estimation unit

Claims (20)

하나 이상의 광센서를 이용하여 측정된 적외선의 세기(intensity)를 기반으로 대상물의 제1 움직임 정보를 연산하는 제1 동작 감지부;
하나 이상의 관성 센서를 이용하여 측정된 관성 정보를 기반으로 상기 대상물의 제2 움직임 정보를 연산하는 제2 동작 감지부; 및
상기 적외선의 세기, 상기 제1 움직임 정보, 상기 관성 정보 또는 상기 제2 움직임 정보 중 어느 하나 이상을 기반으로 상기 대상물의 제3 움직임 정보를 추정하는 동작 추정부
를 포함하는 통합 움직임 감지 장치.A first motion detector configured to calculate first motion information of the object based on the intensity of the infrared light measured using at least one optical sensor;
A second motion detector configured to calculate second motion information of the object based on inertial information measured using at least one inertial sensor; And
An motion estimation unit estimating third motion information of the object based on at least one of the infrared intensity, the first motion information, the inertial information, and the second motion information
Integrated motion detection device comprising a. 제1항에 있어서,
상기 제1 동작 감지부는,
상기 대상물에 대한 위치, 자세 또는 이동 방향 중 어느 하나 이상을 포함하는 상기 제1 움직임 정보를 연산하는 제1 연산부
를 포함하는 통합 움직임 감지 장치.The method of claim 1,
The first motion detector,
A first calculator configured to calculate the first motion information including at least one of a position, a posture, and a movement direction with respect to the object;
Integrated motion detection device comprising a. 제1항에 있어서,
상기 관성 정보는,
상기 대상물의 움직임에 대한 가속도(specific force) 또는 회전 각속도(angular rate) 중 어느 하나 이상을 포함하는 통합 움직임 감지 장치.The method of claim 1,
The inertia information,
And at least one of a specific force or an angular rate of rotation of the object. 제1항에 있어서,
상기 제2 동작 감지부는,
상기 대상물에 대한 적분된 속도, 적분된 위치, 적분된 자세 또는 적분된 이동 방향 중 어느 하나 이상을 포함하는 제2 움직임 정보를 연산하는 제2 연산부
를 포함하는 통합 움직임 감지 장치.The method of claim 1,
The second motion detector,
A second calculator configured to calculate second motion information including at least one of an integrated speed, an integrated position, an integrated attitude, and an integrated moving direction with respect to the object;
Integrated motion detection device comprising a. 제1항에 있어서,
상기 동작 추정부는,
상기 제3 움직임 정보를 상기 광센서 또는 상기 관성 센서로 피드백(feedback)하는 통합 움직임 감지 장치.The method of claim 1,
The motion estimation unit,
Integrated motion sensing device for feeding back the third motion information to the optical sensor or the inertial sensor. 제1항에 있어서,
상기 동작 추정부는,
상기 제1 움직임 정보 또는 상기 제2 움직임 정보에 대한 오차(error)의 추정치를 기반으로 상기 제3 움직임 정보를 보정하여 제4 움직임 정보를 추정하는 보정부
를 포함하는 통합 움직임 감지 장치.The method of claim 1,
The motion estimation unit,
A correction unit configured to estimate the fourth motion information by correcting the third motion information based on an estimate of an error with respect to the first motion information or the second motion information.
Integrated motion detection device comprising a. 제6항에 있어서,
상기 동작 추정부는,
상기 제1 움직임 정보가 상기 통합 움직임 정보에 대한 기준 정보인 경우, 상기 제4 움직임 정보 및 상기 제1 움직임 정보를 합산하여 제5 움직임 정보를 추정하고,
상기 제2 움직임 정보가 상기 통합 움직임 정보에 대한 기준 정보인 경우, 상기 제4 움직임 정보 및 상기 제2 움직임 정보를 합산하여 제6 움직임 정보를 추정하는 통합 움직임 감지 장치.The method of claim 6,
The motion estimation unit,
When the first motion information is reference information for the integrated motion information, the fifth motion information is estimated by adding the fourth motion information and the first motion information,
And when the second motion information is reference information for the integrated motion information, adding the fourth motion information and the second motion information to estimate sixth motion information. 하나 이상의 광센서를 이용하여 측정된 적외선의 세기(intensity)를 기반으로 대상물의 제1 움직임 정보를 연산하는 제1 동작 감지부;
하나 이상의 관성 센서를 이용하여 상기 대상물에 대한 관성 정보를 측정하는 제2 동작 감지부; 및
상기 제1 움직임 정보 및 상기 관성 정보를 기반으로 상기 대상물의 제2 움직임 정보를 추정하는 동작 추정부
를 포함하는 통합 움직임 감지 장치.A first motion detector configured to calculate first motion information of the object based on intensity of infrared rays measured using at least one optical sensor;
A second motion detector configured to measure inertial information about the object using at least one inertial sensor; And
An motion estimation unit estimating second motion information of the object based on the first motion information and the inertia information
Integrated motion detection device comprising a. 제8항에 있어서,
상기 제1 동작 감지부는,
상기 대상물에 대한 위치, 자세 또는 이동 방향 중 어느 하나 이상을 포함하는 상기 제1 움직임 정보를 연산하는 연산부
를 포함하는 통합 움직임 감지 장치.The method of claim 8,
The first motion detector,
An operation unit for calculating the first motion information including at least one of a position, a posture, and a movement direction with respect to the object
Integrated motion detection device comprising a. 제8항에 있어서,
상기 관성 정보는,
상기 대상물의 움직임에 대한 가속도(specific force) 또는 회전 각속도(angular rate) 중 어느 하나 이상을 포함하는 통합 움직임 감지 장치.The method of claim 8,
The inertia information,
And at least one of a specific force or an angular rate of rotation of the object. 하나 이상의 광센서를 이용하여 대상물로부터 반사되는 적외선의 세기(intensity)를 측정하는 제1 동작 감지부;
하나 이상의 관성 센서를 이용하여 측정된 관성 정보를 기반으로 상기 대상물의 제1 움직임 정보를 연산하는 제2 동작 감지부; 및
상기 적외선의 세기 및 상기 제1 움직임 정보를 기반으로 상기 대상물의 제2 움직임 정보를 추정하는 동작 추정부
를 포함하는 통합 움직임 감지 장치.A first motion detector configured to measure an intensity of infrared rays reflected from an object by using one or more optical sensors;
A second motion detector configured to calculate first motion information of the object based on inertial information measured using at least one inertial sensor; And
An motion estimation unit estimating second motion information of the object based on the infrared intensity and the first motion information
Integrated motion detection device comprising a. 제11항에 있어서,
상기 관성 정보는,
상기 대상물의 움직임에 대한 가속도(specific force) 또는 회전 각속도(angular rate) 중 어느 하나 이상을 포함하는 통합 움직임 감지 장치.The method of claim 11,
The inertia information,
And at least one of a specific force or an angular rate of rotation of the object. 제11항에 있어서,
상기 제2 동작 감지부는,
상기 대상물에 대한 적분된 속도, 적분된 위치, 적분된 자세 또는 적분된 이동 방향 중 어느 하나 이상을 포함하는 제1 움직임 정보를 연산하는 연산부
를 포함하는 통합 움직임 감지 장치.The method of claim 11,
The second motion detector,
An operation unit configured to calculate first motion information including at least one of an integrated speed, an integrated position, an integrated attitude, and an integrated moving direction with respect to the object;
Integrated motion detection device comprising a. 하나 이상의 광센서를 이용하여 대상물로부터 반사되는 적외선의 세기(intensity)를 측정하는 제1 동작 감지부;
하나 이상의 관성 센서를 이용하여 상기 대상물에 대한 관성 정보를 측정하는 제2 동작 감지부; 및
상기 적외선의 세기 및 상기 관성 정보를 기반으로 상기 대상물의 움직임 정보를 추정하는 동작 추정부
를 포함하는 통합 움직임 감지 장치.A first motion detector configured to measure an intensity of infrared rays reflected from an object by using one or more optical sensors;
A second motion detector configured to measure inertial information about the object using at least one inertial sensor; And
An motion estimation unit estimating motion information of the object based on the intensity of the infrared ray and the inertia information
Integrated motion detection device comprising a. 제14항에 있어서,
상기 관성 정보는,
상기 대상물의 움직임에 대한 가속도(specific force) 또는 회전 각속도(angular rate) 중 어느 하나 이상을 포함하는 통합 움직임 감지 장치.The method of claim 14,
The inertia information,
And at least one of a specific force or an angular rate of rotation of the object. 제14항에 있어서,
상기 동작 추정부는,
상기 대상물에 대한 적분된 속도, 적분된 위치, 적분된 자세 또는 적분된 이동 방향 중 어느 하나 이상을 포함하는 움직임 정보를 추정하는 통합 움직임 감지 장치.The method of claim 14,
The motion estimation unit,
And an integrated motion sensing device for estimating motion information including at least one of an integrated speed, an integrated position, an integrated attitude, and an integrated moving direction with respect to the object. 하나 이상의 광센서를 이용하여 측정된 적외선의 세기(intensity)를 기반으로 대상물의 제1 움직임 정보를 연산하는 제1 동작 감지부;
하나 이상의 관성 센서를 이용하여 측정된 관성 정보를 기반으로 상기 대상물의 제2 움직임 정보를 연산하는 제2 동작 감지부; 및
상기 제1 움직임 정보 및 상기 제2 움직임 정보를 기반으로 상기 대상물의 제3 움직임 정보를 추정하는 동작 추정부
를 포함하는 통합 움직임 감지 장치.A first motion detector configured to calculate first motion information of the object based on intensity of infrared rays measured using at least one optical sensor;
A second motion detector configured to calculate second motion information of the object based on inertial information measured using at least one inertial sensor; And
An motion estimation unit estimating third motion information of the object based on the first motion information and the second motion information;
Integrated motion detection device comprising a. 제17항에 있어서,
상기 제1 동작 감지부는,
상기 대상물에 대한 위치, 자세 또는 이동 방향 중 어느 하나 이상을 포함하는 상기 제1 움직임 정보를 연산하는 제1 연산부
를 포함하는 통합 움직임 감지 장치.The method of claim 17,
The first motion detector,
A first calculator configured to calculate the first motion information including at least one of a position, a posture, and a movement direction with respect to the object;
Integrated motion detection device comprising a. 제17항에 있어서,
상기 관성 정보는,
상기 대상물의 움직임에 대한 가속도(specific force) 또는 회전 각속도(angular rate) 중 어느 하나 이상을 포함하는 통합 움직임 감지 장치.The method of claim 17,
The inertia information,
And at least one of a specific force or an angular rate of rotation of the object. 제17항에 있어서,
상기 제2 동작 감지부는,
상기 대상물에 대한 적분된 속도, 적분된 위치, 적분된 자세 또는 적분된 이동 방향 중 어느 하나 이상을 포함하는 제2 움직임 정보를 연산하는 제2 연산부
를 포함하는 통합 움직임 감지 장치.The method of claim 17,
The second motion detector,
A second calculator configured to calculate second motion information including at least one of an integrated speed, an integrated position, an integrated attitude, and an integrated moving direction with respect to the object;
Integrated motion detection device comprising a.
KR1020100089911A 2010-09-14 2010-09-14 Integration motion sensing device KR20120028416A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100089911A KR20120028416A (en) 2010-09-14 2010-09-14 Integration motion sensing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100089911A KR20120028416A (en) 2010-09-14 2010-09-14 Integration motion sensing device

Publications (1)

Publication Number Publication Date
KR20120028416A true KR20120028416A (en) 2012-03-23

Family

ID=46133221

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100089911A KR20120028416A (en) 2010-09-14 2010-09-14 Integration motion sensing device

Country Status (1)

Country Link
KR (1) KR20120028416A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130108771A (en) * 2012-03-26 2013-10-07 삼성전자주식회사 Apparatus and method for calibrating 3d position/orientation tracking system
KR20170103716A (en) * 2017-06-24 2017-09-13 이영종 Optical motion tracking sensor
KR20200063378A (en) * 2018-11-27 2020-06-05 한국생산기술연구원 Gesture Recognition Apparatus for Human Body Using Complementary Complex Sensor and Gesture Recognition Method for Human Body Using the Same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130108771A (en) * 2012-03-26 2013-10-07 삼성전자주식회사 Apparatus and method for calibrating 3d position/orientation tracking system
KR20170103716A (en) * 2017-06-24 2017-09-13 이영종 Optical motion tracking sensor
KR20200063378A (en) * 2018-11-27 2020-06-05 한국생산기술연구원 Gesture Recognition Apparatus for Human Body Using Complementary Complex Sensor and Gesture Recognition Method for Human Body Using the Same

Similar Documents

Publication Publication Date Title
US20120065926A1 (en) Integrated motion sensing apparatus
EP2434256B1 (en) Camera and inertial measurement unit integration with navigation data feedback for feature tracking
US10679360B2 (en) Mixed motion capture system and method
Hol Sensor fusion and calibration of inertial sensors, vision, ultra-wideband and GPS
EP1437645B1 (en) Position/orientation measurement method, and position/orientation measurement apparatus
KR101950359B1 (en) Method for position estimation of hybird motion capture system
CN106662443B (en) The method and system determined for normal trajectories
US20160260250A1 (en) Method and system for 3d capture based on structure from motion with pose detection tool
KR101192825B1 (en) Apparatus and method for lidar georeferencing based on integration of gps, ins and image at
JP6776882B2 (en) Motion analyzers, methods and programs
JP6145072B2 (en) Sensor module position acquisition method and apparatus, and motion measurement method and apparatus
US7792330B1 (en) System and method for determining range in response to image data
WO2017066323A1 (en) Integration of inertial tracking and position aiding for motion capture
JP2011503571A (en) Object orientation measurement
JP5762131B2 (en) CALIBRATION DEVICE, CALIBRATION DEVICE CALIBRATION METHOD, AND CALIBRATION PROGRAM
US20230255589A1 (en) Combining image based and inertial probe tracking
KR20120131553A (en) method of motion tracking.
US20120277992A1 (en) Electronic navigation device for a human and related methods
KR20120028416A (en) Integration motion sensing device
KR20120058802A (en) Apparatus and method for calibrating 3D Position in 3D position/orientation tracking system
Qian et al. Optical flow based step length estimation for indoor pedestrian navigation on a smartphone
WO2019186677A1 (en) Robot position/posture estimation and 3d measurement device
Bikmaev et al. Improving the accuracy of supporting mobile objects with the use of the algorithm of complex processing of signals with a monocular camera and LiDAR
JP6205387B2 (en) Method and apparatus for acquiring position information of virtual marker, and operation measurement method
US11960013B2 (en) Motion capture system and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application