KR20170103716A - Optical motion tracking sensor - Google Patents

Optical motion tracking sensor Download PDF

Info

Publication number
KR20170103716A
KR20170103716A KR1020170080118A KR20170080118A KR20170103716A KR 20170103716 A KR20170103716 A KR 20170103716A KR 1020170080118 A KR1020170080118 A KR 1020170080118A KR 20170080118 A KR20170080118 A KR 20170080118A KR 20170103716 A KR20170103716 A KR 20170103716A
Authority
KR
South Korea
Prior art keywords
motion tracking
polarizing
sensor
light
tracking
Prior art date
Application number
KR1020170080118A
Other languages
Korean (ko)
Other versions
KR101941369B1 (en
Inventor
이영종
Original Assignee
이영종
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이영종 filed Critical 이영종
Priority to KR1020170080118A priority Critical patent/KR101941369B1/en
Publication of KR20170103716A publication Critical patent/KR20170103716A/en
Application granted granted Critical
Publication of KR101941369B1 publication Critical patent/KR101941369B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Disclosed is an optical motion tracking sensor, which comprises: a plurality of polarizing plates having each different polarizing angle allowing transmission of light received from an indoor typical lighting and positioned on surfaces of a polyhedron, respectively; a wide-angle lens collecting polarized light entering through each polarizing plate into a two-dimensional plane; an image sensor having a polarizing filter array attached thereto to collect entering polarized light; a processing part analyzing light detected by each pixel of the image sensor according to each polarizing element in accordance with polarizing angle arrangement information on the polarizing filter array to detect a light vector element of an indoor lighting and performing tracking according to each frame unit to generate motion tracking information; and an interface part transferring the motion tracking information generated from the processing part to an external terminal. The motion tracking sensor is easily installed on a motion tracking target object or a human body to freely perform motion tracking without limiting a motion or an activity. The motion tracking sensor has no high performance operation part for a camera or image processing such that motion tracking can be performed with low costs. Moreover, motion tracking can be performed based on a typical indoor lighting as a tracking reference point even without a separate exclusive polarizing light source.

Description

광학식 모션 트랙킹 센서 {Optical motion tracking sensor}[0001] Optical motion tracking sensor [0002]

물체의 위치 및 자세를 추적, 측정하는 모션트랙킹 기술에 관한 것이다.To a motion tracking technique for tracking and measuring the position and attitude of an object.

모션트랙킹(Motion tracking)은 움직이는 물체의 동작을 회전값과 위치값으로 좌표하여 이를 데이터화해서 컴퓨터에서 물체 추적 데이터로 사용할 수 있게 하는 것을 말한다. 게임이나 영화의 컴퓨터그래픽스 처리를 위해 사람의 동작을 데이터화하기 위해서 주로 사용되어 왔으나 최근에는 가상현실(VR·virtual reality)기술 때문에 주목을 받고 있다. 모션트랙킹을 위한 센서기술로는 저항 측정식, 자기장 추적, 관성과 지자기추적, 광학식 등의 방식이 있다. 저항 측정식은 모션트랙킹 장비의 관절마다 가변저항소자를 결합시켜 각 관절의 움직임에 따라 변화하는 저항값을 측정하여 움직임을 추적하는 방식이고, 자기장 추적 방식은 자기장을 형성해 주는 장비로 자기장을 만들고 그 안으로 자기적인 성질을 띤 물체가 움직이게 하여 자기장 변화를 읽어 움직임을 추적하는 방식이다. 관성과 지자기 추적식은 자이로센서를 이용해 물체가 기울어져 있는 각도를 측정해 상하좌우의 움직임을 감지하고 지자계 센서는 자기장의 강약을 감지하여 자이로 센서를 보완하고 가속도 센서는 자이로 센서와 결합해 움직임을 잡아내며 측정된 가속도를 적분해 물체의 각축별 속도를 환산하고 다시 이 값을 시간에 따라 적분해 물체 위치로 환산하는 방식이다. 관성과 지자기 추적식의 이점은 단일 혹은 복수개로 분리된 반도체 MEMS(Microelectromechanical systems) 방식으로 제작이 가능해 저렴하고 높은 업데이트 속도와 빠른 측정이 가능하다는 점이다. 그러나 적분에 기초에 속도와 위치를 측정해야해 모션트랙킹 시간이 늘어남에 따라 측정 오차가 같이 적분 누적되어 위치정보가 맞지 않게 될 가능성이 있다. 광학식 모션트랙킹은 추적할 물체에 복수 적외선 광원을 부착하고 적외선 카메라를 통해 이 광원점들을 추적하는 방식, 적외선 광원을 대체하는 식별 마커를 부착하여 카메라를 통한 이미지 프로세싱을 통해 식별 마커를 따라가며 물체를 추적하는 방식, 추적할 물체의 3차원 기하학적 특이점들을 조합하여 카메라를 통해 이 기하학적 특이점의 위치를 추적하여 물체의 움직임을 트랙킹하는 방식 등이 있다. Motion tracking refers to coordinate the motion of a moving object with a rotation value and a position value, and then data can be converted into data to be used as object tracking data on a computer. Has been mainly used to digitize human motion for computer graphics processing of a game or a movie, but recently it is receiving attention because of virtual reality (VR) technology. Sensor technologies for motion tracking include resistance measurement, magnetic field tracking, inertia and geomagnetic tracking, and optical methods. The resistance measuring method is a method of tracking the movement by measuring the resistance value which changes according to the movement of each joint by combining a variable resistance element for each joint of the motion tracking equipment. The magnetic field tracking method is a device for forming a magnetic field, It is a method to move a magnetic object to read the magnetic field change and to track the movement. Inertial and geomagnetic tracking uses a gyro sensor to measure the tilt angle of the object to detect the movement of the object. The geomagnetic sensor senses the strength of the magnetic field to compensate for the gyro sensor. The acceleration sensor combines with the gyro sensor to move And integrates the measured acceleration to convert the velocity of each axis of the object, and again integrates the value with time to convert the position to the object position. The advantage of inertia and geomagnetic tracking is that it can be fabricated in single or multiple discrete semiconductor MEMS (Microelectromechanical systems) method, which makes it possible to perform inexpensive, high update rate and quick measurement. However, since velocity and position should be measured on the basis of integral, as the motion tracking time increases, there is a possibility that the positional information becomes inconsistent due to the cumulative integration of measurement errors. Optical motion tracking involves attaching multiple infrared light sources to an object to be tracked, tracking these light sources through an infrared camera, attaching an identification marker to replace the infrared light source, image processing through the camera, And a method of tracking the movement of the object by tracking the position of the geometric singularity through the camera by combining the three dimensional geometrical singularities of the object to be tracked.

대한민국 등록특허 10-1618795(이동체의 3차원 자세 및 위치 인식 장치)Korean Patent Registration No. 10-1618795 (3-dimensional posture and position recognition device of moving object)

종래의 모션트랙킹 센서들 중 저항 측정식은 모션트랙킹을 위한 기계식 구조물을 물체에 달거나 사람이 골격형태로 착용해야 한다는 문제점이 있고, 자기장 측정식은 외부 자기장에 영향을 받는 문제점이 있으며, 관성과 지자기 추적식은 모션트랙킹 시간이 늘어남에 따라 측정오차가 누적되어 위치적분값에 반영된다는 문제가 있으며, 적외선 광원이나 마커, 3차원 특징점 추적을 통한 광학식 모션트랙킹 센서들은 카메라와 이미지프로세싱을 위한 고성능 프로세서로 구현된다는 점에서 고비용의 문제를 가지고 있다. 사람의 움직임을 모션트랙킹하는 경우 광학식 센서를 사용하면 다른 방식의 경우 사람이 움직일때 마다 센서 장비의 케이블 등의 방해를 받을 수 있지만, 광학식 센서의 경우에는 외부 카메라가 측정대상을 촬영하므로 움직임에 제약을 받지 않는 편리한 점이 있어서 VR 기술에 가장 적합한 방식으로 평가받고 있다. 하지만, 높은 비용이 문제가 되고 있어 광학식 방식을 사용하면서도 카메라를 사용하지 않고 저비용으로 모션트랙킹을 하는 대한민국특허 등록번호 10-1618795호와 같은 기술이 제시되기도 했다. 하지만, 대한민국특허 등록번호 10-1618795호의 기술은 외부에 별도의 편광 광원이 필요하다는 단점이 있다. 본 발명을 통해 편리하고 저렴하며 별도의 외부 편광광원을 필요치 않는 모션트랙킹센서를 제작할 수 있다.Among the conventional motion tracking sensors, there is a problem that a mechanical structure for motion tracking needs to be attached to an object or a human skeleton form, and a magnetic field measuring method is affected by an external magnetic field. Inertial and geomagnetic tracking As the motion tracking time increases, there is a problem that the measurement error is cumulatively reflected in the position integration value, and the optical motion tracking sensor based on the infrared light source, marker, and 3D feature point tracking is implemented as a high performance processor for camera and image processing And has a high cost problem. In the case of motion tracking of a person's motion, the use of an optical sensor may cause disturbance of the cable of the sensor device every time a person moves, but in the case of an optical sensor, And it is evaluated as the most suitable method for VR technology. However, high cost has become a problem, and technology such as Korean Patent Registration No. 10-1618795, which uses the optical method and performs motion tracking at low cost without using a camera, has been proposed. However, Korean Patent Registration No. 10-1618795 has a disadvantage in that a separate polarizing light source is required outside. It is possible to manufacture a motion tracking sensor which is convenient, inexpensive and does not require a separate external polarized light source through the present invention.

실내 일반 조명등으로부터 받는 빛을 통과시키는 편광각도가 각기 다르면서 정다면체의 각 면에 위치한 복수개의 편광판, 각 편광판을 거쳐 입사되는 편광을 2차원 평면으로 집광시켜주는 광각렌즈, 입사되는 편광들을 수광하는 편광필터어레이가 부착된 이미지센서, 이미지센서의 각 픽셀에서 감지되는 빛들을 편광필터어레이 편광각 배치정보에따라 편광성분별로 분석하여 실내조명등의 빛 벡터성분을 검출하고 프레임단위별로 추적하여 모션트랙킹정보를 생성하는 프로세싱부, 프로세싱부에서 생성된 모션트랙킹 정보를 외부 단말에 전달하는 인터페이스부로 구성된 모션트랙킹 센서를 통해 모션트랙킹 하고자하는 대상물이나 인체에 쉽게 설치해 운동이나 활동을 제약하지 않고 자유롭게 모션트랙킹할 수 있고, 카메라나 이미지프로세싱을 위한 고성능 연산부를 갖지 않아서 저렴한 비용으로 모션트랙킹할 수 있고, 별도의 전용 외부 편광 광원 없이도 일반 실내환경의 조명을 추적 기준점으로 삼아 모션트랙킹을 할 수 있다.A plurality of polarizing plates disposed on respective surfaces of the regular polyhedron with different angles of polarization for passing light received from the indoor general illumination lamp, a wide-angle lens for condensing the polarized light incident through each polarizing plate onto a two-dimensional plane, The light sensor detects the light vector components of the indoor illumination light by analyzing the light sensed by each pixel of the image sensor and the polarization array according to the polarizing filter array polarization angle arrangement information and tracks the motion tracking information by frame unit, A motion tracking unit configured to generate motion tracking information, and an interface unit configured to transmit motion tracking information generated by the processing unit to an external terminal. The motion tracking unit can be easily installed on an object or a human body for motion tracking, , For camera or image processing It did not have the high-performance computing unit may be a low cost motion tracking, Sanya the light of the general indoor environment without the need for a dedicated external light polarized in the tracking reference point may be a motion tracking.

본 발명의 모션트랙킹 센서를 통해 모션트랙킹 하고자하는 대상물이나 인체에 쉽게 설치해 대상의 운동이나 활동을 제약하지 않고 자유롭게 모션트랙킹할 수 있고, 카메라나 이미지프로세싱을 위한 고성능 연산부를 갖지 않아서 저렴한 비용으로 모션트랙킹할 수 있고, 별도의 전용 외부 편광 광원 없이도 일반 실내환경의 조명을 추적 기준점으로 삼아 모션트랙킹을 할 수 있다.The motion tracking sensor of the present invention can be easily installed on an object or a human body to be motion-tracked so as to freely perform motion tracking without restricting the motion or activity of the object and has no high-performance operation unit for camera or image processing, And it is possible to perform motion tracking using the illumination of a general indoor environment as a tracking reference point without a separate dedicated external polarized light source.

도1은 종래의 외부 전용 편광 광원을 이용한 광학식 모션트랙킹센서 구성을 나타낸 개념도
도2는 본 발명의 바람직한 실시예에 따른 광학식 모션트랙킹센서를 나타낸 도면
도3은 본 발명의 바람직한 실시예에 따른 광학식 모션트랙킹센서를 나타낸 개념도
도4는 본 발명의 바람직한 실시예에 따른 광학식 모션트랙킹센서의 프로세싱부에서 편광성분별 벡터성분을 이용해 실내광원 벡터성분을 검출하고 이를 이용해 모션트랙킹을 하는 것을 나타낸 도면FIG. 1 is a conceptual diagram illustrating a configuration of an optical motion tracking sensor using a conventional external dedicated polarized light source
2 is a view of an optical motion tracking sensor according to a preferred embodiment of the present invention;
3 is a conceptual diagram illustrating an optical motion tracking sensor according to a preferred embodiment of the present invention.
4 is a diagram illustrating a method of detecting an indoor light source vector component using a vector component per polarization component in a processing unit of an optical motion tracking sensor according to a preferred embodiment of the present invention,

도1은 종래의 외부 전용 편광 광원을 이용한 광학식 모션트랙킹센서 구성을 나타낸 개념도이다. 종래의 보편적인 광학식 모션트랙킹방식은 적외선 광원점들을 추적하고자하는 물체나 인체에 부착하여 이를 외부 카메라로 추적하거나, 광학식 마커를 부착하여 이를 외부 카메라를 통해 이미지프로세싱 처리하여 추적하거나, 미리 대상체의 3차원 특징점 정보를 추출하여 이를 카메라를 통해 추적하는 방식을 사용했다. 이런 방식들은 공통적으로 외부 카메라가 있어야 하고 카메라의 이미지 정보에서 필요한 정보들을 이미지 프로세싱을 처리 과정을 통해 추출해야만 하므로고성능 프로세서가 요구되어 구현 비용이 비싼 단점이 있다. 이에 반해 도1과 같은 대한민국 등록특허 10-1618795(이동체의 3차원 자세 및 위치 인식 장치)는 고가의 외부 카메라나 고성능 이미지프로세싱을 수행하기 위한 고성능 프로세서를 요구하지 않아 비교적 저렴하게 광학식 모션트랙킹을 수행할 수 있는 방법을 제시하고 있다. 하지만 별도의 외부 전용 편광 광원(101)이 요구되는 단점이 있고, 실제 구현상 각 개별 편광모듈(102~104)을 거친 빛들이 상호 간섭하지 않게 하기 위해 조도 모듈(105~107)간 완전한 격리가 필요해 설계상 어려움이 존재하고 각 개별 조도 모듈간의 감도, 오프셋 편차로 인해 오차 발생이 불가피한 문제가 존재한다. FIG. 1 is a conceptual diagram illustrating a configuration of an optical motion tracking sensor using a conventional external dedicated polarized light source. Conventional optical motion tracking systems attach infrared light source points to an object or a human body to be tracked and track it with an external camera, or attach an optical marker and track it by processing the image through an external camera, Dimensional minutiae information and then tracking it through a camera. These methods commonly require an external camera, and the information required from the image information of the camera must be extracted through the processing of the image processing, so that a high-performance processor is required and the implementation cost is high. On the other hand, Korean Patent Registration No. 10-1618795 (a three-dimensional posture and position recognition device of a moving object) as shown in FIG. 1 does not require an expensive external camera or a high-performance processor for performing high-performance image processing, And how to do it. However, there is a disadvantage in that a separate external dedicated polarized light source 101 is required, and in order to prevent mutual interference of the lights passing through the actual polarization individual polarization modules 102 to 104, complete isolation between the illumination modules 105 to 107 There is a problem in design, and there is a problem that an error is inevitably generated due to sensitivity and offset deviation between each individual illumination module.

도2는 본 발명의 바람직한 실시예에 따른 광학식 모션트랙킹센서를 나타낸 도면이다. 정다면체 혹은 다른 입체도형 형태의 한면에 각기 다른 편광각을 갖는 편광판(211~215)들이 배치되어 일반 실내 조명에서 조사되는 빛을 걸러 특정 편광성분만을 내부로 입사시킨다. 이렇게 입사된 각 편광들은 내부의 광각렌즈(206)를 통해 2차원 평면형태로 집광되어 이미지센서(201)에 조사된다. 상기 이미지센서(201) 앞면에는 상기 편광판(211~215)들이 가지는 편광각 값들과 같은 값을 가지거나 그 값을 포함하고 더 많은 편광각값 종류를 가지는 다수의 편광필터셀들이 집적화되어 배치된 편광필터어레이(205)가 놓여져 있여서 각 편광판(211~215)에서 입사되는 빛의 세기를 각기 측정할 수 있다. 이렇게 측정된 각 편광각성분별 빛의 세기를 프로세싱부(202)에서 설계 정보로 미리알고 있는 각 편광판(211~215)의 좌표, 방향 등의 배치 정보와 편광각 정보를 참고하여 각 편광판(211~215)에 대한 법선 벡터형태로 그 빛의 세기와 방향을 계산할 수 있다. 이렇게 계산된 각 편광판(211~215)별 편광 법선벡터 값들을 고려하여 기하학적 모델링에 따른 연산 혹은 머신러닝 등에 의해 각 법선벡터 성분별 가중치 학습후 합산 평균을 내는 등의 연산 방법으로 실내 조명과의 상대적 위치와 방향을 추적할 수 있다. 이렇게 추적한 모션트랙킹 정보들을 인터페이스부(204)를 통해 외부 단말에 전송함으로써 VR 등과 같은 기기에서 모션트랙킹 정보를 이용할 수 있다. 이렇게 편광판(211~215)을 거쳐 실내 조명등의 빛을 편광성분으로 걸러 내부로 보내고 이를 다시 광각렌즈(206)로 집광시켜 편광필터어레이(205)가 부착된 이미지센서(201)를 통해 편광성분별로 분리함으로써 편광판(211~215)으로 구성된 정다면체나 입체도형의 각 면에 입사되는 실내조명의 세기와 방향을 파악할 수 있어서 종래의 대한민국 등록특허 10-1618795(이동체의 3차원 자세 및 위치 인식 장치) 기술과 달리 외부의 전용 편광 광원이 필요치 않는 장점을 가진다. 또한 광각렌즈(206)로 집광해 다수 픽셀을 가진 이미지센서(201) 앞에서 편광필터어레이(205)를 통해 각 개별 필터로 편광 필터링하므로 종래의 기술과 달리 센서 기기 내부에서 편광간 간섭을 신경쓰지 않아도 되고, 반도체 단일 공정으로 제작되는 이미지센서(201)를 이용함으로써 종래의 각 조도모듈(105~107)을 사용할 때 발생할 수 있는 각 조도모듈간의 감도 편차, 옵셋 편차 등을 고려할 필요가 없는 장점이 있다. 한편, 이미지센서(201)를 사용함에 따라 모션트랙킹 감지 속도가 이미지센서(201) 프레임 레이트에 수렴되어 모션트랙킹 감지속도가 느려질 수 있는 단점이 있으나 최근 이미지센서들의 프레임 레이트 수준이 수십 fps 수준으로 이정도 감지속도면 현재 산업계에서 요구하는 대부분의 응용에 활용 할 수 있으며, 필요에 따라서는 반도체 MEMS 기술을 사용해 저렴하게 제작되는 지자계 관성 센서등을 프로세싱부(202)에 부착해 퓨전 방식으로 모션트랙킹을 수행할 수도 있다. 이러한 지자계 관성 센서를 병행 사용하는 방법은 이미 적외선 광원점, 식별 마커 등을 카메라로 추적하는 보편적인 광학식 모션트랙킹 방식을 사용하는 많은 상용화 제품에 탑재 구현되어 왔다. 상대적으로 느린 속도지만, 상대적 위치 정밀도가 높은 광학식 모션트랙킹 정보를 기준으로 삼고, 광학식 모션트랙킹 정보 사이사이 마다의 빠른 운동 변화 정보는 지자계 관성 센서를 통해 모션트랙킹하는 하이브리드 방식이 보편적으로 많이 사용된다. 본 발명의 바람직한 실시 예에 따른 광학식 모션트랙킹 센서도 프로세싱부(202)가 필요에 따라 반도체 단일 디바이스 등의 형태로 제작될 수 있는 지자계관성측정부(203)와 연결되어 종래의 보편적인 광학식-관성지자계센서 하이브리드 방식의 모션트랙킹 센서 처럼 동작할 수 있다. 2 is a diagram illustrating an optical motion tracking sensor according to a preferred embodiment of the present invention. Polarizing plates 211 to 215 having different polarization angles are arranged on one side of a regular polyhedron or another three-dimensional figure, and light emitted from a general indoor light is filtered to enter only a specific polarization component. The incident polarized light is condensed in a two-dimensional plane shape through the wide-angle lens 206 and irradiated to the image sensor 201. A plurality of polarizing filter cells having a value equal to or having a value the same as the polarizing angle values of the polarizing plates 211 to 215 and having more types of polarization angle values are integrated on the front surface of the image sensor 201, The filter array 205 is placed so that the intensities of the lights incident on the respective polarizers 211 to 215 can be measured. The intensity of each polarization aberration discrimination light measured in this way is referred to as layout information such as coordinate, direction, and the like of each of the polarizers 211 to 215, which are previously known as design information in the processing unit 202, 215), the intensity and direction of the light can be calculated in the form of a normal vector. By calculating the polarized normal vector values for each of the polarizers 211 to 215 thus calculated, a weighted learning is performed for each normal vector component by a computation according to geometrical modeling or a machine learning or the like, You can track position and direction. The motion tracking information thus tracked is transmitted to an external terminal through the interface unit 204, so that motion tracking information can be used in a device such as a VR. The light emitted from the indoor illumination light is filtered through the polarizers 211 to 215 and is condensed by the wide-angle lens 206. The light is then reflected by the polarizing plate 211 through the image sensor 201 with the polarizing filter array 205 It is possible to grasp the intensity and direction of the indoor illumination incident on each side of the regular polyhedron composed of the polarizers 211 to 215 and the three-dimensional figure, It is advantageous that an external dedicated polarized light source is not required. In addition, since the light is condensed by the wide-angle lens 206 and polarized and filtered by each individual filter through the polarizing filter array 205 in front of the image sensor 201 having a plurality of pixels, unlike the conventional technology, There is an advantage that it is not necessary to consider the sensitivity deviation and the offset deviation between each illumination module which may occur when using the conventional illumination modules 105 to 107 by using the image sensor 201 manufactured by a single semiconductor process . On the other hand, the use of the image sensor 201 has a disadvantage in that the motion tracking sensing speed is converged to the frame rate of the image sensor 201 and the motion tracking sensing speed is slowed down. However, recently, The sensing speed can be utilized in most applications required in the present industry. If necessary, the inertia sensor, which is manufactured inexpensively using semiconductor MEMS technology, is attached to the processing unit 202 to perform motion tracking . The use of such inertial inertial sensors in parallel has already been implemented in many commercial products using a universal optical motion tracking system that tracks infrared light sources, identification markers, etc. with a camera. Based on the optical motion tracking information with relatively high relative positional accuracy, the hybrid motion tracking method using the inertial inertial sensor is commonly used for the rapid motion change information between the optical motion tracking information . The optical motion tracking sensor according to the preferred embodiment of the present invention may also be connected to a geomagnetic inertial measurement unit 203, which can be fabricated in the form of a semiconductor single device or the like, if necessary, Inertia sensor This sensor can operate as a hybrid motion tracking sensor.

도3은 본 발명의 바람직한 실시예에 따른 광학식 모션트랙킹센서를 나타낸 개념도이다. 각각 다른 편광각을 갖는 개별 편광판(211~310)끼리 모여서 정다면체 등의 입체도형의 한면을 이루고, 센서 외부에서 투사되는 실내조명(300) 광을 해당 편광판의 편광각 성분만을 통과시키고 걸러낸다. 이렇게 각 개별 편광판(211~310)에 의해 걸러진 개별 편광 성분은 광각렌즈(206)를 통해 집광되어 편광필터어레이(205)가 부착된 이미지센서(201)에 전달된다. 이렇게 전달된 광성분은 각 개별 편광각 성분으로 이미지센서(210)에서 검출되어 미리 설계정보에 의해 알고 있는 각 개별 편광판(211~310)의 기하학적 배치 정보와 합쳐져 프로세싱부(202)에서 실내조명위치값으로 환산할수 있어서 실내조명위치에 대한 상대 위치정보로서 해당 센서의 위치값을 추적하여 모션트랙킹할 수 있다. 이 정보는 인터페이스부(204)를 통해 모션트랙킹 정보를 필요로하는 외부 단말에 전달된다. 한편 필요에 따라 지자계관성측정부(203)를 프로세싱부(202)에 연결하여 이미지센서를 통해 얻은 편광각별 광신호로부터 얻는 모션트랙킹 정보 사이사이 마다의 빠른 운동변화를 감지하여 정밀하면서도 빠른 감지 속도를 가지는 모션트랙킹 센서를 구현할 수 있다. 3 is a conceptual diagram illustrating an optical motion tracking sensor according to a preferred embodiment of the present invention. The individual polarizing plates 211 to 310 having different polarizing angles are gathered to form one side of a stereoscopic figure such as a regular polyhedron, and the light of the room light 300 projected from the outside of the sensor passes through only the polarizing angle component of the polarizing plate. The individual polarized light components filtered by the individual polarizers 211 to 310 are condensed through the wide-angle lens 206 and transmitted to the image sensor 201 to which the polarizing filter array 205 is attached. The transmitted light components are detected by the image sensor 210 as individual individual polarized angle components and are combined with the geometrical arrangement information of the individual polarizers 211 to 310 previously known by the design information, So that the position value of the corresponding sensor can be tracked as relative position information with respect to the indoor illumination position, thereby enabling motion tracking. This information is transmitted to an external terminal requiring motion tracking information through the interface unit 204. [ If necessary, the geomagnetic inertial measurement unit 203 is connected to the processing unit 202 to detect a rapid movement change between motion tracking information obtained from the optical signal of each polarization obtained through the image sensor, Can be implemented.

도4는 본 발명의 바람직한 실시예에 따른 광학식 모션트랙킹센서의 프로세싱부에서 편광성분별 벡터성분을 이용해 실내광원 벡터성분을 검출하고 이를 이용해 모션트랙킹을 하는 것을 나타낸 도면이다. 각 개별 편광판(211~310)들로 구성된 센서의 정다면체 혹은 입체도형의 형태에 따라 같은 위치에서 같은 실내조명 환경하에서 얻게 되는 각 개별 편광성분 벡터값은 달라진다. 편광판(211~310)들로 이루어진 실 설계도면에 따른 센서 입체도형의 수학적 모델식에 맞게 각 개별 편광성분(I1~IN)을 검출해 프레임 단위로 연속적으로 실내 조명의 위치 벡터성분(Isum1~IsumN)을 파악하고 거기에 맞게 추적하는 물체에 달린 센서의 상대위치를 환산할 수 있으며, 머신 러닝의 방법을 사용해 검출되는 개별 편광성분(Isum1~IsumN)에 대한 가중치값을 학습시켜 이 가중치합으로 실내광원의 위치를 나타내는 벡터(Isum)을 찾아 이미지센서의 프레임 단위로 실내 광원 위치벡터(Isum1~IsumN)를 추적하여 센서와의 상대위치를 판별하여 모션트랙킹을 수행하는 알고리즘을 프로세싱부(202)에 적용할 수도 있다. FIG. 4 is a diagram illustrating a method of detecting an indoor light source vector component using a vector component for each polarization component in a processing unit of an optical motion tracking sensor according to an exemplary embodiment of the present invention, and performing motion tracking using the detected vector component. The respective individual polarization component vector values obtained under the same indoor lighting environment at the same position are different depending on the shape of the cubic or cubic shape of the sensor composed of the individual polarizers 211 to 310. The individual polarization components I 1 to I N are detected in accordance with the mathematical model expression of the sensor stereoscopic graphic form according to the seal design drawing made up of the polarizers 211 to 310 and the position vector components of the indoor illumination 1 to Isum N ), and the relative position of the sensor attached to the tracking object can be calculated. Also, the weight value for the individual polarization components (Isum 1 to Isum N ) detected using the machine learning method can be learned (Isum) indicating the position of the room light source as the sum of weights, and traces the indoor light source position vector (Isum 1 to Isum N ) in frame units of the image sensor to perform relative motion with the sensor The algorithm may be applied to the processing unit 202. [

101: 편광 광원 102: 제1 편광모듈
103: 제2 편광모듈 104: 제3 편광모듈
105: 제1 조도모듈 106: 제2 조도모듈
107: 제3 조도모듈 108: 해석부
201: 이미지센서 202: 프로세싱부
203: 지자계관성측정부 204: 인터페이스부
205: 편광필터어레이 206: 광각렌즈
211: 제1편광판 212: 제2편광판
213: 제3편광판 214: 제4편광판
215: 제5편광판
300: 일반 실내조명 310: 제N 편광판101: polarized light source 102: first polarized light module
103: second polarizing module 104: third polarizing module
105: first illuminance module 106: second illuminance module
107: Third Illumination Module 108: Analysis Section
201: image sensor 202: processing unit
203: Earth-based inertia measurement unit 204: Interface unit
205: polarizing filter array 206: wide angle lens
211: first polarizer 212: second polarizer
213: third polarizer 214: fourth polarizer
215: fifth polarizer plate
300: general indoor light 310: Nth polarizer plate

Claims (2)

실내 일반 조명등으로부터 받는 빛을 통과시키는, 편광각도가 각기 다르면서 정다면체 등의 입체도형의 각 면을 이루는 복수개의 편광판; 상기 각 편광판을 거쳐 입사되는 편광을 평면으로 집광시켜주는 광각렌즈; 상기 광각렌즈를 통해 여러방향으로부터 집광되어 전달되는 각 개별 편광들을 각 개별 편광각도값별로 검출할 수 있도록 상기 편광판들의 개별 편광각도와 동일하거나 그보다 더 세분화된 편광각도 종류수를 가지는 복수개의 편광필터가 직접된 편광필터어레이; 상기 편광필터에레이가 부착되어 입사되는 편광들을 각 개별 편광각도별 성분으로 검출하는 이미지센서; 이미지센서의 각 픽셀에서 감지되는 빛들을 편광필터어레이 편광각 배치정보에따라 편광성분별로 분석하여 조사된 실내조명의 빛 벡터성분을 검출하고 실내조명 위치로 부터의 상대적 위치을 환산하여 프레임단위별로 추적하여 모션트랙킹정보를 생성하는 프로세싱부; 프로세싱부에서 생성된 모션트랙킹 정보를 외부 단말에 전달하는 인터페이스부;로 구성된 광학식 모션트랙킹 센서A plurality of polarizing plates for passing light received from a room general illumination light, each polarizing angle being different from each other to form respective planes of a stereoscopic figure such as a regular polyhedron; A wide-angle lens for concentrating the polarized light incident through each of the polarizers in a plane; A plurality of polarizing filters each having a number of polarizing angle classes that are equal to or further subdivided into individual polarizing angles of the polarizing plates so as to be able to detect respective individual polarized lights condensed from various directions through the wide- A direct polarized filter array; An image sensor for detecting polarized light incident on the polarizing filter and incident on the polarizing filter as a component for each individual polarization angle; The light detected by each pixel of the image sensor is analyzed for each polarization component according to the polarizing filter array polarization angle arrangement information to detect the light vector component of the illuminated room illumination and the relative position from the room illumination position is converted and tracked by frame unit A processing unit for generating motion tracking information; And an interface unit for transmitting the motion tracking information generated by the processing unit to an external terminal. 제1항에 있어서,
지자기,자이로,가속도센서가 결합된, 실내조명을 통해 검출된 모션트랙킹 정보 사이사이마다 고속으로 운동 변화 상태를 감지하여 중간 모션트랙킹 정보를 프로세싱부에서 생성할수 있게 전송하는 지자기관성측정부;가 프로세싱부와 결합된 것을 특징으로 하는 광학식 모션트랙킹 센서 The method according to claim 1,
A geomagnetic inertia measurement unit for detecting the motion change state at high speed between the motion tracking information detected through the indoor illumination and transmitting the intermediate motion tracking information to the processing unit so that the processing unit can generate the intermediate motion tracking information with the geomagnetism, the gyro, And an optical motion tracking sensor
KR1020170080118A 2017-06-24 2017-06-24 Optical motion tracking sensor KR101941369B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170080118A KR101941369B1 (en) 2017-06-24 2017-06-24 Optical motion tracking sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170080118A KR101941369B1 (en) 2017-06-24 2017-06-24 Optical motion tracking sensor

Publications (2)

Publication Number Publication Date
KR20170103716A true KR20170103716A (en) 2017-09-13
KR101941369B1 KR101941369B1 (en) 2019-01-23

Family

ID=59968097

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170080118A KR101941369B1 (en) 2017-06-24 2017-06-24 Optical motion tracking sensor

Country Status (1)

Country Link
KR (1) KR101941369B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118139245A (en) * 2024-03-07 2024-06-04 广东艾罗智能光电股份有限公司 Lighting control method and device based on indoor UWB positioning

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080032624A (en) * 2006-10-10 2008-04-15 이문기 3 dimensional position measuring apparatus using polarized mark and camera
KR20120028416A (en) * 2010-09-14 2012-03-23 삼성전자주식회사 Integration motion sensing device
KR20150058882A (en) * 2013-11-21 2015-05-29 한국 한의학 연구원 Apparatus and method for motion capture using inertial sensor and optical sensor
KR20160024307A (en) * 2014-08-25 2016-03-04 삼성전자주식회사 Apparatus and method for recognizing movement of a subject
JP2016057426A (en) * 2014-09-09 2016-04-21 ソニー株式会社 Projection type display device and function control method
KR101618795B1 (en) 2014-11-28 2016-05-12 주식회사 폴라리언트 Device for detecting three-dimensional pose and position of moving object

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080032624A (en) * 2006-10-10 2008-04-15 이문기 3 dimensional position measuring apparatus using polarized mark and camera
KR20120028416A (en) * 2010-09-14 2012-03-23 삼성전자주식회사 Integration motion sensing device
KR20150058882A (en) * 2013-11-21 2015-05-29 한국 한의학 연구원 Apparatus and method for motion capture using inertial sensor and optical sensor
KR20160024307A (en) * 2014-08-25 2016-03-04 삼성전자주식회사 Apparatus and method for recognizing movement of a subject
JP2016057426A (en) * 2014-09-09 2016-04-21 ソニー株式会社 Projection type display device and function control method
KR101618795B1 (en) 2014-11-28 2016-05-12 주식회사 폴라리언트 Device for detecting three-dimensional pose and position of moving object

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118139245A (en) * 2024-03-07 2024-06-04 广东艾罗智能光电股份有限公司 Lighting control method and device based on indoor UWB positioning

Also Published As

Publication number Publication date
KR101941369B1 (en) 2019-01-23

Similar Documents

Publication Publication Date Title
CN111156998B (en) Mobile robot positioning method based on RGB-D camera and IMU information fusion
KR100948704B1 (en) Movement detection device
CN105222772B (en) A kind of high-precision motion track detection system based on Multi-source Information Fusion
Han A low-cost visual motion data glove as an input device to interpret human hand gestures
CN109520497A (en) The unmanned plane autonomic positioning method of view-based access control model and imu
EP4155873A1 (en) Multi-sensor handle controller hybrid tracking method and device
AU2017271003B2 (en) Accelerometers
CN109141433A (en) A kind of robot indoor locating system and localization method
WO2017008454A1 (en) Robot positioning method
EP3343242B1 (en) Tracking system, tracking device and tracking method
CN106289235A (en) Autonomous computational accuracy controllable chamber inner position air navigation aid based on architecture structure drawing
JPH03282203A (en) Target and three-dimensional position and attitude measuring system using same
CN108364304A (en) A kind of system and method for the detection of monocular airborne target
CN101750060A (en) Locating and detecting system by utilizing sensing element and method
CN112697131B (en) Underground mobile equipment positioning method and system based on vision and inertial navigation system
KR101941369B1 (en) Optical motion tracking sensor
US7400416B2 (en) Accurate target orientation measuring system
CN203719666U (en) Combined navigation system
CN100582653C (en) System and method for determining position posture adopting multi- bundle light
Ribo State of the art report on optical tracking
CN105953820B (en) A kind of optical calibrating device of inertial measurement combination dynamic navigation performance
CN208314856U (en) A kind of system for the detection of monocular airborne target
Lobo et al. Integration of inertial information with vision towards robot autonomy
Ogata et al. A robust position and posture measurement system using visual markers and an inertia measurement unit
JPH1137736A (en) Method and device for measuring 3-dimentional shape

Legal Events

Date Code Title Description
G15R Request for early publication
N231 Notification of change of applicant
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
E701 Decision to grant or registration of patent right
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration