KR101550563B1 - Positioning Device and Method Using Illumination Lamp and Image Sensor - Google Patents
Positioning Device and Method Using Illumination Lamp and Image Sensor Download PDFInfo
- Publication number
- KR101550563B1 KR101550563B1 KR1020150017973A KR20150017973A KR101550563B1 KR 101550563 B1 KR101550563 B1 KR 101550563B1 KR 1020150017973 A KR1020150017973 A KR 1020150017973A KR 20150017973 A KR20150017973 A KR 20150017973A KR 101550563 B1 KR101550563 B1 KR 101550563B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- coordinates
- terminal
- illumination
- actual
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Abstract
Description
본 발명의 실시예들은 위치 측위 방법 및 장치에 관한 것으로서, 더욱 상세하게는 조명등을 이용한 실내 위치 측위 방법 및 장치에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a positioning method and apparatus, and more particularly, to a method and apparatus for determining an indoor position using an illumination lamp.
LED를 이용한 조명등은 뛰어난 에너지 효율로 인하여 실내 조명 장치로 주목을 받고 있을 뿐만 아니라 LED 구동 신호에 고주파의 디지털 정보를 삽입하여 보내는 가시광 통신도 실용화가 되어 가고 있다. In addition to being attracted attention as an indoor lighting device due to its excellent energy efficiency, visible light communication that inserts high frequency digital information into an LED driving signal is also put into practical use.
종래의 위치 측위에 대한 연구로 적외선, RFID, 초음파, WLAN, 블루투스 등을 이용한 위치 측위 기법들이 있다. 적외선과 RFID 기반의 위치 추정은 많은 센서의 설치가 요구되고, 초음파는 원치 않는 반사 신호에 취약한 문제점이 있다. There are positioning methods using infrared rays, RFID, ultrasonic waves, WLAN, Bluetooth and the like as a research on the conventional positioning. Infrared and RFID-based position estimation requires installation of many sensors, and ultrasound is vulnerable to unwanted reflection signals.
RF 기반의 RFID, WLAN, 블루투스는 전자기에 민감한 공간에서는 사용이 제한될 수 있다. RF-based RFID, WLAN, and Bluetooth can be limited in use in electromagnetic sensitive space.
최근에 종래의 위치 인식 기법들의 단점을 극복하고자 LED 조명등과 가시광 통신을 이용한 실내 위치 측위 방법이 주목을 받고 있으며, LED를 이용한 위치 측위로 AoA(Angle of Arrival), ToA(Time of arrival), TDoA(Time Difference of Arrival), RSSI가 사용되고 있다. Recently, in order to overcome the disadvantages of conventional position recognition techniques, a method of locating an indoor location using an LED illumination light and visible light communication has been attracting attention. (Time Difference of Arrival) and RSSI are used.
기존의 LED를 이용한 실내 측위에 대한 연구들은 조명의 위치에 기반하여 조명을 인식하여 실내 측위를 수행한다. 이와 같은 기존의 연구들에 의한 실내 측위는 조명의 조사 범위를 초과하는 정밀도로 위치 측위를 수행하기 어려웠으며, 조명의 간격이 넓을 경우 그 정밀도는 더욱 저하되는 문제점이 있었다. Studies on indoor positioning using existing LEDs recognize the lighting based on the location of the lighting and perform indoor positioning. It is difficult to perform the positioning by the accuracy exceeding the irradiation range of the illumination, and the accuracy is further lowered when the interval of the illumination is wide.
또한, 기존의 LED를 이용한 실내 측위에 대한 연구에서는 단말기가 LED의 고주파 신호를 인식할 수 있는 포토 디텍터와 같은 광 검출기를 필수적으로 구비하여야 하는 문제점이 있었다. In addition, research on indoor positioning using conventional LEDs has required a photodetector such as a photodetector capable of recognizing a high frequency signal of an LED.
아울러, 기존의 LED를 이용한 실내 측위에서는 단말기의 평면 위치만을 획득할 수 있었을 뿐 단말기의 높이에 대한 정보는 제공할 수 없어 3차원의 측위 정보를 제공할 수 없는 문제점이 있었다.
In addition, in the indoor positioning using the conventional LED, only the plane position of the terminal can be acquired, and information on the height of the terminal can not be provided, so that there is a problem that the three-dimensional positioning information can not be provided.
본 발명의 일 측면은 높은 정밀도로 측위가 가능한 조명등 및 이미지 센서를 이용한 위치 측위 장치 및 방법을 제공하는 것이다. An aspect of the present invention is to provide an apparatus and method for positioning using an illumination light and an image sensor capable of positioning with high precision.
본 발명의 다른 측면은 3차원 측위가 가능한 조명등 및 이미지 센서를 이용한 위치 측위 장치 및 방법을 제공하는 것이다. Another aspect of the present invention is to provide a position locating apparatus and method using an illuminating lamp and an image sensor capable of three-dimensional positioning.
본 발명의 또 다른 측면은 광 검출기를 구비하지 않더라도 이미지 센서를 이용하여 측위가 가능한 장치 및 방법을 제공하는 것이다.
Yet another aspect of the present invention is to provide an apparatus and method capable of positioning using an image sensor even if the apparatus is not provided with a photodetector.
본 발명의 일 측면에 따르면, 두 개의 조명등에 대한 이미지를 획득하는 조명 이미지 획득부; 상기 획득한 이미지로부터 이미지상에서의 두 개의 조명등에 대한 좌표 및 이미지상에서의 중심 좌표를 획득하는 이미지 분석부; 두 개의 조명등의 실제 좌표 및 상기 이미지상에서의 두 개의 조명등에 대한 좌표를 이용하여 픽셀간 실제 거리를 연산하는 픽셀간 실제 거리 연산부; 및 상기 픽셀간 실제 거리 및 두 개의 조명등의 실제 좌표를 이용하여 단말기의 평면 위치 및 높이를 추정하는 위치 추정부를 포함하는 조명등 및 이미지 센서를 이용한 위치 측위 장치가 제공된다. According to an aspect of the present invention, there is provided an image processing apparatus comprising: a light image obtaining unit obtaining images of two illumination lights; An image analyzer for obtaining coordinates of two illumination lights on the image from the acquired image and center coordinates on the image; An actual distance calculator for calculating an actual distance between pixels using the actual coordinates of the two illumination lights and the coordinates of the two illumination lights on the image; And a position estimating unit for estimating a plane position and a height of the terminal using the actual distance between the pixels and the actual coordinates of the two illumination lights, and a position locating apparatus using the image sensor.
상기 위치 측위 장치는, 상기 두 개의 조명등을 포함하는 실내의 조명등들의 실제 위치 좌표 및 각 조명등의 식별 정보를 저장하는 저장부를 더 포함한다.The position locating apparatus further includes a storage unit for storing actual position coordinates of the illumination lamps of the room including the two illumination lamps and identification information of each illumination lamp.
상기 픽셀간 실제 거리 연산부는 다음의 수학식을 이용하여 픽셀간 실제 거리를 연산한다. The inter-pixel actual distance calculator calculates an actual distance between pixels using the following equation.
위 수학식에서, I_Tx1 및 I_Tx2는 이미지상에서의 두 개의 조명등의 좌표를 의미하고, Tx1 및 Tx2는 두 개의 조명등의 실제 좌표를 의미함. In the above equation, I_Tx1 and I_Tx2 denote the coordinates of two illumination lights on the image, and Tx1 and Tx2 denote the actual coordinates of the two illumination lights.
상기 위치 추정부는 이미지상에서의 두 개의 조명등의 좌표 중 어느 하나를 실제 좌표로 변환한 후 상기 픽셀간 실제 거리 정보를 이용하여 이미지의 중심을 상기 단말기의 평면 위치로 추정한다. The position estimating unit converts one of coordinates of two illumination lights on an image into actual coordinates, and estimates the center of the image as the plane position of the terminal using the actual distance information between the pixels.
상기 위치 추정부는 상기 단말기의 평면 위치를 추정한 후 조명등으로부터 상기 단말기까지의 수직 거리를 추정하고, 상기 조명등으로부터 상기 단말기까지의 수직 거리를 이용하여 상기 단말기의 높이를 추정한다. The position estimating unit estimates a plane position of the terminal, estimates a vertical distance from the illumination light to the terminal, and estimates the height of the terminal using the vertical distance from the illumination light to the terminal.
상기 위치 추정부는 다음의 수학식을 이용하여 상기 조명등으로부터 상기 단말기까지의 수직 거리를 추정한다. The position estimating unit estimates a vertical distance from the illumination lamp to the terminal using the following equation.
위 수학식에서, H1은 이미지 센서의 렌즈에서 상이 착상되는 이미지 평면까지의 거리이고, H2는 상기 조명등으로부터 단말기까지의 수직 거리이며, C는 이미지의 중심이고 Position은 상기 단말기의 평면 위치 좌표이고, I_Tx1은 조명등의 이미지상에서의 좌표이고, Tx1은 조명등의 실제 위치 좌표임. Where H1 is the distance from the lens of the image sensor to the image plane on which the image is projected, H2 is the vertical distance from the light to the terminal, C is the center of the image, Position is the plane position coordinate of the terminal, I_Tx1 Is the coordinate on the image of the illumination lamp, and Tx1 is the actual position coordinate of the illumination lamp.
본 발명의 다른 측면에 따르면, 두 개의 조명등에 대한 이미지를 획득하는 조명 이미지 획득부; 이미지 획득 시의 단말기의 회전 각도 또는 기울임 각도를 감지하는 회전/기울임 감지부; 상기 획득한 이미지상에서의 두 개의 조명등의 좌표를 상기 획득한 회전 각도 또는 기울임 각도를 이용하여 변환하는 이미지 변환부; 상기 이미지 변환부에서 변환된 이미지로부터 이미지상에서의 두 개의 조명등에 대한 좌표 및 이미지상에서의 중심 좌표를 획득하는 이미지 분석부; 두 개의 조명등의 실제 좌표 및 상기 이미지상에서의 두 개의 조명등에 대한 좌표를 이용하여 픽셀간 실제 거리를 연산하는 픽셀간 실제 거리 연산부; 및 상기 픽셀간 실제 거리 및 두 개의 조명등의 실제 좌표를 이용하여 단말기의 평면 위치 및 높이를 추정하는 위치 추정부를 포함하는 조명등 및 이미지 센서를 이용한 위치 측위 장치가 제공된다. According to another aspect of the present invention, there is provided a lighting apparatus comprising: a lighting image obtaining unit obtaining images of two illumination lights; A rotation / tilt sensing unit for sensing a rotation angle or a tilt angle of the terminal at the time of image acquisition; An image transform unit for transforming coordinates of two illumination lights on the obtained image using the obtained rotation angle or tilt angle; An image analyzer for obtaining coordinates of two illumination lights on the image from the image transformed by the image transforming unit and center coordinates on the image; An actual distance calculator for calculating an actual distance between pixels using the actual coordinates of the two illumination lights and the coordinates of the two illumination lights on the image; And a position estimating unit for estimating a plane position and a height of the terminal using the actual distance between the pixels and the actual coordinates of the two illumination lights, and a position locating apparatus using the image sensor.
상기 회전/기울임 감지부는 자이로 센서를 이용하여 회전 각도 또는 기울임 각도를 감지한다.The rotation / tilt sensor detects a rotation angle or a tilt angle using a gyro sensor.
단말기의 회전이 감지된 경우, 상기 이미지 변환부는 상기 두 개의 조명등을 연결하는 라인이 이미지 센서의 좌표축과 평행해지도록 상기 두 개의 조명등의 이미지상에서의 좌표를 변환한다.When the rotation of the terminal is detected, the image conversion unit converts coordinates of the two illumination lights on the image so that the line connecting the two illumination lights is parallel to the coordinate axis of the image sensor.
단말기의 회전이 감지된 경우 상기 이미지 변환부는 감지된 회전 각도에 기초하여 다음의 수학식과 같이 좌표를 변환하다.When the rotation of the terminal is detected, the image conversion unit converts the coordinates according to the following equation based on the detected rotation angle.
위 수학식에서, x,y는 변환전 좌표이고, x', y'는 변환 후의 좌표이며, 
단말기의 기울임이 감지된 경우, 상기 이미지 변환부는 기울임 각도에 따른 좌표 변화를 저장한 룩업 테이블을 이용하여 좌표를 변환한다.When the tilting of the terminal is detected, the image transform unit transforms the coordinates using a lookup table storing the coordinate change according to the tilt angle.
본 발명의 또 다른 측면에 따르면, 두 개의 조명등에 대한 이미지를 획득하는 단계(a); 이미지 획득 시의 단말기의 회전 각도 또는 기울임 각도를 감지하는 단계(b); 상기 획득한 이미지상에서의 두 개의 조명등의 좌표를 상기 획득한 회전 각도 또는 기울임 각도를 이용하여 변환하는 단계(c); 상기 이미지 변환부에서 변환된 이미지로부터 이미지상에서의 두 개의 조명등에 대한 좌표 및 이미지상에서의 중심 좌표를 획득하는 단계(d); 두 개의 조명등의 실제 좌표 및 상기 이미지상에서의 두 개의 조명등에 대한 좌표를 이용하여 픽셀간 실제 거리를 연산하는 단계(e); 및 상기 픽셀간 실제 거리 및 두 개의 조명등의 실제 좌표를 이용하여 단말기의 평면 위치 및 높이를 추정하는 단계(f)를 포함한다.
According to yet another aspect of the present invention, there is provided a method of illuminating an object, comprising the steps of: (a) obtaining an image for two illumination lights; (B) detecting a rotation angle or a tilt angle of the terminal at the time of image acquisition; (C) transforming coordinates of two illumination lights on the obtained image using the obtained rotation angle or tilt angle; (D) obtaining coordinates of two illumination lights on the image and the center coordinates on the image from the image transformed by the image transforming unit; (E) calculating an actual distance between pixels using the actual coordinates of the two illumination lights and the coordinates of the two illumination lights on the image; And (f) estimating the plane position and height of the terminal using the actual distance between the pixels and the actual coordinates of the two illumination lights.
본 발명에 의하면, 높은 정밀도로 측위가 가능하고, 3차원 측위가 가능하며, 광 검출기를 구비하지 않더라도 이미지 센서를 이용하여 측위가 가능한 장점이 있다.
According to the present invention, there is an advantage that positioning can be performed with high precision, three-dimensional positioning is possible, and positioning can be performed using an image sensor even without a photodetector.
도 1은 본 발명의 일 실시예에 따른 조명등 및 이미지 센서를 이용한 위치 측위 장치 및 방법이 적용되는 시스템 구조를 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 조명등 및 이미지 센서를 이용한 위치 측위 장치의 구조를 도시한 블록도.
도 3은 본 발명의 일 실시예에 따른 조명등 및 이미지 센서를 이용한 위치 측위 장치에서 이미지 센서에 착상되는 조명등 정보를 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 조명등 및 이미지 센서를 이용한 위치 측위에서 실제 평면 좌표를 추정하는 방법을 설명하기 위한 개념도.
도 5는 본 발명의 다른 실시예에 따른 조명등 및 이미지 센서를 이용한 위치 측위 장치의 블록도를 도시한 도면.
도 6은 단말기의 회전이 없는 경우 조명 이미지 획득부에서 획득하는 이미지 및 단말기의 회전이 없을 경우 조명 이미지 획득부에서 획득하는 이미지를 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 단말기 회전 시 획득된 이미지에서 조명에 해당되는 부분의 좌표를 변환하는 개념도를 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 조명등 및 이미지 센서를 이용한 위치 측위 방법의 전체적인 흐름을 도시한 순서도.
도 9는 본 발명의 다른 실시예에 따른 조명등 및 이미지 센서를 이용한 위치 측위 방법의 전체적인 흐름을 도시한 순서도.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a diagram illustrating a system structure to which a position location apparatus and method using an illumination lamp and an image sensor according to an embodiment of the present invention is applied; FIG.
2 is a block diagram showing the structure of a position location apparatus using an illumination lamp and an image sensor according to an embodiment of the present invention;
3 is a view showing illumination light information implanted in an image sensor in a position location apparatus using an illumination light and an image sensor according to an embodiment of the present invention.
4 is a conceptual diagram for explaining a method of estimating actual plane coordinates at a positional position using an illumination lamp and an image sensor according to an embodiment of the present invention.
5 is a block diagram of a positioning apparatus using an illumination lamp and an image sensor according to another embodiment of the present invention.
FIG. 6 is a diagram showing an image acquired by the illumination image acquisition unit when there is no rotation of the terminal and an image acquired by the illumination image acquisition unit when there is no rotation of the terminal.
FIG. 7 is a conceptual diagram for converting coordinates of a portion corresponding to illumination in an image obtained in a terminal rotation according to an embodiment of the present invention; FIG.
FIG. 8 is a flowchart showing an overall flow of a location positioning method using an illumination lamp and an image sensor according to an embodiment of the present invention; FIG.
9 is a flowchart showing an overall flow of a location positioning method using an illumination lamp and an image sensor according to another embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 조명등 및 이미지 센서를 이용한 위치 측위 장치 및 방법이 적용되는 시스템 구조를 도시한 도면이다. FIG. 1 is a diagram illustrating a system structure to which a position location apparatus and method using an illumination lamp and an image sensor according to an embodiment of the present invention is applied.
도 1을 참조하면, 본 발명의 일 실시예에 따른 위치 측위를 위해 두 개의 조명등(100, 110) 및 단말기(120)를 필요로 한다. 기존의 조명등을 위한 위치 측위는 복수의 조명등이 서로 다른 식별 정보를 송출하고, 단말기가 해당 식별 정보를 수신하여 단말기의 위치를 추정하는 방법이 사용되었다. Referring to FIG. 1, two illumination lights (100, 110) and a terminal (120) are required for positional positioning according to an embodiment of the present invention. In a conventional positioning method for an illumination light, a plurality of illumination lights transmit different identification information, and a terminal receives the identification information and estimates the position of the terminal.
앞서 설명한 바와 같이, 이와 같은 종래의 방법은 정밀한 측위가 어려울 뿐만 아니라 각 단말기가 가시광 신호를 검출할 수 있는 포토 다이오드(Photo Diode)와 같은 광 검출기를 필수적으로 요구하는 문제점이 있다. As described above, the conventional method as described above has a problem in that it is difficult to accurately position, and each terminal necessarily requires a photodetector such as a photodiode capable of detecting a visible light signal.
본 발명에서는 두 개의 조명등(100, 110)을 이용하여 측위를 수행하며, 모든 단말기가 구비하는 카메라와 같은 이미지 센서에 착상되는 두 개의 조명등의 위치 정보를 이용하여 측위를 수행한다. In the present invention, positioning is performed using two
두 개의 조명등(100, 110)이 적절한 간격으로 이격되어 있을 경우 이미지 센서에는 두 개의 조명등이 포함된 이미지가 획득될 수 있다. 이미지 센서에 포착된 조명등의 위치 정보는 단말기의 실제 위치를 추정하기 위한 기초 정보로 활용된다. If the two
따라서, 두 개의 조명등(100, 110)에 대한 실제 좌표 정보만 알고 있으면 단말기에 대한 측위가 가능하며 특히 기존의 가시광 통신에 비해 정밀한 측위가 가능한 장점이 있다. Accordingly, if only the actual coordinate information of the two
기존의 가시광 통신을 이용한 위치 측위 장치 및 방법은 특정 조명등 밑에 단말기가 위치한다는 정보만을 획득할 수 있었을 뿐 특정 조명등의 조사 영역 내에서의 상세한 위치를 검출할 수는 없었다. 그러나, 본 발명에 의할 경우 두 개의 조명등과의 상대적 위치 관계를 이용하여 보다 정밀한 측위가 가능한 장점이 있다. The conventional positioning apparatus and method using visible light communication can only acquire information that a terminal is located under a specific illumination lamp and can not detect a detailed position in an irradiation area of a specific illumination lamp. However, according to the present invention, there is an advantage that more accurate positioning can be performed by using the relative positional relationship between the two illumination lights.
또한, 본 발명의 위치 측위에서는 단말기의 높이에 대한 추정이 함께 가능하다. 기존의 가시광 통신을 이용한 위치 측위에서는 단말기의 평면 위치에 대해서만 추정이 가능하였을 뿐 단말기의 높이를 추정할 수는 없었다. In the positioning of the present invention, it is also possible to estimate the height of the terminal. In the conventional positioning system using visible light communication, only the plane position of the terminal can be estimated, and the height of the terminal can not be estimated.
조명등을 이미지 센서를 이용하여 촬영할 때 촬영에 의해 포착되는 조명등의 위치는 단말기의 회전 및 기울기에 따라 달라질 수 있다. 본 실시예에서는 우선 단말기의 회전 및 기울임이 없는 상태에서 위치를 추정하는 방법을 먼저 설명하고 회전 및 기울임이 있는 상태에서 위치를 추정하는 방법을 설명하기로 한다. The position of the illumination light captured by the photographing when the illumination lamp is photographed using the image sensor may vary depending on the rotation and tilt of the terminal. In this embodiment, a method of estimating a position in a state in which the terminal is rotated and tilted will be described first, and a method of estimating a position in a state of rotation and inclination will be described.
본 발명의 위치 측위 장치 및 방법은 단말기 내에 구현된다. The position location apparatus and method of the present invention are implemented in a terminal.
도 2는 본 발명의 일 실시예에 따른 조명등 및 이미지 센서를 이용한 위치 측위 장치의 구조를 도시한 블록도이다. FIG. 2 is a block diagram illustrating the structure of a positioning apparatus using an illumination lamp and an image sensor according to an embodiment of the present invention. Referring to FIG.
도 2를 참조하면, 본 발명의 일 실시예에 따른 위치 측위 장치는, 저장부(200), 조명 이미지 획득부(210), 이미지 분석부(220), 픽셀간 실제 거리 연산부(230) 및 위치 추정부(240)를 포함한다. 2, the position locating apparatus according to an exemplary embodiment of the present invention includes a
저장부(200)는 본 발명의 위치 추정을 위한 기초 정보를 저장한다. 예를 들어, 저장부(200)는 각 조명등의 실제 위치 정보를 저장한다. 또한, 저장부(200)는 각 조명등을 식별하기 위한 정보를 저장할 수 있다. 본 발명의 일 실시예에 따르면, 단말기에 가시광 통신을 위한 포토 다이오드가 구비될 경우 가시광 통신으로 제공하는 각 조명등의 식별 정보를 저장부(200)가 저장할 수 있다. 단말기에 가시광 통신을 위한 포토 다이오드가 구비되지 않을 경우, 각 조명등을 식별하기 위한 다른 정보가 저장될 수도 있을 것이다. 여기서 다른 정보는 조명등의 주파수 또는 색상을 포함할 수 있다. The
일례로, 저장부(200)에 저장되는 각 조명등의 실제 위치 정보 및 조명등 식별 정보는 사용자가 실내에 진입할 때 단말기에 제공될 수 있을 것이다. For example, the actual location information and the illumination identification information of each illumination light stored in the
조명 이미지 획득부(210)는 이미지 센서를 통해 조명 이미지를 획득하는 기능을 한다. The illumination
도 3은 본 발명의 일 실시예에 따른 조명등 및 이미지 센서를 이용한 위치 측위 장치에서 이미지 센서에 착상되는 조명등 정보를 도시한 도면이다. 3 is a diagram illustrating illumination light information implanted in an image sensor in a position locating apparatus using an illumination light and an image sensor according to an embodiment of the present invention.
도 3을 참조하면, 이미지 센서 평면에는 두 개의 조명등에 대해 촬영한 정보가 착상된다. 제1 조명등(100)에 대한 착상 이미지(300) 및 제2 조명등에 대한 착상 이미지(310)가 이미지 센서 평면에 착상되어 이미지가 획득된다. Referring to FIG. 3, information photographed with respect to two illumination lights is conceived in the image sensor plane. The
이미지 센서의 렌즈(350)를 통해 제1 조명등 및 제2 조명등에 대한 착상 이미지가 획득되므로 제1 조명등 및 제2 조명등의 실제 위치와 이미지 센서에 착상된 제1 조명등의 착상 이미지 위치 및 제2 조명등의 착상 이미지 위치는 단말기의 회전 및 기울임이 없다고 가정되는 경우 서로 연관성이 있다. 따라서, 이미지상에서의 제1 조명등의 좌표는 제1 조명등의 위치를 반영하고 이미지상에서의 제2 조명등의 제2 조명등의 위치를 반영하게 되며, 획득된 이미지상에서의 단말기의 위치는 이미지의 중심(C)이 되며 렌즈의 위치에 상응한다. Since a conception image for the first illumination light and the second illumination light is acquired through the
이미지 분석부(220)는 도 3과 같이 획득되는 이미지로부터 이미지상에서의 제1 조명등의 좌표, 이미지상에서의 제2 조명등의 좌표 및 이미지의 중심(C) 좌표를 분석을 통해 획득한다. 제1 조명등 및 제2 조명등이 착상되는 좌표는 밝기 정보를 이용하여 획득하는 것이 가능하다. The
픽셀간 실제 거리 연산부(230)는 이미지 분석부(220)에서 획득하는 이미지상에서의 제1 조명등 및 제2 조명등의 좌표를 이용하여 픽셀간 실제 거리를 연산한다. 제1 조명등 및 제2 조명등의 실제 좌표는 저장부(200)에 저장되어 있으며, 이미지상에서의 제1 조명등의 좌표 및 이미지상에서의 제2 조명등의 좌표는 제1 조명등 및 제2 조명등의 실제 좌표와 상관 관계가 있으므로 이를 이용하여 픽셀간 실제 거리를 연산할 수 있다. 일례로, 픽셀간 실제 거리는 다음의 수학식 1을 이용하여 산출할 수 있다.
The pixel-to-pixel actual
위 수학식에서, I_Tx1은 획득된 이미지에서 제1 조명등의 착상 이미지 좌표이고, I_Tx2는 제2 조명등의 착상 이미지 좌표이며, Tx1은 제1 조명등의 실제 좌표이고, Tx2는 제2 조명등의 실제 좌표이다. I_Tx1 is the actual coordinate of the first illumination light, and Tx2 is the actual coordinate of the second illumination light. In the above equation, I_Tx1 is the implant image coordinate of the first illumination light in the acquired image, I_Tx2 is the implantation image coordinate of the second illumination light,
각 픽셀은 가로 길이 및 세로 길이를 가지고 있으며, 가로 길이와 세로 길이의 비례 관계는 미리 알고 있으므로 위 수학식 1을 이용하여 픽셀간 거리를 산출할 수 있다. Since each pixel has a horizontal length and a vertical length, and the proportional relationship between the horizontal length and the vertical length is known in advance, the inter-pixel distance can be calculated using Equation (1) above.
위치 추정부(240)는 픽셀간 실제 거리 연산부에서 획득한 픽셀간 실제 거리 정보를 이용하여 단말기의 평면 위치를 최종적으로 추정하는 기능을 한다. 단말기의 평면 위치는 이미지 센서에서 획득한 이미지에서 중심 좌표에 해당된다. 이미지 센서에서 획득한 이미지상에서의 제1 조명등 및 제2 조명등의 좌표 중 어느 하나를 실제 좌표로 변환한 후 픽셀간 실제 거리 정보를 이용하여 단말기의 실제 평면 좌표를 획득한다. The
도 4는 본 발명의 일 실시예에 따른 조명등 및 이미지 센서를 이용한 위치 측위에서 실제 평면 좌표를 추정하는 방법을 설명하기 위한 개념도이다. FIG. 4 is a conceptual diagram for explaining a method of estimating actual plane coordinates at a positional position using an illumination lamp and an image sensor according to an embodiment of the present invention.
도 4를 참조하면, 이미지 센서에서 획득한 이미지상에서의 제1 조명등 좌표 및 이미지상에서의 제2 조명등 좌표 중 제1 조명등의 좌표를 실제 좌표로 변환한 후 이미지 센서의 중심 위치를 추정하여 실제 평면 좌표를 추정한다. 물론, 이미지상에서의 제2 조명등의 좌표를 실제 좌표로 변환하여 단말기의 실제 평면 좌표를 추정하여도 무방하다. 4, after the coordinates of the first illumination light among the first illumination light coordinates on the image acquired by the image sensor and the second illumination light on the image are converted into actual coordinates, the center position of the image sensor is estimated, . Of course, it is also possible to estimate the actual plane coordinates of the terminal by converting the coordinates of the second illumination light on the image into actual coordinates.
픽셀간 거리를 알고 있으므로 이미지상에서의 제1 조명등의 좌표가 실제 좌표로 변환되면, 단말기의 위치에 해당되는 중심 위치의 실제 평면 좌표를 추정할 수 있게 된다. Since the distance between pixels is known, when the coordinates of the first illumination light on the image are converted into the actual coordinates, the actual plane coordinates of the center position corresponding to the position of the terminal can be estimated.
또한, 위치 추정부(240)는 다음의 비례식을 통해 단말기의 높이를 추정할 수 있다. In addition, the
위 수학식2에서, C는 이미지의 중심을 의미하며, Position은 추정된 단말기의 실제 평면 좌표를 의미한다. In Equation (2), C denotes the center of the image, and Position denotes the actual plane coordinate of the estimated terminal.
위의 수학식 1을 통해 단말기의 실제 위치가 추정되면, 위의 수학식 2의 비례식을 통해 단말기의 높이 추정이 가능하며, 위 수학식 2에서 H2는 이미지 센서의 렌즈와 이미지 센서 평면과의 거리이고 H1은 조명등으로부터 단말기까지의 수직 거리를 나타낸다. H2를 추정하게 되면, 단말기의 바닥으로부터의 실제 높이를 추정할 수 있게 된다. If the actual position of the terminal is estimated through Equation (1) above, the height of the terminal can be estimated through the proportional expression of Equation (2), where H2 is the distance between the lens of the image sensor and the plane And H1 represents the vertical distance from the light to the terminal. By estimating H2, the actual height from the bottom of the terminal can be estimated.
이상에서는 조명등 좌표축과 이미지 센서 좌표축이 동일한 경우(단말기의 회전이 없는 경우) 및 기울임(z 축 방향으로의 기울임)이 없는 경우의 단말기 위치 추정 방법에 대해 설명하였다. In the above description, the terminal position estimation method in the case where the illumination lamp coordinate axis and the image sensor coordinate axis are the same (when the terminal does not rotate) and when there is no tilt (the tilt in the z axis direction) is described.
이하에서는 조명등 좌표축과 이미지 센서 좌표축이 동일하지 않은 경우(단말기가 회전하는 경우) 및 기울임이 있는 경우의 단말기 위치 추정 방법을 설명한다. Hereinafter, a method of estimating a position of a terminal when the coordinate axis of the illumination lamp and the coordinate axis of the image sensor are not the same (when the terminal rotates) and when there is an inclination will be described.
단말기가 회전하거나 기울임이 있는 경우 회전 정도 및 기울임 정도를 검출한 후 획득한 이미지로부터 이미지상에서의 제1 조명등 좌표 및 제2 조명등 좌표를 변환하여야 한다. When the terminal is rotated or tilted, the degree of rotation and the degree of tilt are detected, and then the first illuminated coordinates and the second illuminated coordinates on the image are transformed from the acquired image.
도 5는 본 발명의 다른 실시예에 따른 조명등 및 이미지 센서를 이용한 위치 측위 장치의 블록도를 도시한 도면이다. 5 is a block diagram of a positioning apparatus using an illumination lamp and an image sensor according to another embodiment of the present invention.
저장부(500), 회전/기울임 감지부(510), 조명 이미지 획득부(520), 이미지 분석부(530), 이미지 변환부(540), 픽셀간 실제 거리 연산부(550) 및 위치 추정부(560)를 포함한다. A
도 5에 도시된 실시예의 위치 측위 장치는 도 2에 도시된 실시예에 비해 회전/기울임 감지부(510) 및 이미지 변환부(540)를 추가적으로 포함한다. The position locating apparatus of the embodiment shown in FIG. 5 additionally includes a rotation /
회전/기울임 감지부(510)는 단말기의 회전 각도 또는 단말기의 기울임 각도를 감지하는 기능을 한다. 본 발명의 일 실시예에 따르면, 자이로 센서를 이용하여 단말기의 회전 및 기울임을 감지하는 것이 가능하다. The rotation /
여기서, 회전은 단말기를 기울이지 않은 채로 xy 평면에서 단말기를 회전시키는 것을 의미하며, 기울임은 단말기를 z 축에 대해 회전시키는 것을 의미한다. 자이로 센서는 단말기의 회전 및 기울임을 각각 독립적으로 감지하는 것이 가능하다. Here, rotation means that the terminal is rotated in the xy plane without tilting the terminal, and tilting means rotating the terminal about the z-axis. The gyro sensor can detect the rotation and tilt of the terminal independently.
본 발명의 다른 실시예에 따르면, 회전/기울임 감지부(510)의 회전 각도 감지는 조명 이미지 획득부(520)에서 획득한 이미지를 이용하여 이루어질 수도 있을 것이다. According to another embodiment of the present invention, the rotation angle detection of the rotation /
도 6은 단말기의 회전이 없는 경우 조명 이미지 획득부에서 획득하는 이미지 및 단말기의 회전이 없을 경우 조명 이미지 획득부에서 획득하는 이미지를 도시한 도면이다. 6 is a diagram showing an image acquired by the illumination image acquisition unit when there is no rotation of the terminal and an image acquired by the illumination image acquisition unit when there is no rotation of the terminal.
도 6의 (a)에는 단말기의 회전이 없는 경우 조명 이미지 획득부가 획득하는 이미지가 도시되어 있다. 도 6의 (a)를 참조하면, 제1 조명등에 대한 착상 이미지(I_Tx1)와 제2 조명등에 대한 착상 이미지(I_Tx2)를 연결하는 라인이 이미지 센서의 x축과 평행한 것을 확인할 수 있다. Fig. 6 (a) shows an image acquired by the illumination image acquiring unit when there is no rotation of the terminal. 6A, it can be seen that the line connecting the conception image I_Tx1 for the first illumination light and the conception image I_Tx2 for the second illumination light is parallel to the x-axis of the image sensor.
그러나, 단말기가 회전하는 경우, 도 6의 (b)에 도시된 바와 같이, 제1 조명등에 대한 착상 이미지(I_Tx1)와 제2 조명등에 대한 착상 이미지(I_Tx2)를 연결하는 라인이 이미지 센서의 x축과 평행하지 않은 것을 확인할 수 있다. 6 (b), the line connecting the conception image I_Tx1 for the first illumination light and the conception image I_Tx2 for the second illumination light is transmitted to the image sensor x Axis is not parallel to the axis.
본 발명의 이미지 변환부(540)는 회전이 이루어진 경우 이미지 획득부에서 획득된 이미지상에서의 제1 조명등의 좌표와 이미지상에서의 제2 조명등의 좌표를 변환하는 기능을 한다. The
도 7은 본 발명의 일 실시예에 따른 단말기 회전 시 획득된 이미지에서 조명에 해당되는 부분의 좌표를 변환하는 개념도를 도시한 도면이다. FIG. 7 is a conceptual diagram for transforming the coordinates of a portion corresponding to illumination in an image obtained in a terminal rotation according to an embodiment of the present invention. Referring to FIG.
도 7에서 I_Tx1(x1, y1) 및 I_Tx2(x2, y2)는 이미지 획득부에서 획득한 제1 조명등 및 제2 조명등의 위치 좌표이다. In Fig. 7, I_Tx1 (x1, y1) and I_Tx2 (x2, y2) are position coordinates of the first illumination light and the second illumination light acquired by the image acquisition unit.
이미지 변환부(540)는 단말기의 회전 각도를 감지하여 이미지 센서의 렌즈가 위치하는 중심(획득한 이미지의 중심)을 기준으로 회전 각도에 기초하여 제1 조명등의 좌표 I_Tx1(x1, y1) 및 제2 조명등의 좌표I_Tx1(x1, y1)를 변환한다. The
앞서 설명한 바와 같이, 회전 각도는 자이로 센서를 이용할 수도 있으며, 획득한 이미지를 통해서도 회전 각도를 감지할 수 있다. As described above, the rotation angle can be a gyro sensor, and the rotation angle can be detected through the acquired image.
도 7에서, I_Tx1'(x1', y1') 및 I_Tx2(x2', y2')가 변환된 좌표에 해당된다. 감지된 회전 각도에 기초하여 변환된 좌표를 산출하기 위한 수학식은 다음의 수학식 3과 같다. In Fig. 7, I_Tx1 '(x1', y1 ') and I_Tx2 (x2', y2 ') correspond to the transformed coordinates. The equation for calculating the converted coordinates based on the sensed rotation angle is shown in Equation 3 below.
위 수학식에서 x' 및 y'는 변환된 좌표이고, x,y는 이미지 획득부에서 획득한 이미지에 표시된 조명등의 좌표이며, (m,n)은 이미지 센서의 중심에 해당되는 렌즈의 좌표이다. In the above equation, x 'and y' are the transformed coordinates, x and y are the coordinates of the illumination light displayed on the image acquired by the image acquisition unit, and (m, n) are the coordinates of the lens corresponding to the center of the image sensor.
이미지 변환부(540)에서 변환이 이루어지면, 이미지 분석부(530)는 변환된 이미지에서의 두 개의 조명등의 좌표를 획득한다. When the image is converted in the
픽셀간 실제 거리 연산부(550) 및 위치 추정부(560)의 동작은 도 2에 도시된 실시예와 동일하다. 픽셀간 실제 거리 연산부(550)는 제1 조명등 및 제2 조명등의 실제 좌표와 실제 거리 및 이미지상에서의 제1 조명등의 좌표 및 이미지상에서의 제2 조명등의 좌표(이미지 변환부에서 변환된 좌표) 및 픽셀 거리를 이용하여 픽셀간 실제 거리를 연산한다. The operation of the inter-pixel actual distance
위치 추정부(560)는 픽셀간 실제 거리 및 제1 조명등 및 제2 조명등의 실제 좌표를 이용하여 렌즈의 좌표에 해당하는 이미지 중심 좌표를 실제 좌표로 연산하는 위치 추정을 수행한다. The
한편, 도 5 내지 도 7에서는 단말기가 회전하는 경우 회전 각도를 감지하여 이미지 획득부에서 획득한 좌표를 회전 각도에 기초하여 변환하는 경우에 대해 설명하였다. 5 to 7, the case where the rotation angle is sensed when the terminal rotates and the coordinates acquired by the image acquisition unit are converted based on the rotation angle has been described.
도 5 내지 도 7을 통해 설명한 변환 방법은 단말기를 z축 방향을 기준으로 기울이는 경우에도 동일하게 적용될 수 있을 것이다. z축 방향으로의 기울임은 자이로 센서를 통해 획득할 수 있다.The conversion method described with reference to FIGS. 5 to 7 may be equally applied to a case where the terminal is tilted with respect to the z-axis direction. The tilt in the z-axis direction can be obtained through the gyro sensor.
다만, 기울임 각도에 따라 좌표를 변환하는 연산은 위의 수학식 3과는 다른 방식으로 이루어져야 한다. 본 발명의 일 실시예에 따르면, 기울임 각도에 따른 좌표 변화를 저장한 룩업 테이블을 이용하여 좌표 변환을 수행할 수 있을 것이다. However, the operation of transforming the coordinates according to the tilt angle should be performed in a manner different from the above equation (3). According to an embodiment of the present invention, a coordinate transformation may be performed using a lookup table storing a coordinate change according to a tilt angle.
도 8은 본 발명의 일 실시예에 따른 조명등 및 이미지 센서를 이용한 위치 측위 방법의 전체적인 흐름을 도시한 순서도이다. 도 8은 단말기의 회전 및 기울임이 없는 경우의 위치 측위 방법에 대한 순서도이다. FIG. 8 is a flowchart showing a general flow of a method of locating a location using an illumination lamp and an image sensor according to an embodiment of the present invention. 8 is a flowchart of a positioning method in the case where the terminal does not rotate and tilt.
도 8을 참조하면, 우선 실내에 위치한 각 조명등의 실제 좌표 정보 및 조명등 식별 정보를 제공받아 저장한다(단계 800). 예를 들어, 조명등의 실제 좌표 정보 및 조명등 식별 정보는 사용자가 실내에 진입할 때 서버로부터 제공받을 수 있을 것이다. Referring to FIG. 8, first, the actual coordinate information and the illumination identification information of each illumination lamp located indoors are received and stored (step 800). For example, the actual coordinate information of the illumination lamp and the illumination lamp identification information may be provided from the server when the user enters the room.
실내 측위가 요청될 경우, 단말기가 조명을 향하도록 한 상태에서 이미지 센서를 이용하여 두 개의 조명등(제1 조명등 및 제2 조명등)에 대한 이미지를 획득한다(단계 802). When the indoor positioning is requested, the image is acquired for the two illumination lights (the first illumination light and the second illumination light) using the image sensor with the terminal facing the illumination (Step 802).
이미지가 획득되면, 획득한 이미지상에서의 제1 조명등 및 제2 조명등의 위치 좌표를 획득한다(단계 804). Once the image is acquired, the positional coordinates of the first illumination light and the second illumination light on the acquired image are obtained (step 804).
이미지상에서의 각 조명등의 위치 좌표가 획득되면, 제1 조명등 및 제2 조명등의 실제 좌표 및 실제 거리와 이미지상에서의 제1 조명등 및 제2 조명등의 위치 좌표와 픽셀 거리를 이용하여 픽셀간 실제 거리를 연산한다(단계 806). The actual coordinates and the actual distance of the first illumination light and the second illumination light and the actual coordinates of the first illumination light and the second illumination light and the pixel distance on the image are used to calculate the actual distance between the pixels (Step 806).
픽셀간 실제 거리가 획득되면, 픽셀간 실제 거리를 이용하여 단말기의 평면 위치 좌표를 추정한다(단계 808). 단말기의 위치는 획득한 이미지상에서 이미지의 중심에 해당된다. 위치 추정은 이미지상에서의 제1 조명등의 좌표 및 제2 조명등의 좌표 중 어느 하나를 실제 좌표로 변환한 후 픽셀간 거리 정보 및 변환된 좌표 정보를 이용하여 이미지의 중심에 해당되는 실제 좌표를 연산한다. 예를 들어, 이미지상에서의 제1 조명등의 좌표를 실제 좌표로 변환한 후 이미지 중심의 좌표를 산출하여 단말기의 측위를 수행할 수 있을 것이다. Once the actual distance between pixels is obtained, the actual distance between the pixels is used to estimate the plane position coordinates of the terminal (step 808). The location of the terminal corresponds to the center of the image on the acquired image. The position estimation is performed by converting either the coordinates of the first illumination light on the image and the coordinates of the second illumination or the like onto the actual coordinates, and then calculating the actual coordinates corresponding to the center of the image using the inter-pixel distance information and the converted coordinate information . For example, the coordinates of the first illumination light on the image may be converted to the actual coordinates, and the coordinates of the image center may be calculated to perform positioning of the terminal.
단말기의 평면 위치 좌표가 추정되면, 단말기의 평면 위치 좌표 및 이미지 센서의 렌즈와 이미지가 착상되는 이미지 평면과의 거리 정보를 이용하여 단말기의 높이를 추정한다(단계 810). If the plane position coordinates of the terminal are estimated, the height of the terminal is estimated using the distance information between the plane position coordinates of the terminal and the image plane on which the image of the image sensor is captured (step 810).
도 9는 본 발명의 다른 실시예에 따른 조명등 및 이미지 센서를 이용한 위치 측위 방법의 전체적인 흐름을 도시한 순서도이다. 도 9는 단말기의 회전 또는 기울임이 있는 경우의 위치 측위 방법에 대한 순서도이다. FIG. 9 is a flowchart showing an overall flow of a location positioning method using an illumination lamp and an image sensor according to another embodiment of the present invention. FIG. 9 is a flowchart of a positioning method when there is rotation or tilting of the terminal.
도 9를 참조하면, 우선 실내에 위치한 각 조명등의 실제 좌표 정보 및 조명등 식별 정보를 제공받아 저장한다(단계 900). 예를 들어, 조명등의 실제 좌표 정보 및 조명등 식별 정보는 사용자가 실내에 진입할 때 서버로부터 제공받을 수 있을 것이다. Referring to FIG. 9, first, actual coordinate information and illumination identification information of each illumination lamp located in a room are received and stored (step 900). For example, the actual coordinate information of the illumination lamp and the illumination lamp identification information may be provided from the server when the user enters the room.
실내 측위가 요청될 경우, 이미지 센서를 이용하여 두 개의 조명등(제1 조명등 및 제2 조명등)에 대한 이미지를 획득한다(단계 902). When the indoor positioning is requested, the image sensor is used to acquire images for the two illumination lights (the first illumination light and the second illumination light) (Step 902).
또한, 이미지가 획득되는 시점에서의 단말기의 회전 각도 및 기울임 각도를 획득한다(단계 904). 일례로, 단말기의 회전 각도 및 기울임 각도는 자이로 센서를 이용하여 획득할 수 있다. 또한, 앞서 설명한 바와 같이, 획득한 이미지를 분석하여 회전 각도를 감지할 수도 있을 것이다. In addition, the rotation angle and the tilt angle of the terminal at the time when the image is acquired are obtained (step 904). For example, the rotation angle and the tilt angle of the terminal can be obtained using a gyro sensor. In addition, as described above, the angle of rotation may be detected by analyzing the acquired image.
회전 각도 또는 기울임 각도가 감지되면, 단계 702에서 획득한 이미지에 표시된 제1 조명등 및 제2 조명등의 좌표를 회전 각도 기울임 각도에 기초하여 변환한다(단계 906). 좌표 변환은 이미지의 중심 좌표를 기준으로 감지된 각도에 기초하여 이루어진다. If a rotation angle or tilt angle is detected, the coordinates of the first illumination light and the second illumination light displayed in the image acquired in Step 702 are converted based on the rotation angle tilt angle (Step 906). The coordinate transformation is based on the sensed angle based on the center coordinates of the image.
단말기가 회전된 경우 수학식 3과 같은 변환식을 이용하여 좌표 변환을 수행할 수 있다. 단말기가 기울여진 경우 앞서 설명한 바와 같이 룩업 테이블을 이용하여 좌표 변환을 수행할 수도 있으며, 별도의 변환식이 이용될 수도 있을 것이다. When the terminal is rotated, coordinate conversion can be performed using a conversion formula such as Equation (3). When the terminal is tilted, coordinate conversion may be performed using the lookup table as described above, or a separate conversion formula may be used.
제1 조명등 및 제2 조명등에 대한 이미지상에서의 좌표 변환이 이루어지면, 제1 조명등 및 제2 조명등의 실제 좌표 및 실제 거리와 이미지상에서의 제1 조명등 및 제2 조명등의 위치 좌표와 픽셀 거리를 이용하여 픽셀간 실제 거리를 연산한다(단계 908). When the coordinate transformation on the image for the first illumination light and the second illumination light is made, the actual coordinates and the actual distance of the first illumination light and the second illumination light and the position coordinates and the pixel distance of the first illumination light and the second illumination light on the image are used To calculate the actual distance between pixels (step 908).
픽셀간 실제 거리가 획득되면, 픽셀간 실제 거리를 이용하여 단말기의 평면 위치 좌표를 추정한다(단계 910). 단말기의 위치는 획득한 이미지상에서 이미지의 중심에 해당된다. 위치 추정은 이미지상에서의 제1 조명등의 좌표 및 제2 조명등의 좌표 중 어느 하나를 실제 좌표로 변환한 후 픽셀간 거리 정보 및 변환된 좌표 정보를 이용하여 이미지의 중심에 해당되는 실제 좌표를 연산한다. 예를 들어, 이미지상에서의 제1 조명등의 좌표를 실제 좌표로 변환한 후 이미지 중심의 좌표를 산출하여 단말기의 측위를 수행할 수 있을 것이다. Once the actual distance between pixels is obtained, the actual distance between the pixels is used to estimate the plane position coordinates of the terminal (step 910). The location of the terminal corresponds to the center of the image on the acquired image. The position estimation is performed by converting either the coordinates of the first illumination light on the image and the coordinates of the second illumination or the like into the actual coordinates, and then calculating the actual coordinates corresponding to the center of the image using the inter-pixel distance information and the converted coordinate information . For example, the coordinates of the first illumination light on the image may be converted to the actual coordinates, and the coordinates of the image center may be calculated to perform positioning of the terminal.
단말기의 평면 위치 좌표가 추정되면, 단말기의 평면 위치 좌표 및 이미지 센서의 렌즈와 이미지가 착상되는 이미지 평면과의 거리 정보를 이용하여 단말기의 높이를 추정한다(단계 912). If the plane position coordinates of the terminal are estimated, the height of the terminal is estimated using the distance information between the plane position coordinates of the terminal and the image plane on which the image of the image sensor is captured (step 912).
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .
Claims (19)
두 개의 조명등에 대한 이미지를 획득하는 조명 이미지 획득부;
이미지 획득 시의 단말기의 회전 각도 또는 기울임 각도를 감지하는 회전/기울임 감지부;
상기 획득한 이미지에서의 두 개의 조명등의 좌표를 상기 감지한 회전 각도 또는 기울임 각도를 이용하여 변환하는 이미지 변환부;
상기 이미지 변환부에서 변환된 이미지로부터 이미지에서의 두 개의 조명등에 대한 좌표 및 상기 변환된 이미지의 중심 좌표를 획득하는 이미지 분석부;
두 개의 조명등의 실제 좌표 및 상기 변환된 이미지에서의 두 개의 조명등에 대한 좌표를 이용하여 픽셀간 실제 거리를 연산하는 픽셀간 실제 거리 연산부; 및
상기 픽셀간 실제 거리 및 두 개의 조명등의 실제 좌표를 이용하여 단말기의 평면 위치 및 높이를 추정하는 위치 추정부를 포함하되,
단말기의 회전이 감지된 경우, 상기 이미지 변환부는 상기 두 개의 조명등을 연결하는 라인이 이미지 센서의 좌표축과 평행해지도록 상기 두 개의 조명등의 이미지에서의 좌표를 변환하고,
단말기의 기울임이 감지된 경우, 상기 이미지 변환부는 기울임 각도에 따른 좌표 변화를 저장한 룩업 테이블을 이용하여 좌표를 변환하며,
단말기의 회전이 감지된 경우 상기 이미지 변환부는 감지된 회전 각도에 기초하여 다음의 수학식과 같이 좌표를 변환하는 것을 특징으로 하는 조명등 및 이미지 센서를 이용한 위치 측위 장치.
위 수학식에서, x,y는 변환전 좌표이고, x', y'는 변환 후의 좌표이며,
1. A position locating apparatus included in a terminal,
An illumination image acquiring unit acquiring an image of two illumination lights;
A rotation / tilt sensing unit for sensing a rotation angle or a tilt angle of the terminal at the time of image acquisition;
An image transformation unit for transforming coordinates of two illumination lights in the acquired image using the detected rotation angle or tilt angle;
An image analyzer for obtaining coordinates of two illumination lights in an image from the image transformed by the image transforming unit and center coordinates of the transformed image;
An actual pixel distance calculating unit for calculating an actual distance between pixels using the actual coordinates of the two illumination lights and the coordinates of the two illumination lights in the converted image; And
And a position estimator for estimating a plane position and a height of the terminal using the actual distance between the pixels and the actual coordinates of the two illumination lights,
When the rotation of the terminal is detected, the image conversion unit converts coordinates of the images of the two illumination lights so that the line connecting the two illumination lights is parallel to the coordinate axis of the image sensor,
When the tilting of the terminal is detected, the image transformer transforms coordinates using a lookup table storing a coordinate change according to the tilt angle,
Wherein when the rotation of the terminal is detected, the image converting unit converts the coordinates according to the following equation based on the detected rotation angle.
In the above equation, x, y are the coordinates before conversion, x ', y'
상기 회전/기울임 감지부는 자이로 센서를 이용하여 회전 각도 또는 기울임 각도를 감지하는 것을 특징으로 하는 조명등 및 이미지 센서를 이용한 위치 측위 장치. 8. The method of claim 7,
Wherein the rotation / tilt sensing unit senses a rotation angle or a tilt angle using a gyro sensor.
두 개의 조명등에 대한 이미지를 획득하는 단계(a);
이미지 획득 시의 단말기의 회전 각도 또는 기울임 각도를 감지하는 단계(b);
상기 획득한 이미지에서의 두 개의 조명등의 좌표를 상기 감지한 회전 각도 또는 기울임 각도를 이용하여 변환하는 단계(c);
상기 이미지 변환부에서 변환된 이미지로부터 이미지에서의 두 개의 조명등에 대한 좌표 및 상기 변환된 이미지의 중심 좌표를 획득하는 단계(d);
두 개의 조명등의 실제 좌표 및 상기 변환된 이미지에서의 두 개의 조명등에 대한 좌표를 이용하여 픽셀간 실제 거리를 연산하는 단계(e); 및
상기 픽셀간 실제 거리 및 두 개의 조명등의 실제 좌표를 이용하여 단말기의 평면 위치 및 높이를 추정하는 단계(f)를 포함하되,
단말기의 회전이 감지된 경우, 상기 단계(c)는 상기 두 개의 조명등을 연결하는 라인이 이미지 센서의 좌표축과 평행해지도록 상기 두 개의 조명등의 이미지에서의 좌표를 변환하고,
단말기의 기울임이 감지된 경우, 상기 단계(c)는 기울임 각도에 따른 좌표 변화를 저장한 룩업 테이블을 이용하여 좌표를 변환하며,
상기 단계(c)는 감지된 회전 각도에 기초하여 다음의 수학식과 같이 좌표를 변환하는 것을 특징으로 하는 조명등 및 이미지 센서를 이용한 위치 측위 방법.
위 수학식에서, x,y는 변환전 좌표이고, x', y'는 변환 후의 좌표이며,
A positioning method performed by a positioning apparatus included in a terminal,
(A) obtaining an image of two illumination lights;
(B) detecting a rotation angle or a tilt angle of the terminal at the time of image acquisition;
(C) transforming coordinates of the two illumination lights in the acquired image using the sensed rotation angle or tilt angle;
(D) obtaining coordinates of two illuminated lights in the image from the image transformed by the image transforming unit and a center coordinate of the transformed image;
(E) calculating an actual distance between pixels using the actual coordinates of the two illumination lights and the coordinates of the two illumination lights in the converted image; And
(F) estimating a plane position and a height of the terminal using the actual distance between the pixels and the actual coordinates of the two illumination lights,
Wherein when the rotation of the terminal is detected, the step (c) transforms the coordinates in the images of the two illumination lights so that the line connecting the two illumination lights is parallel to the coordinate axis of the image sensor,
If the tilting of the terminal is detected, the step (c) transforms coordinates using a lookup table storing a coordinate change according to the tilt angle,
Wherein the step (c) transforms the coordinates according to the following equation based on the sensed rotation angle.
In the above equation, x, y are the coordinates before conversion, x ', y'
상기 단계(b)는 자이로 센서를 이용하여 회전 각도 또는 기울임 각도를 감지하는 것을 특징으로 하는 조명등 및 이미지 센서를 이용한 위치 측위 방법. 13. The method of claim 12,
Wherein the step (b) detects a rotation angle or a tilt angle using a gyro sensor.
상기 두 개의 조명등을 포함하는 실내의 조명등들의 실제 위치 좌표 및 각 조명등의 식별 정보를 저장하는 단계를 더 포함하는 것을 특징으로 하는 조명등 및 이미지 센서를 이용한 위치 측위 방법.13. The method of claim 12,
And storing the actual position coordinates of the illumination lamps of the room including the two illumination lamps and the identification information of the respective illumination lamps.
상기 단계(e)는 다음의 수학식을 이용하여 픽셀간 실제 거리를 연산하는 것을 특징으로 하는 조명등 및 이미지 센서를 이용한 위치 측위 방법.
위 수학식에서, I_Tx1 및 I_Tx2는 이미지에서의 두 개의 조명등의 좌표를 의미하고, Tx1 및 Tx2는 두 개의 조명등의 실제 좌표를 의미함. 13. The method of claim 12,
Wherein the step (e) calculates an actual distance between pixels by using the following equation: < EMI ID = 1.0 >
In the above equation, I_Tx1 and I_Tx2 denote the coordinates of two illumination lights in the image, and Tx1 and Tx2 denote the actual coordinates of the two illumination lights.
상기 단계(f)는 상기 변환된 이미지에서의 두 개의 조명등의 좌표 중 어느 하나를 실제 좌표로 변환한 후 상기 픽셀간 실제 거리 정보를 이용하여 이미지의 중심을 상기 단말기의 평면 위치로 추정하는 것을 특징으로 하는 조명등 및 이미지 센서를 이용한 위치 측위 방법. 13. The method of claim 12,
Wherein the step (f) comprises the steps of converting one of the coordinates of two illumination lights in the transformed image into actual coordinates, and then estimating the center of the image as the plane position of the terminal using the actual distance information between the pixels And a method of positioning by using an image sensor.
상기 단계(f)는 상기 단말기의 평면 위치를 추정한 후 조명등으로부터 상기 단말기까지의 수직 거리를 추정하고, 상기 조명등으로부터 상기 단말기까지의 수직 거리를 이용하여 상기 단말기의 높이를 추정하는 것을 특징으로 하는 조명등 및 이미지 센서를 이용한 위치 측위 방법.
19. The method of claim 18,
Wherein the step (f) estimates the vertical distance from the light to the terminal after estimating the plane position of the terminal, and estimates the height of the terminal using the vertical distance from the light to the terminal Positioning method using illumination light and image sensor.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150017973A KR101550563B1 (en) | 2015-02-05 | 2015-02-05 | Positioning Device and Method Using Illumination Lamp and Image Sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150017973A KR101550563B1 (en) | 2015-02-05 | 2015-02-05 | Positioning Device and Method Using Illumination Lamp and Image Sensor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101550563B1 true KR101550563B1 (en) | 2015-09-11 |
Family
ID=54247411
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150017973A KR101550563B1 (en) | 2015-02-05 | 2015-02-05 | Positioning Device and Method Using Illumination Lamp and Image Sensor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101550563B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102150193B1 (en) | 2019-04-15 | 2020-08-31 | 연세대학교 산학협력단 | Optical intensity measurement using camera defocus and position estimation apparatus and method using the same |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005351869A (en) * | 2004-06-14 | 2005-12-22 | Yokohama Tlo Co Ltd | Positioning method and system |
-
2015
- 2015-02-05 KR KR1020150017973A patent/KR101550563B1/en not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005351869A (en) * | 2004-06-14 | 2005-12-22 | Yokohama Tlo Co Ltd | Positioning method and system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102150193B1 (en) | 2019-04-15 | 2020-08-31 | 연세대학교 산학협력단 | Optical intensity measurement using camera defocus and position estimation apparatus and method using the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230288563A1 (en) | Determining positional information of an object in space | |
| US10718849B2 (en) | Wireless beacon-enabled luminaire identification system and method for determining the position of a portable device | |
| CN111521161B (en) | Method of determining a direction to a target, surveying arrangement and machine-readable carrier | |
| Yamazato et al. | Image sensor based visible light communication and its application to pose, position, and range estimations | |
| US9528828B2 (en) | Method and system for determining position and orientation of a measuring instrument | |
| US20160134860A1 (en) | Multiple template improved 3d modeling of imaged objects using camera position and pose to obtain accuracy | |
| US20140211999A1 (en) | Measuring device for determining the spatial position of an auxiliary measuring instrument | |
| EP3069100B1 (en) | 3d mapping device | |
| KR100698534B1 (en) | Landmark for location recognition of mobile robot and location recognition device and method using same | |
| CN103119611A (en) | Method and apparatus for image-based positioning | |
| KR20100018363A (en) | Automatic Location Tracking System for Moving Objects | |
| WO2010018009A1 (en) | 3d time-of-flight camera system and position/orientation calibration method therefor | |
| CA2569845A1 (en) | Detection-object-position-specifying device and method of specifying position of object to be detected | |
| WO2019046962A1 (en) | Method and system for target positioning and map update | |
| Amsters et al. | Towards automated calibration of visible light positioning systems | |
| KR20170049953A (en) | Indoor Positioning Device Using a Single Image Sensor and Method Thereof | |
| US20160259034A1 (en) | Position estimation device and position estimation method | |
| KR101295959B1 (en) | Position estimation apparatus of mobile robot using indoor ceiling image | |
| KR101720097B1 (en) | User device locating method and apparatus for the same | |
| CN102401901B (en) | Distance measurement system and distance measurement method | |
| KR101550563B1 (en) | Positioning Device and Method Using Illumination Lamp and Image Sensor | |
| US10685448B2 (en) | Optical module and a method for objects' tracking under poor light conditions | |
| KR100698535B1 (en) | Position recognition device and method of mobile robot with tilt correction function | |
| KR100913165B1 (en) | Apparatus and method for detecting a localization of mobility | |
| US11441901B2 (en) | Optical surveying instrument |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |