KR100647321B1 - User tracking method and apparatus - Google Patents

User tracking method and apparatus Download PDF

Info

Publication number
KR100647321B1
KR100647321B1 KR1020050011414A KR20050011414A KR100647321B1 KR 100647321 B1 KR100647321 B1 KR 100647321B1 KR 1020050011414 A KR1020050011414 A KR 1020050011414A KR 20050011414 A KR20050011414 A KR 20050011414A KR 100647321 B1 KR100647321 B1 KR 100647321B1
Authority
KR
South Korea
Prior art keywords
leg
candidate
detected
candidates
user
Prior art date
Application number
KR1020050011414A
Other languages
Korean (ko)
Other versions
KR20060090490A (en
Inventor
이형기
명현
홍영진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050011414A priority Critical patent/KR100647321B1/en
Publication of KR20060090490A publication Critical patent/KR20060090490A/en
Application granted granted Critical
Publication of KR100647321B1 publication Critical patent/KR100647321B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Abstract

본 발명은 카메라를 통해 촬영한 영상으로부터 사용자의 다리 위치를 검출하여 사용자의 위치를 추적하는 방법 및 장치에 관한 것이다. 그 방법은 촬영된 영상으로부터 사용자의 다리 후보들을 검출하는 단계; 검출된 다리 후보들의 고정 정도를 계산하여, 다리 후보들 중 상기 계산된 고정 정도가 소정 값 이상인 고정 물체를 검출하는 단계; 및 검출된 다리 후보들 중 고정 물체를 제외한 나머지 다리 후보로부터 사용자의 다리의 위치를 검출하는 단계를 포함하는 것을 특징으로 한다.The present invention relates to a method and apparatus for tracking a user's location by detecting a user's leg position from an image captured by a camera. The method includes detecting leg candidates of a user from the captured image; Calculating a degree of fixation of the detected leg candidates, and detecting a fixed object of the leg candidates having a predetermined value or more; And detecting the position of the user's leg from the remaining leg candidates except the fixed object among the detected leg candidates.

본 발명에 의하면, 사용자의 위치를 추적하고자 하는 경우, 촬영한 영상으로부터 사용자의 다리 후보들을 검출하고, 검출된 다리 후보들 중 위치가 고정되어 있는 고정 물체를 제거하여 사용자의 다리 위치를 검출함으로써, 촬영한 영상 내에 사용자의 다리와 유사한 형태의 물체를 사용자의 다리로 인식하여 사용자의 위치를 잘못 검출하는 오동작을 줄일 수 있다.According to the present invention, when the user's position is to be tracked, the leg candidates of the user are detected from the photographed image, and the leg position of the user is detected by removing a fixed object having a fixed position among the detected leg candidates. By recognizing an object similar to the user's leg as the user's leg in an image, a malfunction of incorrectly detecting the user's position can be reduced.

Description

사용자 위치 추적 방법 및 장치{User tracking method and apparatus}User tracking method and apparatus

도 1은 본 발명에 따른 사용자 위치 추적 장치의 전체적인 구성을 도시한 블록도이다.1 is a block diagram showing the overall configuration of a user location tracking device according to the present invention.

도 2는 도 1의 후보검출부에 대한 실시예를 나타내는 상세 블록도이다.FIG. 2 is a detailed block diagram illustrating an embodiment of the candidate detector of FIG. 1.

도 3은 도 2의 후보위치검출부가 사용자 다리 후보를 검출하는 방법에 대한 실시예를 나타내는 도면이다.FIG. 3 is a diagram illustrating an embodiment of a method of detecting a candidate leg by a candidate position detector of FIG. 2.

도 4는 검출된 다리 후보의 절대 위치를 계산하는 방법을 설명하기 위한 도면이다.4 is a diagram for describing a method of calculating an absolute position of a detected leg candidate.

도 5는 도 1의 메모리제어부에 대한 실시예를 나타내는 블록도이다.FIG. 5 is a block diagram illustrating an embodiment of the memory controller of FIG. 1.

도 6은 검출된 사용자 다리 위치를 이용하여 사용자 위치 추적 장치를 이동시키는 방법을 설명하기 위한 도면이다.FIG. 6 is a diagram for describing a method of moving a user location tracking apparatus by using a detected user leg position.

도 7은 본 발명에 따른 사용자 위치 추적 방법을 나타내는 흐름도이다.7 is a flowchart illustrating a user location tracking method according to the present invention.

도 8은 도 7의 사용자 다리 후보를 검출하는 단계에 대한 실시예를 나타내는 흐름도이다.FIG. 8 is a flowchart illustrating an embodiment of detecting a user leg candidate of FIG. 7.

도 9는 도 7의 검출된 다리 후보들을 메모리에 저장하는 단계에 대한 실시예를 나타내는 흐름도이다.9 is a flowchart illustrating an embodiment of storing the detected leg candidates of FIG. 7 in a memory.

본 발명은 사용자의 위치를 추적하는 방법 및 장치에 관한 것으로서, 특히 카메라를 이용해 촬영한 영상으로부터 사용자의 다리 후보들을 검출하고, 검출된 다리 후보들 중 위치가 고정되어 있는 고정 물체를 제거하여 사용자의 다리 위치를 검출하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for tracking a user's location, and in particular, detecting leg candidates of a user from an image photographed using a camera, and removing a fixed object having a fixed position among the detected leg candidates. A method and apparatus for detecting position.

이동형 전자기기의 대표적인 예는 이동형 로봇(mobile robot)이다. 근래 들어 이동형 로봇은 사람이 직접 작업하기 어려운 곳이나 가정에서의 단순 노동을 대신 처리해 줄 수 있는 시스템으로 주목받고 있다. 이러한 로봇의 기능은 현재 단순한 작업을 반복 수행하는 정도이다. Representative examples of mobile electronic devices are mobile robots. Recently, mobile robots are attracting attention as a system that can handle simple labor at home or in places where humans are difficult to work directly. The function of such a robot is to repeat a simple task at present.

그러나, 좀더 지능적인 로봇이 요구됨에 따라 로봇과 사람간의 상호작용에 관련된 기술이 연구되고 있다. 로봇과 사람간의 원활한 상호작용을 위하여, 우선적으로 요구되는 과제는 로봇이 사람을 추적할 수 있어야 한다는 것이다.However, as more intelligent robots are required, technologies related to robot-human interaction have been studied. For a smooth interaction between a robot and a person, the first challenge is that the robot must be able to track the person.

기존에 제안된 사람 추적 기술(human tracking technique)로, 배경 영상과 입력 영상간의 차 영상을 이용하여 물체의 움직임을 검출하는 방법이 있다. 그러나 상기 차 영상을 이용하는 방법은 동일한 배경 영상을 이용하는 경우에 효율적이나 배경 영상이 계속 바뀔 경우에 비효율적이다. 이동성을 갖는 로봇은 배경 영상이 계속 바뀔 가능성이 높으므로, 상기 차 영상을 이용하는 방법으로 사람을 추적할 경우에 비효율적으로 운영될 수 있다. As a conventional human tracking technique, there is a method of detecting the movement of an object using a difference image between a background image and an input image. However, the method of using the difference image is efficient when the same background image is used, but inefficient when the background image is continuously changed. Since the robot having a high mobility is likely to change continuously, the robot may be operated inefficiently when tracking a person by using the car image.

또한, 전 방향(omni-directional) 카메라로부터 탬플릿 매칭(template matching)을 통해 검출된 사람 영역과 레이저 레인지 파인더(laser rangefinder)의 프로파일 데이터(profile data)를 비교하여 로봇과 사람간의 상대 위치에 따른 모터 제어 방식으로 사람을 추적하는 기술이 있다. 그러나 이 방법은, 전 방향 카메라 영상에서 탬플릿 매칭이 실패하는 경우에 추적 대상을 분실할 수 있고, 사람이 아닌 유사 패턴을 추적할 수 있다.In addition, by comparing the profile data of the laser rangefinder with the human area detected by template matching from an omni-directional camera, the motor according to the relative position between the robot and the human being is compared. There is a technique for tracking people in a controlled manner. However, this method can lose track and track similar patterns, not humans, when template matching fails in the omni-directional camera image.

그리고 자석과 같은 발신장치를 사용자가 휴대하고, 로봇이 상기 발신장치를 감지하여 사용자를 추적하는 기술이 있다. 그러나 이 기술은 사용자가 별도의 발신장치를 항상 휴대하여야 하는 번거로움이 있다. In addition, there is a technology in which a user carries a transmitter such as a magnet, and a robot detects the transmitter and tracks the user. However, this technique is cumbersome for the user to always carry a separate transmitter.

더욱이 상술한 기존의 사람 추적 기술들은 장애물을 고려하지 않고 있어 로봇이 장애물을 회피하면서 사람을 추적할 수 없고, 대부분 사용자의 얼굴을 토대로 추적하므로, 사용자의 뒷모습을 토대로 한 추적이 불가능하다.In addition, the above-described conventional human tracking techniques do not consider obstacles, and thus robots do not track obstacles while avoiding obstacles, and most of them are tracked based on the user's face, and thus tracking based on the user's back is impossible.

본 발명이 이루고자 하는 기술적 과제는, 사용자의 위치를 추적함에 있어 상기와 같은 문제점들을 해결하기 위해, 촬영한 영상으로부터 검출된 사용자의 다리 후보들 중 고정 물체를 제거하여 사용자의 다리 위치를 검출하는 사용자 위치 추적 방법 및 장치를 제공하는 것이다.The technical problem to be solved by the present invention, in order to solve the above problems in tracking the position of the user, the user position to remove the fixed object of the user's leg candidates detected from the captured image to detect the user's leg position It is to provide a tracking method and apparatus.

상술한 기술적 과제를 해결하기 위한 본 발명에 의한 사용자 위치 추적 방법은, 상기 영상으로부터 상기 사용자의 다리 후보들을 검출하는 단계; 상기 검출된 다리 후보들의 고정 정도를 계산하여, 상기 다리 후보들 중 상기 계산된 고정 정도 가 소정 값 이상인 고정 물체를 검출하는 단계; 및 상기 검출된 다리 후보들 중 상기 검출된 고정 물체를 제외한 나머지 다리 후보로부터 사용자의 다리의 위치를 검출하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method for tracking a user location, the method comprising: detecting leg candidates of the user from the image; Calculating a fixed degree of the detected leg candidates and detecting a fixed object having the calculated fixed degree more than a predetermined value among the leg candidates; And detecting the position of the user's leg from the remaining leg candidates other than the detected fixed object among the detected leg candidates.

바람직하게는, 상기 다리 후보의 고정 정도는 소정 시간동안 촬영된 영상에서 상기 다리 후보의 위치가 변화한 정도를 이용하여 계산되며, 상기 다리 후보의 고정정도는 상기 다리 후보의 현재위치와 예측 위치사이의 거리를 이용하여 계산되는 것이 바람직하다.Preferably, the degree of fixation of the leg candidate is calculated using the degree of change of the position of the leg candidate in the image taken for a predetermined time, and the fixation degree of the leg candidate is between the current position and the predicted position of the leg candidate. It is preferable to calculate using the distance of.

바람직하게는, 상기 검출된 다리 후보들은 확정후보영역과 잠재후보영역의 두 영역으로 나누어 저장되며, 상기 다리 후보들을 검출하는 단계는 상기 영상으로부터 상기 사용자의 다리 후보들을 검출하는 단계; 상기 검출된 다리 후보가 상기 두 영역 중 어느 하나에 저장되어 있는지 확인하는 단계; 상기 검출된 다리 후보가 상기 두 영역 모두에 저장되어 있지 않은 경우 상기 검출된 다리 후보를 상기 잠재후보영역에 저장시키는 단계; 및 상기 검출된 다리 후보가 상기 잠재후보영역에 저장되어 있는 경우, 상기 다리 후보가 검출된 회수를 확인하여, 소정 회수 이상 검출된 경우 상기 다리 후보를 상기 확정후보영역에 저장시키는 단계를 포함하는 것이 바람직하다.Preferably, the detected leg candidates are divided into two regions, a finalized candidate region and a latent candidate region, and detecting the leg candidates comprises: detecting leg candidates of the user from the image; Checking whether the detected leg candidate is stored in one of the two regions; Storing the detected leg candidate in the latent candidate region when the detected leg candidate is not stored in both regions; And when the detected leg candidate is stored in the latent candidate area, checking the number of times the leg candidate is detected and storing the leg candidate in the determined candidate area when a predetermined number of times is detected. desirable.

상기 사용자 위치 추적 방법은, 상기 검출된 다리 후보가 상기 잠재후보영역에 저장되어 있는 경우, 상기 다리 후보가 검출된 회수 및 관측 시간 간격을 확인하여, 상기 검출 회수가 상기 소정 회수 미만이고 상기 관측 시간 간격이 소정 시간 이상인 경우에는 상기 다리 후보를 상기 잠재후보영역에서 제거하는 단계를 더 포함하는 것이 바람직하다.The user location tracking method, when the detected leg candidate is stored in the latent candidate area, checks the number of times the leg candidate is detected and the observation time interval, and the detection frequency is less than the predetermined number and the observation time. If the interval is more than a predetermined time, it is preferable to further include the step of removing the bridge candidate from the potential candidate area.

바람직하게는, 상기 다리 후보들을 검출하는 단계는 상기 위치 추적 장치의 움직임을 이용하여 상기 위치 추적 장치의 현재 위치를 검출하는 단계; 상기 영상으로부터 다리 후보들을 검출하고, 상기 검출된 다리 후보들의 상기 카메라에 대한 상대 위치와 상기 검출된 위치 추적 장치의 현재 위치를 이용하여 상기 다리 후보들의 절대 위치를 검출하는 단계; 상기 검출된 다리 후보들 중 관심 영역 밖에 위치하는 다리 후보들을 제거하고, 남은 다리 후보들에 각각에 대해 새로운 다리 후보인지 여부를 확인하는 단계; 상기 확인 결과, 새로운 다리 후보인 경우 상기 다리 후보의 위치를 초기화하고, 새로운 다리 후보가 아닌 경우 상기 다리 후보의 검출된절대 위치로 상기 다리 후보의 위치를 갱신하는 단계를 포함한다.Advantageously, detecting the leg candidates comprises: detecting a current location of the location tracking device using movement of the location tracking device; Detecting leg candidates from the image, and detecting absolute positions of the leg candidates by using the detected leg candidates relative to the camera and the current position of the detected position tracking device; Removing leg candidates located outside the region of interest among the detected leg candidates, and checking whether the remaining leg candidates are new leg candidates for each of the remaining leg candidates; The verification result may include initializing the position of the leg candidate in the case of a new leg candidate, and updating the position of the leg candidate with the detected absolute position of the leg candidate if the leg is not a new leg candidate.

상기 다리 후보의 위치를 갱신하는 단계는 확장 칼만 필터(extended Kalman filter)를 사용하여 수행되어지는 것이 바람직하다.The updating of the position of the leg candidate is preferably performed using an extended Kalman filter.

바람직하게는, 상기 사용자의 다리 위치를 검출하는 단계는 상기 검출된 다리 후보들 중 상기 검출된 고정 물체를 제거하는 단계; 및 상기 제거 단계를 수행하고 남은 다리 후보들 중 사용자 다리의 이전 위치로부터 가장 가까운 곳에 위치하는 다리 후보를 검출하는 단계를 포함한다.Advantageously, detecting the leg position of the user comprises: removing the detected fixed object among the detected leg candidates; And detecting a leg candidate positioned closest to the previous position of the user leg among the remaining leg candidates after performing the removing step.

상기 위치 추적 방법은, 상기 위치 추적 장치를 상기 검출된 사용자 다리 위치까지 이동시키는 단계를 더 포함하는 것이 바람직하며, 상기 위치 추적 장치를 이동시키는 단계는 상기 위치 추적 장치로부터 상기 검출된 사용자 다리 위치까지의 거리와 방향의 상대 오차를 이용하여 상기 위치 추적 장치의 이동 속도를 제어 하는 것이 바람직하다. The location tracking method may further include moving the location tracking device to the detected user leg position, wherein moving the location tracking device from the location tracking device to the detected user leg location. It is preferable to control the moving speed of the location tracking device by using the relative error of the distance and the direction of.

상술한 기술적 과제를 해결하기 위한 본 발명에 의한 사용자 위치 추적 장치는, 상기 위치 추적 장치 주변의 영상을 촬영하는 카메라; 상기 촬영된 영상으로부터 상기 사용자의 다리 후보들을 검출하는 후보검출부; 상기 사용자의 다리 후보들의 위치를 저장하는 메모리; 상기 검출된 다리 후보들의 위치를 상기 메모리에 저장시키는 메모리제어부; 상기 메모리에 저장된 다리 후보들의 고정 정도를 계산하여, 상기 다리 후보들 중 상기 계산된 고정 정도가 소정 값 이상인 고정 물체를 검출하는 고정물체검출부; 및 상기 검출된 다리 후보들 중 상기 검출된 고정 물체를 제외한 나머지 다리 후보로부터 사용자의 다리의 위치를 검출하는 다리위치검출부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a user location tracking device including a camera for capturing an image around the location tracking device; A candidate detector for detecting leg candidates of the user from the captured image; A memory for storing the location of leg candidates of the user; A memory controller configured to store the positions of the detected leg candidates in the memory; A fixed object detector for calculating a fixed degree of the leg candidates stored in the memory and detecting a fixed object having the calculated fixed degree among the leg candidates equal to or greater than a predetermined value; And a leg position detection unit detecting a position of a leg of the user from the remaining leg candidates except the detected fixed object among the detected leg candidates.

바람직하게는, 상기 다리 후보의 고정 정도는 소정 시간동안 촬영된 영상에서 상기 다리 후보의 위치가 변화한 정도를 이용하여 계산되며, 상기 다리 후보의 고정정도는 상기 다리 후보의 현재위치와 예측 위치사이의 거리를 이용하여 계산되는 것이 바람직하다.Preferably, the degree of fixation of the leg candidate is calculated using the degree of change of the position of the leg candidate in the image taken for a predetermined time, and the fixation degree of the leg candidate is between the current position and the predicted position of the leg candidate. It is preferable to calculate using the distance of.

상기 메모리는 상기 검출된 다리 후보들의 위치를 확정후보영역과 잠재후보영역의 두 영역으로 나누어 저장하는 것이 바람직하다.Preferably, the memory stores and stores the detected leg candidates into two regions: a fixed candidate region and a latent candidate region.

바람직하게는, 상기 메모리제어부는 상기 검출된 다리 후보가 상기 메모리에 저장되어 있는지 확인하는 확인부; 및 상기 검출된 다리 후보가 상기 메모리에 저장되어 있지 않은 경우 상기 검출된 다리 후보를 상기 잠재후보영역에 저장시키고, 상기 검출된 다리 후보가 상기 잠재후보영역에 저장되어 있는 경우 상기 다리 후보 가 검출된 회수를 확인하여, 소정 회수 이상 검출된 경우 상기 다리 후보를 상기 확정후보영역에 저장시키는 영역관리부를 포함한다.Preferably, the memory controller comprises: a confirmation unit for confirming whether the detected leg candidate is stored in the memory; And when the detected leg candidate is not stored in the memory, the detected leg candidate is stored in the latent candidate area, and when the detected leg candidate is stored in the latent candidate area, the leg candidate is detected. And an area manager that checks the number of times and stores the leg candidates in the determined candidate area when a predetermined number or more are detected.

상기 영역관리부는 상기 검출된 다리 후보가 상기 잠재후보영역에 저장되어 있는 경우, 상기 다리 후보가 검출된 회수 및 관측 시간 간격을 확인하여, 상기 검출 회수가 상기 소정 회수 미만이고 상기 관측 시간 간격이 소정 시간 이상인 경우에는 상기 다리 후보를 상기 잠재후보영역에서 제거하는 것이 바람직하다.When the detected leg candidate is stored in the latent candidate area, the area manager checks the number of times the leg candidate is detected and the observation time interval, and the detection frequency is less than the predetermined number of times and the observation time interval is predetermined. If it is more than the time, it is preferable to remove the bridge candidate from the potential candidate area.

바람직하게는, 상기 후보검출부는 상기 위치 추적 장치의 움직임을 이용하여 상기 위치 추적 장치의 현재 위치를 검출하는 장치위치검출부; 상기 영상으로부터 다리 후보들을 검출하고, 상기 검출된 다리 후보들의 상기 카메라에 대한 상대 위치와 상기 검출된 위치 추적 장치의 현재 위치를 이용하여 상기 다리 후보들의 절대 위치를 검출하는 후보위치검출부; 상기 검출된 다리 후보들 중 관심 영역 밖에 위치하는 다리 후보들을 추출하는 영역확인부; 상기 검출된 다리 후보들 중 상기 검출된 관심 영역 밖의 다리 후보들을 제외한 나머지 다리 후보들 각각에 대해 새로운 다리 후보인지 여부를 확인하는 신규후보확인부; 및 상기 확인 결과, 새로운 다리 후보인 경우 상기 다리 후보의 위치를 초기화하고, 새로운 다리 후보가 아닌 경우 상기 다리 후보의 검출된 절대 위치로 상기 다리 후보의 위치를 갱신하는 위치갱신부를 포함하는 것이 바람직하다.Preferably, the candidate detection unit comprises a device position detection unit for detecting the current position of the location tracking device using the movement of the location tracking device; A candidate position detection unit for detecting leg candidates from the image and detecting absolute positions of the leg candidates using the detected leg candidates relative to the camera and the current position of the detected position tracking device; An area checker configured to extract leg candidates located outside the region of interest among the detected leg candidates; A new candidate confirmation unit confirming whether each of the detected leg candidates except the leg candidates outside the detected region of interest is a new leg candidate; And, as a result of the checking, a position update unit for initializing the position of the leg candidate in the case of a new leg candidate and updating the position of the leg candidate to the detected absolute position of the leg candidate if the leg is not a new leg candidate. .

상기 위치갱신부는 확장 칼만 필터(extended Kalman filter)를 이용하는 것이 바람직하다.The position update unit preferably uses an extended Kalman filter.

바람직하게는, 상기 다리위치검출부는 상기 검출된 다리 후보들 중 상기 검 출된 고정 물체를 제외한 나머지 다리 후보들 중 사용자 다리의 이전 위치로부터 가장 가까운 곳에 위치하는 다리 후보를 검출한다.Preferably, the leg position detection unit detects a leg candidate located closest to the previous position of the user leg among the remaining leg candidates except the detected fixed object among the detected leg candidates.

상기 사용자 위치 추적 방법은 바람직하게는 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현할 수 있다. The user location tracking method may be preferably implemented as a computer readable recording medium having recorded thereon a program for execution on a computer.

이하, 첨부된 도면을 참조하면서 본 발명에 따른 사용자 위치 추적 방법 및 장치에 대해 상세히 설명한다.Hereinafter, a user location tracking method and apparatus according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 사용자 위치 추적 장치의 전체적인 구성을 블록도로 도시한 것으로, 도시된 위치 추적 장치는 카메라(100), 후보검출부(110), 메모리제어부(120), 메모리(130), 고정물체검출부(140) 및 다리위치검출부(150)를 포함하여 이루어진다. 도 1에 도시된 사용자 위치 추적 장치의 동작을 도 7에 도시된 본 발명에 따른 사용자 위치 추적 방법을 나타내는 흐름도와 결부시켜 설명하기로 한다.1 is a block diagram showing the overall configuration of a user location tracking device according to the present invention, the location tracking device shown is a camera 100, candidate detection unit 110, memory control unit 120, memory 130, fixed It comprises an object detection unit 140 and the leg position detection unit 150. The operation of the user location tracking device shown in FIG. 1 will be described in conjunction with the flowchart illustrating the user location tracking method according to the present invention shown in FIG. 7.

상기 카메라(100)는 상기 위치 추적 장치 주변을 촬영하여 영상데이터를 출력한다(700단계). 상기 후보검출부(110)는 상기 촬영된 영상데이터를 입력받아, 상기 영상 내에서 인체의 다리와 유사한 형태를 가지는 사용자 다리 후보들을 검출한다(710단계).The camera 100 outputs image data by capturing the surroundings of the location tracking apparatus in operation 700. The candidate detection unit 110 receives the captured image data and detects user leg candidates having a shape similar to that of a human leg in the image (step 710).

상기 메모리제어부(120)는 상기 검출된 사용자 다리 후보들에 대한 정보를 상기 메모리(130)에 저장시킨다(720단계). 상기 고정물체검출부(140)는 상기 메모리에 저장된 사용자 다리 후보들 중 고정 물체를 추출하고, 상기 다리위치검출부(150)는 상기 검출된사용자 다리 후보들 중에서 상기 추출된 고정 물체를 제거하여 최종 사용자 다리 후보를 결정한다(730단계). The memory controller 120 stores the information about the detected user leg candidates in the memory 130 (step 720). The fixed object detection unit 140 extracts a fixed object from among the user leg candidates stored in the memory, and the leg position detection unit 150 removes the extracted fixed object from the detected user leg candidates to determine an end user leg candidate. Determine (step 730).

상기 고정물체검출부(140)가 고정 물체를 추출하는 방법은, 상기 메모리(130)로부터 사용자 다리 후보들에 대한 정보를 입력받아, 사용자 다리 후보들 각각에 대해 상기 읽어진 정보를 이용하여 위치의 고정 정도를 계산하고, 상기 계산된 고정 정도가 미리 설정된 소정 값 이상인 경우에는 고정 물체로 추출하는 것이 바람직하다. 상기 고정물체검출부(140)는 고정 정도를 계산하고자 하는 사용자 다리 후보의 현재 위치와 상기 사용자 다리 후보의 예측 위치 사이의 거리를 계산함으로써 상기 고정 정도를 계산하는 것이 바람직하다.The method of extracting the fixed object by the fixed object detecting unit 140 may include receiving information on user leg candidates from the memory 130 and using the read information for each of the user leg candidates to determine the degree of fixation of the position. If the calculated fixed degree is more than a predetermined value, it is preferable to extract the fixed object. The fixed object detection unit 140 may calculate the degree of fixation by calculating a distance between a current position of a user leg candidate for which the degree of fixation is to be calculated and a predicted position of the user leg candidate.

또한, 상기 다리 후보의 고정정도는 다음의 수학식 1에 의해 계산되는 것이 바람직하다.In addition, the degree of fixation of the bridge candidate is preferably calculated by the following equation (1).

Figure 112005007273299-pat00001
,
Figure 112005007273299-pat00001
,

Figure 112005007273299-pat00002
Figure 112005007273299-pat00002

상기 수학식 1에서, Znt는 n번째 다리 후보의 위치의 공분산이며, zt는 상기 다리 후보의 현재 위치이며,

Figure 112005007273299-pat00003
는 상기 n번째 다리 후보의 위치의 Kalman 필터에 의한 예측 값이다. 상기 고정물체검출부(140)는 위치가 정확히 변하지 않는 물체의 고정 정도를 1이라고 가정할 때, 고정 정도가 일정값, 예를 들면 0.7 이상인 사용자 다리 후보를 고정 물체로 인식하는 것이 바람직하다.In Equation 1, Z nt is a covariance of the position of the n-th leg candidate, z t is the current position of the leg candidate,
Figure 112005007273299-pat00003
Is a predicted value by a Kalman filter of the position of the nth leg candidate. When the fixed object detection unit 140 assumes a fixed degree of an object whose position does not change exactly to 1, it is preferable to recognize a user leg candidate having a fixed value as a fixed value, for example, 0.7 or more.

상기 다리위치검출부(150)는 상기 고정 물체를 제하고 남은 사용자 다리 후보들을 이용하여 사용자의 다리 위치를 검출한다(740단계). 상기 740단계에서 고정 물체를 제하고 남은 사용자 다리 후보가 3개 이상인 경우, 상기 다리위치검출부(150)는 상기 사용자 다리 후보들 중 이전에 검출된 사용자의 다리 위치에서 가장 가까운 두개의 다리 후보들을 사용자의 다리로 검출하는 것이 바람직하다.The leg position detector 150 detects the leg position of the user using the remaining leg candidates after removing the fixed object (step 740). When there are three or more user leg candidates left after removing the fixed object in step 740, the leg position detection unit 150 selects the two leg candidates closest to the user's leg position detected previously among the user leg candidates. It is preferable to detect by the leg.

도 2는 도 1의 후보검출부(110)에 대한 실시예를 상세 블록도로 도시한 것으로, 도시된 후보검출부(110)는 장치위치검출부(200), 후보위치검출부(210), 영역확인부(220), 신규후보확인부(230) 및 위치갱신부(240)를 포함하여 이루어진다. 도 2에 도시된 후보검출부(110)의 동작을 도 8에 도시된 흐름도와 결부시켜 설명하기로 한다.FIG. 2 is a detailed block diagram illustrating an exemplary embodiment of the candidate detector 110 of FIG. 1. The candidate detector 110 illustrated in FIG. 1 includes a device location detector 200, a candidate location detector 210, and an area checker 220. ), The new candidate confirmation unit 230 and the position update unit 240 is made. The operation of the candidate detector 110 shown in FIG. 2 will be described in conjunction with the flowchart shown in FIG. 8.

상기 장치위치검출부(200)는 상기 사용자 위치 추적 장치의 현재 위치를 검출한다(800단계). 상기 장치위치검출부(200)는 상기 사용자 위치 추적 장치를 이동시키는 이동 수단의 움직임, 예를 들면 회전 바퀴의 회전량 및 이동 방향을 인코더 등을 이용해 검출하고, 이전에 검출된 사용자 위치 추적 장치의 위치와 상기 검출된 이동 수단의 움직임을 통해 상기 사용자 위치 추적 장치가 이동한 거리 및 방향을 이용하여 사용자 위치 추적 장치의 현재 위치를 검출하는 것이 바람직하다. 상기 800단계는 1개의 확장 칼만 필터(Extended Kalman filter)를 이용하여 수행되는 것이 바람직하다.The device location detection unit 200 detects the current location of the user location tracking device (step 800). The device position detection unit 200 detects the movement of the moving means for moving the user position tracking device, for example, the rotation amount and the moving direction of the rotating wheel by using an encoder, and the position of the previously detected user position tracking device. And detecting the current location of the user location tracking device by using the distance and direction in which the user location tracking device moves through the detected movement means. The 800 step is preferably performed using one Extended Kalman filter.

상기 후보위치검출부(210)는 상기 카메라(100)로부터 영상데이터를 입력받아, 상기 영상 중 사용자 다리 후보들의 절대 위치를 검출한다(810단계). 도 3은 상기 후보위치검출부(210)가 사용자 다리 후보의 절대 위치를 검출하는 방법에 대한 실시예를 도시한 것이다. 물체(object)에 레이저를 비춘 상태에서 카메라(100)를 이용해 영상을 촬영하면, 도시된 바와 같이 물체와 바닥의 경계선이 영상에 표시된다. 상기 영상에 표시된 경계선의 형태와 길이가 인체의 다리와 바닥 사이의 경계선을 촬영한 영상의 그 것과 유사한 물체를 사용자 다리 후보로 검출한다. 상기 검출된사용자 다리 후보의 영상 내의 상대 위치와 상기 800단계에서 검출된사용자 위치 추적 장치의 현재 위치를 이용하여, 상기 검출된 사용자 다리 후보의 절대 위치를 계산한다. The candidate position detector 210 receives image data from the camera 100 and detects absolute positions of user leg candidates in the image (step 810). 3 illustrates an embodiment of a method for the candidate position detector 210 to detect an absolute position of a user leg candidate. When the image is taken using the camera 100 while the laser is applied to the object, the boundary line between the object and the floor is displayed on the image as shown. An object similar to that in the image of the boundary line between the leg and the floor of the human body having the shape and length of the boundary line displayed in the image is detected as the user leg candidate. The absolute position of the detected user leg candidate is calculated using the relative position in the image of the detected user leg candidate and the current position of the user position tracking apparatus detected in step 800.

상기 영역확인부(220)는 상기 후보위치검출부(210)로부터 사용자 다리 후보들의 위치에 대한 정보를 입력받아 상기 위치가 관심 영역 밖에 있는 다리 후보를 추출하고, 상기 신규후보확인부(230)는 상기 후보위치검출부(210)로부터 입력되는 사용자 다리 후보들 중 상기 추출된 관심 영역 밖의 다리 후보들을 제거한다(820단계). 상기 관심 영역은 상기 800단계에서 검출된 사용자 위치 추적 장치의 현재 위치로부터미리 설정된 소정의 거리 내에 위치하는 영역으로 설정되는 것이 바람직하다.The area checking unit 220 receives information on the position of the user leg candidates from the candidate position detecting unit 210 and extracts the leg candidate whose position is outside the region of interest, and the new candidate checking unit 230 performs the The leg candidates outside the extracted ROI among the user leg candidates input from the candidate position detector 210 are removed (step 820). The region of interest may be set to an area located within a predetermined distance from a current position of the user location tracking apparatus detected in step 800.

상기 신규후보확인부(230)는 상기 검출된 다리 후보들이 새로이 검출된 다리 후보인지 여부를 확인한다(830단계). 상기 신규후보확인부(230)는 상기 검출된 다리 후보들 각각에 대해 상기 메모리(130)에 저장되어 있는 이전에 검출된 사용자 다리 후보들과 카이자승 테스트(χ2 test)를 하여, 상기 검출된 다리 후보와 동일한 다리 후보가 상기 메모리(130)에 저장되어 있지 않은 경우에는 새로운 다리 후보로 인식하는 것이 바람직하다. The new candidate confirmation unit 230 checks whether the detected leg candidates are newly detected leg candidates (step 830). The new candidate identification unit 230 to the memory 130 before the users leg candidates and the chi-square test (χ 2 test) detected in stored in respect to each of the detected leg candidates, the detected bridge candidate If the same bridge candidate as is not stored in the memory 130, it is preferable to recognize it as a new bridge candidate.

상기 확인 결과, 새로운 사용자 다리 후보가 검출된 경우, 상기 위치갱신부(240)는 상기 다리 후보들의 위치를 초기화한다(840단계). 도 4는 상기 840단계에서 사용자 다리 후보들의 위치를 초기화하는 방법을 설명하기 위한 도면으로, 사용자 위치 추적 장치에 부착된 카메라(100)와 사용자 다리 후보(300)가 도 4에 도시된 바와 같은 위치를 가지는 경우 다음의 수학식 2와 같이 계산하여 상기 사용자 다리 후보의 위치를 초기화 할 수 있다.As a result of the check, when a new user leg candidate is detected, the position updater 240 initializes positions of the leg candidates (step 840). FIG. 4 is a diagram illustrating a method of initializing positions of user leg candidates in operation 840. The camera 100 and the user leg candidate 300 attached to the user position tracking apparatus are positioned as shown in FIG. 4. In the case of having a, it can be calculated as in Equation 2 below to initialize the position of the user leg candidate.

Figure 112005007273299-pat00004
Figure 112005007273299-pat00004

상기 수학식 2에서, Zt는 시간 t에서의 상기 카메라(130)를 통해 촬영한 영상에서 상기 사용자 다리 후보(300)가 위치하는 상대적 위치인 관측위치값이며,

Figure 112005007273299-pat00005
는 상기 Zt의 예측값이고, St는 시간 t에서의 상기 카메라(130)의 위치이다. 또 한,
Figure 112005007273299-pat00006
는 상기 n번째 사용자 다리 후보(300)의 절대 위치값이며, g는 상기 관측위치값과 사용자 위치 추적 장치의 위치 및 사용자 다리 후보(300)의 절대 위치값 사이의 관계를 나타내는 함수이고,
Figure 112005007273299-pat00007
는 상기 관측 함수의 미분치이며,
Figure 112005007273299-pat00008
는 상기 절대 위치값의 공분산이고, R은 측정 노이즈 값 의 공분산이다. 상기 관측위치값과 사용자 위치 추적 장치의 위치 및 사용자 다리 후보(300)의 절대 위치값 사이의 관계를 나타내는 함수 g는 다음의 수학식 3과 같다.In Equation 2, Z t is an observation position value which is a relative position where the user leg candidate 300 is located in the image photographed by the camera 130 at time t,
Figure 112005007273299-pat00005
Is the predicted value of Z t , and S t is the position of the camera 130 at time t. Also,
Figure 112005007273299-pat00006
Is an absolute position value of the n-th user leg candidate 300, g is a function representing the relationship between the observation position value and the position of the user position tracking device and the absolute position value of the user leg candidate 300,
Figure 112005007273299-pat00007
Is the derivative of the observation function,
Figure 112005007273299-pat00008
Is the covariance of the absolute position value, and R is the covariance of the measured noise value. A function g representing a relationship between the observed position value, the position of the user position tracking device, and the absolute position value of the user leg candidate 300 is expressed by Equation 3 below.

Figure 112005007273299-pat00009
Figure 112005007273299-pat00009

상기 수학식 2와 수학식 3에 따라, 상기 사용자 다리 후보(300)의 절대 위치는 다음의 수학식 4에 의해 계산된다.According to Equations 2 and 3, the absolute position of the user leg candidate 300 is calculated by Equation 4 below.

Figure 112005007273299-pat00010
Figure 112005007273299-pat00010

상기 확인 결과, 새로운 사용자 다리 후보가 검출되지 않은 경우, 상기 위치갱신부(240)는 상기 검출된 다리 후보들의 위치들을 현재 영상에서 관측된 다리 후보들의 관측위치값에 따라 갱신한다(850단계). 상기 850단계에서, 상기 위치갱신부(240)는 확장 칼만 필터(Extended Kalman filter)를 사용해, 다음의 수학식 5와 같 이 계산하여 사용자 다리 후보들의 위치를 갱신하는 것이 바람직하다.As a result of the check, if a new user leg candidate is not detected, the position updater 240 updates the positions of the detected leg candidates according to the observed position values of the leg candidates observed in the current image (step 850). In step 850, the position updater 240 may use the Extended Kalman filter to update the positions of the user leg candidates by calculating the following equation (5).

Figure 112005007273299-pat00011
Figure 112005007273299-pat00011

도 5는 도 1의 메모리제어부(120)에 대한 실시예를 블록도로 도시한 것으로, 도시된 메모리제어부(120)는 확인부(500) 및 영역관리부(510)를 포함하는 것이 바람직하다. 도 5에 도시된 메모리제어부(120)의 동작을 도 8에 도시된 검출된 사용자 다리 후보에 대한 정보를 상기 메모리(130)에 저장하는 방법을 나타내는 흐름도와 결부시켜 설명하기로 한다.FIG. 5 is a block diagram illustrating an embodiment of the memory controller 120 of FIG. 1, and the illustrated memory controller 120 may include a confirmation unit 500 and an area manager 510. The operation of the memory controller 120 illustrated in FIG. 5 will be described with reference to a flowchart illustrating a method of storing information on the detected user leg candidate illustrated in FIG. 8 in the memory 130.

상기 메모리(130)는 확정후보영역과 잠재후보영역으로 나누어져, 상기 검출된 사용자 다리 후보들에 대한 정보를 상기 두 영역으로 나누어 저장하며, 각 사용자 다리 후보들이 검출된 회수(n)를 저장하고 있다.The memory 130 is divided into a fixed candidate region and a potential candidate region, and stores information about the detected user leg candidates into the two regions, and stores the number n of detected respective user leg candidates. .

상기 확인부(500)는 상기 후보검출부(110)로부터 검출된 사용자 다리 후보에 대한 정보를 입력받아, 상기 사용자 다리 후보가 메모리(130)에 저장되어 있는지를 확인하여, 상기 확인 결과를 출력한다(900단계). 상기 사용자 다리 후보가 상기 메 모리(130)에 저장되어 있지 않은 경우, 상기 영역관리부(510)는 상기 사용자 다리 후보에 대한 정보를 상기 메모리(130)의 잠재후보영역에 저장시킨다(910단계).The verification unit 500 receives information on the user leg candidate detected by the candidate detector 110, checks whether the user leg candidate is stored in the memory 130, and outputs the verification result ( Step 900). If the user leg candidate is not stored in the memory 130, the area manager 510 stores the information about the user leg candidate in the potential candidate area of the memory 130 (step 910).

상기 사용자 다리 후보가 상기 메모리(130)에 저장되어 있는 경우, 상기 확인부(500)는 상기 사용자 다리 후보가 상기 메모리(130) 중 잠재후보영역에 저장되어 있는 지 확인하여(920단계), 잠재후보영역에 저장되어 있는 경우 상기 다리 후보의 검출회수(n)를 1 증가시킨다(930단계). 상기 확인부(500)는 상기 잠재후보영역에 저장된 사용자 다리 후보의 검출회수(n)가 미리 설정된 소정 회수(a) 이상인지 확인하여, 상기 소정 회수(a) 이상 검출된 경우, 상기 영역관리부(510)는 상기 사용자 다리 후보에 대한 정보를 상기 잠재후보영역에서 삭제하고 상기 확정후보영역에 저장시킨다(950단계).When the user leg candidate is stored in the memory 130, the verification unit 500 checks whether the user leg candidate is stored in the latent candidate area of the memory 130 (step 920). If it is stored in the candidate area, the detection frequency n of the leg candidate is increased by one (step 930). The identification unit 500 checks whether the detection frequency n of the user leg candidates stored in the potential candidate area is equal to or greater than a predetermined number of times a, and when the predetermined number of times or more is detected, the area management unit ( In operation 950, the user candidate candidate information is deleted from the potential candidate area and stored in the determined candidate area (step 950).

상기 확인 결과, 상기 잠재후보영역에 저장된 사용자 다리 후보의 검출회수(n)가 미리 설정된 소정 회수(a) 미만인 경우, 상기 검출회수(n)가 미리 설정된 소정 회수(b) 이하이고 관측되는 시간 간격, 예를 들면 마지막으로 관측되었던 시간부터 현재까지의 시간이 미리 설정된 소정 시간(tmax)이상인지 확인하여(960단계), 상기 조건을 만족하는 경우 상기 사용자 다리 후보에 대한 정보를 상기 잠재후보영역에서 삭제한다(970단계).As a result of the check, when the detection frequency n of the user leg candidates stored in the potential candidate area is less than the predetermined number (a), the detection frequency (n) is less than or equal to the preset predetermined number (b) and is observed. For example, if the time from the last observed time to the present time is greater than or equal to a preset time t max (step 960), and if the condition is satisfied, information about the user leg candidate is displayed in the potential candidate area. Delete in step 970.

도 6은 검출된 사용자 다리 위치를 이용하여 사용자 위치 추적 장치를 이동시키는 방법을 설명하기 위한 도면으로, 좌측 회전바퀴(630)와 우측 회전바퀴(640)를 이용하여 이동하는 사용자 위치 추적 장치(620)를 상기에서 검출한 두개의 사용 자 다리(600, 610)의 중간 위치((x, y))까지 이동시키는 경우이다. 상기 검출한 사용자 위치 추적 장치(620)의 위치((0, 0))와 상기 사용자 다리의 중간 위치((x, y))사이의 거리와 방향의 상대 오차를 반영하여 상기 좌, 우측 회전바퀴(630, 640)의 회전 속도인 VL과 VR을 결정하는 것이 바람직하다.FIG. 6 is a view for explaining a method of moving a user location tracking device by using a detected user leg position. The user location tracking device 620 moves using a left rotation wheel 630 and a right rotation wheel 640. ) Is moved to the middle position ((x, y)) of the two user legs 600 and 610 detected above. The left and right rotation wheels reflect the relative error of the distance and direction between the detected position ((0, 0)) of the user position tracking device 620 and the intermediate position ((x, y)) of the user leg. It is desirable to determine V L and V R , which are rotational speeds of 630 and 640.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, which are also implemented in the form of carrier waves (for example, transmission over the Internet). Include.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. And functional programs, codes and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.

이상 본 발명의 바람직한 실시예에 대해 상세히 기술하였지만, 본 발명이 속하는 기술분야에 있어서 통상의 지식을 가진 사람이라면, 첨부된 청구범위에 정의된 본 발명의 정신 및 범위에 벗어나지 않으면서 본 발명을 여러 가지로 변형 또는 변경하여 실시할 수 있음을 알 수 있을 것이다. 따라서, 본 발명의 앞으로의 실시 예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다. Although a preferred embodiment of the present invention has been described in detail above, those skilled in the art to which the present invention pertains can make various changes without departing from the spirit and scope of the invention as defined in the appended claims. It will be appreciated that modifications or variations may be made. Accordingly, modifications to future embodiments of the present invention will not depart from the technology of the present invention.

상술한 바와 같이 본 발명에 따른 사용자 위치 추적 방법 및 장치에 의하면, 촬영한 영상으로부터 사용자의 다리 후보들을 검출하고, 검출된 다리 후보들 중 위치가 고정되어 있는 고정 물체를 제거하여 사용자의 다리 위치를 검출함으로써, 촬영한 영상 내에 사용자의 다리와 유사한 형태의 물체를 사용자의 다리로 인식하여 사용자의 위치를 잘못 검출하는 오동작을 줄일 수 있다.As described above, according to the method and apparatus for tracking a user position according to the present invention, the leg candidates of the user are detected from the captured image, and the position of the leg is detected by removing a fixed object having a fixed position among the detected leg candidates. As a result, an object having a shape similar to that of the user's leg may be recognized as the user's leg in the captured image, thereby reducing a malfunction in which the user's position is incorrectly detected.

Claims (25)

위치 추적 장치에 부착된 카메라를 통해 촬영한 영상을 이용하여 사용자 위치를 추적하는 방법에 있어서,In the method for tracking the user's location using an image taken by the camera attached to the location tracking device, 상기 영상으로부터 상기 사용자의 다리 후보들을 검출하는 단계;Detecting leg candidates of the user from the image; 상기 검출된 다리 후보들의 고정 정도를 계산하여, 상기 다리 후보들 중 상기 계산된 고정 정도가 소정 값 이상인 고정 물체를 검출하는 단계; 및Calculating a fixed degree of the detected leg candidates and detecting a fixed object having the calculated fixed degree among the leg candidates equal to or greater than a predetermined value; And 상기 검출된 다리 후보들 중 상기 검출된 고정 물체를 제외한 나머지 다리 후보로부터 사용자의 다리의 위치를 검출하는 단계를 포함하는 것을 특징으로 하는 사용자 위치 추적 방법.Detecting the position of the user's leg from the remaining leg candidates other than the detected fixed object among the detected leg candidates. 제1항에 있어서, 상기 다리 후보의 고정 정도는The method of claim 1, wherein the degree of fixation of the leg candidate is 소정 시간동안 촬영된 영상에서 상기 다리 후보의 위치가 변화한 정도를 이 용하여 계산되는 것을 특징으로 하는 사용자 위치 추적 방법.And calculating the position of the leg candidate in the image photographed for a predetermined time. 제1항에 있어서, 상기 다리 후보의 고정정도는The method of claim 1, wherein the fixing degree of the leg candidate is 상기 다리 후보의 현재 위치와 예측 위치사이의 거리를 이용하여 계산되는 것을 특징으로 하는 사용자의 위치 추적 방법.And calculating the distance between the current position and the predicted position of the leg candidate. 제1항에 있어서, 상기 다리 후보의 고정정도는The method of claim 1, wherein the fixing degree of the leg candidate is 아래의 수학식에 의해 계산되는 것을 특징으로 하는 사용자 위치 추적 방법.User location tracking method characterized in that calculated by the following equation.
Figure 112005007273299-pat00012
,
Figure 112005007273299-pat00012
,
Figure 112005007273299-pat00013
Figure 112005007273299-pat00013
 (상기 수학식에서, Znt는 n번째 다리 후보의 위치의 공분산이며, zt는 상기 다리 후보의 현재 위치이며,
Figure 112005007273299-pat00014
는 상기 n번째 다리 후보의 위치의 예측 값이다.)( Wherein Z nt is the covariance of the position of the nth leg candidate, z t is the current position of the leg candidate,
Figure 112005007273299-pat00014
Is a predicted value of the position of the nth leg candidate.) 제1항에 있어서, 상기 검출된 다리 후보들은The method of claim 1, wherein the detected leg candidates are 확정후보영역과 잠재후보영역의 두 영역으로 나누어 저장되는 것을 특징으로 하는 사용자 위치 추적 방법.User location tracking method characterized in that the divided into two areas, the candidate area and the potential candidate area. 제5항에 있어서, 상기 다리 후보들을 검출하는 단계는6. The method of claim 5, wherein detecting the leg candidates 상기 영상으로부터 상기 사용자의 다리 후보들을 검출하는 단계;Detecting leg candidates of the user from the image; 상기 검출된 다리 후보가 상기 두 영역 중 어느 하나에 저장되어 있는지 확인하는 단계;Checking whether the detected leg candidate is stored in one of the two regions; 상기 검출된 다리 후보가 상기 두 영역 모두에 저장되어 있지 않은 경우 상기 검출된 다리 후보를 상기 잠재후보영역에 저장시키는 단계; 및Storing the detected leg candidate in the latent candidate region when the detected leg candidate is not stored in both regions; And 상기 검출된 다리 후보가 상기 잠재후보영역에 저장되어 있는 경우, 상기 다리 후보가 검출된 회수를 확인하여, 소정 회수 이상 검출된 경우 상기 다리 후보를 상기 확정후보영역에 저장시키는 단계를 포함하는 것을 특징으로 하는 사용자 위치 추적 방법.If the detected leg candidate is stored in the latent candidate area, checking the number of times the leg candidate is detected and storing the leg candidate in the determined candidate area when a predetermined number of times is detected. How to track your location. 제6항에 있어서,The method of claim 6, 상기 검출된 다리 후보가 상기 잠재후보영역에 저장되어 있는 경우, 상기 다리 후보가 검출된 회수 및 관측 시간 간격을 확인하여, 상기 검출 회수가 상기 소정 회수 미만이고 상기 관측 시간 간격이 소정 시간 이상인 경우에는 상기 다리 후보를 상기 잠재후보영역에서 제거하는 단계를 더 포함하는 것을 특징으로 하는 사용자 위치 추적 방법.When the detected bridge candidate is stored in the latent candidate area, the number of times the bridge candidate is detected and the observation time interval are checked, and when the number of detection is less than the predetermined number of times and the observation time interval is more than the predetermined time, And removing the leg candidate from the latent candidate area. 제1항에 있어서, 상기 다리 후보들을 검출하는 단계는The method of claim 1, wherein detecting the leg candidates 상기 위치 추적 장치의 움직임을 이용하여 상기 위치 추적 장치의 현재 위치를 검출하는 단계;Detecting a current position of the location tracking device by using the movement of the location tracking device; 상기 영상으로부터 다리 후보들을 검출하고, 상기 검출된 다리 후보들의 상기 카메라에 대한 상대 위치와 상기 검출된 위치 추적 장치의 현재 위치를 이용하여 상기 다리 후보들의 절대 위치를 검출하는 단계;Detecting leg candidates from the image, and detecting absolute positions of the leg candidates by using the detected leg candidates relative to the camera and the current position of the detected position tracking device; 상기 검출된 다리 후보들 중 관심 영역 밖에 위치하는 다리 후보들을 제거하고, 남은 다리 후보들에 각각에 대해 새로운 다리 후보인지 여부를 확인하는 단계;Removing leg candidates located outside the region of interest among the detected leg candidates, and checking whether the remaining leg candidates are new leg candidates for each of the remaining leg candidates; 상기 확인 결과, 새로운 다리 후보인 경우 상기 다리 후보의 위치를 초기화하고, 새로운 다리 후보가 아닌 경우 상기 다리 후보의 검출된절대 위치로 상기 다리 후보의 위치를 갱신하는 단계를 포함하는 것을 특징으로 하는 사용자 위치 추적 방법.And as a result of the checking, initializing the position of the leg candidate when the leg candidate is a new leg and updating the position of the leg candidate with the detected absolute position of the leg candidate when the leg candidate is not a new leg candidate. Location tracking method. 제8항에 있어서, 상기 다리 후보의 위치를 갱신하는 단계는9. The method of claim 8, wherein updating the position of the leg candidate is 확장 칼만 필터(extended Kalman filter)를 사용하여 수행되어지는 것을 특징으로 하는 사용자 위치 추적 방법.User location tracking method characterized in that it is performed using an extended Kalman filter. 제1항에 있어서, 상기 사용자의 다리 위치를 검출하는 단계는The method of claim 1, wherein detecting the leg position of the user comprises: 상기 검출된 다리 후보들 중 상기 검출된 고정 물체를 제거하는 단계; 및Removing the detected fixed object among the detected leg candidates; And 상기 제거 단계를 수행하고 남은 다리 후보들 중 사용자 다리의 이전 위치로 부터 가장 가까운 곳에 위치하는 다리 후보를 검출하는 단계를 포함하는 것을 특징으로 하는 사용자 위치 추적 방법.And detecting a leg candidate located closest to the previous position of the user leg among the remaining leg candidates after performing the removing step. 제1항에 있어서,The method of claim 1, 상기 위치 추적 장치를 상기 검출된 사용자 다리 위치까지 이동시키는 단계를 더 포함하는 것을 특징으로 하는 사용자 위치 추적 방법.Moving the position tracking device to the detected position of the user's leg. 제11항에 있어서, 상기 위치 추적 장치를 이동시키는 단계는The method of claim 11, wherein moving the location tracking device 상기 위치 추적 장치로부터 상기 검출된 사용자 다리 위치까지의 거리와 방향의 상대 오차를 이용하여 상기 위치 추적 장치의 이동 속도를 제어하는 것을 특징으로 하는 사용자 위치 추적 방법. And controlling the movement speed of the location tracking device by using a relative error between the location tracking device and the detected location of the user leg. 제1항 내지 제12항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for executing the method according to any one of claims 1 to 12 on a computer. 사용자 위치를 추적하는 장치에 있어서,A device for tracking a user's location, 상기 위치 추적 장치 주변의 영상을 촬영하는 카메라;A camera for capturing an image around the location tracking device; 상기 촬영된 영상으로부터 상기 사용자의 다리 후보들을 검출하는 후보검출부;A candidate detector for detecting leg candidates of the user from the captured image; 상기 사용자의 다리 후보들의 위치를 저장하는 메모리;A memory for storing the location of leg candidates of the user; 상기 검출된 다리 후보들의 위치를 상기 메모리에 저장시키는 메모리제어부;A memory controller configured to store the positions of the detected leg candidates in the memory; 상기 메모리에 저장된 다리 후보들의 고정 정도를 계산하여, 상기 다리 후보들 중 상기 계산된 고정 정도가 소정 값 이상인 고정 물체를 검출하는 고정물체검출부; 및A fixed object detector for calculating a fixed degree of the leg candidates stored in the memory and detecting a fixed object having the calculated fixed degree among the leg candidates equal to or greater than a predetermined value; And 상기 검출된 다리 후보들 중 상기 검출된 고정 물체를 제외한 나머지 다리 후보로부터 사용자의 다리의 위치를 검출하는 다리위치검출부를 포함하는 것을 특징으로 하는 사용자 위치 추적 장치.And a leg position detector for detecting a position of a leg of a user from the remaining leg candidates other than the detected fixed object among the detected leg candidates. 제14항에 있어서, 상기 다리 후보의 고정 정도는15. The method of claim 14, wherein the degree of fixation of the leg candidate is 소정 시간동안 촬영된 영상에서 상기 다리 후보의 위치가 변화한 정도를 이용하여 계산되는 것을 특징으로 하는 사용자 위치 추적 장치.The user position tracking device, characterized in that calculated using the degree of change in the position of the leg candidate in the image taken for a predetermined time. 제14항에 있어서, 상기 다리 후보의 고정정도는15. The method of claim 14, wherein the fixing degree of the leg candidate is 상기 다리 후보의 현재 위치와 예측 위치사이의 거리를 이용하여 계산되는 것을 특징으로 하는 사용자의 위치 추적 장치.And calculating the distance between the current position and the predicted position of the leg candidate. 제14항에 있어서, 상기 다리 후보의 고정정도는15. The method of claim 14, wherein the fixing degree of the leg candidate is 아래의 수학식에 의해 계산되는 것을 특징으로 하는 사용자 위치 추적 장치.User location tracking device, characterized in that calculated by the following equation.
Figure 112005007273299-pat00015
,
Figure 112005007273299-pat00015
,
Figure 112005007273299-pat00016
Figure 112005007273299-pat00016
 (상기 수학식에서, Znt는 n번째 다리 후보의 위치의 공분산이며, zt는 상기 다리 후보의 현재 위치이며,
Figure 112005007273299-pat00017
는 상기 n번째 다리 후보의 위치의 예측 값이다.)( Wherein Z nt is the covariance of the position of the nth leg candidate, z t is the current position of the leg candidate,
Figure 112005007273299-pat00017
Is a predicted value of the position of the nth leg candidate.) 제14항에 있어서, 상기 메모리는15. The method of claim 14, wherein said memory is 상기 검출된 다리 후보들의 위치를 확정후보영역과 잠재후보영역의 두 영역으로 나누어 저장하는 것을 특징으로 하는 사용자 위치 추적 장치.And the location of the detected leg candidates is divided into two areas, a finalized candidate area and a potential candidate area. 제18항에 있어서, 상기 메모리제어부는19. The apparatus of claim 18, wherein the memory controller 상기 검출된 다리 후보가 상기 메모리에 저장되어 있는지 확인하는 확인부; 및A confirmation unit to confirm whether the detected leg candidate is stored in the memory; And 상기 검출된 다리 후보가 상기 메모리에 저장되어 있지 않은 경우 상기 검출된 다리 후보를 상기 잠재후보영역에 저장시키고,If the detected leg candidate is not stored in the memory, the detected leg candidate is stored in the latent candidate area. 상기 검출된 다리 후보가 상기 잠재후보영역에 저장되어 있는 경우 상기 다 리 후보가 검출된 회수를 확인하여, 소정 회수 이상 검출된 경우 상기 다리 후보를 상기 확정후보영역에 저장시키는 영역관리부를 포함하는 것을 특징으로 하는 사용자 위치 추적 장치.And a region manager configured to check the number of times the leg candidate is detected when the detected leg candidate is stored in the latent candidate area, and to store the leg candidate in the determined candidate area when more than a predetermined number of times is detected. A user location tracking device. 제19항에 있어서, 상기 영역관리부는20. The method of claim 19, wherein the area management unit 상기 검출된 다리 후보가 상기 잠재후보영역에 저장되어 있는 경우, 상기 다리 후보가 검출된 회수 및 관측 시간 간격을 확인하여, 상기 검출 회수가 상기 소정 회수 미만이고 상기 관측 시간 간격이 소정 시간 이상인 경우에는 상기 다리 후보를 상기 잠재후보영역에서 제거하는 것을 특징으로 하는 사용자 위치 추적 장치.When the detected bridge candidate is stored in the latent candidate area, the number of times the bridge candidate is detected and the observation time interval are checked, and when the number of detection is less than the predetermined number of times and the observation time interval is more than the predetermined time, And removing the leg candidate from the latent candidate area. 제14항에 있어서, 상기 후보검출부는15. The method of claim 14, wherein the candidate detection unit 상기 위치 추적 장치의 움직임을 이용하여 상기 위치 추적 장치의 현재 위치를 검출하는 장치위치검출부;A device location detector for detecting a current location of the location tracking device by using the movement of the location tracking device; 상기 영상으로부터 다리 후보들을 검출하고, 상기 검출된 다리 후보들의 상기 카메라에 대한 상대 위치와 상기 검출된 위치 추적 장치의 현재 위치를 이용하여 상기 다리 후보들의 절대 위치를 검출하는 후보위치검출부;A candidate position detection unit for detecting leg candidates from the image and detecting absolute positions of the leg candidates using the detected leg candidates relative to the camera and the current position of the detected position tracking device; 상기 검출된 다리 후보들 중 관심 영역 밖에 위치하는 다리 후보들을 추출하는 영역확인부;An area checker configured to extract leg candidates located outside the region of interest among the detected leg candidates; 상기 검출된 다리 후보들 중 상기 검출된 관심 영역 밖의 다리 후보들을 제외한 나머지 다리 후보들 각각에 대해 새로운 다리 후보인지 여부를 확인하는 신규 후보확인부; 및A new candidate identification unit confirming whether each of the detected bridge candidates is a new bridge candidate for each of the remaining bridge candidates except for the bridge candidates outside the detected ROI; And 상기 확인 결과, 새로운 다리 후보인 경우 상기 다리 후보의 위치를 초기화하고, 새로운 다리 후보가 아닌 경우 상기 다리 후보의 검출된절대 위치로 상기 다리 후보의 위치를 갱신하는 위치갱신부를 포함하는 것을 특징으로 하는 사용자 위치 추적 장치.And as a result of the checking, a position update unit for initializing the position of the leg candidate in the case of a new leg candidate and updating the position of the leg candidate to the detected absolute position of the leg candidate if the leg is not a new leg candidate. User location tracking device. 제21항에 있어서, 상기 위치갱신부는The method of claim 21, wherein the position update unit 확장 칼만 필터(extended Kalman filter)를 이용하는 것을 특징으로 하는 사용자 위치 추적 장치.A user position tracking device using an extended Kalman filter. 제14항에 있어서, 상기 다리위치검출부는15. The method of claim 14, wherein the leg position detection unit 상기 검출된 다리 후보들 중 상기 검출된 고정 물체를 제외한 나머지 다리 후보들 중 사용자 다리의 이전 위치로부터 가장 가까운 곳에 위치하는 다리 후보를 검출하는 것을 특징으로 하는 사용자 위치 추적 장치.And a leg candidate located closest to a previous position of a user leg among the other leg candidates except the detected fixed object among the detected leg candidates. 사용자 위치를 추적하는 장치에 있어서,A device for tracking a user's location, 상기 위치 추적 장치 주변의 영상을 촬영하는 카메라;A camera for capturing an image around the location tracking device; 상기 촬영된 영상으로부터 상기 사용자의 다리 후보들을 검출하는 후보검출부;A candidate detector for detecting leg candidates of the user from the captured image; 상기 사용자의 다리 후보들의 위치를 저장하는 메모리;A memory for storing the location of leg candidates of the user; 상기 검출된 다리 후보들의 위치를 상기 메모리에 저장시키는 메모리제어부;A memory controller configured to store the positions of the detected leg candidates in the memory; 상기 메모리에 저장된 다리 후보들의 고정 정도를 계산하여, 상기 다리 후보들 중 상기 계산된 고정 정도가 소정 값 이상인 고정 물체를 검출하는 고정물체검출부;A fixed object detector for calculating a fixed degree of the leg candidates stored in the memory and detecting a fixed object having the calculated fixed degree among the leg candidates equal to or greater than a predetermined value; 상기 검출된 다리 후보들 중 상기 검출된 고정 물체를 제외한 나머지 다리 후보로부터 사용자의 다리의 위치를 검출하는 다리위치검출부; 및A leg position detection unit detecting a position of a leg of a user from the remaining leg candidates except the detected fixed object among the detected leg candidates; And 상기 위치 추적 장치를 상기 검출된 사용자 다리 위치까지 이동시키는 이동부를 더 포함하는 것을 특징으로 하는 사용자 위치 추적 장치.And a moving unit to move the position tracking device to the detected position of the user leg. 제24항에 있어서, 상기 이동부는The method of claim 24, wherein the moving unit 상기 위치 추적 장치의 위치로부터 상기 검출된 사용자 다리 위치까지의 거리와 방향의 상대 오차를 이용해 상기 위치 추적 장치의 이동 속도를 계산하는 것을 특징으로 하는 사용자 위치 추적 장치.And calculating a moving speed of the location tracking device by using a relative error of the distance and direction from the location of the location tracking device to the detected user leg location.
KR1020050011414A 2005-02-07 2005-02-07 User tracking method and apparatus KR100647321B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050011414A KR100647321B1 (en) 2005-02-07 2005-02-07 User tracking method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050011414A KR100647321B1 (en) 2005-02-07 2005-02-07 User tracking method and apparatus

Publications (2)

Publication Number Publication Date
KR20060090490A KR20060090490A (en) 2006-08-11
KR100647321B1 true KR100647321B1 (en) 2006-11-23

Family

ID=37571668

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050011414A KR100647321B1 (en) 2005-02-07 2005-02-07 User tracking method and apparatus

Country Status (1)

Country Link
KR (1) KR100647321B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101014531B1 (en) * 2009-12-30 2011-02-14 고려대학교 산학협력단 Leg detecting method using range sensor, moving robot and human follow driving method for moving robot using the same
US9239389B2 (en) 2011-09-28 2016-01-19 Samsung Electronics Co., Ltd. Obstacle sensor and robot cleaner having the same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101868894B1 (en) * 2011-12-19 2018-06-20 한국전자통신연구원 Object Tracking System and Method Using Robot
KR101646580B1 (en) 2015-01-22 2016-08-08 한국과학기술연구원 Device and method for detecting/tracking low-body part

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001184488A (en) 1999-12-27 2001-07-06 Matsushita Electric Ind Co Ltd Device and method for tracking figure and recording medium with recorded program therefor
KR20030072880A (en) * 2002-03-07 2003-09-19 삼성전자주식회사 Method and apparatus for tracking an object from video data
KR20060066975A (en) * 2004-12-14 2006-06-19 삼성전자주식회사 Human tracking apparatus and method thereof, and recording media and removing electronic system therefor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001184488A (en) 1999-12-27 2001-07-06 Matsushita Electric Ind Co Ltd Device and method for tracking figure and recording medium with recorded program therefor
KR20030072880A (en) * 2002-03-07 2003-09-19 삼성전자주식회사 Method and apparatus for tracking an object from video data
KR20060066975A (en) * 2004-12-14 2006-06-19 삼성전자주식회사 Human tracking apparatus and method thereof, and recording media and removing electronic system therefor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101014531B1 (en) * 2009-12-30 2011-02-14 고려대학교 산학협력단 Leg detecting method using range sensor, moving robot and human follow driving method for moving robot using the same
US9239389B2 (en) 2011-09-28 2016-01-19 Samsung Electronics Co., Ltd. Obstacle sensor and robot cleaner having the same

Also Published As

Publication number Publication date
KR20060090490A (en) 2006-08-11

Similar Documents

Publication Publication Date Title
US11561549B2 (en) Method of controlling mobile robot
Leigh et al. Person tracking and following with 2d laser scanners
US10970559B2 (en) People flow estimation device, people flow estimation method, and recording medium
US20180354132A1 (en) Moving robot and control method thereof
KR100877071B1 (en) Method and apparatus of pose estimation in a mobile robot based on particle filter
EP2495632B1 (en) Map generating and updating method for mobile robot position recognition
EP3002656A1 (en) Robot cleaner and control method thereof
US10156847B2 (en) Autonomous moving device
WO2016205951A1 (en) A system and a method for tracking mobile objects using cameras and tag devices
EP2410395B1 (en) System and method for real-time mapping of an indoor environment using mobile robots with limited sensing
CN108986138A (en) Method for tracking target and equipment
JP2007149088A (en) Own position recognition method for moving robot and its apparatus
Prassler et al. Tracking multiple moving objects for real-time robot navigation
KR100647321B1 (en) User tracking method and apparatus
CN106708037A (en) Autonomous mobile equipment positioning method and device, and autonomous mobile equipment
CN109465819A (en) Human body recognition system and human body recognition method
JPH0953939A (en) Method and system for measuring position of mobile vehicle
KR20200134502A (en) 3D human body joint angle prediction method and system through the image recognition
Sato et al. CAD-based object tracking with distributed monocular camera for security monitoring
JP4450306B2 (en) Mobile tracking system
Alt et al. Navigation and manipulation planning using a visuo-haptic sensor on a mobile platform
CN111176305A (en) Visual navigation method
Markelic et al. The driving school system: Learning basic driving skills from a teacher in a real car
Iannizzotto et al. Badge3D for visually impaired
Bellotto et al. Multisensor data fusion for joint people tracking and identification with a service robot

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121016

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131022

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141022

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151019

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20161018

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 12