KR20130139152A - 객체를 추적하는 방법 및 시스템 - Google Patents

객체를 추적하는 방법 및 시스템 Download PDF

Info

Publication number
KR20130139152A
KR20130139152A KR1020120147734A KR20120147734A KR20130139152A KR 20130139152 A KR20130139152 A KR 20130139152A KR 1020120147734 A KR1020120147734 A KR 1020120147734A KR 20120147734 A KR20120147734 A KR 20120147734A KR 20130139152 A KR20130139152 A KR 20130139152A
Authority
KR
South Korea
Prior art keywords
information
image information
tracking
position coordinates
camera
Prior art date
Application number
KR1020120147734A
Other languages
English (en)
Other versions
KR102029741B1 (ko
Inventor
양회성
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/907,215 priority Critical patent/US9239965B2/en
Publication of KR20130139152A publication Critical patent/KR20130139152A/ko
Application granted granted Critical
Publication of KR102029741B1 publication Critical patent/KR102029741B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Abstract

본 발명의 일실시예들은 영상 내 객체에 대해, 상기 객체가 보유하는 위치추적 장치를 통해 획득한 위치좌표를 조합시켜 표시 함으로써, 상기 객체가 이동하려는 지점으로의 추적을 가능하게 하는, 객체를 추적하는 방법 및 시스템에 관한 것이다.

Description

객체를 추적하는 방법 및 시스템{METHOD AND SYSTEM OF TRACKING OBJECT}
본 발명의 일실시예들은 영상 내 객체에 대해, 상기 객체가 보유하는 위치추적 장치를 통해 획득한 위치좌표를 조합시켜 표시 함으로써, 상기 영상 내의 객체의 이동에 대한 추적을 가능하게 하는, 객체를 추적하는 방법 및 시스템에 관한 것이다.
종래의 카메라를 이용한 객체 추적 모델은, 카메라로부터 수집된 이전 프레임의 데이터와 현재 프레임의 데이터를 실시간으로 비교 및 분석하고, 그 변화의 정도를 추출하여 영상처리를 통해 객체의 위치를 추적하는 방식이다.
하지만, 종래의 객체 추적 모델은, 실시간으로 그 정보를 처리하기에는 상당히 많은 계산 처리가 요구되는 한계가 있어 왔다. 또한, 종래의 객체 추적 모델은 영상 내에 객체가 겹치거나 해당 객체의 크기가 작을 때에는 객체를 분리하여 추적하는 것이 사실상 불가능하다는 문제점이 상존하고 있다.
따라서, 실시간으로 움직이는 복수의 객체에 대해, 그 영상 정보로부터 객체의 위치를 정확하게 추적할 수 있는 기술의 등장이 절실히 요구되고 있다.
본 발명의 일실시예는, 객체에 부착된 위치추적 장치로부터, 객체의 위치 관련 정보를 입력받고, 이를 상기 객체가 촬영된 영상 정보에 적용 함으로써, 상기 영상 내의 객체가 이동하는 위치를 정확하게 추적하는 것을 그 목적으로 한다.
또한, 본 발명은, 카메라의 영상 정보와, 위치추적 장치를 포함하는 객체의 실시간 이동 정보를 결합 함으로써, 객체의 현 위치를 신속하게 인지할 수 있게 하는 것을 목적으로 한다.
또한, 본 발명은 영상 정보 내 객체 간의 중첩 문제로 인해 복수의 객체에 대한 위치 추적이 어렵게 되는 종래의 문제를 해소하기 위해, 객체에 부착된 위치 추적 장치로부터, 객체의 위치 관련 정보를 입력받아, 영상 정보의 객체와 매핑하여, 각 객체에 대해 위치 추적하는 것으로 목적으로 한다.
상기의 목적을 이루기 위한, 객체를 추적하는 방법은, 영상 정보에서 객체를 추출하는 단계와, 상기 추출된 객체에 관한 위치좌표를 수신하는 단계, 및 상기 추출된 객체에 관한 정보와, 상기 수신된 위치좌표를 결합하여, 상기 객체에 대한 통합 위치 정보를 추적하는 단계를 포함 할 수 있다.
또한, 본 발명의 따른 객체 추적 시스템은, 영상 정보에서 객체를 추출하는 객체 추출부와, 상기 추출된 객체에 관한 위치좌표를 수신하는 위치 정보 수신부, 및 상기 추출된 객체에 관한 정보와, 상기 수신된 위치좌표를 결합하여, 상기 객체에 대한 통합 위치 정보를 추적하는 객체 추적부를 포함할 수 있다.
본 발명의 일실시예에 따르면, 객체에 부착된 위치추적 장치로부터, 객체의 위치 관련 정보를 입력받고, 이를 상기 객체가 촬영된 영상 정보에 적용 함으로써, 상기 객체가 이동하는 위치를 정확하게 추적할 수 있다.
또한, 본 발명에 따르면, 카메라의 영상 정보와, 위치추적 장치를 포함하는 객체의 실시간 이동 정보를 결합 함으로써, 객체의 현 위치를 신속하게 인지 시킬 수 있다.
또한, 본 발명에 의해서는, 객체에 부착된 위치 추적 장치로부터, 객체의 위치 관련 정보를 입력 받아, 영상 정보의 객체와 매핑 함으로써, 영상 정보 내 객체 간의 중첩 문제로 인해 복수의 객체에 대한 위치 추적이 어렵게 되는 종래의 문제를 해소할 수 있다.
도 1은 본 발명의 일실시예에 따른 객체 추적 시스템을 도시한 블록도이다.
도 2는 본 발명에 따른 좌표계에 객체의 위치 좌표를 매핑하는 일례를 도시한 도면이다.
도 3은 본 발명에 따른, 영상 정보 내 객체를 추적하는 일례를 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 객체를 추적하는 방법을 구체적으로 도시한 작업 흐름도이다.
이하, 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 다양한 실시예를 상세하게 설명하지만, 본 발명이 실시예에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 지속적으로 사용하는, '객체(object)'는 촬영 대상체로서, 예컨대 사람, 동물 등의 유기체, 움직이는 이동체 등 카메라의 시선 초점이 형성되는 외부체를 지칭할 수 있다. 특히, 본 명세서에서는 영상 정보에 포함되며, 정보 가치가 있는 물체를, 상기 객체로 의미할 수 있다.
예컨대, 도시 풍경을 촬영하는 카메라에 의해 생성되는 영상 정보에서의 객체는, 상기 영상 정보에서 일정한 면적을 점유하면서 도시의 거리를 걸어가는 도시민 일 수 있다. 해당 영상 정보에서 적은 면적을 점유하면서 먼 배경으로 고정되는 가로수, 가로등 등은, 객체로 지칭(추출)하지 않는다.
카메라를 통해 생성된 영상 정보에는, 주로 촬영 대상이 되는 주객체 이외에, 상기 주객체와 함께 촬영된 부객체 등을 포함할 수 있다.
이를 고려하여, 본 발명의 객체 추적 시스템에서는, 주객체, 부객체를 막론하고, 위치추적장치를 장착한 개별 객체로부터 위치 좌표를 입력 받고, 이를 분석 함으로써, 각 객체가 이동하는 경로를 추적하는 환경을 조성할 수 있게 한다.
도 1은 본 발명의 일실시예에 따른 객체 추적 시스템을 도시한 블록도이다.
도 1을 참조하면, 객체 추적 시스템(100)은 객체 추출부(110), 위치 정보 수신부(120) 및 객체 추적부(130)를 포함하여 구성할 수 있다. 또한, 객체 추적 시스템(100)은 실시예에 따라, 제어 처리부(140)를 더 포함하여 구성할 수도 있다.
우선, 객체 추출부(110)는 영상 정보에서 객체를 추출한다. 즉, 객체 추출부(110)는 카메라에 의해 생성된 영상 정보로부터, 상기 영상 정보가 포함하고 있는 객체를 식별하는 기능을 한다.
예컨대, 도시 풍경을 배경으로 하여 거리를 걷는 도시민 A를 중심으로 촬영되어 생성된 영상 정보로부터, 객체 추출부(110)는, 상기 도시민 A와, 상기 도시민 A와 동행인 도시민 B, 상기 도시민 A와 마주하여 걸어오는 도시민 C 등을 객체로 추출할 수 있다. 이때, 객체 추출부(110)는 상기 영상 정보에서 점유하는 면적이 적고 또한 위치가 고정되는 가로등, 가로수 등을, 정보 가치가 없는 물체로 판단하여 추출 대상에서 제외 시킬 수 있다.
영상 정보로부터 객체를 추출하는 기법은, 객체의 윤곽선 정보를 이용한 추출 방식, 객체의 주요 특징 점을 이용한 추출 방식, 3D 모델 기반 또는 영역 기반 추출 방식 등을 예시할 수 있고, 본 발명의 객체 추출부(110)는 이러한 공지의 기법들을 유효 적절하게 활용하여 영상 정보로부터 객체를 추출하게 된다.
위치 정보 수신부(120)는 상기 추출된 객체에 관한 위치좌표를 수신한다. 위치추적 장치로부터 위치 정보를 수신 받는 방법은, 예컨대 위치추적 장치 자체에서 좌표정보의 절대좌표를 계산하여 그 좌표 정보를 발송하는 방법과, 위치추적 장치는 단지 신호만 발생하고 발생된 신호를 복수의 수신장치(최소 1대 이상)로 신호를 수신하여 측량방법(예, 삼각측량법-시간, 각도, 신호세기 등 이용하거나 상기 방법을 복합으로 이용)을 이용하여 수신장치에서 위치를 계산하는 방법이 있을 수 있다.
또한, 위치정보를 요구하는 방법은, 예컨대 이벤트를 요청하여 수신받는 방법과, 위치추적 장치가 일정 시간간격으로 신호를 전송하는 방법이 있을 수 있다.
이하에서는 이벤트를 요청하고, 위치추적 장치에서 절대좌표를 발송하는 것에 대해서 설명한다. 단, 이는 설명의 편의를 위한 것으로 위치 정보를 획득하는 구성을 제약하는 것은 아니다.
예컨대, 위치 정보 수신부(120)는, 객체에 장착되는 위치추적 장치로부터 위치 관련 정보를 일정한 시간동안 복수 회 입력받고, 아래 설명하는 객체 추적부(130)에서, 상기 추출된 객체에 관한 정보(객체 정보)와 위치 정보 수신부의 위치 정보를 매핑하여 시간 경과에 따른 객체의 이동 양태를 확인할 수 있게 된다.
수신시간은 본 발명의 실시자에 의해 자유롭게 설정될 수 있고, 예컨대 객체추적요청의 발생 이후 정해진 주기 간격으로 설정될 수 있다.
위치추적 장치는 무선 통신을 비롯하여 위치를 추적할 수 있는 알고리즘을 이용하여 위치를 추적하는 장치일 수 있다.
위치추적 장치는 객체에 보유되어 장착될 수 있고, 예컨대 본 발명의 객체 추적 시스템에서의 객체추적요청 발생에 따라, 객체의 상기 위치좌표를 계산하게 된다.
객체의 위치좌표 수신과 관련한 일례로서, 위치 정보 수신부(120)는 상기 수신시간이 도래 함에 따라, 상기 객체에 보유되는 위치추적 장치로 이벤트 신호를 송출하고, 상기 이벤트 신호에 응답하여 상기 위치추적 장치에서 산출한, 상기 객체에 대한 위치좌표를, 수신하거나, 상기 위치 추적 장치가 일정한 시간 간격으로 위치 정보를 송신할 수 있다.
또한 상기 위치 추적 장치에서 신호를 발생하고 위치 정보 수신부(120)에서 신호를 검출하여 위치 정보를 계산하는 것을 더 포함 할 수 있다. 즉, 위치 정보 수신부(120)는 객체가 위치하는 지점에 대한 위치 관련 정보를 획득하는 기능을 한다.
예컨대, 앞서의 도시 풍경 관련의 영상 정보와 관련하여, 위치 정보 수신부(120)는 객체로 추출된 도시인 A, B, C의 위치추적 장치로부터 위치 정보를 직접 수신 받거나 위치 추적 장치로부터 발신된 신호를 검출하여 위치좌표를 산출할 수 있다. 또한, 객체 추적부(130)는, 상기 객체 추출부(110)에서 추출된 객체 정보와 상기 수신된 위치좌표를 이용하여, 상기 객체에 대한 통합 위치 정보를 추적한다. 즉, 객체 추적부(130)는, 카메라 데이터베이스(135)에서 상기 카메라가 설치된 설치위치를, 상기 카메라 위치좌표로서 검색하고, 상기 검색된 카메라 위치좌표를 기준점으로 하는 좌표계를, 상기 영상 정보 상에 설정하고, 상기 좌표계에서, 상기 객체 추출부(110)에서 추출된 객체의 위치정보를 설정하여, 상기 위치 정보 수신부(120)에 수신된 위치좌표를 매핑한다.
카메라 데이터베이스(135)는 카메라가 설치된 것으로 등록된 위치 좌표를 저장하는 수단으로, 예컨대 카메라를 설치한 설비 업체로부터 해당 카메라의 식별정보에 대응하는 위치 좌표를 입력받아 저장할 수 있다.
좌표계는 상기 영상 정보의 평면을 예컨대, 가로와 세로로 n 등분하고(상기 n은 자연수), 상기 등분에 따라 형성되는 접점 각각으로 임의의 좌표값을 할당하여 위치를 특정할 수 있게 하는 좌표계 일 수 있다. 예를 들어, 객체 추적부(130)는 카메라의 카메라 위치좌표를 원점으로 하여, 복수의 가로와 세로의 등분선을 작성하여 2차원의 좌표계를 작성할 수 있다. 이는 2차원 좌표계로 한정하지 않고 3차원 좌표계로 확대할 수 있다.
상술에서, 상기 좌표계의 기준점을 카메라가 설치된 설치위치로 한다고 하였으나, 실시예에 따라서, 객체 추적부(130)는 영상 정보 내 특이점(예, 랜드마크 등) 또는 상기 생성된 좌표계의 임의 일점을 기준점으로 결정할 수 있다.
또한, 객체 추적부(130)는 상기 객체와 상기 위치 정보를 좌표계에 매핑하여 상기 객체에 대한 통합 위치 정보를 추적할 수 있다. 즉, 객체 추적부(130)는 상기 추출된 객체 정보에 상기 위치 정보 수신부의 위치 좌표를 할당하여 매핑함으로써 영상 내에서 이동하는 객체를 추적할 수 있고, 더하여 상기 수신된 위치 정보를 이용하여 상기 객체가 실제 이동하는 방향과 속도를 연산할 수 있다.
상기 영상 정보에서 객체를 추출하는 단계에 있어 다수의 영상 정보에서 객체를 추출하는 단계와 상기 추출된 다수의 객체에 관한 위치좌표를 결합하여 영상 정보에서 다수의 객체와 위치계산이 이루어진 다수의 객체 정보를 매핑하는 경우, 상기 다수의 객체에 대해 광역 영상을 구성할 수 있다.
또한, 상기 객체에 대한 통합 위치 정보를 추적하는 단계에 있어 상기 추출된 객체에 관한 정보와 상기 위치좌표를 결합하여 다차원 영상을 구성할 수 있다.
도 2는 본 발명에 따른 좌표계에 객체의 위치 좌표를 매핑하는 일례를 도시한 도면이다.
도 2에서는, 영상 정보로부터 객체 도시인 A, B, C가 추출되고, 위치 정보 수신부(120)에 의해, 상기 도시인 A, B, C 보유의 위치추적 장치 각각으로부터, 수신시간 #1과 수신시간 #2에, 2개의 위치좌표가 소정의 시간격을 가지고 순차적으로 수신되는 경우를 예시한다.
도 2에서와 같이, 객체 추적부(130)는, 카메라의 설치위치인 카메라 위치좌표(N 34:00, E125:00)를 기준점으로 하여, 가로선(동경선)과 세로선(북위선)으로 등분되는 좌표계를, 영상 정보 상에 작성할 수 있다.
객체 도시인 A에 대해, 객체 추적부(130)는, 수신시간 #1에 수신된 위치좌표(N 33:05, E124:06)를 상기 좌표계에 매핑한다. 이후 객체 추적부(130)는 수신시간 #2에 수신된 위치좌표(N 33:06, E124:05)를 추적함으로써 객체의 이동상태를 영상을 통해 추적할 수 있다. 이에 더하여 상기 수신시간 #1과 수신시간 #2에 수신된 위치좌표 정보와 시간을 통해 도시인 A에 대한 궤적을 그릴 수 있고, 이동 방향과 이동 속도를 계산할 수 있다.
이후, 객체 추적부(130)는 좌표계에 매핑된, 상기 도시인 A와 연관된 복수의 위치좌표를 통해 관찰자는 도시인 A가 북서 방향으로, 일정 속도(이동 변화량/시간격)으로 이동하는 위치를 추적할 수 있다.
유사하게 객체 도시인 A와 동행인 객체 도시인 B에 대해, 객체 추적부(130)는, 수신시간 #1에 수신된 위치좌표(N 33:04, E124:05)와, 수신시간 #2에 수신된 위치좌표(N 33:05, E124:04)를, 상기 좌표계에 매핑한다.
이후, 객체 추적부(130)는 좌표계에 매핑된, 상기 도시인 B와 연관된 복수의 위치좌표를 통해 객체 추적부(130)는 도시인 B가 도시인 A과 동일 방향과 동일 속도로 함께 이동하는 위치를 추적할 수 있다.
영상 정보에서, 도시인 A와 반대에 위치하는, 객체 도시인 C에 대해, 객체 추적부(130)는, 수신시간 #1에 수신된 위치좌표(N 33:07, E123:09)와, 수신시간 #2에 수신된 위치좌표(N 33:05, E123:09)를, 상기 좌표계에 매핑한다.
이후, 객체 추적부(130)는 좌표계에 매핑된, 상기 도시인 C와 연관된 복수의 위치좌표를 통해 객체 추적부(130)는 도시인 C가 남쪽 방향으로, 상기 도시인 A, C 보다는 빠른 속도로 이동하는 위치를 추적할 수 있다.
이를 통해, 본 발명의 객체 추적 시스템은 객체에 부착된 위치추적 장치로부터, 객체의 위치 관련 정보를 입력받고, 이를 상기 객체가 촬영된 영상 정보에 적용 함으로써, 상기 객체가 현재 이동하는 위치에 대해 정확하게 추적할 수 있다.
실시예에 따라, 객체 추적 시스템(100)은, 도 1에서와 같이 제어 처리부(140)를 더 포함하여 구성할 수 있다.
제어 처리부(140)는 수신된 위치좌표를, 상기 객체와 연관하여 상기 영상 정보에 표시한다. 즉, 제어 처리부(140)는 위치 추적 시스템으로부터 수신되는 위치좌표를, 영상 정보에 포함하여 객체와 함께 표시되게 할 수 있다. 이를 통해 제어 처리부(140)는, 객체의 위치 관련 정보가, 상기 영상 정보를 보는 사용자에게 실시간으로 제공되도록 할 수 있다.
또한, 제어 처리부(140)는, 추적된 통합 위치 정보를, 상기 객체와 연관하여 상기 영상 정보에 별도의 기호, 그림(예, 화살표)으로 표시할 수 있다. 즉, 제어 처리부(140)는 객체에 대한 추적된 위치를 영상 정보에 포함하여 표시할 수 있다. 이 역시, 사용자로 하여금 특정 객체에 대해 추적된 위치를 용이하게 인지하게 할 수 있다.
도 3은 본 발명에 따른, 영상 정보 내 객체를 추적하는 일례를 나타내는 도면이다.
도 3(a)에서는 카메라(301)를 통해 생성된 영상 정보(302)로부터 객체를 추출하는 과정을 예시하고 있다. 객체 추적 시스템(100)은 영상 정보(302)에서 촬영 대상이 되는 이동체의 주객체(303)와 고정체의 부객체(304)를 추출하고, 추출된 객체 만을 나타내는 객체영상 정보(305)를 생성할 수 있다.
도 3(b)에서는 주객체(303)가 보유하고 있는 위치추적 장치(306)로부터, 주객체(303)에 관한 위치좌표를 수신하고, 좌표계(307)에 상기 복수의 위치좌표를 매핑하는 과정을 예시하고 있다. 객체 추적 시스템(100)은 카메라(301)가 설치된 카메라 위치좌표를 기준점으로 하는 좌표계(307)를 설정하고, 좌표계(307) 위에, 상기 수신된 복수의 위치좌표를 매핑할 수 있다. 여기서 상기 기준점은 카메라 위치좌표만으로 한정하지는 않는다.
이후, 객체 추적 시스템(100)은 좌표계(307)에 매핑된 복수의 위치좌표를 분석하여, 주객체(303)에 대한 위치를 추적하고, 추적 결과를 화살표(308)로 표시한다.
도 3(c)에서는, 영상 정보(302)와 주객체(303)에 대한 위치 추적 결과를 조합하여 나타내는 위치 추적 결과를 포함하는 영상 정보(309)를 예시한다.
이에 따라, 객체 추적 시스템(100)은 카메라로 수집된 영상 정보의 초기 프레임에서 이동하는 객체를 추출하여 좌표화하고, 객체의 좌표와 위치추적 장치로부터 획득한 위치 좌표를 조합하며, 그 이후에는 위치추적 장치로부터 획득하는 이동 좌표에 따라 영상 정보의 객체를 추적할 수 있게 된다.
이하, 본 발명의 실시예에 따른 객체 추적 시스템의 작업 흐름을 상세히 설명한다.
도 4는 본 발명의 일실시예에 따른 객체를 추적하는 방법을 구체적으로 도시한 작업 흐름도이다.
본 실시예에 따른 객체를 추적하는 방법은 상술한 객체 추적 시스템(100)에 의해 수행될 수 있다.
객체 추적 시스템(100)는 영상 정보에서 객체를 추출한다(410). 본 단계(410)는 카메라에 의해 생성된 영상 정보로부터, 상기 영상 정보가 포함하고 있는 객체를 식별하는 과정이다.
본 단계(410)에서 사용할 수 있는, 영상 정보로부터 객체를 추출하는 기법은, 객체의 윤곽선 정보를 이용한 추출 방식, 객체의 주요 특징 점을 이용한 추출 방식, 3D 모델 기반 또는 영역 기반 추출 방식 등 일 수 있다.
다음으로, 객체 추적 시스템(100)은 객체의 위치 추적 장치로부터 위치 정보를 수신한다(420). 본 단계(420)는, 객체에 장착되는 위치추적 장치로부터 위치 관련 정보를 입력받는 과정이다. 특히, 본 단계(420)에서의 객체 추적 시스템(100)은 시간 경과에 따른 객체의 이동 양태를 확인할 수 있게, 정해진 시간 간격으로 상기 위치 관련 정보를 복수 회 입력 받게 된다.
상기 객체의 위치좌표 수신과 관련하여, 객체 추적 시스템(100)은 상기 수신시간이 도래 함에 따라, 상기 객체에 보유되는 위치추적 장치로 이벤트 신호를 송출하고, 상기 이벤트 신호에 응답하여 상기 위치추적 장치에서 산출한, 상기 객체에 대한 위치좌표를, 수신하거나, 상기 위치 추적 장치가 일정한 시간 간격으로 위치 정보를 송신할 수 있다. 또한 상기 위치 추적 장치에서 신호를 발생하고 위치 정보 수신부(120)에서 신호를 검출하여 위치 정보를 계산하는 것을 더 포함 할 수 있다. 즉, 위치 정보 수신부(120)는 객체가 위치하는 지점에 대한 위치 관련 정보를 획득하는 기능을 한다. 또한, 객체 추적 시스템(100)은, 상기 영상 정보를 생성하는 카메라의 카메라 위치좌표와, 상기 수신된 복수의 위치좌표를 이용하여, 상기 객체에 대한 통합 위치 정보를 추적한다(430). 본 단계(430)는, 카메라 데이터베이스(135)에서 상기 카메라가 설치된 설치위치를, 상기 카메라 위치좌표로서 검색하고, 상기 검색된 카메라 위치좌표를 기준점으로 하는 좌표계를, 상기 영상 정보 상에 설정하며, 상기 좌표계 위에, 상기 수신된 복수의 위치좌표를 매핑하는 과정이다. 여기서 기준좌표는 카메라의 위치좌표만으로 한정하지는 않는다.
또한, 객체 추적 시스템(100)은 상기 좌표계에 매핑된 복수의 위치좌표를 분석하여, 상기 객체의 이동 방향 및 이동 속도 중 적어도 하나를 연산하여 상기 객체에 대한 통합 위치 정보를 추적할 수 있다.
즉, 본 단계(430)에서의 객체 추적 시스템(100)은 좌표계 상에서 위치좌표가 매핑되는 위치 변화와, 위치 변화량을 통해 상기 객체가 실제 이동하는 방향과 속도를 연산할 수 있다.
확장된 실시예에서 객체 추적 시스템(100)은 수신된 위치좌표를, 상기 객체와 연관하여 상기 영상 정보에 표시할 수 있다. 즉, 객체 추적 시스템(100)은 위치 추적 시스템으로부터 수신되는 위치좌표를, 영상 정보에 포함하여 객체와 함께 표시되게 할 수 있다. 이를 통해 객체 추적 시스템(100)은 객체의 위치 관련 정보가, 상기 영상 정보를 보는 사용자에게 실시간으로 제공되도록 할 수 있다.
또한, 객체 추적 시스템(100)은 추적된 통합 위치 정보를, 상기 객체와 연관하여 상기 영상 정보에 별도의 기호, 그림(예, 화살표)으로 표시할 수 있다. 즉, 객체 추적 시스템(100)은 객체에 대한 추적된 위치를 영상 정보에 포함하여 표시할 수 있다. 이 역시, 사용자로 하여금 특정 객체에 대해 추적된 위치를 용이하게 인지하게 할 수 있다.
본 발명에 따르면, 객체에 부착된 위치추적 장치로부터, 객체의 위치 관련 정보를 입력받고, 이를 상기 객체가 촬영된 영상 정보에 적용 함으로써, 상기 객체가 현재 이동하는 위치와 이동하고자 하는 위치를 정확하게 추적할 수 있다.
또한, 본 발명에 따르면, 카메라의 영상 정보에, 위치추적 장치를 포함하는 객체의 실시간 이동 정보를 결합 함으로써, 객체의 현 위치를 신속하게 인지 시킬 수 있다.
또한, 본 발명에 의해서는, 객체에 부착된 위치 추적 장치로부터, 객체의 위치 관련 정보를 입력 받아, 영상 정보의 객체와 매핑 함으로써, 영상 정보 내 객체 간의 중첩 문제로 인해 복수의 객체에 대한 위치 추적이 어렵게 되는 종래의 문제를 해소할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100 : 객체 추적 시스템
110 : 객체 추출부 120 : 위치 정보 수신부
130 : 객체 추적부 135 : 카메라 데이터베이스
140 : 제어 처리부

Claims (20)

  1. 영상 정보에서 객체를 추출하는 단계;
    상기 추출된 객체에 관한 위치좌표를 수신하는 단계; 및
    상기 추출된 객체에 관한 정보와, 상기 수신된 위치좌표를 결합하여, 상기 객체에 대한 통합 위치 정보를 추적하는 단계
    를 포함하는 영상 정보 내 객체를 추적하는 방법.
  2. 제1항에 있어서,
    다수의 영상 정보에서 다수의 객체를 추출하는 단계; 및
    상기 추출된 다수의 객체에 관한 위치좌표와 결합하여, 상기 다수의 객체에 대해 광역 영상을 구성하는 단계
    를 더 포함하는 영상 정보 내 객체를 추적하는 방법.
  3. 제1항에 있어서,
    상기 객체에 대한 통합 위치 정보를 추적하는 단계는,
    상기 추출된 객체에 관한 정보와, 상기 수신된 위치좌표를 결합하여, 다차원 영상을 구성하는 단계
    를 포함하여 영상 정보 내 객체를 추적하는 방법.
  4. 제1항에 있어서,
    상기 객체에 대한 통합 위치 정보를 추적하는 단계는,
    상기 영상 정보를 생성하는 카메라의 카메라 위치좌표를, 상기 추출된 객체에 관한 정보로서 검색하는 단계
    를 포함하는 영상 정보 내 객체를 추적하는 방법.
  5. 제4항에 있어서,
    상기 객체에 대한 통합 위치 정보를 추적하는 단계는,
    카메라 데이터베이스에서 상기 카메라가 설치된 설치위치를, 상기 카메라 위치좌표로서 검색하는 단계;
    상기 검색된 카메라 위치좌표를 기준점으로 하는 좌표계를, 상기 영상 정보 상에 설정하는 단계; 및
    상기 좌표계 위에, 상기 수신된 위치좌표를 매핑하는 단계
    를 더 포함하는 영상 정보 내 객체를 추적하는 방법.
  6. 제1항에 있어서,
    상기 객체에 대한 통합 위치 정보를 추적하는 단계는,
    상기 영상 정보 내 특이점을 기준점으로 하는 좌표계를, 상기 영상 정보 상에 설정하고, 상기 좌표계 위에, 상기 수신된 위치좌표를 매핑하는 단계
    를 포함하는 영상 정보 내 객체를 추적하는 방법.
  7. 제1항에 있어서,
    상기 객체에 대한 통합 위치 정보를 추적하는 단계는,
    상기 객체의 이동 방향 및 이동 속도 중 적어도 하나를 연산하여 상기 객체에 대한 통합 위치 정보를 추적하는 단계
    를 포함하는 영상 정보 내 객체를 추적하는 방법.
  8. 제1항에 있어서,
    상기 위치좌표를 수신하는 단계는,
    상기 객체에 보유되는 위치추적 장치와 연관하여 산출한, 상기 객체에 대한 좌표를, 상기 위치좌표로서 수신하는 단계
    를 포함하는 영상 정보 내 객체를 추적하는 방법.
  9. 제1항에 있어서,
    상기 수신된 위치좌표를, 상기 객체와 연관하여 상기 영상 정보에 표시하는 단계
    를 더 포함하는 영상 정보 내 객체를 추적하는 방법.
  10. 제1항에 있어서,
    상기 추적된 통합 위치 정보를, 상기 객체와 연관하여 상기 영상 정보에, 기호 및 그림 중 적어도 하나로 표시하는 단계
    를 더 포함하는 영상 정보 내 객체를 추적하는 방법.
  11. 영상 정보에서 객체를 추출하는 객체 추출부;
    상기 추출된 객체에 관한 위치좌표를 수신하는 위치 정보 수신부; 및
    상기 추출된 객체에 관한 정보와, 상기 수신된 위치좌표를 결합하여, 상기 객체에 대한 통합 위치 정보를 추적하는 객체 추적부
    를 포함하는 객체 추적 시스템.
  12. 제11항에 있어서,
    상기 객체 추출부에 의해 다수의 영상 정보에서 다수의 객체가 추출되는 경우,
    상기 객체 추적부는,
    상기 추출된 다수의 객체에 관한 위치좌표와 결합하여, 상기 다수의 객체에 대해 광역 영상을 구성하는
    객체 추적 시스템.
  13. 제11항에 있어서,
    상기 객체 추적부는,
    상기 추출된 객체에 관한 정보와, 상기 수신된 위치좌표를 결합하여, 다차원 영상을 구성하는
    객체 추적 시스템.
  14. 제11항에 있어서,
    상기 객체 추적부는,
    상기 영상 정보를 생성하는 카메라의 카메라 위치좌표를, 상기 추출된 객체에 관한 정보로서 검색하는
    객체 추적 시스템.
  15. 제14항에 있어서,
    상기 객체 추적부는,
    카메라 데이터베이스에서 상기 카메라가 설치된 설치위치를, 상기 카메라 위치좌표로서 검색하고, 상기 검색된 카메라 위치좌표를 기준점으로 하는 좌표계를, 상기 영상 정보 상에 설정하며, 상기 좌표계 위에, 상기 수신된 위치좌표를 매핑하는
    객체 추적 시스템.
  16. 제11항에 있어서,
    상기 객체 추적부는,
    상기 영상 정보 내 특이점을 기준점으로 하는 좌표계를, 상기 영상 정보 상에 설정하고, 상기 좌표계 위에, 상기 수신된 위치좌표를 매핑하는
    객체 추적 시스템.
  17. 제11항에 있어서,
    상기 객체 추적부는,
    상기 객체의 이동 방향 및 이동 속도 중 적어도 하나를 연산하여 상기 객체에 대한 통합 위치 정보를 추적하는
    객체 추적 시스템.
  18. 제11항에 있어서,
    상기 위치 정보 수신부는,
    상기 객체에 보유되는 위치추적 장치와 연관하여 산출한, 상기 객체에 대한 좌표를, 상기 위치좌표로서 수신하는
    객체 추적 시스템.
  19. 제11항에 있어서,
    상기 수신된 위치좌표를, 상기 객체와 연관하여 상기 영상 정보에 표시하는 제어 처리부
    를 더 포함하는 객체 추적 시스템.
  20. 제11항에 있어서,
    상기 추적된 통합 위치 정보를, 상기 객체와 연관하여 상기 영상 정보에, 기호 및 그림 중 적어도 하나로 표시하는 제어 처리부
    를 더 포함하는 객체 추적 시스템.
KR1020120147734A 2012-06-12 2012-12-17 객체를 추적하는 방법 및 시스템 KR102029741B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/907,215 US9239965B2 (en) 2012-06-12 2013-05-31 Method and system of tracking object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120062797 2012-06-12
KR1020120062797 2012-06-12

Publications (2)

Publication Number Publication Date
KR20130139152A true KR20130139152A (ko) 2013-12-20
KR102029741B1 KR102029741B1 (ko) 2019-10-10

Family

ID=49984554

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120147734A KR102029741B1 (ko) 2012-06-12 2012-12-17 객체를 추적하는 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102029741B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150118010A (ko) * 2014-04-11 2015-10-21 렉스젠(주) 객체 관리 시스템 및 그 방법
KR20160123404A (ko) * 2015-04-15 2016-10-26 (주)파슨텍 3차원 공간감지기와 영상분석을 융합한 감시시스템
US9842276B2 (en) 2015-10-29 2017-12-12 Samsung Sds Co., Ltd. System and method for analyzing personalized characteristics
KR20180062060A (ko) * 2016-11-30 2018-06-08 한화에어로스페이스 주식회사 영상 감시 시스템

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102261881B1 (ko) 2019-11-29 2021-06-04 연세대학교 산학협력단 스킵 코드를 이용한 효율적인 객체 검출 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100815920B1 (ko) * 2007-02-13 2008-03-21 주식회사 코웰테크 지피에스 위치정보 및 영상정보를 이용한 보안시스템 및이를 이용한 비인가체 감지방법
KR20110023472A (ko) * 2009-08-31 2011-03-08 주식회사 이미지넥스트 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
KR20110060342A (ko) * 2009-11-30 2011-06-08 에스케이 텔레콤주식회사 위치기반 서비스를 이용한 ｃｃｔｖ 카메라 장치와 안전관제 센터 서버, 그를 포함한 지능형 보안 시스템 및 그 방법
KR20110092502A (ko) * 2010-02-09 2011-08-18 중앙대학교 산학협력단 이동식 감시 및 추적 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100815920B1 (ko) * 2007-02-13 2008-03-21 주식회사 코웰테크 지피에스 위치정보 및 영상정보를 이용한 보안시스템 및이를 이용한 비인가체 감지방법
KR20110023472A (ko) * 2009-08-31 2011-03-08 주식회사 이미지넥스트 좌표맵을 이용한 팬틸트줌 카메라 기반의 객체 추적 장치 및 방법
KR20110060342A (ko) * 2009-11-30 2011-06-08 에스케이 텔레콤주식회사 위치기반 서비스를 이용한 ｃｃｔｖ 카메라 장치와 안전관제 센터 서버, 그를 포함한 지능형 보안 시스템 및 그 방법
KR20110092502A (ko) * 2010-02-09 2011-08-18 중앙대학교 산학협력단 이동식 감시 및 추적 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150118010A (ko) * 2014-04-11 2015-10-21 렉스젠(주) 객체 관리 시스템 및 그 방법
KR20160123404A (ko) * 2015-04-15 2016-10-26 (주)파슨텍 3차원 공간감지기와 영상분석을 융합한 감시시스템
US9842276B2 (en) 2015-10-29 2017-12-12 Samsung Sds Co., Ltd. System and method for analyzing personalized characteristics
KR20180062060A (ko) * 2016-11-30 2018-06-08 한화에어로스페이스 주식회사 영상 감시 시스템

Also Published As

Publication number Publication date
KR102029741B1 (ko) 2019-10-10

Similar Documents

Publication Publication Date Title
US10885721B2 (en) Method for detecting objects and localizing a mobile computing device within an augmented reality experience
US10499002B2 (en) Information processing apparatus and information processing method
US10462406B2 (en) Information processing apparatus and information processing method
TWI574223B (zh) 運用擴增實境技術之導航系統
US9239965B2 (en) Method and system of tracking object
WO2019242262A1 (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
US10229331B2 (en) Three-dimensional information calculation device, three-dimensional information calculation method, and autonomous mobile device
US20170337701A1 (en) Method and system for 3d capture based on structure from motion with simplified pose detection
CN109683135A (zh) 一种声源定位方法及装置、目标抓拍系统
KR102029741B1 (ko) 객체를 추적하는 방법 및 시스템
WO2018019272A1 (zh) 基于平面检测实现增强现实的方法及装置
US11290705B2 (en) Rendering augmented reality with occlusion
CN103996036A (zh) 一种地图数据采集方法及装置
KR20130123092A (ko) 실내 네비게이션 시스템 및 방법
CN106033601A (zh) 检测异常情形的方法和装置
US20180020203A1 (en) Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium
CN113910224B (zh) 机器人跟随的方法、装置及电子设备
US20130135446A1 (en) Street view creating system and method thereof
CN111400423B (zh) 基于多视图几何的智慧城市cim三维车辆位姿建模系统
CN112422653A (zh) 基于位置服务的场景信息推送方法、系统、存储介质及设备
KR102463698B1 (ko) 도로표지판의 위치정보 데이터베이스 구축 시스템 및 그 방법과 이를 이용한 차량의 위치 추정 장치 및 그 방법
KR101253644B1 (ko) 위치 정보를 이용한 증강 현실 콘텐츠 출력 장치 및 방법
CN112818866B (zh) 车辆定位的方法、装置及电子设备
KR20160039447A (ko) 스테레오 카메라를 이용한 공간분석시스템
US10735902B1 (en) Method and computer program for taking action based on determined movement path of mobile devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant