KR20120090866A - Tracking method of multiple objects using mobile device in augumented reality environment and system using the same - Google Patents
Tracking method of multiple objects using mobile device in augumented reality environment and system using the same Download PDFInfo
- Publication number
- KR20120090866A KR20120090866A KR1020120012971A KR20120012971A KR20120090866A KR 20120090866 A KR20120090866 A KR 20120090866A KR 1020120012971 A KR1020120012971 A KR 1020120012971A KR 20120012971 A KR20120012971 A KR 20120012971A KR 20120090866 A KR20120090866 A KR 20120090866A
- Authority
- KR
- South Korea
- Prior art keywords
- mobile device
- objects
- tracking
- server
- tracked
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
본 발명은 모바일 기기를 이용하는 증강현실 환경에서 복수 객체들을 인식하고 추적하는 방법에 관한 것이다. 보다 상세하게는, 본 발명은 모바일 기기에서 하나의 객체만을 인식하고, 서버 측 카메라에서 복수 객체들을 인식하며, 서버에서 인식한 객체들의 위치적 관계(Geometrical Relationship)를 산출하여 모바일 기기에 복수 객체들의 위치적 관계 정보를 전송함으로써 모바일 기기에서 실시간으로 복수 객체들을 추적할 수 있는 기술에 관한 것이다.The present invention relates to a method for recognizing and tracking a plurality of objects in an augmented reality environment using a mobile device. More specifically, the present invention recognizes only one object in a mobile device, recognizes a plurality of objects in a server-side camera, calculates a geometrical relationship of the objects recognized in the server, and calculates a plurality of objects in the mobile device. The present invention relates to a technology for tracking multiple objects in real time in a mobile device by transmitting positional relationship information.
최근 사용되는 모바일 기기들에는 카메라가 구비됨이 일반적이며, 이러한 모바일 기기를 통한 무선 통신 및 증강현실에 관한 이용이 증가 추세에 있다. Recently, mobile devices are generally equipped with a camera, and the use of wireless communication and augmented reality through such mobile devices is increasing.
특히, 실내 모바일 증강현실(AR, Augmented Reality) 환경 시스템에서는 특징 추출 및 매칭을 보다 심플하게 구현하기 위해 마커(Marker)를 이용하였다. 그러나, 복수의 마커를 이용한 객체 추적방법은 마커들이 카메라 화면에서 벗어나거나 다른 객체에 가려진 경우에는 추적하기 어려운 단점이 있다. 따라서, 자연 특징을 이용한 객체 추적 기법인 자연 특징 추적 방법이 마커 기반의 객체 추적 방법보다 활용 가능성이 높은 것으로 인식되고 있다.In particular, an AR (Augmented Reality) environment system uses a marker to more simply implement feature extraction and matching. However, an object tracking method using a plurality of markers has a disadvantage in that it is difficult to track when the markers are separated from the camera screen or hidden by other objects. Therefore, it is recognized that the natural feature tracking method, which is an object tracking method using natural features, is more likely to be used than the marker-based object tracking method.
이러한 자연 특징(Natural Features)을 이용한 3D 객체의 추적은 매우 높은 정확도를 가지고 있어 증강현실 환경에서 널리 적용되고 있으나, 높은 연산 성능이 필요하다. 높은 연산 성능이 필요하여, 제한된 연산 성능 및 작은 메모리 용량을 가지고 있는 모바일 기기에서는 복수의 3D 객체를 동시에 추적하는 것이 어렵다. The tracking of 3D objects using these natural features has very high accuracy and is widely applied in augmented reality environment, but high computational performance is required. Due to the high computational performance, it is difficult to track multiple 3D objects simultaneously on mobile devices with limited computational performance and small memory capacities.
이에 대한 대안으로, 종래 모바일 기기를 이용한 증강현실 환경에서는 서버-클라이언트 방식을 적용하여 모바일 기기의 한계를 해결하고자 하였다. 그 일례로 AR-PDA와 모바일 AR 프로젝터가 있었다.As an alternative to this, in the augmented reality environment using a conventional mobile device to solve the limitations of the mobile device by applying a server-client method. Examples include AR-PDA and mobile AR projectors.
R-PDA와 모바일 AR 프로젝터는 모바일 라디오 통신을 비디오 스트림으로 AR 서버에 전송하고, 서버는 상기 비디오 스트림에 포함된 이미지의 분석을 통해 3차원 객체를 인식하고 이를 다시 클라이언트로 전송하였다.The R-PDA and the mobile AR projector transmit the mobile radio communication to the AR server as a video stream, and the server recognizes the 3D object through analysis of the image included in the video stream and sends it back to the client.
그러나, 모바일 라디오 통신 네트워크 대역폭은 클라이어트 카메라의 이미지를 실시간으로 서버로 전송하기에는 충분하지 않았다. 더욱이 네트워크 대역폭의 부족은 객체 추적의 지연을 초래하였다. 특히, 충분한 네트워크 대역폭을 갖는 경우에도 모바일 기기의 카메라의 퀄리티(Quality)는 복수 객체들을 인식하는데 충분하지 않은 문제점이 있다.However, the mobile radio communication network bandwidth was not sufficient to transmit the image of the client camera to the server in real time. Moreover, the lack of network bandwidth caused delays in object tracking. In particular, even when the network bandwidth is sufficient, the quality of the camera of the mobile device is not sufficient to recognize a plurality of objects.
이러한 문제점을 극복하기 위해 이하에서 제시되는 본 발명에서는 서버에서 복수개의 객체를 추적한 정보를 모바일 기기로 전송하여 모바일 기기에서 모든 객체를 추적하게 하는 방법을 제시하고자 한다.In order to overcome this problem, the present invention proposed below provides a method of tracking all objects in a mobile device by transmitting information tracked by a plurality of objects in a server to a mobile device.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 서버는 서버 측 카메라를 이용하여 복수 객체들을 추적하고, 객체들의 위치적 관계를 산출하고, 모바일 기기에서는 하나의 객체를 추적하고, 서버에서 전송받은 위치적 관계 정보를 이용하여 모바일 기기에서 복수 객체들을 추적할 수 있는 모바일 기기의 복수 객체 추적 방법 및 이를 이용한 시스템을 제공하는 것을 목적으로 한다. The present invention has been made to solve the above problems, the server tracks a plurality of objects using a server-side camera, calculate the positional relationship of the objects, track one object in the mobile device, and transmits from the server An object of the present invention is to provide a method for tracking a plurality of objects of a mobile device and a system using the same, which can track a plurality of objects in a mobile device using the received positional relationship information.
상기 목적을 달성하기 위한 증강현실 환경에서 모바일 기기가 적어도 하나 이상의 객체를 추적하는 방법에 있어서, 상기 서버 측 카메라와 연결된 서버가 복수 객체들을 추적(Tracking)하는 객체 추적단계; 및 카메라를 구비하는 모바일 기기가 상기 객체 추적단계에서 객체추적정보를 획득하여, 상기 서버가 추적하는 복수 객체들 중 적어도 하나의 객체를 추적하는 모바일 기기 추적단계를 포함하는 것을 특징으로 한다.A method for tracking at least one object by a mobile device in an augmented reality environment for achieving the above object, the method comprising: an object tracking step of tracking a plurality of objects by a server connected to the server-side camera; And a mobile device tracking step of acquiring object tracking information in the object tracking step by the camera, and tracking at least one object among a plurality of objects tracked by the server.
바람직하게는, 상기 모바일 기기는 상기 서버가 추적하는 객체들 중 어느 하나 또는 상기 서버가 추적하는 객체가 아닌 다른 객체를 추적하며, 상기 모바일 기기가 상기 다른 객체를 추적하는 경우, 상기 객체 추적 정보를 이용하여 상기 서버가 추적하는 복수 객체들 중 적어도 하나와 상기 다른 객체를 함께 추적하는 것을 특징으로 한다.Preferably, the mobile device tracks any one of the objects tracked by the server or an object other than the object tracked by the server. When the mobile device tracks the other object, the mobile device tracks the object tracking information. The at least one of the plurality of objects tracked by the server and the other object is tracked together.
바람직하게는, 상기 객체 추적 정보는 , 상기 추적된 객체들 상호간의 위치적 관계(Geometrical Relationship)에 관한 정보를 포함하며, 상기 위치적 관계에 관한 정보의 산출은 상기 서버에서 산출하며, 상기 모바일 기기는, 상기 모바일 기기가 추적한 상기 서버가 추적하는 객체들 중 어느 하나 또는 상기 서버가 추적하는 객체가 아닌 다른 객체와 상기 서버에서 추적한 객체들과의 상대적인 위치 관계를 상기 위치적 관계에 관한 정보를 기반으로 파악하여 상기 서버가 추적하는 복수 객체들 중 적어도 하나의 객체를 추적하는 것을 특징으로 한다.Preferably, the object tracking information includes information about a positional relationship between the tracked objects, and the calculation of the information on the positional relationship is calculated by the server. The information regarding the positional relationship may include a relative positional relationship between any one of the objects tracked by the mobile device tracked by the server or an object other than the object tracked by the server and the objects tracked by the server. It is characterized by tracking at least one object of the plurality of objects tracked by the server to determine based on.
바람직하게는, 상기 위치적 관계에 관한 정보는, 상기 추적된 객체들 간의 상대적인 거리, 상기 추적된 객체들의 이동 방향, 상기 추적된 객체들의 자세, 상기 추적된 객체들의 각도, 상기 추적된 객체들의 상대적인 위치에 관한 정보 중 적어도 어느 하나인 것을 특징으로 한다.Preferably, the information about the positional relationship, the relative distance between the tracked objects, the direction of movement of the tracked objects, the attitude of the tracked objects, the angle of the tracked objects, the relative of the tracked objects It is characterized in that at least one of the information about the location.
바람직하게는, 상기 위치적 관계에 관한 정보의 산출은, 상기 서버 측 카메라와 상기 모바일 기기의 카메라간에 사용되는 렌즈의 차이에 따른 내부 파라미터(Intrinsic Parameter)의 차이를 고려하여 산출한 것임을 특징으로 한다.Preferably, the information on the positional relationship is calculated by considering a difference in an intrinsic parameter according to a difference in a lens used between the server-side camera and the camera of the mobile device. .
바람직하게는, 상기 서버의 추적은 객체의 자연 특징을 추출하는 특징 추출 과정, 상기 추출된 자연 특징을 기술하는 특징 기술 과정 및 상기 기술된 자연 특징을 매칭하는 특징 매칭 과정을 포함하는 자연 특징 추적(Nature Feature Tracking) 방식인 것을 특징으로 한다.Preferably, the tracking of the server includes a feature extraction process for extracting the natural features of the object, a feature description process for describing the extracted natural features and a feature matching process for matching the described natural features ( Nature Feature Tracking) method.
바람직하게는, 상기 추적은, 상기 특징 추출 과정에서 추출하는 특징의 개수를 제한하는 것을 특징으로 한다.Preferably, the tracking is characterized by limiting the number of features to be extracted in the feature extraction process.
바람직하게는, 상기 추적은, 상기 특징 추출 과정에서 이미지 대 이미지 핵심포인트 추적(Image to Image based Keypoint Tracking) 방식을 이용하는 것을 특징으로 한다.Preferably, the tracking is characterized by using an image to image based keypoint tracking method in the feature extraction process.
바람직하게는, 상기 추적은, 상기 특징 기술 과정에서 시분할(Time Division) 방식을 이용하는 것을 특징으로 한다.Preferably, the tracking is characterized in that using the Time Division method in the feature description process.
상기 목적을 달성하기 위한 모바일 기기의 복수 개체 추적 시스템은, 증강현실 환경에서 모바일 기기가 복수 객체들을 추적하는 시스템에 있어서, 카메라를 구비하거나 카메라와 연결되어 있고, 복수 객체들을 추적(Tracking)하며, 상기 추적된 객체들의 추적과 관련된 정보인 위치적 관계(Geometrical Relationship) 정보를 산출하는 서버; 및 상기 서버가 추적하는 객체들 중 소정의 객체 또는 상기 서버가 추적하는 객체가 아닌 다른 객체를 추적하며, 상기 산출된 위치적 관계 정보를 기반으로 하여 상기 서버가 추적하는 객체들도 함께 추적하는 모바일 기기를 포함하는 것을 특징으로 한다.A multi-object tracking system of a mobile device for achieving the above object is a system for tracking a plurality of objects in a mobile device in an augmented reality environment, having a camera or connected to the camera, tracking a plurality of objects, A server that calculates geometrical relationship information, which is information related to tracking of the tracked objects; And a mobile object that tracks a predetermined object among the objects tracked by the server or an object other than the object tracked by the server, and tracks the objects tracked by the server based on the calculated positional relationship information. It characterized in that it comprises a device.
바람직하게는, 상기 서버 또는 모바일 기기 중 적어도 어느 한 곳에서의 추적은, 자연 특징 추적(Nature Feature Tracking) 방식인 것을 특징으로 한다.Preferably, the tracking in at least one of the server or the mobile device, characterized in that the nature feature tracking (Nature Feature Tracking) method.
바람직하게는, 상기 추적은, 상기 특징 추출 과정에서 이미지 대 이미지 핵심포인트 추적(Image to Image based Keypoint Tracking) 방식을 이용하는 것을 특징으로 한다.Preferably, the tracking is characterized by using an image to image based keypoint tracking method in the feature extraction process.
바람직하게는, 상기 추적은, 추출하는 특징의 개수를 제한하는 것을 특징으로 한다.Preferably, the tracking is characterized by limiting the number of features to be extracted.
바람직하게는, 상기 추적은, 시분할(Time Division) 방식을 이용하는 것을 특징으로 한다.Preferably, the tracking is characterized in that using a Time Division method.
바람직하게는, 상기 위치적 관계는 상기 추적된 객체들 간의 상대적인 거리, 상기 추적된 객체들의 이동 방향, 상기 추적된 객체들의 자세, 상기 추적된 객체들의 각도, 상기 추적된 객체들의 상대적인 위치 중 적어도 어느 하나인 것을 특징으로 한다.Advantageously, said positional relationship is at least one of a relative distance between said tracked objects, a direction of movement of said tracked objects, a posture of said tracked objects, an angle of said tracked objects, and a relative position of said tracked objects. It is characterized by one.
바람직하게는, 상기 위치적 관계의 산출은, 상기 서버에 구비되거나 연결된 카메라와 상기 모바일 기기의 카메라간에 사용되는 렌즈의 차이에 따른 내부 파라미터(Intrinsic Parameter)의 차이를 고려하여 산출한 것임을 특징으로 한다.Preferably, the calculation of the positional relationship is characterized in that it is calculated in consideration of the difference between the internal parameters (Intrinsic Parameter) according to the difference of the lens used between the camera provided or connected to the server and the camera of the mobile device. .
본 명세서의 기재내용으로부터 파악되는 본 발명은 서버와 모바일 기기 사이에 제한된 네트워크 대역폭이 형성되어도, 작은 지연으로 모바일 기기가 복수 객체들을 추적함이 가능하다. The present invention as understood from the description herein allows a mobile device to track multiple objects with a small delay even if a limited network bandwidth is formed between the server and the mobile device.
또한, 본 발명은 다른 객체에 가려진 객체를 정확하게 추적함이 가능하다.In addition, the present invention can accurately track an object obscured by another object.
또한, 본 발명은 탐지 및 추적시 객체들의 수에 따라 소모되는 시간의 크기가 크게 증가되지 않는다. In addition, the present invention does not significantly increase the amount of time consumed according to the number of objects in detection and tracking.
또한, 본 발명은 서버에서 복수 객체들의 위치적 관계를 연산하고 이를 모바일 기기로 전송하여 모바일 기기에서의 연산 부담을 감소시키고, 서버와 모바일 기기 사이에서 주고 받는 정보를 간략화하여 실시간으로 복수 객체들을 동시에 추적하는 것이 가능하다.In addition, the present invention calculates the positional relationship of the plurality of objects in the server and transmits it to the mobile device to reduce the computational burden on the mobile device, simplifying the information sent and received between the server and the mobile device at the same time to the plurality of objects in real time It is possible to trace.
도 1은 본 발명의 바람직한 실시예에 따른 모바일 기기의 복수 객체 추적 시스템의 구성도이다.
도 2는 본 발명에 따른 모바일 기기의 복수 객체 추적 시스템의 서버의 바람직한 예를 설명하는 블록도이다.
도 3은 본 발명에 따른 모바일 기기의 복수 객체 추적 시스템의 객체 추적부에서 이용하는 수정된 자연 특징 추적 방식을 설명하는 흐름도이다.
도 4는 본 발명에 따른 모바일 기기의 복수 객체 추적 시스템의 서버에서 복수 객체 추적을 수행한 모습를 나타낸 도이다.
도 5는 본 발명에 따른 모바일 기기의 복수 객체 추적 시스템의 서버에서 객체 수에 따라 처리에 소모되는 시간에 관한 결과를 나타낸 도이다.
도 6은 서버 및 모바일 기기에 대한 객체 상호간의 관계를 설명하기 위해 도시한 도이다.
도 7은 본 발명에 따른 모바일 기기의 복수 객체 추적 시스템에서 모바일 기기가 하나의 객체를 추적하는 예를 나타내는 예시도이다.
도 8은 본 발명에 따른 모바일 기기의 복수 객체 추적 시스템을 이용하여 모바일 기기가 복수의 객체를 추적하는 예를 나타내는 예시도이다.
도 9는 본 발명의 바람직한 실시예에 따른 모바일 기기의 복수 객체 추적 방법을 설명하는 순서도이다.1 is a block diagram of a multi-object tracking system of a mobile device according to an embodiment of the present invention.
2 is a block diagram illustrating a preferred example of a server of a multi-object tracking system of a mobile device according to the present invention.
3 is a flowchart illustrating a modified natural feature tracking method used in the object tracking unit of the multi-object tracking system of the mobile device according to the present invention.
4 is a diagram illustrating a state in which a plurality of object tracking is performed in a server of the plurality of object tracking systems of a mobile device according to the present invention.
FIG. 5 is a diagram illustrating a result of processing time according to the number of objects in a server of a multi-object tracking system of a mobile device according to the present invention.
6 is a diagram illustrating a relationship between objects of a server and a mobile device.
7 is an exemplary diagram illustrating an example in which a mobile device tracks one object in the multi-object tracking system of the mobile device according to the present invention.
8 is an exemplary diagram illustrating an example in which a mobile device tracks a plurality of objects using a system for tracking multiple objects of a mobile device according to the present invention.
9 is a flowchart illustrating a method of tracking multiple objects in a mobile device according to an embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하의 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the following description and the accompanying drawings, substantially identical components are denoted by the same reference numerals, and thus redundant description will be omitted. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
어떤 구성요소가 다른 구성요소에 “연결되어”있다거나 “접속되어”있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어”있다거나 “직접 접속되어”있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is referred to as being “connected” or “connected” to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may exist in between. Should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
도 1은 본 발명의 바람직한 실시예에 따른 모바일 기기의 복수 객체 추적 시스템의 구성도이다.1 is a block diagram of a multi-object tracking system of a mobile device according to an embodiment of the present invention.
도 1를 참조하여 모바일 기기의 복수 객체 추적 시스템(100)을 설명하면, 모바일 기기의 복수 객체 추적 시스템(100)은 서버 측 카메라(110), 서버(120) 및/또는 모바일 기기(130)를 포함한다. 여기에 추적의 대상이 되는 객체들(140)이 존재한다. Referring to FIG. 1, the multiple
서버 측 카메라(110)는 적어도 하나가 존재하며, 적어도 하나의 3차원 객체를 촬영한다.At least one server-side camera 110 exists and photographs at least one 3D object.
구체적으로 서버 측 카메라(110)는, 천장이나 벽면 또는 실내 어느 한 공간에 미리 설치되어 있을 수 있으며 설치할 수도 있다. 서버 측 카메라(110)는 회전 또는 이동할 수 있다. 서버 측 카메라는 서버에 구비되어 있을 수도 있다.In more detail, the server-side camera 110 may be previously installed in a ceiling, a wall, or an indoor space, or may be installed. The server side camera 110 may rotate or move. The server side camera may be provided in the server.
서버 측 카메라(110)는 서버(120)와 연결되어 촬영된 영상 또는 이미지를 서버(120)로 전송한다.The server side camera 110 is connected to the server 120 and transmits the captured image or image to the server 120.
도 2는 본 발명에 따른 모바일 기기의 복수 객체 추적 시스템의 서버의 바람직한 예를 설명하는 블록도이다.2 is a block diagram illustrating a preferred example of a server of a multi-object tracking system of a mobile device according to the present invention.
도 2를 참조하여 서버(120)에 관하여 설명하면, 서버(120)는 서버 측 카메라 제어부(122), 객체 추적부(124) 및/또는 위치적 관계 산출부(126)를 포함한다.Referring to FIG. 2, the server 120 includes a server-side camera controller 122, an object tracker 124, and / or a positional relationship calculator 126.
서버(120)는 노트북이나 데스크 컴퓨터 등 다른 기기와 유선 또는 무선 통신이 가능하며 연산이 가능한 기기가 될 것이다.The server 120 may be a device capable of performing wired or wireless communication with other devices such as a laptop or a desk computer.
서버 측 카메라 제어부(122)는 서버(120)에 연결된 서버 측 카메라(110)를 제어한다. 서버 측 카메라 제어부(122)는 서버 측 카메라(110)를 회전 또는 이동시키거나 줌(Zoom)을 조절하여 촬영되는 지역과 범위를 조절할 수 있다.The server side camera controller 122 controls the server side camera 110 connected to the server 120. The server-side camera controller 122 may adjust the photographed area and range by rotating or moving the server-side camera 110 or adjusting a zoom.
서버 측 카메라 제어부(122)는 서버 측 카메라(110)에서 촬영된 영상 또는 이미지를 전송받을 수 있다.The server-side camera controller 122 may receive an image or an image captured by the server-side camera 110.
객체 추적부(124)는 서버 측 카메라(110)로 촬영된 복수 객체들을 추적(Tracking)한다.The object tracking unit 124 tracks a plurality of objects photographed by the server side camera 110.
객체 추적부(124)가 복수 객체들의 정확한 실시간 추적을 위하여 자연 특징 추적 방식을 이용할 수 있다.The object tracking unit 124 may use a natural feature tracking method for accurate real time tracking of a plurality of objects.
자연 특징 추적 방식은 마커리스(Markerless) 기반의 추적(Tracking) 방식으로 자연 특징(Natural Feature)을 마커처럼 사용하여 인식 및 추적하는 방식이다.Natural feature tracking is a markerless-based tracking method that recognizes and tracks natural features as markers.
자연 특징 추적 방법은 일반적으로 특징 추출(feature extraction) 단계, 특징 기술(feature description) 단계, 특징 매칭(feature matching) 단계 및 자세 측정(Pose estimation) 단계로 구성된다. 자세 측정은 위치적 관계 산출부(126)에서 수행할 수 있다.The natural feature tracking method generally includes a feature extraction step, a feature description step, a feature matching step, and a pose estimation step. The posture measurement may be performed by the positional relationship calculator 126.
즉, 객체의 추적을 위해서는 객체를 탐지하는 탐지한 객체의 특징을 파악하고 매칭하는 것이 필요하다. 일반적으로 AR에서 탐지와 추적의 과정은 개념이 분리될 수도 있으나 추적을 위해서는 탐지가 필수적인바 본 발명에서는 추적에 탐지하는 과정까지 함께 기술하여 설명하도록 한다.That is, in order to track an object, it is necessary to identify and match features of the detected object that detects the object. In general, the detection and tracking processes in AR may be separated from concepts, but detection is essential for tracking. In the present invention, the detection and tracking processes are described together.
일반적인 자연 특징 추적 방법은 공지의 기술을 사용하는 것이 가능하므로 이에 대한 성세한 설명은 본 발명의 요지를 흐릴 수 있으므로 생략한다.Since the general natural feature tracking method can use a known technique, a detailed description thereof will be omitted since it may obscure the subject matter of the present invention.
다만, 본 발명의 바람직한 실시예에 따른 모바일 기기의 복수 객체 추적 시스템(100)은 연산 능력이 부족한 모바일 기기(130)에서 실시간으로 복수의 객체를 추적함에 목적이 있는바, 서버(120)에서 추적에 소모되는 시간을 감소시킬 필요성이 있다.However, the
따라서 객체 추적부(124)는 수정된 자연 특징 추적 방식을 이용한다.Accordingly, the object tracking unit 124 uses the modified natural feature tracking method.
도 3은 본 발명에 따른 모바일 기기의 복수 객체 추적 시스템의 객체 추적부(124)에서 이용하는 수정된 자연 특징 추적 방식을 설명하는 흐름도이다.3 is a flowchart illustrating a modified natural feature tracking method used in the object tracking unit 124 of the multi-object tracking system of the mobile device according to the present invention.
도 3을 참조하여 수정된 자연 특징 추적 방식에 관하여 설명하면, 일반적인 자연 특징 추적 방식에서 이미지 대 이미지 기반 핵심포인트 추적(Image to Image based Keypoint Tracking) 방식으로 핵심 포인트를 추적하고, 자연 특징 추출시 추출되는 특징의 개수를 제한하고, 시분할 접근 방식을 사용하며 이미지 대 이미지 방식을 사용한 추적 방식으로 객체들을 추적한다.The modified natural feature tracking method will be described with reference to FIG. 3. In the general natural feature tracking method, key points are tracked by an image to image based keypoint tracking method, and extracted when natural feature extraction is performed. It limits the number of features that are present, uses a time-sharing approach, and tracks objects with an image-to-image tracking method.
구체적으로 객체 추적부(124)는 추출하는 특징의 개수를 제한하여 프로세싱 및 연산에 소비되는 시간을 감소시킨다. 일반적인 자연 특징 추적 방식에서 특징 추출(Feature Extraction) 및 특징 기술 단계에서 소비되는 시간은 추출된 특징의 개수에 의존하는바, 추출된 특징의 개수가 적으면 프로세싱 및 연산에 소비되는 시간을 감소시킬 수 있다.Specifically, the object tracker 124 limits the number of features to be extracted to reduce the time spent on processing and computation. In the general natural feature tracking method, the time spent in the feature extraction and feature description stages depends on the number of extracted features. A small number of extracted features can reduce the time spent on processing and computation. have.
자연 특징 추적 방법에서 특징 매칭 단계에서 소비되는 시간도 객체의 개수에 크게 의존하는바 자연 특징 추적 방식에서 시분할(Time Divistion) 방식을 이용한다.In the natural feature tracking method, the time consumed in the feature matching step also greatly depends on the number of objects. In the natural feature tracking method, a time division method is used.
시분할 방식의 문제는 분할된 시간들 사이의 공백(Term)인데 이를 해결하기 위해 이미지 대 이미지(Image to Image) 방식을 사용할 수 있다.The problem of the time division method is a Term between divided times. To solve this problem, an Image to Image method can be used.
즉, 특징 추출 과정에서 이미지 대 이미지 방식을 기반으로 핵심포인트(Keypoint)를 추출한다.That is, the keypoint is extracted based on the image-to-image method in the feature extraction process.
이미지 대 이미지 방식은 객체의 개수에 무관하며 이미지의 해상도에 의한 영향을 받는바 객체 추적의 전체 프로세싱 시간에 큰 영향을 미치지 않는다. 이미지 대 이미지 방식은 공지된 기술을 이용할 수 있는바 상세한 설명은 생략한다.The image-to-image approach is independent of the number of objects and is affected by the resolution of the image, which does not significantly affect the overall processing time of object tracking. The image-to-image method may use well-known techniques, and thus a detailed description thereof will be omitted.
객체 추적부(124)가 객체들을 추적하는 방법으로 자연 특징 추적 방법을 이용할 때, 추출하는 특징의 개수를 제한하고, 시분할 방식을 이용하며 이미지 대 이미지 방식을 적용함으로써 추적에 소모되는 시간이 감소한다. 또한, 추적하는 객체의 수가 증가하여도 추적에 소모되는 시간이 크게 증가하지 않는다.When the object tracking unit 124 uses the natural feature tracking method to track objects, the time required for tracking is reduced by limiting the number of features to be extracted, using a time division method, and applying an image-to-image method. . Also, even if the number of objects to be tracked increases, the time consumed for tracking does not increase significantly.
객체 추적부(124)가 객체들을 추적하는 중, 서버 측 카메라(110)의 이동이나 모바일 카메라의 이동으로 추적의 대상으로 새로운 객체가 발생하는 경우, 새로운 객체도 추적한다.While the object tracking unit 124 tracks the objects, when a new object is generated for tracking by the movement of the server-side camera 110 or the movement of the mobile camera, the new object is also tracked.
객체 추적부(124)에서는 새로운 객체가 발생하기 이전에 추적되는 객체들에 대한 추적도 계속 이루어질 수 있다.The object tracking unit 124 may also continue tracking the objects that are tracked before the new object occurs.
도 4는 본 발명에 따른 모바일 기기의 복수 객체 추적 시스템의 서버에서 복수 객체들의 추적을 수행한 모습를 나타낸 도이다.4 is a diagram illustrating a tracking of a plurality of objects in the server of the multi-object tracking system of the mobile device according to the present invention.
구체적으로는 도 4는, 앞서 설명한, 객체 추적부(124)에서 객체를 추적하는 모습의 일예를 나타낸 것이다.Specifically, FIG. 4 illustrates an example of tracking an object in the object tracking unit 124 described above.
보다 구체적으로는 객체 추적부(124)는 일반적인 자연 특징 추적 방식에서 추출하는 특징의 개수 제한, 시분할 방식 이용 및 이미지 대 이미지 방식을 사용한 수정된 자연 특징 추적 방식을 이용하여 객체들을 추적한 모습의 일예를 나타낸 것이다.More specifically, the object tracking unit 124 is an example of tracking objects using the modified natural feature tracking method using the limit of the number of features extracted from the general natural feature tracking method, the time division method, and the image-to-image method. It is shown.
도 5는 본 발명에 따른 모바일 기기의 복수 객체 추적 시스템의 서버에서 객체 수에 따라 처리에 소모되는 시간에 관한 결과를 나타낸 도이다.FIG. 5 is a diagram illustrating a result of processing time according to the number of objects in a server of a multi-object tracking system of a mobile device according to the present invention.
도 5를 참조하면, 객체 추적부(124)가 수정된 자연 특징 추적 방식을 이용한 객체들의 추적에 소모되는 시간은 객체의 수에 크게 영향을 받지 않는 것을 볼 수 있다.Referring to FIG. 5, it can be seen that the time that the object tracking unit 124 consumes for tracking objects using the modified natural feature tracking method is not significantly affected by the number of objects.
구체적으로 5(a)의 경우, 트레인 객체의 수(Number of Trained Objects)를 증가시킴에 따라 소모되는 시간을 살펴 본 것이다. 트레인 객체의 수가 하나인 경우를 제외하고, 소모되는 시간은 트레인 객체의 수에 의존하지 않음을 볼 수 있다.Specifically, in case of 5 (a), the time consumed as the number of trained objects is increased is described. Except in the case of one train object, it can be seen that the time consumed does not depend on the number of train objects.
5(b)의 경우, 추적 객체의 수(Number of Tracking Objects)를 증가시킴에 따라 소모되는 시간을 살펴 본 것이다. 추적 객체의 수가 증가함에 따라 소모되는 시간이 조금씩 증가되는 것을 볼 수 있으나, 추적 객체 수 증가에 의한 소모되는 시간의 증가량이 작고 전체적인 소모되는 시간이 실시간으로 동작가능한 시간임을 알 수 있다.In case of 5 (b), the time consumed by increasing the number of tracking objects is examined. It can be seen that the time consumed increases little by little as the number of tracking objects increases, but the amount of increase in time consumed by the increase in the number of tracking objects is small and the overall time consumed can be operated in real time.
위치적 관계 산출부(126)는 서버(120)에서 추적된 객체들의 위치적 관계를 산출한다.The positional relationship calculator 126 calculates the positional relationship of the objects tracked by the server 120.
위치적 관계에 관한 정보는 객체 추적 정보 중 하나이다. 객체 추적 정보는 추적된 객체들 간의 위치적 관계에 관한 정보를 포함할 뿐만 아니라 카메라 포즈(Pose) 또는 추적을 위해 필요한 연산이 수행된 시간 등 객체 추적과 관련된 모든 정보를 포함한다.The information about the positional relationship is one of object tracking information. The object tracking information includes not only information about the positional relationship between the tracked objects, but also all information related to object tracking such as camera pose or time required for tracking.
가능한 많은 정보를 산출하고 모바일 기기로 전송할 경우, 모바일 기기에서 보다 정확한 복수 객체의 추적이 가능할 것이나, 정보를 무선 통신으로 전송해야 함에 따른 데이터 전송량, 서버에서 산출을 위해 소비되는 시간에 따른 지연 및 많은 정보를 처리하여 추적해야 하는 모바일 기기의 문제점이 발생할 수도 있다.If you calculate as much information as possible and send it to the mobile device, it will be possible to track multiple objects more accurately on the mobile device, but the amount of data transmission due to the transmission of the information by wireless communication, the delay according to the time consumed for calculation by the server, Problems with mobile devices that need to process and track information can also occur.
따라서, 모바일 기기의 하드웨어적 성능 및 무선 통신 환경 등을 고려하여 어느 정도의 정보를 전달할 것인지 결정할 수 있으며, 본 발명에서는 위치적 관계에 관한 정보를 중심으로 설명하겠다.Accordingly, it is possible to determine how much information to transfer in consideration of hardware capabilities of the mobile device, wireless communication environment, and the like, and the present invention will be described based on information on the positional relationship.
위치적 관계에 관한 정보만으로도 모바일 기기에서 직접 추적하지 않은 객체들에 대해서도 정확도 높은 추적이 가능하기 때문이다.This is because information about the positional relationship can accurately track objects that are not directly tracked by the mobile device.
위치적 관계란, 서버 측 카메라(110)에 촬영된 객체들 간의 상대적인 거리, 서버 측 카메라(110)에 촬영된 각각 객체들의 이동 방향, 서버 측 카메라(110)에 촬영된 각각 객체들의 자세, 서버 측 카메라(110)에 촬영된 각각 객체들의 각도, 서버 측 카메라(110)에 촬영된 객체들의 상대적인 위치 중 적어도 어느 하나일 수 있다.The positional relationship includes a relative distance between objects photographed by the server-side camera 110, a moving direction of each object photographed by the server-side camera 110, a posture of each object photographed by the server-side camera 110, and a server. At least one of an angle of each object photographed by the side camera 110 and a relative position of the objects photographed by the server-side camera 110.
바람직하게는 객체들 간의 상대적인 위치, 객체들의 자세 등 추적에 직접적으로 필요한 정보만을 최선적으로 산출하여 모바일 기기로 전송할 수 있다.Preferably, only the information necessary directly for tracking such as relative positions between objects and attitudes of the objects may be optimally calculated and transmitted to the mobile device.
위치적 관계 산추출부가 위치적 관계를 산출할 때, 서버 측 카메라(110)와 모바일 기기(130)의 카메라 간의 렌즈(Lenses)의 차이에 따른 내부 파라미터(Intrinsic Parameters)의 차이를 고려할 필요가 있다.When the positional relationship extractor calculates the positional relationship, it is necessary to consider a difference in internal parameters according to differences in lenses between the server-side camera 110 and the camera of the mobile device 130. .
내부 파라미터 차이 보정에 관하여, 수학식 1 내지 5를 참조하여 설명한다.Correction of the internal parameter difference will be described with reference to
여기서, Ks는 서버 측 카메라(110)의 내부 파라미터, Kc는 모바일 기기(130) 측 내부 파라미터이다. 내부 파라미터 차이에 의한 영향을 제거하기 위해 하기의 수학식 2와 같이 카메라 자세(Pose) P를 내부 파라미터 행렬 K와 외부 파라미터(Extrinsic Parameters) 행렬 (R│t)로 나눈다. 여기서 카메라 자세란 객체가 서버 측 카메라(110) 또는 모바일 기기(130)에 잡힌 영상을 의미한다.Here, K s is an internal parameter of the server-side camera 110, K c is an internal parameter of the mobile device 130 side. In order to remove the influence of the internal parameter difference, the camera pose P is divided into an internal parameter matrix K and an extrinsic parameter matrix (R | t) as shown in
도 6은 서버 및 모바일 기기에 대한 객체 상호간의 관계를 설명하기 위해 도시한 도이다.6 is a diagram illustrating a relationship between objects of a server and a mobile device.
도 6은 서버에서 복수 객체들(Rs ,1...n│ts ,1...n)에 관한 카메라 자세를 보여준다. 1부터 n까지는 n개의 객체가 있음을 나타낸다.6 shows a camera posture with respect to a plurality of objects R s , 1 ... n | t s , 1 ... n in the server. 1 to n indicate that there are n objects.
도 6과 하기 수학식 3을 참조하면, 객체들 간의 관계 δ(R'│t')는 내부 파라미터들뿐 아니라 서버 측 카메라(110) 자세와도 무관하다.Referring to FIG. 6 and Equation 3 below, the relationship δ (R '| t') between the objects is independent of the server side camera 110 pose as well as internal parameters.
객체들 간의 관계 δ(R'│t')는 내부 파라미터들 및 카메라 자세 및 서버 측 카메라(110)와 무관하다. 따라서, 모바일 기기(130)는 객체 1(Object 1)의 외부 행렬을 사용하여 객체 2(Object 2)의 카메라 자세를 산출할 수 있다. 이들의 관계식은 하기의 수학식 4로 표현할 수 있다.The relationship δ (R '| t') between the objects is independent of the internal parameters and the camera pose and the server side camera 110. Therefore, the mobile device 130 may calculate the camera pose of the
따라서, 하기의 수학식 5에 나타난 바와 같이, 수학식 4를 이용하여 객체 2의 카메라 자세를 산출하는 것이 가능하다.Therefore, as shown in
위치적 관계 산출부(126)는 산출된 정보를 모바일 기기(130)로 전송한다. 전송은 실시간으로 계속된다.The positional relationship calculator 126 transmits the calculated information to the mobile device 130. The transmission continues in real time.
즉, 서버(120)는 모바일 기기(130)가 정보를 원하거나 요청하는 한 계속적으로 실시간으로 객체들을 탐지 및 추적하고 위치적 관계를 산출하여 산출된 정보를 모바일 기기(130)로 전송한다.That is, the server 120 continuously detects and tracks objects in real time, calculates a positional relationship, and transmits the calculated information to the mobile device 130 as long as the mobile device 130 desires or requests the information.
모바일 기기(130)는 카메라를 구비하고 있는 기기가 된다. 모바일 기기(130)의 예로는 스마트 폰, 태블릿 PC, 휴대용 게임기, 디지털 카메라 등 카메라를 구비하고 있거나 구비할 수 있으며 휴대가 가능한 기기를 말한다.The mobile device 130 becomes a device having a camera. An example of the mobile device 130 refers to a device that may or may be equipped with a camera such as a smart phone, a tablet PC, a portable game machine, a digital camera, and is portable.
모바일 기기(130)는 객체를 추적한다. 여기서 모바일 기기가 추적하는 객체는 서버가 추적하는 개체에 포함되는 개체일 수 있으며, 서버가 추적하는 개체에 포함되지 않는 개체 일수도 있다.Mobile device 130 tracks the object. The object tracked by the mobile device may be an object included in the object tracked by the server, or may be an object not included in the object tracked by the server.
바람직하게는, 모바일 기기(130)는 하나의 객체를 추적한다. 이 경우, 복수의 개체를 추적하기에는 연산능력이 부족한 모바일 기기가 시간 지연 없이 실시간으로 객체를 추적할 수 있다.Preferably, mobile device 130 tracks one object. In this case, a mobile device lacking computing power to track a plurality of objects may track the objects in real time without time delay.
모바일 기기(130)는 종래 기술들을 이용하여 하나의 객체를 추적할 수 있으며, 수정된 자연 특징 추적 방식을 이용하여 하나의 객체를 추적할 수도 있다.The mobile device 130 may track one object using conventional techniques, and may track one object using a modified natural feature tracking scheme.
모바일 기기(130)는 서버(120)로부터 복수 객체들의 위치적 관계에 관한 정보를 전송받아 전송받은 정보를 이용하여 복수 객체들을 함께 추적할 수 있다.The mobile device 130 may receive information about the positional relationship of the plurality of objects from the server 120 and track the plurality of objects together using the received information.
즉, 모바일기기가 직접 추적하는 객체 이외에 서버가 추적하는 객체들의 위치 및 자세 등의 추적에 필요한 정보인 위치적 관계에 관한 정보를 이용하여 서버 측에서 추적하는 객체들에 대해서도 모바일 기기가 추적을 할 수 있다.That is, in addition to the objects directly tracked by the mobile device, the mobile device may track the objects tracked by the server using information on the positional relationship, which is information necessary for tracking the location and posture of the objects tracked by the server. Can be.
모바일 기기(130)는 복수 객체들을 동시에 추적하기에는 연산 성능이 부족하다. 따라서, 서버(120)와 같은 다른 장치에서 모바일 기기(130)에서 복수의 객체를 동시에 추적하기 위해 필요한 연산을 대신 수행하고 연산에 대한 정보를 모바일 기기(130)로 전송함으로써 모바일 기기(130)의 연상 성능을 보완할 수 있다.The mobile device 130 lacks computational power to track multiple objects simultaneously. Accordingly, other devices such as the server 120 may perform the operation required to simultaneously track a plurality of objects in the mobile device 130 and transmit the information about the operation to the mobile device 130 to perform the operation of the mobile device 130. It can compensate for associative performance.
모바일 기기(130)는 서버(120)로 모바일 기기(130)가 추적하는 하나의 객체에 관한 정보를 전송할 수 있다. 이 경우, 서버(120)는 모바일 기기(130)가 추적하는 객체를 중심으로 위치한 다른 객체들을 추적하고 위치적 관계를 산출하여 산출된 위치적 관계를 모바일 기기(130)로 전송할 수 있다.The mobile device 130 may transmit information about one object tracked by the mobile device 130 to the server 120. In this case, the server 120 may track other objects located around the object tracked by the mobile device 130, calculate a positional relationship, and transmit the calculated positional relationship to the mobile device 130.
모바일 기기(130)는 서버(120)로부터 위치적 관계에 관한 정보를 전송받아 전송된 위치적 관계에 관한 정보를 기반으로 모바일 기기(130)가 추적하는 하나의 객체와 다른 객체들 간의 관계를 파악할 수 있고 추적할 수 있다.The mobile device 130 receives the information about the positional relationship from the server 120 to determine the relationship between one object and the other objects tracked by the mobile device 130 based on the information on the positional relationship transmitted. Can and can be traced.
서버(120)의 정보를 이용하는 과정에서 모바일 기기(130)와 서버(120)의 내부 파라미터를 동기화시킬 필요가 있다.In the process of using information of the server 120, it is necessary to synchronize internal parameters of the mobile device 130 and the server 120.
앞서 설명한바 대로, 위치적 관계 산출부(126)에서 내부 파라미터의 차이를 고려하여 위치적 관계를 산출한 경우, 모바일 기기(130)는 산출된 위치적 관계를 이용하면 된다.As described above, when the positional relationship calculator 126 calculates the positional relationship in consideration of the difference between internal parameters, the mobile device 130 may use the calculated positional relationship.
다만, 위치적 관계 산출부(126)에서 내부 파라미터의 차이를 고려하지 않고 위치적 관계를 산출한 경우, 모바일 기기(130)에서 내부 파라미터의 차이를 고려하여 서버(120)에서 산출된 위치적 관계를 보정하여 이용할 수 있다.However, when the positional relationship calculation unit 126 calculates the positional relationship without considering the difference between the internal parameters, the positional relationship calculated by the server 120 in consideration of the difference between the internal parameters in the mobile device 130. Can be used to correct.
이러한 보정은 위치적 관계 산출부(126)에서 내부 파라미터의 차이를 고려하여 위치적 관계를 산출하는 방법과 동일하다. This correction is the same as the method of calculating the positional relationship in consideration of the difference of internal parameters in the positional relationship calculating unit 126.
도 7은 본 발명에 따른 모바일 기기의 복수 객체 추적 시스템에서 모바일 기기가 하나의 객체를 추적하는 예를 나타내는 예시도이다.7 is an exemplary diagram illustrating an example in which a mobile device tracks one object in the multi-object tracking system of the mobile device according to the present invention.
도 8은 본 발명에 따른 모바일 기기의 복수 객체 추적 시스템을 이용하여 모바일 기기가 복수 객체들을 추적하는 예를 나타내는 예시도이다.8 is an exemplary diagram illustrating an example in which a mobile device tracks a plurality of objects using a system for tracking multiple objects of a mobile device according to the present invention.
도 7을 참조하면, 모바일 기기(130)는 하나의 객체를 추적한다. 모바일 기기(130)는 데스크 PC 등의 서버(120)에 비하여 연산 능력이 상대적으로 낮을 수 있으나, 하나의 객체만을 추적하는바, 실시간으로 빠르게 추적이 가능하다.Referring to FIG. 7, the mobile device 130 tracks one object. The mobile device 130 may have a relatively low computational power as compared to the server 120 such as a desk PC. However, the mobile device 130 tracks only one object, and thus can be quickly tracked in real time.
도 8을 참조하면, 도 8(a)는 서버(120)가 복수 객체들의 추적 및 객체들 상호간의 위치적 상호관계 산출한 정보에 대한 결과를 나타낸 것이며, 도 8(b)는 모바일 기기(130)가 서버(120)에서 산출된 정보를 전송받고, 전송받은 정보를 이용하여 각 개체들을 추적하는 모습을 나타낸 것이다. Referring to FIG. 8, FIG. 8A illustrates a result of information calculated by the server 120 on the tracking of a plurality of objects and the positional correlation between the objects. FIG. 8B illustrates the mobile device 130. ) Receives the information calculated by the server 120, and tracks the entities using the received information.
본 발명에 따른 모바일 기기의 복수 객체 추적 시스템(100)은 제한된 네트워크 대역폭에서도 모바일 기기(130)가 복수 객체들을 추적함이 가능하다.In the
또한 본 발명에 따른 모바일 기기의 복수 객체 추적 시스템(100)은 복수 객체를 동시에 추적하기에는 연산 성능이 낮은 모바일 기기(130)에서 연산이 과대해지는 것을 방지하여 실시간으로 복수 객채들을 동시에 추적하는 것이 가능하다.In addition, the multiple
또한 본 발명에 따른 모바일 기기의 복수 객체 추적 시스템(100)은 종래 AR-PDA와 모바일 AR 프로젝터와 달리 모바일 기기(130)에서 서버(120)로 비디오 스트림을 전송할 필요가 없다. 즉, 본 발명은 모바일 기기(130)가 추적하는 하나의 객체의 정보를 서버(120)로 전송하고 서버(120)에서는 모바일기기로 위치적 관계 정보만 전송하면 되는바 통신 네트워크 대역폭의 부족에 따른 객체 추적의 지연을 해소할 수 있다.In addition, unlike the conventional AR-PDA and mobile AR projector, the
본 발명의 다른 바람직한 실시예에 따른 모바일 기기의 복수 객체 추적 시스템(100)은 앞서 설명한 서버(120)가 복수 개가 존재하며, 서버 측 카메라(110)도 복수 개가 존재하는 경우이다. 이 경우, 특정 공간내의 모든 객체들을 추적하고, 모든 3차원 객체들의 위치적 관계에 관한 정보를 산출하여 모바일 기기(130)로 전송한다. 모바일 기기(130)는 전송받은 정보를 이용하여 모든 객체들 또는 일부 객체를 추적할 수 있다.In the multiple
이러한 실시예의 경우, 특정 공간 내에 마련된 AR 전시관, AR 체험관 등에 유용하게 적용될 수 있으며, 개인적인 공간에서 활용할 수도 있다.Such an embodiment may be usefully applied to an AR exhibition hall, an AR experience hall, etc. provided in a specific space, or may be utilized in a personal space.
본 발명의 또 다른 바람직한 실시예에 따른 모바일 기기의 복수 객체 추적 시스템(100)은 복수의 모바일 기기(130)를 이용하는 경우이다. 각각의 모바일 기기(130)가 특정 객체를 추적하고 이 결과를 서버(120)로 전송한다. 전송된 결과를 이용하여 서버(120)는 추적된 특정 객체들간의 위치적 관계에 관한 정보를 연산한다. 서버(120)는 연산 결과를 다시 모바일 기기(130)로 전송하여 모바일 기기(130)에서 복수 객체들을 실시간 추적할 수 있도록 한다.According to another preferred embodiment of the present invention, the multiple
한 가정을 예로 들면, 가정의 구성원 각각이 카메라를 구비한 모바일 기기(130)인 휴대폰을 가지고 있는 경우가 많으며, 서버(120)가 될 수 있는 컴퓨터 또는 노트북도 한대 이상 가지고 있는 경우가 대부분이다.As an example, each member of a household has a mobile phone, which is a mobile device 130 having a camera, and most have a computer or a laptop, which may be a server 120.
따라서 본 발명의 실시예는 특정한 시설이 구비한 곳 외에도 가정에서도 적용될 수 있다.Therefore, the embodiment of the present invention can be applied in the home in addition to the specific facilities.
도 9는 본 발명에 따른 모바일 기기의 복수 객체 추적 방법을 설명하는 순서도이다.9 is a flowchart illustrating a method of tracking multiple objects in a mobile device according to the present invention.
도 9를 참조하여 모바일 기기의 복수 객체 추적 방법에 관하여 설명하면, 본 발명에 따른 모바일 기기의 복수 객체 추적 방법은 서버 측 카메라(110)가 적어도 하나의 객체를 촬영한다(S910 단계).Referring to FIG. 9, a method for tracking a plurality of objects of a mobile device is described. In the method of tracking a plurality of objects of a mobile device, the server-side camera 110 photographs at least one object (S910).
객체 추적부(124)는 촬영된 객체들을 수정된 자연 특징 추적 방법을 이용하여 추적한다(S920 단계).The object tracking unit 124 tracks the photographed objects using the modified natural feature tracking method (step S920).
위치적 관계 산출부(126)는 추적된 객체들의 위치적 관계를 산출한다(S930 단계).The positional relationship calculator 126 calculates the positional relationship of the tracked objects (S930).
서버에서 위치적 관계 산출시 서버 측 카메라(110)와 모바일 기기(130)의 카메라 간의 렌즈 차이에 따른 내부의 파라미터 차이를 고려하여 산출될 수 있다.When calculating the positional relationship in the server may be calculated in consideration of the internal parameter difference according to the lens difference between the camera of the server-side camera 110 and the camera of the mobile device 130.
또는 서버에서 위치적 관계를 산출하여 모바일 기기로 전송하면, 모바일 기기에서 내부의 파라미터 차이를 고려하여 전송받은 위치적 관계에 관한 정보를 보정하여 이용할 수도 있다.Alternatively, when the server calculates the positional relationship and transmits it to the mobile device, the mobile device may correct and use the information about the received positional relationship in consideration of internal parameter differences.
모바일 기기(130)는 하나의 객체를 탐지 및 추적한다(S940 단계).The mobile device 130 detects and tracks one object (S940).
모바일 기기(130)는 서버(120)로부터 산출된 위치적 관계 정보를 전송받고, 전송받은 정보를 기반으로 하여 모바일 기기(130)에서 탐지 및 추적한 하나의 객체 이외의 다른 객체들도 함께 추적한다(S950 단계).The mobile device 130 receives the positional relationship information calculated from the server 120 and tracks other objects besides one object detected and tracked by the mobile device 130 based on the received information. (Step S950).
본 발명에 따른 모바일 기기의 복수 객체 추적 방법은 제한된 네트워크 대역폭에서도 모바일 기기(130)가 복수 객체들을 추적함이 가능하다.In the method for tracking a plurality of objects of the mobile device according to the present invention, the mobile device 130 may track the plurality of objects even in a limited network bandwidth.
또한 본 발명에 따른 모바일 기기의 복수 객체 추적 방법은 복수 객체를 동시에 추적하기에는 연산 성능이 낮은 모바일 기기(130)에서 연산이 과대해지는 것을 방지하여 실시간으로 복수 객체들을 동시에 추적하는 것이 가능하다.In addition, the method for tracking a plurality of objects of a mobile device according to the present invention may simultaneously track a plurality of objects in real time by preventing an operation from being excessive in the mobile device 130 having low computational performance in order to simultaneously track a plurality of objects.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야할 것이다.It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.
Claims (16)
상기 서버 측 카메라와 연결된 서버가 복수 객체들을 추적(Tracking)하는 객체 추적단계; 및
카메라를 구비하는 모바일 기기가 상기 객체 추적단계에서 객체추적정보를 획득하여, 상기 서버가 추적하는 복수 객체들 중 적어도 하나의 객체를 추적하는 모바일 기기 추적단계를 포함하는 것을 특징으로 하는 모바일 기기의 복수 객체 추적 방법.In the augmented reality environment, the mobile device tracks at least one or more objects,
An object tracking step of tracking a plurality of objects by a server connected to the server-side camera; And
And a mobile device tracking step of tracking the at least one object among the plurality of objects tracked by the server by the mobile device having a camera obtaining the object tracking information in the object tracking step. Object tracking method.
상기 모바일 기기는 상기 서버가 추적하는 객체들 중 어느 하나 또는 상기 서버가 추적하는 객체가 아닌 다른 객체를 추적하며,
상기 모바일 기기가 상기 다른 객체를 추적하는 경우, 상기 객체 추적 정보를 이용하여 상기 서버가 추적하는 복수 객체들 중 적어도 하나와 상기 다른 객체를 함께 추적하는 것을 특징으로 하는 모바일 기기의 복수 객체 추적 방법.The method of claim 1,
The mobile device tracks any one of the objects tracked by the server or an object other than the object tracked by the server,
When the mobile device tracks the other object, using the object tracking information to track at least one of the plurality of objects tracked by the server and the other object together.
상기 객체 추적 정보는 , 상기 추적된 객체들 상호간의 위치적 관계(Geometrical Relationship)에 관한 정보를 포함하며,
상기 위치적 관계에 관한 정보의 산출은 상기 서버에서 산출하며,
상기 모바일 기기는, 상기 모바일 기기가 추적한 상기 서버가 추적하는 객체들 중 어느 하나 또는 상기 서버가 추적하는 객체가 아닌 다른 객체와 상기 서버에서 추적한 객체들과의 상대적인 위치 관계를 상기 위치적 관계에 관한 정보를 기반으로 파악하여 상기 서버가 추적하는 복수 객체들 중 적어도 하나의 객체를 추적하는 것을 특징으로 하는 모바일 기기의 복수 객체 추적 방법.The method of claim 2,
The object tracking information includes information about a geometrical relationship between the tracked objects.
The calculation of the information about the positional relationship is calculated by the server,
The mobile device may be configured to determine a relative positional relationship between any one of objects tracked by the server tracked by the mobile device or another object that is not tracked by the server and objects tracked by the server. And tracking at least one object of the plurality of objects tracked by the server by grasping based on the information about the plurality of objects.
상기 위치적 관계에 관한 정보는, 상기 추적된 객체들 간의 상대적인 거리, 상기 추적된 객체들의 이동 방향, 상기 추적된 객체들의 자세, 상기 추적된 객체들의 각도, 상기 추적된 객체들의 상대적인 위치에 관한 정보 중 적어도 어느 하나인 것을 특징으로 하는 모바일 기기의 복수 객체 추적 방법.The method of claim 3, wherein
The information about the positional relationship may include information about a relative distance between the tracked objects, a direction of movement of the tracked objects, a posture of the tracked objects, an angle of the tracked objects, and a relative position of the tracked objects. At least one of the plurality of object tracking method of the mobile device.
상기 위치적 관계에 관한 정보의 산출은, 상기 서버 측 카메라와 상기 모바일 기기의 카메라간에 사용되는 렌즈의 차이에 따른 내부 파라미터(Intrinsic Parameter)의 차이를 고려하여 산출한 것임을 특징으로 하는 모바일 기기의 복수 객체 추적 방법.The method of claim 3, wherein
The information regarding the positional relationship is calculated by considering a difference in internal parameters according to a difference in a lens used between the server-side camera and the camera of the mobile device. Object tracking method.
상기 서버의 추적은 객체의 자연 특징을 추출하는 특징 추출 과정, 상기 추출된 자연 특징을 기술하는 특징 기술 과정 및 상기 기술된 자연 특징을 매칭하는 특징 매칭 과정을 포함하는 자연 특징 추적(Nature Feature Tracking) 방식인 것을 특징으로 하는 모바일 기기의 복수 객체 추적 방법.The method of claim 1,
The tracking of the server includes a feature extraction process for extracting natural features of an object, a feature description process for describing the extracted natural features, and a feature matching process for matching the described natural features. Multiple object tracking method of a mobile device, characterized in that the scheme.
상기 추적은, 상기 특징 추출 과정에서 추출하는 특징의 개수를 제한하는 것을 특징으로 하는 모바일 기기의 복수 객체 추적 방법.The method according to claim 6,
The tracking is a plurality of object tracking method of the mobile device, characterized in that for limiting the number of features to be extracted in the feature extraction process.
상기 추적은, 상기 특징 추출 과정에서 이미지 대 이미지 핵심포인트 추적(Image to Image based Keypoint Tracking) 방식을 이용하는 것을 특징으로 하는 모바일 기기의 복수 객체 추적 방법.The method according to claim 6,
The tracking is a method of tracking multiple objects of a mobile device, characterized in that using the image to image based keypoint tracking method in the feature extraction process.
상기 추적은, 상기 특징 기술 과정에서 시분할(Time Division) 방식을 이용하는 것을 특징으로 하는 모바일 기기의 복수 객체 추적 방법.The method according to claim 6,
The tracking, multiple object tracking method of the mobile device, characterized in that using the time division (Time Division) method in the feature description process.
카메라를 구비하거나 카메라와 연결되어 있고, 복수 객체들을 추적(Tracking)하며, 상기 추적된 객체들의 추적과 관련된 정보인 위치적 관계(Geometrical Relationship) 정보를 산출하는 서버; 및
상기 서버가 추적하는 객체들 중 소정의 객체 또는 상기 서버가 추적하는 객체가 아닌 다른 객체를 추적하며, 상기 산출된 위치적 관계 정보를 기반으로 하여 상기 서버가 추적하는 객체들도 함께 추적하는 모바일 기기를 포함하는 것을 특징으로 하는 모바일 기기의 복수 객체 추적 시스템.In a system for tracking a plurality of objects in a mobile device in an augmented reality environment,
A server having a camera or connected to the camera, tracking the plurality of objects, and calculating positional relationship information which is information related to tracking of the tracked objects; And
A mobile device that tracks a predetermined object among the objects tracked by the server or an object other than the object tracked by the server, and tracks the objects tracked by the server based on the calculated positional relationship information. Multiple object tracking system of a mobile device comprising a.
상기 서버 또는 모바일 기기 중 적어도 어느 한 곳에서의 추적은, 자연 특징 추적(Nature Feature Tracking) 방식인 것을 특징으로 하는 모바일 기기의 복수 객체 추적 시스템.11. The method of claim 10,
Tracking in at least one of the server or the mobile device, characterized in that the natural feature tracking (Nature Feature Tracking) system, multiple object tracking system of the mobile device.
상기 추적은, 상기 특징 추출 과정에서 이미지 대 이미지 핵심포인트 추적(Image to Image based Keypoint Tracking) 방식을 이용하는 것을 특징으로 하는 모바일 기기의 복수 객체 추적 시스템.The method of claim 11,
The tracking is a multiple object tracking system of a mobile device, characterized in that using the image to image based keypoint tracking method in the feature extraction process.
상기 추적은, 추출하는 특징의 개수를 제한하는 것을 특징으로 하는 모바일 기기의 복수 객체 추적 시스템.The method of claim 11,
The tracking, multiple object tracking system of the mobile device, characterized in that to limit the number of features to extract.
상기 추적은, 시분할(Time Division) 방식을 이용하는 것을 특징으로 하는 모바일 기기의 복수 객체 추적 시스템.The method of claim 11,
The tracking is a multiple object tracking system of a mobile device, characterized in that using the Time Division method.
상기 위치적 관계는 상기 추적된 객체들 간의 상대적인 거리, 상기 추적된 객체들의 이동 방향, 상기 추적된 객체들의 자세, 상기 추적된 객체들의 각도, 상기 추적된 객체들의 상대적인 위치 중 적어도 어느 하나인 것을 특징으로 하는 모바일 기기의 복수 객체 추적 시스템.11. The method of claim 10,
The positional relationship may be at least one of a relative distance between the tracked objects, a moving direction of the tracked objects, a posture of the tracked objects, an angle of the tracked objects, and a relative position of the tracked objects. Multiple object tracking system of a mobile device.
상기 위치적 관계의 산출은, 상기 서버에 구비되거나 연결된 카메라와 상기 모바일 기기의 카메라간에 사용되는 렌즈의 차이에 따른 내부 파라미터(Intrinsic Parameter)의 차이를 고려하여 산출한 것임을 특징으로 하는 모바일 기기의 복수 객체 추적 시스템.11. The method of claim 10,
The calculation of the positional relationship may be performed by considering a difference in internal parameters according to a difference in a lens used between a camera provided or connected to the server and a camera of the mobile device. Object tracking system.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20110010846 | 2011-02-08 | ||
| KR1020110010846 | 2011-02-08 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120090866A true KR20120090866A (en) | 2012-08-17 |
| KR101273634B1 KR101273634B1 (en) | 2013-06-11 |
Family
ID=46883772
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120012971A KR101273634B1 (en) | 2011-02-08 | 2012-02-08 | Tracking Method of Multiple Objects using Mobile Device in Augumented Reality Environment and System Using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101273634B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9836128B2 (en) | 2012-11-02 | 2017-12-05 | Samsung Electronics Co., Ltd. | Method and device for providing information regarding an object |
| KR102378105B1 (en) * | 2021-10-13 | 2022-03-24 | (주)이노시뮬레이션 | Apparatus for estimating 3d position in augmented reality and method performing thereof |
| WO2022131465A1 (en) * | 2020-12-14 | 2022-06-23 | 삼성전자 주식회사 | Electronic device and method for displaying augmented reality content |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100958379B1 (en) * | 2008-07-09 | 2010-05-17 | (주)지아트 | Methods and Devices for tracking multiple 3D object, Storage medium storing the same |
| KR101360388B1 (en) * | 2008-08-19 | 2014-02-07 | (주)브이알엑스 | Devices and Methods for tracking multiple 3D object using coupled CAD model |
-
2012
- 2012-02-08 KR KR1020120012971A patent/KR101273634B1/en not_active IP Right Cessation
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9836128B2 (en) | 2012-11-02 | 2017-12-05 | Samsung Electronics Co., Ltd. | Method and device for providing information regarding an object |
| WO2022131465A1 (en) * | 2020-12-14 | 2022-06-23 | 삼성전자 주식회사 | Electronic device and method for displaying augmented reality content |
| KR102378105B1 (en) * | 2021-10-13 | 2022-03-24 | (주)이노시뮬레이션 | Apparatus for estimating 3d position in augmented reality and method performing thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101273634B1 (en) | 2013-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020259248A1 (en) | Depth information-based pose determination method and device, medium, and electronic apparatus | |
| US11145083B2 (en) | Image-based localization | |
| CN110310326B (en) | Visual positioning data processing method and device, terminal and computer readable storage medium | |
| CN109791608B (en) | Mapping summary and localization | |
| CN108700946B (en) | System and method for parallel ranging and mapping fault detection and recovery | |
| US10235592B1 (en) | Method and system for parallactically synced acquisition of images about common target | |
| JP6258953B2 (en) | Fast initialization for monocular visual SLAM | |
| US10154190B2 (en) | Balancing exposure and gain at an electronic device based on device motion and scene distance | |
| JP6456347B2 (en) | INSITU generation of plane-specific feature targets | |
| CN114185427A (en) | System and method for concurrent ranging and mapping | |
| KR20160003066A (en) | Monocular visual slam with general and panorama camera movements | |
| KR102398478B1 (en) | Feature data management for environment mapping on electronic devices | |
| US10991124B2 (en) | Determination apparatus and method for gaze angle | |
| JP6384856B2 (en) | Information device, program, and method for drawing AR object based on predicted camera posture in real time | |
| JP2019190974A (en) | Calibration device, calibration method and program | |
| JP6662382B2 (en) | Information processing apparatus and method, and program | |
| CN105809664B (en) | Method and device for generating three-dimensional image | |
| KR101273634B1 (en) | Tracking Method of Multiple Objects using Mobile Device in Augumented Reality Environment and System Using the same | |
| JP2011112507A (en) | Apparatus and method for three-dimensional position measurement | |
| US11176353B2 (en) | Three-dimensional dataset and two-dimensional image localization | |
| KR20200109799A (en) | Apparatus for estimating depth of object in image | |
| KR20230083714A (en) | Apparatus for providing framework of virtual interaction and data processing method thereof | |
| Holzmann et al. | Vision-based distance and position estimation of nearby objects for mobile spatial interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160610 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |