KR101975209B1 - Position tracing system using Affine transformation - Google Patents
Position tracing system using Affine transformation Download PDFInfo
- Publication number
- KR101975209B1 KR101975209B1 KR1020180161528A KR20180161528A KR101975209B1 KR 101975209 B1 KR101975209 B1 KR 101975209B1 KR 1020180161528 A KR1020180161528 A KR 1020180161528A KR 20180161528 A KR20180161528 A KR 20180161528A KR 101975209 B1 KR101975209 B1 KR 101975209B1
- Authority
- KR
- South Korea
- Prior art keywords
- affine transformation
- equation
- camera
- image
- quot
- Prior art date
Links
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 title claims abstract description 55
- 230000009466 transformation Effects 0.000 title claims abstract description 47
- 239000013598 vector Substances 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000013507 mapping Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000010008 shearing Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 2
- 230000002250 progressing effect Effects 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/0006—Affine transformations
-
- G06T3/02—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/006—Geometric correction
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Abstract
Description
본 발명은 아핀 변환을 이용한 진행 방향 추적 시스템에 관한 것으로서, 보다 상세하게는 카메라 시야 영상과 지도 시야 영상을 표시하고, 상기 카메라 시야 영상의 1 지점에서 2 지점으로 물체가 이동했을 때, 아핀 공간의 아핀 변환 방정식을 이용하여, 물체의 위치를 추적하여 상기 지도 시야 영상에 물체의 위치를 아핀 변환하여 표시하는 아핀 변환을 이용한 진행 방향 추적 시스템에 관한 것이다.More particularly, the present invention relates to a tracking system for tracking a moving direction using an affine transformation, and more particularly, to a tracking system for tracking a moving direction of a moving object, The present invention relates to a moving direction tracking system using an affine transformation for tracking an object position using an affine transformation equation to affine transform the position of an object on the map view image.
종래 특허인 한국등록특허 제1780929호는 물체의 움직임을 센서로부터 검지하여 영상검지용 카메라 및 PTZ(Pan/Tilt/Zooming) 카메라를 작동시켜 이동경로의 확인 추적 및 확대 저장 등을 수행하기 위한 이동 물체 자동 추적 시스템으로서 비가 오는 환경에서 CCTV 카메라 영상에 대하여 물체 검출 및 추적 알고리즘과 Haar-like 특징을 이용한 Adaboost 학습 알고리즘 방법을 이용하여 검출하는 장치이다.Korean Patent No. 1780929, which is a conventional patent, discloses a moving object for detecting movement of an object from a sensor and operating an image detecting camera and a PTZ (Pan / Tilt / Zooming) It is an automatic tracking system that uses CCTV camera image detection and tracking algorithm and Adaboost learning algorithm using Haar-like feature in non-lighting environment.
그러나 카메라 시야 영상이 카메라의 추적에 의해 이를 알고리즘화하여 표시할 수는 있지만 사용자가 편리하게 확인할 수 있는 지도 시야 영상으로 변환하기 어려운 문제점이 있었다.However, there is a problem that it is difficult to convert the camera view image into a map view image which can be easily identified by the user although the camera view image can be displayed as an algorithm by tracking the camera.
한국공개특허 제2015-0081732호는 적어도 제1 피티지(PTZ) 카메라와 제2 피티지(PTZ) 카메라를 포함한 이동-물체 추적 시스템에 있어서, 상기 제1 피티지(PTZ) 카메라와 상기 제2 피티지(PTZ) 카메라 각각은 광각 카메라 모듈 및 줌(zoom) 카메라 모듈을 구비하고, 상기 제1 피티지(PTZ) 카메라는, 광각 카메라 모듈로부터의 광각 영상에 의하여 이동 물체의 출현 위치를 검출하고, 줌(zoom) 카메라 모듈로부터의 줌 영상에 의하여 상기 이동 물체의 특징 정보를 구하며, 구해진 특징 정보에 따라 상기 이동 물체를 추적하면서 상기 이동 물체의 위치 정보를 지속적으로 발생시키고, 상기 제2 피티지(PTZ) 카메라는, 상기 제1 피티지(PTZ) 카메라로부터의 상기 이동 물체의 특징 정보와 위치 정보에 따라 동작하는 시스템이다.Korean Patent Laid-Open Publication No. 2015-0081732 discloses a moving-object tracking system including at least a first PTZ camera and a second PTZ camera, wherein the first PTZ camera and the second PTZ camera, Each PTZ camera includes a wide angle camera module and a zoom camera module, and the first PTZ camera detects the position of the moving object by the wide angle image from the wide angle camera module A zoom camera module for obtaining the feature information of the moving object by the zoom image from the zoom camera module, continuously generating the position information of the moving object while tracking the moving object according to the obtained feature information, (PTZ) camera is a system that operates according to the feature information and position information of the moving object from the first PTZ camera.
그러나 이러한 종래 발명도 이동 물체의 위치 정보를 지속적으로 발생시켜야하는 문제가 있고, 광각 카메라 모듈로 부터의 영상을 변환하는 알고리즘 자체가 없어 사용자가 편리하게 이동 물체의 현재 위치를 파악할 수 없다.However, in the related art, there is a problem that the positional information of the moving object must be continuously generated, and there is no algorithm for converting the image from the wide angle camera module, so that the user can not conveniently grasp the current position of the moving object.
한국등록특허 제1096157호는 제1시야각을 갖는 제1카메라와; 상기 제1시야각 보다 작은 시야각을 갖으며 줌인, 팬, 틸트 조정이 가능한 제2카메라와; 상기 제1카메라로부터 출력되는 메인영상정보로부터 이동물체의 유무를 판단하고, 상기 제1카메라로부터 출력되는 메인영상정보를 통해 이동물체가 있다고 판단되면, 상기 메인영상정보로부터 이동물체의 위치정보를 추출하고, 추출된 위치정보를 이용하여 상기 제2카메라로부터 상기 이동물체를 추적하여 촬상할 수 있도록 상기 제2카메라의 구동을 제어하는 감시 처리부;를 구비하고, 상기 제1카메라는 상기 제1시야각이 180 내지 200°인 어안렌즈가 적용되고, 상기 제2카메라는 시야각이 40 내지 60°인 렌즈가 적용되며, 상기 제1카메라는 촬상방향이 고정되어 있고, 상기 감시처리부는 상기 제1카메라에 의해 촬상된 메인 영상 영역 내에 상기 제2카메라에 의해 촬상된 서브 영상을 합성하고, 합성된 영상을 출력장치를 통해 출력하도록 되어 있고, 상기 감시처리부는 상기 제2카메라의 촬상 방향 및 줌 인/아웃을 제어하는 카메라 구동부와; 상기 제1카메라로부터 출력되는 메인 영상으로부터 이동물체가 있는지에 대한 움직임 정보를 검출하는 움직임 검출부와; 상기 움직임 검출부에서 이동물체가 있다는 움직임 검출정보가 제공되면, 제공된 움직임 검출정보를 이용하여 상기 움직임 검출 영역정보에 대응하는 관심영역정보를 추출하고, 추출된 관심영역에 대응되게 상기 제2카메라가 촬상할 수 있도록 상기 카메라 구동부를 제어하는 ROI선택부와; 상기 제1카메라에서 촬상된 메인영상 영역 내에 상기 관심영역 위치를 표기하고, 상기 관심영역에 대응되게 상기 제2카메라에 의해 촬상된 상기 서브 영상을 상기 메인영상 내에 맵핑시킨 합성영상을 생성하는 맵핑처리부와; 상기 맵핑 처리부에서 맵핑처리된 합성 영상을 전송대상 출력장치로 송출하는 영상전송 처리부;를 구비하는 것을 특징으로 하는 듀얼 카메라를 이용한 실시간 감시장치를 제공한다.Korean Patent No. 1096157 discloses a camera having a first camera having a first viewing angle; A second camera having a viewing angle smaller than the first viewing angle and capable of zooming in, pan and tilting; Determining whether there is a moving object based on the main image information output from the first camera, extracting position information of the moving object from the main image information if it is determined that there is a moving object through the main image information output from the first camera And a monitoring processor for controlling the driving of the second camera so that the moving object can be tracked and captured from the second camera using the extracted position information, wherein the first camera has the first viewing angle Wherein the second camera is a lens having a viewing angle of 40 to 60 degrees, the first camera has a fixed imaging direction, and the monitoring processing unit has a first camera Synthesizes sub images captured by the second camera in the captured main image area and outputs the synthesized image through an output device, The surveillance processing unit includes a camera driver for controlling the imaging direction and zoom in / out of the second camera; A motion detector for detecting motion information on whether a moving object exists from the main image output from the first camera; Extracting the region of interest information corresponding to the motion-detection region information using the provided motion-detection information when the motion detection section provides motion detection information indicating that the moving object exists, An ROI selection unit for controlling the camera driving unit so that the camera driving unit can be operated; A mapping processor for mapping the position of the ROI within the main image region captured by the first camera and generating a composite image in which the subimage captured by the second camera is mapped in the main image, Wow; And a video transmission processor for transmitting the composite image mapped by the mapping processor to the transmission object output device.
그러나 카메라의 시야각에 제한이 있어 정확하게 이동 물체의 현재 위치를 파악할 수 없는 문제가 있다.However, there is a problem that the present position of the moving object can not be accurately grasped because the viewing angle of the camera is limited.
본 발명은 상기와 같은 문제점을 해결하기 위해 이루어진 것으로서, 카메라 시야 영상과 지도 시야 영상을 표시하고, 상기 카메라 시야 영상의 1 지점에서 2 지점으로 물체가 이동했을 때, 아핀 공간의 아핀 변환 방정식을 이용하여 물체의 위치를 추적하여 상기 지도 시야 영상에 물체의 위치를 아핀 변환하여 표시하는 아핀 변환을 이용한 진행 방향 추적 시스템을 제공하는 데 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made in order to solve the above problems, and it is an object of the present invention to provide an apparatus and a method for displaying a camera view image and a map view image by using an affine transformation equation of an affine space when an object moves from one point to two points in the camera view image And tracking the position of the object to display the position of the object on the map visual image.
상기 과제를 해결하기 위하여 본 발명은 카메라 시야 영상과 지도 시야 영상을 표시하고, 상기 카메라 시야 영상의 1 지점에서 2 지점으로 물체가 이동했을 때, 아핀 공간의 아핀 변환 방정식을 이용하여, 물체의 위치를 추적하여 상기 지도 시야 영상에 물체의 위치를 아핀 변환하여 표시하는 아핀 변환을 이용한 진행 방향 추적 시스템에 있어, 상기 아핀 공간은 포인트와 벡터의 집합으로서 프레임 또는 세그먼트를 이용하여 표현되고, 상기 프레임 내에서 벡터 V와 다른 P 포인트가 아래 수학식 1과 같이 정의되며, 상기 아핀 변환은 수학식 2와 같이 포인트, 직선, 및 평면을 통한 선형 매핑 방법으로, 아핀 변환을 사용하여 광각 렌즈 왜곡, 파노라마 스티칭 및 이미지 등록(wide angle lens distortion, panorama stitching, and image registration)을 통해 보정하도록 정의된다.According to an aspect of the present invention, there is provided an apparatus for displaying an image of a camera field and a map of a field of view, wherein when an object moves from one point to two points of the camera view image, Wherein the affine space is represented by using a frame or a segment as a set of points and vectors, and the moving direction of the object in the frame The affine transformation is defined as a linear mapping method through points, straight lines, and planes as shown in Equation (2), using the affine transformation to perform a wide-angle lens distortion, a panoramic stitching And image registration (wide angle lens distortion, panorama stitching, and image registration). .
상기 아핀 변환 방정식을 이용하여, Translation(이동), Rotation(회전), Scale(크기), Skew/Shearing(왜곡/절단) 아핀 변환한다.Rotation, Scale, and Skew / Shearing affine transformation using the affine transformation equations.
상기 카메라를 설치하여 카메라 시야 영상에 의한 수평시야를 얻고, 일정 지시선을 따라 이동하는 물체를 추적하고, 지도 시야 영상에 이동물체의 경로를 표시한다.The camera is installed to obtain a horizontal field of view based on the camera field of view image, tracks an object moving along a predetermined leader line, and displays the path of the moving object on the map field of view image.
상기 아핀 변환은 선형 변환이고, 수학식 3과 같이 벡터로 표현되는 포인트의 매트릭스 곱(matrix multiplication)에 의해 나타내어진다.The affine transformation is a linear transformation and is represented by a matrix multiplication of points expressed as a vector as shown in equation (3).
상기 아핀 변환에 의해 포인트 P(x, y)를 벡터로서 표현하면 수학식 4와 같은 매트릭스 폼으로 변환된 방정식을 얻는다.Expressing the point P (x, y) as a vector by the affine transformation, an equation transformed into a matrix form as shown in Equation (4) is obtained.
상기 매트릭스 폼에서 M과 
상기와 같이 이루어지는 본 발명은 사용자가 편리하게 확인할 수 있는 지도 시야 영상으로 변환하기 용이하다.The present invention as described above is easy to convert to a map visual image which can be easily confirmed by a user.
또한, 본 발명은 카메라를 설치하더라도 시야각에 따른 제한 없이 수평시야를 얻을 수 있고, 청색 지시선을 따라 이동하는 물체를 추적할 수 있으며, 도면(또는 지도)에 이동물체 경로를 표시하여 사용자가 편리하게 이동 물체의 현재 위치를 파악할 수 있다.Further, according to the present invention, even if a camera is installed, a horizontal view can be obtained without restriction according to a viewing angle, an object moving along a blue leader line can be tracked, and a moving object path can be displayed on a drawing (or a map) The current position of the moving object can be grasped.
도 1은 본 발명의 일 실시예에 따라 아핀 변환을 이용한 진행 방향 추적 시스템의 이용예를 보여주는 도면이다.
도 2는 본 발명의 일 실시예에 따라 아핀 변환을 이용한 진행 방향 추적 시스템의 응용예를 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따라 포인트와 벡터의 집합으로서 프레임 또는 세그먼트를 이용하여 표현되는 아핀 공간을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따라 다양한 타입의 아핀 변환들을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따라 도 4의 예를 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 아핀 변환을 보여주는 도면이다.
도 7은 본 발명의 일 실시예에 따라 스텝 1으로서 자르기를 보여주는 도면이다.
도 8은 본 발명의 일 실시예에 따라 스텝 2에서 스케일을 보여주는 도면이다.
도 9는 본 발명의 일 실시예에 따라 스텝 3에서 회전을 보여주는 도면이다.
도 10은 본 발명의 일 실시예에 따라 스텝 4에서 변환을 보여주는 도면이다.
도 11은 본 발명의 일 실시예에 따라 스텝 6에서 M과 
도 12와 도 13은 본 발명의 일 실시예에 따라 변환된 삼각형의 포인트 P의 위치를 찾는 프로세스 등을 보여주는 도면이다.
도 14 내지 도 16은 본 발명의 일 실시예에 따른 응용예를 보여주는 플로챠트 도면이다.1 is a diagram illustrating an example of using a progress direction tracking system using affine transformation according to an embodiment of the present invention.
2 is a diagram illustrating an application example of a progress direction tracking system using an affine transformation according to an embodiment of the present invention.
3 is a diagram showing an affine space represented using a frame or a segment as a set of points and vectors according to an embodiment of the present invention.
4 is a diagram illustrating various types of affine transformations in accordance with one embodiment of the present invention.
5 is a view showing an example of FIG. 4 according to an embodiment of the present invention.
6 is a diagram illustrating an affine transformation according to an embodiment of the present invention.
7 is a diagram showing cropping as
8 is a view showing a scale in
9 is a view showing rotation in
10 is a diagram showing a transformation in
FIG. 11 is a flowchart illustrating a method of generating M and M in step 6 according to an embodiment of the present invention.
12 and 13 are views illustrating a process of finding a position of a point P of a transformed triangle according to an embodiment of the present invention.
14 to 16 are flowcharts showing an application example according to an embodiment of the present invention.
본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 설명한다. 본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.For a better understanding of the present invention, a preferred embodiment of the present invention will be described with reference to the accompanying drawings. The embodiments of the present invention may be modified into various forms, and the scope of the present invention should not be construed as being limited to the embodiments described in detail below. The present embodiments are provided to enable those skilled in the art to more fully understand the present invention. Therefore, the shapes and the like of the elements in the drawings can be exaggeratedly expressed to emphasize a clearer description. It should be noted that in the drawings, the same members are denoted by the same reference numerals. Further, detailed descriptions of well-known functions and configurations that may be unnecessarily obscured by the gist of the present invention are omitted.
본 발명은 사용자에게 시야를 변화시켜 보여주기 위해 (a) 카메라 시야, (b) 지도(도면) 시야로 나누어 표시한다.The present invention is divided into (a) a camera view field and (b) a map (drawing) field of view in order to show a user a varied view.
본 발명은 카메라 시야 영상과 지도 시야 영상을 표시하고, 상기 카메라 시야 영상의 1 지점에서 2 지점으로 물체가 이동했을 때, 아핀 공간의 아핀 변환 방정식을 이용하여, 물체의 위치를 추적하여 상기 지도 시야 영상에 물체의 위치를 아핀 변환하여 표시하는 아핀 변환을 이용한 진행 방향 추적 시스템에 관한 것이다.The present invention displays a camera view image and a map view image, and when an object moves from one point to two points of the camera view image, the position of the object is tracked by using the affine transformation equation of the affine space, And a moving direction tracking system using affine transformation for affine transforming and displaying the position of an object on an image.
이를 위해 affine 변환을 이용하는 데, Translation(이동), Rotation(회전), Scale(크기), Skew/Shearing(왜곡/절단)으로 나누어 이하 자세히 설명한다.To do this, we use affine transformation, which is divided into Translation, Rotation, Scale, and Skew / Shearing.
본 발명의 실시예로서 카메라를 설치하더라도 시야각에 따른 제한 없이 수평시야를 얻을 수 있고, 청색 지시선을 따라 이동하는 물체를 추적할 수 있으며, 도면(또는 지도)에 이동물체 경로를 표시하여 사용자가 편리하게 이동 물체의 현재 위치를 파악할 수 있다.As an embodiment of the present invention, even if a camera is installed, a horizontal field of view can be obtained without restriction according to a viewing angle, an object moving along a blue leader line can be tracked, a moving object path can be displayed on a drawing (or a map) The current position of the moving object can be grasped.
본 발명은 바람직하게는 삼각형 변환보다는 맵핑이 쉬운 사각형 변환을 이용한다.The present invention preferably utilizes a rectangular transformation that is easier to map than a triangular transformation.
도 1과 도 2의 좌측 영상의 1 지점에서 2 지점으로 물체가 이동했을 때, 먼저 물체의 위치를 추적하고, 아핀 변환(Affine transformation) 방정식을 이용하여, 우측 도면에 물체의 위치를 변환하여 표시한다.When an object moves from one point to two points in the left image of FIG. 1 and FIG. 2, the position of the object is first tracked, and the position of the object is converted and displayed using the affine transformation equation do.
그리고 도 2를 보면 좌우 각각의 영역에서 물체의 위치가 일치함을 알 수 있다.2, it can be seen that the positions of the objects in the right and left regions coincide with each other.
본 발명에서 사용되는 아핀 공간(affine space)은 유클리드 공간의 아핀 기하학적 성질들을 일반화해서 만들어지는 구조이다. The affine space used in the present invention is a structure formed by generalizing the affine geometric properties of the Euclidean space.
상기 아핀 공간에서는 점에서 점을 빼서 벡터를 얻거나 점에 벡터를 더해 다른 점을 얻을 수는 있지만 원점이 없으므로 점과 점을 더할 수는 없다.In the affine space, it is possible to obtain a vector by subtracting a point from a point or adding a vector to a point to obtain a different point, but since there is no origin, a point and a point can not be added.
도 3에 도시된 바와 같이 본 발명에 따른 아핀 공간은 포인트와 벡터의 집합으로서 프레임 또는 세그먼트를 이용하여 표현된다.As shown in FIG. 3, the affine space according to the present invention is expressed using a frame or a segment as a set of points and vectors.
상기 아핀 공간은 원점이 없어 프레임 내에서 벡터 V와 다른 P 포인트가 아래 수학식 1과 같이 정의된다.Since the affine space has no origin, a point P different from the vector V in the frame is defined as shown in
아핀 변환Affine transformation
아핀 변환은 포인트, 직선, 및 평면을 통한 선형 매핑 방법이다.Affine transformation is a linear mapping method through points, straight lines, and planes.
평행선의 묶음은 아핀 변환 후 평행하게 남는다.The bundle of parallel lines remains parallel after the affine transformation.
아핀 변환 기술은 예를 들어 아핀 변환을 사용하여 광각 렌즈 왜곡, 파노라마 스티칭 및 이미지 등록(wide angle lens distortion, panorama stitching, and image registration)을 보정한다.The affine transformation technique corrects for wide angle lens distortion, panoramic stitching, and wide angle lens distortion (panorama stitching, and image registration) using, for example, affine transformation.
이 때 왜곡을 제거하려면 이미지를 평면 좌표계로 변형하고 융합하는 것이 바람직하다.To remove distortion, it is desirable to transform the image into a plane coordinate system and fuse it.
이를 통해 이미지 왜곡을 고려하지 않아도 되는 상호 작용 및 계산이 쉬워진다. 요약하면 아래 수학식 2와 같이 정의된다.This facilitates interactions and calculations that do not require consideration of image distortion. In summary, it is defined as shown in
여기에서 M은 얼마만큼 축이 변환되는 지를, 
한편 본 발명의 일실시예로서 도 4와 같이 다양한 타입의 아핀 변환 타입들은 예를 들어 도 5와 같이 표현될 수 있다.4, various types of affine transformation types may be represented as shown in FIG. 5, for example.
아핀 변환 콤비네이션Affine transformation combination
아핀 변환(스케일, 로테이트, 자르기)은 선형 변환이고, 수학식 3과 같이 벡터로 표현되는 포인트의 매트릭스 곱(matrix multiplication)에 의해 나타내어 진다.The affine transformation (scale, rotate, crop) is a linear transformation and is represented by a matrix multiplication of points expressed as a vector as shown in equation (3).
상기 수학식 3으로부터 상기 변환이 어떻게 일련하여 이루어지는지 알 수 있다.From Equation (3) above, it can be seen how the conversion is done in series.
예를 들어 첫 번째 스케일(S), 두 번째 자르기(H), 세 번째 회전(R) 이다.For example, the first scale (S), the second crop (H), and the third rotation (R).
상술한 방법에 의해 포인트 P(x, y)를 벡터로서 표현하면 수학식 4와 같은 매트릭스 폼으로 변환된 방정식을 얻을 수 있다.By expressing the point P (x, y) as a vector by the above-described method, an equation converted into a matrix form as shown in Equation (4) can be obtained.
임의의 M과 
상술한 매트릭스 방정식에서 본 바와 같이 M과 
그래서 수학식 5와 같은 적어도 3개의 맵핑 페어(mapping pair)를 필요로 한다.Thus, at least three mapping pairs as shown in equation (5) are required.
자유도가 알려지지 않은 a, b, d, e, tx, ty는 수학식 6의 매트릭스 방정식과 관련이 있다.A, b, d, e, t x , and t y , for which the degrees of freedom are unknown, are related to the matrix equations in equation (6).
도 6과 같이 삼각형 △ABC(0,0),(1,0),(0,1)과 대응되는 삼각형 △A′B′C′(3,-2),(4.2,-0.4),(2,0)의 삼각형 코너를 포함한다고 가정한다.(3, -2), (4.2, -0.4), and (3, -2) corresponding to the triangle ABC (0, 0) 2,0) triangle corner.
스텝 1으로서 자르기 [H] 는 도 7과 같고, 스텝 2에서 스케일[S]는 도 8과 같으며, 스텝 3에서 회전[R]은 도 9와 같고, 스텝 4에서 변환[
도 12를 참고 하여 주어진 포인트를 이용하여 수학식 8과 같은 방정식을 세울 수 있다.Referring to FIG. 12, an equation such as Equation (8) can be established using the given points.
따라서 본 발명은 수학식 9와 같은 선형 방정식(six linear equations)의 우측 시스템을 해결할 수 있고, 알려지지 않은 계수(coefficient)를 찾을 수 있다.Therefore, the present invention can solve the right system of six linear equations (9), and find unknown coefficients.
변환된 삼각형의 포인트 P의 위치를 찾는 프로세스The process of locating the point P of the transformed triangle
수학식 10의 변환된 방정식으로 삼각형 내부의 어느 포인트의 새로운 위치를 찾는다.The transformed equation of Equation (10) finds the new position of a point inside the triangle.
도 13에서 보는 바와 같이 예를 들어 △ABC의 내부의 어느 포인트가 P(0.5, 0.5)이면, 수학식 11과 같은 △A′B′C′에서 대응되는 포인트 P의 위치를 찾을 수 있다.As shown in FIG. 13, for example, if a point inside of? ABC is P (0.5, 0.5), the position of the corresponding point P in? A'B'C 'as shown in Equation (11) can be found.
본 발명의 일 실시예로서 사무실의 여러 개의 개별 물건 및 물품 수납장이 여러 공간에 나누어 흩어져 있고, 각각의 물건 및 물품 수납장이 갖고 있는 저장목록을 한곳에서 관리하기 위해서 각각의 물건 및 물품 수납장은 사무실 Hub(또는 서버)로 보유 목록을 전송하며(NFC, WiFi 등 근거리 통신기술 이용) 사무실 Hub는 각각의 물건 및 물품 수납장의 보유 목록을 받아들여 시야각에 따른 제한 없이 수평시야를 얻을 수 있도록 지도 시야 영상에 표시하고 각 목록을 실시간으로 검색하여 필요한 목록을 지도 시야 영상에서 찾을 수 있는 기능을 갖는다.In an embodiment of the present invention, a plurality of individual articles and article storage rooms are divided into a plurality of spaces, and in order to manage a storage list of each article and article storage room in one place, each article and article storage room is divided into an office Hub (Server or server) (using NFC, WiFi, etc.) Office Hub accepts the inventory list of each item and the item storage box, and obtains the horizontal field of view without restriction according to the field of view. And search for each list in real time, so that a necessary list can be found in the map view image.
여기에 따른 실시예로서 본 발명에 따른 사무실 Hub는 각각의 물건 및 물품 수납장의 최초 위치(starting position)를 설정하는 단계(S101)와, 상기 각각의 물건 및 물품 수납장의 최초 위치로부터의 위치 변화량을 측정하고(S102), 상기 위치 변화량에 기초하여 각각의 물건 및 물품 수납장의 현재 위치를 아핀 변환하여 계산하는 단계(S103) 및 상기 계산된 각각의 물건 및 물품 수납장의 현재 위치(current position)를 외부의 디바이스와 통신을 통해 공유하는 단계(S104)를 더 포함한다.According to an embodiment of the present invention, an office Hub according to the present invention includes a step S101 of setting a starting position of each article and article storage space, a step of changing a position variation amount from the initial position of each article and article storage space (S103) of calculating the current position of each article and article storage space by affine transformation (S103) and calculating the current position of each article and article storage space (S104) through a communication with a device of the device.
또한 다른 실시예로서 사무실 Hub와 네트워크로 연결된 촬영수단을 더 포함하며, 상기 각각의 물건 및 물품 수납장의 이동 경로 상의 영상 데이터를 수집하고(S201), 상기 촬영수단 구동 후 지정된 주기로 좌표 정보를 수집하는 위치 정보 수집부를 상기 사무실 Hub 내부에 장착할 수 있다.As another embodiment, the present invention further includes photographing means connected to the office Hub by a network, and the image data on the movement path of each article and article storage space is collected (S201), and the coordinate information is collected at a designated cycle after the photographing means is driven The location information collecting unit can be installed inside the office hub.
또는 상기 위치 정보 수집부에는 상기 촬영수단의 영상 데이터로부터 인식된 객체를 상술한 아핀 변환 등을 통해 이미지 분류 결과 별로 나누어 저장하고 이를 표시 장치에 디스플레이할 수도 있다(S202 ~ S204).Alternatively, the positional information collecting unit may store the objects recognized from the image data of the photographing unit by the affine transformation or the like and store the divided objects according to the image classification results (S202 to S204).
본 발명의 다른 실시예로서 화자 추적이 가능한 다자간 회의 영상 제공 시스템에 관한 것으로, 더욱 상세하게는 화자 인식 수단으로부터 전송된 정보를 분석하고 화자의 위치를 추출하여 360도 카메라가 상기 화자의 위치의 화면을 출력함으로써 화자를 추적하여 영상 제공이 가능한 화자 추적이 가능한 다자간 회의 영상 제공 시스템에 관한 것이다.In another aspect of the present invention, there is provided a multi-party conference image providing system capable of tracking a speaker. More particularly, the present invention relates to a multi- To a multi-party conference image providing system capable of tracking a speaker and tracking a speaker capable of providing a video image.
또 다른 예로서 다자간 회의에 참여하는 모든 유저가 앉는 자리에 카메라가 설치되고(S301), 각각 카메라는 위치 정보를 내장하고 있으며 지도 시야 영상을 표시하는 제어 수단에 데이터를 전송할 수 있는 근거리 통신 모듈을 포함하여 상기 카메라를 화자가 작동시킬 경우 상기 카메라에 저장된 위치 정보를 상기 제어 수단으로 전송하여 화자의 위치를 지정하고(S302), 화자가 다른 사람으로 변동될 경우 상기 다른 사람의 카메라의 위치를 아핀 변환으로 추적하여(S303), 상기 제어 수단의 지도 시야 영상에 표시하면서 상기 다른 사람의 카메라를 작동시켜 다자간의 회의를 용이하게 진행시킬 수 있다(S304).As another example, a camera is installed in a place where all users participating in a conference are located (S301). Each camera includes a location communication module and a local communication module capable of transmitting data to a control means for displaying a map view image When the speaker operates the camera, the position information stored in the camera is transmitted to the control means to designate the position of the speaker (S302). If the speaker is changed to another person, (S303), and the other person's camera is operated while being displayed on the map visual image of the control means (S304).
Claims (6)
상기 아핀 공간은 포인트와 벡터의 집합으로서 프레임 또는 세그먼트를 이용하여 표현되고, 상기 프레임 내에서 벡터 V와 다른 P 포인트가 수학식 1과 같이 정의되며,
상기 아핀 변환은 수학식 2와 같이 포인트, 직선, 및 평면을 통한 선형 매핑 방법으로, 아핀 변환을 사용하여 광각 렌즈 왜곡, 파노라마 스티칭 및 이미지 등록(wide angle lens distortion, panorama stitching, and image registration)을 통해 보정하도록 정의되어 지도 시야 영상에 상기 물체의 위치를 표시하며,
왜곡을 제거하도록 이미지를 평면 좌표계로 변형하고 융합하고,
상기 카메라를 설치하여 카메라 시야 영상에 의한 수평시야를 얻고, 일정 지시선을 따라 이동하는 물체를 추적하고, 지도 시야 영상에 이동물체의 경로를 표시하며,
상기 아핀 변환은 선형 변환이고, 수학식 3과 같이 벡터로 표현되는 포인트의 매트릭스 곱(matrix multiplication)에 의해 나타내고,
상기 아핀 변환 방정식을 이용하여, Translation(이동), Rotation(회전), Scale(크기), Skew/Shearing(왜곡/절단) 아핀 변환하며,
사무실의 여러 개의 개별 물건 및 물품 수납장이 여러 공간에 나누어 흩어져 있고, 각각의 물건 및 물품 수납장이 갖고 있는 저장목록을 한곳에서 관리하기 위해서 각각의 물건 및 물품 수납장은 사무실 Hub 또는 서버로 보유 목록을 근거리 통신기술 이용하여 전송하며, 사무실 Hub는 각각의 물건 및 물품 수납장의 보유 목록을 받아들여 시야각에 따른 제한 없이 수평시야를 얻을 수 있도록 지도 시야 영상에 표시하고 각 목록을 실시간으로 검색하여 필요한 목록을 지도 시야 영상에서 찾을 수 있는 기능을 갖는 것을 특징으로 하는 아핀 변환을 이용한 진행 방향 추적 시스템.
[수학식 1]
[수학식 2]
(여기에서 M은 얼마만큼 축이 변환되는 지를,
[수학식 3]
The affine space is represented using a frame or a segment as a set of points and vectors, and a point P and a point P different from the vector V in the frame are defined as in Equation (1)
The affine transformation may be performed using wide angle lens distortion, panorama stitching, and image registration using an affine transformation as a linear mapping method over points, straight lines, and planes as shown in Equation (2) And displays the position of the object on the map visual field image,
Transform and fuse the image into a planar coordinate system to remove distortion,
The camera is installed to obtain a horizontal field of view by the camera field of view image, tracks an object moving along a predetermined leader line, displays a path of the moving object on the map field of view,
The affine transformation is a linear transformation and is represented by a matrix multiplication of points represented by a vector as shown in Equation (3)
The affine transformation equations are used to perform affine transformation such as Translation, Rotation, Scale, Skew / Shearing,
In order to manage multiple individual objects and storage spaces of the office in various places and to manage the storage list of each object and storage box in one place, each storage box of object and article is to be kept close to the office hub or server The office hub accepts the inventory list of each object and the storage room, displays it on the map view image so that the horizontal view can be obtained without any restriction on the viewing angle, searches each list in real time, A progress direction tracking system using affine transformation, characterized by having a function that can be found in a visual field image .
[Equation 1]
&Quot; (2) "
(Where M represents how much the axis is transformed,
&Quot; (3) "
상기 아핀 변환에 의해 포인트 P(x, y)를 벡터로서 표현하면 수학식 4와 같은 매트릭스 폼으로 변환된 방정식을 얻는 것을 특징으로 하는 아핀 변환을 이용한 진행 방향 추적 시스템.
[수학식 4]
And a point P (x, y) is expressed as a vector by the affine transformation to obtain an equation converted into a matrix form as shown in Equation (4).
&Quot; (4) "
상기 매트릭스 폼에서 M과
[수학식 5]
In the matrix form,
&Quot; (5) "
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180161528A KR101975209B1 (en) | 2018-12-14 | 2018-12-14 | Position tracing system using Affine transformation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180161528A KR101975209B1 (en) | 2018-12-14 | 2018-12-14 | Position tracing system using Affine transformation |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101975209B1 true KR101975209B1 (en) | 2019-05-07 |
Family
ID=66655975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180161528A KR101975209B1 (en) | 2018-12-14 | 2018-12-14 | Position tracing system using Affine transformation |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101975209B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211183A (en) * | 2019-06-13 | 2019-09-06 | 广州番禺职业技术学院 | The multi-target positioning system and method for big visual field LED lens attachment are imaged based on single |
| KR102333520B1 (en) * | 2020-10-12 | 2021-12-01 | 주식회사 도로시 | Method, device and system for detecting object on road |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100964726B1 (en) | 2008-07-14 | 2010-06-21 | 한국산업기술대학교산학협력단 | Method for tracking moving objects using characteristics of moving objects in image camera system |
| KR101096157B1 (en) | 2009-10-22 | 2011-12-19 | (주)태종씨앤아이 | watching apparatus using dual camera |
| KR20150081732A (en) | 2014-01-06 | 2015-07-15 | 한화테크윈 주식회사 | System of tracking moving-object |
| KR101548639B1 (en) * | 2014-12-10 | 2015-09-01 | 한국건설기술연구원 | Apparatus for tracking the objects in surveillance camera system and method thereof |
| KR101780929B1 (en) | 2017-01-10 | 2017-09-26 | (주)예원이엔씨 | Image surveillence system for moving object |
| JP2018073044A (en) * | 2016-10-27 | 2018-05-10 | Kddi株式会社 | Object tracking device, method and program |
-
2018
- 2018-12-14 KR KR1020180161528A patent/KR101975209B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100964726B1 (en) | 2008-07-14 | 2010-06-21 | 한국산업기술대학교산학협력단 | Method for tracking moving objects using characteristics of moving objects in image camera system |
| KR101096157B1 (en) | 2009-10-22 | 2011-12-19 | (주)태종씨앤아이 | watching apparatus using dual camera |
| KR20150081732A (en) | 2014-01-06 | 2015-07-15 | 한화테크윈 주식회사 | System of tracking moving-object |
| KR101548639B1 (en) * | 2014-12-10 | 2015-09-01 | 한국건설기술연구원 | Apparatus for tracking the objects in surveillance camera system and method thereof |
| JP2018073044A (en) * | 2016-10-27 | 2018-05-10 | Kddi株式会社 | Object tracking device, method and program |
| KR101780929B1 (en) | 2017-01-10 | 2017-09-26 | (주)예원이엔씨 | Image surveillence system for moving object |
Non-Patent Citations (2)
| Title |
|---|
| 고동욱 외 2명. 단일 카메라로 획득한 영상 쌍의 평면 호모그래피를 이용한 평면 검출. 제어로봇시스템학회 국내학술대회 논문집, 2011년 5월, pp. 525-529. 1부.* * |
| 이동훈. 모델변환과 시점변환, 동서대학교 강의자료, 2008년, pp. 1-32. 1부.* * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110211183A (en) * | 2019-06-13 | 2019-09-06 | 广州番禺职业技术学院 | The multi-target positioning system and method for big visual field LED lens attachment are imaged based on single |
| CN110211183B (en) * | 2019-06-13 | 2022-10-21 | 广州番禺职业技术学院 | Multi-target positioning system based on single-imaging large-view-field LED lens mounting |
| KR102333520B1 (en) * | 2020-10-12 | 2021-12-01 | 주식회사 도로시 | Method, device and system for detecting object on road |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9898829B2 (en) | Monitoring apparatus and system using 3D information of images and monitoring method using the same | |
| JP4195991B2 (en) | Surveillance video monitoring system, surveillance video generation method, and surveillance video monitoring server | |
| EP2553924B1 (en) | Effortless navigation across cameras and cooperative control of cameras | |
| US10078899B2 (en) | Camera system and image registration method thereof | |
| KR101695249B1 (en) | Method and system for presenting security image | |
| JP6226538B2 (en) | Display control apparatus, display control method, and program | |
| US8982245B2 (en) | Method and system for sequential viewing of two video streams | |
| WO2021218282A1 (en) | Scene depth prediction method and apparatus, camera motion prediction method and apparatus, device, medium, and program | |
| JP2007108744A (en) | Imaging apparatus of multiple lens camera system for generating panoramic image | |
| CN107370994B (en) | Marine site overall view monitoring method, device, server and system | |
| JP4722537B2 (en) | Monitoring device | |
| US11715236B2 (en) | Method and system for re-projecting and combining sensor data for visualization | |
| KR101975209B1 (en) | Position tracing system using Affine transformation | |
| CN109636763B (en) | Intelligent compound eye monitoring system | |
| KR101778744B1 (en) | Monitoring system through synthesis of multiple camera inputs | |
| KR20100121086A (en) | Ptz camera application system for photographing chase using sound source recognition and method therefor | |
| JP2010034652A (en) | Multi-azimuth camera mounted mobile terminal apparatus | |
| JP6154759B2 (en) | Camera parameter estimation apparatus, camera parameter estimation method, and camera parameter estimation program | |
| Liu et al. | LSFB: A low-cost and scalable framework for building large-scale localization benchmark | |
| JP5132705B2 (en) | Image processing device | |
| WO2021149509A1 (en) | Imaging device, imaging method, and program | |
| WO2021200184A1 (en) | Information processing device, information processing method, and program | |
| JP2014179740A (en) | Video retrieval device, video retrieval system, and video retrieval method | |
| JP2012173858A (en) | Omnidirectional image generation method, image generation device and program | |
| Sovetov et al. | Online Panorama Image Generation for a Disaster Rescue Vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |