KR101489468B1 - camera image calibration apparatus and method based on homography calculation - Google Patents

camera image calibration apparatus and method based on homography calculation Download PDF

Info

Publication number
KR101489468B1
KR101489468B1 KR20130075896A KR20130075896A KR101489468B1 KR 101489468 B1 KR101489468 B1 KR 101489468B1 KR 20130075896 A KR20130075896 A KR 20130075896A KR 20130075896 A KR20130075896 A KR 20130075896A KR 101489468 B1 KR101489468 B1 KR 101489468B1
Authority
KR
South Korea
Prior art keywords
icon
image
coordinate
unit
coordinates
Prior art date
Application number
KR20130075896A
Other languages
Korean (ko)
Other versions
KR20150002273A (en
Inventor
임종빈
Original Assignee
주식회사 아이티엑스시큐리티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이티엑스시큐리티 filed Critical 주식회사 아이티엑스시큐리티
Priority to KR20130075896A priority Critical patent/KR101489468B1/en
Publication of KR20150002273A publication Critical patent/KR20150002273A/en
Application granted granted Critical
Publication of KR101489468B1 publication Critical patent/KR101489468B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 호모그래피 기반 카메라 영상 보정 장치 및 방법에 관한 것으로, 카메라 설치 높이, 각도를 포함하는 카메라 설치정보를 입력하는 번거로움 없이, 실제 크기를 알고 있는 대상이 포함된 영상에 좌표 획득을 위한 아이콘을 간단히 배치함에 의해 호모그래피(Homography)값을 계산할 수 있도록 구현함으로써 사용자 편의성을 향상시킬 수 있도록 한 것이다.The present invention relates to a homography-based camera image correction apparatus and method, and more particularly, to an apparatus and method for correcting a camera image based on homography, So that the homography value can be calculated, thereby improving the user's convenience.

Description

호모그래피 기반 카메라 영상 보정 장치 및 방법{camera image calibration apparatus and method based on homography calculation}Technical Field [0001] The present invention relates to a homography-based camera image correction apparatus and method,

본 발명은 영상 보정(Image calibration) 기술에 관련한 것으로, 특히 호모그래피 기반 카메라 영상 보정 장치 및 방법에 관한 것이다.The present invention relates to an image calibration technique, and more particularly, to a homography-based camera image correction apparatus and method.

카메라 영상 보정(Image calibration)을 위해서는 내부 파라미터(Intrinsic parameter)와 외부 파라미터(Extrinsic parameter)를 구해야 한다. 내부 파라미터는 렌즈 왜곡(Distortion) 등에 의해 기인하는 카메라의 구조적인 오차나, 줌인 또는 줌아웃에 의한 초점 거리 등에 의해 기인하는 카메라 내부적인 정보를 말한다.Intrinsic parameters and extrinsic parameters must be obtained for camera image calibration. The internal parameter refers to the camera internal information caused by the structural error of the camera caused by lens distortion or the like, the focal length by zooming in or zooming out, and the like.

한편, 외부 파라미터는 카메라가 실제 세계의 원점으로부터 얼마만큼 이동해 있고, 얼마만큼 회전해 있는지에 대한 정보를 말하며, 이 외부 파라미터는 카메라가 제작될 때 결정되는 것이 아니다.On the other hand, the external parameter is information on how much the camera is moved from the origin of the real world and how much it is rotated, and this external parameter is not determined when the camera is manufactured.

카메라가 실제 세계의 원점으로부터 얼마만큼 이동해 있고, 얼마만큼 회전해 있는지는 수학적으로 행렬(Matrix)과 벡터(Vector)를 통해 표현할 수 있다. 실제 세계의 원점은 임의적으로 설정할 수 있다. 실제 세계의 3차원 좌표는 동차 좌표계(Homogeneous coordinate)를 이용하여 2차원 이미지 평면의 좌표로 표현할 수 있다.How much the camera moves from the origin of the real world and how much it rotates can be mathematically represented by a matrix and a vector. The origin of the real world can be arbitrarily set. The three-dimensional coordinates of the real world can be represented by the coordinates of the two-dimensional image plane using a homogeneous coordinate system.

실제 세계의 3차원 좌표의 Z축 값을 0이라 가정하면, XY 좌표를 가지는 2차원 평면이 되고, 이 2차원 평면은 카메라에 의해 촬영된 2차원 영상일 수 있다. 2차원 영상에서 특징점을 찾아 다른 각도에서 보는 것처럼 변경할 수 있는데, 이를 호모그래피(Homography)라 한다.Assuming that the Z axis value of the three-dimensional coordinates of the real world is 0, it becomes a two-dimensional plane having XY coordinates, and this two-dimensional plane can be a two-dimensional image photographed by a camera. You can find the feature points in 2D images and change them as you see them from different angles. This is called homography.

영상에서 3차원 정보를 얻는 방법은 그 정확도나 사용 목적에 따라 수많은 방법이 존재한다. 대표적인 방법으로 3D 재구성(reconstruction)이 있을 수 있다. 3D 재구성은 여러 대의 카메라 또는 이동 카메라를 이용하여 이미지상의 특징점에 해당하는 3차원 상의 좌표들을 구한다. 그러나, 여러 대의 카메라를 사용해야 하고 계산량이 많아 실시간 처리에 사용되기 어려운 단점이 있다.There are a number of methods for acquiring three-dimensional information from an image depending on its accuracy and purpose of use. A typical 3D reconstruction is possible. 3D reconstruction uses three or more cameras or mobile cameras to obtain three-dimensional coordinates corresponding to feature points on an image. However, there are disadvantages that it is difficult to use in a real-time processing because a large number of cameras are used and a calculation amount is large.

한 대의 정적인(stationary) 카메라만을 사용하는 경우에는 3차원 상의 좌표를 구할 수 없다. 이 경우 정확한 3차원 정보는 아니지만, 카메라가 바라보는 시야(field of view)를 평면으로 가정(그라운드 평면이라 함)하고, 이미지상에서 검출(detection)된 대상(objects)의 그라운드 평면(ground plane)상에서의 좌표들을 추정할 수 있는 방법이 있을 수 있다. 이는 이미지 평면(image plane)과 그라운드 평면(ground plane) 사이의 투사 변환(projective transformation)이 있으면 실현이 가능하다. 이 변환은 도 1 에 도시한 바와 같은 평면 대 평면 호모그래피(plane to plane homography)로 정의된다.If only one stationary camera is used, three-dimensional coordinates can not be obtained. In this case, although not the accurate three-dimensional information, it is assumed that the field of view of the camera is assumed as a plane (referred to as a ground plane) and that the detected object on the ground plane There may be a method of estimating the coordinates of the target object. This can be achieved with a projective transformation between the image plane and the ground plane. This transformation is defined as plane to plane homography as shown in FIG.

도 1 은 호모그래피(Homography) 설명을 위한 도면이다. 호모그래피 H는 3×3 행렬로 정의된다. 원래 영상에 포함되는 특징점 x는 호모그래피 H에 의해 x'으로 변환될 수 있다. 이러한 호모그래피(Homography) 기술은 대한민국 공개특허 제10-2012-0021666호(2012. 03. 09) 등에서 기술하고 있다.1 is a view for explaining homography. Homography H is defined as a 3x3 matrix. The feature point x included in the original image can be converted to x 'by the homography H. This homography technique is disclosed in Korean Patent Publication No. 10-2012-0021666 (Mar. 03, 2012).

일반적으로 사용되는 호모그래피를 구하는 방법은 DLT(Direct Linear Transformation) 알고리즘(algorithm)이다. DLT를 사용하면 두 평면간의 4개 이상의 대응점 쌍(pairs)이 주어질 때 호모그래피를 구할 수 있다(4개인 경우 exact solution, 4개 이상인 경우 least mean squared error solution). 카메라 파라미터(parameter)가 주어지는 경우에도 카메라 투사를 이용하여 이미지 평면과 그라운드 평면 사이의 호모그래피를 다음의 식 1과 같이 계산할 수 있다.A commonly used homography method is the DLT (Direct Linear Transformation) algorithm. DLT can be used to obtain homography when four pairs of corresponding points between two planes are given (exact solution for four and least mean squared error solution for four or more). Even if a camera parameter is given, the homography between the image plane and the ground plane can be calculated using the camera projection as shown in Equation 1 below.

(식 1)(Equation 1)

Figure 112013058502110-pat00001
Figure 112013058502110-pat00001

위 식에서 z와 x는 각각 이미지 평면과 그라운드 평면상의 점이고, K는 카메라 파라미터 행렬, R은 회전 행렬, t는 병진 벡터(translation vector), ri는 회전 행렬의 i번째 행의 값이다.Where k is the camera parameter matrix, R is the rotation matrix, t is the translation vector, and r i is the value of the i th row of the rotation matrix, where z and x are the points on the image plane and the ground plane, respectively.

그러나, 위의 방법들은 영상 감시 시스템에서 사용하기에 적합하지 않다. DLT의 경우, 그라운드 평면상의 좌표를 사용자가 입력하기가 까다로우며, 두 번째 방법의 경우, 사용자가 카메라 설치 환경에 대한 정보(설치 높이, 틸드 각, 초점 거리 등)를 정확히 알기는 어려울 것이다. 이러한 부적합성은 모두 사용자가 3차원 상의 정보를 알기 어렵거나 입력하기 힘들다는 점에 기인한다.However, the above methods are not suitable for use in video surveillance systems. In DLT, it is difficult for the user to input the coordinates on the ground plane. In the second method, it is difficult for the user to know the information about the camera installation environment (installation height, tilt angle, focal distance, etc.) accurately. These incompatibilities are all due to the fact that the user is hard to input or difficult to input information on three dimensions.

따라서, 본 발명자는 카메라 설치 높이, 각도를 포함하는 카메라 설치정보를 입력하는 번거로움 없이, 실제 크기를 알고 있는 대상이 포함된 영상에 좌표 획득을 위한 아이콘을 간단히 배치함에 의해 호모그래피(Homography)값을 계산할 수 있는 기술에 대한 연구를 하게 되었다.Therefore, the present inventor has found that, by simply placing an icon for acquiring coordinates on an image including an object of which the actual size is known, without inputting the camera installation information including the camera installation height and angle, the homography value And to study the technology that can calculate.

대한민국 공개특허 제10-2012-0021666호(2012. 03. 09)Korean Patent Publication No. 10-2012-0021666 (March 03, 2012)

본 발명은 상기한 취지하에 발명된 것으로, 카메라 설치 높이, 각도를 포함하는 카메라 설치정보를 입력하는 번거로움 없이, 실제 크기를 알고 있는 대상이 포함된 영상에 좌표 획득을 위한 아이콘을 간단히 배치함에 의해 호모그래피(Homography)값을 계산할 수 있는 호모그래피 기반 카메라 영상 보정 장치 및 방법을 제공함을 그 목적으로 한다.Disclosure of the Invention The present invention has been made in view of the above-described circumstances, and it is an object of the present invention to provide an image capturing apparatus and method for capturing an image by simply arranging an icon for acquiring coordinates on an image including an object whose actual size is known, And a homography-based camera image correction apparatus and method capable of calculating a homography value.

상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 호모그래피 기반 카메라 영상 보정 장치가 카메라에 의해 촬영된 실제 크기를 알고 있는 대상이 포함된 영상을 표시하는 영상 표시부와; 상기 영상 표시부에 의해 표시되는 영상에 포함된 대상의 위치에 좌표 획득을 위한 아이콘을 배치하고, 해당 대상의 크기와 기울어진 각도에 맞게 아이콘의 크기 및 각도를 조정하는 아이콘 배치부와; 상기 영상 표시부에 의해 표시되는 영상에 포함된 대상의 실제 크기 정보를 입력하는 크기 정보 입력부와; 상기 아이콘 배치부에 의해 영상에 포함된 대상의 위치에 배치된 아이콘의 상단 좌표 및 하단 좌표를 포함하는 좌표쌍을 획득하는 좌표 정보 획득부와; 상기 크기 정보 입력부에 의해 입력되는 적어도 2개의 대상에 대한 크기 정보와, 상기 좌표 정보 획득부에 의해 획득되는 적어도 2개의 좌표쌍을 이용해 카메라 영상 보정을 위한 호모그래피(homograrhy) 값을 계산하는 호모그래피 계산부를; 포함하여 이루어지는 것을 특징으로 한다.According to one aspect of the present invention, there is provided a homography-based camera image correction apparatus including: an image display unit displaying an image including an object whose actual size is photographed by a camera; An icon arrangement unit for arranging an icon for acquiring coordinates at a position of a target included in the image displayed by the image display unit and adjusting the size and angle of the icon according to the size and tilted angle of the target; A size information input unit for inputting actual size information of an object included in the image displayed by the image display unit; A coordinate information acquiring unit for acquiring a coordinate pair including an upper coordinate and a lower coordinate of the icon arranged at the position of the object included in the image by the icon arranging unit; A homography ratio calculation unit for calculating a homogrargy value for camera image correction using size information of at least two objects input by the size information input unit and at least two coordinate pairs obtained by the coordinate information obtaining unit, A calculation unit; And the like.

본 발명의 부가적인 양상에 따르면, 상기 아이콘 배치부가 좌표 획득을 위한 아이콘을 저장하는 아이콘 저장부와; 사용자 조작에 따라 상기 아이콘 저장부에 저장된 좌표 획득을 위한 아이콘을 선택하는 아이콘 선택부와; 사용자 조작에 따라 상기 아이콘 선택부에 의해 선택된 좌표 획득을 위한 아이콘을 영상에 포함된 대상의 위치에 오버레이시키는 아이콘 오버레이부와; 사용자 조작에 따라 상기 아이콘 오버레이부에 의해 영상에 포함된 대상의 위치에 오버레이된 좌표 획득을 위한 아이콘의 크기 및 각도를 해당 대상의 크기와 기울어진 각도에 맞게 변경하는 아이콘 조정부를; 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the icon arrangement section comprises: an icon storage section for storing an icon for obtaining a coordinate; An icon selection unit for selecting an icon for acquiring coordinates stored in the icon storage unit according to a user operation; An icon overlay unit for overlaying an icon for coordinate acquisition selected by the icon selection unit on a position of an object included in the image according to a user operation; An icon adjusting unit for changing the size and angle of the icon for obtaining the coordinates overlaid on the position of the target included in the image by the icon overlay unit according to the size of the target and the tilted angle according to the user operation; .

본 발명의 부가적인 양상에 따르면, 상기 좌표 획득을 위한 아이콘이 아이콘 크기를 결정하는 상단 좌표 및 하단 좌표 획득을 위한 두 특징점을 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the icon for obtaining the coordinates includes two feature points for obtaining the top coordinate and the bottom coordinate for determining the icon size.

본 발명의 부가적인 양상에 따르면, 상기 호모그래피 기반 카메라 영상 보정 장치가 상기 호모그래피 계산부에 의해 계산된 호모그래피(homograrhy) 값을 이용해 상기 영상 표시부에 의해 표시되는 영상의 이미지 평면상의 좌표들을 그라운드 평면상의 좌표로 변환하여 출력하는 영상 보정부를; 더 포함하는 것을 특징으로 한다.According to a further aspect of the present invention, the homography-based camera image correction apparatus calculates coordinates of the image plane of the image displayed by the image display unit using a homograhy value calculated by the homography calculation unit, An image correcting unit for converting the image into coordinates on a plane and outputting the converted coordinates; And further comprising:

본 발명의 또 다른 양상에 따르면, 호모그래피 기반 카메라 영상 보정 방법이 카메라에 의해 촬영된 실제 크기를 알고 있는 대상이 포함된 영상을 표시하는 영상 표시단계와; 상기 영상 표시단계에 의해 표시되는 영상에 포함된 대상의 위치에 좌표 획득을 위한 아이콘을 배치하고, 해당 대상의 크기와 기울어진 각도에 맞게 아이콘의 크기 및 각도를 조정하는 아이콘 배치단계와; 상기 영상 표시단계에 의해 표시되는 영상에 포함된 대상의 실제 크기 정보를 입력하는 크기 정보 입력단계와; 상기 아이콘 배치단계에 의해 영상에 포함된 대상의 위치에 배치된 아이콘의 상단 좌표 및 하단 좌표를 포함하는 좌표쌍을 획득하는 좌표 정보 획득단계와; 상기 크기 정보 입력단계에 의해 입력되는 적어도 2개의 대상에 대한 크기 정보와, 적어도 2개의 좌표쌍을 이용해 카메라 영상 보정을 위한 호모그래피(homograrhy) 값을 계산하는 호모그래피 계산단계를; 포함하여 이루어지는 것을 특징으로 한다.According to still another aspect of the present invention, there is provided a homography-based camera image correction method comprising: displaying an image including an object whose actual size is photographed by a camera; An icon placement step of arranging an icon for acquiring coordinates at a position of a target included in the image displayed by the image display step and adjusting the size and angle of the icon according to the size and tilted angle of the target; A size information input step of inputting actual size information of an object included in the image displayed by the image display step; A coordinate information acquiring step of acquiring a coordinate pair including an upper coordinate and a lower coordinate of the icon arranged at the position of the object included in the image by the icon disposing step; A homography calculation step of calculating a homography value for camera image correction using size information of at least two objects input by the size information input step and at least two coordinate pairs; And the like.

본 발명의 부가적인 양상에 따르면, 상기 호모그래피 기반 카메라 영상 보정 방법이 상기 호모그래피 계산단계에 의해 계산된 호모그래피(homograrhy) 값을 이용해 상기 영상 표시단계에 의해 표시되는 영상의 이미지 평면상의 좌표들을 그라운드 평면상의 좌표로 변환하여 출력하는 영상 보정단계를;According to a further aspect of the present invention, the homography-based camera image correction method further comprises a step of calculating the coordinates on the image plane of the image displayed by the image display step using the homograhy value calculated by the homography calculation step Converting the coordinates into coordinates on a ground plane and outputting the coordinate;

더 포함하는 것을 특징으로 한다.And further comprising:

본 발명은 카메라 설치 높이, 각도를 포함하는 카메라 설치정보를 입력하는 번거로움 없이, 실제 크기를 알고 있는 대상이 포함된 영상에 좌표 획득을 위한 아이콘을 간단히 배치함에 의해 호모그래피(Homography)값을 계산할 수 있으므로, 사용자 편의성을 향상시킬 수 있다.In the present invention, a homography value is calculated by simply placing an icon for obtaining coordinates on an image including an object whose actual size is known, without the hassle of inputting camera installation information including a camera installation height and an angle So that user convenience can be improved.

도 1 은 호모그래피(Homography) 설명을 위한 도면이다.
도 2 는 본 발명에 따른 호모그래피 기반 카메라 영상 보정 장치의 일 실시예의 구성을 도시한 블럭도이다.
도 3 은 좌표 획득을 위한 아이콘을 영상에 배치한 일 예를 도시한 도면이다.
도 4 는 호모그래피 계산 알고리즘의 좌표계를 도시한 도면이다.
도 5 는 본 발명에 따른 호모그래피 기반 카메라 영상 보정 방법의 일 실시예의 구성을 도시한 흐름도이다.
1 is a view for explaining homography.
2 is a block diagram showing the configuration of an embodiment of a homography-based camera image correction apparatus according to the present invention.
3 is a diagram showing an example in which icons for coordinate acquisition are arranged in an image.
4 is a diagram showing a coordinate system of a homography calculation algorithm.
5 is a flowchart illustrating a configuration of an embodiment of a homography-based camera image correction method according to the present invention.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

본 발명 명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.The terms used throughout the specification of the present invention have been defined in consideration of the functions of the embodiments of the present invention and can be sufficiently modified according to the intentions and customs of the user or operator. It should be based on the contents of.

도 2 는 본 발명에 따른 호모그래피 기반 카메라 영상 보정 장치의 일 실시예의 구성을 도시한 블럭도이다. 도 2 에 도시한 바와 같이, 본 발명에 따른 호모그래피 기반 카메라 영상 보정 장치(100)는 영상 표시부(110)와, 아이콘 배치부(120)와, 크기 정보 입력부(130)와, 좌표 정보 획득부(140)와, 호모그래피 계산부(150)를 포함하여 이루어진다.2 is a block diagram showing the configuration of an embodiment of a homography-based camera image correction apparatus according to the present invention. 2, a homography-based camera image correction apparatus 100 according to the present invention includes an image display unit 110, an icon arrangement unit 120, a size information input unit 130, (140), and a homography calculation unit (150).

상기 영상 표시부(110)는 카메라에 의해 촬영된 실제 크기를 알고 있는 대상이 포함된 영상을 표시한다. 2차원 영상을 다른 각도에서 보는 것처럼 변경하기 위해선 호모그래피(Homography) 값을 구해야 한다. 호모그래피(Homography) 값을 구하기 위한 전제 조건으로 본 발명은 카메라를 이용해 실제 크기를 알고 있는 대상을 촬영하고, 이를 상기 영상 표시부(110)를 통해 표시한다. The image display unit 110 displays an image including an object whose actual size is photographed by a camera. To change a two-dimensional image from a different angle, it is necessary to obtain a homography value. As a precondition for obtaining a homography value, the present invention takes an object of which the actual size is known by using a camera, and displays the object through the image display unit 110.

상기 아이콘 배치부(120)는 상기 영상 표시부(120)에 의해 표시되는 영상에 포함된 대상의 위치에 좌표 획득을 위한 아이콘(Icon)을 배치하고, 해당 대상의 크기와 기울어진 각도에 맞게 아이콘의 크기 및 각도를 조정한다.The icon placement unit 120 arranges an icon for obtaining coordinates at a position of an object included in the image displayed by the image display unit 120 and displays the icon corresponding to the angle of the target Adjust the size and angle.

기존에는 호모그래피 값을 계산하기 위해서는 카메라 설치 높이, 각도를 포함하는 카메라 설치정보를 입력하는 번거로움이 있었으나, 본 발명의 경우 카메라 설치 높이, 각도를 포함하는 카메라 설치정보를 입력하지 않고, 상기 아이콘 배치부(120)를 통해 실제 크기를 알고 있는 대상이 포함된 영상에 좌표 획득을 위한 아이콘을 간단히 배치하기만 하면 되므로, 번거로운 사용자 입력을 피할 수 있다.Conventionally, in order to calculate a homography value, it is troublesome to input camera installation information including a camera installation height and an angle. However, in the present invention, without inputting camera installation information including a camera installation height and an angle, It is possible to simply place the icon for acquiring the coordinates on the image including the object whose actual size is known through the arrangement unit 120, thereby avoiding troublesome user input.

이 때, 상기 좌표 획득을 위한 아이콘이 도 3 에 도시한 바와 같이, 아이콘 크기를 결정하는 상단 좌표 및 하단 좌표 획득을 위한 두 특징점을 포함하도록 구현될 수 있다. 도 3 은 좌표 획득을 위한 아이콘을 영상에 배치한 일 예를 도시한 도면이다.At this time, as shown in FIG. 3, the icon for obtaining the coordinates may be embodied to include two feature points for obtaining the top coordinate and the bottom coordinate for determining the icon size. 3 is a diagram showing an example in which icons for coordinate acquisition are arranged in an image.

한편, 좌표 획득을 위한 아이콘을 배치하기 위한 아이콘 배치부(120)가 아이콘 저장부(121)와, 아이콘 선택부(122)와, 아이콘 오버레이부(123)와, 아이콘 조정부(124)를 포함하여 이루어질 수 있다.The icon arranging unit 120 for arranging icons for acquiring coordinates includes an icon storing unit 121, an icon selecting unit 122, an icon overlaying unit 123, and an icon adjusting unit 124 Lt; / RTI >

상기 아이콘 저장부(121)는 좌표 획득을 위한 아이콘을 저장한다. 예컨대, 좌표 획득을 위한 아이콘이 도 3 에 도시한 바와 같이 사람 형상의 크기 및 배치 각도를 조절할 수 있는 아이콘일 수 있다.The icon storage unit 121 stores an icon for obtaining coordinates. For example, the icon for acquiring the coordinates may be an icon capable of adjusting the size and the placement angle of the human figure as shown in FIG.

상기 아이콘 선택부(122)는 사용자 조작에 따라 상기 아이콘 저장부(121)에 저장된 좌표 획득을 위한 아이콘을 선택한다. 예컨대, 상기 아이콘 선택부(122)가 템플릿(Templet) 방식으로 좌표 획득을 위한 아이콘을 선택하는 사용자 인터페이스를 제공하고, 마우스 등을 통한 사용자 조작에 따라 사용자 인터페이스로부터 아이콘을 선택하도록 구현될 수 있다. The icon selecting unit 122 selects an icon for obtaining coordinates stored in the icon storing unit 121 according to a user operation. For example, the icon selecting unit 122 may be configured to provide a user interface for selecting an icon for acquiring coordinates in a template manner, and to select an icon from the user interface according to a user operation through a mouse or the like.

상기 아이콘 오버레이부(123)는 사용자 조작에 따라 상기 아이콘 선택부(122)에 의해 선택된 좌표 획득을 위한 아이콘을 영상에 포함된 대상의 위치에 오버레이시킨다.The icon overlaying unit 123 overlays an icon for obtaining a coordinate selected by the icon selecting unit 122 on a position of an object included in the image according to a user operation.

예컨대, 사용자가 마우스를 이용해 상기 템플릿 방식으로 좌표 획득을 위한 아이콘을 선택하는 사용자 인터페이스로부터 아이콘을 선택하고, 선택된 아이콘을 마우스로 드래그하여 상기 영상 표시부(120)에 의해 표시되는 영상에 포함된 대상의 위치로 이동시켜 좌표 획득을 위한 아이콘을 영상에 포함된 대상의 위치에 오버레이시키도록 구현될 수 있다.For example, when a user selects an icon from a user interface that selects an icon for coordinate acquisition in a template manner using a mouse, and dragged the selected icon with a mouse to display an image of an object included in the image displayed by the image display unit 120 Position to overlay the icon for coordinate acquisition on the position of the object included in the image.

상기 아이콘 조정부(124)는 사용자 조작에 따라 상기 아이콘 오버레이부(123)에 의해 영상에 포함된 대상의 위치에 오버레이된 좌표 획득을 위한 아이콘의 크기 및 각도를 해당 대상의 크기와 기울어진 각도에 맞게 변경한다.The icon adjusting unit 124 adjusts the size and angle of the icon for obtaining the coordinates overlaid on the position of the target included in the image by the icon overlay unit 123 according to the size of the target and the tilted angle Change it.

예컨대, 사용자가 마우스로 영상에 포함된 대상의 위치에 오버레이된 좌표 획득을 위한 아이콘을 클릭하면, 상기 아이콘 조정부(124)가 좌표 획득을 위한 아이콘 외곽에 아이콘의 크기 및 각도를 마우스를 드래그하여 조정할 수 있는 마커(marker)를 표시하고, 이 마커를 사용자가 마우스를 이용해 조작함으로써 영상에 포함된 대상의 위치에 오버레이된 좌표 획득을 위한 아이콘의 크기 및 각도를 해당 대상의 크기와 기울어진 각도에 맞게 변경할 수 있도록 구현될 수 있다. For example, when the user clicks an icon for acquiring the coordinates overlaid on the position of the object included in the image with the mouse, the icon adjusting unit 124 adjusts the size and angle of the icon to the outside of the icon for coordinate acquisition by dragging the mouse And the marker is manipulated by the user using the mouse, the size and angle of the icon for obtaining the coordinates overlaid on the position of the target included in the image are adjusted according to the size and inclined angle of the target Can be implemented.

상기 크기 정보 입력부(130)는 상기 영상 표시부(110)에 의해 표시되는 영상에 포함된 대상의 실제 크기 정보를 입력한다. 본 발명은 호모그래피 값을 계산하기 위해 기존과 달리 카메라 설치 높이, 각도를 포함하는 카메라 설치정보를 입력하지 않고, 상기 크기 정보 입력부(130)를 통해 카메라에 의해 촬영되어 표시되는 실제 크기를 미리 알고 있는 대상의 실제 크기 정보를 입력한다 The size information input unit 130 inputs actual size information of an object included in the image displayed by the image display unit 110. [ Unlike the conventional method, in order to calculate the homography value, the camera installation information including the camera installation height and angle is not input, and the actual size photographed and displayed by the camera through the size information input unit 130 is known Enter the actual size information of the subject

예컨대, 상기 크기 정보 입력부(130)가 영상에 포함된 대상의 실제 크기 정보 입력을 위한 사용자 인터페이스를 제공하고, 이를 통해 사용자로부터 영상에 포함된 대상의 실제 크기 정보를 입력받도록 구현될 수 있다. 예컨대, 대상이 사람일 경우, 대상의 실제 크기 정보가 대상의 키 크기일 수 있다. For example, the size information input unit 130 may provide a user interface for inputting the actual size information of the target included in the image, and receive the actual size information of the target included in the image from the user. For example, when the object is a person, the actual size information of the object may be the key size of the object.

상기 좌표 정보 획득부(140)는 상기 아이콘 배치부(120)에 의해 영상에 포함된 대상의 위치에 배치된 아이콘의 상단 좌표 및 하단 좌표를 포함하는 좌표쌍을 획득한다.The coordinate information obtaining unit 140 obtains a pair of coordinates including an upper coordinate and a lower coordinate of the icon arranged at the position of the object included in the image by the icon arranging unit 120. [

예컨대, 상기 좌표 정보 획득부(140)가 도 3 에 도시한 바와 같은 영상에 포함된 대상의 위치에 배치된 아이콘으로부터 아이콘 크기를 결정하는 상단 좌표 및 하단 좌표 획득을 위한 두 특징점의 좌표를 검출함에 의해 영상에 포함된 대상의 위치에 배치된 아이콘의 상단 좌표 및 하단 좌표를 포함하는 좌표쌍을 획득하도록 구현될 수 있다.For example, when the coordinate information obtaining unit 140 detects the coordinates of two feature points for obtaining the upper and lower coordinates, which determines the icon size from the icon placed at the position of the target included in the image as shown in FIG. 3 To obtain a pair of coordinates including an upper coordinate and a lower coordinate of an icon disposed at a position of an object included in the image.

상기 호모그래피 계산부(150)는 상기 크기 정보 입력부(130)에 의해 입력되는 적어도 2개의 대상에 대한 크기 정보와, 상기 좌표 정보 획득부(140)에 의해 획득되는 적어도 2개의 좌표쌍을 이용해 카메라 영상 보정을 위한 호모그래피(homograrhy) 값을 계산한다.The homography calculation unit 150 calculates the size information of at least two objects input by the size information input unit 130 and the coordinates of the camera using at least two coordinate pairs obtained by the coordinate information obtaining unit 140. [ Calculate the homograhy value for image correction.

한편, 발명의 부가적인 양상에 따르면, 상기 호모그래피 기반 카메라 영상 보정 장치(100)가 영상 보정부(160)를 더 포함할 수 있다. 상기 영상 보정부(160)는 상기 호모그래피 계산부(150)에 의해 계산된 호모그래피(homograrhy) 값을 이용해 상기 영상 표시부(110)에 의해 표시되는 영상의 이미지 평면상의 좌표들을 그라운드 평면상의 좌표로 변환하여 출력한다.Meanwhile, according to a further aspect of the invention, the homography-based camera image correction apparatus 100 may further include an image correction unit 160. The image correcting unit 160 corrects the coordinates on the image plane of the image displayed by the image display unit 110 by using the homograhy value calculated by the homography calculating unit 150 as coordinates on the ground plane And outputs it.

상기한 식 1에서 알 수 있듯이, 카메라 파라미터가 알려진 경우, 호모그래피를 쉽게 계산할 수 있다. 본 발명에서는 3차원 공간에서 지면에 수직으로 서 있는 높이가 알려진 대상(사람, 나무, 기둥 등)을 카메라로 촬영하여 상기 영상 표시부(110)를 통해 표시하고, 상기 아이콘 배치부(120)를 통해 아이콘을 배치하고, 상기 크기 정보 입력부(130)를 통해 대상에 대한 크기 정보를 입력한다.As can be seen from Equation 1 above, if the camera parameters are known, homography can be easily calculated. In the present invention, a camera (a person, a tree, a column, or the like) standing vertically on the ground in a three-dimensional space is photographed by a camera and displayed through the image display unit 110, Icon, and size information for the object is input through the size information input unit 130. FIG.

그러면, 상기 좌표 정보 획득부(140)에 의해 카메라 파라미터로 해당 대상의 좌표쌍들이 획득되고, 상기 호모그래피 계산부(150)가 사용자에 의해 입력된 해당 대상에 대한 크기 정보와 카메라 파라미터로 구해진 좌표쌍을 이용해 이미지 평면과 그라운드 평면 사이의 호모그래피를 구한다. 그러면, 영상 보정부(160)가 계산된 호모그래피(homograrhy) 값을 이용하여 주어진 이미지 평면상의 좌표들을 그라운드 평면상의 좌표로 변환하여 영상을 표시한다.Then, the coordinate pairs of the object are obtained by the coordinate information obtaining unit 140 using the camera parameters, and the homography calculating unit 150 obtains the coordinates of the coordinates of the corresponding object input by the user, Using the pair, we obtain the homography between the image plane and the ground plane. Then, the image correcting unit 160 converts the coordinates on the given image plane into the coordinates on the ground plane using the calculated homograhy value to display the image.

3차원 공간에서 지면에 수직으로 서 있는 대상은 한 개의 직선(principal axis)으로 모델링(modeling)될 수 있으며, 이 직선은 이미지 평면(image plane)에 직선으로 투사(projection)된다. 일반적으로 감시 영상의 주 대상이 사람인 점을 고려하여 직선의 아래쪽을 상단 좌표 및 하단 좌표라고 하면, 한 개의 좌표쌍은 도 3 에 도시한 바와 같이 이미지 평면상의 하단 좌표 zi와, 상단 좌표 zi', 그리고 3차원 공간에서의 직선의 높이 li로 정의할 수 있다. 대상들의 높이는 서로 다를 수 있다. An object standing perpendicular to the ground in three-dimensional space can be modeled as a principal axis, and this straight line is projected in a straight line to the image plane. Considering that the main object of the surveillance image is a person and the lower side of the straight line is the upper coordinate and the lower coordinate, one pair of coordinates is defined as the lower coordinate z i on the image plane and the upper coordinate z i ', And the height of the straight line l i in the three-dimensional space. The heights of the objects may be different.

여러 개의 좌표쌍에 대한 높이를 사용자가 입력하게 하면 알고리즘을 수행할 수 있게 된다. 2개 이상의 좌표쌍이 주어진다면, 그 수에 따라 2개일 경우에는 정확한 해(Exact solution)를 구할 수 있고, 2개 이상일 경우에는 최소 자승법(Least Mean Squared Error solution) 및 번들 조정(Bundle adjustment)을 통해 근사 해를 구할 수 있다.Allowing the user to enter a height for multiple coordinate pairs allows the algorithm to be performed. If two or more coordinate pairs are given, an exact solution can be obtained if the number is two or two according to the number. If the number is two or more, the least square method (Least Mean Squared Error solution) and the bundle adjustment An approximate solution can be obtained.

사용자 입력에는 수 픽셀(pixel)의 오차 등과 같은 노이즈(noise)가 있을 수 있고, 대상의 높이도 실제와 다를 수 있으므로, 여러 개의 물체를 사용하여 알고리즘을 수행하는 것이 좋다. 본 발명은 이러한 노이즈(noise)를 고려하여 에러가(error)가 최소화 되도록 한다. Since the user input may have noise such as an error of several pixels and the height of the object may be different from the actual one, it is preferable to perform the algorithm using several objects. The present invention takes such noise into account so that the error is minimized.

상기 좌표 정보 획득부(140)에 의해 제공되는 사용자 인터페이스(도면 도시 생략)에서는 획득된 좌표들에 대한 정보를 사용자에게 보여주고 확인할 수 있도록 구현될 수 있다. 따라서, 사용자는 획득된 좌표들이 적합한지 판단하고 부적합한 경우, 좌표들을 다시 설정할 수 있다.The user interface (not shown) provided by the coordinate information obtaining unit 140 may be implemented to display and obtain information on the obtained coordinates to the user. Thus, the user can determine if the acquired coordinates are appropriate and reset the coordinates if they are not.

최종적으로 모든 과정이 완료되면 상기 호모그래피 계산부(150)를 통해 호모그래피를 계산할 수 있고, 이 호모그래피를 이용해 상기 영상 보정부(160)가 이미지 평면상의 좌표를 그라운드 평면상의 좌표로 변환하여 영상 감시에 사용할 수 있게 된다.When all the processes are completed, the homography can be calculated through the homography calculation unit 150. Using the homography, the image correction unit 160 converts the coordinates on the image plane into coordinates on the ground plane, Can be used for surveillance.

예컨대, 상기 영상 보정부(160)가 별도의 윈도우를 통해 톱 뷰 모드(Top view mode)로 이미지 평면상의 좌표를 그라운드 평면상의 좌표로 변환하여 보여주고, 사용자가 입력한 아이콘의 위치를 표시하도록 구현될 수 있다. 변환된 영상에서의 x축과 y축은 실제 그라운드 평면의 축과 같으며, 표시 단위는 미터(meter)가 될 수 있다. 톱 뷰 모드(Top view mode)에서 변환된 영상의 평면이 아닌 부분은 왜곡이 많을 것이다. 사용자는 그라운드 평면에 해당하는 영역과 아이콘의 위치를 보고 계산이 잘 되었는지 확인할 수 있다.For example, the image corrector 160 transforms coordinates on the image plane into coordinates on the ground plane in a top view mode through a separate window, and displays the position of the icon input by the user . The x and y axes in the transformed image are the same as the axes of the actual ground plane, and the display unit can be a meter. In the top view mode, the non-plane part of the converted image will have many distortions. The user can check the position of the area corresponding to the ground plane and the position of the icon to see if the calculation is performed well.

예컨대, 상기 호모그래피 계산부(150)는 다음과 같은 호모그래피 계산 알고리즘을 통해 이미지 평면과 그라운드 평면 사이의 호모그래피를 구하도록 구현될 수 있다. 먼저, 카메라 파라미터의 내부 파라미터(Instrinsic parameter)의 주점(Principal point)은 이미지 센터(image center)(u0 = W/2, v0 = H/2)로 가정한다. 따라서, 알고리즘 수행 시 이미지 좌표에서 이미지 센터의 좌표(u0 = W/2, v0 = H/2)를 뺀 후 계산한다. 한편, 투영비(aspect ratio)는 αu = αv = 초점 거리 f로 가정한다.For example, the homography calculation unit 150 may be implemented to obtain a homography between an image plane and a ground plane through a homography calculation algorithm as follows. First, the principal point of an internal parameter of the camera parameter is assumed to be an image center (u 0 = W / 2, v 0 = H / 2). Therefore, when the algorithm is performed, the coordinates of the image center are subtracted from the coordinates of the image center (u 0 = W / 2, v 0 = H / 2). On the other hand, the aspect ratio is assumed to be α u = α v = focal distance f.

한편, 외부 파라미터(Extrinsic parameter)는 x축에 대한 회전 φx만 있다고 가정한다. 틸트 각(Tilt angle)은 0 ∼ 90°로 가정한다. 실제 좌표계(World coordinate)의 원점(origin)은 임의로 잡을 수 있으므로, 카메라 중심(camera center)의 좌표를 c = [0, 0, -h]T로 한다. 따라서, 그라운드 평면의 원점은 [0,0,0]T, 즉 카메라 중심을 그라운드 평면으로 수직 투사(projection)한 좌표가 된다. 회전(Rotation)과 카메라 중심(camera center)을 알면 병진(translation)을 알 수 있다.On the other hand, it is assumed that the extrinsic parameter is only the rotation? X about the x axis. The tilt angle is assumed to be 0 to 90 degrees. Since the origin of the world coordinate can be arbitrarily determined, let the coordinates of the camera center be c = [0, 0, -h] T. Thus, the origin of the ground plane is [0, 0, 0] T , that is, the projection of the camera center perpendicular to the ground plane. Knowing the rotation and the camera center can tell you the translation.

위의 가정은 카메라 조정(camera calibration) 문제에서의 일반적인 가정이며, 이와 같은 가정하에 구해야 할 카메라 파라미터는 초점 거리(focal length) f, 틸트각(tilt angle) θt, 카메라 높이(camera height) h이다. 이 때 카메라 파라미터 행렬(camera parameter matrix) K, 회전 행렬(rotation matrix) R, 병진 벡터(translation vector) r은 각각 다음과 같다.The above assumption is a general assumption in the camera calibration problem and the camera parameters to be obtained under these assumptions are focal length f, tilt angle θ t , camera height h to be. In this case, the camera parameter matrix K, the rotation matrix R, and the translation vector r are as follows.

Figure 112013058502110-pat00002
Figure 112013058502110-pat00002

Figure 112013058502110-pat00003

Figure 112013058502110-pat00003

Figure 112013058502110-pat00004
Figure 112013058502110-pat00004

또한, 틸드 각(tilt angle) θt와 φx는 좌표계 설정에 따라 다음과 같은 관계를 가진다.Also, the tilt angles θ t and φ x have the following relationship according to the coordinate system setting.

Figure 112013058502110-pat00005
Figure 112013058502110-pat00005

틸트 각(Tilt angle)의 범위 가정에 의해 φx의 범위는 다음과 같다.The range of φ x by the assumption of the range of the tilt angle is as follows.

Figure 112013058502110-pat00006
Figure 112013058502110-pat00006

카메라 파라미터(Camera parameter)의 가정에 의해 호모그래피 계산 알고리즘의 좌표계(coordinate system)는 도 4 와 같이 설정된다. 도 4 에서 I와 G는 각각 이미지 평면과 그라운드 평면을 나타낸다. xc, yc, zc는 카메라 좌표계(Camera coordinate system)의 축을 나타낸다. xw, yw, zw는 실제 좌표계(World coordinate system)의 축을 나타낸다. c는 카메라 중심을 나타낸다. Ow는 실제 좌표계의 원점(origin)을 나타낸다. z0은 주점(principal point)을 나타낸다. l은 대상의 높이를 나타낸다. z와 z'은 각각 이미지 평면상의 상단 좌표를 나타낸다. x와 x'은 각각 3D 공간에서의 하단 좌표 및 상단 좌표를 나타내며, x = [x, y, 0, 1]T,x' = [x, y, l, 1]T 이다.The coordinate system of the homography calculation algorithm is set as shown in FIG. 4 on the assumption of the camera parameter. In Fig. 4, I and G denote an image plane and a ground plane, respectively. x c , y c , and z c represent the axes of the camera coordinate system. x w , y w , and z w represent the axes of the world coordinate system. c represents the center of the camera. O w represents the origin of the actual coordinate system. z 0 represents the principal point. l represents the height of the object. z and z 'represent the top coordinates on the image plane, respectively. x and x 'represent the bottom and top coordinates in 3D space, respectively, and x = [x, y, 0,1] T , x' = [x, y, l, 1] T.

하단 좌표로부터 상단 좌표로의 변환을 'foot to head homology'라 한다. 'foot to head homology'에서의 가정은 대상이 그라운드 평면과 수직이어야 한다는 것이며, 이는 본 발명에서의 가정과 동일하다. 이미지 평면상의 하단 좌표 z와, 상단 좌표 z'은 다음 식 2와 같은 관계를 가진다.The transformation from the bottom coordinate to the top coordinate is called 'foot to head homology'. The assumption in 'foot to head homology' is that the object must be perpendicular to the ground plane, which is identical to the assumption in the present invention. The lower coordinate z and the upper coordinate z 'on the image plane have the relationship expressed by the following Equation 2.

(식 2)(Equation 2)

Figure 112013058502110-pat00007
Figure 112013058502110-pat00007

본 발명에서는 대상들의 높이가 모두 다를 수 있다고 가정하고 있으므로, 대상마다 호모로지(homology)가 다를 수 있다. 높이가 l인 대상의 'foot to head homology' Hl FH는 다음 식 3과 같이 계산될 수 있다.In the present invention, it is assumed that the heights of the objects may be different from each other, so that the homology may be different for each object. Of a height of the destination l 'foot to head homology' H l FH may be calculated as the following equation 3.

(식 3)(Equation 3)

Figure 112013058502110-pat00008
Figure 112013058502110-pat00008

여기서,here,

Figure 112013058502110-pat00009
Figure 112013058502110-pat00009

이다.to be.

행렬 Q는 대상의 높이와 관련이 없으며, 행렬 Q를 구하면 각 대상의 호모로지(homology)와 카메라 파라미터(camera parameter)를 모두 구할 수 있다. 식 2 및 식 3 으로부터 높이가 l인 대상의 이미지 평면상의 하단 좌표 z = [u, v]T와 상단 좌표 z' = [u', v']T의 관계를 다음과 같이 유도할 수 있다.The matrix Q is not related to the height of the object. If the matrix Q is obtained, both the homology and the camera parameter of each object can be obtained. From Equation 2 and Equation 3, the relation between the lower coordinate z = [u, v] T on the image plane of the object with the height l and the upper coordinate z '= [u', v '] T can be derived as follows.

Figure 112013058502110-pat00010
Figure 112013058502110-pat00010

Figure 112013058502110-pat00011
Figure 112013058502110-pat00011

이를 정리하면, 다음과 같은 식 4 및 식 5를 얻을 수 있다.In summary, the following equations 4 and 5 can be obtained.

(식 4)(Equation 4)

Figure 112013058502110-pat00012
Figure 112013058502110-pat00012

여기서, here,

(식 5)(Equation 5)

Figure 112013058502110-pat00013
Figure 112013058502110-pat00013

식 4로부터 n{하단 좌표, 상단 좌표, 높이} 개의 좌표쌍 {zi,zi',li}n i =1이 주어진다면, q에 대한 2n개의 선형 방정식을 얻을 수 있다.If from Equation 4 n {the lower coordinates, top coordinates, and height of a pair of coordinates} {z i, z i ', l i} n i = 1 is given, it is possible to obtain a 2n linear equations for q.

Figure 112013058502110-pat00014
Figure 112013058502110-pat00014

여기서,here,

Figure 112013058502110-pat00015
Figure 112013058502110-pat00015

이고, 이들은 좌표쌍으로부터 얻어질 수 있다. , Which can be obtained from a pair of coordinates.

만약, n = 2 라면, 정확한 해는If n = 2, then the exact solution is

Figure 112013058502110-pat00016
Figure 112013058502110-pat00016

이고,ego,

만약 n>2라면 최소 자승법에 의한 해는 식 6과 같다.If n> 2, the least squares solution is given by Equation 6.

(식 6)(Equation 6)

Figure 112013058502110-pat00017
Figure 112013058502110-pat00017

여기서 A+는 A의 의사역행렬(pseudo inverse matrix)이다.Where A + is a pseudo inverse matrix of A.

φx의 범위 조건과 식 5에 의해 벡터 q의 모든 엘리먼트(element)는 음수가 되어야 한다. 만약 위의 선형 해(linear solution)가 이 조건을 만족하지 못하면, 사용자의 입력에 오류가 많은 것으로 볼 수 있으므로, 다음 단계로 진행하지 않고 사용자에게 파라미터를 구할 수 없음을 알린다. 식 6에서 행렬 A의 의사역행렬(pseudo inverse matrix)이 존재하지 않는 경우도 같은 문제로 처리한다.All elements of vector q must be negative by the range condition of φ x and by Equation 5. If the above linear solution does not satisfy this condition, it can be seen that there is a lot of errors in the user's input. Therefore, the user does not proceed to the next step and informs the user that the parameter can not be obtained. The same problem occurs when the pseudo inverse matrix of matrix A does not exist in Eq. (6).

선형 해 q가 구해지면, 식 5와 φx에 의해 식 7의 카메라 파라미터가 쉽게 결정될 수 있다. Once the linear solution q is obtained, the camera parameters of Equation 7 can be easily determined by Equation 5 and? X.

(식 7)(Equation 7)

Figure 112013058502110-pat00018
Figure 112013058502110-pat00018

Figure 112013058502110-pat00019
Figure 112013058502110-pat00019

Figure 112013058502110-pat00020
Figure 112013058502110-pat00020

Figure 112013058502110-pat00021
Figure 112013058502110-pat00021

선형 해로 구한 카메라 파라미터들은 좌표쌍에 의해 노이즈(noise)가 존재하는 경우, 정확하지 않을 수 있다. 따라서 재투사 에러(reprojection error)를 최소화 하도록 파라미터(parameter)를 조정할 필요가 있다. The camera parameters obtained in linear solutions may not be accurate if there is noise due to the coordinate pair. Therefore, it is necessary to adjust the parameters to minimize the reprojection error.

번들 조정(Bundle adjustment)은 재투사 에러(reprojection error)를 최소화하는 파라미터를 얻기 위한 비선형 최적화(nonlinear optimization) 과정이며, 예컨대, LM(Levenberg Marquardt) 알고리즘을 사용할 수 있다.Bundle adjustment is a nonlinear optimization process for obtaining a parameter that minimizes reprojection error. For example, the LM (Levenberg Marquardt) algorithm can be used.

번들 조정(Bundle adjustment)에서는 이미지 평면상의 주어진 상단 좌표 zi'과 호모로지 Hl FH를 이용하여 하단 좌표 zi로부터 구한 상단 좌표

Figure 112013058502110-pat00022
사이의 에러
Figure 112013058502110-pat00023
를 최소화 하는 파라미터
Figure 112013058502110-pat00024
를 LM 알고리즘을 통하여 구한다.In the bundle adjustment, the upper coordinate z i 'on the image plane and the upper coordinate z i ' obtained from the lower coordinate z i using the homography H l FH
Figure 112013058502110-pat00022
Error between
Figure 112013058502110-pat00023
≪ / RTI >
Figure 112013058502110-pat00024
Is obtained through the LM algorithm.

Figure 112013058502110-pat00025
Figure 112013058502110-pat00025

여기서 here

Figure 112013058502110-pat00026
Figure 112013058502110-pat00026

이고,ego,

Figure 112013058502110-pat00027
Figure 112013058502110-pat00027

이다.to be.

호모로지(homology)에 의해 에러는 다음과 같이 재정의 될 수 있다.The error can be redefined as follows by homology.

Figure 112013058502110-pat00028
Figure 112013058502110-pat00028

여기서, here,

Figure 112013058502110-pat00029
Figure 112013058502110-pat00029

이고,ego,

Figure 112013058502110-pat00030
Figure 112013058502110-pat00030

그러면,

Figure 112013058502110-pat00031
에 대한
Figure 112013058502110-pat00032
의 편미분 계수들은then,
Figure 112013058502110-pat00031
For
Figure 112013058502110-pat00032
The partial differential coefficients of

Figure 112013058502110-pat00033
Figure 112013058502110-pat00033

Figure 112013058502110-pat00034
Figure 112013058502110-pat00034

이고,

Figure 112013058502110-pat00035
에 대한
Figure 112013058502110-pat00036
의 기울기는ego,
Figure 112013058502110-pat00035
For
Figure 112013058502110-pat00036
The slope of

Figure 112013058502110-pat00037
Figure 112013058502110-pat00037

여기서,

Figure 112013058502110-pat00038
Figure 112013058502110-pat00039
에 대한 벡터
Figure 112013058502110-pat00040
의 자코비안(Jacobian) 행렬이다.here,
Figure 112013058502110-pat00038
The
Figure 112013058502110-pat00039
Vector for
Figure 112013058502110-pat00040
It is a Jacobian procession.

Figure 112013058502110-pat00041
Figure 112013058502110-pat00041

이에 따라

Figure 112013058502110-pat00042
에 대한
Figure 112013058502110-pat00043
의 자코비안 행렬은Accordingly
Figure 112013058502110-pat00042
For
Figure 112013058502110-pat00043
The Jacobian procession of

Figure 112013058502110-pat00044
Figure 112013058502110-pat00044

가 된다. .

k번 반복했을 때, 파라미터들은 다음의 식과 같이 업데이트 된다.When you repeat k times, the parameters are updated as follows:

Figure 112013058502110-pat00045
Figure 112013058502110-pat00045

Figure 112013058502110-pat00046
Figure 112013058502110-pat00046

반복은 수렴될 때까지 계속되며, μ는 수렴 안정성 및 속도를 제어하고, 역의 존재가 확실한 작은 값으로 설정될 수 있다.The iteration continues until it converges, and μ can be set to a small value that controls the convergence stability and speed, and the existence of the inverse is assured.

이와 같은 알고리즘을 통해 카메라 파라미터들이 구해지면, 그라운드 평면에서 이미지 평면으로의 또는 그 반대로의 호모그래피(homography)를 구할 수 있고, 평면간 좌표 변환을 수행할 수 있다.Once the camera parameters are obtained through such an algorithm, homography from the ground plane to the image plane or vice versa can be obtained and the interplanar coordinate transformation can be performed.

Figure 112013058502110-pat00047
Figure 112013058502110-pat00047

Figure 112013058502110-pat00048
Figure 112013058502110-pat00048

따라서, 이와 같이 구현함에 의해 본 발명은 카메라 설치 높이, 각도를 포함하는 카메라 설치정보를 입력하는 번거로움 없이, 실제 크기를 알고 있는 대상이 포함된 영상에 좌표 획득을 위한 아이콘을 간단히 배치함에 의해 호모그래피(homography)값을 계산할 수 있으므로, 사용자 편의성을 향상시킬 수 있게 된다.Therefore, according to the present invention, by simply arranging the icon for acquiring the coordinates on the image including the object of which the actual size is known, without the hassle of inputting the camera installation information including the camera installation height and angle, Since the homography value can be calculated, the user's convenience can be improved.

이상에서 설명한 바와 같은 호모그래피 계산장치에 의해 수행되는 카메라 영상 보정을 위한 호모그래피 계산 과정을 도 5 를 참조하여 알아본다. 도 5 는 본 발명에 따른 호모그래피 기반 카메라 영상 보정 방법의 일 실시예의 구성을 도시한 흐름도이다.A homography calculation process for camera image correction performed by the homography calculation apparatus as described above will be described with reference to FIG. 5 is a flowchart illustrating a configuration of an embodiment of a homography-based camera image correction method according to the present invention.

먼저, 영상 표시단계(510)에서 호모그래피 계산장치가 카메라에 의해 촬영된 실제 크기를 알고 있는 대상이 포함된 영상을 표시한다. 실제 크기를 알고 있는 대상이 포함된 영상 표시와 관련해서는 기 설명하였으므로, 중복 설명은 생략한다.First, in the image display step 510, the homography calculation device displays an image including an object whose actual size is photographed by the camera. Since we have already explained the image display with the object of which the actual size is known, the redundant explanation is omitted.

그 다음, 아이콘 배치단계(520)에서 호모그래피 계산장치가 상기 영상 표시단계(510)에 의해 표시되는 영상에 포함된 대상의 위치에 좌표 획득을 위한 아이콘을 배치하고, 해당 대상의 크기와 기울어진 각도에 맞게 아이콘의 크기 및 각도를 조정한다. Then, in the icon placement step 520, the homography calculation device arranges an icon for obtaining coordinates at the position of the target included in the image displayed by the image display step 510, Adjust the size and angle of the icon to fit the angle.

이 때, 상기 좌표 획득을 위한 아이콘이 아이콘 크기를 결정하는 상단 좌표 및 하단 좌표 획득을 위한 두 특징점을 포함할 수 있다. 좌표 획득을 위한 아이콘 배치, 크기 및 각도 조정과 관련해서는 기 설명하였으므로, 중복 설명은 생략한다.At this time, the icon for obtaining the coordinates may include two feature points for obtaining the upper and lower coordinates, which determine the icon size. The arrangement of the icon for acquiring the coordinates, the adjustment of the size and the angle have been described earlier, and thus, the description of the overlap is omitted.

그 다음, 크기 정보 입력단계(530)에서 호모그래피 계산장치가 상기 영상 표시단계(510)에 의해 표시되는 영상에 포함된 대상의 실제 크기 정보를 입력한다. 영상에 포함된 대상의 실제 크기 정보 입력과 관련해서는 기 설명하였으므로, 중복 설명은 생략한다.Then, in the size information input step 530, the homography computing device inputs the actual size information of the object included in the image displayed by the image display step 510. The description of the actual size information input of the object included in the image has been described earlier, so redundant description is omitted.

그 다음, 좌표 정보 획득단계(540)에서 호모그래피 계산장치가 상기 아이콘 배치단계(520)에 의해 영상에 포함된 대상의 위치에 배치된 아이콘의 상단 좌표 및 하단 좌표를 포함하는 좌표쌍을 획득한다. 좌표쌍 획득과 관련해서는 기 설명하였으므로, 중복 설명은 생략한다.Then, in the coordinate information obtaining step 540, the homography computing device obtains a pair of coordinates including the upper and lower coordinates of the icon arranged at the position of the object included in the image by the icon placing step 520 . The description of the coordinate pair acquisition is omitted here, so redundant description is omitted.

그 다음, 호모그래피 계산단계(550)에서 호모그래피 계산장치가 상기 크기 정보 입력단계(530)에 의해 입력되는 적어도 2개의 대상에 대한 크기 정보와, 상기 좌표 정보 획득단계(540)에 의해 획득된 적어도 2개의 좌표쌍을 이용해 카메라 영상 보정을 위한 호모그래피(homograrhy) 값을 계산한다. 카메라 영상 보정을 위한 호모그래피(homograrhy) 값 계산과 관련해서는 기 설명하였으므로, 중복 설명은 생략한다.Next, in the homography calculation step 550, the homography calculation device calculates the size information of at least two objects input by the size information input step 530 and the size information of the at least two objects inputted by the coordinate information acquisition step 540 Compute the homograhy value for camera image correction using at least two coordinate pairs. The description of the homograhy value calculation for the camera image correction has been described earlier, so redundant description is omitted.

한편, 발명의 부가적인 양상에 따르면, 상기 호모그래피 기반 카메라 영상 보정 방법이 영상 보정단계(560)를 더 포함할 수 있다. 상기 영상 보정단계(560)에서 호모그래피 계산장치가 상기 호모그래피 계산단계(550)에 의해 계산된 호모그래피(homograrhy) 값을 이용해 상기 영상 표시단계(510)에 의해 표시되는 영상의 이미지 평면상의 좌표들을 그라운드 평면상의 좌표로 변환하여 출력한다.According to a further aspect of the present invention, the homography-based camera image correction method may further include an image correction step 560. In the image correcting step 560, the homography calculating device calculates the coordinates of the image on the image plane of the image displayed by the image displaying step 510 using the homograhy value calculated by the homography calculating step 550 Into coordinates on the ground plane and outputs the coordinates.

따라서, 이와 같이 구현함에 의해 본 발명은 카메라 설치 높이, 각도를 포함하는 카메라 설치정보를 입력하는 번거로움 없이, 실제 크기를 알고 있는 대상이 포함된 영상에 좌표 획득을 위한 아이콘을 간단히 배치함에 의해 호모그래피(homography)값을 계산할 수 있고, 이에 따라 사용자 편의성을 향상시킬 수 있으므로, 상기에서 제시한 본 발명의 목적을 달성할 수 있다.Therefore, according to the present invention, by simply arranging the icon for acquiring the coordinates on the image including the object of which the actual size is known, without the hassle of inputting the camera installation information including the camera installation height and angle, It is possible to calculate a homography value, thereby improving the user's convenience. Therefore, the above-described object of the present invention can be achieved.

본 발명은 첨부된 도면에 의해 참조되는 바람직한 실시예를 중심으로 기술되었지만, 이러한 기재로부터 후술하는 특허청구범위에 의해 포괄되는 범위내에서 본 발명의 범주를 벗어남이 없이 다양한 변형이 가능하다는 것은 명백하다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. .

본 발명은 영상 보정(Image calibration) 기술분야 및 이의 응용 기술분야에서 산업상으로 이용 가능하다.The present invention is industrially applicable in the field of image calibration technology and its application technology.

100 : 호모그래피 계산장치 110 : 영상 표시부
120 : 아이콘 배치부 121 : 아이콘 저장부
122 : 아이콘 선택부 123 : 아이콘 오버레이부
124 : 아이콘 조정부 130 : 크기 정보 입력부
140 : 좌표 정보 획득부 150 : 호모그래피 계산부
160 : 영상 보정부
100: Homography calculating device 110:
120: icon placement unit 121: icon storage unit
122: icon selection unit 123: icon overlay unit
124: icon adjusting unit 130: size information input unit
140: Coordinate information acquisition unit 150: Homography calculation unit
160: image correction unit

Claims (7)

카메라에 의해 촬영된 실제 크기를 알고 있는 대상이 포함된 영상을 표시하는 영상 표시부와;
상기 영상 표시부에 의해 표시되는 영상에 포함된 대상의 위치에 좌표 획득을 위한 아이콘을 배치하고, 해당 대상의 크기와 기울어진 각도에 맞게 아이콘의 크기 및 각도를 조정하는 아이콘 배치부와;
상기 영상 표시부에 의해 표시되는 영상에 포함된 대상의 실제 크기 정보를 입력하는 크기 정보 입력부와;
상기 아이콘 배치부에 의해 영상에 포함된 대상의 위치에 배치된 아이콘의 상단 좌표 및 하단 좌표를 포함하는 좌표쌍을 획득하는 좌표 정보 획득부와;
상기 크기 정보 입력부에 의해 입력되는 적어도 2개의 대상에 대한 크기 정보와, 상기 좌표 정보 획득부에 의해 획득되는 적어도 2개의 좌표쌍을 이용해 카메라 영상 보정을 위한 호모그래피(homograrhy) 값을 계산하는 호모그래피 계산부를;
포함하는 호모그래피 기반 카메라 영상 보정 장치에 있어서,
상기 아이콘 배치부가:
좌표 획득을 위한 아이콘을 저장하는 아이콘 저장부와;
사용자 조작에 따라 상기 아이콘 저장부에 저장된 좌표 획득을 위한 아이콘을 선택하는 아이콘 선택부와;
사용자 조작에 따라 상기 아이콘 선택부에 의해 선택된 좌표 획득을 위한 아이콘을 영상에 포함된 대상의 위치에 오버레이시키는 아이콘 오버레이부와;
사용자 조작에 따라 상기 아이콘 오버레이부에 의해 영상에 포함된 대상의 위치에 오버레이된 좌표 획득을 위한 아이콘의 크기 및 각도를 해당 대상의 크기와 기울어진 각도에 맞게 변경하는 아이콘 조정부를;
포함하는 것을 특징으로 하는 호모그래피 기반 카메라 영상 보정 장치.
An image display unit for displaying an image including an object whose actual size is photographed by a camera;
An icon arrangement unit for arranging an icon for acquiring coordinates at a position of a target included in the image displayed by the image display unit and adjusting the size and angle of the icon according to the size and tilted angle of the target;
A size information input unit for inputting actual size information of an object included in the image displayed by the image display unit;
A coordinate information acquiring unit for acquiring a coordinate pair including an upper coordinate and a lower coordinate of the icon arranged at the position of the object included in the image by the icon arranging unit;
A homography ratio calculation unit for calculating a homogrargy value for camera image correction using size information of at least two objects input by the size information input unit and at least two coordinate pairs obtained by the coordinate information obtaining unit, A calculation unit;
11. A homography-based camera image correction apparatus comprising:
The icon arranging unit:
An icon storage unit for storing icons for obtaining coordinates;
An icon selection unit for selecting an icon for acquiring coordinates stored in the icon storage unit according to a user operation;
An icon overlay unit for overlaying an icon for coordinate acquisition selected by the icon selection unit on a position of an object included in the image according to a user operation;
An icon adjusting unit for changing the size and angle of the icon for obtaining the coordinates overlaid on the position of the target included in the image by the icon overlay unit according to the size of the target and the tilted angle according to the user operation;
Wherein the camera image correcting device is a homography-based camera image correcting device.
삭제delete 제 1 항에 있어서,
상기 좌표 획득을 위한 아이콘이:
아이콘 크기를 결정하는 상단 좌표 및 하단 좌표 획득을 위한 두 특징점을 포함하는 것을 특징으로 하는 호모그래피 기반 카메라 영상 보정 장치.
The method according to claim 1,
The icon for obtaining the coordinates is:
And a feature point for obtaining an upper coordinate and a lower coordinate for determining the size of the icon.
제 1 항 또는 제 3 항에 있어서,
상기 호모그래피 기반 카메라 영상 보정 장치가:
상기 호모그래피 계산부에 의해 계산된 호모그래피(homograrhy) 값을 이용해 상기 영상 표시부에 의해 표시되는 영상의 이미지 평면상의 좌표들을 그라운드 평면상의 좌표로 변환하여 출력하는 영상 보정부를;
더 포함하는 것을 특징으로 하는 호모그래피 기반 카메라 영상 보정 장치.
The method according to claim 1 or 3,
Wherein the homography-based camera image correction apparatus comprises:
An image correcting unit for converting the coordinates on the image plane of the image displayed by the image display unit into coordinates on the ground plane by using a homograhy value calculated by the homography calculating unit;
Wherein the camera image correcting device further comprises:
카메라 영상 보정 장치에 의해 수행되는 호모그래피 기반 카메라 영상 보정 방법에 있어서,
카메라에 의해 촬영된 실제 크기를 알고 있는 대상이 포함된 영상을 표시하는 영상 표시단계와;
상기 영상 표시단계에 의해 표시되는 영상에 포함된 대상의 위치에 좌표 획득을 위한 아이콘을 배치하고, 해당 대상의 크기와 기울어진 각도에 맞게 아이콘의 크기 및 각도를 조정하는 아이콘 배치단계와;
상기 영상 표시단계에 의해 표시되는 영상에 포함된 대상의 실제 크기 정보를 입력하는 크기 정보 입력단계와;
상기 아이콘 배치단계에 의해 영상에 포함된 대상의 위치에 배치된 아이콘의 상단 좌표 및 하단 좌표를 포함하는 좌표쌍을 획득하는 좌표 정보 획득단계와;
상기 크기 정보 입력단계에 의해 입력되는 적어도 2개의 대상에 대한 크기 정보와, 상기 좌표 정보 획득단계에 의해 획득되는 적어도 2개의 좌표쌍을 이용해 카메라 영상 보정을 위한 호모그래피(homograrhy) 값을 계산하는 호모그래피 계산단계를;
포함하는 호모그래피 기반 카메라 영상 보정 방법에 있어서,
상기 아이콘 배치단계에서 사용자 조작에 따라 좌표 획득을 위한 아이콘을 선택받고, 선택된 좌표 획득을 위한 아이콘을 영상에 포함된 대상의 위치에 오버레이시키고, 영상에 포함된 대상의 위치에 오버레이된 좌표 획득을 위한 아이콘의 크기 및 각도를 해당 대상의 크기와 기울어진 각도에 맞게 변경하는 것을 특징으로 하는 호모그래피 기반 카메라 영상 보정 방법.
A homography-based camera image correction method performed by a camera image correction device,
An image display step of displaying an image including an object whose actual size is photographed by a camera;
An icon placement step of arranging an icon for acquiring coordinates at a position of a target included in the image displayed by the image display step and adjusting the size and angle of the icon according to the size and tilted angle of the target;
A size information input step of inputting actual size information of an object included in the image displayed by the image display step;
A coordinate information acquiring step of acquiring a coordinate pair including an upper coordinate and a lower coordinate of the icon arranged at the position of the object included in the image by the icon disposing step;
Calculating a homograhy value for camera image correction using size information of at least two objects input by the size information input step and at least two coordinate pairs obtained by the coordinate information obtaining step, Graph computation steps;
A method for correcting a homography-based camera image,
In the icon placement step, an icon for coordinate acquisition is selected according to a user operation, an icon for selecting a coordinate is overlaid on a position of an object included in the image, and an icon for overlaying coordinates Wherein the size and the angle of the icon are changed according to the size and the inclined angle of the corresponding object.
제 5 항에 있어서,
상기 호모그래피 기반 카메라 영상 보정 방법이:
상기 호모그래피 계산단계에 의해 계산된 호모그래피(homograrhy) 값을 이용해 상기 영상 표시단계에 의해 표시되는 영상의 이미지 평면상의 좌표들을 그라운드 평면상의 좌표로 변환하여 출력하는 영상 보정단계를;
더 포함하는 것을 특징으로 하는 호모그래피 기반 카메라 영상 보정 방법.
6. The method of claim 5,
The homography-based camera image correction method includes:
An image correction step of converting the coordinates on the image plane of the image displayed by the image display step into coordinates on the ground plane by using the homograhy value calculated by the homography calculation step;
Further comprising the steps of: (a)
제 5 항 또는 제 6 항에 있어서,
상기 좌표 획득을 위한 아이콘이:
아이콘 크기를 결정하는 상단 좌표 및 하단 좌표 획득을 위한 두 특징점을 포함하는 것을 특징으로 하는 호모그래피 기반 카메라 영상 보정 방법.
The method according to claim 5 or 6,
The icon for obtaining the coordinates is:
And a feature point for obtaining an upper coordinate and a lower coordinate for determining an icon size.
KR20130075896A 2013-06-28 2013-06-28 camera image calibration apparatus and method based on homography calculation KR101489468B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130075896A KR101489468B1 (en) 2013-06-28 2013-06-28 camera image calibration apparatus and method based on homography calculation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130075896A KR101489468B1 (en) 2013-06-28 2013-06-28 camera image calibration apparatus and method based on homography calculation

Publications (2)

Publication Number Publication Date
KR20150002273A KR20150002273A (en) 2015-01-07
KR101489468B1 true KR101489468B1 (en) 2015-02-03

Family

ID=52475736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130075896A KR101489468B1 (en) 2013-06-28 2013-06-28 camera image calibration apparatus and method based on homography calculation

Country Status (1)

Country Link
KR (1) KR101489468B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230030996A (en) 2021-08-26 2023-03-07 현대자동차주식회사 Object tracking apparatus and method
US11783507B2 (en) 2020-08-25 2023-10-10 Samsung Electronics Co., Ltd. Camera calibration apparatus and operating method
US12022052B2 (en) 2020-08-25 2024-06-25 Samsung Electronics Co., Ltd. Method and apparatus for 3D reconstruction of planes perpendicular to ground

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100046544A (en) * 2008-10-27 2010-05-07 삼성전자주식회사 Image distortion compensation method and apparatus
KR20100103067A (en) * 2009-03-13 2010-09-27 부산대학교 산학협력단 A remote sensing method of diverse signboards' size and apparatus using thereof
KR20120021666A (en) * 2010-08-12 2012-03-09 금오공과대학교 산학협력단 Panorama image generating method
JP2012054914A (en) * 2010-08-03 2012-03-15 Kddi Corp Camera parameter calibration device and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100046544A (en) * 2008-10-27 2010-05-07 삼성전자주식회사 Image distortion compensation method and apparatus
KR20100103067A (en) * 2009-03-13 2010-09-27 부산대학교 산학협력단 A remote sensing method of diverse signboards' size and apparatus using thereof
JP2012054914A (en) * 2010-08-03 2012-03-15 Kddi Corp Camera parameter calibration device and program
KR20120021666A (en) * 2010-08-12 2012-03-09 금오공과대학교 산학협력단 Panorama image generating method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783507B2 (en) 2020-08-25 2023-10-10 Samsung Electronics Co., Ltd. Camera calibration apparatus and operating method
US12022052B2 (en) 2020-08-25 2024-06-25 Samsung Electronics Co., Ltd. Method and apparatus for 3D reconstruction of planes perpendicular to ground
KR20230030996A (en) 2021-08-26 2023-03-07 현대자동차주식회사 Object tracking apparatus and method

Also Published As

Publication number Publication date
KR20150002273A (en) 2015-01-07

Similar Documents

Publication Publication Date Title
US10825198B2 (en) 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images
US11290704B2 (en) Three dimensional scanning system and framework
JP5580164B2 (en) Optical information processing apparatus, optical information processing method, optical information processing system, and optical information processing program
US8326021B2 (en) Measurement apparatus and control method
AU2011312140C1 (en) Rapid 3D modeling
US7746377B2 (en) Three-dimensional image display apparatus and method
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
US10977857B2 (en) Apparatus and method of three-dimensional reverse modeling of building structure by using photographic images
JP5210203B2 (en) High-precision stereo camera calibration based on image differences
US10771776B2 (en) Apparatus and method for generating a camera model for an imaging system
JP2011253376A (en) Image processing device, image processing method and program
JP6721111B2 (en) Camera parameter estimation device, method and program
US11222433B2 (en) 3 dimensional coordinates calculating apparatus and 3 dimensional coordinates calculating method using photo images
KR101489468B1 (en) camera image calibration apparatus and method based on homography calculation
Nozick Multiple view image rectification
JP2011155412A (en) Projection system and distortion correction method in the same
JP2009253715A (en) Camera calibrating device, camera calibrating method, camera calibrating program, and recording medium for recording the program
JP2007033087A (en) Calibration device and method
Yang et al. Effect of field of view on the accuracy of camera calibration
Bingwei et al. Accurate geometric camera calibration technique using multi-views of a non-metric planar grid
JP2005174151A (en) Three-dimensional image display device and method
JP6448413B2 (en) Roof slope estimation system and roof slope estimation method
KR20140099622A (en) Robot localization detecting system using a multi-view image and method thereof
JP4409924B2 (en) Three-dimensional image display apparatus and method
JP4427305B2 (en) Three-dimensional image display apparatus and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20180129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 6