KR20180054219A - Apparatus and method for mapping coordinate of omnidirectional images - Google Patents

Apparatus and method for mapping coordinate of omnidirectional images Download PDF

Info

Publication number
KR20180054219A
KR20180054219A KR1020160151880A KR20160151880A KR20180054219A KR 20180054219 A KR20180054219 A KR 20180054219A KR 1020160151880 A KR1020160151880 A KR 1020160151880A KR 20160151880 A KR20160151880 A KR 20160151880A KR 20180054219 A KR20180054219 A KR 20180054219A
Authority
KR
South Korea
Prior art keywords
image
pixel
coordinates
coordinate
camera
Prior art date
Application number
KR1020160151880A
Other languages
Korean (ko)
Inventor
김병남
이민우
김영달
Original Assignee
주식회사 센서뷰
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 센서뷰 filed Critical 주식회사 센서뷰
Priority to KR1020160151880A priority Critical patent/KR20180054219A/en
Publication of KR20180054219A publication Critical patent/KR20180054219A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G06T3/0018—
    • G06T3/0031—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G06T2207/20041—Distance transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20068—Projection on vertical or horizontal image axis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

Provided are a method and an apparatus for mapping coordinates of an omnidirectional image. An apparatus for mapping coordinates of an omnidirectional image according to an embodiment of the present invention includes: an omnidirectional image acquisition unit for acquiring a first image, which is an omnidirectional space image, using a reflection mirror and a camera; a camera coordinate acquisition unit for acquiring GPS coordinates, including latitude and longitude, of the camera; a coordinate mapping unit for mapping the acquired GPS coordinates of the camera as center coordinates of the first image; and an absolute coordinate creation unit for converting the first image into a second image, which is a space image, creating a distance vector of each pixel from the second image on the basis of the center coordinates, and creating absolute coordinates based on the longitude and latitude of each pixel on the basis of the distance vector of each pixel. According to an embodiment of the present invention, when an omnidirectional image is acquired, GPS-based absolute coordinates with respect to a certain position included in the omnidirectional image can be easily mapped. In addition, there is an effect of reducing manpower, working hours and cost for mapping GPS information with respect to an omnidirectional image.

Description

전방위 영상의 좌표 맵핑 방법 및 장치{APPARATUS AND METHOD FOR MAPPING COORDINATE OF OMNIDIRECTIONAL IMAGES}Field of the Invention < RTI ID = 0.0 > [0001] < / RTI &

본 발명은 전방위 영상의 좌표 맵핑 방법 및 장치에 관한 것으로서, 더욱 상세하게는 전방위 영상의 각 픽셀을 경도·위도 기반의 절대 좌표로 맵핑하는 기술에 관한 것이다.The present invention relates to a coordinate mapping method and apparatus for omni-directional images, and more particularly, to a technique for mapping each pixel of an omni-directional image to absolute coordinates based on longitude and latitude.

최근, 도로나 지형, 건물 등을 시각적으로 인식할 수 있도록, 전자 지도 상에 해당 지역의 실제 사진을 함께 표시해주는 파노라마 사진 지리 정보 제공 서비스인 로드 뷰(road view) - 스트리트 뷰(street view)라고도 한다 - 가 큰 각광을 받고 있다.Road view - a street view - a panorama geographical information service that displays actual photographs of an area on an electronic map so that people can visually recognize roads, terrain, and buildings. Is getting a great deal of attention.

이러한 로드 뷰를 생성하기 위해서는, 일반적으로, 전방위 영상(예를 들어 파노라마 사진 등)을 촬영할 수 있는 촬영 장치가 설치된 복수의 차량(이하, ‘로드 뷰 촬영 차량’이라 칭함)을 이용하여 촬영 대상인 각 지역들의 도로를 운행하면서 전방위 영상을 촬영하고, 이후 각 로드 뷰 촬영 차량들이 촬영한 전방위 영상을 취합하여 촬영 대상 지역의 로드 뷰를 완성한다.In order to generate such a road view, a plurality of vehicles (hereinafter referred to as " road view photographing vehicles ") provided with photographing apparatuses capable of photographing omnidirectional images (e.g., panoramic photographs) The road view of the area to be photographed is completed by collecting the omnidirectional images while driving the roads of the regions, and then collecting the omnidirectional images taken by the respective road view photographing vehicles.

이때, 전방위 영상에 포함된 특정 건물 등의 특정 위치 정보는 전방위 영상과 GPS 정보를 별도로 연동해야만 하며, 이를 위한 별도의 인원이 많은 시간을 투자하여 작업해야 하는 어려움이 있다.At this time, the specific location information such as the specific building included in the omnidirectional image must be linked with the omnidirectional image and the GPS information separately, and it is difficult to work with a lot of extra time for this.

이에, 전방위 영상을 획득 시 전방위 영상에 포함된 임의의 위치에 대한 GPS 기반의 절대 좌표를 용이하게 맵핑할 수 있는 방안이 요구되고 있다.Accordingly, there is a demand for a method for easily mapping the GPS-based absolute coordinates of an arbitrary position included in the omnidirectional image when acquiring the omnidirectional image.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 전방위 영상을 획득 시 전방위 영상에 포함된 임의의 위치에 대한 GPS 기반의 절대 좌표를 용이하게 맵핑할 수 있는 방안을 제공하고자 한다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems of the conventional art, and it is an object of the present invention to provide a method for easily mapping an absolute coordinate of a GPS based on an arbitrary position included in an omnidirectional image.

상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 전방위 영상의 좌표 맵핑 장치는 반사 거울(reflection mirror)과 카메라를 이용하여 전방위(omnidirectional)의 공간 영상인 제1 영상을 획득하는 전방위 영상 획득부, 상기 카메라의 GPS 좌표 - 위도와 경도를 포함함 - 를 획득하는 카메라 좌표 획득부, 상기 획득된 카메라의 GPS 좌표를 상기 제1 영상의 중심 좌표로 맵핑하는 좌표 맵핑부 및 상기 제1 영상을 평면의 공간 영상인 제2 영상으로 변환하고, 상기 제2 영상에서 상기 중심 좌표를 기준으로 각 픽셀별 거리 벡터를 생성하며, 상기 각 픽셀별 거리 벡터에 기초하여 각 픽셀별 경도·위도 기반의 절대 좌표를 생성하는 절대 좌표 생성부를 포함하는 것을 특징으로 한다.In order to achieve the above object, an apparatus for mapping an omni-directional image according to an embodiment of the present invention includes an omnidirectional spatial image acquiring unit for acquiring a first image using a reflection mirror and a camera, A camera coordinate acquisition unit for acquiring an image of the camera, a GPS coordinate of the camera including latitude and longitude, a coordinate mapping unit for mapping the obtained GPS coordinates of the camera to the center coordinates of the first image, And generating a distance vector for each pixel on the basis of the center coordinates in the second image, and generating a distance vector for each pixel based on the longitude / latitude of each pixel based on the distance vector for each pixel, And an absolute coordinate generating unit for generating an absolute coordinate of the target object.

상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 전방위 영상의 좌표 맵핑 장치가 전방위 영상의 좌표를 맵핑하는 방법은 (a) 반사 거울(reflection mirror)과 카메라를 이용하여 전방위(omnidirectional)의 공간 영상인 제1 영상을 획득하는 단계, (b) 상기 카메라의 GPS 좌표 - 위도와 경도를 포함함 - 를 획득하는 단계, (c) 상기 획득된 카메라의 GPS 좌표를 상기 제1 영상의 중심 좌표로 맵핑하는 단계 및 (d) 상기 제1 영상을 평면의 공간 영상인 제2 영상으로 변환하고, 상기 제2 영상에서 상기 중심 좌표를 기준으로 각 픽셀별 거리 벡터를 생성하며, 상기 각 픽셀별 거리 벡터에 기초하여 각 픽셀별 경도·위도 기반의 절대 좌표를 생성하는 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of mapping coordinates of an omni-directional image using an omnidirectional image sensor using a reflection mirror and a camera, (B) acquiring a GPS coordinate of the camera, including latitude and longitude; (c) acquiring a GPS coordinate of the obtained camera from the first image, which is a spatial image of the first image, (D) transforming the first image into a second image that is a spatial image of a plane, generating a distance vector for each pixel based on the center coordinates in the second image, And generating absolute coordinates based on the longitude and latitude for each pixel based on the star distance vector.

본 발명의 일 실시예에 따르면, 전방위 영상을 획득 시 전방위 영상에 포함된 임의의 위치에 대한 GPS 기반의 절대 좌표를 용이하게 맵핑할 수 있다.According to an embodiment of the present invention, the GPS-based absolute coordinates of an arbitrary position included in the omnidirectional image can be easily mapped when the omnidirectional image is acquired.

또한, 전방위 영상에 대한 GPS 정보를 맵핑하는 인력과 작업 시간 및 비용 등의 감소 효과가 있다.In addition, there is an effect of reducing manpower for mapping GPS information on the omnidirectional image, work time and cost.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.It should be understood that the effects of the present invention are not limited to the above effects and include all effects that can be deduced from the detailed description of the present invention or the configuration of the invention described in the claims.

도 1은 본 발명의 일 실시예에 따른 전방위 영상의 좌표 맵핑 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 좌표 맵핑 장치의 구성을 도시한 블록도이다.
도 3은 좌표 맵핑 장치의 절대 좌표 계산을 설명하기 위한 도면이다.
도 4 본 발명의 일 실시예에 따른 좌표 맵핑 과정을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 전방위의 공간 영상과 이를 변환한 평면의 공간 영상을 도시한 도면이다.1 is a diagram illustrating a configuration of a coordinate mapping system for omni-directional images according to an embodiment of the present invention.
2 is a block diagram showing a configuration of a coordinate mapping apparatus according to an embodiment of the present invention.
3 is a diagram for explaining the absolute coordinate calculation of the coordinate mapping apparatus.
4 is a flowchart illustrating a coordinate mapping process according to an embodiment of the present invention.
5 is a view showing a spatial image of an omnidirectional space and a spatial image of a plane transformed with the omnidirectional spatial image according to an embodiment of the present invention.

다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다.When "connected" to another part, it includes not only "directly connected" but also "indirectly connected" with another member in between.

또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 구비할 수 있다는 것을 의미한다.Also, when an element is referred to as "comprising ", it means that it can include other elements, not excluding other elements unless specifically stated otherwise.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 전방위 영상의 좌표 맵핑 시스템의 구성을 도시한 도면이다.1 is a diagram illustrating a configuration of a coordinate mapping system for omni-directional images according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 전방위 영상의 좌표 맵핑 시스템(100)은 전방위 영상 촬영 장치(110) 및 좌표 맵핑 장치(120)를 포함할 수 있다.The coordinate mapping system 100 of an omni-directional image according to an embodiment of the present invention may include the omniazimetric imaging apparatus 110 and the coordinate mapping apparatus 120.

각 구성 요소를 간략히 설명하면, 전방위 영상 촬영 장치(110)는 차량의 루프 등에 탑재될 수 있으며, 전방위 영상을 획득하기 위해 역 원뿔 형태의 반사 거울(reflection mirror type)과 해당 반사 거울에 반사되는 상(像)을 촬영하는 단일 카메라를 포함할 수 있다.The omnidirectional radiographing apparatus 110 may be mounted on a roof of a vehicle or the like. In order to obtain an omnidirectional image, a reflection mirror type of inverted cone shape and an image reflected on the corresponding mirror And a single camera that photographs an image of the subject.

한편, 좌표 맵핑 장치(120)는 전방위 영상 촬영 장치(110)에서 촬영된 전방위의 공간 영상(이하, ‘전방위 영상’이라 칭함)을 획득하고, 획득된 전방위 영상의 각 픽셀별로 GPS 기반의 절대 좌표를 맵핑할 수 있다.On the other hand, the coordinate mapping device 120 acquires the omnidirectional spatial image (hereinafter, referred to as 'omni-directional image') photographed by the omniazimetic imaging apparatus 110, Can be mapped.

이를 위해, 좌표 맵핑 장치(120)는 GPS 수신기로부터 전방위 영상 촬영 장치(110)의 GPS 위치 정보, 즉, 경도 및 위도 정보를 획득하고 이를 전방위 영상의 중심 픽셀 좌표로 맵핑한다.To this end, the coordinate mapping device 120 acquires GPS position information, i.e., longitude and latitude information, of the omnidirectional image capturing apparatus 110 from the GPS receiver and maps the same to the center pixel coordinates of the omniazimuth image.

이후, 좌표 맵핑 장치(120)는 전방위 영상을 평면의 공간 영상으로 변환한 후 중심 좌표(픽셀)를 제외한 나머지 픽셀들에 대해 픽셀 거리와 방향을 나타내는 거리 벡터를 생성하고, 이를 기반으로 각 픽셀별 경도 및 위도 기반의 절대 좌표를 생성할 수 있다.After that, the coordinate mapping device 120 converts the omni-directional image into the spatial image of the plane, generates a distance vector indicating the pixel distance and direction for the remaining pixels excluding the center coordinates (pixels) You can create absolute coordinates based on longitude and latitude.

참고로, 전방위 영상 촬영 장치(110)의 카메라는 고도가 고정되어 있으므로, 전방위 영상의 각 픽셀별 경도 및 위도 기반의 절대 좌표 생성 시 카메라의 고도 정보가 반영될 수 있다.For reference, the altitude of the camera of the omnidirectional image capturing apparatus 110 is fixed, so that altitude information of the camera can be reflected when generating the absolute coordinates of each pixel of the omnidirectional image and the latitude-based absolute coordinates.

따라서, 단일 카메라를 이용하여 전방위 영상을 획득할 수 있음을 물론, 전방위 영상의 각 픽셀에 대한 경도 및 위도 기반의 절대 좌표를 실시간으로 맵핑할 수 있다.Accordingly, it is possible to acquire omni-directional images using a single camera, and map real-time coordinates of longitude and latitude based on each pixel of the omni-directional image.

도 2는 본 발명의 일 실시예에 따른 좌표 맵핑 장치(120)의 구성을 도시한 블록도이고, 도 3은 좌표 맵핑 장치의 절대 좌표 계산을 설명하기 위한 도면이다.FIG. 2 is a block diagram showing a configuration of a coordinate mapping apparatus 120 according to an embodiment of the present invention, and FIG. 3 is a diagram for explaining absolute coordinate calculation of a coordinate mapping apparatus.

본 발명의 일 실시예에 다른 좌표 맵핑 장치(120)는 전방위 영상 획득부(121), 카메라 좌표 획득부(122), 중심 좌표 맵핑부(123), 절대 좌표 생성부(124), 제어부(125) 및 메모리(126)를 포함할 수 있다.The coordinate mapping apparatus 120 according to an embodiment of the present invention includes an omniazimetic image acquisition unit 121, a camera coordinate acquisition unit 122, a center coordinate mapping unit 123, an absolute coordinate generation unit 124, a controller 125 And a memory 126. The memory 126 may be a memory.

각 구성 요소를 설명하면, 전방위 영상 획득부(121)는 전방위 영상 촬영 장치(110)로부터 전방위 영상을 획득할 수 있으며, 카메라 좌표 획득부(122)는 위도와 경도를 포함하는 카메라의 GPS 좌표를 획득할 수 있다.The omnidirectional image acquisition unit 121 may acquire an omnidirectional image from the omnidirectional image capturing apparatus 110. The camera coordinate acquiring unit 122 may acquire the GPS coordinates of the camera including latitude and longitude Can be obtained.

참고로, 카메라 좌표 획득부(122)는 그 자체가 GPS 정보 수신기일 수도 있고, 별도로 존재하는 GPS 정보 수신기와 연결될 수도 있다.For reference, the camera coordinate acquiring unit 122 may be a GPS information receiver itself, or may be connected to a GPS information receiver that exists separately.

한편, 중심 좌표 맵핑부(123)는 카메라 좌표 획득부(122)에서 획득한 카메라의 GPS 좌표를 전방위 영상 획득부(121)에서 획득한 전방위 영상의 중심 좌표로 맵핑할 수 있다.The center coordinate mapping unit 123 may map the GPS coordinates of the camera acquired by the camera coordinate acquisition unit 122 to the coordinates of the center of the omniazimuth image acquired by the omniazimensional image acquisition unit 121. [

한편, 절대 좌표 생성부(124)는 전방위 영상(이하 ‘제1 영상’이라 칭함)을 평면의 공간 영상(이하 ‘제2 영상’이라 칭함)으로 변환할 수 있다.The absolute coordinate generator 124 may convert the omni-directional image (hereinafter, referred to as 'first image') into a planar spatial image (hereinafter referred to as a 'second image').

도 3을 참조하면, 제1 영상은 원형으로서, 반지름 R1의 원은 카메라의 렌즈 반지름이고 R2는 반사 거울의 반지름이다.3, the first image is a circle, the circle of radius R1 is the lens radius of the camera, and R2 is the radius of the reflection mirror.

(Lat, Lon)은 제1 영상에서 카메라의 GPS 좌표가 맵핑된 중심 좌표로서 Lat는 위도(Latitude)를 Lon은 경도(Longitude)를 각각 나타낸다.(Lat, Lon) represents the center coordinates of the camera's GPS coordinates in the first image, Lat represents Latitude, and Lon represents Longitude.

Range1은 카메라로 인해 시야가 가려지는 영역의 길이이며, Range2는 카메라의 화각이 미치는 영역의 길이이다.Range1 is the length of the area covered by the camera, and Range2 is the length of the area of the camera.

그리고, θ1과 θ2는 Range2와 Range1에 대한 각도이고, H는 카메라의 고도이다.And, θ1 and θ2 are the angles for Range2 and Range1, and H is the altitude of the camera.

절대 좌표 생성부(124)는 아래의 [수학식 1]과 [수학식 2]를 이용하여 Range1과 Range2를 계산할 수 있다.The absolute coordinate generator 124 can calculate Range1 and Range2 using the following Equations (1) and (2).

Figure pat00001
Figure pat00001

Figure pat00002
Figure pat00002

절대 좌표 생성부(124)는 상기 계산된 Range1과 Range2를 이용하여 제1 영상을 폭이 WD이고 높이가 HD인 제2 영상으로 변환할 수 있다.The absolute coordinate generating unit 124 may convert the first image into a second image having a width WD and a height HD using the calculated Range1 and Range2.

여기서, 변환된 제2 영상에는 제1 영상의 중심 좌표(카메라의 GPS 좌표)가 맵핑될 수 있다.Here, the center coordinates (GPS coordinates of the camera) of the first image may be mapped to the converted second image.

또한, 절대 좌표 생성부(124)는 제2 영상에 맵핑된 중심 좌표(픽셀) (Lat, Lon)을 제외한 나머지 다른 픽셀에 대하여 중심 좌표를 기준으로 하는 거리 벡터를 각각 생성할 수 있다.In addition, the absolute coordinate generator 124 may generate distance vectors based on the center coordinates of the remaining pixels except for the center coordinates (pixels) (Lat, Lon) mapped to the second image.

여기서 ‘거리 벡터’는 중심 좌표(픽셀)를 기준으로 각 픽셀까지의 픽셀 거리(r)와 방향(θ)으로 나타낼 수 있다.Here, the 'distance vector' can be expressed by the pixel distance r and direction (?) To each pixel based on the center coordinates (pixels).

절대 좌표 생성부(124)는 아래의 [수학식 3]과 [수학식 4]를 이용하여 각 픽셀에 대한 픽셀 거리와 방향을 계산할 수 있다.The absolute coordinate generating unit 124 may calculate the pixel distance and the direction for each pixel using Equation 3 and Equation 4 below.

Figure pat00003
Figure pat00003

Figure pat00004
Figure pat00004

따라서, 제2 영상에서 임의의 픽셀에 대한 GPS 기반의 절대 좌표, 즉, 경도와 위도 기반의 절대 좌표(YD Pixel Lat, XD Pixel Lon)는 아래의 [수학식 5]와 같이 나타낼 수 있다.Accordingly, the GPS-based absolute coordinates, i.e., the absolute coordinates (Y D Pixel Lat , X D Pixel Lon ) based on the longitude and the latitude of an arbitrary pixel in the second image can be expressed by the following Equation (5) .

Figure pat00005
Figure pat00005

한편, 제어부(125)는 전술한 좌표 맵핑 장치(120)의 구성 요소들, 예를 들어, 전방위 영상 획득부(121), 카메라 좌표 획득부(122), 중심 좌표 맵핑부(123) 및 절대 좌표 생성부(124)가 전술한 동작을 수행하도록 제어할 수 있으며, 메모리(126) 또한 제어할 수 있다.The control unit 125 controls the components of the coordinate mapping device 120 such as the omnidirectional image acquisition unit 121, the camera coordinate acquisition unit 122, the center coordinate mapping unit 123, The generation unit 124 can control to perform the above-described operation, and the memory 126 can also be controlled.

한편, 메모리(126)는 제어부(126)가 전술한 동작을 수행하도록 하는 알고리즘 및 그 과정에서 파생되는 다양한 데이터들을 저장할 수 있다.Meanwhile, the memory 126 may store an algorithm for causing the control unit 126 to perform the above-described operation, and various data derived from the process.

도 4 본 발명의 일 실시예에 따른 좌표 맵핑 과정을 도시한 흐름도이다.4 is a flowchart illustrating a coordinate mapping process according to an embodiment of the present invention.

도 4는 도 2의 좌표 맵핑 장치(120)에 의해 수행될 수 있으며, 전방위 영상 촬영 장치(110)의 카메라 고도는 미리 정해져 있는 상태이다.FIG. 4 can be performed by the coordinate mapping apparatus 120 of FIG. 2, and the camera altitude of the omniazimensional imaging apparatus 110 is predetermined.

좌표 맵핑 장치(120)는 전방위 영상 촬영 장치(110)로부터 전방위의 공간 영상인 제1 영상과 카메라의 GPS 좌표를 획득한다(S401).The coordinate mapping device 120 acquires the GPS coordinates of the first image and the camera, which are spatial images in all directions from the omnidirectional imaging device 110 (S401).

S401 후, 좌표 맵핑 장치(120)는 카메라의 GPS 좌표를 제1 영상의 중심 좌표로 맵핑한다(S402).After S401, the coordinate mapping device 120 maps the GPS coordinates of the camera to the center coordinates of the first image (S402).

S402 후, 좌표 맵핑 장치(120)는 제1 영상을 평면의 공간 영상인 제2 영상으로 변환한다(S403).After S402, the coordinate mapping device 120 converts the first image into a second image which is a planar spatial image (S403).

여기서, 제2 영상은 폭이 WD이고 높이가 HD이며, 상기 [수학식 1] 및 [수학식 2]를 이용하여 계산할 수 있다.Here, the second image has a width WD and a height HD, and can be calculated using the above-mentioned Equations (1) and (2).

S403 후, 좌표 맵핑 장치(120)는 제2 영상에서 카메라의 GPS 좌표인 중심 좌표(픽셀)를 기준으로 제2 영상의 다른 픽셀까지의 픽셀 거리와 방향, 즉, 거리 벡터를 계산한다(S404).After step S403, the coordinate mapping device 120 calculates a pixel distance and a direction, that is, a distance vector from the second image to another pixel of the second image based on the center coordinate (pixel) of the camera as the GPS coordinate (S404) .

여기서, 픽셀 거리와 방향은 상기 [수학식 3]과 [수학식 4]를 이용하여 계산할 수 있다.Here, the pixel distance and the direction can be calculated using the above-described Equations (3) and (4).

S404 후, 좌표 맵핑 장치(120)는 각 픽셀별로 계산된 거리 벡터를 이용하여 각 픽셀의 경도 및 위도 기반의 절대 좌표를 각각 맵핑한다(S405).After step S404, the coordinate mapping device 120 maps the absolute coordinates of the hardness and the latitude of each pixel using the distance vector calculated for each pixel (S405).

여기서, 각 픽셀의 경도 및 위도 기반의 절대 좌표는 상기 [수학식 5]를 이용하여 계산할 수 있다.Here, the absolute coordinates of the hardness and the latitude of each pixel can be calculated using Equation (5).

도 5는 본 발명의 일 실시예에 따른 전방위의 공간 영상과 이를 변환한 평면의 공간 영상을 도시한 도면이다.5 is a view showing a spatial image of an omnidirectional space and a spatial image of a plane transformed with the omnidirectional spatial image according to an embodiment of the present invention.

도 5의 좌측 영상은 전방위의 공간 영상인 제1 영상이고, 우측 영상은 제1 영상을 변환한(펼친) 평면의 공간 영상인 제2 영상이다.The left image of FIG. 5 is a first image, which is a spatial image in all directions, and the right image is a second image, which is a spatial image of an (expanded) plane converted from the first image.

카메라의 GPS 좌표(경도, 위도)가 제1 영상의 중심 좌표로서 맵핑되어 있다.GPS coordinates (longitude, latitude) of the camera are mapped as center coordinates of the first image.

그리고 제2 영상에서, 중심 좌표(픽셀)를 기준으로 각 픽셀까지의 픽셀 거리(r)와 방향(θ)을 계산하고, 이에 기초하여 각 픽셀의 경도와 위도 기반의 절대 좌표를 계산할 수 있다.In the second image, it is possible to calculate the pixel distance r and the direction? To each pixel based on the center coordinates (pixels), and calculate the hardness and latitude-based absolute coordinates of each pixel based thereon.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.It will be understood by those skilled in the art that the foregoing description of the present invention is for illustrative purposes only and that those of ordinary skill in the art can readily understand that various changes and modifications may be made without departing from the spirit or essential characteristics of the present invention. will be.

그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is defined by the appended claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalents should be construed as being included within the scope of the present invention.

100 : 전방위 영상의 좌표 맵핑 시스템
110 : 전방위 영상 촬영 장치
120 : 좌표 맵핑 장치
121 : 전방위 영상 획득부
122 : 카메라 좌표 획득부
123 : 중심 좌표 맵핑부
124 : 절대 좌표 생성부
125 : 제어부
126 : 메모리100: Coordinate mapping system of omni-directional image
110: omni-directional imaging device
120: Coordinate mapping device
121: omni-directional image acquiring unit
122: Camera coordinate acquisition unit
123: center coordinate mapping unit
124: Absolute coordinate generating unit
125:
126: Memory

Claims (6)

반사 거울(reflection mirror)과 카메라를 이용하여 전방위(omnidirectional)의 공간 영상인 제1 영상을 획득하는 전방위 영상 획득부;
상기 카메라의 GPS 좌표 - 위도와 경도를 포함함 - 를 획득하는 카메라 좌표 획득부;
상기 획득된 카메라의 GPS 좌표를 상기 제1 영상의 중심 좌표로 맵핑하는 중심 좌표 맵핑부; 및
상기 제1 영상을 평면의 공간 영상인 제2 영상으로 변환하고, 상기 제2 영상에서 상기 중심 좌표를 기준으로 각 픽셀별 거리 벡터를 생성하며, 상기 각 픽셀별 거리 벡터에 기초하여 각 픽셀별 경도·위도 기반의 절대 좌표를 생성하는 절대 좌표 생성부
를 포함하는 것을 특징으로 하는 전방위 영상의 좌표 맵핑 장치.
An omnidirectional image acquisition unit for acquiring a first image which is a spatial image omnidirectional using a reflection mirror and a camera;
A camera coordinate acquiring unit for acquiring GPS coordinates of the camera including latitude and longitude;
A center coordinate mapping unit for mapping the acquired GPS coordinates of the camera to the center coordinates of the first image; And
And generating a distance vector for each pixel on the basis of the center coordinates in the second image, and generating a distance vector for each pixel based on the distance vector for each pixel, An absolute coordinate generating unit for generating absolute coordinates based on the latitude;
And a coordinate transformation unit for transforming coordinates of the omni-directional image.
제1 항에 있어서,
상기 절대 좌표 생성부는
상기 각 픽셀별 경도·위도 기반의 절대 좌표(XD pixel Lat, XD pixel Lon)를 아래의 수학식을 이용하여 계산하는 것을 특징으로 하는 전방위 영상의 좌표 맵핑 장치.
[수학식]
Figure pat00006

여기서, Lat와 Lon은 상기 중심 좌표로서 위도(Latitude)와 경도(Longitude)를 나타내며, r은 상기 중심 좌표로부터 각 픽셀까지의 거리, θ는 상기 중심 좌표에 대한 각 픽셀의 방향을 나타냄.
The method according to claim 1,
The absolute coordinate generator
Wherein an absolute coordinate (X D pixel Lat , X D pixel Lon ) based on the hardness and latitude of each pixel is calculated using the following equation.
[Mathematical Expression]
Figure pat00006

Here, Lat and Lon denote latitude and longitude as the center coordinates, r denotes a distance from the center coordinate to each pixel, and? Denotes a direction of each pixel with respect to the center coordinate.
제1 항에 있어서,
상기 전방위 영상 획득부는
역원뿔 형태의 반사 거울(reflection mirror)과 상기 반사 거울에 반사되는 상(像)을 촬영하는 단일 카메라를 이용하여 상기 전방위 영상을 획득하는 것을 특징으로 하는 전방위 영상의 좌표 맵핑 장치.
The method according to claim 1,
The omnidirectional image obtaining unit
Wherein the omnidirectional image is acquired using a reflection mirror in the form of an inverted conical shape and a single camera for photographing an image reflected on the reflection mirror.
전방위 영상의 좌표 맵핑 장치가 전방위 영상의 좌표를 맵핑하는 방법에 있어서,
(a) 반사 거울(reflection mirror)과 카메라를 이용하여 전방위(omnidirectional)의 공간 영상인 제1 영상과 상기 카메라의 GPS 좌표 - 위도와 경도를 포함함 - 를 획득하는 단계;
(b) 상기 획득된 카메라의 GPS 좌표를 상기 제1 영상의 중심 좌표로 맵핑하는 단계; 및
(c) 상기 제1 영상을 평면의 공간 영상인 제2 영상으로 변환하고, 상기 제2 영상에서 상기 중심 좌표를 기준으로 각 픽셀별 거리 벡터를 생성하며, 상기 각 픽셀별 거리 벡터에 기초하여 각 픽셀별 경도·위도 기반의 절대 좌표를 생성하는 단계
를 포함하는 것을 특징으로 하는 전방위 영상의 좌표 맵핑 방법.
A method for mapping a coordinate of an omni-directional image by a coordinate mapping apparatus of an omni-directional image,
(a) obtaining a first image, which is an omnidirectional spatial image, using a reflection mirror and a camera, and GPS coordinates of the camera, including latitude and longitude;
(b) mapping the obtained GPS coordinates of the camera to the center coordinates of the first image; And
(c) transforming the first image into a second image that is a spatial image of a plane, generating a distance vector for each pixel based on the center coordinates in the second image, Step of generating absolute coordinates based on pixel-by-pixel longitude / latitude
Wherein the coordinates of the omnidirectional image are the coordinates of the omnidirectional image.
제4 항에 있어서,
상기 (c) 단계는
상기 각 픽셀별 경도·위도 기반의 절대 좌표(XD pixel Lat, XD pixel Lon)를 아래의 수학식을 이용하여 계산하는 것을 특징으로 하는 전방위 영상의 좌표 맵핑 방법.
[수학식]
Figure pat00007

여기서, Lat와 Lon은 상기 중심 좌표로서 위도(Latitude)와 경도(Longitude)를 나타내며, r은 상기 중심 좌표로부터 각 픽셀까지의 거리, θ는 상기 중심 좌표에 대한 각 픽셀의 방향을 나타냄.
5. The method of claim 4,
The step (c)
Wherein the absolute coordinates (X D pixel Lat , X D pixel Lon ) based on the hardness and latitude of each pixel are calculated using the following mathematical expression.
[Mathematical Expression]
Figure pat00007

Here, Lat and Lon denote latitude and longitude as the center coordinates, r denotes a distance from the center coordinate to each pixel, and? Denotes a direction of each pixel with respect to the center coordinate.
제4 항 및 제5 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 일련의 명령을 포함하는 기록 매체에 저장된 컴퓨터 프로그램.A computer program stored in a recording medium comprising a series of instructions for performing the method according to any one of claims 4 and 5.
KR1020160151880A 2016-11-15 2016-11-15 Apparatus and method for mapping coordinate of omnidirectional images KR20180054219A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160151880A KR20180054219A (en) 2016-11-15 2016-11-15 Apparatus and method for mapping coordinate of omnidirectional images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160151880A KR20180054219A (en) 2016-11-15 2016-11-15 Apparatus and method for mapping coordinate of omnidirectional images

Publications (1)

Publication Number Publication Date
KR20180054219A true KR20180054219A (en) 2018-05-24

Family

ID=62296876

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160151880A KR20180054219A (en) 2016-11-15 2016-11-15 Apparatus and method for mapping coordinate of omnidirectional images

Country Status (1)

Country Link
KR (1) KR20180054219A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275609A (en) * 2018-12-05 2020-06-12 杭州海康威视数字技术股份有限公司 Method and device for converting PT (potential Transformer) coordinates and GPS (Global positioning System) coordinates and dome camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275609A (en) * 2018-12-05 2020-06-12 杭州海康威视数字技术股份有限公司 Method and device for converting PT (potential Transformer) coordinates and GPS (Global positioning System) coordinates and dome camera
CN111275609B (en) * 2018-12-05 2023-03-24 杭州海康威视数字技术股份有限公司 Method and device for converting PT (potential Transformer) coordinates and GPS (Global positioning System) coordinates and dome camera

Similar Documents

Publication Publication Date Title
US11632536B2 (en) Method and apparatus for generating three-dimensional (3D) road model
KR101265667B1 (en) Device for 3d image composition for visualizing image of vehicle around and method therefor
JP2020030204A (en) Distance measurement method, program, distance measurement system and movable object
US20120155744A1 (en) Image generation method
JP2021508095A (en) Methods and systems for color point cloud generation
JP2016057108A (en) Arithmetic device, arithmetic system, arithmetic method and program
CN109300143B (en) Method, device and equipment for determining motion vector field, storage medium and vehicle
JP2012533222A (en) Image-based surface tracking
JP2010510559A5 (en)
JP6950832B2 (en) Position coordinate estimation device, position coordinate estimation method and program
JP4077385B2 (en) Global coordinate acquisition device using image processing
JP4132068B2 (en) Image processing apparatus, three-dimensional measuring apparatus, and program for image processing apparatus
JPWO2018235300A1 (en) Object detection device, object detection method, and computer-readable recording medium
US8428341B2 (en) Apparatus for calculating 3D spatial coordinates of digital images and method thereof
WO2017043331A1 (en) Image processing device and image processing method
US11513211B2 (en) Environment model using cross-sensor feature point referencing
KR20180054219A (en) Apparatus and method for mapping coordinate of omnidirectional images
KR102473804B1 (en) method of mapping monitoring point in CCTV video for video surveillance system
JP5230354B2 (en) POSITIONING DEVICE AND CHANGED BUILDING DETECTION DEVICE
JP5409451B2 (en) 3D change detector
JP7196920B2 (en) Driving support device, driving support method, and program
JP2005258792A (en) Apparatus, method and program for generating image
KR20190036359A (en) Apparatus and method for mapping gps coordinate using omnidirectional images
WO2023035296A1 (en) A camera calibration method
JP2023505891A (en) Methods for measuring environmental topography