KR20220048760A - Location recognition system and method - Google Patents

Location recognition system and method Download PDF

Info

Publication number
KR20220048760A
KR20220048760A KR1020200132018A KR20200132018A KR20220048760A KR 20220048760 A KR20220048760 A KR 20220048760A KR 1020200132018 A KR1020200132018 A KR 1020200132018A KR 20200132018 A KR20200132018 A KR 20200132018A KR 20220048760 A KR20220048760 A KR 20220048760A
Authority
KR
South Korea
Prior art keywords
marker
photographed
markers
information
analysis
Prior art date
Application number
KR1020200132018A
Other languages
Korean (ko)
Inventor
김경남
김호정
박중구
최재호
Original Assignee
삼성중공업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성중공업 주식회사 filed Critical 삼성중공업 주식회사
Priority to KR1020200132018A priority Critical patent/KR20220048760A/en
Publication of KR20220048760A publication Critical patent/KR20220048760A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

A location recognition system and a method thereof are disclosed. The location recognition system includes: a receiving unit for receiving a photographed image of the surroundings so that two or more markers are included in a camera unit provided on a target object located in the field; a marker analysis unit for recognizing each of the markers photographed in the photographed image using a predefined image analysis technique, and generating analysis information for the recognized photographed markers, respectively; and a location recognition unit for calculating coordinates of intersections of linear equations derived using the analysis information on the photographed marker as location information of the target object.

Description

위치 인식 시스템 및 방법{Location recognition system and method}Location recognition system and method

본 발명은 위치 인식 시스템 및 방법에 관한 것이다. The present invention relates to a location awareness system and method.

조선소와 같은 넓은 산업현장에서는 중장비나 널리 분포된 자재의 위치를 정확히 파악하여 효율적으로 활용할 수 있도록 하는 기술이 필요하다.In a wide industrial site such as a shipyard, it is necessary to accurately identify the location of heavy equipment or widely distributed materials and use them efficiently.

이를 위해서, GPS 정보를 기반으로 위치 정보를 수집하고, LoRa 통신으로 전송하는 기술 또는 저전력 블루투스 (BLE) 통신 기반 비컨(Beacon) 기술을 통해 특정 거리 내에 감지되는 물체를 인식하여, 자재의 위치를 파악하는 기술이 개발되었다. To this end, it collects location information based on GPS information and recognizes an object detected within a specific distance through LoRa communication technology or Beacon technology based on low power Bluetooth (BLE) communication to determine the location of materials technology has been developed.

그러나, GPS 정보를 기반으로 위치 정보를 파악하는 방식은 위성에서 수신되는 신호의 특성상 전리층이나 날씨와 같은 외부 환경 요인으로 인한 오차가 존재한다. 또한, 다수의 대형 철 구조물이 사방에 산재된 조선소의 현장 특성상 GPS 정보를 담고 있는 전파의 산란이 추가적으로 발생되어 이상적인 환경에 비해 위치 오차가 더 크고 불안정해지는 문제점이 있다. However, the method of determining location information based on GPS information has errors due to external environmental factors such as the ionosphere or weather due to the characteristics of signals received from satellites. In addition, scattering of radio waves containing GPS information is additionally generated due to the on-site characteristics of a shipyard where a large number of large steel structures are scattered everywhere, resulting in a larger and unstable position error compared to an ideal environment.

수집된 GPS 정보를 LoRa 통신으로 전송하는 기술은 전력 소모가 크고, 설치 및 운영 비용이 높은 문제점도 있다. 또한, 저전력 블루투스(BLE) 통신 기반 비컨(Beacon) 기술을 이용하여 자재 등의 위치를 파악하는 기술은 정확한 위치 파악이 어렵고, 전파반사 등의 영향을 받기 쉬운 문제점도 있다. The technology for transmitting the collected GPS information through LoRa communication also has problems in that power consumption is large and installation and operation costs are high. In addition, a technology for determining the location of a material using a low-power Bluetooth (BLE) communication-based beacon technology has a problem in that it is difficult to accurately determine the location and is easily affected by radio wave reflection.

대한민국공개특허 제10-2020-0060994호Republic of Korea Patent Publication No. 10-2020-0060994

본 발명은 촬영 영상 내에 존재하는 다수개의 마커를 해석하여, 촬영 영상을 생성한 중장비, 자재 등인 대상 물체의 위치 좌표를 정확히 인식할 수 있는 위치 인식 시스템 및 방법을 제공하기 위한 것이다. An object of the present invention is to provide a location recognition system and method capable of accurately recognizing the location coordinates of a target object, such as heavy equipment, materials, etc., that have generated a captured image by analyzing a plurality of markers present in a captured image.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.Objects other than the present invention will be easily understood through the following description.

본 발명의 일 측면에 따르면, 현장에 위치한 대상 물체에 구비된 카메라부에서 둘 이상의 마커가 포함되도록 주변을 촬영된 촬영 영상을 수신하는 수신부; 미리 지정된 영상 해석 기법으로 상기 촬영 영상 내에서 촬영된 마커들을 각각 인식하고, 인식된 촬영된 마커에 대한 해석 정보를 각각 생성하는 마커 해석부; 및 촬영된 마커에 대한 해석 정보를 이용하여 각각 도출한 직선 방정식들의 교점 좌표를 상기 대상 물체의 위치 정보로 산출하는 위치 인식부를 포함하되, 상기 해석 정보는 촬영된 마커에 상응하는 현실의 마커에 대한 위치 정보와, 상기 현실의 마커와 상기 카메라부 사이의 각도값을 포함하는, 위치 인식 시스템이 제공된다. According to an aspect of the present invention, a receiving unit for receiving a photographed image of the surroundings so that two or more markers are included in the camera unit provided on the target object located in the field; a marker analysis unit for recognizing each of the markers photographed in the photographed image using a predetermined image analysis technique, and generating analysis information on the recognized photographed markers; and a position recognition unit that calculates the coordinates of intersections of linear equations derived respectively using analysis information on the photographed marker as the position information of the target object, wherein the analysis information is for a real marker corresponding to the photographed marker. A location recognition system is provided, including location information and an angle value between the real marker and the camera unit.

상기 마커는 원뿔 형상으로 형성되고, 상기 마커의 표면은 다른 마커와 식별되도록 상이한 무늬와 색상 분포를 가지도록 형성되며, 상기 마커의 표면에 형성된 무늬와 색상 분포는 상기 카메라부가 상기 마커를 촬영하는 각도에 따라 상이하게 촬영되도록 배치될 수 있다.The marker is formed in a cone shape, the surface of the marker is formed to have a different pattern and color distribution to be distinguished from other markers, and the pattern and color distribution formed on the surface of the marker is an angle at which the camera unit captures the marker. may be arranged to be photographed differently depending on the

상기 마커 해석부는, 상기 촬영된 마커의 표면에 형성된 무늬와 색상 분포에 대한 특징 정보를 생성하고, 저장부에 미리 저장된 마커들의 3차원 형상들 각각을 3차원 공간에서 회전시켜가며 상기 특징 정보에 부합되는 마커를 검출하고, 검출된 마커에 상응하도록 미리 저장된 위치 정보와 검출된 시점에서의 마커의 회전각인 상기 각도값을 이용하여 상기 해석 정보를 생성할 수 있다. The marker analysis unit generates characteristic information about the pattern and color distribution formed on the surface of the photographed marker, and rotates each of the 3D shapes of the markers stored in the storage unit in 3D space in 3D space to match the characteristic information A marker may be detected, and the analysis information may be generated using the position information stored in advance to correspond to the detected marker and the angle value, which is the rotation angle of the marker at the detected time point.

상기 마커의 표면에 무늬를 이루도록 색상이 칠해진 면적이 촬영된 각도에 따라 달라지도록 형성된 경우, 상기 각도값은 상기 촬영된 마커에 대해 무늬가 점유하는 영역과 그렇지 않은 영역간의 비율을 이용하여 산출될 수도 있다.When the area painted with color to form a pattern on the surface of the marker is formed to vary depending on the photographed angle, the angle value may be calculated using the ratio between the area occupied by the pattern and the area not occupied with the photographed marker. there is.

본 발명의 다른 측면에 따르면, 위치 인식 시스템을 수행하도록 하기 위해 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은, 현장에 위치한 대상 물체에 구비된 카메라부에서 둘 이상의 마커가 포함되도록 주변을 촬영하여 생성된 촬영 영상을 입력받는 단계; 미리 지정된 영상 해석 기법으로 상기 촬영 영상 내에서 촬영된 마커들을 각각 인식하는 단계; 인식된 촬영된 마커들 각각에 대해, 촬영된 마커에 형성된 무늬와 색상 분포에 관한 특징 정보를 생성하는 단계; 각 촬영된 마커들에 대한 특징 정보를 이용하여, 촬영된 마커에 상응하는 현실의 마커에 대한 위치 정보와, 상기 현실의 마커와 상기 카메라부 사이의 각도값을 포함하는 해석 정보를 각각 생성하는 단계; 및 촬영된 마커에 대한 해석 정보를 이용하여 각각 도출한 직선 방정식들의 교점 좌표를 상기 대상 물체의 위치 정보로 산출하는 단계를 포함하는, 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램이 제공된다. According to another aspect of the present invention, there is provided a computer program stored on a computer-readable medium for performing a location recognition system, the computer program causing a computer to perform the following steps, the steps comprising: receiving a photographed image generated by photographing the surroundings so as to include two or more markers in a camera unit provided on the object; recognizing each of the markers captured in the captured image using a predetermined image analysis technique; generating, for each of the recognized photographed markers, characteristic information about a pattern and color distribution formed on the photographed marker; Generating analysis information including position information on a real marker corresponding to the photographed marker and an angle value between the real marker and the camera unit, respectively, by using the characteristic information on each of the photographed markers ; and calculating the coordinates of the intersection points of the straight line equations derived using analysis information on the photographed markers as the location information of the target object, a computer program stored in a computer-readable medium is provided.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명의 실시예에 따르면, 촬영 영상 내에 존재하는 다수개의 마커를 해석하여, 촬영 영상을 생성한 중장비, 자재 등인 대상 물체의 위치 좌표를 정확히 인식할 수 있는 효과가 있다. According to an embodiment of the present invention, it is possible to accurately recognize the positional coordinates of a target object, such as heavy equipment, materials, etc., that have generated the captured image by analyzing a plurality of markers present in the captured image.

도 1은 본 발명의 일 실시예에 따른 위치 인식 시스템을 개략적으로 나타낸 블록 구성도.
도 2는 본 발명의 일 실시예에 따른 마커의 설치 형태를 설명하기 위한 도면.
도 3은 본 발명의 일 실시예에 따른 마커의 형상을 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 대상 물체의 위치 인식 기법을 설명하기 위한 도면.
도 5는 본 발명의 일 실시예에 따른 위치 인식 방법을 나타낸 순서도.1 is a block diagram schematically showing a location recognition system according to an embodiment of the present invention.
Figure 2 is a view for explaining the installation form of the marker according to an embodiment of the present invention.
3 is a view for explaining the shape of a marker according to an embodiment of the present invention.
4 is a view for explaining a method for recognizing a position of a target object according to an embodiment of the present invention;
5 is a flowchart illustrating a location recognition method according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

도 1은 본 발명의 일 실시예에 따른 위치 인식 시스템을 개략적으로 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 마커의 설치 형태를 설명하기 위한 도면이다. 도 3은 본 발명의 일 실시예에 따른 마커의 형상을 설명하기 위한 도면이고, 도 4는 본 발명의 일 실시예에 따른 대상 물체의 위치 인식 기법을 설명하기 위한 도면이다.1 is a block diagram schematically showing a location recognition system according to an embodiment of the present invention, and FIG. 2 is a view for explaining an installation form of a marker according to an embodiment of the present invention. 3 is a diagram for explaining the shape of a marker according to an embodiment of the present invention, and FIG. 4 is a diagram for explaining a method for recognizing a position of a target object according to an embodiment of the present invention.

도 1을 참조하면, 위치 인식 시스템(110)은 수신부(111), 마커 해석부(113), 위치 인식부(115) 및 저장부(117)를 포함할 수 있다. Referring to FIG. 1 , the location recognition system 110 may include a receiving unit 111 , a marker analysis unit 113 , a location recognition unit 115 , and a storage unit 117 .

수신부(111)는 현장에 위치한 대상 물체(120)에 구비된 카메라부(125)에서 촬영한 촬영 영상을 수신한다. The receiver 111 receives a photographed image captured by the camera unit 125 provided on the target object 120 located in the field.

대상 물체(120)는 예를 들어 현장의 내부 영역을 이동할 수 있는 지게차, 중장비 등과 같은 이동 물체이거나, 특정의 공간에 적치된 자재 등과 같은 고정 물체일 수 있다. The target object 120 may be, for example, a moving object such as a forklift or heavy equipment capable of moving an internal area of the site, or a fixed object such as a material placed in a specific space.

도시된 바와 같이, 카메라부(125)는 대상 물체(120)의 일측에 고정 장착될 수 있다. 카메라부(125)는 고정 장착된 상태에서 주변을 촬영하여 촬영 영상을 생성하고, 무선 통신 방식으로 생성한 촬영 영상을 위치 인식 시스템(110)으로 전송하도록 구현될 수 있다. As shown, the camera unit 125 may be fixedly mounted on one side of the target object 120 . The camera unit 125 may be implemented to generate a captured image by photographing the surroundings in a fixedly mounted state, and to transmit the captured image generated through a wireless communication method to the location recognition system 110 .

카메라부(125)는 미리 지정된 촬영 주기마다 또는 위치 인식 시스템(110)으로부터의 촬영 명령이 수신되면 촬영 영상을 생성하여 위치 인식 시스템(110)으로 전송하도록 미리 설정될 수 있다. 여기서, 이동 물체인 대상 물체(120)의 촬영 주기는 고정 물체인 대상 물체(120)에 비해 상대적으로 짧게 설정될 수 있을 것이다. The camera unit 125 may be preset to generate a captured image and transmit it to the location recognition system 110 every predetermined photographing cycle or when a photographing command is received from the location recognition system 110 . Here, the shooting period of the target object 120 that is a moving object may be set relatively shorter than that of the target object 120 that is a fixed object.

마커 해석부(113)는 촬영 영상에 포함된 다수개의 마커(210)들 각각에 대한 해석 정보를 생성한다. 해석 정보는 촬영 영상에 포함된 마커(210)들 각각의 위치 정보와, 각 마커(210)와 카메라부(125) 사이의 각도 정보를 포함할 수 있다. The marker analysis unit 113 generates analysis information for each of the plurality of markers 210 included in the captured image. The analysis information may include position information of each of the markers 210 included in the captured image and angle information between each marker 210 and the camera unit 125 .

도 2에 예시된 바와 같이, 마커(210)는 현장 내에서 고정 설치되는 고정물들에 부착될 수 있다. 마커(210)가 예를 들어 고정식 타워 크레인에 부착되는 경우, 고정식 타워 크레인의 각 면에 각각 부착되어 다양한 각도에서 촬영된 촬영 영상에 마커(210)가 포함되도록 할 수 있다. As illustrated in FIG. 2 , the marker 210 may be attached to fixtures that are fixedly installed in the field. When the marker 210 is attached to, for example, a stationary tower crane, it may be attached to each side of the stationary tower crane, respectively, so that the marker 210 may be included in the photographed image taken at various angles.

마커(210)는 촬영 영상에 적어도 둘 이상이 포함될 수 있도록 현장 여러 곳에 산재하도록 배치될 수 있고, 촬영 영상에서 현장 내의 다른 물체에 가려지지 않도록 미리 지정된 높이로서 고정물의 움직임이 없는 부분에 고정 부착될 수 있다. 각각의 마커(210)에 대한 위치 정보와 3차원 형상 정보는 저장부(117)에 미리 저장될 수 있다.The marker 210 may be arranged to be scattered in various places on the site so that at least two or more may be included in the captured image, and may be fixedly attached to a non-moving part of the fixture at a predetermined height so as not to be obscured by other objects in the site in the captured image. can Position information and 3D shape information for each marker 210 may be stored in advance in the storage unit 117 .

마커(210)는 현장 내의 어느 위치에서 촬영하더라도 효과적으로 촬영될 수 있도록 입체 도형의 형상으로 형성될 수 있다. The marker 210 may be formed in the shape of a three-dimensional figure so that it can be effectively photographed at any location in the field.

일반적으로 위치 인식될 대상 물체(120)에 비해 마커(210)는 상대적으로 높게 위치된다. 따라서, 대상 물체(120)에 구비된 카메라부(125)가 어느 각도에서 마커(210)를 촬영하든 동일한 형상으로 마커(210)가 촬영될 수 있도록 마커(210)는 원뿔 형상으로 형성될 수 있다(도 3의 (a) 및 (b) 참조). In general, the marker 210 is positioned relatively high compared to the target object 120 to be recognized. Accordingly, the marker 210 may be formed in a cone shape so that the marker 210 can be photographed in the same shape no matter what angle the camera unit 125 provided in the target object 120 captures the marker 210 . (See Fig. 3 (a) and (b)).

마커(210)의 표면에는 각각의 마커(210)가 서로 식별될 수 있도록 상이한 형상과 색상의 무늬가 형성될 수 있다(도 3의 (a) 및 (b) 참조). 또한, 각 마커(210)의 표면에 형성된 무늬는 카메라부(125)가 해당 마커(210)를 촬영한 위치가 해석될 수 있도록 하기 위해, 촬영 각도에 따라 상이한 모양으로 촬영되도록 형성될 수 있다. Patterns of different shapes and colors may be formed on the surface of the markers 210 so that the respective markers 210 can be identified from each other (see FIGS. 3A and 3B ). In addition, the pattern formed on the surface of each marker 210 may be formed to be photographed in a different shape depending on the photographing angle so that the position at which the camera unit 125 photographed the corresponding marker 210 can be interpreted.

즉, 평면도로 예시된 도 3의 (c)와 같은 무늬를 가지는 원뿔 형상의 마커(210)인 경우, A 방향에서 촬영한 경우와 B 방향에서 각각 촬영할 때 서로 상이한 무늬로 촬영된다. That is, in the case of the cone-shaped marker 210 having the same pattern as in FIG. 3(c) illustrated in a plan view, different patterns are photographed when photographing in the A direction and when photographing in the B direction.

따라서, 동일한 마커(210)가 촬영된 경우에도 촬영된 마커(210)에 형성된 무늬의 외곽선 모양, 색상 분포 등에 의해, 촬영된 마커(210)가 현장에 배치된 마커(210)들 중 어떤 것인지와, 해당 마커(210)와 카메라부(125) 사이의 각도가 해석될 수 있다. Therefore, even when the same marker 210 is photographed, by the outline shape and color distribution of the pattern formed on the photographed marker 210, it is determined whether the photographed marker 210 is among the markers 210 arranged in the field. , the angle between the corresponding marker 210 and the camera unit 125 may be analyzed.

마커 해석부(113)는 전술한 마커(210)의 형태적 차별점과 저장부(117)에 미리 저장된 3차원 형상 정보를 이용하여, 촬영 영상 내에 포함된 마커(210)들 각각을 식별하고, 식별된 각 마커(210)에 관한 해석 정보를 생성할 수 있다. The marker analysis unit 113 identifies each of the markers 210 included in the captured image by using the morphological differentiation point of the above-described marker 210 and the three-dimensional shape information stored in the storage unit 117 in advance, and identifies It is possible to generate analysis information on each of the markers 210 .

예를 들어, 마커 해석부(113)는 미리 지정된 영상 해석 기법(예를 들어, 외곽선 검출, 검출된 영역별 색상 검출 등)을 이용하여 촬영 영상 내에서 마커(210)(이하, 구분을 위해 '촬영된 마커'라 칭함)를 식별하고, 촬영된 마커(210)의 특징 정보(예를 들어, 쵤영된 마커(210)의 표면에 형성된 무늬의 외곽선 모양과 색상 분포 등)를 생성한다. For example, the marker analysis unit 113 uses a predefined image analysis technique (eg, outline detection, color detection for each detected area, etc.) in the captured image using the marker 210 (hereinafter, 'for classification'). (referred to as 'the photographed marker') and generates characteristic information of the photographed marker 210 (eg, outline shape and color distribution of a pattern formed on the surface of the photographed marker 210).

이어서, 마커 해석부(113)는 저장부(117)에 미리 저장된 각 마커(210)(이하, 구분을 위해 '저장된 마커'라 칭함)들의 3차원 형상을 3차원 공간상에서 회전시켜가며 촬영된 마커(210)의 특징 정보와 동일한 특징 정보를 나타내는 저장된 마커(210)를 결정하고, 해당 시점에서의 저장된 마커(210)의 회전각을 검출한다. 저장된 마커(210)의 회전각은 카메라부(125)와 저장된 마커(210) 사이의 각도값이라 할 수 있다. Subsequently, the marker analysis unit 113 rotates the three-dimensional shape of each of the markers 210 (hereinafter, referred to as 'stored markers' for classification) stored in advance in the storage unit 117 in the three-dimensional space and photographed markers. The stored marker 210 indicating the same characteristic information as the characteristic information of 210 is determined, and the rotation angle of the stored marker 210 at the corresponding point in time is detected. The stored rotation angle of the marker 210 may be an angle value between the camera unit 125 and the stored marker 210 .

이어서, 마커 해석부(113)는 검출한 저장된 마커(210)의 회전각과, 검출한 저장된 마커(210)에 상응하도록 저장부(117)에 저장된 위치 정보를 이용하여 해당 촬영된 마커(210)에 대한 해석 정보를 생성할 수 있다.Subsequently, the marker analysis unit 113 uses the detected rotation angle of the stored marker 210 and the position information stored in the storage unit 117 to correspond to the detected stored marker 210 to the corresponding photographed marker 210 . analysis information can be generated.

다른 방식으로, 무늬를 이루도록 색상이 칠해진 면적이 촬영된 각도에 따라 달라지도록 마커(210)의 표면에 해당 무늬가 형성되는 경우라면, 마커 해석부(113)는 촬영된 마커(210)에 대해 무늬가 점유하는 영역과 그렇지 않은 영역간의 비율을 산출하는 방법으로 촬영된 마커(210)와 카메라부(125) 사이의 각도값을 산출할 수도 있다. In another way, if the corresponding pattern is formed on the surface of the marker 210 so that the area painted in color to form the pattern varies depending on the photographed angle, the marker analysis unit 113 determines the pattern for the photographed marker 210 . An angle value between the photographed marker 210 and the camera unit 125 may be calculated by calculating the ratio between the area occupied by and the area not occupied by .

위치 인식부(115)는 각 촬영된 마커(210)에 대한 해석 정보를 이용하여, 촬영 영상을 생성한 카메라부(125)의 위치 정보를 산출한다. The position recognition unit 115 calculates position information of the camera unit 125 that has generated the captured image by using the analysis information on each of the photographed markers 210 .

도 4에 예시된 바와 같이, 위치 인식부(115)는 각 촬영된 마커(210)의 해석 정보에 포함된 촬영된 마커(210)의 위치 정보와, 촬영된 마커(210) 및 카메라부(125) 사이의 각도값을 이용하여 직선 방정식을 도출할 수 있고, 촬영된 마커(210)들에 대해 각각 산출된 직선 방정식들의 교점을 카메라부(125)의 위치로 산출할 수 있다. 해석 정보는 촬영된 마커(210)의 위치 정보로서 XY 평면상의 2차원 좌표 정보 또는 XYZ 공간 상의 3차원 좌표 정보를 포함할 수 있으며, 이에 상응하여 카메라부(125)의 위치가 산출될 수 있을 것이다. As illustrated in FIG. 4 , the location recognition unit 115 includes location information of the photographed marker 210 included in the analysis information of each photographed marker 210 , and the photographed marker 210 and the camera unit 125 . ) may be used to derive a linear equation, and an intersection point of the linear equations calculated for the photographed markers 210 may be calculated as the position of the camera unit 125 . The analysis information may include two-dimensional coordinate information on an XY plane or three-dimensional coordinate information on an XYZ space as position information of the photographed marker 210, and the position of the camera unit 125 may be calculated correspondingly. .

카메라부(125)는 대상 물체(120)의 일측에 구비되므로, 카메라부(125)의 위치 정보를 이용하여 대상 물체(120)의 위치 정보가 인식될 수 있다. 인식된 대상 물체(120)의 위치 정보는 저장부(117)에 저장될 수 있다. Since the camera unit 125 is provided on one side of the target object 120 , location information of the target object 120 may be recognized using the location information of the camera unit 125 . Location information of the recognized target object 120 may be stored in the storage unit 117 .

저장부(117)에는 현장에 배치된 각 마커(210)의 위치 정보, 각 마커(210)에 상응하는 3차원 형상 정보, 대상 물체(120)의 위치 정보 등이 저장될 수 있다. The storage unit 117 may store location information of each marker 210 disposed in the field, 3D shape information corresponding to each marker 210 , location information of the target object 120 , and the like.

도 5는 본 발명의 일 실시예에 따른 위치 인식 방법을 나타낸 순서도이다.5 is a flowchart illustrating a location recognition method according to an embodiment of the present invention.

도 5를 참조하면, 단계 510에서, 위치 인식 시스템(110)은 현장에 위치한 대상 물체(120)에 구비된 카메라부(125)에서 촬영한 촬영 영상을 수신한다.Referring to FIG. 5 , in step 510 , the location recognition system 110 receives a captured image captured by the camera unit 125 provided on the target object 120 located in the field.

단계 520에서, 위치 인식 시스템(110)은 미리 지정된 영상 해석 기법을 이용하여 촬영 영상 내에서 둘 이상의 촬영된 마커(210)를 각각 식별하고, 촬영된 마커(210)의 특징 정보(예를 들어, 쵤영된 마커(210)의 표면에 형성된 무늬의 외곽선 모양과 색상 분포 등)를 생성한다.In step 520 , the location recognition system 110 identifies two or more photographed markers 210 in the photographed image using a predetermined image analysis technique, respectively, and characteristic information (eg, the photographed marker 210 ) The outline shape and color distribution of the pattern formed on the surface of the projected marker 210 are generated.

단계 530에서, 위치 인식 시스템(110)은 저장부(117)에 미리 저장된 각각의 저장된 마커(210)들의 3차원 형상을 3차원 공간상에서 회전시켜가며 촬영된 마커(210)의 특징 정보와 동일한 특징 정보를 나타내는 저장된 마커(210)를 결정하고, 해당 시점에서의 저장된 마커(210)의 회전각을 검출한다. In step 530 , the position recognition system 110 rotates the three-dimensional shape of each of the stored markers 210 stored in advance in the storage unit 117 in a three-dimensional space and the same characteristic information as the characteristic information of the marker 210 . The stored marker 210 indicating information is determined, and the rotation angle of the stored marker 210 at the corresponding time is detected.

위치 인식 시스템(110)은 검출한 저장된 마커(210)에 상응하도록 저장된 위치 정보와, 검출된 시점에서의 저장된 마커(210)의 회전각(즉, 각도값)을 이용하여 해당 촬영된 마커(210)에 대한 해석 정보를 생성한다. The position recognition system 110 uses the position information stored to correspond to the detected stored marker 210 and the rotation angle (ie, angle value) of the stored marker 210 at the detected time point to the photographed marker 210 . ) to generate analysis information for

물론, 무늬를 이루도록 색상이 칠해진 면적이 촬영된 각도에 따라 달라지도록 마커(210)의 표면에 해당 무늬가 형성되는 경우라면, 촬영된 마커(210)에 대해 무늬가 점유하는 영역과 그렇지 않은 영역간의 비율을 산출하는 방법으로 촬영된 마커(210)와 카메라부(125) 사이의 각도값이 산출될 수도 있다.Of course, if the corresponding pattern is formed on the surface of the marker 210 so that the area colored to form the pattern varies depending on the angle at which it is photographed, there is a gap between the area occupied by the pattern and the area not occupied by the photographed marker 210 . As a method of calculating the ratio, an angle value between the photographed marker 210 and the camera unit 125 may be calculated.

단계 540에서, 위치 인식 시스템(110)은 각 촬영된 마커(210)에 대한 해석 정보(즉, 마커(210)의 위치 정보, 마커(210)와 카메라부(125) 사이의 각도값)를 이용하여 직선 방정식을 도출하고, 촬영된 마커(210)들에 대해 각각 산출된 직선 방정식들의 교점 좌표를 대상 물체(120)의 위치 정보로 산출한다. In step 540 , the location recognition system 110 uses analysis information for each photographed marker 210 (ie, location information of the marker 210 , an angle value between the marker 210 and the camera unit 125 ). to derive a linear equation, and calculate the coordinates of the intersection of the linear equations calculated for the photographed markers 210 as position information of the target object 120 .

상술한 위치 인식 방법은 디지털 처리 장치에 내장된 소프트웨어 프로그램, 어플리케이션 등으로 구현되어 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램 등을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. It goes without saying that the above-described location recognition method may be implemented as a software program or an application embedded in a digital processing device, and may be performed as an automated procedure according to a time series sequence. Codes and code segments constituting the program or the like can be easily inferred by a computer programmer in the art. In addition, the program is stored in a computer readable medium (computer readable media), read and executed by the computer to implement the method.

상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to the embodiments of the present invention, those of ordinary skill in the art can variously modify the present invention within the scope without departing from the spirit and scope of the present invention described in the claims below. and may be changed.

110 : 위치 인식 시스템 111 : 수신부
113 : 마커 해석부 115 : 위치 인식부
117 : 저장부 120 : 대상 물체
125 : 카메라 210 : 마커110: location recognition system 111: receiver
113: marker analysis unit 115: position recognition unit
117: storage unit 120: target object
125: camera 210: marker

Claims (5)

현장에 위치한 대상 물체에 구비된 카메라부에서 둘 이상의 마커가 포함되도록 주변을 촬영된 촬영 영상을 수신하는 수신부;
미리 지정된 영상 해석 기법으로 상기 촬영 영상 내에서 촬영된 마커들을 각각 인식하고, 인식된 촬영된 마커에 대한 해석 정보를 각각 생성하는 마커 해석부; 및
촬영된 마커에 대한 해석 정보를 이용하여 각각 도출한 직선 방정식들의 교점 좌표를 상기 대상 물체의 위치 정보로 산출하는 위치 인식부를 포함하되,
상기 해석 정보는 촬영된 마커에 상응하는 현실의 마커에 대한 위치 정보와, 상기 현실의 마커와 상기 카메라부 사이의 각도값을 포함하는, 위치 인식 시스템.a receiver configured to receive a photographed image of the surrounding area so that two or more markers are included in the camera unit provided on the target object located in the field;
a marker analysis unit for recognizing each of the markers photographed in the photographed image using a predefined image analysis technique, and generating analysis information on the recognized photographed markers; and
Comprising a position recognition unit that calculates the coordinates of intersections of linear equations derived using analysis information on the photographed marker as position information of the target object,
The analysis information includes position information on a real marker corresponding to the photographed marker, and an angle value between the real marker and the camera unit. 제1항에 있어서,
상기 마커는 원뿔 형상으로 형성되고,
상기 마커의 표면은 다른 마커와 식별되도록 상이한 무늬와 색상 분포를 가지도록 형성되며,
상기 마커의 표면에 형성된 무늬와 색상 분포는 상기 카메라부가 상기 마커를 촬영하는 각도에 따라 상이하게 촬영되도록 배치되는, 위치 인식 시스템.According to claim 1,
The marker is formed in a cone shape,
The surface of the marker is formed to have a different pattern and color distribution to be distinguished from other markers,
The pattern and color distribution formed on the surface of the marker are arranged to be photographed differently depending on the angle at which the camera unit captures the marker. 제1항에 있어서,
상기 마커 해석부는, 상기 촬영된 마커의 표면에 형성된 무늬와 색상 분포에 대한 특징 정보를 생성하고, 저장부에 미리 저장된 마커들의 3차원 형상들 각각을 3차원 공간에서 회전시켜가며 상기 특징 정보에 부합되는 마커를 검출하고, 검출된 마커에 상응하도록 미리 저장된 위치 정보와 검출된 시점에서의 마커의 회전각인 상기 각도값을 이용하여 상기 해석 정보를 생성하는, 위치 인식 시스템. The method of claim 1,
The marker analysis unit generates characteristic information about the pattern and color distribution formed on the surface of the photographed marker, and rotates each of the 3D shapes of the markers stored in the storage unit in 3D space to match the characteristic information A position recognition system that detects a marker to be used and generates the analysis information using position information stored in advance to correspond to the detected marker and the angle value that is the rotation angle of the marker at the detected time point. 제1항에 있어서,
상기 마커의 표면에 무늬를 이루도록 색상이 칠해진 면적이 촬영된 각도에 따라 달라지도록 형성된 경우, 상기 각도값은 상기 촬영된 마커에 대해 무늬가 점유하는 영역과 그렇지 않은 영역간의 비율을 이용하여 산출되는, 위치 인식 시스템.According to claim 1,
When the area painted in color to form a pattern on the surface of the marker is formed to vary depending on the photographed angle, the angle value is calculated using the ratio between the area occupied by the pattern and the area not occupied with the photographed marker, location awareness system. 위치 인식 시스템을 수행하도록 하기 위해 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨터로 하여금 이하의 단계들을 수행하도록 하며, 상기 단계들은,
현장에 위치한 대상 물체에 구비된 카메라부에서 둘 이상의 마커가 포함되도록 주변을 촬영하여 생성된 촬영 영상을 입력받는 단계;
미리 지정된 영상 해석 기법으로 상기 촬영 영상 내에서 촬영된 마커들을 각각 인식하는 단계;
인식된 촬영된 마커들 각각에 대해, 촬영된 마커에 형성된 무늬와 색상 분포에 관한 특징 정보를 생성하는 단계;
각 촬영된 마커들에 대한 특징 정보를 이용하여, 촬영된 마커에 상응하는 현실의 마커에 대한 위치 정보와, 상기 현실의 마커와 상기 카메라부 사이의 각도값을 포함하는 해석 정보를 각각 생성하는 단계; 및
촬영된 마커에 대한 해석 정보를 이용하여 각각 도출한 직선 방정식들의 교점 좌표를 상기 대상 물체의 위치 정보로 산출하는 단계를 포함하는, 컴퓨터-판독 가능 매체에 저장된 컴퓨터 프로그램.A computer program stored on a computer-readable medium for performing a location recognition system, the computer program causing a computer to perform the following steps, the steps comprising:
receiving a captured image generated by photographing the surroundings so that two or more markers are included in a camera unit provided on a target object located in the field;
recognizing each of the markers photographed in the photographed image using a predetermined image analysis technique;
generating, for each of the recognized photographed markers, characteristic information about a pattern and color distribution formed on the photographed marker;
Generating analysis information including position information on a real marker corresponding to the photographed marker and an angle value between the real marker and the camera unit, respectively, by using the characteristic information on each of the photographed markers ; and
A computer program stored in a computer-readable medium, comprising the step of calculating the coordinates of the intersection points of the straight line equations respectively derived using the analysis information for the photographed marker as the position information of the target object.
KR1020200132018A 2020-10-13 2020-10-13 Location recognition system and method KR20220048760A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200132018A KR20220048760A (en) 2020-10-13 2020-10-13 Location recognition system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200132018A KR20220048760A (en) 2020-10-13 2020-10-13 Location recognition system and method

Publications (1)

Publication Number Publication Date
KR20220048760A true KR20220048760A (en) 2022-04-20

Family

ID=81395472

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200132018A KR20220048760A (en) 2020-10-13 2020-10-13 Location recognition system and method

Country Status (1)

Country Link
KR (1) KR20220048760A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200060994A (en) 2018-11-23 2020-06-02 전자부품연구원 Method for monitoring material location using low-power infrared beacon and speed camera and system using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200060994A (en) 2018-11-23 2020-06-02 전자부품연구원 Method for monitoring material location using low-power infrared beacon and speed camera and system using the same

Similar Documents

Publication Publication Date Title
EP2188589B1 (en) System and method for three-dimensional measurement of the shape of material objects
JP5544032B2 (en) Method and laser measurement system for controlling a laser tracker using a gesture
US9528828B2 (en) Method and system for determining position and orientation of a measuring instrument
CN107687855B (en) Robot positioning method and device and robot
CN114585875A (en) Metering system
US20240042621A1 (en) Autonomous working system, method and computer readable recording medium
CN107186714B (en) A kind of accurate positioning method, positioning system and robot device
JP2011150443A (en) Robot and robot system
US11475231B2 (en) Survey system and survey method
EP4368946A1 (en) Total station re-sectioning using two-dimensional targets
US11554491B2 (en) Robotic system and method of movement control using synthetic array radar and passive beacons
KR20220048760A (en) Location recognition system and method
US8717579B2 (en) Distance measuring device using a method of spanning separately targeted endpoints
CN114941985A (en) Six DoF measure auxiliary assembly
CN112525223A (en) Method and device for testing indoor positioning system by using laser radar
Abdulov et al. Research of visual positioning system for mobile robots remote automatic control
JP2019045381A (en) Space recognition device, space recognition method, and program
CN214583310U (en) Device for testing indoor positioning system by using laser radar
US20230375343A1 (en) Photogrammetry system
Lutwitzi et al. Lidar and Landmark based Localization System for a Wheeled Mobile Driving Simulator
Aalerud Industrial Perception of a Human World: A Hitchhiker's Guide to Autonomy
KR20240029156A (en) Drone precision landing method using deep learning-based virtual coordinate generation and drone precision landing system using the same
JP2021050917A (en) Control device, marker, method and program
KR20240111353A (en) Method and system for providing information of the positioning radio environment through real-time spatial modeling
Halmheu et al. Laser scanner detection and localization of successively arranged mobile robots

Legal Events

Date Code Title Description
A201 Request for examination