KR20210108794A

KR20210108794A - Avm calibration system and avm calibration method using the same

Info

Publication number: KR20210108794A
Application number: KR1020200023853A
Authority: KR
Inventors: 이상훈; 장정권
Original assignee: 두산인프라코어 주식회사
Priority date: 2020-02-26
Filing date: 2020-02-26
Publication date: 2021-09-03

Abstract

The present invention relates to an around-view-monitoring (AVM) correction system to quickly manage damage to construction equipment on a site and an AVM correction method using the same. According to various embodiments of the present invention, an AVM tolerance correction system applied to construction equipment comprises: a plurality of cameras generating image information; an AVM controller storing at least one or more parameter data for each of the plurality of cameras and generating AVM image information on the basis of the image information; and a terminal device receiving at least one or more pre-stored initial parameter data for the plurality of cameras from an external device. When distortion occurs in the AVM image information, the AVM controller corrects tolerance of the plurality of cameras on the basis of the received initial parameter data.

Description

AVM tolerance compensation system and AVM tolerance compensation method using the same

본 발명은, AVM 공차보정 방법에 관한 것으로, 보다 상세하게는, AVM 공차 보정을 위한 파라미터를 TMS와 연동하여 효율적으로 건설기계의 AVM 공차를 보정하는 방법에 관한 것입니다.The present invention relates to an AVM tolerance correction method, and more particularly, to a method of efficiently compensating the AVM tolerance of a construction machine by linking the parameters for AVM tolerance correction with TMS.

일반적으로, 굴삭기 등과 같은 건설 장비는 이동 방향에 위치하는 장애물을 운전자가 확인하지 못하는 경우 안전사고가 발생할 수 있으므로, 건설 장비의 전방은 물론, 후방 및 측방에 대한 상황을 파악할 수 있는 화면 표시 시스템이 매우 중요한 요소로 작용되고 있다. 이를 위하여, 건설 장비의 다양한 방향에 복수의 카메라들을 설치하고, 각 카메라로부터 촬영된 영상이 화면으로 각각 표시되거나 하나로 합성되어 표시되도록 하는AVM(Around View Monitor) 시스템이 연구되고 있다.In general, construction equipment such as excavators may cause a safety accident if the driver does not check the obstacles located in the moving direction. It is acting as a very important factor. To this end, an Around View Monitor (AVM) system in which a plurality of cameras are installed in various directions of construction equipment, and images captured from each camera are displayed on a screen or combined into one, are being studied.

건설 장비의 둘레를 따라 4개 이상의 카메라가 장착되고, 각 카메라들을 통해 수집한 영상을 조합, 합성하여 직관성이 높은 실시간 영상물로 변환될 수 있다. 그러나, 복수개의 카메라를 사용하기 때문에, 인라인 공정에서의 각 카메라의 장착시에 발생하는 장착 공차 또는 개별 카메라 교체 장착으로 인해 설계 기준 영상 대비 장착된 AVM 영상의 오차가 발생할 수 있다. 따라서, 건설 장비에 AVM 시스템을 적용함에 있어서는 카메라를 건설기계에 설치하는 과정에서 발생하는 오차를 보정하는 작업이 필요하다.Four or more cameras are mounted along the perimeter of the construction equipment, and images collected through each camera are combined and synthesized to convert them into highly intuitive real-time images. However, since a plurality of cameras are used, errors in the AVM image mounted compared to the design reference image may occur due to a mounting tolerance that occurs when each camera is mounted in the inline process or due to replacement and mounting of individual cameras. Therefore, in applying the AVM system to construction equipment, it is necessary to correct errors occurring in the process of installing the camera on the construction equipment.

한편, 일반적으로 AVM시스템의 공차 보정 시에는, 실내에서 정해진 위치에 배치되는 공차 보정용 패턴을 사용하여 보정하는, 인라인 공차보정 방식이 이용된다. 실제 건설 현장에서는, 건설 장비에 장착된 AVM시스템의 카메라가 파손되는 사례가 매우 빈번한데, 복수의 카메라 중 일부만이 파손된 경우 또는 일부 카메라와 함께 복수의 카메라 영상을 조합하여 AVM 영상을 생성하는 컨트롤러가 파손된 경우, 현장에서 파손된 일부 카메라 또는 컨트롤러만을 교체 장착하더라도, 공차의 보정을 위해서는 건설 현장을 벗어나서 실내 공차 보정 장소로 이동해야 하는 문제점이 있었다.On the other hand, in general, in the tolerance correction of the AVM system, an in-line tolerance correction method is used in which correction is performed using a tolerance correction pattern disposed at a predetermined position in the room. In actual construction sites, it is very frequent that the camera of the AVM system mounted on the construction equipment is damaged. is damaged, even if only some cameras or controllers damaged at the site are replaced and mounted, there is a problem in that it is necessary to leave the construction site and move to an indoor tolerance correction site in order to correct the tolerance.

등록 특허 10-1515482호 (2015.04.29)Registered Patent No. 10-1515482 (2015.04.29)

본 발명은 상기 문제점을 해결하기 위해 안출된 것으로, 건설기계에 장착되는 AVM 시스템의 파손 시에 기 저장되었던 파라미터값을 이용하여 건설현장에서 AVM 시스템의 공차를 보정하기 위한, AVM 공차 보정 시스템을 제공하는데 그 목적이 있다. The present invention has been devised to solve the above problem, and provides an AVM tolerance correction system for correcting the tolerance of an AVM system at a construction site using parameter values previously stored when the AVM system mounted on a construction machine is damaged. but it has a purpose.

본 발명의 다양한 실시예에 따른 AVM 공차 보정 시스템은, 건설기계에 적용되는 AVM(Around View Monitoring) 공차 보정 시스템에 있어서, 영상 정보를 생성하는 복수의 카메라들; 상기 복수의 카메라들 각각에 대한 적어도 하나 이상의 파라미터 데이터를 저장하고, 상기 영상 정보를 기초로 AVM 영상 정보를 생성하는 AVM 컨트롤러; 및 외부 장치로부터 상기 복수의 카메라들에 대한 적어도 하나 이상의 기 저장된 초기 파라미터 데이터를 수신하는 단말장치를 포함하고, 상기 AVM 컨트롤러는 상기 AVM 영상 정보에 왜곡이 발생되는 경우, 상기 수신된 초기 파라미터 데이터를 기초로 상기 복수의 카메라들의 공차를 보정할 수 있다.An AVM tolerance correction system according to various embodiments of the present disclosure includes an Around View Monitoring (AVM) tolerance correction system applied to a construction machine, comprising: a plurality of cameras generating image information; an AVM controller that stores at least one or more parameter data for each of the plurality of cameras and generates AVM image information based on the image information; and a terminal device for receiving at least one or more pre-stored initial parameter data for the plurality of cameras from an external device, wherein the AVM controller receives the received initial parameter data when distortion occurs in the AVM image information. Based on this, the tolerance of the plurality of cameras may be corrected.

바람직하게는, 상기 파라미터 데이터는 상기 복수의 카메라들 각각의 위치 및 회전에 대한 파라미터를 포함할 수 있다.Preferably, the parameter data may include parameters for the position and rotation of each of the plurality of cameras.

더욱 바람직하게는, 상기 파라미터 데이터는 상기 복수의 카메라들 각각에 대한 X축,Y축,Z축의 변위 및 요잉, 피칭, 롤링을 나타내는 파라미터를 포함할 수 있다.More preferably, the parameter data may include parameters representing displacement and yaw, pitching, and rolling of the X-axis, Y-axis, and Z-axis for each of the plurality of cameras.

더욱 바람직하게는, 상기 초기 파라미터는 공차가 보정된 상태의 상기 복수의 카메라들의 대한 파라미터 데이터를 포함할 수 있다.More preferably, the initial parameter may include parameter data for the plurality of cameras in a tolerance-corrected state.

바람직하게는, 상기 외부 장치는 TMS 서버를 포함하고, 상기 단말장치는 OTA(Over-The-Air) 방식으로 상기 TMS 서버와 통신할 수 있다.Preferably, the external device includes a TMS server, and the terminal device can communicate with the TMS server in an over-the-air (OTA) method.

바람직하게는, 상기 AVM 컨트롤러는 상기 복수의 카메라들의 현재 상태의 파라미터 데이터를 저장할 수 있다.Preferably, the AVM controller may store parameter data of current states of the plurality of cameras.

본 발명의 다양한 실시예에 따른 AVM 공차 보정 방법은, 건설기계에 적용되는 AVM(Around View Monitoring) 공차 보정방법에 있어서, 상기 건설기계의 AVM의 공차 보정이 완료된 상태에서의, 복수의 카메라들 각각에 대한 초기 파라미터 데이터를 서버로 전송하는 동작; 상기 복수의 카메라들을 통해 생성된 영상 정보를 기초로 AVM 영상 정보를 생성하는 동작; 상기 생성된 AVM 영상 정보에 왜곡이 발생되는 경우, 상기 서버로부터 상기 복수의 카메라들 각각에 대한 상기 초기 파라미터 데이터를 수신하는 동작; 및 상기 수신된 초기 파라미터 데이터를 기초로 상기 복수의 카메라들의 공차를 보정할 수 있다. In the AVM tolerance correction method according to various embodiments of the present disclosure, in the AVM tolerance correction method applied to a construction machine, each of the plurality of cameras is in a state in which the tolerance correction of the AVM of the construction machine is completed. transmitting initial parameter data for the server; generating AVM image information based on the image information generated through the plurality of cameras; receiving the initial parameter data for each of the plurality of cameras from the server when distortion occurs in the generated AVM image information; and correcting tolerances of the plurality of cameras based on the received initial parameter data.

본 발명은, 건설기계에 장착되는 AVM 시스템의 파손 시에 기 저장되었던 파라미터값을 이용하여 건설현장에서 AVM 시스템의 공차를 보정함으로써, 건설기계의 파손에 대해 신속한 현장 대응이 가능한 효과가 있다.According to the present invention, by correcting the tolerance of the AVM system at the construction site by using the parameter values previously stored when the AVM system mounted on the construction machine is damaged, it is possible to quickly respond to the damage of the construction machine on site.

또한, 건설 현장에서 AVM시스템의 공차 보정이 가능함에 따라, 공기 단축 및 비용 절감의 효과가 있다.In addition, as the tolerance correction of the AVM system is possible at the construction site, there is an effect of shortening the construction period and reducing the cost.

도 1은 본 발명의 다양한 실시예에 따른 AVM 공차 보정 시스템을 설명하는 도면.
도 2는 본 발명의 다양한 실시예에 따른 AVM 컨트롤러를 설명하는 도면.
도 3은 본 발명의 다양한 실시예에 따른 카메라 파라미터를 설명하는 도면.
도 4는 본 발명의 다양한 실시예에 따른, AVM 공차 보정 방법을 설명하는 도면.1 is a view for explaining an AVM tolerance correction system according to various embodiments of the present invention.
2 is a view for explaining an AVM controller according to various embodiments of the present invention;
3 is a view for explaining camera parameters according to various embodiments of the present invention;
4 is a view for explaining an AVM tolerance correction method according to various embodiments of the present disclosure;

이하에서는 설명의 편의를 위해 본 발명의 일부 실시 예를 예시적인 도면을 통해 설명한다. 각 도면의 구성요소들에 참조부호를 기재함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호로 표시한다.Hereinafter, some embodiments of the present invention will be described with reference to exemplary drawings for convenience of description. In describing the components of each drawing by reference numerals, the same components are denoted by the same reference numerals as much as possible even though they are shown in different drawings.

본 명세서 및 청구범위에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 본 발명의 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 '연결' 또는 '결합'된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결 또는 결합될 수 있지만, 그 구성 요소와 그 다른 구성요소 사이에 또 다른 구성 요소가 '연결' 또는 '결합'될 수도 있다고 이해되어야 할 것이다.The principle that the terms or words used in the present specification and claims are not limited to their ordinary or dictionary meanings, and the inventor can appropriately define the concept of the term in order to best describe his invention. It should be interpreted as meaning and concept consistent with the technical idea of the present invention based on the In addition, in describing the components of the embodiment of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the components from other components, and the essence, order, or order of the components are not limited by the terms. When it is described that a component is 'connected' or 'coupled' to another component, the component may be directly connected or coupled to the other component, but another component is between the component and the other component. It should be understood that elements may be 'connected' or 'coupled'.

따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are only the most preferred embodiments of the present invention and do not represent all the technical spirit of the present invention, so various equivalents that can replace them at the time of the present application It should be understood that there may be water and variations. In addition, detailed descriptions of well-known functions and configurations that may unnecessarily obscure the gist of the present invention will be omitted.

이하에서는 첨부된 도면을 참조하여, 본 발명의 다양한 실시예에 따른 AVM 공차 보정 시스템을 구체적으로 설명한다.Hereinafter, an AVM tolerance correction system according to various embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 다양한 실시예에 따른 AVM 공차 보정 시스템을 설명하는 도면이고, 도 2는 본 발명의 다양한 실시예에 따른 AVM 컨트롤러(150)를 설명하는 도면이고, 도 3은 본 발명의 다양한 실시예에 따른 카메라 파라미터를 설명하는 도면이다. 1 is a diagram illustrating an AVM tolerance correction system according to various embodiments of the present invention, FIG. 2 is a diagram illustrating an AVM controller 150 according to various embodiments of the present invention, and FIG. 3 is various embodiments of the present invention. It is a diagram for explaining camera parameters according to an embodiment.

도 1 내지 도 3을 참조하면, 본 발명의 다양한 실시예에 따른, AVM 공차 보정 시스템은 복수의 카메라들(120), AVM 컨트롤러(150)로 구성되는 AVM 시스템(100), 단말 장치(180) 및 서버(200)를 포함할 수 있다. 1 to 3 , the AVM tolerance correction system according to various embodiments of the present disclosure includes an AVM system 100 including a plurality of cameras 120 , an AVM controller 150 , and a terminal device 180 . and a server 200 .

본 발명의 다양한 실시예에 따른 AVM 공차 보정 시스템은 복수개의 카메라(120)를 포함할 수 있다. 복수개의 카메라(120)는 건설 기계(101)의 외부 둘레를 촬영할 수 있도록, 건설 기계(101)의 외측 또는 외측에 설치될 수 있다. 일 실시예에서, 복수개의 카메라(120)는 건설 기계(101)의 전방에 설치되는 제1카메라(예: 도2의 제1카메라(121)), 건설 기계(101)의 좌우측방에 설치되는 제2카메라(예: 도2의 제2카메라(122)), 제3카메라(예: 도2의 제3카메라(123)) 및 건설 기계(101)의 후방에 설치되는 제4카메라(예: 도2의 제4카메라(124))를 포함할 수 있다. 상기 제1내지 제4카메라는 각각 건설 기계(101)의 전, 후방의 상황 및 좌,우측방의 상황을 촬영하여 각각 촬영된 영상정보를 생성할 수 있다. 각 카메라에서 생성된 영상정보는 AVM 컨트롤러(150)에 유선 또는 무선 통신을 통해 전송될 수 있고, 컨트롤러를 통해 각각의 카메라에서 생성된 각각의 영상정보가 조합되어, 건설 기계(101)의 상부에서 내려다 보는 시점(top-view)의 하나의 영상정보가 생성될 수 있다. The AVM tolerance correction system according to various embodiments of the present disclosure may include a plurality of cameras 120 . The plurality of cameras 120 may be installed outside or outside the construction machine 101 so as to photograph the outer perimeter of the construction machine 101 . In one embodiment, the plurality of cameras 120 are a first camera installed in front of the construction machine 101 (eg, the first camera 121 in FIG. 2 ), which are installed in the left and right sides of the construction machine 101 . A second camera (eg, the second camera 122 of FIG. 2 ), a third camera (eg, the third camera 123 of FIG. 2 ), and a fourth camera (eg, installed at the rear of the construction machine 101 ) The fourth camera 124 of FIG. 2) may be included. The first to fourth cameras may respectively generate photographed image information by photographing the front and rear conditions and the left and right conditions of the construction machine 101 . The image information generated by each camera may be transmitted to the AVM controller 150 through wired or wireless communication, and each image information generated by each camera is combined through the controller, and the One image information of a top-view may be generated.

본 발명의 다양한 실시예에 따른 AVM 공차 보정 시스템은 AVM 컨트롤러(150)를 포함할 수 있다. AVM 컨트롤러(150)는 저장부(152), AVM 영상 생성부(154), 보정부(155) 및 통신부(158)를 포함할 수 있다. The AVM tolerance correction system according to various embodiments of the present disclosure may include an AVM controller 150 . The AVM controller 150 may include a storage unit 152 , an AVM image generation unit 154 , a correction unit 155 , and a communication unit 158 .

저장부(152)는 복수개의 카메라들(120)에 의해 생성된 건설 기계(101)의 외부 상황에 대한 영상정보를 저장할 수 있다. 일 실시예에서 저장부(152)는 각 카메라(예: 도 2의 제1카메라(121), 제2카메라(122), 제3카메라(123), 제4카메라(124))의 영상정보를 일시적으로 저장할 수 있다. 또한, 저장부(152)는 복수개의 카메라(120)에 대한 각각의 카메라 파라미터 데이터를 저장할 수 있다. 카메라 파라미터 데이터는 각 카메라들(121,122,123,124)의 초점 정보에 관한 것일 수 있다. 즉, 복수의 카메라들(120)이 촬영한 영상정보의 왜곡없는 정합을 위한 복수의 카메라들(120)의 초점 정보일 수 있다. 구체적으로, 도 3의 (a), 도 3의 (b) 및 도 3의 (c)를 참조하면, 카메라 파라미터 데이터는 세계좌표계(world coordinate system)상의 기준점에 대한, 각 카메라의 X축, Y축, Z축 방향으로의 이동 변위 및 요잉(yawing), 피칭(pitching), 롤링(rolling)회전 운동량을 나타내는 정보를 포함할 수 있다. The storage unit 152 may store image information about the external situation of the construction machine 101 generated by the plurality of cameras 120 . In an embodiment, the storage unit 152 stores image information of each camera (eg, the first camera 121, the second camera 122, the third camera 123, and the fourth camera 124 of FIG. 2). It can be stored temporarily. Also, the storage unit 152 may store each camera parameter data for the plurality of cameras 120 . The camera parameter data may relate to focus information of each of the cameras 121 , 122 , 123 , and 124 . That is, it may be focus information of the plurality of cameras 120 for distortion-free matching of image information photographed by the plurality of cameras 120 . Specifically, referring to FIGS. 3(a), 3(b) and 3(c), the camera parameter data is the X-axis, Y of each camera with respect to a reference point on the world coordinate system. It may include information indicating movement displacement in the axis, Z-axis direction, and rotational momentum of yawing, pitching, and rolling.

일 실시예에서 저장부(152)는 현재상태의 카메라 파라미터 데이터를 저장할 수 있다. 저장부(152)는 건설 기계(101)가 출고될 때의 각 카메라(121,122,123,124)에 대한 초기 파라미터 데이터를 저장할 수 있다. 저장부(152)는 건설 기계(101)가 출고된 이후 기 설정된 주기에 따라 현재 상태의 각 카메라(121,122,123,124)에 대한 파라미터 데이터를 저장할 수 있다. 일 실시예에서, 건설 기계(101)의 출고시에 저장된 각 카메라들(121,122,123,124)에 대한 파라미터 데이터는 단말 장치(180)를 통해 서버(200)에 저장될 수 있다. In an embodiment, the storage unit 152 may store camera parameter data in a current state. The storage unit 152 may store initial parameter data for each camera 121 , 122 , 123 , and 124 when the construction machine 101 is shipped. The storage unit 152 may store parameter data for each of the cameras 121 , 122 , 123 , and 124 in a current state according to a preset period after the construction machine 101 is shipped out. In an embodiment, parameter data for each of the cameras 121 , 122 , 123 , and 124 stored at the time of shipment of the construction machine 101 may be stored in the server 200 through the terminal device 180 .

AVM 영상 생성부(154)는 각 카메라(121,122,123,124)로부터 생성된 영상 정보들을 조합하여 하나의 AVM 영상 정보를 생성할 수 있다. AVM 영상 정보는 각 카메라들(121,122,123,124)을 통해 수집한 영상을 조합, 합성하여 직관성이 높은 실시간 영상으로 변환된 영상 정보를 포함할 수 있다. 이 경우, AVM 영상 정보는 건설 기계(101)의 상부에서 내려다 보는 시점(top-view)의 하나의 영상정보를 포함할 수 있다. AVM 영상 생성부(154)에 의해 생성된 하나의 영상정보는 건설 기계(101)의 캐빈 내에 설치되는 디스플레이부(300)를 통해 사용자에 보여질 수 있다. 따라서, 생성된 AVM 영상 정보에 왜곡된 부분이 포함되는 경우, 사용자는 디스플레이부(300)를 통해 이를 확인할 수 있다. The AVM image generator 154 may generate one piece of AVM image information by combining image information generated from each of the cameras 121 , 122 , 123 , and 124 . The AVM image information may include image information converted into a highly intuitive real-time image by combining and synthesizing images collected through each of the cameras 121 , 122 , 123 , and 124 . In this case, the AVM image information may include one image information of a top-view looking down from the top of the construction machine 101 . One image information generated by the AVM image generating unit 154 may be shown to the user through the display unit 300 installed in the cabin of the construction machine 101 . Accordingly, when a distorted portion is included in the generated AVM image information, the user may check this through the display unit 300 .

보정부(155)는 디스플레이부(300)에 표시되는 AVM 영상 정보가 왜곡되어 표시되는 경우, 각 카메라들(121,122,123,124)의 공차의 보정을 수행 할 수 있다. 일 실시예에 따르면, 보정부(155)는 서버(200)로부터 수신된 각 카메라들(121,122,123,124)의 초기 파라미터 데이터를 기초로하여 각 카메라들(121,122,123,124)의 공차를 보정할 수 있다. 일 실시예에서, 보정부(155)는 공차 보정 프로그램(미도시)을 포함할 수 있고, 단말 장치(180)로부터 수신된 초기 파라미터 데이터가 공차 보정 프로그램에 입력됨으로써 각 카메라들(121,122,123,124)의 공차를 보정할 수 있다. 따라서, 본 발명에서는 건설 기계(101)의 운용 중에 카메라 또는 AVM 컨트롤러(150)가 파손되어 새롭게 교체 장착함에 따라 공차의 보정이 요구되는 경우, 공차 보정시설이 갖추어진 별도의 시설로 이동하거나, 건설 현장에 보정을 위한 시설을 설치하지 않고, 서버(200)로부터 수신된 카메라의 초기 파라미터 데이터를 이용하여, 현장에서 공차 보정 절차를 수행할 수 있는 것이다.When the AVM image information displayed on the display unit 300 is distorted and displayed, the corrector 155 may correct the tolerance of each of the cameras 121 , 122 , 123 and 124 . According to an embodiment, the compensator 155 may correct the tolerance of each of the cameras 121 , 122 , 123 , and 124 based on initial parameter data of each of the cameras 121 , 122 , 123 , and 124 received from the server 200 . In an embodiment, the compensator 155 may include a tolerance correction program (not shown), and the initial parameter data received from the terminal device 180 is input to the tolerance correction program, so that the tolerances of each of the cameras 121 , 122 , 123 , and 124 are inputted into the tolerance correction program. can be corrected. Therefore, in the present invention, when the camera or the AVM controller 150 is damaged during operation of the construction machine 101 and the tolerance correction is required as a new replacement is installed, it is moved to a separate facility equipped with a tolerance correction facility, or construction It is possible to perform the tolerance correction procedure in the field by using the initial parameter data of the camera received from the server 200 without installing a facility for correction in the field.

통신부(158)는 단말 장치(180)와 유선 또는 무선 통신할 수 있다. 본 발명의 다양한 실시예에 따른 AVM 컨트롤러(150)는 통신부(158)를 통해 건설 기계(101)의 출고시의 각 카메라(121,122,123,124)에 대한 초기 파라미터 데이터를 단말 장치(180)에 송신 할 수 있다. 초기 파라미터 데이터는 단말 장치(180)를 통해 외부의 서버(200)에 저장될 수 있다. 또한, 통신부(158)는 공차 보정의 요청 발생시에 단말 장치(180)가 서버(200)로부터 수신한 각 카메라들(120)에 대한 초기 파라미터 데이터를 단말 장치(180)로부터 수신할 수 있다. The communication unit 158 may perform wired or wireless communication with the terminal device 180 . The AVM controller 150 according to various embodiments of the present invention may transmit initial parameter data for each camera 121 , 122 , 123 , and 124 at the time of shipment of the construction machine 101 to the terminal device 180 through the communication unit 158 . . The initial parameter data may be stored in the external server 200 through the terminal device 180 . Also, the communication unit 158 may receive, from the terminal device 180 , initial parameter data for each of the cameras 120 received by the terminal device 180 from the server 200 when a request for tolerance correction occurs.

본 발명의 다양한 실시예에 따른 AVM 공차 보정 시스템은 단말 장치(180)를 포함할 수 있다. 단말 장치(180)는 건설 기계(101)의 원격관리를 위해 건설 기계(101)에 설치될 수 있다. 단말 장치(180)는 건설 기계(101)의 외부에 위치하는 서버(200)와 무선 통신방식으로 데이터를 송수신할 수 있다. 이 경우, 단말 장치(180)는 서버(200)로부터 수신한 데이터를 유선 또는 무선 통신으로 AVM 컨트롤에 전달하는 역할을 할 수 있다. 일 실시예에서, 건설 기계(101)의 출고 시에 각 AVM 카메라(121,122,123,124)의 파라미터 데이터를 서버(200)에 송신 할 수 있다. 이 경우, 서버(200)에 송신되는 파라미터 데이터는, 인라인 공정에서 공차 보정이 완료된 상태의 각 AVM 카메라(121,122,123,124)의 파라미터 데이터를 포함할 수 있다. 일 실시예에서, 단말 장치(180)는 복수개의 카메라들(120)에 대한 공차 보정의 요청이 발생되면, 서버(200)로부터, 각 건설 기계(101)에 대한 출고 시의 AVM 카메라(120)의 파라미터 데이터를 수신할 수 있다. 일 실시예에서, 사용자가 디스플레이부(300)를 통해 AVM 영상 정보에 왜곡이 포함되었음을 확인한 경우, 사용자의 조작에 의해 외부의 서버(200)에 초기 파라미터 데이터 요청 신호를 보낼 수 있다. 일 실시예에서, 단말 장치(180)는 기 설정된 주기에 따라, 서버(200)에 초기 파라미터 데이터 요청 신호를 보낼 수 있다. 이 경우, 단말 장치(180)는 서버(200)로부터 초기 파라미터 데이터를 수신하여, AVM 컨트롤러(150)로 전달할 수 있다.The AVM tolerance correction system according to various embodiments of the present disclosure may include the terminal device 180 . The terminal device 180 may be installed in the construction machine 101 for remote management of the construction machine 101 . The terminal device 180 may transmit/receive data to and from the server 200 located outside the construction machine 101 in a wireless communication method. In this case, the terminal device 180 may serve to transmit data received from the server 200 to the AVM control through wired or wireless communication. In an embodiment, parameter data of each of the AVM cameras 121 , 122 , 123 , and 124 may be transmitted to the server 200 when the construction machine 101 is shipped. In this case, the parameter data transmitted to the server 200 may include parameter data of each of the AVM cameras 121 , 122 , 123 , and 124 in a state in which tolerance correction is completed in the inline process. In an embodiment, when a request for tolerance correction for the plurality of cameras 120 is generated, the terminal device 180 receives the AVM camera 120 for each construction machine 101 from the server 200 at the time of shipment. of parameter data can be received. In an embodiment, when the user confirms that distortion is included in the AVM image information through the display unit 300 , an initial parameter data request signal may be transmitted to the external server 200 by the user's manipulation. In an embodiment, the terminal device 180 may send an initial parameter data request signal to the server 200 according to a preset period. In this case, the terminal device 180 may receive initial parameter data from the server 200 and transmit it to the AVM controller 150 .

본 발명의 다양한 실시예에 따른 AVM 공차 보정 시스템은 서버(200)를 포함할 수 있다. 서버(200)는 건설 기계(101)에 설치되는 단말 장치(180)와 무선으로 데이터를 송수신 할 수 있다. 일 실시예에서, 서버(200)는 건설 기계(101)의 원격 관리를 위한 TMS(tele-monitoring-system)의 서버(200)를 포함할 수 있다. 일 실시예에서, 서버(200)는 각각의 건설 기계(101)의 출고시에 AVM 카메라(120)에 대한 초기 파라미터 데이터를 건설 기계(101)에 설치된 단말장치를 통해 수신하여 저장할 수 있다. 일 실시예에서, 서버(200)는 단말장치로부터 요청이 있는 경우, 기 저장하고 있던 건설 기계(101)의 AVM 카메라(120)에 대한 초기 파라미터 데이터를 해당 건설 기계(101)의 단말 장치(180)로 송신 할 수 있다. 일 실시예에서, 서버(200)는 OTA(over-the-air) 방식으로 각 건설 기계(101)에 설치된 단말장치로, 해당 건설 기계(101)에 설치된 카메라들(120)의 초기 파라미터 데이터를 기 설정된 주기에 따라 전송할 수 있다.The AVM tolerance correction system according to various embodiments of the present disclosure may include the server 200 . The server 200 may wirelessly transmit/receive data to and from the terminal device 180 installed in the construction machine 101 . In one embodiment, the server 200 may include a server 200 of a TMS (tele-monitoring-system) for remote management of the construction machine 101 . In an embodiment, the server 200 may receive and store initial parameter data for the AVM camera 120 through a terminal device installed in the construction machine 101 at the time of leaving each construction machine 101 . In one embodiment, when there is a request from the terminal device, the server 200 transmits the initial parameter data for the AVM camera 120 of the construction machine 101 that was previously stored to the terminal device 180 of the corresponding construction machine 101 . ) can be sent. In one embodiment, the server 200 is a terminal device installed in each construction machine 101 in an over-the-air (OTA) method, and receives initial parameter data of the cameras 120 installed in the corresponding construction machine 101 . It can be transmitted according to a preset period.

도 4는 본 발명의 다양한 실시예에 따른, AVM 공차 보정 방법을 설명하는 도면이다.4 is a view for explaining an AVM tolerance correction method according to various embodiments of the present disclosure.

도 4를 참조하면, 본 발명의 다양한 실시예에 따른 AVM 공차 보정 방법은, 건설 기계(101)에 설치된 복수개의 카메라들(120)에 대한 초기 파라미터 데이터를 서버(200)로 전송하는 동작(510), 복수의 카메라들(120)을 통해 생성된 영상 데이터를 기초로 AVM 영상 데이터를 생성하는 동작(520), 상기 생성된 AVM 영상 데이터에 왜곡이 발생되는 경우, 상기 서버(200)로부터 상기 복수의 카메라들(120) 각각에 대한 상기 초기 파라미터 데이터를 수신하는 동작(530) 및 상기 수신된 초기 파라미터 데이터를 기초로 상기 복수의 카메라들(120)의 공차를 보정하는 동작(540)을 포함할 수 있다. Referring to FIG. 4 , in the AVM tolerance correction method according to various embodiments of the present disclosure, an operation 510 of transmitting initial parameter data for a plurality of cameras 120 installed in a construction machine 101 to the server 200 . ), generating AVM image data based on the image data generated through the plurality of cameras 120 , in operation 520 , when distortion occurs in the generated AVM image data, the plurality of receiving the initial parameter data for each of the cameras 120 of can

(510)동작에서 복수의 카메라들(120) 각각에 대한 초기 파라미터 데이터가 외부의 서버(200)로 전송될 수 있다. 각각의 건설 기계(101)에 설치된 카메라들(120)은 인라인 공정에서 공차의 보정이 완료된 상태로 출고가 되고, 공차 보정이 완료되면 각 카메라들(121,122,123,124)의 파라미터 데이터가 결정될 수 있다. 이를 초기 파라미터 데이터라 설명할 수 있다. 다양한 실시예에 따른 본 발명의 AVM 공차 보정 방법에서는, 출고 시의 공차 보정이 완료된 초기 파라미터 데이터가 서버(200)로 전송되는 것이다. 초기 파라미터 데이터는 AVM 컨트롤러(150)의 저장부(152)에 저장될 수 있고, 통신부(158)를 통해 단말 장치(180)에 전달 될 수 있다. 이렇게 단말 장치(180)에 전달된 각 카메라(121,122,123,124)의 초기 파라미터 데이터는 사용자의 조작 또는 기 설정된 주기에 따라 서버(200)에 전송되어 저장될 수 있다. In operation 510 , initial parameter data for each of the plurality of cameras 120 may be transmitted to the external server 200 . The cameras 120 installed in each construction machine 101 are shipped in a state in which the tolerance correction is completed in the inline process, and when the tolerance correction is completed, parameter data of each of the cameras 121 , 122 , 123 , 124 may be determined. This may be described as initial parameter data. In the AVM tolerance correction method of the present invention according to various embodiments, initial parameter data on which the tolerance correction is completed at the time of shipment is transmitted to the server 200 . The initial parameter data may be stored in the storage unit 152 of the AVM controller 150 , and may be transmitted to the terminal device 180 through the communication unit 158 . The initial parameter data of each camera 121 , 122 , 123 , and 124 transmitted to the terminal device 180 in this way may be transmitted to and stored in the server 200 according to a user's manipulation or a preset period.

(520)동작에서 AVM 영상 생성부(154)는 공차 보정이 완료된 각 카메라(121,122,123,124)에 의해 생성된 영상 데이터를 조합하여, 하나의 AVM 영상 정보를 생성할 수 있다. 이렇게 생성된 AVM 영상 정보는 건설 기계(101)의 캐빈 내부에 배치되는 디스플레이부(300)를 통해 사용자에 표시될 수 있다. 일 실시예에서, AVM 영상 정보는 서로 다른 4개의 카메라(121,122,123,124)에 의해 생성된 영상 정보를 조합하여 생성되기 때문에, 각 카메라(121,122,123,124)의 초점이 틀어지면 AVM 영상 정보에도 왜곡이 발생될 수 있다. 건설 기계(101)의 운용 중에 발생되는 충격에 의해 복수의 카메라 중 일부와 함께 AVM 컨트롤러(150)가 파손되는 경우, 현장에서 파손된 카메라와 AVM 컨트롤러(150)를 교체하여 설치할 수 있고, 이 경우, 생성되는 AVM 영상 정보에 왜곡된 영상이 포함될 수 있다. 이 경우 사용자는 디스플레이부(300)를 통해 영상정보의 왜곡 발생여부를 확인 할 수 있다. In operation 520 , the AVM image generator 154 may generate one piece of AVM image information by combining image data generated by each of the cameras 121 , 122 , 123 , and 124 for which tolerance correction has been completed. The generated AVM image information may be displayed to the user through the display unit 300 disposed inside the cabin of the construction machine 101 . In an embodiment, since the AVM image information is generated by combining image information generated by four different cameras 121, 122, 123, and 124, when the focus of each camera 121, 122, 123, 124 is shifted, distortion may occur in the AVM image information. . When the AVM controller 150 is damaged along with some of the plurality of cameras due to the impact generated during operation of the construction machine 101, the damaged camera and the AVM controller 150 may be replaced and installed at the site, in this case , a distorted image may be included in the generated AVM image information. In this case, the user can check whether distortion of the image information has occurred through the display unit 300 .

(530)동작에서 디스플레이부(300)를 통해 일부가 왜곡된 AVM 영상 정보가 표시되는 경우, 사용자는 단말 장치(180)의 조작을 통해, 서버(200)에 저장된 각 카메라(121,122,123,124)에 대한 초기 파라미터 데이터를 요청하는 신호를 발생시킬 수 있다. 단말 장치(180)를 통해 요청 신호를 서버(200)에 보냄으로써, 기 저장되었던 초기 파라미터 데이터를 수신할 수 있다. When the partially distorted AVM image information is displayed through the display unit 300 in operation 530 , the user manipulates the terminal device 180 to receive initial information for each camera 121 , 122 , 123 , 124 stored in the server 200 It can generate a signal requesting parameter data. By sending a request signal to the server 200 through the terminal device 180 , pre-stored initial parameter data may be received.

(540)동작에서는 이렇게 수신된 해당 건설 기계(101)에 설치된 카메라들(120)에 대한 초기 파라미터 데이터가 AVM 컨트롤러(150)에 전달 될 수 있다. 보정부(155)에 저장된 보정 프로그램을 실행하여, 수신된 초기 파라미터 데이터를 기초로 각 카메라들(121,122,123,124)의 공차 보정 절차를 수행할 수 있다. In operation 540 , the received initial parameter data for the cameras 120 installed in the corresponding construction machine 101 may be transmitted to the AVM controller 150 . By executing the correction program stored in the correction unit 155 , the tolerance correction procedure of each of the cameras 121 , 122 , 123 , and 124 may be performed based on the received initial parameter data.

이상에서 설명한 바와 같이, 본 발명의 다양한 실시예에 따른 AVM 공차 보정 방법은 건설 기계(101)에 장착되는 AVM 시스템(100)의 파손 시에 기 저장되었던 초기 파라미터값을 이용하여 건설현장에서 AVM 시스템(100)의 공차를 보정함으로써, AVM 시스템(100)의 파손에 대해 신속한 현장 대응이 가능한 효과가 있다.As described above, in the AVM tolerance correction method according to various embodiments of the present invention, an AVM system at a construction site using initial parameter values stored in advance when the AVM system 100 mounted on the construction machine 101 is damaged. By correcting the tolerance of ( 100 ), there is an effect that a rapid on-site response to the damage of the AVM system 100 is possible.

이상에서, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 이상에서 기재된 '포함하다', '구성하다' 또는 '가지다' 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. In the above, even though it has been described that all the components constituting the embodiment of the present invention operate by being combined or combined into one, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more. In addition, terms such as 'include', 'comprise' or 'have' described above mean that the corresponding component may be inherent unless otherwise stated, so other components are excluded. Rather, it should be construed as being able to further include other components. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs, unless otherwise defined. Terms commonly used, such as those defined in the dictionary, should be interpreted as being consistent with the contextual meaning of the related art, and are not interpreted in an ideal or excessively formal meaning unless explicitly defined in the present invention.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical spirit of the present invention, and various modifications and variations will be possible without departing from the essential characteristics of the present invention by those skilled in the art to which the present invention pertains. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.

100: AVM 시스템
101: 건설 기계
120: 카메라
150: AVM 컨트롤러
152: 저장부
1521: 영상 저장부
1522: 파라미터 저장부
154: AVM 영상 생성부
155: 보정부
158: 통신부
180: 단말 장치
200: 서버
300: 디스플레이부100: AVM system
101: construction machine
120: camera
150: AVM controller
152: storage
1521: image storage unit
1522: parameter storage
154: AVM image generator
155: correction unit
158: communication department
180: terminal device
200: server
300: display unit

Claims

In the AVM (Around View Monitoring) tolerance correction system applied to construction equipment,
a plurality of cameras generating image information;
an AVM controller that stores at least one or more parameter data for each of the plurality of cameras and generates AVM image information based on the image information; and
Comprising a terminal device for receiving at least one or more pre-stored initial parameter data for the plurality of cameras from an external device,
and the AVM controller corrects tolerances of the plurality of cameras based on the received initial parameter data when distortion occurs in the AVM image information.

According to claim 1,
The parameter data includes parameters for position and rotation of each of the plurality of cameras.

3. The method of claim 2,
The parameter data is an AVM tolerance correction system including parameters representing displacement and yaw, pitching, and rolling of the X-axis, Y-axis, and Z-axis for each of the plurality of cameras.

3. The method of claim 2,
The initial parameter is parameter data of the plurality of cameras in a state in which the tolerance is corrected.

The method of claim 1,
The external device includes a TMS server, and the terminal device communicates with the TMS server in an over-the-air (OTA) method.

According to claim 1,
and wherein the AVM controller stores parameter data of current states of the plurality of cameras.

In the AVM (Around View Monitoring) tolerance correction method applied to construction equipment,
transmitting initial parameter data for each of a plurality of cameras to a server in a state in which tolerance correction of the AVM of the construction machine is completed;
generating AVM image information based on the image information generated through the plurality of cameras;
receiving the initial parameter data for each of the plurality of cameras from the server when distortion occurs in the generated AVM image information; and
and correcting the tolerances of the plurality of cameras based on the received initial parameter data.