KR20120062335A

KR20120062335A - Apparatus and method for managing a block of ship

Info

Publication number: KR20120062335A
Application number: KR1020100123553A
Authority: KR
Inventors: 이승용; 오문균
Original assignee: 한국전자통신연구원
Priority date: 2010-12-06
Filing date: 2010-12-06
Publication date: 2012-06-14
Also published as: CN102693333A

Abstract

PURPOSE: An apparatus and a method for managing a block of a ship are provided to efficiently arrange a ship block by determining arrangement possibility of a ship block. CONSTITUTION: An image generating unit(310) generates a panorama image by using image information which is received from an image collecting device. A location extracting unit(320) extracts location information of a ship block included in the image information. A location information synthesizing unit(330) synthesizes the location information in the panoramic image. A simulating unit(350) simulates load possibility of a ship block based on a CAD(Computer Aided Design) model.

Description

Apparatus and method for managing a block of ship}

본 발명은 선박 블록을 관리하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 조선소에 선박 건조를 위하여 야드에 적재되어 있는 선박 블록을 관리하는 선박 블록 관리 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for managing a ship block, and more particularly to a ship block management device and method for managing a ship block loaded on the yard for ship construction in the shipyard.

일반적으로, 선박은 일반 건축물보다도 규모가 훨씬 크고 공정 면에서도 복잡하며, 수많은 부재와 기자재를 조립하여 하나의 움직일 수 있는 제품을 만드는 과정을 거친다. 이러한, 선박은 철판을 잘라서 선체 일부의 모양에 맞도록 만들고, 소조립 공장에서는 크기가 작은 몇 개의 부재를 서로 결합시키는 작업을 하며 이것들은 대조립 공장으로 넘어가 선박 블록의 일부가 된다. 즉, 선박의 부분적인 선박 블록들을 제작하고, 제작된 선박 블록들을 조립하여 선박을 제조한다.In general, ships are much larger than ordinary buildings and complex in terms of process, and are assembled into a single movable product by assembling numerous members and equipment. The vessel cuts the steel plate to fit the shape of the hull part, and in the small assembly plant, a plurality of small members are joined to each other, and these are transferred to the control plant and become part of the vessel block. That is, a partial ship block of the ship is manufactured, and the manufactured ship blocks are assembled to manufacture a ship.

일반적으로 선박은 동시에 여러 척이 제작되므로, 다양한 블록들이 야적장에 대량으로 배치된다. 그러므로 야적장 공간의 효율적인 배치 및 블록의 추적을 위해서는 배치된 블록들의 정밀한 위치 파악이 무엇보다 필요하다.In general, since ships are manufactured at the same time, various blocks are placed in large quantities in the yard. Therefore, the precise positioning of the arranged blocks is necessary for the efficient placement of the yard space and the tracking of the blocks.

종래에는 선박 블록의 배치를 위해 자동차 주차장과 같이 주차 지역을 선으로 야드에 표시를 한 후, 지번을 부여하고, 동일하게 지도에 지번을 그려놓고, 선박 블록들을 관리하였다. 하지만, 이러한 종래기술은 야드에 그려진 선들이나 지번이 잘 지워지고, 선박 블록들의 크기가 야드에 그려진 선들과 크기가 맞지 않아 공간적 낭비가 심하였다.Conventionally, after placing a parking area on a yard with a line like a car parking lot for arranging a ship block, a number is given, the number is drawn on a map, and the ship blocks are managed. However, this prior art is a line or a number drawn on the yard is well erased, the size of the ship block does not match the lines drawn on the yard was a lot of space wasted.

이에 광파기를 이용하여 선박 블록들의 모서리와 같은 특이점들에 대한 위치정보를 산출하여 관리하는 기술도 개발되었으나, 위치 산출에 오류가 빈번히 발생한다. 그에 따라, 선박 블록들 사이의 공간에 대한 정확한 너비 정보 등의 확보가 쉽지 않아, 새로 만들어지는 선박 블록들의 이동 및 배치가 효율적으로 이루어지지 못하는 문제점이 있다.Therefore, a technology for calculating and managing location information on singular points such as edges of ship blocks using light waves has been developed, but errors occur frequently in calculating the location. Accordingly, it is not easy to secure accurate width information on the space between the ship blocks, and there is a problem in that the movement and arrangement of the newly created ship blocks cannot be efficiently performed.

본 발명의 목적은 영상정보 및 항법정보를 이용하여 적재된 선박 블록들의 위치를 검출하고, 영상정보에 선박 블록들의 캐드 모형이 합성된 정보와 추가 적재될 선박 블록의 캐드 모형을 이용하여 추가 적재될 선박 블록의 적재 가능 여부를 시뮬레이션하도록 한 선박 블록 관리 장치 및 방법을 제공하는 것이다.An object of the present invention is to detect the position of the loaded ship block by using the image information and navigation information, and to further load by using the CAD model of the ship block to be added to the image information and the CAD model of the ship block to be additionally loaded The present invention provides a ship block management apparatus and method for simulating whether a ship block can be loaded.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 선박 블록 관리 장치의 시뮬레이션 장치는, 영상 수집 장치로부터 수신되는 복수의 영상정보를 이용하여 파노라마 영상을 생성하는 영상 생성부; 복수의 영상정보에 포함된 선박 블록들의 위치정보를 추출하는 위치 추출부; 영상 생성부에서 생성된 파노라마 영상에 위치 추출부에서 추출한 위치정보를 합성하는 위치정보 합성부; 및 파노라마 영상 및 추가 적재되는 선박 블록의 캐드 모형에 근거하여 추가 적재되는 선박 블록의 적재 가능 여부를 시뮬레이션하는 시뮬레이션부를 포함한다.In order to achieve the above object, the simulation apparatus of the ship block management apparatus according to an embodiment of the present invention, the image generating unit for generating a panoramic image using a plurality of image information received from the image collection device; A location extraction unit for extracting location information of ship blocks included in the plurality of image information; A location information synthesizing unit for synthesizing the location information extracted by the location extracting unit with the panorama image generated by the image generating unit; And a simulation unit for simulating whether or not the ship block to be additionally loaded can be loaded based on the panoramic image and the CAD model of the ship block to be additionally loaded.

영상 생성부는 복수의 영상정보를 모자이크 기법을 통해 파노라마 영상으로 변환한다.The image generator converts the plurality of image information into a panorama image through a mosaic technique.

위치 추출부는, 복수의 영상정보들 중에서 선박 블록들의 동일 특이점이 보이는 복수의 영상정보를 설정하고, 설정된 복수의 영상정보로부터 영상 수집부의 위치 및 자세 정보를 검출하여 복수의 영상정보들에 포함된 선박 블록들의 3차원 위치 정보를 추출한다.The position extracting unit sets a plurality of image information showing the same singularity of the ship blocks among the plurality of image information, detects the position and attitude information of the image collecting unit from the set plurality of image information, and includes the ship included in the plurality of image information. Extract 3D position information of blocks.

위치정보 합성부는, 파노라마 영상에 위치 추출부에서 추출한 위치정보를 합성하여 파노라마 영상을 지오코딩한다.The location information synthesizing unit synthesizes the location information extracted by the location extracting unit into the panoramic image to geocode the panoramic image.

시뮬레이션부는, 파노라마 영상에 포함된 두 개의 선박 블록들에 해당하는 3차원 위치 좌표들의 중심점을 추가 적재되는 선박 블록의 캐드 모형 중심점으로 지정하여 캐드 모형을 합성하는 캐드 모형 합성 모듈; 및 캐드 모형 합성 모듈에서 캐드 모형이 합성된 파노라마 영상을 근거로 추가 적재되는 선박 블록의 적재 가능 여부를 판단하는 시뮬레이션 모듈을 포함한다.The simulation unit includes: a CAD model synthesis module for synthesizing a CAD model by designating a center point of three-dimensional position coordinates corresponding to two ship blocks included in a panoramic image as a CAD model center point of a ship block to be loaded; And a simulation module for determining whether the ship block to be additionally loaded can be loaded based on the panorama image in which the CAD model is synthesized in the CAD model synthesis module.

시뮬레이션 모듈은, 파노라마 영상으로부터 검출한 기적재된 선박 블록들 사이의 너비를 추가 적재될 선박 블록의 캐드 모형에 입력된 너비와 비교하여 추가 적재될 선박 블록의 적재 가능 여부를 시뮬레이션한다.The simulation module compares the width between the loaded ship blocks detected from the panoramic image with the width input in the CAD model of the ship block to be loaded, thereby simulating whether the ship block to be loaded can be loaded.

시뮬레이션 모듈은, 영상정보들에 대하여 파노라마 영상 시간차 만큼 전진시키면서 해당 파노라마 영상에 포함된 선박 블록들의 위치정보와 캐드 모형의 너비를 이용하여 추가 적재되는 선박 블록의 적재 가능 여부를 반복하여 시뮬레이션한다.The simulation module repeatedly simulates whether or not a ship block that is additionally loaded can be loaded by using the location information of the ship blocks included in the panorama image and the width of the CAD model while advancing the panorama information by the time difference of the panorama image.

영상 수집 장치의 이동에 따라 위치와 시간이 변이되어 각각 만들어진 파노라마 영상들을 연결하여 랜더링 처리하는 랜더링부를 더 포함한다.
The apparatus may further include a rendering unit configured to connect and process the panorama images generated by changing positions and times according to the movement of the image capturing apparatus.

상기한 목적을 달성하기 위하여 본 발명의 실시예에 따른 선박 블록 관리 장치의 영상 수집 장치는, 복수의 선박 블록들이 적재된 야드에 대한 복수의 영상정보 및 항법정보를 수집하는 단계; 복수의 영상정보를 이용하여 생성한 파노라마 영상에 추가 적재되는 선박 블록의 캐드 모형을 합성하는 단계; 및 파노라마 영상 및 캐드 모형을 근거로 추가 적재되는 선박 블록의 적재 가능 여부를 시뮬레이션하는 단계를 포함한다.In order to achieve the above object, the image collection device of the ship block management apparatus according to an embodiment of the present invention, collecting a plurality of image information and navigation information for the yard loaded with a plurality of ship blocks; Synthesizing a CAD model of a ship block additionally loaded on a panoramic image generated using the plurality of image information; And simulating whether the ship block which is additionally loaded can be loaded based on the panoramic image and the CAD model.

수집하는 단계는, 복수의 선박 블록이 적재된 야드를 촬영하여 복수의 영상정보를 생성하는 단계; 복수의 영상정보 각각에 대한 항법정보를 수집하는 단계; 및 복수의 영상정보 및 항법정보를 동기화하여 저장하는 단계를 포함한다.The collecting may include photographing a yard loaded with a plurality of ship blocks to generate a plurality of image information; Collecting navigation information for each of the plurality of image information; And synchronizing and storing the plurality of image information and navigation information.

수집하는 단계에서는, 선박 블록들에 대한 형태가 모두 보일 수 있도록 서로 다른 각도에서 야드를 촬영하여 복수의 영상정보를 수집한다.In the collecting step, a plurality of image information is collected by photographing a yard from different angles so that the shapes of the ship blocks can be seen.

합성하는 단계에서는 복수의 영상정보를 이용하여 파노라마 영상을 생성하는 단계; 복수의 영상정보를 근거로 기적재된 복수의 선박 블록들에 대한 3차원 위치 정보를 추출하는 단계; 파노라마 영상에 추출한 3차원 위치 정보를 결합하는 단계; 및 파노라마 영상에 추가 적재되는 선박 블록의 캐드 모형을 합성하는 단계를 포함한다.In the synthesizing step, generating a panoramic image using a plurality of image information; Extracting three-dimensional position information of the plurality of ship blocks loaded on the basis of the plurality of image information; Combining the extracted 3D location information with the panoramic image; And synthesizing the CAD model of the ship block additionally loaded on the panoramic image.

동일한 시간에 여러 방향으로 촬영된 복수의 영상정보들을 모자이크기법을 이용하여 파노라마 영상을 생성한다.A plurality of pieces of image information photographed in various directions at the same time are generated using a mosaic technique.

시뮬레이션하는 단계에서는 추가 적재되는 선박 블록의 캐드 모형에서 중심점을 검출하는 단계; 파노라마 영상에서 선박 블록들의 위치 좌표들을 검출하는 단계; 위치 좌표들을 근거로 기적재된 선박 블록들 사이의 중심점을 산출하여 캐드 모형의 중심점으로 설정하는 단계; 및 위치 좌표들 및 캐드 모형을 그거로 추가 적재되는 선박 블록의 적재 가능 여부를 시뮬레이션하는 단계를 포함한다.In the step of simulating, detecting the center point in the CAD model of the ship block is additionally loaded; Detecting position coordinates of the ship blocks in the panoramic image; Calculating a center point between the loaded ship blocks based on the position coordinates and setting the center point as the center point of the CAD model; And simulating the positional coordinates and the CAD model, whether or not the ship block is additionally loaded.

위치 좌표들을 검출하는 단계에서는, 여러 방향에서 촬영된 영상정보들 중에서 선박 블록들의 동일 특이점이 보이는 복수의 영상정보를 선정하는 단계; 및 선정된 복수의 영상정보로부터 영상 수집부의 위치 및 자세 정보를 이용하여 선박 블록들의 3차원 위치 정보를 추출하는 단계를 포함한다.In the detecting of the position coordinates, selecting a plurality of image information showing the same singularity of the ship blocks among the image information photographed from various directions; And extracting 3D position information of the ship blocks using the position and attitude information of the image collecting unit from the plurality of selected image information.

선박 블록의 적재 가능 여부를 시뮬레이션하는 단계에서는, 파노라마 영상에서 기적재된 선박 블록들 사이의 너비를 검출하는 단계; 및 추가 적재되는 선박 블록의 캐드 모형의 너비와 기적재된 선박 블록들 사이의 너비를 근거로 선박 블록의 적재 가능 여부를 시뮬레이션하는 단계를 포함한다.In the step of simulating whether the ship block can be loaded, detecting the width between the loaded ship block in the panoramic image; And simulating whether the ship block can be loaded based on the width of the CAD model of the ship block to be additionally loaded and the width between the loaded ship blocks.

본 발명에 의하면 선박 블록 관리 장치 및 방법은 영상정보 및 항법정보를 이용하여 적재된 선박 블록들의 위치를 검출하고, 영상정보에 선박 블록들의 캐드 모형이 합성된 정보와 추가 적재될 선박 블록의 캐드 모형을 이용하여 추가 적재될 선박 블록의 적재 가능 여부를 시뮬레이션함으로써, 선박 블록을 야드에 배치하기 전에 배치할 선박 블록의 배치 가능 여부를 판단할 수 있어 선박 블록을 효율적으로 배치할 수 있는 효과가 있다.According to the present invention, the ship block management apparatus and method detect the positions of the loaded ship blocks using the image information and the navigation information, and add the CAD model of the ship blocks to the image information and the CAD model of the ship block to be additionally loaded. By simulating the possibility of loading the ship block to be additionally loaded using, it is possible to determine whether the ship block to be arranged before placing the ship block in the yard has the effect that can be efficiently placed the ship block.

도 1 및 도 2는 본 발명의 실시예에 따른 선박 블록 관리 장치를 설명하기 위한 도면.
도 3은 도 1의 영상 수집 장치를 설명하기 위한 블록도.
도 4 및 도 5는 도 1의 시뮬레이션 장치를 설명하기 위한 블록도.
도 6은 본 발명의 실시예에 따른 선박 블록 관리 방법을 설명하기 위한 흐름도.
도 7은 도 6의 영상정보 및 항법정보 취득 단계를 설명하기 위한 흐름도.
도 8은 도 6의 캐드 모형을 합성하는 단계를 설명하기 위한 흐름도.
도 9는 도 6의 시뮬레이션 단계를 설명하기 위한 흐름도.1 and 2 are views for explaining a ship block management apparatus according to an embodiment of the present invention.
FIG. 3 is a block diagram illustrating the image collecting device of FIG. 1. FIG.
4 and 5 are block diagrams for explaining the simulation apparatus of FIG.
6 is a flowchart illustrating a ship block management method according to an embodiment of the present invention.
FIG. 7 is a flowchart for explaining an image information and navigation information acquisition step of FIG. 6;
8 is a flowchart for explaining a step of synthesizing the CAD model of FIG. 6.
9 is a flowchart for explaining a simulation step of FIG. 6.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
Hereinafter, the preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the technical idea of the present invention. . First of all, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are used as much as possible even if displayed on different drawings. In addition, in describing the present invention, when it is determined that the detailed description of the related well-known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.

이하, 본 발명의 실시예에 따른 선박 블록 관리 장치를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 1 및 도 2는 본 발명의 실시예에 따른 선박 블록 관리 장치를 설명하기 위한 도면이다. 도 3은 도 1의 영상 수집 장치를 설명하기 위한 블록도이고, 도 4 및 도 5는 도 1의 시뮬레이션 장치를 설명하기 위한 블록도이다.
Hereinafter, a ship block management apparatus according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. 1 and 2 are views for explaining a ship block management apparatus according to an embodiment of the present invention. FIG. 3 is a block diagram for explaining the image collecting device of FIG. 1, and FIGS. 4 and 5 are block diagrams for explaining the simulation device of FIG. 1.

도 1에 도시된 바와 같이, 선박 블록 관리 장치는 영상 수집 장치(200) 및 시뮬레이션 장치(300)를 포함하여 구성된다.
As shown in FIG. 1, the ship block management apparatus includes an image acquisition device 200 and a simulation device 300.

영상 수집 장치(200)는 야드(100)에 적재된 선박 블록들 사이를 이동하며 영상정보를 수집한다. 즉, 영상 수집 장치(200)는 차량에 설치되어 이동하며, 야드(100)에 적재된 선박 블록들을 촬영한 영상정보를 수집한다. 영상 수집 장치(200)는 수집한 영상정보를 시뮬레이션 장치(300)로 전송한다.The image collecting device 200 moves between ship blocks loaded in the yard 100 and collects image information. That is, the image collecting device 200 is installed and moved in a vehicle, and collects image information of the ship blocks loaded in the yard 100. The image collecting device 200 transmits the collected image information to the simulation device 300.

영상 수집 장치(200)는 야드(100)별로 하나의 영상 수집 장치(200)가 배치되어 해당 야드(100)에서 영상정보를 수집한다. 여기서, 도 2에 도시된 바와 같이, 복수의 영상 수집 장치(200)가 하나의 야드(100)에 배치되어 영상정보를 수집할 수도 있다. 물론, 하나의 영상 수집 장치(200)가 복수의 야드(100)에서 영상정보를 수집할 수도 있다. 영상 수집 장치(200)는 수집한 영상정보를 유/무선 네트워크(400)를 통해 시뮬레이션 장치(300)에게로 전송한다.In the image collecting device 200, one image collecting device 200 is disposed for each yard 100 to collect image information from the corresponding yard 100. Here, as shown in FIG. 2, the plurality of image collecting devices 200 may be disposed in one yard 100 to collect image information. Of course, one image collection apparatus 200 may collect image information from the plurality of yards (100). The image acquisition apparatus 200 transmits the collected image information to the simulation apparatus 300 through the wired / wireless network 400.

이를 위해, 도 3에 도시된 바와 같이, 영상 수집 장치(200)는 영상 수집부(220), 항법정보 수집부(240), 외부 동기부(260), 정보 저장부(280)를 포함하여 구성된다.To this end, as shown in FIG. 3, the image collecting device 200 includes an image collecting unit 220, a navigation information collecting unit 240, an external synchronizer 260, and an information storing unit 280. do.

영상 수집부(220)는 야드(100)에 적재된 선박 블록들을 촬영하다. 이때, 영상 수집부(220)는 야드(100)에 적재된 선박 블록들에 대한 형태가 모두 보일 수 있도록 다양한 각도로 배치된 복수의 CCD 카메라로 구성된다.The image collector 220 photographs the ship blocks loaded on the yard 100. In this case, the image collecting unit 220 is composed of a plurality of CCD cameras arranged at various angles so that the shapes of the ship blocks loaded on the yard 100 can be seen.

항법정보 수집부(240)는 영상정보가 수집된 위치를 수집한다. 즉, 항법정보 수집부(240)는 영상 수집부(220)의 정확한 위치를 산출하기 위해 VRS 기반 RTK용 GPS 수신기와 IMU(Inertial Measurement Unit) 및 DMI(Distance Measurement Indicator)로 구성되어 영상 수집부(220; 즉, CCD 카메라)의 위치/자세정보를 수집한다.The navigation information collecting unit 240 collects the location where the image information is collected. That is, the navigation information collector 240 is composed of a VRS-based RTK GPS receiver, an Inertial Measurement Unit (IMU), and a Distance Measurement Indicator (DMI) to calculate the exact position of the image collector 220. 220; that is, position / posture information of the CCD camera) is collected.

외부 동기부(260)는 영상정보 및 항법정보를 동기화한다. 즉, 외부 동기부(260)는 영상 수집부(220)에서 수집한 영상정보(즉, 선박 블록을 촬영한 영상)와 항법정보 수집부(240)에서 수집하는 항법정보(즉, 영상을 촬영한 당시의 카메라의 위치/자세정보)를 동기화(즉, 시각동기화)한다. The external synchronizer 260 synchronizes image information and navigation information. That is, the external synchronizer 260 captures the image information collected by the image collector 220 (ie, the image of the ship block) and the navigation information collected by the navigation information collector 240 (ie, the image is captured). Synchronize (ie, visually synchronize) the position / posture of the camera at that time.

정보 저장부(280)는 외부 동기부(260)에서 동기화된 영상정보 및 위치정보를 저장한다.
The information storage unit 280 stores image information and location information synchronized by the external synchronizer 260.

시뮬레이션 장치(300)는 영상 수집 장치(200)로부터의 영상정보를 이용하여 추가 적재되는 선박 블록의 적재 가능 여부를 시뮬레이션한다. 즉, 시뮬레이션 장치(300)는 영상 수집 장치(200)로부터의 영상정보에 선박 블록들의 캐드 모형을 합성하고, 이를 근거로 추가 적재될 선박 블록의 적재 가능 여부를 시뮬레이션한다.The simulation apparatus 300 simulates the possibility of loading the ship block to be additionally loaded using the image information from the image acquisition apparatus 200. That is, the simulation apparatus 300 synthesizes the CAD model of the ship blocks to the image information from the image acquisition device 200, and simulates whether or not the ship block to be additionally loaded based on this.

이를 위해, 도 4에 도시된 바와 같이, 시뮬레이션 장치(300)는 영상 생성부(310), 위치 추출부(320), 위치정보 합성부(330), 랜더링부(340), 시뮬레이션부(350)를 포함하여 구성된다.To this end, as shown in FIG. 4, the simulation apparatus 300 includes an image generator 310, a location extractor 320, a location information synthesizer 330, a renderer 340, and a simulator 350. It is configured to include.

영상 생성부(310)는 영상 수집 장치(200)로부터 수신한 복수의 영상정보를 이용하여 파노라마 영상을 생성한다. 즉, 영상 생성부(220)는 여러 방향으로 촬영된 복수의 영상정보들을 모자이크기법을 이용하여 파노라마 영상으로 생성한다.The image generating unit 310 generates a panoramic image using the plurality of image information received from the image collecting device 200. That is, the image generator 220 generates a plurality of image information photographed in various directions as a panorama image by using a mosaic technique.

위치 추출부(320)는 영상 수집 장치(200)로부터 수신한 복수의 영상정보에 포함된 선박 블록들의 3차원 위치를 추출한다. 즉, 위치 추출부(320)는 여러 방향에서 촬영된 영상정보들 중에서 선박 블록들의 동일 특이점이 보이는 복수의 영상정보를 선정한다. 위치 추출부(320)는 선정된 복수의 영상정보로부터 카메라의 위치 및 자세 정보를 이용하여 선박 블록의 3차원 위치 정보를 추출한다.The position extractor 320 extracts three-dimensional positions of the ship blocks included in the plurality of image information received from the image acquisition apparatus 200. That is, the location extractor 320 selects a plurality of image information showing the same singularity of the ship blocks among the image information photographed from various directions. The position extractor 320 extracts 3D position information of the ship block using the position and attitude information of the camera from the plurality of selected image information.

위치정보 합성부(330)는 영상 생성부(310)에서 생성된 파노라마 영상과 위치 추출부(320)에서 추출된 위치정보를 합성한다. 즉, 위치정보 합성부(330)는 파노라마 영상에 포함된 선박 블록들의 특이점(예를 들면, 선박 블록의 모서리)에 대해 위치 추출부(320)에서 추출한 3차원 위치정보를 매칭시켜 합성한다.The location information synthesizer 330 synthesizes the panorama image generated by the image generator 310 and the location information extracted by the location extractor 320. That is, the location information synthesizing unit 330 matches and synthesizes three-dimensional location information extracted by the location extracting unit 320 with respect to singular points (eg, edges of the ship blocks) included in the panoramic image.

랜더링부(340)는 영상 수집 장치(200)가 이동함에 따라 진행방향에 해당하는 파노라마 영상들을 연결한다. 즉, 랜더링부(340)는 차량의 이동에 따라 위치와 시간이 변이되어 각각 만들어진 파노라마 영상들을 실시간으로 움직이듯이 이어준다.The rendering unit 340 connects panorama images corresponding to a traveling direction as the image acquisition apparatus 200 moves. In other words, the rendering unit 340 changes the position and time according to the movement of the vehicle and connects each of the panorama images made in real time.

시뮬레이션부(350)는 파노라마 영상을 이용하여 선박 블록의 적재 가능 여부를 시뮬레이션한다. 즉, 시뮬레이션부(350)는 야드(100)에 추가 적재되는 선박 블록에 대응되는 캐드 모형을 기생성된 파노라마 영상에 합성하여 선박 블록의 적재 가능 여부를 시뮬레이션한다.The simulation unit 350 simulates whether the ship block can be loaded using the panoramic image. That is, the simulation unit 350 synthesizes the CAD model corresponding to the ship block to be additionally loaded in the yard 100 to the generated panorama image to simulate whether the ship block can be loaded.

시뮬레이션부(350)는 파노라마 영상에 포함된 두 개의 선박 블록들에 해당하는 3차원 위치 좌표들의 중심점을 추가 적재되는 선박 블록의 캐드 모형 중심점으로 지정하여 캐드 모형을 합성하는 캐드 모형 합성 모듈(352), 및 캐드 모형 합성 모듈(352)에서 설정된 파노라마 영상을 근거로 추가 적재되는 선발 블록의 적재 가능 여부를 판단하는 시뮬레이션 모듈(354)을 포함한다. 이때, 시뮬레이션 모듈(354)은 파노라마 영상에서 기적재된 선박 블록들 사이의 너비를 검출하고, 추가 적재될 선박 블록의 캐드 모형에 입력된 너비와 기검출한 너비를 비교하여 추가 적재될 선박 블록의 적재 가능 여부를 시뮬레이션한다. 여기서, 시뮬레이션 모듈(354)은 선박 블록의 적재가 불가능한 것으로 판단하면 다음 파노라마 영상에서 추가 적재될 선박 블록의 적재 가능 여부를 시뮬레이션한다. 즉, 시뮬레이션 모듈(354)은 영상정보들에 대하여 파노라마 영상 시간차 만큼 전진시키면서 해당 파노라마 영상에 포함된 선박 블록들의 위치정보와 캐드 모형의 너비를 이용하여 추가 적재되는 선박 블록의 적재 가능 여부를 반복하여 시뮬레이션한다.The simulation unit 350 designates a center point of three-dimensional position coordinates corresponding to two ship blocks included in the panoramic image as a CAD model center point of the ship block to be loaded, and synthesizes the CAD model. And a simulation module 354 that determines whether the selection block to be additionally loaded based on the panoramic image set by the CAD model synthesis module 352 can be loaded. At this time, the simulation module 354 detects the width between the previously loaded ship blocks in the panoramic image, compares the width input to the CAD model of the ship block to be additionally loaded and the previously detected width of the ship block to be additionally loaded. Simulate the loadability. Here, if it is determined that the loading of the ship block is impossible, the simulation module 354 simulates whether or not the ship block to be additionally loaded in the next panoramic image can be loaded. That is, the simulation module 354 advances by the panoramic image time difference with respect to the image information, and repeats whether or not the additionally loaded vessel block can be loaded using the location information of the ship blocks included in the panorama image and the width of the CAD model. Simulate.

예를 들어, 도 5에 도시된 바와 같이, 시간차 △t를 두고 영상 수집 장치(200)에 의해 수집된 영상정보를 이용하여 생성한 3개의 파노라마 영상(즉, 제1파노라마 영상(500a), 제2파노라마 영상(500b), 제3파노라마 영상(500c))이 생성된다. 캐드 모형 합성 모듈(352)은 추가 적재되는 선박 블록의 캐드 모형(600)의 중심점(A)을 제1파노라마 영상(500a)에 포함된 두 선박 블록의 중심점(B)의 연장선상에 배치한다. 시뮬레이션 모듈(354)은 제1파노라마 영상(500a)에 포함된 두 선박 블록 사이의 너비(C)와 캐드 모형의 너비(D)를 비교하여 선박 블록의 적재 가능 여부를 시뮬레이션한다. 이때, 시뮬레이션 모듈(354)은 제1파노라마 영상(500a)에 선박 블록의 적재가 불가능한 것으로 판단하면, 제2파노라마 영상(500b) 및 제3파노라마 영상(500c)에 대해 상술한 단계를 반복 수행하여 추가 적재되는 선박 블록의 적재 가능 여부를 시뮬레이션한다.
For example, as shown in FIG. 5, three panorama images (ie, the first panorama image 500a), which are generated by using the image information collected by the image acquisition apparatus 200 with a time difference Δt, are formed. A two panorama image 500b and a third panorama image 500c are generated. The CAD model synthesis module 352 arranges the center point A of the CAD model 600 of the ship block to be additionally loaded on the extension line of the center points B of the two ship blocks included in the first panoramic image 500a. The simulation module 354 compares the width C between the two ship blocks included in the first panorama image 500a and the width D of the CAD model to simulate whether the ship block can be loaded. At this time, if the simulation module 354 determines that it is impossible to load the ship block on the first panorama image 500a, the simulation module 354 repeats the above-described steps with respect to the second panorama image 500b and the third panorama image 500c. Simulates the loading of additionally loaded ship blocks.

이하, 본 발명의 실시예에 따른 선박 블록 관리 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다. 도 6은 본 발명의 실시예에 따른 선박 블록 관리 방법을 설명하기 위한 흐름도이다. 도 7은 도 6의 영상정보 및 항법정보 취득 단계를 설명하기 위한 흐름도이고, 도 8은 도 6의 캐드 모형을 합성하는 단계를 설명하기 위한 흐름도이고, 도 9는 도 6의 시뮬레이션 단계를 설명하기 위한 흐름도이다.Hereinafter, a ship block management method according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings. 6 is a flowchart illustrating a ship block management method according to an embodiment of the present invention. FIG. 7 is a flowchart for explaining the image information and navigation information acquisition step of FIG. 6, FIG. 8 is a flowchart for explaining the step of synthesizing the CAD model of FIG. 6, and FIG. 9 for explaining the simulation step of FIG. 6. Flowchart for

영상 수집 장치(200)는 선박 블록이 적재될 야드(100)에 대한 영상정보 및 항법정보를 수집한다(S100). 이때, 영상 수집 장치(200)는 차량에 설치되어 야드(100)에 적재된 선박 블록들 사이를 이동하며 영상정보 및 항법정보를 수집한다. 영상 수집 장치(200)는 수집한 영상 정보를 시뮬레이션 장치(300)로 전송한다. 여기서, 영상정보 및 항법정보를 수집하는 단계를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다.The image collecting device 200 collects image information and navigation information about the yard 100 on which the ship block is to be loaded (S100). At this time, the image collecting device 200 is installed in the vehicle to move between the ship blocks loaded on the yard 100 and collects image information and navigation information. The image collecting device 200 transmits the collected image information to the simulation device 300. Here, the steps of collecting the image information and navigation information will be described in detail with reference to the accompanying drawings.

영상 수집 장치(200)는 복수의 선박 블록이 적재된 야드(100)를 촬영하여 영상정보를 수집한다(S120). 이때, 영상 수집 장치(200)는 야드(100)에 적재된 선박 블록들에 대한 형태가 모두 보일 수 있도록 다양한 각도에서 야드(100)를 촬영하여 영상정보를 수집한다.The image collecting device 200 collects image information by photographing a yard 100 on which a plurality of ship blocks are loaded (S120). In this case, the image collecting device 200 collects image information by photographing the yard 100 from various angles so that the shapes of the ship blocks loaded on the yard 100 can be seen.

영상 수집 장치(200)는 수집한 영상정보의 항법정보를 수집한다(S140). 이때, 영상 수집 장치(200)는 VRS 기반 RTK용 GPS 수신기와 IMU(Inertial Measurement Unit) 및 DMI(Distance Measurement Indicator)로 구성되어 영상정보가 수집된(즉, 촬영된) 위치/자세정보를 포함하는 항법정보를 수집한다.The image collecting device 200 collects navigation information of the collected image information (S140). In this case, the image acquisition device 200 is composed of a VRS-based RTK GPS receiver, an Inertial Measurement Unit (IMU), and a Distance Measurement Indicator (DMI) to include location / posture information from which image information is collected (ie, photographed). Collect navigation information.

영상 수집 장치(200)는 수집한 영상정보 및 항법정보를 동기화한다(S160). 이때, 영상 수집 장치(200)는 선박 블록이 적재된 야드(100)를 촬영한 영상과 영상을 촬영한 당시의 카메라 위치/자세정보를 동기화한다.The image collecting device 200 synchronizes the collected image information and navigation information (S160). In this case, the image collecting device 200 synchronizes the image of the yard 100 loaded with the ship block with the camera position / posture information at the time of taking the image.

영상 수집 장치(200)는 항법정보와 동기화한 영상정보를 저장한다(S180). 영상 수집 장치(200)는 저장된 영상정보를 시뮬레이션 장치(300)로 전송한다.
The image collecting device 200 stores image information synchronized with navigation information (S180). The image collecting device 200 transmits the stored image information to the simulation device 300.

다음으로, 시뮬레이션 장치(300)는 영상 수집 장치(200)로부터의 영상정보를 이용하여 생성한 파노라마 영상에 추가 적재될 선박 블록의 캐드 모형을 합성한다(S200). 이때, 파노라마 영상에 선박 블록의 캐드 모형을 합성하는 단계를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다.Next, the simulation apparatus 300 synthesizes the CAD model of the ship block to be additionally loaded in the panorama image generated by using the image information from the image acquisition apparatus 200 (S200). In this case, the step of synthesizing the CAD model of the ship block to the panoramic image with reference to the accompanying drawings in detail as follows.

시뮬레이션 장치(300)는 영상 수집 장치(200)로부터 수신한 복수의 영상정보를 이용하여 파노라마 영상을 생성한다(S220). 이때, 시뮬레이션 장치(300)는 동일한 시간에 여러 방향으로 촬영된 복수의 영상정보들을 모자이크기법을 이용하여 파노라마 영상을 생성한다.The simulation apparatus 300 generates a panoramic image using the plurality of image information received from the image acquisition apparatus 200 (S220). In this case, the simulation apparatus 300 generates a panorama image by using a mosaic technique of a plurality of image information photographed in various directions at the same time.

시뮬레이션 장치(300)는 복수의 영상정보로부터 기적재된 선박 블록들의 3차원 위치 정보를 추출한다(S240). 즉, 시뮬레이션 장치(300)는 여러 방향에서 촬영된 영상정보들 중에서 선박 블록들의 동일 특이점이 보이는 복수의 영상정보를 선정한다. 시뮬레이션 장치(300)는 선정된 복수의 영상정보로부터 카메라의 위치 및 자세 정보를 이용하여 선박 블록들의 3차원 위치 정보를 추출한다. The simulation apparatus 300 extracts 3D position information of the ship blocks loaded from the plurality of image information (S240). That is, the simulation apparatus 300 selects a plurality of image information showing the same singularity of the ship blocks among the image information photographed from various directions. The simulation apparatus 300 extracts three-dimensional position information of the ship blocks by using the position and attitude information of the camera from the plurality of selected image information.

시뮬레이션 장치(300)는 추출한 3차원 위치 정보를 파노라마 여상에 포함된 선박 블록에 매칭하여 파노라마 영상과 3차원 위치 정보를 합성한다(S260).The simulation apparatus 300 synthesizes the panoramic image and the three-dimensional position information by matching the extracted three-dimensional position information to the ship block included in the panoramic image (S260).

시뮬레이션 장치(300)는 추가 적재될 선박 블록의 캐드 모형을 파노라마 영상에 합성한다(S280).
The simulation apparatus 300 synthesizes the CAD model of the ship block to be additionally loaded into the panoramic image (S280).

다음으로, 시뮬레이션 장치(300)는 파노라마 영상 및 캐드 모형을 이용하여 추가 적재될 선박 블록의 적재 가능 여부를 시뮬레이션한다(S300). 이때, 선박 블록의 적재 가능 여부를 시뮬레이션하는 단계를 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다.Next, the simulation apparatus 300 simulates the loading of the ship block to be additionally loaded using the panorama image and the CAD model (S300). At this time, the steps of simulating whether the ship block can be loaded in detail with reference to the accompanying drawings as follows.

시뮬레이션 장치(300)는 추가 적재될 선박 블록에 해당하는 캐드 모형의 중심점을 검출한다(S320).The simulation apparatus 300 detects the center point of the CAD model corresponding to the ship block to be additionally loaded (S320).

시뮬레이션 장치(300)는 파노라마 영상에 포함된 두 개의 선박 블록들의 위치 좌표를 검출한다(S340).The simulation apparatus 300 detects the position coordinates of two ship blocks included in the panoramic image (S340).

시뮬레이션 장치(300)는 검출한 위치 좌표들의 중심점을 기검출한 캐드 모형의 중심점으로 설정한다(S360). 즉, 시뮬레이션 장치(300)는 파노라마 영상에 포함된 두 개의 선박 블록들에 해당하는 3차원 위치 좌표들의 중심점을 추가 적재되는 선박 블록의 캐드 모형 중심점으로 지정한다.The simulation apparatus 300 sets the center point of the detected position coordinates as the center point of the CAD model previously detected (S360). That is, the simulation apparatus 300 designates a center point of three-dimensional position coordinates corresponding to two ship blocks included in the panoramic image as the CAD model center point of the ship block to be additionally loaded.

시뮬레이션 장치(300)는 파노라마 영상 및 캐드 모형을 이용하여 추가 적재되는 선박 블록의 적재 가능 여부를 시뮬레이션한다(S380). 즉, 시뮬레이션 장치(300)는 파노라마 영상에서 기적재된 선박 블록들 사이의 너비를 검출하고, 추가 적재될 선박 블록의 캐드 모형에 입력된 너비와 기검출한 너비를 비교하여 추가 적재될 선박 블록의 적재 가능 여부를 시뮬레이션한다.The simulation apparatus 300 simulates the possibility of loading the additionally loaded ship block using the panoramic image and the CAD model (S380). That is, the simulation apparatus 300 detects the width between the loaded ship blocks in the panoramic image, compares the width input to the CAD model of the ship block to be additionally loaded and the previously detected width of the ship block to be additionally loaded. Simulate the loadability.

선박 블록의 적재가 불가능한 것으로 판단하면(S400; 아니오), 시뮬레이션 장치(300)는 시간차를 두고 상술한 S100 단계 내지 S300 단계를 반복 수행하여 추가 적재되는 선박 블록의 적재 가능 위치를 검출한다. 즉, 시뮬레이션 장치(300)는 영상정보들에 대하여 파노라마 영상 시간차 만큼 전진시키면서 해당 파노라마 영상에 포함된 선박 블록들의 위치정보와 캐드 모형의 너비를 이용하여 추가 적재되는 선박 블록의 적재 가능 여부를 반복하여 시뮬레이션한다.
If it is determined that loading of the ship block is impossible (S400; no), the simulation apparatus 300 repeats the above steps S100 to S300 with a time difference to detect a loadable position of the ship block to be additionally loaded. That is, the simulation apparatus 300 advances the panoramic image by the time difference of the panoramic image and repeats whether or not the additionally loaded vessel block can be loaded using the location information of the ship blocks included in the panoramic image and the width of the CAD model. Simulate.

상술한 바와 같이, 선박 블록 관리 장치 및 방법은 영상정보 및 항법정보를 이용하여 적재된 선박 블록들의 위치를 검출하고, 영상정보에 선박 블록들의 캐드 모형이 합성된 정보와 추가 적재될 선박 블록의 캐드 모형을 이용하여 추가 적재될 선박 블록의 적재 가능 여부를 시뮬레이션함으로써, 선박 블록을 야드에 배치하기 전에 배치할 선박 블록의 배치 가능 여부를 판단할 수 있어 선박 블록을 효율적으로 배치할 수 있는 효과가 있다.
As described above, the ship block management apparatus and method detects the positions of the loaded ship blocks using the image information and the navigation information, and the CAD model of the ship blocks synthesized in the image information and the CAD of the ship block to be additionally loaded. By simulating the possibility of loading the ship block to be additionally loaded using the model, it is possible to determine whether the ship block to be placed before placing the ship block in the yard can effectively arrange the ship block. .

이상에서 본 발명에 따른 바람직한 실시예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but many variations and modifications may be made without departing from the scope of the present invention. It will be understood that the invention may be practiced.

100: 야드 200: 영상 수집 장치
220: 영상정보 수집부 240: 항법정보 수집부
260: 외부 동기부 280: 정보 저장부
300: 시뮬레이션 장치 310: 영상 생성부
320: 위치 추출부 330: 위치정보 합성부
340: 랜더링부 350: 시뮬레이션부
352: 캐드 모형 합성 모듈 354: 시뮬레이션 모듈
400: 네트워크100: Yard 200: Video Collection Device
220: image information collecting unit 240: navigation information collecting unit
260: external synchronization unit 280: information storage unit
300: simulation apparatus 310: image generating unit
320: location extraction unit 330: location information synthesis unit
340: rendering unit 350: simulation unit
352: CAD model synthesis module 354: simulation module
400: network

Claims

An image generator for generating a panoramic image using a plurality of image information received from an image collecting device;
A location extraction unit for extracting location information of ship blocks included in the plurality of image information;
A location information synthesizing unit for synthesizing the location information extracted by the location extracting unit with the panoramic image generated by the image generating unit; And
And a simulation unit for simulating whether or not the additionally loaded ship block can be loaded based on the panoramic image and the CAD model of the additionally loaded ship block.

The method according to claim 1,
And the image generating unit converts the plurality of image information into a panoramic image through a mosaic technique.

The method according to claim 1,
The location extraction unit,
Set a plurality of image information showing the same singularity of the ship blocks from the plurality of image information, and detects the position and attitude information of the image collector from the set plurality of image information to be included in the plurality of image information Simulation device, characterized in that for extracting the three-dimensional position information of the blocks.

The method according to claim 1,
The location information synthesis unit,
And geocoding the panoramic image by synthesizing the location information extracted by the location extracting unit with the panoramic image.

The method according to claim 1,
The simulation unit,
A CAD model synthesizing module for synthesizing a CAD model by designating a center point of three-dimensional position coordinates corresponding to two ship blocks included in the panoramic image as a CAD model center point of an additionally loaded ship block; And
And a simulation module for determining whether or not a ship block, which is additionally loaded, can be loaded on the basis of the panoramic image in which the CAD model is synthesized in the CAD model synthesis module.

The method according to claim 5,
The simulation module,
And comparing the width between the loaded ship blocks detected from the panoramic image with the width input to the CAD model of the ship block to be additionally loaded, thereby simulating whether the ship block to be additionally loaded can be loaded.

The method according to claim 5,
The simulation module,
Simulation device, characterized in that by simulating whether the loading of the ship block is additionally loaded using the position information of the ship blocks included in the panorama image and the width of the CAD model while advancing the panorama information by the time difference of the panorama image .

The method according to claim 1,
And a rendering unit for connecting and processing the panorama images, each of which has been changed in position and time according to the movement of the image collecting device.

Collecting a plurality of image information and navigation information for a yard loaded with a plurality of ship blocks;
Synthesizing a CAD model of a ship block additionally loaded on the panoramic image generated using the plurality of image information; And
And simulating whether or not the additionally loaded ship block can be loaded based on the panoramic image and the CAD model.

The method according to claim 9,
The collecting step,
Photographing a yard loaded with the plurality of ship blocks to generate a plurality of image information;
Collecting navigation information for each of the plurality of image information;
And a step of synchronizing and storing the plurality of image information and navigation information.

The method according to claim 9,
In the collecting step,
Ship block management method characterized in that to collect a plurality of image information by photographing the yards from different angles so that the shape for all the ship blocks can be seen.

The method according to claim 9,
In the synthesis step
Generating a panoramic image using the plurality of image information;
Extracting three-dimensional position information of a plurality of ship blocks loaded on the basis of the plurality of image information;
Combining the extracted 3D location information with the panoramic image; And
Ship block management method comprising the step of synthesizing the CAD model of the ship block is additionally loaded on the panoramic image.

The method of claim 12,
A ship block management method comprising generating a panoramic image using a mosaic technique of a plurality of image information photographed in various directions at the same time.

The method according to claim 9,
In the simulating step
Detecting a center point in the CAD model of the ship block further loaded;
Detecting position coordinates of ship blocks in the panoramic image;
Calculating a center point between the loaded ship blocks based on the position coordinates and setting the center point as the center point of the CAD model; And
And simulating whether or not the ship block loaded with the position coordinates and the CAD model thereon can be loaded.

The method according to claim 14,
In the detecting of the position coordinates,
Selecting a plurality of image information showing the same singularity of the ship blocks among the image information photographed from various directions; And
And extracting three-dimensional position information of the ship blocks using the position and attitude information of the image collector from the plurality of selected image information.

The method according to claim 14,
In the step of simulating whether the ship block can be loaded,
Detecting a width between the loaded ship blocks in the panoramic image; And
And simulating whether or not the ship block can be loaded based on the width of the CAD model of the ship block to be additionally loaded and the width between the loaded ship blocks.