KR102258207B1 - Method for providing every side viewing angle - Google Patents

Method for providing every side viewing angle Download PDF

Info

Publication number
KR102258207B1
KR102258207B1 KR1020190118458A KR20190118458A KR102258207B1 KR 102258207 B1 KR102258207 B1 KR 102258207B1 KR 1020190118458 A KR1020190118458 A KR 1020190118458A KR 20190118458 A KR20190118458 A KR 20190118458A KR 102258207 B1 KR102258207 B1 KR 102258207B1
Authority
KR
South Korea
Prior art keywords
image
initial
actual
ship
wide
Prior art date
Application number
KR1020190118458A
Other languages
Korean (ko)
Other versions
KR20210037030A (en
Inventor
김대희
김현빈
공태인
김성진
이은규
Original Assignee
주식회사 삼우이머션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 삼우이머션 filed Critical 주식회사 삼우이머션
Priority to KR1020190118458A priority Critical patent/KR102258207B1/en
Publication of KR20210037030A publication Critical patent/KR20210037030A/en
Application granted granted Critical
Publication of KR102258207B1 publication Critical patent/KR102258207B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G3/00Traffic control systems for marine craft
    • G08G3/02Anti-collision systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Ocean & Marine Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법에 관한 것으로서, 광각 카메라를 통해 입력된 화상 이미지를 후처리 가공한 후에 픽셀 간의 실제 떨어진 거리를 일치시켜 화상 병합하고, 이 화상 병합한 영상 이미지와 자선 주위에 탐색된 위험물을 동시에 운용자에게 보여주도록 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법에 관한 것이다. 이를 위해 선박의 기 설정된 장소에 배치된 복수의 광각 카메라부로부터 픽셀 간의 거리측정을 위한 기준 이미지가 포함된 각각의 초기 영상 이미지를 각각 획득하여 초기 영상 이미지를 가공하고, 가공된 초기 영상 이미지의 픽셀 간의 실제 거리를 기준 이미지를 통해 도출하는 단계, 복수의 광각 카메라로부터 실제 영상 이미지를 각각 획득하여 실제 영상 이미지를 가공하고, 각각의 가공된 실제 영상 이미지를 병합하는 단계, 및 선박의 주변에 위치한 타선의 위치정보 및 움직임 정보를 토대로 제1 삽입 객체 이미지를 생성하고, 해안선 정보를 토대로 제2 삽입 객체 이미지를 생성하여 병합 이미지와 함께 표시함으로써 시각화 하는 단계를 포함하는 것을 특징으로 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법이 개시된다.The present invention relates to a method for providing an omni-directional view for assisting the eyepiece and berthing of a ship, and after post-processing an image image input through a wide-angle camera, the image is merged by matching the actual distance between pixels, and the image merged. The present invention relates to a method of providing an omnidirectional view for assisting the berthing and berthing of a ship to simultaneously show an image and a dangerous object searched around an own ship to an operator. To this end, each initial image image including a reference image for measuring the distance between pixels is obtained from a plurality of wide-angle camera units arranged at a preset location of the ship to process the initial image image, and then the pixels of the processed initial image image. Deriving the actual distance between the two through the reference image, processing the actual video image by acquiring the actual video image from a plurality of wide-angle cameras, and merging each processed actual video image, and other ships located around the ship And visualizing by generating a first inserted object image based on the location information and motion information of, and displaying a second inserted object image based on the shoreline information together with the merged image. Disclosed is a method for providing an omnidirectional view for assistance.

Description

선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법{Method for providing every side viewing angle}Method for providing an omni-directional view for assisting the ship's berthing and berthing {Method for providing every side viewing angle}

본 발명은 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법에 관한 것으로서, 보다 상세하게는 광각 카메라를 통해 입력된 화상 이미지를 후처리 가공한 후에 픽셀 간의 실제 떨어진 거리를 일치시켜 화상 병합하고, 이 화상 병합한 영상 이미지와 자선 주위에 탐색된 위험물을 동시에 운용자에게 보여주도록 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법에 관한 것이다. The present invention relates to a method for providing an omni-directional view for assisting the eyepiece and lateral eye of a ship, and more particularly, after post-processing an image image input through a wide-angle camera, the image is merged by matching the actual distance distance between pixels. The present invention relates to a method for providing an omnidirectional view for assisting the berthing and berthing of a ship to simultaneously show an operator an image of an image combined with an image and a dangerous object searched around an own ship.

일반적으로 선박은 육상의 운송수단과 달리 질량이 크고, 급격한 가/감속 운동이 불가능하고, 유체 위에서 운동하는 선박은 제동거리가 길기 때문에 선박의 접안 및 이안 시는 충돌의 위험성이 가장 높다.In general, ships have a large mass and cannot perform rapid acceleration/deceleration movements, unlike land transport means, and ships moving on fluids have a long braking distance, so the risk of collision is highest when berthing or berthing the ship.

차량의 AVM(Around View Moniter)은 차량의 주차 시 충돌 위험을 줄이기 위해 시야를 제공하는 시스템으로서 4개(혹은 그 이상)의 카메라에서 입력된 화상을 평면화상으로 변형하여 병합함으로써 전방위 시야를 제공한다. 이때, 초광각 카메라는 화상 중앙에서 멀어질수록 화상의 왜곡이 심해지고 실제 화상 정보를 담지 못하는 영역이 발생하므로 차체로부터 충분한 거리의 평면화상을 얻을 수 없는 문제점이 있다. The vehicle's AVM (Around View Monitor) is a system that provides a field of view to reduce the risk of collision when the vehicle is parked, and provides an omnidirectional view by transforming and merging images input from four (or more) cameras into a flat image. . In this case, the ultra-wide-angle camera has a problem in that the image distortion increases as the distance from the center of the image increases, and an area that does not contain actual image information is generated, so that a planar image of a sufficient distance from the vehicle body cannot be obtained.

한편, 선박은 유체 위에서 운동하므로 제동거리가 차량보다 훨씬 크지고, 따라서 차량보다 훨씬 넓은 범위의 평면 화상을 얻어야 할 필요성이 대두된다.On the other hand, since the ship moves on the fluid, the braking distance is much larger than that of the vehicle, and therefore, there is a need to obtain a plane image in a much wider range than that of the vehicle.

대한민국 등록특허공보 10-1812994(발명의 명칭 : 카메라 영상을 이용한 선박의 안전접안 시스템 및 그 방법)Korean Registered Patent Publication 10-1812994 (Name of invention: safety berthing system and method for ship using camera image)

따라서, 본 발명은 전술한 바와 같은 문제점을 해결하기 위하여 창출된 것으로서, 체스보드 등을 이용하여 획득된 영상 이미지의 화소 간 거리를 맞추고, 이를 통해 실제 영상 이미지를 병합하여 제공함과 동시에 자선 주위의 위험물을 동시에 운용자에게 표시할 수 있어 충돌 위험을 방지할 수 있는 발명을 제공하는데 그 목적이 있다.Accordingly, the present invention was created to solve the above-described problem, and the distance between pixels of an image image obtained using a chess board is matched, and through this, the actual image image is merged and provided, and at the same time, dangerous goods around the own ship are provided. It is an object of the present invention to provide an invention capable of preventing a collision risk by being able to display to the operator at the same time.

그러나, 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

전술한 본 발명의 목적은, 선박의 기 설정된 장소에 배치된 복수의 광각 카메라부로부터 픽셀 간의 거리측정을 위한 기준 이미지가 포함된 각각의 초기 영상 이미지를 각각 획득하여 초기 영상 이미지를 가공하고, 가공된 초기 영상 이미지의 픽셀 간의 실제 거리를 기준 이미지를 통해 도출하는 단계, 복수의 광각 카메라로부터 실제 영상 이미지를 각각 획득하여 실제 영상 이미지를 가공하고, 각각의 가공된 실제 영상 이미지를 병합하는 단계, 및 선박의 주변에 위치한 타선의 위치정보 및 움직임 정보를 토대로 제1 삽입 객체 이미지를 생성하고, 해안선 정보를 토대로 제2 삽입 객체 이미지를 생성하여 병합 이미지와 함께 표시함으로써 시각화 하는 단계를 포함하는 것을 특징으로 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법을 제공함으로써 달성될 수 있다.An object of the present invention described above is to obtain each initial image image including a reference image for measuring the distance between pixels from a plurality of wide-angle camera units arranged at a preset location of the ship to process and process the initial image image. Deriving the actual distance between the pixels of the initial video image through the reference image, processing the actual video image by obtaining each of the actual video images from a plurality of wide-angle cameras, and merging the processed actual video images, and It characterized by comprising the step of visualizing by generating a first inserted object image based on the location information and motion information of other ships located around the ship, and by generating a second inserted object image based on the coastline information and displaying it together with the merged image. It can be achieved by providing a method for providing an omni-directional view for berthing and angular assistance of the vessel.

또한, 기준 이미지는 가공된 초기 영상 이미지의 픽셀 간의 실제 거리를 측정하기 위해 복수의 광각 카메라가 비추는 영역에 임의로 각각 배치한 거리 측정용 기준 객체의 영상 이미지이다.In addition, the reference image is an image image of a reference object for distance measurement, which is arbitrarily arranged in an area illuminated by a plurality of wide-angle cameras in order to measure the actual distance between pixels of the processed initial video image.

또한, 초기 영상 이미지를 가공하는 단계는 광각 카메라부로부터 기준 이미지가 포함된 초기 영상 이미지를 획득하는 단계, 초기 영상 이미지의 곡면 화상을 보정하는 방사 왜곡 보정 단계, 및 투사 변환을 이용하여 방사 왜곡 보정된 초기 영상 이미지를 평면 화상으로 변환하여 초기 평면 화상 이미지를 생성하는 단계를 포함한다.In addition, the processing of the initial image image includes obtaining an initial image image including a reference image from the wide-angle camera unit, a radiation distortion correction step of correcting a curved image of the initial image image, and radiation distortion correction using projection transformation. And converting the converted initial image image into a planar image to generate an initial planar image image.

또한, 픽셀 간의 실제 거리 도출은 방사 왜곡 보정된 이미지에 포함된 기준 이미지의 4개 꼭지점을 인식하는 단계, 기준 이미지의 4개 꼭지점을 초기 평면 화상 이미지의 임의의 영역에 배치 결정함으로써 도출된 꼭지점 배치 좌표를 도출하는 단계, 꼭지점 배치 좌표를 기준으로 투사변환 행렬식을 통해 변환상수 8개를 산출하는 단계, 8개의 변환상수와 좌표변환식을 통해 방사 왜곡 보정된 이미지를 초기 평면 화상 이미지로 좌표 변환하는 단계, 및 기준 이미지의 실제 크기 정보와 초기 평면 화상 이미지에 포함된 기준 이미지의 픽셀 수를 이용하여 평면 화상 이미지의 픽셀 간의 실제 거리를 도출하는 단계를 포함한다.In addition, deriving the actual distance between pixels is the step of recognizing four vertices of the reference image included in the radiation distortion-corrected image, and placing the derived vertices by determining the placement of the four vertices of the reference image in an arbitrary area of the initial planar image image. Deriving coordinates, calculating 8 transformation constants through projection transformation determinant based on the coordinates of vertex placement, transforming the image whose radiation distortion has been corrected through the 8 transformation constants and coordinate transformation equation into an initial planar image image And deriving an actual distance between pixels of the flat image image using the actual size information of the reference image and the number of pixels of the reference image included in the initial planar image image.

또한, 실제 영상 이미지를 가공하는 단계는 광각 카메라부로부터 기준 이미지가 포함되지 않은 실제 영상 이미지를 획득하는 단계, 실제 영상 이미지의 곡면 화상을 보정하는 방사 왜곡 보정 단계, 및 투사 변환을 이용하여 방사 왜곡 보정된 실제 영상 이미지를 평면 화상으로 변환하여 실제 평면 화상 이미지를 생성하는 단계를 포함한다.In addition, the processing of the actual video image includes obtaining an actual video image without a reference image from the wide-angle camera unit, a radiation distortion correction step of correcting a curved image of the actual video image, and radiation distortion using projection transformation. And converting the corrected real image image into a planar image to generate a real planar image image.

또한, 실제 영상 이미지를 병합하는 단계는 복수의 실제 평면 화상 이미지를 기 설정된 알고리즘을 통해 이미지 병합한다.In addition, in the step of merging the real image images, the plurality of real planar image images are image merged through a preset algorithm.

또한, 시각화 하는 단계는 제1,2 삽입 객체 이미지를 픽셀 간의 실제 거리 정보를 기초로 병합 이미지와 함께 표시한다.Also, in the step of visualizing, the first and second inserted object images are displayed together with the merged image based on actual distance information between pixels.

전술한 바와 같은 본 발명에 의하면 체스보드 등을 이용하여 획득된 영상 이미지의 화소 간 거리를 맞추고, 이를 통해 실제 영상 이미지를 병합하여 제공함과 동시에 자선 주위의 위험물을 동시에 운용자에게 표시할 수 있어 접안 및 이안 보조를 위한 주변 환경을 시각화 하여 충돌 위험을 방지할 수 있는 효과가 있다.According to the present invention as described above, the distance between pixels of an image image obtained using a chess board is matched, and through this, the actual image image is merged and provided, and dangerous objects around the own ship can be simultaneously displayed to the operator. There is an effect that can prevent the risk of collision by visualizing the surrounding environment for assisting eyesight.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 본 발명의 일실시예에 따른 선박의 기 설정된 장소 10개소에 각각 광각 카메라를 설치하고, 각 광각 카메라의 영상 이미지를 일예를 들어 도시한 것이고,
도 2는 본 발명의 일실시예에 따른 방사 왜곡 보정을 설명하기 위한 도면이고,
도 3은 본 발명의 일실시예에 따른 투사 변환을 이용하여 평면 화상으로 변환한 것을 도시한 것이고,
도 4는 본 발명의 일실시예에 따른 알파 맵 알고리즘을 통해 화상을 병합하고, 각 화상의 경계를 도시한 것이고,
도 5는 본 발명의 일실시예에 따른 해안선 및 타선의 아이콘과 함께 병합 영상을 운용자에게 표시하는 화면을 나타낸 것이고,
도 6은 본 발명의 일실시예에 따른 타선의 움직임에 따른 각각의 다양한 아이콘 모양을 일예로서 도시한 것이고,
도 7(a) 및 (b)는 각 영역에서 촬영된 이미지(체스보드 및 주차라인 등)의 화면상 크기가 다른 것을 도시한 것이고, 도 7(c) 및 (d)는 이미지의 크기를 일치시킨 것을 도시한 것이고,
도 8(a)는 제1 광각 카메라와 제2 광각 카메라가 서로 대칭된 위치에 대칭된 각도로 배치되어 있음을 나타내고, 도 8(b)는 제1 광각 카메라에서 촬영된 영상 이미지이고, 도 8(c)는 제2 광각 카메라에서 촬영된 영상 이미지이고,
도 9는 제2 광각 카메라에 의해 촬영된 체스보드가 포함된 이미지를 투사 변환한 것이고,
도 10은 제1 광각 카메라에 의해 촬영된 체스보드가 포함되지 않은 이미지를 제2 광각 카메라의 투사 변환 좌표를 이용하여 대칭이동한 것을 도시한 것이고,
도 11(a) 및 (b)는 임의의 장소에서 체스보드(11)를 배치하여 광각 카메라를 통해 촬영한 이미지를 나타낸 것이고,
도 12는 도 11의 영상을 투사 변환한 도면이다.
The following drawings attached to the present specification illustrate a preferred embodiment of the present invention, and serve to further understand the technical idea of the present invention together with the detailed description of the present invention, so that the present invention is limited to the matters described in such drawings. It is limited and should not be interpreted.
1 is a diagram illustrating an example of an image image of each wide-angle camera by installing wide-angle cameras at 10 preset locations of a ship according to an embodiment of the present invention,
2 is a view for explaining radiation distortion correction according to an embodiment of the present invention,
3 is a diagram illustrating a conversion to a flat image using projection conversion according to an embodiment of the present invention,
FIG. 4 is a diagram illustrating a boundary of each image by merging images through an alpha map algorithm according to an embodiment of the present invention.
5 shows a screen for displaying a merged image to an operator along with icons of coastlines and other ships according to an embodiment of the present invention.
6 is a diagram illustrating various icon shapes according to the movement of another line according to an embodiment of the present invention as an example,
Figures 7(a) and (b) show that images (chessboard and parking line, etc.) photographed in each area have different sizes on the screen, and Figures 7(c) and (d) match the size of the images. It shows what was ordered,
FIG. 8(a) shows that the first wide-angle camera and the second wide-angle camera are arranged at a symmetrical position and at a symmetrical angle, and FIG. 8(b) is an image image taken by the first wide-angle camera, and FIG. 8 (c) is a video image taken by a second wide-angle camera,
9 is a projection conversion of an image including a chess board photographed by a second wide-angle camera,
FIG. 10 is a diagram illustrating a symmetrical movement of an image photographed by a first wide-angle camera without including a chess board using projection transform coordinates of a second wide-angle camera
11(a) and (b) show images taken through a wide-angle camera by arranging the chess board 11 in an arbitrary place,
12 is a diagram illustrating a projection conversion of the image of FIG. 11.

이하, 도면을 참조하여 본 발명의 바람직한 일실시예에 대해서 설명한다. 또한, 이하에 설명하는 일실시예는 특허청구범위에 기재된 본 발명의 내용을 부당하게 한정하지 않으며, 본 실시 형태에서 설명되는 구성 전체가 본 발명의 해결 수단으로서 필수적이라고는 할 수 없다. 또한, 종래 기술 및 당업자에게 자명한 사항은 설명을 생략할 수도 있으며, 이러한 생략된 구성요소(방법) 및 기능의 설명은 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 충분히 참조될 수 있을 것이다.Hereinafter, a preferred embodiment of the present invention will be described with reference to the drawings. In addition, one embodiment described below does not unreasonably limit the content of the present invention described in the claims, and the entire configuration described in the present embodiment cannot be said to be essential as a solution to the present invention. In addition, descriptions of the prior art and those that are obvious to those skilled in the art may be omitted, and descriptions of such omitted components (methods) and functions may be sufficiently referenced within the scope of the technical spirit of the present invention.

본 발명의 일실시예에 따른 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법은 선박의 접안 및 이안 시에 선박의 주변영역에 대한 전방위 시야를 효과적으로 표시하여 충돌 위험을 방지하기 위한 발명에 관한 것이다. 이하에서는 첨부된 도면을 참고하여 본 발명의 일실시예에 따른 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법을 설명하기로 한다.A method for providing an omnidirectional view for assisting berthing and berthing of a ship according to an embodiment of the present invention relates to an invention for preventing a collision risk by effectively displaying an omni-directional view of the surrounding area of the ship when berthing and berthing of the ship. . Hereinafter, with reference to the accompanying drawings, a method of providing an omnidirectional view for assisting the eyepiece and lateral eye of a ship according to an embodiment of the present invention will be described.

선박의 주변영역에 대한 전방위 시야를 제공하기 위해 도 1에 도시된 바와 같이 선박의 기 정해진 10개소에 광각 카메라를 설치한다. 광각 카메라는 각각 구획된 영역에서 선박의 전방, 후방, 좌측, 및 우측 영역을 각각 촬영한다. 복수의 광각 카메라에서 촬영된 영상 이미지는 도 4에 도시된 바와 같이 이미지 병합되어 운용자에게 표시된다. 도 1은 총 10개의 광각 카메라를 위해 촬영한 것을 도시한 것이나 선박의 주변영역을 전방위 촬영할 수 있다면 선박의 설치 환경에 따라 광각 카메라의 개수는 달라질 수 있다. 각각의 촬영된 영상은 영상 이미지 후처리 가공을 필요로 한다. 선박의 기 설정된 10개소에 광각 카메라가 설치되면 다음과 같이 전방위 시야 제공방법을 제공할 수 있다.As shown in Fig. 1, wide-angle cameras are installed at 10 predetermined locations on the ship in order to provide an omnidirectional view of the surrounding area of the ship. The wide-angle camera photographs the front, rear, left, and right areas of the ship in each divided area. Image images captured by a plurality of wide-angle cameras are merged and displayed to the operator as shown in FIG. 4. FIG. 1 shows a photograph taken for a total of 10 wide-angle cameras, but if the surrounding area of a ship can be photographed in all directions, the number of wide-angle cameras may vary according to the installation environment of the ship. Each captured image requires post-processing of the image image. If wide-angle cameras are installed at 10 preset locations on the ship, the omni-directional view providing method can be provided as follows.

먼저, 광각 카메라부로부터 촬영된 영상의 이미지의 픽셀 간의 실제 거리를 도출하는 단계를 수행한다. 즉, 자선의 주위에 충돌 위험물(일예로서 타 선박)이 있는 경우에 이 충돌 위험물의 위치 및 방향을 전방위 영상과 함께 정확하게 표시하기 위해서는 광각 카메라로부터 얻은 이미지의 픽셀 간의 실제 거리를 산출해야 한다.First, a step of deriving an actual distance between pixels of an image of an image captured from a wide-angle camera unit is performed. That is, when there is a collision dangerous object (for example, another ship) around the own ship, the actual distance between pixels of the image obtained from the wide-angle camera must be calculated in order to accurately display the position and direction of the collision dangerous object together with the omnidirectional image.

영상 이미지의 픽셀 간의 실제 거리를 도출하기 위해, 도 1에 도시된 바와 같이 10대의 광각 카메라가 선박의 기 설정된 위치에 설치되어 각각 선박의 주변영역을 촬영한다. 이때, "체스판(11)"과 같은 거리 측정용 기준 이미지를 임의적으로 배치하여 촬영하도록 함으로써 촬영 영상 이미지(110c)에 체스판(11)이 함께 촬영되도록 한다. 체스판(11)을 광각 카메라의 촬영영역에 임의 배치시에 체스판(11)의 실제 크기 정보를 알고 있기 때문에 픽셀 간의 실제 거리를 도출할 때 이 크기 정보가 사용된다. 상술한 체스판(11)은 설명의 편의를 위하여 일예를 들어 설명한 것으로서 카메라의 촬영영역의 다른 사물과 구별 또는 식별될 수 있는 다른 객체를 미리 임의로 배치하는 것도 가능하다. In order to derive the actual distance between pixels of the video image, as shown in FIG. 1, 10 wide-angle cameras are installed at preset positions of the ship to respectively photograph the surrounding area of the ship. At this time, by arbitrarily arranging and photographing a reference image for measuring distance such as "chessboard 11", the chessboard 11 is photographed together with the captured image image 110c. Since the actual size information of the chess board 11 is known when the chess board 11 is arbitrarily placed in the photographing area of the wide-angle camera, this size information is used when deriving the actual distance between pixels. The above-described chessboard 11 is described as an example for convenience of description, and other objects that can be distinguished or identified from other objects in the photographing area of the camera may be arbitrarily arranged in advance.

광각 카메라부를 통해 촬영된 기준 이미지가 포함된 각각의 초기 영상 이미지는 이하에서 후처리 가공을 필요로 한다. 초기 영상 이미지를 가공하는 단계는 초기 영상 이미지의 곡면 화상을 보정하는 방사 왜곡 보정 단계, 및 투사 변환을 이용하여 방사 왜곡 보정된 초기 영상 이미지를 평면 화상으로 변환하여 초기 평면 화상 이미지를 생성하는 단계를 포함한다. 이하에서 자세히 설명하기로 한다.Each initial image image including a reference image captured through the wide-angle camera unit requires post-processing in the following. The processing of the initial image image includes a radiation distortion correction step of correcting a curved image of the initial image image, and a step of generating an initial planar image image by converting the initial image image corrected for radiation distortion into a flat image using projection transformation. Includes. It will be described in detail below.

방사 왜곡 보정 단계는 방사 왜곡 보정부를 통해 수행된다. 광각 카메라부를 통해 촬영된 기준 이미지가 포함된 각각의 초기 영상 이미지는 도 2(a) 또는 도 2(c)에 도시된 바와 같이 영상 이미지가 곡률지게 된다. 이러한 영상 이미지의 곡률을 방사 왜곡 보정을 통해 도 2(b) 또는 도 2(d)와 같이 이미지 보정을 한다. The radiation distortion correction step is performed through the radiation distortion correction unit. Each initial image image including the reference image captured through the wide-angle camera unit has a curvature of the image image as shown in FIG. 2(a) or 2(c). The curvature of the image image is corrected as shown in FIG. 2(b) or 2(d) through radiation distortion correction.

좀 더 자세히 수학식을 통해 설명하면, 방사 왜곡 보정(Radial Distortion Correction) 행렬변환식을 이용하여 xp_u, yp_u를 각각의 xp_d, yp_d에 대응시켜 화상의 곡면 왜곡을 보정한다. xp_u, yp_u는 각각 보정이 완료된 이미지의 임의 좌표의 x성분과 y성분을 의미한다. xp_d, yp_d는 각각 원본 이미지의 해당 좌표의 x성분과 y성분을 의미한다.In a more detailed description, the curvature distortion of an image is corrected by matching xp_u and yp_u to each of xp_d and yp_d using a Radial Distortion Correction matrix transformation equation. The xp_u and yp_u denote the x and y components of arbitrary coordinates of the corrected image, respectively. xp_d and yp_d denote the x and y components of the corresponding coordinates of the original image, respectively.

Figure 112019098311927-pat00001
Figure 112019098311927-pat00001

상술한 수학식 1에서 xn_u, yn_u는 보정이 완료된 이미지의 정규화 좌표의 x성분, y성분이고, fx, fy는 수평 초점거리와 수직 초점거리(초점거리: 카메라 장치의 렌즈로부터 이미지 센서까지의 거리)이며(단위는 픽셀(pixel)), cx, cy는 주점(카메라 렌즈의 중심에서 이미지 센서에 내린 수선의 발의 영상좌표)의 좌표의 x성분, y성분이며(단위는 픽셀), skew_c는 비대칭계수(이미지 센서의 Y축 방향이 실제 영상의 세로축과 이루는 각도의 tan값)이고, xp_u, yp_u는 보정이 완료된 이미지 좌표의 x성분, y성분이다.In Equation 1 above, x n_u and y n_u are the x and y components of the normalized coordinates of the corrected image, and f x and f y are the horizontal focal length and vertical focal length (focal length: the image from the lens of the camera device. The distance to the sensor) is (unit is pixel), c x , c y are the x and y components of the coordinates of the main point (the image coordinate of the foot of the line from the center of the camera lens to the image sensor). Pixel), skew_c is the asymmetry coefficient (the tan value of the angle formed by the Y-axis direction of the image sensor with the vertical axis of the actual image), and x p_u and y p_u are the x- and y-components of the coordinates of the image that have been corrected.

수학식 1로부터 다음과 같이 수학식 2를 구할 수 있다.Equation 2 can be obtained from Equation 1 as follows.

Figure 112019098311927-pat00002
Figure 112019098311927-pat00002

또한, xn_u와 yn_u로부터 해당 좌표의 이미지 중심에서부터의 거리 ru를 다음의 수학식 3과 같이 구할 수 있다.In addition, the distance r u of the coordinates from the center of the image can be obtained from x n_u and y n_u as shown in Equation 3 below.

Figure 112019098311927-pat00003
Figure 112019098311927-pat00003

xn_d와 yn_d는 각각 원본 이미지의 정규화 좌표의 x성분과 y성분이며, 수학식 2와 수학식 3으로부터 다음의 수학식 4를 구할 수 있다.x n_d and y n_d are the x and y components of the normalized coordinates of the original image, respectively, and the following Equation 4 can be obtained from Equation 2 and Equation 3.

Figure 112019098311927-pat00004
Figure 112019098311927-pat00004

이때, k1,k2,k3는 이미지에서 얻는 방사왜곡계수(Radial Distortion Coeffic ient)로서 중심으로부터의 일정 거리에 따라 왜곡되는 정도를 나타내며, p1,p2는 이미지에서 얻는 접선왜곡계수(Tangential Distortion Coefficient)로서 이미지 센서와 렌즈간의 수평 불일치로 나타나는 왜곡을 나타낸다.At this time, k 1 ,k 2 ,k 3 are the radial distortion coefficients obtained from the image and indicate the degree of distortion according to a certain distance from the center, and p 1 ,p 2 are the tangential distortion coefficients obtained from the image ( Tangential Distortion Coefficient), which represents the distortion caused by the horizontal mismatch between the image sensor and the lens.

xp_d와 yp_d는 각각 원본 이미지 좌표의 x성분, y성분이며, xp_u와 yp_u에 들어갈 원본 이미지 좌표를 다음의 수학식 5와 같이 구할 수 있다.x p_d and y p_d are the x and y components of the coordinates of the original image, respectively, and the coordinates of the original images to be entered in x p_u and y p_u can be obtained as in Equation 5 below.

Figure 112019098311927-pat00005
Figure 112019098311927-pat00005

이상의 과정을 통해 방사 왜곡 보정에 필요한 각종 상수들(fx, fy, cx, cy, skew_c, k1, k2, k3, p1, p2)로부터 방사 왜곡 보정 이후의 이미지의 좌표(xp_u, yp_u)에 대응하는 방사 왜곡 보정 이전의 이미지의 좌표(xp_d, yp_d)를 산출할 수 있다. Through the above process, the image after radiation distortion correction is obtained from various constants (f x , f y , c x , c y , skew_c, k 1, k 2 , k 3 , p 1 , p 2 ). Coordinates (x p_d , y p_d ) of the image before radiation distortion correction corresponding to the coordinates (x p_u, y p_u ) may be calculated.

상술한 수학식 1 내지 수학식 5를 거쳐 도 2(a) 또는 도 2(c)의 곡률 화상을 도 2(b) 또는 도 2(d)로 방사 왜곡 보정을 할 수 있다. 다만, 도 2에는 체스판(11)이 도시되어 있지는 않았으나 방사 왜곡 보정의 원리는 동일하게 적용된다.The radiation distortion correction may be performed on the curvature image of FIG. 2(a) or 2(c) through Equations 1 to 5 described above with FIG. 2(b) or 2(d). However, although the chessboard 11 is not shown in FIG. 2, the principle of correction of radiation distortion is applied in the same manner.

방사 왜곡 보정 후에 투사 변환부는 투사 변환 알고리즘을 이용하여 방사 왜곡 보정된 초기 영상 이미지를 평면 화상으로 변환하여 초기 평면 화상 이미지를 생성한다. 상술한 방사 왜곡 보정을 거치면 도 3(a) 또는 도 3(c)와 같이 보정 가공이 된다. 도 3(a) 또는 도 3(c)의 이미지를 도 3(b) 또는 도 3(d)의 평면 이미지로 변환하기 위해 투사 변환을 이용한다. 투사 변환(Perspective Transform)을 이용하기 위해 도 3(c)에 도시된 체스보드(11, Chess Board)의 네 꼭짓점을 인식하여 꼭지점 좌표(x1,y1),(x2,y2),(x3,y3),(x4,y4)를 산출한다. After the radiation distortion is corrected, the projection conversion unit converts the radiation distortion-corrected initial image image into a planar image using a projection conversion algorithm to generate an initial planar image image. After the above-described radiation distortion correction, correction processing is performed as shown in Fig. 3(a) or 3(c). Projection transformation is used to convert the image of Fig. 3(a) or 3(c) to the planar image of Fig. 3(b) or 3(d). In order to use the perspective transform, the four vertices of the chess board 11 shown in Fig. 3(c) are recognized and vertex coordinates (x1,y1), (x2,y2), (x3,y3). ),(x4,y4) is calculated.

다음으로, 체스보드(11)의 네 꼭짓점을 도 3(d)의 이미지의 임의의 선택된 영역에 배치 결정함으로써 꼭짓점 배치 좌표인 화면상 좌표 (x'1,y'1),(x'2,y'2),(x'3,y'3), (x'4,y'4)를 산출한다.Next, by determining the placement of the four vertices of the chess board 11 in a randomly selected area of the image in Fig. 3(d), the coordinates on the screen (x'1,y'1), (x'2, which are vertex placement coordinates) y'2), (x'3,y'3), (x'4,y'4) are calculated.

다음으로, 꼭짓점 배치 좌표를 기준으로 다음의 투사변환 행렬식인 수학식 6을 통해 변환상수 8개를 산출한다. Next, based on the vertex placement coordinates, eight transformation constants are calculated through Equation 6, which is the following projection transformation determinant.

Figure 112019098311927-pat00006
Figure 112019098311927-pat00006

이때, 우변의 8*8 행렬은 투사 변환 행렬이며, x1,x2,x3,x4,y1,y2,y3,y4는 각각 투사 변환 이전 이미지의 꼭짓점 좌표의 x성분과 y성분을 뜻하고, x'1,x'2,x'3,x'4, y'1,y'2,y'3,y'4는 각각 투사 변환 이후 이미지의 꼭짓점 배치 좌표의 x성분과 y성분을 뜻하고, a,b,c,d,e,f,g,h는 각각 투사 변환 수행 시 필요한 8개의 변환상수들이다.At this time, the 8*8 matrix on the right side is a projection transformation matrix, and x1,x2,x3,x4,y1,y2,y3,y4 denote the x and y components of the vertex coordinates of the image before projection transformation, respectively, and x' 1,x'2,x'3,x'4, y'1,y'2,y'3,y'4 denote the x and y components of the vertex placement coordinates of the image after projection transformation, respectively, and a ,b,c,d,e,f,g,h are eight transformation constants required for performing projection transformation, respectively.

다음으로, 변환상수 8개와 좌표변환 식인 수학식 7을 이용하여 방사 왜곡 보정된 이미지를 투사 변환하여 초기 평면 화상 이미지로 좌표 변환한다. 이와 같이 투사 변환을 이용하면 도 3(d)와 같이 평면 화상으로 변환된다.Next, the radiation distortion-corrected image is projected-converted using 8 transformation constants and Equation 7, which is a coordinate transformation equation, and the coordinates are transformed into an initial planar image image. When the projection transformation is used in this way, it is converted into a flat image as shown in Fig. 3(d).

Figure 112019098311927-pat00007
Figure 112019098311927-pat00007

x,y는 투사 변환 이전 이미지의 임의의 좌표의 x성분과 y성분이며, x',y'는 투사 변환 이후의 x,y에 대응하는 좌표의 x성분과 y성분이고, 8개의 변환상수를 이용하여 (x1,y1)과 같은 특정 좌표가 아닌 임의의 좌표에 대한 변환 좌표를 산출할 수 있다. x,y are the x and y components of the arbitrary coordinates of the image before projection transformation, x',y' are the x and y components of the coordinates corresponding to x,y after projection transformation, and 8 transformation constants Using this, it is possible to calculate transformed coordinates for arbitrary coordinates other than specific coordinates such as (x1,y1).

이상의 과정을 통하여 4개의 기준 좌표(x1,y1),(x2,y2),(x3,y3),(x4,y4)와 4개의 변환좌표(x'1,y'1),(x'2,y'2),(x'3,y'3),(x'4,y'4)를 이용하여 임의의 변환 전 좌표(x,y)에 대응하는 변환 후 좌표(x',y')를 산출할 수 있다.Through the above process, 4 reference coordinates (x1,y1), (x2,y2), (x3,y3), (x4,y4) and 4 conversion coordinates (x'1,y'1),(x'2) Using ,y'2),(x'3,y'3),(x'4,y'4), the post-transformation coordinates (x',y' corresponding to the arbitrary pre-conversion coordinates (x,y)) ) Can be calculated.

도 3(d)와 같이 투사 변환이 완료되면 영상 이미지는 평면 화상으로 변환된다. 따라서 도 3(d)와 같은 투사변환 완료된 이미지의 픽셀 간의 실제 거리 도출은 체스보드(11)의 실제 크기 정보와 투사 변환이 완료된 평면 이미지에 포함된 체스보드 이미지의 픽셀 수를 이용하여 평면 화상 이미지의 픽셀 간의 실제 거리를 도출한다.When the projection conversion is completed, as shown in FIG. 3(d), the video image is converted into a flat image. Therefore, derivation of the actual distance between pixels of the image that has been projected transformation as shown in Fig. 3(d) is a plan image image using the actual size information of the chess board 11 and the number of pixels of the chess board image included in the plane image where the projection transformation has been completed. Derive the actual distance between the pixels of.

한편, 10대의 광각 카메라부로부터 입력된 각각의 영상 이미지를 상술한 수학식 1 내지 수학식 7에 의해 투사 변환되어 도 3(d)와 같은 초기 평면 화상 이미지를 생성하고, 또한, 각각의 이미지의 픽셀 간의 실제 거리가 일치된다. 각 이미지의 픽셀 간의 실제 거리가 일치되기 때문에 영상 이미지를 병합할 수 있는 장점이 있다.On the other hand, each image image input from 10 wide-angle camera units is projected and converted according to Equations 1 to 7 described above to generate an initial planar image image as shown in FIG. 3(d). The actual distance between pixels is matched. Since the actual distances between pixels of each image are matched, there is an advantage of being able to merge video images.

여기서, 도 7(a) 및 (b)에 도시된 바와 같이 제1 영역과 제2 영역에서 각각 촬영한 체스보드(11)의 화면상 크기가 다름을 알 수 있으며, 이렇게 되면 두 이미지를 영상 병합하여 각 픽셀의 떨어진 거리가 실제 거리와 매칭되도록 할 수 없다. 따라서 두 이미지에 같은 비율의 적용을 위해 한쪽 이미지의 크기를 조절한다. 즉, 도 7(c) 및 (d)에 도시된 바와 같이 오른쪽 이미지의 체스보드와 왼쪽 이미지의 체스보드가 같은 크기가 되도록 이미지를 확대하면(양쪽 이미지 상의 주차라인의 넓이가 거의 비슷해짐을 확인할 수 있음) 체스보드의 화면 상 크기가 같음을 알 수 있고, 결론적으로 각 픽셀의 떨어진 거리를 일치시킬 수 있다.Here, as shown in Figs. 7(a) and (b), it can be seen that the size of the chess board 11 taken in the first area and the second area is different on the screen, and in this case, the two images are image merged. Thus, the distance of each pixel cannot be matched with the actual distance. Therefore, to apply the same ratio to both images, the size of one image is adjusted. That is, if the image is enlarged so that the chess board of the right image and the chess board of the left image are the same size as shown in Figs. 7(c) and (d), it can be confirmed that the width of the parking line on both images becomes almost the same. Yes) It can be seen that the size of the chessboard on the screen is the same, and consequently, the distance between each pixel can be matched.

한편, "체스보드(11)"를 각 카메라의 영역에 모두 배치할 수 있는 경우에는 상술한 설명을 통해 투사 변환을 수행한다. 이와 달리 광각 카메라의 설치 환경에 따라 "체스보드(11)"을 배치할 수 없는 경우(일예로서 카메라가 바다를 비추는 경우)에는 다음의 2가지 경우를 나누어 설명하기로 한다.On the other hand, when the "chessboard 11" can all be placed in the area of each camera, projection conversion is performed through the above description. On the contrary, when the "chessboard 11" cannot be arranged according to the installation environment of the wide-angle camera (as an example, when the camera illuminates the sea), the following two cases will be described separately.

제1 예로서, 체스보드가 포함된 이미지의 투사 변환시의 좌표 값을 이용하여 대칭되는 이미지를 대칭 이동한다. 즉, 도 8(a)에 도시된 대칭 위치 및 대칭 각도로 배치된 제1,2 광각 카메라를 통해 획득한 제1,2 이미지는 도 8(b) 및 도 8(c)와 같다. 제1 이미지는 체스보드(11)가 포함되지 않은 이미지이고, 제2 이미지는 체스보드(11)가 포함된 이미지이다. 먼저, 체스보드(11)가 포함된 제2 이미지를 방사 왜곡 보정 한 후에 도 9와 같이 투사 변환한다(이하에서 방사 왜곡 보정은 생략). 이때, 제2 이미지의 투사 변환시에 앞서 설명한 것과 같이 4개의 기준 좌표(x1,y1),(x2,y2),(x3,y3),(x4,y4)와 4개의 변환 좌표(x'1,y'1), (x'2,y'2),(x'3,y'3),(x'4,y'4)를 얻을 수 있다.As a first example, a symmetrical image is flipped using a coordinate value at the time of projection transformation of an image including a chessboard. That is, the first and second images acquired through the first and second wide-angle cameras arranged at a symmetrical position and a symmetrical angle shown in FIG. 8(a) are the same as those of FIGS. 8(b) and 8(c). The first image is an image in which the chess board 11 is not included, and the second image is an image in which the chess board 11 is included. First, the second image including the chess board 11 is corrected for radiation distortion and then projected and converted as shown in FIG. 9 (the radiation distortion correction is omitted hereinafter). At this time, as described above, at the time of projection transformation of the second image, four reference coordinates (x1,y1), (x2,y2), (x3,y3), (x4,y4) and four transformation coordinates (x'1, y'1), (x'2,y'2),(x'3,y'3),(x'4,y'4) can be obtained.

다음으로, 제2 이미지의 투사 변환시에 얻은 4개의 기준 좌표와 4개의 변환 좌표를 다음의 수학식 8에 적용하여 제1 이미지의 투사 변환을 수행할 수 있다.Next, the projection transformation of the first image may be performed by applying the 4 reference coordinates and the 4 transformation coordinates obtained at the time of projection transformation of the second image to Equation 8 below.

Figure 112019098311927-pat00008
Figure 112019098311927-pat00008

xnew와 ynew는 체스보드 없이 투사변환을 수행할 제1 이미지의 새로운 기준 좌표의 x성분과 y성분이고, x'new와 y'new는 체스보드 없이 투사변환을 수행할 이미지의 새로운 변환 좌표의 x성분과 y성분이며, sizew는 이미지의 가로 픽셀 수, sizeh는 이미지의 세로 픽셀 수를 의미한다.x new and y new are the x and y components of the new reference coordinate of the first image to perform projection transformation without a chess board, and x'new and y'new are the new transform coordinates of the image to perform projection transformation without a chess board. Is the x- and y-components, where size w is the number of horizontal pixels in the image, and size h is the number of vertical pixels in the image.

제2 예로서, 앞서 대칭을 이용할 수도 없는 경우에는 체스보드를 설치가 가능한 임의의 지점에 설치하여 투사 변환 상수를 구한 후에 실제 광각 카메라를 임의로 설치한 카메라의 조건과 같게 설치함으로써 이 투사 변환 상수를 이용하여 투사 변환을 수행할 수 있다. 따라서 체스보드를 배치할 수 없는 곳에서도 투사 변환이 가능하다.As a second example, if it is not possible to use symmetry previously, the projection conversion constant is determined by installing the chessboard at an arbitrary point where it is possible to install, and then installing the projection conversion constant in the same condition as the camera in which the actual wide-angle camera is arbitrarily installed. Can be used to perform projection transformation. Therefore, projection conversion is possible even in places where the chess board cannot be placed.

즉, 도 11(a) 및 (b)는 임의의 장소에서 체스보드(11)를 배치하여 광각 카메라를 통해 촬영한 이미지를 나타낸 것이다. 도 11(b)의 이미지를 투사 변환하면 도 12와 같다. 이때, 투사 변환에 따른 8개의 변환상수를 얻을 수 있다. 다음으로 도 11과 같은 카메라의 설치 조건과 동일한 조건으로 선박의 기 정해진 장소에 광각 카메라를 설치한다. 이렇게 함으로써 체스보드를 배치할 수 없는 경우에 앞서 구한 8개의 변환상수를 이용하여 초기 영상 이미지의 투사 변환을 수행할 수 있다.That is, Figs. 11 (a) and (b) show images taken through a wide-angle camera by arranging the chess board 11 at an arbitrary place. The image of FIG. 11(b) is projected and converted as shown in FIG. 12. At this time, it is possible to obtain eight transformation constants according to the projection transformation. Next, a wide-angle camera is installed in a predetermined place on the ship under the same conditions as the camera installation conditions as shown in FIG. 11. In this way, when the chessboard cannot be arranged, projection transformation of the initial image image can be performed using the previously obtained eight transformation constants.

다음으로, 초기화 단계에서 도 3(d)의 이미지의 픽셀 간의 실제 거리 값을 산출한 후에 각 광각 카메라로부터 "체스보드(11)"가 포함되지 않은 실제 영상 이미지를 각각 획득하여 실제 영상 이미지를 후처리 가공한다. 이때, 실제 영상 이미지를 방사 왜곡 보정 가공하는 단계는 앞서 설명한 수학식 1 내지 5를 동일하게 이용하여 가공처리 한다. 그리고 투사 변환 단계에서는 실제 영상 이미지를 후처리 가공하기 때문에 체스보드(11)가 포함되지 않는다. 이에 따라 투사 변환을 수행하기 위해서 체스보드의 꼭지점 좌표를 얻을 수가 없다. 따라서 기존의 체스보드가 포함되었을 때의 8개의 변환상수 값을 가지고 수학식 7에 의해 투사 변환을 수행한다.Next, in the initialization step, after calculating the actual distance value between the pixels of the image in Fig. 3(d), the actual video images that do not include the "chessboard 11" are obtained from each wide-angle camera, respectively, and the actual video image is displayed. Processing. In this case, the step of correcting the radiation distortion of the actual image image is processed using the same equations 1 to 5 described above. In the projection conversion step, the chess board 11 is not included because the actual image image is post-processed. Accordingly, in order to perform the projection transformation, the coordinates of the vertices of the chess board cannot be obtained. Therefore, projection transformation is performed according to Equation 7 with 8 transformation constant values when the existing chess board is included.

한편, 투사 변환을 수행하면 총 10대의 광각 카메라에 의해 실제 평면 화상 이미지가 10개가 생성된다. 그리고 도 4에 도시된 바와 같이 영상 병합부는 각각의 후처리 가공된 실제 영상 이미지 10개를 알파 맵 알고리즘을 이용하여 이미지 병합한다. 알파 맵 알고리즘은 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 종래기술이 참조될 수 있다.On the other hand, when projection conversion is performed, 10 actual planar image images are generated by a total of 10 wide-angle cameras. In addition, as shown in FIG. 4, the image merging unit merges 10 post-processed real image images using an alpha map algorithm. As for the alpha map algorithm, the prior art may be referred to without departing from the technical spirit of the present invention.

다음으로, 시각화부는 병합된 이미지와 선박 주변에 존재하는 위험물에 대한 정보를 함께 표시하여 시각화한다. 위험물은 자선 주변에 존재하는 타 선박이거나 또는 선박이 접안 또는 이안 시에 부딪힐 수 있는 해안선 등일 수 있다. 타 선박에 대한 위치정보 및 움직임 정보는 AIS 정보를 통해 얻을 수 있고, 해안선 정보는 전자해도를 통해 얻을 수 있다. 타 선박을 일예로 들어 병합된 이미지와 타 선박에 대한 정보를 함께 표시하여 시각화 하는 방법에 대해 이하에서 설명하기로 한다. Next, the visualization unit visualizes by displaying the merged image and information on dangerous goods existing around the ship together. Dangerous goods may be other ships existing around the own ship, or the coastline that the ship may collide with when berthing or berthing. Position information and motion information for other ships can be obtained through AIS information, and coastline information can be obtained through electronic charts. For example, a method of visualizing by displaying the merged image and information on the other ships together with other ships as an example will be described below.

먼저, AIS 정보 공유를 통해 자선과 타선의 실제 좌표를 획득한다. 자선의 좌표를 기준으로 타선의 좌표를 계산하여 상대 좌표를 산출한다. 상대 좌표를 이용해서 자선의 중심으로부터 타선의 상대거리 및 상대 움직임 방향을 산출한다. 이때, 상술한 바와 같이 이미지의 픽셀 당 실제 거리를 미리 산출하여 알고 있음으로 타선의 상대거리가 이미지의 픽셀 당 실제 거리에 맞게 표시될 수 있다. 따라서 도 5와 같이 자선을 중심으로 타선의 떨어진 거리를 이미지의 축척에 맞게 정확하게 표시할 수 있다. First, the actual coordinates of the own ship and other ships are acquired through AIS information sharing. The relative coordinates are calculated by calculating the coordinates of other ships based on the coordinates of the own ship. Using the relative coordinates, calculate the relative distance and direction of movement of other ships from the center of the own ship. In this case, as described above, since the actual distance per pixel of the image is calculated and known in advance, the relative distance of the other line may be displayed according to the actual distance per pixel of the image. Accordingly, as shown in FIG. 5, the distance of the other ships around the own ship can be accurately displayed in accordance with the scale of the image.

도 5는 운용자가 보는 화면 영상을 나타낸 것으로서 자선의 주변영역에서 촬영된 이미지를 기초로 10개의 화상 이미지가 병합되어 표시되면서 동시에 해안선(도면의 보라색 선 참조)과 타선(도면의 "HANBADA" 참조)이 축척에 맞게 도시된 것을 나타낸 것이다. 도 5는 설명의 편의를 위하여 이미지를 도시한 것이나 지속적으로 광각 카메라로부터 촬영된 영상이 병합되어 시각화됨으로써 접안 또는 이안 시의 충돌을 방지해 줄 수 있다. FIG. 5 shows the screen image that the operator sees, and 10 image images are merged and displayed based on the image captured in the surrounding area of the own ship, and at the same time, the coastline (see the purple line in the figure) and other lines (see "HANBADA" in the figure). It shows what is drawn to this scale. FIG. 5 shows an image for convenience of explanation, but by continuously merging and visualizing an image taken from a wide-angle camera, collisions during the eyepiece or eyepiece may be prevented.

한편, 광각 카메라는 주변영역을 촬영할 수 있는 한계 범위가 있다. 따라서 도 5의 검정색 영역은 실제로 광각 카메라가 촬영하지 못하는 더 넓은 범위의 자선 주변영역을 나타내는 영상 화면이다. 즉, 도 5의 영상 화면에는 10대의 광각 카메라에서 촬영된 영상이 병합되어 표시되는 영상과, 광각 카메라가 촬영하지 못하는 더 넓은 주변영역을 나타내는 영상이 함께 병합 표시된다. 따라서 운용자가 실제 자선을 접안하거나 이안시에 광각 카메라로부터 촬영되는 주변영역 뿐만 아니라 더 넓은 범위의 영역에 존재하는 위험물에 대해서 동시에 폭넓게 인지할 수 있는 장점이 있다. 도 6에 도시된 아이콘은 타선의 다양한 움직임에 대해 시각적으로 신속히 운영자에게 전달하기 위한 이미지로서 도 6(a),(b)는 "사각형" 형상을 나타내며 타선이 정지하고 있다는 것을 나타내고, 도 6(c),(d)는 "동그라미" 형상을 나타내며 타선이 움직이고 있다는 것을 나타낸다. 대략 화살표 형상으로 이루어진 이미지는 타선의 방향을 나타낸다.On the other hand, the wide-angle camera has a limited range in which it can photograph the surrounding area. Accordingly, the black area of FIG. 5 is an image screen showing a wider area around the own ship that the wide-angle camera cannot actually capture. That is, on the image screen of FIG. 5, images captured by 10 wide-angle cameras are merged and displayed, and images representing a wider peripheral area that the wide-angle camera cannot capture are merged and displayed. Accordingly, there is an advantage that the operator can simultaneously and widely recognize dangerous objects that exist in a wider range of areas as well as a peripheral area photographed from a wide-angle camera when berthing the actual own ship or berthing. The icon shown in FIG. 6 is an image for visually and promptly conveying the various movements of other ships to the operator. FIGS. 6(a) and (b) show a "rectangle" shape, indicating that the other ship is stationary, and FIG. 6 ( c) and (d) show the shape of a "circle" and indicate that the other line is moving. The roughly arrow-shaped image indicates the direction of the other line.

본 발명을 설명함에 있어 종래 기술 및 당업자에게 자명한 사항은 설명을 생략할 수도 있으며, 이러한 생략된 구성요소(방법) 및 기능의 설명은 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 충분히 참조될 수 있을 것이다. 또한, 상술한 본 발명의 구성요소는 본 발명의 설명의 편의를 위하여 설명하였을 뿐 여기에서 설명되지 아니한 구성요소가 본 발명의 기술적 사상을 벗어나지 아니하는 범위내에서 추가될 수 있다. In describing the present invention, descriptions of the prior art and those that are obvious to those skilled in the art may be omitted, and descriptions of these omitted components (methods) and functions will be sufficiently referenced within the scope not departing from the technical spirit of the present invention. I will be able to. In addition, the above-described elements of the present invention have been described for convenience of description of the present invention, and elements not described herein may be added within the scope not departing from the technical spirit of the present invention.

상술한 각부의 구성 및 기능에 대한 설명은 설명의 편의를 위하여 서로 분리하여 설명하였을 뿐 필요에 따라 어느 한 구성 및 기능이 다른 구성요소로 통합되어 구현되거나, 또는 더 세분화되어 구현될 수도 있다.The descriptions of the configurations and functions of the respective parts have been described separately from each other for convenience of description, and one configuration and function may be implemented by being integrated into other components or further subdivided as necessary.

이상, 본 발명의 일실시예를 참조하여 설명했지만, 본 발명이 이것에 한정되지는 않으며, 다양한 변형 및 응용이 가능하다. 즉, 본 발명의 요지를 일탈하지 않는 범위에서 많은 변형이 가능한 것을 당업자는 용이하게 이해할 수 있을 것이다. 또한, 본 발명과 관련된 공지 기능 및 그 구성 또는 본 발명의 각 구성에 대한 결합관계에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.As described above, with reference to an embodiment of the present invention, the present invention is not limited thereto, and various modifications and applications are possible. That is, those skilled in the art will be able to easily understand that many modifications can be made without departing from the gist of the present invention. In addition, when it is determined that a detailed description of a known function related to the present invention and a configuration thereof or a coupling relationship for each configuration of the present invention may unnecessarily obscure the subject matter of the present invention, it should be noted that the detailed description has been omitted. something to do.

11 : 체스판 또는 체스보드
110a,...,110j : 각각의 광각 카메라 촬영 영상 이미지
11: chess board or chess board
110a,...,110j: Video images taken by each wide-angle camera

Claims (7)

선박의 기 설정된 장소에 배치된 복수의 광각 카메라부로부터 픽셀 간의 거리측정을 위한 기준 이미지가 포함된 각각의 초기 영상 이미지를 각각 획득하여 상기 초기 영상 이미지를 가공하고, 가공된 초기 영상 이미지의 픽셀 간의 실제 거리를 상기 기준 이미지를 통해 도출하는 단계,
상기 복수의 광각 카메라로부터 실제 영상 이미지를 각각 획득하여 상기 실제 영상 이미지를 가공하고, 각각의 가공된 실제 영상 이미지를 병합하는 단계, 및
상기 선박의 주변에 위치한 타선의 위치정보 및 움직임 정보를 토대로 제1 삽입 객체 이미지를 생성하고, 해안선 정보를 토대로 제2 삽입 객체 이미지를 생성하여 병합 이미지와 함께 표시함으로써 시각화 하는 단계를 포함하며,
상기 초기 영상 이미지를 가공하는 단계는,
상기 광각 카메라부로부터 상기 기준 이미지가 포함된 초기 영상 이미지를 획득하는 단계,
상기 초기 영상 이미지의 곡면 화상을 보정하는 방사 왜곡 보정 단계, 및
투사 변환을 이용하여 방사 왜곡 보정된 초기 영상 이미지를 평면 화상으로 변환하여 초기 평면 화상 이미지를 생성하는 단계를 포함하며,
상기 픽셀 간의 실제 거리 도출은,
상기 방사 왜곡 보정된 이미지에 포함된 상기 기준 이미지의 4개 꼭지점을 인식하는 단계,
상기 기준 이미지의 4개 꼭지점을 상기 초기 평면 화상 이미지의 임의의 영역에 배치 결정함으로써 도출된 꼭지점 배치 좌표를 도출하는 단계,
상기 꼭지점 배치 좌표를 기준으로 투사변환 행렬식을 통해 변환상수 8개를 산출하는 단계,
상기 8개의 변환상수와 좌표변환식을 통해 상기 방사 왜곡 보정된 이미지를 상기 초기 평면 화상 이미지로 좌표 변환하는 단계, 및
상기 기준 이미지의 실제 크기 정보와 상기 초기 평면 화상 이미지에 포함된 기준 이미지의 픽셀 수를 이용하여 상기 평면 화상 이미지의 픽셀 간의 실제 거리를 도출하는 단계를 포함하는 것을 특징으로 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법.
Each initial image image including a reference image for measuring the distance between pixels is obtained from a plurality of wide-angle camera units arranged at a preset location of the ship to process the initial image image, and between pixels of the processed initial image image Deriving an actual distance through the reference image,
Obtaining real image images from the plurality of wide-angle cameras, respectively, processing the real image image, and merging each processed real image image, and
Comprising the step of creating a first inserted object image based on position information and motion information of other ships located around the ship, generating a second inserted object image based on coastline information, and displaying it together with a merged image to visualize,
Processing the initial video image,
Obtaining an initial image image including the reference image from the wide-angle camera unit,
Radiation distortion correction step of correcting a curved image of the initial video image, and
Comprising the step of generating an initial planar image image by converting the initial image image corrected for radiation distortion using projection transformation into a planar image,
Deriving the actual distance between the pixels,
Recognizing four vertices of the reference image included in the radiation distortion-corrected image,
Deriving vertex placement coordinates derived by determining the placement of four vertices of the reference image in an arbitrary area of the initial planar image image,
Calculating eight transformation constants through a projection transformation determinant based on the vertex arrangement coordinates,
Coordinate conversion of the radiation distortion-corrected image into the initial planar image image through the eight transformation constants and a coordinate transformation equation, and
And deriving an actual distance between pixels of the planar image image using the actual size information of the reference image and the number of pixels of the reference image included in the initial planar image image. A method of providing an omnidirectional view for
제 1 항에 있어서,
상기 기준 이미지는,
상기 가공된 초기 영상 이미지의 픽셀 간의 실제 거리를 측정하기 위해 상기 복수의 광각 카메라가 비추는 영역에 임의로 각각 배치한 거리 측정용 기준 객체의 영상 이미지인 것을 특징으로 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법.
The method of claim 1,
The reference image,
An omnidirectional image of a reference object for distance measurement, which is randomly arranged in an area illuminated by the plurality of wide-angle cameras in order to measure the actual distance between pixels of the processed initial image image. How to provide vision.
삭제delete 삭제delete 제 1 항에 있어서,
상기 실제 영상 이미지를 가공하는 단계는,
상기 광각 카메라부로부터 상기 기준 이미지가 포함되지 않은 실제 영상 이미지를 획득하는 단계,
상기 실제 영상 이미지의 곡면 화상을 보정하는 방사 왜곡 보정 단계, 및
투사 변환을 이용하여 방사 왜곡 보정된 실제 영상 이미지를 평면 화상으로 변환하여 실제 평면 화상 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법.
The method of claim 1,
The step of processing the actual video image,
Obtaining an actual image image not including the reference image from the wide-angle camera unit,
Radiation distortion correction step of correcting a curved image of the actual image image, and
A method for providing an omni-directional view for assisting the eyepiece and lateral eye of a ship, comprising the step of generating an actual planar image image by converting an actual image image corrected for radiation distortion using projection transformation into a planar image.
제 5 항에 있어서,
상기 실제 영상 이미지를 병합하는 단계는,
복수의 실제 평면 화상 이미지를 기 설정된 알고리즘을 통해 이미지 병합하는 것을 특징으로 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법.
The method of claim 5,
The step of merging the actual video image,
A method for providing an omni-directional view for assisting the eyepiece and lateral eye of a ship, characterized in that a plurality of real planar image images are merged through a preset algorithm.
제 6 항에 있어서,
상기 시각화 하는 단계는,
상기 제1,2 삽입 객체 이미지를 상기 픽셀 간의 실제 거리 정보를 기초로 상기 병합 이미지와 함께 표시하는 것을 특징으로 하는 선박의 접안 및 이안 보조를 위한 전방위 시야 제공방법.
The method of claim 6,
The visualizing step,
The first and second inserted object images are displayed together with the merged image based on actual distance information between the pixels.
KR1020190118458A 2019-09-26 2019-09-26 Method for providing every side viewing angle KR102258207B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190118458A KR102258207B1 (en) 2019-09-26 2019-09-26 Method for providing every side viewing angle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190118458A KR102258207B1 (en) 2019-09-26 2019-09-26 Method for providing every side viewing angle

Publications (2)

Publication Number Publication Date
KR20210037030A KR20210037030A (en) 2021-04-06
KR102258207B1 true KR102258207B1 (en) 2021-05-31

Family

ID=75472774

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190118458A KR102258207B1 (en) 2019-09-26 2019-09-26 Method for providing every side viewing angle

Country Status (1)

Country Link
KR (1) KR102258207B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240055350A (en) 2022-10-20 2024-04-29 삼성중공업 주식회사 A system for detecting around ship

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101469717B1 (en) * 2012-05-30 2014-12-05 동의대학교 산학협력단 Video system and method using cameras with a wide angle
KR20150073676A (en) * 2013-12-23 2015-07-01 에스엘 주식회사 Apparatus and method for correcting distortion of vehicle
KR101545276B1 (en) * 2013-12-27 2015-08-20 한국해양과학기술원 Omnidirectional monitoring System for ship using PTZ Camera and Omnidirectional monitoring Method using The Same
KR101812994B1 (en) 2016-05-25 2017-12-28 (주)주인정보시스템 Safe docking system of ships using camera image and method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240055350A (en) 2022-10-20 2024-04-29 삼성중공업 주식회사 A system for detecting around ship

Also Published As

Publication number Publication date
KR20210037030A (en) 2021-04-06

Similar Documents

Publication Publication Date Title
KR102126241B1 (en) Image processing device, image processing method, program for image processing device, storage medium, and image display device
US11039121B2 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
JP5108605B2 (en) Driving support system and vehicle
US11188768B2 (en) Object detection apparatus, object detection method, and computer readable recording medium
EP3096286A1 (en) Image processing apparatus, image processing method, and computer program product
US8169309B2 (en) Image processing apparatus, driving support system, and image processing method
WO2015037178A1 (en) Posture estimation method and robot
US20080181488A1 (en) Camera calibration device, camera calibration method, and vehicle having the calibration device
US11122195B2 (en) Camera parameter estimation device, method, and program
CN107532917B (en) Display control unit and display control method
EP3455825B1 (en) Break analysis apparatus and method
KR101583663B1 (en) Method for generating calibration indicator of camera for vehicle
CN110956660A (en) Positioning method, robot, and computer storage medium
JP2010117800A (en) Parking lot monitoring device and method
JP4679293B2 (en) In-vehicle panoramic camera system
JP2011064566A (en) Distance estimation apparatus
KR102258207B1 (en) Method for providing every side viewing angle
JP2011024079A (en) Peripheral display device
EP3557858B1 (en) Imaging device and imaging method
EP3193305A1 (en) Method and device for displaying a front-view of a vehicle's surrounding and respective vehicle
JP6029459B2 (en) Image composition apparatus and image composition method
JP4685050B2 (en) Display device
CN112470465B (en) Overhead image generation device and computer-readable storage medium
JP6777079B2 (en) Dimension measuring device, dimensional measuring system, and dimensional measuring method
CN110402454B (en) Image correction device, image correction method, and recording medium

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant