KR102465190B1 - Around view apparatus for night navigation - Google Patents

Around view apparatus for night navigation Download PDF

Info

Publication number
KR102465190B1
KR102465190B1 KR1020210158248A KR20210158248A KR102465190B1 KR 102465190 B1 KR102465190 B1 KR 102465190B1 KR 1020210158248 A KR1020210158248 A KR 1020210158248A KR 20210158248 A KR20210158248 A KR 20210158248A KR 102465190 B1 KR102465190 B1 KR 102465190B1
Authority
KR
South Korea
Prior art keywords
camera
vessel
camera module
ship
exposure time
Prior art date
Application number
KR1020210158248A
Other languages
Korean (ko)
Other versions
KR102465190B9 (en
Inventor
강대웅
Original Assignee
주식회사 에스씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스씨 filed Critical 주식회사 에스씨
Priority to KR1020210158248A priority Critical patent/KR102465190B1/en
Application granted granted Critical
Publication of KR102465190B1 publication Critical patent/KR102465190B1/en
Publication of KR102465190B9 publication Critical patent/KR102465190B9/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B63B43/20—Feelers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Studio Devices (AREA)

Abstract

The present invention relates to an around view apparatus for night navigation. The around view apparatus for night navigation according to an embodiment of the present invention is an around view apparatus for a ship, which generates an image of light existing in the sea for night navigation. The around view apparatus includes: an observation column erected vertically on an upper deck; a camera module mounted on the observation column; and a display displaying an image and location of an object captured by the camera module. The camera module includes: a first camera mounted to capture images of an environment around the ship, and having a first exposure time and no neutral density filter; a second camera mounted to capture images of an environment around the ship, and having a second exposure time greater than or equal to the first exposure time, and a neutral density filter; and a processor. The processor is configured to: capture images of objects around the ship by using the first camera during the first exposure time; capture images of objects around the ship by using the second camera during the second exposure time; identify objects having a light source by using the images captured by using the second camera; identify locations of objects having a light source by using the images captured by using the first camera; and display an image and a distance to the object having the light source during night navigation on the display by using the identified objects having the light source and the locations of the identified objects. Therefore, the present invention can automatically recognize the distance and a lighting color of the object during the night navigation.

Description

야간항해용 어라운드뷰 장치{Around view apparatus for night navigation}Around view apparatus for night navigation

본 발명은 야간항해용 어라운드뷰 장치에 관한 것으로, 보다 상세하게는 야간 항해시 조명을 갖는 선박, 구조물 등에 대한 거리 및 색상을 인식하여 안전항 운항을 보조할 수 있는 야간항해용 어라운드뷰 장치에 관한 것이다.The present invention relates to an around-view device for night navigation, and more particularly, to an around-view device for night navigation that can assist in safe port navigation by recognizing the distance and color of ships, structures, etc. with lighting during night navigation. will be.

뎁스 카메라는 카메라와 사물 사이의 거리를 측정한다. 카메라가 발사하는 적외선이 물체에 부딪혀 반사되어 돌아오는 시간을 측정해 거리를 계산하는 방식이다(ToF, Time of Flight 방식). 이를 통해 눈 앞에 있는 사물의 실제 거리를 매우 정확하게 측정할 수 있다. 하지만 뎁스 카메라는 빛이나 노이즈 등 외부 간섭에 매우 취약하기 때문에 실내에서만 사용 가능한 문제가 있다. The depth camera measures the distance between the camera and the object. This is a method that calculates the distance by measuring the time it takes for infrared rays emitted by the camera to strike an object, reflect and return (ToF, Time of Flight method). This allows very accurate measurements of the actual distance of objects in front of the eyes. However, since the depth camera is very vulnerable to external interference such as light or noise, there is a problem that it can be used only indoors.

한편, 선박은 선등(navigation light)을 선박의 곳곳에 배치하여 야간에 선박의 위치, 방향에 대한 정보를 교환하므로 야간에 안전한 항해를 위해 선등을 탐지하고 색상을 파악하는 것이 중요하다. On the other hand, since a ship exchanges information on the location and direction of a ship at night by disposing navigation lights in various parts of the ship, it is important to detect the ship's lights and identify the color for safe navigation at night.

그러나 상기와 같은 이유로 뎁스 카메라는 한계가 있으며, 블러(blur)로 인해 이미지가 번져 보이므로 색상 파악도 곤란하다. 따라서, 야간에 선등의 색상, 선등과의 거리를 자동으로 인식하여 운항자에게 제공해줄 수 있는 야간항해용 어라운드뷰 장치가 필요하다. However, for the above reasons, the depth camera has a limitation, and since the image is blurred due to blur, it is difficult to understand the color. Accordingly, there is a need for an around-view device for night navigation capable of automatically recognizing the color of a headlight and a distance from the headlight at night and providing it to the operator.

본 발명이 해결하고자 하는 과제는 야간에 운항중 타 선박, 교각, 부이(buoy)와 같은 물체의 조명 색상과 거리를 자동으로 인식하는 장치를 제공하는 것이다.An object of the present invention is to provide a device for automatically recognizing the lighting color and distance of objects such as other ships, piers, and buoys during operation at night.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems of the present invention are not limited to the problems mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 과제를 달성하기 위하여, 본 발명의 실시예에 따른 야간항해용 어라운드뷰 장치는, 야간 항해를 위해 해상의 존재하는 광의 이미지를 생성하는 선박용 어라운드뷰 장치로서, 상부 갑판에 수직방향으로 세워진 관측기둥; 상기 관측기둥에 장착된 카메라 모듈; 및 상기 카메라 모듈에 의해 캡쳐된 물체의 이미지 및 위치를 표시하는 디스플레이를 포함하고, 상기 카메라 모듈은, 선박 주변 환경의 이미지들을 캡처하기 위해 장착되고, 제1 노출 시간을 갖고 중립 밀도(neutral density) 필터가 없는 제1 카메라; 선박 주면 환경의 이미지들을 캡처하기 위해 장착되고, 상기 제1 노출 시간 이상인 제2 노출 시간을 갖고 중립 밀도(neutral density) 필터를 구비한 제2 카메라; 및 프로세서를 포함하고, 상기 프로세서는, 상기 제1 노출 시간 동안 상기 제1 카메라를 이용하여 선박 주변 물체들의 이미지들을 캡처하고; 상기 제2 노출 시간 동안 상기 제2 카메라를 이용하여 선박 주변 물체들의 이미지들을 캡처하고; 상기 제2 카메라를 이용하여 캡처된 상기 이미지들을 이용하여 광원을 갖는 물체들을 식별하고; 상기 제1 카메라를 이용하여 캡처된 상기 이미지들을 이용하여 광원을 갖는 물체들의 위치들을 식별하고; 상기 식별된 광원을 갖는 물체들 및 식별된 물체들의 위치들을 이용하여, 야간 항해시 광원을 갖는 물체와의 거리 및 이미지를 상기 디스플레이에 표시하는 것을 특징으로 한다.In order to achieve the above object, an around-view device for night navigation according to an embodiment of the present invention is an around-view device for a ship that generates an image of light existing in the sea for night navigation, and an observation column erected in the vertical direction on the upper deck. ; a camera module mounted on the observation column; and a display displaying the image and position of the object captured by the camera module, the camera module being mounted to capture images of an environment surrounding the vessel, having a first exposure time and neutral density a first camera without a filter; a second camera mounted to capture images of the ship's major environment, the second camera having a second exposure time greater than or equal to the first exposure time and having a neutral density filter; and a processor configured to: capture images of objects surrounding the vessel using the first camera during the first exposure time; capturing images of objects around the vessel using the second camera during the second exposure time; identify objects having a light source using the images captured using the second camera; identify locations of objects having a light source using the images captured using the first camera; It is characterized in that by using the objects having the identified light source and the positions of the identified objects, the distance to the object having the light source and the image are displayed on the display during night navigation.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and drawings.

본 발명의 야간항해용 어라운드뷰 장치에 의하면, 야간에 운항중 타 선박, 교각, 부이(buoy)와 같은 물체의 조명 색상과 거리를 자동으로 인식할 수 있다. According to the around-view device for night navigation of the present invention, it is possible to automatically recognize the lighting color and distance of objects such as other ships, piers, and buoys during operation at night.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도1 은 본 발명의 일 실시예에 의한 선박용 어라운드 뷰 장치의 FOV 및 선박의 방향을 표현한 것이다.
도2 는 본 발명의 일 실시예에 의한 선박의 시스템 도면이다.
도3a 는 본 발명의 일 실시예에 의한 관측기둥에 장착된 카메라 모듈을 표현한 것이다.
도3b 는 본 발명의 일 실시예에 의한 링 구조체의 저면을 표현한 것이다.
도4a 는 본 발명의 일 실시예에 의한 링 구조체에서 이미지 센서들의 배열을 예시한다.
도4b 는 도4a 의 이미지 센서들에 의한 FOV를 표현한 것이다.
도5a 는 도3a 에 의한 카메라 모듈의 방위각 변경 및 롤을 표현한 것이다.
도5b 는 도3a 에 의한 카메라 모듈의 높이 변경 및 피치를 표현한 것이다.
도6a 는 본 발명의 일 실시예에 의한 제1 카메라의 기능 다이어그램이다.
도6b 는 본 발명의 일 실시예에 의한 제2 카메라의 기능 다이어그램이다.
도7 은 본 발명의 일 실시예에 의한 대표적인 노출 시간들 및 광 펄스들의 예시적인 차트이다.
도8 은 본 발명의 일 실시예에 의한 카메라를 이용하여 선등을 촬영할 경우, 헤일로가 존재하지 않는 예시적인 이미지를 표현한 것이다.
도9 는 본 발명의 일 실시예에 의한 카메라 모듈의 방위를 조정하는 흐름도이다.
도10 은 도9에 의한 선박의 예상된 궤적에 기초한 카메라 모듈의 시야를 표현한 것이다.
도11 은 본 발명의 다른 실시예에 의한 카메라 모듈의 방위를 조정하는 흐름도이다.
도12 는 도11에 의한 선박의 예상된 궤적에 기초한 카메라 모듈의 시야를 표현한 것이다.
도13 은 본 발명의 또 다른 실시예에 의한 카메라 모듈의 방위를 조정하는 흐름도이다.
도14a는 도13에 의해 선박이 선석을 향해 턴하기 전, 도14b 는 도13에 의해 선박이 접안하는 경우 카메라 모듈의 방위를 조정하는 것을 표현한 것이다. 1 is a view showing the FOV and the direction of the ship of the around-view device for a ship according to an embodiment of the present invention.
2 is a system diagram of a ship according to an embodiment of the present invention.
Figure 3a is a representation of the camera module mounted on the observation column according to an embodiment of the present invention.
Figure 3b is a representation of the bottom surface of the ring structure according to an embodiment of the present invention.
4A illustrates an arrangement of image sensors in a ring structure according to an embodiment of the present invention.
Fig. 4b is a representation of the FOV by the image sensors of Fig. 4a.
Figure 5a is a representation of the azimuth change and roll of the camera module according to Figure 3a.
Figure 5b is a representation of the height change and pitch of the camera module according to Figure 3a.
6A is a functional diagram of a first camera according to an embodiment of the present invention.
6B is a functional diagram of a second camera according to an embodiment of the present invention.
7 is an exemplary chart of representative exposure times and light pulses in accordance with an embodiment of the present invention.
8 illustrates an exemplary image in which a halo does not exist when a line lamp is photographed using a camera according to an embodiment of the present invention.
9 is a flowchart for adjusting the orientation of the camera module according to an embodiment of the present invention.
10 is a representation of the field of view of the camera module based on the expected trajectory of the vessel according to FIG.
11 is a flowchart for adjusting the orientation of a camera module according to another embodiment of the present invention.
12 is a representation of the field of view of the camera module based on the expected trajectory of the vessel according to FIG.
13 is a flowchart for adjusting the orientation of a camera module according to another embodiment of the present invention.
Figure 14a is an expression of adjusting the orientation of the camera module when the ship is docked by Figure 13, before the ship turns toward the berth by Figure 13; Figure 14b.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the technical field to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.

이하, 본 발명의 실시예들에 의하여 선박용 어라운드뷰 장치를 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. Hereinafter, the present invention will be described with reference to the drawings for explaining the ship around-view apparatus according to the embodiments of the present invention.

도1 은 본 발명의 일 실시예에 의한 선박(20)용 어라운드 뷰 장치의 FOV(71 및 73) 및 선박(20)의 방향을 표현한 것이다. 1 shows the directions of FOVs 71 and 73 and the ship 20 of an around-view device for a ship 20 according to an embodiment of the present invention.

도1 을 참조하면, 선박(20)에는 센서 조립체(161)가 배치되어 전방 및 측후방의 이미지를 캡쳐한다. 어라운드 뷰 장치는 선박(20) 주위의 360도의 영상을 캡쳐하고, 이중 일부 지역은 보다 높은 해상도의 이미지센서로 촬영할 수 있다. 도1 에 의하면 구분된 FOV는 주시영역(71)이 보조 영역(73)보다 높은 해상도의 이미지센서로 촬영할 수 있다. 실시예에 따라 카메라 모듈(200)은 주시영역(71) 및 보조 영역(73)을 촬영할 수 있고, 적어도 어느 하나의 영역을 촬영할 수 있다. 주시영역(71) 및 보조 영역(73)의 합은 360도이다. 주시영역(71)과 보조 영역(73)은 다른 해상도의 이미지센서로 촬영할 수 있다. Referring to FIG. 1 , a sensor assembly 161 is disposed on a ship 20 to capture images of the front and rear sides. The around-view device captures a 360-degree image around the vessel 20, and some of them may be photographed with a higher resolution image sensor. According to FIG. 1 , the divided FOV may be captured by an image sensor in which the gaze area 71 has a higher resolution than the auxiliary area 73 . According to an embodiment, the camera module 200 may photograph the gaze area 71 and the auxiliary area 73 , and may photograph at least one area. The sum of the gaze area 71 and the auxiliary area 73 is 360 degrees. The gaze area 71 and the auxiliary area 73 may be photographed with image sensors having different resolutions.

도2 는 본 발명의 일 실시예에 의한 선박(20)의 시스템 도면이다. 2 is a system diagram of a vessel 20 according to an embodiment of the present invention.

도2 를 참조하면, 블록도에서 도시된 바와 같이, 선박(20)은 하나 이상의 프로세서(110)들, 메모리(120), 및 범용 컴퓨팅 디바이스(100)들에서 전형적으로 존재하는 다른 컴포넌트들을 포함하는 컴퓨팅 디바이스(100)들과 같은 하나 이상의 컴퓨팅 디바이스(100)들의 제어 시스템을 가질 수 있다. Referring to FIG. 2 , as shown in a block diagram, a vessel 20 includes one or more processors 110 , memory 120 , and other components typically present in general purpose computing devices 100 . It is possible to have a control system of one or more computing devices 100 , such as computing devices 100 .

메모리(120)는 프로세서(110)들에 의해 실행될 수 있거나, 또는 그렇지 않을 경우에 프로세서(110)에 의해 이용될 수 있는 명령들(121) 및 데이터(123)를 포함하는, 하나 이상의 프로세서(110)들에 의해 액세스 가능한 정보를 저장한다. 메모리(120)는 컴퓨팅 디바이스(100)가 판독가능 매체를 포함하는, 프로세서(110)에 의해 액세스가능한 정보를 저장할 수 있는 임의의 유형이다. 메모리(120)는 비 일시적 매체(non-transitory medium)이다. 시스템들은 상기한 것의 상이한 조합들을 포함할 수 있음으로써, 명령들(121) 및 데이터(123)의 상이한 부분들은 상이한 유형들의 매체들 상에서 저장된다.Memory 120 is one or more processors 110 , including instructions 121 and data 123 that may be executed by processors 110 , or otherwise used by processor 110 . ) to store information accessible by Memory 120 is any type capable of storing information accessible by processor 110 , including readable media by computing device 100 . Memory 120 is a non-transitory medium. Systems may include different combinations of the above such that different portions of instructions 121 and data 123 are stored on different types of media.

명령들(121)은 프로세서(110)에 의해 (머신 코드와 같이) 직접적으로 또는 (스크립트(script)들과 같이) 간접적으로 실행되어야 할 명령들(121)의 임의의 세트일 수 있다. 예를 들어, 명령들(121)은 컴퓨팅 디바이스(100)-판독가능 매체 상에서 컴퓨팅 디바이스(100) 코드로서 저장될 수 있다. 그와 관련하여, 용어들 "명령들(121)" 및 "프로그램들"은 본 발명에서 상호 교환 가능하게 이용될 수 있다. 명령들(121)은 프로세서(110)에 의한 직접적인 프로세싱을 위한 오브젝트 코드 포맷(object code format)으로, 또는 요구에 따라 해석(interpret)되거나 미리 컴파일링(compile)되는 독립적인 소스 코드 모듈들의 스크립트들 또는 집합들을 포함하는 임의의 다른 컴퓨팅 디바이스(100) 언어로 저장될 수 있다. 데이터(123)는 명령들(121)에 따라 하나 이상의 프로세서(110)들에 의해 검색(retrieve), 저장, 또는 수정될 수 있다. 예로서, 메모리(120)의 데이터(123)는 상이한 유형들의 센서들을 교정할 때에 이용되어야 할 교정 정보와 같은 정보를 저장할 수 있다. 출력된 결과는 디스플레이(115)에 표현할 수 있다. Instructions 121 may be any set of instructions 121 to be executed by processor 110 directly (such as machine code) or indirectly (such as scripts). For example, the instructions 121 may be stored as computing device 100 code on a computing device 100-readable medium. In that regard, the terms “instructions 121” and “programs” may be used interchangeably herein. The instructions 121 are in an object code format for direct processing by the processor 110 , or scripts of independent source code modules that are interpreted or precompiled as required. or any other computing device 100 language that includes sets. Data 123 may be retrieved, stored, or modified by one or more processors 110 according to instructions 121 . For example, data 123 in memory 120 may store information such as calibration information to be used when calibrating different types of sensors. The output result may be displayed on the display 115 .

하나 이상의 프로세서(110)는 상업적으로 입수가능한 CPU들과 같은 임의의 기존의 프로세서(110)들일 수 있다. 대안적으로, 하나 이상의 프로세서(110)들은 ASIC 또는 다른 하드웨어-기반 프로세서(110)와 같은 전용 디바이스일 수 있다. 도 2 는 컴퓨팅 디바이스(100)들의 프로세서(110)(들), 메모리(120), 및 다른 엘리먼트들을 동일한 블록 내에 있는 것으로서 기능적으로 예시하지만, 이러한 디바이스들은 동일한 물리적 하우징(250) 내에 보관될 수 있거나 보관되지 않을 수 있는 다수의 프로세서(110)들, 컴퓨팅 디바이스(100)들, 또는 메모리(120)들을 실제적으로 포함할 수 있다. 유사하게, 메모리(120)는 프로세서(110)의 하우징과는 상이한 하우징에서 위치된 하드 드라이브 또는 다른 저장 매체들일 수 있다. 따라서, 프로세서(110) 또는 컴퓨팅 디바이스(100)에 대한 참조들은 병렬로 동작할 수 있거나 동작할 수 없는 프로세서(110)들 또는 컴퓨팅 디바이스(100)들 또는 메모리(120)들의 집합에 대한 참조들을 포함하도록 이해될 것이다.The one or more processors 110 may be any conventional processors 110 , such as commercially available CPUs. Alternatively, the one or more processors 110 may be a dedicated device such as an ASIC or other hardware-based processor 110 . 2 functionally illustrates the processor 110(s), memory 120, and other elements of computing devices 100 as being within the same block, such devices may be housed within the same physical housing 250 or It may actually include a number of processors 110 , computing devices 100 , or memories 120 that may not be archived. Similarly, memory 120 may be a hard drive or other storage media located in a different housing than that of processor 110 . Accordingly, references to processor 110 or computing device 100 include references to sets of processors 110 or computing devices 100 or memories 120 that may or may not operate in parallel. will be understood to do

하나 이상의 프로세서(110)들은 센서 조립체(161)의 일부로서 포함될 수 있다. 프로세서(110)들은 카메라 모듈(200)의 다양한 이미지 센서들로부터 수신된 원시 화상(raw imagery) 뿐만 아니라, 전체적인 센서 조립체(161)의 다른 센서들로부터 수신된 정보를 프로세싱하도록 구성될 수 있다.One or more processors 110 may be included as part of sensor assembly 161 . Processors 110 may be configured to process raw imagery received from various image sensors of camera module 200 , as well as information received from other sensors of overall sensor assembly 161 .

네비게이션 시스템(140)은 위치까지의 경로를 결정하고 따르기 위하여 컴퓨팅 디바이스(100)들에 의해 이용될 수 있다. 네비게이션 시스템(140) 및/또는 데이터(123)는 컴퓨팅 디바이스(100)들이 선박(20)을 네비게이팅하거나 제어하기 위하여 이용할 수 있는 지도 정보, 예컨대, 상세한 해도들을 저장할 수 있다.The navigation system 140 may be used by the computing devices 100 to determine and follow a route to a location. Navigation system 140 and/or data 123 may store map information, such as detailed charts, that computing devices 100 may use to navigate or control vessel 20 .

지각 시스템(160)은 다른 선박들, 해상 장애물들, 부이(buoy), 부표, 선석(30)들 등과 같은, 선박(20) 외부의 객체들을 검출하기 위한 하나 이상의 컴포넌트들을 또한 포함한다. 프로세서(110)는 다른 선박들, 해상 장애물들, 부이(buoy), 부표, 선석(30)을 주시대상으로 설정 및 인식할 수 있다. 지각 시스템(160)은 이미지 센서들을 포함하는 카메라들, 하나 이상의 LIDAR 센서들, 레이더 유닛들, 소나 디바이스들, 카메라들, 관성(예컨대, 자이로스코픽) 센서들, 및/또는 컴퓨팅 디바이스(100)들에 의해 프로세싱될 수 있는 데이터(123)를 레코딩하는 임의의 다른 검출 디바이스들의 하나 이상의 세트들을 포함할 수 있다. 지각 시스템(160)의 센서들은 객체들, 및 위치, 방위, 크기, 형상, 유형(예를 들어, 타 선박, 부이, 부표 등), 진로, 및 이동의 속력 등과 같은 그 특성들을 검출할 수 있다. 센서들로부터의 원시 데이터(123)(raw data) 및/또는 전술한 특성들은 그것이 지각 시스템(160)에 의해 생성될 때, 추가의 프로세싱을 위하여 주기적으로 그리고 연속적으로 컴퓨팅 디바이스(100)들로 전송될 수 있다. 컴퓨팅 디바이스(100)들은 선박(20)의 위치를 결정하기 위한 위치결정 시스템(170), 및 위치에 안전하게 도달하기 위하여 필요할 때에 객체들을 검출하고 객체들에 반응하기 위한 지각 시스템(160)을 이용할 수 있다. 추가적으로, 컴퓨팅 디바이스(100)들은 개별적인 센서들, 특정한 센서 조립체(161)에서의 모든 센서들, 또는 상이한 센서 조립체(161)들에서의 센서들 사이의 교정을 수행할 수 있다.Perceptual system 160 also includes one or more components for detecting objects external to vessel 20 , such as other vessels, maritime obstacles, buoys, buoys, berths 30 , and the like. The processor 110 may set and recognize other ships, marine obstacles, buoys, buoys, and berths 30 as gaze objects. Perceptual system 160 includes cameras, including image sensors, one or more LIDAR sensors, radar units, sonar devices, cameras, inertial (eg, gyroscopic) sensors, and/or computing devices 100 . may include one or more sets of any other detection devices that record data 123 that may be processed by Sensors in perceptual system 160 may detect objects and their characteristics, such as position, orientation, size, shape, type (eg, other ships, buoys, buoys, etc.), course, and speed of movement, etc. . The raw data 123 from the sensors and/or the characteristics described above are transmitted periodically and continuously to the computing device 100 for further processing as it is generated by the perceptual system 160 . can be Computing devices 100 may utilize a positioning system 170 to determine the position of the vessel 20, and a perceptual system 160 to detect and react to objects when needed to safely reach the position. have. Additionally, computing devices 100 may perform calibration between individual sensors, all sensors in a particular sensor assembly 161 , or sensors in different sensor assemblies 161 .

지각 시스템(160)은 하나 이상의 센서 조립체(161)들을 포함한다. 하나의 예에서, 센서 조립체(161)는 선박(20) 주위의 360° 가시성을 제공할 수 있는 선박(20) 상의 포지션에서 중앙에 위치할 수 있다. 또 다른 예에서, 다수의 센서 또는 적어도 하나의 조립체들은 선박(20)의 다양한 지점에 분포될 수 있다. 예를 들면, 선수(FWD), 선미(AFT), 좌현(PORT), 우현(Starboard)을 따라 선택된 지점들에서 분포될 수 있다. 접속(도시되지 않음)은 선박(20)의 센서 조립체(161)와 하나 이상의 다른 시스템들 사이의 전력, 통신, 및/또는 다른 접속들을 제공할 수 있다. 예를 들어, 데이터(123) 통신 버스는 센서 조립체(161)의 카메라들 및 다른 센서들과 컴퓨팅 디바이스(100)들 사이의 양방향 통신을 제공할 수 있다. 전력 라인은 직접적으로 또는 간접적으로 동력 시스템(150)에, 또는 컴퓨팅 디바이스(100)들에 의해 제어된 배터리와 같은 별도의 전원에 접속될 수 있다.Perceptual system 160 includes one or more sensor assemblies 161 . In one example, the sensor assembly 161 may be centrally located in a position on the vessel 20 that may provide 360° visibility around the vessel 20 . In another example, multiple sensors or at least one assembly may be distributed at various points on the vessel 20 . For example, it may be distributed at selected points along the bow (FWD), stern (AFT), port (PORT), and starboard (Starboard). A connection (not shown) may provide power, communication, and/or other connections between the sensor assembly 161 of the vessel 20 and one or more other systems. For example, the data 123 communication bus may provide two-way communication between the computing devices 100 and cameras and other sensors of the sensor assembly 161 . The power line may be connected directly or indirectly to the power system 150 , or to a separate power source such as a battery controlled by the computing devices 100 .

도3a 는 본 발명의 일 실시예에 의한 관측기둥(10)에 장착된 카메라 모듈(200)을 표현한 것이다. 도3b 는 본 발명의 일 실시예에 의한 링 구조체(260)의 저면을 표현한 것이다. Figure 3a is a representation of the camera module 200 mounted on the observation column 10 according to an embodiment of the present invention. Figure 3b is a representation of the bottom surface of the ring structure 260 according to an embodiment of the present invention.

도3a 및 도3b 는 센서 조립체(161)의 예를 제시한다. 도시된 바와 같이, 센서조립체는 카메라 모듈(200) 및 라이다모듈(300)을 포함할 수 있다. 카메라 모듈(200)의 상단에는 라이다모듈(300)이 배치될 수 있다. 3A and 3B show an example of a sensor assembly 161 . As shown, the sensor assembly may include a camera module 200 and a lidar module 300 . The lidar module 300 may be disposed on the upper end of the camera module 200 .

카메라 모듈(200)는 선박(20) 주위의 전체적인 360° 시야를 제공하도록 위치결정된 다수의 쌍들의 이미지 센서들을 가지는 제1 서브시스템(210)을 포함할 수 있다. 카메라 모듈(200)는 예를 들어, 대략 90° 시야를 제공하기 위하여, 예컨대, 해상의 객체들을 미리 더 양호하게 식별하기 위하여, 선박(20)의 전방을 향해 일반적으로 대면하는 이미지 센서들의 제2 서브시스템(220)을 또한 포함할 수 있다. 이 서브시스템의 시야는 또한, 90°보다 더 클 수 있거나 더 작을 수 있고, 예를 들어, 약 60 내지 135° 사이일 수 있다. The camera module 200 may include a first subsystem 210 having a plurality of pairs of image sensors positioned to provide a full 360° field of view around the vessel 20 . The camera module 200 provides a second of generally facing image sensors towards the front of the vessel 20 , for example, to provide an approximately 90° field of view, eg to better identify objects at sea in advance. Subsystem 220 may also be included. The field of view of this subsystem may also be greater than or less than 90 degrees, eg, between about 60 and 135 degrees.

이미지 센서들은 CMOS 센서들일 수 있으며, CCD 또는 다른 유형들의 이미징 엘리먼트들이 채용될 수도 있다.The image sensors may be CMOS sensors, and CCD or other types of imaging elements may be employed.

지각 시스템(160)들의 앙각(low angle)은 선박(20) 상의 카메라 모듈(200)의 배치 및 선박(20)의 유형에 종속될 것이다. 예를 들어, 카메라 모듈(200)이 대형 선박(20)에 장착될 경우에, 앙각은 전형적으로, 카메라 모듈(200)이 소형 선박(20)에 장착될 때보다 더 높을 것이다. 또한, 가시성은 배치 및 구조적 제한들로 인해 선박(20)의 모든 에어리어(area)들 주위에서 동일하지 않을 수 있다. 링 구조체(260)의 직경 및 선박(20) 상의 배치를 변동시킴으로써, 적당한 360° 시야가 획득될 수 있다. 직경은 카메라 모듈(200)이 배치되어야 하는 선박(20)의 유형, 및 카메라 모듈(200)이 선박(20) 상에서 위치될 특정 위치에 따라, 더 크도록 또는 더 작도록 선택될 수 있다.The low angle of the perception systems 160 will depend on the placement of the camera module 200 on the vessel 20 and the type of vessel 20 . For example, when the camera module 200 is mounted on a large vessel 20 , the elevation angle will typically be higher than when the camera module 200 is mounted on a small vessel 20 . Also, visibility may not be the same around all areas of the vessel 20 due to placement and structural limitations. By varying the diameter of the ring structure 260 and the placement on the vessel 20, a suitable 360° field of view can be obtained. The diameter may be chosen to be larger or smaller, depending on the type of vessel 20 on which the camera module 200 should be placed and the particular location where the camera module 200 will be located on the vessel 20 .

도4a 는 본 발명의 일 실시예에 의한 링 구조체(260)에서 이미지 센서들의 배열을 예시한다. 도4b 는 도4a 의 이미지 센서들에 의한 FOV를 표현한 것이다. 4A illustrates an arrangement of image sensors in a ring structure 260 according to an embodiment of the present invention. Fig. 4b is a representation of the FOV by the image sensors of Fig. 4a.

도4a 및 도4b 를 참조하면, 제1 서브시스템(210)의 각각의 이미지 센서 쌍은 제1 이미지센서(211)및 제2 이미지센서(212)를 포함한다. 제1 및 제2 이미지센서(211, 212)들은 별도의 카메라 엘리먼트들의 일부일 수 있거나, 하나의 카메라 모듈(200) 내에 함께 포함될 수 있다. 이 시나리오에서, 제1 이미지센서(211)들은 자동 노출(auto exposure)로 설정되는 반면, 제2 이미지센서(212)들은 예컨대, 다크(dark) 또는 중립 밀도(neutral density)(ND) 필터를 이용하여 고정된 노출(fixed exposure)로 설정된다. 제2 서브시스템(220)은 제1 및 제2 이미지센서(212)들의 해상도들보다 더 높은 해상도를 가질 수 있는 고해상도 이미지 센서(230)들을 포함한다. 증대된 해상도는 선박(20)의 전방에서의 장면의 가능한 한 많은 세부사항들을 지각 시스템(160)에 제공하기 위하여, 선박(20)의 전방을 대면하는 카메라들을 위하여 특히 유익할 수 있다. 후술하는 바와 같이 제2 서브시스템(220)은 회전, 피봇, 롤 할 수 있고, 예측 경로로 미리 방향을 변경할 수도 있다. 4A and 4B , each image sensor pair of the first subsystem 210 includes a first image sensor 211 and a second image sensor 212 . The first and second image sensors 211 and 212 may be part of separate camera elements, or may be included in one camera module 200 together. In this scenario, the first image sensors 211 are set to auto exposure, while the second image sensors 212 use, for example, a dark or neutral density (ND) filter. It is set to a fixed exposure. The second subsystem 220 includes high-resolution image sensors 230 , which may have a higher resolution than the resolutions of the first and second image sensors 212 . The increased resolution can be particularly beneficial for forward-facing cameras of the vessel 20 , in order to provide the perception system 160 with as much detail as possible of the scene in front of the vessel 20 . As will be described later, the second subsystem 220 may rotate, pivot, and roll, and may change the direction in advance to a predicted path.

도4a 는 더 많거나 더 적은 이미지 센서들이 이용될 수 있지만, 제2 서브시스템(220)의 3 개의 이미지 센서들을 예시한다. 본 예에서는, 제2 서브시스템(220)으로부터의 3 개 및 제1 서브시스템(210)으로부터의 7개의 쌍들을 포함하는 총 17 개의 이미지 센서들이 카메라 모듈(200)에서 채용된다. 다시, 더 많거나 더 적은 이미지 센서들이 카메라 모듈(200)에서 채용될 수 있다.4A illustrates three image sensors of the second subsystem 220, although more or fewer image sensors may be used. In this example, a total of 17 image sensors are employed in the camera module 200 , including 3 pairs from the second subsystem 220 and 7 pairs from the first subsystem 210 . Again, more or fewer image sensors may be employed in the camera module 200 .

자동 노출된 이미지 센서들, 고정된 노출 이미지 센서들, 및 고해상도 이미지 센서들은 지각 시스템(160)이 선박(20)을 포위하는 환경에서의 객체들 및 이러한 환경의 특징부들을 식별하는 것을 돕는 확장된 동적 범위(dynamic range)를 제공하도록 선택된다. 특히, 자동 노출된 이미지 센서들은 낮은 광 레벨 상황들을 취급하도록 구성되는 반면, 고정된 노출 이미지 센서들은 높은 광 레벨 상황을 취급하도록 구성된다. 그리고 고해상도 이미지 센서들은 매우 낮은(자동 노출된 이미지 센서들보다 더 낮은) 광 상황들을 취급할 수 있을 수 있다. 전반적으로, 3 개의 유형들의 이미지 센서들의 동적 범위는 10-2　니트들 내지 105　니트들 사이일 수 있다. 각각의 유형의 이미지 센서를 위한 정확한 동적 범위는 특정 시스템 요건들 및 이용된 센서 엘리먼트들에 따라 변동될 수 있다.Auto-exposed image sensors, fixed exposure image sensors, and high-resolution image sensors are extended to help perception system 160 identify objects in the environment surrounding the vessel 20 and features of that environment. It is chosen to provide a dynamic range. In particular, auto-exposed image sensors are configured to handle low light level situations, while fixed exposure image sensors are configured to handle high light level situations. And high-resolution image sensors may be able to handle very low (lower than auto-exposed image sensors) light situations. Overall, the dynamic range of the three types of image sensors can be between 10 -2 nits and 10 5 nits. The exact dynamic range for each type of image sensor may vary depending on the specific system requirements and sensor elements used.

도3a 를 더 참조하면, 본 발명의 일 실시예에 의한 선박(20)용 어라운드뷰 장치는, 카메라 모듈(200)을 수용하는 돔형태의 하우징(250)을 더 포함하고, 링 구조체(260)는, 제1 이미지센서(211)와 제2 이미지센서(212)를 동일한 수직축(z)을 따라 정렬시켜 고정하고, 제1 이미지센서(211)는, 제2 이미지센서(212)보다 하측에 배치되며 링 구조체(260)의 중심을 기준으로 제2 이미지센서(212)보다 외곽 방향으로 돌출되어 배치된다. Referring further to FIG. 3A , the around-view device for the ship 20 according to an embodiment of the present invention further includes a dome-shaped housing 250 accommodating the camera module 200, and a ring structure 260. is fixed by aligning the first image sensor 211 and the second image sensor 212 along the same vertical axis z, and the first image sensor 211 is disposed below the second image sensor 212 and is disposed to protrude outward from the second image sensor 212 with respect to the center of the ring structure 260 .

본 발명의 일 실시예에 의한 선박(20)용 어라운드뷰 장치는, 고해상도 이미지센서(230)와 제1 및 제2 이미지센서(211, 212)는, 복수로 구비되어, 각 이미지 센서의 FOV 합이 360도 이상이며, 제1 서브시스템(210)의 FOV(보조 영역, 73)는 제2 서브시스템(220)의 FOV(주시 영역, 71)보다 넓다. The around-view device for a ship 20 according to an embodiment of the present invention includes a high-resolution image sensor 230 and the first and second image sensors 211 and 212, which are provided in plurality, so that the FOV sum of each image sensor is This is more than 360 degrees, and the FOV (secondary area) 73 of the first subsystem 210 is wider than the FOV (Focused Area) 71 of the second subsystem 220 .

제1 및 제2 이미지센서(211, 212)들의 쌍들은 공동-위치되고, 예를 들어, 동일한 수직(또는 Z) 축을 따라 정렬된다. 특히, 제2 이미지 센서(212)들은 제1 이미지 센서(211)들의 바로 위에 위치결정될 수 있다. 이것은 각 개개의 쌍에서의 센서들에 의해 획득된 이미지들이 일치를 위하여 비교되는 것을 허용하고, 이미지 프로세싱의 복잡성을 감소시킬 수 있다. The pairs of first and second image sensors 211 , 212 are co-located, eg aligned along the same vertical (or Z) axis. In particular, the second image sensors 212 may be positioned directly above the first image sensors 211 . This allows images acquired by the sensors in each individual pair to be compared for a match, and can reduce the complexity of image processing.

그리고 도4b 에 도시된 예에 따르면, 3 개의 고해상도 이미지 센서들은 90° FOV를 함께 커버하고, 중앙 이미지 센서는 0°에서 정렬된 FOV를 가지고, 우측 및 좌측 이미지 센서들은 각각 30° 및 330°에서 중심들을 갖는 FOV들을 가진다. And according to the example shown in Fig. 4b, the three high-resolution image sensors together cover 90° FOV, the central image sensor has an aligned FOV at 0°, and the right and left image sensors are at 30° and 330° respectively. It has FOVs with centroids.

하우징(250)은 도시된 바와 같은 돔-형상, 원통형, 반구형일 수 있다. 하우징(250)의 형상과 제1 이미지센서(211)와 제2 이미지센서(212)의 배치는, 이미지센서들의 yaw, roll을 원활하게 한다. Housing 250 may be dome-shaped, cylindrical, or hemispherical as shown. The shape of the housing 250 and the arrangement of the first image sensor 211 and the second image sensor 212 facilitate the yaw and roll of the image sensors.

도5a 는 도3a 에 의한 카메라 모듈(200)의 방위각 변경 및 롤을 표현한 것이다. 도5b 는 도3a 에 의한 카메라 모듈(200)의 높이 변경 및 피치를 표현한 것이다. FIG. 5A is a diagram illustrating an azimuth change and a roll of the camera module 200 according to FIG. 3A . Figure 5b is a representation of the height change and pitch of the camera module 200 according to Figure 3a.

도5a 및 도5b 를 참조하면, 본 발명의 일 실시예에 의한 선박(20)용 어라운드뷰 장치는, 관측기둥(10)을 회전시켜 방위각을 제어하는 회전조절부(131); 및 선박(20)의 접안시 터미널의 선석(30)이 제2 서브시스템(220)의 FOV 내부에 위치하도록 회전조절부(131)를 구동하는 프로세서(110)를 포함한다. 5A and 5B, the around-view apparatus for a ship 20 according to an embodiment of the present invention includes a rotation control unit 131 for controlling an azimuth by rotating an observation column 10; and a processor 110 for driving the rotation control unit 131 so that the berth 30 of the terminal when the vessel 20 is docked is located inside the FOV of the second subsystem 220 .

본 발명의 일 실시예에 의한 선박(20)용 어라운드뷰 장치는, 링 구조체(260)의 피치, 롤 및 높이를 제어하는 위상조절부(132)를 포함하고, 프로세서(110)는, 선박(20)이 선석(30)에 근접할수록 카메라 모듈(200)이 선석(30)을 향하도록 위상조절부(132)를 구동한다. The around-view device for the vessel 20 according to an embodiment of the present invention includes a phase adjusting unit 132 for controlling the pitch, roll and height of the ring structure 260, and the processor 110 includes the vessel ( As the 20 ) approaches the berth 30 , the phase control unit 132 is driven so that the camera module 200 faces the berth 30 .

프로세서(110)는 회전조절부(131)와 위상조절부(132)를 구동하여, 카메라 서브시스템들의 앙각(low angle)을 변경할 수 있다. 프로세서(110)는 회전조절부(131)와 위상조절부(132)를 구동하여 카메라 모듈(200)의 방위각, 피치 및 롤을 제어한다. The processor 110 may drive the rotation control unit 131 and the phase control unit 132 to change low angles of the camera subsystems. The processor 110 controls the azimuth, pitch, and roll of the camera module 200 by driving the rotation control unit 131 and the phase control unit 132 .

추가로, 관측기둥(10)은 높이를 조절할 수 있고, 프로세서(110)는 관측기둥(10)의 높이를 조절할 수 있다. 위상조절부(132)는 3개의 엑추에이터로 이루어질 수 있고 각각의 높이를 조절하여 센서 조립체(161)의 피치, 롤을 구현할 수 있으며, 높이를 모두 높이거나 모두 줄여 카메라 모듈(200)의 높이를 조절할 수 있다. In addition, the observation column 10 may adjust the height, and the processor 110 may adjust the height of the observation column 10 . The phase adjusting unit 132 may be composed of three actuators and may implement the pitch and roll of the sensor assembly 161 by adjusting the height of each, and adjust the height of the camera module 200 by increasing or reducing all the heights. can

예를 들어, 선박(20)은 선석(30)에 매우 근접 배치되면 선석(30)은 선박(20)에 비하여 낮은 위치에 있다. 따라서, 프로세서(110)는 카메라 모듈(200)의 높이를 높이고, 롤 및 피치를 제어하여 카메라 모듈(200)이 선석(30)을 향하도록 할 수 있다. 이러한 방법은 스스로 접안이 어려운 대형 선박(20)이, 선석(30)과의 거리 정보를 예인선(Tug boat)에 제공할 수 있어 접안을 용이하게 한다. For example, when the vessel 20 is disposed very close to the berth 30 , the berth 30 is at a lower position than the vessel 20 . Accordingly, the processor 110 may increase the height of the camera module 200 and control the roll and pitch so that the camera module 200 faces the berth 30 . This method facilitates the berthing of the large vessel 20, which is difficult to berth by itself, can provide distance information with the berth 30 to the tug boat.

또한, 이러한 방식은 주시대상(수심이 낮은 지역, 다른 선박, 부위, 터미널의 선석(30) 등)에 고해상도 이미지센서(230)가 집중할 수 있도록 하여 지각 시스템(160)의 반응성, 응답성, 처리속도를 증가시킨다. In addition, this method allows the high-resolution image sensor 230 to focus on the target (low water depth area, other ships, parts, the berth 30 of the terminal, etc.), so that the reactivity, responsiveness, and processing of the perception system 160 Increase the speed.

각각의 이미지 센서를 위한 정확한 시야는 예를 들어, 센서 엘리먼트의 특징부들에 따라 변동될 수 있다. 예로서, 이미지 센서들(211및　212)은 대략 50° FOV들, 예컨대, 49° 내지 51°를 가질 수 있는 반면, 고해상도 이미지 센서(230)들은 대략 30° 또는 약간 초과, 예컨대, 5 내지 10% 초과인 FOV를 가질 수 있다. 이것은 인접한 이미지 센서들에 대한 FOV에서의 중첩을 허용한다. 중첩은 카메라 모듈(200)의 링 조립체의 중심으로부터의 선택된 거리인 지점에 대하여 측정될 수 있다. The exact field of view for each image sensor may vary depending on, for example, features of the sensor element. As an example, image sensors 211 and 212 may have approximately 50° FOVs, eg, 49° to 51°, while high resolution image sensors 230 , approximately 30° or slightly more, eg, 5 to 10 It can have a FOV that is greater than %. This allows for overlap in FOV for adjacent image sensors. The overlap may be measured for a point that is a selected distance from the center of the ring assembly of the camera module 200 .

다양한 이미지 센서들에 의해 생성된 화상에서의 심(seam)들이 바람직하지 않으므로, 중첩의 선택된 양이 유익하다. 추가적으로, 선택된 중첩은 프로세싱 시스템이 이미지들을 함께 스티칭(stitching)하는 것을 회피하는 것을 가능하게 한다. 이미지 스티칭은 기존의 파노라마 이미지 프로세싱에서 행해질 수 있지만, 선박(20)이 운전 모드에서 동작하고 있는 실시간 상황에서 행하는 것은 연산능력에 부담이 될 수 있다. 요구된 시간의 양 및 프로세싱 자원들을 감소시키는 것은 선박(20)이 운전할 때에 지각 시스템(160)의 응답성을 대폭 증대시킨다.A selected amount of overlap is beneficial, as seams in the image produced by the various image sensors are undesirable. Additionally, the selected overlap enables the processing system to avoid stitching the images together. Image stitching can be done in conventional panoramic image processing, but doing it in a real-time situation where the vessel 20 is operating in a driving mode can be a burden on computational power. Reducing the amount of time required and processing resources greatly increases the responsiveness of the perception system 160 when the vessel 20 is operating.

특히 상기와 같은 카메라 모듈(200)은 네트워크 케이블이 매우 긴 대형선박(20)에서 다수의 카메라 영상을 실시간으로 수집해 처리하는 속도를 향상시킨다. 따라서, 관성이 큰 대형 선박(20)의 경우 응답성/반응성이 증가한다. In particular, the camera module 200 as described above improves the speed of collecting and processing a number of camera images in real time in a large vessel 20 with a very long network cable. Accordingly, in the case of the large vessel 20 with large inertia, the responsiveness/reactivity increases.

본 발명에서 논의된 카메라 모듈(200)은 360° 가시성을 선박(20)의 지각 시스템(160)에 부여하도록 배열된 카메라들의 다수의 세트들을 제공한다. 중심 축 주위에서 링으로 배열된 다수의 카메라 모듈(200)들을 포함할 수 있는 카메라 모듈(200)은 LIDAR 및 레이더 센서들과 같은 다른 센서들을 갖는 하우징(250)에서 위치될 수 있다. 카메라 모듈(200)은 단일 유닛으로서 구성되므로, 카메라 모듈(200)은 용이하게 삽입될 수 있고, 센서 하우징(250)으로부터 제거될 수 있다. 이것은 개별적인 카메라 모듈(200)들의 수리 또는 교체를 신속하게 그리고 효율적으로 허용한다. 하나의 카메라 모듈(200)에서 이미지 센서들의 쌍들을 공동-위치시킴으로써, 그 이미지 센서들은 동일한 유효 시야를 가질 수 있다. The camera module 200 discussed herein provides multiple sets of cameras arranged to impart 360° visibility to the perception system 160 of the vessel 20 . A camera module 200 , which may include a number of camera modules 200 arranged in a ring around a central axis, may be positioned in a housing 250 with other sensors such as LIDAR and radar sensors. Since the camera module 200 is configured as a single unit, the camera module 200 can be easily inserted and removed from the sensor housing 250 . This allows for quick and efficient repair or replacement of individual camera modules 200 . By co-locating pairs of image sensors in one camera module 200, the image sensors can have the same effective field of view.

도6a 는 본 발명의 일 실시예에 의한 제1 카메라(410)의 기능 다이어그램이다. 도6b 는 본 발명의 일 실시예에 의한 제2 카메라(420)의 기능 다이어그램이다.6A is a functional diagram of a first camera 410 according to an embodiment of the present invention. 6B is a functional diagram of the second camera 420 according to an embodiment of the present invention.

도6a 및 도6b 를 참조하면, 본 발명의 일 실시예에 의한 야간항해용 어라운드뷰 장치는, 야간 항해를 위해 해상의 존재하는 광의 이미지를 생성하는 선박용 어라운드뷰 장치로서, 상부 갑판에 수직방향으로 세워진 관측기둥(10); 관측기둥(10)에 장착된 카메라 모듈(200); 및 카메라 모듈(200)에 의해 캡쳐된 물체의 이미지 및 위치를 표시하는 디스플레이(115)를 포함하고, 카메라 모듈(200)은, 선박(20) 주변 환경의 이미지들을 캡처하기 위해 장착되고, 제1 노출 시간을 갖고 중립 밀도(neutral density) 필터가 없는 제1 카메라(410); 선박(20) 주면 환경의 이미지들을 캡처하기 위해 장착되고, 제1 노출 시간 이상인 제2 노출 시간을 갖고 중립 밀도(neutral density) 필터를 구비한 제2 카메라(420); 및 프로세서(110)를 포함한다. 6A and 6B , the around-view device for night navigation according to an embodiment of the present invention is an around-view device for a ship that generates an image of light existing in the sea for night navigation, in a vertical direction to the upper deck. erected observation column (10); a camera module 200 mounted on the observation column 10; and a display 115 for displaying an image and a position of an object captured by the camera module 200, the camera module 200 being mounted to capture images of an environment surrounding the vessel 20, the first a first camera 410 with an exposure time and no neutral density filter; a second camera 420 mounted to capture images of the environment around the vessel 20 and having a second exposure time greater than or equal to the first exposure time and having a neutral density filter; and a processor 110 .

프로세서(110)는 제1 노출 시간 동안 제1 카메라(410)를 이용하여 선박(20) 주변 물체들의 이미지들을 캡처하고; 제2 노출 시간 동안 제2 카메라(420)를 이용하여 선박(20) 주변 물체들의 이미지들을 캡처하고; 제2 카메라(420)를 이용하여 캡처된 이미지들을 이용하여 광원을 갖는 물체들을 식별하고; 제1 카메라(410)를 이용하여 캡처된 이미지들을 이용하여 광원을 갖는 물체들의 위치들을 식별하고; 식별된 광원을 갖는 물체들 및 식별된 물체들의 위치들을 이용하여, 야간 항해시 광원을 갖는 물체와의 거리 및 이미지를 디스플레이(115)에 표시한다. The processor 110 captures images of objects around the vessel 20 using the first camera 410 during the first exposure time; capture images of objects around the vessel 20 using the second camera 420 during a second exposure time; identify objects having a light source using images captured using the second camera 420 ; identify locations of objects having a light source using images captured using the first camera 410; Using the objects with the identified light source and the positions of the identified objects, the distance to the object with the light source and the image are displayed on the display 115 during night navigation.

본 발명은 선박(20)의 야간 항해시 선박(20)주위 환경에서 검출된 정보에 기초하여, 회피대상과 주의 대상에 대한 정보를 제공할 수 있다. 그러한 정보는 선박(20)에 장착된 하나 이상의 카메라를 이용하여 검출될 수 있다. 일반적으로 그러한 카메라들은 장면 내의 광이 강할 때 매우 짧은 노출 시간들을 이용하여, 장면이 과다 노출(일부 또는 모든 컬러들이 포화되거나, 컬러를 왜곡시키거나, 이미지의 부분들이 단지 백색임)되지 않도록 하고 또한 주변 조명 조건들을 최상으로 캡처하기 위해 카메라 구성을 빠르게 조정한다. 그러나, 조명된 물체들의 경우에, 인간의 눈에는 끊김 없는 연속 광이 보일 수 있지만, 실제로는 전력 그리드의 주파수 또는 광이 PWM을 이용하는지 여부에 따라 많은 조명된 물체들이 사실은 깜박거린다. 이들 카메라가 짧은 광 펄스, 즉 매우 짧은 양의 시간 동안에 짧은 온 기간과 더 긴 오프 기간 둘 다를 갖는 펄스를 갖는 무언가를 샘플링한다면, 수 마이크로초의 시간 범위 내에 해당 광 펄스를 이미징할 가능성은 낮다. The present invention may provide information on an object of avoidance and an object of attention based on information detected in the environment around the ship 20 during night voyage of the ship 20 . Such information may be detected using one or more cameras mounted on the vessel 20 . Generally such cameras use very short exposure times when the light in the scene is strong so that the scene is not overexposed (some or all colors are saturated, colors are distorted, or parts of the image are just white) and also Quickly adjust camera configuration to best capture ambient lighting conditions. However, in the case of illuminated objects, although the human eye may see a continuous continuous light, in reality many illuminated objects will actually blink depending on the frequency of the power grid or whether the light uses PWM. If these cameras sample something that has short light pulses, i.e. pulses with both short on and longer off periods for a very short amount of time, it is unlikely to image those light pulses within the time range of a few microseconds.

이 문제를 해결하기 위해, 카메라들 중 하나 이상의 카메라의 노출 시간은 전력 그리드뿐만 아니라 PWM 광들, 예컨대, 선박(20)의 마스트에 설치되는 마스트등(masthead light), 선박(20)의 좌우 현에 설치된 현등(side light, 좌측은 붉은등 우측은 녹색등이다), 선미에 설치되고 백색등인 선미등(stern light)에 사용되는 것들 모두의 기간을 커버할 정도로 충분한 기간으로 조정될 수 있다.To solve this problem, the exposure time of one or more of the cameras is not only applied to the power grid but also to PWM lights, eg, a masthead light installed on the mast of the ship 20 , the left and right chords of the ship 20 . It can be adjusted to a duration sufficient to cover the duration of both installed side lights (red lights on the left and green lights on the right), those used for stern lights and stern lights that are white lights.

선박(20) 또한 카메라에는, ND(neutral density) 광학 필터 또는 컬러 색조를 추가하고 따라서 반드시 "중간색(neutral)"은 아닌 것들과 같이 광을 상당히 차단하는 다른 차광 필터(darkening filter)와 같이 렌즈에 도달하는 광량을 대폭 감소시키는 필터가 구비될 수 있다. 따라서, ND 필터를 사용하는 아래의 예들 중 임의의 것은 그러한 차광 필터들로 대체될 수 있다.Vessel 20 also has a camera on the lens, such as a neutral density (ND) optical filter or other darkening filter that adds a color tint and thus blocks light significantly, such as those that are not necessarily "neutral". A filter that significantly reduces the amount of light reaching may be provided. Accordingly, any of the examples below using an ND filter may be replaced with such light blocking filters.

사용되는 필터는 특정 노출 시간 동안 균형 잡힌 광량에 도달하기 위해 선택될 수 있다. 그러한 필터들은 이 시간 범위를 훨씬 더 길게 만드는 데 도움이 될 수 있고 따라서 전술한 짧은 펄스들을 이미징할 가능성은 급격히 증가한다.The filter used can be selected to arrive at a balanced amount of light for a specific exposure time. Such filters can help to make this time span much longer, thus dramatically increasing the likelihood of imaging the short pulses described above.

이 특징들의 조합은 ND 필터들 및 더 긴 노출 시간들을 갖는 하나 이상의 카메라가 인간의 눈에 보이는 것에 더 가까운 이미지들을 캡처할 수 있게 한다. 그에 따라, ND 필터 및 노출 시간을 갖는 카메라에 의해 캡처된 이미지들은, 이들 특징이 없는 다른 카메라들로 캡처된 이미지들보다, 인간의 눈이 분간할 수 없는 속도로 깜박거리는 각종 선등, 경고등, 해상 구조물에 설치된 조명의 색상, 방향, 위치등을 식별하는 데 더 신뢰할 만할 수 있다. 이는 결국 조명된 물체들을 식별하는 것을 훨씬 더 간단한 작업으로 만들고 깜박거리는 조명들이 조명되지 않는 것으로 잘못 식별되는 상황들을 피할 것이다. 더욱이, 이미지들 중 일부가 동시에 2개의 상이한 카메라에 의해 촬영될 수 있어서, 이미지들을 정렬시키고 그들 사이에 물체들을 매칭시키는 것 등을 하는 것이 상당히 더 간단해진다. The combination of these features allows one or more cameras with ND filters and longer exposure times to capture images closer to what the human eye sees. Accordingly, images captured by a camera with an ND filter and exposure time are better than images captured by other cameras without these features, including various lights, warning lights, and maritime lights that flicker at a rate that the human eye cannot discern. It can be more reliable in identifying the color, direction, and location of lights installed on structures. This will in turn make identifying illuminated objects a much simpler task and avoid situations where flickering lights are incorrectly identified as unilluminated. Moreover, some of the images can be taken by two different cameras at the same time, making aligning the images, matching objects between them, etc., considerably simpler.

도시된 바와 같이, 카메라는, 포토다이오드 세트의 동작을 통신 및 제어할 수 있는, 프로세서들과 유사하게 구성된, 하나 이상의 프로세서를 포함할 수 있는 컨트롤러(411, 421)를 포함한다. 이 구성에서, 카메라에 들어가는 광은 포토다이오드에 도달하기 전에 하나 이상의 필터(415, 425, 427)를 통과한다. 이 예에서, 필터는 적외선 광의 또는 그에 가까운 파장들을 차단하거나 필터링하기 위해 근적외선 필터일 수 있다. 다른 추가적인 필터들이 사용될 수도 있다.As shown, the camera includes a controller 411 , 421 , which may include one or more processors, configured similarly to processors, capable of communicating and controlling the operation of the photodiode set. In this configuration, light entering the camera passes through one or more filters 415 , 425 , 427 before reaching the photodiode. In this example, the filter may be a near-infrared filter to block or filter wavelengths of or near infrared light. Other additional filters may be used.

카메라의 동작은 인식 시스템이 선박(20)의 주위 환경의 이미지들을 캡처하는 것뿐만 아니라 발광 물체들뿐만 아니라 비발광 물체들을 처리 및 식별하는 것을 가능하게 할 수 있다. 위에 언급한 바와 같이, 인식 시스템에 그러한 물체들의 가장 유용한 이미지들을 제공하기 위해, 카메라의 노출 시간은 매우 짧도록 선택될 수 있다. 예를 들어, 야간이라도 상대적으로 밝은 경우라면, 카메라를 이용하여 이미지들을 캡처할 때의 주변 조명은 상대적으로 밝고, 따라서 선택되는 노출 시간은 상대적으로 짧게 설정된다.Operation of the camera may enable the recognition system to capture images of the surrounding environment of the vessel 20 as well as process and identify luminescent as well as non-luminous objects. As mentioned above, in order to provide the recognition system with the most useful images of such objects, the exposure time of the camera may be chosen to be very short. For example, if it is relatively bright even at night, the ambient light when capturing images using the camera is relatively bright, so the exposure time selected is set relatively short.

일부 경우에, 카메라는 인식 시스템 및/또는 컴퓨팅 디바이스(100)들이 비-방출성(빛 노출 이미지를 이용하여) 및 광 방출성 물체들의 어둠 노출 이미지 모두를 식별할 수 있게 하기 위해 "빛" 노출 이미지들 및 "어둠" 노출 이미지들 모두를 캡처하기 위해 사용될 수 있다. 그렇게 하기 위해, 이미지를 컨트롤러(411, 421)에 의해 처리하여, 예를 들어, 셔터 시간에 대한 로그 제어 및 이득 값에 대한 선형 제어를 이용하여, 환경 내의 평균 광량(미리 결정된 범위 내)을 캡처하기 위한 노출 값을 결정한다. 이 노출 값은 그 후 빛 노출 이미지를 캡처하기 위해 사용된다. 그 후 동일한 카메라를 이용하여 어둠 노출 이미지를 캡처하기 위해 셔터 시간 및 이득과 같은 하나 이상의 카메라 설정에 고정된 오프셋 값이 추가(또는 곱하기 위해 사용)될 수 있다. In some cases, the camera exposes “light” to enable recognition systems and/or computing devices 100 to identify both non-emissive (using light-exposed images) and dark-exposed images of light-emissive objects. It can be used to capture both images and "dark" exposure images. To do so, the images are processed by controllers 411 , 421 to capture the average amount of light (within a predetermined range) within the environment, using, for example, logarithmic control over shutter time and linear control over gain values. Determine the exposure value for This exposure value is then used to capture the light exposure image. A fixed offset value may then be added (or used to multiply) one or more camera settings, such as shutter time and gain, to capture a dark exposure image using the same camera.

카메라의 노출 시간은 주변 조명 조건들에 따라 가변적이다. 여기서 상한 한계는 움직이는 선박(20)에서 카메라가 사용되는 것에 의해 야기되는 모션 블러를 제한하기 위해 유용할 수 있다.The exposure time of the camera is variable depending on the ambient lighting conditions. An upper limit here may be useful to limit motion blur caused by the use of a camera on a moving vessel 20 .

언급한 바와 같이, 카메라가 매우 짧은 광 펄스를 갖는 물체의 이미지를 샘플링하려고 시도하고 있다면, 수 마이크로초의 시간 범위 내에 해당 광 펄스를 이미징할 가능성은 낮다. PWM 광들은 또한, 전형적으로 대략 10%의 온-분율(on-fraction)로 약 100-110Hz의 주파수들에서 동작하는 매우 짧은 광 펄스들을 가진다.As mentioned, if the camera is trying to sample an image of an object with very short light pulses, it is unlikely to image those light pulses within a time range of a few microseconds. PWM lights also have very short light pulses that operate at frequencies of about 100-110 Hz, typically with an on-fraction of about 10%.

도7 은 본 발명의 일 실시예에 의한 대표적인 노출 시간들 및 광 펄스들의 예시적인 차트이다.7 is an exemplary chart of representative exposure times and light pulses in accordance with an embodiment of the present invention.

도7 을 참조하면, 선등이 10% 온-분율로 100Hz의 주파수를 사용한다면, 1 밀리초의 광의 펄스가 방출되고, 이어서 광이 없는 9 밀리초가 뒤따르고, 그 후 다른 1 밀리초의 광, 광이 없는 9 밀리초가 뒤따르고, 등등이다. 따라서, 카메라가 노출을 캡처하는 때에 따라, 1 밀리초 동안에 광이 이미지에서 나타날 것이고, 다음 9에서는, 선등으로부터의 광이 없을 것이다. 다시, 이는 단일 또는 작은 이미지 세트로부터 선등의 상태를 결정하는 것을 어렵게 만들고 일부 경우에는 불가능하게 만든다. 그에 따라, 카메라는 또한 그러한 펄스 조명된 광들을 캡처하기 위해 사용될 수 있다.Referring to Fig. 7, if the lamp uses a frequency of 100 Hz with 10% on-fraction, a pulse of 1 millisecond of light is emitted, followed by 9 milliseconds without light, then another 1 millisecond of light, light followed by missing 9 milliseconds, and so on. So, depending on when the camera captures the exposure, light will appear in the image for 1 millisecond, and in the next 9, there will be no light from the beam. Again, this makes it difficult and in some cases impossible to determine the state of a ray lamp from a single or small set of images. Accordingly, the camera may also be used to capture such pulsed illuminated lights.

도6a 및 도6b 에 도시된 바와 같이, 카메라(410, 420)는 포토다이오드 세트의 동작을 통신 및 제어할 수 있는, 제1 이미지 컨트롤러(411) 및 제2 이미지 컨트롤러(421)를 포함한다. 이 구성에서, 카메라에 들어가는 광은 포토다이오드에 도달하기 전에 하나 이상의 필터를 통과한다. 이 예에서, 제1 필터(415, 425)는 적외선 광의 또는 그에 가까운 파장들을 차단하거나 필터링하기 위해 근적외선 필터일 수 있고, 제2 필터(427)는 ND 필터일 수 있다. ND 필터는 특정한 시간 프레임에 카메라의 노출 시간을 튜닝하기 위해 선택될 수 있다. 예를 들어, 도6b 의 카메라(420)에 대한 10 밀리초 노출 시간을 달성하기 위해, ~1% ND 필터가 사용될 수 있다. 이는 도6b 의 카메라(420)가 도6a 의 카메라(410)로부터의 노출 시간을 대략 100배 이상 또는 이하만큼 효과적으로 증가시키면서도 선박(20)의 환경의 유용한 이미지들을 제공할 수 있게 한다. 이와 관련하여, 원하는 노출 시간은 ND 필터의 유형을 결정하기 위해 사용될 수 있다.As shown in FIGS. 6A and 6B , the cameras 410 and 420 include a first image controller 411 and a second image controller 421 capable of communicating and controlling the operation of the photodiode set. In this configuration, light entering the camera passes through one or more filters before reaching the photodiode. In this example, the first filters 415 and 425 may be near-infrared filters to block or filter wavelengths of or near infrared light, and the second filters 427 may be ND filters. The ND filter can be selected to tune the exposure time of the camera to a specific time frame. For example, to achieve a 10 millisecond exposure time for camera 420 of FIG. 6B, a ˜1% ND filter may be used. This enables the camera 420 of FIG. 6B to provide useful images of the environment of the vessel 20 while effectively increasing the exposure time from the camera 410 of FIG. 6A by approximately 100 times or more or less. In this regard, the desired exposure time may be used to determine the type of ND filter.

제2 카메라(420)는 제2 포토다이오드 세트(423); 광이 제2 포토다이오드 세트에 도달하기 전에 광을 필터링하도록 배열된 ND 필터(427); 이미지를 캡처하기 위해 적어도 5 밀리초의 고정된 노출 시간을 이용하여 포토다이오드 세트를 노출시키도록 구성된 제2 이미지 컨트롤러(421); 및 광이 제2 포토다이오드 세트에 도달하기 전에 광을 필터링하도록 배열된 근적외선 필터((425);를 포함하고, 노출 시간은 제2 카메라(420)가 노출 시간 동안 PWM 광원으로부터 광을 캡처할 수 있게 하고, PWM 광은 선박(20)의 환경 내에 위치한다. The second camera 420 includes a second photodiode set 423; an ND filter 427 arranged to filter the light before it reaches the second set of photodiodes; a second image controller 421 configured to expose the photodiode set using a fixed exposure time of at least 5 milliseconds to capture an image; and a near-infrared filter (425) arranged to filter the light before the light reaches the second set of photodiodes, the exposure time being such that the second camera (420) captures light from the PWM light source during the exposure time. and the PWM light is located within the environment of the vessel 20 .

제2 카메라(420)는 제2 포토다이오드 세트(423); 광이 제2 포토다이오드 세트에 도달하기 전에 광을 필터링하도록 배열된 ND 필터(427); 이미지를 캡처하기 위해 적어도 5 밀리초의 고정된 노출 시간을 이용하여 제2 포토다이오드 세트를 노출시키도록 구성되는 제2 이미지 컨트롤러(421); 및 광이 제2 포토다이오드 세트에 도달하기 전에 광을 필터링하도록 배열된 근적외선 필터((425); 를 포함하고, 노출 시간은 제2 카메라(420)가 광원에 전력을 공급하는 전력 그리드에 의해 정의된 레이트로 깜박거리는 광원으로부터의 광을 캡처할 수 있게 하고, 광원은 선박(20)의 환경 내에 위치한다. The second camera 420 includes a second photodiode set 423; an ND filter 427 arranged to filter the light before it reaches the second set of photodiodes; a second image controller 421 configured to expose a second set of photodiodes using a fixed exposure time of at least 5 milliseconds to capture an image; and a near-infrared filter (425) arranged to filter the light before it reaches the second set of photodiodes; the exposure time being defined by the power grid from which the second camera (420) powers the light source. It allows capturing light from a light source that blinks at a given rate, where the light source is located within the environment of the vessel 20 .

ND 필터를 사용하는 것은 추가 광을 필터링 제거함으로써 더 긴 노출 시간을 허용한다. 다시 말해서, 카메라의 노출 시간은 카메라보다 훨씬 더 크면서도 물체들의 유용한 이미지들을 캡처할 수 있다. 예로서, 노출 시간은 예를 들어 1 내지 20 밀리초 또는 그 사이의 시간들, 예컨대 적어도 5 또는 10 밀리초와 같은, 대략 수 밀리초일 수 있다. Using an ND filter allows longer exposure times by filtering out additional light. In other words, the exposure time of a camera is much larger than that of a camera, yet it can capture useful images of objects. As an example, the exposure time may be on the order of a few milliseconds, such as, for example, between 1 and 20 milliseconds or times in between, such as at least 5 or 10 milliseconds.

선등은 좌현, 우현, 두개의 마스터등 과 같이 복수의 등(light)을 포함한다. 이러한 등의 위치와 색상을 통해 다른 선박의 진행방향과 위치를 알수 있다. The lead light contains multiple lights, such as port, starboard, and two master lights. Through the position and color of these lights, you can know the direction and position of other ships.

도8 은 본 발명의 일 실시예에 의한 카메라를 이용하여 선등을 촬영할 경우, 헤일로가 존재하지 않는 예시적인 이미지를 표현한 것이다. 8 illustrates an exemplary image in which a halo does not exist when a line lamp is photographed using a camera according to an embodiment of the present invention.

대략 수 밀리초의 더 긴 노출 시간을 이용하여 얻은 야간 선박(20)의 선등으로부터 녹색, 적색, 백색으로 조명되는 선등의 이미지를 얻을 수 있다. ND 필터 없이 캡처되는 경우, 헤일로와 함께 표현되는 반면, 도6b와 같은 카메라를 이용하여 ND 필터를 사용할 경우, ND 필터는 광의 컬러를 보존하고, 선등의 색상을 식별하는데 필요하지 않은 추가 광을 제거한다. From the headlamp of the night vessel 20 obtained using a longer exposure time of approximately several milliseconds, an image of the line lamp illuminated in green, red and white can be obtained. When captured without an ND filter, it is rendered with a halo, whereas when using an ND filter using a camera as in Figure 6b, the ND filter preserves the color of the light and removes additional light that is not needed to identify the color of the line light. do.

도10 은 도9 에 의한 선박(20)의 예상된 궤적(63)에 기초한 카메라 모듈(200)의 시야를 표현한 것이다. 도11 은 본 발명의 다른 실시예에 의한 카메라 모듈(200)의 방위를 조정하는 흐름도이다. FIG. 10 is a representation of the field of view of the camera module 200 based on the expected trajectory 63 of the vessel 20 according to FIG. 9 . 11 is a flowchart for adjusting the orientation of the camera module 200 according to another embodiment of the present invention.

도10 및 도11 을 참조하면, 본 발명의 일 실시예에 의한 선박(20)의 입항 및 접안을 어시스트하는 어라운드뷰 시스템은, 선박(20)이 접안 또는 입항을 위해 턴을 하고 있을 때 카메라 모듈(200)의 방위를 조정하기 위한 장치로서, 상부 갑판에 수직방향으로 세워진 관측기둥(10); 관측기둥(10)에 장착된 카메라 모듈(200); 명령어들을 저장하도록 구성된 메모리(120); 메모리(120)와 통신하며 카메라 모듈(200)의 회전 각도(방위각, 피치 및 롤)을 제어하는 프로세서(110); 및 카메라 모듈(200)이 캡쳐한 이미지를 표시하는 디스플레이(115)를 포함하고, 프로세서(110)는 명령어들을 실행하여 턴에 들어가기 전의 선박(20)의 원래 헤딩(61)과 해도 및 목적지를 기초로 선박(20)의 예상된 궤적(63)을 나타내는 정보를 수신하고; 선박(20)의 원래 헤딩(61) 및 선박(20)의 예상된 궤적(63)에 기초하여, 선박(20)이 수행할 것으로 예상되는 턴의 각도들을 결정하고; 선박(20)이 수행할 것으로 예상되는 턴의 각도들에 기초하여 카메라 모듈(200)의 회전 각도들을 결정하고; 선박(20)이 수행할 것으로 예상되는 턴의 각도들에 대응하는 카메라 모듈(200)의 회전 각도들로 카메라 모듈(200)을 회전시킴으로써 선박(20)에 대한 카메라 모듈(200)의 방위를 초기 방위로부터 업데이트된 방위로 조정하고, 조정은 선박(20)이 턴을 하기 전의 미리 결정된 거리에서 개시한다. Referring to FIGS. 10 and 11 , the around-view system assisting the port entry and berthing of the vessel 20 according to an embodiment of the present invention is a camera module when the vessel 20 is turning for berthing or port entry. As a device for adjusting the orientation of (200), the observation column (10) erected in the vertical direction on the upper deck; a camera module 200 mounted on the observation column 10; a memory 120 configured to store instructions; a processor 110 communicating with the memory 120 and controlling the rotation angle (azimuth, pitch, and roll) of the camera module 200; and a display 115 for displaying an image captured by the camera module 200, wherein the processor 110 executes the instructions based on the original heading 61 and the chart and destination of the vessel 20 before entering the turn receive information indicative of an expected trajectory 63 of the raw vessel 20; determine, based on the original heading 61 of the vessel 20 and the expected trajectory 63 of the vessel 20 , the angles of a turn the vessel 20 is expected to perform; determine rotation angles of the camera module 200 based on the angles of a turn that the vessel 20 is expected to perform; The orientation of the camera module 200 with respect to the ship 20 is initially set by rotating the camera module 200 at rotation angles of the camera module 200 corresponding to the angles of the turn expected to be performed by the ship 20 . Adjust from bearing to updated bearing, and adjustment begins at a predetermined distance before vessel 20 makes a turn.

이 예에서, 하나 이상의 컴퓨팅 디바이스(100)는 턴을 하기 전의 선박(20)의 원래 헤딩(61) 및 선박(20)의 현재 헤딩을 수신할 수 있다. 하나 이상의 컴퓨팅 디바이스(100)는, 선박(20)의 원래 헤딩(61) 및 선박(20)의 현재 헤딩에 기초하여, 선박(20)이 수행하고 있는 턴의 각도를 결정할 수 있다. 하나 이상의 컴퓨팅 디바이스(100)는 카메라 모듈(200) 회전 각도를 결정하고, 카메라 모듈(200)을 카메라 모듈(200) 회전 각도만큼 회전시킴으로써 선박(20)에 대한 카메라 모듈(200)의 방위를 업데이트된 방위로 조정할 수 있다. 하나 이상의 컴퓨팅 디바이스(100)는 카메라 모듈(200)의 업데이트된 방위에 대응하는 비디오를 생성하고 디스플레이(115) 상에 비디오를 디스플레이(115)할 수 있다.In this example, the one or more computing devices 100 may receive the original heading 61 of the vessel 20 and the current heading of the vessel 20 prior to the turn. The one or more computing devices 100 may determine the angle of the turn that the vessel 20 is making based on the original heading 61 of the vessel 20 and the current heading of the vessel 20 . The one or more computing devices 100 determine an angle of rotation of the camera module 200 and update the orientation of the camera module 200 with respect to the vessel 20 by rotating the camera module 200 by the angle of rotation of the camera module 200 . It can be adjusted to the specified direction. The one or more computing devices 100 may generate a video corresponding to the updated orientation of the camera module 200 and display 115 the video on the display 115 .

도1 을 다시 참조하면, 실시예에 따라 카메라 모듈(200)은 주시영역(71) 및 보조 영역(73)을 동시에 촬영할 수 있고, 예상 궤적을 따라 변경되는 카메라 모듈(200)의 위치, 방위, 시야는 주시영역(71)의 방향을 지칭하는 것일 수 있다. 즉, 주시영역(71)과 보조 영역(73)은 함께 이동하며, 예상 궤적을 따라 이동하는 시야는 고해상도 영역(주시영역), 그외 영역은 저 해상도 영역(보조 영역)일 수 있다. Referring back to FIG. 1 , according to an embodiment, the camera module 200 may photograph the gaze area 71 and the auxiliary area 73 simultaneously, and the position, orientation, The field of view may refer to the direction of the gaze area 71 . That is, the gaze area 71 and the auxiliary area 73 move together, and the field of view moving along the expected trajectory may be a high-resolution area (gazing area), and other areas may be a low-resolution area (auxiliary area).

이하, 설명의 편의를 위해 주시영역(71, 고해상도 영역)을 카메라 모듈(200)의 시야라로 한다. Hereinafter, for convenience of description, the gaze region 71 (high-resolution region) is referred to as a field of view of the camera module 200 .

본 기술은 일반적으로 선박(20)의 환경에 관한 정보를 운행자 및 관련자에게 제공하는 것에 관한 것이다. 이는, 예를 들어, 선박(20)이 턴을 하고 있을 때 카메라 모듈(200)의 위치 및 방위를 조정하는 것을 포함할 수 있다. 예를 들어, 선박(20)이 턴을 수행함에 따라 카메라 모듈(200)의 위치는 선박(20)의 예상된 헤딩에 대응하는 조정된 시야 내의 비디오를 제시하기 위해 선박(20) 주위로 회전될 수 있다. 이와 관련하여, 선박(20) 내의 컴퓨팅 디바이스(100)는 선박(20)의 주변 및 위치에 대응하는 정보를 카메라 시스템에 송신할 수 있다. 카메라 시스템은, 수신된 정보에 기초하여, 수신된 데이터(123)를 이용하여 카메라 모듈(200)의 관점을 변경하여 비디오를 생성할 수 있다. 비디오는 선박(20)의 예상된 궤적(63)과 검출된 물체들을 선박(20)이 운항하고 있는 루트에 대응하는 맵 상에 오버레이함으로써 생성될 수 있다.The present technology relates generally to providing information about the environment of the vessel 20 to operators and related parties. This may include, for example, adjusting the position and orientation of the camera module 200 when the vessel 20 is turning. For example, as the vessel 20 performs a turn, the position of the camera module 200 may be rotated around the vessel 20 to present video within the adjusted field of view corresponding to the expected heading of the vessel 20 . can In this regard, the computing device 100 in the vessel 20 may transmit information corresponding to the surroundings and location of the vessel 20 to the camera system. The camera system may generate a video by changing the viewpoint of the camera module 200 using the received data 123 based on the received information. The video may be generated by overlaying the predicted trajectory 63 of the vessel 20 and the detected objects on a map corresponding to the route the vessel 20 is navigating.

카메라 모듈(200)의 턴각은 선박(20) 턴의 각도에 기초할 수 있다. 카메라 시스템은 선박(20)이 턴 전에 운항하고 있던 헤딩에 대해, 선박(20)이 수행하고 있는 턴의 각도를 회전 테이블에 입력하고 카메라 모듈(200)이 회전될 수 있는 대응하는 카메라 모듈(200) 회전 각도를 출력할 수 있다. 카메라 시스템은 선박(20)이 턴을 통해 진행함에 따라 카메라 모듈(200) 회전 각도를 계속적으로 업데이트할 수 있다.The turn angle of the camera module 200 may be based on the turn angle of the ship 20 . The camera system inputs the angle of the turn the ship 20 is performing with respect to the heading that the ship 20 was operating before the turn into the turn table and the corresponding camera module 200 in which the camera module 200 can be rotated. ) can output the rotation angle. The camera system may continuously update the rotation angle of the camera module 200 as the vessel 20 proceeds through the turn.

카메라 시스템은 선박(20)의 예상된 궤적(63)에 기초하여 선박(20)의 다가오는 턴의 예상된 각도를 결정하고, 선박(20)이 턴을 하기 전에 미리 결정된 거리에서 카메라 모듈(200)을 회전시키기 시작할 수 있다. 예를 들어, 카메라 시스템은 다가오는 턴으로부터의 선박(20)의 거리 및 선박(20)이 수행할 턴의 예상된 각도들을 결정할 수 있다. 예상된 턴이 미리 결정된 거리 이하에 있는 것으로 결정되면, 카메라 시스템은 턴의 예상된 각도들에 대응하는 카메라 모듈(200) 회전 각도들을 통해 카메라 모듈(200)을 회전시키기 시작할 수 있다.The camera system determines an expected angle of the oncoming turn of the vessel 20 based on the expected trajectory 63 of the vessel 20 and the camera module 200 at a predetermined distance before the vessel 20 makes the turn. can start to rotate. For example, the camera system may determine the distance of the vessel 20 from an oncoming turn and the expected angles of the turn that the vessel 20 will perform. If it is determined that the expected turn is less than or equal to the predetermined distance, the camera system may begin rotating the camera module 200 through camera module 200 rotation angles corresponding to the expected angles of the turn.

카메라 모듈(200)은 선박(20)이 정지되어 있거나 정지할 것으로 예상될 때 정지 상태로 유지될 수 있다. 예를 들어, 카메라 모듈(200)은 선박(20)의 예상된 궤적(63)이 선박(20)이 입항, 정박, 접안하거나 선석(30)을 향하거나, 교각등을 통과할 것으로 예상하는 것을 결정할 수 있다. 그에 따라, 선박(20)이 주시대상으로 정해진 지역을 발견하면, 카메라 모듈(200)은 주시대상을 향해 고정하고, 카메라 모듈(200)은 회전하지 않을 수 있다. The camera module 200 may remain stationary when the vessel 20 is stationary or is expected to stop. For example, the camera module 200 predicts that the expected trajectory 63 of the vessel 20 is expected that the vessel 20 enters port, anchors, berths, faces the berth 30, or passes through a pier. can decide Accordingly, when the ship 20 finds an area designated as the gaze target, the camera module 200 may be fixed toward the gaze target, and the camera module 200 may not rotate.

카메라 모듈(200)의 높이 및 피치는 또한 선박(20)의 주변을 더 캡처하도록 조정될 수 있다. 예를 들어, 선박(20)이 매우 낮은 주시대상(부표, 선석(30) 등)과 근접할 때, 카메라 모듈(200)의 피치는 주시대상을 향해 아래로 선박(20)을 보도록 조정될 수 있다. 그 후 카메라 모듈(200)은 선박(20)의 모든 측면들에서의 선박(20)의 주변의 이미지를 포함하는 비디오를 생성할 수 있다. The height and pitch of the camera module 200 may also be adjusted to further capture the perimeter of the vessel 20 . For example, when the vessel 20 is close to a very low gaze target (buoy, berth 30, etc.), the pitch of the camera module 200 may be adjusted to look the vessel 20 downward toward the gaze target. . The camera module 200 may then generate a video comprising images of the vessel 20's surroundings from all sides of the vessel 20 .

위에서 설명된 특징들은 자율주행 선박과 같은 선박이 선박의 궤적 및 주변의 비디오를 그의 항해사 또는 도선사에게 제공하는 것을 가능하게 할 수 있다. 비디오를 생성하는 카메라 모듈(200)을 회전시킴으로써, 항해사 또는 도선사에게는 선박(20)의 예상된 궤적(63) 또는 그 예상된 궤적(63)을 따라 추가로 위치하는 주변에 관한 정보가 제공된다. 또한, 선박(20)의 궤적 및 주변의 비디오는 선박(20)의 외부에 위치하는 다른 선박(예를 들면, 예인선(40))에게 제공되어 그들에게 비디오를 제공할 수 있다.The features described above may enable a vessel, such as an autonomous vessel, to provide a video of the vessel's trajectory and surroundings to its navigator or pilot. By rotating the camera module 200 that generates the video, the navigator or pilot is provided with information about the expected trajectory 63 of the vessel 20 or the surroundings further located along the expected trajectory 63 . Also, the video of the trajectory and surroundings of the vessel 20 may be provided to other vessels (eg, tugs 40 ) located outside of the vessel 20 to provide them with the video.

선박(20)의 원래 헤딩(61)은 프로세서(110)에 의해 선박(20)의 위치결정 시스템(170)으로부터 수신되고, 선박(20)의 예상된 궤적(63)은 프로세서(110)에 의해 선박(20)의 네비게이션 시스템(140)으로부터 수신된다. The original heading 61 of the vessel 20 is received from the positioning system 170 of the vessel 20 by the processor 110 , and the expected trajectory 63 of the vessel 20 is determined by the processor 110 . received from the navigation system 140 of the vessel 20 .

카메라 모듈(200)이 선박(20) 주위로 회전하는 거리는 선박(20)이 수행하고 있는 턴의 각도에 기초할 수 있다. 선박(20)이 수행하고 있는 턴의 각도는 선박(20)이 턴을 수행하기 전에 원래 있던 원래 헤딩(61)과 선박(20)이 현재 있는 현재 헤딩 사이의 각도 차이를 측정함으로써 결정될 수 있다. 원래 헤딩(61) 및 현재 헤딩은 선박(20)의 네비게이션 시스템(140) 및 위치결정 시스템(170)에 의해 제공될 수 있다.The distance at which the camera module 200 rotates around the vessel 20 may be based on the angle of the turn the vessel 20 is performing. The angle of the turn that the vessel 20 is performing may be determined by measuring the difference in angle between the original heading 61 , which was originally present before the vessel 20 performs the turn, and the current heading at which the vessel 20 is present. The original heading 61 and the current heading may be provided by the navigation system 140 and the positioning system 170 of the vessel 20 .

카메라 시스템은 선박(20)이 수행하고 있는 턴의 각도를 회전 테이블에 입력할 수 있다. 회전 테이블은 턴의 각도를 카메라 모듈(200) 회전 각도에 매핑할 수 있다. 예를 들어, 회전 테이블에 입력된 턴의 각도는 90°일 수 있고, 회전 테이블은 그 90° 각도를 45° 카메라 모듈(200) 회전에 매핑할 수 있다. 그 후 카메라 시스템은 카메라 모듈(200)을 카메라 모듈(200) 회전 각도만큼 회전시킬 수 있고, 그에 의해 카메라 모듈(200)의 시야도 카메라 모듈(200) 회전 각도만큼 회전하게 한다.The camera system may input the angle of the turn the ship 20 is performing into the turn table. The rotation table may map the angle of the turn to the rotation angle of the camera module 200 . For example, the angle of a turn input to the rotation table may be 90°, and the rotation table may map the 90° angle to the rotation of the camera module 200 by 45°. Thereafter, the camera system may rotate the camera module 200 by the rotation angle of the camera module 200 , thereby causing the field of view of the camera module 200 to also rotate by the rotation angle of the camera module 200 .

선박(20)이 턴을 통해 진행함에 따라, 카메라 시스템은 카메라 모듈(200) 회전 각도를 계속적으로 업데이트할 수 있다. 예를 들어, 턴을 완료하기 위해, 선박(20)은 0° - 90° 이상 또는 이하와 같은 일련의 각도들을 통해 진행한다.As the vessel 20 proceeds through the turn, the camera system may continuously update the rotation angle of the camera module 200 . For example, to complete a turn, the vessel 20 advances through a series of angles, such as 0° - 90° above or below.

카메라 시스템은 선박(20)이 턴에 들어가기 전에 운항하고 있던 헤딩에 대해 선박(20)이 현재 수행하고 있는 턴의 각도에 기초하여 카메라 모듈(200) 회전 각도를 계속적으로 조정할 수 있다. 이와 관련하여, 카메라 시스템은 턴의 각도에 기초하여 카메라 모듈(200) 회전 각도를 계속적으로 계산함으로써 실질적으로 실시간으로 카메라 모듈(200) 회전 각도를 업데이트할 수 있다. 예를 들어, 선박(20)은 초기 헤딩에서 예상된 궤적(63)을 따라 운항중일 수 있고 카메라 모듈(200)은 제1 시야로 디폴트 위치에 위치될 수 있다.The camera system may continuously adjust the rotation angle of the camera module 200 based on the angle of the turn currently being performed by the vessel 20 with respect to the heading the vessel 20 was operating before entering the turn. In this regard, the camera system may update the rotation angle of the camera module 200 in substantially real time by continuously calculating the rotation angle of the camera module 200 based on the angle of the turn. For example, the vessel 20 may be operating along the trajectory 63 expected in the initial heading and the camera module 200 may be positioned at a default position with a first field of view.

선박(20)이 터닝하기 시작함에 따라, 도10 에 도시된 바와 같이, 선박(20)의 헤딩이 새로운 헤딩으로 업데이트될 수 있다. 초기 헤딩과 새로운 헤딩 사이의 차이가 회전 테이블에 입력될 수 있고 카메라 모듈(200) 회전 각도가 출력될 수 있다. 그 후 카메라 시스템은 카메라 모듈(200)을 출력된 카메라 모듈(200) 회전 각도만큼 회전시킬 수 있고, 그에 의해 카메라 모듈(200)의 시야도 카메라 모듈(200) 회전 각도만큼 회전하여 다른 시야를 보여주게 한다.As the vessel 20 begins to turn, the heading of the vessel 20 may be updated with the new heading, as shown in FIG. 10 . The difference between the initial heading and the new heading may be input to the rotation table and the rotation angle of the camera module 200 may be output. Thereafter, the camera system may rotate the camera module 200 by the output camera module 200 rotation angle, whereby the field of view of the camera module 200 is also rotated by the camera module 200 rotation angle to show a different field of view. to give

유사하게, 선박(20)이 턴을 따라 진행함에 따라, 초기 헤딩과 최신 헤딩 사이의 차이가 회전 테이블에 입력될 수 있고 카메라 모듈(200) 회전 각도가 출력될 수 있다. 그 후 카메라 시스템은 카메라 모듈(200)을 출력된 카메라 모듈(200) 회전 각도만큼 회전시킬 수 있고, 그에 의해 카메라 모듈(200)의 시야도 카메라 모듈(200) 회전 각도만큼 회전하여 다른 시야를 보여주게 한다. 초기 헤딩과 최신 헤딩 사이의 차이의 결정은 1초의 100분의 1 이상 또는 이하마다 발생할 수 있다. 선박(20)에 의한 턴이 완료되면, 카메라 모듈(200)은 디폴트 위치로 되돌아가고, 다시 진행방향의 시야를 캡처할 수 있다.Similarly, as the vessel 20 proceeds along the turn, the difference between the initial heading and the latest heading may be input to the turn table and the camera module 200 rotation angle may be output. Thereafter, the camera system may rotate the camera module 200 by the output camera module 200 rotation angle, whereby the field of view of the camera module 200 is also rotated by the camera module 200 rotation angle to show a different field of view. to give The determination of the difference between the initial heading and the latest heading may occur every hundredth of a second or more or less. When the turn by the vessel 20 is completed, the camera module 200 may return to the default position and capture the field of view in the traveling direction again.

카메라 시스템은 선박(20)이 턴을 하기 전에 미리 결정된 거리에서 카메라 모듈(200)을 회전시키기 시작할 수 있다. 이와 관련하여, 카메라 시스템은 선박(20)의 예상된 궤적(63)에 기초하여 선박(20)의 다가오는 턴의 예상된 각도를 결정할 수 있다. 예를 들어, 카메라 시스템은 선박(20)의 예상된 궤적(63) 및 선박(20)의 위치를 모니터링하여 다가오는 턴으로부터의 선박(20)의 거리 및 선박(20)이 행할 턴의 예상된 각도들을 결정할 수 있다. 카메라 시스템은 예상된 턴이 얼마나 멀리 떨어져 있는지를 미리 결정된 거리와 비교할 수 있다. 카메라 시스템이 예상된 턴이 미리 결정된 거리 이하에 위치하는 것으로 결정하면, 카메라 시스템은 턴의 예상된 각도들에 대응하는 카메라 모듈(200) 회전 각도들을 통해 카메라 모듈(200)을 회전시키기 시작할 수 있다.The camera system may start rotating the camera module 200 at a predetermined distance before the vessel 20 turns. In this regard, the camera system may determine an expected angle of an upcoming turn of the vessel 20 based on the expected trajectory 63 of the vessel 20 . For example, the camera system monitors the ship's 20's expected trajectory (63) and the ship's 20's position to monitor the ship's 20's distance from an oncoming turn and the expected angle of the ship's 20's turn to be made. can decide The camera system may compare how far the expected turn is to a predetermined distance. If the camera system determines that the expected turn is located less than a predetermined distance, the camera system may start rotating the camera module 200 through camera module 200 rotation angles corresponding to the expected angles of the turn. .

미리 결정된 거리는 선박(20)의 속도 및 턴으로부터의 선박(20)의 거리에 기초할 수 있다. 이와 관련하여, 선박(20)이 더 빠른 속도로 운항중일 때, 미리 결정된 거리는 선박(20)이 더 느린 속도로 운항중일 때보다 더 클 수 있다. 이것은 카메라 모듈(200)의 더 평활하고 더 완만한 회전을 가능하게 할 수 있다.The predetermined distance may be based on the speed of the vessel 20 and the distance of the vessel 20 from the turn. In this regard, when the vessel 20 is operating at a higher speed, the predetermined distance may be greater than when the vessel 20 is operating at a slower speed. This may allow for a smoother and more gentle rotation of the camera module 200 .

턴의 각도들은 하나 이상의 프로세서(110)가 선박(20)의 예상된 헤딩들로부터 턴을 수행하기 전의 선박(20)의 원래 헤딩(61) 사이의 차이를 계산함으로써 결정되고, 카메라 모듈(200) 회전 각도들은 프로세서(110)가 선박(20)이 수행할 것으로 예상되는 턴의 각도들을 스쿼싱 함수에 입력하고 출력된 각도들을 수신함으로써 계산되고, 출력된 각도들은 카메라 모듈(200) 회전 각도들일 수 있다. The angles of the turn are determined by one or more processors 110 calculating the difference between the expected headings of the vessel 20 and the original heading 61 of the vessel 20 before performing the turn, and the camera module 200 . The rotation angles are calculated by the processor 110 inputting the angles of the turn expected to be performed by the ship 20 into the squashing function and receiving the output angles, and the output angles may be the camera module 200 rotation angles. have.

카메라 모듈(200) 회전들을 평활화하기 위해 스쿼싱 함수가 사용될 수 있다. 이와 관련하여, 스쿼싱 함수는 생성된 비디오가 끊임없이 위치를 전환하거나 너무 빠르게 이동하는 것으로 보이는 이미지를 포함하는 것을 방지할 수 있다. 예를 들어, 스쿼싱 결과들을 획득하기 위해 선박(20)이 수행하고 있는 턴의 각도가 스쿼싱 함수에 입력될 수 있다. 스쿼싱 함수는 대응하는 카메라 모듈(200) 회전 각도를 계산하고 출력할 수 있다. 출력된 카메라 모듈(200) 각도 회전 값들은 턴의 각도들보다 더 또는 덜 완만할 수 있다.A squashing function may be used to smooth the camera module 200 rotations. In this regard, the squashing function may prevent the generated video from constantly changing positions or containing images that appear to be moving too quickly. For example, the angle of the turn the vessel 20 is performing to obtain squashing results may be input to the squashing function. The squashing function may calculate and output the corresponding camera module 200 rotation angle. The output camera module 200 angular rotation values may be more or less gentle than the angles of the turn.

일부 실시예들에서, 카메라 모듈(200)의 회전은 선박(20)이 정박되어 있거나 정박할 것으로 예상될 때 일시적으로 중단될 수 있다. 예를 들어, 카메라 모듈(200)은 선박(20)의 예상된 궤적(63)을 수신하고 선박(20)이 예인선(40)에 의하여 선석(30)방향(포트방향)으로 이동할 것이지만 일시적으로 정지할 것으로 결정할 수 있다. 그에 따라, 선박(20)이 선석(30)으로 이동할 때까지 카메라 모듈(200)은 회전하지 않을 수 있다. 또는 선석(30) 방향으로 고정할 수 있다. In some embodiments, rotation of camera module 200 may be temporarily stopped when vessel 20 is moored or expected to be moored. For example, the camera module 200 receives the expected trajectory 63 of the vessel 20 and the vessel 20 will move in the direction of the berth 30 (port direction) by the tugboat 40 but temporarily stops can decide to do Accordingly, the camera module 200 may not rotate until the vessel 20 moves to the berth 30 . Or it can be fixed in the direction of the berth (30).

도11 은 본 발명의 다른 실시예에 의한 카메라 모듈(200)의 방위를 조정하는 흐름도이다. 도12 는 도11에 의한 선박(20)의 예상된 궤적(63)에 기초한 카메라 모듈(200)의 시야를 표현한 것이다. 11 is a flowchart for adjusting the orientation of the camera module 200 according to another embodiment of the present invention. FIG. 12 is a representation of the field of view of the camera module 200 based on the expected trajectory 63 of the vessel 20 according to FIG. 11 .

도11 및 도12 를 참조하면, 프로세서(110)는, 선박(20)이 해도에 의해 판단된 수심이 정해진 깊이 이하인 지점(50)을 경유할 것이 예상되면 카메라 모듈(200)의 피치 및 롤 각도를 추가적으로 결정하여, 턴할 경로보다 우선하여 카메라 모듈(200)이 수심이 정해진 깊이 이하인 지점(50)을 향하도록 할 수 있다. 해저는 항구를 향할수록 수심이 낮아지므로 수심이 낮다고 예상되는 지점을 주시하는 것이 필요하다. 이는 항해사 및 도선사에게 도움이 된다. 11 and 12 , the processor 110, when the ship 20 is expected to pass through a point 50 at which the water depth determined by the chart is less than or equal to a predetermined depth, the pitch and roll angle of the camera module 200 By additionally determining , the camera module 200 may be directed toward a point 50 having a water depth equal to or less than a predetermined depth in preference to a turn path. The depth of the seabed decreases toward the port, so it is necessary to keep an eye on the point where the water depth is expected to be low. This is helpful for navigators and pilots.

도13 은 본 발명의 또 다른 실시예에 의한 카메라 모듈(200)의 방위를 조정하는 흐름도이다. 도14a 는 도13에 의해 선박(20)이 선석(30)을 향해 턴하기 전, 도14b 는 도13에 의해 선박(20)이 접안하는 경우 카메라 모듈(200)의 방위를 조정하는 것을 표현한 것이다. 13 is a flowchart for adjusting the orientation of the camera module 200 according to another embodiment of the present invention. Figure 14a is an expression of adjusting the orientation of the camera module 200 when the ship 20 is turned toward the berth 30 by Figure 13, Figure 14b is when the ship 20 is docked by Figure 13 .

도13 및 도14a 및 도14b 를 참조하면, 선박(20)이 터미널의 선석(30)을 향해 턴할 것이 예상되면 카메라 모듈(200)의 피치 각도를 추가적으로 결정하여 카메라 모듈(200)이 터미널의 선석(30)을 향하도록 하고, 선박(20)이 터미널의 선석(30)과 정해진 거리 이내이면 선박(20)의 예상 진행경로보다 우선하여 카메라 모듈(200)이 포트 방향을 향하도록 한다. 13 and 14A and 14B , if the ship 20 is expected to turn toward the berth 30 of the terminal, the pitch angle of the camera module 200 is additionally determined so that the camera module 200 is the berth of the terminal (30), and if the vessel 20 is within a predetermined distance from the berth 30 of the terminal, the camera module 200 is directed toward the port in preference to the expected path of the vessel 20.

카메라 모듈(200)의 높이 및 피치는 또한 선박(20)의 주변을 더 또는 덜 캡처하도록 조정될 수 있다. 예를 들어, 선박(20)이 접안하고자 할 때, 카메라 모듈(200)은 선석(30)을 향하도록 할 수 있고, 카메라 모듈(200)의 피치는, 선석(30)방향 아래를 보도록 조정될 수 있다. 카메라 모듈(200)은 위상조절부(132) 또는 관측기둥(10)의 높이를 증가시켜 곧장 아래로 볼 수 있다. 그 후 카메라 모듈(200)은 선석(30)을 포함한 선박(20)의 모든 주위로부터의 이미지를 포함하는 비디오를 생성할 수 있다. 즉 프로세서(110)은 실시간 반응속도가 중요한 시점에서 제1 서브시스템(210)을 일시적으로 오프하여 주시 영역(71)에 대한 데이터만 처리할 수 있다. The height and pitch of the camera module 200 may also be adjusted to capture more or less of the perimeter of the vessel 20 . For example, when the ship 20 intends to dock, the camera module 200 may face the berth 30, and the pitch of the camera module 200 may be adjusted to look down the berth 30 direction. have. The camera module 200 increases the height of the phase control unit 132 or the observation column 10 so that it can be viewed straight down. The camera module 200 may then generate a video containing images from all around the vessel 20 including the berth 30 . That is, the processor 110 may temporarily turn off the first subsystem 210 at a point in time when real-time reaction speed is important to process only the data for the gaze area 71 .

또한 카메라 모듈(200)은 고해상도 이미지센서(230)를 포함하는 제2 서브시스템(220)과 상대적으로 저해상도 이미지센서(211, 212)를 포함하는 제1 서브시스템(210)을 포함할 수 있다. 프로세서(110)는 제2 서브시스템(220)이 진행 예상 방향을 촬영하도록 하고, 제1 서브시스템(210)은 주위 영역(상대적으로 중요하지 않은 영역)을 촬영하도록 한다. 이러한 시스템은 중요 영역에 고해상도 이미지를 제공하면서 시스템의 응답성 및 반응성을 향상시킨다. Also, the camera module 200 may include a second subsystem 220 including a high-resolution image sensor 230 and a first subsystem 210 including relatively low-resolution image sensors 211 and 212 . The processor 110 causes the second subsystem 220 to photograph the expected progress direction, and the first subsystem 210 allows the first subsystem 210 to photograph the surrounding area (a region that is relatively insignificant). These systems improve the responsiveness and responsiveness of the system while providing high-resolution images of critical areas.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Various modifications may be made by those of ordinary skill in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

Claims (3)

야간 항해를 위해 해상의 존재하는 광의 이미지를 생성하는 선박용 어라운드뷰 장치로서,
상부 갑판에 수직방향으로 세워진 관측기둥;
상기 관측기둥에 장착된 카메라 모듈; 및
상기 카메라 모듈에 의해 캡쳐된 물체의 이미지 및 위치를 표시하는 디스플레이를 포함하고,
상기 카메라 모듈은,
선박 주변 환경의 이미지들을 캡처하기 위해 장착되고, 제1 노출 시간을 갖고 중립 밀도(neutral density) 필터가 없는 제1 카메라;
선박 주면 환경의 이미지들을 캡처하기 위해 장착되고, 상기 제1 노출 시간 이상인 제2 노출 시간을 갖고 중립 밀도(neutral density) 필터를 구비한 제2 카메라; 및
프로세서를 포함하고,
상기 프로세서는,
상기 제1 노출 시간 동안 상기 제1 카메라를 이용하여 선박 주변 물체들의 이미지들을 캡처하고;
상기 제2 노출 시간 동안 상기 제2 카메라를 이용하여 선박 주변 물체들의 이미지들을 캡처하고;
상기 제2 카메라를 이용하여 캡처된 상기 이미지들을 이용하여 복수의 선등을 식별하고;
상기 제1 카메라를 이용하여 캡처된 상기 이미지들을 이용하여 복수의 선등의 위치들을 식별하고;
상기 식별된 선등들 및 식별된 선등들의 위치들을 이용하여, 야간 항해시 복수의 선등을 갖는 다른 선박의 선등 색상, 배열 및 이동 정보를 상기 디스플레이에 표시하고,
상기 제2 카메라는,
제2 포토다이오드 세트;
광이 상기 제2 포토다이오드 세트에 도달하기 전에 상기 광을 필터링하도록 배열된 ND 필터;
이미지를 캡처하기 위해 적어도 5 밀리초의 고정된 노출 시간을 이용하여 상기 포토다이오드 세트를 노출시키도록 구성된 제2 이미지 컨트롤러; 및
광이 상기 제2 포토다이오드 세트에 도달하기 전에 상기 광을 필터링하도록 배열된 근적외선 필터를 포함하고,
상기 노출 시간은 상기 제2 카메라가 상기 노출 시간 동안 PWM 광원으로부터 광을 캡처할 수 있게 하고,
상기 프로세서는,
상기 판단된 복수의 선등들 사이이 간격, 거리, 색상, 위치를 기초로 다른 선박의 마스트에 설치되는 마스트등(masthead light), 다른 선박의 좌우 현에 설치된 현등(side light), 다른 선박의 선미에 설치된 선미등(stern light)을 구분하여, 다른 선박의 종류, 크기, 진행방향 및 위치를 판단하는 야간항해용 어라운드뷰 장치.As an around-view device for a ship that generates an image of light existing in the sea for night navigation,
observation columns erected vertically on the upper deck;
a camera module mounted on the observation column; and
And a display for displaying the image and position of the object captured by the camera module,
The camera module,
a first camera mounted to capture images of the environment around the vessel, having a first exposure time and without a neutral density filter;
a second camera mounted to capture images of the ship's major environment, the second camera having a second exposure time greater than or equal to the first exposure time and having a neutral density filter; and
including a processor;
The processor is
capturing images of objects around the vessel using the first camera during the first exposure time;
capturing images of objects around the vessel using the second camera during the second exposure time;
identify a plurality of line lamps using the images captured using the second camera;
identify locations of a plurality of line lamps using the images captured using the first camera;
Displaying on the display the color, arrangement and movement information of the ship's headlights of other ships having a plurality of ship lights during night voyage by using the identified ship lights and the positions of the identified ship lights,
The second camera,
a second set of photodiodes;
an ND filter arranged to filter the light before it reaches the second set of photodiodes;
a second image controller configured to expose the set of photodiodes using a fixed exposure time of at least 5 milliseconds to capture an image; and
a near-infrared filter arranged to filter the light before it reaches the second set of photodiodes;
the exposure time enables the second camera to capture light from a PWM light source during the exposure time;
The processor is
A masthead light installed on the mast of another ship based on the distance, distance, color, and location between the determined plurality of ship lights, side lights installed on the left and right sides of another ship, and the stern of another ship Around view device for night navigation that classifies the installed stern light to determine the type, size, direction and location of other ships. 삭제delete 삭제delete
KR1020210158248A 2021-11-17 2021-11-17 Around view apparatus for night navigation KR102465190B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210158248A KR102465190B1 (en) 2021-11-17 2021-11-17 Around view apparatus for night navigation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210158248A KR102465190B1 (en) 2021-11-17 2021-11-17 Around view apparatus for night navigation

Publications (2)

Publication Number Publication Date
KR102465190B1 true KR102465190B1 (en) 2022-11-09
KR102465190B9 KR102465190B9 (en) 2022-12-27

Family

ID=84040188

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210158248A KR102465190B1 (en) 2021-11-17 2021-11-17 Around view apparatus for night navigation

Country Status (1)

Country Link
KR (1) KR102465190B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102696211B1 (en) 2023-11-23 2024-08-19 고정호 Ship berthing support laser device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016097925A (en) * 2014-11-26 2016-05-30 国立研究開発法人 海上・港湾・航空技術研究所 Maneuvering support system and craft equipped with the same
KR20190130057A (en) * 2017-05-19 2019-11-20 웨이모 엘엘씨 Camera systems using filters and exposure times to detect blinking illuminated objects

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016097925A (en) * 2014-11-26 2016-05-30 国立研究開発法人 海上・港湾・航空技術研究所 Maneuvering support system and craft equipped with the same
KR20190130057A (en) * 2017-05-19 2019-11-20 웨이모 엘엘씨 Camera systems using filters and exposure times to detect blinking illuminated objects

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102696211B1 (en) 2023-11-23 2024-08-19 고정호 Ship berthing support laser device

Also Published As

Publication number Publication date
KR102465190B9 (en) 2022-12-27

Similar Documents

Publication Publication Date Title
US10908678B2 (en) Video and image chart fusion systems and methods
US11630198B2 (en) Visually correlated radar systems and methods
US9615006B2 (en) Infrared camera systems and methods for facilitating target position acquisition
US20230023434A1 (en) Deep learning-based marine object classification using 360-degree images
WO2017136014A9 (en) Video sensor fusion and model based virtual and augmented reality systems and methods
CN108303078B (en) Omnidirectional ship anti-collision early warning and navigation system based on stereoscopic vision
EP2655180A1 (en) Maritime controls systems and methods
US20220172464A1 (en) Water non-water segmentation systems and methods
WO2020061545A1 (en) Augmented reality display view generation
KR101508290B1 (en) Day-night vision machine and water monitoring system thereof
KR101545276B1 (en) Omnidirectional monitoring System for ship using PTZ Camera and Omnidirectional monitoring Method using The Same
US20220392211A1 (en) Water non-water segmentation systems and methods
KR102465190B1 (en) Around view apparatus for night navigation
US20200298942A1 (en) Marine vessel and marine vessel imaging device
WO2018186750A1 (en) Camera assisted control system for an underwater vehicle
KR102465191B1 (en) Around view system assisting ship in entering port and coming alongside the pier
WO2021178603A1 (en) Water non-water segmentation systems and methods
RU2735559C1 (en) Optoelectronic system for analysis of external environment based on machine vision
KR102465189B1 (en) Around view apparatus for ship
JP2020148811A (en) Imaging apparatus of ship
JP2020132091A (en) Marine vessel photographing apparatus, and marine vessel having photographing apparatus
KR20170006420A (en) Night photography system for ship
RU2816392C1 (en) Complex for optical video surveillance, detection and identification of objects based on machine vision for sea and river vessels
WO2017208288A1 (en) Underwater/overland determination device, underwater/overland determination method, and underwater inspection device
EP4062389A1 (en) Detection of a risk of collision between a boat and a luminous object

Legal Events

Date Code Title Description
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]