KR20210050868A - Remote object recognition system and method for ship - Google Patents

Remote object recognition system and method for ship Download PDF

Info

Publication number
KR20210050868A
KR20210050868A KR1020190135399A KR20190135399A KR20210050868A KR 20210050868 A KR20210050868 A KR 20210050868A KR 1020190135399 A KR1020190135399 A KR 1020190135399A KR 20190135399 A KR20190135399 A KR 20190135399A KR 20210050868 A KR20210050868 A KR 20210050868A
Authority
KR
South Korea
Prior art keywords
ship
pan
tilt
camera
image information
Prior art date
Application number
KR1020190135399A
Other languages
Korean (ko)
Inventor
김현수
이성준
김인일
Original Assignee
대우조선해양 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 대우조선해양 주식회사 filed Critical 대우조선해양 주식회사
Priority to KR1020190135399A priority Critical patent/KR20210050868A/en
Publication of KR20210050868A publication Critical patent/KR20210050868A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B63B43/20—Feelers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • H04N5/23296—
    • H04N5/23299—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)

Abstract

The present invention is to provide a system and method for recognizing a remote object for a ship capable of recognizing the type of a remote object around a ship. According to an embodiment of the present invention, a system for recognizing a remote object for a ship comprises: a panoramic camera (10) installed on a ship to acquire location information of objects around the ship; a pan-tilt-zoom camera (20) interlocked with the panoramic camera (10) to acquire image information of the object based on the location information; and a control unit (30) for controlling the panoramic camera (10) and the pan-tilt-zoom camera (20).

Description

선박용 원거리 물체 인식 시스템 및 방법{REMOTE OBJECT RECOGNITION SYSTEM AND METHOD FOR SHIP}Remote object recognition system and method for ships {REMOTE OBJECT RECOGNITION SYSTEM AND METHOD FOR SHIP}

본 발명은 선박용 원거리 물체 인식 시스템 및 방법에 관한 것으로서, 보다 상세하게는 팬-틸트-줌 카메라(PTZ camera)를 포함하는 선박용 원거리 물체 인식 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for recognizing a long-distance object for a ship, and more particularly, to a system and method for recognizing a long-distance object for a ship including a pan-tilt-zoom camera.

일반적으로 선박에 설치되는 파노라마 카메라(Panorama camera)는 복수개의 단렌즈 카메라를 연결하여 파노라마 영상을 취득하고, 취득한 파노라마 영상을 실시간으로 딥 러닝 방법(Deep learning method)을 이용하여 선박 주변의 물체를 탐지하고 물체의 종류 인식함으로써, 선원에게 선박의 충돌 위험도를 안내하게 된다.In general, a panorama camera installed on a ship acquires a panoramic image by connecting a plurality of single lens cameras, and detects objects around the ship using a deep learning method using the acquired panoramic image in real time. And by recognizing the type of object, it guides the crew about the risk of collision of the ship.

그러나, 이러한 파노라마 카메라는 고정식의 줌기능이 없는 단렌즈 카메라를 이용하므로, 단거리에 있는 물체만 탐지하여 물체의 종류를 인식할 수 있으며, 선박 주변을 전체적으로 모니터링할 수 있으나, 원거리에 있는 물체의 종류를 파악하기는 어렵다.However, since such a panoramic camera uses a single lens camera without a fixed zoom function, the type of object can be recognized by detecting only objects in a short distance, and the entire surrounding of the ship can be monitored. It is difficult to grasp.

본 발명에서는 선박 주변의 원거리에 있는 물체의 종류를 파악할 수 있는 선박용 원거리 물체 인식 시스템 및 방법을 제공하고자 한다.In the present invention, it is intended to provide a system and method for recognizing a long-distance object for a ship capable of grasping the type of an object at a long distance around a ship.

본 발명의 일 측면에 따른 선박용 원거리 물체 인식 시스템은 선박(1)에 설치되어 상기 선박(1) 주변의 물체의 위치 정보를 취득하는 파노라마 카메라(10); 상기 파노라마 카메라(10)에 연동되어 상기 위치 정보를 기초로 상기 물체의 영상 정보를 취득하는 팬-틸트-줌 카메라(20); 그리고 상기 파노라마 카메라(10) 및 상기 팬-틸트-줌 카메라(20)를 제어하는 제어부(30);를 포함한다.A system for recognizing a long-distance object for a ship according to an aspect of the present invention comprises: a panoramic camera 10 installed on a ship 1 to acquire location information of objects around the ship 1; A pan-tilt-zoom camera (20) interlocked with the panorama camera (10) to acquire image information of the object based on the location information; And a control unit 30 for controlling the panorama camera 10 and the pan-tilt-zoom camera 20.

상기 제어부(30)는 상기 물체의 위치 정보를 이용하여 상기 팬-틸트-줌 카메라(20)의 방향을 조절하고, 상기 팬-틸트-줌 카메라(20)를 줌인/줌아웃하여 상기 물체를 촬영하는 촬영 조절부(31), 상기 촬영 조절부(31)에 연결되어 실시간으로 딥 러닝 방법으로 상기 물체의 종류, 거리 및 방위 중 어느 하나 이상의 영상 정보를 취득하는 딥 러닝부(32)를 포함할 수 있다. The control unit 30 adjusts the direction of the pan-tilt-zoom camera 20 using the location information of the object, and zooms in/zooms out the pan-tilt-zoom camera 20 to photograph the object. It may include a capturing control unit 31, a deep learning unit 32 connected to the capturing control unit 31 to acquire image information of any one or more of the type, distance, and orientation of the object by a deep learning method in real time. have.

상기 제어부(30)에 연결되며 상기 물체의 영상 정보를 상기 선박(1)의 선원에게 알려주는 알림부(40)를 더 포함할 수 있다.It may further include a notification unit 40 connected to the control unit 30 for notifying the crew of the vessel 1 of the image information of the object.

상기 팬-틸트-줌 카메라(20)에 연결되며 상기 팬-틸트-줌 카메라(20)를 이동시키는 이동부(50)를 더 포함할 수 있다.It may further include a moving unit 50 connected to the pan-tilt-zoom camera 20 and moving the pan-tilt-zoom camera 20.

상기 파노라마 카메라(10)는 복수개의 단렌즈 카메라(11)를 포함할 수 있다.The panoramic camera 10 may include a plurality of single lens cameras 11.

또한, 본 발명의 일 실시예에 따른 선박용 원거리 물체 인식 방법은 상기 파노라마 카메라(10)를 이용하여 선박(1) 주변의 물체의 위치 정보를 취득하는 단계; 그리고 상기 파노라마 카메라(10)에 연동되는 팬-틸트-줌 카메라(20)를 이용하여 상기 위치 정보를 기초로 상기 물체의 영상 정보를 취득하는 단계; 를 포함한다.In addition, a method for recognizing a long-distance object for a ship according to an embodiment of the present invention includes the steps of acquiring location information of an object around the ship (1) using the panoramic camera (10); And obtaining image information of the object based on the location information by using a pan-tilt-zoom camera (20) linked to the panorama camera (10). Includes.

상기 물체의 영상 정보를 취득하는 단계는 상기 물체의 위치 정보를 이용하여 상기 팬-틸트-줌 카메라(20)의 방향을 조절하고, 상기 팬-틸트-줌 카메라(20)를 줌인/줌아웃하여 상기 물체를 촬영하는 단계, 그리고 상기 촬영된 물체를 딥 러닝하여 상기 물체의 종류, 거리 및 방위 중 어느 하나 이상의 영상 정보를 취득하는 단계를 포함할 수 있다.The step of acquiring the image information of the object includes adjusting the direction of the pan-tilt-zoom camera 20 using the position information of the object, and zooming in/zooming out the pan-tilt-zoom camera 20. It may include photographing an object, and deep learning the photographed object to acquire image information of one or more of the type, distance, and orientation of the object.

상기 물체의 영상 정보를 상기 선박(1)의 선원에게 알려주는 단계를 더 포함할 수 있다.It may further include the step of notifying the image information of the object to the crew of the ship (1).

본 발명의 일 실시예에 따르면, 물체의 위치 정보를 취득하는 파노라마 카메라와 연동하며 물체의 영상 정보를 취득하는 팬-틸트-줌 카메라를 설치함으로써 원거리에 있는 물체까지 탐지할 수 있다. According to an embodiment of the present invention, by installing a pan-tilt-zoom camera that acquires image information of an object and interlocks with a panoramic camera that acquires location information of an object, it is possible to detect even a distant object.

또한, 이러한 물체의 영상 정보를 파악하여 충돌 위험도를 선박의 선원에게 신속하게 알려줄 수 있으므로 선박의 충돌 위험을 최소화시킬 수 있다. In addition, since it is possible to quickly inform the crew of the ship of the risk of collision by grasping the image information of such an object, the risk of a collision of the ship can be minimized.

또한, 군함과 같이, 팬-틸트-줌 카메라가 이미 설치된 선박에서는 이를 이용하여 저비용으로 선박용 원거리 물체 인식 시스템을 구현할 수 있다.In addition, in a ship where a pan-tilt-zoom camera is already installed, such as a warship, it is possible to implement a long-distance object recognition system for ships at low cost by using this.

도 1은 본 발명의 일 실시예에 따른 선박용 원거리 물체 인식 시스템의 개략적인 도면이다.
도 2는 본 발명의 다른 실시예에 따른 선박용 원거리 물체 인식 시스템의 개략적인 도면이다.
도 3은 본 발명의 다른 실시예에 따른 선박용 원거리 물체 인식 시스템에 의해 인식되는 복수개의 물체를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 선박용 원거리 물체 인식 시스템을 이용한 선박용 원거리 물체 인식 방법의 순서도이다. 1 is a schematic diagram of a system for recognizing a long-distance object for a ship according to an embodiment of the present invention.
2 is a schematic diagram of a system for recognizing a long-distance object for a ship according to another embodiment of the present invention.
3 is a diagram illustrating a plurality of objects recognized by a long-distance object recognition system for a ship according to another embodiment of the present invention.
4 is a flowchart of a method for recognizing a long-distance object for a ship using the system for recognizing a long-distance object for a ship according to an embodiment of the present invention.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art may easily implement the present invention. The present invention may be implemented in various different forms and is not limited to the embodiments described herein.

본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.In order to clearly describe the present invention, parts irrelevant to the description have been omitted, and the same reference numerals are attached to the same or similar components throughout the specification.

이하에서, 도 1을 참고로 본 발명의 일 실시예에 따른 선박용 원거리 물체 인식 시스템을 상세하게 설명한다. Hereinafter, a system for recognizing a long-distance object for a ship according to an embodiment of the present invention will be described in detail with reference to FIG. 1.

도 1은 본 발명의 일 실시예에 따른 선박용 원거리 물체 인식 시스템의 개략적인 도면이다. 1 is a schematic diagram of a system for recognizing a long-distance object for a ship according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 선박용 원거리 물체 인식 시스템은 선박(1)에 설치되는 파노라마 카메라(10), 팬-틸트-줌 카메라(Pan-Tilt-Zoom camera, PTZ camera)(20), 제어부(30), 그리고 알림부(40)를 포함한다. As shown in FIG. 1, the system for recognizing a long-distance object for a ship according to an embodiment of the present invention includes a panoramic camera 10 installed on a ship 1, a Pan-Tilt-Zoom camera (PTZ). camera) (20), a control unit (30), and a notification unit (40).

파노라마 카메라(10)는 넓은 영역을 촬영하여 선박(1) 주변의 물체의 위치 정보를 취득할 수 있다. 이러한 파노라마 카메라(10)는 복수개의 단렌즈 카메라(11)를 포함할 수 있다. 따라서, 선박(1)을 기준으로 360도 주변의 물체의 위치 정보를 취득할 수 있다.The panoramic camera 10 may capture a wide area to acquire location information of an object around the ship 1. The panoramic camera 10 may include a plurality of single lens cameras 11. Therefore, it is possible to acquire positional information of an object around 360 degrees based on the ship 1.

팬-틸트-줌 카메라(20)는 상하 좌우로 물체를 따라가며, 줌 인(Zoom in) 및 줌 아웃(Zoom out) 기능을 가진 카메라로서, 파노라마 카메라(10)에 연동되어 파노라마 카메라(10)에 의해 취득한 물체의 위치 정보를 기초로 물체의 선명한 영상 정보를 취득할 수 있다. The pan-tilt-zoom camera 20 is a camera that follows an object vertically, horizontally, and has zoom in and zoom out functions, and is linked to the panoramic camera 10 to provide a panoramic camera 10. The clear image information of the object can be obtained based on the position information of the object obtained by the method.

제어부(30)는 파노라마 카메라(10) 및 팬-틸트-줌 카메라(20)를 제어할 수 있으며, 촬영 조절부(31) 및 딥 러닝부(32)를 포함할 수 있다.The control unit 30 may control the panorama camera 10 and the pan-tilt-zoom camera 20, and may include a photographing control unit 31 and a deep learning unit 32.

촬영 조절부(31)는 파노라마 카메라(10)에 의해 취득한 물체의 위치 정보에 연동되어 팬-틸트-줌 카메라(20)의 방향을 물체의 해당 위치로 자동으로 조절하고, 팬-틸트-줌 카메라(20)를 줌 인(Zoom in) 및 줌 아웃(Zoom out)하여 자동으로 맞추어 물체를 고해상도로 촬영할 수 있다. 이때, 원거리에 있는 물체는 줌인하여 촬영하고, 근거리에 있는 물체는 줌 아웃하여 촬영할 수 있다.The photographing control unit 31 automatically adjusts the direction of the pan-tilt-zoom camera 20 to the corresponding position of the object by interlocking with the location information of the object acquired by the panorama camera 10, and the pan-tilt-zoom camera By zooming in (20) and zooming out (Zoom out), you can automatically fit the object to shoot in high resolution. In this case, a distant object may be photographed by zooming in, and a distant object may be photographed by zooming out.

딥 러닝부(32)는 촬영 조절부(31)에 연결되어 실시간으로 딥 러닝 방법으로 반복 학습하여 물체의 영상 정보를 취득할 수 있다. 이때 물체의 영상 정보로서, 물체의 종류, 거리 및 방위 중 어느 하나 이상의 정보를 취득할 수 있다.The deep learning unit 32 may be connected to the photographing control unit 31 to acquire image information of an object by repeatedly learning in real time using a deep learning method. At this time, as image information of the object, any one or more of the type, distance, and orientation of the object may be acquired.

알림부(40)는 제어부(30)에 연결되며 물체의 영상 정보를 파악하여 충돌 위험도를 선박(1)의 선원에게 알려줄 수 있다.The notification unit 40 is connected to the control unit 30 and may inform the crew of the ship 1 of the degree of collision risk by grasping the image information of the object.

이와 같이, 본 발명의 일 실시예에 따른 선박용 원거리 물체 인식 시스템은 물체의 위치 정보를 취득하는 파노라마 카메라(10)와 연동하며 물체의 화상 정보를 취득하는 팬-틸트-줌 카메라(20)를 설치함으로써 원거리에 있는 물체까지 탐지할 수 있다.As described above, the system for recognizing a long-distance object for a ship according to an embodiment of the present invention installs a pan-tilt-zoom camera 20 that interworks with the panorama camera 10 that acquires the location information of the object and acquires the image information of the object. By doing so, it can detect even distant objects.

또한, 이러한 물체의 영상 정보를 파악하여 충돌 위험도를 선박의 선원에게 신속하게 알려줄 수 있으므로 선박의 충돌 위험을 최소화시킬 수 있다.In addition, since it is possible to quickly inform the crew of the ship of the risk of collision by grasping the image information of such an object, the risk of a collision of the ship can be minimized.

한편, 상기 일 실시예에서는 하나의 물체에 대한 영상 정보를 취득하나, 복수개의 물체에 대한 영상 정보를 취득하는 다른 실시예도 가능하다. Meanwhile, in the above embodiment, image information on one object is acquired, but another embodiment in which image information on a plurality of objects is acquired is also possible.

이하에서, 도 2를 참고하여, 본 발명의 다른 실시예에 따른 선박용 원거리 물체 인식 시스템에 대해 상세히 설명한다.Hereinafter, a system for recognizing a long-distance object for a ship according to another embodiment of the present invention will be described in detail with reference to FIG. 2.

도 2는 본 발명의 다른 실시예에 따른 선박용 원거리 물체 인식 시스템의 개략적인 도면이고, 도 3은 본 발명의 다른 실시예에 따른 선박용 원거리 물체 인식 시스템에 의해 인식되는 복수개의 물체를 도시한 도면이다.2 is a schematic diagram of a system for recognizing a long-distance object for a ship according to another embodiment of the present invention, and FIG. 3 is a view showing a plurality of objects recognized by the system for recognizing a long-range object for a ship according to another embodiment of the present invention. .

도 2 및 도 3에 도시된 다른 실시예는 도 1에 도시된 일 실시예와 비교하여 이동부의 구조만을 제외하고 실질적으로 동일한 바 반복되는 설명은 생략한다.Other embodiments illustrated in FIGS. 2 and 3 are substantially the same as those of the exemplary embodiment illustrated in FIG. 1 except for the structure of the moving part, so a repeated description will be omitted.

도 2에 도시한 바와 같이, 본 발명의 다른 실시예에 따른 선박용 원거리 물체 인식 시스템은 선박(1)에 설치되는 파노라마 카메라(10), 팬-틸트-줌 카메라(20), 제어부(30), 알림부(40), 그리고 이동부(50)를 포함한다.As shown in FIG. 2, a system for recognizing a long-distance object for a ship according to another embodiment of the present invention includes a panoramic camera 10, a pan-tilt-zoom camera 20, a control unit 30 installed on the ship 1, It includes a notification unit 40, and a moving unit 50.

파노라마 카메라(10)는 넓은 영역을 촬영하여 선박(1) 주변의 복수개의 물체(O1, O2)의 위치 정보를 취득할 수 있다. 팬-틸트-줌 카메라(20)는 파노라마 카메라(10)에 연동되어 파노라마 카메라(10)에 의해 취득한 복수개의 물체(O1, O2)의 위치 정보를 기초로 물체(O1, O2)의 선명한 영상 정보를 취득할 수 있다. 제어부(30)는 파노라마 카메라(10) 및 팬-틸트-줌 카메라(20)를 제어할 수 있으며, 촬영 조절부(31) 및 딥 러닝부(32)를 포함할 수 있다. 알림부(40)는 제어부(30)에 연결되며 물체(O1, O2)의 영상 정보를 파악하여 충돌 위험도를 선박(1)의 선원에게 알려줄 수 있다. The panorama camera 10 may capture a wide area to acquire location information of a plurality of objects O1 and O2 around the ship 1. The pan-tilt-zoom camera 20 is linked to the panorama camera 10 to provide clear image information of the objects O1 and O2 based on the location information of the plurality of objects O1 and O2 acquired by the panorama camera 10. Can be obtained. The control unit 30 may control the panorama camera 10 and the pan-tilt-zoom camera 20, and may include a photographing control unit 31 and a deep learning unit 32. The notification unit 40 is connected to the control unit 30 and may inform the crew of the ship 1 of the degree of collision risk by grasping the image information of the objects O1 and O2.

이동부(50)는 팬-틸트-줌 카메라(20)에 연결되며 팬-틸트-줌 카메라(20)를 이동시킬 수 있다. 본 실시예에서는 이동부는 막대 형상으로 도시하였으나, 반드시 이에 한정되는 것은 아니며 팬-틸트-줌 카메라를 이동시킬 수 있는 구성이면 다양한 형상이 가능하다. The moving unit 50 is connected to the pan-tilt-zoom camera 20 and can move the pan-tilt-zoom camera 20. In the present embodiment, the moving part is illustrated in a bar shape, but is not limited thereto, and various shapes are possible as long as it is a configuration capable of moving a pan-tilt-zoom camera.

도 3에 도시한 바와 같이, 원거리에 복수개의 물체(O1, O2)가 위치하는 경우에, 팬-틸트-줌 카메라(20)는 이동부(50)를 이용하여 이동하며 복수개의 물체(O1, O2)를 순차적으로 촬영하여 각 물체(O1, O2)의 영상 정보를 취득할 수 있다. As shown in FIG. 3, when a plurality of objects O1 and O2 are located at a distance, the pan-tilt-zoom camera 20 moves using the moving unit 50 and moves the plurality of objects O1 and O2. O2) is sequentially photographed to obtain image information of each object O1 and O2.

또한, 제어부(30)는 촬영 조절부(31) 및 딥 러닝부(32) 외에 추가로 최적화부(33)를 더 포함할 수 있다. 최적화부(33)는 복수개의 물체(O1, O2)가 선박(1)의 주변에서 포착되었을 경우, 팬-틸트-줌 카메라(20)의 이동을 최소화하여 최소한의 시간 내에 복수개의 물체(O1, O2)를 빠르게 촬영할 수 있게 한다. In addition, the control unit 30 may further include an optimization unit 33 in addition to the photographing control unit 31 and the deep learning unit 32. When a plurality of objects O1 and O2 are captured around the vessel 1, the optimization unit 33 minimizes the movement of the pan-tilt-zoom camera 20 to minimize the movement of the plurality of objects O1 and O2. O2) allows you to quickly shoot.

상기 본 발명의 일 실시예에 따른 선박용 원거리 물체 인식 시스템을 이용한 선박용 원거리 물체 인식 방법에 대해 이하에서 도면을 참고로 상세하게 설명한다. A method for recognizing a long-distance object for a ship using the system for recognizing a long-distance object for a ship according to an embodiment of the present invention will be described in detail below with reference to the drawings.

도 4는 본 발명의 일 실시예에 따른 선박용 원거리 물체 인식 시스템을 이용한 선박용 원거리 물체 인식 방법의 순서도이다. 4 is a flowchart of a method for recognizing a long-distance object for a ship using the system for recognizing a long-distance object for a ship according to an embodiment of the present invention.

도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 선박용 원거리 물체 인식 시스템을 이용한 선박용 원거리 물체 인식 방법은 우선, 파노라마 카메라(10)를 이용하여 선박(1) 주변의 물체의 위치 정보를 취득한다(S10).As shown in FIG. 4, in the method of recognizing a long-distance object for a ship using a system for recognizing a long-distance object for a ship according to an embodiment of the present invention, first, the position information of the object around the ship 1 is recorded using a panoramic camera 10. Acquire (S10).

다음으로, 파노라마 카메라(10)에 연동되는 팬-틸트-줌 카메라(20)를 이용하여 위치 정보를 기초로 물체의 영상 정보를 취득한다(S20).Next, using the pan-tilt-zoom camera 20 linked to the panorama camera 10, image information of the object is acquired based on the location information (S20).

이에 대해 아래에서 구체적으로 설명한다. 파노라마 카메라(10)를 이용하여 취득한 물체의 위치 정보를 이용하여 팬-틸트-줌 카메라(20)의 방향을 조절하고, 팬-틸트-줌 카메라(20)를 줌인 및 아웃하여 자동으로 맞추어 물체를 고해상도로 촬영한다. 이는 제어부(30)의 촬영 조절부(31)에서 수행할 수 있다.This will be described in detail below. Using the position information of the object acquired using the panoramic camera 10, the pan-tilt-zoom camera 20 adjusts the direction, and the pan-tilt-zoom camera 20 is zoomed in and out to automatically align the object. Shoot in high resolution. This can be performed by the photographing control unit 31 of the control unit 30.

그리고, 촬영된 물체를 실시간으로 딥 러닝하여 반복 학습하여 물체의 종류, 거리 및 방위 중 어느 하나 이상의 영상 정보를 취득한다. 이는 제어부(30)의 딥 러닝부(32)에서 수행할 수 있다. In addition, the photographed object is deep-learned in real time to repeatedly learn to acquire image information of any one or more of the type, distance, and orientation of the object. This can be performed by the deep learning unit 32 of the control unit 30.

다음으로, 물체의 영상 정보를 상기 선박(1)의 선원에게 알려주어 선박(1)의 충돌 위험을 감소시킨다(S30). Next, the image information of the object is notified to the crew of the ship 1 to reduce the risk of collision of the ship 1 (S30).

이와 같이, 본 발명의 일 실시예에 따른 선박용 원거리 물체 인식 시스템을 이용한 선박용 원거리 물체 인식 방법은 파노라마 카메라(10)를 이용하여 물체의 위치 정보를 취득하고, 파노라마 카메라(10)와 연동되는 팬-틸트-줌 카메라(20)를 이용하여 물체의 영상 정보를 취득함으로써, 원거리에 있는 물체까지 탐지할 수 있다. 또한, 이러한 물체의 영상 정보를 파악하여 충돌 위험도를 선박(1)의 선원에게 신속하게 알려줄 수 있으므로 선박(1)의 충돌 위험을 최소화시킬 수 있다. As described above, in the method for recognizing a distant object for a ship using a distant object recognition system for a ship according to an embodiment of the present invention, the position information of the object is acquired using the panoramic camera 10, and the pan- By acquiring image information of an object using the tilt-zoom camera 20, it is possible to detect even an object at a distance. In addition, since it is possible to quickly inform the crew of the ship 1 of the risk of collision by grasping the image information of such an object, the risk of collision of the ship 1 can be minimized.

이상, 본 발명을 도면에 도시된 실시예를 참조하여 설명하였다. 그러나, 본 발명은 이에 한정되지 않고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명과 균등한 범위에 속하는 다양한 변형예 또는 다른 실시예가 가능하다. 따라서, 본 발명의 진정한 보호범위는 이어지는 특허청구범위에 의해 정해져야 할 것이다.In the above, the present invention has been described with reference to the embodiments shown in the drawings. However, the present invention is not limited thereto, and various modifications or other embodiments falling within the scope equivalent to the present invention are possible by those of ordinary skill in the art. Therefore, the true scope of protection of the present invention should be determined by the claims that follow.

10: 파노라마 카메라 20: 팬-틸트-줌 카메라
30: 제어부 31: 촬영 조절부
32: 딥 러닝부 40: 알림부
50: 이동부10: panoramic camera 20: pan-tilt-zoom camera
30: control unit 31: shooting control unit
32: deep learning unit 40: notification unit
50: moving part

Claims (8)

선박(1)에 설치되어 상기 선박(1) 주변의 물체의 위치 정보를 취득하는 파노라마 카메라(10);
상기 파노라마 카메라(10)에 연동되어 상기 위치 정보를 기초로 상기 물체의 영상 정보를 취득하는 팬-틸트-줌 카메라(20); 그리고
상기 파노라마 카메라(10) 및 상기 팬-틸트-줌 카메라(20)를 제어하는 제어부(30);
를 포함하는, 선박용 원거리 물체 인식 시스템.A panoramic camera 10 installed on the ship 1 to acquire positional information of objects around the ship 1;
A pan-tilt-zoom camera (20) interlocked with the panorama camera (10) to acquire image information of the object based on the location information; And
A control unit 30 for controlling the panorama camera 10 and the pan-tilt-zoom camera 20;
Containing, a long-distance object recognition system for ships. 제 1 항에 있어서,
상기 제어부(30)는
상기 물체의 위치 정보를 이용하여 상기 팬-틸트-줌 카메라(20)의 방향을 조절하고, 상기 팬-틸트-줌 카메라(20)를 줌인/줌아웃하여 상기 물체를 촬영하는 촬영 조절부(31),
상기 촬영 조절부(31)에 연결되어 실시간으로 딥 러닝 방법으로 상기 물체의 종류, 거리 및 방위 중 어느 하나 이상의 영상 정보를 취득하는 딥 러닝부(32)
를 포함하는, 선박용 원거리 물체 인식 시스템.The method of claim 1,
The control unit 30
A photographing control unit 31 that adjusts the direction of the pan-tilt-zoom camera 20 using the location information of the object and zooms in/zooms out the pan-tilt-zoom camera 20 to photograph the object ,
A deep learning unit 32 connected to the photographing control unit 31 to acquire image information of any one or more of the type, distance, and orientation of the object by a deep learning method in real time.
Containing, a long-distance object recognition system for ships. 제 2 항에 있어서,
상기 제어부(30)에 연결되며 상기 물체의 영상 정보를 상기 선박(1)의 선원에게 알려주는 알림부(40)를 더 포함하는, 선박용 원거리 물체 인식 시스템.The method of claim 2,
Further comprising a notification unit 40 connected to the control unit 30 and notifying the crew of the ship 1 of the image information of the object. 제 2 항에 있어서,
상기 팬-틸트-줌 카메라(20)에 연결되며 상기 팬-틸트-줌 카메라(20)를 이동시키는 이동부(50)를 더 포함하는, 선박용 원거리 물체 인식 시스템.The method of claim 2,
Further comprising a moving unit 50 connected to the pan-tilt-zoom camera (20) and moving the pan-tilt-zoom camera (20). 제 1 항에 있어서,
상기 파노라마 카메라(10)는 복수개의 단렌즈 카메라(11)를 포함하는, 선박용 원거리 물체 인식 시스템.The method of claim 1,
The panoramic camera (10) comprises a plurality of single lens cameras (11), a long-distance object recognition system for ships. 파노라마 카메라(10)를 이용하여 선박(1) 주변의 물체의 위치 정보를 취득하는 단계; 그리고
상기 파노라마 카메라(10)에 연동되는 팬-틸트-줌 카메라(20)를 이용하여 상기 위치 정보를 기초로 상기 물체의 영상 정보를 취득하는 단계;
를 포함하는, 선박용 원거리 물체 인식 방법.Acquiring location information of objects around the ship 1 using the panoramic camera 10; And
Acquiring image information of the object based on the location information using a pan-tilt-zoom camera (20) linked to the panorama camera (10);
Containing, a method for recognizing a distant object for a ship. 제 6 항에 있어서,
상기 물체의 영상 정보를 취득하는 단계는
상기 물체의 위치 정보를 이용하여 상기 팬-틸트-줌 카메라(20)의 방향을 조절하고, 상기 팬-틸트-줌 카메라(20)를 줌인/줌아웃하여 상기 물체를 촬영하는 단계, 그리고
상기 촬영된 물체를 딥 러닝하여 상기 물체의 종류, 거리 및 방위 중 어느 하나 이상의 영상 정보를 취득하는 단계
를 포함하는, 선박용 원거리 물체 인식 방법.The method of claim 6,
Acquiring the image information of the object comprises:
Adjusting the direction of the pan-tilt-zoom camera 20 using the location information of the object, and zooming in/zooming out the pan-tilt-zoom camera 20 to photograph the object, and
Deep learning the photographed object to acquire image information of any one or more of the type, distance, and orientation of the object.
Containing, a method for recognizing a distant object for a ship. 제 6 항에 있어서,
상기 물체의 영상 정보를 상기 선박(1)의 선원에게 알려주는 단계를 더 포함하는, 선박용 원거리 물체 인식 방법.The method of claim 6,
Further comprising the step of notifying the image information of the object to the crew of the ship (1), a method for recognizing a distant object for a ship.
KR1020190135399A 2019-10-29 2019-10-29 Remote object recognition system and method for ship KR20210050868A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190135399A KR20210050868A (en) 2019-10-29 2019-10-29 Remote object recognition system and method for ship

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190135399A KR20210050868A (en) 2019-10-29 2019-10-29 Remote object recognition system and method for ship

Publications (1)

Publication Number Publication Date
KR20210050868A true KR20210050868A (en) 2021-05-10

Family

ID=75917262

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190135399A KR20210050868A (en) 2019-10-29 2019-10-29 Remote object recognition system and method for ship

Country Status (1)

Country Link
KR (1) KR20210050868A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822217A (en) * 2021-09-30 2021-12-21 杭州春来科技有限公司 Ship tail gas monitoring method based on AIS and video image analysis
CN114463640A (en) * 2022-04-08 2022-05-10 武汉理工大学 Multi-view ship identity recognition method with local feature fusion

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822217A (en) * 2021-09-30 2021-12-21 杭州春来科技有限公司 Ship tail gas monitoring method based on AIS and video image analysis
CN114463640A (en) * 2022-04-08 2022-05-10 武汉理工大学 Multi-view ship identity recognition method with local feature fusion

Similar Documents

Publication Publication Date Title
US8390686B2 (en) Surveillance camera apparatus and surveillance camera system
JP4241742B2 (en) Automatic tracking device and automatic tracking method
US11184539B2 (en) Intelligent dual-lens photographing device and photographing method therefor
CN102348102B (en) Roof safety monitoring system and method thereof
CN105718862A (en) Method, device and recording-broadcasting system for automatically tracking teacher via single camera
WO2014043973A1 (en) Calculation method for automatic locating angle of pan-tilt-zoom camera
CN1937766A (en) Surveillance camera apparatus and surveillance camera system
KR101328246B1 (en) Apparatus for tracking of moving target and the method thereof
JP2016177640A (en) Video monitoring system
KR20100129125A (en) Intelligent panorama camera, circuit and method for controlling thereof, and video monitoring system
KR20210050868A (en) Remote object recognition system and method for ship
JPWO2017056757A1 (en) Imaging apparatus and imaging method
KR20150076645A (en) Omnidirectional monitoring System for ship using PTZ Camera and Omnidirectional monitoring Method using The Same
CN112804454A (en) Wide area warning system and warning method thereof
KR101977635B1 (en) Multi-camera based aerial-view 360-degree video stitching and object detection method and device
CN114554093B (en) Image acquisition system and target tracking method
US20150296142A1 (en) Imaging system and process
KR101452342B1 (en) Surveillance Camera Unit And Method of Operating The Same
KR101630290B1 (en) Photographing Method For Producing Image Of Traced Moving Path And Apparatus Using The Same
JP2011109630A (en) Universal head for camera apparatus
JP2007067510A (en) Video image photography system
CN114401354A (en) Intelligent control method and system for over-the-horizon monitoring of offshore ship
CN109785562A (en) A kind of vertical photoelectricity ground based threats warning system and suspicious object recognition methods
KR20120122398A (en) camera device of array type and image making methode of array type
KR101738514B1 (en) Monitoring system employing fish-eye thermal imaging camera and monitoring method using the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal