KR20230160004A - 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 방법 및 시스템 - Google Patents

스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 방법 및 시스템 Download PDF

Info

Publication number
KR20230160004A
KR20230160004A KR1020220059505A KR20220059505A KR20230160004A KR 20230160004 A KR20230160004 A KR 20230160004A KR 1020220059505 A KR1020220059505 A KR 1020220059505A KR 20220059505 A KR20220059505 A KR 20220059505A KR 20230160004 A KR20230160004 A KR 20230160004A
Authority
KR
South Korea
Prior art keywords
video
caption
server
receiving server
receiving
Prior art date
Application number
KR1020220059505A
Other languages
English (en)
Inventor
서동환
배주원
정성범
신영재
신성인
Original Assignee
한국해양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국해양대학교 산학협력단 filed Critical 한국해양대학교 산학협력단
Priority to KR1020220059505A priority Critical patent/KR20230160004A/ko
Publication of KR20230160004A publication Critical patent/KR20230160004A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B17/00—Vessels parts, details, or accessories, not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63B—SHIPS OR OTHER WATERBORNE VESSELS; EQUIPMENT FOR SHIPPING 
    • B63B43/00—Improving safety of vessels, e.g. damage control, not otherwise provided for
    • B63B43/18—Improving safety of vessels, e.g. damage control, not otherwise provided for preventing collision or grounding; reducing collision damage
    • B63B43/20—Feelers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Ocean & Marine Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • General Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Public Health (AREA)
  • Alarm Systems (AREA)

Abstract

스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 방법 및 시스템이 제시된다. 본 발명에서 제안하는 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 시스템은 스마트 선박 내 또는 선박 주변 영상을 촬영하는 복수의 영상 촬영 장치, 상기 촬영된 영상에 대한 캡션을 생성하는 캡션 생성부를 포함하는 스마트 선박의 송신 서버, 상기 생성된 캡션을 수신 받아 상기 캡션의 위험 여부를 판단하는 상황 판단부를 포함하는 관제 센터의 수신 서버 및 상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청하여, 상기 수신 서버가 상기 송신 서버로부터 해당 영상을 수신 받으면, 상기 영상을 출력하는 관제 센터의 결과 출력부를 포함한다.

Description

스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 방법 및 시스템{Method and System for Monitoring Capable of Summarizing and Deciding Situation Information using Video Device of Smart Ships}
본 발명은 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 방법 및 시스템에 관한 것이다.
종래기술에 따르면 해상의 고정체를 통해 해상의 다양한 변화에도 육상과 연결하기 위한 선박과 육상 관제 센터 간 메시지 교환시스템(한국 등록특허 제10-1707401호 (2017.02.10)), 선박 내 구역의 안전관리를 위한 클라우드 기반의 선박 구역별 감지 및 네트워크 시스템(한국 등록특허 제10-1482924호 (2015.01.07)), 육상 관제소와 해상 구조물, 선박 간의 통신을 이용한 원격 운항 제어 시스템과 통신 방법(한국 등록특허 제10-1714512호 (2017.03.03))과 같은 기술들은 선박 내 상황을 센서 데이터를 통해 감지하거나 중개기를 통해 육상과 메시지 교환을 하는 방식들이며, 영상 정보를 사용해 사고를 찾아내거나 상황을 분석하는 기술에 대한 연구가 미흡하다.
육상에서 사용하는 종래의 시스템인 객체 정보 상황 요약 시스템(한국 등록특허 제10-2229261호 (2021.03.12))은 건물 내 이동 객체를 인식하고 객체들을 등록함으로써 객체들의 동향을 요약하는 시스템이며, 요약된 정보를 전달만 한다.
장거리를 항해하는 선박들의 경우 위성 통신을 통해 육상 관제 센터에 정보를 전송하는데, 위성 통신의 전송 속도가 육상에 비해 아주 느리며, 영상 정보를 전송하는 데 어려움이 있다. 또한, 최소한의 인력을 운용하는 자율 운항 선박이나 사람 없이 운항하는 무인 운항 선박에서는 넓은 선박 내부나 주변의 사고를 시각을 통해 빨리 발견하고 대처하는 데에 어려움이 있다.
한국 등록특허 제10-1707401호 (2017.02.10) 한국 등록특허 제10-1482924호 (2015.01.07) 한국 등록특허 제10-1714512호 (2017.03.03) 한국 등록특허 제10-2229261호 (2021.03.12) 한국 등록특허 제10-2003406호 (2019.07.18)
본 발명이 이루고자 하는 기술적 과제는 느린 위성 통신에도 스마트 선박의 영상 장치에서 획득하는 영상 정보를 사용하기 위해 선박 내 영상장비들에서 획득한 영상을 분석하여 캡션(다시 말해, 문장)으로 요약하는 캡셔닝 기술을 통해 영상의 정보를 문장으로 가공하고, 위성 통신을 통해 육상으로 전송된 문장을 기반으로 각 상황의 위험 여부를 판단하는 상황 판단 기술과 이를 기반으로 하는 모니터링 방법 및 시스템을 제공하는데 있다.
일 측면에 있어서, 본 발명에서 제안하는 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 시스템은 스마트 선박 내 또는 선박 주변 영상을 촬영하는 복수의 영상 촬영 장치, 상기 촬영된 영상에 대한 캡션을 생성하는 캡션 생성부를 포함하는 스마트 선박의 송신 서버, 상기 생성된 캡션을 수신 받아 상기 캡션의 위험 여부를 판단하는 상황 판단부를 포함하는 관제 센터의 수신 서버 및 상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청하여, 상기 수신 서버가 상기 송신 서버로부터 해당 영상을 수신 받으면, 상기 영상을 출력하는 관제 센터의 결과 출력부를 포함한다.
상기 송신 서버는 상기 복수의 영상 촬영 장치로부터 촬영된 영상에 대한 캡션을 생성하기 위해 메모리에 저장된 프로그램을 실행하고, 데이터 처리 또는 연산을 수행하여 상기 영상에 대한 캡션을 생성하고, 생성된 캡션을 상기 영상과 함께 메모리에 저장하는 캡션 생성부를 포함한다.
상기 수신 서버는 상기 송신 서버로부터 상기 복수의 영상 촬영 장치의 위치, 촬영 시간, 영상에 대한 캡션을 수신 받아 상기 캡션의 위험 여부를 판단하기 위해 메모리에 저장된 프로그램을 실행하고, 데이터 처리 또는 연산을 수행하여 상기 캡션의 위험 여부를 판단하고, 상기 판단 결과를 상기 캡션과 함께 메모리에 저장하며, 상기 판단 결과에 따라 분류하도록 카테고리화하는 상황 판단부를 포함한다.
상기 결과 출력부는 상기 수신 서버로부터 상기 복수의 영상 촬영 장치의 위치, 촬영 시간, 영상에 대한 캡션, 캡션의 위험 여부를 수신 받아 상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청하여, 상기 수신 서버가 상기 송신 서버로부터 해당 영상을 수신 받으면, 상기 영상을 시각, 청각적으로 제공하는 디스플레이 또는 오디오 중 적어도 어느 하나를 포함한다.
상기 결과 출력부는 상기 수신 서버로부터 상기 복수의 영상 촬영 장치의 위치, 촬영 시간, 영상에 대한 캡션, 캡션의 위험 여부를 수신 받아 메모리에 저장하고, 입력 모듈로부터 요청된 영상에 대해 상기 수신 서버로 해당 영상의 전송을 요청하고, 상기 수신 서버가 상기 송신 서버로부터 해당 영상을 수신 받으면 상기 영상을 수신 받는 통신 모듈, 상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청하는 입력 모듈, 상기 요청된 영상을 수신 받아 시각, 청각적으로 제공하는 디스플레이 또는 오디오 중 적어도 어느 하나를 통해 출력하는 출력 모듈을 포함한다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 방법은 스마트 선박의 송신 서버에서 캡션 생성부를 통해 복수의 영상 촬영 장치로부터 촬영된 영상에 대한 캡션을 생성하는 단계, 상기 생성된 캡션을 관제 센터의 수신 서버에서 수신하고, 상기 수신 서버의 상황 판단부를 통해 상기 생성된 캡션의 위험 여부를 판단하는 단계 및 관제 센터의 결과 출력부를 통해 상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청하고, 상기 수신 서버는 상기 송신 서버로부터 해당 영상을 수신 받아 상기 결과 출력부를 통해 출력하는 단계를 포함한다.
본 발명의 실시예들에 따르면 선박 내 영상장비들에서 획득한 영상을 분석하여 문장으로 요약하는 캡셔닝 기술, 송신 서버에서 전송받은 문장을 기반으로 각 상황의 위험 여부를 판단하는 상황 판단 기술을 통해 선박 내부 시설이나 선박 주변의 상황에 대한 영상 기반의 정보를 빠르게 획득할 수 있으며, 상황에 따라 영상을 전송 받음으로써 육상 관제 센터에서 더 유기적으로 상황을 대처할 수 있는 시스템을 구축할 수 있다. 더 나아가, 스스로 상황을 인지하고 대처할 수 있는 스마트 선박의 발전에 기여할 수 있다.
도 1은 본 발명의 일 실시예에 따른 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 스마트 선박 내의 영상 촬영 장치, 송신 서버 및 관제 센터의 수신 서버, 결과 출력부 각각의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 캡션 생성부를 통해 영상에 대한 캡션을 생성하는 과정을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 상황 판단부를 통해 캡션의 위험 여부를 판단하는 과정을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 결과 출력부를 통해 영상을 요청 및 출력하는 과정을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 송신 서버에 저장된 영상 및 캡션 정보를 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 수신 서버에 저장된 영상 및 캡션 정보를 설명하기 위한 도면이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 시스템의 구성을 나타내는 도면이다.
제안하는 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 시스템(100)은 스마트 선박(110)에 설치되는 복수의 영상 촬영 장치(111) 및 송신 서버(112), 관제 센터(120)의 수신 서버(121) 및 결과 출력부(122)를 포함한다.
본 발명의 실시예에 따른 복수의 영상 촬영 장치(111)는 스마트 선박 내 또는 선박 주변 영상을 촬영한다. 본 발명의 실시예에 따른 복수의 영상 촬영 장치(111)는 스마트 선박(110) 내부에 미리 정해진 영역 내에 배치될 수 있다. 이 때, 복수의 영상 촬영 장치(111)는 선박 내부나 주변 영상을 촬영할 수 있다. 예를 들어, CCTV를 포함할 수 있다.
본 발명의 실시예에 따른 송신 서버(112)는 복수의 영상 촬영 장치(111)를 통해 촬영된 영상에 대한 캡션을 생성하는 캡션 생성부를 포함한다. 본 발명의 실시예에 따른 송신 서버(112)는 스마트 선박(110) 내부에 위치하여, 복수의 영상 촬영 장치(111)와 유선 또는 무선으로 통신할 수 있다.
본 발명의 실시예에 따른 송신 서버(112)는 캡션 생성부를 포함하고, 상기 캡션 생성부는 상기 복수의 영상 촬영 장치(111)로부터 촬영된 영상에 대한 캡션(다시 말해, 문장)을 생성하기 위해 메모리에 저장된 프로그램을 실행하고, 데이터 처리 또는 연산을 수행하여 상기 영상에 대한 캡션을 생성한다. 상기 캡션 생성부는 생성된 캡션을 상기 영상과 함께 메모리에 저장한다.
본 발명의 실시예에 따른 수신 서버(121)는 송신 서버(112)의 캡션 생성부에서 생성된 캡션을 수신 받아 상기 캡션의 위험 여부를 판단하는 상황 판단부를 포함한다.
본 발명의 실시예에 따른 수신 서버(121)는 상황 판단부를 포함하고, 상기 상황 판단부는 상기 송신 서버(112)로부터 상기 복수의 영상 촬영 장치(111)의 위치, 촬영 시간, 영상에 대한 캡션을 수신 받아 상기 캡션의 위험 여부를 판단하기 위해 메모리에 저장된 프로그램을 실행하고, 데이터 처리 또는 연산을 수행하여 상기 캡션의 위험 여부를 판단한다. 상기 상황 판단부는 상기 판단 결과를 상기 캡션과 함께 메모리에 저장하며, 상기 판단 결과에 따라 분류하도록 카테고리화한다.
본 발명의 실시예에 따른 결과 출력부(122)는 수신 서버(121)의 상황 판단부에서 판단된 상기 위험 여부 판단 결과에 따라 상기 수신 서버(121)로 영상을 요청한다. 결과 출력부(122)는 상기 수신 서버(121)가 상기 송신 서버(112)로부터 해당 영상을 수신 받으면, 상기 영상을 출력한다.
본 발명의 실시예에 따른 결과 출력부(122)는 상기 수신 서버(121)로부터 상기 복수의 영상 촬영 장치(111)의 위치, 촬영 시간, 영상에 대한 캡션, 캡션의 위험 여부를 수신 받아 상기 위험 여부 판단 결과에 따라 상기 수신 서버(121)로 영상을 요청하여, 상기 수신 서버(121)가 상기 송신 서버(112)로부터 해당 영상을 수신 받으면, 상기 영상을 시각, 청각적으로 제공하는 디스플레이 또는 오디오 중 적어도 어느 하나를 포함한다.
본 발명의 실시예에 따른 결과 출력부(122)는 통신 모듈, 입력 모듈, 출력 모듈 및 메모리를 포함한다.
본 발명의 실시예에 따른 결과 출력부의 통신 모듈은 상기 수신 서버(121)로부터 상기 복수의 영상 촬영 장치(111)의 위치, 촬영 시간, 영상에 대한 캡션, 캡션의 위험 여부를 수신 받아 메모리에 저장한다. 상기 결과 출력부의 통신 모듈은 입력 모듈로부터 요청된 영상에 대해 상기 수신 서버(121)로 해당 영상의 전송을 요청하고, 상기 수신 서버(121)가 상기 송신 서버(112)로부터 해당 영상을 수신 받으면 상기 영상을 수신 받는다.
본 발명의 실시예에 따른 결과 출력부의 입력 모듈은 상기 위험 여부 판단 결과에 따라 상기 수신 서버(121)로 영상을 요청한다.
본 발명의 실시예에 따른 결과 출력부의 출력 모듈은 상기 요청된 영상을 수신 받아 시각, 청각적으로 제공하는 디스플레이 또는 오디오 중 적어도 어느 하나를 통해 출력한다. 도 2를 참조하여 본 발명의 일 실시예에 따른 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 시스템의 각각의 구성을 더욱 상세하게 설명한다.
도 2는 본 발명의 일 실시예에 따른 스마트 선박 내의 영상 촬영 장치, 송신 서버 및 관제 센터의 수신 서버, 결과 출력부 각각의 구성을 설명하기 위한 도면이다.
도 2(a)는 본 발명의 일 실시예에 따른 스마트 선박에 설치되는 복수의 영상 촬영 장치(210) 및 송신 서버(220)를 설명하기 위한 도면이다.
도 2(a)를 참조하면, 본 발명의 실시예에 따른 복수의 영상 촬영 장치(210)는 카메라 모듈(211), 통신 모듈(212), 메모리(213)를 포함한다.
본 발명의 실시예에 따른 카메라 모듈(211)은 스마트 선박 내 또는 선박 주변 영상을 촬영할 수 있으며, 미리 정해진 영역의 영상을 촬영할 수 있다. 주야간 촬영을 위해 적외선 센서, 플래시 등을 포함할 수 있다.
본 발명의 실시예에 따른 통신 모듈(212)은 스마트 선박 내부의 송신 서버(220)와 복수의 영상 촬영 장치(210) 간 통신을 수행할 수 있다. 통신 모듈(212)은 유선 또는 무선 통신 모듈을 포함하고 있으며, 이 중 어느 하나를 통해 외부와 통신을 수행할 수 있다.
본 발명의 실시예에 따른 메모리(213)는 카메라 모듈(211)에서 촬영된 영상 데이터를 저장할 수 있다. 그리고 메모리(213)는 휘발성, 비휘발성 메모리 중 어느 하나를 포함할 수 있다. 또한, 이전에 촬영한 영상들을 주기로 저장할 수 있으며, 복수의 영상 촬영 장치(210)의 위치에 대한 정보와 영상이 촬영된 시간 정보를 저장할 수 있다.
도 2(a)를 참조하면, 본 발명의 실시예에 따른 송신 서버(220)는 통신 모듈(221), 프로세서(222), 메모리(224)를 포함할 수 있다.
본 발명의 실시예에 따른 통신 모듈(221)은 스마트 선박 내부의 복수의 영상 촬영 장치(210)와 송신 서버(220) 간 통신을 수행할 수 있으며, 또한 도 1의 관제 센터와 통신을 수행할 수 있다. 통신 모듈(221)은 유선 또는 무선 통신 모듈을 포함하고 있으며, 이 중 어느 하나를 통해 외부와 통신을 수행할 수 있다.
본 발명의 실시예에 따른 메모리(224)는 복수의 영상 촬영 장치(210)에서 받은 영상, 영상 촬영 장치의 위치, 촬영 시간과 같은 정보들을 저장할 수 있다. 메모리(224)는 휘발성, 비휘발성 메모리 중 어느 하나를 포함할 수 있다. 또한, 프로그램이나 관련된 명령에 대한 입출력 데이터를 포함할 수 있다. 프로그램은 메모리(224)에 소프트웨어의 형태로 저장할 수 있으며, 프로그램을 통해 계산된 출력 데이터 또한 메모리(224)에 저장할 수 있다.
본 발명의 실시예에 따른 프로세서(222)는 복수의 영상 촬영 장치(210)에서 전송된 영상에 대한 캡션을 생성한다. 캡션 생성을 위해 메모리(224)에 저장된 프로그램을 실행하며, 이를 위한 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(222)은 입력한 영상에 대한 캡션을 생성할 수 있고, 이를 위한 캡션 생성부(223)을 포함하고 있다. 생성된 캡션은 메모리(224)에 저장되며, 입력한 영상과 함께 저장된다.
도 2(b)는 본 발명의 일 실시예에 따른 스마트 선박에 설치되는 송신 서버(220) 및 관제 센터의 수신 서버(230)를 설명하기 위한 도면이다. 도 2(b)의 송신 서버(220)의 내부 구조는 도 2(a)의 내용과 일치하다.
도 2(b)를 참조하면, 본 발명의 실시예에 따른 수신 서버(230)는 통신 모듈(231), 메모리(232), 프로세서(233)를 포함할 수 있다.
본 발명의 실시예에 따른 통신 모듈(231)은 스마트 선박 내부의 송신 서버(220)와 관제 센터 내부의 수신 서버(230) 간 통신을 수행할 수 있다. 통신 모듈은 무선 통신 모듈을 포함하고 있으며, 예를 들면, 송신 서버(220)와 수신 서버는(230) 무선 위성 통신을 통해 통신할 수 있다. 통신 모듈(231)에서 받는 데이터는 영상 촬영 장치의 위치, 촬영 시간, 영상에 대한 캡션을 포함할 수 있고, 메모리(232)에 저장된다.
본 발명의 실시예에 따른 메모리(232)는 통신 모듈(231)을 통해 수신된 데이터를 저장할 수 있다. 메모리(232)는 휘발성, 비휘발성 메모리 중 어느 하나를 포함할 수 있다. 또한, 프로그램이나 관련된 명령에 대한 입출력 데이터를 포함할 수 있다. 프로그램은 메모리(232)에 소프트웨어의 형태로 저장할 수 있으며, 프로그램을 통해 계산된 출력 데이터 또한 메모리에 저장할 수 있다.
본 발명의 실시예에 따른 프로세서(233)는 송신 서버(220)에서 전송된 캡션에 대한 상황을 판단한다. 상황 판단을 위해 메모리(232)에 저장된 프로그램을 실행하며, 이를 위한 데이터 처리 또는 연산을 수행할 수 있다. 프로세서(233)는 캡션에 대해 상황을 판단할 수 있고, 이를 위한 상황 판단부(234)를 포함할 수 있다. 출력 결과는 입력한 캡션과 함께 메모리(232)에 저장되며, 출력 결과에 따라 분류할 수 있도록 카테고리화 할 수 있다.
도 2(c)는 본 발명의 일 실시예에 따른 관제 센터의 수신 서버(230) 및 결과 출력부(240)를 설명하기 위한 도면이다. 도 2(c)의 수신 서버(230)의 내부 구조는 도 2(b)의 내용과 일치하다.
도 2(c)를 참조하면, 본 발명의 실시예에 따른 결과 출력부(240)는 통신 모듈(241), 출력 모듈(242), 입력 모듈(243), 메모리(244)를 포함할 수 있다.
본 발명의 실시예에 따른 통신 모듈(241)은 관제 센터의 수신 서버(230)와 결과 출력부(240) 간 통신을 수행할 수 있으며, 유선 또는 무선 통신 모듈을 포함하고 있다. 통신 모듈(241)에서 받는 데이터는 영상 촬영 장치의 위치, 촬영 시간, 영상에 대한 캡션, 위험 여부로 구성되어 있으며, 메모리(244)에 저장된다.
본 발명의 실시예에 따른 출력 모듈(242)은 외부로 정보를 제공하는 역할을 수행한다. 출력 모듈(242)은 정보를 시각, 청각적으로 제공하는 디스플레이, 오디오 중 적어도 어느 하나를 포함할 수 있다. 또한, 사용자의 요청으로 송신 서버(220)으로부터 받은 영상을 출력할 수 있다. 예를 들어, 요청된 영상은 디스플레이를 통해 출력하며, 저장된 음성 또한 오디오를 통해 출력할 수 있다.
본 발명의 실시예에 따른 입력 모듈(242)은 출력 모듈(242)의 내용물을 사용자가 요청할 경우 스마트 선박 내 송신 서버(2200)로 영상 데이터를 요청하기 위해 사용한다. 입력 모듈(243)은 버튼이나 키보드, 마우스 중 적어도 어느 하나를 포함할 수 있다. 일 실시예로, 입력 모듈(243)을 통해 출력 모듈(2420)의 UI로 영상 요청을 실시하기 위해 입력 모듈(243)을 통하여 접근할 수 있다.
본 발명의 실시예에 따른 메모리(244)은 출력 모듈(242)이나 입력 모듈(243)에서 사용되는 모든 데이터와 프로그램을 저장할 수 있다. 메모리(244)는 휘발성, 비휘발성 메모리 중 어느 하나를 포함할 수 있다. 또한, 프로그램이나 관련된 명령에 대한 입출력 데이터를 포함할 수 있으며, 수신 서버(230)의 메모리(232)의 정보를 백업하면서 동시에, 송신 서버(220)에서 전송된 영상을 대응하는 데이터에 상응하도록 함께 저장할 수 있다.
도 3은 본 발명의 일 실시예에 따른 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 방법을 설명하기 위한 흐름도이다.
제안하는 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 방법은 스마트 선박의 송신 서버에서 캡션 생성부를 통해 영상에 대한 캡션을 생성하는 단계(310), 상기 생성된 캡션을 관제 센터의 수신 서버에서 수신하고, 상기 수신 서버의 상황 판단부를 통해 상기 생성된 캡션의 위험 여부를 판단하는 단계(320) 및 관제 센터의 결과 출력부를 통해 상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청하고, 상기 수신 서버는 상기 송신 서버로부터 해당 영상을 수신 받아 상기 결과 출력부를 통해 출력하는 단계(330)를 포함한다.
단계(310)에서, 스마트 선박의 송신 서버에서 캡션 생성부를 통해 복수의 영상 촬영 장치로부터 촬영된 영상에 대한 캡션을 생성한다.
본 발명의 실시예에 따르면, 상기 복수의 영상 촬영 장치로부터 촬영된 영상에 대한 캡션을 생성하기 위해 메모리에 저장된 프로그램을 실행하고, 데이터 처리 또는 연산을 수행하여 상기 영상에 대한 캡션을 생성하고, 생성된 캡션을 상기 영상과 함께 메모리에 저장한다.
단계(320)에서, 상기 생성된 캡션을 관제 센터의 수신 서버에서 수신하고, 상기 수신 서버의 상황 판단부를 통해 상기 생성된 캡션의 위험 여부를 판단한다.
본 발명의 실시예에 따르면, 상기 송신 서버로부터 상기 복수의 영상 촬영 장치의 위치, 촬영 시간, 영상에 대한 캡션을 수신 받아 상기 캡션의 위험 여부를 판단하기 위해 메모리에 저장된 프로그램을 실행하고, 데이터 처리 또는 연산을 수행하여 상기 캡션의 위험 여부를 판단한다. 상기 판단 결과를 상기 캡션과 함께 메모리에 저장하며, 상기 판단 결과에 따라 분류하도록 카테고리화한다.
단계(330)에서, 관제 센터의 결과 출력부를 통해 상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청하고, 상기 수신 서버는 상기 송신 서버로부터 해당 영상을 수신 받아 상기 결과 출력부를 통해 출력하는 단계(330)
본 발명의 실시예에 따르면, 상기 수신 서버로부터 상기 복수의 영상 촬영 장치의 위치, 촬영 시간, 영상에 대한 캡션, 캡션의 위험 여부를 수신 받아 상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청한다. 상기 수신 서버가 상기 송신 서버로부터 해당 영상을 수신 받으면, 상기 영상을 디스플레이 또는 오디오 중 적어도 어느 하나를 통해 시각, 청각적으로 제공한다.
본 발명의 실시예에 따르면, 단계(320)는 통신 모듈이 상기 수신 서버로부터 상기 복수의 영상 촬영 장치의 위치, 촬영 시간, 영상에 대한 캡션, 캡션의 위험 여부를 수신 받아 메모리에 저장하는 단계, 입력 모듈이 상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청하는 단계, 통신 모듈이 입력 모듈로부터 요청된 영상에 대해 상기 수신 서버로 해당 영상의 전송을 요청하고, 상기 수신 서버가 상기 송신 서버로부터 해당 영상을 수신 받으면 상기 영상을 수신 받는 단계 및 출력 모듈이 상기 요청된 영상을 수신 받아 시각, 청각적으로 제공하는 디스플레이 또는 오디오 중 적어도 어느 하나를 통해 출력하는 단계를 포함한다. 도 4를 참조하여 본 발명의 일 실시예에 따른 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 방법의 각 단계를 더욱 상세하게 설명한다.
도 4는 본 발명의 일 실시예에 따른 캡션 생성부를 통해 영상에 대한 캡션을 생성하는 과정을 설명하기 위한 흐름도이다.
본 발명의 일 실시예에 따른 스마트 선박의 송신 서버에서 캡션 생성부를 통해 복수의 영상 촬영 장치로부터 촬영된 영상에 대한 캡션을 생성하는 단계는 영상 획득 단계(410) 및 영상 캡션을 생성하는 단계(420)를 포함한다.
본 발명의 일 실시예에 따르면, 복수의 영상 촬영 장치에서 수집된 영상을 영상 촬영 장치의 통신 모듈을 통해 송신 서버로 전송한다(410). 이후, 수집된 영상을 이용하여 영상 캡션을 생성할 수 있다(420).
영상 캡션을 생성하는 단계(420)에서 송신 서버의 캡션 생성부를 통해 영상에 대한 캡션을 생성할 수 있다. 이 때, 송신 서버의 프로세서에 저장된 프로그램을 사용하여 영상 데이터에 대한 캡션을 딥러닝 네트워크를 통해 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 상황 판단부를 통해 캡션의 위험 여부를 판단하는 과정을 설명하기 위한 흐름도이다.
본 발명의 일 실시예에 따른 수신 서버의 상황 판단부를 통해 캡션의 위험 여부를 판단하는 단계는 전송된 캡션을 획득하는 단계(510), 캡션 기반 상황 위험 여부 판단 단계(520), 위험 정보 저장 단계(530)를 포함한다.
본 발명의 일 실시예에 따르면, 송신 서버로부터 복수의 영상 촬영 장치의 위치, 촬영 시간과 영상에 대해 생성된 캡션 정보를 수신 서버에서 획득할 수 있다(510). 이를 통해, 영상에 대한 캡션을 획득할 수 있다.
이후, 수신 서버의 상황 판단부에서 캡션의 내용에 따라 위험 여부를 판단할 수 있다(520). 이 때, 수신 서버의 프로세서에 저장된 프로그램을 사용하여 캡션의 내용에 대한 위험 판단 결과를 딥러닝 네트워크를 통해 생성할 수 있다.
위험 여부 판단 결과를 수신 서버의 메모리에 저장할 수 있다(530). 이 때, 결과에 따라 메모리에 저장된 데이터를 그룹화할 수 있도록 카테고리화할 수 있다.
도 6은 본 발명의 일 실시예에 따른 결과 출력부를 통해 영상을 요청 및 출력하는 과정을 설명하기 위한 흐름도이다.
본 발명의 일 실시예에 따른 관제 센터의 결과 출력부가 위험 여부 판단 결과에 따라 수신 서버로 영상을 요청하고, 수신 서버가 송신 서버로부터 해당 영상을 수신 받아 결과 출력부를 통해 출력하는 단계에서 결과 출력부가 수신 서버로부터 전송된 데이터를 메모리에 저장하고 출력 모듈을 통해 캡션과 위험 여부를 출력할 수 있다(610).
입력 모듈을 통해 사용자가 영상 전송을 요청할 수 있고, 사용자가 영상 전송을 요청하지 않을 경우 결과 출력부는 단계(610)으로 돌아갈 수 있고, 영상 전송을 요청할 경우 단계(630)으로 이동할 수 있다.
단계(630)에서 결과 출력부 통신 모듈은 수신 서버의 통신 모듈로 영상의 전송을 요청하고, 수신 서버는 송신 서버의 통신 모듈로 요청하여 영상 데이터를 받을 수 있게 한다.
단계(640)에서 송신 서버의 통신 모듈에서 위성 통신과 같은 무선 통신을 통해 영상을 전송하고 수신 서버를 거쳐 결과 출력부로 영상 데이터를 전송한다.
단계(650)에서 결과 출력부의 메모리에 영상 정보를 저장하고, 단계(660)에서 출력 모듈에 영상을 디스플레이한다.
이와 같이, 결과 출력부는 캡션에 따른 영상 데이터 전송을 요청할 수 있고 사용자가 원할 때 영상을 확인할 수 있다. 예를 들어, 이전에 전송 받은 영상에 대한 정보를 입력 모듈과 출력 모듈을 통해 검색하고, 출력 모듈에서 이전의 영상을 확인할 수 있다.
도 7은 본 발명의 일 실시예에 따른 송신 서버에 저장된 영상 및 캡션 정보를 설명하기 위한 도면이다.
본 발명의 실시예에 따르면, 송신 서버에 저장된 데이터는 영상 촬영 장치의 정보인 영상장치 ID와, 촬영된 시간, 촬영한 영상, 촬영한 영상에 대한 캡션인 내용으로 저장된다. 이 정보들 중 영상을 제외한 정보는 관제 센터에 있는 수신 서버로 그대로 전송할 수 있다. 또한, 영상 데이터가 수신 서버를 통해 요청될 경우, 영상 정보만을 다시 수신 서버를 통해 결과 출력부로 전송할 수 있다.
도 8은 본 발명의 일 실시예에 따른 수신 서버에 저장된 영상 및 캡션 정보를 설명하기 위한 도면이다.
본 발명의 실시예에 따르면, 수신 서버에 저장된 데이터는 송신 서버에서 전송되는 정보인 영상장치 ID와, 촬영된 시간, 촬영한 영상, 촬영한 영상에 대한 캡션인 내용과 상황 판단부를 통해 출력된 위험 여부에 대한 정보가 저장된다.
본 발명의 실시 예에 있어, 다양한 크기의 입력 영상에 대해 동일한 장치 및 방법을 사용할 수 있다.
본 발명의 구성에 따르면, 선박 내외부 상황에 대한 영상 정보를 저용량의 자연어 문장으로 빠르게 얻을 수 있으며 필요에 따라 영상을 전송함으로써 관제 센터에서 상황 대처 시 시각 정보를 포함하여 보다 유기적으로 처리할 수 있다는 이점이 있다. 이를 통해 선원이 직접 눈으로 파악하지 못한 선박 내 사고나 화재 같은 치명적인 사고를 정확하고 안전하게 처리하는 것에 큰 기여를 할 것으로 기대된다. 더 나아가 본 발명을 통해 스스로 선박의 상황을 인지하고 선박이 스스로 효율적인 사고대처를 할 수 있는 무인 스마트선박으로 발전할 것으로 기대된다.
본 발명에서 제안하는 하드웨어 시스템은 다음과 같다. 선박에는 실시간의 영상 요약문을 생성하는 신경망 모델에 적합한 연산 부분이 강화된 서버 장비를 요구하며, 장시간 문장과 영상을 저장 가능한 일반적인 수준의 저장장치를 필요로 할 수 있다. 육상 관제 센터에는 자연어 문장을 입력해 위험 여부를 판단하는 신경망 모델에 적합한 연산 부분이 강화된 서버 장비를 요구하며, 장시간 문장과 영상을 저장 가능한 일반적인 수준의 저장장치를 필요로 할 수 있다. 선박 내 선박 내부나 외부를 촬영하는 CCTV와 같은 다중의 영상장비들을 바탕으로 할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다.　 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다.　 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다.　 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다.　 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다.　 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다.　 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.　 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.　 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.　 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.　 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

  1. 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단 모니터링 시스템에 있어서,
    스마트 선박 내 또는 선박 주변 영상을 촬영하는 복수의 영상 촬영 장치;
    상기 촬영된 영상에 대한 캡션을 생성하는 캡션 생성부를 포함하는 스마트 선박의 송신 서버;
    상기 생성된 캡션을 수신 받아 상기 캡션의 위험 여부를 판단하는 상황 판단부를 포함하는 관제 센터의 수신 서버; 및
    상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청하여, 상기 수신 서버가 상기 송신 서버로부터 해당 영상을 수신 받으면, 상기 영상을 출력하는 관제 센터의 결과 출력부
    를 포함하는 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단 모니터링 시스템.
  2. 제1항에 있어서,
    상기 송신 서버는,
    상기 복수의 영상 촬영 장치로부터 촬영된 영상에 대한 캡션을 생성하기 위해 메모리에 저장된 프로그램을 실행하고, 데이터 처리 또는 연산을 수행하여 상기 영상에 대한 캡션을 생성하고, 생성된 캡션을 상기 영상과 함께 메모리에 저장하는 캡션 생성부
    를 포함하는 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단 모니터링 시스템.
  3. 제1항에 있어서,
    상기 수신 서버는,
    상기 송신 서버로부터 상기 복수의 영상 촬영 장치의 위치, 촬영 시간, 영상에 대한 캡션을 수신 받아 상기 캡션의 위험 여부를 판단하기 위해 메모리에 저장된 프로그램을 실행하고, 데이터 처리 또는 연산을 수행하여 상기 캡션의 위험 여부를 판단하고, 상기 판단 결과를 상기 캡션과 함께 메모리에 저장하며, 상기 판단 결과에 따라 분류하도록 카테고리화하는 상황 판단부
    를 포함하는 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단 모니터링 시스템.
  4. 제1항에 있어서,
    상기 결과 출력부는,
    상기 수신 서버로부터 상기 복수의 영상 촬영 장치의 위치, 촬영 시간, 영상에 대한 캡션, 캡션의 위험 여부를 수신 받아 상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청하여, 상기 수신 서버가 상기 송신 서버로부터 해당 영상을 수신 받으면, 상기 영상을 시각, 청각적으로 제공하는 디스플레이 또는 오디오 중 적어도 어느 하나를 포함하는
    스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단 모니터링 시스템.
  5. 제4항에 있어서,
    상기 결과 출력부는,
    상기 수신 서버로부터 상기 복수의 영상 촬영 장치의 위치, 촬영 시간, 영상에 대한 캡션, 캡션의 위험 여부를 수신 받아 메모리에 저장하고, 입력 모듈로부터 요청된 영상에 대해 상기 수신 서버로 해당 영상의 전송을 요청하고, 상기 수신 서버가 상기 송신 서버로부터 해당 영상을 수신 받으면 상기 영상을 수신 받는 통신 모듈;
    상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청하는 입력 모듈;
    상기 요청된 영상을 수신 받아 시각, 청각적으로 제공하는 디스플레이 또는 오디오 중 적어도 어느 하나를 통해 출력하는 출력 모듈
    을 포함하는 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단 모니터링 시스템.
  6. 스마트 선박의 송신 서버에서 캡션 생성부를 통해 복수의 영상 촬영 장치로부터 촬영된 영상에 대한 캡션을 생성하는 단계;
    상기 생성된 캡션을 관제 센터의 수신 서버에서 수신하고, 상기 수신 서버의 상황 판단부를 통해 상기 생성된 캡션의 위험 여부를 판단하는 단계; 및
    관제 센터의 결과 출력부를 통해 상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청하고, 상기 수신 서버는 상기 송신 서버로부터 해당 영상을 수신 받아 상기 결과 출력부를 통해 출력하는 단계
    를 포함하는 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단 모니터링 방법.
  7. 제6항에 있어서,
    상기 스마트 선박의 송신 서버에서 캡션 생성부를 통해 영상에 대한 캡션을 생성하는 단계는,
    상기 복수의 영상 촬영 장치로부터 촬영된 영상에 대한 캡션을 생성하기 위해 메모리에 저장된 프로그램을 실행하고, 데이터 처리 또는 연산을 수행하여 상기 영상에 대한 캡션을 생성하고, 생성된 캡션을 상기 영상과 함께 메모리에 저장하는
    스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단 모니터링 방법.
  8. 제6항에 있어서,
    상기 상기 생성된 캡션을 관제 센터의 수신 서버에서 수신하고, 상기 수신 서버의 상황 판단부를 통해 상기 생성된 캡션의 위험 여부를 판단하는 단계는,
    상기 송신 서버로부터 상기 복수의 영상 촬영 장치의 위치, 촬영 시간, 영상에 대한 캡션을 수신 받아 상기 캡션의 위험 여부를 판단하기 위해 메모리에 저장된 프로그램을 실행하고, 데이터 처리 또는 연산을 수행하여 상기 캡션의 위험 여부를 판단하고, 상기 판단 결과를 상기 캡션과 함께 메모리에 저장하며, 상기 판단 결과에 따라 분류하도록 카테고리화하는
    스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단 모니터링 방법.
  9. 제6항에 있어서,
    상기 관제 센터의 결과 출력부를 통해 상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청하고, 상기 수신 서버는 상기 송신 서버로부터 해당 영상을 수신 받아 상기 결과 출력부를 통해 출력하는 단계는,
    상기 수신 서버로부터 상기 복수의 영상 촬영 장치의 위치, 촬영 시간, 영상에 대한 캡션, 캡션의 위험 여부를 수신 받아 상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청하여, 상기 수신 서버가 상기 송신 서버로부터 해당 영상을 수신 받으면, 상기 영상을 디스플레이 또는 오디오 중 적어도 어느 하나를 통해 시각, 청각적으로 제공하는
    스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단 모니터링 방법.
  10. 제9항에 있어서,
    상기 관제 센터의 결과 출력부를 통해 상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청하고, 상기 수신 서버는 상기 송신 서버로부터 해당 영상을 수신 받아 상기 결과 출력부를 통해 출력하는 단계는,
    통신 모듈이 상기 수신 서버로부터 상기 복수의 영상 촬영 장치의 위치, 촬영 시간, 영상에 대한 캡션, 캡션의 위험 여부를 수신 받아 메모리에 저장하는 단계;
    입력 모듈이 상기 위험 여부 판단 결과에 따라 상기 수신 서버로 영상을 요청하는 단계;
    통신 모듈이 입력 모듈로부터 요청된 영상에 대해 상기 수신 서버로 해당 영상의 전송을 요청하고, 상기 수신 서버가 상기 송신 서버로부터 해당 영상을 수신 받으면 상기 영상을 수신 받는 단계 및
    출력 모듈이 상기 요청된 영상을 수신 받아 시각, 청각적으로 제공하는 디스플레이 또는 오디오 중 적어도 어느 하나를 통해 출력하는 단계
    를 포함하는 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단 모니터링 방법.
KR1020220059505A 2022-05-16 2022-05-16 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 방법 및 시스템 KR20230160004A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220059505A KR20230160004A (ko) 2022-05-16 2022-05-16 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220059505A KR20230160004A (ko) 2022-05-16 2022-05-16 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20230160004A true KR20230160004A (ko) 2023-11-23

Family

ID=88974493

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220059505A KR20230160004A (ko) 2022-05-16 2022-05-16 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20230160004A (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030000406A (ko) 2001-06-25 2003-01-06 한국타이어 주식회사 타이어 트래드용 고무 조성물
KR101482924B1 (ko) 2014-05-13 2015-01-15 주식회사 다이나맥스 시놉시스 영상을 생성하여 영상감시 기능을 수행하는 cctv 통합관제시스템
KR101707401B1 (ko) 2015-12-02 2017-02-15 대우조선해양 주식회사 자율 운항 선박을 위한 메시지 교환시스템
KR101714512B1 (ko) 2015-04-07 2017-03-09 대우조선해양 주식회사 원격 운항 제어시스템 및 그의 통신 방법
KR102229261B1 (ko) 2019-12-23 2021-03-17 한국해양대학교 산학협력단 복수 개의 카메라 모듈들을 이용한 객체 관련 상황 요약 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030000406A (ko) 2001-06-25 2003-01-06 한국타이어 주식회사 타이어 트래드용 고무 조성물
KR101482924B1 (ko) 2014-05-13 2015-01-15 주식회사 다이나맥스 시놉시스 영상을 생성하여 영상감시 기능을 수행하는 cctv 통합관제시스템
KR101714512B1 (ko) 2015-04-07 2017-03-09 대우조선해양 주식회사 원격 운항 제어시스템 및 그의 통신 방법
KR101707401B1 (ko) 2015-12-02 2017-02-15 대우조선해양 주식회사 자율 운항 선박을 위한 메시지 교환시스템
KR102229261B1 (ko) 2019-12-23 2021-03-17 한국해양대학교 산학협력단 복수 개의 카메라 모듈들을 이용한 객체 관련 상황 요약 장치 및 방법

Similar Documents

Publication Publication Date Title
US10614310B2 (en) Behavior recognition
Doshi et al. From satellite imagery to disaster insights
CN108256404B (zh) 行人检测方法和装置
US20190188573A1 (en) Training of artificial neural networks using safe mutations based on output gradients
Lestari et al. Fire hotspots detection system on CCTV videos using you only look once (YOLO) method and tiny YOLO model for high buildings evacuation
KR20220081968A (ko) 카메라 설치 환경 및 목적에 따른 영상 데이터 분석을 위한 추천 인공지능 모델 제공방법
CN112183166A (zh) 确定训练样本的方法、装置和电子设备
KR102155724B1 (ko) 심층신경망을 이용한 선박 내 객체의 위험 검출 방법 및 시스템
KR101963404B1 (ko) 2-단계 최적화 딥 러닝 방법, 이를 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 및 딥 러닝 시스템
KR101996371B1 (ko) 영상 캡션 생성 시스템과 방법 및 이를 위한 컴퓨터 프로그램
Sadewa et al. Fire detection using image processing techniques with convolutional neural networks
US20220076018A1 (en) Determining Regions of Interest for Photographic Functions
CN114218992A (zh) 异常对象的检测方法及相关装置
KR102156279B1 (ko) 반려 동물의 위험 행동의 검출 및 억제 방법 및 이를 위한 자동화된 카메라-기반 시스템
Sharma et al. SharkSpotter: Shark detection with drones for human safety and environmental protection
KR20230160004A (ko) 스마트 선박 내 영상장치들을 이용한 상황 정보 요약 및 판단이 가능한 모니터링 방법 및 시스템
KR102556447B1 (ko) 패턴 분석을 통한 상황 판단 시스템
Chen et al. Implementation of fire and smoke detection using deepstream and edge computing approachs
KR102411278B1 (ko) 멀티-모달 비디오 캡셔닝 기반 영상 보안 시스템 및 방법
US20230095027A1 (en) System and method for reducing surveillance detection errors
US11314968B2 (en) Information processing apparatus, control method, and program
CN114708429A (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
Kristiani et al. Flame and smoke recognition on smart edge using deep learning
CN112883856A (zh) 一种监控方法、装置、电子设备和存储介质
KR102659216B1 (ko) 망 분리 기반의 비상 상황을 전파하기 위한 장치 및 이를 위한 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal