KR20230166219A - Image processing system and method for collecting/storing ship images - Google Patents

Image processing system and method for collecting/storing ship images Download PDF

Info

Publication number
KR20230166219A
KR20230166219A KR1020220065874A KR20220065874A KR20230166219A KR 20230166219 A KR20230166219 A KR 20230166219A KR 1020220065874 A KR1020220065874 A KR 1020220065874A KR 20220065874 A KR20220065874 A KR 20220065874A KR 20230166219 A KR20230166219 A KR 20230166219A
Authority
KR
South Korea
Prior art keywords
video
image
frames
data
color
Prior art date
Application number
KR1020220065874A
Other languages
Korean (ko)
Inventor
구정민
Original Assignee
한화오션 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화오션 주식회사 filed Critical 한화오션 주식회사
Priority to KR1020220065874A priority Critical patent/KR20230166219A/en
Publication of KR20230166219A publication Critical patent/KR20230166219A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/20—Adaptations for transmission via a GHz frequency band, e.g. via satellite

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

선내에서 촬영한 영상을 텍스트 형태로 변환함으로써 많은 양의 영상 데이터를 선박 내의 플랫폼 서버에 저장하고, 대역폭이 크지 않은 위성통신망을 통해 육상으로 전송할 수 있도록 한 선박 영상의 수집/저장을 위한 영상 처리 시스템 및 방법에 관한 것으로서, 선내의 주요 지역에 배치되어 영상을 획득하는 CCTV의 선내 영상 및 무선 액세스 포인트(AP)를 통해 전달되는 무선 단말기를 통해 획득한 영상 데이터를 수신하고, 수신한 영상의 프레임을 축소하며, 축소한 영상의 프레임에 대하여 일정 간격의 프레임을 기준으로 각각의 영상 프레임의 변화된 부분만 저장하여 영상을 압축하고, 압축한 영상 프레임 이미지의 컬러를 단순화하기 위한 마스크로 매핑하여 영상 이미지를 구성하는 색상의 구성을 최소화하고, 연속된 색상은 생략한 텍스트로 변환하여 영상 데이터의 용량을 최소화하며, 용량이 최소화된 영상 데이터를 저장하고, 저장한 영상 데이터를 위성통신을 통해 육상 시스템으로 전송한다.An image processing system for collecting/storing ship images that converts images taken on board the ship into text format, stores a large amount of video data on the ship's platform server, and transmits it to land through a satellite communication network with a limited bandwidth. and a method for receiving video data acquired through a wireless terminal transmitted through a wireless access point (AP) and onboard video from a CCTV deployed in key areas of the ship to acquire video, and dividing the frames of the received video into The video is compressed by saving only the changed parts of each video frame based on frames at regular intervals for the frames of the reduced video, and the video image is mapped to a mask to simplify the color of the compressed video frame image. Minimize the color composition, minimize the size of image data by converting continuous colors into text with omitted text, store image data with minimized capacity, and transmit the saved image data to the land system through satellite communication. do.

Figure P1020220065874
Figure P1020220065874

Description

선박 영상의 수집/저장을 위한 영상 처리 시스템 및 방법{Image processing system and method for collecting/storing ship images}Image processing system and method for collecting/storing ship images}

본 발명은 선박 영상의 수집/저장을 위한 영상 처리 시스템 및 방법에 관한 것으로, 특히 선내에서 촬영한 영상을 텍스트 형태로 변환함으로써 많은 양의 영상 데이터를 선박 내의 플랫폼 서버에 저장하고, 대역폭이 크지 않은 위성통신망을 통해 육상으로 전송할 수 있도록 한 선박 영상의 수집/저장을 위한 영상 처리 시스템 및 방법에 관한 것이다.The present invention relates to an image processing system and method for collecting/storing ship images. In particular, by converting images taken on board the ship into text form, a large amount of video data is stored on a platform server within the ship, and bandwidth is not large. This relates to an image processing system and method for collecting/storing ship images that can be transmitted on land through a satellite communication network.

일반적으로, 선박 내의 사고 이력 관리 시스템은 선박의 상황을 전반적으로 감시하여 정보를 전시/저장/이력을 관리하여 선박의 안전 운항을 위한 예방 예측 자료로 활용하기 위한 정보를 제공한다. 선박의 상태, 원격 기상 데이터는 DAU(Data Acquisition Unit)를 통해 입력되고, 선박유지, 보수 관리 신호와, 위험 감시 신호, CCTV 신호는 입력부를 통하여 신호가 제공된다. 이러한 상태 및 감시 신호는 신호변환처리를 거쳐 저장장치에 저장된다. In general, an accident history management system within a ship monitors the overall situation of the ship and displays/saves/manages information to provide information to be used as preventive and predictive data for safe operation of the ship. The ship's status and remote weather data are input through the DAU (Data Acquisition Unit), and ship maintenance and repair management signals, risk monitoring signals, and CCTV signals are provided through the input unit. These status and monitoring signals go through signal conversion processing and are stored in a storage device.

특히, 선내의 주요 구역에 배치된 CCTV 카메라를 이용하여 촬영한 영상은 선내에 있는 CCTV 캐비닛의 NVR(Network Video Recorder)에 저장되고, 선내의 환경 데이터는 VDR(Voyage Data Recorder)에 저장된다.In particular, videos captured using CCTV cameras placed in key areas of the ship are stored in the Network Video Recorder (NVR) of the CCTV cabinet on board, and environmental data on board the ship are stored in the Voyage Data Recorder (VDR).

여기서 VDR의 경우, 저장 용량의 한계로 음성 데이터나 텍스트 형태의 운항 관련 데이터만을 저장하므로 해상 사고 발생 시 이 데이터를 활용하여 상황을 추정하는 방식이므로, 사고 원인 규명에 시간이 많이 소요되고 정확성이 떨어지는 단점이 있다.Here, in the case of VDR, only navigation-related data in the form of voice data or text is stored due to limitations in storage capacity, so this data is used to estimate the situation when a maritime accident occurs, so it takes a lot of time to identify the cause of the accident and has low accuracy. There is a downside.

아울러 위성통신망을 이용하여 육상에 CCTV 영상을 전송하기 위해서는 별도의 인코더를 이용하며, 위성 전송 시 높은 대역폭이 필요하다.In addition, in order to transmit CCTV images on land using a satellite communication network, a separate encoder is used, and high bandwidth is required for satellite transmission.

따라서 추가적인 인코더 구입 비용이 발생하고, 높은 대역폭을 이용해야 하는 제한이 있다.Therefore, the cost of purchasing an additional encoder is incurred and there is a limitation in using high bandwidth.

해상의 선박 네트워크 환경은 제한적인 대역폭을 가진 위성통신을 사용하므로, 대용량의 영상데이터를 육상으로 전송하기에는 부적합하다.The maritime ship network environment uses satellite communication with limited bandwidth, making it unsuitable for transmitting large amounts of video data to land.

대한민국 등록특허 10-1310071호(2013.09.12. 등록)(멀티미디어 기반의 선박 사고 이력 관리시스템 및 방법)Republic of Korea Patent No. 10-1310071 (registered on September 12, 2013) (multimedia-based ship accident history management system and method) 대한민국 등록특허 10-2146365호(2020.08.13. 등록)(선내와 육상에서 선박의 효율적 운영을 위한 통합 정보 시스템)Republic of Korea Patent No. 10-2146365 (registered on August 13, 2020) (Integrated information system for efficient operation of ships on board and on land)

따라서 본 발명은 상기와 같은 일반적인 선박에서 선내 영상을 위성통신을 통해 육상시스템으로 전송할 때 발생하는 제반 문제점을 해결하기 위해서 제안된 것으로서, 선내에서 촬영한 영상을 텍스트 형태로 변환함으로써 많은 양의 영상 데이터를 선박 내의 플랫폼 서버에 저장하고, 대역폭이 크지 않은 위성통신망을 통해 육상으로 전송할 수 있도록 한 선박 영상의 수집/저장을 위한 영상 처리 시스템 및 방법을 제공하는 데 그 목적이 있다.Therefore, the present invention was proposed to solve all problems that occur when transmitting on-board images from a general ship as described above to a land system through satellite communication. By converting the images taken on board the ship into text form, a large amount of image data can be stored. The purpose is to provide an image processing system and method for collecting/storing ship images that can be stored on a platform server within the ship and transmitted to land through a satellite communication network with a small bandwidth.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명에 따른 "선박 영상의 수집/저장을 위한 영상 처리 시스템"은,In order to achieve the above-mentioned purpose, the “image processing system for collecting/storing ship images” according to the present invention,

선내의 주요 지역에 배치되어 영상을 획득하는 CCTV의 선내 영상 및/또는 무선 액세스 포인트(AP)를 통해 전달되는 무선 단말기를 통해 획득한 영상 데이터를 플랫폼 서버에 전달하고, 상기 플랫폼 서버에서 압축 처리된 텍스트 형태의 영상 데이터를 VDR(Voyage Data Recorder)에 저장하거나 위성 전송 경로로 스위칭해주는 메인 스위치;The on-board video of CCTVs placed in key areas of the ship to acquire video and/or video data acquired through a wireless terminal transmitted through a wireless access point (AP) are transmitted to the platform server, and compressed and processed by the platform server. A main switch that stores video data in text format in a VDR (Voyage Data Recorder) or switches it to a satellite transmission path;

상기 메인 스위치를 통해 수신된 선내 영상 데이터를 프레임 축소와 영상 압축을 수행하고, 압축된 영상 이미지의 색상 구성 최소화와 텍스트 형태 변환을 통해 선내 영상 데이터를 압축하여 저장하고, 저장한 압축 영상 데이터의 저장 및 전송을 제어하는 플랫폼 서버;Frame reduction and video compression are performed on the onboard video data received through the main switch, and the onboard video data is compressed and stored by minimizing the color composition of the compressed video image and converting the text format, and storing the stored compressed video data. and a platform server that controls the transmission;

상기 플랫폼 서버에서 전송된 압축 영상 데이터를 상기 메인 스위치를 통해 수신하여 저장하는 VDR;a VDR that receives and stores compressed video data transmitted from the platform server through the main switch;

상기 메인 스위치를 통해 수신한 영상 데이터를 위성 통신을 통해 육상 시스템으로 전송하는 위성통신모듈을 포함하는 것을 특징으로 한다.It is characterized by including a satellite communication module that transmits the image data received through the main switch to a land system through satellite communication.

상기에서 플랫폼 서버는,In the above, the platform server is,

수집한 영상의 프레임을 축소하는 프레임 축소부;A frame reduction unit that reduces the frames of the collected video;

일정 간격의 프레임을 기준으로 각각의 영상 프레임의 변화된 부분만 저장하여 영상을 압축하는 영상 압축부;An image compression unit that compresses the image by storing only the changed portion of each image frame based on frames at regular intervals;

상기 영상 압축부에서 압축된 영상 프레임 이미지의 컬러를 단순화하기 위한 마스크로 매핑하여 영상 이미지를 구성하는 색상의 구성을 최소화하고, 연속된 색상은 생략한 텍스트로 변환하여 영상 데이터의 용량을 최소화하는 컬러 마스크 매핑부; 및The color composition of the video image is minimized by mapping the color of the video frame image compressed in the video compression unit to a mask to simplify it, and the color composition of the video image is minimized by converting continuous colors into omitted text to minimize the size of video data. Mask mapping unit; and

상기 컬러 마스크 매핑부를 통해 용량이 최소화된 영상 데이터를 저장하는 영상 저장부를 포함하는 것을 특징으로 한다.It is characterized in that it includes an image storage unit that stores image data whose capacity is minimized through the color mask mapping unit.

상기에서 프레임 축소부는,In the above, the frame reduction unit,

수신한 60프레임(fps) 이상의 영상 데이터를 사람이 움직임을 인식하는 있는 30프레임(fps)으로 축소하는 것을 특징으로 한다.It is characterized by reducing the received video data of 60 frames (fps) or more to 30 frames (fps), which allows humans to recognize movement.

상기에서 영상 압축부는,In the above, the video compression unit,

상기 일정 간격의 기준 프레임과 일정 간격 내의 프레임 중 영상 데이터 변화가 발생한 프레임만을 남기고 나머지 일정 간격 내의 프레임은 제거하여 영상을 압축하는 것을 특징으로 한다.The video is compressed by leaving only the frames in which an image data change occurs among the reference frames at a certain interval and the frames within a certain interval, and removing the remaining frames within a certain interval.

상기에서 컬러 마스크 매핑부는,In the above, the color mask mapping unit,

임의 프레임 내의 특정 영역의 컬러는 대표 컬러로 변환하고, 상기 특정 영역의 가장 어두운 컬러는 검은색 컬러로 변환하고, 동일한 컬러가 연속되는 부분은 생략하고 텍스트로 저장하지 않도록 하여 영상 이미지의 저장 용량을 최소화하는 것을 특징으로 한다.The color of a specific area within a random frame is converted to a representative color, the darkest color of the specific area is converted to black, and parts where the same color is continuous are omitted and not saved as text to reduce the storage capacity of the video image. It is characterized by minimizing.

상기에서 위성통신 모듈은 제한적인 대역폭을 통해 선내 영상 데이터를 육상 시스템으로 전송하는 것을 특징으로 한다.In the above, the satellite communication module is characterized in that it transmits onboard image data to a land system through a limited bandwidth.

상기에서 육상 시스템은,In the above, the land system is,

위성 통신을 통해 수신한 선내 영상 데이터를 색상 값을 복사/확장하여 영상 프레임 이미지로 복원하고, 복원한 영상 프레임 이미지의 변화가 없는 값을 프레임의 행렬에 복사/확장하여 영상 프레임 압축을 해제하여 저장하는 육상 플랫폼 서버;The onboard video data received through satellite communication is restored as a video frame image by copying/expanding the color values, and the unchanged values of the restored video frame image are copied/expanded into the frame matrix to decompress the video frame and save it. land platform server;

상기 육상 플랫폼 서버에서 압축 해제된 선내 영상 데이터를 저장하는 영상 클라우드 서버를 포함하는 것을 특징으로 한다.It is characterized in that it includes a video cloud server that stores onboard video data decompressed from the land platform server.

상기에서 육상 플랫폼 서버는,In the above, the land platform server is,

위성 통신을 수신한 텍스트 형태의 선내 영상 데이터에서 반복되는 색상 값을 복사/확장하여 영상 프레임 이미지로 복원하는 영상 데이터 복원부;a video data restoration unit that copies/extends repetitive color values from the onboard video data in the form of text received from satellite communication and restores it to a video frame image;

상기 영상 데이터 복원부를 통해 복원된 영상 프레임 이미지에서 기준 영상 프레임 이미지의 변화가 없는 값을 나머지 프레임의 행렬에 복사/확장하여 영상 프레임 이미지의 손실 부분을 복원하여 압축 영상을 해제하는 영상 압축 해제부;an image decompression unit that restores the lost portion of the video frame image by copying/extending unchanged values of the reference video frame image from the video frame image restored through the video data restoration unit to the matrix of the remaining frames to decompress the compressed video;

상기 영상 압축 해제부에서 해제된 영상 데이터를 저장하는 영상 저장부를 포함하는 것을 특징으로 한다.It is characterized in that it includes an image storage unit that stores image data decompressed in the image decompression unit.

또한, 본 발명에 따른 "선박 영상의 수집/저장을 위한 영상 처리 방법"은,In addition, the “image processing method for collecting/storing ship images” according to the present invention,

(a) 선내의 주요 지역에 배치되어 영상을 획득하는 CCTV의 선내 영상 및/또는 무선 액세스 포인트(AP)를 통해 전달되는 무선 단말기를 통해 획득한 영상 데이터를 수신하는 단계;(a) Receiving on-board video from a CCTV installed in key areas of the ship to acquire images and/or video data acquired through a wireless terminal transmitted through a wireless access point (AP);

(b) 상기 수신한 영상의 프레임을 축소하는 단계:(b) Reducing the frame of the received video:

(c) 상기 축소한 영상의 프레임에 대하여 일정 간격의 프레임을 기준으로 각각의 영상 프레임의 변화된 부분만 저장하여 영상을 압축하는 단계:(c) Compressing the video by storing only the changed portion of each video frame based on frames at regular intervals for the frames of the reduced video:

(d) 상기 압축한 영상 프레임 이미지의 컬러를 단순화하기 위한 마스크로 매핑하여 영상 이미지를 구성하는 색상의 구성을 최소화하고, 연속된 색상은 생략한 텍스트로 변환하여 영상 데이터의 용량을 최소화하는 단계: 및(d) Mapping the colors of the compressed video frame image with a mask to simplify them to minimize the composition of colors that make up the video image, and converting continuous colors into omitted text to minimize the capacity of video data: and

(e) 상기 (d)단계에서 용량이 최소화된 영상 데이터를 저장하고, 저장한 영상 데이터를 위성통신을 통해 육상 시스템으로 전송하는 단계를 포함하는 것을 특징으로 한다.(e) storing the image data whose capacity is minimized in step (d) and transmitting the stored image data to a land system through satellite communication.

상기에서 (b)단계는,In step (b) above,

수신한 60프레임(fps) 이상의 영상 데이터를 사람이 움직임을 인식하는 있는 30프레임(fps)으로 축소하는 것을 특징으로 한다.It is characterized by reducing the received video data of 60 frames (fps) or more to 30 frames (fps), which allows humans to recognize movement.

상기에서 (c)단계는,In step (c) above,

상기 일정 간격의 기준 프레임과 일정 간격 내의 프레임 중 영상 데이터 변화가 발생한 프레임만을 남기고 나머지 일정 간격 내의 프레임은 제거하여 영상을 압축하는 것을 특징으로 한다.The video is compressed by leaving only the frames in which an image data change occurs among the reference frames at a certain interval and the frames within a certain interval, and removing the remaining frames within a certain interval.

상기에서 (d)단계는,In step (d) above,

임의 프레임 내의 특정 영역의 컬러는 대표 컬러로 변환하고, 상기 특정 영역의 가장 어두운 컬러는 검은색 컬러로 변환하고, 동일한 컬러가 연속되는 부분은 생략하고 텍스트로 저장하지 않도록 하여 영상 이미지의 저장 용량을 최소화하는 것을 특징으로 한다.The color of a specific area within a random frame is converted to a representative color, the darkest color of the specific area is converted to black, and parts where the same color is continuous are omitted and not saved as text to reduce the storage capacity of the video image. It is characterized by minimizing.

또한, 본 발명에 따른 "선박 영상의 수집/저장을 위한 영상 처리 방법"은,In addition, the “image processing method for collecting/storing ship images” according to the present invention,

(f) 선박에서 위성통신을 통해 전송한 압축된 선내 영상 데이터를 수신하는 단계;(f) receiving compressed onboard video data transmitted from the ship through satellite communication;

(g) 상기 수신한 텍스트 형태의 선내 영상 데이터에서 반복되는 색상 값을 복사/확장하여 영상 프레임 이미지로 복원하는 단계:(g) Copying/extending repeated color values in the received on-board video data in text form and restoring it to a video frame image:

(h) 상기 (g)단계에서 복원된 영상 프레임 이미지에서 기준 영상 프레임 이미지의 변화가 없는 값을 나머지 프레임의 행렬에 복사/확장하여 영상 프레임 이미지의 손실 부분을 복원하여 압축 영상을 해제하는 단계; 및(h) decompressing the compressed image by copying/extending unchanged values of the reference video frame image from the video frame image restored in step (g) to the matrix of the remaining frames to restore the lost portion of the video frame image; and

(i) 상기 압축 해제된 영상 데이터를 영상 저장부 및 영상 클라우드 서버에 저장하는 단계를 더 포함하는 것을 특징으로 한다.(i) storing the decompressed image data in an image storage unit and an image cloud server.

본 발명에 따르면 선내에서 촬영한 영상을 용량을 최소화한 텍스트 형태로 변화하므로 많은 양의 영상 데이터를 선박의 플랫폼 서버에 저장할 수 있으며, 영상 데이터의 용량이 축소되므로 저장용량이 상대적으로 적은 VDR에도 선내 영상 데이터를 저장할 수 있는 장점이 있다.According to the present invention, a large amount of video data can be stored on the ship's platform server by converting the video taken onboard the ship into a text format with minimal capacity, and since the capacity of the video data is reduced, even in the VDR with a relatively small storage capacity, the video data can be stored on the ship's platform server. It has the advantage of being able to store video data.

또한, 영상 데이터의 용량이 작으므로 대역폭이 크지 않은 위성통신망을 통해 육상 시스템으로 실시간 전송할 수 있는 장점도 있다.In addition, since the capacity of image data is small, it has the advantage of being able to be transmitted in real time to a land system through a satellite communication network with a small bandwidth.

또한, 육상 플랫폼 서버에서 영상의 프레임을 복원하는 과정에서 변화가 발생하지 않은 부분의 영상데이터도 각 프레임 이미지마다 복원할 수 있어, 영상의 재생시 역 재생 탐색도 가능하며, 이로 인해 영상의 원활한 분석을 도모해주는 효과가 있다.In addition, in the process of restoring the video frame on the land platform server, the video data of the part where no changes occurred can be restored for each frame image, so reverse playback search is possible when playing the video, which allows for smooth analysis of the video. It has the effect of promoting .

도 1은 본 발명의 바람직한 실시 예에 따른 선박 영상의 수집/저장을 위한 영상 처리 시스템의 구성도,
도 2a 및 도 2b는 본 발명에서 영상 프레임 축소 방법을 설명하는 설명도,
도 3a 및 도 3b는 본 발명에서 영상 이미지 프레임 압축을 설명하는 설명도,
도 4는 본 발명에서 영상 프레임 이미지를 텍스트 형태로 변환하는 예시도,
도 5a 및 도 5b는 본 발명에서 선박 영상의 수집/저장을 위한 영상 처리 방법을 보인 흐름도이다.1 is a block diagram of an image processing system for collecting/storing ship images according to a preferred embodiment of the present invention;
2A and 2B are explanatory diagrams illustrating a method for reducing video frames in the present invention;
3A and 3B are explanatory diagrams illustrating video image frame compression in the present invention;
Figure 4 is an example of converting a video frame image into text form in the present invention;
Figures 5a and 5b are flowcharts showing an image processing method for collecting/storing ship images in the present invention.

이하 본 발명의 바람직한 실시 예에 따른 선박 영상의 수집/저장을 위한 영상 처리 시스템 및 방법을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, an image processing system and method for collecting/storing ship images according to a preferred embodiment of the present invention will be described in detail with reference to the attached drawings.

이하에서 설명되는 본 발명에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.The terms or words used in the present invention described below should not be construed as limited to their usual or dictionary meanings, and the inventor may appropriately define the concept of the term in order to explain his/her invention in the best way. It must be interpreted with meaning and concept consistent with the technical idea of the present invention based on the principle that it can be done.

따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.Therefore, the embodiments described in this specification and the configurations shown in the drawings are only preferred embodiments of the present invention and do not represent the entire technical idea of the present invention, and therefore various equivalents and It should be understood that variations may exist.

도 1은 본 발명의 바람직한 실시 예에 따른 선박 영상의 수집/저장을 위한 영상 처리 시스템의 구성도로서, 크게 선내 시스템(100) 및 육상 시스템(200)으로 대별된다.Figure 1 is a block diagram of an image processing system for collecting/storing ship images according to a preferred embodiment of the present invention, which is largely divided into an onboard system 100 and a land system 200.

선내 시스템(100)은 선박 내에 구비되어 선내 감시 영상 및 감시 데이터를 취득하고, 취득한 선내 감시 영상 데이터 및 감시 데이터를 위성 통신을 통해 상기 육상 시스템(200)으로 전송하는 역할을 한다. 여기서 선내 시스템(100)은 CCTV나 카메라가 구비된 무선 단말기로부터 수집한 영상 데이터의 용량을 최대한 압축하여 VDR과 선내 플랫폼 서버에 저장하고, 위성통신 대역폭을 최소한 사용하여 감시 영상 데이터를 육상 시스템으로 전송한다.The onboard system 100 is installed on a ship and acquires onboard surveillance video and surveillance data, and transmits the acquired onboard surveillance video and surveillance data to the land system 200 through satellite communication. Here, the onboard system 100 compresses the capacity of video data collected from CCTV or a wireless terminal equipped with a camera as much as possible, stores it in the VDR and the onboard platform server, and transmits the surveillance video data to the land system using a minimum of satellite communication bandwidth. do.

육상 시스템(200)은 상기 선내 시스템(100)과 위성통신을 통해 선내 감시 영상 및 선내 감시 데이터를 수신하고, 이를 분석하여 선박 상황을 원격에서 모니터링하는 역할을 한다.The land system 200 receives onboard surveillance video and onboard surveillance data through satellite communication with the onboard system 100 and analyzes them to remotely monitor the ship situation.

상기 선내 시스템(100)은 선내의 주요 지역에 배치되어 감시 영상을 획득하는 CCTV(110), 장착된 카메라를 통해 감시 영상을 획득하는 무선 단말기(120), 상기 무선 단말기(120)로부터 무선으로 전송된 감시 영상을 취합 장치(예를 들어, 플랫폼 서버)로 중계해주는 무선 액세스 포인트(AP)(130), 상기 CCTV(100) 및 무선 액세스 포인트(130)를 통해 전달되는 영상 데이터를 플랫폼 서버(160)에 전달하고, 상기 플랫폼 서버(160)에서 압축 처리된 텍스트 형태의 영상 데이터를 VDR(Voyage Data Recorder)(150)에 저장하며 위성 전송 경로로 스위칭해주는 메인 스위치(140), 상기 메인 스위치(140)를 통해 수신된 선내 영상 데이터를 프레임 축소와 영상 압축을 수행하고, 압축된 영상 이미지의 색상 구성 최소화와 텍스트 형태 변환을 통해 선내 영상 데이터를 압축하여 저장하고, 저장한 압축 영상 데이터의 저장 및 전송을 제어하는 플랫폼 서버(160), 상기 플랫폼 서버(160)에서 전송된 압축 영상 데이터를 상기 메인 스위치(140)를 통해 수신하여 저장하는 VDR(150), 상기 메인 스위치(140)를 통해 수신한 영상 데이터를 위성 통신망을 통해 육상 시스템(200)으로 전송하는 위성통신모듈(VSAT)(170)을 포함할 수 있다.The on-board system 100 includes a CCTV 110 that is placed in key areas of the ship and acquires surveillance images, a wireless terminal 120 that acquires surveillance images through mounted cameras, and wireless transmission from the wireless terminal 120. A wireless access point (AP) 130 that relays the surveillance video to an aggregation device (e.g., a platform server), and a platform server 160 that transmits video data through the CCTV 100 and the wireless access point 130. ), the main switch 140 that stores the video data in text format compressed in the platform server 160 in the VDR (Voyage Data Recorder) 150 and switches it to the satellite transmission path, the main switch 140 ) performs frame reduction and video compression on the onboard video data received through ), compresses and stores the onboard video data by minimizing the color composition of the compressed video image and converting the text format, and stores and transmits the stored compressed video data. A platform server 160 that controls, a VDR 150 that receives and stores compressed video data transmitted from the platform server 160 through the main switch 140, and video received through the main switch 140. It may include a satellite communication module (VSAT) 170 that transmits data to the land system 200 through a satellite communication network.

상기 플랫폼 서버(160)는 수집한 영상의 프레임을 축소하는 프레임 축소부(161), 일정 간격의 프레임을 기준으로 각각의 영상 프레임의 변화된 부분만 저장하여 영상을 압축하는 영상 압축부(162), 상기 영상 압축부(162)에서 압축된 영상 프레임 이미지의 컬러를 단순화하기 위한 마스크로 매핑하여 영상 이미지를 구성하는 색상의 구성을 최소화하고, 연속된 색상은 생략한 텍스트로 변환하여 영상 데이터의 용량을 최소화하는 컬러 마스크 매핑부(163) 및 상기 컬러 마스크 매핑부(163)를 통해 용량이 최소화된 영상 데이터를 저장하는 영상 저장부(164)를 포함할 수 있다.The platform server 160 includes a frame reduction unit 161 that reduces the frames of the collected video, an image compression unit 162 that compresses the video by storing only the changed portion of each video frame based on frames at regular intervals, The color composition of the video image is minimized by mapping the colors of the video frame image compressed in the video compression unit 162 to a mask for simplicity, and the capacity of the video data is reduced by converting continuous colors into omitted text. It may include a color mask mapping unit 163 that minimizes and an image storage unit 164 that stores image data whose capacity is minimized through the color mask mapping unit 163.

여기서 도면에는 도시하지 않았지만, 상기 플랫폼 서버(160)는 영상 수집 및 압축, 저장 및 전송을 제어하는 제어부가 마련된 것으로 가정한다.Although not shown in the drawing, it is assumed that the platform server 160 is equipped with a control unit that controls image collection, compression, storage, and transmission.

또한, 상기 육상 시스템(200)은 위성 통신을 통해 수신한 선내 영상 데이터를 색상 값을 복사/확장하여 영상 프레임 이미지로 복원하고, 복원한 영상 프레임 이미지의 변화가 없는 값을 프레임의 행렬에 복사/확장하여 영상 프레임 압축을 해제하여 저장하는 육상 플랫폼 서버(210), 상기 육상 플랫폼 서버(210)에서 압축 해제된 선내 영상 데이터를 저장하는 영상 클라우드 서버(220)를 포함할 수 있다.In addition, the land system 200 restores the onboard video data received through satellite communication into a video frame image by copying/expanding the color values, and copies/extends the unchanged values of the restored video frame image into the frame matrix. By extension, it may include a land platform server 210 that decompresses and stores video frames, and a video cloud server 220 that stores onboard video data decompressed in the land platform server 210.

상기 육상 플랫폼 서버(210)는 위성 통신을 수신한 텍스트 형태의 선내 영상 데이터에서 반복되는 색상 값을 복사/확장하여 영상 프레임 이미지로 복원하는 영상 데이터 복원부(211), 상기 영상 데이터 복원부(211)를 통해 복원된 영상 프레임 이미지에서 기준 영상 프레임 이미지의 변화가 없는 값을 나머지 프레임의 행렬에 복사/확장하여 영상 프레임 이미지의 손실 부분을 복원하여 압축 영상을 해제하는 영상 압축 해제부(212), 상기 영상 압축 해제부(212)에서 해제된 영상 데이터를 저장하는 영상 저장부(213)를 포함할 수 있다.The land platform server 210 includes an image data restoration unit 211 that copies/extends repeated color values from on-board image data in the form of text received from satellite communication and restores it to a video frame image. ), an image decompression unit 212 that decompresses the compressed image by copying/extending the unchanged value of the reference video frame image in the video frame image restored through ) to the matrix of the remaining frames to restore the lost portion of the video frame image; It may include an image storage unit 213 that stores image data decompressed in the image decompression unit 212.

도 5a 및 도 5b는 본 발명에 따른 "선박 영상의 수집/저장을 위한 영상 처리 방법"을 보인 흐름도로서, (a) 선내의 주요 지역에 배치되어 영상을 획득하는 CCTV의 선내 영상 및 무선 액세스 포인트(AP)를 통해 전달되는 무선 단말기를 통해 획득한 영상 데이터를 수신하는 단계(S11), (b) 상기 수신한 영상의 프레임을 축소하는 단계(S12), (c) 상기 축소한 영상의 프레임에 대하여 일정 간격의 프레임을 기준으로 각각의 영상 프레임의 변화된 부분만 저장하여 영상을 압축하는 단계(S13), (d) 상기 압축한 영상 프레임 이미지의 컬러를 단순화하기 위한 마스크로 매핑하여 영상 이미지를 구성하는 색상의 구성을 최소화하고, 연속된 색상은 생략한 텍스트로 변환하여 영상 데이터의 용량을 최소화하는 단계(S14) 및 (e) 상기 (d)단계에서 용량이 최소화된 영상 데이터를 저장하고, 저장한 영상 데이터를 위성통신을 통해 육상 시스템으로 전송하는 단계(S15 - S16)를 포함할 수 있다.Figures 5a and 5b are flowcharts showing the "image processing method for collecting/storing ship images" according to the present invention, (a) on-board video and wireless access point of CCTV placed in key areas of the ship to acquire images; (S11) receiving image data acquired through a wireless terminal transmitted through an AP (S11), (b) reducing the frame of the received image (S12), (c) Regarding the step of compressing the video by storing only the changed portion of each video frame based on frames at regular intervals (S13), (d) constructing the video image by mapping the color of the compressed video frame image with a mask to simplify it. (S14) minimizing the size of the image data by minimizing the composition of the colors and converting continuous colors into text that is omitted; and (e) storing the image data whose capacity has been minimized in step (d). It may include steps (S15 - S16) of transmitting image data to a land system through satellite communication.

또한, 본 발명에 따른 "선박 영상의 수집/저장을 위한 영상 처리 방법"은,In addition, the “image processing method for collecting/storing ship images” according to the present invention,

(f) 선박에서 위성통신을 통해 전송한 압축된 선내 영상 데이터를 수신하는 단계(S21), (g) 상기 수신한 텍스트 형태의 선내 영상 데이터에서 반복되는 색상 값을 복사/확장하여 영상 프레임 이미지로 복원하는 단계(S22), (h) 상기 (g)단계에서 복원된 영상 프레임 이미지에서 기준 영상 프레임 이미지의 변화가 없는 값을 나머지 프레임의 행렬에 복사/확장하여 영상 프레임 이미지의 손실 부분을 복원하여 압축 영상을 해제하는 단계(S23) 및 (i) 상기 압축 해제된 영상 데이터를 영상 저장부 및 영상 클라우드 서버에 저장하는 단계(S24)를 포함할 수 있다.(f) receiving compressed on-board video data transmitted from the ship through satellite communication (S21), (g) copying/extending repeated color values in the received on-board video data in text form into a video frame image. Restoring step (S22), (h) copying/extending unchanged values of the reference video frame image from the video frame image restored in step (g) to the matrix of the remaining frames to restore the lost portion of the video frame image It may include the step of decompressing the compressed video (S23) and (i) storing the decompressed video data in the video storage unit and the video cloud server (S24).

이와 같이 구성된 본 발명에 따른 "선박 영상의 수집/저장을 위한 영상 처리 시스템 및 방법"을 구체적으로 설명하면 다음과 같다.The "image processing system and method for collecting/storing ship images" according to the present invention configured as described above will be described in detail as follows.

먼저, 선박 내에 구비된 선내 시스템(100)에서 선내 감시 영상 데이터를 획득하여 압축한 후 위성 통신을 통해 육상 시스템(200)으로 전송한다.First, onboard surveillance video data is acquired from the onboard system 100 installed on the ship, compressed, and then transmitted to the onshore system 200 through satellite communication.

이를 위해 선내 시스템(200)의 CCTV(110)는 영상 데이터를 선내의 주요 지역에 배치되어 감시 영상을 획득하고, 획득한 감시 영상 데이터를 메인 스위치(140)를 통해 플랫폼 서버(160)로 전달한다.For this purpose, the CCTV 110 of the onboard system 200 acquires surveillance video by placing video data in key areas within the ship, and transmits the acquired surveillance video data to the platform server 160 through the main switch 140. .

또한, 승무원이 구비한 무선 단말기(120)를 통해 획득한 영상은 무선 통신 모듈을 통해 무선 AP(130)로 전송되고, 무선 AP(130)에서는 수신한 영상 데이터를 메인 스위치(140)를 통해 플랫폼 서버(160)로 전송한다(S11).In addition, the video acquired through the wireless terminal 120 provided by the crew is transmitted to the wireless AP 130 through a wireless communication module, and the wireless AP 130 transmits the received video data to the platform through the main switch 140. Transmit to the server 160 (S11).

상기 플랫폼 서버(160)는 상기 메인 스위치(140)를 통해 수신된 선내 영상 데이터를 프레임 축소와 영상 압축을 수행하고, 압축된 영상 이미지의 색상 구성 최소화와 텍스트 형태 변환을 통해 선내 영상 데이터를 압축하여 저장하고, 저장한 압축 영상 데이터의 저장 및 전송을 제어한다(S12 - S16).The platform server 160 performs frame reduction and video compression on the onboard video data received through the main switch 140, and compresses the onboard video data by minimizing the color composition of the compressed video image and converting the text format. Controls the storage and transmission of stored compressed video data (S12 - S16).

예컨대, 플랫폼 서버(160)의 프레임 축소부(161)는 수집한 영상의 프레임을 축소한다(S12).For example, the frame reduction unit 161 of the platform server 160 reduces the frames of the collected video (S12).

프레임 축소는 도 2a에 도시한 바와 같이 수신한 프레임이 1초당 60프레임(fps) 이상의 영상 데이터이라고 가정하면, 도 2b에 도시한 바와 같이 수집한 영상 데이터를 1초당 사람이 움직임을 인식하는 있는 30프레임(fps)으로 축소한다. 다시 말해, 1초의 시간 간격에서 약 33ms 단위의 영상 프레임 이미지만 남기고 나머지 구간에 있는 영상 프레임 이미지는 모두 삭제하는 방식으로 프레임을 축소한다.Frame reduction, as shown in FIG. 2A, assuming that the received frame is image data of 60 frames per second (fps) or more, as shown in FIG. 2B, the collected image data is reduced to 30 frames per second that can recognize human movement. Reduce to frames (fps). In other words, the frame is reduced by leaving only video frame images of approximately 33 ms at a time interval of 1 second and deleting all video frame images in the remaining sections.

다음으로, 영상 압축부(162)에서 일정 간격(예를 들어, 10프레임 단위)의 프레임을 기준으로 각각의 영상 프레임의 변화된 부분만 저장하여 영상을 압축한다(S13).Next, the image compression unit 162 compresses the image by storing only the changed portion of each image frame based on frames at regular intervals (for example, in units of 10 frames) (S13).

즉, 도 3a에 도시한 바와 같은 영상 이미지 프레임을 수신하였다면, 도 3b에 도시한 바와 같이, 일정 간격(예를 들어, 10프레임 단위)을 하나의 프레임 단위로 설정하고, 상기 프레임 단위에 속하는 첫 프레임을 기준 프레임으로 설정하며, 기준 프레임부터 10프레임 내의 프레임 중 영상 데이터 변화가 발생한 프레임만을 남기고 나머지 프레임은 제거하여 영상을 압축한다.That is, if a video image frame as shown in FIG. 3A is received, a certain interval (for example, 10 frames) is set as one frame unit, as shown in FIG. 3B, and the first frame belonging to the frame unit is set. A frame is set as a reference frame, and among the frames within 10 frames from the reference frame, only the frames in which changes in video data occur are kept and the remaining frames are removed to compress the video.

이어, 컬러 마스크 매핑부(163)는 상기 영상 압축부(162)에서 압축된 영상 프레임 이미지의 컬러를 단순화하기 위해 미리 설정된 마스크로 상기 압축된 영상 프레임 이미지를 매핑하여, 영상 이미지를 구성하는 색상의 구성을 최소화하고, 연속된 색상은 생략한 텍스트로 변환하여 영상 데이터의 용량을 최소화한다(S14).Next, the color mask mapping unit 163 maps the compressed video frame image to a preset mask in order to simplify the color of the video frame image compressed in the video compression unit 162, thereby changing the color of the video frame image. The size of the image data is minimized by minimizing the composition and converting it to text with omitted continuous colors (S14).

예컨대, 각각의 영상 이미지 프레임에 있는 다양한 컬러는 사람이 구분할 수 있을 정도의 컬러로 구성된 마스크와 매핑하여 컬러의 구성을 단순화하고, 텍스트로 변환하여 이미지의 용량을 감소시킨다. 여기서 마스크는 음영의 구분을 위해서 어두운 컬러는 검은색으로 통일하도록 컬러 마스크를 구현할 수 있다.For example, the various colors in each video image frame are mapped with a mask composed of colors that can be distinguished by humans to simplify the color composition, and are converted to text to reduce the size of the image. Here, a color mask can be implemented to unify dark colors into black to distinguish shades.

도 4는 상기 컬러 마스크 매핑부(163)에서 컬러 마스크를 이용하여 영상 데이터의 용량을 최소화하는 과정을 보인 것이다.Figure 4 shows the process of minimizing the capacity of image data by using a color mask in the color mask mapping unit 163.

원본 이미지(영상 이미지)를 수신하면 이를 컬러 코드로 변환하고, 특정 영역(예를 들어, Aa ~ Ae 범위)의 컬러(빨간색)에 포함되는 컬러는 대표 컬러인 Ad로 변환하고, 가장 어두운 컬러(Ae)는 검은색 컬러(Xx)로 변환을 한다. 이러한 과정을 통해 컬러 매핑을 한다.When the original image (video image) is received, it is converted into a color code, and the color included in the color (red) of a specific area (for example, the range from Aa to Ae) is converted to the representative color, Ad, and the darkest color ( Ae) is converted to black color (Xx). Color mapping is performed through this process.

이어, 매핑 결과 이미지를 텍스트로 변환을 한다. 텍스트로의 변환은 1행 1열부터 시작해서 컬러 코드가 변하는 부분의 컬러만 행렬 번호와 함께 변환한다. 연속된 컬러의 행렬은 변환하지 않는다. 변환 및 저장 순서는 첫 행의 왼쪽에서 오른쪽까지 변환한 후 다음 아래 행으로 이동해서 왼쪽에서 오른쪽으로 이동하면서 진행한다. 동일한 컬러가 연속되는 부분은 생략하고 텍스트로 저장하지 않도록 하여 영상 이미지의 저장 용량을 최소화한다. 어두운 부분은 검은색으로 통일되며 전체 이미지로 볼 경우 이미지의 경계선 형태로 보이므로 동일한 컬러 때문에 사물의 형상이 정확하게 보이지 않는 현상을 방지할 수 있다. 이미지 복원 시 동일 색상 코드를 확장할 수 있도록 이미지의 행렬 크기 정보도 함께 영상의 첫 프레임에 저장한다.Next, the mapping result image is converted into text. Conversion to text starts from row 1 and column 1, and only the color of the part where the color code changes is converted along with the matrix number. Continuous color matrices are not converted. The conversion and storage sequence proceeds by converting from left to right of the first row, then moving to the next lower row and moving from left to right. Minimize the storage capacity of video images by omitting consecutive parts of the same color and not saving them as text. Dark areas are unified in black and when viewed as an entire image, they appear as a borderline of the image, preventing the phenomenon of the shape of an object not being seen accurately due to the same color. When restoring an image, the image matrix size information is also stored in the first frame of the video so that the same color code can be expanded.

이와 같은 과정을 통해 영상 이미지의 용량이 최소화된 영상 데이터를 영상 저장부(164)에 저장한다.Through this process, image data with a minimized image capacity is stored in the image storage unit 164.

여기서 도면에는 도시하지 않았지만, 상기 플랫폼 서버(160)는 영상 수집 및 압축, 저장 및 전송을 제어하는 제어부가 마련되어 있으며, 이러한 제어부의 제어에 의해 상기 영상 저장부(160)에 저장된 영상 데이터가 메인 스위치(164)를 통해 VDR(150)에 저장된다(S15).Although not shown in the drawing, the platform server 160 is provided with a control unit that controls video collection and compression, storage and transmission, and under the control of this control unit, the video data stored in the video storage unit 160 is transferred to the main switch. It is stored in the VDR (150) through (164) (S15).

또한, 상기 제어부의 제어에 의해 상기 영상 저장부(160)에 저장된 텍스트 형태의 영상 데이터가 위성통신모듈(VSAT)(170)을 통해 위성 통신으로 육상 시스템(200)으로 전송된다(S16).In addition, under the control of the control unit, the image data in the form of text stored in the image storage unit 160 is transmitted to the land system 200 through satellite communication through the satellite communication module (VSAT) 170 (S16).

선내 시스템(100)에서 육상 시스템(200)으로 전송되는 영상 데이터는 텍스트 형태이므로, 용량이 작아 대역폭이 크지 않은 위성통신망을 통해 육상 시스템(200)으로 실시간 전송할 수 있다.Since the video data transmitted from the onboard system 100 to the land system 200 is in text form, it has a small capacity and can be transmitted in real time to the land system 200 through a satellite communication network with a small bandwidth.

상기 육상 시스템(200)의 육상 플랫폼 서버(210)는 위성 통신을 통해 수신한 선내 영상 데이터를 색상 값을 복사/확장하여 영상 프레임 이미지로 복원하고, 복원한 영상 프레임 이미지의 변화가 없는 값을 프레임의 행렬에 복사/확장하여 영상 프레임 압축을 해제하여 저장한다.The land platform server 210 of the land system 200 restores the on-board video data received through satellite communication into a video frame image by copying/extending the color value, and frames the unchanged value of the restored video frame image. Copy/extend the matrix and decompress the video frame and save it.

예컨대, 상기 육상 플랫폼 서버(210)는 상기 선박에서 전송된 텍스트 형태의 압축된 영상 데이터를 수신한다(S21).For example, the land platform server 210 receives compressed video data in text format transmitted from the ship (S21).

이어, 영상 데이터 복원부(211)에서 수신한 텍스트 형태의 선내 영상 데이터에서 반복되는 색상 값을 복사/확장하여 영상 프레임 이미지로 복원한다(S22).Next, repeated color values in the onboard video data in text format received from the video data restoration unit 211 are copied/extended to restore the video frame image (S22).

다음으로, 영상 압축 해제부(212)에서 상기 영상 데이터 복원부(211)를 통해 복원된 영상 프레임 이미지(10프레임 단위 프레임 이미지)에서, 기준 영상 프레임 이미지를 추출하고, 상기 기준 영상 프레임 이미지를 기초로 변화가 없는 값을 나머지 프레임의 행렬에 복사/확장하여 영상 프레임 이미지의 손실 부분을 복원하여 압축 영상을 해제한다(S23). 즉, 영상 압축 해제부(212)는 일정 간격(10프레임 단위)의 프레임을 기준으로 생략된 영상 데이터를 프레임마다 다시 채워 넣어서 압축을 해제하여 원래의 영상 데이터로 복원을 한다.Next, the video decompression unit 212 extracts a reference video frame image from the video frame image (frame image in units of 10 frames) restored through the video data restoration unit 211, and uses the reference video frame image as the basis. The compressed video is decompressed by copying/extending the unchanged value to the matrix of the remaining frames to restore the lost portion of the video frame image (S23). That is, the image decompression unit 212 refills the omitted image data for each frame based on frames at regular intervals (unit of 10 frames), decompresses it, and restores the original image data.

이렇게 복원된 영상 데이터는 영상 저장부(213)에 저장되며, 아울러 영상 클라우드 서버(220)에 저장된다(S24).The image data restored in this way is stored in the image storage unit 213 and also stored in the image cloud server 220 (S24).

영상 분석 수단은 상기 영상 클라우드 서버(200)에 저장된 선내 영상 데이터를 분석한다. 여기서 복원된 영상은 변화가 발생하지 않은 각 부분의 영상 데이터가 프레임마다 복원되어 있으므로, 영상 재생 과정에서 역 재생(Rewind) 탐색을 수행할 수 있다.The video analysis means analyzes onboard video data stored in the video cloud server 200. Here, in the restored video, the video data of each part where no changes have occurred is restored for each frame, so a reverse playback (Rewind) search can be performed during the video playback process.

이상 상술한 본 발명에 따르면 선내에서 촬영한 영상을 용량을 최소화한 텍스트 형태로 변화하므로 많은 양의 영상 데이터를 선박의 플랫폼 서버에 저장할 수 있으며, 영상 데이터의 용량이 축소되므로 저장용량이 상대적으로 적은 VDR에도 선내 영상 데이터를 저장할 수 있다.According to the present invention described above, a large amount of video data can be stored on the ship's platform server by converting the video captured on board the ship into a text format with minimal capacity, and the capacity of the video data is reduced, so the storage capacity is relatively small. Onboard video data can also be stored in the VDR.

또한, 영상 데이터의 용량이 작으므로 대역폭이 크지 않은 위성통신망을 통해 육상 시스템으로 실시간 전송할 수 있다.Additionally, since the capacity of video data is small, it can be transmitted in real time to a land system through a satellite communication network with a limited bandwidth.

또한, 육상 플랫폼 서버에서 영상의 프레임을 복원하는 과정에서 변화가 발생하지 않은 부분의 영상데이터도 각 프레임 이미지마다 복원할 수 있어, 영상의 재생시 역재생 탐색도 가능하며, 이로 인해 영상의 원활한 분석을 도모해준다.In addition, in the process of restoring the video frame on the land platform server, the video data of the part where no change occurred can be restored for each frame image, so reverse playback search is possible when playing the video, which allows for smooth analysis of the video. It promotes

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명하다.Although the invention made by the present inventor has been described in detail according to the above embodiments, the present invention is not limited to the above embodiments, and various changes can be made without departing from the gist of the invention, as is known in the art. It is self-evident to those who have.

100: 선내 시스템
110: CCTV
120: 무선 단말기
130: 무선 AP
140: 메인 스위치
150: VDR
160: 플랫폼 서버
161: 프레임 축소부
162: 영상 압축부
163: 컬러 마스크 매핑부
164: 영상 저장부
170: 위성통신모듈(VSAT)
200: 육상 시스템
210: 육상 플랫폼 서버
211: 영상 데이터 복원부
212: 영상 압축 해제부
213: 영상 저장부
220: 영상 클라우드 서버100: Onboard system
110: CCTV
120: wireless terminal
130: wireless AP
140: main switch
150:VDR
160: platform server
161: Frame reduction part
162: Video compression unit
163: Color mask mapping unit
164: Video storage unit
170: Satellite communication module (VSAT)
200: Land system
210: Land platform server
211: Video data restoration unit
212: Video decompression unit
213: Image storage unit
220: Video cloud server

Claims (13)

선내의 주요 지역에 배치되어 영상을 획득하는 CCTV의 선내 영상 및 무선 액세스 포인트(AP)를 통해 전달되는 무선 단말기를 통해 획득한 영상 데이터를 플랫폼 서버에 전달하고, 상기 플랫폼 서버에서 압축 처리된 텍스트 형태의 영상 데이터를 VDR(Voyage Data Recorder)에 저장하고 위성 전송 경로로 스위칭해주는 메인 스위치;
상기 메인 스위치를 통해 수신된 선내 영상 데이터를 프레임 축소와 영상 압축을 수행하고, 압축된 영상 이미지의 색상 구성 최소화와 텍스트 형태 변환을 통해 선내 영상 데이터를 압축하여 저장하고, 저장한 압축 영상 데이터의 저장 및 전송을 제어하는 플랫폼 서버;
상기 플랫폼 서버에서 전송된 압축 영상 데이터를 상기 메인 스위치를 통해 수신하여 저장하는 VDR; 및
상기 메인 스위치를 통해 수신한 텍스트 형태의 영상 데이터를 위성 통신을 통해 육상 시스템으로 전송하는 위성통신모듈을 포함하는 것을 특징으로 하는 선박 영상의 수집/저장을 위한 영상 처리 시스템.
The on-board video of CCTV, which is deployed in key areas of the ship to acquire video, and the video data acquired through a wireless terminal transmitted through a wireless access point (AP) are delivered to the platform server, and compressed in text form by the platform server. A main switch that stores video data in the VDR (Voyage Data Recorder) and switches it to the satellite transmission path;
Frame reduction and video compression are performed on the onboard video data received through the main switch, and the onboard video data is compressed and stored by minimizing the color composition of the compressed video image and converting the text format, and storing the stored compressed video data. and a platform server that controls the transmission;
a VDR that receives and stores compressed video data transmitted from the platform server through the main switch; and
An image processing system for collecting/storing ship images, comprising a satellite communication module that transmits image data in text format received through the main switch to a land system through satellite communication.
 청구항 1에서, 상기 플랫폼 서버는,
수집한 영상의 프레임을 축소하는 프레임 축소부;
일정 간격의 프레임을 기준으로 각각의 영상 프레임의 변화된 부분만 저장하여 영상을 압축하는 영상 압축부;
상기 영상 압축부에서 압축된 영상 프레임 이미지의 컬러를 단순화하기 위한 마스크로 매핑하여 영상 이미지를 구성하는 색상의 구성을 최소화하고, 연속된 색상은 생략한 텍스트로 변환하여 영상 데이터의 용량을 최소화하는 컬러 마스크 매핑부; 및
상기 컬러 마스크 매핑부를 통해 용량이 최소화된 영상 데이터를 저장하는 영상 저장부를 포함하는 것을 특징으로 하는 선박 영상의 수집/저장을 위한 영상 처리 시스템.
In claim 1, the platform server,
A frame reduction unit that reduces the frames of the collected video;
An image compression unit that compresses the image by storing only the changed portion of each image frame based on frames at regular intervals;
The color composition of the video image is minimized by mapping the color of the video frame image compressed in the video compression unit to a mask to simplify it, and the color composition of the video image is minimized by converting continuous colors into omitted text to minimize the size of video data. Mask mapping unit; and
An image processing system for collecting/storing ship images, comprising an image storage unit that stores image data with a minimized capacity through the color mask mapping unit.
 청구항 2에서, 상기 프레임 축소부는,
수신한 초당 60프레임(fps) 이상의 영상 데이터를 초당 사람이 움직임을 인식하는 있는 30프레임(fps)으로 축소하는 것을 특징으로 하는 선박 영상의 수집/저장을 위한 영상 처리 시스템.
In claim 2, the frame reduction unit,
An image processing system for collecting/storing ship images, characterized in that it reduces received image data of 60 frames per second (fps) or more to 30 frames per second (fps), which allows human movement recognition.
 청구항 2에서, 상기 영상 압축부는,
상기 일정 간격의 기준 프레임과 일정 간격 내의 프레임 중 영상 데이터 변화가 발생한 프레임만을 남기고 나머지 일정 간격 내의 프레임은 제거하여 영상을 압축하는 것을 특징으로 하는 선박 영상의 수집/저장을 위한 영상 처리 시스템.
In claim 2, the image compression unit,
An image processing system for collecting/storing ship images, characterized in that the image is compressed by leaving only the frames in which an image data change occurs among the reference frames at a certain interval and the frames within a certain interval and removing the remaining frames within a certain interval.
 청구항 2에서, 상기 컬러 마스크 매핑부는,
임의 프레임 내의 특정 영역의 컬러는 대표 컬러로 변환하고, 상기 특정 영역의 가장 어두운 컬러는 검은색 컬러로 변환하고, 동일한 컬러가 연속되는 부분은 생략하고 텍스트로 저장하지 않도록 하여 영상 이미지의 저장 용량을 최소화하는 것을 특징으로 하는 선박 영상의 수집/저장을 위한 영상 처리 시스템.
In claim 2, the color mask mapping unit,
The color of a specific area within a random frame is converted to a representative color, the darkest color of the specific area is converted to black, and parts where the same color is continuous are omitted and not saved as text to reduce the storage capacity of the video image. An image processing system for collecting/storing ship images, characterized by minimizing them.
 청구항 1에서, 상기 위성통신 모듈은 제한적인 대역폭을 통해 텍스트 형태의 선내 영상 데이터를 육상 시스템으로 전송하는 것을 특징으로 하는 선박 영상의 수집/저장을 위한 영상 처리 시스템.
In claim 1, the satellite communication module is an image processing system for collecting/storing ship images, characterized in that it transmits on-board image data in text form to a land system through a limited bandwidth.
 청구항 1에서, 상기 육상 시스템은,
위성 통신을 통해 수신한 선내 영상 데이터를 색상 값을 복사/확장하여 영상 프레임 이미지로 복원하고, 복원한 영상 프레임 이미지의 변화가 없는 값을 프레임의 행렬에 복사/확장하여 영상 프레임 압축을 해제하여 저장하는 육상 플랫폼 서버; 및
상기 육상 플랫폼 서버에서 압축 해제된 선내 영상 데이터를 저장하는 영상 클라우드 서버를 포함하는 것을 특징으로 하는 선박 영상의 수집/저장을 위한 영상 처리 시스템.
In claim 1, the land system comprises:
The onboard video data received through satellite communication is restored as a video frame image by copying/expanding the color values, and the unchanged values of the restored video frame image are copied/expanded into the frame matrix to decompress the video frame and save it. land platform server; and
An image processing system for collecting/storing ship images, comprising an image cloud server that stores onboard image data decompressed from the land platform server.
 청구항 7에서, 상기 육상 플랫폼 서버는,
위성 통신을 수신한 텍스트 형태의 선내 영상 데이터에서 반복되는 색상 값을 복사/확장하여 영상 프레임 이미지로 복원하는 영상 데이터 복원부;
상기 영상 데이터 복원부를 통해 복원된 영상 프레임 이미지에서 기준 영상 프레임 이미지의 변화가 없는 값을 나머지 프레임의 행렬에 복사/확장하여 영상 프레임 이미지의 손실 부분을 복원하여 압축 영상을 해제하는 영상 압축 해제부; 및
상기 영상 압축 해제부에서 해제된 영상 데이터를 저장하는 영상 저장부를 포함하는 것을 특징으로 하는 선박 영상의 수집/저장을 위한 영상 처리 시스템.
In claim 7, the land platform server,
a video data restoration unit that copies/extends repetitive color values from the onboard video data in the form of text received from satellite communication and restores it to a video frame image;
an image decompression unit that restores the lost portion of the video frame image by copying/extending unchanged values of the reference video frame image from the video frame image restored through the video data restoration unit to the matrix of the remaining frames to decompress the compressed video; and
An image processing system for collecting/storing ship images, comprising an image storage unit that stores image data decompressed from the image decompression unit.
 청구항 1 내지 청구항 8중 어느 하나의 청구항에 기재된 선박 영상의 수집/저장을 위한 영상 처리 시스템을 이용하여 선박 영상을 수집 및 저장하고 육상 시스템으로 전송하기 위한 영상 처리 방법으로서,
(a) 선내의 주요 지역에 배치되어 영상을 획득하는 CCTV의 선내 영상 및 무선 액세스 포인트(AP)를 통해 전달되는 무선 단말기를 통해 획득한 영상 데이터를 수신하는 단계;
(b) 상기 수신한 영상의 프레임을 축소하는 단계:
(c) 상기 축소한 영상의 프레임에 대하여 일정 간격의 프레임을 기준으로 각각의 영상 프레임의 변화된 부분만 저장하여 영상을 압축하는 단계:
(d) 상기 압축한 영상 프레임 이미지의 컬러를 단순화하기 위한 마스크로 매핑하여 영상 이미지를 구성하는 색상의 구성을 최소화하고, 연속된 색상은 생략한 텍스트로 변환하여 영상 데이터의 용량을 최소화하는 단계: 및
(e) 상기 (d)단계에서 용량이 최소화된 영상 데이터를 저장하고, 저장한 영상 데이터를 위성통신을 통해 육상 시스템으로 전송하는 단계를 포함하는 것을 특징으로 하는 선박 영상의 수집/저장을 위한 영상 처리방법.
An image processing method for collecting and storing ship images and transmitting them to a land system using the image processing system for collecting/storing ship images set forth in any one of claims 1 to 8, comprising:
(a) receiving on-board video from a CCTV that is placed in key areas of the ship to acquire images and video data acquired through a wireless terminal transmitted through a wireless access point (AP);
(b) Reducing the frame of the received video:
(c) Compressing the video by storing only the changed portion of each video frame based on frames at regular intervals for the frames of the reduced video:
(d) Mapping the colors of the compressed video frame image with a mask to simplify them to minimize the composition of colors that make up the video image, and converting continuous colors into omitted text to minimize the capacity of video data: and
(e) video for collection/storage of ship images, comprising the step of storing image data whose capacity is minimized in step (d) and transmitting the stored image data to a land system through satellite communication. Processing method.
 청구항 9에서, 상기 (b)단계는,
수신한 초당 60프레임(fps) 이상의 영상 데이터를 초당 사람이 움직임을 인식하는 있는 30프레임(fps)으로 축소하는 것을 특징으로 하는 선박 영상의 수집/저장을 위한 영상 처리방법.
In claim 9, step (b) is,
An image processing method for collecting/storing ship images, characterized in that the received image data of 60 frames per second (fps) or more is reduced to 30 frames per second (fps) at which human movement is recognized.
 청구항 9에서, 상기 (c)단계는,
상기 일정 간격의 기준 프레임과 일정 간격 내의 프레임 중 영상 데이터 변화가 발생한 프레임만을 남기고 나머지 일정 간격 내의 프레임은 제거하여 영상을 압축하는 것을 특징으로 하는 선박 영상의 수집/저장을 위한 영상 처리방법.
In claim 9, step (c) is,
An image processing method for collecting/storing ship images, characterized in that, among the reference frames at regular intervals and frames within a certain interval, only frames in which changes in image data occur are left, and the remaining frames within a certain interval are removed to compress the image.
 청구항 9에서, 상기 (d)단계는,
임의 프레임 내의 특정 영역의 컬러는 대표 컬러로 변환하고, 상기 특정 영역의 가장 어두운 컬러는 검은색 컬러로 변환하고, 동일한 컬러가 연속되는 부분은 생략하고 텍스트로 저장하지 않도록 하여 영상 이미지의 저장 용량을 최소화하는 것을 특징으로 하는 선박 영상의 수집/저장을 위한 영상 처리방법.
In claim 9, step (d) is,
The color of a specific area within a random frame is converted to a representative color, the darkest color of the specific area is converted to black, and parts where the same color is continuous are omitted and not saved as text to reduce the storage capacity of the video image. An image processing method for collecting/storing ship images, characterized by minimizing them.
 청구항 9에서,
(f) 선박에서 위성통신을 통해 전송한 압축된 선내 영상 데이터를 수신하는 단계;
(g) 상기 수신한 텍스트 형태의 선내 영상 데이터에서 반복되는 색상 값을 복사/확장하여 영상 프레임 이미지로 복원하는 단계:
(h) 상기 (g)단계에서 복원된 영상 프레임 이미지에서 기준 영상 프레임 이미지의 변화가 없는 값을 나머지 프레임의 행렬에 복사/확장하여 영상 프레임 이미지의 손실 부분을 복원하여 압축 영상을 해제하는 단계; 및
(i) 상기 압축 해제된 영상 데이터를 영상 저장부 및 영상 클라우드 서버에 저장하는 단계를 더 포함하는 것을 특징으로 하는 선박 영상의 수집/저장을 위한 영상 처리방법.




In claim 9,
(f) receiving compressed onboard video data transmitted from the ship through satellite communication;
(g) Copying/extending repeated color values in the received on-board video data in text form and restoring it to a video frame image:
(h) decompressing the compressed image by copying/extending unchanged values of the reference video frame image from the video frame image restored in step (g) to the matrix of the remaining frames to restore the lost portion of the video frame image; and
(i) An image processing method for collecting/storing ship images, further comprising the step of storing the decompressed image data in an image storage unit and an image cloud server.
KR1020220065874A 2022-05-30 2022-05-30 Image processing system and method for collecting/storing ship images KR20230166219A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220065874A KR20230166219A (en) 2022-05-30 2022-05-30 Image processing system and method for collecting/storing ship images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220065874A KR20230166219A (en) 2022-05-30 2022-05-30 Image processing system and method for collecting/storing ship images

Publications (1)

Publication Number Publication Date
KR20230166219A true KR20230166219A (en) 2023-12-07

Family

ID=89163318

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220065874A KR20230166219A (en) 2022-05-30 2022-05-30 Image processing system and method for collecting/storing ship images

Country Status (1)

Country Link
KR (1) KR20230166219A (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101310071B1 (en) 2012-03-14 2013-10-14 대양전기공업 주식회사 Vessel accident tracking of multimedia based management system and method
KR102146365B1 (en) 2014-01-17 2020-08-20 대우조선해양 주식회사 Integration system for efficient management of ship on inboard and land

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101310071B1 (en) 2012-03-14 2013-10-14 대양전기공업 주식회사 Vessel accident tracking of multimedia based management system and method
KR102146365B1 (en) 2014-01-17 2020-08-20 대우조선해양 주식회사 Integration system for efficient management of ship on inboard and land

Similar Documents

Publication Publication Date Title
EP0313301B1 (en) Signal coding
US9648355B2 (en) Adaptive security camera image compression apparatus and method of operation
US5644645A (en) Fingerprint image transmission system utilizing reversible and non-reversible data compression coding techniques
US5574449A (en) Signal processing with hybrid variable-length and entropy encodidng
US10412420B2 (en) Content-driven surveillance image storage optimization apparatus and method of operation
EP3101898B1 (en) Video compression with increased fidelity near horizon
CN105959503A (en) Remote image preview transmission method and device
Fort et al. Quasi-real time remote video surveillance unit for lorawan-based image transmission
KR20230166219A (en) Image processing system and method for collecting/storing ship images
JP3522395B2 (en) Monitoring device
CN109474825B (en) Pulse sequence compression method and system
CN109379590B (en) Pulse sequence compression method and system
JP2014216831A (en) Encoding device and remote monitoring system
CN111277835A (en) Monitoring video compression and decompression method combining yolo3 and flownet2 network
CN102833511A (en) Method and device for storing high-definition videos based on serial digital interface (SDI)
US4843462A (en) Remote video observation systems
EP3442125A1 (en) Sensor network assembly for reducing quantity of data for vehicles
WO2023028556A1 (en) Controlling devices in operations areas based on environmental states detected using machine learning
CN101841704B (en) Method and device for compressing and decompressing video bit stream
CN109769104B (en) Unmanned aerial vehicle panoramic image transmission method and device
US20240062507A1 (en) Information processing device, information processing system, information processing method, and recording medium
RU2616562C1 (en) Method for transmitting images through communication channel
CN111491166A (en) Dynamic compression system and method based on content analysis
JP4400349B2 (en) Video processing apparatus and video surveillance processing system using the same
RU2734020C1 (en) Autonomous video monitoring system