KR102206658B1 - 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템 및 그 방법 - Google Patents

항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템 및 그 방법 Download PDF

Info

Publication number
KR102206658B1
KR102206658B1 KR1020200102811A KR20200102811A KR102206658B1 KR 102206658 B1 KR102206658 B1 KR 102206658B1 KR 1020200102811 A KR1020200102811 A KR 1020200102811A KR 20200102811 A KR20200102811 A KR 20200102811A KR 102206658 B1 KR102206658 B1 KR 102206658B1
Authority
KR
South Korea
Prior art keywords
terminal
middleware
vehicle
port
gps
Prior art date
Application number
KR1020200102811A
Other languages
English (en)
Inventor
서영민
김현
김영민
곽승준
권순범
정지훈
Original Assignee
아이티플래닛 주식회사
주식회사 이에스피
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이티플래닛 주식회사, 주식회사 이에스피 filed Critical 아이티플래닛 주식회사
Priority to KR1020200102811A priority Critical patent/KR102206658B1/ko
Application granted granted Critical
Publication of KR102206658B1 publication Critical patent/KR102206658B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G06K2209/15—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템 및 그 방법이 개시된다. 상기 시스템은 항만 컨테이너 터미널에서 항만 Gate, Yard/Block, Block Entrance, ARMGC, QC 각 지역에 설치된 다수의 카메라; 상기 다수의 카메라 영상 데이터를 입력받아 딥러닝 모듈에 의해 학습 데이터에 따라 카메라 영상내 객체들을 검출하고 차선 인식, 차량 번호 인식, 컨테이너 번호(ISO code)의 문자를 인식하며, 항만 Gate, 블록 진입구 진입 차량 인식, 위험 지역 진입 차량과 작업자, 역주행 차량, Yard 작업자 안전보호구/안전 조끼 착용 여부 검출, 양·적하 장비 위치를 검출하여 이벤트 발생시마다 해당 스피커로 경고 방송을 하며, 학습된 객체 추출 이벤트(text)와 사각박스로 마킹된 객체 추출 영상 데이터를 미들웨어로 전송하는 FPGA 기반 임베디드 비전 시스템(TLEM); 및 상기 FPGA 기반 임베디드 비전 시스템(TLEM)과 연결되고, 터미널 운영 시스템(TOS)과 연동되는 미들웨어를 포함한다. DR-GPS 단말기를 구비한 차량(XT, YT 차량)의 위치 정보를 미들웨어를 통해 터미널 운영 시스템(TOS)으로 전송되고, GPS 신호가 끊겨도 Dead Reckoning을 갖는 6축 센서 또는 9축 센서를 사용하여 차량 속도 신호에 기초하여 위치를 보정하여 DR-GPS 단말기를 구비한 차량의 위치를 TOS로 전송한다.

Description

항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템 및 그 방법{Vision camera system to be communicated with Terminal Operating System through middleware in a port container terminal and method thereof}
본 발명은 항만 컨테이너 터미널에서 터미널 운영 시스템(TOS)과 연동되는 비전 카메라 시스템(Smart Port)에 관한 것으로, 보다 상세하게는 항만 컨테이너 터미널에서 항만 Gate, Yard/Block, Block Entrance, ARMGC, QC 각 지역에 설치된 다수의 카메라와 연동되는 Non-GPU 기반의 딥러닝 모듈(YOLO, SSD)이 탑재된 FPGA 기반 임베디드 비전 시스템(TLEM)이 카메라 영상의 객체들(컨테이너와 차량과 사람, 양적하 장비 등)를 검출하며, 항만 Gate/Yard의 Block/Block Entrance 진입 차량 검출, 차선 인식, 차량 번호 인식, 컨테이너 번호(ISO code)의 문자 인식, 위험 지역 작업자 및 차량 검출, 역 주행 차량 검출, 작업자의 안전보호구/안전 조끼 착용 여부 검출, QC에서 선박으로 양적하되는 컨테이너 번호(ISO 코드)를 인식하며, 딥러닝 모듈이 탑재된 FPGA 기반 임베디드 비전 시스템(TLEM)과 미들웨어(엣지 미들웨어+ 통합 미들웨어)를 통해 터미널 운용 시스템(TOS)과 연동되며, DR-GPS 단말기를 구비하는 컨테이너 차량의 위치를 미들웨어를 통해 TOS로 전송하는, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템 및 그 방법에 관한 것이다.
최근 4차 산업 기술과 함께 IoT, AR/VR, Big Data, Drone 기술이 발전하고 있으며, 항만 물류 산업과 항만 컨테이너 터미널에서 비전 시스템 확산 및 산업화에 핵심 공통 기반 기술의 확보가 시급하다.
세계 물류 중심이 아시아로 이동함으로써 글로벌 중심항 경쟁이 더욱 치열해지고 있으며, 과거 아시아 물량 비중 2000년 47.1%, 2015년 54.0%→ 미래 아시아 물량 비중 59.4%이 될 것으로 전망되며. 해운 항만물류 중심축이 아시아로 이동하였으며 2020년이후 현 추세가 지속될 것으로 예상된다. 타 물류분야에 비해 적은 투자와 연구 부재로, 국가 항만물류기술산업은 타 국가와의 항만물류기술의 경쟁력 강화가 필요하다.
항만 컨테이너 터미널의 처리 능력은 선석, 이송 차량, 야드(Yard), 게이트(Gate)의 개별 능력과 종합적인 연계 능력에 의해 결정된다. 항만 컨테이너 터미널은 처리능력을 향상시킬수록 선박의 재항 시간을 감소시킬 수 있으므로, 한정된 자원으로 보다 많은 이윤을 얻을 수 있다.
컨테이너 터미널의 처리 능력은 결국 선석 처리율(생산성)로 평가될 수 있으며, 선석 처리율을 향상시키기 위한 방법으로써, i) 안벽 크레인의 속도 향상, ⅱ) 신개념 크레인 적용, ⅲ) 한 선박에 동시 작업하는 크레인 대수 증가를 고려한다.
선석 처리율은 크레인 투입 수에 따른 자체의 처리율 뿐 아니라 Yard 및 이송 차량의 처리율에 의해 결정된다.
현재 국내·외 항만의 선석 처리율인 QC(Quay Crane)의 생산성(move/hr)은 최대 27 move/hr을 기록하고 있다. 국내 컨테이너 터미널의 QC 평균 생산성은 19~24 move/hr을 차지하고 있고, 해외 컨테이너 터미널은 평균 22~27 move/hr을 차지하고 있다(국내 보다 20% 높음).
부산 신항은 대부분이 반자동화 터미널이며, 26~30 move/hr로 해외 수준과 비슷하나 완전자동화 터미널인 상해 자동화 터미널은 40 move/hr로 높은 생산성을 보일뿐 아니라 인력 부분도 70% 줄일 수 있었다.
항만 물류 분야에서 ICT 융·복합 기술을 적용하여 ‘저탄소 녹색성장’의 취지 하에 2005년부터 해양수산부에서 진행한 “RFID기반 항만물류 효율화 시범사업”을 시작으로 현재까지 많은 IoT기술을 적용한 사업들이 정부 주도하에 진행되었으나, 일부 기술만이 적용되었다.
항만 컨테이너 터미널에서 사회적으로 안전에 대한 의식은 높아지고 있으나 사고 위험은 커지고 있으며 작업자 안전 확보 방안 마련이 시급하다.
- 항만 내 자동화 및 기계화, 컨테이너를 적재한 차량 증가에 의한 작업자 위험 노출 및 인지범위 밖 위험상황 증가
- 항만 내 자원(컨테이너, 차량, 장비)의 실시간 위치 및 상태파악의 한계 존재
- 항만 보안구역 감시 및 위험 영역 감지 필요
이에, 완전 무인 자동화 터미널 필수 요소인 ‘인식과 위치 정보’ 시스템으로 실시간 영상데이터로 객체 및 문자 검출 처리 기술과 위치보정 GPS를 이용하여 ① 컨테이너 위치 및 문자 인식, ② 실시간 차량 위치 및 ID 인식, ③ 외각 펜스 감지, ④ 작업자 안전모, 안전조끼 착용여부, ⑤ 위험 영역 차량 및 인원 감지, ⑥ 차량 역주행/안전속도 감지를 통해 업무처리 효율 향상, 작업자의 안전도 향상시킬 수 있는 기술 개발이 필요하다.
또한, 항만 컨테이너 터미널은 선박에서 컨테이너를 하역ㆍ적재하는 구간에서 선박은 바람과 파랑에 의해 약간씩 이동하며, 이로 인해 갠트리 크레인 또한 이동시켜 작업을 수행한다. 따라서, 트레일러/샤시를 이용한 컨테이너 양ㆍ하역하는 지점까지 변하게 된다. 그리고 컨테이너의 종류 또한 크게 두 가지(40 feet, 20 feet)로 분류되어 운전자 혼자서 작업위치에 정지하기에 어려운 점이 있다.
이와 관련된 선행 기술1로써, 특허 등록번호 10-0794410에서는 항만의 컨테이너를 운반하는 트레일러의 운전자가 보조 작업자 없이 혼자서 정지위치를 파악하고 트레일러를 정지시키도록 구성한 "항만 트레일러 자동 정지위치 모니터링 시스템"이 등록되어 있다.
도 1은 종래의 항만 트레일러 자동 정지위치 모니터링 시스템의 구성도이다.
항만 트레일러 자동 정지위치 모니터링 시스템은 CCD 카메라(100)와 프레임 그래버(Frame Grabber, FG)(102), 퍼스널 컴퓨터(PC)(104), 프로그래머블 로직 컨트롤러(Programmable Logic Controller, PLC)(106), 디스플레이 표시등(108) 및 다수개의 레이저 센서(110)로 구성된다. 상기 시스템은 기존 갠트리 크레인에 레이저 센서(110)와 CCD 카메라(100)를 부착시키는 작업만으로 간단히 시스템을 구성할 수 있다.
CCD 카메라(100)와 레이저 센서(110)는 크레인 구조물(10)의 상/하측단에 각각 설치되며, CCD 카메라(100)에 입력된 아날로그 신호는 프레임 그래버(FG)(102)에서 디지털 영상 신호로 변환되고, 이 디지털 영상 신호는 PC(104)로 입력된다. 상기 PC(104)에 입력된 디지털 영상 신호는 "Optical Flow" 영상처리기법을 이용하여 트레일러(20)의 움직임을 포착한다. 즉, PC(104)는 세로 열을 1/10로 축소시킨 640 ×48(pixel)의 화소를 가지는 영상을 사용하여 크레인 내부의 횡축으로 20m 길이 폭을 감지하게 된다. 따라서, 한 화소당 3.1cm의 분해능을 가질 수 있으며, 샤시의 레이저 센서(110)를 이용하여 더욱 정밀한 정지위치를 감지할 수 있다.
CCD 카메라(100)는 크레인 구조물(10)의 상단부에 설치되며, 바람직하게는 스프레드의 작업을 방해하지 않도록 하고 견고하게 고정시켜 작업도중 흔들림에 의해 정확도가 떨어지지 않도록 설치한다.
항만 트레일러 자동 정지위치 모니터링 시스템은
선박에서 크레인을 이용하여 화물을 양ㆍ적함에 있어서,
상기 크레인 구조물의 하측단에 설치되어 트레일러의 측면에서 위치를 감지하는 적어도 1개 이상의 레이저 센서와, 상기 크레인 구조물의 상측단에 설치되어 트레일러의 상단부에서 위치를 감지하는 CCD 카메라로 구성되어 상기 크레인의 위치 변화에 따른 트레일러의 정지위치를 자동 인식화하는 감지수단과;
상기 트레일러의 정지위치를 운전자에게 시각적 신호로 알려주는 디스플레이 수단과;
상기 CCD 카메라로부터 전송된 아날로그 신호를 디지털 신호로 변환시키는 프레임 그래버와;
상기 프레임 그래버로부터 입력된 디지털 신호를 "Optical flow" 영상처리기법을 이용하여 트레일러의 움직임을 포착하는 퍼스널 컴퓨터와;
상기 퍼스널 컴퓨터에서 계산된 비트열과 상기 레이저 센서에서 전송되는 비트열을 연산 처리하는 PLC를 포함한다.
레이저 센서는 컨테이너의 크기에 따라 4군데에 각각 2개의 쌍으로 구성되며, 각각의 데이터를 상기 PLC로 전송한다.
상기 디스플레이 수단은,
상기 트레일러의 진입을 동적으로 표시한 상태표시부와,
상기 트레일러의 정지 위치를 알려주는 지시부와,
상기 감지수단의 동작상태를 나타내는 마킹부로 구성된다.
항만 트레일러 자동 정지위치 모니터링 시스템은 다음과 같은 효과를 제공한다.
첫 번째로, 작업중인 차선 이외의 차선에서 컨테이너가 진입하더라도 레이저 센서와 CCD 카메라가 동시에 감지하므로 오작동이 전혀 발생하지 않는 장점을 가지고 있다.
두 번째로, 디스플레이 형태는 트레일러의 움직임에 따른 동적인 상황을 연속적으로 보여주고 정지위치를 알려줌으로서 운전자는 예측운전을 할 수 있으므로 급정지에 대한 부담이 상당히 줄어드는 이점이 있다.
세 번째로, 4군데의 각각 2개의 쌍으로된 레이저 센서를 이용함으로 보다 정확한 위치 정보를 제공하며, 트레일러가 정지지점을 지나가더라도 오차의 정도를 운전자에게 제공할 수 있다.
네 번째로, 레이저 센서 이외의 향상된 데이터 처리 속도와 높은 분해능을 가진 CCD 카메라를 이용하여 켄테이너 차량을 감지하므로 양ㆍ적하시 모두 사용할 수 있다.
다섯 번째로, 레이저 센서와 CCD 카메라가 서로 보조하여 정지위치를 디스플레이함으로써 보다 신뢰성 있는 정지위치 정보를 제공하는 효과가 있다.
이와 관련된 선행기술2로써, 특허 등록번호 10-1978292에서는 "항만 게이트 OCR 시스템 장치"가 등록되어 있다.
항만 게이트 OCR 시스템 장치는 4개가 항만 게이트 통로 레인에 순차적으로 배치되고 컨테이너 차량의 헤드를 인식하면 1 값을 출력하고, 그 외 부분은 0 값을 출력하며, 연속된 3개가 컨테이너 전방에서 후방까지 인식되는 간격으로 배치되는 센서, 상기 센서의 인식값을 받아 제어신호로 전달하는 제어부, 컨테이너의 전면, 우측면을 촬영하는 전면카메라, 컨테이너의 후면, 좌측면을 촬영하는 후면카메라로 구성되어 컨테이너의 수량과 위치를 즉각적으로 파악하고 다양한 번호 인식을 동시다발적으로 진행하여 짧은 시간 내에 정보를 획득하고 컨테이너의 분류와 이동에 적용 가능하도록 한다.
이와 관련된 선행기술3로써, 특허 등록번호 10-1068681에서는 "항만 통합 보안 감시 운영 시스템"이 등록되어 있다.
항만 통합 보안 감시 운영 시스템은 감시 대상 항만 영역에 대해 피사체를 촬상하는 카메라를 포함하는 항만 보안 감시부와; 항만 내에 출입되는 화물 또는 사람에 대해 장착되거나 착용된 고유 식별태그를 검출하여 항만내에서의 화물 또는 사람에 대한 위치 정보를 검출하는 출입 및 이동 위치 검출부와; 출입 및 이동 위치 검출부에서 제공되는 정보를 기반으로 항만 내의 출입 정보 및 감시 대상물에 대한 위치 이동 정보를 생성 및 저장 처리하고, 감시대상물에 대한 이동 정보를 이용하여 항만 보안 감시부에서 실시간으로 추적할 수 있도록 항만 보안 감시부를 제어하는 항만 통합 감시 서버와; 상기 항만 통합 감시 서버와 무선망을 통해 통신하면서 입력부를 통해 요청한 상기 항만 내의 지리정보, 상기 항만 내의 물류 위치 정보를 포함한 항만 상황 정보를 상기 항만 통합 감시 서버로부터 제공받아 표시하는 휴대용 항만 정보 단말기를 구비하고,
상기 식별태그는 RFID 태그이고, 상기 출입 및 이동 위치 검출부는 사람 또는 화물이 입출되는 게이트를 포함한 설정된 검출 위치마다 상기 RFID태그를 인식할 수 있도록 설치되어 검출 정보를 상기 항만 통합 감시서버로 제공하는 RFID 리더기이며,
상기 항만 통합 감시 서버는 항만에 입출하는 선박에 대한 정보를 제공하는 해양안전정보 시스템과 네트워크를 통해 접속되어 상기 선박에 대한 정보를 제공받아 미등록 선박이 있는 지를 상기 항만 보안 감시부를 통해 판단하고, 미등록 선박에 대해서는 상기 항만 보안 감시부를 통해 감시되게 처리하며,
상기 항만 통합감시 서버는 컨테이너 화물의 생산지로부터 목적지까지의 물류 이동정보를 관리하는 항만운영정보 시스템과 네트웍을 통해 접속되어 항만 내로 출입되는 컨테이너 화물에 대한 사전 정보를 취득하도록 되어있고,
상기 항만보안 감시부는
감시 대상 항만 영역에 대해 광대역을 촬상할 수 있도록 설치된 중앙 카메라와;
상기 감시 영역에 대해 할당된 로컬 영역을 촬상할 수 있도록 설치된 복수개의 로컬 카메라와;
상기 중앙 카메라에 대응되게 설치되어 상기 중앙 카메라의 촬상방향 변동에 대한 카메라 위치 정보를 검출하는 위치 정보 제공부와;
상기 중앙 카메라에 대응되게 설치되어 상기 중앙 카메라의 촬상방향 전방에 있는 물체의 거리를 측정하는 거리 측정기와;
상기 감시 대상 항만 영역 중 설정된 비허가 영역에 대한 침입여부를 검출할 수 있게 설치된 침입검출 센서와;
상기 침입검출 센서의 출력신호로부터 칩입여부를 판단하는 침입검출부와;
상기 항만 감시 영역에 대해 이동 물체의 유무를 검출하는 레이더;를 구비하고,
상기 항만통합 감시서버는 상기 중앙 카메라, 상기 로컬 카메라, 상기 위치정보 제공부, 상기 거리 측정기, 상기 칩임 검출부 및 상기 레이더에서 전송되는 정보를 수신 처리하여 저장하고, 상기 중앙카메라 및 상기 로컬 카메라의 촬상 방향을 원격으로 제어한다.
항만 통합 보안 감시 운영 시스템에 의하면, 출입 차량, 화물, 사람에 대한 현재 위치를 파악할 수 있어 보안레벨에 따른 접근통제가 가능하며, 이동 피사체에 대한 사전 정보를 이용하여 항만내 비정상적인 물류활동과 정상적인 물류활동을 구별하여 실시간 탐지 및 추적이 가능한 장점을 제공한다.
이와 관련된 선행기술4로써, 특허 등록번호 10-1071379에서는 "항만 통합 보안 감시 시스템"이 등록되어 있다.
항만 통합 보안 감시 시스템은, 감시 대상 항만 영역에 대해 광대역을 촬상할 수 있도록 설치된 중앙 카메라와; 상기 감시 영역에 대해 할당된 로컬 영역을 촬상할 수 있도록 설치된 복수개의 로컬 카메라와; 상기 중앙 카메라에 대응되게 설치되어 상기 중앙 카메라의 촬상방향 변동에 대한 위치 정보를 검출하는 위치 정보 제공부와; 상기 중앙 카메라에 대응되게 설치되어 상기 중앙 카메라의 촬상방향 전방에 있는 물체의 거리를 측정하는 거리 측정기와; 상기 감시 대상 항만 영역에 대해 침입여부를 검출할 수 있게 설치된 침입검출 센서와; 상기 침입검출 센서의 출력신호로부터 칩입여부를 판단하는 침입검출부와; 상기 항만 감시 영역에 대해 이동 물체의 유무를 검출하는 레이더와; 상기 중앙 카메라, 상기 로컬 카메라, 상기 위치정보 제공부, 상기 거리 측정기, 상기 칩임 검출부 및 상기 레이더에서 전송되는 정보를 수신 처리하여 저장하고, 상기 중앙카메라 및 상기 로컬카메라의 촬상 방향을 원격으로 제어하는 관리 서버와; 상기 항만의 해저영역을 통한 침입여부를 감시할 수 있도록 수중을 통해 초음파를 송출하고, 수신된 초음파로부터 침입여부 정보를 상기 관리서버에 제공하는 음파 탐지기를 구비하고,
상기 관리서버는 상기 중앙카메라에서 전송된 영상을 데이터 베이스에 저장하고 상기 데이터 베이스에 저장된 영상의 프레임 상호간을 비교하여 이동 물체의 유무를 판별하는 수신정보 처리부; 상기 수신정보 처리부로부터 이동물체에 대한 정보가 제공되면, 상기 중앙 카메라 또는 상기 로컬 카메라가 이 동물체가 검출된 영역에 대해 촬상을 수행할 수 있도록 상기 중앙카메라 또는 로컬 카메라를 제어하고, 등록된 관리자의 통신주소로 경보정보를 전송하는 원격제어처리부; 상기 데이터 베이스에 저장된 영상정보의 열람을 요구시 해당 정보를 제공하는 자료열람 제공부를 구비하고,
상기 위치 정보 제공부는 상기 중앙 카메라의 위치정보를 제공하기 위해 설치된 GPS수신기와; 상기 중앙카메라의 자세 정보를 제공하는 디지털 마그네틱 콤파스를 구비한다. 항만통합 보안감시 시스템은 광대한 항만 시설 내로의 수상, 수중, 공중 및 지상을 통한 침입여부를 감시 및 추적할 수 있다.
이와 관련된 선행기술5로써, 특허 등록번호 10-1045323에서는 다시점 카메라 시스템을 이용하여 항만에 대한 파노라마 영상을 생성하고, 여기에 AIS, PORT-MIS 또는 레이더 신호와 연계하여 360도 실시간 항만 관제가 가능한 "다시점 카메라 시스템을 이용한 실시간 항만 영상관제 시스템 및 그 방법"이 등록되어 있다.
다시점 카메라 시스템을 이용한 실시간 항만 영상관제 시스템은
항만 전체를 다수의 카메라로 분할하여 동시에 촬영하고, 상기 촬영된 영상들로부터 파노라마 영상 데이터를 생성하는 다시점 카메라 시스템과;
상기 파노라마 영상 데이터에서 파노라마 공간 좌표계를 생성하는 파노라마 좌표부와;
선박의 AIS 신호, PORT-MIS, 레이더 중 어느 하나 이상을 수신하여 선박 정보를 제공하는 선박 정보 입력부와;
전자해도에서 항만의 지형 정보를 입력하는 지형 정보 입력부와;
상기 다시점 카메라 시스템의 파노라마 영상 데이터에 상기 선박 정보 입력부의 선박 정보와 지형 정보 입력부의 지형 정보를 매칭하여 표시하는 영상 관제 표시부로 구성된 다시점 카메라 시스템을 이용한 실시간 항만 영상관제 시스템을 제공하며, 이에 따라 한 화면에 항만 전체를 표시할 수 있으므로 360도 실시간 항만 영상관제가 가능하게 되는 것이며, 이러한 파노라마 영상에 AIS, PORT-MIS 또는 레이더 신호로부터 분석한 선박 정보를 표시하며, 기존 선박과 관제사 간에 무선 통신을 이용해 주고받던 정보들을 파노라마 영상으로 한 화면에 표시하며 관제사가 현장을 직접 보면서 관제하는 것과 같이 영상관제를 하는 효과를 얻을 수 있다.
이와 관련된 선행기술6로써, 특허 등록번호 10-1313025에서는 "무선인식을 이용한 항만 장치장 내 무인이송장비의 정지위치 인식시스템"이 공개되어 있다.
무선인식을 이용한 항만 장치장 내 무인이송장비의 정지위치 인식시스템은
무인이송장비의 정지위치 인식시스템에 있어서,
항만 터미널 장치장 내에 지정된 구역에 설치 구성되는 무선인식(RFID) 태그(100);
항만 터미널 장치장 내의 겐트리 크레인(10, Gentry Crane), 타워 크레인(20, Tower Crane)에 설치 구성되는 무선인식(RFID) 리더기(200);
항만 터미널 장치장 내의 겐트리 크레인(Gentry Crane), 타워 크레인(Tower Crane)에 설치 구성되어 중앙통제수단과 무선 통신하기 위한 무선랜모듈(300);
2개의 지향성 안테나가 탑재된 무선인식(RFID)리더기와 무선랜 모듈이 설치 구성되는 무인운반차량(400);
겐트리 크레인(Gentry Crane)에 하역 작업을 수행할 위치 정보를 송출하며, 무인운반차량에 작업 구역으로 이동하기 위한 호출 메세지를 송출하며, 타워 크레인(Tower Crane)에 작업 구역으로 이동하기 위한 호출 메세지를 송출하는 중앙통제수단(500)을 포함하여 구성된다.
이와 관련된 선행기술7로써, 특허 등록번호 10-1042343에서는 "ＵＷＢ 센서를 사용한 항만 내 차량의 위치 인식시스템"이 등록되어 있다.
항만 내 운행 중인 차량의 위치 인식하는 기술은, 기존 GPS, RFID가 아닌 UWB 센서를 이용하여 항만내의 차량의 위치를 인식하는 방법을 제공한다. 기존 GPS를 이용한 차량의 위치 인식 시스템의 항만 내에서 차량의 위치가 5m 이상의 차이를 보였고, RFID를 이용한 차량위치 인식시스템은 항만의 특수한 환경적인 요소인 물과 컨테이너 인체 오차가 1~5M 이상의 위치 오차를 보였다. 하지만, UWB 신호를 이용하여 30cm 이내의 위치 오차 값을 가질 수 있고, 30cm 오차도 움직이는 차량의 속도를 고려한 속도 필터를 이용하여 오차 값을 줄여 보다 정확한 차량의 위치를 인식하기 위한 것이다.
제 1 관점으로 UWB 센서를 사용한 항만 내 차량의 위치 인식시스템의 속도필터를 사용한 위치인식오차감소방법에 있어서, 발신장치(100)에서 수신장치(UWB 센서)(200)에 UWB 신호를 전달하는 1단계(S110)와; 상기 수신장치(200)에서 상기 발신장치(100)의 위치를 계산하는 2단계(S120)와; 상기 수신장치(200)에서 위치인식서버(300)에 위치를 포함한 신호를 전달하는 3단계(S130)와; 상기 위치인식서버(300)에서 차량의 속도 값을 고려하여 위치 값을 속도필터를 사용하여 필터링하는 4단계(S140)와; 상기 필터링된 위치값을 그래픽유저인터페이스에 표시하는 5단계(S150)를 포함하는 UWB 센서를 사용한 항만 내 차량의 위치 인식시스템의 속도필터를 사용한 위치인식오차감소방법이 제시된다.
제 2 관점으로, UWB 센서를 사용한 항만 내 차량의 위치 인식시스템에 있어서, 항만 내 차량에 설치되어 특정신호를 발신하는 발신장치(100)와; 상기 발신장치(100)에서 발신한 신호를 수신하여 TDOA를 이용하여 발신장치(100)의 위치를 계산하고 상기 수신한 신호를 위치인식서버에 전달하는 수신장치(200)와; 상기 수신장치(200)에서 발신한 신호를 수신하여 발신장치(100)의 속도를 계산하고, 속도필터(310)를 사용하여 위치오차를 줄이는 위치인식서버(300)를 포함하는 UWB 센서를 사용한 항만 내 차량의 위치 인식시스템이 제시된다.
1. Non-GPU 기반 딥러닝 영상처리 기술 개발의 필요성
Figure 112020086056449-pat00001
Figure 112020086056449-pat00002
최근, 세계 3위의 컨테이너 항만 보유국인 국내의 항만 물류 산업은 상하이를 인접 국가의 주변항의 급성장과 지식 기반 항만물류 기술 산업, 조선 및 해운업의 불경기까지 겹쳐 있지만, ICT 기술을 기반으로 선진화된 지능형 항만 시스템이 필요하게 되었다.
해양수산부는 기존 상용화된 해외 자동화 항만 기술 대비 효율성·생산성을 향상하기 위한 스마트 자동화 항만 시스템(Overhead Shuttle System, OSS)을 연구개발을 추진하였다(2013-2017). - 초대형 컨선(2만5천 TEU급) 22시간 하역 서비스(재래식 : 40시간, 해외자동화 : 28시간 이상 소요) -
지금까지 국내 항만 컨테이너터미널에서는 양적하시에 언더맨, 작업 관리자, 신호수, 겸수 등 많은 인력이 동원되어 수동적으로 이루어지고 있으며, 이로 인해 인건비, 안전사고의 위험성, 작업 효율성, STS 양적하시에 작업자의 육안 인식에 의해 이루어지는 작업자의 휴먼 에러가 발생되고 있다. 또한, 일부 자동화 된 항만 컨테이너 터미널에서는 900MHz RFID를 사용하여 수동터미널 대비 항만 컨테이너 터미널의 양·적하 생산성 및 효율성을 높이고 있다. GPS를 적용한 항만 컨테이너 터미널은 PNC(부산신항만주식회사)가 터미널이 유일하다.
도 1b는 항만 Gate, Yard의 Block, Block Entrance, ARMGC, QC, TC, STS(Ship To Shore Crane)를 구비하는 항만 컨테이너 터미널의 Yard 지도이다. 항만 Gate와 세관 검사장(CS)을 통과하면, 해당 차량의 RFID가 검출되고 작업자가 작업지시서를 발급받고 항만 물류 정보를 관리하며, Yard의 Block(A1,B1,C1,D1,E1,F1,G1, A2,B2,C2,D2,E2,F2,G2)의 각각의 블록 진입구(Block Entrance)는 카메라와 좌우에 RFID 리더가 구비되며, 배에 컨테이너를 양적하하는 QC(Quay Crane)가 구비된다. XT, YT 차량은 해측(sea side)만 일방 통행한다.
TC는 Transfer Crane, ATC는 Automated Transfer Crane(ARMGC), YT는 Yard Tractor, XT는 external truck, STS는 Ship To Shore Shore, QC는 Quay Crane이다.
TC(Transfer Crane)는 RTGC(Rubber Tired Gantry Crane)와 RMGC(Rail Mounted Gantry Crane)를 구비한다. RTGC는 무인화(완전 자동, 반자동)가 아직 안되어 있으며, RMGC는 무인화(완전 자동, 반자동) 운영중인데 무인 RMGC를 ARMGC(Automated Rail Mounted Gantry Crane)라고 한다. ARMGC는 초당 2~3m 이동하며 운용사마다 ATC(Automated Transfer Crane)라고 불린다.
기존 항만 컨테이너 터미널 RFID 시스템은 항만 뮬류 RFID 시스템으로써, 항만 게이트 출입구 RFID 시스템, Yard RFID 시스템, ATC RFID 시스템, QC RFID 시스템이 구비되며 터미널 운용 시스템(TOS)에 연결되며, 항만 Gate 출입구, 차량의 900MHz RFID 태그를 사용한 차량 출입 관리와 작업 지시서를 발급받고 항만 물류 관리 정보와 세관 정보를 관리하며, 차량 번호 인식, RFID 리더가 Yard의 블록 진입구(Block Entrance)마다 설치되며, QC(Quay Crane)에서 선박으로 양·적하되는 컨테이너 번호 인식, ATC(Automated Transfer Crane, ARMGC)에 구비된다. RFID 시스템은 차량에 부착된 900MHz RFID 태그를 검출하는 900MHz RFID 리더와 미들웨어와 PC를 구비한다.
현재까지 항만 컨테이너 터미널은 자동화를 위해 바코드 인식, 900MHz RFID 인식, GPS+RTLS(2.4GHz 비콘)을 개발하였으나, 항만 컨테이너 터미널의 GPS 위치 측위 오차와 환경적인 변수에 의해 큰 오차를 나타내고 있으며, 신뢰성 있는 정보를 받지 못하고 있다.
RTLS 기술은 RFID, GPS, 2.4GHz 비콘 기술을 사용한 여러가지 솔류션이 제공되고 있으나, 항만 터미널의 ISM 밴드의 전파 간섭과 환경적인 영향에 의해 신뢰성있는 항만 컨테이너 차량의 정확한 위치 추적이 필요하다.
또한, 항만 컨테이너 터미널에서 사용된 적외선 투광기가 구비된 차량 번호를 인식하는 차량 검지기로 사용되는 LPR(License Plate Recognition)(차선당 1,000만원), OCR(Optical character recognition)(항만 게이트용 차선당 7,000만원), 고사양의 GPU(graphic processing unit) 기반 영상인식 시스템은 고성능의 그래픽 처리를 위한 복잡한 하드웨어 구성과 고가의 시스템 구축 비용이 들며, 각각의 판독 소프트웨어 사용으로 호환이 어렵고, 인식률이 서로 상이하다(OCR은 문자 이외에 판독 안됨).
이를 위해, 인공지능의 딥러닝 모듈이 탑재된 소형 FPGA 기반 임베디드 비전 시스템의 영상인식 기술 개발이 필요하며, Non-GPU 기반 딥러닝 영상 인식 모듈과 정밀한 위치 보정이 가능한 GPS 시스템의 개발이 필요하며, 항만 컨테이너 터미널의 양적하 효율성을 높이고 신뢰성을 개선해야 한다.
본 기업은 2012년 설립 후, 국내외 항만 컨테이너 터미널의 자동화 시스템을 개발/구축하였으며, 그외 터미널, 출입 통제, 항만 통합 물류 관리 시스템에 HW/SW 납품 실적을 가지고 있다.
해외 항만 컨테이너 터미널의 경우, 넓은 부지로 인해 컨테이너를 높게 적재하지 않아 멀티 패스 현상이 발생하지 않는다.
국내 항만 컨테이너 터미널의 경우 4~6 단의 컨테이너 적재로 인해 난반사가 심하며, 지구 자전에 의한 오차, 적재된 컨테이너에 의한 음영 및 난반사에 의한 오차가 존재한다.
특허 등록번호 10-0794410 (등록일자 2008년 1월 7일), "항만 트레일러 자동 정지위치 모니터링 시스템", 권영수, 이권순 특허 등록번호 10-1978292 (등록일자 2019년 5월 8일), "항만 게이트 OCR 시스템 장치", (주) 케이엔에스 특허 등록번호 10-1068681 (등록일자 2011년 9월 22일), "항만 통합 보안 감시 시스템", 한국해양연구원 특허 등록번호 10-1071379 (등록일자 2011년 9월 30일), "항만 통합 보안 감시 시스템", 한국해양연구원 특허 등록번호 10-1045323 (등록일자 2011년 6월 23일), " 다시점 카메라 시스템을 이용한 실시간 항만 영상관제 시스템 및 그 방법", (주)에디넷 특허 등록번호 10-1313025 (등록일자 2013년 9월 24일), "무선인식을 이용한 항만 장치장 내 무인이송장비의 정지위치 인식시스템", 동명대학교산학협력단 특허 등록번호 10-1042343 (등록일자 2011년 6월 10일), "ＵＷＢ 센서를 사용한 항만 내 차량의 위치 인식시스템", 동명대학교산학협력단
상기 문제점을 해결하기 위한 본 발명의 목적은 항만 컨테이너 터미널에서 차량 출입 관리와 다수의 카메라와 연동된 FPGA 기반 임베디드 비전 시스템(TLEM)의 딥러닝 모듈에 의해 딥러닝 학습 데이터에 따라 카메라 영상의 객체들의 특징 추출과 분류를 통해 컨테이너 차량과 사람을 검출하며, 항만 Gate/Yard의 Block/Block Entrance, ARMGC 차량 검출, 위험 지역 작업자 및 차량 검출, 역 주행 차량 검출, 작업자의 안전보호구/안전 조끼 착용 여부 검출, QC에서 선박으로 양적하되는 컨테이너 번호(ISO 코드) 추출하며, FPGA 기반 임베디드 비전 시스템(TLEM)으로부터 미들웨어로 학습된 객체 추출 이벤트(text)와 사각박스로 마킹된 객체 추출 영상 데이터를 전송하며, DR-GPS를 구비한 차량의 위치 정보(X,Y 좌표)를 터미널 운용 시스템(TOS)으로 전송하며, TLEM 또는 미들웨어가 항만 컨테이너 터미널의 Yard에 구비된 해당 지역의 스피커 방송을 통해 작업자와 차량의 위험 지역 안전관리를 제공하는, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템을 제공한다.
본 발명의 다른 목적은 딥러닝 모듈이 탑재된 FPGA 기반 임베디드 비전 시스템(TLEM)이 미들웨어를 통해 터미널 운영 시스템(TOS)과 연결되는, 항만 컨테이너 터미널에서 차량 출입 관리와 위치 추적 및 비전 카메라 시스템의 객체를 인식하는 방법을 제공한다.
항만 컨테이너 터미널에서 양적하 생산성과 효율을 개선을 위한 비전 시스템은 Non-GPU 기반의 FPGA 기반 임베디드 비전 시스템의 딥러닝 모듈을 사용하여 카메라 영상의 객체 식별 및 문자 인식을 하며, YT 차량과 XT 차량은 DR-GPS와 6축 센서 또는 9축 센서를 사용하여 위치보정 DR-GPS 시스템을 구비한다.
본 과제는, 첫째, 항만 컨테이너 터미널에서 항만 Gate 출입구, 교차로, Yard의 Block Entrance, STS(Ship To Shore Crane) / TC(Transfer Crane), 위험지역에 네트워크 카메라를 설치하여 차량 번호, 컨테이너 크기와 컨테이너 번호(ISO Code), YT 번호 인식, YT(Yard Tractor), 작업자 안전모/안전조끼 착용여부, 위험 지역 차량 및 작업자 검출과 인원수 감지, 차량 역주행/안전속도 감지를 위한 딥러닝 S/W를 개발하며, 둘째, 영상 인식된 YT 번호, 컨테이너 번호, 차량 번호의 객체의 문자 인식 및 DR-GPS 단말기가 탑재된 XT(external truck)의 위치 인식, 차량의 위치 보정된 GPS 위치 정보를 TOS(Terminal Operation System)에 전달하여 항만 컨테이너터미널 자동화 분야에서 상용화를 위한 기초 기술을 확보하는데 그 목적이 있다.
본 발명의 목적을 달성하기 위해, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템은, 항만 컨테이너 터미널에서 항만 Gate, Yard/Block, Block Entrance, ARMGC, QC 각 지역에 설치된 다수의 카메라; 상기 다수의 카메라 영상 데이터를 입력받아 딥러닝 모듈에 의해 학습 데이터에 따라 카메라 영상내 객체들을 검출하고 차선 인식, 차량 번호 인식, 컨테이너 번호(ISO code)의 문자를 인식하며, 항만 Gate, 블록 진입구 진입 차량 인식, 위험 지역 진입 차량과 작업자, 역주행 차량, Yard 작업자 안전보호구/안전 조끼 착용 여부 검출, 양·적하 장비 위치를 검출하여 이벤트 발생시마다 해당 스피커로 경고 방송을 하며, 학습된 객체 추출 이벤트(text)와 사각박스로 마킹된 객체 추출 영상 데이터를 미들웨어로 전송하는 FPGA 기반 임베디드 비전 시스템(TLEM); 및 상기 FPGA 기반 임베디드 비전 시스템(TLEM)과 연결되고, 터미널 운영 시스템(TOS)과 연동되는 미들웨어를 포함하며,
상기 미들웨어는 상기 FPGA 기반 임베디드 비전 시스템에서 수집한 컨테이너 번호, 차량번호, YT 번호, 차선위치, 필터링, 하위 디바이스 연결, 근거리 필드 이벤트 대응, 카메라 영상 데이터 압축을 제공하는 엣지-미들웨어; 및 항만 컨테이너 터미널에서 지리적으로 분산된 엣지-미들웨어(Edge-Middleware)의 데이터를 수집하며, 로그, 메시지 라우터, 터미널 운영 시스템(TOS)과 연동하는 통합-미들웨어를 포함하고,
상기 미들웨어는 항만 터미널 운영 시스템(TOS)에 연결되며, 사용 중인 이기종 소프트웨어와 하드웨어 장비에 대한 어댑터 및 TOS 연계 모듈이 구비된다.
본 발명의 다른 목적을 달성하기 위해, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템의 객체 인식 방법은 (a) 항만 컨테이너 터미널에서, 다수의 카메라(C)와 연동되는 FPGA 기반 임베디드 비전 시스템(TLEM)은 각 카메라 영상 데이터에 대하여 딥러닝 모듈에 의해 객체들의 사전 학습 데이터에 따라 항만 Gate, Yard/Block, Block Entrance, ARMGC, QC 카메라 영상 데이터의 사각박스로 마킹된 객체들 - 컨테이너와 차량과 사람, 양·적하 장비-을 검출하는 단계; 및 (b) 상기 FPGA 기반 임베디드 비전 시스템(TLEM)은 차선 인식, 차량 번호 인식, 컨테이너 번호(ISO code) 문자 인식, 컨테이너 데미지 인식, 항만 Gate, 블록 진입구 진입 차량 인식, 위험 지역 진입 차량과 작업자 검출, 역주행 차량 검출, Yard 작업자 안전보호구/안전 조끼 착용 여부 검출, 양적하 장비 위치를 검출하는 단계를 포함하며,
상기 FPGA 기반 임베디드 비전 시스템(TLEM)과 연결되고, 터미널 운영 시스템(TOS)과 연동되는 미들웨어를 포함하며,
상기 미들웨어는 상기 FPGA 기반 임베디드 비전 시스템에서 수집한 컨테이너 번호, 차량번호, YT 번호, 차선위치, 필터링, 하위 디바이스 연결, 근거리 필드 이벤트 대응, 카메라 영상 데이터 압축을 제공하는 엣지-미들웨어; 및 항만 컨테이너 터미널에서 지리적으로 분산된 엣지-미들웨어(Edge-Middleware)의 데이터를 수집하며, 로그, 메시지 라우터, 터미널 운영 시스템(TOS)과 연동하는 통합-미들웨어를 포함하며,
상기 미들웨어는 항만 터미널 운영 시스템(TOS)에 연결되며, 사용 중인 이기종 소프트웨어와 하드웨어 장비에 대한 어댑터 및 TOS 연계 모듈이 구비된다.
본 발명의 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템은 항만 컨테이너 터미널에서 차량 출입 관리와 DR-GPS 단말기(DR-GPS, 6축 센서 또는 9축 센서)를 구비하는 차량 위치 추적(YT 번호, 컨테이너 번호, 차량 번호 등), 다수의 카메라와 연동된 FPGA 기반 임베디드 비전 시스템(TLEM)의 딥러닝 모듈에 의해 딥러닝 학습 데이터에 따라 카메라 영상내 객체들의 특징 추출과 분류를 통해 컨테이너 차량과 사람을 검출하며, 항만 Gate/Yard의 Block/Block Entrance, ARMGC 차량 검출, 위험 지역 작업자 및 차량 검출, 역 주행 차량 검출, 작업자의 안전보호구/안전 조끼 착용 여부 검출, QC에서 선박으로 양적하되는 컨테이너 번호(ISO 코드) 추출, DR-GPS를 구비한 차량의 위치 정보(X,Y 좌표)를 인식하며, FPGA 기반 임베디드 비전 시스템(TLEM)으로부터 미들웨어로 학습된 객체 추출 이벤트(text)와 사각박스로 마킹된 객체 추출 영상 데이터를 전송하며, 이를 터미널 운용 시스템(TOS)으로 전송하며, TLEM 또는 미들웨어가 항만 컨테이너 터미널의 Yard에 구비된 해당 지역의 스피커 방송을 통해 작업자와 차량의 위험 지역 안전관리를 제공하며, 작업자와 차량의 안전사고를 예방하고, 컨테이너 터미널에서 차량 번호 인식, STS Crane이 작업하는 컨테이너 번호(ISO 번호) 인식 및 Crane 하부 작업자 안전관리를 제공한다. DR-GPS를 구비한 컨테이너 차량(XT 차량, YT 차량)의 위치 정보(X,Y 좌표)를 미들웨어를 통해 터미널 운영 시스템(TOS)으로 전송하며, 터미널 운영 시스템(TOS)은 실시간으로 DR-GPS를 구비한 컨테이너 차량(XT 차량, YT 차량)의 위치 정보(X,Y 좌표)를 제공하여 어느 Yard의 몇 번 Block에 해당 컨테이너 차량이 있는지 실시간으로 제공한다. 이를 통해 항만 컨테이너 터미널의 자동화 시스템을 구축하여 양·적하 생산성을 향상시키게 되었다.
또한, 항만 컨테이너 터미널에서, 컨테이너들이 적재되어 높게 쌓인 컨테이너에 의해 발생되는 멀티패스(multi-path)에 의한 위치 오차와 TC(Transfer Crane) 또는 QC(Quay Crane) 밑에서 GPS 신호를 받지 못하는 환경에서, 9축 센서와 차량의 CAN 신호와, 차량의 속도 신호를 이용하여 항만내 차량의 정밀 위치 측위 가능한 DR-GPS 단말기(DR-GPS, 6축 센서 또는 9축 센서 사용)를 개발하여 DR-GPS 단말기와 CAN 통신을 사용하는 차량의 항만내 정밀 위치 추적(YT 번호, 컨테이너 번호, 차량 번호 인식)이 가능하게 되었다.
본 제품(TLEM)은 항만 컨테이너 터미널에서 RFID, OCR, LPR 대비 가격 경쟁력 및 딥러닝 모듈의 영상의 객체 인식에 성능 우위를 가지며, 여러 가지의 기능을 하나의 기능으로 통합하여 장비 수량을 최소화하고 유지 보수 비용을 줄이며 기존의 50% 이하의 가격으로 공급이 가능하며, 항만 출입 보안 시스템, 컨테이너 터미널, 이송 장비(안벽 크레인 Quay Crane, 야드 크레인 Rail Mounted Gantry Crane, 야드 트랙터 Yard Tractor, 야드 샤시 Yard Chassis, 지게차 Fork Lift, 리치 스태커 Reach Stacker, 엠프리 핸들러 Empty Handler), 진입 차선 인식, 항만 컨테이너 터미널 출입 관리/통제, Yard 작업자 안전모/안전 조끼 착용 여부를 검출하여 항만 안전/보안에 특화된 다기능 비전 시스템을 제공하여 항만 자동화 시스템에 적용가능하다. 또한, 해외 TOS 개발사를 통한 공동 영업으로 항만 자동화 터미널의 해외 시장 진출이 가능하다.
도 1a는 종래의 항만 트레일러 자동 정지위치 모니터링 시스템의 구성도이다.
도 1b는 항만 Gate, Yard의 Block, Block Entrance, ARMGC, QC, TC, STS(Ship To Shore Crane)를 구비하는 항만 컨테이너 터미널의 Yard 지도이다.
도 2a는 카메라 영상 장비를 이용한 항만 컨테이널 터미널의 양·적하 생산성, 안전과 보안 향상을 위한 기술 개발의 필요성을 나타낸 그림이다.
도 2b는 항만 물류의 컨테이너 차량의 GPS 위치 보정, FPGA 기반 임베디드 비전 시스템(Smart Vision System) 기반의 IoT 기술을 적용하여 항만 물류 유통시간의 최소화를 통한 양적하 생산성 증대와 비용 절감을 위한 기술적 필요성, 생산성 향상에 따른 경제적 효과를 보인 도면이다.
도 2c는 항만 터미널 RTLS(Real-Time Location System) 시스템, 항만 터미널 OCR 시스템, 항만 터미널 RFID 시스템 사진이다.
도 3은 항만 컨테이너 터미널에서 DR-GPS 단말기를 구비하는 차량 출입 관리와 위치 추적 및 객체를 인식하는 비전 카메라 시스템의 개요: 1) 장치장에 대한 실시간 위치정보 제공, 2) TC/ATC에서 (YT,XT ↔ Yard) vision system을 사용한 컨테이너, Shuttle, YT 번호, 차량 번호, 컨테이너 번호의 문자 인식, 및 차량 정위치 확인, 3) QC(ship ↔ XT, shuttle) 컨테이너, Shuttle, YT, 문자 인식, 및 차량 정위치 확인, 레인 위치 확인 기능을 제공한다.
도 4는 항만 컨테이너 터미널에서, 기존 LPR, OCR 인식 시스템과 GPU 기반 Vision 시스템과의 비교한 그림이다.
도 5는 항만 컨테이너 터미널에서, 기존 GPS/GNSS, DGPS, 2.4GHz BLE 비콘/Wi-Fi 게이트웨이 항만 위치 추적 시스템과, 개발된 DR-GPS 단말기와 6축 센서/9축 센서와 이용한 위치 보정 시스템을 비교한 도면이다.
도 6은 차세대 미래형 스마트 포트(smart port)를 위한 Gate system/TC system/QC system/Block Entrance/Safety 응용 분야의 기술 로드맵을 보인 도면이다.
도 7a는 딥러닝을 사용한 카메라 영상의 실시간 객체 인식: CNN(Convolutional Neural Networks) 개념, RNN(Recurrent Neural Networks)과LSTM(Long-Short Term Memory)의 적용 개념을 설명한 도면이다.
도 7b는 딥러닝을 사용한 카메라 영상의 실시간 객체 인식: YOLO(You Only Look Once)모델을 설명한 도면이다.
도 8은 항만 컨테이너 터미널에서 비전 카메라 시스템과 모니터링 PC의 미들웨어를 통해 터미널 운용 시스템(TOS)과 연동되는 최종 개발 목표를 보인 도면이다.
도 9a는 항만 컨테이너 터미널에서, (1) Non-GPU 기반 객체인식 딥러닝 모듈 SW와 FPGA 기반 임베디드 비전 시스템(TLEM)의 프레임워크를 나타낸 도면이다.
도 9b는 항만 컨테이너 터미널에서, (2) 9축 센서를 이용한 고정밀 Dead Reckoning 적용 DR-GPS 모듈 개발, (3) 터미널 운용 시스템(Terminal Operating System, TOS)과의 연계를 위한 통합 미들웨어를 나타낸 도면이다.
도 9c는 터미널 운용 시스템(Terminal Operating System, TOS)과의 연계를 위한 통합 미들웨어 구성도이다.
도 10은 본 발명에 따른 항만 컨테이너 터미널에서 DR-GPS 단말기(DR-GPS와 6축 센서/9축 센서)를 구비하는 차량 출입 관리와 위치 추적 및 객체를 인식하는 비전 카메라 시스템 구성도이다.
도 11은 본 발명의 실시예에 따른 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템 구성도이다.
도 12는 카메라 영상의 객체를 검출하고 차량 번호와 컨테이너 번호(ISO code)가 포함된 이미지의 문자를 인식하는 딥러닝 모듈(YOLO, SSD)이 탑재된 FPGA 기반 임베디드 비전 시스템(TLEM)의 블럭도이다.
도 13은 항만 안전과 컨테이너 터미널의 양적하 생산성과 효율을 향상시키기 위한 Non-GPU 기반 딥러닝 모듈이 탑재된 FPGA 기반 임베디드 비전 시스템의 정량적 평가 항목을 보인 도면이다.
도 14는 항만 컨테이너 터미널에서 실시간 카메라 영상 데이터 및 위치 정보 서비스 화면이다.
도 15는 항만 컨테이너 터미널 테스트 영상: (1) GPS only, (2) GPS + 9축 센서 + 위치 보정 알고리즘을 사용한 항만 컨테이너 터미널에서 차선 구분이 가능한 위치 보정 GPS 테스트 - 수평 구조 Yard의 Block 사이의 거리는 20~24m 간격 이다.
도 16은 항만 컨테이너 터미널에서, Port GPS system(차량 추적), Port RFID system(차량 인식), OTR device(차량 위치 인식), BLE Beacon System (IoT)의 년도별 사업화 실적을 보인 도표이다.
도 17은 사업화 모델 비즈니스 전략, 해외 시장 진출 계획을 보인 도표이다.
도 18은 국내 컨테이너 터미널의 상/하역 장비 현황 및 전세계 물동량 추이를 나타낸다.
도 19는 국내외 자동화 컨테이너 터미널의 년도별 수요 전망을 나타낸다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다. 본 발명의 설명에 있어서 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 자세한 설명을 생략한다. 또한, 첨부된 도면 번호는 동일한 구성을 표기할 때에 다른 도면에서 동일한 도면번호를 부여한다.
본 발명의 항만 컨테이너 터미널에서 차량 출입 관리와 위치 추적 및 객체를 인식하는 비전 카메라 시스템은 항만 컨테이너 터미널에서 차량 출입 관리와 DR-GPS 단말기(DR-GPS, 6축 센서 또는 9축 센서를 구비)를 구비하는 차량 위치 추적(YT 번호, 컨테이너 번호, 차량 번호 등), 다수의 카메라와 연동된 FPGA 기반 임베디드 비전 시스템(Tiny Local Embedded Module, TLEM)의 딥러닝 모듈이 지능형 영상 분석에 의해 딥러닝 학습 결과에 따라 카메라 영상내 객체들(컨테이너, 차량, 사람, 양·적하 장비)의 특징 추출과 분류를 통해 컨테이너 차량과 사람을 검출하며, 항만 Gate/Yard의 Block/Block Entrance 차량 검출, 위험 지역 작업자 및 차량 검출, 역 주행 차량 검출, 작업자의 안전보호구/안전 조끼 착용 여부 검출, QC에서 선박으로 양적하되는 컨테이너 번호(ISO 코드) 문자 추출, FPGA 기반 임베디드 비전 시스템(TLEM)으로부터 미들웨어로 학습된 객체 추출 이벤트(text)와 사각박스로 마킹된 객체 추출 영상 데이터를 전송하며, 이를 터미널 운용 시스템(TOS)으로 전송하며, FPGA 기반 임베디드 비전 시스템(TLEM) 또는 미들웨어가 항만 컨테이너 터미널의 Yard의 Block에 구비된 해당 지역의 스피커 방송을 통해 작업자와 차량의 위험 지역 안전관리를 제공하며, 항만 컨테이너 터미널에서 차량 번호 인식, 차선 인식, STS Crane이 작업하는 컨테이너 번호(ISO 번호) 문자 인식 및 Crane 하부 작업자 안전관리를 제공한다. FPGA 기반 임베디드 비전 시스템(TLEM)는 미들웨어를 통해 터미널 운영 시스템(TOS)과 연동된다. DR-GPS 단말기를 구비한 차량의 위치(X,Y 좌표)를 미들웨어를 통해 터미널 운영 시스템(TOS)로 전송되어 항만 컨테이너 터미널의 자동화 시스템을 구축하여 양·적하 생산성을 향상시킬 수 있다.
비전 시스템은 기존의 GPU 기반 비전 시스템을 사용하지 않고,
실시예에서는, 다수의 카메라와 연결되는 Non-GPU 기반 딥러닝 모듈이 탑재된 FPGA 기반 임베디드 비전 시스템(TLEM, IoT 디바이스)을 사용한다.
본 과제는 GPU 기반 비전 시스템의 고사양의 H/W를 사용하지 않고, 항만 컨테이너 터미널에서 적용되지 않았던 Non-GPU 기반 FPGA 기반 임베디드 비전 시스템(TLEM)의 딥러닝 모듈을 사용하여 카메라 영상의 객체들(컨테이너, 차량, 사람, 양적하 장비 등)을 검출하며, 사전에 학습된 데이터를 임베디드 비전 시스템에 적용하며, TLEM의 딥러닝 모듈에 의해 학습 데이터에 따라 카메라 영상내 객체 인식을 처리함으로써, 고속 인식 및 하드웨어의 저사양 적용이 가능하다. 또한, DR-GPS와 9축 센서를 이용한 고정밀 Dead Reckoning 적용한 DR-GPS 단말기를 개발하여 항만 물류 통합 서비스를 제공하는 새로운 기술을 도입하였다.
항만 컨테이너 터미널의 항만 Gate에서 출입구 카메라 영상 데이터가 입력된 Non-GPU 기반 FPGA 기반 임베디드 비전 시스템(TLEM)의 딥러닝 모듈은 차선 인식, 차량 번호 인식, 컨테이너 번호를 인식하여 차량 출입관리 정보를 미들웨어를 통해 터미널 운영 시스템(TOS)으로 전송하며, 터미널 운영 시스템(TOS)은 이를 확인하여 작업지시서를 발급한다.
항만 컨테이너 터미널에서, 양적하 생산성과 효율을 개선하기 위해 다수의 카메라와 연동된 Non-GPU 기반의 딥러닝 모듈이 탑재된 FPGA 기반 임베디드 비전 시스템(TLEM)은 딥러닝 모듈을 사용하여 카메라 영상의 객체를 식별하고 차량 번호와 컨테이너 번호의 문자 인식을 한다. 항만 컨테이너 차량은 안테나와 DR-GPS, 6축 센서 또는 9축 센서를 구비하는 DR-GPS 단말기를 사용하며, 컨테이너 차량의 DR-GPS 위치를 미들웨어를 통해 터미널 운영 시스템(TOS)으로 전송된다.
DR-GPS를 구비한 컨테이너 차량(XT 차량, YT 차량)의 위치 정보(X,Y 좌표)를 미들웨어를 통해 터미널 운영 시스템(TOS)으로 전송하며, 터미널 운영 시스템(TOS)은 실시간으로 DR-GPS를 구비한 컨테이너 차량(XT 차량, YT 차량)의 위치 정보(X,Y 좌표)를 제공하여 어느 Yard의 몇 번 Block에 해당 컨테이너 차량이 있는지 실시간으로 제공한다.
도 2a는 영상 장비를 사용한 항만 컨테이널 터미널의 양·적하 생산성, 안전과 보안 향상을 위한 기술 개발의 필요성을 나타낸 그림이다.
항만 컨테이너 터미널에서 양적하 생산성과 효율을 개선하기 위한 비전 시스템은 Non-GPU 기반의 FPGA 기반 임베디드 비전 시스템의 딥러닝 모듈을 사용하여 카메라 영상의 객체 검출 및 문자 인식(YT 번호, 컨테이너 번호, 차량 번호)을 하며, YT 차량과 XT 차량은 DR-GPS와 6축 센서 또는 9축 센서를 사용하여 위치보정 DR-GPS 시스템을 구비한다.
본 과제는, 첫째, 항만 컨테이너 터미널에서 항만 Gate 출입구, 교차로, Yard의 Block Entrance, STS(Ship To Shore Crane) / TC(Transfer Crane), 위험지역에 네트워크 카메라가 설치되며, Non-GPU 기반의 FPGA 기반 임베디드 비전 시스템(TLEM)의 딥러닝 모듈을 사용하여 카메라 영상의 객체 검출 및 문자 인식(YT 번호, 컨테이너 번호, 차량 번호)과 영상 분석을 통해 양적하 장비 위치 및 ID 검출/침입자 감지, 위험 지역 차량 및 작업자 검출과 인원수 감지, 역주행 차량 알림/안전 속도 감지, 작업자 안전모/안전조끼 착용여부 검출하는 딥러닝 모듈 S/W를 구비하는 지능형 영상 시스템을 구축한다.
둘째, Non-GPU 기반의 FPGA 기반 임베디드 비전 시스템(TLEM)의 딥러닝 모듈은 오인식 방지로 인한 신뢰성이 향상되도록 위험 지역 차량 및 작업자 검출과 인원수 감지, 역주행 차량 알림/안전 속도 감지, 작업자 안전모/안전조끼 착용여부 검출하여 작업자의 안전 예방을 제공하는 스마트 영상 감시를 제공하며, 딥러닝 모듈에 의해 영상 인식된 YT 번호, 컨테이너 번호(ISO code), 차량 번호의 문자 인식을 제공한다. FPGA 기반 임베디드 비전 시스템(TLEM)은 미들웨어를 통해 터미널 운영 시스템(Terminal Operation System, TOS)에 연결되며, 터미널 운영 시스템(TOS)은 미들웨어를 통해 DR-GPS 단말기가 탑재된 XT(external truck) 또는 YT 차량의 차량 번호와 DR-GPS 위치 정보를 수신하고, 차량 번호와 차량의 정밀 위치 보정된 DR-GPS 위치를 표시한다.
터미널 운영 시스템(TOS)은 컨테이너 차량/작업자의 작업 지시서 발급, 항만 물류 관리, 컨테이너 위치 관리, 컨테이너 양적하 정보, 세관 정보를 관리한다.
도 2b는 항만 물류의 컨테이너 차량의 GPS 위치 보정, FPGA 기반 임베디드 비전 시스템(Smart Vision System) 기반의 IoT 기술을 적용하여 항만 물류 유통시간의 최소화를 통한 양적하 생산성 증대와 비용 절감을 위한 기술적 필요성, 생산성 향상에 따른 경제적 효과를 보인 도면이다.
도 2c는 항만 터미널 RTLS(Real-Time Location System) 시스템, 항만 터미널 OCR 시스템, 항만 터미널 RFID 시스템 사진이다.
도 3은 본 발명에 따른 항만 컨테이너 터미널에서 DR-GPS 단말기를 구비하는 차량 출입 관리와 위치 추적 및 객체를 인식하는 비전 카메라 시스템의 개요: 1) 장치장에 대한 실시간 위치정보 제공, 2) TC/ATC에서 (YT,XT ↔ Yard) vision system을 사용한 컨테이너, Shuttle, YT 번호, 차량 번호, 컨테이너 번호의 문자 인식, 및 차량 정위치 확인, 3) QC(ship ↔ XT, shuttle) 컨테이너, Shuttle, YT, 문자 인식, 및 차량 정위치 확인, 레인 위치 확인 기능을 제공한다.
항만 컨테이너 터미널에서 DR-GPS 단말기를 구비하는 차량 출입 관리와 위치 추적 및 객체(컨테이너, 차량, 사람, 양적하 장비)를 인식하는 비전 카메라 시스템은 항만 컨테이너 터미널에서 정밀 GPS위치 추적과 오차 보정이 가능한 Dead Reckoning 기능을 갖는 6축 센서/9축 센서를 사용하는 DR-GPS 단말기와 CAN 통신을 사용하는 차량 위치 추적(컨테이너 번호, 차량 번호, YT 번호 등), GPU 기반 비전 카메라 시스템의 딥러닝을 사용한 지능형 영상 분석에 의해 영상내 객체들을 검출하고 각각의 객체의 특징 추출과 분류를 통해 컨테이너와 차량과 사람, 양·적하 장비 객체를 인식하며, 양·적하 장비 위치 및 ID 검출(침입자 검출), 위험 지역 안전관리, 위험 지역 작업자 및 차량 진입 검출/알림과 역 주행 차량 알림, 작업자의 안전보호구 착용 여부 검출/알림의 지능형 영상 분석을 통해 이벤트 발생시마다 알림 메시지를 터미널 운용 시스템(TOS)으로 전송하고, 터미널 운용 시스템(TOS)의 항만 스피커 방송을 통해 항만 작업자 안전 예방을 위한 음성 신호를 송출하며, 작업자와 차량의 안전사고를 예방하고, 컨테이너 터미널(container terminal) 내의 STS Crane이 작업하는 컨테이너 인식 및 Crane 하부 작업자 안전관리 등에 적용이 가능하며, 항만 컨테이너 터미널에서 양·적하 생산성을 향상시키기 위한 것이다.
또한, 기존 GPS 위치 오차 보정 DR-GPS 단말기를 개발하여 항만 컨테이너 터미널에서 6축 센서 또는 9축 센서를 사용하는 DR-GPS 단말기와 CAN 통신을 사용하는 차량의 정밀 위치 추적이 가능하게 되었다.
항만 컨테이너 터미널에서, 카메라 또는 영상 저장 서버(NVR 또는 DVR)에 설치된 딥러닝 모듈에 의해 위험 지역(작업구역 YT) 작업자와 차량의 객체를 인식하여 작업자의 안전보호구 착용여부와 위험 지역 작업자와 차량 출입여부에 대한 알림을 실시간 STS 조정실과 운영실의 터미널 운용 시스템(TOS)에 전송한다. 또한, 항만 컨테이너 터미널에서 작업자가 안전보호구를 착용하지 않고 작업구역(STS /TC /GATE) 및 위험 구역 출입시 경고 방송을 제공하도록 알림이 가능하며, 차량역주행 및 주행속도 판단이 가능하며, 이를 통해 항만 보안과 안전의 감시가 가능하다.
도 4는 항만 컨테이너 터미널에서, 기존 LPR, OCR 인식 시스템과 GPU 기반 Vision 시스템과의 비교한 그림이다.
또한, 항만 컨테이너 터미널에서 사용된 적외선 투광기가 구비된 차량 검지기로 사용되는 LPR(License Plate Recognition)(차선당 1,000만원), OCR(Optical character recognition)(항만 게이트용 차선당 7,000만원), 고사양의 GPU(graphic processing unit) 기반 영상인식 시스템은 복잡한 하드웨어 구성과 고가의 시스템 구축 비용이 들며, 각각의 판독 소프트웨어 사용으로 호환이 어렵고, 인식률이 서로 상이하다(OCR은 문자 이외에 판독 안됨).
표3은 LPR, OCR, 제안된 딥러닝 기술의 비전 시스템을 비교하였다.
Figure 112020086056449-pat00003
도 5는 항만 컨테이너 터미널에서, 기존 GPS/GNSS, DGPS, 2.4GHz BLE 비콘/Wi-Fi 게이트웨이 항만 위치 추적 시스템과, 개발된 DR-GPS 단말기와 6축 센서/9축 센서와 이용한 위치 보정 시스템을 비교한 도면이다.
표 4는 GPS/GNSS, DGPS, 2.4GHz Beacon, 차량에 구비된 DR-GPS 단말기(DR-GPS, 6축 센서 또는 9축 센서)를 사용한 제안 기술의 차량 위치 추적 시스템을 비교하였다.
Figure 112020086056449-pat00004
항만 컨테이너 터미널의 경우, 컨테이너들이 높게 적재되면, 높은 빌딩에 비해 전반사를 일으키는 전파 간섭 환경 영향으로 GPS 신호가 끊기거나 해당 GPS 위치에서 큰 오차가 발생되며, 이를 위해 별도의 위치 보정을 위한 하드웨어(HW)와 알고리즘이 필요하다.
항만 컨테이너 터미널에서, 항만 YT 차량은 DR-GPS와 6축 센서 또는 9축 센서를 구비하는 DR-GPS 단말기와 자동차 ECU와 CAN controller와 CAN tranceiver의 CAN 통신을 사용한다. 자동차 ECU와 CAN controller - CAN tranceiver를 통해 DR-GPS 단말기와 연결되며, DR-GPS 단말기의 GPS 신호가 끊겨도 Dead Reckoning 기능에 의해 자동차 ECU로부터 제공된 타임에 따른 차량 속도와 차량 가속도 신호를 사용하여 위치 오차를 기존 GPS 단말기 보다 정밀하게 차량의 GPS 위치를 보정하며, 항만 내에서 위치 보정된 정밀 GPS 위치 추적 서비스가 가능하다.
6축 센서는 가속도 센서와 Gyro 센서를 사용한다.
9축 센서는 가속도 센서와 Gyro 센서와 지자계를 사용한다.
항만 컨테이너 터미널에서, 9축 센서와 차량의 CAN 신호(차량 속도와 차량 가속도 신호)를 이용한 위치보정은 스마트 포트(smart port) 자동화를 위해 딥러닝 모듈을 사용한 영상 인식 기반 객체 식별(컨테이너, 차량, 사람, 양·적하 장비) 및 문자 인식(YT 번호, 컨테이너 번호, 차량 번호)과 위치 보정 DR-GPS 단말기에 의해 TOS 시스템으로 컨테이너 터미널의 양·적하 효율성 개선과 안전도 향상을 위한 솔루션을 제공한다.
참고로, 국내 항만시설은 보안구역으로 지정되어 (국제항해선박소유자 및 항만시설소유자의 보안등급별 세부 보안조치사항(제3조 제3항 관련) 허가 없이 보안구역 출입 및 촬영 제재로 장시간 딥러닝을 위한 영상데이터 샘플 확보 어려움을 겪었다. 항만 컨테이너 터미널의 다양한 Yard 구조(수직, 수평), 이송장비(STS, TC, YT)에 의해 카메라 거치 위치 선정에 어려움을 겪었다.
도 6은 차세대 미래형 스마트 포트(smart port)를 위한 Gate system/TC system/QC system/Block Entrance/Safety 응용 분야의 기술 로드맵을 보인 도면이다.
(1) 항만 게이트 시스템:
(As Is) LPR을 이용한 진입 차량 인식, RFID를 이용한 차량 인식, Barcode + 슬랩 -> (To Be) 딥러닝 기반 AI 객체 및 문자 인식 Vision System (차량 번호 인식, 컨테이너 번호 인식, 블록 진입 차량 인식, Yard 작업자 안전구 착용 여부 감지, 돌발 및 위험 상황 감지)
(2) TC(Transfer Crane) system : (As Is) RFID 차량 검지 -> (To Be) 딥러닝 기반 AI 객체 및 문자 인식 Vision System (차량 번호 인식, 컨테이너 번호 인식, 블록 진입 차량 인식, Yard 작업자 안전구 착용 여부 감지, 돌발 및 위험 상황 감지)
(3) QC(Quay Crane) system : (As Is) Under Man의 차량 및 컨테이너 번호 육안 인식 -> (To Be) 딥러닝 기반 AI 객체 및 문자 인식 Vision System (차량 번호 인식, 컨테이너 번호 인식, 블록 진입 차량 인식, Yard 작업자 안전구 착용 여부 감지, 돌발 및 위험 상황 감지)
(4) Block Entrance : (As Is) RFID에 의한 블록 엔터 ->(To Be) 딥러닝 기반 AI 객체 및 문자 인식 Vision System (차량 번호 인식, 컨테이너 번호 인식, 블록 진입 차량 인식, Yard 작업자 안전구 착용 여부 감지, 돌발 및 위험 상황 감지)
(5) Safety : (As Is) 안전 관리자에 의한 순찰, 작업자의 직관적인 판단
-> (To Be) 정밀 DR-GPS와 6축 센서(가속도 센서, Gyro 센서) 또는 9축 센서(자이로 센서/가속도 센서/지자계)를 구비하는 DR-GPS 단말기와 자동차의 ECU와 CAN 통신을 제공하는 차량의 실시간 위치 트래킹
도 7a는 딥러닝을 사용한 카메라 영상의 실시간 객체 인식: CNN(Convolutional Neural Networks) 개념, RNN(Recurrent Neural Networks)과LSTM(Long-Short Term Memory)의 적용 개념을 설명한 도면이다.
딥러닝 모듈은 CNN(Convolutional Neural Network), RNN(Recurrent Neural Networks), R-CNN(Recurrent Convolutional Neural Network), Fast RCNN, 및 Faster RCNN(Region based Convolutional Neural Network), YOLO(You Only Look Once), SSD(Single Shot Detector) 알고리즘 중 어느 하나의 알고리즘을 사용하여 카메라 영상 내의 객체들을 검출(object detection)한다.
○ 이미지 인식의 대표적인 CNN(Convolutional Neural Networks)은 카메라 영상의 이미지 속의 객체(차량, 컨테이너, 양적하 장비)를 검출하거나 숫자/글자를 추출하는 문자 인식(YT 번호 인식, 차량 번호 인식, 컨테이너 번호 인식) 기술로 사용되며, 충분한 학습데이터를 확보하면 높은 수준의 인식 정확도를 보인다.
CNN은 하나 또는 여러 개의 합성곱 계층과 그 위에 올려진 인공 신경망 계층들로 구성되며, 가중치와 통합 계층(pooling layer)들을 추가로 활용하며, 이러한 구조 덕분에 CNN은 2차원 구조의 입력 데이터를 충분히 활용한다.
CNN 알고리즘은 카메라 입력 영상으로부터 입력층(input layer)/L-1개의 은닉층(hidden layer)(Layer 1, Layer 2, Layer3.. )/출력층(output layer)을 포함하며, AlexNet, VGGNet, ResNet 중 어느 하나의 CNN 딥러닝 알고리즘을 사용할 수 있다.
다층구조의 합성곱 신경망(CNN)을 사용하여 Multilayer Perceptron을 통해 카메라 영상의 특징 추출(feature extraction)과 객체를 분류(classification)하여 객체(컨테이너, 차량, 사람, 양·적하 장비 등)를 검출한다.
합성곱 신경망(CNN)은 컨볼루셔널 층(Convolutional Layer), 풀링 층(Pooling Layer), FC 층(Fully Connected Layer, 완전연결층)을 포함하는 3개의 레이어가 사용된다.
CNN 알고리즘은 가중치를 갖는 마스크(예, 3x3 윈도우)를 이동해가며 컨볼루셔널 층(Convolutional Layer)과 풀링 층(Pooling Layer)에 의해 각각 convolution(합성곱)과 subsampling을 반복하여 영상의 데이터량을 줄이며 영상의 왜곡에 강한 특징을 추출하며(feature extraction), 컨볼루션에 의해 특징맵(feature map)을 추출하고, 신경망(Neural Network)에 의해 객체(컨테이너, 차량, 사람, 양·적하 장비 등)를 분류(classification)한다.
CNN 알고리즘을 사용한 영상처리에서, 컨볼루션(convolution)은 가중치를 갖는 마스크(예, 3x3 윈도우)를 사용하여 영상처리가 이루어지며, 입력 영상에 가중치를 갖는 마스크(예, 3x3 window, 5x5 window)를 이동해가며, 현재 입력 영상에 가중치를 갖는 마스크를 씌운 후 입력 영상의 픽셀값과 마스크의 가중치를 각각 곱한 후 그 합을 출력 영상의 픽셀값으로 정해진다.
subsampling은 화면 크기를 줄이는 과정이며, 해당영역의 최대치를 선택하는 max pooling을 사용한다.
FC 층(Fully Connected Layer, 완전연결층)은 신경망의 입력 단자에 연결시켜 학습(learninf)에 따라 영상의 객체들(컨테이너, 차량, 사람, 양적하 장비)을 분류한다.
예를 들면, 현재 5층의 convolution layer와 3층의 fully_connected layer로 이루어져 있다.
컨볼루셔널 층(Convolutional Layer)의 출력은 Max-Pooling Layer에 의해 subsampling을 진행하여 image의 사이즈가 줄여지며, Max-Pooling의 출력은 FC 층(Fully Connected Layer)에서 객체의 클래스를 분류한다.
결과적으로, 항만 컨테이너 터미널에서 다수의 카메라의 영상의 객체를 검출하고 CNN 구조의 중간 몇 개의 컨볼루션 층(convolutional layer)에서 객체 위치영역과 종류 정보를 포함하는 특징맵(feature map)을 추출하고, Pooling layer를 통과함에 따라 특징맵(feature map)의 크기가 작아지며 각각 다른 크기의 특징 맵에서 객체 위치영역 정보를 추출하여 객체들을 검출하여, FC 층(Fully Connected Layer, 완전 연결층)에 의해 객체들을 분류(classification)한다.
추가적으로, 항만 컨테이너 터미널의 카메라 영상의 객체 검출과 객체 추적을 학습하기 위해 영상내 객체 검출과 객체 추적용 데이터베이스를 사용하여 학습할 수도 있다.
추가적으로, 영상의 객체 추적 알고리즘은 카메라 영상 처리시에 칼만 필터 알고리즘을 사용할 수 있다. 칼만 필터 알고리즘은 컴퓨터 비전, 로봇 비전에 사용되며, 선형 시스템(linear system)에서 측정 모델(measurement model)과 상태 모델(process model)로부터 과거 데이터와 현재 데이터로부터 오차를 보정하여 미래의 움직임의 상태를 예측하여 추정하는 영상내 객체 추적 알고리즘으로 사용된다.
○ 동영상 인식을 위한 대표적인기술은 RNN(Recurrent Neural Networks)과 LSTM(Long-Short Term Memory)은 카메라 영상이 시간 축을 가진 이미지의 연속이므로 CNN 출력 값은 LSTM에 연결하여 영상을 설명하는 문장을 생성하여 영상을 분석 가능하다.
도 7b는 딥러닝을 사용한 카메라 영상의 실시간 객체 인식: YOLO(You Only Look Once) 모델을 설명한 도면이다.
딥러닝 알고리즘은 영상내 객체 검출 속도가 빠른 YOLO(You only Look Once), SSD(Single Shot Detector) 등의 인공지능/딥러닝 비전 기술을 사용하여 프레임워크 개발, 로컬 임베디드 영상 처리 시스템 개발, 9축 센서를 사용한 정밀 DR-GPS 위치 보정 기술 개발하여 항만 컨테이너 터미널에서 AI 기반 Vision System을 사용한 미래형 스마트 포트(smart port)를 위한 항만 컨테이너 터미널의 양·적화 자동화의 응용 기술로 사용된다.
○ 딥러닝을 사용한 카메라 영상의 실시간 객체 인식을 위한 YOLO(You Only Look Once)모델
- YOLO는 각 이미지를 SxS 개의 그리드(grid, 경계 상자)로 분할하고, 각 그리드의 신뢰도를 계산하여 그리드 내 객체 인식시 정확도를 반영하여 이미지 전체를 한번에 보는 방식으로 클래스를 구분하며, YOLO는 단순한 처리로 다른 모델에 비해 2배 정도 높은 성능을 갖고 있다. 그리드에 객체 포함 여부를 계산하기 위해, 객체 클래스 점수를 계산한다. 이 결과로 총 S x S x N 객체가 예측된다.
- YOLO와 유사하면서 더 나은 성능을 보이는 SSD(Single Shot Detector) 모델은 영상내 객체 검출 속도 및 정확도 사이의 균형감이 고유한 장점, SSD는 입력 이미지에 대한 CNN을 단 한번만 실행하고도 특징 맵(feature map) 계산이 가능하여 다양한 스케일의 물체 검출이 가능하다.
SSD는 카메라 영상 내의 객체 검출(object detection)을 위한 그리드(grid)가 표시되는 객체 검출 속도 및 정확도 사이의 균형이 있는 인공지능 기반 객체 검출 알고리즘이다. SSD는 한 번만 입력 이미지에 대한 CNN(Convolutional Neural Network)을 실행하고, 특징 맵(feature map)을 계산한다. 그리드 및 객체 분류 확률을 예측하기 위해 특징 맵을 3 × 3 필터 크기로 CNN을 수행한다. SSD는 CNN처리 후, 그리드(grid)를 예측한다. 이 방법은 다양한 스케일의 객체를 검출할 수 있다.
FPGA 기반 임베디드 비전 시스템(TLEM)은 Non-GPU 기반의 영상의 객체들을 검출하고 차량 번호와 컨테이너 번호의 문자를 인식하는 딥러닝 모듈을 구비한다.
FPGA 기반 임베디드 비전 시스템(TLEM)의 딥러닝 모듈의 카메라 영상 데이터의 객체 및 문자인식, 컨테이너 차량의 DR-GPS 모듈+Wi-Fi 통신부를 결합한 포터블 위치 추적장치로 사용이 가능하다.
(실시예)
도 8은 항만 컨테이너 터미널에서, FPGA 기반 비전 시스템(TLEM)과 미들웨어를 통해 터미널 운용 시스템(Terminal Operating System, TOS)과 연동되는 최종 개발 목표를 보인 도면이다.
도 9a는 항만 컨테이너 터미널에서, (1) Non-GPU 기반 객체인식 딥러닝 모듈 SW와 FPGA 기반 임베디드 비전 시스템(TLEM)의 프레임워크를 나타낸 도면이다.
도 9b는 항만 컨테이너 터미널에서, (2) 9축 센서를 이용한 고정밀 Dead Reckoning을 적용한 DR-GPS 모듈 개발, (3) 터미널 운용 시스템(Terminal Operating System, TOS)과의 연계를 위한 통합 미들웨어를 나타낸 도면이다.
도 9c는 터미널 운용 시스템(Terminal Operating System, TOS)과의 연계를 위한 통합 미들웨어 구성도이다.
도 10은 본 발명에 따른 항만 컨테이너 터미널에서 DR-GPS 단말기(DR-GPS와 6축 센서/9축 센서)를 구비하는 차량 출입 관리와 위치 추적 및 카메라 영상의 객체를 인식하는 비전 카메라 시스템 구성도이다.
도 11은 본 발명의 실시예에 따른 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템 구성도이다.
본 발명의 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템은
항만 컨테이너 터미널에서 항만 Gate, Yard/Block, Block Entrance, ARMGC, QC 각 지역에 설치된 다수의 카메라;
항만 컨테이너 터미널에서, AI 알고리즘을 사용하는 딥러닝 모듈이 탑재되며, 컨테이너/차량/사람/양적하 장비의 사전 학습 데이터에 기초하여 항만 Gate, Yard/Block, Block Entrance, ARMGC, QC 카메라 영상 데이터의 객체들의 특징 추출과 분류를 통해 영상의 객체(컨테이너, 차량, 사람, 양·적하 장비)들을 검출하고 차선 인식, 차량 번호 인식, 컨테이너 번호(ISO code)의 문자를 인식하며, 컨테이너 데미지 인식, 항만 Gate, 블록 진입구 진입 차량 인식, 위험 지역 진입 차량과 작업자 검출, 역주행 차량 검출, Yard 작업자 안전보호구/안전 조끼 착용 여부 검출, 양·적하 장비 위치를 검출하여 이벤트 검출시마다 미들웨어로 전송하거나 또는 직접 GPIO 인터페이스를 통해 항만내 해당 스피커(IP 스피커)로 경고 방송을 하는 FPGA 기반 임베디드 비전 시스템(TLEM)(100); 및
상기 FPGA 기반 임베디드 비전 시스템(TLEM)과 연결되고, 터미널 운영 시스템(TOS)과 연동되고, 이기종 하드웨어와 소프트웨어(SW)를 연동하며, 엣지-미들웨어와 통합-미들웨어를 구비하는 미들웨어(200)를 포함하며,
상기 미들웨어(200)는 상기 FPGA 기반 임베디드 비전 시스템에서 수집한 컨테이너 번호, 차량번호, YT 번호, 차선위치, 필터링, 하위 디바이스 연결, 근거리 필드 이벤트 대응, 카메라 영상 데이터 압축을 제공하는 엣지-미들웨어; 및 항만 컨테이너 터미널에서 지리적으로 분산된 엣지-미들웨어(Edge-Middleware)의 데이터를 수집하며, 로그, 메시지 라우터, 터미널 운영 시스템(TOS)과 연동하는 통합-미들웨어를 포함하고,
상기 미들웨어는 항만 터미널 운영 시스템(TOS)에 연결되며, 사용 중인 이기종 소프트웨어와 하드웨어 장비에 대한 어댑터 및 TOS 연계 모듈이 구비된다.
상기 미들웨어(200)는 상기 FPGA 기반 임베디드 비전 시스템(TLEM)(100)으로부터 TLEM 딥러닝 미들웨어를 통해 학습된 객체 추출 이벤트(text)와 사각박스로 마킹된 객체 추출 영상 데이터를 수신받아 모니터링 PC로 출력되도록 하며, FPGA 기반 임베디드 비전 시스템(TLEM)이 이벤트 경고 방송 기능이 없는 경우, 이벤트 검출시에 TCP/IP를 통해 항만내 해당 스피커(IP 스피커)로 경고 방송을 한다.
자동차 ECU와 CAN 통신되는 DR-GPS 단말기를 구비한 차량(XT, YT 차량)의 위치 정보를 미들웨어를 통해 터미널 운영 시스템(TOS)으로 전송되고, GPS 신호가 끊겨도 Dead Reckoning을 갖는 6축 센서 또는 9축 센서를 사용하여 차량 속도 신호 또는 차량 가속도 신호에 기초하여 위치를 보정하여 DR-GPS 단말기를 구비한 차량의 위치를 TOS로 전송한다.
다수의 카메라와 연결되는 FPGA 기반 임베디드 비전 시스템(TLEM)(100)은 미들웨어(200)를 통해 터미널 운영 시스템(Terminal operating system, TOS)(300)과 연동되며, STS 조정실/운영실의 터미널 운영 시스템(TOS)(300)은 모니터링 PC(310)와 연결된다.
다수의 카메라(C)(101)는 항만 Gate 출입구, Yard의 Block Entrance, ATC(ARMGC), 교차로, STS(Ship To Shore Crane)/TC(Transfer Crane), QC 위험 지역 등의 항만 컨테이너 터미널의 여러 지역에 설치된다.
영상 저장 서버(102)는 NVR 또는 DVR을 사용한다.
NVR(Network Viedo Recorder)은 다수의 카메라(C)를 동시에 접속되는 ONVIF, RTSP 표준 프로토콜을 지원한다. 또한, 영상 저장 서버(NVR 또는 DVR)를 사용하지 않는 경우, 특정 지역을 별도로 감시하는 하나의 카메라와 관제 PC를 연결하는 카메라 인터페이스는 프레임 그래버(Frame Grabber), Gigabit Ethernet(GigE), IEEE 1394a, IEEE 1394b, 카메라 링크, USB 3.0 모듈 중 어느 하나를 사용할 수 있다.
FPGA 기반 임베디드 비전 시스템(TLEM)(100)은 차량 번호판/컨테이너 번호 문자 인식 프로그램과 딥러닝 모듈(110)이 탑재되며 다수의 카메라(C)(101)와 HDMI 인터페이스를 통해 직접 연결되거나 또는 여러 지역에 설치된 다수의 카메라(101)와 TCP/IP를 통해 영상 저장 서버(NVR 또는 DVR)(102)와 연결되며, HDMI 인터페이스를 통해 모니터와 연결되고, TCP/IP를 통해 미들웨어(200)와 연결된다.
딥러닝 모듈(110)은 카메라 영상 데이터의 딥러닝 기반 실시간 객체 인식을 위해 CNN(Convolutional Neural Network), RNN(Recurrent Neural Networks), R-CNN(Recurrent Convolutional Neural Network), Fast RCNN, 및 Faster RCNN(Region based Convolutional Neural Network), YOLO(You Only Look Once), 또는 SSD(Single Shot Detector) 알고리즘 중 어느 하나의 딥러닝 알고리즘을 사용하여 카메라 영상의 객체들을 특징 추출과 분률 통해 객체들을 검출(object detection)한다.
딥러닝 모듈(100)은 상기 딥러닝 알고리즘을 사용하여 카메라 영상의 객체들을 검출하여 사각박스(grid)로 마킹된 객체들의 특징 추출과 분류를 통해 컨테이너, 차량과 사람, 양·적하 장비의 객체들을 인식하고, 차선 인식, 차량 번호 인식, 컨테이너 번호(ISO code) 문자 인식, 컨테이너 데미지 인식, 블록 진입구 진입 차량 인식, 위험 지역 진입 차량과 작업자 검출, 역주행 차량 검출, Yard 작업자 안전보호구/안전 조끼 착용 여부 검출, 양·적하 장비 위치를 검출하여 이벤트 발생시마다 미들웨어(200)로 전송하며, 이벤트 발생시마다 FPGA 기반 임베디드 비전 시스템(TLEM)(100)의 GPIO interface를 통해 상기 해당 스피커로 원격 경고 방송을 송출한다.
컨테이너 차량 번호판 또는 컨테이너에 부착된 컨테이너 번호의 정지 이미지 또는 컨테이너 번호의 이미지를 저장한 후, 이미지의 문자 인식 프로그램에 의해 카메라에서 촬영된 컨테이너 차량 번호판 또는 컨테이너에 부착된 컨테이너 번호의 정지 이미지에서 관심지역(ROI, Region Of Interest)의 직사각형 구조의 컨테이너 차량 번호판 또는 컨테이너에 부착된 컨테이너 번호의 정지 이미지(Blob)를 추출하여 이미지 프로세싱(image processing)에 의해 차량 번호/컨테이너 번호 인식 기술을 사용하여 컨테이너 차량 번호판 또는 컨테이너에 부착된 컨테이너 번호의 정지 이미지에서 문자와 숫자로 구성된 차량 번호를 추출하여 문자를 인식한다.
도 9c를 참조하면, 미들웨어(200)는 터미널 운영 시스템(TOS)(300)의 연계를 위한 엣지 미들웨어와 통합 미들웨어로 구성된다.
미들웨어(200)는 일측은 FPGA 기반 임베디드 비전 시스템(TLEM)(100)과 연결되고, 타측은 터미널 운영 시스템(TOS)(300)과 연동된다.
미들웨어(200)는 상기 FPGA 기반 임베디드 비전 시스템(TLEM)(100)에서 수집한 컨테이너 번호, 차량 번호, YT번호, 차선위치, 하위 디바이스 연결, 근거리 필드 이벤트 대응(스피커 경고 신호 송출), 카메라 영상 데이터 압축을 제공하는 엣지-미들웨어(Edge-Middleware); 및 항만 컨테이너 터미널에서 지리적으로 분산된 엣지-미들웨어(Edge-Middleware)의 데이터를 수집하며, 로그, 메세지 라우터, 터미널 운영 시스템(TOS) 연계하는 통합-미들웨어(Integration-Middleware)을 포함한다.
상기 미들웨어(200)는
항만 컨테이너 터미널 시스템에서 사용 중인 이기종 소프트웨어와 하드웨어 장비에 대한 어댑터 및 TOS 연계 모듈이 구비되며,
엣지 미들웨어 관리 및 제어 모듈(Edge M/W 데몬 관리, Edge M/W 상태 관리, Edge Registry), 로그 관리 모듈, 인식 정보 위치 정보 모듈(Proxy), 모듈 및 제어 모듈(모듈 정보 관리, 모듈 상태 관리, 모듈 명령어 처리), ALE 서비스 엔진(ALE Interface, 이벤트 스케쥴러, Filtering & Reporting, 위치 정보 관리, Event Cycle 관리)를 구비하는 엣지- 미들웨어; 및
상기 엣지-미들웨어와 연결되며, 관리자 브라우저, 시스템 모니터링 및 관리 모듈(로그 관리, 시스템 모니터링, M/W 관리), 시스템 자원 보호 모듈(보안 설정 및 키 관리, Secure Notification, Edge M/W 접근 제어), 터미널 운용 시스템(TOS)의 DB 서버와 TCP/IP 통신되는 Management 채널 모듈을 구비하는 통합-미들웨어를 포함한다.
상기 엣지 미들웨어는 상기 FPGA 기반 임베디드 비전 시스템(TLEM)(100)으로부터 학습된 객체 추출 이벤트(text)와 사각박스로 마킹된 객체 추출 영상 데이터를 수신받는 TLEM 딥러닝 미들웨어; XT, YT 차량의 차량 번호와 DR-GPS 위치를 수신하는 DR-GPS 미들웨어; 및 이벤트 발생시마다 TCP/IP를 통해 상기 해당 스피커(IP 스피커)로 원격 경고 방송을 송출하는 스피커 방송 미들웨어를 포함한다.
상기 엣지 미들웨어는 필요 장소에 따라 Yard의 각각의 블록 진입구(Block Entrance)에 900MHz RFID 리더가 설치될 수 있으며, 각 RFID 리더에 검출된 차량의 900MHz RFID 태그 정보를 수신하는 RFID 미들웨어를 더 포함할 수 있다.
터미널 운영 시스템(TOS)(300)은 미들웨어 UI, 이벤트 뷰어, 실시간 차량의 모니터링 프로그램을 구비한다.
항만 컨테이너 터미널의 출입관리를 위해, XT, YT 차량은 GPS 안테나와 DR-GPS와 6축 센서 또는 9축 센서를 구비하는 DR-GPS 단말기를 구비하며, GPS 신호가 끊기더라도 위치 보정을 위해 DR-GPS 단말기는 CAN tranceiver- CAN controller와 차량 ECU와의 차량 속도 신호 또는 차량 가속도 신호를 수신받는 CAN 통신을 제공한다.
컨테이너가 탑재된 차량은 GPS 안테나와 DR-GPS 단말기(DC 12~24V), 상기 DR-GPS 단말기와 시그널 케이블에 연결된 속도 표시 및 경보기를 구비하며, DR-GPS 단말기는 P-LTE Router와 통신되어 터미널 운영 시스템(TOS)의 위치 측위 서버에 연결된다.
상기 차량은 GPS 안테나와 DR-GPS와 6축 센서 또는 9축 센서를 구비하는 DR-GPS 단말기를 사용하며, 상기 6축 센서는 가속도 센서와 Gyro 센서를 사용하거나 또는 상기 9축 센서는 가속도 센서와 Gyro 센서와 지자계를 사용한다.
상기 차량의 ECU는 CAN controller - CAN tranceiver를 통해 DR-GPS 단말기와 연결되고, 상기 DR-GPS 단말기와 CAN 통신을 제공하며, 상기 DR-GPS 단말기는 GPS 신호가 끊겨도 Dead Reckoning 기능에 의해 차량 ECU와의 CAN 통신을 통해 시간에 따른 차량 속도 신호 또는 차량 가속도 신호를 사용하여 항만 컨테이너 터미널에서 차량의 GPS 위치를 보정하여 차량의 위치를 DR-GPS 미들웨어를 통해 터미널 운영 시스템(TOS)으로 전송한다.
상기 항만 터미널 운영 시스템(TOS)(300)은 상기 FPGA 기반 임베디드 비전 시스템(TLEM)(100)과 미들웨어(200)를 통해 연동되며, 항만의 다수 카메라별 영상 데이터의 그리드가 표시된 객체들(컨테이너, 차량, 사람, 양·적하 장비 등)이 포함된 영상 데이터를 모니터링 PC(310)의 화면에 출력하며, XT, YT 차량의 차량 번호와 DR-GPS 위치가 항만 컨테이너 터미널 Yard 지도에 표시된다.
또한, GPS 안테나와 DR-GPS와 6축 센서 또는 9축 센서를 사용하는 DR-GPS 단말기를 구비하는 차량은 항만 컨테이너 터미널의 2D 또는 3D GIS 지도에 차량의 위치(location)를 표시할 수 있다.
상기 항만 터미널 운영 시스템(TOS)(300)은 항만 물류 정보 시스템이 구비되며, 항만 스피커 방송 시스템과 연동될 수 있다.
예를들면, 항만 컨테이너 터미널에서 위험 지역 작업자 또는 차량 검출 시에, TLEM 또는 미들웨어는 해당 스피커(IP 스피커)로 원격 경고 방송("여기는 접근이 금지된 위험 지역이니 위험 지역을 떠나주세요")을 송출한다.
예를들면, 역주행 차량 검출 시에, TLEM 또는 미들웨어는 해당 스피커로 원격 경고 방송("여기는 역주행이 금지된 지역입니다")을 송출한다.
예를들면, 작업자 안전 보호구 미착용 검출 시에 TLEM 또는 미들웨어는 해당 스피커로 안내 방송("작업 지역에서는 안전 보호구를 착용해주세요")을 송출한다.
도 12는 카메라 영상의 객체를 검출하고 차량번호와 컨테이너 번호(ISO code)를 포함하는 영상의 이미지의 문자를 인식하는 딥러닝 모듈(YOLO, 또는 SSD)이 탑재된 FPGA 기반 임베디드 비전 시스템(TLEM)의 블럭도이다.
카메라 영상의 객체를 검출하고 문자를 인식하는 딥러닝 모듈이 탑재된 FPGA 기반 임베디드 비전 시스템(TLEM)(100)은
카메라 영상 데이터의 객체를 인식하는 딥러닝 모듈과 MCU(CPU)가 탑재된 FPGA;
상기 딥러닝 모듈과 MCU가 탑재된 FPGA에 연결되고, 상기 딥러닝 모듈에 의해 영상의 객체 검출과 차량 번호와 컨테이너 번호(ISO code), YT 번호를 포함하는 영상의 이미지의 문자 인식을 위해 영상을 처리하는 DSP;
상기 딥러닝 모듈과 MCU가 탑재된 FPGA에 연결되고, 카메라(C)로부터 영상 데이터를 HDMI 2.0 Rx/Tx를 통해 수신하고 출력하는 비디어 코덱의 인코더/디코더를 구비하는 비디오 인터페이스부;
상기 딥러닝 모듈과 MCU가 탑재된 FPGA에 연결되는 플래시 메모리와 SDRAM;
상기 딥러닝 모듈과 MCU가 탑재된 FPGA에 연결되는 USB-UART 단말부;
상기 딥러닝 모듈과 MCU가 탑재된 FPGA에 연결되고, GPIO 인터페이스를 통해 외부 IP 스피커를 연결하는 GPIO 인터페이스부;
상기 딥러닝 모듈과 MCU가 탑재된 FPGA에 연결되는 이더넷 연결부;
상기 딥러닝 모듈과 MCU가 탑재된 FPGA에 연결되고, Wi-Fi 통신부; 및
DC 12V ~ DC 24V 전원을 공급하는 DC 전원공급부를 포함한다.
FPGA 기반 임베디드 시스템(TLEM)(100)은 입력부와 표시부와 딥러닝 모듈(예, YOLO, SSD)이 탑재된 제어부(MCU)와 저장부와 유무선 통신부(Giga LAN 이더넷 연결부, USB 케이블 연결부, Wi-Fi 통신부)를 구비하는 IoT 디바이스로 제작된다.
상기 FPGA 기반 임베디드 비전 시스템(TLEM)은 상기 딥러닝 모듈과 MCU가 탑재된 FPGA에 연결되고, SD 카드가 착탈식으로 장착/이격되는 SD 카드 연결부를 더 포함한다.
상기 FPGA 기반 임베디드 비전 시스템(TLEM)은 GPIO 인터페이스를 통해 스피커와 연결되며, 상기 스피커는 기 저장된 음성 데이터가 저장되며 상기 FPGA 기반 임베디드 비전 시스템(TLEM)의 원격 방송 신호에 따라 해당 음성 데이터가 출력되는 IP 스피커 인 것을 특징으로 한다.
* 딥러닝 모듈: 딥러닝 객체인식 SW(YOLO V3, SSD)
- 항만 Gate, Block Entrance,TC, QC용 각각의 딥러닝 파일 생성
- 하드웨어 산정에 따른 YOLO V2/V3, SSD 성능 비교 및 테스트
- 항만 Gate, Block Entrance, TC, QC용 딥러닝 모듈 SW
- 항만 Gate, Yard의 Block, Block Entrance, ARMGC 차량 및 작업자 검출, QC에서 선박으로 양적하되는 컨테이너 번호(ISO 코드) 인식, 컨테이너 데미지, YT 인식, 차량번호 인식, 라인 구분, Yard 작업자의 안전모/안전 조끼 착용 여부를 검출하는 딥러닝 모듈
- 차량, 사람, 컨테이너, 양적하 장비 응용 요소와 인식률에 따른 각각의 소형 로컬 디바이스 탑재용 딥러닝 학습 파일 생성
* FPGA 기반 임베디드 비전 시스템(TLEM)에서 구동하는 소형 프레임워크
- 저장 매체를 통한 카메라 영상 데이터와 영상 저장 장치(NVR, DVR)에서 전송되는 실시간 동영상 스트림의 딥러닝을 사용한 객체 검출과 문자 인식의 영상처리를 위한 프레임워크 개발(OpenCV, DirectShow)
- NVR(Network Viedo Recorder)에 다수의 카메라(C)의 동시에 접속되는 ONVIF, RTSP 표준 프로토콜 구현
* 엣지 미들웨어 및 API(Application Programming Interface) 설계
- 이기종 디바이스(HW/SW) 접속 엣지 미들웨어(edge-middlewre) 개발
(TLEM 딥러닝 미들웨어, RFID 미들웨어, 차량 번호와 DR-GPS 위치를 수신하는 DR-GPS 미들웨어, 스피커 방송 미들웨어)
- DR-GPS 단말기와 TLEM(Tiny Local Embedded Module)의 연동 API 개발
- Integration middleware와 MQTT 통신을 위한 IoT 프로토콜 정의 및 개발
* CNN(Convolutional Neural Network) 알고리즘의 설계 및 경량화
* 실시간 동영상의 특정 객체 인식을 위한 Network layer의 소형화 연구개발
- 항만에 특정화된 객체만 구분함으로써 학습시간을 줄이고 낮은 HW사양으로
구동하기 위한 연구
* 차량에 탑재되는 9축 센서(가속도 센서/Gyro 센서/ 지자계)를 이용한 고징밀 Dead Reckoning 적용 DR-GPS 모듈 개발
* 터미널 운용 시스템(TOS) 연동을 위한 통합 미들웨어와 API 개발
* 터미널 운용 시스템(TOS)의 이벤트 뷰어, 모니터링 SW
(1) 딥러닝 모듈의 객체인식과 영상 처리 SW와 소형 FPGA 기반 임베디드 비전 시스템(Tiny Local Embedded module, TLEM) 개발
- 저가형/소형 FPGA 기반 임베디드 비전 하드웨어(IoT 디바이스) 개발
- 카메라 영상 데이터의 실시간 딥러닝 모듈의 객체 인식 SW 개발
- CNN 알고리즘의 객체들의 사전 학습을 통한 최적의 학습데이터 개발
- FPGA 기반 임베디드 비전 시스템(TLEM)으로부터 학습된 객체 추출 이벤트(text)와 사각박스로 마킹된 객체 추출 영상 데이터를 수신받아 모니터링 PC로 출력되도록 하며, 이벤트 발생시 해당 스피커로 경고 방송을 하는 미들웨어 개발
- 실시간 영상에서 작업자의 안전여부 판단(안전모/형광 조끼 착용 여부) 알고리즘 개발
- 차량 역주행, 주행 방향에 따른 작업자의 충돌 여부 감지, YT/XT의 차량 번호 인식, 차선 인식, 컨테이너 번호(ISO code) 인식, 컨테이너 데미지 인식
(2) 9축 센서를 이용한 고정밀 Dead Reckoning 적용 DR-GPS 모듈 개발
- 항만 내 Yard의 Block에 컨테이너들이 적재되어 높게 쌓인 컨테이너에 의해 발생되는 멀티패스(multi-path)에 의한 위치 오차와 TC(Transfer Crane) 또는 QC(Quay Crane) 밑에서 GPS 신호를 받지 못하는 환경에서 9축 센서와 차량의 CAN 신호와, 차량의 속도 신호를 이용하여 항만내 차량의 정밀 위치 측위 가능한 DR-GPS 단말기 개발
- 초기 가동 시, GPS 수신 불가 상태에서 신속하고 빠른 복귀 알고리즘 개발
(3) 터미널 운용 시스템(Terminal Operating System)의 연계를 위한 통합 미들웨어 개발
- 다수의 카메라(C) 또는 영상 저장 장치(NVR 또는 DVR)와 연동되는 FPGA 기반 임베디드 비전 시스템의 딥러닝 모듈의 영상의 객체 인식과 영상처리 후,
- DR-GPS 단말기를 구비한 차량의 위치를 미들웨어를 통해 터미널 운용 시스템(TOS)으로 전송하는 DR-GPS 미들웨어 개발
- 컨테이너 터미널 서비스를 위한 모니터링 프로그램 및 미들웨어 UI 개발
④ 부산신항만 내 컨테이너 터미널 실증 테스트베드 구축(실시예)
- TOS 시스템 연동 모듈 개발
- QC 1기에 비전 시스템 설치, YT 5대에 DR GPS 설치 후 TOS 시스템 연동
o 최종 제품
(H/W) - 딥러닝 모듈의 영상 처리 프레임워크를 위한
FPGA 기반 임베디드 비전 시스템(Tiny Local Embedded Module, TLEM)
- 컨테이너 차량(XT, YT 차량)에 탑재되는 DR-GPS 단말기 모듈 개발
(S/W) - 딥러닝 모듈의 카메라 영상 데이터의 객체 인식 SW
- 카메라 영상 데이터의 객체 인식을 위한 딥러닝 학습용 프로그램
- 터미널 운용 시스템(TOS) 연동을 위한 통합 미들웨어 및 API
- 이벤트 뷰어, 모니터링 SW
[세부 개발 목표]
(1) 딥러닝 기반 객체인식 SW와 소형 FPGA 기반 임베디드 시스템(Tiny Local Embedded module, TLEM) 개발
a. 영상처리 기술 개발
- 항만 컨테이너 터미널에서 획득된 동영상 파일이나 서버 또는 영상장치에서 전송되는 실시간 영상 스트림 작업을 위한 멀티미디어 프레임워크 개발[VMF(Video for windows), OpenCV, DirectShow]
- 카메라 영상에서 노이즈 제거의 전처리, 후처리, 객체의 특징점 추출, 패턴 인식 및 데이터 압축 및 저장, 저장된 패턴과 입력된 영상을 비교하여 일치 여부를 판단할 수 있는 기술 개발
- 차량 번호, 컨테이너 번호 문자 추출 및 컨테이너 데미지 이미지 추출
b. 딥러닝 기술 개발
- Convolution 연산을 활용한 카메라 영상의 이미지 특징점 추출 및 분류 기법의 CNN 학습 모델링 선정 및 모듈 개발
- AlexNET, VGGNet, GoogLeNet, RestNet, Yolo, SSD 모듈 개발
- 컨테이너 번호와 차량 번호의 문자 이미지에서 문자 인식 및 차선 구분을 위한 real-time 인식이 가능한 딥러닝 모델링 비교/선정 및 학습 모듈 개발
- 딥러닝에 의한 작업자의 안전모와 안전조끼 착용자/비착용자 구분 학습데이터 생성
- 카메라 영상의 객체 인식률 개선과 및 차량 번호와 컨테이너 번호(ISO code)의 문자 인식을 위한 정형 및 비정형적 데이터를 위한 학습 데이터 생성
c. 멀티미디어 프레임워크, 소형 FPGA 기반 임베디드 비전 시스템(TLEM)의 딥러닝 모듈 개발
(2) 9축 센서를 이용한 고정밀 Dead Reckoning 적용 DR-GPS 모듈 개발
- GPS, GNSS의 위성신호와 3축 자이로센서, 6축 자이로 센서+가속도 센서, 9축 자이로 센서+가속도 센서+지자계 센서를 이용한 위치 보정 알고리즘 개발
- 차량의 변속 레버와 차량내부 속도 신호를 CAN통신을 통해 전달받아
위치 보정 알고리즘 개발
- 차량전원 공급 미지원시 내장 베터리의 저전력 알고리즘 및 GPS의 위성 수신 상태의 WARM & HOT 유지 알고리즘 개발
(3) 터미널 운영 시스템(Terminal Operating System)의 연계를 위한
통합 미들웨어 개발 [도 9c]
a. 엣지-미들웨어(Edge-Middleware) 개발
- 엣지-미들웨어(Edge M/W): TLEM 딥러닝 미들웨어, RFID 미들웨어, 차량 번호와 DR-GPS 위치를 수신하는 DR-GPS 미들웨어, 스피커 방송 미들웨어
- FPGA 기반 임베디드 비전 시스템(TLEM)에서 검출한 컨테이너 번호, 차량번호, YT 번호, 차선위치, 하위 디바이스 연결, 근거리 필드 이벤트 대응 경고 신호 스피커 송출, 카메라 영상 데이터 압축.
b. 통합-미들웨어(Integration-Middleware) 개발
- 분산된 엣지-미들웨어(Edge-Middleware)의 데이터들을 수집하며, 로그, 메시지 라우터, TOS 연계
c. 항만 컨테이너 터미널 시스템에서 사용 중인 이기종 장비(HW/SW)에 대한 어댑터 개발 및 TOS 연계 모듈 개발
d. 미들웨어 UI, 이벤트 뷰어, 실시간 차량의 모니터링 프로그램 개발
(4) 부산 신항만 내 컨테이너 터미널 실증 테스트베드 구축(실시예)
- TOS 시스템 연동 모듈 개발
- QC 1기에 비전 시스템 설치, YT 5대에 DR GPS 설치 후 TOS 시스템 연동
o 주요 성능치
1) 컨테이너 번호, 차량번호, YT 번호 인식률
2) 인식 속도
3) GPS의 음영 지역 또는 Dead Reckoning 적용 시 위치 보정율
4) Yard 근무자의 안전모/안전조끼 착용여부 검지,
차량/작업자 충돌 위험 검지율
5) 테스트베드 구축 시 이전 대비 효율성
실시예에서는, 신항만 컨테이너 실증 테스트베드는 TOS 시스템 연동 미들웨어 개발, QC 1기에 비전 시스템 설치, YT 5대에 GPS 안테나와 DR-GPS 설치 후 TOS 시스템 연동하였다.
항만 Gate에 LANE1, LANE2 등의 레인 별로 진입/퇴출 차량의 정면과 후방, 윗면, 측면을 촬영하기 위해 설치된 카메라들에 따라 LANE1, LANE2 등의 레인 별로 좌측과 우측에 설치된 카메라들에 의해 QC 내부 컨테이너 측면 ID 인식, 컨테이너 뒤쪽 도어 ID 인식 및 차량 번호 인식, 컨테이너 옆 좌측 ID 인식 및 윗면 ID와 차량 번호가 인식된다. 또한, 카메라 설치 위치별로 카메라들에 의해 촬영된 영상으로부터 영상 처리(image processing)에 의해 QC 레인별로 진입한 차량의 컨테이너 번호에 표기된 ISO code 문자를 인식한다.
항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템의 객체 인식 방법은
(a) 항만 컨테이너 터미널에서, 항만 Gate, Yard/Block, Block Entrance, ARMGC, QC 각 지역에 설치된 다수의 카메라(C)와 연동되는 FPGA 기반 임베디드 비전 시스템(TLEM)은 각각의 카메라 영상 데이터에 대하여 딥러닝 모듈(YOLO, SSD 등)에 의해 객체들의 사전 학습 데이터에 따라 항만 Gate, Yard/Block, Block Entrance, ARMGC, QC 카메라 영상 데이터의 객체들의 특징 추출과 분류를 통해 사각박스(grid)로 마킹된 객체들(컨테이너와 차량과 사람, 양·적하 장비)을 검출하는 단계;
(b) FPGA 기반 임베디드 비전 시스템(TLEM)은 차선 인식, 차량 번호 인식, 컨테이너 번호(ISO code) 문자 인식, 컨테이너 데미지 인식, 항만 Gate, 블록 진입구 진입 차량 인식, 위험 지역 진입 차량과 작업자 검출, 역주행 차량 검출, Yard 작업자 안전보호구/안전 조끼 착용 여부 검출, 양적하 장비 위치를 검출하는 단계; 및
(c) 이벤트 발생시마다, FPGA 기반 임베디드 비전 시스템(TLEM)으로부터 GPIO 인터페이스를 통해 직접 해당 스피커로 경고 방송 신호 송출하는 단계를 포함하며,
상기 FPGA 기반 임베디드 비전 시스템(TLEM)과 연결되고, 터미널 운영 시스템(TOS)과 연동되는 미들웨어(200)를 포함하며,
상기 미들웨어(200)는 상기 FPGA 기반 임베디드 비전 시스템에서 수집한 컨테이너 번호, 차량번호, YT 번호, 차선위치, 필터링, 하위 디바이스 연결, 근거리 필드 이벤트 대응, 카메라 영상 데이터 압축을 제공하는 엣지-미들웨어; 및 항만 컨테이너 터미널에서 지리적으로 분산된 엣지-미들웨어(Edge-Middleware)의 데이터를 수집하며, 로그, 메시지 라우터, 터미널 운영 시스템(TOS)과 연동하는 통합-미들웨어를 포함하며,
상기 미들웨어는 항만 터미널 운영 시스템(TOS)에 연결되며, 사용 중인 이기종 소프트웨어와 하드웨어 장비에 대한 어댑터 및 TOS 연계 모듈이 구비된다.
상기 방법은 (d) 이벤트 발생시마다 FPGA 기반 임베디드 비전 시스템(TLEM)으로부터 학습된 객체 추출 이벤트(text)와 사각박스로 마킹된 객체 추출 영상 데이터를 미들웨어(TLEM 딥러닝 미들웨어)로 전송하고, 미들웨어가 TCP/IP를 사용하여 해당 스피커로 경고 방송 신호 송출하는 단계를 더 포함한다.
상기 방법은 (e) 상기 FPGA 기반 임베디드 비전 시스템(TLEM)은 미들웨어(엣지 미들웨어, 통합 미들웨어)를 통해 터미널 운용 시스템(TOS)과 연동되며, GPS 안테나와 DR-GPS, DR-GPS와 6축 센서 또는 9축 센서를 사용하는 DR-GPS 단말기를 구비한 차량의 위치를 DR-GPS 미들웨어를 통해 항만 터미널 운영 시스템(TOS)으로 전송하여 출력하는 단계를 더 포함한다.
터미널 운영 시스템(TOS)(300)은 미들웨어 UI, 이벤트 뷰어, 실시간 차량의 모니터링 프로그램, 항만 물류 관리 시스템과 연동된다.
항만 컨테이너 터미널의 출입관리를 위해, XT, YT 차량은 안테나와 DR-GPS와 6축 센서 또는 9축 센서를 구비하는 DR-GPS 단말기를 사용하며, GPS 신호가 끊기더라도 위치 보정을 위해 DR-GPS 단말기는 CAN tranceiver- CAN controller와 차량 ECU와의 차량 속도 신호 또는 차량 가속도 신호를 수신받는 CAN 통신을 제공한다.
컨테이너가 탑재된 차량은 GPS 안테나와 DR-GPS 단말기(DC 12~24V), 상기 DR-GPS 단말기와 시그널 케이블에 연결된 속도 표시 및 경보기를 구비하며, DR-GPS 단말기는 P-LTE Router와 통신되어 터미널 운영 시스템(TOS)의 위치 측위 서버에 연결된다.
상기 차량은 안테나와 DR-GPS와 6축 센서 또는 9축 센서를 구비하는 DR-GPS 단말기를 사용하며, 상기 6축 센서는 가속도 센서와 Gyro 센서를 사용하거나 또는 상기 9축 센서는 가속도 센서와 Gyro 센서와 지자계를 사용하며,
상기 차량의 ECU는 CAN controller - CAN tranceiver를 통해 DR-GPS 단말기와 연결되고, 6축 센서 또는 9축 센서를 사용하는 DR-GPS 단말기와 CAN 통신을 제공하며, DR-GPS 단말기는 GPS 신호가 끊겨도 Dead Reckoning 기능에 의해 차량 ECU와의 CAN 통신을 통해 시간에 따른 차량 속도 또는 차량 가속도 신호를 사용하여 항만내 정밀 GPS 위치를 보정하여 DR-GPS 미들웨어를 통해 터미널 운영 시스템(TOS)으로 전송한다.
상기 항만 터미널 운영 시스템(TOS)(300)은 상기 FPGA 기반 임베디드 비전 시스템(TLEM)(100)과 미들웨어(200)를 통해 연동되며, 항만의 다수 카메라별 영상 데이터의 그리드가 표시된 객체들(컨테이너, 차량, 사람, 양·적하 장비 등)이 포함된 영상 데이터를 모니터링 PC(310)의 화면에 출력하며, XT, YT 차량의 차량 번호와 DR-GPS 위치가 항만 컨테이너 터미널 Yard 지도에 표시된다.
또한, GPS 안테나와 DR-GPS와 6축 센서 또는 9축 센서를 사용하는 DR-GPS 단말기를 구비하는 차량은 항만 컨테이너 터미널의 2D 또는 3D GIS 지도에 차량의 위치(location)를 표시할 수 있다. 또한, 실시간으로 촬영되는 카메라 영상에 의해 컨테이너 치량의 위치를 검지할 수 있다.
도 13은 항만 안전과 컨테이너 터미널의 양적하 생산성과 효율을 향상시키기 위한 Non-GPU 기반 딥러닝 모듈이 탑재된 FPGA 기반 임베디드 비전 시스템(TLEM)의 정량적 평가 항목을 보인 도면이다.
정량적 평가 항목은 딥러닝 인식 성능(1. 인식 객체 가지수, 2. 인식 성공률, 3. 최대 인식 거리, 4. 인식 속도 5. 카메라 인식 해상도), 딥러닝 인식 모듈 환경 시험(6. 동작 온도, 7. 열충격, 8. 방수방전, 9. 전파 인증(KC)), 정밀 DR-GPS 모듈(10. 동작 온도, 11. Data Update Time, 12. 위치 오차), TOS 연계 미들웨어(13. 미들웨어 소프트웨어 평가, 14. Host & IoT Interface 호환 종류)로 구성되며, 공인시험 성적서 또는 전파 인증성적서로 평가받는다.
본 기업은 2012년 설립 후, 국내외 항만 컨테이너 터미널의 자동화 시스템을 개발/구축하였으며, 그외 터미널, 출입 통제, 항만 통합 물류 관리 시스템에 HW/SW 납품 실적을 가지고 있다.
해외 항만 컨테이너 터미널의 경우, 넓은 부지로 인해 컨테이너를 높게 적재하지 않아 멀티 패스 현상이 발생하지 않는다.
국내 항만 컨테이너 터미널의 경우 4~6 단의 컨테이너 적재로 인해 난반사가 심하며, 지구 자전에 의한 오차, 적재된 컨테이너에 의한 음영 및 난반사로 인한 오차가 존재한다.
도 14는 항만 컨테이너 터미널에서 실시간 카메라 영상 데이터 및 위치 정보 서비스 화면이다.
도 15는 항만 컨테이너 터미널 테스트 영상: (1) GPS only, (2) GPS + 9축 센서 + 위치 보정 알고리즘을 사용한 항만 컨테이너 터미널에서 차선 구분이 가능한 위치 보정 GPS 테스트 - 수평 구조 Yard의 Block 사이의 거리는 20~24m 간격 이다.
항만 컨테이너 터미널에서 터미널 운영 시스템(TOS)과 수평 구조 Yard의 차선 구분이 가능한 위치 보정 GPS 테스트를 하였다.
인천 신항 항만 컨테이너 터미널에서는, GPS 단말기만 사용한 (GPS only) 경우, 수평 구조의 Yard의 Block 사이의 거리는 20 ~ 24m 간격으로, Block 좌우로 Sea side 2차로, Land side 2차로로 나뉘며, 항만 자동화를 위해 차선 구분이 가능한 위치 측위 시스템이 필요하였다.
DR-GPS + 9축 센서 + 위치 보정 알고리즘을 사용한 경우, Ublock사의 chipset이 탑재된 EV KIT를 이용한 항만내 차량의 위치 보정 GPS 테스트를 진행하였으며, DR-GPS 테스트 결과 차량의 동일한 코스 3회 주행시 정밀도/정확성에서 최대 대략 43m급 좌표 차이가 발생하였다.
도 16은 항만 컨테이너 터미널에서, Port GPS system(차량 추적), Port RFID system(차량 인식), OTR device(차량 위치 인식), BLE Beacon System (IoT 디바이스)의 년도별 사업화 실적을 보인 도표이다.
도 17은 사업화 모델 비즈니스 전략, 해외 시장 진출 계획을 보인 도표이다.
도 18은 국내 컨테이너 터미널의 상/하역 장비 현황 및 전세계 물동량 추이를 나타낸 도면이다.
도 19는 국내외 자동화 컨테이너 터미널의 년도별 수요 전망을 보인 도면이다.
본 발명의 항만 컨테이너 터미널에서 차량 출입 관리와 위치 추적 및 객체를 인식하는 비전 카메라 시스템은 항만 컨테이너 터미널에서 차량 출입 관리와 DR-GPS 단말기(DR-GPS, 6축 센서 또는 9축 센서)를 구비하는 차량 위치 추적(YT 번호, 컨테이너 번호, 차량 번호 등), 다수의 카메라와 연동된 FPGA 기반 임베디드 비전 시스템(TLEM)의 딥러닝 모듈에 의해 딥러닝 학습 결과에 따라 카메라 영상내 객체들의 특징 추출과 분류를 통해 컨테이너와 차량과 사람, 양적하 장비를 검출하며, 항만 Gate/Yard의 Block/Block Entrance, ARMGC 차량 검출, 위험 지역 작업자 및 차량 검출, 역 주행 차량, 작업자의 안전보호구/안전 조끼 착용 여부, QC에서 양적하되는 컨테이너 번호(ISO 코드) 추출, FPGA 기반 임베디드 비전 시스템(TLEM)으로부터 미들웨어로 학습된 객체 추출 이벤트(text)와 사각박스로 마킹된 객체 추출 영상 데이터를 전송하며, 이를 터미널 운용 시스템(TOS)으로 전송하며, TLEM 또는 미들웨어가 항만 컨테이너 터미널의 Yard의 Block에 구비된 해당 지역의 스피커 방송을 통해 작업자와 차량의 안전사고를 방지하도록 위험 지역 안전관리를 제공하며, 컨테이너 터미널내에서 차량 번호 인식, STS Crane이 작업하는 컨테이너 번호(ISO 번호) 문자 인식 및 Crane 하부 작업자 안전관리를 제공한다. DR-GPS를 구비한 컨테이너 차량(XT 차량, YT 차량)의 위치 정보(X,Y 좌표)를 미들웨어를 통해 터미널 운영 시스템(TOS)으로 전송하며, 터미널 운영 시스템(TOS)은 실시간으로 DR-GPS를 구비한 컨테이너 차량(XT 차량, YT 차량)의 위치 정보(X,Y 좌표)를 제공하여 어느 Yard의 몇 번 Block에 해당 컨테이너 차량이 있는지 실시간으로 제공한다. 이를 통해 항만 컨테이너 터미널의 자동화 시스템을 구축하여 양·적하 생산성을 향상시키게 되었다.
또한, 항만 컨테이너 터미널에서, 컨테이너들이 적재되어 높게 쌓인 컨테이너에 의해 발생되는 멀티패스(multi-path)에 의한 위치 오차와 TC(Transfer Crane) 또는 QC(Quay Crane) 밑에서 GPS 신호를 받지 못하는 환경에서, 9축 센서와 차량의 CAN 신호와, 차량의 속도 신호를 이용하여 항만내 차량의 정밀 위치 측위 가능한 DR-GPS 단말기(DR-GPS, 6축 센서 또는 9축 센서 사용)를 개발하여 DR-GPS 단말기와 CAN 통신을 사용하는 차량의 항만내 정밀 위치 추적(YT 번호, 컨테이너 번호, 차량 번호 인식)이 가능하게 되었다.
본 제품(TLEM)은 항만 컨테이너 터미널에서 RFID, OCR, LPR 대비 가격 경쟁력 및 딥러닝 모듈의 영상의 객체 인식에 성능 우위를 가지며, 여러 가지의 기능을 하나의 기능으로 통합하여 장비 수량을 최소화하고 유지 보수 비용을 줄이며 기존의 50% 이하의 가격으로 공급이 가능하며, 항만 출입 보안 시스템, 컨테이너 터미널, 이송 장비(안벽 크레인 Quay Crane, 야드 크레인 Rail Mounted Gantry Crane, 야드 트랙터 Yard Tractor, 야드 샤시 Yard Chassis, 지게차 Fork Lift, 리치 스태커 Reach Stacker, 엠프리 핸들러 Empty Handler), 진입 차선 인식, 항만 컨테이너 터미널 출입 관리/통제, Yard 작업자 안전모/안전 조끼 착용 여부를 검출하여 항만 안전/보안에 특화된 다기능 비전 시스템을 제공하여 항만 자동화 시스템에 적용가능하다. 또한, 해외 TOS 개발사를 통한 공동 영업으로 항만 자동화 터미널의 해외 시장 진출이 가능하다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되고 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조를 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 저장 매체에 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다.　프로그램 명령의 예는 컴파일러에 의해 만들어지는 것과, 기계어 코드뿐만 아니라 인터프리터를 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.　상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.
본 발명의 구체적인 실시예를 참조하여 설명하였지만, 본 발명은 상기와 같이 기술적 사상을 예시하기 위해 구체적인 실시 예와 동일한 구성 및 작용에만 한정되지 않고, 본 발명의 기술적 사상과 범위를 벗어나지 않는 한도 내에서 다양하게 변형하여 실시될 수 있다. 따라서, 그와 같은 변형도 본 발명의 범위에 속하는 것으로 간주해야 하며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.
101: 카메라
102: 영상 저장 서버(NVR/DVR)
100: FPGA 기반 임베디드 비전 시스템(TLEM)
110: 딥러닝 모듈
200: 미들웨어(엣지 미들웨어 + 통합 미들웨어)
210: 엣지 미들웨어(Edge M/W)
230: 통합 미들웨어
300: 터미널 운용 시스템(TOS)
310: 모니터링 PC
YT: Yard Tractor
TC: Transfer Crane
XT: external truck
STS: Ship To Shore Shore
QC: Quay Crane
ATC: Automated Transfer Crane(ARMGC)
TOS: Terminal Operating System

Claims (17)

  1. 항만 컨테이너 터미널에서 항만 Gate, Yard/Block, Block Entrance, ARMGC, QC 각 지역에 설치된 다수의 카메라;
    상기 다수의 카메라 영상 데이터를 입력받아 딥러닝 모듈에 의해 학습 데이터에 따라 카메라 영상내 객체들을 검출하고 차선 인식, 차량 번호 인식, 컨테이너 번호(ISO code)의 문자를 인식하며, 항만 Gate, 블록 진입구 진입 차량 인식, 위험 지역 진입 차량과 작업자, 역주행 차량, Yard 작업자 안전보호구/안전 조끼 착용 여부 검출, 양·적하 장비 위치를 검출하여 이벤트 발생시마다 해당 스피커로 경고 방송을 하며, 학습된 객체 추출 이벤트(text)와 사각박스로 마킹된 객체 추출 영상 데이터를 미들웨어로 전송하는 FPGA 기반 임베디드 비전 시스템(TLEM); 및
    상기 FPGA 기반 임베디드 비전 시스템(TLEM)과 연결되고, 터미널 운영 시스템(TOS)과 연동되는 미들웨어를 포함하며,
    상기 미들웨어는 상기 FPGA 기반 임베디드 비전 시스템에서 수집한 컨테이너 번호, 차량번호, YT 번호, 차선위치, 필터링, 하위 디바이스 연결, 근거리 필드 이벤트 대응, 카메라 영상 데이터 압축을 제공하는 엣지-미들웨어; 및 항만 컨테이너 터미널에서 지리적으로 분산된 엣지-미들웨어(Edge-Middleware)의 데이터를 수집하며, 로그, 메시지 라우터, 터미널 운영 시스템(TOS)과 연동하는 통합-미들웨어를 포함하고,
    상기 미들웨어는 항만 터미널 운영 시스템(TOS)에 연결되며, 사용 중인 이기종 소프트웨어와 하드웨어 장비에 대한 어댑터 및 TOS 연계 모듈이 구비되는, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템.
  2. 제1항에 있어서,
    상기 FPGA 기반 임베디드 비전 시스템은 Non-GPU 기반의 영상의 객체들을 검출하고 차량 번호와 컨테이너 번호(ISO code)의 문자를 인식하는 딥러닝 모듈을 구비하는, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템.
  3. 제2항에 있어서,
    상기 딥러닝 모듈은 카메라 영상의 객체 인식을 위해 RNN, R-CNN, Fast RCNN, Faster RCNN, YOLO, 또는 SSD 모델 증 어느 하나의 딥러닝 알고리즘을 사용하는, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템.
  4. 제1항에 있어서,
    상기 FPGA 기반 임베디드 비전 시스템(TLEM)은
    카메라 영상 데이터의 객체를 인식하는 딥러닝 모듈과 MCU(CPU)가 탑재된 FPGA;
    상기 딥러닝 모듈과 MCU가 탑재된 FPGA에 연결되고, 상기 딥러닝 모듈에 의해 영상의 객체 검출과 차량 번호와 컨테이너 번호(ISO code), YT 번호 문자 인식을 하여 영상을 처리하는 DSP;
    상기 딥러닝 모듈과 MCU가 탑재된 FPGA에 연결되고, 카메라(C)로부터 영상 데이터를 HDMI Rx/Tx를 통해 수신하고 출력하는 비디어 코덱의 인코더/디코더를 구비하는 비디오 인터페이스부;
    상기 딥러닝 모듈과 MCU가 탑재된 FPGA에 연결되는 플래시 메모리와 SDRAM;
    상기 딥러닝 모듈과 MCU가 탑재된 FPGA에 연결되는 USB-UART 단말부;
    상기 딥러닝 모듈과 MCU가 탑재된 FPGA에 연결되고, SD 카드가 착탈식으로 장착/이격되는 SD 카드 연결부;
    상기 딥러닝 모듈과 MCU가 탑재된 FPGA에 연결되고, 외부 IP 스피커를 연결하는 GPIO 인터페이스부;
    상기 딥러닝 모듈과 MCU가 탑재된 FPGA에 연결되는 이더넷 연결부;
    상기 딥러닝 모듈과 MCU가 탑재된 FPGA에 연결되는 Wi-Fi 통신부; 및
    DC 전원공급부를 포함하는, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템.
  5. 제1항에 있어서,
    상기 미들웨어는 상기 FPGA 기반 임베디드 비전 시스템(TLEM)으로부터 이벤트 발생시마다 학습된 객체 추출 이벤트(text)와 사각박스(grid)로 마킹된 객체 추출 영상 데이터를 수신받고, FPGA 기반 임베디드 비전 시스템(TLEM)이 이벤트 경고 방송 기능이 없는 경우, 이벤트 검출시 TCP/IP를 통해 해당 스피커로 경고 방송을 하며, DR-GPS 단말기를 구비한 차량의 DR-GPS 위치 정보를 API를 통해 수신받아 터미널 운영 시스템(TOS)으로 전송하는, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템.
  6. 삭제
  7. 제1항에 있어서,
    상기 미들웨어는
    엣지 미들웨어 관리 및 제어 모듈(Edge M/W 데몬 관리, Edge M/W 상태 관리, Edge Registry), 로그 관리 모듈, 인식 정보 위치 정보 모듈(Proxy), 모듈 및 제어 모듈(모듈 정보 관리, 모듈 상태 관리, 모듈 명령어 처리), ALE 서비스 엔진(ALE Interface, 이벤트 스케쥴러, Filtering & Reporting, 위치 정보 관리, Event Cycle 관리)을 구비하는 엣지 미들웨어; 및
    관리자 브라우저, 시스템 모니터링 및 관리 모듈(로그 관리, 시스템 모니터링, M/W 관리), 시스템 자원 보호 모듈(보안 설정 및 키 관리, Secure Notification, Edge M/W 접근 제어), 터미널 운용 시스템(TOS)의 DB 서버와 TCP/IP 통신되는 Management 채널 모듈을 구비하는 통합-미들웨어를 포함하는, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템.
  8. 제7항에 있어서,
    상기 엣지 미들웨어는
    상기 FPGA 기반 임베디드 비전 시스템(TLEM)으로부터 학습된 객체 추출 이벤트(text)와 사각박스로 마킹된 객체 추출 영상 데이터를 수신받는 TLEM 딥러닝 미들웨어; 및
    DR-GPS 단말기를 구비하는 컨테이너 차량의 차량 번호와 DR-GPS 위치를 수신하는 DR-GPS 미들웨어를 포함하는 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템.
  9. 제8항에 있어서,
    상기 차량은 GPS 안테나와 DR-GPS와 6축 센서 또는 9축 센서를 구비하는 DR-GPS 단말기(DC 12~24V), 상기 DR-GPS 단말기와 시그널 케이블에 연결된 속도 표시 및 경보기를 구비하며, DR-GPS 단말기는 P-LTE Router와 통신되어 항만 컨테이너 터미널 시스템(TOS)의 위치 측위 서버에 연결되고,
    상기 차량의 ECU는 CAN controller - CAN tranceiver를 통해 DR-GPS 단말기와 연결되고, 상기 DR-GPS 단말기는 GPS 신호가 끊겨도 Dead Reckoning 기능에 의해 차량 ECU와의 CAN 통신을 통해 차량 속도 신호 또는 차량 가속도 신호를 사용하여 차량의 보정된 GPS 위치 정보를 상기 미들웨어를 통해 상기 터미널 운영 시스템(TOS)으로 전송하는, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템.
  10. 제1항에 있어서,
    상기 터미널 운영 시스템(TOS)은 미들웨어 UI, 이벤트 뷰어, 실시간으로 YT 차량의 DR-GPS 위치 모니터링 프로그램을 구비하며, 항만 컨테이너 터미널에서 카메라 채널별로 사각박스로 마킹된 객체들이 포함된 영상이 출력되며, DR-GPS와 6축 센서 또는 9축 센서를 포함하는 DR-GPS 단말기를 구비하는 차량의 위치 정보를 표시하는, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템.
  11. (a) 항만 컨테이너 터미널에서, 다수의 카메라(C)와 연동되는 FPGA 기반 임베디드 비전 시스템(TLEM)은 각 카메라 영상 데이터에 대하여 딥러닝 모듈에 의해 객체들의 사전 학습 데이터에 따라 항만 Gate, Yard/Block, Block Entrance, ARMGC, QC 카메라 영상 데이터의 사각박스로 마킹된 객체들 - 컨테이너와 차량과 사람, 양·적하 장비-을 검출하는 단계; 및
    (b) 상기 FPGA 기반 임베디드 비전 시스템(TLEM)은 차선 인식, 차량 번호 인식, 컨테이너 번호(ISO code) 문자 인식, 컨테이너 데미지 인식, 항만 Gate, 블록 진입구 진입 차량 인식, 위험 지역 진입 차량과 작업자 검출, 역주행 차량 검출, Yard 작업자 안전보호구/안전 조끼 착용 여부 검출, 양적하 장비 위치를 검출하는 단계를 포함하며,
    상기 FPGA 기반 임베디드 비전 시스템(TLEM)과 연결되고, 터미널 운영 시스템(TOS)과 연동되는 미들웨어를 포함하며,
    상기 미들웨어는 상기 FPGA 기반 임베디드 비전 시스템에서 수집한 컨테이너 번호, 차량번호, YT 번호, 차선위치, 필터링, 하위 디바이스 연결, 근거리 필드 이벤트 대응, 카메라 영상 데이터 압축을 제공하는 엣지-미들웨어; 및 항만 컨테이너 터미널에서 지리적으로 분산된 엣지-미들웨어(Edge-Middleware)의 데이터를 수집하며, 로그, 메시지 라우터, 터미널 운영 시스템(TOS)과 연동하는 통합-미들웨어를 포함하며,
    상기 미들웨어는 항만 터미널 운영 시스템(TOS)에 연결되며, 사용 중인 이기종 소프트웨어와 하드웨어 장비에 대한 어댑터 및 TOS 연계 모듈이 구비되는, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템의 객체 인식 방법.
  12. 제11항에 있어서,
    상기 FPGA 기반 임베디드 비전 시스템은 Non-GPU 기반의 영상의 객체들을 검출하고 차량 번호와 컨테이너 번호의 문자를 인식하는 딥러닝 모듈을 구비하는, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템의 객체 인식 방법.
  13. 제12항에 있어서,
    상기 딥러닝 모듈은 카메라 영상의 객체 인식을 위해 RNN, R-CNN, Fast RCNN, Faster RCNN, YOLO 또는 SSD 모델 증 어느 하나의 딥러닝 알고리즘을 사용하는, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템의 객체 인식 방법.
  14. 제11항에 있어서,
    (d) 이벤트 발생시마다 상기 FPGA 기반 임베디드 비전 시스템(TLEM)으로부터 학습된 객체 추출 이벤트(text)와 사각박스(grid)로 마킹된 객체 추출 영상 데이터를 미들웨어(TLEM 딥러닝 미들웨어)로 전송하고, 상기 미들웨어가 TCP/IP를 사용하여 해당 스피커로 경고 방송 신호 송출하는 단계를 더 포함하는 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템의 객체 인식 방법.
  15. 제11항에 있어서,
    (e) 상기 FPGA 기반 임베디드 비전 시스템(TLEM)은 미들웨어(엣지 미들웨어, 통합 미들웨어)를 통해 터미널 운용 시스템(TOS)과 연동되며, GPS 안테나와 DR-GPS, 6축 센서 또는 9축 센서를 사용하는 DR-GPS 단말기를 구비한 차량의 위치를 DR-GPS 미들웨어를 통해 상기 터미널 운영 시스템(TOS)으로 전송하여 출력하는 단계를 더 포함하는, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템의 객체 인식 방법.
  16. 제15항에 있어서,
    차량은 GPS 안테나와 DR-GPS와 6축 센서 또는 9축 센서를 구비하는 DR-GPS 단말기(DC 12~24V), 상기 DR-GPS 단말기와 시그널 케이블에 연결된 속도 표시 및 경보기를 구비하며, DR-GPS 단말기는 P-LTE Router와 통신되어 항만 컨테이너 터미널 시스템의 위치 측위 서버에 연결되고,
    상기 차량의 ECU는 CAN controller - CAN tranceiver를 통해 DR-GPS 단말기와 연결되고, 상기 DR-GPS 단말기는 GPS 신호가 끊겨도 Dead Reckoning 기능에 의해 차량 ECU와의 CAN 통신을 통해 차량 속도 신호 또는 차량 가속도 신호를 사용하여 차량의 보정된 GPS 위치를 터미널 운영 시스템(TOS)으로 전송하는, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템의 객체 인식 방법.
  17. 제11항에 있어서,
    상기 터미널 운영 시스템(TOS)은 미들웨어 UI, 이벤트 뷰어, 실시간으로 YT 차량의 DR-GPS 위치 모니터링 프로그램을 구비하며, 항만 컨테이너 터미널에서 카메라 채널별로 사각박스로 마킹된 객체들이 포함된 영상이 출력되며, DR-GPS와 6축 센서 또는 9축 센서를 포함하는 DR-GPS 단말기를 구비하는 차량의 위치 정보를 표시하는, 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템의 객체 인식 방법.
KR1020200102811A 2020-08-14 2020-08-14 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템 및 그 방법 KR102206658B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200102811A KR102206658B1 (ko) 2020-08-14 2020-08-14 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200102811A KR102206658B1 (ko) 2020-08-14 2020-08-14 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102206658B1 true KR102206658B1 (ko) 2021-01-22

Family

ID=74309823

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200102811A KR102206658B1 (ko) 2020-08-14 2020-08-14 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102206658B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379129A (zh) * 2021-06-17 2021-09-10 青岛港国际股份有限公司 一种集装箱码头设备监测传感器安装选址方法
CN114180365A (zh) * 2022-01-12 2022-03-15 天津港第二集装箱码头有限公司 一种顺岸式边装卸全自动化码头操作管理系统
KR20220124355A (ko) 2021-03-03 2022-09-14 주식회사 이노메트릭스 안벽크레인의 컨테이너 사진 데미지 판독 및 국제해상위험물규칙 라벨 판독 시스템
CN115122339A (zh) * 2022-08-19 2022-09-30 中电科机器人有限公司 面向装卸机器人的控制系统
CN115690061A (zh) * 2022-11-08 2023-02-03 北京国泰星云科技有限公司 一种基于视觉的集装箱码头集卡车检测方法
CN116957366A (zh) * 2023-09-20 2023-10-27 中交第四航务工程勘察设计院有限公司 一种基于物联网的港口数据采集与评价方法及系统
CN117436678A (zh) * 2023-12-21 2024-01-23 青岛慧拓智能机器有限公司 露天矿装载区的入场点生成方法、装置、设备和存储介质
CN117764468A (zh) * 2023-12-06 2024-03-26 广州港股份有限公司 基于物联网和机器视觉的智能装驳线的控制方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101042343B1 (ko) 2008-11-12 2011-06-17 동명대학교산학협력단 Ｕｗｂ 센서를 사용한 항만 내 차량의 위치 인식시스템
KR101045323B1 (ko) 2011-04-07 2011-06-29 (주)에디넷 다시점 카메라 시스템을 이용한 실시간 항만 영상관제 시스템 및 그 방법
KR101068681B1 (ko) 2009-10-06 2011-09-28 한국해양연구원 항만 통합 보안 감시 운영 시스템
KR101071379B1 (ko) 2009-09-25 2011-10-07 한국해양연구원 항만 통합 보안 감시 시스템
KR20120133612A (ko) * 2011-05-31 2012-12-11 호서대학교 산학협력단 임베디드 비전 시스템을 이용한 전력 감소 시스템
KR101313025B1 (ko) 2012-06-20 2013-10-01 동명대학교산학협력단 무선인식을 이용한 항만 장치장 내 무인이송장비의 정지위치 인식시스템 및 그 제어방법
KR101978292B1 (ko) 2019-01-07 2019-05-14 (주) 케이엔에스 항만 게이트 ocr 시스템 장치
KR20190063729A (ko) * 2017-11-30 2019-06-10 주식회사 넥토마이닝 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템
KR102024149B1 (ko) * 2019-04-03 2019-09-23 주식회사 데이터넷 지능형 스마트 선별 관제 시스템

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101042343B1 (ko) 2008-11-12 2011-06-17 동명대학교산학협력단 Ｕｗｂ 센서를 사용한 항만 내 차량의 위치 인식시스템
KR101071379B1 (ko) 2009-09-25 2011-10-07 한국해양연구원 항만 통합 보안 감시 시스템
KR101068681B1 (ko) 2009-10-06 2011-09-28 한국해양연구원 항만 통합 보안 감시 운영 시스템
KR101045323B1 (ko) 2011-04-07 2011-06-29 (주)에디넷 다시점 카메라 시스템을 이용한 실시간 항만 영상관제 시스템 및 그 방법
KR20120133612A (ko) * 2011-05-31 2012-12-11 호서대학교 산학협력단 임베디드 비전 시스템을 이용한 전력 감소 시스템
KR101313025B1 (ko) 2012-06-20 2013-10-01 동명대학교산학협력단 무선인식을 이용한 항만 장치장 내 무인이송장비의 정지위치 인식시스템 및 그 제어방법
KR20190063729A (ko) * 2017-11-30 2019-06-10 주식회사 넥토마이닝 사회재난 대응을 위한 융복합기술 기반의 카메라와 센서 네트워크와 지향성 스피커를 사용한 인명지킴이 시스템
KR101978292B1 (ko) 2019-01-07 2019-05-14 (주) 케이엔에스 항만 게이트 ocr 시스템 장치
KR102024149B1 (ko) * 2019-04-03 2019-09-23 주식회사 데이터넷 지능형 스마트 선별 관제 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
특허 등록번호 10-0794410 (등록일자 2008년 1월 7일), "항만 트레일러 자동 정지위치 모니터링 시스템", 권영수, 이권순

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220124355A (ko) 2021-03-03 2022-09-14 주식회사 이노메트릭스 안벽크레인의 컨테이너 사진 데미지 판독 및 국제해상위험물규칙 라벨 판독 시스템
CN113379129A (zh) * 2021-06-17 2021-09-10 青岛港国际股份有限公司 一种集装箱码头设备监测传感器安装选址方法
CN113379129B (zh) * 2021-06-17 2022-09-20 青岛港国际股份有限公司 一种集装箱码头设备监测传感器安装选址方法
CN114180365A (zh) * 2022-01-12 2022-03-15 天津港第二集装箱码头有限公司 一种顺岸式边装卸全自动化码头操作管理系统
CN115122339A (zh) * 2022-08-19 2022-09-30 中电科机器人有限公司 面向装卸机器人的控制系统
CN115690061A (zh) * 2022-11-08 2023-02-03 北京国泰星云科技有限公司 一种基于视觉的集装箱码头集卡车检测方法
CN115690061B (zh) * 2022-11-08 2024-01-05 北京国泰星云科技有限公司 一种基于视觉的集装箱码头集卡车检测方法
CN116957366A (zh) * 2023-09-20 2023-10-27 中交第四航务工程勘察设计院有限公司 一种基于物联网的港口数据采集与评价方法及系统
CN116957366B (zh) * 2023-09-20 2024-01-16 中交第四航务工程勘察设计院有限公司 一种基于物联网的港口数据采集与评价方法及系统
CN117764468A (zh) * 2023-12-06 2024-03-26 广州港股份有限公司 基于物联网和机器视觉的智能装驳线的控制方法及系统
CN117436678A (zh) * 2023-12-21 2024-01-23 青岛慧拓智能机器有限公司 露天矿装载区的入场点生成方法、装置、设备和存储介质
CN117436678B (zh) * 2023-12-21 2024-04-12 青岛慧拓智能机器有限公司 露天矿装载区的入场点生成方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
KR102206662B1 (ko) 항만 컨테이너 터미널에서 차량 출입 관리와 객체를 인식하는 비전 카메라 시스템 및 방법
KR102206658B1 (ko) 항만 컨테이너 터미널에서 미들웨어를 통해 터미널 운영 시스템과 연동되는 비전 카메라 시스템 및 그 방법
CN111537515B (zh) 基于三维实景模型的铁塔螺栓缺陷展示方法和系统
US10699125B2 (en) Systems and methods for object tracking and classification
CN107226087B (zh) 一种结构化道路自动驾驶运输车及控制方法
Mi et al. Vision-based measurement: actualities and developing trends in automated container terminals
CN101214851B (zh) 船舶行驶智能型全天候主动安全预警系统及其预警方法
CN109725310B (zh) 一种基于yolo算法以及岸基雷达系统的船舶定位监管系统
CN111757822A (zh) 用于使用多传感器检测融合来在物流地面支持设备上进行增强的碰撞避免的系统和方法
CN107380163A (zh) 基于磁导航的汽车智能报警预测系统及其方法
CN107437044B (zh) 一种矿井移动目标跟踪与定位方法
CN111275923B (zh) 施工现场的人机碰撞预警方法及系统
US20220024549A1 (en) System and method for measuring the distance to an object in water
CN114241298A (zh) 一种激光雷达和图像融合的塔吊环境目标检测方法及系统
US20210216948A1 (en) Autonomous vehicles performing inventory management
CN116208745A (zh) 一种码头船舶靠泊监测记录系统及方法
CN112613509A (zh) 一种铁路货车车厢号识别抓拍方法及系统
CN208802612U (zh) 装船机作业系统和装船机
CN113055658A (zh) 一种基于全景拼接技术的隧道危化品车辆识别方法及系统
CN111966126A (zh) 无人机巡逻方法、装置及无人机
KR101913391B1 (ko) Uav, usv, uuv 및 ugv를 포함하는 무인로봇을 이용한 복합 정보 수집 및 생성 시스템
CN107045805A (zh) 一种用于小型航空器和空飘物的监测方法及系统
CN114971595B (zh) 一种应用视频数据分析处理技术的船舶智慧监管系统
CN115049322A (zh) 一种集装箱堆场的集装箱管理方法及系统
CN114200961A (zh) 一种基于无人机与智能穿戴装备的空地协同系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant