KR102161315B1 - 컨테이너 식별코드 모니터링 시스템 및 그 방법 - Google Patents

컨테이너 식별코드 모니터링 시스템 및 그 방법 Download PDF

Info

Publication number
KR102161315B1
KR102161315B1 KR1020190142984A KR20190142984A KR102161315B1 KR 102161315 B1 KR102161315 B1 KR 102161315B1 KR 1020190142984 A KR1020190142984 A KR 1020190142984A KR 20190142984 A KR20190142984 A KR 20190142984A KR 102161315 B1 KR102161315 B1 KR 102161315B1
Authority
KR
South Korea
Prior art keywords
image data
container
identification code
unit
color
Prior art date
Application number
KR1020190142984A
Other languages
English (en)
Inventor
김명호
양석일
Original Assignee
주식회사 지팬스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지팬스 filed Critical 주식회사 지팬스
Priority to KR1020190142984A priority Critical patent/KR102161315B1/ko
Application granted granted Critical
Publication of KR102161315B1 publication Critical patent/KR102161315B1/ko

Links

Images

Classifications

    • G06K9/4652—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q50/28—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H04N5/2353—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H04N9/04—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 컨테이너 식별코드 모니터링 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 게이트 하우스를 통과하지 않고도 다수 개의 카메라와 센서의 배열로 컨테이너의 2차원 표면 영상을 취득할 수 있는 기술에 관한 것이다.
본 발명에 따른 컨테이너 식별코드 모니터링 시스템 및 그 방법은 컨테이너를 적재한 트레일러의 진입을 감지하는 적어도 두 대 이상의 진입감지센서로 이루어진 진입감지부; 상기 컨테이너의 색상을 식별하는 색상식별부; 상기 컨테이너의 표면영상데이터를 취득하는 적어도 두 대 이상의 RGB광학카메라로 이루어진 표면영상획득부; 상기 진입감지부, 상기 색상식별부, 상기 표면영상획득부의 동작을 제어하고 취득된 컨테이너 원본영상데이터에서 컨테이너 식별코드를 분석하는 제어분석부; 상기 진입감지부, 상기 색상식별부, 상기 표면영상획득부, 상기 제어분석부가 거치되는 거치프레임으로 구성되고, 컨테이너의 원본영상데이터에서 기울어진 왜곡 보정을 위해 호모그래피 변환 알고리듬이 적용되어 호모그래피변환 영상데이터가 산출되는 호모그래피 변환단계; 상기 호모그래피변환 영상데이터에 다중이진화 알고리듬을 적용하여 다중이진화 영상데이터가 산출되는 다중이진화단계; 상기 다중이진화 영상데이터 중에서 불필요한 영역의 영상데이터에 대한 노이즈 제거를 수행하여 노이즈제거 영상데이터를 산출하는 노이즈제거단계; 상기 노이즈제거 영상데이터를 이진화시키고, 컨테이너 식별코드의 마지막 문자에 포함된 네모칸의 형상을 더 제거하여 개별분리 영상데이터를 산출하는 개별분리단계; 상기 개별분리 영상데이터를 템플릿 매칭하여 컨테이너 식별코드를 구성하는 복수 개의 문자들을 인식하는 식별코드 인식단계;를 포함하는 것을 특징으로 한다.

Description

컨테이너 식별코드 모니터링 시스템 및 그 방법{Automatic identification monitoring system of container}
본 발명은 컨테이너 식별코드 모니터링 시스템 및 그 방법에 관한 것으로서, 보다 상세하게는 게이트 하우스를 통과하지 않고도 다수 개의 카메라와 센서의 배열로 컨테이너의 2차원 표면 영상을 취득할 수 있는 기술에 관한 것이다.
일반적으로 대량의 화물을 운송하기 위한 컨테이너는 트레일러 차량에 적재되어 이동한다. 이러한 컨테이너는 통상적으로 화물 터미널 출입구인 게이트 하우스에서 컨테이너를 적재한 차량이 진입하면서 통관절차를 거치게 된다. 상기 통관절차는 컨테이너의 측면, 후면, 상부 표면에 기입된 식별코드를 기반으로 수행된다.
이와 유사한 선행기술에는 대한민국 등록특허공보 제10-0701521호(2007.03.23.) ‘컨테이너의 2차원 표면 영상획득시스템 및 그 방법’이 있다. 상기 선행기술에서는 컨테이너를 실은 차량이 통과되도록 설치되는 게이트 하우스; 상기 컨테이너의 진행방향으로 상기 게이트 하우스에 배열되어 상기 컨테이너의 진입 및 진출을 알리는 다수개의 센서로 이루어진 위치검출장치; 상기 컨테이너와 일정간격으로 이격되도록 상기 게이트 하우스의 내측면에 설치되어 상기 컨테이너의 2차원 표면영상을 부분적으로 획득하기 위한 적어도 두 대 이상의 카메라부와, 상기 각 카메라부의 사이에 설치되어 상기 컨테이너와의 거리값을 측정하기 위한 거리측정부를 포함하는 영상획득장치; 및 상기 위치검출장치의 각 센서로부터 상기 컨테이너의 진입 및 진출을 알리는 신호가 발생됨에 따라 상기 각 카메라부 및 상기 거리측정부의 동작을 제어하고, 상기 각 카메라부로부터 획득된 각각의 부분 영상들을 상기 거리측정부로부터 측정된 거리값을 이용하여 상기 각 카메라부간의 중첩구간영상을 산출하고, 상기 산출된 중첩구간영상을 부드럽게 처리한 후 이를 조합하여 재생성하며, 상기 재생성된 각각의 부분 영상들을 조합하여 상기 컨테이너의 2차원 전체 표면영상을 출력하기 위한 제어장치를 포함하는 기술을 개시한 바 있다.
다른 선행기술에는 대한민국 공개특허공보 제10-2008-0083469호(2008.09.18.) ‘컨테이너 모니터링 시스템’이 있다. 상기 선행기술에서는 컨테이너를 적재한 차량이 통과할 수 있도록 형성된 게이트; 상기 게이트에 배치되어 상기 차량의 진입 및 통과 완료를 감지하는 센서부; 상기 센서로부터 차량의 진입이 감지되면 온되고, 상기 차량이 통과완료하면 오프되는 조명부; 상기 조명부와 동시에 온 및 오프되어, 상기 조명부의 조명하에 상기 차량 및 컨테이너를 촬영하는 카메라부; 및 상기 카메라에 의해 촬영된 영상을 기초로 상기 차량 또는 상기 컨테이너를 모니터링하는 모니터링부;를 포함하는 기술을 개시하고 있다.
그러나 전술한 선행기술들에서는 컨테이너를 적재한 트레일러 차량이 통과하는 게이트 하우스에서 컨테이너 외부의 2차원 표면 영상을 취득할 수 있어서 게이트 하우스를 시공하기 위한 부지확보 및 시공비용 문제가 내재되어 있는 단점이 있다.
대한민국 등록특허공보 제10-0701521호(2007.03.23.) ‘컨테이너의 2차원 표면 영상획득시스템 및 그 방법’ 대한민국 공개특허공보 제10-2008-0083469호(2008.09.18.) ‘컨테이너 모니터링 시스템’
본 발명은 상기한 발명의 배경으로부터 요구되는 기술적 필요성을 충족하는 것을 목적으로 한다. 구체적으로, 본 발명의 목적은 상기한 종래의 컨테이너 표면 영상 획득 및 모니터링 시스템 및 그 방법의 문제점을 해결하기 위하여 안출된 것으로서,
컨테이너 트레일러 진입 속도를 감지하는 진입감지부와 컨테이너의 색상을 식별하는 색상식별부를 통해 표면영상획득부를 제어하여 고가의 게이트 하우스를 구비하지 않고도 컨테이너 표면에 대한 고품질의 원본영상데이터를 취득하고 일련의 고도화된 영상처리 알고리듬이 내재된 제어분석부에서 컨테이너 식별코드를 검출하는 기술을 제공하는 것에 목적이 있다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
이러한 목적을 달성하기 위한 본 발명에 따른 컨테이너 식별코드 모니터링 시스템 및 그 방법은 컨테이너를 적재한 트레일러의 진입을 감지하는 적어도 두 대 이상의 진입감지센서로 이루어진 진입감지부; 상기 컨테이너의 색상을 식별하는 색상식별부; 상기 컨테이너의 표면영상데이터를 취득하는 적어도 두 대 이상의 RGB광학카메라로 이루어진 표면영상획득부; 상기 진입감지부, 상기 색상식별부, 상기 표면영상획득부의 동작을 제어하고 취득된 컨테이너 원본영상데이터에서 컨테이너 식별코드를 분석하는 제어분석부; 상기 진입감지부, 상기 색상식별부, 상기 표면영상획득부, 상기 제어분석부가 거치되는 거치프레임으로 구성되고, 컨테이너의 원본영상데이터에서 기울어진 왜곡 보정을 위해 호모그래피 변환 알고리듬이 적용되어 호모그래피변환 영상데이터가 산출되는 호모그래피 변환단계; 상기 호모그래피변환 영상데이터에 다중이진화 알고리듬을 적용하여 다중이진화 영상데이터가 산출되는 다중이진화단계; 상기 다중이진화 영상데이터 중에서 불필요한 영역의 영상데이터에 대한 노이즈 제거를 수행하여 노이즈제거 영상데이터를 산출하는 노이즈제거단계; 상기 노이즈제거 영상데이터를 이진화시키고, 컨테이너 식별코드의 마지막 문자에 포함된 네모칸의 형상을 더 제거하여 개별분리 영상데이터를 산출하는 개별분리단계; 상기 개별분리 영상데이터를 템플릿 매칭하여 컨테이너 식별코드를 구성하는 복수 개의 문자들을 인식하는 식별코드 인식단계;를 포함하는 것을 특징으로 한다.
이상과 같이 본 발명은 고가의 컨테이너 하우스를 시공하기 위한 부지확보와 및 시공비용 문제를 저감시킬 수 있는 효과가 있다. 또한, 게이트하우스 내 설치된 인공광이 아닌 자연광 상태에서 고도화된 영상처리 알고리듬을 기반으로 컨테이너 식별코드를 검출하기 때문에 컨테이너가 흰색 계열일 경우에 발생할 수 있는 원본영상데이터의 백화 현상과 같은 열화와 왜곡 문제를 최소화할 수 있는 효과가 있다.
본 발명의 기술적 효과들은 이상에서 언급한 기술적 효과들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 효과들은 청구범위의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명에 따른 컨테이너 식별코드 모니터링 시스템의 구성도;
도 2는 본 발명에 따른 컨테이너 식별코드 모니터링 방법의 시계열적인 실시흐름도이다.
이하에서는, 본 발명의 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 설명하지만, 이는 본 발명의 더욱 용이한 이해를 위한 것으로, 본 발명의 범주가 그것에 의해 한정되는 것은 아니다. 또한 본 실시예를 설명함에 있어서, 동일 구성에 대해서는 동일 명칭 및 동일 부호가 사용되며 이에 따른 부가적인 설명은 생략하기로 한다.
본 발명에 따른 컨테이너 식별코드 모니터링 시스템은, 컨테이너를 적재한 트레일러의 진입을 감지하는 적어도 두 대 이상의 진입감지센서로 이루어진 진입감지부(100); 상기 컨테이너의 색상을 식별하는 색상식별부(200); 상기 컨테이너의 표면영상데이터를 취득하는 적어도 두 대 이상의 RGB카메라로 이루어진 표면영상획득부(300); 상기 진입감지부(100), 상기 색상식별부(200), 상기 표면영상획득부(300)의 동작을 제어하고 취득된 컨테이너 원본영상데이터에서 컨테이너 식별코드를 분석하는 제어분석부(400);로 구성되어, 상기 트레일러가 진입하면 상기 진입감지부(100)에서 진입신호를 발생시켜 상기 제어분석부(400)에서 상기 트레일러의 진입속도가 산출되고, 상기 진입신호는 상기 색상식별부(200)를 활성화시켜 상기 트레일러의 색상데이터를 취득하고 상기 제어분석부(400)에서 상기 컨테이너의 색상히스토그램이 산출되며, 상기 색상히스토그램은 상기 표면영상획득부(300)의 촬영조건을 설정하는 기준으로 활용되어 컨테이너 표면영상데이터가 취득되고, 상기 제어분석부(400)에서 컨테이너 식별코드가 산출된다.
보다 상세하게는 상기 진입감지부(100)는 적어도 두 대 이상의 진입감지센서로 이루어지는 것으로, ‘ㄱ’자 또는 ‘ㄷ’자 형상 중 어느 하나의 형상으로 구비되되, 지면에 설치된 거치프레임(도면 미도시)의 일측에 일정간격으로 각각 설치된다. 상기 진입감지부(100)를 구성하는 진입감지센서는 구조광 영상기반 센서 방식, 레이저 스캐너 방식, 스테레오 카메라 방식, 초음파 센서 방식 중 어느 하나의 방식으로 구현된 진입감지센서가 사용되는 것이 바람직하며, 이를 통해서 상기 트레일러의 진입을 감지하여 진입신호를 발생하여 송출하면 상기 제어분석부(400)에서 수신하게 된다.
상기 제어분석부(400)에서 수신된 상기 진입신호는 상기 색상식별부(200)의 작동을 활성화시켜서 상기 컨테이너의 색상데이터를 취득한다. 보다 상세하게는 상기 색상식별부(200)는 상기 컨테이너의 상부면을 촬영하여 자연광 상태에서의 상기 컨테이너 색상데이터를 취득하는 것으로, 취득된 색상데이터를 상기 제어분석부(400)로 전달하여 상기 색상데이터의 색상히스토그램을 산출하게 된다. 여기서 상기 컨테이너의 상부면에 대한 색상데이터를 취득하고 색상히스토그램을 산출하기 위해서는 상기 색상식별부(200)는 상기 거치프레임의 상부 일측에 위치하는 것이 바람직하다.
상기 제어분석부(400)에서 산출된 색상히스토그램은 상기 표면영상획득부(300)를 구성하는 적어도 두 대 이상의 RGB광학카메라의 촬영조건을 설정하는 기준으로 활용된다. 즉, 상기 색상히스토그램은 상기 표면영상획득부(300)를 구성하는 적어도 두 대 이상의 RGB광학카메라의 조리개값과 셔터스피드를 조절하는 기준으로 사용되는 특징이 있다. 여기서 상기 표면영상획득부(300)는 상기 진입감지부(100)와 일정한 이격거리를 두고 구비하여 상호 간섭되지 않도록 하는 것이 바람직하다. 또한, 상기 진입감지부(100)는 상기 컨테이너의 좌측면, 우측면, 후면 중 어느 하나 이상의 부위 이용하여 트레일러의 진입속도를 판별하고, 상기 표면영상획득부(300)도 상기 컨테이너의 좌측면, 우측면, 후면 중 어느 하나 이상의 부위를 촬영할 수 있도록 상기 거치프레임(500)에 구비되는 것이 바람직하다.
여기서 상기 RGB광학카메라는 RGB-Depth카메라로 대체되어 컬러 영상데이터와 적외선 영상데이터를 취득할 수 있어서, 상기 적외선 영상데이터를 기준으로 거리를 시각화한 디스패리티(disparity)데이터를 더 취득할 수도 있는 것이 바람직하다. 이를 통해서 상기 표면영상획득부(300)는 깊이데이터를 더 취득할 수 있고, 상기 색상데이터에 대한 색상히스토그램에 상기 깊이데이터가 반영되어 보정된 깊이정보-색상히스토그램이 산출됨으로써 컨테이너 표면 파손에 기인한 표면영상데이터의 오류 발생 여부를 확인할 수 있는 특징이 있다. 즉, 이러한 구성은 상기 제어분석부(400)에서 더욱 정확한 컨테이너 식별코드를 산출하도록 하는 특징이 있다.
본 발명에 따른 컨테이너 식별코드 모니터링 방법은, 컨테이너를 적재한 트레일러의 진입을 감지하는 적어도 두 대 이상의 진입감지센서로 이루어진 진입감지부(100)와, 상기 컨테이너의 색상을 식별하는 색상식별부(200)와, 상기 컨테이너의 표면영상데이터를 취득하는 적어도 두 대 이상의 RGB카메라로 이루어진 표면영상획득부(300)와, 상기 진입감지부(100), 상기 색상식별부(200), 상기 표면영상획득부(300)의 동작을 제어하고 취득된 컨테이너 원본영상데이터에서 컨테이너 식별코드를 분석하는 제어분석부(400)와, 상기 진입감지부(100), 상기 색상식별부(200), 상기 표면영상획득부(300), 상기 제어분석부(400)가 거치되는 거치프레임(500)으로 구성되는 컨테이너 식별코드 모니터링 시스템을 이용하여 컨테이너의 식별코드를 모니터링하는 것이다.
보다 상세하게는 컨테이너의 원본영상데이터에서 기울어진 왜곡 보정을 위해 호모그래피 변환 알고리듬이 적용되어 호모그래피변환 영상데이터가 산출되는 호모그래피 변환단계(S100); 상기 호모그래피변환 영상데이터에 다중이진화 알고리듬을 적용하여 다중이진화 영상데이터가 산출되는 다중이진화단계(S200); 상기 다중이진화 영상데이터 중에서 불필요한 영역의 영상데이터에 대한 노이즈 제거를 수행하여 노이즈제거 영상데이터를 산출하는 노이즈제거단계(S300); 상기 노이즈제거 영상데이터를 이진화시키고, 컨테이너 식별코드의 마지막 문자에 포함된 네모칸의 형상을 더 제거하여 개별분리 영상데이터를 산출하는 개별분리단계(S400); 상기 개별분리 영상데이터를 템플릿 매칭하여 컨테이너 식별코드를 구성하는 복수 개의 문자들을 인식하는 식별코드 인식단계(S500);가 포함된다.
상기 호모그래피 변환단계(S100)에 대해서 상술하면 다음과 같다. 호모그래피(homography)란 한 평면을 다른 평면에 투영(projection)시켰을 때 투영된 대응점들 사이에서는 일정한 변환관계가 성립하는 것을 의미한다. 본 발명에서는 촬영된 원본영상데이터가 기울어지거나 찌그러진 형태로 취득되는 경우를 보정하기 위한 것으로, 상기 호모그래피 변환단계를 통해서 취득된 원본영상데이터의 왜곡을 보정함으로써 편평한 상태로 촬영한 것과 같이 변환할 수 있다.
이를 위해서는 상기 원본영상데이터의 픽셀(pixel) 정보를 평면상에서의 행렬로 표시되는 대응관계로 나타내어야 하는데 상기 원본영상데이터와 보정영상데이터의 대응관계는 아래의 수식1로 표현된다.
Figure 112019115072505-pat00001
... 수식1
여기서
Figure 112019115072505-pat00002
와
Figure 112019115072505-pat00003
은 원본영상데이터와 보정영상데이터를 의미하는 것이고
Figure 112019115072505-pat00004
는 상기 원본영상데이터와 상기 보정영상데이터의 대응관계를 나타낸 호모그래피 행렬로, 상기 호모그래피 행렬은 아래의 수식2와 같이
Figure 112019115072505-pat00005
행렬로 정의된다.
Figure 112019115072505-pat00006
... 수식2
따라서 본 발명에서는 전술한 바와 같이 컨테이너의 원본영상데이터에서 기울어진 왜곡 보정을 위해 호모그래피 변환 알고리듬이 적용되어 호모그래피변환 영상데이터가 산출되는 것을 특징으로 한다.
상기 다중이진화단계(S200)에 대해서 상술하면 다음과 같다. 화물 터미널에서 컨테이너의 취급은 실외에서 수행되는데, 기본적으로 시간 경과에 따라 태양광의 밝기가 변하고 기상 상태에 따라서도 변할 수 있어서 컨테이너의 원본영상데이터에 영향을 미칠 수 있다. 또한, 컨테이너의 고유색상, 촬영에 사용되는 카메라의 종류와 특성에 따라서도 원본영상데이터의 품질에 영향을 미칠 수 있다. 이뿐만 아니라 컨테이너에 기입된 식별코드의 크기, 두께, 글자체, 색상에 의해서도 영향을 받을 수 있으며, 컨테이너를 하역하거나 운송하는 과정에서 발생한 컨테이너 식별코드의 손상, 유실, 변형에 의해서도 영향을 받을 수 있다. 그리고 컨테이너의 형태는 운송과정에서 수직으로 적재하기 때문에 구조적 안정성을 확보하기 위하여 컨테이너 표면에 요부가 형성되는 형태로 제작되는데, 컨테이너 표면 굴곡에 기인한 명암차이로 왜곡이 발생할 수도 있다. 따라서 본 발명에서는 컨테이너 식별코드의 인식률을 증대시키기 위해서 상기 호모그래피변환 영상데이터에 아래의 수식3과 같은 다중이진화(multiple thresholding) 알고리듬을 적용하여 다중이진화 영상데이터가 산출되는 것을 특징으로 한다.
Figure 112019115072505-pat00007
... 수식3
상기 수식3에서 이진화를 수행할 임계값
Figure 112019115072505-pat00008
의 산출은 아래의 수식4와 수식5를 이용한다.
Figure 112019115072505-pat00009
... 수식4
Figure 112019115072505-pat00010
... 수식5
상기 수식4에서
Figure 112019115072505-pat00011
은 초기 이진화의 임계값을 산출하기 위한 값으로, 그레이(gray) 영상데이터에 대한 픽셀값들의 평균과 표준편차를 합한 값이며 컨테이너 식별코드의 영역이 컨테이너 배경색보다는 상대적으로 밝다는 점에서 고려되는 요소이다.
만일 컨테이너 식별코드의 영역이 컨테이너 배경색보다 어두운 경우에는 상기 호모그래피변환 영상데이터를 흑백으로 반전하여 이진화 과정을 진행하는 것이 바람직하다. 또한, 상기 수식5는
Figure 112019115072505-pat00012
이
Figure 112019115072505-pat00013
부터 최대 밝기값이 255까지를 균등분할한 값으로 정해지는 것을 의미하는 것으로 이진화의 횟수는 3 내지 7번이 바람직하다.
상기 노이즈제거단계(S300)에 대해서 상술하면 다음과 같다. 상기 다중이진화 영상데이터는 컨테이너 식별코드 영역뿐만 아니라 상기 식별코드 영역 외의 불필요한 영역의 영상데이터인 노이즈(noise)도 포함되기 때문에 컨테이너 식별코드 인식의 정확도를 증대시키기 위해서는 상기 노이즈의 제거 과정이 수행되어야 한다.
본 발명에서는 컨테이너 식별코드가 갖는 고유특성을 이용하고자 하였으며, 상기 고유특성은 컨테이너 식별코드의 기재 방식에 따른 영상데이터 상에 나타나는 특징을 의미한다. 보다 상세하게는 상기 다중이진화 영상데이터는 식별코드의 폭이 5 내지 90픽셀로 특정될 수 있고, 식별코드의 길이는 5 내지 140 픽셀로 특정될 수 있으며, 종횡비는 8이하로 나타나는 특징이 있다. 즉, 본 발명에서는 상기 식별코드의 폭, 길이, 종횡비를 고려하여 상기 다중이진화 영상데이터 중에서 불필요한 영역의 영상데이터에 대한 노이즈 제거를 수행하여 노이즈제거 영상데이터를 산출하는 것에 특징이 있다.
상기 노이즈제거 영상데이터에 대해서는 닫힘연산을 통해서 컨테이너 식별코드의 나열구조를 파악한 후 컨테이너 식별코드 영역 부분만 추출을 수행한다. 상기 닫힘연산이란 모폴로지 연산의 한 종류로 영상데이터를 형태학적인 관점에서 보고 접근하는 것으로, 영상데이터 내에 존재하는 특정 객체의 형태를 변형시키는 용도로 사용되는 것이다. 보다 상세하게는, 객체의 크기는 축소되고 객체 외의 배경은 확대되어 서로 맞닿아 있는 객체를 분리하는데 사용하는 침식연산이 있고, 객체의 크기는 확대되고 객체 외 배경은 축소되어 서로 떨어져있는 객체 사이의 영역을 연결하거나 객체의 내부에 형성된 홀(hole)을 채우는 팽창연산이 있다. 상기 닫힘연산의 반대 개념인 열림연산은 상기 침식연산과 상기 팽창연산을 결합하여 사용하는 것으로 침식연산을 수행한 후 팽창연산을 수행하며 불필요한 부분(또는 미세한 조각 부분)을 제거하는 것이다.
본 발명에서는 컨테이너 식별코드인 알파벳 4개, 시리얼번호 6개, 체크번호 1개로 구성된 11개에 대하여 각각 일정한 이격거리를 두고 형성된 11개의 식별코드를 하나의 덩어리로 만들고 나열구조를 파악하기 위해 닫힘연산이 사용되는 것을 특징으로 한다.
컨테이너 식별코드의 나열구조는 가로와 세로로 분류할 수 있으며 상기 가로의 경우는 한 행에 모든 컨테이너 식별코드가 들어가는 경우와, 두 행에 걸쳐 컨테이너 식별코드가 나열된 형태가 있으며, 상기 닫힘연산에 사용되는 가로와 세로의 요소는 아래의 수식6을 사용하여 연산되는 것이 바람직하다.
Figure 112019115072505-pat00014
... 수식6
상기
Figure 112019115072505-pat00015
와
Figure 112019115072505-pat00016
는 레이블링된 영역들의 평균길이를 의미하며 가로길이를 의미하는 상기
Figure 112019115072505-pat00017
는 8화소를 더한 값이 사용되는 것이 바람직하다. 컨테이너 식별코드가 가로로 나열되어 있는 경우에는 오너 코드와 시리얼 번호의 간격이 존재할 수 있기 때문에 각 요소들의 평균길이로 닫힘연산을 수행하면 하나의 컨테이너 식별코드로 인식하지 못하는 결과를 나타낼 수 있으므로 이러한 경우에는 상기 수식6이 사용되는 것이 더욱 바람직하다.
상기 개별분리단계(S400)에 대해서 상술하면 다음과 같다. 상기 노이즈제거단계(S300)를 거쳐서 산출된 상기 노이즈제거 영상데이터는 Otsu 알고리듬으로 이진화가 수행되는 것이 더욱 바람직하다. 상기 Otsu 알고리듬에 의한 이진화는 상기 원본영상데이터에 대한 이진화보다는 상기 노이즈제거 영상데이터에서의 이진화를 수행하는 것이 컨테이너 식별코드와 상기 컨테이너 식별코드의 주변 영역을 분리하는데 효율적인 특징이 있다.
이진화는 다양한 값을 갖는 집합에서 두 개의 값만을 갖는 새로운 집합으로 변환하는 것을 의미하는 것으로, 상기 노이즈제거 영상데이터에 대해서 단순하게 임계값을 설정하고 식별코드를 구성하는 픽셀의 명도보다 작을 경우에는 0으로 변환하고 큰 경우에는 1로 변환한다면 설정된 임계값에 따른 이진화의 결과가 매우 상이하게 나타날 수 있다. 따라서 본 발명에서는 상기 노이즈제거 영상데이터의 이진화를 수행할 때에는 Otsu 알고리듬을 적용함으로써 임계값에 따른 이진화 결과의 불확실성을 제거하고자 하였다.
상기 Otsu 알고리듬을 이용한 상기 노이즈제거 영상데이터의 이진화 방법은, 상기 노이즈제거 영상데이터의 히스토그램에서 계곡점을 확인하고 상기 계곡점을 임계값으로 설정하여, 상기 노이즈제거 영상데이터의 이진화를 수행하는 것을 특징으로 한다. 즉, 상기 노이즈제거 영상데이터를 두 개의 클래스로 가장 잘 분할시킬 수 있는 값을 찾아서 임계값을 설정하는 것으로, Otsu 알고리듬을 이용하여 상기 노이즈제거 영상데이터를 이진화시켜 산출된 개별분리 영상데이터의 클래스 분산(
Figure 112019115072505-pat00018
) 관계는 아래의 수식 7과 같이 표현할 수 있다.
Figure 112019115072505-pat00019
... 수식7
여기서
Figure 112019115072505-pat00020
는 가중치를 의미하는 것으로, 상기 개별분리 영상데이터에서 두 개의 클래스로 분할된 어느 하나의 클래스에 해당하는 픽셀이 나타날 확률을 의미한다.
상기 클래스 분산은 분포가 얼마나 퍼져있는지 나타내는 척도이므로, 상기 노이즈제거 영상데이터의 이진화에 적용할 적합한 임계값을 산출하기 위해서는 클래스의 분산이 작을수록 바람직하다.
상기 Otsu 알고리듬으로 이진화가 수행된 개별분리 영상데이터는, 전술한 바 있는 상기 컨테이너 식별코드가 갖는 고유특성을 이용하여 노이즈 제거 과정을 더 거치는 것이 바람직하다.
컨테이너 식별코드의 마지막 문자는 네모칸으로 구획되어 그 내부에 숫자가 기입된다. 상기 네모칸의 형상은 컨테이너 식별코드 인식과정에서 상기 네모칸 내부에 기입된 숫자 인식의 정확도에 영향을 미칠 수 있기 때문에, 노이즈로 간주하여 제거하는 것이 바람직하다.
상기 네모칸에 대하여 노이즈 제거가 더 이루어진 개별분리 영상데이터는 레이블링을 수행한다. 상기 레이블링은 상기 개별분리 영상데이터에서 컨테이너 식별코드의 형체를 알아보기 위하여 동일한 픽셀 값들끼리 그룹화하여 넘버링을 하는 것을 의미한다.
상기 레이블링을 통해서 상기 개별분리 영상데이터에 대한 전경 영역의 개수가 파악되면 컨테이너 식별코드 인식에 필요한 11개의 문자를 개별분리하여 정규화한다. 만약, 상기 11개의 문자가 개별분리되지 않는 경우에는, 즉 11개의 문자가 없는 것으로 확인되는 경우에는 상기 노이즈제거 영상데이터의 히스토그램에서 확인되는 또 다른 계곡값을 탐색하여 임계값으로 간주하여 상기 Otsu 알고리듬으로 상기 노이즈제거 영상데이터의 이진화를 다시 수행한다.
상기 식별코드 인식단계(S500)에 대해서 상술하면 다음과 같다. 상기 개별분리단계에서 산출된 개별분리 영상데이터에서 컨테이너 식별코드를 구성하는 복수 개의 문자들을 인식하기 위해서는 템플릿 매칭(template matching)이 적용되는 것이 바람직하다. 상기 템플릿 매칭은 상기 개별분리 영상데이터를 구성하는 픽셀을 비교하면서 컨테이너 식별코드 이미지의 위치를 검출하는 것이다. 즉, 상기 개별분리 영상데이터에서 상기 컨테이너 식별코드 이미지와 유사도가 가장 높은 영역을 선택하는 것이다.
컨테이너 식별코드를 구성하는 복수 개의 문자들에 대한 형태적 특성은 필기체가 아닌 인쇄체이므로 상기 템플릿 매칭을 통해서 정확한 인식이 가능한 특징이 있다. 상기 템플릿 매칭을 이용하면 주위의 조도 변화를 덜 받게 되어 게이트 하우스를 제거하여도 컨테이너 식별코드에 대한 객체검출이 가능하다.
그러나 원본영상데이터 취득 시, 컨테이너 자체의 크기변화, 회전각도, 기울어짐에 대한 민감도가 증가하는 문제가 발생할 수는 있으나 화물 터미널에서 컨테이너 운송차량의 진입 각도는 정해져 있다. 그리고 상기 호모그래피 변환단계에서 컨테이너 식별코드의 기울어짐에 대한 보정이 이루어지고, 상기 개별분리 영상데이터를 정규화시킴으로써 전술한 민감도 증가에 기인한 문제를 사전에 예방할 수 있는 특징이 있다.
본 발명에서는 상기 템플릿 매칭을 위해서 아래의 수식9 내지 수식11을 사용하였다.
Figure 112019115072505-pat00021
... 수식9
Figure 112019115072505-pat00022
... 수식10
Figure 112019115072505-pat00023
... 수식11
상기 개별분리된 11개의 문자에 대해서 상기 수식11을 이용하여 최종 계산된 값을 모두 더하여 임계값인
Figure 112019115072505-pat00024
에서의 템플릿 매칭점수로 활용한다. 최종적으로 다중이진화를 통해서 각 임계값에 해당하는 총 매칭점수 중 가장 높은 점수를 갖는 임계값에 대하여 컨테이너 식별번호 인식 결과를 출력하는 것을 특징으로 한다.
이상 본 발명의 실시예에 따른 도면을 참조하여 설명하였지만, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면 상기 내용을 바탕으로 본 발명의 범주 내에서 다양한 응용, 변형 및 개작을 행하는 것이 가능할 것이다. 이에, 본 발명의 진정한 보호 범위는 첨부된 청구 범위에 의해서만 정해져야 할 것이다.
100 : 진입감지부
200 : 색상식별부
300 : 표면영상획득부
400 : 제어분석부
500 : 거치프레임

Claims (10)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 컨테이너를 적재한 트레일러의 진입을 감지하는 적어도 두 대 이상의 진입감지부(100)와, 상기 컨테이너의 색상을 식별하는 색상식별부(200)와, 상기 컨테이너의 표면영상데이터를 취득하는 적어도 두 대 이상의 표면영상획득부(300)와, 상기 진입감지부(100), 상기 색상식별부(200), 상기 표면영상획득부(300)의 동작을 제어하고 취득된 컨테이너 원본영상데이터에서 컨테이너 식별코드를 분석하는 제어분석부(400)와, 상기 진입감지부(100), 상기 색상식별부(200), 상기 표면영상획득부(300), 상기 제어분석부(400)가 거치되는 거치프레임(500)으로 구성되는 컨테이너 식별코드 모니터링 시스템을 이용하여 컨테이너의 식별코드를 모니터링하는 방법에 있어서,
    컨테이너의 원본영상데이터에서 기울어진 왜곡 보정을 위해 호모그래피 변환 알고리듬이 적용되어 호모그래피변환 영상데이터가 산출되는 호모그래피 변환단계(S100);
    상기 호모그래피변환 영상데이터에 다중이진화 알고리듬을 적용하여 다중이진화 영상데이터가 산출되는 다중이진화단계(S200);
    상기 다중이진화 영상데이터 중에서 불필요한 영역의 영상데이터에 대한 노이즈 제거를 수행하여 노이즈제거 영상데이터를 산출하는 노이즈제거단계(S300);
    상기 노이즈제거 영상데이터를 이진화시키고, 컨테이너 식별코드의 마지막 문자에 포함된 네모칸의 형상을 더 제거하여 개별분리 영상데이터를 산출하는 개별분리단계(S400);
    상기 개별분리 영상데이터를 템플릿 매칭하여 컨테이너 식별코드를 구성하는 복수 개의 문자들을 인식하는 식별코드 인식단계(S500);를 포함하는 것을 특징으로 하는 컨테이너 식별코드 모니터링 방법.
  9. 제 8 항에 있어서,
    상기 다중이진화단계(S200)에서 상기 컨테이너 식별코드의 영역이 컨테이너 배경색보다 어두운 경우에는 상기 호모그래피변환 영상데이터를 흑백으로 반전하여 이진화 과정이 수행되는 것을 특징으로 하는 컨테이너 식별코드 모니터링 방법.
  10. 제 8 항에 있어서,
    상기 개별분리단계(S400)에서 상기 노이즈제거 영상데이터는 Otsu 알고리듬으로 이진화하여 상기 개별분리 영상데이터가 산출되되, 레이블링을 더 수행하여 상기 개별분리 영상데이터에 대한 전경 영역의 개수를 계산하고 상기 컨테이너 식별코드를 개별분리하여 정규화시키는 것을 특징으로 하는 컨테이너 식별코드 모니터링 방법.
KR1020190142984A 2019-11-08 2019-11-08 컨테이너 식별코드 모니터링 시스템 및 그 방법 KR102161315B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190142984A KR102161315B1 (ko) 2019-11-08 2019-11-08 컨테이너 식별코드 모니터링 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190142984A KR102161315B1 (ko) 2019-11-08 2019-11-08 컨테이너 식별코드 모니터링 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR102161315B1 true KR102161315B1 (ko) 2020-10-05

Family

ID=72808825

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190142984A KR102161315B1 (ko) 2019-11-08 2019-11-08 컨테이너 식별코드 모니터링 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102161315B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116429790A (zh) * 2023-06-14 2023-07-14 山东力乐新材料研究院有限公司 一种基于数据分析的木质包装箱产线智能管控系统
CN116958713A (zh) * 2023-09-20 2023-10-27 中航西安飞机工业集团股份有限公司 一种航空零部件表面紧固件快速识别与统计方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100701521B1 (ko) 2006-03-13 2007-03-29 주식회사 지팬스 컨테이너의 2차원 표면 영상획득시스템 및 그 방법
KR20080083469A (ko) 2007-03-12 2008-09-18 동원대학 산학협력단 컨테이너 모니터링 시스템
JP2015049616A (ja) * 2013-08-30 2015-03-16 株式会社東芝 車両番号撮像装置、および車両番号撮像方法
KR101771146B1 (ko) * 2017-03-22 2017-08-24 광운대학교 산학협력단 스테레오 카메라를 이용한 컨볼루션 신경망 기반의 보행자 및 차량 검출 방법 및 장치
KR20190048543A (ko) * 2017-10-31 2019-05-09 주식회사 소네트 위치 센서를 이용한 컨테이너 영상 인식 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100701521B1 (ko) 2006-03-13 2007-03-29 주식회사 지팬스 컨테이너의 2차원 표면 영상획득시스템 및 그 방법
KR20080083469A (ko) 2007-03-12 2008-09-18 동원대학 산학협력단 컨테이너 모니터링 시스템
JP2015049616A (ja) * 2013-08-30 2015-03-16 株式会社東芝 車両番号撮像装置、および車両番号撮像方法
KR101771146B1 (ko) * 2017-03-22 2017-08-24 광운대학교 산학협력단 스테레오 카메라를 이용한 컨볼루션 신경망 기반의 보행자 및 차량 검출 방법 및 장치
KR20190048543A (ko) * 2017-10-31 2019-05-09 주식회사 소네트 위치 센서를 이용한 컨테이너 영상 인식 장치 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116429790A (zh) * 2023-06-14 2023-07-14 山东力乐新材料研究院有限公司 一种基于数据分析的木质包装箱产线智能管控系统
CN116429790B (zh) * 2023-06-14 2023-08-15 山东力乐新材料研究院有限公司 一种基于数据分析的木质包装箱产线智能管控系统
CN116958713A (zh) * 2023-09-20 2023-10-27 中航西安飞机工业集团股份有限公司 一种航空零部件表面紧固件快速识别与统计方法及系统
CN116958713B (zh) * 2023-09-20 2023-12-15 中航西安飞机工业集团股份有限公司 一种航空零部件表面紧固件快速识别与统计方法及系统

Similar Documents

Publication Publication Date Title
US11227405B2 (en) Determining positions and orientations of objects
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
US9064187B2 (en) Method and system for item identification
US20090232358A1 (en) Method and apparatus for processing an image
US20110164789A1 (en) Detection of vehicles in images of a night time scene
KR102161315B1 (ko) 컨테이너 식별코드 모니터링 시스템 및 그 방법
KR101738129B1 (ko) 단일 카메라를 이용한 원거리 영상에서의 차량 번호판 인식 장치 및 그 방법
CN111325769A (zh) 一种目标对象检测方法及装置
CN111965636A (zh) 一种基于毫米波雷达和视觉融合的夜间目标检测方法
CN112446225B (zh) 光学代码的模块尺寸的确定
KR101705061B1 (ko) 차량 번호판의 글자 인식을 위한 번호판 검출방법
JP3576654B2 (ja) 露光量決定方法、図形抽出方法及び顔領域判断方法
CA2109002C (en) Method and apparatus for verifying a container code
CN107506739B (zh) 一种夜间前向车辆检测及测距方法
WO1994010654A9 (en) A method and apparatus for verifying a container code
JP4661319B2 (ja) 画像処理装置及び画像処理方法
CN112329845B (zh) 更换纸币的方法、装置、终端设备及计算机可读存储介质
CN111583341B (zh) 云台像机移位检测方法
KR102245851B1 (ko) 컨테이너영상에 대한 관심영역 추출 방법
JP2007060468A (ja) 画像センサ
KR101954404B1 (ko) 가변 문턱값을 이용한 반그림자 차량번호판 인식률 개선방법 및 그 방법을 위한 cctv 시스템
JPH05290293A (ja) 車頭検出装置
JPH1166490A (ja) 車両検出方法
èyen Larsen et al. Automatic vehicle counts from quickbird images
KR20190103503A (ko) 차선 인식 장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant