KR102019036B1 - Apparatus for container image recognition using position sensors and method thereof - Google Patents

Apparatus for container image recognition using position sensors and method thereof Download PDF

Info

Publication number
KR102019036B1
KR102019036B1 KR1020170143597A KR20170143597A KR102019036B1 KR 102019036 B1 KR102019036 B1 KR 102019036B1 KR 1020170143597 A KR1020170143597 A KR 1020170143597A KR 20170143597 A KR20170143597 A KR 20170143597A KR 102019036 B1 KR102019036 B1 KR 102019036B1
Authority
KR
South Korea
Prior art keywords
container
camera
vehicle
image
photographing
Prior art date
Application number
KR1020170143597A
Other languages
Korean (ko)
Other versions
KR20190048543A (en
Inventor
손준우
Original Assignee
주식회사 소네트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소네트 filed Critical 주식회사 소네트
Priority to KR1020170143597A priority Critical patent/KR102019036B1/en
Publication of KR20190048543A publication Critical patent/KR20190048543A/en
Application granted granted Critical
Publication of KR102019036B1 publication Critical patent/KR102019036B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G06K9/3258—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/006—Geometric correction
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N5/23206—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G06K2209/15—

Abstract

본 발명은 위치 센서를 이용한 컨테이너 영상 인식 장치 및 그 방법에 관한 것으로, 위치 센서기반의 컨테이너 영상 인식 장치를 이용한 컨테이너 영상 인식 방법에 있어서, 상기 컨테이너 영상 인식 장치는 터미널의 지정된 위치에 설치된 복수의 위치 센서로부터 컨테이너가 적재된 차량에 대한 감지 신호를 실시간으로 수신하는 단계, 상기 감지 신호가 수신되면, 상기 터미널 내에 설치된 복수의 카메라에게 이동 중인 상기 차량에 적재된 상기 컨테이너의 좌측면, 우측면 및 상측면을 분할하여 촬영하고, 상기 차량의 번호판 및 상기 컨테이너의 전면과 후면을 촬영하도록 하는 촬영 제어 신호를 송신하는 단계, 상기 복수의 카메라로부터 분할 촬영된 복수의 영상을 수신하면, 상기 카메라의 촬영 각도에 의한 숫자 및 글자의 왜곡을 보정하여 상기 차량의 번호판 또는 상기 컨테이너의 번호를 인식하는 단계, 상기 컨테이너의 좌측면, 우측면 및 상측면 각각에 대한 분할 영상들을 각각 하나의 영상으로 재구성하여 합성하는 단계, 그리고 상기 컨테이너의 전면 영상, 후면 영상, 상기 합성된 좌측면에 대한 전체 영상, 상기 합성된 우측면에 대한 전체 영상 및 상기 합성된 상측면에 대한 전체 영상을 제공하는 단계를 포함한다.The present invention relates to a container image recognition apparatus using a position sensor and a method thereof, and to a container image recognition method using a position sensor-based container image recognition apparatus, wherein the container image recognition apparatus includes a plurality of positions installed at a designated position of a terminal. Receiving a detection signal for a vehicle loaded with a container from a sensor in real time; when the detection signal is received, a left side, a right side, and an upper side of the container loaded in the vehicle being moved to a plurality of cameras installed in the terminal; Photographing by dividing and transmitting a photographing control signal for photographing the front and rear surfaces of the license plate and the container of the vehicle, and when receiving a plurality of images photographed by the plurality of cameras, The difference by correcting the distortion of numbers and letters caused by Recognizing a number of plates or the number of the container, Reconstructing the composite image for each of the left side, right side and upper side of the container to a single image, and synthesized, and the front image, rear image, And providing an entire image of the synthesized left side, an entire image of the synthesized right side, and an entire image of the synthesized upper side.

Description

위치 센서를 이용한 컨테이너 영상 인식 장치 및 그 방법{APPARATUS FOR CONTAINER IMAGE RECOGNITION USING POSITION SENSORS AND METHOD THEREOF}Container image recognition device using position sensor and its method {APPARATUS FOR CONTAINER IMAGE RECOGNITION USING POSITION SENSORS AND METHOD THEREOF}

본 발명은 위치 센서를 이용한 컨테이너 영상 인식 장치 및 그 방법에 관한 것으로, 보다 상세하게는 위치 센서를 통해 측정된 차량의 위치를 이용하여 영상을 촬영하고 촬영된 영상을 통해 컨테이너 번호를 인식하며, 해당 컨테이너의 영상을 제공하는 위치 센서를 이용한 컨테이너 영상 인식 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus for recognizing a container image using a position sensor and a method thereof, and more particularly, to capture an image using a position of a vehicle measured by a position sensor, and to recognize a container number through the captured image. The present invention relates to a container image recognition apparatus using a position sensor that provides an image of a container, and a method thereof.

최근 컨테이너를 이용한 해상 화물 운송량이 증가함에 따라 컨테이너 터미널을 출입하는 컨테이너와 화물 차량의 지속적인 모니터링이 요구된다. With the recent increase in the volume of sea freight using containers, continuous monitoring of containers and freight vehicles entering and leaving the container terminal is required.

그러나 대다수의 컨테이너 터미널은 출입 게이트에 관리 인력을 배치하여 수작업으로 모니터링을 실시하고 있으며, 극소수의 컨테이너 터미널에서 카메라를 이용한 자동 모니터링을 실시하고 있다. However, most container terminals have manual monitoring at the entrance gates for manual monitoring, and very few container terminals have automatic monitoring with cameras.

하지만, 이와 같은 모니터링 방법으로는 차량의 속도, 기상 변화, 조명 조건 등에 따라 컨테이너 번호부를 명확하게 촬영하기 어렵고, 컨테이너 출입 차로의 폭이 좁아 컨테이너의 번호부만 제한적으로 촬영하거나 광각 렌즈를 이용하여 촬영함으로써, 촬영 영상이 왜곡되어 컨테이너 번호를 정확하게 인식하지 못하는 문제점이 있다.However, such a monitoring method is difficult to clearly photograph the container number according to the speed of the vehicle, weather changes, lighting conditions, and the like, by narrowing the width of the entrance and exit lanes of the container and limiting the number of container numbers to the container or by using a wide-angle lens. There is a problem in that the captured image is distorted so that the container number cannot be correctly recognized.

또한 광각 카메라를 이용하여 컨테이너 전체를 촬영할 경우, 외곽부의 영상은 지나치게 축소되어 컨테이너의 손상을 제대로 인식하지 못하는 문제점이 있다. In addition, when photographing the entire container using a wide-angle camera, there is a problem that the image of the outer portion is too reduced to properly recognize the damage of the container.

그러므로 컨테이너를 실은 차량이 이동하는 과정에서 위치 센서를 이용하여 해당 차량의 위치를 파악하고 보다 효과적으로 차량 번호판 및 컨테이너의 번호부를 정확하게 인식하고, 더불어 컨테이너의 손상 여부를 쉽게 판단할 수 있는 기술이 요구된다.Therefore, there is a need for a technology that can identify the position of the vehicle by using a position sensor, accurately recognize the vehicle license plate and the number of the container in the process of moving the vehicle carrying the container, and also easily determine whether the container is damaged. .

본 발명의 배경이 되는 기술은 대한민국 국내등록특허 제 10-0756008호(2007.09.06 공고)에 개시되어 있다.The background technology of the present invention is disclosed in Korean Patent Registration No. 10-0756008 (2007.09.06 notification).

본 발명이 이루고자 하는 기술적 과제는 위치 센서를 통해 측정된 차량의 위치를 이용하여 영상을 촬영하고 촬영된 영상을 통해 컨테이너 번호를 인식하며, 해당 컨테이너의 영상을 제공하는 위치 센서를 이용한 컨테이너 영상 인식 장치 및 그 방법을 제공하는 것이다.The technical problem to be achieved by the present invention is to take an image using the position of the vehicle measured by the position sensor and to recognize the container number through the captured image, container image recognition apparatus using a position sensor for providing the image of the container And a method thereof.

이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 위치 센서기반의 컨테이너 영상 인식 장치를 이용한 컨테이너 영상 인식 방법에 있어서, 상기 컨테이너 영상 인식 장치는 터미널의 지정된 위치에 설치된 복수의 위치 센서로부터 컨테이너가 적재된 차량에 대한 감지 신호를 실시간으로 수신하는 단계, 상기 감지 신호가 수신되면, 상기 터미널 내에 설치된 복수의 카메라에게 이동 중인 상기 차량에 적재된 상기 컨테이너의 좌측면, 우측면 및 상측면을 분할하여 촬영하고, 상기 차량의 번호판 및 상기 컨테이너의 전면과 후면을 촬영하도록 하는 촬영 제어 신호를 송신하는 단계, 상기 복수의 카메라로부터 분할 촬영된 복수의 영상을 수신하면, 상기 카메라의 촬영 각도에 의한 숫자 및 글자의 왜곡을 보정하여 상기 차량의 번호판 또는 상기 컨테이너의 번호를 인식하는 단계, 상기 컨테이너의 좌측면, 우측면 및 상측면 각각에 대한 분할 영상들을 각각 하나의 영상으로 재구성하여 합성하는 단계, 그리고 상기 컨테이너의 전면 영상, 후면 영상, 상기 합성된 좌측면에 대한 전체 영상, 상기 합성된 우측면에 대한 전체 영상 및 상기 합성된 상측면에 대한 전체 영상을 제공하는 단계를 포함한다.According to an embodiment of the present invention for achieving the technical problem, in the container image recognition method using a container image recognition device based on a position sensor, the container image recognition device is a container from a plurality of position sensors installed at a designated position of the terminal; Receiving a detection signal for a loaded vehicle in real time, and when the detection signal is received, the left side, the right side and the upper side of the container loaded in the vehicle being moved to the plurality of cameras installed in the terminal is divided and photographed And transmitting a photographing control signal for photographing the front and rear surfaces of the license plate and the container of the vehicle, and when receiving a plurality of images photographed by the plurality of cameras, numbers and letters according to photographing angles of the cameras. Correct the distortion of the license plate of the vehicle or Recognizing a number of the existing container, Reconstructing the composite image for each of the left side, right side and the upper side of the container to a single image, and synthesized, and the front image, the back image of the container, the synthesized left Providing a full image of the surface, a full image of the synthesized right side, and a full image of the synthesized upper side.

상기 카메라를 통해 상기 차량 및 컨테이너를 분할 촬영하면, 각 카메라마다 기 설정된 카메라 내부 행렬을 이용하여 카메라 렌즈 왜곡 보정을 실행하는 단계를 더 포함할 수 있다. When dividing the vehicle and the container through the camera, the method may further include performing camera lens distortion correction by using a preset camera internal matrix for each camera.

상기 복수의 카메라는 상기 컨테이너의 전면을 촬영하기 위한 제1 카메라, 상기 컨테이너의 후면을 촬영하기 위한 제2 카메라, 상기 컨테이너의 좌측면을 촬영하기 위한 제3 카메라, 상기 컨테이너의 우측면을 촬영하기 위한 제4 카메라, 상기 컨테이너의 상측면을 촬영하기 위한 제5 카메라를 포함하며, 상기 위치 센서로부터 상기 컨테이너가 적재된 차량의 위치 정보를 포함하는 감지 신호를 수신하면, 각 위치 정보에 대응되는 각각의 카메라가 구동되어 상기 컨테이너가 적재된 차량을 촬영하며, 상기 제3 카메라, 제4 카메라 및 제5 카메라는 상기 감지 신호를 수신하면 동시에 컨테이너를 분할 촬영할 수 있다.The plurality of cameras may include a first camera for photographing the front side of the container, a second camera for photographing the rear side of the container, a third camera for photographing the left side of the container, and a photograph for the right side of the container. A fourth camera and a fifth camera for capturing the upper side of the container, and when receiving a detection signal including the location information of the vehicle on which the container is loaded from the position sensor, each corresponding to each location information When the camera is driven to photograph the vehicle in which the container is loaded, the third camera, the fourth camera, and the fifth camera may photograph the container at the same time when the detection signal is received.

상기 차량의 번호판 또는 상기 컨테이너의 번호를 인식하는 단계는, 상기 분할 촬영된 영상을 분석하여 n개의 기준점을 선정하는 단계, 상기 분할 촬영된 영상을 정면뷰로 변환할 수 있는 새로운 n개의 기준점을 선정하는 단계, 영상 와핑을 통해 상기 n개의 기준점을 새로운 n개의 기준점으로 변환하여 해당 분할 촬영된 영상의 정면뷰를 생성하는 단계, 상기 정면뷰에서 광학 문자 인식 엔진을 통해 차량의 번호판 또는 컨테이너 번호를 도출하는 단계, 그리고 복수의 정면뷰에서 도출된 각각의 차량의 번호판 또는 컨테이너 번호가 기 설정된 개수 이상으로 일치하면, 해당 번호를 최종 차량의 번호 또는 컨테이너 번호로 인식하는 단계를 포함할 수 있다.Recognizing the number of the license plate or the container of the vehicle, selecting the n reference points by analyzing the divided images, selecting a new n reference points that can convert the divided images to a front view Converting the n reference points into new n reference points through image warping to generate a front view of the divided shot image; deriving a license plate or container number of the vehicle through an optical character recognition engine in the front view; If the license plate or container number of each vehicle derived from the plurality of front views is equal to or greater than a predetermined number, the method may include recognizing the corresponding number as the number or container number of the final vehicle.

상기 촬영 제어 신호를 송신하는 단계는, 인접하는 2개의 위치 센서에 의해 각각 감지된 차량이 도달한 시간을 이용하여 차량의 이동 속도를 측정하는 단계, 상기 측정된 이동 속도를 이용하여, 상기 컨테이너의 특정 영역이 복수의 기 설정된 위치를 통과하는 시점을 연산하는 단계, 그리고 연산된 시점에 기 설정된 위치마다 대응되는 적어도 하나의 카메라가 촬영하도록 하는 촬영 제어 신호를 해당 카메라로 송신하는 단계를 포함할 수 있다. The transmitting of the photographing control signal may include measuring a moving speed of the vehicle by using a time when the vehicle sensed by two adjacent position sensors arrives, and using the measured moving speed, Calculating a time point at which the specific region passes the plurality of preset positions; and transmitting a shooting control signal to the corresponding camera to cause the at least one camera corresponding to each preset position to the calculated time point. have.

상기 복수의 위치 센서가 다수의 레이저 거리계로 구성된 센서 모듈로 구성되어 있는 경우, 상기 촬영 제어 신호를 송신하는 단계는, 일정 간격으로 다수의 레이저를 송출하여 각 레이저 채널이 도달하는 시간을 통해 상기 차량 이동 위치를 추정하는 단계, 상기 추정된 차량 이동 위치가 복수의 기 설정된 지점을 통과하는 시점을 연산하는 단계, 그리고 연산된 시점에 기 설정된 위치마다 대응되는 적어도 하나의 카메라가 촬영하도록 하는 촬영 제어 신호를 해당 카메라로 송신하는 단계를 포함할 수 있다. When the plurality of position sensors are configured with a sensor module composed of a plurality of laser rangefinders, the transmitting of the photographing control signal may include transmitting a plurality of lasers at a predetermined interval and transmitting the plurality of lasers at a predetermined interval through the time at which each laser channel arrives. Estimating a movement position, calculating a time point at which the estimated vehicle movement position passes a plurality of preset points, and photographing control signals for capturing at least one camera corresponding to each preset position at the calculated time point It may include the step of transmitting to the camera.

상기 재구성하여 합성하는 단계는, 상기 위치 센서로부터 감지된 상기 컨테이너 탑재 형태 및 컨테이너 중앙부에서 번호 인식 여부에 따라 상기 차량에 장착된 컨테이너의 길이와 개수를 인식하고, 상기 인식된 컨테이너 길이와 개수에 따라 상기 컨테이너의 좌측면, 우측면 및 상측면에 대한 분할 영상들을 재구성하여 합성할 수 있다. The reconstructing and synthesizing may include recognizing the length and number of containers mounted in the vehicle according to the container mounting form detected from the position sensor and whether the number is recognized by the container center, and according to the recognized container length and number. The divided images of the left side, the right side, and the upper side of the container may be reconstructed and synthesized.

본 발명의 다른 실시예에 따르면, 컨테이너 영상 인식 장치는 터미널의 지정된 위치에 설치된 복수의 위치 센서로부터 컨테이너가 적재된 차량에 대한 감지 신호를 실시간으로 수신하는 감지 신호 수신부, 상기 감지 신호가 수신되면, 상기 터미널 내에 설치된 복수의 카메라에게 이동 중인 상기 차량에 적재된 상기 컨테이너의 좌측면, 우측면 및 상측면을 분할하여 촬영하고, 상기 차량의 번호판 및 상기 컨테이너의 전면과 후면을 촬영하도록 하는 촬영 제어 신호를 송신하는 촬영 신호 송신부, 상기 복수의 카메라로부터 분할 촬영된 복수의 영상을 수신하면, 상기 카메라의 촬영 각도에 의한 숫자 및 글자의 왜곡을 보정하여 상기 차량의 번호판 또는 상기 컨테이너의 번호를 인식하는 번호 인식부, 상기 컨테이너의 좌측면, 우측면 및 상측면 각각에 대한 분할 영상들을 각각 하나의 영상으로 재구성하여 합성하는 영상 합성부, 그리고 상기 컨테이너의 전면 영상, 후면 영상, 상기 합성된 좌측면에 대한 전체 영상, 상기 합성된 우측면에 대한 전체 영상 및 상기 합성된 상측면에 대한 전체 영상을 제공하는 영상 제공부를 포함한다. According to another embodiment of the present invention, the container image recognition device is a detection signal receiving unit for receiving a detection signal for a vehicle loaded with a container in real time from a plurality of position sensors installed at a designated position of the terminal, when the detection signal is received, Shooting control signals for dividing the left side, the right side and the upper side of the container loaded on the moving vehicle to the plurality of cameras installed in the terminal, and photographing the license plate of the vehicle and the front and rear of the container. Receiving a photographing signal transmission unit for transmitting, when receiving a plurality of images captured by the plurality of cameras, the number recognition to recognize the number of the license plate or the container of the vehicle by correcting the distortion of the number and letters by the photographing angle of the camera On each of the left side, right side and top side of the container. An image synthesizer for reconstructing one segmented image into one image, and a front image, a rear image, an entire image of the synthesized left side, an entire image of the synthesized right side, and the synthesized image It includes an image providing unit for providing a full image on the side.

본 발명에 따르면, 기존의 인력을 투입하여 수작업으로 모니터링하는 방식에 비해, 소요되는 시간이 절감되며 컨테이너 번호 입력 오류를 줄이고 컨테이너 물류 관리의 효율을 향상시킬 수 있다.According to the present invention, compared to the method of manually monitoring by inputting the manpower, the time required can be reduced, can reduce the container number input error and improve the efficiency of container logistics management.

또한, 위치센서 기반으로 다중 영상 정보를 활용함으로써, 차량의 번호판 및 컨테이너 번호의 인식율을 향상시킬 수 있으며, 컨테이너의 손상 여부를 편리하게 확인할 수 있도록 최종 컨테이너의 전체 영상을 제공할 수 있다.In addition, by using the multi-image information based on the position sensor, it is possible to improve the recognition rate of the license plate and the container number of the vehicle, it is possible to provide a full image of the final container to conveniently check whether the container is damaged.

도 1은 본 발명의 실시예에 따른 컨테이너 영상 인식 시스템을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 컨테이너 영상 인식 장치의 구성도이다.
도 3은 본 발명의 실시예에 따른 컨테이너 영상 인식 장치의 컨테이너 영상 인식 방법을 나타낸 순서도이다.
도 4는 본 발명의 실시예에 따른 컨테이너를 분할 촬영하는 과정에 대해 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 컨테이너의 전면, 후면 및 차량의 번호판을 촬영하는 과정에 대해서 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 다채널 거리 센서를 이용하여 차량의 진입 거리 및 컨테이너 크기를 측정하는 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 카메라 렌즈 왜곡 보정을 하기 위한 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 카메라 각도에 따른 왜곡 보정을 나타내내 예시도이다.
도 9는 본 발명의 실시예에 따른 컨테이너 영상 인식 장치가 컨테이너의 전체 영상을 제공하는 화면을 나타낸 예시도이다. 1 is a view showing a container image recognition system according to an embodiment of the present invention.
2 is a block diagram of a container image recognition apparatus according to an embodiment of the present invention.
3 is a flowchart illustrating a container image recognition method of the container image recognition apparatus according to an embodiment of the present invention.
4 is a diagram for describing a process of dividing a container according to an embodiment of the present invention.
5 is a view for explaining the process of photographing the front, rear and the license plate of the vehicle according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a process of measuring an entry distance and a container size of a vehicle using a multi-channel distance sensor according to an exemplary embodiment of the present invention.
7 is a view for explaining a process for correcting the camera lens distortion according to an embodiment of the present invention.
8 is an exemplary view showing distortion correction according to a camera angle according to an embodiment of the present invention.
9 is an exemplary view illustrating a screen in which a container image recognition apparatus according to an embodiment of the present invention provides an entire image of a container.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.

이하에서는 도 1을 이용하여 본 발명의 실시예에 따른 컨테이너 영상 인식 시스템에 대해서 상세하게 설명한다. 도 1은 본 발명의 실시예에 따른 컨테이너 영상 인식 시스템을 나타낸 도면이다.Hereinafter, a container image recognition system according to an exemplary embodiment of the present invention will be described in detail with reference to FIG. 1. 1 is a view showing a container image recognition system according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 컨테이너 영상 인식 시스템은 복수개의 위치 센서(100), 컨테이너 영상 인식 장치(200) 및 카메라(300)를 포함한다.As shown in FIG. 1, the container image recognition system includes a plurality of position sensors 100, a container image recognition apparatus 200, and a camera 300.

도 1은 컨테이너를 탑재한 차량이 통과하는 터미널에 컨테이너 영상 인식 시스템이 설치된 모습을 나타낸 예시도로써, 지정된 위치에 복수개의 위치 센서(100)를 설치하고, 위치 센서로부터 감지 신호를 수신한 컨테이너 영상 인식 장치(200)가 카메라(300)로 촬영 제어 신호를 송신하여 차량 및 컨테이너를 촬영한다. FIG. 1 is an exemplary view showing a container image recognition system installed in a terminal through which a vehicle equipped with a container passes, and installing a plurality of position sensors 100 at a designated position and receiving a detection signal from the position sensor. The recognition device 200 transmits a photographing control signal to the camera 300 to photograph the vehicle and the container.

여기서, 복수 개의 위치 센서(100)는 포토 센서를 포함하는 단순 감지 센서, 레이저 거리 센서를 포함하는 고정밀 위치 센서를 모두 포함하며, 특정 센서로 한정하지 않는다. Here, the plurality of position sensors 100 includes both a simple sensing sensor including a photo sensor and a high precision position sensor including a laser distance sensor, and are not limited to a specific sensor.

그리고 컨테이너 영상 인식 장치(200)는 위치 센서(100)로부터 감지 신호를 수신하면, 위치 센서(100)의 위치에 대응하여 차량의 현재 위치를 추정하고 대응되는 카메라에 촬영 제어 신호를 송신할 수 있다. 그리고 컨테이너 영상 인식 장치(200)는 복수의 카메라(300)로부터 촬영 영상을 수신하면, 카메라 렌즈 왜곡 보정 및 카메라 각도 왜곡 보정을 수행하여, 차량의 번호 또는 컨테이너의 번호를 인식한다. 이때, 컨테이너 영상 인식 장치(200)는 각 카메라로부터 수신한 복수개의 영상으로 인식된 번호가 기 설정된 개수 이상 일치한 경우, 해당 번호를 최종 차량의 번호 또는 컨테이너 번호로 인식할 수 있다. 그리고 컨테이너 영상 인식 장치(200)는 분할 촬영된 영상을 각 컨테이너의 탑재 형태에 따라 재구성하여 합성한 후 각 컨테이너의 전체 영상을 제공할 수 있다. When the container image recognition apparatus 200 receives a detection signal from the position sensor 100, the container image recognition apparatus 200 may estimate a current position of the vehicle in response to the position of the position sensor 100 and transmit a photographing control signal to a corresponding camera. . When the container image recognition apparatus 200 receives the captured images from the plurality of cameras, the container image recognition apparatus 200 performs camera lens distortion correction and camera angle distortion correction to recognize the vehicle number or the container number. In this case, the container image recognition apparatus 200 may recognize the corresponding number as the number of the final vehicle or the container number when the number recognized by the plurality of images received from each camera matches more than a preset number. The container image recognizing apparatus 200 may reconstruct and synthesize the divided photographed image according to the mounting form of each container, and provide the entire image of each container.

다음으로 카메라(300)는 야간 촬영을 위하여 적외선 조명을 사용하며, 촬영 제어 신호를 수신하면, 일정 횟수 동안 차량 및 컨테이너를 촬영할 수 있다. Next, the camera 300 uses infrared light for night photographing, and when the photographing control signal is received, the camera 300 may photograph the vehicle and the container for a predetermined number of times.

카메라(300)는 컨테이너를 촬영하기 위해 컨테이너 전면 촬영 카메라(301), 컨테이너 후면 촬영 카메라(302), 컨테이너 좌측면 촬영 카메라 (303), 컨테이너 우측면 촬영 카메라(304), 컨테이너 상측면 촬영 카메라(305)로 구분될 수 있다. The camera 300 includes a container front photographing camera 301, a container rear photographing camera 302, a container left photographing camera 303, a container right photographing camera 304, and a container upper photographing camera 305 to photograph a container. ) Can be separated.

그리고 카메라(300)는 위치 센서에서 감지되는 차량의 위치를 고려하여 특정 위치에 설치될 수 있으며, 각 카메라(300)는 설치된 위치에 따라 촬영 시점을 다르게 작동할 수 있다. In addition, the camera 300 may be installed at a specific position in consideration of the position of the vehicle detected by the position sensor, and each camera 300 may operate a photographing time differently according to the installed position.

한편, 차량의 번호판을 촬영하기 위한 카메라를 별도로 구비할 수 있으나, 본 발명의 실시예에서는 컨테이너 전면 촬영 카메라가 차량의 번호판을 촬영하는 것으로 예시하였다. 이러한 카메라의 개수, 설정 사항은 추후에 사용자에 의해 용이하게 변경 및 설계 가능하다. Meanwhile, although a camera for photographing a license plate of a vehicle may be provided separately, the container front photographing camera is illustrated as photographing a license plate of a vehicle in an embodiment of the present invention. The number and settings of these cameras can be easily changed and designed later by the user.

이하에서는 도 2를 이용하여 본 발명의 실시예에 따른 컨테이너 영상 인식 장치에 대해서 상세하게 설명한다. 도 2는 본 발명의 실시예에 따른 컨테이너 영상 인식 장치의 구성도이다.Hereinafter, a container image recognition apparatus according to an exemplary embodiment of the present invention will be described in detail with reference to FIG. 2. 2 is a block diagram of a container image recognition apparatus according to an embodiment of the present invention.

도 2에 도시한 바와 같이, 컨테이너 영상 인식 장치(200)는 감지 신호 수신부(210), 촬영 신호 송신부(220), 보정부(230), 번호 인식부(240), 영상 합성부(250) 및 영상 제공부(260)를 포함한다. As shown in FIG. 2, the container image recognition apparatus 200 includes a detection signal receiver 210, a photographing signal transmitter 220, a corrector 230, a number recognizer 240, an image synthesizer 250, and the like. The image providing unit 260 is included.

먼저, 감지 신호 수신부(210)는 터미널의 지정된 위치에 설치된 복수의 위치 센서로부터 컨테이너가 적재된 차량에 대한 감지 신호를 실시간으로 수신한다.First, the detection signal receiving unit 210 receives a detection signal for a vehicle loaded with a container in real time from a plurality of position sensors installed at a designated position of the terminal.

여기서, 위치 센서는 근접 센서, 다수의 레이저 거리계로 구성된 센서 모듈, 포토 센서, 레이다 센서, 라이다 센서 등을 포함하며 이에 한정하지 않는다.Here, the position sensor includes, but is not limited to, a proximity sensor, a sensor module composed of a plurality of laser rangefinders, a photo sensor, a radar sensor, a lidar sensor, and the like.

다음으로 촬영 제어 신호 송신부(210)는 감지 신호가 수신되면, 터미널 내에 설치된 복수의 카메라에게 이동 중인 차량에 적재된 컨테이너를 촬영하도록 촬영 제어 신호를 송신한다. Next, when the sensing signal is received, the photographing control signal transmitter 210 transmits a photographing control signal to the plurality of cameras installed in the terminal to photograph the container loaded in the moving vehicle.

이때, 촬영 제어 신호 송신부(210)는 차량이 감지된 위치 센서의 위치에 대응되는 카메라를 선정하여, 일부 카메라에게만 촬영 제어 신호를 송신할 수 있다. 그리고 촬영 신호 송신부(210)는 컨테이너의 좌측면, 우측면 및 상측면을 각 분할 촬영하도록 대응되는 카메라(300)로 촬영 제어 신호를 송신하고, 차량의 번호판 또는 컨테이너의 전면과 후면을 촬영하도록 대응되는 적어도 하나의 카메라(300)로 촬영 제어 신호를 송신한다. In this case, the photographing control signal transmitter 210 may select a camera corresponding to the position of the position sensor where the vehicle is detected, and transmit a photographing control signal to only some cameras. The photographing signal transmitter 210 transmits a photographing control signal to a camera 300 corresponding to photographing the left side, the right side, and the upper side of the container, and photographs the front and rear sides of the license plate or the container of the vehicle. The photographing control signal is transmitted to at least one camera 300.

다음으로 보정부(230)는 카메라를 통해 차량 및 컨테이너를 분할 촬영되면, 각 카메라마다 기 설정된 카메라 내부 행렬을 이용하여 카메라 렌즈 왜곡 보정을 실행한다. Next, when the vehicle 230 and the container are divided and photographed by the camera, the correction unit 230 performs camera lens distortion correction by using a preset camera internal matrix for each camera.

이때, 기 설정된 카메라 내부 행렬은 격자 무늬판을 다수 촬영하고 분석하여 영상 처리 라이브러리를 이용하여 계산된 카메라 내부 행렬로써, 보정부(230)는 촬영된 영상을 기 설정된 카메라 내부 행렬을 통해 실시간으로 보정할 수 있다. In this case, the preset camera internal matrix is a camera internal matrix calculated using an image processing library by photographing and analyzing a plurality of plaid plates, and the correction unit 230 corrects the captured image in real time through the preset camera internal matrix. can do.

다음으로 번호 인식부(240)는 복수의 카메라로부터 분할 촬영된 복수의 영상을 수신하면, 카메라의 촬영 각도에 의한 숫자 및 글자의 왜곡을 보정한다. 이때, 수신된 영상은 카메라 렌즈 왜곡 보정된 영상으로, 번호 인식부(240)는 카메라의 복수의 영상에서 차량의 번호판 또는 컨테이너의 번호의 인식율을 높이기 위해 촬영 각도에 의한 왜곡을 보정한 후, 광학문자인식(Optical character recognition: OCR) 엔진을 통해 차량의 번호판 또는 컨테이너의 번호를 인식한다.Next, when the number recognition unit 240 receives a plurality of images captured by the plurality of cameras, the number recognition unit 240 corrects distortion of numbers and letters due to the photographing angle of the camera. At this time, the received image is a camera lens distortion corrected image, the number recognition unit 240 corrects the distortion by the shooting angle to increase the recognition rate of the number of the license plate or container of the vehicle in the plurality of images of the camera, the optical An optical character recognition (OCR) engine is used to recognize the vehicle's license plate or container number.

다음으로 영상 합성부(250)는 컨테이너의 좌측면, 우측면 및 상측면 각각에 대한 분할 영상들을 각각 하나의 영상으로 재구성하여 합성한다. Next, the image synthesizing unit 250 reconstructs and synthesizes the divided images for each of the left side, the right side, and the upper side of the container into one image.

이때, 영상 합성부(250)는 차량에 장착된 컨테이너의 탑재 형태에 따라 컨테이너 길이 및 개수를 인식하고 이를 이용하여 각 컨테이너에 대해서 영상을 재구성하여 합성한다. At this time, the image synthesizing unit 250 recognizes the container length and the number according to the mounting form of the container mounted on the vehicle, and reconstructs and synthesizes the image for each container by using the same.

마지막으로, 영상 제공부(260)는 컨테이너의 전면 영상, 후면 영상, 합성된 좌측면에 대한 전체 영상, 합성된 우측면에 대한 전체 영상 및 합성된 상측면에 대한 전체 영상을 제공한다. Finally, the image providing unit 260 provides a front image, a rear image, a full image of the synthesized left side, a full image of the synthesized right side, and a full image of the synthesized upper side.

이하에서는 도 3 내지 도 9를 이용하여 본 발명의 실시예에 따른 컨테이너 영상 인식 장치를 이용하여 컨테이너를 촬영하고 촬영된 영상을 보정하여 컨테이너의 번호를 인식하고, 컨테이너의 전체 영상을 제공하는 컨테이너 영상 인식 방법에 대해서 상세하게 설명한다. Hereinafter, by using the container image recognition apparatus according to an embodiment of the present invention with reference to Figures 3 to 9, the container image to recognize the container number by correcting the photographed image, to provide a full image of the container The recognition method will be described in detail.

도 3은 본 발명의 실시예에 따른 컨테이너 영상 인식 장치의 컨테이너 영상 인식 방법을 나타낸 순서도이고, 도 4는 본 발명의 실시예에 따른 컨테이너를 분할 촬영하는 과정에 대해 설명하기 위한 도면이다. 그리고 도 5는 본 발명의 실시예에 따른 컨테이너의 전면, 후면 및 차량의 번호판을 촬영하는 과정에 대해서 설명하기 위한 도면이고 도 6은 본 발명의 실시예에 따른 다채널 거리 센서를 이용하여 차량의 진입 거리 및 컨테이너 크기를 측정하는 과정을 설명하기 위한 도면이다.3 is a flowchart illustrating a container image recognition method of a container image recognition apparatus according to an exemplary embodiment of the present invention, and FIG. 4 is a diagram for describing a process of dividing a container according to an embodiment of the present invention. 5 is a view for explaining a process of photographing the front, rear and the license plate of the vehicle according to an embodiment of the present invention and Figure 6 is a view of the vehicle using a multi-channel distance sensor according to an embodiment of the present invention. A diagram for describing a process of measuring an entry distance and a container size.

먼저, 컨테이너 영상 인식 장치(200)는 터미널의 지정된 위치에 설치된 복수의 위치 센서로부터 컨테이너가 적재된 차량에 대한 감지 신호를 실시간으로 수신한다(S310). 그리고 컨테이너 영상 인식 장치(200)는 감지 신호가 수신되면, 터미널 내에 설치된 복수의 카메라가 차량 및 컨테이너를 촬영하도록 촬영 제어 신호를 송신한다(S320).First, the container image recognition apparatus 200 receives a detection signal for a vehicle on which a container is loaded in real time from a plurality of position sensors installed at a designated position of a terminal (S310). When the sensing image is received, the container image recognition apparatus 200 transmits a photographing control signal so that a plurality of cameras installed in the terminal photograph the vehicle and the container (S320).

이때, 촬영 제어 신호는 단발성의 촬영 신호이거나 연속으로 일정 시간 간격에 따라 일정 횟수를 촬영하는 촬영 신호를 나타내며, 촬영 현장의 환경 및 조건에 따라 추후에 사용자에 의해 변경 및 설정이 가능하다. In this case, the photographing control signal is a single photographing signal or represents a photographing signal that photographs a predetermined number of times at a predetermined time interval continuously, and may be changed and set by the user later according to the environment and conditions of the photographing site.

도 4에 도시한 바와 같이, 복수의 위치 센서가 근접 감지 센서인 경우, 7개의 센서가 기 설정된 위치에 설치되어 있고, 이동하는 차량 및 컨테이너를 촬영하기 위해 5개의 카메라가 설치될 수 있다. As shown in FIG. 4, when the plurality of position sensors are proximity sensors, seven sensors are installed at preset positions, and five cameras may be installed to photograph moving vehicles and containers.

여기서 5개의 카메라는 컨테이너의 전면을 촬영하기 위한 제1 카메라(301), 컨테이너의 후면을 촬영하기 위한 제2 카메라(302), 컨테이너의 좌측면을 촬영하기 위한 제3 카메라(303), 컨테이너의 우측면을 촬영하기 위한 제4 카메라(304), 컨테이너의 상측면을 촬영하기 위한 제5 카메라(305)로 구성될 수 있다. Here, the five cameras include a first camera 301 for photographing the front side of the container, a second camera 302 for photographing the rear side of the container, a third camera 303 for photographing the left side of the container, and a container The fourth camera 304 for photographing the right side and the fifth camera 305 for photographing the upper side of the container may be configured.

도 3의 (a)와 같이, 본 발명의 실시예에 따른 컨테이너 영상 인식 장치(200)는 위치 센서(100-1)로부터 감지 신호를 수신하면, 5개의 카메라에 구동 신호를 송신하고, 도 4의 (b)와 같이, 위치 센서(100-2)로부터 감지 신호를 수신하면, 컨테이너의 좌측면을 촬영하기 위한 제3 카메라(303), 컨테이너의 우측면을 촬영하기 위한 제4 카메라(304), 컨테이너의 상측면을 촬영하기 위한 제5 카메라(305)에게 촬영 제어 신호를 송신한다. As shown in FIG. 3A, when receiving a detection signal from the position sensor 100-1, the container image recognition apparatus 200 according to an exemplary embodiment of the present invention transmits driving signals to five cameras, and FIG. 4. As shown in (b) of FIG. 3, when the detection signal is received from the position sensor 100-2, a third camera 303 for photographing the left side of the container, a fourth camera 304 for photographing the right side of the container, The photographing control signal is transmitted to the fifth camera 305 for photographing the upper side of the container.

즉, 제3 카메라(303), 제4 카메라(304), 제5 카메라(305)는 동시에 컨테이너의 각 측면에서 전방 영역을 촬영한다. That is, the third camera 303, the fourth camera 304, and the fifth camera 305 simultaneously photograph the front region on each side of the container.

그리고 도 4의 (c)에서와 같이, 컨테이너 영상 인식 장치(200)는 위치 센서(100-3)로부터 감지 신호를 수신하면, 제3 카메라(303), 제4 카메라(304), 제5 카메라(305)는 동시에 컨테이너의 각 측면에서 중앙부를 촬영하도록 촬영 제어 신호를 송신하고, 각 촬영 제어 신호를 수신한 카메라(303,304,305)는 각각 컨테이너의 중앙부 좌측면, 우측면, 상측면을 촬영한다.As shown in FIG. 4C, when the container image recognition apparatus 200 receives a detection signal from the position sensor 100-3, the third camera 303, the fourth camera 304, and the fifth camera are received. 305 simultaneously transmits a photographing control signal to photograph the central portion from each side of the container, and the cameras 303, 304, and 305 which receive each photographing control signal photograph the center left side, right side, and upper side of the container, respectively.

마지막으로 도 4의 (d)에서와 같이, 컨테이너 영상 인식 장치(200)는 위치 센서(100-3)로부터 감지 신호를 수신하면, 제3 카메라(303), 제4 카메라(304), 제5 카메라(305)는 동시에 컨테이너의 각 측면에서 후방 영역을 촬영하도록 촬영 제어 신호를 송신하며 각 촬영 제어 신호를 수신한 카메라(303,304,305)는 동시에 컨테이너를 분할 촬영한다.Finally, as shown in FIG. 4D, when the container image recognition apparatus 200 receives the detection signal from the position sensor 100-3, the third camera 303, the fourth camera 304, and the fifth camera 5. The camera 305 simultaneously transmits a photographing control signal to photograph the rear region on each side of the container, and the cameras 303, 304, and 305 that receive each photographing control signal simultaneously photograph the container.

이와 같이, 카메라(300)의 화각의 한계상 컨테이너의 상측면, 우측면, 좌측면의 전체 화면을 촬영하기 어렵기 때문에, 카메라(300)는 차량의 진입 위치에 따른 촬영 제어 신호에 대응하여 컨테이너 상측면, 우측면, 좌측면을 분할 촬영한다. As described above, since it is difficult to photograph the entire screen of the upper side, the right side, and the left side of the container due to the limitation of the angle of view of the camera 300, the camera 300 corresponds to the photographing control signal according to the entry position of the vehicle. The side, right and left sides are photographed separately.

한편, 도 5에 도시한 바와 같이, 컨테이너 영상 인식 장치(200)는 위치 센서(100-4)로부터 감지 신호를 수신하면, 제1 카메라(301)에게 차량의 번호판을 촬영하도록 촬영 제어 신호를 송신한다. Meanwhile, as shown in FIG. 5, when the container image recognition apparatus 200 receives the detection signal from the position sensor 100-4, the container image recognition apparatus 200 transmits a shooting control signal to the first camera 301 to photograph the license plate of the vehicle. do.

이때, 컨테이너 영상 인식 장치(200)는 번호판을 촬영하기 위해 일정 간격으로 일정 횟수 이상으로 촬영하도록 촬영 제어 신호를 송신할 수 있다. In this case, the container image recognition apparatus 200 may transmit a photographing control signal to photograph at least a predetermined number of times at regular intervals in order to photograph the license plate.

설명의 편의상 본 발명의 실시예에서 제1 카메라(301)를 이용하여 차량 전면에 부착된 번호판을 촬영하는 것으로 설명하였으나, 제2 카메라(302)를 이용하여 차량 후면에 부착된 번호판을 함께 촬영하도록 설정할 수 있으며, 차량의 전면 또는 후면에 부착된 번호판을 촬영하는 카메라를 별도로 설정할 수 있다. For convenience of description, in the exemplary embodiment of the present invention, the license plate attached to the front of the vehicle is photographed using the first camera 301, but the license plate attached to the rear of the vehicle is photographed together using the second camera 302. It can be set, and a camera for photographing license plates attached to the front or rear of the vehicle can be set separately.

그리고 컨테이너 영상 인식 장치(200)는 위치 센서(100-6)로부터 감지 신호를 수신하면, 제1 카메라(301)에게 컨테이너의 전면을 촬영하도록 촬영 제어 신호를 송신하고, 위치 센서(100-7)로부터 감지 신호를 수신하면, 제21 카메라(302)에게 컨테이너의 후면을 촬영하도록 촬영 제어 신호를 송신한다. When the container image recognition apparatus 200 receives the detection signal from the position sensor 100-6, the container image recognition apparatus 200 transmits a shooting control signal to the first camera 301 to photograph the front surface of the container, and the position sensor 100-7. Upon receiving the detection signal from the camera, a shooting control signal is transmitted to the twenty-first camera 302 to photograph the rear surface of the container.

즉, 컨테이너 영상 인식 장치(200)는 위치 센서(100)로부터 감지 신호를 수신하면, 감지 신호를 송신하는 위치 센서(100)의 위치로부터 컨테이너가 적재된 차량의 위치 정보를 측정할 수 있고, 각 위치 정보에 대응되는 각각의 카메라(300)가 구동되어 컨테이너가 적재된 차량을 촬영하도록 촬영 제어 신호를 송신한다. That is, when the container image recognition apparatus 200 receives the detection signal from the position sensor 100, the container image recognition apparatus 200 may measure the position information of the vehicle on which the container is loaded from the position of the position sensor 100 transmitting the detection signal. Each camera 300 corresponding to the position information is driven to transmit a photographing control signal to photograph the vehicle on which the container is loaded.

한편, 위치 센서(100)가 일정한 간격으로 설치되지 않지 않은 경우, 컨테이너 영상 인식 장치(200)는 인접하는 2개의 위치 센서(100)에 의해 각각 감지된 차량이 도달한 시간을 이용하여 차량의 이동 속도를 측정한다. 그리고 컨테이너 영상 인식 장치(200)는 측정된 이동 속도를 이용하여, 컨테이너의 특정 영역이 복수의 기 설정된 위치를 통과하는 시점을 연산할 수 있다. On the other hand, when the position sensor 100 is not installed at regular intervals, the container image recognition apparatus 200 moves the vehicle by using the time that the vehicles respectively detected by two adjacent position sensors 100 arrive. Measure the speed. The container image recognition apparatus 200 may calculate a time point at which the specific region of the container passes through a plurality of preset positions by using the measured movement speed.

여기서, 기 설정된 위치는 복수개의 카메라가 설치된 지점으로 각 카메라의 전면을 나타낸다. Here, the preset position is a point where a plurality of cameras are installed to represent the front of each camera.

그리고 컨테이너 영상 인식 장치(200)는 연산된 시점에 기 설정된 위치마다 대응되는 적어도 하나의 카메라가 촬영하도록 하는 촬영 제어 신호를 해당 카메라로 송신한다.In addition, the container image recognition apparatus 200 transmits a shooting control signal to the corresponding camera to allow at least one camera corresponding to each preset position to be photographed at the calculated time point.

한편, 도 6을 이용하여 복수의 위치 센서가 다수의 레이저 거리계로 구성된 센서 모듈로 구성되어 있는 경우, 차량 진입 거리 및 컨테이너 크기를 측정하는 과정을 상세하게 설명한다. Meanwhile, when the plurality of position sensors are configured with a sensor module including a plurality of laser rangefinders, the process of measuring the vehicle entry distance and the container size will be described in detail with reference to FIG. 6.

도 6의 (a), (b), (c), (d)에 도시한 바와 같이, 다수의 레이저 거리계로 구성된 센서 모듈로부터 차량 및 컨테이너를 향해 일정 간격으로 다수의 레이저를 송출하고 각 레이저 채널에 도달하는 시간을 통해 차량 이동 위치를 추정할 수 있다. As shown in (a), (b), (c), and (d) of FIG. 6, a plurality of lasers are sent at regular intervals from the sensor module composed of a plurality of laser rangefinders toward the vehicle and the container, and each laser channel It is possible to estimate the vehicle movement position through the time to reach.

그리고 컨테이너 영상 인식 장치(200)는 추정된 차량 이동 위치가 복수의 기 설정된 지점을 통과하는 시점을 연산하고 연산된 시점에 기 설정된 위치마다 대응되는 적어도 하나의 카메라가 촬영하도록 하는 촬영 제어 신호를 해당 카메라로 송신할 수 있다. The container image recognizing apparatus 200 calculates a time point at which the estimated vehicle movement position passes a plurality of preset points, and corresponds to a shooting control signal for shooting at least one camera corresponding to each preset position at the calculated time point. You can send to the camera.

이처럼, 컨테이너 영상 인식 장치(200)는 위치 센서의 종류에 따라 차량의 터미널 진입 위치를 추정하고, 차량 또는 컨테이너의 전면 영상, 후면 영상, 좌측면 분할 영상, 우측면 분할 영상 및 상측면 분할 영상을 촬영할 수 있도록 촬영 제어 신호를 그에 따라 대응되는 카메라로 송신할 수 있다. As such, the container image recognition apparatus 200 estimates the terminal entry position of the vehicle according to the type of the position sensor, and captures the front image, the rear image, the left side segment image, the right side segment image, and the top side segment image of the vehicle or container. The shooting control signal can be transmitted to the corresponding camera accordingly.

다음으로 컨테이너 영상 인식 장치(200)는 카메라를 통해 차량 및 컨테이너를 분할 촬영하면, 각 카메라마다 기 설정된 카메라 내부 행렬을 이용하여 카메라 렌즈 왜곡 보정한다(S330).Next, when the container image recognition apparatus 200 splits and photographs the vehicle and the container through the camera, the camera image distortion correction is performed by using a preset camera internal matrix for each camera (S330).

도 7은 본 발명의 실시예에 따른 카메라 렌즈 왜곡 보정을 하기 위한 과정을 설명하기 위한 도면이다. 7 is a view for explaining a process for correcting the camera lens distortion according to an embodiment of the present invention.

도 7의 (a)와 같이, 각각의 카메라(300)는 카메라 화각 전체에 격자무늬판 영상을 약 50회 정도 다수회 촬영한다. As shown in (a) of FIG. 7, each camera 300 photographs a lattice plate image approximately 50 times over the entire camera angle of view.

그리고 컨테이너 영상 인식 장치(200)는 촬영된 영상에서 격자 무늬 판에서 각 격자가 이루는 코너들을 검출하고, 각 코너들을 정상적으로 모두 검출할 경우의 데이터를 저장한다. In addition, the container image recognition apparatus 200 detects corners of each lattice on the plaid plate in the captured image and stores data when the corner images are normally detected.

이와 같이 컨테이너 영상 인식 장치(200)는 저장된 데이터들을 이용하여 예를 들어 OpenCV 라이브러리 cvCalibarationCamera 함수와 같이 영상 처리 라이브러리를 이용하여 카메라 내부 행렬을 계산할 수 있다. As such, the container image recognition apparatus 200 may calculate an internal matrix of a camera using an image processing library such as, for example, the OpenCV library cvCalibarationCamera using the stored data.

즉, 컨테이너 영상 인식 장치(200)는 계산된 카메라 내부 행렬을 이용하여 각 카메라마다 촬영된 영상을 도 7의 (b)와 같이, 촬영 영상을 카메라 렌즈 왜곡 보정한다. That is, the container image recognition apparatus 200 corrects the camera lens distortion by using the calculated camera internal matrix to correct the photographed image as shown in FIG. 7B.

다음으로 컨테이너 영상 인식 장치(200)는 복수의 카메라로부터 분할 촬영된 복수의 영상을 수신하면, 카메라의 촬영 각도에 의한 숫자 및 글자의 왜곡을 보정하여 차량의 번호판 또는 컨테이너의 번호를 인식한다(S340).Next, when the container image recognition apparatus 200 receives a plurality of images photographed by a plurality of cameras, the container image recognition apparatus 200 recognizes the number of the license plate or the container of the vehicle by correcting the distortion of numbers and letters according to the photographing angle of the camera (S340). ).

컨테이너 영상 인식 장치(200)는 번호 인식율을 향상 시키기 위해 카메라 렌즈 왜곡 보정된 영상을 각 카메라의 촬영 각도에 의한 왜곡을 재 보정할 수 있다. The container image recognition apparatus 200 may recorrect the distortion of the camera lens distortion corrected by the photographing angle of each camera in order to improve the number recognition rate.

이하에서는 도 8를 이용하여 이와 같은 카메라의 촬영 각도에 의한 왜곡 보정 과정을 설명한다. 도 8은 본 발명의 실시예에 따른 카메라 각도에 따른 왜곡 보정을 나타내내 예시도이다. Hereinafter, a distortion correction process by the photographing angle of the camera will be described with reference to FIG. 8. 8 is an exemplary view showing distortion correction according to a camera angle according to an embodiment of the present invention.

먼저, 컨테이너 영상 인식 장치(200)는 도 8의 (a)와 같이, 컨테이너의 상측면의 일부분이 촬영된 영상을 분석하여, 붉은 선내로 n개의 기준점을 선정하고, 분할 촬영된 영상을 정면뷰로 변환할 수 있는 새로운 n개의 기준점을 선정한다. First, as shown in (a) of FIG. 8, the container image recognition apparatus 200 analyzes an image of a portion of the upper side of the container, selects n reference points into a red line, and displays the segmented image as a front view. Select n new reference points that can be transformed.

그리고 컨테이너 영상 인식 장치(200)는 영상 와핑을 통해 n개의 기준점을 새로운 n개의 기준점으로 변환하여 도 8의 (b)와 같이 컨테이너의 상측면의 일부분이 촬영된 영상의 정면뷰를 생성할 수 있다. In addition, the container image recognition apparatus 200 may convert the n reference points into new n reference points through image warping to generate a front view of an image in which a portion of the upper side of the container is photographed as shown in FIG. .

본 발명의 실시예에 따른 컨테이너 영상 인식 장치(200)는 생성된 정면뷰에서 광학 문자 인식 엔진을 통해 차량의 번호판 또는 컨테이너 번호를 도출한다. 그리고 컨테이너 영상 인식 장치(200)는 각 카메라별로 촬영된 복수의 정면뷰에서 도출된 각각의 차량의 번호판 또는 컨테이너 번호가 기 설정된 개수 이상으로 일치하면, 해당 번호를 최종 차량의 번호 또는 컨테이너 번호로 인식할 수 있다. The container image recognition apparatus 200 according to an exemplary embodiment of the present invention derives the license plate or container number of the vehicle through the optical character recognition engine in the generated front view. If the license plate or container number of each vehicle derived from the plurality of front views photographed by each camera matches more than a preset number, the container image recognition apparatus 200 recognizes the corresponding number as the number or container number of the final vehicle. can do.

다음으로 컨테이너 영상 인식 장치(200)는 컨테이너의 좌측면, 우측면 및 상측면 각각에 대한 분할 영상들을 각각 하나의 영상으로 재구성하여 합성한다(S350).Next, the container image recognition apparatus 200 reconstructs and synthesizes the divided images for each of the left side, the right side, and the upper side of the container into one image (S350).

컨테이너 영상 인식 장치(200)는 위치 센서로부터 감지된 컨테이너의 탑재 형태 및 컨테이너 중앙부가 촬영된 분할 영상에서 번호 인식 여부에 따라 차량에 장착된 컨테이너의 길이와 개수를 인식할 수 있다. 그리고 컨테이너 영상 인식 장치(200)는 인식된 컨테이너 길이와 개수를 이용하여 분할 촬영된 영상을 재구성하여 각 컨테이너마다 전체 영상을 합성할 수 있다. The container image recognition apparatus 200 may recognize the length and the number of containers mounted in a vehicle according to the mounting type of the container detected by the position sensor and whether the number is recognized in the divided image captured by the container center. In addition, the container image recognizing apparatus 200 may recombine the divided images by using the recognized container length and number, and synthesize the entire image for each container.

예를 들어 컨테이너는 길이에 따라 40피트 1개, 20피트 2개로 나뉘어 차량에 탑재될 수 있으며, 일반적으로 각 컨테이너는 전면부, 후면부, 상측면의 전후방영역, 좌측면의 후방 영역, 우측면의 전방 영역에 해당 컨테이너 번호가 표시된다. For example, a container may be mounted in a vehicle divided into one 40 feet and two 20 feet, depending on the length, and in general, each container may have a front portion, a rear portion, a front and rear region of the upper side, a rear region of the left side, and a front of the right side. The container number is displayed in the area.

즉, 차량에 탑재된 전체 컨테이너 중앙부에는 짧은 컨테이너의 경우 해당 컨테이너의 번호가 표시되어 있고, 긴 컨테이너의 경우에는 번호가 표시되어 있지 않다. 그렇기 때문에 컨테이너 영상 인식 장치(200)는 컨테이너를 분할 촬영된 영상에서 컨테이너의 중앙부 상측면, 좌측면, 우측면에서 번호가 인식되지 않으면, 긴 컨테이너 하나로 인식하고, 중앙부에서 번호가 인식되면, 짧은 컨테이너가 차량에 장착되어있다고 인식할 수 있다. That is, the number of the corresponding container is displayed in the center of the entire container mounted on the vehicle, and the number is not displayed in the case of the long container. Therefore, the container image recognizing apparatus 200 recognizes the container as a long container if the number is not recognized on the upper side, left side, or right side of the container in the divided image, and if the number is recognized in the center, the short container It can be recognized that it is mounted on a vehicle.

그리고 컨테이너 영상 인식 장치(200)는 위치 센서에서 감지된 탑재 형태를 인식한다. In addition, the container image recognition apparatus 200 recognizes the mounted form detected by the position sensor.

예를 들어 위치 센서로 포토 센서를 이용할 경우, 게이트 측면에 기둥을 세워서 약 1~1.5, 높이에 차량이 지나가는 방향을 정면이 향하도록 설치하게 되므로, 차량이 게이트를 통과할 때 포토 센서와의 거리가 약 1.5m 가량 되므로 트레일러 차량의 머리 부분과 컨테이너가 지나갈 때 포토 센서에 신호가 감지된다. For example, when using a photo sensor as a position sensor, a pole is placed on the side of the gate so that the front of the vehicle passes at a height of about 1 to 1.5, so that the vehicle faces the distance from the photo sensor when the vehicle passes through the gate. Is about 1.5m, the signal is detected by the photo sensor as the trailer vehicle's head and container pass by.

이러한 포토 센서를 약 1.5m 간격으로 6개 설치하는 경우, 컨테이너 영상 인식 장치(200)는 인접한 포토 센서 2개가 동시에 신호를 감지하면 차량 헤드 부분으로 인식하고, 인접한 포토 센서 3개가 동시에 신호를 감지한 후 일정 시간 유지되면 짧은 컨테이너 하나로 인식한다. In the case of installing six such photo sensors at intervals of about 1.5 m, the container image recognition apparatus 200 recognizes the vehicle head part when two adjacent photo sensors simultaneously detect a signal, and three adjacent photo sensors simultaneously detect a signal. After a certain time, it is recognized as one short container.

그리고 컨테이너 영상 인식 장치(200)는 인접한 포토 센서 5개 이상이 동시에 신호를 감지하고 일정 시간 유지되면 긴 컨테이너 하나로 인식하며, 인접한 포토 센서 5개 이상이 동시에 신호를 감지하지만, 일시적으로 신호를 감지하지 않는 센서가 순차적으로 발생하면 짧은 컨테이너 두 개로 인식할 수 있다. In addition, the container image recognition apparatus 200 detects a signal at the same time when at least five adjacent photo sensors simultaneously detect a signal and maintains a predetermined time, and at least five adjacent photo sensors simultaneously detect a signal, but temporarily do not detect a signal. If a sensor does not occur sequentially, it can be recognized as two short containers.

한편, 위치 센서로 다채널 거리 센서를 사용할 경우 센서를 터미널의 상측에 설치하여 실시간 거리를 측정하기 때문에, 컨테이너 영상 인식 장치(200)는 보다 정확하게 컨테이너의 길이 및 개수를 인식할 수 있다. On the other hand, when the multi-channel distance sensor is used as the position sensor, since the sensor is installed on the upper side of the terminal to measure the real-time distance, the container image recognition apparatus 200 may recognize the length and number of containers more accurately.

도 6의 (d)에 도시한 바와 같이, 컨테이너 영상 인식 장치(200)는 실시간 측정된 거리가 일정 시간 동안 순차적인 변화 값에서 벗어나 일시적으로 긴 거리 값을 가지는 경우, 짧은 컨테이너 두 개로 인식할 수 있다. 그리고 컨테이너 영상 인식 장치(200)는 위치 센서로부터 실시간 측정된 거리가 일정 시간 동안 순차적인 변화 값을 가지게 되는 경우, 긴 컨테이너 하나로 인식하며, 일정 시간 보다 짧은 시간 동안 거리 값이 순차적인 변화 값을 가지는 경우, 짧은 컨테이너 하나로 인식할 수 있다. As shown in (d) of FIG. 6, the container image recognition apparatus 200 may recognize two short containers when the real-time measured distance has a long distance value temporarily out of the sequential change value for a predetermined time. have. When the distance measured in real time from the position sensor has a sequential change value for a predetermined time, the container image recognition apparatus 200 recognizes one long container and has a sequential change value for a shorter time than a predetermined time. In this case, one short container can be recognized.

즉, 컨테이너 영상 인식 장치(200)는 위치 센서에서 감지된 탑재 형태와 컨테이너 중앙부분을 촬영한 영상에서 번호 인식 여부를 통해 컨테이너 탑재 형태를 판단할 수 있다. That is, the container image recognition apparatus 200 may determine the container mounting form based on whether the number is recognized in the mounting form detected by the position sensor and the image photographing the center portion of the container.

그리고 컨테이너 영상 인식 장치(200)는 인식된 컨테이너의 길이와 개수에 대응하여 각 컨테이너의 측면의 전체 영상을 재구성하여, 컨테이너의 전면, 후면, 상측면, 좌측면 및 우측면을 각각 전체 영상으로 합성할 수 있다. The container image recognition apparatus 200 reconstructs the entire image of the side surface of each container according to the recognized length and number of containers, and synthesizes the front, rear, upper side, left side, and right side of the container into the entire image, respectively. Can be.

즉, 컨테이너 영상 인식 장치(200)는 짧은 컨테이너 두개로 인식되는 경우, 각 짧은 컨테이너별로 측면의 전체 영상을 재구성하여 합성할 수 있다. That is, when the container image recognition apparatus 200 is recognized as two short containers, the container image recognition apparatus 200 may reconstruct and synthesize the entire image of the side surface for each short container.

도 9는 본 발명의 실시예에 따른 컨테이너 영상 인식 장치가 컨테이너의 전체 영상을 제공하는 화면을 나타낸 예시도이다. 9 is an exemplary view illustrating a screen in which a container image recognition apparatus according to an embodiment of the present invention provides an entire image of a container.

카메라 화각의 제한으로 인하여 컨테이너 좌측면, 우측면 및 상측면은 각각 한번에 촬영하기 어렵기 때문에, 컨테이너 영상 인식 장치(200)는 차량의 진입 위치에 맞춰 컨테이너 좌측면, 우측면 및 상측면에 대해 분할 촬영을 한 후, 컨테이너의 탑재 형태에 따라 각 측면의 분할 촬영을 재구성하여 각 측면마다 전체 영상이 되도록 합성할 수 있다. Due to the limitation of the camera angle of view, it is difficult to photograph the left side, right side, and top side of the container at once, so that the container image recognizing apparatus 200 performs divided shots on the left side, right side, and top side of the container according to the entry position of the vehicle. Afterwards, the divided shots of each side may be reconstructed according to the mounting form of the container, and then synthesized so that each side becomes an entire image.

즉, 컨테이너 영상 인식 장치(200)는 도 9에 도시한 바와 같이 컨테이너의 측면이 분할 촬영된 영상을 하나의 전체 영상으로 합성할 수 있다. That is, as shown in FIG. 9, the container image recognition apparatus 200 may synthesize an image in which the side surface of the container is divided into one whole image.

마지막으로 컨테이너 영상 인식 장치(200)는 컨테이너의 전면 영상, 후면 영상, 합성된 좌측면에 대한 전체 영상, 합성된 우측면에 대한 전체 영상 및 합성된 상측면에 대한 전체 영상을 제공한다(S360).Finally, the container image recognition apparatus 200 provides a front image, a rear image, a full image of the synthesized left side, a full image of the synthesized right side, and a full image of the synthesized upper side (S360).

이때, 컨테이너 영상 인식 장치(200)는 인식된 차량의 번호 또는 컨테이너의 번호와 함께, 컨테이너의 각 측면에 대한 전체 영상을 별도의 데이터베이스에 저장 및 관리할 수 있다. In this case, the container image recognition apparatus 200 may store and manage the entire image of each side of the container together with the recognized vehicle number or container number in a separate database.

이와 같이 본 발명의 실시예에 따르면, 기존의 인력을 투입하여 수작업으로 모니터링하는 방식에 비해, 소요되는 시간이 절감되며 컨테이너 번호 입력 오류를 줄이고 컨테이너 물류 관리의 효율을 향상시킬 수 있다.Thus, according to the embodiment of the present invention, compared to the method of manually monitoring by inputting the manpower, the time required can be reduced, container number input error can be reduced and the efficiency of container logistics management can be improved.

또한, 위치센서 기반으로 다중 영상 정보를 활용함으로써, 차량의 번호판 및 컨테이너 번호의 인식율을 향상시킬 수 있으며, 컨테이너의 손상 여부를 편리하게 확인할 수 있도록 최종 컨테이너의 전체 영상을 제공할 수 있다.In addition, by using the multi-image information based on the position sensor, it is possible to improve the recognition rate of the license plate and the container number of the vehicle, it is possible to provide a full image of the final container to conveniently check whether the container is damaged.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is merely exemplary, and it will be understood by those skilled in the art that various modifications and equivalent other embodiments are possible. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

100: 위치 센서 200: 컨테이너 영상 인식 장치
210: 감지 신호 수신부 220: 촬영 제어 신호 송신부
230: 번호 인식부 240: 영상 합성부
250: 영상 제공부 260: 보정부
300: 카메라 100: position sensor 200: container image recognition device
210: detection signal receiving unit 220: recording control signal transmission unit
230: number recognition unit 240: image synthesis unit
250: Image providing unit 260: Correction unit
300: camera

Claims (14)

위치 센서기반의 컨테이너 영상 인식 장치를 이용한 컨테이너 영상 인식 방법에 있어서,
상기 컨테이너 영상 인식 장치는 터미널의 지정된 위치에 설치된 복수의 위치 센서로부터 컨테이너가 적재된 차량에 대한 감지 신호를 실시간으로 수신하는 단계,
상기 감지 신호가 수신되면, 상기 터미널 내에 설치된 복수의 카메라에게 이동 중인 상기 차량에 적재된 상기 컨테이너의 좌측면, 우측면 및 상측면을 분할하여 촬영하고, 상기 차량의 번호판 및 상기 컨테이너의 전면과 후면을 촬영하도록 하는 촬영 제어 신호를 송신하는 단계,
상기 복수의 카메라로부터 분할 촬영된 복수의 영상을 수신하면, 상기 카메라의 촬영 각도에 의한 숫자 및 글자의 왜곡을 보정하여 상기 차량의 번호판 또는 상기 컨테이너의 번호를 인식하는 단계,
상기 컨테이너의 좌측면, 우측면 및 상측면 각각에 대한 분할 영상들을 각각 하나의 영상으로 재구성하여 합성하는 단계, 그리고
상기 컨테이너의 전면 영상, 후면 영상, 상기 합성된 좌측면에 대한 전체 영상, 상기 합성된 우측면에 대한 전체 영상 및 상기 합성된 상측면에 대한 전체 영상을 제공하는 단계를 포함하며,
상기 차량의 번호판 또는 상기 컨테이너의 번호를 인식하는 단계는,
상기 분할 촬영된 영상을 분석하여 n개의 기준점을 선정하는 단계,
상기 분할 촬영된 영상을 정면뷰로 변환할 수 있는 새로운 n개의 기준점을 선정하는 단계,
영상 와핑을 통해 상기 n개의 기준점을 새로운 n개의 기준점으로 변환하여 해당 분할 촬영된 영상의 정면뷰를 생성하는 단계,
상기 정면뷰에서 광학 문자 인식 엔진을 통해 차량의 번호판 또는 컨테이너 번호를 도출하는 단계, 그리고
복수의 정면뷰에서 도출된 각각의 차량의 번호판 또는 컨테이너 번호가 기 설정된 개수 이상으로 일치하면, 해당 번호를 최종 차량의 번호 또는 컨테이너 번호로 인식하는 단계를 포함하는 컨테이너 영상 인식 방법.A container image recognition method using a position sensor based container image recognition apparatus,
The container image recognition device receives a detection signal for a vehicle loaded with a container in real time from a plurality of position sensors installed at a designated position of a terminal;
When the detection signal is received, the left side, the right side, and the upper side of the container mounted on the moving vehicle are divided and photographed by a plurality of cameras installed in the terminal, and the license plate of the vehicle and the front and rear of the container are photographed. Transmitting a shooting control signal for shooting;
Recognizing the number of the license plate of the vehicle or the number of the container by correcting the distortion of the numbers and letters by the photographing angle of the camera when receiving a plurality of images taken by the plurality of cameras,
Reconstructing and synthesizing the divided images for each of the left side, the right side, and the top side of the container into one image, and
Providing a front image of the container, a rear image, a full image of the synthesized left side, a full image of the synthesized right side, and a full image of the synthesized upper side,
Recognizing the license plate of the vehicle or the number of the container,
Selecting n reference points by analyzing the divided images;
Selecting new n reference points for converting the divided images into a front view;
Generating a front view of the corresponding segmented image by converting the n reference points into new n reference points through image warping;
Deriving a license plate or container number of a vehicle through an optical character recognition engine in the front view; and
And recognizing the number as the number or container number of the final vehicle, if the license plate or the container number of each vehicle derived from the plurality of front views matches more than a preset number. 제1항에 있어서,
상기 카메라를 통해 상기 차량 및 컨테이너를 분할 촬영하면, 각 카메라마다 기 설정된 카메라 내부 행렬을 이용하여 카메라 렌즈 왜곡 보정을 실행하는 단계를 더 포함하는 컨테이너 영상 인식 방법.The method of claim 1,
And dividing the vehicle and the container through the camera, and performing camera lens distortion correction by using a preset camera internal matrix for each camera. 제2항에 있어서,
상기 복수의 카메라는
상기 컨테이너의 전면을 촬영하기 위한 제1 카메라, 상기 컨테이너의 후면을 촬영하기 위한 제2 카메라, 상기 컨테이너의 좌측면을 촬영하기 위한 제3 카메라, 상기 컨테이너의 우측면을 촬영하기 위한 제4 카메라, 상기 컨테이너의 상측면을 촬영하기 위한 제5 카메라를 포함하며,
상기 위치 센서로부터 상기 컨테이너가 적재된 차량의 위치 정보를 포함하는 감지 신호를 수신하면, 각 위치 정보에 대응되는 각각의 카메라가 구동되어 상기 컨테이너가 적재된 차량을 촬영하며,
상기 제3 카메라, 제4 카메라 및 제5 카메라는 상기 감지 신호를 수신하면 동시에 컨테이너를 분할 촬영하는 컨테이너 영상 인식 방법.The method of claim 2,
The plurality of cameras
A first camera for photographing the front side of the container, a second camera for photographing the rear side of the container, a third camera for photographing the left side of the container, a fourth camera for photographing the right side of the container, the A fifth camera for photographing the upper side of the container,
When receiving a detection signal including the position information of the vehicle loaded with the container from the position sensor, each camera corresponding to each position information is driven to photograph the vehicle loaded with the container,
And the third camera, the fourth camera, and the fifth camera simultaneously divide and photograph the container when receiving the detection signal. 삭제delete 제1항에 있어서,
상기 촬영 제어 신호를 송신하는 단계는,
인접하는 2개의 위치 센서에 의해 각각 감지된 차량이 도달한 시간을 이용하여 차량의 이동 속도를 측정하는 단계.
상기 측정된 이동 속도를 이용하여, 상기 컨테이너의 특정 영역이 복수의 기 설정된 위치를 통과하는 시점을 연산하는 단계, 그리고
연산된 시점에 기 설정된 위치마다 대응되는 적어도 하나의 카메라가 촬영하도록 하는 촬영 제어 신호를 해당 카메라로 송신하는 단계를 포함하는 컨테이너 영상 인식 방법.The method of claim 1,
The transmitting of the shooting control signal may include:
Measuring the moving speed of the vehicle by using the time when the vehicle reached by two adjacent position sensors, respectively;
Calculating a time point at which the specific region of the container passes through a plurality of preset positions using the measured movement speed, and
And transmitting a photographing control signal to the corresponding camera to cause the at least one camera corresponding to each of the preset positions to be photographed at the calculated time point. 제1항에 있어서,
상기 복수의 위치 센서가 다수의 레이저 거리계로 구성된 센서 모듈로 구성되어 있는 경우,
상기 촬영 제어 신호를 송신하는 단계는,
일정 간격으로 다수의 레이저를 송출하여 각 레이저 채널이 도달하는 시간을 통해 상기 차량 이동 위치를 추정하는 단계,
상기 추정된 차량 이동 위치가 복수의 기 설정된 지점을 통과하는 시점을 연산하는 단계, 그리고
연산된 시점에 기 설정된 위치마다 대응되는 적어도 하나의 카메라가 촬영하도록 하는 촬영 제어 신호를 해당 카메라로 송신하는 단계를 포함하는 컨테이너 영상 인식 방법.The method of claim 1,
When the plurality of position sensors are composed of a sensor module composed of a plurality of laser rangefinders,
The transmitting of the shooting control signal may include:
Transmitting a plurality of lasers at regular intervals and estimating the vehicle moving position based on a time at which each laser channel arrives,
Calculating a time point at which the estimated vehicle movement position passes a plurality of preset points; and
And transmitting a photographing control signal to the corresponding camera to cause the at least one camera corresponding to each of the preset positions to be photographed at the calculated time point. 제6항에 있어서,
상기 재구성하여 합성하는 단계는,
상기 위치 센서로부터 감지된 상기 컨테이너 탑재 형태 및 컨테이너 중앙부에서 번호 인식 여부에 따라 상기 차량에 장착된 컨테이너의 길이와 개수를 인식하고, 상기 인식된 컨테이너 길이와 개수에 따라 상기 컨테이너의 좌측면, 우측면 및 상측면에 대한 분할 영상들을 재구성하여 합성하는 컨테이너 영상 인식 방법.The method of claim 6,
Synthesizing by reconstructing,
Recognize the length and number of containers mounted on the vehicle according to the container mounting type and the container center detected by the position sensor, and according to the recognized container length and number, the left side, right side and Container image recognition method for reconstructing and synthesizing the divided images of the upper side. 터미널의 지정된 위치에 설치된 복수의 위치 센서로부터 컨테이너가 적재된 차량에 대한 감지 신호를 실시간으로 수신하는 감지 신호 수신부,
상기 감지 신호가 수신되면, 상기 터미널 내에 설치된 복수의 카메라에게 이동 중인 상기 차량에 적재된 상기 컨테이너의 좌측면, 우측면 및 상측면을 분할하여 촬영하고, 상기 차량의 번호판 및 상기 컨테이너의 전면과 후면을 촬영하도록 하는 촬영 제어 신호를 송신하는 촬영 신호 송신부,
상기 복수의 카메라로부터 분할 촬영된 복수의 영상을 수신하면, 상기 카메라의 촬영 각도에 의한 숫자 및 글자의 왜곡을 보정하여 상기 차량의 번호판 또는 상기 컨테이너의 번호를 인식하는 번호 인식부,
상기 컨테이너의 좌측면, 우측면 및 상측면 각각에 대한 분할 영상들을 각각 하나의 영상으로 재구성하여 합성하는 영상 합성부, 그리고
상기 컨테이너의 전면 영상, 후면 영상, 상기 합성된 좌측면에 대한 전체 영상, 상기 합성된 우측면에 대한 전체 영상 및 상기 합성된 상측면에 대한 전체 영상을 제공하는 영상 제공부를 포함하며,
상기 번호 인식부는,
상기 분할 촬영된 영상을 분석하여 n개의 기준점을 선정하고, 상기 분할 촬영된 영상을 정면뷰로 변환할 수 있는 새로운 n개의 기준점을 선정하여, 영상 와핑을 통해 상기 n개의 기준점을 새로운 n개의 기준점으로 변환하여 해당 분할 촬영된 영상의 정면뷰를 생성하면, 상기 정면뷰에서 광학 문자 인식 엔진을 통해 차량의 번호판 또는 컨테이너 번호를 도출하고 복수의 정면뷰에서 도출된 각각의 차량의 번호판 또는 컨테이너 번호가 기 설정된 개수 이상으로 일치하면, 해당 번호를 최종 차량의 번호 또는 컨테이너 번호로 인식하는 컨테이너 영상 인식 장치.A detection signal receiver for receiving a detection signal for a vehicle loaded with a container in real time from a plurality of position sensors installed at a designated location of a terminal;
When the detection signal is received, the left side, the right side, and the upper side of the container mounted on the moving vehicle are divided and photographed by a plurality of cameras installed in the terminal, and the license plate of the vehicle and the front and rear of the container are photographed. A photographing signal transmitter for transmitting a photographing control signal for photographing;
When receiving a plurality of images taken by the plurality of cameras, a number recognition unit for recognizing the number of the license plate or the container of the vehicle by correcting the distortion of the numbers and letters by the photographing angle of the camera,
An image synthesizer which reconstructs and synthesizes the divided images for each of the left, right, and top sides of the container into one image, and
And an image providing unit configured to provide a front image, a rear image, a full image of the synthesized left side, a full image of the synthesized right side, and a full image of the synthesized upper side.
The number recognition unit,
Analyze the divided images to select n reference points, select new n reference points for converting the divided images to the front view, and convert the n reference points to new n reference points through image warping. When generating a front view of the split-photographed image, the license plate or container number of the vehicle is derived through the optical character recognition engine in the front view, and the license plate or container number of each vehicle derived from the plurality of front views is preset. If more than one, the container image recognition device that recognizes the number as the number or container number of the final vehicle. 제8항에 있어서,
상기 카메라를 통해 상기 차량 및 컨테이너를 분할 촬영하면, 각 카메라마다 기 설정된 카메라 내부 행렬을 이용하여 카메라 렌즈 왜곡 보정을 실행하는 보정부를 더 포함하는 컨테이너 영상 인식 장치.The method of claim 8,
And dividing the vehicle and the container through the camera, and correcting the camera lens distortion by using a preset camera internal matrix for each camera. 제9항에 있어서,
상기 복수의 카메라는 상기 컨테이너의 전면을 촬영하기 위한 제1 카메라, 상기 컨테이너의 후면을 촬영하기 위한 제2 카메라, 상기 컨테이너의 좌측면을 촬영하기 위한 제3 카메라, 상기 컨테이너의 우측면을 촬영하기 위한 제4 카메라, 상기 컨테이너의 상측면을 촬영하기 위한 제5 카메라를 포함하며,
상기 위치 센서로부터 상기 컨테이너가 적재된 차량의 위치 정보를 포함하는 감지 신호를 수신하면, 각 위치 정보에 대응되는 각각의 카메라가 구동되어 상기 컨테이너가 적재된 차량을 촬영하며,
상기 제3 카메라, 제4 카메라 및 제5 카메라는 상기 감지 신호를 수신하면 동시에 컨테이너를 분할 촬영하는 컨테이너 영상 인식 장치.The method of claim 9,
The plurality of cameras may include a first camera for photographing the front side of the container, a second camera for photographing the rear side of the container, a third camera for photographing the left side of the container, and a photograph for the right side of the container. A fourth camera, a fifth camera for photographing an upper side of the container,
When receiving a detection signal including the position information of the vehicle loaded with the container from the position sensor, each camera corresponding to each position information is driven to photograph the vehicle loaded with the container,
The third camera, the fourth camera, and the fifth camera, when receiving the detection signal, at the same time the container image recognition device for splitting the container. 삭제delete 제8항에 있어서,
상기 촬영 신호 송신부는,
인접하는 2개의 위치 센서에 의해 각각 감지된 차량이 도달한 시간을 이용하여 차량의 이동 속도를 측정하고, 상기 측정된 이동 속도를 이용하여, 상기 컨테이너의 특정 영역이 복수의 기 설정된 위치를 통과하는 시점을 연산하여 연산된 시점에 기 설정된 위치마다 대응되는 적어도 하나의 카메라가 촬영하도록 하는 촬영 제어 신호를 해당 카메라로 송신하는 컨테이너 영상 인식 장치.The method of claim 8,
The photographing signal transmitter,
The moving speed of the vehicle is measured using the time that the vehicle sensed by two adjacent position sensors each arrives, and the specific area of the container passes through a plurality of preset positions by using the measured moving speed. And a photographing control signal which transmits a photographing control signal for photographing at least one camera corresponding to a predetermined position at the point of time calculated by calculating the viewpoint. 제8항에 있어서,
상기 복수의 위치 센서가 다수의 레이저 거리계로 구성된 센서 모듈로 구성되어 있는 경우,
상기 촬영 신호 송신부는,
일정 간격으로 다수의 레이저를 송출하여 각 레이저 채널이 도달하는 시간을 통해 상기 차량 이동 위치를 추정하고, 상기 추정된 차량 이동 위치가 복수의 기 설정된 지점을 통과하는 시점을 연산하여 연산된 시점에 기 설정된 위치마다 대응되는 적어도 하나의 카메라가 촬영하도록 하는 촬영 제어 신호를 해당 카메라로 송신하는 컨테이너 영상 인식 장치.The method of claim 8,
When the plurality of position sensors are composed of a sensor module composed of a plurality of laser rangefinders,
The photographing signal transmitter,
A plurality of lasers are sent at regular intervals to estimate the vehicle moving position based on the time at which each laser channel arrives, and a time point at which the estimated vehicle moving position passes a plurality of preset points is calculated. Container image recognition device for transmitting a shooting control signal to the camera to shoot at least one camera corresponding to each set position. 제13항에 있어서,
상기 영상 합성부는,
상기 위치 센서로부터 감지된 상기 컨테이너 탑재 형태 및 컨테이너 중앙부에서 번호 인식 여부에 따라 상기 차량에 장착된 컨테이너의 길이와 개수를 인식하고, 상기 인식된 컨테이너 길이와 개수에 따라 상기 컨테이너의 좌측면, 우측면 및 상측면에 대한 분할 영상들을 재구성하여 합성하는 컨테이너 영상 인식 장치.
The method of claim 13,
The image synthesis unit,
Recognize the length and number of containers mounted on the vehicle according to the container mounting type and the container center detected by the position sensor, and according to the recognized container length and number, the left side, right side and Container image recognition device for reconstructing and synthesizing the divided images for the upper side.
KR1020170143597A 2017-10-31 2017-10-31 Apparatus for container image recognition using position sensors and method thereof KR102019036B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170143597A KR102019036B1 (en) 2017-10-31 2017-10-31 Apparatus for container image recognition using position sensors and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170143597A KR102019036B1 (en) 2017-10-31 2017-10-31 Apparatus for container image recognition using position sensors and method thereof

Publications (2)

Publication Number Publication Date
KR20190048543A KR20190048543A (en) 2019-05-09
KR102019036B1 true KR102019036B1 (en) 2019-09-06

Family

ID=66546342

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170143597A KR102019036B1 (en) 2017-10-31 2017-10-31 Apparatus for container image recognition using position sensors and method thereof

Country Status (1)

Country Link
KR (1) KR102019036B1 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102161315B1 (en) * 2019-11-08 2020-10-05 주식회사 지팬스 Automatic identification monitoring system of container
CN111766882B (en) * 2020-07-03 2021-04-23 上海振华重工(集团)股份有限公司 Container detection method suitable for AGV and automatic wharf management system
CN114076569A (en) * 2020-08-20 2022-02-22 准时达国际供应链管理有限公司 Volume measurement method, volume measurement device, edge server and storage medium
KR102350107B1 (en) * 2020-12-16 2022-01-11 한국해양과학기술원 Cargo vehicle information collection system and method including cargo loading information at the port
KR102458087B1 (en) * 2021-03-03 2022-10-24 주식회사 이노메트릭스 Container photo damage reading of quay crane and labels of international maritime dangerous goods rule reading system
CN113065410A (en) * 2021-03-10 2021-07-02 广州云从鼎望科技有限公司 Intelligent control method, system, medium and device for container drawing process
KR102486027B1 (en) * 2021-11-03 2023-01-06 (주)엠디에스인텔리전스 Metering data collection server that collects metering data in conjunction with a camera arranged to photograph the area where the metering value is displayed on the meter and operating method thereof
KR102613126B1 (en) * 2022-05-17 2023-12-13 주식회사 이노메트릭스 Container cone inspection device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100756009B1 (en) * 2006-03-13 2007-09-06 주식회사 지팬스 System for 3d plane image pick up of container and a method thereof

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050022068A (en) * 2003-08-26 2005-03-07 주식회사 에스에스컴텍크 Container monitoring system
KR20120130375A (en) * 2011-05-23 2012-12-03 (주)하이텍정보시스템 Container monitoring system using a pantoscopic camera

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100756009B1 (en) * 2006-03-13 2007-09-06 주식회사 지팬스 System for 3d plane image pick up of container and a method thereof

Also Published As

Publication number Publication date
KR20190048543A (en) 2019-05-09

Similar Documents

Publication Publication Date Title
KR102019036B1 (en) Apparatus for container image recognition using position sensors and method thereof
US10834324B2 (en) Image distortion correction of a camera with a rolling shutter
EP3438777B1 (en) Method, apparatus and computer program for a vehicle
KR101647370B1 (en) road traffic information management system for g using camera and radar
CN109544620B (en) Image processing method and apparatus, computer-readable storage medium, and electronic device
US20160232410A1 (en) Vehicle speed detection
KR102008263B1 (en) Convergence detector and traffic enforcement system therewith
JP2018179911A (en) Range-finding device, distance information acquisition method
KR20160100788A (en) Apparatus and method for measuring speed of moving object
KR20200064873A (en) Method for detecting a speed employing difference of distance between an object and a monitoring camera
JPS59182688A (en) Stereoscopic processor
DK2690459T3 (en) Device and method for identifying and documenting at least one object passing through a radiation field
KR20140048539A (en) Method and apparatus for recognizing object using surrounding image of vehicle
US10852436B2 (en) Imaging system and method for monitoring a field of view
KR101296601B1 (en) The camera control system and method for producing the panorama of map information
CN106846385B (en) Multi-sensing remote sensing image matching method, device and system based on unmanned aerial vehicle
CN111563470A (en) Preloading monitoring system based on image splicing
JP6082556B2 (en) Imaging device
KR101057837B1 (en) Vehicle auto inspection system using laser beam
KR101227341B1 (en) System and method for monitoring vehicle violating traffic regulation using stereo camera
KR101649181B1 (en) Flight information estimator and estimation method of the flying objects
TW202311781A (en) Obstacle detection method utilizing an obstacle recognition model to recognize obstacle category corresponding to each obstacle
KR102298047B1 (en) Method of recording digital contents and generating 3D images and apparatus using the same
KR101470939B1 (en) A system and the method for detecting face using CCTV
KR20080049472A (en) Information detecting system using photographing apparatus load in vehicle and artificial neural network

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant