KR101173565B1 - Container detecting method using image processing - Google Patents

Container detecting method using image processing Download PDF

Info

Publication number
KR101173565B1
KR101173565B1 KR1020090131324A KR20090131324A KR101173565B1 KR 101173565 B1 KR101173565 B1 KR 101173565B1 KR 1020090131324 A KR1020090131324 A KR 1020090131324A KR 20090131324 A KR20090131324 A KR 20090131324A KR 101173565 B1 KR101173565 B1 KR 101173565B1
Authority
KR
South Korea
Prior art keywords
container
spreader
image processing
measuring
center point
Prior art date
Application number
KR1020090131324A
Other languages
Korean (ko)
Other versions
KR20110074383A (en
Inventor
김정
정윤섭
장인권
김은호
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020090131324A priority Critical patent/KR101173565B1/en
Publication of KR20110074383A publication Critical patent/KR20110074383A/en
Application granted granted Critical
Publication of KR101173565B1 publication Critical patent/KR101173565B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C1/00—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles
    • B66C1/10—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles by mechanical means
    • B66C1/101—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles by mechanical means for containers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders

Abstract

영상처리를 이용한 컨테이너 측정방법이 개시된다. 본 발명은 영상화면에 대한 영상처리를 통하여 컨테이너의 위치를 인식하는 단계와 인식한 컨테이너의 위치를 이용하여 스프레더와 상기 컨테이너간의 거리 정보 또는 각도 정보를 측정하는 단계를 포함한다. 본 발명은 보다 상세하게 컨테이너의 홀 사이의 길이정보를 이용하여 상기 컨테이너의 중심점을 계산하는 단계와 컨테이너의 중심점과 상기 영상화면의 중심점을 이용하여 상기 컨테이너와 상기 스프레더 간의 각도를 측정하는 단계를 더 포함할 수 있다.Disclosed is a container measuring method using image processing. The present invention includes recognizing a position of a container through image processing on an image screen and measuring distance information or angle information between the spreader and the container by using the recognized position of the container. The present invention further includes calculating a center point of the container using length information between the holes of the container and measuring an angle between the container and the spreader using the center point of the container and the center point of the image screen. It may include.

본 발명에 따르면, 날씨, 조명, 햇빛 등 영상화면에 영향을 주는 외적 환경요소를 고려하여 영상화면을 보정하고, 컨테이너의 불변하는 랜드마크(예를들면, 컨테이너의 에지 또는 직선성분 또는 가로세로 비율)를 이용하여 컨테이너를 검출하는 영상처리 알고리즘을 제공하며, 이와 같은 영상처리 알고리즘을 이용하여 컨테이너와 스프레더간의 거리 및 각도를 실시간으로 측정함으로써, 모바일 하버를 이용한 해상하역시 파도, 바람 등의 영향으로 컨테이너 및 스프레더가 심하게 흔들리는 상황에서도 스프레더가 컨테이너와의 완벽한 체결작업을 위한 컨테이너에 대한 정확한 좌표, 거리, 각도 정보을 실시간으로 취득할 수 있도록 하는 효과가 있다.According to the present invention, the image screen is corrected in consideration of external environmental factors affecting the video screen such as weather, lighting, sunlight, and the like, and the immutable landmarks of the container (for example, the edge or linear component of the container or the aspect ratio). ) Provides an image processing algorithm that detects a container and measures the distance and angle between the container and the spreader in real time using the image processing algorithm. Even when the container and the spreader are shaken severely, there is an effect that the spreader can obtain accurate coordinates, distance, and angle information about the container in real time for perfect fastening with the container.

컨테이너, 스프레더, 측정, 영상처리 Containers, Spreaders, Measurements, Image Processing

Description

영상처리를 이용한 컨테이너 측정방법{CONTAINER DETECTING METHOD USING IMAGE PROCESSING}Container measuring method using image processing {CONTAINER DETECTING METHOD USING IMAGE PROCESSING}

본 발명은 영상처리를 이용한 컨테이너 측정방법에 관한 것으로, 영상처리 대상의 영상화면에 대하여 외적환경변수의 영향을 고려한 전처리 보정을 수행하고 컨테이너의 불변하는 랜드마크(모서리, 홀, 에지, 직선성분, 가로세로비율)를 이용한 컨테이너 검출용 영상처리 알고리즘을 사용하여 스프레더가 해상하역 환경에서 실시간으로 정확한 컨테이너의 위치 정보를 측정할 수 있도록 하는 컨테이너 측정방법에 관한 것이다.The present invention relates to a method for measuring a container using image processing. The present invention relates to a method for measuring a container by performing preprocessing correction considering an influence of an external environmental variable on an image screen of an image processing target, and for immutable landmarks (edges, holes, edges, linear components, The present invention relates to a container measuring method that enables a spreader to measure accurate container position information in real time in a marine loading environment by using an image processing algorithm for detecting a container using an aspect ratio.

일반적으로, 컨테이너 크레인은 컨테이너를 싣고 내리는 선적 내지 하역장비로서, 컨테이너 크레인의 선적 내지 하역 속도는 화물의 취급속도와 처리능력 한계를 결정하는 핵심적 요소이다. 따라서, 최근 선박 및 컨테이너가 대형화되어 단일 선박에 또는 선박으로부터 선적 또는 하역하여야 할 화물의 양이 증가하고, 해상에서 화물을 선적 또는 하역하는 모바일 하버(이동항구)의 개념이 등장하면서, 신속하고 정밀한 컨테이너 운반이 더욱 중요하게 되었다.In general, container cranes are loading and unloading equipment for loading and unloading containers. The loading and unloading speed of container cranes is a key factor in determining the handling speed and processing capacity limit of cargo. Accordingly, ships and containers have become larger in recent years, increasing the amount of cargo to be loaded or unloaded on or from a single vessel, and the concept of a mobile harbor (mobile port) for loading or unloading cargo at sea has emerged. Container transportation has become more important.

또한, 모바일 하버를 이용한 해상 작업시 컨테이너 크레인의 스프레더와 컨테이너가 심하게 흔들리기 때문에, 컨테이너와 스프레더 간의 완벽한 체결을 위해서는 컨테이너와 스프레더 간 위치정보(높이, 각도, 좌표정보)에 대한 실시간 측정이 요구된다. In addition, since the spreader and container of the container crane are violently shaken during sea work using the mobile harbor, real-time measurement of the position information (height, angle, coordinate information) between the container and the spreader is required for the perfect connection between the container and the spreader. .

그러나, 기존에는 컨테이너 검출 성능의 한계로 인하여 실시간 컨테이너 인식이 어려우며, 컨테이너와 스프레더 간 위치정보에 대한 실시간 측정이 힘든 관계로 모바일 하버의 무인자동화를 어렵게하는 문제점이 존재하였다.However, in the past, due to the limitation of the container detection performance, real-time container recognition is difficult, and real-time measurement of the location information between the container and the spreader is difficult, so that there is a problem that makes the unmanned automation of the mobile harbor difficult.

이와 같은 문제점을 해결하기 위하여, 본 발명에 따른 영상처리를 이용한 컨테이너 측정방법은 모바일 하버를 이용한 해상하역시 파도, 바람 등의 영향으로 컨테이너 및 스프레더가 심하게 흔들리는 상황에서도 스프레더가 컨테이너와의 완벽한 체결작업을 위한 컨테이너에 대한 정확한 좌표, 거리, 각도 정보을 실시간으로 취득할 수 있도록, 날씨, 조명, 햇빛 등 영상화면에 영향을 주는 외적 환경요소를 고려하여 영상화면을 보정하고, 컨테이너의 불변하는 랜드마크(예를들면, 컨테이너의 에지 또는 직선성분 또는 가로세로 비율)를 이용하여 컨테이너를 검출하는 영상처리 알고리즘을 제공하며, 이와 같은 영상처리 알고리즘을 이용하여 컨테이너와 스프레더간의 거리 및 각도를 실시간으로 측정한다.In order to solve such a problem, the container measuring method using the image processing according to the present invention is a perfect fastening operation with the container even in the situation where the container and the spreader are severely shaken due to the effects of waves, wind, etc. during sea unloading using the mobile harbor In order to obtain accurate coordinates, distances and angles for the container in real time, the image screen is corrected in consideration of external environmental factors affecting the video screen such as weather, lighting, and sunlight. For example, an image processing algorithm for detecting a container using an edge or a linear component or an aspect ratio of a container is provided, and the distance and angle between the container and the spreader are measured in real time using the image processing algorithm.

본 발명에 따른 영상처리를 이용한 컨테이너 측정방법은 영상화면에 대한 영상처리를 통하여 컨테이너의 위치를 인식하는 단계와 인식한 컨테이너의 위치를 이용하여 스프레더와 컨테이너간의 거리 정보 또는 각도 정보를 측정하는 단계를 포함한다.The container measuring method using the image processing according to the present invention comprises the steps of recognizing the position of the container through the image processing on the image screen and measuring the distance information or angle information between the spreader and the container using the recognized container position Include.

여기서, 컨테이너의 위치를 인식하는 단계는 영상처리에 영향을 미치는 외적 환경 변수를 보정하는 전처리 단계를 포함하는 것을 특징으로 한다.Here, the step of recognizing the position of the container is characterized in that it comprises a preprocessing step of correcting the external environmental variables affecting the image processing.

또한, 여기서 외적 환경 변수를 보정하는 전처리 단계는 영상화면의 각 픽셀에 대한 그레이(gray) 값의 범위를 골고루 분포하도록 재배치함으로써 상기 영상화면의 콘트라스트를 증대시키는 것을 특징으로 한다.In addition, the pre-processing step of correcting the external environment variable may be characterized by increasing the contrast of the image screen by rearranging the range of gray values for each pixel of the image screen to be evenly distributed.

또한, 전처리 단계는 영상화면에서 과조명 또는 빛의 반사로 인하여 밝게 보이는 부분을 잡음성분으로 인식하여 상기 영상처리에서 제외하는 것을 특징으로 한다.In addition, the pre-processing step is characterized in that it is recognized as a noise component in the image screen due to over-illumination or reflection of light to exclude from the image processing.

또한, 컨테이너의 위치를 인식하는 단계는 컨테이너의 에지 또는 직선성분 또는 가로세로 비율을 통하여 사각형 구조를 인식하는 단계와 인식된 사각형 구조 중에서 안쪽에 홀(hole)이 검출되면 컨테이너로 판정하는 단계를 포함한다.In addition, the step of recognizing the position of the container includes the step of recognizing the rectangular structure through the edge or linear component or the aspect ratio of the container and determining the container when a hole is detected inside the recognized rectangular structure. do.

또한, 여기서 컨테이너로 판정하는 단계는 템플릿 매칭 알고리즘(template matching algorithm)을 이용하여 상기 홀을 검출하는 단계를 포함하는 것을 특징으로 한다.In addition, the determining of the container may include detecting the hole using a template matching algorithm.

또한, 여기서 홀이 검출되지 않은 상기 사각형 구조는 노이즈로 제거하는 단계를 더 포함하는 것을 특징으로 한다.In addition, the rectangular structure in which no holes are detected may further include removing noise.

또한 컨테이너의 위치를 인식하는 단계 후에, 옵티컬 플로우(optical flow) 기법을 이용하여 상기 영상화면에서 실시간으로 상기 컨테이너를 추적하는 단계를 더 포함하는 것을 특징으로 한다.The method may further include tracking the container in real time on the image screen by using an optical flow technique after recognizing the position of the container.

또한, 스프레더와 컨테이너간의 거리 정보 또는 각도 정보를 측정하는 단계는 컨테이너의 홀 사이의 길이정보를 이용하여 상기 컨테이너의 중심점을 계산하는 단계와 컨테이너의 중심점과 상기 영상화면의 중심점을 이용하여 상기 컨테이너와 상기 스프레더 간의 각도를 측정하는 단계를 포함한다.The measuring of distance information or angle information between the spreader and the container may include calculating a center point of the container using length information between the holes of the container and using the center point of the container and the center point of the image screen. Measuring an angle between the spreaders.

또한, 위 단계는 컨테이너의 중심점과 상기 영상화면에서 상기 스프레더의 레이저 센서가 표시된 부분을 일치시킨 후에, 상기 레이저 센서를 이용하여 상기 컨테이너와 상기 스프레더간의 거리를 측정하는 단계를 더 포함한다.The above step may further include measuring the distance between the container and the spreader using the laser sensor after matching the center point of the container with the portion where the laser sensor of the spreader is displayed on the image screen.

또한, 위 단계에서 컨테이너와 상기 스프레더가 실시간으로 변동하는 경우, 상기 각도를 이용하여 상기 컨테이너의 위치를 연속적으로 제어하는 단계를 더 포함한다.The method may further include continuously controlling the position of the container by using the angle when the container and the spreader change in real time in the above step.

본 발명에 따르면, 날씨, 조명, 햇빛 등 영상화면에 영향을 주는 외적 환경요소를 고려하여 영상화면을 보정하고, 컨테이너의 불변하는 랜드마크(예를들면, 컨테이너의 에지 또는 직선성분 또는 가로세로 비율)를 이용하여 컨테이너를 검출하는 영상처리 알고리즘을 제공하며, 이와 같은 영상처리 알고리즘을 이용하여 컨테이너와 스프레더간의 거리 및 각도를 실시간으로 측정함으로써, 모바일 하버를 이용한 해상하역시 파도, 바람 등의 영향으로 컨테이너 및 스프레더가 심하게 흔들리는 상황에서도 스프레더가 컨테이너와의 완벽한 체결작업을 위한 컨테이너에 대한 정확한 좌표, 거리, 각도 정보을 실시간으로 취득할 수 있도록 하는 효과가 있다.According to the present invention, the image screen is corrected in consideration of external environmental factors affecting the video screen such as weather, lighting, sunlight, and the like. ) Provides an image processing algorithm that detects a container and measures the distance and angle between the container and the spreader in real time using the image processing algorithm. Even when the container and the spreader are shaken severely, there is an effect that the spreader can obtain accurate coordinates, distance, and angle information about the container in real time for perfect fastening with the container.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들에 따른 영상처리를 이용한 컨테이너 검출방법에 대하여 상세하게 설명한다. 이하의 구체적인 실시예들은 본 발명에 따른 영상처리를 이용한 컨테이너 검출방법을 예시적으로 설명하는 것일 뿐, 본 발명의 범위를 제한하는 것으로 의도되지 아니한다. Hereinafter, a container detection method using image processing according to embodiments of the present invention will be described in detail with reference to the accompanying drawings. The following specific embodiments are merely illustrative of the container detection method using the image processing according to the present invention, it is not intended to limit the scope of the present invention.

도 1은 본 발명에 의한 영상처리에 의한 컨테이너 검출 방법을 도시한 흐름도이다. 도1을 참조하여, 본 발명에 의한 영상처리에 의한 컨테이너 검출 방법을 이하에서 상세하게 설명한다. 1 is a flowchart illustrating a container detection method by image processing according to the present invention. Referring to Fig. 1, a container detection method by image processing according to the present invention will be described in detail below.

먼저, 스프레더는 영상화면에 대한 영상처리를 통하여 컨테이너의 위치를 인식한다(100단계).First, the spreader recognizes the position of the container through image processing on the image screen (step 100).

도 2는 본 발명에 의한 영상처리를 통하여 컨테이너의 위치를 인식하는 인식방법을 도시한 흐름도이다. 도 2를 참조하면, 영상화면에 대한 영상처리를 통하여 컨테이너의 위치를 인식하는 방법은 영상처리에 영향을 미치는 외적 환경 변수를 보정하는 전처리 단계를 수행한다(110단계).2 is a flowchart illustrating a recognition method of recognizing a position of a container through image processing according to the present invention. Referring to FIG. 2, in the method of recognizing the position of a container through image processing on an image screen, a preprocessing step of correcting external environmental variables affecting image processing is performed (step 110).

이와같은 전처리 단계(110단계)는 히스토그램 평활화(histogram equalization) 기법을 통하여 영상의 명암값을 조절하는 단계와 영상화면상에서 과도하게 밝은 부분을 제거하는 단계로 나누어 진다.This preprocessing step (110) is divided into a step of adjusting the contrast value of the image through the histogram equalization technique and the step of removing excessively bright parts on the image screen.

먼저, 히스토그램 평활화 기법을 사용하는 단계는 영상화면의 각 픽셀에 대한 그레이(gray) 값의 범위를 골고루 분포하도록 재배치함으로써 영상화면의 콘트라스트를 증대시킨다. 이와 같이 함으로써, 어두운 영역에서의 세밀한 부분을 강조할 수 있게 된다.First, the step of using the histogram smoothing technique increases the contrast of the image screen by rearranging the range of gray values for each pixel of the image screen to be evenly distributed. By doing in this way, the detail in the dark area can be emphasized.

또한 영상화면 상에서 과도하게 밝은부분을 제거하는 단계는 영상화면에서 과조명 또는 빛의 반사로 인하여 밝게 보이는 부분을 잡음성분으로 인식하여 상기 영상처리에서 제외한다.In addition, the step of removing excessively bright portions on the image screen recognizes the portions that appear bright due to over-lighting or light reflection on the image screen and excludes them from the image processing.

도 4는 영상에서 과도하게 밝은 부분을 제거하는 실시예를 설명하기 위한 도면이다. 도 4를 참조하면, 영상에서 과조명 또는 햇빛 등의 빛의 반사로 밝게 보이는 부분(400)이 존재할 수 있는데, 이와 같은 밝은 부분(400)은 영상정보를 처리하는데 있어 잡음 정보에 해당한다. 따라서, 영상화면의 해당 픽셀에서 RGB값이 특정한 값 이상에 해당하는 경우, 이를 과도하게 밝은 부분으로 인식하여 노이즈로 판단하고 해당 픽셀값을 제거한다. 구체적으로 아래의 수학식 1과 같은 방식으로 영상에서 과도하게 밝은 부분을 제거할 수 있다.FIG. 4 is a diagram for describing an embodiment of removing an excessively bright part from an image. Referring to FIG. 4, there may be a part 400 that appears bright due to reflection of light such as over-illumination or sunlight in an image. Such a bright part 400 corresponds to noise information in processing image information. Therefore, when the RGB value of the corresponding pixel of the image screen is greater than or equal to a certain value, it is recognized as an excessively bright part and is determined as noise and the corresponding pixel value is removed. In more detail, an excessively bright part may be removed from an image in the same manner as in Equation 1 below.

Figure 112009080386211-pat00001
Figure 112009080386211-pat00001

여기서 i와 j는 영상에서의 각 x,y 좌표에 해당한다.Where i and j correspond to each x, y coordinate in the image.

수학식 1에서는, 해당 픽셀에서 RGB 값이 180 이상이면 밝은 부분으로 인식하여 해당 픽셀값을 제거한다. 여기서 해당 픽셀값을 제거한다는 것은 추후의 영상처리에 있어 해당부분을 고려하지 않겠다는 의미이다.In Equation 1, when the RGB value is 180 or more in the pixel, the pixel is recognized as a bright part and the pixel value is removed. In this case, removing the pixel value means that the corresponding part will not be considered in later image processing.

110단계에서 전처리 과정을 수행한 이후에 본 발명에 의한 측정방법은 상기 컨테이너의 에지 또는 직선성분 또는 가로세로 비율을 통하여 사각형 구조를 인식하고, 인식된 사각형 구조 중에서 안쪽에 홀(hole)이 검출되면 컨테이너로 판정한다(120단계).After performing the pre-treatment process in step 110, the measuring method according to the present invention recognizes a rectangular structure through the edge of the container or a linear component or aspect ratio, and if a hole is detected inside of the recognized rectangular structure It is determined as a container (step 120).

120 단계에서 컨테이너 판정을 위한 후보군(candidate)을 선정하기 위한 사각형 구조를 인식할때, 캐니 에지 검출기(canny edge detector)에 의하여 에지 성분을 검출하고, hough 변환(transform)을 이용하여 직선성분을 검출한다. 이와 같이 에지 성분 및 직선성분의 검출에 의하여 사각형 구조(candidate)를 인식하고, 사각형 구조로 인식된 후보군(candidate) 가운데서, 인식된 구조 안쪽에 홀 성분이 존재하는지의 유무를 판단하여 존재한다고 판단되는 경우 컨테이너로 판정한다.In step 120, when recognizing a rectangular structure for selecting a candidate for container determination, edge components are detected by a canny edge detector, and linear components are detected by using a hough transform. do. In this way, the rectangular structure is recognized by the detection of the edge component and the linear component, and among the candidate groups recognized as the rectangular structure, it is judged whether or not the hole component exists inside the recognized structure. If so, determine with the container.

도 5는 컨테이너에 포함된 홀의 특징부를 도시한 도면이다. 또한 도 6은 컨테이너에서 그 식별을 위하여 랜드마크 성분(홀 성분)을 위치하도록 한 것을 도시한 도면이다. 5 is a view illustrating features of a hole included in a container. 6 is a view showing that the landmark component (hole component) is located in the container for identification thereof.

도 5 및 도 6을 참조하면, 컨테이너 성분을 확실하게 식별 가능하도록 하기 위하여 랜드마크 성분을 이용하는데, 모바일 하버와 같은 해상 하역 환경에서는 별 도의 랜드마크 성분을 찾기 어렵기 때문에, 도 6의 홀성분(600)과 같이 컨테이너 위에 위치한 특징 성분을 식별을 위한 식별자로서 사용한다. 컨테이너에 설치된 홀성분(600) 역시 도 5의 홀성분(500)과 마찬가지로 일정한 형태를 가지고 있다. 따라서, 이와 같은 일정한 형태의 홀 성분(500, 600)을 검출하기 이하여 템플릿 매칭 알고리즘(template matching algorithm)을 이용하여 홀 성분을 검출하게 된다. Referring to FIGS. 5 and 6, the landmark component is used to reliably identify the container component. However, since the separate landmark component is difficult to find in a marine unloading environment such as a mobile harbor, the hole component of FIG. 6 is used. The feature component located on the container as 600 is used as an identifier for identification. The hole component 600 installed in the container also has a certain shape like the hole component 500 of FIG. 5. Accordingly, the hole component 500 and 600 may be detected using a template matching algorithm, in order to detect the hole component 500 and 600 having a predetermined shape.

한편, 사각형 구조로 인식된 후보군(candidate) 가운데서도 템플릿 매칭 알고리즘(template matching algorithm)에 의하여 판단한 결과, 홀이 검출되지 않으면 그와 같은 사각형 구조는 노이즈로 판단하여 제거하게 된다(130 단계).On the other hand, as a result of determining by a template matching algorithm among candidates recognized as a rectangular structure, if a hole is not detected, such a rectangular structure is determined as noise and removed (step 130).

또한, 110단계에서 130단계를 거쳐 컨테이너의 식별이 완료된 경우, 옵티컬 플로우(optical flow) 기법을 이용하여 영상화면에서 실시간으로 컨테이너를 추적하는 단계를 거치게 된다. In addition, when the identification of the container is completed through the steps 110 to 130, the container is tracked in real time on an image screen using an optical flow technique.

이와 같이 옵티컬 플로우(optical flow) 기법을 사용하는 것은 연속적인 모든 영상마다 컨테이너 검출 알고리즘을 적용하면 영상처리 시간으로 인해 실시간 처리가 어려워지기 때문에, 이를 극복하기 위하여 옵티컬 플로우(optical flow) 기법을 적용한 추적방식을 사용하게 된다.In this way, the optical flow technique uses a container detection algorithm for every successive image, making it difficult to process in real time due to the image processing time. Therefore, the optical flow technique is used to track the optical flow technique. The method is used.

이와 같이 100단계에서 영상화면에 대한 영상처리를 통하여 컨테이너의 위치를 인식한 이후에, 인식한 컨테이너의 위치를 이용하여 스프레더와 상기 컨테이너간의 거리 정보 또는 각도 정보를 측정하게 된다(200단계).As described above, after recognizing the position of the container through image processing on the image screen in step 100, distance information or angle information between the spreader and the container is measured using the recognized container position (step 200).

도 3은 인식한 컨테이너의 위치를 이용하여 스프레더와 상기 컨테이너간의 거리 정보 또는 각도 정보를 측정하는 200 단계를 보다 상세하게 나타낸 흐름도이 다. 또한 도7은 스프레더에서 카메라 및 레이저 센서의 구조를 도시한 도면이다. 또한, 도 8 및 도9는 스프레더와 컨테이너간의 위치 및 각도를 계산하기 위하여 영상화면에서 그 중심점과 레이저 센서의 중심점을 도시한 도면이다. 3 is a flow chart illustrating in more detail 200 steps of measuring distance information or angle information between a spreader and the container using the recognized container position. 7 is a view showing the structure of the camera and the laser sensor in the spreader. 8 and 9 are diagrams showing the center point of the image screen and the center point of the laser sensor in order to calculate the position and angle between the spreader and the container.

도 3, 도 7, 도 8 및 도 9를 참조하면, 인식한 컨테이너의 위치를 이용하여 스프레더와 상기 컨테이너간의 거리 정보 또는 각도 정보를 측정하는 단계는 먼저 컨테이너의 홀 사이의 길이정보를 이용하여 상기 컨테이너의 중심점을 계산한다(210단계). 컨테이너의 중심점을 계산한 후에는 컨테이너의 중심점과 상기 영상화면의 중심점을 이용하여 상기 컨테이너와 상기 스프레더 간의 각도를 측정한다(220단계). 220단계에서 도 8에 도시된 바와 같이 영상화면의 수평선과 영상의 중심점(720) 및 컨테이너의 중심점을 연결한 성분 사이의 각도를 이용하여 컨테이너와 스프레더간의 각도를 측정한다. 컨테이너와 스프레더가 실시간으로 변동하는 경우에도, 220단계에서 측정한 각도를 이용하여 모바일 하버에서 컨테이너의 위치를 연속적으로 제어하는 것이 가능하다.3, 7, 8, and 9, the step of measuring distance information or angle information between the spreader and the container using the recognized container position may be performed by using the length information between the holes of the container. The center point of the container is calculated (step 210). After calculating the center point of the container, the angle between the container and the spreader is measured using the center point of the container and the center point of the image screen (step 220). In operation 220, the angle between the container and the spreader is measured using an angle between the horizontal line of the image screen, the center point 720 of the image screen, and the component connecting the center point of the container. Even when the container and the spreader change in real time, it is possible to continuously control the position of the container in the mobile harbor using the angle measured in step 220.

또한, 220단계를 수행한 후, 컨테이너의 중심점과 상기 영상화면에서 상기 스프레더의 레이저 센서가 표시된 부분을 일치시키고, 레이저 센서를 이용하여 상기 컨테이너와 상기 스프레더간의 거리를 측정한다(230단계). 도 7 및 도 9를 참조하면, 도 7의 스프레더(740)에 포함된 CCD 카메라(700)에서 촬영한 영상에서는 그 중심점(720)이 영상화면에 표시(920)된다. 또한 도 7의 스프레더(740)에 포함된 레이저 센서(710)의 중심점에서 출력된 레이저 신호가 영상 화면에서 좌표(830, 930)로서 표시된다. In addition, after performing step 220, the center point of the container and the portion where the laser sensor of the spreader is displayed on the image screen match, and the distance between the container and the spreader is measured using a laser sensor (step 230). 7 and 9, in the image photographed by the CCD camera 700 included in the spreader 740 of FIG. 7, the center point 720 is displayed 920 on the image screen. In addition, the laser signal output from the center point of the laser sensor 710 included in the spreader 740 of FIG. 7 is displayed as coordinates 830 and 930 on the image screen.

230 단계에서는 220단계에서 측정한 스프레더로부터 콘테이너를 향한 방향을 따라 스프레더를 이동시킨다. 이와 같이 이동한 결과 레이저 센서의 중심점(830, 930)과 영상 화면의 중심점(820, 920)이 일치하게 되면 해당 지점에서 레이저 센서를 이용하여 실제 거리를 측정하게 된다.In step 230, the spreader is moved along the direction from the spreader measured in step 220 toward the container. As a result of the movement, when the center points 830 and 930 of the laser sensor coincide with the center points 820 and 920 of the image screen, the actual distance is measured using the laser sensor at the corresponding point.

이상 본 발명의 실시예들에 따른 영상처리를 이용한 컨테이너 검출방법의 구체적인 실시 형태를 설명하였으나, 이는 예시에 불과한 것으로서, 본 발명은 이에 한정되지 않으며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 각 구성요소의 재질, 크기 등을 적용 분야에 따라 변경할 수 있으며, 개시된 실시형태들을 조합/치환하여 적시되지 않은 형상의 패턴을 실시할 수 있으나, 이 역시 본 발명의 범위를 벗어나지 않는 것이다. 이 외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 포함되는 것은 명백하다.Although a specific embodiment of a container detection method using image processing according to the embodiments of the present invention has been described above, this is merely an example, and the present invention is not limited thereto. It should be interpreted as having. Those skilled in the art can change the material, size, etc. of each component according to the application field, it is possible to implement a pattern of the shape not shown by combining / replacing the disclosed embodiments, which is also not departing from the scope of the present invention. In addition, those skilled in the art can easily change or modify the disclosed embodiments based on the present specification, it is apparent that such changes or modifications are included in the scope of the present invention.

도 1은 본 발명에 의한 영상처리에 의한 컨테이너 검출 방법을 도시한 흐름도이다.1 is a flowchart illustrating a container detection method by image processing according to the present invention.

도 2는 본 발명에 의한 영상처리를 통하여 컨테이너의 위치를 인식하는 인식방법을 도시한 흐름도이다.2 is a flowchart illustrating a recognition method of recognizing a position of a container through image processing according to the present invention.

도 3은 인식한 컨테이너의 위치를 이용하여 스프레더와 상기 컨테이너간의 거리 정보 또는 각도 정보를 측정하는 200 단계를 보다 상세하게 나타낸 흐름도이다.FIG. 3 is a detailed flowchart illustrating step 200 of measuring distance information or angle information between a spreader and the container using the recognized container position.

도 4는 영상에서 과도하게 밝은 부분을 제거하는 실시예를 설명하기 위한 도면이다.FIG. 4 is a diagram for describing an embodiment of removing an excessively bright part from an image.

도 5는 컨테이너에 포함된 홀의 특징부를 도시한 도면이다. 5 is a view illustrating features of a hole included in a container.

도 6은 컨테이너에서 그 식별을 위하여 랜드마크 성분(홀 성분)을 위치하도록 한 것을 도시한 도면이다. FIG. 6 is a view showing that the landmark component (hole component) is placed in the container for identification thereof.

도7은 스프레더에서 카메라 및 레이저 센서의 구조를 도시한 도면이다. 7 shows the structure of a camera and a laser sensor in a spreader.

도 8 및 도9는 스프레더와 컨테이너간의 위치 및 각도를 계산하기 위하여 영상화면에서 그 중심점과 레이저 센서의 중심점을 도시한 도면이다. 8 and 9 are diagrams showing the center point of the image screen and the center point of the laser sensor in order to calculate the position and angle between the spreader and the container.

Claims (11)

영상화면에 대한 영상처리를 통하여 컨테이너의 위치를 인식하는 단계; 및Recognizing the position of the container through image processing on the image screen; And 상기 인식한 컨테이너의 위치를 이용하여 스프레더와 상기 컨테이너간의 거리 정보 또는 각도 정보를 측정하는 단계를 포함하고,Measuring distance information or angle information between the spreader and the container using the recognized position of the container, 상기 인식하는 단계는Recognizing the step 상기 컨테이너의 에지 또는 직선성분 또는 가로세로 비율을 통하여 사각형 구조를 인식하는 단계와Recognizing a rectangular structure through the edge or linear component or aspect ratio of the container and 상기 인식된 사각형 구조 중에서 안쪽에 홀(hole)이 검출되면 컨테이너로 판정하는 단계를 포함하는 것을 특징으로 하는And determining a container when a hole is detected inside the recognized rectangular structure. 컨테이너 측정방법. Container measuring method. 제1항에 있어서,The method of claim 1, 상기 인식하는 단계는 Recognizing the step 상기 영상처리에 영향을 미치는 외적 환경 변수를 보정하는 전처리 단계를 포함하는 컨테이너 측정방법.Container processing method comprising a pre-processing step of correcting external environmental variables affecting the image processing. 제2항에 있어서,3. The method of claim 2, 상기 전처리 단계는The pretreatment step 상기 영상화면의 각 픽셀에 대한 그레이(gray) 값의 범위를 골고루 분포하도록 재배치함으로써 상기 영상화면의 콘트라스트를 증대시키는 것을 특징으로 하는 컨테이너 측정방법.And rearranging the range of gray values for each pixel of the video screen so as to evenly distribute the contrast of the video screen. 제2항에 있어서,3. The method of claim 2, 상기 전처리 단계는The pretreatment step 상기 영상화면에서 과조명 또는 빛의 반사로 인하여 밝게 보이는 부분을 잡음성분으로 인식하여 상기 영상처리에서 제외하는 것을 특징으로 하는 컨테이너 측정방법.Recognizing a portion of the image screen that appears bright due to over-illumination or light reflection as a noise component, characterized in that excluded from the image processing. 삭제delete 제1항에 있어서,The method of claim 1, 상기 판정하는 단계는The determining step 템플릿 매칭 알고리즘(template matching algorithm)을 이용하여 상기 홀을 검출하는 단계Detecting the hole using a template matching algorithm 를 포함하는 컨테이너 측정방법.Container measuring method comprising a. 제1항에 있어서,The method of claim 1, 상기 홀이 검출되지 않은 상기 사각형 구조는 노이즈로 제거하는 것을 특징으로 하는 컨테이너 측정방법.The rectangular structure in which the hole is not detected is removed by noise. 제1항에 있어서,The method of claim 1, 상기 인식하는 단계 후에,After the recognizing step, 옵티컬 플로우(optical flow) 기법을 이용하여 상기 영상화면에서 실시간으로 상기 컨테이너를 추적하는 단계를 더 포함하는 것을 특징으로 하는 컨테이너 측정방법.And tracking the container in real time on the image screen using an optical flow technique. 제1항에 있어서,The method of claim 1, 상기 측정하는 단계는The measuring step 상기 컨테이너의 홀 사이의 길이정보를 이용하여 상기 컨테이너의 중심점을 계산하는 단계;Calculating a center point of the container using length information between the holes of the container; 상기 컨테이너의 중심점과 상기 영상화면의 중심점을 이용하여 상기 컨테이너와 상기 스프레더 간의 각도를 측정하는 단계Measuring an angle between the container and the spreader using a center point of the container and a center point of the image screen 를 포함하는 컨테이너 측정방법.Container measuring method comprising a. 제9항에 있어서,10. The method of claim 9, 상기 컨테이너의 중심점과 상기 영상화면에서 상기 스프레더의 레이저 센서가 표시된 부분을 일치시킨 후에, 상기 레이저 센서를 이용하여 상기 컨테이너와 상기 스프레더간의 거리를 측정하는 단계를 더 포함하는 컨테이너 측정방법.And matching the center point of the container with the portion of the spreader where the laser sensor is displayed, and then measuring the distance between the container and the spreader using the laser sensor. 제9항 또는 제10항에 있어서,11. The method according to claim 9 or 10, 상기 컨테이너와 상기 스프레더가 실시간으로 변동하는 경우, 상기 각도를 이용하여 상기 컨테이너의 위치를 연속적으로 제어하는 단계를 더 포함하는 것을 특징으로 하는 컨테이너 측정방법.And continuously controlling the position of the container by using the angle when the container and the spreader change in real time.
KR1020090131324A 2009-12-24 2009-12-24 Container detecting method using image processing KR101173565B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090131324A KR101173565B1 (en) 2009-12-24 2009-12-24 Container detecting method using image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090131324A KR101173565B1 (en) 2009-12-24 2009-12-24 Container detecting method using image processing

Publications (2)

Publication Number Publication Date
KR20110074383A KR20110074383A (en) 2011-06-30
KR101173565B1 true KR101173565B1 (en) 2012-08-13

Family

ID=44404735

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090131324A KR101173565B1 (en) 2009-12-24 2009-12-24 Container detecting method using image processing

Country Status (1)

Country Link
KR (1) KR101173565B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507984B (en) * 2021-02-03 2021-05-11 苏州澳昆智能机器人技术有限公司 Conveying material abnormity identification method, device and system based on image identification

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100484706B1 (en) 2000-10-27 2005-04-22 미츠비시 쥬고교 가부시키가이샤 Container position measuring method and device for cargo crane and container landing/stacking method
KR100528489B1 (en) 2002-09-10 2005-11-15 부산대학교 산학협력단 Spreader pose determination using camera and laser sensor
JP2006273533A (en) 2005-03-30 2006-10-12 Mitsui Eng & Shipbuild Co Ltd Crane for loading/unloading container

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100484706B1 (en) 2000-10-27 2005-04-22 미츠비시 쥬고교 가부시키가이샤 Container position measuring method and device for cargo crane and container landing/stacking method
KR100528489B1 (en) 2002-09-10 2005-11-15 부산대학교 산학협력단 Spreader pose determination using camera and laser sensor
JP2006273533A (en) 2005-03-30 2006-10-12 Mitsui Eng & Shipbuild Co Ltd Crane for loading/unloading container

Also Published As

Publication number Publication date
KR20110074383A (en) 2011-06-30

Similar Documents

Publication Publication Date Title
CN108291880B (en) Arrangement, method, device and software for checking containers
Shen et al. A positioning lockholes of container corner castings method based on image recognition
US8121400B2 (en) Method of comparing similarity of 3D visual objects
CN107671896B (en) Rapid visual positioning method and system based on SCARA robot
KR100823549B1 (en) Recognition method of welding line position in shipbuilding subassembly stage
CN108460800B (en) Container image positioning method and system
US20220156914A1 (en) Surface abnormality detection device and system
CN109911481B (en) Cabin frame target visual identification and positioning method and system for metallurgical robot plugging
CN111539927B (en) Detection method of automobile plastic assembly fastening buckle missing detection device
CN111767780B (en) AI and vision combined intelligent integrated card positioning method and system
CN108492327B (en) AOI image matching method, system, readable storage medium and intelligent device
CN110619328A (en) Intelligent ship water gauge reading identification method based on image processing and deep learning
US20170316573A1 (en) Position measuring equipment
KR20110027460A (en) A method for positioning and orienting of a pallet based on monocular vision
Zhou et al. UAV vision detection method for crane surface cracks based on Faster R-CNN and image segmentation
Barkavi et al. Processing digital image for measurement of crack dimensions in concrete
KR101173565B1 (en) Container detecting method using image processing
CN109341664A (en) The swing state measurement method of the two-dimentional overhead crane of view-based access control model
CN107767366B (en) A kind of transmission line of electricity approximating method and device
CN113610054A (en) Underwater structure disease depth detection method, system and device and storage medium
CN115205317A (en) Bridge monitoring photoelectric target image light spot center point extraction method
CN114565596A (en) Steel surface crack detection and prediction method based on deep learning and video understanding
CN115375610A (en) Detection method and device, detection equipment and storage medium
CN113469970A (en) Vortex-induced vibration monitoring method, system, equipment and storage medium
Huang et al. Gray object recognition and angle measurement method based on mean shift to overhead crane systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150729

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee