KR101092133B1 - Method of Detecting Area and Measuring Distance of Container - Google Patents

Method of Detecting Area and Measuring Distance of Container Download PDF

Info

Publication number
KR101092133B1
KR101092133B1 KR1020090115896A KR20090115896A KR101092133B1 KR 101092133 B1 KR101092133 B1 KR 101092133B1 KR 1020090115896 A KR1020090115896 A KR 1020090115896A KR 20090115896 A KR20090115896 A KR 20090115896A KR 101092133 B1 KR101092133 B1 KR 101092133B1
Authority
KR
South Korea
Prior art keywords
container
angle
image
distance
predetermined
Prior art date
Application number
KR1020090115896A
Other languages
Korean (ko)
Other versions
KR20110059234A (en
Inventor
이응주
Original Assignee
동명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동명대학교산학협력단 filed Critical 동명대학교산학협력단
Priority to KR1020090115896A priority Critical patent/KR101092133B1/en
Publication of KR20110059234A publication Critical patent/KR20110059234A/en
Application granted granted Critical
Publication of KR101092133B1 publication Critical patent/KR101092133B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C1/00—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles
    • B66C1/10—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles by mechanical means
    • B66C1/101—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles by mechanical means for containers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/16—Applications of indicating, registering, or weighing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

항만에서 크레인을 자동으로 제어하는데에 필요로 하는 컨테이너의 성량 및 크레인으로부터 컨테이너 사이의 거리 정보를 획득하는 컨테이너 성량 및 거리 검출 방법을 공개한다. 방법은 a) 상기 스테레오 카메라에 의해 소정 영역을 촬영하는 단계; b) 단계 a)에 의해 촬영된 화상으로부터 에지들을 검출하는 단계; c) 단계 b)에 의해 검출된 에지들로부터 직선 성분들을 검출하는 단계; d) 상기 검출된 직선 성분들을 기초로 컨테이너 후보 영역들을 도출하는 단계; e) 상기 컨테이너 후보 영역들과 에지가 검출된 이미지를 맵핑하여, 컨테이너 영역을 검출하는 단계; f) 단계 e)에 의해 검출된 컨테이너 영역의 화상을 기초로, 컨테이너의 3D 이미지를 생성하는 단계; g) 상기 라인 스캐너를 이용하여 소정의 측정 각도 및 소정의 앵글 각도로 스캐닝하는 단계; 및 h) 상기 컨테이너 후보 영역들 및 상기 스테레오 카메라의 초점 각을 이용하여, 상기 스캐닝 정보로부터 상기 라인 스캐너 및 상기 컨테이너 사이의 거리를 검출하는 단계를 포함한다.Disclosed is a container capacity and a distance detection method for acquiring the capacity of a container required for automatic control of a crane in a port and the distance information between the crane and the container. The method comprises the steps of: a) photographing an area by the stereo camera; b) detecting edges from the image taken by step a); c) detecting linear components from the edges detected by step b); d) deriving container candidate regions based on the detected linear components; e) mapping the container candidate regions and an edge-detected image to detect a container region; f) generating a 3D image of the container based on the image of the container area detected by step e); g) scanning with the line scanner at a predetermined measurement angle and a predetermined angle angle; And h) detecting a distance between the line scanner and the container from the scanning information using the container candidate regions and the focal angle of the stereo camera.

크레인, 컨테이너, 성량, 거리, 검출 Crane, container, quantity, distance, detection

Description

컨테이너 성량 및 거리 검출 방법{Method of Detecting Area and Measuring Distance of Container}Method of Detecting Area and Measuring Distance of Container}

본 발명은 컨테이너의 성량 및 크레인으로부터 컨테이너 사이의 거리를 검출하는 방법에 관한 것으로 특히, 항만에서 크레인을 자동으로 제어하는데에 필요로 하는 컨테이너의 성량 및 크레인으로부터 컨테이너 사이의 거리 정보를 획득하는 컨테이너 성량 및 거리 검출 방법에 관한 것이다.The present invention relates to a method for detecting the capacity of the container and the distance between the crane and the container, in particular, the capacity of the container required to automatically control the crane in the harbor and the container capacity to obtain the distance information between the container from the crane And a distance detection method.

최근 전 세계적으로 국가간 물류의 규모가 커지면서, 해로를 통한 물동량이 비약적으로 증가하고 있다. 10,000 TEU 이상의 초대형 선박이 등장하고, 컨테이너 터미널의 규모도 초대형 선박이 접안할 수 있을 정도로 커지고 있다. 빠른 물류의 처리 및 비용 절감을 위해, 대부분의 항만에서는 장비들을 자동화 및 무인화를 구축하고 있다. 특히, 야드 쪽의 장비들은 완전 무인화를 목표로 개발을 하거나 이미 상용화하여 실제 항만에 적용하여 사용중이다.Recently, with the increase in the volume of international logistics, the volume of traffic through sea lanes has increased dramatically. Over 10,000 TEUs have emerged, and container terminals have also grown in size to accommodate large vessels. In order to speed up logistics and reduce costs, most ports are building automation and unmanned equipment. In particular, the equipment on the yard side has been developed for the purpose of completely unmanned or already commercialized and applied to the actual port.

한편, 컨테이너 크레인은 정박한 컨테이너 선박의 흔들림과 목표 컨테이너의 성량 및 위치를 정확히 측정할 수 없어, 컨테이너 크레인 조정의 전자동화 또는/및 완전 무인화가 어렵다. 실제로 항만에서는 컨테이너의 선적과 하역시 작업자가 크 레인에 타고, 크레인을 운전하는 경우가 대부분이다. 컨테이너 크레인의 성량 및 위치 측정이 어려운 이유는 해상 선박의 흔들림으로 인해 목표 컨테이너가 고정되지 않으며, 컨테이너 선박에서 직접 선적 또는 하역할 때 주변 컨테이너 때문에 목표 컨테이너를 식별키 어렵기 때문이다. On the other hand, the container crane cannot accurately measure the shaking of the anchored container ship and the quantity and position of the target container, making it difficult to fully automate and / or completely unmanned container crane adjustment. In practice, most of the ports are operated by cranes and cranes when loading and unloading containers. It is difficult to measure the capacity and position of the container crane because the target container is not fixed due to the shaking of the marine vessel, and it is difficult to identify the target container due to the surrounding container when directly loading or unloading the container vessel.

따라서, 크레인의 자동 제어에 필요한 컨테이너의 성량 및 크레인과 컨테이너 사이의 거리를 정확히 측정할 수 있는 컨테이너 성량 및 거리 검출 방법이 필요하다.Therefore, there is a need for a container quantity and distance detection method capable of accurately measuring the quantity of a container required for automatic control of a crane and the distance between the crane and the container.

본 발명의 목적은 크레인의 자동 제어에 필요한 컨테이너의 성량 및 크레인과 컨테이너 사이의 거리를 정확히 측정할 수 있는 컨테이너 성량 및 거리 검출 방법을 제공하는 것이다.It is an object of the present invention to provide a container capacity and a distance detection method capable of accurately measuring the quantity of a container required for automatic control of a crane and the distance between the crane and the container.

상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 컨테이너의 성량 및 거리 검출 방법은 크레인에 장착된 스테레오 카메라 및 레이저 라인 스캐너를 이용하여 컨테이너의 성량 및 거리 검출 방법으로서, a) 상기 스테레오 카메라에 의해 소정 영역을 촬영하는 단계; b) 단계 a)에 의해 촬영된 영상으로부터 에지들을 검출하는 단계; c) 단계 b)에 의해 검출된 에지들로부터 직선 성분들을 검출하는 단계; d) 상기 검출된 직선 성분들을 기초로 컨테이너 후보 영역들을 도출하는 단계; e) 상기 컨테이너 후보 영역들과 에지가 검출된 이미지를 맵핑하여, 컨테이너 영역을 검출하는 단계; f) 단계 e)에 의해 검출된 컨테이너 영역의 화상을 기초로, 컨테이너의 3D 이미지를 생성하는 단계; g) 상기 레이저 라인 스캐너를 이용하여 소정의 측정 각도 및 소정의 앵글 각도로 스캐닝하는 단계; 및 h) 상기 컨테이너 후보 영역들 및 상기 스테레오 카메라의 초점 각도를 기초로, 상기 스캐닝 정보로부터 상기 크레인 및 상기 컨테이너 사이의 거리를 검출하는 단계를 포함한다.According to a first aspect of the present invention, a method for detecting the quantity and distance of a container using a crane and a laser line scanner mounted on a crane is provided. Photographing a predetermined region by means of; b) detecting edges from the image taken by step a); c) detecting linear components from the edges detected by step b); d) deriving container candidate regions based on the detected linear components; e) mapping the container candidate regions and an edge-detected image to detect a container region; f) generating a 3D image of the container based on the image of the container area detected by step e); g) scanning at a predetermined measurement angle and a predetermined angle angle using the laser line scanner; And h) detecting a distance between the crane and the container from the scanning information based on the container candidate regions and the focal angle of the stereo camera.

바람직하게는, 상기 방법은 i) 단계 c)를 수행하기 이전에, 상기 에지들의 영상에서 노이즈를 제거하는 단계를 더 포함하며, 상기 단계 i)는 CCL(Connect Component Labeling) 알고리즘의 이용에 의해 수행된다. Advantageously, the method further comprises i) removing noise from the image of said edges prior to performing step c), wherein step i) is performed by using a Connect Component Labeling (CCL) algorithm. do.

실시 예에 따라서는, 상기 단계 b)는 캐니(Canny) 알고리즘을 이용하여 수행하며, 상기 단계 c)는 허프 변환을 이용하여 수행한다. According to an embodiment, step b) is performed using a Canny algorithm, and step c) is performed using a Hough transform.

또한, 바람직하게는, 상기 방법은 j) 상기 단계 d)를 수행하기 이전에, 상기 직선 성분들에서 노이즈 성분들을 제거하는 단계를 더 포함하며, 상기 단계 j)는 상기 직선 성분들의 교차점 각도가 소정의 유효 각도 범위를 벗어나는 경우, 상기 교차점을 형성하는 직선들을 노이즈로 판단하여 제거한다. Also preferably, the method further comprises j) removing noise components from the linear components prior to performing step d), wherein step j) is such that the intersection angle of the linear components is predetermined. If it is out of the effective angle range of, straight lines forming the intersection point are determined as noise and removed.

실시 예에 따라서는, 상기 소정의 유효 각도의 범위는 80 ~ 100도이고, 상기 소정의 측정 각도는 100도이고, 상기 소정의 앵글 각도는 0.5도이며, 상기 단계 f)는 스테레오 정합을 이용하여 수행한다.According to an embodiment, the range of the predetermined effective angle is 80 to 100 degrees, the predetermined measuring angle is 100 degrees, the predetermined angle angle is 0.5 degrees, and the step f) is performed using stereo matching. Perform.

또한, 바람직하게는, 상기 방법은 k) 상기 단계 h)를 수행하기 이전에, 상기 스캐닝 정보로부터 노이즈를 제거하는 단계를 더 포함하며, 상기 단계 k)는 상기 후보 영역들의 이용에 의해 수행된다.Also preferably, the method further comprises k) removing noise from the scanning information before performing step h), wherein step k) is performed by using the candidate regions.

본 발명에 의하면, 스테레오 비전 기술을 이용하여 컨테이너의 성량 및 크레인과 컨테이너 사이의 거리를 정확히 측정함으로써, 크레인의 자동 제어를 실현할 수 있게 하며, 제어 시스템의 정밀한 GUI 구현 및 가상 공간을 구현하기 위한 3차원 정보의 제작에 응용될 수 있다.According to the present invention, by accurately measuring the capacity of the container and the distance between the crane and the container by using stereo vision technology, it is possible to realize the automatic control of the crane, to implement a precise GUI of the control system and to implement a virtual space It can be applied to the production of dimensional information.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명에 따른 컨테이너 성량 및 거리 검출 방법이 적용되는 시스템은 예컨대, 도 1에 도시된 바와 같이, 크레인에 장착되는 스테레오 카메라(100)와 레이저 라인 스캐너(200), 및 상기 스테레오 카메라(100)와 상기 레이저 라인 스캐너(200)로부터의 영상 및 거리 정보를 받아 본 발명에 따라 상기 정보들을 처리하기 위한 컴퓨터(300)를 포함한다. The system to which the container quantity and distance detection method according to the present invention is applied is, for example, as shown in FIG. 1, a stereo camera 100 mounted on a crane, a laser line scanner 200, and the stereo camera 100. It includes a computer 300 for receiving the image and distance information from the laser line scanner 200 and processing the information according to the present invention.

상기 스테레오 카메라(100)는 도 2에 도시된 바와 같이, 크레인에 설치된다. 상기 스테레오 카메라(100)는 인간의 시각 체계처럼 서로 다른 위치에서 객체(본 발명에서는 컨테이너)를 촬영한 후, 두 카메라에 의해 촬영한 영상을 상기 컴퓨터(300)에 제공한다. The stereo camera 100 is installed in a crane, as shown in FIG. The stereo camera 100 photographs an object (container in the present invention) at different locations, such as a human visual system, and then provides the computer 300 with images captured by the two cameras.

상기 레이저 라인 스캐너(200)는 도 2에 도시된 바와 같이, 크레인에 설치되며, 그 설치 위치는 상기 스테레오 카메라(100)의 설치 위치에 대응한다. 상기 레이저 라인 스캐너(200)는 소정의 측정 각도 예컨대, 100도 또는 180의 범위를 소정의 앵글 각도 예컨대, 0.5도로 그 전방을 스캐닝하여 거리를 측정한다. 그리고 상기 레이저 라인 스캐너(200)는 측정된 거리 정보를 상기 컴퓨터(300)에 제공한다.The laser line scanner 200 is installed in a crane, as shown in Figure 2, the installation position corresponds to the installation position of the stereo camera 100. The laser line scanner 200 measures a distance by scanning a front of a predetermined measurement angle, for example, 100 degrees or 180 degrees, in front of a predetermined angle, for example, 0.5 degrees. The laser line scanner 200 provides the measured distance information to the computer 300.

상기 컴퓨터(300)는 상기 스테레오 카메라(100) 및 상기 레이저 라인 스캐너(200)로부터의 영상 및 거리 데이터를 받아, 본 발명에 따라 처리하여 컨테이너의 성량 및 거리 정보를 도출하고, 그 결과를 출력한다.The computer 300 receives image and distance data from the stereo camera 100 and the laser line scanner 200, processes the data according to the present invention to derive the quantity and distance information of the container, and outputs the result. .

이어, 상기 컴퓨터(300)가 본 발명에 따라 컨테이너 성량 및 거리 검출하는 과정을 상세히 설명한다,Next, the process of detecting the container capacity and distance according to the present invention by the computer 300 will be described in detail.

도 3을 참조하면, 상기 컴퓨터(300)는 상기 스테레오 카메라(100)로부터의 영상 정보를 접수하면, 상기 컴퓨터(300)는 상기 스테레오 카메라(100)에 의해 촬영된 화상에서 객체를 분리하기 위해 에지들을 검출한다(S1, S2). Referring to FIG. 3, when the computer 300 receives image information from the stereo camera 100, the computer 300 edges to separate an object from an image photographed by the stereo camera 100. Are detected (S1, S2).

상기 컴퓨터(300)는 에지를 검출하기 위해, 본 실시 예에서는 캐니(Canny) 알고리즘을 사용한다. 캐니(Canny) 알고리즘은 1986년 존 에프 캐니(John F. Canny)가 개발한 에지 추출 연산자(Edge Detection Operator)로, 목적은 최적의 잇지 추출 알고리즘(Optimal Edge Detection Algorithm)을 만드는 것이었다. 여기서 말하는 ‘최적의(Optimal)’ 에지 추출자(Edge Detector)란 다음과 같은 것을 의미한다.The computer 300 uses a Canny algorithm in this embodiment to detect the edge. The Canny algorithm was an edge detection operator developed by John F. Canny in 1986. The goal was to create an optimal edge detection algorithm. Here, the term "optimal" edge detector means:

훌륭한 추출(Good Detection) - 이미지에 존재하는 대부분의 실제 에지를 추출 할 수 있어야 한다. Good Detection-It should be possible to extract most of the actual edges present in the image.

훌륭한 지역화(Good Localisation) - 추출된 에지는 실제 이미지 내에서 가능한 가까이 있어야 한다. Good Localization-Extracted edges should be as close as possible within the actual image.

최소한의 응답(Minimum Response) - 이미지 내의 주어진 에지는 단 한 번만 표시되어야 하며 가능한 이미지의 노이즈는 잘못된 에지를 만들어선 안 된다. Minimal Response-A given edge in an image should be displayed only once and possible noise in the image should not produce a false edge.

캐니 알고리즘의 절차는 3가지로 나누어진다. 첫 번째는 잡음 감소화, 두 번째는 이미지에서 강한 변화 값을 보이는 곳 찾기, 그리고 세 번째로는 이미지에서 에지를 추적하는 절차로 나누어진다. 잡음 감소화는 어떠한 잇지 추출 알고리즘도 원본 이미지 데이터의 전처리 과정을 생략하고 좋은 결과를 기대하기 힘들다. 따라서, 먼저 가우시안 마스크(Gaussian Mask)를 적용해 잡음을 제거한다. 이미지에 강한 변화 값을 보이는 곳 찾을 때, 이미지 내의 에지는 다양한 방향성을 지니고 있 을 가능성이 높아 캐니 알고리즘은 수직, 수평, 2개의 대각선 방향 잇지 모두를 찾기 위해 4개의 마스크를 사용한다. 각각의 마스크를 사용한 결과들을 저장하고, 각각의 픽셀에 대해 가장 큰 값을 보인 마스크의 결과가 에지 생성에 사용된다. 이러한 과정을 수행하면 원본 이미지에서 각 픽셀의 강도 변화 맵(Intensity Gradients Map)과 강도 변화 점의 방향이 생성된다. 이미지에서 에지를 추적하는 것은 더욱더 강도 높은 변화를 보이는 곳을 찾는 것이다. 이것은 높은 강도 변화를 보이는 곳이 에지일 가능성이 높기 때문이다. 하지만, 주어진 강도 변화가 확실히 에지라 판단할 수 있는 정확한 상수 값은 존재하지 않는다. 따라서, 캐니는 이력 현상(Hysteresis)과 함께 임계화(Thresholding)를 사용했다. 히스테리시스 및 임계화에는 높은 값과 낮은 값에 대한 2개의 임계값이 필요하다. 주요한 에지는 연속적인 선 형태를 띠고 있다는 가정을 만족시키기 위해 주어진 선의 옅은 부분까지 허용하지만, 잘못된 결과 추출을 예방하기 위해 노이즈 픽셀은 무시한다. 그래서 먼저 높은 값의 임계값으로 시작하는데 이로 인한 결과는 순수한 에지라고 확실할 수 있다. 여기서 출발해 앞서 유도한 방향성 정보를 이용해 이미지 속에서 에지를 추적한다. 선을 추적할 동안 낮은 값의 임계값을 적용해 선의 옅은 부분까지 허용하는데 에지의 시작점을 찾을 때까지 이 작업은 계속된다. 위의 과정이 모두 수행되면 에지 픽셀과 그렇지 않은 픽셀의 이진화 이미지(Binary Image)를 얻게 된다. 도 4는 캐니 알고리즘을 적용에 따른 그 결과 이미지를 보여준다. The procedure of the Canny algorithm is divided into three parts. The first is to reduce the noise, the second to find a strong change in the image, and the third to track the edges in the image. Noise reduction is difficult for any piece of extraction algorithm to skip the preprocessing of the original image data and expect good results. Therefore, first, a Gaussian mask is applied to remove noise. When looking for a strong change in the image, the edges in the image are likely to have various orientations, so the Canny algorithm uses four masks to find both vertical, horizontal, and two diagonal directions. The results of using each mask are stored, and the result of the mask with the largest value for each pixel is used for edge generation. This process creates an intensity gradient map and the direction of the intensity change point for each pixel in the original image. Tracking the edges in the image is looking for more intense changes. This is because it is likely that the edge showing the high strength change is an edge. However, there is no exact constant value that can determine that a given intensity change is definitely an edge. Thus, Canny used Thresholding in conjunction with Hysteresis. Hysteresis and thresholding require two thresholds for high and low values. Major edges allow even the lightest part of a given line to satisfy the assumption that it has a continuous line shape, but ignores noise pixels to prevent false result extraction. So we first start with a high threshold, and we can be sure that the result is a pure edge. Starting from here, we use the directional information derived earlier to track the edges in the image. While tracing the line, we apply a low threshold to the lightest part of the line, which continues until we find the starting point of the edge. If all of the above steps are performed, a binary image of the edge and non-pixels is obtained. 4 shows the resulting image of applying the Canny algorithm.

이어, 상기 컴퓨터(300)는 상술한 캐니 알고리즘을 통해 얻은 에지들 영상에서 노이즈를 제거하는 과정을 수행한다(S3).Subsequently, the computer 300 performs a process of removing noise from the edges image obtained through the Canny algorithm described above (S3).

상기 캐니 알고리즘으로 검출된 잇지 영상에는 컨테이너 외에 필요치 않는 노이즈가 들어있다. 이런 노이즈를 제거하기 위해 상기 컴퓨터(300)는 예컨대, CCL(Connect Component Labeling) 알고리즘을 사용할 수 있다. 상기 CCL 알고리즘은 레이블링 방법 중의 하나이다. 상기 CCL 알고리즘은 하나의 연결 성분이 영상 내에 존재하는 하나의 물체를 나타내는 후보 영역이 된다. 연결 성분에서 다른 연결 성분이 내부에 포함되는 경우에 이것을 홀이라고 한다. 같은 연결 성분에 속하는 픽셀에 같은 레이블을 할당하고, 다른 연결 성분에는 서로 다른 레벨을 할당하는 조작을 한다. 연결 성분의 속성을 해석하기 전에 각 성분을 추출하는 레이블링 조작이 필요하다. 연결 성분 레이블링은 이진 영상 처리 시스템에서 상당한 시간이 걸리는 보틀넥이 되어 있다. 연결 성분을 찾는 연산은 글로벌 연산이고 따라서 본질적으로 순차적인 알고리즘이기 때문이다. 영상 안에 하나의 물체만이 있다면 연결 성분을 찾을 필요가 없을지 모르겠지만 많은 물체가 존재하고 물체의 특성과 위치가 필요하다면 연결 성분 레이블링이 수행되어야 한다. 연결 성분 레이블링 알고리즘은 영상 안의 모든 성분을 찾고 같은 성분에 속하는 모든 픽셀에 유일한 레이블을 부여한다. 많은 응용에서 이들 성분을 레이블링하는 도중에 성분의 특성(크기, 위치, 방향, 한정 사각형)을 동시에 계산하는 것이 바람직하다.The easy image detected by the Canny algorithm contains noise that is not required in addition to the container. In order to remove such noise, the computer 300 may use, for example, a Connect Component Labeling (CCL) algorithm. The CCL algorithm is one of the labeling methods. The CCL algorithm becomes a candidate region representing one object in which one connection component exists in the image. When other connecting components are included in the connecting component, this is called a hole. The same label is assigned to pixels belonging to the same connected component, and different levels are assigned to different connected components. Before interpreting the properties of the linking components, a labeling operation is needed to extract each component. Linked component labeling has become a bottleneck that takes considerable time in binary image processing systems. This is because the operation of finding the concatenated component is a global operation and is therefore essentially a sequential algorithm. If there is only one object in the image, it may not be necessary to find the connected components, but if many objects exist and the properties and positions of the objects are required, the connected component labeling should be performed. The connected component labeling algorithm finds all components in the image and assigns a unique label to all pixels belonging to the same component. In many applications it is desirable to simultaneously calculate the properties (size, position, orientation, bounding rectangle) of the components during labeling of these components.

이어, 상기 컴퓨터(300)는 단계 S3에 의해 노이즈가 제거된 에지들로부터 직선 성분들을 검출하는 과정을 수행한다(S4). 이때, 상기 컴퓨터(300)는 직선 성분을 검출하기 위해 예컨대 허프 변환을 이용할 수 있다. 허프 변환은 영상처리에서 직선을 찾기 위해 가장 널리 사용되는 방법이다. 허프 변환은 2차원 영상 좌표에서 의 직선의 방정식을 파라미터 공간으로 변환하여 직선을 찾는 알고리즘이다. 일반적으로 2차원 공간에서의 직선 방정식은 다음과 같다. Subsequently, the computer 300 performs a process of detecting linear components from edges from which noise is removed by step S3 (S4). In this case, the computer 300 may use, for example, a Hough transform to detect a linear component. Hough transform is the most widely used method for finding straight lines in image processing. Hough transform is an algorithm that finds a straight line by transforming the equation of the straight line in 2D image coordinates into the parameter space. In general, the linear equation in two-dimensional space is

Figure 112009073252068-pat00001
Figure 112009073252068-pat00001

위 식에서 a는 기울기이고, b는 절편이다. 위 직선 방정식은 가로 축이 x이고, 세로 축이 y인 2차원 좌표 공간에서 정의되어 있으며, a와 b가 직선의 모양을 결정하는 파라미터이다. 상술한 허프 변환을 적용하여 도출한 결과 이미지를 도 5에 도시하였다. 도 5에서 (a)는 원 이미지이고 (b)는 허프 변환 적용 이미지이다.Where a is the slope and b is the intercept. The above linear equation is defined in a two-dimensional coordinate space where the horizontal axis is x and the vertical axis is y, and a and b are parameters that determine the shape of the straight line. The resultant image obtained by applying the Hough transform described above is illustrated in FIG. 5. In FIG. 5, (a) is an original image and (b) is an Hough transform applied image.

도 5에 나타낸 바와 같이, 허프 변환으로 많은 직선 성분들이 발견됨을 알 수 있다. 그러나 이러한 직선들이 모두 유효한 직선 성분은 아니므로 필요 없는 직선은 모두 노이즈로 간주하여 제거를 하여야만 한다. 따라서, 상기 컴퓨터(300)는 상기 직선 성분들에서 노이즈 성분들을 제거하는 과정을 수행한다(S5). 상기 컴퓨터(300)는 불필요한 직선 성분을 제거하기 위해 상기 직선들의 교차되는 지점의 각도들을 구하고, 상기 각도들이 유효 각도의 범위를 벗어나면 모두 노이즈로 간주하여 제거를 한다. 상기 유효 각도는 예컨대 80~100도가 바람직하다. 이것은 컨테이너가 직사각형이므로 네 변의 직선이 교차하는 교차점의 각도는 거의 90도이기 때문이다. 즉, 유효 각도를 80~100도로 정하고 이 유효 각도를 벗어나는 직선들은 모두 노이즈로 간주한다. 도 6은 유효 각도를 벗어나는 직선 성분들은 모두 제거된 이미지를 나타낸 도면이다. 도 5의 (b)와 대비할 때 직선 성분의 수가 감소하였음을 알 수 있다.As shown in FIG. 5, it can be seen that many linear components are found by the Hough transform. However, since these straight lines are not all valid straight line components, all unnecessary straight lines should be considered as noise and removed. Therefore, the computer 300 performs a process of removing noise components from the linear components (S5). The computer 300 obtains angles at the intersection points of the straight lines to remove unnecessary straight line components, and removes the angles as noise if all the angles fall outside the effective angle range. The effective angle is preferably 80 to 100 degrees. This is because the container is rectangular, so the angle of the intersection of the four straight lines intersects almost 90 degrees. That is, the effective angle is set to 80 to 100 degrees and all straight lines outside the effective angle are regarded as noise. FIG. 6 is a diagram illustrating an image in which all linear components outside the effective angle are removed. As compared with FIG. 5B, it can be seen that the number of linear components is reduced.

이어, 상기 컴퓨터(300)는 상기 노이즈가 제거된 직선 성분들을 기초로 컨테이너의 후보 영역들을 도출한 후, 상기 후보 영역들과 에지가 검출된 이미지를 맵핑하여, 컨테이너 영역을 검출하는 과정을 수행한다(S6, S7).Subsequently, the computer 300 derives candidate regions of the container based on the linear components from which the noise is removed, and then maps the candidate regions and the image of which the edge is detected to detect the container region. (S6, S7).

도 6에 도시된 바와 같이, 컨테이너의 후보 영역은 4개가 된다. 상기 후보 영역들에서 실제의 컨테이너를 검출은 도 4에 도시된 에지를 검출한 이미지와의 맵핑을 통하여 컨테이너를 검출할 수 있다. 컨테이너가 검출되면 나머지 직성 성분은 모두 제거하여, 도 7에 도시된 바와 같이, 컨테이너의 영역만을 남긴다. As shown in Fig. 6, there are four candidate regions of the container. The detection of the actual container in the candidate areas may detect the container through mapping with the image of detecting the edge shown in FIG. 4. When the container is detected, all remaining textile components are removed, leaving only the area of the container, as shown in FIG.

이어, 상기 컴퓨터(300)는 검출된 컨테이너 영역의 화상을 기초로, 컨테이너의 3D 이미지를 생성하는 과정을 수행한다(S9). Subsequently, the computer 300 performs a process of generating a 3D image of the container based on the image of the detected container area (S9).

상기 컴퓨터(300)는 3D 이미지 생성을 위해 예컨대, 스테레오 정합을 이용한다. 상기 스테레오 정합시 스테레오 영상이 가지는 고유의 특성을 이용한다면, 좋은 정합 결과를 얻을 수 있다. 예컨대, 스테레오 정합은 정합된 값이 서로 유사성을 갖게 되는 유사성의 성질, 변위 값이 급격하게 변하지 않게 되는 완만함의 성질, 및 각 영상의 픽셀(Pixel)은 동일한 3차원상의 지점을 가르키는 유일성의 성질을 이용한다. 이때 영상에 적절한 특징 추출과 그에 따른 정합 전략, 정합 창틀의 크기 결정, 및 변이 경계선 영역처리 등이 매우 중요시된다. 도 8 및 도 9는 3D 모델링을 나타낸 도면들로서, 도 6은 좌우 영상에서의 특징점의 불균형 점을 보여주며, 도 9는 모델링을 위한 객체 간 거리 검출을 보여준다.The computer 300 uses, for example, stereo matching for 3D image generation. If the stereo matching uses the inherent characteristics of the stereo image, a good matching result can be obtained. For example, stereo matching has the property of similarity that the matched values have similarity with each other, the property of gentleness such that the displacement value does not change rapidly, and the uniqueness of the pixels of each image pointing to the same three-dimensional point. Use At this time, proper feature extraction for images, matching strategy, size determination of matching window frame, and transition boundary region processing are very important. 8 and 9 illustrate 3D modeling, FIG. 6 illustrates an imbalance point of feature points in left and right images, and FIG. 9 illustrates distance detection between objects for modeling.

하기의 식들을 이용하여 3D 모델링을 위한, x, y, z축으로 3차원 거리 정보를 구할 수 있다. Three-dimensional distance information can be obtained on the x, y, and z axes for 3D modeling using the following equations.

Figure 112009073252068-pat00002
Figure 112009073252068-pat00002

Figure 112009073252068-pat00003
Figure 112009073252068-pat00003

Figure 112009073252068-pat00004
Figure 112009073252068-pat00004

위 식들에서, xL, xR은 도 9에서 좌우 카메라에 비치는 객체에 대한 위치의 차, f는 카메라의 초점이며, l은 두 카메라들 사이의 거리를 의미한다. 도 10에 스테레오 정합에 의해 생성된 3D 모델을 나타내었다. In the above equations, x L , x R are the difference in position with respect to the object reflected on the left and right cameras in FIG. 9, f is the focus of the camera, and l means the distance between the two cameras. 10 shows a 3D model generated by stereo matching.

한편, 상기 라인 스캐너(200)는 소정의 측정 각도 및 소정의 앵글 각도로 객체를 스캐닝하는 과정을 수행하고, 스캐닝 결과를 상기 컴퓨터(300)에 제공하는 과정을 수행한다(S10). 상기 라인 스캐너(200)의 측정 각도는 도 11에 도시된 바와 같이, 180도 또는 100도 그리고, 상기 앵글 각도는 0.5도로 하는 것이 바람직하다. 따라서, 한 번의 스캔시 데이터 수는 361개(180도) 또는 201(100도)개가 발생된다. Meanwhile, the line scanner 200 performs a process of scanning an object at a predetermined measurement angle and a predetermined angle and provides a scanning result to the computer 300 (S10). As shown in FIG. 11, the measurement angle of the line scanner 200 is 180 degrees or 100 degrees, and the angle angle is preferably 0.5 degrees. Therefore, 361 data (180 degrees) or 201 (100 degrees) data is generated in one scan.

이어, 상기 단계 S10에 의한 상기 스캐닝 정보로부터 노이즈를 제거하는 단계를 수행한 후, 상기 컨테이너 후보 영역들 및 사기 스테레오 카메라(100)의 초점 각도을 이용하여, 상기 스캐닝 정보로부터 상기 레이저 라인 스캐너(200) 및 상기 컨테이너 사이의 거리를 검출하는 과정을 수행한다(S11, S12).Subsequently, after performing the step of removing noise from the scanning information according to the step S10, the laser line scanner 200 from the scanning information using the focus angles of the container candidate regions and the fraudulent stereo camera 100. And detecting a distance between the containers (S11 and S12).

도 11은 상기 레이저 라인 스캐너(100)의 측정 방향과 스캐닝 각도를 나타낸 도면이고, 도 12는 레이저 라인 스캐너에 의한 거리 측정 결과를 나타낸 도면이다. 도 12에 도시된 바와 같이, 상기 레이저 라인 스캐너(100)를 이용하여 0도에서 180도까지 스캐닝을 한 결과를 보여주고 있다. 도 12에 도시된 다수의 분홍색 라인들은 실제 컨테이너의 거리 정보 뿐만 아니라 노이즈를 포함하고 있음을 나타내고 있다. 따라서, 컨테이너의 거리 정보만을 획득하기 위해서는 노이즈를 제거해야만 한다. 노이즈 제거는 예컨대, 위에서 설명한 컨테이너의 후보 영역을 이용한다. 즉, 상기 스테레오 카메라(200)와 컨테이너 사이의 렌즈 초점 각도를 이용하여 컨테이너만의 거리 정보를 검출할 수 있다. 상술한 바와 같이, 상기 레이저 라인 스캐너(100)의 측정 각도는 180도 또는 100도이다. 따라서, 컨테이너의 후보 영역, 즉 스테레오 카메라(200)와 컨테이너 사이의의 렌즈 초점 각도를 이용하면, 도 13에 도시된 바와 같이, 실제 컨테이너의 영역만의 거리 정보를 검출할 수 있다. FIG. 11 is a diagram illustrating a measurement direction and a scanning angle of the laser line scanner 100, and FIG. 12 is a diagram illustrating a distance measurement result by the laser line scanner. As shown in FIG. 12, the scanning result of the laser line scanner 100 from 0 degrees to 180 degrees is shown. The plurality of pink lines shown in FIG. 12 indicate that the noise includes not only the distance information of the actual container. Therefore, in order to obtain only the distance information of the container, noise must be removed. Noise removal uses, for example, the candidate region of the container described above. That is, distance information of only the container may be detected by using a lens focal angle between the stereo camera 200 and the container. As described above, the measurement angle of the laser line scanner 100 is 180 degrees or 100 degrees. Therefore, using the candidate area of the container, that is, the lens focal angle between the stereo camera 200 and the container, as shown in FIG. 13, distance information of only the area of the actual container can be detected.

상술한 과정들에 의한 검출된 컨테이너 성량 및 거리 정보는 컨테이너 자동 랜딩 시스템에 적용할 수 있다. 도 14에 도시된 바와 같이, 검출된 컨테이너 성량 및 거리 정보는 컨테이너 자동 랜딩 시스템의 GUI로 표시된다. 도 14에서, 왼쪽 상부는 스테레오 카메라(200)의 좌우 영상을 나타낸 화면이다. 도 14에 도시된 영상은 컨테이너 랜딩시 표적이 되는 컨테이너를 검출하고, 그에 따른 컨테이너의 랜딩 과정을 보여준다. 왼쪽 하단은 컨테이너가 검출하는데 필요한 이진화 과정을 보여준다. 오른쪽은 레이저 라인 스캐너(100)에 의해 측정된 결과 즉, 거리 정보가 차트로 도시되어 있다.The detected container quantity and distance information by the above-described processes can be applied to the container automatic landing system. As shown in FIG. 14, the detected container quantity and distance information are displayed by the GUI of the container automatic landing system. In FIG. 14, the upper left side is a screen showing left and right images of the stereo camera 200. The image shown in FIG. 14 detects a container that is a target during container landing and shows a landing process of the container accordingly. The bottom left shows the binarization process the container needs to detect. The right side shows the result measured by the laser line scanner 100, that is, the distance information in a chart.

이상에서는 본 발명을 실시 예로써 설명하였으나, 본 발명은 상기한 실시 예에 한정되지 아니하며, 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없 이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형이 가능할 것이다.The present invention has been described above by way of example, but the present invention is not limited to the above-described embodiments, and those skilled in the art without departing from the gist of the present invention claimed in the claims. Anyone can make a variety of variations.

도 1은 본 발명에 따른 컨테이너 성량 및 거리 검출 방법이 적용되는 시스템의 일 예를 도시한 도면이다.1 is a view showing an example of a system to which the container capacity and distance detection method according to the present invention is applied.

도 2는 도 1에 도시된 스테레오 카메라 및 레이저 라인 스캐너가 크레인에 설치되는 일 예를 나타낸 도면이다.2 is a diagram illustrating an example in which the stereo camera and laser line scanner shown in FIG. 1 are installed in a crane.

도 3은 본 발명의 일 실시 예에 따른 컨테이너 성량 및 거리 검출 방법을 설명하기 위한 흐름도이다.3 is a flowchart illustrating a container capacity and distance detection method according to an embodiment of the present invention.

도 4는 캐니 알고리즘을 적용에 따른 그 결과 이미지를 나타낸 도면이다. 4 is a view showing the resulting image according to the application of the Canny algorithm.

도 5는 본 발명에 따라 허프 변환을 적용하여 도출한 결과 이미지를 나타낸 도면이다.5 is a view showing a result image derived by applying the Hough transform in accordance with the present invention.

도 6은 유효 각도를 벗어나는 직선 성분들을 모두 제거한 이미지를 나타낸 도면이다.6 is a view illustrating an image in which all linear components outside the effective angle are removed.

도 7은 후보 영역들과 에지를 찾은 이미지와의 맵핑을 통하여 컨테이너를 검출한 결과를 나타낸 도면이다.FIG. 7 is a diagram illustrating a result of detecting a container through mapping of candidate regions and an image of which an edge is found.

도 8 및 도 9는 3D 모델링을 나타낸 도면들이다.8 and 9 illustrate 3D modeling.

도 10에 스테레오 정합에 의해 생성된 3D 모델을 나타내었다.10 shows a 3D model generated by stereo matching.

도 11은 레이저 라인 스캐너의 측정 방향과 스캐닝 각도를 나타낸 도면이다.11 is a diagram illustrating a measurement direction and a scanning angle of a laser line scanner.

도 12는 레이저 라인 스캐너에 의한 거리 측정 결과를 나타낸 도면이다.It is a figure which shows the distance measurement result by a laser line scanner.

도 13은 노이즈가 제거된 레이저 라인 스캐너에 의한 거리 측정 결과를 나타낸 도면이다.13 is a diagram illustrating a distance measurement result by a laser line scanner from which noise is removed.

도 14는 컨테이너 자동 랜딩 시스템의 GUI를 나타낸 도면이다.14 is a diagram illustrating a GUI of an automatic container landing system.

Claims (21)

크레인에 장착된 스테레오 카메라 및 레이저 라인 스캐너를 이용하여 컨테이너의 성량 및 거리 검출 방법으로서,A method of detecting the quantity and distance of a container using a stereo camera mounted on a crane and a laser line scanner, a) 상기 스테레오 카메라에 의해 소정 영역을 촬영하는 단계;a) photographing a predetermined area by the stereo camera; b) 단계 a)에 의해 촬영된 영상으로부터 에지들을 검출하는 단계;b) detecting edges from the image taken by step a); c) 단계 b)에 의해 검출된 에지들로부터 직선 성분들을 검출하는 단계;c) detecting linear components from the edges detected by step b); d) 단계 c)에 의해 검출된 직선 성분들을 기초로 컨테이너 후보 영역들을 도출하는 단계;d) deriving container candidate regions based on the linear components detected by step c); e) 상기 컨테이너 후보 영역들과 에지가 검출된 이미지를 맵핑하여, 컨테이너 영역을 검출하는 단계;e) mapping the container candidate regions and an edge-detected image to detect a container region; f) 단계 e)에 의해 검출된 컨테이너 영역의 영상을 기초로, 컨테이너의 3D 이미지를 생성하는 단계;f) generating a 3D image of the container based on the image of the container area detected by step e); g) 상기 레이저 라인 스캐너를 이용하여 소정의 측정 각도 및 소정의 앵글 각도로 스캐닝하는 단계; 및g) scanning at a predetermined measurement angle and a predetermined angle angle using the laser line scanner; And h) 상기 컨테이너 후보 영역들 및 상기 스테레오 카메라의 초점 각도를 기초로, 상기 단계 g)에 의한 스캐닝 정보로부터 상기 크레인 및 상기 컨테이너 사이의 거리를 검출하는 단계를 포함하는 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.h) detecting the distance between the crane and the container from the scanning information by step g) based on the container candidate regions and the focal angle of the stereo camera; Distance detection method. 제 1 항에 있어서, 상기 방법은The method of claim 1 wherein the method is i) 단계 c)를 수행하기 이전에, 상기 에지들의 영상에서 노이즈를 제거하는 단계를 더 포함하는 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.i) prior to performing step c), further comprising removing noise from the image of the edges. 제 2 항에 있어서, 상기 단계 i)는 CCL(Connect Component Labeling) 알고즘을 이용하여 수행하는 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.The method of claim 2, wherein the step i) is performed using a Connect Component Labeling (CCL) algorithm. 제 1 항에 있어서, 상기 단계 b)는 캐니(Canny) 알고리즘을 이용하여 수행하는 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.The method of claim 1, wherein the step b) is performed using a Canny algorithm. 제 1 항에 있어서, 상기 단계 c)는 허프 변환을 이용하여 수행하는 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.The method of claim 1, wherein the step c) is performed using a Hough transform. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 상기 방법은The method according to any one of claims 1 to 5, wherein the method is j) 상기 단계 d)를 수행하기 이전에, 상기 직선 성분들에서 노이즈 성분들을 제거하는 단계를 더 포함하는 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.j) prior to performing step d), further comprising removing noise components from the linear components. 제 6 항에 있어서, 상기 단계 j)는 상기 직선 성분들의 교차점 각도가 소정의 유효 각도 범위를 벗어나는 경우, 상기 교차점을 형성하는 직선들을 노이즈로 판단하여 제거하는 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.7. The method of claim 6, wherein the step j) detects the quantity and distance of the container, wherein the straight lines forming the intersection point are removed as noise when the crossing point angle of the linear components is out of a predetermined effective angle range. Way. 제 7 항에 있어서, 상기 소정의 유효 각도의 범위는 80 ~ 100도인 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.8. The method according to claim 7, wherein the predetermined effective angle is in a range of 80 to 100 degrees. 제 1 항에 있어서, 상기 단계 f)는 스테레오 정합을 이용하여 수행하는 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.The method of claim 1, wherein the step f) is performed using stereo matching. 제 1 항에 있어서, 상기 단계 g)의 상기 소정의 측정 각도는 100도이고, 상기 소정의 앵글 각도는 0.5도인 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.The method according to claim 1, wherein the predetermined measurement angle of step g) is 100 degrees and the predetermined angle angle is 0.5 degrees. 제 1 항에 있어서, The method of claim 1, k) 상기 단계 h)를 수행하기 이전에, 상기 스캐닝 정보로부터 노이즈를 제거하는 단계를 더 포함하는 컨테이너의 성량 및 거리 검출 방법.k) prior to performing step h), the method further comprising removing noise from the scanning information. 제 11 항에 있어서, 상기 단계 k)는 상기 후보 영역들을 이용하여 수행하는 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.12. The method of claim 11, wherein step k) is performed using the candidate regions. 크레인에 장착된 스테레오 카메라 및 레이저 라인 스캐너를 이용하여 컨테이 너의 성량 및 거리 검출 방법으로서,A method of detecting the quantity and distance of a container using a stereo camera mounted on a crane and a laser line scanner, a) 상기 스테레오 카메라에 의해 소정 영역을 촬영하는 단계;a) photographing a predetermined area by the stereo camera; b) 상기 단계 a)에 의해 촬영된 영상으로부터 에지들을 검출하는 단계;b) detecting edges from the image taken by step a); c) 상기 단계 b)에 의해 상기 에지들의 영상에서 노이즈를 제거하는 단계c) removing noise from the image of the edges by step b) d) 단계 c)에 의해 노이즈가 제거된 에지들로부터 직선 성분들을 검출하는 단계;d) detecting linear components from edges from which noise has been removed by step c); e) 상기 직선 성분들에서 노이즈 성분들을 제거하는 단계;e) removing noise components from the straight components; f) 상기 노이즈가 제거된 직선 성분들을 기초로 컨테이너 후보 영역들을 도출하는 단계;f) deriving container candidate regions based on the noise-free linear components; g) 상기 후보 영역들과 에지가 검출된 이미지를 맵핑하여, 컨테이너 영역을 검출하는 단계;g) mapping the candidate regions with an edge-detected image to detect a container region; h) 단계 g)에 의해 검출된 컨테이너 영역의 영상을 기초로, 컨테이너의 3D 이미지를 생성하는 단계;h) generating a 3D image of the container based on the image of the container area detected by step g); i) 상기 레이저 라인 스캐너를 이용하여 소정의 측정 각도 및 소정의 앵글 각도로 스캐닝하는 단계; i) scanning with the laser line scanner at a predetermined measurement angle and a predetermined angle angle; j) 상기 단계 i)에 의한 상기 스캐닝 정보로부터 노이즈를 제거하는 단계; 및j) removing noise from the scanning information of step i); And k) 상기 컨테이너 후보 영역들 및 상기 스테레오 카메라의 초점 각도를 기초로, 상기 스캐닝 정보로부터 상기 크레인 및 상기 컨테이너 사이의 거리를 검출하는 단계를 포함하는 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.k) detecting the distance between the crane and the container from the scanning information based on the container candidate regions and the focal angle of the stereo camera. 제 13 항에 있어서, 상기 단계 b)는 캐니(Canny) 알고리즘을 이용하여 수행하는 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.14. The method of claim 13, wherein step b) is performed using a Canny algorithm. 제 13 항에 있어서, 상기 단계 c)는 CCL(Connect Component Labeling) 알고즘을 이용하여 수행하는 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.14. The method of claim 13, wherein step c) is performed using a Connect Component Labeling (CCL) algorithm. 제 13 항에 있어서, 상기 단계 d)는 허프 변환을 이용하여 수행하는 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.14. The method of claim 13, wherein step d) is performed using a Hough transform. 제 13 항에 있어서, 상기 단계 e)는 상기 직선 성분들의 교차점 각도가 소정의 유효 각도 범위를 벗어나는 경우, 상기 교차점을 형성하는 직선들을 노이즈로 판단하여 제거하는 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.15. The method of claim 13, wherein the step e) detects the quantity and distance of the container, wherein the straight lines forming the intersection point are removed as noise when the crossing point angle of the linear components is out of a predetermined effective angle range. Way. 제 17 항에 있어서, 상기 소정의 유효 각도의 범위는 80 ~ 100도인 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.18. The method of claim 17, wherein the range of the predetermined effective angle is 80 to 100 degrees. 제 13 항에 있어서, 상기 단계 h)는 스테레오 정합을 이용하여 수행하는 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.14. The method of claim 13, wherein step h) is performed using stereo matching. 제 13 항에 있어서, 상기 g)의 상기 소정의 측정 각도는 100도이고, 상기 소정의 앵글 각도는 0.5도인 것을 특징으로 하는 컨테이너의 성량 및 거리 검출 방법.14. The method according to claim 13, wherein the predetermined measuring angle of g) is 100 degrees and the predetermined angle angle is 0.5 degrees. 삭제delete
KR1020090115896A 2009-11-27 2009-11-27 Method of Detecting Area and Measuring Distance of Container KR101092133B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090115896A KR101092133B1 (en) 2009-11-27 2009-11-27 Method of Detecting Area and Measuring Distance of Container

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090115896A KR101092133B1 (en) 2009-11-27 2009-11-27 Method of Detecting Area and Measuring Distance of Container

Publications (2)

Publication Number Publication Date
KR20110059234A KR20110059234A (en) 2011-06-02
KR101092133B1 true KR101092133B1 (en) 2011-12-12

Family

ID=44394416

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090115896A KR101092133B1 (en) 2009-11-27 2009-11-27 Method of Detecting Area and Measuring Distance of Container

Country Status (1)

Country Link
KR (1) KR101092133B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110956180B (en) * 2019-07-04 2021-04-13 中联重科股份有限公司 Detection method and system of counterweight weight, acquisition method and system and crane

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100484706B1 (en) 2000-10-27 2005-04-22 미츠비시 쥬고교 가부시키가이샤 Container position measuring method and device for cargo crane and container landing/stacking method
KR100528489B1 (en) 2002-09-10 2005-11-15 부산대학교 산학협력단 Spreader pose determination using camera and laser sensor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100484706B1 (en) 2000-10-27 2005-04-22 미츠비시 쥬고교 가부시키가이샤 Container position measuring method and device for cargo crane and container landing/stacking method
KR100528489B1 (en) 2002-09-10 2005-11-15 부산대학교 산학협력단 Spreader pose determination using camera and laser sensor

Also Published As

Publication number Publication date
KR20110059234A (en) 2011-06-02

Similar Documents

Publication Publication Date Title
CN109801333B (en) Volume measurement method, device and system and computing equipment
Rashidi et al. Innovative stereo vision-based approach to generate dense depth map of transportation infrastructure
US20170316573A1 (en) Position measuring equipment
JP4344860B2 (en) Road plan area and obstacle detection method using stereo image
Chen et al. Pallet recognition and localization method for vision guided forklift
Miksch et al. Automatic extrinsic camera self-calibration based on homography and epipolar geometry
KR20180098945A (en) Method and apparatus for measuring speed of vehicle by using fixed single camera
Yenıaydin et al. Sensor fusion of a camera and 2d lidar for lane detection
Cerri et al. Free space detection on highways using time correlation between stabilized sub-pixel precision IPM images
KR101092133B1 (en) Method of Detecting Area and Measuring Distance of Container
KR101574195B1 (en) Auto Calibration Method for Virtual Camera based on Mobile Platform
US11941827B2 (en) System and method of 3D point cloud registration with multiple 2D images
US11724407B2 (en) Target-free RGBD camera alignment to robots
JP2006317418A (en) Image measuring device, image measurement method, measurement processing program, and recording medium
KR101980899B1 (en) Apparatus for detecting of inside wall frame in single image using orthogonal vanishing points and method thereof
CN112712476A (en) Denoising method and denoising device for TOF (time of flight) ranging and TOF camera
Zhao et al. Detection of non-flat ground surfaces using v-disparity images
JP2001116545A (en) Distance image calculator
Hashimoto et al. 3-D Object Recognition Based on Integration of Range Image and Gray-scale Image.
Su et al. Dynamic obstacle avoidance path planning
GB2583774A (en) Stereo image processing
EP2953096A1 (en) Information processing device, information processing method, system and carrier means
Truong et al. Model-based recognition of 3d objects using intersecting lines
CN116342832A (en) Container feature extraction method based on dense point cloud
Altuntas An experimental study on registration three-dimensional range images using range and intensity data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141127

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151202

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161205

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171204

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191202

Year of fee payment: 9