KR100528489B1

KR100528489B1 - Spreader pose determination using camera and laser sensor

Info

Publication number: KR100528489B1
Application number: KR10-2002-0054410A
Authority: KR
Inventors: 이장명; 이봉기; 윤재무
Original assignee: 부산대학교 산학협력단; (주) 에스.피.시스템스
Priority date: 2002-09-10
Filing date: 2002-09-10
Publication date: 2005-11-15
Also published as: KR20040022841A

Abstract

본 발명은 항만용 크레인(1)이 컨테이너(8)를 집을 때 컨테이너(8)와 스프레더(7) 사이의 거리 오차 및 스큐각을 측정하여 운전자에게 정보를 제공하고, 더 나아가 자동화 시스템으로 사용할 시 스프레더(7)로 컨테이너(8)를 집을 때 오차값과 스큐각에 대한 정보를 주어 자동적으로 랜딩이 가능하도록 하는 스프레더 자세 인식 방법에 관한 것이다. 2대의 CCD 카메라(3a),(3b)에서 획득한 영상을 윤곽선 검출 기법을 사용하여 컨테이너(8)부분의 영상을 추출한다. 스프레더(7)의 아래에 설치된 레이저 거리 미터기는 컨테이너(8)까지의 거리를 제공하여 랜딩의 자동화를 가능하게 한다. 영상정보는 날씨의 영향을 많이 받는 단점이 있으나 본 발명에서는 스프레더(7)와 컨테이너(8) 사이의 거리가 매우 짧고 카메라가 노출되어 있지 않으므로 비가 오거나 안개가 끼더라도 정확한 정보 값을 얻을 수 있다.The present invention measures the distance error and skew angle between the container 8 and the spreader 7 when the harbor crane 1 picks up the container 8 to provide information to the driver, and furthermore, when used as an automation system. The present invention relates to a spreader posture recognition method for automatically landing by giving information on an error value and skew angle when the container 8 is picked up by the spreader 7. The images obtained by the two CCD cameras 3a and 3b are extracted using the edge detection technique. The laser distance meter installed under the spreader 7 provides the distance to the container 8 to enable automation of the landing. Image information has a disadvantage of being affected by the weather a lot, but in the present invention, since the distance between the spreader 7 and the container 8 is very short and the camera is not exposed, accurate information can be obtained even if it rains or fogs.

Description

Spreader pose determination using camera and laser sensor

지금까지는 스프레더를 이용하여 컨테이너에 랜딩하는 부분에서 사람의 경험을 바탕으로 눈으로 보고 랜딩을 하였다. 그러나 초심자들은 경험이 부족하여 사고의 위험이 크다.Up to now, we have been using the spreader to see and land based on human experience in landing on containers. But novices are inexperienced and at high risk of accidents.

지금까지 정렬상태를 판별하는 방법들은 거의 모두 레이저 센서를 이용하고 있으므로 정확한 거리 오차 값이나 스큐각에 대한 정보를 얻기는 힘들다. 자동화가 되었을 때 정확한 오차 값이 주어지지 않으면 스프레더가 컨테이너에 랜딩하는 것은 불가능하다. 그러므로 이러한 랜딩 부분에서 정확한 거리 오차값과 스큐각에 대한 정보를 얻는 방법의 개발이 요구된다.Until now, almost all methods for determining alignment state use a laser sensor, so it is difficult to obtain accurate distance error values or skew angle information. When automated, the spreader cannot land in the container unless the correct error value is given. Therefore, it is necessary to develop a method of obtaining information about an accurate distance error value and skew angle in the landing part.

본 발명에서는 정확한 거리 오차와 스큐각에 대한 정보를 얻기 위한 기술로써 레이저 거리미터기를 통해 Z축의 거리를 얻고, CCD카메라를 통해 얻는 영상 정보를 통해서 X축과 Y축의 거리 오차 및 스큐각을 얻을 수 있고, 이 데이터를 운전자에게 보여주므로 해서 정확한 랜딩을 할 수 있게 하며, 아울러 자동랜딩도 가능하게 한다. In the present invention, as a technique for obtaining accurate distance error and skew angle information, the Z-axis distance is obtained through a laser distance meter, and the X- and Y-axis distance errors and skew angles are obtained through image information obtained by a CCD camera. In addition, this data can be shown to the driver for accurate landing and automatic landing.

도 1은 전체적인 크레인 도면으로 트롤리(2)와 와이어(5)로 연결되어있는 스프레더(7)에 두 대의 CCD카메라(3a)(3b)가 아래의 컨테이너(8)를 향하게 구성되어있다. X축(11)의 이동은 크레인의 바퀴(6)에 의해 전체가 앞뒤로 움직이는 것을 말하며, Y축(9)의 이동은 트롤리(2)가 좌우로 움직이는 것을 말하며 Z축(10)의 이동은 스프레더(7)의 상하 이동을 말한다.FIG. 1 is an overall crane view, in which a spreader 7 connected by a trolley 2 and a wire 5 has two CCD cameras 3a and 3b facing the container 8 below. The movement of the X-axis 11 refers to the movement of the entirety back and forth by the wheels 6 of the crane, the movement of the Y-axis 9 refers to the movement of the trolley 2 to the left and right, and the movement of the Z-axis 10 to the spreader. We say vertical movement of (7).

도 2는 스프레더(7)의 상세도로 스프레더(7)에 2대의 CCD카메라(3a)(3b)가 서로 대각선 위치에 구성되어있고 레이저 거리미터기(14)는 스프레더(7)의 아래 방향을 향하도록 구성되어 있다.FIG. 2 is a detailed view of the spreader 7 in which two CCD cameras 3a and 3b are arranged at diagonal positions with the spreader 7 and the laser distance meter 14 faces downward of the spreader 7. Consists of.

도 3과 도 4는 스프레더(7)의 위와 밑의 구성도로 레이저 거리 미터기(14)가 밑면 정 중앙에 구성되어있고 CCD카메라 2대(3a)(3b)가 스프레더의 모서리 부분에 서로 대각으로 위치하고 있다.3 and 4 are diagrams showing the structure of the spreader 7 above and below, where the laser distance meter 14 is located at the center of the bottom, and two CCD cameras 3a and 3b are diagonally positioned at the corners of the spreader. have.

도 5는 도 4에서 보여준 CCD카메라의 위치와 달리 하여 반대편 모서리 부분에 구성되어 있다.FIG. 5 is constructed at opposite corners, unlike the position of the CCD camera shown in FIG. 4.

도 6는 스프레더(7)가 컨테이너(8)에 랜딩하기 직전의 정렬상태의 도면으로 2대의 CCD카메라(3a)(3b)는 컨테이너의 모서리 부분을 영상 데이터(13)로 획득하게 된다.FIG. 6 is a diagram showing the alignment state just before the spreader 7 lands on the container 8. The two CCD cameras 3a and 3b acquire the corner portion of the container as the image data 13.

도 7은 영상데이터(13a)로 CCD카메라(3a)에 컨테이너가 비친 모습이다. 여기서 영상(13a)과 컨테이너(7)가 비틀어진 각도가 스큐각(12)을 나타낸다.FIG. 7 is a view of the container reflected on the CCD camera 3a with the image data 13a. Here, the skew angle 12 represents the angle at which the image 13a and the container 7 are twisted.

도 8은 비젼 처리 부분의 순서도이다. 카메라에서 먼저 영상을 획득한다(15). 그 영상 데이터(13a)에 색상에 대한 미분 마스크를 사용하면 컨테이너의 윤곽선이 추출된다(16). 그리고 추출하는 동안 윤곽선의 각 점들에 대한 윤곽선 각도도 같이 계산을 한다(17). 그러나 영상 데이터에서 윤곽선을 얻었을 때 불필요한 영상이 많이 존재하므로 불필요한 영상을 제거한다(18). 그리고 윤곽선과 윤곽선 각도를 이용하여 컨테이너의 윤곽선을 검출한다(19). 그러나 화면에 컨테이너의 윤곽선이 없을 경우에는 영상처리를 그냥 종료한다(20). 만일 영상 데이터에서 컨테이너의 윤곽선이 검출되었을 때 컨테이너의 모서리 점을 계산한다(21). 컨테이너의 윤곽선의 뒤틀림 정도를 계산하여 스큐각(12)을 구한다(22).8 is a flowchart of a vision processing portion. First, an image is acquired by the camera (15). When the differential mask for the color is used for the image data 13a, the outline of the container is extracted (16). During the extraction, the contour angle of each point of the contour is also calculated (17). However, when the contour is obtained from the image data, unnecessary images exist, so that unnecessary images are removed (18). Then, the contour of the container is detected using the contour and the contour angle (19). However, if there is no outline of the container on the screen, the image processing is simply terminated (20). If the contour of the container is detected from the image data, the corner point of the container is calculated (21). The skew angle 12 is calculated | required by calculating the degree of distortion of the outline of a container (22).

도 9은 전체적인 스프레드 자세 인식을 위한 순서도이다. 트롤리(2)로부터 컨테이너(8)에 랜딩을 하기 위해서 스프레더(7)가 하강을 하면서 지속적으로 레이저 거리 미터기로부터 컨테이너와 스프레더 사이의 거리를 입력을 받는다(23). 컨테이너와 스프레더 사이의 거리가 정해진 거리(약 1~2m사이)에 도달(24)하면 스프레더(7)의 하강은 멈추게 된다(25). 그리고는 먼저 1번 카메라(3a)를 이용하여 영상 데이터(13a)를 획득한다(26). 영상데이터를 영상 처리한다(27). 만일 영상데이터에서 컨테이너의 꼭지점이 검출을 판별하고(28) 꼭지점이 검출되지 않으면 2번째 CCD카메라(3b)에서 영상데이터(13b)를 획득한다(29). 그리고 구해진 꼭지점과 스큐각(13) 그리고 레이저 거리 미터기(14)에서 얻어진 Z축 실제 거리를 이용하여 실제 X축과 Y축의 거리 오차를 구한다(30). 9 is a flowchart for spread spread attitude recognition. The spreader 7 descends continuously to receive the distance between the container and the spreader from the laser distance meter for landing from the trolley 2 to the container 8 (23). When the distance between the container and the spreader reaches a predetermined distance (between about 1 and 2 m) (24), the lowering of the spreader 7 is stopped (25). First, image data 13a is acquired using camera 1 3 (26). Image data is processed (27). If the vertex of the container is detected in the image data (28), and if the vertex is not detected, the image data 13b is obtained from the second CCD camera 3b (29). The distance error between the actual X-axis and the Y-axis is obtained using the obtained vertex, the skew angle 13 and the Z-axis actual distance obtained from the laser distance meter 14 (30).

본 발명에서는 CCD카메라 데이터를 이용하여 X축과 Y축의 정확한 실제 거리 오차를 구할 수 있으므로 초보자가 스프레더를 컨테이너에 랜딩을 할 때 정확한 거리 오차값을 나타내어 시간 단축 및 운전 미숙에 의한 사고를 예방할 수 있다. 또한 거리 오차 값이 정확하므로 랜딩 시스템의 자동화에도 사용될 수 있다. In the present invention, the accurate actual distance error of the X-axis and the Y-axis can be obtained by using CCD camera data, so the beginners can display the exact distance error value when landing the spreader on the container, thereby preventing the accidents due to time reduction and inexperienced driving. . Accurate distance error values can also be used to automate landing systems.

도 1은 컨테이너 크레인의 전체 구성도1 is an overall configuration diagram of a container crane

도 2는 컨테이너 스프레더의 첫 번째 구체화도의 측면도2 is a side view of a first embodiment of a container spreader

도 3은 컨테이너 스프레더의 첫 번째 구체화도의 윗면도3 is a top view of a first embodiment of the container spreader;

도 4는 컨테이너 스프레더의 첫 번째 구체화도의 밑면도4 is a bottom view of the first embodiment of the container spreader;

도 5는 컨테이너 스프레더의 두 번째 구체화도의 밑면도5 is a bottom view of a second embodiment of a container spreader;

도 6는 컨테이너와 스프레더가 일치하지 않고 뒤틀려진 정렬 상태를 나타낸 그림Fig. 6 is a view showing a state where the container and the spreader are mismatched and twisted

도 7는 카메라가 얻은 영상 데이터 그림7 is a picture of the image data obtained by the camera

도 8는 영상 처리과정의 순서도8 is a flowchart of an image processing process

도 9은 거리정보와 스큐각 정보를 얻는 전체 순서도9 is an overall flowchart of obtaining distance information and skew angle information;

Claims

In a port crane that handles containers and has a spreader down on the trolley with wires and can be moved by wheels,

Installing two CCD cameras on both ends of the bottom of the spreader in a diagonal manner so as to face downwards, acquiring an image of two pieces of information, and determining an alignment state between the container and the spreader through image processing;

Measuring an accurate distance by installing a laser distance meter on a central portion of the bottom of the spreader, and measuring an accurate height of the container and the spreader through the distance;

Spreader attitude recognition method of the crane for a port, characterized in that comprises a to deliver the correct information to the driver.

The method of claim 1,

Image processing step,

Extracting contours using differential masks for colors in the image data, and

Calculating a contour angle for each point of the contour,

Removing unnecessary images,

Detecting the outline of the container using the outline and the angle of the outline,

Terminating the image processing when there is no outline of the container;

Calculating the corner points of the container when the contour of the container is detected, and

Calculating a skew angle by calculating a degree of distortion of the contour of the container;

Spreader attitude recognition method of the harbor crane, characterized in that made.