KR100528489B1 - Spreader pose determination using camera and laser sensor - Google Patents
Spreader pose determination using camera and laser sensor Download PDFInfo
- Publication number
- KR100528489B1 KR100528489B1 KR10-2002-0054410A KR20020054410A KR100528489B1 KR 100528489 B1 KR100528489 B1 KR 100528489B1 KR 20020054410 A KR20020054410 A KR 20020054410A KR 100528489 B1 KR100528489 B1 KR 100528489B1
- Authority
- KR
- South Korea
- Prior art keywords
- spreader
- container
- distance
- contour
- outline
- Prior art date
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
- B66C13/46—Position indicators for suspended loads or for crane elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C1/00—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles
- B66C1/10—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles by mechanical means
- B66C1/101—Load-engaging elements or devices attached to lifting or lowering gear of cranes or adapted for connection therewith for transmitting lifting forces to articles or groups of articles by mechanical means for containers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C19/00—Cranes comprising trolleys or crabs running on fixed or movable bridges or gantries
- B66C19/007—Cranes comprising trolleys or crabs running on fixed or movable bridges or gantries for containers
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Control And Safety Of Cranes (AREA)
Abstract
본 발명은 항만용 크레인(1)이 컨테이너(8)를 집을 때 컨테이너(8)와 스프레더(7) 사이의 거리 오차 및 스큐각을 측정하여 운전자에게 정보를 제공하고, 더 나아가 자동화 시스템으로 사용할 시 스프레더(7)로 컨테이너(8)를 집을 때 오차값과 스큐각에 대한 정보를 주어 자동적으로 랜딩이 가능하도록 하는 스프레더 자세 인식 방법에 관한 것이다. 2대의 CCD 카메라(3a),(3b)에서 획득한 영상을 윤곽선 검출 기법을 사용하여 컨테이너(8)부분의 영상을 추출한다. 스프레더(7)의 아래에 설치된 레이저 거리 미터기는 컨테이너(8)까지의 거리를 제공하여 랜딩의 자동화를 가능하게 한다. 영상정보는 날씨의 영향을 많이 받는 단점이 있으나 본 발명에서는 스프레더(7)와 컨테이너(8) 사이의 거리가 매우 짧고 카메라가 노출되어 있지 않으므로 비가 오거나 안개가 끼더라도 정확한 정보 값을 얻을 수 있다.The present invention measures the distance error and skew angle between the container 8 and the spreader 7 when the harbor crane 1 picks up the container 8 to provide information to the driver, and furthermore, when used as an automation system. The present invention relates to a spreader posture recognition method for automatically landing by giving information on an error value and skew angle when the container 8 is picked up by the spreader 7. The images obtained by the two CCD cameras 3a and 3b are extracted using the edge detection technique. The laser distance meter installed under the spreader 7 provides the distance to the container 8 to enable automation of the landing. Image information has a disadvantage of being affected by the weather a lot, but in the present invention, since the distance between the spreader 7 and the container 8 is very short and the camera is not exposed, accurate information can be obtained even if it rains or fogs.
Description
지금까지는 스프레더를 이용하여 컨테이너에 랜딩하는 부분에서 사람의 경험을 바탕으로 눈으로 보고 랜딩을 하였다. 그러나 초심자들은 경험이 부족하여 사고의 위험이 크다.Up to now, we have been using the spreader to see and land based on human experience in landing on containers. But novices are inexperienced and at high risk of accidents.
지금까지 정렬상태를 판별하는 방법들은 거의 모두 레이저 센서를 이용하고 있으므로 정확한 거리 오차 값이나 스큐각에 대한 정보를 얻기는 힘들다. 자동화가 되었을 때 정확한 오차 값이 주어지지 않으면 스프레더가 컨테이너에 랜딩하는 것은 불가능하다. 그러므로 이러한 랜딩 부분에서 정확한 거리 오차값과 스큐각에 대한 정보를 얻는 방법의 개발이 요구된다.Until now, almost all methods for determining alignment state use a laser sensor, so it is difficult to obtain accurate distance error values or skew angle information. When automated, the spreader cannot land in the container unless the correct error value is given. Therefore, it is necessary to develop a method of obtaining information about an accurate distance error value and skew angle in the landing part.
본 발명에서는 정확한 거리 오차와 스큐각에 대한 정보를 얻기 위한 기술로써 레이저 거리미터기를 통해 Z축의 거리를 얻고, CCD카메라를 통해 얻는 영상 정보를 통해서 X축과 Y축의 거리 오차 및 스큐각을 얻을 수 있고, 이 데이터를 운전자에게 보여주므로 해서 정확한 랜딩을 할 수 있게 하며, 아울러 자동랜딩도 가능하게 한다. In the present invention, as a technique for obtaining accurate distance error and skew angle information, the Z-axis distance is obtained through a laser distance meter, and the X- and Y-axis distance errors and skew angles are obtained through image information obtained by a CCD camera. In addition, this data can be shown to the driver for accurate landing and automatic landing.
도 1은 전체적인 크레인 도면으로 트롤리(2)와 와이어(5)로 연결되어있는 스프레더(7)에 두 대의 CCD카메라(3a)(3b)가 아래의 컨테이너(8)를 향하게 구성되어있다. X축(11)의 이동은 크레인의 바퀴(6)에 의해 전체가 앞뒤로 움직이는 것을 말하며, Y축(9)의 이동은 트롤리(2)가 좌우로 움직이는 것을 말하며 Z축(10)의 이동은 스프레더(7)의 상하 이동을 말한다.FIG. 1 is an overall crane view, in which a spreader 7 connected by a trolley 2 and a wire 5 has two CCD cameras 3a and 3b facing the container 8 below. The movement of the X-axis 11 refers to the movement of the entirety back and forth by the wheels 6 of the crane, the movement of the Y-axis 9 refers to the movement of the trolley 2 to the left and right, and the movement of the Z-axis 10 to the spreader. We say vertical movement of (7).
도 2는 스프레더(7)의 상세도로 스프레더(7)에 2대의 CCD카메라(3a)(3b)가 서로 대각선 위치에 구성되어있고 레이저 거리미터기(14)는 스프레더(7)의 아래 방향을 향하도록 구성되어 있다.FIG. 2 is a detailed view of the spreader 7 in which two CCD cameras 3a and 3b are arranged at diagonal positions with the spreader 7 and the laser distance meter 14 faces downward of the spreader 7. Consists of.
도 3과 도 4는 스프레더(7)의 위와 밑의 구성도로 레이저 거리 미터기(14)가 밑면 정 중앙에 구성되어있고 CCD카메라 2대(3a)(3b)가 스프레더의 모서리 부분에 서로 대각으로 위치하고 있다.3 and 4 are diagrams showing the structure of the spreader 7 above and below, where the laser distance meter 14 is located at the center of the bottom, and two CCD cameras 3a and 3b are diagonally positioned at the corners of the spreader. have.
도 5는 도 4에서 보여준 CCD카메라의 위치와 달리 하여 반대편 모서리 부분에 구성되어 있다.FIG. 5 is constructed at opposite corners, unlike the position of the CCD camera shown in FIG. 4.
도 6는 스프레더(7)가 컨테이너(8)에 랜딩하기 직전의 정렬상태의 도면으로 2대의 CCD카메라(3a)(3b)는 컨테이너의 모서리 부분을 영상 데이터(13)로 획득하게 된다.FIG. 6 is a diagram showing the alignment state just before the spreader 7 lands on the container 8. The two CCD cameras 3a and 3b acquire the corner portion of the container as the image data 13.
도 7은 영상데이터(13a)로 CCD카메라(3a)에 컨테이너가 비친 모습이다. 여기서 영상(13a)과 컨테이너(7)가 비틀어진 각도가 스큐각(12)을 나타낸다.FIG. 7 is a view of the container reflected on the CCD camera 3a with the image data 13a. Here, the skew angle 12 represents the angle at which the image 13a and the container 7 are twisted.
도 8은 비젼 처리 부분의 순서도이다. 카메라에서 먼저 영상을 획득한다(15). 그 영상 데이터(13a)에 색상에 대한 미분 마스크를 사용하면 컨테이너의 윤곽선이 추출된다(16). 그리고 추출하는 동안 윤곽선의 각 점들에 대한 윤곽선 각도도 같이 계산을 한다(17). 그러나 영상 데이터에서 윤곽선을 얻었을 때 불필요한 영상이 많이 존재하므로 불필요한 영상을 제거한다(18). 그리고 윤곽선과 윤곽선 각도를 이용하여 컨테이너의 윤곽선을 검출한다(19). 그러나 화면에 컨테이너의 윤곽선이 없을 경우에는 영상처리를 그냥 종료한다(20). 만일 영상 데이터에서 컨테이너의 윤곽선이 검출되었을 때 컨테이너의 모서리 점을 계산한다(21). 컨테이너의 윤곽선의 뒤틀림 정도를 계산하여 스큐각(12)을 구한다(22).8 is a flowchart of a vision processing portion. First, an image is acquired by the camera (15). When the differential mask for the color is used for the image data 13a, the outline of the container is extracted (16). During the extraction, the contour angle of each point of the contour is also calculated (17). However, when the contour is obtained from the image data, unnecessary images exist, so that unnecessary images are removed (18). Then, the contour of the container is detected using the contour and the contour angle (19). However, if there is no outline of the container on the screen, the image processing is simply terminated (20). If the contour of the container is detected from the image data, the corner point of the container is calculated (21). The skew angle 12 is calculated | required by calculating the degree of distortion of the outline of a container (22).
도 9은 전체적인 스프레드 자세 인식을 위한 순서도이다. 트롤리(2)로부터 컨테이너(8)에 랜딩을 하기 위해서 스프레더(7)가 하강을 하면서 지속적으로 레이저 거리 미터기로부터 컨테이너와 스프레더 사이의 거리를 입력을 받는다(23). 컨테이너와 스프레더 사이의 거리가 정해진 거리(약 1~2m사이)에 도달(24)하면 스프레더(7)의 하강은 멈추게 된다(25). 그리고는 먼저 1번 카메라(3a)를 이용하여 영상 데이터(13a)를 획득한다(26). 영상데이터를 영상 처리한다(27). 만일 영상데이터에서 컨테이너의 꼭지점이 검출을 판별하고(28) 꼭지점이 검출되지 않으면 2번째 CCD카메라(3b)에서 영상데이터(13b)를 획득한다(29). 그리고 구해진 꼭지점과 스큐각(13) 그리고 레이저 거리 미터기(14)에서 얻어진 Z축 실제 거리를 이용하여 실제 X축과 Y축의 거리 오차를 구한다(30). 9 is a flowchart for spread spread attitude recognition. The spreader 7 descends continuously to receive the distance between the container and the spreader from the laser distance meter for landing from the trolley 2 to the container 8 (23). When the distance between the container and the spreader reaches a predetermined distance (between about 1 and 2 m) (24), the lowering of the spreader 7 is stopped (25). First, image data 13a is acquired using camera 1 3 (26). Image data is processed (27). If the vertex of the container is detected in the image data (28), and if the vertex is not detected, the image data 13b is obtained from the second CCD camera 3b (29). The distance error between the actual X-axis and the Y-axis is obtained using the obtained vertex, the skew angle 13 and the Z-axis actual distance obtained from the laser distance meter 14 (30).
본 발명에서는 CCD카메라 데이터를 이용하여 X축과 Y축의 정확한 실제 거리 오차를 구할 수 있으므로 초보자가 스프레더를 컨테이너에 랜딩을 할 때 정확한 거리 오차값을 나타내어 시간 단축 및 운전 미숙에 의한 사고를 예방할 수 있다. 또한 거리 오차 값이 정확하므로 랜딩 시스템의 자동화에도 사용될 수 있다. In the present invention, the accurate actual distance error of the X-axis and the Y-axis can be obtained by using CCD camera data, so the beginners can display the exact distance error value when landing the spreader on the container, thereby preventing the accidents due to time reduction and inexperienced driving. . Accurate distance error values can also be used to automate landing systems.
도 1은 컨테이너 크레인의 전체 구성도1 is an overall configuration diagram of a container crane
도 2는 컨테이너 스프레더의 첫 번째 구체화도의 측면도2 is a side view of a first embodiment of a container spreader
도 3은 컨테이너 스프레더의 첫 번째 구체화도의 윗면도3 is a top view of a first embodiment of the container spreader;
도 4는 컨테이너 스프레더의 첫 번째 구체화도의 밑면도4 is a bottom view of the first embodiment of the container spreader;
도 5는 컨테이너 스프레더의 두 번째 구체화도의 밑면도5 is a bottom view of a second embodiment of a container spreader;
도 6는 컨테이너와 스프레더가 일치하지 않고 뒤틀려진 정렬 상태를 나타낸 그림Fig. 6 is a view showing a state where the container and the spreader are mismatched and twisted
도 7는 카메라가 얻은 영상 데이터 그림7 is a picture of the image data obtained by the camera
도 8는 영상 처리과정의 순서도8 is a flowchart of an image processing process
도 9은 거리정보와 스큐각 정보를 얻는 전체 순서도9 is an overall flowchart of obtaining distance information and skew angle information;
Claims (2)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2002-0054410A KR100528489B1 (en) | 2002-09-10 | 2002-09-10 | Spreader pose determination using camera and laser sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2002-0054410A KR100528489B1 (en) | 2002-09-10 | 2002-09-10 | Spreader pose determination using camera and laser sensor |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20040022841A KR20040022841A (en) | 2004-03-18 |
KR100528489B1 true KR100528489B1 (en) | 2005-11-15 |
Family
ID=37326555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR10-2002-0054410A KR100528489B1 (en) | 2002-09-10 | 2002-09-10 | Spreader pose determination using camera and laser sensor |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100528489B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011019117A1 (en) * | 2009-08-12 | 2011-02-17 | 한국과학기술원 | Automatic landing apparatus of spreader for crane and method thereof |
WO2011049269A1 (en) * | 2009-10-21 | 2011-04-28 | 한국과학기술원 | Method for determining container loading and unloading priorities and a container crane employing the method |
KR101092133B1 (en) | 2009-11-27 | 2011-12-12 | 동명대학교산학협력단 | Method of Detecting Area and Measuring Distance of Container |
KR101173565B1 (en) | 2009-12-24 | 2012-08-13 | 한국과학기술원 | Container detecting method using image processing |
KR101774909B1 (en) * | 2015-11-25 | 2017-09-05 | 삼성중공업 주식회사 | Cell guide measuring apparatus |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015022001A1 (en) * | 2013-08-12 | 2015-02-19 | Abb Technology Ltd | Method and system for automatically landing containers on a landing target using a container crane |
CN109506572A (en) * | 2018-11-29 | 2019-03-22 | 天津普达软件技术有限公司 | A kind of method for correcting error stacked for container |
EP3699136A1 (en) * | 2019-02-25 | 2020-08-26 | ABB Schweiz AG | Container crane comprising reference marker |
CN112744728B (en) * | 2020-12-30 | 2023-05-05 | 三一海洋重工有限公司 | Alignment device and method for automatically aligning lock holes of container |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0797179A (en) * | 1993-09-24 | 1995-04-11 | Mitsubishi Heavy Ind Ltd | Position detecting device for crane |
JPH10236770A (en) * | 1997-02-28 | 1998-09-08 | Mitsubishi Heavy Ind Ltd | Stop position detecting device of transport vehicle |
JP2002241078A (en) * | 2001-02-09 | 2002-08-28 | Mitsubishi Heavy Ind Ltd | Landing target determining device for container crane |
-
2002
- 2002-09-10 KR KR10-2002-0054410A patent/KR100528489B1/en not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0797179A (en) * | 1993-09-24 | 1995-04-11 | Mitsubishi Heavy Ind Ltd | Position detecting device for crane |
JPH10236770A (en) * | 1997-02-28 | 1998-09-08 | Mitsubishi Heavy Ind Ltd | Stop position detecting device of transport vehicle |
JP2002241078A (en) * | 2001-02-09 | 2002-08-28 | Mitsubishi Heavy Ind Ltd | Landing target determining device for container crane |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011019117A1 (en) * | 2009-08-12 | 2011-02-17 | 한국과학기술원 | Automatic landing apparatus of spreader for crane and method thereof |
KR101141591B1 (en) | 2009-08-12 | 2012-05-17 | 한국과학기술원 | Auto landing, location, locking device for spreader of crane and method thereof |
WO2011049269A1 (en) * | 2009-10-21 | 2011-04-28 | 한국과학기술원 | Method for determining container loading and unloading priorities and a container crane employing the method |
KR101150256B1 (en) | 2009-10-21 | 2012-06-12 | 한국과학기술원 | Container docking proirity determining method and container crane using the method |
KR101092133B1 (en) | 2009-11-27 | 2011-12-12 | 동명대학교산학협력단 | Method of Detecting Area and Measuring Distance of Container |
KR101173565B1 (en) | 2009-12-24 | 2012-08-13 | 한국과학기술원 | Container detecting method using image processing |
KR101774909B1 (en) * | 2015-11-25 | 2017-09-05 | 삼성중공업 주식회사 | Cell guide measuring apparatus |
Also Published As
Publication number | Publication date |
---|---|
KR20040022841A (en) | 2004-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5949905A (en) | Model-based adaptive segmentation | |
KR101392850B1 (en) | Method and system for lane departure warning based on image recognition | |
KR100528489B1 (en) | Spreader pose determination using camera and laser sensor | |
CN113460851B (en) | Segment automatic grabbing and transporting system and method based on monocular vision and laser | |
JPH077446B2 (en) | Part recognition method | |
CN109445455B (en) | Unmanned aerial vehicle autonomous landing method and control system thereof | |
CN105865329A (en) | Vision-based acquisition system for end surface center coordinates of bundles of round steel and acquisition method thereof | |
KR101747025B1 (en) | survey method for flood affected areas using drone | |
CN105303564B (en) | Visual detection method for tower crane load three-dimensional swing angle | |
CN112634269A (en) | Rail vehicle body detection method | |
WO2019098901A1 (en) | Method and image processing system for facilitating estimation of volumes of load of a truck | |
KR101574195B1 (en) | Auto Calibration Method for Virtual Camera based on Mobile Platform | |
JP6594052B2 (en) | Assembly equipment inspection method | |
CN109584296A (en) | A kind of fork truck identification distance measuring method based on monocular vision | |
CN110852278B (en) | Ground identification line recognition method, ground identification line recognition equipment and computer-readable storage medium | |
JP3192779B2 (en) | Position / posture measuring device | |
KR101967554B1 (en) | Method for measuring spatial information using index line and apparatus thereof | |
CN109118511B (en) | Image processing method of tilt sensor | |
JPH07183697A (en) | Electronic component mounting apparatus | |
JPH04338700A (en) | Board mark recognition device | |
KR101412480B1 (en) | A method of measuring full and shawl width of tread of tire | |
JPH0340183A (en) | Corner detector | |
KR980013461A (en) | Adjustment device of adjustment parts and method of detecting flaws | |
JPH02150704A (en) | Object inspecting device | |
CN118071099A (en) | Rapid monitoring method for construction progress of building main body based on unmanned aerial vehicle platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
N231 | Notification of change of applicant | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120928 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20131107 Year of fee payment: 9 |
|
LAPS | Lapse due to unpaid annual fee |