KR102444041B1 - 크레인 시스템을 이용한 짐의 로딩 - Google Patents

크레인 시스템을 이용한 짐의 로딩 Download PDF

Info

Publication number
KR102444041B1
KR102444041B1 KR1020200069651A KR20200069651A KR102444041B1 KR 102444041 B1 KR102444041 B1 KR 102444041B1 KR 1020200069651 A KR1020200069651 A KR 1020200069651A KR 20200069651 A KR20200069651 A KR 20200069651A KR 102444041 B1 KR102444041 B1 KR 102444041B1
Authority
KR
South Korea
Prior art keywords
marker
image data
data stream
camera
computer unit
Prior art date
Application number
KR1020200069651A
Other languages
English (en)
Other versions
KR20200141944A (ko
Inventor
토마스 도블러
줄리안 보겔
Original Assignee
지멘스 악티엔게젤샤프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지멘스 악티엔게젤샤프트 filed Critical 지멘스 악티엔게젤샤프트
Publication of KR20200141944A publication Critical patent/KR20200141944A/ko
Application granted granted Critical
Publication of KR102444041B1 publication Critical patent/KR102444041B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/22—Control systems or devices for electric drives
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/04—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack
    • B66C13/08—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for depositing loads in desired attitudes or positions
    • B66C13/085—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for depositing loads in desired attitudes or positions electrical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G67/00—Loading or unloading vehicles
    • B65G67/02—Loading or unloading land vehicles
    • B65G67/04—Loading land vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G63/00—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations
    • B65G63/002—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations for articles
    • B65G63/004—Transferring or trans-shipping at storage areas, railway yards or harbours or in opening mining cuts; Marshalling yard installations for articles for containers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/04—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack
    • B66C13/08—Auxiliary devices for controlling movements of suspended loads, or preventing cable slack for depositing loads in desired attitudes or positions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/46—Position indicators for suspended loads or for crane elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00—Other constructional features or details
    • B66C13/18—Control systems or devices
    • B66C13/48—Automatic control of crane drives for producing a single or repeated working cycle; Programme control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2201/00—Indexing codes relating to handling devices, e.g. conveyors, characterised by the type of product or load being conveyed or handled
    • B65G2201/02—Articles
    • B65G2201/0235—Containers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2814/00—Indexing codes relating to loading or unloading articles or bulk materials
    • B65G2814/03—Loading or unloading means
    • B65G2814/0301—General arrangements
    • B65G2814/0302—Central control devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65G—TRANSPORT OR STORAGE DEVICES, e.g. CONVEYORS FOR LOADING OR TIPPING, SHOP CONVEYOR SYSTEMS OR PNEUMATIC TUBE CONVEYORS
    • B65G2814/00—Indexing codes relating to loading or unloading articles or bulk materials
    • B65G2814/03—Loading or unloading means
    • B65G2814/0301—General arrangements
    • B65G2814/0311—Other article loading or unloading devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Robotics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Control And Safety Of Cranes (AREA)
  • Image Analysis (AREA)

Abstract

크레인 시스템(8)에 의한 짐(28)의 자동화된 로딩을 위하여, 크레인 시스템(8)의 카메라 시스템(9, 10, 11, 12)에 의해, 적어도 하나의 이미지 데이터 스트림이 생성되며, 인공 뉴럴 네트워크를 이용하여 컴퓨터 유닛(13)에 의해 분석된다. 분석에 기반하여, 제1 및 제2 마커(14, 15, 18, 19)는 적어도 하나의 이미지 데이터 스트림의 개개의 단일 이미지들(22, 23)에서 컴퓨터 유닛(13)에 의해 인식된다. 마커들(14, 15, 18, 19)의 포지션들이 결정되며, 짐(28)은 마커들(14, 15, 18, 29)의 포지션들에 의존하여 크레인 시스템(8)의 리프팅 디바이스(27)에 의해 자동으로 로딩된다.

Description

크레인 시스템을 이용한 짐의 로딩{Loading of a load with a crane system}
본 발명은 크레인 시스템(crane system)을 이용한 짐의 로딩(loading)을 위한 방법, 짐의 로딩을 위한 크레인 시스템 및 컴퓨터 프로그램(computer program)에 관한 것이다.
콘테이너 터미널(container terminal)들에서, 화물 열차들 및 대형 화물 차량들이 로딩되는데(loaded), 특히 로딩되고 언로딩된다(unloaded). 그에 의해, 크레인 운전자는 크레인의 리프팅 디바이스(lifting device)를 수동으로 제어한다. 가능한 효율적이고 경제적이며 안전하도록 로딩을 설계하기 위해, 가능한 많은 프로세스(process)들을 자동으로 수행하는 것이 바람직하다.
따라서, 크레인 시스템을 이용하여 짐을 로딩하기 위한 개선된 개념을 제공하는 것이 본 발명의 목적이며, 이는 짐의 자동화된 로딩을 가능하게 한다.
본 발명에 따르면, 이러한 목적은 독립항들에 따른 방법 및 크레인 시스템 뿐만 아니라 컴퓨터 프로그램에 의해 달성된다. 유리한 전개들 및 추가적인 실시예들이 종속항들의 청구 대상이다.
개선된 개념은, 카메라(camera) 시스템을 이용하여 로딩 또는 언로딩될 운송 차량을 이미징하고(imaging) 인공 뉴럴 네트워크(artificial neural network)에 의해 카메라 데이터(data)를 분석하는 개념에 기반한다. 특히 뉴럴 네트워크가 트레이닝되었다(trained)는 인식을 위한 미리-정의된 마커(marker)들에 의해, 리프팅 디바이스가 짐의 자동 로딩을 위해 제어된다.
개선된 개념의 제1 독립적인 양상에 따르면, 크레인 시스템을 이용하여 짐을 로딩하기 위한 방법이 제공된다. 그에 의해, 크레인 시스템의 카메라 시스템에 의하여, 적어도 하나의 이미지 데이터 스트림(image data stream)이 생성된다. 적어도 하나의 이미지 데이터 스트림은 특히, 트레이닝된 인공 뉴럴 네트워크에 기반하여 크레인 시스템의 컴퓨터 유닛(unit)에 의해, 특히 연속적으로, 주기적으로 그리고/또는 반복적으로 분석된다. 컴퓨터 유닛에 의해, 분석이 기반하여, 제1 마커는 적어도 하나의 이미지 데이터 스트림의 제1 단일 이미지에서 인식되고, 제2 마커는 적어도 하나의 이미지 데이터 스트림의 제2 단일 이미지에서 인식된다. 컴퓨터 유닛에 의해, 제1 마커의 포지션(position) 및 제2 마커의 포지션이 결정되며, 마커들의 포지션들에 의존하여, 짐은 크레인 시스템의 리프팅 디바이스에 의해 자동으로 로딩된다.
이미지 데이터 스트림은, 또한 지정된 프레임(frame)들일 수 있는 복수의 단일 이미지들의 시간적 시퀀스(sequence)로서 본 명세서에서 그리고 다음에서 고려될 수 있다. 특히, 단일 이미지들은 미리-정의된 샘플링 레이트(sampling rate)로 레코딩될(recorded) 수 있으며, 그에 의해, 샘플링 레이트는, 예컨대 10ms 내지 10s의 범위, 예컨대 100ms 또는 대략 100ms의 대략적인 크기에 있을 수 있다. 다시 말하면, 적어도 하나의 이미지 데이터 스트림은 적어도 하나의 비디오(video) 스트림을 수반한다.
카메라 시스템은, 특히 크레인 시스템의 부근에서 카메라 시스템의 하나 이상의 타겟(target) 구역들을 이미징함으로써 적어도 하나의 이미지 데이터 스트림을 생성한다. 특히, 타겟 구역들은, 방법에 의해 로딩 또는 언로딩될 운송 차량이 이러한 목적을 위해 위치되는 구역에 놓인다.
인공 뉴럴 네트워크는, 특히 이미지 데이터에서 패턴(pattern) 인식을 위해 트레이닝된 뉴럴 네트워크이다. 예컨대, 이것은 "콘볼루셔널 뉴럴 네트(CNN; convolutional neural net)"일 수 있다.
뉴럴 네트워크를 이용하여 적어도 하나의 이미지 데이터 스트림이 분석된다는 것은, 예컨대 적어도 하나의 이미지 데이터 스트림을 포함하는 각각의 이미지 데이터 스트림이 분석되고, 그에 의해 분석을 위하여, 대응하는 이미지 데이터 스트림의 단일 이미지들 각각이 분석되며, 그에 따라 단일 이미지들 각각에 대해, 특히 패턴 인식이 수행된다는 점으로 이해될 수 있다.
제1 및 제2 마커들은 특히, 운송 차량에 또는 그 상에 위치된다. 특히, 이들은 운송 차량에 견고하게 설치되거나 운송 차량 상에 체결된 컴포넌트(component)들, 예컨대 기능 컴포넌트들일 수 있다. 대안적으로 또는 부가적으로, 마커들은 또한, 패턴 인식의 목적을 위해 전용 방식으로 제공될 수 있다.
제1 및 제2 마커들이 분석에 의해 개개의 단일 이미지에서 인식된다는 것은, 뉴럴 네트워크에 의한 분석에 기반하여, 미리-정의된 그리고/또는 트레이닝된 패턴이 개개의 단일 이미지에 존재하고, 여기서 패턴이 미리-정의되거나, 또는 특히 뉴럴 네트워크의 트레이닝(training)에 의해 트레이닝된다는 점으로 이해될 수 있다.
제1 및 제2 마커들은, 특히 운송 차량의 상이한 포지션들에, 특히 운송 차량의 대향 단부들 상에 위치된다. 그에 의해, 운송 차량의 지정 "단부"는 운송 차량의 길이 방향 또는 길이방향 축에 관련된다. 특히, 제1 마커는 운송 차량의 제1 길이방향 단부 상에 위치되고, 제2 마커는 제1 길이방향 단부에 대향하게 놓이는 운송 차량의 제2 길이방향 단부 상에 위치된다.
운송 차량의 길이 방향은, 예컨대 특히 관련있다면, 운송 차량이 운송 차량의 조향 시스템의 중립 세팅(setting)에서 이동할 수 있는 방향으로 이해될 수 있다.
운송 차량은, 예컨대 대형 화물 차량, 대형 화물 트레일러(trailer) 또는 대형 화물 관절식 트레일러 또는 열차 화물칸(train wagon)일 수 있다. 열차 화물칸의 경우, 예컨대 열차 화물칸이 타겟 구역 내로 또는 타겟 구역 밖으로 이동될 수 있는 레일(rail)들이 제공될 수 있다. 이러한 경우, 운송 차량의 길이방향 축은, 특히 레일들의 정렬 또는 길이 방향에 대응한다.
특히 짐은, 예컨대 표준 ISO 668(제6 판, 2013)에 따른 리셉터클(receptacle), 특히 콘테이너, 예컨대 해양 화물 콘테이너일 수 있다.
운송 차량은, 특히 크레인 또는 크레인 시스템에 의해 로딩 또는 언로딩될 그리고 특히 로딩 이후 또는 언로딩(unloading) 이전에 짐을 운송하는 차량이다.
뉴럴 네트워크는 특히, 컴퓨터 유닛 상에 저장된 소프트웨어 모듈(software module)이다.
제1 및 제2 마커의 포지션들은, 특히 크레인 시스템의 프레임, 또는 운송 차량이 위치되는 베이스(base)에 연결되는 미리-정의된 좌표계에 관련되는 대응하는 좌표들에 의해 주어진, 특히 개개의 실제 포지션들, 즉 절대 포지션들이다. 특히, 개개의 마커의 포지션은, 미리-정의된 좌표계에 관련된 카메라 시스템의 포지션 및 단일 이미지 내의 마커의 어레인지먼트(arrangement) 또는 상대적인 포지션에 의해 명확하게 정의될 수 있다. 근사치로서, 마커 단독의 포지션은 카메라 시스템의 개개의 포지션에 의해 정의될 수 있다.
리프팅 디바이스는 특히, 콘테이너 스프레더(spreader)를 포함하며, 짐 수용 수단 또는 스프레더로 또한 지칭될 수 있다. 특히, 리프팅 디바이스는 그립핑(gripping) 디바이스를 포함하며, 그 디바이스에 의해, 짐, 특히 콘테이너는 그립핑되어(gripped) 운송 차량으로부터 리프팅될(lifted) 수 있거나 또는 운송 차량 상에 배치될 수 있다.
리프팅 디바이스는, 예컨대 프레임, 특히 콘테이너의 길이를 따라 연장되고 그리고/또는 세팅될(set) 수 있는 텔레스코픽(telescopic) 프레임을 포함한다. 리프팅 디바이스의 그립핑 엘리먼트(element)들은, 예컨대 콘테이너의 대응하는 코너 피팅(corner fitting)들에 맞물려서 고정될 수 있다.
짐이 리프팅 디바이스에 의해 자동으로 로딩된다는 것은 특히, 리프팅 디바이스 또는 크레인 시스템의 적어도 하나의 동작 파라미터(parameter)가 짐을 로딩(load)하기 위하여 마커들의 포지션들에 의존하는 크레인 시스템에 의해 임의의 수동 관여 없이 자율적으로 세팅된다는 것을 의미하는 것으로 이해될 수 있다. 예컨대, 로딩은 완전히 자동으로, 즉 오퍼레이터(operator)에 의한 임의의 개입 없이 발생할 수 있다.
개선된 개념에 따르면, 짐을 로딩하기 위한 크레인 시스템, 특히 리프팅 디바이스의 세팅들은 부분적으로 또는 완전히 자동이도록 구성될 수 있다. 특히, 마커들의 포지션들은 적어도 하나의 이미지 데이터 스트림으로부터 완전히 자동으로 결정된다. 따라서, 짐의 로딩은, 적어도 부분적으로 자동으로 또는 가능하게는 완전히 자동으로 그리고 그에 따라 특히 효율적으로, 특히 시간-절약 및 비용-절약 방식으로 그리고 향상된 안전성으로 발생할 수 있다.
뉴럴 네트워크의 사용을 통해, 마커들의 인식 및 포지션 결정이 높은 정도의 신뢰성으로 가능하므로, 높은 레벨(level)의 자동화가 가능해질 수 있다. 뉴럴 네트워크의 사용으로부터 초래되는 추가적인 장점들은 그의 개별적인 트레이닝가능성(trainability), 즉 마커들의 광학적 외관에 대한 그의 특정 적응성 또는 미리-정의된 패턴 및 패턴 인식 동안의 그의 높은 속도이다.
방법의 적어도 하나의 실시예에 따르면, 컴퓨터 유닛에 의해, 분석 유닛에 기반하여, 제3 마커는 적어도 하나의 이미지 데이터 스트림의 제3 단일 이미지에서 인식되고, 제4 마커는 제4 단일 이미지에서 인식된다. 컴퓨터 유닛에 의해, 제3 및 제4 마커들의 포지션들이 결정된다. 짐은 제1, 제2, 제3 및 제4 마커의 포지션들에 의존하여 리프팅 디바이스에 의해 로딩된다.
제3 및 제4 마커의 부가적인 인식 및 평가에 의해, 방법의 향상된 신뢰성, 증가된 속도 또는 여분(redundancy) 및 그에 의한 향상된 레벨의 안전성이 달성될 수 있다. 제1 및 제2 마커들에 관한 위의 언급들은 제3 및 제4 마커들에 대해 유사하게 적용된다.
적어도 하나의 실시예에 따르면, 운송 차량의 길이 방향을 따른 적어도 하나의 이미지 데이터 스트림의 생성 동안 카메라 시스템이 이동된다. 제1 마커의 포지션은, 제1 마커가 인식되는 경우 카메라 시스템의 제1 순간 포지션에 의존하여 컴퓨터 유닛에 의해 결정된다. 제2 마커의 포지션은, 제2 마커가 인식되는 경우 카메라 시스템의 제2 순간 포지션에 의존하여 컴퓨터 유닛에 의해 결정된다.
특히, 크레인 시스템은 제어 시스템 및 구동 시스템을 포함할 수 있으며, 여기서 제어 시스템은 카메라 시스템을 이동시키기 위해 구동 시스템을 제어할 수 있다. 그에 의해, 컴퓨터 유닛이 특히 제어 시스템에 커플링된다(coupled).
적어도 하나의 이미지 데이터 스트림을 생성하기 위한 길이 방향을 따른 카메라 시스템의 움직임 동안, 운송 차량은, 예컨대 특히 미리-정의된 좌표계와 관련하여 정지상태에 있다.
카메라 시스템의 순간 포지션은, 특히 개개의 마커의 인식의 시점에서의 미리-정의된 좌표계에 관한, 특히 카메라 시스템의 포지션으로 이해될 수 있다. 예컨대, 적어도 하나의 이미지 데이터 스트림의 각각의 단일 이미지는 타임 스탬프(time stamp)에 할당될 수 있다. 이어서, 순간 포지션은, 예컨대, 대응하는 마커가 인식되었던 개개의 단일 이미지의 타임 스탬프에 의해 주어지는 시점에서의 카메라 시스템의 포지션에 대응한다.
제1 및 제2 순간 포지션은, 예컨대 카메라 시스템의 상이한 컴포넌트들 또는 구성물들의 개개의 포지션들에 대응할 수 있다.
특히, 카메라 시스템은, 예컨대 적어도 하나의 이미지 데이터 스트림의 이미지 데이터 스트림 당 하나의 카메라를 갖는다. 이어서, 카메라 시스템의 제1 순간 포지션은, 예컨대 제1 마커가 인식되었던 카메라의 순간 포지션에 대응한다. 따라서, 제2 순간 포지션은, 예컨대 제2 마커가 인식되었던 카메라의 순간 포지션에 의해 주어진다.
따라서, 그러한 실시예들에서, 운송 차량은 카메라 시스템에 의해 스캐닝된다(scanned). 유리하게, 이러한 방식으로, 방법의 시작 시의 운송 차량의 정확한 포지션 또는 운송 차량의 타입(type) 또는 길이 또는 방법의 시작 시의 짐의 규모가 반드시 알려질 필요가 없도록 마커들이 탐색될 수 있다. 따라서, 증가된 레벨의 자동화가 가능해진다.
부가적으로, 일부 실시예들에서, 마커들의 포지션 결정은 카메라 시스템의 대응하는 순간 포지션에 의해 순수하게 가능해진다. 대응하는 정확도가 특정 사용을 위한 포지션 결정에 충분하면, 예컨대 마커들의 포지션을 결정하기 위해 개개의 단일 이미지 내에서의 개개의 마커의 어레인지먼트의 결정이 생략될 수 있다.
적어도 하나의 실시예에 따르면, 적어도 하나의 이미지 데이터 스트림 중 제1 이미지 데이터 스트림은 리프팅 디바이스의 제1 단부에 배열된 카메라 시스템의 제1 카메라에 의해 생성된다. 적어도 하나의 이미지 데이터 스트림의 분석을 위해, 제1 이미지 데이터 스트림은 뉴럴 네트워크를 이용하여 컴퓨터 유닛에 의해 분석된다. 제1 마커는 제1 단일 이미지 내의 제1 이미지 데이터 스트림의 분석에 기반하여 컴퓨터 유닛에 의해 인식된다. 그에 의해, 제1 순간 포지션은 제1 카메라의 순간 포지션에 대응한다.
리프팅 디바이스의 제1 단부는 특히 제1 길이방향 단부, 즉 리프팅 디바이스의 길이 방향에 관련된 제1 단부이다. 리프팅 디바이스의 길이 방향은 특히 방법 동안 또는 스캐닝(scanning) 동안, 예컨대 운송 차량의 길이 방향에 대응하거나 대략적으로 대응할 수 있다.
제1 단일 이미지는, 예컨대 제1 이미지 데이터 스트림의 단일 이미지이다.
일 실시예에 따르면, 적어도 하나의 이미지 데이터 스트림 중 제2 이미지 데이터 스트림은, 리프팅 디바이스의 제1 단부에 대향하는 리프팅 디바이스의 제2 단부에 배열된 카메라 시스템의 제2 카메라에 의해 생성된다. 적어도 하나의 이미지 데이터 스트림의 분석을 위해, 제2 이미지 데이터 스트림은 뉴럴 네트워크를 이용하여 컴퓨터 유닛에 의해 분석된다. 제2 마커는 제2 단일 이미지 내의 제2 이미지 데이터 스트림의 분석에 기반하여 컴퓨터 유닛에 의해 인식된다. 그에 의해, 제2 순간 포지션은 제2 카메라의 순간 포지션에 대응한다.
제2 단일 이미지는, 특히 제2 이미지 데이터 스트림의 단일 이미지이다.
여기서, 마커들의 인식을 위해, 별개의 카메라가 각각의 경우에 제공되고, 전체 운송 차량이 스캐닝될 필요가 없으므로 스캔(scan) 절차가 가속화되며, 따라서, 카메라 시스템은 운송 차량의 전체 길이에 걸쳐 이동될 필요가 없다.
적어도 하나의 실시예에 따르면, 적어도 하나의 이미지 데이터 스트림 중 제3 이미지 데이터 스트림은 리프팅 디바이스의 제1 단부에 배열된 카메라 시스템의 제3 카메라에 의해 생성된다. 제3 이미지 데이터 스트림은 뉴럴 네트워크를 이용하여 컴퓨터 유닛에 의해 분석된다. 제3 마커는 제3 단일 이미지 내의 제3 이미지 데이터 스트림의 분석에 기반하여 컴퓨터 유닛에 의해 인식된다. 제3 마커의 포지션은, 제3 마커가 인식되는 경우 제3 카메라의 순간 포지션에 대응하는, 카메라 시스템의 제3 순간 포지션에 의존하여 컴퓨터 유닛에 의해 결정된다.
일 실시예에 따르면, 적어도 하나의 이미지 데이터 스트림 중 제4 이미지 데이터 스트림은 리프팅 디바이스의 제2 단부에 배열된 카메라 시스템의 제4 카메라에 의해 생성된다. 제4 이미지 데이터 스트림은 뉴럴 네트워크를 이용하여 컴퓨터 유닛에 의해 분석되고, 제1 마커는 제4 단일 이미지 내의 제4 이미지 데이터 스트림의 분석에 기반하여 컴퓨터 유닛에 의해 인식된다. 제4 마커의 포지션은, 제4 마커가 인식되는 경우 제4 카메라의 순간 포지션에 대응하는, 카메라 시스템의 제4 순간 포지션에 의존하여 컴퓨터 유닛에 의해 결정된다.
따라서, 그러한 실시예들에서, 2개의 마커들이 운송 차량의 각각의 길이방향 단부에서 인식된다. 그에 의해, 제3 및 제4 마커의 인식은, 예컨대 제1 또는 제2 마커의 인식에 여분인 것으로 간주될 수 있다. 이러한 수단에 의해, 방법의 안정성 및 신뢰성이 향상될 수 있다.
적어도 하나의 실시예에 따르면, 제1 마커는 특히, 운송 차량이 열차 화물칸으로 구성되거나 그러한 것을 가지면, 운송 차량의 버퍼(buffer) 또는 버퍼 플레이트(plate)를 포함한다. 대안적으로 또는 부가적으로, 제1 마커는 짐 고정 수단을 포함할 수 있으며, 그 짐 고정 수단을 이용하여, 예컨대 운송 차량 상에 배치된 콘테이너가 고정되거나 포지셔닝될(positioned) 수 있다. 그러한 짐 고정 수단은 또한 핀(pin)들로 지칭될 수 있다.
적어도 하나의 실시예에 따르면, 버퍼 및/또는 짐 고정 수단은 뉴럴 네트워크를 이용하는, 적어도 하나의 이미지 데이터 스트림, 특히 제1 이미지 데이터 스트림의 분석에 기반하여 제1 마커로서 인식된다.
적어도 하나의 실시예에 따르면, 제2 마커는 운송 차량의 추가적인 버퍼 및/또는 운송 차량의 추가적인 짐 고정 수단을 포함한다.
적어도 하나의 실시예에 따르면, 운송 차량의 추가적인 버퍼 및/또는 추가적인 짐 고정 수단은 뉴럴 네트워크를 이용하는, 적어도 하나의 이미지 데이터 스트림, 특히 제2 이미지 데이터 스트림의 분석에 기반하여 제2 마커로서 인식된다.
대응하는 실시예들이 또한 제3 및/또는 제4 마커에 대해 직접적으로 발생한다.
따라서, 개별 마커들은 특히, 버퍼 또는 짐 고정 수단, 또는 버퍼와 짐 고정 수단의 조합을 포함한다.
마커들에 대한 버퍼들의 사용은, 특히 운송 차량들로서의 열차 화물칸들이 일반적으로 그러한 버퍼들을 갖는다는 장점을 갖는다. 부가적으로, 버퍼들은 항상 열차 화물칸의 개개의 길이방향 단부들에 배열되므로, 버퍼들은 마커들로서 특히 적합하다. 더욱이, 열차 화물칸들의 버퍼들의 기하학적 형태는 비교적 균일하다. 부가적으로, 뉴럴 네트워크들이 이미지 데이터 스트림들에서 버퍼들을 인식하는 데 매우 적합하다는 것이 발견되었다.
버퍼들에 대한 짐 고정 수단의 사용은, 특히 콘테이너들의 운송을 위한 운송 차량들이 정의된 방식으로 콘테이너들을 고정시키거나 콘테이너들을 포지셔닝(position)시키기 위해 그러한 짐 고정 수단을 일반적으로 갖는다는 장점을 갖는다. 짐 고정 수단은 또한 유리하게, 열차 화물칸들 또는 화물 차량 트레일러들의 개개의 길이방향 단부들 상에 일반적으로 위치된다. 짐 고정 수단은 또한, 뉴럴 네트워크를 이용하여 신뢰가능하게 인식될 수 있다.
뉴럴 네트워크는, 특히 이미지 데이터 스트림들에서 버퍼들 및/또는 짐 고정 수단을 인식하기 위해 트레이닝된다.
적어도 하나의 실시예에 따르면, 제1 마커의 포지션은 제1 단일 이미지 내의 제1 마커의 어레인지먼트에 의존하여 컴퓨터 유닛에 의해 결정된다.
적어도 하나의 실시예에 따르면, 제2 마커의 포지션은 제2 단일 이미지 내의 제2 마커의 어레인지먼트에 의존하여 컴퓨터 유닛에 의해 결정된다.
적어도 하나의 실시예에 따르면, 제3 마커의 포지션은 제3 단일 이미지 내의 제3 마커의 어레인지먼트에 의존하여 컴퓨터 유닛에 의해 결정되고 그리고/또는 제4 마커의 포지션은 제4 단일 이미지 내의 제4 마커의 어레인지먼트에 의존하여 컴퓨터 유닛에 의해 결정된다.
개개의 단일 이미지 내의 마커들 중 하나의 마커의 어레인지먼트는 대응하는 단일 이미지 내의 개개의 마커의 대응하는 표현인 것으로 이해될 수 있다. 단일 이미지 내의 마커의 표현의 어레인지먼트 또는 포지션은, 예컨대 뉴럴 네트워크를 이용하여 또는 컴퓨터 유닛의 추가적인 소프트웨어 모듈에 기반하여 마커의 인식 이후 또는 마커의 인식 동안 결정될 수 있다.
개개의 마커의 포지션이 단일 이미지 내의 그의 어레인지먼트에 의존하여 결정되는 실시예들은, 특히 카메라 시스템의 개개의 순간 포지션이 마커의 포지션을 결정하기 위해 사용되는 실시예들과 조합하여 유리하다. 특히, 대응하는 단일 이미지 내의 개개의 마커의 어레인지먼트와 카메라 시스템의 순간 포지션의 조합을 통해, 미리-정의된 좌표계에 관련된 대응하는 마커의 포지션이 더 큰 정확도로 결정될 수 있다.
적어도 하나의 실시예에 따르면, 제1 및 제2 마커들의 포지션들에 기반하여, 제1 및 제2 마커들의 서로로부터의 간격 또는 제1 간격이 컴퓨터 유닛에 의해 결정된다. 짐은 간격에 의존하여 리프팅 디바이스에 의해 로딩된다.
간격은 특히, 운송 차량의 길이방향 축을 따른 간격을 표현한다.
마커들 중 하나가 복수의 오브젝트(object)들, 예컨대 버퍼 및 짐 고정 수단을 포함하면, 마커의 포지션이 또한 명확하게 정의될 수 있다. 예컨대, 이것은 2개의 오브젝트들 중 하나의 오브젝트의 포지션 또는 오브젝트들의 평균 포지션을 수반할 수 있다.
적어도 하나의 실시예에 따르면, 제3 및 제4 마커들의 포지션들에 기반하여, 제3 및 제4 마커들의 서로로부터의 추가적인 또는 제2 간격이 컴퓨터 유닛에 의해 결정된다. 짐은 추가적인 간격에 의존하여 리프팅 디바이스에 의해 로딩된다.
추가적인 간격의 결정은, 예컨대 간격을 결정하기 위한 여분인 것으로 간주될 수 있다.
적어도 하나의 실시예에 따르면, 제1 및 제4 마커들의 포지션들에 기반하여, 제1 및 제4 마커들의 서로로부터의 제3 간격이 결정되고 그리고/또는 제2 및 제3 마커들의 포지션들에 기반하여, 제2 및 제3 마커들의 서로로부터의 제4 간격이 결정된다. 짐은 제1, 제2, 제3 및/또는 제4 간격에 의존하여 리프팅 디바이스에 의해 로딩된다.
특히, 4개의 간격들 중 하나는 리프팅 디바이스에 의해 자동으로 짐을 로딩하기에 충분하다. 따라서, 개별 마커들이 인식되지 않는 경우에도, 간격들 중 적어도 하나가 여전히 결정되어 자동화된 로딩을 위해 사용될 수 있다는 점에서 방법의 신뢰성이 추가로 증가될 수 있다.
적어도 하나의 실시예에 따르면, 컴퓨터 유닛은, 간격들 중 적어도 하나에 기반하여, 운송 차량 및/또는 짐의 타입, 특히 운송 차량 및/또는 짐의 길이를 결정하도록 구성된다. 부가적으로, 간격으로부터, 짐의 높이, 또는 운송 차량과 짐의 조합의 높이가 결정될 수 있다.
대응하는 표준 규정들에 기반하여, 결정된 간격들을 이용하여, 대응하는 화차(wagon) 타입 또는 짐의 타입이 명확하게 결정될 수 있다. 관련있다면, 명확한 결정을 위해, 적어도 하나의 이미지 데이터 스트림의 분석으로부터의 추가적인 정보, 예컨대 운송 차량 상의 짐 고정 수단의 어레인지먼트가 또한 사용될 수 있다.
적어도 하나의 실시예에 따르면, 리프팅 디바이스, 구동 시스템, 제어 시스템 및/또는 크레인 시스템의 적어도 하나의 동작 파라미터는, 짐을 자동으로 로딩하기 위하여 크레인 시스템의 제어 시스템에 의해 제1, 제2, 제3 및/또는 제4 마커의 포지션들 및/또는 제1, 제2, 제3 및/또는 제4 간격에 의존하여 세팅된다.
컴퓨터 유닛은, 특히 운송 차량의 타입, 예컨대 운송 차량의 길이에 관련되거나 또는 마커들의 포지션들 또는 간격들에 관련된 정보를 제어 시스템에 전달할 수 있다. 이어서, 그 정보에 의존하여, 제어 시스템은 짐이 로딩되도록, 세팅된 동작 파라미터들에 따라 정의된 순서를 구동 시스템에 전달할 수 있다.
적어도 하나의 동작 파라미터는 특히, 리프팅 디바이스의 연장 길이 및/또는 리프팅 디바이스의 하강 높이를 포함한다. 적어도 하나의 동작 파라미터는 또한, 하강 속도 또는 리프팅 속도 및/또는 구동기의 회전 속도를 포함할 수 있다.
개선된 개념의 추가적인 독립적인 양상에 따르면, 짐을 로딩하기 위한 크레인 시스템이 또한 제공된다. 크레인 시스템은 카메라 시스템, 인공 뉴럴 네트워크를 갖는 컴퓨터 유닛, 제어 시스템 및 리프팅 디바이스를 갖는다. 카메라 시스템은 적어도 하나의 이미지 데이터 스트림을 생성하도록 구성된다. 컴퓨터 유닛은 뉴럴 네트워크를 이용하여 적어도 하나의 이미지 데이터 스트림을 분석하도록 구성된다. 컴퓨터 유닛은, 적어도 하나의 이미지 데이터 스트림의 분석에 기반하여, 적어도 하나의 이미지 데이터 스트림의 제1 단일 이미지에서 제1 마커를 인식하고 적어도 하나의 이미지 데이터 스트림의 제2 단일 이미지에서 제2 마커를 인식하도록 구성된다. 컴퓨터 유닛은 제1 마커의 포지션 및 제2 마커의 포지션을 결정하도록 구성된다. 예컨대, 제어 유닛 또는 제어 디바이스를 포함하는 제어 시스템은 짐을 자동으로 로딩하기 위해 마커들의 포지션들에 의존하여 리프팅 디바이스를 제어하도록 구성된다.
제어 시스템은 특히, 예컨대 인터넷 프로토콜(IP; internet protocol) 연결을 통해 컴퓨터 유닛에 커플링된다.
제어 시스템은 컴퓨터 유닛을 전체적으로 또는 부분적으로 포함할 수 있거나 또는 그 반대의 경우도 마찬가지이다.
적어도 하나의 실시예에 따르면, 크레인 시스템은 구동 시스템을 가지며, 제어 시스템은 리프팅 디바이스를 이동시키도록 구동 시스템을 제어할 수 있다. 구동 시스템은, 특히 모터(motor) 및 트랜스미션(transmission)을 포함한다.
크레인 시스템의 적어도 하나의 실시예에 따르면, 제어 시스템은 운송 차량의 길이 방향을 따라, 적어도 하나의 이미지 데이터 스트림의 생성 동안 카메라 시스템을 이동시키도록 구성된다. 컴퓨터 유닛은, 제1 마커가 인식되는 경우 카메라 시스템의 제1 순간 포지션에 의존하여 제1 마커의 포지션을 결정하도록 구성된다. 컴퓨터 유닛은, 제2 마커가 인식되는 경우 카메라 시스템의 제2 순간 포지션에 의존하여 제2 마커의 포지션을 결정하도록 구성된다.
크레인 시스템의 적어도 하나의 실시예에 따르면, 제어 시스템은 운송 차량의 길이 방향을 따라 카메라 시스템을 이동시키기 위해 크레인 시스템의 구동 시스템 또는 추가적인 구동 시스템을 제어하도록 구성된다.
적어도 하나의 실시예에 따르면, 카메라 시스템은 적어도 하나의 이미지 데이터 스트림 중 제1 이미지 데이터 스트림을 생성하기 위해 리프팅 디바이스의 제1 단부에 배열된 제1 카메라를 갖는다. 컴퓨터 유닛은, 적어도 하나의 이미지 데이터 스트림의 분석을 위해, 뉴럴 네트워크를 이용하여 제1 이미지 데이터 스트림을 분석하고, 제1 이미지 데이터 스트림의 분석에 기반하여 제1 마커를 인식하도록 구성된다. 그에 의해, 제1 순간 포지션은 제1 카메라의 순간 포지션에 대응한다.
적어도 하나의 실시예에 따르면, 카메라 시스템은 적어도 하나의 이미지 데이터 스트림 중 제2 이미지 데이터 스트림을 생성하기 위해, 제1 단부에 대향하는 리프팅 디바이스의 제2 단부에 배열된 제2 카메라를 갖는다. 컴퓨터 유닛은, 적어도 하나의 이미지 데이터 스트림의 분석을 위해, 뉴럴 네트워크를 이용하여 제2 이미지 데이터 스트림을 분석하고, 제2 이미지 데이터 스트림의 분석에 기반하여 제2 마커를 인식하도록 구성된다. 그에 의해, 제2 순간 포지션은 제2 카메라의 순간 포지션에 대응한다.
적어도 하나의 실시예에 따르면, 카메라 시스템은, 제3 이미지 데이터 스트림을 생성하기 위해 리프팅 디바이스의 제1 단부에 배열된 제3 카메라, 및 제4 이미지 데이터 스트림을 생성하기 위해 리프팅 디바이스의 제2 단부에 배열된 제4 카메라를 갖는다. 컴퓨터 유닛은 뉴럴 네트워크를 이용하여 제3 및 제4 이미지 데이터 스트림을 분석하도록 구성된다. 컴퓨터 유닛은, 제3 이미지 데이터 스트림의 분석에 기반하여 제3 이미지 데이터 스트림의 제3 단일 이미지에서 제3 마커를 인식하고, 그리고 제4 이미지 데이터 스트림의 분석에 기반하여 제4 이미지 데이터 스트림의 제4 단일 이미지에서 제4 마커를 인식하도록 구성된다. 컴퓨터 유닛은, 제3 마커가 인식되는 경우 제3 카메라의 제3 순간 포지션에 의존하여 제3 마커의 포지션을 결정하고, 그리고 제4 마커가 인식되는 경우 제4 카메라의 제4 순간 포지션에 의존하여 제4 마커의 포지션을 결정하도록 구성된다. 제어 시스템은 짐을 자동으로 로딩하기 위해 제1, 제2, 제3 및 제4 마커의 포지션들에 의존하여 크레인 시스템의 리프팅 디바이스를 구동시키도록 구성된다.
적어도 하나의 실시예에 따르면, 리프팅 디바이스는 직사각형 또는 실질적으로 직사각형의 베이스(base) 형상을 가지며, 제1 및 제2 카메라는 직사각형의 베이스 형상의 개개의 코너들에 배열된다.
적어도 하나의 실시예에 따르면, 제3 및 제4 카메라들은 직사각형의 베이스 형상의 추가적인 개개의 코너들에 배열된다. 따라서, 제4 카메라들은 직사각형의 베이스 형상의 4개의 상이한 코너들에 배열된다.
리프팅 디바이스는, 예컨대 콘테이너 스프레더로서 구성될 수 있다. 리프팅 디바이스는, 예컨대 H-형상 또는 실질적으로 직사각형의 텔레스코픽 프레임을 가질 수 있으며, 여기서 텔레스코픽 프레임은, 예컨대 리프팅 디바이스의 직사각형의 베이스 형상을 정의한다.
적어도 하나의 실시예에 따르면, 크레인 시스템은 특히, ISO 콘테이너들을 이송 또는 로딩하기 위해 콘테이너 크레인 또는 콘테이너 갠트리(gantry) 크레인으로서 구성된다.
개선된 개념에 따른 크레인 시스템의 추가적인 실시예들은 개선된 개념에 따른, 짐을 로딩하기 위한 방법의 설명된 실시예 형태들로부터 직접적으로 발생하고, 그 반대의 경우도 마찬가지이다. 특히, 개선된 개념에 따른 방법의 상이한 실시예들에 관련된 개별 특징부들 및 대응하는 설명은 개선된 개념에 따른 크레인 시스템의 대응하는 실시예들과 유사하게 전달될 수 있다. 예컨대, 개선된 개념에 따른 크레인 시스템은 개선된 개념에 따른 방법을 수행하도록 구성 또는 프로그래밍될(programmed) 수 있거나, 또는 크레인 시스템은 개선된 개념에 따른 방법을 수행한다.
개선된 개념의 추가적인 독립적인 양상에 따르면, 짐을 로딩하기 위해 크레인 시스템을 트레이닝시키기 위한, 특히 개선된 개념에 따라 크레인 시스템을 트레이닝시키기 위한 트레이닝 방법, 또는 그러한 크레인 시스템 또는 방법에 대한 인공 뉴럴 네트워크가 제공된다. 이러한 목적을 위해, 크레인 시스템의 카메라 시스템에 의하여, 적어도 하나의 트레이닝 이미지 데이터 스트림이 생성되고, 트레이닝되지 않은 또는 미리-트레이닝된 인공 뉴럴 네트워크에 의해 분석된다. 특히, 오퍼레이터에 의해, 기준 단일 이미지들이 적어도 하나의 이미지 데이터 스트림으로부터 선택되며, 기준 단일 이미지들 상에, 미리-정의된 타입의 마커들이 표현된다. 선택된 단일 이미지들은 뉴럴 네트워크를 트레이닝시키기 위한 기준으로서, 특히 뉴럴 네트워크에 대한 포지티브(positive) 기준으로서 미리-정의된다.
개선된 개념에 따른, 짐을 로딩하기 위한 방법의 적어도 하나의 실시예에 따르면, 크레인 시스템 또는 인공 뉴럴 네트워크는 개선된 개념에 따른 트레이닝 방법에 따라 트레이닝된다.
개선된 개념에 따른, 짐을 로딩하기 위한 방법의 적어도 하나의 실시예에 따르면, 방법은, 개선된 개념에 따른, 짐을 로딩하기 위해 크레인 시스템을 트레이닝시키기 위한 트레이닝 방법의 일 실시예의 방법 단계들을 포함한다. 그에 의해, 이미지 데이터 스트림이 트레이닝 데이터 스트림으로서 사용된다.
이러한 수단에 의해, 뉴럴 네트워크는 유리하게 생산 동작 동안 추가로 트레이닝될 수 있으므로, 정상 동작에서의 분석의 정확도가 지속적으로 개선될 수 있다.
개선된 개념에 따른 크레인 시스템의 적어도 하나의 실시예에 따르면, 크레인 시스템 또는 크레인 시스템의 뉴럴 네트워크는 개선된 개념에 따른 트레이닝 방법에 따라 트레이닝된다.
개선된 개념의 추가적인 독립적인 양상에 따르면, 커맨드(command)들을 갖는 컴퓨터 프로그램이 제공된다. 개선된 개념에 따른 크레인 시스템에 의한, 특히 크레인 시스템의 컴퓨터 유닛에 의한 컴퓨터 프로그램의 실행 시에, 커맨드들은 크레인 시스템으로 하여금, 개선된 개념에 따른, 짐을 로딩하기 위한 방법을 수행하게 한다.
개선된 개념의 추가적인 독립적인 양상에 따르면, 개선된 개념에 따른 컴퓨터 프로그램이 저장되는 컴퓨터-판독가능 저장 매체가 제공된다.
본 발명은 이제 실제의 예시적인 실시예들 및 연관된 개략도들을 참조하여 더 상세하게 설명될 것이다. 도면들에서, 동일하거나 기능적으로 동등한 엘리먼트들에는 동일한 참조 부호들이 제공되었다. 동일하거나 기능적으로 동등한 엘리먼트들의 설명은, 관련있는 경우, 반드시 상이한 도면들에 관련하여 반복될 필요가 없을 것이다.
도 1은 개선된 개념에 따른 크레인 시스템의 예시적인 실시예의 개략적인 표현이다.
도 2는 개선된 개념에 따른, 짐을 로딩하기 위한 방법의 예시적인 실시예의 개략적인 흐름도이다.
도 3은 개선된 개념에 따른 방법의 추가적인 예시적인 실시예에서의 예시적인 단일 이미지들이다.
도 1은 개선된 개념에 따른 크레인 시스템(8)의 예시적인 실시예를 도시한다. 크레인 시스템(8)은, 예컨대 콘테이너 크레인으로서 구성되며, 특히 프레임(7)을 갖는다. 크레인 시스템(8)은 또한, 예컨대 크레인 트롤리(trolley)(31)를 통해 프레임(7)에 이동가능하게 연결된 콘테이너 스프레더(27)를 갖는다.
크레인 시스템(8)은 또한, 콘테이너 스프레더(27)를 이동시키기 위해 크레인 트롤리(31)를 구동시키도록 구성된 제어 시스템(26)을 갖는다. 더욱이, 제어 시스템(26)은, 예컨대 콘테이너 스프레더(27)의 텔레스코픽 프레임(32)의 연장 길이가 세팅될 수 있는 그러한 방식으로 콘테이너 스프레더(27)를 구동시킬 수 있다. 부가적으로, 제어 시스템(26)은, 예컨대 콘테이너 스프레더(27)의 높이를 제어할 수 있다.
콘테이너 스프레더(27)의 텔레스코픽 프레임(32)은, 예컨대 직사각형의 베이스 형상을 갖는다. 크레인 시스템(8)은, 예컨대 텔레스코픽 프레임(32)의 각각의 코너에 카메라(9, 10, 11, 12)를 가지며, 여기서 카메라들(9, 10, 11, 12)은 각각, 그들의 뷰(view) 방향이 아래쪽을, 특히 예컨대, 도 1에서 열차 화물칸으로서 구성되는 운송 차량(30)의 방향을 보도록 배열 및 정렬된다.
카메라들(9, 10, 11, 12)은, 예컨대 비 또는 오물에 의한 손상을 가능한 낮게 유지하기 위해 개개의 강철 하우징(housing)들에 수용될 수 있다. 예컨대, 카메라들(9, 10, 11, 12)은 각각 20 내지 25도, 특히 대략 22도의 각도를 갖는 렌즈(lens)들을 갖는다.
운송 차량(30)은, 제1 단부에서는 제1 버퍼(14) 및 제3 버퍼(16)를 갖고, 대향하는 제2 단부에서는 제2 버퍼(15) 및 제4 버퍼(17)를 갖는다. 예컨대, 운송 차량(30)은, 예컨대 레일 방향에 대응하는 운송 차량(30)의 길이 방향(29)을 따라 이동할 수 있다.
운송 차량(30)은, 예컨대 콘테이너(28), 특히 표준 ISO 콘테이너를 운반한다. 운송 차량(30) 상에 콘테이너(28)를 고정하거나 포지셔닝시키기 위해, 운송 차량(30)은 선택적으로, 제1 단부 상에 제1 짐 고정 수단(18) 및 제3 짐 고정 수단(20)을 그리고 운송 차량(30)의 제2 단부 상에 제2 짐 고정 수단(19) 및 제4 짐 고정 수단(21)을 갖는다.
크레인 시스템(8)은 또한, 예컨대 제어 시스템(26)에 커플링된 컴퓨터 유닛(13)을 갖는다. 인공 뉴럴 네트워크는 컴퓨터 유닛(13) 상에 저장된다. 뉴럴 네트워크는 이미지 데이터, 특히 카메라 이미지들에서의 패턴 인식을 위해 트레이닝되었다. 특히, 뉴럴 네트워크는 카메라들(9, 10, 11, 12)의 개개의 이미지 데이터 스트림들에서 버퍼들(14, 15, 16, 17)의 표현들 및/또는 짐 고정 수단들(18, 19, 20, 21)의 표현들을 인식하도록 트레이닝되었다.
더욱이, 컴퓨터 유닛(13)은 개선된 개념에 따른 컴퓨터-판독가능 저장 매체(34)를 가질 수 있으며, 그 컴퓨터-판독가능 저장 매체 상에, 개선된 개념에 따른 컴퓨터 프로그램이 저장된다.
크레인 시스템(8)의 기능 방법이 이제 도 2 및 도 3을 참조하여 더 상세히 설명될 것이다.
도 2는 개선된 개념에 따른, 짐을 로딩하기 위한 방법의 흐름도를 도시한다.
방법의 단계 1에서, 카메라들(9, 10, 11, 12)에 의해, 개개의 이미지 데이터 스트림들이 생성된다. 이러한 목적을 위해, 콘테이너 스프레더(27)는 운송 차량(30) 위로, 특히 길이 방향(29)을 따라 이동된다. 이미지 데이터 스트림들은, 예컨대 개개의 카메라 신호들에 의해 라이브(live) 스트림으로서 컴퓨터 유닛(13)에 전달될 수 있다. 컴퓨터 유닛(13)은 디지털(digital) 또는 아날로그(analogue) 수단에 의해 이미지 데이터 스트림들을 판독할 수 있으며, 방법의 단계 2에서, 뉴럴 네트워크를 이용하여 그 이미지 데이터 스트림을 분석할 수 있다.
단계 1에서의 스캔 절차는, 예컨대 제어 시스템(26)에 의해 또는 컴퓨터 유닛(13) 및 제어 시스템(26)에 커플링된 크레인의 자동화 유닛에 의해 시작될 수 있다. 그에 의해, 예컨대 운송 차량(30)이, 특히 전체 스캔 절차 동안 정지상태 포지션에 위치되고 초기에 더 이상 이동되지 않는다는 것이 보장될 수 있다.
스캔 절차 동안, 컴퓨터 유닛(13)은, 예컨대 제어 시스템(26) 또는 자동화 유닛으로부터 콘테이너 스프레더(27)의 개개의 중심 포지션을 수신한다. 특히, 컴퓨터 유닛(13)은 이미지 데이터 스트림들의 각각의 단일 이미지에 대한 또는 단일 이미지들의 미리-정의된 부분에 대한 콘테이너 스프레더(27)의 중심 포지션을 수신한다.
중심 포지션이 준비되는 레이트에 의존하여, 복수의 단일 이미지들이 또한 동일한 중심 포지션에 할당될 수 있다. 예컨대, 중심 포지션이 준비되는 레이트는 스캔 레이트, 즉 콘테이너 스프레더(27)의 이동 속도에 의존하여 선택될 수 있다.
예로서, 예컨대 100ms마다, 콘테이너 스프레더(27)의 속도 또는 스캔 속도가 초당 0.3미터일 경우 중심 포지션이 준비될 수 있다. 이것은 방법의 정확도에 유리하다고 증명되었다.
방법의 단계 2에서, 컴퓨터 유닛은 카메라들(9, 10, 11, 12)의 이미지 데이터 스트림들을 분석한다.
특정한 시점에서, 예컨대 제1 버퍼(14)는 제1 카메라(9)의 뷰잉(viewing) 방향에 위치된다. 뉴럴 네트워크는, 연관된 이미지 데이터 스트림의 대응하는 단일 이미지에서, 미리-정의된 마커가 이미징된다(imaged)는 것을 인식한다. 유사하게, 대응하는 시점들에서, 제2 버퍼(15)는 제2 카메라(10)의 뷰잉 방향에 위치되고, 제3 버퍼(16)는 제3 카메라(11)의 뷰잉 방향에 위치되며, 제4 버퍼(17)는 제4 카메라(12)의 뷰잉 방향에 위치된다. 뉴럴 네트워크는 대응하는 이미지 데이터 스트림들에서, 미리-정의된 마커의 존재를 인식한다.
방법의 단계 3에서, 예컨대 프레임(7)에 의해 고정되는, 기준 좌표계와 관련된 버퍼들(14, 15, 16, 17)의 대응하는 포지션들이 컴퓨터 유닛(13)에 의해 결정된다. 이러한 목적을 위해, 버퍼들(14, 15, 16, 17)의 개개의 중심 포지션들은 콘테이너 스프레더(27)의 각각 세팅된 연장 길이 및 콘테이너 스프레더(27)의 현재 중심 포지션에 기반하여 계산된다. 버퍼들(14, 15, 16, 17)의 중심 포지션들의 계산에서, 정확도를 증가시키기 위해 개개의 단일 이미지들 내의 마커들의 어레인지먼트가 선택적으로 또한 고려될 수 있다.
방법의 단계 4에서, 버퍼들(14, 15, 16, 17)의 결정된 포지션들로부터, 제1 버퍼(14)와 제2 버퍼(15) 사이 그리고 제3 버퍼(16)와 제4 버퍼(17) 사이의 대응하는 간격들이 결정된다. 제1 및 제2 카메라(9, 10)의 카메라 쌍 및 제3 및 제4 카메라(11, 12)의 카메라 쌍의 검출 결과들을 고려하는 것을 통해, 방법의 특히 큰 안정성이 달성된다.
결정된 간격들로부터, 방법의 단계 5에서, 컴퓨터 유닛(13)에 의해 또는 자동화 유닛에 의해 운송 차량(30)의 정확한 길이가 결정될 수 있으며, 그 길이에 기반하여, 운송 차량(30)의 정확한 타입이, 예컨대 컴퓨터 유닛(13) 또는 자동화 유닛의 데이터베이스(database) 내의 저장된 데이터에 의해 결정될 수 있다.
방법의 단계 6에서, 정확한 차량 타입에 관한 정보는 콘테이너 스프레더(27)에 의해 짐(28)을 자동으로 로딩하는 데 사용될 수 있다. 이러한 목적을 위해, 콘테이너 타입에 의존하여, 콘테이너 스프레더(27) 또는 크레인 시스템(8)의 동작 포지션들이 세팅될 수 있다. 대안적으로 또는 부가적으로, 로딩의 물류 조정이 화차 타입에 기반하여 발생할 수 있다.
자동 로딩을 위한 대응하는 정보는, 예컨대 제어 시스템(26), 컴퓨터 유닛(13) 또는 자동화 유닛 또는 상위-레벨 크레인 관리 시스템에 의해 제공될 수 있다.
버퍼(14, 15, 16, 17) 대신에 또는 그에 부가하여, 짐 고정 수단(18, 19, 20, 21)은 뉴럴 네트워크를 인식하기 위한 미리-정의된 마커들 또는 패턴들로서 사용될 수 있다.
도 3에서, 예로서, 카메라들(9, 10, 11, 12)로부터의 단일 이미지들(22, 23, 24, 25)이 도시되며, 여기서 제1 단일 이미지(22)는 카메라(9)로부터의 단일 이미지에 대응하고, 제2 단일 이미지(23)는 제2 카메라(10)로부터의 단일 이미지에 대응하고, 제3 단일 이미지(24)는 제3 카메라(11)로부터의 단일 이미지에 대응하며, 제4 단일 이미지(25)는 제4 카메라(12)로부터의 단일 이미지에 대응한다.
도 3에서, 예컨대 운송 차량(30)은 짐(28)이 없는 것으로 도시된다.
단일 이미지들(22, 23, 24, 25)은, 예컨대 개선된 개념에 따른 트레이닝 프로세스 동안 뉴럴 네트워크를 트레이닝시키기 위한 트레이닝 이미지들일 수 있다.
뉴럴 네트워크의 트레이닝을 위한 트레이닝 데이터의 생성을 위해, 라벨(label) 정보의 아이템(item)들이 단일 이미지들(22, 23, 24, 25), 즉 원하는 탐색 패턴이 위치되는 이미지 내의 장소에 관한 관련 정보에 할당된다.
트레이닝의 목적을 위해, 단일 이미지들(22, 23, 24, 25)은, 예컨대 비디오 시퀀스, 즉 대응하는 트레이닝 이미지 데이터 스트림으로부터 직접적으로 추출되어 저장될 수 있다. 이러한 목적을 위해, 예컨대 오퍼레이터는 뉴럴 네트워크의 대응하는 가중치들을 조정하기 위해 버퍼들(14, 15, 16, 17) 또는 짐 고정 수단(18, 19, 20, 21)의 대응하는 포지션들에 바운딩 박스(bounding box)들을 포지셔닝시킬 수 있다.
뉴럴 네트워크의 트레이닝은, 예컨대 CPU 또는 GPU에 의해 발생할 수 있다. 트레이닝은, 뉴럴 네트워크를 트레이닝시키기 위해 큰 컴퓨팅(computing) 능력들이 요구될 수 있으므로, 예컨대, 클라우드(cloud) 컴퓨터 또는 다른 컴퓨터 시스템에 기반하여 크레인 시스템 외부에서 발생할 수 있다.
개선된 개념에 따르면, 짐의 부분적으로 또는 완전히 자동화된 로딩이 크레인 시스템에 의해 가능해진다. 뉴럴 네트워크의 사용을 통해, 특히 방법의 높은 정도의 신뢰성, 안전성 및 속도가 가능해진다. 특히, 마커 포지션들이 1 내지 2cm의 정확도로 개선된 개념에 기반하여 결정될 수 있다는 것이 발견되었다.
크레인 자동화 시스템으로부터의 부가적인 정보, 이를테면 예컨대, 예상될 운송 차량의 타입 또는 예상될 운송 차량의 높이 또는 운송 차량 상의 짐이 이용가능하면, 파괴적인 영향들이 추가로 감소될 수 있다. 타당성 테스팅(testing)의 도움으로, 예컨대 오물 또는 날씨 영향들에 의해 야기되는 잘못 인식된 포지션들이 평가의 안정성을 증가시키기 위해 거부된다. 이것은, 예컨대 여분의 카메라 쌍들의 제공에 의해 가능해질 수 있다.
카메라들로서, 예컨대 아날로그 또는 IP 카메라들이 사용될 수 있다. 원격 제어 목적들을 위해, 이들 카메라들은 임의의 경우에서 크레인 상에 설치될 수 있으므로, 하드웨어(hardware) 및 설치에 대한 어떠한 부가적인 비용들도 카메라들에 대해 발생하지 않는다.
개선된 개념의 추가적인 장점들은 시스템의 시운전(commissioning) 및 교정을 위한 비교적 낮은 획득 비용들 및 작은 시간 비용이다. 카메라들 및 가능하게는 대응하는 보호 하우징들의 사용으로 인해, 정비 비용이 또한 낮다. 뉴럴 네트워크의 사용을 통해, 특히 높은 검출 레이트 및 신뢰성이 달성된다.

Claims (15)

  1. 크레인 시스템(crane system)(8)을 이용하여 짐(28)을 로딩(loading)하기 위한 방법으로서,
    상기 크레인 시스템(8)의 카메라(camera) 시스템(9, 10, 11, 12)에 의해 적어도 하나의 이미지 데이터 스트림(image data stream)이 생성되며;
    상기 적어도 하나의 이미지 데이터 스트림은 인공 뉴럴 네트워크(artificial neural network)에 기반하여 상기 크레인 시스템(8)의 컴퓨터 유닛(computer unit)(13)에 의해 분석되고;
    상기 컴퓨터 유닛(13)에 의해, 상기 분석에 기반하여, 제1 마커(marker)(14, 18)가 상기 적어도 하나의 이미지 데이터 스트림의 제1 단일 이미지(22)에서 인식되고, 제2 마커(15, 19)가 상기 적어도 하나의 이미지 데이터 스트림의 제2 단일 이미지(23)에서 인식되고;
    상기 컴퓨터 유닛(13)에 의해, 상기 제1 마커(14, 18)의 포지션(position) 및 상기 제2 마커(15, 19)의 포지션이 결정되며; 그리고
    상기 짐(28)은 상기 마커들(14, 15, 18, 19)의 포지션들에 의존하여 상기 크레인 시스템(8)의 리프팅 디바이스(lifting device)(27)에 의해 자동으로 로딩되는(loaded) 것을 특징으로 하는, 짐을 로딩하기 위한 방법.
  2. 제1항에 있어서,
    상기 카메라 시스템(9, 10, 11, 12)은 운송 차량(30)의 길이 방향(29)을 따라, 상기 적어도 하나의 이미지 데이터 스트림의 생성 동안, 이동되고;
    상기 제1 마커(14, 18)의 포지션은, 상기 제1 마커(14, 18)가 인식되는 경우 상기 카메라 시스템(9, 10, 11, 12)의 제1 순간 포지션에 의존하여 상기 컴퓨터 유닛(13)에 의해 결정되며; 그리고
    상기 제2 마커(15, 19)의 포지션은, 상기 제2 마커(15, 19)가 인식되는 경우 상기 카메라 시스템(9, 10, 11, 12)의 제2 순간 포지션에 의존하여 상기 컴퓨터 유닛(13)에 의해 결정되는 것을 특징으로 하는, 짐을 로딩하기 위한 방법.
  3. 제2항에 있어서,
    제1 이미지 데이터 스트림이 상기 리프팅 디바이스(27)의 제1 단부에 배열된 상기 카메라 시스템(9, 10, 11, 12)의 제1 카메라(9)에 의해 생성되고;
    상기 제1 이미지 데이터 스트림은 상기 인공 뉴럴 네트워크를 이용하여 상기 컴퓨터 유닛(13)에 의해 분석되고;
    상기 제1 마커(14, 18)는 상기 제1 이미지 데이터 스트림의 분석에 기반하여 상기 컴퓨터 유닛(13)에 의해 인식되며; 그리고
    상기 제1 순간 포지션은 상기 제1 카메라(9)의 순간 포지션에 대응하는 것을 특징으로 하는, 짐을 로딩하기 위한 방법.
  4. 제3항에 있어서,
    제2 이미지 데이터 스트림이 상기 제1 단부에 대향하는 상기 리프팅 디바이스(27)의 제2 단부에 배열된 상기 카메라 시스템(9, 10, 11, 12)의 제2 카메라(10)에 의해 생성되고;
    상기 제2 이미지 데이터 스트림은 상기 인공 뉴럴 네트워크를 이용하여 상기 컴퓨터 유닛(13)에 의해 분석되고;
    상기 제2 마커(15, 19)는 상기 제2 이미지 데이터 스트림의 분석에 기반하여 상기 컴퓨터 유닛(13)에 의해 인식되며; 그리고
    상기 제2 순간 포지션은 상기 제2 카메라(10)의 순간 포지션에 대응하는 것을 특징으로 하는, 짐을 로딩하기 위한 방법.
  5. 제2항에 있어서,
    상기 적어도 하나의 이미지 데이터 스트림의 분석에 기반하여, 상기 인공 뉴럴 네트워크를 이용하여,
    상기 운송 차량(30)의 버퍼(buffer)(14) 및/또는 짐 고정 수단(18)이 상기 제1 마커(14, 18)로서 인식되며; 그리고
    상기 운송 차량(30)의 추가적인 버퍼(15) 및/또는 추가적인 짐 고정 수단(19)이 상기 제2 마커(15, 19)로서 인식되는 것을 특징으로 하는, 짐을 로딩하기 위한 방법.
  6. 제1항에 있어서,
    상기 제1 마커(14, 18)의 포지션은 상기 제1 단일 이미지(22) 내의 상기 제1 마커(14, 18)의 어레인지먼트(arrangement)에 의존하여 상기 컴퓨터 유닛(13)에 의해 결정되며; 그리고
    상기 제2 마커(15, 19)의 포지션은 상기 제2 단일 이미지(23) 내의 상기 제2 마커(15, 19)의 어레인지먼트에 의존하여 상기 컴퓨터 유닛(13)에 의해 결정되는 것을 특징으로 하는, 짐을 로딩하기 위한 방법.
  7. 제1항에 있어서,
    상기 컴퓨터 유닛(13)에 의한 상기 마커들(14, 15, 18, 19)의 포지션들에 기반하여, 상기 마커들(14, 15, 18, 19)의 서로로부터의 간격이 결정되며; 그리고
    상기 짐(28)은 상기 간격에 의존하여 상기 리프팅 디바이스(27)에 의해 로딩되는 것을 특징으로 하는, 짐을 로딩하기 위한 방법.
  8. 제1항에 있어서,
    상기 리프팅 디바이스(27) 또는 상기 크레인 시스템(8)의 적어도 하나의 동작 파라미터(parameter)는 상기 짐(28)을 자동으로 로딩(load)하기 위하여 상기 크레인 시스템(8)의 제어 시스템(26)에 의해 상기 마커들(14, 15, 18, 19)의 포지션들에 의존하여 세팅되는(set) 것을 특징으로 하는, 짐을 로딩하기 위한 방법.
  9. 짐(28)을 로딩하기 위한 크레인 시스템으로서,
    상기 크레인 시스템(8)은 적어도 하나의 이미지 데이터 스트림을 생성하도록 구성된 카메라 시스템(9, 10, 11, 12)을 갖고;
    상기 크레인 시스템은 인공 뉴럴 네트워크를 갖는 컴퓨터 유닛(13)을 갖고, 상기 컴퓨터 유닛(13)은 상기 인공 뉴럴 네트워크를 이용하여 상기 적어도 하나의 이미지 데이터 스트림을 분석하도록 구성되고;
    상기 컴퓨터 유닛(13)은, 상기 분석에 기반하여, 상기 적어도 하나의 이미지 데이터 스트림의 제1 단일 이미지(22)에서 제1 마커(14, 18)를 그리고 상기 적어도 하나의 이미지 데이터 스트림의 제2 단일 이미지(23)에서 제2 마커(15, 19)를 인식하도록 구성되고;
    상기 컴퓨터 유닛(13)은 상기 제1 마커(14, 18)의 포지션 및 상기 제2 마커(15, 19)의 포지션을 결정하도록 구성되며; 그리고
    상기 크레인 시스템(8)은, 상기 짐(28)을 자동으로 로딩하기 위해 상기 마커들(14, 15, 18, 19)의 포지션들에 의존하여 상기 크레인 시스템(8)의 리프팅 디바이스(27)를 구동시키도록 구성된 제어 시스템(26)을 갖는 것을 특징으로 하는, 크레인 시스템.
  10. 제9항에 있어서,
    상기 제어 시스템(26)은 운송 차량(30)의 길이 방향(29)을 따라 상기 적어도 하나의 이미지 데이터 스트림의 생성 동안 카메라 시스템(9, 10, 11, 12)을 이동시키도록 구성되고;
    상기 컴퓨터 유닛(13)은, 상기 제1 마커(14, 18)가 인식되는 경우 상기 카메라 시스템(9, 10, 11, 12)의 제1 순간 포지션에 의존하여 상기 제1 마커(14, 18)의 포지션을 결정하도록 구성되며; 그리고
    상기 컴퓨터 유닛(13)은, 상기 제2 마커(15, 19)가 인식되는 경우 상기 카메라 시스템(9, 10, 11, 12)의 제2 순간 포지션에 의존하여 상기 제2 마커(15, 19)의 포지션을 결정하도록 구성되는 것을 특징으로 하는, 크레인 시스템.
  11. 제10항에 있어서,
    상기 카메라 시스템(9, 10, 11, 12)은 제1 이미지 데이터 스트림을 생성하기 위해 상기 리프팅 디바이스(27)의 제1 단부에 배열된 제1 카메라(9)를 갖고;
    상기 컴퓨터 유닛(13)은 상기 인공 뉴럴 네트워크를 이용하여 상기 제1 이미지 데이터 스트림을 분석하도록 구성되고;
    상기 컴퓨터 유닛(13)은 상기 제1 이미지 데이터 스트림의 분석에 기반하여 상기 제1 마커(14, 18)를 인식하도록 구성되며; 그리고
    상기 제1 순간 포지션은 상기 제1 카메라(9)의 순간 포지션에 대응하는 것을 특징으로 하는, 크레인 시스템.
  12. 제11항에 있어서,
    상기 카메라 시스템(9, 10, 11, 12)은 제2 이미지 데이터 스트림을 생성하기 위해 상기 제1 단부에 대향하는 상기 리프팅 디바이스(27)의 제2 단부에 배열된 제2 카메라(10)를 갖고;
    상기 컴퓨터 유닛(13)은 상기 인공 뉴럴 네트워크를 이용하여 상기 제2 이미지 데이터 스트림을 분석하도록 구성되고;
    상기 컴퓨터 유닛(13)은 상기 제2 이미지 데이터 스트림의 분석에 기반하여 상기 제2 마커(15, 19)를 인식하도록 구성되며; 그리고
    상기 제2 순간 포지션은 상기 제2 카메라(10)의 순간 포지션에 대응하는 것을 특징으로 하는, 크레인 시스템.
  13. 제12항에 있어서,
    상기 카메라 시스템(9, 10, 11, 12)은, 제3 이미지 데이터 스트림을 생성하기 위해 상기 리프팅 디바이스의 제1 단부에 배열된 제3 카메라(11), 및 제4 이미지 데이터 스트림을 생성하기 위해 상기 리프팅 디바이스의 제2 단부에 배열된 제4 카메라(12)를 갖고;
    상기 컴퓨터 유닛(13)은 상기 인공 뉴럴 네트워크를 이용하여 상기 제3 이미지 데이터 스트림 및 상기 제4 이미지 데이터 스트림을 분석하도록 구성되고;
    상기 컴퓨터 유닛(13)은, 상기 제3 이미지 데이터 스트림의 분석에 기반하여 상기 제3 이미지 데이터 스트림의 제3 단일 이미지(24)에서 제3 마커(16, 20)를 인식하고, 그리고 상기 제4 이미지 데이터 스트림의 분석에 기반하여 상기 제4 이미지 데이터 스트림의 제4 단일 이미지(25)에서 제4 마커(17, 21)를 인식하도록 구성되고;
    상기 컴퓨터 유닛(13)은, 상기 제3 마커(16, 20)가 인식되는 경우 상기 제3 카메라(11)의 제3 순간 포지션에 의존하여 상기 제3 마커(16, 20)의 포지션을 결정하고, 그리고 상기 제4 마커(17, 21)가 인식되는 경우 상기 제4 카메라(12)의 제4 순간 포지션에 의존하여 상기 제4 마커(17, 21)의 포지션을 결정하도록 구성되며; 그리고
    상기 제어 시스템(26)은, 상기 짐(28)을 자동으로 로딩하기 위해 상기 제3 마커(16, 20) 및 상기 제4 마커(17, 21)의 포지션들에 의존하여 상기 크레인 시스템(8)의 상기 리프팅 디바이스(27)를 구동시키도록 구성되는 것을 특징으로 하는, 크레인 시스템.
  14. 제12항 또는 제13항에 있어서,
    상기 리프팅 디바이스(27)는 직사각형의 베이스(base) 형상을 갖고; 그리고
    상기 제1 카메라(9) 및 상기 제2 카메라(10)는 상기 직사각형의 베이스 형상의 코너(corner)들에 배열되는 것을 특징으로 하는, 크레인 시스템.
  15. 커맨드(command)들을 갖는 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램(program)으로서,
    상기 커맨드들은, 크레인 시스템(8)에 의한 상기 컴퓨터 프로그램의 실행 시에, 상기 크레인 시스템(8)으로 하여금 제1항 내지 제8항 중 어느 한 항의 방법을 수행하게 하는, 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램.
KR1020200069651A 2019-06-11 2020-06-09 크레인 시스템을 이용한 짐의 로딩 KR102444041B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19179438.7 2019-06-11
EP19179438.7A EP3750842B1 (de) 2019-06-11 2019-06-11 Verladen einer last mit einem kransystem

Publications (2)

Publication Number Publication Date
KR20200141944A KR20200141944A (ko) 2020-12-21
KR102444041B1 true KR102444041B1 (ko) 2022-09-15

Family

ID=66821087

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200069651A KR102444041B1 (ko) 2019-06-11 2020-06-09 크레인 시스템을 이용한 짐의 로딩

Country Status (5)

Country Link
US (1) US11584622B2 (ko)
EP (1) EP3750842B1 (ko)
KR (1) KR102444041B1 (ko)
CN (1) CN112061989A (ko)
SG (1) SG10202003697XA (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4046955A1 (de) 2021-02-23 2022-08-24 Siemens Aktiengesellschaft Verfahren zur kollisionsfreien bewegung eines krans
CN113044736B (zh) * 2021-06-01 2021-08-13 新乡职业技术学院 一种具有吊索稳定控制的起重机
CN113763369B (zh) * 2021-09-13 2023-06-02 杭州大杰智能传动科技有限公司 基于图像特征分析的塔吊夹具物料匹配性识别方法和装置
CN114604766B (zh) * 2022-01-24 2023-06-02 杭州大杰智能传动科技有限公司 用于智能塔吊的物料堆码空间图像识别分析方法和装置
WO2023186316A1 (en) * 2022-03-31 2023-10-05 Siemens Aktiengesellschaft Method and system for quality assessment of objects in an industrial environment

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040215367A1 (en) * 2000-08-04 2004-10-28 King Henry S. Method and apparatus supporting container identification for multiple quay cranes
US7181312B2 (en) * 2002-04-09 2007-02-20 Paceco Corp. Method and apparatus for quay container crane-based automated optical container code recognition with positional identification
JP5039385B2 (ja) * 2007-01-05 2012-10-03 三菱重工業株式会社 位置ずれ量算出方法、位置ずれ量算出装置、クレーン、及び荷役システム
CN102115010A (zh) * 2010-09-27 2011-07-06 成都西部泰力起重机有限公司 一种带有机器视觉、定位系统的智能起重机
US9852511B2 (en) 2013-01-22 2017-12-26 Qualcomm Incoporated Systems and methods for tracking and detecting a target object
EP3033293B1 (en) 2013-08-12 2017-10-11 ABB Schweiz AG Method and system for automatically landing containers on a landing target using a container crane
EP3000762B1 (de) * 2014-09-24 2017-03-08 Siemens Aktiengesellschaft Verfahren zur automatischen, optischen Bestimmung einer Zielposition für ein Containergeschirr
KR101861203B1 (ko) * 2016-08-25 2018-05-28 주식회사 베셀 무인 자동화 후크 체결 장치
CN106966298B (zh) * 2017-04-17 2018-08-14 山东建筑大学 基于机器视觉的装配式建筑智能吊装方法与系统
US10899586B2 (en) * 2017-08-17 2021-01-26 Richard A. Cranney, III Crane position indicator
US11142438B2 (en) * 2017-08-28 2021-10-12 Manitowoc Crane Companies, Llc Graphical working range diagrams for displaying allowable and projected loads
JP7138421B2 (ja) * 2017-10-02 2022-09-16 株式会社Ｎｔｔファシリティーズ 作業支援装置、及び作業支援方法
JP6907892B2 (ja) * 2017-11-07 2021-07-21 村田機械株式会社 搬送装置
EP3713866A4 (en) 2017-11-24 2021-08-25 TMEIC Corporation METHODS AND SYSTEMS FOR GENERATING LANDING SOLUTIONS FOR CONTAINERS ON LANDING AREAS
CN108648233B (zh) * 2018-03-24 2022-04-12 北京工业大学 一种基于深度学习的目标识别与抓取定位方法

Also Published As

Publication number Publication date
US11584622B2 (en) 2023-02-21
EP3750842A1 (de) 2020-12-16
CN112061989A (zh) 2020-12-11
KR20200141944A (ko) 2020-12-21
SG10202003697XA (en) 2021-01-28
EP3750842B1 (de) 2021-10-20
US20200391981A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
KR102444041B1 (ko) 크레인 시스템을 이용한 짐의 로딩
US11709498B2 (en) Method, system and related device of implementing vehicle automatic loading and unloading
CN103030063B (zh) 用于确定集装箱吊架用的目标位置的方法和集装箱吊架
EP3000762B1 (de) Verfahren zur automatischen, optischen Bestimmung einer Zielposition für ein Containergeschirr
CN112528721B (zh) 一种桥吊集卡安全定位方法和系统
CN111284502B (zh) 一种牵引车组位姿检测方法及系统
EP3475210B1 (de) Detektion von verriegelungsvorrichtungen
CN113135497B (zh) 集卡与吊机自动对位的卸箱方法、系统、设备及存储介质
CN111704035B (zh) 一种基于机器视觉的集装箱装卸集卡自动定位装置及方法
CN109987519A (zh) 一种抓斗卸船机进行卸船作业的方法、装置及系统
US11964833B2 (en) Camera-enabled loader system and method
CN109993788B (zh) 一种轮胎吊的纠偏方法、装置及系统
CN213923790U (zh) 基于视觉定位的散粮集装箱装卸装置
KR101018877B1 (ko) 크레인 제어 시스템 및 방법
WO2004058623A1 (en) A system and a method for container identification
CN117115249A (zh) 一种集装箱锁孔自动识别定位系统及方法
KR101011953B1 (ko) 컨테이너 이송 차량의 자가 위치 확인 시스템, 방법 및 그방법을 기록한 기록 매체
WO2022097426A1 (ja) 状態判定装置、状態判定システム及び状態判定方法
CN115285167A (zh) 一种用于列车的自动摘钩控制方法以及装置
CN112551195B (zh) 车辆与登车桥对接的方法及月台管理系统
JP2019142304A (ja) 落下物検出装置及び落下物検出方法
KR101992098B1 (ko) 샤시 위치 안내 시스템 및 방법
CN111924712A (zh) 基于视觉定位的散粮集装箱装卸装置
US20230382637A1 (en) Apparatus and method for handling twistlocks
WO2019012802A1 (ja) クレーン装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant