KR102206823B1

KR102206823B1 - 컨테이너 크레인의 원격 제어를 지원하기 위한 수정된 비디오 스트림

Info

Publication number: KR102206823B1
Application number: KR1020207001192A
Authority: KR
Inventors: 알렉산드로 자나리니; 비외른 홀름베리; 주잔네 슈미트
Original assignee: 에이비비 슈바이쯔 아게
Priority date: 2017-06-16
Filing date: 2018-06-12
Publication date: 2021-01-26
Also published as: ES2773051T3; WO2018229067A1; CN110891893A; KR20200012018A; US10954108B2; EP3275831B1; SG11201912029QA; US20200207588A1; EP3275831A1

Abstract

컨테이너 크레인의 원격 제어를 지원하기 위한 방법이 제공되며, 컨테이너 크레인은 컨테이너들을 한 위치에서 다른 위치로 이동시키도록 구성된다. 이 방법은 컨테이너 크레인 제어 시스템에서 수행되며, 작업 주문 정보를 수신하는 단계로서, 각 작업 주문은 픽업될 컨테이너의 위치 및 배치될 컨테이너의 목적지를 특정하는, 상기 작업 주문 정보를 수신하는 단계; 픽업 위치의 이미지들의 제 1 비디오 스트림을 획득하는 단계; 제 1 비디오 스트림의 이미지들에서 픽업될 컨테이너를 식별하는 단계; 픽업될 컨테이너를 강조하는 것을 포함하는 제 1 비디오 스트림 이미지들을 수정하는 단계; 및 이미지들의 수정된 비디오 스트림을 디스플레이 상에 제시하는 단계를 포함한다.

Description

컨테이너 크레인의 원격 제어를 지원하기 위한 수정된 비디오 스트림

본 발명은 비디오 스트림을 수정함으로써 컨테이너 크레인의 원격 제어를 지원하기 위한 방법, 컨테이너 크레인 제어 시스템, 컴퓨터 프로그램 및 컴퓨터 프로그램 제품에 관한 것이다.

컨테이너 크레인들은, 화물 컨테이너들을 핸들링하여, 컨테이너 터미널들, 화물 항구들 등에서 이송 모드들 사이에서 컨테이너들을 운반하는데 사용된다. 표준 선적 컨테이너들은 크고 증가하는 부피의 화물을 전세계로 이송하는데 사용된다. 환적은 화물 핸들링에 있어서 결정적 기능이다. 환적은 각각의 운반 지점에서 발생할 수도 있으며, 언로딩되고 (unloaded), 임시 스택으로 운반되고, 추후에 다른 선박으로 로딩되거나 (loaded), 또는 동일한 선박으로 되 로딩되거나 그 대신 다른 형태의 운송수단으로 로딩되어야 하는 엄청나게 많은 컨테이너들이 보통 존재한다.

전통적으로, 컨테이너 크레인들은 컨테이너 크레인 상에 장착된 운전 조작실 (operator cabin) 에서 제어되었다. 그러나, 최근에, 컨테이너 크레인들은 원격 제어되었다. 이것은 오퍼레이터가 사무실에 앉아 크레인을 제어하게 한다. 이것은 항만 근로자들이 불편, 위험 및 심지어 부상에 노출되었던 많은 상황들을 제거했다. 선박의 로딩 및 언로딩은, 로딩/언로딩이 발생하는 시간 동안 선박들이 항만에서 유휴상태에 있기 때문에 화물 핸들링의 관점에서 결정적 스테이지 (critical stage) 또는 병목 (bottleneck) 으로 보여진다. 이 유휴 시간을 감소시키기 위해, 컨테이너 크레인들은 보통, 각각의 선박의 로딩 또는 언로딩이 완료될 때까지 장시간 교대로 계속해서 작동된다. 원격 제어를 허용함으로써, (새로운 교대조, 휴식시간 등으로 인한) 오퍼레이터 변경을 위한 전환 시간이 크게 감소된다.

컨테이너 크레인을 제어하기 위한 원격 제어 인터페이스에서의 임의의 개선은 컨테이너의 로딩/언로딩의 효율에 큰 이점이 있다.

원격 제어된 컨테이너 크레인의 효율성을 향상시키는 것이 목적이다.

제 1 양태에 따르면, 컨테이너 크레인의 원격 제어를 지원하기 위한 방법이 제공되며, 컨테이너 크레인은 컨테이너를 한 위치에서 다른 위치로 이동시키도록 구성된다. 이 방법은 컨테이너 크레인 제어 시스템에서 수행되며, 작업 주문 정보를 수신하는 단계로서, 각 작업 주문은 픽업될 컨테이너의 위치 및 배치될 컨테이너의 목적지를 특정하는, 상기 작업 주문 정보를 수신하는 단계; 픽업 위치의 이미지들의 제 1 비디오 스트림을 획득하는 단계; 제 1 비디오 스트림의 이미지에서 픽업될 컨테이너를 식별하는 단계; 픽업될 컨테이너를 강조하는 것을 포함하는 제 1 비디오 스트림 이미지를 수정하는 단계; 및 이미지의 수정된 비디오 스트림을 디스플레이 상에 제시하는 단계를 포함한다.

제 1 비디오 스트림 이미지를 수정하는 단계는 픽업될 후속 컨테이너의 위치를 나타내는 단계를 포함할 수 있다.

방법은 제 2 비디오 스트림을 획득하는 단계를 더 포함할 수도 있다. 그러한 경우에, 제 1 비디오 스트림을 수정하는 단계는 제 1 비디오 스트림을 제 2 비디오 스트림의 적어도 일부와 결합된 비디오 스트림으로 결합하는 단계를 포함하며, 결합된 비디오 스트림은 컨테이너 크레인의 스프레더에 의해, 제 1 비디오 스트림에서 차단되는 컨테이너가 보이는 것을 허용한다.

제 1 비디오 스트림을 수정하는 단계는 스프레더를 반투명하게 만드는 단계를 포함할 수도 있다.

제 1 비디오 스트림 이미지를 수정하는 단계는 스프레더와 아래의 물체 사이의 높이를 나타내는 높이 정보를 추가하는 단계를 포함할 수도 있다.

제 1 비디오 스트림 이미지를 수정하는 단계는 바람 정보를 추가하는 단계를 포함할 수도 있다.

제 1 비디오 스트림 이미지를 수정하는 단계는 스프레더의 궤적 추천을 추가하는 단계를 포함할 수도 있다.

제 1 비디오 스트림 이미지를 수정하는 단계는 스프레더와 픽업될 컨테이너 사이의 거리 또는 중요한 거리들에 대한 정보를 추가하는 단계를 포함할 수도 있다.

제 1 비디오 스트림 이미지를 수정하는 단계는 픽업될 컨테이너의 코너 캐스팅 홀들을 강조하는 단계를 포함할 수도 있다.

제 1 비디오 스트림 이미지를 수정하는 단계는 미리 결정된 기준들과 일치하는 고정된 구조를 강조하는 단계를 포함할 수도 있다.

제 1 비디오 스트림 이미지를 수정하는 단계는 예상된 구조와 비교해 변칙 (anomaly) 을 강조하는 단계를 포함할 수도 있다.

제 1 비디오 스트림 이미지를 수정하는 단계는 이동하는 물체들을 강조하는 단계를 포함할 수도 있다.

제 2 양태에 따르면, 컨테이너 크레인의 원격 제어를 지원하기 위한 컨테이너 크레인 제어 시스템이 제공된다. 컨테이너 크레인은 컨테이너를 한 위치에서 다른 위치로 이동하도록 구성된다. 컨테이너 크레인 제어 시스템은, 프로세서; 및 명령들을 저장하는 메모리를 포함하며, 명령들은 프로세서에 의해 실행될 때 컨테이너 크레인 제어 시스템으로 하여금, 작업 주문 정보를 수신하게 하는 것으로서, 각 작업 주문은 픽업될 컨테이너의 위치 및 배치될 컨테이너의 목적지를 특정하는, 상기 작업 주문 정보를 수신하게 하고; 픽업 위치의 이미지들의 제 1 비디오 스트림을 획득하게 하며; 제 1 비디오 스트림의 이미지에서 픽업될 컨테이너를 식별하게 하고; 픽업될 컨테이너를 강조하는 것을 포함하는 제 1 비디오 스트림 이미지를 수정하게 하며; 및 이미지의 수정된 비디오 스트림을 디스플레이 상에 제시하게 한다.

제 3 양태에 따르면, 컨테이너 크레인의 원격 제어를 지원하기 위한 컴퓨터 프로그램이 제공되며, 컨테이너 크레인은 컨테이너를 한 위치에서 다른 위치로 이동시키도록 구성된다. 컴퓨터 프로그램은 컴퓨터 프로그램 코드를 포함하고, 컴퓨터 프로그램 코드는 컨테이너 크레인 제어 시스템상에서 실행될 때 컨테이너 크레인 제어 시스템으로 하여금, 작업 주문 정보를 수신하게 하는 것으로서, 각 작업 주문은 픽업될 컨테이너의 위치 및 배치될 컨테이너의 목적지를 특정하는, 상기 작업 주문 정보를 수신하게 하고; 픽업 위치의 이미지들의 제 1 비디오 스트림을 획득하게 하며; 제 1 비디오 스트림의 이미지에서 픽업될 컨테이너를 식별하게 하고; 픽업될 컨테이너를 강조하는 것을 포함하는 제 1 비디오 스트림 이미지를 수정하게 하며; 및 이미지의 수정된 비디오 스트림을 디스플레이 상에 제시하게 한다.

제 4 양태에 따르면, 제 3 양태에 따른 컴퓨터 프로그램 및 그 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능 수단을 포함하는 컴퓨터 프로그램 제품이 제공된다.

일반적으로, 청구항들에서 사용된 모든 용어들은 본원에서 다르게 명백하게 규정되지 않는 한, 기술 분야에서 그 통상적인 의미에 따라 해석되어야 한다. "단수/정사관의 엘리먼트, 장치, 컴포넌트, 수단, 단계 등” 에 대한 모든 참조들은 달리 명시적으로 언급되지 않는 한, 엘리먼트, 장치, 컴포넌트, 수단, 단계 등의 적어도 하나의 경우를 지칭하는 것으로 개방적으로 해석되어야 한다. 본 명세서에 개시된 임의의 방법의 단계들은, 명시적으로 언급되지 않는 한, 개시된 정확한 순서로 수행되어야 하는 것은 아니다.

이제 본 발명은, 일 예로, 첨부 도면들을 참조하여, 설명되며, 도면들에서:
도 1 은 본 명세서에서 제시된 실시형태들이 적용될 수 있는 컨테이너 크레인 환경을 예시하는 개략도이다;
도 2 는 하나의 실시형태에 따른 도 1 의 컨테이너 크레인 제어 시스템을 예시하는 개략도이다;
도 3 은 하나의 실시형태에 따른 도 1 의 컨테이너 크레인 제어 시스템에서의 카메라 배치를 예시하는 개략도이다;
도 4 는 일 실시형태에 따른 제 1 오퍼레이터 뷰를 도시한 개략도이다.
도 5 는 일 실시형태에 따른 제 2 오퍼레이터 뷰를 도시한 개략도이다.
도 6 은 컨테이너 크레인의 원격 제어를 지원하기 위한 방법을 도시한 플로우 챠트이다.
도 7 은 도 1 의 컨테이너 크레인 제어 시스템의 컴포넌트들을 예시하는 개략도이다.
도 8 은 컴퓨터 판독가능 수단을 포함하는 컴퓨터 프로그램 제품의 하나의 예를 도시한다.

이제, 본 발명은 본 발명의 소정의 실시형태들이 도시되는 첨부 도면들을 참조하여 이하에 보다 완전히 설명될 것이다. 그러나, 본 발명은 많은 상이한 형태들로 구현될 수도 있고 본 명세서에서 제시된 실시형태들에 한정되는 것으로 해석되어서는 안된다; 오히려, 이들 실시형태들은 본 개시가 철저하고 완전할 것이며, 그리고 본 발명의 범위를 당업자들에게 완전히 전달하도록 일 예로 제공된다. 동일한 부호들은 설명 전반에 걸쳐 동일한 엘리먼트들을 지칭한다.

본 명세서에 제시된 실시형태들은 컨테이너 크레인의 원격 제어에 사용되는 비디오 스트림을 수정하는 것에 기초한다. 구체적으로, 픽업될 다음 컨테이너를 강조하는 것과 같은 정보가 비디오 스트림에 추가된다. 다른 데이터도 비디오 스트림에 추가될 수 있다. 이러한 방식으로, 컨테이너 크레인의 원격 제어가 훨씬 더 효율적으로 이루어지며, 이것은 컨테이너를 이동시킬 때 작업 시간과 실수할 위험을 감소시킨다.

도 1 은 본 명세서에서 제시된 실시형태들이 적용될 수 있는 컨테이너 크레인 환경을 예시하는 개략도이고 도 2 는 하나의 실시형태에 따른 도 1 의 컨테이너 크레인 제어 시스템을 예시하는 개략도이다. 도 1 과 도 2 양자 모두를 참조하는 결합된 설명이 이제 제시될 것이다. 이 뷰는 데카르트 좌표계에서 x-y 평면을 따른다.

컨테이너 크레인 (51) 은 스프레더 (55) 상에 및 트롤리 (53) 상에 장착된 다수의 강력한 전기 모터들을 사용하여, 가동부 (moving part) 들에 동력을 공급하고 스프레더 (55) 를 들어 올리거나 또는 내리는 케이블들을 수축시키거나 또는 연장시킨다. 스프레더 (55) 는 컨테이너의 형태의 로드 (21) 를 유지할 수 있다. 또한, 전기 모터들은 컨테이너들을 들어 선박 밖으로 그리고 트럭 섀시 (59) 또는 스택 등 위로 이송하기 위해, 스프레더 (55) 를 유지하는 트롤리 (53) 의 움직임들을 촉진하는데 사용된다. 컨테이너 크레인 (51) 은 선박 상으로 컨테이너들을 로딩하기 위해 및/또는 선박으로부터 육지로 컨테이너들을 언로딩하기 위해 사용될 수 있다.

선적 컨테이너들의 폭은 8 ft. (2.436 m) 로 표준화되지만, 높이는 통상적으로 8 ft. (2.436 m) 와 9.5 ft. (2.896 m) 사이에서 가변한다. 가장 일반적인 표준 길이들은 20 ft. (6.096 m) 및 40 ft. (12.192 m) 길이이다. 40 ft. (12.192 m) 컨테이너가 오늘날 매우 흔하고 53 ft. (16.154 m) 길이까지의 훨씬 더 긴 컨테이너들이 또한 사용되고 있다. 국제 표준 치수들은 1968년도와 1970년도 사이에 만들어진 다수의 ISO 권고안들, 특히 표준 컨테이너들에 대한 코너 피팅들의 치수들에 관하여 권고한 1970년 1월에 만들어진 권고안 R1161 에 기초한다. 표준 선적 컨테이너들 상의 코너 피팅들 간의 거리들은 ISO 권고안들에 따라 표준화된다. 코너 캐스팅들로도 알려진 코너 피팅들은, 컨테이너가 스프레더 (55) 의 후크 또는 트위스트록을 컨테이너 (21) 의 상부의 4 개의 코너 피팅들의 각각에 삽입함으로써 들어 올려질 수도 있도록 표준 개구 (opening) 들을 포함한다. 타원형 개구들의 사이즈 및 형상은 1984년에 만들어진 다른 표준 ISO 1161 에서 정의된다. 동일한 타입의 코너 피팅들, 예를 들어, 컨테이너의 하부에 있는 것들은, 선박의 선상에, 왜건 (wagon) 또는 섀시 상의 특정 위치에 (예를 들어, 화물칸 안에 또는 갑판 상에) 컨테이너를 고정시키는데 사용될 수도 있다.

스프레더 (55) 는 따라서, 컨테이너를 들고, 그것을 내리고 그것을 풀기 위해, 컨테이너 상의 코너 피팅들 내의 표준 사이즈의 개구와 결합하도록 후크들, 트위스트락들 또는 다른 피팅들을 사용하여 컨테이너 (21) 를 죄어 고정시키는데 사용된다. 본 설명에서, 용어 스프레더 (55) 는 컨테이너 (21) 와 직접 접촉하고 있는 리프팅 디바이스의 일부를 나타내는데 사용된다. 스프레더들 (55) 은 1 초과의 사이즈의 컨테이너, 통상적으로는 20-40 ft. (6.096-12.192 m) 또는 20-40-45 ft. (6.096-12.192-13.716 m) 길이 컨테이너들을 핸들링하도록 보통 설계된다. 일부 스프레더들 (55) 은 언제라도 하나의 단일 40 ft. (12.192 m) 또는 45 ft. (13.716 m) 컨테이너 또는 2 개의 20 ft. (6.096 m) 컨테이너들을 들고 핸들링할 수도 있다. 일부 스프레더들 (55) 은, 동일한 스프레더 (55) 가 스프레더의 길이를 조정함으로써 한번에 하나의 20 ft. (6.096 m) 또는 2 개의 20 ft. (6.096 m) 컨테이너들을 들어 올리는데 사용될 수 있도록 사용 시 조정가능하다. 대안으로, 탠덤 (tandem) 스프레더들의 사용은 한 번에 두 개의 컨테이너를 들어 올릴 수 있다.

컨테이너 크레인 (51) 은 따라서 선박으로부터 컨테이너 (21) 를 들어올리고 그것을 섀시 (59) 상에 올려 놓는데 사용되거나 또는 그 반대일 수 있다. 대안적으로, 컨테이너 크레인 (51) 은 선박과 지면 또는 컨테이너 스택 또는 임의의 다른 적합한 컨테이너 움직임 사이에 컨테이너 (21) 를 운반하는데 사용될 수 있다.

컨테이너 크레인 제어 시스템 (1) 은 크레인 (51) 의 동작을 제어하는데 사용된다. 예를 들어, 사무실 (7) 로부터, 크레인 (51) 의 원격 제어를 허용하기 위하여, 컨테이너 크레인 제어 시스템 (1) 은 여러 카메라들 (10a 내지 10b) (도 3 에 더 상세히 도시되고 이하에 설명됨) 및 제어 디바이스 (15) 를 포함한다.

카메라들 (10a 내지 10b) 은 개별의 비디오 스트림 (17) 을 제공하기 위한 개별의 비디오 출력 (25) 을 포함한다. 더욱이, 각각의 카메라는 개별의 제어 신호 입력 (26) 을 포함한다. 카메라들 (10a 내지 10b) 은 스프레더 (55) 및 임의의 운반되는 하중 (21) 의 적어도 일부를 포함하는 이미지들을 캡처하는데 사용된다. 비디오 출력 (25) 은 임의의 적합한 타입일 수 있고, 예를 들어, HD-SDI (High Definition Serial Digital Interface), HDMI (High Definition Multimedia Interface), DVI (Digital Video Interface), DisplayPort, VGA (Video Graphics Array), 컴포넌트 비디오, 복합 비디오, 이더넷 등 중 임의의 하나를 위한 비디오 커넥터를 포함할 수 있다. 비디오 스트림 (17) 은 일련의 이미지들의 표현이다. 비디오 스트림 (17) 은 압축된 비디오 스트림 또는 압축해제된 비디오 스트림의 형태일 수 있다. 비디오 스트림을 전송하기 위한 일부 예, 예를 들어, H.264, H.265 등이 여기에 적용될 수 있다.

선택적으로, 제어 신호 입력 (26) 상에 제공된 카메라 제어 신호들은 개별의 카메라 (10a 내지 10b) 의 틸트 (즉, 실질적으로 수직 축을 따른 회전), 개별의 카메라 (10a 내지 10b) 의 팬 및 줌 레벨 중 임의의 하나 이상을 제어한다.

제어 디바이스 (15) 는 논리 연산들을 수행 가능한 임의의 적합한 제어 디바이스이고 옵션으로는 영구 메모리 (persistent memory) (예를 들어, 판독 전용 메모리, ROM) 와 결합된, 중앙 프로세싱 유닛 (CPU), 그래픽 프로세싱 유닛 (GPU), 마이크로제어기 유닛 (MCU), 주문형 집적 회로 (ASIC), 필드 프로그래밍가능 게이트 어레이 (FPGA), 및 이산 로직 회로부의 임의의 조합을 포함할 수 있다.

오퍼레이터 단말기 (12) 는 컨테이너 크레인 제어 시스템 (1) 의 일부를 형성하고 예를 들어, IP (Internet Protocol) 링크를 통해, 유선 (예를 들어, 이더넷) 또는 무선 (예를 들어, 임의의 IEEE 802.11 표준들) 인터페이스를 통해 카메라들 (10a 내지 10b) 및 제어 디바이스 (15) 에 연결된다. 오퍼레이터 단말기 (12) 는 예를 들어, 정지형 또는 랩톱 컴퓨터 또는 비디오 스트림을 수신 및 제시하고 사용자 입력을 허용하도록 구성된 임의의 다른 적합한 디바이스일 수 있다. 오퍼레이터 단말기 (12) 는 따라서 오퍼레이터 (5) 로의 제시를 위해 비디오 스트림을 수신하도록 구성된다. 더욱이, 오퍼레이터 (5) 는, 디스플레이된 비디오 스트림에 기초하여, 크레인을 제어하기 위해 오퍼레이터 단말기 (12) 에 입력을 제공할 수 있다. 이것은 제어 디바이스 (15) 로의 제공을 위한 크레인 제어 신호 (16) 를 초래한다. 제어 디바이스 (15) 는 오퍼레이터 단말기 (12) 로부터 크레인 제어 신호 (16) 를 수신하고 크레인 동작을 제어하기 위해 대응하는 제어 신호 (16') 를 제공하여, 이로써 크레인 (51) 의 모터들에 영향을 미치며, 예를 들어, 컨테이너 (21) 를 들거나 내리거나 또는 트롤리 (53) 를 이동시킨다. 옵션으로, 제어 디바이스 (15) 는 오퍼레이터 단말기 (12) 의 일부를 물리적으로 형성한다.

본 명세서에 제시된 실시형태들에 따르면, 비디오 디바이스 (11) 는 컨테이너 크레인 제어 시스템 (1) 의 일부를 형성한다. 비디오 디바이스 (11) 는 카메라 (들) (10a 내지 10b) 로부터의 입력으로서 하나 이상의 비디오 스트림 (17) 을 취하고 아래에서 더 상세히 설명되는 바와 같이 이미지를 수정한다. 비디오 디바이스 (11) 는 또한 물류 제어 시스템 (6) 으로부터 작업 주문 데이터 (7) 를 수신한다.

도 3 은 하나의 실시형태에 따른 도 1 의 컨테이너 크레인 제어 시스템에서의 카메라 배치를 예시하는 개략도이다. 이 뷰는 도 1 에 대한 것과 동일한 좌표계에서 z-y 평면을 따른다. 이런 이유로, 도 3 의 뷰는 측면으로부터 것인 반면, 도 1 의 뷰는 앞면 (또는 뒷면) 으로부터의 것이다.

크레인 상에 제공된 제 1 카메라 (10a), 트롤리 (53) 상에 제공된 제 2 카메라 (10b) 가 존재한다.

양 카메라 (10a) 는 비디오 디바이스 (도 2 의 11) 에 의해 선택적으로 제시되거나 결합될 수 있는 비디오 스트림들을 제공한다.

2 개의 카메라들이 도 3 에 도시되지만, 컨테이너 크레인 제어 시스템에는 임의의 적합한 수의 카메라들이 제공될 수 있음에 유의해야 한다.

도 4 는 일 실시형태에 따른 제 1 오퍼레이터 뷰를 도시한 개략도이다. 이 뷰는 데카르트 좌표계에서 x-z 평면을 따른다. 다시 말해, 그 뷰는 위로부터이다. 이 뷰는 이미지의 비디오 스트림의 형태로 컨테이너 제어 시스템의 오퍼레이터에게 제시된다. 도 4 는 비디오 스트림의 하나의 이러한 이미지, 즉 스냅샷을 도시한다.

비디오 스트림의 기본 소스는 비디오 카메라, 예를 들어 도 3 의 제 2 카메라 (10b) 이다. 이미지에서 위로부터의 컨테이너와 스프레더 (55) 를 볼 수 있다. 여기에 제시된 실시형태들에 따르면, 비디오 스트림은 하이라이트 등을 추가하도록 수정된다. 예를 들어, 픽업될 컨테이너 (20) 는 이미지에서 강조된다. 이것은 예를 들어 패턴을 추가하는 것, 색상을 추가하는 것, 컨테이너를 프레이밍하는 것, 깜박임으로 컨테이너를 애니메이팅하는 것 등 중 임의의 하나 이상에 의해 행해질 수 있다. 또한, 텍스트, 예를 들어 이것이 픽업될 첫번째 컨테이너임을 표시하는 번호 텍스트가 이미지에 추가될 수 있다. 선택적으로, 픽업될 후속 컨테이너 (22) 의 위치는 후속적인 이동을 위해 오퍼레이터를 준비시키기 위해 표시된다. 또한, 스프레더와 스프레더 아래의 가장 가까운 물체 사이의 높이를 나타내는 높이 정보 (24) 가 도시될 수 있다.

도 5 는 일 실시형태에 따른 제 2 오퍼레이터 뷰를 도시한 개략도이다. 이 뷰는 데카르트 좌표계에서 z-y 평면을 따른다. 다시 말해, 그 뷰는 측면으로부터이다. 이 뷰는 이미지의 비디오 스트림의 형태로 컨테이너 제어 시스템의 오퍼레이터에게 제시된다. 도 5 는 비디오 스트림의 하나의 이러한 이미지, 즉 스냅샷을 도시한다.

비디오 스트림의 기본 소스는 비디오 카메라, 예를 들어 측면 뷰 카메라이다. 컨테이너들은 여기서 측면으로부터 보여질 수 있다. 도 4 의 평면도에 관해 말하면, 비디오 스트림은 하이라이트 등을 추가하도록 수정된다. 예를 들어, 픽업될 컨테이너 (20) 는 이미지에서 강조된다. 이것은 예를 들어 패턴을 추가하는 것, 색상을 추가하는 것, 컨테이너를 프레이밍하는 것 등 중 임의의 하나 이상에 의해 행해질 수 있다. 또한, 텍스트, 예를 들어 이것이 픽업될 첫번째 컨테이너임을 표시하는 번호 텍스트가 이미지에 추가될 수 있다. 선택적으로, 픽업될 후속 컨테이너 (22) 의 위치가 표시된다. 또한, 스프레더와 스프레더 아래의 가장 가까운 물체 사이의 높이를 나타내는 높이 정보 (24) 가 도시될 수 있다. 이 도면에서, 스프레더 (55) 의 궤적 추천 (27) 은 또한 스프레더 (55) 를 제어할 때 오퍼레이터를 안내하도록 도시된다.

정보를 강조하기 위해, 모든 컨테이너의 3 차원 컨테이너 모델이 획득될 수 있다. 두 개의 다른 위치로부터 동일한 점의 관측이 주어지면, 표면 점이 3 차원으로 추정될 수 있는 삼각 측량을 사용하여 모델이 획득될 수 있다.

일 실시형태에서, 다중 뷰의 카메라 데이터로부터의 SFM (Structure From Motion) 추정은 시간에 따른 모션 또는 동일한 구조를 보는 상이한 카메라들을 통해 사용된다. 메트릭 재구성이 필요한 경우, 카메라 교정을 획득할 필요가 있다. 컨테이너 표면의 표준화된 뷰는 교정이 추정되는 표준 교정 패턴으로서 사용될 수 있다. 이것은 이미지의 픽셀 데이터로부터 가져온 광학 특성을 갖는 컨테이너 모델의 상당히 조밀한 포인트 클라우드를 생성한다.

일 실시형태에서, 라이더 센서가 사용된다. 라이더 센서 자체는 3 차원 센서이지만 3 차원 점의 시각적 특성을 알지 못하는 단점이 있다. 그러나, 카메라와 라이더 센서의 조합을 사용하면 광학 특성이 포함된 밀도가 높은 컨테이너 모델이 생성된다.

일 실시형태에서, 컨테이너 및 이들의 위치는 센서 및 데이터 융합, 및 궤적 예측을 통해 비디오 스트림에서 인식된다. 이는 컨테이너 표면 위치의 메트릭 SFM 재구성을 가능하게 하는 특성과 같은 교정을 달성한다.

대안적으로 또는 추가적으로, 다수의 카메라와 함께 라이더 센서는 라이더 센서의 깊이 데이터와 함께 카메라로부터의 시각적 특성을 융합하기 위한 입력으로서 사용되어 SFM 접근법으로부터 주어진 것과 유사한 출력을 산출한다.

컨테이너 모델의 포인트 클라우드를 제공하기 위해 어떤 접근법을 취하든 상관없이, 관찰/추정된 컨테이너 모델은 SFM/라이더로부터 추정되어 단말기 운영 시스템 (TOS) 에서 이용가능하게 되는 3 차원의 컨테이너를 제공한다.

이 정확한 모델 구성은 보다 희박한 선박 프로파일 시스템 (SPS) 을 보완하여, 관련 하드웨어 설계와 결합될 때 더 높은 안전 수준을 가능하게 한다. 이는 컨테이너 크레인의 완벽한 자동화를 위한 획기적인 능력을 향한 중요한 단계를 제공한다. 또한, 정확하게 등록된 컨테이너 모델은 원격 오퍼레이터에게 AR (Augmented Reality)/VR (Virtual Reality) 능력을 제공하여 원격 동작에서 실행할 때 보다 효율적인 컨테이너 핸들링을 가능하게 할 가능성을 제공한다. 정확한 컨테이너 모델을 구축하는 것은 또한 TOS 데이터와 실제 컨테이너 프로파일 간의 불일치를 검출을 가능하게 한다.

도 6 은 컨테이너 크레인의 원격 제어를 지원하기 위한 방법을 도시한 플로우 챠트이다. 위에서 설명된 바와 같이, 컨테이너 크레인은 컨테이너를 한 위치에서 다른 위치로 이동하도록 구성된다. 이 방법은 컨테이너 크레인 제어 시스템 (도 1 및 도 2 의 1 참조) 에서 수행된다.

작업 주문을 수신 단계 (40) 에서, 작업 주문 정보가 수신된다. 각 작업 주문은 픽업될 컨테이너의 위치와 배치될 컨테이너의 목적지를 특정한다.

제 1 비디오 스트림을 획득 단계 (42) 에서, 픽업 위치의 이미지의 제 1 비디오 스트림이 획득된다. 제 1 비디오 스트림의 소스는 카메라이다.

선택적인 제 2 비디오 스트림을 획득 단계 (43) 에서, 제 2 비디오 스트림이 획득된다. 제 2 비디오 스트림의 소스는 제 1 비디오 스트림의 소스인 카메라 이외의 카메라이다.

컨테이너를 식별 단계 (44) 에서, 픽업될 컨테이너는 제 1 비디오 스트림의 이미지에서 식별된다.

비디오 스트림을 수정 단계 (46) 에서, 제 1 비디오 스트림 이미지가 수정된다. 이것은 픽업될 컨테이너를 강조하는 것을 포함한다.

선택적으로, 픽업될 후속 컨테이너의 위치는 제 1 비디오 스트림 이미지에서 표시된다.

제 2 비디오 스트림이 이용 가능할 때, 제 1 비디오 스트림은 제 2 비디오 스트림의 적어도 일부와 결합된 비디오 스트림으로 결합될 수 있다. 이미지 처리가 두 비디오 스트림의 이미지를 정렬하기 위해 필요할 수도 있다. 제 2 비디오 스트림은 픽업될 그러나 제 1 비디오 스트림과 상이한 각도로부터의 컨테이너를 보여준다. 따라서, 결합된 비디오 스트림은 컨테이너 크레인의 스프레더에 의해 제 1 비디오 스트림에서 차단되는 컨테이너를 볼 수 있게 한다. 선택적으로, 이것은 결합된 비디오 스트림에서 스프레더를 반투명하게 만드는 것을 포함한다.

임의의 하나 이상의 다른 피스들 (pieces) 의 정보가 제 1 비디오 스트림에 추가될 수 있다. 예를 들어, 스프레더와 아래의 물체 사이의 높이를 나타내는 높이 정보가 제 1 비디오 스트림에 추가될 수 있다. 대안적으로 또는 추가로, 바람 정보 (예를 들어 방향 및 풍속), 스프레더의 궤적 추천, 스프레더와 픽업될 컨테이너 사이의 거리가 추가될 수 있다.

이 단계는 선택적으로 픽업될 컨테이너의 코너 캐스팅 홀을 강조하는 것을 포함하며, 이는 오퍼레이터가 크레인을 적절하게 위치시키는 것을 돕는다.

이 단계는 선택적으로 미리 결정된 기준과 일치하는 고정된 구조를 강조하는 것을 포함한다. 예를 들어, 보도, 또는 지상보다 높은 다른 구조물이 식별되고 강조될 수 있다.

이 단계는 선택적으로 예상된 구조와 비교하여 변칙을 강조하는 것을 포함한다. 변칙은 예를 들어 동일한 컨테이너 스택의 시스템 표현과 비교하여 이미지의 컨테이너 스택 사이의 불일치일 수 있다.

이 단계는 선택적으로 이동하는 물체를 강조하는 것을 포함한다. 이것은 오퍼레이터가 차량, 사람 등과 같은 그러한 움직이는 물체 주위에서 특히 주의할 수 있게 한다.

제시 단계 (48) 에서, 이미지의 수정된 비디오 스트림은 오퍼레이터 단말기의 디스플레이 상에 제시된다.

도 7 은 도 1 의 컨테이너 크레인 제어 시스템 (1) 의 컴포넌트들을 예시하는 개략도이다. 프로세서 (60) 는, 따라서 컴퓨터 프로그램 제품일 수 있는, 메모리 (64) 에 저장된 소프트웨어 명령 (67) 을 실행할 수 있는, 적절한 중앙 처리 장치 (CPU), 그래픽 처리 장치 (GPU), 멀티프로세서, 마이크로컨트롤러, 디지털 신호 프로세서 (DSP), 주문형 집적 회로 (ASIC) 등의 하나 이상의 임의의 조합을 사용하여 제공된다. 프로세서 (60) 는 위의 도 6 을 참조하여 기술된 방법을 실행하도록 구성될 수 있다.

메모리 (64) 는 랜덤 액세스 메모리 (RAM) 및 리드 온리 메모리 (ROM) 의 임의의 조합일 수 있다. 메모리 (64) 는 또한, 예를 들어, 자기 메모리, 광학 메모리, 솔리드 스테이트 메모리 또는 심지어 원격 장착 메모리의 임의의 단일의 하나 또는 조합일 수 있는 영구 저장장치를 포함한다.

데이터 메모리 (66) 는 또한 프로세서 (60) 에서 소프트웨어 명령의 실행 중에 데이터를 판독 및/또는 저장하기 위해 제공된다. 데이터 메모리 (66) 는 랜덤 액세스 메모리 (RAM) 및 리드 온리 메모리 (ROM) 의 임의의 조합일 수 있다.

컨테이너 크레인 제어 시스템 (1) 은 다른 외부 엔티티와 통신하기 위한 I/O 인터페이스 (62) 를 더 포함한다. 선택적으로, I/O 인터페이스 (62) 는 또한 사용자 인터페이스를 포함한다.

컨테이너 크레인 제어 시스템 (1) 의 다른 컴포넌트들은 본 명세서에 제시된 개념을 모호하게 하지 않기 위해 생략된다.

도 8 은 컴퓨터 판독가능 수단을 포함하는 컴퓨터 프로그램 제품의 하나의 예를 도시한다. 이 컴퓨터 판독가능 수단 상에, 컴퓨터 프로그램 (91) 이 저장될 수 있으며, 이 컴퓨터 프로그램은 프로세서로 하여금 본 명세서에서 설명된 실시형태들에 따른 방법을 실행하게 할 수 있다. 이 예에서, 컴퓨터 프로그램 제품은 CD (compact disc) 또는 DVD (digital versatile disc) 또는 블루 레이 디스크와 같은 광학 디스크이다. 상기 설명된 바와 같이, 컴퓨터 프로그램 제품은 또한 도 7 의 컴퓨터 프로그램 제품 (67) 과 같은 디바이스의 메모리에 수록될 수 있다. 컴퓨터 프로그램 (91) 은 여기서 도시된 광학 디스크 상에 트랙으로서 개략적으로 도시되지만, 컴퓨터 프로그램은 착탈식 솔리드 스테이트 메모리, 예를 들어, 범용 시리얼 버스 (USB) 드라이브와 같은, 컴퓨터 프로그램 제품에 적합한 임의의 방식으로 저장될 수 있다.

본 발명은 주로 몇몇 실시형태들을 참조하여 위에서 설명되었다. 그러나, 당업자가 용이하게 알 수 있는 바와 같이, 상기 개시된 것들 이외의 다른 실시형태들이 첨부된 특허 청구항들에 의해 정의된 바와 같이, 본 발명의 범위 내에서 동일하게 가능하다.

Claims

컨테이너 크레인 (51) 의 원격 제어를 지원하기 위한 방법으로서, 상기 컨테이너 크레인은 컨테이너들을 한 위치에서 다른 위치로 이동시키도록 구성되며, 상기 방법은 컨테이너 크레인 제어 시스템 (1) 에서 수행되며, 상기 방법은,
작업 주문 정보를 수신하는 단계 (40) 로서, 각 작업 주문은 픽업될 컨테이너의 위치 및 배치될 상기 컨테이너의 목적지를 특정하는, 상기 작업 주문 정보를 수신하는 단계 (40);
픽업 위치의 이미지들의 제 1 비디오 스트림을 획득하는 단계 (42);
상기 제 1 비디오 스트림의 이미지들에서, 픽업될 상기 컨테이너 및 임의의 이동하는 물체들을 식별하는 단계 (44);
픽업될 상기 컨테이너를 강조하는 것 및 상기 이동하는 물체들을 강조하는 것을 포함하는 상기 제 1 비디오 스트림 이미지들을 수정하는 단계 (46); 및
이미지들의 수정된 비디오 스트림을 디스플레이 상에 제시하는 단계 (48) 를 포함하는, 컨테이너 크레인의 원격 제어를 지원하기 위한 방법.
제 1 항에 있어서,
상기 제 1 비디오 스트림 이미지들을 수정하는 단계 (46) 는 픽업될 후속 컨테이너의 위치를 나타내는 단계를 포함하는, 컨테이너 크레인의 원격 제어를 지원하기 위한 방법.
제 1 항에 있어서,
제 2 비디오 스트림을 획득하는 단계 (43) 를 더 포함하고,
상기 제 1 비디오 스트림을 수정하는 단계 (46) 는 상기 제 1 비디오 스트림을 상기 제 2 비디오 스트림의 적어도 일부와 결합된 비디오 스트림으로 결합하는 단계를 포함하며,
상기 결합된 비디오 스트림은 상기 컨테이너 크레인 (51) 의 스프레더 (55) 에 의해, 상기 제 1 비디오 스트림에서 차단되는 컨테이너들이 보이는 것을 허용하는, 컨테이너 크레인의 원격 제어를 지원하기 위한 방법.
제 3 항에 있어서,
상기 제 1 비디오 스트림을 수정하는 단계 (46) 는 상기 스프레더 (55) 를 반투명하게 만드는 단계를 포함하는, 컨테이너 크레인의 원격 제어를 지원하기 위한 방법.
제 3 항 또는 제 4 항에 있어서,
상기 제 1 비디오 스트림 이미지들을 수정하는 단계 (46) 는 상기 스프레더와 아래의 물체 사이의 높이를 나타내는 높이 정보를 추가하는 단계를 포함하는, 컨테이너 크레인의 원격 제어를 지원하기 위한 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 제 1 비디오 스트림 이미지들을 수정하는 단계 (46) 는 바람 정보를 추가하는 단계를 포함하는, 컨테이너 크레인의 원격 제어를 지원하기 위한 방법.
제 3 항 또는 제 4 항에 있어서,
상기 제 1 비디오 스트림 이미지들을 수정하는 단계 (46) 는 상기 스프레더의 궤적 추천을 추가하는 단계를 포함하는, 컨테이너 크레인의 원격 제어를 지원하기 위한 방법.
제 3 항 또는 제 4 항에 있어서,
상기 제 1 비디오 스트림 이미지들을 수정하는 단계 (46) 는 상기 스프레더와 픽업될 상기 컨테이너 사이의 거리 또는 중요한 거리들에 대한 정보를 추가하는 단계를 포함하는, 컨테이너 크레인의 원격 제어를 지원하기 위한 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 제 1 비디오 스트림 이미지들을 수정하는 단계 (46) 는 픽업될 상기 컨테이너의 코너 캐스팅 홀들을 강조하는 단계를 포함하는, 컨테이너 크레인의 원격 제어를 지원하기 위한 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 제 1 비디오 스트림 이미지들을 수정하는 단계 (46) 는 미리 결정된 기준들과 일치하는 고정된 구조를 강조하는 단계를 포함하는, 컨테이너 크레인의 원격 제어를 지원하기 위한 방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 제 1 비디오 스트림 이미지들을 수정하는 단계 (46) 는 예상된 구조와 비교해 변칙을 강조하는 단계를 포함하고, 상기 변칙은 컨테이너 스택들의 시스템 표현과 비교하여 상기 제 1 비디오 스트림 이미지들의 상기 컨테이너 스택들 사이의 불일치를 나타내는, 컨테이너 크레인의 원격 제어를 지원하기 위한 방법.
삭제
컨테이너 크레인 (51) 의 원격 제어를 지원하기 위한 컨테이너 크레인 제어 시스템 (1) 으로서, 상기 컨테이너 크레인은 컨테이너들을 한 위치에서 다른 위치로 이동시키도록 구성되며, 상기 컨테이너 크레인 제어 시스템 (1) 은,
프로세서 (60); 및
명령들 (67) 을 저장하는 메모리 (64) 로서, 상기 명령들 (67) 은, 상기 프로세서에 의해 실행될 때, 상기 컨테이너 크레인 제어 시스템 (1) 으로 하여금,
작업 주문 정보를 수신하게 하는 것으로서, 각 작업 주문은 픽업될 컨테이너의 위치 및 배치될 상기 컨테이너의 목적지를 특정하는, 상기 작업 주문 정보를 수신하게 하고;
픽업 위치의 이미지들의 제 1 비디오 스트림을 획득하게 하고;
상기 제 1 비디오 스트림의 이미지들에서, 픽업될 상기 컨테이너 및 임의의 이동하는 물체들을 식별하게 하고;
픽업될 상기 컨테이너를 강조하는 것 및 상기 이동하는 물체들을 강조하는 것을 포함하는 상기 제 1 비디오 스트림 이미지들을 수정하게 하고; 그리고
이미지들의 수정된 비디오 스트림을 디스플레이 상에 제시하게 하는, 상기 메모리 (64) 를 포함하는, 컨테이너 크레인 제어 시스템 (1).
컨테이너 크레인 (51) 의 원격 제어를 지원하기 위한, 컴퓨터 판독가능 매체에 저장된, 컴퓨터 프로그램 (67, 91) 으로서, 상기 컨테이너 크레인은 컨테이너들을 한 위치에서 다른 위치로 이동 시키도록 구성되며, 상기 컴퓨터 프로그램은 컴퓨터 프로그램 코드를 포함하고, 상기 컴퓨터 프로그램 코드는, 컨테이너 크레인 제어 시스템 (1) 상에서 실행될 때, 상기 컨테이너 크레인 제어 시스템 (1) 으로 하여금,
작업 주문 정보를 수신하게 하는 것으로서, 각 작업 주문은 픽업될 컨테이너의 위치 및 배치될 상기 컨테이너의 목적지를 특정하는, 상기 작업 주문 정보를 수신하게 하고;
픽업 위치의 이미지들의 제 1 비디오 스트림을 획득하게 하고;
상기 제 1 비디오 스트림의 이미지들에서, 픽업될 상기 컨테이너 및 임의의 이동하는 물체들을 식별하게 하고;
픽업될 상기 컨테이너를 강조하는 것 및 상기 이동하는 물체들을 강조하는 것을 포함하는 상기 제 1 비디오 스트림 이미지들을 수정하게 하고; 그리고
이미지들의 수정된 비디오 스트림을 디스플레이 상에 제시하게 하는, 컴퓨터 프로그램 (67, 91).
제 14 항에 기재된 컨테이너 크레인 (51) 의 원격 제어를 지원하기 위한 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능 매체.