KR20210110671A - 화상 처리 시스템, 화상 처리 방법, 미리 학습된 모델의 생성 방법, 및 학습용 데이터 세트 - Google Patents

화상 처리 시스템, 화상 처리 방법, 미리 학습된 모델의 생성 방법, 및 학습용 데이터 세트 Download PDF

Info

Publication number
KR20210110671A
KR20210110671A KR1020217024275A KR20217024275A KR20210110671A KR 20210110671 A KR20210110671 A KR 20210110671A KR 1020217024275 A KR1020217024275 A KR 1020217024275A KR 20217024275 A KR20217024275 A KR 20217024275A KR 20210110671 A KR20210110671 A KR 20210110671A
Authority
KR
South Korea
Prior art keywords
vessel
image
specifying
captured image
unit
Prior art date
Application number
KR1020217024275A
Other languages
English (en)
Inventor
슌 가와모토
šœ 가와모토
신타로 하마다
요스케 가지하라
Original Assignee
가부시키가이샤 고마쓰 세이사쿠쇼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 고마쓰 세이사쿠쇼 filed Critical 가부시키가이샤 고마쓰 세이사쿠쇼
Publication of KR20210110671A publication Critical patent/KR20210110671A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

본 발명에 관한 화상 처리 시스템에 있어서, 데이터 취득부는, 작업 기계의 운반물의 하역 대상이 촬상되는 촬상 화상을 취득한다. 영역 특정부는, 촬상 화상으로부터 하역 대상을 포함하는 영역을 특정한다. 하역 대상 특정부는, 하역 대상을 포함하는 영역으로부터 하역 대상 중 적어도 하나의 소정의 면을 특정한다.

Description

화상 처리 시스템, 화상 처리 방법, 미리 학습된 모델의 생성 방법, 및 학습용 데이터 세트
본 발명은, 화상 처리 시스템, 화상 처리 방법, 미리 학습된(prelearned) 모델의 생성 방법, 및 학습용 데이터 세트(data set)에 관한 것이다. 본원은, 2019년 2월 1일자에 일본에 출원된 특허출원 제2019-017400호에 대하여 우선권을 주장하고, 그 내용을 여기에 원용한다.
특허문헌 1에는, 유압 셔블에 구비된 촬상(撮像) 장치에 의해 촬상된 화상으로부터 에지를 추출함으로써, 덤프 트럭의 베슬(vessel)의 위치를 특정하는 기술이 개시되어 있다.
일본 공개특허 제2000-192514호 공보
그런데, 적재 기계[loading machine]가 존재하는 현장에 있어서는, 도로가 포장되어 있지 않은 경우가 있고, 지표(地表)에 바퀴 자국(轍; ruts)이 생성된다. 바퀴 자국과 덤프 트럭이 촬상되는 화상으로부터 에지를 추출하면, 덤프 트럭의 에지에 더하여, 바퀴 자국의 에지도 생긴다. 그러므로, 특허문헌 1에 기재된 기술에 의해 촬상 화상으로부터 덤프 트럭의 베슬 위치를 특정하는 경우, 바퀴 자국의 존재에 의해, 적절히 베슬의 위치를 특정할 수 없게 될 가능성이 있다.
본 발명의 목적은, 촬상 화상으로부터 운반물의 하역(unloading) 대상을 특정하는 처리의 견고성(robustness)을 향상시킬 수 있는 화상 처리 시스템, 화상 처리 방법, 미리 학습된 모델의 생성 방법, 및 학습용 데이터 세트를 제공하는 것을 목적으로 한다.
본 발명의 일 태양(態樣)에 의하면, 화상 처리 시스템은, 작업 기계(work machine)의 운반물의 하역 대상이 촬상되는 촬상 화상을 취득하는 데이터 취득부와, 상기 촬상 화상으로부터 상기 하역 대상을 포함하는 영역을 특정하는 영역 특정부와, 상기 하역 대상을 포함하는 영역으로부터 상기 하역 대상 중 적어도 하나의 소정의 면을 특정하는 하역 대상 특정부를 구비한다.
상기 태양에 의하면, 화상 처리 시스템은, 하역 대상을 특정하는 처리의 견고성을 향상시킬 수 있다.
도 1은 일 실시 형태에 관한 적재장(積入場; load site)의 구성을 나타낸 도면이다.
도 2는 일 실시 형태에 관한 유압 셔블의 외관도이다.
도 3은 제1 실시형태에 관한 제어 장치의 구성을 나타낸 개략 블록도이다.
도 4는 제1 실시형태에 관한 화상의 세그멘테이션의 예를 나타낸 도면이다.
도 5는 뉴럴 네트워크(neural network)의 구성의 예를 나타낸 도면이다.
도 6은 가이던스(guidance) 정보의 일례이다.
도 7은 제1 실시형태에 관한 제어 장치에 의한 가이던스 정보의 표시 방법을 나타낸 플로우차트이다.
도 8은 제1 실시형태에 관한 세그멘테이션(segmentation) 모델의 학습 방법을 나타낸 플로우차트이다.
도 9는 제2 실시형태에 관한 제어 장치의 구성을 나타낸 개략 블록도이다.
도 10은 제2 실시형태에 관한 유압 셔블의 제어 방법을 나타낸 플로우차트이다.
도 11은 제3 실시형태에 관한 제어 장치의 구성을 나타낸 개략 블록도이다.
도 12는 제3 실시형태에 관한 가이던스 정보의 일례이다.
도 13은 제3 실시형태에 관한 제어 장치에 의한 가이던스 정보의 표시 방법을 나타낸 플로우차트이다.
도 14는 제5 실시형태에 관한 화상의 세그멘테이션의 예를 나타낸 도면이다.
도 15는 제5 실시형태에 관한 제어 장치에 의한 가이던스 정보의 표시 방법을 나타낸 플로우차트이다.
<제1 실시형태>
이하, 도면을 참조하면서 실시형태에 대하여 상세하게 설명한다. 도 1은, 일 실시 형태에 관한 적재장의 구성을 나타낸 도면이다. 적재장에는, 적재 기계인 유압 셔블(100)과 운반 차량인 덤프 트럭(200)이 배치된다. 유압 셔블(100)은, 시공(施工) 현장으로부터 토사(土砂) 등의 운반물(L)을 건져올려, 덤프 트럭(200)에 적재한다. 덤프 트럭(200)은, 유압 셔블(100)에 의해 적재된 운반물(L)을 소정의 배토장(排土場; dump site)으로 운반한다. 덤프 트럭(200)은, 운반물(L)을 수용하는 용기인 베슬(210)을 구비한다. 베슬(210)은, 운반물(L)의 하역 대상의 일례이다. 적재장은, 현장의 일례이다. 현장이란, 적재 기계에 의한 작업이 행해지는 토지이다.
<<유압 셔블의 구성>>
도 2는, 일 실시 형태에 관한 유압 셔블의 외관도이다.
유압(油壓) 셔블(100)은, 유압에 의해 작동하는 작업기(110)와, 작업기(110)를 지지하는 선회체(旋回體)(120)와, 선회체(120)를 지지하는 주행체(130)를 구비한다.
작업기(110)는, 붐(boom)(111)과, 암(arm)(112)과, 버킷(bucket)(113)과, 붐 실린더(114)와, 암 실린더(115)와, 버킷 실린더(116)를 구비한다.
붐(111)은, 암(112) 및 버킷(113)을 지지하는 지주(支柱; support column)이다. 붐(111)의 기단부(基端部)는, 선회체(120)의 전부(前部)에 붐 핀(boom pin)(P1)을 통해 장착된다.
암(112)은, 붐(111)과 버킷(113)을 연결한다. 암(112)의 기단부는, 붐(111)의 선단부에 암 핀(arm pin)(P2)을 통해 장착된다.
버킷(113)은, 토사 등을 굴삭하기 위한 날(刃)을 구비하는 용기이다. 버킷(113)의 기단부는, 암(112)의 선단부에 버킷 핀(bucket pin)(P3)을 통해 장착된다.
붐 실린더(114)는, 붐(111)을 작동시키기 위한 유압 실린더이다. 붐 실린더(114)의 기단부는, 선회체(120)에 장착된다. 붐 실린더(114)의 선단부는, 붐(111)에 장착된다.
암 실린더(115)는, 암(112)을 구동시키기 위한 유압 실린더이다. 암 실린더(115)의 기단부는, 붐(111)에 장착된다. 암 실린더(115)의 선단부는, 암(112)에 장착된다.
버킷 실린더(116)는, 버킷(113)을 구동시키기 위한 유압 실린더이다. 버킷 실린더(116)의 기단부는, 암(112)에 장착된다. 버킷 실린더(116)의 선단부는, 버킷(113)에 장착된다.
선회체(120)에는, 오퍼레이터가 탑승하는 운전실(121)이 구비된다. 운전실(121)은, 선회체(120)의 전방이자 또한 작업기(110)의 좌측(＋Y 측)에 구비된다.
<<유압 셔블의 제어계>>
유압 셔블(100)은, 작업기 위치 검출기(122), 위치 방위 연산기(123), 경사 검출기(124), 스테레오 카메라(125), 조작 장치(126), 제어 장치(127), 표시 장치(128)를 구비한다.
작업기 위치 검출기(122)는, 작업기(110)의 각도를 검출한다. 제1 실시형태에 관한 작업기 위치 검출기(122)는, 붐 실린더(114), 암 실린더(115), 및 버킷 실린더(116)의 각각의 스트로크 길이를 검출하는 스트로크 검출기이다. 이로써, 후술하는 제어 장치(127)는, 붐 실린더(114), 암 실린더(115), 및 버킷 실린더(116)의 각각의 스트로크 길이에 기초하여 작업기(110)의 각도를 검출할 수 있다. 다른 한편, 다른 실시형태에 있어서는, 이에 한정되지 않고, 작업기 위치 검출기(122)로서, 스트로크 검출기 대신에, 또는 스트로크 검출기와 병용하여, IMU, 로터리 인코더(encoder)나 수평기 등의 각도 검출기를 사용해도 된다.
위치 방위 연산기(123)는, 선회체(120)의 위치 및 선회체(120)가 향하는 방위를 연산한다. 위치 방위 연산기(123)는, GNSS(Global Navigation Satellite System)를 구성하는 인공 위성으로부터 측위 신호를 수신하는 2개의 수신기를 구비한다. 2개의 수신기는, 각각 선회체(120)의 상이한 위치에 설치된다. 위치 방위 연산기(123)는, 적어도 한쪽의 수신기가 수신한 측위 신호에 기초하여, 현장 좌표계에서의 선회체(120)의 대표점(차체 좌표계의 원점)의 위치를 검출한다.
위치 방위 연산기(123)는, 2개의 수신기가 각각 수신한 측위 신호를 사용하여, 검출된 2개의 측위 신호가 나타내는 위치와 2개의 수신기의 접지(接地) 위치에 기초하여 선회체(120)의 방위를 연산한다. 그리고, 다른 실시형태에 관한 위치 방위 연산기(123)는, 2개의 수신기 대신에, 로터리 인코더나 IMU(Inertial Measurement Unit) 등의 다른 장치를 구비함으로써 선회체(120)의 방위를 계측해도 된다.
경사 검출기(124)는, 선회체(120)의 가속도 및 각속도(角速度; angular velocity)를 계측하고, 계측 결과에 기초하여 선회체(120)의 경사(예를 들면, X축에 대한 회전을 나타내는 롤, Y축에 대한 회전을 나타내는 피치, 및 Z축에 대한 회전을 나타내는 요(yaw)를 검출한다. 경사 검출기(124)는, 예를 들면, 운전실(121)의 하면에 설치된다. 경사 검출기(124)는, 예를 들면, 관성 계측 장치인 IMU(Inertial Measurement Unit)를 사용할 수 있다.
스테레오 카메라(125)는, 운전실(121)의 상부에 설치된다. 스테레오 카메라(125)는, 운전실(121) 내의 전방(＋X방향) 또한 위쪽(＋Z방향)에 설치된다. 스테레오 카메라(125)는, 운전실(121) 전면(前面)의 프론트 유리를 통해, 운전실(121)의 전방(＋X방향)을 촬상한다. 스테레오 카메라(125)는, 적어도 한 쌍의 카메라를 구비한다.
조작 장치(126)는 운전실(121)의 내부에 설치된다. 조작 장치(126)는, 오퍼레이터에 의해 조작됨으로써 작업기(110)의 액추에이터에 작동유를 공급한다. 조작 장치(126)의 조작량에 따라, 붐 실린더(114), 암 실린더(115), 버킷 실린더(116), 및 도시하지 않은 선회(旋回) 모터에 작동유가 공급되고, 작업기(110) 및 선회체(120)가 구동한다.
제어 장치(127)는, 작업기 위치 검출기(122), 위치 방위 연산기(123), 경사 검출기(124) 및 스테레오 카메라(125)로부터 정보를 취득하고, 버킷(113)과 덤프 트럭(200)의 베슬과의 위치 관계를 나타내는 가이던스 정보를 생성한다.
표시 장치(128)는, 제어 장치(127)가 생성한 가이던스 정보를 표시한다.
그리고, 실시형태에 따라서는, 유압 셔블(100)은, 작업기 위치 검출기(122), 위치 방위 연산기(123), 경사 검출기(124), 스테레오 카메라(125), 및 표시 장치(128)를 구비하지 않은 것이라도 된다.
<<스테레오 카메라의 구성>>
제1 실시형태에 있어서는, 스테레오 카메라(125)는, 우측 카메라(1251) 및 좌측 카메라(1252)를 구비한다. 각각의 카메라의 예로서는, 예를 들면, CCD(Charge Coupled Device) 센서, 및 CMOS(Complementary Metal Oxide Semiconductor) 센서를 사용한 카메라를 들 수 있다.
우측 카메라(1251)와 좌측 카메라(1252)는, 각각 광축이 운전실(121)의 바닥면에 대하여 대략 평행하게 되도록, 좌우 방향(Y축 방향)으로 간극을 두고 설치된다. 스테레오 카메라(125)는 촬상 장치의 일례이다. 제어 장치(127)는, 우측 카메라(1251)가 촬상한 화상과 좌측 카메라(1252)가 촬상한 화상을 사용함으로써, 스테레오 카메라(125)와 촬상 대상과의 거리를 산출할 수 있다. 이하, 우측 카메라(1251)가 촬상한 화상을 '우측에서 본 화상'이라고도 한다. 또한, 좌측 카메라(1252)가 촬상한 화상을 '좌측에서 본 화상'이라고도 한다. 또한, 스테레오 카메라(125)의 각 카메라가 촬상한 화상의 조합을 '스테레오 화상'이라고도 한다. 그리고, 다른 실시형태에 있어서는, 스테레오 카메라(125)는, 3개 이상의 카메라에 의해 구성되어도 된다.
<<제어 장치의 구성>>
도 3은, 제1 실시형태에 관한 제어 장치의 구성을 나타낸 개략 블록도이다.
제어 장치(127)는, 프로세서(91), 메인 메모리(92), 스토리지(storage)(93), 인터페이스(94)를 구비한다.
스토리지(93)에는, 작업기(110)를 제어하기 위한 프로그램이 기억되어 있다. 스토리지(93)의 예로서는, HDD(Hard Disk Drive), 불휘발성 메모리 등을 들 수 있다. 스토리지(93)는, 제어 장치(127)의 버스에 직접 접속된 내부 미디어라도 되고, 인터페이스(94) 또는 통신 회선을 통해 제어 장치(127)에 접속되는 외부 미디어라도 된다. 스토리지(93)는, 기억부의 일례이다.
프로세서(91)는, 스토리지(93)로부터 프로그램을 판독하여 메인 메모리(92)에 전개하고, 프로그램에 따라 처리를 실행한다. 또한, 프로세서(91)는, 프로그램에 따라 메인 메모리(92)에 기억 영역을 확보한다. 메인 메모리(92)는, 기억부의 일례이다. 인터페이스(94)는, 작업기 위치 검출기(122), 위치 방위 연산기(123), 경사 검출기(124), 스테레오 카메라(125), 표시 장치(128), 및 그 외의 주변 기기와 접속되고, 신호의 송수신을 행한다.
제1 실시형태에 관한 제어 장치(127)는, 표시 장치(128)에, 작업 기계와 운반물의 하역 대상과의 상대(相對) 위치를 나타내는 가이던스 정보를 표시한다. 이로써, 오퍼레이터는, 하역 대상을 육안 관찰하기 어려운 경우라도, 가이던스 정보를 참조함으로써 하역 대상을 인식할 수 있다.
그러므로, 프로세서(91)는, 프로그램의 실행에 의해, 데이터 취득부(1701), 영역 특정부(1702), 3차원 데이터 생성부(1703), 하역 대상 특정부(1704), 모델 피팅부(1705), 작업기 위치 특정부(1706), 가이던스 정보 생성부(1707), 표시 제어부(1708), 학습부(1709)를 구비한다. 또한, 스토리지(93)에는, 카메라 파라미터 CP, 세그멘테이션 모델(M), 및 대상 모델(D)이 기억된다. 카메라 파라미터 CP란, 선회체(120)와 우측 카메라(1251)와의 위치 관계, 및 선회체(120)와 좌측 카메라(1252)와의 위치 관계를 나타내는 정보이다. 대상 모델(D)은, 베슬(210)의 형상을 나타내는 3차원 데이터이다.
그리고, 프로그램은, 제어 장치(127)에 발휘하게 하는 기능의 일부를 실현하기 위한 것이라도 된다. 예를 들면, 프로그램은, 스토리지(93)에 이미 기억되어 있는 다른 프로그램과의 조합, 또는 다른 장치에 실장(實裝)된 다른 프로그램과의 조합에 의해 기능을 발휘하게 하는 것이라도 된다. 그리고, 다른 실시형태에 있어서는, 제어 장치(127)는, 상기 구성에 더하여, 또는 상기 구성 대신에 PLD(Progra㎜able Logic Device) 등의 커스텀 LSI(Large Scale Integrated Circuit)를 구비해도 된다. PLD의 예로서는, PAL(Progra㎜able Array Logic), GAL(Generic Array Logic), CPLD(Complex Progra㎜able Logic Device), FPGA(Field Progra㎜able Gate Array)를 들 수 있다. 이 경우, 프로세서에 의해 실현되는 기능의 일부 또는 전부(全部)가 상기 집적 회로에 의해 실현되어 이루어진다.
데이터 취득부(1701)는, 인터페이스(94)를 통해 작업기 위치 검출기(122), 위치 방위 연산기(123), 경사 검출기(124), 및 스테레오 카메라(125)로부터 데이터를 취득한다. 즉, 데이터 취득부(1701)는, 작업기(110)의 각도, 선회체(120)의 위치, 방위, 및 경사, 및 스테레오 화상을 취득한다. 데이터 취득부(1701)는, 화상 취득부의 일례이다. 이하, 선회체(120)의 위치, 방위, 및 경사를, 선회체(120)의 자세라고도 한다. 또한, 스테레오 카메라(125)는 선회체(120)에 설치되므로, 선회체(120)의 위치, 방위, 및 경사는, 스테레오 카메라(125)의 자세를 나타낸다.
도 4는, 제1 실시형태에 관한 화상의 세그멘테이션의 예를 나타낸 도면이다.
영역 특정부(1702)는, 데이터 취득부(1701)가 취득한 스테레오 화상의 우측에서 본 화상을, 스토리지(93)에 기억된 세그멘테이션 모델(M)에 입력함으로써, 우측에서 본 화상을, 기지(旣知)의 복수의 물체에 대응하는 복수의 영역으로 분할한다. 예를 들면, 영역 특정부(1702)는, 입력 화상인 우측에서 본 화상을, 도 4에 나타낸 바와 같이, 덤프 트럭(200)의 차체, 베슬(210), 운반물(L), 작업기(110), 및 지면의 5개의 물체에 대응하는 복수의 영역으로 분할한 세그멘트 화상을 생성한다. 그리고, 기지의 복수의 물체는, 적어도 적재 대상(loading target)인 베슬(210)을 포함한다. 세그멘트 화상의 각 화소의 값은, 상기 화소에 대응하는 입력 화상의 화소에 촬상되는 물체의 종류를 나타내는 값을 취한다. 즉, 세그멘트 화상은, 같은 값을 취하는 복수의 화소로 이루어지는 복수의 영역(세그멘트)으로 나누어진다. 영역 특정부(1702)는, 세그멘테이션 모델(M)의 세그멘트 화상에 기초하여, 데이터 취득부(1701)가 취득한 스테레오 화상에 있어서, 베슬이 촬상되는 영역을 특정한다.
세그멘테이션 모델(M)은, 도 5에 나타낸 뉴럴 네트워크(140)를 포함한다. 도 5는, 뉴럴 네트워크의 구성의 예를 나타낸 도면이다. 세그멘테이션 모델(M)은, 예를 들면, DNN(Deep Neural Network)의 미리 학습된 모델에 의해 실현된다. 미리 학습된 모델은, 학습 모델과 미리 학습된 파라미터의 조합에 의해 구성된다.
도 5에 나타낸 바와 같이, 뉴럴 네트워크(140)는, 입력층(141), 1개 또는 복수의 중간층(142)(은폐층), 및 출력층(143)을 포함한다. 각 층(141, 142, 143)은, 1개 또는 복수 개의 뉴런을 구비하고 있다. 중간층(142)의 뉴런의 수는, 적절히 설정할 수 있다. 출력층(143)은, 출력 화상의 사이즈에 따라서 적절히 설정할 수 있다.
서로 인접하는 층의 뉴런끼리는 결합되어 있고, 각 결합에는 중량[결합 하중(荷重; load)]이 설정되어 있다. 뉴런의 결합수는, 적절히 설정되어 이루어진다. 각 뉴런에는 임계값이 설정되어 있고, 각 뉴런에 대한 입력값과 중량과의 곱의 합이 임계값을 넘고 있는지의 여부에 따라 각 뉴런의 출력값이 결정된다.
입력층(141)에는, 화상이 입력된다. 입력층(141)에 입력하는 화상은, 복수의 영역(복수의 물체) 중 하나 이상에 해당하는 물체가 촬상되는 화상이다. 출력층(143)에는, 각 화소의 값이, 상기 화소에 대응하는 입력층(141)에 입력하는 화상의 대응하는 화소에 촬상되는 물체의 종류를 나타내는 값을 취하는 세그멘트 화상이 입력된다. 즉, 세그멘테이션 모델(M)은, 화상이 입력되면, 상기 화상에 촬상되는 물체별로 영역 분류된 세그멘트 화상을 출력하도록 훈련된 미리 학습된 모델이다.
세그멘테이션 모델(M)은, 예를 들면, 적재장에서 촬상된 화상을 학습 데이터로 하고, 덤프 트럭(200)의 차체, 베슬(210), 운반물(L), 작업기(110), 및 지면의 별로 화소의 값을 나눈 세그멘트 화상을 교사 데이터로 하는 학습용 데이터 세트를 사용하여 훈련된다. 그리고, 본 실시형태에 있어서 「학습 데이터」란, 학습 모델의 훈련시에 입력층에 입력되는 데이터를 말한다. 본 실시형태에 있어서 「교사 데이터」란, 뉴럴 네트워크(140)의 출력층의 값과 비교하기 위한 정답으로 되는 데이터이다. 본 실시형태에 있어서 「학습용 데이터 세트」란, 학습 데이터와 교사 데이터의 조합을 말한다.
학습에 의해 얻어진 세그멘테이션 모델(M)의 미리 학습된 파라미터는, 스토리지(93)에 기억되어 있다. 미리 학습된 파라미터는, 예를 들면, 뉴럴 네트워크(140)의 층수, 각 층에서의 뉴런의 개수, 뉴런끼리의 결합 관계, 각 뉴런 사이의 결합의 중량, 및 각 뉴런의 임계값을 포함한다.
세그멘테이션 모델(M)의 뉴럴 네트워크(140)의 구성으로서는, 화상 세그멘테이션에 일반적으로 사용되는 DNN 구성이 사용된다. 세그멘테이션 모델(M)은, 기존의 미리 학습된 세그멘테이션 모델에, 상기한 학습용 데이터 세트를 사용하여 전이(轉移) 학습한 것이라도 된다. 그리고, 다른 실시형태에 관한 세그멘테이션 모델(M)은, 교사없이 학습 또는 강화 학습에 의해 훈련된 것이라도 된다.
3차원 데이터 생성부(1703)는, 영역 특정부(1702)가 특정한 베슬(210)이 촬상되는 영역에 기초하여, 스테레오 화상의 우측에서 본 화상 및 좌측에서 본 화상의 각각으로부터, 상기 영역에 관한 화소로 구성되는 부분 우측에서 본 화상 및 부분 좌측에서 본 화상을 추출한다. 그리고, 3차원 데이터 생성부(1703)는, 베슬(210)에 분류된 영역만이 아니고, 베슬(210)에 분류된 영역의 근방도 포함하는 영역으로부터, 부분 우측에서 본 화상 및 부분 좌측에서 본 화상을 추출해도 된다. 예를 들면, 3차원 데이터 생성부(1703)는, 베슬(210)에 분류된 영역에 외접(外接)하는 직사각형을 상하 좌우로 소정 화소수만큼 확장한 영역을, 부분 우측에서 본 화상 및 부분 좌측에서 본 화위상으로서 추출해도 된다. 그리고, 베슬(210)에 분류된 영역의 근방도 포함하는 영역을 추출함으로써, 세그멘테이션의 에러에 의해 베슬의 일부가 다른 물체로 분류된 경우에도 베슬(210)이 촬상되는 영역의 결락(缺落)을 방지할 수 있다.
3차원 데이터 생성부(1703)는, 부분 우측에서 본 화상 및 부분 좌측에서 본 화상과, 스토리지(93)에 기억된 카메라 파라미터 CP와, 데이터 취득부(1701)가 취득한 선회체(120)의 위치, 방위, 및 경사에 기초하여, 베슬(210)이 촬상되는 영역의 현장 좌표계에서의 위치를 나타내는 점군(点群) 데이터를 생성한다. 구체적으로는, 3차원 데이터 생성부(1703)는, 이하의 방법으로 점군 데이터를 생성한다. 먼저, 3차원 데이터 생성부(1703)는, 부분 우측에서 본 화상과, 부분 좌측에서 본 화상과, 카메라 파라미터 CP에 기초한 삼각 측량에 의해, 차체 좌표계에 관한 점군 데이터를 생성한다. 다음에, 3차원 데이터 생성부(1703)는, 선회체(120)의 위치, 방위, 및 경사에 기초하여, 차체 좌표계에서의 각 점의 위치를, 현장 좌표계에서의 각 점의 위치로 변환한다. 점군 데이터는, 촬상 화상의 피사체의 3차원 형상을 나타내는 3차원 데이터의 일례이다. 다른 실시형태에 있어서는, 3차원 데이터로서, 심도(深度) 화상, 다각형, CAD 모델 등을 사용해도 된다.
하역 대상 특정부(1704)는, 3차원 데이터 생성부(1703)가 생성한 점군 데이터의 각 점에 대하여, 3차원 특징량(3D 점군 특징량)을 특정한다. 3차원 특징량의 예로서는, 법선 특징, SHOT(Signature of Histograms of OrienTations) 특징, PFH(Point Feature Histograms) 특징 등을 들 수 있다. 예를 들면, 점군에 포함되는 있는 점(주목점)의 법선 특징은, 주목점의 주위의 점군의 공분산(公紛散) 행렬의 최소 고유값에 관한 고유 벡터를 구함으로써, 얻을 수 있다. 하역 대상 특정부(1704)는, 특징량에 기초하여, 점군 데이터를 베슬(210)의 면마다 그룹 분류한다. 구체적으로는, 하역 대상 특정부(1704)는, 특징량에 기초하여, 점군 데이터를, 프론트 패널에 상당하는 그룹, 사이드 게이트에 상당하는 그룹, 테일 게이트에 상당하는 그룹, 및 바닥면에 상당하는 그룹으로 나눈다. 그리고, 여기서 예로 든 점군 데이터의 분류하는 방법은 일례이며, 상기한 4개 이외의 그룹으로 나누어도 된다. 예를 들면, 다른 실시형태에 있어서는, 하역 대상에 은폐되어 있을 가능성이 높으므로, 하역 대상 특정부(1704)는, 바닥면에 상당하는 그룹으로의 그룹 분류를 행하지 않아도 된다. 하역 대상 특정부(1704)는, 베슬면 특정부의 일례이다.
모델 피팅부(1705)는, 면마다 그룹 분류된 점군 데이터의 위치에 기초하여, 현장 좌표계로 표현되는 가상(假想) 공간에 대상 모델(D)을 배치함으로써, 베슬(210)의 현장 좌표계에서의 위치, 방위, 및 경사를 특정한다. 예를 들면, 모델 피팅부(1705)는, 점군 데이터의 그룹의 대표적인 법선 특징과, 베슬(210)의 각 면의 법선 특징이 소정의 오차 범위 내에서 일치하도록, 대상 모델(D)을 배치한다. 그리고, 다른 실시형태에 관한 모델 피팅부(1705)는, 차체 좌표계 또는 카메라 좌표계에서의 각 면의 위치를 특정해도 된다. 모델 피팅부(1705)는, 자세 특정부의 일례이다.
작업기 위치 특정부(1706)는, 데이터 취득부(1701)가 취득한 작업기(110)의 각도와 선회체(120)의 위치, 방위, 및 경사에 기초하여, 현장 좌표계에서의 붐(111), 암(112), 및 버킷(113)의 위치를 특정한다.
가이던스 정보 생성부(1707)는, 모델 피팅부(1705)가 특정한 베슬(210)의 위치와, 작업기 위치 특정부(1706)가 특정한 붐(111), 암(112), 및 버킷(113)의 위치와, 데이터 취득부(1701)가 취득한 선회체(120)의 위치, 방위, 및 경사에 기초하여, 베슬(210)과 버킷(113)의 위치 관계를 나타내는 가이던스 정보를 생성한다.
도 6은, 가이던스 정보의 일례이다. 가이던스 정보 생성부(1707)는, 예를 들면, 도 6에 나타낸 바와 같이, 작업기 위치 특정부(1706)가 특정한 붐(111), 암(112), 및 버킷(113)의 위치와, 선회체(120)의 위치, 방위, 및 경사에 기초하여, 가상 공간 상에 유압 셔블(100)의 3차원 모델을 배치한다. 또한, 가이던스 정보 생성부(1707)는, 덤프 트럭(200)의 3차원 모델의 3차원 특징량과, 모델 피팅부(1705)가 특정한 베슬(210)의 3차원 특징량과의 차이가 최소로 되도록, 유압 셔블(100)의 3차원 모델을 배치한다. 가이던스 정보 생성부(1707)는, 가상 공간 상에 배치된 유압 셔블(100) 및 덤프 트럭(200)을 임의의 시점(視点)으로부터 렌더링함으로써, 유압 셔블(100)의 버킷(113)과 덤프 트럭(200)의 베슬(210)과의 위치 관계를 나타내는 가이던스 정보를 생성한다.
그리고, 다른 실시형태에 관한 가이던스 정보는, 버킷(113)과 베슬(210)과의 위치 관계를 그래피컬(graphical)로 묘사하는 것이 아니라도 된다. 예를 들면, 다른 실시형태에 관한 가이던스 정보는, 위쪽으로부터의 평면에서 볼 때 버킷(113)이 베슬(210)의 외측 프레임 내에 위치할 것인지의 여부를 나타내는 정보라도 된다. 또한, 다른 실시형태에 관한 가이던스 정보는, 버킷(113)의 목표하는 굴삭(掘削; excavation) 위치의 표시, 또는 버킷(113)의 굴삭 위치에 대한 가이던스 정보[예를 들면, 현 상태의 버킷(113)의 위치와 목표하는 굴삭 위치와의 차분을 나타내는 정보, 또는 표시]라도 된다. 또한, 목표하는 굴삭 위치까지 어느 정도의 조작이 필요한지를 나타내는 정보, 또는 표시라도 된다. 또한, 적어도 베슬(210)과 버킷(113)만을 표시하는 것이라도 된다.
표시 제어부(1708)는, 가이던스 정보를 표시하는 표시 신호를 표시 장치(128)에 출력한다.
학습부(1709)는, 세그멘테이션 모델(M)의 학습 처리를 행한다. 그리고, 학습부(1709)는, 제어 장치(127)와 별개의 장치에 설치되어도 된다. 이 경우, 별개의 장치에 있어서 학습된 미리 학습된 모델이, 스토리지(93)에 기록되게 된다.
<<표시 방법>>
도 7은, 제1 실시형태에 관한 제어 장치에 의한 가이던스 정보의 표시 방법을 나타낸 플로우차트이다.
먼저, 데이터 취득부(1701)는, 인터페이스(94)를 통해 작업기 위치 검출기(122)로부터 작업기(110)의 각도를 취득하고, 위치 방위 연산기(123)로부터, 선회체(120)의 위치 및 방위를 취득하고, 경사 검출기(124)로부터 선회체(120)의 경사를 취득하고, 스테레오 카메라(125)로부터 스테레오 화상을 취득한다(스텝 S1). 그리고, 다른 실시형태에 있어서는, 데이터 취득부(1701)는, 작업기(110)의 각도, 선회체(120)의 위치, 방위 및 경사를 취득하지 않아도 된다. 다음에, 영역 특정부(1702)는, 데이터 취득부(1701)가 취득한 스테레오 화상의 우측에서 본 화상을, 스토리지(93)에 기억된 세그멘테이션 모델(M)에 입력함으로써, 비친 물체마다의 복수의 영역으로 분할된 세그멘트 화상을 얻는다(스텝 S2). 그리고, 다른 실시형태에 있어서는, 영역 특정부(1702)는, 좌측에서 본 화상으로부터 세그멘트 화상을 얻어도 된다. 영역 특정부(1702)는, 세그멘트 화상에 기초하여, 데이터 취득부(1701)가 취득한 스테레오 화상에 있어서, 베슬이 촬상되는 영역을 특정한다(스텝 S3).
3차원 데이터 생성부(1703)는, 스테레오 화상의 우측에서 본 화상 및 좌측에서 본 화상의 각각으로부터, 스텝 S3에서 특정한 베슬(210)이 촬상되는 영역에 관한 부분 우측에서 본 화상 및 부분 좌측에서 본 화상을 추출한다(스텝 S4). 3차원 데이터 생성부(1703)는, 부분 우측에서 본 화상 및 부분 좌측에서 본 화상과, 카메라 파라미터 CP에 기초한 삼각 측량에 의해, 차체 좌표계에 관한 점군 데이터를 생성한다(스텝 S5). 다음에, 3차원 데이터 생성부(1703)는, 스텝 S1에서 취득한 선회체(120)의 위치, 방위 및 경사에 기초하여, 점군 데이터의 차체 좌표계에서의 각 점의 위치를, 현장 좌표계에서의 각 점의 위치로 변환한다(스텝 S6). 즉, 3차원 데이터 생성부(1703)는, 스텝 S1에서 취득한 선회체(120)의 위치에 기초하여 점군 데이터를 평행 이동하고, 방위 및 경사에 기초하여 점군 데이터를 회전시킨다. 그리고, 차체 좌표계로부터 현장 좌표계에 대한 좌표 변환은, 후술하는 스텝 S7 후에, 또는 스텝 S8 후에 행해져도 된다.
하역 대상 특정부(1704)는, 스텝 S6에서 얻어진 점군 데이터의 각 점에 대하여, 3차원 특징량을 특정하고, 3차원 특징량에 기초하여 점군 데이터를 베슬(210)의 면마다 그룹 분류한다(스텝 S7). 이로써, 하역 대상 특정부(1704)는, 점군 데이터로부터 베슬(210)의 각 면을 특정할 수 있다.
모델 피팅부(1705)는, 각 그룹에 관한 점군 데이터의 3차원 특징량과, 스토리지(93)에 기억된 대상 모델(D)의 3차원 특징량과의 차이가 최소로 되도록, 현장 좌표계로 표현되는 가상 공간에 대상 모델(D)을 배치함으로써, 베슬(210)의 현장 좌표계에서의 위치, 방위, 및 경사를 특정한다(스텝 S8). 모델 피팅부(1705)가, 점군 데이터에 기초하여 대상 모델(D)을 가상 공간에 배치함으로써, 스테레오 화상에 있어서 베슬(210)의 일부 등이 장애물에 의해 은폐되어 있는 경우에도, 베슬(210)의 은폐된 부분을 추정할 수 있어, 베슬(210)의 인식 정밀도를 향상시킬 수 있다. 그리고, 다른 실시형태에 있어서는, 모델 피팅부(1705)는, 스텝 S7에서 그룹 분류한 어떤 면, 또는 어떤 면의 특정한 점과, 대상 모델(D)의 대응하는 면, 또는 특정한 점을 피팅함으로써, 현장 좌표계에 대상 모델(D)을 배치해도 된다. 그리고, 제어 장치(127)는, 대상 모델(D)의 피팅을 행하지 않고도, 스텝 S7에서 특정한 각 면으로부터 베슬(210)의 위치, 방위, 및 경사를 특정할 수 있다. 예를 들면, 제어 장치(127)는, 특정된 복수의 면의 중심 즉 무게의 중심(重心) 위치 등으로부터 베슬(210)의 위치를 특정하고, 프론트 패널 또는 테일 게이트에 상당하는 면의 법선 방향으로부터 베슬의 방위를 특정하고, 또한, 베슬(210)의 바닥면의 법선 방향으로부터 베슬의 경사를 특정할 수 있다. 다른 한편, 점군 데이터에서의 각 면이 반드시 정확하게 추출할 수 있다고는 할 수 없기 때문에, 제어 장치(127)는, 대상 모델(D)의 피팅을 행함으로써, 베슬(210)의 위치, 방위, 및 경사의 특정에 있어서, 더욱 견고성을 향상시킬 수 있다.
작업기 위치 특정부(1706)는, 데이터 취득부(1701)가 취득한 작업기(110)의 각도와 선회체(120)의 위치, 방위, 및 경사에 기초하여, 현장 좌표계에서의 붐(111), 암(112), 및 버킷(113)의 위치를 특정한다(스텝 S9).
가이던스 정보 생성부(1707)는, 스텝 S8에서 특정한 베슬(210)의 위치, 방위, 및 경사와, 스텝 S9에서 특정한 붐(111), 암(112), 및 버킷(113)의 위치와, 스텝 S1에서 취득한 선회체(120)의 위치, 방위, 및 경사에 기초하여, 도 6에 나타낸 가이던스 정보를 생성한다(스텝 S10). 표시 제어부(1708)는, 가이던스 정보를 표시하는 표시 신호를 표시 장치(128)에 출력한다(스텝 S11).
<<학습 방법>>
도 8은, 제1 실시형태에 관한 세그멘테이션 모델의 학습 방법을 나타낸 플로우차트이다. 데이터 취득부(1701)는, 학습 데이터를 취득한다(스텝 S101). 예를 들면, 세그멘테이션 모델(M)에서의 학습 데이터는, 적재장에서 촬상된 화상, 또는 3DCG나 CAD 데이터로부터 생성된 화상이다. 세그멘테이션 모델(M)의 학습에 사용하는 복수의 학습 데이터는, 적어도 베슬(210)이 촬상되는 화상을 포함한다. 학습 데이터는, 스테레오 카메라(125)가 촬상하는 화상으로부터 취득해도 된다. 또한, 다른 작업 기계가 촬상한 화상으로부터 취득해도 된다.
다음에, 학습부(1709)는, 세그멘테이션 모델(M)의 학습을 행한다. 학습부(1709)는, 스텝 S101에서 취득한 학습 데이터와, 학습 데이터에 관한 화상에 촬상되는 물체에 대응하는 복수의 영역으로 분할한 세그멘트 화상인 교사 데이터와의 조합을 학습용 데이터 세트로 하여, 세그멘테이션 모델(M)의 학습을 행한다(스텝 S102). 예를 들면, 학습부(1709)는, 학습 데이터를 입력으로서 사용하여, 뉴럴 네트워크(140)의 순전파(順傳播) 방향의 연산 처리를 행한다. 이로써, 학습부(1709)는, 뉴럴 네트워크(140)의 출력층(143)으로부터 출력되는 출력값을 얻는다. 그리고, 학습용 데이터 세트는, 메인 메모리(92), 또는 스토리지(93)에 기억해도 된다. 다음에, 학습부(1709)는, 출력층(143)으로부터의 출력값과, 교사 데이터와의 오차를 산출한다. 학습부(1709)는, 산출한 출력값의 오차에 기초하여, 각 뉴런 사이의 결합의 중량을 갱신한다.
학습부(1709)는, 학습용 데이터 세트 중 세그멘테이션 모델(M)의 학습에 사용하지 않았던 것을 평가 데이터 세트로 하여, 평가 데이터 세트에 관한 학습 데이터를 세그멘테이션 모델(M)에 입력하고, 세그멘테이션 모델(M)로부터의 출력값이, 평가 데이터 세트에 관한 교사 데이터와 일치하는지의 여부를 판정한다(스텝 S103). 그리고, 출력값과, 교사 데이터가 상이한 화소의 수가 소정수 이내이면, 일치하는 것으로 판정해도 된다. 세그멘테이션 모델(M)로부터의 출력값이, 교사 데이터와 일치하지 않을 경우(스텝 S103: NO), 세그멘테이션 모델(M)로부터의 출력값이, 교사 데이터와 일치할 때까지, 상기한 처리를 반복한다. 이로써, 세그멘테이션 모델(M)의 파라미터가 최적화되어, 세그멘테이션 모델(M)을 학습시킬 수 있다.
세그멘테이션 모델(M)로부터의 출력값이, 교사 데이터와 일치할 경우(스텝 S103: YES), 학습부(1709)는, 학습에 의해 최적화된 파라미터를 포함하는 미리 학습된 모델인 세그멘테이션 모델(M)을, 스토리지(93)에 기록한다(스텝 S104).
<<작용·효과>>
이와 같이, 제1 실시형태에 의하면, 제어 장치(127)는, 운반물(L)의 하역 대상인 베슬(210)이 촬상되는 촬상 화상으로부터, 베슬(210)이 촬상되는 영역을 특정하고, 상기 영역에 기초하여 베슬(210)의 위치를 특정한다. 이와 같이, 제1 실시형태에 관한 제어 장치(127)는, 하역 대상의 위치를, 화상에 포함되는 에지에 의하지 않고 특정할 수 있다. 이로써, 제1 실시형태에 관한 제어 장치(127)는, 하역 대상의 변형 등에 의해 에지를 검출하기 어려운 경우에도, 운반물(L)의 하역 대상의 위치를 특정하는 처리의 견고성을 향상시킬 수 있다. 또한, 베슬(210)에 운반물(L)이 적재되면, 베슬(210) 전체로서의 표면 형상이 변화되지만, 베슬(210)이 촬상되는 영역을 특정함으로써, 운반물(L)과 베슬(210)을 식별할 수 있으므로, 인식의 견고성을 향상시킬 수 있다. 그리고, 실시형태에 따라서는, 도 7에 나타낸 제어 장치(127)에 의한 처리 중, 스텝 S2 내지 스텝 S6, 스텝 S8 내지 S11의 처리가 실시되지 않아도 된다.
또한, 제1 실시형태에 관한 제어 장치(127)는, 가이던스 정보를 표시한다. 이로써, 유압 셔블(100)과 덤프 트럭(200)과의 상대 위치에 따라서 오퍼레이터가 베슬(210)을 육안 관찰하기 어려운 경우라도, 제어 장치(127)는, 오퍼레이터에게 하역 대상을 인식시킬 수 있다. 또한, 가이던스 정보로서 표시되는 베슬(210)을 기준으로 작업기(110)를 조작함으로써, 작업 효율을 높일 수 있다.
또한, 제1 실시형태에 의하면, 제어 장치(127)는, 세그멘테이션 모델(M)과 촬상 화상에 기초하여, 촬상 화상에 있어서 상기 하역 대상이 촬상되는 영역을 특정한다. 기계 학습에 관한 미리 학습된 모델에 의해, 화상에 포함되는 물체의 분리인 세그멘테이션을 양호한 정밀도로 실현할 수 있는 것이 알려져 있다. 그러므로, 제1 실시형태에 의하면, 제어 장치(127)는, 세그멘테이션 모델(M)을 사용하여 베슬(210)을 인식함으로써, 양호한 정밀도로 베슬(210)의 소정의 부분의 위치를 특정할 수 있다. 그리고, 다른 실시형태에 있어서는, 이에 한정되지 않고, 제어 장치(127)는, 기계 학습 기술 이외의 방법에 의해 화상에 촬상되는 물체의 분리를 행해도 된다.
또한, 제1 실시형태에 의하면, 제어 장치(127)는, 특정한 영역에 관한 부분 우측에서 본 화상 및 부분 좌측에서 본 화상을 사용하여 점군 데이터를 생성한다. 이로써, 스테레오 화상의 모든 화소를 사용하여 점군 데이터를 생성하는 경우와 비교하여, 계산량을 감소시킬 수 있다. 또한, 세그멘테이션에 의해 특정한 영역 이외의 불필요한 영역[예를 들면, 운반물(L), 작업기(110), 지면 등의 영역]이 생략되므로, 하역 대상 특정부(1704)는, 스테레오 화상에 의한 점군 데이터의 그룹에 있어서 노이즈가 혼입될 가능성을 저감할 수 있다. 그리고, 다른 실시형태에 관한 제어 장치(127)는, 스테레오 화상의 모든 화소를 사용하여 점군 데이터를 생성하고, 상기 점군 데이터로부터 특정한 영역에 관한 부분을 추출해도 된다.
또한, 다른 실시형태에 있어서는, 스테레오 화상 대신에, 레이저 스캐너가 생성한 거리 화상을 사용하여, 3차원 데이터를 생성해도 된다.
또한, 제1 실시형태에 관한 제어 장치(127)는, 촬상 화상으로부터, 점군 데이터를 생성하고, 선회체(120)의 위치, 방위 및 경사에 기초하여, 점군 데이터를 현장 좌표계에 배치한다. 이로써, 유압 셔블(100)의 동작에 의해 스테레오 카메라(125)의 위치, 방위, 및 경사가 변경되는 경우에도, 현장 좌표계에서의 베슬(210)의 위치, 방위, 및 경사를 특정할 수 있다. 그리고, 다른 실시형태에 있어서는, 스테레오 카메라(125)가 시공 현장에 고정 설치된 것인 경우, 선회체(120)의 위치, 방위 및 경사를 얻을 수 없어, 점군 데이터를 현장 좌표계에 배치해도 된다.
<제2 실시형태>
이하, 도면을 참조하면서 제2 실시형태에 대하여 설명한다. 제1 실시형태에 관한 제어 장치(127)는, 특정한 베슬(210)의 위치, 방위, 및 경사에 기초하여 가이던스 정보를 생성하고, 이것을 오퍼레이터에게 제시한다. 이에 대하여, 제2 실시형태에 관한 제어 장치(127)는, 특정한 베슬(210)의 위치, 방위, 및 경사에 기초하여 작업기의 적재 작업을 제어한다.
<<제어 장치의 구성>>
도 9는, 제2 실시형태에 관한 제어 장치의 구성을 나타낸 개략 블록도이다.
제2 실시형태에 관한 프로세서(91)는, 제1 실시형태에 관한 가이던스 정보 생성부(1707) 및 표시 제어부(1708) 대신에, 작업 기계 제어부(1711)를 구비한다.
작업 기계 제어부(1711)는, 오퍼레이터에 의해, 조작 장치(126)에 설치된 자동 적재 버튼의 누름(pressing)이 행해진 경우에, 모델 피팅부(1705)가 특정한 베슬(210)의 위치, 방위, 및 경사에 기초하여, 선회체(120) 및 작업기(110)의 거동(擧動)을 제어한다.
<<유압 셔블의 제어 방법>>
도 10은, 제2 실시형태에 관한 유압 셔블의 제어 방법을 나타낸 플로우차트이다.
자동 적재 버튼이 눌러지면, 제어 장치(127)는, 제1 실시형태의 스텝 S1로부터 스텝 S9까지와 마찬가지의 처리에 의해, 베슬(210) 및 작업기(110)의 현장 좌표계에서의 위치를 특정한다. 그리고, 작업 기계 제어부(1711)는, 베슬(210) 및 작업기(110)의 현장 좌표계에서의 위치에 기초하여, 선회체(120) 및 작업기(110)의 제어 신호를 생성하고, 출력한다(스텝 S31).
예를 들면, 작업 기계 제어부(1711)는, 버킷(113)의 높이가 베슬(210)의 높이보다 낮은 경우, 붐(111)을 올리는 제어 신호를 생성한다. 작업 기계 제어부(1711)는, 버킷(113)의 높이가 베슬(210)의 높이 이상으로 되었을 경우, 붐(111)을 올리는 제어 신호의 출력을 정지하고, 선회체(120)를 선회시키는 제어 신호의 출력을 개시한다. 작업 기계 제어부(1711)는, 버킷(113)의 높이가 베슬(210)의 높이 이상이며, 또한, 버킷(113)의 위쪽으로부터 평면에서 보았을 때의 위치가, 베슬(210)의 위치로부터 특정되는 베슬(210)의 범위 내에 위치하는 경우, 선회체(120)를 선회시키는 제어 신호의 출력을 정지하고, 버킷(113)을 덤프시키는 제어 신호를 생성한다.
<<작용·효과>>
이와 같이, 제2 실시형태에 의하면, 제어 장치(127)는, 촬상 화상에 기초하여 유압 셔블(100)을 자동 제어할 수 있다.
<제3 실시형태>
이하, 도면을 참조하면서 제3 실시형태에 대하여 설명한다. 제3 실시형태에 관한 제어 장치(127)는, 베슬(210)에서의 운반물(L)의 양의 분포를 나타내는 베슬 맵을 표시 장치(128)에 표시시킨다. 이로써, 제어 장치(127)는, 오퍼레이터에게, 베슬(210)에 양호한 밸런스로 운반물(L)을 적재하기 위한 운반물(L)의 하역 위치를 인식시킨다.
도 11은, 제3 실시형태에 관한 제어 장치의 구성을 나타낸 개략 블록도이다.
제3 실시형태에 관한 제어 장치(127)는, 제1 실시형태에 관한 작업기 위치 특정부(1706) 대신에, 분포 특정부(1721)를 구비한다. 또한, 제3 실시형태에 관한 영역 특정부(1702), 3차원 데이터 생성부(1703), 가이던스 정보 생성부(1707)는, 제1 실시형태와 처리가 상이하다.
영역 특정부(1702)는, 스테레오 화상에 있어서 베슬(210)이 촬상되는 영역에 더하여, 운반물(L)이 촬상되는 영역도 특정한다.
3차원 데이터 생성부(1703)는, 베슬(210)이 촬상되는 영역에 관한 3차원 데이터인 베슬 점군 데이터 및 운반물(L)이 촬상되는 영역에 관한 3차원 데이터인 운반물 점군 데이터를 생성한다. 그리고, 3차원 데이터 생성부(1703)는, 운반물(L)에 분류된 영역만이 아니고, 운반물(L)에 분류된 영역의 근방도 포함하는 영역으로부터, 운반물 점군 데이터를 생성해도 된다. 예를 들면, 3차원 데이터 생성부(1703)는, 운반물(L)에 분류된 영역에 외접하는 직사각형을 상하 좌우로 소정 화소수만큼 확장한 영역에 기초하여 운반물 점군 데이터를 생성해도 된다. 그리고, 운반물(L)에 분류된 영역의 근방도 포함하는 영역을 추출함으로써, 세그멘테이션의 에러에 의해 운반물(L)의 일부가 다른 물체로 분류된 경우에도 운반물(L)이 촬상되는 영역의 결락을 방지할 수 있다.
분포 특정부(1721)는, 모델 피팅부(1705)가 특정한 베슬(210)의 바닥면의 3차원 위치와, 3차원 데이터 생성부(1703)가 생성한 운반물 점군 데이터에 기초하여, 베슬(210)에서의 운반물(L)의 양의 분포를 나타내는 베슬 맵을 생성한다. 베슬 맵은, 예를 들면, 베슬(210)의 바닥면을 기준으로 한 운반물(L)의 엘리베이션 맵이다.
가이던스 정보 생성부(1707)는, 분포 특정부(1721)가 생성한 베슬 맵으로부터 가이던스 정보를 생성한다.
도 12는, 제3 실시형태에 관한 가이던스 정보의 일례이다. 가이던스 정보 생성부(1707)는, 예를 들면, 도 12에 나타낸 바와 같이, 베슬(210)의 바닥면으로부터 운반물(L)의 표면까지의 높이의 분포를 나타내는 2차원의 히트 맵(heat map)을 표시하는 가이던스 정보를 생성한다. 도 12에 나타낸 히트 맵에서의 세로 및 가로의 분할의 입도(粒度)는 일례이며, 다른 실시형태에서는 이에 한정되지 않는다. 그리고, 다른 실시형태에 관한 히트 맵은, 예를 들면, 베슬(210)의 적재 상한에 관한 높이에 대한 운반물(L)의 높이의 비율을 나타내는 것이라도 된다.
<<표시 방법>>
도 13은, 제3 실시형태에 관한 제어 장치에 의한 가이던스 정보의 표시 방법을 나타낸 플로우차트이다.
먼저, 데이터 취득부(1701)는, 인터페이스(94)를 통해 위치 방위 연산기(123)로부터 선회체(120)의 위치 및 방위를 취득하고, 경사 검출기(124)로부터 선회체(120)의 경사를 취득하고, 스테레오 카메라(125)로부터 스테레오 화상을 취득한다(스텝 S51). 그리고, 다른 실시형태에 있어서는, 데이터 취득부(1701)는, 작업기(110)의 각도, 선회체(120)의 위치, 방위 및 경사를 취득하지 않아도 된다. 다음에, 영역 특정부(1702)는, 데이터 취득부(1701)가 취득한 스테레오 화상을, 스토리지(93)에 기억된 세그멘테이션 모델(M)에 입력함으로써, 비친 물체마다의 복수의 영역으로 분할된 세그멘트 화상을 얻는다(스텝 S52). 영역 특정부(1702)는, 세그멘트 화상에 기초하여, 데이터 취득부(1701)가 취득한 스테레오 화상에 있어서, 베슬(210)이 촬상되는 영역 및 운반물(L)이 촬상되는 영역을 특정한다(스텝 S53).
3차원 데이터 생성부(1703)는, 스테레오 화상의 우측에서 본 화상 및 좌측에서 본 화상의 각각으로부터, 스텝 S3에서 특정한 베슬(210)이 촬상되는 영역에 관한 부분 우측에서 본 화상 및 부분 좌측에서 본 화상, 및 운반물(L)이 촬상되는 영역에 관한 부분 우측에서 본 화상 및 부분 좌측에서 본 화상을 추출한다(스텝 S54). 3차원 데이터 생성부(1703)는, 베슬(210)이 촬상되는 영역에 관한 부분 우측에서 본 화상 및 부분 좌측에서 본 화상과, 카메라 파라미터 CP에 기초한 삼각 측량에 의해, 차체 좌표계에 관한 베슬 점군 데이터를 생성한다. 또한, 3차원 데이터 생성부(1703)는, 운반물(L)이 촬상되는 영역에 관한 부분 우측에서 본 화상 및 부분 좌측에서 본 화상과, 카메라 파라미터 CP에 기초한 삼각 측량에 의해, 차체 좌표계에 관한 운반물 점군 데이터를 생성한다(스텝 S55). 3차원 데이터 생성부(1703)는, 선회체(120)의 위치, 방위, 및 경사에 기초하여, 베슬 점군 데이터 및 운반물 점군 데이터의 차체 좌표계에서의 각 점의 위치를, 현장 좌표계에서의 각 점의 위치로 변환한다(스텝 S56).
하역 대상 특정부(1704)는, 스텝 S56)에 의해 얻어진 베슬 점군 데이터의 각 점에 대하여, 3차원 특징량을 특정하고, 3차원 특징량에 기초하여 베슬 점군 데이터를 베슬(210)의 면마다 그룹 분류한다(스텝 S57). 모델 피팅부(1705)는, 각 그룹에 관한 베슬 점군 데이터의 3차원 특징량과, 스토리지(93)에 기억된 대상 모델(D)의 3차원 특징량과의 차이가 최소로 되도록, 현장 좌표계로 표현되는 가상 공간에 대상 모델(D)을 배치함으로써, 베슬(210)의 현장 좌표계에서의 위치, 방위, 및 경사를 특정한다(스텝 S58).
분포 특정부(1721)는, 스텝 S55에서 생성한 운반물 점군 데이터와, 스텝 S58에서 배치한 대상 모델(D)에 기초하여, 베슬(210)의 바닥면을 기준 높이로 하고, 연직(沿直) 상방향에 관한 높이를 나타내는 엘리베이션 맵인 베슬 맵을 생성한다(스텝 S59). 베슬 맵은, 높이 데이터를 가지고 있지 않은 그리드를 포함할 수 있다. 그리고, 스텝 S5에서 점군 데이터가 베슬 좌표계로 변환되어 있는 경우, 분포 특정부(1721)는, XY 평면을 기준 높이로 하고, Z축 방향을 높이 방향으로 하는 엘리베이션 맵을 구함으로써 베슬 맵을 생성할 수 있다.
가이던스 정보 생성부(1707)는, 베슬 맵에 기초하여, 도 12에 나타낸 가이던스 정보를 생성한다(스텝 S60). 표시 제어부(1708)는, 가이던스 정보를 표시하는 표시 신호를 표시 장치(128)에 출력한다(스텝 S61).
<<작용·효과>>
이와 같이, 제3 실시형태에 의하면, 제어 장치(127)는, 촬상 화상에 기초하여, 운반물(L)의 표면 및 베슬(210)의 바닥면의 3차원 위치를 특정하고, 이들에 기초하여 베슬(210)에서의 운반물(L)의 양의 분포를 나타내는 베슬 맵을 생성한다. 이로써, 제어 장치(127)는, 베슬(210)에서의 운반물(L)의 분포를 특정할 수 있다. 오퍼레이터는, 베슬(210)에서의 운반물(L)의 분포를 인식함으로써, 베슬(210)에 양호한 밸런스로 운반물(L)을 적재하기 위한 운반물(L)의 하역 위치를 인식할 수 있다.
그리고, 제3 실시형태에 있어서는, 제어 장치(127)는, 베슬 맵에 기초하여 가이던스 정보를 생성하지만, 이에 한정되지 않는다. 예를 들면, 다른 실시형태에 있어서는, 제어 장치(127)는, 베슬 맵에 기초하여 제2 실시형태와 같이 유압 셔블(100)을 제어해도 된다. 예를 들면, 작업 기계 제어부(1711)는, 버킷(113)의 높이가 베슬(210)의 높이 또는 베슬 맵에서의 운반물(L)의 분포의 피크의 높이보다 낮을 경우, 붐(111)을 올리는 제어 신호를 생성한다. 작업 기계 제어부(1711)는, 버킷(113)의 높이가 베슬(210)의 높이 및 베슬 맵에서의 운반물(L)의 분포의 피크의 높이 이상으로 되었을 경우, 붐(111)을 올리는 제어 신호의 출력을 정지하고, 선회체(120)를 선회시키는 제어 신호의 출력을 개시한다. 작업 기계 제어부(1711)는, 버킷(113)의 높이가 베슬(210)의 높이 및 베슬 맵에서의 운반물(L)의 분포의 피크의 높이 이상이며, 또한, 버킷(113)의 위쪽으로부터 평면에서 보았을 때의 위치가, 베슬(210)의 위치로부터 특정되는 베슬(210)의 범위 내에 위치하는 경우, 선회체(120)를 선회시키는 제어 신호의 출력을 정지하고, 버킷(113)을 덤프시키는 제어 신호를 생성한다.
<제4 실시형태>
제3 실시형태에 관한 제어 장치(127)는, 베슬 점군 데이터에 대상 모델(D)을 매칭시킴으로써 베슬(210)의 바닥면의 3차원 위치를 특정한다. 이에 대하여, 제4 실시형태에 관한 제어 장치(127)는, 대상 모델(D)을 이용하지 않고 베슬(210)의 바닥면의 3차원 위치를 특정한다. 즉, 제4 실시형태에 관한 제어 장치(127)는, 스토리지(93)에 대상 모델(D)을 기억하지 않아도 된다.
제4 실시형태에 관한 모델 피팅부(1705)는, 베슬 점군 데이터에 기초하여, 천정면이 없는 직육면체 다각형을 상기 베슬 점군 데이터에 가장 매칭하도록 변형시킨다. 모델 피팅부(1705)는, 매칭한 직육면체 다각형의 바닥면의 위치를, 베슬(210)의 바닥면의 위치로서 특정한다.
이와 같이, 제4 실시형태에 의하면, 베슬(210)의 대상 모델(D)을 사용하지 않고, 베슬(210)의 바닥면의 위치를 특정할 수 있다. 또한, 제4 실시형태에 의하면, 베슬 점군 데이터에 노이즈가 포함되어 있었던 것으로 해도, 베슬(210)의 바닥면의 위치를 특정할 수 있다.
<제5 실시형태>
도 14는, 제5 실시형태에 관한 화상의 세그멘테이션의 예를 나타낸 도면이다.
제1 내지 제4 실시형태에 관한 세그멘테이션 모델(M)에 의해 생성되는 세그멘트 화상에서는, 베슬(210)이 촬상되는 영역을 1개의 세그멘트에 의해 나타내고 있다. 제5 실시형태에 관한 세그멘테이션 모델(M)은, 베슬(210)이 촬상되는 화상에 대하여, 도 14에 나타낸 바와 같이, 가드 프레임이 촬상되는 영역, 프론트 패널이 촬상되는 영역, 사이드 게이트가 촬상되는 영역, 및 테일 게이트가 촬상되는 영역으로 나누는 세그멘트 화상을 생성하도록 훈련된 것을 사용한다.
제5 실시형태에 관한 제어 장치(127)는, 제1 실시형태의 구성 중 하역 대상 특정부(1704)를 구비하지 않아도 된다. 다른 한편, 제5 실시형태에 관한 제어 장치(127)의 영역 특정부(1702), 3차원 데이터 생성부(1703), 및 모델 피팅부(1705)의 동작이 상이하다.
영역 특정부(1702)는, 데이터 취득부(1701)가 취득한 스테레오 화상의 우측에서 본 화상을, 스토리지(93)에 기억된 세그멘테이션 모델(M)에 입력함으로써, 우측에서 본 화상을, 기지의 복수의 물체에 대응하는 복수의 영역으로 분할한다. 이 때, 기지(旣知)의 복수의 물체는, 적어도 가드 프레임, 프론트 패널, 사이드 게이트, 및 테일 게이트를 포함한다.
3차원 데이터 생성부(1703)는, 스테레오 화상으로부터, 가드 프레임, 프론트 패널, 사이드 게이트, 및 테일 게이트의 각각의 영역에 관한 점군 데이터를 생성한다.
모델 피팅부(1705)는, 가드 프레임, 프론트 패널, 사이드 게이트, 및 테일 게이트의 각각의 점군 데이터의 위치에 기초하여, 현장 좌표계로 표현되는 가상 공간에 대상 모델(D)을 배치함으로써, 베슬(210)의 현장 좌표계에서의 위치, 방위, 및 경사를 특정한다.
<<표시 방법>>
도 15는, 제5 실시형태에 관한 제어 장치에 의한 가이던스 정보의 표시 방법을 나타낸 플로우차트이다.
먼저, 데이터 취득부(1701)는, 인터페이스(94)를 통해 작업기 위치 검출기(122)보다 작업기(110)의 각도를 취득하고, 위치 방위 연산기(123)로부터, 선회체(120)의 위치 및 방위를 취득하고, 경사 검출기(124)로부터 선회체(120)의 경사를 취득하고, 스테레오 카메라(125)로부터 스테레오 화상을 취득한다(스텝 S71). 그리고, 다른 실시형태에 있어서는, 데이터 취득부(1701)는, 작업기(110)의 각도, 선회체(120)의 위치, 방위 및 경사를 취득하지 않아도 된다. 다음에, 영역 특정부(1702)는, 데이터 취득부(1701)가 취득한 스테레오 화상을, 스토리지(93)에 기억된 세그멘테이션 모델(M)에 입력함으로써, 비친 물체마다의 복수의 영역으로 분할된 세그멘트 화상을 얻는다(스텝 S72). 영역 특정부(1702)는, 세그멘트 화상에 기초하여, 데이터 취득부(1701)가 취득한 스테레오 화상에 있어서, 베슬(210)의 면마다 영역을 특정한다(스텝 S73). 즉, 영역 특정부(1702)는, 가드 프레임이 촬상되는 영역, 프론트 패널이 촬상되는 영역, 사이드 게이트가 촬상되는 영역, 및 테일 게이트가 촬상되는 영역을 각각 특정한다.
3차원 데이터 생성부(1703)는, 스테레오 화상의 우측에서 본 화상 및 좌측에서 본 화상의 각각으로부터, 스텝 S73에서 특정한 각 면에 관한 부분 우측에서 본 화상 및 부분 좌측에서 본 화상을 추출한다(스텝 S74). 3차원 데이터 생성부(1703)는, 부분 우측에서 본 화상 및 부분 좌측에서 본 화상과, 카메라 파라미터 CP에 기초한 삼각 측량에 의해, 차체 좌표계에 관한 각 면의 점군 데이터를 생성한다(스텝 S75). 다음에, 3차원 데이터 생성부(1703)는, 선회체(120)의 위치, 방위, 및 경사에 기초하여, 각 면의 점군 데이터의 차체 좌표계에서의 각 점의 위치를, 현장 좌표계에서의 각 점의 위치로 변환한다(스텝 S76). 이 때, 점군 데이터는, 3차원 특징량을 특정하지 않고, 이미 면마다의 그룹으로 나눌 수 있다.
모델 피팅부(1705)는, 각 그룹에 관한 점군 데이터의 위치와, 스토리지(93)에 기억된 대상 모델(D)의 각 면의 위치와의 차이가 최소로 되도록, 현장 좌표계로 표현되는 가상 공간에 대상 모델(D)을 배치함으로써, 베슬(210)의 현장 좌표계에서의 위치, 방위, 및 경사를 특정한다(스텝 S77).
작업기 위치 특정부(1706)는, 데이터 취득부(1701)가 취득한 작업기(110)의 각도와 선회체(120)의 위치, 방위, 및 경사에 기초하여, 현장 좌표계에서의 붐(111), 암(112), 및 버킷(113)의 위치를 특정한다(스텝 S78).
가이던스 정보 생성부(1707)는, 스텝 S77에서 특정한 베슬(210)의 위치, 방위, 및 경사와, 스텝 S78에서 특정한 붐(111), 암(112), 및 버킷(113)의 위치와, 스텝 S71에서 취득한 선회체(120)의 위치, 방위, 및 경사에 기초하여, 가이던스 정보를 생성한다(스텝 S79). 표시 제어부(1708)는, 가이던스 정보를 표시하는 표시 신호를 표시 장치(128)에 출력한다(스텝 S80).
<<작용·효과>>
이와 같이, 제5 실시형태에 의하면, 제어 장치(127)는, 세그멘테이션 모델(M)이, 베슬(210)의 각 면을 상이한 영역으로 분할한다. 이로써, 제어 장치(127)는, 3차원 특징량을 산출하지 않고, 3차원 데이터와 3차원 모델의 매칭을 행할 수 있다.
<다른 실시형태>
이상, 도면을 참조하여 일 실시 형태에 대하여 상세하게 설명했으나, 구체적인 구성은 전술한 것에 한정되지 않고, 다양한 설계 변경 등을 할 수 있다.
예를 들면, 전술한 실시형태에 있어서는, 제어 장치(127)가 삼각 측량에 기초하여 스테레오 화상으로부터 3차원 데이터를 생성하지만, 이에 한정되지 않는다. 예를 들면, 다른 실시형태에 관한 제어 장치(127)는, 스테레오 화상을 입력함으로써 심도 화상을 출력하는 미리 학습된 모델을 사용하여 3차원 데이터를 생성해도 된다. 또 다른 실시형태에 있어서는, 세그멘테이션 모델(M)이, 스테레오 화상을 입력함으로써, 물체마다 영역으로 분할한 심도 화상을 출력하도록 학습된 것이라도 된다.
또한, 전술한 실시형태에 있어서는, 제어 장치(127)는, 베슬(210)의 위치, 방위 및 경사를 특정하지만, 다른 실시형태에 있어서는 이에 한정되지 않는다. 예를 들면, 다른 실시형태에 관한 제어 장치(127)는, 베슬(210)의 위치를 특정하고, 방위 및 경사를 특정하지 않는 것이라도 된다. 또한, 예를 들면, 다른 실시형태에 관한 제어 장치(127)는, 베슬(210)의 위치 및 방위를 특정하고, 경사를 특정하지 않는 것이라도 된다.
또한, 전술한 실시형태에 관한 제어 장치(127)는, 유압 셔블(100)에 탑재되지만, 이에 한정되지 않는다. 예를 들면, 다른 실시형태에 관한 제어 장치(127)는, 원격의 서버 장치에 설치되어도 된다. 또한, 제어 장치(127)는, 복수의 컴퓨터로부터 실현되는 것이라도 된다. 이 경우, 제어 장치(127)의 일부의 구성이 원격의 서버 장치에 설치되는 것이라도 된다. 즉, 제어 장치(127)는, 복수의 장치로 이루어지는 화상 처리 시스템으로서 실장되어도 된다. 또한, 유압 셔블(100)은, 완전 자율형, 일부 자율형의 유압 셔블이라도 된다. 또한, 가이던스 정보를 표시하는 표시 신호를, 작업 기계를 원격 조작하기 위한 원격 운전실에 송신하는 것이라도 된다.
또한, 전술한 실시형태에 관한 하역 대상은, 덤프 트럭(200)의 베슬(210)이지만, 이에 한정되지 않는다. 예를 들면, 다른 실시형태에 관한 하역 대상은, 호퍼 등의 다른 하역 대상이라도 된다.
또한, 전술한 실시형태에서 플로우차트를 사용하여 설명한 동작은, 전술한 순서로 실행되는 것에 한정되지 않는다. 예를 들면, 도 7에 나타낸 가이던스 정보의 표시 방법에서는, 스텝 S6에서 점군 데이터의 좌표계를 현장 좌표계로 변환한 후에, 스텝 S7에서의 면의 그룹 분류, 및 스텝 S8에서의 베슬의 자세 특정을 행하지만, 이에 한정되지 않는다. 예를 들면, 다른 실시형태에 있어서는, 스텝 S7에서의 면의 그룹 분류, 또는 스텝 S8에서의 베슬의 자세 특정한 후에 좌표 변환을 행해도 된다. 마찬가지로, 다른 동작에 대하여도, 적절히 처리의 순서를 교체할 수 있다.
또한, 전술한 실시형태에서는, 유압 셔블(100)의 제어 장치가 베슬(210)의 위치를 특정하지만, 이에 한정되지 않는다. 예를 들면, 다른 실시형태에 있어서는, 이동식 크레인 등의 다른 작업 기계의 제어 장치, 덤프 트럭, 휠 로더(wheel loader), 불도저(bulldozer) 등의 작업 기계의 제어 장치, 또는 현장에 구비된 감시 장치가, 베슬(210)의 위치를 특정해도 된다.
[산업 상의 이용 가능성]
본 발명의 개시에 의하면, 화상 처리 시스템은, 하역 대상을 특정하는 처리의 견고성을 향상시킬 수 있다.
100: 유압 셔블, 110: 작업기, 120: 선회체, 130: 주행체, 122: 작업기 위치 검출기, 123: 위치 방위 연산기, 124: 경사 검출기, 125: 스테레오 카메라, 127: 제어 장치, 128: 표시 장치, 1701: 데이터 취득부, 1702: 영역 특정부, 1703: 3차원 데이터 생성부, 1704: 하역 대상 특정부, 1705: 모델 피팅부, 1706: 작업기 위치 특정부, 1707: 가이던스 정보 생성부, 1708: 표시 제어부, 1709: 학습부

Claims (12)

  1. 작업 기계(work machine)의 베슬(vessel)이 촬상되는 촬상(撮像) 화상을 취득하는 데이터 취득부;
    상기 촬상 화상으로부터 상기 베슬을 포함하는 영역을 특정하는 영역 특정부; 및
    상기 영역 특정부에 의해 특정된 영역으로부터 상기 베슬 중 적어도 하나의 소정의 면을 특정하는 베슬면 특정부;
    를 포함하는, 화상 처리 시스템.
  2. 제1항에 있어서,
    상기 영역 특정부는, 입력 화상을 입력함으로써, 복수의 화소 각각의 값이 상기 화소에 대응하는 상기 입력 화상의 화소에 촬상되는 물체의 종류를 나타내는 값을 취하는 출력 화상을 출력하는 미리 학습된(prelearned) 모델인 세그멘테이션 모델(segmentation model)과, 상기 촬상 화상에 기초하여, 상기 베슬을 포함하는 영역을 특정하는, 화상 처리 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 특정한 면에 기초하여 상기 베슬의 위치를 특정하는 자세 특정부를 더 포함하는, 화상 처리 시스템.
  4. 제3항에 있어서,
    상기 자세 특정부는, 상기 특정한 면에 기초하여, 또한 상기 베슬의 방위 및 자세를 특정하는, 화상 처리 시스템.
  5. 제3항 또는 제4항에 있어서,
    상기 촬상 화상에 기초하여, 상기 촬상 화상의 피사체의 3차원 형상을 나타내는 3차원 데이터를 생성하는 3차원 데이터 생성부를 더 포함하고,
    상기 자세 특정부는, 상기 영역에 관한 3차원 데이터에서의 상기 적어도 하나의 소정의 면에 기초하여 상기 베슬의 위치를 특정하는, 화상 처리 시스템.
  6. 제5항에 있어서,
    상기 자세 특정부는, 상기 영역에 관한 3차원 데이터에서의 상기 적어도 하나의 소정의 면과, 상기 베슬의 형상을 나타내는 3차원 모델인 대상 모델에 기초하여, 상기 베슬의 위치를 특정하는, 화상 처리 시스템.
  7. 제3항 내지 제6항 중 어느 한 항에 있어서,
    상기 데이터 취득부는, 상기 촬상 화상을 촬상하는 촬상 장치의 촬상 자세를 취득하고,
    상기 자세 특정부는, 상기 영역과 상기 촬상 자세에 기초하여, 상기 베슬의 현장에서의 3차원 위치를 특정하는, 화상 처리 시스템.
  8. 제5항 또는 제6항에 있어서,
    상기 3차원 데이터 생성부는, 상기 촬상 화상에 기초하여, 상기 베슬에 적재(loading)된 운반물의 3차원 위치를 나타내는 운반물 3차원 데이터를 생성하고,
    상기 베슬에서의 상기 운반물 3차원 데이터와, 상기 베슬 중 적어도 일부의 3차원 위치에 기초하여, 상기 베슬에서의 운반물의 양의 분포를 나타내는 분포 정보를 생성하는 분포 특정부를 구비하는, 화상 처리 시스템.
  9. 작업 기계의 운반물의 베슬이 촬상되는 촬상 화상을 취득하는 단계;
    상기 촬상 화상 중 상기 베슬을 포함하는 영역을 특정하는 단계; 및
    상기 베슬을 포함하는 영역으로부터 상기 베슬 중 적어도 하나의 소정의 면을 특정하는 단계;
    를 포함하는, 화상 처리 방법.
  10. 작업 기계의 운반물의 베슬이 촬상되는 촬상 화상을 입력함으로써, 상기 베슬을 포함하는 영역을 출력하는 세그멘테이션 모델의 미리 학습된 모델을 생성하는 방법으로서,
    작업 기계의 운반물의 베슬이 촬상되는 촬상 화상을 취득하는 단계; 및
    상기 베슬이 촬상되는 촬상 화상과, 상기 촬상 화상에 촬상되는 베슬을 포함하는 영역을 나타내는 정보를 학습용 데이터 세트(data set)로 하여, 상기 세그멘테이션 모델을 학습함으로써, 미리 학습된 모델을 생성하는 단계;
    를 포함하는, 미리 학습된 모델의 생성 방법.
  11. 컴퓨터에 이용되고, 세그멘테이션 모델을 학습시키기 위한 학습용 데이터 세트로서,
    작업 기계의 운반물의 베슬이 촬상되는 촬상 화상과, 작업 기계의 운반물의 베슬의 영역을 나타내는 정보를 포함하고,
    상기 컴퓨터에 의해, 상기 세그멘테이션 모델을 학습시키는 처리에 사용되는, 학습용 데이터 세트.
  12. 작업 기계의 운반물의 하역(unloading) 대상이 촬상되는 촬상 화상을 취득하는 데이터 취득부;
    상기 촬상 화상으로부터 상기 하역 대상을 포함하는 영역을 특정하는 영역 특정부; 및
    상기 하역 대상을 포함하는 영역으로부터 상기 하역 대상 중 적어도 하나의 소정의 면을 특정하는 하역 대상 특정부;
    를 포함하는, 화상 처리 시스템.
KR1020217024275A 2019-02-01 2020-01-24 화상 처리 시스템, 화상 처리 방법, 미리 학습된 모델의 생성 방법, 및 학습용 데이터 세트 KR20210110671A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2019-017400 2019-02-01
JP2019017400A JP7365122B2 (ja) 2019-02-01 2019-02-01 画像処理システムおよび画像処理方法
PCT/JP2020/002554 WO2020158611A1 (ja) 2019-02-01 2020-01-24 画像処理システム、画像処理方法、学習済みモデルの生成方法、および学習用データセット

Publications (1)

Publication Number Publication Date
KR20210110671A true KR20210110671A (ko) 2021-09-08

Family

ID=71841008

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217024275A KR20210110671A (ko) 2019-02-01 2020-01-24 화상 처리 시스템, 화상 처리 방법, 미리 학습된 모델의 생성 방법, 및 학습용 데이터 세트

Country Status (6)

Country Link
US (1) US20220101552A1 (ko)
JP (1) JP7365122B2 (ko)
KR (1) KR20210110671A (ko)
CN (1) CN113366533A (ko)
DE (1) DE112020000310T5 (ko)
WO (1) WO2020158611A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132570A1 (ko) * 2022-01-05 2023-07-13 (주)서울로보틱스 작업 현장을 모니터링하는 방법 및 장치

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6840645B2 (ja) * 2017-09-08 2021-03-10 株式会社小松製作所 施工管理装置および施工管理方法
JP7088691B2 (ja) * 2018-02-28 2022-06-21 株式会社小松製作所 積込機械の制御装置、制御方法および遠隔操作システム
JP7283332B2 (ja) * 2019-09-26 2023-05-30 コベルコ建機株式会社 容器計測システム
US11624171B2 (en) * 2020-07-31 2023-04-11 Baidu Usa Llc Engineering machinery equipment, and method, system, and storage medium for operation trajectory planning thereof
JP7484630B2 (ja) 2020-09-29 2024-05-16 コベルコ建機株式会社 積込ポイント決定システム
CN112348781A (zh) * 2020-10-26 2021-02-09 广东博智林机器人有限公司 一种基准面高度检测方法、装置、设备及存储介质
JP2022077328A (ja) * 2020-11-11 2022-05-23 日本電気株式会社 制御装置、制御システム、および制御方法
JP2023152458A (ja) * 2022-04-04 2023-10-17 日立建機株式会社 作業機械

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000192514A (ja) 1998-12-28 2000-07-11 Hitachi Constr Mach Co Ltd 自動運転建設機械およびその運転方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11211438A (ja) * 1998-01-22 1999-08-06 Komatsu Ltd 荷台積載体積計測装置
WO2008018398A1 (fr) * 2006-08-10 2008-02-14 Nec Corporation dispositif d'extraction de région d'objet
JP5597596B2 (ja) * 2011-06-07 2014-10-01 株式会社小松製作所 作業車両の周辺監視装置
US20140184643A1 (en) * 2012-12-27 2014-07-03 Caterpillar Inc. Augmented Reality Worksite
JP6159092B2 (ja) * 2013-01-18 2017-07-05 日野自動車株式会社 車両の荷台高さ調整システム
US10927527B2 (en) * 2015-09-30 2021-02-23 Komatsu Ltd. Periphery monitoring device for crawler-type working machine
KR102333772B1 (ko) * 2016-04-21 2021-11-30 스미토모 겐키 가부시키가이샤 쇼벨의 표시장치
JP6761708B2 (ja) * 2016-09-05 2020-09-30 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 駐車位置特定方法、駐車位置学習方法、駐車位置特定システム、駐車位置学習装置およびプログラム
JP2018146347A (ja) * 2017-03-03 2018-09-20 株式会社キーエンス 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2018173814A (ja) * 2017-03-31 2018-11-08 富士通株式会社 画像処理装置、画像処理方法、画像処理プログラム、及び教師データ生成方法
JP2019016294A (ja) * 2017-07-10 2019-01-31 株式会社リコー 情報処理装置、情報処理方法、情報処理プログラム、及びシステム
JP6633575B2 (ja) 2017-07-11 2020-01-22 株式会社三共 遊技機
WO2019016870A1 (ja) * 2017-07-18 2019-01-24 株式会社ソニー・インタラクティブエンタテインメント 画像認識装置、画像認識方法及びプログラム
US10733752B2 (en) * 2017-07-24 2020-08-04 Deere & Company Estimating a volume of contents in a container of a work vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000192514A (ja) 1998-12-28 2000-07-11 Hitachi Constr Mach Co Ltd 自動運転建設機械およびその運転方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023132570A1 (ko) * 2022-01-05 2023-07-13 (주)서울로보틱스 작업 현장을 모니터링하는 방법 및 장치

Also Published As

Publication number Publication date
WO2020158611A1 (ja) 2020-08-06
CN113366533A (zh) 2021-09-07
DE112020000310T5 (de) 2021-11-04
JP7365122B2 (ja) 2023-10-19
JP2020126363A (ja) 2020-08-20
US20220101552A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
JP7365122B2 (ja) 画像処理システムおよび画像処理方法
US11414837B2 (en) Image processing system, display device, image processing method, method for generating trained model, and dataset for learning
AU2022209235B2 (en) Display control device and display control method
US9990543B2 (en) Vehicle exterior moving object detection system
US9133600B2 (en) Method for selecting an attack pose for a working machine having a bucket
US8903689B2 (en) Autonomous loading
JP2018035645A (ja) 作業機械の画像表示システム
CN104302848A (zh) 用于挖掘机的俯视图系统
AU2019292457B2 (en) Display control device, display control system, and display control method
WO2020044848A1 (ja) 作業機械の運搬物特定装置、作業機械、作業機械の運搬物特定方法、補完モデルの生産方法、および学習用データセット
AU2019292458B2 (en) Display control system, display control device, and display control method
JP2019065661A (ja) 積込機械制御装置および制御方法
JP7023813B2 (ja) 作業機械
US20220343524A1 (en) Container measurement system
Guevara et al. Point cloud-based estimation of effective payload volume for earthmoving loaders
US20230291989A1 (en) Display control device and display method
Borthwick Mining haul truck pose estimation and load profiling using stereo vision
JP7390991B2 (ja) 作業機械および施工支援システム
JP7333551B2 (ja) 作業機械の画像表示システム
WO2024004984A1 (ja) 作業機械
US20230267895A1 (en) Display control device and display control method