KR20230015429A - 장해물 검출 장치 및 장해물 검출 방법 - Google Patents

장해물 검출 장치 및 장해물 검출 방법 Download PDF

Info

Publication number
KR20230015429A
KR20230015429A KR1020227045118A KR20227045118A KR20230015429A KR 20230015429 A KR20230015429 A KR 20230015429A KR 1020227045118 A KR1020227045118 A KR 1020227045118A KR 20227045118 A KR20227045118 A KR 20227045118A KR 20230015429 A KR20230015429 A KR 20230015429A
Authority
KR
South Korea
Prior art keywords
obstacle
detection
area
coordinate
detection device
Prior art date
Application number
KR1020227045118A
Other languages
English (en)
Inventor
마사타카 이시자키
Original Assignee
가부시키가이샤 도요다 지도숏키
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 도요다 지도숏키 filed Critical 가부시키가이샤 도요다 지도숏키
Publication of KR20230015429A publication Critical patent/KR20230015429A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
    • B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/0755—Position control; Position detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • B66F9/24—Electrical devices or systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Structural Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Civil Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

장해물 검출 장치(30)는, 포크리프트(10)에 탑재되어 있다. 장해물 검출 장치(30)는, 장해물을 검출하기 위한 스테레오 카메라(31)와, 스테레오 카메라(31)의 검출 결과로부터 장해물의 위치를 검출하는 위치 검출 장치(41)를 구비한다. 검출 가능 영역(CA)에는, 비검출 영역(NA1, NA2)이 미리 설정되어 있다. 비검출 영역(NA1, NA2)은, 포크리프트(10)의 카운터 웨이트(15)가 존재하는 위치에 설정되어 있다. 위치 검출 장치(41)는, 비검출 영역(NA1, NA2)에는 장해물이 존재하지 않는다고 판단한다. 위치 검출 장치(41)는, 검출 가능 영역(CA) 중 비검출 영역(NA1, NA2)과는 다른 영역인 검출 영역(DA)에 존재하는 장해물의 위치를 검출한다.

Description

장해물 검출 장치 및 장해물 검출 방법
본 개시는, 장해물 검출 장치 및 장해물 검출 방법에 관한 것이다.
차량 등의 이동체에는 장해물을 검출하기 위한 장해물 검출 장치가 탑재되어 있다. 특허문헌 1에 개시된 장해물 검출 장치는, 장해물을 검출하기 위한 센서와, 센서의 검출 결과로부터 장해물의 위치를 검출하는 위치 검출부를 구비한다. 위치 검출부는, 센서의 검출 가능 영역에 존재하는 장해물의 위치를 검출한다. 센서로서는, 스테레오 카메라가 사용되고 있다. 위치 검출부는, 스테레오 카메라에 의해 촬상된 화상으로부터 시차 화상을 도출하고, 시차 화상에 기초하여, 장해물의 위치를 검출하고 있다.
일본 특허 공개 제2016-206801호 공보
센서의 설치 위치에 따라서는, 센서의 검출 가능 영역에 이동체의 일부가 들어간다. 그렇게 되면, 장해물 검출 장치는, 이동체의 일부를 장해물로서 검출할 우려가 있다.
본 개시의 목적은, 이동체의 일부가 장해물로서 검출되는 것을 억제할 수 있는 장해물 검출 장치 및 장해물 검출 방법을 제공하는 것에 있다.
상기 과제를 해결하는 장해물 검출 장치는, 이동체에 탑재되는 장해물 검출 장치이며, 장해물을 검출하기 위한 센서와, 상기 센서의 검출 결과로부터 상기 장해물의 위치를 검출하는 위치 검출부를 구비하고, 상기 위치 검출부는, 상기 센서에 의해 상기 장해물을 검출 가능한 검출 가능 영역에 미리 설정된 영역이며 상기 이동체의 일부가 존재하는 영역을 비검출 영역으로 하면, 상기 비검출 영역에는 상기 센서의 검출 결과에 관계없이 상기 장해물이 존재하지 않는다고 판단하는 비검출부와, 상기 검출 가능 영역 중 상기 비검출 영역과는 다른 영역인 검출 영역에 존재하는 상기 장해물의 위치를 검출하는 검출부를 구비한다.
검출 가능 영역에는, 미리 비검출 영역이 설정되어 있다. 비검출부는, 비검출 영역에 장해물이 존재하고 있는 경우라도, 비검출 영역에는 장해물이 존재하고 있지 않다고 판단한다. 비검출 영역에는 이동체의 일부가 존재하고 있기 때문에, 비검출 영역에 장해물이 존재하고 있지 않다고 판단함으로써, 장해물 검출 장치에 의해 이동체의 일부가 장해물로서 검출되는 것을 억제할 수 있다.
상기 장해물 검출 장치에 대하여, 상기 이동체는 포크리프트이며, 상기 비검출 영역은, 상기 포크리프트의 카운터 웨이트가 존재하는 위치에 설정되어 있어도 된다.
상기 장해물 검출 장치에 대하여, 상기 위치 검출부는, 수평 방향 중 일방향의 축을 X축, 수평 방향 중 상기 X축에 직교하는 방향의 축을 Y축, 상기 X축 및 상기 Y축에 직교하는 방향의 축을 Z축으로 하는 실공간 상의 좌표계에서의 상기 장해물의 좌표를 도출하는 좌표 도출부를 구비하고 있어도 된다.
상기 장해물 검출 장치에 대하여, 상기 비검출 영역은, 상기 실공간 상의 좌표계에서 상기 이동체의 일부가 존재하는 영역을 나타내는 3차원 좌표로 규정되어 있어도 된다.
상기 과제를 해결하는 장해물 검출 방법은, 이동체에 탑재되어 있고, 또한, 센서와 위치 검출부를 구비하는 장해물 검출 장치에 의해 장해물의 위치를 검출하는 장해물 검출 방법이며, 상기 위치 검출부가, 상기 센서의 검출 결과를 취득하는 스텝과, 상기 센서에 의해 상기 장해물을 검출 가능한 검출 가능 영역에 미리 설정된 영역이며 상기 이동체의 일부가 존재하는 영역을 비검출 영역으로 하면, 상기 위치 검출부가, 상기 비검출 영역에는 상기 센서의 검출 결과에 관계없이 상기 장해물이 존재하지 않는다고 판단하는 스텝과, 상기 위치 검출부가, 상기 검출 가능 영역 중 상기 비검출 영역과는 다른 영역인 검출 영역에 존재하는 상기 장해물의 위치를 검출하는 스텝을 포함하고 있어도 된다.
비검출 영역에는 이동체의 일부가 존재하고 있기 때문에, 비검출 영역에 장해물이 존재하고 있지 않다고 판단함으로써, 이동체의 일부가 장해물로서 검출되는 것을 억제할 수 있다.
본 발명에 따르면, 이동체의 일부가 장해물로서 검출되는 것을 억제할 수 있다.
도 1은 제1 실시 형태에 있어서의 포크리프트의 측면도.
도 2는 제1 실시 형태에 있어서의 포크리프트의 평면도.
도 3은 제1 실시 형태에 있어서의 포크리프트 및 장해물 검출 장치의 개략 구성도.
도 4는 스테레오 카메라에 의해 촬상된 제1 화상의 일례를 도시하는 도면.
도 5는 위치 검출 장치가 행하는 장해물 검출 처리를 나타내는 흐름도.
도 6은 검출 가능 영역, 비검출 영역 및 검출 영역을 설명하기 위한 도면.
도 7은 월드 좌표계의 XY 평면에 있어서의 장해물의 위치를 도시하는 모식도.
도 8은 제2 실시 형태에 있어서의 포크리프트의 측면도.
도 9는 스테레오 카메라에 의해 촬상된 제1 화상의 일례를 도시하는 도면.
(제1 실시 형태)
이하, 장해물 검출 장치 및 장해물 검출 방법의 제1 실시 형태에 대하여 설명한다.
도 1 및 도 2에 도시한 바와 같이, 이동체로서의 포크리프트(10)는, 차체(11)와, 차체(11)의 전방 하부에 배치된 구동륜(12)과, 차체(11)의 후방 하부에 배치된 조타륜(13)과, 하역 장치(17)를 구비한다. 차체(11)는, 운전석의 상부에 마련된 헤드 가드(14)와, 하역 장치(17)에 적재되는 짐과 균형을 잡기 위한 카운터 웨이트(15)를 구비한다. 카운터 웨이트(15)는, 차체(11)의 후방부에 마련되어 있다. 포크리프트(10)는, 탑승자에 의한 조작에 의해 동작하는 것이어도 되고, 자동으로 동작하는 것이어도 되고, 수동으로의 동작과 자동으로의 동작을 전환하는 것이어도 된다. 이하의 설명에 있어서, 좌우란, 포크리프트(10)의 전진 방향을 기준으로 한 경우의 좌우이다.
도 3에 도시한 바와 같이, 포크리프트(10)는, 주제어 장치(20)와, 주행용 모터 M1과, 주행용 모터 M1을 제어하는 주행 제어 장치(23)와, 회전수 센서(24)를 구비한다. 주제어 장치(20)는, 주행 동작 및 하역 동작에 관한 제어를 행한다. 주제어 장치(20)는, 프로세서(21)와, 기억부(22)를 구비한다. 프로세서(21)로서는, 예를 들어 CPU: Central Processing Unit, GPU: Graphics Processing Unit, DSP: Digital Signal Processor가 사용된다. 기억부(22)는, RAM: Random Access Memory 및 ROM: Read Only Memory를 포함한다. 기억부(22)에는, 포크리프트(10)를 동작시키기 위한 프로그램이 기억되어 있다. 기억부(22)는, 처리를 프로세서(21)에 실행 시키도록 구성된 프로그램 코드 또는 지령을 저장하고 있다고 할 수 있다. 기억부(22), 즉, 컴퓨터 판독 가능 매체는, 범용 또는 전용의 컴퓨터로 액세스할 수 있는 모든 이용 가능한 매체를 포함한다. 주제어 장치(20)는, ASIC: Application Specific Integrated Circuit이나 FPGA: Field Progra㎜able Gate Array 등의 하드웨어 회로에 의해 구성되어 있어도 된다. 처리 회로인 주제어 장치(20)는, 컴퓨터 프로그램에 따라서 동작하는 1개 이상의 프로세서, ASIC나 FPGA 등의 1개 이상의 하드웨어 회로, 혹은, 그것들의 조합을 포함할 수 있다.
주제어 장치(20)는, 포크리프트(10)의 차속이 목표 차속이 되도록 주행 제어 장치(23)에 주행용 모터 M1의 회전수의 지령을 부여한다. 본 실시 형태의 주행 제어 장치(23)는, 모터 드라이버이다. 회전수 센서(24)는, 주행용 모터 M1의 회전수를 주행 제어 장치(23)에 출력한다. 주행 제어 장치(23)는, 주제어 장치(20)로부터의 지령에 기초하여, 주행용 모터 M1의 회전수가 지령과 일치하도록 주행용 모터 M1을 제어한다.
포크리프트(10)에는, 장해물 검출 장치(30)가 탑재되어 있다. 장해물 검출 장치(30)는, 센서로서의 스테레오 카메라(31)와, 스테레오 카메라(31)에 의해 촬상된 화상으로부터 장해물의 위치를 검출하는 위치 검출 장치(41)를 구비한다. 스테레오 카메라(31)는, 포크리프트(10)의 상방으로부터 포크리프트(10)가 주행하는 노면을 조감할 수 있도록 설치되어 있다. 본 실시 형태의 스테레오 카메라(31)는, 포크리프트(10)의 후방을 촬상한다. 따라서, 위치 검출 장치(41)에서 검출되는 장해물은, 포크리프트(10)의 후방의 장해물이 된다.
도 1에 도시한 바와 같이, 스테레오 카메라(31)는, 예를 들어 헤드 가드(14)에 설치되어 있다. 도 2에 도시한 바와 같이, 스테레오 카메라(31)는, 포크리프트(10)의 차폭 방향의 중심 위치 CP로부터 어긋나서 설치되어 있다. 본 실시 형태에 있어서, 스테레오 카메라(31)는, 포크리프트(10)의 차폭 방향의 중심 위치 CP로부터 좌방으로 어긋나서 설치되어 있다.
스테레오 카메라(31)는, 수평 화각 및 수직 화각에 의해 정해지는 촬상 범위를 촬상한다. 수직 화각의 범위 내에는, 카운터 웨이트(15)가 포함되어 있다. 따라서, 스테레오 카메라(31)에 촬상되는 화상에는, 포크리프트(10)의 일부인 카운터 웨이트(15)의 일부가 항상 들어가게 된다.
도 3에 도시한 바와 같이, 스테레오 카메라(31)는, 제1 카메라(32)와, 제2 카메라(33)를 구비한다. 제1 카메라(32) 및 제2 카메라(33)로서는, 예를 들어 CCD 이미지 센서나, CMOS 이미지 센서를 사용한 것을 들 수 있다. 제1 카메라(32) 및 제2 카메라(33)는, 서로의 광축이 평행하게 되도록 배치되어 있다. 본 실시 형태에 있어서, 제1 카메라(32) 및 제2 카메라(33)는, 서로 수평 방향으로 나열되어 배치되어 있다. 제1 카메라(32)에 의해 촬상된 화상을 제1 화상, 제2 카메라(33)에 의해 촬상된 화상을 제2 화상으로 하면, 제1 화상과 제2 화상에서는 동일 장해물이 가로 방향으로 어긋나서 찍히게 된다. 상세하게 말하면, 동일 장해물을 촬상한 경우, 제1 화상에 찍히는 장해물과, 제2 화상에 찍히는 장해물에서는, 가로 방향의 화소[px]에 제1 카메라(32)와 제2 카메라(33) 사이의 거리에 따른 어긋남이 발생하게 된다. 제1 화상 및 제2 화상은, 화소수가 동일하고, 예를 들어 640×480[px]=VGA의 화상이 사용된다. 제1 화상 및 제2 화상은, 예를 들어 RGB 신호로 표시되는 화상이다.
위치 검출 장치(41)는, 프로세서(42)와, 기억부(43)를 구비한다. 프로세서(42)로서는, 예를 들어 CPU, GPU, DSP가 사용된다. 기억부(43)는, RAM 및 ROM을 포함한다. 기억부(43)에는, 스테레오 카메라(31)에 의해 촬상된 화상으로부터 장해물을 검출하기 위한 다양한 프로그램이 기억되어 있다. 기억부(43)는, 처리를 프로세서(42)에 실행시키도록 구성된 프로그램 코드 또는 지령을 저장하고 있다고 할 수 있다. 기억부(43), 즉, 컴퓨터 판독 가능 매체는, 범용 또는 전용의 컴퓨터로 액세스할 수 있는 모든 이용 가능한 매체를 포함한다. 위치 검출 장치(41)는, ASIC나 FPGA 등의 하드웨어 회로에 의해 구성되어 있어도 된다. 처리 회로인 위치 검출 장치(41)는, 컴퓨터 프로그램에 따라서 동작하는 1개 이상의 프로세서, ASIC나 FPGA 등의 1개 이상의 하드웨어 회로, 혹은, 그것들의 조합을 포함할 수 있다.
이하, 위치 검출 장치(41)에 의해 행해지는 장해물 검출 처리에 대하여 장해물 검출 방법과 함께 설명한다. 기억부(43)에 기억된 프로그램을 프로세서(42)가 실행함으로써 장해물 검출 처리는 행해진다. 장해물 검출 처리는, 소정의 제어 주기로 반복하여 행해진다.
이하의 설명에서는, 일례로서, 도 4에 도시한 환경을 스테레오 카메라(31)에 의해 촬상한 경우의 장해물 검출 처리에 대하여 설명한다. 도 4는 포크리프트(10)의 후방을 촬상함으로써 얻어진 제1 화상 I1이다. 제1 화상 I1로부터 파악할 수 있는 바와 같이, 포크리프트(10)의 후방에는, 사람이나, 사람 이외의 장해물이 존재하고 있다. 제1 화상 I1에는, 카운터 웨이트(15)의 일부가 찍혀 있다. 또한, 설명의 편의상, 장해물이 존재하는 제1 화상 I1 상의 좌표를 프레임 A1, A2, A3, A4로 나타내고 있지만, 실제의 제1 화상 I1에는 프레임 A1, A2, A3, A4는 존재하지 않는다.
도 5에 도시한 바와 같이, 스텝 S1에 있어서, 위치 검출 장치(41)는, 스테레오 카메라(31)에 의해 촬상되어 있는 영상으로부터 동일 프레임의 제1 화상 I1 및 제2 화상을 취득한다. 제1 화상 I1 및 제2 화상은, 스테레오 카메라(31)의 검출 결과이다.
다음으로, 스텝 S2에 있어서, 위치 검출 장치(41)는, 스테레오 처리를 행함으로써, 시차 화상을 취득한다. 시차 화상은, 화소에 대하여 시차[px]를 대응지은 화상이다. 시차는, 제1 화상 I1과, 제2 화상을 비교하여, 각 화상에 찍히는 동일 특징점에 대하여 제1 화상 I1과 제2 화상의 화소수의 차를 산출함으로써 얻어진다. 또한, 특징점이란, 장해물의 에지 등, 경계선으로서 인식 가능한 부분이다. 특징점은, 휘도 정보 등으로부터 검출할 수 있다.
위치 검출 장치(41)는, 각 화상을 일시적으로 저장하는 RAM을 사용하여, RGB로부터 YCrCb로의 변환을 행한다. 또한, 위치 검출 장치(41)는, 왜곡 보정, 에지 강조 처리 등을 행해도 된다. 위치 검출 장치(41)는, 제1 화상 I1의 각 화소와 제2 화상의 각 화소의 유사도를 비교하여 시차를 산출하는 스테레오 처리를 행한다. 또한, 스테레오 처리로서는, 화소마다 시차를 산출하는 방법을 사용해도 되고, 각 화상을 복수의 화소를 포함하는 블록으로 분할하여 블록마다의 시차를 산출하는 블록 매칭법을 사용해도 된다. 위치 검출 장치(41)는, 제1 화상 I1을 기준 화상, 제2 화상을 비교 화상으로 하여 시차 화상을 취득한다. 위치 검출 장치(41)는, 제1 화상 I1의 화소마다, 가장 유사한 제2 화상의 화소를 추출하고, 제1 화상 I1의 화소와, 당해 화소에 가장 유사한 화소의 가로 방향 화소수의 차를 시차로서 산출한다. 이에 의해, 기준 화상인 제1 화상 I1의 각 화소에 시차가 대응지어진 시차 화상을 취득할 수 있다. 시차 화상이란, 반드시 표시를 요하는 것은 아니고, 시차 화상에 있어서의 각 화소에 시차가 대응지어진 데이터를 나타낸다. 또한, 위치 검출 장치(41)는, 시차 화상으로부터 노면의 시차를 제거하는 처리를 행해도 된다.
다음으로, 스텝 S3에 있어서, 위치 검출 장치(41)는, 월드 좌표계에 있어서의 특징점의 좌표를 도출한다. 먼저, 위치 검출 장치(41)는, 카메라 좌표계에 있어서의 특징점의 좌표를 도출한다. 카메라 좌표계는, 스테레오 카메라(31)를 원점으로 하는 좌표계이다. 카메라 좌표계는, 광축을 Z축으로 하고, 광축에 직교하는 2개의 축의 각각을 X축, Y축으로 하는 3축 직교 좌표계이다. 카메라 좌표계에 있어서의 특징점의 좌표는, 카메라 좌표계에 있어서의 Z 좌표 Zc, X 좌표 Xc 및 Y 좌표 Yc로 나타낼 수 있다. Z 좌표 Zc, X 좌표 Xc 및 Y 좌표 Yc는, 각각, 이하의 (1)식 내지 (3)식을 사용하여 도출할 수 있다.
Figure pct00001
Figure pct00002
Figure pct00003
(1)식 내지 (3)식에 있어서의 B는 기선 길이[㎜], f는 초점 거리[㎜], d는 시차[px]이다. xp는 시차 화상 중의 임의의 X 좌표이며, x'는 시차 화상의 중심 좌표의 X 좌표이다. yp는 시차 화상 중의 임의의 Y 좌표이며, y'는 시차 화상의 중심 좌표의 Y 좌표이다.
xp를 시차 화상 중의 특징점의 X 좌표로 하고, yp를 시차 화상 중의 특징점의 Y 좌표로 하고, d를 특징점의 좌표에 대응지어진 시차로 함으로써, 카메라 좌표계에 있어서의 특징점의 좌표가 도출된다.
여기서, 포크리프트(10)가 수평면에 위치하고 있는 상태에서, 수평 방향 중 포크리프트(10)의 차폭 방향으로 연장되는 축을 X축, 수평 방향 중 X축에 직교하는 방향으로 연장되는 축을 Y축, X축 및 Y축에 직교하는 축을 Z축으로 하는 3축 직교 좌표계를 실공간 상에서의 좌표계인 월드 좌표계로 한다. 월드 좌표계의 Y축은, 포크리프트(10)의 진행 방향인 포크리프트(10)의 전후 방향으로 연장되는 축이라고도 할 수 있다. 월드 좌표계의 Z축은, 연직 방향으로 연장되는 축이라고도 할 수 있다. 월드 좌표계에서의 특징점의 좌표는, 월드 좌표계에 있어서의 X 좌표 Xw, Y 좌표 Yw 및 Z 좌표 Zw로 나타낼 수 있다.
위치 검출 장치(41)는, 이하의 (4)식을 사용하여 카메라 좌표를 월드 좌표로 변환하는 월드 좌표 변환을 행한다. 월드 좌표란, 월드 좌표계에 있어서의 좌표이다.
Figure pct00004
여기서, (4)식에 있어서의 H는 월드 좌표계에 있어서의 스테레오 카메라(31)의 설치 높이[㎜]이고, θ는 제1 카메라(32) 및 제2 카메라(33)의 광축과, 수평면이 이루는 각+90°의 각도이다.
본 실시 형태에 있어서, 월드 좌표계의 원점은, X 좌표 Xw 및 Y 좌표 Yw를 스테레오 카메라(31)의 위치로 하고, Z 좌표 Zw를 노면으로 하는 좌표이다. 스테레오 카메라(31)의 위치란, 예를 들어 제1 카메라(32)의 렌즈와, 제2 카메라(33)의 렌즈의 중간 위치이다.
월드 좌표 변환으로 얻어진 월드 좌표 중 X 좌표 Xw는, 포크리프트(10)의 차폭 방향에 대한 원점으로부터 특징점까지의 거리를 나타낸다. Y 좌표 Yw는, 포크리프트(10)의 진행 방향에 대한 원점으로부터 특징점까지의 거리를 나타낸다. Z 좌표 Zw는, 노면으로부터 특징점까지의 높이를 나타낸다. 특징점은, 장해물의 일부를 나타내는 점이다. 또한, 도면 중의 화살표 X는 월드 좌표계의 X축, 화살표 Y는 월드 좌표계의 Y축, 화살표 Z는 월드 좌표계의 Z축을 나타낸다.
도 6에 도시한 바와 같이, 월드 좌표계에 있어서, 월드 좌표를 취득할 수 있는 영역이, 장해물을 검출 가능한 영역인 검출 가능 영역 CA이다. 검출 가능 영역 CA는, 예를 들어 스테레오 카메라(31)의 촬상 범위에 의해 정해진다. 스텝 S3의 처리를 행함으로써, 위치 검출 장치(41)는 좌표 도출부로서 기능한다.
여기서, 스테레오 카메라(31)의 검출 가능 영역 CA에는, 미리 비검출 영역 NA1이 설정되어 있다. 비검출 영역 NA1은, 스테레오 카메라(31)에 의해 장해물이 촬상되었는지 여부에 관계없이 장해물이 존재하고 있지 않다고 판단되는 영역이다. 검출 가능 영역 CA 중 비검출 영역 NA1과는 다른 영역을 검출 영역 DA로 한다. 검출 영역 DA는, 장해물의 검출이 행해지는 영역이다. 따라서, 스테레오 카메라(31)에 의해 장해물이 촬상되어 있고, 또한, 이 장해물이 검출 영역 DA에 존재하고 있는 경우에 위치 검출 장치(41)는 장해물을 검출한다고 할 수 있다.
도 5에 도시한 바와 같이, 스텝 S4에 있어서, 위치 검출 장치(41)는, 비검출 영역 NA1의 특징점을 불필요한 특징점으로서 삭제한다. 비검출 영역 NA1은, 검출 가능 영역 CA 중 포크리프트(10)의 일부가 존재하는 위치에 설정되어 있다. 본 실시 형태에서는, 카운터 웨이트(15)가 존재하는 위치가 비검출 영역 NA1이다. 불필요한 특징점이란, 카운터 웨이트(15)가 촬상됨으로써 발생한 특징점이라고도 할 수 있다.
불필요한 특징점은, 차량 제원으로부터 도출할 수 있다. 불필요한 특징점을 도출하기 위한 차량 제원은, 예를 들어 위치 검출 장치(41)의 기억부(43)에 기억되어 있다.
도 1 및 도 2에 도시한 바와 같이, 카운터 웨이트(15)의 폭 W1, 카운터 웨이트(15)의 높이 H1, 스테레오 카메라(31)로부터 카운터 웨이트(15)의 후단까지의 전후 방향의 거리 L1, 및 포크리프트(10)의 중심 위치 CP와 스테레오 카메라(31)의 차폭 방향의 거리 W2의 각각을 나타내는 정보가 차량 제원으로서 기억되어 있다.
카운터 웨이트(15)의 폭 W1이란, 차폭 방향에 있어서의 카운터 웨이트(15)의 치수이다. 카운터 웨이트(15)의 폭 W1이란, 월드 좌표계에 있어서의 X축 방향의 카운터 웨이트(15)의 치수라고도 할 수 있다. 본 실시 형태에서는, 스테레오 카메라(31)에 의해 촬상되는 카운터 웨이트(15)는 일정 폭이다. 이 때문에, 카운터 웨이트(15)의 폭 W1을 일정값으로 할 수 있다. 카운터 웨이트(15)의 폭 W1이 일정하지 않은 경우, 카운터 웨이트(15)의 전후 방향의 위치에 따라서 카운터 웨이트(15)의 폭을 기억해도 된다. 즉, 카운터 웨이트(15)의 Y 좌표 Yw에 대응지어 카운터 웨이트(15)의 폭을 기억함으로써, 카운터 웨이트(15)의 폭이 일정하지 않은 경우라도 카운터 웨이트(15)의 폭을 파악 가능하게 해도 된다. 혹은, 카운터 웨이트(15)의 폭이 일정하지 않은 경우라도, 카운터 웨이트(15)의 폭을 일정으로 간주해도 된다. 이 경우, 카운터 웨이트(15)의 최대 폭을 카운터 웨이트(15)의 폭으로 간주하면 된다.
카운터 웨이트(15)의 높이 H1이란, 노면으로부터 카운터 웨이트(15)의 상단까지의 치수이다. 월드 좌표계에 있어서의 Z축의 원점이 노면이기 때문에, 카운터 웨이트(15)의 높이 H1이란, 월드 좌표계에 있어서의 카운터 웨이트(15)의 상단의 Z 좌표 Zw라고도 할 수 있다. 또한, 카운터 웨이트(15)의 전후 방향의 위치나 차폭 방향의 위치에 따라 카운터 웨이트(15)의 높이가 다른 경우, 가장 높은 위치를 카운터 웨이트(15)의 상단으로 하면 된다.
스테레오 카메라(31)로부터 카운터 웨이트(15)의 후단까지의 전후 방향의 거리 L1이란, 월드 좌표계에 있어서의 스테레오 카메라(31)로부터 카운터 웨이트(15)의 후단까지의 Y축 방향의 치수이다. 월드 좌표계에 있어서의 Y축의 원점이 스테레오 카메라(31)이기 때문에, 스테레오 카메라(31)로부터 카운터 웨이트(15)의 후단까지의 전후 방향의 거리 L1이란 월드 좌표계에 있어서의 카운터 웨이트(15)의 후단의 Y 좌표 Yw라고도 할 수 있다. 또한, 카운터 웨이트(15)의 전후 방향의 위치나 차폭 방향의 위치에 따라 카운터 웨이트(15)의 후단의 위치가 다른 경우, 가장 후방을 카운터 웨이트(15)의 후단으로 하면 된다.
포크리프트(10)의 중심 위치 CP와 스테레오 카메라(31)의 차폭 방향의 거리 W2란, 월드 좌표계에 있어서의 포크리프트(10)의 중심 위치 CP로부터 스테레오 카메라(31)까지의 X축 방향의 치수이다. 월드 좌표계에 있어서의 X축의 원점이 스테레오 카메라(31)이기 때문에, 포크리프트(10)의 중심 위치 CP와 스테레오 카메라(31)의 차폭 방향의 거리 W2란 월드 좌표계에 있어서의 포크리프트(10)의 중심 위치 CP의 X 좌표 Xw라고도 할 수 있다.
위치 검출 장치(41)는, 상기한 차량 제원으로부터 이하의 제1 조건, 제2 조건 및 제3 조건 모두에 합치하는 특징점을 불필요한 특징점으로서 삭제한다.
제1 조건…-(W1/2+W2)≤Xw≤(W1/2-W2)
제2 조건…0≤Yw≤L1
제3 조건…0≤Zw≤H1
제1 조건은, 포크리프트(10)의 차폭 방향의 중심 위치 CP로부터, 월드 좌표계의 X축 방향의 양측의 각각에 대하여, 카운터 웨이트(15)의 폭 W1의 절반의 범위의 특징점을 추출하고 있다고 할 수 있다. 본 실시 형태에서는, 포크리프트(10)의 중심 위치 CP와 월드 좌표계에 있어서의 X축의 원점이 거리 W2 어긋나 있기 때문에, 거리 W2만큼 X 좌표 Xw를 우방으로 어긋나게 함으로써, X 좌표 Xw의 범위를 포크리프트(10)의 중심 위치 CP를 기준으로 한 범위에 오프셋하고 있다고도 할 수 있다.
제2 조건은, 스테레오 카메라(31)로부터 카운터 웨이트(15)의 후단까지의 범위에 존재하고 있는 특징점을 추출하고 있다고 할 수 있다.
제3 조건은, 노면으로부터 카운터 웨이트(15)의 상단까지의 특징점을 추출하고 있다고 할 수 있다.
각 조건은, 월드 좌표계에 있어서의 3차원 좌표의 범위를 나타내고 있다고 할 수 있다. X 좌표 Xw의 범위가 -(W1/2+W2) 내지 (W1/2-W2), Y 좌표 Yw의 범위가 0 내지 L1, Z 좌표 Zw의 범위가 0 내지 H1이 되는 직육면체상의 영역은, 특징점이 삭제되는 비검출 영역 NA1이라고 할 수 있다. 제1 조건, 제2 조건 및 제3 조건 모두에 합치하는 특징점을 삭제함으로써, 비검출 영역 NA1의 특징점이 삭제된다.
도 6에 도시한 바와 같이, 비검출 영역 NA1은, 월드 좌표계에 있어서 좌표 P1 내지 P8로 둘러싸인 영역이라고 할 수 있다. 월드 좌표계에 있어서의 3차원 좌표를 좌표(Xw, Yw, Zw)로 나타내면, 좌표 P1은 (-(W1/2+W2), 0, H1), 좌표 P2는 (W1/2-W2, 0, H1), 좌표 P3은 (-(W1/2+W2), L1, H1), 좌표 P4는 (W1/2-W2, L1, H1)로 나타낼 수 있다. 마찬가지로, 좌표 P5는 (-(W1/2+W2), 0, 0), 좌표 P6은 (W1/2-W2, 0, 0), 좌표 P7은 (-(W1/2+W2), L1, 0), 좌표 P8은 (W1/2-W2, L1, 0)으로 나타낼 수 있다. 비검출 영역 NA1은, 월드 좌표계에서 카운터 웨이트(15)가 존재하는 영역을 나타내는 3차원 좌표로 규정되어 있다.
또한, 월드 좌표에 있어서의 + 좌표인지 - 좌표인지는, 월드 좌표계의 원점에 대하여 좌표가 어느 방향에 위치하고 있는지를 나타내는 것이며, 좌표축마다 임의로 설정할 수 있다. X 좌표 Xw는, 원점보다도 좌방을 + 좌표, 원점보다도 우방을 - 좌표로 하고 있다. Y 좌표 Yw는, 원점보다도 후방을 + 좌표, 원점보다도 전방을 - 좌표로 하고 있다. Z 좌표 Zw는, 원점보다도 상방을 + 좌표, 원점보다도 하방을 - 좌표로 하고 있다.
도 5에 도시한 바와 같이, 스텝 S5에 있어서, 위치 검출 장치(41)는, 월드 좌표계에 존재하는 장해물을 추출한다. 위치 검출 장치(41)는, 장해물의 일부를 나타내는 복수의 특징점 중 동일 장해물을 나타내고 있다고 상정되는 특징점의 집합을 1개의 점군으로 하고, 당해 점군을 장해물로서 추출한다. 예를 들어, 위치 검출 장치(41)는, 스텝 S3에서 도출된 특징점의 월드 좌표로부터, 소정 범위 내에 위치하는 특징점을 1개의 점군으로 간주하는 클러스터화를 행한다. 위치 검출 장치(41)는, 클러스터화된 점군을 1개의 장해물로 간주한다. 스텝 S4에서, 비검출 영역 NA1의 특징점은 삭제되어 있기 때문에, 스텝 S5에서 추출되는 장해물은, 비검출 영역 NA1과는 다른 영역인 검출 영역 DA에 존재하는 장해물이라고 할 수 있다. 비검출 영역 NA1은, 스테레오 카메라(31)의 검출 결과에 관계없이, 바꿔 말하면, 장해물의 유무에 관계없이 장해물이 존재하고 있지 않다고 판단되게 된다. 또한, 스텝 S5에서 행해지는 특징점의 클러스터화는 다양한 방법으로 행할 수 있다. 즉, 클러스터화는, 복수의 특징점을 1개의 점군으로 함으로써 장해물로 간주할 수 있으면, 어떤 방법으로 행해져도 된다.
다음으로, 스텝 S6에 있어서, 위치 검출 장치(41)는, 스텝 S5에서 추출된 장해물의 위치를 도출한다. 본 실시 형태에 있어서, 장해물의 위치란, 월드 좌표계의 XY 평면에 있어서의 장해물의 좌표이다. 위치 검출 장치(41)는, 클러스터화된 점군을 구성하는 특징점의 월드 좌표로부터 장해물의 월드 좌표를 인식할 수 있다. 예를 들어, 클러스터화된 점군 중 단부에 위치하는 복수의 특징점의 X 좌표 Xw, Y 좌표 Yw 및 Z 좌표 Zw를 장해물의 X 좌표 Xw, Y 좌표 Yw 및 Z 좌표 Zw로 해도 되고, 점군의 중심이 되는 특징점의 X 좌표 Xw, Y 좌표 Yw 및 Z 좌표 Zw를 장해물의 X 좌표 Xw, Y 좌표 Yw 및 Z 좌표 Zw로 해도 된다. 즉, 월드 좌표계의 장해물의 좌표는, 장해물 전체를 나타내는 것이어도 되고, 장해물의 1점을 나타내는 것이어도 된다.
도 7에 도시한 바와 같이, 위치 검출 장치(41)는, 장해물의 X 좌표 Xw, Y 좌표 Yw 및 Z 좌표 Zw를 월드 좌표계의 XY 평면에 투영함으로써, 월드 좌표계에 있어서의 XY 평면에서의 장해물의 X 좌표 Xw 및 Y 좌표 Yw를 도출한다. 즉, 위치 검출 장치(41)는, 장해물의 X 좌표 Xw, Y 좌표 Yw 및 Z 좌표 Zw로부터 Z 좌표 Zw를 제거함으로써, 수평 방향에 있어서의 장해물의 X 좌표 Xw 및 Y 좌표 Yw를 도출한다.
도 7에 도시한 장해물 O1 내지 O4는, 스텝 S1 내지 스텝 S6의 처리를 행함으로써, 제1 화상 I1 및 제2 화상으로부터 검출된 장해물이다. 장해물 O1은, 프레임 A1에 존재하였던 장해물이다. 장해물 O2는, 프레임 A2에 존재하였던 장해물이다. 장해물 O3은, 프레임 A3에 존재하였던 장해물이다. 장해물 O4는, 프레임 A4에 존재하고 있었던 장해물이다.
만약, 비검출 영역 NA1의 특징점을 삭제하지 않은 경우, 위치 검출 장치(41)는, 카운터 웨이트(15)에 대응하는 장해물 O5를 추출한다. 본 실시 형태에서는, 비검출 영역 NA1의 특징점을 삭제하여, 비검출 영역 NA1에는 장해물이 존재하고 있지 않다고 판단함으로써, 장해물 O5가 추출되는 것을 억제하고 있다. 스텝 S4의 처리를 행함으로써, 위치 검출 장치(41)는, 비검출부로서 기능하고 있다. 스텝 S5 및 스텝 S6의 처리를 행함으로써, 위치 검출 장치(41)는, 검출부로서 기능하고 있다. 위치 검출 장치(41)는, 위치 검출부로서 기능하고 있다.
또한, 스텝 S4에 있어서의 「특징점의 삭제」란, 스텝 S5에 의한 장해물의 추출에, 비검출 영역 NA1의 특징점을 사용하지 않는 것을 의미한다. 즉, 「특징점의 삭제」란, 위치 검출 장치(41)의 RAM으로부터 비검출 영역 NA1에 있어서의 특징점의 월드 좌표를 삭제하는 양태뿐만 아니라, 위치 검출 장치(41)의 RAM으로부터 비검출 영역 NA1에 있어서의 특징점의 월드 좌표를 삭제하지 않고, 비검출 영역 NA1의 특징점을 장해물의 추출에 사용하지 않는 양태를 포함한다.
위치 검출 장치(41)에 의한 장해물 검출 처리에 의해, 포크리프트(10)와 장해물의 수평 방향에 있어서의 위치 관계를 파악할 수 있다. 주제어 장치(20)는, 위치 검출 장치(41)에 의한 검출 결과를 취득함으로써, 포크리프트(10)와 장해물의 수평 방향에 있어서의 위치 관계를 파악한다. 주제어 장치(20)는, 포크리프트(10)와 장해물의 위치 관계에 따른 제어를 행한다. 예를 들어, 주제어 장치(20)는, 포크리프트(10)와 장해물의 거리가 역치를 하회한 경우에는 차속 제한이나 경보를 행한다.
제1 실시 형태의 작용에 대하여 설명한다.
검출 가능 영역 CA에는, 미리 비검출 영역 NA1이 설정되어 있다. 위치 검출 장치(41)는, 비검출 영역 NA1에 존재하는 특징점을 삭제하고 있다. 이에 의해, 위치 검출 장치(41)는, 비검출 영역 NA1에 장해물이 존재하고 있는 경우라도, 비검출 영역 NA1에는 장해물이 존재하고 있지 않다고 판단한다. 비검출 영역 NA1은, 카운터 웨이트(15)가 존재하고 있는 영역이다. 스테레오 카메라(31)와 카운터 웨이트(15)의 위치 관계는 일정하기 때문에, 스테레오 카메라(31)의 촬상 범위에는 반드시 카운터 웨이트(15)가 들어간다.
주제어 장치(20)가 장해물과의 거리에 따라서 차속 제한이나 경보를 행하는 경우, 카운터 웨이트(15)가 장해물로서 검출됨으로써, 차속 제한이나 경보가 행해질 우려가 있다. 카운터 웨이트(15)는, 항상 검출 가능 영역 CA에 들어가기 때문에, 항상 차속 제한이나 경보가 행해질 우려가 있다. 이 경우, 포크리프트(10)에 의한 작업 효율의 악화를 초래할 우려가 있다. 또한, 항상 경보가 이루어짐으로써, 포크리프트(10)와 장해물이 가까운지 여부를 판정할 수 없게 될 우려가 있다.
이에 반해, 제1 실시 형태에서는, 카운터 웨이트(15)가 장해물로서 검출되지 않기 때문에, 카운터 웨이트(15)가 스테레오 카메라(31)에 의해 촬상됨으로써, 차속 제한이나 경보가 행해지는 것이 억제되어 있다.
제1 실시 형태의 효과에 대하여 설명한다.
(1-1) 스테레오 카메라(31)의 검출 가능 영역 CA에는, 미리 비검출 영역 NA1이 설정되어 있다. 위치 검출 장치(41)는, 비검출 영역 NA1의 특징점을 삭제함으로써, 비검출 영역 NA1에는 장해물이 존재하고 있지 않다고 판단한다. 비검출 영역 NA1에 존재하는 카운터 웨이트(15)가 장해물로서 검출되는 것을 억제할 수 있다.
(1-2) 포크리프트(10)에서는, 하역 장치(17)에 적재되는 짐과의 균형을 잡기 위해, 차체(11)의 후방에 카운터 웨이트(15)가 배치된다. 이 때문에, 후방을 촬상하는 스테레오 카메라(31)의 검출 가능 영역 CA에, 카운터 웨이트(15)가 들어가기 쉽다. 또한, 배치상의 제약에 의해, 카운터 웨이트(15)가 검출 가능 영역 CA에 들어가지 않도록 스테레오 카메라(31)를 배치하는 것이 곤란한 경우가 있다. 카운터 웨이트(15)가 존재하는 영역을 비검출 영역 NA1로서 설정함으로써, 스테레오 카메라(31)의 검출 가능 영역 CA에 카운터 웨이트(15)가 들어가는 경우라도, 카운터 웨이트(15)가 장해물로서 검출되는 것을 억제하면서, 검출 영역 DA의 장해물을 검출할 수 있다.
(1-3) 비검출 영역 NA1은, 월드 좌표계의 3차원 좌표로 규정되어 있다. 월드 좌표계의 X 좌표 Xw 및 Y 좌표 Yw로 비검출 영역 NA1을 규정하고, Z 좌표 Zw에 관계없이 특징점을 삭제하는 것도 가능하다. 이 경우에는, 카운터 웨이트(15) 상에 장해물이 놓여 있는 경우라도, 이 장해물도 비검출 영역 NA1에 포함되게 된다. 따라서, 카운터 웨이트(15) 상에 장해물이 존재하고 있는 경우라도, 이 장해물이 존재하지 않는다고 간주된다. 비검출 영역 NA1을 3차원 좌표로 규정함으로써, 카운터 웨이트(15) 상에 존재하고 있는 장해물을 검출할 수 있다.
(1-4) 비검출 영역 NA1은, 미리 설정된 영역이다. 이동체의 가동 부재가 움직임으로써 검출 가능 영역 CA에 이동체의 일부가 들어가는 경우이며, 이 이동체의 일부가 장해물로서 검출되는 것을 억제하는 경우, 위치 검출 장치(41)는, 가동 부재가 존재하는 영역을 비검출 영역으로서 설정할 필요가 있다. 가동 부재는, 움직이기 때문에, 비검출 영역을 미리 설정할 수는 없고, 위치 검출 장치(41)는, 가동 부재의 위치를 검출하고, 이 위치를 비검출 영역으로서 설정할 필요가 있다. 이에 반해, 실시 형태에서는, 스테레오 카메라(31)와의 위치 관계가 일정한 카운터 웨이트(15)에 대응하여 비검출 영역 NA1을 설정하고 있다. 카운터 웨이트(15)의 검출 가능 영역 CA에서의 위치는 일정하기 때문에, 미리 비검출 영역 NA1을 설정할 수 있다. 가동 부재의 위치를 검출하여, 이 위치에 맞추어 비검출 영역을 설정하는 경우에 비해, 위치 검출 장치(41)의 부하를 경감할 수 있다.
(1-5) 장해물 검출 장치(30)가 장해물 검출 방법을 행함으로써, 비검출 영역 NA1에는 장해물이 존재하고 있지 않다고 간주된다. 비검출 영역 NA1에 존재하는 카운터 웨이트(15)가 장해물로서 검출되는 것을 억제할 수 있다.
(제2 실시 형태)
이하, 제2 실시 형태의 장해물 검출 장치 및 장해물 검출 방법에 대하여 설명한다. 이하의 설명에 있어서, 제1 실시 형태와 마찬가지의 부분에 대해서는 설명을 생략한다.
도 8에 도시한 바와 같이, 포크리프트(10)는, 미러(18)와, 미러(18)를 지지하는 지지부(19)를 구비한다. 지지부(19)는, 차체(11)의 후방을 향하여 연장되어 있다. 미러(18) 및 지지부(19)는, 스테레오 카메라(31)의 수직 화각의 범위 내에 위치하고 있다. 미러(18) 및 지지부(19)는, 포크리프트(10)의 일부이다.
도 9에 도시한 바와 같이, 스테레오 카메라(31)에 의해 촬상되는 제1 화상 I1에는, 미러(18) 및 지지부(19)가 들어간다. 제2 실시 형태에서는, 카운터 웨이트(15)에 더하여, 미러(18) 및 지지부(19)가 장해물로서 검출되지 않도록 장해물 검출 처리가 행해진다.
도 8에 도시한 바와 같이, 위치 검출 장치(41)의 기억부(43)에는, 차량 제원으로서, 미러(18)의 높이 H2가 기억되어 있다. 미러(18)의 높이 H2란, 노면으로부터 미러(18)의 하단까지의 치수이다. 월드 좌표계에 있어서의 Z축의 원점이 노면이기 때문에, 미러(18)의 높이 H2란, 월드 좌표계에 있어서의 미러(18)의 하단 Z 좌표 Zw라고도 할 수 있다. 또한, 지지부(19)는, 전체에 걸쳐 미러(18)의 하단보다도 상방에 위치하고 있다.
제1 실시 형태의 제3 조건을 이하와 같이 변경함으로써, 위치 검출 장치(41)는, 카운터 웨이트(15)에 더하여, 미러(18) 및 지지부(19)에 의해 발생한 특징점을 불필요한 특징점으로서 삭제 가능하다. 위치 검출 장치(41)는, 제1 조건, 제2 조건 및 제3 조건 모두에 합치하는 특징점을 불필요한 특징점으로서 삭제한다.
제3 조건…0≤Zw≤H1 or Zw≥H2
제1 실시 형태의 제3 조건에 더하여, Zw≥H2가 or 조건으로서 추가되어 있다. 따라서, 제1 조건, 제2 조건, 및 제3 조건 중 0≤Zw≤H1에 합치하는 특징점과, 제1 조건, 제2 조건 및 제3 조건 중 Zw≥H2에 합치하는 특징점의 양쪽이 불필요한 특징점으로서 삭제된다. 제1 조건, 제2 조건 및 제3 조건 중 Zw≥H2에 의해 규정되는 비검출 영역 NA2는, X 좌표 Xw의 범위가 -(W1/2+W2) 내지 (W1/2-W2), Y 좌표 Yw의 범위가 0 내지 L1, Z 좌표 Zw가 H2 이상이 되는 영역이라고 할 수 있다.
제3 조건을 상기한 조건으로 변경함으로써, 미러(18) 및 지지부(19)는 장해물로 판단되지 않게 된다. 또한, 제1 조건 및 제2 조건을 제1 실시 형태와 동일하게 하고 있기 때문에, X 좌표 Xw 및 Y 좌표 Yw에 대해서는 카운터 웨이트(15)와 마찬가지의 범위의 특징점이 삭제된다. 미러(18) 및 지지부(19)의 크기에 따라서는, 비검출 영역 NA2의 X 좌표 Xw의 범위 및 Y 좌표 Yw의 범위가 미러(18) 및 지지부(19)에 대하여 과잉으로 되거나, 부족한 경우가 있다. 이 경우에는, 카운터 웨이트(15)용의 비검출 영역 NA1과, 미러(18) 및 지지부(19)용의 비검출 영역 NA2에서, 각 조건을 개별로 설정해도 된다.
제2 실시 형태의 효과에 대하여 설명한다.
(2-1) 카운터 웨이트(15)에 더하여, 미러(18) 및 지지부(19)가 장해물로서 검출되는 것을 억제하고 있다. 복수의 부재가 검출 가능 영역 CA에 들어가 있는 경우라도, 복수의 부재에 대하여 비검출 영역 NA1, NA2를 설정함으로써, 복수의 부재의 각각을 장해물로 간주하지 않고, 검출 영역 DA의 장해물을 검출할 수 있다.
각 실시 형태는, 이하와 같이 변경하여 실시할 수 있다. 각 실시 형태 및 이하의 변형예는, 기술적으로 모순되지 않는 범위에서 서로 조합하여 실시할 수 있다.
○각 실시 형태에 있어서, 비검출 영역 NA1은, 월드 좌표계의 XY 평면 상에서의 좌표를 나타내는 2차원 좌표로 규정되어 있어도 된다. 즉, 각 실시 형태에 있어서의 제3 조건을 삭제하고, 제1 조건 및 제2 조건에 합치하는 특징점을 삭제하도록 해도 된다. 이 경우, Z 좌표 Zw에 관계없이, X 좌표 Xw 및 Y 좌표 Yw로 규정되는 비검출 영역에 존재하는 특징점이 불필요한 특징점으로서 삭제된다.
○각 실시 형태에 있어서, 스텝 S6에서 도출되는 장해물의 위치는, 월드 좌표계에 있어서의 3차원 좌표여도 된다. 위치 검출 장치(41)는, 장해물을 월드 좌표계의 XY 평면에 투영하지 않아도 된다고 할 수 있다.
○각 실시 형태에 있어서, 장해물 검출 장치(30)는, 센서로서, 월드 좌표계에 있어서의 3차원 좌표를 취득할 수 있는 센서이며 스테레오 카메라(31) 이외의 것을 사용해도 된다. 이러한 종류의 센서로서는, 예를 들어 LIDAR: Laser Imaging Detection and Ranging, 밀리미터파 레이다, TOF: Time of Flight 카메라를 들 수 있다. LIDAR은, 조사 각도를 변경하면서 레이저를 조사하고, 레이저가 닿은 부분으로부터 반사된 반사광을 수광함으로써 주변 환경을 인식 가능한 거리계이다. 밀리미터파 레이다란, 소정의 주파수 대역의 전파를 주위에 조사함으로써 주변 환경을 인식 가능한 것이다. TOF 카메라는, 카메라와, 광을 조사하는 광원을 구비하고, 광원으로부터 조사된 광의 반사광을 수광할 때까지의 시간으로부터 카메라에 의해 촬상된 화상의 화소마다 깊이 방향의 거리를 도출하는 것이다. 센서로서는, 상기한 센서의 조합이어도 된다.
○각 실시 형태에 있어서, 장해물 검출 장치(30)는, 센서로서, 수평 방향으로의 조사 각도를 변경하면서 레이저를 조사하는 이차원의 LIDAR을 구비하고 있어도 된다. LIDAR은, 조사 가능 각도의 범위 내에서, 조사 각도를 변경하면서 레이저를 조사한다. 조사 가능 각도는, 예를 들어 수평 방향에 대하여 270도이다. 2차원의 LIDAR의 검출 가능 영역 CA란, 조사 가능 각도와 측정 가능 거리에 의해 규정되는 범위이다. 레이저가 닿은 부분을 조사점으로 하면, 2차원의 LIDAR은 조사점까지의 거리를 조사 각도에 대응지어 측정 가능하다. 2차원의 LIDAR은, 2차원의 LIDAR을 원점으로 한 경우의 조사점의 2차원 좌표를 측정 가능하다고 할 수 있다. 2차원의 LIDAR에 의해 측정되는 2차원 좌표는, 수평 방향 중 일방향을 X축, 수평 방향 중 X축에 직교하는 방향을 Y축으로 하는 월드 좌표계의 좌표이다. 이 경우, 비검출 영역은, 2차원 좌표로 규정된다.
○각 실시 형태에 있어서, 스테레오 카메라(31)의 설치 위치는 적절히 변경해도 된다. 스테레오 카메라(31)는, 예를 들어 중심 위치 CP에 설치되어 있어도 된다. 이 경우, 월드 좌표계의 X축의 원점과 중심 위치 CP가 일치하기 때문에, 제1 조건은, 이하와 같이 변경할 수 있다.
제1 조건…-W1/2≤Xw≤W1/2
이와 같이, 스테레오 카메라(31)의 설치 위치의 변경 등에 의해 월드 좌표계의 좌표축이 실시 형태로부터 변경된 경우, 각 조건은 이것에 맞추어 변경된다.
○각 실시 형태에 있어서, 비검출 영역은, 스테레오 카메라(31)에 의해 촬상되는 화상에 설정되어 있어도 된다. 제1 화상 I1을 예로 들어 설명하면, 스테레오 카메라(31)의 설치 위치, 설치 각도로부터, 제1 화상 I1 중 카운터 웨이트(15)가 찍히는 좌표는 미리 파악할 수 있다. 제1 화상 I1 중 카운터 웨이트(15)가 찍히는 좌표를 비검출 영역으로서 설정하고, 비검출 영역에 대해서는 시차가 산출되지 않도록 한다. 비검출 영역은, 제1 화상 I1 및 제2 화상 중 적어도 한쪽에 설정되어 있으면 된다. 카운터 웨이트(15)가 찍히는 위치에 대해서는, 특징점이 얻어지지 않게 되기 때문에, 각 실시 형태와 마찬가지의 효과를 얻을 수 있다. 마찬가지로, 미러(18) 및 지지부(19)에 대해서도 화상에 찍히는 좌표를 비검출 영역으로서 설정할 수 있다. 화상에 비검출 영역을 설정하는 경우, 검출 가능 영역 CA는, 스테레오 카메라(31)에 의해 촬상되는 화상에 들어가는 범위가 된다. 상세하게 말하면, 스테레오 카메라(31)에 의해 촬상되는 화상 중 시차 화상을 취득할 수 있는 범위이다.
○각 실시 형태에 있어서, 비검출 영역 NA1, NA2는, 포크리프트(10)의 일부가 존재하고 있는 영역을 포함하고 있으면 되고, 포크리프트(10)의 일부가 존재하고 있는 영역보다도 큰 영역이어도 된다. 즉, 비검출 영역 NA1, NA2는 마진을 포함한 영역이어도 된다.
○각 실시 형태에 있어서, 위치 검출 장치(41)는, 스텝 S5에서 특징점을 클러스터화하여 장해물을 추출한 후에, 각 장해물이 비검출 영역 NA1에 존재하고 있는지 여부를 판정해도 된다. 위치 검출 장치(41)는, 비검출 영역 NA1에 존재하고 있는 장해물은 존재하고 있지 않다고 간주한다. 위치 검출 장치(41)는, 비검출 영역 NA1의 내외에 걸쳐 있는 장해물에 대해서는, 비검출 영역 NA1에 존재하고 있다고 간주하도록 해도 되고, 비검출 영역 NA1 외부에 존재하고 있다고 간주하도록 해도 된다. 위치 검출 장치(41)는, 비검출 영역 NA1의 내외에 걸쳐 장해물이 존재하고 있는 경우, 비검출 영역 NA1 외부에 존재하고 있는 부분만을 장해물로 간주해도 된다.
○각 실시 형태에 있어서, 검출 가능 영역 CA 중 비검출 영역 NA1, NA2 이외의 전체를 검출 영역 DA로 해도 되고, 검출 가능 영역 CA 중 비검출 영역 NA1, NA2 이외의 일부를 검출 영역 DA로 해도 된다.
○각 실시 형태에 있어서, 위치 검출 장치(41)는, 스텝 S6의 처리를 행한 후에, 검출한 장해물이 사람인지 사람 이외의 물체인지를 판정하는 처리를 행해도 된다. 장해물이 사람인지 여부의 판정은, 다양한 방법으로 행할 수 있다. 예를 들어, 위치 검출 장치(41)는, 스테레오 카메라(31)의 2개의 카메라(32, 33) 중 어느 것으로 촬상된 화상에 대하여, 사람 검출 처리를 행함으로써, 장해물이 사람인지 여부의 판정을 행한다. 위치 검출 장치(41)는, 스텝 S6에서 얻어진 월드 좌표계에 있어서의 장해물의 좌표를 카메라 좌표로 변환하고, 당해 카메라 좌표를 카메라(32, 33)에 의해 촬상된 화상의 좌표로 변환한다. 예를 들어, 위치 검출 장치(41)는, 월드 좌표계에 있어서의 장해물의 좌표를 제1 화상 I1의 좌표로 변환한다. 위치 검출 장치(41)는, 제1 화상 I1에 있어서의 장해물의 좌표에 대하여, 사람 검출 처리를 행한다. 사람 검출 처리는, 예를 들어 특징량 추출과, 사전에 기계 학습을 행한 사람 판정기를 사용하여 행해진다. 특징량 추출로서는, 예를 들어 HOG: Histogram of Oriented Gradients 특징량, Haar-Like 특징량 등의 화상에 있어서의 국소 영역의 특징량을 추출하는 방법을 들 수 있다. 사람 판정기로서는, 예를 들어 지도 학습 모델에 의한 기계 학습을 행한 것이 사용된다. 지도 학습 모델로서는, 예를 들어 서포트 벡터 머신, 뉴럴 네트워크, 나이브 베이즈, 딥 러닝, 결정 트리 등을 채용하는 것이 가능하다. 기계 학습에 사용하는 교사 데이터로서는, 화상으로부터 추출된 사람의 형상 요소나, 외관 요소 등의 화상 고유 성분이 사용된다. 형상 요소로서, 예를 들어 사람의 크기나 윤곽 등을 들 수 있다. 외관 요소로서는, 예를 들어 광원 정보, 텍스처 정보, 카메라 정보 등을 들 수 있다. 광원 정보에는, 반사율이나, 음영 등에 관한 정보가 포함된다. 텍스처 정보에는, 컬러 정보 등이 포함된다. 카메라 정보에는, 화질, 해상도, 화각 등에 관한 정보가 포함된다.
사람 검출 처리에 요하는 시간은 길기 때문에, 화상으로부터 사람을 검출하는 경우, 장해물이 존재하는 좌표를 특정하고, 그 좌표에 대하여 사람 검출 처리를 행한다. 좌표를 지정하여 사람 검출 처리를 행함으로써, 화상의 전역에 대하여 사람 검출 처리를 행하는 경우에 비해, 사람 검출 처리에 요하는 시간을 짧게 할 수 있다. 카운터 웨이트(15) 등의 포크리프트(10)의 일부가 장해물로 판단되지 않음으로써, 화상 중 포크리프트(10)의 일부가 찍히는 좌표에는, 사람 검출 처리가 행해지지 않는다. 따라서, 포크리프트(10)의 일부가 장해물로서 검출되고, 이 장해물이 찍히는 좌표에 대하여 사람 검출 처리가 행해지는 경우에 비해, 처리 시간의 단축을 도모할 수 있다.
○각 실시 형태에서는, 스테레오 카메라(31)보다도 후방에 위치하는 카운터 웨이트(15)의 전체를 비검출 영역 NA1로 하였지만, 스테레오 카메라(31)에 의해 촬상되는 범위를 고려하여 비검출 영역 NA1을 설정해도 된다. 도 1 및 도 2로부터 파악할 수 있는 바와 같이, 스테레오 카메라(31)의 설치 위치나 스테레오 카메라(31)의 수직 화각에 따라서는, 스테레오 카메라(31)보다도 후방에 위치하는 카운터 웨이트(15)라도, 스테레오 카메라(31)의 촬상 범위에 들어가지 않는 부분이 존재한다. 따라서, 스테레오 카메라(31)의 촬상 범위에 들어가지 않는 부분에 대해서는 비검출 영역 NA1에 포함시키지 않아도 된다. 예를 들어, 실시 형태와 같이 제2 조건이 설정되어 있는 경우, 제2 조건의 Y 좌표 Yw의 하한을 0보다도 큰 값으로 해도 된다.
○각 실시 형태에 있어서, 차량 제원을 기억하는 것 대신에, 비검출 영역을 규정하는 좌표를 위치 검출 장치(41)의 기억부(43)에 기억해도 된다. 비검출 영역 NA1이면, 좌표 P1 내지 P8을 기억해 두면 된다.
○각 실시 형태에 있어서, 장해물 검출 장치(30)는, 포크리프트(10)의 전방에 위치하는 장해물을 검출하는 것이어도 된다. 이 경우, 스테레오 카메라(31)는, 포크리프트(10)의 전방을 촬상하도록 설치된다. 스테레오 카메라(31)가 포크리프트(10)의 전방을 촬상하는 경우라도, 스테레오 카메라(31)의 설치 위치에 따라서는, 포크리프트(10)의 일부가 스테레오 카메라(31)의 검출 가능 영역 CA에 들어간다. 비검출 영역은, 검출 가능 영역 CA에 들어가는 포크리프트(10)의 일부에 맞추어 설정된다. 또한, 장해물 검출 장치(30)는, 포크리프트(10)의 전방 및 후방의 양측의 장해물을 검출하는 것이어도 된다. 이 경우, 스테레오 카메라(31)는, 포크리프트(10)의 전방을 촬상하는 것과, 포크리프트(10)의 후방을 촬상하는 것의 양쪽이 마련된다.
○각 실시 형태에 있어서, 월드 좌표계는, 직교 좌표계에 한정되지는 않고, 극좌표계로 해도 된다.
○각 실시 형태에 있어서, 위치 검출부는, 복수의 장치에 의해 구성되어 있어도 된다. 예를 들어, 위치 검출부는, 비검출부로서 기능하는 장치와, 검출부로서 기능하는 장치와, 좌표 도출부로서 기능하는 장치를 개별로 구비하고 있어도 된다.
○각 실시 형태에 있어서, 카메라 좌표로부터 월드 좌표로의 변환은 테이블 데이터에 의해 행해져도 된다. 테이블 데이터는, Y 좌표 Yc와 Z 좌표 Zc의 조합에 Y 좌표 Yw를 대응시킨 테이블 데이터와, Y 좌표 Yc와 Z 좌표 Zc의 조합에 Z 좌표 Zw를 대응시킨 테이블 데이터이다. 이들 테이블 데이터를 위치 검출 장치(41)의 기억부(43) 등에 기억해 둠으로써, 카메라 좌표계에 있어서의 Y 좌표 Yc와 Z 좌표 Zc로부터, 월드 좌표계에 있어서의 Y 좌표 Yw 및 Z 좌표 Zw를 구할 수 있다. 또한, 실시 형태에서는, 카메라 좌표계에 있어서의 X 좌표 Xc와, 월드 좌표계에 있어서의 X 좌표 Xw는 일치하기 때문에, X 좌표 Xw를 구하기 위한 테이블 데이터는 기억되지 않는다.
○각 실시 형태에 있어서, 제1 카메라(32)와 제2 카메라(33)는, 연직 방향으로 나열되어 배치되어 있어도 된다.
○각 실시 형태에 있어서, 장해물 검출 장치(30)는, 위치 검출 장치(41)의 기억부(43)에 기억되어 있는 정보 등, 다양한 정보를 기억하도록 구성된 보조 기억 장치를 구비하고 있어도 된다. 보조 기억 장치로서는, 예를 들어 하드디스크 드라이브, 솔리드 스테이트 드라이브, EEPROM: Electrically Erasable Progra㎜able Read Only Memory 등의, 데이터를 재기입 가능한 불휘발성 기억 장치가 사용된다.
○각 실시 형태에 있어서, 스테레오 카메라(31)는, 3개 이상의 카메라를 구비하고 있어도 된다.
○각 실시 형태에 있어서, 스테레오 카메라(31)는, 하역 장치(17) 등, 어떤 위치에 설치되어 있어도 된다.
○각 실시 형태에 있어서, 포크리프트(10)는, 엔진의 구동에 의해 주행하는 것이어도 된다. 이 경우, 주행 제어 장치는, 엔진에 대한 연료 분사량 등을 제어하는 장치가 된다.
○각 실시 형태에 있어서, 포크리프트(10)의 일부는, 카운터 웨이트(15), 미러(18) 및 지지부(19) 이외여도 되고, 포크리프트(10)의 일부이며 검출 가능 영역 CA에 들어가는 것이면, 어떤 것이어도 된다.
○각 실시 형태에 있어서, 장해물 검출 장치(30)는, 건설 기계, 자동 반송차, 트럭 등의 포크리프트(10) 이외의 산업 차량, 승용차, 및 비행체 등, 다양한 이동체에 탑재할 수 있다.
CA: 검출 가능 영역
DA: 검출 영역
NA1, NA2: 비검출 영역
10: 이동체로서의 포크리프트
15: 포크리프트의 일부인 카운터 웨이트
18: 포크리프트의 일부인 미러
19: 포크리프트의 일부인 지지부
30: 장해물 검출 장치
31: 센서로서의 스테레오 카메라
41: 위치 검출부, 비검출부, 검출부 및 좌표 도출부로서의 위치 검출 장치

Claims (5)

  1. 이동체에 탑재되는 장해물 검출 장치이며,
    장해물을 검출하기 위한 센서와,
    상기 센서의 검출 결과로부터 상기 장해물의 위치를 검출하는 위치 검출부를 구비하고,
    상기 위치 검출부는,
    상기 센서에 의해 상기 장해물을 검출 가능한 검출 가능 영역에 미리 설정된 영역이며 상기 이동체의 일부가 존재하는 영역을 비검출 영역으로 하면, 상기 비검출 영역에는 상기 센서의 검출 결과에 관계없이 상기 장해물이 존재하지 않는다고 판단하는 비검출부와,
    상기 검출 가능 영역 중 상기 비검출 영역과는 다른 영역인 검출 영역에 존재하는 상기 장해물의 위치를 검출하는 검출부를 구비하는, 장해물 검출 장치.
  2. 제1항에 있어서,
    상기 이동체는 포크리프트이며,
    상기 비검출 영역은, 상기 포크리프트의 카운터 웨이트가 존재하는 위치에 설정되어 있는, 장해물 검출 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 위치 검출부는, 수평 방향 중 일방향의 축을 X축, 수평 방향 중 상기 X축에 직교하는 방향의 축을 Y축, 상기 X축 및 상기 Y축에 직교하는 방향의 축을 Z축으로 하는 실공간 상의 좌표계에서의 상기 장해물의 좌표를 도출하는 좌표 도출부를 구비하는, 장해물 검출 장치.
  4. 제3항에 있어서,
    상기 비검출 영역은, 상기 실공간 상의 좌표계에서 상기 이동체의 일부가 존재하는 영역을 나타내는 3차원 좌표로 규정되어 있는, 장해물 검출 장치.
  5. 이동체에 탑재되어 있고, 또한, 센서와 위치 검출부를 구비하는 장해물 검출 장치에 의해 장해물의 위치를 검출하는 장해물 검출 방법이며,
    상기 위치 검출부가, 상기 센서의 검출 결과를 취득하는 스텝과,
    상기 센서에 의해 상기 장해물을 검출 가능한 검출 가능 영역에 미리 설정된 영역이며 상기 이동체의 일부가 존재하는 영역을 비검출 영역으로 하면, 상기 위치 검출부가, 상기 비검출 영역에는 상기 센서의 검출 결과에 관계없이 상기 장해물이 존재하지 않는다고 판단하는 스텝과,
    상기 위치 검출부가, 상기 검출 가능 영역 중 상기 비검출 영역과는 다른 영역인 검출 영역에 존재하는 상기 장해물의 위치를 검출하는 스텝을 포함하는, 장해물 검출 방법.
KR1020227045118A 2020-07-02 2021-06-22 장해물 검출 장치 및 장해물 검출 방법 KR20230015429A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020114903A JP7409240B2 (ja) 2020-07-02 2020-07-02 障害物検出装置及び障害物検出方法
JPJP-P-2020-114903 2020-07-02
PCT/JP2021/023647 WO2022004495A1 (ja) 2020-07-02 2021-06-22 障害物検出装置及び障害物検出方法

Publications (1)

Publication Number Publication Date
KR20230015429A true KR20230015429A (ko) 2023-01-31

Family

ID=79316197

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227045118A KR20230015429A (ko) 2020-07-02 2021-06-22 장해물 검출 장치 및 장해물 검출 방법

Country Status (9)

Country Link
US (1) US20230264938A1 (ko)
EP (1) EP4177694A4 (ko)
JP (1) JP7409240B2 (ko)
KR (1) KR20230015429A (ko)
CN (1) CN115720569A (ko)
AU (1) AU2021301647A1 (ko)
CA (1) CA3184206A1 (ko)
TW (1) TWI808434B (ko)
WO (1) WO2022004495A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7159083B2 (ja) * 2019-03-06 2022-10-24 株式会社クボタ 作業車両

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206801A (ja) 2015-04-17 2016-12-08 株式会社リコー 物体検出装置、移動体機器制御システム及び物体検出用プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5908826B2 (ja) * 2012-11-14 2016-04-26 住友重機械搬送システム株式会社 ジブクレーン
JPWO2016174754A1 (ja) * 2015-04-28 2018-02-15 株式会社小松製作所 作業機械の周辺監視装置及び作業機械の周辺監視方法
JP6844508B2 (ja) * 2017-11-15 2021-03-17 株式会社豊田自動織機 安全装置
JP6923480B2 (ja) * 2018-03-29 2021-08-18 ヤンマーパワーテクノロジー株式会社 障害物検知システム
JP6926020B2 (ja) * 2018-03-29 2021-08-25 ヤンマーパワーテクノロジー株式会社 障害物検知システム
CN111886518A (zh) * 2018-03-29 2020-11-03 洋马动力科技有限公司 障碍物检测系统以及作业车辆

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206801A (ja) 2015-04-17 2016-12-08 株式会社リコー 物体検出装置、移動体機器制御システム及び物体検出用プログラム

Also Published As

Publication number Publication date
JP2022012811A (ja) 2022-01-17
JP7409240B2 (ja) 2024-01-09
CA3184206A1 (en) 2022-01-06
AU2021301647A1 (en) 2023-02-02
WO2022004495A1 (ja) 2022-01-06
TWI808434B (zh) 2023-07-11
EP4177694A4 (en) 2023-12-20
TW202203155A (zh) 2022-01-16
CN115720569A (zh) 2023-02-28
US20230264938A1 (en) 2023-08-24
EP4177694A1 (en) 2023-05-10

Similar Documents

Publication Publication Date Title
US10902632B2 (en) Position detection apparatus and position detection method
US20200311964A1 (en) Object detection device and object detection method
JP7180445B2 (ja) 物体検出装置
KR20230015429A (ko) 장해물 검출 장치 및 장해물 검출 방법
US20230237809A1 (en) Image processing device of person detection system
US20190003822A1 (en) Image processing apparatus, device control system, imaging apparatus, image processing method, and recording medium
CN112611360B (zh) 物体检测装置、车辆及物体检测处理方法
US20230237830A1 (en) Image processing device of person detection system
JP6114572B2 (ja) 対象物領域推定方法、対象物領域推定装置およびそれを備えた対象物検出装置、車両。
JP7081526B2 (ja) 物体検出装置
JP2022094178A (ja) 産業車両
JP2023105461A (ja) 障害物検出装置、産業車両、及び障害物検出方法