JP5748314B1 - Cargo handling vehicle - Google Patents
Cargo handling vehicle Download PDFInfo
- Publication number
- JP5748314B1 JP5748314B1 JP2014112530A JP2014112530A JP5748314B1 JP 5748314 B1 JP5748314 B1 JP 5748314B1 JP 2014112530 A JP2014112530 A JP 2014112530A JP 2014112530 A JP2014112530 A JP 2014112530A JP 5748314 B1 JP5748314 B1 JP 5748314B1
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- road surface
- camera image
- detection target
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Forklifts And Lifting Vehicles (AREA)
Abstract
【課題】障害物の検出精度を高めることができる荷役車両を提供する。【解決手段】荷役車両であるフォークリフト1は、車両本体10と、障害物および路面Sを撮影するカメラと、カメラによって撮影されたカメラ画像から基準領域B1〜B4および検出対象領域F1〜F8,R1〜R8を抽出する領域抽出部と、基準領域B1〜B4の階調度に基づいて、路面領域と非路面領域とを区別するための基準階調度を算出する基準階調度算出部と、基準階調度に基づいて検出対象領域F1〜F8,R1〜R8に含まれる非路面領域を検出することによって障害物を検出する障害物検出部とを備える。基準領域B1〜B4は、カメラ画像において互いに離れて設けられる複数の領域であり、検出対象領域F1〜F7,R1〜R7は、カメラ画像において車両本体10が走行する方向に並ぶとともに車両本体10から遠ざかるにつれて小さくなる複数の領域である。【選択図】図3A cargo handling vehicle capable of improving the detection accuracy of an obstacle is provided. A forklift that is a cargo handling vehicle includes a vehicle main body, a camera that captures an obstacle and a road surface, and reference areas B1 to B4 and detection target areas F1 to F8, R1 based on camera images captured by the camera. A region extraction unit that extracts .about.R8, a reference gradation degree calculation unit that calculates a reference gradation degree for distinguishing between a road surface area and a non-road surface area based on the gradation degrees of the reference areas B1 to B4, and a reference gradation degree. And an obstacle detection unit that detects an obstacle by detecting non-road surface areas included in the detection target areas F1 to F8 and R1 to R8. The reference areas B1 to B4 are a plurality of areas provided apart from each other in the camera image, and the detection target areas F1 to F7 and R1 to R7 are arranged in the direction in which the vehicle main body 10 travels in the camera image and from the vehicle main body 10. It is a plurality of areas that become smaller as the distance increases. [Selection] Figure 3
Description
本発明は、車両本体の走行の妨げとなる障害物を検出するフォークリフト等の荷役車両に関するものである。 The present invention relates to a cargo handling vehicle such as a forklift that detects an obstacle that hinders travel of a vehicle body.
障害物を検出する荷役車両として、障害物検出センサを備えたフォークリフトが知られており、特許文献1および2には、車両本体の前方に存在する障害物を検出するための障害物検出部を備えたフォークリフトが記載されている。
Forklifts equipped with obstacle detection sensors are known as cargo handling vehicles for detecting obstacles.
特許文献1のフォークリフトは、車両本体の下部およびフォークの先端に設けられたセンサを備えている。特許文献1の段落[0023]には、それらのセンサを、光電センサまたは超音波センサにより構成することが記載されている。 The forklift disclosed in Patent Document 1 includes sensors provided at the lower part of the vehicle body and at the tip of the fork. Paragraph [0023] of Patent Document 1 describes that these sensors are configured by photoelectric sensors or ultrasonic sensors.
また、特許文献2のフォークリフトは、フォークの下方であって車両本体の前方に存在する障害物を検出する前方障害物検出器を備えている。特許文献2の段落[0015]には、障害物検出器にビデオカメラを利用することが記載されており、ビデオカメラで得られる画像を処理することで障害物との間隔を検出することが示唆されている。
In addition, the forklift disclosed in
ところで、特許文献1に記載されるような光電センサおよび超音波センサは、障害物の検出範囲が狭いという不都合があるため、広範囲から障害物を検出するためには、カメラを用いることが好ましい。カメラを用いて路面上の障害物を検出するためには、カメラによって撮影された画像であるカメラ画像から、所定の基準階調度に基づいて、路面が写っている路面領域と障害物を含んだ非路面領域とを区別して、障害物を検出する必要がある。そして、路面領域と非路面領域とを精度良く区別するためには、荷役車両が走行する路面に適した基準階調度を算出する必要がある。 By the way, since the photoelectric sensor and the ultrasonic sensor described in Patent Document 1 have a disadvantage that the detection range of the obstacle is narrow, it is preferable to use a camera in order to detect the obstacle from a wide range. In order to detect obstacles on the road surface using the camera, the road image area and obstacles in which the road surface is shown are included from the camera image, which is an image taken by the camera, based on a predetermined reference gradation level. It is necessary to detect an obstacle by distinguishing it from a non-road surface area. And in order to distinguish a road surface area | region and a non-road surface area | region accurately, it is necessary to calculate the reference | standard gradation degree suitable for the road surface where a cargo handling vehicle drive | works.
しかし、カメラ画像に含まれる階調度から基準階調度を算出するとき、カメラ画像には路面が写っていない非路面領域も含まれる場合があり、路面に適した基準階調度を算出することができない場合があった。そのため、障害物の検出精度が低くなるという問題があった。 However, when calculating the reference gradation level from the gradation level included in the camera image, the camera image may include a non-road surface area where the road surface is not reflected, and the reference gradation level suitable for the road surface cannot be calculated. There was a case. Therefore, there is a problem that the detection accuracy of the obstacle is lowered.
本発明は、上記事情に鑑みてなされたものであって、カメラを用いた障害物の検出において、障害物の検出精度を高めることができる荷役車両を提供することを課題とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a cargo handling vehicle capable of increasing the detection accuracy of an obstacle in the detection of an obstacle using a camera.
上記課題を解決するため、請求項1に記載の本発明の荷役車両は、路面上を走行可能な車両本体と、前記車両本体の走行を妨げる障害物および前記路面を撮影するカメラと、前記カメラによって撮影されたカメラ画像の一部分である基準領域を前記カメラ画像から抽出し、さらに、前記カメラ画像の一部分である検出対象領域を前記カメラ画像から抽出する領域抽出部と、前記基準領域の階調度に基づいて、前記路面が写っている路面領域と前記路面が写っていない非路面領域とを区別するための基準階調度を算出する基準階調度算出部と、前記基準階調度に基づいて前記検出対象領域に含まれる前記非路面領域を検出することによって前記障害物を検出する障害物検出部とを備え、前記領域抽出部は、前記カメラ画像において互いに離れて設けられる複数の領域を前記基準領域として前記カメラ画像から抽出し、さらに、前記カメラ画像において前記車両本体が走行する方向に並ぶとともに前記車両本体から遠ざかるにつれて小さくなる複数の領域を前記検出対象領域として前記カメラ画像から抽出することを特徴とする。 In order to solve the above-described problem, a cargo handling vehicle according to the first aspect of the present invention includes a vehicle body that can travel on a road surface, an obstacle that prevents the vehicle body from traveling, a camera that captures the road surface, and the camera A reference region that is a part of the camera image photographed by the camera image is extracted from the camera image, and a region extraction unit that extracts a detection target region that is a part of the camera image from the camera image; and a gradation level of the reference region A reference gradation degree calculating unit for calculating a reference gradation degree for distinguishing between a road surface area where the road surface is reflected and a non-road surface area where the road surface is not reflected, and the detection based on the reference gradation degree An obstacle detection unit that detects the obstacle by detecting the non-road surface region included in the target region, and the region extraction units are separated from each other in the camera image. A plurality of regions to be extracted from the camera image as the reference region, and a plurality of regions arranged in the camera image in a direction in which the vehicle main body travels and become smaller from the vehicle main body as the detection target region. It extracts from the said camera image, It is characterized by the above-mentioned.
また、請求項2に記載の荷役車両は、請求項1に記載の荷役車両において、前記カメラは、鉛直方向から見て360°の範囲を撮影可能な全方位カメラにより構成されていることを特徴とする。
Further, the cargo handling vehicle according to
また、請求項3に記載の荷役車両は、請求項1または2に記載の荷役車両において、前記領域抽出部は、前記車両本体の前方に位置する前方領域および前記車両本体の後方に位置する後方領域を前記検出対象領域として前記カメラ画像から抽出できるように構成されており、前記障害物検出部は、前記車両本体の前方および後方に存在する前記障害物を検出できるように構成されていることを特徴とする。
Further, the cargo handling vehicle according to
また、請求項4に記載の荷役車両は、請求項3に記載の荷役車両において、前記領域抽出部は、前記車両本体の走行態様に応じて、前記前方領域および前記後方領域のいずれか一方を前記検出対象領域として前記カメラ画像から抽出し、前記障害物検出部は、前記車両本体の走行態様に応じて、前記車両本体の前方または後方に存在する前記障害物を検出することを特徴とする。
In addition, the cargo handling vehicle according to
また、請求項5に記載の荷役車両は、請求項1〜4のいずれか一項に記載の荷役車両において、前記領域抽出部は、前記検出対象領域に比べて前記車両本体の近くに位置する領域を前記基準領域として前記カメラ画像から抽出することを特徴とする。 Further, the cargo handling vehicle according to claim 5 is the cargo handling vehicle according to any one of claims 1 to 4, wherein the region extraction unit is located closer to the vehicle body than the detection target region. A region is extracted from the camera image as the reference region.
また、請求項6に記載の荷役車両は、請求項1〜5のいずれか一項に記載の荷役車両において、前記障害物検出部は、前記検出対象領域に含まれる前記非路面領域を示す画素の数が当該検出対象領域の全体の画素数に対して所定以上の割合であることに基づいて、前記非路面領域を検出することを特徴とする。 In addition, the cargo handling vehicle according to claim 6 is the cargo handling vehicle according to any one of claims 1 to 5, wherein the obstacle detection unit is a pixel indicating the non-road surface area included in the detection target area. The non-road surface area is detected based on the fact that the number of the above is a predetermined ratio or more with respect to the total number of pixels of the detection target area.
また、請求項7に記載の荷役車両は、請求項1〜6のいずれか一項に記載の荷役車両において、前記カメラ画像において前記非路面領域が検出された前記検出対象領域を検出ブロックとし、前記障害物検出部は、前記車両本体の走行に伴って、前記検出ブロックを構成する互いに隣り合った前記検出対象領域の数が変化したことに基づいて、前記障害物を検出することを特徴とする。 Further, the cargo handling vehicle according to claim 7 is the cargo handling vehicle according to any one of claims 1 to 6, wherein the detection target area in which the non-road surface area is detected in the camera image is set as a detection block, The obstacle detection unit detects the obstacle based on a change in the number of the detection target areas adjacent to each other constituting the detection block as the vehicle main body travels. To do.
本発明によれば、カメラを用いた障害物の検出において、障害物の検出精度を高めることができる荷役車両を提供することができる。 According to the present invention, it is possible to provide a cargo handling vehicle capable of increasing the accuracy of detecting an obstacle in the detection of an obstacle using a camera.
図面を参照しながら、本発明に係る荷役車両の一実施形態を説明する。なお、図面において、矢印Xで示す前後方向Xと、矢印Yで示す左右方向Yと、矢印Zで示す上下方向Zとは、互いに直交する方向である。 An embodiment of a cargo handling vehicle according to the present invention will be described with reference to the drawings. In the drawings, a front-rear direction X indicated by an arrow X, a left-right direction Y indicated by an arrow Y, and a vertical direction Z indicated by an arrow Z are directions orthogonal to each other.
図1に示すように、リーチ式のフォークリフト1は、車両本体10、走行装置20、荷役装置30、操作装置40、およびカメラ50等を備えた荷役車両である。
車両本体10は、走行装置20および荷役装置30の動力源であるバッテリー(図示略)を収納する。また、車両本体10には、フォークリフト1を運転するオペレータ(図示略)が搭乗する搭乗部11と、搭乗部11の上方に配置されたヘッドガード12とが設けられている。ヘッドガード12は、格子状の構造物により構成されており、車両本体10に立たせて設けられたステー12Aにより支持されている。なお、図1(B)においては、ヘッドガード12の図示は省略されている。車両本体10は、走行装置20が動作することによって、路面S上を前後方向Xに走行可能に構成されている。
As shown in FIG. 1, the reach-type forklift 1 is a cargo handling vehicle including a
The vehicle
走行装置20は、前輪21、後輪22、後輪22を駆動させる走行用モーター(図示略)、および後輪22の向きを変える転舵装置(図示略)等により構成されている。また、荷役装置30は、車両本体10の前方に設けられており、上下方向Zに伸縮可能なマスト31と、マスト31に沿って昇降可能なフォーク32とを備えている。走行装置20および荷役装置30は、操作装置40を用いて入力されるオペレータからの指示に基づいて動作するように構成されている。
The traveling
操作装置40は、車両本体10に設けられており、ステアリングハンドル41、走行用レバー42、およびデッドマンブレーキであるブレーキペダル(図示略)等により構成されている。オペレータがステアリングハンドル41を回転させると、後輪22の向きを変える指示がフォークリフト1に入力される。また、オペレータが走行用レバー42を前方へ傾けると、車両本体10が前方へ進むように後輪22を駆動する指示がフォークリフト1に入力され、オペレータが走行用レバー42を後方へ傾けると、車両本体10が後方へ進むように後輪22を駆動する指示がフォークリフト1に入力される。オペレータがブレーキペダルを踏むと、車両本体10の走行の制動を解除する指示がフォークリフト1に入力される。
The
カメラ50は、ヘッドガード12に設けられており、鉛直方向から見て360°の範囲を撮影可能な全方位カメラにより構成されている。カメラ50は、搭乗部11の上方から、カメラ50の下方に存在する路面Sを撮影するとともに、路面S上に存在する車両本体10の走行を妨げる障害物を撮影する。カメラ50は、路面S等をカラーで撮影し、互いに直交する第1座標軸および第2座標軸に沿って並ぶ複数の画素で構成された二次元画像を取得する。カメラ50は、路面S等が写った上記画像を、微小時間間隔(例えば約33ミリ秒)で繰り返し取得する。
The
図2を参照して、カメラ50によって撮影された画像(以下、「カメラ画像」という)から障害物を検出するための構成を説明する。
図2に示すように、フォークリフト1は、カメラ画像に対して所定の前処理を施す前処理部61と、カメラ画像から所定の領域を抽出する領域抽出部62と、基準階調度を算出する基準階調度算出部63と、障害物を検出する障害物検出部64とを備えている。
With reference to FIG. 2, a configuration for detecting an obstacle from an image photographed by the camera 50 (hereinafter referred to as “camera image”) will be described.
As shown in FIG. 2, the forklift 1 includes a preprocessing
前処理部61は、カメラ画像に対して所定の前処理を施す集積回路により構成される。具体的には、前処理部61は、カメラ画像に対して、カラー画像をグレースケール画像に変換する処理等を施す。グレースケール画像を構成する画素の各々は、例えば0〜255の範囲に含まれる画素値を有している。画素値は階調度を表す。
The preprocessing
領域抽出部62は、カメラ画像に係る画像データを部分的に抽出する集積回路により構成される。領域抽出部62は、カメラ画像の一部分である基準領域B1〜B4(図3参照)をカメラ画像から抽出し、さらに、カメラ画像の一部分である検出対象領域F1〜F8,R1〜R8(図3参照)をカメラ画像から抽出する。領域抽出部62は、検出対象領域F1〜F8,R1〜R8のうち、車両本体10が前方に走行するときには、検出対象領域F1〜F8をカメラ画像から抽出し、車両本体10が後方に走行するときには、検出対象領域R1〜R8をカメラ画像から抽出する。すなわち、領域抽出部62は、車両本体10の走行態様に応じて、検出対象領域F1〜F8または検出対象領域R1〜R8の一方をカメラ画像から抽出する。基準領域B1〜B4および検出対象領域F1〜F8,R1〜R8については、図3を用いて後述する。
The
基準階調度算出部63は、基準領域B1〜B4の階調度に基づいて基準階調度を算出する集積回路により構成される。基準階調度は、カメラ画像において、路面Sが写っている路面領域と、路面Sが写っていない(すなわち、障害物を含み得る)非路面領域とを区別するための階調度である。具体的には、例えば、基準階調度算出部63は、基準領域B1〜B4に含まれる画素が有する画素値の平均を路面領域の階調度として算出し、その路面領域の階調度を含む所定範囲内の階調度を基準階調度とする。例えば、路面領域の階調度が20である場合には、基準階調度として15〜25が算出される。
The reference gradation
障害物検出部64は、基準階調度に基づいて検出対象領域F1〜F8,R1〜R8に含まれる非路面領域を検出することによって障害物を検出する集積回路により構成される。障害物検出部64は、障害物検出処理として、二値化処理、非路面領域検出処理、および検出ブロック比較処理を行う。二値化処理は、カメラ画像の一部である検出対象領域F1〜F8,R1〜R8を構成する画素値を、基準階調度に基づいて二値化する処理である。二値化処理においては、例えば、基準階調度が15〜25である場合には、路面領域を示す15〜25の画素値は0に変換され、非路面領域を示す他の画素値は1に変換される。非路面領域検出処理は、検出対象領域F1〜F8,R1〜R8の各々に含まれる非路面領域を示す画素の数が、当該検出対象領域F1〜F8,R1〜R8の全体の画素数に対して所定以上の割合であることに基づいて、非路面領域を検出する処理である。非路面領域検出処理においては、例えば、検出対象領域F1の全体の画素数が10万画素であるとき、画素値が1である画素の数が8万画素(10万画素の80%)以上である場合に、検出対象領域F1から非路面領域が検出される。このように行われる非路面領域の検出は、他の検出対象領域F2〜F8,R1〜R8の各々においても同様に行われる。なお、非路面領域の検出は、検出対象領域F1〜F8,R1〜R8からフォークリフト1の一部が写る領域およびオペレータが写る蓋然性の高い領域を除いて行われる。検出ブロック比較処理は、微小時間間隔で撮影された2つのカメラ画像において非路面領域が検出された検出対象領域(以下、「検出ブロック」という)を比較し、検出ブロックの変化に基づき障害物を検出する処理である。検出ブロックの変化に基づく障害物の検出は、図4を用いて後述する。非路面領域検出処理において、障害物検出部64は、検出対象領域F1〜F8,R1〜R8のうち、車両本体10が前方に走行するときには、検出対象領域F1〜F8から非路面領域を検出し、車両本体10が後方に走行するときには、検出対象領域R1〜R8から非路面領域を検出する。すなわち、障害物検出部64は、車両本体10の走行態様に応じて、検出対象領域F1〜F8または検出対象領域R1〜R8の一方から障害物を検出する。
The
また、フォークリフト1は、障害物検出部64による障害物の検出結果に基づいて所定の動作を制御する制御部71と、報知動作を行う報知部72とを備えている。
制御部71は、報知部72を制御する集積回路により構成されている。制御部71は、障害物検出部64によって障害物が検出されたとき、報知部72に報知動作を行わせる。
In addition, the forklift 1 includes a
The
報知部72は、スピーカーおよび警告灯により構成される。報知部72は、音および光を発することによって、車両本体10の走行を妨げる障害物が検出された旨をオペレータに対して報知する。
The notification unit 72 includes a speaker and a warning lamp. The notification unit 72 notifies the operator that an obstacle that hinders the traveling of the
図3を参照して、カメラ画像、基準領域B1〜B4、検出対象領域F1〜F8,R1〜R8を説明する。
図3に示すように、カメラ画像の中央には、ヘッドガード12の下方に位置する搭乗部11に搭乗しているオペレータが写る。また、カメラ画像には、車両本体10が走行する路面Sが写るとともに、ヘッドガード12、ステー12A、およびマスト31等のフォークリフト1の一部が写る。
With reference to FIG. 3, camera images, reference regions B1 to B4, detection target regions F1 to F8, and R1 to R8 will be described.
As shown in FIG. 3, an operator who is on
基準領域B1〜B4は、カメラ画像において路面Sが写っている蓋然性の高い領域として予め設定されている矩形状領域である。基準領域B1〜B4は、カメラ画像において互いに離れて設けられる複数の領域である。基準領域B1,B3は、路面Sにおいて、車両本体10の左方に位置する場所であって、互いに前後方向Xに離れて位置する場所に対応する。また、基準領域B2,B4は、路面Sにおいて、車両本体10の右方に位置する場所であって、互いに前後方向Xに離れて位置する場所に対応する。基準領域B1,B2は、検出対象領域F1〜F8に比べて車両本体10の近くに位置する領域であって、基準領域B3は、検出対象領域R1〜R8に比べて車両本体10の近くに位置する領域である。
The reference areas B1 to B4 are rectangular areas that are set in advance as highly likely areas where the road surface S is reflected in the camera image. The reference areas B1 to B4 are a plurality of areas provided apart from each other in the camera image. The reference areas B1 and B3 correspond to places on the road surface S that are located on the left side of the
検出対象領域F1〜F8,R1〜R8は、カメラ画像において車両本体10の走行を妨げる障害物が写る蓋然性の高い領域として予め設定されている矩形状領域である。検出対象領域F1〜F8,R1〜R8は、車両本体10が走行する前後方向Xに並んでいる領域である。検出対象領域F1〜F8は、車両本体10の前方に位置する前方領域であって、検出対象領域R1〜R8は、車両本体10の後方に位置する後方領域である。検出対象領域F1〜F7は、カメラ画像において、車両本体10から遠ざかるにつれて(すなわち前方に向かうにつれて)小さくなっている複数の領域である。また、同様に、検出対象領域R1〜R7は、カメラ画像において、車両本体10から遠ざかるにつれて(すなわち後方に向かうにつれて)小さくなっている複数の領域である。すなわち、検出対象領域F1〜F7または検出対象領域R1〜R7のうち互いに隣り合う2つの領域を領域A1および領域A2としたとき、車両本体10から離れて位置する領域A1のy方向の大きさは、領域A1よりも車両本体10の近くに位置する領域A2のy方向の大きさに比べて小さく、領域A1を構成する全体の画素数は、領域A2を構成する全体の画素数に比べて少ない。具体的には、例えば、検出対象領域F1〜F7または検出対象領域R1〜R7の各々の全体の画素数は、約10.4万画素と約5.8万画素と約3.1万画素と約1.4万画素と約0.9万画素と約0.7万画素と約0.5万画素である。なお、検出対象領域F1〜F7,R1〜R7の各々は、路面Sにおいては、同一の寸法を有するとともに前後方向Xにおいて等間隔に位置する場所に対応している。
The detection target areas F1 to F8 and R1 to R8 are rectangular areas that are set in advance as highly probable areas in which obstacles that obstruct the traveling of the vehicle
次に、図4を参照して、検出ブロックの変化に基づく障害物の検出について説明する。
例えば、図4(A)に示すように障害物が検出対象領域R3に対応する場所に存在しているとき、障害物は立体的形状を有するため、カメラ画像において検出対象領域R3だけではなく検出対象領域R4,R5からも非路面領域が検出される。すなわち、図4(A)においては、検出対象領域R3〜R5が検出ブロックを構成する。図4(A)に示す状態から、車両本体10が後方に走行すると、図4(B)に示すように障害物が検出対象領域R2に対応する場所に相対的に移動する。このとき、カメラ画像においては検出対象領域R2,R3から非路面領域が検出される。すなわち、図4(B)においては、検出対象領域R2,R3が検出ブロックを構成する。障害物検出部64は、このように検出ブロックを構成する領域の位置および数の変化を検出することによって、路面S上に存在する障害物を検出し、立体的な障害物と平面的な非障害物とを区別する。
Next, detection of an obstacle based on the change of the detection block will be described with reference to FIG.
For example, as shown in FIG. 4A, when an obstacle is present at a location corresponding to the detection target region R3, the obstacle has a three-dimensional shape. Therefore, the camera image detects not only the detection target region R3 but also the detection target region R3. A non-road surface area is also detected from the target areas R4 and R5. That is, in FIG. 4A, the detection target regions R3 to R5 constitute a detection block. When the vehicle
次に、図5を参照して、フォークリフト1が行う周囲監視処理の流れを説明する。周囲監視処理は、オペレータが走行用レバー42を操作することにより、車両本体10を前方または後方へ走行させる指示がフォークリフト1に入力されたとき開始される。
Next, with reference to FIG. 5, the flow of the surrounding monitoring process performed by the forklift 1 will be described. The surrounding monitoring process is started when an instruction to drive the
周囲監視処理において、まず、カメラ50が、微小時間間隔で撮影された路面Sを含む2つの画像を取得し(ステップS1)、次いで、前処理部61が、カラーの各カメラ画像をグレースケールのカメラ画像に変換する処理を含む前処理を行う(ステップS2)。
In the surrounding monitoring process, first, the
次いで、領域抽出部62が、グレースケールの各カメラ画像から、基準領域B1〜B4を抽出し(ステップS3)、さらに、車両本体10が進む方向に位置する検出対象領域F1〜F8または検出対象領域R1〜R8を抽出する(ステップS4)。ステップS4では、車両本体10を前方へ走行させる指示がフォークリフト1に入力されている場合には、検出対象領域F1〜F8が抽出され、車両本体10を後方へ走行させる指示がフォークリフト1に入力されている場合には、検出対象領域R1〜R8が抽出される。
Next, the
次いで、基準階調度算出部63が、各カメラ画像の基準領域B1〜B4の階調度に基づいて、各カメラ画像の基準階調度を算出する(ステップS5)。そして、障害物検出部64は、上述した障害物検出処理を行う(ステップS6)。
Next, the reference gradation
制御部71は、ステップS6における障害物検出処理の結果に基づき、障害物検出部64によって障害物が検出されたか否かを判断する(ステップS7)。障害物が検出されたとステップS7で判断されなかった場合、すなわち障害物が検出されなかった場合は、ステップS1以降の処理が繰り返される。
Based on the result of the obstacle detection process in step S6, the
一方、障害物が検出されたとステップS7で判断された場合、すなわち障害物が検出された場合は、制御部71は、報知部72に報知動作を開始させることによって、障害物が検出された旨をオペレータに報知する(ステップS8)。
On the other hand, if it is determined in step S7 that an obstacle has been detected, that is, if an obstacle has been detected, the
本実施形態のフォークリフト1においては以下の効果が得られる。
(1)フォークリフト1は、車両本体10と、カメラ50と、カメラ50によって撮影されたカメラ画像から基準領域B1〜B4および検出対象領域F1〜F8,R1〜R8を抽出する領域抽出部62と、基準階調度算出部63と、障害物検出部64とを備える。領域抽出部62は、カメラ画像において互いに離れて設けられる複数の領域を基準領域B1〜B4としてカメラ画像から抽出し、さらに、カメラ画像において車両本体10が走行する方向に並ぶとともに車両本体10から遠ざかるにつれて小さくなる複数の領域F1〜F7,R1〜R7を検出対象領域としてカメラ画像から抽出する。上記構成によれば、非路面領域を検出することによって障害物が検出されるため、障害物が写っている蓋然性の高い非路面領域をカメラ画像から精度良く検出することによって、障害物の検出精度が高まる。そして、非路面領域を検出するための基準階調度は、カメラ画像において互いに離れて設けられる複数の領域(基準領域B1〜B4)の階調度に基づいて算出される。このため、基準領域B1〜B4を構成する1つの領域に路面が写っていない場合であっても、路面領域と非路面領域とを精度良く区別可能な基準階調度を算出することができる。したがって、当該基準階調度に基づいて非路面領域をカメラ画像から精度良く検出することができ、障害物の検出精度を高めることができる。また、非路面領域は、カメラ画像において車両本体10が走行する方向に並ぶとともに車両本体10から遠ざかるにつれて小さくなる複数の領域(検出対象領域F1〜F7,R1〜R7)から検出される。したがって、カメラ画像の全体に対して小さい検出対象領域F1〜F7,R1〜R7から障害物を検出することができるため、障害物を検出するための負荷を小さくすることができる。
In the forklift 1 of the present embodiment, the following effects are obtained.
(1) The forklift 1 includes a vehicle
(2)カメラ50は、鉛直方向から見て360°の範囲を撮影する全方位カメラにより構成されている。このため、複数のカメラを用いることなく、障害物を広範囲から検出することが可能となる。
(2) The
(3)領域抽出部62は、車両本体10の前方に位置する前方領域F1〜F8および車両本体10の後方に位置する後方領域R1〜R8を検出対象領域としてカメラ画像から抽出できるように構成されており、障害物検出部64は、車両本体10の前方および後方に存在する障害物を検出できるように構成されている。この構成によれば、車両本体10の前方および後方のいずれか一方に存在する障害物が検出される構成に比べて、障害物を広範囲から検出することができる。
(3) The
(4)領域抽出部62は、車両本体10の走行態様に応じて、前方領域F1〜F8および後方領域R1〜R8のいずれか一方を検出対象領域としてカメラ画像から抽出し、障害物検出部64は、車両本体10の走行態様に応じて、車両本体10の前方または後方に存在する障害物を検出する。この構成によれば、車両本体10の走行態様の切り替えに応じて障害物を検出することにより、車両本体10が前方へ走行する際は、車両本体10の前方に存在する障害物を検出することができ、車両本体10が後方へ走行する際は、車両本体10の後方に存在する障害物を検出することができる。非路面領域は、車両本体10の走行態様に応じて抽出された前方領域または後方領域から検出されるため、車両本体10の走行態様に関係なく前方領域F1〜F8および後方領域R1〜R8の双方から非路面領域が検出される構成に比べて、障害物を検出するための負荷を小さくすることができる。
(4) The
(5)領域抽出部62は、検出対象領域F1〜F8に比べて車両本体10の近くに位置する領域を基準領域B1,B2としてカメラ画像から抽出する。また、領域抽出部62は、検出対象領域R1〜R8に比べて車両本体10の近くに位置する領域を基準領域B3としてカメラ画像から抽出する。車両本体10が障害物に接触しないようにフォークリフト1が運転されることを考慮すると、車両本体10の近傍には、車両本体10から離れた位置に比べて障害物が存在していない蓋然性が高い。よって、上記構成によれば、検出対象領域F1〜F8,R1〜R8に比べて車両本体10の遠くに位置する領域が基準領域として抽出される構成に比べて、基準領域に路面領域が含まれ易くなり、路面領域と非路面領域とを精度良く区別することを可能とする基準階調度を算出することができる。
(5) The
(6)障害物検出部64は、検出対象領域(例えば、検出対象領域F1)に含まれる非路面領域を示す画素の数が当該検出対象領域の全体の画素数に対して所定以上の割合であることに基づいて、非路面領域を検出する。この構成によれば、パターン認識を行うことなく障害物を検出することが可能となり、障害物を検出するための負荷をより小さくすることができる。
(6) The
(7)カメラ画像において非路面領域が検出された検出対象領域を検出ブロックとし、障害物検出部64は、車両本体10の走行に伴って、検出ブロックを構成する互いに隣り合った検出対象領域の位置および数が変化したことに基づいて、障害物を検出する。この構成によれば、車両本体10の走行中に撮影された2つのカメラ画像の比較に基づき、車両本体10に近づく立体的形状を有する障害物を精度良く検出することができる。
(7) The detection target area in which the non-road surface area is detected in the camera image is set as a detection block, and the
本発明は、上記実施形態に限定されるものではなく、上記実施形態の構成を適宜変更することもできる。例えば、上記構成を以下のように変更して実施することもでき、以下の変更を組み合わせることもできる。 The present invention is not limited to the above-described embodiment, and the configuration of the above-described embodiment can be changed as appropriate. For example, the above configuration can be changed as follows, and the following changes can be combined.
・検出対象領域から障害物を検出することができるのであれば、上記実施形態に記載した処理以外の方法によって障害物検出処理が行われてもよい。例えば、障害物検出部64は、検出ブロックの位置および数の変化に基づかずに、非路面領域が検出対象領域から検出されたことに基づいて、または非路面領域が複数の検出対象領域から検出されたことに基づいて、障害物を検出することもできる。また、例えば、障害物検出部64は、パターン認識を行うことによって障害物を検出することもできる。
As long as an obstacle can be detected from the detection target region, the obstacle detection process may be performed by a method other than the process described in the above embodiment. For example, the
・領域抽出部62は、車両本体10の前方に位置する前方領域および車両本体10の後方に位置する後方領域の一方のみを検出対象領域としてカメラ画像から抽出することもできる。すなわち、障害物検出部64は、車両本体10の前方および後方のいずれか一方に存在する障害物を検出するように構成することもできる。
The
・障害物を検出することができるのであれば、カメラ画像から抽出される検出対象領域の個数および配置および大きさを適宜変更してもよい。すなわち、一部の検出対象領域F8,R8を除いた複数の検出対象領域F1〜F7,R1〜R7を車両本体10から遠ざかるにつれて小さくなる領域とすることもでき、カメラ画像において車両本体10が走行する方向に並ぶ全ての検出対象領域を車両本体10から遠ざかるにつれて小さくなる領域とすることもできる。
If the obstacle can be detected, the number, arrangement, and size of the detection target areas extracted from the camera image may be changed as appropriate. That is, a plurality of detection target areas F1 to F7 and R1 to R7 excluding a part of the detection target areas F8 and R8 can be made smaller areas as they move away from the vehicle
・非路面領域を精度良く検出することができるのであれば、カメラ画像から抽出される基準領域の個数および配置および大きさを適宜変更してもよい。例えば、2つ、3つ、または5つ以上の領域がカメラ画像から基準領域として抽出される構成を採用することもできる。また、基準階調度の算出方法を、上記実施形態に記載した以外の方法に変更してもよい。例えば、複数の基準領域の各々の階調度を算出し、これらの階調度に基づいて、路面が写っている蓋然性がより高い基準領域を判断し、複数の基準領域のうち路面が写っている蓋然性がより高い領域の階調度に基づいて、基準階調度を算出することもできる。 If the non-road surface area can be detected with high accuracy, the number, arrangement, and size of the reference areas extracted from the camera image may be appropriately changed. For example, a configuration in which two, three, or five or more regions are extracted from the camera image as the reference region may be employed. In addition, the calculation method of the reference gradation may be changed to a method other than that described in the above embodiment. For example, the degree of gradation of each of the plurality of reference areas is calculated, and based on these degrees of gradation, a reference area having a higher probability of showing the road surface is determined, and the probability that the road surface is reflected among the plurality of reference areas. It is also possible to calculate the reference gradation level based on the gradation level of a higher region.
・路面Sおよび障害物を撮影することができるのであれば、カメラ50に係る構成を適宜変更してもよい。例えば、カメラ50の配置および個数を変更することもできる。また、カメラ50を、全方位カメラ以外のカメラにより構成することもできる。
-As long as the road surface S and an obstruction can be image | photographed, you may change the structure which concerns on the
・報知部72が行う動作を適宜変更することもできる。例えば、報知部72は、車両本体10の走行を妨げる障害物が検出された旨を、音および光のいずれか一方でオペレータに対して報知することもできる。
-The operation | movement which the alerting | reporting part 72 performs can also be changed suitably. For example, the notification unit 72 can notify the operator that either an obstacle or a sound that hinders the traveling of the
・障害物の検出結果に基づいて制御部71が制御する動作を適宜変更することもできる。例えば、制御部71は走行装置20の動作を制御してもよく、障害物検出部64によって障害物が検出されたとき、制御部71は、ブレーキペダルの操作に関係なく、障害物に車両本体10が衝突しないように走行装置20を制御することもできる。
-The operation | movement which the
・フォークリフト1の車両本体10および走行装置20および荷役装置30および操作装置40に係る構成を適宜変更することもできる。例えば、カウンターバランス式のフォークリフトに本発明を適用することもでき、フォーク32を備えない荷役車両に本発明を適用することもできる。
-The structure which concerns on the vehicle
1 フォークリフト(荷役車両)
10 車両本体
11 搭乗部
12 ヘッドガード
12A ステー
20 走行装置
21 前輪
22 後輪
30 荷役装置
31 マスト
32 フォーク
40 操作装置
41 ステアリングハンドル
42 走行用レバー
50 カメラ
61 前処理部
62 領域抽出部
63 基準階調度算出部
64 障害物検出部
71 制御部
72 報知部
B1〜B4 基準領域
F1〜F8 検出対象領域(前方領域)
R1〜R8 検出対象領域(後方領域)
S 路面
X 前後方向
Y 左右方向
Z 上下方向
1 Forklift (handling vehicle)
DESCRIPTION OF
R1 to R8 detection target area (rear area)
S road surface X longitudinal direction Y lateral direction Z vertical direction
Claims (7)
前記車両本体の走行を妨げる障害物および前記路面を撮影するカメラと、
前記カメラによって撮影されたカメラ画像の一部分である基準領域を前記カメラ画像から抽出し、さらに、前記カメラ画像の一部分である検出対象領域を前記カメラ画像から抽出する領域抽出部と、
前記基準領域の階調度に基づいて、前記路面が写っている路面領域と前記路面が写っていない非路面領域とを区別するための基準階調度を算出する基準階調度算出部と、
前記基準階調度に基づいて前記検出対象領域に含まれる前記非路面領域を検出することによって前記障害物を検出する障害物検出部とを備え、
前記領域抽出部は、前記カメラ画像において互いに離れて設けられる複数の領域を前記基準領域として前記カメラ画像から抽出し、さらに、前記カメラ画像において前記車両本体が走行する方向に並ぶとともに前記車両本体から遠ざかるにつれて小さくなる複数の領域を前記検出対象領域として前記カメラ画像から抽出する
ことを特徴とする荷役車両。 A vehicle body capable of traveling on the road surface;
A camera that captures obstacles that obstruct travel of the vehicle body and the road surface;
A region extraction unit that extracts a reference region that is a part of a camera image photographed by the camera from the camera image, and further extracts a detection target region that is a part of the camera image from the camera image;
A reference gradation degree calculation unit for calculating a reference gradation degree for distinguishing between a road surface area where the road surface is reflected and a non-road surface area where the road surface is not reflected, based on the gradation degree of the reference area;
An obstacle detection unit that detects the obstacle by detecting the non-road surface area included in the detection target area based on the reference gradation degree;
The region extraction unit extracts a plurality of regions provided apart from each other in the camera image as the reference region from the camera image, and further aligns in the direction in which the vehicle body travels in the camera image and from the vehicle body. A cargo handling vehicle characterized in that a plurality of areas that become smaller as they move away are extracted from the camera image as the detection target area.
ことを特徴とする請求項1に記載の荷役車両。 The cargo handling vehicle according to claim 1, wherein the camera is configured by an omnidirectional camera capable of photographing a range of 360 ° when viewed from the vertical direction.
前記障害物検出部は、前記車両本体の前方および後方に存在する前記障害物を検出できるように構成されている
ことを特徴とする請求項1または2に記載の荷役車両。 The region extraction unit is configured to extract a front region located in front of the vehicle body and a rear region located behind the vehicle body as the detection target region from the camera image,
The cargo handling vehicle according to claim 1 or 2, wherein the obstacle detection unit is configured to be able to detect the obstacle existing in front and rear of the vehicle main body.
前記障害物検出部は、前記車両本体の走行態様に応じて、前記車両本体の前方または後方に存在する前記障害物を検出する
ことを特徴とする請求項3に記載の荷役車両。 The region extraction unit extracts one of the front region and the rear region from the camera image as the detection target region according to a traveling mode of the vehicle body,
The cargo handling vehicle according to claim 3, wherein the obstacle detection unit detects the obstacle present in front of or behind the vehicle main body according to a traveling mode of the vehicle main body.
ことを特徴とする請求項1〜4のいずれか一項に記載の荷役車両。 The said area extraction part extracts the area | region located near the said vehicle main body compared with the said detection object area | region from the said camera image as said reference | standard area. The Claim 1 characterized by the above-mentioned. Cargo handling vehicle.
ことを特徴とする請求項1〜5のいずれか一項に記載の荷役車両。 The obstacle detection unit, based on the fact that the number of pixels indicating the non-road surface area included in the detection target area is a predetermined ratio or more with respect to the total number of pixels of the detection target area, An area is detected. The cargo handling vehicle according to any one of claims 1 to 5.
前記障害物検出部は、前記車両本体の走行に伴って、前記検出ブロックを構成する互いに隣り合った前記検出対象領域の位置または数が変化したことに基づいて、前記障害物を検出する
ことを特徴とする請求項1〜6のいずれか一項に記載の荷役車両。 The detection target area where the non-road surface area is detected in the camera image is a detection block,
The obstacle detection unit detects the obstacle based on a change in the position or number of the detection target areas adjacent to each other constituting the detection block as the vehicle main body travels. The cargo handling vehicle according to claim 1, wherein the cargo handling vehicle is a vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014112530A JP5748314B1 (en) | 2014-05-30 | 2014-05-30 | Cargo handling vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014112530A JP5748314B1 (en) | 2014-05-30 | 2014-05-30 | Cargo handling vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5748314B1 true JP5748314B1 (en) | 2015-07-15 |
JP2015227223A JP2015227223A (en) | 2015-12-17 |
Family
ID=53718481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014112530A Active JP5748314B1 (en) | 2014-05-30 | 2014-05-30 | Cargo handling vehicle |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5748314B1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115328158A (en) * | 2016-08-26 | 2022-11-11 | 克朗设备公司 | Multi-field scanning tool in a materials handling vehicle |
JP6866839B2 (en) * | 2017-12-12 | 2021-04-28 | 株式会社豊田自動織機 | Self-driving forklift |
JP6650498B1 (en) * | 2018-09-06 | 2020-02-19 | 三菱ロジスネクスト株式会社 | Display control device, display control method and program |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0750507B2 (en) * | 1991-08-21 | 1995-05-31 | 大同電機工業株式会社 | Background update processing method in passer-by-passage detection device |
JPH10143665A (en) * | 1996-11-14 | 1998-05-29 | Ohbayashi Corp | Obstacle detecting method of automatically guided vehicle |
JP2003073093A (en) * | 2001-09-06 | 2003-03-12 | Nippon Yusoki Co Ltd | Automated forklift |
JP3781370B2 (en) * | 2002-11-19 | 2006-05-31 | 本田技研工業株式会社 | Mobile device |
JP4559043B2 (en) * | 2003-06-27 | 2010-10-06 | Kddi株式会社 | Image monitoring device |
JP5344500B2 (en) * | 2011-12-16 | 2013-11-20 | ニチユ三菱フォークリフト株式会社 | Unmanned vehicle |
JP5510983B1 (en) * | 2013-04-22 | 2014-06-04 | ニチユ三菱フォークリフト株式会社 | Cargo handling vehicle |
-
2014
- 2014-05-30 JP JP2014112530A patent/JP5748314B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015227223A (en) | 2015-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101955506B1 (en) | Side safety assistant device and method for large vehicle by using two opposite cameras | |
US9235990B2 (en) | Vehicle periphery monitoring device | |
JP6816389B2 (en) | Peripheral monitoring device | |
JP4687411B2 (en) | Vehicle peripheral image processing apparatus and program | |
EP2759999A1 (en) | Apparatus for monitoring surroundings of vehicle | |
JP5480925B2 (en) | Vehicle periphery monitoring device | |
WO2016031523A1 (en) | Object recognition device and vehicle control system | |
JP2010108264A (en) | Vehicle periphery monitoring device | |
JP5748314B1 (en) | Cargo handling vehicle | |
JP2010257282A (en) | Obstacle detection device and vehicle with the device mounted thereon | |
CN114787073A (en) | Industrial vehicle | |
JP6805716B2 (en) | Display device, display method, program | |
JP2015217738A (en) | Cargo handling vehicle | |
JP2010026601A (en) | Vehicle periphery monitoring device | |
JP6376936B2 (en) | Driving assistance device | |
JP2013054702A (en) | Vehicle approach information notification device, vehicle approach information notification method, and program | |
JP5192007B2 (en) | Vehicle periphery monitoring device | |
JP2009276906A (en) | Travelling information providing device | |
JP4615061B2 (en) | Vehicle periphery monitoring device | |
JP5004882B2 (en) | Vehicle periphery monitoring device | |
JP5748313B1 (en) | Cargo handling vehicle | |
JP6568757B2 (en) | Course information provider | |
JP5604011B2 (en) | Vehicle periphery monitoring device | |
US20190188500A1 (en) | Apparatus for monitoring object in low light environment and monitoring method thereof | |
KR101405327B1 (en) | Apparatus for monitoring objects on road |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150508 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5748314 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |