JP6794879B2

JP6794879B2 - 作業車両用の人物検知システムおよびこれを備える作業車両

Info

Publication number: JP6794879B2
Application number: JP2017046830A
Authority: JP
Inventors: 巖石川; 智弘豊崎; 将史高橋
Original assignee: Tadano Ltd
Current assignee: Tadano Ltd
Priority date: 2017-03-10
Filing date: 2017-03-10
Publication date: 2020-12-02
Anticipated expiration: 2037-03-10
Also published as: WO2018164273A1; EP3595298B1; CN110383831A; CN110383831B; EP3595298A4; JP2018152685A; US11120558B2; EP3595298A1; US20200250831A1

Description

本発明は、作業車両用の人物検知システムおよびこれを備える作業車両に関する。

従来、クレーン等の作業車両において、走行時に車両に格納されているブーム等によって運転席からの操縦者の視界が遮られている場合がある。このような作業車両において、操縦者の視界を確保するために、運転席から死角となる範囲の画像を取得するためのカメラが設けられたものがある。作業車両は、運転席から視認できない範囲をカメラによって撮影し、取得した映像を運転席のモニタに表示させるように構成されている。さらに、作業車両は、取得したカメラの映像において特定の範囲に障害物が含まれているか否かを判断し、操縦者に報知する障害物報知システムを備えたものが知られている。例えば特許文献１の如くである。

特許文献１に記載の作業車両であるラフテレーンクレーンは、走行機能を有するキャリアに旋回台を介して運転席であるキャビンと伸縮ブームとが搭載されている。旋回台には、進行方向に対して右側にキャビンが配置され、進行方向に対して左側に伸縮ブームが配置されている。従って、ラフテレーンクレーンは、伸縮アームによって進行方向に対して左側の運転席からの操縦者の視界が遮られて死角が生じる。このようなラフテレーンクレーンにおいて、伸縮ブームの左側にテレビカメラ（画像データ取得手段）を設けて死角となる範囲を監視領域（検知領域）として監視映像の情報を取得し、キャビン内のモニタに表示する障害物報知システムが設けられている。障害物報知システムは、監視領域内に含まれるラフテレーンクレーン本体部分をマスク領域として障害物の検知領域Ｄから除外している。このように構成することで、監視領域内において障害物の誤判定を抑制することができる。

特許文献１に記載の障害物報知システムのマスク領域は、監視映像における座標によって定められている。このため、障害物報知システムは、テレビカメラの撮影領域にずれが生じた場合、監視領域内で障害物検知を行うべき領域が監視映像上においてマスク領域とみなされて、適切に障害物検知がされない。そこで、障害物報知システムは、テレビカメラの撮影領域にずれが生じていないか適宜確認するとともに、テレビカメラの撮影領域にずれが生じた場合、速やかにテレビカメラの取付位置を適切な状態に調整する必要があった。

特開２０１６−１３８８７号公報

本発明の目的は、画像データ取得手段によって画像データを取得する検知領域が、基準位置での撮影領域である基準領域に対してずれているか否かの判断を補助することができる人物検知システムおよびそれを備えた作業車両の提供を目的とする。

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。

即ち、作業車両用の人物検知システムであって、前記作業車両の一部を含む所定の領域を検知領域として、前記検知領域の検知画像データを取得する画像データ取得手段と、前記画像データ取得手段が基準位置に配置されている状態で取得した検知画像データに含まれる前記作業車両の画像データが前記検知領域の基準画像データとして設定され、前記画像データ取得手段が任意の時点で取得した前記検知領域の検知画像データと前記基準画像データとを比較して前記画像データ取得手段の位置が基準位置に対してずれが生じているか判定するずれ判定部と、前記画像データ取得手段の位置にずれが生じている旨を報知する報知手段と、を備え、前記ずれ判定部は、前記画像データ取得手段の位置が基準位置に対してずれが生じているかを判定する際に、ＳＶＭ学習のアルゴリズムを利用して、任意の時点で取得した前記検知領域の検知画像データと前記基準画像データとの比較を行う、ものである。

人物検知システムは、画像表示手段を更に備え、前記ずれ判定部が前記画像データ取得手段の位置にずれが生じていると判定すると、前記画像表示手段に前記基準画像データに基づく確認用図形を前記検知領域の画像データに重畳表示させるものである。

人物検知システムは、前記確認用図形に許容される前記検知領域のずれ幅を示すずれ幅確認用図形が合わせて表示されるものである。

作業車両は、作業車両用の人物検知システムを備える作業車両である。

本発明は、以下に示すような効果を奏する。

人物検知システムおよびそれを備えた作業車両においては、検知領域のずれの有無が常に検出されている。これにより、画像データ取得手段によって画像データを取得する検知領域が、基準位置での撮影領域である基準領域に対してずれているか否かの判断を補助することができる。

人物検知システムおよびそれを備えた作業車両においては、検知領域のずれの有無が視覚的に提示される。これにより、画像データ取得手段によって画像データを取得する検知領域が、基準位置での撮影領域である基準領域に対してずれているか否かの判断を補助することができる。

人物検知システムおよびそれを備えた作業車両においては、検知領域のずれが許容範囲内か否か視覚的に提示される。これにより、画像データ取得手段によって画像データを取得する検知領域が、基準位置での撮影領域である基準領域に対してずれているか否かの判断を補助することができる。

本発明の一実施形態に係るクレーンの全体構成とカメラの撮影領域を示す側面図。本発明の一実施形態に係るクレーンの全体構成とカメラの撮影領域を示す平面図。本発明の一実施形態に係るクレーンの制御構成を示すブロック図。（ａ）本発明の一実施形態に人物検知システムにおいて画像から輝度勾配とそれを区分分割している状態を示す概念図、（ｂ）同じく輝度勾配からヒストグラムを算出してＨＯＧ特徴量とする状態を示す概念図。本発明の一実施形態に係る人物検知システムの人物検知制御においてＨＯＧ特徴量に基づいてＳＶＭ学習から算出する識別境界を示す概念図。（ａ）本発明の一実施形態に係る人物検知システムのずれ判定制御において検知画像データ内の判定範囲の画像データをエッジの角度に応じて区分分割する状態を示す概念図、（ｂ）同じくエッジの角度の区分勾配からヒストグラムを算出する状態を示す概念図。本発明の一実施形態に係る人物検知システムのずれ判定制御において基準画像データから判定範囲と類似する類似範囲を特定した状態を示す図、（ｂ）同じく判定範囲のヒストグラムと類似範囲のヒストグラムとを比較した状態を示す概念図。本発明の一実施形態に係る人物検知システムのずれ判定制御において判定範囲の座標と類似範囲の座標のユークリッド距離を算出する状態を示す概念図。本発明の一実施形態に係る人物検知システムのずれ判定制御において基準図形と補助図形とを表示していない状態の検知画像データを示す図、（ｂ）同じく基準図形と補助図形とを表示している状態の検知画像データを示す図。本発明の一実施形態に係る人物検知システムの全体の制御態様を表すフローチャートを示す図。本発明の一実施形態に係る人物検知システムの人物検知制御の制御態様を表すフローチャートを示す図。本発明の一実施形態に係る人物検知システムのずれ判定制御の制御態様を表すフローチャートを示す図。本発明の一実施形態に係る人物検知システムのずれ判定制御において調整幅を示す基準図形を表示している状態の検知画像データを示す図。

以下に、図１と図２とを用いて、作業車両の一実施形態に係るクレーン１について説明する。なお、本実施形態においては、作業車両として移動式クレーン（ラフテレーンクレーン）について説明を行うが、乗用型の作業車両であればよい。

図１と図２とに示すように、作業車両であるクレーン１は、不特定の場所に移動可能な移動式クレーン１である。クレーン１は、車両２、クレーン装置６、人物検知システム１８（図３参照）を有する。

車両２は、クレーン装置６を搬送するものである。車両２は、複数の車輪３を有し、エンジン４を動力源として走行する。車両２には、アウトリガ５が設けられている。アウトリガ５は、車両２の幅方向両側に油圧によって延伸可能な張り出しビームと地面に垂直な方向に延伸可能な油圧式のジャッキシリンダとから構成されている。車両２は、アウトリガ５を車両２の幅方向に延伸させるとともにジャッキシリンダを接地させることにより、クレーン１の作業可能範囲を広げることができる。

クレーン装置６は、搬送物をワイヤロープによって吊り上げるものである。クレーン装置６は、旋回台７、伸縮ブーム８、ジブ９、メインフックブロック１０、サブフックブロック１１、起伏シリンダ１２、メインウインチ１３、メインワイヤロープ１４、サブウインチ１５、サブワイヤロープ１６、キャビン１７等を具備する。

旋回台７は、クレーン装置６を旋回可能に構成するものである。旋回台７は、円環状の軸受を介して車両２のフレーム上に設けられる。旋回台７は、円環状の軸受の中心を回転中心として図示しない油圧式の旋回モータによって一方向と他方向とに回転自在に構成されている。

伸縮ブーム８は、搬送物を吊り上げ可能な状態にワイヤロープを支持するものである。伸縮ブーム８は、複数のブーム部材から構成されている。伸縮ブーム８は、各ブーム部材を図示しない伸縮シリンダで移動させることで軸方向に伸縮自在に構成されている。伸縮ブーム８は、ベースブーム部材の基端が旋回台７の略中央に揺動可能に設けられている。伸縮ブーム８は、先端が車両２の前方に向かって倒伏した状態で格納されている。伸縮ブーム８の、車両２の前方に向かって左側（以下、単に「左側」と記す）には、伸縮ブーム８の図示しないブームサポートが設けられている。図示しないブームサポートは、ブームサポートカバー８ａにより覆われている。これにより、伸縮ブーム８は、車両２のフレーム上で水平回転可能かつ揺動自在に構成されている。

ジブ９は、クレーン装置６の揚程や作業半径を拡大するものである。ジブ９は、伸縮ブーム８のベースブーム部材に設けられたジブ支持部によってベースブーム部材に沿った姿勢で保持されている。ジブ９の基端は、トップブーム部材のジブ支持部に連結可能に構成されている。

メインフックブロック１０は、搬送物を吊るものである。メインフックブロック１０には、メインワイヤロープ１４が巻き掛けられる複数のフックシーブと、搬送物を吊るメインフックとが設けられている。サブフックブロック１１は、搬送物を吊るものである。サブフックブロック１１には、搬送物を吊るサブフックが設けられている。

起伏シリンダ１２は、伸縮ブーム８を起立および倒伏させ、伸縮ブーム８の姿勢を保持するものである。起伏シリンダ１２はシリンダ部とロッド部とからなる油圧シリンダから構成されている。起伏シリンダ１２は、シリンダ部の端部が旋回台７に揺動自在に連結され、ロッド部の端部が伸縮ブーム８のベースブーム部材に揺動自在に連結されている。

油圧ウインチであるメインウインチ１３とサブウインチ１５とは、メインワイヤロープ１４とサブワイヤロープ１６との繰り入れ（巻き上げ）および繰り出し（巻き下げ）を行うものである。メインウインチ１３は、メインワイヤロープ１４が巻きつけられるメインドラムがメイン用油圧モータによって回転され、サブウインチ１５は、サブワイヤロープ１６が巻きつけられるメインドラムがメイン用油圧モータによって回転されるように構成されている。

キャビン１７は、操縦席を覆うものである。キャビン１７は、旋回台７に搭載されている。キャビン１７は、車両２の前方に向かって伸縮ブーム８の右側（以下、単に「右側」と記す）に並んで配置されている。キャビン１７の内部には、図示しない操縦席が設けられている。操縦席には、車両２を走行操作するための操作具やクレーン装置６を操作するための各種操作具等が設けられている。

このように構成されるクレーン１は、車両２を走行させることで任意の位置にクレーン装置６を移動させることができる。また、クレーン１は、起伏シリンダ１２で伸縮ブーム８を任意の起伏角度に起立させて、伸縮ブーム８を任意の伸縮ブーム８長さに延伸させたりジブ９を連結させたりすることでクレーン装置６の揚程や作業半径を拡大することができる。

以下に、図１から図９を用いて、クレーン１に設けられている人物検知システム１８について説明する。本実施形態において、クレーン１は、キャビン１７の左側に伸縮ブーム８が配置されているため、キャビン１７内の操縦席から見て左側が伸縮ブーム８によって視認することができない。つまり、クレーン１は、キャビン１７内の操縦席からみて車両２の左側が伸縮ブーム８の死角になっている。なお、本実施形態において、人物検知システム１８は、作業車両である移動式クレーン１に設けられているが、乗用型の作業車両に設けられていればよい。

図３に示すように、人物検知システム１８は、検知領域Ｄ内の人物を検知するものである。人物検知システム１８は、画像データ取得手段であるカメラ１９と、画像表示手段であるモニタ２０と、報知手段（報知部２１ｄ）と、制御装置２１とを備える（図３参照）。

画像データ取得手段であるカメラ１９は、画像データを取得するものである。カメラ１９は、例えば、複数のレンズからなる光学系にＣＣＤやＣＯＭＯＳ等の撮像素子を有し、可変のシャッター速度で動画や静止画を取得可能に構成されている。カメラ１９は、旋回台７に搭載されている。カメラ１９は、伸縮ブーム８の左側のブームサポートカバー８ａに配置されている。カメラ１９は、ブームサポートカバー８ａから車両２の前方に向けて配置されている。また、カメラ１９は、車両２の前後方向に対して所定の角度だけ左方に向けられ、旋回台７の旋回面に対して所定の角度だけ下方に向けられている。このように構成することにより、カメラ１９は、車両２の前方左側部分とその周辺部分を撮影領域として、その領域の画像データを取得可能に取り付けられている。つまり、カメラ１９は、撮影領域である車両２の前方左側部分とその周辺部分が人物検知を行う検知領域Ｄになるように設定されている。

画像表示手段であるモニタ２０は、画像データを表示するものである。モニタ２０は、キャビン１７内の図示しない操縦席に設けられている。モニタ２０は、カメラ１９が取得した画像データや報知手段の信号に基づいた報知情報を表示することができる。また、モニタ２０は、制御装置２１から信号に基づいた基準図形Ｇｓや補助図形Ｇａ（図９参照）を表示することができる。

報知手段は、検知範囲で人物を検知した場合やカメラ１９にずれが生じている場合に、操縦者にその旨を報知するものである。報知手段は、モニタ２０に報知情報を表示させたり、ブザー音等で報知したりする。本実施形態において、報知手段は、制御装置２１の一部である報知部２１ｄとして制御装置２１と一体に構成されている（図３参照）。

図３に示すように、制御装置２１は、人物検知システム１８を制御するものである。制御装置２１は、表示制御部２１ａと、人物検知部２１ｂと、ずれ判定部２１ｃと、報知手段である報知部２１ｄと、を具備する。制御装置２１は、キャビン１７内に設けられている。制御装置２１は、実体的には、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等がバスで接続される構成であってもよく、あるいはワンチップのＬＳＩ等からなる構成であってもよい。制御装置２１は、カメラ１９、モニタ２０、人物検知部２１ｂ、ずれ判定部２１ｃ、報知部２１ｄおよび表示制御部２１ａの動作を制御するために種々のプログラムやデータが格納されている。

表示制御部２１ａは、制御装置２１の一部であり、カメラ１９が取得した画像データを制御するものである。表示制御部２１ａは、カメラ１９から画像データを取得し、モニタ２０にリアルタイムで表示させる。また、表示制御部２１ａは、人物検知部２１ｂとずれ判定部２１ｃとに画像データを伝達する。

人物検知部２１ｂは、制御装置２１の一部であり、検知領域Ｄ内の人物を検知するものである。人物検知部２１ｂは、制御装置２１と一体に構成されている。人物検知部２１ｂは、任意のアルゴリズムを用いてカメラ１９の撮影領域である検知領域Ｄ（図１と図２参照）の検知画像データＤｄから、検知領域Ｄ内の人物を検知する（図４参照）。

ずれ判定部２１ｃは、制御装置２１の一部であり、検知領域Ｄが、基準位置にあるカメラ１９による撮影領域（以下、単に「基準領域Ｓ」（図７参照）と記す）と比較してずれているか否か判定するものである。ずれ判定部２１ｃは、制御装置２１と一体に構成されている。ずれ判定部２１ｃは、任意のアルゴリズムを用いて、予め定められた基準領域Ｓである車両２の前方左側部分とその周辺部分をカメラ１９が検知領域Ｄとして撮影しているか否か判定する。本実施形態において、ずれ判定部２１ｃは、後述するＨＯＧ特徴量とＳＶＭ学習のアルゴリズムを利用して、特定範囲の画像データのエッジ（外形線）の角度のヒストグラムと基準領域Ｓにおける特定範囲のヒストグラムとの比較によってカメラ１９のずれを判定する。

制御装置２１は、表示制御部２１ａがカメラ１９に接続され、カメラ１９が撮影する画像データを制御装置２１の人物検知部２１ｂとずれ判定部２１ｃとが取得することができる。

制御装置２１は、モニタ２０に接続され、モニタ２０に取得した画像データ、警告表示、図形等を表示することができる。

制御装置２１は、カメラ１９から取得した画像データから人物検知部２１ｂによって画像データのＨＯＧ（ＨｉｓｔｏｇｒａｍｓｏｆＯｒｉｅｎｔｅｄＧｒａｄｉｅｎｔｓ）特徴量を算出する。さらに、制御装置２１の人物検知部２１ｂは、算出したＨＯＧ特徴量に基づいてＳＶＭ（ｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅ）学習によって人物を検知する。

制御装置２１は、カメラ１９から取得した画像データからずれ判定部２１ｃによって検知画像データＤｄと基準画像データＳｄとのヒストグラムを算出する。さらに制御装置２１のずれ判定部２１ｃは、算出したヒストグラムに基づいて検知画像データＤｄと基準画像データＳｄとにおける所定の領域の座標をそれぞれ特定し、検知画像データＤｄと基準画像データＳｄのずれの有無を判定する。

図４に示すように、ＨＯＧ特徴量とは、局所領域（セル）の輝度の勾配方向を輝度の勾配強度に基づいてヒストグラム化したものに基づいて算出される特徴量である。図４（ａ）に示すように、人物検知部２１ｂは、検知領域Ｄ内の検知画像データＤｄを局所領域に分割し、局所領域内の輝度の勾配方向と勾配強度を算出する。図４（ｂ）に示すように、人物検知部２１ｂは、算出した局所領域内の輝度の勾配方向を輝度の勾配強度に基づいてヒストグラム化する。さらに、人物検知部２１ｂは、複数の局所領域におけるヒストグラムを正規化してＨＯＧ特徴量を算出する。

図５に示すように、ＳＶＭ学習とは、複数のグループを構成するサンプル毎のＨＯＧ特徴量から、各グループに属するサンプルのＨＯＧ特徴量とのユークリッド距離が最大となるマージン最大化超平面からなる識別境界を算出し、入力データをパターン認識する方法である。人物検知部２１ｂは、予め歩行者グループ、自転車グループ、バイクグループとそれ以外のグループとを識別するための人物識別境界Ｂ１を算出している。

具体的には、人物検知部２１ｂは、予め検出対象となる歩行者グループ、自転車グループ、バイクグループ等とそれ以外のグループを構成する複数のサンプル毎のＨＯＧ特徴量を算出する。人物検知部２１ｂは、各グループのＨＯＧ特徴量の集合において、各グループのＨＯＧ特徴量の中で最も他のグループに近い位置にあるものを各グループからそれぞれ抽出し，抽出した各ＨＯＧ特徴量からのユークリッド距離が最も大きくなる人物識別境界Ｂ１を算出する。

人物検知制御において、人物検知部２１ｂは、カメラ１９が取得した検知領域Ｄの検知画像データＤｄを表示制御部２１ａから取得する。人物検知部２１ｂは、取得した検知画像データＤｄからＨＯＧ特徴量を算出する。人物検知部２１ｂは、ＳＶＭ学習から予め算出した識別すべきグループ毎の人物識別境界Ｂ１に照らし合わせて、取得した画像データのＨＯＧ特徴量がいずれかのグループに属するか否か判定する。人物検知部２１ｂは、取得した画像データのＨＯＧ特徴量がいずれかのグループに属する場合、検知領域Ｄ内に人物を検知したとして報知部２１ｄにその旨の信号を伝達する。

図６に示すように、ずれ判定部２１ｃは、ＨＯＧ特徴量とＳＶＭ学習のアルゴリズムを利用して、任意のある時点でのカメラ１９の撮影領域である検知領域Ｄ内の予め定めた特定範囲の画像データのエッジ（外形線）の角度のヒストグラムと、基準領域Ｓにおける特定範囲の画像データのヒストグラムと、の比較によってカメラ１９のずれを判定する。

ずれ判定部２１ｃは、所定の大きさの形状からなる特定範囲の基準ヒストグラムｈ（ｎ）を予め取得している基準領域Ｓの基準画像データＳｄの全範囲において算出する。具体的には、ずれ判定部２１ｃは、基準画像データＳｄを局所領域に分割し、局所領域内のエッジの角度とその度数を算出する。ずれ判定部２１ｃは、算出した局所領域内のエッジの角度をその度数に基づいてヒストグラム化する。さらに、ずれ判定部２１ｃは、基準画像データＳｄの全範囲において、最少単位ずつ特定範囲の位置をずらしながら特定範囲に含まれる複数の局所領域におけるヒストグラムを正規化した基準ヒストグラムｈ（ｎ）を、特定範囲の位置毎に算出する。

また、ずれ判定部２１ｃは、予め、基準画像データＳｄにおいて一の特定範囲の基準ヒストグラムｈ（ｋ）に対する他の複数の特定範囲の基準ヒストグラムｈ（ｓ）・ｈ（ｓ+１）・ｈ（ｓ+２）・・の類似度に基づいて、それぞれの類似度からのユークリッド距離が最も大きくなる画像識別境界Ｂ２を算出する。具体的には、ずれ判定部２１ｃは、基準画像データＳｄにおいて複数の基準ヒストグラムｈ（ｓ）・ｈ（ｓ+１）・ｈ（ｓ+２）・・を算出する。ずれ判定部２１ｃは、基準ヒストグラムｈ（ｋ）を算出した一の特定範囲を中心として基準画像データＳｄにおけるスキャニング範囲を定める。ずれ判定部２１ｃは、スキャニング範囲を基準ヒストグラムｈ（ｋ）でそれぞれスキャニングし、基準ヒストグラムｈ（ｓ）・ｈ（ｓ+１）・ｈ（ｓ+２）・・毎に各スキャニング位置における基準ヒストグラムｈ（ｋ）に対する類似度を算出する。ずれ判定部２１ｃは、類似度が１に近い類似度のグループ（高類似度グループ）と、それ以外のグループ（低類似度グループ）との中で最も他のグループに近い位置にあるものをそれぞれ抽出し，抽出した各類似度からのユークリッド距離が最も大きくなる画像識別境界Ｂ２を算出する（図５参照）。

ずれ判定制御において、ずれ判定部２１ｃは、任意の状態で配置されているカメラ１９が任意の時点で取得した検知領域Ｄの検知画像データＤｄを表示制御部２１ａから取得する（図３参照）。ずれ判定部２１ｃは、取得した検知領域Ｄの検知画像データＤｄにおいて、類似判定を行う所定の範囲である判定範囲Ｅｄの画像データを検知画像データＤｄから切り出す。ずれ判定部２１ｃは、判定範囲Ｅｄの画像データを局所領域に分割し、局所領域内のエッジの角度とその度数を算出する。図６（ｂ）に示すように、ずれ判定部２１ｃは、算出した局所領域内のエッジの角度をその度数に基づいてヒストグラム化する。さらに、ずれ判定部２１ｃは、判定範囲Ｅｄの局所領域におけるヒストグラムを正規化した判定ヒストグラムｈｄを算出する。

図７（ａ）に示すように、ずれ判定部２１ｃは、基準画像データＳｄにおいて、算出した判定範囲Ｅｄの判定ヒストグラムｈｄに対する基準ヒストグラムｈ（ｎ）の類似度を算出する。算出した類似度のうち、最も類似度が高い（類似度が１に近い）基準ヒストグラムｈ（ｒ）を持つ類似範囲Ｅｓを特定する。
図７（ｂ）に示すように、ずれ判定部２１ｃは、画像識別境界Ｂ２に照らし合わせて、最も高い類似度が高類似度グループと低類似度グループとのうち、いずれのグループに属するか否か判定する。ずれ判定部２１ｃは、最も高い類似度が高類似度グループに属する場合、すなわち、判定ヒストグラムｈｄと基準ヒストグラムｈ（ｒ）との類似度が高い場合、判定範囲Ｅｄの画像データと類似範囲Ｅｓの画像データとが一致していると判定する。

図８に示すように、ずれ判定部２１ｃは、検知画像データＤｄにおける判定範囲Ｅｄの所定の座標Ｐｄと基準画像データＳｄにおける特定した類似範囲Ｅｓの所定の座標Ｐｓとを比較する。ずれ判定部２１ｃは、座標Ｐｄと座標Ｐｓとのユークリッド距離Ｌが許容値Ｔを超えている場合、基準領域Ｓに対して検知領域Ｄがずれていると判定する。ずれ判定部２１ｃは、判定範囲Ｅｄに対する類似範囲Ｅｓの特定、および座標のユークリッド距離Ｌによるずれ判定を複数回行い、連続して所定回数Ｎだけ基準領域Ｓに対して検知領域Ｄがずれている旨の判定をした場合、基準領域Ｓに対して検知領域Ｄがずれている旨の判定を確定させる。すなわち、ずれ判定部２１ｃは、カメラ１９の取付角度や取付位置などを含むカメラ１９の位置がカメラ１９の基準位置に対してずれが生じていると判定する。

図９に示すように、ずれ判定部２１ｃは、カメラ１９の位置調整が必要である位置ずれ信号を報知部２１ｄに伝達するとともに、表示制御部２１ａを介して基準図形Ｇｓや補助図形Ｇａを検知画像データＤｄに重畳表示させる。報知部２１ｄは、位置ずれ信号を取得すると、モニタ２０にその旨を示すマークＭや文字情報を表示したりブザー音を発したりする。

基準図形Ｇｓは、カメラ１９の位置を調整する際の基準となる図形である。基準図形Ｇｓには、基準領域Ｓにおいて、常に基準画像データＳｄに含まれている車両２の左側面や左側バックミラーの外形線から構成されている（図９（ｂ）における太い実線）。補助図形Ｇａは、カメラ１９の位置を調整する際の調整幅を示す図形である（図９（ｂ）における細い二点鎖線）。補助図形Ｇａは、カメラ１９の位置の許容ずれ幅を示す図形から構成されている。つまり、補助図形Ｇａは、基準図形Ｇｓを中心としてカメラ１９の位置がずれていないとみなされる調整幅を表示している。

ずれ判定部２１ｃは、ずれ判定制御において検知領域Ｄと基準領域Ｓとがずれていないと判定した場合、表示制御部２１ａを介して基準図形Ｇｓと補助図形Ｇａとの表示を消去するとともに、位置ずれ無し信号を報知部２１ｄに伝達する。報知部２１ｄは、位置ずれ信号を取得すると、モニタ２０に表示している位置ずれが有る旨を示すマークや文字情報を消去したりブザー音を停止させたりする。

以下に、図１０から図１２を用いて、クレーン１の人物検知システム１８におけるカメラ１９の位置ずれ判定制御について具体的に説明する。本実施形態において、クレーン１は、電源がオン状態にされた直後であるものとする。また、制御装置２１の人物検知部２１ｂは、予め人物を検知するためのＨＯＧ特徴量の人物識別境界Ｂ１を算出している。さらに、制御装置２１のずれ判定部２１ｃは、予め基準画像データＳｄを取得し、その全範囲において特定範囲毎の基準ヒストグラムｈ（ｎ）を算出し、基準ヒストグラムｈ（ｎ）と判定範囲Ｅｄの判定ヒストグラムｈｄとの類似度を判定するための類似度の画像識別境界Ｂ２を算出しているものとする。

人物検知システム１８は、クレーン１の電源がオン状態にされると制御を開始する。人物検知システム１８の制御装置２１は、まず人物検知部２１ｂによって人物検知制御を開始する。人物検知部２１ｂは、表示制御部２１ａを介してカメラ１９から検知領域Ｄの検知画像データＤｄを取得し、ＨＯＧ特徴量を算出する。人物検知部２１ｂは、ＨＯＧ特徴量から検知領域Ｄ内に人物が存在するか否かを判定する。次に、制御装置２１は、ずれ判定部２１ｃによってずれ判定制御を開始する。

ずれ判定部２１ｃは、表示制御部２１ａを介してカメラ１９から取得した検知領域Ｄの検知画像データＤｄから判定範囲Ｅｄの判定ヒストグラムｈｄを算出する。ずれ判定部２１ｃは、基準画像データＳｄにおいて、算出した判定範囲Ｅｄに対する類似範囲Ｅｓを特定する。ずれ判定部２１ｃは、検知画像データＤｄにおける判定範囲Ｅｄの座標Ｐｄと基準画像データＳｄにおける特定した類似範囲Ｅｓの座標Ｐｓとのユークリッド距離Ｌが許容値Ｔを超えている場合、基準領域Ｓに対して検知領域Ｄがずれていると判定し、表示制御部２１ａを介して基準図形Ｇｓと補助図形Ｇａを検知画像データＤｄに重畳表示させる。

図１０に示すように、ステップＳ１１０において、制御装置２１は、カメラ１９から検知領域Ｄの検知画像データＤｄを取得し、ステップをステップＳ２００に移行させる。

ステップＳ２００において、制御装置２１は、人物検知制御Ａを開始し、ステップをステップＳ２１０に移行させる（図１１参照）。そして、人物検知制御Ａが終了するとステップをステップＳ３００に移行させる（図１０参照）。

ステップＳ３００において、制御装置２１は、ずれ判定制御Ｂを開始し、ステップをステップＳ３１０に移行させる（図１２参照）。そして、ずれ判定制御Ｂが終了するとステップをステップＳ１１０に移行させる（図１０参照）。

図１１に示すように、ステップＳ２１０において、制御装置２１は、人物検知制御Ａを開始し、取得した検知画像データＤｄからＨＯＧ特徴量を算出し、ステップをステップＳ２２０に移行させる。

ステップＳ２２０において、制御装置２１は、算出したＨＯＧ特徴量を人物識別境界Ｂ１に照らし合わせて、歩行者グループ、自転車グループおよびバイクグループからなる人物を含むＨＯＧ特徴量を持つ人物グループのいずれかに属するか否か判定する。
その結果、算出したＨＯＧ特徴量が歩行者グループ、自転車グループおよびバイクグループのいずれかに属する場合、制御装置２１はステップをステップＳ２３０に移行させる。
一方、算出したＨＯＧ特徴量が歩行者グループ、自転車グループおよびバイクグループのいずれかに属さない場合、すなわち、算出したＨＯＧ特徴量が人物のものではない場合、制御装置２１はステップをステップＳ２４０に移行させる。

ステップＳ２３０において、制御装置２１は、検知領域Ｄ内に人物を検知したとして報知部２１ｄに人物有り信号を伝達し、人物検知制御Ａを終了し、ステップをステップＳ３００に移行させる（図１０参照）。

ステップＳ２４０において、制御装置２１は、検知領域Ｄ内に人物を検知しないとして報知部２１ｄに人物無し信号を伝達し、人物検知制御Ａを終了し、ステップをステップＳ３００に移行させる（図１０参照）。

図１２に示すように、ステップＳ３１０において、制御装置２１は、ずれ判定制御Ｂを開始し、カメラ１９から取得した画像データを検知領域Ｄの検知画像データＤｄとし、検知画像データＤｄにおいて類似判定を行う所定の範囲である判定範囲Ｅｄの位置を決定し、ステップをステップＳ３２０に移行させる。

ステップＳ３２０において、制御装置２１は、決定した判定範囲Ｅｄの位置の画像データから判定ヒストグラムｈｄを算出し、ステップをステップＳ３３０に移行させる。

ステップＳ３３０において、制御装置２１は、基準画像データＳｄにおいて、算出した判定ヒストグラムｈｄと類似度が最も高い基準ヒストグラムｈ（ｒ）を持つ所定の範囲である類似範囲Ｅｓの位置を特定し、ステップをステップＳ３４０に移行させる。

ステップＳ３４０において、制御装置２１は、算出した判定ヒストグラムｈｄと特定した基準ヒストグラムｈ（ｒ）との類似度を画像識別境界Ｂ２に照らし合わせて、高類似度グループと低類似度グループとのいずれかのグループに属するか否か判定する。
その結果、算出した判定ヒストグラムｈｄと特定した基準ヒストグラムｈ（ｒ）との類似度が高類似度グループに属している場合、制御装置２１はステップをステップＳ３５０に移行させる。
一方、算出した判定ヒストグラムｈｄと特定した基準ヒストグラムｈ（ｒ）との類似度が低類似度グループに属している場合、制御装置２１はステップをステップＳ３１０に移行させる。

ステップＳ３５０において、制御装置２１は、決定した判定範囲Ｅｄの所定の座標Ｐｄと特定した類似範囲Ｅｓの所定の座標Ｐｓとのユークリッド距離Ｌを算出し、ステップをステップＳ３６０に移行させる。

ステップＳ３６０において、制御装置２１は、算出したユークリッド距離Ｌが許容値Ｔよりも大きいか否か判断する。
その結果、算出したユークリッド距離Ｌが許容値Ｔよりも大きい場合、制御装置２１はステップをステップＳ３７０に移行させる。
一方、算出したユークリッド距離Ｌが許容値Ｔよりも大きくない場合、制御装置２１はステップをステップＳ３９０に移行させる。

ステップＳ３７０において、制御装置２１は、算出したユークリッド距離Ｌが許容値Ｔよりも大きいと判定された累積回数がＮ回か否か判定する。
その結果、算出したユークリッド距離Ｌが許容値Ｔよりも大きいと判定された累積回数がＮ回である場合、制御装置２１はステップをステップＳ３８０に移行させる。
一方、算出したユークリッド距離Ｌが許容値Ｔよりも大きいと判定された累積回数がＮ回未満である場合、制御装置２１はステップをステップＳ４１０に移行させる。

ステップＳ３８０において、制御装置２１は、基準領域Ｓに対して検知領域Ｄがずれている旨の判定を確定させ、カメラ１９の位置調整が必要である旨の位置ずれ有り信号を報知部２１ｄに伝達し、表示制御部２１ａを介してモニタ２０に基準図形Ｇｓと補助図形Ｇａとを表示させ、ずれ判定制御Ｂを終了させて、ステップをステップＳ１１０に移行させる（図１０参照）。

ステップＳ３９０において、制御装置２１は、カメラ１９の位置調整が必要でない旨の位置ずれ無し信号を報知部２１ｄに伝達し、モニタ２０に表示させている基準図形Ｇｓと補助図形Ｇａとを消去し、ステップをステップＳ４００に移行させる。

ステップＳ４００において、制御装置２１は、算出したユークリッド距離Ｌが許容値Ｔよりも大きいと判定された累積回数Ｎをリセットし、ずれ判定制御Ｂを終了させて、ステップをステップＳ１１０に移行させる（図１０参照）。

ステップＳ４１０において、制御装置２１は、算出したユークリッド距離Ｌが許容値Ｔよりも大きいと判定された累積回数をＮ＝Ｎ＋１とし、ずれ判定制御Ｂを終了させて、ステップをステップＳ１１０に移行させる（図１０参照）。

このように構成することで、人物検知システム１８およびそれを備えたクレーン１は、電源がオン状態である間は、検知領域Ｄにおける画像データのＨＯＧ特徴量を利用して、ＳＶＭ学習から予め算出した人物識別境界Ｂ１に照らし合わせることで人物の有無が容易に判断される。また、人物検知システム１８およびそれを備えたクレーン１は、基準領域Ｓの特定範囲の画像データにおけるエッジ角度の基準ヒストグラムｈ（ｎ）と検知領域Ｄの特定範囲の画像データにおけるエッジ角度の判定ヒストグラムｈｄとの類似度を利用して、基準画像データＳｄに対する検知画像データＤｄの重ね合わせが容易に行われる。さらに、重ね合わせた各画像データの座標のユークリッド距離Ｌから基準領域Ｓに対する検知領域Ｄのずれの有無が容易に判断される。また、基準領域Ｓに対して検知領域Ｄがずれている場合、基準図形Ｇｓを検知領域Ｄに重畳的に表示させることでカメラ１９の位置合わせを容易に実施することができる。これにより、人物検知システム１８およびそれを備えたクレーン１は、カメラ１９によって検知画像データＤｄを取得する検知領域Ｄが、基準領域Ｓに対してずれているか否かの判断を補助することができる。

なお、本実施形態において、人物検知システム１８およびそれを備えたクレーン１は、検知範囲Ｄがクレーン１の前方左側になるようにカメラ１９を配置しているが、クレーン１の後方左側や後方右側等の死角が検知範囲Ｄに含まれるように複数のカメラ１９を設けてもよい。また、人物検知システム１８およびそれを備えたクレーン１は、モニタ２０に基準図形Ｇｓと補助図形Ｇａとを表示させているが基準図形Ｇｓだけ表示させてもよい。また、基準図形Ｇｓと補助図形Ｇａとは、表示スイッチ等によって任意のタイミングでモニタ２０に表示させてもよい。また、図１３に示すように、基準図形Ｇｓは、外形線の幅をカメラ１９の位置の許容ずれ幅の線幅で構成してもよい。

上述の実施形態は、代表的な形態を示したに過ぎず、一実施形態の骨子を逸脱しない範囲で種々変形して実施することができる。さらに種々なる形態で実施し得ることは勿論のことであり、本発明の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲に記載の均等の意味、および範囲内のすべての変更を含む。

１クレーン
１８人物検知システム
１９カメラ
２１制御装置
２１ａ表示制御部
２１ｂ人物検知部
２１ｃずれ判定部
２１ｄ報知部
Ｄ検知領域
Ｄｄ検知画像データ
Ｓｄ基準画像データ

Claims

作業車両用の人物検知システムであって、
前記作業車両の一部を含む所定の領域を検知領域として、前記検知領域の検知画像データを取得する画像データ取得手段と、
前記画像データ取得手段が基準位置に配置されている状態で取得した検知画像データに含まれる前記作業車両の画像データが前記検知領域の基準画像データとして設定され、
前記画像データ取得手段が任意の時点で取得した前記検知領域の検知画像データと前記基準画像データとを比較して前記画像データ取得手段の位置が基準位置に対してずれが生じているか判定するずれ判定部と、
前記画像データ取得手段の位置にずれが生じている旨を報知する報知手段と、を備え、
前記ずれ判定部は、
前記画像データ取得手段の位置が基準位置に対してずれが生じているかを判定する際に、ＳＶＭ学習のアルゴリズムを利用して、任意の時点で取得した前記検知領域の検知画像データと前記基準画像データとの比較を行う、作業車両用の人物検知システム。
画像表示手段を更に備え、
前記ずれ判定部が前記画像データ取得手段の位置にずれが生じていると判定すると、前記画像表示手段に前記基準画像データに基づく確認用図形を前記検知領域の画像データに重畳表示させる請求項１に記載の作業車両用の人物検知システム。
前記確認用図形に許容される前記検知領域のずれ幅を示すずれ幅確認用図形が合わせて表示される請求項２に記載の作業車両用の人物検知システム。
請求項１から請求項３のいずれか一項に記載の作業車両用の人物検知システムを備える作業車両。