JP6812432B2 - ショベル - Google Patents

Description

本発明は、周囲に存在する物体を検知可能なショベルに関する。

ショベルに取り付けられたカメラの出力に基づいてショベルの周囲に存在する人を検知する人検知機能を備えたショベルが知られている（特許文献１参照。）。このショベルは、カメラが撮像した画像の中に人の画像が存在すると判定した場合に、ショベルの操作者に対して警報を出力する。

特開２０１０−１９８５１９号公報

しかしながら、特許文献１のショベルは、カメラのレンズが汚れている場合等、人検知機能を適切に利用できない場合、ショベルの周囲に人が存在するにもかかわらずその人を検知できず警報を出力できないおそれがある。そして、ショベルの操作者は、警報が出力されていない状態を、ショベルの周囲に人が存在しない状態と捉えてしまうおそれがある。

そこで、人検知機能等の所定の物体を検知する物体検知機能を備えたショベルにおいて、所定の物体を検知できないおそれがあるときにその旨をショベルの操作者に伝えることができるショベルを提供することが望ましい。

本発明の実施例に係るショベルは、下部走行体と、前記下部走行体に旋回可能に搭載された上部旋回体と、前記上部旋回体に取り付けられた撮像装置と、表示装置と、を備え、前記表示装置に表示される画像は、第１領域と、該第１領域とは異なる場所にある第２領域とを含み、前記第２領域には、前記撮像装置を用いた物体検知機能の少なくとも２つの作動状態が表示され、前記第２領域に表示される前記物体検知機能の作動状態のそれぞれは表示態様が違い、前記第２領域の表示態様の違いは、色の違い、模様の違い、及び、点灯／点滅の違いの少なくとも１つである。

上述の手段により、物体検知機能を備えたショベルにおいて、物体を検知できないおそれがあるときにその旨をショベルの操作者に伝えることができるショベルを提供できる。

本発明の実施例に係るショベルの構成例の側面図である。 図１Ａのショベルの上面図である。 本発明の実施例に係るショベルの別の構成例の上面図である。 本発明の実施例に係るショベルに搭載される人検知システムの構成例を示すブロック図である。 状態判定処理のフローチャートである。 出力画像の表示例を示す図である。 出力画像の別の表示例を示す図である。 出力画像の更に別の表示例を示す図である。 出力画像の更に別の表示例を示す図である。 出力画像の更に別の表示例を示す図である。 出力画像の更に別の表示例を示す図である。 出力画像の更に別の表示例を示す図である。

最初に、図１Ａ〜図１Ｃを参照し、本発明の実施例に係るショベル（掘削機）について説明する。図１Ａはショベルの側面図であり、図１Ｂはショベルの上面図である。図１Ｃは、ショベルの別の構成例の上面図である。

図１Ａ及び図１Ｂに示すように、ショベルの下部走行体１には旋回機構２を介して上部旋回体３が旋回可能に搭載されている。上部旋回体３にはブーム４が取り付けられている。ブーム４の先端にはアーム５が取り付けられ、アーム５の先端にはバケット６が取り付けられている。ブーム４、アーム５、バケット６は、ブームシリンダ７、アームシリンダ８、バケットシリンダ９によりそれぞれ油圧駆動される。上部旋回体３には、運転室としてのキャビン１０が設けられ且つエンジン等の動力源が搭載されている。また、上部旋回体３には、物体検知装置２０が取り付けられている。

物体検知装置２０は、ショベル周辺の物体を検知するための装置である。物体検知装置２０は、例えば、ショベル周辺の画像を撮像する撮像装置（カメラ）である。カメラは、例えば、ＣＣＤ、ＣＭＯＳ等の撮像素子で構成される。図１Ａ及び図１Ｂの例では、物体検知装置２０は、キャビン１０にいる操作者の死角を撮像できるように上部旋回体３の上面に取り付けられた３台の単眼カメラで構成される。３台の単眼カメラは、上部旋回体３の上面の左端部に取り付けられた左カメラ２０Ｌ、上部旋回体３の上面の右端部に取り付けられた右カメラ２０Ｒ、及び、上部旋回体３の上面の後端部に取り付けられたバックカメラ２０Ｂである。図１Ｂは、左カメラ２０Ｌ、右カメラ２０Ｒ、バックカメラ２０Ｂの撮像範囲ＣＬ、ＣＲ、ＣＢを一点鎖線で示している。３台の単眼カメラは、望ましくは、図１Ｂに示すように上部旋回体３の上面からはみ出さないように上部旋回体３に取り付けられている。左カメラ２０Ｌは省略されてもよい。

物体検知装置２０は、超音波センサ、レーザレーダセンサ、ミリ波センサ、焦電型赤外線センサ、ボロメータ型赤外線センサ、赤外線カメラ等であってもよい。図１Ｃの例では、物体検知装置２０は、３台の単眼カメラと６台の焦電型赤外線センサで構成される。３台の単眼カメラの配置は、図１Ｂでの配置と同じである。６台の焦電型赤外線センサは、上部旋回体３の上面の左端部に取り付けられた第１赤外線センサ２０Ｕ及び第２赤外線センサ２０Ｖ、上部旋回体３の上面の後端部に取り付けられた第３赤外線センサ２０Ｗ及び第４赤外線センサ２０Ｘ、並びに、上部旋回体３の上面の右端部に取り付けられた第５赤外線センサ２０Ｙ及び第６赤外線センサ２０Ｚである。図１Ｃは、第１赤外線センサ２０Ｕ〜第６赤外線センサ２０Ｚの検出範囲ＣＵ〜ＣＺを点線で示している。６台の焦電型赤外線センサは、望ましくは、図１Ｃに示すように上部旋回体３の上面からはみ出さないように上部旋回体３に取り付けられている。左カメラ２０Ｌが省略される場合、第１赤外線センサ２０Ｕ及び第２赤外線センサ２０Ｖは省略されてもよい。

図１Ｂ及び図１Ｃに示すように、キャビン１０内には、表示装置１４、室内警報器１５、制御装置３０等が設置されている。表示装置１４は、各種情報を表示する装置であり、例えば、液晶ディスプレイ、有機ＥＬディスプレイ等である。室内警報器１５は、キャビン１０内の操作者に向けて警報を出力する装置であり、例えば、キャビン１０内に設置されたブザー、スピーカ、ＬＥＤランプ、シートバイブレータ等で構成される。制御装置３０は、ＣＰＵ、揮発性記憶装置、不揮発性記憶装置等を備えたコンピュータである。

ここで、図２を参照し、本発明の実施例に係るショベルに搭載される物体検知システム５０について説明する。図２は、物体検知システム５０の構成例を示すブロック図である。

物体検知システム５０は、ショベルの周囲に設定された所定の検知範囲内へ侵入した物体を検知するシステムであり、主に、表示装置１４、室内警報器１５、物体検知装置２０、情報取得装置２１及び制御装置３０等で構成される。物体は、人、車両、作業機械、動物等である。本実施例では、物体検知システム５０は、人を検知する。

図２の物体検知システム５０において、制御装置３０は、例えば、人検知部３１、画像生成部３２、作動状態判定部３３等の機能要素のそれぞれに対応するプログラムをＣＰＵに実行させて各機能要素に対応する機能を実現する。

人検知部３１は、ショベルの周囲に設定された所定の検知範囲内へ侵入した人を検知する機能要素である。図２の例では、人検知部３１は、人検知手段及び物体検知装置２０としてのカメラの出力に基づいて人の存否を判定する。この場合、人検知部３１は、画像形状に基づいて人を検知するため、樹木、建物等の人以外の物体と人とを区別できる。人検知部３１は、例えば、ＨＯＧ特徴量等の画像特徴量を利用して撮像画像中の人画像を見つけ出すことで所定の検知範囲内における人の存否を判定する。人検知部３１は、他の公知の画像認識技術を用いて所定の検知範囲内における人の存否を判定してもよい。

この場合、所定の検知範囲は、例えば、カメラの撮像範囲に含まれる空間である。図２の例では、所定の検知範囲は、カメラの撮像範囲に含まれる空間のうち、バケット６の爪先が到達可能な空間である。所定の検知範囲は、カメラの撮像範囲に相当する空間であってもよく、カメラの撮像範囲に含まれる空間のうち、ショベルの旋回軸から所定距離範囲内の空間であってもよい。

所定の検知範囲は、複数の部分検知範囲で構成されてもよい。例えば、左カメラ２０Ｌの撮像範囲ＣＬに含まれる空間であるショベルの左方にある左方検知範囲、バックカメラ２０Ｂの撮像範囲ＣＢに含まれる空間であるショベルの後方にある後方検知範囲、及び、右カメラ２０Ｒの撮像範囲ＣＲに含まれる空間であるショベルの右方にある右方検知範囲の組み合わせで構成されてもよい。隣り合う２つの部分検知範囲は、部分的に重複するように配置されてもよく、重複しないように隣接して配置されてもよく、間隔を空けて配置されていてもよい。

また、人検知部３１は、人検知手段及び物体検知装置２０としての超音波センサ、レーザレーダセンサ、ミリ波センサ、焦電型赤外線センサ、ボロメータ型赤外線センサ、赤外線カメラ等の物体検出センサの出力に基づいて所定の検知範囲内における人の存否を判定してもよい。例えば焦電型赤外線センサの出力を用いる場合、人検知部３１は、検知範囲内のエネルギ変化が所定の閾値を上回った場合に検知範囲内に人が存在すると判定する。この場合、所定の検知範囲は焦電型赤外線センサの検出範囲に相当する空間であってもよい。

人検知部３１は、人を検知した場合、室内警報器１５に制御指令を出力して室内警報器１５を作動させ、人を検知したことをショベルの操作者に伝える。図２の例では、人検知部３１は、キャビン１０内に設置されたブザーを作動させる。

画像生成部３２は、物体検知装置２０としてのカメラの出力に基づいて出力画像を生成する機能要素である。図２の例では、画像生成部３２は、バックカメラ２０Ｂ、左カメラ２０Ｌ、及び右カメラ２０Ｒのそれぞれが撮像した入力画像に基づいて出力画像を生成する。そして、生成した出力画像を表示装置１４に表示させる。出力画像は、１つ又は２つ以上の入力画像から生成されるカメラ画像を含む。カメラ画像は、例えば、３つの入力画像の合成画像に視点変換処理を施して生成される。また、カメラ画像は、例えば、ショベルの周囲を上から見たときの状態を映し出す周囲画像である。周囲画像の領域は、例えば、ショベルのコンピュータグラフィック（ＣＧ）画像の周りを取り囲むように、且つ、外側輪郭線が円弧を描くように設定される。なお、周囲画像の領域は、外側輪郭線が任意の曲率を有する円弧を描くように設定されてもよく、外側輪郭線が楕円弧を描くように設定されてもよく、外側輪郭線が任意の凸曲線を描くように設定されてもよい。また、出力画像は、ショベルの周囲を横から見たときの状態を映し出すスルー画像であってもよい。スルー画像は、例えば、ショベルの後方の空間をショベル側からほぼ水平に見たときの様子を映し出す。スルー画像の領域は、外側輪郭線が少なくとも１つの直線部分を有するように設定される。例えば、スルー画像の領域は、外側輪郭線が正方形、長方形、台形等を描くように設定されてもよい。また、スルー画像は、例えば、視点変換処理を施すことなく生成されるカメラ画像であってもよい。

作動状態判定部３３は、物体検知機能の一例である人検知機能の作動状態を判定する機能要素である。人検知機能の作動状態は、検知不能状態及び検知可能状態を含む。

検知不能状態は、人を検知できないおそれがある状態を意味する。例えば、雨、霧等により視界不良となっている状態、屋内作業、夜間作業等での照度不足により視界不良となっている状態等を含む。また、物体検知装置２０としてのカメラの出力に基づいて人の存否を判定する構成では、例えば、カメラのレンズに泥、雪、雨粒等が付着している状態を含む。同様に、物体検知装置２０としての物体検出センサの出力に基づいて人の存否を判定する構成では、例えば、赤外線センサの発光部又は受光部に泥、雪、雨粒等が付着している状態を含む。或いは、ミリ波センサの出力に基づいて人の存否を判定する構成では、外部電波が強くノイズが大きい状態を含む。

検知可能状態は、人を検知できる状態を意味する。図２の例では、作動状態判定部３３は、検知不能状態でなければ検知可能状態であると判定する。

人検知機能の作動状態は、検知不能状態及び検知可能状態以外の状態を含んでいてもよい。例えば、人検知機能が起動中であり人検知機能を未だ利用できない状態である検知準備状態を含んでいてもよい。

作動状態判定部３３は、利用可能な任意の情報に基づいて人検知機能の作動状態を判定する。図２の例では、物体検知装置２０としてのカメラが撮像した入力画像に基づいて人検知機能の作動状態が検知不能状態であるか否かを判定する。具体的には、公知の画像認識処理により泥等がレンズに付着していると判定した場合、人検知機能が検知不能状態にあると判定する。物体検知装置２０としての物体検出センサの出力に基づいて人の存否を判定する構成では、例えば、所定時間にわたる物体検出センサの出力に基づいて人検知機能の作動状態を判定してもよい。具体的には、所定時間にわたって物体検出センサの出力が継続的に所定の閾値以上で維持された場合、人検知機能が検知不能状態にあると判定してもよい。また、作動状態判定部３３は、情報取得装置２１としての大気圧センサ、気温センサ、照度センサ、湿度センサ、測位センサ等の出力に基づいて、或いは、情報取得装置２１としての通信装置を介して受信した気象情報等の各種情報に基づいて人検知機能の作動状態を判定してもよい。

ここで図３を参照し、制御装置３０が物体検知機能の作動状態を判定する処理（以下、「状態判定処理」とする。）について説明する。図３は状態判定処理のフローチャートである。制御装置３０は、ショベルの稼働中に繰り返しこの状態判定処理を実行する。

最初に、制御装置３０の作動状態判定部３３は、物体検知機能に関する情報を取得する（ステップＳＴ１）。物体検知機能に関する情報は、例えば、物体検知装置２０としてのカメラが撮像した入力画像、物体検知装置２０としての物体検出センサの出力、情報取得装置２１としての大気圧センサ、気温センサ、照度センサ、湿度センサ、測位センサ等の出力、及び、情報取得装置２１としての通信装置を介して受信した気象情報等を含む。

その後、作動状態判定部３３は、物体を検知できないおそれがあるか否かを判定する（ステップＳＴ２）。作動状態判定部３３は、例えば、雨、霧等により視界不良となっている場合、屋内作業、夜間作業等での照度不足により視界不良となっている場合に物体を検知できないおそれがあると判定する。カメラの出力に基づいて物体を検知する構成では、例えば、カメラのレンズに泥、雪、雨粒等が付着している場合に、物体を検知できないおそれがあると判定する。物体検出センサの出力に基づいて物体を検知する構成では、例えば、赤外線センサの発光部又は受光部に泥、雪、雨粒等が付着している場合に物体を検知できないおそれがあると判定する。ミリ波センサの出力に基づいて物体の存否を判定する構成では、外部電波が強くノイズが大きい場合に物体を検知できないおそれがあると判定する。

物体を検知できないおそれがあると判定した場合（ステップＳＴ２のＹＥＳ）、作動状態判定部３３は、物体検知機能の作動状態が検知不能状態であると判定する（ステップＳＴ３）。

一方、物体を検知できないおそれがないと判定した場合（ステップＳＴ２のＮＯ）、すなわち、物体を検知できると判定した場合、作動状態判定部３３は、物体検知機能の作動状態が検知可能状態であると判定する（ステップＳＴ４）。

このようにして、制御装置３０は、ショベルの稼働中、物体検知機能の作動状態の判定を繰り返し実行する。

また、作動状態判定部３３は、人検知機能の作動状態をショベルの操作者が区別できるように表示する。例えば、作動状態判定部３３は、人検知機能の作動状態を表す作動状態表示領域の表示態様を現在の作動状態に応じて変えることで人検知機能の現在の作動状態を操作者が見分けられるように表示する。具体的には、作動状態判定部３３は、人検知機能の作動状態を表す色の違いで特徴付けられる作動状態表示領域を用いて人検知機能の現在の作動状態を表示する。作動状態表示領域は、例えば、画像生成部３２が生成した出力画像の上に重畳表示される。そして、作動状態表示領域は、例えば、人検知機能の作動状態が検知不能状態にあるときに第一色（例えば赤色）で塗り潰され、人検知機能の作動状態が検知可能状態にあるときに第二色（例えば緑色）で塗り潰される。

人検知機能の作動状態は、模様の違いで特徴付けられてもよい。例えば、作動状態表示領域は、人検知機能の作動状態が検知不能状態にあるときに第一色（例えば赤色）の第一模様（例えばドットパターン）で塗り潰され、人検知機能の作動状態が検知可能状態にあるときに第二色（例えば緑色）の第二模様（例えば斜線パターン）で塗り潰されてもよい。なお、第一色と第二色は同じ色であってもよい。

或いは、人検知機能の作動状態は、表示／非表示の違いで特徴づけられてもよい。例えば、作動状態表示領域は、人検知機能の作動状態が検知不能状態にあるときに第一色（例えば赤色）で塗り潰され、人検知機能の作動状態が検知可能状態にあるときに非表示（現在の表示状態の維持）とされてもよい。

或いは、人検知機能の作動状態は、点灯／点滅の違いで特徴づけられてもよい。例えば、作動状態表示領域は、人検知機能の作動状態が検知不能状態にあるときに第一色（例えば赤色）で塗り潰された状態で点灯し、人検知機能の作動状態が検知可能状態にあるときに第二色（例えば緑色）で塗り潰された状態で点滅してもよい。なお、第一色と第二色は同じ色であってもよい。

或いは、人検知機能の作動状態は、テキスト（文字情報）、アイコン画像等の違いで特徴付けられてもよい。例えば、作動状態表示領域は、人検知機能の作動状態が検知不能状態にあるときに検知不能状態を表すアイコン画像と共に「検知不能」のテキストを表示し、人検知機能の作動状態が検知可能状態にあるときに検知可能状態を表すアイコン画像と共に「検知可能」のテキストを表示してもよい。テキスト又はアイコン画像の何れかを表示するだけであってもよい。

人検知機能の作動状態が検知準備状態にあるときに第三色（例えば黄色）で塗り潰されてもよい。或いは、作動状態表示領域は、人検知機能の作動状態が検知不能状態にあるときに第１色（例えば赤色）の第１パターン（例えば斜線パターン）で塗り潰され、人検知機能の作動状態が検知準備状態にあるときに第１色（例えば赤色）の第２パターン（例えばドットパターン）で塗り潰されてもよい。検知不能状態及び検知準備状態に対して同じ第１色を用いる理由は、検知不能状態及び検知準備状態は何れも人を検知できないおそれがある状態である点で共通するためである。

このように、作動状態判定部３３は、作動状態表示領域の表示態様（色、模様、表示／非表示、点灯／点滅等）を現在の作動状態に応じて変えることで人検知機能の現在の作動状態を操作者が区別できるように表示する。

ここで図４Ａ〜図４Ｃを参照し、人検知機能の作動状態の表示例について説明する。図４Ａは人検知機能が検知不能状態のときの出力画像の一例を示し、図４Ｂは人検知機能が検知可能状態のときの出力画像の一例を示す。図４Ｃは、人検知機能が検知可能状態のときの出力画像の別の一例を示す。図４Ａ〜図４Ｃでは、出力画像は表示装置１４の画面に表示された状態で示されている。図５〜図８においても同様である。

図４Ａ〜図４Ｃに示すように、出力画像は、ＣＧ画像Ｇ１、周囲画像領域Ｇ２、作動状態表示領域Ｇ３、及びテキスト表示領域Ｇ４を含む。周囲画像領域Ｇ２は、遠景画像部分Ｇ２ａ及び近景画像部分Ｇ２ｂを含む。遠景画像部分Ｇ２ａは、ショベルの上方にある仮想視点から遠方を見たときの景色を映し出す。近景画像部分Ｇ２ｂは、ショベルの近傍をショベルの上方にある仮想視点から見たときの景色を映し出す。

ＣＧ画像Ｇ１は、ショベルを真上から見たときの形状を表すコンピュータグラフィック画像である。本実施例では、ＣＧ画像Ｇ１は、出力画像の中央部に配置されている。

周囲画像領域Ｇ２は、図４Ａ及び図４Ｂでは、バックカメラ２０Ｂ、左カメラ２０Ｌ、及び右カメラ２０Ｒのそれぞれが撮像した入力画像に基づいて生成される周囲画像を表示するカメラ画像領域である。図４Ｃにおける周囲画像領域Ｇ２は、バックカメラ２０Ｂ及び右カメラ２０Ｒのそれぞれが撮像した入力画像に基づいて生成される周囲画像を表示するカメラ画像領域である。本実施例では、周囲画像領域Ｇ２は、ＣＧ画像Ｇ１の周りを囲むように配置され、あたかも真上から見たショベル近傍の近景画像部分Ｇ２ｂと横から見た遠方の遠景画像部分Ｇ２ａとを含む。

作動状態表示領域Ｇ３は、人検知機能の作動状態を色で特徴付けて表示する領域であり、周囲画像領域Ｇ２の輪郭の一部に沿うように配置される。具体的には、図４Ａ及び図４Ｂにおける周囲画像領域Ｇ２は、ＣＧ画像Ｇ１の右方、左方、及び後方の三方向を囲む略２７０度の部分円を形成するように配置される。そして、作動状態表示領域Ｇ３は、周囲画像領域Ｇ２の外側輪郭線に沿って略２７０度の円弧形状を形成するように配置される。図４Ｃにおける周囲画像領域Ｇ２は、ＣＧ画像Ｇ１の右方及び後方の二方向を囲む略１８０度の部分円を形成するように配置される。そして、作動状態表示領域Ｇ３は、周囲画像領域Ｇ２の外側輪郭線に沿って略１８０度の円弧形状を形成するように配置される。

また、出力画像における周囲画像領域Ｇ２と作動状態表示領域Ｇ３の位置関係は、ショベルと物体検知システム５０の検知範囲の位置関係に対応する。例えば、周囲画像領域Ｇ２の輪郭の一部に沿った作動状態表示領域Ｇ３の長さは検知範囲の幅（例えば水平幅）を表し、ＣＧ画像Ｇ１から見た作動状態表示領域Ｇ３の方向は、ショベルに対する検知範囲の方向を表す。或いは、出力画像の中心（部分円形状の周囲画像領域Ｇ２の中心）から見た作動状態表示領域Ｇ３の方向は、ショベルに対する検知範囲の方向を表す。図４Ａ及び図４Ｂに示す例は、ＣＧ画像Ｇ１の左方、後方、及び右方をカバーする略２７０度の円弧形状の作動状態表示領域Ｇ３を表示することで、ショベルの左方、後方、及び右方に略２７０度の幅の検知範囲が設定されていることを表す。図４Ｃに示す例は、ＣＧ画像Ｇ１の後方及び右方をカバーする略１８０度の円弧形状の作動状態表示領域Ｇ３を表示することで、ショベルの後方及び右方に略１８０度の幅の検知範囲が設定されていることを表す。

なお、作動状態表示領域Ｇ３は、望ましくは、周囲画像領域Ｇ２（特にショベル近傍の画像の部分）と重ならないように表示される。すなわち、作動状態表示領域Ｇ３は、望ましくは、周囲画像領域Ｇ２とは異なる場所にある。重複部分のカメラ画像が見え難くなったり或いは見えなくなったりするのを防止するためである。また、作動状態表示領域Ｇ３は、望ましくは、できるだけ大きく表示されるように配置される。人検知機能の作動状態をショベルの操作者が容易に認識できるようにするためである。

テキスト表示領域Ｇ４は、各種情報をテキスト表示する領域である。本実施例では、テキスト表示領域Ｇ４は、出力画像の右下隅で且つ作動状態表示領域Ｇ３の外側に配置され、人検知機能の作動状態をテキスト表示している。なお、テキスト表示領域Ｇ４は、出力画像の左下隅、ＣＧ画像Ｇ１の上等、別の位置に配置されてもよい。また、テキスト表示領域Ｇ４は、作動状態表示領域Ｇ３内に統合されてもよく、省略されてもよい。

図４Ａの汚れ画像Ｇ５は、左カメラ２０Ｌのレンズに付着した泥の画像である。汚れ画像Ｇ５が原因で人検知機能が検知不能状態であると判定されたとき、作動状態表示領域Ｇ３及びテキスト表示領域Ｇ４は赤色で塗り潰される。図４Ａの斜線領域は赤色で塗り潰された状態を表す。また、人検知機能が検知可能状態であると判定されたとき、作動状態表示領域Ｇ３及びテキスト表示領域Ｇ４は、図４Ｂに示すように緑色で塗り潰される。図４Ｂの白色領域は緑色で塗り潰された状態を表す。

この構成により、物体検知システム５０は、物体検知システム５０の検知範囲がショベルの左方、右方、及び後方の三方向をカバーすることをショベルの操作者に直感的に認識させることができる。また、人検知機能の作動状態が検知不能状態であるか検知可能状態であるかをショベルの操作者に瞬時に認識させることができる。

次に図５〜図７を参照し、人検知機能の作動状態の別の表示例について説明する。図５〜図７は人検知機能の一部が検知不能状態のときの出力画像の一例を示す。

図５〜図７の例では、作動状態判定部３３は、左カメラ２０Ｌ、右カメラ２０Ｒ、及びバックカメラ２０Ｂのそれぞれが撮像した入力画像に基づいて左方検知範囲、右方検知範囲、及び後方検知範囲のそれぞれに関する人検知機能の作動状態を個別に判定する。そのため、作動状態表示領域Ｇ３は、左作動状態表示領域Ｇ３Ｌ、右作動状態表示領域Ｇ３Ｒ、及び後方作動状態表示領域Ｇ３Ｂに分割されている。

左作動状態表示領域Ｇ３Ｌは、左カメラ２０Ｌが撮像した入力画像に基づいて判定される左方検知範囲に関する人検知機能の作動状態を表示する。右作動状態表示領域Ｇ３Ｒは、右カメラ２０Ｒが撮像した入力画像に基づいて判定される右方検知範囲に関する人検知機能の作動状態を表示する。後方作動状態表示領域Ｇ３Ｂは、バックカメラ２０Ｂが撮像した入力画像に基づいて判定される後方検知範囲に関する人検知機能の作動状態を表示する。

図５の作動状態表示領域Ｇ３は、図４Ａの作動状態表示領域Ｇ３と同様、周囲画像領域Ｇ２の外側輪郭線に沿って略２７０度の円弧形状を形成するように配置されている。そして、左作動状態表示領域Ｇ３Ｌ、右作動状態表示領域Ｇ３Ｒ、及び後方作動状態表示領域Ｇ３Ｂに三等分されている。また、左作動状態表示領域Ｇ３Ｌ及び右作動状態表示領域Ｇ３Ｒは緑色で塗り潰され、後方作動状態表示領域Ｇ３Ｂは赤色で塗り潰されている。テキスト表示領域Ｇ４は、テキストメッセージ「後方人検知不能」を表示し、後方検知範囲に侵入する人を検知できないおそれがある旨をショベルの操作者に通知している。このように、図５は、バックカメラ２０Ｂのレンズに付着した汚れ画像Ｇ５が原因で後方検知範囲に関する人検知機能の作動状態が検知不能状態になっていることを示している。

図６の作動状態表示領域Ｇ３は、周囲画像領域Ｇ２の内側輪郭線に沿ってＣＧ画像Ｇ１の左方、右方、及び後方の三方向を囲むように（矩形の三辺を構成するように）配置されている。そして、左辺を構成する左作動状態表示領域Ｇ３Ｌ、右辺を構成する右作動状態表示領域Ｇ３Ｒ、及び、底辺を構成する後方作動状態表示領域Ｇ３Ｂに分割されている。また、左作動状態表示領域Ｇ３Ｌ及び後方作動状態表示領域Ｇ３Ｂは緑色で塗り潰され、右作動状態表示領域Ｇ３Ｒは赤色で塗り潰されている。テキスト表示領域Ｇ４は、テキストメッセージ「右方人検知不能」を表示し、右方検知範囲に侵入する人を検知できないおそれがある旨をショベルの操作者に通知している。このように、図６は、右カメラ２０Ｒのレンズに付着した汚れ画像Ｇ５が原因で右方検知範囲に関する人検知機能の作動状態が検知不能状態になっていることを示している。

図７の作動状態表示領域Ｇ３は、周囲画像領域Ｇ２の外側輪郭線に沿う略２７０度の範囲にわたり出力画像における周囲画像領域Ｇ２の外側全体を埋めるように配置されている。そして、左作動状態表示領域Ｇ３Ｌ、右作動状態表示領域Ｇ３Ｒ、及び後方作動状態表示領域Ｇ３Ｂに分割されている。また、後方作動状態表示領域Ｇ３Ｂ及び右作動状態表示領域Ｇ３Ｒは緑色で塗り潰され、左作動状態表示領域Ｇ３Ｌは赤色で塗り潰されている。テキスト表示領域は、左作動状態表示領域Ｇ３Ｌに統合された状態でテキストメッセージ「左方人検知不能」を表示し、左方検知範囲に侵入する人を検知できないおそれがある旨をショベルの操作者に通知している。このように、図７は、左カメラ２０Ｌのレンズに付着した汚れ画像Ｇ５が原因で左方検知範囲に関する人検知機能の作動状態が検知不能状態になっていることを示している。

上述のような構成により、物体検知システム５０は、物体検知システム５０の検知範囲がショベルの左方、右方、及び後方の三方向をカバーすることをショベルの操作者に直感的に認識させることができる。また、ショベルの左方検知範囲、右方検知範囲、及び後方検知範囲のそれぞれに関する人検知機能の作動状態が検知不能状態であるか検知可能状態であるかを個別にショベルの操作者に認識させることができる。

次に図８を参照し、人検知機能の作動状態の更に別の表示例について説明する。図８は、スルー画像領域Ｇ２Ｂを含む出力画像を示す。スルー画像領域Ｇ２Ｂは、バックカメラ２０Ｂが撮像した入力画像のみを使用して視点変換処理を施さずに生成されたスルー画像を表示するカメラ画像領域である。

図８の作動状態表示領域Ｇ３は、スルー画像領域Ｇ２Ｂの外側輪郭線の直線部分である上辺に沿うように配置された第１後方作動状態表示領域Ｇ３Ｂ１と、スルー画像領域Ｇ２Ｂの外側輪郭線の直線部分である下辺に沿うように配置された第２後方作動状態表示領域Ｇ３Ｂ２とで構成される。何れか一方が省略されてもよい。

図８の例では、バックカメラ２０Ｂのレンズに付着した汚れ画像Ｇ５が原因でバックカメラ２０Ｂに関する人検知機能の作動状態が検知不能状態になっているため、第１後方作動状態表示領域Ｇ３Ｂ１及び第２後方作動状態表示領域Ｇ３Ｂ２は赤色で塗り潰されている。テキスト表示領域は、第１後方作動状態表示領域Ｇ３Ｂ１に統合された状態でテキストメッセージ「後方人検知不能」を表示し、後方検知範囲に侵入する人を検知できないおそれがある旨をショベルの操作者に通知している。このように、図８は、バックカメラ２０Ｂのレンズに付着した汚れ画像Ｇ５が原因で後方検知範囲に関する人検知機能の作動状態が検知不能状態になっていることを示している。

この構成により、物体検知システム５０は、スルー画像を表示している場合であっても、人検知機能の作動状態が検知不能状態であるか検知可能状態であるかをショベルの操作者に確実に認識させることができる。

上述のように、本発明の実施例に係るショベルは、下部走行体１と、下部走行体１に旋回可能に搭載された上部旋回体３と、上部旋回体３に取り付けられたカメラと、表示装置１４と、ショベルの周囲に設定された所定の検知範囲内で所定の物体を検知する物体検知装置２０と、を備え、物体検知装置２０を用いた物体検知機能の作動状態が表示装置１４に表示される。物体検知装置２０は、ショベル周辺の画像を撮像する撮像装置（カメラ）であってもよく、超音波センサ、レーザレーダセンサ、ミリ波センサ、焦電型赤外線センサ、ボロメータ型赤外線センサ、赤外線カメラ等の物体検出センサであってもよい。この構成により、物体を検知できないおそれがあるときにその旨をショベルの操作者に伝えることができる。

表示装置１４に表示される画像は、例えば、第１領域と、第１領域とは異なる場所にある第２領域とを含む。第１領域は、例えば、カメラ画像を表示し、第２領域は、例えば、物体検知機能の作動状態を表示する。一実施例では、第１領域が周囲画像領域Ｇ２に対応し、第２領域が作動状態表示領域Ｇ３に対応する。この構成により、ショベルの操作者は、第２領域を見ることで、物体検知機能が物体を検知できないおそれがあるか否かを認識できる。

物体検知機能の作動状態は、例えば、検知可能状態及び検知不能状態を含む。そして、第２領域に表示される物体検知機能の作動状態のそれぞれは表示態様が違う。表示態様の違いは、色の違い、模様の違い、表示／非表示の違い、点灯／点滅の違いを含む。この構成により、ショベルの操作者は、第２領域の表示態様の違いに基づき、物体検知機能が物体を検知できないおそれがあるか否かを容易に認識できる。

表示装置１４に表示される画像は、例えば、カメラ画像を表示するカメラ画像領域を含む。この場合、表示装置１４は、例えば、カメラ画像領域の輪郭の一部に沿う作動状態表示領域Ｇ３の表示態様を変えることで物体検知機能の作動状態を表示する。また、表示装置１４に表示される画像は、ショベルのコンピュータグラフィック画像であるＣＧ画像Ｇ１を含んでいてもよい。この場合、カメラ画像は、ショベルの周囲を上から見た周囲画像を含む。そして、カメラ画像領域の輪郭の一部に沿った作動状態表示領域Ｇ３の長さは検知範囲の幅を表す。検知範囲は、望ましくは、予め設定されている範囲であり、例えば、カメラの撮像範囲に含まれる空間である。検知範囲は、カメラの撮像範囲に相当する空間であってもよく、カメラの撮像範囲に含まれる空間のうち、ショベルの旋回軸から所定距離範囲内の空間であってもよい。コンピュータグラフィック画像から見た作動状態表示領域Ｇ３の方向は、望ましくは、ショベルに対する検知範囲の方向を表す。この画面構成により、ショベルの操作者は、検知範囲がショベルの周囲にどのように配置され、どの検知範囲で物体を検知できないおそれがあるかを容易に認識できる。

上述のように、カメラ画像がショベルの周囲を上から見た周囲画像を含み、カメラ画像領域の輪郭の一部に沿った作動状態表示領域Ｇ３の長さが検知範囲の幅を表す場合、表示装置１４に表示される画像の中心から見た作動状態表示領域Ｇ３の方向は、望ましくは、ショベルに対する検知範囲の方向を表す。この画面構成により、ショベルの操作者は、どの方向にどのような幅の検知範囲が設定されているかを容易に認識できる。

カメラ画像領域の外側輪郭線は、例えば図８に示すように、直線部分を含んでいてもよい。この場合、作動状態表示領域Ｇ３は、例えば、カメラ画像領域（スルー画像領域Ｇ２Ｂ）の外側輪郭線の直線部分に沿うように配置される。この画面構成により、カメラ画像が１台の単眼カメラの入力画像のみに基づくスルー画像であっても、ショベルの操作者は、物体検知機能の作動状態を容易に認識できる。

検知範囲は、複数の部分検知範囲で構成されていてもよい。部分検知範囲は、例えば、左カメラ２０Ｌの撮像範囲ＣＬに含まれる空間であるショベルの左方にある左方検知範囲、バックカメラ２０Ｂの撮像範囲ＣＢに含まれる空間であるショベルの後方にある後方検知範囲、右カメラ２０Ｒの撮像範囲ＣＲに含まれる空間であるショベルの右方にある右方検知範囲等である。この場合、表示装置１４は、複数の部分検知範囲のそれぞれに関する物体検知機能の作動状態を個別に表示してもよい。この構成により、ショベルの操作者は、検知範囲毎に物体を検知できないおそれがあるか否かを認識できる。

本発明の実施例に係るショベルは、下部走行体１と、下部走行体１に旋回可能に搭載された上部旋回体３と、上部旋回体３に取り付けられたカメラと、カメラが撮像した画像から出力画像を生成する制御装置３０と、出力画像を表示する表示装置１４と、ショベルの周囲に設定された所定の検知範囲内へ侵入した人を検知する人検知手段と、を備えていてもよい。人検知手段は、例えば、カメラ、物体検出センサ等である。この構成では、ショベルは、出力画像において、人検知手段による人検知機能の作動状態を表示する。そのため、ショベルの操作者は、人検知機能が人を検知できないおそれがあるか否かを認識できる。この構成においても、人検知機能の作動状態は、例えば、検知可能状態及び検知不能状態を含む。そして、出力画像は、第１領域と、第１領域とは異なる場所にある第２領域とを含む。第２領域は、例えば、人検知機能の作動状態を表示する。第２領域に表示される人検知機能の作動状態のそれぞれは表示態様が違う。表示態様の違いは、色の違い、模様の違い、表示／非表示の違い、点灯／点滅の違い等を含む。この構成により、人を検知できないおそれがあるときにその旨をショベルの操作者に伝えることができる。

表示装置１４は、物体検知機能の作動状態を文字情報で表示してもよい。これにより、ショベルの操作者は、物体検知機能が物体を検知できないおそれがあるか否かを更に容易に認識できる。

カメラ画像領域の縁は曲線部分を含んでいてもよい。この場合、作動状態表示領域Ｇ３は、カメラ画像領域の縁に沿った曲線部分を含んでいてもよい。例えば、カメラ画像領域としての周囲画像領域Ｇ２は、図４Ａ及び図４Ｂに示すように、ＣＧ画像Ｇ１の右方、左方、及び後方の三方向を囲む略２７０度の部分円を形成するように配置されていてもよい。そして、作動状態表示領域Ｇ３は、周囲画像領域Ｇ２の外側輪郭線に沿って略２７０度の円弧形状を形成するように配置されていてもよい。この画面構成により、ショベルの操作者は、周囲３６０度のうちのどの程度の角度範囲が検知範囲によってカバーされているのかを直感的に認識できる。

以上、本発明を実施するための形態について詳述したが、本発明は上述のような特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

例えば、上述の実施例では、左作動状態表示領域Ｇ３Ｌ、後方作動状態表示領域Ｇ３Ｂ、及び右作動状態表示領域Ｇ３Ｒのそれぞれは、連続する１つの作動状態表示領域Ｇ３の一部として構成されている。しかしながら、本発明はこの構成に限定されるものではない。例えば、左作動状態表示領域Ｇ３Ｌ、後方作動状態表示領域Ｇ３Ｂ、及び右作動状態表示領域Ｇ３Ｒのそれぞれは独立した不連続領域であってもよい。

また、上述の実施例において、ショベルは、人を検知する物体検知システム５０を搭載するが、車両、作業機械、動物等の人以外の物体を検知する物体検知システムを搭載していてもよい。

また、物体検知システム５０は、１台、２台、又は４台以上のカメラが撮像した一又は複数の入力画像に基づいて左方検知範囲、右方検知範囲、及び後方検知範囲のそれぞれに関する人検知機能の作動状態を個別に判定してもよい。

本願は、２０１６年７月５日に出願した日本国特許出願２０１６−１３３４０９号に基づく優先権を主張するものであり、この日本国特許出願の全内容を本願に参照により援用する。

１・・・下部走行体 ２・・・旋回機構 ３・・・上部旋回体 ４・・・ブーム ５・・・アーム ６・・・バケット ７・・・ブームシリンダ ８・・・アームシリンダ ９・・・バケットシリンダ １０・・・キャビン １４・・・表示装置 １５・・・室内警報器 ２０・・・物体検知装置 ２０Ｂ・・・バックカメラ ２０Ｌ・・・左カメラ ２０Ｒ・・・右カメラ ３０・・・制御装置 ３１・・・人検知部 ３２・・・画像生成部 ３３・・・作動状態判定部 ５０・・・物体検知システム

Claims (17)

1. 下部走行体と、
   前記下部走行体に旋回可能に搭載された上部旋回体と、
   前記上部旋回体に取り付けられた撮像装置と、
   表示装置と、を備え、
   前記表示装置に表示される画像は、第１領域と、該第１領域とは異なる場所にある第２領域とを含み、
   前記第２領域には、前記撮像装置を用いた物体検知機能の少なくとも２つの作動状態が表示され、
   前記第２領域に表示される前記物体検知機能の作動状態のそれぞれは表示態様が違い、
   前記第２領域の表示態様の違いは、色の違い、模様の違い、及び、点灯／点滅の違いの少なくとも１つである、
   ショベル。
2. 前記第１領域には、前記撮像装置が撮像した画像が表示される、
   請求項１に記載のショベル。
3. 前記物体検知機能の作動状態は、複数の作動状態のうちの検知準備状態、検知可能状態及び検知不能状態の少なくとも２つである、
   請求項１に記載のショベル。
4. 前記検知不能状態は、雨若しくは霧により視界不良となっている状態、又は、屋内作業若しくは夜間作業での照度不足により視界不良となっている状態といった、人を検知できないおそれがある状態を含む、
   請求項３に記載のショベル。
5. 前記第２領域は、前記第１領域の輪郭の少なくとも一部に沿う、
   請求項１乃至４の何れかに記載のショベル。
6. 前記表示装置に表示される画像は、ショベルのコンピュータグラフィック画像を含み、
   前記撮像装置が撮像した画像は、ショベルの周囲を上から見た周囲画像を含み、
   前記第２領域の表示態様は、前記物体検知機能の作動状態の変化に応じて変わり、
   前記第２領域の長さは、前記物体検知機能に関する検知範囲の幅に対応し、
   ショベルのコンピュータグラフィック画像から見た前記第２領域の方向は、前記物体検知機能に関する検知範囲の方向に対応する、
   請求項１乃至５の何れかに記載のショベル。
7. 前記撮像装置が撮像した画像は、ショベルの周囲を上方から見た周囲画像を含み、
   前記第２領域の表示態様は、前記物体検知機能の作動状態の変化に応じて変わり、
   前記第２領域の長さは、前記物体検知機能に関する検知範囲の幅に対応し、
   前記表示装置に表示される画像の中心から見た前記第２領域の方向は、前記物体検知機能に関する検知範囲の方向に対応する、
   請求項１乃至５の何れかに記載のショベル。
8. 前記第１領域の縁は直線部分又は曲線部分を含み、
   前記第２領域の表示態様は、前記物体検知機能の作動状態の変化に応じて変わり、
   前記第２領域は、前記第１領域の前記縁の直線部分又は曲線部分に沿うように配置される、
   請求項１乃至５の何れかに記載のショベル。
9. 前記第１領域の縁は曲線部分を含み、
   前記第２領域の表示態様は、前記物体検知機能の作動状態の変化に応じて変わり、
   前記第２領域は、前記第１領域の縁に沿った曲線部分を含む、
   請求項１乃至５の何れかに記載のショベル。
10. 前記撮像装置が撮像した画像は、ショベルの周囲を上方から見た周囲画像を含み、
    前記周囲画像は、近景画像部分と遠景画像部分とを含み、且つ、前記第１領域に表示され、
    前記第２領域は、前記遠景画像部分に沿って配置される、
    請求項１乃至９の何れかに記載のショベル。
11. 前記物体検知機能は、前記撮像装置としての複数のカメラに対応する複数の撮像範囲のそれぞれに対応付けられ、
    前記第２領域は、複数のカメラのうちの１つが撮像した画像が表示されているとき、該表示されている複数のカメラのうちの１つが撮像した画像の上辺及び下辺の少なくとも一方の外側に配置される、
    請求項１乃至１０の何れかに記載のショベル。
12. 前記撮像装置が撮像した画像は、ショベルの周囲を上方から見た周囲画像を含み、
    前記周囲画像は、前記第１領域とは異なる場所にある前記第２領域の外側に配置される、
    請求項１乃至１１の何れかに記載のショベル。
13. 前記物体検知機能に関する検知範囲は、複数の部分検知範囲で構成され、
    前記表示装置は、前記複数の部分検知範囲のそれぞれに関する前記物体検知機能の作動状態を個別に表示する、
    請求項１乃至１２の何れかに記載のショベル。
14. 前記撮像装置としてのカメラが撮像した画像から出力画像を生成する制御装置と、
    ショベルの周囲に設定された所定の検知範囲内へ侵入した人を検知する人検知手段と、を備え、
    前記表示装置に表示される前記出力画像において、前記人検知手段による人検知機能の作動状態を表示する、
    請求項１乃至１３の何れかに記載のショベル。
15. 前記表示装置は、前記物体検知機能の作動状態を文字情報又はアイコン画像で表示する、
    請求項１乃至１４の何れかに記載のショベル。
16. 前記物体検知機能の作動状態は、前記撮像装置としてのカメラが撮像した画像、前記カメラとは別のセンサが取得した情報、又は、前記カメラが撮像した画像と前記センサが取得した情報に基づいて判定される、
    請求項１乃至１５の何れかに記載のショベル。
17. 前記物体検知機能は、ショベルの周囲に設定された所定の検知範囲内で所定の物体を検知する機能であり、
    前記所定の検知範囲は、バケットが到達可能な範囲、又は、ショベルの旋回軸から所定距離の範囲である、
    請求項１乃至１６の何れかに記載のショベル。

Images