JP7081425B2 - 取付位置認識装置 - Google Patents

Description

本発明は、作業機械に取り付けられた複数の画像センサの各々の取付位置を認識する取付位置認識装置に関する。

特許文献１には、異なる複数の箇所にカメラを設けた作業機械が開示されている。複数のカメラで作業機械の周囲をそれぞれ撮影することで、作業機械の周囲に存在する人や物の位置を把握することができる。

特開２０１８－９３５０１号公報

ところで、作業機械の異なる複数の取付位置にそれぞれ取り付けられる、特許文献１のカメラのような画像センサは、同一部品であることから、どの画像センサがどの取付位置に取り付けられたかを、作業機械自身や画像センサ自身に認識させる必要がある。しかし、画像センサ毎に取付位置の情報を作業機械や画像センサに入力するのは手間である。

本発明の目的は、複数の画像センサの各々の取付位置を容易に認識することが可能な取付位置認識装置を提供することである。

本発明は、作業機械の異なる複数の取付位置にそれぞれ取り付けられて、それぞれが画像を取得する複数の画像センサの各々の前記取付位置を認識する取付位置認識装置であって、前記画像センサが現在取り付けられている現在位置に関する現在位置情報を取得する位置情報取得装置と、前記取付位置に関する取付位置情報を前記複数の取付位置毎に記憶する記憶装置と、前記位置情報取得装置が取得した前記現在位置情報を、前記記憶装置が記憶する前記取付位置情報と照合することで、前記複数の画像センサが、それぞれどの前記取付位置に取り付けられているのかを判定する判定手段と、を有し、前記位置情報取得装置は、前記画像センサが取得する、目印が写り込んだ画像を前記現在位置情報として取得し、前記記憶装置は、前記目印を含む視野情報を前記取付位置情報として記憶しており、前記目印は、前記作業機械の外形形状を含むことを特徴とする。

本発明によると、画像センサが現在取り付けられている現在位置に関する現在位置情報を、作業機械における複数の取付位置に関する取付位置情報と照合することで、複数の画像センサが、それぞれどの取付位置に取り付けられているのかを判定する。これにより、複数の画像センサの各々の取付位置を容易に認識することができる。よって、作業者は、画像センサ毎に取付位置の情報を作業機械や画像センサに入力する必要がない。

作業機械の上面図である。 画像センサの斜視図である。 取付位置認識装置の回路図である。 記憶装置の記憶領域を示す図である。 認識処理のフローチャートである。 報知処理のフローチャートである。

以下、本発明の好適な実施の形態について、図面を参照しつつ説明する。

（作業機械の構成）
本実施形態による取付位置認識装置は、作業機械の異なる複数の取付位置にそれぞれ取り付けられて、それぞれが画像を取得する複数の画像センサの各々の取付位置を認識するものである。作業機械１０は、作業機械１０の上面図である図１に示すように、例えば油圧ショベルである。作業機械１０は、下部走行体１１と、上部旋回体１２と、作業装置１３と、を備えている。

下部走行体１１は、作業機械１０を走行させる部分である。上部旋回体１２は、旋回装置を介して下部走行体１１の上部に旋回可能に設けられている。上部旋回体１２の前部には、キャブ（運転室）１４が設けられている。

作業装置１３は、上部旋回体１２に取り付けられている。作業装置１３は、ブームと、アームと、バケットと、を備える。

作業機械１０には、複数の画像センサ２０がそれぞれ取り付けられている。これら画像センサ２０は、作業機械１０の異なる複数の取付位置にそれぞれ取り付けられており、それぞれが画像を取得する。本実施形態では、４つの画像センサ２０が、異なる４つの取付位置Ａ～Ｄにそれぞれ取り付けられている。

画像センサ２０は、赤外線センサやＴＯＦ（Time of Flight）カメラ等である。画像センサ２０が取得する画像には、距離画像が含まれる。なお、画像センサ２０は、２次元平面にマトリクス状に配置した複数の赤外線センサにより垂直方向の距離を同時計測することで得られる３次元の点群データに基づいて、距離を計測するものや、カメラを２台以上使用して立体視を行うことで、対象物との距離を計測するものであってもよい。

画像センサ２０の斜視図である図２に示すように、画像センサ２０は、センサ本体２１と、支持部材２２と、を有している。支持部材２２は、センサ本体２１のピッチング角度およびヨーイング角度を調整可能に、センサ本体２１を支持している。

（取付位置認識装置の構成）
取付位置認識装置１の回路図である図３に示すように、取付位置認識装置１は、位置情報取得装置２と、記憶装置３と、コントローラ４と、を有している。

位置情報取得装置２は、画像センサ２０が現在取り付けられている現在位置に関する現在位置情報を取得する。本実施形態において、位置情報取得装置２は、画像センサ２０に設けられており、画像センサ２０が取得する、目印が写り込んだ画像を、現在位置情報として取得する。

ここで、目印には、作業機械１０の外形形状や、作業機械１０以外の風景が含まれている。作業機械１０以外の風景は、作業機械１０の組立ラインや検査ラインにおける工場の柱や壁などであってよい。

本実施形態において、記憶装置３は、作業機械１０に設けられている。記憶装置３は、取付位置に関する取付位置情報を、複数の取付位置Ａ～Ｄ毎に記憶している。

具体的に、記憶装置３の記憶領域を示す図である図４に示すように、記憶装置３は、複数の取付位置Ａ～Ｄ毎に、取付位置情報を記憶している。取付位置情報には、視野情報と、座標情報と、角度情報とが含まれている。

視野情報は、取付位置における画像センサの視野に係る情報であり、目印を含む。例えば、取付位置Ａにおける画像センサの視野には、その右下に目印が含まれている。座標情報は、取付位置における画像センサの座標に係る情報である。例えば、取付位置Ａにおける画像センサの３次元座標系における座標は、（Ｘ１，Ｙ１，Ｚ１）である。角度情報は、取付位置における画像センサの角度に係る情報である。例えば、取付位置Ａにおける画像センサのピッチング角度θ１、ローリング角度θ２、および、ヨーイング角度θ３は、それぞれＡ１、Ｂ１、Ｃ１である。

図３に戻って、本実施形態において、コントローラ４は、作業機械１０に設けられている。コントローラ（判定手段）４は、位置情報取得装置２が取得した現在位置情報を、記憶装置３が記憶する取付位置情報と照合することで、複数の画像センサ２０が、それぞれどの取付位置Ａ～Ｄに取り付けられているのかを判定する。例えば、ある画像センサ２０が撮像した、目印が写り込んだ画像が、取付位置Ａに対応付けて記憶装置３に記憶された、目印を含む視野情報と一致する場合に、この画像センサ２０が取付位置Ａに取り付けられていると判定する。

このように、複数の画像センサ２０が、それぞれどの取付位置Ａ～Ｄに取り付けられているのかを判定することで、複数の画像センサ２０の各々の取付位置を容易に認識することができる。よって、作業者は、画像センサ２０毎に取付位置の情報を作業機械１０や画像センサ２０に入力する必要がない。

また、画像センサ２０が取得する、目印が写り込んだ画像を現在位置情報として、これを、記憶装置３が取付位置情報として記憶する、目印を含む視野情報と照合することで、複数の画像センサ２０が、それぞれどの取付位置に取り付けられているのかを好適に判定することができる。

また、目印が、作業機械１０の外形形状や、作業機械１０以外の風景を含んでいる。これにより、画像センサ２０の現在位置情報の取得専用の目印を別途用意する必要がないので、構成を簡略化することができる。

なお、位置情報取得装置２は、画像センサ２０の姿勢を、画像センサ２０の現在位置情報として取得してもよい。具体的には、センサ本体２１のピッチング角度θ１、ローリング角度θ２、および、ヨーイング角度θ３を、画像センサ２０の姿勢として取得してよい。この場合、コントローラ４は、画像センサ２０の姿勢を、記憶装置３が記憶する角度情報と照合することで、複数の画像センサ２０が、それぞれどの取付位置Ａ～Ｄに取り付けられているのかを判定してよい。

ここで、コントローラ４による判定後（画像センサ２０の組み立て後）に、作業機械１０による作業を行っているうちに、作業機械１０の振動や他の物との接触によって、画像センサ２０が現在取り付けられている現在位置が、コントローラ４による判定時の取付位置からずれる場合がある。

そこで、図３に示すように、取付位置認識装置１は、警報装置５を有している。警報装置５は、キャブ１４内に設けられたディスプレイやスピーカである。

まず、コントローラ（記憶制御手段）４は、自身による画像センサ２０の取付位置の判定時に位置情報取得装置２が取得した現在位置情報を、初期位置情報として記憶装置３に記憶させる。ここで、初期位置情報としての目印が写り込んだ画像における目印として、作業機械１０の外形形状の一部を用いる。目印が作業機械１０以外の風景であれば、コントローラ４による判定後にそれを画像センサ２０で取得できないためである。

次に、コントローラ（位置情報判定手段）４は、自身による画像センサ２０の取付位置の判定後に位置情報取得装置２が取得した現在位置情報が、初期位置情報と一致するか否かを判定する。

次に、コントローラ（警報制御手段）４は、現在位置情報が初期位置情報と一致しないと自身が判定した場合に、画像センサ２０が現在取り付けられている現在位置が、コントローラ４による判定時の取付位置からずれたと判定して、警報装置５から警報を発生させる。これにより、画像センサ２０が現在取り付けられている現在位置が、コントローラ４による判定時の取付位置からずれたことを、作業者に知らせることができる。作業者は、手動で画像センサ２０を動かして、画像センサ２０の位置を調整することになる。

ここで、上述したように、記憶装置３が作業機械１０に設けられている。また、作業機械１０に設けられたコントローラ４が、複数の画像センサ２０がそれぞれどの取付位置に取り付けられているのかを判定している。つまり、複数の画像センサ２０が、それぞれどの取付位置に取り付けられているのかを判定する判定手段が、作業機械１０に設けられている。これにより、記憶装置３および判定手段の少なくとも一方が画像センサ２０に設けられている場合に比べて、画像センサ２０の構成を簡略化し、画像センサ２０のコストを下げることができる。

なお、判定手段が作業機械１０に設けられている場合には、複数の画像センサ２０の各々の取付位置が作業機械１０側で認識される。よって、その情報を画像センサ２０に入力すれば、画像センサ２０側でも取付位置が認識されることとなる。判定手段が画像センサ２０に設けられている場合には、その逆となる。

（取付位置認識装置の動作）
次に、認識処理のフローチャートである図５を用いて、取付位置認識装置１の動作を説明する。認識処理のフローチャートは、コントローラ４による判定を行う際に実行される。

まず、コントローラ４は、位置情報取得装置２を介して、画像センサ２０が現在取り付けられている現在位置に関する現在位置情報を取得する（ステップＳ１）。次に、コントローラ４は、取得した現在位置情報と、記憶装置３に記憶された取付位置情報とを照合する（ステップＳ２）。

次に、コントローラ４は、現在位置情報が取付位置情報と一致するか否かを判定する（ステップＳ３）。ステップＳ３において、現在位置情報が取付位置情報と一致しないと判定した場合には（Ｓ３：ＮＯ）、コントローラ４は、ステップＳ３を繰り返す。作業者は、手動で画像センサ２０を動かして、画像センサ２０の位置を調整することになる。一方、ステップＳ３において、現在位置情報が取付位置情報と一致すると判定した場合には（Ｓ３：ＹＥＳ）、コントローラ４は、各画像センサ２０の取付位置を認識する（ステップＳ４）。

次に、コントローラ４は、取得した現在位置情報を初期位置情報として記憶装置３に記憶させる（ステップＳ５）。そして、本フローを終了する。

次に、報知処理のフローチャートである図６を用いて、取付位置認識装置１の動作を説明する。報知処理のフローチャートは、コントローラ４による判定後（画像センサ２０の組み立て後）に実行される。

まず、コントローラ４は、位置情報取得装置２を介して、画像センサ２０が現在取り付けられている現在位置に関する現在位置情報を取得する（ステップＳ１１）。次に、コントローラ４は、取得した現在位置情報と、記憶装置３に記憶された初期位置情報とを照合する（ステップＳ１２）。そして、コントローラ４は、現在位置情報が初期位置情報と一致するか否かを判定する（ステップＳ１３）。

ステップＳ１３において、現在位置情報が初期位置情報と一致しないと判定した場合には（Ｓ１３：ＮＯ）、コントローラ４は、警報装置５から警報を発生させる（ステップＳ１４）。そして、ステップＳ１１に戻る。作業者は、手動で画像センサ２０を動かして、画像センサ２０の位置を調整することになる。

一方、ステップＳ１３において、現在位置情報が初期位置情報と一致すると判定した場合には（Ｓ１３：ＹＥＳ）、コントローラ４は、警報装置５から警報が発生中であるか否かを判定する（ステップＳ１５）。ステップＳ１５において、警報装置５から警報が発生中であると判定した場合には（Ｓ１５：ＹＥＳ）、コントローラ４は、警報を停止させる（ステップＳ１６）。そして、ステップＳ１１に戻る。一方、ステップＳ１５において、警報装置５から警報が発生中でないと判定した場合には（Ｓ１５：ＮＯ）、コントローラ４は、ステップＳ１１に戻る。

（効果）
以上に述べたように、本実施形態に係る取付位置認識装置１によれば、画像センサ２０が現在取り付けられている現在位置に関する現在位置情報を、作業機械１０における複数の取付位置に関する取付位置情報と照合することで、複数の画像センサ２０が、それぞれどの取付位置に取り付けられているのかを判定する。これにより、複数の画像センサ２０の各々の取付位置を容易に認識することができる。よって、作業者は、画像センサ２０毎に取付位置の情報を作業機械１０や画像センサ２０に入力する必要がない。

また、画像センサ２０が現在取り付けられている位置に関する現在位置情報として、目印が写り込んだ画像を取得する。これを、記憶装置３が取付位置情報として記憶する、目印を含む視野情報と照合することで、複数の画像センサ２０が、それぞれどの取付位置に取り付けられているのかを好適に判定することができる。

また、目印が、作業機械１０の外形形状を含んでいる。これにより、画像センサ２０の現在位置情報の取得専用の目印を別途用意する必要がないので、構成を簡略化することができる。

また、目印が、作業機械１０以外の風景を含んでいる。これにより、画像センサ２０の現在位置情報の取得専用の目印を別途用意する必要がないので、構成を簡略化することができる。

また、コントローラ４による判定時に位置情報取得装置２が取得した現在位置情報が、初期位置情報として記憶装置３に記憶される。そして、判定後に位置情報取得装置２が取得した現在位置情報が、初期位置情報と一致するか否かが判定され、一致しない場合に、警報が発生される。作業機械１０による作業を行っているうちに、作業機械１０の振動や他の物との接触によって、画像センサ２０が現在取り付けられている現在位置が、コントローラ４による判定時の取付位置からずれる場合がある。コントローラ４による判定後の現在位置情報が、コントローラ４による判定時の初期位置情報と一致しない場合に、画像センサ２０が現在取り付けられている現在位置が、コントローラ４による判定時の取付位置からずれたと判定して、警報を発生させる。これにより、画像センサ２０が現在取り付けられている現在位置が、コントローラ４による判定時の取付位置からずれたことを、作業者に知らせることができる。

また、記憶装置３および判定手段が、作業機械１０に設けられている。これにより、記憶装置３および判定手段の少なくとも一方が画像センサ２０に設けられている場合に比べて、画像センサ２０の構成を簡略化し、画像センサ２０のコストを下げることができる。

以上、本発明の実施形態を説明したが、具体例を例示したに過ぎず、特に本発明を限定するものではなく、具体的構成などは、適宜設計変更可能である。また、発明の実施の形態に記載された、作用及び効果は、本発明から生じる最も好適な作用及び効果を列挙したに過ぎず、本発明による作用及び効果は、本発明の実施の形態に記載されたものに限定されるものではない。

例えば、位置情報取得装置２が、画像センサ２０の座標を、画像センサ２０の現在位置情報として取得する場合には、位置情報取得装置２が取得したセンサ本体２１の座標を、記憶装置３が記憶する座標情報（図４参照）と照合することで、複数の画像センサ２０が、それぞれどの取付位置に取り付けられているのかを判定してよい。

１ 取付位置認識装置
２ 位置情報取得装置
３ 記憶装置
４ コントローラ
５ 警報装置
１０ 作業機械
１１ 下部走行体
１２ 上部旋回体
１３ 作業装置
１４ キャブ
２０ 画像センサ
２１ センサ本体
２２ 支持部材

Claims (4)

1. 作業機械の異なる複数の取付位置にそれぞれ取り付けられて、それぞれが画像を取得する複数の画像センサの各々の前記取付位置を認識する取付位置認識装置であって、
   前記画像センサが現在取り付けられている現在位置に関する現在位置情報を取得する位置情報取得装置と、
   前記取付位置に関する取付位置情報を前記複数の取付位置毎に記憶する記憶装置と、
   前記位置情報取得装置が取得した前記現在位置情報を、前記記憶装置が記憶する前記取付位置情報と照合することで、前記複数の画像センサが、それぞれどの前記取付位置に取り付けられているのかを判定する判定手段と、
   を有し、
   前記位置情報取得装置は、前記画像センサが取得する、目印が写り込んだ画像を前記現在位置情報として取得し、
   前記記憶装置は、前記目印を含む視野情報を前記取付位置情報として記憶しており、
   前記目印は、前記作業機械の外形形状を含むことを特徴とする取付位置認識装置。
2. 前記目印は、前記作業機械以外の風景を含むことを特徴とする請求項１に記載の取付位置認識装置。
3. 前記判定手段による判定時に前記位置情報取得装置が取得した前記現在位置情報を、初期位置情報として前記記憶装置に記憶させる記憶制御手段と、
   前記判定手段による判定後に前記位置情報取得装置が取得した前記現在位置情報が、前記初期位置情報と一致するか否かを判定する位置情報判定手段と、
   警報を発することが可能な警報装置と、
   前記現在位置情報が前記初期位置情報と一致しないと前記位置情報判定手段が判定した場合に、前記警報装置から警報を発生させる警報制御手段と、
   をさらに有することを特徴とする請求項１又は２に記載の取付位置認識装置。
4. 前記記憶装置および前記判定手段が、前記作業機械に設けられていることを特徴とする請求項１～３のいずれか１項に記載の取付位置認識装置。

Images