JP6520508B2 - 産業車両の表示システム - Google Patents

Description

本発明は、産業車両の表示システムに関する。

従来における産業車両の表示システムとしては、例えば特許文献１に記載されている技術が知られている。特許文献１に記載の産業車両の表示システムは、マストの前方に設けられ、マストより前方景色を撮像する第１カメラと、オペレータが装着するヘッドマウントディスプレイに固定され、オペレータの視野と略同一の視野を撮像する第２カメラと、第１カメラ及び第２カメラにより撮像した画像の画像処理を行う画像処理装置とを備えている。画像処理装置は、第１カメラにて得られた撮像画像を、第２カメラにて得られた撮像画像に基づいて変形し、その変形画像をマストに相当する範囲だけ切り取り、切り取った部分画像をヘッドマウントディスプレイに出力する。

特開２００８−１４３７０１号公報

しかしながら、上記従来技術においては、以下の問題点が存在する。即ち、荷役装置の一部である爪（フォーク）に荷物が積載されると、荷物の高さによってはカメラ（撮像部）が荷物に隠れてしまい、マストより前方景色を撮像することができない場合がある。また、カメラがマストの前方に設けられているため、フォークを昇降動作させたときは、補完できないカメラの前方死角が生じてしまう。従って、フォークを昇降動作させたときでも、カメラの前方死角を補完するためには、カメラの台数を増やす必要がある。

本発明の目的は、撮像部の台数を増やさなくても、荷役装置を動作させたときに、撮像部の前方死角を補完することができる産業車両の表示システムを提供することである。

本発明の一態様は、走行装置と走行装置の前側に配置された荷役装置とを有する産業車両の表示システムにおいて、走行装置の前方を撮像する撮像部と、荷役装置の動作開始時に撮像部により撮像して取得された画像を記録画像として記憶する記憶部と、撮像部により撮像して取得された最新の映像と記憶部に記憶された記録画像とを合成して合成映像を生成する画像処理部と、画像処理部により生成された合成映像を表示する表示部とを備え、画像処理部は、記録画像及び最新の映像の一方に記録画像及び最新の映像の他方を透過させて合成することを特徴とする。

このような産業車両の表示システムにおいては、荷役装置の動作開始時に、撮像部により走行装置の前方を撮像して取得された画像が記録画像として記憶部に記憶される。そして、撮像部により走行装置の前方を撮像して取得された最新の映像と記憶部に記憶された記録画像とを合成して合成映像が生成され、その合成映像が表示部に表示される。ここで、合成映像を生成するときは、記録画像及び最新の映像の一方に記録画像及び最新の映像の他方を透過させて合成する。このため、荷役装置を動作させても、表示部において記録画像及び最新の映像が何れも全体的に鮮明に表示される。これにより、撮像部の台数を増やさなくても、荷役装置を動作させたときに、撮像部の前方死角を補完することができる。

画像処理部は、記録画像に最新の映像を透過させて合成してもよい。この場合には、背景に近い記録画像が最新の映像よりも明瞭になるため、表示部に表示された合成映像が見やすくなる。

記憶部は、荷役装置を動作させるための操作部の操作が開始されたときに撮像部により撮像して取得された画像を記録画像として記憶してもよい。この場合には、荷役装置を動作させるための操作部の操作が開始されると、自動的に撮像部が走行装置の前方を撮像する。従って、撮像部による撮像タイミングをオペレータが手動操作スイッチ等で指示しなくて済むため、オペレータの負担が軽くなる。

走行装置が所定距離以上走行したかどうかを検知する走行検知部と、走行検知部により走行装置が所定距離以上走行したことが検知されたときに、記憶部から記録画像を消去する画像消去部とを更に備えてもよい。走行装置が走行すると、記憶部に記憶された記録画像が実際の撮像部の画像と変わってしまうため、当該記録画像は不要となる。そこで、走行装置が所定距離以上走行したことが検知されたときは、記憶部から記録画像を消去することにより、最新の映像と記録画像とを合成する処理が不要となるため、処理の簡素化を図ることができる。

走行装置の走行状態を検出する状態検出部と、状態検出部により検出された走行装置の走行状態に基づいて、記憶部に記憶された記録画像を補正する画像補正部とを更に備えてもよい。走行装置の走行状態が変化すると、記憶部に記憶された記録画像が実際の撮像部の画像と変わってしまうため、当該記録画像は不要となる。そこで、走行装置の走行状態に基づいて、記憶部に記憶された記録画像を補正することにより、最新の走行装置の走行状態に応じた適切な記録画像を得ることができる。

本発明によれば、撮像部の台数を増やさなくても、荷役装置を動作させたときに、撮像部の前方死角を補完することができる産業車両の表示システムが提供される。

本発明の一実施形態に係る表示システムが適用される産業車両としてフォークリフトを示す側面図である。 本発明の一実施形態に係る表示システムを示す概略構成図である。 図２に示されたコントローラにより実行される表示処理手順の詳細を示すフローチャートである。 図２に示されたメモリに記憶される記録画像の一例と、当該記録画像とカメラの最新の映像とを合成して生成された合成画像の一例とを示す図である。 本発明の他の実施形態に係る表示システムを示す概略構成図である。 図５に示されたコントローラにより実行される表示処理手順の詳細を示すフローチャートである。 図４（ｂ）に示された合成画像の変形例を示す図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、図面において、同一または同等の要素には同じ符号を付し、重複する説明を省略する。

図１は、本発明の一実施形態に係る表示システムが適用される産業車両としてフォークリフトを示す側面図である。同図において、フォークリフト１は、４つの車輪２ａを有する走行装置２と、この走行装置２の前側に配置された荷役装置３とを備えている。

荷役装置３は、走行装置２の前部に取り付けられたマスト４を有している。マスト４には、リフトブラケット５が昇降可能に支持されている。リフトブラケット５には、荷物を積載するフォーク６が取り付けられている。また、荷役装置３は、フォーク６を昇降させるリフトシリンダ７と、マスト４を傾動させるティルトシリンダ８とを有している。

走行装置２は、運転室９を有している。運転室９内には、リフトシリンダ７を動作させるための操作部であるリフト操作レバー１０と、ティルトシリンダ８を動作させるための操作部であるティルト操作レバー１１と、操舵を行うためのステアリング１２とが配置されている。

図２は、本発明の一実施形態に係る表示システムを示す概略構成図である。本実施形態の表示システム１３は、走行装置２に具備されている。表示システム１３は、カメラ（撮像部）１４と、回転センサ１５と、表示器（表示部）１６と、メモリ（記憶部）１７と、コントローラ１８とを備えている。

カメラ１４は、運転室９の一部を画成するヘッドガード９ａの上面に取り付けられ（図１参照）、走行装置２の前方を撮像する。なお、カメラ１４の数は１つである。ここでは、カメラ１４の撮像範囲は、走行装置２の前方におけるヘッドガード９ａの高さ位置よりも上方である。

回転センサ１５は、車輪２ａの回転数を計測するセンサである。表示器１６は、運転室９内の前上部に配置され（図１参照）、走行装置２の前方の状況を表示する。メモリ１７は、荷役装置３のフォーク６を上昇させる動作の開始時にカメラ１４により撮像して取得された画像を記録画像として記憶する。

コントローラ１８は、撮像制御部１９と、画像保存部２０と、画像処理部２１と、表示制御部２２と、走行検知部２３と、画像消去部２４とを有している。

撮像制御部１９は、リフト操作レバー１０によりフォーク６を上昇させる操作（リフト上昇操作）が開始されると、フォーク６を上昇させるようにリフトシリンダ７を駆動する直前に、カメラ１４により走行装置２の前方を撮像するようにカメラ１４を制御する。

画像保存部２０は、リフト上昇操作が開始されることでカメラ１４により撮像して取得された画像を記録画像としてメモリ１７に保存する。なお、記録画像は、静止画である。

画像処理部２１は、カメラ１４により撮像して取得された最新の映像とメモリ１７に記憶された記録画像とを合成して合成映像を生成する。このとき、画像処理部２１は、メモリ１７に記憶された記録画像にカメラ１４の最新の映像を透過させて合成する。なお、カメラ１４の最新の映像は、動画である。

表示制御部２２は、カメラ１４の最新の映像のみ又は画像処理部２１により生成された合成映像を表示器１６に表示させる。

走行検知部２３は、回転センサ１５の計測値に基づいて、走行装置２が所定距離以上走行したかどうか、つまりフォークリフト１が所定距離以上走行したかどうかを検知する。画像消去部２４は、走行検知部２３により走行装置２が所定距離以上走行したことが検知されたときに、メモリ１７から記録画像を消去する。

図３は、コントローラ１８により実行される表示処理手順の詳細を示すフローチャートである。なお、カメラ１４は、走行装置２の前方の動画を常時撮像し、コントローラ１８は、そのカメラ１４の最新の映像を常時取得する。

図３において、まずコントローラ１８は、リフト操作レバー１０によりリフト上昇操作が開始されたかどうかを判断する（手順Ｓ１０１）。コントローラ１８は、リフト上昇操作が開始されたときは、カメラ１４により走行装置２の前方の静止画を撮像するようにカメラ１４を制御し、カメラ１４の撮像画像を取得する（手順Ｓ１０２）。続いて、コントローラ１８は、カメラ１４の撮像画像を記録画像としてメモリ１７に保存する（手順Ｓ１０３）。

図４（ａ）は、記録画像の一例を示す図である。図４（ａ）に示される記録画像は、フォーク６に積載された荷物Ａ（図４（ｂ）参照）が格納される棚２５がマスト４の上部と共に写っている静止画である。

続いて、コントローラ１８は、メモリ１７に記憶された記録画像にカメラ１４の最新の映像を透過させて合成することで、合成映像を生成する（手順Ｓ１０４）。このとき、カメラ１４の最新の映像は、半透明（例えば透過率５０％）の状態で記録画像に合成される。

図４（ｂ）は、合成画像の一例を示す図である。図４（ｂ）に示される合成映像は、棚２５の所定位置に荷物Ａを格納するために、フォーク６に積載された荷物Ａをリフトシリンダ７により上昇させた状態を表している。このとき、最新の状態のマスト４、フォーク６及び荷物Ａは、棚２５よりも透き通った状態で表されている。

続いて、コントローラ１８は、手順Ｓ１０４で生成された合成映像を表示器１６に表示させる（手順Ｓ１０５）。このため、表示器１６においては、記録画像に最新の映像が重ね合わされた状態で表示される。

このとき、図４（ｂ）に示される合成画像では、棚２５は透過した状態で表されていないが、最新の状態のマスト４、フォーク６及び荷物Ａは透過した状態で表されている。このため、表示器１６において、棚２５の一部がマスト４、フォーク６及び荷物Ａにより隠れることが無い。従って、オペレータは、棚２５における荷物Ａの格納位置を表示器１６により確認することができる。

続いて、コントローラ１８は、回転センサ１５の計測値に基づいて、走行装置２が所定距離以上走行したかどうかを判断する（手順Ｓ１０６）。走行装置２の走行距離は、回転センサ１５により計測された車輪２ａの回転数と車輪２ａの径とから算出される。ここで、所定距離は、例えば数十ｃｍ程度である。

コントローラ１８は、走行装置２が所定距離以上走行していないときは、上記の手順Ｓ１０４，Ｓ１０５を再度実行する。コントローラ１８は、走行装置２が所定距離以上走行したときは、メモリ１７から記録画像を消去する（手順Ｓ１０７）。その後、コントローラ１８は、カメラ１４の最新の映像のみを表示器１６に表示させる（手順Ｓ１０８）。

また、コントローラ１８は、手順Ｓ１０１でリフト操作レバー１０によりリフト上昇操作が開始されていないと判断されたときも、カメラ１４の最新の映像のみを表示器１６に表示させる（手順Ｓ１０８）。

以上において、手順Ｓ１０１，Ｓ１０２は、撮像制御部１９により実行される。手順Ｓ１０３は、画像保存部２０により実行される。手順Ｓ１０４は、画像処理部２１により実行される。手順Ｓ１０５は、表示制御部２２により実行される。手順Ｓ１０６は、走行検知部２３により実行される。手順Ｓ１０７は、画像消去部２４により実行される。手順Ｓ１０８は、表示制御部２２により実行される。

以上のように本実施形態においては、荷役装置３のフォーク６の上昇動作開始時に、カメラ１４により走行装置２の前方を撮像して取得された画像が記録画像としてメモリ１７に記憶される。そして、カメラ１４により走行装置２の前方を撮影して取得された最新の映像とメモリ１７に記憶された記録画像とを合成して合成映像が生成され、その合成映像が表示器１６に表示される。ここで、合成映像を生成するときは、記録画像に最新の映像を透過させて合成する。このため、フォーク６を上昇動作させても、表示器１６において記録画像及び最新の映像が何れも全体的に鮮明に表示される。これにより、カメラ１４の台数を増やさなくても、フォーク６を上昇動作させたときに、カメラ１４の前方死角を補完することができる。その結果、オペレータによる荷役装置３の操作性を向上させることが可能となる。

また、メモリ１７に記憶された記録画像に最新の映像を透過させて合成するので、背景に近い記録画像が最新の映像よりも明瞭になる。従って、表示器１６に表示された合成映像が見やすくなる。

さらに、リフト操作レバー１０によりリフト上昇操作が開始されると、自動的にカメラ１４が走行装置２の前方を撮像する。従って、カメラ１４による撮像タイミングをオペレータが手動操作スイッチ等で指示しなくて済むため、オペレータの負担が軽くなる。

また、例えば走行装置２が棚２５に向けて前進するように走行した場合には、棚２５とカメラ１４との距離が近くなり、メモリ１７に記憶された記録画像が実際のカメラ１４の撮像画像と変わってしまうため、当該記録画像は不要となる。本実施形態では、走行装置２が所定距離走行したことが検知されると、メモリ１７から記録画像を消去するので、最新の映像と記録画像とを合成する処理が不要となり、処理の簡素化を図ることができる。

なお、本実施形態では、走行装置２が所定距離以上走行すると、メモリ１７から記録画像が消去されるが、リフト操作レバー１０によりフォーク６を下降させる操作が行われたときにも、メモリ１７から記録画像を消去してもよい。

図５は、本発明の他の実施形態に係る表示システムを示す概略構成図である。本実施形態の表示システム１３は、カメラ１４と、回転センサ１５と、車輪角センサ３０と、消去スイッチ３１と、表示器１６と、メモリ１７と、コントローラ３２とを備えている。車輪角センサ３０は、車輪２ａの転舵角を計測するセンサである。消去スイッチ３１は、オペレータがメモリ１７から記録画像を消去する指示を行うための手動操作スイッチである。

コントローラ３２は、撮像制御部１９と、画像保存部２０と、画像処理部２１と、表示制御部２２と、画像補正部３３と、画像消去部３４とを有している。

画像補正部３３は、回転センサ１５及び車輪角センサ３０の計測値から検出される走行装置２の走行状態に基づいて、メモリ１７に記憶された記録画像を補正する。なお、回転センサ１５及び車輪角センサ３０は、走行装置２の走行状態を検出する状態検出部の少なくとも一部を構成する。

画像消去部３４は、消去スイッチ３１がＯＮとなったときに、メモリ１７から記録画像を消去する。

図６は、コントローラ３２により実行される表示処理手順の詳細を示すフローチャートである。なお、図３に示されるフローチャートと同じ手順については、説明を省略する。

図６において、コントローラ３２は、手順Ｓ１０１〜Ｓ１０５を実行した後、回転センサ１５及び車輪角センサ３０の計測値に基づいて、走行装置２の走行状態が手順Ｓ１０２でカメラ１４の撮影画像を取得したときから変化していないかどうかを判断する（手順Ｓ１１１）。このとき、コントローラ３２は、回転センサ１５により計測された車輪２ａの回転数及び車輪２ａの径から算出される走行装置２の走行距離と、車輪角センサ３０により計測された車輪２ａの転舵角とに基づいて、走行装置２の走行状態が変化したか否かを判断する。

コントローラ３２は、走行装置２の走行状態が変化したときは、最新の走行装置２の走行状態に基づいて、メモリ１７に記憶された記録画像を補正する（手順Ｓ１１２）。そして、コントローラ３２は、補正した記録画像をメモリ１７に上書き保存する（手順Ｓ１１３）。そして、コントローラ３２は、上記の手順Ｓ１０４，Ｓ１０５を再度実行する。

一方、コントローラ３２は、走行装置２の走行状態が変化していないときは、消去スイッチ３１がＯＮであるかどうかを判断する（手順Ｓ１１４）。コントローラ３２は、消去スイッチ３１がＯＮでないときは、上記の手順Ｓ１０４，Ｓ１０５を再度実行する。コントローラ３２は、消去スイッチ３１がＯＮであるときは、メモリ１７から記録画像を消去する（手順Ｓ１１５）。

以上において、手順Ｓ１１１，Ｓ１１２は、画像補正部３３により実行される。手順Ｓ１１３は、画像保存部２０により実行される。手順Ｓ１１４，Ｓ１１５は、画像消去部３４により実行される。

ところで、上述したように、走行装置２の走行状態が変化すると、メモリ１７に記憶された記録画像が実際のカメラ１４の撮像画像と変わってしまうため、当該記録画像は不要となる。本実施形態では、走行装置２の走行状態に基づいて、メモリ１７に記憶された記録画像を補正するので、最新の走行装置２の走行状態に応じた適切な記録画像を得ることができる。

なお、本発明は、上記実施形態には限定されない。例えば、上記実施形態では、画像処理部２１は、図４（ｂ）に示されるように、メモリ１７に記憶された記録画像にカメラ１４の最新の映像を透過させて合成することで、合成映像を生成しているが、特にその形態には限られない。画像処理部２１は、図７に示されるように、メモリ１７に記憶された記録画像をカメラ１４の最新の映像に透過させて合成することで、合成画像を生成してもよい。つまり、図７に示される記録画像では、棚２５が最新の状態のマスト４、フォーク６及び荷物Ａよりも透き通った状態で表されている。この場合には、カメラ１４の最新の映像を毎回透過させる処理が不要となるため、画像処理を簡素化することができる。

また、上記実施形態では、リフト操作レバー１０によりリフト上昇操作が開始されると、カメラ１４により走行装置２の前方を撮像し、その撮像画像を記録画像としてメモリ１７に保存しているが、特にその形態には限られない。例えば、オペレータがカメラ１４による撮像を手動操作で指示するための撮像スイッチを具備し、撮像スイッチがＯＮにされると、カメラ１４により走行装置２の前方を撮像し、その撮像画像を記録画像としてメモリ１７に保存してもよい。

さらに、上記実施形態では、車載用のカメラ１４及び表示器１６が使用されているが、撮像部としては、スマートデバイスまたはフィーチャーフォン等を使用してもよく、表示部としては、スマートデバイスまたはヘッドマウントディスプレイ等を使用してもよい。

また、上記実施形態では、コントローラ１８，３２及びメモリ１７がフォークリフト１の走行装置２に具備されているが、カメラ１４の画像及び映像、表示器１６への出力信号及びセンサの計測信号等を無線により送受信することが可能である場合には、コントローラ１８，３２及びメモリ１７をフォークリフト１に具備しなくてもよい。

また、上記実施形態の産業車両は、昇降動作するフォーク６を有する荷役装置３を備えたフォークリフト１であるが、本発明は、例えば左右にシフトするサイドシフトフォーク等のアタッチメントを有する荷役装置を備えた産業車両にも適用可能である。

１…フォークリフト（産業車両）、２…走行装置、３…荷役装置、１０…リフト操作レバー（操作部）、１３…表示システム、１４…カメラ（撮像部）、１５…回転センサ（状態検出部）、１６…表示器（表示部）、１７…メモリ（記憶部）、１８…コントローラ、２１…画像処理部、２３…走行検知部、２４…画像消去部、３０…車輪角センサ（状態検出部）、３２…コントローラ、３３…画像補正部、３４…画像消去部。

Claims (7)

1. 走行装置と前記走行装置の前側に配置された荷役装置とを有する産業車両の表示システムにおいて、
   前記走行装置の前方を撮像する撮像部と、
   前記荷役装置の動作開始時に前記撮像部により撮像して取得された画像を記録画像として記憶する記憶部と、
   前記撮像部により撮像して取得された最新の映像と前記記憶部に記憶された前記記録画像とを合成して合成映像を生成する画像処理部と、
   前記画像処理部により生成された前記合成映像を表示する表示部とを備え、
   前記記憶部は、前記荷役装置を動作させるための操作部の操作が開始されたときに前記撮像部により撮像して取得された画像を前記記録画像として記憶し、
   前記画像処理部は、前記記録画像及び前記最新の映像の一方に前記記録画像及び前記最新の映像の他方を透過させて合成することを特徴とする産業車両の表示システム。
2. 前記画像処理部は、前記記録画像に前記最新の映像を透過させて合成することを特徴とする請求項１記載の産業車両の表示システム。
3. 前記走行装置が所定距離以上走行したかどうかを検知する走行検知部と、
   前記走行検知部により前記走行装置が所定距離以上走行したことが検知されたときに、前記記憶部から前記記録画像を消去する画像消去部とを更に備えることを特徴とする請求項１または２記載の産業車両の表示システム。
4. 前記走行装置の走行状態を検出する状態検出部と、
   前記状態検出部により検出された前記走行装置の走行状態に基づいて、前記記憶部に記憶された前記記録画像を補正する画像補正部とを更に備えることを特徴とする請求項１または２記載の産業車両の表示システム。
5. 走行装置と前記走行装置の前側に配置された荷役装置とを有する産業車両の表示システムにおいて、
   前記走行装置の前方を撮像する撮像部と、
   前記荷役装置の動作開始時に前記撮像部により撮像して取得された画像を記録画像として記憶する記憶部と、
   前記撮像部により撮像して取得された最新の映像と前記記憶部に記憶された前記記録画像とを合成して合成映像を生成する画像処理部と、
   前記画像処理部により生成された前記合成映像を表示する表示部と、
   前記走行装置が所定距離以上走行したかどうかを検知する走行検知部と、
   前記走行検知部により前記走行装置が所定距離以上走行したことが検知されたときに、前記記憶部から前記記録画像を消去する画像消去部とを備え、
   前記画像処理部は、前記記録画像及び前記最新の映像の一方に前記記録画像及び前記最新の映像の他方を透過させて合成することを特徴とする産業車両の表示システム。
6. 走行装置と前記走行装置の前側に配置された荷役装置とを有する産業車両の表示システムにおいて、
   前記走行装置の前方を撮像する撮像部と、
   前記荷役装置の動作開始時に前記撮像部により撮像して取得された画像を記録画像として記憶する記憶部と、
   前記撮像部により撮像して取得された最新の映像と前記記憶部に記憶された前記記録画像とを合成して合成映像を生成する画像処理部と、
   前記画像処理部により生成された前記合成映像を表示する表示部と、
   前記走行装置の走行状態を検出する状態検出部と、
   前記状態検出部により検出された前記走行装置の走行状態に基づいて、前記記憶部に記憶された前記記録画像を補正する画像補正部とを備え、
   前記画像処理部は、前記記録画像及び前記最新の映像の一方に前記記録画像及び前記最新の映像の他方を透過させて合成することを特徴とする産業車両の表示システム。
7. 前記画像処理部は、前記記録画像に前記最新の映像を透過させて合成することを特徴とする請求項５または６記載の産業車両の表示システム。

Images