JP6650498B1 - Display control device, display control method and program - Google Patents
Display control device, display control method and program Download PDFInfo
- Publication number
- JP6650498B1 JP6650498B1 JP2018167009A JP2018167009A JP6650498B1 JP 6650498 B1 JP6650498 B1 JP 6650498B1 JP 2018167009 A JP2018167009 A JP 2018167009A JP 2018167009 A JP2018167009 A JP 2018167009A JP 6650498 B1 JP6650498 B1 JP 6650498B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- fork
- distance
- display control
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Abstract
【課題】荷役作業の操作をよりし易くすることのできる表示制御装置を提供する。【解決手段】表示制御装置は、フォークリフトの第１のフォークの先端部に設けられた撮像装置が撮像した撮像画像を取得する画像取得部と、前記撮像画像における深度を取得する深度取得部と、前記深度に基づいて、前記第１のフォークの先端部から前記撮像画像に写る障害物までの距離を特定する距離特定部と、前記距離と前記第１のフォークの先端部の位置とに応じた画像を、前記撮像画像に重畳させて表示させる表示制御部と、を備える。【選択図】図３An object of the present invention is to provide a display control device capable of further facilitating a cargo handling operation. The display control device includes: an image acquisition unit configured to acquire a captured image captured by an imaging device provided at a tip of a first fork of a forklift; a depth acquisition unit configured to acquire a depth in the captured image; A distance specifying unit that specifies a distance from a tip of the first fork to an obstacle shown in the captured image based on the depth, and a distance specifying unit that determines a distance and a position of the tip of the first fork. A display control unit for displaying an image superimposed on the captured image. [Selection diagram] FIG.
Description
本発明は、表示制御装置、表示制御方法及びプログラムに関する。 The present invention relates to a display control device, a display control method, and a program.
フォークリフトは、車両本体の前方に荷役対象物（以下、荷物と呼ぶ）を支持して昇降するフォークを備えており、例えば、一般的な乗用車に比べて、運転者が前方の状況を確認し難い車両の構成となっている。特に、荷物を支持してフォークリフトを前方に走行させる場合には、フォークリフトの前方に死角ができ易くなり、運転者は、フォークリフトから降りて前方を確認したり、運転者とは別にフォークリフトを誘導する誘導員を必要としたりすることもある。
そこで、フォークの先端部にカメラを設け、そのカメラが撮像した撮像画像を表示装置に表示させることによって、運転者が運転席に座ったままフォークリフトの前方を確認することのできる技術が考案されている（例えば、特許文献１、２）。
A forklift is provided with a fork that lifts and lowers a cargo object (hereinafter, referred to as luggage) in front of a vehicle body. For example, it is more difficult for a driver to confirm the situation in front than a general passenger car. It has a vehicle configuration. In particular, when the forklift travels forward while supporting the luggage, it is easy for blind spots to form in front of the forklift, and the driver gets off the forklift and checks the front, or guides the forklift separately from the driver. In some cases, a guide is required.
Therefore, a technology has been devised in which a camera is provided at the tip of a fork and a captured image captured by the camera is displayed on a display device so that the driver can confirm the front of the forklift while sitting in the driver's seat. (For example,
ところで、フォークリフトを用いて荷役作業を行うときには、フォークリフトの前方の撮像画像を表示装置に表示させるだけではなく、荷役作業をよりし易くすることのできる技術が求められている。 By the way, when carrying out cargo handling work using a forklift, there is a demand for a technique that not only displays a captured image in front of the forklift on a display device, but also makes the cargo handling work easier.
本発明は、上記の課題を解決することのできる表示制御装置、表示制御方法及びプログラムを提供することを目的としている。 An object of the present invention is to provide a display control device, a display control method, and a program that can solve the above-described problems.
本発明の第１の態様によれば、表示制御装置は、フォークリフトの第１のフォークの先端部に設けられた撮像装置が撮像した撮像画像を取得する画像取得部と、前記撮像画像における深度を取得する深度取得部と、前記深度に基づいて、前記第１のフォークの先端部から前記撮像画像に写る障害物までの距離を特定する距離特定部と、前記フォークリフトの運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、前記距離特定部が算出した最も近い障害物までの最新の距離が所定の距離未満であると判定した場合に、前記第１のフォークの先端部から、前記撮像装置が撮像した撮像画像に写る障害物のうち最も近い障害物までの距離を表す第１画像を表示させ、前記運転者によるチルト操作に応じて生成された信号を検出しないと判定した場合、または、前記運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、前記最も近い障害物までの最新の距離が所定の距離以上であると判定した場合に、前記第１のフォーク及び第２のフォークの傾きの程度、及び、前記第１のフォーク及び前記第２のフォークにおける荷物の有無を示す第２画像を表示させる表示制御部と、を備える。 According to the first aspect of the present invention, a display control device includes: an image acquisition unit configured to acquire a captured image captured by an imaging device provided at a tip of a first fork of a forklift; A depth obtaining unit that obtains, a distance specifying unit that specifies a distance from a tip end of the first fork to an obstacle that appears in the captured image based on the depth, and a tilt operation performed by a driver of the forklift. After determining that the generated signal is detected, if it is determined that the latest distance to the nearest obstacle calculated by the distance specifying unit is less than a predetermined distance, the tip of the first fork is To display a first image representing the distance to the closest obstacle among the obstacles captured in the image captured by the image capturing apparatus, and detect a signal generated in response to a tilt operation by the driver. If it is determined not to be performed, or if it is determined that the signal generated in response to the tilt operation by the driver is detected, and then it is determined that the latest distance to the nearest obstacle is equal to or more than a predetermined distance. A display control unit configured to display a second image indicating a degree of inclination of the first fork and the second fork, and presence / absence of luggage in the first fork and the second fork .
本発明の第２の態様によれば、第１の態様における表示制御装置において、前記距離と前記第１のフォークの先端部の位置とに応じた画像は、前記距離の分だけ前記フォークリフトが前進したと仮定したときの前記第１のフォークの先端部の位置を含む画像であり、前記表示制御部は、前記第１のフォークの先端部の位置を含む画像を、前記撮像画像に重畳させて表示させるものであってもよい。 According to a second aspect of the present invention, in the display control device according to the first aspect, the image corresponding to the distance and the position of the tip end of the first fork is such that the forklift moves forward by the distance. The display control unit superimposes the image including the position of the tip of the first fork on the captured image, the image including the position of the tip of the first fork when it is assumed that It may be displayed.
本発明の第３の態様によれば、第１の態様または第２の態様における表示制御装置において、前記距離と前記第１のフォークの先端部の位置とに応じた画像は、前記距離の分だけ前記フォークリフトが前進したと仮定したときの前記フォークリフトの前記第１のフォークの先端部とは別の第２のフォークの先端部の位置を含む画像であり、前記表示制御部は、前記第２のフォークの先端部の位置を含む画像を、前記撮像画像に重畳させて表示させるものであってもよい。 According to a third aspect of the present invention, in the display control device according to the first aspect or the second aspect, the image corresponding to the distance and the position of the tip of the first fork is divided by the distance. An image including the position of the tip of a second fork different from the tip of the first fork of the forklift when it is assumed that the forklift has moved forward, An image including the position of the tip of the fork may be displayed so as to be superimposed on the captured image.
本発明の第４の態様によれば、第１の態様から第３の態様の何れか１つの表示制御装置において、前記表示制御部は、前記フォークリフトに支持された荷役対象物の位置を含む画像を、前記撮像画像に重畳させて表示させるものであってもよい。 According to a fourth aspect of the present invention, in the display control device according to any one of the first to third aspects, the display control unit may include an image including a position of the cargo handling object supported by the forklift. May be superimposed on the captured image and displayed.
本発明の第５の態様によれば、表示制御方法は、フォークリフトの第１のフォークの先端部に設けられた撮像装置が撮像した撮像画像を取得することと、前記撮像画像における深度を取得することと、前記深度に基づいて、前記第１のフォークの先端部から前記撮像画像に写る障害物までの距離を特定することと、前記フォークリフトの運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、算出した最も近い障害物までの最新の距離が所定の距離未満であると判定した場合に、前記第１のフォークの先端部から、前記撮像装置が撮像した撮像画像に写る障害物のうち最も近い障害物までの距離を表す第１画像を表示させ、前記運転者によるチルト操作に応じて生成された信号を検出しないと判定した場合、または、前記運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、前記最も近い障害物までの最新の距離が所定の距離以上であると判定した場合に、前記第１のフォーク及び第２のフォークの傾きの程度、及び、前記第１のフォーク及び前記第２のフォークにおける荷物の有無を示す第２画像を表示させることと、を含む。 According to a fifth aspect of the present invention, a display control method acquires a captured image captured by an imaging device provided at a tip portion of a first fork of a forklift, and acquires a depth in the captured image. And specifying a distance from the tip of the first fork to an obstacle shown in the captured image based on the depth, and generating a signal generated in response to a tilt operation by a driver of the forklift. If it is determined that the latest distance to the closest obstacle calculated is smaller than a predetermined distance after determining that the image has been detected, the captured image captured by the image capturing apparatus is captured from the tip of the first fork. A first image indicating a distance to a closest obstacle among the obstacles to be displayed is displayed, and it is determined that a signal generated in response to the tilt operation by the driver is not detected, or After determining that the signal generated in response to the tilt operation by the driver is detected and then determining that the latest distance to the nearest obstacle is equal to or greater than a predetermined distance, the first fork and the second fork And displaying a second image indicating the degree of inclination of the second fork and the presence or absence of luggage in the first fork and the second fork .
本発明の第６の態様によれば、プログラムは、コンピュータに、フォークリフトの第１のフォークの先端部に設けられた撮像装置が撮像した撮像画像を取得することと、前記撮像画像における深度を取得することと、前記深度に基づいて、前記第１のフォークの先端部から前記撮像画像に写る障害物までの距離を特定することと、前記フォークリフトの運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、算出した最も近い障害物までの最新の距離が所定の距離未満であると判定した場合に、前記第１のフォークの先端部から、前記撮像装置が撮像した撮像画像に写る障害物のうち最も近い障害物までの距離を表す第１画像を表示させ、前記運転者によるチルト操作に応じて生成された信号を検出しないと判定した場合、または、前記運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、前記最も近い障害物までの最新の距離が所定の距離以上であると判定した場合に、前記第１のフォーク及び第２のフォークの傾きの程度、及び、前記第１のフォーク及び前記第２のフォークにおける荷物の有無を示す第２画像を表示させることと、を実行させる。 According to a sixth aspect of the present invention, a program causes a computer to acquire a captured image captured by an imaging device provided at a tip of a first fork of a forklift, and obtain a depth in the captured image. And determining a distance from a tip of the first fork to an obstacle shown in the captured image based on the depth, and a signal generated in response to a tilt operation by a driver of the forklift. Is detected, and when it is determined that the calculated latest distance to the nearest obstacle is less than a predetermined distance, the captured image captured by the imaging device from the tip of the first fork. A first image representing the distance to the closest obstacle among the obstacles shown in FIG. 5 is displayed, and if it is determined that the signal generated in response to the tilt operation by the driver is not detected. Alternatively, after determining that a signal generated in response to a tilt operation by the driver has been detected, and determining that the latest distance to the nearest obstacle is equal to or greater than a predetermined distance, the first And displaying a second image indicating the degree of inclination of the fork and the second fork, and the presence / absence of luggage in the first fork and the second fork .
本発明の実施形態による表示制御装置、表示制御方法及びプログラムによれば、荷役作業の操作がよりし易くなる。 ADVANTAGE OF THE INVENTION According to the display control apparatus, the display control method, and the program by embodiment of this invention, operation of cargo handling work becomes easier.
＜実施形態＞
以下、本発明の一実施形態によるフォークリフト１に備えられる表示制御装置８０について説明する。
フォークリフト１は、図１に示すように、第１のフォーク１０、第２のフォーク２０を備える。また、フォークリフト１は、図２に示すように、撮像装置３０、傾斜センサ４０、荷重センサ５０、操作装置６０、表示装置７０、表示制御装置８０を備える。
<Embodiment>
Hereinafter, the
The
第１のフォーク１０及び第２のフォーク２０は、荷役対象物（以下、荷物と呼ぶ）を支持して昇降することができるフォークである。
The
撮像装置３０は、フォークリフト１の第１のフォーク１０の先端部に設けられ、フォークリフト１の前方を撮像する装置である。なお、先端部とは、最先端の１点ではなく、最先端の周辺を含む。すなわち、撮像装置３０は、第１のフォーク１０の先端部の上などの第１のフォーク１０の先端部の周辺、第１のフォーク１０の内部などに設けられてよい。撮像装置３０は、複数のレンズを備える複眼カメラであり、同時刻に複数のレンズを介してフォークリフト１の前方を撮像する。
ここでは、撮像装置３０は、２つのレンズを備えるステレオカメラであるものとする。これら２つのレンズは、第１のフォーク１０の先端部に所定の間隔（例えば、７０〜８０ｍｍの間隔）を開けて設けられる。例えば、撮像装置３０は、第１のフォーク１０の先端部の内部に設けられる。また、例えば、撮像装置３０は、第１のフォーク１０の先端部の側部など、第１のフォーク１０の先端部の周辺のフォークリフト１の前方を撮像可能な位置に設けられる。このようにして、撮像装置３０は、同時刻に２つのレンズを介してフォークリフト１の前方を撮像し、所定の撮像タイミングごとに２つの撮像画像を生成する。
The
Here, it is assumed that the
傾斜センサ４０は、第１のフォーク１０及び第２のフォーク２０の傾きを検出するセンサである。傾きの基準（すなわち、傾き０度）は、例えば、第１のフォーク１０及び第２のフォーク２０が荷物を支持せず、チルト操作も行われていないときの傾きであり、このときの傾きを水平とする。
The
荷重センサ５０は、第１のフォーク１０及び第２のフォーク２０の負荷、すなわち第１のフォーク１０及び第２のフォーク２０によって持ち上げられる荷物の重量を検出するセンサである。
The
操作装置６０は、運転者がフォークリフト１の荷役作業を行うために操作する装置である。運転者が操作装置６０を操作することによって、フォークリフト１が走行したり、第１のフォーク１０とともに第２のフォーク２０を昇降させるリフト制御を行ったり、第１のフォーク１０及び第２のフォーク２０の基部を回動させて第１のフォーク１０及び第２のフォーク２０の先端部を上下方向に傾けるチルト制御が行われる。
The operating
表示装置７０は、表示制御装置８０による制御に基づいて画像を表示する装置である。表示装置７０は、第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの距離と、第１のフォーク１０の先端部の位置とに応じた画像を、撮像装置３０が撮像した撮像画像とともに表示する。表示装置７０は、例えば、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）、モニター、スクリーンなどである。
The
表示制御装置８０は、撮像装置３０が撮像した撮像画像を取得し、取得した撮像画像における深度を取得し、取得した深度に基づいて、第１のフォーク１０の先端部から撮像画像に写る障害物までの距離を特定する装置であって、特定した距離と第１のフォーク１０の先端部の位置とに応じた画像を、取得した撮像画像に重畳させて表示装置７０に表示させる装置である。
The
表示制御装置８０は、図３に示すように、画像取得部８０１、深度取得部８０２、距離特定部８０３、表示制御部８０４、記憶部８０５を備える。
As shown in FIG. 3, the
画像取得部８０１は、フォークリフト１の第１のフォーク１０の先端部に設けられた撮像装置３０が撮像した撮像画像を取得する。
The
深度取得部８０２は、撮像装置３０が撮像した撮像画像における深度を取得する。
例えば、撮像装置３０が撮像した撮像画像における深度は、第１のフォーク１０の先端部から（すなわち、撮像装置３０から）の深度であり、撮像装置３０が撮像した撮像画像における所定の範囲を少なくとも含む撮像画像についての深度である。つまり、深度取得部８０２は、撮像装置３０が撮像した撮像画像における所定の範囲を少なくとも含む撮像画像についての第１のフォーク１０の先端部からの深度を取得する。撮像装置３０が撮像した撮像画像における所定の範囲とは、フォークリフト１が前方へ直進した場合に、フォークリフト１が通過すると推定される領域の画像部分（すなわち、荷物や障害物などの物体が存在する場合にはフォークリフト１が衝突する可能性のある領域の画像部分）を含む範囲である。具体的には、フォークリフト１が２つのフォークを備え、前方に向かって右側のフォークが第１のフォーク１０であり、第１のフォーク１０が最も低い位置まで下がっている場合には、撮像装置３０が撮像した撮像画像における所定の範囲は、図４に示す撮像画像の中央Ｏ（すなわち、撮像装置３０のレンズが向いている撮像方向を示す撮像画像における位置Ｏ）の左上の枠Ａによって示される範囲である。この枠Ａは、所定の範囲を説明するための枠であり、表示装置７０には表示されない。なお、深度は、周知の技術を用いて算出すればよい。例えば、深度取得部８０２は、テンプレートマッチングを用いて、撮像装置３０が同時刻に２つのレンズを介してフォークリフト１の前方を撮像した２つの撮像画像上における同一対象物の位置ずれ（視差）を算出する。この位置ずれの程度（大きさ）は深度に応じた値である。そのため、深度取得部８０２は、その視差と周知の変換式とを用いて撮像画像における各画素の深度（すなわち、対象物の実空間上の位置に相当する奥行き方向の情報）を算出することができる。なお、本発明の実施形態における取得とは、他の機能部が算出した深度の結果を取得すること、または、自機能部が深度を算出した結果として深度を得ることのどちらであってもよい。
深度取得部８０２は、所定の撮像タイミングごと（例えば、１００ｍｓごとに）深度を取得する。
The
For example, the depth in the captured image captured by the
The
距離特定部８０３は、撮像装置３０が撮像した撮像画像における深度に基づいて、第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの距離を特定する。
具体的には、撮像装置３０が撮像した２つの撮像画像は、所定の撮像タイミングごとに、第１のフォーク１０の先端部に所定の間隔（例えば、７０〜８０ｍｍ程度の間隔）を開けて設けられる２つのレンズを介して撮像されて撮像画像である。そのため、距離特定部８０３は、各撮像タイミングに撮像した一対の撮像画像に対して三角測量技術を用いることで、深度取得部８０２が算出した視差の実際の距離を算出することができる。距離特定部８０３は、視差の実際の距離を算出すると、その視差に対応する深度が示す実際の距離を算出することができる。
なお、深度取得部８０２が算出した視差は、撮像画像における所定の範囲についての視差である。そのため、距離特定部８０３は、撮像装置３０が撮像した撮像画像の所定の範囲における深度に基づいて、所定の撮像タイミングごとに、第１のフォーク１０の先端部から（すなわち、撮像装置３０から）、撮像装置３０が撮像した撮像画像に写る障害物までの距離を算出することになる。
The
Specifically, two captured images captured by the
Note that the parallax calculated by the
表示制御部８０４は、第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの距離と、第１のフォーク１０の先端部の位置とに応じた画像を、撮像装置３０が撮像した撮像画像に重畳させて表示装置７０に表示させる。第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの距離と、第１のフォーク１０の先端部の位置とに応じた画像とは、例えば、図５に示す画像Ｍ１、Ｍ２、Ｍ３である。
The
画像Ｍ１は、距離特定部８０３が算出した第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物のうち最も近い障害物までの距離を表す画像である。
The image M <b> 1 is an image representing the distance from the tip of the
画像Ｍ２は、距離特定部８０３が算出した第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの距離に応じた奥行き方向の目盛りを表す画像である。画像Ｍ２には、第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの間の所定の距離に相当する各目盛りが含まれる。
The image M <b> 2 is an image representing the scale in the depth direction according to the distance from the tip of the
画像Ｍ３は、距離特定部８０３が算出した最新の距離の分だけ（すなわち、画像Ｍ１によって示される距離の分だけ）フォークリフト１が前進したと仮定したときの第１のフォーク１０及び第２のフォーク２０の先端部の位置を含む画像である。
ただし、画像Ｍ３は、後述するように、フォークリフト１が荷物を支持していない状態で、第１のフォーク１０及び第２のフォーク２０の先端部がパレット内部を移動し、所定の距離以内に障害物が存在すると判定された場合には、第１のフォーク１０の先端部の位置のみを示す画像となる。
The image M3 includes the
However, as will be described later, the image M3 indicates that the
また、表示制御部８０４は、第１のフォーク１０及び第２のフォーク２０の傾きの程度、及び、第１のフォーク１０及び第２のフォーク２０における荷物の有無を示す画像と、フォークリフト１に支持された荷物の位置を含む画像とを、撮像装置３０が撮像した撮像画像に重畳させて表示装置７０に表示させる。第１のフォーク１０及び第２のフォーク２０の傾きの程度、及び、第１のフォーク１０及び第２のフォーク２０における荷物の有無を示す画像とは、例えば、図５に示す画像Ｍ４である。また、フォークリフト１に支持された荷物の位置を含む画像とは、例えば、図６に示す画像Ｍ５である。
Further, the
画像Ｍ４は、画像Ｍ４ａ、画像Ｍ４ｂを含む。画像Ｍ４ａは、第１のフォーク１０及び第２のフォーク２０を表す画像である。画像Ｍ４ｂは、第１のフォーク１０及び第２のフォーク２０の傾斜角に対応する目盛りを表す画像である。画像Ｍ４ｂに示される目盛りのうち、水平な目盛りが基準となる傾斜角（０度）を表す。
また、画像Ｍ４は、画像Ｍ４ｃを含む。画像Ｍ４ｃは、フォークリフト１に支持された荷物（すなわち、第１のフォーク１０及び第２のフォーク２０によって支持された荷物）を表す画像である。
The image M4 includes an image M4a and an image M4b. The image M4a is an image representing the
Further, the image M4 includes the image M4c. The image M4c is an image representing the load supported by the forklift 1 (that is, the load supported by the
画像Ｍ５は、フォークリフト１に支持された荷物の位置（荷物の外形）を示す画像である。画像Ｍ５は、荷物を所定の位置に置く直前の位置（例えば、荷物を下ろす操作を行うフォークリフト１の位置の手前０．５ｍの位置）にフォークリフト１が存在したときを想定した、その直前の位置からその所定の位置までの距離（この例では、０．５ｍ）だけ前進したときの荷物の位置を示す画像である。その直前の位置からその所定の位置までの距離は、固定値である。そのため、撮像装置３０がフォークリフト１の進行方向を中心に撮像するように、第１のフォーク１０の先端部に設けられている場合、第１のフォーク１０の先端部の表示装置７０における表示位置は、固定の位置となる。また、画像Ｍ５の表示装置７０における表示位置は、荷物の大きさによって決まる固定の位置となる。
The image M5 is an image showing the position of the luggage supported by the forklift 1 (the outer shape of the luggage). The image M5 is a position immediately before the
なお、図５、図６における四角い破線、Ｌ字型の破線、符号Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ４ａ、Ｍ４ｂ、Ｍ４ｃ、Ｍ５のそれぞれは、説明のために記載したものであり、実際には表示装置７０に表示されない。
Note that the square dashed line, the L-shaped dashed line, and the symbols M1, M2, M3, M4, M4a, M4b, M4c, and M5 in FIGS. It is not displayed on the
記憶部８０５は、表示制御装置８０が行う処理に必要な種々の情報を記憶する。例えば、記憶部８０５は、図７に示すように、第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの距離（図７では「距離」と記載）と、それぞれの距離に応じた画像Ｍ１、Ｍ２、Ｍ３の画像データとを関連付けたデータテーブルＴＢＬ１を記憶する。また、記憶部８０５は、図８に示すように、傾斜センサ４０の検出値が示す傾斜角と、それぞれの傾斜角に応じた、荷物の画像を含む画像Ｍ４または荷物の画像を含まない画像Ｍ４の画像データとを関連付けたデータテーブルＴＢＬ２を記憶する。なお、図８では「荷物あり」と記載されているデータが荷物の画像を含む画像Ｍ４の画像データであり、「荷物なし」と記載されているデータが荷物の画像を含まない画像Ｍ４の画像データである。また、記憶部８０５は、フォークリフト１を一定の距離（例えば、０．５ｍ）の分だけ前進させたと仮定した場合のフォークリフト１に支持された荷物の位置を表す画像Ｍ５を記憶する。
The
次に、表示制御装置８０が画像Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５のそれぞれを表示装置７０に表示させる処理について説明する。
ここでは、図９に示す表示制御装置８０の処理フローについて説明する。
なお、表示制御装置８０は、所定の条件を満たしたと判断した場合、フォークリフト１に支持された荷物の位置を含む画像Ｍ５を、撮像装置３０が撮像した撮像画像に重畳させて表示装置７０に表示させる装置である。また、表示制御装置８０は、所定の条件を満たさないと判断した場合、所定のタイミングごとに、撮像装置３０が撮像した撮像画像に画像Ｍ１、Ｍ２、Ｍ３、Ｍ４を重畳させて表示装置７０に表示させる装置である。
所定の条件を満たしたと判定した場合とは、荷役作業において荷物を置く可能性が高い（近くに障害物の存在する可能性が高く、荷役作業において荷物を対象物に衝突させる可能性が高い）と判定される状況にあると表示制御部８０４が判定した場合である。具体的には、所定の条件を満たしたと判定した場合とは、運転者がチルト操作を行い、表示制御部８０４がその操作に応じて生成された信号を検出したと判定した後に、距離特定部８０３が算出した最も近い障害物までの最新の距離が所定の距離（例えば、１ｍ）未満であると表示制御部８０４が判定した場合である。また、所定の条件を満たしたと判定した場合とは、運転者が画像Ｍ５を表示させるボタンを押下し、表示制御部８０４がそのボタンの押下に応じて生成される信号を検出したと判定した場合である。また、所定の条件を満たしたと判定した場合とは、荷物を置く所定の位置の近辺に設けられた近距離通信用の特定の信号を検出したと表示制御部８０４が判定した場合である。また、所定の条件を満たしたと判定した場合とは、荷物を置く所定の位置の近辺に設けられた特定の画像を検出したと表示制御部８０４が判定した場合である。
また、画像取得部８０１は、所定の撮像タイミングごとに、フォークリフト１の第１のフォーク１０の先端部に設けられた撮像装置３０が撮像した撮像画像を取得し、深度取得部８０２は、画像取得部８０１が取得したそれぞれの撮像タイミングの撮像画像における深度を取得し、距離特定部８０３は、取得した深度に基づいて、第１のフォーク１０の先端部から、撮像装置３０が撮像した撮像画像に写る障害物までの距離を特定しているものとする。
Next, a process in which the
Here, the processing flow of the
If the
When it is determined that the predetermined condition is satisfied, it is highly likely that the baggage will be placed in the cargo handling work (there is a high possibility that an obstacle is present nearby and the baggage will likely collide with the target object in the cargo handling work). This is the case where the
Further, the
表示制御部８０４は、所定の条件を満たすか否かを判定する（ステップＳ１）。所定の条件とは、荷役作業において荷物を置く可能性が高いことを示す条件である。
表示制御部８０４は、所定の条件を満たさないと判定した場合（ステップＳ１においてＮＯ）、所定のタイミングごとに、距離特定部８０３から距離特定部８０３が特定した最も近い障害物までの最新の距離、傾斜センサ４０の検出値、荷重センサ５０の検出値を取得する（ステップＳ２）。
表示制御部８０４は、データテーブルＴＢＬ１において、取得した距離に関連付けられている画像Ｍ１、Ｍ２、Ｍ３を特定し（ステップＳ３）、特定した画像Ｍ１、Ｍ２、Ｍ３の画像データを取得する（ステップＳ４）。また、表示制御部８０４は、取得した荷重センサ５０の検出値が所定のしきい値以上であるか否かを判定する（ステップＳ５）。
表示制御部８０４は、荷重センサ５０の検出値が所定のしきい値以上であると判定した場合（ステップＳ５においてＹＥＳ）、データテーブルＴＢＬ２において、取得した傾斜センサ４０の検出値が示す傾斜角に関連付けられている画像Ｍ４のうち荷物の画像を含む画像Ｍ４の画像データを特定し（ステップＳ６）、特定した画像データを取得する（ステップＳ７）。
The
If the
The
If the
また、表示制御部８０４は、荷重センサ５０の検出値が所定のしきい値未満であると判定した場合（ステップＳ５においてＮＯ）、データテーブルＴＢＬ２において、取得した傾斜センサ４０の検出値が示す傾斜角に関連付けられている画像Ｍ４のうち荷物の画像を含まない画像Ｍ４の画像データを特定し（ステップＳ８）、特定した画像データを取得する（ステップＳ９）。
そして、表示制御部８０４は、取得した画像Ｍ１、Ｍ２、Ｍ３、Ｍ４それぞれを、撮像装置３０が撮像した撮像画像に重畳させて表示装置７０の表示画面における所定の位置（例えば、画像Ｍ１を表示画面の右下の位置、画像Ｍ２を表示画面の中央からやや下の位置、画像Ｍ３を第１のフォーク１０の先端部が表示画面の中央に一致する位置、画像Ｍ４を表示画面の右側の位置）に表示させる（ステップＳ１０）。そして、表示制御部８０４は、ステップＳ１の処理に戻す。
When the
Then, the
また、表示制御部８０４は、所定の条件を満たすと判定した場合（ステップＳ１においてＹＥＳ）、所定のタイミングごとに、距離特定部８０３から距離特定部８０３が特定した最も近い障害物までの最新の距離、傾斜センサ４０の検出値、荷重センサ５０の検出値を取得する（ステップＳ１１）。表示制御部８０４は、データテーブルＴＢＬ２において、取得した傾斜センサ４０の検出値が示す傾斜角に関連付けられている画像Ｍ４のうち荷物の画像を含む画像Ｍ４の画像データを特定し（ステップＳ１２）、特定した画像データを取得する（ステップＳ１３）。また、表示制御部８０４は、記憶部８０５が記憶する画像Ｍ５を取得する（ステップＳ１４）。
そして、表示制御部８０４は、取得した画像Ｍ４、Ｍ５それぞれを、撮像装置３０が撮像した撮像画像に重畳させて表示装置７０の表示画面における所定の位置（例えば、画像Ｍ４を表示画面の右側の位置、画像Ｍ５を表示画面の固定の位置）に表示させる（ステップＳ１５）。そして、表示制御部８０４は、ステップＳ１の処理に戻す。
If the
Then, the
次に、フォークリフト１が行う一連の荷役作業において表示制御装置８０が表示装置７０に表示させる表示について、図１０〜図３４を用いて説明する。なお、図１０〜図３４における四角い破線、Ｌ字型の破線、符号Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ４ａ、Ｍ４ｂ、Ｍ４ｃ、Ｍ５のそれぞれは、説明のために記載したものであり、実際には表示装置７０に表示されない。
なお、表示制御部８０４は、図９に示す処理フローについて説明したように、所定の条件を満たさないと判断した場合には、所定のタイミングごとに、撮像装置３０が撮像した撮像画像に画像Ｍ１、Ｍ２、Ｍ３、Ｍ４を重畳させて表示装置７０に表示させ、所定の条件を満たしたと判断した場合には、所定のタイミングごとに、撮像装置３０が撮像した撮像画像に画像Ｍ４、Ｍ５を重畳させて表示装置７０に表示させる。
Next, the display that the
When the
運転者は、フォークリフト１を操作して、移動させる荷物が存在する位置に向かってフォークリフト１を走行させる。
表示制御部８０４は、所定の条件を満たさないと判断した場合には、所定のタイミングごとに、撮像装置３０が撮像した撮像画像に画像Ｍ１、Ｍ２、Ｍ３、Ｍ４を重畳させて表示装置７０に表示させる。図１０は、フォークリフト１が荷物に近づき、距離特定部８０３が算出した第１のフォーク１０の先端部から障害物までの最新の距離が２ｍである場合に、表示制御部８０４が表示装置７０に表示させる画像である。このとき、フォークリフト１は荷物を支持していないため、距離特定部８０３が算出した第１のフォーク１０の先端部から障害物までの最新の距離が２ｍである場合、表示制御部８０４は、図１０に示すように、その距離に応じた２ｍを示す画像Ｍ１、２ｍに相当する目盛りを示す画像Ｍ２、２ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図１０の場合、荷物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
The driver operates the
If the
図１１は、フォークリフト１が荷物にさらに近づき、距離特定部８０３が特定した第１のフォーク１０の先端部から障害物までの最新の距離が１ｍである場合に、表示制御部８０４が表示装置７０に表示させる画像である。このとき、フォークリフト１は荷物を支持していないため、距離特定部８０３が特定した第１のフォーク１０の先端部から障害物までの最新の距離が１ｍである場合、表示制御部８０４は、図１１に示すように、その距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図１１の場合、荷物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
FIG. 11 illustrates a case where the
図１２は、フォークリフト１が荷物にさらに近づき、距離特定部８０３が特定した第１のフォーク１０の先端部から障害物までの最新の距離が所定のしきい値（例えば、１ｍ）以下となった場合に、表示制御部８０４が表示装置７０に表示させる画像である。このとき、フォークリフト１は荷物を支持していない。表示制御部８０４は、距離特定部８０３から最新の距離を取得し、取得した最新の距離が所定のしきい値以下であると判定し、かつ、荷重センサ５０の検出値が所定のしきい値未満であると判定して、図１２に示すように、第１のフォーク１０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図１２の場合、荷物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
FIG. 12 illustrates that the latest distance from the tip of the
図１３は、フォークリフト１が荷物にさらに近づき、第１のフォーク１０及び第２のフォーク２０の先端部がパレット内部を移動し、所定の距離以内に障害物が存在すると判定した場合に、表示制御部８０４が表示装置７０に表示させる画像である。このとき、フォークリフト１は荷物を支持していない。表示制御部８０４は、距離特定部８０３から最新の距離を取得し、取得した最新の距離が所定のしきい値以下であると判定し、かつ、荷重センサ５０の検出値が所定のしきい値未満であると判定して、図１３に示すように、第１のフォーク１０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図１３の場合、パレット内部）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
FIG. 13 shows the display control when the
図１４は、フォークリフト１が荷物にさらに近づき、第１のフォーク１０及び第２のフォーク２０の先端部がパレット内部を突き抜けたタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。このとき、フォークリフト１は荷物を支持していない。しかしながら、第１のフォーク１０及び第２のフォーク２０の先端部がパレット内部を突き抜けようとしたタイミングでは、表示制御部８０４は、距離特定部８０３から取得した最新の距離が所定のしきい値を超えた距離（この例では１ｍ）であると判定する。そのため、表示制御部８０４は、図１４に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図１４の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
運転者は、この状態で、第１のフォーク１０及び第２のフォーク２０をリフトアップさせるリフト操作を行う。
FIG. 14 is an image displayed on the
The driver performs a lift operation to lift up the
図１５は、第１のフォーク１０及び第２のフォーク２０の先端部がパレット内部を突き抜けた状態で、第１のフォーク１０及び第２のフォーク２０をリフトアップしている途中のタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。ただし、第１のフォーク１０及び第２のフォーク２０は荷物を支持するところまでは上昇しておらず、荷重センサ５０の検出値は、所定のしきい値未満である。第１のフォーク１０及び第２のフォーク２０をリフトアップしているため、距離特定部８０３から取得した最新の距離が２ｍとなっている。表示制御部８０４は、図１５に示すように、最新の距離に応じた２ｍを示す画像Ｍ１、２ｍに相当する目盛りを示す画像Ｍ２、２ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図１５の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
FIG. 15 shows the timing when the
図１６、図１７は、図１５と同様に、第１のフォーク１０及び第２のフォーク２０の先端部がパレット内部を突き抜けた状態で、第１のフォーク１０及び第２のフォーク２０をリフトアップしている途中のタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。第１のフォーク１０及び第２のフォーク２０は荷物を支持するところまでは上昇しておらず、荷重センサ５０の検出値は、所定のしきい値未満である。第１のフォーク１０及び第２のフォーク２０をリフトアップしているため、図１６に対応するフォークリフト１の場合、表示制御部８０４が距離特定部８０３から取得した最新の距離は３ｍであり、図１７に対応するフォークリフト１の場合、表示制御部８０４が距離特定部８０３から取得した最新の距離は４ｍである。そのため、表示制御部８０４は、図１６に示すように、最新の距離に応じた３ｍを示す画像Ｍ１、３ｍに相当する目盛りを示す画像Ｍ２、３ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図１６の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。また、表示制御部８０４は、図１７に示すように、最新の距離に応じた４ｍを示す画像Ｍ１、４ｍに相当する目盛りを示す画像Ｍ２、４ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図１７の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
FIGS. 16 and 17 show a state in which the
図１８は、第１のフォーク１０及び第２のフォーク２０の先端部がパレット内部を突き抜けた状態で、さらに第１のフォーク１０及び第２のフォーク２０をリフトアップし、第１のフォーク１０及び第２のフォーク２０が荷物を支持したタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。第１のフォーク１０及び第２のフォーク２０は荷物を支持するところまでは上昇すると、荷重センサ５０の検出値は、所定のしきい値以上である。また、表示制御部８０４が距離特定部８０３から取得した最新の距離は４ｍである。そのため、表示制御部８０４は、図１８に示すように、最新の距離に応じた４ｍを示す画像Ｍ１、４ｍに相当する目盛りを示す画像Ｍ２、４ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図１８の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
FIG. 18 shows a state in which the
運転者は、フォークリフト１が荷物を支持すると、操作装置６０に対してチルト操作を行う。第１のフォーク１０及び第２のフォーク２０は、運転者によるチルト操作に応じて傾く。
図１９は、第１のフォーク１０及び第２のフォーク２０がチルト操作によって傾いている途中のタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。表示制御部８０４は、第１のフォーク１０及び第２のフォーク２０が傾きに応じた傾斜センサ４０の検出値を取得し、データテーブルＴＢＬ２において、その検出値に関連付けられた画像Ｍ４（画像Ｍ４ａ）を特定する。荷重センサ５０の検出値は、所定のしきい値以上である。また、表示制御部８０４が距離特定部８０３から取得した最新の距離は４ｍである。そのため、表示制御部８０４は、図１９に示すように、最新の距離に応じた４ｍを示す画像Ｍ１、４ｍに相当する目盛りを示す画像Ｍ２、４ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、０度から目盛り１つ分傾いた傾斜角で荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図１９の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
When the
FIG. 19 is an image displayed on the
図２０は、第１のフォーク１０及び第２のフォーク２０がチルト操作によってさらに傾いたタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。表示制御部８０４は、第１のフォーク１０及び第２のフォーク２０が傾きに応じた傾斜センサ４０の検出値を取得し、データテーブルＴＢＬ２において、その検出値に関連付けられた画像Ｍ４（画像Ｍ４ａ）を特定する。荷重センサ５０の検出値は、所定のしきい値以上である。また、表示制御部８０４が距離特定部８０３から取得した最新の距離は４ｍである。そのため、表示制御部８０４は、図２０に示すように、最新の距離に応じた４ｍを示す画像Ｍ１、４ｍに相当する目盛りを示す画像Ｍ２、４ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、図１９に示す傾斜角よりも大きい目盛り２つ分の傾斜角で荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図２０の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
FIG. 20 is an image displayed on the
ここで示す例では、荷物を置く位置は、前方の棚の上段であるものとする。運転者は、チルト操作を終えると、フォークリフト１を前進させる操作を行う。
図２１は、第１のフォーク１０及び第２のフォーク２０がチルト操作によって傾いたまま棚に近づく途中のタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。表示制御部８０４が距離特定部８０３から取得した最新の距離は３ｍである。そのため、表示制御部８０４は、図２１に示すように、最新の距離に応じた３ｍを示す画像Ｍ１、３ｍに相当する目盛りを示す画像Ｍ２、３ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、目盛り２つ分の傾斜角で荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図２１の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
In the example shown here, it is assumed that the position where the luggage is placed is the upper shelf on the front shelf. After finishing the tilt operation, the driver performs an operation of moving the
FIG. 21 is an image displayed on the
図２２、図２３は、図２１に対応するフォークリフト１に比べて、棚の方向にさらに前進したタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。図２２に対応するフォークリフト１の場合、表示制御部８０４が距離特定部８０３から取得した最新の距離は２ｍであり、図２３に対応するフォークリフト１の場合、表示制御部８０４が距離特定部８０３から取得した最新の距離は１ｍである。そのため、表示制御部８０４は、図２２に示すように、最新の距離に応じた２ｍを示す画像Ｍ１、２ｍに相当する目盛りを示す画像Ｍ２、２ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、目盛り２つ分の傾斜角で荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図２２の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。また、表示制御部８０４は、図２３に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、目盛り２つ分の傾斜角で荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図２３の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
FIGS. 22 and 23 show images displayed on the
運転者は、フォークリフト１を棚の前まで移動させると、第１のフォーク１０及び第２のフォーク２０を棚の上段までリフトアップさせる前に、操作装置６０に対してチルト操作を行い、第１のフォーク１０及び第２のフォーク２０を水平にする。
図２４は、第１のフォーク１０及び第２のフォーク２０がチルト操作によって水平になったタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。表示制御部８０４が距離特定部８０３から取得した最新の距離は１ｍである。そのため、表示制御部８０４は、図２４に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図２４の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
When the driver moves the
FIG. 24 is an image displayed on the
運転者は、第１のフォーク１０及び第２のフォーク２０を水平になると、第１のフォーク１０及び第２のフォーク２０を棚の上段までリフトアップさせるリフト操作を行う。
図２５は、第１のフォーク１０及び第２のフォーク２０がリフト操作によって棚の上段まで上昇する途中のタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。表示制御部８０４が距離特定部８０３から取得した最新の距離は１ｍである。そのため、表示制御部８０４は、図２５に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図２５の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
When the
FIG. 25 shows an image displayed on the
第１のフォーク１０及び第２のフォーク２０がリフトアップしているときにも、表示制御部８０４は、図９の処理フローで説明したステップＳ１の処理により所定の条件を満たすか否かの判定を行っている。
図２６は、第１のフォーク１０及び第２のフォーク２０がリフト操作によって棚の上段まで上昇する途中で、ステップＳ１の処理により所定の条件を満たしたと判定したタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。例えば、表示制御部８０４が運転者がチルト操作を行い、表示制御部８０４がその操作に応じて生成された信号を検出したと判定した後に、距離特定部８０３が算出した最も近い障害物までの最新の距離が所定の距離（例えば、１ｍ）未満であるか否かによって所定の条件を満たすか否かを判定している場合、荷物を支持している第１のフォーク１０及び第２のフォーク２０がリフトアップしているときに、表示制御部８０４が距離特定部８０３から取得した最新の距離が１ｍ未満であると、表示制御部８０４は、所定の条件を満たしたと判定する。そして、表示制御部８０４は、図９の処理フローで説明したステップＳ１１〜ステップＳ１５の処理を行う。そのため、表示制御部８０４は、図２６に示すように、傾斜角が０度であり荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）、フォークリフト１に支持された荷物の位置（荷物の外形）を示す画像Ｍ５を、撮像装置３０が撮像した撮像画像である障害物（図２６の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
Even when the
FIG. 26 shows that the
図２７は、第１のフォーク１０及び第２のフォーク２０がリフト操作によって棚の上段まで上昇したタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。表示制御部８０４が距離特定部８０３から取得した最新の距離が１ｍである。そのため、表示制御部８０４は、図２７に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図２７の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
FIG. 27 is an image displayed on the
運転者は、フォークリフト１を前進させる操作を行い、荷物を棚の真上まで移動させる。
図２８は、第１のフォーク１０及び第２のフォーク２０がリフト操作によって棚の上段の真上まで移動したタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。表示制御部８０４が距離特定部８０３から取得した最新の距離が１ｍである。そのため、表示制御部８０４は、図２８に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していることを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ、画像Ｍ４ｃ）を、撮像装置３０が撮像した撮像画像である障害物（図２８の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
The driver performs an operation of moving the
FIG. 28 is an image displayed by the
運転者は、荷物を棚の真上まで移動させると、第１のフォーク１０及び第２のフォーク２０をリフトダウンさせるリフト操作を行い、荷物を棚に置く。
図２９は、第１のフォーク１０及び第２のフォーク２０がリフト操作によってリフトダウンし、荷物が棚に置かれたタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。荷重センサ５０の検出値は、所定のしきい値未満である。また、表示制御部８０４が距離特定部８０３から取得した最新の距離が１ｍである。そのため、表示制御部８０４は、図２９に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図２９の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
When the driver moves the load to a position directly above the shelf, the driver performs a lift operation of lowering the
FIG. 29 is an image displayed by the
運転者は、荷物を棚に置くと、操作装置６０に対してフォークリフト１を後退させる操作を行い、第１のフォーク１０及び第２のフォーク２０をパレットから引き抜く。
図３０、図３１、図３２、図３３は、この操作が行われた各タイミングに、表示制御部８０４が表示装置７０に表示させる画像であり、図１１、図１２、図１３、図１４の表示を逆の順に表示させることに相当する。（ただし、第１のフォーク１０及び第２のフォーク２０の存在する位置（高さ）が異なる。）表示制御部８０４は、図３０に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図３０の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。また、表示制御部８０４は、距離特定部８０３から最新の距離を取得し、取得した最新の距離が所定のしきい値以下であると判定し、かつ、荷重センサ５０の検出値が所定のしきい値未満であると判定して、図３１に示すように、第１のフォーク１０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図３１の場合、パレット内部）及びその背景を含む画像に重畳させて表示装置７０に表示させる。また、表示制御部８０４は、距離特定部８０３から最新の距離を取得し、取得した最新の距離が所定のしきい値以下であると判定し、かつ、荷重センサ５０の検出値が所定のしきい値未満であると判定して、図３２に示すように、第１のフォーク１０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図３２の場合、荷物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。また、表示制御部８０４は、図３３に示すように、その距離に応じた３ｍを示す画像Ｍ１、３ｍに相当する目盛りを示す画像Ｍ２、３ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図３３の場合、荷物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
After placing the luggage on the shelf, the driver performs an operation of retracting the
FIGS. 30, 31, 32, and 33 show images that the
運転者は、第１のフォーク１０及び第２のフォーク２０をパレットから引き抜くと、操作装置６０に対して第１のフォーク１０及び第２のフォーク２０をリフトダウンする操作を行う。
図３４は、第１のフォーク１０及び第２のフォーク２０が最も低い位置まで下がったタイミングに、表示制御部８０４が表示装置７０に表示させる画像である。表示制御部８０４が距離特定部８０３から取得した最新の距離が１ｍである。そのため、表示制御部８０４は、図３４に示すように、最新の距離に応じた１ｍを示す画像Ｍ１、１ｍに相当する目盛りを示す画像Ｍ２、１ｍ先の第１のフォーク１０及び第２のフォーク２０の先端部の位置を示す画像Ｍ３、傾斜角が０度であり荷物を支持していないことを示す画像Ｍ４（画像Ｍ４ａ、画像Ｍ４ｂ）を、撮像装置３０が撮像した撮像画像である障害物（図３４の場合、荷物よりも奥に存在する障害物）及びその背景を含む画像に重畳させて表示装置７０に表示させる。
When the driver pulls out the
FIG. 34 is an image displayed on the
以上、本発明の第１の実施形態によるフォークリフトについて説明した。
本発明の第１の実施形態によるフォークリフト１の表示制御装置８０において、画像取得部８０１は、フォークリフト１の第１のフォーク１０の先端部に設けられた撮像装置３０が撮像した撮像画像を取得する。深度取得部８０２は、前記撮像画像における深度を取得する。距離特定部８０３は、前記深度に基づいて、前記第１のフォーク１０の先端部から前記撮像画像に写る障害物までの距離を特定する。表示制御部８０４は、前記距離と前記第１のフォーク１０の先端部の位置とに応じた画像を、前記撮像画像に重畳させて表示させる。
こうすることで、表示制御装置８０は、フォークリフト１の前方の死角となる画像とともに、荷役作業の操作をサポートする画像Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５などを表示装置７０に表示させることができる。その結果、表示制御装置８０により、運転者がフォークリフト１の荷役作業の操作をよりし易くなる。
The forklift according to the first embodiment of the present invention has been described above.
In the
By doing so, the
なお、本発明の実施形態における処理は、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。 Note that, in the processing according to the embodiment of the present invention, the order of the processing may be changed within a range in which appropriate processing is performed.
本発明の実施形態における記憶部８０５、その他の記憶装置のそれぞれは、適切な情報の送受信が行われる範囲においてどこに備えられていてもよい。また、記憶部８０５、その他の記憶装置のそれぞれは、適切な情報の送受信が行われる範囲において複数存在しデータを分散して記憶していてもよい。
The
本発明の実施形態について説明したが、上述の撮像装置３０、操作装置６０、表示装置７０、表示制御装置８０、その他の制御装置は内部に、コンピュータシステムを有していてもよい。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。コンピュータの具体例を以下に示す。
図３５は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ５は、図３５に示すように、ＣＰＵ６、メインメモリ７、ストレージ８、インターフェース９を備える。
例えば、上述の撮像装置３０、操作装置６０、表示装置７０、表示制御装置８０、その他の制御装置のそれぞれは、コンピュータ５に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ８に記憶されている。ＣＰＵ６は、プログラムをストレージ８から読み出してメインメモリ７に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ６は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ７に確保する。
Although the embodiment of the present invention has been described, the above-described
FIG. 35 is a schematic block diagram illustrating a configuration of a computer according to at least one embodiment.
As shown in FIG. 35, the
For example, each of the above-described
ストレージ８の例としては、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、半導体メモリ等が挙げられる。ストレージ８は、コンピュータ５のバスに直接接続された内部メディアであってもよいし、インターフェース９または通信回線を介してコンピュータ５に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ５に配信される場合、配信を受けたコンピュータ５が当該プログラムをメインメモリ７に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ８は、一時的でない有形の記憶媒体である。
Examples of the
また、上記プログラムは、前述した機能の一部を実現してもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるファイル、いわゆる差分ファイル（差分プログラム）であってもよい。 Further, the program may realize a part of the functions described above. Further, the program may be a file that can realize the above-described functions in combination with a program already recorded in the computer system, that is, a so-called difference file (difference program).
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例であり、発明の範囲を限定しない。これらの実施形態は、発明の要旨を逸脱しない範囲で、種々の追加、省略、置き換え、変更を行ってよい。 Although several embodiments of the present invention have been described, these embodiments are examples and do not limit the scope of the invention. In these embodiments, various additions, omissions, replacements, and changes may be made without departing from the spirit of the invention.
１・・・フォークリフト
５・・・コンピュータ
６・・・ＣＰＵ
７・・・メインメモリ
８・・・ストレージ
９・・・インターフェース
１０・・・第１のフォーク
２０・・・第２のフォーク
３０・・・撮像装置
４０・・・傾斜センサ
５０・・・荷重センサ
６０・・・操作装置
７０・・・表示装置
８０・・・表示制御装置
８０１・・・画像取得部
８０２・・・深度取得部
８０３・・・距離特定部
８０４・・・表示制御部
８０５・・・記憶部
DESCRIPTION OF
7
Claims (6)
前記撮像画像における深度を取得する深度取得部と、
前記深度に基づいて、前記第１のフォークの先端部から前記撮像画像に写る障害物までの距離を特定する距離特定部と、
前記フォークリフトの運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、前記距離特定部が算出した最も近い障害物までの最新の距離が所定の距離未満であると判定した場合に、前記第１のフォークの先端部から、前記撮像装置が撮像した撮像画像に写る障害物のうち最も近い障害物までの距離を表す第１画像を表示させ、前記運転者によるチルト操作に応じて生成された信号を検出しないと判定した場合、または、前記運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、前記最も近い障害物までの最新の距離が所定の距離以上であると判定した場合に、前記第１のフォーク及び第２のフォークの傾きの程度、及び、前記第１のフォーク及び前記第２のフォークにおける荷物の有無を示す第２画像を表示させる表示制御部と、
を備える表示制御装置。 An image acquisition unit that acquires a captured image captured by an imaging device provided at a tip end of a first fork of a forklift;
A depth obtaining unit that obtains a depth in the captured image,
A distance specifying unit that specifies a distance from a tip of the first fork to an obstacle shown in the captured image based on the depth;
After determining that a signal generated in response to a tilt operation by the forklift driver is detected, and then determining that the latest distance to the nearest obstacle calculated by the distance specifying unit is less than a predetermined distance. A first image indicating a distance from the tip of the first fork to the nearest obstacle among the obstacles captured in the image captured by the imaging device, and responding to a tilt operation by the driver. When it is determined that the signal generated in response to the tilt operation is not detected, or after it is determined that the signal generated in response to the tilt operation by the driver is detected, the latest distance to the nearest obstacle is a predetermined distance. When it is determined that the above is the case, the degree of inclination of the first fork and the second fork and the presence or absence of luggage in the first fork and the second fork are indicated. A display control unit for displaying the two images,
A display control device comprising:
前記距離の分だけ前記フォークリフトが前進したと仮定したときの前記第１のフォークの先端部の位置を含む画像であり、
前記表示制御部は、
前記第１のフォークの先端部の位置を含む画像を、前記撮像画像に重畳させて表示させる、
請求項１に記載の表示制御装置。 The image according to the distance and the position of the tip of the first fork is
It is an image including the position of the tip of the first fork when it is assumed that the forklift has advanced by the distance,
The display control unit,
Displaying an image including the position of the tip of the first fork so as to be superimposed on the captured image;
The display control device according to claim 1.
前記距離の分だけ前記フォークリフトが前進したと仮定したときの前記フォークリフトの前記第１のフォークの先端部とは別の第２のフォークの先端部の位置を含む画像であり、
前記表示制御部は、
前記第２のフォークの先端部の位置を含む画像を、前記撮像画像に重畳させて表示させる、
請求項１または請求項２に記載の表示制御装置。 The image according to the distance and the position of the tip of the first fork is
It is an image including the position of the tip of the second fork different from the tip of the first fork of the forklift when assuming that the forklift has advanced by the distance,
The display control unit,
An image including the position of the tip of the second fork is superimposed on the captured image and displayed.
The display control device according to claim 1.
前記フォークリフトに支持された荷役対象物の位置を含む画像を、前記撮像画像に重畳させて表示させる、
請求項１から請求項３の何れか一項に記載の表示制御装置。 The display control unit,
An image including the position of the cargo handling object supported by the forklift is displayed superimposed on the captured image,
The display control device according to claim 1.
前記撮像画像における深度を取得することと、
前記深度に基づいて、前記第１のフォークの先端部から前記撮像画像に写る障害物までの距離を特定することと、
前記フォークリフトの運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、算出した最も近い障害物までの最新の距離が所定の距離未満であると判定した場合に、前記第１のフォークの先端部から、前記撮像装置が撮像した撮像画像に写る障害物のうち最も近い障害物までの距離を表す第１画像を表示させ、前記運転者によるチルト操作に応じて生成された信号を検出しないと判定した場合、または、前記運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、前記最も近い障害物までの最新の距離が所定の距離以上であると判定した場合に、前記第１のフォーク及び第２のフォークの傾きの程度、及び、前記第１のフォーク及び前記第２のフォークにおける荷物の有無を示す第２画像を表示させることと、
を含む表示制御方法。 Acquiring a captured image captured by an imaging device provided at the tip of the first fork of the forklift;
Obtaining a depth in the captured image;
Specifying a distance from the tip of the first fork to an obstacle shown in the captured image based on the depth;
After determining that the signal generated in response to the tilt operation by the forklift driver is detected, and then determining that the calculated latest distance to the nearest obstacle is less than a predetermined distance, the first A first image representing the distance from the tip of the fork to the nearest obstacle among the obstacles in the image captured by the imaging device, and a signal generated in response to a tilt operation by the driver Is determined not to be detected, or after determining that the signal generated in response to the tilt operation by the driver is detected, it is determined that the latest distance to the nearest obstacle is equal to or more than a predetermined distance. is when the first fork and the extent of the second fork tilt, and displaying a second image indicating the presence or absence of the load in the first fork and the second fork And Rukoto,
And a display control method.
フォークリフトの第１のフォークの先端部に設けられた撮像装置が撮像した撮像画像を取得することと、
前記撮像画像における深度を取得することと、
前記深度に基づいて、前記第１のフォークの先端部から前記撮像画像に写る障害物までの距離を特定することと、
前記フォークリフトの運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、算出した最も近い障害物までの最新の距離が所定の距離未満であると判定した場合に、前記第１のフォークの先端部から、前記撮像装置が撮像した撮像画像に写る障害物のうち最も近い障害物までの距離を表す第１画像を表示させ、前記運転者によるチルト操作に応じて生成された信号を検出しないと判定した場合、または、前記運転者によるチルト操作に応じて生成された信号を検出したと判定した後に、前記最も近い障害物までの最新の距離が所定の距離以上であると判定した場合に、前記第１のフォーク及び第２のフォークの傾きの程度、及び、前記第１のフォーク及び前記第２のフォークにおける荷物の有無を示す第２画像を表示させることと、
を実行させるプログラム。 On the computer,
Acquiring a captured image captured by an imaging device provided at the tip of the first fork of the forklift;
Obtaining a depth in the captured image;
Specifying a distance from the tip of the first fork to an obstacle shown in the captured image based on the depth;
After determining that the signal generated in response to the tilt operation by the forklift driver is detected, and then determining that the calculated latest distance to the nearest obstacle is less than a predetermined distance, the first A first image representing the distance from the tip of the fork to the nearest obstacle among the obstacles in the image captured by the imaging device, and a signal generated in response to a tilt operation by the driver Is determined not to be detected, or after determining that the signal generated in response to the tilt operation by the driver is detected, it is determined that the latest distance to the nearest obstacle is equal to or more than a predetermined distance. is when the first fork and the extent of the second fork tilt, and displaying a second image indicating the presence or absence of the load in the first fork and the second fork And Rukoto,
A program that executes
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018167009A JP6650498B1 (en) | 2018-09-06 | 2018-09-06 | Display control device, display control method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018167009A JP6650498B1 (en) | 2018-09-06 | 2018-09-06 | Display control device, display control method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6650498B1 true JP6650498B1 (en) | 2020-02-19 |
| JP2020040739A JP2020040739A (en) | 2020-03-19 |
Family
ID=69568295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018167009A Active JP6650498B1 (en) | 2018-09-06 | 2018-09-06 | Display control device, display control method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6650498B1 (en) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11222882A (en) * | 1998-02-05 | 1999-08-17 | Komatsu Ltd | Dangerous zone monitoring device |
| JP2003246597A (en) * | 2002-02-20 | 2003-09-02 | Fujitsu General Ltd | Camera system for fork lift truck |
| JP4666154B2 (en) * | 2005-09-20 | 2011-04-06 | 株式会社豊田自動織機 | Cargo handling support device for forklift |
| JP2013086959A (en) * | 2011-10-21 | 2013-05-13 | Sumitomo Heavy Ind Ltd | Support device and method for positioning fork of forklift |
| JP5748314B1 (en) * | 2014-05-30 | 2015-07-15 | ニチユ三菱フォークリフト株式会社 | Cargo handling vehicle |
| US10025314B2 (en) * | 2016-01-27 | 2018-07-17 | Hand Held Products, Inc. | Vehicle positioning and object avoidance |
| JP6689763B2 (en) * | 2017-02-06 | 2020-04-28 | 住友建機株式会社 | Excavator |
-
2018
- 2018-09-06 JP JP2018167009A patent/JP6650498B1/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020040739A (en) | 2020-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3449466B1 (en) | Pallet detection using units of physical length | |
| US9443313B2 (en) | Stereo camera apparatus | |
| JP5798392B2 (en) | Parking assistance device | |
| JP6733225B2 (en) | Image processing device, imaging device, mobile device control system, image processing method, and program | |
| JPWO2016199366A1 (en) | Dimension measuring apparatus and dimension measuring method | |
| JP6273352B2 (en) | Object detection apparatus, object detection method, and mobile robot | |
| JP6337646B2 (en) | In-vehicle video system, video transfer system, video transfer method, and video transfer program | |
| JPWO2013035353A1 (en) | Image processing apparatus and image processing method | |
| EP2887313B1 (en) | Image processing apparatus, system, image processing method, and computer-readable recording medium | |
| KR101897800B1 (en) | Speed guide apparatus for measuring the speed of a vehicle using a camera and operating method thereof | |
| CN113435524A (en) | Intelligent stacker and method, device and equipment for identifying position abnormality of tray | |
| JP2019048696A (en) | Information processing device and information processing method | |
| JP2021144743A (en) | Three-dimensional data generation device, 3d data generation method, three-dimensional data generation program, and computer readable recording medium recording three-dimensional data generation program | |
| JPWO2017158964A1 (en) | Image processing apparatus, mobile device control system, image processing program, and image processing method | |
| JP6650498B1 (en) | Display control device, display control method and program | |
| EP3633619B1 (en) | Position detection apparatus and position detection method | |
| JP6080450B2 (en) | Surveillance camera device | |
| JP6676198B1 (en) | Determination device, determination method and program | |
| JP2012252501A (en) | Traveling path recognition device and traveling path recognition program | |
| JP6421451B2 (en) | Camera posture detection device | |
| JP6053348B2 (en) | Vehicle number recognition device, vehicle number recognition method, and program | |
| JP2011053024A (en) | Elevated-road identifying device, method of identifying elevated road, and elevated-road identification program | |
| JP7393184B2 (en) | Point cloud data processing device | |
| JPH07294251A (en) | Obstacle detector | |
| JP5392473B2 (en) | Vehicle driving support device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180907 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190712 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190806 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190828 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200114 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200120 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6650498 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |