JPWO2019163378A5 - - Google Patents

Description

（１）フォークリフトに用いられる画像処理装置であって、
前記フォークリフトの前方側に昇降可能に支持された複数のフォークのうちの１本のフォークの先端部分に設けられ、前記フォークリフトの前方を撮影するカメラと、
前記カメラが設けられた前記フォークの前記先端部分に設けられ、前記フォークリフトの前方にある物体までの距離を検知するための検知センサーと、
前記検知センサーの検知情報に基づいて、前記カメラが取得した映像を加工する処理部と、
前記処理部が加工した加工後の映像を表示するディスプレイと、
記憶部と、を備え、
前記処理部は、前記カメラからの映像と、前記検知センサーの検知情報に基づいて、前記フォークリフトが動作する作業空間内の物体の位置、または形状を示す測距点群である距離マップを生成し、前記記憶部に蓄積する、画像処理装置。

（７）前記処理部は、前記検知センサー、または該検知センサーの検知情報と前記カメラからの映像に基づいて検出した物体までの距離のデータの一部を、前記記憶部に蓄積した前記距離マップで補正する、上記（１）に記載の画像処理装置。

（８）さらに、前記フォークの位置状態を取得する位置検知センサーを含み、
前記処理部は、前記位置検知センサーにより、前記カメラが設けられた前記フォークの位置状態を取得する、上記（１）から上記（７）のいずれかに記載の画像処理装置。

（９）前記処理部は、前記加工した映像として、
前記カメラによる取得した映像に対して、前方の物体までの距離に対応した付加情報を付加した映像を、前記ディスプレイに表示させる上記（１）から上記（８）のいずれかに記載の画像処理装置。

（１０）前記処理部は、前記加工した映像として、
前記カメラによる取得した映像に対して視点変換した映像を前記ディスプレイに表示させる、上記（１）から上記（９）のいずれかに記載の画像処理装置。

（１１）前記カメラは、撮影画角の中央部分を用いて露出を行う、上記（１）から上記（１０）のいずれかに記載の画像処理装置。

（１２）前記ディスプレイは、前記フォークリフトに取付けられたコンバイナーに虚像を投影するヘッドアップディスプレイである、上記（１）から上記（１１）のいずれかに記載の画像処理装置。

（１３）前記コンバイナーは、前記フォークリフトの前方側を透過視できる位置に配置されており、
前記ヘッドアップディスプレイは、虚像の投影距離が５０ｃｍから２０ｍの範囲に設定されている、上記（１２）に記載の画像処理装置。

（１４）前記フォークの先端部分に設けられ前記カメラ、および前記検知センサーは、衝撃緩和部材を介して、前記フォークの本体部に取付けられている、上記（１）から上記（１３）のいずれかに記載の画像処理装置。

（１５）前記カメラ、および前記検知センサーを構成する電子部品の少なくとも一部は、可撓性で高熱伝導性の材料で構成された熱伝導部材を介して、前記フォークの本体部に接続されている、上記（１４）に記載の画像処理装置。

（１６）フォークリフトに用いられる画像処理装置であって、
前記フォークリフトの前方を撮影するカメラと、
前記フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、
前記カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行う処理部と、
前記処理部が加工処理した処理後の映像を表示するディスプレイと、
記憶部と、を備え
前記処理部は、前記加工処理として、さらに、前記測距点群データに基づいて、前記映像に対して視点変換処理を行う、および、前記検知センサーにより取得した測距点群データを用いて３次元距離マップを作成し、前記記憶部に記憶させる、画像処理装置。

（１７）前記カメラは、可視光領域に感度を有する撮像素子を含む、上記（１６）に記載の画像処理装置。

（１８）前記カメラは、前記フォークリフトの前方側に昇降可能に支持されたフォークに、前記前方を撮影するように設置されている、上記（１６）または上記（１７）に記載の画像処理装置。

（１９）前記カメラは、撮影画角の中央部分を用いて露出を行う、上記（１８）に記載の画像処理装置。

（２０）さらに、前記カメラの姿勢情報を取得する位置検知センサーを備え、
前記処理部は、前記位置検知センサーから取得した前記姿勢情報を用いて、前記視点変換処理を行う、上記（１６）に記載の画像処理装置。

（２１）前記記憶部に記憶された前記３次元距離マップは、前記フォークリフトが使用される建物もしくは設備に関する図面データ、前記建物に設置されたセンサーから得られた測距点群データ、他の車両の位置情報、および／または前記建物で用いられる物流情報システムから取得した荷物の位置情報が反映されている、上記（１６）に記載の画像処理装置。

（２２）前記３次元距離マップには、前記建物もしくは設備に関する、床面、壁面、窓、または照明装置の位置情報が含まれている、上記（２１）に記載の画像処理装置。

（２３）前記視点変換処理は、前記フォークリフトの運転台に座る運転者の視点位置を仮想視点位置とする視点変換処理、前記運転者の視点位置よりも高い位置を仮想視点位置とする視点変換処理、または、前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理である、上記（１６）から上記（２２）のいずれかに記載の画像処理装置。

（２４）前記運転者の視点位置を仮想視点位置とする前記視点変換処理は、前記カメラの地面に対する角度、もしくは高さに応じた台形補正による視点変換処理、または、前記測距点群データ、もしくは記憶部に記憶した３次元距離マップを用いた視点変換処理である、上記（２３）に記載の画像処理装置。

（２５）前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理は、前記測距点群データまたは記憶部に記憶した３次元距離マップを用いた視点変換処理である、上記（２３）に記載の画像処理装置。

（２６）前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理、または前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理では、前記カメラの死角領域に関しては、前記カメラの画角において、前記死角領域が形成される物体の上方で、かつ、該物体よりも遠い距離にある物体の表面のテクスチャーを、前記死角領域に配置する、上記（２３）または上記（２５）に記載の画像処理装置。

（２７）前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理、または前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理では、前記カメラの死角領域に関しては、記憶部に記憶した３次元距離マップにおける物体の輪郭情報を用いて、前記死角領域に対して、前記死角領域に存在する前記物体の輪郭を重畳させる、上記（２３）または上記（２５）に記載の画像処理装置。

（２８）前記視点変換処理は、物体までの距離に応じて、視点変換処理の有無、または強度を変更する、上記（１６）から上記（２７）のいずれかに記載の画像処理装置。

（２９）前記ディスプレイは、前記フォークリフトの前方を透過視できるように前記フォークリフトに取り付けられた、透明スクリーン、またはヘッドアップディスプレイであり、
前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、認識した前記物体それぞれまでの距離、および／または方向に対応する付加画像を生成し、生成した前記付加画像を前記物体それぞれに重畳させる態様で、前記透明スクリーン、または前記ヘッドアップディスプレイに表示させる、上記（１６）から上記（１９）のいずれかに記載の画像処理装置。

（３０）前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記加工処理として、前記映像に、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を生成し、前記映像に付加する、上記（１６）から上記（２９）のいずれかに記載の画像処理装置。

（３１）前記処理部は、前記物体としてパレットを認識した場合に、前記パレットの差し込み口の形状により、前記パレットに対する傾きを判定し、判定した前記パレットの水平面の傾き量に応じた前記付加画像を生成する、上記（３０）に記載の画像処理装置。

（３２）前記処理部が生成する前記付加画像には、前記フォークリフトが使用される建物で用いられる物流情報システムから取得した荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報の少なくとも一つが含まれる、上記（２９）から上記（３１）のいずれかに記載の画像処理装置。

（３３）前記処理部は、前記物体までの距離に応じて上方視点の俯瞰画像を生成し、生成した俯瞰画像を追加して前記ディスプレイに表示する、上記（１６）から上記（３２）のいずれかに記載の画像処理装置。

（３４）前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記フォークリフト、もしくは前記フォークリフトのフォーク先端からの距離が所定値以下になった場合に、警告を発する、または前記ディスプレイの表示を近接用画面に切り替える、上記（１６）から上記（３３）のいずれかに記載の画像処理装置。

（３５）前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記距離値の画像において認識した前記物体のフォーク先端からの最短距離に関する情報を出力する、上記（１６）から上記（３４）のいずれかに記載の画像処理装置。

（３６）フォークリフトに用いられる画像処理装置であって、前記フォークリフトの前方を撮影するカメラと、前記フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、記憶部と、を備える画像処理装置を制御するコンピューターで実行される制御プログラムであって、
前記カメラにより映像を取得するステップ（ａ）と、
前記検知センサーで測距点群データを取得するステップ（ｂ）と、
前記カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行うステップ（ｃ）と、
処理後の映像をディスプレイに表示するステップ（ｄ）と、
前記カメラからの映像と、前記検知センサーの検知情報に基づいて、前記フォークリフトが動作する作業空間内の物体の位置、または形状を示す測距点群である距離マップを生成し、前記記憶部に蓄積するステップ（ｅ）と、
を含む処理を、前記コンピューターに実行させるための制御プログラム。

（３７）前記ステップ（ｃ）では、前記加工処理として、さらに、前記測距点群データに基づいて、前記映像に対して視点変換処理を行う、上記（３６）に記載の制御プログラム。

（３８）前記処理は、さらに、
前記フォークリフトの前方にある物体を認識するステップ（ｆ）を含み、
前記ステップ（ｃ）では、前記加工処理として、前記映像に、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を生成し、前記映像に付加する、上記（３６）または上記（３７）に記載の制御プログラム。

Claims (38)

1. フォークリフトに用いられる画像処理装置であって、
   前記フォークリフトの前方側に昇降可能に支持された複数のフォークのうちの１本のフォークの先端部分に設けられ、前記フォークリフトの前方を撮影するカメラと、
   前記カメラが設けられた前記フォークの前記先端部分に設けられ、前記フォークリフトの前方にある物体までの距離を検知するための検知センサーと、
   前記検知センサーの検知情報に基づいて、前記カメラが取得した映像を加工する処理部と、
   前記処理部が加工した加工後の映像を表示するディスプレイと、
   記憶部と、を備え、
   前記処理部は、前記カメラからの映像と、前記検知センサーの検知情報に基づいて、前記フォークリフトが動作する作業空間内の物体の位置、または形状を示す測距点群である距離マップを生成し、前記記憶部に蓄積する、画像処理装置。
2. １本の前記フォークに、第１の撮像素子および第２の撮像素子が、それぞれの撮影領域の少なくとも一部が重なるように設けられ、
   前記第１、第２の撮像素子の少なくとも一方が、前記カメラの一部として機能するとともに、前記１、第２の撮像素子の両方が前記検知センサーとして機能し、
   前記処理部は、前記第１、第２の撮像素子の双方から取得した映像に基づいて、前記フォークの前方にある物体までの距離を検出し、検出した距離に基づいて前記映像を加工する、請求項１に記載の画像処理装置。
3. 前記フォークリフトの前方に向けて光を照射する、または、前記フォークリフトの前方に向けて２次元のパターン光を照射する投光器、
   を備え、
   前記投光器、および前記処理部は、前記検知センサーとしても機能し、前記処理部は、前記投光器による照射光、または前記パターン光を撮影した前記カメラからの映像に基づいて、前記フォークリフトの前方にある物体までの距離を検出し、検出した距離に基づいて前記映像を加工する、請求項１または請求項２に記載の画像処理装置。
4. 前記検知センサーは、前記フォークリフトの前方にある物体までの距離を検知して複数点の測距点群データを取得する測距センサーである、請求項１に記載の画像処理装置。
5. 前記フォークの先端のテーパー部であって、上面視において先端に向けて幅が徐々に狭くなり、および／または、側面視において下面が傾斜することで厚みが先端に向けて徐々に薄くなるテーパー部に、前記カメラと前記検知センサーが設けられている、請求項１から請求項４のいずれかに記載の画像処理装置。
6. 第１の撮像素子および第２の撮像素子が１本の前記フォークに、それぞれの撮影領域の少なくとも一部を共通するように、前記フォークリフトの前方を撮影領域として設けられており、
   前記第１、第２の撮像素子の少なくとも一方が、前記カメラの一部として機能するとともに、前記１、第２の撮像素子の両方が前記検知センサーとして機能し、
   前記処理部は、前記第１、第２の撮像素子の双方から取得した映像に基づいて、前記フォークリフトの前方にある物体までの距離を検出し、
   前記フォークの先端のテーパー部であって、上面視において先端に向けて幅が徐々に狭くなり、かつ、側面視において下面が傾斜することで厚みが先端に向けて徐々に薄くなるテーパー部の左右両側のそれぞれに、前記第１、第２の撮像素子が配置されている、請求項１に記載の画像処理装置。
7. 前記処理部は、前記検知センサー、または該検知センサーの検知情報と前記カメラからの映像に基づいて検出した物体までの距離のデータの一部を、前記記憶部に蓄積した前記距離マップで補正する、請求項１に記載の画像処理装置。
8. さらに、前記フォークの位置状態を取得する位置検知センサーを含み、
   前記処理部は、前記位置検知センサーにより、前記カメラが設けられた前記フォークの位置状態を取得する、請求項１から請求項７のいずれかに記載の画像処理装置。
9. 前記処理部は、前記加工した映像として、
   前記カメラによる取得した映像に対して、前方の物体までの距離に対応した付加情報を付加した映像を、前記ディスプレイに表示させる請求項１から請求項８のいずれかに記載の画像処理装置。
10. 前記処理部は、前記加工した映像として、
    前記カメラによる取得した映像に対して視点変換した映像を前記ディスプレイに表示させる、請求項１から請求項９のいずれかに記載の画像処理装置。
11. 前記カメラは、撮影画角の中央部分を用いて露出を行う、請求項１から請求項１０のいずれかに記載の画像処理装置。
12. 前記ディスプレイは、前記フォークリフトに取付けられたコンバイナーに虚像を投影するヘッドアップディスプレイである、請求項１から請求項１１のいずれかに記載の画像処理装置。
13. 前記コンバイナーは、前記フォークリフトの前方側を透過視できる位置に配置されており、
    前記ヘッドアップディスプレイは、虚像の投影距離が５０ｃｍから２０ｍの範囲に設定されている、請求項１２に記載の画像処理装置。
14. 前記フォークの先端部分に設けられ前記カメラ、および前記検知センサーは、衝撃緩和部材を介して、前記フォークの本体部に取付けられている、請求項１から請求項１３のいずれかに記載の画像処理装置。
15. 前記カメラ、および前記検知センサーを構成する電子部品の少なくとも一部は、可撓性で高熱伝導性の材料で構成された熱伝導部材を介して、前記フォークの本体部に接続されている、請求項１４に記載の画像処理装置。
16. フォークリフトに用いられる画像処理装置であって、
    前記フォークリフトの前方を撮影するカメラと、
    前記フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、
    前記カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行う処理部と、
    前記処理部が加工処理した処理後の映像を表示するディスプレイと、
    記憶部と、を備え
    前記処理部は、前記加工処理として、さらに、前記測距点群データに基づいて、前記映像に対して視点変換処理を行う、および、前記検知センサーにより取得した測距点群データを用いて３次元距離マップを作成し、前記記憶部に記憶させる、画像処理装置。
17. 前記カメラは、可視光領域に感度を有する撮像素子を含む、請求項１６に記載の画像処理装置。
18. 前記カメラは、前記フォークリフトの前方側に昇降可能に支持されたフォークに、前記前方を撮影するように設置されている、請求項１６または請求項１７に記載の画像処理装置。
19. 前記カメラは、撮影画角の中央部分を用いて露出を行う、請求項１８に記載の画像処理装置。
20. さらに、前記カメラの姿勢情報を取得する位置検知センサーを備え、
    前記処理部は、前記位置検知センサーから取得した前記姿勢情報を用いて、前記視点変換処理を行う、請求項１６に記載の画像処理装置。
21. 前記記憶部に記憶された前記３次元距離マップは、前記フォークリフトが使用される建物もしくは設備に関する図面データ、前記建物に設置されたセンサーから得られた測距点群データ、他の車両の位置情報、および／または前記建物で用いられる物流情報システムから取得した荷物の位置情報が反映されている、請求項１６に記載の画像処理装置。
22. 前記３次元距離マップには、前記建物もしくは設備に関する、床面、壁面、窓、または照明装置の位置情報が含まれている、請求項２１に記載の画像処理装置。
23. 前記視点変換処理は、前記フォークリフトの運転台に座る運転者の視点位置を仮想視点位置とする視点変換処理、前記運転者の視点位置よりも高い位置を仮想視点位置とする視点変換処理、または、前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理である、請求項１６から請求項２２のいずれかに記載の画像処理装置。
24. 前記運転者の視点位置を仮想視点位置とする前記視点変換処理は、前記カメラの地面に対する角度、もしくは高さに応じた台形補正による視点変換処理、または、前記測距点群データ、もしくは記憶部に記憶した３次元距離マップを用いた視点変換処理である、請求項２３に記載の画像処理装置。
25. 前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理は、前記測距点群データまたは記憶部に記憶した３次元距離マップを用いた視点変換処理である、請求項２３に記載の画像処理装置。
26. 前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理、または前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理では、前記カメラの死角領域に関しては、前記カメラの画角において、前記死角領域が形成される物体の上方で、かつ、該物体よりも遠い距離にある物体の表面のテクスチャーを、前記死角領域に配置する、請求項２３または請求項２５に記載の画像処理装置。
27. 前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理、または前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理では、前記カメラの死角領域に関しては、記憶部に記憶した３次元距離マップにおける物体の輪郭情報を用いて、前記死角領域に対して、前記死角領域に存在する前記物体の輪郭を重畳させる、請求項２３または請求項２５に記載の画像処理装置。
28. 前記視点変換処理は、物体までの距離に応じて、視点変換処理の有無、または強度を変更する、請求項１６から請求項２７のいずれかに記載の画像処理装置。
29. 前記ディスプレイは、前記フォークリフトの前方を透過視できるように前記フォークリフトに取り付けられた、透明スクリーン、またはヘッドアップディスプレイであり、
    前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、認識した前記物体それぞれまでの距離、および／または方向に対応する付加画像を生成し、生成した前記付加画像を前記物体それぞれに重畳させる態様で、前記透明スクリーン、または前記ヘッドアップディスプレイに表示させる、請求項１６から請求項１９のいずれかに記載の画像処理装置。
30. 前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記加工処理として、前記映像に、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を生成し、前記映像に付加する、請求項１６から請求項２９のいずれかに記載の画像処理装置。
31. 前記処理部は、前記物体としてパレットを認識した場合に、前記パレットの差し込み口の形状により、前記パレットに対する傾きを判定し、判定した前記パレットの水平面の傾き量に応じた前記付加画像を生成する、請求項３０に記載の画像処理装置。
32. 前記処理部が生成する前記付加画像には、前記フォークリフトが使用される建物で用いられる物流情報システムから取得した荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報の少なくとも一つが含まれる、請求項２９から請求項３１のいずれかに記載の画像処理装置。
33. 前記処理部は、前記物体までの距離に応じて上方視点の俯瞰画像を生成し、生成した俯瞰画像を追加して前記ディスプレイに表示する、請求項１６から請求項３２のいずれかに記載の画像処理装置。
34. 前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記フォークリフト、もしくは前記フォークリフトのフォーク先端からの距離が所定値以下になった場合に、警告を発する、または前記ディスプレイの表示を近接用画面に切り替える、請求項１６から請求項３３のいずれかに記載の画像処理装置。
35. 前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記距離値の画像において認識した前記物体のフォーク先端からの最短距離に関する情報を出力する、請求項１６から請求項３４のいずれかに記載の画像処理装置。
36. フォークリフトに用いられる画像処理装置であって、前記フォークリフトの前方を撮影するカメラと、前記フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、記憶部と、を備える画像処理装置を制御するコンピューターで実行される制御プログラムであって、
    前記カメラにより映像を取得するステップ（ａ）と、
    前記検知センサーで測距点群データを取得するステップ（ｂ）と、
    前記カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行うステップ（ｃ）と、
    処理後の映像をディスプレイに表示するステップ（ｄ）と、
    前記カメラからの映像と、前記検知センサーの検知情報に基づいて、前記フォークリフトが動作する作業空間内の物体の位置、または形状を示す測距点群である距離マップを生成し、前記記憶部に蓄積するステップ（ｅ）と、
    を含む処理を、前記コンピューターに実行させるための制御プログラム。
37. 前記ステップ（ｃ）では、前記加工処理として、さらに、前記測距点群データに基づいて、前記映像に対して視点変換処理を行う、請求項３６に記載の制御プログラム。
38. 前記処理は、さらに、
    前記フォークリフトの前方にある物体を認識するステップ（ｆ）を含み、
    前記ステップ（ｃ）では、前記加工処理として、前記映像に、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を生成し、前記映像に付加する、請求項３６または請求項３７に記載の制御プログラム。