JP7259835B2 - フォークリフト用の画像処理装置、および制御プログラム - Google Patents

フォークリフト用の画像処理装置、および制御プログラム Download PDF

Info

Publication number
JP7259835B2
JP7259835B2 JP2020502093A JP2020502093A JP7259835B2 JP 7259835 B2 JP7259835 B2 JP 7259835B2 JP 2020502093 A JP2020502093 A JP 2020502093A JP 2020502093 A JP2020502093 A JP 2020502093A JP 7259835 B2 JP7259835 B2 JP 7259835B2
Authority
JP
Japan
Prior art keywords
image
forklift
distance
camera
fork
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020502093A
Other languages
English (en)
Other versions
JPWO2019163378A1 (ja
JPWO2019163378A5 (ja
Inventor
秀之 藤森
彰宏 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2019163378A1 publication Critical patent/JPWO2019163378A1/ja
Publication of JPWO2019163378A5 publication Critical patent/JPWO2019163378A5/ja
Application granted granted Critical
Publication of JP7259835B2 publication Critical patent/JP7259835B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66FHOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075Constructional features or details
    • B66F9/20Means for actuating or controlling masts, platforms, or forks
    • B66F9/24Electrical devices or systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Civil Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Measurement Of Optical Distance (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、フォークリフトに搭載されたフォークリフト用の画像処理装置、および制御プログラムに関する。
フォークリフトは、フォークにパレット上の荷物を載せて移動する。例えば運転者が進行方向を向いて運転台に座る座席式のフォークリフトにおいては、前方のフォーク上に、運転者の目線より高く荷積みした場合、前方に死角が出来てしまう。走行する場合には、運転者は、フォークリフトを後進させながら、移動する。しかし、荷役時は、前進が必要で運転者は、横に身をのり出して視認せざるを得ない。
また、運転者からフォークの前方を視認しづらい高所棚での積み下ろし作業においても、フォークの前方や、フォークを差し込んだ状態でパレットの前方側を視認したいという要望がある。このような問題に対して特許文献1に開示されたフォークリフトでは、フォークに前方を撮影するカメラを設け、撮影した画像をディスプレイに表示させている。
また、フォークリフトの左右のフォークにそれぞれカメラを設けることで、前方視界を得るとともに、ステレオ視によって前方にある物体までの距離を算出し、算出結果を表示する技術がある(特許文献2)。
特開2003-246597号公報 特開2013-86959号公報
フォークリフトの2本のフォークをフィンガバーに取り付けたとき、一般に、両者間に意図的に、がたつきを設けている。このため、走行時の振動などにより、2本のフォークが互いにバラバラな動きをしたり、取り付けられているフィンガバーやこれらを支持するマスト部分と異なる動きをしたりすることがある。
特許文献1では、フォークに1台のカメラを設けている。この場合、前方視認はできるものの、その画像を見ただけでは前方にある物体との距離はわからない。
この点、特許文献2に開示された技術では、2本のフォークのそれぞれにカメラを取り付けることで、ステレオ視により測距できる。しかしながら、上述のように、2本のフォークは、その間隔が安定しておらず、両カメラの間隔(基線長)が安定しないことや、フォークの取り付けガタにより、2本のフォークがバラバラに動く。また、2本のフォークの平行度が確保できないことが多い。このため、ステレオ視計算で精度を保つことが不可能か、または非常に困難になる。
さらに、特許文献2に開示された技術では、それぞれのフォークの根元側にカメラを配置しているために、荷積みした状態では、前方の視界が非常に狭くなるため、前方の視界を十分に確保することができない。
また、特許文献1に開示された技術では、フォーク先端部にカメラを設けている。そのため、フォークに荷積みした状態では、一般に、フォーク先端部のカメラは、地面に近い位置にあり、そのカメラからの映像は、下から見上げるような画角となるために、そのカメラからの映像を表示したとしても、運転者は周囲の状況を把握しづらいという問題がある。
本発明は、上述の事情に鑑みなされたものであり、第1の目的は、フォークリフトにおいて、荷積みした状態で前方を確認できるとともに、安定して、物体までの距離を測定できる、フォークリフト用の画像処理装置を提供することである。
第2の目的は、フォークリフトにおいて、荷積みした状態であっても前方の状況を容易に確認できるとともに、安全な作業環境を提供することである。
本発明の上記目的は、下記の手段によって達成される。
(1)フォークリフトに用いられる画像処理装置であって、
前記フォークリフトの前方側に昇降可能に支持された複数のフォークのうちの1本のフォークの先端部分に設けられ、前記フォークリフトの前方を撮影するカメラと、
前記カメラが設けられた前記フォークの前記先端部分に設けられ、前記フォークリフトの前方にある物体までの距離を検知するための検知センサーと、
前記検知センサーの検知情報に基づいて、前記カメラが取得した映像を加工する処理部と、
前記処理部が加工した加工後の映像を表示するディスプレイと、
記憶部と、を備え、
前記処理部は、前記カメラからの映像と、前記検知センサーの検知情報に基づいて、前記フォークリフトが動作する作業空間内の物体の位置、または形状を示す測距点群である距離マップを生成し、前記記憶部に蓄積する、画像処理装置。
(2)1本の前記フォークに、第1の撮像素子および第2の撮像素子が、それぞれの撮影領域の少なくとも一部が重なるように設けられ、
前記第1、第2の撮像素子の少なくとも一方が、前記カメラの一部として機能するとともに、前記1、第2の撮像素子の両方が前記検知センサーとして機能し、
前記処理部は、前記第1、第2の撮像素子の双方から取得した映像に基づいて、前記フォークの前方にある物体までの距離を検出し、検出した距離に基づいて前記映像を加工する、上記(1)に記載の画像処理装置。
(3)前記フォークリフトの前方に向けて光を照射する、または、前記フォークリフトの前方に向けて2次元のパターン光を照射する投光器、
を備え、
前記投光器、および前記処理部は、前記検知センサーとしても機能し、前記処理部は、前記投光器による照射光、または前記パターン光を撮影した前記カメラからの映像に基づいて、前記フォークリフトの前方にある物体までの距離を検出し、検出した距離に基づいて前記映像を加工する、上記(1)または上記(2)に記載の画像処理装置。
(4)前記検知センサーは、前記フォークリフトの前方にある物体までの距離を検知して複数点の測距点群データを取得する測距センサーである、上記(1)に記載の画像処理装置。
(5)前記フォークの先端のテーパー部であって、上面視において先端に向けて幅が徐々に狭くなり、および/または、側面視において下面が傾斜することで厚みが先端に向けて徐々に薄くなるテーパー部に、前記カメラと前記検知センサーが設けられている、上記(1)から上記(4)のいずれかに記載の画像処理装置。
(6)第1の撮像素子および第2の撮像素子が1本の前記フォークに、それぞれの撮影領域の少なくとも一部を共通するように、前記フォークリフトの前方を撮影領域として設けられており、
前記第1、第2の撮像素子の少なくとも一方が、前記カメラの一部として機能するとともに、前記1、第2の撮像素子の両方が前記検知センサーとして機能し、
前記処理部は、前記第1、第2の撮像素子の双方から取得した映像に基づいて、前記フォークリフトの前方にある物体までの距離を検出し、
前記フォークの先端のテーパー部であって、上面視において先端に向けて幅が徐々に狭くなり、かつ、側面視において下面が傾斜することで厚みが先端に向けて徐々に薄くなるテーパー部の左右両側のそれぞれに、前記第1、第2の撮像素子が配置されている、上記(1)に記載の画像処理装置。
)前記処理部は、前記検知センサー、または該検知センサーの検知情報と前記カメラからの映像に基づいて検出した物体までの距離のデータの一部を、前記記憶部に蓄積した前記距離マップで補正する、上記()に記載の画像処理装置。
)さらに、前記フォークの位置状態を取得する位置検知センサーを含み、
前記処理部は、前記位置検知センサーにより、前記カメラが設けられた前記フォークの位置状態を取得する、上記(1)から上記()のいずれかに記載の画像処理装置。
)前記処理部は、前記加工した映像として、
前記カメラによる取得した映像に対して、前方の物体までの距離に対応した付加情報を付加した映像を、前記ディスプレイに表示させる上記(1)から上記()のいずれかに記載の画像処理装置。
10)前記処理部は、前記加工した映像として、
前記カメラによる取得した映像に対して視点変換した映像を前記ディスプレイに表示させる、上記(1)から上記()のいずれかに記載の画像処理装置。
11)前記カメラは、撮影画角の中央部分を用いて露出を行う、上記(1)から上記(10)のいずれかに記載の画像処理装置。
12)前記ディスプレイは、前記フォークリフトに取付けられたコンバイナーに虚像を投影するヘッドアップディスプレイである、上記(1)から上記(11)のいずれかに記載の画像処理装置。
13)前記コンバイナーは、前記フォークリフトの前方側を透過視できる位置に配置されており、
前記ヘッドアップディスプレイは、虚像の投影距離が50cmから20mの範囲に設定されている、上記(12)に記載の画像処理装置。
14)前記フォークの先端部分に設けられ前記カメラ、および前記検知センサーは、衝撃緩和部材を介して、前記フォークの本体部に取付けられている、上記(1)から上記(13)のいずれかに記載の画像処理装置。
15)前記カメラ、および前記検知センサーを構成する電子部品の少なくとも一部は、可撓性で高熱伝導性の材料で構成された熱伝導部材を介して、前記フォークの本体部に接続されている、上記(14)に記載の画像処理装置。
16)フォークリフトに用いられる画像処理装置であって、
前記フォークリフトの前方を撮影するカメラと、
前記フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、
前記カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行う処理部と、
前記処理部が加工処理した処理後の映像を表示するディスプレイと、
記憶部と、を備え
前記処理部は、前記加工処理として、さらに、前記測距点群データに基づいて、前記映像に対して視点変換処理を行う、および、前記検知センサーにより取得した測距点群データを用いて3次元距離マップを作成し、前記記憶部に記憶させる、画像処理装置。
17)前記カメラは、可視光領域に感度を有する撮像素子を含む、上記(16)に記載の画像処理装置。
18)前記カメラは、前記フォークリフトの前方側に昇降可能に支持されたフォークに、前記前方を撮影するように設置されている、上記(16)または上記(17)に記載の画像処理装置。
19)前記カメラは、撮影画角の中央部分を用いて露出を行う、上記(18)に記載の画像処理装置。
20)さらに、前記カメラの姿勢情報を取得する位置検知センサーを備え、
前記処理部は、前記位置検知センサーから取得した前記姿勢情報を用いて、前記視点変換処理を行う、上記(16)に記載の画像処理装置。
21)前記記憶部に記憶された前記3次元距離マップは、前記フォークリフトが使用される建物もしくは設備に関する図面データ、前記建物に設置されたセンサーから得られた測距点群データ、他の車両の位置情報、および/または前記建物で用いられる物流情報システムから取得した荷物の位置情報が反映されている、上記(16)に記載の画像処理装置。
22)前記3次元距離マップには、前記建物もしくは設備に関する、床面、壁面、窓、または照明装置の位置情報が含まれている、上記(21)に記載の画像処理装置。
23)前記視点変換処理は、前記フォークリフトの運転台に座る運転者の視点位置を仮想視点位置とする視点変換処理、前記運転者の視点位置よりも高い位置を仮想視点位置とする視点変換処理、または、前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理である、上記(16)から上記(22)のいずれかに記載の画像処理装置。
24)前記運転者の視点位置を仮想視点位置とする前記視点変換処理は、前記カメラの地面に対する角度、もしくは高さに応じた台形補正による視点変換処理、または、前記測距点群データ、もしくは記憶部に記憶した3次元距離マップを用いた視点変換処理である、上記(23)に記載の画像処理装置。
25)前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理は、前記測距点群データまたは記憶部に記憶した3次元距離マップを用いた視点変換処理である、上記(23)に記載の画像処理装置。
26)前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理、または前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理では、前記カメラの死角領域に関しては、前記カメラの画角において、前記死角領域が形成される物体の上方で、かつ、該物体よりも遠い距離にある物体の表面のテクスチャーを、前記死角領域に配置する、上記(23)または上記(25)に記載の画像処理装置。
27)前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理、または前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理では、前記カメラの死角領域に関しては、記憶部に記憶した3次元距離マップにおける物体の輪郭情報を用いて、前記死角領域に対して、前記死角領域に存在する前記物体の輪郭を重畳させる、上記(23)または上記(25)に記載の画像処理装置。
28)前記視点変換処理は、物体までの距離に応じて、視点変換処理の有無、または強度を変更する、上記(16)から上記(27)のいずれかに記載の画像処理装置。
29)前記ディスプレイは、前記フォークリフトの前方を透過視できるように前記フォークリフトに取り付けられた、透明スクリーン、またはヘッドアップディスプレイであり、
前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、認識した前記物体それぞれまでの距離、および/または方向に対応する付加画像を生成し、生成した前記付加画像を前記物体それぞれに重畳させる態様で、前記透明スクリーン、または前記ヘッドアップディスプレイに表示させる、上記(16)から上記(19)のいずれかに記載の画像処理装置。
30)前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記加工処理として、前記映像に、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を生成し、前記映像に付加する、上記(16)から上記(29)のいずれかに記載の画像処理装置。
31)前記処理部は、前記物体としてパレットを認識した場合に、前記パレットの差し込み口の形状により、前記パレットに対する傾きを判定し、判定した前記パレットの水平面の傾き量に応じた前記付加画像を生成する、上記(30)に記載の画像処理装置。
32)前記処理部が生成する前記付加画像には、前記フォークリフトが使用される建物で用いられる物流情報システムから取得した荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報の少なくとも一つが含まれる、上記(29)から上記(31)のいずれかに記載の画像処理装置。
33)前記処理部は、前記物体までの距離に応じて上方視点の俯瞰画像を生成し、生成した俯瞰画像を追加して前記ディスプレイに表示する、上記(16)から上記(32)のいずれかに記載の画像処理装置。
34)前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記フォークリフト、もしくは前記フォークリフトのフォーク先端からの距離が所定値以下になった場合に、警告を発する、または前記ディスプレイの表示を近接用画面に切り替える、上記(16)から上記(33)のいずれかに記載の画像処理装置。
35)前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記距離値の画像において認識した前記物体のフォーク先端からの最短距離に関する情報を出力する、上記(16)から上記(34)のいずれかに記載の画像処理装置。
36)フォークリフトに用いられる画像処理装置であって、前記フォークリフトの前方を撮影するカメラと、前記フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、記憶部と、を備える画像処理装置を制御するコンピューターで実行される制御プログラムであって、
前記カメラにより映像を取得するステップ(a)と、
前記検知センサーで測距点群データを取得するステップ(b)と、
前記カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行うステップ(c)と、
処理後の映像をディスプレイに表示するステップ(d)と、
前記カメラからの映像と、前記検知センサーの検知情報に基づいて、前記フォークリフトが動作する作業空間内の物体の位置、または形状を示す測距点群である距離マップを生成し、前記記憶部に蓄積するステップ(e)と、
を含む処理を、前記コンピューターに実行させるための制御プログラム。
37)前記ステップ(c)では、前記加工処理として、さらに、前記測距点群データに基づいて、前記映像に対して視点変換処理を行う、上記(36)に記載の制御プログラム。
38)前記処理は、さらに、
前記フォークリフトの前方にある物体を認識するステップ()を含み、
前記ステップ(c)では、前記加工処理として、前記映像に、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を生成し、前記映像に付加する、上記(36)または上記(37)に記載の制御プログラム。
第1の発明によれば、1本のフォークの先端部分に、フォークの前方を撮影するカメラと、前方にある物体までの距離を検知するための検知センサーとを設け、検知センサーの検知情報に基づいて、カメラが取得した映像を加工して、ディスプレイに表示する。このようにすることで、運転者は、フォーク上への荷積みにより前方が見えにくい場合であってもディスプレイに表示した画面により前方を確認できるとともに、安定して物体までの距離を測定できる。
また、第2の発明によれば、フォークリフトの前方を撮影するカメラと、フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、を備え、カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行い、処理後の映像をディスプレイに表示する。このようにすることで、運転者は、フォーク上への荷積みにより前方が見えにくい場合であってもディスプレイに表示した画面により前方の状況を容易に確認できるとともに、安全な作業環境を提供できる。
フォークリフトの外観を示す側面図である。 第1の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。 1本のフォークの先端部に第1、第2カメラを取り付けた状態を示す模式図である。 フォークの拡大図である。 図4(a)のA-A’断面図である。 他の例のフォークの拡大図である。 第1、第2カメラの水平方向の画角を説明する模式図である。 第1、第2カメラの垂直方向の画角を説明する模式図である。 カメラの取付け位置と画角を説明する模式図である。 ディスプレイに表示した表示画面の例である。 第2の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。 第3の実施形態に例に係る画像処理装置のハードウェア構成を示すブロック図である。 第1の変形例に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。 1本のさやフォークの先端部に、第1カメラ、第2カメラを取り付けた状態を示す模式図である。 第3の変形例に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。 第4の変形例に係る画像処理装置のハードウェア構成、処理部の機能構成、およびHUDの構成を示すブロック図である。 HUDの構成を示す模式図である。 第5の変形例における1本のさやフォークの先端部に、第1カメラ、第2カメラを取り付けた状態を示す模式図である。 第4の実施形態に係る画像処理装置が実行する表示処理を示すフローチャートである。 俯瞰画像を追加した表示画面の変形例である。 視点変換により生じる死角領域への処理を説明する図である。 第6の変形例に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。 第7の変形例におけるディスプレイに表示した近接用画面の例である。 第8の変形例に係る画像処理装置のハードウェア構成、処理部の機能構成、およびHUDの構成を示すブロック図である。 第8の変形例におけるHUDに表示した荷物内容情報、空棚情報、荷役手順情報に関する虚像の例である。
以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。また図面においては、上下方向をZ方向、フォークリフトの進行方向をX方向、これらに直交する方向をY方向とする。
(フォークリフト)
図1は、フォークリフトの外観を示す側面図である。フォークリフト10は、本体11、運転台12、マスト13、フィンガバー14、1対のフォーク15、16、およびヘッドガード17を有する。フォーク15、16の上には、パレット91、およびパレット91上の荷物92が荷積みされている。本体11の前方には、上下方向に伸縮可能なマスト13が設けられており、フォーク15、16はフィンガバー14に支持されており、フィンガバー14を介してマスト13に上下に昇降可能に取り付けられている。マスト13に取り付けられたチェーン(図示せず)とホイールを介して、フィンガバー14がマスト13に沿って上下に移動することで、フォーク15、16は、上下方向で位置制御される。また、フォーク15、16の地面(走行面)に対する傾斜角度(チルト)は、マスト13に連結された油圧シリンダー(図示せず)により所定範囲内で変更可能である。また、両フォーク15、16間の開き角度、間隔は、フィンガバー14内にある油圧シリンダー(図示せず)により所定範囲内で変更可能としてもよい。また、フォーク15、16は一般に硬い金属で構成される。
(画像処理装置)
図2は、第1の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。図3は、1本のフォーク15の先端部分に第1カメラ、第2カメラを取り付けた状態を示す模式図である。
画像処理装置20は、第1カメラ21、第2カメラ22、処理部23、記憶部24、およびディスプレイ25を有し、これらの構成部はフォークリフト10に搭載されている。
図2に示すように第1、第2カメラ21、22は、それぞれCCD、またはCMOS等の可視光領域に感度を有する撮像素子200(第1、第2の撮像素子)と、レンズ等の光学系を備え、フォークリフト10の前方を撮影し画像(映像)を取得する。第1、第2カメラ21、22の撮影領域の少なくとも一部は重なる。第1の実施形態においては、第1、第2カメラ21、22の両方の撮像素子200が、処理部23と協働することで物体までの距離を検知し、測距点群データを生成するための検知センサーとしても機能する。
(カメラ21、22)
図3に示すように、第1の実施形態においては、フォークリフト10の2本のフォーク15、16のうち、1本のフォーク15の先端部分に、ステレオ視(複眼ともいう)するための2台のカメラ21、22を本体11の前方が撮影領域となるように取り付けている。また、フォーク15の幅方向(Y方向)において、両カメラ21、22は所定間隔(基線長)だけ離している。同図に示す例では、左側のフォーク15に2台のカメラを取り付けているが、これに限られず、右側のフォーク16に取り付けてもよい。カメラ21、22と処理部23とは、ケーブル(図示せず)または無線で接続しており、映像信号が処理部23に伝送される。
次に、図4(a)~図4(c)、図5を参照し、カメラ21、22のフォーク15への取付け位置について説明する。図4(a)~図4(c)は、フォーク15の先端側(「爪」または「ブレード」とも称される)の拡大図であり、図5は、図4(a)のA-A’断面図であり、図5においては、図4(b)の上面s2における輪郭線を破線で示している。
カメラ21、22は、より広い画角が得られるように、フォーク15の側面の直線部と先端突部(後述の先端s1)との境界近傍の側面または下面に配置することが好ましい。より具体的には、カメラ21、22は、以下に説明するテーパー部s51に配置することが好ましい。
図4(a)は、2台のカメラ21、22を取り付けたフォーク15の側面図であり、図4(b)は平面図であり、図4(c)はフォーク15の先端側から視た正面図である。
フォーク15は先端s1、上面s2、下面s3、および側面s4、ならびに先端部分のテーパー部s51を有する。先端s1はYZ平面に延在する平面である。ここで、「先端部分」とは、先端s1のみならず、その周辺部分を含むものとする。例えば、X方向において先端s1から二十数センチメートルの範囲が含まれる(後述の図9参照)。さらにこの周辺部分には、テーパー部s51が包含される。テーパー部s51は、図4(b)に示すように上面視において、先端s1に向けて幅が徐々に狭くなり、かつ、図4(a)に示すように側面視において下面s3が傾斜することで厚みが先端s1に向けて徐々に薄くなるテーパー面で構成される。なお先端s1を平面とせずに、曲面で形成されていてもよい。
フォーク15のテーパー部s51の左右両側にはそれぞれ、円柱状の穴が設けられており、カメラ21、22はそれぞれ、この穴に埋め込まれている。カメラ21、22はレンズの前面が、テーパー部s51の外周面からわずかに突出するように配置する方が広い画角を確保できる点で好ましいが、使用時のフォーク15の床面等への衝突による破損の観点から、円柱状の穴の開口面よりも内側に配置することがより好ましい。
測距するために物体をステレオ視(立体視)するときは、2台のカメラ21、22の撮影領域を重複させる必要がある。広い視界(画角)を確保し、より多くの領域が重なるようにするためには側面s4または下面s3のテーパー部s51にカメラ21、22を設けることが好ましい。図5に示すように、テーパー部s51に配置した2台のカメラ21、22は、フォーク15の前方側に向けて広い画角を確保できる。
図6(a)~図6(c)は、他の例に係るフォーク15の拡大図である。図6(a)~図6(c)に示すフォーク15は、厚みが10mmで、幅が100mm、上面視において先端s1に向けて幅が徐々に狭くなるテーパー部s51が設けられている。テーパー部s51は、R(半径)60mmであり、X方向において先端s1から40mmまで、Y方向において側面s4から40mmまでがテーパー部s51である。第1、第2カメラ21、22は、このテーパー部s51に設けられている。
高さ方向(Z方向)において、カメラ21、22は、上面s2、下面s3からそれぞれ2mm以上離れていることが好ましい。上述のようにフォーク15の厚みが10mmであれば、カメラ21、22はともに下面から2~8mmの範囲内に収まるようなサイズ、および位置で配置することが好ましい。一般に、荷積み作業においては、フォーク15を床面や荷物に意図的に接触し、衝突させる場合がある。そのため、このような配置とすることでカメラ21、22が床や荷物に、直接的に衝突することを防止する。また、カメラ21、22のレンズの前面は、上面視において先端側の表面、すなわち先端s1、およびテーパー部s51の表面よりも内側に配置されることが好ましい。このような配置にすることで、正面からの他の物体へフォークを(意図的に)衝突させた際に、カメラ21、22が直接的に他の物体に衝突することを防止できる。
(画角)
以下、図7、図8を参照し、画角について説明する。図7は、水平方向の画角を説明する模式図である。図7においては、図6(a)~図6(c)に示す形状のフォーク15を例に示し画角を説明するが、図4(a)~図4(c)、図5の形状のフォーク15の様な、どのようなフォーク形状に対しても適用できる(図8も同様)。第1、第2カメラ21、22の画角は理想的には、前方を中心として、水平方向において180度あることが好ましい。しかしながら、先端s1にカメラ21、22を配置することは、他の物体への衝突による衝撃を考慮すると難しい。水平方向の画角の最低値としては、フォーク15の5m前方で幅2mの物体を撮影(ステレオ視)できるように、画角は44度以上(両カメラの内側への半画角が22度以上)確保されていることが好ましい。テーパー部s51にカメラ21、22を配置することで、最低値以上の画角を確保できる。幅2mの根拠は、大型のフォークリフトにおいては、2本のフォーク15、16の間隔は約2mであるため、フォーク15の当たる領域(後述の付加画像402)を最低限ステレオ視できるようにするためである。
図8は、垂直方向の画角を説明する模式図である。垂直方向については、理想的には、フォークリフトの前方3mにある高さ5mのラックが撮影できることが好ましい。すなわちフォーク15を地面すれすれに位置させた場合において、前方3mで高さ5mまでの範囲が撮影できるように、垂直方向の画角は120度(水平より上方の半画角で60度)であることが好ましい。
垂直方向の画角の最低値としては、水平方向と同様に、フォーク15の5m前方で高さ2mの物体を撮影できるように、画角は44度以上(両カメラの内側への半画角が22度以上)確保されていることが好ましい。5m前方で、高さ2mとした根拠は、屋内で広く使用される小型のフォークリフトの全高が2mであるため、全高と同じ高さまで荷積みしながら、フォークリフトを前進させても、荷物またはフォークリフトの頭頂部が、前方の何らかの物体と接触しないことを確認できるようにするためである。
図9はフォーク15をパレット91の差込み口から挿入し、フォーク15上にパレット91を載せた状態を示している。同図では、フォーク15を差し込む位置が、パレット91の片側の差込口の中心(破線で示す)から、片側へ50%シフトした場合を想定している。このような50%ずれた位置であっても水平面(XY平面)で半画角30度を確保するためには、カメラ21、22の先端位置は、パレット端部から14cm以内に配置することが好ましい。
標準的なパレットの長さは110cmであり、標準的なフォークの長さは122cmであれば、パレット端部からのフォーク15の先端s1までの突出量は12cmとなる。よって、X方向において、フォーク15の先端エッジ(先端s1)から26cm(14+12cm)までの範囲内にレンズの全面が位置するようにカメラ21、22を配置することが好ましい。
このように本実施形態においては、1本の硬い(剛体)フォーク15に2台のカメラ21、22を配置することにより、両カメラの相対位置は常に一定になる。これにより両カメラ21、22間の基線長と平行度を常に一定に保つことができ、後述する2台のカメラ21、22からの映像によって測距を行う場合に、高精度に安定して行うことができる。
また、カメラ21、22をフォーク15の先端部分のテーパー部s51に配置することにより、平らな下面s3、または側面s4に配置した場合に比べて、画角を広くすることができ、より広範囲を撮影できる。
再び、図2を参照し、処理部23等について説明する。処理部23は、CPU(Central Processing Unit)とメモリを備え、メモリに保存した制御プログラムをCPUが実行することで画像処理装置20全体の各種制御を行う。処理部23が担う各機能については後述する。
記憶部24は、ハードディスクまたは半導体メモリであり、大容量のデータを記憶する。また記憶部24は、後述する3次元の距離マップを記憶しており、処理部23から送られた距離マップを蓄積、または更新する。記憶部24は、フォークリフト10に搭載されてもよいが、全部、またはその一部を外部のファイルサーバー内に設けられもよい。記憶部24の一部を、外部の装置に設けることで、特に後述の機外の測距センサー80(図8、図22参照)からの測距マップを用いる場合に有用である。外部のファイルサーバーとのデータ送受信は、画像処理装置20が備える無線通信部により、LANを経由して行う。
また、3次元の距離マップには、フォークリフト10が使用される、すなわち、フォークリフトが走行する作業空間である、倉庫、工場等の建物または設備に関する図面データが反映されていてもよい。この図面データには、例えば、床面、壁面、窓、および照明装置の位置情報が含まれている。また、この3次元の距離マップには、建物内を走行する他のフォークリフト等の車両の位置情報が含まれてもよい。また、建物で用いられ、内部の荷物の物流を管理する外部の物流システム(後述の図24参照)から取得した荷物92の位置情報が含まれてもよい。
例えば、この物流システムはサーバーを有し、例えば画像処理装置20とネットワーク接続する。そして、このサーバーには、建物内の荷物の位置情報、荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報、等が記憶されている。例えば、各荷物92、または荷物92を載置したパレット91には、ICタグが取り付けられており、物流システムは、このICタグにより、各荷物92の位置情報を把握することができる。なお、建物内で稼働する他の車両(フォークリフトを含む)の位置情報は、外部の測距センサー80の信号により把握し、これを取得してもよく、あるいは画像処理装置20が、他の車両に搭載した通信部とP2P(ピアツーピア)通信することにより、直接的に取得するようにしてもよい。
ディスプレイ25は、図1に示すように運転者の前方のヘッドガード17を支えるフレームに取り付けられており、以下に説明するように処理部23が生成し、加工した映像を表示する。加工処理した映像とは、例えばカメラ21、22が取得した画像の視点変換処理、および/または距離値の画像を付加する加工処理を行った映像である。この距離値の画像を付加する加工処理には、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を映像に重畳する処理が含まれる。これにより、運転者はフォーク15、16に積載した荷物により前方の視認性が悪くなった場合であっても、ディスプレイ25の表示画面により荷物の先の状況を確認できる。ディスプレイ25は、例えば液晶ディスプレイである。また、ディスプレイ25は、HUD(ヘッドアップディスプレイ)や、運転者が装着するヘッドマウントディスプレイであってもよい。HUD用のディスプレイは、半透過性を有する凹面鏡または平面鏡であるコンバイナーを備え、コンバイナーに虚像を投影する。虚像としては、後述する処理部23が生成した付加画像がある。運転台12に座った運転者は、コンバイナーを通じて、その先にある実像を視認できるとともに、コンバイナーが反射する虚像を同時に認識できる。HUDとすることで、たとえ、コンバイナーを運転席の正面側に配置したとしても、映像を投影していないときには、コンバイナーは透明になるので、前方への視界を妨げることはない。
(処理部23)
処理部23は、画像取得部301、前処理部302、特徴点抽出部303、距離マップ生成部304、物体位置判定部305、付加画像生成部306、対応付け部307、視点変換部308、画像合成部309、および画像出力部310として機能する。これらの機能は、処理部23が、内部メモリに記憶しているプログラムを実行することにより行うが、これらの機能の一部を組み込み型の専用ハードウェア回路により行うようにしてもよい。なお、以下に説明する実施形態においては、処理部23により物体の位置、距離を把握できる距離マップを生成しているが、これに限られず、物体への距離測定だけを行うようにしてもよい。
(画像取得部301)
画像取得部301は、2台のカメラ21、22にタイミングトリガーをかけて同期させる等の制御をし、これらの撮像素子200により所定のフレームレートで撮影された画像(映像)を取得する。ここで、画像取得部301は、カメラ21、22の制御に関して、撮影画角において、中央部分を用いて露出を行うようにしてもよい。これは、特にパレット91の差し込み口にフォークを挿入して、フォーク先端が差し込み口を突き抜けるまでの間においては、カメラからの映像は、中央部分のみが明るく、その周辺は暗くなるためである。すなわち、差し込み口のフォークが挿入される側と反対側を抜けた空間を適切な露出で撮影するために、画角の中央部分を用いて露出する。これにより露出オーバーにならずに中央部分からの映像を適切に撮影できる。
(前処理部302)
前処理部302は、2台のカメラ21、22から画像取得部301を介してそれぞれ取得した1組の画像の明るさ、コントラストの調整を行う。これらの調整は、既知の調整処理を適用できる。また、調整後の画像に対してさらに2値化処理等の後段の前処理を行い、処理後の画像を特徴点抽出部303に供給する。一方で、前処理部302は、前段の前処理を行ったカラー画像を視点変換部308に供給する。なお、1組の画像を、基線長に応じた位置関係で貼り付けるステッチ処理を行い、処理後の画像を視点変換部308に供給してもよく、両カメラ21、22の共通撮影領域の画像を視点変換部308に供給してもよい。
(特徴点抽出部303)
特徴点抽出部303は、1組の画像それぞれから対応付けの指標となる物体の形状、輪郭に対応する特徴点を抽出する。なお、対応付けの指標としては、色、コントラスト、エッジ、および/またはフレームの情報を用いてもよい。
(距離マップ生成部304)
距離マップ生成部304は、1組の画像の抽出した特徴点から共通の対応点を抽出し、それらの対応点から変換パラメータを用いて、特徴点それぞれまでの距離を算出する。例えば左右に配置した1対のカメラ21、22において、基線長を用いて、同じ対応点の左右の画素値のズレ量に応じてそれぞれの画素の距離値を算出する(測距)。
また、距離マップ生成部304は、SLAM(Simultaneous localization and mapping)処理を行ってもよい。SLAM処理を実行するソフトとしては、ZEDカメラ用SDKソフトがある。また、SLAMを作るオープンソースとしてはRGB-D SLAMV2などがあり、これらを用いてもよい。SLAM処理を行うことでフォークリフト10の3次元距離マップ(以下、単に「距離マップ」という)内における自車、すなわちフォークリフト10の移動位置をリアルタイムに把握できる。また、SLAM処理において、記憶部24に記憶しているフォークリフト10が使用される作業空間内の距離マップを利用してもよい。これによりカメラ21、22の撮影領域(画角範囲)から外れる領域内の状況をも把握できる。また、カメラ21、22が撮影した1組の画像がハロ、ゴースト、フレア、光芒、外部光源(太陽光等)の反射等の現象により、得られた画像に差が生じ、一次的に、あるいは一部の画素領域で測距できないような場合においては、後述する外部の測距センサー80(図8、および後述の図22参照)、またはフォークリフト10の過去の走行により生成し、記憶部24に蓄積している距離マップを用いて補正してもよい。この測距できない状況は、例えば、工場や倉庫の窓から外光が照らされたときに生じる。この補正としては、例えば撮影領域内で、距離値が検出できなかった領域に対して、過去の距離マップの対応する位置のデータで置換する処理がある。
(物体位置判定部305)
物体位置判定部305は、フォークリフト10の前方にある物体の3次元空間での位置を判定する。この物体の判定は、例えば各画素の距離値の類似度に応じて画素をクラスタリングすることにより行ってもよい。また、距離値の類似度に、画素の色の類似度を組み合わせてクラスタリングしてもよい。クラスタリングより判定した各クラスタのサイズを算定する。例えば、垂直方向寸法、水平方向寸法、総面積等を算出する。なお、ここでいう「サイズ」は、実寸法であり、見た目上の大きさ(画角、すなわち画素の広がり)とは異なり、対象物までの距離に応じて画素群の塊が判断される。例えば、物体位置判定部305は算定したサイズが抽出対象の解析対象の物体を特定するための所定のサイズ閾値以下か否か判定する。サイズ閾値は、測定場所や行動解析対象等により任意に設定できる。通行する作業者を追跡して行動を解析するのであれば、通常の人の大きさの最小値を、クラスタリングする場合のサイズ閾値とすればよい。また、フォークリフトが走行する環境が特定の倉庫内等で限定されるのであれば、その環境に存在する物体に応じたサイズ閾値を適用してもよい。また物体位置判定部305は、生成したフォークリフト前方の3次元の距離マップを記憶部24に蓄積する。この距離マップには、所定サイズ以上の物体それぞれの大きさ、位置の情報が含まれる。なお、上述のように、処理負担軽減のために、物体までの距離測定のみを行うようにしてもよい。
また、物体の種類として人間と他の物体との判別については、機械学習を用いたり、プロポーション判別(縦横比)を用いたりしてもよい。機械学習では、コンピューターが得られた3次元距離マップのデータを用いて、学習を繰り返す。とくに作業空間内においては、甚大な事故を防ぐために、作業者を判別することは重要であり、これらを用いることにより判別精度の向上が見込まれる。
(付加画像生成部306)
付加画像生成部306は、物体位置判定部305が判定したフォークリフト10の前方にある物体までの距離、より具体的には、フォーク15、16を延長した先にある物体までの距離に応じた付加画像(アノテーション画像ともいう)を生成する。付加画像としては、距離を示す距離梯子や、数値表示がある(後述の図10参照)。また、付加画像としては、物体の種類、距離に応じて色や態様を変更した矩形枠、または要注意物が存在する場合などに、運転者に注意喚起するためのマーク、テキストであってもよい。さらに、付加画像として、水平面、または、フォークの対パレット正面でのX-Y平面での傾き角度、開き角度、傾斜角度、もしくは地面からの高さの情報であってもよい。
さらに、物流システムから荷物の位置情報、荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報、等を取得し、これらの情報を付加画像として生成してもよい(後述の図25参照)。
なお、付加画像として、さらに、荷物を上げる時に、フォーク15、16とトラック荷台までの高さ方向の距離、マスト13と建物もしくは設備の天井との距離、荷物92の前面側上端と、天井、トラックの天蓋、または棚の上段までの高さ方向の距離に応じた付加画像を生成してもよい。また、これらのうち、フォーク15、16の先端との相対位置関係に応じた付加画像は、フォーク15上のカメラ21、22の姿勢情報、すなわち、フォーク15の向き(開き角度)、高さ、傾斜角度(チルト)、およびフォーク15、16の間隔の変更に応じて、変更される。これらのフォーク15の向き、高さ、傾斜角度、フォーク間の間隔は、カメラ21、22の撮影画像から検出してもよく、フォークリフト10の本体11に取り付けられている種々のセンサーにより検知してもよい。
また、パレット91の傾き量に応じた付加画像を生成してもよい。具体的には、物体位置判定部305が、前方にあるパレット91の差し込み口の形状を認識し、予め記憶部24に登録しておいた差し込み口の形状、寸法との比較に応じて、傾き量を判定する。そして付加画像生成部306が、傾き量に応じた付加画像を生成する。この傾き量としては、例えば、図1のようにパレット91と荷物92を2段以上重ねた場合に、荷物92の上面が水平でない場合に生じる、水平面に対する傾き角度(チルト)である。また、この傾き角度は、フォーク15との相対角度であってもよい。また、水平面(XY面)における、フォーク15の仮想延長線とパレット91との相対的な傾き角度(yaw角)であってもよい。また、これらの傾き量が所定値以上の場合には、警告を行うようにしてもよい。
(対応付け部307)
対応付け部307は、カメラ21、22が撮影した2次元の画像における各物体の位置と、距離マップにおける各物体の位置との対応付けを行う。
(視点変換部308)
視点変換部308は、運転台12に座る運転者の目の高さに応じた視点位置に応じて予め指定された視点位置(仮想視点位置)から見た時の角度、方向に対して、各画素点の間隔や位置を座標変換することで、画像の視点変換を行う。運転者は、視点位置(仮想視点位置)を画像処理装置20のキーボート、ポインティングデバイス、タッチセンサー等の入力デバイス(図示せず)により設定できる。また、このとき、カメラからは撮影することができない死角領域に対する表示処理を行う。例えば、死角領域(データNULL領域)を記憶部24にある、その領域に対応する画素で置換する。死角領域は、カメラの位置と、運転者の視点位置が異なる場合に生じる。また、この視点変換は、カメラ21、22の床面に対する傾斜角度、または高さに応じた画像の台形補正による変換と、3次元の距離マップを用いて、画像内の物体までの距離に応じた変換を行う場合が含まれる。例えば、撮影領域に渡って、十分に距離マップが生成できていない場合等には、単純な台形補正により行ってもよい。
また、視点変換部308は、カメラ21、22から取得した映像により地面、または本体11に対するフォーク15に設けられたカメラ21、22自体の姿勢情報として傾斜角度、または高さを判定し、その判定を視点変換に反映してもよい。例えば、フォーク15が先端に向けて上方に傾斜した場合、または上方に移動した場合には、その傾斜角度、上方移動量を相殺するように視点変換を行う。フォーク15の地面、または本体11に対するフォーク15の傾斜角度、または高さは、フォークリフト10に取り付けられている種々のセンサー(後述の変形例参照)により検知してもよい。また、フォーク15、およびカメラ21、22の姿勢情報は、フォークリフト10に取り付けられている種々のセンサー(後述の図22の変形例参照)により検知してもよい。
(視点変換の変形例)
仮想視点位置としては、運転者の視点位置を仮想視点位置とする視点変換処理に代えて、これよりも高い位置を仮想視点位置とする視点変換処理、または、フォークリフト10の本体から離れた位置を仮想視点位置とする視点変換処理を行ってもよい。例えば、フォーク15、16の高さ位置、または、これにパレット91、およびこれの上の荷物92の高さ相当の距離を加えた高さ位置を仮想視点位置とする視点変換処理や、フォークリフト10の上方からの仮想視点位置(俯瞰)、または背後から前方に向けた仮想位置視点(三人称視点位置)とする視点変換処理である。これにより俯瞰画像を得ることができる。俯瞰画像により、例えば、運転者の目線よりも高所の棚に荷物92を下ろすときに、フォークリフト10の前方を容易に確認できる。なお、これらの仮想視点位置の変更や、位置の設定は、フォークリフト10に設けられた入力デバイスから適宜設定できる。
また、これらの高い位置、または本体から離れた位置を仮想視点位置とする視点変換処理においては、第1、第2カメラ21、22の撮影により生成した距離マップに加えて、外部の測距センサー80により取得し、記憶部24に蓄積した距離マップを用いることが好ましい。この測距センサー80は、例えばレーザーライダー(Laser Lidar(Light Detection And Ranging))であり、図8に示すように、フォークリフト10が用いられる建物または設備の天井に設けられる。
さらに、これらの視点変換処理は、フォークリフト10から物体までの距離に応じて、視点変換の有無、または視点変換量(強度)を変更するようにしてもよい。具体的には、距離値が所定以上の物体に関しては、視点変換処理をオフしたり、視点変換量(視点移動距離)を減少させたり、2次元の台形補正により処理したりしてもよい。また、この視点変換に用いる2次元の映像は、2つのカメラ21、22の重複する領域のみから画像を切り出し、その画像に基づき、視点変換処理してもよく、2つの画像を基線長に応じた位置関係で貼り付けるステッチ処理を行い、処理後の画像用いてもよい。その場合、中央の重複領域に対して3次元距離マップを用いて視点変換処理し、重複しない領域の画素に対しては、2次元の台形補正により、視点変換処理するようにしてもよい。
また、視点変換処理を行う際に、死角領域が多くなる場合には視点変換量を減少させてもよい。例えば、撮影画像に対して、上方視への視点変換処理をする場合に、総表示画像数に対して、死角領域となる画素数の割合が所定値以上になる場合には、仮想視点位置を設定位置よりも低くなるように制限したり、2次元の台形補正に切り替えたりする。
(画像合成部309)
画像合成部309は、付加画像生成部306が生成した付加画像を物体位置判定部305で検出した物体の位置に対応させた表示位置で、視点変換部308が生成した画像に対して重畳させ、合成画像を生成する。
なお、ディスプレイ25として、HUDや透明スクリーン(透過スクリーン)を使用する場合、付加画像の表示位置、および内容は、運転者が見ている物体(実像)に重畳させるように、表示方向、位置を計算して、生成する。また、さらに、HUDにおいて、虚像距離を変更できる構成とした場合には、物体の位置、方向に対応させた虚像距離で付加画像を生成するようにしてもよい。
(画像出力部310)
画像出力部310は、画像合成部309が生成した合成画像、すなわち加工後の画像(映像)をリアルタイムに、ディスプレイ25に出力し、運転者に表示する。また、画像出力部310は、画像合成部309が生成した処理後の画像、すなわち視点変換処理、および/または付加画像を重畳した処理後の画像(映像)をリアルタイムに、ディスプレイ25に出力し、運転者に表示する。
図10は、ディスプレイ25に表示した画面250の例である。フォークリフト10の正面には、物体としてのトラック95、その上のパレット91、および荷物92、ならびに作業者96が存在し、トラック95の荷台に向けフォークリフト10を近づけている状況下における、カメラ21、22が撮影した、フォークリフト10正面の映像を表示している。同図に示すように画面250においては、付加画像401~406が重畳されている。
付加画像401は、フォーク15、16に対応するイラスト画像(アニメーション画像)である。付加画像402、403は、フォーク15、16を前方に向けて延長させた線およびその接触位置周辺を示す画像である。これにより運転者はフォーク15、16が当たる(挿入される)位置を認識できる。付加画像404、405は、フォークリフト10の正面にある物体までの距離を示す画像である。この付加画像404、405は、付加画像403とともに距離梯子とも称される。付加画像406は、高さ方向における、トラック95の荷台の上面までのフォーク15、16の距離を示している。付加画像407は、フォークリフト10の前方に人(作業者96)が近づいた場合に、運転者に注意を促すマークである。なお、人が所定範囲内に近づき接近予測をした場合には、発報処理として、ディスプレイ25の脇に取り付けられたスピーカーから警告音が鳴る。また、このとき付加画像407は、警告を示すために、色を変更したり、点滅させたりしてもよい。
なお、付加画像401~406は、1対のフォーク15、16の間隔距離、およびフォーク15、16の地面に対する傾斜角度が、変更可能なフォークリフト10であれば、間隔距離、傾斜角度の変更に応じて、形状、サイズ、向きを変更してもよい。例えば、フォーク15が上方に傾斜した場合には、その傾斜角度に応じて、付加画像403~406を変更する。この間隔距離、傾斜角度は、カメラ21、22から取得した画像により、処理部23が求めてもよく、あるいは、フォークリフト10に取り付けられている種々のセンサー(後述の変形例参照)により検知してもよい。
このように、本実施形態においては、1本のフォーク15に設けた、1対のカメラ21、22を用い、カメラ21、22の撮像素子により取得した映像に基づいて、フォークリフト10の前方にある、物体までの距離を検出するとともに、取得した映像に付加画像を重畳したり、視点変換したりすることで加工を行い、加工後の映像をディスプレイ25に表示する。1本のフォーク15に1対のカメラ21、22を設けることで、安定して測距できる。また、加工後の映像を表示することで、運転者は、フォーク15、16上への荷積みにより前方が見えにくい場合であってもディスプレイ25に表示した画面により前方を確認できる。また物体までの距離に関する付加画像を付加することで、作業支援や安全警告等を行えるので、より安全にフォークリフトを運転できる。
(第2の実施形態)
図11は、第2の実施形態に係る画像処理装置のハードウェア構成、および処理部の機能構成を示すブロック図である。上述の第1の実施形態に係る画像処理装置(図2等)では、2台のカメラ21、22を用いて、フォークリフト10の前方の撮影および測距を行った。これに対して、第2の実施形態は、1台のカメラ21と、測距センサー22bを用いて、前方の撮影および測距を行う。第2の実施形態では、この測距センサー22bが距離を検知するための「検知センサー」として機能する。
測距センサー22bとしては、例えばレーザーライダー(Laser Lidar(Light Detection And Ranging))、TOF(Time Of Flight)スキャナー、ソナー、等のエリア測距器である。エリア測距器により出力部から可視光、赤外光、音波などをエネルギー出射し、物体から反射したエネルギーが入力部に届くまでの時間差により、前方の物体までの測距を行う。エリア測距器によりフォークリフト10の前方にある物体までの距離を測定して、複数点の測距点群データを測定して、距離値の分布を示す測距点群データを取得する。
例えば測距センサー22bとしてレーザーライダーを用いる場合であれば、出射したパルス状のレーザーを前方の測定空間内を走査しながら照射し、その反射光を検出する。そして、出射タイミングと受光タイミングとの時間差に応じて、各照射位置における距離情報を求め、測定空間内の測距点群データを取得する。
取得した測距点群データは、逐次、距離マップ生成部304に送られ、各種の処理に用いられる。また、この測距点群データは、距離マップとして記憶部24に記憶される。
また、第1の実施形態と同様に、測距センサー22bとカメラ21は、1本のフォーク15の先端部分に配置される。測距センサー22bの測定空間と、カメラ21の撮影領域とは、一部または全部が重なるように配置される。また、好ましくは測距センサー22bとカメラ21は、第1の実施形態と同様に、フォーク15の先端部分のテーパー部s51に配置することが好ましい(図4~図9参照)。
このように、測距センサーと、カメラを用いた第2の実施形態においても、第1の実施形態と同様の効果を得ることができる。なお、第2の実施形態に対しても、位置検知センサー26を備えたり、外部の測距センサー80で取得し、記憶部24に記憶した距離マップを用いたりしてもよい。
(第3の実施形態)
図12は、第3の実施形態に係る画像処理装置20のハードウェア構成示すブロック図である。第3の実施形態においては、1台のカメラ21、投光器22cを備える。本実施形態においては、以下に説明する投光器22cおよび処理部23が、カメラ21と協働することでフォークリフトの前方にある物体までの距離を検知するための検知センサーとして機能する。
処理部23の制御信号に応じて、投光器22cはフォークリフトの前方に向けてパルス状のパターン光の投光を行う。パターン光としては例えば、複数本の縦横ライン光、または縦横所定間隔のドット光で構成される格子状のパターン光である。また、パターン光としてランダムなドットパターンを投光してもよい。このパターン光の照射領域は、カメラ21の撮影領域の一部、または全部と重なる。なお、パターン光に代えて、1点の照射光を、カメラ21の撮影領域内を順次走査するように構成してもよい。
第1の実施形態と同様に投光器22cと、カメラ21は、1本のフォーク15の先端部分に配置され、フォーク15の幅方向(Y方向)において、投光器22cと、カメラ21は所定間隔(基線長)だけ離して、取り付けている。また、好ましくは投光器22cと、カメラ21は、第1の実施形態と同様に、フォーク15の先端部分のテーパー部s51に配置することが好ましい(図4~図6参照)。
処理部23(距離マップ生成部304)は、所定タイミングでパターン光を照射した際に、そのパターン光を構成する各ドット光、もしくはライン光の間隔、または位置を、撮影したカメラ21が取得した画像により検出する。検出したパターン光の位置、および基線長に基づく変換パラメータを用いて、取得した画像の複数画素における距離を算出する。
そして、得られた距離値に基づいて、フォークリフトの前方にある物体までの距離を検出するとともに、取得した映像に、視点変換したり、付加画像を重畳したり、視点変換したりすることで加工を行い、加工後の映像をディスプレイ25に表示する。
このように、第3の実施形態においても、投光器22cとカメラ21(撮像素子)を用いることで、第1の実施形態と同様に、フォークリフト10の前方の画像および、前方の物体までの距離を検出し、加工後の映像をディスプレイに表示する。また、カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理した処理後の映像をディスプレイに表示する。これにより、第1の実施形態と同様の効果を得ることができる。
なお、図12の例では、1台のカメラ21を用いる例を示したが、これに限られず、1本のフォークに配置した2台のカメラ21、22を用いてもよい。すなわち第1の実施形態(図2等)の構成に、さらに投光器22cを加える。この場合、例えば、フォーク15の幅方向においてカメラ22と同じ位置に投光器22cを配置し、これと基線長離れるカメラ21で取得した画像から、各画素の距離を算出する。このように2台のカメラによる測距と、投光器22cを用いた測距を併用することで、より高精度に測距を行うことができる。
(第1の変形例)
図13は、第1の変形例に係る、ハードウェア構成および処理部の機能構成を示すブロック図である。
第1の変形例においては、第1の実施形態の構成に対して、さらに2台のカメラ21、22が設けられたフォーク15の位置状態を取得する位置検知センサー26を備える。
位置検知センサー26としては、例えばフォーク15の傾斜角度(チルト)を検知するセンサーであってもよい。また、位置検知センサー26としては、フォーク15のマスト13に対する高さ、すなわち、地面に対する高さを検知するセンサーであってもよい。これらのセンサーは、例えばアクチュエータと光学素子から構成される。これらのセンサーにより本体11に対するフォーク15に設けられたカメラ21、22の相対的な位置を検出できる。また、位置検知センサー26は、加速度センサーやジャイロセンサーであってもよい。加速度センサーやジャイロセンサーにより、角速度情報や旋回角度速度情報を取得でき、これらによりフォーク15に設けられたカメラ21、22の本体11、または周囲に対する相対的な位置を把握できる。なお、ここでいう相対的な位置には、フォーク15(カメラ21、22)の角度(水平または傾斜)、水平面の把握が含まれる。
このような変形例においても第1の実施形態と同様の効果が得られるとともに、さらに、位置検知センサー26を備えることで、付加画像を重畳したり、視点変換したりする処理部23の処理負荷を低減させることができる。なお、変形例においては、画像処理装置20は、第1の実施形態の構成に対して位置検知センサー26を適用していたが、これに限られず、第2、第3の実施形態に位置検知センサー26を適用してもよい。
(第2の変形例)
図14(a)、図14(b)は、第2の変形例における1本のさやフォーク19の先端部に、第1カメラ、第2カメラを取り付けた状態を示す模式図である。本実施形態のように、さやフォーク19をフォーク15(またはフォーク16)に先端側に装着する場合には、フォークの先端部、またはフォークの先端とは、さやフォーク19の先端部、またはさやフォーク19の先端を指す。さやフォーク19は、フォーク15に覆うように装着され、ネジ等の保持具(図示せず)により固定される。
図14(a)は、フォーク15の先端側に装着したさやフォーク19を示す側面図であり、図14(b)は平面図である。
さやフォーク19は先端s11、上面s12、下面s13、および側面s14、ならびに先端部分のテーパー部s151を有する。フォーク19の左右のテーパー部s151にはそれぞれ、円柱状の穴が設けられており、カメラ21、22はそれぞれ、この穴に埋め込まれて配置されている。カメラ21、22の配置位置、およびその効果については、図4~図9で説明した第1の実施形態と同様であり、説明を省略する。
カメラ21、22はフォークリフト10の本体11とケーブルまたは無線で接続しており、映像信号の処理部23への伝送が行われる。ケーブル接続の場合は、本体11から電力供給がなされ、無線接続の場合には、カメラ21、22とともに取り付けたバッテリーにより電力供給がなされる。
このように第2の変形例のように、さやフォーク19に、第1、第2カメラ21、22を設けることによっても、第1の実施形態と同様の効果を得ることができる。さらに、第2、第3の実施形態についても、フォーク15に代えてさやフォーク19を用いてもよい。すなわち、カメラ21と、測距センサー22bまたは投光器22cをさやフォーク19の先端部に設ける。このようにしても、第2、第3の実施形態と同様の効果を得ることができる。
(第3の変形例)
図15は、第3の変形例に係る、ハードウェア構成および処理部の機能構成を示すブロック図である。第3の変形例においては、1台(単眼)のカメラ21と、位置検知センサー27を備える。また、第3の変形例においては、処理部23にはオプティカルフロー処理部320が含まれる。本変形例においては、カメラ21の撮像素子200、位置検知センサー27、および処理部23(オプティカルフロー処理部320)が協働することで物体までの距離を検知するための検知センサーとして機能する。
位置検知センサー27は、変形例に係る位置検知センサー26と同様の構成を備える。位置検知センサー27から、フォークリフト10が移動する際のカメラ21の進行方向や移動量に関する位置データを取得する。
オプティカルフロー処理部320は、公知のオプティカルフロー処理を用いて測距情報を取得する。具体的には、カメラ21の時系列の複数フレーム(複数映像)間の差分を検出し、その時の位置検知センサー27からの位置データを用いて、画像内の各物体までの距離値を取得する。このようにしても、上述の各実施形態と同様の効果を得ることができる。
(第4の変形例)
図16は、第4の変形例に係る画像処理装置のハードウェア構成、処理部の機能構成、およびHUDの構成を示すブロック図である。図17は、HUDの構成を示す模式図である。第4の変形例は、ディスプレイとして、HUD25bを有する。HUD25bのコンバイナー522は、図1のディスプレイ25と同様な位置であって、フォークリフトの前方側を透過できる位置に配置されている。HUD25bにより、運転者は、図10で示した付加画像401~407のような画像を虚像として投影しながら、前方の実像をコンバイナー越しに透過視できる。なお、この第4の変形例におけるHUD25bを、上述した第1から第3の実施形態、および各変形例に適用してもよい。
図17に示すように、HUD25bは、2次元的な表示面を有する表示素子51、表示素子51に形成された像iを拡大し、虚像fに変換して投影する、ミラー521、およびコンバイナー522を含む虚像投影光学系52、および移動機構53を有する。なお、ミラー521を省略した構成としてもよい。表示素子51は、液晶、OLED(Organic Light Emitting Diode)、または中間スクリーンであってもよい。コンバイナー522で反射された光は、運転者の瞳910に導かれ、虚像fとして認識される。虚像投影光学系52は、ミラー521、コンバイナー522を含み、表示素子51に形成された像iを拡大し、虚像fに変換してコンバイナー522へ投影する。移動機構53は、ミラー521、または表示素子51を動かすことにより、運転者の座高に合わせた座高調整を行う。
HUD25bでの虚像は、荷物や荷棚、フォーク爪先を交互に見て作業する必要があるので、虚像距離の設定としては、フォーク爪先、荷棚、荷物が見やすい、ディスプレイより50cmから20mの間である事が望ましい。運転席に座った運転者の瞳910に導かれる表示素子51からの表示光により、運転者は、あたかもフォークリフトの車体前方にあるような表示像として、虚像fを観察することができる。この観察する虚像fまでの距離が虚像距離であり、図17では瞳910と虚像fまでの距離に相当する。視認すべき実体物までの距離と虚像距離が近い事により、眼の焦点距離を殆ど変える事なく、実体物と虚像を見る事ができるので、虚像上の情報が目の焦点変更を必要なく理解できる為、認識時間短縮が出来る。また、目への負担が減ることにより疲労度軽減が出来る。この虚像距離の設定は、フォークリフト10のサイズまたはフォーク15先端と運転席の距離に応じて行われることが好ましい。例えば1.5トン程度の小型のフォークリフトの場合、爪先から視点を外さないで、虚像も観察できるために、投影距離の設定は、1mから3mの範囲内が望ましい。
なお、HUDは、虚像投影距離を変更可能な構成としてもよい。例えば、表示素子51を光軸AX方向の位置を変更する移動機構、またはミラー521を移動する移動機構を設け、これにより、虚像fまでの投影距離を変更してもよい。例えば、荷物92またはパレット差込口91aまでの距離に応じて投影距離を変更する。さらに、他の形態として、中間スクリーンを設け、中間スクリーンの光軸方向の位置を変更することで、投影距離を変更するように構成してもよい。この中間スクリーンは、その表面に表示素子の表示面に形成した画像を投影する部材であり、摺りガラス等の拡散機能を有する部材であり、表示素子51とミラー521との間に配置する。
また、さらに、HUDを3D-HUDの構成として、前方の荷物、荷棚、作業者等の実態物(オブジェクト)までの距離に対応させた虚像距離で、虚像を3次元的に表示するようにしてもよい。例えば、数十Hzの周期で、移動機構により象面(表示素子51やミラー521)を移動することで虚像距離を変更し、表示制御部が象面の移動タイミングに合わせて表示素子に形成する像を制御する。これにより運転者には、複数の異なる虚像距離の虚像が同時に表示されているように見える。
(第5の変形例)
図18は、第5の変形例における、1本のさやフォーク19の先端部に、第1カメラ、第2カメラ21、22を取り付けた状態を示す模式図である。第5の変形例は、第2の変形例と同様にさやフォーク19を用いたものであり、さらに衝突時の衝撃緩和を考慮した構成としている。
図18は、フォーク15の先端側に装着したさやフォーク19を示す側面断面図である。さやフォーク19は、本体部191、蓋部192、透明板193、衝撃緩和部材194、および熱伝導部材195を有する。
基板ユニット40は、アルミプレート41、ならびにこのアルミプレート41上に配置した第1、第2カメラ21、22、カメラ基板42、およびIMU(Inertial Measurement Unit)基板43を有する。カメラ基板42には、処理部23の一部、または全部の機能が配置される。また、IMU基板43は、上述の位置検知センサー27に対応する。蓋部192がボルト90等により、本体部191に固定されることで、基板ユニット40は、本体部191の空間内部に収納される。
本体部191、蓋部192は、鋼材で構成される。透明板193は、光を透過する部材で、例えばポリカーボネートで構成され、第1、第2カメラ21、22は、この透明板193を通じて、外部を撮影する。衝撃緩和部材194はシリコンゴム等の弾性体、またはゲル化素材で構成される。
熱伝導部材195は、可撓性で、高熱伝導性のアルミニウム、銅、カーボンなどの熱伝導率の高い材料、またはヒートパイプで構成された部材であり、アルミプレート41と本体部191に貼り付けられ、アルミプレート41、熱伝導部材195を介して、熱を本体部191に伝え、基板ユニット40の各電子部品から発生した熱を放熱する。熱伝導部材195としては、例えば、カーボン基材のグラファイトシート(または熱伝導シート)を用いてもよく、フレキシブルなヒートパイプを用いてもよい。
衝撃緩和部材194は、蓋部192の内側表面上に貼り付けられており、その端部は、本体部191にも接触している。この衝撃緩和部材194により、カメラ、および検知センサーを構成する電子部品が、衝撃緩和部材194を介して間接的に本体部191とつながる。具体的には、図18の例では、基板ユニット40全体が衝撃緩和部材194により覆われており、さやフォーク19へ物体が衝突することによる衝撃は緩和されて、基板ユニット40の各電子部品に伝わる。
このように、第5の変形例では、衝撃緩和部材194により、カメラおよび検知センサーが保護されている。これにより、さやフォークへの衝撃による、これらの構成部品に与える影響を緩和できる。また、さらに、可撓性のフレキシブルな熱伝導部材195を用いることで、電子部品への振動や衝撃を緩和するととともに、電子部品からの排熱を行える。
なお、第5の変形例は、さやフォーク19に衝撃緩和および放熱用の部材を適用した例を説明したが、これに限られず、図16に示した構成を、図3から図5等に示したフォーク15に適用してもよい。また、上述の第1の実施形態等の各実施形態に適用してもよい。
(第4の実施形態)
(画像表示処理)
図19は、第4の実施形態に係る画像処理装置20が行う表示処理を示すフローチャートである。以下、図19を参照し、表示処理について説明する。
(ステップS101)
画像処理装置20の処理部23(画像取得部301)は、最初に、第1、第2のカメラ21、22を制御し、所定のフレームレートで撮影された映像を取得する。
(ステップS102)
次に、処理部23は、それぞれのカメラ21、22から取得した対応する2枚の画像を処理することより、距離マップを取得する。この処理は、上述の前処理部302、特徴点抽出部303、および距離マップ生成部304により行われる。すなわち、取得した画像に対して、前処理を行った後、基線長を用いて、2枚の画像の特徴点の対応関係により、各画素の距離値を算出して、距離マップを生成する。
(ステップS103)
続いて、処理部23は、生成した距離マップを用いて、ステップS101で取得した2次元の映像に対して、視点変換処理を施す。この処理は、物体位置判定部305、対応付け部307、および視点変換部308により行われる。すなわち、前方にある物体の3次元空間での位置を判定し、判定した物体それぞれを、2次元の映像の各画素に対して対応付けをする。そして、運転台12に座る運転者の視点位置等に対応した、予め指定された仮想視点位置から見た時の角度、方向に対して、各画素点の間隔や位置を座標変換することで、画像の視点変換処理を行う。
(ステップS104)
処理部23は、付加画像を作成する。具体的には、付加画像生成部306は、フォークリフト10の前方にある物体と、フォーク15、16の先端との距離に応じた付加画像を生成する。また、処理部23は、接近予測を行う。すなわち、フォーク15等が物体に近づき過ぎて物体までの距離が所定値以下となった場合には発報条件を満たすと判断する。
(ステップS105)
処理部23は、ステップS104で生成した付加画像を、ステップS103で視点変換処理した画像に付加(重畳)させる加工処理を行う。具体的には、画像合成部309は、付加画像を物体の位置に対応させた表示位置で重畳させた合成画像を生成する。なお、ステップS103による視点変換処理を省略し、ステップS104による加工処理のみにより、映像に対して加工処理してもよい。
(ステップS106)
処理部23の画像出力部310は、ステップS105で生成した合成画像をリアルタイムにディスプレイ25に出力して、運転者に表示する。例えば、ステップS106において、図10に示したような画面250をディスプレイ25に表示する。また、ステップS104で接近予測として、発報条件を満たすと判断した場合には、処理部23は、ディスプレイ25周辺に設けられたスピーカーにより警告音を出力したり、所定の警告表示をディスプレイに表示したりする発報処理を行う。なお、人が所定範囲内に近づき接近予測をした場合には、発報処理として、ディスプレイ25の脇に取り付けられたスピーカーから警告音が鳴る。また、このとき付加画像407は、警告を示すために、色を変更したり、点滅させたりしてもよい。
また、フォーク15、16先端からの最短距離に関する情報を出力するようにしてもよい。この情報としては、例えば、前方映像に最短距離の距離値を重畳させたり、音声で距離情報を出力したり、所定値以下の危険な距離になった時に、フォークリフト10に設けた警告ランプ(図示せず)で光を点滅させたりする。また、パレット91だけの位置でなく、パレット91の上下左右の空間情報(その中でのパレット91の位置)を必要とするので、一点だけの距離情報ではなく、ある程度の広さをもつ範囲(カメラ撮影範囲)の距離情報を表示するようにしてもよい。具体的には、例えば付加画像402の上下左右に(画角における)所定間隔で配置した格子状の複数のポイントに対する距離情報を表示する。また、その中でパレット91への相対的な位置として、YZ平面における距離を表示する。
このように、第4の実施形態においては、フォーク15に設けた1対のカメラ21、22を用い、カメラ21、22の撮像素子により取得した映像に基づいて、フォークリフト10の前方の物体までの距離を測距し、距離値の分布を示す測距点群データを取得し、カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行い、処理後の映像をディスプレイに表示する。このように距離値の画像を付加する加工処理することで、前方の風景が距離として把握できるので、単に映像を見るより安全に作業を行うことができる。また、運転者は、フォーク15、16上への荷積みにより前方が見えにくい場合であってもディスプレイ25に表示した画面により容易に前方の状況を確認できる。また、視点変換処理した映像をディスプレイ25に表示することで、運転者は、フォーク15、16上への荷積みにより前方が見えにくい場合であっても、視点変換処理した加工後の映像によって、より容易に前方を確認できる。
(表示変形例)
図20は、ディスプレイ25に表示した画面251の変形例である。変形例では俯瞰画像を追加しており、画面251は、正面視の正面画像2501と俯瞰画像2502から構成される。正面画像2501は、図10の画面250と同じであり、これを縮小表示したものである。俯瞰画像2502は、付加画像生成部306が、物体までの距離値に応じて真上視点(上方視点)の俯瞰画像を生成し、これを正面画像2501に並べて表示したものである。俯瞰画像2502は、距離を示す付加画像409、およびフォーク15、16に対応するイラスト画像である付加画像410が表示されている。通常は、フォークリフト10に面する物体の前面側、あるいは前面側、側面、上面の距離値が得られるが、物体の背面側に関しては、何ら距離値の情報が得られない。そのため、背面側については表示データがない。しかしながら、フォークリフト10の運転に関しては、背面側の距離値は分からなくても、正面側の距離値が判別できれば十分である。なお、背面側に対しては、図20の例に示すように記憶部24に記憶している距離マップを参照することで、死角領域に存在する物体の輪郭を生成し、重畳するようにしてもよい。図20の破線は、死角領域の物体(トラック、作業者)の輪郭を示している。このように、俯瞰画像2502を表示することで運転者は、周囲の状況をより正しく把握することができ、より安全にフォークリフトを運転できる。
(死角領域の処理)
次に、図21(a)~図21(d)を参照し、死角領域の処理について説明する。図21(a)は、カメラ21、22により撮影した画像(元画像)であり、図21(b)は図21(a)の画像に対して、説明のために、画像内の各物体に符号を付与した模式図である。物体971から975は直方体の物体であり、物体971が最もカメラ21、22に近く、以下、物体972、973、974、975の順に遠く位置に配置されている。
図21(c)は、視点変換部308により、図21(a)の元画像に対して、カメラ21、22よりも高い位置を仮想視点位置とする視点変換を行った画像である。物体の背面側は、カメラ21、22で撮影することができない死角領域である。そのため、上方への視点変換においては、物体の背面側は、画素情報が欠損(Null)した状態となる。図21(d)は、図21(c)の画像に対して、説明のために、符号を付与した模式図である。図21(d)では、死角領域b1からb3が各物体の背面側に発生している。死角領域b1からb3に対しては、それぞれ黒画素を割り当ててもよいが、見易さのために以下のような画素を割り当ててもよい。
例えば、(1)死角領域を形成される物体の上方で、かつ、この物体よりも遠い距離にある物体の表面のテクスチャー、すなわち表面を構成する画素の色、模様を、死角領域に割り当てる。このようにすることで、死角領域が生じたしたとしても、遠い側の物体の表面に溶け込むので、表示での違和感を緩和できる。あるいは(2)記憶部24に記憶している3次元距離マップにおける物体の輪郭情報を用いて、死角領域に対して、死角領域に存在する物体の輪郭を生成し、画像に重畳させる。このようにしても表示での死角領域による違和感を緩和できる。
(第6の変形例)
図22は、第6の変形例に係る、ハードウェア構成および処理部の機能構成を示すブロック図である。
第6の変形例においては、第1の実施形態の構成に対して、さらにフォーク15に設けられた2台のカメラ21、22の姿勢情報を取得する位置検知センサー26を備える。また、建物または設備に設置された外部の測距センサー80(図8参照)が取得した測距点群データによる測距マップが、記憶部24に蓄積されている。ここで、姿勢情報には、地面に対する傾斜角度、高さ、または、フォークリフト10の本体11に対する高さ、両フォーク15、16間の開き角度、間隔の情報が含まれる。
例えば、位置検知センサー26は、フォーク15の地面に対する傾斜角度(チルト)を検知するセンサーである。また、位置検知センサー26は、フォーク15のマスト13に対する高さ、すなわち、地面に対する高さを検知するセンサーである。これらのセンサーは、例えばアクチュエータと光学素子から構成される。また、両フォーク15、16の開き角度、および間隔を検知するセンサーを含めてもよい。これらのセンサーは、フォークリフト10に設けられたモーターに設けられたエンコーダーである。位置検知センサー26によりこれらのセンサーにより本体11に対するフォーク15に設けられたカメラ21、22の相対的な位置を検出できる。また、位置検知センサー26は、加速度センサーやジャイロセンサーであってもよい。加速度センサーやジャイロセンサーにより、角速度情報や旋回角度速度情報を取得でき、これらによりフォーク15に設けられたカメラ21、22の本体11、または周囲に対する相対的な位置を把握できる。なお、ここでいう相対的な位置には、フォーク15(カメラ21、22)の角度(水平または傾斜)、水平面の把握が含まれる。
このような第6の変形例においても第1の実施形態等と同様の効果が得られるとともに、さらに、位置検知センサー26を備えることで、付加画像を重畳したり、視点変換したりする処理部23の処理負荷を低減させることができる。また、外部の測距センサー80から得られた測距マップを記憶部24に蓄積することで、フォークリフト10の前方の物体へ測距を行う場合に、測距精度をより向上させることができる。また、この測距マップを用いることで、カメラ21、22で撮影することができない、物体の背面側の輪郭等の形状情報を得ることができる。
(第7の変形例)
図23は、第7の変形例における、ディスプレイに表示した近接用画面の例である。上述の図19のステップS104では、物体までの距離が所定値以下となった場合に発報条件を満たすと判断し、警告表示等の発報処理を行っていた。第7の変形例においては、処理部23はフォーク15の先端から物体までの距離が所定距離以下、例えば2m以下になった場合には、発報処理に替えて、図23に示すような近接用画面252を生成し、ディスプレイの表示をこの近接用画面252に切り替える。図23に示す近接用画面252は、荷物92を載せたパレット91の差し込み口にフォーク15の先端を挿入する直前の状態を示している。
この近接用画面252では、それまでに表示していた図10の画面250と異なり、フォーク15に近接する物体を表示するとともに、この物体に対するフォーク15先端の仮想位置を示す付加画像を追加する。具体的には、近接用画面252では、付加画像403、404、405の距離梯子は無くなり、その代わりにフォーク15の仮想先端を示す付加画像411を表示する。パレット91にフォーク15が近接した時には、前方物体までの距離よりもパレット91の差し込み口91aとフォーク15先端の位置関係が最大の関心事になる。そのため、近接用画面252に切り替えることは有効である。図23に示す近接用画面252の例では、差し込み口91aの中央よりもやや左側にフォーク15先端が位置していることを示しており、運転者は、少し右側にフォーク15先端をシフトさせることで、差し込み口91aの中央にフォーク15を挿入することができる。なお、同図の例では、1本のフォーク15にのみカメラを搭載しているので、フォーク先端の仮想位置は1個のみ表示しているが、これに限られず2本のフォークそれぞれに対応させて2個の仮想位置を表示するようにしてもよい。このように、フォーク15の先端からの距離が所定値以下になった場合に、近接用画面252に切り替えることで、運転者は、フォーク15の先端が、パレット91の差し込み口91aに対してどのような位置にあるか容易に把握することができる。
(第8の変形例)
図24は、第8の変形例に係る画像処理装置のハードウェア構成、処理部の機能構成、およびHUDの構成を示すブロック図である。図25は、HUDに表示した荷物内容情報、空棚情報、荷役手順情報に関する虚像の例である。
第8の変形例は、ディスプレイとして、HUD25bを有する。このHUD25bは、図17に示したHUD25bと同様の構成であり、説明を省略する。また、第8の変形例における画像処理装置20は、ネットワークを介して外部の物流システム60と接続する。建物内の荷物の位置情報、荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報、等が記憶されている。
図25は、第8の変形例におけるHUDに表示した荷物内容情報、空棚情報、荷役手順情報に関する虚像の例である。運転者は、コンバイナー522越しに、実像(物体)である床、棚、荷物92、パレット91を直接見ることができる。また、コンバイナー522には、HUD25bにより虚像f11からf13が投影され、運転者は、所定の虚像距離で虚像を見ることができる。この虚像距離は、測定した実像までの距離に近い値に設定される。3次元的に虚像を表示する態様であれば、対象となる各実像までの距離に合わせて、それぞれ異なる虚像距離に設定してもよい。虚像f11は荷物内容(「製品番号」、「原材料」)であり、虚像f12は空棚情報(「原材料BB用スペース」)であり、虚像f13は荷役手順情報(「荷役順位」)である。これらの情報は、外部の物流システム60から、取得した情報である。なお、図25は、HUDにおける表示例であるが、これに限られず、第1の実施形態等で用いた液晶のディスプレイ25に適用してもよい。例えば、虚像f11~f13に対応する荷物内容情報、空棚情報、荷役手順情報に関する付加画像を、第1の実施形態等で用いた液晶のディスプレイ25に表示する映像に付加する。
このように、第8の変形例においては、ディスプレイとしてHUDを用いることで実体物と虚像を見る事ができるので、虚像上の情報が目の焦点変更を必要なく理解できる為、認識時間短縮が出来る。また、目への負担が減ることにより疲労度軽減が出来る。また、付加情報として、荷物内容情報、空棚情報、荷役手順情報を用い、これを虚像として投影することで、運転者は、作業に戸惑うことなく、より安全、かつ、スムーズに荷役作業を行える。
以上に説明したフォークリフト用の画像処理装置20の構成は、上記の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上記の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な画像処理装置が備える構成を排除するものではない。
例えば、本実施形態においては、ディスプレイ25はフォークリフト10に取り付けられたものを用いたが、これに限られない。ディスプレイ25とともに、またはこれに代えて、フォークリフトが使用する作業空間に設けられた管理事務所に、ディスプレイを設け、処理部23が無線等により伝送した映像信号をこのディスプレイに表示させるようにしてもよい。このようにすることで、管理事務所において作業状況を監督したり、作業記録を残す操作を行ったりすることができる。
上述した実施形態に係る画像処理装置における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、たとえば、USBメモリやDVD(Digital Versatile Disc)-ROM等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、画像処理装置の一機能としてその装置のソフトウエアに組み込まれてもよい。
本出願は、2018年2月23日に出願された日本特許出願(特願2018-030793号)、および2018年3月8日に出願された日本特許出願(特願2018-42292号)に基づいており、その開示内容は、参照され、全体として組み入れられている。
10 フォークリフト
11 本体
12 運転台
13 マスト
14 フィンガバー
15、16 フォーク
19 さやフォーク
191 本体部
192 蓋部
193 透明板
194 衝撃緩和材
195 熱伝導部材
20 画像処理装置
21、22 カメラ
23 処理部
301 画像取得部
302 前処理部
303 特徴点抽出部
304 距離マップ生成部
305 物体位置判定部
306 付加画像生成部
307 対応付け部
308 視点変換部
309 画像合成部
310 画像出力部
24 記憶部
25 ディスプレイ
40 基板ユニット
41 アルミプレート
42 カメラ基板
43 IMU基板
25b HUD
51 表示素子
52 虚像投影光学系
522 コンバイナー
53 移動機構
91 パレット
401~407、409~411 付加画像

Claims (38)

  1. フォークリフトに用いられる画像処理装置であって、
    前記フォークリフトの前方側に昇降可能に支持された複数のフォークのうちの1本のフォークの先端部分に設けられ、前記フォークリフトの前方を撮影するカメラと、
    前記カメラが設けられた前記フォークの前記先端部分に設けられ、前記フォークリフトの前方にある物体までの距離を検知するための検知センサーと、
    前記検知センサーの検知情報に基づいて、前記カメラが取得した映像を加工する処理部と、
    前記処理部が加工した加工後の映像を表示するディスプレイと、
    記憶部と、を備え、
    前記処理部は、前記カメラからの映像と、前記検知センサーの検知情報に基づいて、前記フォークリフトが動作する作業空間内の物体の位置、または形状を示す測距点群である距離マップを生成し、前記記憶部に蓄積する、画像処理装置。
  2. 1本の前記フォークに、第1の撮像素子および第2の撮像素子が、それぞれの撮影領域の少なくとも一部が重なるように設けられ、
    前記第1、第2の撮像素子の少なくとも一方が、前記カメラの一部として機能するとともに、前記1、第2の撮像素子の両方が前記検知センサーとして機能し、
    前記処理部は、前記第1、第2の撮像素子の双方から取得した映像に基づいて、前記フォークの前方にある物体までの距離を検出し、検出した距離に基づいて前記映像を加工する、請求項1に記載の画像処理装置。
  3. 前記フォークリフトの前方に向けて光を照射する、または、前記フォークリフトの前方に向けて2次元のパターン光を照射する投光器、
    を備え、
    前記投光器、および前記処理部は、前記検知センサーとしても機能し、前記処理部は、前記投光器による照射光、または前記パターン光を撮影した前記カメラからの映像に基づいて、前記フォークリフトの前方にある物体までの距離を検出し、検出した距離に基づいて前記映像を加工する、請求項1または請求項2に記載の画像処理装置。
  4. 前記検知センサーは、前記フォークリフトの前方にある物体までの距離を検知して複数点の測距点群データを取得する測距センサーである、請求項1に記載の画像処理装置。
  5. 前記フォークの先端のテーパー部であって、上面視において先端に向けて幅が徐々に狭くなり、および/または、側面視において下面が傾斜することで厚みが先端に向けて徐々に薄くなるテーパー部に、前記カメラと前記検知センサーが設けられている、請求項1から請求項4のいずれかに記載の画像処理装置。
  6. 第1の撮像素子および第2の撮像素子が1本の前記フォークに、それぞれの撮影領域の少なくとも一部を共通するように、前記フォークリフトの前方を撮影領域として設けられており、
    前記第1、第2の撮像素子の少なくとも一方が、前記カメラの一部として機能するとともに、前記1、第2の撮像素子の両方が前記検知センサーとして機能し、
    前記処理部は、前記第1、第2の撮像素子の双方から取得した映像に基づいて、前記フォークリフトの前方にある物体までの距離を検出し、
    前記フォークの先端のテーパー部であって、上面視において先端に向けて幅が徐々に狭くなり、かつ、側面視において下面が傾斜することで厚みが先端に向けて徐々に薄くなるテーパー部の左右両側のそれぞれに、前記第1、第2の撮像素子が配置されている、請求項1に記載の画像処理装置。
  7. 前記処理部は、前記検知センサー、または該検知センサーの検知情報と前記カメラからの映像に基づいて検出した物体までの距離のデータの一部を、前記記憶部に蓄積した前記距離マップで補正する、請求項1に記載の画像処理装置。
  8. さらに、前記フォークの位置状態を取得する位置検知センサーを含み、
    前記処理部は、前記位置検知センサーにより、前記カメラが設けられた前記フォークの位置状態を取得する、請求項1から請求項7のいずれかに記載の画像処理装置。
  9. 前記処理部は、前記加工した映像として、
    前記カメラによる取得した映像に対して、前方の物体までの距離に対応した付加情報を付加した映像を、前記ディスプレイに表示させる請求項1から請求項8のいずれかに記載の画像処理装置。
  10. 前記処理部は、前記加工した映像として、
    前記カメラによる取得した映像に対して視点変換した映像を前記ディスプレイに表示させる、請求項1から請求項9のいずれかに記載の画像処理装置。
  11. 前記カメラは、撮影画角の中央部分を用いて露出を行う、請求項1から請求項10のいずれかに記載の画像処理装置。
  12. 前記ディスプレイは、前記フォークリフトに取付けられたコンバイナーに虚像を投影するヘッドアップディスプレイである、請求項1から請求項11のいずれかに記載の画像処理装置。
  13. 前記コンバイナーは、前記フォークリフトの前方側を透過視できる位置に配置されており、
    前記ヘッドアップディスプレイは、虚像の投影距離が50cmから20mの範囲に設定されている、請求項12に記載の画像処理装置。
  14. 前記フォークの先端部分に設けられ前記カメラ、および前記検知センサーは、衝撃緩和部材を介して、前記フォークの本体部に取付けられている、請求項1から請求項13のいずれかに記載の画像処理装置。
  15. 前記カメラ、および前記検知センサーを構成する電子部品の少なくとも一部は、可撓性で高熱伝導性の材料で構成された熱伝導部材を介して、前記フォークの本体部に接続されている、請求項14に記載の画像処理装置。
  16. フォークリフトに用いられる画像処理装置であって、
    前記フォークリフトの前方を撮影するカメラと、
    前記フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、
    前記カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行う処理部と、
    前記処理部が加工処理した処理後の映像を表示するディスプレイと、
    記憶部と、を備え
    前記処理部は、前記加工処理として、さらに、前記測距点群データに基づいて、前記映像に対して視点変換処理を行う、および、前記検知センサーにより取得した測距点群データを用いて3次元距離マップを作成し、前記記憶部に記憶させる、画像処理装置。
  17. 前記カメラは、可視光領域に感度を有する撮像素子を含む、請求項16に記載の画像処理装置。
  18. 前記カメラは、前記フォークリフトの前方側に昇降可能に支持されたフォークに、前記前方を撮影するように設置されている、請求項16または請求項17に記載の画像処理装置。
  19. 前記カメラは、撮影画角の中央部分を用いて露出を行う、請求項18に記載の画像処理装置。
  20. さらに、前記カメラの姿勢情報を取得する位置検知センサーを備え、
    前記処理部は、前記位置検知センサーから取得した前記姿勢情報を用いて、前記視点変換処理を行う、請求項16に記載の画像処理装置。
  21. 前記記憶部に記憶された前記3次元距離マップは、前記フォークリフトが使用される建物もしくは設備に関する図面データ、前記建物に設置されたセンサーから得られた測距点群データ、他の車両の位置情報、および/または前記建物で用いられる物流情報システムから取得した荷物の位置情報が反映されている、請求項16に記載の画像処理装置。
  22. 前記3次元距離マップには、前記建物もしくは設備に関する、床面、壁面、窓、または照明装置の位置情報が含まれている、請求項21に記載の画像処理装置。
  23. 前記視点変換処理は、前記フォークリフトの運転台に座る運転者の視点位置を仮想視点位置とする視点変換処理、前記運転者の視点位置よりも高い位置を仮想視点位置とする視点変換処理、または、前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理である、請求項16から請求項22のいずれかに記載の画像処理装置。
  24. 前記運転者の視点位置を仮想視点位置とする前記視点変換処理は、前記カメラの地面に対する角度、もしくは高さに応じた台形補正による視点変換処理、または、前記測距点群データ、もしくは記憶部に記憶した3次元距離マップを用いた視点変換処理である、請求項23に記載の画像処理装置。
  25. 前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理は、前記測距点群データまたは記憶部に記憶した3次元距離マップを用いた視点変換処理である、請求項23に記載の画像処理装置。
  26. 前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理、または前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理では、前記カメラの死角領域に関しては、前記カメラの画角において、前記死角領域が形成される物体の上方で、かつ、該物体よりも遠い距離にある物体の表面のテクスチャーを、前記死角領域に配置する、請求項23または請求項25に記載の画像処理装置。
  27. 前記運転者の視点位置よりも高い位置を仮想視点位置とする前記視点変換処理、または前記フォークリフトから離れた位置を仮想視点位置とする視点変換処理では、前記カメラの死角領域に関しては、記憶部に記憶した3次元距離マップにおける物体の輪郭情報を用いて、前記死角領域に対して、前記死角領域に存在する前記物体の輪郭を重畳させる、請求項23または請求項25に記載の画像処理装置。
  28. 前記視点変換処理は、物体までの距離に応じて、視点変換処理の有無、または強度を変更する、請求項16から請求項27のいずれかに記載の画像処理装置。
  29. 前記ディスプレイは、前記フォークリフトの前方を透過視できるように前記フォークリフトに取り付けられた、透明スクリーン、またはヘッドアップディスプレイであり、
    前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、認識した前記物体それぞれまでの距離、および/または方向に対応する付加画像を生成し、生成した前記付加画像を前記物体それぞれに重畳させる態様で、前記透明スクリーン、または前記ヘッドアップディスプレイに表示させる、請求項16から請求項19のいずれかに記載の画像処理装置。
  30. 前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記加工処理として、前記映像に、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を生成し、前記映像に付加する、請求項16から請求項29のいずれかに記載の画像処理装置。
  31. 前記処理部は、前記物体としてパレットを認識した場合に、前記パレットの差し込み口の形状により、前記パレットに対する傾きを判定し、判定した前記パレットの水平面の傾き量に応じた前記付加画像を生成する、請求項30に記載の画像処理装置。
  32. 前記処理部が生成する前記付加画像には、前記フォークリフトが使用される建物で用いられる物流情報システムから取得した荷物の内容情報、棚の空き状況を示す空棚情報、荷役する手順を示す荷役手順情報の少なくとも一つが含まれる、請求項29から請求項31のいずれかに記載の画像処理装置。
  33. 前記処理部は、前記物体までの距離に応じて上方視点の俯瞰画像を生成し、生成した俯瞰画像を追加して前記ディスプレイに表示する、請求項16から請求項32のいずれかに記載の画像処理装置。
  34. 前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記フォークリフト、もしくは前記フォークリフトのフォーク先端からの距離が所定値以下になった場合に、警告を発する、または前記ディスプレイの表示を近接用画面に切り替える、請求項16から請求項33のいずれかに記載の画像処理装置。
  35. 前記処理部は、前記フォークリフトの前方にある物体を認識するとともに、前記距離値の画像において認識した前記物体のフォーク先端からの最短距離に関する情報を出力する、請求項16から請求項34のいずれかに記載の画像処理装置。
  36. フォークリフトに用いられる画像処理装置であって、前記フォークリフトの前方を撮影するカメラと、前記フォークリフトの前方にある物体までの距離を測距し、距離値の分布を示す測距点群データを取得するための検知センサーと、記憶部と、を備える画像処理装置を制御するコンピューターで実行される制御プログラムであって、
    前記カメラにより映像を取得するステップ(a)と、
    前記検知センサーで測距点群データを取得するステップ(b)と、
    前記カメラが取得した映像に対して、取得した測距点群データに基づく距離値の画像を付加する加工処理を行うステップ(c)と、
    処理後の映像をディスプレイに表示するステップ(d)と、
    前記カメラからの映像と、前記検知センサーの検知情報に基づいて、前記フォークリフトが動作する作業空間内の物体の位置、または形状を示す測距点群である距離マップを生成し、前記記憶部に蓄積するステップ(e)と、
    を含む処理を、前記コンピューターに実行させるための制御プログラム。
  37. 前記ステップ(c)では、前記加工処理として、さらに、前記測距点群データに基づいて、前記映像に対して視点変換処理を行う、請求項36に記載の制御プログラム。
  38. 前記処理は、さらに、
    前記フォークリフトの前方にある物体を認識するステップ(f)を含み、
    前記ステップ(c)では、前記加工処理として、前記映像に、認識した前記物体の種類、または前記物体までの距離、位置に対応した付加画像を生成し、前記映像に付加する、請求項36または請求項37に記載の制御プログラム。
JP2020502093A 2018-02-23 2019-01-23 フォークリフト用の画像処理装置、および制御プログラム Active JP7259835B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018030793 2018-02-23
JP2018030793 2018-02-23
JP2018042292 2018-03-08
JP2018042292 2018-03-08
PCT/JP2019/002062 WO2019163378A1 (ja) 2018-02-23 2019-01-23 フォークリフト用の画像処理装置、および制御プログラム

Publications (3)

Publication Number Publication Date
JPWO2019163378A1 JPWO2019163378A1 (ja) 2021-03-04
JPWO2019163378A5 JPWO2019163378A5 (ja) 2022-01-25
JP7259835B2 true JP7259835B2 (ja) 2023-04-18

Family

ID=67686835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020502093A Active JP7259835B2 (ja) 2018-02-23 2019-01-23 フォークリフト用の画像処理装置、および制御プログラム

Country Status (2)

Country Link
JP (1) JP7259835B2 (ja)
WO (1) WO2019163378A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7272197B2 (ja) * 2019-09-13 2023-05-12 株式会社豊田自動織機 位置姿勢推定装置
CN110733424B (zh) * 2019-10-18 2022-03-15 深圳市麦道微电子技术有限公司 一种行车视频系统中地面位置与车身水平距离的计算方法
JP7085576B2 (ja) * 2020-02-27 2022-06-16 三菱ロジスネクスト株式会社 移動制御システム、移動体、制御方法及びプログラム
KR102606604B1 (ko) * 2020-07-20 2023-11-27 세메스 주식회사 가스 실린더 이송 장치 및 이를 포함하는 가스 실린더 물류 시스템
CN113280855B (zh) * 2021-04-30 2022-07-26 中国船舶重工集团公司第七一三研究所 一种多源传感货叉智能感知系统及方法
JP2024090081A (ja) * 2022-12-22 2024-07-04 三菱ロジスネクスト株式会社 視界補助システム、産業車両、視界補助方法及びプログラム
CN115848878B (zh) * 2023-02-28 2023-05-26 云南烟叶复烤有限责任公司 一种基于agv的烟框识别与堆叠方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002087793A (ja) 2000-09-07 2002-03-27 Toshiba Fa Syst Eng Corp パレット積載装置
JP2003246597A (ja) 2002-02-20 2003-09-02 Fujitsu General Ltd フォークリフト用カメラシステム
JP2007084162A (ja) 2005-09-20 2007-04-05 Toyota Industries Corp フォークリフトにおける荷役作業支援装置
JP2009111946A (ja) 2007-11-01 2009-05-21 Alpine Electronics Inc 車両周囲画像提供装置
JP2011195334A (ja) 2010-09-03 2011-10-06 Shinmei Ind Co Ltd フォークリフトの安全装置
JP2013086959A (ja) 2011-10-21 2013-05-13 Sumitomo Heavy Ind Ltd フォークリフトのフォーク位置決め支援装置および方法
JP2016210586A (ja) 2015-05-12 2016-12-15 株式会社豊田中央研究所 フォークリフト
WO2017090568A1 (ja) 2015-11-26 2017-06-01 京セラ株式会社 表示装置、移動体、および光源装置
JP2017174197A (ja) 2016-03-24 2017-09-28 日産自動車株式会社 立体物検出方法及び立体物検出装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09309696A (ja) * 1996-05-21 1997-12-02 Toyo Umpanki Co Ltd フォークリフト
JP2003063793A (ja) * 2001-08-30 2003-03-05 Nippon Yusoki Co Ltd フォークの接触検知センサ
JP2006096457A (ja) * 2004-09-28 2006-04-13 Toyota Industries Corp フォークリフトの作業支援装置
US8396653B2 (en) * 2010-02-12 2013-03-12 Robert Bosch Gmbh Dynamic range display for automotive rear-view and parking systems
JP5529943B2 (ja) * 2012-09-21 2014-06-25 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6505470B2 (ja) * 2015-02-27 2019-04-24 株式会社デンソー ノイズ除去方法および物体認識装置
JP6813268B2 (ja) * 2016-02-16 2021-01-13 株式会社小松製作所 作業車両
JP6721998B2 (ja) * 2016-02-23 2020-07-15 村田機械株式会社 物体状態特定方法、物体状態特定装置、および、搬送車
JP3205015U (ja) * 2016-04-18 2016-06-30 株式会社豊田自動織機 有人無人兼用フォークリフト

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002087793A (ja) 2000-09-07 2002-03-27 Toshiba Fa Syst Eng Corp パレット積載装置
JP2003246597A (ja) 2002-02-20 2003-09-02 Fujitsu General Ltd フォークリフト用カメラシステム
JP2007084162A (ja) 2005-09-20 2007-04-05 Toyota Industries Corp フォークリフトにおける荷役作業支援装置
JP2009111946A (ja) 2007-11-01 2009-05-21 Alpine Electronics Inc 車両周囲画像提供装置
JP2011195334A (ja) 2010-09-03 2011-10-06 Shinmei Ind Co Ltd フォークリフトの安全装置
JP2013086959A (ja) 2011-10-21 2013-05-13 Sumitomo Heavy Ind Ltd フォークリフトのフォーク位置決め支援装置および方法
JP2016210586A (ja) 2015-05-12 2016-12-15 株式会社豊田中央研究所 フォークリフト
WO2017090568A1 (ja) 2015-11-26 2017-06-01 京セラ株式会社 表示装置、移動体、および光源装置
JP2017174197A (ja) 2016-03-24 2017-09-28 日産自動車株式会社 立体物検出方法及び立体物検出装置

Also Published As

Publication number Publication date
WO2019163378A1 (ja) 2019-08-29
JPWO2019163378A1 (ja) 2021-03-04

Similar Documents

Publication Publication Date Title
JP7259835B2 (ja) フォークリフト用の画像処理装置、および制御プログラム
JP2019156641A (ja) フォークリフト用の画像処理装置、および制御プログラム
JP6827073B2 (ja) 構造化光およびタイムオブフライトを用いた深度マッピング
US10915783B1 (en) Detecting and locating actors in scenes based on degraded or supersaturated depth data
US10401143B2 (en) Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
CN109069132B (zh) 用于辅助型3d扫描的系统和方法
CN110073659B (zh) 图像投影装置
US9563981B2 (en) Information processing apparatus, information processing method, and program
US20180061034A1 (en) Deformation Detection and Automatic Calibration for a Depth Imaging System
JP2024040313A (ja) 第1のカメラによって生成された第1の画像を第2のカメラによって生成された第2の画像に基づいて更新する方法及び処理システム
US20140307100A1 (en) Orthographic image capture system
US20150098623A1 (en) Image processing apparatus and method
KR20190028356A (ko) 범위-게이트 깊이 카메라 어셈블리
CN107076553B (zh) 使用结构光的增强对象检测
US20170061689A1 (en) System for improving operator visibility of machine surroundings
JPWO2019163378A5 (ja)
KR101523046B1 (ko) 영상처리기반의 거리 측정장치
JP2019142714A (ja) フォークリフト用の画像処理装置
JP5874252B2 (ja) 対象物との相対位置計測方法と装置
JP2014157051A (ja) 位置検出装置
JP2013024735A (ja) 移動体及び移動面検出システム
KR102536448B1 (ko) 지게차의 전방 충돌 위험 감지 모니터링 장치
JP4804202B2 (ja) ステレオ式監視装置
EP3929690A1 (en) A method and a system for analyzing a scene, room or venueby determining angles from imaging elements to visible navigation elements
JP2016185768A (ja) 車両用表示システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230320

R150 Certificate of patent or registration of utility model

Ref document number: 7259835

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150