WO2022202435A1

WO2022202435A1 - 積載率推定装置

Info

Publication number: WO2022202435A1
Application number: PCT/JP2022/011271
Authority: WO
Inventors: 真矢松下; 智啓下沢; 由佳水師
Original assignee: いすゞ自動車株式会社
Priority date: 2021-03-24
Filing date: 2022-03-14
Publication date: 2022-09-29
Also published as: US20240169738A1; CN117015798A; JP7259880B2; DE112022001684T5; JP2022148169A

Abstract

積載率の推定精度を向上させることができる積載率推定装置。積載率推定装置は、荷台の内部が撮影された第１画像、および、前記荷台の外部であって、前記荷台の出入口から所定距離以内の範囲が撮影された第２画像のうちの少なくとも一方を取得し、取得された画像において人および積み荷以外の物体を認識し、追跡することにより、前記荷台に前記人および前記積み荷以外の物体が存在するか否かを推測する認識部と、前記荷台に前記人および前記積み荷以外の物体が存在しない場合に、前記荷台を備えた車両の積載率を推定する推定部と、を有する。

Description

積載率推定装置

　本開示は、車両で用いられる積載率推定装置に関する。

　従来、荷台（例えば、荷室または平ボディ等）を備えた車両における積載率を推定する方法が知られている。例えば、特許文献１には、超音波センサにより計測された荷室内の荷量データに基づいて積載率を算出する方法が開示されている。

日本国特開２００４－２８４７２２号公報

　しかしながら、従来の方法では、人や積み荷以外の物体が荷台に存在する場合、それらが荷物と同様に処理されてしまい、積載率の推定精度が低下する、といった課題がある。

　本開示の一態様の目的は、積載率の推定精度を向上させることができる積載率推定装置を提供することである。

　本開示の一態様に係る積載率推定装置は、荷台の内部が撮影された第１画像、および、前記荷台の外部であって、前記荷台の出入口から所定距離以内の範囲が撮影された第２画像のうちの少なくとも一方を取得し、取得された画像において人および積み荷以外の物体を認識し、追跡することにより、前記荷台に前記人および前記積み荷以外の物体が存在するか否かを推測する認識部と、前記荷台に前記人および前記積み荷以外の物体が存在しない場合に、前記荷台を備えた車両の積載率を推定する推定部と、を有する。

　本開示によれば、積載率の推定精度を向上させることができる。

図１は、本開示の実施の形態に係る車両を模式的に示す側面図である。図２は、本開示の実施の形態に係る積載率推定装置の構成の一例を示すブロック図である。図３は、本開示の実施の形態に係る積載率推定装置の動作の一例を示すフローチャートである。

　以下、本開示の実施の形態について、図面を参照しながら説明する。

　まず、本実施の形態の車両Ｖについて、図１を用いて説明する。図１は、車両Ｖを模式的に示す側面図である。

　図１に示すように、車両Ｖは、キャブ１および荷室２を備えたトラックである。なお、車両Ｖは、トラックに限定されず、他の車種であってもよい。

　荷室２（荷台の一例）は、例えば箱型であり、その後方側面に、荷室２の出入口としての開口部（図示略。以下同様）を有する。その開口部を介して、荷物の積み込みや荷下ろしが行われる。

　荷室２の後方には、開口部の位置に対応するように、開閉自在な扉３が設けられている。扉３としては、例えば、開口部の左右の端部を軸に、開口部の中央から左右に回転して開く扉（いわゆる観音開きタイプの扉）が挙げられるが、これに限定されない。

　荷室２内の後方には、荷室内カメラ４が設けられている。

　荷室内カメラ４は、荷室２の内部全体を撮影する。荷室内カメラ４により撮影される画像を、以下、荷室内画像（第１画像の一例）という。

　荷室内カメラ４は、撮影された荷室内画像を、後述する積載率推定装置１００（図２参照）へ送信する。

　また、荷室内カメラ４は、深度センサ（図示略）と一体的に構成されている。深度センサは、それ自身から人や物体までの距離を二次元的に計測可能なセンサである。深度センサの検知結果は、後述する積載率推定装置１００（図２参照）へ出力される。なお、荷室内カメラ４と深度センサとは、別体であってもよい。

　荷室２外の後方には、後方カメラ５が設けられている。

　後方カメラ５は、車両Ｖの外部かつ後方（具体的には、開口部の外側付近）を撮影するカメラである。後方カメラ５により撮影される画像を、以下、第１開口部付近画像（第２画像の一例）という。

　例えば、後方カメラ５により撮影される範囲は、荷室２内を含まず、かつ、開口部（図１に示す扉３と言ってもよい）を基準として所定距離（例えば、数メートル）以内の範囲である。すなわち、第１開口部付近画像は、荷室２の外部であって、開口部から所定距離以内の範囲が撮影された画像である。

　後方カメラ５は、撮影された第１開口部付近画像を、後述する積載率推定装置１００（図２参照）へ送信する。

　なお、荷室内カメラ４および後方カメラ５それぞれの設置位置は、図１に示す位置に限定されない。

　また、図１では図示は省略するが、車両Ｖには、さらに、後述する積載率推定装置１００（図２参照）が搭載されている。

　図１では、車両ＶがバースＢの近傍に停車している状態を示している。バースＢとは、物流用施設（例えば、倉庫、配送センター等）に設けられた、荷室２における荷積みまたは荷下ろし等の作業に使用されるスペースである。

　図１に示すように、バースＢの上方（例えば、天井部分）には、監視カメラ６が設置されている。

　監視カメラ６は、バースＢの入口付近を撮影する。よって、例えば、図１に示すように、車両Ｖがその後方をバースＢの入口付近に近付けて停車した場合、監視カメラ６により、車両Ｖの外部かつ後方（具体的には、開口部の外側付近）が撮影される。監視カメラ６により撮影される画像を、以下、第２開口部付近画像（第２画像の一例）という。第２開口部付近画像は、第１開口部付近画像と同様に、荷室２の外部であって、開口部から所定距離以内の範囲が撮影された画像である。なお、第２開口部付近画像には、さらに、荷室２内の画像が含まれてもよい（この場合、第２開口部付近画像は、第１画像の一例であり、かつ、第２画像の一例であると言える）。

　監視カメラ６は、撮影された第２開口部付近画像を、後述する積載率推定装置１００（図２参照）へ送信する。

　なお、監視カメラ６が無線通信機能を備えている場合、監視カメラ６は、直接、第２開口部付近画像を積載率推定装置１００へ無線送信してもよい。監視カメラ６が無線通信機能を備えていない場合、監視カメラ６は、バースＢに設置された無線通信装置（図示略）へ第２開口部付近画像を有線送信し、その無線通信装置が第２開口部付近画像を積載率推定装置１００へ無線送信してもよい。

　以上、車両Ｖについて説明した。

　次に、本実施の形態の積載率推定装置１００について、図２を用いて説明する。図２は、積載率推定装置１００の構成例を示すブロック図である。

　上述したとおり、図２に示す積載率推定装置１００は、図１に示した車両Ｖに搭載される。

　図示は省略するが、積載率推定装置１００は、それぞれ、ハードウェアとして、例えば、ＣＰＵ（Central Processing Unit）、コンピュータプログラムを格納したＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有する。以下に説明する各装置の機能は、ＣＰＵがＲＯＭから読み出したコンピュータプログラムをＲＡＭにて実行することにより実現される。例えば、積載率推定装置１００は、ＥＣＵ（Electronic Control Unit）で実現されてもよい。

　図２に示すように、積載率推定装置１００は、認識部１１０および推定部１２０を有する。

　認識部１１０は、荷室内カメラ４から荷室内画像を取得し、後方カメラ５から第１開口部付近画像を取得し、監視カメラ６から第２開口部付近画像を取得する。荷室内画像、第１開口部付近画像、および第２開口部付近画像（以下、まとめて「各画像」ともいう）は、例えば、リアルタイムに撮影される動画像である。

　そして、認識部１１０は、各画像において、人および積み荷以外の物体を認識し、それらを追跡し、荷室２内に人および積荷以外の物体が存在するか否かを推測する。

　ここでいう人とは、例えば、荷室２において荷積みまたは荷下ろし等の作業を行う作業者である。また、ここでいう積み荷以外の物体（以下、単に物体ともいう）とは、上記作業の際に作業者によって使用される作業用具（例えば、台車、脚立、ローラーコンベア等）である。

　認識部１１０で行われる人および物体を認識し、追跡する方法は、公知の技術を適用できる。公知の技術としては、例えば、ディープラーニングなどによる画像上の認識技術（例えば、特開２０２０－６８００８号公報、特開２０２０－２０４８０４号公報等参照）や、画像上の追跡技術（例えば、特開２０１２－１０８７９８号公報、特開２０２０－９１６６４号公報等参照）が挙げられるが、これに限定されない。

　推定部１２０は、認識部１１０により荷室２内に人および積荷以外の物体が存在しないと推測された場合、深度センサの検知結果に基づいて、車両Ｖの積載率の推定を行う。積載率とは、車両Ｖの最大積載体積に対する、荷室２内に配置された積み荷の体積の割合である。

　推定部１２０で行われる積載率の推定方法は、公知の技術を適用できる。公知の技術としては、例えば、特開２００３－３５５２７号公報、＜URL：https://creanovo.de/portfolio/wabco-cargocam/＞、＜URL：https://www.ncos.co.jp/news/news_210113.html＞等に開示された方法が挙げられるが、それらに限定されない。

　なお、推定部１２０は、推定された積載率を示す情報を、図示しない所定の装置へ出力（送信）してもよい。所定の装置としては、キャブ１内に搭載された報知装置（例えば、ディスプレイ、スピーカ等）や、車両Ｖの外部に設置されたコンピュータ（例えば、ネットワーク上のサーバ装置等）が挙げられる。

　以上、積載率推定装置１００の構成について説明した。

　次に、積載率推定装置１００の動作について、図３を用いて説明する。図３は、積載率推定装置１００の動作例を示すフローチャートである。図３に示すフローは、例えば、車両Ｖが停車した時に開始されてもよいし、または、車両Ｖが停車し、かつ、扉３が開状態となった時に開始されてもよい。

　まず、認識部１１０は、荷室内画像、第１開口部付近画像、および第２開口部付近画像を取得する（ステップＳ１）。

　次に、認識部１１０は、各画像において、人および積み荷以外の物体の認識および追跡を開始する（ステップＳ２）。これにより、認識部１１０は、荷室２内に人および積み荷以外の物体が存在するか否かを推測する（ステップＳ３）。

　上述した認識、追跡、および推測は、荷室２内に人および積み荷以外の物体が存在する場合（ステップＳ３：ＹＥＳ）、繰り返される。

　認識部１１０により荷室２内に人および積み荷以外の物体が存在しないと推測された場合（ステップＳ３：ＮＯ）、推定部１２０は、積載率の推定を実行する（ステップＳ４）。

　以上、積載率推定装置１００の動作について説明した。

　ここまで詳述したように、本実施の形態の積載率推定装置１００は、荷室内画像、第１開口部付近画像、および第２開口部付近画像に基づいて、荷室２内に人および積み荷以外の物体が存在しないと推定された場合に、車両Ｖの積載率の推定を行うことを特徴とする。

　よって、本実施の形態の積載率推定装置１００は、積載率の推定精度を向上させることができる。

　なお、本開示は、上記実施の形態の説明に限定されず、その趣旨を逸脱しない範囲において種々の変形が可能である。以下、変形例について説明する。

　［変形例１］
　実施の形態では、荷室２の扉３が荷室２の後方（背面と言ってもよい）に設けられる場合を例に挙げて説明したが、これに限定されない。

　例えば、荷室２の開口部および扉３は、荷室２の側方（具体的には、左側面および右側面の少なくとも一方）に設けられてもよい。その場合、後方カメラ５の代わりに、例えば、車両Ｖの外部かつ側方（具体的には、開口部の外側付近）を撮影するカメラを用いればよい。

　［変形例２］
　実施の形態では、車両Ｖが、荷台として荷室２を備える場合を例に挙げて説明したが、これに限定されない。

　車両Ｖは、荷室２の代わりに、平ボディ（荷台の一例）を備える車両であってもよい。この場合、荷室内カメラ４の代わりに、例えば、キャブ１（例えば、キャブ１の外部かつ後方）に設けられ、平ボディ上全体を撮影するカメラを用いればよい。また、この場合、後方カメラ５の代わりに、平ボディに設けられ、平ボディの外部であって、平ボディの出入口から所定距離の範囲を撮影するカメラを用いればよい。

　［変形例３］
　実施の形態では、３種類の撮影画像（例えば、荷室内画像、第１開口部付近画像、第２開口部付近画像）を用いる場合を例に挙げて説明したが、これに限定されず、３種類の撮影画像のうち少なくとも１種類の撮影画像だけを用いてもよい。

　まず、荷室内画像のみを用いる場合について説明する。

　この場合、推定部１２０は、荷室内画像において人および物体が認識されなくなった時点で、積載率の推定を実行する。

　次に、第１開口部付近画像のみを用いる場合について説明する。

　ここでは、第１開口部付近画像において、最初に、開口部の外側付近で１名の作業者が認識された場合を例に挙げて説明する。なお、上述したとおり、第１開口部付近画像には、荷室２内の画像が含まれない。

　認識部１１０は、第１開口部付近画像において、認識済みの作業者が、予め定められた開口部の方向（認識部１１０にとって既知である画像上の方向。以下、開口部方向という）に移動して第１開口部付近画像から消えた場合、認識済みの作業者が荷室２内にいると認識する。この場合、推定部１２０よる積載率の推定は実行されない。

　その後、認識部１１０は、第１開口部付近画像において、開口部方向から認識済み作業者が現れた場合、荷室２内に認識済み作業者がいないと認識する。この時点で、推定部１２０は、積載率の推定を実行する。

　このように、荷室２内の画像が含まれない第１開口部付近画像のみを用いる場合でも、荷室２内に人がいるか否かを認識することができる。なお、上記説明では、１名の作業者が荷室２内へ移動した場合を例に挙げたが、複数の作業者が荷室２内へ移動した場合や、作業者が作業用具を持って荷室２内へ移動した場合も、上記同様に、荷室２内における作業者や作業用具の有無を認識することができる。

　次に、第２開口部付近画像のみを用いる場合について説明する。

　第２開口部付近画像に荷室２内の画像が含まれる場合、認識部１１０によって、第２開口部付近画像において人および物体が認識、追跡され、それらが荷室２内に存在しなくなったと推測された時点で、推定部１２０は、積載率の推定を実行する。一方、第２開口部付近画像に荷室２内の画像が含まれない場合、認識部１１０および推定部１２０の動作は、上述した第１開口部付近画像のみを用いる場合と同様である。

　なお、上記説明では、荷室内画像、第１開口部付近画像、第２開口部付近画像のうち１種類を用いる場合を例に挙げて説明したが、荷室内画像、第１開口部付近画像、第２開口部付近画像のうち２種類を用いてもよい。

　以上説明したように、１種類のカメラ（１種類の撮影画像）を用いた場合でも、積載率の推定精度の向上を実現できる。ただし、実施の形態のように複数種類のカメラ（複数種類の撮影画像）を用いた方が、認識および追跡の精度が向上する。よって、実施の形態では、積載率の推定精度が、本変形例よりも向上する。

　また、第１開口部付近画像および第２開口部付近画像のうち少なくとも一方を用いる場合では、既存の設備である後方カメラ５や監視カメラ６を活用することが可能となる。この場合、荷室２内に荷室内カメラ４を設置する必要がないため（荷室２内には深度センサのみを備えればよいため）、コストを抑制することが可能となる。すなわち、低コストかつシンプルな構成により積載率の推定を精度良く行うことができる。

　［変形例４］
　実施の形態では、積載率推定装置１００が車両Ｖに搭載される場合を例に挙げて説明したが、これに限定されない。例えば、積載率推定装置１００は、車両Ｖの外部に設置されるコンピュータ（例えば、サーバ等）で実現されてもよい。その場合、例えば、車両Ｖに搭載された通信装置（図示略）が、各画像（例えば、荷室内画像、第１開口部付近画像、および第２開口部付近画像）を上記コンピュータへ送信してもよい。

　以上、変形例について説明した。なお、上記変形例は、適宜組み合わせてもよい。

　本出願は、２０２１年３月２４日付で出願された日本国特許出願（特願２０２１－０４９７４９）に基づくものであり、その内容はここに参照として取り込まれる。

　本開示の積載率推定装置は、荷室または荷台を備えた車両における積載率の推定に有用である。

　１　キャブ
　２　荷室
　３　扉
　４　荷室内カメラ
　５　後方カメラ
　６　監視カメラ
　１００　積載率推定装置
　１１０　認識部
　１２０　推定部
　Ｂ　バース
　Ｖ　車両

Claims

　荷台の内部が撮影された第１画像、および、前記荷台の外部であって、前記荷台の出入口から所定距離以内の範囲が撮影された第２画像のうちの少なくとも一方を取得し、取得された画像において人および積み荷以外の物体を認識し、追跡することにより、前記荷台に前記人および前記積み荷以外の物体が存在するか否かを推測する認識部と、
　前記荷台に前記人および前記積み荷以外の物体が存在しない場合に、前記荷台を備えた車両の積載率を推定する推定部と、を有する、
　積載率推定装置。
　前記荷台は、荷室であり、
　前記第１画像は、
　前記荷室の内部に設置されたカメラで撮影される画像である、
　請求項１に記載の積載率推定装置。
　前記第２画像は、
　前記車両の外部を撮影する車載カメラで撮影される画像、および、前記荷台における作業が行われる場所に設置された監視カメラで撮影される画像のうちの少なくとも一方である、
　請求項１に記載の積載率推定装置。
　前記人は、前記荷台における作業を行う作業者であり、
　前記積み荷以外の物体は、前記作業に用いられる作業用具である、
　請求項１に記載の積載率推定装置。