JP7236555B2 - 車両表面上の物品を検出するための方法およびシステム - Google Patents

Description

本開示は、車両表面上に不注意に放置された物品を検出することに関する。

車両のユーザが、車両の上部に個人的な物品（例えば、財布、長財布、電話、ラップトップ、等）を不注意に置き忘れてしまうことは、よくあることである。ユーザが、個人的な物品が車両上部にあることを忘れた場合でも、ユーザは、車両に乗り込んで、車両を走行させ得る。その場合、個人的な物品が、落下して破損してしまいかねない。したがって、そのような状況では、ユーザが車両を走行させる前に、個人的な物品の位置を特定し、個人的な物品が車両上部に放置されていることをユーザに対して警告するシステムが準備されていることが望ましい。

米国特許第６１６３２５０（Ａ）号明細書は、車両の外部上に位置した物品を検出するセンサを含むシステムを開示している。センサは、車両のルーフの内側に取り付けられた力ゲージまたは圧力ゲージなどの、公知で市販の構成要素から形成することができる。容量型センサおよび／または力センサおよび／または圧力センサのうちの、任意の１つまたは複数のものを含めて、当該技術分野において公知の多くのタイプのセンサが、採用されてもよい。

しかしながら、従来技術では、ルーフ上の個人的な物品の位置を検出して表示することができない。したがって、車両のユーザに対するアラートと一緒に、車両上部の個人的な物品の位置を表示するシステムが要望されている。

本発明の実施形態は、車両表面上の物品を検出するための方法およびシステムを対象とするものであり、添付の特許請求の範囲に記載されている。

車両表面上の物品を検出するための方法は、プロセッサによって、少なくとも画像取得デバイスから１つまたは複数の画像を受領することを含む。１つまたは複数の画像から、所定の関心領域が特定される。１つまたは複数の画像のうちの、関心領域を追跡することにより、関心領域における画素強度の差に基づいて車両表面上の少なくとも１つの物品が検出される。関心領域内において検出された物品の位置は、車両表面の代理画像上の位置へと、マッピングされる。さらに、車両表面の代理画像は、車両のユーザへのアラートと一緒に表示される。加えて、車両表面の代理画像上におけるマッピングされた位置には、アラートシンボルが重ね合わせて表示される。

車両表面上の物品を検出するためのシステムは、画像取得デバイスと、ディスプレイデバイスと、画像取得デバイスとディスプレイデバイスとに対して動作可能に結合されたプロセッサと、を含む。プロセッサは、画像取得デバイスから１つまたは複数の画像を受領するとともに、１つまたは複数の画像から所定の関心領域を特定するように、構成されている。プロセッサは、関心領域を追跡するとともに、画素強度の差に基づいて、車両表面上の少なくとも１つの物品を検出するように、さらに構成されている。プロセッサは、関心領域内において検出された検出物品の位置を、車両表面の代理画像上の位置へとマッピングするように、さらに構成されている。さらに、プロセッサは、車両表面の代理画像を表示するとともに、車両表面の代理画像上の位置に、シンボルを重ね合わせて表示するように、構成されている。

よって、本発明の方法およびシステムは、車両のユーザに対して、車両のルーフ上の物品の位置を含めたアラートを、車両のディスプレイデバイス上において提供する。

また、コンピュータプログラムに上記方法を実行させるためのプログラム命令を含むコンピュータプログラムが提供され、これは、記録媒体上において、搬送信号上において、または、読み取り専用メモリ上において、具現され得る。

本発明は、添付の図面を参照しつつ、例示としてのみ与えられる本発明の実施形態に関する以下の説明から、より明瞭に理解されるであろう。

図１Ａは、本発明のいくつかの実施形態による車両の側面図を例示的に示している。 図１Ｂは、本発明のいくつかの実施形態による車両の平面図を例示的に示している。 図２は、本発明のいくつかの実施形態による、車両表面上の物品を検出するための本発明の方法またはプロセスに関する一実施形態を示すフローチャートである。 図３は、本発明のいくつかの実施形態による、車両表面上の物品を検出するためのシステム／装置に関する主要な構成要素を示す機能ブロック図である。 図４は、本発明のいくつかの実施形態による車両のディスプレイを例示的に示している。

図１Ａは、本発明のいくつかの実施形態による車両の側面図を例示的に示しており、車両１０１と、車両のルーフ上に配置された画像取得デバイス１０２と、車両１０１のルーフ上に放置された物品１０３と、を示している。図１Ａにおける点線は、車両のルーフも撮影する画像取得デバイスの視野を示している。

図１Ｂは、本発明のいくつかの実施形態による車両の平面図を例示的に示しており、車両１０１と、車両のルーフ上に配置された画像取得デバイス１０２と、車両１０１のルーフ上に放置された物品１０３と、を示している。

図２は、本発明のいくつかの実施形態による、車両表面上の物品を検出するための本発明の方法またはプロセスに関する一実施形態を示すフローチャートである。車両表面上の物品を検出するための方法は、少なくとも画像取得デバイスから、１つまたは複数の画像を受領すること２０１を含む。１つまたは複数の画像のうちの、所定の関心領域から、所定の背景を差し引くこと２０２を行う。背景とは異なる物品を特定するために他の方法を使用し得ることは、理解されよう。１つまたは複数の画像のうちの関心領域に関して、追跡２０３を行うことにより、背景が差し引かれた後の関心領域内における画素強度の差に基づいて、車両表面上の少なくとも１つの物品を検出する。関心領域内において検出された物品の位置を、車両表面の代理画像上の位置へとマッピングすること２０４を行う。さらに、車両表面の代理画像を、車両のユーザに対するアラートと一緒に表示すること２０５を行う。さらに、車両表面の代理画像上においてマッピングされた位置に、アラートシンボルを重ね合わせて表示する。例えば、図４は、車両１０１またはその上面に関する代理画像４０２を表示しているディスプレイ４０１を例示的に示しており、代理画像上には、アラートシンボル４０３が重ね合わせて表示されている。さらに、アラートシンボル４０３は、車両のルーフ上において検出された物品に関する場所または位置を実質的に指し示している（図１Ｂを参照されたい）。

所定の関心領域の生成は、車両表面に対しての画像取得デバイスの位置に少なくとも基づいて行われる。例えば、車両表面に対しての画像取得デバイスの位置が、関心領域を決定する。言い換えれば、関心領域は、車両表面を撮影した画像の一部である。

さらに上述したように、所定の背景の生成は、車両表面の少なくとも１つの画像に基づいて行われる。例えば、車両表面の画像は、当該表面上に物品が置かれていない状態で、画像取得デバイスを使用して撮影されてもよい。別の実施形態では、画像取得デバイスは、車両が動いている時に、異なる時間に複数の画像を撮影してもよい。実質的に静止したままであって画像どうしの間にわたって変化しない画像部分は、画像の背景とみなされる。また、当該画像の静止部分の輪郭が、上記の関心領域を規定してもよい。

本方法は、検出された物品の画像を抽出することと、機械学習アルゴリズムを使用してあるいはニューラルネットワークベースのモデルを使用して物品を分類することと、物品のその分類に基づいて車両のユーザに対して音声アラートを提供することと、をさらに含む。例えば、車両表面上にリンゴが放置されている場合には、アラートは、「警告！リンゴが車両のルーフ上にあります。」という音声であってもよい。

本方法は、車両の移動を阻止するためにあるいは車両の速度を制限するために、車両の電子制御ユニット（ＥＣＵ）に対して信号を送出することを、さらに含む。例えば、車両表面上に物品が検出された場合には、車両上に不注意に放置された物品が落下しないよう、車両の速度を制限するためにあるいは車両の移動を阻止するために、ＥＣＵに対して信号が送出される。

関心領域を追跡する際の本方法は、車両の一部として車両に対して取り付けられている物品を無視する。例えば、車両のルーフ上に取り付けられたラゲッジホルダがそうである。

上記の方法は、例えば、車両のルーフ、車両のボンネット、または車両のカーブーツカバー、などの任意の車両表面に対して適用することができる。

図３は、本発明のいくつかの実施形態による、車両表面上の物品を検出するためのシステム／装置３００に関する主要な構成要素を示す機能ブロック図である。このシステムは、プロセッサ３０１と、メモリ３０２と、トランシーバ３０３と、画像取得デバイス３０４と、ディスプレイ３０５と、を含む。プロセッサ３０１は、メモリ３０２に対して、トランシーバ３０３に対して、画像取得デバイス３０４に対して、およびディスプレイ３０５に対して、動作可能に結合されている。さらに、電子制御ユニット（ＥＣＵ）３１１は、トランシーバ３０３を介してプロセッサ３０１と通信している。また、ＥＣＵ３１１に対しては、車両の速度制御装置３１２が、動作可能に結合されている。好ましい実施形態では、画像取得デバイス３０４は、魚眼カメラである。

プロセッサ３０１は、画像取得デバイス３０４から、１つまたは複数の画像を受領するように構成される。さらに、プロセッサ３０１は、１つまたは複数の画像のうちの、所定の関心領域から、所定の背景を差し引く。プロセッサ３０１は、関心領域を追跡するように、そして、関心領域内の画素強度の差に基づいて、車両表面上の少なくとも１つの物品を検出するように、さらに構成される。プロセッサ３０１は、関心領域内において検出された検出物品の位置を、車両表面の代理画像上の位置へとマッピングするように、さらに構成される。さらに、プロセッサ３０１は、ディスプレイ３０５に、車両表面の当該代理画像を表示させるとともに、車両表面の代理画像上の位置にシンボルを重ね合わせて表示させる。例えば、図４は、車両１０１またはその上面の代理画像４０２を表示しているディスプレイ４０１を例示的に示しており、代理画像上には、アラートシンボル４０３が重ね合わせて表示されている。さらに、アラートシンボル４０３は、車両のルーフ上において検出された物品の場所または位置を実質的に指し示している（図１Ｂを参照されたい）。

プロセッサ３０１による所定の関心領域の生成は、車両表面に対しての画像取得デバイス３０４の位置に少なくとも基づいて行われる。例えば、車両表面に対しての画像取得デバイス３０４の位置が、関心領域を決定する。言い換えれば、関心領域は、車両表面を撮影した画像の一部である。

さらに、プロセッサは、車両表面の少なくとも１つの画像に基づいて、所定の背景を生成するように構成される。例えば、車両表面の画像は、当該表面上に物品が置かれていない状態で、画像取得デバイス３０４を使用して撮影されてもよく、この画像は、背景画像としてメモリ３０２内に格納されてもよい。別の実施形態では、プロセッサ３０１は、車両が動いている時に、画像取得デバイス３０４に、複数の画像を異なる時間に撮影させてもよい。さらに、プロセッサは、撮影された複数の画像どうしの間にわたって実質的に静止した／不変である画像部分を決定してもよく、ここでは、決定された画像部分が、背景画像としてメモリ３０２内に格納される。また、静止した画像部分の輪郭が、上述したように関心領域を規定してもよく、輪郭の形態が、関心領域としてメモリ３０２内に格納されてもよい。

プロセッサ３０１は、検出された物品の画像を抽出するように、そして、機械学習アルゴリズムを使用してあるいはニューラルネットワークベースのモデルを使用して物品を分類するように、さらに構成される。本システムは、プロセッサ３０１に対して動作可能に結合された音声出力デバイスをさらに含み、プロセッサ３０１は、物品の分類に基づいて、車両のユーザに対して、音声アラートを提供するように構成される。例えば、車両表面上にリンゴが放置されている場合には、アラートは、「警告！リンゴが車両のルーフ上にあります。」という音声であってもよい。

プロセッサ３０１は、車両の移動を阻止するためにあるいは車両の速度を制限するために、車両の電子制御ユニット（ＥＣＵ）３１１に対して信号を送出するように、さらに構成される。例えば、車両表面上に物品が検出された場合には、ＥＣＵは、車両上に不注意に放置された物品が落下しないよう、車両の速度を制限するためにあるいは車両の移動を阻止するために、信号を送出する。

さらに、当業者であれば、本明細書において開示する実施形態に関連して説明した様々な例示的な、論理ブロック／機能ブロック、モジュール、回路、技法／アルゴリズム、およびプロセスステップが、電子ハードウェアとして実装されてもよいこと、あるいは、ハードウェアとソフトウェアとの組合せとして実装されてもよいことは、理解されよう。ハードウェアと、ハードウェアとソフトウェアとの組合せと、に関するこの互換性を明瞭に示すために、様々な例示的な、構成要素、ブロック、モジュール、回路、および工程について、その機能性の観点から一般的に上述した。このような機能が、ハードウェアとして実装されるか、あるいは、ハードウェアとソフトウェアとの組合せとして実装されるかは、当業者の設計上の選択に依存する。そのような当業者は、特定の用途ごとに様々な態様で上記機能を実装し得るけれども、そのような明らかな設計上の選択は、本発明の範囲からの逸脱を引き起こすものとして解釈されるべきではない。

本開示で説明したプロセスは、様々な手段を使用して実施されてもよい。例えば、本開示において説明するプロセスは、ハードウェア、ファームウェア、ソフトウェア、またはこれらの任意の組合せで、実装されてもよい。ハードウェア実装においては、プロセッシングユニットあるいは１つまたは複数のプロセッサは、１つまたは複数の特定用途向け集積回路（ＡＳＩＣｓ）、デジタル信号プロセッサ（ＤＳＰｓ）、デジタル信号プロセッシングデバイス（ＤＳＰＤｓ）、プログラマブルロジックデバイス（ＰＬＤｓ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書に記載された機能を実行するように設計された他の電子ユニット、あるいは、これらの組合せ、の内部に実装されてもよい。

ファームウェア実装および／またはソフトウェア実装においては、ソフトウェアコードが、メモリ内に格納されて、プロセッサによって実行されてもよい。メモリは、プロセッサユニットの内部に実装されてもよいし、プロセッサユニットの外部に実装されてもよい。本明細書において使用する場合、「メモリ」という用語は、任意のタイプの揮発性メモリまたは不揮発性メモリを指す。

さらに、本発明の構成要素は、単数形で記載または特許請求され得るけれども、単数形への限定が明示的に記載されていない場合には、複数形が想定される。

図面を参照して説明した本発明における実施形態は、コンピュータ装置、および／または、コンピュータ装置で実行されるプロセス、を含む。しかしながら、本発明は、また、コンピュータプログラムにも拡張され、特に、本発明を実施するように構成されたキャリア上に格納されたあるいはそのようなキャリア内に格納されたコンピュータプログラムにも拡張される。プログラムは、ソースコード、オブジェクトコード、あるいは、部分的にコンパイルされた形態などのコード中間ソースおよびオブジェクトコード、の形態であってもよく、もしくは、本発明による方法の実施に好適に使用される任意の他の形態であってもよい。キャリアは、ＲＯＭなどのストレージ媒体を含んでもよく、例えば、メモリスティックまたはハードディスクを含んでもよい。キャリアは、電気ケーブルまたは光学ケーブルを介して伝送され得るあるいは無線手段または他の手段によって伝送され得る、電気信号または光学信号であってもよい。

本明細書では、「含む」という用語およびその任意の変形は、ならびに、「含有する」という用語およびその任意の変形は、完全に互換的であると考えられており、これらは、すべて可能な限り広い解釈を与えられるものとし、その逆もまた同様である。

本発明は、本明細書において説明する実施形態に限定されるものではなく、構成および細部の両方において変化させ得る。

Claims (17)

1. 車両表面上の物品を検出するための方法であって、
   プロセッサによって、少なくとも画像取得デバイスから１つまたは複数の画像を受領することと、
   前記１つまたは複数の画像から、所定の関心領域を特定することと、
   前記１つまたは複数の画像のうちの、前記所定の関心領域から、所定の背景を差し引くことと、
   前記関心領域を追跡するとともに、前記背景が差し引かれた後の前記関心領域内における画素強度の差に基づいて前記車両表面上の少なくとも１つの物品を検出することと、
   前記関心領域内において検出された前記検出物品の位置を、前記車両表面の代理画像上の位置へとマッピングすることと、
   前記車両表面の前記代理画像を表示するとともに、前記車両表面の前記代理画像上の前記位置にシンボルを重ね合わせて表示することと、を含む、方法。
2. 前記所定の関心領域を、少なくとも前記車両表面に対しての前記画像取得デバイスの位置に基づいて生成することをさらに含む、請求項１に記載の方法。
3. 前記車両表面の少なくとも１つの画像に基づいて、前記所定の背景を生成することをさらに含む、請求項１に記載の方法。
4. 検出された前記物品の画像を抽出するとともに、機械学習アルゴリズムを使用してあるいはニューラルネットワークベースのモデルを使用して、前記物品を分類することをさらに含む、請求項１に記載の方法。
5. 前記物品の前記分類に基づいて、前記車両のユーザに対して音声アラートを提供することをさらに含む、請求項４に記載の方法。
6. 前記車両の移動を阻止するためにあるいは前記車両の速度を制限するために、前記車両の電子制御ユニットに対して信号を送出することをさらに含む、請求項１に記載の方法。
7. 前記関心領域の前記追跡は、前記車両の一部として前記車両に対して取り付けられている物品を無視することを含む、請求項１に記載の方法。
8. 前記車両表面を、前記車両のルーフ、前記車両のボンネット、または前記車両のカーブーツカバー、のうちの１つまたは複数とする、請求項１～７のいずれか一項に記載の方法。
9. 車両表面上の物品を検出するためのシステムであって、
   少なくとも１つの画像取得デバイスと、
   ディスプレイデバイスと、
   前記少なくとも１つの画像取得デバイスと前記ディスプレイデバイスとに対して動作可能に結合されたプロセッサであるとともに、
   前記少なくとも１つの画像取得デバイスから１つまたは複数の画像を受領するように、
   前記１つまたは複数の画像から、所定の関心領域を特定するように、
   前記１つまたは複数の画像のうちの、前記所定の関心領域から、所定の背景を差し引くように、
   前記関心領域を追跡するとともに、前記背景が差し引かれた後の前記関心領域内における画素強度の差に基づいて前記車両表面上において少なくとも１つの物品を検出するように、
   前記関心領域内において検出された前記検出物品の位置を、前記車両表面の代理画像上の位置へとマッピングするように、
   前記ディスプレイデバイスを使用して前記車両表面の前記代理画像を表示するとともに、前記車両表面の前記代理画像上の前記位置にシンボルを重ね合わせて表示するように、構成されたプロセッサと、を含む、システム。
10. 前記プロセッサは、前記所定の関心領域を、前記車両表面に対しての前記画像取得デバイスの位置に少なくとも基づいて生成するように、さらに構成されている、請求項９に記載のシステム。
11. 前記プロセッサは、前記車両表面上に１つまたは複数の物品が置かれていない状態における前記車両表面の少なくとも１つの画像に基づいて、前記所定の背景を生成するように、さらに構成されている、請求項９に記載のシステム。
12. 前記プロセッサは、検出された前記物品の画像を抽出するとともに、機械学習アルゴリズムを使用してあるいはニューラルネットワークベースのモデルを使用して、前記物品を分類するように、さらに構成されている、請求項９に記載のシステム。
13. 前記プロセッサに対して動作可能に結合された音声出力デバイスをさらに含み、前記プロセッサは、前記音声出力デバイスを使用して、前記物品の前記分類に基づいて、前記車両のユーザに対して音声アラートを提供する、請求項１２に記載のシステム。
14. 前記車両の電子制御ユニットをさらに含み、前記プロセッサは、前記車両の移動を阻止するためにあるいは前記車両の速度を制限するために、前記車両の前記電子制御ユニットに対して信号を送出するように構成されている、請求項９に記載のシステム。
15. 前記画像取得デバイスは、魚眼カメラである、請求項９に記載のシステム。
16. 命令を含むコンピュータプログラムであって、前記プログラムがデータプロセッシングデバイス／コンピュータによって実行された時には、前記命令は、前記データプロセッシングデバイス／コンピュータに、請求項１～８のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
17. 命令を含むコンピュータ可読媒体であって、コンピュータによって実行された時には、前記命令は、前記コンピュータに、請求項１～８のいずれか一項に記載の方法を実行させる、コンピュータ可読媒体。

Images