JPWO2020080045A5 - - Google Patents

Claims (30)

1. 物体の特徴を示す特徴情報を含む画像の画像データを取得することと、
   前記特徴情報に基づき、前記画像に含まれる前記物体を分類することと、
   を含み、
   前記画像データは、
   イメージセンサと、
   前記イメージセンサに入射する光の光路に配置されたフィルタアレイであって、前記光路に交差する面に沿って２次元的に配列された透光性の複数のフィルタを含み、前記複数のフィルタは、光透過率の波長依存性が互いに異なる２つ以上のフィルタを含み、前記２つ以上のフィルタの各々の光透過率は、複数の波長域において極大値を有する、フィルタアレイと、
   を備える第１の撮像装置によって前記画像を撮像することにより取得される、
   物体分類方法。
2. 前記物体を分類することは、機械学習アルゴリズムによって学習された分類モデルを前記画像データに適用することにより行われ、
   前記分類モデルは、各々が、学習用画像データと、前記学習用画像データが示す学習用画像に含まれる前記物体を識別するラベルデータとを含む複数の第１の訓練データセットによって予め学習されている、
   請求項１に記載の物体分類方法。
3. 前記複数の第１の訓練データセットに含まれる複数の学習用画像データは、前記第１の撮像装置とは異なる第２の撮像装置によって生成された学習用画像データを含む、
   請求項２に記載の物体分類方法。
4. 前記第２の撮像装置は、前記第１の撮像装置における前記フィルタアレイと同等の特性を有するフィルタアレイを備える、
   請求項３に記載の物体分類方法。
5. 前記物体が分類された後、前記画像データと、前記物体を識別する第２のラベルデータとを含む第２の訓練データセットによって、前記分類モデルがさらに学習されることをさらに含む、
   請求項２から４のいずれかに記載の物体分類方法。
6. 前記複数の第１の訓練データセットに含まれる複数の学習用画像データにおける前記物体の前記学習用画像内での位置は、前記複数の学習用画像データにおいて互いに異なる、
   請求項２から４のいずれかに記載の物体分類方法。
7. 前記学習用画像データは、前記物体が前記学習用画像内で所定の範囲以上を占めた状態で撮像されることによって取得される、
   請求項２から４のいずれかに記載の物体分類方法。
8. 前記画像データを取得することは、ディスプレイを含む撮像装置を用いて行われ、
   前記画像データが取得される前に、前記画像の中で前記物体が位置すべきエリアまたは前記物体が占めるべき範囲をユーザに知らせるための補助表示を前記ディスプレイに表示させることをさらに含む、
   請求項１から４のいずれかに記載の物体分類方法。
9. 前記複数のフィルタは、光透過率の波長依存性が互いに異なり、
   前記複数のフィルタの各々の光透過率は、複数の波長域において極大値を有する、
   請求項１から４のいずれかに記載の物体分類方法。
10. 請求項１から４のいずれかに記載の物体分類方法を用いた車両制御方法であって、
    前記第１の撮像装置は、車両に取り付けられ、
    前記物体を分類することの結果に基づいて、前記車両の動作を制御することを含む、
    車両制御方法。
11. 請求項１から４のいずれかに記載の物体分類方法を用いた情報表示方法であって、
    前記物体を分類することの結果に基づいて、前記物体の名称および前記物体の説明からなる群から選択される少なくとも１つを示すデータをデータベースから取得することと、
    前記物体の名称および前記物体の説明からなる群から選択される前記少なくとも１つをディスプレイに表示することと、
    を含む、
    情報表示方法。
12. 物体の特徴を示す特徴情報を含む画像の画像データを取得することと、
    前記特徴情報に基づき、前記画像に含まれる前記物体を分類することと、
    を含み、
    前記画像データは、
    イメージセンサと、
    互いに異なる波長域の光を発する複数の光源を含む光源アレイと、
    を備える第１の撮像装置によって、前記複数の光源の一部を発光させた状態で前記画像を撮像する動作を、前記複数の光源の前記一部に含まれる光源の組み合わせを変えながら、複数回に亘って繰り返すことにより取得される、
    物体分類方法。
13. 前記物体を分類することは、機械学習アルゴリズムによって学習された分類モデルを前記画像データに適用することにより行われ、
    前記分類モデルは、各々が、学習用画像データと、前記学習用画像データが示す学習用画像に含まれる前記物体を識別するラベルデータとを含む複数の第１の訓練データセットによって予め学習されている、
    請求項１２に記載の物体分類方法。
14. 前記複数の第１の訓練データセットに含まれる複数の学習用画像データは、前記第１の撮像装置とは異なる第２の撮像装置によって生成された学習用画像データを含む、
    請求項１３に記載の物体分類方法。
15. 前記第２の撮像装置は、前記第１の撮像装置における前記光源アレイと同等の特性を有する光源アレイを備える、
    請求項１４に記載の物体分類方法。
16. 前記物体が分類された後、前記画像データと、前記物体を識別する第２のラベルデータとを含む第２の訓練データセットによって、前記分類モデルがさらに学習されることをさらに含む、
    請求項１３から１５のいずれかに記載の物体分類方法。
17. 前記複数の第１の訓練データセットに含まれる複数の学習用画像データにおける前記物体の前記学習用画像内での位置は、前記複数の学習用画像データにおいて互いに異なる、
    請求項１３から１５のいずれかに記載の物体分類方法。
18. 前記学習用画像データは、前記物体が前記学習用画像内で所定の範囲以上を占めた状態で撮像されることによって取得される、
    請求項１３から１５のいずれかに記載の物体分類方法。
19. 前記画像データを取得することは、ディスプレイを含む撮像装置を用いて行われ、
    前記画像データが取得される前に、前記画像の中で前記物体が位置すべきエリアまたは前記物体が占めるべき範囲をユーザに知らせるための補助表示を前記ディスプレイに表示させることをさらに含む、
    請求項１２から１５のいずれかに記載の物体分類方法。
20. 請求項１２から１５のいずれかに記載の物体分類方法を用いた車両制御方法であって、
    前記第１の撮像装置は、車両に取り付けられ、
    前記物体を分類することの結果に基づいて、前記車両の動作を制御することを含む、
    車両制御方法。
21. 請求項１２から１５のいずれかに記載の物体分類方法を用いた情報表示方法であって、
    前記物体を分類することの結果に基づいて、前記物体の名称および前記物体の説明からなる群から選択される少なくとも１つを示すデータをデータベースから取得することと、
    前記物体の名称および前記物体の説明からなる群から選択される前記少なくとも１つをディスプレイに表示することと、
    を含む、
    情報表示方法。
22. 物体の特徴を示す特徴情報を含む画像の画像データを生成するイメージセンサと、
    前記イメージセンサに入射する光の光路に配置されたフィルタアレイであって、前記光路に交差する面に沿って２次元的に配列された透光性の複数のフィルタを含み、前記複数のフィルタは、光透過率の波長依存性が互いに異なる２つ以上のフィルタを含み、前記２つ以上のフィルタの各々の光透過率は、複数の波長域において極大値を有する、フィルタアレイと、
    前記特徴情報に基づき、前記画像に含まれる前記物体を分類する信号処理回路と、
    を備える、
    物体分類装置。
23. 物体を含む画像の画像信号を生成するイメージセンサと、
    互いに異なる波長域の光を発する複数の光源を含む光源アレイと、
    前記イメージセンサおよび前記複数の光源を制御する制御回路であって、前記複数の光源の一部を発光させた状態で前記イメージセンサに撮像させる動作を、前記複数の光源の前記一部に含まれる光源の組み合わせを変えながら、複数回に亘って繰り返す制御回路と、
    前記イメージセンサによって前記複数回の撮像ごとに生成された前記画像信号から構成される画像データに含まれる、前記物体の特徴を示す特徴情報に基づき、前記画像に含まれる前記物体を分類する信号処理回路と、
    を備える、
    物体分類装置。
24. メモリと、
    信号処理回路と、
    を備え、
    前記信号処理回路は、
    複数の画素を含む画像の２次元画像データであって、前記複数の画素の各々のデータに複数の波長域の情報が多重化され、且つ前記複数の画素の各々の輝度分布が符号化されたマルチ／ハイパースペクトル画像データである２次元画像データを受け付け、
    前記２次元画像データに含まれる特徴情報に基づき、前記２次元画像データが示すシーンに含まれる物体を分類する、
    物体分類装置。
25. 前記特徴情報は、前記２次元画像データを基に前記複数の波長域の各々の画像を再構成することなく、前記２次元画像データから抽出される、
    請求項２４に記載の物体分類装置。
26. 前記２次元画像データを取得する撮像装置をさらに備える、
    請求項２４に記載の物体分類装置。
27. 前記２次元画像データは、前記物体が前記撮像装置の撮像領域における所定の範囲以上を占めた状態で撮像されることによって取得される、
    請求項２６に記載の物体分類装置。
28. 前記撮像装置によって前記２次元画像データが取得される前に、前記撮像装置によって撮像される画像の中で前記物体が位置すべきエリアまたは前記物体が占めるべき範囲をユーザに知らせるための補助表示を表示するディスプレイをさらに備える、
    請求項２７に記載の物体分類装置。
29. 前記撮像装置は、
    イメージセンサと、
    前記イメージセンサに入射する光の光路に配置されたフィルタアレイであって、前記光路に交差する面に沿って２次元的に配列された透光性の複数のフィルタを含み、前記複数のフィルタは、光透過率の波長依存性が互いに異なる２つ以上のフィルタを含み、前記２つ以上のフィルタの各々の光透過率は、複数の波長域において極大値を有する、フィルタアレイと、
    を含む、
    請求項２６に記載の物体分類装置。
30. 前記複数のフィルタは、周期的に配置される複数の部分集合を含む、
    請求項２９に記載の物体分類装置。