JP6969254B2 - 画像処理装置及びプログラム - Google Patents

画像処理装置及びプログラム Download PDF

Info

Publication number
JP6969254B2
JP6969254B2 JP2017182748A JP2017182748A JP6969254B2 JP 6969254 B2 JP6969254 B2 JP 6969254B2 JP 2017182748 A JP2017182748 A JP 2017182748A JP 2017182748 A JP2017182748 A JP 2017182748A JP 6969254 B2 JP6969254 B2 JP 6969254B2
Authority
JP
Japan
Prior art keywords
information
fully connected
layer
unit
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017182748A
Other languages
English (en)
Other versions
JP2019057247A (ja
Inventor
真吾 藤本
拓郎 押田
正雄 山中
真太朗 福島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2017182748A priority Critical patent/JP6969254B2/ja
Priority to US16/131,204 priority patent/US20190095706A1/en
Priority to DE102018123112.1A priority patent/DE102018123112A1/de
Publication of JP2019057247A publication Critical patent/JP2019057247A/ja
Application granted granted Critical
Publication of JP6969254B2 publication Critical patent/JP6969254B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理装置及びプログラムに関する。
人物の画像を解析して、人物の行動等を認識して出力する装置及びプログラムが知られている。
特開２０１０−０３６７６２号公報 特開２０１２−０３３０７５号公報
しかしながら、上述の装置では、取得した情報に対して種類の少ない類似の情報しか出力できないといった課題がある。
本発明は、上記に鑑みてなされたものであって、取得した情報に対して出力可能な情報の種類を増加させることができる画像処理装置及びプログラムを提供する。
上述した課題を解決し、目的を達成するために、本発明の画像処理装置は、人物の画像を含む入力画像の情報に畳み込み処理及びプーリング処理を実行して入力画像から特徴を抽出して複数の特徴マップを生成する抽出部と、前記複数の特徴マップを結合させて生成した第１全結合情報を出力する第１全結合層と、前記第１全結合情報を結合させて、予め定められた前記人物の特徴を示す人体特徴情報を出力する第２全結合層と、前記第１全結合情報または前記人体特徴情報を結合させて、予め定められた複数の行動認識ラベルの確率分布を示す行動認識情報を出力する第３全結合層と、を備える。
このように、本発明の画像処理装置は、第１全結合層が生成した第１全結合情報から人物の特徴に関する人体特徴情報及び人物の行動に関する行動認識情報を生成するので、少ない情報から出力可能な質の異なる２種類の情報を出力できる。
本発明の画像処理装置では、前記第１全結合層は、前記第２全結合層及び前記第３全結合層のそれぞれに前記第１全結合情報を出力してよい。
このように、本発明の画像処理装置では、第１全結合層が第２全結合層及び第３全結合層のそれぞれに出力した同じ第１全結合情報から人体特徴情報及び行動認識情報を生成するので、構成の複雑化を抑制しつつ、出力可能な情報の種類を増加させることができる。
本発明の画像処理装置では、時刻の異なる複数の前記人体特徴情報及び複数の前記行動認識情報から前記人物の未来の行動に関する行動予測情報を生成する後半部を更に備えてよい。
これにより、本発明の画像処理装置は、１個の装置に搭載したアーキテクチャー等の構成によって画像から人体特徴情報及び行動認識情報とともに人物の未来の行動に関する行動予測情報を生成することができる。
本発明の画像処理装置では、前記後半部は、予め定められた複数の行動予測ラベルの確率分布を前記行動予測情報として生成してよい。
これにより、本発明の画像処理装置は、可能性のある人物の複数の行動の確率を予測して生成することができる。
本発明の画像処理装置では、前記後半部は、前記行動予測情報から確率の最も高い前記行動予測ラベルを選択して出力してよい。
これにより、本発明の画像処理装置は、人物の未来の行動を１つに絞って、出力先の装置の処理負担を低減することができる。
本発明の画像処理装置では、前記第１全結合層は、予め定められた前記人物の特徴を示す人体特徴情報を前記第１全結合情報として出力してよい。
これにより、第２全結合層及び第３全結合層は、人物以外の環境変化等の影響を低減して、精度の高い人体特徴情報及び行動認識情報を生成できる。
本発明のプログラムは、人物の画像を含む入力画像の情報に畳み込み処理及びプーリング処理を実行して入力画像から特徴を抽出して複数の特徴マップを生成する抽出部と、前記複数の特徴マップを結合させて生成した第１全結合情報を出力する第１全結合層と、前記第１全結合情報を結合させて、予め定められた前記人物の特徴を示す人体特徴情報を出力する第２全結合層と、前記第１全結合情報または前記人体特徴情報を結合させて、予め定められた複数の行動認識ラベルの確率分布を示す行動認識情報を出力する第３全結合層と、してコンピュータを機能させる。
このように、本発明のプログラムでは、第１全結合層が生成した第１全結合情報から人物の特徴に関する人体特徴情報及び人物の行動に関する行動認識情報を生成するので、少ない情報から出力可能な質の異なる２種類の情報を出力できる。
図１は、第１実施形態の画像処理装置が搭載される画像処理システムの全体構成図である。 図２は、画像処理装置の処理部の機能を説明する機能ブロック図である。 図３は、画像処理装置の処理部が実行する画像処理のフローチャートである。 図４は、第２実施形態の処理部の機能を説明する機能ブロック図である。
以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。
＜第１実施形態＞
図１は、第１実施形態の画像処理装置１２が搭載される画像処理システム１０の全体構成図である。画像処理システム１０は、例えば、エンジンまたはモータ等の駆動源を有する自動車等の移動体に搭載される。画像処理システム１０は、車室内の画像に基づいて、自動車の乗員の人体上の特徴、乗員の現在の行動、及び、乗員の未来の行動等を認識または予測する。自動車の乗員は、人物の一例である。図１に示すように、画像処理システム１０は、１または複数の検出部１４ａ、１４ｂと、画像処理装置１２と、車両制御装置１６とを備える。
検出部１４ａ、１４ｂは、自動車の車室内の乗員の情報を検出して出力する。例えば、検出部１４ａ、１４ｂは、乗員等の情報として、乗員を含む車室内を撮像した画像を生成して出力する撮像装置である。具体的には、検出部１４ａは、赤外線で乗員を含む被写体を撮像して赤外線画像を生成する赤外線カメラである。検出部１４ｂは、乗員を含む被写体までの距離の情報を含むデプス画像を生成する測距センサである。検出部１４ａ、１４ｂは、画像処理装置１２に情報を出力可能にＬＶＤＳ（Low Voltage Differential Signaling）またはＥｔｈｅｒｎｅｔ（登録商標）等によって接続されている。検出部１４ａ、１４ｂは、生成した画像の情報を画像処理装置１２へ出力する。
画像処理装置１２は、検出部１４ａ、１４ｂが出力した画像に基づいて、乗員の人体上の特徴及び乗員の現在の行動を認識し、当該特徴及び行動認識に基づいて、乗員の未来の行動を予測する。画像処理装置１２は、ＥＣＵ（Electronic Control Unit）等を含むコンピュータである。画像処理装置１２は、車両制御装置１６に情報を出力可能にＬＩＮまたはＣＡＮ等によって接続されている。画像処理装置１２は、処理部２０と、メモリ２２と、格納部２４と、バス２６とを有する。
処理部２０は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）等を含むハードウェアプロセッサ等の演算処理装置である。処理部２０は、メモリ２２または格納部２４に格納されたプログラムを読み込んで、処理を実行する。例えば、処理部２０は、画像処理プログラム２８を実行することによって、乗員の特徴及び行動認識から予測した乗員の未来の行動に関する情報を生成して車両制御装置１６へ出力する。
メモリ２２は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の主記憶装置である。メモリ２２は、画像処理プログラム２８等のプログラムの実行の際に処理部２０が用いる各種のデータを一時的に記憶する。
格納部２４は、書き換え可能な不揮発性のＳＳＤ（Solid State Drive）及びＨＤＤ（Hard Disk Drive）等の補助記憶装置である。格納部２４は、画像処理装置１２の電源がオフされた場合にあっても格納されたデータを維持する。格納部２４は、例えば、処理部２０が実行する画像処理プログラム２８及び画像処理プログラム２８の実行に必要なバイアス及び重みで定義される活性化関数を含む数値データ２９を格納する。
バス２６は、処理部２０、メモリ２２、及び、格納部２４を互いに情報を送受信可能に接続する。
車両制御装置１６は、画像処理装置１２が出力した乗員の特徴、認識した乗員の現在の行動、及び、予測した乗員の未来の行動等の情報に基づいて、左前の扉ＤＲａ及び右前の扉ＤＲｂ等を含む自動車の部品であるボディーユニットを制御する。車両制御装置１６は、ＥＣＵ等を含むコンピュータである。尚、車両制御装置１６は、画像処理装置１２と１台のコンピュータで一体化されていてもよい。車両制御装置１６は、処理部３０と、メモリ３２と、格納部３４と、バス３６とを有する。
処理部３０は、ＣＰＵ等を含むハードウェアプロセッサ等の演算処理装置である。処理部３０は、メモリ３２または格納部３４に格納されたプログラムを読み込んで、ボディーユニットのいずれかを制御する。例えば、処理部３０は、画像処理装置１２から乗員が扉ＤＲａ、ＤＲｂを開けると乗員の未来の行動を予測した旨の予測結果を取得すると、乗員が開けると予測した扉ＤＲａ、ＤＲｂを自車両情報３９（例えば、移動体の接近情報）に基づいて、開かないようにロックする。
メモリ３２は、ＲＯＭ及びＲＡＭ等の主記憶装置である。メモリ３２は、例えば、画像処理装置１２から取得した乗員の未来の行動等に関する情報を一時的に記憶する。
格納部３４は、ＳＳＤ及びＨＤＤ等の補助記憶装置である。格納部３４は、例えば、処理部３０が実行する車両制御プログラム３８及び自動車の情報を含む自車両情報３９を格納する。
バス３６は、処理部３０、メモリ３２、及び、格納部３４を互いに情報を送受信可能に接続する。
図２は、画像処理装置１２の処理部２０の機能を説明する機能ブロック図である。図２に示すように、画像処理装置１２の処理部２０は、前半部４０と、後半部４２とをアーキテクチャーとして備える。処理部２０は、例えば、格納部２４に格納された画像処理プログラム２８を読み込むことによって、前半部４０及び後半部４２として機能する。尚、前半部４０及び後半部４２の一部または全部は、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field-Programmable Gate Array）等を含む回路等のハードウェアによって構成してもよい。
前半部４０は、１または複数の画像情報を解析して、人体特徴情報及び行動認識情報を生成して後半部４２へ出力する。前半部４０は、入力層４４と、抽出部４６と、結合部４８とを有する。
入力層４４は、乗員の画像を含む１または複数の画像（以下、入力画像）の情報を取得して、抽出部４６へ出力する。入力層４４は、例えば、赤外線によって撮像されたＩＲ画像、及び、距離の情報を含むデプス画像等を入力画像として検出部１４ａ、１４ｂから取得する。
抽出部４６は、入力層４４から取得した乗員の画像を含む入力画像の情報に畳み込み処理及びプーリング処理を実行して、入力画像から予め定められた特徴を抽出して、人体特徴情報及び行動認識情報を生成するための複数の特徴マップを生成する。抽出部４６は、第１畳み込み層５０と、第１プーリング層５２と、第２畳み込み層５４と、第２プーリング層５６と、第３畳み込み層５８と、第３プーリング層６０とを有する。換言すれば、抽出部４６は、３組の畳み込み層５０、５４、５８及びプーリング層５２、５６、６０を有する。
第１畳み込み層５０は、複数のフィルタ（ニューロンまたはユニットともいう）を有する。各フィルタは、例えば、教師画像による機械学習によって予め設定されたバイアス値及び重みを含む活性化関数によって定義される。各フィルタのバイアス値及び重みは、互いに異なっていてよい。活性化関数は、数値データ２９の一部として格納部２４に格納されていてよい。尚、以下に記載の活性化関数のバイアス値及び重みについても同様である。第１畳み込み層５０の各フィルタは、入力層４４から取得した全ての画像に、活性化関数による第１畳み込み処理を実行する。これにより、第１畳み込み層５０の各フィルタは、バイアス値及び重みに基づいて画像内の特徴（例えば、色の濃淡）を抽出した画像（または画像の総和）を特徴マップとして生成する。第１畳み込み層５０は、フィルタと同数の特徴マップを生成して第１プーリング層５２へ出力する。
第１プーリング層５２の各ユニットは、第１畳み込み層５０が出力した特徴マップに、最大プーリング関数または平均プーリング関数等を用いて第１プーリング処理を実行する。これにより、第１プーリング層５２は、第１畳み込み層５０が生成した特徴マップを圧縮または小型化した新たな特徴マップをユニットの数だけ生成して第２畳み込み層５４へ出力する。
第２畳み込み層５４は、予め設定されたバイアス値及び重みを含む活性化関数によって定義される複数のフィルタを有する。尚、第２畳み込み層５４におけるフィルタのバイアス値及び重みは、第１畳み込み層５０のフィルタのバイアス値及び重みと異なってよい。第２畳み込み層５４の各フィルタは、第１プーリング層５２が出力した複数の特徴マップに、活性化関数による第２畳み込み処理を実行する。これにより、第２畳み込み層５４の各フィルタは、第１畳み込み層５０とは異なる画像内の特徴（例えば、水平方向のエッジ）をバイアス値及び重みに基づいて抽出した画像の総和を特徴マップとして生成する。第２畳み込み層５４は、フィルタと同数の特徴マップを生成して第２プーリング層５６へ出力する。
第２プーリング層５６の各ユニットは、第２畳み込み層５４が出力した特徴マップに、最大プーリング関数または平均プーリング関数等を用いて第２プーリング処理を実行する。これにより、第２プーリング層５６は、第２畳み込み層５４が生成した特徴マップを圧縮または小型化して新たに生成した特徴マップをユニットの数だけ生成して第３畳み込み層５８へ出力する。
第３畳み込み層５８は、予め設定されたバイアス値及び重みを含む活性化関数によって定義される複数のフィルタを有する。尚、第３畳み込み層５８におけるフィルタのバイアス値及び重みは、第１畳み込み層５０及び第２畳み込み層５４のバイアス値及び重みと異なってよい。第３畳み込み層５８の各フィルタは、第２プーリング層５６が出力した複数の特徴マップに、活性化関数による第３畳み込み処理を実行する。これにより、第３畳み込み層５８の各フィルタは、第１畳み込み層５０及び第２畳み込み層５４とは異なる画像内の特徴（例えば、鉛直方向のエッジ）をバイアス値及び重みに基づいて抽出した画像の総和を特徴マップとして生成する。第３畳み込み層５８は、フィルタと同数の特徴マップを生成して第３プーリング層６０へ出力する。
第３プーリング層６０の各ユニットは、第３畳み込み層５８が出力した特徴マップに、最大プーリング関数または平均プーリング関数等を用いて第３プーリング処理を実行する。これにより、第３プーリング層６０は、第３畳み込み層５８が生成した特徴マップを圧縮または小型化して新たに生成した特徴マップをユニットの数だけ生成して結合部４８へ出力する。
結合部４８は、抽出部４６から取得した特徴マップを結合して、人体特徴情報及び行動認識情報を後半部４２へ出力する。結合部４８は、第１全結合層６２と、第２全結合層６４と、第１出力層６６と、第３全結合層６８と、第２出力層７０とを有する。尚、第２全結合層６４及び第１出力層６６は、第３全結合層６８及び第２出力層７０に対して並列に接続されている。
第１全結合層６２は、予め設定されたバイアス値及び重みを含む活性化関数によって定義される複数のユニット（ニューロンともいう）を有する。第１全結合層６２の各ユニットは、第３プーリング層６０の全てのユニットと接続されている。従って、第１全結合層６２の各ユニットは、第３プーリング層６０の全てのユニットが出力した全ての特徴マップを取得する。第１全結合層６２の各ユニットの活性化関数のバイアス値及び重みは、人体特徴情報及び行動認識情報の両方を生成するための第１全結合情報を生成可能に、機械学習等によって予め設定されている。第１全結合層６２の各ユニットは、第３プーリング層６０から取得した全ての特徴マップに、活性化関数に基づく第１全結合処理を実行することにより、複数の特徴マップを結合させた第１全結合情報を生成する。具体的には、第１全結合層６２は、人体特徴情報及び行動認識情報を生成するための多次元のベクトルを第１全結合情報として生成する。尚、第１全結合層６２が出力する第１全結合情報のベクトルの次元数は、後段の人体特徴情報及び行動認識情報に応じて設定され、例えば、２７次元である。例えば、第１全結合情報は、乗員の特徴を示す人体特徴情報である。尚、人体特徴情報の詳細は後述する。第１全結合層６２の各ユニットは、生成した第１全結合情報を第２全結合層６４の全ユニット及び第３全結合層６８の全ユニットへ出力する。即ち、第１全結合層６２は、同じ複数の第１全結合情報を第２全結合層６４及び第３全結合層６８のそれぞれに出力する。
第２全結合層６４は、バイアス値及び重みを含む活性化関数によって定義される複数のユニット（ニューロンともいう）を有する。第２全結合層６４のユニットの個数は、出力する人体特徴情報の次元数と同じである。第２全結合層６４の各ユニットは、第１全結合層６２の全ユニットと接続されている。従って、第２全結合層６４の各ユニットは、第１全結合層６２のユニットの個数と同じ数の第１全結合情報を取得する。第２全結合層６４の活性化関数のバイアス値及び重みは、予め定められた乗員の複数の特徴を抽出した人体特徴情報を生成可能に、乗員の特徴と関連付けられた教師画像を用いた機械学習等によって予め設定されている。第２全結合層６４は、第１全結合層６２から取得した全ての第１全結合情報に活性化関数に基づく第２全結合処理を実行することにより、第１全結合情報を結合させて乗員の特徴を示す人体特徴情報を生成して、第１出力層６６へ出力する。例えば、第２全結合層６４は、乗員の特徴を示す多次元（例えば、２７次元）のベクトルを人体特徴情報として生成してよい。具体的には、第２全結合層６４は、乗員の特徴として、人体の複数の部位及び領域のそれぞれの位置、体重、座高（または身長）等を示す複数（例えば、１２個）の２次元ベクトル（合計２４次元ベクトル）を人体特徴情報の一部として生成してよい。ここでいう、人体の複数の部位は、例えば、人体上の端点（顔の上下端部）及び関節（腕の付け根、足の付け根、肘、手首等）等を含む。また、第２全結合層６４は、乗員の特徴として、乗員の顔の向きを示す３次元ベクトルを人体特徴情報の一部として生成してよい。尚、第１全結合情報が人体特徴情報の場合、第２全結合層６４は、第１全結合情報よりも精度の高い人体特徴情報を出力する。この場合、第２全結合層６４は、第１全結合層６２と同じ構成であってもよい。このように、第２全結合層６４は、乗員の特徴として人体の部位に着目し、人物以外の情報を低減した人体特徴情報である第１全結合情報から人体特徴情報を生成するので、環境変化等によるノイズ（例えば、乗員の行動等）の影響の少ない人体特徴情報を生成できる。
第１出力層６６は、第１出力処理を実行することにより、第２全結合層６４の出力を、第１出力層６６の出力として最終的に得たい出力に絞り込みまたは選定した人体特徴情報を後半部４２へ出力する。
第３全結合層６８は、予め設定されたバイアス値及び重みを含む活性化関数によって定義される複数のユニット（ニューロンともいう）を有する。第３全結合層６８のユニットの個数は、出力する行動認識情報の次元数と同じである。第３全結合層６８の各ユニットは、第１全結合層６２の全ユニットと接続されている。従って、第３全結合層６８の各ユニットは、第１全結合層６２のユニットの個数と同じ数の第１全結合情報を取得する。第３全結合層６８の活性化関数のバイアス値及び重みは、乗員の現在の行動に関する情報である行動認識情報を生成可能に、乗員の行動と関連付けられた教師画像を用いた機械学習等によって予め設定されている。第３全結合層６８は、第１全結合層６２から取得した全ての第１全結合情報に活性化関数に基づく第３全結合処理を実行することにより、第１全結合情報を結合させて予め定められた複数の行動認識ラベルの確率分布を示す行動認識情報を生成して、第２出力層７０へ出力する。行動認識ラベルは、例えば、ステアリング保持、コンソール操作、及び、扉ＤＲａ、ＤＲｂの開閉等の乗員の行動に付与されたラベルであって、数値データ２９の一部として格納部２４に格納されていてよい。例えば、第３全結合層６８は、乗員の複数の行動認識ラベルのそれぞれの確率を示す確率分布を多次元のベクトルで示した行動認識情報を生成してよい。行動認識情報のベクトルの次元数は、行動認識ラベルの個数と等しく、例えば、１１次元である。行動認識情報の多次元ベクトルの各座標系は行動認識ラベルのいずれかに対応し、各座標系の値は行動認識ラベルの確率に対応する。このように、第３全結合層６８は、乗員の行動に着目し、人物以外の情報を低減した人体特徴情報である第１全結合情報から行動認識情報を生成するので、人物以外に関する環境変化等によるノイズ（例えば、乗員の周囲の荷物及び自動車の部品（サンバイザー等）の状態等）の影響の少ない行動認識情報を生成できる。
第２出力層７０は、第２出力処理を実行することにより、第３全結合層６８から取得した行動認識情報を正規化して、後半部４２へ出力する。
後半部４２は、前半部４０が出力した時刻の異なる複数の人体特徴情報及び複数の行動認識情報から対象の乗員の未来（例えば、数秒後）の行動に関する行動予測情報を生成して、乗員の未来の行動に関する情報を車両制御装置１６へ出力する。後半部４２は、第１時系列型ニューラルネットワーク部（以下、第１時系列型ＮＮ部）７２と、第２時系列型ニューラルネットワーク部（以下、第２時系列型ＮＮ部）７４と、第４全結合層７６と、第３出力層７８とを有する。
第１時系列型ＮＮ部７２は、複数（例えば、５０）のユニットを有するリカレントニューラルネットワークである。第１時系列型ＮＮ部７２のユニットは、例えば、リセットゲート及び更新ゲートを有し、予め定められた重みによって定義されるＧＲＵ（Gated Recurrent Unit）である。第１時系列型ＮＮ部７２の各ユニットは、第１出力層６６が出力した多次元ベクトルの時刻ｔの人体特徴情報及び行動認識情報と、時刻ｔ−Δｔの人体特徴情報及び行動認識情報を取得したユニットが出力した情報（以下、第１ユニット出力情報）とを取得する。尚、Δｔは、予め定められた時間であって、例えば、入力層４４が取得する画像の時間間隔である。第１時系列型ＮＮ部７２のユニットは、予めメモリ２２等に記憶させたデータから過去（例えば、時刻ｔ−Δｔ）の人体特徴情報及び行動認識情報を取得してよい。第１時系列型ＮＮ部７２の各ユニットは、時刻ｔの人体特徴情報及び行動認識情報と、時刻ｔ−Δｔの第１ユニット出力情報とから時刻ｔの第１ユニット出力情報を生成する。第１時系列型ＮＮ部７２の各ユニットは、生成した時刻ｔの第１ユニット出力情報を、第２時系列型ＮＮ部７４の対応するユニットに出力するとともに、時刻ｔ＋Δｔの人体特徴情報及び行動認識情報を取得する第１時系列型ＮＮ部７２の対応するユニットに出力する。換言すれば、第１時系列型ＮＮ部７２は、第１出力層６６から取得した時刻の異なる複数の人体特徴情報を取得して、第２出力層７０から時刻の異なる多次元ベクトルの複数の行動認識情報を取得する。第１時系列型ＮＮ部７２は、上述の各処理を含む第１時系列型ＮＮ処理によって、人体特徴情報及び行動認識情報から生成した複数の第１ユニット出力情報を要素とする多次元ベクトル（例えば、５０次元ベクトル）の情報を第１ＮＮ出力情報として生成して、第２時系列型ＮＮ部７４へ出力する。第１ＮＮ出力情報の次元数は、ユニットの個数と同じである。
第２時系列型ＮＮ部７４は、複数（例えば、５０）のユニットを有するリカレントニューラルネットワークである。第２時系列型ＮＮ部７４のユニットの個数は、第１時系列型ＮＮ部７２のユニットの個数と同じである。第２時系列型ＮＮ部７４のユニットは、例えば、リセットゲート及び更新ゲートを有し、予め定められた重みによって定義されるＧＲＵである。第２時系列型ＮＮ部７４の各ユニットは、第１時系列型ＮＮ部７２が出力した多次元ベクトルである第１ユニット出力情報と、時刻ｔ−Δｔの第１ユニット出力情報を取得したユニットが出力した情報（以下、第２ユニット出力情報）とを取得する。尚、第２時系列型ＮＮ部７４のユニットは、予めメモリ２２等に記憶させたデータから過去（例えば、時刻ｔ−Δｔ）の第１ユニット出力情報を取得してよい。第２時系列型ＮＮ部７４の各ユニットは、時刻ｔの第１ユニット出力情報と、時刻ｔ−Δｔの第１ユニット出力情報から生成された第２ユニット出力情報とから時刻ｔの第２ユニット出力情報を生成する。第２時系列型ＮＮ部７４の各ユニットは、生成した時刻ｔの第２ユニット出力情報を、後述する第４全結合層７６の全てのユニットに出力するとともに、時刻ｔ＋Δｔの第１ユニット出力情報を取得する第２時系列型ＮＮ部７４のユニットに出力する。換言すれば、第２時系列型ＮＮ部７４は、第１時系列型ＮＮ部７２の各ユニットが出力した時刻の異なる複数の第１ユニット出力情報を取得する。第２時系列型ＮＮ部７４は、上述の各処理を含む第２時系列型ＮＮ処理によって、複数の第１ユニット出力情報から生成した複数の第２ユニット出力情報を要素とする多次元ベクトル（例えば、５０次元ベクトル）の情報を第２ＮＮ出力情報として第４全結合層７６の全てのユニットに出力する。第２ＮＮ出力情報の次元数は、ユニットの個数及び第１ユニット出力情報の次元数と同じである。
第４全結合層７６は、予め設定されたバイアス値及び重みを含む活性化関数によって定義される複数のユニットを有する。第４全結合層７６の各ユニットは、第２時系列型ＮＮ部７４の各ユニットが出力した全ての第２ユニット出力情報を含む多次元ベクトルの第２ＮＮ出力情報を取得する。第４全結合層７６は、活性化関数を用いた第４全結合処理によって、第２ＮＮ出力情報を結合させて次元数を増加させた多次元ベクトルの第２全結合情報を生成して、第３出力層７８へ出力する。第４全結合層７６は、例えば、第２ユニット出力情報が５０次元のベクトルの場合、１２８次元のベクトルの第２全結合情報を生成する。
第３出力層７８は、予め設定されたバイアス値及び重みを含む活性化関数によって定義される複数のユニットを有する。第３出力層７８の活性化関数のバイアス値及び重みは、乗員の未来の行動に関する情報である行動予測情報を生成可能に、乗員の行動と関連付けられた教師画像を用いた機械学習等によって予め設定されている。ユニットの個数は、予測する乗員の行動を示す行動予測ラベルの個数（例えば、１１個）と同じである。即ち、各ユニットは、いずれかの行動予測ラベルと対応付けられている。行動予測ラベルは、数値データ２９の一部として格納部２４に格納されていてよい。第３出力層７８の各ユニットは、第４全結合層７６から取得した第２全結合情報を活性化関数によって演算することにより、対応する行動予測ラベルの確率を算出する。尚、複数の行動認識ラベルは、複数の行動予測ラベルと必ずしも一致していなくてもよい。このように構成しても、後半部４２の第３出力層７８は、前半部４０の行動認識情報を用いて、複数の行動認識ラベルに含まれていない行動予測ラベルの確率を予測できる。第３出力層７８は、複数の行動予測ラベルのそれぞれに算出した確率を対応付けた複数の行動予測ラベルの確率分布を、多次元ベクトルで示した行動予測情報として生成してよい。尚、第３出力層７８は、各行動予測ラベルの確率を正規化してもよい。行動予測情報のベクトルの各座標系は行動予測ラベルのいずれかに対応し、各座標系の値は行動予測ラベルの確率に対応する。行動予測情報の次元数は、行動予測ラベルの個数及び第３出力層７８のユニットの個数と同じである。従って、第３出力層７８のユニット数が、第２全結合情報の次元数よりも少ない場合、行動予測情報の次元数は第２全結合情報の次元数よりも少なくなる。第３出力層７８は、生成した行動予測情報から最も確率の高い行動予測ラベルを選択する。第３出力層７８は、上述の各処理を含む第３出力処理によって選択した最も確率の高い行動予測ラベルを車両制御装置１６等に出力する。尚、第３出力層７８は、上述の各処理を含む第３出力処理によって生成した行動予測情報を車両制御装置１６等に出力してもよい。
図３は、画像処理装置１２の処理部２０が実行する画像処理のフローチャートである。処理部２０は、画像処理プログラム２８を読み込むことによって、画像処理を実行する。
図３に示すように、画像処理では、入力層４４が、１または複数の画像を取得して、第１畳み込み層５０の各フィルタに出力する（Ｓ１０２）。第１畳み込み層５０の各フィルタは、入力層４４から取得した全ての画像に第１畳み込み処理を実行して生成した特徴マップを第１プーリング層５２の対応するユニットへ出力する（Ｓ１０４）。第１プーリング層５２の各ユニットは、第１畳み込み層５０から取得した特徴マップに第１プーリング処理を実行して圧縮または小型化した特徴マップを、第２畳み込み層５４の全フィルタへ出力する（Ｓ１０６）。第２畳み込み層５４の各ユニットは、第１プーリング層５２から取得した全ての特徴マップに第２畳み込み処理を実行して、新たな特徴が抽出された特徴マップを生成して第２プーリング層５６の対応するユニットへ出力する（Ｓ１０８）。第２プーリング層５６の各ユニットは、第２畳み込み層５４のユニットから取得した特徴マップに第２プーリング処理を実行して圧縮または小型化した特徴マップを、第３畳み込み層５８の全フィルタへ出力する（Ｓ１１０）。第３畳み込み層５８の各ユニットは、第２プーリング層５６から取得した全ての特徴マップに第３畳み込み処理を実行して、新たな特徴が抽出された特徴マップを生成して第３プーリング層６０の対応するユニットへ出力する（Ｓ１１２）。第３プーリング層６０の各ユニットは、第３畳み込み層５８のユニットから取得した特徴マップに第３プーリング処理を実行して圧縮または小型化した特徴マップを、第１全結合層６２の全ユニットへ出力する（Ｓ１１４）。
第１全結合層６２の各ユニットは、第３プーリング層６０から取得した特徴マップを第１全結合処理によって結合させた人体特徴情報を第１全結合情報として生成して、第２全結合層６４の全ユニット及び第３全結合層６８の全ユニットへ出力する（Ｓ１１６）。第２全結合層６４の各ユニットは、取得した全ての第１全結合情報に第２全結合処理を実行して結合することによって、精度を高めた人体特徴情報を生成して第１出力層６６に出力する（Ｓ１１８）。第１出力層６６は、第２全結合層６４から取得した人体特徴情報に第１出力処理を実行して生成した新たな人体特徴情報を第１時系列型ＮＮ部７２へ出力する（Ｓ１２０）。第３全結合層６８の各ユニットは、取得した全ての第１全結合情報に第３全結合処理を実行して結合することによって、行動認識情報を生成して第２出力層７０に出力する（Ｓ１２２）。第２出力層７０は、第３全結合層６８から取得した行動認識情報に第２出力処理を実行して正規化した新たな行動認識情報を第１時系列型ＮＮ部７２へ出力する（Ｓ１２４）。尚、ステップＳ１１８及びＳ１２０と、ステップＳ１２２及びＳ１２４は、順序を入れて替えてもよく、並列で実行してもよい。
第１時系列型ＮＮ部７２の各ユニットは、第１出力層６６及び第２出力層７０から取得した時刻の異なる複数の人体特徴情報及び行動認識情報に第１時系列型ＮＮ処理を実行して、第１ユニット出力情報を生成して第２時系列型ＮＮ部７４の対応するユニットへ出力する（Ｓ１２６）。第２時系列型ＮＮ部７４の各ユニットは、第１時系列型ＮＮ部７２から取得した時刻の異なる複数の第１ユニット出力情報に第２時系列型ＮＮ処理を実行して、複数の第２ユニット出力情報を生成して第４全結合層７６の全ユニットへ出力する（Ｓ１２８）。
第４全結合層７６は、第２ユニット出力情報に第４全結合処理を実行して生成した第２全結合情報を第３出力層７８へ出力する（Ｓ１３０）。第３出力層７８は、第２全結合情報に第３出力処理を実行して生成した行動予測情報から選択した最も確率の高い行動予測ラベル、または、行動予測情報を車両制御装置１６へ出力する（Ｓ１３２）。
上述したように第１実施形態の画像処理装置１２は、乗員の画像の情報から生成した第１全結合情報から質の異なる２種類の人体特徴情報及び行動認識情報を生成して出力するので、１種類の第１全結合情報から質の異なる２種類の情報（即ち、人体特徴情報及び行動認識情報）を出力できる。
画像処理装置１２では、第１全結合層６２が第２全結合層６４及び第３全結合層６８のそれぞれに同じ第１全結合情報を出力している。このように、画像処理装置１２は、同じ第１全結合情報から人体特徴情報及び行動認識情報を生成するので、アーキテクチャー等の構成の複雑化を抑制しつつ、質の異なる２種類の情報を出力できるとともに、処理に要する時間を短縮できる。
画像処理装置１２では、後半部４２が、前半部４０によって生成された時刻の異なる複数の人体特徴情報及び複数の行動認識情報から行動予測情報を生成する。このように、画像処理装置１２は、１個の装置に搭載した構成（アーキテクチャー）によって画像から人体特徴情報及び行動認識情報とともに行動予測情報を生成することができる。また、画像処理装置１２は、１個の装置で各情報を生成することにより、行動認識及び行動予測に要するバイアス及び重み等を合わせてチューニングできるので、チューニング作業を簡略化できる。
画像処理装置１２では、後半部４２が、予め定められた複数の行動予測ラベルの確率分布を行動予測情報として生成する。これにより、画像処理装置１２は、可能性のある乗員の複数の行動の確率を予測して生成することができる。
画像処理装置１２では、後半部４２が、行動予測情報から最も確率の高い行動予測ラベルを選択して出力している。これにより、画像処理装置１２は、乗員の未来の行動を１つに絞って、出力先の車両制御装置１６等の処理負担を低減することができる。
画像処理装置１２では、第１全結合層６２が、特徴マップを結合させて生成した乗員の特徴に関する人体特徴情報を第１全結合情報として、後段の第２全結合層６４及び第３全結合層６８に出力している。これにより、第２全結合層６４は、人体特徴情報の精度をより向上させることができる。また、第３全結合層６８は、人物以外の情報である、車室内に荷物が有るまたは無い等の環境変化等の影響を低減して、精度の高い行動認識情報を生成できる。この結果、後半部４２は、精度の高い人体特徴情報及び行動認識情報に基づいて、より精度の高い行動予測情報を生成して出力できる。
画像処理装置１２では、乗員の行動と関連付けた教師画像を用いた機械学習によって、第３全結合層６８及び第３出力層７８等の活性化関数のバイアス及び重みを予め設定している。これにより、画像処理装置１２は、画像と行動とを関連付けることによって、行動認識及び行動予測ができる。
＜第２実施形態＞
図４は、第２実施形態の処理部２０の機能を説明する機能ブロック図である。第２実施形態の画像処理装置１２の処理部２０は、結合部４８Ａの構成が第１実施形態とは異なる。
図４に示すように、第２実施形態の結合部４８Ａは、第１全結合層６２Ａと、第２全結合層６４Ａと、第１出力層６６Ａと、第３全結合層６８Ａと、第２出力層７０Ａとを有する。
第１全結合層６２Ａは、第３プーリング層６０から取得した複数の特徴マップから生成した人体特徴情報を第１全結合情報として第２全結合層６４Ａへ出力する。
第２全結合層６４Ａは、第１全結合情報から人体特徴情報を生成する。第２全結合層６４Ａは、取得した第１全結合情報とともに、生成した人体特徴情報を第１出力層６６Ａ及び第３全結合層６８Ａへ出力する。
第１出力層６６Ａは、人体特徴情報を取得する。第１出力層６６Ａは、取得した人体特徴情報を後半部４２の第１時系列型ＮＮ部７２へ出力する。
第３全結合層６８Ａは、第１全結合情報から行動認識情報を生成する。第３全結合層６８Ａは、行動認識情報を第２出力層７０Ａへ出力する。
第２出力層７０Ａは、行動認識情報を正規化する。第２出力層７０Ａは、人体特徴情報とともに、正規化した行動認識情報を後半部４２の第１時系列型ＮＮ部７２へ出力する。
上述した各実施形態の構成の機能、接続関係、個数、配置等は、発明の範囲及び発明の範囲と均等の範囲内で適宜変更、削除等してよい。各実施形態を適宜組み合わせてもよい。各実施形態の各ステップの順序を適宜変更してよい。
上述の実施形態では、３組の畳み込み層５０、５４、５８及びプーリング層５２、５６、６０を有する画像処理装置１２を例に挙げたが、畳み込み層及びプーリング層の組数は適宜変更してよい。例えば、畳み込み層及びプーリング層の組数は、１組または複数組であってよい。
上述の実施形態では、２個の時系列型ＮＮ部７２、７４を有する例を挙げたが、時系列型ＮＮ部の個数は適宜変更してよい。例えば、時系列型ＮＮ部の個数は、１または複数であってよい。
上述の実施形態では、ＧＲＵを有するリカレントニューラルネットワークを時系列型ＮＮ部７２、７４の例として挙げたが、時系列型ＮＮ部７２、７４の構成は適宜変更してよい。例えば、時系列型ＮＮ部７２、７４は、ＬＳＴＭ（Long Short-Term Memory）等を有するリカレントニューラルネットワークであってよい。
上述の実施形態では、第１全結合情報が人体特徴情報である例を挙げて説明したが、第１全結合情報は、これに限定されず、特徴マップを結合した情報であればよい。
上述の実施形態では、自動車に搭載されて乗員の行動を認識または予測する画像処理装置１２を例に挙げて説明したが、画像処理装置１２はこれに限定されない。例えば、画像処理装置１２は、野外等の人物の行動を認識または予測してもよい。
１０：画像処理システム、１２：画像処理装置、４０：前半部、４２：後半部、５０：第１畳み込み層、５２：第１プーリング層、５４：第２畳み込み層、５６：第２プーリング層、５８：第３畳み込み層、６０：第３プーリング層、６２、６２Ａ：第１全結合層、６４、６４Ａ：第２全結合層、６８、６８Ａ：第３全結合層。

Claims (7)

  1. 人物の画像を含む入力画像の情報に畳み込み処理及びプーリング処理を実行して入力画像から特徴を抽出して複数の特徴マップを生成する抽出部と、
    前記複数の特徴マップを結合させて生成した第１全結合情報を出力する第１全結合層と、
    前記第１全結合情報を結合させて、予め定められた前記人物の特徴を示す人体特徴情報を出力する第２全結合層と、
    前記第１全結合情報または前記人体特徴情報を結合させて、予め定められた複数の行動認識ラベルの確率分布を示す行動認識情報を出力する第３全結合層と、
    を備える画像処理装置。
  2. 前記第１全結合層は、前記第２全結合層及び前記第３全結合層のそれぞれに前記第１全結合情報を出力する
    請求項１に記載の画像処理装置。
  3. 時刻の異なる複数の前記人体特徴情報及び複数の前記行動認識情報から前記人物の未来の行動に関する行動予測情報を生成する後半部
    を更に備える請求項１または２に記載の画像処理装置。
  4. 前記後半部は、予め定められた複数の行動予測ラベルの確率分布を前記行動予測情報として生成する
    請求項３に記載の画像処理装置。
  5. 前記後半部は、前記行動予測情報から確率の最も高い前記行動予測ラベルを選択して出力する
    請求項４に記載の画像処理装置。
  6. 前記第１全結合層は、予め定められた前記人物の特徴を示す人体特徴情報を前記第１全結合情報として出力する
    請求項１から５のいずれか１項に記載の画像処理装置。
  7. 人物の画像を含む入力画像の情報に畳み込み処理及びプーリング処理を実行して入力画像から特徴を抽出して複数の特徴マップを生成する抽出部と、
    前記複数の特徴マップを結合させて生成した第１全結合情報を出力する第１全結合層と、
    前記第１全結合情報を結合させて、予め定められた前記人物の特徴を示す人体特徴情報を出力する第２全結合層と、
    前記第１全結合情報または前記人体特徴情報を結合させて、予め定められた複数の行動認識ラベルの確率分布を示す行動認識情報を出力する第３全結合層と、
    してコンピュータを機能させるプログラム。
JP2017182748A 2017-09-22 2017-09-22 画像処理装置及びプログラム Active JP6969254B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017182748A JP6969254B2 (ja) 2017-09-22 2017-09-22 画像処理装置及びプログラム
US16/131,204 US20190095706A1 (en) 2017-09-22 2018-09-14 Image processing device and program
DE102018123112.1A DE102018123112A1 (de) 2017-09-22 2018-09-20 Bildverarbeitungsvorrichtung und Programm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017182748A JP6969254B2 (ja) 2017-09-22 2017-09-22 画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2019057247A JP2019057247A (ja) 2019-04-11
JP6969254B2 true JP6969254B2 (ja) 2021-11-24

Family

ID=65638288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017182748A Active JP6969254B2 (ja) 2017-09-22 2017-09-22 画像処理装置及びプログラム

Country Status (3)

Country Link
US (1) US20190095706A1 (ja)
JP (1) JP6969254B2 (ja)
DE (1) DE102018123112A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339445B2 (en) * 2016-10-10 2019-07-02 Gyrfalcon Technology Inc. Implementation of ResNet in a CNN based digital integrated circuit
US10360470B2 (en) * 2016-10-10 2019-07-23 Gyrfalcon Technology Inc. Implementation of MobileNet in a CNN based digital integrated circuit
US10366328B2 (en) * 2017-09-19 2019-07-30 Gyrfalcon Technology Inc. Approximating fully-connected layers with multiple arrays of 3x3 convolutional filter kernels in a CNN based integrated circuit
US10706267B2 (en) * 2018-01-12 2020-07-07 Qualcomm Incorporated Compact models for object recognition
US11587329B2 (en) * 2019-12-27 2023-02-21 Valeo Schalter Und Sensoren Gmbh Method and apparatus for predicting intent of vulnerable road users
US11887384B2 (en) * 2021-02-02 2024-01-30 Black Sesame Technologies Inc. In-cabin occupant behavoir description
CN113807236B (zh) * 2021-09-15 2024-05-17 北京百度网讯科技有限公司 车道线检测的方法、装置、设备、存储介质及程序产品

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4783181B2 (ja) * 2006-03-13 2011-09-28 株式会社東芝 行動予測装置
JP5217754B2 (ja) 2008-08-06 2013-06-19 株式会社デンソー 行動推定装置、プログラム
JP5569227B2 (ja) 2010-07-30 2014-08-13 トヨタ自動車株式会社 行動予測装置及び行動予測方法及び運転支援装置
CN105095094B (zh) * 2014-05-06 2018-11-30 华为技术有限公司 内存管理方法和设备
CN107430677B (zh) * 2015-03-20 2022-04-12 英特尔公司 基于对二进制卷积神经网络特征进行提升的目标识别
JP2016212688A (ja) * 2015-05-11 2016-12-15 日本電信電話株式会社 関節位置推定装置、方法、及びプログラム
WO2016197303A1 (en) * 2015-06-08 2016-12-15 Microsoft Technology Licensing, Llc. Image semantic segmentation
US10037671B2 (en) * 2015-06-29 2018-07-31 Echocare Technologies Ltd. Human respiration feature extraction in personal emergency response systems and methods
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
JP6658033B2 (ja) * 2016-02-05 2020-03-04 富士通株式会社 演算処理回路、および情報処理装置
KR20180060257A (ko) * 2016-11-28 2018-06-07 삼성전자주식회사 객체 인식 방법 및 장치
CN106778856A (zh) * 2016-12-08 2017-05-31 深圳大学 一种物体识别方法及装置
KR102419136B1 (ko) * 2017-06-15 2022-07-08 삼성전자주식회사 다채널 특징맵을 이용하는 영상 처리 장치 및 방법

Also Published As

Publication number Publication date
JP2019057247A (ja) 2019-04-11
DE102018123112A1 (de) 2019-03-28
US20190095706A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
JP6969254B2 (ja) 画像処理装置及びプログラム
CN112590794B (zh) 确定车辆驾驶员接管车辆控制的能力估计值的方法和装置
US9501693B2 (en) Real-time multiclass driver action recognition using random forests
US20190065872A1 (en) Behavior recognition apparatus, learning apparatus, and method and program therefor
JP6443393B2 (ja) 行動認識装置，学習装置，並びに方法およびプログラム
EP3033999B1 (en) Apparatus and method for determining the state of a driver
US9330308B2 (en) Apparatus method and computer-readable medium that detects different regions of user's hand for recognizing gesture for carrying out operation of vehicle
Cheng et al. Vision-based infotainment user determination by hand recognition for driver assistance
EP3755597A1 (en) Method for distress and road rage detection
US11256936B2 (en) Vehicle occupant count monitoring system
US11132534B2 (en) Monitoring system
WO2003091941A1 (en) High-performance object detection with image data fusion
Roy et al. Multi-modality sensing and data fusion for multi-vehicle detection
US10894546B2 (en) Method and apparatus for in-vehicle impairment detection with driver verification
CN112487844A (zh) 手势识别方法、电子设备、计算机可读存储介质和芯片
JP2016115117A (ja) 判定装置および判定方法
US11572039B2 (en) Confirmed automated access to portions of vehicles
CN113906442A (zh) 活动识别方法和设备
CN112046497A (zh) 驾驶辅助设备、驾驶辅助方法和驾驶辅助程序
JP2016115120A (ja) 開閉眼判定装置および開閉眼判定方法
EP3992906A1 (en) Information processing method and information processing system
US10981574B2 (en) Biological information storage system and in-vehicle biological information storage device
KR101976498B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
EP3581971A1 (en) State determination device, learning device, state determination method, and program
JP7000834B2 (ja) 機械学習のモデルパラメータの学習装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211011

R150 Certificate of patent or registration of utility model

Ref document number: 6969254

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150