JP7351889B2

JP7351889B2 - 車室内監視・状況理解感知方法及びそのシステム

Info

Publication number: JP7351889B2
Application number: JP2021195974A
Authority: JP
Inventors: 義傑林
Original assignee: 財団法人車輌研究測試中心
Priority date: 2021-12-02
Filing date: 2021-12-02
Publication date: 2023-09-27
Anticipated expiration: 2041-12-02
Also published as: JP2023082303A

Description

本発明は、車室内監視・状況理解感知方法及びそのシステムに関し、特に車室内外及び車室内の人間の行動を監視することができ、且つ車両と車室内の人間との間の能動的なマンマシンインタラクションを有する車室内監視・状況理解感知方法及びそのシステムに関する。

経済及び科学技術の迅速的な発展に伴い、各都市及び道路で走行する車両も多くなっている。しかしながら、生活上のストレス及び精神的緊張状態の影響によって、疲労運転、運転時の注意力の低下及び乗員行動の異常を引き起こしやすく、更に車室外の突発事態に遭遇する。従って、車室内外の監視及び車両環境の感知によって車両運転時の安全性を大幅に向上させることができる。

近年、車両に適用される運転者監視システム（ＤｒｉｖｅｒＭｏｎｉｔｏｒｉｎｇＳｙｓｔｅｍ；ＤＭＳ）及び視覚的質問応答（ＶｉｓｕａｌＱｕｅｓｔｉｏｎＡｎｓｗｅｒｉｎｇ；ＶＱＡ）は、日々発展している。しかしながら、ＤＭＳの監視範囲は、かなり限定されており、且つ現在車両市場の動向としては、広視野（ＦｉｅｌｄＯｆＶｉｅｗ；ＦＯＶ）での監視能力の実現が主に注目されている。一方、従来のＶＱＡは、依然として車両と人間との間の能動的なマンマシンインタラクションを欠いている。

また、視覚情報に基づくＤＭＳは、通常、機械視覚技術又は検知器によって運転者の顔特徴及び視線方向を検出することで運転者の精神状態を判定するが、従来の運転者監視方法は、検出過程で車室内の環境及び撮像レンズの撮影角度の影響を受けやすく、例えば、薄暗い光線で評価する場合に誤判定を引き起こしやすく、検出結果の有効性及び精度が低下する。

これに鑑み、従来のＤＭＳ及びＶＱＡに存在する問題に対して、車室内の運転者及び乗員を効果的に監視すると共に車両と人間との間の能動的なマンマシンインタラクションを行うことができる車室内監視・状況理解感知方法及びそのシステムを如何に確立するかは、実に人々が切望していることであり、関連業者が鋭意研究しなければならない目標及び方向でもある。

従って、本発明の目的は、敵対的生成ネットワークモデルによって車室内画像を適正露光値に調整した後、運転者又は乗員に顔認識及び人体姿勢検出を行うことにより、検出結果の精度を確保する車室内監視・状況理解感知方法及びそのシステムを提供する。また、本発明は、車室内外の画像情報と音声情報を整合して車両と人間との間の能動的なマンマシンインタラクションを達成し、更に車室内外のシーンの解析及び安全性の向上を実現する。

本発明の一実施形態によれば、車室内を監視して状況理解結果を感知するための車室内監視・状況理解感知方法であって、第１の撮影ユニットが車室内からオーバー露光画像、適正露光画像及び低露光画像を含む車室内画像をキャプチャして車室内画像を記憶ユニットに記憶するように駆動する車室内画像キャプチャ工程と、演算処理ユニットが記憶ユニットからの車室内画像のオーバー露光画像、適正露光画像及び低露光画像に基づいて敵対的生成ネットワークモデルを確立するように駆動する敵対的生成ネットワークモデル確立工程と、演算処理ユニットが敵対的生成ネットワークモデルに基づいて車室内画像を調整して適正露光画像に近似する近似画像を生成するように駆動する画像調整工程と、演算処理ユニットが顔認識モデル及び人体姿勢検出モデルに基づいて近似画像を処理して顔認識結果及び人体姿勢検出結果を生成するように駆動する車室内監視工程と、第２の撮影ユニットが車室外画像をキャプチャして車室外画像を記憶ユニットに記憶するように駆動し、且つオーディオユニットが車室内から音声情報をキャプチャして音声情報を記憶ユニットに記憶するように駆動する車室外画像及び音声キャプチャ工程と、演算処理ユニットが状況理解モデルに基づいて近似画像、車室外画像及び音声情報のうちの少なくとも１つを処理して状況理解結果を感知するように駆動する状況理解感知工程と、を含む車室内監視・状況理解感知方法を提供する。

それにより、本発明の車室内監視・状況理解感知方法は、オーバー露光画像、適正露光画像及び低露光画像に基づいて敵対的生成ネットワークモデルを確立することにより、車室内画像を適正露光値に調整し、更にその後で感知された状況理解結果が高い精度を有することを確保する。

前記実施形態の他の実施例としては、前記敵対的生成ネットワークモデル確立工程は、演算処理ユニットがオーバー露光画像に基づいてオーバー露光弁別器を確立するように駆動するオーバー露光弁別器確立工程と、演算処理ユニットが低露光画像に基づいて低露光弁別器を確立するように駆動する低露光弁別器確立工程と、を含み、敵対的生成ネットワークモデルは、生成器、オーバー露光弁別器及び低露光弁別器で構成される。

前記実施形態の他の実施例としては、前記画像調整工程は、演算処理ユニットがオーバー露光画像及び低露光画像を生成器に入力して融合画像を生成するように駆動する融合画像生成工程と、演算処理ユニットが融合画像と低露光画像を比較して第１の輝度差分値を生成して第１の輝度差分値をオーバー露光弁別器に入力し、且つ融合画像とオーバー露光画像を比較して第２の輝度差分値を生成して第２の輝度差分値を低露光弁別器に入力するように駆動する輝度比較工程と、オーバー露光弁別器が第１の輝度差分値及びオーバー露光画像に基づいて第１の敵対的結果を生成器に出力するように駆動し、且つ低露光弁別器が第２の輝度差分値及び低露光画像に基づいて第２の敵対的結果を生成器に出力するように駆動する敵対的結果生成工程と、生成器が第１の敵対的結果及び第２の敵対的結果に基づいて車室内画像を調整して適正露光画像に近似する近似画像を生成するように駆動する輝度近似工程と、を含む。

前記実施形態の他の実施例としては、前記記憶ユニットは、許容値にアクセスし、画像調整工程は、演算処理ユニットが近似画像及び適正露光画像に対して、近似画像と適正露光画像との間の輝度差分値が許容値内にあるか否かを確認する評価演算プログラムを実行するように駆動する輝度確認工程を更に含み、輝度差分値が許容値内にある場合、引き続き車室内監視工程を実行し、輝度差分値が許容値を超えた場合、演算処理ユニットは、第１の敵対的結果及び第２の敵対的結果に基づいて生成器を更新する。

前記実施形態の他の実施例としては、前記車室内監視工程は、演算処理ユニットが顔認識モデルに基づいて近似画像から複数の顔キーポイント及び複数の頭部角度点をキャプチャし、前記顔キーポイント及び前記頭部角度点を演算して顔認識結果を生成するように駆動する顔認識工程と、演算処理ユニットが人体姿勢検出モデルに基づいて近似画像から人体骨格を推定し、人体骨格を演算して人体姿勢検出結果を生成するように駆動する人体姿勢推定工程と、を含む。

本発明の別の実施形態によれば、車室内を監視して状況理解結果を感知するための車室内監視・状況理解感知方法であって、第１の撮影ユニットが車室内から車室内画像をキャプチャして車室内画像を記憶ユニットに記憶するように駆動する車室内画像キャプチャ工程と、演算処理ユニットが敵対的生成ネットワークモデルに基づいて記憶ユニットにおける車室内画像を調整して近似画像を生成するように駆動する画像調整工程と、演算処理ユニットが顔認識モデル及び人体姿勢検出モデルに基づいて近似画像を処理して顔認識結果及び人体姿勢検出結果を生成するように駆動する車室内監視工程と、第２の撮影ユニットが車室外画像をキャプチャして車室外画像を記憶ユニットに記憶するように駆動し、且つオーディオユニットが車室内から音声情報をキャプチャして音声情報を記憶ユニットに記憶するように駆動する車室外画像及び音声キャプチャ工程と、演算処理ユニットが近似画像、車室外画像及び音声情報をトレーニングして状況理解モデルを確立するように駆動する状況理解モデル確立工程と、演算処理ユニットが状況理解モデルに基づいて近似画像、車室外画像及び音声情報のうちの少なくとも１つを処理して状況理解結果を感知するように駆動する状況理解感知工程と、を含む車室内監視・状況理解感知方法を提供する。

それにより、本発明の車室内監視・状況理解感知方法は、近似画像、車室外画像及び音声情報の特徴学習を行って状況理解モデルをトレーニングし、車室内外画像及び運転者と乗員の音声情報を導入し、更に車室外のシーンでの音声質問応答及び車室内のシーンでの音声質問応答の監視を実現する。

前記実施形態の他の実施例としては、前記状況理解モデル確立工程は、演算処理ユニットが記憶ユニットを介して近似画像、車室外画像及び音声情報を持続的に更新するように駆動する更新工程と、演算処理ユニットが畳み込みニューラルネットワーク及び回帰型ニューラルネットワークに基づいて更新後の近似画像、車室外画像及び音声情報を整合して状況理解モデルを生成するように駆動する整合工程と、を含む。

前記実施形態の他の実施例としては、前記車室内監視工程は、演算処理ユニットが近似画像における運転者のジェスチャを分析してジェスチャ分析結果を生成するように駆動するジェスチャ分析工程を含み、整合工程では、畳み込みニューラルネットワーク及び回帰型ニューラルネットワークに基づいて更新後のジェスチャ分析結果及び音声情報のうちの少なくとも１つ、近似画像及び車室外画像を整合して、状況理解モデルを生成する。

前記実施形態の他の実施例としては、前記状況理解結果は、車室内判定結果及び車室外判定結果のうちの少なくとも１つを含み、且つ、状況理解感知工程は、演算処理ユニットが状況理解モデルに基づいてジェスチャ分析結果又は音声情報を処理し、続いて近似画像を判定してマンマシンインタラクションの車室内判定結果を生成するように駆動する車室内マンマシンインタラクション判定工程と、演算処理ユニットが状況理解モデルに基づいてジェスチャ分析結果又は音声情報を処理し、続いて車室外画像を判定してマンマシンインタラクションの車室外判定結果を生成するように駆動する車室外マンマシンインタラクション判定工程と、を含む。

本発明の別の実施形態によれば、車室内を監視して状況理解結果を感知するための車室内監視・状況理解感知システムであって、敵対的生成ネットワークモデル、顔認識モデル、人体姿勢検出モデル及び状況理解モデルにアクセスするための記憶ユニットと、記憶ユニットに接続され、且つ車室内から車室内画像をキャプチャして車室内画像を記憶ユニットに記憶する第１の撮影ユニットと、記憶ユニットに接続され、且つ車室外画像をキャプチャして車室外画像を記憶ユニットに記憶する第２の撮影ユニットと、記憶ユニットに接続され、且つ車室内から音声情報をキャプチャして音声情報を記憶ユニットに記憶するオーディオユニットと、記憶ユニットに接続される演算処理ユニットと、を備え、前記演算処理ユニットは、敵対的生成ネットワークモデルに基づいて車室内画像を調整して近似画像を生成する画像調整工程と、顔認識モデル及び人体姿勢検出モデルに基づいて近似画像を処理して顔認識結果及び人体姿勢検出結果を生成する車室内監視工程と、状況理解モデルに基づいて近似画像、車室外画像及び音声情報のうちの少なくとも１つを処理して状況理解結果を感知する状況理解感知工程と、を実施するように配置される車室内監視・状況理解感知システムを提供する。

それにより、本発明の車室内監視・状況理解感知システムは、第１の撮影ユニット及び第２の撮影ユニットによってそれぞれ車室内画像及び車室外画像をキャプチャし、音声情報と共に状況理解モデルに導入し演算処理を行って状況理解結果を感知し、更に広視野での監視能力を実現し、且つ前記情報を持続的且つ能動的に更新してより正確でカスタマイズされたマンマシンインタラクション機能を達成する。

前記実施形態の他の実施例としては、前記車室内画像は、オーバー露光画像、適正露光画像及び低露光画像を含み、且つ、演算処理ユニットは、演算処理ユニットが記憶ユニットからの車室内画像のオーバー露光画像、適正露光画像及び低露光画像に基づいて敵対的生成ネットワークモデルを確立するように駆動する敵対的生成ネットワークモデル確立工程を更に実施する。

前記実施形態の他の実施例としては、前記演算処理ユニットは、演算処理ユニットが近似画像、車室外画像及び音声情報をトレーニングして状況理解モデルを確立するように駆動する状況理解モデル確立工程を更に実施する。

前記実施形態の他の実施例としては、前記記憶ユニットは、畳み込みニューラルネットワーク及び回帰型ニューラルネットワークにアクセスし、状況理解モデル確立工程は、演算処理ユニットが記憶ユニットを介して近似画像、車室外画像及び音声情報を持続的に更新するように駆動する更新工程と、演算処理ユニットが畳み込みニューラルネットワーク及び回帰型ニューラルネットワークに基づいて更新後の近似画像、車室外画像及び音声情報を整合して状況理解モデルを生成するように駆動する整合工程と、を含む。

本発明の上記の及び他の目的、特徴、メリットと実施例をより明らかで分かりやすくするために添付される図面の説明は、以下の通りである。
本発明の第１の実施例による車室内監視・状況理解感知方法を示すフローチャートである。図１の車室内監視・状況理解感知方法の画像調整工程を示すフローチャートである。図１の車室内監視・状況理解感知方法の敵対的生成ネットワークモデルを示す模式図である。本発明の第２の実施例による車室内監視・状況理解感知方法を示すフローチャートである。図４の車室内監視・状況理解感知方法の状況理解モデル確立工程を示すフローチャートである。図４の車室内監視・状況理解感知方法の状況理解感知工程を示すフローチャートである。図６の車室外マンマシンインタラクション判定工程を示す模式図である。本発明の第３の実施例による車室内監視・状況理解感知システムを示すブロック模式図である。

以下、図面を参照しながら本発明の複数の実施例を説明する。明確に説明するために、多くの実際的な細部を下記叙述で合わせて説明する。しかしながら、これらの実際的な細部が本発明を制限するためのものではないと理解すべきである。つまり、本発明の一部の実施例において、これらの実際的な細部は必要なものではない。また、図面を簡略化するために、一部の従来慣用の構造及び素子は、図面において簡単で模式的に示され、且つ、重複する素子は、同じ符号で表される場合がある。

また、本文において、ある素子（又はユニット又はモジュールなど）が別の素子に「接続／連結」されることは、前記素子が別の素子に直接接続／連結されることを指してもよく、ある素子が別の素子に間接接続／連結されることを指してもよく、即ち、他の素子が前記素子と別の素子の間に介在してもよい。ある素子が別の素子に「直接接続／連結」されることを明示した場合、前記素子と別の素子の間に他の素子が介在していないことを示す。第１、第２、第３などの用語は、単に異なる素子を叙述するためのものであり、素子そのものを制限することはないため、第１の素子を第２の素子と言い換えてもよい。且つ、本文における素子／ユニット／回路の組み合わせは、この分野において一般的に知られた、通常又は従来の組み合わせではなく、素子／ユニット／回路そのものが従来のものであるかによって、その組み合わせ関係が当業者によって容易に完成されるかを判断してはいけない。

図１を参照されたく、図１は、本発明の第１の実施例による車室内監視・状況理解感知方法１００を示すフローチャートである。図１に示すように、車室内監視・状況理解感知方法１００は、車室内を監視して状況理解結果１６０を感知するために用いられ、車室内画像キャプチャ工程Ｓ０１と、敵対的生成ネットワークモデル確立工程Ｓ０２と、画像調整工程Ｓ０３と、車室内監視工程Ｓ０４と、車室外画像及び音声キャプチャ工程Ｓ０５と、状況理解感知工程Ｓ０６と、を含む。

車室内画像キャプチャ工程Ｓ０１では、第１の撮影ユニットが車室内から車室内画像１１０をキャプチャして車室内画像１１０を記憶ユニットに記憶するように駆動する。具体的には、第１の撮影ユニットは、乗員監視システム（ＯｃｃｕｐａｎｃｙＭｏｎｉｔｏｒｉｎｇＳｙｓｔｅｍ；ＯＭＳ）に適用可能なカメラであってよいが、本発明はこれに限定されない。従来の運転者監視システム（ＤｒｉｖｅｒＭｏｎｉｔｏｒｉｎｇＳｙｓｔｅｍ，ＤＭＳ）に適用されるカメラは、通常、車両内のステアリングホイールに設けられ、運転者の現在の画像を撮影又はキャプチャするために用いられ、相違点は、本発明において第１の撮影ユニットを車両内のバックミラーに配置し、カメラの配置位置を変えることにより、車室内の全方位監視を達成することである。

また、車室内画像１１０は、オーバー露光画像、適正露光画像及び低露光画像を含む。詳しくは、車室内画像１１０の露光値（ＥｘｐｏｓｕｒｅＶａｌｕｅ）が－１．５以上－１未満である場合、車室内画像１１０は、オーバー露光画像であり、車室内画像１１０の露光値が－１以上１未満である場合、車室内画像１１０は、適正露光画像であり、車室内画像１１０の露光値が１以上１．５未満である場合、車室内画像１１０は、低露光画像である。

敵対的生成ネットワークモデル確立工程Ｓ０２では、演算処理ユニットが記憶ユニットからの車室内画像１１０のオーバー露光画像、適正露光画像及び低露光画像に基づいて敵対的生成ネットワーク（ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ；ＧＡＮ）モデル１２０を確立するように駆動する。

画像調整工程Ｓ０３では、演算処理ユニットが敵対的生成ネットワークモデル１２０に基づいて車室内画像１１０を調整して適正露光画像に近似する近似画像１３０を生成するように駆動する。簡単に言えば、車室内画像１１０は、近似画像１３０になるように調整され、且つ近似画像１３０の露光値は－１以上１未満である。

車室内監視工程Ｓ０４では、演算処理ユニットが顔認識モデル及び人体姿勢検出モデルに基づいて近似画像１３０を処理して顔認識結果１４１及び人体姿勢検出結果１４２を生成するように駆動する。

車室外画像及び音声キャプチャ工程Ｓ０５では、第２の撮影ユニットが車室外画像１５１をキャプチャして車室外画像１５１を記憶ユニットに記憶するように駆動し、且つオーディオユニットが車室内から音声情報１５２をキャプチャして音声情報１５２を記憶ユニットに記憶するように駆動する。具体的には、第２の撮影ユニットは、自動運転車の先進運転支援システム（ＡｄｖａｎｃｅｄＤｒｉｖｅｒＡｓｓｉｓｔａｎｃｅＳｙｓｔｅｍ，ＡＤＡＳ）に適用されるカメラであってよいが、本発明はこれに限定されない。それにより、本発明の車室内監視・状況理解感知方法１００は、第２の撮影ユニットによって車室外画像１５１をキャプチャして車室外の状況理解を行う。

状況理解感知工程Ｓ０６では、演算処理ユニットが状況理解モデルに基づいて近似画像１３０、車室外画像１５１及び音声情報１５２のうちの少なくとも１つを処理して状況理解結果１６０を感知するように駆動する。状況理解モデルは、演算処理ユニットによって事前に近似画像１３０、車室外画像１５１及び音声情報１５２に対して特徴学習を行うことで確立されることを説明しておく。従って、近似画像１３０、車室外画像１５１及び運転者又は乗員の音声情報１５２を状況理解モデルに導入することができ、更に状況理解結果１６０によって車両と運転者又は乗員との間の能動的なマンマシンインタラクションを実現することができる。

それにより、本発明の車室内監視・状況理解感知方法１００は、オーバー露光画像、適正露光画像及び低露光画像に基づいて敵対的生成ネットワークモデル１２０を確立することにより、車室内画像１１０を適正露光値に調整し、更にその後で感知された状況理解結果１６０が高い精度を有することを確保する。以下の段落において、添付される図面及び実施例に合わせて本発明の敵対的生成ネットワークモデル確立工程Ｓ０２、画像調整工程Ｓ０３及び車室内監視工程Ｓ０４の動作メカニズムを詳細に説明する。

図１、図２及び図３を合わせて参照されたく、図２は、図１の車室内監視・状況理解感知方法１００の画像調整工程Ｓ０３を示すフローチャートであり、図３は、図１の車室内監視・状況理解感知方法１００の敵対的生成ネットワークモデル１２０を示す模式図である。図１及び図３に示すように、敵対的生成ネットワークモデル確立工程Ｓ０２は、オーバー露光弁別器確立工程Ｓ０２１と、低露光弁別器確立工程Ｓ０２２と、を含んでよい。オーバー露光弁別器確立工程Ｓ０２１では、演算処理ユニットが車室内画像１１０のオーバー露光画像１１１に基づいてオーバー露光弁別器１２１を確立するように駆動する。低露光弁別器確立工程Ｓ０２２は、演算処理ユニットが車室内画像１１０の低露光画像１１２に基づいて低露光弁別器１２２を確立するように駆動する。なお、敵対的生成ネットワークモデル１２０は、生成器１２３、オーバー露光弁別器１２１及び低露光弁別器１２２で構成され、生成器１２３は、画像変換を実行し、オーバー露光弁別器１２１及び低露光弁別器１２２と共にＧＡＮ学習を実行してパラメータを更新するために用いられる。

図１～図３に示すように、画像調整工程Ｓ０３は、融合画像生成工程Ｓ０３１と、輝度比較工程Ｓ０３２と、敵対的結果生成工程Ｓ０３３と、輝度近似工程Ｓ０３４と、を含んでよい。

融合画像生成工程Ｓ０３１では、演算処理ユニットがオーバー露光画像１１１及び低露光画像１１２を生成器１２３に入力し、続いて生成器１２３がその内部のモデルによってオーバー露光画像１１１及び低露光画像１１２を処理して融合画像１２４を生成するように駆動する。

輝度比較工程Ｓ０３２では、演算処理ユニットが融合画像１２４と低露光画像１１２を比較して第１の輝度差分値Ｄ１を生成して第１の輝度差分値Ｄ１をオーバー露光弁別器１２１に入力し、且つ融合画像１２４とオーバー露光画像１１１を比較して第２の輝度差分値Ｄ２を生成して第２の輝度差分値Ｄ２を低露光弁別器１２２に入力するように駆動する。

敵対的結果生成工程Ｓ０３３では、オーバー露光弁別器１２１が第１の輝度差分値Ｄ１及びオーバー露光画像１１１に基づいて第１の敵対的結果Ｒ１を生成器１２３に出力するように駆動し、且つ低露光弁別器１２２が第２の輝度差分値Ｄ２及び低露光画像１１２に基づいて第２の敵対的結果Ｒ２を生成器１２３に出力するように駆動する。詳しくは、オーバー露光弁別器１２１の部分において、本発明は、低露光画像１１２と融合画像１２４との輝度差異（即ち第１の輝度差分値Ｄ１）をオーバー露光画像１１１と共にオーバー露光弁別器１２１に入力し、オーバー露光画像１１１を基準としてモデリングする。このモデルは、モデリングされた敵対的生成結果（即ち第１の敵対的結果Ｒ１）を生成器１２３に返す。同様に、低露光弁別器１２２の部分において、本発明は、オーバー露光画像１１１と融合画像１２４との輝度差異（即ち第２の輝度差分値Ｄ２）を低露光画像１１２と共に低露光弁別器１２２に入力し、低露光画像１１２を基準としてモデリングする。このモデルは、モデリングされた生成對抗性結果（即ち第２の敵対的結果Ｒ２）を生成器１２３に返す。

輝度近似工程Ｓ０３４では、生成器１２３が第１の敵対的結果Ｒ１及び第２の敵対的結果Ｒ２に基づいて車室内画像１１０を調整して適正露光画像１１３に近似する近似画像１３０を生成するように駆動する。具体的には、生成器１２３は、第１の敵対的結果Ｒ１に基づいて車室内画像１１０における低露光画像１１２を調整してオーバー露光画像１１１に近似する画像を生成するか、又は、第２の敵対的結果Ｒ２に基づいて車室内画像１１０におけるオーバー露光画像１１１を調整して低露光画像１１２に近似する画像を生成する。従って、本発明は、融合画像１２４とオーバー露光画像１１１、及び融合画像１２４と低露光画像１１２に差分近似を行い、第１の敵対的結果Ｒ１及び第２の敵対的結果Ｒ２を生成し、続いて第１の敵対的結果Ｒ１及び第２の敵対的結果Ｒ２を利用して車室内画像１１０を近似画像１３０に調整する。

なお、本発明の記憶ユニットは、既に輝度に対応する許容値にアクセスし、且つ、画像調整工程Ｓ０３は、輝度確認工程Ｓ０３５を更に含んでよい。輝度確認工程Ｓ０３５では、演算処理ユニットが近似画像１３０及び適正露光画像１１３に評価演算プログラムを実行するように駆動する。評価演算プログラムは、近似画像１３０と適正露光画像１１３との間の輝度差分値が記憶ユニットにアクセスされた許容値内にあるか否かを確認する。従って、前記輝度差分値が許容値内にある場合、演算処理ユニットは、引き続き車室内監視工程Ｓ０４を実行する。一方、前記輝度差分値が許容値を超えた場合、演算処理ユニットは、第１の敵対的結果Ｒ１及び第２の敵対的結果Ｒ２に基づいて生成器１２３を更新する。それにより、更新後の生成器１２３により生成された融合画像１２４に差分近似を再度行うと、近似画像１３０が適正露光画像１１３に益々似るようになる。

図１に示すように、車室内監視工程Ｓ０４は、顔認識工程Ｓ０４１と、人体姿勢推定工程Ｓ０４２と、を含んでよい。顔認識工程Ｓ０４１では、演算処理ユニットが顔認識モデルに基づいて近似画像１３０から複数の顔キーポイント及び複数の頭部角度点をキャプチャし、前記顔キーポイント及び前記頭部角度点を演算して顔認識結果１４１を生成するように駆動する。人体姿勢推定工程Ｓ０４２では、演算処理ユニットが人体姿勢検出モデルに基づいて近似画像１３０から人体骨格を推定し、人体骨格を演算して人体姿勢検出結果１４２を生成するように駆動する。

詳しくは、顔認識モデルは、フェイスネット（ＦａｃｅＮｅｔ）アルゴリズムと頭部姿勢推定（ＨｅａｄＰｏｓｅＥｓｔｉｍａｔｉｏｎ）アルゴリズムを整合してトレーニングして得られてよいが、本発明はこれに限定されない。ＦａｃｅＮｅｔアルゴリズムは、顔認識ネットワークであり、近似画像１３０における顔キーポイントをキャプチャし、顔領域に顔認識を行う。一方、ＨｅａｄＰｏｓｅＥｓｔｉｍａｔｉｏｎアルゴリズムは、近似画像１３０における頭部角度点をキャプチャし、人体頭部に頭部姿態推定を行う。近似画像１３０における顔キーポイント及び頭部角度点のキャプチャが徹底的ではない場合、演算処理ユニットは、顔認識結果１４１を生成するための顔キーポイント及び頭部角度点の数が十分になるまで、車室内監視工程Ｓ０４を再実行する。それにより、本発明の車室内監視・状況理解感知方法１００は、顔認識モデルを利用して近似画像１３０における運転者又は乗員に顔認識及び頭部姿態推定を行って顔認識結果１４１を生成し、更に運転者の疲労検出、行動分析又は感情の制御及び管理を実現する。

また、人体姿勢検出モデルは、物体検出アルゴリズム（ＹｏｕＯｎｌｙＬｏｏｋＯｎｃｅ；ＹＯＬＯ）と人体姿勢推定アルゴリズム（ＯｐｅｎＰｏｓｅ）を整合して得られてよいが、本発明はこれに限定されない。ＹＯＬＯは、１段階物体検出（Ｏｎｅ－ｓｔａｇｅＯｂｊｅｃｔＤｅｔｅｃｔｉｏｎ）に属し、つまり、画像に畳み込みニューラルネットワーク（ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋｓ；ＣＮＮ）を１回実行するだけで画像における物体の位置及びタイプを判定することができる。ＯｐｅｎＰｏｓｅは、複数人２Ｄ姿勢を推定するためのアルゴリズムに属し、ＣＮＮのアーキテクチャによって各関節点位置の信頼度マップ（ＣｏｎｆｉｄｅｎｃｅＭａｐ）及びＯｐｅｎＰｏｓｅにより新たに定義された部位関係領域（ＰａｒｔＡｆｆｉｎｉｔｙＦｉｅｌｄｓ；ＰＡＦ）を探す。ＯｐｅｎＰｏｓｅは、上記の２つの特徴を整合した後、各体節を更に予測することができるため、人が多く背景が乱雑な環境でも一定の人体関節及び体節の予測精度及び処理速度を維持することができる。それにより、本発明の車室内監視・状況理解感知方法１００は、人体姿勢検出モデルによって近似画像１３０における物体、運転者又は乗員に対して物体検出又は人体姿勢推定を行って人体姿勢検出結果１４２を生成し、更に車室内監視を実現する。

図４を参照されたく、図４は、本発明の第２の実施例による車室内監視・状況理解感知方法２００を示すフローチャートである。図４に示すように、車室内監視・状況理解感知方法２００は、車室内を監視して状況理解結果１６０を感知するために用いられ、車室内画像キャプチャ工程Ｓ１１と、画像調整工程Ｓ１２と、車室内監視工程Ｓ１３と、車室外画像及び音声キャプチャ工程Ｓ１４と、状況理解モデル確立工程Ｓ１５と、状況理解感知工程Ｓ１６と、を含み、車室内画像キャプチャ工程Ｓ１１、画像調整工程Ｓ１２、車室外画像及び音声キャプチャ工程Ｓ１４及び状況理解感知工程Ｓ１６は、いずれも第１の実施例の車室内監視・状況理解感知方法１００の対応する工程と同じであるため、ここで繰り返して説明しない。

第１の実施例と異なり、第２の実施例の車室内監視工程Ｓ１３は、それぞれ顔認識結果１４１及び人体姿勢検出結果１４２を生成する顔認識工程Ｓ１３１及び人体姿勢推定工程Ｓ１３２を含むほか、ジェスチャ分析工程Ｓ１３３を更に含んでよい。ジェスチャ分析工程Ｓ１３３では、演算処理ユニットが近似画像１３０における運転者のジェスチャを分析してジェスチャ分析結果１４３を生成するように駆動する。詳しくは、車室内の運転者又は乗員が前記第１の撮影ユニットに特定のジェスチャを示す時、第１の撮影ユニットは、このジェスチャを含む車室内画像１１０をキャプチャし、引き続き演算処理ユニットが画像調整工程Ｓ１２を実行して車室内画像１１０を近似画像１３０に調整する。なお、本発明の記憶ユニットは、様々なジェスチャに代表される意味を含むジェスチャライブラリ（図示せず）に既にアクセスしている。従って、演算処理ユニットは、ジェスチャライブラリと近似画像１３０におけるジェスチャを比較することでジェスチャ分析結果１４３を生成する。

図４及び図５を合わせて参照されたく、図５は、図４の車室内監視・状況理解感知方法２００の状況理解モデル確立工程Ｓ１５を示すフローチャートである。図４及び図５に示すように、状況理解モデル確立工程Ｓ１５では、演算処理ユニットが近似画像１３０、車室外画像１５１及び音声情報１５２をトレーニングして状況理解モデル１５３を確立するように駆動する。また、状況理解モデル確立工程Ｓ１５は、更新工程Ｓ１５１と、整合工程Ｓ１５２と、を更に含んでよい。更新工程Ｓ１５１では、演算処理ユニットが記憶ユニットを介して近似画像１３０、車室外画像１５１及び音声情報１５２を持続的に更新するように駆動する。整合工程Ｓ１５２では、演算処理ユニットが畳み込みニューラルネットワーク（ＣＮＮ）及び回帰型ニューラルネットワーク（ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋ；ＲＮＮ）に基づいて更新後の近似画像１３０、車室外画像１５１及び音声情報１５２を整合して状況理解モデル１５３を生成するように駆動する。詳しくは、整合工程Ｓ１５２では、畳み込みニューラルネットワーク及び回帰型ニューラルネットワークに基づいて更新後の近似画像１３０に対応するジェスチャ分析結果１４３及び音声情報１５２のうちの少なくとも１つ、更新後の近似画像１３０及び更新後の車室外画像１５１を整合して、状況理解モデル１５３を生成する。第２の実施例において、回帰型ニューラルネットワークは、長・短期記憶モデル（ＬｏｎｇＳｈｏｒｔ－ＴｅｒｍＭｅｍｏｒｙ；ＬＳＴＭ）であってよい。演算処理ユニットは、多重検知によって近似画像１３０、車室外画像１５１及び音声情報１５２を絶えず更新してＣＮＮとＬＳＴＭを整合し、ソフトウェアライブラリ（ＴｅｎｓｏｒＦｌｏｗ）及びネットワークライブラリ（Ｋｅｒａｓ）を利用して画像情報、自然言語、ジェスチャコマンドの特徴マッチング学習を行い、最終的に車両と運転者又は乗員との間の能動的なマンマシンインタラクションを実現可能な状況理解モデル１５３を確立し、ＴｅｎｓｏｒＦｌｏｗは、オープンソースソフトウェアライブラリであり、様々な感知及び言語理解タスクの機械学習に用いられる。また、Ｋｅｒａｓは、Ｐｙｔｈｏｎで記述されたオープンソースニューラルネットワークライブラリであり、ＴｅｎｓｏｒＦｌｏｗで実行可能であり、ＴｅｎｓｏｒＦｌｏｗ及びＫｅｒａｓは、従来技術であり、本発明の重点ではないため、その細部の説明を省略する。他の実施例において、状況理解モデルは、視覚的質問応答モデル（ＳｔａｃｋｅｄＡｔｔｅｎｔｉｏｎＮｅｔｗｏｒｋｓ；ＳＡＮ）であってもよく、本発明はこれに限定されない。

図４、図５及び図６を合わせて参照されたく、図６は、図４の車室内監視・状況理解感知方法２００の状況理解感知工程Ｓ１６を示すフローチャートである。図４、図５及び図６に示すように、状況理解感知工程Ｓ１６は、車室内マンマシンインタラクション判定工程Ｓ１６１と、車室外マンマシンインタラクション判定工程Ｓ１６２と、を含んでよく、状況理解結果１６０は、車室内判定結果１６１及び車室外判定結果１６２を含む。具体的には、車室内マンマシンインタラクション判定工程Ｓ１６１では、演算処理ユニットが状況理解モデル１５３に基づいてジェスチャ分析結果１４３又は音声情報１５２を処理し、続いて近似画像１３０を判定してマンマシンインタラクションの車室内判定結果１６１を生成するように駆動する。車室外マンマシンインタラクション判定工程Ｓ１６２では、演算処理ユニットが状況理解モデル１５３に基づいてジェスチャ分析結果１４３又は音声情報１５２を処理し、続いて車室外画像１５１を判定してマンマシンインタラクションの車室外判定結果１６２を生成するように駆動する。

図７を参照されたく、図７は、図６の車室外マンマシンインタラクション判定工程Ｓ１６２を示す模式図である。図７に示すように、運転者又は乗員は、「前の自転車のバスケットに何があるか」と質問し、続いて車室内のオーディオユニットが前記質問の音声をキャプチャして音声情報１５２を生成し、又は、運転者又は乗員は、第１の撮影ユニットにジェスチャを示し、続いて演算処理ユニットがジェスチャ分析工程Ｓ１３３を実行してジェスチャ分析結果１４３を生成し、且つ第２の撮影ユニットが車室外の車室外画像１５１を同時にキャプチャする。引き続き、演算処理ユニットがジェスチャ分析結果１４３又は音声情報１５２及び車室外画像１５１を状況理解モデル１５３に導入する。状況理解モデル１５３が内部の畳み込みニューラルネットワーク１５３１を介して車室外画像１５１の特徴ベクトルＶ１を抽出し、且つ長・短期記憶モデル１５３２の第１の注意力メカニズム層Ｌ１及び第２の注意力メカニズム層Ｌ２を介してジェスチャ分析結果１４３又は音声情報１５２の特徴ベクトルＶ２を抽出する。演算処理ユニットは、特徴ベクトルＶ１、Ｖ２にインタラクション特徴学習を行い、且つ出力層１５３３によって長・短期記憶モデル１５３２の出力を計算し、車室外画像１５１を判定した後に「答えは犬である」（即ち車室外判定結果１６２）を出力する。また、出力層１５３３に使用される活性化関数は、Ｓｏｆｔｍａｘ関数、Ｓｉｇｍｏｉｄ関数又はＲｅＬＵ関数であってよいが、本発明はこれらに限定されない。

それにより、本発明の車室内監視・状況理解感知方法２００は、近似画像１３０、車室外画像１５１及び音声情報１５２の特徴学習を行って状況理解モデル１５３をトレーニングし、車室内画像１１０、車室外画像１５１及び運転者と乗員の音声情報１５２を導入し、更に車室外のシーンでの音声質問応答及び車室内のシーンでの質問応答の監視の能動的なマンマシンインタラクションを実現する。

図１～図８を合わせて参照されたく、図８は、本発明の第３の実施例による車室内監視・状況理解感知システム３００を示すブロック模式図である。図８に示すように、車室内監視・状況理解感知システム３００は、車室内を監視して状況理解結果１６０を感知するために用いられる。車室内監視・状況理解感知システム３００は、車両３１０と、検知モジュール３２０と、処理モジュール３３０と、を備える。検知モジュール３２０及び処理モジュール３３０は、車両３１０に設けられる。検知モジュール３２０は、第１の撮影ユニット３２１と、第２の撮影ユニット３２２と、オーディオユニット３２３と、を含む。処理モジュール３３０は、検知モジュール３２０に電気的に接続され、演算処理ユニット３３１と、記憶ユニット３３２と、を含む。

記憶ユニット３３２は、敵対的生成ネットワークモデル３３２１、顔認識モデル３３２２、人体姿勢検出モデル３３２３、状況理解モデル３３２４、畳み込みニューラルネットワーク３３２５、回帰型ニューラルネットワーク３３２６、評価演算プログラム３３２７及び許容値３３２８にアクセスするために用いられる。第１の撮影ユニット３２１は、記憶ユニット３３２に電気的に接続され、且つ車室内から車室内画像１１０をキャプチャして記憶ユニット３３２に記憶する。第２の撮影ユニット３２２は、記憶ユニット３３２に電気的に接続され、且つ車室外から車室外画像１５１をキャプチャして記憶ユニット３３２に記憶する。オーディオユニット３２３は、記憶ユニット３３２に電気的に接続され、且つ車室内から音声情報１５２をキャプチャして記憶ユニット３３２に記憶する。演算処理ユニット３３１は、記憶ユニット３３２に電気的に接続され、車室内監視・状況理解感知方法１００、２００を実施するように配置され、演算処理ユニット３３１は、デジタルシグナルプロセッサ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ；ＤＳＰ）、マイクロプロセッサ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ；ＭＰＵ）、中央処理装置（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ；ＣＰＵ）又は他の電子プロセッサであってよいが、本発明はこれらに限定されない。それにより、本発明の車室内監視・状況理解感知システム３００は、第１の撮影ユニット３２１及び第２の撮影ユニット３２２によってそれぞれ車室内画像１１０及び車室外画像１５１をキャプチャし、音声情報１５２と共に状況理解モデル３３２４に導入し演算処理を行って状況理解結果１６０を感知し、更に広視野での監視能力を実現し、且つ前記情報を持続的且つ能動的に更新してより正確でカスタマイズされたマンマシンインタラクション機能を達成する。

以上を纏めると、本発明は、以下のメリットを有する。１、車両の車室内外のシーンの解析及び安全性の向上を実現する。２、敵対的生成ネットワークモデルを利用して車室内画像を適正露光値に調整し、更にその後で感知された状況理解結果が高い精度を有することを確保する。３、車室外画像及び運転者と乗員の音声情報を状況理解モデルに導入し、更に車室内外のシーンでの音声質問応答及び車室内のシーンでの質問応答の監視の能動的なマンマシンインタラクションを実現する。

本発明は、実施例により前述の通りに開示されたが、実施例が本発明を限定するものではなく、当業者であれば、本発明の精神と範囲から逸脱しない限り、多様の変更や修飾を加えることができる。従って、本発明の保護範囲は、下記特許請求の範囲で指定した内容を基準とするものである。

１００、２００車室内監視・状況理解感知方法
１１０車室内画像
１１１オーバー露光画像
１１２低露光画像
１１３適正露光画像
１２０、３３２１敵対的生成ネットワークモデル
１２１オーバー露光弁別器
１２２低露光弁別器
１２３生成器
１２４融合画像
１３０近似画像
１４１顔認識結果
１４２人体姿勢検出結果
１４３ジェスチャ分析結果
１５１車室外画像
１５２音声情報
１５３、３３２４状況理解モデル
１５３１、３３２５畳み込みニューラルネットワーク
１５３２長・短期記憶モデル
１５３３出力層
１６０状況理解結果
１６１車室内判定結果
１６２車室外判定結果
３００車室内監視・状況理解感知システム
３１０車両
３２０検知モジュール
３２１第１の撮影ユニット
３２２第２の撮影ユニット
３２３オーディオユニット
３３０処理モジュール
３３１演算処理ユニット
３３２記憶ユニット
３３２２顔認識モデル
３３２３人体姿勢検出モデル
３３２６回帰型ニューラルネットワーク
３３２７評価演算プログラム
３３２８許容値
Ｓ０１、Ｓ１１車室内画像キャプチャ工程
Ｓ０２敵対的生成ネットワークモデル確立工程
Ｓ０２１オーバー露光弁別器確立工程
Ｓ０２２低露光弁別器確立工程
Ｓ０３、Ｓ１２画像調整工程
Ｓ０３１融合画像生成工程
Ｓ０３２輝度比較工程
Ｓ０３３敵対的結果生成工程
Ｓ０３４輝度近似工程
Ｓ０３５輝度確認工程
Ｓ０４、Ｓ１３車室内監視工程
Ｓ０４１、Ｓ１３１顔認識工程
Ｓ０４２、Ｓ１３２人体姿勢推定工程
Ｓ１３３ジェスチャ分析工程
Ｓ０５、Ｓ１４車室外画像及び音声キャプチャ工程
Ｓ１５状況理解モデル確立工程
Ｓ１５１更新工程
Ｓ１５２整合工程
Ｓ０６、Ｓ１６状況理解感知工程
Ｓ１６１車室内マンマシンインタラクション判定工程
Ｓ１６２車室外マンマシンインタラクション判定工程
Ｄ１第１の輝度差分値
Ｄ２第２の輝度差分値
Ｒ１第１の敵対的結果
Ｒ２第２の敵対的結果
Ｖ１、Ｖ２特徴ベクトル
Ｌ１第１の注意力メカニズム層
Ｌ２第２の注意力メカニズム層

Claims

車室内を監視して状況理解結果を感知するための車室内監視・状況理解感知方法であって、
第１の撮影ユニットが前記車室内からオーバー露光画像、適正露光画像及び低露光画像を含む車室内画像をキャプチャして前記車室内画像を記憶ユニットに記憶するように駆動する車室内画像キャプチャ工程と、
演算処理ユニットが前記記憶ユニットからの前記車室内画像の前記オーバー露光画像、前記適正露光画像及び前記低露光画像に基づいて敵対的生成ネットワークモデルを確立するように駆動する敵対的生成ネットワークモデル確立工程と、
前記演算処理ユニットが前記敵対的生成ネットワークモデルに基づいて前記車室内画像を調整して前記適正露光画像に近似する近似画像を生成するように駆動する画像調整工程と、
前記演算処理ユニットが顔認識モデル及び人体姿勢検出モデルに基づいて前記近似画像を処理して顔認識結果及び人体姿勢検出結果を生成するように駆動する車室内監視工程と、
第２の撮影ユニットが車室外画像をキャプチャして前記車室外画像を前記記憶ユニットに記憶するように駆動し、且つオーディオユニットが前記車室内から音声情報をキャプチャして前記音声情報を前記記憶ユニットに記憶するように駆動する車室外画像及び音声キャプチャ工程と、
前記演算処理ユニットが状況理解モデルに基づいて前記近似画像、前記車室外画像及び前記音声情報のうちの少なくとも１つを処理して前記状況理解結果を感知するように駆動する状況理解感知工程と、を含む車室内監視・状況理解感知方法。
前記敵対的生成ネットワークモデル確立工程は、
前記演算処理ユニットが前記オーバー露光画像に基づいてオーバー露光弁別器を確立するように駆動するオーバー露光弁別器確立工程と、
前記演算処理ユニットが前記低露光画像に基づいて低露光弁別器を確立するように駆動する低露光弁別器確立工程と、を含み、
前記敵対的生成ネットワークモデルは、生成器、前記オーバー露光弁別器及び前記低露光弁別器で構成される請求項１に記載の車室内監視・状況理解感知方法。
前記画像調整工程は、
前記演算処理ユニットが前記オーバー露光画像及び前記低露光画像を前記生成器に入力して融合画像を生成するように駆動する融合画像生成工程と、
前記演算処理ユニットが前記融合画像と前記低露光画像を比較して第１の輝度差分値を生成して前記第１の輝度差分値を前記オーバー露光弁別器に入力し、且つ前記融合画像と前記オーバー露光画像を比較して第２の輝度差分値を生成して前記第２の輝度差分値を前記低露光弁別器に入力するように駆動する輝度比較工程と、
前記オーバー露光弁別器が前記第１の輝度差分値及び前記オーバー露光画像に基づいて第１の敵対的結果を前記生成器に出力するように駆動し、且つ前記低露光弁別器が前記第２の輝度差分値及び前記低露光画像に基づいて第２の敵対的結果を前記生成器に出力するように駆動する敵対的結果生成工程と、
前記生成器が前記第１の敵対的結果及び前記第２の敵対的結果に基づいて前記車室内画像を調整して前記適正露光画像に近似する前記近似画像を生成するように駆動する輝度近似工程と、を含む請求項２に記載の車室内監視・状況理解感知方法。
前記記憶ユニットは、許容値にアクセスし、前記画像調整工程は、
前記演算処理ユニットが前記近似画像及び前記適正露光画像に対して、前記近似画像と前記適正露光画像との間の輝度差分値が前記許容値内にあるか否かを確認する評価演算プログラムを実行するように駆動する輝度確認工程を更に含み、
前記輝度差分値が前記許容値内にある場合、引き続き前記車室内監視工程を実行し、
前記輝度差分値が前記許容値を超えた場合、前記演算処理ユニットは、前記第１の敵対的結果及び前記第２の敵対的結果に基づいて前記生成器を更新する請求項３に記載の車室内監視・状況理解感知方法。
前記車室内監視工程は、
前記演算処理ユニットが前記顔認識モデルに基づいて前記近似画像から複数の顔キーポイント及び複数の頭部角度点をキャプチャし、前記顔キーポイント及び前記頭部角度点を演算して前記顔認識結果を生成するように駆動する顔認識工程と、
前記演算処理ユニットが前記人体姿勢検出モデルに基づいて前記近似画像から人体骨格を推定し、前記人体骨格を演算して前記人体姿勢検出結果を生成するように駆動する人体姿勢推定工程と、を含む請求項１に記載の車室内監視・状況理解感知方法。
前記演算処理ユニットが前記近似画像、前記車室外画像及び前記音声情報をトレーニングして前記状況理解モデルを確立するように駆動する状況理解モデル確立工程をさらに含む請求項１に記載の車室内監視・状況理解感知方法。
前記状況理解モデル確立工程は、
前記演算処理ユニットが前記記憶ユニットを介して前記近似画像、前記車室外画像及び前記音声情報を持続的に更新するように駆動する更新工程と、
前記演算処理ユニットが畳み込みニューラルネットワーク及び回帰型ニューラルネットワークに基づいて更新後の前記近似画像、前記車室外画像及び前記音声情報を整合して前記状況理解モデルを生成するように駆動する整合工程と、を含む請求項６に記載の車室内監視・状況理解感知方法。
前記車室内監視工程は、
前記演算処理ユニットが前記近似画像における運転者のジェスチャを分析してジェスチャ分析結果を生成するように駆動するジェスチャ分析工程を含み、
前記整合工程では、前記畳み込みニューラルネットワーク及び前記回帰型ニューラルネットワークに基づいて更新後の前記ジェスチャ分析結果及び前記音声情報のうちの少なくとも１つ、前記近似画像及び前記車室外画像を整合して、前記状況理解モデルを生成する請求項７に記載の車室内監視・状況理解感知方法。
前記状況理解結果は、車室内判定結果及び車室外判定結果のうちの少なくとも１つを含み、且つ、前記状況理解感知工程は、
前記演算処理ユニットが前記状況理解モデルに基づいて前記ジェスチャ分析結果又は前記音声情報を処理し、続いて前記近似画像を判定してマンマシンインタラクションの前記車室内判定結果を生成するように駆動する車室内マンマシンインタラクション判定工程と、
前記演算処理ユニットが前記状況理解モデルに基づいて前記ジェスチャ分析結果又は前記音声情報を処理し、続いて前記車室外画像を判定してマンマシンインタラクションの前記車室外判定結果を生成するように駆動する車室外マンマシンインタラクション判定工程と、を含む請求項８に記載の車室内監視・状況理解感知方法。
車室内を監視して状況理解結果を感知するための車室内監視・状況理解感知システムであって、
敵対的生成ネットワークモデル、顔認識モデル、人体姿勢検出モデル及び状況理解モデルにアクセスするための記憶ユニットと、
前記記憶ユニットに接続され、且つ前記車室内から車室内画像をキャプチャして前記車室内画像を前記記憶ユニットに記憶し、前記車室内画像は、オーバー露光画像、適正露光画像及び低露光画像を含む、第１の撮影ユニットと、
前記記憶ユニットに接続され、且つ車室外画像をキャプチャして前記車室外画像を前記記憶ユニットに記憶する第２の撮影ユニットと、
前記記憶ユニットに接続され、且つ前記車室内から音声情報をキャプチャして前記音声情報を前記記憶ユニットに記憶するオーディオユニットと、
前記記憶ユニットに接続される演算処理ユニットと、を備え、
前記演算処理ユニットは、
前記記憶ユニットからの前記車室内画像の前記オーバー露光画像、前記適正露光画像及び前記低露光画像に基づいて前記敵対的生成ネットワークモデルを確立する敵対的生成ネットワークモデル確立工程と、
前記敵対的生成ネットワークモデルに基づいて前記車室内画像を調整して前記適正露光画像に近似する近似画像を生成する画像調整工程と、
前記顔認識モデル及び前記人体姿勢検出モデルに基づいて前記近似画像を処理して顔認識結果及び人体姿勢検出結果を生成する車室内監視工程と、
前記状況理解モデルに基づいて前記近似画像、前記車室外画像及び前記音声情報のうちの少なくとも１つを処理して前記状況理解結果を感知する状況理解感知工程と、を含む操作を実施するように配置される車室内監視・状況理解感知システム。
前記敵対的生成ネットワークモデル確立工程は、
前記演算処理ユニットが前記オーバー露光画像に基づいてオーバー露光弁別器を確立するように駆動するオーバー露光弁別器確立工程と、
前記演算処理ユニットが前記低露光画像に基づいて低露光弁別器を確立するように駆動する低露光弁別器確立工程と、を含み、
前記敵対的生成ネットワークモデルは、生成器、前記オーバー露光弁別器及び前記低露光弁別器で構成される請求項１０に記載の車室内監視・状況理解感知システム。
前記画像調整工程は、
前記演算処理ユニットが前記オーバー露光画像及び前記低露光画像を前記生成器に入力して融合画像を生成するように駆動する融合画像生成工程と、
前記演算処理ユニットが前記融合画像と前記低露光画像を比較して第１の輝度差分値を生成して前記第１の輝度差分値を前記オーバー露光弁別器に入力し、且つ前記融合画像と前記オーバー露光画像を比較して第２の輝度差分値を生成して前記第２の輝度差分値を前記低露光弁別器に入力するように駆動する輝度比較工程と、
前記オーバー露光弁別器が前記第１の輝度差分値及び前記オーバー露光画像に基づいて第１の敵対的結果を前記生成器に出力するように駆動し、且つ前記低露光弁別器が前記第２の輝度差分値及び前記低露光画像に基づいて第２の敵対的結果を前記生成器に出力するように駆動する敵対的結果生成工程と、
前記生成器が前記第１の敵対的結果及び前記第２の敵対的結果に基づいて前記車室内画像を調整して前記適正露光画像に近似する前記近似画像を生成するように駆動する輝度近似工程と、を含む請求項１１に記載の車室内監視・状況理解感知システム。
前記記憶ユニットは、許容値にアクセスし、前記画像調整工程は、
前記演算処理ユニットが前記近似画像及び前記適正露光画像に対して、前記近似画像と前記適正露光画像との間の輝度差分値が前記許容値内にあるか否かを確認する評価演算プログラムを実行するように駆動する輝度確認工程を更に含み、
前記輝度差分値が前記許容値内にある場合、引き続き前記車室内監視工程を実行し、
前記輝度差分値が前記許容値を超えた場合、前記演算処理ユニットは、前記第１の敵対的結果及び前記第２の敵対的結果に基づいて前記生成器を更新する請求項１２に記載の車室内監視・状況理解感知システム。
前記車室内監視工程は、
前記演算処理ユニットが前記顔認識モデルに基づいて前記近似画像から複数の顔キーポイント及び複数の頭部角度点をキャプチャし、前記顔キーポイント及び前記頭部角度点を演算して前記顔認識結果を生成するように駆動する顔認識工程と、
前記演算処理ユニットが前記人体姿勢検出モデルに基づいて前記近似画像から人体骨格を推定し、前記人体骨格を演算して前記人体姿勢検出結果を生成するように駆動する人体姿勢推定工程と、を含む請求項１０に記載の車室内監視・状況理解感知システム。
前記演算処理ユニットは、
前記演算処理ユニットが前記近似画像、前記車室外画像及び前記音声情報をトレーニングして前記状況理解モデルを確立するように駆動する状況理解モデル確立工程を含む操作を更に実施する請求項１０に記載の車室内監視・状況理解感知システム。
前記記憶ユニットは、畳み込みニューラルネットワーク及び回帰型ニューラルネットワークにアクセスし、前記状況理解モデル確立工程は、
前記演算処理ユニットが前記記憶ユニットを介して前記近似画像、前記車室外画像及び前記音声情報を持続的に更新するように駆動する更新工程と、
前記演算処理ユニットが前記畳み込みニューラルネットワーク及び前記回帰型ニューラルネットワークに基づいて更新後の前記近似画像、前記車室外画像及び前記音声情報を整合して前記状況理解モデルを生成するように駆動する整合工程と、を含む請求項１５に記載の車室内監視・状況理解感知システム。
前記車室内監視工程は、
前記演算処理ユニットが前記近似画像における運転者のジェスチャを分析してジェスチャ分析結果を生成するように駆動するジェスチャ分析工程を含み、
前記整合工程では、前記畳み込みニューラルネットワーク及び前記回帰型ニューラルネットワークに基づいて更新後の前記ジェスチャ分析結果及び前記音声情報のうちの少なくとも１つ、前記近似画像及び前記車室外画像を整合して、前記状況理解モデルを生成する請求項１６に記載の車室内監視・状況理解感知システム。
前記状況理解結果は、車室内判定結果及び車室外判定結果のうちの少なくとも１つを含み、且つ、前記状況理解感知工程は、
前記演算処理ユニットが前記状況理解モデルに基づいて前記ジェスチャ分析結果又は前記音声情報を処理し、続いて前記近似画像を判定してマンマシンインタラクションの前記車室内判定結果を生成するように駆動する車室内マンマシンインタラクション判定工程と、
前記演算処理ユニットが前記状況理解モデルに基づいて前記ジェスチャ分析結果又は前記音声情報を処理し、続いて前記車室外画像を判定してマンマシンインタラクションの前記車室外判定結果を生成するように駆動する車室外マンマシンインタラクション判定工程と、を含む請求項１７に記載の車室内監視・状況理解感知システム。