JP6916307B2 - 車両制御方法及びシステム、車載インテリジェントシステム、電子機器並びに媒体 - Google Patents

Description

（関連出願の相互参照）
本願は、２０１８年６月４日に中国特許局に提出された、出願番号ＣＮ２０１８１０５６５７００．３、発明の名称「車両制御方法及びシステム、車載インテリジェントシステム、電子機器並びに媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。

本願は、車両インテリジェント識別技術に関し、特に、車両制御方法及びシステム、車載インテリジェントシステム、電子機器並びに媒体に関する。

インテリジェント車両は、環境感知、計画策定、多段運転支援などの機能を一体化した統合システムであり、その中にコンピュータ、現代化感知、情報融合、通信、人工知能及び自動制御などの技術が集中的に用いられ、代表的な先端技術複合体となっている。現在、インテリジェント車両の研究については、主に自動車の安全性、快適性の向上、及び優れた人間と車両の間の対話インタフェースの提供に取り組んでいる。近年、インテリジェント車両は世界自動車工業分野で研究されているホットスポットと自動車産業成長の新たな動力になり、多くの先進国においてそれぞれ重点として発展するインテリジェント交通システムに取り入れられている。

本願の実施例は，車両制御方法及びシステム、車載インテリジェントシステム、電子機器並びに媒体を提供する。

本願の実施例の一態様によれば、提供される車両制御方法は、
現時点で車両使用を要求するユーザの顔画像を取得することと、
前記顔画像と車両のデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得することであって、前記データセットには少なくとも１つの予め記録された車両使用許可ユーザの事前記憶顔画像が記憶されている、ことと、
前記特徴マッチング結果に特徴マッチング成功が示されれば、車両の動作を制御して、前記ユーザに車両使用を許可するようにすることと、を含む。

選択可能に、前記車両使用は、車両使用予約、車両運転、乗車、洗車、車両保守、車両修理、車両給油、車両充電のいずれか一項又は任意の組合せを含む。

選択可能に、前記データセット中に少なくとも１つの乗車予約済みユーザの事前記憶顔画像が記憶され、
前記車両の動作を制御して、前記ユーザに車両使用を許可するようにすることには、車両用ドアを開かせるように制御することを含む。

選択可能に、前記データセット中に少なくとも１つの車両使用予約済みユーザの事前記憶顔画像が記憶され、
前記車両の動作を制御して、前記ユーザに車両使用を許可するようにすることには、車両用ドアを開かせ且つ車両運転制御権限を許可するように制御することを含む。

選択可能に、前記データセット中に少なくとも１つの記録された乗車許可ユーザの事前記憶顔画像が記憶され、
前記車両の動作を制御して、前記ユーザに車両使用を許可するようにすることには、車両用ドアを開かせるように制御することを含む。

選択可能に、前記データセット中に少なくとも１つの記録された車両使用許可ユーザの事前記憶顔画像が記憶され、
前記車両の動作を制御して、前記ユーザに車両使用を許可するようにすることには、車両用ドアを開かせ且つ車両運転制御権限を許可するように制御することを含む。

選択可能に、前記データセット中に少なくとも１つの開錠予約済み又は開錠許可を記録したユーザの事前記憶顔画像が記憶され、
前記車両の動作を制御して、前記ユーザに車両使用を許可するようにすることには、開錠させるように制御することを含む。

選択可能に、前記データセット中に少なくとも１つの車両給油予約済み又は車両給油許可を記録したユーザの事前記憶顔画像が記憶され、
前記車両の動作を制御して、前記ユーザに車両使用を許可するようにすることには、車両給油口を開かせるように制御することを含む。

選択可能に、前記データセット中に少なくとも１つの車両充電予約済み又は車両充電許可を記録したユーザの事前記憶顔画像が記憶され、
前記車両の動作を制御して、前記ユーザに車両使用を許可するようにすることには、充電装置に車両の電池を接続させるように制御することを含む。

選択可能に、前記方法は、車両にユーザが車両を使用できることを示すためのリマインド情報を送信させるように制御することを更に含む。

選択可能に、現時点で車両使用を要求するユーザの顔画像を取得することには、
前記車両に設置された撮影アセンブリにより前記ユーザの顔画像を収集することを含む。

選択可能に、前記方法は、
前記車両とクラウドサーバとが通信接続状態にある時に、前記クラウドサーバにデータセットダウンロード要求を送信することと、
前記クラウドサーバから送信されるデータセットを受信し記憶することと、を更に含む。

選択可能に、前記方法は、
前記特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングが成功した事前記憶顔画像により前記ユーザの身元情報を取得することと、
前記クラウドサーバに前記顔画像と前記身元情報を送信することと、を更に含む。

選択可能に、前記方法は、前記顔画像の生体検出結果を取得することを更に含み、
前記特徴マッチング結果により、車両の動作を制御して、前記ユーザに車両使用を許可するようにすることには、
前記特徴マッチング結果と前記生体検出結果により、車両の動作を制御して、前記ユーザに車両使用を許可するようにすることを含む。

選択可能に、前記方法は、
前記車両と携帯端末機とが通信接続状態にある時に、前記携帯端末機にデータセットダウンロード要求を送信することと、
前記携帯端末機から送信されるデータセットを受信し記憶することと、を更に含む。

選択可能に、前記データセットは前記携帯端末機が前記データセットダウンロード要求を受信した時にクラウドサーバから取得され且つ前記車両に送信されるものである。

選択可能に、前記方法は、
前記特徴マッチング結果に特徴マッチング未成功が示されれば、車両の動作を制御して前記ユーザの車両使用を拒否するようにすることを更に含む。

選択可能に、前記方法は、
予約情報のリマインドを出すことと、
前記予約情報によりユーザの予約顔画像を含む前記ユーザの予約要求を受信することと、
前記予約顔画像によりデータセットを確立することと、を更に含む。

選択可能に、前記方法は、
前記顔画像に基づいてユーザ状態検出を行うことと、
ユーザ状態検出の結果により異常状態の警報リマインドを行うことと、を更に含む。

選択可能に、前記ユーザ状態検出は、ユーザ疲労状態検出、ユーザ注意散漫状態検出、ユーザ所定注意散漫動作検出のいずれか一項又は複数項を含む。

選択可能に、前記顔画像に基づいてユーザ疲労状態検出を行うことには、
前記顔画像の顔の少なくとも一部の領域を検出し、開眼閉眼状態情報、開口閉口状態情報のいずれか一項又は複数項を含む顔の少なくとも一部の領域の状態情報を得ることと、
一定時間内の前記顔の少なくとも一部の領域の状態情報により、ユーザ疲労状態を特徴づけるための指標のパラメータ値を取得することと、
ユーザ疲労状態を特徴づけるための指標のパラメータ値によりユーザ疲労状態検出の結果を決定することと、を含む。

選択可能に、前記のユーザ疲労状態を特徴づけるための指標は、閉眼度、欠伸度のいずれか一項又は複数項を含む。

選択可能に、前記閉眼度のパラメータ値は、閉眼回数、閉眼頻度、閉眼持続時間、閉眼幅、半閉眼回数、半閉眼頻度のいずれか一項又は複数項を含み、及び／又は、
前記欠伸度のパラメータ値は、欠伸状態、欠伸回数、欠伸持続時間、欠伸頻度のいずれか一項又は複数項を含む。

選択可能に、前記顔画像に基づいてユーザ注意散漫状態検出を行うことには、
前記顔画像に対して顔向き方向及び／又は視線方向の検出を行って、顔向き方向情報及び／又は視線方向情報を得ることと、
一定時間内の前記顔向き方向情報及び／又は視線方向情報により、顔偏向度、視線偏向度のいずれか一項又は複数項を含む、ユーザ注意散漫状態を特徴づけるための指標のパラメータ値を決定することと、
前記ユーザ注意散漫状態を特徴づけるための指標のパラメータ値によりユーザ注意散漫状態検出の結果を決定することと、を含む。

選択可能に、前記顔偏向度のパラメータ値は、振り返り回数、振り返り持続時間、振り返り頻度のいずれか一項又は複数項を含み、及び／又は、
前記視線偏向度のパラメータ値は、視線方向偏向角度、視線方向偏向時間、視線方向偏向頻度のいずれか一項又は複数項を含む。

選択可能に、前記顔画像中のユーザに対して顔向き方向及び／又は視線方向検出を行うことには、
前記顔画像の顔キーポイントを検出することと、
前記顔キーポイントにより顔向き方向及び／又は視線方向検出を行うことと、を含む。

選択可能に、前記顔キーポイントにより顔向き方向検出を行って顔向き方向情報を得ることには、
前記顔キーポイントにより頭部姿勢の特徴情報を取得することと、
前記頭部姿勢の特徴情報により顔向き方向情報を決定することと、を含む。

選択可能に、前記所定注意散漫動作は、喫煙動作、水を飲む動作、飲食動作、電話通話動作、娯楽動作のいずれか一項又は複数項を含む。

選択可能に、前記顔画像に基づいてユーザ所定注意散漫動作検出を行うことには、
前記顔画像に対して前記所定注意散漫動作に対応する目標対象検出を行って目標対象の検出枠を得ることと、
前記目標対象の検出枠により、前記所定注意散漫動作が発生したか否かを決定することと、を含む。

選択可能に、前記方法は、
所定注意散漫動作が発生した場合に、一定時間内に前記所定注意散漫動作が発生したか否かの決定結果により、ユーザ注意散漫度を特徴づけるための指標のパラメータ値を取得することと、
前記のユーザ注意散漫度を特徴づけるための指標のパラメータ値によりユーザ所定注意散漫動作検出の結果を決定することと、を更に含む。

選択可能に、前記のユーザ注意散漫度を特徴づけるための指標のパラメータ値は、所定注意散漫動作の回数、所定注意散漫動作の持続時間、所定注意散漫動作の頻度のいずれか一項又は複数項を含む。

選択可能に、前記方法は、
ユーザ所定注意散漫動作検出の結果に所定注意散漫動作が検出されたことが示されれば、検出された所定注意散漫動作をリマインドすることを更に含む。

選択可能に、前記方法は、
前記ユーザ状態検出の結果に対応する制御操作を実行することを更に含む。

選択可能に、前記ユーザ状態検出の結果に対応する制御操作を実行することには、
決定された前記ユーザ状態検出の結果がリマインド／警告所定条件を満たした場合に、前記リマインド／警告所定条件に対応するリマインド／警告情報を出力すること、及び／又は、
決定された前記ユーザ状態検出の結果が所定情報送信条件を満たした場合に、予め設定された連絡先に所定情報を送信するか又は予め設定された連絡先と通信接続を確立すること、及び／又は、
決定された前記ユーザ状態検出の結果が所定走行モード切換条件を満たした場合に、走行モードを自動走行モードに切り換えることの少なくとも一項を含む。

選択可能に、前記方法は、
クラウドサーバに前記ユーザ状態検出の少なくとも一部の結果を送信することを更に含む。

選択可能に、前記少なくとも一部の結果は、ユーザ状態検出により決定された異常車両使用状態情報を含む。

選択可能に、前記方法は、
前記異常車両使用状態情報に対応する顔画像を記憶すること、及び／又は、
前記クラウドサーバに前記異常車両使用状態情報に対応する顔画像を送信することを更に含む。

本願の実施例の別の態様によれば、提供される車載インテリジェントシステムは、
現時点で車両使用を要求するユーザの顔画像を取得するためのユーザ画像取得ユニットと、
前記顔画像と車両のデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得するためのマッチングユニットであって、前記データセットには少なくとも１つの予め記録された車両使用許可ユーザの事前記憶顔画像が記憶されている、マッチングユニットと、
前記特徴マッチング結果に特徴マッチング成功が示されれば、車両の動作を制御して、前記ユーザに車両使用を許可するようにするための車両制御ユニットと、を含む。

本願の実施例の更に別の態様によれば、提供される車両制御方法は、
車両から送信される被識別顔画像を受信することと、
前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得ることであって、前記データセットには少なくとも１つの予め記録された車両使用許可ユーザの事前記憶顔画像が記憶されている、ことと、
前記特徴マッチング結果に特徴マッチング成功が示されれば、前記車両に車両制御を許可するコマンドを送信することと、を含む。

選択可能に、前記方法は、
車両から送信される、少なくとも１つの予め記録された車両使用許可ユーザの事前記憶顔画像を記憶したデータセットのダウンロード要求を受信することと、
前記車両に前記データセットを送信することと、を更に含む。

選択可能に、前記方法は、
車両又は携帯端末機から送信される、ユーザの予約顔画像を含む予約要求を受信することと、
前記予約顔画像によりデータセットを確立することと、を更に含む。

選択可能に、前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得ることには、
前記車両から前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得することを含む。

選択可能に、前記方法は、
前記車両から送信される前記ユーザ状態検出の少なくとも一部の結果を受信して異常車両使用状態の警報リマインドを行うことを更に含む。

選択可能に、前記少なくとも一部の結果は、ユーザ状態検出により決定された異常車両使用状態情報を含む。

選択可能に、前記方法は、前記ユーザ状態検出の結果に対応する制御操作を実行することを更に含む。

選択可能に、前記ユーザ状態検出の結果に対応する制御操作を実行することには、
決定された前記ユーザ状態検出の結果がリマインド／警告所定条件を満たした場合に、前記リマインド／警告所定条件に対応するリマインド／警告情報を出力すること、及び／又は、
決定された前記ユーザ状態検出の結果が所定情報送信条件を満たした場合に、予め設定された連絡先に所定情報を送信するか又は予め設定された連絡先と通信接続を確立すること、及び／又は、
決定された前記ユーザ状態検出の結果が所定走行モード切換条件を満たした場合に、走行モードを自動走行モードに切り換えることを含む。

選択可能に、前記方法は、前記車両から送信される、前記異常車両使用状態情報に対応する顔画像を受信することを更に含む。

選択可能に、前記方法は、前記異常車両使用状態情報に基づいて、データ統計、車両管理、ユーザ管理の少なくとも１種の操作を行うことを更に含む。

選択可能に、前記異常車両使用状態情報に基づいてデータ統計を行うことには、
前記異常車両使用状態情報に基づいて受信された前記異常車両使用状態情報に対応する顔画像を統計し、異なる異常車両使用状態に従って前記顔画像を分類し、各種の前記異常車両使用状態の統計詳細を決定することを含む。

選択可能に、前記異常車両使用状態情報に基づいて車両管理を行うことには、
前記異常車両使用状態情報に基づいて受信された前記異常車両使用状態情報に対応する顔画像を統計し、異なる車両に従って前記顔画像を分類し、各前記車両の異常車両使用統計詳細を決定することを含む。

選択可能に、前記異常車両使用状態情報に基づいてユーザ管理を行うことには、
前記異常車両使用状態情報に基づいて受信された前記異常車両使用状態情報に対応する顔画像を処理し、異なるユーザに従って前記顔画像を分類し、それぞれの前記ユーザの異常車両使用統計詳細を決定することを含む。

本願の実施例の更に１つの態様によれば、提供される電子機器は、
車両から送信される被識別顔画像を受信するための画像受信ユニットと、
前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得るためのマッチング結果取得ユニットであって、前記データセットには少なくとも１つの予め記録された車両使用許可ユーザの事前記憶顔画像が記憶されている、マッチング結果取得ユニットと、
前記特徴マッチング結果に特徴マッチング成功が示されれば、前記車両に車両制御を許可するコマンドを送信するためのコマンド送信ユニットと、を含む。

本願の実施例のまた１つの態様によれば、提供される車両制御システムは、上記のいずれか一項に記載の車両管理方法を実行するための車両及び／又は上記のいずれか一項に記載の車両制御方法を実行するためのクラウドサーバを含む。

選択可能に、前記車両制御システムは、
ユーザの登録顔画像を含むユーザ登録要求を受信することと、
前記ユーザ登録要求を前記クラウドサーバに送信することとに用いられる携帯端末機を更に含む。

本願の実施例のまた１つの態様によれば、提供される電子機器は、実行可能コマンドを記憶するためのメモリと、
前記メモリと通信して前記実行可能コマンドを実行して上記のいずれか一項に記載の車両制御方法を完成するためのプロセッサと、を含む。

本願の実施例のまた１つの態様によれば、提供されるコンピュータプログラムは、コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器で実行される時に、前記電子機器中のプロセッサにより上記のいずれか一項に記載の車両制御方法を実現するためのコマンドを実行する。

本願の実施例の別の態様によれば、提供されるコンピュータ記憶媒体は、コンピュータ読取可能コマンドを記憶するためのコンピュータ記憶媒体であって、前記コマンドが実行される時に上記のいずれか一項に記載の車両制御方法を実現する。

本願の上記実施例で提供された車両制御方法及びシステム、車載インテリジェントシステム、電子機器並びに媒体によれば、現時点で車両使用を要求するユーザの顔画像を取得し、顔画像と車両のデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得し、特徴マッチング結果に特徴マッチング成功が示されれば、車両の動作を制御してユーザに車両使用を許可するようにし、特徴マッチングに基づいて予め記録された人員の権利を保証し、ネットワークに接続されていなくても特徴マッチングを実現でき、ネットワークに対する依存性を克服し、更に車両の安全保障性を高める。

以下、図面及び実施例を通じて本願の技術的手段をさらに詳しく説明する。

明細書の一部を構成する図面は、本願の実施例を説明し、その説明と共に本願の原理を解釈することに用いられる。

図面を参照し、以下の詳細な説明により本願をより明瞭に理解することができる。
本願のいくつかの実施例による車両制御方法のフローチャットである。 本願のいくつかの実施例中で顔画像に基づいてユーザ疲労状態検出を行うフローチャットである。 本願のいくつかの実施例中で顔画像に基づいてユーザ注意散漫状態検出を行うフローチャットである。 本願のいくつかの実施例中で顔画像に基づいてユーザ所定注意散漫動作検出を行うフローチャットである。 本願のいくつかの実施例によるユーザ状態検出方法のフローチャットである。 本願のいくつかの実施例による車載インテリジェントシステムの構造模式図である。 本願の別のいくつかの実施例による車両制御方法のフローチャットである。 本願のいくつかの実施例による電子機器の構造模式図である。 本願のいくつかの実施例による車両管理システムの使用フローチャットである。 本願のいくつかの実施例による電子機器の一応用例の構造模式図である。

ここで、図面を参照しながら本願の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及びステップの相対的配置、数式及び値は本願の範囲を限定するものではないことに注意すべきである。

同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。

以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本願及びその適用または使用へのなんらの制限にもならない。

関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。

なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。

本発明の実施例は端末装置、コンピュータシステム、サーバなどの電子機器に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末装置、コンピュータシステム、サーバなどの電子機器との併用に適する公知の端末装置、計算システム、環境及び／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム及び前記の任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。

端末装置、コンピュータシステム、サーバなどの電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してよい。

図１は本願のいくつかの実施例による車両制御方法のフローチャットである。図１に示すように、本実施例の車両制御方法の実行主体は例えば車載インテリジェントシステム又は他の類似機能を備えた機器のような車両側機器であってよく、この実施例の方法は、以下を含む。

１１０：現時点で車両使用を要求するユーザの顔画像を取得する。

選択可能に、ユーザの顔画像を取得するために、車両外部又は内部に設置された画像収集装置により出現した人物の画像を収集して顔画像を得てよい。選択可能に、品質の高い顔画像を得るために、収集された画像に顔検出、顔品質選別及び生体識別などの操作を行ってよい。

選択可能な一例では、この操作１１０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動するユーザ画像取得ユニット６１によって実行されてもよい。

１２０：顔画像と車両のデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得する。

選択可能に、データセット中に少なくとも１つの予め記録された車両使用許可ユーザの事前記憶顔画像が記憶される。

選択可能に、顔画像とデータセット中の事前記憶顔画像とに対して特徴マッチングを行うには、畳み込みニューラルネットワークによりそれぞれ顔画像の特徴と事前記憶顔画像の特徴を得てから特徴マッチングを行ってよく、そのようにして顔画像と同一の顔に対応する事前記憶顔画像を識別して顔画像が収集されたユーザの身元の識別を実現する。

選択可能な一例では、この操作１２０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動するマッチングユニット６２によって実行されてもよい。

１３０：特徴マッチング結果に特徴マッチング成功が示されれば、車両を動作させてユーザに車両使用を許可するように制御する。

選択可能に、特徴マッチング結果は、特徴マッチング成功と特徴マッチング未成功という２種を含み、特徴マッチングが成功した時に、このユーザが予約を完成し又は許可されたユーザであって車両を使用できることを示し、この時に、車両を動作させてユーザに車両使用を許可するように制御する。

選択可能な一例では、この操作１３０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する車両制御ユニット６３によって実行されてもよい。

本願の上記実施例で提供された車両制御方法によれば、現時点で車両使用を要求するユーザの顔画像を取得し、顔画像と車両のデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得し、特徴マッチング結果に特徴マッチング成功が示されれば、車両を動作させてユーザに車両使用を許可するように制御するようになっており、特徴マッチングに基づいて予め記録された人員の権利を保証し、ネットワークに接続されていなくても特徴マッチングを実現でき、ネットワークに対する依存性を克服し、更に車両の安全保障性を高める。

１つ又は複数の選択可能な実施例では、車両使用は、車両使用予約、車両運転、乗車、洗車、車両保守、車両修理、車両給油、車両充電のいずれか一項又は任意の組合せを含んでよいが、それらに限定されない。

一般的には車両使用、車両運転に関しては、車両の運転制御権限が要求され、乗車（例えば、定期運行車両、ネットワークによって予約する車両）に関しては、車両用ドアを開かせるように制御することが要求され、洗車に関しては、人力で洗車する場合に車両が動かなくてもよく、洗車スタッフのために車両用ドアを開かせるように制御すればよいが、自動的に洗車する場合に洗車スタッフに車両の運転制御権限を提供することがあるという異なる場合に分けて良く、車両保守と車両修理に関しては、関連人員のために車両用ドアを開かせるように制御すればよく、車両給油に関しては、給油口を開かせるように制御することが要求され、車両充電（電動車）の時に、充電装置（例えば、充電ガン）に車両の電池を接続させるように制御することが要求される。

いくつかの実施例では、データセットに少なくとも１つの乗車予約済みユーザの事前記憶顔画像が記憶され、
操作１３０は、車両用ドアを開かせるように制御することを含んでよい。

ユーザが成功的に車に乗るように乗車予約済みユーザ（例えば、ネットワークによって予約する車両）のために車両用ドアを開くが、他の非予約ユーザが車両用ドアを開いて車に乗ることができなく、予約ユーザの権益と車両の安全が保証される。

いくつかの実施例では、データセット中に少なくとも１つの車両使用予約済みユーザの事前記憶顔画像が記憶され、
操作１３０は、車両用ドアを開かせ且つ車両運転制御権限を許可するように制御することを含んでよい。

予約ユーザが車両運転を予約した（例えば、貸出車両予約）場合に、ユーザに車両運転制御権限を提供するが、他の非予約ユーザが車両に入ることができなく、たとえ不正に車両に入ったとしても車両を運転できなく、車両の安全が保証される。

いくつかの実施例では、データセット中に少なくとも１つの記録された乗車許可ユーザの事前記憶顔画像が記憶され、
操作１３０は、車両用ドアを開かせるように制御することを含んでよい。

ユーザが記録された乗車許可ユーザ（例えば、自家用車に対応する運転能力のないメンバー、定期運行車両の乗客）である場合に、ユーザのために車両用ドアを開かせるように制御してユーザに安全に乗車させる。

いくつかの実施例では、データセット中に少なくとも１つの記録された車両使用許可ユーザの事前記憶顔画像が記憶され、
操作１３０は、車両用ドアを開かせ且つ車両運転制御権限を許可するように制御することを含む。

ユーザが記録された車両使用許可ユーザ（例えば、自家用車に対応する運転能力を持つメンバー）である場合に、ユーザに車両運転制御権限を提供するが、他の非記録ユーザが車両に入ることができなく、たとえ不正に車両に入ったとしても車両を運転できなく、車両の安全が保証される。

いくつかの実施例では、データセット中に少なくとも１つの開錠予約済み又は開錠許可を記録したユーザの事前記憶顔画像が記憶され、
操作１３０は、開錠させるように制御することを含む。

特別な車両（例えば、電動自転車、電動モーターバイク、共有自転車など）については、開錠してから車両使用が可能になり、この時に、ユーザが予約ユーザ（一時予約又は長期予約を含む）又は開錠許可を記録したユーザであってよく、このユーザのために開錠するように制御し、車両の安全が保証される。

いくつかの実施例では、データセット中に少なくとも１つの車両給油予約済み又は車両給油許可を記録したユーザの事前記憶顔画像が記憶され、
操作１３０は、車両給油口を開かせるように制御することを含む。

車両に給油する必要がある時に、給油口を開くことが要求され、車両給油予約済み又は車両給油許可を記録したユーザであれば、このユーザのために車両給油口を開かせるように制御して、車両給油を実現して、車両の各性能の安全性を保証する。

いくつかの実施例では、データセット中に少なくとも１つの車両充電予約済み又は車両充電許可を記録したユーザの事前記憶顔画像が記憶され、
操作１３０は、充電装置に車両の電池を接続させるように制御することを含む。

車両（例えば、電動自動車又は電動自転車など）に充電する必要がある時に、充電装置に車両の電池を接続させるように制御することが要求され、車両充電予約済み又は車両充電許可を記録したユーザであれば、このユーザのために充電装置に車両の電池を接続させるように制御して、車両充電を実現して、車両電池の安全性を保証する。

１つ又は複数の選択可能な実施例では、車両制御方法は、車両にユーザが車両を使用できることを示すためのリマインド情報を送信させるように制御することを更に含む。

ユーザにより好ましい使用体験を提供するために、ユーザに車両使用を許可したことを示すためのリマインド情報を送信してユーザに車両使用が可能になったことをリマインドすることにより、ユーザが待つことを回避し又はユーザが待つ時間を短縮させて、ユーザにより好ましいサービスを提供することができる。

１つ又は複数の選択可能な実施例では、操作１１０は、
車両に設置された撮影アセンブリによりユーザの顔画像を収集することを含んでよい。

本実施例でユーザに提供されるのは車両使用サービスであって、車両内部での操作（例えば、運転）又は在車両外部での操作（例えば、開扉、開錠）を含んでよく、従って、撮影アセンブリが車両外部に設置されてもよく、内部に設置されてもよく、固設されてもよく、可動に設置されてもよい。

１つ又は複数の選択可能な実施例では、車両制御方法は、
車両とクラウドサーバとが通信接続状態にある時に、クラウドサーバにデータセットダウンロード要求を送信することと、
クラウドサーバから送信されるデータセットを受信し記憶することと、を更に含む。

選択可能に、一般的にはデータセットがクラウドサーバに保存されており、本実施例では、車両側で顔マッチングを行う時にネットワークに接続されていなくても顔マッチングを可能にし、ネットワークに接続されている場合にクラウドサーバからデータセットをダウンロードし且つデータセットを車両側に保存することを可能にするのを実現することを目的とし、この時に、ネットワークに接続されていなくてクラウドサーバと通信不可能であっても、車両側で顔マッチングが実現でき、更に車両側によるデータセットの管理が容易になる。

１つ又は複数の選択可能な実施例では、車両制御方法は、
特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングが成功した事前記憶顔画像によりユーザの身元情報を取得することと、
クラウドサーバに顔画像と身元情報を送信することと、を更に含んでもよい。

本実施例では、特徴マッチングが成功した時に、このユーザが予約済み又は車両使用を許可したユーザであり、データセットからユーザに対応する身元情報を得て顔画像と身元情報をクラウドサーバに送信することができるのを示し、そのようにクラウドサーバでこのユーザに対するリアルタイムトラッキング（例えば、あるユーザがいつどこである車両に乗るか）を確立でき、ネットワークに接続されている場合に顔画像をリアルタイムでクラウドサーバにアップロードすることで、ユーザ車両使用状態の分析と統計を実現することができる。

１つ又は複数の選択可能な実施例では、車両制御方法は、顔画像の生体検出結果を取得することを更に含み、
操作１３０は、
特徴マッチング結果と生体検出結果により、車両を動作させてユーザに車両使用を許可するように制御することを含んでよい。

本実施例では、生体検出は画像が真実人物（又は生きている人）からのものであるか否かを判断するために用いられ、生体検出により運転手の身元検証をより精確にすることができる。本実施例では生体検出の具体的な形態は限定されなく、例えば、画像の３次元情報深度分析、顔部オプティカルフロー解析、フーリエスペクトル分析、縁部又は光反射などの偽造防止手がかり分析、ビデオストリーム中のマルチフレームビデオの画像フレームの総合分析などの方法を用いて実現してよく、そのため、ここで詳しい説明を省略する。

１つ又は複数の選択可能な実施例では、車両制御方法は、
車両と携帯端末機とが通信接続状態にある時に、携帯端末機にデータセットダウンロード要求を送信することと、
携帯端末機から送信されるデータセットを受信し記憶することと、を更に含む。

選択可能に、データセットは携帯端末機がデータセットダウンロード要求を受信した時にクラウドサーバから取得され且つ車両に送信されるものである。

選択可能に、携帯端末機は携帯電話、ＰＡＤ又は他の車両上の端末装置などであってよく、携帯端末機がデータセットダウンロード要求を受信するとクラウドサーバにデータセットダウンロード要求を送信し、続いてデータセットを得てから車両に送信し、携帯端末機によりデータセットをダウンロードする時に、携帯端末機に固有のネットワーク（例えば、２Ｇ、３Ｇ、４Ｇネットワークなど）を利用することができ、車両がネットワークに制限されてクラウドサーバからデータセットをダウンロードできなくて顔マッチングができないという問題を回避する。

１つ又は複数の選択可能な実施例では、車両制御方法は、特徴マッチング結果に特徴マッチング未成功が示されれば、車両を動作させてユーザの車両使用を拒否するように制御することを更に含む。

本実施例では、特徴マッチング未成功はこのユーザが予約しなく又は車両使用が許可されなかったことを示し、この時に、予約済み又は車両使用が許可されたユーザの権益を保障するために、車両はこのユーザの車両使用を拒否する。

選択可能に、車両制御方法は、
予約情報のリマインドを出すことと、
予約情報によりユーザの予約顔画像を含むユーザの予約要求を受信することと、
予約顔画像によりデータセットを確立することと、を更に含む。

本実施例では、車両によりユーザからの予約要求を受信し、このユーザの予約顔画像を保存し、車両側でこの予約顔画像に基づいてデータセットを確立し、データセットにより車両側での単独した顔マッチングが実現可能であり、クラウドサーバからデータセットをダウンロードする必要がなくなる。

１つ又は複数の選択可能な実施例では、車両制御方法は、
顔画像に基づいてユーザ状態検出を行うことと、
ユーザ状態検出の結果により異常状態の警報リマインドを行うことと、を更に含む。

こいくつかの実施例では、ユーザ状態検出の結果を出力してよい。

別のいくつかの実施例では、ユーザが運転手である時に、ユーザ状態検出の結果により車両にインテリジェント運転制御を行ってよい。

更に別のいくつかの実施例では、ユーザが運転手である時に、ユーザ状態検出の結果を出力すると共に、ユーザ状態検出の結果により車両にインテリジェント運転制御を行ってよい。

選択可能に、ユーザ状態検出の結果をローカル出力し及び／又はユーザ状態検出の結果を遠隔出力してよい。ここで、ユーザ状態検出の結果のローカル出力とは、ユーザ状態検出装置又はユーザ監視システムによりユーザ状態検出の結果を出力するか、又は車両中の中央制御システムにユーザ状態検出の結果を出力することを指し、そのように車両はこのユーザ状態検出の結果に基づいて車両にインテリジェント運転制御を行う。ユーザ状態検出の結果の遠隔出力とは、例えば、クラウドサーバ又は管理ノードにユーザ状態検出の結果を送信することを指し、そのようにクラウドサーバ又は管理ノードはユーザ状態検出の結果の收集、分析及び／又は管理を行うか、又はこのユーザ状態検出の結果に基づいて車両に対して遠隔制御を行う。

選択可能な一例では、ユーザ状態検出の結果により異常状態の警報リマインドを行うことは、プロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する出力モジュールによって実行されてもよい。

選択可能な一例では、上記操作はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動するユーザ状態検出ユニットによって実行されてもよい。

いくつかの実施例では、ユーザ状態検出は、例えば、ユーザ疲労状態検出、ユーザ注意散漫状態検出、ユーザ所定注意散漫動作検出、ユーザジェスチャー検出のいずれか一項又は複数項を含んでよいが、それらに限定されない。そのようにしてユーザ状態検出の結果は対応するように、ユーザ疲労状態検出の結果、ユーザ注意散漫状態検出の結果、ユーザ所定注意散漫動作検出の結果、ユーザジェスチャー検出の結果のいずれか一項又は複数項を含んでよいが、それらに限定されない。

本実施例では、所定注意散漫動作は、例えば、喫煙動作、水を飲む動作、飲食動作、電話通話動作、娯楽動作などのユーザの注意をそらせるいかなる注意散漫動作であってよい。ここで、飲食動作は例えば果物、間食などの食物を食べる動作であり、娯楽動作は例えばメッセージを送る、ゲームをプレイする、歌を歌うなどの電子機器により実行するいかなる動作であり、ここで、電子機器は例えば携帯電話端末、モバイルコンピュータ、ゲーム機などである。

本願の上記実施例で提供されたユーザ状態検出方法によれば、顔画像に対してユーザ状態検出を行い且つユーザ状態検出の結果を出力して、ユーザの車両使用状態のリアルタイム検出を実現することができ、そのようにユーザの車両使用状態が悪い時にタイムリーで対応する対策を取り、安全運転の保証に寄与し、道路交通事故の発生を減少又は回避する。

図２は本願のいくつかの実施例で顔画像に基づいてユーザ疲労状態検出を行うフローチャットである。選択可能な一例では、図２に示す実施例はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する状態検出ユニットによって実行されてもよい。図２に示すように、顔画像に基づいてユーザ疲労状態検出を行う方法は、以下を含んでよい。

２０２：顔画像の顔の少なくとも一部の領域を検出し、顔の少なくとも一部の領域の状態情報を得る。

選択可能な一例では、上記顔の少なくとも一部の領域は、ユーザの顔の眼部領域、ユーザの顔の口部領域及びユーザの顔部全領域などのうちの少なくとも１つを含んでよい。ここで、この顔の少なくとも一部の領域の状態情報は、開眼閉眼状態情報、開口閉口状態情報のいずれか一項又は複数項を含んでよい。

選択可能に、上記開眼閉眼状態情報は、ユーザの閉眼検出に利用可能であり、例えば、ユーザが半閉眼（「半」とは眼を完全に閉めていない状態、例えば眠い状態で目を細くしている状態などを指す）したか否か、眼を閉めたか否か、閉眼回数、閉眼幅などを検出する。選択可能に、開眼閉眼状態情報は開眼の高さに対して正規化処理を行った後の情報であってよい。選択可能に、上記開口閉口状態情報は、ユーザの欠伸検出に利用可能であり、例えば、ユーザが欠伸をしているか否か、欠伸回数などを検出する。選択可能に、開口閉口状態情報は開口の高さに対して正規化処理を行った後の情報であってよい。

選択可能な一例では、顔画像に対して顔キーポイント検出を行い、検出された顔キーポイント中の眼キーポイントを直接利用して計算し、計算結果により開眼閉眼状態情報を得てよい。

選択可能な一例では、先に顔キーポイント中の眼キーポイント（例えば、眼キーポイントのユーザ画像での座標情報）を利用してユーザ画像中の眼の位置を検出して眼画像を得、更にこの眼画像を利用して上眼瞼線と下眼瞼線を得、上眼瞼線と下眼瞼線との間隔を計算することにより開眼閉眼状態情報を得てよい。

選択可能な一例では、顔キーポイント中の口キーポイントを直接利用して計算し、計算結果により開口閉口状態情報を得てよい。

選択可能な一例では、先に顔キーポイント中の口キーポイント（例えば、口キーポイントのユーザ画像での座標情報）を利用して運転手画像中の口の位置を検出し、剪断などの方式により口画像を得、更にこの口画像を利用して上口唇腺と下口唇腺を得、上口唇腺と下口唇腺との間隔を計算することにより開口閉口状態情報を得てよい。

２０４：一定時間内の顔の少なくとも一部の領域の状態情報により、ユーザ疲労状態を特徴づけるための指標のパラメータ値を取得する。

いくつかの選択可能な例では、ユーザ疲労状態を特徴づけるための指標は、例えば、閉眼度、欠伸度のいずれか一項又は複数項を含んでよいが、それらに限定されない。

選択可能な一例では、閉眼度のパラメータ値は、例えば、閉眼回数、閉眼頻度、閉眼持続時間、閉眼幅、半閉眼回数、半閉眼頻度のいずれか一項又は複数項を含んでよいが、それらに限定されなく、及び／又は、欠伸度のパラメータ値は、例えば、欠伸状態、欠伸回数、欠伸持続時間、欠伸頻度のいずれか一項又は複数項を含んでよいが、それらに限定されない。

２０６：ユーザ疲労状態を特徴づけるための指標のパラメータ値によりユーザ疲労状態検出の結果を決定する。

選択可能に、上記ユーザ疲労状態検出の結果は、疲労状態未検出と疲労状態を含んでよい。又は、ユーザが運転手である時に、上記ユーザ疲労状態検出の結果は疲労運転程度であってもよく、ここで、疲労運転程度は、正常運転等級（非疲労運転等級と呼んでもよい）及び疲労運転等級を含んでよい。ここで、疲労運転等級は１つの等級であってもよく、複数の異なる等級に分けてもよく、例えば、上記疲労運転等級はリマインド疲労運転等級（軽度疲労運転等級と呼んでもよい）と警告疲労運転等級（重度疲労運転等級と呼んでもよい）に分けて良い。勿論、疲労運転程度は例えば軽度疲労運転等級、中度疲労運転等級及び重度疲労運転等級などのようなより多い等級に分けてもよい。本実施例では疲労運転程度に含まれる異なる等級は限定されない。

図３は本願のいくつかの実施例中で顔画像に基づいてユーザ注意散漫状態検出を行うフローチャットである。選択可能な一例では、図３に示す実施例はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する状態検出ユニットによって実行されてもよい。図３に示すように、顔画像に基づいてユーザ注意散漫状態検出を行う方法は、以下を含んでよい。

３０２：顔画像に対して顔向き方向及び／又は視線方向の検出を行って、顔向き方向情報及び／又は視線方向情報を得る。

選択可能に、上記顔向き方向情報は、ユーザの顔方向が正常であるか否かを決定するために利用可能であり、例えば、ユーザの横顔が前方に向けているか否か、振り返っているか否かなどを決定する。選択可能に、顔向き方向情報はユーザの顔の直前とユーザの使用している車両の直前との夾角であってよい。選択可能に、上記視線方向情報はユーザの視線方向が正常であるか否かを決定するために利用可能であり、例えば、ユーザが前方を目視しているか否かなどを決定し、視線方向情報はユーザの視線に偏向現象が発生したか否かなどを判断するために利用可能である。選択可能に、視線方向情報はユーザの視線とユーザの使用している車両の直前との夾角であってよい。

３０４：一定時間内の顔向き方向情報及び／又は視線方向情報により、ユーザ注意散漫状態を特徴づけるための指標のパラメータ値を決定する。

いくつかの選択可能な例では、ユーザ注意散漫状態を特徴づけるための指標は、例えば、顔偏向度、視線偏向度のいずれか一項又は複数項を含んでよいが、それらに限定されない。選択可能な一例では、顔偏向度のパラメータ値は、例えば、振り返り回数、振り返り持続時間、振り返り頻度のいずれか一項又は複数項を含んでよいが、それらに限定されなく、及び／又は、視線偏向度のパラメータ値は、例えば、視線方向偏向角度、視線方向偏向時間、視線方向偏向頻度のいずれか一項又は複数項を含んでよいが、それらに限定されない。

選択可能な一例では、上記視線偏向度は、例えば、視線が偏向したか否か及び視線が大幅に偏向したか否かなどのうちの少なくとも一項を含んでよく、上記顔偏向度（顔ずれ度又は振り返り度と呼んでもよい）は、例えば、振り返ったか否か、短時間振り返ったか否か及び長時間振り返ったか否かのうちの少なくとも一項を含んでよい。

選択可能な一例では、顔向き方向情報が第１の向き方向より大きく、第１の向き方向より大きいという現象がＮ１フレーム（例えば、９フレーム又は１０フレームなど）持続したと判断した場合に、ユーザに大角度で長時間振り返った現象が一回発生したと決定し、そのように大角度で長時間振り返ったことを一回記録してもよく、今回の振り返り時間を記録してもよく、また、顔向き方向情報が第１の向き方向より大きくないが、第２の向き方向より大きく、第１の向き方向より大きくなく第２の向き方向より大きいという現象がＮ１フレーム（例えば、９フレーム又は１０フレームなど）持続したと判断した場合に、ユーザに小角度で長時間振り返った現象が一回発生したと決定し、そのように小角度で振り返ったことを一回記録してもよく、今回の振り返り時間を記録してもよい。

選択可能な一例では、視線方向情報と自動車直前との夾角が第１の夾角より大きく、第１の夾角より大きいという現象がＮ２フレーム（例えば、８フレーム又は９フレームなど）持続したと判断した場合に、ユーザに視線が大幅に偏向した現象が一回発生したと決定し、そのように視線が大幅に偏向したことを一回記録してもよく、今回視線が大幅に偏向した時間を記録してもよく、また、視線方向情報と自動車直前との夾角が第１の夾角より大きくないが、第２の夾角より大きく、第１の夾角より大きくなく第２の夾角より大きいという現象がＮ２フレーム（例えば、８フレーム又は９フレームなど）持続したと判断した場合に、運転手に視線が偏向した現象が一回発生したと決定し、そのように視線が偏向したことを一回記録してもよく、今回視線が偏向した時間を記録してもよい。

選択可能な一例では、上記第１の向き方向、第２の向き方向、第１の夾角、第２の夾角、Ｎ１及びＮ２の値は実際に応じて設置可能であり、本実施例では値は限定されない。

３０６：ユーザ注意散漫状態を特徴づけるための指標のパラメータ値によりユーザ注意散漫状態検出の結果を決定する。

選択可能に、上記ユーザ注意散漫状態検出の結果は、例えば、ユーザ注意力集中（ユーザ注意力未散漫）、ユーザ注意力散漫を含んでよく、又は、ユーザ注意散漫状態検出の結果はユーザ注意力散漫等級であってよく、例えば、ユーザ注意力集中（ユーザ注意力未散漫）、ユーザ注意力軽度散漫、ユーザ注意力中度散漫、ユーザ注意力極度散漫などを含んでよい。ここで、ユーザ注意力散漫等級は、ユーザ注意散漫状態を特徴づけるための指標のパラメータ値が満たす予め設定された条件により決定してよい。例えば、視線方向偏向角度と顔向き方向偏向角度がいずれも第１の所定の角度より小さければ、ユーザ注意力散漫等級はユーザ注意力集中となり、また、視線方向偏向角度と顔向き方向偏向角度のいずれか一方が第１の所定角度以上であり、持続時間が第１の所定の時間より大きく、且つ第２の所定の時間以下であれば、ユーザ注意力軽度散漫となり、また、視線方向偏向角度と顔向き方向偏向角度のいずれか一方が第１の所定の角度以上であり、持続時間が第２の所定の時間より大きく、且つ第３の所定の時間以下であれば、ユーザ注意力中度散漫となり、また、視線方向偏向角度と顔向き方向偏向角度のいずれか一方が第１の所定角度以上であり且つ持続時間が第３の所定の時間より大きければ、ユーザ注意力重度散漫となり、ここで、第１の所定の時間が第２の所定の時間より小さく、第２の所定の時間が第３の所定の時間より小さい。

本実施例は、ユーザが運転手である時にユーザ画像の顔向き方向及び／又は視線方向を検出してユーザ注意散漫状態を特徴づけるための指標のパラメータ値を決定し、更にそれに基づいてユーザ注意散漫状態検出の結果を決定することにより、ユーザが注意力を集中して運転しているか否かを判断でき、ユーザ注意散漫状態の指標を計量化し、運転専心程度を視線偏向度と振り返り程度指標の少なくとも一方として計量化することにより、タイムリーで客観的にユーザの専心運転状態を判断することに寄与する。

いくつかの実施例では、顔画像に対して顔向き方向及び／又は視線方向検出を行う操作３０２は、
顔画像の顔キーポイントを検出することと、
顔キーポイントにより顔向き方向及び／又は視線方向検出を行うことと、を含んでよい。

顔キーポイントに一般的に頭部姿勢特徴情報が含まれるため、いくつかの選択可能な例では、顔キーポイントにより顔向き方向検出を行い、顔向き方向情報を得ることには、顔キーポイントにより頭部姿勢の特徴情報を取得することと、頭部姿勢の特徴情報により顔向き方向（頭部姿勢と呼んでも良い）情報を決定することを含み、ここの顔向き方向情報は例えば顔を振り向けた方向及び角度を示すことができ、ここの振り向け方向は左、右、下及び／又は上へ振り向ける方向などであってよい。

選択可能な一例では、ユーザが注意力を集中して運転しているか否かを顔向き方向により判断できる。顔向き方向（頭部姿勢）を（ｙａｗ，ｐｉｔｃｈ）で表してよく、ただし、ｙａｗは頭部の正規化球面座標（カメラの所在するカメラ座標系）での水平偏向角度（ヨー角）と垂直偏向角度（ピッチ角）を表す。水平偏向角及び／又は垂直偏向角が所定の角度閾値より大きく且つ持続時間が所定の時間閾値より大きい時に、ユーザ注意散漫状態検出の結果として注意力が集中されていないと決定してよい。

選択可能な一例では、対応するニューラルネットワークを利用して少なくとも１つのユーザ画像の顔向き方向情報を得てよい。例えば、上記の検出された顔キーポイントを第１のニューラルネットワークに入力し、第１のニューラルネットワークにより受信された顔キーポイントに基づいて頭部姿勢の特徴情報を抽出し、且つ第２のニューラルネットワークに入力し、第２のニューラルネットワークによりこの頭部姿勢の特徴情報に基づいて頭部姿勢推定を行い、顔向き方向情報を得るようにしてよい。

十分に発展されており好適なリアルタイム性を有する、頭部姿勢特徴情報を抽出するための既存のニューラルネットワーク及び顔向き方向を推定するためのニューラルネットワークを用いて顔向き方向情報を取得する場合に、カメラにより取得されたビデオについて、ビデオ中の少なくとも１つの画像フレーム（即ち、少なくとも１フレームのユーザ画像）に対応する顔向き方向情報をタイムリーで精確に検出でき、それによりユーザ注意力程度を決定する正確性の向上に寄与する。

いくつかの選択可能な例では、顔キーポイントにより視線方向検出を行って視線方向情報を得ることには、顔キーポイント中の眼キーポイントの位置決定した眼画像により瞳縁部位置を決定し、更に瞳縁部位置により瞳中心位置を計算することと、瞳中心位置と眼中心位置により視線方向情報を計算することとを含む。例えば、瞳中心位置と眼画像中の眼中心位置のベクトルを計算し、このベクトルを視線方向情報としてよい。

選択可能な一例では、視線方向によりユーザが注意力を集中して運転しているか否かを判断できる。視線方向を（ｙａｗ，ｐｉｔｃｈ）で表してよく、ただし、ｙａｗは視線の正規化球面座標（カメラの所在するカメラ座標系）での水平偏向角度（ヨー角）と垂直偏向角度（ピッチ角）を表す。水平偏向角及び／又は垂直偏向角が所定の角度閾値より大きく且つ持続時間が所定の時間閾値より大きい時に、ユーザ注意散漫状態検出の結果として注意力が集中されていないとを決定してよい。

選択可能な一例では、顔キーポイント中の眼キーポイントの位置決定した眼画像により瞳縁部位置を決定することは、第３のニューラルネットワークに基づいて、顔キーポイントにより分割された画像中の眼領域画像に対して瞳縁部位置検出を行い、第３のニューラルネットワークの出力した情報により瞳縁部位置を取得するように実現されてよい。

図４は本願のいくつかの実施例で顔画像に基づいてユーザ所定注意散漫動作検出を行うフローチャットである。選択可能な一例では、図４に示す実施例はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する状態検出ユニットによって実行されてもよい。図４に示すように、顔画像に基づいてユーザ所定注意散漫動作検出を行う方法は、以下を含んでよい。

４０２：顔画像に対して所定注意散漫動作に対応する目標対象検出を行って目標対象の検出枠を得る。

４０４：目標対象の検出枠により所定注意散漫動作が発生したか否かを決定する。

本実施例では、ユーザに対して所定注意散漫動作検出を行う時に、所定注意散漫動作に対応する目標対象を検出し、検出された目標対象の検出枠により所定注意散漫動作が発生したか否かを決定することにより、ユーザの注意力が散漫したか否かを判断することになり、精確なユーザ所定注意散漫動作検出の結果の取得に寄与し、それによりユーザ状態検出の結果の正確性の向上に寄与する。

例えば、所定注意散漫動作が喫煙動作である時に、上記操作４０２〜４０４は、第４のニューラルネットワークによりユーザ画像に対して顔検出を行って顔検出枠を得、顔検出枠の特徴情報を抽出することと、第４のニューラルネットワークにより顔検出枠の特徴情報に基づいて喫煙動作が発生したか否かを決定することとを含んでよい。

更に例えば、所定注意散漫動作が飲食動作／水を飲む動作／電話通話動作／娯楽動作（即ち、飲食動作及び／又は水を飲む動作及び／又は電話通話動作及び／又は娯楽動作）である時に、上記操作４０２〜４０４は、第５のニューラルネットワークによりユーザ画像に対して飲食動作／水を飲む動作／電話通話動作／娯楽動作に対応する特定目標対象検出を行って特定目標対象の検出枠を得ることと、特定目標対象の検出枠により所定注意散漫動作の検出結果を決定することとを含んでよく、ただし、特定目標対象は、手部、口部、眼部、目標物体を含み、目標物体は、例えば、容器、食物、電子機器のいずれか１種又は複数種を含んでよいが、それらに限定されなく、この所定注意散漫動作の検出結果は、飲食動作／水を飲む動作／電話通話動作／娯楽動作が発生しなかった、飲食動作が発生した、水を飲む動作が発生した、電話通話動作が発生した、娯楽動作が発生したうちのいずれか１種を含んでよい。

いくつかの選択可能な例では、所定注意散漫動作が飲食動作／水を飲む動作／電話通話動作／娯楽動作（即ち、飲食動作及び／又は水を飲む動作及び／又は電話通話動作及び／又は娯楽動作）である時に、特定目標対象の検出枠により所定注意散漫動作の検出結果を決定することには、手部の検出枠、口部の検出枠、眼部の検出枠及び目標物体の検出枠が検出されたか否か、手部の検出枠と目標物体の検出枠とが重なったか否か、目標物体の種類及び目標物体の検出枠と口部の検出枠又は眼部の検出枠との距離が予め設定された条件を満たしたか否かに応じて、所定注意散漫動作の検出結果を決定することを含んでよい。

選択可能に、手部の検出枠と目標物体の検出枠が重なり、目標物体の種類が容器又は食物であり、且つ目標物体の検出枠と口部の検出枠が重なった場合に、飲食動作又は水を飲む動作が発生したと決定し、及び／又は、手部の検出枠と目標物体の検出枠とが重なり、目標物体の種類が電子機器であり、且つ目標物体の検出枠と口部の検出枠との最小距離が第１の所定の距離より小さく、又は目標物体の検出枠と眼部の検出枠との最小距離が第２の所定距離より小さい場合に、娯楽動作又は電話通話動作が発生したと決定する。

また、手部の検出枠、口部の検出枠及び任意の目標物体の検出枠が同時に検出されず、且つ手部の検出枠、眼部の検出枠及び任意の目標物体の検出枠が同時に検出されなかった場合に、注意散漫動作の検出結果として飲食動作、水を飲む動作、電話通話動作及び娯楽動作が検出されなかったと決定し、及び／又は、手部の検出枠と目標物体の検出枠が重なっていない場合に、注意散漫動作の検出結果として飲食動作、水を飲む動作、電話通話動作及び娯楽動作が検出されなかったと決定し、及び／又は、目標物体の種類が容器又は食物であり、且つ目標物体の検出枠と口部の検出枠とが重なっておらず、及び／又は、目標物体の種類が電子機器であり、且つ目標物体の検出枠と口部の検出枠との最小距離が第１の所定距離より小さくなく、又は目標物体の検出枠と眼部の検出枠との最小距離が第２の所定距離より小さくない場合に、注意散漫動作の検出結果として飲食動作、水を飲む動作、電話通話動作及び娯楽動作が検出されなかったと決定する。

また、ユーザ画像に対して所定注意散漫動作検出を行う上記実施例は、ユーザ注意散漫状態検出の結果として所定注意散漫動作が検出された場合に、検出された所定注意散漫動作をリマインドすることを更に含んでもよく、例えば、喫煙動作が検出された時に、喫煙が検出されたことをリマインドし、水を飲む動作が検出された時に、水を飲む動作が検出されたことをリマインドし、電話通話動作が検出された時に、電話通話が検出されたことをリマインドする。

選択可能な一例では、検出された所定注意散漫動作をリマインドする上記操作はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動するリマインドユニットによって実行されてもよい。

また、更に図４に示すように、ユーザ画像に対してユーザ所定注意散漫動作検出を行う別の実施例は、以下を選択的に含んでも良い。

４０６：所定注意散漫動作が発生した場合に、一定時間内に所定注意散漫動作が発生したか否かの決定結果により、ユーザ注意散漫度を特徴づけるための指標のパラメータ値を取得する。

選択可能には、ユーザ注意散漫度を特徴づけるための指標は、例えば、所定注意散漫動作の回数、所定注意散漫動作の持続時間、所定注意散漫動作の頻度のいずれか一項又は複数項を含んでよいが、それらに限定されない。例えば、喫煙動作の回数、持続時間、頻度、水を飲む動作の回数、持続時間、頻度、電話通話動作の回数、持続時間、頻度などが挙げられる。

４０８：ユーザ注意散漫度を特徴づけるための指標のパラメータ値によりユーザ所定注意散漫動作検出の結果を決定する。

選択可能に、上記ユーザ所定注意散漫動作検出の結果は、所定注意散漫動作未検出、所定注意散漫動作検出を含んでよい。また、上記ユーザ所定注意散漫動作検出の結果は注意散漫等級であってよく、例えば、注意散漫等級は、注意力未散漫等級（専心運転等級と呼んでもよい）、リマインド注意散漫運転等級（軽度注意散漫運転等級と呼んでもよい）及び警告注意散漫運転等級（重度注意散漫運転等級と呼んでもよい）に分けてよい。勿論、注意散漫等級は、例えば注意力未散漫運転等級、軽度注意散漫運転等級、中度注意散漫運転等級及び重度注意散漫運転等級等のようなより多い等級に分けてもよい。勿論、本実施例の少なくとも１つの実施例の注意散漫等級は他の状況に応じて分けてもよく、上記の等級に限定されない。

選択可能な一例では、注意散漫等級は、ユーザ注意散漫度を特徴づけるための指標のパラメータ値が満たす予め設定された条件により決定してよい。例えば、所定注意散漫動作が検出されなかった場合に、注意散漫等級は注意力未散漫等級（専心運転等級と呼んでもよい）となり、また、所定注意散漫動作の持続時間が第１の所定の時間より小さく且つ頻度が第１の所定の頻度より小さいことが検出された場合に、注意散漫等級は軽度注意散漫運転等級となり、また、所定注意散漫動作の持続時間が第１の所定の時間より大きく及び／又は頻度が第１の所定の頻度より大きいことが検出された場合に、注意散漫等級は重度注意散漫運転等級となる。

いくつかの実施例では、ユーザ状態検出方法は、ユーザ注意散漫状態検出の結果及び／又はユーザ所定注意散漫動作検出の結果により、注意散漫リマインド情報を出力することを更に含んでもよい。

選択可能に、ユーザ注意散漫状態検出の結果がユーザ注意力散漫又はユーザ注意力散漫等級であり、及び／又はユーザ所定注意散漫動作検出の結果として所定注意散漫動作が検出された場合に、注意散漫リマインド情報を出力して、注意力を集中して運転するようにユーザの注意を喚起してよい。

選択可能な一例では、ユーザ注意散漫状態検出の結果及び／又はユーザ所定注意散漫動作検出の結果により注意散漫リマインド情報を出力する上記操作はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動するリマインドユニットによって実行されてもよい。

図５は本願のいくつかの実施例によるユーザ状態検出方法のフローチャットである。選択可能な一例では、図５に示す実施例はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する状態検出ユニットによって実行されてもよい。図５に示すように、この実施例のユーザ状態検出方法は、以下を含む。

５０２：顔画像に基づいてユーザ疲労状態検出、ユーザ注意散漫状態検出及びユーザ所定注意散漫動作検出を行って、ユーザ疲労状態検出の結果、ユーザ注意散漫状態検出の結果及びユーザ所定注意散漫動作検出の結果を得る。

５０４：ユーザ疲労状態検出の結果、ユーザ注意散漫状態検出の結果及びユーザ所定注意散漫動作検出の結果が満たす予め設定された条件によりユーザ状態等級を決定する。

５０６：決定されたユーザ状態等級をユーザ状態検出の結果とする。

選択可能な一例では、それぞれのユーザ状態等級がそれぞれ予め設定された条件に対応し、ユーザ疲労状態検出の結果、ユーザ注意散漫状態検出の結果及びユーザ所定注意散漫動作検出の結果が満たす予め設定された条件をリアルタイムで判断することで、満たされた予め設定された条件に対応する状態等級をユーザのユーザ状態検出の結果とすることができる。ユーザが運転手である時に、ここで、ユーザ状態等級は、例えば、正常運転状態（専心運転等級と呼んでもよい）、リマインド運転状態（運転状態が悪い）、警告運転状態（運転状態が非常に悪い）を含んでよい。

選択可能な一例では、上記図５に示す実施例はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する出力モジュールによって実行されてもよい。

例えば、ユーザが運転手である時に、正常運転状態（専心運転等級と呼んでもよい）に対応する予め設定された条件は、以下を含んでよい。

条件１：ユーザ疲労状態検出の結果：疲労状態未検出又は非疲労運転等級。

条件２：ユーザ注意散漫状態検出の結果：ユーザの注意力が集中している。

条件３：ユーザ所定注意散漫動作検出の結果：所定注意散漫動作未検出又は注意力未散漫等級。

上記条件１、条件２、条件３が全て満たされた場合に、運転状態等級が正常運転状態（専心運転等級と呼んでもよい）となる。

例えば、ユーザが運転手である時に、リマインド運転状態（運転状態が悪い）に対応する予め設定された条件は、以下を含んでよい。

条件１１：ユーザ疲労状態検出の結果：リマインド疲労運転等級（軽度疲労運転等級と呼んでもよい）。

条件２２：ユーザ注意散漫状態検出の結果：ユーザ注意力軽度散漫。

条件３３：ユーザ所定注意散漫動作検出の結果：リマインド注意散漫運転等級（軽度注意散漫運転等級と呼んでもよい）。

上記条件１１、条件２２、条件３３のいずれか一方が満たされ且つ他の条件中の結果がよりひどい疲労運転等級、注意力散漫等級、注意散漫等級に対応する予め設定された条件に達していない場合に、運転状態等級がリマインド運転状態（運転状態が悪い）となる。

例えば、ユーザが運転手である時に、警告運転状態（運転状態が非常に悪い）に対応する予め設定された条件は、以下を含んでよい。

条件１１１：ユーザ疲労状態検出の結果：警告疲労運転等級（重度疲労運転等級と呼んでもよい）。

条件２２２：ユーザ注意散漫状態検出の結果：ユーザ注意力極度散漫。

条件３３３：ユーザ所定注意散漫動作検出の結果：警告注意散漫運転等級（重度注意散漫運転等級と呼んでもよい）。

上記条件１１１、条件２２２、条件３３３のいずれか一方が満たされた時に、運転状態等級が警告運転状態（運転状態が非常に悪い）となる。

いくつかの実施例では、ユーザ状態検出方法は、
ユーザ状態検出の結果に対応する制御操作を実行することを更に含んでもよい。

選択可能な一例では、ユーザ状態検出の結果に対応する制御操作を実行することはプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する制御ユニットによって実行されてもよい。

選択可能に、ユーザ状態検出の結果に対応する制御操作を実行することには、
ユーザが運転手である時に、決定されたユーザ状態検出の結果がリマインド／警告所定条件を満たした場合に、例えば、リマインド状態（例えば、運転状態が悪い）に対応する予め設定された条件を満たし又は状態等級がリマインド運転状態（例えば、運転状態が悪い）である場合に、このリマインド／警告所定条件に対応するリマインド／警告情報を出力し、例えば、声（例えば、音声又は鳴動など）／光（例えば、点灯又は点滅など）／振動などの方式によりユーザにリマインドしてユーザの注意を喚起し、ユーザに散漫した注意力を運転に復帰させるか又はユーザを休ませるように促し、それにより安全運転を実現し、道路交通事故を回避すること、及び／又は、
ユーザが運転手である時に、決定されたユーザ状態検出の結果が所定走行モード切換条件を満たした場合に、例えば、警告運転状態（例えば、運転状態が非常に悪い）に対応する予め設定された条件を満たし又は運転状態等級が警告注意散漫運転等級（重度注意散漫運転等級と呼んでもよい）である時に、走行モードを自動走行モードに切り換えて安全運転を実現し、道路交通事故を回避し、また、更に声（例えば、音声又は鳴動など）／光（例えば、点灯又は点滅など）／振動などの方式によりユーザにリマインドしてユーザの注意を喚起し、ユーザに散漫した注意力を運転に復帰させるか又はユーザを休ませるように促してよいこと、及び／又は、
決定されたユーザ状態検出の結果が所定情報送信条件を満たした場合に、予め設定された連絡先に所定情報を送信するか又は予め設定された連絡先と通信接続を確立し、例えば、ユーザがある一つ又はいくつかの動作をする時にユーザが危険状態に置かれており又は援助を求めていることを示すように約束し、これらの動作が検出されると予め設定された連絡先（例えば、非常用電話、最近使用した連絡先の電話又は設定された緊急連絡先の電話）に所定情報（例えば、非常情報、リマインド情報又は電話掛け）を送信し、更に直接車載機器により予め設定された連絡先と通信接続（例えば、ビデオ通話、音声通話又は電話通話）を確立でき、このようにユーザの個人の安全及び／又は財産の安全を保障することの少なくとも１つを含んでよい。

１つ又は複数の選択可能な実施例では、車両制御方法は、クラウドサーバにユーザ状態検出の少なくとも一部の結果を送信することを更に含む。

選択可能に、少なくとも一部の結果は、ユーザ状態検出により決定された異常車両使用状態情報を含む。

ユーザ状態検出により得られた結果の一部又は全部をクラウドサーバに送信することで、異常車両使用状態情報のバックアップを実現でき、正常車両使用状態を記録する必要がないので、本実施例は異常車両使用状態情報のみをクラウドサーバに送信し、また、得られたユーザ状態検出結果に正常車両使用状態情報と異常車両使用状態情報を含む時に、一部の結果を伝送し、即ち、異常車両使用状態情報のみをクラウドサーバに送信し、また、ユーザ状態検出の結果が全て異常車両使用状態情報である時に、異常車両使用状態情報を全てクラウドサーバに伝送する。

選択可能に、車両制御方法は、異常車両使用状態情報に対応する顔画像を記憶すること、及び／又は、
クラウドサーバに異常車両使用状態情報に対応する顔画像を送信することを更に含む。

本実施例では、車両側に異常車両使用状態情報に対応する顔画像をローカル保存することにより、証拠保存が実現され、その後でユーザ異常車両使用状態による安全問題又は他の問題が発生した場合に、保存された顔画像を呼び出すことで責任決定を行うことができ、保存された顔画像から発生した問題に関連する異常車両使用状態が発見された時に、このユーザの責任と決定でき、更に、車両側のデータの誤消去又は意図的な消去を防止するために、異常車両使用状態情報に対応する顔画像をクラウドサーバにアップロードしてバックアップすることができ、情報が必要とされる時に、クラウドサーバから車両側にダウンロードして調査するか、又はクラウドサーバから他のクライアントにダウンロードして調査することができる。

当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。

図６は本願のいくつかの実施例による車載インテリジェントシステムの構造模式図である。この実施例の車載インテリジェントシステムは、本願の上記の各車両制御方法の実施例を実現するために利用可能である。図６に示すように、この実施例の車載インテリジェントシステムは、以下のユニットを含む。

ユーザ画像取得ユニット６１は、現時点で車両使用を要求するユーザの顔画像を取得するために用いられる。

マッチングユニット６２は、顔画像と車両のデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得するために用いられる。

選択可能に、データセット中に少なくとも１つの予め記録された車両使用許可ユーザの事前記憶顔画像が記憶される。

車両制御ユニット６３は、特徴マッチング結果に特徴マッチング成功が示されれば、車両を動作させてユーザに車両使用を許可するように制御するために用いられる。

本願の上記実施例で提供された車載インテリジェントシステムによれば、現時点で車両使用を要求するユーザの顔画像を取得し、顔画像と車両のデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得し、特徴マッチング結果に特徴マッチング成功が示されれば、車両を動作させてユーザに車両使用を許可するように制御するようになっており、特徴マッチングに基づいて予め記録された人員の権利が保証され、ネットワークに接続されていなくても特徴マッチングが実現でき、ネットワークに対する依存性が克服され、更に車両の安全保障性が高められる。

１つ又は複数の選択可能な実施例では、車両使用は、車両使用予約、車両運転、乗車、洗車、車両保守、車両修理、車両給油、車両充電のいずれか一項又は任意の組合せを含む。

いくつかの実施例では、データセットに少なくとも１つの乗車予約済みユーザの事前記憶顔画像が記憶され、
車両制御ユニット６３は、車両用ドアを開かせるように制御するために用いられる。

いくつかの実施例では、データセット中に少なくとも１つの車両使用予約済みユーザの事前記憶顔画像が記憶され、
車両制御ユニット６３は、車両用ドアを開かせ且つ車両運転制御権限を許可するように制御するために用いられる。

いくつかの実施例では、データセット中に少なくとも１つの記録された乗車許可ユーザの事前記憶顔画像が記憶され、
車両制御ユニット６３は、車両用ドアを開かせるように制御するために用いられる。

いくつかの実施例では、データセット中に少なくとも１つの記録された車両使用許可ユーザの事前記憶顔画像が記憶され、
車両制御ユニット６３は、車両用ドアを開かせ且つ車両運転制御権限を許可するように制御するために用いられる。

いくつかの実施例では、データセット中に少なくとも１つの開錠予約済み又は開錠許可を記録したユーザの事前記憶顔画像が記憶され、
車両制御ユニット６３は、開錠させるように制御するために用いられる。

いくつかの実施例では、データセット中に少なくとも１つの車両給油予約済み又は車両給油許可を記録したユーザの事前記憶顔画像が記憶され、
車両制御ユニット６３は、車両給油口を開かせるように制御するために用いられる。

いくつかの実施例では、データセット中に少なくとも１つの車両充電予約済み又は車両充電許可を記録したユーザの事前記憶顔画像が記憶され、
車両制御ユニット６３は、充電装置に車両の電池を接続させるように制御するために用いられる。

１つ又は複数の選択可能な実施例では、車両制御ユニット６３は、更に、車両にユーザが車両を使用できることを示すためのリマインド情報を送信させるように制御するために用いられる。

１つ又は複数の選択可能な実施例では、ユーザ画像取得ユニット６１は、車両に設置された撮影アセンブリによりユーザの顔画像を収集するために用いられる。

１つ又は複数の選択可能な実施例では、車載インテリジェントシステムは、車両とクラウドサーバとが通信接続状態にある時に、クラウドサーバにデータセットダウンロード要求を送信することと、クラウドサーバから送信されるデータセットを受信し記憶することとに用いられる第１のデータダウンロードユニットを更に含む。

１つ又は複数の選択可能な実施例では、車載インテリジェントシステムは、
特徴マッチング結果に特徴マッチング成功が示されれば、特徴マッチングが成功した事前記憶顔画像によりユーザの身元情報を取得することと、クラウドサーバに顔画像と身元情報を送信することとに用いられる情報記憶ユニットを更に含んでもよい。

１つ又は複数の選択可能な実施例では、車載インテリジェントシステムは、顔画像の生体検出結果を取得するための生体検出ユニットを更に含んでもよく、
車両制御ユニット６３は、特徴マッチング結果と生体検出結果により、車両を動作させてユーザに車両使用を許可するように制御するために用いられる。

１つ又は複数の選択可能な実施例では、車載インテリジェントシステムは、
車両と携帯端末機とが通信接続状態にある時に、携帯端末機にデータセットダウンロード要求を送信することと、携帯端末機から送信されるデータセットを受信し記憶することとに用いられる第２のデータダウンロードユニットを更に含む。

選択可能に、データセットは携帯端末機がデータセットダウンロード要求を受信した時にクラウドサーバから取得され且つ車両に送信されるものである。

１つ又は複数の選択可能な実施例では、車両制御ユニット６３は、更に、特徴マッチング結果に特徴マッチング未成功が示されれば、車両を動作させてユーザの車両使用を拒否するように制御するために用いられる。

選択可能に、車載インテリジェントシステムは、
予約情報のリマインドを出すことと、予約情報によりユーザの予約顔画像を含むユーザの予約要求を受信することと、予約顔画像によりデータセットを確立することとに用いられる予約ユニットを更に含む。

１つ又は複数の選択可能な実施例では、車載インテリジェントシステムは、
顔画像に基づいてユーザ状態検出を行うための状態検出ユニットと、
ユーザ状態検出の結果により異常状態の警報リマインドを行うための出力ユニットと、を更に含む。

いくつかの実施例では、ユーザ状態検出の結果を出力してよい。

別のいくつかの実施例では、ユーザが運転手である時に、ユーザ状態検出の結果により車両にインテリジェント運転制御を行ってよい。

更に別のいくつかの実施例では、ユーザが運転手である時に、ユーザ状態検出の結果を出力すると共に、ユーザ状態検出の結果により車両にインテリジェント運転制御を行ってよい。

選択可能に、ユーザ状態検出は、ユーザ疲労状態検出、ユーザ注意散漫状態検出、ユーザ所定注意散漫動作検出のいずれか一項又は複数項を含む。

選択可能に、状態検出ユニットは、顔画像に基づいてユーザ疲労状態検出を行う時に、
顔画像の顔の少なくとも一部の領域を検出し、開眼閉眼状態情報、開口閉口状態情報のいずれか一項又は複数項を含む顔の少なくとも一部の領域の状態情報を得ることと、
一定時間内の顔の少なくとも一部の領域の状態情報により、ユーザ疲労状態を特徴づけるための指標のパラメータ値を取得することと、
ユーザ疲労状態を特徴づけるための指標のパラメータ値によりユーザ疲労状態検出の結果を決定することとに用いられる。

選択可能には、ユーザ疲労状態を特徴づけるための指標は、閉眼度、欠伸度のいずれか一項又は複数項を含む。

選択可能に、閉眼度のパラメータ値は、閉眼回数、閉眼頻度、閉眼持続時間、閉眼幅、半閉眼回数、半閉眼頻度のいずれか一項又は複数項を含み、及び／又は、
欠伸度のパラメータ値は、欠伸状態、欠伸回数、欠伸持続時間、欠伸頻度のいずれか一項又は複数項を含む。

選択可能に、状態検出ユニットは、顔画像に基づいてユーザ注意散漫状態検出を行う時に、
顔画像に対して顔向き方向及び／又は視線方向の検出を行って、顔向き方向情報及び／又は視線方向情報を得ることと、
一定時間内の顔向き方向情報及び／又は視線方向情報により、顔偏向度、視線偏向度のいずれか一項又は複数項を含む、ユーザ注意散漫状態を特徴づけるための指標のパラメータ値を決定することと、
ユーザ注意散漫状態を特徴づけるための指標のパラメータ値によりユーザ注意散漫状態検出の結果を決定することとに用いられる。

選択可能に、顔偏向度のパラメータ値は、振り返り回数、振り返り持続時間、振り返り頻度のいずれか一項又は複数項を含み、及び／又は、
視線偏向度のパラメータ値は、視線方向偏向角度、視線方向偏向時間、視線方向偏向頻度のいずれか一項又は複数項を含む。

選択可能に、状態検出ユニットは、顔画像に対して顔向き方向及び／又は視線方向検出を行う時に、
顔画像の顔キーポイントを検出することと、
顔キーポイントにより顔向き方向及び／又は視線方向検出を行うこととに用いられる。

選択可能に、状態検出ユニットは、顔キーポイントにより顔向き方向検出を行って顔向き方向情報を得る時に、
顔キーポイントにより頭部姿勢の特徴情報を取得することと、
頭部姿勢の特徴情報により顔向き方向情報を決定することとに用いられる。

選択可能に、所定注意散漫動作は、喫煙動作、水を飲む動作、飲食動作、電話通話動作、娯楽動作のいずれか一項又は複数項を含む。

選択可能に、状態検出ユニットは、顔画像に基づいてユーザ所定注意散漫動作検出を行う時に、
顔画像に対して所定注意散漫動作に対応する目標対象検出を行って目標対象の検出枠を得ることと、
目標対象の検出枠により所定注意散漫動作が発生したか否かを決定することとに用いられる。

選択可能に、状態検出ユニットは、更に、
所定注意散漫動作が発生した場合に、一定時間内に所定注意散漫動作が発生したか否かの決定結果により、ユーザ注意散漫度を特徴づけるための指標のパラメータ値を取得することと、
ユーザ注意散漫度を特徴づけるための指標のパラメータ値によりユーザ所定注意散漫動作検出の結果を決定するために用いられる。

選択可能には、ユーザ注意散漫度を特徴づけるための指標のパラメータ値は、所定注意散漫動作の回数、所定注意散漫動作の持続時間、所定注意散漫動作の頻度のいずれか一項又は複数項を含む。

選択可能に、車載インテリジェントシステムは、
ユーザ所定注意散漫動作検出の結果に所定注意散漫動作が検出されたことが示されれば、検出された所定注意散漫動作をリマインドするためのリマインドユニットを更に含む。

１つ又は複数の選択可能な実施例では、車載インテリジェントシステムは、
ユーザ状態検出の結果に対応する制御操作を実行するための制御ユニットことを更に含む。

選択可能に、制御ユニットは、
決定されたユーザ状態検出の結果がリマインド／警告所定条件を満たした場合に、リマインド／警告所定条件に対応するリマインド／警告情報を出力すること、及び／又は、
決定されたユーザ状態検出の結果が所定情報送信条件を満たした場合に、予め設定された連絡先に所定情報を送信するか又は予め設定された連絡先と通信接続を確立すること、及び／又は、
決定されたユーザ状態検出の結果が所定走行モード切換条件を満たした場合に、走行モードを自動走行モードに切り換えることに用いられる。

１つ又は複数の選択可能な実施例では、車載インテリジェントシステムは、
クラウドサーバにユーザ状態検出の少なくとも一部の結果を送信するための結果送信ユニットを更に含む。

選択可能に、少なくとも一部の結果は、ユーザ状態検出により決定された異常車両使用状態情報を含む。

選択可能に、車載インテリジェントシステムは、
異常車両使用状態情報に対応する顔画像を記憶すること、及び／又は、
クラウドサーバに異常車両使用状態情報に対応する顔画像を送信することに用いられる画像記憶ユニットを更に含む。

本願の実施例で提供された車載インテリジェントシステムのいずれか１つの実施例の動作プロセス及び設置方式は全て本願の上記の対応方法の実施例の具体的な説明を参照してよく、紙数に限りがあるので、ここで詳しい説明を省略する。

図７は本願のいくつかの実施例による車両制御方法のフローチャットである。図７に示すように、本実施例の車両制御方法の実行主体は例えば電子機器又は他の類似機能を備えた機器のようなクラウドサーバであってよく、この実施例の方法は、以下を含む。

７１０：車両から送信される被識別顔画像を受信する。

選択可能に、被識別顔画像が車両により収集され、顔画像を得るプロセスは、顔検出、顔品質選別及び生体識別を含んでよく、これらのプロセスにより、得られた被識別顔画像が車両内又は車両外の真実ユーザの品質のよい顔画像であることを保証でき、後続の特徴マッチングの効果が保証される。

選択可能な一例では、この操作７１０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動する画像受信ユニット８１によって実行されてもよい。

７２０：顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得る。

選択可能に、データセット中に少なくとも１つの予め記録された車両使用許可ユーザの事前記憶顔画像が記憶され、選択可能に、クラウドサーバは車両から顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を直接取得してよく、この時に、特徴マッチングのプロセスが車両側で実現される。

選択可能な一例では、この操作７２０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動するマッチング結果取得ユニット８２によって実行されてもよい。

７３０：特徴マッチング結果に特徴マッチング成功が示されれば、車両に車両制御を許可するコマンドを送信する。

選択可能な一例では、この操作７３０はプロセッサによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサにより作動するコマンド送信ユニット８３によって実行されてもよい。

本願の上記実施例で提供された車両制御方法によれば、車両側で顔特徴マッチングを実現することにより、ユーザ識別のネットワークに対する依存性を減少し、ネットワークに接続されていなくても特徴マッチングを実現でき、更に車両の安全保障性を高める。

選択可能に、車両制御方法は、
車両から送信される、少なくとも１つの予め記録された車両使用許可ユーザの事前記憶顔画像を記憶したデータセットのダウンロード要求を受信することと、
車両にデータセットを送信することと、を更に含む。

選択可能に、一般的にはデータセットがクラウドサーバに保存されており、本実施例では、車両側で顔マッチングを行う時にネットワークに接続されていなくても顔マッチングを可能にし、ネットワークに接続されている場合にクラウドサーバからデータセットをダウンロードし且つデータセットを車両側に保存することを可能にするのを実現することを目的とし、この時に、ネットワークに接続されていなくてクラウドサーバと通信不可能であっても、車両側で顔マッチングが実現でき、更に車両側によるデータセットの管理が容易になる。

１つ又は複数の選択可能な実施例では、車両制御方法は、
車両又は携帯端末機から送信される、ユーザの予約顔画像を含む予約要求を受信することと、
予約顔画像によりデータセットを確立することと、を更に含む。

ユーザが予約したか否かを識別するために、まず予約したユーザに対応する予約顔画像を記憶する必要があり、本実施例では、クラウドサーバにおいて、予約済みの予約顔画像のためにデータセットを確立し、データセットに既に予約した複数のユーザの予約顔画像を保存するようになっており、クラウドサーバにより保存することで、データの安全性が保証される。

１つ又は複数の選択可能な実施例では、車両制御方法は、
車両から送信されるユーザ状態検出の少なくとも一部の結果を受信し、異常車両使用状態の警報リマインドを行うことを更に含む。

選択可能に、少なくとも一部の結果は、ユーザ状態検出により決定された異常車両使用状態情報を含む。

ユーザ状態検出により得られた結果の一部又は全部をクラウドサーバに送信することで、異常車両使用状態情報のバックアップを実現でき、正常車両使用状態を記録する必要がないので、本実施例は異常車両使用状態情報のみをクラウドサーバに送信し、また、得られた運転手状態検出結果に正常車両使用状態情報と異常車両使用状態情報を含む時に、一部の結果を伝送し、即ち、異常車両使用状態情報のみをクラウドサーバに送信し、また、ユーザ状態検出の結果が全て異常車両使用状態情報である時に、異常車両使用状態情報を全てクラウドサーバに伝送する。

１つ又は複数の選択可能な実施例では、車両制御方法は、ユーザ状態検出の結果に対応する制御操作を実行することを更に含む。

選択可能に、ユーザが運転手である時に、決定されたユーザ状態検出の結果がリマインド／警告所定条件を満たした場合に、例えば、リマインド状態（例えば、運転状態が悪い）に対応する予め設定された条件を満たし又は状態等級がリマインド運転状態（例えば、運転状態が悪い）である場合に、このリマインド／警告所定条件に対応するリマインド／警告情報を出力し、例えば、声（例えば、音声又は鳴動など）／光（例えば、点灯又は点滅など）／振動などの方式によりユーザにリマインドしてユーザの注意を喚起し、ユーザに散漫した注意力を運転に復帰させるか又はユーザを休ませるように促し、それにより安全運転を実現し、道路交通事故を回避すること、及び／又は、
ユーザが運転手である時に、決定されたユーザ状態検出の結果が所定走行モード切換条件を満たした場合に、例えば、警告運転状態（例えば、運転状態が非常に悪い）に対応する予め設定された条件を満たし又は運転状態等級が警告注意散漫運転等級（重度注意散漫運転等級と呼んでもよい）である時に、走行モードを自動走行モードに切り換えて安全運転を実現し、道路交通事故を回避し、また、更に声（例えば、音声又は鳴動など）／光（例えば、点灯又は点滅など）／振動などの方式によりユーザにリマインドしてユーザの注意を喚起し、ユーザに散漫した注意力を運転に復帰させるか又はユーザを休ませるように促してよいこと、及び／又は、
決定されたユーザ状態検出の結果が所定情報送信条件を満たした場合に、予め設定された連絡先に所定情報を送信するか又は予め設定された連絡先と通信接続を確立し、例えば、ユーザがある一つ又はいくつかの動作をする時にユーザが危険状態に置かれており又は援助を求めていることを示すように約束し、これらの動作が検出されると予め設定された連絡先（例えば、非常用電話、最近使用した連絡先の電話又は設定された緊急連絡先の電話）に所定情報（例えば、非常情報、リマインド情報又は電話掛け）を送信し、更に直接車載機器により予め設定された連絡先と通信接続（例えば、ビデオ通話、音声通話又は電話通話）を確立でき、このように、ユーザの個人の安全及び／又は財産の安全を保障することになる。

選択可能に、車両制御方法は、車両から送信される異常車両使用状態情報に対応する顔画像を受信することを更に含む。

本実施例では、車両側のデータの誤消去又は意図的な消去を防止するために、異常車両使用状態情報に対応する顔画像をクラウドサーバにアップロードしてバックアップすることができ、情報が必要とされる時に、クラウドサーバから車両側にダウンロードして調査するか、又はクラウドサーバから他のクライアントにダウンロードして調査することができる。

選択可能に、車両制御方法は、異常車両使用状態情報に基づいてデータ統計、車両管理、ユーザ管理の少なくとも１種の操作を行うことを更に含む。

クラウドサーバは複数の車両の異常車両使用状態情報を受信でき、ビッグデータに基づくデータ統計、車両及びユーザの管理を実現でき、車両とユーザに更に好適なサービスを提供することを実現する。

選択可能に、異常車両使用状態情報に基づいてデータ統計を行うことには、
異常車両使用状態情報に基づいて受信された異常車両使用状態情報に対応する顔画像を統計し、顔画像を異常車両使用状態ごとに分類し、各種の異常車両使用状態の統計詳細を決定することを含む。

様々な異常車両使用状態の分類統計により、ビッグデータに基づくユーザによく発生する異常車両使用状態を得ることができ、車両開発者により多い参照データを提供することができ、そのように異常車両使用状態に対処するのに更に適する設置又は装置を車両に提供し、ユーザにより快適な車両使用環境を提供する。

選択可能に、異常車両使用状態情報に基づいて車両管理を行うことには、
異常車両使用状態情報に基づいて受信された異常車両使用状態情報に対応する顔画像を統計し、顔画像を車両ごとに分類し、各車両の異常車両使用統計詳細を決定することを含む。

車両に基づいて異常車両使用状態情報を統計することで、車両に対応する全てのユーザの異常車両使用状態情報を処理でき、例えば、ある車両に問題が発生した場合に、この車両に対応する全ての異常車両使用状態情報を調査することで責任決定を実現できる。

選択可能に、異常車両使用状態情報に基づいてユーザ管理を行うことには、
異常車両使用状態情報に基づいて受信された異常車両使用状態情報に対応する顔画像を処理し、顔画像をユーザごとに分類し、各ユーザの異常車両使用統計詳細を決定することを含む。

ユーザに基づいて異常車両使用状態情報を統計することで、各ユーザの車両使用習慣及びよく発生する問題を得ることができ、更に各ユーザに個人化サービスを提供でき、安全に車両を使用させる目的を達成すると同時に、車両使用習慣がよいユーザの邪魔になることがなく、例えば、異常車両使用状態情報を統計してある運転手が常に運転する時に欠伸すると決定した場合に、より高い音量のリマインド情報をこの運転手に提供することができる。

当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。

図８は本願のいくつかの実施例による電子機器の構造模式図である。この実施例の電子機器は、本願の上記の各車両制御方法の実施例を実現するために利用可能である。図８に示すように、この実施例の電子機器は、以下のユニットを含む。

画像受信ユニット８１は、車両から送信される被識別顔画像を受信するために用いられる。

マッチング結果取得ユニット８２は、顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得るために用いられる。

選択可能に、データセット中に少なくとも１つの予め記録された車両使用許可ユーザの事前記憶顔画像が記憶される。選択可能に、クラウドサーバは車両から顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を直接取得してよく、この時に、特徴マッチングのプロセスが車両側で実現される。

コマンド送信ユニット８３は、特徴マッチング結果に特徴マッチング成功が示されれば、車両に車両制御を許可するコマンドを送信するために用いられる。

本願の上記実施例で提供された電子機器によれば、車両側で顔特徴マッチングを実現することにより、ユーザ識別のネットワークに対する依存性を減少し、ネットワークに接続されていなくても特徴マッチングを実現でき、更に車両の安全保障性を高める。

選択可能に、電子機器は、
車両から送信される、少なくとも１つの予め記録された車両使用許可ユーザの事前記憶顔画像を記憶したデータセットのダウンロード要求を受信することと、車両にデータセットを送信することとに用いられるデータ送信ユニットを更に含む。

１つ又は複数の選択可能な実施例では、電子機器は、
車両又は携帯端末機から送信される、ユーザの予約顔画像を含む予約要求を受信することと、
予約顔画像によりデータセットを確立することとに用いられる予約要求受信ユニットを更に含む。

１つ又は複数の選択可能な実施例では、電子機器は、
車両から送信されるユーザ状態検出の少なくとも一部の結果を受信し、異常車両使用状態の警報リマインドを行うための検出結果受信ユニットを更に含む。

選択可能に、少なくとも一部の結果は、ユーザ状態検出により決定された異常車両使用状態情報を含む。

１つ又は複数の選択可能な実施例では、電子機器は、ユーザ状態検出の結果に対応する制御操作を実行するための実行制御ユニットを更に含む。

選択可能に、実行制御ユニットは、
決定されたユーザ状態検出の結果がリマインド／警告所定条件を満たした場合に、リマインド／警告所定条件に対応するリマインド／警告情報を出力すること、及び／又は、
決定されたユーザ状態検出の結果が所定情報送信条件を満たした場合に、予め設定された連絡先に所定情報を送信するか又は予め設定された連絡先と通信接続を確立すること、及び／又は、
決定されたユーザ状態検出の結果が所定走行モード切換条件を満たした場合に、走行モードを自動走行モードに切り換えることに用いられる。

選択可能に、電子機器は、
車両から送信される異常車両使用状態情報に対応する顔画像を受信するための状態画像受信ユニットを更に含む。

選択可能に、電子機器は、
異常車両使用状態情報に基づいて、データ統計、車両管理、ユーザ管理の少なくとも１種の操作を行うための異常処理ユニットを更に含む。

選択可能に、異常処理ユニットは、異常車両使用状態情報に基づいてデータ統計を行う時に、異常車両使用状態情報に基づいて受信された異常車両使用状態情報に対応する顔画像を統計し、顔画像を異常車両使用状態ごとに分類し、各種の異常車両使用状態の統計詳細を決定するために用いられる。

選択可能に、異常処理ユニットは、異常車両使用状態情報に基づいて車両管理を行う時に、異常車両使用状態情報に基づいて受信された異常車両使用状態情報に対応する顔画像を統計し、顔画像を車両ごとに分類し、各車両の異常車両使用統計詳細を決定するために用いられる。

選択可能に、異常処理ユニットは、異常車両使用状態情報に基づいてユーザ管理を行う時に、異常車両使用状態情報に基づいて受信された異常車両使用状態情報に対応する顔画像を処理し、顔画像をユーザごとに分類し、各ユーザの異常車両使用統計詳細を決定するために用いられる。

本願の実施例で提供された電子機器のいずれか１つの実施例の動作プロセス及び設置方式は全て本願の上記の対応方法の実施例の具体的な説明を参照してよく、紙数に限りがあるので、ここで詳しい説明を省略する。

本願の実施例の別の態様によれば、提供される車両管理システムは、図１−５に示す実施例のいずれか１つの車両制御方法を実行するための車両及び／又は図７に示す実施例のいずれか１つの車両制御方法を実行するためのクラウドサーバを含む。

選択可能に、車両管理システムは、
ユーザの登録顔画像を含むユーザ登録要求を受信することと、
ユーザ登録要求をクラウドサーバに送信することとに用いられる携帯端末機を更に含む。

本実施例の車両管理システムは、車両クライアントで顔マッチングを実現することにより、顔マッチングのクラウドに対する依存性がなくなり、リアルタイムのデータ伝送に消費する流量コストが減少され、可変性が高く、ネットワークに対する依存性が低く、車両データセットのダウンロードがネットワークに接続されている時に完成可能であり、車両が暇になる時に特徴抽出がなされ、ネットワークに対する依存性が小さくなる。ユーザが車両使用を要求する時にネットワークに依存しなくてもよく、認証が成功した後ネットワークに接続される時に比較結果をアップロードしてよい。

図９は本願のいくつかの実施例による車両管理システムの使用フローチャットである。図９に示すように、上記実施例で実現される予約プロセスは携帯電話端末（携帯端末機）で実現され、選別された顔画像とユーザＩＤ情報をクラウドサーバにアップロードし、クラウドサーバは顔画像とユーザＩＤ情報を予約データセットに保存し、要求人員画像が収集された時に、車両側により予約データセットを車両クライアントにダウンロードしてマッチングし、また、車両は要求人員画像を取得し、要求人員画像に対して順に顔検出、品質選別及び生体識別を行い、選別された要求顔画像を予約データセット中の全ての顔画像とマッチングし、マッチングがニューラルネットワークにより抽出可能な顔特徴に基づいて実現され、比較結果に基づいて要求顔画像が予約人員であるか否かを決定し、予約人員に車両使用を許可する。

本願は具体的に応用される時に、携帯端末機（例えば、携帯電話端末）、クラウドサーバ及び車両（例えば、車両側機器端末）といった３つの部分を含んでよく、具体的には、携帯電話端末で撮影し、品質選別を行い、次に写真と人員情報をクラウドにアップロードし記憶し、予約プロセスを完成する。クラウドは人員情報を車両側機器端末に同期する。車両側機器端末は人員情報により顔識別比較を行った後インテリジェントに判断すると共に、クラウドにユーザ状態を更新することをリマインドする。具体的な長所としては、以下を含む。リアルタイム性に優れ、応答速度が速く、深層学習技術と埋め込み型チップ最適化技術とが組み合わせられており、車両側機器端末でＡＲＭ、Ｘ８６主流プラットフォーム（より安価な車載チップＩＭＸ６、Ｃｏｔｅｘ−Ａ９ ８００ＭＨｚ）が対応可能であり、可変性が高く、ネットワークに対する依存性が低く、車両側機器端末情報の同期がネットワークに接続される時に完成可能である。ユーザの乗車、登録、使用の時にネットワークに依存しなくてもよく、認証が成功した後ネットワークに接続される時に状態情報をアップロードしてもよく、フローが明瞭で簡単で、ネットワーク伝送写真のサイズが顔位置に応じてカット可能であり、ネットワークオーバーヘッドが減少される。ＪＰＥＧ圧縮がなされた後写真の大きさが数十Ｋを占用するようになり、クラウドによる記憶、管理によりデータ損失が発生しにくくなり、拡張可能性が強く、顔識別全フローの結合最適化により最終的な識別正確率が保証される。

本願の実施例の別の態様によれば、提供される電子機器は、実行可能コマンドを記憶するためのメモリと、
メモリと通信して実行可能コマンドを実行して上記のいずれか１つの実施例の運転管理方法を完成するためのプロセッサと、を含む。

図１０は本願のいくつかの実施例による電子機器の一応用例の構造模式図である。以下、本願の実施例の端末装置又はサーバを実現するのに適する電子機器の構造模式図を示す図１０を参照する。図１０に示すように、この電子機器は１つ又は複数のプロセッサ、通信部などを含み、前記１つ又は複数のプロセッサは、例えば、１つ又は複数の中央処理ユニット（ＣＰＵ）１００１、及び／又は１つ又は複数の加速ユニット１０１３などであり、加速ユニットは、ＧＰＵ、ＦＰＧＡ、他の種類の専用プロセッサなどを含むが、それらに限定されなく、プロセッサは読み取り専用メモリ（ＲＯＭ）１００２に記憶された実行可能コマンド又は記憶部１００８からランダムアクセスメモリ（ＲＡＭ）１００３にロードされた実行可能コマンドによって各種の適切な動作及び処理を実現することができる。通信部１０１２はネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、それに限定されなく、プロセッサは読み取り専用メモリ１００２及び／又はランダムアクセスメモリ１００３と通信して実行可能コマンドを実行し、通信バス１００４を介して通信部１０１２に接続され、通信部１０１２を介して他のターゲットデバイスと通信してよく、それにより本願の実施例で提供されるいずれか一項の方法に対応する操作を完成し、例えば、現時点で車両使用を要求するユーザの顔画像を取得し、顔画像と車両のデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得し、特徴マッチング結果に特徴マッチング成功が示されれば、車両を動作させてユーザに車両使用を許可するように制御する。

また、ＲＡＭ１００３には、装置の動作に必要な各種のプログラムやデータが格納されていてもよい。ＣＰＵ１００１、ＲＯＭ１００２及びＲＡＭ１００３は、バス１００４を介して相互に接続される。ＲＡＭ１００３を有する場合に、ＲＯＭ１００２は選択可能なモジュールである。ＲＡＭ１００３は実行可能コマンドを格納するか、または動作時に実行可能コマンドをＲＯＭ１００２に書き込み、実行可能コマンドによってプロセッサ１００１に本願の上記のいずれか１つの方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インタフェース１００５もバス１００４に接続される。通信部１０１２は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。

キーボード、マウスなどを含む入力部１００６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）など及びスピーカなどを含む出力部１００７と、ハードディスクなどを含む記憶部１００８と、ＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信部１００９などがＩ／Ｏインタフェース１００５に接続されている。通信部１００９は例えばインターネットのようなネットワークを介して通信処理を行う。ドライブ１０１０も必要に応じてＩ／Ｏインタフェース１００５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体１０１１は、必要に応じてドライブ１０１０上に装着され、そこから読み出されたコンピュータプログラムを必要に応じて記憶部１００８にインストールする。

なお、図１０に示す構造は選択可能な一実施形態に過ぎず、具体的な実践過程では、実際の必要に応じて上記図１０の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えば加速ユニット１０１３とＣＰＵ１００１は分離設置するかまたは加速ユニット１０１３をＣＰＵ１００１に統合するようにしてよく、通信部は分離設置するか、またはＣＰＵ１２０１又は加速ユニット１０１３に統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本願の保護範囲に属する。

特に、本願の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本願の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願のいずれか１つの実施例で提供された車両制御方法のステップを対応して実行する対応のコマンドを含んでよい。このような実施例では、該コンピュータプログラムは通信部１００９によってネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体１０１１からインストールされ得る。プロセッサによって該コンピュータプログラムを実行する時に、本願のいずれか１つの方法中の対応操作を実行する。

本願の実施例の別の態様によれば、提供されるコンピュータ記憶媒体は、コンピュータ読取可能コマンドを記憶するためのコンピュータ記憶媒体であって、前記コマンドが実行される時に上記実施例のいずれか一項の車両制御方法の操作を実行うる。

本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一または類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。

本願の方法、装置、システム及び機器は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合わせによって本願の方法、装置、システム及び機器を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本願の方法のステップは、特に断らない限り、以上で説明した順序に限定されない。また、いくつかの実施例では、本願は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本願の方法を実現するための機械可読コマンドを含む。従って、本願は本願の方法を実行するためのプログラムが記憶された記録媒体も含む。

本願の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本願を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本願の原理及び実際応用をより明瞭に説明するため、かつ当業者が本願を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように選択され説明されたものである。

Claims (24)

1. 車両装置によって実行される車両制御方法であって、
   車両に設けられたカメラコンポーネントにより、現時点で車両使用を要求するユーザの顔画像を取得することであって、前記車両使用の操作は、車両使用予約、車両運転、乗車、洗車、車両保守、車両修理、車両給油、車両充電のうちの少なくとも１つを含む、ことと、
   前記顔画像と車両のデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得することであって、前記データセットには少なくとも１つの予め記録された車両使用許可ユーザの１つまたは複数の事前記憶顔画像が記憶され、前記データセット中に少なくとも１つの乗車予約済みユーザの事前記憶顔画像が記憶されている、ことと、
   前記特徴マッチング結果に特徴マッチング成功が示されることに応答して、車両の動作を制御して、前記ユーザに車両使用を許可するようにし、前記特徴マッチング結果に特徴マッチング未成功が示されることに応答して、車両の動作を制御して前記ユーザの車両使用を拒否するようにすることであって、前記車両の動作を制御して、前記ユーザに車両使用を許可するようにすることには、車両用ドアを開かせるように制御すること、車両用ドアを開かせ且つ車両運転制御権限を許可するように制御すること、開錠させるように制御すること、車両給油口を開かせるように制御することおよび充電装置に車両の電池を接続させるように制御することのうちの少なくとも１つを含む、ことと、
   クラウドサーバに前記顔画像に基づいて行ったユーザ状態検出の少なくとも一部の結果を送信することであって、前記少なくとも一部の結果は、ユーザ状態検出により決定された異常車両使用状態情報を含む、ことと、
   前記異常車両使用状態情報に対応する顔画像を記憶すること、及び、前記クラウドサーバに前記異常車両使用状態情報に対応する顔画像を送信すること、のうちの少なくとも一つのことと、を含むことを特徴とする車両制御方法。
2. 車両にユーザが車両を使用できることを示すためのリマインド情報を送信させるように制御することを更に含むことを特徴とする請求項１に記載の方法。
3. 現時点で車両使用を要求するユーザの顔画像を取得することには、
   前記車両に設置された撮影アセンブリにより前記ユーザの顔画像を収集することを含むことを特徴とする請求項１に記載の方法。
4. 前記車両とクラウドサーバとが通信接続状態にある時に、前記クラウドサーバにデータセットダウンロード要求を送信することと、
   前記クラウドサーバから送信されるデータセットを受信し記憶することと、を更に含み、
   または、
   前記車両と携帯端末機とが通信接続状態にある時に、前記携帯端末機にデータセットダウンロード要求を送信することと、
   前記携帯端末機から送信されるデータセットを受信し記憶することであって、前記データセットは、前記携帯端末機が前記データセットダウンロード要求を受信した時にクラウドサーバから取得され且つ前記車両に送信されるものであることと、を更に含むことを特徴とする請求項１に記載の方法。
5. 前記特徴マッチング結果に特徴マッチング成功が示されることに応答して、特徴マッチングが成功した事前記憶顔画像により前記ユーザの身元情報を取得することと、
   前記クラウドサーバに前記顔画像と前記身元情報を送信することと、を更に含むことを特徴とする請求項１に記載の方法。
6. 前記顔画像の生体検出結果を取得することを更に含み、
   前記特徴マッチング結果により、車両の動作を制御して、前記ユーザに車両使用を許可するようにすることには、
   前記特徴マッチング結果と前記生体検出結果により、車両の動作を制御して、前記ユーザに車両使用を許可するようにすることを含むことを特徴とする請求項１に記載の方法。
7. 予約情報のリマインドを出すことと、
   前記予約情報によりユーザの予約顔画像を含む前記ユーザの予約要求を受信することと、
   前記予約顔画像によりデータセットを確立することと、を更に含むことを特徴とする請求項６に記載の方法。
8. 前記顔画像に基づいてユーザ状態検出を行うことであって、前記ユーザ状態検出は、ユーザ疲労状態検出、ユーザ注意散漫状態検出、ユーザ所定注意散漫動作検出のいずれか一項又は複数項を含むことと、
   ユーザ状態検出の結果により異常状態の警報リマインドを行うことと、を更に含み、
   前記顔画像に基づいてユーザ疲労状態検出を行うことには、
   前記顔画像の顔の少なくとも一部の領域を検出し、開眼閉眼状態情報、開口閉口状態情報のいずれか一項又は複数項を含む顔の少なくとも一部の領域の状態情報を得ることと、
   一定時間内の前記顔の少なくとも一部の領域の状態情報により、ユーザ疲労状態を特徴づけるための指標のパラメータ値を取得することと、
   ユーザ疲労状態を特徴づけるための指標のパラメータ値によりユーザ疲労状態検出の結果を決定することと、を含み、
   前記のユーザ疲労状態を特徴づけるための指標は、閉眼度、欠伸度のいずれか一項又は複数項を含み、前記閉眼度のパラメータ値は、閉眼回数、閉眼頻度、閉眼持続時間、閉眼幅、半閉眼回数、半閉眼頻度のいずれか一項又は複数項を含み、前記欠伸度のパラメータ値は、欠伸状態、欠伸回数、欠伸持続時間、欠伸頻度のいずれか一項又は複数項を含むことを特徴とする請求項１に記載の方法。
9. 前記顔画像に基づいてユーザ注意散漫状態検出を行うことには、
   前記顔画像に対して顔向き方向及び／又は視線方向の検出を行って、顔向き方向情報及び／又は視線方向情報を得ることと、
   一定時間内の前記顔向き方向情報及び／又は視線方向情報により、ユーザ注意散漫状態を特徴づけるための指標のパラメータ値を決定することであって、前記ユーザ注意散漫状態を特徴づけるための指標は、顔偏向度、視線偏向度のいずれか一項又は複数項を含む、ことと、
   前記ユーザ注意散漫状態を特徴づけるための指標のパラメータ値によりユーザ注意散漫状態検出の結果を決定することと、を含み、
   前記顔偏向度のパラメータ値は、振り返り回数、振り返り持続時間、振り返り頻度のいずれか一項又は複数項を含み、前記視線偏向度のパラメータ値は、視線方向偏向角度、視線方向偏向時間、視線方向偏向頻度のいずれか一項又は複数項を含むことを特徴とする請求項８に記載の方法。
10. 前記顔画像中のユーザに対して顔向き方向及び／又は視線方向検出を行うことには、
    前記顔画像の顔キーポイントを検出することと、
    前記顔キーポイントにより顔向き方向及び／又は視線方向検出を行うことと、を含むことを特徴とする請求項９に記載の方法。
11. 前記顔キーポイントにより顔向き方向検出を行って顔向き方向情報を得ることには、
    前記顔キーポイントにより頭部姿勢の特徴情報を取得することと、
    前記頭部姿勢の特徴情報により顔向き方向情報を決定することと、を含むことを特徴とする請求項１０に記載の方法。
12. 前記所定注意散漫動作は、喫煙動作、水を飲む動作、飲食動作、電話通話動作、娯楽動作のいずれか一項又は複数項を含み、
    前記顔画像に基づいてユーザ所定注意散漫動作検出を行うことには、
    前記顔画像に対して前記所定注意散漫動作に対応する目標対象検出を行って目標対象の検出枠を得ることと、
    前記目標対象の検出枠により、前記所定注意散漫動作が発生したか否かを決定することと、を含むことを特徴とする請求項８に記載の方法。
13. 所定注意散漫動作が発生したことに応答して、一定時間内に前記所定注意散漫動作が発生したか否かの決定結果により、ユーザ注意散漫度を特徴づけるための指標のパラメータ値を取得することであって、前記ユーザ注意散漫度を特徴づけるための指標のパラメータ値は、所定注意散漫動作の回数、所定注意散漫動作の持続時間、所定注意散漫動作の頻度のいずれか一項又は複数項を含むことと、
    前記のユーザ注意散漫度を特徴づけるための指標のパラメータ値によりユーザ所定注意散漫動作検出の結果を決定することと、を更に含むことを特徴とする請求項１２に記載の方法。
14. ユーザ所定注意散漫動作検出の結果に所定注意散漫動作が検出されたことが示されることに応答して、検出された所定注意散漫動作をリマインドすることを更に含むことを特徴とする請求項１２に記載の方法。
15. 前記ユーザ状態検出の結果に対応する制御操作を実行することを更に含み、
    前記ユーザ状態検出の結果に対応する制御操作を実行することには、
    決定された前記ユーザ状態検出の結果がリマインド／警告所定条件を満たしたことに応答して、前記リマインド／警告所定条件に対応するリマインド／警告情報を出力すること、
    決定された前記ユーザ状態検出の結果が所定情報送信条件を満たしたことに応答して、予め設定された連絡先に所定情報を送信するか又は予め設定された連絡先と通信接続を確立すること、
    決定された前記ユーザ状態検出の結果が所定走行モード切換条件を満たしたことに応答して、走行モードを自動走行モードに切り換えることの少なくとも一項を含むことを特徴とする請求項８に記載の方法。
16. プロセッサと、
    前記プロセッサによって実行可能な命令を格納するためのメモリと、を備え、前記プロセッサは、前記命令を実行して、
    現時点で車両使用を要求するユーザの顔画像を取得することであって、前記車両使用の操作は、車両使用予約、車両運転、乗車、洗車、車両保守、車両修理、車両給油、車両充電のうちの少なくとも１つを含む、ことと、
    前記顔画像と車両のデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得することであって、前記データセットには少なくとも１つの予め記録された車両使用許可ユーザの１つまたは複数の事前記憶顔画像が記憶され、前記データセット中に少なくとも１つの乗車予約済みユーザの事前記憶顔画像が記憶されている、ことと、
    前記特徴マッチング結果に特徴マッチング成功が示されることに応答して、車両の動作を制御して、前記ユーザに車両使用を許可するようにし、前記特徴マッチング結果に特徴マッチング未成功が示されることに応答して、車両の動作を制御して前記ユーザの車両使用を拒否するようにすることであって、前記車両の動作を制御して、前記ユーザに車両使用を許可するようにすることには、車両用ドアを開かせるように制御すること、車両用ドアを開かせ且つ車両運転制御権限を許可するように制御すること、開錠させるように制御すること、車両給油口を開かせるように制御することおよび充電装置に車両の電池を接続させるように制御することのうちの少なくとも１つを含む、ことと、
    クラウドサーバに前記顔画像に基づいて行ったユーザ状態検出の少なくとも一部の結果を送信することであって、前記少なくとも一部の結果は、ユーザ状態検出により決定された異常車両使用状態情報を含む、ことと、
    前記異常車両使用状態情報に対応する顔画像を記憶すること、及び、前記クラウドサーバに前記異常車両使用状態情報に対応する顔画像を送信すること、のうちの少なくとも一つのことと、を実行することを特徴とする車載インテリジェントシステム。
17. クラウドサーバによって実行される車両制御方法であって、
    車両から送信される被識別顔画像を受信することと、
    前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得ることであって、前記データセットには少なくとも１つの予め記録された車両使用の車両使用許可ユーザの１つまたは複数の事前記憶顔画像が記憶され、前記データセット中に少なくとも１つの乗車予約済みユーザの事前記憶顔画像が記憶され、前記車両使用の操作は、車両使用予約、車両運転、乗車、洗車、車両保守、車両修理、車両給油、車両充電のうちの少なくとも１つを含む、ことと、
    前記特徴マッチング結果に特徴マッチング成功が示されることに応答して、前記車両に車両制御を許可するコマンドを送信し、前記特徴マッチング結果に特徴マッチング未成功が示されることに応答して、前記車両に車両制御を拒否するコマンドを送信することであって、前記車両の動作を制御して、前記ユーザに車両使用を許可するようにすることには、車両用ドアを開かせるように制御すること、車両用ドアを開かせ且つ車両運転制御権限を許可するように制御すること、開錠させるように制御すること、車両給油口を開かせるように制御することおよび充電装置に車両の電池を接続させるように制御することのうちの少なくとも１つを含む、ことと、
    前記車両から送信される、前記顔画像に基づいて行ったユーザ状態検出の少なくとも一部の結果を受信することであって、前記少なくとも一部の結果は、ユーザ状態検出により決定された異常車両使用状態情報を含む、ことと、
    前記車両から送信される、前記異常車両使用状態情報に対応する顔画像を受信することと、を含むことを特徴とする車両制御方法。
18. 車両から送信される、少なくとも１つの予め記録された車両使用許可ユーザの事前記憶顔画像を記憶したデータセットのダウンロード要求を受信することと、
    前記車両に前記データセットを送信することと、
    車両又は携帯端末機から送信される、ユーザの予約顔画像を含む予約要求を受信することと、
    前記予約顔画像によりデータセットを確立することと、を更に含むことを特徴とする請求項１７に記載の方法。
19. 前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を得ることには、
    前記車両から前記顔画像とデータセット中の少なくとも１つの事前記憶顔画像との特徴マッチング結果を取得することを含むことを特徴とする請求項１７に記載の方法。
20. 受信された前記ユーザ状態検出の少なくとも一部の結果に基づいて異常車両使用状態の警報リマインドを行うことと、
    前記ユーザ状態検出の結果に対応する制御操作を実行することを更に含み、
    前記ユーザ状態検出の結果に対応する制御操作を実行することには、
    決定された前記ユーザ状態検出の結果がリマインド／警告所定条件を満たしたことに応答して、前記リマインド／警告所定条件に対応するリマインド／警告情報を出力すること、
    決定された前記ユーザ状態検出の結果が所定情報送信条件を満たしたことに応答して、予め設定された連絡先に所定情報を送信するか又は予め設定された連絡先と通信接続を確立すること、
    決定された前記ユーザ状態検出の結果が所定走行モード切換条件を満たしたことに応答して、走行モードを自動走行モードに切り換えることを含むことのうちの少なくとも一項を含むことを特徴とする請求項１７に記載の方法。
21. 前記異常車両使用状態情報に基づいて、データ統計、車両管理、ユーザ管理の少なくとも１種の操作を行うことを更に含み、
    前記異常車両使用状態情報に基づいてデータ統計を行うことには、
    前記異常車両使用状態情報に基づいて受信された前記異常車両使用状態情報に対応する顔画像を統計し、異なる異常車両使用状態に従って前記顔画像を分類し、各種の前記異常車両使用状態の統計詳細を決定することを含み、
    前記異常車両使用状態情報に基づいて車両管理を行うことには、
    前記異常車両使用状態情報に基づいて受信された前記異常車両使用状態情報に対応する顔画像を統計し、異なる車両に従って前記顔画像を分類し、各前記車両の異常車両使用統計詳細を決定することを含み、
    前記異常車両使用状態情報に基づいてユーザ管理を行うことには、
    前記異常車両使用状態情報に基づいて受信された前記異常車両使用状態情報に対応する顔画像を処理し、異なるユーザに従って前記顔画像を分類し、それぞれの前記ユーザの異常車両使用統計詳細を決定することを含むことを特徴とする請求項１７に記載の方法。
22. プロセッサと、
    前記プロセッサによって実行可能な命令を格納するためのメモリと、を備え、前記プロセッサは、前記命令を実行して、請求項１７に記載の車両制御方法を実行することを特徴とする電子機器。
23. 車両装置に適用される、コンピュータ可読命令を記憶するための非一時的なコンピュータ記憶媒体であって、前記命令は、請求項１に記載の車両制御方法を実施するために実行されることを特徴とする非一時的なコンピュータ記憶媒体。
24. クラウドサーバに適用される、コンピュータ可読命令を記憶するための非一時的なコンピュータ記憶媒体であって、前記命令は、請求項１７に記載の車両制御方法を実施するために実行されることを特徴とする非一時的なコンピュータ記憶媒体。

Images