JP2024506809A - 危険行為の識別方法及び装置、電子機器並びに記憶媒体 - Google Patents

危険行為の識別方法及び装置、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP2024506809A
JP2024506809A JP2023544368A JP2023544368A JP2024506809A JP 2024506809 A JP2024506809 A JP 2024506809A JP 2023544368 A JP2023544368 A JP 2023544368A JP 2023544368 A JP2023544368 A JP 2023544368A JP 2024506809 A JP2024506809 A JP 2024506809A
Authority
JP
Japan
Prior art keywords
passenger
image
human body
dangerous
body center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023544368A
Other languages
English (en)
Inventor
フェイ ワン
チェン チイエン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Lingang Jueying Intelligent Technology Co Ltd
Original Assignee
Shanghai Lingang Jueying Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Lingang Jueying Intelligent Technology Co Ltd filed Critical Shanghai Lingang Jueying Intelligent Technology Co Ltd
Publication of JP2024506809A publication Critical patent/JP2024506809A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/52—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating emergencies
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05F—DEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00—Power-operated mechanisms for wings
    • E05F15/70—Power-operated mechanisms for wings with automatic actuation
    • E05F15/73—Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2900/00—Application of doors, windows, wings or fittings thereof
    • E05Y2900/50—Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/53—Type of wing
    • E05Y2900/55—Windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本開示は、危険行為の識別方法及び装置、電子機器並びに記憶媒体に関する。前記危険行為の識別方法は、車室の画像を取得することと、前記画像に基づいて、前記車室内の搭乗者を検出し、前記車室内の搭乗者の検出結果を得ることと、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得ることと、を含み、前記危険行為は予め設定された身体部位を車窓から出す行為である。【選択図】図１

Description

本願は、２０２１年６月３０日に中国特許庁に出願された、出願番号が２０２１１０７３５２０１．６で、出願の名称が「危険行為の識別方法及び装置、電子機器並びに記憶媒体」である中国特許出願の優先権を主張し、その内容全体が援用により本願に組み込まれる。
本開示は、インテリジェント車室の技術分野に関しており、特に危険行為の識別方法及び装置、電子機器並びに記憶媒体に関する。
現在、カーエレクトロニクス業界は急速に発展しており、人々の乗車に便利で快適な車室環境を提供している。車室のインテリジェント化は現在の自動車産業の重要な発展方向である。車室のインテリジェント化は、マルチモードインタラクション、パーソナライズサービス、安全検知などの方面のインテリジェント化を含む。安全検知について、インテリジェントカーは搭乗者に安全な車室環境を提供することに着目している。車室内の人に対して危険行為の識別を行うことは、車室内の搭乗者の安全に非常に重要である。
本開示は、危険行為の識別に関する発明を提案する。
本開示の一側面によれば、危険行為の識別方法であって、車室の画像を取得することと、前記画像に基づいて、前記車室内の搭乗者を検出し、前記車室内の搭乗者の検出結果を得ることと、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得ることと、を含み、前記危険行為は予め設定された身体部位を車窓から出す行為である、危険行為の識別方法を提供する。
可能な一実施形態では、前記した、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得ることは、前記画像に基づいて、前記車室における危険行為を識別し、前記車室における危険行為の推定情報を得ることと、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記搭乗者の検出結果に含まれる前記搭乗者の位置情報、及び前記危険行為の推定情報に基づいて、前記搭乗者の危険行為の識別結果を得ることと、を含む。
可能な一実施形態では、前記搭乗者の位置情報は前記画像中の人体中心推定点の座標を含み、前記危険行為の推定情報は搭乗者の行為が予め設定されたＮ（Ｎは１以上の整数である）種の危険行為のそれぞれに該当する確率を含み、
前記した、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記搭乗者の検出結果に含まれる前記搭乗者の位置情報、及び前記危険行為の推定情報に基づいて、前記搭乗者の危険行為の識別結果を得ることは、前記搭乗者の検出結果は人体中心推定点が存在することを示す場合、搭乗者が検出されたと決定することと、前記搭乗者の検出結果に含まれる人体中心推定点の座標に基づいて、前記人体中心推定点に対応する搭乗者の行為が予め設定されたＮ種の危険行為のそれぞれに該当する確率を、前記危険行為の推定情報から取得することと、前記人体中心推定点に対応する搭乗者の行為が予め設定されたＮ種の危険行為のそれぞれに該当する確率に基づいて、前記人体中心推定点に対応する搭乗者の危険行為の識別結果を得ることと、を含む。
可能な一実施形態では、前記搭乗者の位置情報は前記画像中の人体中心推定点の座標を含み、
前記した、前記画像に基づいて、前記車室内の搭乗者を検出し、前記車室内の搭乗者の検出結果を得ることは、前記画像に対応する第１の特徴マップに基づいて、前記画像中のピクセルが人体中心点に該当する確率を推定すること、前記画像中のピクセルが人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定することと、を含む。
可能な一実施形態では、前記した、前記画像に対応する第１の特徴マップに基づいて、前記画像中のピクセルが人体中心点に該当する確率を推定することは、前記画像に対応する第１の特徴マップに基づいて、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を決定することを含み、前記した、前記画像中のピクセルが人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定することは、前記第１候補点の座標及び前記第１候補点が人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定することを含む。
可能な一実施形態では、前記した、前記画像に対応する第１の特徴マップに基づいて、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を決定することは、前記画像に対応する第１の特徴マップに対して畳み込み操作を行い、前記画像に対応する第２の特徴マップを得ることと、前記第２の特徴マップに基づいて最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることと、を含む。
可能な一実施形態では、前記した、前記第２の特徴マップに基づいて最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることは、前記第２の特徴マップに対して活性化処理を行い、前記画像に対応する第３の特徴マップを得ることと、前記第３の特徴マップに対して最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることと、を含む。
可能な一実施形態では、前記した、前記第３の特徴マップに対して最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることは、前記第３の特徴マップに対してオーバーラップ最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることを含み、
前記した、前記第１候補点の座標及び前記第１候補点が人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定することは、座標が同じである前記第１候補点を併合し、第２候補点の座標及び前記第２候補点が人体中心点に該当する確率を得ることと、前記第２候補点の座標及び前記第２候補点が人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定することと、を含む。
可能な一実施形態では、前記した、前記画像に基づいて、前記車室における危険行為を識別し、前記車室における危険行為の推定情報を得ることは、前記画像に対応する第１の特徴マップに対して畳み込み操作及び全結合操作を行った後に分類操作を行い、前記車室における危険行為の推定情報を得ることを含む。
可能な一実施形態では、前記危険行為の識別方法では、前記搭乗者の検出結果は前記車室の前方座席領域に搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得ることをさらに含む。
可能な一実施形態では、前記予め設定された身体部位は手、腕、頭、足、股のうちの少なくとも１つを含む。
可能な一実施形態では、前記危険行為の識別方法は、前記した、前記搭乗者の危険行為の識別結果を得ることの後、前記危険行為の識別結果は前記搭乗者の行為が予め設定された危険行為のいずれか１種を含むことを示す場合、注意喚起情報を出すことをさらに含む。
可能な一実施形態では、前記した、注意喚起情報を出すことは、音声注意喚起情報を出すように車内の音声対話装置を制御することと、前記予め設定された危険行為をしている搭乗者に対応する車窓の昇降を制御する命令を出すことと、危険警告灯をオンにする命令を出すこととの少なくとも１つを含む。
本開示の一側面によれば、危険行為の識別装置であって、車室の画像を取得するための取得モジュールと、前記画像に基づいて、前記車室内の搭乗者を検出し、前記車室内の搭乗者の検出結果を得るための搭乗者検出モジュールと、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得るための第１の危険行為識別モジュールと、を含み、前記危険行為は予め設定された身体部位を車窓から出す行為である、危険行為の識別装置を提供する。
可能な一実施形態では、前記第１の危険行為識別モジュールは、前記画像に基づいて、前記車室における危険行為を識別し、前記車室における危険行為の推定情報を得て、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記搭乗者の検出結果に含まれる前記搭乗者の位置情報、及び前記危険行為の推定情報に基づいて、前記搭乗者の危険行為の識別結果を得る。
可能な一実施形態では、前記搭乗者の位置情報は前記画像中の人体中心推定点の座標を含み、前記危険行為の推定情報は搭乗者の行為が予め設定されたＮ（Ｎは１以上の整数である）種の危険行為のそれぞれに該当する確率を含み、
前記第１の危険行為識別モジュールは、前記搭乗者の検出結果は人体中心推定点が存在することを示す場合、搭乗者が検出されたと決定して、前記搭乗者の検出結果に含まれる人体中心推定点の座標に基づいて、前記人体中心推定点に対応する搭乗者の行為が予め設定されたＮ種の危険行為のそれぞれに該当する確率を、前記危険行為の推定情報から取得して、前記人体中心推定点に対応する搭乗者の行為が予め設定されたＮ種の危険行為のそれぞれに該当する確率に基づいて、前記人体中心推定点に対応する搭乗者の危険行為の識別結果を得る。
可能な一実施形態では、前記搭乗者の位置情報は前記画像中の人体中心推定点の座標を含み、前記搭乗者検出モジュールは、前記画像に対応する第１の特徴マップに基づいて、前記画像中のピクセルが人体中心点に該当する確率を推定して、前記画像中のピクセルが人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定する。
可能な一実施形態では、前記搭乗者検出モジュールは、
前記画像に対応する第１の特徴マップに基づいて、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を決定して、前記第１候補点の座標及び前記第１候補点が人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定する。
可能な一実施形態では、前記搭乗者検出モジュールは、前記画像に対応する第１の特徴マップに対して畳み込み操作を行い、前記画像に対応する第２の特徴マップを得て、前記第２の特徴マップに基づいて最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得る。
可能な一実施形態では、前記搭乗者検出モジュールは、前記第２の特徴マップに対して活性化処理を行い、前記画像に対応する第３の特徴マップを得て、前記第３の特徴マップに対して最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得る。
可能な一実施形態では、前記搭乗者検出モジュールは、前記第３の特徴マップに対してオーバーラップ最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得て、座標が同じである前記第１候補点を併合し、第２候補点の座標及び前記第２候補点が人体中心点に該当する確率を得て、前記第２候補点の座標及び前記第２候補点が人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定する。
可能な一実施形態では、前記第１の危険行為識別モジュールは、前記画像に対応する第１の特徴マップに対して畳み込み操作及び全結合操作を行った後に分類操作を行い、前記車室における危険行為の推定情報を得る。
可能な一実施形態では、前記危険行為の識別装置では、前記搭乗者の検出結果は前記車室の前方座席領域に搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得る第２の危険行為識別モジュールをさらに含む。
可能な一実施形態では、前記予め設定された身体部位は手、腕、頭、足、股のうちの少なくとも１つを含む。
可能な一実施形態では、前記危険行為の識別装置は、前記危険行為の識別結果は前記搭乗者の行為が予め設定された危険行為のいずれか１種を含むことを示す場合、注意喚起情報を出す注意喚起モジュールをさらに含む。
可能な一実施形態では、前記注意喚起モジュールは、音声注意喚起情報を出すように車内の音声対話装置を制御することと、前記予め設定された危険行為をしている搭乗者に対応する車窓の昇降を制御する命令を出すことと、危険警告灯をオンにする命令を出すこととの少なくとも１つに用いられる。
本開示の一側面によれば、１つ又は複数のプロセッサと、実行可能な命令を記憶するためのメモリと、を含み、前記１つ又は複数のプロセッサは、前記メモリに記憶されている実行可能な命令を呼び出すことにより、上記危険行為の識別方法を実行するように構成された電子機器を提供する。
本開示の一側面によれば、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上記危険行為の識別方法を実現させるコンピュータ可読記憶媒体を提供する。
本開示の一側面によれば、コンピュータ可読なコード、またはコンピュータ可読なコードが記憶される不揮発性コンピュータ可読記憶媒体を含み、前記コンピュータ可読なコードが電子機器内で実行されると、前記電子機器のプロセッサに上記危険行為の識別方法を実行させるコンピュータプログラム製品を提供する。
本開示の実施例では、車室の画像を取得し、前記画像に基づいて、前記車室内の搭乗者を検出して前記車室内の搭乗者の検出結果を得て、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得ており、前記危険行為は予め設定された身体部位を車窓から出す行為である。これにより、搭乗者の位置に基づいて搭乗者が予め設定された身体部位を車窓から出す行為を正確に識別することができるため、車室内の搭乗者の安全性を向上させることができる。
以上の一般な説明と以下の詳細な説明は、例示的や解釈的なものに過ぎず、本開示を制限するものではないと理解すべきである。
以下、図面を参考しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴および方面は明確になる。
明細書の一部として含まれる図面は、本開示の実施例を示し、明細書と共に本開示の技術的手段を説明するものである。
本開示の実施例に係る危険行為の識別方法のフローチャートである。 本開示の実施例に係る危険行為の識別方法における車室画像中の搭乗者が頭を車窓から出す模式図である。 本開示の実施例に係る危険行為の識別方法における車室画像中の搭乗者が手または腕を車窓から出す模式図である。 本開示に係る危険行為の識別方法の応用場面の模式図である。 本開示の実施例に係る危険行為の識別装置のブロック図である。 本開示の実施例に係る電子機器８００のブロック図である。 本開示の実施例に係る電子機器１９００のブロック図である。
以下、図面を参照しながら本開示の様々な例示的実施例、特徴および態様を詳細に説明する。図面において、同じ符号は、機能が同じまたは類似する要素を示す。図面において実施例の様々な態様を示したが、特に明記されていない限り、図面は、必ずしも原寸に比例しているとは限らない。
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は、必ずしも他の実施例より好ましい又は優れたものであると解釈されるとは限らない。
本明細書において、用語の「及び／又は」は、関連対象の関連関係を記述するのものに過ぎず、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢが同時に存在し、Ｂのみが存在するという３つの場合を示すことができる。また、本明細書において、用語の「少なくとも１つ」は複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ及びＣのうちの少なくとも１つを含むということは、Ａ、Ｂ及びＣで構成される集合から選択されたいずれか１つ又は複数の要素を含むことを示すことができる。
また、本開示をより良く説明するために、以下の具体的な実施形態には多くの具体的な細部が示されている。当業者であれば、何らかの具体的な細部がなくても、本開示は同様に実施できることを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者によく知られている方法、手段、素子および回路について、詳細な説明を行わない。
車両の走行中、運転手または他の搭乗者は手、頭または他の身体部位を車窓外に出す危険行為を行う可能性があり、これは、重大事故を招く恐れがある。
本開示の実施例は、危険行為の識別方法及び装置、電子機器並びに記憶媒体を提供しており、車室の画像を取得し、前記画像に基づいて、前記車室内の搭乗者を検出し、前記車室内の搭乗者の検出結果を得て、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得ており、前記危険行為は搭乗者が予め設定された身体部位を車窓から出す行為を示す。これにより、搭乗者の位置に基づいて搭乗者が予め設定された身体部位を車窓から出す行為を正確に識別することができるため、車室内の搭乗者の安全性を向上させることができる。
以下、図面を参照しながら本開示の実施例に係る危険行為の識別方法を詳しく説明する。
図１は本開示の実施例に係る危険行為の識別方法のフローチャートである。可能な一実施形態では、前記危険行為の識別方法は端末装置またはサーバーまたはその他の処理装置により実行されてもよい。ここで、端末装置は、車載装置、ユーザ機器（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザー端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ち装置、計算装置、又はウェアラブルデバイス等であってもよい。車載装置は、車室内の、車載インフォテインメント、ドメインコントローラまたはプロセッサであってもよく、ＤＭＳ（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ、運転者監視システム）またはＯＭＳ（Ｏｃｃｕｐａｎｔ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ、搭乗者監視システム）において画像などのデータの処理操作を実行するためのデバイスホストなどであってもよい。いくつかの可能な実施形態では、前記危険行為の識別方法は、プロセッサがメモリに記憶されたコンピュータ可読な命令を呼び出すことにより実現される。図１に示すように、前記危険行為の識別方法はステップＳ１１～ステップＳ１３を含む。
ステップＳ１１において、車室の画像を取得する。
ステップＳ１２において、前記画像に基づいて、前記車室内の搭乗者を検出し、前記車室内の搭乗者の検出結果を得る。
ステップＳ１３において、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得ており、前記危険行為は予め設定された身体部位を車窓から出す行為である。
本開示の実施例は例えば乗用車、タクシ、ライドヘイリングカー、シェアカー等任意タイプの車両に適用することができる。本開示の実施例は車両の車種を限定せず、例えばコンパクトタイプ車、ＳＵＶ（Ｓｐｏｒｔ Ｕｔｉｌｉｔｙ Ｖｅｈｉｃｌｅ、スポーツ用多目的車）などであってもよい。本開示の実施例では、車載カメラによりカメラ車室の画像を取得することができる。車載カメラは車両に設置された任意のカメラであってもよい。車載カメラの数は１つまたは２つ以上であってもよい。車載カメラは車室内及び／又は車室外に設置されてもよい。車載カメラの種類はＤＭＳカメラ、ＯＭＳカメラ、普通のカメラなどであってもよい。
前記車室の画像はＤＭＳカメラ、ＯＭＳカメラ、普通のカメラ等車室内及び／又は車室外に設置されたカメラにより撮影された車室環境の画像であってもよい。この画像は少なくとも車内における搭乗者の着席領域及び車窓領域の映像情報を含む。つまり、上記カメラの視野角範囲内には、少なくとも一部の搭乗者の着席領域及び少なくとも一部の車窓領域が含まれる必要がある。
本開示の実施例では、前記画像に基づいて、前記車室内の人体及び／又は顔を検出し、前記車室内の人体の検出結果及び／又は顔の検出結果を得ることができる。前記車室内の人体の検出結果及び／又は顔の検出結果に基づいて前記車室内の搭乗者の検出結果を得ることができる。例えば、前記車室内の人体の検出結果及び／又は顔の検出結果を前記車室内の搭乗者の検出結果とすることができる。別の例として、前記車室内の人体の検出結果及び／又は顔の検出結果を処理して前記車室内の搭乗者の検出結果を得ることができる。
本開示の実施例では、搭乗者が検出された場合、前記搭乗者の検出結果は搭乗者の位置情報を含む。例えば、１人の搭乗者が検出された場合、前記搭乗者の検出結果はこの搭乗者の位置情報を含み、複数の搭乗者が検出された場合、前記搭乗者の検出結果は検出された各搭乗者の位置情報を含み得る。
本開示の実施例では、前記搭乗者の位置情報は前記搭乗者の任意の１点または任意複数の点の座標で示すことができ、及び／又は、前記搭乗者の位置情報は前記搭乗者の境界ボックスの位置情報で示すことができる。可能な一実施形態では、前記搭乗者の位置情報は前記搭乗者の人体中心推定点の座標を含んでもよい。ここで、人体中心推定点は人体中心点として推定される点を示すことができる。人体中心点は人体の位置を代表する点であってもよく、任意の人体の人体中心点の数は１つであってもよい。例えば、人体中心点は人体の重心が位置するピクセルであってもよく、人体の任意１つの肝心な点が位置するピクセルであってもよい。別の可能な実施形態では、前記搭乗者の位置情報は前記搭乗者の人体中心推定点の座標及び人体枠のサイズを含んでおり、人体枠のサイズは人体枠の長さ及び幅を含んでもよい。この実施形態では、いずれか１つの人体中心推定点は当該人体中心推定点に該当する人体枠の幾何中心であってもよい。別の可能な実施形態では、前記搭乗者の位置情報は人体枠の位置情報を含んでもよい。例えば、人体枠の位置情報は人体枠の任意１つの頂点の座標及び人体枠的サイズを含んでもよい。別の例として、人体枠の位置情報は人体枠の４つの頂点の座標を含んでもよい。
可能な一実施形態では、前記搭乗者の位置情報は前記画像中の人体中心推定点の座標を含み、前記した、前記画像に基づいて、前記車室内の搭乗者を検出し、前記車室内の搭乗者の検出結果を得ることは、前記画像に対応する第１の特徴マップに基づいて、前記画像中のピクセルが人体中心点に該当する確率を推定することと、前記画像中のピクセルが人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定することとを含む。
この実施形態では、前記画像に基づいて前記車室内の人体を検出し、前記車室内の人体の検出結果を得ることができ、前記車室内の人体の検出結果に基づいて前記車室内の搭乗者の検出結果を得ることができる。例えば、前記画像に基づいて前記車室内の人体を検出し、前記画像中の人体中心推定点の座標を得ることができる。別の例として、前記画像に基づいて前記車室内の人体を検出し、前記画像中の人体中心推定点の座標及び人体中心推定点が属する人体枠のサイズを得ることができる。
この実施形態の一例として、前記画像をバックボーンネットワークに入力し、バックボーンネットワークを介して前記画像に対する特徴抽出を行い、前記画像に対応する第１の特徴マップを得ることができる。バックボーンネットワークはＲｅｓＮｅｔ、ＭｏｂｉｌｅＮｅｔなどのネットワーク構造を使用することができ、ここでは、限定しない。この実施形態の別の例として、予め設計された第１関数を用いて前記第１画像に対する特徴抽出を行い、前記画像に対応する第１の特徴マップを得ることができる。
この実施形態の一例として、第１の特徴マップを第１推定サブネットワークに入力し、第１推定サブネットワークを介して前記画像中のピクセルが人体中心点に該当する確率を推定することができる。この実施形態の別の例として、予め設計され第２関数を用いて第１の特徴マップを処理し、前記画像中のピクセルが人体中心点に該当する確率を得ることができる。
この実施形態の一例として、前記画像中のいずれか１つのピクセルが人体中心点に該当する確率が第１閾値より大きい場合、当該ピクセルを人体中心推定点と決定することができる。即ち、当該ピクセルの座標を人体中心推定点の座標と決定することができる。例えば、第１閾値は０．５であってもよい。当然、当業者は実際の応用場面の需要に応じて第１閾値の大きさを柔軟的に設定することができ、ここでは限定しない。この実施形態の別の例として、前記画像中のいずれか１つのピクセルが人体中心点に該当する確率が第１閾値より大きく、かつ当該ピクセルが、前記画像中の人体中心点に該当する確率が最も大きなＭ個のピクセルの１つである場合、当該ピクセルを人体中心推定点と決定することができる。即ち、当該ピクセルの座標を人体中心推定点の座標と決定することができる。ここで、Ｍは予め設定された人体中心推定点の最大数であり、Ｍは１以上である。
この実施形態により得られた前記画像中の人体中心推定点の座標に基づいて危険行為の識別を行うことは、危険行為を識別する正確性の向上に有利になる。
この実施形態の一例として、前記した、前記画像に対応する第１の特徴マップに基づいて、前記画像中のピクセルが人体中心点に該当する確率を推定することは、前記画像に対応する第１の特徴マップに基づいて、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を決定することを含み、前記した、前記画像中のピクセルが人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定することは、前記第１候補点の座標及び前記第１候補点が人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定することを含む。この例において、前記画像に対応する第１の特徴マップに基づいて、画像のピクセルが人体中心点に該当する確率を推定し、前記画像のピクセルから前記画像中の人体中心点の第１候補点をスクリーニングすることができる。第１候補点は、前記画像からスクリーニングされた、人体中心点に該当する確率が比較的高いピクセルを示すことができる。第１候補点の数は複数であってもよい。一例において、画像中の各ピクセルをそれぞれ１つの第１候補点としてもよく、または、別の例において、第１の特徴マップに基づいて人体を検出し、検出された人体枠内のピクセルを第１候補点としてもよい。
一例において、いずれか１つの第１候補点が人体中心点に該当する確率が第１閾値より大きい場合、当該第１候補点を人体中心推定点と決定することができる。即ち、当該第１候補点の座標を人体中心推定点の座標と決定することができる。別の例において、いずれか１つの第１候補点が人体中心点に該当する確率が第１閾値より大きい場合、かつ当該第１候補点が前記画像中の人体中心点に該当する確率が最も大きなＭ個の第１候補点の１つである場合、当該第１候補点を人体中心推定点と決定することができる。即ち、当該第１候補点の座標を人体中心推定点の座標と決定することができる。この例において、前記画像に対応する第１の特徴マップに基づいて、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を決定し、前記第１候補点の座標及び前記第１候補点が人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定する。これにより、決定された人体中心推定点の正確性を向上させることができる。
一例において、前記した、前記画像に対応する第１の特徴マップに基づいて、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を決定することは、前記画像に対応する第１の特徴マップに対して畳み込み操作を行い、前記画像に対応する第２の特徴マップを得ることと、前記第２の特徴マップに基づいて最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることと、を含む。この例において、第１の特徴マップに対して畳み込み操作を１回または２回以上行い、前記画像に対応する第２の特徴マップを得ることができる。第２の特徴マップに対して最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得てもよく、または、第２の特徴マップを処理した後に最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得てもよい。この例において、前記画像に対応する第１の特徴マップに対して畳み込み操作を行うことで、前記画像のより深層の特徴を抽出することができ、得られた第２の特徴マップは前記画像中の人体の位置情報をより正確に示すことができる。第２の特徴マップに基づいて最大値プーリング操作を行うことで、前記画像のピクセルの中から第１候補点を正確にスクリーニングすることができる。
一例において、前記した、前記第２の特徴マップに基づいて最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることは、前記第２の特徴マップに対して活性化処理を行い、前記画像に対応する第３の特徴マップを得ることと、前記第３の特徴マップに対して最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることとを含む。例えば、第２の特徴マップのピクセル値を０～１の数値に変換するように第２の特徴マップに対してｓｉｇｍｏｉｄ処理を行うことができる。当然、他の活性化関数を用いて第２の特徴マップに対して活性化処理を行うことができ、ここでは限定しない。この例では、第２の特徴マップに対して活性化処理を行うことで、第２の特徴マップのピクセル値を確率値に変換できるため、ピクセルが人体中心点に該当する確率を示すことに使用することができる。
例えば、前記した、前記第３の特徴マップに対して最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることは、前記第３の特徴マップに対してオーバーラップ最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることを含み、前記した、前記第１候補点の座標及び前記第１候補点が人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定することは、座標が同じである前記第１候補点を併合し、第２候補点の座標及び前記第２候補点が人体中心点に該当する確率を得ることと、前記第２候補点の座標及び前記第２候補点が人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定することとを含む。例えば、プーリングウィンドウのサイズはＰ×Ｐ、刻み幅はＱであり、Ｐ＞Ｑ（Ｐ及びＱはともに１以上の整数であって、例えば、Ｐ＝３，Ｑ＝１）。この例では、座標が同じである第１候補点を併合し、第２候補点を得ることができる。即ち、第２候補点は第１候補点を併合した結果を示すことができる。第２候補点の数は第１候補点の数以下であり、第２候補点の数は１以上であって、かつ第２候補点には座標が同じである候補点は含まれていない。この例では、第３の特徴マップに対してオーバーラップ最大値プーリング操作を行い、人体中心点の検出の正確度を向上させることができる。座標が同じである第１候補点を併合し、第２候補点の座標及び第２候補点が人体中心点に該当する確率を得て、第２候補点の座標及び第２候補点が人体中心点に該当する確率に基づいて、画像中の人体中心推定点の座標を決定する。これにより、人体中心点の検出の正確度を更に向上させるとともに、その後の危険行為を識別する効率を向上させることができる。
別の例において、前記した、前記第２の特徴マップに基づいて最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることは、前記第２の特徴マップに対して最大値プーリング操作を行い、第４の特徴マップを得ることと、第４の特徴マップに対して活性化処理を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることとを含む。
本開示の実施例では、前記搭乗者の検出結果は１人の搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる当該搭乗者の位置情報に基づいて危険行為の識別を行い、当該搭乗者の危険行為の識別結果を得ることができ、前記搭乗者の検出結果は複数の搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる各搭乗者の位置情報に基づいて危険行為の識別を行い、各搭乗者のそれぞれに対応する危険行為の識別結果を得ることができる。
可能な一実施形態では、前記予め設定された身体部位は手、腕、頭、足、股のうちの少なくとも１つを含む。図２は本開示の実施例に係る危険行為の識別方法における車室の画像中の搭乗者が頭を車窓から出す模式図を示す。図３は本開示の実施例に係る危険行為の識別方法における車室の画像中の搭乗者が手または腕を車窓から出す模式図を示す。この実施形態では、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて、搭乗者が手、腕、頭、足、股のうちの少なくとも１つを車窓から出す行為を識別し、前記搭乗者の危険行為の識別結果を得る。これにより、搭乗者の位置に基づいて搭乗者が手、腕、頭、足、股のうちの少なくとも１つを車窓から出す行為を正確に識別することができるため、車室内の搭乗者の安全性を向上させることができる。
可能な一実施形態では、前記した、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得ることは、前記画像に基づいて、前記車室における危険行為を識別し、前記車室における危険行為の推定情報を得ることと、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記搭乗者の検出結果に含まれる前記搭乗者の位置情報、及び前記危険行為の推定情報に基づいて、前記搭乗者の危険行為の識別結果を得ることとを含む。この実施形態の一例として、前記画像に対応する第１の特徴マップを第２推定サブネットワークに入力し、第２推定サブネットワークを介して前記車室における危険行為の推定情報を得ることができる。この実施形態の別の例として、予め設計された第３関数を用いて前記画像に対応する第１の特徴マップに対して処理を行い、前記車室における危険行為の推定情報を得ることができる。ここで、前記危険行為の推定情報は、前記画像中の少なくとも１つの位置に対応する搭乗者が危険行為をしているかを示す推定情報を含んでもよい。例えば、前記危険行為の推定情報は前記画像中の各ピクセルに対応する搭乗者が危険行為をしているかを示す推定情報を含んでもよい。この実施形態では、前記画像に基づいて、前記車室における危険行為を識別し、前記車室における危険行為の推定情報を得て、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記搭乗者の検出結果に含まれる前記搭乗者の位置情報、及び前記危険行為の推定情報に基づいて、前記搭乗者の危険行為の識別結果を得る。これにより、搭乗者の位置と車室における危険行為の推定情報とを結合して、搭乗者が予め設定された身体部位を車窓から出す行為を正確に識別することができるため、車室内の搭乗者の安全性を向上させることができる。
この実施形態の一例として、前記搭乗者の位置情報は前記画像中の人体中心推定点の座標を含み、前記危険行為の推定情報は搭乗者の行為が予め設定されたＮ（Ｎは１以上の整数である）種の危険行為のそれぞれに該当する確率を含む。前記した、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記搭乗者の検出結果に含まれる前記搭乗者の位置情報、及び前記危険行為の推定情報に基づいて、前記搭乗者の危険行為の識別結果を得ることは、前記搭乗者の検出結果は人体中心推定点が存在することを示す場合、搭乗者が検出されたと決定することと、前記搭乗者の検出結果に含まれる人体中心推定点の座標に基づいて、前記人体中心推定点に対応する搭乗者の行為が予め設定されたＮ種の危険行為のそれぞれに該当する確率を、前記危険行為の推定情報から取得することと、前記人体中心推定点に対応する搭乗者の行為が予め設定されたＮ種の危険行為のそれぞれに該当する確率に基づいて、前記人体中心推定点に対応する搭乗者の危険行為の識別結果を得ることとを含む。この例において、前記危険行為の推定情報は、前記画像中の全てまたは一部のピクセルに対応する搭乗者の行為が予め設定されたＮ種の危険行為のそれぞれに該当する確率を含んでもよい。例えば、前記危険行為の推定情報は前記画像中の各ピクセルに対応する搭乗者の行為が予め設定されたＮ種の危険行為のそれぞれに該当する確率を含んでもよい。例えば、危険行為の推定情報は、Ｈ×Ｗ×Ｎの特徴マップ（Ｈは前記画像の高さを示し、Ｗは前記画像の幅を示す）または３次元配列であってもよい。人体中心推定点の座標に基づいて、人体中心推定点に対応する搭乗者の行為が予め設定されたＮ種の危険行為のそれぞれに該当する確率を危険行為の推定情報から取得することができるため、前記人体中心推定点に対応する搭乗者の危険行為の識別結果を得ることができる。一例において、いずれか１つの人体中心推定点に対応する搭乗者の行為が予め設定されたＮ種の危険行為のいずれか１種に該当する確率が第２閾値より大きい場合、前記人体中心推定点に対応する搭乗者の危険行為の識別結果として、危険行為をしていると決定することができる。いずれか１つの人体中心推定点に対応する搭乗者の行為が予め設定されたＮ種の危険行為のそれぞれに該当する確率がいずれも第２閾値以下である場合、前記人体中心推定点に対応する搭乗者の危険行為の識別結果として、危険行為をしていないと決定することができる。例えば、第２閾値は０．５であってもよい。当然、当業者は実際の応用場面の需要に応じて第２閾値の大きさを柔軟的に設定することができ、ここでは限定しない。これの例によれば、前記画像中の各人体中心推定点に対応する搭乗者の危険行為の識別結果を正確に決定することができる。
この実施形態の一例として、前記した、前記画像に基づいて、前記車室における危険行為を識別し、前記車室における危険行為の推定情報を得ることは、前記画像に対応する第１の特徴マップに対して畳み込み操作及び全結合操作を行った後に分類操作を行い、前記車室における危険行為の推定情報を得ることを含む。この例において、第１の特徴マップに対して畳み込み操作を行い、第５の特徴マップを得ることができ、第５の特徴マップに対して全結合操作を行い、第６の特徴マップを得ることができ、第６の特徴マップに対して分類操作を行い、前記車室における危険行為の推定情報を得ることができる。ここで、第１の特徴マップに対して畳み込み操作を１回または２回以上行い、第５の特徴マップを得ることができる。例えば、第１の特徴マップに対して畳み込み操作を２回行い、第５の特徴マップを得ることができる。第５の特徴マップに対して全結合操作を１回または２回以上行い、第６の特徴マップを得ることができる。例えば、第５の特徴マップに対して全結合操作を１回行い、第６の特徴マップを得ることができる。当業者は実際の応用場面の需要に応じて畳み込み操作の回数及び全結合操作の回数を柔軟的に決定することができ、ここでは限定しない。この例において、第１の特徴マップに対して畳み込み操作を行なうことで、前記画像のより深層の特徴を抽出することができる。このように得られた第５の特徴マップは前記画像中の危険行為の特徴をより正確に示すことができる。全結合層操作を用いることで、ネットワークのフィッティング能力を向上させることができるため、得られた危険行為の推定情報の正確性を向上させることができる。
可能な一実施形態では、画像に対応する第１の特徴マップを得た後、２つのブランチを介してそれぞれ人体の中心点の位置決めと危険行為の分類を実行する。人体中心点の位置決めブランチは、第１の特徴マップに対して更なる畳み込み操作を行って第２の特徴マップを得て、第２の特徴マップに基づいて最大値プーリング操作、活性化処理などを行なって人体中心点の座標を得る。危険行為ブランチは第１の特徴マップに対して畳み込み操作、全結合操作、分類操作を行うことで、各人体中心点に対応する行為の種類に関する情報を得ることにより、車室内の各搭乗者の危険行為の検出結果を得ることができる。また、人体中心点の位置決めと危険行為の分類は同一の特徴抽出ネットワークを共有するため、結果の信頼性を向上させ、コンピューティングリソースを節約するのに有利になる。
可能な一実施形態では、前記方法では、前記搭乗者の検出結果は前記車室の前方座席領域に搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得ることをさらに含む。この実施形態では、車室の前方座席領域において検出された搭乗者は運転手及び／又は助手を含んでもよい。運転手の危険行為及び助手の危険行為はいずれも運転手の運転に大きく影響するため、この実施形態では、前記搭乗者の検出結果は前記車室の前方座席領域に搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行うことで、前記搭乗者の危険行為の識別結果を得ており、これにより、運転安全性の向上に有利になる。
可能な一実施形態では、前記した、前記搭乗者の危険行為の識別結果を得ることの後、前記危険行為の識別結果は前記搭乗者の行為が予め設定された危険行為のいずれか１種を含むことを示す場合、注意喚起情報を出すことをさらに含む。この実施形態では、前記危険行為の識別結果は前記搭乗者の行為が予め設定された危険行為のいずれか１種を含むことを示す場合、注意喚起情報を出す。これにより、安全アラートを実現できるため、車室内の搭乗者の安全性を向上させるのに有利になる。
この実施形態の一例として、前記した、注意喚起情報を出すことは、音声注意喚起情報を出すように車内の音声対話装置を制御することと、前記予め設定された危険行為をしている搭乗者に対応する車窓の昇降を制御する命令を出すことと、危険警告灯をオンにする命令を出すこととの少なくとも１つを含む。一例において、前記危険行為の識別結果は前記搭乗者の行為が予め設定された危険行為のいずれか１種を含むことを示す場合、音声注意喚起を出すように車内の音声対話装置を制御する。例えば、「窓から乗り出さないでくさい」の音声注意喚起情報を出すように車内の音声対話装置を制御することができる。この例によれば、音声で搭乗者に注意喚起することができるため、搭乗者がインフォテインメントの表示画面を見なくても注意喚起情報を取得することができる。一例において、前記危険行為の識別結果は前記搭乗者の行為が予め設定された危険行為のいずれか１種を含むことを示す場合、前記予め設定された危険行為をしている搭乗者に対応する車窓の昇降を制御する命令を出すことができる。例えば、前記予め設定された危険行為をしている搭乗者が運転手である場合、前記予め設定された危険行為をしている搭乗者に対応する車窓は前方左側の車窓であってもよい。前記予め設定された危険行為をしている搭乗者が助手である場合、前記予め設定された危険行為をしている搭乗者に対応する車窓は前方右側の車窓であってもよい。前記予め設定された危険行為をしている搭乗者が後方左側の搭乗者である場合、前記予め設定された危険行為をしている搭乗者に対応する車窓は後方左側の車窓であってもよい。前記予め設定された危険行為をしている搭乗者が後方右側の搭乗者である場合、前記予め設定された危険行為をしている搭乗者に対応する車窓は後方右側の車窓であってもよい。この例では、前記予め設定された危険行為をしている搭乗者に対応する車窓の昇降を制御する命令を出すことにより、注意喚起の効果を強化することができ、車窓が上昇または降下する瞬間に搭乗者が自然に車窓外に出した身体部位を引っ込めるように促す。一例において、前記危険行為の識別結果は前記搭乗者の行為が予め設定された危険行為のいずれか１種を含むことを示す場合、危険警告灯をオンにする命令を出すことことができる。これにより、付近の車両に注意喚起する效果を発揮できるため、車室内の搭乗者の安全性を向上させることができる。
以下に、１つの具体的な応用場面を例として、本開示の実施例に係る危険行為の識別方法を説明する。図４は本開示に係る危険行為の識別方法の応用場面の模式図を示す。図４に示す例において、車室の画像を取得することができる。例えば、車室の画像のサイズは６４０×４８０であってもよい。前記画像をバックボーンネットワークに入力し、バックボーンネットワークを介して前記画像に対する特徴抽出を行い、第１の特徴マップを得ることができる。ここで、第１の特徴マップのサイズは８０×６０×Ｃ（Ｃは第１の特徴マップのチャンネル数を示し、Ｃは３以上であってもよい）であってもよい。
第１推定サブネットワークにより第１の特徴マップに対して畳み込み操作を行い、第２の特徴マップを得ることができる。ここで、第２の特徴マップのサイズは８０×６０×３であってもよい。Ｓｉｇｍｏｉｄ関数により第２の特徴マップの０番目のチャンネルに対して活性化処理を行い、第３の特徴マップを得ることができる。第３の特徴マップに対してプーリングウィンドウのサイズが３×３、刻み幅が１である最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることができる。ここで、第１候補点の数は６０×８０であってもよい。座標が同じである前記第１候補点を併合し、第２候補点の座標及び前記第２候補点が人体中心点に該当する確率を得ることができる。人体中心点に該当する確率が最も大きなＭ個の第２候補点のうち、人体中心点に該当する確率が０．５を上回る第２候補点を人体中心推定点として決定することができる。第２の特徴マップの第１チャンネルから人体中心推定点に対応する人体枠の長さを取得することができ、第２の特徴マップの第２チャンネルから人体中心推定点に対応する人体枠の幅を取得することができる。
第１の特徴マップを第２推定サブネットワークに入力し、第２推定サブネットワークを介して第１の特徴マップに対して畳み込み操作及び全結合操作を行った後に分類操作を行い、前記車室における危険行為の推定情報を得ることができる。ここで、前記危険行為の推定情報は前記画像中の各ピクセルに対応する搭乗者の行為が予め設定されたＮ種の危険行為のそれぞれに該当する確率を含んでもよい。例えば、危険行為の推定情報は６４０×４８０×Ｎの特徴マップまたは三次元配列であってもよい。人体中心推定点の座標に基づいて、危険行為の推定情報から人体中心推定点に対応する搭乗者の行為が予め設定されたＮ種の危険行為のそれぞれに該当する確率を得ることができるため、前記人体中心推定点に対応する搭乗者の危険行為の識別結果を得ることはできる。
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解すべきである。紙数に限りがあるので、本開示では詳細な説明を省略する。具体的な実施形態の上記方法において、各ステップの具体的な実行順番はその機能と、あり得る内部ロジックとにより決定すべきであることが、当業者に理解できる。
本開示は、危険行為の識別装置、電子機器、コンピュータ可読記憶媒体、プログラムをさらに提供する。これらはいずれも、本開示に係るいずれか１つの危険行為の識別方法のために用いられることができる。。対応する技術的手段及び説明については、方法の対応する記載を参照すればよく、詳細な説明は省略する。
図５は本開示の実施例に係る危険行為の識別装置のブロック図を示す。図５に示すように、前記危険行為の識別装置は、車室の画像を取得するための取得モジュール５１と、前記画像に基づいて、前記車室内の搭乗者を検出し、前記車室内の搭乗者の検出結果を得るための搭乗者検出モジュール５２と、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得るための第１の危険行為識別モジュール５３とを含み、前記危険行為は予め設定された身体部位を車窓から出す行為である。
可能な一実施形態では、前記第１の危険行為識別モジュール５３は、前記画像に基づいて、前記車室における危険行為を識別し、前記車室における危険行為の推定情報を得て、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記搭乗者の検出結果に含まれる前記搭乗者の位置情報、及び前記危険行為の推定情報に基づいて、前記搭乗者の危険行為の識別結果を得る。
可能な一実施形態では、前記搭乗者の位置情報は前記画像中の人体中心推定点の座標を含み、前記危険行為の推定情報は搭乗者の行為が予め設定されたＮ（Ｎは１以上の整数である）種の危険行為のそれぞれに該当する確率を含み。
前記第１の危険行為識別モジュール５３は、前記搭乗者の検出結果は人体中心推定点が存在することを示す場合、搭乗者が検出されたと決定して、前記搭乗者の検出結果に含まれる人体中心推定点の座標に基づいて、前記人体中心推定点に対応する搭乗者の行為が予め設定されたＮ種の危険行為のそれぞれに該当する確率を、前記危険行為の推定情報から取得して、前記人体中心推定点に対応する搭乗者の行為が予め設定されたＮ種の危険行為のそれぞれに該当する確率に基づいて、前記人体中心推定点に対応する搭乗者の危険行為の識別結果を得る。
可能な一実施形態では、前記搭乗者の位置情報は前記画像中の人体中心推定点の座標を含み、前記搭乗者検出モジュール５２は、前記画像に対応する第１の特徴マップに基づいて、前記画像中のピクセルが人体中心点に該当する確率を推定して、前記画像中のピクセルが人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定する。
可能な一実施形態では、前記搭乗者検出モジュール５２は、前記画像に対応する第１の特徴マップに基づいて、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を決定して、前記第１候補点の座標及び前記第１候補点が人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定する。
可能な一実施形態では、前記搭乗者検出モジュール５２は、前記画像に対応する第１の特徴マップに対して畳み込み操作を行い、前記画像に対応する第２の特徴マップを得て、前記第２の特徴マップに基づいて最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得る。
可能な一実施形態では、前記搭乗者検出モジュール５２は、前記第２の特徴マップに対して活性化処理を行い、前記画像に対応する第３の特徴マップを得て、前記第３の特徴マップに対して最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得る。
可能な一実施形態では、前記搭乗者検出モジュール５２は、前記第３の特徴マップに対してオーバーラップ最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得て、座標が同じである前記第１候補点を併合し、第２候補点の座標及び前記第２候補点が人体中心点に該当する確率を得て、前記第２候補点の座標及び前記第２候補点が人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定する。
可能な一実施形態では、前記第１の危険行為識別モジュール５３は、前記画像に対応する第１の特徴マップに対して畳み込み操作及び全結合操作を行った後に分類操作を行い、前記車室における危険行為の推定情報を得る。
可能な一実施形態では、前記危険行為の識別装置では、前記搭乗者の検出結果は前記車室の前方座席領域に搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得る第２の危険行為識別モジュールをさらに含む。
可能な一実施形態では、前記予め設定された身体部位は手、腕、頭、足、股のうちの少なくとも１つを含む。
可能な一実施形態では、前記危険行為の識別装置では、前記危険行為の識別結果は前記搭乗者の行為が予め設定された危険行為のいずれか１種を含むことを示す場合、注意喚起情報を出す注意喚起モジュールをさらに含む。
可能な一実施形態では、前記注意喚起モジュールは、音声注意喚起情報を出すように車内の音声対話装置を制御することと、前記予め設定された危険行為をしている搭乗者に対応する車窓の昇降を制御する命令を出すことと、危険警告灯をオンにする命令を出すこととの少なくとも１つに用いられる。
本開示の実施例では、車室の画像を取得し、前記画像に基づいて、前記車室内の搭乗者を検出して前記車室内の搭乗者の検出結果を得て、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得ており、前記危険行為は予め設定された身体部位を車窓から出す行為である。これにより、搭乗者の位置に基づいて搭乗者が予め設定された身体部位を車窓から出す行為を正確に識別することができるため、車室内の搭乗者の安全性を向上させることができる。
いくつかの実施例では、本開示の実施例で提供された装置が備えた機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられことができる。具体的な実施形態及び技術的効果については、上記方法実施例の説明を参照すればよく、簡潔化するために、ここで重複説明は割愛する。
本開示の実施例は、コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサによって実行されると、上記危険行為の識別方法を実現させるコンピュータ可読記憶媒体を更に提供する。前記コンピュータ可読記憶媒体は、不揮発性のコンピュータ可読記憶媒体又は揮発性コンピュータ可読記憶媒体であってもよい。
本開示の実施例は、コンピュータ可読コードを含むコンピュータプログラムであって、前記コンピュータ可読コードが電子機器内で実行されると、前記電子機器のプロセッサに上記危険行為の識別方法を実現させるコンピュータプログラムをさらに提供する。
本開示の実施例は、コンピュータ可読なコード、またはコンピュータ可読なコードが記憶されている不揮発性コンピュータ可読記憶媒体を含み、前記コンピュータ可読なコードが電子機器で実行されると、前記電子機器のプロセッサに上記危険行為の識別方法を実行させるコンピュータプログラム製品をさらに提供する。
本開示の実施例は、１つ又は複数のプロセッサと、実行可能な命令を記憶するためのメモリと、を含み、前記１つ又は複数のプロセッサは、前記メモリに記憶されている実行可能な命令を呼び出すことにより、上記危険行為の識別方法を実行するように構成された電子機器をさらに提供する。
電子機器は、端末、サーバー又はその他の形態の機器として提供されてもよい。
図６は本開示の実施例に係る電子機器８００のブロック図である。例えば、装置８００は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってよい。
図６を参照すると、電子機器８００は処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４、及び通信コンポーネント８１６のうちの一つ以上を含んでもよい。
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作及び記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
メモリ８０４は、電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、及び電子機器８００のための電力生成、管理及び配分に関連する他のコンポーネントを含んでもよい。
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライド及びタッチパネルでのジェスチャを検出するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検出するのみならず、前記タッチまたはスライド操作に関する持続時間及び圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラ及び／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラ及び／または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラ及び背面カメラは、固定された光学レンズ系、または焦点距離及び光学ズーム能力を有するものであってもよい。
オーディオコンポーネント８１０はオーディオ信号を出力及び／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードまたは音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、ボリュームボタン、スタートボタン及びロックボタンを含んでもよいが、これらに限定されない。
センサコンポーネント８１４は電子機器８００の各面の状態評価のための一つ以上のセンサを含む。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置及びキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速及び電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含む。センサコンポーネント８１４はさらに、相補型金属酸化膜半導体（ＣＭＯＳ）または電荷結合素子（ＣＣＤ）イメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
通信コンポーネント８１６は電子機器８００と他の機器との間の有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えば無線ネットワーク（ＷｉＦｉ）、第２世代移動通信技術（２Ｇ）または第３世代移動通信技術（３Ｇ）、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術及び他の技術によって実現できる。
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
例示的な実施例では、さらに、不揮発性のコンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は電子機器８００のプロセッサ８２０によって実行されると、上記方法を実行させることができる。
図７は本開示の実施例に係る電子機器１９００のブロック図である。例えば、電子機器１９００はサーバーとして提供されてもよい。図７を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、及び、処理コンポーネント１９２２によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源をさらに含む。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は、命令を実行することによって上記方法を実行するように構成される。
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６、電子機器１９００をネットワークに接続するように構成される有線または無線ネットワークインタフェース１９５０、及び入出力（Ｉ／Ｏ）インタフェース１９５８を含んでもよい。電子機器１９００はメモリ１９３２に記憶されているオペレーティングシステム、例えばマイクロソフトウィンドウズサーバオペレーティングシステム（Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ）、アップル社製グラフィカルユーザーインターフェースオペレーティングシステムＭａｃ ＯＳ ＸＴＭ、コンピュータ用のマルチタスク・マルチユーザーのオペレーティングシステム（ＵｎｉｘＴＭ）、フリーでオープンソースのUnix系のオペレーティングシステム（ＬｉｎｕｘＴＭ）、オープンソースのUnix系のオペレーティングシステム（ＦｒｅｅＢＳＤＴＭ）または類似するものに基づいて動作できる。
例示的な実施例では、さらに、不揮発性のコンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されると、上記方法を実行させることができる。
本開示はシステム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ可読プログラム命令を有しているコンピュータ可読記憶媒体を含んでもよい。
コンピュータ読み取り可能な記憶媒体コンピュータ可読記憶媒体は、命令実行装置に使用される命令を保存及び記憶可能な実体のある装置であってもよい。コンピュータ可読記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のさらなる具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去・プログラマブル可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、及び上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読記憶媒体は、一時的な信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号であると解釈されるものではない。
ここで記述したコンピュータ可読プログラム命令はコンピュータ可読記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワーク及び／または無線ネットワークを経由して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータ及び／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ読取可能プログラム命令を転送し、各計算／処理機器内のコンピュータ可読記憶媒体に記憶させる。
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語及び「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ可読プログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。
ここで本開示の実施例に係る方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャート及び／またはブロック図の各ブロック、及びフローチャート及び／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャート及び／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現させるように、装置を製造してもよい。これらのコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置及び／または他の機器を決定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／またはブロック図の一つ以上のブロックにおいて指定された機能／動作の各方面を実現する命令を有する製品を含む。
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施可能なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャート及び／またはブロック図の一つ以上のブロックにおいて指定された機能／動作を実現する。
図面のうちフローチャート及びブロック図は、本開示の複数の実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能な命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なる順序で実現してもよい。例えば、連続的な二つのブロックは実質的に並行に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図及び／またはフローチャートにおける各ブロック、及びブロック図及び／またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
該コンピュータプログラム製品は、具体的に、ハードウェア、ソフトウェアまたはそれらの組み合わせによって実現できる。可能な一実施例では、前記コンピュータプログラム製品は、具体的にコンピュータ記憶媒体であってもよい。別の可能な一実施例では、コンピュータプログラム製品は、具体的に例えばソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、ＳＤＫ）などのソフトウェア製品であってもよい。
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲及び精神から逸脱することなく、様々な修正及び変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または従来技術への技術的改善を好適に解釈するか、または他の当業者に本明細書に披露された各実施例を理解させるためのものである。

Claims (17)

  1. 危険行為の識別方法であって、
    車室の画像を取得することと、
    前記画像に基づいて、前記車室内の搭乗者を検出し、前記車室内の搭乗者の検出結果を得ることと、
    前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得ることと、を含み、
    前記危険行為は予め設定された身体部位を車窓から出す行為である、ことを特徴とする危険行為の識別方法。
  2. 前記した、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得ることは、
    前記画像に基づいて、前記車室における危険行為を識別し、前記車室における危険行為の推定情報を得ることと、
    前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記搭乗者の検出結果に含まれる前記搭乗者の位置情報、及び前記危険行為の推定情報に基づいて、前記搭乗者の危険行為の識別結果を得ることと、を含むことを特徴とする請求項１に記載の危険行為の識別方法。
  3. 前記搭乗者の位置情報は前記画像中の人体中心推定点の座標を含み、前記危険行為の推定情報は搭乗者の行為が予め設定されたＮ（Ｎは１以上の整数である）種の危険行為のそれぞれに該当する確率を含み、
    前記した、前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記搭乗者の検出結果に含まれる前記搭乗者の位置情報、及び前記危険行為の推定情報に基づいて、前記搭乗者の危険行為の識別結果を得ることは、
    前記搭乗者の検出結果は人体中心推定点が存在することを示す場合、搭乗者が検出されたと決定することと、
    前記搭乗者の検出結果に含まれる人体中心推定点の座標に基づいて、前記人体中心推定点に対応する搭乗者の行為が予め設定されたＮ種の危険行為のそれぞれに該当する確率を、前記危険行為の推定情報から取得することと、
    前記人体中心推定点に対応する搭乗者の行為が予め設定されたＮ種の危険行為のそれぞれに該当する確率に基づいて、前記人体中心推定点に対応する搭乗者の危険行為の識別結果を得ることと、を含むことを特徴とする請求項２に記載の危険行為の識別方法。
  4. 前記搭乗者の位置情報は前記画像中の人体中心推定点の座標を含み、
    前記した、前記画像に基づいて、前記車室内の搭乗者を検出し、前記車室内の搭乗者の検出結果を得ることは、
    前記画像に対応する第１の特徴マップに基づいて、前記画像中のピクセルが人体中心点に該当する確率を推定すること、
    前記画像中のピクセルが人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定することと、を含むことを特徴とする請求項１～３のいずれか１項に記載の危険行為の識別方法。
  5. 前記した、前記画像に対応する第１の特徴マップに基づいて、前記画像中のピクセルが人体中心点に該当する確率を推定することは、前記画像に対応する第１の特徴マップに基づいて、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を決定することを含み、
    前記した、前記画像中のピクセルが人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定することは、前記第１候補点の座標及び前記第１候補点が人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定することを含むことを特徴とする請求項４に記載の危険行為の識別方法。
  6. 前記した、前記画像に対応する第１の特徴マップに基づいて、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を決定することは、
    前記画像に対応する第１の特徴マップに対して畳み込み操作を行い、前記画像に対応する第２の特徴マップを得ることと、
    前記第２の特徴マップに基づいて最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることと、を含むことを特徴とする請求項５に記載の危険行為の識別方法。
  7. 前記した、前記第２の特徴マップに基づいて最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることは、
    前記第２の特徴マップに対して活性化処理を行い、前記画像に対応する第３の特徴マップを得ることと、
    前記第３の特徴マップに対して最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることと、を含むことを特徴とする請求項６に記載の危険行為の識別方法。
  8. 前記した、前記第３の特徴マップに対して最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることは、前記第３の特徴マップに対してオーバーラップ最大値プーリング操作を行い、前記画像中の人体中心点の第１候補点の座標及び前記第１候補点が人体中心点に該当する確率を得ることを含み、
    前記した、前記第１候補点の座標及び前記第１候補点が人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定することは、座標が同じである前記第１候補点を併合し、第２候補点の座標及び前記第２候補点が人体中心点に該当する確率を得ることと、前記第２候補点の座標及び前記第２候補点が人体中心点に該当する確率に基づいて、前記画像中の人体中心推定点の座標を決定することと、を含むことを特徴とする請求項７に記載の危険行為の識別方法。
  9. 前記した、前記画像に基づいて、前記車室における危険行為を識別し、前記車室における危険行為の推定情報を得ることは、
    前記画像に対応する第１の特徴マップに対して畳み込み操作及び全結合操作を行った後に分類操作を行い、前記車室における危険行為の推定情報を得ることを含むことを特徴とする請求項２又は３に記載の危険行為の識別方法。
  10. 前記搭乗者の検出結果は前記車室の前方座席領域に搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得ることをさらに含むことを特徴とする請求項１～９のいずれか１項に記載の危険行為の識別方法。
  11. 前記予め設定された身体部位は手、腕、頭、足、股のうちの少なくとも１つを含むことを特徴とする請求項１～１０のいずれか１項に記載の危険行為の識別方法。
  12. 前記した、前記搭乗者の危険行為の識別結果を得ることの後、
    前記危険行為の識別結果は前記搭乗者の行為が予め設定された危険行為のいずれか１種を含むことを示す場合、注意喚起情報を出すことをさらに含むことを特徴とする請求項１～１１のいずれか１項に記載の危険行為の識別方法。
  13. 前記した、注意喚起情報を出すことは、
    音声注意喚起情報を出すように車内の音声対話装置を制御することと、
    前記予め設定された危険行為をしている搭乗者に対応する車窓の昇降を制御する命令を出すことと、
    危険警告灯をオンにする命令を出すこととの少なくとも１つを含むことを特徴とする請求項１２に記載の危険行為の識別方法。
  14. 危険行為の識別装置であって、
    車室の画像を取得するための取得モジュールと、
    前記画像に基づいて、前記車室内の搭乗者を検出し、前記車室内の搭乗者の検出結果を得るための搭乗者検出モジュールと、
    前記搭乗者の検出結果は搭乗者が検出されたことを示す場合、前記画像及び前記搭乗者の検出結果に含まれる前記搭乗者の位置情報に基づいて危険行為の識別を行い、前記搭乗者の危険行為の識別結果を得るための第１の危険行為識別モジュールと、を含み、
    前記危険行為は予め設定された身体部位を車窓から出す行為である、ことを特徴とする危険行為の識別装置。
  15. 電子機器であって、
    １つ又は複数のプロセッサと、
    実行可能な命令を記憶するためのメモリと、を含み、
    前記１つ又は複数のプロセッサは、前記メモリに記憶されている実行可能な命令を呼び出すことにより、請求項１～１３のいずれか１項に記載の危険行為の識別方法を実行するように構成されたことを特徴とする電子機器。
  16. コンピュータプログラム命令が記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、請求項１～１３のいずれか１項に記載の危険行為の識別方法を実現させることを特徴とするコンピュータ可読記憶媒体。
  17. コンピュータプログラム製品であって、
    コンピュータ可読なコード、またはコンピュータ可読なコードが記憶される不揮発性コンピュータ可読記憶媒体を含み、前記コンピュータ可読なコードが電子機器内で実行されると、前記電子機器のプロセッサに請求項１～１３のいずれか１項に記載の危険行為の識別方法を実行させることを特徴とするコンピュータプログラム製品。
JP2023544368A 2021-06-30 2021-10-28 危険行為の識別方法及び装置、電子機器並びに記憶媒体 Pending JP2024506809A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202110735201.6 2021-06-30
CN202110735201.6A CN113486759B (zh) 2021-06-30 2021-06-30 危险动作的识别方法及装置、电子设备和存储介质
PCT/CN2021/126895 WO2023273060A1 (zh) 2021-06-30 2021-10-28 危险动作的识别方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
JP2024506809A true JP2024506809A (ja) 2024-02-15

Family

ID=77936973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023544368A Pending JP2024506809A (ja) 2021-06-30 2021-10-28 危険行為の識別方法及び装置、電子機器並びに記憶媒体

Country Status (3)

Country Link
JP (1) JP2024506809A (ja)
CN (1) CN113486759B (ja)
WO (1) WO2023273060A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486759B (zh) * 2021-06-30 2023-04-28 上海商汤临港智能科技有限公司 危险动作的识别方法及装置、电子设备和存储介质
CN113955594B (zh) * 2021-10-18 2024-02-27 日立楼宇技术（广州）有限公司 一种电梯控制方法、装置、计算机设备和存储介质
CN116039554A (zh) * 2023-01-17 2023-05-02 江铃汽车股份有限公司 车内后排安全监测方法、装置、可读存储介质及电子设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9928424B2 (en) * 2016-02-22 2018-03-27 Conduent Business Services, Llc Side window detection through use of spatial probability maps
WO2019028798A1 (zh) * 2017-08-10 2019-02-14 北京市商汤科技开发有限公司 驾驶状态监控方法、装置和电子设备
CN107679490B (zh) * 2017-09-29 2019-06-28 百度在线网络技术（北京）有限公司 用于检测图像质量的方法和装置
CN111301280A (zh) * 2018-12-11 2020-06-19 北京嘀嘀无限科技发展有限公司 一种危险状态识别方法及装置
CN110838125B (zh) * 2019-11-08 2024-03-19 腾讯医疗健康(深圳)有限公司 医学图像的目标检测方法、装置、设备、存储介质
CN110969130B (zh) * 2019-12-03 2023-04-18 厦门瑞为信息技术有限公司 一种基于yolov3司机危险动作识别方法及系统
CN111931639B (zh) * 2020-08-07 2024-06-11 上海商汤临港智能科技有限公司 驾驶员行为检测方法、装置、电子设备及存储介质
CN112001348A (zh) * 2020-08-31 2020-11-27 上海商汤临港智能科技有限公司 车舱内的乘员检测方法及装置、电子设备和存储介质
CN112906617B (zh) * 2021-03-08 2023-05-16 济南中凌电子科技有限公司 一种基于手部检测的驾驶员异常行为识别方法与系统
CN112926510A (zh) * 2021-03-25 2021-06-08 深圳市商汤科技有限公司 异常驾驶行为识别方法及装置、电子设备和存储介质
CN113486759B (zh) * 2021-06-30 2023-04-28 上海商汤临港智能科技有限公司 危险动作的识别方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2023273060A1 (zh) 2023-01-05
CN113486759B (zh) 2023-04-28
CN113486759A (zh) 2021-10-08

Similar Documents

Publication Publication Date Title
JP2024506809A (ja) 危険行為の識別方法及び装置、電子機器並びに記憶媒体
JP7526897B2 (ja) 車室内乗員検出方法及び装置、電子機器並びに記憶媒体
WO2023273064A1 (zh) 对象说话检测方法及装置、电子设备和存储介质
WO2022041671A1 (zh) 方向盘脱手检测方法及装置、电子设备和存储介质
JP2023542992A (ja) インテリジェントドライブ制御方法及び装置、車両、電子機器並びに記憶媒体
JP2024508102A (ja) ジェスチャーインタラクション方法及び装置、電子機器並びに記憶媒体
CN110544217A (zh) 一种图像处理方法及装置、电子设备和存储介质
CN113920492A (zh) 车内人员检测方法及装置、电子设备和存储介质
JP2023539250A (ja) 遺失物の通知方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN113488043B (zh) 乘员说话检测方法及装置、电子设备和存储介质
CN112667084B (zh) 车载显示屏的控制方法及装置、电子设备和存储介质
CN113011291B (zh) 事件检测方法及装置、电子设备和存储介质
CN114407630A (zh) 车门控制方法及装置、电子设备和存储介质
CN114332941A (zh) 基于乘车对象检测的报警提示方法、装置及电子设备
CN109919126B (zh) 一种移动物体探测方法、装置及存储介质
CN113060144A (zh) 分心提醒方法及装置、电子设备和存储介质
CN109189068B (zh) 泊车控制方法、装置及存储介质
CN109889693B (zh) 视频处理方法及装置、电子设备和存储介质
WO2023071175A1 (zh) 关联车内的人和物的方法及装置、电子设备和存储介质
CN113505674B (zh) 人脸图像处理方法及装置、电子设备和存储介质
CN114495072A (zh) 乘员状态检测方法及装置、电子设备和存储介质
KR101648611B1 (ko) 영상통화-음성통화 전환 방법
CN115035500A (zh) 一种车门控制方法及装置、电子设备和存储介质
KR20240046910A (ko) 차량용 긴급 콜센터에 대한 정보 송신 방법 및 장치
CN114013367A (zh) 一种远光灯使用提醒方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230721

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240904