JP7526897B2 - 車室内乗員検出方法及び装置、電子機器並びに記憶媒体 - Google Patents

車室内乗員検出方法及び装置、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP7526897B2
JP7526897B2 JP2023535785A JP2023535785A JP7526897B2 JP 7526897 B2 JP7526897 B2 JP 7526897B2 JP 2023535785 A JP2023535785 A JP 2023535785A JP 2023535785 A JP2023535785 A JP 2023535785A JP 7526897 B2 JP7526897 B2 JP 7526897B2
Authority
JP
Japan
Prior art keywords
occupant
target
area
predetermined
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023535785A
Other languages
English (en)
Other versions
JP2023543339A (ja
Inventor
チー,カイユエ
ウエ,チュン
ファン,イーチン
タオ,イン
シュイ,リャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Lingang Jueying Intelligent Technology Co Ltd
Original Assignee
Shanghai Lingang Jueying Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Lingang Jueying Intelligent Technology Co Ltd filed Critical Shanghai Lingang Jueying Intelligent Technology Co Ltd
Publication of JP2023543339A publication Critical patent/JP2023543339A/ja
Application granted granted Critical
Publication of JP7526897B2 publication Critical patent/JP7526897B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593Recognising seat occupancy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Description

本願は、2020年8月31日に中国国家知識産権局に提出された、出願番号202010896370.3、発明の名称「車室内乗員検出方法及び装置、電子機器並びに記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本開示はコンピュータビジョン技術分野に関し、特に車室内乗員検出方法及び装置、電子機器並びに記憶媒体に関する。
現在、自動車電子業界が急速に発展し、人々の乗車時に便利で乗り心地の良い車室環境を提供している。車室のインテリジェント化、安全化が現在の自動車業界発展の重要な方向である。乗員の乗車安全性の向上が重要な意味を持つ。
本開示は車室内乗員検出の技術的手段を提供する。
本開示の一方面によれば、
車室内の画像を取得することと、
前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出することと、
前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することと、を含む車室内乗員検出方法を提供する。
車室内の画像を取得し、前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出し、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することによって、乗員の乗車安全性を向上させることができる。
可能な一実施形態では、前記所定の対象者範囲に属する対象乗員は、児童乗員を含み、
前記した、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することは、
前記児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することを含む。
該実施形態は、前記児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することによって、児童乗員が車室の前部座席エリアに乗車した時に注意喚起を行うことができ、児童乗員の乗車安全性を向上させることに寄与する。
可能な一実施形態では、前記所定の対象者範囲に属する対象乗員は、
第1所定の年齢閾値未満の児童乗員、第2所定の年齢閾値未満の児童乗員、第3所定の年齢閾値未満の児童乗員の少なくとも一つを含み、
前記した、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することは、
前記第1所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成すること、
前記第1所定の年齢閾値よりも小さい前記第2所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアまたは非セーフティシートエリアであることが検出されたことに応じて、注意喚起情報を生成すること、及び、
前記第1所定の年齢閾値よりも大きい前記第3所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部運転席エリアであることが検出されたことに応じて、注意喚起情報を生成すること、の少なくとも一つを含む。
該実施形態では、前記第1所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することによって、前記対象乗員を後部座席エリアに着席するように運転者または他の乗員に注意喚起をするか、または、自ら後部座席エリアに移動するように前記対象乗員に注意喚起をすることができる。前記第2所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアまたは非セーフティシートエリアであることが検出されたことに応じて、注意喚起情報を生成することによって、前記対象乗員を後部座席エリアに着席して、かつ、前記対象乗員を児童セーフティシートに着席するように運転者または他の乗員に注意喚起をすることができる。前記第3所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部運転席エリアであることが検出されたことに応じて、注意喚起情報を生成することによって、運転席エリアから離れるように前記対象乗員に注意喚起をすることができる。
可能な一実施形態では、前記所定の対象者範囲に属する対象乗員は、第4所定の年齢閾値に達した乗員を含み、
前記した、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することは、
前記第4所定の年齢閾値に達した乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することを含む。
該実施形態では、前記第4所定の年齢閾値に達した乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することによって、第4所定の年齢閾値に達した高齢乗員が車室の前部座席エリアに乗車した時に注意喚起を行うことができ、高齢者の乗車安全性を向上させることに寄与する。
可能な一実施形態では、前記所定の対象者範囲に属する対象乗員は、所定の年齢閾値制限条件を満たす年齢の乗員を含み、
前記した、前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出することは、
前記画像に基づいて、前記車室内の乗員の年齢を検出することと、
前記乗員の年齢と前記所定の年齢閾値制限条件とのマッチング結果に基づいて、前記乗員が所定の対象者範囲に属する対象乗員であるか否かを判定することと、
前記乗員が前記対象乗員であることに応じて、前記乗員の乗車エリアを検出することと、を含む。
該実施形態では、前記画像に基づいて、前記車室内の乗員の年齢を検出し、前記乗員の年齢と前記所定の年齢閾値制限条件とのマッチング結果に基づいて、前記乗員が所定の対象者範囲に属する対象乗員であるか否かを判定し、前記乗員が前記対象乗員であることに応じて、前記乗員の乗車エリアを検出することによって、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを正確に特定することができる。
可能な一実施形態では、前記した、前記画像に基づいて、前記車室内の乗員の年齢を検出することは、
前記画像における顔エリアに基づいて車室内の乗員の年齢を検出して、前記車室内の乗員の年齢を得ることを含む。
前記画像における顔エリアに基づいて車室内の乗員の年齢を検出して、前記車室内の乗員の年齢を得ることによって、ユーザーが年齢情報を予め入力する必要がなく、前記画像に基づいて前記車室内の乗員の年齢を直接特定することができ、年齢検出の利便性を向上させることができる。
可能な一実施形態では、前記した、前記画像に基づいて、前記車室内の乗員の年齢を検出することは、
前記画像に基づいて、前記車室内の乗員の顔情報を取得することと、
予め取得した乗員情報データから、マッチングにより、前記乗員の顔情報に対応する実際の年齢情報が得られたことに応じて、前記乗員の顔情報に対応する実際の年齢情報に基づいて、前記乗員の年齢を特定することと、を含む。
前記画像に基づいて、前記車室内の乗員の顔情報を取得し、予め取得した乗員情報データから、マッチングにより、前記乗員の顔情報に対応する実際の年齢情報が得られたことに応じて、前記乗員の顔情報に対応する実際の年齢情報に基づいて、前記乗員の年齢を特定することによって、予め取得した乗員情報データを利用して前記乗員の年齢を正確に特定することができる。
可能な一実施形態では、前記方法は、
車両の地理位置情報を取得することと、
前記地理位置情報に対応する乗車エリア制限情報に基づいて、前記所定の対象者範囲に対応する所定の年齢閾値を調整することと、をさらに含み、前記乗車エリア制限情報は、所定の対象者範囲に対応する所定の年齢閾値と非許可乗車エリアとの間の制限用対応関係を含む。
該実施形態によれば、車両が位置する地域の交通法規に応じて所定の年齢閾値を調整することにより、調整後の所定の年齢閾値を現地の交通法規に合致させることができる。
可能な一実施形態では、注意喚起情報を生成した後に、
前記対象乗員の実際の年齢情報を含むユーザーフィードバック情報を取得することと、
前記ユーザーフィードバック情報に基づいて、前記対象乗員の顔情報と前記対象乗員の実際の年齢情報との間の対応関係を記憶することと、をさらに含む。
該実施形態では、ユーザーフィードバック情報を取得し、前記ユーザーフィードバック情報に基づいて、前記対象乗員の顔情報と前記対象乗員の実際の年齢情報との間の対応関係を記憶することによって、その以降で前記対象乗員が検出された場合に、前記対象乗員の実際の年齢情報に基づいて、さらに、前記対象乗員の乗車エリアが、前記対象乗員が属する所定の対象者範囲に対する非許可乗車エリアに該当するか否かを判断することができ、その結果、より正確なマッチング結果を得ることができる。
可能な一実施形態では、前記方法は、
前記対象乗員の実際の年齢情報と検出された年齢情報との不一致に応じて、前記対象乗員が属する所定の対象者範囲に対応する所定の年齢閾値を調整することをさらに含む。
該実施形態では、前記対象乗員の実際の年齢情報と検出された年齢情報との不一致に応じて、前記対象乗員が属する所定の対象者範囲に対応する所定の年齢閾値を調整することによって、その以降の年齢検出の正確性を向上させることに寄与して、その結果、対象乗員の乗車安全性をさらに向上させることに寄与する。
可能な一実施形態では、前記方法は、
年齢閾値調整要求を取得することと、
前記年齢閾値調整要求に基づいて、前記所定の対象者範囲に対応する所定の年齢閾値を調整することと、をさらに含む。
該実施形態では、年齢閾値調整要求を取得し、前記年齢閾値調整要求に基づいて、前記所定の対象者範囲に対応する所定の年齢閾値を調整することによって、ユーザーが実際の需要に応じて前記所定の対象者範囲に対応する所定の年齢閾値を柔軟に調整することができ、前記所定の対象者範囲に属する対象乗員の乗車安全性をさらに向上させることに寄与する。
本開示の一方面によれば、
車室内の画像を取得するための第1取得モジュールと、
前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出するための検出モジュールと、
前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成するための生成モジュールと、を含む車室内乗員検出装置を提供する。
可能な一実施形態では、前記所定の対象者範囲に属する対象乗員は、児童乗員を含み、
前記生成モジュールは、
前記児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することに用いられる。
可能な一実施形態では、前記所定の対象者範囲に属する対象乗員は、第1所定の年齢閾値未満の児童乗員、第2所定の年齢閾値未満の児童乗員、第3所定の年齢閾値未満の児童乗員の少なくとも一つを含み、
前記生成モジュールは、
前記第1所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成すること、
前記第1所定の年齢閾値よりも小さい前記第2所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアまたは非セーフティシートエリアであることが検出されたことに応じて、注意喚起情報を生成すること、及び、
前記第1所定の年齢閾値よりも大きい前記第3所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部運転席エリアであることが検出されたことに応じて、注意喚起情報を生成すること、の少なくとも一つを実行することに用いられる。
可能な一実施形態では、前記所定の対象者範囲に属する対象乗員は、第4所定の年齢閾値に達した乗員を含み、
前記生成モジュールは、
前記第4所定の年齢閾値に達した乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することに用いられる。
可能な一実施形態では、前記所定の対象者範囲に属する対象乗員は、所定の年齢閾値制限条件を満たす年齢の乗員を含み、
前記検出モジュールは、
前記画像に基づいて、前記車室内の乗員の年齢を検出し、
前記乗員の年齢と前記所定の年齢閾値制限条件とのマッチング結果に基づいて、前記乗員が所定の対象者範囲に属する対象乗員であるか否かを判定し、
前記乗員が前記対象乗員であることに応じて、前記乗員の乗車エリアを検出することに用いられる。
可能な一実施形態では、前記検出モジュールは、
前記画像における顔エリアに基づいて車室内の乗員の年齢を検出して、前記車室内の乗員の年齢を得ることに用いられる。
可能な一実施形態では、前記検出モジュールは、
前記画像に基づいて、前記車室内の乗員の顔情報を取得し、
予め取得した乗員情報データから、マッチングにより、前記乗員の顔情報に対応する実際の年齢情報が得られたことに応じて、前記乗員の顔情報に対応する実際の年齢情報に基づいて、前記乗員の年齢を特定することに用いられる。
可能な一実施形態では、前記装置は、
車両の地理位置情報を取得するための第2取得モジュールと、
前記地理位置情報に対応する乗車エリア制限情報に基づいて、前記所定の対象者範囲に対応する所定の年齢閾値を調整するための第1調整モジュールと、をさらに含み、前記乗車エリア制限情報は、所定の対象者範囲に対応する所定の年齢閾値と非許可乗車エリアとの間の制限用対応関係を含む。
可能な一実施形態では、前記装置は、
前記対象乗員の実際の年齢情報を含むユーザーフィードバック情報を取得するための第3取得モジュールと、
前記ユーザーフィードバック情報に基づいて、前記対象乗員の顔情報と前記対象乗員の実際の年齢情報との間の対応関係を記憶するための記憶モジュールと、をさらに含む。
可能な一実施形態では、前記装置は、
前記対象乗員の実際の年齢情報と検出された年齢情報との不一致に応じて、前記対象乗員が属する所定の対象者範囲に対応する所定の年齢閾値を調整するための第2調整モジュールをさらに含む。
可能な一実施形態では、前記装置は、
年齢閾値調整要求を取得するための第4取得モジュールと、
前記年齢閾値調整要求に基づいて、前記所定の対象者範囲に対応する所定の年齢閾値を調整するための第3調整モジュールと、をさらに含む。
本開示の一方面によれば、1つ以上のプロセッサと、実行可能な命令を記憶するためのメモリと、を含み、前記1つ以上のプロセッサは、前記メモリに記憶されている実行可能な命令を呼び出すことにより、上述した方法を実行するように構成される、電子機器を提供する。
本開示の一方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上述した方法を実現させる、コンピュータ読取可能な記憶媒体を提供する。
本開示の一方面によれば、コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードが電子機器において動作すると、前記電子機器のプロセッサが上述した方法を実現させるための命令を実行する、コンピュータプログラムを提供する。
本開示の実施例では、車室内の画像を取得し、前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出し、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することによって、乗員の乗車安全性を向上させることができる。
以上の一般的な説明及び以下の詳細的な説明は、例示的や解釈的なものに過ぎず、本開示を限定するものではないことを理解すべきである。
以下、図面を参照しながら例示的な実施例について詳細に説明することにより、本開示の他の特徴及び方面は明瞭になる。
ここの図面は、明細書の一部として組み込まれ、本開示による実施例を示し、明細書と共に本開示の技術的手段を説明するために用いられる。
本開示の実施例による車室内乗員検出方法のフローチャートを示す。 本開示の実施例の一適用シーンの模式図を示す。 本開示の実施例の別の適用シーンの模式図を示す。 本開示の実施例による車室内乗員検出装置のブロック図を示す。 本開示の実施例による電子機器800のブロック図を示す。 本開示の実施例による電子機器1900のブロック図を示す。
以下に、図面を参照しながら本開示の様々な例示的実施例、特徴及び方面を詳細に説明する。図面における同じ符号は、同じ又は類似する機能の要素を示す。図面において実施例の様々な方面を示したが、特に断らない限り、比例に従って図面を作る必要がない。
ここでの用語「例示的」とは、「例、実施例として用いられること又は説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は他の実施例より好ましい又は優れるものであると理解すべきではない。
本明細書における用語「及び/又は」は、関連対象の関連関係を記述するものに過ぎず、3つの関係が存在可能であることを示す。例えば、A及び/又はBは、Aのみが存在するケース、AとBが同時に存在するケース、Bのみが存在するケースという3つのケースを示すことができる。また、本明細書における用語「少なくとも1つ」は、複数のうちのいずれか1つ、又は複数のうちの少なくとも2つの任意の組合わせを示す。例えば、A、B、Cのうちの少なくとも1つを含むということは、A、B及びCからなる集合から選択されるいずれか1つ又は複数の要素を含むことを示すことができる。
また、本開示をより良く説明するために、以下の具体的な実施形態において多くの具体的な細部を示す。当業者であれば、本開示は、何らかの具体的な細部がなくても同様に実施できることを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者によく知られている方法、手段、要素及び回路について、詳細な説明を省略する。
本開示の実施例では、車室内の画像を取得し、前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出し、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することによって、乗員の乗車安全性を向上させることができる。
図1は、本開示の実施例による車室内乗員検出方法のフローチャートを示す。前記車室内乗員検出方法の実行主体は、車室内乗員検出装置であってもよい。可能な一実施形態では、前記車室内乗員検出方法は、端末装置、サーバ又は他の処理装置により実行されてもよい。ここで、端末装置は、車載装置、ユーザ装置(User Equipment、UE)、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント(Personal Digital Assistant、PDA)、手持ち機器、計算装置、ウエアラブル装置等であってもよい。ここで、車載装置は、車室内の車載インフォテインメントまたはドメイン・コントローラであってもよく、OMS(Occupant Monitoring System、乗員監視システム)またはDMS(Driver Monitor System、運転者監視システム)における画像等のデータ処理操作を実行するための機器ホスト等であってもよい。いくつかの可能な実施形態では、前記車室内乗員検出方法は、プロセッサによりメモリに記憶されているコンピュータ読取可能な命令を呼び出すことで実現されてもよい。図1に示すように、前記車室内乗員検出方法は、ステップS11~ステップS13を含む。
ステップS11において、車室内の画像を取得する。
本開示の実施例は、マイカー、シェアカー、ライドヘイリングカー、タクシー等の少なくとも1種の車両に用いられることができる。
可能な一実施形態では、前記車室内の画像として、車室内のビデオストリーム内の1つ以上のビデオフレームを使用するようにしてもよい。該実施形態では、前記車室内または車室外に設けられるカメラによって、前記車室内のビデオストリームを収集するようにしてもよい。例えば、前記車室内に設けられるカメラは、OMSカメラ、DMSカメラ等を含んでもよい。
ステップS12において、前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出する。
本開示の実施例では、所定の対象者範囲は、児童、高齢者、障害者等、所定の属性を有する予め定められた対象者範囲であってもよい。所定の対象者範囲はさらに、カスタマイズされた対象者グループ、例えば、前記車室の登録運転者でない対象者グループであってもよく、ここに特に限定されない。前記対象乗員とは、前記車室内の乗員のうち、所定の対象者範囲に属する乗員を示してもよい。乗車エリアとは、乗員が車両内に現れる位置エリアを指し、座席エリア、乗り込みエリア、滞在エリア等の少なくとも一つを含んでもよい。
本開示の実施例では、前記画像に基づいて、乗員の顔、衣服、体型、身長等の特徴の少なくとも一つを抽出して、乗員が予め定義された所定の対象者範囲の属性を有するか否かを判定することによって、乗員が所定の対象者範囲に属するか否かを判定するようにしてもよい。或いは、乗員の生体特徴認識結果(例えば顔識別結果)に基づいて乗員が所定の対象者範囲に属するか否かを判断するようにしてもよい。一例において、前記画像に基づいて顔識別を行って、乗員の顔識別結果を得るようにしてもよい。前記乗員の顔識別結果に基づいて、前記乗員が前記車室の登録運転者であると判定された場合、前記乗員が所定の対象者範囲に属しないと判定するようにしてもよい。前記乗員の顔識別結果に基づいて、前記乗員が前記車室の登録運転者でないと判定された場合、前記乗員の顔、衣服、体型、身長等の特徴の少なくとも一つを抽出して、前記乗員の顔、衣服、体型、身長等の特徴の少なくとも一つに基づいて、前記乗員が予め定義された所定の対象者範囲の属性を有すると判定された場合、前記乗員が所定の対象者範囲に属すると判定して、前記乗員の顔、衣服、体型、身長等の特徴の少なくとも一つに基づいて、前記乗員が予め定義された所定の対象者範囲の属性を有しないと判定された場合、前記乗員が所定の対象者範囲に属しないと判定するようにしてもよい。或いは、前記乗員の顔識別結果に基づいて、前記乗員が前記車室の登録運転者でないと判定された場合、前記乗員が所定の対象者範囲に属すると直接に判定するようにしてもよい。例えば、ライドヘイリングカー、タクシー、営業車等の少なくとも一つの適用シーンにおいて、前記乗員の顔識別結果に基づいて、前記乗員が前記車室の登録運転者でないと判定された場合、前記乗員が所定の対象者範囲に属すると直接に判定するようにしてもよい。
可能な一実施形態では、前記した、前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出することは、前記画像に基づいて、前記車室内に所定の対象者範囲に属する対象乗員が存在するか否かを検出することと、所定の対象者範囲に属する対象乗員が検出されたことに応じて、前記対象乗員の乗車エリアを検出することと、を含む。この実施形態によれば、まずは車室内の、所定の対象者範囲に属する対象乗員を検出して、さらに各対象乗員の乗車エリアを検出することができる。
別の可能な実施形態では、前記した、前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出することは、前記画像に基づいて、前記車室内の各乗車エリアのそれぞれに対して、所定の対象者範囲に属する対象乗員が存在するか否かを検出することと、前記各乗車エリアの所定の対象者範囲に属する対象乗員の検出結果に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを特定することと、を含む。例えば、この実施形態では、いずれかの乗車エリアについて、前記画像に基づいて、該乗車エリアに対応する画像エリアを特定し、該乗車エリアに対応する画像エリアにおいて、所定の対象者範囲に属する対象乗員が存在するか否かを検出するようにしてもよい。
可能な一実施形態では、予め車室内を複数の設定エリアに区画してもよく、前記対象乗員の乗車エリアを検出することは、複数の設定エリアのうち、前記対象乗員が存在する設定エリアを検出することを含んでもよい。例えば、設定エリアは、前部座席エリア、後部座席エリア、運転席エリア、助手席エリア等を含んでもよい。
該実施形態の一例として、車室内の画像に対応する画像座標系における対象乗員の画像座標、及び画像座標と乗車エリアとの対応関係に基づいて、前記対象乗員の乗車エリアを特定するようにしてもよい。
該実施形態の別の一例として、車室内の画像に対応する画像座標系における対象乗員の画像座標の範囲、及び画像座標範囲と乗車エリアとの対応関係に基づいて、前記対象乗員の乗車エリアを特定するようにしてもよい。
該実施形態の別の一例として、車室内の画像に対応する画像座標系における対象乗員の画像座標、及び画像座標系と車室内の空間座標系とのマッピング関係に基づいて、前記空間座標系における対象乗員の空間座標を特定して、また、前記空間座標系における対象乗員の空間座標、及び空間座標と乗車エリアとの対応関係に基づいて、前記対象乗員の乗車エリアを特定するようにしてもよい。
該実施形態の別の一例として、車室内の画像に対応する画像座標系における対象乗員の画像座標範囲、及び画像座標系と車室内の空間座標系とのマッピング関係に基づいて、前記空間座標系における対象乗員の空間座標範囲を特定して、また、前記空間座標系における対象乗員の空間座標範囲、及び空間座標範囲と乗車エリアとの対応関係に基づいて、前記対象乗員の乗車エリアを特定するようにしてもよい。
別の可能な実施形態では、前記対象乗員の乗車エリアは、前記車室内の前記対象乗員の座標または前記対象乗員が属する座標範囲を含んでもよい。一例において、前記対象乗員の乗車エリアは、車室内の画像に対応する画像座標系における前記対象乗員の画像座標または画像座標範囲を含んでもよい。別の一例において、前記対象乗員の乗車エリアは、車室内の空間座標系における前記対象乗員の空間座標または空間座標範囲を含んでもよい。
ステップS13において、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成する。
本開示の実施例では、前記所定の対象者範囲に対する非許可乗車エリアとは、前記所定の対象者範囲の乗車を許可しない前記車室内のエリアを示してもよい。ここでは、非許可乗車エリアは、車室内の座席、センターコンソール等の固定部材の位置に従って車室の内部空間を予め区画して得られた1つ以上の設定エリアのうちの少なくとも1つであってもよい。例えば、前記所定の対象者範囲に対する非許可乗車エリアは、車室の前部座席エリア及び/または非セーフティシートエリアを含んでもよい。
可能な一実施形態では、前記対象乗員の乗車エリアは、前記対象乗員の乗り込みエリアを含んでもよい。該実施形態では、前記対象乗員の乗り込みエリアが前記所定の対象者範囲の非許可乗り込みエリアに該当することが検出されたことに応じて、注意喚起情報を生成するようにしてもよい。該実施形態では、前記対象乗員が座っているか否かを判断する必要がなく、前記対象乗員の乗り込みエリアが前記所定の対象者範囲の非許可乗り込みエリアに該当することが検出されたことに応じて、注意喚起情報を生成することができる。該実施形態では、前記対象乗員が前記対象乗員の属する所定の対象者範囲の非許可乗り込みエリアから乗り込むことが検出されると、注意喚起を行うことにより、タイムリーに注意喚起を行う効果を奏し得る。該実施形態の一例として、前記所定の対象者範囲の非許可乗り込みエリアは、車両の前ドアエリアを含んでもよい。この例では、前記対象乗員が車両の前ドアから乗り込むことが検出されると、注意喚起を行うようにしてもよい。
別の可能な実施形態では、前記対象乗員の乗車エリアは前記対象乗員の着座エリアを含んでもよい。該実施形態では、前記対象乗員の着座エリアが前記所定の対象者範囲の非許可着座エリアに該当することが検出されたことに応じて、注意喚起情報を生成するようにしてもよい。
本開示の実施例では、前記車室内のディスプレイ、スピーカー等によって、前記注意喚起情報を出すようにしてもよい。例えば、注意喚起情報は、「子供は前部座席に座っていけませんよ」という音声情報を含んでもよい。
可能な一実施形態では、前記対象乗員が属する所定の対象者範囲に対する非許可乗車エリアに応じて、注意喚起情報を生成するようにしてもよい。例えば、前記対象乗員が属する所定の対象者範囲に対する非許可乗車エリアが前部座席エリアであれば、注意喚起情報は「前部座席エリアに座っていけません」という情報を含んでもよい。
別の可能な実施形態では、前記対象乗員が属する所定の対象者範囲の許可乗車エリアに応じて、注意喚起情報を生成するようにしてもよい。該実施形態では、前記所定の対象者範囲の許可乗車エリアは、前記所定の対象者範囲の乗車を許可する車室内のエリアを示してもよい。例えば、前記所定の対象者範囲の許可乗車エリアは、後部座席エリアまたは後部座席セーフティシートエリアであってもよい。例えば、前記対象乗員が属する所定の対象者範囲の許可乗車エリアが後部座席エリアであれば、注意喚起情報は、「後部座席エリアに座ってください」という情報を含んでもよい。或いは、前記対象乗員が属する所定の対象者範囲の許可乗車エリアが後部座席セーフティシートエリアであれば、注意喚起情報は、「子供を後部座席セーフティシートエリアに着席してください」という情報を含んでもよい。
本開示の実施例では、注意喚起情報を生成することによって、前記対象乗員を車室内の安全かつ適切な位置に着席するように運転者または他の乗員に注意喚起をするか、または、自ら車室内の安全かつ適切な位置に移動するように前記対象乗員に注意喚起をすることができる。
本開示の実施例では、車室内の画像を取得し、前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出し、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することによって、乗員の非許可乗車エリアに対する自発注意喚起を実現して、乗員の乗車安全性を向上させることができる。
可能な一実施形態では、前記した、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することは、車両が起動され、且つ車速が0である場合に、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することを含んでもよい。該実施形態によれば、車両の起動後に直ちに注意喚起を行うことができるため、車両の走行前に前記対象乗員を車室内の安全かつ適切な位置に着席するように運転者または他の乗員に注意喚起をするか、または、車両の走行前に自ら車室内の安全かつ適切な位置に移動するように前記対象乗員に注意喚起をすることができる。
可能な一実施形態では、前記所定の対象者範囲に属する対象乗員は、児童乗員を含み、前記した、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することは、前記児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することを含む。児童が交通法規及び乗車エリアのルールに関して詳しくないことが多く、また、大人よりも児童が前部座席エリアに乗車する場合のリスクが大きいため、該実施形態は、前記児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することによって、児童乗員が車室の前部座席エリアに乗車した時に注意喚起を行うことができ、児童乗車のシーンで乗車エリアの誤りによるリスク問題を効果的に対応することができ、児童乗員の乗車安全性を向上させることに寄与する。
該実施形態では、前記画像に基づいて、前記車室内の乗員の乗員種別を検出し、児童種別に属する乗員を対象乗員として特定するようにしてもよい。該実施形態では、児童種別、青壮年者種別、高齢者種別等、複数の乗員種別を予め設定し、前記画像に基づいて乗員を分類し、車室に児童種別に属する乗員が存在するか否かを判定し、すなわち、車室内に児童乗員が存在するか否かを判定するようにしてもよい。該実施形態では、乗員の年齢を識別してから分類を行う必要がなく、乗員の乗員種別を直接識別することができる。
可能な一実施形態では、前記所定の対象者範囲に属する対象乗員は、第1所定の年齢閾値未満の児童乗員、第2所定の年齢閾値未満の児童乗員、第3所定の年齢閾値未満の児童乗員の少なくとも一つを含み、前記した、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することは、前記第1所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成すること、前記第1所定の年齢閾値よりも小さい前記第2所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアまたは非セーフティシートエリアであることが検出されたことに応じて、注意喚起情報を生成すること、及び、前記第1所定の年齢閾値よりも大きい前記第3所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部運転席エリアであることが検出されたことに応じて、注意喚起情報を生成すること、の少なくとも一つを含む。
該実施形態の一例としては、前記所定の対象者範囲に属する対象乗員は、第1所定の年齢閾値未満の児童乗員を含み、前記した、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することは、前記第1所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することを含む。
この例では、第1所定の年齢閾値は、車室の前部座席エリアに乗車することが許可されない児童の年齢に基づいて決定してもよい。例えば、交通法規に規定されている車室の前部座席エリアに乗車することが許可されない児童の年齢に基づいて、第1所定の年齢閾値を決定するようにしてもよい。例えば、12歳以下の児童が車室の前部座席エリアに乗車することが許可されない場合、第1所定の年齢閾値を12歳に設定してもよい。
該実施形態の別の一例として、前記所定の対象者範囲に属する対象乗員は、第2所定の年齢閾値未満の児童乗員を含み、前記した、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することは、前記第1所定の年齢閾値よりも小さい前記第2所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアまたは非セーフティシートエリアであることが検出されたことに応じて、注意喚起情報を生成することを含む。
この例では、第2所定の年齢閾値は、乗車時にセーフティシートを使用する必要がある児童の年齢に基づいて決定してもよい。例えば、4歳以下の児童が乗車時にセーフティシートを使用する必要があると規定されている場合、第2所定の年齢閾値を4歳に設定してもよい。
該実施形態の別の一例として、前記所定の対象者範囲に属する対象乗員は、第1所定の年齢閾値未満の児童乗員と第2所定の年齢閾値未満の児童乗員を含み、前記した、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することは、前記第1所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することと、前記第2所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアまたは非セーフティシートエリアであることが検出されたことに応じて、注意喚起情報を生成することと、を含む。
該実施形態の別の一例として、前記所定の対象者範囲に属する対象乗員は、第3所定の年齢閾値未満の児童乗員を含み、前記した、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することは、前記第1所定の年齢閾値よりも大きい前記第3所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部運転席エリアであることが検出されたことに応じて、注意喚起情報を生成することを含む。
この例では、第3所定の年齢閾値は、運転が許可される年齢に基づいて決定してもよい。例えば、第3所定の年齢閾値は18歳、16歳等であってもよい。
一例において、車両の安全性をさらに向上させるために、前記第3所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部運転席エリアであることが検出されたことに応じて、車両の起動を禁止するようにしてもよい。
該実施形態では、前記第1所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することによって、前記対象乗員を後部座席エリアに着席するように運転者または他の乗員に注意喚起をするか、または、自ら後部座席エリアに移動するように前記対象乗員に注意喚起をすることができる。前記第2所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアまたは非セーフティシートエリアであることが検出されたことに応じて、注意喚起情報を生成することによって、前記対象乗員を後部座席エリアに着席して、かつ、前記対象乗員を児童セーフティシートに着席するように運転者または他の乗員に注意喚起をすることができる。前記第3所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部運転席エリアであることが検出されたことに応じて、注意喚起情報を生成することによって、運転席エリアから離れるように前記対象乗員に注意喚起をすることができる。
上記実施形態は、異なる年齢閾値によって児童の非許可乗車エリアを区分することによって、異なる年齢の児童に対応する非許可乗車エリアを細分化する。児童がその年齢閾値に対応する非許可乗車エリアにいる場合に、注意喚起を行うことによって、より対象性がある注意喚起を実現する。
可能な一実施形態では、前記所定の対象者範囲に属する対象乗員は、第4所定の年齢閾値に達した乗員を含み、前記した、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することは、前記第4所定の年齢閾値に達した乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することを含む。該実施形態では、第4所定の年齢閾値に達した乗員とは、第4所定の年齢閾値に達した高齢乗員を指してもよい。例えば、第4所定の年齢閾値は65歳、60歳、70歳等であってもよい。該実施形態では、前記第4所定の年齢閾値に達した乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することによって、第4所定の年齢閾値に達した高齢乗員が車室の前部座席エリアに乗車した時に注意喚起を行うことができ、高齢者の乗車安全性を向上させることに寄与する。
可能な一実施形態では、前記所定の対象者範囲に属する対象乗員は、所定の年齢閾値制限条件を満たす年齢の乗員を含み、前記した、前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出することは、前記画像に基づいて、前記車室内の乗員の年齢を検出することと、前記乗員の年齢と前記所定の年齢閾値制限条件とのマッチング結果に基づいて、前記乗員が所定の対象者範囲に属する対象乗員であるか否かを判定することと、前記乗員が前記対象乗員であることに応じて、前記乗員の乗車エリアを検出することと、を含む。
該実施形態では、前記画像に基づいて、前記車室内の少なくとも一人の乗員の年齢を検出するようにしてもよい。例えば、前記画像に基づいて、前記車室内のすべての乗員の年齢を検出すようにしてもよい。前記所定の年齢閾値制限条件の数は1つ以上であってもよい。例えば、異なる所定の対象者範囲は、異なる所定の年齢閾値制限条件に対応してもよい。前記車室内のいずれかの乗員について、前記乗員の年齢と前記所定の年齢閾値制限条件とのマッチングを行うようにしてもよい。例えば、前記所定の年齢閾値制限条件は、第1所定の年齢閾値未満、第2所定の年齢閾値未満、第3所定の年齢閾値未満、第4所定の年齢閾値に達したことの少なくとも一つを含んでもよい。前記乗員の年齢と、1つ以上の所定の年齢閾値制限条件とのマッチングを行うことによって、前記乗員の年齢と前記所定の年齢閾値制限条件とのマッチング結果を得ることができる。例えば、前記乗員の年齢が6歳であり、第1所定の年齢閾値が12歳である場合、前記乗員の年齢と前記所定の年齢閾値制限条件とがマッチングしたと判定することができ、これにより、前記乗員が所定の対象者範囲に属する対象乗員であると判定することができる。
該実施形態では、前記画像に基づいて、前記車室内の乗員の年齢を検出し、前記乗員の年齢と前記所定の年齢閾値制限条件とのマッチング結果に基づいて、前記乗員が所定の対象者範囲に属する対象乗員であるか否かを判定し、前記乗員が前記対象乗員であることに応じて、前記乗員の乗車エリアを検出することによって、年齢検出によって前記車室内の、所定の対象者範囲に属する対象乗員を正確に判定して、且つ対象乗員の乗車エリアを特定することができる。
該実施形態の一例としては、前記した、前記画像に基づいて、前記車室内の乗員の年齢を検出することは、前記画像における顔エリアに基づいて車室内の乗員の年齢を検出して、前記車室内の乗員の年齢を得ることを含む。この例では、前記画像における顔エリアに基づいて車室内の乗員の年齢を検出して、前記車室内の乗員の年齢を得ることによって、ユーザーが年齢情報を予め入力する必要がなく、前記画像に基づいて前記車室内の乗員の年齢を直接特定することができ、年齢検出の利便性を向上させることができる。
一例において、前記画像または前記画像における顔エリアに対応する画像をニューラルネットワークに入力し、前記ニューラルネットワークを介して車室内の乗員の年齢を検出して、前記車室内の乗員の年齢を得るようにしてもよい。この例では、ニューラルネットワークによって画像に基づいて車室内の乗員に対して年齢検出を行うことによって、年齢検出の速度及び正確性を向上させることができる。
該実施形態の別の一例として、前記した、前記画像に基づいて、前記車室内の乗員の年齢を検出することは、前記画像に基づいて、前記車室内の乗員の顔情報を取得することと、予め取得した乗員情報データから、マッチングにより、前記乗員の顔情報に対応する実際の年齢情報が得られたことに応じて、前記乗員の顔情報に対応する実際の年齢情報に基づいて、前記乗員の年齢を特定することと、を含む。
この例では、前記予め取得の乗員情報データは、乗員の顔情報と、対応する実際の年齢情報とを含んでもよい。この例では、前記車室内に設けられているメモリ、ユーザー端末(例えば、車両所有者の携帯電話等の端末)、前記車室が属する車両に接続されているサーバ等から、乗員情報データを予め取得するようにしてもよい。
この例では、前記乗員の顔情報は、前記乗員の身分情報、顔特徴、顔画像のうちの少なくとも一つを含んでもよい。
一例において、前記乗員の顔情報は、前記乗員の身分情報を含み、前記した、前記画像に基づいて、前記車室内の乗員の顔情報を取得することと、予め取得した乗員情報データから、マッチングにより、前記乗員の顔情報に対応する実際の年齢情報が得られたことに応じて、前記乗員の顔情報に対応する実際の年齢情報に基づいて、前記乗員の年齢を特定することとは、前記画像に基づいて顔識別を行い、前記車室内の乗員の身分情報を取得することと、予め取得した乗員情報データから、マッチングにより、前記乗員の身分情報に対応する実際の年齢情報が得られたことに応じて、前記乗員の身分情報に対応する実際の年齢情報に基づいて、前記乗員の年齢を特定することと、を含んでもよい。
別の一例において、前記乗員の顔情報は、前記乗員の顔特徴を含み、前記した、前記画像に基づいて、前記車室内の乗員の顔情報を取得することと、予め取得した乗員情報データから、マッチングにより、前記乗員の顔情報に対応する実際の年齢情報が得られたことに応じて、前記乗員の顔情報に対応する実際の年齢情報に基づいて、前記乗員の年齢を特定することとは、前記画像に基づいて顔特徴を抽出し、前記車室内の乗員の顔特徴を取得することと、予め取得した乗員情報データから、マッチングにより、前記乗員の顔特徴に対応する実際の年齢情報が得られたことに応じて、前記乗員の顔特徴に対応する実際の年齢情報に基づいて、前記乗員の年齢を特定することと、を含んでもよい。
別の一例において、前記乗員の顔情報は、前記乗員の顔画像を含み、前記した、前記画像に基づいて、前記車室内の乗員の顔情報を取得することと、予め取得した乗員情報データから、マッチングにより、前記乗員の顔情報に対応する実際の年齢情報が得られたことに応じて、前記乗員の顔情報に対応する実際の年齢情報に基づいて、前記乗員の年齢を特定することとは、前記画像に基づいて、前記車室内の乗員の顔画像を切り取ることと、予め取得した乗員情報データから、マッチングにより、前記乗員の顔画像に対応する実際の年齢情報が得られたことに応じて、前記乗員の顔画像に対応する実際の年齢情報に基づいて、前記乗員の年齢を特定することと、を含んでもよい。
この例では、前記画像に基づいて、前記車室内の乗員の顔情報を取得し、予め取得した乗員情報データから、マッチングにより、前記乗員の顔情報に対応する実際の年齢情報が得られたことに応じて、前記乗員の顔情報に対応する実際の年齢情報に基づいて、前記乗員の年齢を特定することによって、予め取得した乗員情報データを利用して前記乗員の年齢を正確に特定することができるため、乗員が属する年齢層に対応する非許可乗車エリアを速く特定して、さらに乗員の乗車エリアが、対応する非乗車エリアにあるか否かを判断することに寄与する。
一例において、予め取得した乗員情報データから、マッチングにより、前記乗員の顔情報に対応する実際の年齢情報を特定できなかったことに応じて、前記画像における顔エリアに基づいて乗員の年齢検出を行い、前記乗員の年齢を得るようにしてもよい。
別の可能な実施形態では、前記所定の対象者範囲に属する対象乗員は、設定乗員種別に合致する乗員種別の乗員を含み、前記した、前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出することは、前記画像に基づいて、前記車室内の乗員の乗員種別を検出することと、前記乗員の乗員種別と前記設定乗員種別とのマッチング結果に基づいて、前記乗員が所定の対象者範囲に属する対象乗員であるか否かを判定することと、前記乗員が前記対象乗員であることに応じて、前記乗員の乗車エリアを検出することと、を含んでもよい。該実施形態では、乗員種別は、児童種別、青壮年者種別または高齢種別であり、設定乗員種別は児童種別及び/または高齢種別を含み、乗員の乗員種別が児童種別または高齢種別である場合、前記乗員の乗車エリアを検出するようにしてもよい。或いは、まずは車室内の各乗車エリアの乗員を検出し、そして、各乗車エリアの乗員を分類するようにしてもよい。該実施形態によれば、乗員の種別を所定の対象者範囲に直接対応付けることができ、乗員の検出効率を向上させることができる。
可能な一実施形態では、前記方法は、車両の地理位置情報を取得することと、前記地理位置情報に対応する乗車エリア制限情報に基づいて、前記所定の対象者範囲に対応する所定の年齢閾値を調整することと、をさらに含み、前記乗車エリア制限情報は、所定の対象者範囲に対応する所定の年齢閾値と非許可乗車エリアとの間の制限用対応関係を含む。ここで、車両の地理位置情報は、GPS(Global Positioning System、全地球測位システム)によって取得するか、または運転者等のユーザーが手動で設定してもよい。
例えば、A市で12歳未満の児童乗員の非許可乗車エリアは車室の前部座席エリアであり、4歳未満の児童乗員の非許可乗車エリアは車室の前部座席エリアまたは非セーフティシートエリアである。B市で14歳未満の児童乗員の非許可乗車エリアは車室の前部座席エリアであり、5歳未満の児童乗員の非許可乗車エリアは車室の前部座席エリアまたは非セーフティシートエリアである。車両の地理位置情報に基づいて、車両がA市にあると判定されると、第1所定の年齢閾値を12歳に調整し、第2所定の年齢閾値を4歳に調整してもよい。車両の地理位置情報に基づいて、車両がB市にあると判定されると、第1所定の年齢閾値を14歳に調整し、第2所定の年齢閾値を5歳に調整してもよい。
該実施形態によれば、車両が位置する地域の交通法規に応じて所定の年齢閾値を調整することにより、調整後の所定の年齢閾値を現地の交通法規に合致させることができる。これにより、異なる地域毎に年齢閾値を適当的に調整することを実現する。
可能な一実施形態では、注意喚起情報を生成した後に、前記対象乗員の実際の年齢情報を含むユーザーフィードバック情報を取得することと、前記ユーザーフィードバック情報に基づいて、前記対象乗員の顔情報と前記対象乗員の実際の年齢情報との間の対応関係を記憶することと、をさらに含む。
該実施形態の一例としては、前記実際の年齢情報は、精確な年齢情報を含んでもよい。例えば、前記実際の年齢情報は、生年月日を含んでもよい。また、例えば、前記実際の年齢情報は、4歳2ヶ月のような精確な年の数を含んでもよい。該実施形態の別の一例として、前記実際の年齢情報は、例えば、4歳より上、4歳未満、12歳より上等のようなおおよその年齢情報を含んでもよい。該実施形態の一例としては、車載インフォテインメントによってユーザーフィードバック情報を取得してもよい。該実施形態の別の一例として、ユーザー端末からのユーザーフィードバック情報を取得してもよい。該実施形態では、前記対象乗員の顔情報は前記対象乗員の顔画像、顔特徴、身分情報のうちの少なくとも一つを含んでもよい。
該実施形態では、ユーザーフィードバック情報を取得し、前記ユーザーフィードバック情報に基づいて、前記対象乗員の顔情報と前記対象乗員の実際の年齢情報との間の対応関係を記憶することによって、その以降で前記対象乗員が検出された場合に、前記対象乗員の実際の年齢情報に基づいて、さらに、前記対象乗員の乗車エリアが、前記対象乗員が属する所定の対象者範囲に対する非許可乗車エリアに該当するか否かを判断することができ、その結果、より正確なマッチング結果を得ることができる。
可能な一実施形態では、前記方法は、前記対象乗員の実際の年齢情報と検出された年齢情報との不一致に応じて、前記対象乗員が属する所定の対象者範囲に対応する所定の年齢閾値を調整することをさらに含む。
該実施形態では、検出された前記対象乗員の年齢情報とは、前記画像に基づいて前記対象乗員に対して年齢検出を行って得られる年齢情報を指してもよい。
例えば、前記対象乗員の実際の年齢情報に基づいて前記対象乗員の実際の年齢が4歳であると特定され、検出された前記対象乗員の年齢情報が5歳である場合、前記対象乗員が属する所定の対象者範囲に対応する所定の年齢閾値(例えば、第2所定の年齢閾値)を5歳に調整してもよい。
該実施形態の一例としては、前記対象乗員の実際の年齢情報と検出された年齢情報との不一致に応じて、前記対象乗員が属する所定の対象者範囲に対応する所定の年齢閾値を自動調整するようにしてもよい。該実施形態の別の一例として、前記対象乗員の実際の年齢情報と検出された年齢情報との不一致に応じて、前記対象乗員が属する所定の対象者範囲に対応する所定の年齢閾値を調整するかの確認をユーザー(例えば、運転者)に要求し、ユーザー確認命令を受信したことに応じて、前記対象乗員が属する所定の対象者範囲に対応する所定の年齢閾値を調整するようにしてもよい。
該実施形態では、前記対象乗員の実際の年齢情報と検出された年齢情報との不一致に応じて、前記対象乗員が属する所定の対象者範囲に対応する所定の年齢閾値を調整することによって、年齢検出の結果に誤差がある場合でも実際の年齢に対応する非許可乗車エリアに基づいてタイムリーに検出及び注意喚起を行うことができ、対象乗員の乗車安全性をさらに向上させることに寄与する。
可能な一実施形態では、前記方法は、年齢閾値調整要求を取得することと、前記年齢閾値調整要求に基づいて、前記所定の対象者範囲に対応する所定の年齢閾値を調整することとをさらに含む。該実施形態では、年齢閾値調整要求を取得し、前記年齢閾値調整要求に基づいて、前記所定の対象者範囲に対応する所定の年齢閾値を調整することによって、ユーザーが実際の需要に応じて前記所定の対象者範囲に対応する所定の年齢閾値を柔軟に調整することができ、前記所定の対象者範囲に属する対象乗員の乗車安全性をさらに向上させることに寄与する。
該実施形態の一例としては、車載インフォテインメントによって年齢閾値調整要求を取得し、前記年齢閾値調整要求に基づいて、前記所定の対象者範囲に対応する所定の年齢閾値を調整するようにしてもよい。この例によれば、ユーザーが車載インフォテインメントによって前記所定の対象者範囲に対応する所定の年齢閾値を柔軟に調整することができる。
該実施形態の別の一例として、ユーザー端末からの年齢閾値調整要求を取得し、前記年齢閾値調整要求に基づいて、前記所定の対象者範囲に対応する所定の年齢閾値を調整するようにしてもよい。例えば、ユーザー端末は、車両所有者の携帯電話、タブレット等であってもよい。この例によれば、ユーザーはユーザー端末によって前記所定の対象者範囲に対応する所定の年齢閾値を柔軟に調整することができる。
該実施形態の一例としては、前記した、前記年齢閾値調整要求に基づいて、前記所定の対象者範囲に対応する所定の年齢閾値を調整することは、前記年齢閾値調整要求に基づいて、調整確認要求を生成することと、前記調整確認要求に対応する確認命令を受信したことに応じて、前記年齢閾値調整要求に基づいて、前記所定の対象者範囲に対応する所定の年齢閾値を調整することと、を含んでもよい。この例では、前記調整確認要求は、所定の対象者範囲に対応する所定の年齢閾値を調整するリスクを、ユーザーに知らせるためのものであってもよい。
本開示で言及された上記各方法の実施例は、原理や論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解され、紙幅に限りがあるので、本開示では詳細な説明を省略する。また、当業者であれば、具体的な実施形態による上記方法では、各ステップの実行順序は、その機能と可能な内部論理によって具体的に決定されるべきであることが理解される。
図2は、本開示の実施例の一適用シーンの模式図を示す。図2に示すように、OMSカメラによって情報を収集してもよく、前記OMSカメラにより収集される情報は車室内の画像を含んでもよい。プロセッサは、前記OMSカメラから前記車室内の画像を取得してもよい。前記プロセッサは前記車室内の画像に基づいて、前記車室内に12歳未満の児童乗員がいるか否かを検出してもよい。前記車室内には12歳未満の児童乗員がいなければ、警告しなくてもよい。前記車室内に12歳未満の児童乗員がいれば、前記車室内に4歳未満の児童乗員がいるか否かを検出してもよい。前記車室内に4歳未満の児童乗員がいなければ、すなわち、前記車室内の児童乗員が4歳以上かつ12歳未満であれば、前記12歳未満の児童乗員が前部助手席位置にいるか否かを判断してもよい。Noであれば、警告しない。Yesであれば、警告する。前記車室内に4歳未満の児童乗員がいれば、前記4歳未満の児童乗員が後部座席セーフティシートにいるか否かを判断する。Yesであれば、警告しない。Noであれば、警告する。図2において、警告とは注意喚起情報を生成することを指してもよい。
図3は、本開示の実施例の別の適用シーンの模式図を示す。図3に示すように、OMSカメラ及び/またはDMSカメラによって情報を収集してもよく、前記OMSカメラ及び/または前記DMSカメラにより収集される情報は車室内の画像を含んでもよい。プロセッサは、前記OMSカメラ及び/または前記DMSカメラから前記車室内の画像を取得してもよい。前記プロセッサは前記車室内の画像に基づいて、運転席位置に18歳未満の未成年者がいるか否かを検出してもよい。Yesであれば、警告する。Noであれば、警告しない。図3において、警告とは注意喚起情報を生成することを指してもよい。
さらに、本開示では、車室内の乗員検出装置、電子機器、コンピュータ読取可能な記憶媒体、プログラムを提供する。これらは、いずれも本開示による車室内乗員検出方法のいずれか1つを実現するために用いられることができ、対応する技術的手段及び効果は、方法部分の対応記載を参照すればよく、詳細な説明を省略する。
図4は、本開示の実施例による車室内乗員検出装置のブロック図を示す。図4に示すように、前記車室内乗員検出装置は、車室内の画像を取得するための第1取得モジュール41と、前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出するための検出モジュール42と、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成するための生成モジュール43と、を含む。
可能な一実施形態では、前記所定の対象者範囲に属する対象乗員は、児童乗員を含み、前記生成モジュール43は、前記児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することに用いられる。
可能な一実施形態では、前記所定の対象者範囲に属する対象乗員は、第1所定の年齢閾値未満の児童乗員、第2所定の年齢閾値未満の児童乗員、第3所定の年齢閾値未満の児童乗員の少なくとも一つを含み、前記生成モジュール43は、前記第1所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成すること、前記第1所定の年齢閾値よりも小さい前記第2所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアまたは非セーフティシートエリアであることが検出されたことに応じて、注意喚起情報を生成すること、及び、前記第1所定の年齢閾値よりも大きい前記第3所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部運転席エリアであることが検出されたことに応じて、注意喚起情報を生成すること、の少なくとも一つを実行することに用いられる。
可能な一実施形態では、前記所定の対象者範囲に属する対象乗員は、第4所定の年齢閾値に達した乗員を含み、前記生成モジュール43は、前記第4所定の年齢閾値に達した乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することに用いられる。
可能な一実施形態では、前記所定の対象者範囲に属する対象乗員は、所定の年齢閾値制限条件を満たす年齢の乗員を含み、前記検出モジュール42は、前記画像に基づいて、前記車室内の乗員の年齢を検出することと、前記乗員の年齢と前記所定の年齢閾値制限条件とのマッチング結果に基づいて、前記乗員が所定の対象者範囲に属する対象乗員であるか否かを判定することと、前記乗員が前記対象乗員であることに応じて、前記乗員の乗車エリアを検出することと、に用いられる。
可能な一実施形態では、前記検出モジュール42は、前記画像における顔エリアに基づいて車室内の乗員の年齢を検出して、前記車室内の乗員の年齢を得ることに用いられる。
可能な一実施形態では、前記検出モジュール42は、前記画像に基づいて、前記車室内の乗員の顔情報を取得することと、予め取得した乗員情報データから、マッチングにより、前記乗員の顔情報に対応する実際の年齢情報が得られたことに応じて、前記乗員の顔情報に対応する実際の年齢情報に基づいて、前記乗員の年齢を特定することと、に用いられる。
可能な一実施形態では、前記装置は、車両の地理位置情報を取得するための第2取得モジュールと、前記地理位置情報に対応する乗車エリア制限情報に基づいて、前記所定の対象者範囲に対応する所定の年齢閾値を調整するための第1調整モジュールと、をさらに含み、前記乗車エリア制限情報は、所定の対象者範囲に対応する所定の年齢閾値と非許可乗車エリアとの間の制限用対応関係を含む。
可能な一実施形態では、前記装置は、前記対象乗員の実際の年齢情報を含むユーザーフィードバック情報を取得するための第3取得モジュールと、前記ユーザーフィードバック情報に基づいて、前記対象乗員の顔情報と前記対象乗員の実際の年齢情報との間の対応関係を記憶するための記憶モジュールと、をさらに含む。
可能な一実施形態では、前記装置は、前記対象乗員の実際の年齢情報と検出された年齢情報との不一致に応じて、前記対象乗員が属する所定の対象者範囲に対応する所定の年齢閾値を調整するための第2調整モジュールをさらに含む。
可能な一実施形態では、前記装置は、年齢閾値調整要求を取得するための第4取得モジュールと、前記年齢閾値調整要求に基づいて、前記所定の対象者範囲に対応する所定の年齢閾値を調整するための第3調整モジュールと、をさらに含む。
本開示の実施例では、車室内の画像を取得し、前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出し、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することによって、乗員の乗車安全性を向上させることができる。
いくつかの実施例では、本開示の実施例による装置が有する機能またはモジュールは、上述した方法の実施例に説明される方法を実行するために用いられることができ、その具体的な実現及び技術的効果については、上述した方法の実施例の説明を参照すればよく、簡素化のために、ここでは詳細な説明を省略する。
本開示の実施例では、さらに、コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上記方法を実現させるコンピュータ読取可能な記憶媒体を提供する。前記コンピュータ読取可能な記憶媒体は、不揮発性のコンピュータ読取可能な記憶媒体であってもよく、または揮発性のコンピュータ読取可能な記憶媒体であってもよい。
本開示の実施例では、さらに、コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードが電子機器において動作すると、前記電子機器のプロセッサが上記方法を実現させるための命令を実行する、コンピュータプログラムを提供する。
本開示の実施例では、さらに、コンピュータ読取可能な命令を記憶するためのコンピュータプログラム製品であって、命令が実行されると、コンピュータに上記実施例のいずれか1つによる車室内乗員検出方法の操作を実行させる別のコンピュータプログラム製品を提供する。
本開示の実施例では、さらに、1つ以上のプロセッサと、実行可能な命令を記憶するためのメモリとを備え、前記1つ以上のプロセッサは、前記メモリに記憶されている実行可能な命令を呼び出して上記方法を実行するように構成される電子機器を提供する。
電子機器は、端末、サーバ又は他の形態の装置として提供されてもよい。前記電子機器は、車室内の車載インフォテインメントまたはドメイン・コントローラであってもよく、OMSまたはDMSにおける画像等のデータ処理操作を実行するための機器ホスト等であってもよい。
図5は、本開示の実施例による電子機器800のブロック図を示す。例えば、電子装置800は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。
図5を参照すると、電子機器800は、処理コンポーネント802、メモリ804、電源コンポーネント806、マルチメディアコンポーネント808、オーディオコンポーネント810、入力/出力(I/O)インタフェース812、センサコンポーネント814、及び通信コンポーネント816のうちの一つ以上を含んでもよい。
処理コンポーネント802は、通常、電子機器800の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作及び記録動作に関連する動作を制御する。処理コンポーネント802は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ820を含んでもよい。また、処理コンポーネント802は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント802は、マルチメディアコンポーネント808とのインタラクションのためにマルチメディアモジュールを含んでもよい。
メモリ804は、電子機器800での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器800において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ804は、例えば静的ランダムアクセスメモリ(SRAM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、消去可能なプログラマブル読み取り専用メモリ(EPROM)、プログラマブル読み取り専用メモリ(PROM)、読み取り専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性の記憶装置またはそれらの組み合わせによって実現できる。
電源コンポーネント806は、電子機器800の各コンポーネントに電力を供給する。電源コンポーネント806は、電源管理システム、一つ以上の電源、及び電子機器800のための電力生成、管理及び配分に関連する他のコンポーネントを含んでもよい。
マルチメディアコンポーネント808は、前記電子機器800とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは、液晶ディスプレイ(LCD)及びタッチパネル(TP)を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライド及びタッチパネルでのジェスチャーを検出するように、一つ以上のタッチセンサを含む。前記タッチセンサは、タッチまたはスライド操作の境界だけではなく、前記タッチまたはスライド操作に関連する持続時間及び圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント808は、前面カメラ及び/または背面カメラを含む。電子機器800が動作モード、例えば撮影モードまたは撮像モードになると、前面カメラ及び/または背面カメラは、外部のマルチメディアデータを受信するようにしてもよい。各前面カメラ及び背面カメラは、固定された光学レンズ系、または焦点距離及び光学ズーム能力を有するものであってもよい。
オーディオコンポーネント810は、オーディオ信号を出力及び/または入力するように構成される。例えば、オーディオコンポーネント810は、一つのマイク(MIC)を含み、マイク(MIC)は、電子機器800が動作モード、例えば呼び出しモード、記録モードまたは音声認識モードになると、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号は、さらにメモリ804に記憶されるか、または通信コンポーネント816を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント810は、オーディオ信号を出力するためのスピーカーをさらに含む。
I/Oインタフェース812は、処理コンポーネント802と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホームボタン、ボリュームボタン、スタートボタン及びロックボタンを含んでもよいが、これらに限らない。
センサコンポーネント814は、電子機器800の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント814は、電子機器800のオン/オフ状態、例えば電子機器800の表示装置及びキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント814は、さらに、電子機器800または電子機器800のあるコンポーネントの位置の変化、ユーザと電子機器800との接触の有無、電子機器800の方位または加減速及び電子機器800の温度変化を検出できる。センサコンポーネント814は、いかなる物理的接触もなしに近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント814は、相補型金属酸化膜半導体(CMOS)または電荷結合素子(CCD)イメージセンサのような、イメージングアプリケーションにおいて使用するための光センサをさらに含んでもよい。いくつかの実施例では、該センサコンポーネント814は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサをさらに含んでもよい。
通信コンポーネント816は、電子機器800と他の機器との間の有線または無線通信を実現するように構成される。電子機器800は、例えばワイヤレスネットワーク(WiFi)、第2世代移動通信技術(2G)、第3世代移動通信技術(3G)、第4世代移動通信技術(4G)/汎用移動通信技術の長期的な進化(LTE)、第5世代移動通信技術(5G)、またはそれらの組み合わせのような、通信規格に基づく無線ネットワークにアクセスできる。例示的一実施例では、通信コンポーネント816は、放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。例示的一実施例では、前記通信コンポーネント816は、近距離通信を促進させるために、近距離無線通信(NFC)モジュールをさらに含む。例えば、NFCモジュールは、無線周波数識別(RFID)技術、赤外線データ協会(IrDA)技術、超広帯域(UWB)技術、ブルートゥース(登録商標)(BT)技術及び他の技術によって実現できる。
例示的な実施例では、電子機器800は、一つ以上の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタルシグナルプロセッサ(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
例示的な実施例では、さらに、不揮発性のコンピュータ読取可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ804が提供され、上記コンピュータプログラム命令は電子機器800のプロセッサ820によって実行されると、上記方法を実行させることができる。
図6は、本開示の実施例による電子機器1900のブロック図を示す。例えば、電子機器1900は、サーバとして提供されてもよい。図6を参照すると、電子機器1900は、一つ以上のプロセッサを含む処理コンポーネント1922、及び、処理コンポーネント1922によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ1932を代表とするメモリ資源を含む。メモリ1932に記憶されているアプリケーションプログラムは、それぞれが1つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント1922は、命令を実行することによって上記方法を実行するように構成される。
電子機器1900はさらに、電子機器1900の電源管理を実行するように構成される電源コンポーネント1926、電子機器1900をネットワークに接続するように構成される有線または無線ネットワークインタフェース1950、及び入出力(I/O)インタフェース1958を含んでもよい。電子機器1900は、メモリ1932に記憶されているオペレーティングシステム、例えばマイクロソフトサーバオペレーティングシステム(Windows Server(登録商標))、アップル社製グラフィカルユーザーインターフェースによるオペレーティングシステム(Mac OS X(登録商標))、マルチユーザ及びマルチプロセスのコンピュータオペレーティングシステム(Unix(登録商標))、フリーでオープンソースのUnixライクなオペレーティングシステム(Linux(登録商標))、オープンソースのUnixライクなオペレーティングシステム(FreeBSD(登録商標))または類似するものに基づいて動作できる。
例示的な実施例では、さらに、不揮発性のコンピュータ読取可能な記憶媒体、例えばコンピュータプログラム命令を含むメモリ1932が提供され、上記コンピュータプログラム命令は、電子機器1900の処理コンポーネント1922によって実行されると、上記方法を実行させることができる。
本開示は、システム、方法および/またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ読取可能なプログラム命令を有するコンピュータ読取可能な記憶媒体を含んでもよい。
コンピュータ読取可能な記憶媒体は、命令実行装置に使用される命令を保存及び記憶可能な有形装置であってもよい。コンピュータ読取可能な記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適当な組み合わせであってもよいが、これらに限らない。コンピュータ読取可能な記憶媒体のさらなる具体的な例(非網羅的リスト)としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROMまたはフラッシュメモリ)、静的ランダムアクセスメモリ(SRAM)、携帯型コンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、及び上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読取可能な記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を介して伝播される電磁波(例えば、光ファイバーケーブルを通過するパルス光)、または電線を介して伝送される電気信号と解釈されるものではない。
ここで記述したコンピュータ読取可能なプログラム命令は、コンピュータ読取可能な記憶媒体から各計算/処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワーク及び/または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは、銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータ及び/またはエッジサーバを含んでもよい。各計算/処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ読取可能なプログラム命令を受信し、該コンピュータ読取可能なプログラム命令を転送し、各計算/処理機器内のコンピュータ読取可能な記憶媒体に記憶させる。
本開示の動作を実行するためのコンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ(ISA)命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、C++などのオブジェクト指向プログラミング言語、及び「C」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読取可能なプログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む任意の種類のネットワークを介してユーザのコンピュータに接続されてもよく、または、(例えばインターネットサービスプロバイダを利用してインターネットを介して)外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読取可能なプログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)またはプログラマブル論理アレイ(PLA)などの電子回路をパーソナライズし、該電子回路によりコンピュータ読取可能なプログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。
ここで本開示の実施例に係る方法、装置(システム)及びコンピュータプログラム製品のフローチャート及び/またはブロック図を参照しながら本開示の各態様を説明したが、フローチャート及び/またはブロック図の各ブロック、及びフローチャート及び/またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読取可能なプログラム命令によって実現できることを理解すべきである。
これらのコンピュータ読取可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャート及び/またはブロック図の一つ以上のブロックにおいて指定された機能/動作を実現させるように、装置を製造してもよい。これらのコンピュータ読取可能なプログラム命令は、コンピュータ読取可能な記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置及び/または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ読取可能な記憶媒体は、フローチャート及び/またはブロック図の一つ以上のブロックにおいて指定された機能/動作の各方面を実現する命令を有する製品を含む。
コンピュータ読取可能なプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施可能なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャート及び/またはブロック図の一つ以上のブロックにおいて指定された機能/動作を実現する。
図面のうちのフローチャート及びブロック図は、本開示の複数の実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能な命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、連続的な二つのブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図及び/またはフローチャートにおける各ブロック、及びブロック図及び/またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
該コンピュータプログラム製品は、ハードウェア、ソフトウェア、またはそれらの組み合わせによって具体的に実現することができる。選択可能な実施例では、前記コンピュータプログラム製品は、コンピュータ記憶媒体として具体化される。別の選択可能な実施例では、コンピュータプログラム製品は、ソフトウェア開発キット(Software Development Kit、SDK)などのソフトウェア製品として具体化される。
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲及び精神から逸脱することなく、様々な修正及び変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本明細書に披露された各実施例を理解させるためのものである。

Claims (15)

  1. 車室内の画像を取得することと、
    前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出することと、
    前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成し、
    前記所定の対象者範囲に属する対象乗員は、児童乗員を含み、
    前記した、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することは、
    前記児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することを含む、車室内乗員検出方法。
  2. 前記した、前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出することは、
    いずれかの乗車エリアについて、前記画像に基づいて、該乗車エリアに対応する画像エリアを特定し、該乗車エリアに対応する画像エリアにおいて、所定の対象者範囲に属する対象乗員が存在するか否かを検出することと、
    予め車室内空間を複数の乗車エリアに区画し、車室内の画像に対応する画像座標系における対象乗員の画像座標、及び画像座標と乗車エリアとの対応関係に基づいて、前記対象乗員の乗車エリアを特定するか、又は、車室内の画像に対応する画像座標系における対象乗員の画像座標の範囲、及び画像座標範囲と乗車エリアとの対応関係に基づいて、前記対象乗員の乗車エリアを特定することと、
    予め車室内空間を複数の乗車エリアに区画し、車室内の画像に対応する画像座標系における対象乗員の画像座標、及び画像座標系と車室内の空間座標系とのマッピング関係に基づいて、前記空間座標系における対象乗員の空間座標を特定して、また、前記空間座標系における対象乗員の空間座標、及び空間座標と乗車エリアとの対応関係に基づいて、前記対象乗員の乗車エリアを特定するか、又は、車室内の画像に対応する画像座標系における対象乗員の画像座標範囲、及び画像座標系と車室内の空間座標系とのマッピング関係に基づいて、前記空間座標系における対象乗員の空間座標範囲を特定して、また、前記空間座標系における対象乗員の空間座標範囲、及び空間座標範囲と乗車エリアとの対応関係に基づいて、前記対象乗員の乗車エリアを特定すること、
    の一つまたは複数を含むことを特徴とする請求項1に記載の車室内乗員検出方法。
  3. 前記所定の対象者範囲に属する対象乗員は、第1所定の年齢閾値未満の児童乗員、第2所定の年齢閾値未満の児童乗員、第3所定の年齢閾値未満の児童乗員の少なくとも一つを含み、
    前記した、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することは、
    前記第1所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成すること、
    前記第1所定の年齢閾値よりも小さい前記第2所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部座席エリアまたは非セーフティシートエリアであることが検出されたことに応じて、注意喚起情報を生成すること、及び、
    前記第1所定の年齢閾値よりも大きい前記第3所定の年齢閾値未満の児童乗員の乗車エリアが車室の前部運転席エリアであることが検出されたことに応じて、注意喚起情報を生成すること、の少なくとも一つを含むことを特徴とする請求項1または2に記載の車室内乗員検出方法。
  4. 前記所定の対象者範囲に属する対象乗員は、第4所定の年齢閾値に達した乗員を含み、
    前記した、前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成することは、
    前記第4所定の年齢閾値に達した乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することを含むことを特徴とする請求項1~3のいずれか一項に記載の車室内乗員検出方法。
  5. 前記所定の対象者範囲に属する対象乗員は、所定の年齢閾値制限条件を満たす年齢の乗員を含み、
    前記した、前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出することは、
    前記画像に基づいて、前記車室内の乗員の年齢を検出することと、
    前記乗員の年齢と前記所定の年齢閾値制限条件とのマッチング結果に基づいて、前記乗員が所定の対象者範囲に属する対象乗員であるか否かを判定することと、
    前記乗員が前記対象乗員であることに応じて、前記乗員の乗車エリアを検出することと、を含むことを特徴とする請求項1~4のいずれか一項に記載の車室内乗員検出方法。
  6. 前記した、前記画像に基づいて、前記車室内の乗員の年齢を検出することは、
    前記画像における顔エリアに基づいて車室内の乗員の年齢を検出して、前記車室内の乗員の年齢を得ることを含むことを特徴とする請求項5に記載の車室内乗員検出方法。
  7. 前記した、前記画像に基づいて、前記車室内の乗員の年齢を検出することは、
    前記画像に基づいて、前記車室内の乗員の顔情報を取得することと、
    予め取得した乗員情報データから、マッチングにより、前記乗員の顔情報に対応する実際の年齢情報が得られたことに応じて、前記乗員の顔情報に対応する実際の年齢情報に基づいて、前記乗員の年齢を特定することと、を含むことを特徴とする請求項5に記載の車室内乗員検出方法。
  8. 車両の地理位置情報を取得することと、
    前記地理位置情報に対応する乗車エリア制限情報に基づいて、前記所定の対象者範囲に対応する所定の年齢閾値を調整することと、をさらに含み、
    前記乗車エリア制限情報は、所定の対象者範囲に対応する所定の年齢閾値と非許可乗車エリアとの間の制限用対応関係を含むことを特徴とする請求項1~7のいずれか一項に記載の車室内乗員検出方法。
  9. 注意喚起情報を生成した後に、
    前記対象乗員の実際の年齢情報を含むユーザーフィードバック情報を取得することと、
    前記ユーザーフィードバック情報に基づいて、前記対象乗員の顔情報と前記対象乗員の実際の年齢情報との間の対応関係を記憶することと、をさらに含むことを特徴とする請求項1~8のいずれか一項に記載の車室内乗員検出方法。
  10. 前記対象乗員の実際の年齢情報と検出された年齢情報との不一致に応じて、前記対象乗員が属する所定の対象者範囲に対応する所定の年齢閾値を調整することをさらに含むことを特徴とする請求項1~9のいずれか一項に記載の車室内乗員検出方法。
  11. 年齢閾値調整要求を取得することと、
    前記年齢閾値調整要求に基づいて、前記所定の対象者範囲に対応する所定の年齢閾値を調整することと、をさらに含むことを特徴とする請求項1~10のいずれか一項に記載の車室内乗員検出方法。
  12. 車室内の画像を取得するための第1取得モジュールと、
    前記画像に基づいて、前記車室内の、所定の対象者範囲に属する対象乗員の乗車エリアを検出するための検出モジュールと、
    前記対象乗員の乗車エリアが前記所定の対象者範囲に対する非許可乗車エリアに該当することが検出されたことに応じて、注意喚起情報を生成するための生成モジュールとを含み、
    前記所定の対象者範囲に属する対象乗員は、児童乗員を含み、
    前記生成モジュールは、前記児童乗員の乗車エリアが車室の前部座席エリアであることが検出されたことに応じて、注意喚起情報を生成することを特徴とする車室内乗員検出装置。
  13. 1つ以上のプロセッサと、
    実行可能な命令を記憶するためのメモリとを備え、
    前記1つ以上のプロセッサは、
    前記メモリに記憶されている実行可能な命令を呼び出して、請求項1~11のいずれか一項に記載の車室内乗員検出方法を実行するように構成されることを特徴とする電子機器。
  14. コンピュータプログラム命令が記憶されているコンピュータ読取可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、請求項1~11のいずれか一項に記載の車室内乗員検出方法を実現させることを特徴とするコンピュータ読取可能な記憶媒体。
  15. コンピュータ読取可能なコードを含むコンピュータプログラムであって、前記コンピュータ読取可能なコードが電子機器において動作すると、前記電子機器のプロセッサが請求項1~11のいずれか一項に記載の車室内乗員検出方法を実現させるための命令を実行することを特徴とするコンピュータプログラム。
JP2023535785A 2020-08-31 2021-03-02 車室内乗員検出方法及び装置、電子機器並びに記憶媒体 Active JP7526897B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010896370.3A CN112001348A (zh) 2020-08-31 2020-08-31 车舱内的乘员检测方法及装置、电子设备和存储介质
CN202010896370.3 2020-08-31
PCT/CN2021/078692 WO2022041670A1 (zh) 2020-08-31 2021-03-02 车舱内的乘员检测方法及装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
JP2023543339A JP2023543339A (ja) 2023-10-13
JP7526897B2 true JP7526897B2 (ja) 2024-08-01

Family

ID=73465790

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023535785A Active JP7526897B2 (ja) 2020-08-31 2021-03-02 車室内乗員検出方法及び装置、電子機器並びに記憶媒体

Country Status (3)

Country Link
JP (1) JP7526897B2 (ja)
CN (1) CN112001348A (ja)
WO (1) WO2022041670A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112001348A (zh) * 2020-08-31 2020-11-27 上海商汤临港智能科技有限公司 车舱内的乘员检测方法及装置、电子设备和存储介质
CN112667084B (zh) * 2020-12-31 2023-04-07 上海商汤临港智能科技有限公司 车载显示屏的控制方法及装置、电子设备和存储介质
CN113361361B (zh) * 2021-05-31 2023-04-07 上海商汤临港智能科技有限公司 与乘员交互的方法及装置、车辆、电子设备和存储介质
CN113486759B (zh) * 2021-06-30 2023-04-28 上海商汤临港智能科技有限公司 危险动作的识别方法及装置、电子设备和存储介质
CN113807169A (zh) * 2021-08-06 2021-12-17 上汽大众汽车有限公司 一种副驾驶位儿童检测预警方法及系统
CN113920492A (zh) * 2021-10-29 2022-01-11 上海商汤临港智能科技有限公司 车内人员检测方法及装置、电子设备和存储介质
CN114241426B (zh) * 2022-02-23 2022-05-06 北京奥康达体育产业股份有限公司 一种室外智能健身房管理系统
CN115035647B (zh) * 2022-06-16 2024-08-20 浙江树人学院 一种亲子高铁车厢系统及该系统使用方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110588562A (zh) 2019-09-27 2019-12-20 深圳市元征科技股份有限公司 一种儿童安全乘车提醒方法、装置、车载设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108394374A (zh) * 2018-04-26 2018-08-14 奇瑞汽车股份有限公司 乘车保护方法、装置及计算机可读存储介质
CN109711289B (zh) * 2018-12-13 2021-11-16 Oppo广东移动通信有限公司 乘车提醒方法、装置、电子设备和存储介质
CN111055731B (zh) * 2019-12-07 2022-04-08 浙江吉利汽车研究院有限公司 一种安全乘车的控制方法、装置及设备
CN111310650A (zh) * 2020-02-13 2020-06-19 上海眼控科技股份有限公司 车辆乘坐对象的分类方法、装置、计算机设备和存储介质
CN111439170B (zh) * 2020-03-30 2021-09-17 上海商汤临港智能科技有限公司 儿童状态检测方法及装置、电子设备、存储介质
CN112001348A (zh) * 2020-08-31 2020-11-27 上海商汤临港智能科技有限公司 车舱内的乘员检测方法及装置、电子设备和存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110588562A (zh) 2019-09-27 2019-12-20 深圳市元征科技股份有限公司 一种儿童安全乘车提醒方法、装置、车载设备及存储介质

Also Published As

Publication number Publication date
CN112001348A (zh) 2020-11-27
JP2023543339A (ja) 2023-10-13
WO2022041670A1 (zh) 2022-03-03

Similar Documents

Publication Publication Date Title
JP7526897B2 (ja) 車室内乗員検出方法及び装置、電子機器並びに記憶媒体
CN112037380B (zh) 车辆控制方法及装置、电子设备、存储介质和车辆
US10149132B2 (en) Pedestrial crash prevention system and operation method thereof
WO2021159630A1 (zh) 交通工具通勤控制方法及装置、电子设备、介质和车辆
WO2022041671A1 (zh) 方向盘脱手检测方法及装置、电子设备和存储介质
WO2023273064A1 (zh) 对象说话检测方法及装置、电子设备和存储介质
CN112026790B (zh) 车载机器人的控制方法及装置、车辆、电子设备和介质
CN111717083B (zh) 一种车辆交互方法和一种车辆
WO2023071174A1 (zh) 车内人员检测方法及装置、电子设备和存储介质
WO2023029406A1 (zh) 用于车辆的向救援呼叫中心发送乘员信息的方法及装置
WO2023273060A1 (zh) 危险动作的识别方法及装置、电子设备和存储介质
JP2023539250A (ja) 遺失物の通知方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN113488043B (zh) 乘员说话检测方法及装置、电子设备和存储介质
JP2022541703A (ja) 交通機関の制御方法及び装置、電子機器並びに記憶媒体
CN112667084B (zh) 车载显示屏的控制方法及装置、电子设备和存储介质
CN114407630A (zh) 车门控制方法及装置、电子设备和存储介质
CN112100445A (zh) 一种影像信息的处理方法及装置、电子设备和存储介质
CN114332941A (zh) 基于乘车对象检测的报警提示方法、装置及电子设备
WO2023071175A1 (zh) 关联车内的人和物的方法及装置、电子设备和存储介质
CN113911054A (zh) 车辆个性化配置方法及装置、电子设备和存储介质
CN112937479A (zh) 车辆控制方法及装置、电子设备和存储介质
CN114495072A (zh) 乘员状态检测方法及装置、电子设备和存储介质
CN113361361B (zh) 与乘员交互的方法及装置、车辆、电子设备和存储介质
CN116136900A (zh) 用于车辆的方法和装置、车载信息系统、存储介质和车辆
CN114495073A (zh) 方向盘脱手检测方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240722

R150 Certificate of patent or registration of utility model

Ref document number: 7526897

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150