JP2023545158A - 警告閾値調整方法及び装置、電子機器、並びに記憶媒体 - Google Patents

警告閾値調整方法及び装置、電子機器、並びに記憶媒体 Download PDF

Info

Publication number
JP2023545158A
JP2023545158A JP2023522416A JP2023522416A JP2023545158A JP 2023545158 A JP2023545158 A JP 2023545158A JP 2023522416 A JP2023522416 A JP 2023522416A JP 2023522416 A JP2023522416 A JP 2023522416A JP 2023545158 A JP2023545158 A JP 2023545158A
Authority
JP
Japan
Prior art keywords
driver
warning
behavior
behavior detection
detection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023522416A
Other languages
English (en)
Inventor
ダンチン シエン
ジュン ウー
イーチン ファン
イン タオ
リャン シュー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Lingang Jueying Intelligent Technology Co Ltd
Original Assignee
Shanghai Lingang Jueying Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Lingang Jueying Intelligent Technology Co Ltd filed Critical Shanghai Lingang Jueying Intelligent Technology Co Ltd
Publication of JP2023545158A publication Critical patent/JP2023545158A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18—Prevention or correction of operating errors
    • G08B29/20—Calibration, including self-calibrating arrangements
    • G08B29/24—Self-calibration, e.g. compensating for environmental drift or ageing of components
    • G08B29/26—Self-calibration, e.g. compensating for environmental drift or ageing of components by updating and storing reference thresholds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本開示は、運転者挙動検知の警告閾値調整方法及び装置、電子機器、並びに記憶媒体に関する。前記方法は、運転者の第１挙動検知結果に基づく誤警告の発生を示す誤警告フィードバック情報を受信することと、前記運転者の第１挙動検知結果を取得することと、前記誤警告フィードバック情報に基づいて、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整することと、を含む。【選択図】図１

Description

本開示は、インテリジェントドライブの技術分野に関し、特に運転者挙動検知の警告閾値調整方法及び装置、電子機器、並びに記憶媒体に関する。
ドライバ・モニタリング・システム（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ、ＤＭＳ）は、運転者の顔に向けられたカメラによって収集された画像によって、運転者の運転状態を識別することができる。運転者が注意散漫、疲労、電話掛け、水飲み又は喫煙などの危険な挙動をしていると識別した場合、運転者の安全な運転を確保するためにリアルタイムな警告を発することができる。
本開示は、運転者挙動検知の警告閾値調整の技術的手段を提供する。
本開示の一方面によれば、運転者の第１挙動検知結果に基づく誤警告の発生を示す誤警告フィードバック情報を受信することと、前記運転者の第１挙動検知結果を取得することと、前記誤警告フィードバック情報に基づいて、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整することと、を含む運転者挙動検知の警告閾値調整方法を提供する。
１つまたは複数の可能な実施形態では、前記した、前記誤警告フィードバック情報に基づいて、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整することは、前記誤警告フィードバック情報に応じて、ユーザに前記運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整するよう促す第１注意喚起情報を発することと、ユーザから前記第１注意喚起情報に応じて送信された警告パラメータ閾値調整指令を受信したことに応じて、前記運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整することと、を含む。
１つまたは複数の可能な実施形態では、前記運転者挙動検知の警告閾値調整方法は、前記運転者の第１挙動検知結果に対応する挙動種類を特定することをさらに含み、前記した、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整することは、運転者の第１挙動検知結果に対応する挙動種類の警告パラメータ閾値を調整することを含む。
１つまたは複数の可能な実施形態では、前記した、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整することは、運転者の第１挙動検知結果に対応する警告パラメータ閾値を所定の調整ステップ幅で増減させることを含む。
１つまたは複数の可能な実施形態では、前記運転者挙動検知の警告閾値調整方法は、前記誤警告のタイプを識別することをさらに含み、前記誤警告のタイプは、第１危険運転挙動を、挙動種類が前記第１危険運転挙動と異なる第２危険運転挙動と誤警告するタイプ、前記危険運転挙動が発生しない場合、警告を発するタイプ、の少なくとも１つを含む。
１つまたは複数の可能な実施形態では、誤警告フィードバック情報を受信した後に、さらに、運転者の所定挙動のビデオデータを含むものであって、前記誤警告をトリガーした第１ビデオデータを取得することと、前記第１ビデオデータを誤警告ビデオライブラリーに記憶することと、を含む。
１つまたは複数の可能な実施形態では、前記した、前記誤警告をトリガーした第１ビデオデータを取得することは、前記誤警告フィードバック情報が受信される前の所定期間内の前記第１ビデオデータを取得すること、又は、ユーザによって前記誤警告フィードバック情報を発する前に送信された前記第１ビデオデータを取得することを含む。
１つまたは複数の可能な実施形態では、前記運転者挙動検知の警告閾値調整方法は、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整した後に、さらに、運転者の前記所定挙動のビデオデータを含む第２ビデオデータを取得することと、前記第２ビデオデータ及び調整後の前記警告パラメータ閾値に基づいて、運転挙動を検知して第２挙動検知結果を得ることと、前記第２挙動検知結果に対する誤警告フィードバック情報を受信した場合、前記第２挙動検知結果に対応する警告パラメータ閾値を調整することと、を含む。
１つまたは複数の可能な実施形態では、少なくとも１つの所定種類の運転挙動に対応する警告パラメータ閾値を読み取ることをさらに含み、前記した、前記運転者の第１挙動検知結果を取得することは、前記運転者の運転挙動が属する所定種類である対象所定種類を特定することと、前記対象所定種類の運転挙動に対応する警告パラメータ閾値に基づいて、前記運転者の第１挙動検知結果を特定することと、を含む。
１つまたは複数の可能な実施形態では、前記した、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整することは、前記対象所定種類の運転挙動に対応する警告パラメータ閾値を調整することを含み、前記運転者挙動検知の警告閾値調整方法は、前記対象所定種類の運転挙動に対応する調整後の警告パラメータ閾値を記憶することをさらに含む。
１つまたは複数の可能な実施形態では、前記所定種類の運転挙動は、あくびの挙動と、目閉じの挙動と、頭振りの挙動との少なくとも１つを含み、前記あくびの挙動に対応する警告パラメータ閾値は、口開き幅閾値と、あくび継続時間閾値との少なくとも１つを含み、前記目閉じの挙動に対応する警告パラメータ閾値は、目閉じ幅閾値と、目閉じ継続時間閾値との少なくとも１つを含み、前記頭振りの挙動に対応する警告パラメータ閾値は、頭姿勢振り角閾値を含む。
本開示の一方面によれば、運転者の第１挙動検知結果に基づく誤警告の発生を示す誤警告フィードバック情報を受信する受信モジュールと、前記運転者の第１挙動検知結果を取得する取得モジュールと、前記誤警告フィードバック情報に基づいて、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整する調整モジュールと、を備える運転者挙動検知の警告閾値調整装置を提供する。
１つまたは複数の可能な実施形態では、前記調整モジュールは、前記誤警告フィードバック情報に応じて、ユーザに前記運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整するよう促す第１注意喚起情報を発し、ユーザから前記第１注意喚起情報に応じて送信された警告パラメータ閾値調整指令を受信したことに応じて、前記運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整する。
１つまたは複数の可能な実施形態では、前記運転者挙動検知の警告閾値調整装置は、前記運転者の第１挙動検知結果に対応する挙動種類を特定する特定モジュールをさらに備え、前記調整モジュールは、運転者の第１挙動検知結果に対応する挙動種類の警告パラメータ閾値を調整する。
１つまたは複数の可能な実施形態では、前記調整モジュールは、運転者の第１挙動検知結果に対応する警告パラメータ閾値を所定の調整ステップ幅で増減させる。
１つまたは複数の可能な実施形態では、前記運転者挙動検知の警告閾値調整装置は、前記誤警告のタイプを識別する識別モジュールをさらに備え、前記誤警告のタイプは、第１危険運転挙動を、挙動種類が前記第１危険運転挙動と異なる第２危険運転挙動と誤警告するタイプ、前記危険運転挙動が発生しない場合、警告を発するタイプ、の少なくとも１つを含む。
１つまたは複数の可能な実施形態では、運転者の所定挙動のビデオデータを含むものであって、前記誤警告をトリガーした第１ビデオデータを取得し、前記第１ビデオデータを誤警告ビデオライブラリーに記憶する記憶モジュールをさらに備える。
１つまたは複数の可能な実施形態では、前記記憶モジュールは、前記誤警告フィードバック情報が受信される前の所定期間内の前記第１ビデオデータを取得するか、又は、ユーザによって前記誤警告フィードバック情報を発する前に送信された前記第１ビデオデータを取得する。
１つまたは複数の可能な実施形態では、前記調整モジュールは、さらに、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整した後に、運転者の前記所定挙動のビデオデータを含む第２ビデオデータを取得し、前記第２ビデオデータ及び調整後の前記警告パラメータ閾値に基づいて、運転挙動を検知して第２挙動検知結果を得、前記第２挙動検知結果に対する誤警告フィードバック情報を受信した場合、前記第２挙動検知結果に対応する警告パラメータ閾値を調整する。
１つまたは複数の可能な実施形態では、少なくとも１つの所定種類の運転挙動に対応する警告パラメータ閾値を読み取る読み取りモジュールをさらに備え、前記取得モジュールは、前記運転者の運転挙動が属する所定種類である対象所定種類を特定し、前記対象所定種類の運転挙動に対応する警告パラメータ閾値に基づいて、前記運転者の第１挙動検知結果を特定する。
１つまたは複数の可能な実施形態では、前記調整モジュールは、前記対象所定種類の運転挙動に対応する警告パラメータ閾値を調整し、前記運転者挙動検知の警告閾値調整装置は、前記対象所定種類の運転挙動に対応する調整後の警告パラメータ閾値を記憶する記憶モジュールをさらに備える。
１つまたは複数の可能な実施形態では、前記所定種類の運転挙動は、あくびの挙動と、目閉じの挙動と、頭振りの挙動との少なくとも１つを含み、前記あくびの挙動に対応する警告パラメータ閾値は、口開き幅閾値と、あくび継続時間閾値との少なくとも１つを含み、前記目閉じの挙動に対応する警告パラメータ閾値は、目閉じ幅閾値と、目閉じ継続時間閾値との少なくとも１つを含み、前記頭振りの挙動に対応する警告パラメータ閾値は、頭姿勢振り角閾値を含む。
本開示の一方面によれば、プロセッサと、プロセッサにより実行可能な命令を記憶するメモリと、を含み、前記プロセッサは、前記メモリに記憶された命令を呼び出して、上記の運転者挙動検知の警告閾値調整方法を実行するように構成される電子機器を提供する。
本開示の一方面によれば、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上記の運転者挙動検知の警告閾値調整方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。
本開示の一方面によれば、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに上記の運転者挙動検知の警告閾値調整方法を実現するための命令を実行させるコンピュータプログラムを提供する。
本開示の実施例では、運転者の第１挙動検知結果に基づく誤警告の発生を示す誤警告フィードバック情報を受信し、その後、該運転者の第１挙動検知結果を取得し、誤警告フィードバック情報に応じて、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整することができる。このように、警告パラメータ閾値を調整することにより、運転挙動の検知精度を改善し、誤警告の発生を低減し、運転者の運転体験を向上させることができる。
なお、上述した概略的な説明及び次の詳細な説明は、例示的及び解釈的なものに過ぎず、本開示を限定するものではない。以下、図面を参考しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴及び方面は明瞭になる。
ここで、本明細書の一部として組み込まれる図面は、本開示の実施例に適し、明細書と共に本開示の技術的解決手段の説明に用いられる。
図１は、本開示の実施例に係る運転者挙動検知の警告閾値調整方法のフローチャートを示す。 図２は、本開示の実施例に係る運転者挙動検知の警告閾値調整方法の一例のフローチャートを示す。 図３は、本開示の実施例に係る運転者挙動検知の警告閾値調整装置のブロック図を示す。 図４は、本開示の実施例に係る電子機器の一例のブロック図を示す。 図５は、本開示の実施例に係る電子機器の一例のブロック図を示す。
以下、図面を参照しながら本開示の様々な例示的実施例、特徴及び態様を詳細に説明する。図面において、同じ符号は、機能が同じまたは類似する要素を表す。図面において実施例の様々な態様を示したが、特に明記されていない限り、図面は、必ずしも原寸に比例しているとは限らない。
ここでの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は、必ずしも他の実施例より好ましい又は優れたものであると解釈されるとは限らない。
本明細書における用語「及び／又は」は、関連対象との関連関係を記述するものであり、３つの関係が存在可能であることを示し、例えば、Ａ及び／又はＢは、Ａのみが存在し、ＡとＢの両方が存在し、Ｂのみが存在するという３つの場合を示してもよい。また、本明細書における用語「少なくとも１つ」は複数のうちのいずれか１つ、又は複数のうちの少なくとも２つの任意の組み合わせを示し、例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選択されたいずれか１つ又は複数の要素を含むことを示してもよい。
また、本開示をより良く説明するために、以下の具体的な実施形態には多くの具体的な細部が示されている。当業者であれば、本開示は、何らかの具体的な細部がなくても、同様に実施できることを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者によく知られている方法、手段、要素および回路について、詳細な説明を行わない。
かかる技術において、運転者が疲労、電話掛け、水飲み又は喫煙などの危険な挙動をしていることを検知した場合、運転者に安全運転するよう注意させるために、警告を発することができるが、運転者の個人差、運転挙動の検知精度、関連する警告パラメータ閾値の不合理な設定等の要素によって、誤警告が発生してしまう場合がある。誤警告の場合について、その後で各製造メーカーにフィードバックし、製造メーカーによりＤＭＳシステムを完備するのが一般的であるが、運転者のニーズは満たされ難かった。
本開示の実施例に係る運転者挙動検知の警告閾値調整の技術は、ＤＭＳシステム、自動運転又は補助運転システム、都市交通、交通移動などの場面に適用できる。例えば、ＤＭＳシステムが運転者の大笑いの挙動をあくびという疲労挙動と誤警告した場合、運転者は、誤警告ボタンを押すことができ、ＤＭＳシステムは、あくびの挙動の警告パラメータ閾値を上げて、大笑いの挙動を正常の運転挙動として分類することにより、ＤＭＳシステムの誤警告の発生状況を改善し、運転者の運転体験を向上させることができる。いくつかの実施形態では、今後の再利用及び比較を容易にするように、調整された警告パラメータ閾値及びビデオデータをローカルまたはクラウドに記憶してもよい。
本開示の実施例に係る運転者挙動検知の警告閾値調整方法は、端末装置、サーバーまたは他の種類の電子機器により実行されてもよい。ここで、端末装置は、ユーザ側装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ）、携帯機器、ユーザ端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ、ＰＤＡ）、手持ちの機器、計算装置、車載装置またはウエアラブル装置等であってもよい。いくつかの可能な実施形態では、この運転者挙動検知の警告閾値調整方法は、プロセッサによってメモリに記憶されているコンピュータ読み取り可能な命令を呼び出すことにより実現してもよい。又は、前記方法は、サーバーにより実行してもよい。
図１は、本開示の実施例に係る運転者挙動検知の警告閾値調整方法のフローチャートを示す。図１に示すように、前記運転者挙動検知の警告閾値調整方法は、ステップＳ１１～ステップＳ１３を含む。
ステップＳ１１において、誤警告フィードバック情報を受信する。
本開示の実施例では、電子機器は、誤警告フィードバック情報を受信することができ、誤警告フィードバック情報は、運転者の第１挙動検知結果に基づく誤警告の発生を示すことができる。運転者が車両を運転している中では、運転者に対して収集した第１ビデオデータを取得し、第１ビデオデータに基づいて、運転者の運転挙動を検知して第１挙動検知結果を得ることができる。第１挙動検知結果は、運転挙動の挙動種類、挙動パラメータ、危険運転挙動に該当するかどうか等の情報を含んでもよい。危険運転挙動は、運転者が運転中で行われる安全運転に影響を及ぼす挙動であってもよく、例えば、あくびの挙動、目閉じの挙動等はいずれも危険運転挙動に該当すると判断してもよい。第１挙動検知結果として危険運転挙動である場合、警告を発することができる。該警告が誤警告である場合、つまり、該警告に誤りがある場合、ユーザ（例えば、運転者）は、予め設定された操作の実行によって電子機器に該誤警告をフィードバックすることができる。例えば、誤警告ボタンを押すという所定操作によって電子機器に該誤警告をフィードバックすることができる。いくつかの実施形態では、ユーザ（例えば、運転者）は、予め設定された音声又は予め設定されたジェスチャー等によって電子機器に該誤警告をフィードバックしてもよい。本開示は、誤警告フィードバック情報の具体的なトリガー方法について制限しない。
いくつかの実施形態では、誤警告フィードバック情報を受信した後に、さらに誤警告のタイプを識別してもよい。例えば、誤警告フィードバック情報は、誤警告のタイプを識別する情報を持ってもよい。誤警告フィードバック情報に基づいて誤警告のタイプを識別することができる。誤警告のタイプは、警告内容の誤りや警告時間の誤り等の具体的状況に応じて予め定義することができる。選択可能な形態として、ここで、誤警告のタイプは、第１危険運転挙動を、挙動種類がこの第１危険運転挙動と異なる第２危険運転挙動と誤警告するタイプ、危険運転挙動が発生しない場合、警告を発するタイプの少なくとも１つを含んでもよい。例を挙げると、目閉じの挙動（第１危険運転挙動）をあくびの挙動（第２危険運転挙動）と誤警告する。又は、運転者の正常運転の場合に警告を発する（つまり、危険運転挙動が発生しない場合に警告を発する）。危険運転挙動は、目閉じの挙動、あくびの挙動、喫煙の挙動、水飲みの挙動、電話掛けの挙動のうちの１つ又は複数を含むが、これらに限らない。誤警告のタイプを識別することにより、誤警告のタイプをさらに分析し、運転者挙動検知の警告機能の完備に有効な情報を提供することができる。
ステップＳ１２において、前記運転者の第１挙動検知結果を取得する。
本開示の実施例では、誤警告フィードバック情報を受信した後に、運転者の第１挙動検知結果を取得することができる。例えば、誤警告フィードバック情報の受信時間に基づいて、発生した誤警告を特定してもよい。例えば、誤警告フィードバック情報の受信時間よりも前に発した最新の警告を、発生した誤警告として特定してもよい。その後、誤警告に基づいて、該誤警告をトリガーした運転者の第１挙動検知結果を取得してもよい。該第１挙動検知結果は、誤警告を発する前の運転者のビデオデータに基づいて挙動検知を行って得られたものであってもよい。いくつかの実施形態では、危険運転挙動の警告は、危険運転挙動の挙動検知結果を持ってもよい。これに対応して、誤警告フィードバック情報をトリガーした誤警告を特定した後に、誤警告フィードバック情報から、運転者の第１挙動検知結果を抽出してもよい。いくつかの実施形態では、運転者の危険運転挙動があることを検知した後に、運転者の挙動検知結果及び警告を記録してもよい。これに対応して、誤警告フィードバック情報をトリガーした誤警告を特定した後に、記憶された記録から、該誤警告とともに記録された第１挙動検知結果を取得してもよい。
ステップＳ１３において、前記誤警告フィードバック情報に基づいて、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整する。
本開示の実施例では、危険運転挙動は、１つ又は複数の警告パラメータ閾値に対応することができる。運転者のある運転挙動の挙動パラメータが、対応する警告パラメータ閾値に達したことを検知した場合、運転者の運転挙動が危険運転挙動であると判断できるので、警告を発する。挙動パラメータは、運転挙動を表すパラメータであってもよい。例えば、あくびの挙動の挙動パラメータは、口開き幅及びあくび継続時間のうちの少なくとも１つを含んでもよく、目閉じの挙動の挙動パラメータは、目閉じ幅及び目閉じ継続時間のうちの少なくとも１つを含んでもよく、頭振りの挙動の挙動パラメータは、頭姿勢振り角度を含んでもよい。ここで、誤警告フィードバック情報は、運転者の第１挙動検知結果に基づく誤警告の発生を示すため、第１挙動検知結果に対応する警告パラメータ閾値の設定が十分に合理ではないと判断できるので、第１挙動検知結果に対応する警告パラメータ閾値を調整することができる。例えば、第１挙動検知結果に対応する警告パラメータ閾値を増減させる。
ここで、口開き幅は、口の高さと幅の比の値であってもよい。あくび継続時間は、口開き幅が口開き幅閾値に達している継続時間であってもよい。目閉じ幅は、目の高さと幅の比の値であってもよい。目閉じ継続時間は、１つの統計周期における目閉じ幅が目閉じ幅閾値よりも小さい積算継続時間であってもよい。頭姿勢振り角度は、ヨー（ｙａｗ）角、ピッチ（ｐｉｔｃｈ）角及びロール（ｒｏｌｌ）角のうちの少なくとも１つを含んでもよい。
いくつかの実施形態では、誤警告フィードバック情報に応じて、ユーザに運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整するよう促す第１注意喚起情報を発する。第１注意喚起情報の出力形態は、音声による注意喚起、画面出力等の複数の形態を含んでもよい。例えば、誤警告フィードバック情報に応じて、電子機器は、音声による注意喚起の形で第１挙動検知結果に対応する警告パラメータ閾値を調整するよう注意喚起してもよく、又は、電子機器は、画面に第１注意喚起情報をポップアップしてよいし、画面に警告パラメータ閾値の設定ページを直接表示してもよい。ユーザは、第１注意喚起情報に応じて、第１挙動検知結果に対応する警告パラメータ閾値を調整してもよい。例えば、電子機器に警告パラメータ閾値調整指令を音声によって発してもよいし、画面の設定ページにおいて第１挙動検知結果に対応する警告パラメータ閾値を手動で修正することにより、電子機器に警告パラメータ閾値調整指令を発してもよい。電子機器は、ユーザから第１注意喚起情報に基づいて送信された警告パラメータ閾値調整指令を受信したことに応じて、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整する。このようにすると、ユーザのニーズに応じて、第１挙動検知結果に対応する警告パラメータ閾値を調整し、警告パラメータ閾値を柔軟に設定するというユーザのニーズを満たすことができる。ここで、ユーザと運転者が同じであるようにしてもよい。これによって、誤警告が発生した場合、運転者は、警告パラメータ閾値をタイムリーに調整することができる。いくつかの実施形態では、ユーザと運転者が異なってもよい。例えば、ユーザは、警告パラメータ閾値を調整する権利を持つものであってもよい。これによって、運転者は、警告パラメータ閾値を自ら修正することなく、警告パラメータ閾値のタイムリーな調整を実現し、運転の安定性を向上させることができる。
いくつかの実施形態では、さらに運転者の第１挙動検知結果に対応する挙動種類を特定してもよい。運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整する場合、運転者の第１挙動検知結果に対応する挙動種類の警告パラメータ閾値を調整してもよい。
本開示の実施例では、運転者の運転挙動は、複数の挙動種類を含んでもよい。電子機器は、所定種類の運転挙動に対して警告してもよい。所定種類の運転挙動は、危険運転挙動であってもよい。ここで、運転挙動の挙動種類によって、対応する警告パラータ閾値が異なるようにしてもよい。これによって、上記の誤警告フィードバック情報を受信した場合、まず、運転者の第１挙動検知結果に対応する挙動種類を特定し、次に、運転者の第１検知結果に対応する挙動種類の警告パラメータ閾値を調整してもよい。このように、警告パラメータ閾値の自動的な調整を実現できるとともに、特定の挙動種類の警告パラメータ閾値に対してピンポイントな調整を行うことができるので、警告パラメータ閾値の調整の精度が向上する。
一例では、所定種類の運転挙動は、あくびの挙動と、目閉じの挙動と、頭振りの挙動との少なくとも１つを含む。ここで、あくびの挙動に対応する警告パラメータ閾値は、口開き幅閾値及びあくび継続時間閾値のうちの少なくとも１つを含む。目閉じの挙動に対応する警告パラメータ閾値は、目閉じ幅及び目閉じ継続時間閾値のうちの少なくとも１つを含む。頭振りの挙動に対応する警告パラメータ閾値は、頭姿勢振り角度閾値を含む。
いくつかの実施形態では、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整するとき、運転者の第１挙動検知結果に対応する警告パラメータ閾値を所定の調整ステップ幅で増減させてもよい。
ここで、所定の調整ステップ幅は、実際の応用場面に応じて設定できるので、本開示はこれについて制限しない。いくつかの実施形態では、挙動種類毎の警告パラメータ閾値について、それぞれ対応する調整ステップ幅を設定することができる。例えば、第１挙動検知結果があくびの挙動を含み、警告パラメータ閾値が口開き幅閾値である場合、口開き幅閾値の調整ステップ幅は、０．１、０．２等の数値に設定されてもよい。警告パラメータ閾値があくび継続時間閾値である場合、あくび継続時間閾値の調整ステップ幅は、０．５ｓ、１ｓ等の数値に設定されてもよい。運転者の第１挙動検知結果に対応する警告パラメータ閾値を所定の調整ステップ幅で増減させることにより、調整後の警告パラメータ閾値が過大又は過小になることなく、警告パラメータ閾値の調整幅を合理な範囲内とし、的確な調整を実現することができる。
本開示の実施例は、運転挙動についての誤警告が発生した場合に、運転挙動に対応する警告パラメータ閾値を調整することにより、誤警告の発生を低減することができる。いくつかの実施形態では、誤警告フィードバック情報を受信した後に、さらに誤警告をトリガーした第１ビデオデータを取得してもよい。例えば、誤警告の警告時間に基づいて、誤警告の警告時間を含む所定期間内のビデオデータを第１ビデオデータとして切り出してもよい。例えば、警告時間前後１０ｓのビデオデータを切り出して、運転者の所定挙動のビデオデータを含む第１ビデオデータとする。その後、第１ビデオデータを誤警告ビデオライブラリーに記憶する。又は、前記誤警告フィードバック情報が受信される前の所定期間内の前記第１ビデオデータを取得してもよい。さらに又は、ユーザによって前記誤警告フィードバック情報を発する前に送信された前記第１ビデオデータを取得してもよい。例えば、実際の場面において、ユーザは、警告をトリガーした録画情報を再生するときに、録画のうちの１つのビデオクリップを選択して誤警告をトリガーした第１ビデオデータとしてアップロードする。ユーザが選択されアップロードされたデータを取得することにより、誤警告の発生時の運転者のビデオデータをより的確に特定することができる。このように、誤警告をトリガーした第１ビデオデータを記憶し、今後の誤警告の分析や警告結果の再チェックに使用することができる。ここで、誤警告ビデオライブラリーは、ローカルの記憶装置にあってもよい。いくつかの実施形態では、誤警告ビデオライブラリーは、クラウドサーバーにあってよく、本開示はこれについて制限しない。所定挙動は、運転者が行う任意の挙動であってもよい。
いくつかの実施形態では、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整した後、第２ビデオデータを取得してもよい。第２ビデオデータは、運転者の上記所定挙動のビデオデータを含んでもよい。つまり、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整した後、運転者が、前記所定挙動を繰り返して行い、電子機器が、運転者によって上記所定挙動を繰り返して行った第２ビデオデータを取得するようにしてもよい。該第２ビデオデータ及び調整後の警告パラメータ閾値に基づいて、運転挙動を検知して第２挙動検知結果を得ることができる。第２挙動検知結果は、運転挙動の挙動種類、挙動パラメータ、危険運転挙動に該当するかどうか等の情報を含んでもよい。第２挙動検知結果として危険運転挙動である場合、警告を発することができる。第２挙動検知結果に対する誤警告フィードバック情報を受信した場合には、運転者が上記所定挙動を再度行った場合、発する警告が依然として誤警告であると考えられるので、運転者が同一の所定挙動を再度行うときに誤警告を発しなくなるまで、第２挙動検知結果に対応する警告パラメータ閾値をさらに調整することができる。このように、警告パラメータ閾値を連続的に調整してユーザのニーズを満たすことができる。
上記ステップＳ１１において、誤警告フィードバック情報を受信することができる。いくつかの実施形態では、誤警告フィードバック情報を受信した後に、少なくとも１つの所定種類の運転挙動に対応する警告パラメータ閾値を読み取ってもよい。例えば、ローカルの記憶装置において、少なくとも１つの所定種類の運転挙動に対応する警告パラメータ閾値を読み取ってもよい。少なくとも１つの所定種類の運転挙動に対応する警告パラメータ閾値は、前回調整した後にローカル記憶装置に記憶されたものであってもよい。又は、クラウドサーバーから送信された閾値設定情報から、少なくとも１つの所定種類の運転挙動に対応する警告パラメータ閾値を読み取ってもよい。電子機器は、運転者の顔部に対して収集した顔画像をクラウドサーバーにアップロードする。クラウドサーバーは、運転者の顔画像を識別し、識別結果に基づいて、記憶されている該運転者の少なくとも１つの所定種類の運転挙動に対応する警告パラメータ閾値を検索し、その後、少なくとも１つの所定種類の運転挙動に対応する警告パラメータ閾値を閾値設定情報に持たせて電子機器に送信するようにしてもよい。
さらに、運転者の第１挙動検知結果を取得するとき、まず、運転者の運転挙動が属する所定種類である対象所定種類を特定し、その後、対象所定種類の運転挙動に対応する警告パラメータ閾値に基づいて運転者の第１挙動検知結果を特定してもよい。例えば、運転挙動の識別アルゴリズムや訓練済みの運転者挙動検知ニューラルネットワーク等を利用して、第１ビデオデータに基づいて運転者の運転挙動を検知し、運転者の運転挙動が属する所定種類である対象所定種類を特定し、その後、運転者の運転挙動の挙動パラメータと、対象所定種類の運転挙動に対応する警告パラメータ閾値とを照らし合わせることによって、運転者の運転挙動が危険運転挙動であるかを判断して、第１挙動検知結果を得ることができる。このように、誤警告フィードバック情報を受信した場合、以前の調整済みの少なくとも１つの所定種類の運転挙動に対応する警告パラメータ閾値を読み取り、警告パラメータ閾値のパーソナル設定を実現することができる。
いくつかの実施形態では、対象所定種類の運転挙動に対応する警告パラメータ閾値をさらに調整し、その後、対象所定種類の運転挙動に対応する調整後の警告パラメータ閾値を記憶してもよい。例えば、対象所定種類の運転挙動に対応する調整後の警告パラメータ閾値をローカルの記憶装置に記憶するか、又は、対象所定種類の運転挙動に対応する調整後の警告パラメータ閾値をクラウドサーバーにアップロードすることによって、今後の対象所定種類の運転挙動の誤警告の再発生時に、記憶されている該警告パラメータ閾値を呼び出し、誤警告の再発生を低減することができる。
本開示の実施例に係る技術は、警告パラメータ閾値調整メカニズムにより誤警告の発生時に警告パラメータ閾値の修正及び記録を行い、誤警告の発生を低減することができる。これと同時に、誤警告をトリガーしたビデオデータを記憶し、今後のさらなる好適化が容易になり、開発者による訓練データの収集時間、コスト及び手間を削減することができる。
以下、本開示の実施例に係る運転者挙動検知の警告閾値調整技術を一例で説明する。図２は、本開示の実施例に係る運転者挙動検知の警告閾値調整方法の一例のフローチャートを示す。
Ｓ２１において、運転者が大笑っている第１ビデオデータを取得する。
ここで、ＤＭＳカメラは、Ａピラー、インストルメントパネル、センターコンソールなど、車両の１つまたは複数の領域に設置することができるので、カメラがハンドル等の障害物による遮断や反射光などによって影響されることなく、運転者の顔情報及び運転挙動を正確に識別できるように確保することができる。
Ｓ２２において、第１ビデオデータに対して運転挙動を検知して、運転者の第１挙動検知結果を得、第１挙動検知結果としてあくびの危険運転挙動であるので、警告を発する。
Ｓ２３において、第１挙動検知結果に基づく誤警告の発生を示す誤警告フィードバック情報を受信する。
Ｓ２４において、第１ビデオデータを誤警告ビデオライブラリーに記憶する。
Ｓ２５において、誤警告フィードバック情報に応じて、あくびの挙動に対応する警告パラメータ閾値を調整する。
Ｓ２６において、運転者が大笑っている第２ビデオデータを取得する。
Ｓ２７において、第２ビデオデータに対する第２挙動検知結果に基づく誤警告が発生するかどうかを判断する。第２ビデオデータに対する第２挙動検知結果に基づく誤警告が発生した場合、Ｓ２５に戻すが、そうでないと、Ｓ２８を実行する。
Ｓ２８において、あくびの挙動に対応する調整済みの警告パラメータ閾値を記録して記憶する。
また、上記例示的なフローチャートでは、警告パラメータ閾値を毎回調整した後に、調整後の警告パラメータ閾値をキャッシュに記憶し、調整後の警告パラメータ閾値に基づいて依然として同一の誤警告が発生すると、調整後の警告パラメータ閾値をさらに調整することができることを理解すべきである。同一の種類の運転者挙動について警告が発しなくなるまで上述した警告パラメータ閾値の調整を繰り返した、調整後の警告パラメータ閾値をメモリに長期記憶する。
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解すべきである。紙数に限りがあるので、本開示では詳細な説明を省略する。当業者であれば、具体的な実施形態に係る上記の方法では、各ステップの実行順序がその機能と内部の論理によって具体的に決定されることが理解すべきである。
なお、本開示では、運転者挙動検知の警告閾値調整装置、電子機器、コンピュータ読み取り可能な記憶媒体、プログラムがさらに提供される。これらはいずれも本開示に係る運転者挙動検知の警告閾値調整方法のいずれか１つを実現するために利用できる。対応する技術的手段と説明は、方法の対応する記載を参照すればよく、詳細な説明を省略する。
図３は、本開示の実施例に係る運転者挙動検知の警告閾値調整装置のブロック図を示す。図３に示すように、前記装置は、
運転者の第１挙動検知結果に基づく誤警告の発生を示す誤警告フィードバック情報を受信する受信モジュール３１と、
前記運転者の第１挙動検知結果を取得する取得モジュール３２と、
前記誤警告フィードバック情報に基づいて、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整する調整モジュール３３と、を備える。
いくつかの実施形態では、前記調整モジュール３３は、前記誤警告フィードバック情報に応じて、ユーザに前記運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整するよう促す第１注意喚起情報を発し、ユーザから前記第１注意喚起情報に応じて送信された警告パラメータ閾値調整指令を受信したことに応じて、前記運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整する。
いくつかの実施形態では、前記装置は、前記運転者の第１挙動検知結果に対応する挙動種類を特定する特定モジュールをさらに備え、前記調整モジュールは、運転者の第１挙動検知結果に対応する挙動種類の警告パラメータ閾値を調整する。
いくつかの実施形態では、前記調整モジュール３３は、運転者の第１挙動検知結果に対応する警告パラメータ閾値を所定の調整ステップ幅で増減させる。
いくつかの実施形態では、前記装置は、前記誤警告のタイプを識別する識別モジュールをさらに備え、前記誤警告のタイプは、第１危険運転挙動を、挙動種類が前記第１危険運転挙動と異なる第２危険運転挙動と誤警告するタイプ、前記危険運転挙動が発生しない場合、警告を発するタイプの少なくとも１つを含む。
いくつかの実施形態では、運転者の所定挙動のビデオデータを含むものであって、前記誤警告をトリガーした第１ビデオデータを取得し、前記第１ビデオデータを誤警告ビデオライブラリーに記憶する記憶モジュールをさらに備える。
いくつかの実施形態では、記憶モジュールは、前記誤警告フィードバック情報が受信される前の所定期間内の前記第１ビデオデータを取得すること、又は、ユーザによって前記誤警告フィードバック情報を発する前に送信された前記第１ビデオデータを取得する。
いくつかの実施形態では、前記調整モジュール３３は、さらに、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整した後、運転者の前記所定挙動のビデオデータを含む第２ビデオデータを取得し、前記第２ビデオデータ及び調整後の前記警告パラメータ閾値に基づいて、運転挙動を検知して第２挙動検知結果を得、前記第２挙動検知結果に関する誤警告フィードバック情報を受信した場合、前記第２挙動検知結果に対応する警告パラメータ閾値を調整する。
いくつかの実施形態では、少なくとも１つの所定種類の運転挙動に対応する警告パラメータ閾値を読み取る読み取りモジュールをさらに備え、前記取得モジュール３２は、前記運転者の運転挙動が属する所定種類である対象所定種類を特定し、前記対象所定種類の運転挙動に対応する警告パラメータ閾値に基づいて、前記運転者の第１挙動検知結果を特定する。
いくつかの実施形態では、前記調整モジュール３３は、前記対象所定種類の運転挙動に対応する警告パラメータ閾値を調整し、前記装置は、前記対象所定種類の運転挙動に対応する調整後の警告パラメータ閾値を記憶する記憶モジュールをさらに備える。
いくつかの実施形態では、前記所定種類の運転挙動は、あくびの挙動と、目閉じの挙動と、頭振りの挙動との少なくとも１つを含み、前記あくびの挙動に対応する警告パラメータ閾値は、口開き幅閾値と、あくび継続時間閾値との少なくとも１つを含み、前記目閉じの挙動に対応する警告パラメータ閾値は、目閉じ幅閾値と、目閉じ継続時間閾値との少なくとも１つを含み、前記頭振りの挙動に対応する警告パラメータ閾値は、頭姿勢振り角度閾値を含む。
いくつかの実施例では、本開示の実施例に係る装置が備える機能又はモジュールは、上記方法の実施例に説明される方法を実行するために利用でき、その具体的な実現について、上記方法の実施例の説明を参照すればよく、簡潔化のために、ここで詳細な説明を省略する。
本開示の実施例では、コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、上記の方法を実現するコンピュータ読み取り可能な記憶媒体がさらに提供される。コンピュータ読み取り可能な記憶媒体は、不揮発性のコンピュータ読み取り可能な記憶媒体であってもよい。
本開示の実施例では、プロセッサと、プロセッサにより実行可能な命令を記憶するメモリと、を含み、前記プロセッサは、前記メモリに記憶された命令を呼び出して上記方法を実行するように構成される電子機器がさらに提供される。
本開示の実施例では、コンピュータ読み取り可能なコードを含むコンピュータプログラム製品であって、コンピュータ読み取り可能なコードが機器において作動すると、機器のプロセッサに上記のいずれかの実施例に係る運転者挙動検知の警告閾値調整方法を実現するための命令を実行させるコンピュータプログラム製品がさらに提供される。
本開示の実施例では、コンピュータ読み取り可能な命令が記憶されているコンピュータプログラムであって、命令が実行されると、コンピュータに上記のいずれかの実施例に係る運転者挙動検知の警告閾値調整方法の動作を実行させる別のコンピュータプログラム製品がさらに提供される。
本開示の実施例では、コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに上記の運転者挙動検知の警告閾値調整方法を実現するための命令を実行させるコンピュータプログラムがさらに提供される。
電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。
図４は、本開示の実施例に係る電子機器８００のブロック図を示す。例えば、電子機器８００は、携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってもよい。
図４を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）のインタフェース８１２、センサコンポーネント８１４、および通信コンポーネント８１６のうちの一つ以上を含んでもよい。
処理コンポーネント８０２は通常、電子機器８００の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作および記録動作に関連する動作を制御する。処理コンポーネント８０２は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ８２０を含んでもよい。また、処理コンポーネント８０２は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント８０２は、マルチメディアコンポーネント８０８とのインタラクションのために、マルチメディアモジュールを含んでもよい。
メモリ８０４は電子機器８００での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器８００において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ８０４は、例えば静的ランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。
電源コンポーネント８０６は電子機器８００の各コンポーネントに電力を供給する。電源コンポーネント８０６は電源管理システム、一つ以上の電源、および電子機器８００のための電力生成、管理および配分に関連する他のコンポーネントを含んでもよい。
マルチメディアコンポーネント８０８は前記電子機器８００とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ（ＬＣＤ）およびタッチパネル（ＴＰ）を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライドおよびタッチパネルでのジェスチャーを検知するように、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド挙動の境界を検知するのみならず、前記タッチまたはスライド操作に関連する持続時間および圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント８０８は前面カメラおよび／または背面カメラを含む。電子機器８００が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラおよび／または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラおよび背面カメラは、固定された光学レンズ系、または焦点距離および光学ズーム能力を有するものであってもよい。
オーディオコンポーネント８１０はオーディオ信号を出力および／または入力するように構成される。例えば、オーディオコンポーネント８１０は、一つのマイク（ＭＩＣ）を含み、マイク（ＭＩＣ）は、電子機器８００が動作モード、例えば呼び出しモード、記録モードおよび音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ８０４に記憶されるか、または通信コンポーネント８１６を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント８１０はさらに、オーディオ信号を出力するためのスピーカーを含む。
Ｉ／Ｏインタフェース８１２は処理コンポーネント８０２と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、音量ボタン、スタートボタンおよびロックボタンを含んでもよいが、これらに限定されない。
センサコンポーネント８１４は電子機器８００の各方面の状態評価のために一つ以上のセンサを含む。例えば、センサコンポーネント８１４は電子機器８００のオン／オフ状態、例えば電子機器８００の表示装置およびキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント８１４はさらに、電子機器８００または電子機器８００のあるコンポーネントの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位または加減速および電子機器８００の温度変化を検出できる。センサコンポーネント８１４は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含んでもよい。センサコンポーネント８１４はさらに、相補型金属酸化膜半導体（ＣＭＯＳ）または電荷結合素子（ＣＣＤ）イメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント８１４はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
通信コンポーネント８１６は電子機器８００と他の機器との有線または無線通信を実現するように構成される。電子機器８００は通信規格に基づく無線ネットワーク、例えば無線ネットワーク（ＷｉＦｉ）、第２世代移動通信技術（２Ｇ）または第３世代移動通信技術（３Ｇ）、またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント８１６は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント８１６はさらに、近距離通信を促進させるために、近距離無線通信（ＮＦＣ）モジュールを含む。例えば、ＮＦＣモジュールは、無線周波数識別（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術および他の技術によって実現できる。
例示的な実施例では、電子機器８００は一つ以上の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタルシグナルプロセッサ（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
例示的な実施例では、さらに、不揮発性コンピュータ読み取り可能記憶媒体、例えばコンピュータプログラム命令を含むメモリ８０４が提供され、上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０によって実行されと、上記方法を実行させることができる。
図５は、本開示の実施例に係る電子機器１９００のブロック図を示す。例えば、電子機器１９００はサーバとして提供されてもよい。図５を参照すると、電子機器１９００は、一つ以上のプロセッサを含む処理コンポーネント１９２２、および、処理コンポーネント１９２２によって実行可能な命令例えばアプリケーションプログラムを記憶するための、メモリ１９３２を代表とするメモリ資源を含む。メモリ１９３２に記憶されているアプリケーションプログラムは、それぞれが１つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント１９２２は命令を実行することによって上記方法を実行するように構成される。
電子機器１９００はさらに、電子機器１９００の電源管理を実行するように構成される電源コンポーネント１９２６と、電子機器１９００をネットワークに接続するように構成される有線又は無線ネットワークインタフェース１９５０と、入力／出力（Ｉ／Ｏ）インタフェース１９５８とを含んでもよい。電子機器１９００は、メモリ１９３２に記憶されたオペレーティングシステム、例えばＭｉｃｒｏｓｏｆｔサーバーオペレーティングシステム（Ｗｉｎｄｏｗｓ ＳｅｒｖｅｒＴＭ）、Ａｐｐｌｅからのグラフィカルユーザーインタフェースのオペレーティングシステム（Ｍａｃ ＯＳ ＸＴＭ）、マルチユーザー・マルチプロセスのコンピューターオペレーティングシステム（ＵｎｉｘＴＭ）、フリーでオープンソースのＵｎｉｘライクなオペレーティングシステム（ＬｉｎｕｘＴＭ）、オープンソースコードのＵｎｉｘライクなオペレーティングシステム（ＦｒｅｅＢＳＤＴＭ）または類似するものに基づいて動作できる。
例示的な実施例では、さらに、不揮発性コンピュータ可読記憶媒体、例えばコンピュータプログラム命令を含むメモリ１９３２が提供され、上記コンピュータプログラム命令は、電子機器１９００の処理コンポーネント１９２２によって実行されと、上記方法を実行させることができる。
本開示は、システム、方法および／またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ読み取り可能なプログラム命令が有しているコンピュータ読み取り可能な記憶媒体を含んでもよい。
コンピュータ読み取り可能な記憶媒体は、命令実行機器に使用される命令を保存および記憶可能な有形装置であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置、または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のさらに具体的な例（非網羅的リスト）としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、および上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ読み取り可能な記憶媒体は、瞬時信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波（例えば、光ファイバーケーブルを通過するパルス光）、または電線を経由して伝送される電気信号と解釈されるものではない。
ここで記述したコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体から各計算／処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワークおよび／または無線ネットワークを介して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータおよび／またはエッジサーバを含んでもよい。各計算／処理機器内のネットワークアダプタカードまたはネットワークインタフェースはネットワークからコンピュータ読み取り可能なプログラム命令を受信し、該コンピュータ読み取り可能なプログラム命令を転送し、各計算／処理機器内のコンピュータ読み取り可能な記憶媒体に記憶させる。
本開示の動作を実行するためのコンピュータプログラム命令はアセンブリ命令、命令セットアーキテクチャ（ＩＳＡ）命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ読み取り可能なプログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、（例えばインターネットサービスプロバイダを利用してインターネットを経由して）外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはプログラマブル論理アレイ（ＰＬＡ）などの電子回路をパーソナライズし、該電子回路によりコンピュータ読み取り可能なプログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。
ここで本開示の実施例に係る方法、装置（システム）およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照しながら本開示の各態様を説明したが、フローチャートおよび／またはブロック図の各ブロックおよびフローチャートおよび／またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ読み取り可能なプログラム命令によって実現できることを理解すべきである。
これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／挙動を実現ように、装置を製造してもよい。これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置および／または他の機器を特定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ読み取り可能な記憶媒体は、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／挙動の各方面を実現する命令を有する製品を含む。
コンピュータ読み取り可能なプログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャートおよび／またはブロック図の一つ以上のブロックにおいて指定された機能／挙動を実現する。
図面のうちフローチャートおよびブロック図は、本開示の複数の実施例に係るシステム、方法およびコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能および動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なって実現してもよい。例えば、連続的な二つのブロックは実質的に並列に実行してもよく、また、係る機能によって、逆な順序で実行してもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、およびブロック図および／またはフローチャートにおけるブロックの組み合わせは、指定される機能または挙動を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
当該コンピュータプログラム製品は、ハードウェア、ソフトウェア、又はそれらの組み合わせによって具体的に実現できる。選択可能的な一実施例では、前記コンピュータプログラム製品はコンピュータ記憶媒体として具現化される。選択可能的な別の実施例では、コンピュータプログラム製品はソフトウェア製品、例えば、ソフトウェア開発キット（Ｓｏｆｔｗａｒｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｋｉｔ、略称ＳＤＫ）等として具現化される。
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲および精神から逸脱することなく、様々な修正および変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または既存技術に対する改善を好適に解釈するか、または他の当業者に本文に披露された各実施例を理解させるためのものである。

Claims (15)

  1. 運転者の第１挙動検知結果に基づく誤警告の発生を示す誤警告フィードバック情報を受信することと、
    前記運転者の第１挙動検知結果を取得することと、
    前記誤警告フィードバック情報に基づいて、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整することと、
    を含むことを特徴とする運転者挙動検知の警告閾値調整方法。
  2. 前記した、前記誤警告フィードバック情報に基づいて、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整することは、
    前記誤警告フィードバック情報に応じて、ユーザに前記運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整するよう促す第１注意喚起情報を発することと、
    ユーザから前記第１注意喚起情報に応じて送信された警告パラメータ閾値調整指令を受信したことに応じて、前記運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整することと、
    を含むことを特徴とする請求項１に記載の運転者挙動検知の警告閾値調整方法。
  3. 前記運転者の第１挙動検知結果に対応する挙動種類を特定することをさらに含み、
    前記した、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整することは、
    運転者の第１挙動検知結果に対応する挙動種類の警告パラメータ閾値を調整することを含むことを特徴とする請求項１に記載の運転者挙動検知の警告閾値調整方法。
  4. 前記した、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整することは、
    運転者の第１挙動検知結果に対応する警告パラメータ閾値を所定の調整ステップ幅で増減させることを含むことを特徴とする請求項１～３のいずれか１項に記載の運転者挙動検知の警告閾値調整方法。
  5. 前記誤警告のタイプを識別することをさらに含み、
    前記誤警告のタイプは、
    第１危険運転挙動を、挙動種類が前記第１危険運転挙動と異なる第２危険運転挙動と誤警告するタイプ、
    前記危険運転挙動が発生しない場合、警告を発するタイプ、
    の少なくとも１つを含むことを特徴とする請求項１～４のいずれか１項に記載の運転者挙動検知の警告閾値調整方法。
  6. 誤警告フィードバック情報を受信した後に、さらに、
    運転者の所定挙動のビデオデータを含むものであって、前記誤警告をトリガーした第１ビデオデータを取得することと、
    前記第１ビデオデータを誤警告ビデオライブラリーに記憶することと、
    を含むことを特徴とする請求項１～５のいずれか１項に記載の運転者挙動検知の警告閾値調整方法。
  7. 前記した、前記誤警告をトリガーした第１ビデオデータを取得することは、
    前記誤警告フィードバック情報が受信される前の所定期間内の前記第１ビデオデータを取得すること、又は、
    ユーザによって前記誤警告フィードバック情報を発する前に送信された前記第１ビデオデータを取得することを含むことを特徴とする請求項６に記載の運転者挙動検知の警告閾値調整方法。
  8. 運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整した後に、さらに、
    運転者の前記所定挙動のビデオデータを含む第２ビデオデータを取得することと、
    前記第２ビデオデータ及び調整後の前記警告パラメータ閾値に基づいて、運転挙動を検知して第２挙動検知結果を得ることと、
    前記第２挙動検知結果に対する誤警告フィードバック情報を受信した場合、前記第２挙動検知結果に対応する警告パラメータ閾値を調整することと、
    を含むことを特徴とする請求項６に記載の運転者挙動検知の警告閾値調整方法。
  9. 少なくとも１つの所定種類の運転挙動に対応する警告パラメータ閾値を読み取ることをさらに含み、
    前記した、前記運転者の第１挙動検知結果を取得することは、
    前記運転者の運転挙動が属する所定種類である対象所定種類を特定することと、
    前記対象所定種類の運転挙動に対応する警告パラメータ閾値に基づいて、前記運転者の第１挙動検知結果を特定することと、を含むことを特徴とする請求項１～８のいずれか１項に記載の運転者挙動検知の警告閾値調整方法。
  10. 前記した、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整することは、
    前記対象所定種類の運転挙動に対応する警告パラメータ閾値を調整することを含み、
    前記運転者挙動検知の警告閾値調整方法は、
    前記対象所定種類の運転挙動に対応する調整後の警告パラメータ閾値を記憶することをさらに含むことを特徴とする請求項９に記載の運転者挙動検知の警告閾値調整方法。
  11. 前記所定種類の運転挙動は、あくびの挙動と、目閉じの挙動と、頭振りの挙動との少なくとも１つを含み、
    前記あくびの挙動に対応する警告パラメータ閾値は、口開き幅閾値と、あくび継続時間閾値との少なくとも１つを含み、
    前記目閉じの挙動に対応する警告パラメータ閾値は、目閉じ幅閾値と、目閉じ継続時間閾値との少なくとも１つを含み、
    前記頭振りの挙動に対応する警告パラメータ閾値は、頭姿勢振り角閾値を含むことを特徴とする請求項９に記載の運転者挙動検知の警告閾値調整方法。
  12. 運転者の第１挙動検知結果に基づく誤警告の発生を示す誤警告フィードバック情報を受信する受信モジュールと、
    前記運転者の第１挙動検知結果を取得する取得モジュールと、
    前記誤警告フィードバック情報に基づいて、運転者の第１挙動検知結果に対応する警告パラメータ閾値を調整する調整モジュールと、
    を備えることを特徴とする運転者挙動検知の警告閾値調整装置。
  13. プロセッサと、
    プロセッサにより実行可能な命令を記憶するメモリと、を含み、
    前記プロセッサは、前記メモリに記憶された命令を呼び出して、請求項１～１１のいずれか１項に記載の運転者挙動検知の警告閾値調整方法を実行するように構成されることを特徴とする電子機器。
  14. コンピュータプログラム命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラム命令がプロセッサにより実行されると、請求項１～１１のいずれか１項に記載の運転者挙動検知の警告閾値調整方法を実現することを特徴とするコンピュータ読み取り可能な記憶媒体。
  15. コンピュータ読み取り可能なコードを含み、前記コンピュータ読み取り可能なコードが電子機器で動作すると、前記電子機器のプロセッサに請求項１～１１のいずれか１項に記載の運転者挙動検知の警告閾値調整方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。
JP2023522416A 2020-12-31 2021-07-30 警告閾値調整方法及び装置、電子機器、並びに記憶媒体 Pending JP2023545158A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202011625196.5 2020-12-31
CN202011625196.5A CN112669583B (zh) 2020-12-31 2020-12-31 报警阈值调整方法及装置、电子设备和存储介质
PCT/CN2021/109832 WO2022142332A1 (zh) 2020-12-31 2021-07-30 报警阈值调整方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
JP2023545158A true JP2023545158A (ja) 2023-10-26

Family

ID=75412391

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023522416A Pending JP2023545158A (ja) 2020-12-31 2021-07-30 警告閾値調整方法及び装置、電子機器、並びに記憶媒体

Country Status (3)

Country Link
JP (1) JP2023545158A (ja)
CN (1) CN112669583B (ja)
WO (1) WO2022142332A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669583B (zh) * 2020-12-31 2022-11-04 上海商汤临港智能科技有限公司 报警阈值调整方法及装置、电子设备和存储介质
CN113628412A (zh) * 2021-07-16 2021-11-09 一汽奔腾轿车有限公司 一种驾驶员监控系统的整车测试方法
CN113706814A (zh) * 2021-08-10 2021-11-26 成都迪沃航空科技有限公司 一种可控智能驱动模块
CN114066297B (zh) * 2021-11-24 2023-04-18 西南交通大学 一种高速铁路行车调度员工作状态识别方法
CN114399884B (zh) * 2021-12-22 2023-10-20 核动力运行研究所 报警、解除报警的方法及装置
CN114821999B (zh) * 2022-04-25 2023-07-21 华能山东石岛湾核电有限公司 报警功能校验方法、装置及放射源监测仪
CN114802369B (zh) * 2022-05-06 2023-06-16 郑州铁路职业技术学院 一种列车辅助驾驶方法、系统、电子设备和存储介质
CN115590452B (zh) * 2022-11-30 2023-03-14 珠海视新医用科技有限公司 一种内窥镜防碰撞的报警方法
CN116452924B (zh) * 2023-03-21 2023-10-13 长扬科技(北京)股份有限公司 模型阈值调整方法、装置、电子设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000301962A (ja) * 1999-04-21 2000-10-31 Niles Parts Co Ltd 眼の状態検出装置、居眠り運転警報装置
DE102004048013A1 (de) * 2004-10-01 2006-04-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerunterstützung
CN101732055B (zh) * 2009-02-11 2012-04-18 北京智安邦科技有限公司 驾驶员疲劳检测方法及系统
CN101599207A (zh) * 2009-05-06 2009-12-09 深圳市汉华安道科技有限责任公司 一种疲劳驾驶检测装置及汽车
CN102436715B (zh) * 2011-11-25 2013-12-11 大连海创高科信息技术有限公司 疲劳驾驶检测方法
US9007198B2 (en) * 2012-11-02 2015-04-14 Toyota Motor Engineering & Manufacturing North America, Inc. Adaptive Actuator interface for active driver warning
CN106682602B (zh) * 2016-12-16 2020-01-21 深圳市华尊科技股份有限公司 一种驾驶员行为识别方法及终端
US10498951B2 (en) * 2017-01-23 2019-12-03 Digital Global Systems, Inc. Systems, methods, and devices for unmanned vehicle detection
CN108877172B (zh) * 2018-06-26 2019-07-12 深圳市中电数通智慧安全科技股份有限公司 一种错误报警分析方法、装置及终端设备
CN109657979A (zh) * 2018-12-19 2019-04-19 义乌市腾飞汽车代驾服务有限公司 一种驾驶服务评价的方法和装置
CN109886148A (zh) * 2019-01-29 2019-06-14 唐山明天科技有限公司 一种基于人脸识别的驾驶员主动报警系统及装置
CN110705502B (zh) * 2019-10-14 2023-07-28 首约科技(北京)有限公司 一种驾驶员监控设备优化方法
CN110949396B (zh) * 2019-11-21 2021-11-23 西安芯海微电子科技有限公司 疲劳驾驶的监测方法、系统、方向盘、装置、设备和介质
CN112102586B (zh) * 2020-09-17 2022-09-02 杭州海康威视系统技术有限公司 一种疲劳驾驶告警方法、装置及设备
CN112669583B (zh) * 2020-12-31 2022-11-04 上海商汤临港智能科技有限公司 报警阈值调整方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2022142332A1 (zh) 2022-07-07
CN112669583B (zh) 2022-11-04
CN112669583A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
JP2023545158A (ja) 警告閾値調整方法及び装置、電子機器、並びに記憶媒体
KR101852284B1 (ko) 경보 방법 및 장치
US10931805B2 (en) Method and apparatus for controlling application program, and electronic device
WO2019206273A1 (zh) 碰撞控制方法及装置、电子设备和存储介质
EP3125530B1 (en) Video recording method and device
RU2660830C9 (ru) Способ и устройство для обработки информации
US20160379468A1 (en) Method and device for presenting prompt information that recommends removing contents from garbage container
US20170178289A1 (en) Method, device and computer-readable storage medium for video display
JP2022529300A (ja) 違反イベント検出方法及び装置、電子デバイス並びに記憶媒体
EP3115982A1 (en) Method and apparatus for road condition prompt
WO2021051949A1 (zh) 一种图像处理方法及装置、电子设备和存储介质
EP3196736A1 (en) Method and apparatus for recognizing gesture
KR20210036955A (ko) 동작 인식 방법 및 장치, 운전자 상태 해석 방법 및 장치
CN106766022B (zh) 传感器控制方法及装置
CN109151719B (zh) 安全引导方法、装置和存储介质
WO2018000711A1 (zh) 输出图像的方法及装置
US20170034336A1 (en) Event prompting method and device
US10354678B2 (en) Method and device for collecting sounds corresponding to surveillance images
CN104918107A (zh) 视频文件的标识处理方法及装置
CN104867349A (zh) 信息提示方法及装置
JP2021536069A (ja) 信号表示灯の状態検出方法及び装置、運転制御方法及び装置
CN109213419B (zh) 触摸操作处理方法、装置及存储介质
KR20180037235A (ko) 정보 처리 방법 및 장치
KR20170074217A (ko) 스크린 보호 방법 및 장치
CN115132224A (zh) 异常声音处理方法、装置、终端及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230411

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240618