JP2023539250A - 遺失物の通知方法、装置、電子機器、記憶媒体及びコンピュータプログラム - Google Patents

遺失物の通知方法、装置、電子機器、記憶媒体及びコンピュータプログラム Download PDF

Info

Publication number
JP2023539250A
JP2023539250A JP2023513402A JP2023513402A JP2023539250A JP 2023539250 A JP2023539250 A JP 2023539250A JP 2023513402 A JP2023513402 A JP 2023513402A JP 2023513402 A JP2023513402 A JP 2023513402A JP 2023539250 A JP2023539250 A JP 2023539250A
Authority
JP
Japan
Prior art keywords
lost item
notification
information
cabin
occupant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023513402A
Other languages
English (en)
Inventor
凱悦 祁
俊 伍
亦卿 範
瑩 陶
亮 許
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Lingang Jueying Intelligent Technology Co Ltd
Original Assignee
Shanghai Lingang Jueying Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Lingang Jueying Intelligent Technology Co Ltd filed Critical Shanghai Lingang Jueying Intelligent Technology Co Ltd
Publication of JP2023539250A publication Critical patent/JP2023539250A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本開示は遺失物の通知方法、装置、電子機器及び記憶媒体に関する。前記遺失物の通知方法は乗り物のキャビン内に対して遺失物の検出を行うことと、遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定することと、前記身分情報に基づいて通知情報を生成することと、を含む。【選択図】図1

Description

本開示は、乗り物及びコンピュータビジョンテクノロジーに関し、特に、遺失物の通知方法、装置、電子機器及び記憶媒体に関する。
人々は乗り物を利用する際、乗り物に荷物(財布、鍵等)を忘れて、不要なトラブルや損失を招くことがある。したがって、乗り物における遺失物の検出及び通知には、重要な意義がある。
本開示は遺失物の通知方法と装置を提供する。
本開示の一方面によれば、
乗り物のキャビン内に対して遺失物の検出を行うことと、
遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定することと、
前記身分情報に基づいて通知情報を生成することと、
を含む遺失物の通知方法を提供する。
本開示の一方面によれば、
乗り物のキャビン内に対して遺失物の検出を行う第1検出モジュールと、
遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定する特定モジュールと、
前記身分情報に基づいて通知情報を生成する第1生成モジュールと、を備える遺失物の通知装置を提供する。
本開示の一方面によれば、1つ又は複数のプロセッサと、実行可能な命令を記憶する記憶メモリと、を含む電子機器であって、前記1つ又は複数のプロセッサは、前記記憶メモリに記憶されている実行可能な命令を呼び出すことにより、上記の方法を実行するように構成される電子機器を提供する。
本開示の一方面によれば、コンピュータプログラム命令が記憶されているコンピュータ可読な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、上記の方法を実現させるコンピュータ可読な記憶媒体を提供する。
本開示の一方面によれば、コンピュータ可読なコードを含み、前記コンピュータ可読なコードが電子機器において実行されると、前記電子機器のプロセッサに上記の方法を実現するための命令を実行させるコンピュータプログラムを提供する。
本開示の実施例では、乗り物のキャビン内に対して遺失物の検出を行い、遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定し、前記身分情報に基づいて通知情報を生成することにより、乗り物のキャビン内の遺失物の所有者である乗員の身分情報に基づいて通知し、目標指向性を持て通知することが可能であるので、遺失物の通知効果を向上させ、乗員の財産安全保障を高めることができる。
以上の一般な説明と以下の詳細な説明は、例示的や解釈的なものに過ぎず、本開示を制限するものではないと理解すべきである。
以下、図面を参考しながら例示的な実施例を詳細に説明することによって、本開示の他の特徴および方面は明確になる。
明細書の一部として含まれる図面は、本開示の実施例を示し、明細書と共に本開示の技術的手段を説明するものである。
本開示の実施例に係る遺失物の通知方法のフローチャートを示す。 自家用車の応用場面の模式図を示す。 カーシェアリング用車の応用場面の模式図を示す。 ネット配車の応用場面の模式図を示す。 本開示の実施例に係る遺失物の通知装置のブロック図を示す。 本開示の実施例に係る電子機器800のブロック図を示す。 本開示の実施例に係る電子機器1900のブロック図を示す。
以下、図面を参照しながら本開示の様々な例示的実施例、特徴および態様を詳細に説明する。図面において、同じ符号は、機能が同じまたは類似する要素を表す。図面において実施例の様々な態様を示したが、特に明記されていない限り、図面は、必ずしも原寸に比例しているとは限らない。
ここの用語「例示的」とは、「例、実施例として用いられることまたは説明的なもの」を意味する。ここで「例示的」に説明されるいかなる実施例は、必ずしも他の実施例より好ましい又は優れたものであると解釈されるとは限らない。
本明細書において、用語の「及び/又は」は、関連対象の関連関係を記述するのものに過ぎず、3つの関係が存在可能であることを示し、例えば、A及び/又はBは、Aのみが存在し、AとBが同時に存在し、Bのみが存在するという3つの場合を示すことができる。また、本明細書において、用語の「少なくとも1つ」は複数のうちのいずれか1つ又は複数のうちの少なくとも2つの任意の組み合わせを示し、例えば、A、B及びCのうちの少なくとも1つを含むということは、A、B及びCで構成される集合から選択されたいずれか1つ又は複数の要素を含むことを示すことができる。
また、本開示をより良く説明するために、以下の具体的な実施形態には多くの具体的な細部が示されている。当業者であれば、何らかの具体的な細部がなくても、本開示は同様に実施できることを理解すべきである。いくつかの実施例では、本開示の趣旨を強調するために、当業者によく知られている方法、手段、素子および回路について、詳細な説明を行わない。
本開示の実施例では、乗り物のキャビン内に対して遺失物の検出を行い、遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定し、前記身分情報に基づいて通知情報を生成することにより、乗り物のキャビン内の遺失物の所有者である乗員の身分情報に基づいて通知し、目標指向性を持て通知することが可能であるので、遺失物の通知効果を向上させ、乗員の財産安全保障を高めることができる。
図1は本開示の実施例に係る遺失物の通知方法のフローチャートを示す。前記遺失物の通知方法の実行主体は遺失物の通知装置であってもよい。可能な一実施形態では、前記遺失物の通知方法は、端末装置、サーバー又は他の処理機器で実行されてもよい。端末装置は車載機器、ユーザ側機器(UserEquipment、UE)、携帯機器、ユーザー端末、端末、セルラーホン、コードレス電話、パーソナル・デジタル・アシスタント(PersonalDigitalAssistant、PDA)、手持ちの機器、計算装置又はウエアラブル機器等であってもよい。車載機器は、キャビン内のインフォテインメント又はドメインコントローラーであってもよいし、OMS(Occupant Monitoring System、乗員監視システム)またはDMS(Driver Monitor System、運転者監視システム)における画像等のデータ処理操作を実行するためのホストなどであってもよい。いくつかの可能な実施形態では、前記遺失物の通知方法はプロセッサによって記憶メモリに記憶されているコンピュータ可読な命令を呼び出すことにより実現してもよい。図1に示すように、前記遺失物の通知方法はステップS11~ステップS13を含む。
ステップS11では、乗り物のキャビン内に対して遺失物の検出を行う。
本開示の実施例では、前記乗り物は、車両であってもよいし、船舶または航空機などの人または貨物を載せるための乗り物であってもよい。それに応じて、前記乗り物のキャビンは、車室、船室又は機内等であってもよい。車両は自家用車又は運営車であってもよく、例えば、運営車はカーシェアリング用車、ネット配車、タクシー、バス、スクールバス、長距離・短距離トラック、長距離・短距離客車、列車、地下鉄、路面電車などであってもよい。
可能な一実施形態では、前記した、乗り物のキャビン内に対して遺失物の検出を行うことは、前記乗り物のキャビン内のビデオストリームを取得することと、前記キャビン内のビデオストリームに基づいて、前記キャビン内に対して遺失物の検出を行うこととを含んでもよい。
この実施形態では、前記キャビン内に設置されたカメラによって前記キャビン内のビデオストリームを収集してもよい。例えば、前記キャビン内に設置されたカメラはOMSカメラ、DMSカメラ等を含んでもよい。OMSは、乗員の属性(年齢、性別、気分の状態、体の状態等)の検出、乗員の身振りの検出等を含む、他の乗員検出機能を行ってもよい。この実施形態の一例としては、プロセッサは、前記キャビン内に設置されたカメラから前記乗り物のキャビン内のビデオストリームを取得し、前記キャビン内のビデオストリームに基づいて、前記キャビン内に対して遺失物の検出を行ってもよい。
この実施形態では、前記キャビン内に対して遺失物の検出を行うことは、遺失物の有無の検出、遺失物の種類の検出、遺失物位置の検出等のうちの少なくとも1つを含んでもよい。
この実施形態の一例としては、前記した、前記キャビン内のビデオストリームに基づいて、前記キャビン内に対して遺失物の検出を行うことは、前記キャビン内のビデオストリームに基づいて、前記キャビン内に遺失物があるか否かを検出することを含んでもよい。
可能な一実施形態では、すべての乗員が前記キャビン内に入る前の画像を参照画像として取得し、すべての乗員が前記キャビン内から離れた画像を前記参照画像と照らし合わせることにより、前記キャビン内の遺失物を確認してもよい。
別の可能な一実施形態では、乗員ごとに、該乗員が前記キャビン内に入る前の画像を該乗員に対応する参照画像として取得し、該乗員が前記キャビン内から離れた画像を該乗員に対応する参照画像と照らし合わせることにより、該乗員の前記乗り物の利用期間において前記乗り物のキャビン内に遺失された遺失物を確認する。該乗員が前記キャビン内に入る前の画像は、前記キャビン内のビデオストリームのうち、該乗員が初めて検出されたビデオフレームよりも直前のビデオフレームを含んでもよい。該乗員が前記キャビン内から離れた画像は、前記キャビン内のビデオストリームのうち、最後に該乗員が検出されたビデオフレームよりも直後のビデオフレームを含んでもよい。
本開示の実施例では、前記キャビン内に対して遺失物の検出を行うことは、遺失物の有無の検出、遺失物の種類の検出、遺失物位置の検出等のうちの少なくとも1つを含んでもよい。
可能な一実施形態では、乗員が前記キャビン内から離れた画像を参照画像と照らし合わせることにより、前記乗員が前記キャビン内から離れた画像には、前記参照画像にない物品があるか否かを判断してもよい。このような物品がある場合、遺失物があると判断することができる。一方、このような物品がない場合、遺失物がないと判断することができる。別の可能な一実施形態では、乗員が前記キャビン内から離れた画像を参照画像と照らし合わせることにより、前記乗員が前記キャビン内から離れた画像には、予め設定された種類に該当する、前記参照画像にない物品があるか否かを判断してもよい。このような物品がある場合、遺失物があると判断することができる。一方、このような物品がない場合、遺失物がないと判断することができる。
可能な一実施形態では、遺失物があるか否かを検出するとともに、遺失物の種類を検出してもよい。別の可能な一実施形態では、遺失物が検出されたことに応じて、検出された遺失物に対して種類を識別し、遺失物の種類を特定してもよい。
可能な一実施形態では、遺失物の有無、および/または遺失物の種類を検出するとともに、遺失物の位置を検出してもよい。別の可能な一実施形態では、遺失物が検出されたことに応じて、遺失物の位置を検出してもよい。
本開示の実施例では、乗り物のキャビン内に対して遺失物の検出を行うことにより、前記キャビン内の遺失物の検出結果を得ることができる。前記遺失物の検出結果は遺失物が検出されたことを含む場合、前記遺失物の検出結果は、遺失物の情報をさらに含んでもよい。
可能な一実施形態では、前記遺失物の情報は前記遺失物の種類を含んでもよい。例えば、遺失物の種類は財布、鍵、携帯電話、傘、ブリーフケース、ランドセル、スーツケース又はボトル等であってもよい。
別の可能な一実施形態では、前記遺失物の情報は、前記キャビン内における前記遺失物の位置を含んでもよい。
この実施形態の一例としては、前記キャビン内における前記遺失物の位置は、前記キャビン内における前記遺失物の概ねの位置を含んでもよい。例えば、前記キャビン内における前記遺失物の位置は、運転席領域、助手席領域、後列席領域、トランク領域等であってもよい。又は、前記キャビン内における前記遺失物の位置は運転席の上、助手席の上、後列席の上、トランク内、運転席の下方、助手席の下方、後列席の下方、運転席前方のフロア、助手席前方のフロア、後列席のフロア等であってもよい。
この実施形態の別の一例としては、前記キャビン内における前記遺失物の位置は前記キャビン内における前記遺失物の位置の範囲又は的確な位置を含んでもよい。一例では、前記キャビン内における前記遺失物の位置は、前記キャビン内のビデオストリームの画像に対応する画像座標系における前記遺失物の画像座標を含んでもよい。別の一例では、前記キャビン内における前記遺失物の位置は、前記遺失物の前記キャビン内における空間座標系の空間座標を含んでもよい。
別の可能な一実施形態では、前記遺失物の情報は前記遺失物の画像を含んでもよい。この実施形態の一例としては、前記キャビン内のビデオストリームの、遺失物を含んでいる1つ又は複数のビデオフレームから、前記遺失物が位置する領域を切り出して前記遺失物の画像を得てもよい。この実施形態の別の一例としては、前記キャビン内のビデオストリームの、遺失物を含んでいる1つ又は複数のビデオフレームを前記遺失物の画像としてもよい。この実施形態の別の一例としては、遺失物を含んでいる前記ビデオフレームにおける前記遺失物の位置に基づいて、前記遺失物をマークして、遺失物がマークされたビデオフレームを前記遺失物の画像としてもよい。この例では、前記遺失物をマークする囲み枠や矢印で前記遺失物を示すこと等によって、遺失物を含んでいる前記ビデオフレームにおいて前記遺失物のマークを示してもよい。
ステップS12では、遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定する。
本開示の実施例では、前記乗り物の乗員は前記乗り物に乗る任意の人を含んでもよい。例えば、前記乗り物の乗員は前記乗り物の運転手および/または非運転者を含んでもよい。例えば、自家用車の応用場面では、非運転者は車所有者の家族又は友人等であってもよい。ネット配車の応用場面では、非運転者は乗客等であってもよい。
本開示の実施例では、前記遺失物の所有者である目標乗員は、前記キャビン内に前記遺失物を遺失した乗員である。前記目標乗員の身分情報は、前記目標乗員の身分に関連する情報であってもよい。例えば、前記目標乗員の身分情報は前記目標乗員の氏名、身分証明書番号、アカウント、コード、電話番号、顔画像等のうちの少なくとも1つを含んでもよい。
本開示の実施例では、遺失物が検出されたことに応じて、キャビン内における前記遺失物の位置とキャビン内における乗員の位置との関連関係に基づいて、遺失物の所有者である目標乗員を特定し、前記目標乗員に対して顔認識を行うことにより、前記目標乗員の身分情報を取得してもよい。つまり、キャビン内における遺失物と乗員との位置の関連関係に基づいて、遺失物の所有者である目標乗員の身分情報を特定してもよい。又は、本開示の実施例では、遺失物が検出されたことに応じて、キャビン内に遺失物が現れた時間及び乗員が前記乗り物を利用した時間に基づいて、遺失物の所有者である目標乗員の身分情報を特定してもよい。つまり、キャビン内に遺失物が現れた時間と、乗員が前記乗り物を利用した時間との関連関係に基づいて、遺失物の所有者である目標乗員の身分情報を特定してもよい。又は、選択可能な形態として、遺失物が検出されたことに応じて、遺失物の色、種類等の、使用者グループに関連する属性を識別した後、キャビン内に現れた人と遺失物の属性との関連度に基づいて、遺失物の所有者である目標乗員の身分情報を特定してもよい。例えば、遺失物が女性用のショルダーバッグであり、対応する時間帯にキャビン内に現れた乗員が女性1名しかいないことを検出した場合、遺失された女性用のショルダーバッグはこの女性の遺失物であると特定できる。
ステップS13では、前記身分情報に基づいて通知情報を生成する。
可能な一実施形態では、前記身分情報は通知情報に含まれてもよい。例えば、前記身分情報が氏名「張三」を含む場合、例えば「張様、ご携帯電話は車両に忘れられたようで、できる限り早くお取り返しください」というような通知情報を生成してもよい。別の可能な一実施形態では、目標乗員の身分情報に基づいて、目標乗員の端末デバイスに送信するための通知情報を生成してもよい。例えば、「車両に遺失物がある」という通知情報であって、情報の配置設定が「携帯電話133********に送信する」である通知情報を生成してもよい。
別の可能な一実施形態では、身分情報によって、対応する通知情報の形態が異なってもよい。例えば、通知情報の形態としては、文言通知情報、音声通知情報、画像通知情報、動画通知情報等が挙げられる。この実施形態の一例としては、前記身分情報が対応する通知情報の形態で、通知情報を生成してもよい。例えば、前記身分情報が対応する通知情報の形態が音声通知情報である場合、音声通知情報を生成してもよい。この実施形態の別の一例としては、遺失物を含んでいるキャビン内の画像を切り出して、目標乗員の携帯電話に送信するための画像通知情報を生成してもよい。この実施形態の別の一例としては、前記身分情報が対応する通知情報の形態で、前記身分情報に対応する目標乗員に対して通知する通知情報を生成してもよい。例えば、前記身分情報が対応する通知情報の形態が動画通知情報であり、前記遺失物が携帯電話である場合、前記目標乗員の身分情報に基づいて、前記目標乗員の身分情報に対応する動画中の対象者が乗り物に携帯電話を忘れた動画通知情報を生成してもよい。例えば、前記目標乗員が中年男性である場合、前記目標乗員の身分情報に対応する動画中の対象者が中年男性であってもよい。
本開示の実施例では、乗り物のキャビン内に対して遺失物の検出を行い、遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定し、前記身分情報に基づいて通知情報を生成することにより、乗り物のキャビン内の遺失物の所有者である乗員の身分情報に基づいて通知し、目標指向性を持て遺失物の通知を行うことが可能であるので、遺失物の通知効果を向上させ、乗員の財産安全保障を高めることができる。
本開示の実施例の1つの応用場面について以下のように説明する。この応用場面では、乗り物のキャビン内に設置されたカメラによってキャビン内のビデオストリームを収集してもよい。前記カメラは、前記キャビン内のビデオストリームをプロセッサに送ってもよい。前記プロセッサは前記キャビン内のビデオストリームに基づいて、前記キャビン内に対して遺失物の検出を行ってもよい。前記プロセッサは、遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定してもよい。例えば、前記身分情報に氏名「張三」を含み、前記遺失物が携帯電話である場合、前記プロセッサは「張様、ご携帯電話は車両に忘れられたようで、できる限り早くお取り返しください」という文言通知情報を生成し、前記目標乗員の携帯電話に前記文言通知情報を送信してもよい。これと同時に、前記乗り物から離れたばかりの目標乗員が前記乗り物に戻って遺失物を取り返すように、前記乗り物のランプが点滅するように制御してもよい。
可能な一実施形態では、前記した、遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定することは、遺失物が検出されたことに応じて、前記キャビン内における前記遺失物の位置を特定することと、前記キャビン内における前記遺失物の位置に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定することとを含む。
この実施形態の一例としては、前記した、乗り物のキャビン内に対して遺失物の検出を行うことは、前記キャビン内における前記遺失物の位置の検出を行うことを含んでもよく、前記遺失物の情報は前記キャビン内における前記遺失物の位置を含んでもよい。この例によれば、乗り物のキャビン内に対して遺失物の検出を行うことにより、前記キャビン内における前記遺失物の位置を取得することができる。この実施形態の別の一例としては、上記ステップS11において前記キャビン内における前記遺失物の位置が検出されていなかった場合、ステップS11の後に、遺失物が検出されたことに応じて、前記キャビン内のビデオストリームに基づいて、前記キャビン内における前記遺失物の位置の検出を継続してもよい。
この実施形態の一例としては、前記キャビン内における前記遺失物の位置は、前記遺失物が前記キャビン内に初めて現れた位置を含んでもよい。この実施形態の別の一例としては、前記キャビン内における前記遺失物の位置は、前記遺失物が前記キャビン内に最後に現れた位置を含んでもよい。この実施形態の別の一例としては、前記キャビン内における前記遺失物の位置は、前記キャビン内における前記遺失物が現れた複数の位置を含んでもよい。例えば、前記キャビン内における前記遺失物の位置は、前記キャビン内における前記遺失物が現れた各位置を含んでもよい。
この実施形態では、キャビン内における遺失物の位置とキャビン内における乗員の位置との関連関係に基づいて、遺失物の所有者である目標乗員を特定し、前記目標乗員の顔認識を行い、前記目標乗員の身分情報を特定してもよい。
この実施形態では、遺失物が検出されたことに応じて、前記キャビン内における前記遺失物の位置を特定し、前記キャビン内における前記遺失物の位置に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定する。遺失物と、遺失物の所有者である目標乗員との位置は、通常、大きな関連性を持つため、この実施形態によれば、遺失物と乗員との位置の関連関係により、特定された前記キャビン内の前記遺失物の所有者である目標乗員の身分情報の正確性を高めることができる。
この実施形態の一例としては、前記した、前記キャビン内における前記遺失物の位置に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定することは、前記キャビン内における前記遺失物の位置に基づいて、前記キャビン内の前記遺失物の関連領域を特定することと、前記キャビン内のビデオストリームに基づいて、前記関連領域に対して顔認識を行うことにより、前記関連領域の顔認識結果を取得することと、前記関連領域の顔認識結果に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定することとを含む。関連領域は、遺失物の周りの一定距離内の空間領域を含んでもよく、例えば遺失物の位置座標を中心に外側へ拡張する3次元の空間座標領域を含んでもよい。又は、関連領域は、遺失物の位置を含む車室の所定空間領域であってもよい。ここで、車室の所定空間領域は、車室内の領域を区画することにより得られるものであってもよく、例えば運転手領域、助手領域、左後領域、右後領域等を含んでもよい。
一例では、前記キャビン内における前記遺失物の位置は、前記キャビン内のビデオストリームの画像が対応する画像座標系における前記遺失物の画像座標を含んでもよく、前記関連領域は、前記遺失物のある前記画像座標系の関連画像座標領域を含んでもよく、前記関連領域に基づいて、前記キャビン内のビデオストリームに対して顔認識を行うことは、前記キャビン内のビデオストリームの前記関連領域に対して顔認識を行うことを含んでもよい。
別の一例では、前記キャビン内における前記遺失物の位置は、前記キャビン内の空間座標系における前記遺失物の空間座標を含んでもよい。前記関連領域は、前記キャビン内の空間座標領域における前記遺失物の関連空間座標領域を含んでもよい。前記した、前記関連領域に基づいて、前記キャビン内のビデオストリームに対して顔認識を行うことは、前記関連空間座標領域が対応する画像座標領域を決定することと、前記キャビン内のビデオストリームの、前記関連空間座標領域が対応する画像座標領域に対して顔認識を行うこととを含む。
一例では、前記キャビン内の前記遺失物の関連領域は、前記キャビン内における前記遺失物の座標を幾何中心として決定された、サイズが予め決められた領域であってもよい。例えば、前記キャビン内の前記遺失物の関連領域は、前記キャビン内のビデオストリームの画像が対応する画像座標系における前記遺失物の画像座標を幾何中心として決定された、サイズが予め決められた関連画像の座標領域であってもよい。又は、前記キャビン内の前記遺失物の関連領域は、前記キャビン内の空間座標系における前記遺失物の空間座標を幾何中心として決定された、サイズが予め決められた関連空間の座標領域であってもよい。
別の一例では、前記キャビン内における物品の位置と、前記キャビン内の物品の関連領域との対応関係を予め作ってもよい。これにより、予め作られた対応関係、及び前記キャビン内における前記遺失物の位置に基づいて、前記キャビン内の前記遺失物の関連領域を特定することができる。例えば、前記キャビン内における前記遺失物の位置が第1所定座標領域内にある場合、前記キャビン内の前記遺失物の関連領域は運転席領域であってもよい。前記キャビン内における前記遺失物の位置が第2所定座標領域内にある場合、前記キャビン内の前記遺失物の関連領域は助手席領域であってもよい。前記キャビン内における前記遺失物の位置が第3所定座標領域内にある場合、前記キャビン内の前記遺失物の関連領域は後列席領域であってもよい。
一例では、前記関連領域において、体の少なくとも一部が前記遺失物に接触した乗員に対して顔認識を行い、顔認識結果を取得してもよい。別の一例では、前記関連領域内のすべての乗員に対して顔認識を行い、顔認識結果を取得してもよい。
この例では、前記キャビン内における前記遺失物の位置に基づいて、前記キャビン内の前記遺失物の関連領域を特定し、前記キャビン内のビデオストリームに基づいて、前記関連領域に対して顔認識を行い、前記関連領域の顔認識結果を取得し、前記関連領域の顔認識結果に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定する。これにより、ビデオストリームに含まれるビデオフレームから、遺失物と位置的に関連付けられた領域の画像を抽出することができ、特定された目標乗員の身分情報の正確性を顔認識技術によって高めるとともに、目標乗員を特定する演算の複雑性を低減することができる。
一例では、前記した、前記キャビン内のビデオストリームに基づいて、前記関連領域に対して顔認識を行い、前記関連領域の顔認識結果を取得することは、前記キャビン内のビデオストリームに前記遺失物が初めて現れた時間に基づいて、前記ビデオストリームから目標ビデオフレームを決定することと、前記目標ビデオフレームの関連領域に対して顔認識を行い、前記関連領域の顔認識結果を取得することとを含む。
この例では、前記キャビン内のビデオストリームに前記遺失物が初めて現れた時間は、前記キャビン内のビデオストリームのうち、前記遺失物を含む1番目のビデオフレームが前記キャビン内のビデオストリームに位置する時間であってもよい。前記目標ビデオフレームの数が1つ又は複数であってもよい。例えば、前記目標ビデオフレームは前記キャビン内のビデオストリームのうち、前記遺失物を含む1番目のビデオフレームを含んでもよい。又は、前記目標ビデオフレームは、前記遺失物を含む1番目のビデオフレームの後の複数のビデオフレームをさらに含んでもよい。又は、前記目標ビデオフレームは、前記遺失物を含む1番目のビデオフレームの前の複数のビデオフレームをさらに含んでもよい。
この例では、前記キャビン内のビデオストリームに前記遺失物が初めて現れた時間に基づいて、前記ビデオストリームから目標ビデオフレームを決定し、前記目標ビデオフレームの関連領域に対して顔認識を行い、前記関連領域の顔認識結果を取得し、分析が必要なビデオフレームの数を低減するように遺失物に関連するビデオフレームを時間の次元からさらに抽出する。これにより、目標乗員の身分情報の特定の効率向上に有利し、特定された目標乗員の身分情報の正確性の向上にも有利である。
一例では、前記した、前記関連領域の顔認識結果に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定することは、前記関連領域の顔認識結果に基づいて、前記遺失物についての候補乗員を決定することと、前記候補乗員のうちの、前記キャビン内に入った時間が前記ビデオストリームに前記遺失物が初めて現れた時間よりも早いか又は同時間であり、かつ、前記キャビン内から離れた時間が前記ビデオストリームに前記遺失物が初めて現れた時間よりも後である乗員から、前記遺失物の所有者である目標乗員の身分情報を特定することとを含む。
この例では、関連領域の顔認識結果は検出された各顔の身分情報を含んでもよい。前記顔認識結果に含まれる各顔の身分情報が対応する乗員をそれぞれ前記候補乗員としてもよい。又は、前記顔認識結果に含まれる各顔の身分情報が対応する乗員のうち、体の少なくとも一部が前記遺失物に接触した乗員を前記候補乗員としてもよい。前記候補乗員は一人又は複数人であってもよい。前記候補乗員が一人の場合、前記候補乗員の身分情報を前記遺失物の所有者である目標乗員の身分情報として特定してもよいか、又は、さらに候補乗員と遺失物の現れ時間との一致の結果に基づいて該候補乗員が目標乗員であるかを決定してもよい。前記候補乗員が複数人の場合、候補乗員が前記キャビン内に入った時間、及び前記キャビン内から離れた時間に基づいて複数の候補乗員をスクリーニングし、前記遺失物の所有者である目標乗員の身分情報を特定してもよい。この例では、前記キャビン内のビデオストリームに対して乗員を検出することにより、乗員が前記キャビン内に入った時間及び前記キャビン内から離れた時間を決定してもよい。
この例では、前記関連領域の顔認識結果に基づいて前記遺失物についての候補乗員を決定し、前記候補乗員のうちの、前記キャビン内に入った時間が前記ビデオストリームに前記遺失物が初めて現れた時間よりも早いか又は同時間であり、かつ、前記キャビン内から離れた時間が前記ビデオストリームに前記遺失物が初めて現れた時間よりも後である乗員から、前記遺失物の所有者である目標乗員の身分情報を特定することにより、キャビン内のビデオストリームに遺失物と目標乗員とが現れ時間の一致度をさらに高めることができるので、特定された目標乗員の身分情報の正確性を向上させることができる。
一例では、前記キャビン内に入った時間が前記ビデオストリームに前記遺失物が初めて現れた時間よりも早いか又は同時間であり、かつ、前記キャビン内から離れた時間が前記ビデオストリームに前記遺失物が初めて現れた時間よりも後である候補乗員のうち、体の部位が前記遺失物に接触した乗員が複数いる場合、前記遺失物に最も早く接触した候補乗員の身分情報を、前記遺失物の所有者である目標乗員の身分情報として特定してもよい。別の一例では、前記キャビン内に入った時間が前記ビデオストリームに前記遺失物が初めて現れた時間よりも早いか又は同時間であり、かつ、前記キャビン内から離れた時間が前記ビデオストリームに前記遺失物が初めて現れた時間よりも後である候補乗員のうち、体の部位が前記遺失物に接触した乗員が複数いる場合、前記遺失物に接触する時間が最も長い候補乗員の身分情報を、前記遺失物の所有者である目標乗員の身分情報として特定してもよい。又は、前記キャビン内に入った時間が前記ビデオストリームに前記遺失物が初めて現れた時間よりも早いか又は同時間であり、かつ、前記キャビン内から離れた時間が前記ビデオストリームに前記遺失物が初めて現れた時間よりも後である候補乗員のうち、体の部位が前記遺失物に接触した乗員が複数いる場合、遺失物の所有者である乗員の性別、年齢等の特徴に関連する遺失物の他の属性情報に基づいて遺失物の所有者である目標乗員をさらに判別することができる。例えば、検出された遺失物が女性用のショルダーバッグである場合、当該遺失物は体の部位が当該遺失物に接触した男性乗員と女性乗員のうちの女性乗員の遺失物である確率は、男性乗員の遺失物である確率よりも高い。
この実施形態の別の一例としては、前記キャビン内における前記遺失物の位置、及び乗員の体の少なくとも1つの部位が前記キャビン内にある位置に基づいて、前記遺失物の所有者である目標乗員を特定し、前記目標乗員に対して顔認識を行うことにより、前記目標乗員の身分情報を取得してもよい。例えば、乗員Aが前記キャビン内に入ったときに遺失物Bを持つ(例えば乗員Aが乗車時に遺失物Bを手持ちしていた等)場合、遺失物Bの所有者である目標乗員が乗員Aであると決定することができる。
可能な一実施形態では、遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定することは、遺失物が検出されたことに応じて、前記キャビン内のビデオストリームに前記遺失物が初めて現れた時間に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定することを含む。
この実施形態では、自家用車、ネット配車、カーシェアリング用車等の、前記キャビン内に同時に現れる乗員数が少ない応用場面については、前記キャビン内のビデオストリームに前記遺失物が初めて現れた時間のみを考慮し、前記キャビン内のビデオストリームに前記遺失物が初めて現れた時間に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定してもよい。この実施形態によれば、前記遺失物の所有者である目標乗員の身分情報を迅速かつ便利に特定することができる。
当然、他の実施形態では、自家用車、ネット配車、カーシェアリング用車等の応用場面については、前記キャビン内のビデオストリームに前記遺失物が初めて現れた時間を考慮するとともに、前記キャビン内における前記遺失物の位置を考慮してもよい。例えば、自家用車に複数の乗員がいる場合、前記キャビン内のビデオストリームに前記遺失物が初めて現れた時間及び前記キャビン内における前記遺失物の位置を同時に考慮することにより、遺失物の所有者である目標乗員を正確に特定することができる。又は、ネット配車の相乗り場面では、前記キャビン内のビデオストリームに前記遺失物が初めて現れた時間及び前記キャビン内における前記遺失物の位置を同時に考慮することにより、遺失物の所有者である目標乗員(相乗り利用者又は運転手)を正確に特定することができる。
この実施形態の一例としては、前記した、前記キャビン内のビデオストリームに前記遺失物が初めて現れた時間に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定することは、利用者の身分情報と、対応する利用時間とを含む前記乗り物の利用履歴を取得することと、前記利用履歴に基づいて、対応する利用時間と、前記ビデオストリームに前記遺失物が初めて現れた時間とが一致する目標利用者の身分情報を特定することと、前記目標利用者の身分情報を、前記遺失物の所有者である目標乗員の身分情報として特定することとを含む。
例えば、ネット配車の応用場面では、前記乗り物はネット配車であってもよく、前記乗り物の利用履歴は前記ネット配車の注文履歴であってもよく、利用者は乗客であってもよく、対応する利用時間は乗客が前記ネット配車に乗っていた時間であってもよい。ネット配車の注文履歴を取得し、前記ネット配車の注文履歴に基づいて、前記ネット配車に乗っていた時間と、前記ビデオストリームに前記遺失物が初めて現れた時間とが一致する対象乗客の身分情報を特定し、前記対象乗客の身分情報を、前記遺失物の所有者である目標乗員の身分情報として特定する。これにより、ネット配車に前記遺失物の所有者である乗客の身分情報を正確に特定することができる。当然、ネット配車の応用場面では、目標乗員は前記ネット配車の運転手であってもよい。
又は、カーシェアリング用車の応用場面では、前記乗り物はカーシェアリング用車であってもよく、前記乗り物の利用履歴は前記カーシェアリング用車の賃借履歴であってもよく、利用者は賃借人であり、対応する利用時間は賃借人が前記カーシェアリング用車を賃借していた時間であってもよい。カーシェアリング用車の賃借履歴を取得し、前記カーシェアリング用車の賃借履歴に基づいて、前記カーシェアリング用車を賃借していた時間と、前記ビデオストリームに前記遺失物が初めて現れた時間とが一致する目標賃借人の身分情報を特定し、前記目標賃借人の身分情報を、前記遺失物の所有者である目標乗員の身分情報として特定する。これにより、カーシェアリング用車に前記遺失物を遺失した賃借人の身分情報を正確に特定することができる。当然、カーシェアリング用車の応用場面では、目標乗員は前記カーシェアリング用車の運営会社のスタッフ等であってもよい。
又は、自家用車の応用場面では、自家用車の車所有者は家族又は友人等による運転を許すことがある。自家用車の利用履歴を取得することにより、自家用車の利用時間と、前記ビデオストリームに前記遺失物が初めて現れた時間とが一致する目標利用者の身分情報を特定することができる。これにより、前記自家用車に前記遺失物を遺失した家族又は友人の身分情報を正確に特定することができる。
この例では、前記乗り物の利用履歴を取得し、前記利用履歴に基づいて、対応する利用時間と、前記ビデオストリームに前記遺失物が初めて現れた時間とが一致する目標利用者の身分情報を特定し、前記目標利用者の身分情報を、前記遺失物の所有者である目標乗員の身分情報として特定する。これにより、前記乗り物の利用履歴を効果的に利用することによって、目標乗員の身分情報をより迅速かつ正確に特定することができるので、登録して乗り物を利用している場面では、遺失物の所有者である目標乗員への通知情報を早速かつ正確に生成することができる。
可能な一実施形態では、前記遺失物の通知方法は、前記した、乗り物のキャビン内に対して遺失物の検出を行う前に、乗員が前記キャビン内に入ったときの画像および/またはビデオを取得することと、前記乗員が前記キャビン内に入ったときの画像および/またはビデオに基づいて、前記乗員が持つ物品の情報を検出することと、前記乗員が持つ物品の情報と前記乗員の身分情報とを関連付けることと、をさらに含み、前記した、遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定することは、遺失物が検出されたことに応じて、前記遺失物に関連付けられた乗員の身分情報を、前記遺失物の所有者である目標乗員の身分情報として特定することを含む。
この実施形態では、前記キャビン内に設置されたカメラによって、乗員が前記キャビンに入ったときの画像および/またはビデオを取得してもよいし、前記乗り物のキャビン外に設置されたカメラによって、乗員が前記キャビンに入ったときの画像および/またはビデオを取得してもよい。
この実施形態では、前記乗員が持つ物品の情報は、前記乗員が持つ物品の画像、前記乗員が持つ物品の画像から抽出された特徴情報、前記乗員が持つ物品の種類、及び前記乗員が持つ物品の属性(例えば色、大きさ、模様の1つ又は複数)等のうちの少なくとも1つを含んでもよい。
この実施形態では、前記乗員の情報は前記乗員の身分情報および/または前記乗員の顔情報等のうちの少なくとも1つを含んでもよい。前記乗員の顔情報は前記乗員の顔画像および/または顔特徴を含んでもよい。
この実施形態では、乗員が前記キャビンに入ったときの画像および/またはビデオを取得し、前記乗員が前記キャビン内に入ったときの画像および/またはビデオに基づいて、前記乗員が持つ物品の情報を検出し、前記乗員が持つ物品の情報と前記乗員の身分情報とを関連付け、遺失物が検出されたことに応じて、前記遺失物に関連付けられた乗員の身分情報を、前記遺失物の所有者である目標乗員の身分情報として特定することにより、遺失が発生したとき、遺失物の所有者である目標乗員の身分情報を迅速かつ正確に特定することができる。
可能な一実施形態では、前記した、前記身分情報に基づいて通知情報を生成することは、前記身分情報に基づいて第1通知情報を生成することを含み、前記遺失物の通知方法は、前記した、前記身分情報に基づいて通知情報を生成した後に、前記身分情報に対応する目標端末に前記第1通知情報を送信することをさらに含む。
この実施形態では、前記身分に対応する目標端末は前記目標乗員の端末であってもよい。例えば、前記目標端末は前記目標乗員の携帯電話、タブレット、ウェアラブルスマートデバイス等であってもよい。この実施形態では、前記身分に対応する目標端末に前記第1通知情報に送信することにより、乗り物において遺失物を遺失したことを目標乗員に早速知らせることができる。
この実施形態の一例としては、前記遺失物の情報に基づいて、前記第1通知情報を生成してもよい。例えば、前記遺失物の種類、画像、位置等のうちの少なくとも1つに基づいて、前記第1通知情報を生成してもよい。これにより、目標乗員に遺失物の直感的な情報を知らせることができるので、目標乗員が乗り物に戻って遺失物を取り返すかを迅速に判断することに寄与できる。
可能な一実施形態では、前記した、前記身分情報に基づいて通知情報を生成することは、前記身分情報及び前記遺失物の情報に基づいて、第2通知情報を生成することを含み、前記遺失物の通知方法は前記身分情報に基づいて通知情報を生成した後に、前記乗り物に接続される管理端末および/または前記乗り物に接続される管理サーバーに前記第2通知情報を送信することをさらに含む。
この実施形態では、前記遺失物の情報は前記遺失物の種類、画像、位置等のうちの少なくとも1つを含んでもよい。この実施形態では、前記乗り物に接続される管理端末は前記乗り物の運営会社の関連端末(例えば運営会社のスタッフの端末)等であってもよく、前記乗り物に接続される管理サーバーは前記乗り物の運営会社が運営するプラットフォームのサーバー等であってもよい。
この実施形態では、前記乗り物に接続される管理端末および/または前記乗り物に接続される管理サーバーに前記第2通知情報を送信することにより、目標乗員が遺失物を早速に取り返さなかった場合、管理者(例えば運営会社)により目標乗員に早速に知らせるか、又は目標乗員の遺失物を早速に預かることができる。
この実施形態の一例としては、前記した、前記身分情報及び前記遺失物の情報に基づいて、第2通知情報を生成することは、前記乗り物のID情報、前記目標乗員の乗車場所及び前記目標乗員の下車場所のうちの少なくとも1つ、前記身分情報及び前記遺失物の情報に基づいて、第2通知情報を生成することを含む。
この実施形態では、前記乗り物のID情報は、前記乗り物を一意に識別できる情報であってもよい。例えば、前記乗り物のID情報は前記乗り物のナンバープレートの番号、前記乗り物のコード、前記乗り物の運転手の身分証明書番号、前記乗り物の運転手の電話番号等のうちの1つであってもよい。
この実施形態では、前記キャビン内のビデオストリームから、目標乗員が初めて現れたビデオフレーム及び目標乗員が最後に現れたビデオフレームを決定し、目標乗員が初めて現れたビデオフレームの時間に基づいて目標乗員の乗車時間を決定し、目標乗員が最後に現れたビデオフレームの時間に基づいて、目標乗員の下車時間を決定してもよい。前記乗車時間に前記乗り物が位置する地理位置情報に基づいて、前記目標乗員の乗車場所を決定することができる。前記下車時間に前記乗り物が位置する地理位置情報に基づいて、前記目標乗員の下車場所を決定することができる。
この実施形態では、前記乗り物のID情報、前記目標乗員の乗車場所及び前記目標乗員の下車場所のうちの少なくとも1つ、前記身分情報及び前記遺失物の情報に基づいて、第2通知情報を生成することにより、前記乗り物の管理者(例えば運営会社)が前記遺失物のより多くの関連情報を記録することに有利であるので、目標乗員の見つかり及び遺失物の管理に寄与できる。
可能な一実施形態では、前記した、前記身分情報に基づいて通知情報を生成することは、前記目標乗員が前記乗り物の運転手ではない場合、前記身分情報及び前記遺失物の情報に基づいて、第3通知情報を生成することを含み、前記遺失物の通知方法は前記乗り物の運転手の端末に前記第3通知情報を送信することをさらに含むこと、および/または、前記した、前記身分情報に基づいて通知情報を生成することは、前記身分情報に基づいて第4通知情報を生成することを含み、前記遺失物の通知方法は、前記キャビン内に設置された車載デバイスが前記第4通知情報を出力するように制御する制御情報を生成することをさらに含む。
この実施形態の一例としては、前記車載デバイスはスピーカーを含んでもよく、前記第4通知情報は目標乗員が遺失物を取り返すように通知するための音声を含んでもよく、通知音をさらに含んでもよい。例えば、目標乗員が遺失物を取り返すように通知するための音声は「XX様、ご携帯電話は車両に忘れられたようで、できる限り早くお取り返しください」というようなものであってもよい。
この実施形態の一例としては、前記車載デバイスは表示用スクリーンを含んでもよい。前記表示用スクリーンは上記制御情報を受信した後に、点滅、動画の再生、テキストの再生などの方式で前記第4通知情報を出力してもよい。
この実施形態では、前記目標乗員が前記乗り物の運転手ではない場合、前記身分情報及び前記遺失物の情報に基づいて第3通知情報を生成し、前記乗り物の運転手の端末に前記第3通知情報を送信する。これにより、前記乗り物の運転手に目標乗員の前記遺失物をしばらく保管するよう通知することができる。前記身分情報に基づいて第4通知情報を生成し、前記キャビン内に設置された車載デバイスが前記第4通知情報を出力するように制御する制御情報を生成する。これを踏まえて、前記キャビン内の乗員に通知することができ、キャビン内の乗員ができる限り早く適切な安全保管措置を講じて、物品紛失のリスクを低減することができる。
可能な一実施形態では、前記遺失物の通知方法は、前記目標乗員が前記キャビン内から離れたことに応じて、前記乗り物の指示ランプが制御情報に応じて点滅するように前記指示ランプの点滅を制御する制御情報を生成することをさらに含む。この実施形態によれば、前記キャビン内から離れたばかりの目標乗員が前記キャビン内に戻して物品を取り返すように通知することができる。
可能な一実施形態では、前記遺失物の通知方法は、前記した、前記身分に対応する目標端末に第1通知情報を送信した後に、前記目標端末から返信された繰り返し通知請求を受信したことに応じて、繰り返し通知情報を生成することをさらに含む。この実施形態では、前記目標端末から返信された繰り返し通知請求を受信したことに応じて、繰り返し通知情報を生成することにより、目標乗員が短時間内に前記キャビン内に早速戻って遺失物を取り返すことができない場合、再通知することにより、乗員の財産安全をさらに守ることができる。
この実施形態の一例としては、前記遺失物の通知方法は、前記した、繰り返し通知情報を生成した後に、現在時間と前記第1通知情報の送信時間との時間の間隔が第1予め決められた時間に達したことに応じて、前記目標端末に前記繰り返し通知情報を送信することと、現在時間と前記繰り返し通知請求の受信時間との時間の間隔が第2予め決められた時間に達したことに応じて、前記目標端末に前記繰り返し通知情報を送信することと、現在時間と前記第1通知情報の送信時間との時間の間隔が第1予め決められた時間に達し、かつ前記遺失物が前記キャビン内から取り出されていないことが検出されたことに応じて、前記目標端末に前記繰り返し通知情報を送信することと、現在時間と前記繰り返し通知請求の受信時間との時間の間隔が第2予め決められた時間に達し、かつ前記遺失物が前記キャビン内から取り出されていないことが検出されたことに応じて、前記目標端末に前記繰り返し通知情報を送信することとのうちの少なくとも1つをさらに含む。
この例では、第1予め決められた時間及び第2予め決められた時間はデフォルト時間であってもよいし、目標乗員が設定した時間であってもよい。例えば、第1予め決められた時間及び第2予め決められた時間は30分間、1時間等であってもよい。この例では、前記遺失物が前記キャビン内から取り出されたことが検出されたことに応じて、繰り返し通知をキャンセルしてもよい。これにより通知効率を向上させ、不要な繰り返し通知を低減することができる。
この実施形態の一例としては、前記遺失物の通知方法は、前記した、繰り返し通知情報を生成した後に、前記目標乗員が前記キャビン内に戻したことに応じて、前記キャビン内に設置された車載デバイスが前記繰り返し通知情報を出力するように制御する制御情報を生成することをさらに含む。この例では、前記目標乗員が前記キャビン内に戻したことに応じて、前記キャビン内に設置された車載デバイスが前記繰り返し通知情報を出力するように制御する制御情報を生成することにより、前記目標乗員が前記キャビン内に戻した後に前記目標乗員を早速通知することができる。
一例では、前記した、前記目標乗員が前記キャビン内に戻したことに応じて、前記キャビン内に設置された車載デバイスが前記繰り返し通知情報を出力するように制御する制御情報を生成することは、前記目標乗員が前記キャビン内に戻したことに応じて、前記遺失物の種類および/または位置に基づいて、前記キャビン内に設置された車載デバイスが前記繰り返し通知情報を出力するように制御する制御情報を生成することを含んでもよい。例えば、遺失物の種類が財布、遺失物の位置が後列席の前側フロアである場合、前記車載デバイスによって「後列席の前側フロアに遺失された財布があります」という音声情報を送信することができる。
可能な一実施形態では、前記遺失物の通知方法は、前記乗り物のインフォテインメントによって第1通知設定請求を受け付けることと、前記第1通知設定請求に基づいて、通知が不要な物品種類と、通知が必要な物品種類と、繰り返し通知が必要な物品種類とのうちの少なくとも1つを設定することとをさらに含む。例えば、ユーザは前記インフォテインメントにより、ディッシュ、ボトルを通知が不要な物品種類と設定し、財布、携帯電話、ブリーフケースを通知が必要な物品種類と設定し、携帯電話を繰り返し通知が必要な物品種類と設定することができる。この実施形態によれば、ユーザは自分のニーズに応じて、インフォテインメントにより通知不要、通知必要、繰り返し通知必要の遺失物の種類を柔軟に設定することができる。
この実施形態の一例としては、前記第1通知設定請求に基づいて通知が不要な物品種類と、通知が必要な物品種類と、繰り返し通知が必要な物品種類とのうちの少なくとも1つを設定した後に、ユーザは自分のニーズに応じて、改めてインフォテインメント又は目標端末により設定を変更することができる。例えば、ユーザはインフォテインメントによりボトルを通知が不要な物品種類と設定した後に、設定を変更したい場合、インフォテインメント又は携帯電話によりボトルを通知が必要な物品種類に再設定することができる。
可能な一実施形態では、前記遺失物の通知方法は、目標端末から返信された第2通知設定請求を受信することと、前記第2通知設定請求に基づいて、通知が不要な物品種類と、通知が必要な物品種類と、繰り返し通知が必要な物品種類とのうちの少なくとも1つを設定することとをさらに含む。この実施形態によれば、ユーザは自分のニーズに応じて、目標端末によって通知不要、通知必要、繰り返し通知必要の遺失物の種類を柔軟に設定することができる。
この実施形態の一例としては、前記第2通知設定請求に基づいて、通知が不要な物品種類と、通知が必要な物品種類と、繰り返し通知が必要な物品種類とのうちの少なくとも1つを設定した後に、ユーザは自分のニーズに応じて、改めてインフォテインメント又は目標端末によって設定を変更することができる。例えば、ユーザは携帯電話により傘を通知が必要な物品種類と設定した後に、設定を変更したい場合、インフォテインメント又は携帯電話により傘を通知が不要な物品種類に再設定することができる。
図2は自家用車の応用場面の模式図を示す。図2に示す例では、自家用車のキャビン内に設置されたカメラはキャビン内のビデオストリームを収集するために使用してもよい。前記カメラは前記キャビン内のビデオストリームをプロセッサに送信してもよい。プロセッサは前記キャビン内のビデオストリームに基づいて、前記キャビン内に対して遺失物の検出を行ってもよい。前記プロセッサは遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定してもよい。例えば、目標乗員が運転手である場合、前記プロセッサは前記身分情報に基づいて第1通知情報を生成し、運転手の携帯電話に前記第1通知情報を送信してもよい。例えば、自家用車の運転手は携帯電話により第1通知情報を受信した後に、車両に戻して遺失物(例えば財布)を取り返すことができる。前記プロセッサはさらに前記身分情報に基づいて第4通知情報を生成し、前記キャビン内に設置された車載デバイスが前記第4通知情報を出力するように制御する制御情報を生成してもよい。運転手の携帯電話はプロセッサに繰り返し通知請求をフィードバックしてもよい。プロセッサは前記目標端末から返信された繰り返し通知請求を受信したことに応じて、繰り返し通知情報を生成し、さらに、現在時間と前記第1通知情報の送信時間との時間の間隔が第1予め決められた時間に達し、かつ前記遺失物が前記キャビン内から取り出されていないことを検出したことに応じて、運転手の携帯電話に前記繰り返し通知情報を送信してもよい。運転手の携帯電話はさらにプロセッサに第2通知設定請求をフィードバックしてもよい。プロセッサは前記第2通知設定請求に基づいて、通知が不要な物品種類と、通知が必要な物品種類と、繰り返し通知が必要な物品種類とのうちの少なくとも1つを設定してもよい。例えば、前記第1通知情報により遺失物の種類がティッシュボックス及びボトルを含むことを通知した場合、運転手は第1通知情報を受信した後、携帯電話により第2通知設定請求をフィードバックし、ティッシュボックス及びボトルを通知が不要な物品種類と設定することができる。
図3はカーシェアリング用車の応用場面の模式図を示す。図3に示す例では、カーシェアリング用車のキャビン内に設置されたカメラはキャビン内のビデオストリームを収集するために使用してもよい。前記カメラは前記キャビン内のビデオストリームをプロセッサに送信してもよい。プロセッサは前記キャビン内のビデオストリームに基づいて、前記キャビン内に対して遺失物の検出を行ってもよい。前記プロセッサは遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定してもよい。例えば、目標乗員が運転手である場合、前記プロセッサは前記身分情報に基づいて第1通知情報を生成し、運転手の携帯電話に前記第1通知情報を送信してもよい。前記プロセッサはさらに前記身分情報に基づいて第4通知情報を生成し、前記キャビン内に設置された車載デバイスが前記第4通知情報を出力するように制御する制御情報を生成してもよい。前記プロセッサはさらに前記身分情報及び前記遺失物の情報に基づいて第2通知情報を生成し、前記カーシェアリング用車に接続される運営会社が運営するプラットフォームのサーバーに前記第2通知情報を送信してもよい。カーシェアリング用車の運営会社のスタッフは前記第2通知情報に基づいて、遺失物をしばらく取り返すことのできない目標乗員のために前記遺失物を保管することができ、これで目標乗員が都合の良いときに遺失物を取り返すことができる。
図4はネット配車の応用場面の模式図を示す。図4に示す例では、ネット配車のキャビン内に設定されたカメラはキャビン内のビデオストリームを収集するために使用してもよい。前記カメラは前記キャビン内のビデオストリームをプロセッサに送信してもよい。プロセッサは前記キャビン内のビデオストリームに基づいて、前記キャビン内に対して遺失物の検出を行ってもよい。前記プロセッサは遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定してもよい。前記目標乗員が乗客である場合、前記プロセッサは前記身分情報に基づいて第1通知情報を生成し、乗客の携帯電話に前記第1通知情報を送信してもよい。前記プロセッサはさらに前記身分情報及び前記遺失物の情報に基づいて第3通知情報を生成し、前記ネット配車の運転手の携帯電話に第3通知情報を送信することにより、前記ネット配車の運転手に乗客の遺失物を保管するように通知する。前記プロセッサはさらに前記身分情報に基づいて第4通知情報を生成し、前記キャビン内に設置された車載デバイスが前記第4通知情報を出力するように制御する制御情報を生成してもよい。前記プロセッサはさらに前記身分情報及び前記遺失物の情報に基づいて第2通知情報を生成し、前記ネット配車に接続される運営会社が運営するプラットフォームのサーバーに前記第2通知情報を送信してもよい。
なお、自家用車、カーシェアリング用車、ネット配車のほか、本開示の実施例は他の乗り物にも適用できる。例えば、公共運営の乗り物(鉄道公共交通車両を含むが、これに限定されない)、船舶などに適用できるが、本発明はこれに限定されない。
本開示で言及される上記各方法の実施例は、原理と論理に違反しない限り、相互に組み合わせて実施例を形成することができることが理解すべきである。紙数に限りがあるので、本開示では詳細な説明を省略する。具体的な実施形態の上記方法において、各ステップの具体的な実行順番はその機能と、あり得る内部ロジックとにより決定すべきであることが、当業者に理解できる。
また、本開示は遺失物の通知装置、電子機器、コンピュータ可読な記憶媒体、プログラムをさらに提供する。これらのいずれも本開示に係る遺失物の通知方法のいずれか1つを実現するために利用可能であり、対応する技術的手段及び説明については、方法の対応する記載を参照すればよく、詳細な説明は省略する。
図5は本開示の実施例に係る遺失物の通知装置のブロック図を示す。図5に示すように、前記遺失物の通知装置は、乗り物のキャビン内に対して遺失物の検出を行う第1検出モジュール51と、遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定する特定モジュール52と、前記身分情報に基づいて通知情報を生成する第1生成モジュール53と、を備える。
可能な一実施形態では、前記特定モジュール52は、遺失物が検出されたことに応じて、前記キャビン内における前記遺失物の位置を特定し、前記キャビン内における前記遺失物の位置に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定する。
可能な一実施形態では、前記特定モジュール52は、前記キャビン内における前記遺失物の位置に基づいて、前記キャビン内の前記遺失物の関連領域を特定し、前記キャビン内のビデオストリームに基づいて、前記関連領域に対して顔認識を行い、前記関連領域の顔認識結果を取得し、前記関連領域の顔認識結果に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定する。
可能な一実施形態では、前記特定モジュール52は、前記キャビン内のビデオストリームに前記遺失物が初めて現れた時間に基づいて、前記ビデオストリームから目標ビデオフレームを決定し、前記目標ビデオフレームの関連領域に対して顔認識を行い、前記関連領域の顔認識結果を取得する。
可能な一実施形態では、前記特定モジュール52は、前記関連領域の顔認識結果に基づいて、前記遺失物についての候補乗員を決定し、前記候補乗員のうちの、前記キャビン内に入った時間が前記ビデオストリームに前記遺失物が初めて現れた時間よりも早いか又は同時間であり、かつ、前記キャビン内から離れた時間が前記ビデオストリームに前記遺失物が初めて現れた時間よりも後である乗員から、前記遺失物の所有者である目標乗員の身分情報を特定する。
可能な一実施形態では、前記特定モジュール52は、遺失物が検出されたことに応じて、前記キャビン内のビデオストリームに前記遺失物が初めて現れた時間に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定する。
可能な一実施形態では、前記特定モジュール52は、利用者の身分情報と、対応する利用時間とを含む前記乗り物の利用履歴を取得し、前記利用履歴に基づいて、対応する利用時間と、前記ビデオストリームに前記遺失物が初めて現れた時間とが一致する目標利用者の身分情報を特定し、前記目標利用者の身分情報を、前記遺失物の所有者である目標乗員の身分情報として特定する。
可能な一実施形態では、前記遺失物の通知装置は、乗員が前記キャビン内に入ったときの画像および/またはビデオを取得するための取得モジュールと、前記乗員が前記キャビン内に入ったときの画像および/またはビデオに基づいて、前記乗員が持つ物品の情報を検出するための第2検出モジュールと、前記乗員が持つ物品の情報と前記乗員の身分情報とを関連付けるための関連付けモジュールとをさらに備え、前記特定モジュール52は、遺失物が検出されたことに応じて、前記遺失物に関連付けられた乗員の身分情報を、前記遺失物の所有者である目標乗員の身分情報として特定する。
可能な一実施形態では、前記第1生成モジュール53は、前記身分情報に基づいて第1通知情報を生成し、前記遺失物の通知装置は、前記身分情報に対応する目標端末に前記第1通知情報を送信するための第1送信モジュールをさらに備える。
可能な一実施形態では、前記第1生成モジュール53は、前記身分情報及び前記遺失物の情報に基づいて、第2通知情報を生成し、前記遺失物の通知装置は、前記乗り物に接続される管理端末および/または前記乗り物に接続される管理サーバーに前記第2通知情報を送信するための第2送信モジュールをさらに備える。
可能な一実施形態では、前記第1生成モジュール53は、前記乗り物のID情報、前記目標乗員の乗車場所及び前記目標乗員の下車場所のうちの少なくとも1つ、前記身分情報及び前記遺失物の情報に基づいて、第2通知情報を生成する。
可能な一実施形態では、前記第1生成モジュール53は、前記目標乗員が前記乗り物の運転手ではない場合、前記身分情報及び前記遺失物の情報に基づいて、第3通知情報を生成し、前記遺失物の通知装置は、前記乗り物の運転手の端末に前記第3通知情報を送信するための第3送信モジュールをさらに備えること、および/または、前記第1生成モジュール53は、前記身分情報に基づいて第4通知情報を生成し、前記遺失物の通知装置は、前記キャビン内に設置された車載デバイスが前記第4通知情報を出力するように制御する制御情報を生成するための第1制御モジュールをさらに備える。
可能な一実施形態では、前記遺失物の通知装置は、前記目標端末から返信された繰り返し通知請求を受信したことに応じて、繰り返し通知情報を生成するための第2生成モジュールをさらに備える。
可能な一実施形態では、前記遺失物の通知装置は、現在時間と前記第1通知情報の送信時間との時間の間隔が第1予め決められた時間に達したことに応じて、前記目標端末に前記繰り返し通知情報を送信することと、現在時間と前記繰り返し通知請求の受信時間との時間の間隔が第2予め決められた時間に達したことに応じて、前記目標端末に前記繰り返し通知情報を送信することと、現在時間と前記第1通知情報の送信時間との時間の間隔が第1予め決められた時間に達し、かつ前記遺失物が前記キャビン内から取り出されていないことを検出したことに応じて、前記目標端末に前記繰り返し通知情報を送信することと、現在時間と前記繰り返し通知請求の受信時間との時間の間隔が第2予め決められた時間に達し、かつ前記遺失物が前記キャビン内から取り出されていないことを検出したことに応じて、前記目標端末に前記繰り返し通知情報を送信することとのうちの少なくとも1つに用いられる第4送信モジュールをさらに備える。
可能な一実施形態では、前記遺失物の通知装置は、前記目標乗員が前記キャビン内に戻したことに応じて、前記キャビン内に設置された車載デバイスが前記繰り返し通知情報を出力するように制御する制御情報を生成するための第2制御モジュールをさらに備える。
可能な一実施形態では、前記遺失物の通知装置は、前記乗り物のインフォテインメントによって第1通知設定請求を受け付けるための第1接收モジュールと、前記第1通知設定請求に基づいて、通知が不要な物品種類と、通知が必要な物品種類と、繰り返し通知が必要な物品種類とのうちの少なくとも1つを設定するための第1設定モジュールとをさらに備える。
可能な一実施形態では、前記遺失物の通知装置は、目標端末から返信された第2通知設定請求を受信するための第2接收モジュールと、前記第2通知設定請求に基づいて、通知が不要な物品種類と、通知が必要な物品種類と、繰り返し通知が必要な物品種類とのうちの少なくとも1つを設定するための第2設定モジュールとをさらに備える。
本開示の実施例では、乗り物のキャビン内に対して遺失物の検出を行い、遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定し、前記身分情報に基づいて通知情報を生成することにより、乗り物のキャビン内の遺失物の所有者である乗員の身分情報に基づいて通知し、目標指向性を持て遺失物の通知を行うことが可能であるので、遺失物の通知効果を向上させ、乗員の財産安全保障を高めることができる。
いくつかの実施例では、本開示の実施例で提供された装置が備えた機能又はモジュールは、上記方法実施例に記載の方法を実行するために用いられることができる。具体的な実施形態及び技術的効果については上記方法実施例の説明を参照すればよく、簡潔化するために、ここで重複説明は割愛する。
本開示の実施例は、コンピュータプログラム命令が記憶されているコンピュータ可読な記憶媒体において、前記コンピュータプログラム命令がプロセッサによって実行されると、上記の方法を実現するコンピュータ可読な記憶媒体をさらに提供する。前記コンピュータ可読な記憶媒体は非揮発性コンピュータ可読な記憶媒体であってもよいし、揮発性コンピュータ可読な記憶媒体であってもよい。
本開示の実施例は、コンピュータ可読なコードを含むコンピュータプログラム製品であって、前記コンピュータ可読なコードが電子機器において実行されると、前記電子機器のプロセッサが上記の方法を実現するための命令を実行させるコンピュータプログラムをさらに提供する
本開示の実施例は、コンピュータ可読な命令を記憶するためのコンピュータプログラム製品であって、命令が実行されると、コンピュータに上記実施例のいずれかに係る遺失物の通知方法の動作を実行させる別のコンピュータプログラム製品をさらに提供する。
本開示の実施例は、1つまたは複数のプロセッサと、実行可能な命令を記憶するメモリと、を含む電子機器であって、前記1つまたは複数のプロセッサは、前記メモリに記憶される実行可能な命令を呼び出すことにより、上記方法を実行するように構成される電子機器をさらに提供する。
電子機器は、端末、サーバー又は他の形態の装置として提供されてもよい。例えば、電子機器は車室内のインフォテインメント又はドメインコントローラーであってもよいし、OMS又はDMSにおける画像等のデータ処理操作を実行するためのホストなどであってもよい。
図6は、は本開示の実施例に係る電子機器800のブロック図を示す。例えば、装置800は携帯電話、コンピュータ、デジタル放送端末、メッセージ送受信機器、ゲームコンソール、タブレット型機器、医療機器、フィットネス機器、パーソナル・デジタル・アシスタント等の端末であってよい。
図6を参照すると、電子機器800は処理コンポーネント802、メモリ804、電源コンポーネント806、マルチメディアコンポーネント808、オーディオコンポーネント810、入力/出力(I/O)インタフェース812、センサコンポーネント814、及び通信コンポーネント816のうちの一つ以上を含んでもよい。
処理コンポーネント802は通常、電子機器800の全体的な動作、例えば表示、電話の呼び出し、データ通信、カメラ動作及び記録動作に関連する動作を制御する。処理コンポーネント802は、上記方法の全てまたは一部のステップを実行するために、命令を実行する一つ以上のプロセッサ820を含んでもよい。また、処理コンポーネント802は、他のコンポーネントとのインタラクションのための一つ以上のモジュールを含んでもよい。例えば、処理コンポーネント802は、マルチメディアコンポーネント808とのインタラクションのために、マルチメディアモジュールを含んでもよい。
メモリ804は、電子機器800での動作をサポートするための様々なタイプのデータを記憶するように構成される。これらのデータは、例として、電子機器800において操作するあらゆるアプリケーションプログラムまたは方法の命令、連絡先データ、電話帳データ、メッセージ、ピクチャー、ビデオなどを含む。メモリ804は、例えば静的ランダムアクセスメモリ(SRAM)、電気的消去可能プログラマブル読み取り専用メモリ(EEPROM)、消去可能なプログラマブル読み取り専用メモリ(EPROM)、プログラマブル読み取り専用メモリ(PROM)、読み取り専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、磁気ディスクまたは光ディスクなどの様々なタイプの揮発性または不揮発性記憶装置またはそれらの組み合わせによって実現できる。
電源コンポーネント806は電子機器800の各コンポーネントに電力を供給する。電源コンポーネント806は電源管理システム、一つ以上の電源、及び電子機器800のための電力生成、管理及び配分に関連する他のコンポーネントを含んでもよい。
マルチメディアコンポーネント808は前記電子機器800とユーザとの間で出力インタフェースを提供するスクリーンを含む。いくつかの実施例では、スクリーンは液晶ディスプレイ(LCD)及びタッチパネル(TP)を含んでもよい。スクリーンがタッチパネルを含む場合、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。タッチパネルは、タッチ、スライド及びタッチパネルでのジェスチャを検出するために、一つ以上のタッチセンサを含む。前記タッチセンサはタッチまたはスライド動きの境界を検出するのみならず、前記タッチまたはスライド操作に関する持続時間及び圧力を検出するようにしてもよい。いくつかの実施例では、マルチメディアコンポーネント808は前面カメラ及び/または背面カメラを含む。電子機器800が動作モード、例えば撮影モードまたは撮像モードになる場合、前面カメラ及び/または背面カメラは外部のマルチメディアデータを受信するようにしてもよい。各前面カメラ及び背面カメラは、固定された光学レンズ系、または焦点距離及び光学ズーム能力を有するものであってもよい。
オーディオコンポーネント810はオーディオ信号を出力及び/または入力するように構成される。例えば、オーディオコンポーネント810は、一つのマイク(MIC)を含み、マイク(MIC)は、電子機器800が動作モード、例えば呼び出しモード、記録モードまたは音声認識モードになる場合、外部のオーディオ信号を受信するように構成される。受信されたオーディオ信号はさらにメモリ804に記憶されるか、または通信コンポーネント816を介して送信されてもよい。いくつかの実施例では、オーディオコンポーネント810はさらに、オーディオ信号を出力するためのスピーカーを含む。
I/Oインタフェース812は処理コンポーネント802と周辺インタフェースモジュールとの間でインタフェースを提供し、上記周辺インタフェースモジュールはキーボード、クリックホイール、ボタンなどであってもよい。これらのボタンはホームボタン、ボリュームボタン、スタートボタン及びロックボタンを含んでもよいが、これらに限定されない。
センサコンポーネント814は電子機器800の各面の状態評価のための一つ以上のセンサを含む。例えば、センサコンポーネント814は、電子機器800のオン/オフ状態、例えば電子機器800の表示装置及びキーパッドのようなコンポーネントの相対的位置決めを検出でき、センサコンポーネント814はさらに、電子機器800または電子機器800のあるコンポーネントの位置の変化、ユーザと電子機器800との接触の有無、電子機器800の方位または加減速及び電子機器800の温度変化を検出できる。センサコンポーネント814は、いかなる物理的接触もない場合に近傍の物体の存在を検出するように構成される近接センサを含む。センサコンポーネント814はさらに、相補型金属酸化膜半導体(CMOS)または電荷結合素子(CCD)イメージセンサのような、イメージングアプリケーションにおいて使用するための光センサを含んでもよい。いくつかの実施例では、該センサコンポーネント814はさらに、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサまたは温度センサを含んでもよい。
通信コンポーネント816は電子機器800と他の機器との間の有線または無線通信を実現するように構成される。電子機器800は通信規格に基づく無線ネットワーク、例えば無線ネットワーク(WiFi)、第2世代移動通信技術(2G)または第3世代移動通信技術(3G)、第4世代移動通信技術(4G)/LTE、第5世代移動通信技術(5G)またはそれらの組み合わせにアクセスできる。一例示的実施例では、通信コンポーネント816は放送チャネルを介して外部の放送管理システムからの放送信号または放送関連情報を受信する。一例示的実施例では、前記通信コンポーネント816はさらに、近距離通信を促進させるために、近距離無線通信(NFC)モジュールを含む。例えば、NFCモジュールは無線周波数識別(RFID)技術、赤外線データ協会(IrDA)技術、超広帯域(UWB)技術、ブルートゥース(登録商標)(BT)技術及び他の技術によって実現できる。
例示的な実施例では、電子機器800は一つ以上の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサまたは他の電子要素によって実現され、上記方法を実行するために用いられることができる。
例示的な実施例では、さらに、不揮発性のコンピュータ可読な記憶媒体、例えばコンピュータプログラム命令を含むメモリ804が提供され、上記コンピュータプログラム命令は電子機器800のプロセッサ820によって実行されると、上記方法を実行させることができる。
図7は本開示の実施例に係る電子機器1900の別のブロック図である。例えば、電子機器1900はサーバとして提供されてもよい。図7を参照すると、電子機器1900は、一つ以上のプロセッサを含む処理コンポーネント1922、及び、処理コンポーネント1922によって実行可能な命令、例えばアプリケーションプログラムを記憶するための、メモリ1932を代表とするメモリ資源をさらに含む。メモリ1932に記憶されているアプリケーションプログラムは、それぞれが1つの命令群に対応する一つ以上のモジュールを含んでもよい。また、処理コンポーネント1922は、命令を実行することによって上記方法を実行するように構成される。
電子機器1900はさらに、電子機器1900の電源管理を実行するように構成される電源コンポーネント1926、電子機器1900をネットワークに接続するように構成される有線または無線ネットワークインタフェース1950、及び入出力(I/O)インタフェース1958を含んでもよい。電子機器1900はメモリ1932に記憶されているオペレーティングシステム、例えばマイクロソフトウィンドウズ(登録商標)サーバオペレーティングシステム(Windows ServerTM)、アップル社製グラフィカルユーザーインターフェースオペレーティングシステムMac OS XTM、コンピュータ用のマルチタスク・マルチユーザーのオペレーティングシステム(UnixTM)、フリーでオープンソースのUnix系のオペレーティングシステム(Linux(登録商標)TM)、オープンソースのUnix系のオペレーティングシステム(FreeBSDTM)または類似するものに基づいて動作できる。
例示的な実施例では、さらに、不揮発性のコンピュータ可読な記憶媒体、例えばコンピュータプログラム命令を含むメモリ1932が提供され、上記コンピュータプログラム命令は、電子機器1900の処理コンポーネント1922によって実行されると、上記方法を実行させることができる。
本開示はシステム、方法および/またはコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、プロセッサに本開示の各方面を実現させるためのコンピュータ可読プログラム命令を有しているコンピュータ可読な記憶媒体を含んでもよい。
コンピュータ可読な記憶媒体は、命令実行装置に使用される命令を保存及び記憶可能な実体のある装置であってもよい。コンピュータ可読な記憶媒体は例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置または上記の任意の適当な組み合わせであってもよいが、これらに限定されない。コンピュータ可読な記憶媒体のさらなる具体的な例(非網羅的リスト)としては、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去・プログラマブル可能な読み取り専用メモリ(EPROMまたはフラッシュメモリ)、静的ランダムアクセスメモリ(SRAM)、携帯型コンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、メモリスティック、フロッピーディスク、例えば命令が記憶されているせん孔カードまたはスロット内突起構造のような機械的符号化装置、及び上記の任意の適当な組み合わせを含む。ここで使用されるコンピュータ可読な記憶媒体は、一時的な信号自体、例えば無線電波または他の自由に伝播される電磁波、導波路または他の伝送媒体を経由して伝播される電磁波(例えば、光ファイバーケーブルを通過するパルス光)、または電線を経由して伝送される電気信号であると解釈されるものではない。
ここで記述したコンピュータ可読プログラム命令はコンピュータ可読な記憶媒体から各計算/処理機器にダウンロードされてもよいし、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、広域ネットワーク及び/または無線ネットワークを経由して外部のコンピュータまたは外部記憶装置にダウンロードされてもよい。ネットワークは銅伝送ケーブル、光ファイバー伝送、無線伝送、ルーター、ファイアウォール、交換機、ゲートウェイコンピュータ及び/またはエッジサーバを含んでもよい。各計算/処理機器内のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ読取可能プログラム命令を転送し、各計算/処理機器内のコンピュータ可読な記憶媒体に記憶させる。
本開示の動作を実行するためのコンピュータプログラム命令はアセンブラ命令、命令セットアーキテクチャ(ISA)命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、C++などのオブジェクト指向プログラミング言語及び「C」言語または類似するプログラミング言語などの一般的な手続き型プログラミング言語を含める一つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたは目標コードであってもよい。コンピュータ可読プログラム命令は、完全にユーザのコンピュータにおいて実行されてもよく、部分的にユーザのコンピュータにおいて実行されてもよく、スタンドアロンソフトウェアパッケージとして実行されてもよく、部分的にユーザのコンピュータにおいてかつ部分的にリモートコンピュータにおいて実行されてもよく、または完全にリモートコンピュータもしくはサーバにおいて実行されてもよい。リモートコンピュータに関与する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)または広域ネットワーク(WAN)を含む任意の種類のネットワークを経由してユーザのコンピュータに接続されてもよく、または、(例えばインターネットサービスプロバイダを利用してインターネットを経由して)外部コンピュータに接続されてもよい。いくつかの実施例では、コンピュータ可読プログラム命令の状態情報を利用して、例えばプログラマブル論理回路、フィールドプログラマブルゲートアレイ(FPGA)またはプログラマブル論理アレイ(PLA)などの電子回路をパーソナライズし、該電子回路によりコンピュータ可読プログラム命令を実行することにより、本開示の各方面を実現するようにしてもよい。
ここで本開示の実施例に係る方法、装置(システム)及びコンピュータプログラム製品のフローチャート及び/またはブロック図を参照しながら本開示の各態様を説明したが、フローチャート及び/またはブロック図の各ブロック、及びフローチャート及び/またはブロック図の各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令によって実現できることを理解すべきである。
これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサへ提供され、これらの命令がコンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行されると、フローチャート及び/またはブロック図の一つ以上のブロックにおいて指定された機能/動作を実現させるように、装置を製造してもよい。これらのコンピュータ可読プログラム命令は、コンピュータ可読な記憶媒体に記憶され、コンピュータ、プログラマブルデータ処理装置及び/または他の機器を決定の方式で動作させるようにしてもよい。これにより、命令が記憶されているコンピュータ可読な記憶媒体は、フローチャート及び/またはブロック図の一つ以上のブロックにおいて指定された機能/動作の各方面を実現する命令を有する製品を含む。
コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の機器にロードされ、コンピュータ、他のプログラマブルデータ処理装置または他の機器に一連の動作ステップを実行させることにより、コンピュータにより実施可能なプロセスを生成するようにしてもよい。このようにして、コンピュータ、他のプログラマブルデータ処理装置、または他の機器において実行される命令により、フローチャート及び/またはブロック図の一つ以上のブロックにおいて指定された機能/動作を実現する。
図面のうちフローチャート及びブロック図は、本開示の複数の実施例に係るシステム、方法及びコンピュータプログラム製品の実現可能なシステムアーキテクチャ、機能及び動作を示す。この点では、フローチャートまたはブロック図における各ブロックは一つのモジュール、プログラムセグメントまたは命令の一部分を代表することができ、前記モジュール、プログラムセグメントまたは命令の一部分は指定された論理機能を実現するための一つ以上の実行可能な命令を含む。いくつかの代替としての実現形態では、ブロックに表記される機能は、図面に付した順序と異なる順序で実現してもよい。例えば、連続的な二つのブロックは実質的に並行に実行してもよく、また、係る機能によって、逆な順序で実行してもよい場合がある。なお、ブロック図及び/またはフローチャートにおける各ブロック、及びブロック図及び/またはフローチャートにおけるブロックの組み合わせは、指定される機能または動作を実行するハードウェアに基づく専用システムによって実現してもよいし、または専用ハードウェアとコンピュータ命令との組み合わせによって実現してもよいことにも注意すべきである。
該コンピュータプログラム製品は、具体的に、ハードウェア、ソフトウェアまたはそれらの組み合わせによって実現できる。可能な一実施例では、前記コンピュータプログラム製品は、具体的にコンピュータ記憶媒体であってもよい。別の可能な一実施例では、コンピュータプログラム製品は、具体的に例えばソフトウェア開発キット(Software Development Kit、SDK)などのソフトウェア製品であってもよい。
以上、本開示の各実施例を記述したが、上記説明は例示的なものに過ぎず、網羅的なものではなく、かつ披露された各実施例に限定されるものでもない。当業者にとって、説明された各実施例の範囲及び精神から逸脱することなく、様々な修正及び変更が自明である。本明細書に選ばれた用語は、各実施例の原理、実際の適用または従来技術への技術的改善を好適に解釈するか、または他の当業者に本明細書に披露された各実施例を理解させるためのものである。
本願は、2020年8月31日に中国特許庁に出願された、出願番号が202010896526.8で、発明の名称「遺失物の通知方法、装置、電子機器及び記憶媒体」である中国特許出願の優先権を主張し、その全ての内容は援用することによって本願に組み込まれる。

Claims (21)

  1. 乗り物のキャビン内に対して遺失物の検出を行うことと、
    遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定することと、
    前記身分情報に基づいて通知情報を生成することと、
    を含むことを特徴とする遺失物の通知方法。
  2. 前記した、遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定することは、
    遺失物が検出されたことに応じて、前記キャビン内における前記遺失物の位置を特定することと、
    前記キャビン内における前記遺失物の位置に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定することと、を含むことを特徴とする請求項1に記載の遺失物の通知方法。
  3. 前記した、前記キャビン内における前記遺失物の位置に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定することは、
    前記キャビン内における前記遺失物の位置に基づいて、前記キャビン内の前記遺失物の関連領域を特定することと、
    前記キャビン内のビデオストリームに基づいて、前記関連領域に対して顔認識を行い、前記関連領域の顔認識結果を取得することと、
    前記関連領域の顔認識結果に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定することと、を含むことを特徴とする請求項2に記載の遺失物の通知方法。
  4. 前記した、前記キャビン内のビデオストリームに基づいて、前記関連領域に対して顔認識を行い、前記関連領域の顔認識結果を取得することは、
    前記キャビン内のビデオストリームに前記遺失物が初めて現れた時間に基づいて、前記ビデオストリームから目標ビデオフレームを決定することと、
    前記目標ビデオフレームの関連領域に対して顔認識を行い、前記関連領域の顔認識結果を取得することと、を含むことを特徴とする請求項3に記載の遺失物の通知方法。
  5. 前記した、前記関連領域の顔認識結果に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定することは、
    前記関連領域の顔認識結果に基づいて、前記遺失物についての候補乗員を決定することと、
    前記候補乗員のうちの、前記キャビン内に入った時間が前記ビデオストリームに前記遺失物が初めて現れた時間よりも早いか又は同時間であり、かつ、前記キャビン内から離れた時間が前記ビデオストリームに前記遺失物が初めて現れた時間よりも後である乗員から、前記遺失物の所有者である目標乗員の身分情報を特定することと、を含むことを特徴とする請求項4に記載の遺失物の通知方法。
  6. 前記した、遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定することは、
    遺失物が検出されたことに応じて、前記キャビン内のビデオストリームに前記遺失物が初めて現れた時間に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定することを含むことを特徴とする請求項1に記載の遺失物の通知方法。
  7. 前記した、前記キャビン内のビデオストリームに前記遺失物が初めて現れた時間に基づいて、前記遺失物の所有者である目標乗員の身分情報を特定することは、
    利用者の身分情報と、対応する利用時間とを含む前記乗り物の利用履歴を取得することと、
    前記利用履歴に基づいて、対応する利用時間と、前記ビデオストリームに前記遺失物が初めて現れた時間とが一致する目標利用者の身分情報を特定することと、
    前記目標利用者の身分情報を、前記遺失物の所有者である目標乗員の身分情報として特定することと、を含むことを特徴とする請求項6に記載の遺失物の通知方法。
  8. 乗員が前記キャビン内に入ったときの画像および/またはビデオを取得することと、
    前記乗員が前記キャビン内に入ったときの画像および/またはビデオに基づいて、前記乗員が持つ物品の情報を検出することと、
    前記乗員が持つ物品の情報と前記乗員の身分情報とを関連付けることとをさらに含み、
    前記した、遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定することは、
    遺失物が検出されたことに応じて、前記遺失物に関連付けられた乗員の身分情報を、前記遺失物の所有者である目標乗員の身分情報として特定することを含むことを特徴とする請求項1~7のいずれか1項に記載の遺失物の通知方法。
  9. 前記した、前記身分情報に基づいて通知情報を生成することは、前記身分情報に基づいて第1通知情報を生成することを含み、
    前記した、前記身分情報に基づいて通知情報を生成した後に、前記身分情報に対応する目標端末に前記第1通知情報を送信することをさらに含むことを特徴とする請求項1~8のいずれか1項に記載の遺失物の通知方法。
  10. 前記した、前記身分情報に基づいて通知情報を生成することは、前記身分情報及び前記遺失物の情報に基づいて、第2通知情報を生成することを含み、
    前記した、前記身分情報に基づいて通知情報を生成した後に、前記乗り物に接続される管理端末および/または前記乗り物に接続される管理サーバーに前記第2通知情報を送信することをさらに含むことを特徴とする請求項1~9のいずれか1項に記載の遺失物の通知方法。
  11. 前記した、前記身分情報及び前記遺失物の情報に基づいて、第2通知情報を生成することは、
    前記乗り物のID情報、前記目標乗員の乗車場所及び前記目標乗員の下車場所のうちの少なくとも1つ、前記身分情報及び前記遺失物の情報に基づいて、第2通知情報を生成することを含むことを特徴とする請求項10に記載の遺失物の通知方法。
  12. 前記した、前記身分情報に基づいて通知情報を生成することは、前記目標乗員が前記乗り物の運転手ではない場合、前記身分情報及び前記遺失物の情報に基づいて、第3通知情報を生成することを含み、
    前記遺失物の通知方法は、前記乗り物の運転手の端末に前記第3通知情報を送信することをさらに含むこと、
    および/または、
    前記した、前記身分情報に基づいて通知情報を生成することは、前記身分情報に基づいて第4通知情報を生成することを含み、
    前記遺失物の通知方法は、前記キャビン内に設置された車載デバイスが前記第4通知情報を出力するように制御する制御情報を生成することをさらに含むことを特徴とする請求項1~11のいずれか1項に記載の遺失物の通知方法。
  13. 前記した、前記身分情報に対応する目標端末に第1通知情報を送信した後に、
    前記目標端末から返信された繰り返し通知請求を受信したことに応じて、繰り返し通知情報を生成することをさらに含むことを特徴とする請求項9に記載の遺失物の通知方法。
  14. 前記した、繰り返し通知情報を生成した後に、
    現在時間と前記第1通知情報の送信時間との時間の間隔が第1予め決められた時間に達したことに応じて、前記目標端末に前記繰り返し通知情報を送信することと、
    現在時間と前記繰り返し通知請求の受信時間との時間の間隔が第2予め決められた時間に達したことに応じて、前記目標端末に前記繰り返し通知情報を送信することと、
    現在時間と前記第1通知情報の送信時間との時間の間隔が第1予め決められた時間に達し、かつ前記遺失物が前記キャビン内から取り出されていないことを検出したことに応じて、前記目標端末に前記繰り返し通知情報を送信することと、
    現在時間と前記繰り返し通知請求の受信時間との時間の間隔が第2予め決められた時間に達し、かつ前記遺失物が前記キャビン内から取り出されていないことを検出したことに応じて、前記目標端末に前記繰り返し通知情報を送信することとのうちの少なくとも1つをさらに含むことを特徴とする請求項13に記載の遺失物の通知方法。
  15. 前記した、繰り返し通知情報を生成した後に、
    前記目標乗員が前記キャビン内に戻したことに応じて、前記キャビン内に設置された車載デバイスが前記繰り返し通知情報を出力するように制御する制御情報を生成することをさらに含むことを特徴とする請求項13又は14に記載の遺失物の通知方法。
  16. 前記乗り物のインフォテインメントによって第1通知設定請求を受け付けることと、
    前記第1通知設定請求に基づいて、通知が不要な物品種類と、通知が必要な物品種類と、繰り返し通知が必要な物品種類とのうちの少なくとも1つを設定することとをさらに含むことを特徴とする請求項1~15のいずれか1項に記載の遺失物の通知方法。
  17. 目標端末から返信された第2通知設定請求を受信することと、
    前記第2通知設定請求に基づいて、通知が不要な物品種類と、通知が必要な物品種類と、繰り返し通知が必要な物品種類とのうちの少なくとも1つを設定することをさらに含むことを特徴とする請求項1~16のいずれか1項に記載の遺失物の通知方法。
  18. 乗り物のキャビン内に対して遺失物の検出を行う第1検出モジュールと、
    遺失物が検出されたことに応じて、前記遺失物の所有者である目標乗員の身分情報を特定する特定モジュールと、
    前記身分情報に基づいて通知情報を生成する第1生成モジュールと、
    を備えることを特徴とする遺失物の通知装置。
  19. 1つ又は複数のプロセッサと、
    実行可能な命令を記憶する記憶メモリと、を含む電子機器であって、
    前記1つ又は複数のプロセッサは、前記記憶メモリに記憶されている実行可能な命令を呼び出すことにより、請求項1~17のいずれか1項に記載の遺失物の通知方法を実行するように構成されることを特徴とする電子機器。
  20. コンピュータプログラム命令が記憶されているコンピュータ可読な記憶媒体であって、前記コンピュータプログラム命令はプロセッサによって実行されると、請求項1~17のいずれか1項に記載の遺失物の通知方法を実現させることを特徴とするコンピュータ可読な記憶媒体。
  21. コンピュータ可読なコードを含み、前記コンピュータ可読なコードが電子機器において実行されると、前記電子機器のプロセッサに請求項1~17のいずれか1項に記載の遺失物の通知方法を実現するための命令を実行させることを特徴とするコンピュータプログラム。
JP2023513402A 2020-08-31 2021-03-02 遺失物の通知方法、装置、電子機器、記憶媒体及びコンピュータプログラム Pending JP2023539250A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010896526.8A CN112036303A (zh) 2020-08-31 2020-08-31 遗留物品的提醒方法及装置、电子设备和存储介质
CN202010896526.8 2020-08-31
PCT/CN2021/078681 WO2022041669A1 (zh) 2020-08-31 2021-03-02 遗留物品的提醒方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
JP2023539250A true JP2023539250A (ja) 2023-09-13

Family

ID=73587434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023513402A Pending JP2023539250A (ja) 2020-08-31 2021-03-02 遺失物の通知方法、装置、電子機器、記憶媒体及びコンピュータプログラム

Country Status (3)

Country Link
JP (1) JP2023539250A (ja)
CN (1) CN112036303A (ja)
WO (1) WO2022041669A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036303A (zh) * 2020-08-31 2020-12-04 上海商汤临港智能科技有限公司 遗留物品的提醒方法及装置、电子设备和存储介质
CN113537117B (zh) * 2021-07-27 2022-05-06 广东机电职业技术学院 车载遗留物监控告警方法及其5g系统
CN114863669B (zh) * 2022-04-29 2023-04-25 湖南喜宝达信息科技有限公司 一种共享车辆及其车筐遗留物件的监控方法、存储介质
CN115690046B (zh) * 2022-10-31 2024-02-23 江苏慧眼数据科技股份有限公司 一种基于单目深度估计的物品遗留检测与溯源方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4419672B2 (ja) * 2003-09-16 2010-02-24 株式会社デンソー 車両内忘れ物防止装置
KR101841948B1 (ko) * 2015-10-02 2018-03-26 엘지전자 주식회사 차량 내 분실물 예방 서비스 제공장치, 제공방법 및 이동 단말기
CN107599971B (zh) * 2017-09-04 2020-08-28 驭势(上海)汽车科技有限公司 针对性下车提醒方法及装置
JP6662935B2 (ja) * 2018-03-09 2020-03-11 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US10311704B1 (en) * 2018-03-29 2019-06-04 Futurewei Technologies, Inc. Passenger-related item loss mitigation
CN112036303A (zh) * 2020-08-31 2020-12-04 上海商汤临港智能科技有限公司 遗留物品的提醒方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2022041669A1 (zh) 2022-03-03
CN112036303A (zh) 2020-12-04

Similar Documents

Publication Publication Date Title
JP2023539250A (ja) 遺失物の通知方法、装置、電子機器、記憶媒体及びコンピュータプログラム
CN111937050B (zh) 乘客相关物品丢失减少
CN109118416B (zh) 移动终端及其控制方法
US20200082188A1 (en) Methods and systems for real-time monitoring of vehicles
CN110400404B (zh) 车辆控制方法、车辆及车辆系统
CN107580104B (zh) 移动终端以及包括该移动终端的控制系统
CN109636368B (zh) 互联网打车方法、装置、打车设备和计算机可读存储介质
US20190308503A1 (en) Mobile device synchronization with bluetooth low energy and data collection
US10387192B2 (en) Mobile terminal operating system conversion device and method, vehicle, and operating system transmission device and method for vehicle
US20180192266A1 (en) Mobile device and control method therefor
US10630828B2 (en) Mobile terminal and method for controlling same
CN112001348A (zh) 车舱内的乘员检测方法及装置、电子设备和存储介质
WO2020131416A1 (en) Device and method for providing relevant video content to members of a communication group
WO2020003749A1 (ja) 客室監視方法、及び客室監視装置
CN110311976B (zh) 服务分发方法、装置、设备及存储介质
CN105451202A (zh) 短信处理方法及装置
WO2022052451A1 (zh) 一种影像信息的处理方法及装置、电子设备和存储介质
CN113920492A (zh) 车内人员检测方法及装置、电子设备和存储介质
CN106202193A (zh) 道路图像信息获取的方法、装置及系统
JP2024506809A (ja) 危険行為の識別方法及び装置、電子機器並びに記憶媒体
CN114332941A (zh) 基于乘车对象检测的报警提示方法、装置及电子设备
US10891753B2 (en) Device, system and method for notifying a person-of-interest of their location within an estimated field-of-view of a camera
EP4131032A1 (en) Reminding method and related apparatus
CN114407630A (zh) 车门控制方法及装置、电子设备和存储介质
WO2023071175A1 (zh) 关联车内的人和物的方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305