JP7115258B2 - 情報処理システム、情報処理方法、及びプログラム - Google Patents

情報処理システム、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP7115258B2
JP7115258B2 JP2018224088A JP2018224088A JP7115258B2 JP 7115258 B2 JP7115258 B2 JP 7115258B2 JP 2018224088 A JP2018224088 A JP 2018224088A JP 2018224088 A JP2018224088 A JP 2018224088A JP 7115258 B2 JP7115258 B2 JP 7115258B2
Authority
JP
Japan
Prior art keywords
information processing
change
vehicle
server device
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018224088A
Other languages
English (en)
Other versions
JP2020085791A (ja
Inventor
英男 長谷川
恵子 亀田
美紗 江尻
真太郎 成瀬
忠大 柏井
尚哉 岡
健介 小池
宏之 文字
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018224088A priority Critical patent/JP7115258B2/ja
Priority to US16/595,982 priority patent/US11093758B2/en
Priority to CN201911115504.7A priority patent/CN111242342A/zh
Publication of JP2020085791A publication Critical patent/JP2020085791A/ja
Priority to US17/305,770 priority patent/US20210342601A1/en
Application granted granted Critical
Publication of JP7115258B2 publication Critical patent/JP7115258B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/49Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Remote Sensing (AREA)
  • Game Theory and Decision Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Instructional Devices (AREA)

Description

本発明は、情報処理システム、情報処理方法、及びプログラムに関する。
従来、多数配置された測定装置(太陽光発電装置、又は、バイタル情報を収集するウェアラブル端末)から測定値を受信し、地域ごとに測定値の変化率を求め、その変化率を周辺地域の変化率と比較するシステムが知られている(例えば特許文献1)。このシステムは、比較結果を用いて、急激な環境変化が起きている地域を検出する。
特開2016-114495号公報
特許文献1に記載のシステムは、太陽光発電装置で測定された発電量又は発電効率が低下したことを検出すると、日照度が低下したと判定して、集中豪雨を予測する。あるいは特許文献1に記載のシステムは、ウェアラブル端末で測定された心拍数、体温又は血圧が変化したことを検出すると、低気圧が発生したと判定して、集中豪雨を予測する。しかしこのシステムは、集中豪雨が起きやすい条件が満たされたときに、集中豪雨が起きることを予測するに過ぎない。よってこのシステムは、実際に集中豪雨が起きたか否かは判定できない。
上記のような問題点に鑑みてなされた本発明の目的は、降水状態と非降水状態との間の変化を検出することが可能な情報処理システム、情報処理方法、及びプログラムを提供することにある。
本発明の一実施形態に係る情報処理システムは、
サーバ装置と、当該サーバ装置と通信可能な情報処理装置とを含む情報処理システムであって、
前記情報処理装置は、
車両に備えられた撮像装置によって撮像された複数の画像を取得し、
前記取得された複数の画像から、非降水状態から降水状態への変化、又は、降水状態から非降水状態への変化を検出すると、前記変化が検出されたときの前記車両の位置情報を前記サーバ装置へ出力する。
本発明の一実施形態に係る情報処理方法は、
サーバ装置と、当該サーバ装置と通信可能な情報処理装置とを含む情報処理システムにおいて実行される情報処理方法であって、
前記情報処理装置は、
車両に備えられた撮像装置によって撮像された複数の画像を取得するステップと、
前記取得された複数の画像から、非降水状態から降水状態への変化、又は、降水状態から非降水状態への変化を検出すると、前記変化が検出されたときの前記車両の位置情報を前記サーバ装置へ出力するステップと、
を実行する。
本発明の一実施形態に係るプログラムは、
サーバ装置と、当該サーバ装置と通信可能な情報処理装置とを含む情報処理システムに、
車両に備えられた撮像装置によって撮像された複数の画像を取得するステップと、
前記取得された複数の画像から、非降水状態から降水状態への変化、又は、降水状態から非降水状態への変化を検出すると、前記変化が検出されたときの前記車両の位置情報を前記サーバ装置へ出力するステップと、
を実行させる。
本発明の情報処理システム、情報処理方法、及びプログラムによれば、降水状態と非降水状態との間の実際の変化を検出することができる。
本実施形態の情報処理システムの全体図である。 本実施形態の車両の機能ブロック図である。 本実施形態のサーバ装置の機能ブロック図である。 本実施形態のユーザ端末の機能ブロック図である。 撮像画像に対応付けられるデータの一例を示す図である。 撮像画像の一例を示す図である。 変化通知の一例を示す図である。 マッピングの一例を示す図である。 マッピングの他の例を示す図である。 非降水状態から降水状態への変化が予測される地域を示す図である。 本実施形態の情報処理システムが実行する処理のシーケンス図である。
以下、図面を用いて本発明の実施形態が説明される。
図1は、本実施形態の情報処理システムSの全体図である。情報処理システムSは、車両1とサーバ装置2とユーザ端末3とを備える。本実施形態の車両1は例えば自動車であるが、これに限られず任意の車両であってよい。図1では説明の簡便のため、車両1、サーバ装置2及びユーザ端末3がそれぞれ1つずつ図示されている。しかし、車両1、サーバ装置2及びユーザ端末3の数はそれぞれ1つ以上であってよい。車両1とサーバ装置2とユーザ端末3とは、例えば移動体通信網及びインターネット等を含むネットワークNWを介して通信可能に構成される。
まず、本実施形態の情報処理システムSが実行する処理の概要が説明される。車両1は、撮像装置11が撮像した複数の画像を取得すると、その画像を解析して、非降水状態から降水状態への変化、又は、降水状態から非降水状態への変化を検出する。例えば車両1は、画像において検出された人(例えば歩行者)の数に対する雨具使用者数の割合が所定値(例えば25%)に達したとき、非降水状態から降水状態へ変化したと判定する。車両1は、変化が検出されたときの車両1の位置情報をサーバ装置2へ出力する。サーバ装置2は、複数の車両1から取得した複数の位置情報を地図上にマッピングすることによって、降水が有る地域を特定する。
このように本実施形態によれば、情報処理システムSは、人が非降水状態から降水状態への変化に対してどのような行動を行ったか(ここでは雨具を使用したこと)を撮像画像から検出することで、非降水状態から降水状態への実際の変化を検出することができる。
車両1とサーバ装置2とユーザ端末3とのそれぞれの内部構成が詳細に説明される。
図2Aに示すように車両1は、撮像装置11と、位置情報取得部12と、記憶部13と、制御部14と、通信部15とを備える。
撮像装置11は、いわゆる車載カメラを含み、車両1の外部(例えば前方、側方、後方等)の画像を撮像する。撮像装置11は、車両1の走行中及び停車中に車両1の外部の連続的な映像を生成し、生成した映像を記憶部13に記録してよい。代替例として、スマートフォン等の任意の通信端末が撮像装置11として機能してよい。
位置情報取得部12は、任意の衛星測位システムに対応する1つ以上の受信機を含む。例えば位置情報取得部12は、GPS(Global Positioning System)受信機を含んでもよい。位置情報取得部12は、車両1が停止又は走行している位置を示す位置情報を検出する。位置情報取得部12は更に電子コンパスを含んでよく、車両1が向いている方向の情報を取得してよい。
記憶部13は、各種情報を記録又は格納する装置であり、1つ以上のメモリを含む。「メモリ」は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部13に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部13は、車両1の動作に関連する任意の情報を記憶する。記憶部13は、制御部14によって分析・処理された結果の情報を記憶してよい。記憶部13は、自車両の車両制御プログラムの記憶等、車両1の動作又は制御に関する各種情報を記憶してよい。
制御部14は1つ以上のプロセッサを備える。「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであってよい。例えば、車両1に搭載されたECU(Electronic Control Unit)が、制御部14として機能してもよい。制御部14は、車両1の全体の動作を制御する。制御部14は、撮像装置11、位置情報取得部12、記憶部13及び通信部15の制御を行うとともに、車両1の走行又は動作に関する全ての制御を行う。例えば制御部14は、撮像装置11から画像を取得し、その画像を解析して物体を検出することができる。制御部14は情報処理装置として構成されてよい。情報処理装置は、本実施形態のように車両1に搭載してもよいし、車外のセンター又はクラウドサーバーに配置されてもよい。情報処理装置を車外に配置する場合には、車外の情報処理装置と通信可能な車載通信機(例えば、DCM(Data Communication Module))が、撮像装置11から受信した画像を車外の情報処理装置に送信する。車外の情報処理装置はネットワークNWに接続する通信モジュールを備え、その通信モジュールを介して画像を受信する。
通信部15は、車両1とサーバ装置2との間の通信を行う通信モジュールを含む。通信部15は、必要に応じて、サーバ装置2を介さずに、車両1と他車両との間で車々間通信を行う通信モジュールを含んでよい。通信部15は、ネットワークに接続する通信モジュール、或いは、4G(4th Generation)及び5G(5th Generation)等の移動体通信規格に対応する通信モジュールを含んでもよい。例えば、車両1に搭載されたDCM等が通信部15として機能してもよい。
図2Bに示すように、サーバ装置2は、サーバ通信部21と、サーバ記憶部22と、サーバ制御部23とを備える。
サーバ通信部21は、サーバ装置2と車両1との間、又はサーバ装置2とユーザ端末3との間の通信を行う通信モジュールを含む。サーバ通信部21は、ネットワークNWに接続する通信モジュールを含んでもよい。サーバ通信部21は、車両1から出力される情報を取得するとともに、車両1に対して情報又は指示を出力することができる。
サーバ記憶部22は、各種情報を記録・格納する装置であり1つ以上のメモリを含む。サーバ記憶部22に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。サーバ記憶部22は、例えば、車両1から出力された情報を記憶する。サーバ記憶部22は、サーバ制御プログラム又は情報処理システムSの全体の動作・制御に関する各種プログラムを記憶してよい。
サーバ制御部23は1つ以上のプロセッサを備える。サーバ制御部23は、サーバ通信部21、サーバ記憶部22の制御を行うとともに、サーバ装置2及び情報処理システムSの全体の動作に関する全ての制御を行う。
図2Cに示すように、ユーザ端末3は、通信部31と、記憶部32と、出力部33と、入力部34と、制御部35とを備える。
通信部31は、ネットワークに接続する通信モジュールを含む。通信部31は、4G及び5G等の移動体通信規格に対応する通信モジュールを含んでよい。
記憶部32は、各種情報を記録・格納する装置であり1つ以上のメモリを含む。記憶部32に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部32は、ユーザ端末3の全体の動作又は制御に関する各種プログラムを記憶してよい。
出力部33は、情報を出力してユーザに通知する1つ以上の出力インタフェースを含む。例えば、出力部33に含まれる出力インタフェースは、情報を映像で出力するディスプレイ、又は情報を音声で出力するスピーカ等であるが、これらに限られない。
入力部34は、ユーザ入力を検出する1つ以上の入力インタフェースを含む。例えば入力部34に含まれる入力インタフェースは、物理キー、静電容量キー、出力部33のディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイク等であるが、これらに限られない。
制御部35は1つ以上のプロセッサを備える。制御部35は、ユーザ端末3の全体の動作に関する全ての制御を行う。
以下、情報処理システムSが実行する処理を詳細に説明する。車両1は、所定の間隔(例えば毎秒30フレーム、毎秒1フレーム等)で、撮像装置11を用いて複数の画像を撮像する。車両1は、画像を撮像したときの車両1の位置情報を、画像IDに対応付けて記憶する。
車両1は、複数の撮像画像のそれぞれにおいて、人の数と、そのうち雨具を使用する人の数とを検出して画像IDに対応付けて記憶部13に記憶する。雨具は、例えば傘、レインコート等を含む。
例えば図3に示すように、時刻t1に位置(X1、Y1)で撮像された画像R01では、検出された人の数(図3の「人の数」に対応)は3人であり、そのうち雨具を使用する人の数(図3の「雨具使用者数」に対応)は0人である。車両1は、次の算出式を用いて雨具使用率を算出する。
雨具使用率(%)=雨具使用者数÷人の数×100
車両1は、上記算出式を用いて、画像R01における雨具使用率、すなわち0%を算出する。
車両1は、雨具使用率に応じて降水の有無を判定する。降水は、雨、雪、みぞれ、あられ、又はひょうのうち少なくとも1つが降る現象を示す。
車両1は、雨具使用率が所定値以上であるとき、降水が有ると判定する。本実施形態では一例として所定値は25%であるが他の値が設定されてよい。車両1は雨具使用率が所定値未満であるとき、降水が無いと判定する。例えば雨具使用率が0%である画像R01においては、車両1は、降水は無いと判定する。
画像R01から画像R05までは、撮像された時刻が早い順に記憶される。車両1は画像R02及び画像R03のそれぞれにつき、画像R01と同様の方法で、人の数と、雨具使用者数と、雨具使用率と、降水の有無とを判定する。重複説明を避けるために、画像R02及び画像R03についての判定方法の説明は省略する。判定結果は図3に示す通りである。
図4は時刻t4に位置(X4、Y4)において撮像された画像R04を示す図である。画像R04において車両1は、人の数はP1からP3までの3人であると判定する。車両1は更に、人P1が雨具R1を使用し、人P2が雨具R2を使用することを検出すると、雨具使用者数は2人であると判定する。その判定結果から、車両1は、雨具使用率は66.7%であると判定する。車両1は、雨具使用率が25%以上であることから、降水は有ると判定する。重複説明を避けるために、画像R05についての説明は省略する。
車両1は、非降水状態から降水状態への変化、又は、降水状態から非降水状態への変化を検出する。以下、本実施形態では説明の簡略化のため、車両1が非降水状態から降水状態への変化を検出する場合を説明する。しかし他の実施形態では、情報処理システムSは、いずれの変化を検出した場合でも同様の処理を実行可能である。
車両1は、画像R04において雨具使用率が25%に達したことを検出すると、非降水状態から降水状態への変化を検出する。車両1はそのような変化を検出すると、変化があったことを示す変化通知と、変化が検出されたときの車両1の位置情報(すなわち、位置(X4、Y4))と、変化が検出されたときの時刻とを対応付けてサーバ装置2へ出力する。本実施形態では一例として、車両1は、位置情報だけでなく雨具使用率を変化通知に対応付けてよい。
車両1は複数存在してよい。複数の車両1は、非降水状態から降水状態への変化を検出すると、時刻と位置情報と雨具使用率とを変化通知に対応付けてサーバ装置2へ出力する。
サーバ装置2は、変化通知を取得すると、図5に示すようにサーバ記憶部22に記憶する。図5に示す例では、サーバ装置2は、時刻t4に撮像された画像に対応する変化通知S01からS03までを記憶し、それぞれに対応付けて時刻と位置情報と雨具使用率とを記憶する。
時刻t4において降水が有る地域を特定するための処理を具体的に説明する。サーバ装置2は、サーバ記憶部22から、時刻t=t4のときの複数の車両1の位置情報を抽出する。このとき、複数の位置情報が抽出される。サーバ装置2は、抽出した複数の位置情報を地図上にマッピングする。サーバ装置2は、マッピングされた複数の位置情報を、例えば円又は楕円等の単純閉曲線で近似する。このときサーバ装置2は、幾何学的当てはめ等、任意の手法を用いることができる。サーバ装置2は、単純閉曲線の内側を、降水が有る地域として特定する。単純閉曲線の周縁は、降水が有る地域と降水が無い地域との境界に実質的に一致する。マッピング後の地図が図6Aに示される。降水が有る地域は地域A1として示される。サーバ装置2は、マッピング後の地図を、車両1又はユーザ端末3からの要求に応じて出力してよい。
サーバ装置2は、図6Aに示される地域A1を特定した後、所定の間隔で複数の車両1から変化通知を取得し、取得した変化通知に対応付けられた位置情報を用いて、ある特定の時刻についてのマッピングを再度実行してよい。再度実行されたマッピング後の地図が図6Bに示される。サーバ装置2は、地域A1の判定方法と同様の方法で、地域A2を特定する。
サーバ装置2は、降水が有ると特定された地域の過去の推移を検出し、その過去の推移から、変化が将来の所定時間内に生じる地域を予測する。具体的にはサーバ装置2は、地域A1と地域A2とを比較して、降水の有る地域が略北東の方向に移動し、且つ地域の広さが拡大していると判定する。サーバ装置2は、降水の有る地域の移動方向とその地域の拡大率とは今後も同様であると推定して、図6Cに示すように、将来の所定時間内に降水が有ると予測される地域A3を特定する。サーバ装置2は地域A2と、判定された地域A3とを比較して差分を抽出することによって、将来の所定時間内に非降水状態から降水状態への変化、及びその逆の変化が生じる地域を予測することができる。
サーバ装置2は、ユーザ端末3それぞれの位置情報を取得して、状態の変化が生じると予測された地域に存在する1以上のユーザ端末3を検出する。サーバ装置2は、検出された位置から所定距離(例えば50メートル)内に存在する施設情報をサーバ記憶部22から抽出する。施設情報は例えば、施設の位置、名称等を含む。施設は、飲食店(例えばカフェ、レストラン等)、小売店(例えばコンビニエンスストア、スーパーマーケット等)、役所等、ユーザの出入りが可能な建物を含む。
サーバ装置2は、検出したユーザ端末3へ、非降水状態から降水状態への変化が将来の所定時間内に生じる可能性があることを通知すると共に、抽出した施設情報を通知する。追加的に、サーバ装置2は、変化が生じるまでの時間を推定して通知してよい。
ユーザ端末3は取得した通知内容を出力部33に表示する。雨具を保持していないユーザは、表示された施設情報を視認し、その施設情報に対応する施設を訪れることによって、雨に濡れることを回避することができる。
図7に、本実施形態の情報処理システムSが任意の時点で実行する情報処理方法のシーケンス図を示す。
ステップS1:車両1は複数の画像を撮像する。
ステップS2:車両1は、複数の画像を解析して、非降水状態から降水状態への変化を検出する。
ステップS3:車両1は、ステップS2において変化を検出すると(ステップS2のYes)、変化通知を、変化が検出されたときの車両1の位置情報と対応付けて、サーバ装置2へ出力する。
ステップS4:サーバ装置2は、車両1から取得した位置情報に対応する位置を地図上にマッピングする。
ステップS5:サーバ装置2は所定の間隔でマッピングを実行し、降水が有ると特定された地域の過去の推移を検出する。
ステップS6:サーバ装置2は、検出した推移から、変化が将来の所定時間内に生じる地域を予測する。
ステップS7:サーバ装置2は、変化が将来の所定時間内に生じると予測された地域に存在するユーザ端末3へ、当該ユーザ端末から所定距離内にある施設情報を通知する。
ステップS8:ユーザ端末3は、サーバ装置2から取得した通知内容を表示する。
以上述べたように、本実施形態によれば、車両1は、撮像装置11によって撮像された複数の画像を解析して、降水状態と非降水状態との間の変化を検出する。この構成により、車両1は、歩行者等の人が非降水状態から降水状態への変化に対してどのような行動を行ったかを検出することができるので、非降水状態から降水状態への実際の変化を検出することができる。
また本実施形態によれば、状態の変化を検出するために解析される画像は車両1によって撮像されたものである。車両1は移動体であるため、様々な道路にて網羅的に状態の変化を検出することができる。
また本実施形態によれば、車両1は、複数の画像において、1以上の人とその人によって使用される雨具とを検出し、検出された人の数に対する雨具使用者数の割合が所定値に達したとき、非降水状態から降水状態へ変化したと判定する。この構成により、車両1は、人が降水現象に対して取る特有の挙動(本実施形態では、雨具の使用)を元に、非降水状態から降水状態への変化を検出するので、変化検出の精度を一層向上させることができる。
また本実施形態によれば、サーバ装置2は、位置情報を複数の車両1から取得して、その位置情報に対応する位置を地図上にマッピングし、マッピング後の地図を出力する。この構成によりサーバ装置2は、どの位置で現在降水が有るかを判定することができるので、気象情報を充実させることができる。また、サーバ装置2は、気象情報を視認したユーザに、降水が有る地域を訪れるときに雨具を持っていくべきことを認識させることができる。更に、官公庁又は自治体は、この気象情報を観光客に提供すれば、観光客が天候に悩まされることを低減することができるので、観光客による観光体験を充実させることができる。
また本実施形態によれば、サーバ装置2は、位置情報を複数の情報処理装置から取得して、降水が有ると特定された地域の過去の推移を検出し、過去の推移から、変化が将来の所定時間内に生じる地域を予測する。またサーバ装置2は、上記変化が将来の所定時間内に生じると予測された地域に存在するユーザ端末へ、変化が将来の所定時間内に生じることを通知する。この構成によりサーバ装置2は天気予報を充実させることができるので、変化が将来の所定時間内に生じると予測された地域をこれから訪れようとしているユーザが天候に悩まされることを低減することができる。
また本実施形態によれば、サーバ装置2は、上記変化が将来の所定時間内に生じると予測された地域に存在するユーザ端末へ、そのユーザ端末から所定距離内にある施設情報を更に通知する。この構成により、サーバ装置2は、雨具を有していないユーザの雨宿りを支援することができるので、利便性を一層向上させることができる。
本発明が諸図面及び実施例に基づき説明されるが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
例えば車両1は、雨具使用率が将来の所定時間内に所定値以上(例えば5秒間に90%以上)上昇したとき、ゲリラ豪雨が生じたと判定して、判定結果をサーバ装置2に通知してよい。サーバ装置2は、マッピングの際、ゲリラ豪雨が生じたと判定された地域を、他の地域と識別可能に表示してよい。識別可能な表示とは、異なる色による表示を含んでよい。
上記実施形態では、サーバ装置2は、マッピングされた複数の位置情報を単純閉曲線で近似し、単純閉曲線の内側を降水が有る地域として特定する。他の実施形態では、降水が有る地域の特定方法は異なってよい。すなわち、車両1は、変化通知に対応付けて、更に、車両1の移動方向と変化の内容(すなわち、非降水状態から降水状態に変化したか、降水状態から非降水状態に変化したか、のいずれか)とをサーバ装置2に送信する。サーバ装置2は、上記実施形態に記載の方法で、マッピングされた複数の位置情報を単純閉曲線で近似する。サーバ装置2は、車両1から取得した、移動方向と変化の内容とを用いて、単純閉曲線の内側と外側のどちらが降水が有る地域であるかを判定してよい。
また、任意の車両又はサーバ装置のそれぞれを、上記実施形態に係る車両1又はサーバ装置2として機能させる構成も可能である。具体的には、実施形態に係る車両1又はサーバ装置2の各機能を実現する処理内容を記述したプログラムを、上記任意の車両又はサーバ装置のメモリに格納し、その任意の車両又はサーバ装置のプロセッサによってそのプログラムを読み出して実行させる。したがって、本実施形態に係る発明は、プロセッサが実行可能なプログラムとしても実現可能である。
S 情報処理システム
1 車両
11 撮像装置
12 位置情報取得部
13 記憶部
14 制御部
15 通信部
2 サーバ装置
21 サーバ通信部
22 サーバ記憶部
23 サーバ制御部
3 ユーザ端末
31 通信部
32 記憶部
33 出力部
34 入力部
35 制御部

Claims (8)

  1. サーバ装置と、当該サーバ装置と通信可能な情報処理装置とを含む情報処理システムであって、
    前記情報処理装置は、
    車両に備えられた撮像装置によって撮像された複数の画像を取得し、
    前記取得された複数の画像から、非降水状態から降水状態への変化、又は、降水状態から非降水状態への変化を検出すると、前記変化が検出されたときの前記車両の位置情報を前記サーバ装置へ出力し、
    前記サーバ装置は、
    前記位置情報を複数の情報処理装置から取得して、前記位置情報から特定された降水が有る地域の移動方向と広さとの過去の推移を検出し、当該過去の推移から、前記変化が将来の所定時間内に生じる地域を予測する、
    情報処理システム。
  2. 請求項1に記載の情報処理システムにおいて、
    前記情報処理装置は、前記複数の画像において、1以上の人と当該人によって使用される雨具とを検出し、検出された人の数に対する雨具使用者数の割合が所定値に達したとき、非降水状態から降水状態へ変化したと判定する、情報処理システム。
  3. 請求項1又は2に記載の情報処理システムにおいて、
    前記サーバ装置は、前記位置情報を複数の情報処理装置から取得して、前記位置情報に対応する位置を地図上にマッピングし、マッピング後の地図を出力する、情報処理システム。
  4. 請求項2に記載の情報処理システムにおいて、
    前記情報処理装置は、前記雨具使用者数の割合が所定時間内に所定値以上上昇したことを検出すると、検出結果を前記サーバ装置へ出力する、情報処理システム。
  5. 請求項に記載の情報処理システムにおいて、
    前記サーバ装置は、前記変化が将来の所定時間内に生じると予測された地域に存在するユーザ端末へ、変化が前記将来の所定時間内に生じることを通知する、情報処理システム。
  6. 請求項5に記載の情報処理システムにおいて、
    前記サーバ装置は、前記変化が将来の所定時間内に生じると予測された地域に存在するユーザ端末へ、当該ユーザ端末から所定距離内にある施設情報を更に通知する、情報処理システム。
  7. サーバ装置と、当該サーバ装置と通信可能な情報処理装置とを含む情報処理システムにおいて実行される情報処理方法であって、
    前記情報処理装置は、
    車両に備えられた撮像装置によって撮像された複数の画像を取得するステップと、
    前記取得された複数の画像から、非降水状態から降水状態への変化、又は、降水状態から非降水状態への変化を検出すると、前記変化が検出されたときの前記車両の位置情報を前記サーバ装置へ出力するステップと、
    を実行し、
    前記サーバ装置は、
    前記位置情報を複数の情報処理装置から取得して、前記位置情報から特定された降水が有る地域の移動方向と広さとの過去の推移を検出し、当該過去の推移から、前記変化が将来の所定時間内に生じる地域を予測するステップを実行する、情報処理方法。
  8. サーバ装置と、当該サーバ装置と通信可能な情報処理装置とを含む情報処理システムに、
    車両に備えられた撮像装置によって撮像された複数の画像を取得するステップと、
    前記取得された複数の画像から、非降水状態から降水状態への変化、又は、降水状態から非降水状態への変化を検出すると、前記変化が検出されたときの前記車両の位置情報を前記サーバ装置へ出力するステップと、
    前記位置情報を複数の情報処理装置から取得して、前記位置情報から特定された降水が有る地域の移動方向と広さとの過去の推移を検出し、当該過去の推移から、前記変化が将来の所定時間内に生じる地域を予測するステップと、
    を実行させる、プログラム。
JP2018224088A 2018-11-29 2018-11-29 情報処理システム、情報処理方法、及びプログラム Active JP7115258B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018224088A JP7115258B2 (ja) 2018-11-29 2018-11-29 情報処理システム、情報処理方法、及びプログラム
US16/595,982 US11093758B2 (en) 2018-11-29 2019-10-08 Information processing system, method of information processing, and program
CN201911115504.7A CN111242342A (zh) 2018-11-29 2019-11-14 信息处理系统、信息处理方法和程序
US17/305,770 US20210342601A1 (en) 2018-11-29 2021-07-14 Information processing system, method of information processing, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018224088A JP7115258B2 (ja) 2018-11-29 2018-11-29 情報処理システム、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020085791A JP2020085791A (ja) 2020-06-04
JP7115258B2 true JP7115258B2 (ja) 2022-08-09

Family

ID=70850129

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018224088A Active JP7115258B2 (ja) 2018-11-29 2018-11-29 情報処理システム、情報処理方法、及びプログラム

Country Status (3)

Country Link
US (2) US11093758B2 (ja)
JP (1) JP7115258B2 (ja)
CN (1) CN111242342A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7115258B2 (ja) * 2018-11-29 2022-08-09 トヨタ自動車株式会社 情報処理システム、情報処理方法、及びプログラム
CN112446556B (zh) * 2021-01-27 2021-04-30 电子科技大学 基于表示学习和行为特征的通信网用户呼叫对象预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094932A (ja) 2002-08-09 2004-03-25 Matsushita Electric Ind Co Ltd ペイバックシステムの通信端末装置及び情報処理装置
WO2014199452A1 (ja) 2013-06-11 2014-12-18 パイオニア株式会社 情報送信装置、天候状況取得システム、サーバ装置、情報送信方法及びプログラム
JP2016217777A (ja) 2015-05-15 2016-12-22 株式会社リコー 情報送受信システム
JP2017083278A (ja) 2015-10-28 2017-05-18 アイシン・エィ・ダブリュ株式会社 情報提供システム、情報提供方法及びコンピュータプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3934119B2 (ja) * 2004-06-14 2007-06-20 本田技研工業株式会社 車両周辺監視装置
KR20060014765A (ko) * 2004-08-12 2006-02-16 주식회사 현대오토넷 텔레매틱스 시스템을 이용한 긴급 구난 서비스 시스템 및방법
JP4371076B2 (ja) * 2005-04-26 2009-11-25 株式会社デンソー レインセンサ
JP5720627B2 (ja) * 2012-06-11 2015-05-20 株式会社デンソー 人検出装置
CN102809767B (zh) * 2012-08-10 2015-02-25 杭州九树网络科技有限公司 利用雨感设备实时天气预报系统及预报方法
EP3169063A4 (en) * 2014-07-09 2018-01-24 Sony Corporation Information processing device, storage medium, and control method
US10788235B2 (en) * 2014-11-07 2020-09-29 Sony Corporation Control system, control method, and storage medium
JP6325429B2 (ja) 2014-12-16 2018-05-16 日本電信電話株式会社 環境変化検出システム、環境変化検出装置及び環境変化検出方法
KR20170015112A (ko) * 2015-07-30 2017-02-08 삼성전자주식회사 자율 주행 차량 및 그의 동작 방법
CN105628047A (zh) * 2016-02-04 2016-06-01 智车优行科技(北京)有限公司 智能车辆导航系统、导航方法及智能车
JP6126759B1 (ja) * 2016-06-16 2017-05-10 株式会社オプティム 情報提供システム
JP2017226397A (ja) * 2016-06-24 2017-12-28 トヨタ自動車株式会社 空調制御システム及び情報処理装置
JP7115258B2 (ja) * 2018-11-29 2022-08-09 トヨタ自動車株式会社 情報処理システム、情報処理方法、及びプログラム
JP7259369B2 (ja) * 2019-02-01 2023-04-18 トヨタ自動車株式会社 車両の制御装置及び情報処理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094932A (ja) 2002-08-09 2004-03-25 Matsushita Electric Ind Co Ltd ペイバックシステムの通信端末装置及び情報処理装置
WO2014199452A1 (ja) 2013-06-11 2014-12-18 パイオニア株式会社 情報送信装置、天候状況取得システム、サーバ装置、情報送信方法及びプログラム
JP2016217777A (ja) 2015-05-15 2016-12-22 株式会社リコー 情報送受信システム
JP2017083278A (ja) 2015-10-28 2017-05-18 アイシン・エィ・ダブリュ株式会社 情報提供システム、情報提供方法及びコンピュータプログラム

Also Published As

Publication number Publication date
JP2020085791A (ja) 2020-06-04
US11093758B2 (en) 2021-08-17
CN111242342A (zh) 2020-06-05
US20210342601A1 (en) 2021-11-04
US20200175285A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
JP5776545B2 (ja) 路面調査プログラム及び路面調査装置
CN106662458B (zh) 用于改进地图和导航数据的可穿戴传感器数据
US9874454B2 (en) Community-based data for mapping systems
US20150186426A1 (en) Searching information using smart glasses
US11727782B2 (en) Rescue system and rescue method, and server used for rescue system and rescue method
JP7115258B2 (ja) 情報処理システム、情報処理方法、及びプログラム
EP3090391A1 (en) System and method for recommending target locations
KR101308872B1 (ko) 사용자 행동의 예측에 기반하여 서비스를 제공하기 위한 서비스 서버 및 단말
US11189162B2 (en) Information processing system, program, and information processing method
CN109068374B (zh) 驻留poi确定方法、装置、终端及存储介质
JP7272522B2 (ja) データ分析装置、データ分析システム、データ分析方法およびデータ分析プログラム
CN111477026A (zh) 信息处理装置、信息处理系统、程序和信息处理方法
CN107548466B (zh) 一种检测道路障碍物的方法及装置
CN113129334A (zh) 物体追踪方法、装置、存储介质及可穿戴电子设备
WO2014208025A1 (ja) 感度調整装置、感度調整方法および記憶媒体、並びに監視システム
US9832427B2 (en) Camera, camera system, and self-diagnosis method
US10222223B2 (en) Traffic information output system and traffic information output method
CN114677848A (zh) 感知预警系统、方法、装置及计算机程序产品
WO2020045459A1 (ja) データ分析装置、データ分析システム、データ分析方法およびプログラム
WO2016114378A1 (ja) 情報収集システム、情報収集装置、情報収集端末、情報収集方法及び情報収集プログラム
JP2020101696A (ja) 地図生成装置、地図生成システム、地図生成方法、及び地図生成プログラム
KR101134466B1 (ko) 가상 세계 서비스 장치, 가상 세계 서비스 시스템 및 그 방법
CN110879975B (zh) 人员流量检测方法、装置及电子设备
KR102377486B1 (ko) WiFi 센싱 데이터를 이용한 보행자 특성 분석 시스템 및 이를 이용한 보행자 특성 분석 방법
JP7028237B2 (ja) 情報処理装置、情報処理システム、プログラム、情報処理方法及びナビゲーション装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220628

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220711

R151 Written notification of patent or utility model registration

Ref document number: 7115258

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151