JP7151449B2 - 情報処理システム、プログラム、及び情報処理方法 - Google Patents

情報処理システム、プログラム、及び情報処理方法 Download PDF

Info

Publication number
JP7151449B2
JP7151449B2 JP2018234145A JP2018234145A JP7151449B2 JP 7151449 B2 JP7151449 B2 JP 7151449B2 JP 2018234145 A JP2018234145 A JP 2018234145A JP 2018234145 A JP2018234145 A JP 2018234145A JP 7151449 B2 JP7151449 B2 JP 7151449B2
Authority
JP
Japan
Prior art keywords
person
server
target
information
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018234145A
Other languages
English (en)
Other versions
JP2020095564A (ja
Inventor
栄一 草間
雅敏 林
尚訓 光本
邦明 陣内
真 赤羽
友理子 山口
大介 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018234145A priority Critical patent/JP7151449B2/ja
Priority to US16/687,797 priority patent/US11170207B2/en
Priority to CN201911224241.3A priority patent/CN111325088B/zh
Publication of JP2020095564A publication Critical patent/JP2020095564A/ja
Priority to US17/500,046 priority patent/US11818635B2/en
Application granted granted Critical
Publication of JP7151449B2 publication Critical patent/JP7151449B2/ja
Priority to US18/478,210 priority patent/US20240040352A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/48Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for in-vehicle communication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]

Description

本発明は、情報処理システム、プログラム、及び情報処理方法に関する。
従来、車載カメラの画像から人物に関する情報を検出する技術が知られている。例えば、特許文献1には、認知症により徘徊の危険がある人物のデジタル写真データ等の照合用データを関係者から入手登録し、車外状況を車載カメラで撮影し、車載カメラから得られた画像情報を認証用データとして照合用データと照合し、照合結果を関係者に通報する、画像情報認証システムが開示されている。
特開2017-211888号公報
しかしながら、従来技術では、車載カメラの動画から検出した人物の照合用データを予め登録しておく必要があるため、照合用データとして登録していない人物を検出することはできない。このように、従来技術の利便性は必ずしも高くない。したがって、車載カメラの画像から人物に関する情報を検出する技術の利便性は、改善の余地があった。
かかる事情に鑑みてなされた本発明の目的は、車載カメラの画像から人物に関する情報を検出する技術の利便性を向上させることにある。
本発明の一実施形態に係る情報処理システムは、
複数の車両と、前記複数の車両と通信可能なサーバと、を備える情報処理システムであって、
前記複数の車両のそれぞれは、
車外の人物を撮像した動画を生成し、
前記動画と、前記動画の撮像時刻及び撮像位置と、を前記サーバへ送信し、
前記サーバは、
前記複数の車両からそれぞれ受信した複数の前記動画のうち、同一の人物を撮像した2つ以上の対象動画を特定し、
前記2つ以上の対象動画から前記人物の挙動を検出し、
検出された前記挙動に基づいて前記人物の属性情報を推定し、
前記人物の属性情報と、少なくとも1つの前記対象動画の撮像時刻及び撮像位置と、をクライアントへ送信する。
本発明の一実施形態に係るプログラムは、
複数の車両と通信可能な情報処理装置に、
前記複数の車両によってそれぞれ生成され車外の人物を撮像した複数の動画と、前記複数の動画の撮像時刻及び撮像位置と、を受信するステップと、
前記複数の動画のうち、同一の人物を撮像した2つ以上の対象動画を特定するステップと、
前記2つ以上の対象動画から前記人物の挙動を検出するステップと、
検出された前記挙動に基づいて前記人物の属性情報を推定するステップと、
前記人物の属性情報と、少なくとも1つの前記対象動画の撮像時刻及び撮像位置と、をクライアントへ送信するステップと、を実行させる。
本発明の一実施形態に係る情報処理方法は、
複数の車両と、前記複数の車両と通信可能なサーバと、を備える情報処理システムが実行する情報処理方法であって、
前記複数の車両のそれぞれが、
車外の人物を撮像した動画を生成するステップと、
前記動画と、前記動画の撮像時刻及び撮像位置と、を前記サーバへ送信するステップと、
前記サーバが、
前記複数の車両からそれぞれ受信した複数の前記動画のうち、同一の人物を撮像した2つ以上の対象動画を特定するステップと、
前記2つ以上の対象動画から前記人物の挙動を検出するステップと、
検出された前記挙動に基づいて前記人物の属性情報を推定するステップと、
前記人物の属性情報と、少なくとも1つの前記対象動画の撮像時刻及び撮像位置と、をクライアントへ送信するステップと、を含む。
本発明の一実施形態に係る情報処理システム、プログラム、及び情報処理方法によれば、車載カメラの画像から人物に関する情報を検出する技術の利便性が向上する。
本発明の一実施形態に係る情報処理システムの概略構成を示す図である。 車両の概略構成を示すブロック図である。 サーバの概略構成を示すブロック図である。 サーバに記憶される情報の例を示す図である。 車両の動作を示すフローチャートである。 サーバの動作を示すフローチャートである。
以下、本発明の実施形態について説明する。
(情報処理システムの構成)
図1を参照して、本発明の一実施形態に係る情報処理システム1の概要について説明する。情報処理システム1は、複数の車両10と、サーバ20と、を備える。車両10は、例えば自動車であるが、これに限られず任意の車両であってもよい。図1では説明の簡便のため、車両10については2つのみを図示しているが、情報処理システム1は任意の数の車両10を備えてもよい。サーバ20は、1つ又は互いに通信可能な複数の情報処理装置(例えば、サーバ装置)を含む。車両10及びサーバ20は、例えば移動体通信網及びインターネット等を含むネットワーク30を介して通信可能である。また、サーバ20は、ネットワーク30を介してクライアント40と通信可能である。クライアント40は、例えばPC(Personal Computer)、サーバ装置、及びスマートフォン等であるが、任意の情報処理装置であってもよい。
まず、本実施形態の概要について説明し、詳細については後述する。情報処理システム1は、例えば徘徊者又は不審者等の検出に用いられる。複数の車両10のそれぞれは、例えば車載カメラを備えており、車外風景を撮像した動画を生成する。当該動画には、例えば車両10の周辺に存在する歩行者等の人物が映り得る。各車両10は、車外の人物を撮像した動画を生成すると、当該動画と、動画の撮像時刻及び撮像位置と、をサーバ20へ送信する。
サーバ20は、複数の車両10によってそれぞれ生成された複数の動画のうち、同一の人物を撮像した2つ以上の動画のそれぞれを対象動画として特定する。以下、各対象動画に映った当該同一の人物を、対象人物ともいう。ここで、例えば徘徊者又は不審者等の人物は、その他の人物とは異なる特徴的な挙動を示すことが知られている。したがって、人物の挙動に基づいて徘徊者又は不審者等の該非判定が可能である。サーバ20は、特定された2つ以上の対象動画から対象人物の挙動を検出し、検出された当該挙動に基づいて対象人物の属性情報(例えば、対象人物が徘徊者又は不審者に該当するか否か等)を推定する。そして、サーバ20は、対象人物の属性情報と、対象動画の撮像時刻及び撮像位置と、をクライアント40へ送信する。
一般的に、人物の動画から当該人物の挙動を検出するためには、人物の一連の動きが動画に映っている必要がある。しかしながら、例えば各車両10が走行しながら人物を撮像した場合、各対象動画の長さは比較的短く、1つの対象動画には人物の一連の動きの一部しか映らない。このため、例えば1つの対象動画からでは、人物の挙動の検出精度が必ずしも十分でなく、或いは挙動を検出できない場合がある。これに対して、本実施形態によれば、上述したように複数の車両10によってそれぞれ生成された複数の動画のうち、同一の人物を撮像した2つ以上の対象動画が特定される。上述のように、各対象動画には人物の一連の動きの一部しか映っていない場合であっても、2つ以上の対象動画から人物の一連の動きが検出され得る。即ち、2つ以上の対象動画を用いることによって、対象人物の挙動の検出精度が向上する。対象人物の挙動の検出精度の向上は、対象人物の属性情報の推定精度を向上させる。したがって、車載カメラの画像から人物に関する情報を検出する技術の利便性が向上する。
次に、情報処理システム1の各構成について、詳細に説明する。
(車両の構成)
図2に示すように、車両10は、通信部11と、測位部12と、撮像部13と、記憶部14と、制御部15と、を備える。通信部11、測位部12、撮像部13、記憶部14、及び制御部15のそれぞれは、車両10に内蔵されてもよく、或いは車両10に着脱可能に設けられてもよい。通信部11、測位部12、撮像部13、記憶部14、及び制御部15は、例えばCAN(Controller Area Network)等の車載ネットワーク又は専用線を介して、互いに通信可能に接続される。
通信部11は、ネットワーク30に接続する通信モジュールを含む。当該通信モジュールは、例えば4G(4th Generation)及び5G(5th Generation)等の移動体通信規格に対応するが、これらに限られず、任意の通信規格に対応してもよい。例えば、DCM(Data Communication Module)等の車載通信機が、通信部11として機能してもよい。本実施形態において、車両10は、通信部11を介してネットワーク30に接続される。
測位部12は、衛星測位システムに対応する受信機を含む。当該受信機は、例えばGPS(Global Positioning System)に対応するが、これに限られず、任意の衛星測位システムに対応してもよい。例えばカーナビゲーション装置が、測位部12として機能してもよい。本実施形態において、車両10は、測位部12を用いて自車両の位置情報を取得する。
撮像部13は、視野内の被写体を撮像した動画を生成する車載カメラを含む。当該車載カメラは、単眼カメラであってもよく、或いはステレオカメラであってもよい。撮像部13は、車外風景を撮像可能となるように車両10に備えられる。例えば、ドライブレコーダ又は乗員が使用するスマートフォン等のカメラ機能を有する電子機器が、撮像部13として機能してもよい。本実施形態において、車両10は、撮像部13を用いて、車外風景を撮像した動画を生成する。
記憶部14は、1つ以上のメモリを含む。本実施形態において「メモリ」は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部14に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部14は、車両10の動作に用いられる任意の情報を記憶する。例えば、記憶部14は、システムプログラム、アプリケーションプログラム、及び組み込みソフトウェア等を記憶してもよい。記憶部14に記憶された情報は、例えば通信部11を介してネットワーク30から取得される情報で更新可能であってもよい。
制御部15は、1つ以上のプロセッサを備える。本実施形態において「プロセッサ」は、汎用のプロセッサ、特定の処理に特化した専用のプロセッサ等であるが、これらに限られない。例えば、車両10に搭載されたECU(Electronic Control Unit)が、制御部15として機能してもよい。制御部15は、現在時刻を把握する計時機能を有する。制御部15は、車両10全体の動作を制御する。
例えば、制御部15は、撮像部13を用いて、車外風景を撮像した動画を生成する。上述したように、当該動画には、例えば車両10の周辺に存在する歩行者等の人物が映り得る。制御部15は、動画の撮像中、車外の人物が映っている場面を画像認識により検出すると、当該場面を切り出すことにより、車外の人物を撮像した動画を生成してもよい。車外の人物が映っている場面の検出には、例えば例えばパターンマッチング、特徴点抽出、又は機械学習等、任意の画像認識手法が採用可能である。制御部15は、車外の人物を撮像した動画を生成すると、当該動画と、動画の撮像時刻及び撮像位置とを、通信部11を介してサーバ20へ送信する。撮像時刻は、例えば動画の撮像を開始した時刻であるが、動画の撮像を開始した時刻から終了した時刻までの期間内の任意の時刻であってもよい。撮像位置は、撮像時刻における車両10の位置であって、測位部12から取得される。
(サーバの構成)
図3に示すように、サーバ20は、サーバ通信部21と、サーバ記憶部22と、サーバ制御部23と、を備える。
サーバ通信部21は、ネットワーク30に接続する通信モジュールを含む。当該通信モジュールは、例えば有線LAN(Local Area Network)規格に対応するが、これに限られず、任意の通信規格に対応してもよい。本実施形態において、サーバ20は、サーバ通信部21を介してネットワーク30に接続される。
サーバ記憶部22は、1つ以上のメモリを含む。サーバ記憶部22に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。サーバ記憶部22は、サーバ20の動作に用いられる任意の情報を記憶する。例えば、サーバ記憶部22は、システムプログラム、アプリケーションプログラム、及びデータベース等を記憶してもよい。サーバ記憶部22に記憶された情報は、例えばサーバ通信部21を介してネットワーク30から取得される情報で更新可能であってもよい。
サーバ制御部23は、1つ以上のプロセッサを含む。サーバ制御部23は、サーバ20全体の動作を制御する。
例えば、サーバ制御部23は、車両10から動画、撮像時刻、及び撮像位置を受信すると、これらの情報をサーバ記憶部22のデータベースに格納する。例えば図4に示すように、サーバ制御部23は、動画IDに対応付けて、動画、撮像時刻、及び撮像位置をデータベースに格納してもよい。動画IDは、サーバ制御部23は動画を一意に識別可能な情報であって、例えば動画の受信時に自動的に生成される。図4に示す例では、撮像時刻t1及び撮像位置p1において撮像された動画と、撮像時刻t2及び撮像位置p2において撮像された動画と、の2つの動画が格納されている。しかしながら、当該データベースには、複数の車両10からそれぞれ受信された複数の動画が格納される。
また、サーバ制御部23は、サーバ記憶部22のデータベースに格納された複数の動画のうち、同一の人物を撮像した2つ以上の動画を選別し、選別された各動画を対象動画として特定する。具体的には、サーバ制御部23は、データベースに格納された各動画に映った人物を画像認識により検出し、検出された人物同士の同一性を判定することにより、同一の人物を撮像した2つ以上の動画を選別する。動画に映った人物の検出及び同一性の判定には、例えばパターンマッチング、特徴点抽出、又は機械学習等、任意の画像認識手法が採用可能である。
動画の選別の際、サーバ制御部23は、データベースに格納された複数の動画のうち、撮像時刻及び撮像位置が所定の範囲内で一致する複数の動画の中から、同一の人物を撮像した2つ以上の動画を選別してもよい。具体的には、サーバ制御部23は、データベースに格納された各動画の撮像時刻及び撮像位置に基づいて、撮像時刻及び撮像位置が所定の範囲内で一致する複数の動画を特定し、特定された各動画に映った人物を画像認識により検出し、検出された人物同士の同一性を判定することにより、同一の人物を撮像した2つ以上の動画を選別する。ここで「撮像時刻及び撮像位置が所定の範囲内で一致する複数の動画」は、各動画と少なくとも1つの他の動画との関係において、撮像時刻の差が基準値(例えば、1分)以下であり、且つ撮像位置の差が基準値(例えば、60m)以下である複数の動画である。
かかる構成によれば、データベースに格納された全ての動画について人物の検出及び同一性の判定を実施する必要がなく、処理負担が軽減される。なお、上記の「所定の範囲」は、例えば実験結果又は経験則に基づいて定められてもよい。例えば、「所定の範囲」が狭いほど処理負担の軽減効果が大きくなるが、2つ以上の対象動画を特定しにくくなる。逆に、「所定の範囲」が広いほど2つ以上の対象動画を特定しやすくなるが、処理負担の軽減効果が小さくなる。
また、サーバ制御部23は、特定された2つ以上の対象動画から、対象人物の挙動を検出する。任意の観点から見た対象人物の一連の動きが挙動として検出され得る。例えば、対象人物の視線、表情、顔の向きの変化、体の向きの変化、若しくは手足の動き、又はこれらの組み合わせ等、体の各部の一連の動きが挙動として検出されてもよい。また例えば、走る、立ち止まる、若しくは屈む、又はこれらの組み合わせ等、体全体の複合的な一連の動きが挙動として検出されてもよい。人物の挙動の検出は、例えばパターンマッチング、特徴点抽出、又は機械学習等、任意の画像認識手法が採用可能である。
また、サーバ制御部23は、検出された挙動に基づいて対象人物の属性情報を推定する。本実施形態において、属性情報は、徘徊者又は不審者の該非判定結果を示す情報を含む。該非判定結果を示す情報は、例えば、対象人物が徘徊者又は不審者に該当するか否かを示す情報であってもよく、或いは対象人物が徘徊者又は不審者に該当する可能性を示す情報であってもよい。
挙動に基づく属性情報の推定には、任意の手法が採用可能である。上述したように、例えば徘徊者又は不審者等の人物は、その他の人物とは異なる特徴的な挙動を示すことが知られており、人物の挙動に基づいて徘徊者又は不審者等の該非判定が可能である。
一例において、人間の挙動と属性情報との対応関係を示す対応情報を用いる手法が採用される。当該対応関係は、例えば実験結果又は経験則に基づいて定められてもよい。具体的には、サーバ制御部23は、人間の挙動と属性情報との対応関係を示す対応情報を、サーバ記憶部22に予め記憶する。サーバ制御部23は、当該対応情報を参照して、2つ以上の対象動画から検出された挙動に対応する属性情報を、対象人物の属性情報として推定する。
他の例において、人間の挙動と属性情報との対応関係を機械学習した結果を用いる手法が採用可能である。具体的には、サーバ制御部23は、人間の挙動を入力データとし、当該人間の属性情報を出力データとする学習済みモデルをサーバ記憶部22に予め記憶する。サーバ制御部23は、2つ以上の対象動画から検出された挙動を当該モデルに入力し、出力された属性情報を対象人物の属性情報として推定する。
また、サーバ制御部23は、少なくとも1つの対象動画の撮像位置に対応する地点の情報を取得する。撮像位置に対応する地点の情報は、例えば、撮像位置に対応する地点に存在する施設の名称、所在地、又は画像等を含むが、これらに限られず、当該地点に関する任意の情報を含んでもよい。撮像位置に対応する地点の情報は、例えばサーバ通信部21を介してネットワーク30から取得されてもよく、或いはサーバ記憶部22に予め記憶させた地図情報から取得されてもよい。
また、サーバ制御部23は、いずれか1つの対象動画から対象人物の画像(動画又は静止画)を切り出す。ここで、サーバ制御部23は、2つ以上の対象動画のうち、対象人物の顔が映った場面の画像を優先的に切り出してもよい。
また、サーバ制御部23は、対象人物の属性情報と、少なくとも1つの対象動画の撮像時刻及び撮像位置と、当該撮像位置に対応する地点の情報と、対象人物の画像と、をクライアント40へ送信する。対象人物の属性情報等の送信は、例えばクライアント40からの要求に応じて実施(例えば、プル配信)されてもよく、或いはサーバ制御部23により自動的に実施(例えば、プッシュ配信)されてもよい。
ここで、上述した撮像位置に対応する地点の情報の取得、対象人物の画像の切り出し、及び対象人物の属性情報等の送信を含む動作は、推定された属性情報が所定の条件を満たす場合に限り実施されてもよい。例えば、推定された属性情報が、対象人物が徘徊者若しくは不審者に該当すること又は該当する可能性が所定基準よりも高いことを示す場合に限り、当該動作が実施されてもよい。
(車両の動作フロー)
図5を参照して、車両10の動作のフローについて説明する。
ステップS100:制御部15は、撮像部13を用いて、車外の人物を撮像した動画を生成する。
ステップS101:制御部15は、ステップS100で生成された動画と、当該動画の撮像時刻及び撮像位置とを、通信部11を介してサーバ20へ送信する。
(サーバの動作フロー)
図6を参照して、サーバ20の動作のフローについて説明する。
ステップS200:サーバ制御部23は、人間の挙動と属性情報との対応関係を示す対応情報を、サーバ記憶部22に記憶する。
ステップS201:サーバ制御部23は、車両10から動画、撮像時刻、及び撮像位置を受信し、サーバ記憶部22のデータベースに格納する。
ステップS202:サーバ制御部23は、サーバ記憶部22のデータベースに格納された複数の動画のうち、同一の人物を撮像した2つ以上の動画を選別し、選別された各動画を対象動画として特定する。動画の選別の際、サーバ制御部23は、データベースに格納された複数の動画のうち、撮像時刻及び撮像位置が所定の範囲内で一致する複数の動画の中から、同一の人物を撮像した2つ以上の動画を選別してもよい。
ステップS203:サーバ制御部23は、特定された2つ以上の対象動画から、対象人物の挙動を検出する。
ステップS204:サーバ制御部23は、検出された挙動に基づいて対象人物の属性情報を推定する。本例では、サーバ制御部23は、ステップS200の対応情報を参照して、2つ以上の対象動画から検出された挙動に対応する属性情報を、対象人物の属性情報として推定する。
ステップS205:サーバ制御部23は、少なくとも1つの対象動画の撮像位置に対応する地点の情報を取得する。
ステップS206:サーバ制御部23は、いずれか1つの対象動画から対象人物の画像(動画又は静止画)を切り出す。
ステップS207:サーバ制御部23は、対象人物の属性情報と、少なくとも1つの対象動画の撮像時刻及び撮像位置と、当該撮像位置に対応する地点の情報と、対象人物の画像と、をクライアント40へ送信する。
以上述べたように、本実施形態に係る情報処理システム1によれば、複数の車両10のそれぞれは、車外の人物を撮像した動画を生成し、当該動画と、当該動画の撮像時刻及び撮像位置と、をサーバ20へ送信する。サーバ20は、複数の車両10からそれぞれ受信した複数の動画のうち、同一の人物(対象人物)を撮像した2つ以上の対象動画を特定する。サーバ20は、当該2つ以上の対象動画から対象人物の挙動を検出し、検出された挙動に基づいて対象人物の属性情報を推定する。そして、サーバ20は、対象人物の属性情報と、少なくとも1つの対象動画の撮像時刻及び撮像位置と、をクライアント40へ送信する。
かかる構成によれば、同一の人物を撮像した2つ以上の対象動画を用いて対象人物の挙動が検出されるので、例えば1つの対象動画を用いて対象人物の挙動を検出する構成と比較して、挙動の検出精度が向上する。対象人物の挙動の検出精度の向上は、対象人物の属性情報の推定精度を向上させる。したがって、車載カメラの画像から人物に関する情報を検出する技術の利便性が向上する。
本発明を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
例えば、上述した実施形態において、人間の挙動を入力データとし、当該人間の属性情報を出力データとする学習済みモデルを用いて、対象人物の属性情報を推定する構成について説明した。しかしながら、対象人物の属性情報の推定に用いる学習済みモデルは、当該例に限られない。例えば、2つ以上の対象動画を入力データとし、対象人物の属性情報を出力データとする学習済みモデルを用いて、対象人物の属性情報を推定する構成も可能である。
また、例えばスマートフォン又はコンピュータ等の汎用の情報処理装置を、上述した実施形態に係る車両10の各構成部又はサーバ20として機能させる構成も可能である。具体的には、実施形態に係る車両10又はサーバ20の各機能を実現する処理内容を記述したプログラムを、情報処理装置のメモリに格納し、情報処理装置のプロセッサによって当該プログラムを読み出して実行させる。したがって、本実施形態に係る発明は、プロセッサが実行可能なプログラムとしても実現可能である。
1 情報処理システム
10 車両
11 通信部
12 測位部
13 撮像部
14 記憶部
15 制御部
20 サーバ
21 サーバ通信部
22 サーバ記憶部
23 サーバ制御部
30 ネットワーク
40 クライアント

Claims (7)

  1. 複数の車両と、前記複数の車両と通信可能なサーバと、を備える情報処理システムであって、
    前記複数の車両のそれぞれは、
    車外の人物を撮像した動画を生成し、
    前記動画と、前記動画の撮像時刻及び撮像位置と、を前記サーバへ送信し、
    前記サーバは、
    人間の挙動と属性情報との対応関係を示す対応情報を予め記憶し、
    前記複数の車両からそれぞれ受信した複数の前記動画のうち、同一の人物を撮像した2つ以上の対象動画を特定し、
    前記2つ以上の対象動画から前記人物の挙動を検出し、
    検出された前記挙動に対応する属性情報を前記人物の属性情報として推定し、
    前記人物の属性情報と、少なくとも1つの前記対象動画の撮像時刻及び撮像位置と、をクライアントへ送信する、情報処理システム。
  2. 請求項に記載の情報処理システムであって、
    前記属性情報は、徘徊者又は不審者の該非判定結果を示す情報を含む、情報処理システム。
  3. 請求項1又は2に記載の情報処理システムであって、
    前記サーバは、
    前記2つ以上の対象動画から前記人物の動画又は静止画を切り出し、
    切り出された前記動画又は前記静止画を前記クライアントへ送信する、情報処理システム。
  4. 請求項1からのいずれか一項に記載の情報処理システムであって、
    前記サーバは、
    前記少なくとも1つの対象動画の撮像位置に対応する地点の情報を取得し、
    取得された前記情報を前記クライアントへ送信する、情報処理システム。
  5. 請求項1からのいずれか一項に記載の情報処理システムであって、
    前記サーバは、前記複数の車両からそれぞれ受信した前記複数の動画のうち、撮像時刻及び撮像位置が所定の範囲内で一致する複数の前記動画の中から、同一の人物を撮像した前記2つ以上の対象動画を特定する、情報処理システム。
  6. 複数の車両と通信可能な情報処理装置に、
    人間の挙動と属性情報との対応関係を示す対応情報を記憶するステップと、
    前記複数の車両によってそれぞれ生成され車外の人物を撮像した複数の動画と、前記複数の動画の撮像時刻及び撮像位置と、を受信するステップと、
    前記複数の動画のうち、同一の人物を撮像した2つ以上の対象動画を特定するステップと、
    前記2つ以上の対象動画から前記人物の挙動を検出するステップと、
    検出された前記挙動に対応する属性情報を前記人物の属性情報として推定するステップと、
    前記人物の属性情報と、少なくとも1つの前記対象動画の撮像時刻及び撮像位置と、をクライアントへ送信するステップと、
    を実行させる、プログラム。
  7. 複数の車両と、前記複数の車両と通信可能なサーバと、を備える情報処理システムが実行する情報処理方法であって、
    前記複数の車両のそれぞれが、
    車外の人物を撮像した動画を生成するステップと、
    前記動画と、前記動画の撮像時刻及び撮像位置と、を前記サーバへ送信するステップと、
    前記サーバが、
    人間の挙動と属性情報との対応関係を示す対応情報を記憶するステップと、
    前記複数の車両からそれぞれ受信した複数の前記動画のうち、同一の人物を撮像した2つ以上の対象動画を特定するステップと、
    前記2つ以上の対象動画から前記人物の挙動を検出するステップと、
    検出された前記挙動に対応する属性情報を前記人物の属性情報として推定するステップと、
    前記人物の属性情報と、少なくとも1つの前記対象動画の撮像時刻及び撮像位置と、をクライアントへ送信するステップと、
    を含む、情報処理方法。
JP2018234145A 2018-12-14 2018-12-14 情報処理システム、プログラム、及び情報処理方法 Active JP7151449B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018234145A JP7151449B2 (ja) 2018-12-14 2018-12-14 情報処理システム、プログラム、及び情報処理方法
US16/687,797 US11170207B2 (en) 2018-12-14 2019-11-19 Information processing system, program, and information processing method
CN201911224241.3A CN111325088B (zh) 2018-12-14 2019-12-04 信息处理系统、记录介质以及信息处理方法
US17/500,046 US11818635B2 (en) 2018-12-14 2021-10-13 Information processing system, program, and information processing method
US18/478,210 US20240040352A1 (en) 2018-12-14 2023-09-29 Information processing system, program, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018234145A JP7151449B2 (ja) 2018-12-14 2018-12-14 情報処理システム、プログラム、及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2020095564A JP2020095564A (ja) 2020-06-18
JP7151449B2 true JP7151449B2 (ja) 2022-10-12

Family

ID=71072644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018234145A Active JP7151449B2 (ja) 2018-12-14 2018-12-14 情報処理システム、プログラム、及び情報処理方法

Country Status (3)

Country Link
US (3) US11170207B2 (ja)
JP (1) JP7151449B2 (ja)
CN (1) CN111325088B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7151449B2 (ja) 2018-12-14 2022-10-12 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法
JP7363838B2 (ja) * 2021-03-02 2023-10-18 トヨタ自動車株式会社 異常挙動通知装置、異常挙動通知システム、異常挙動通知方法、およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014125882A1 (ja) 2013-02-15 2014-08-21 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
WO2017159680A1 (ja) 2016-03-17 2017-09-21 日本電気株式会社 捜索支援装置、捜索支援システム、捜索支援方法及びプログラム記録媒体
US20180137372A1 (en) 2016-11-11 2018-05-17 NextEv USA, Inc. Using Vehicle Sensor Data to Monitor Pedestrian Health
US20180316901A1 (en) 2017-04-26 2018-11-01 Ford Global Technologies, Llc Event reconstruct through image reporting

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3327255B2 (ja) * 1998-08-21 2002-09-24 住友電気工業株式会社 安全運転支援システム
US6690294B1 (en) * 2001-07-10 2004-02-10 William E. Zierden System and method for detecting and identifying traffic law violators and issuing citations
JP2007241377A (ja) * 2006-03-06 2007-09-20 Sony Corp 検索システム、撮像装置、データ保存装置、情報処理装置、撮像画像処理方法、情報処理方法、プログラム
DE602006005079D1 (de) * 2006-08-24 2009-03-19 Harman Becker Automotive Sys Verfahren zum Abbilden der Umgebung eines Fahrzeugs und System dafür
TWI420421B (zh) * 2009-09-16 2013-12-21 Univ Nat Kaohsiung Applied Sci Automatic patrol tracing to capture the system
CN103548340B (zh) * 2011-05-24 2017-12-29 日产自动车株式会社 车辆用监视装置以及车辆的监视方法
CN102724482B (zh) * 2012-06-18 2015-08-26 西安电子科技大学 基于gps和gis的智能视觉传感网络运动目标接力跟踪系统
WO2014045843A1 (ja) * 2012-09-19 2014-03-27 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
CN102968873B (zh) * 2012-11-29 2015-01-07 深圳市捷顺科技实业股份有限公司 一种停车场预警系统
JP6337646B2 (ja) * 2014-06-26 2018-06-06 株式会社Jvcケンウッド 車載映像システム、映像転送システム、映像転送方法及び映像転送プログラム
JP6554280B2 (ja) * 2014-11-28 2019-07-31 株式会社デンソーテン データ処理装置、画像処理方法、及び、プログラム
JP6593588B2 (ja) * 2015-02-16 2019-10-23 パナソニックIpマネジメント株式会社 物体検出装置および物体検出方法
CN105291984A (zh) * 2015-11-13 2016-02-03 中国石油大学(华东) 一种基于多车协作的行人及车辆检测的方法及系统
US11494579B2 (en) * 2016-01-29 2022-11-08 Nec Corporation Information processing apparatus, information processing method, and program
US10997422B2 (en) * 2016-01-29 2021-05-04 Nec Corporation Information processing apparatus, information processing method, and program
MX2018010226A (es) * 2016-02-26 2018-11-19 Amazon Tech Inc Grabacion de video compartido desde dispositivos de grabacion y comunicacion de audio/video.
JP6583688B2 (ja) 2016-05-27 2019-10-02 三井金属アクト株式会社 画像情報認証システム
CN106650603A (zh) * 2016-10-18 2017-05-10 北京小米移动软件有限公司 车辆周边监控方法、装置和车辆
US10477343B2 (en) * 2016-12-22 2019-11-12 Motorola Solutions, Inc. Device, method, and system for maintaining geofences associated with criminal organizations
US20180232904A1 (en) * 2017-02-10 2018-08-16 Seecure Systems, Inc. Detection of Risky Objects in Image Frames
EP3619104B1 (en) * 2017-05-04 2021-12-15 Carnegie Mellon University State estimation and localization for rov-based structural inspection
CN107195018A (zh) * 2017-05-17 2017-09-22 金碧凡 一种前端大数据车载智能系统
US10410086B2 (en) * 2017-05-30 2019-09-10 Google Llc Systems and methods of person recognition in video streams
CN107729562A (zh) * 2017-11-09 2018-02-23 成都钰月科技有限责任公司 人像自动识别的视频数据挖掘系统和方法
JP7151449B2 (ja) 2018-12-14 2022-10-12 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014125882A1 (ja) 2013-02-15 2014-08-21 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
WO2017159680A1 (ja) 2016-03-17 2017-09-21 日本電気株式会社 捜索支援装置、捜索支援システム、捜索支援方法及びプログラム記録媒体
US20180137372A1 (en) 2016-11-11 2018-05-17 NextEv USA, Inc. Using Vehicle Sensor Data to Monitor Pedestrian Health
US20180316901A1 (en) 2017-04-26 2018-11-01 Ford Global Technologies, Llc Event reconstruct through image reporting

Also Published As

Publication number Publication date
CN111325088A (zh) 2020-06-23
JP2020095564A (ja) 2020-06-18
US20220067355A1 (en) 2022-03-03
US20240040352A1 (en) 2024-02-01
US20200193147A1 (en) 2020-06-18
CN111325088B (zh) 2023-06-16
US11818635B2 (en) 2023-11-14
US11170207B2 (en) 2021-11-09

Similar Documents

Publication Publication Date Title
US11315430B2 (en) System, program, and method for detecting information on a person from a video of an on-vehicle camera
CN106029455B (zh) 打开车辆的行李箱的装置和方法以及记录执行方法的程序的记录介质
US20240040352A1 (en) Information processing system, program, and information processing method
US10679072B2 (en) Moving-object position estimating system, information processing apparatus and moving-object position estimating method
WO2012086821A1 (ja) 測位装置、測位方法
US11453367B2 (en) Information processing system, program, and information processing method
KR102241906B1 (ko) 차량의 주차위치 안내 시스템 및 방법
JP6048246B2 (ja) 車間距離計測装置及び車間距離計測方法
JP2017151148A (ja) 位置推定装置、位置検出方法及びプログラム
JP7068156B2 (ja) 情報処理装置及びプログラム
KR101628390B1 (ko) 차량 내 운전자 인증 장치 및 그 방법
CN109388136B (zh) 移动对象控制系统、移动对象控制方法和存储介质
JP2023060081A (ja) 処理装置
US20200104605A1 (en) Image processing device, non-transitory readable recording medium storing program, information processing system, and control method of image processing device
US11954804B2 (en) Information processing device and information processing method to display a virtual object
JP6922447B2 (ja) 情報処理システム、サーバおよび通信方法
JP6762754B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2015125724A (ja) 運転補助装置、運転特性管理サーバおよび運転補助システム
KR101894731B1 (ko) 차량의 충돌방지시스템 및 그 방법
JP6810428B2 (ja) 位置推定装置、位置推定方法及びプログラム
JP2018096935A (ja) 自車位置推定装置、プログラム、記録媒体、および自車位置推定方法
JP2020119305A (ja) 画像解析装置
CN112631418A (zh) 车辆、信息处理系统、非暂时性计算机可读取介质及控制方法
CN111898451A (zh) 身份识别方法、装置、电子设备及计算机可读存储介质
JP2019028551A (ja) 駐車位置特定支援装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220912

R151 Written notification of patent or utility model registration

Ref document number: 7151449

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151