JP7119794B2 - ログデータの生成方法、プログラム、及びデータ構造 - Google Patents

Description

本発明は、ログデータの生成方法、情報処理プログラム、及びデータ構造に関する。

従来から、データに含まれる情報の検索を高速化する技術が知られている。例えば、特許文献１には、符号化の際に用いられる辞書データの検索を高速化するため、辞書データ中の登録部分列について、検索回数に応じて該部分列の検索順の並べ換えを行うことが開示されている。

特許第３０１２６７７号

近年、車載カメラ等で撮影した映像に対する画像認識処理のログデータも、検索処理の高速化が求められる。一般的に画像認識処理のログデータは、データサイズが膨大であること等に起因して検索処理に長時間を要する。そのため画像認識処理のログデータの情報検索技術について、改善の余地があった。

かかる事情に鑑みてなされた本発明の目的は、画像認識処理のログデータの情報検索技術を改善することにある。

本発明の一実施形態に係るログデータの生成方法は、
複数の画像フレームに対する画像認識処理により検出された情報を記録した複数のレコードを含むログデータの生成方法であって、
前記画像認識処理により、各画像フレーム内のオブジェクトを検出するステップと、
画像フレーム毎に、前記画像フレームの識別情報と、各画像フレーム内で検出された全オブジェクト数とを含むレコードを生成するステップと、
前記全オブジェクト数が１以上である場合、検出されたオブジェクトに係るメタデータを対応するレコードに追加するステップと、
を含み、
前記全オブジェクト数が０である場合、前記追加するステップを省略する。

本発明の一実施形態に係るプログラムは、
複数の画像フレームに対する画像認識処理により検出された情報を記録した複数のレコードを含むログデータを生成する情報処理装置として機能するコンピュータに、
前記画像認識処理により、各画像フレーム内のオブジェクトを検出するステップと、
画像フレーム毎に、前記画像フレームの識別情報と、各画像フレーム内で検出された全オブジェクト数を含むレコードを生成するステップと、
前記全オブジェクト数が１以上である場合、検出されたオブジェクトに係るメタデータを対応するレコードに追加するステップと、
を実行させ、
前記全オブジェクト数が０である場合、前記追加するステップを省略する。

本発明の一実施形態に係るデータ構造は、
複数の画像フレームに対する画像認識処理により検出された情報を含むログデータのデータ構造であって、
前記複数の画像フレームに対応づけられた複数のレコードを含み、各レコードは、
各画像フレームの識別情報と、
各画像フレーム内で検出された全オブジェクト数と
を含み、
前記全オブジェクト数が１以上のレコードは、検出されたオブジェクトに係るメタデータを含み、前記全オブジェクト数が０のレコードは、メタデータを含まない。

また本発明の一実施形態に係るデータ構造は、
車両及びサーバを含む情報処理システムで用いられる、複数の画像フレームに対する画像認識処理により検出された情報を含むログデータのデータ構造であって、
前記複数の画像フレームに対応づけられた複数のレコードを含み、各レコードは、
各画像フレームの識別情報と、
各画像フレーム内で検出された全オブジェクト数と
を含み、
前記車両が、
前記全オブジェクト数が１以上である場合、検出されたオブジェクトに係るメタデータを対応するレコードに追加し、前記全オブジェクト数が０である場合、メタデータを追加しない。

本発明の一実施形態に係る情報処理方法、情報処理プログラム、及びデータ構造によれば、画像認識処理のログデータの情報検索技術を改善することができる。

本発明の一実施形態に係る情報処理システムの概略構成を示す図である。 車両の概略構成を示すブロック図である。 サーバの概略構成を示すブロック図である。 ログデータのデータ構造を示す図である。 画像認識処理の様子を示す概念図である。 ログデータのデータ領域のデータ構造を示す図である。 全オブジェクト数が０である場合のログデータのデータ構造を示す図である。 生成されたログデータの一例を示す。 本発明の一実施形態に係る情報処理システム１によるログデータの生成動作を示すフローチャートである。 順序テーブルの一例である。 検出されるオブジェクト同士の階層関係を表す概念図である。

以下、本発明の実施形態について説明する。

（情報処理システムの構成）
図１を参照して、本発明の一実施形態に係る情報処理システム１の概要について説明する。情報処理システム１は、車両１０と、サーバ２０と、を備える。車両１０は、例えば自動車であるが、これに限られず任意の車両であってもよい。図１では説明の簡便のため、車両１０については１台のみ図示しているが、情報処理システム１が備える車両１０の数は１つ以上であればよい。サーバ２０は、１つ又は互いに通信可能な複数のサーバ装置を含む。サーバ２０は、ネットワーク３０を介してクライアント端末と通信可能である。本実施形態において、クライアントは１つ以上の車両１０を含む。したがって、各車両１０及びサーバ２０は、例えば移動体通信網及びインターネット等を含むネットワーク３０を介して通信可能である。しかしながら、サーバ２０と通信可能なクライアントは車両１０に限られず、例えばスマートフォン又はコンピュータ等の任意の情報処理装置を含んでもよい。

本実施形態の概要として、車両１０が車外の風景を撮像した複数の撮像画像（以下、画像フレームという）に対し画像認識処理を行い、ログデータを生成する。ログデータの各レコードは、画像認識処理により検出されたオブジェクトの総数（以下、全オブジェクト数という）を含む。また、全オブジェクト数が１以上である場合、各オブジェクトに係る詳細情報（以下、メタデータという）がレコードに追加される。他方で全オブジェクト数が０である場合、メタデータがレコードに追加されない。

このように、本実施形態によれば、全オブジェクト数が１以上である場合に、ログデータに検出されたオブジェクトのメタデータが追加され、全オブジェクト数が０である場合にはログデータに不要なデータが追加されず、ログデータのデータサイズの増加を抑制できる。検索対象であるログデータのデータサイズの増加が抑制されることで検索速度が向上し、ログデータの情報検索技術を改善することができる。

（車両の構成）
図２に示すように、車両１０は、通信装置１１と、情報処理装置１２と、撮像装置１３と、を備える。通信装置１１及び情報処理装置１２は、例えばＣＡＮ（Controller Area Network）等の車載ネットワーク又は専用線を介して、互いに通信可能に接続される。

通信装置１１は、例えばＤＣＭ（Data Communication Module）等の車載通信機である。具体的には、通信装置１１は、通信部１１１と、記憶部１１２と、制御部１１３と、を備える。

通信部１１１は、車載ネットワーク又は専用線を介して通信する通信モジュールを含む。また、通信部１１１は、ネットワーク３０に接続する通信モジュールを含む。例えば、通信部１１１は、４Ｇ（4th Generation）及び５Ｇ（5th Generation）等の移動体通信規格に対応する通信モジュールを含んでもよい。本実施形態において、車両１０は、通信部１１１を介してネットワーク３０に接続される。

記憶部１１２は、１つ以上のメモリを含む。本実施形態において「メモリ」は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部１１２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１１２は、通信装置１１の動作に用いられる任意の情報を記憶する。例えば、記憶部１１２は、システムプログラム、アプリケーションプログラム、及び車両１０の識別情報等を記憶してもよい。車両１０の識別情報は、情報処理システム１において車両１０を一意に識別可能な情報である。通信装置１１からサーバ２０へ情報が送信される際、当該情報とともに車両１０の識別情報がサーバ２０へ送信されることによって、サーバ２０は送信元の車両１０を識別可能である。ここで、車両１０に備えられた通信装置１１又は情報処理装置１２の識別情報が、当該車両１０の識別情報として用いられてもよい。記憶部１１２に記憶された情報は、例えば通信部１１１を介してネットワーク３０から取得される情報で更新可能であってもよい。

制御部１１３は、１つ以上のプロセッサを含む。本実施形態において「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであるが、これらに限られない。制御部１１３は、通信装置１１全体の動作を制御する。本実施形態では、制御部１１３によって制御される通信装置１１を介して、車両１０とサーバ２０が通信する。

例えば、制御部１１３は、車外の風景を撮像した画像フレームに係るログデータを情報処理装置１２から取得する。制御部１１３は、取得したログデータをサーバ２０へ送信する。ログデータは、各レコードが生成される度に送信されてもよく、或いは一定期間記憶部１１２に蓄積してから送信されてもよい。また制御部１１３は、画像フレームを撮像装置１３から取得し、当該画像フレームをサーバ２０へ送信してもよい。

情報処理装置１２は、例えば車両１０に搭載されるナビゲーション装置又は自動運転制御装置であるが、これに限られない。具体的には、情報処理装置１２は、通信部１２１と、記憶部１２２と、位置情報取得部１２３と、出力部１２４と、入力部１２５と、制御部１２６と、を備える。

通信部１２１は、車載ネットワーク又は専用線を介して通信する通信モジュールを含む。

記憶部１２２は、１つ以上のメモリを含む。記憶部１２２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１２２は、情報処理装置１２の動作に用いられる任意の情報を記憶する。例えば、記憶部１２２は、システムプログラム、アプリケーションプログラム等を記憶してもよい。記憶部１２２に記憶された情報は、例えば通信装置１１を介してネットワーク３０から取得される情報で更新可能であってもよい。

位置情報取得部１２３は、任意の衛星測位システムに対応する１つ以上の受信機を含む。例えば、位置情報取得部１２３は、ＧＰＳ（Global Positioning System）受信機を含んでもよい。位置情報取得部１２３は、車両１０の位置情報を取得し、制御部１２６に出力する。

出力部１２４は、情報を出力してユーザに通知する１つ以上の出力インタフェースを含む。例えば、出力部１２４に含まれる出力インタフェースは、情報を映像で出力するディスプレイ、又は情報を音声で出力するスピーカ等であるが、これらに限られない。例えば、ディスプレイは、パネルディスプレイ又はヘッドアップディスプレイ等であるが、これらに限られない。本実施形態において「映像」は、テキスト、静止画像、及び動画像を含んでもよい。

入力部１２５は、ユーザ入力を検出する１つ以上の入力インタフェースを含む。例えば、入力部１２５に含まれる入力インタフェースは、物理キー、静電容量キー、出力部１２４のパネルディスプレイと一体的に設けられたタッチスクリーン、又は音声入力を受け付けるマイク等であるが、これらに限られない。

制御部１２６は、１つ以上のプロセッサを含む。制御部１２６は、情報処理装置１２全体の動作を制御する。例えば、制御部１２６は、位置情報取得部１２３から取得した車両１０の位置情報と、撮像装置１３から取得した複数の画像フレームとに基づきログデータを生成する。

撮像装置１３は、被写体を撮像した複数の画像フレームを生成する装置である。本実施形態において、撮像装置１３は、車外の風景を撮像可能となるように車両１０に備えられる。撮像装置１３は、例えば、車両の運転支援に用いられる車載カメラ、又はドライブレコーダ等であってもよい。具体的には、撮像装置１３は、通信部１３１と、記憶部１３２と、撮像部１３３と、制御部１３４と、を備える。

通信部１３１は、車載ネットワーク又は専用線を介して通信する通信モジュールを含む。

記憶部１３２は、１つ以上のメモリを含む。記憶部１３２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部１３２は、撮像装置１３の動作に用いられる任意の情報を記憶する。例えば、記憶部１３２は、システムプログラム及びアプリケーションプログラム等を記憶してもよい。記憶部１３２に記憶された情報は、例えば通信装置１１を介してネットワーク３０から取得される情報で更新可能であってもよい。

撮像部１３３は、レンズ等の光学素子及びイメージセンサを含む。本実施形態において「イメージセンサ」は、例えばＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charged-Coupled devices）イメージセンサ等であるが、これらに限られない。

制御部１３４は、１つ以上のプロセッサを含む。制御部１３４は、撮像装置１３全体の動作を制御する。

例えば、制御部１３４は、車両１０の車外の風景を撮像部１３３により所定のフレームレート（例えば、６０ｆｐｓ）で撮像した複数の画像フレームを生成し、情報処理装置１２へ出力する。複数の画像フレームは、それぞれ生成される度に情報処理装置１２へ出力されてもよく、或いは一定期間記憶部１３２に蓄積してから情報処理装置１２へ出力されてもよい。また複数の画像フレームは、複数の画像フレームを含む動画像として情報処理装置１２へ出力されてもよい。換言すると制御部１３４は、複数の画像フレームを、複数の静止画像ファイル（例えば、ＪＰＧファイル）として出力してもよく、或いは１つの動画像ファイル（例えば、ＡＶＩファイル）として出力してもよい。

（サーバの構成）
図３に示すように、サーバ２０は、サーバ通信部２１と、サーバ記憶部２２と、サーバ制御部２３と、を備える。

サーバ通信部２１は、ネットワーク３０に接続する通信モジュールを含む。例えば、サーバ通信部２１は、有線ＬＡＮ（Local Area Network）規格に対応する通信モジュールを含んでもよい。本実施形態において、サーバ２０は、サーバ通信部２１を介してネットワーク３０に接続される。

サーバ記憶部２２は、１つ以上のメモリを含む。サーバ記憶部２２に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。サーバ記憶部２２は、サーバ２０の動作に用いられる任意の情報を記憶する。例えば、サーバ記憶部２２は、システムプログラム、アプリケーションプログラム、及び車両１０から受信したログデータを格納するデータベース等を記憶してもよい。サーバ記憶部２２に記憶された情報は、例えばサーバ通信部２１を介してネットワーク３０から取得される情報で更新可能であってもよい。

図３に示すサーバ制御部２３は、１つ以上のプロセッサを含む。サーバ制御部２３は、サーバ２０全体の動作を制御する。例えばサーバ制御部２３は、車両１０からログデータを受信及び取得する。またサーバ制御部２３は、検索クエリに基づきログデータの検索処理を行い、検索処理結果を出力する。検索クエリはログデータの参照を要求するクライアント端末がネットワーク３０を介してサーバ２０に送信される。検索クエリは、キーワード、タグ等で指定される任意の検索条件の情報を含む。以下、当該検索処理を改善するためのログデータの構造について説明する。

（ログデータの構造）
上述の通り、ログデータは、車両１０における情報処理装置１２の制御部１２６により、撮像装置１３から受信した複数の画像フレームに基づき生成される。ログデータは複数の画像フレームに対応する複数のレコードを含む。具体的には制御部１２６は、各画像フレームに対する画像認識処理により、各画像フレーム内のオブジェクトを検出する。制御部１２６は、全オブジェクト数をカウントする。制御部１２６は、画像フレーム毎に、画像フレームの識別情報と、各画像フレーム内で検出された全オブジェクト数とを含むレコードを生成する。ここで制御部１２６は、全オブジェクト数が１以上である場合、オブジェクト種別毎の各オブジェクトの総数（以下「検出数」ともいう）及び各オブジェクトに係るメタデータを対応するレコードに追加する。

図４にログデータのデータ構造を示す。図４に示すように、ログデータの各レコードは、ヘッダ領域及びデータ領域を含む。ヘッダ領域は、フレーム識別情報、タイムスタンプ、全オブジェクト数、各検出数、及びタグ情報を含む。データ領域は、メタデータを含む。フレーム識別情報は、本システムにおいて画像フレームを一意に特定するための情報である。タイムスタンプは、画像フレームが生成された日時情報である。

図４の例では、検出対象のオブジェクトの種別はａ～ｚの２６種類である。図４中の検出数(ａ)～検出数(ｚ)はそれぞれ、オブジェクト種別がａ～ｚのオブジェクトの検出数を表す。検出対象のオブジェクトの種別数は２６に限られず、２６未満であってもよく、２６より多くてもよい。タグ情報は、画像フレームに係る任意の情報であり、例えば角度情報、歩行者等横断情報、及び明るさ情報を含む。角度情報は、画像認識処理により検出した車線と車両１０との角度を示す。歩行者等横断情報は、走行レーン上に歩行者、自転車等が検出されたことを示す情報である。明るさ情報は、画像フレームから判定される車両前方の明るさに係る情報である。なおタグ情報は、位置情報取得部１２３から出力された車両１０の位置情報を含んでもよい。画像フレームに対応するレコードにタグ情報を付加することで、タグによるログデータの条件検索を行うことが可能である。

各レコードのデータ領域は、画像認識処理により検出した全オブジェクトそれぞれのメタデータを含む。メタデータは、検出枠座標(x)、検出枠座標(y)、検出枠幅、検出枠高さ、オブジェクト種別、絶対位置、相対位置、距離、検知スコア、検知カウント、危険度、及び信号色を含む。検出枠座標(x)及び検出枠座標(y)は、検出されたオブジェクトを包含する矩形状の検出枠の基準座標である。図５に、撮像された画像フレーム中においてオブジェクトが検出された場合の検出枠を示す。図５では、自動車が検出されている。例えば、図５に示される検出枠の左上の頂点Ｐのｘ座標及びｙ座標を、それぞれ検出枠座標(x)及び検出枠座標(y)としてよい。検出枠の位置及び大きさは、頂点Ｐの座標、検出枠幅Ｗ、及び検出枠高さＨにより特定される。

オブジェクト種別はオブジェクトの種類を示し、表１にオブジェクト種別の一例を示す。

絶対位置及び相対位置は、オブジェクトの位置を車両の走行レーンに基づき示す情報である。絶対位置は、例えば両側６車線の道路における各レーンを、左端の走行レーンから右端の走行レーンまで、それぞれ１～６の値により特定したものである。相対位置は、車両１０の存在する走行レーンを０とし、右側の走行レーンであれば正数、左側の走行レーンであれば負数により表す。

距離は、検出したオブジェクトまでの直線距離を表す。検知スコアは、画像認識処理の信頼度を示す値である。検知スコアが高い程、画像認識処理の検知結果が確からしいことを示す。検知カウントは、同一対象を複数座標で検出した際、これらをまとめた数である。

危険度は、例えば以下の基準に基づき定められる。
（ｉ）自車両の走行レーン上において他車が検知された場合
危険度は、相対速度（接近時）と車間距離に基づき、４段階（０～３）で判定する。
（ｉｉ）いずれかの走行レーン上において歩行者又は自転車が検知された場合
危険度は、歩行者又は自転車と自車両との距離に基づき、４段階（０～３）で判定する。
（ｉｉｉ）上記以外の場合
危険度は所定値（例えば「－１」）とする。

信号色は、検知した信号機の灯火色を数値で示すものであり、例えば表２に基づき定める。検知されたオブジェクトが信号機以外である場合、所定値（例えば「－１」）とする。

図６は、ログデータのデータ領域の構造を示す図である。図６に示すようにデータ領域には、検出された全オブジェクトに係るメタデータが格納される。データ領域は可変長の領域であり、全オブジェクト総数個のメタデータが格納される。

ここでメタデータは、レコードのヘッダ領域に含まれる検出数(a)～検出数(z)の値及び順序に従って並べられる。換言すると、データ領域の構造は、ヘッダ領域に含まれる各検出数及び各検出数の順序に基づき定められる。例えばオブジェクト種別ａ、ｂ、及びｃのオブジェクトがそれぞれｉ、ｊ、及びｋ個検出された場合、図６に示すように、オブジェクト種別ａのメタデータがｉ個連続し、これに続いてオブジェクト種別ｂのメタデータがｊ個連続する。さらにこれに続いてオブジェクト種別ｃのメタデータがｋ個連続する。

データ領域のデータ構造の比較例として、データ領域を固定長とし、各オブジェクト種別のメタデータの格納領域を予め十分に確保しておくことが考えられる。当該比較例の構造を採用した場合、データ領域の構造を単純な形式にできるものの、メタデータを格納するための領域を予め十分に確保しておかなければならない。またデータを固定長とするために、メタデータの格納領域にはデフォルト値（例えば０）を格納する必要がある。このため、検出されるオブジェクト数にかかわらず、データサイズが同一であり、無駄なデータが含まれてしまう。他方で本実施形態によれば、ログデータのデータ領域を可変長としており、検出されるオブジェクト数分のメタデータのみを有しているため、ログデータのデータサイズの増加を抑制することができる。また、各検出数の情報を用いることで、ログデータのデータ領域のどの部分に、どのオブジェクト種別のメタデータがあるかを容易に特定できる。

ここで、オブジェクト種別ａ～ｚの各検出数の順序は、例えば各オブジェクトの認識頻度及び検知スコアの少なくともいずれか一方に基づき定められる。またこれにより、データ領域に格納されるメタデータの順序が定められる。すなわち、各オブジェクトの認識頻度及び検知スコアの少なくともいずれか一方に基づき、メタデータの順序が定められる。例えばメタデータは、オブジェクトの認識頻度の平均値が高いオブジェクト種別から順に並べられてもよい。この場合は、認識頻度の平均値が高いオブジェクトのメタデータがより前（図６では左側）に存在する。このようにすることで、ログデータの検索処理においてレコードの左側から走査される場合に、認識頻度の高いオブジェクトの検索速度を向上させることができる。

また例えばメタデータは、オブジェクトの検知スコアの平均値が高いオブジェクト種別から順に並べられてもよい。この場合は、検知スコアの平均値が高いオブジェクトのメタデータがより前（図６では左側）に存在する。このようにすることで、ログデータの検索処理においてレコードの左側から走査される場合に、検知スコアの高いオブジェクトの検索速度を向上させることができる。

なおメタデータの順序は、オブジェクトの検索頻度に基づき定めてもよく、例えば、検索頻度が高いオブジェクトから順にメタデータが並べられてもよい。このようにすることでログデータの検索処理においてレコードの左側から走査される場合に、検索頻度の高いオブジェクトの検索速度を向上させることができる。

ここで制御部１２６は、全オブジェクト数が０である場合、オブジェクト種別毎の各オブジェクト総数（検出数）及びメタデータをログデータに追加しない。図７は、全オブジェクト数が０である場合のログデータのデータ構造である。図７に示すように、ログデータはフレーム識別番号、タイムスタンプ、及び全オブジェクト数を含むが、各オブジェクト総数及びメタデータを含まない。換言すると全オブジェクト数が０である場合、ログデータの当該レコードは、データ領域を有しない。

比較例として、ログデータのヘッダ領域及びデータ領域を、いずれも固定長とすることが考えられる。この場合、全オブジェクト数が０である際に、各オブジェクト総数は全て０である。またデータ領域には、デフォルト値（例えば０）が並ぶ。本実施形態に係るログデータのデータ構造によれば、比較例と比べて無用な情報を省略することができ、ログデータのデータサイズの増加を抑制することができる。

図８に、情報処理装置１２により生成されたログデータの一例を示す。図８のログデータのＡ～Ｃ列は、それぞれ、フレーム識別情報、タイムスタンプ、及び全オブジェクト数である。Ｄ～Ｉ列は各オブジェクトの検出数であり、ここでは検出対象のオブジェクトが６種類である例を示している。具体的にはＤ～Ｉ列はそれぞれ、自動車の検出数、歩行者及び自転車の検出数、バイクの検出数、工事現場の検出数、落下物の検出数、及び信号機の検出数である。Ｊ～Ｌ列はタグ情報であり、それぞれ角度情報、歩行者等横断情報、及び明るさ情報である。Ｍ～Ｘ列は、各画像フレームにおいて検出された１つ目のオブジェクトに係るメタデータである。具体的にはＭ～Ｘ列はそれぞれ、検出枠座標(x)、検出枠座標(y)、検出枠幅、検出枠高さ、オブジェクト種別、絶対位置、相対位置、距離、検知スコア、検知カウント、危険度、及び信号色である。Ｙ列以降は、２つ目以降のオブジェクトに係るメタデータである。

図８に示すように、１～４行目、及び６行目のレコードは、全オブジェクト数が１以上であるため、オブジェクト種別毎の各オブジェクト総数及び各オブジェクトに係るメタデータが含まれている。他方で５行目のレコードは、全オブジェクト数が０であるため、各オブジェクト総数（検出数）及びメタデータが含まれていない。換言すると、図８のレコードのうち、全オブジェクト数が０のレコードは、Ａ～Ｃ列のみデータを有し、Ｄ列以降のデータを有さない。また４行目のレコードは、全オブジェクト数が１である。このため、メタデータは１つだけ有しており、Ａ～Ｘ列のみデータを有する。このようにして、ログデータのデータサイズの増加を抑制することができる。

（ログデータの生成動作）
図９のフローチャートを参照して、ログデータの生成動作について説明する。図９では、１の画像フレームに基づきログデータを生成する動作を示している。当該動作は複数の画像フレームのそれぞれに対して行われる。

ステップＳ１００：情報処理装置１２の制御部１２６は、画像フレームに対する画像認識処理により、各画像フレーム内のオブジェクトを検出する。

ステップＳ２００：制御部１２６は、画像フレームの識別情報と、各画像フレーム内で検出された全オブジェクト数とを含むレコードを生成する。

ステップＳ３００：制御部１２６は、全オブジェクト数が１以上であるか否かを判定する。全オブジェクト数が１以上である場合、プロセスはステップＳ４００に進む。他方で全オブジェクト数が１以上でない場合、ステップＳ４００をスキップし、プロセスは終了する。

ステップＳ４００：制御部１２６は、オブジェクト種別毎の各オブジェクト総数を、対応するレコードに追加する。

ステップＳ５００：制御部１２６は、各オブジェクトに係るメタデータを、対応するレコードに追加する。そしてプロセスが終了する。

以上述べたように、本実施形態に係る情報処理システム１において、ログデータの各レコードが各画像フレーム内で検出された全オブジェクト数の情報を含む。全オブジェクト数が１以上である場合、オブジェクト種別毎の各オブジェクト総数（各検出数）及び各オブジェクトに係るメタデータがログデータに追加される。他方で全オブジェクト数が０である場合、各検出数及びメタデータがログデータに追加されない。全オブジェクト数が０である場合、各オブジェクト総数は全て０である。またこの場合、検出されているオブジェクトが無いため、メタデータを追加する必要がない。本実施形態に係る情報処理システム１によれば、全オブジェクト数が０である場合に、レコードに不要なデータが追加されず、ログデータのデータサイズの増加を抑制できる。検索対象であるログデータのデータサイズの増加が抑制されることで検索速度が向上し、ログデータの情報検索技術を改善することができる。

また、本実施形態に係る情報処理システム１において、ログデータの各レコードが各検出数の情報を含み、また各検出数に基づき、各レコードのデータ領域におけるメタデータの順序が定められる。これによりログデータのデータ領域を可変長とすることができ、ログデータのデータサイズの増加を抑制することができる。また、各検出数の情報を用いることで、ログデータのデータ領域のどの部分に必要なメタデータがあるかを特定できる。したがって、各検出数の情報により、例えば走査対象のデータ領域を限定し、ログデータの情報検索技術を改善することができる。

本発明を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

例えばスマートフォン又はコンピュータ等の汎用の情報処理装置を、上述した実施形態に係る通信装置１１、情報処理装置１２、撮像装置１３、又はサーバ２０として機能させる構成も可能である。具体的には、実施形態に係る通信装置１１等の各機能を実現する処理内容を記述したプログラムを、情報処理装置のメモリに格納し、情報処理装置のプロセッサによって当該プログラムを読み出して実行させる。したがって、本実施形態に係る発明は、プロセッサが実行可能なプログラムとしても実現可能である。

また例えば、上述した実施形態において、車両１０において実行される一部の処理動作がサーバ２０において実行されてもよく、サーバ２０において実行される一部の処理動作が車両１０において実行されてもよい。具体的には、例えば画像処理動作を、サーバ２０が実行する構成も可能である。

また上述した実施形態において、ログデータ中のメタデータがレコードの検出数(a)～検出数(z)の順序に従って並べられる例を示したが、当該順序を入れ替えてもよい。例えばサーバ２０は、所定期間における各オブジェクトの認識頻度及び検知スコアの少なくともいずれか一方に基づき、所定期間におけるログデータ中のメタデータの順序を変更してもよい。また、検索処理の際にメタデータの順序を特定可能なように、該順序の情報を順序テーブルに記録するようにしてもよい。

図１０に、順序テーブルの一例を示す。順序テーブルは、サーバ２０のサーバ記憶部２２に記憶される。図１０に示すように順序テーブルは、フレーム識別番号の範囲と、オブジェクトの順序に係る情報とを含む。フレーム識別番号の範囲に含まれるレコードは、対応するオブジェクトの順序に係る情報に沿って、メタデータが並べられる。例えばフレーム番号が00000001の画像フレームに係るレコードは、順序テーブルのNo.1の順序に沿って並べられる。また例えばフレーム番号が001000001の画像フレームに係るレコードは、順序テーブルのNo.2の順序に沿って並べられる。順序テーブルのNo.2の順序は、No.1の順序と比較して、ｃとｄとの順序が入れ替わっている。また順序テーブルのNo.3の順序は、No.2の順序と比較して、ａとｂとの順序が入れ替わっている。このように、メタデータの順序を、所定期間内の認識頻度及び検知スコアの少なくともいずれか一方に基づき変更することで検索速度を向上させることができる。

また、ログデータに含まれるタグ情報を最適化するようにしてもよい。例えばサーバ２０のサーバ制御部２３は、タグ情報に基づく所定の検索クエリで前記ログデータの検索速度を測定し、検索速度が所定値未満である場合、タグ情報をマージ又は細分化する等の変更を行ってもよい。サーバ２０のサーバ制御部２３は、検索速度が所定値以上となるようにタグ情報を変更する。このように、所定の検索クエリを用いてログデータの検索速度を評価しタグ情報を変更することで、ログデータの検索速度を向上させてもよい。

また上述した実施形態において、画像認識処理により、検出対象のオブジェクトを全て検出する例を示したがこれに限られない。例えば情報処理装置１２は、画像認識処理の結果に基づき、一部のオブジェクトの検出を省略するようにしてもよい。例えば具体的には、検出対象のオブジェクト種別の少なくとも一部が階層化されており、上位階層のオブジェクト種別に係る画像認識処理の検知スコアが所定値以上の場合にのみ、当該オブジェクト種別の下位階層のオブジェクト種別に係る画像認識処理を行うようにしてもよい。図１１に、検出されるオブジェクト種別同士の階層関係を表す概念図を示す。オブジェクト種別Ｘが上位の階層のオブジェクト種別（例えば車両）であり、この直下には、オブジェクト種別Ａ～Ｃ（例えば大型車、中型車、小型車）が含まれる。さらにオブジェクト種別Ａの下位には、オブジェクト種別ａ、ａ’（例えばトラック、バス）が含まれ、オブジェクト種別Ｂの下位には、オブジェクト種別ｂ、ｂ’が含まれる。例えば、オブジェクト種別Ａに係る検知スコアが所定値以上である場合、オブジェクト種別Ａの下位のオブジェクト種別ａ、ａ’に係る検出を行う。他方で、オブジェクト種別Ａに係る検知スコアが所定値未満である場合、オブジェクト種別Ａの下位のオブジェクト種別ａ、ａ’に係る検出を行わない。このようにすることで、検知スコアが低いオブジェクト種別の検出を省略でき、ログデータ中に、当該オブジェクト種別に係るメタデータが含まれなくなる。このため、ログデータのデータサイズの増加を抑制し、ログデータの検索を高速化することができる。他方で、検知スコアが高いオブジェクト種別については、より下位層の細分化されたオブジェクト種別の画像認識処理を行い、ログデータ中に当該オブジェクト種別に係るメタデータを含むため、より細分化された検索をすることができる。

１ 情報処理システム
１０ 車両
１１ 通信装置
１１１ 通信部
１１２ 記憶部
１１３ 制御部
１２ 情報処理装置
１２１ 通信部
１２２ 記憶部
１２３ 位置情報取得部
１２４ 出力部
１２５ 入力部
１２６ 制御部
１３ 撮像装置
１３１ 通信部
１３２ 記憶部
１３３ 撮像部
１３４ 制御部
２０ サーバ
２１ サーバ通信部
２２ サーバ記憶部
２３ サーバ制御部
３０ ネットワーク

Claims (6)

1. 複数の画像フレームに対する画像認識処理により検出された情報を記録した複数のレコードを含むログデータの生成方法であって、
   情報処理装置又は前記情報処理装置と通信可能なサーバが、
   前記画像認識処理により、各画像フレーム内のオブジェクトを検出するステップと、
   画像フレーム毎に、前記画像フレームの識別情報と、各画像フレーム内で検出された全オブジェクト数とを含むレコードを生成するステップと、
   前記全オブジェクト数が１以上である場合、検出された各オブジェクトに係るメタデータを所定の順序に従って並べて、対応するレコードに追加するステップと、
   前記サーバが、
   前記ログデータはタグ情報を含み、該タグ情報に基づく所定の検索クエリで前記ログデータの検索速度を測定するステップと、
   前記検索速度が所定値未満である場合、前記タグ情報を変更するステップと、
   を含み、
   前記全オブジェクト数が０である場合、前記追加するステップを省略する、ログデータの生成方法。
2. 請求項１に記載のログデータの生成方法であって、
   前記情報処理装置又は前記サーバが、
   前記全オブジェクト数が１以上である場合、オブジェクト種別毎の各オブジェクト総数を対応するレコードに追加するステップを更に含む、ログデータの生成方法。
3. 請求項１又は２に記載のログデータの生成方法であって、
   各オブジェクトの認識頻度及び検知スコアの少なくともいずれか一方に基づき、前記ログデータ中のメタデータの順序が定められる、ログデータの生成方法。
4. 請求項１乃至３のいずれか一項に記載のログデータの生成方法であって、
   前記サーバが、
   所定期間における各オブジェクトの認識頻度及び検知スコアのいずれか一方に基づき、前記所定期間における前記ログデータ中のメタデータの順序を変更し、該順序の情報を順序テーブルに記録するステップを更に含む、ログデータの生成方法。
5. 請求項１乃至４のいずれか一項に記載のログデータの生成方法であって、
   オブジェクト種別の少なくとも一部が階層化されており、
   各画像フレーム内のオブジェクトを検出する前記ステップにおいて、第１画像認識処理により各画像フレーム内の上位階層のオブジェクト種別に係る上位オブジェクトを検出し、前記第１画像認識処理の検知スコアが所定値以上の場合にのみ、更に第２画像処理により当該オブジェクト種別の下位階層のオブジェクト種別に係る下位オブジェクトを検出する、ログデータの生成方法。
6. 複数の画像フレームに対する画像認識処理により検出された情報を記録した複数のレコードを含むログデータを生成するサーバとして機能するコンピュータに、
   前記画像認識処理により、各画像フレーム内のオブジェクトを検出するステップと、
   画像フレーム毎に、前記画像フレームの識別情報と、各画像フレーム内で検出された全オブジェクト数を含むレコードを生成するステップと、
   前記全オブジェクト数が１以上である場合、検出された各オブジェクトに係るメタデータを所定の順序に従って並べて、対応するレコードに追加するステップと、
   前記ログデータはタグ情報を含み、該タグ情報に基づく所定の検索クエリで前記ログデータの検索速度を測定するステップと、
   前記検索速度が所定値未満である場合、前記タグ情報を変更するステップと、
   を実行させ、
   前記全オブジェクト数が０である場合、前記追加するステップを省略するプログラム。

Images