WO2022004413A1 - 情報処理装置、情報処理方法、並びにプログラム - Google Patents

Abstract

本技術は、ノイズレベルに応じた認識モデルを用いて、精度が保たれた処理が行われることができるようにする情報処理装置、情報処理方法、並びにプログラムに関する。 撮像された画像のノイズ量に応じて、認識モデルを切り替えるモデル切替部を備え、モデル切替部は、ノイズがない画像で学習された第１の認識モデルと、ノイズがある画像で学習された第２の認識モデルとを切り替える。認識モデルは、ＡＩ機能による処理に用いられる。例えば、監視カメラと監視カメラからのデータを配信するサーバから構成されるシステムに適用できる。

Description

情報処理装置、情報処理方法、並びにプログラム

　本技術は、情報処理装置、情報処理方法、並びにプログラムに関し、例えば、状況に適した認識モデルで処理できるようにした情報処理装置、情報処理方法、並びにプログラムに関する。

　近年、街頭のいたるところに監視カメラ等が設置され、さらに、走行する車両にも、当該車両の周囲環境を撮像することができる車載カメラが搭載されており、様々な場所における撮像画像を容易に取得することができるようになってきている。また、監視カメラなどでは撮影された画像を解析することで、人を検出したり、特定の人を認識したりすることも行われている。

　撮像された画像を解析することで人を検出する場合など、その検出の精度を保つために、カメラで撮像された画像のぼけ量や鮮明度に応じて異なるパラメータを用いて被写体検出処理を行うことが特許文献１に記載されている。また特許文献２には、どのようなタスクを分析するのかによりモデルを選択することが記載されている。

特開2019-186911号公報 特表2018-510399号公報

　例えば、ＡＩ（Artificial Intelligence）機能により、撮像された画像から人を検出するような処理を実行したとき、ノイズのある画像とノイズがない画像とで、処理の精度が異なってしまう可能性があった。このような処理の精度が異なってしまうようなことがないようにすることが望まれている。

　本技術は、このような状況に鑑みてなされたものであり、処理の精度が異なるようなことがないようにすることができるようにするものである。

　本技術の一側面の情報処理装置は、撮像された画像のノイズ量に応じて、認識モデルを切り替えるモデル切替部を備え、前記モデル切替部は、ノイズがない画像で学習された第１の認識モデルと、ノイズがある画像で学習された第２の認識モデルとを切り替える。

　本技術の一側面の情報処理方法は、情報処理装置が、撮像された画像のノイズ量に応じて、ノイズがない画像で学習された第１の認識モデルと、ノイズがある画像で学習された第２の認識モデルとを切り替える。

　本技術の一側面のプログラムは、コンピュータに、撮像された画像のノイズ量に応じて、ノイズがない画像で学習された第１の認識モデルと、ノイズがある画像で学習された第２の認識モデルとを切り替える処理を実行させる。

　本技術の一側面の情報処理装置、情報処理方法、並びにプログラムにおいては、撮像された画像のノイズ量に応じて、ノイズがない画像で学習された第１の認識モデルと、ノイズがある画像で学習された第２の認識モデルとが切り替えられる。

　なお、情報処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

　また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。

本技術を適用したデータ配信システムの一実施の形態の構成を示す図である。 センサデバイスの構成例を示す図である。 サービスサーバの構成例を示す図である。 認識モデルの生成について説明するための図である。 配信データの一例を示す図である。 前処理部が行う処理について説明するため図である。 情報処理方法の一例について説明するための図である。 認識モデル切替処理部の構成例を示す図である。 ノイズ検出部の構成例を示す図である。 認識モデルの切替に係わる処理について説明するためのフローチャートである。 認識モデルの切替に係わる処理について説明するためのフローチャートである。 認識モデルの切替の開始に係わる処理について説明するためのフローチャートである。 認識モデルの切替の開始に係わる他の処理について説明するためのフローチャートである。 認識モデルの切替の開始に係わる他の処理について説明するためのフローチャートである。 パーソナルコンピュータの構成例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

　以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。

　＜データ配信システムの概略構成＞
　図１を参照して、本開示の実施の形態に係るデータ配信システム１の構成例を説明する。図１は、本開示の実施の形態に係るデータ配信システム１の概略的な機能構成を示したシステム図である。詳細には、図１に示すように、本実施の形態に係るデータ配信システム１は、複数のセンサデバイス１０ａ，１０ｂ，１０ｃ、サービスサーバ２０、複数のユーザデバイス３０ａ，３０ｂ，３０ｃ、および認証サーバ４０を主に含むことができる。

　これらの各装置は、例えば、図示しない基地局等（例えば、携帯電話機の基地局、無線ＬＡＮ（Local Area Network）のアクセスポイント等）を介してネットワーク（図示省略）に接続されることにより、データ配信システム１が構築されることとなる。なお、上記ネットワークで用いられる通信方式は、有線又は無線（例えば、第５世代通信システム、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）を問わず任意の方式を適用することができるが、大容量のデータを安定して高速送信することができる通信方式を用いることができる。

　また、データ配信システム１に含まれるセンサデバイス１０やユーザデバイス（要求元）３０は、図１に図示されるようにそれぞれ３つであることに限定されるものではなく、本実施の形態に係るデータ配信システム１には、それぞれ３つ以上含まれていてもよい。すなわち、本実施の形態に係るデータ配信システム１は、複数のセンサデバイス１０を管理し、複数のユーザデバイス３０からの要求を受け付け、それらにデータを送信することができる。以下に、本実施の形態に係るデータ配信システム１に含まれる各装置の概略について説明する。

　＜センサデバイス＞
　センサデバイス１０は、設置された周囲環境のセンシングデータ（例えば、画像、音声等）を取得し、取得したセンシングデータから取得される配信データ（所定のデータ）を、後述するユーザデバイス３０等の外部装置に送信することができる。また、センサデバイス１０は、ＡＩ（Artificial Intelligence）機能が搭載されていることが望ましく、後述するサービスサーバ２０から送信された認識モデルに基づき、取得したセンシングデータが、ユーザからの要求（配信リクエスト）に該当するかどうかを認識することができる。センサデバイス１０は、センシングデータを扱う情報処理装置として機能する。

　例えば、センサデバイス１０は、自動車等の移動体に搭載された撮像装置（カメラ）や、ユーザの携帯するスマートフォンに搭載された撮像装置、自宅や店舗等に設置された監視カメラ等の撮像装置であることができ、この場合、センシングデータは画像となる。この場合、これら撮像装置は、設置された周囲に位置する被写体からの光を集光して撮像面に光像を形成し、撮像面に形成された光像を電気的な画像信号に変換することによって画像を取得することができる。

　なお、以下の説明においては、特段のことわりがない限りは、移動体とは、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット（移動ロボット）、建設機械、農業機械（トラクタ）等であることができる。

　また、センサデバイス１０は、上述した撮像装置であることに限定されるものではない。例えば、センサデバイス１０は、被写体までの距離（深さ）を計測する深度センサ、周囲環境の音を集音するマイクロフォン等の集音装置、周囲環境の温度及び湿度を計測する温度センサ及び湿度センサ、河川等の水位を測定する水位センサ等であってもよい。

　なお、センサデバイス１０は、データ配信システム１に共通するインタフェース（データ転送形式、データ転送方法等）を持つものであれば、その内部構成については、基本的に限定されるものではない。従って、本実施の形態に係るデータ配信システム１は、仕様の異なる様々なセンサデバイス１０を取り込むことができる。なお、センサデバイス１０の詳細構成については後述する。

　＜サービスサーバ＞
　サービスサーバ２０は、後述するユーザデバイス３０から、上記センシングデータから生成され得る配信データの配信を要求する配信リクエストを受け付けるコンピュータである。またサービスサーバ２０は、センサデバイス１０やユーザデバイス３０とデータの授受を行い、処理する情報処理装置として機能する。

　またサービスサーバ２０は、複数の配信リクエスト（要求）を統合し、配信リクエストに応じた認識モデルを生成し、生成した認識モデルを上述したセンサデバイス１０へ送信することができる。当該認識モデルは、センサデバイス１０での認識に供されることとなるが、この詳細については後述する。

　また、サービスサーバ２０は、必要に応じて、センサデバイス１０から配信データを受信し、受信した配信データを、上記配信リクエストに該当するユーザデバイス３０へ送信することもできる。例えば、サービスサーバ２０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random ACCESS Memory）等のハードウェアにより実現されることができる。なお、サービスサーバ２０の詳細構成につては後述する。

　＜ユーザデバイス＞
　ユーザデバイス３０は、ユーザによって携帯され、もしくは、ユーザの近傍に設置され、ユーザから入力された情報を受け付け、受け付けた当該情報を配信リクエストとしてサービスサーバ２０へ送信したり、配信リクエストに係る配信データを受信したりすることができる端末である。例えば、ユーザデバイス３０は、タブレット型ＰＣ（Personal Computer）、スマートフォン、携帯電話、ラップトップ型ＰＣ、ノート型ＰＣ等のモバイル端末、ＨＭＤ（Head Mounted Display）等のウェアラブルデバイスなど情報処理装置とすることができる。

　さらに詳細には、ユーザデバイス３０は、ユーザに向けて表示を行う表示部（図示省略）や、ユーザからの操作を受け付ける操作部（図示省略）や、ユーザに向けて音声出力を行うスピーカ（図示省略）等を有していてもよい。

　なお、ユーザデバイス３０には、例えば、データ配信システム１に共通するアプリケーション（アプリ）、もしくは、上述したサービスサーバ２０と共通する仕様を持つアプリケーションがインストールされることができる。ユーザデバイス３０は、上述のようなアプリケーションがインストールされることにより、データ配信システム１に共通する形式等を持つ、配信リクエストを生成し、送信したり、配信データを受け取ったりすることが可能となる。

　ユーザは、ユーザデバイス３０を介して、サービスサーバ２０へ配信リクエストを送信する。当該配信リクエストは、ユーザが配信を要求するデータの内容（データタイプ）等を指定する情報を含む。例えば、当該配信リクエストは、配信を要求する対象となるオブジェクト（例えば、顔、人物、動物、移動体、テキスト、道路（歩道、横断歩道、道幅、標識等）、ロゴ、バーコード等）と、オブジェクトに関するどのような情報（例えば、数量、速度、位置、状態、年齢、性別、特定した名前、推定結果等）を要求するのかを指定する情報（データタイプ）とからなるオブジェクト情報を含むことができる。

　また、当該配信リクエストは、配信データのデータフォーマット（例えば、画像、テキスト等）を指定するデータフォーマット情報を含むことができる。さらに、当該配信リクエストは、ユーザもしくはユーザデバイス３０の識別情報（ＩＤ（identification））を含むことができる。なお、上記配信リクエストには、サービスサーバ２０で認識モデルを生成する際に利用される各種データが含まれていてもよい（詳細は後述する）。

　上記配信リクエストは、データ配信システム１に共通するデータ形式を持つ。例えば、配信リクエストは、オブジェクト情報やデータフォーマット情報に対応する文字列や数字列を含むことができる。この場合、ユーザから高い頻度で要求されるオブジェクト情報やデータフォーマット情報については、対応する文字列や数字列を予め決定し、サービスサーバ２０が保有する記憶部（図示省略）にデータベース（図示省略）として格納する。

　そして、サービスサーバ２０は、上記データベースを参照することにより、配信リクエストに含まれる文字列等に対応するオブジェクト情報及びデータフォーマット情報を認識することができる。また、ユーザが所望するオブジェクト情報及びデータフォーマット情報に対応する文字列等が上記データベースに存在しない場合には、これらオブジェクト情報及びデータフォーマット情報は、上記配信リクエスト内で直接的に記述されてもよい。もしくは、この場合、ユーザが所望するオブジェクト情報及びデータフォーマット情報に対応する文字列を新たに決定して、決定した文字列等を、上記配信リクエスト及び上記データベースに記述してもよい。

　＜認証サーバ＞
　認証サーバ４０は、センサデバイス１０やサービスサーバ２０からそれぞれの認証情報（ＩＤ）を受信し、これらの各装置が、本実施の形態に係るデータ配信システム１によるサービスを提供する、もしくは提供される権限を有するか否かを判定するコンピュータである。さらに、認証サーバ４０は、権限を有する装置に対して、サービスへのアクセスを可能にするキーや、サービスを提供するもしくはサービスを提供されるためのコマンド等を送信する。

　そして、上記認証情報は、データ配信システム１に共通するデータ形式を持つものとする。すなわち、認証サーバ４０は、認証ＡＰＩ（Application Programming Interface）として用いられ、センサデバイス１０とサービスサーバ２０とを認証し、互いに紐づけることができる。本実施の形態に係るデータ配信システム１は、このような認証サーバ４０を組み込むことにより、当該データ配信システム１のセキュリティを確保し、各センサデバイス１０を、サービスサーバ２０を介して各ユーザデバイス３０と紐づけることができる。また、認証サーバ４０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアにより実現されることができる。なお、認証サーバ４０は、ユーザデバイス３０に対する認証を行ってもよい。

　なお、本実施の形態に係るデータ配信システム１においては、センサデバイス１０やサービスサーバ２０は、それぞれ単一の装置によって実現されていなくてもよく、有線又は無線の各種のネットワーク（図示省略）を介して接続され、互いに協働する複数の装置によって実現されてもよい。

　＜センサデバイスの詳細構成例＞
　次に、図２を参照して、本実施の形態に係るセンサデバイス１０の詳細構成を説明する。図２は、本実施の形態に係るセンサデバイス１０の機能構成例を示すブロック図である。詳細には、図２に示すように、センサデバイス１０は、センサ部１００と、測位部１１０と、処理部１３０と、記憶部１６０と、通信部１７０とを主に有する。以下に、センサデバイス１０の各機能ブロックについて順次説明する。

　センサ部１００は、センシングデータを取得し、取得したセンシングデータを後述する処理部１３０へ出力する。詳細には、センサデバイス１０が撮像装置であった場合には、センサ部１００は、被写体から発せられる光を集光する撮影レンズ及びズームレンズ等の撮像光学系、及び、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有することとなる。

　なお、センサ部１００は、センサデバイス１０内に固定されるように設けられていてもよく、センサデバイス１０に脱着可能に設けられていてもよい。

　また、センサ部１００は、撮像装置の他にも、深度センサとしてＴＯＦ（Time of Flight）センサ（図示省略）を含んでいてもよい。ＴＯＦセンサは、被写体からの反射光の戻り時間を直接的又は間接的に計測することにより、ＴＯＦセンサと被写体との間の距離及び凹凸等の形状情報（深度情報／画像）を取得することができる。さらに、センサ部１００は、集音装置（マイク）、温度センサ、気圧センサ、湿度センサ、風向風速センサ、日照センサ、降水量センサ、水位センサ等を含んでいてもよく、周囲環境からセンシングデータを取得することができれば特に限定されるものではない。

　測位部１１０は、配信リクエストに該当するセンシングデータが取得された際のセンサデバイス１０の測位データを取得し、取得した測位データを、処理部１３０（詳細には、データ生成部１４４）に出力する。例えば、当該測位データは、配信データとともに、後述する処理部１３０の配信部１４６により、ユーザデバイス３０へ送信されることとなる。

　測位部１１０は、具体的には、ＧＮＳＳ（Global Navigation Satellite System）受信機等であることができる。この場合、測位部１１０は、ＧＮＳＳ衛星からの信号に基づいて、センサデバイス１０の現在地の緯度・経度を示す測位データを生成することができる。また、例えば、ＲＦＩＤ（Radio Frequency Identification）、Ｗｉ－Ｆｉのアクセスポイント、無線基地局の情報等からユーザの相対的な位置関係を検出することが可能なため、このような通信装置を上記測位部１１０として利用することも可能である。なお、測位部１１０は、センサデバイス１０に設けられていなくてもよい。

　処理部１３０は、センサ部１００が取得したセンシングデータを処理し、配信データを生成する機能を有する。処理部１３０は、例えば、ＣＰＵやＧＰＵ（Graphics Processing Unit）等の処理回路や、ＲＯＭ、ＲＡＭ等により実現される。詳細には、図２に示すように、処理部１３０は、ＩＤ送信部１３２と、ｋｅｙ受信部１３４と、センサデータ取得部１３６と、前処理部１３８と、モデル取得部１４０と、認識部１４２と、データ生成部１４４と、配信部１４６とを主に有する。以下に、処理部１３０の有する各機能部の詳細について説明する。

　ＩＤ送信部１３２は、後述する通信部１７０を介して、センサデバイス１０の認証情報（ＩＤ）を認証サーバ４０に送信する。当該認証情報は、認証サーバ４０にて、センサデバイス１０が、本実施の形態に係るデータ配信システム１によるサービスを提供する権限を有するか否かを判定する際に用いられる。本実施の形態に係るデータ配信システム１は、このような認証により、当該データ配信システム１のセキュリティを確保している。

　ｋｅｙ受信部１３４は、後述する通信部１７０を介して、認証サーバ４０から送信されたサービスへのアクセスを可能にするキーや、サービスを提供するためのコマンド等を受信し、受信したキー等を後述するモデル取得部１４０へ出力する。当該モデル取得部１４０は、ｋｅｙ受信部１３４で受信したキー等を用いて、サービスサーバ２０から認識モデルを取得することができる。

　センサデータ取得部１３６は、センサ部１００を制御して、センサ部１００から出力されたセンシングデータを取得し、取得したセンシングデータを後述する前処理部１３８又は認識部１４２へ出力する。

　前処理部１３８は、後述するモデル取得部１４０が取得した認識モデルに含まれる情報（例えば、認識モデルを生成する際に用いた教師データに関する情報等）に応じて、センサデータ取得部１３６から出力されたセンシングデータを前処理して、前処理したセンシングデータを後述する認識部１４２へ出力する。

　詳細には、認識部１４２は、機械学習で得られた、配信リクエストに対応する認識モデルを用いて、センシングデータが当該配信リクエストに該当することになるかどうかを認識する。そこで、センシングデータが認識モデルに近い形態を持つように前処理を行うことにより、上記認識に好適なセンシングデータを認識部１４２に提供することができる。その結果、本実施の形態によれば、認識部１４２の認識の精度を向上させることができる。なお、前処理部１３８での前処理の詳細については、後述する。

　モデル取得部１４０は、後述する通信部１７０を介して、サービスサーバ２０から、配信リクエストに対応する認識モデルを取得し、取得した認識モデルを前処理部１３８及び認識部１４２に出力する。なお、当該認識モデルの詳細については後述する。

　認識部１４２は、ＡＩ機能等を利用して、モデル取得部１４０から出力された認識モデルに基づき、センサデータ取得部１３６から出力されたセンシングデータ、もしくは、前処理部１３８で前処理されたセンシングデータが、配信リクエストに該当するかどうかを認識することができる。

　より具体的には、認識部１４２は、例えば、センシングデータとしての画像に、配信リクエストで指定されたオブジェクトの画像が含まれるかどうかを認識することができる（言い換えると、オブジェクトの認識）。そして、認識部１４２は、認識結果を後述するデータ生成部１４４に出力する。なお、当該認識モデルは、サービスサーバ２０における機械学習で得られ、例えば、配信リクエストで指定されたオブジェクトの画像や音声等のデータから得られた当該オブジェクトを特徴づける特徴情報であることができる。上述のような認識をセンサデバイス１０で行うことから、センシングデータの取得後すぐに認識を行うことができる。なお、認識部１４２における認識の詳細については後述する。

　データ生成部１４４は、上述した認識部１４２でセンシングデータが配信リクエストに該当すると認識された場合、当該センシングデータに対して当該配信リクエストに応じた処理を行い、配信データを生成することができる。例えば、データ生成部１４４は、センシングデータから配信リクエストで指定されたオブジェクトに関するデータのみを抽出したり、抽象化したり、テキストデータ化したりすることにより、配信データを生成することができる。

　より具体的には、当該配信データは、配信リクエストで指定された、オブジェクトの属性情報、数量情報、位置情報、状態情報、動作情報、周囲環境情報、及び、予測情報のうちの少なくとも１つの情報を含むことができる。さらに、配信データのデータフォーマットは、画像データ、音声データ、テキストデータ等であることができ、特に限定されるものではない。このように、センサデバイス１０にて、配信リクエストに該当したセンシングデータを処理して、配信データを生成することから、リアルタイムで配信を実現することができる。

　また、データ生成部１４４は、センシングデータが配信リクエストに該当しない場合には、配信データを生成、配信することはない。従って、本実施の形態によれば、センシングデータが配信リクエストに該当するか否かに関係なくセンシングデータを送信する場合に比べて、データ送信の負荷を減らすことができる。

　さらに、データ生成部１４４は、例えば、配信データから、センシングデータに含まれるプライバシに関する情報（例えば、人物が特定できる程度の人物の撮像）を排除することができる。また、データ生成部１４４は、例えば、配信データ上で、プライバシに関する情報にマスクがかけることができる。このようにすることで、プライバシの保護を確保している。なお、このような処理の例については後述する。

　配信部１４６は、上述したデータ生成部１４４で生成した配信データを、ユーザデバイス３０又はサービスサーバ２０へ配信する。なお、配信部１４６は、複数の異なる配信データをユーザデバイス３０又はサービスサーバ２０へ配信することもできる。例えば、配信部１４６は、上記情報として、配信データに対応するセンシングデータが取得された際の日時の情報、配信データを配信した日時の情報、データタイプ、データフォーマット、配信量、配信先（例えばユーザデバイス３０の認識情報）等を出力する。

　記憶部１６０は、処理部１３０が各種処理を実行するためのプログラム、情報等や、処理によって得た情報を格納する。記憶部１６０は、例えば、ＨＤＤ（Hard Disk Drive）等の記憶装置により実現される。

　通信部１７０は、サービスサーバ２０等の外部装置との間で情報の送受信を行うことができる。通信部１７０は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部１７０は、通信アンテナ、送受信回路やポート等の通信デバイス（図示省略）により実現される。

　＜サービスサーバの詳細構成＞
　次に、図３を参照して、本実施の形態に係るサービスサーバ２０の詳細構成を説明する。図３は、本実施の形態に係るサービスサーバ２０の機能構成例を示すブロック図である。詳細には、図３に示すように、サービスサーバ２０は、処理部２３０と、記憶部２６０と、通信部２７０とを主に有する。以下に、サービスサーバ２０の各機能ブロックについて順次説明する。

　処理部２３０は、後述する通信部２７０を介して、ユーザデバイス３０から配信リクエストを取得し、取得した配信リクエストに応じた認識モデルを生成し、生成した認識モデルを、センサデバイス１０へ送信したりする機能を有する。処理部２３０は、例えば、ＣＰＵやＧＰＵ等の処理回路や、ＲＯＭ、ＲＡＭ等により実現される。詳細には、図３に示すように、処理部２３０は、ＩＤ送信部２３２と、リクエスト受付部２３４と、能力情報取得部２３６と、モデル生成部２３８と、モデル送信部２４０と、データ取得部２４２と、配信部２４６とを主に有する。以下に、処理部２３０の有する各機能部の詳細について説明する。

　ＩＤ送信部２３２は、後述する通信部２７０を介して、サービスサーバ２０の認証情報（ＩＤ）を認証サーバ４０に送信する。当該認証情報は、認証サーバ４０にて、サービスサーバ２０が、本実施の形態に係るデータ配信システム１によるサービスを提供される権限を有するか否かを判定する際に用いられる。本実施の形態に係るデータ配信システム１は、このような認証により、当該データ配信システム１のセキュリティを確保している。

　リクエスト受付部２３４は、後述する通信部２７０を介して、１つ又は複数のユーザデバイス３０から配信リクエストを受け付け、受け付けた配信リクエストを後述するモデル生成部２３８へ出力する。なお、リクエスト受付部２３４は、共通する配信リクエストについては、これらを統合して出力してもよい。

　能力情報取得部２３６は、後述する通信部２７０を介して、各センサデバイス１０のセンシング能力（センシングの種別、精度、位置、範囲、粒度等）や演算能力を示す能力情報を予め取得し、取得した能力情報を後述するモデル生成部２３８に出力する。なお、能力情報取得部２３６は、センサデバイス１０の機能等がアップデートされた際に、能力情報を再取得することが好ましい。

　そして、後述するモデル生成部２３８において、各センサデバイス１０の能力情報に基づいて、各センサデバイス１０の能力に応じた認識モデルが生成されることとなる。従って、本実施の形態によれば、センサデバイス１０の機能等がアップデートされた際に能力情報を再取得するようにすることで、現時点の各センサデバイス１０の能力に応じるものになるように認識モデルを更新することができる。

　モデル生成部２３８は、リクエスト受付部２３４からの配信リクエスト及び能力情報取得部２３６からの能力情報に基づき、各センサデバイス１０の能力に応じて、配信リクエストに対応する認識モデルを機械学習により生成することができる。さらに、モデル生成部２３８は、生成した認識モデルを、後述するモデル送信部２４０に出力することができる。

　なお、モデル生成部２３８は、機械学習に必要なデータを、ユーザデバイス３０又は図示しない他のサーバから取得してもよい。モデル生成部２３８は、各センサデバイス１０に好適な認識モデルを生成することができることから、センサデバイス１０における認識を実現することができる。また、センサデバイス１０の機能等がアップデートされた際に能力情報を再取得し、認識モデルを再生成することも可能であることから、認識モデルを動的に変えて、センサデバイス１０での認識を向上させることができる。

　また、モデル生成部２３８は、モデル生成部２３８の機械学習で用いたデータに関する情報（例えば、認識モデルを生成する際に用いた教師データに関する情報等）を、認識モデルに含ませてもよい。当該情報は、センサデバイス１０の前処理部１３８において、センシングデータが認識モデルに近い形態を持つように前処理を行う際に用いられる。さらに、モデル生成部２３８は、センサデバイス１０の能力情報に基づく、配信リクエストで指定された配信データを生成するために求められるセンシングデータを取得するための、センサデバイス１０のセンサ部１００の設定に関する設定情報を、認識モデルに含ませてもよい。なお、モデル生成部２３８はサービスサーバ２０と別個の装置として設けられていてもよく、特に限定されるものではない。

　モデル送信部２４０は、上述したモデル生成部２３８から取得した認識モデルを、各認識モデルに対応するセンサデバイス１０へ、通信部２７０を介して送信する。

　データ取得部２４２は、後述する通信部２７０を介して、センサデバイス１０から配信リクエストに対応する配信データを取得し、取得した配信データを後述する配信部２４６に出力する。なお、センサデバイス１０からユーザデバイス３０へ直接配信データを送信する場合には、当該データ取得部２４２は設けられていなくてもよい。

　配信部２４６は、上述したデータ取得部２４２で取得した配信データを、後述する通信部２７０を介して、配信リクエストに該当するユーザデバイス３０へ配信する。なお、センサデバイス１０からユーザデバイス３０へ直接配信データを送信する場合には、当該配信部２４６は設けられていなくてもよい。

　記憶部２６０は、処理部２３０が各種処理を実行するためのプログラム、情報等や、処理によって得た情報を格納する。なお、記憶部２６０は、例えば、ＨＤＤ等の記憶装置により実現される。

　通信部２７０は、センサデバイス１０、ユーザデバイス３０等の外部装置との間で情報の送受信を行うことができる。言い換えると、通信部２７０は、データの送受信を行う機能を有する通信インタフェースと言える。なお、通信部２７０は、通信アンテナ、送受信回路やポート等の通信デバイス（図示省略）により実現される。

　＜本実施の形態に係る認識について＞
　次に、図４から図６を参照して、本実施の形態に係る認識の一例について説明する。図４は、本実施の形態に係る認識モデル３１０の生成例を説明するための説明図であり、図５は、本実施の形態に係る配信データの例を説明するための説明図であり、図６は、本実施の形態に係る前処理の例を説明するための説明図である。

　本実施の形態に係る認識で用いられるモデルの生成について説明する。認識モデルは、上述したように、サービスサーバ２０のモデル生成部２３８で生成される。上記モデル生成部２３８は、図４に示すように、例えば、サポートベクターレグレッションやディープニューラルネットワーク等の教師付き学習器２３８ａを有するものとする。

　学習器２３８ａには、例えば、配信リクエストで指定される配信を要求する対象となるオブジェクトに関する情報である複数の教師データ３０２－１～３０２－ｎが入力される。そして、当該学習器２３８ａは、入力された複数の教師データ３０２－１～３０２－ｎを機械学習することにより、センサデバイス１０の認識部１４２での認識で用いられる認識モデル３１０を生成することができる。

　複数のセンサデバイス１０は、そのセンシング能力や演算能力が互いに異なり、すなわち、認識できる能力が互いに異なるため、学習器２３８ａは、上述した各センサデバイス１０の能力情報に応じて各認識モデル３１０を生成することが好ましい。従って、様々な仕様を持つ複数のセンサデバイス１０が含まれていても、各センサデバイス１０の能力に応じた認識モデル３１０を生成することができることから、各センサデバイス１０で認識を行うことができる。

　より詳細には、上記学習器２３８ａは、例えば、配信リクエストで指定される配信を要求する対象となるオブジェクト３００-１～３００－ｎでそれぞれラベル付けされた、当該オブジェクトに関する教師データ３０２－１～３０２－ｎが入力される。そして、学習器２３８ａは、コンボリューショナルニューラルネットワーク等による機械学習により、複数の教師データ３０２－１～３０２－ｎから、当該オブジェクトの特徴点、特徴量を抽出する。このように抽出された特徴点等の情報が、各センサデバイス１０で取得されたセンシングデータに当該オブジェクトの情報が含まれているかどうかを認識するための認識モデル３１０となる。

　ここで、具体例を示して、本実施の形態に係る認識モデル３１０の生成について説明する。例えば、ユーザからの配信リクエストにより、センサデバイス１０で取得した画像（センシングデータ）を用いて、所定の人物（オブジェクト）を探索することを要求された場合（配信データは、所定の人物の位置情報となる場合）を説明する。

　サービスサーバ２０は、上記配信リクエストを送信したユーザデバイス３０又は図示しないサーバから、認識モデル３１０を生成する際に利用する複数の教師データ３０２として、所定の人物の複数の画像を取得する。そして、サービスサーバ２０は、図４に示すように、取得した複数の画像（教師データ）３０２－１～３０２－ｎを、所定の人物（オブジェクト）３００－１～３００－ｎというラベルをそれぞれに付して、学習器２３８ａに入力する。さらに、学習器２３８ａは、複数の画像（教師データ）３０２－１～３０２－ｎを用いた機械学習により、複数の画像（教師データ）３０２－１～３０２－ｎから、所定の人物（オブジェクト）３００の画像の特徴点、特徴量を抽出し、画像（センシングデータ）から所定の人物（オブジェクト）３００の画像を認識するための認識モデル３１０を生成する。

　なお、上述の例と同様に、ユーザからの配信リクエストにより、センサデバイス１０で取得したセンシングデータ（ここでは、特にセンシングデータの種別を限定していない）を用いて、所定の人物（オブジェクト）を探索することを要求された場合には、学習器２３８ａは、各センサデバイス１０で取得可能なセンシングデータの種別に応じて認識モデル３１０を生成してもよい。

　より具体的には、学習器２３８ａは、画像を取得することが可能なセンサデバイス１０のために画像から所定の人物の画像を認識するための認識モデル３１０を生成し、環境音を取得することが可能なセンサデバイス１０のために環境音から所定の人物の音声を認識するための認識モデル３１０を生成する。従って、様々な仕様を持つ複数のセンサデバイス１０が含まれていても、各センサデバイス１０の能力に応じた認識モデル３１０を生成することができることから、各センサデバイス１０で認識を行うことができる。

　また、上述したように、認識モデル３１０は、機械学習で用いた教師データ３０２に関する情報を含んでいてもよい。ここで、教師データ３０２に関する情報とは、教師データ３０２の種別（例えば、画像、音声等）や、教師データの品質（ひずみ補償レベル、画素欠陥、ホワイトバランス、画像サイズ、彩度、輝度、ガンマ、コントラスト、エッジ強調レベル、フォーカス、露出レベル、解像度、ダイナミックレンジ、ノイズリダクションレベル等）であることができる。

　このような教師データ３０２に関する情報は、先に説明したセンサデバイス１０の前処理部１３８において、取得されたセンシングデータが認識モデル（詳細には教師データ３０２）に近い形態を持つように前処理を行う際に用いられることができる。このようにすることで、センサデバイス１０の認識部１４２の認識の精度を向上させることができる。

　また、上述したように、認識モデル３１０は、配信リクエストで指定された配信データを生成するために求められるセンシングデータを取得するための、センサデバイス１０のセンサ部１００の設定に関する設定情報を含んでいてもよい。ここで、設定情報とは、センシングデータの種別（例えば、画像、音声等）や、所望するセンシングデータの品質に応じたセンサ部１００の設定値（ひずみ補償レベル、ホワイトバランス、画像サイズ、彩度、輝度、ガンマ、コントラスト、エッジ強調レベル、フォーカス、露出レベル、解像度、ダイナミックレンジ、ノイズリダクションレベル等）であることができる。このような設定情報は、センサ部１００の設定の際に用いられ、認識モデル３１０に応じたセンシングデータを取得することを可能にし、ひいては認識部１４２の認識の精度を向上させることができる。

　なお、学習器２３８ａはサービスサーバ２０と別個のサーバに設けられていてもよく、特に限定されるものではない。さらに、学習器２３８ａにおける学習方法は、上述した方法に限定されるものではなく別の方法を用いてもよい。

　＜認識モデルを用いた認識＞
　次に、上述した認識モデル３１０を用いた認識について説明する。上述したように、認識モデル３１０は、センサデバイス１０の認識部１４２で、センシングデータ、もしくは、前処理されたセンシングデータが、配信リクエストに該当するかどうかを認識する際に用いられる。ここで、具体例を示して、本実施の形態に係る認識ついて説明する。

　例えば、ユーザからの配信リクエストにより、センサデバイス１０で取得した画像（センシングデータ）を用いて、所定の人物（オブジェクト）を探索することを要求された場合（配信データは、所定の人物の位置情報となる）を説明する。センサデバイス１０は、センサ部１００から画像を取得する。そして、認識部１４２は、サービスサーバ２０から取得した認識モデル３１０、詳細には、所定の人物（オブジェクト）３００の画像の特徴点、特徴量を参照して、センサ部１００から取得した画像に、所定の人物の画像が含まれているかどうかを認識する。すなわち、上述のような認識をセンサデバイス１０で行うことから、画像の取得後すぐに認識を行うことができる。

　上述したように、複数のセンサデバイス１０は、そのセンシング能力や演算能力が互いに異なり、すなわち、認識できる能力が互いに異なるため、各センサデバイス１０の能力情報に応じて、各認識モデル３１０を生成され、各認識が行われる。例えば、本実施の形態においては、ユーザからの配信リクエストにより、センサデバイス１０で取得したセンシングデータ（ここでは、特にセンシングデータの種別を限定していない）を用いて、所定の人物（オブジェクト）を探索することを要求された場合には、画像を取得することが可能なセンサデバイス１０の認識部１４２は、認識モデル３１０に基づいて、画像から所定の人物の画像を認識し、環境音を取得することが可能なセンサデバイス１０の認識部１４２は、認識モデル３１０に基づいて、環境音から所定の人物の音声を認識する。

　なお、認識部１４２は、センサデバイス１０と別個の装置に設けられていてもよく、特に限定されるものではない。さらに、認識部１４２における認識方法は、上述した方法に限定されるものではなく別の方法を用いてもよい。

　次に、図５を参照して、本実施の形態に係る配信データの例について説明する。上述したように、センサデバイス１０のデータ生成部１４４は、センシングデータに対して当該配信リクエストに応じた処理を行い、配信データを生成する。当該配信データは、配信リクエストで指定された、オブジェクトの属性情報、数量情報、位置情報、状態情報、動作情報、周囲環境情報、及び、予測情報のうちの少なくとも１つの情報を含むことができる。

　また、当該配信データは、画像やテキスト等のデータフォーマットを持つことができ、特に限定されるものではない。さらに、配信データには、配信リクエストを送信したユーザもしくはユーザデバイス３０の識別情報が含まれていることが好ましい。すなわち、例えば、データ生成部１４４は、配信リクエストに応じて、センシングデータから配信リクエストで指定されたオブジェクトのデータのみを配信データとして抽出したり、抽象化したり、テキストデータ化したりすることができる。

　このように、データ生成部１４４が、配信リクエストに該当したセンシングデータを処理して配信データを生成する、リアルタイムでの配信を実現することができる。また、データ生成部１４４は、センシングデータが配信リクエストに該当しない場合には、配信データを生成、送信することはない。従って、本実施の形態によれば、センシングデータが配信リクエストに該当するか否かに関係なくセンシングデータを送信する場合に比べて、データ送信の負荷を減らすことができる。

　また、データ生成部１４４は、配信データから、センシングデータに含まれるプライバシに関する情報（例えば、人物が特定できる程度の人物の撮像）を排除することができる。このようにすることで、プライバシの保護を確保にしている。より具体的には、図５の最上段に示される例では、データ生成部１４４は、配信リクエストに該当するセンシングデータとして道路の画像Ａが取得された場合、配信リクエストで指定された看板標識や横断歩道のみを抽出して、配信データＡを生成する。

　また、図５の上から２段目に示される例では、データ生成部１４４は、配信リクエストに該当するセンシングデータとして道路の画像Ｂが取得された場合、配信リクエストで指定された道路上の標識や車両のみを抽出して、配信データＢを生成する。

　また、図５の上から３段目に示される例では、データ生成部１４４は、配信リクエストに該当するセンシングデータとして道路の画像Ｃが取得された場合、配信リクエストで指定された看板標識や水たまりのみを抽出して、配信データＣを生成する。

　さらに、図５の最下段に示される例では、データ生成部１４４は、配信リクエストに該当するセンシングデータとして道路の画像Ｄが取得された場合、配信リクエストで指定された横断歩道や当該横断歩道を渡る人物のみを抽出して、配信データＤを生成する。

　次に、図６を参照して、本実施の形態に係る前処理の例について説明する。上述したように、認識部１４２は、機械学習で得られた認識モデル３１０を用いて、センシングデータが配信リクエストに該当するかどうかを認識することができる。そして、認識部１４２での認識の精度を向上させるために、センサデバイス１０の前処理部１３８は、上述した教師データに関する情報に基づいて、センシングデータが認識モデル３１０に近い形態を持つように前処理を行う。詳細には、前処理部１３８は、フォーマット、ひずみ補償レベル、画素欠陥、ホワイトバランス、画像サイズ、彩度、輝度、ガンマ、コントラスト、エッジ強調レベル、フォーカス、露出レベル、解像度、ダイナミックレンジ、ノイズリダクションレベル等が教師データ３０２と同等になるように、センシングデータに対して前処理を行う。

　より具体的には、例えば、センサデバイス１０のセンサ部１００で、図６の上段に示すような各画像をセンシングデータとして取得した場合には、前処理部１３８は、画質サイズ及びフォーカスが教師データ３０２と同等になるように、図６の上段の各画像に対して前処理を行う。そして、前処理部１３８は、図６の下段に示すような各画像を取得する。本実施の形態によれば、このように、前処理部１３８で、認識モデル３１０を生成する際に用いた教師データ３０２と同等のデータレベルを持つセンシングデータになるように前処理することにより、認識部１４２での認識の精度をより向上させることができる。

　次に、図７を参照して、本開示の実施の形態に係る情報処理方法について説明する。図７は、本実施の形態に係る情報処理方法の一例を示すシーケンス図である。

　ステップＳ１において、ユーザデバイス３０は、ユーザから入力された情報を受け付け、受け付けた当該情報を配信リクエストとしてサービスサーバ２０へ送信する。ステップＳ２において、サービスサーバ２０は、ユーザデバイス３０から配信リクエストを受信する。

　ステップＳ３において、サービスサーバ２０は、上述したステップＳ２で受信した配信リクエストに基づいて、認識モデルを生成し、生成した認識モデルを各センサデバイス１０へ送信する。

　ステップＳ４において、センサデバイス１０は、サービスサーバ２０から認識モデルを受信する。また、ステップＳ５において、センサデバイス１０は、センシングを行い、センシングデータを取得する。さらに、ステップＳ６において、センサデバイス１０は、上述したステップＳ４で受信した認識モデルに基づいて、上述したステップＳ５で取得したセンシングデータが配信リクエストに該当するかどうかを認識する。

　センサデバイス１０は、上述したステップＳ６でセンシングデータが配信リクエストに該当すると認識したことに基づいて、当該センシングデータに対して配信リクエストに応じた処理を行い、配信データを生成する。さらに、ステップＳ７において、センサデバイス１０は、生成した配信データを、配信リクエストに係るユーザデバイス３０へ直接送信する。

　なお、他の実施の形態として、センサデバイス１０からユーザデバイス３０に、配信データが、直接送信されるのではなく、サービスサーバ２０を介して送信されるようにしても良い。

　ステップＳ８において、ユーザデバイス３０は、センサデバイス１０から送信された配信データを受信する。

　以上説明したように、上述した本実施の形態によれば、様々なセンサデバイス１０が取得したセンシングデータから得られる情報を様々なユーザが容易に利用することが可能なフレームワークを構築することができる。

　＜認識モデルの切り替え機能の追加＞
　センサデバイス１０は、上述したように、自動車等の移動体に搭載された撮像装置（カメラ）や、ユーザの携帯するスマートフォンに搭載された撮像装置、自宅や店舗等に設置された監視カメラ等の撮像装置などである。

　センサデバイス１０で撮像される画像に、ノイズが乗ってしまうことがある。ノイズが多くなると、認識モデルによる認識の精度が落ちる可能性がある。認識モデルは、図４を参照して説明したように、例えば、サポートベクターレグレッションやディープニューラルネットワーク等の教師付き学習器２３８ａにより学習されたモデルである。

　例えば、学習器２３８ａがディープニューラルネットワーク技術を適用して学習を行う場合、ノイズが無い画像で学習を行うことが多い。ノイズがない画像で学習が行われた認識モデルは、ノイズのない画像を処理するときの精度は良いが、ノイズのある画像を処理するときの精度は落ちる可能性がある。

　ノイズが入った画像を処理する場合、ノイズが入った画像に最適化された認識モデルを用いる方が、ノイズの入っていない画像で学習された認識モデルを用いるよりも検出精度、認識精度が高くなる。

　このようなことを考慮し、センサデバイス１０で撮像される画像にノイズが入っている場合、ノイズ入りの画像で学習した認識モデルを用いるようにし、ノイズが入っていない場合、ノイズなしの画像で学習した認識モデルを用いるようにする。以下、ノイズ入りの画像で学習した認識モデルを、ノイズ用認識モデルと記述し、ノイズなしの画像で学習した認識モデルを、通常認識モデルと記述する。

　ノイズ用認識モデルを、図４を参照して説明したように生成する場合、ノイズ入りの画像を複数枚（ノイズ入り画像のデータセット）用意し、学習を行うことで生成することができる。また、ノイズなし画像に人工的にノイズを乗せた画像を生成し、そのノイズ入りの画像を用いて学習が行われるようにすることもできる。

　このようにしてノイズ用認識モデルと通常認識モデルを生成した場合、ノイズ用認識モデルの方が、通常認識モデルよりも層が深くなる（規模が大きくなる）傾向にある。認識モデルの違いはこのように、層の深さなどが異なり、処理対象とするものに適した学習が行われた認識モデルによれば、高い性能で処理することができる。

　以下の説明では、通常認識モデルを用いて処理を行い、センサデバイス１０で撮像されている画像に乗っているノイズの量が多くなってきたと判定された場合、ノイズ用認識モデルに切り替えて処理を行う場合を例に挙げて説明を続ける。

　図８は、ノイズ量に応じて認識モデルを切り替える場合の、センサデバイス１０とサービスサーバ２０から構成されるシステムが有する機能構成例を示す図である。センサデバイス１０とサービスサーバ２０から構成されるシステムは、認識モデルの切り替えに係わる処理を実行する認識モデル切替処理部４００を有する。

　認識モデル切替処理部４００は、ノイズ検出部４２０、認識モデル切替判断部４４０、および認識モデル切替部４６０を備える。ノイズ検出部４２０は、センサデバイス１０のセンサ部１００で撮像される画像にのっているノイズ量を検出する。

　認識モデル切替判断部４４０は、ノイズ検出部４２０で検出さえたノイズの量に基づいて、認識モデルを切り替えるか否かを判断する。例えば、認識モデル切替判断部４４０は、ノイズ検出部４２０で検出されたノイズ量が所定の閾値以上になったと判定されるとき、認識モデルをノイズ用認識モデルに切り替えると判断する。

　認識モデル切替部４６０は、認識モデル切替判断部４４０で認識モデルを切り替えると判断されたとき、認識モデルの切り替えに係わる処理を実行する。認識モデルは、上記した実施の形態においては、サービスサーバ２０側からセンサデバイス１０側に送信され、センサデバイス１０は、送信されてきた認識モデルを用いて処理を行う。このような場合、認識モデル切替部４６０は、サービスサーバ２０からセンサデバイス１０にノイズ用認識モデルを送信させ、センサデバイス１０に、ノイズ用認識モデルでの処理の開始を指示する処理を行う。

　図９は、ノイズ検出部４２０の構成例を示す図である。ノイズ検出部４２０は、画像入力部４２２、デノイズ処理部４２４、差分抽出部４２６、およびノイズ量算出部４２８を含む構成とされている。

　画像入力部４２２は、センサデバイス１０のセンサ部１００で撮像された画像を入力する。画像入力部４２２に入力された画像は、デノイズ処理部４２４と差分抽出部４２６に供給される。

　デノイズ処理部４２４は、入力された画像から、ノイズを除去する処理、例えばＮＲ（Noise Reduction）の処理を実行し、画像にのっているノイズが軽減された画像を生成し、差分抽出部４２６に供給する。

　差分抽出部４２６は、画像入力部４２２により入力された画像、すなわちこの場合、センサ部１００で撮像された画像と、デノイズ処理部４２４によりノイズが低減された画像を取得し、この２枚の画像の差分を抽出する。すなわちセンサ部１００で撮像された画像と、その画像のノイズ成分を低減した画像との差分が算出される。

　センサ部１００で撮像された画像のノイズ成分が少なかった場合、ノイズ成分を低減した画像との差分は、小さいくなる。また、センサ部１００で撮像された画像のノイズ成分が大きかった場合、ノイズ成分を低減した画像との差分は、大きくなる。差分抽出部４２６は、ノイズ成分を抽出する処理を行う。

　ノイズ量算出部４２８は、差分抽出部４２６で抽出された差分、すなわちノイズ成分を用いて、ノイズ量を算出する。例えばノイズ量算出部４２８は、次式（１）により求められる。
　ノイズ量ｎ＝Σａｂｓ（ｓｕｂ）　　・・・（１）

　式（１）は、差分抽出部４２６で算出された差分の絶対値を累積加算する式である。例えば、差分抽出部４２６で、画素毎に差分が算出され、ノイズ量算出部４２８で、画素毎に算出された差分が累積加算されることで、１画像における差分値、すなわちノイズ量が算出される。

　ノイズ量算出部４２８で算出されたノイズ量は、認識モデル切替判断部４４０に供給される。認識モデル切替判断部４４０は、ノイズ量算出部４２８で算出されたノイズ量が、認識モデルを切り替えるレベルであるか否かを判断する。認識モデル切替判断部４４０は、
　ノイズ量ｎ＞閾値　
であるか否かを判断することで、認識モデルを切り替えるレベルであるか否かを判断する。この閾値は、認識モデルを切り替えると判断するノイズ量として設定されている値となる。

　図１０のフローチャートを参照して、認識モデル切替処理部４００の処理について説明を加える。ステップＳ１１において、画像のノイズレベルが閾値以上であるか否かが判定される。ステップＳ１１における処理は、ノイズ検出部４２０によりノイズ量が算出され、その算出されたノイズ量が、認識モデルを切り替えるレベルであるか否かを、認識モデル切替判断部４４０が判断することで行われる。

　ステップＳ１１において、画像のノイズレベルが閾値以上ではないと判定された場合、ステップＳ１２に処理は進められる。ステップＳ１２において、ノイズなし画像用の認識モデル（通常認識モデル）が用いられた認識処理を行うモード（以下、適宜、通常モードと記述する）に設定される。

　一方で、ステップＳ１１において、画像のノイズレベルは閾値以上であると判定された場合、ステップＳ１３に処理は進められる。ステップＳ１３において、ノイズあり画像用の認識モデル（ノイズ用認識モデル）が用いられた認識処理を行うモード（以下、適宜、ノイズ対応モードと記述する）に設定される。

　このように、ノイズレベルに応じて、用いられる認識モデルが設定される。

　＜認識モデルの切り替えに係わる処理＞
　図１１のフローチャートを参照し、センサデバイス１０とサービスサーバ２０との間で行われる処理について説明する。図１１には、NICE（Network of Intelligent Camera Ecosystem）Allianceで規定されている仕様を適用したときに用いられるＡＰＩ（Application Programming Interface）を図中右側に記載してある。このことは、本技術は、NICE規格に基づいて処理を実行することが可能であることを示す記載であるが、NICE規格にのみに本技術の適用範囲が限定されることを示す記載ではない。すなわち、本技術は、NICE規格に適用することができるし、NICE規格以外の規格に対しても適用できる。

　ステップＳ１０１において、サービスサーバ２０からセンサデバイス１０に対して情報要求が出される。この要求に応じて、センサデバイス１０は、ステップＳ１０２において、センサデバイス１０の情報通知を、サービスサーバ２０に対して行う。このステップＳ１０１とステップＳ１０２において実行されるセンサデバイス１０に関する情報の授受を、NICE規格に基づいて行う場合、GetCapabilitiesというＡＰＩが用いられる。

　GetCapabilitiesというＡＰＩは、デバイスの能力を問い合わせるためのＡＰＩであり、例えば、動画や静止画を撮影する能力があるか、フォーマットとしてJPEGやH.264などＷ扱えるか、どのSceneModeに対応しているかなどの情報を授受するためのＡＰＩである。

　本技術を適用した場合、GetCapabilitiesというＡＰＩを用いて授受されるセンサデバイス１０の情報には、ノイズ検出部４２０で検出されたノイズ量（ノイズレベル）に関する情報も含まれる。

　ステップＳ１０３において、サービスサーバ２０は、モード設定を行う。サービスサーバ２０は、センサデバイス１０からのセンサデバイス１０の能力や状態に関する情報を受信しており、この情報を元に、適切なモードを設定する。設定されるモードは、通常モード、またはノイズ対応モードである。

　また、モードが設定されるとは、認識部１４２（図８）が用いる認識モデルが設定されることも含まれる。換言すれば、設定されるモードに対応するＡＩ機能が設定される。ステップＳ１０３で設定されるモードは、通常モードであり、設定される認識モデルは、通常認識モデルである。

　上記したように、認識部１４２は、ＡＩ機能を利用して、モデル取得部１４０から出力された認識モデルに基づき、センサデータ取得部１３６から出力されたセンシングデータ、もしくは、前処理部１３８で前処理されたセンシングデータが、配信リクエスト、例えば特定の人を認識するというリクエストに該当するかどうかを認識する。このようなＡＩ機能を利用した認識に用いられる認識モデルが、ステップＳ１０３において設定される。

　ステップＳ１０３おいて実行されるモード設定に関する処理を、NICE規格に基づいて行う場合、SetSceneModeというＡＰＩが用いられる。SetSceneModeというＡＰＩは、SceneModeを設定するＡＰＩであり、SceneModeは、人検出、動体検出などである。

　ステップＳ１０４において、センサデバイス１０は、設定された認識モデルを用いた検出処理を行う。例えば、センサ部１００で取得された画像から、人を検出する処理や、人を認識する処理が実行される。

　ステップＳ１０５において、センサデバイス１０は、検出処理で検出された情報を、サービスサーバ２０に送信する。送信される情報は、例えば、検出された人の座標に関する情報である。

　ステップＳ１０５において実行される検出結果の通知を、NICE規格に基づいて行う場合、SetSceneMarkというＡＰＩが用いられる。このSetSceneMarkというＡＰＩは、SetSceneModeで設定したトリガにかかったときに、そのトリガにかかった情報を送信するＡＰＩである。例えば、SetSceneModeで人検出が設定されていた場合、人が検出されたときのサムネイル、タイムスタンプなどのメタ情報が送信される。

　ステップＳ１０４における検出処理と、ステップＳ１０５の検出結果の通知の処理は、繰り返し行われる。検出処理と通知処理が繰り返し行われている一方で、図１０を参照して説明した認識モデルの切替の処理も行われている。図１０を参照して説明したフローチャートのステップＳ１１において、センサデバイス１０で撮像されている画像のノイズレベルが閾値以上になったと判定された場合、通常モードからノイズ対応モードに遷移する処理（認識モデルの切り替えに係わる処理）が開始される。

　このようなモード遷移の処理が開始されると、図１１に示したフローチャートのステップＳ１２１において、センサデバイス１０の情報が通知される。なお、モード遷移の処理の開始は、センサデバイス１０側からの指示により行うか、サービスサーバ２０側からの指示により行うかなど、複数の実施の形態があるため、詳細は後述する。

　ステップＳ１２１において、モード遷移の開始、換言すれ認識モデルの変更の開始は、センサデバイス１０から、ノイズレベル情報が、サービスサーバ２０に対して送信されることで行われる。

　このようなモード遷移の開始（認識モデルの変更の開始）のために、センサデバイス１０から、サービスサーバ２０にセンサデバイス１０の情報を送信するＡＰＩについては、NICE規格では未定義の通信である。このような通信を行うＡＰＩを、NICE規格に新たに定義することで、モード遷移の開始に係わる通信をNICE規格でも扱えるようにすることができる。

　ステップＳ１２２において、サービスサーバ２０は、センサデバイス１０に対して、モード設定を行う。このステップＳ１２２におけるモード設定の処理は、ステップＳ１０３におけるモード設定の処理と基本的に同様に行われる。サービスサーバ２０は、センサデバイス１０からのセンサデバイス１０のノイズ量に関する情報を受信すると、そのノイズ量に適したモードを設定する。図１１に示した例では、ステップＳ１２２において、ノイズ対応モードが設定される。ステップＳ１２２におけるモード設定に係わる処理を、NICE規格に基づいて行う場合、SetSceneModeというＡＰＩを用いることができる。

　ステップＳ１２２において、ノイズ対応モードに切り替えられることにより、サービスサーバ２０は、ノイズ用認識モデルをセンサデバイス１０に送信し、センサデバイス１０は、モデル取得部１４０（図２）でノイズ用認識モデルを取得し、認識部１４２が用いる認識モデルとして設定する。このように認識モデルの設定が行われることで、センサデバイス１０は、ノイズ用認識モデルでの処理を開始する。

　ステップＳ１２３において、センサデバイス１０は、設定されたノイズ用認識モデルを用いた検出処理を行う。この検出処理は、ステップＳ１０４と同様に、例えば、センサ部１００で取得された画像から、人を検出する処理や、人を認識する処理が実行される。

　ステップＳ１２４において、センサデバイス１０は、検出処理で検出された情報を、サービスサーバ２０に送信する。送信される情報は、例えば、検出された人の座標に関する情報である。

　なおここでは、通常認識モデルから、ノイズ用認識モデルに切り替えられる場合を例に挙げて説明したが、ノイズ用認識モデルを用いた処理が行われているときに、ノイズ量が減少し、閾値以下になった場合には、通常認識モデルに戻される。すなわち、本実施の形態においては、ノイズ量が増加したときには、ノイズ用認識モデルが用いられ、ノイズ量が少ないときには、通常認識モデルが用いられる。このようにすることで、ノイズ量に応じた最適な認識モデルを用いた処理を行うことができるようになり、認識モデルを用いた処理の精度が落ちるようなことを防ぐことができる。

　＜認識モデルの切り替えに係わる第１の処理について＞
　認識モデルの切り替えに係わる第１の処理について説明する。図１２は、認識モデルの切り替えの開始を、センサデバイス１０側から指示（要求）を出す場合の処理について説明するためのフローチャートである。

　ステップＳ２０１において、センサデバイス１０のノイズ検出部４２０は、ノイズ量を検出する。ステップＳ２０２において、検出されたノイズ量は、閾値以上であるか否かが判定される。ステップＳ２０２における処理は、センサデバイス１０の認識モデル切替判断部４４０により行われる。

　ステップＳ２０２において、検出されたノイズ量は、閾値以上ではないと判定された場合、処理は、ステップＳ２０１に戻され、それ以降の処理が繰り返される。

　ここでは、通常モード（通常認識モデル）と、ノイズ対応モード（ノイズ用認識モデル）の２モードがある場合を例に挙げて説明しているが、２以上のモード（２以上のノイズレベルにあった認識モデル）があるようにしても良い。複数のモードがある場合、ステップＳ２０２の処理が行われる時点で設定されているモードに合った閾値との比較が行われ、判定が行われる。すなわち、閾値は、モード毎に設定されている。

　ステップＳ２０１とステップＳ２０３の処理は、所定の周期で繰り返し行われる。所定の周期とは、フレーム毎でも良いし、数フレーム毎であってもよい。ステップＳ２０２において、検知されたノイズ量は、閾値以上であると判定された場合、ステップＳ２０３に処理は進められる。

　ステップＳ２０３において、センサデバイス１０は、サービスサーバ２０に対して、モード変更の要求、換言すれば、ノイズ量に応じた認識モデルへの変更の要求を出す。サービスサーバ２０は、ステップＳ２０４において、センサデバイス１０からのモード変更の要求を受け取ると、ステップＳ２０５において、変更後のモードを設定、この場合、変更後の認識モデルを送信する。

　センサデバイス１０は、ステップＳ２０６において、サービスサーバ２０からの認識モデル、例えばノイズ用認識モデルを受信することで、ノイズ対応モードへと遷移する。この後、センサデバイス１０は、設定された認識モデルに基づく処理を開始する。ステップＳ２０３乃至Ｓ２０６の処理は、図１１のステップＳ１２１とステップＳ１２２において実行される処理に該当する。

　このように、センサデバイス１０側で、モード変更の要求を出すように構成することができる。

　＜認識モデルの切り替えに係わる第２の処理について＞
　認識モデルの切り替えに係わる第２の処理について説明する。図１３は、モード遷移の開始を、サービスサーバ２０側で判定する場合の処理について説明するためのフローチャートである。

　ステップＳ２２１において、センサデバイス１０のノイズ検出部４２０は、ノイズ量を検出する。ステップＳ２２２において、センサデバイス１０は、検出したノイズ量に関する情報を、サービスサーバ２０に対して送信する。

　ステップＳ２２１、ステップＳ２２２の処理は、所定の周期で繰り返し行われる。すなわち、センサデバイス１０は、所定の周期毎にノイズ量に関する情報を、サービスサーバ２０に送信し、サービスサーバ２０は、所定の周期毎に、センサデバイス１０のノイズ量に関する情報を受信する。

　ステップＳ２２３において、センサデバイス１０からの情報を受信したサービスサーバ２０は、ステップＳ２２４において、センサデバイス１０におけるノイズ量は閾値以上であるか否かを判定する。ステップＳ２２４において、サービスサーバ２０は、センサデバイス１０のノイズ量は閾値以上ではないと判定した場合、モード遷移に関する処理としては何もせずに、そのままの状態を維持する。

　一方で、ステップＳ２２４において、センサデバイス１０のノイズ量は閾値以上であると判定された場合、ステップＳ２２５に処理は進められる。ステップＳ２２５において、変更後のモードへの設定が行われる。ステップＳ２２５以降の処理は、ステップＳ２０５（図１２）以降の処理と同様である。

　このように、センサデバイス１０は、所定の周期で、サービスサーバ２０に対して、ノイズ量に関する情報を送信し、サービスサーバ２０側で、認識モデルを変更するか否かの判定や、その判定に基づき認識モデルを送信し、送信した認識モデルでの処理を開始するように指示を出すように構成することができる。

　＜認識モデルの切り替えに係わる第３の処理について＞
　認識モデルの切り替えに係わる第３の処理について説明する。図１４は、モード遷移をセンサデバイス１０側で完結する場合の処理について説明するためのフローチャートである。

　センサデバイス１０は、複数の認識モデルを予めサービスサーバ２０から取得し、保持している構成としても良い。例えば、センサデバイス１０は、通常認識モデルとノイズ用認識モデルを予めサービスサーバ２０から取得し、保持していている構成とすることができる。このように複数の認識モデルをセンサデバイス１０側で保持しているような場合、センサデバイス１０側の処理だけで、認識モデルを切り替えられるように構成することも可能である。

　ステップＳ２４１乃至Ｓ２４３における各処理は、ステップＳ２０１乃至Ｓ２０３（図１２）における各処理と同様の処理である。ステップＳ２４３において、ノイズ量は閾値以上であると判定された場合、ステップＳ２４４に処理は進められる。

　ステップＳ２４４において、センサデバイス１０は、ノイズ量に適した認識モデルを選択し、選択した認識モデルへと切り替える。そして、切り替えた認識モデルによる処理を開始する。

　センサデバイス１０は、ステップＳ２４５において、認識モデルを切り替えたことをサービスサーバ２０に対して通知する。この通知の処理は省略することもできる。サービスサーバ２０は、ステップＳ２４６において、センサデバイス１０からの通知を受信する。

　サービスサーバ２０は、通知を受け取ったとき、例えば、センサデバイス１０を管理する管理者に、センサデバイス１０にノイズが発生していることを通知する処理を実行するようにしても良い。またサービスサーバ２０は、通知を受け取ったとき、センサデバイス１０側で切り替えられた認識モデルよりも、より適した認識モデルがないか検索し、より適した認識モデルがあった場合には、その認識モデルをセンサデバイス１０に送信するようにしても良い。

　本技術によれば、センサデバイス１０に発生しているノイズ量に適した認識モデルに切り替え、そのノイズ量に適した認識モデルでの処理を実行させることができる。よって、認識モデルを用いた精度が高い状態を維持した処理を行うことができる。

　上述した実施の形態においては、通常認識モデルとノイズ用認識モデルの２つの認識モデルを切り替える場合を例に挙げて説明したが、２以上の認識モデルを切り替えるような場合にも本技術を適用することはできる。

　またここでは、認識モデルを切り替えるとして説明をしたが、この認識モデルは、同一の学習アルゴリズムで学習された認識モデルであっても良いし、異なる学習アルゴリズムで学習された認識モデルであっても良い。例えば、通常認識モデルはディープラーニング技術を用いて学習された認識モデルであり、ノイズ用認識モデルはアダブースト技術を用いて学習された認識モデルといったように、異なるアルゴリズムによる学習により得られた複数の認識モデルを適切に切り替えることができる構成とすることもできる。

　また上述した実施の形態においては、ノイズ量に応じて認識モデルを切り替える例を挙げて説明したが、ノイズ量以外の指標で認識モデルの切り替えが行われても良い。ノイズ量以外の指標としては、画像のぼけやぶれなどとすることができる。また、ノイズの内容を分析し、ノイズの特性に合った認識モデルに切り替えられるように構成することもできる。

　また上述した実施の形態において、ノイズ量を算出するとき、照度センサから得られる明るさに応じてノイズ量が推定されるようにしても良い。例えば、照度センサから得られる明るさが、明るい場合、低ノイズであると推定され、暗い場合、高ノイズであると推定されるようにし、その推定に基づいて認識モデルが選択され、設定されるようにしても良い。

　上述した実施の形態においては、認識モデルを切り替える場合を例に挙げて説明したが、認識モデルを切り替えるだけでなく、例えば、カメラ信号処理（ノイズ低減処理、ゲインの設定などのパラメータなど）も切り替えられるように構成することもできる。

　また、設置場所やシーン別に認識モデルが切り替えられるようにしても良い。例えば、センサデバイス１０が車載カメラである場合、地図情報とＧＰＳ情報を用いて、例えばトンネル内を走行しているときと、トンネル外を走行しているときとを検出できるように構成し、トンネル内を走行しているときとトンネル外を走行しているときとで、異なる認識モデルが切り替えられるように構成することもできる。

　トンネル内は暗く、ノイズ量が大きくなると推定されるため、ノイズ用認識モデルが用いられるようにし、トンネル外は明るく、ノイズ量は大きくならない推定されるため、通常認識モデルが用いられるようにする。例えば、トンネル内からトンネル外に出るとき、ノイズ用認識モデルから通常認識モデルに切り替えられる。このように、センサデバイス１０の設置位置に応じたノイズ量を推定視、その推定したノイズ量に適した認識モデルが設定されるように構成することもできる。

　＜記録媒体について＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

　入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

　以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記憶部５０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　＜移動体への応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。

　図１６は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。

　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１６に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。

　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。

　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。

　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。

　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。

　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。

　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１６の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。

　図１７は、撮像部１２０３１の設置位置の例を示す図である。

　図１７では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。

　撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

　なお、図１７には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。

　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。

　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。

　本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　なお、本技術は以下のような構成も取ることができる。
（１）
　撮像された画像のノイズ量に応じて、認識モデルを切り替えるモデル切替部を備え、
　前記モデル切替部は、ノイズがない画像で学習された第１の認識モデルと、ノイズがある画像で学習された第２の認識モデルとを切り替える
　情報処理装置。
（２）
　前記認識モデルは、ＡＩ（Artificial Intelligence）機能による処理に用いられる
　前記（１）に記載の情報処理装置。
（３）
　前記ノイズ量が閾値以下の場合、前記第１の認識モデルを用いた処理を行い、前記ノイズ量が前記閾値以上の場合、前記第２の認識モデルを用いた処理を行う
　前記（１）または（２）に記載の情報処理装置。
（４）
　前記撮像された画像と前記画像に対してノイズを低減する処理を施した画像との差分を抽出することで前記ノイズ量が算出される
　前記（１）乃至（３）のいずれかに記載の情報処理装置。
（５）
　前記モデル切替部は、前記ノイズ量が閾値以上であると判定した場合、他の装置に前記第２の認識モデルの設定を要求する
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
　所定の周期毎に、他の装置に前記ノイズ量に関する情報を送信し、前記他の装置において前記ノイズ量が閾値以上であると判定されたときに、前記他の装置から送信されてくる前記第２の認識モデルに切り替える
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
（７）
　前記第１の認識モデルと前記第２の認識モデルは、異なる学習アルゴリズムにより学習された認識モデルである
　前記（１）乃至（６）のいずれかに記載の情報処理装置。
（８）
　前記認識モデルを切り替えるとき、信号処理も切り替える
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記ノイズの内容を分析し、前記ノイズに適した認識モデルに切り替えられる
　前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
　前記ノイズ量は、照度センサにより計測された明るさにより推定される
　前記（１）乃至（３）、（５）乃至（９）のいずれかに記載の情報処理装置。
（１１）
　前記画像を撮像するデバイスの設置位置に応じた前記ノイズ量を推定し、推定したノイズ量に適した前記認識モデルに切り替えられる
　前記（１）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　センシングを行うセンサデバイスであり、前記他の装置は、前記センサデバイスによりセンシングされた情報を取得するサーバである
　前記（５）または（６）に記載の情報処理装置。
（１３）
　情報処理装置が、
　撮像された画像のノイズ量に応じて、ノイズがない画像で学習された第１の認識モデルと、ノイズがある画像で学習された第２の認識モデルとを切り替える
　情報処理方法。
（１４）
　コンピュータに、
　撮像された画像のノイズ量に応じて、ノイズがない画像で学習された第１の認識モデルと、ノイズがある画像で学習された第２の認識モデルとを切り替える
　処理を実行させるためのプログラム。

　１　データ配信システム，　２　サービスサーバ，　１０　センサデバイス，　２０　サービスサーバ，　３０　ユーザデバイス，　４０　認証サーバ，　１００　センサ部，　１１０　測位部，　１３０　処理部，　１３２　ＩＤ送信部，　１３４　ｋｅｙ受信部，　１３６　センサデータ取得部，　１３８　前処理部，　１４０　モデル取得部，　１４２　認識部，　１４４　データ生成部，　１４６　配信部，　１６０　記憶部，　１７０　通信部，　２３０　処理部，　２３２　ＩＤ送信部，　２３４　リクエスト受付部，　２３６　能力情報取得部，　２３８　モデル生成部，　２４０　モデル送信部，　２４２　データ取得部，　２４３　認識部，　２４６　配信部，　２６０　記憶部，　２７０　通信部，　３０２　教師データ，　３１０　認識モデル，　４００　認識モデル切替処理部，　４２０　ノイズ検出部，　４２２　画像入力部，　４２４　デノイズ処理部，　４２６　差分抽出部，　４２８　ノイズ量算出部　４４０　認識モデル切替判断部，　４６０　認識モデル切替部

Claims (14)

1. 　撮像された画像のノイズ量に応じて、認識モデルを切り替えるモデル切替部を備え、
   　前記モデル切替部は、ノイズがない画像で学習された第１の認識モデルと、ノイズがある画像で学習された第２の認識モデルとを切り替える
   　情報処理装置。
2. 　前記認識モデルは、ＡＩ（Artificial Intelligence）機能による処理に用いられる
   　請求項１に記載の情報処理装置。
3. 　前記ノイズ量が閾値以下の場合、前記第１の認識モデルを用いた処理を行い、前記ノイズ量が前記閾値以上の場合、前記第２の認識モデルを用いた処理を行う
   　請求項１に記載の情報処理装置。
4. 　前記撮像された画像と前記画像に対してノイズを低減する処理を施した画像との差分を抽出することで前記ノイズ量が算出される
   　請求項１に記載の情報処理装置。
5. 　前記モデル切替部は、前記ノイズ量が閾値以上であると判定した場合、他の装置に前記第２の認識モデルの設定を要求する
   　請求項１に記載の情報処理装置。
6. 　所定の周期毎に、他の装置に前記ノイズ量に関する情報を送信し、前記他の装置において前記ノイズ量が閾値以上であると判定されたときに、前記他の装置から送信されてくる前記第２の認識モデルに切り替える
   　請求項１に記載の情報処理装置。
7. 　前記第１の認識モデルと前記第２の認識モデルは、異なる学習アルゴリズムにより学習された認識モデルである
   　請求項１に記載の情報処理装置。
8. 　前記認識モデルを切り替えるとき、信号処理も切り替える
   　請求項１に記載の情報処理装置。
9. 　前記ノイズの内容を分析し、前記ノイズに適した認識モデルに切り替えられる
   　請求項１に記載の情報処理装置。
10. 　前記ノイズ量は、照度センサにより計測された明るさにより推定される
    　請求項１に記載の情報処理装置。
11. 　前記画像を撮像するデバイスの設置位置に応じた前記ノイズ量を推定し、推定したノイズ量に適した前記認識モデルに切り替えられる
    　請求項１に記載の情報処理装置。
12. 　センシングを行うセンサデバイスであり、前記他の装置は、前記センサデバイスによりセンシングされた情報を取得するサーバである
    　請求項５に記載の情報処理装置。
13. 　情報処理装置が、
    　撮像された画像のノイズ量に応じて、ノイズがない画像で学習された第１の認識モデルと、ノイズがある画像で学習された第２の認識モデルとを切り替える
    　情報処理方法。
14. 　コンピュータに、
    　撮像された画像のノイズ量に応じて、ノイズがない画像で学習された第１の認識モデルと、ノイズがある画像で学習された第２の認識モデルとを切り替える
    　処理を実行させるためのプログラム。

Images