JP2024062349A - 情報処理装置 - Google Patents

Abstract

【課題】移動する物体を検出する情報処理装置を提供する。【解決手段】情報処理装置４１０は、画像から抽出した物体の動きを示す動き情報を出力する第１のプロセッサＭｏＰＵ１２と、画像から抽出した物体の種別を示す種別情報を出力する第２のプロセッサＩＰＵ１１と、動き情報及び種別情報に基づいて、物体に対する応答制御を行う第３のプロセッサＣｅｎｔｒａｌ Ｂｒａｉｎ１５と、を備える。第２のプロセッサは、自装置が搭載された移動体の外部に設置された外部カメラが取得した画像及び当該外部カメラの位置情報を取得する取得部を備え、外部カメラが取得した画像から抽出した物体の種別を示す種別情報を、当該外部カメラの位置情報と関連付けて出力する。【選択図】図１２

Description

開示の技術は、移動する物体を検出する情報処理装置に関する。

特許文献１には、自動運転機能を有する車両について記載されている。

特開２０２２－０３５１９８号公報

開示の技術に係る情報処理装置は、第１のプロセッサを備える。前記第１のプロセッサは、物体の画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点の、所定の座標軸に沿った動きを示す動き情報を１０００フレーム／秒以上のフレームレートで出力する。

前記第１のプロセッサは、前記物体の中心点又は重心点の所定の座標軸に沿った動きのベクトル情報を前記動き情報として出力してもよい。前記第１のプロセッサは、前記物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つ点について前記ベクトル情報を出力してもよい。

前記画像は、赤外線画像を含んでいてもよい。前記画像は、互いに同期した可視光画像及び赤外線画像を含んでいてもよい。

２つの前記第１のプロセッサを用いて、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力してもよい。

前記第１のプロセッサは、前記物体に照射された電磁波の前記物体からの反射波に基づいて、前記物体までの距離を導出し、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力してもよい。

情報処理装置は、前記物体の画像を１０００フレーム／秒未満のフレームレートで出力する第２のプロセッサと、前記動き情報と、前記第２のプロセッサから出力された画像とに基づいて、前記物体に対する応答制御を行う第３のプロセッサと、を更に含んでいてもよい。

開示の技術に係る情報処理装置は、第１のプロセッサを備える。前記第１のプロセッサは、物体が写る画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する。

前記情報処理装置は、フレームレートを変更することが可能なカメラを備え、前記第１プロセッサは、外部環境に関するスコアを計算し、前記スコアに応じて、前記カメラのフレームレートを決定し、決定した前記フレームレートにより画像の撮像を指示する制御信号を前記カメラに対して出力し、前記カメラによって撮像された画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力してもよい。

前記情報処理装置は車両に搭載され、前記第１プロセッサは、前記外部環境に関するスコアとして、前記車両の走行に関する危険度を計算し、前記危険度に応じて、前記カメラのフレームレートを決定し、決定した前記フレームレートにより画像の撮像を指示する制御信号を前記カメラ対して出力し、前記カメラによって撮像された画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力してもよい。

前記第１プロセッサは、前記画像から物体を抽出し、前記物体の存在位置が所定領域である場合に、前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力してもよい。

前記第１プロセッサは、前記画像から物体を抽出し、前記物体毎にスコアを計算し、前記スコアが所定閾値以上の前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力してもよい。

開示の技術に係る情報処理装置は、画像から抽出した物体の動きを示す動き情報を出力する第１のプロセッサと、画像から抽出した物体の種別を示す種別情報を出力する第２のプロセッサと、前記動き情報及び前記種別情報に基づいて、物体に対する応答制御を行う第３のプロセッサと、自装置が搭載された移動体の外部に設置された外部カメラにより取得された画像及び当該外部カメラの位置情報を取得する取得部と、を備え、前記第２のプロセッサは、外部カメラにより取得された画像から抽出した物体の種別を示す種別情報を、当該外部カメラの位置情報と関連付けて出力する。

前記第２のプロセッサは、外部カメラにより取得された画像から抽出した物体が、前記移動体の進行に影響を及ぼす可能性がある物体である場合に、進行に影響を及ぼす可能性がある物体であることを示す識別情報を付して、当該物体の種別情報を出力してもよい。

前記移動体の進行に影響を及ぼす可能性がある物体は、人又は動物であってもよい。

前記取得部は、前記移動体の進行ルートの前方に位置する外部カメラから画像及び位置情報を取得してもよい。

前記取得部は、前記移動体の進行ルートの前方において、自装置から最も近い外部カメラのみから画像及び位置情報を取得してもよい。

前記取得部は、前記移動体の進行ルートを案内するナビゲーションシステムのルート情報に基づいて、前記移動体の進行ルートの前方に位置する外部カメラを特定してもよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

Ｃｅｎｔｒａｌ Ｂｒａｉｎを搭載した車両の一例を示す概略図である。 開示の技術の第１実施形態に係る情報処理装置の構成の一例を示すブロック図である。 開示の技術の第１実施形態に係るＭｏＰＵからＣｅｎｔｒａｌ Ｂｒａｉｎへのデータ転送の態様の一例を示す図である。 開示の技術の第１実施形態に係るＭｏＰＵからＣｅｎｔｒａｌ Ｂｒａｉｎへのデータ転送の態様の一例を示す図である。 開示の技術の第１実施形態に係るＭｏＰＵによる物体の座標検出の態様の一例を示す図である。 開示の技術の第１実施形態に係るＭｏＰＵの処理の一例を示す図である。 開示の技術の第１実施形態に係るＭｏＰＵの処理の一例を示す図である。 開示の技術の第２実施形態に係る情報処理装置の構成の一例を示すブロック図である。 開示の技術の第２実施形態に係る情報処理装置の構成の一例を示すブロック図である。 開示の技術の第２実施形態を説明するための図である。 開示の技術の第２実施形態を説明するための図である。 開示の技術の第３実施形態に係る情報処理装置の構成の一例を示すブロック図である。 開示の技術の第３実施形態におけるカメラ管理データベースの一例を示す図である。 開示の技術の第３実施形態を説明するための図である。 開示の技術の第３実施形態において外部カメラから取得した画像の一例を示す図である。 開示の技術の第３実施形態におけるオブジェクト管理データベースの一例を示す図である。 開示の技術の第３実施形態を説明するための図である。 開示の技術の第３実施形態を説明するための図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

開示の技術の実施形態に係る情報処理装置は、車両の制御に関連する多くの情報に基づいて、運転制御に必要なインデックス値を高精度に求めるものであってよい。したがって、本開示の情報処理装置は、少なくとも一部が車両に搭載されて、車両の制御を実現するものであってよい。

＜第１実施形態＞
開示の技術の実施形態に係る情報処理装置は、Ａｕｔｏｎｏｍｏｕｓ ＤｒｉｖｉｎｇをＬｅｖｅｌ６によるＡＩ／多変量解析／ゴールシーク／戦略立案／最適確率解／最適スピード解／最適コースマネジメント／エッジにおける多種センサ入力により得られたデータを基にリアルタイムで実現でき、デルタ最適解に基づいて調整される走行システムを提供し得る。

図１は、Ｃｅｎｔｒａｌ Ｂｒａｉｎを搭載した車両の一例を示す概略図である。Ｃｅｎｔｒａｌ Ｂｒａｉｎは、図１に示すように、複数のＧａｔｅ Ｗａｙが通信可能に接続されていてよい。本実施の形態に係るＣｅｎｔｒａｌ Ｂｒａｉｎは、Ｇａｔｅ Ｗａｙを介して取得した複数の情報に基づいて、ＬｅｖｅＬ６の自動運転を実現し得るものである。

「Ｌｅｖｅｌ６」とは、自動運転を表すレベルであり、完全自動運転を表すＬｅｖｅｌ５よりも更に上のレベルに相当する。Ｌｅｖｅｌ５は完全自動運転を表すものの、それは人が運転するのと同等のレベルであり、それでも未だ事故等が発生する確率はある。Ｌｅｖｅｌ６とは、Ｌｅｖｅｌ５よりも上のレベルを表すものであり、Ｌｅｖｅｌ５よりも事故が発生する確率が低いレベルに相当する。

Ｌｅｖｅｌ６における計算力は、Ｌｅｖｅｌ５の計算力の１０００倍程度である。したがって、Ｌｅｖｅｌ５では実現できなかった高性能な運転制御が実現可能である。

図２は、開示の技術の実施形態に係る情報処理装置１０の構成の一例を示すブロック図である。情報処理装置１０は、ＩＰＵ（Image Processing Unit）１１、ＭｏＰＵ（Motion Processing Unit）１２、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６を備えている。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＧＮＰＵ（Graphics Neural network Processing Unit）１３及びＣＰＵ（Central Processing Unit）１４を含んで構成されている。

ＩＰＵ１１は、車両に設置された超高解像度カメラ（図示せず）に内蔵され得る。ＩＰＵ１１は、車両の周囲に存在する物体の画像について、ベイヤ―変換、デモザイク、ノイズ除去、シャープ化等の所定の画像処理を行い、処理された物体の画像を、例えば１０フレーム／秒のフレームレート且つ１２００万画素の解像度で出力する。ＩＰＵ１１から出力された画像は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に供給される。ＩＰＵ１１は、開示の技術における「第２のプロセッサ」の一例である。

ＭｏＰＵ１２は、車両に設置された超高解像度カメラとは別のカメラに内蔵され得る。ＭｏＰＵ１２は、１０００フレーム／秒以上のフレームレートで撮影された物体の画像から、撮影された物体の動きを示す動き情報を、例えば１０００フレーム／秒以上のフレームレートで出力する。すなわち、ＭｏＰＵ１２の出力のフレームレートは、ＩＰＵ１１の出力のフレームレートの１００倍である。ＭｏＰＵ１２は、物体の存在位置を示す点の、所定の座標軸に沿った動きのベクトル情報を動き情報として出力する。すなわち、ＭｏＰＵ１２から出力される動き情報には、撮影された物体が何であるか（例えば、人なのか、障害物なのか）を識別するために必要な情報は含まれておらず、当該物体の中心点（又は重心点）の座標軸（ｘ軸、ｙ軸、ｚ軸）上の動き（移動方向と移動速度）を示す情報のみが含まれている。ＭｏＰＵ１２から出力された情報は、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に供給される。動き情報が画像情報を含まないことで、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に転送される情報量を画期的に抑制することできる。ＭｏＰＵ１２は、開示の技術における「第１のプロセッサ」の一例である。

Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて、当該物体に対する応答制御として、車両の運転制御を実行する。例えば、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像に基づいて、車両の周囲に存在する物体（人、動物、道路、信号、標識、横断歩道、障害物、建物など）を認識する。また、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、ＭｏＰＵ１２から出力された動き情報に基づいて、車両の周囲に存在する、何であるか認識された物体の動きを認識する。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は認識した情報に基づいて、例えば、車輪を駆動するモータの制御（速度制御）、ブレーキ制御、ハンドル制御を行う。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５において、ＧＮＰＵ１３は画像認識に関する処理を担ってもよく、ＣＰＵ１４は、車両制御に関する処理を担ってもよい。Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５は、開示の技術における「第３のプロセッサ」の一例である。

一般的に自動運転における画像認識を行うために超高解像度カメラが使用されている。高解像度カメラによって撮影された画像から、当該画像に含まれる物体が何であるかを認識することは可能である。しかしながら、Ｌｅｖｅｌ６時代の自動運転ではこれだけでは不十分である。Ｌｅｖｅｌ６時代では、物体の動きをより高精度に認識することも必要である。ＭｏＰＵ１２によって物体の動きをより高精度に認識することで、例えば、自動運転によって走行する車両が障害物を回避する回避動作を、より高精度で行うことが可能となる。しかしながら、高解像度カメラでは、１秒間に１０フレーム程度しか画像を取得することができず、物体の動きを解析する精度はＭｏＰＵ１２を搭載したカメラに比べると低い。一方、ＭｏＰＵ１２を搭載したカメラでは、例えば１０００フレーム／秒の高フレームレートでの出力が可能である。

そこで、本開示の技術では、ＩＰＵ１１及びＭｏＰＵ１２の２つの独立したプロセッサを用いる。ＩＰＵ１１には、捉えた物体が何なのかを認識するために必要な画像情報を取得する役割を与え、ＭｏＰＵ１２には、物体の動きを検出する役割を与えている。ＭｏＰＵ１２は、物体を点としてとらえ、その点の座標がｘ軸、ｙ軸、ｚ軸上のどの方向に、どの程度の速度で動くかを解析する。物体の全体の輪郭と、その物体が何なのかの検知は、高解像度カメラからの画像によって行うことが可能であることから、ＭｏＰＵ１２によって、例えば、物体の中心点がどのように移動するかさえ分かれば、物体全体がどのような挙動をするかがわかる。

物体の中心点の移動と速度のみを解析する手法によれば、物体の画像全体がどのように動くかを判断することに比べて、Ｃｅｔｒａｌ Ｂｒａｉｎ１５に転送する情報量を大幅に抑制し、Ｃｅｔｒａｌ Ｂｒａｉｎ１５における計算量を大幅に低減することが可能である。例えば、１０００ピクセル×１０００ピクセルの画像を、１０００フレーム／秒のフレームレートでＣｅｔｒａｌ Ｂｒａｉｎ１５に送信する場合、色情報を含めると、４０億ビット／秒のデータをＣｅｔｒａｌ Ｂｒａｉｎ１５に送信することになる。ＭｏＰＵ１２が、物体の中心点の動きを示す動き情報のみを送信することで、Ｃｅｔｒａｌ Ｂｒａｉｎ１５に転送されるデータの量を２万ビット／秒に圧縮することができる。すなわち、Ｃｅｔｒａｌ Ｂｒａｉｎ１５に転送されるデータの量が２０万分の１に圧縮される。

このように、ＩＰＵ１１から出力される低フレームレート且つ高解像度の画像と、ＭｏＰＵ１２から出力される高フレームレート且つ軽量の動き情報を組み合わせて用いることで、物体の動きを含む物体認識を、少ないデータ量で実現することが可能となる。

なお、１つのＭｏＰＵ１２を用いた場合には、物体の存在位置を示す点の、三次元直交座標系における２つの座標軸（ｘ軸及びｙ軸）の各々に沿った動きのベクトル情報を取得することが可能である。ステレオカメラの原理を利用して、２つのＭｏＰＵ１２を用いて、物体の存在位置を示す点の、三次元直交座標系における３つの座標軸（ｘ軸、ｙ軸、ｚ軸）の各々に沿った動きのベクトル情報を出力してもよい。ｚ軸は、奥行方法（車両の走行）に沿った軸である。

また、図３に示すように、車両の左側に取り付けられたカメラからの画像及び車両の右側に取り付けられたカメラからの画像を、ＭｏＰＵ１２のコア１２Ａ（例えば、１つ以上のＣＰＵにより構成される）に入力してもよい。これらの画像は、それぞれ、例えば１０００ピクセル×１０００ピクセルの色情報を含む画像であり、１０００フレーム／秒のフレームレートでコア１２Ａに入力されてもよい。ＭｏＰＵ１２のコア１２Ａは、これらの画像に基づいて、三次元直交座標系における３つの座標軸（ｘ軸、ｙ軸、ｚ軸）の各々に沿った動きのベクトル情報を１０００フレーム／秒のフレームレートでＣｅｎｔｒａｌ Ｂｒａｉｎ１５に転送してもよい。また、図４に示すように、車両の左側に取り付けられたカメラからの画像及び車両の右側に取り付けられたカメラからの画像を、それぞれ、別々のコア１２Ａ_１及び１２Ａ_２を用いて処理してもよい。

また、以上の説明では、ＭｏＰＵ１２が、物体の中心点の動きを示す動き情報を出力する形態を例示した。しかしながら、開示の技術はこの態様に限定されない。ＭｏＰＵ１２は、カメラによって撮影された画像から認識した物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つの座標点について動き情報を出力してもよい。図５には、ＭｏＰＵ１２が、画像に含まれる４つの物体のそれぞれについて、当該物体の輪郭を囲むバウンディングボックス２１、２２、２３、２４を設定し、バウンディングボックス２１、２２、２３、２４の頂点の対角となる２つの座標点について動き情報を出力する態様が例示されている。このように、ＭｏＰＵ１２は物体を点としてではなく、一定の大きさを持つオブジェクトとして捉えてもよい。

また、図６に示すように、ＭｏＰＵ１２は、可視光画像及び赤外線画像の少なくとも一方に基づいて動き情報を出力してもよい。可視光画像は可視光カメラによって撮影された画像であり、赤外線画像は赤外線カメラによって撮影された画像である。可視光画像及び赤外線画像は、それぞれ、１０００フレーム／秒以上のフレームレートでコア１２Ａに入力される。可視光画像及び赤外線画像は、互いに同期していることが好ましい。ＭｏＰＵ１２による物体検出において赤外線画像を用いることで、例えば夜間等の可視光画像による物体検出が困難である場合でも物体検出が可能となる。ＭｏＰＵ１２は、可視光画像及び赤外線画像うち、赤外線画像のみに基づいて動き情報を出力してもよいし、可視光画像及び赤外線画像の双方に基づいて動き情報を出力してもよい。

また、図７に示すように、ＭｏＰＵ１２は、画像及びレーダー信号に基づいて動き情報を出力してもよい。レーダー信号は、物体に照射された電磁波の当該物体からの反射波に基づく信号である。ＭｏＰＵ１２は、画像及びレーダー信号に基づいて、物体までの距離を導出し、当該物体の存在位置を示す点の、三次元直交座標系における３つの軸の各々に沿った動きのベクトル情報を動き情報として出力してもよい。画像は、可視光画像及び赤外線画像の少なくとも１つを含むものであってもよい。画像及びレーダー信号は、１０００フレーム／秒以上のフレームレートでコア１２Ａに入力される。

また、以上の説明では、Ｃｅｔｒａｌ Ｂｒａｉｎ１５が、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて車両の運転制御を実行する場合を例示したが、開示の技術は、この態様に限定されるものではない。Ｃｅｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて、当該物体に対する応答制御として、ロボットの動作制御を行ってもよい。ロボットは例えば、人間の代わりに作業を行う人型のスマートロボットであってもよい。例えば、Ｃｅｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１から出力された画像及びＭｏＰＵ１２から出力された動き情報に基づいて、ロボットの腕、手のひら、指、足の動作制御を行って、当該物体を握る、掴む、抱える、背負う、移動させる、運ぶ、投げる、蹴る、避ける等の動作制御を行ってもよい。ＩＰＵ１１及びＭｏＰＵ１２は、例えば、ロボットの右目及び左目の位置に搭載されてもよい。つまり右目には右目用のＩＰＵ１１及びＭｏＰＵ１２を搭載し、左目には左目用のＩＰＵ１１及びＭｏＰＵ１２を搭載してもよい。

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態は、画像を撮像する際のフレームレートが可変である点等が第１実施形態と異なる。

（車両に搭載される情報処理装置：Ｓｍａｒｔ Ｃａｒ）
図８は、車両に搭載される、第２実施形態に係る情報処理装置２１０のブロック図である。図８に示されているように、車両に搭載される情報処理装置２１０は、左側の目に相当するＭｏＰＵ１２Ｌと、右側の目に相当するＭｏＰＵ１２Ｒと、ＩＰＵ１１と、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５とを備えている。

ＭｏＰＵ１２Ｌは、カメラ３０Ｌと、レーダー３２Ｌと、赤外線カメラ３４Ｌと、コア１２Ｌとを備えている。また、ＭｏＰＵ１２Ｒは、カメラ３０Ｒと、レーダー３２Ｒと、赤外線カメラ３４Ｒと、コア１２Ｒとを備えている。レーダー３２Ｌ，３２Ｒは、上述したレーダー信号を検知する。赤外線カメラ３４Ｌ，３４Ｒは、上述した赤外線画像を取得する。

ＩＰＵ１１は、上述したような高解像度カメラ（図示省略）を備えており、高解像度カメラによって撮像された高解像度画像から物体を検知し、物体の種別を表す情報（以下、単に「ラベル情報」と称する。）を出力する。

なお、以下では、左側の目に相当するＭｏＰＵ１２Ｌの処理についてのみ説明する。

ＭｏＰＵ１２Ｌが備えるカメラ３０Ｌは、ＩＰＵ１１が備える高解像度カメラ（例えば、１０フレーム／秒で撮像）よりも高いフレーム数（１２０，２４０，４８０，９６０，又は１９２０フレーム／秒）で画像を撮像する。カメラ３０Ｌは、フレームレートを変更することが可能なカメラである。

ＭｏＰＵ１２Ｌのコア１２Ｌ（例えば、１つ以上のＣＰＵにより構成される）は、３０Ｌが撮像した１フレームの画像毎に特徴点を抽出し、その座標値（Ｘ，Ｙ）を出力する。ＭｏＰＵ１２Ｌは、例えば、画像から抽出した物体の中心点（重心点）を特徴点として出力する。なお、特徴点は、物体を疑似的に囲む矩形の対角頂点２点であってもよい。

具体的には、ＭｏＰＵ１２Ｌは、１つの物体から抽出された特徴点の座標値（Ｘ，Ｙ）を出力する。なお、例えば、複数の物体（例えば、物体Ａ、物体Ｂ、及び物体Ｃ等）が１つの画像に写っている場合には、ＭｏＰＵ１２Ｌは、それら複数の物体の各々から抽出された特徴点の座標値（Ｘｎ，Ｙｎ）を出力するようにしてもよい。各時刻に撮像された画像の特徴点の系列は、物体の動き情報に相当する。

また、例えば、暗闇の影響によって、ＭｏＰＵ１２Ｌが物体を識別できない場合が想定される。この場合には、ＭｏＰＵ１２Ｌは、赤外線カメラ３４Ｌを用いて物体の熱を検知し、その検知結果である赤外線画像と、カメラ３０Ｌによって撮像された画像とに基づいて、物体の座標（Ｘｎ，Ｙｎ）を出力するようにしてもよい。また、カメラ３０Ｌによる画像の撮像と赤外線カメラ３４Ｌによる赤外線画像の撮像とを同期させるようにしてもよい。この場合には、例えば、カメラ３０Ｌによって撮像される１秒当たりの画像数と、赤外線カメラ３４Ｌによって撮像される１秒当たりの画像数とを同期させる（例えば、１９２０フレーム／秒）。

また、ＭｏＰＵ１２Ｌは、レーダー３２Ｌによって取得された３次元点群データに基づいて、物体のＺ軸の座標値を取得してもよい。なお、この場合には、カメラ３０Ｌによる画像の撮像とレーダー３２Ｌによる３次元点群データの取得とを同期させるようにしてもよい。例えば、レーダー３２Ｌによって取得される１秒当たりの３次元点群データの数と、カメラ３０Ｌによって撮像される１秒当たりの画像数とを同期させる（例えば、１９２０フレーム／秒）。

また、カメラ３０Ｌによって撮像される１秒当たりの画像数と、赤外線カメラ３４Ｌによって撮像される１秒当たりの画像数と、レーダー３２Ｌによって取得される１秒当たりの３次元点群データの数とを同一にし、データ取得のタイミングを同期させるようにしてもよい。

コア１２Ｘは、ＭｏＰＵ１２Ｌから出力された特徴点の座標と、ＩＰＵ１１から出力された対象物のラベル情報（物体が犬なのか、猫なのか、又はクマなのかを表す情報）とを取得する。そして、コア１２Ｘは、ラベル情報と特徴点に対応する座標とを対応付けて出力する。これにより、特徴点が表す物体が何を表しているのかという情報と、特徴点が表す物体の動き情報とを対応付けることが可能になる。

以上が左側の目に相当するＭｏＰＵ１２Ｌの処理である。右側の目に相当するＭｏＰＵ１２Ｒは、左側の目に相当するＭｏＰＵ１２Ｌと同様の処理を実行する。

なお、ＭｏＰＵ１２Ｌのカメラ３０Ｌによって撮像された画像と、ＭｏＰＵ１２Ｒの３０Ｒによって撮像された画像とに基づいて、ステレオカメラの原理を利用して、特徴点の奥行き方向の座標値Ｚｎを更に算出してもよい。

（ロボットに搭載される情報処理装置：Ｓｍａｒｔ Ｒｏｂｏｔ）
図９は、ロボットに搭載される、第２実施形態に係る情報処理装置３１０のブロック図である。図９に示されているように、ロボットに搭載される情報処理装置３１０は、左側の目に相当するＭｏＰＵ１２Ｌと、右側の目に相当するＭｏＰＵ１２Ｒと、赤外線カメラ３４と、ストラクチャードライト３６と、コア１２Ｘと、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５とを備えている。ロボットに搭載される情報処理装置３１０は、車両に搭載される情報処理装置２１０と同様の機能を有している。

例えば、暗闇の影響によって、ＭｏＰＵ１２Ｌが物体を識別できない場合には、ＭｏＰＵ１２Ｌは、赤外線カメラ３４を用いて物体の熱を検知し、その検知結果である赤外線画像と、カメラ３０Ｌによって撮像された画像とに基づいて、物体の座標（Ｘｎ，Ｙｎ）を出力する。また、カメラ３０Ｌによる画像の撮像と赤外線カメラ３４による赤外線画像の撮像とを同期させるようにしてもよい。この場合には、例えば、カメラ３０Ｌによって撮像される１秒当たりの画像数と、赤外線カメラ３４によって撮像される１秒当たりの画像数とを同期させる（例えば、１９２０フレーム／秒）。

また、コア１２Ｘは、物体の奥行き方向の座標Ｚｎを取得するために、ストラクチャードライト３６を使用してもよい。ストラクチャードライト３６は、例えば、参考文献（http://ex-press.jp/wp-content/uploads/2018/10/018_teledyne_3rd.pdf）に開示されている。この場合には、カメラ３０Ｌ，３０Ｒによる画像の撮像とストラクチャードライト３６による３次元データとの計測とを同期させるようにしてもよい。例えば、カメラ３０Ｌ，３０Ｒによって撮像される１秒当たりの画像数と、ストラクチャードライト３６によって計測される１秒当たりの３次元データとを同期させるようにしてもよい（例えば、１９２０フレーム／秒）。

更に、赤外線カメラ３４によって撮像された赤外線画像とストラクチャードライト３６によって計測された３次元データとの両方を併用してもよい。

（外部環境に応じたフレームレートの変更）
情報処理装置２１０，３１０は、外部環境に応じてカメラのフレームレートを変更するようにしてもよい。例えば、情報処理装置２１０，３１０は、外部環境に関するスコアを計算し、スコアに応じて、カメラ３０Ｌ，３０Ｒのフレームレートを決定する。そして、情報処理装置２１０，３１０は、決定したフレームレートにより画像の撮像を指示する制御信号をカメラ３０Ｌ，３０Ｒに対して出力する。カメラ３０Ｌ，３０Ｒは、決定されたフレームレートで画像を撮像する。そして、情報処理装置２１０，３１０は、カメラ３０Ｌ，３０Ｒによって撮像された画像から物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。

なお、車両に搭載される情報処理装置２１０は、図示しない複数種類のセンサを備えている。車両に搭載される情報処理装置２１０が備える１つ以上のプロセッサは、複数種類のセンサ（図示省略）から取り入れられたセンサ情報（例えば、体重の重心移動、道路の材質の検知、外気温度の検知、外気湿度の検知、坂道の上下横斜め傾き角度の検知、道路の凍り方、水分量の検知、それぞれのタイヤの材質、摩耗状況、空気圧の検知、道路幅、追い越し禁止有無、対向車、前後車両の車種情報、それらの車のクルージング状態、又は周囲の状況(鳥、動物、サッカーボール、事故車、地震、家事、風、台風、大雨、小雨、吹雪、霧、など)等）に基づいて、外部環境に関するスコアとして、自車両が今後どの程度の危険な場所を走行するかの危険度を計算する。

そして、情報処理装置２１０が備える１つ以上のプロセッサは、計算した危険度と閾値とに基づいて、１秒当たりに撮像される画像数（フレームレート）を切り替える。

例えば、情報処理装置２１０が備える１つ以上のプロセッサは、危険度が第１閾値より低い場合は、１２０フレーム／秒を選択し、そのフレームレートで画像の撮像、レーダー信号の取得、又は赤外線画像の撮像をするように、カメラ３０Ｌ，３０Ｒ、レーダー３２Ｌ，３２Ｒ、及び赤外線カメラ３４Ｌ，３４Ｒへ制御信号を出力する。

また、例えば、情報処理装置２１０が備える１つ以上のプロセッサは、危険度が第１閾値以上であり、かつ第４閾値より低い場合は、２４０，４８０，９６０フレーム／秒の何れかを選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。

また、例えば、情報処理装置２１０が備える１つ以上のプロセッサは、危険度が第４閾値以上である場合は、１９２０フレーム／秒を選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。

また、情報処理装置２１０が備える１つ以上のプロセッサは、危険度を予測する情報としてロングテールインシデントＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ） ＤＡＴＡ（例えば、レベル５の自動運転制御方式が実装された車両のＴｒｉｐデータ）又は地図情報等、車両が走行する前から既知である走行に関するビッグデータを利用し、危険度を予測するようにしてもよい。

また、ロボットに搭載される情報処理装置３１０が備える１つ以上のプロセッサは、例えば、カメラ３０Ｌ，３０Ｒに写る物体の速度等に基づいて、外部環境に関するスコアを計算し、そのスコアに応じてフレームレートを変更するようにしてもよい。例えば、外部環境に関するスコアは、物体の速度が速いほど大きくなるように計算される。このため、ロボットに搭載される情報処理装置３１０が備える１つ以上のプロセッサは、外部環境に関するスコアが大きい場合には、１９２０フレーム／秒を選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。また、ロボットに搭載される情報処理装置３１０が備える１つ以上のプロセッサは、外部環境に関するスコアが小さい場合には、１２０フレーム／秒を選択し、そのフレームレートで各種のデータを取得するように各機器へ制御信号を出力する。その他の制御は、上記の車両に搭載される情報処理装置２１０と同様である。

（物体が検出された領域に応じた特徴点の出力）
情報処理装置２１０，３１０は、画像に写る物体の存在位置が所定領域である場合に、物体の存在位置を示す点をするようにしてもよい。この場合、情報処理装置２１０，３１０は、物体が検出された領域に応じてその物体の特徴点を出力するか否かを判定する。例えば、車両に搭載される情報処理装置２１０のコア１２Ｌ，１２Ｒは、車両が走行する道路領域において検出された物体とは異なる物体（例えば、歩道上に存在している物体）からは特徴点を抽出しないようにする。図１０に、例えば、歩道上に存在している物体からは特徴点を抽出しない場合の処理を説明するための図を示す。

図１０（Ａ）では、物体Ｂ１～Ｂ４が抽出されている。本来であれば、物体Ｂ１～Ｂ４の各々について特徴点を表す座標が抽出される。

この場合、例えば、図１０（Ｂ）に示されているように、車両に搭載される情報処理装置２１０が備えるコア１２Ｌ，１２Ｒは、既知の技術を用いて、車両前方の画像から道路境界Ｌを逐次検出する。そして、情報処理装置２１０が備えるコア１２Ｌ，１２Ｒは、道路境界Ｌによって特定される道路上に位置する物体Ｂ１～Ｂ３からのみ特徴点を表す座標を抽出する。

また、例えば、情報処理装置２１０が備えるコア１２Ｌ，１２Ｒは、道路上に位置する物体Ｂ１～Ｂ３とは異なる物体Ｂ４についてはその物体領域自体を抽出せずに、物体Ｂ１～Ｂ３からのみ特徴点を表す座標を抽出するようにしてもよい。

（物体の動きに応じた特徴点の出力）
情報処理装置２１０，３１０は、画像に写る物体毎にスコアを計算し、スコアが所定閾値以上の物体の存在位置を示す点を抽出するようにしてもよい。この場合、例えば、情報処理装置２１０，３１０は、物体の動きに応じてその物体の特徴点を出力するか否かを判定するようにしてもよい。例えば、情報処理装置２１０のコア１２Ｌ，１２Ｒは、車両の走行に影響の無い物体からは特徴点を抽出しないようにしてもよい。具体的には、情報処理装置２１０のコア１２Ｌ，１２Ｒは、ＡＩを利用することなどにより、画像に写る物体の移動方向又は速さ等を計算する。そして、例えば、情報処理装置２１０のコア１２Ｌ，１２Ｒは、道路から遠ざかっていく歩行者等からは特徴点を抽出しない。一方、情報処理装置２１０のコア１２Ｌ，１２Ｒは、道路に近づく物体（例えば、道路に飛び出しそうな子供）からは特徴点を抽出する。

また、情報処理装置２１０が備える１つ以上のプロセッサは、例えば、イベントカメラ（https://dendenblog.xyz/event-based-camera/）によって撮像された画像からも特徴点を抽出することが可能である。図１１に、イベントカメラによって撮像された画像を説明するための図を示す。

図１１に示されているように、イベントカメラによって撮像された画像は、現時刻に撮像された画像と前時刻に撮像された画像との差異部分が点として抽出される。このため、イベントカメラを利用した場合には、例えば、図１１（Ｂ）に示されるように、図１１（Ａ）に示される人物領域のうちの移動している各箇所の点が抽出されてしまう。

これに対し、情報処理装置２１０が備える１つ以上のプロセッサは、図１１（Ｃ）に示されるように、物体である人物を抽出した後に、人物領域を表す特徴点の座標（例えば、１点のみ）を抽出する。これにより、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５及びメモリ１６に転送される情報量を抑制させることできる。

以上説明したように、第２実施形態の情報処理装置２１０，３１０は、物体が写る画像から物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、コア１２Ｘ、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５、及びメモリ１６に転送される情報量を抑制させることできる。また、物体の存在位置を示す点とＩＰＵ１１から出力されたラベル情報とを対応付けることにより、どのような物体がどのような動きをしているのかに関する情報が把握される。特に、ＭｏＰＵ１２Ｌ，１２Ｒに搭載されるカメラ３０Ｌ，３０Ｒは、最大１９２０フレーム／秒のフレームレートで画像を撮像することが可能であるため、物体の動き情報を精度良く捉えることができる。

また、情報処理装置２１０，３１０は、フレームレートを変更することが可能なカメラ３０Ｌ，３０Ｒを備え、外部環境に関するスコアを計算し、当該スコアに応じてカメラのフレームレートを決定する。そして、情報処理装置２１０，３１０は、決定したフレームレートにより画像の撮像を指示する制御信号をカメラ３０Ｌ，３０Ｒに対して出力し、カメラ３０Ｌ，３０Ｒによって撮像された画像から物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、外部環境に適したフレームレートで画像を撮像することができる。

また、情報処理装置２１０は、外部環境に関するスコアとして、車両の走行に関する危険度を計算し、危険度に応じて、カメラ３０Ｌ，３０Ｒのフレームレートを決定し、決定したフレームレートにより画像の撮像を指示する制御信号をカメラ３０Ｌ，３０Ｒ対して出力し、カメラ３０Ｌ，３０Ｒによって撮像された画像から物体の存在位置を示す点を抽出する。これにより、車両の走行に関する危険度に応じてフレームレートを変更することができる。

また、情報処理装置２１０，３１０は、画像から物体を抽出し、物体の存在位置が所定領域である場合に、物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、情報処理装置２１０，３１０のコア１２Ｌ，１２Ｒは、制御処理にとって重要度が低い領域の点を取得せずに済む。

また、情報処理装置２１０，３１０は、画像から物体を抽出し、物体毎にスコアを計算し、スコアが所定閾値以上の物体の存在位置を示す点を抽出し、物体の存在位置を示す点を出力する。これにより、情報処理装置２１０，３１０のコア１２Ｌ，１２Ｒは、制御処理にとって重要度が低い物体の点を取得せずに済む。

＜第３実施形態＞
次に、第３実施形態について説明する。第３実施形態は、ＩＰＵ１１が外部カメラにより取得された画像から抽出した物体の種別を示す種別情報を、当該外部カメラの位置情報と関連付けて出力する点等が第１実施形態と異なる。

（車両に搭載される情報処理装置：Ｓｍａｒｔ Ｃａｒ）
図１２は、車両５０（図１３参照）に搭載される、第３実施形態に係る情報処理装置４１０のブロック図である。

図１２に示されているように、車両５０（図１３参照）に搭載される情報処理装置４１０は、ＩＰＵ１１と、ＭｏＰＵ１２と、Ｃｅｎｔｒａｌ Ｂｒａｉｎ１５と、ナビゲーションシステム４５とを備えている。

ＩＰＵ１１は、カメラ３０Ａと、コア１１Ａ（例えば、１つ以上のＣＰＵにより構成される）と、取得部４０とを備えており、カメラ３０Ａによって撮像された画像、及び、車両５０の外部に設置された外部カメラ６０によって撮像された画像から物体（以下、「オブジェクト」と称する。）を検知し、オブジェクトの種別を表す情報を出力する。

取得部４０は、車両５０の外部に設置された外部カメラ６０により取得された画像及び当該外部カメラ６０の位置情報を取得するものであり、例えば、１つ以上のＣＰＵと、外部の装置に無線で接続するための無線通信部とにより構成される。

なお、車両５０の外部には複数台の外部カメラ６０Ａ、６０Ｂ、６０Ｃ…が設置されている。これらの外部カメラ６０Ａ、６０Ｂ、６０Ｃは、ネットワークを介して管理サーバ７０に接続されている。ここで、ネットワークは、例えば、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等、どのようなネットワークでもよい。

ＭｏＰＵ１２は、カメラ３０Ｂと、コア１２Ａ（例えば、１つ以上のＣＰＵにより構成される）とを備えており、カメラ３０Ｂによって撮像された画像からオブジェクトを検知し、オブジェクトの動きを示す動き情報を出力する。

ナビゲーションシステム４５は、車両５０の移動案内をおこなうためのシステムであり、例えば、公知のカーナビゲーションシステムと同等のシステムを用いることができる。

（ＩＰＵ１１の処理の詳細説明）
次に、本実施形態におけるＩＰＵ１１の処理について詳細に説明する。

最初に、車両５０の外部に設置されている複数台の外部カメラ６０Ａ、６０Ｂ、６０Ｃを管理する管理サーバ７０について説明する。管理サーバ７０は、カメラ管理データベースを備えている。

図１３は、管理サーバ７０において管理されるカメラ管理データベースの一例を示す図である。図１３に示すように、カメラ管理データベースは、カメラＩＤと、アドレスと、設置位置とを関連付けて記憶している。カメラＩＤは、外部カメラ６０の各々に対して付与される固有のＩＤである。アドレスは、外部カメラ６０の各々に対してネットワークを介して接続する際のアドレスを示す情報であり、例えば、ＩＰ（Internet Protocol）アドレス等の情報である。なお、ＩＰアドレスのバージョンに制限はなく、例えば、ＩＰｖ４（Internet Protocol version 4）又はＩＰｖ６（Internet Protocol version 6）等、種々のバージョンとすることができる。設置位置は、外部カメラ６０の各々が設置されている位置を示す情報であり、例えば、ＧＰＳ（Global Positioning System）座標（例えば、緯度、経度等）等の情報である。

外部カメラ６０は、例えば、道路沿いのビル、信号機、又は、中央分離帯等に設置されたカメラである。

管理サーバ７０は、カメラ管理データベースを参照することにより、任意の外部カメラ６０に接続することができる。また、カメラ管理データベースは、管理サーバ７０に接続された外部の装置からも参照することができる。ＩＰＵ１１の取得部４０は、無線を介して管理サーバ７０と接続可能に構成されている。

車両５０の移動時において、取得部４０は、管理サーバ７０に接続し、管理サーバ７０に記憶されているカメラ管理データベースと、ナビゲーションシステム４５から取得した車両５０の位置情報及び進行方向の情報とに基づいて、車両５０の進行ルートの前方に位置する外部カメラ６０の中で、最も車両５０に近い外部カメラ６０を特定する。

本実施形態では、車両５０の進行ルートの前方に位置する外部カメラ６０は、一例として、車両５０の車体の前方において車体の前後方向の中心軸を基準として所定の幅の範囲に位置する外部カメラ６０とする。

なお、車両５０の進行ルートの前方に位置する外部カメラ６０は、上記の態様に限らず、車両５０の進行ルートの前方に位置していればどのような外部カメラ６０でもよい。例えば、車両５０がナビゲーションシステム４５によりルート案内されている状況下では、ナビゲーションシステム４５により設定されたルートから所定の範囲に位置する外部カメラ６０としてもよい。

そして、取得部４０は、特定した外部カメラ６０において取得された現在の画像及び当該外部カメラ６０の位置情報を取得する。

本実施形態では、取得部４０は、特定した外部カメラ６０から、車両５０が特定した外部カメラ６０の付近を通過するまでの間、１秒毎に画像を取得する。ここで、画像を取得する時間の間隔は、１秒毎に限らず、例えば、１０秒毎、５秒毎、又は、０．１秒毎等、どのような態様としてもよい。

なお、取得部４０における画像の取得は、上記の態様に限らず、車両５０が特定した外部カメラ６０の付近を通過するまでの間、車両５０の走行距離が一定距離毎に画像を取得するようにしてもよいし、特定した外部カメラ６０から１回のみ画像を取得する等、どのような態様としてもよい。

例えば、図１４に示すように、車両５０の周囲に複数の外部カメラ６０Ａ～６０Ｎが存在する場合、取得部４０は、車両５０の進行ルートの前方に位置する外部カメラ６０の中で、最も車両５０に近い外部カメラ６０Ｇを特定し、特定した外部カメラ６０Ｇにおいて取得された現在の画像及び当該外部カメラ６０Ｇの位置情報を取得する。

なお、特定した外部カメラ６０Ｇにおいて取得された現在の画像の取得については、管理サーバ７０を介して取得してもよいし、直接外部カメラ６０Ｇに接続して取得してもよい。

ＩＰＵ１１のコア１１Ａは、外部カメラ６０により取得された画像から抽出したオブジェクトの種別を示す種別情報を、当該外部カメラ６０の位置情報と関連付けて出力する。

図１４に示す例では、取得部４０は、外部カメラ６０Ｇから画像を取得している。図１５は、外部カメラ６０Ｇから取得した画像の一例を示す図である。図１５に示すように、外部カメラ６０Ｇから取得した画像ＧＥｘ中には、２台の車と人が写っている。

ＩＰＵ１１のコア１１Ａは、画像ＧＥｘ中から、２台の車と人をオブジェクトＢ１～Ｂ３として抽出する。次に、コア１１Ａは、オブジェクトＢ１～Ｂ３の各々について、オブジェクトの種別を判別する。そして、コア１１Ａは、オブジェクトＢ１～Ｂ３の各々について、オブジェクトの種別を示す種別情報を、外部カメラ６０Ｇの位置情報と関連付けて出力し、オブジェクト管理データベースＤＢに登録する。オブジェクト管理データベースＤＢは、例えば、メモリ１６（図２参照）に記憶されている。

このとき、コア１１Ａは、抽出したオブジェクトが、車両５０の進行に影響を及ぼす可能性があるオブジェクトである場合に、進行に影響を及ぼす可能性があるオブジェクトであることを示す識別情報（以下、「要注意フラグ」と称する。）を付して、当該オブジェクトの種別情報を出力する。

なお、車両５０の進行に影響を及ぼす可能性があるオブジェクトは、例えば、人又は動物等が挙げられる。本実施形態では、一例として、コア１１Ａは、抽出したオブジェクトが、人又は動物である場合に、要注意フラグを付して、当該オブジェクトの種別情報を出力する。

図１６は、情報処理装置４１０において管理されるオブジェクト管理データベースＤＢの一例を示す図である。図１６に示すように、オブジェクト管理データベースＤＢは、オブジェクトＩＤと、登録日時と、オブジェクト位置と、オブジェクト種別と、要注意フラグの有無とを関連付けて記憶している。

オブジェクトＩＤは、コア１１Ａにより検出されたオブジェクトの各々に対して付与される固有のＩＤである。登録日時は、当該オブジェクトをオブジェクト管理データベースＤＢに登録した際の日時の情報である。オブジェクト位置は、当該オブジェクトを撮影した外部カメラ６０の位置を示す情報であり、取得部４０により取得された外部カメラ６０の位置情報である。オブジェクト種別は、当該オブジェクトの種別を示す情報であり、例えば、人、動物、車、バイク、自転車、信号等の情報である。要注意フラグの有無は、当該オブジェクトに対して上記の要注意フラグが付与されているか否かを示す情報である。

上記第１実施形態で説明したように、Ｃｅｔｒａｌ Ｂｒａｉｎ１５は、ＩＰＵ１１が備えるカメラ３０Ａにより取得された画像に基づきＩＰＵ１１から出力された画像及び識別情報と、ＭｏＰＵ１２が備えるカメラ３０Ｂにより取得された画像に基づきＭｏＰＵ１２から出力された動き情報に基づいて、車両５０の運転制御を実行する。

それに加えて、本実施形態のＣｅｔｒａｌ Ｂｒａｉｎ１５は、オブジェクト管理データベースＤＢを参照して、車両５０の前方に位置し、車両５０の進行に影響を及ぼす可能性があるオブジェクトを事前に把握することができる。そのため、車両５０の運転制御をより適切に行うことができる。

例えば、図１４に示すように、車両５０が外部カメラ６０Ｇの手前に位置する段階で、外部カメラ６０Ｇの周辺に位置し、車両５０の進行に影響を及ぼす可能性があるオブジェクトを事前に把握することができる。本例では、図１５に示すように、外部カメラ６０Ｇの周辺に人（図中、オブジェクトＢ３）が存在することが把握できる。

これにより、Ｃｅｔｒａｌ Ｂｒａｉｎ１５は、外部カメラ６０Ｇの周辺において人が飛び出してくる可能性を考慮して、例えば、車両５０が外部カメラ６０Ｇの周辺に到達する前に減速したり、人が飛び出してきた場合に即座にブレーキを掛けることができるように準備したりする等の事前制御を行うことができる。

その結果、図１７に示すように、車両５０が外部カメラ６０Ｇの周辺に到達した際に、人が飛び出してきたとしても、事前制御を行っているため、余裕を持って対処することができる。

以上説明したように、第３実施形態の情報処理装置４１０において、ＩＰＵ１１は、外部カメラ６０により取得された画像から抽出した物体の種別を示す種別情報を、当該外部カメラ６０の位置情報と関連付けて出力するようにしている。これにより、Ｃｅｔｒａｌ Ｂｒａｉｎ１５は、情報処理装置４１０が搭載された車両５０の外部に設置された外部カメラ６０により取得された画像まで考慮して、車両５０の運転制御を実行することができる。

また、ＩＰＵ１１は、外部カメラ６０により取得された画像から抽出した物体が、人又は動物等の、車両５０の進行に影響を及ぼす可能性がある物体である場合に、進行に影響を及ぼす可能性がある物体であることを示す識別情報を付して、当該物体の種別情報を出力するようにしている。これにより、Ｃｅｔｒａｌ Ｂｒａｉｎ１５は、進行に影響を及ぼす可能性がある物体を考慮して、車両５０の運転制御を実行することができる。

また、取得部４０は、車両５０の進行ルートの前方に位置する外部カメラ６０から画像及び位置情報を取得するようにしている。これにより、Ｃｅｔｒａｌ Ｂｒａｉｎ１５は、外部カメラ６０の設置位置に到達する前に、進行に影響を及ぼす可能性がある物体に対する事前制御を行うことができる。

また、取得部４０は、車両５０の進行ルートの前方において、自装置から最も近い外部カメラのみから画像及び位置情報を取得するようにしている。これにより、取得部４０にける通信データ量を抑えることができる。

なお、取得部４０が画像及び位置情報を取得する外部カメラ６０の特定方法については、上記の態様に限らず、どのような態様としてもよい。例えば、取得部４０は、車両５０の進行ルートを案内するナビゲーションシステム４５のルート情報に基づいて、車両５０の進行ルートの前方に位置する外部カメラ６０を特定し、特定した外部カメラ６０から画像及び位置情報を取得するようにしてもよい。

例えば、図１８に示すように、ナビゲーションシステム４５により、車両５０の進行ルートＲが設定されていたとする。この場合、取得部４０は、進行ルートＲ沿いに設置されている外部カメラ６０Ａ、６０Ｂ、６０Ｃ、６０Ｅ、６０Ｆ、６０Ｇを、車両５０の進行ルートの前方に位置する外部カメラ６０として特定し、特定した外部カメラ６０から画像及び位置情報を取得するようにしてもよい。

この場合、画像及び位置情報の取得について、取得部４０は、必ずしも、進行ルートＲ沿いに設置されている全ての外部カメラ６０から画像及び位置情報を取得する必要はなく、例えば、車両５０から所定の距離範囲内に位置する外部カメラ６０のみから画像及び位置情報を取得してもよい。

また、カメラ管理データベースが、カメラＩＤ、アドレス、及び、設置位置に加えて、カメラの撮像方向及び／又は撮像範囲の情報を管理している場合、取得部４０は、進行ルートＲ沿いに設置されている外部カメラ６０の中で、車両５０が進行ルートＲを走行中に車両５０を撮影可能な外部カメラ６０を特定し、特定した外部カメラ６０から画像及び位置情報を取得するようにしてもよい。このような態様とすることにより、進行ルートＲ沿いに設置されている外部カメラ６０であっても、車両５０の撮像ができない外部カメラ６０からの画像及び位置情報の取得は行われなくなり、走行制御に用いることができないデータの取得が行われなくなるため、通信データ量の低減及び取得部４０における処理量の低減に寄与する。

本実施の形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。

コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

（付記１）
第１のプロセッサを備えた情報処理装置であって、
前記第１のプロセッサは、物体の画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点の、所定の座標軸に沿った動きを示す動き情報を１０００フレーム／秒以上のフレームレートで出力する
情報処理装置。

（付記２）
前記第１のプロセッサは、前記物体の中心点又は重心点の所定の座標軸に沿った動きのベクトル情報を前記動き情報として出力する
付記１に記載の情報処理装置。

（付記３）
前記第１のプロセッサは、前記物体の輪郭を囲む四角形の頂点の少なくとも対角となる２つ点について所定の座標軸に沿った動きのベクトル情報を前記動き情報として出力する
付記１に記載の情報処理装置。

（付記４）
前記画像は、赤外線画像を含む
付記１に記載の情報処理装置。

（付記５）
前記画像は、互いに同期した可視光画像及び赤外線画像を含む
付記１に記載の情報処理装置。

（付記６）
２つの前記第１のプロセッサを用いて、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力する
付記１に記載の情報処理装置。

（付記７）
前記第１のプロセッサは、前記物体に照射された電磁波の前記物体からの反射波に基づいて、前記物体までの距離を導出し、前記物体の存在位置を示す点の、三次元直交座標系における３つの座標軸の各々に沿った動きのベクトル情報を前記動き情報として出力する
付記７に記載の情報処理装置。

（付記８）
前記物体の画像を１０００フレーム／秒未満のフレームレートで出力する第２のプロセッサと、
前記動き情報と、前記第２のプロセッサから出力された画像とに基づいて、前記物体に対する応答制御を行う第３のプロセッサと、
を更に含む付記１に記載の情報処理装置。

（付記９）
第１のプロセッサを備えた情報処理装置であって、
前記第１のプロセッサは、物体が写る画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する、
情報処理装置。

（付記１０）
前記情報処理装置は、フレームレートを変更することが可能なカメラを備え、
前記第１のプロセッサは、
外部環境に関するスコアを計算し、
前記スコアに応じて、前記カメラのフレームレートを決定し、
決定した前記フレームレートにより画像の撮像を指示する制御信号を前記カメラに対して出力し、
前記カメラによって撮像された画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する、
付記９に記載の情報処理装置。

（付記１１）
前記情報処理装置は車両に搭載され、
前記第１のプロセッサは、
前記外部環境に関するスコアとして、前記車両の走行に関する危険度を計算し、
前記危険度に応じて、前記カメラのフレームレートを決定し、
決定した前記フレームレートにより画像の撮像を指示する制御信号を前記カメラに対して出力し、
前記カメラによって撮像された画像から前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する、
付記１０に記載の情報処理装置。

（付記１２）
前記第１のプロセッサは、
前記画像から物体を抽出し、
前記物体の存在位置が所定領域である場合に、前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する、
付記９に記載の情報処理装置。

（付記１３）
前記第１のプロセッサは、
前記画像から物体を抽出し、
前記物体毎にスコアを計算し、
前記スコアが所定閾値以上の前記物体の存在位置を示す点を抽出し、前記物体の存在位置を示す点を出力する、
付記９に記載の情報処理装置。

１０ 情報処理装置
１１ ＩＰＵ
１２ ＭｏＰＵ
１３ ＧＮＰＵ
１４ ＣＰＵ
１５ Ｃｅｎｔｒａｌ Ｂｒｅｉｎ
４０ 取得部
４５ ナビゲーションシステム
６０ 外部カメラ

Claims (6)

1. 画像から抽出した物体の動きを示す動き情報を出力する第１のプロセッサと、
   画像から抽出した物体の種別を示す種別情報を出力する第２のプロセッサと、
   前記動き情報及び前記種別情報に基づいて、物体に対する応答制御を行う第３のプロセッサと、
   自装置が搭載された移動体の外部に設置された外部カメラにより取得された画像及び当該外部カメラの位置情報を取得する取得部と、を備え、
   前記第２のプロセッサは、外部カメラにより取得された画像から抽出した物体の種別を示す種別情報を、当該外部カメラの位置情報と関連付けて出力する
   情報処理装置。
2. 前記第２のプロセッサは、外部カメラにより取得された画像から抽出した物体が、前記移動体の進行に影響を及ぼす可能性がある物体である場合に、進行に影響を及ぼす可能性がある物体であることを示す識別情報を付して、当該物体の種別情報を出力する
   請求項１に記載の情報処理装置。
3. 前記移動体の進行に影響を及ぼす可能性がある物体は、人又は動物である
   請求項２に記載の情報処理装置。
4. 前記取得部は、前記移動体の進行ルートの前方に位置する外部カメラから画像及び位置情報を取得する
   請求項１に記載の情報処理装置。
5. 前記取得部は、前記移動体の進行ルートの前方において、自装置から最も近い外部カメラのみから画像及び位置情報を取得する
   請求項４に記載の情報処理装置。
6. 前記取得部は、前記移動体の進行ルートを案内するナビゲーションシステムのルート情報に基づいて、前記移動体の進行ルートの前方に位置する外部カメラを特定する
   請求項４に記載の情報処理装置。

Images