JP6959024B2 - 情報処理装置 - Google Patents

Description

本発明は、画像に関する情報処理を行う情報処理装置に関する。

近年のデジタル撮像技術の普及に伴って、撮像装置は、種々の装置と連携して撮像動作を行うことが可能となっている。例えば、撮像装置は、測位装置と連携することで、画像に撮像地点や撮像方向などの画像情報を付与することができる。これによって、当該撮像装置は、例えば、特定の場所の画像を時系列に沿って表示するスライドショー画像を生成することができる。例えば、特許文献１には、多数蓄積され撮影方向の情報が記録されている不特定多数の画像から同一方向の撮影画像を抽出してスライドショー化する画像表示装置が開示されている。

特開2012-159895号公報

例えば、自動車や自転車などの移動体は、撮像装置が搭載されることで、道路上の状況を撮像し、その状況情報を記録する情報媒体として機能することができる。また、例えば、自動車は、その移動体としての特性上、走行可能なあらゆる地点で撮像を行うことができる。

一方、特許文献１のように画像を撮像位置または撮像方向に基づいて抽出してスライドショー化する場合、スライドショー画像内には、撮像装置の近傍に存在していた障害物が映り込むなど、不要な情報が多量に入り混んだ画像が混入してしまうという問題が発生し得る。このため、所定用途に対して不要な情報を含んだスライドショー画像が生成される場合があった。

本発明は上記した点に鑑みてなされたものであり、移動体が撮像した複数の画像を種々の用途に用いることが可能なように処理を行う情報処理装置を提供することを課題の１つとしている。

請求項１に記載の発明は、移動体が有する撮像装置によって撮像された複数の画像及び複数の画像の各々の撮像時における移動体の移動状態を示す移動状態情報を含む画像データを取得する画像取得部と、複数の画像の各々における移動状態情報に基づいて複数の画像の各々の有用度を評価する画像評価部と、画像評価部による複数の画像の各々の有用度の評価に基づいて、複数の画像の中から少なくとも１つの画像を抽出する画像抽出部と、を有することを特徴としている。

（ａ）は実施例１に係る情報処理装置のブロック図であり、（ｂ）は情報処理装置が移動体から取得する画像データの構成例を模式的に示す図である。 実施例１に係る情報処理装置における画像評価部のブロック図である。 （ａ）は、実施例１に係る情報処理装置における画像評価部の評価基準例を示す図であり、（ｂ）は、画像評価部による画像の評価例を示す図である。 （ａ）は、実施例１に係る情報処理装置における画像抽出部のブロック図であり、（ｂ）は、画像抽出部による画像の抽出例を示す図である。 実施例１に係る情報処理装置による動作フローを示す図である。 実施例２に係る情報処理装置のブロック図である。

以下に本発明の実施例について詳細に説明する。

図１（ａ）は、実施例１に係る情報処理装置１０並びに移動体２０及び３０の構成を示すブロック図である。本実施例においては、情報処理装置１０は、移動体２０及び３０との間で通信を行い、移動体２０及び３０から複数の画像を取得する。また、本実施例においては、情報処理装置１０は、移動体２０及び３０から取得した複数の画像の各々に対して情報処理を行う。本実施例においては、情報処理装置１０は、サーバである。

移動体２０及び３０の各々は、例えば、撮像装置が搭載された自動車、オートバイ、自転車、電車及び船舶などである。なお、移動体２０又は３０は、撮像機能を有するスマートフォン又は通信機能付きのデジタルカメラを携帯する歩行者であってもよい。

また、情報処理装置１０は、移動体２０及び３０以外の他の移動体に接続され、当該他の移動体から画像を取得してもよい。以下においては、移動体２０及び３０の各々が自動車などの車両である場合について説明する。

まず、移動体２０及び３０としての車両２０及び３０について説明する。本実施例においては、車両２０及び３０には、それぞれ、車両２０及び３０の周辺を撮像する撮像装置（図示せず）が搭載されている。例えば、当該撮像装置は、車両２０及び３０の各々に搭載されたドライブレコーダである。撮像装置としてのドライブレコーダは、例えば、車両２０又は３０の前方の状況を常時撮像する。また、撮像装置に接続された記録媒体には、多数の画像が映像として記録される。

また、車両２０及び３０には、それぞれ、車両２０及び３０の測位を行う測位装置（図示せず）が搭載されている。例えば、当該測位装置は、ＧＰＳ（Global Positioning System）受信機を有し、車両２０及び３０の位置を示す緯度及び経度を算出する。また、当該測位装置は、例えば、車両２０及び３０の位置変化に基づいて、車両２０及び３０の移動方向を算出（推定）する。

また、車両２０及び３０には、それぞれ、車両２０及び３０の走行状態（移動状態）を検出する検出装置（図示せず）が搭載されている。例えば、当該検出装置は、車両２０又は３０の速度及び加速度を検出する速度センサ及び加速度センサを含む。また、当該検出装置は、車両２０又は３０の前方に他の車両（移動体）が存在している場合に当該他の車両との車間距離（移動体間距離）を検出する距離センサを含む。例えば、当該検出装置は、ミリ波レーダを有する。

次に、情報処理装置１０について説明する。情報処理装置１０は、車両２０及び３０から、車両２０及び３０によって撮像された複数の画像を画像データＤＴとして取得する画像取得部１１を有する。画像データＤＴは、例えば、各々が１つの画像を含む複数の画像データの集合であってもよいし、複数の画像を含む１つの画像データであってもよい。

ここで、図１（ｂ）を用いて、画像取得部１１が取得する画像データＤＴの構成について説明する。本実施例においては、画像データＤＴは、各々が１つの画像ＩＭ、ＩＭ２、・・・を含む複数の画像データＤＴ１、ＤＴ２、・・・からなるデータセットである。画像取得部１１は、画像データＤＴ１、ＤＴ２、・・・の各々を取得し、複数の画像ＩＭ１、ＩＭ２、・・・を含む画像群ＩＭを取得する。

図１（ｂ）に示すように、画像データＤＴには、画像ＩＭ１、ＩＭ２、・・・の各々が撮像された地点、方向（方角）、高さ及び日時が、それぞれ撮像地点Ｐ、撮像方向Ｄ、撮像高さＨ及び撮像日時Ｔとして記録されている。また、画像データＤＴには、画像ＩＭ１、ＩＭ２、・・・の各々の撮像時における車両２０又は３０の速度が車両速度（移動速度）Ｖとして、前走車との距離が車間距離（移動体間距離）Ｓとして記録されている。

本実施例においては、車両２０及び３０に搭載された撮像装置は、例えば、撮像地点Ｐ、撮像方向Ｄ、撮像高さＨ及び撮像日時Ｔを、画像ＩＭ１、ＩＭ２、・・・の各々の画像情報として画像ＩＭ１、ＩＭ２、・・・に付与した画像データＤＴを生成する。例えば、撮像地点Ｐ及び撮像方向Ｄに関する情報は、車両２０及び３０の測位装置から取得することができる。撮像高さＨは、撮像装置の設置時の初期設定（設置位置設定）に基づいて取得することができる。また、撮像日時Ｔは、例えば、撮像装置の内蔵時計に基づいて、インターネット時刻を受信することで、又は受信された標準電波やＧＰＳ信号によって取得又は補正することができる。

また、車両２０及び３０に搭載された撮像装置は、例えば、車両速度Ｖ及び車間距離Ｓを、画像ＩＭ１、ＩＭ２、・・・の各々の撮像時における車両２０及び３０の走行状態情報（移動状態情報）として画像ＩＭ１、ＩＭ２、・・・に付与した画像データＤＴを生成する。例えば、車両速度Ｖ及び車間距離Ｓは、車両２０及び３０の検出装置から取得することができる。

車両２０及び３０の撮像装置は、上記した画像情報及び走行状態情報が付与された画像データＤＴを生成し、情報処理装置１０に送信する。画像取得部１１は、この画像データＤＴを車両２０及び３０から受信することで、画像ＩＭ１、ＩＭ２、・・・の各々及びこれらに関する種々の情報を取得する。

例えば、図１（ｂ）に示すように、画像取得部１１は、画像ＩＭ１は、日時Ｔ１に、地点Ｐ１で、方向Ｄ１の方向（方角）の状況を撮像した画像であること、及び撮像装置の地面からの高さが高さＨ１であることを認識することができる。また、画像取得部１１は、画像ＩＭ１が撮像された際に車両（例えば車両２０）が速度Ｖ１で走行していたこと、及び前走車が距離Ｓ１だけ離れた位置に存在していたことを認識することができる。

情報処理装置１０は、画像ＩＭ１、ＩＭ２、・・・の各々の撮像時における車両２０又は３０の走行状態情報（移動状態情報）に基づいて、画像ＩＭ１、ＩＭ２、・・・の各々の有用度を評価する画像評価部（以下、単に評価部と称する）１２を有する。

本実施例においては、評価部１２は、画像ＩＭ１、ＩＭ２、・・・の各々に含まれる撮像障害物（以下、単に障害物と称する）を検出する。本実施例においては、評価部１２は、画像内における障害物の占有率の算出を行う。また、本実施例においては、評価部１２は、当該検出された障害物に基づいて画像ＩＭ１、ＩＭ２、・・・の各々の有用度を評価する。

情報処理装置１０は、評価部１２による画像ＩＭ１、ＩＭ２、・・・の各々の有用度の評価に基づいて、画像ＩＭ１、ＩＭ２、・・・の各々の中から、少なくとも１つの画像を抽出する画像抽出部（以下、単に抽出部と称する）１３を有する。抽出部１３は、例えば、画像ＩＭ１、ＩＭ２、・・・の各々のうち、所定の有用度以上の画像を選択する。

情報処理装置１０は、抽出部１３によって抽出された画像を時系列に沿って並べ替えたアルバムを作成するアルバム作成部１４を有する。例えば、アルバム作成部１４は、抽出部１３によって抽出された少なくとも１つの画像の中から、同一の撮像地点Ｐ及び撮像方向Ｄの画像を時系列に沿って並べ替える。そして、アルバム作成部１４は、並べ替えた画像を含むアルバム用の画像データを生成する。

また、情報処理装置１０は、画像取得部１１、評価部１２、抽出部１３及びアルバム作成部１４の処理情報及び処理結果を記憶する記憶部１５を有する。また、情報処理装置１０は、画像取得部１１、評価部１２、抽出部１３、アルバム作成部１４及び記憶部１５の処理動作を制御する処理制御部１６を有する。

図２は、評価部１２の詳細構成を示すブロック図である。本実施例においては、評価部１２は、画像ＩＭ１、ＩＭ２、・・・の各々に含まれる障害物に関する情報を取得する障害物情報取得部１２Ａを有する。障害物情報取得部１２Ａは、例えば、撮像対象となる被写体（例えば建物や敷地）の撮像を妨げる障害物における種々の方向から見た際の形状などに関する情報を取得する。例えば、障害物は、車両や歩行者など、道路上の他の移動体であり、障害物情報取得部１２Ａは、障害物情報として、これらの形状を示す情報を取得する。

なお、画像の用途によっては、車両が被写体となる場合があってもよい。例えば渋滞や交通量の調査などに画像ＩＭ１、ＩＭ２、・・・を用いる場合、車両及び車両数は調査対象物であり、被写体である。この場合は、障害物から車両が除かれてもよい。

評価部１２は、障害物情報取得部１２Ａによって取得された障害物情報に基づいて画像ＩＭ１、ＩＭ２、・・・の各々を解析する画像解析部（以下、単に解析部と称する）１２Ｂを有する。

本実施例においては、解析部１２Ｂは、画像ＩＭ１、ＩＭ２、・・・の各々内に含まれる障害物及びその領域を検出する障害物検出部（以下、検出部と称する）１２Ｂ１を有する。また、解析部１２Ｂは、画像ＩＭ１、ＩＭ２、・・・の各々において、検出部１２Ｂ１によって検出された障害物が占める割合である障害物占有率を算出する占有率算出部（以下、単に算出部と称する）１２Ｂ２を有する。

評価部１２は、地図情報を取得する地図情報取得部１２Ｃを有する。評価部１２は、例えば、地図情報を参照し、撮像地点Ｐ毎に撮像された画像に含まれ得る建物や道路、風景などを推測する。また、評価部１２は、地図情報に基づいて、撮像地点Ｐ毎の道路の法定速度などの道路情報を認識する。

また、評価部１２は、解析部１２Ｂの解析結果に基づいて画像ＩＭ１、ＩＭ２、・・・の各々の有用度を判定する有用度判定部１２Ｄを有する。本実施例においては、有用度判定部１２Ｄは、解析部１２Ｂの算出部１２Ｂ２によって算出された画像ＩＭ１、ＩＭ２、・・・の各々内の障害物の占有率に基づいて、画像ＩＭ１、ＩＭ２、・・・の各々の有用度を判定する。

また、評価部１２の有用度判定部１２Ｄは、画像ＩＭ１、ＩＭ２、・・・の各々における車両２０又は３０の走行状態情報（移動状態情報）に基づいて、画像ＩＭ１、ＩＭ２、・・・の各々の有用度を判定する。具体的には、本実施例においては、有用度判定部１２Ｄは、解析部１２Ｂの解析結果（例えば占有率）と、撮像時に車両２０又は３０の速度及び車間距離などに基づいて、画像ＩＭ１、ＩＭ２、・・・の各々の有用度を判定する。

図３（ａ）は、評価部１２による有用度の評価基準例を示す図である。具体的には、図３（ａ）は、評価部１２の有用度判定部１２Ｄによる有用度の判定基準例を示す図である。図３（ａ）に示すように、例えば、有用度判定部１２Ｄは、解析部１２Ｂによって障害物が検出されなかった場合、最も高い有用度ＳＣである有用度Ａの画像であると判定する。

また、本実施例においては、有用度判定部１２Ｄは、解析部１２Ｂの検出部１２Ｂ１によって障害物が検出され、かつ算出部１２Ｂ２によって当該障害物の占有率が所定率以下（例えば５％以下）であると算出された場合、有用度Ｂの画像であると判定する。例えば、障害物が検出された場合でもその占有率が５％以下であれば全体として有用度ＳＣは高い場合が多いからである。

また、有用度判定部１２Ｄは、撮像時の車両速度Ｖが所定速度以下（例えば１０ｋｍ／ｈ以下）であった場合、有用度Ｂの画像であると判定する。例えば車両速度Ｖが１０ｋｍ／ｈ以下の時に撮像された画像は、画像品質が高い場合が多く、比較的有用度ＳＣが高い場合が多いからである。

また、有用度判定部１２Ｄは、撮像時の車両速度Ｖが法定速度の範囲内であった場合、有用度Ｂの画像であると判定する。例えば、車両２０又は３０が法定速度付近の速度で走行している場合、車間距離が十分に確保されている場合が多く、障害物が大きく映り込むことが少ない場合が多い。従って、法定速度で走行中の車両２０又は３０によって撮像された画像は、比較的有用度ＳＣが高い場合が多いからである。

また、有用度判定部１２Ｄは、障害物の占有率が６〜５０％の場合は有用度Ｃの画像であり、障害物の占有率が５１％以上の場合は最も低い有用度ＳＣである有用度Ｄの画像であると判定する。例えば、障害物の占有率が５０％以下であった場合、用途によって有用であるものの比較的有用度ＳＣが低い場合が多いからである。また、障害物の占有率が５１％を超えると、その画像は有用ではない場合が多いからである。

また、図３（ａ）に示すように、有用度判定部１２Ｄは、撮像時の前走車との車間距離Ｓが所定距離以下（例えば５ｍ以下）の場合、有用度Ｄの画像であると判定する。これは、車間距離Ｓが短い場合の障害物の誤検出を防ぐことによる。例えば、交差点などで前方に車両が存在する状態で停止した場合など、撮像装置のごく近くに障害物が存在している場合を考える。この状況で撮像された画像は、大部分が障害物に隠れており、有用度ＳＣが低い場合が多い。しかし、この画像内には障害物の形状が認識されない場合がある。有用度判定部１２Ｄは、このような状況で撮像された画像に対しても適切に有用度ＳＣを判定することができる。

このように、本実施例においては、評価部１２は、画像ＩＭ１、ＩＭ２、・・・の各々の撮像時における車両２０又は３０の走行状態情報（例えば車両速度Ｖや車間距離Ｓ）に基づいて、また障害物及びその占有率に基づいて、画像ＩＭ１、ＩＭ２、・・・の各々の評価を行う。

なお、評価部１２は、画像データＤＴ内に含まれる画像情報及び走行状態情報の各々をパラメータとし、そのパラメータ毎に画像ＩＭ１、ＩＭ２、・・・の各々の有用レベルを点数化してもよい。また、評価部１２は、これらパラメータ毎の有用レベルの点数の合計に基づいて、画像ＩＭ１、ＩＭ２、・・・の各々の有用度ＳＣを評定してもよい。

図３（ｂ）は、評価部１２による画像ＩＭ１、ＩＭ２、・・・の各々の評価例を示す図である。図３（ｂ）に示すように、本実施例においては、評価部１２の解析部１２Ｂは、画像ＩＭ１、ＩＭ２、・・・の各々に対し、検出部１２Ｂ１によって障害物ＯＢの検出を行い、算出部１２Ｂ２によって障害物ＯＢの占有率ＲＴを算出する。そして、有用度判定部１２Ｄは、解析部１２Ｂが検出した障害物ＯＢに基づいて、画像ＩＭ１、ＩＭ２、・・・の各々の有用度ＳＣを判定する。また、有用度判定部１２Ｄは、車両の走行状態を考慮した有用度ＳＣの判定を行う。

例えば、画像ＩＭ１の領域内に障害物ＯＢとして車両が検出され、その占有率ＲＴが５％であると算出された場合、有用度判定部１２Ｄは、画像ＩＭ１が有用度Ｂの画像であると判定する。また、例えば、画像ＩＭ３の領域内に障害物ＯＢが検出されなかった場合、有用度判定部１２Ｄは、画像ＩＭ３が有用度Ａの画像であると判定する。一方、画像ＩＭ４については、障害物ＯＢは検出されなかったものの、撮像時の車間距離Ｓが２ｍであったため、有用度Ｄと判定される。

図４（ａ）は、抽出部１３の詳細構成を示すブロック図である。本実施例においては、抽出部１３は、画像を抽出する条件を取得する条件である抽出条件を取得する抽出条件取得部１３Ａを有する。抽出条件取得部１３Ａは、例えば、画像の抽出を行う際の有用度ＳＣの許容範囲を取得する。

また、抽出条件取得部１３Ｂは、抽出条件として、画像ＩＭ１、ＩＭ２、・・・の各々の画像情報（例えば撮像地点Ｐ）の指定を取得する。また、抽出条件取得部１３Ｂは、抽出条件として、交差点名、道路名、建物名などの地図上の場所の指定を取得する。

抽出部１３は、画像を抽出する際の参照情報として地図情報を取得する地図情報取得部１３Ｂを有する。例えば、抽出条件取得部１３Ａは、撮像地点Ｐの指定を取得した場合、又は道路上の特定の場所名の指定を取得した場合、当該指定された撮像地点Ｐや場所名と地図情報とを比較して、取得した抽出条件（撮像地点Ｐ及び撮像方向Ｄ）を確定する。

抽出部１３は、抽出条件取得部１３Ａが取得した抽出条件に基づいて画像ＩＭ１、ＩＭ２、・・・の各々の中から、抽出する画像を選択する画像選択部（以下、単に選択部と称する）１３Ｃを有する。また、抽出部１３は、選択部１３Ｃによって選択された画像を含む画像データを抽出データとして生成する抽出データ生成部１３Ｄを有する。

図４（ｂ）は、抽出部１３による画像の抽出例を示す図である。なお、図４（ｂ）には、画像の抽出条件例及び抽出された画像である抽出画像ＥＩＭの例を示している。例えば、有用度ＳＣが有用度Ａ又はＢであること、撮像地点Ｐが地点Ｐ１であり、撮像方向Ｄが方向Ｄ１であることを抽出条件として取得した場合、画像ＩＭ１、ＩＭ３及びＩＭ４が抽出画像ＥＩＭとして抽出（選択）される。

同様に、抽出部１３は、図４（ｂ）に示すように、画像ＩＭ１、ＩＭ２、・・・の各々の画像情報、例えば撮像高さＨなどに基づいて、画像ＩＭ１、ＩＭ２、・・・の各々の中から少なくとも１つの画像を抽出画像ＥＩＭとして選択して抽出する。

なお、抽出部１３は、抽出された画像の個数に基づいて、抽出する際の有用度ＳＣの条件を調節してもよい。例えば、画像選択部１３Ｃは、抽出画像ＥＩＭが１つのみであった場合には有用度ＳＣの許容範囲を広げて再度画像を選択してもよい。また、抽出部１３は、抽出条件取得部１３Ａが抽出条件を取得しなかった場合、有用度Ａの画像のみを抽出画像ＥＩＭとして抽出してもよい。

このように、抽出部１３は、少なくとも評価部１２による画像ＩＭ１、ＩＭ２、・・・の各々の有用度の評価結果に基づいて、画像ＩＭ１、ＩＭ２、・・・の各々の中から少なくとも１つの画像を抽出する。

なお、アルバム作成部１４は、抽出部１３が抽出した抽出画像ＥＩＭを時系列に沿って並び替えたアルバムを作成する。また、例えば抽出部１３が複数の撮像地点Ｐ又は撮像方向Ｄの画像を抽出した場合、アルバム作成部１４は、撮像地点Ｐ毎又は撮像方向Ｄ毎に時系列に沿って画像を並び替えればよい。

図５は、情報処理装置１０による動作フローを示す図である。まず、本実施例においては、情報処理装置１０の画像取得部１１は、画像データＤＴを取得する（ステップＳ１１）。次に、評価部１３は、画像データＤＴに含まれる画像ＩＭ１、ＩＭ２、・・・の有用度の評価を行う（ステップＳ１２）。

続いて、抽出部１３は、画像の抽出条件を取得する（ステップＳ１３）。そして、抽出部１３は、取得した抽出条件に基づいて画像を抽出する（ステップＳ１４）。次に、アルバム作成部１４は、抽出部１３によって抽出された抽出画像ＥＩＭを並び替える（ステップＳ１５）。また、アルバム作成部１４は、並び替えた抽出画像ＥＩＭを表示するためのアルバムを作成する（ステップＳ１６）。このように、情報処理装置１０は取得された画像ＩＭ１、ＩＭ２、・・・の各々に対して処理動作を行う。

なお、上記した動作フローは一例に過ぎない。例えば、画像取得部１１による画像取得（ステップＳ１１）の後、評価部１２による画像の評価及び抽出部１３による画像抽出（ステップＳ１２〜Ｓ１４）は、同時に行われてもよい。例えば、抽出部１３が有用度ＳＣ以外の抽出条件を取得した上で画像抽出を行い、この抽出された画像に対して評価を行ってもよい。この場合、抽出部１３は評価後の画像に対して再度抽出を行えばよい。

また、アルバム作成部１４による抽出画像ＥＩＭの並び替え（ステップＳ１５）は、例えば、抽出部１３による抽出（ステップＳ１４）時に抽出部１３が画像の抽出と同時に行ってもよい。すなわち、抽出部１３が画像の抽出を行う際に時系列に沿って並び替えてもよい。

また、本実施例においては、図３（ａ）に示すように、評価部１２が画像ＩＭ１、ＩＭ２、・・・の各々の画像解析を行い、かつ撮像時の車両２０又は３０の走行状態を考慮して、画像ＩＭ１、ＩＭ２、・・・の各々の有用性の評価を行う場合について説明した。しかし、評価部１２の評価内容及び評価基準はこれに限定されない。

評価部１２は、画像ＩＭ１、ＩＭ２、・・・の各々の撮像時における車両２０又は３０の走行状態のみに基づいて画像ＩＭ１、ＩＭ２、・・・の各々の有用性を評価すればよい。例えば、評価部１２は、撮像時の車両２０又は３０の速度Ｖ又は車間距離Ｓのみに基づいて有用度ＳＣの判定基準を定めてもよい。

例えば、速度Ｖが所定値以上の場合は障害物ＯＢが含まれる可能性が小さいため、これを基準として高い有用度ＳＣである有用度Ａと判定してもよい。また、停止状態から速度Ｖが所定値以上増加した場合は発進時でかつ前走車との距離が大きくなることが予想されるため、これを基準として比較的高い有用度Ｂであると判定してもよい。

また、本実施例においては、評価部１２は、有用度判定部１２Ｄによって画像ＩＭ１、ＩＭ２、・・・の有用度ＳＣを４段階で判定（評定）する場合について説明した。しかし、評価部１２による画像ＩＭ１、ＩＭ２、・・・の各々の評価内容はこれに限定されない。評価部１２は、少なくとも画像ＩＭ１、ＩＭ２、・・・の各々の有用度ＳＣを評価すればよい。例えば、評価部１２は、上記したような評価基準に基づいて、画像ＩＭ１、ＩＭ２、・・・の各々が有用性を有するか否か（有用度ＳＣが高いか低いか）のみを判定してもよい。

また、本実施例においては、評価部１２が画像解析によって障害物ＯＢの占有率ＲＴを算出する算出部１２Ｂ２と、これに基づいて有用度ＳＣの判定を行う有用度判定部１２Ｄとを有する場合について説明した。しかし、評価部１２は、複数の画像ＩＭ１、ＩＭ２、・・・の各々に含まれる障害物ＯＢを検出し、当該検出した障害物ＯＢに基づいて有用度ＳＣを評価すればよい。例えば、評価部１２は、車間距離Ｓを取得することで、画像解析を行うことなく、また占有率ＲＴの算出を行うことなく障害物ＯＢの検出及び有用度ＳＣの判定を行うことができる。

また、図１（ｂ）に示した画像データＤＴの構成は一例に過ぎない。画像データＤＴ内には、複数の画像ＩＭ１、ＩＭ２、・・・及び当該画像の撮像時における車両２０又は３０の走行状態を示す走行状態情報が含まれていればよい。例えば、画像データＤＴ内には、撮像高さＨ及び車両速度Ｖが含まれていなくてもよい。

上記したように、情報処理装置１０は、移動体２０又は３０が有する撮像装置によって撮像された複数の画像ＩＭ１、ＩＭ２、・・・及び当該複数の画像ＩＭ１、ＩＭ２、・・・の各々の撮像時における移動体２０又は３０の移動状態を示す移動状態情報を含む画像データＤＴを取得する画像取得部１１と、当該複数の画像ＩＭ１、ＩＭ２、・・・の各々における移動状態情報に基づいて当該複数の画像ＩＭ１、ＩＭ２、・・・の各々の有用度ＳＣを評価する画像評価部１２と、画像評価部１２による複数の画像ＩＭ１、ＩＭ２、・・・の各々の有用度ＳＣの評価に基づいて、当該複数の画像ＩＭ１、ＩＭ２、・・・の中から少なくとも１つの画像ＥＩＭを抽出する画像抽出部１３と、を有する。

従って、情報処理装置１０は、移動体２０又は３０が撮像した画像の各々に対して適切な評価を行い、その評価に基づいて所望の有用な画像を抽出する。従って、移動体２０又は３０が撮像した複数の画像を種々の用途に用いることが可能なように処理を行う情報処理装置１０を提供することができる。

また、画像評価部１２は、複数の画像ＩＭ１、ＩＭ２、・・・の各々に含まれる障害物ＯＢを検出し、当該検出した障害物ＯＢに基づいて有用度ＳＣを評価する。従って、移動状態情報に加えて障害物ＯＢの検出に基づいて適切に画像の有用度ＳＣを評価することができる。

また、画像評価部１２は、複数の画像ＩＭ１、ＩＭ２、・・・の各々において障害物ＯＢが占める割合である占有率ＲＴを算出する占有率算出部１２Ｂ２と、障害物ＯＢの占有率ＲＴに基づいて、複数の画像ＩＭ１、ＩＭ２、・・・の各々の有用度ＳＣを判定する有用度判定部１２Ｄと、を有する。従って、当該複数の画像ＩＭ１、ＩＭ２、・・・の各々の有用性、すなわち障害物ＯＢを含まない有用な領域が明確なものとなる。また、正確に有用な画像のみを抽出することができる。

また、画像データＤＴには、移動体２０又は３０の移動状態情報として、当該複数の画像ＩＭ１、ＩＭ２、・・・の各々の撮像時における移動体２０又は３０の移動速度Ｖが含まれる。そして、画像評価部１２は、当該移動速度Ｖに基づいて、当該複数の画像ＩＭ１、ＩＭ２、・・・の各々の有用度ＳＣを評価する。画像の有用性ＳＣを評価する際に撮像時の移動体２０又は３０の移動速度Ｖを考慮することで、適切に画像の有用度ＳＣを評価することができる。

また、画像データＤＴには、移動体２０又は３０の移動状態情報として、当該複数の画像ＩＭ１、ＩＭ２、・・・の各々の撮像時において複数の画像ＩＭ１、ＩＭ２、・・・の各々の撮像方向Ｄに存在する他の移動体と移動体２０又は３０との間の移動体間距離Ｓが含まれる。また、画像評価部１２は、移動体間距離Ｓに基づいて、当該複数の画像ＩＭ１、ＩＭ２、・・・の各々の有用度ＳＣを評価する。画像の有用度ＳＣを評価する際に撮像時の移動体２０又は３０の移動体間距離Ｓを考慮することで、適切に画像の有用度ＳＣを評価することができる。

また、画像評価部１２は、地図情報を取得する地図情報取得部１２Ｃを有し、有用度判定部１２Ｄは、地図情報に基づいて当該複数の画像ＩＭ１、ＩＭ２、・・・の各々の有用度ＳＣを判定する。従って、例えば交差点などの有用度ＳＣが高い可能性のある画像についても適切に評価することができる。

また、画像データＤＴには、当該複数の画像ＩＭ１、ＩＭ２、・・・の各々の撮像地点Ｐ及び撮像方向Ｄが含まれ、画像抽出部１３は、撮像地点Ｐ及び撮像方向Ｄに基づいて当該複数の画像ＩＭ１、ＩＭ２、・・・の中から少なくとも１つの画像ＥＩＭを抽出する。従って、例えば同一用途に用いられ得る同一地点及び同一方向の画像のみを抽出することができる。

また、画像データＤＴには、当該複数の画像ＩＭ１、ＩＭ２、・・・の各々の撮像高さＨが含まれ、画像抽出部１３は、撮像高さＨに基づいて当該複数の画像ＩＭ１、ＩＭ２、・・・の中から少なくとも１つの画像ＥＩＭを抽出する。従って、例えば同一高さから撮像された画像のみを抽出することができる。従って、被写体の時系列変化を定点から観察する用途に用いることができ、例えば被写体の時系列変化を明確に視覚化することができる。

また、画像データＤＴには、当該複数の画像ＩＭ１、ＩＭ２、・・・の各々の撮像日時Ｔが含まれ、画像抽出部１３は、撮像日時Ｔに基づいて当該複数の画像ＩＭ１、ＩＭ２、・・・の中から少なくとも１つの画像ＥＩＭを抽出する。従って、例えば所定の時間範囲の画像のみを抽出することができる。

また、情報処理装置１０は、画像抽出部１３によって抽出された少なくとも１つの画像ＥＩＭを時系列に沿って並び替えたアルバムを作成するアルバム作成部１４を有する。従って、所望の用途に有用な画像を時系列に沿って自動的に並び替えることができる。

なお、本実施例においては、情報処理装置１０が複数の移動体２０及び３０から画像を取得してその処理を行うサーバとして機能する場合について説明したが、情報処理装置１０はサーバである場合に限定されない。情報処理装置１０は、例えば１つの移動体のみから画像を取得及び処理する端末装置として設けられていてもよい。

図６は、実施例２に係る情報処理装置１０Ａのブロック図である。本実施例においては、情報処理装置１０Ａは、移動体（車両）２０に搭載され、移動体２０によって撮像された画像に対して種々の処理を行う情報処理端末として機能する。

情報処理装置１０Ａは、移動体２０としての車両に搭載された撮像装置２１から画像ＩＭ１、ＩＭ２、・・・を含む画像データＤＴ（例えば図１（ｂ）参照）を取得する。なお、本実施例においては、移動体２０は、測位装置２２及び検出装置２３を有する。例えば、情報処理装置１０Ａは、測位装置２２から画像情報（例えば撮像地点Ｐ及び撮像方向Ｄなど）を取得し、検出装置２３から移動状態情報（例えば移動速度Ｖ及び移動体間距離Ｓなど）を取得してもよい。

また、情報処理装置１０Ａは、送信部１７を有する点を除いては、情報処理装置１０と同様の構成を有する。情報処理装置１０Ａは、画像抽出部１３によって抽出された少なくとも１つの画像ＥＩＭ又はアルバム作成部１４によって作成されたアルバムを外部に送信する送信部１７を有する。

また、情報処理装置１０Ａは、送信部１７の処理を除いては、情報処理装置１０と同様の処理（例えば図５に示すフローの実行）を行う。例えば、情報処理装置１０Ａは、図５に示すステップＳ１６の後、送信部１７によってアルバム（アルバム用画像）を外部サーバに送信する。

情報処理装置１０Ａが送信部１７を有することで、例えば情報処理装置１０Ａが移動体２０に搭載されている場合に、移動体２０で撮像した画像のうち、有用な画像のみを外部に配信することができる。例えば、情報処理装置１０Ａは、移動体２０が保有する有用な画像を他の移動体や外部のサーバに提供することができる。従って、移動体２０が撮像した複数の画像を種々の用途に用いることが可能なように処理を行う情報処理装置１０Ａを提供することができる。

１０、１０Ａ 情報処理装置
１１ 画像取得部
１２ 画像評価部
１３ 画像抽出部

Claims (11)

1. 移動体が有する撮像装置によって撮像された複数の画像及び前記複数の画像の各々の撮像時における前記移動体の移動状態を示す移動状態情報を含む画像データを取得する画像取得部と、
   前記複数の画像の各々における前記移動状態情報及び前記複数の画像の各々において当該複数の画像の各々の撮像の障害となっている障害物を検出し、前記障害物の検出結果に基づいて前記複数の画像の各々の有用度を評価する画像評価部と、
   前記画像評価部による前記複数の画像の各々の前記有用度の評価に基づいて、前記複数の画像の中から少なくとも１つの画像を抽出する画像抽出部と、を有することを特徴とする情報処理装置。
2. 前記画像評価部は、前記複数の画像の各々において撮像の対象となっている撮像対象物の撮像の障害になっている障害物を検出し、前記障害物の検出結果に基づいて前記有用度を評価することを特徴とする請求項１に記載の情報処理装置。
3. 前記画像評価部は、
   前記複数の画像の各々において前記障害物が占める割合である占有率を算出する占有率算出部と、
   前記障害物の前記占有率に基づいて、前記複数の画像の各々の前記有用度を判定する有用度判定部と、を有することを特徴とする請求項２に記載の情報処理装置。
4. 前記画像データには、前記移動状態情報として、前記複数の画像の各々の撮像時における前記移動体の移動速度が含まれ、
   前記画像評価部は、前記移動速度に基づいて、前記複数の画像の各々の前記有用度を評価することを特徴とする請求項１乃至３のいずれか１つに記載の情報処理装置。
5. 前記画像データには、前記移動状態情報として、前記複数の画像の各々の撮像時において前記複数の画像の各々の撮像方向に存在する他の移動体と前記移動体との間の移動体間距離が含まれ、
   前記画像評価部は、前記移動体間距離に基づいて、前記複数の画像の各々の前記有用度を評価することを特徴とする請求項１乃至３のいずれか１つに記載の情報処理装置。
6. 前記画像評価部は、地図情報を取得する地図情報取得部を有し、
   前記有用度判定部は、前記地図情報に基づいて前記複数の画像の各々の前記有用度を判定することを特徴とする請求項３に記載の情報処理装置。
7. 前記画像データには、前記複数の画像の各々の撮像地点及び撮像方向が含まれ、
   前記画像抽出部は、前記撮像地点及び前記撮像方向に基づいて前記複数の画像の中から前記少なくとも１つの画像を抽出することを特徴とする請求項１乃至６のいずれか１つに記載の情報処理装置。
8. 前記画像データには、前記複数の画像の各々の撮像高さが含まれ、
   前記画像抽出部は、前記撮像高さに基づいて前記複数の画像の中から前記少なくとも１つの画像を抽出することを特徴とする請求項７に記載の情報処理装置。
9. 前記画像データには、前記複数の画像の各々の撮像日時が含まれ、
   前記画像抽出部は、前記撮像日時に基づいて前記複数の画像の中から前記少なくとも１つの画像を抽出することを特徴とする請求項７又は８に記載の情報処理装置。
10. 前記画像抽出部によって抽出された前記少なくとも１つの画像を時系列に沿って並び替えたアルバムを作成するアルバム作成部を有することを特徴とする請求項１乃至９のいずれか１つに記載の情報処理装置。
11. 前記画像抽出部によって抽出された前記少なくとも１つの画像又は前記アルバム作成部によって作成された前記アルバムを外部に送信する送信部を有することを特徴とする請求項１０に記載の情報処理装置。

Images