JP6099931B2 - 画像同期装置及びシステム - Google Patents

Description

本発明の実施形態は、画像同期装置及びシステムに関する。

複数のカメラで画像を撮像し、同一の撮像時間や同一の撮像位置で撮像された画像を同期して表示する技術が知られている。

特開２００９−１８２７５４号公報 特開２００４−２４８２０４号公報

しかしながら、上述したような従来技術では、予め撮像位置や撮像時間が決まっていなければ画像を同期できない。本発明が解決しようとする課題は、任意に撮像された画像であっても同期することができる画像同期装置及びシステムを提供することである。

実施形態の画像同期装置は、撮像部と、探索部と、生成部と、出力部と、を備える。撮像部は、予め定められた経路を走行する移動体に搭載され、当該移動体が前記経路を走行中に第１画像を撮像する。探索部は、前記移動体が過去に前記経路を走行した際に前記撮像部により撮像された時系列の第２画像を取得し、前記第１画像と前記第２画像それぞれとの類似度を求め、類似度が閾値以上の所定第２画像を探索する。生成部は、前記第１画像と前記所定第２画像とを用いて同期画像を生成する。出力部は、前記同期画像を出力する。探索部は、前記類似度が前記閾値以上の第２画像が探索されなかった場合、前記類似度が最大となる第２画像を前記所定第２画像とする。

図１は、第１実施形態の画像同期装置の一例を示す構成図。 図２は、第１実施形態の時系列の過去画像の例を示す図。 図３は、第１実施形態の入力画像の例を示す図。 図４は、第１実施形態の所定過去画像の探索結果の例を示す図。 図５は、第１実施形態の同期画像の例を示す図。 図６は、第１実施形態の同期画像の例を示す図。 図７は、第１実施形態の同期画像の例を示す図。 図８は、第１実施形態の同期画像の例を示す図。 図９は、第１実施形態の同期画像の例を示す図。 図１０は、第１実施形態の同期画像の例を示す図。 図１１は、第１実施形態の画像同期処理例を示すフローチャート。 図１２は、第１実施形態の１回目の探索処理例を示すフローチャート。 図１３は、第１実施形態の２回目以降の探索処理例を示すフローチャート。 図１４は、第１実施形態の１回目の探索処理の他の例を示すフローチャート。 図１５は、第１実施形態の２回目以降の探索処理の他の例を示すフローチャート。 図１６は、第１実施形態の１回目の探索処理の他の例を示すフローチャート。 図１７は、第１実施形態の２回目以降の探索処理の他の例を示すフローチャート。 図１８は、第１実施形態において、入力画像に対し過去画像のフレーム数が多い場合の所定過去画像の探索結果の例を示す図。 図１９は、第２実施形態の生成部の構成例を示す図。 図２０は、第２実施形態の同期画像の例を示す図。 図２１は、第２実施形態の同期画像の例を示す図。 図２２は、第３実施形態の画像同期装置の構成例を示す図。 図２３は、第４実施形態の画像同期装置の構成例を示す図。 図２４は、第５実施形態の画像同期装置の構成例を示す図。 図２５は、第６実施形態の画像同期装置の構成例を示す図。 図２６は、第７実施形態の画像同期システムの構成例を示す図。

以下、添付図面を参照しながら、実施形態を詳細に説明する。

以下の各実施形態の画像同期装置は、過去のある時点において、予め定められた経路を移動体で移動しながら撮像した画像と、現時点において、当該移動体で当該経路を移動しながら撮像した画像とを、同期して出力する。

例えば、以下の各実施形態の画像同期装置では、撮像装置を搭載した電車が線路を走行しながら当該線路の時系列の画像を予め撮像しておくとともに、当該線路の点検時などに、当該電車が当該線路を再度走行しながら当該線路の画像を順次撮像する。そして画像同期装置が、当該線路の点検時に順次撮像された画像毎に、予め撮像された時系列の画像の中から当該画像と類似する画像を探索し、当該画像と探索された画像とを同期して出力する。

このように、以下の各実施形態の画像同期装置では、予め撮像位置や撮像時間が決まっていない任意に撮像された画像同士を同期できるので、移動体が走行する経路の点検などの用途に好適である。

（第１実施形態）
図１は、第１実施形態の画像同期装置１００の一例を示す構成図である。図１に示すように、画像同期装置１００は、撮像部１０１と、過去画像記憶部１０３と、探索部１０５と、生成部１０７と、出力部１０９と、操作部１１１とを、備える。

撮像部１０１は、例えば、ビデオカメラやデジタルカメラなどの撮像装置により実現できる。過去画像記憶部１０３は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、メモリカード、光ディスク、及びＲＡＭ（Random Access Memory）などの磁気的、光学的、又は電気的に記憶可能な記憶装置により実現できる。探索部１０５及び生成部１０７は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。出力部１０９は、例えば、液晶ディスプレイやタッチパネルディスプレイなどの表示装置により実現してもよいし、スピーカなどの音声出力装置より実現してもよいし、両者を併用して実現してもよい。操作部１１１は、例えば、マウスやキーボードなどの入力装置により実現できる。

撮像部１０１は、予め定められた経路を走行する移動体（図示省略）に搭載されている。予め定められた経路は、例えば、線路であり、移動体は、例えば、電車が該当する。この場合、電車は、乗客や貨物を運送する営業用の車両ではなく、線路の点検等を行う事業用の車両であり、線路を中心とした撮像を行うため、電車の進行方向前方を撮像するように撮像部１０１が搭載されていることが好ましい。但し、経路及び移動体は、これらに限定されるものではなく、予め定められた経路を移動体が走行するのであれば、どのようなものであってもよい。

撮像部１０１は、過去のある時点において電車が線路を走行した際に、当該線路の時系列の画像（第２画像の一例）を予め撮像しておく。以下、過去のある時点において撮像された時系列の画像を時系列の過去画像と称する場合がある。なお、時系列の過去画像は、線路点検時の基準画像（比較用画像）として用いられる。

図２は、第１実施形態の時系列の過去画像の一例を示す図である。図２に示す例では、過去画像１４１〜１４３などが時系列（フレームの時系列）で撮像されており、過去画像１４１〜１４３などにより時系列の過去画像が構成されている。

また撮像部１０１は、線路の点検時において電車が線路を走行している際に、当該線路の画像（第１画像の一例）を順次撮像する。ここで、線路の点検時とは、例えば、営業用の車両が脱線などの事故を起こした後の点検時、地震などの天災発生後の点検時、及び定期点検時などが該当するが、これらに限定されるものではない。以下、線路の点検時において順次撮像される画像を入力画像と称する場合がある。なお、順次撮像される入力画像は、線路点検時に過去画像と比較される点検対象画像として用いられる。

図３は、第１実施形態の入力画像の一例を示す図である。図３に示す例では、入力画像１５１〜１５７などが時系列（フレームの時系列）で順次撮像されている。なお、第１実施形態では、過去画像撮像時の電車の走行速度よりも、入力画像撮像時の電車の走行速度が遅い場合を想定しているため、入力画像撮像時のフレーム数は、過去画像撮像時よりも多くなっている。

以下では、線路の点検時を基準に画像同期装置１００についての説明を行うため、線路の点検時が現時点であることを想定して説明する。

過去画像記憶部１０３は、撮像部１０１により撮像された時系列の過去画像を記憶している。

探索部１０５には、撮像部１０１により現時点において撮像される入力画像が順次入力される。そして探索部１０５は、撮像部１０１から入力画像が入力される毎に、過去画像記憶部１０３から時系列の過去画像を取得し、入力画像と過去画像それぞれとの類似度を求め、類似度が閾値以上の所定過去画像を探索する。但し、第１実施形態では、探索部１０５は、類似度が閾値以上の過去画像が探索されなかった場合、類似度が最大となる過去画像を所定過去画像とし、エラー情報を付加する。なお、探索部１０５は、類似度が閾値以上の過去画像が探索されなかった場合、所定過去画像ではなく、入力画像にエラー情報を付加してもよい。

ここで、第１実施形態では、過去画像記憶部１０３から取得する過去画像の数、即ち、時系列の過去画像に含まれる（を構成する）過去画像の数は、予め設定されているものとするが、これに限定されるものではない。同様に、第１実施形態では、閾値は、予め設定されているものとするが、これに限定されるものではない。時系列の過去画像に含まれる過去画像の数は、例えば、実験値などに基づいて予め設定されている。また第１実施形態では、所定過去画像の数は１つであるものとするが、これに限定されるものではない。但し、探索部１０５は、１以上の所定過去画像を探索し、探索した１以上の所定過去画像を補間することにより１つの所定過去画像としてもよい。

なお探索部１０５は、撮像部１０１から入力画像が入力される毎に、過去画像記憶部１０３から、時系列の過去画像として、前回探索された所定過去画像から時系列の順に予め設定された数の過去画像を取得する。従って、探索部１０５が取得する時系列の過去画像は、毎回同じとは限らない。

また探索部１０５は、種々の手法により入力画像と過去画像との類似度を求めることができる。

例えば、探索部１０５は、画素の差分値から、入力画像と過去画像との類似度を求める。画素の差分値による入力画像と過去画像との類似度は、例えば、数式（１）及び数式（２）により求められる。

数式（１）において、Ｉは入力画像を示し、Ｐは過去画像を示し、Ｍ及びＮは類似度計算を行う画像領域のサイズを示し、ｉ及びｊは、類似度計算を行う画像領域内の画素位置を示すパラメータであり、Ｄｉｆｆ_ｓｕｍは、入力画像Ｉと過去画像Ｐとの画素の差分値を示す。数式（２）において、ｋは色深度を示し、Ｓｉｍは、入力画像Ｉと過去画像Ｐとの類似度を示す。

また例えば、探索部１０５は、画素の平均二乗誤差から、入力画像と過去画像との類似度を求める。画素の平均二乗誤差による入力画像と過去画像との類似度は、例えば、数式（３）及び数式（４）により求められる。

数式（３）において、Ｉ、Ｐ、Ｍ及びＮ、ｉ及びｊは、数式（１）と同様であり、ＲＭＳＥは、入力画像Ｉと過去画像Ｐとの画素の平均二乗誤差を示す。数式（４）において、ｋ、Ｓｉｍは、数式（２）と同様である。

また例えば、探索部１０５は、画素の正規化相互相関から、入力画像と過去画像との類似度を求める。画素の正規化相互相関による入力画像と過去画像との類似度は、例えば、数式（５）により求められる。

数式（５）において、Ｉ、Ｐ、Ｍ及びＮ、ｉ及びｊは、数式（１）と同様であり、Ｒ_ＺＮＣＣは、入力画像Ｉと過去画像Ｐとの画素の正規化相互相関係数を示し、入力画像Ｉと過去画像Ｐとの類似度として用いることができる。

そして探索部１０５は、入力画像と過去画像それぞれとの類似度を求め、最大となる類似度を閾値と比較し、類似度が閾値以上であれば、当該類似度の過去画像を所定過去画像とする。但し、探索部１０５は、最大となる類似度が閾値未満の場合、当該類似度の過去画像を所定過去画像とし、エラー情報を付加する。

なお探索部１０５は、入力画像と過去画像との類似度を求めるために、上述した３つの手法のいずれを用いてもよいし、上述した３つの手法のうち２つ以上の手法を組み合わせてもよい。また上述した３つの手法の数式における除算部分については、予め設定した値とすることもできる。

前述したように、第１実施形態では、閾値は、予め設定されているが、入力画像と過去画像との明るさが大きく異なる場合には、探索部１０５は、両画像の平均輝度値又は最大輝度値を用いて閾値を求めてもよいし、トーンマッピング又は平均化によって暗い画像の明るさ調整を行うようにしてもよい。

両画像の明るさが大きく異なる場合、即ち、入力画像Ｉ内の最大画素値Ｉ_ｍａｘと過去画像Ｐ内の最大画素値Ｐ_ｍａｘとにおいて、Ｉ_ｍａｘ＞Ｐ_ｍａｘ又はＩ_ｍａｘ＜Ｐ_ｍａｘの関係が成り立つ場合、数式（６）又は数式（７）により、閾値Ｔｈが求められる。

数式（６）及び（７）において、Ｔｈ_ｉｎｉは入力画像Ｉと過去画像Ｐとの明るさが同じ場合に予め一意に設定した閾値であり、ｋは色深度を示す。なお、数式（６）及び（７）では、最大画素値から閾値Ｔｈを求めたが、平均画素値を用いて閾値Ｔｈを求めてもよい。

図４は、第１実施形態の所定過去画像の探索結果の一例を示す図である。図４に示す例では、入力画像１５１〜１５７それぞれに対して所定過去画像が探索されており、入力画像１５１、１５２の所定過去画像は過去画像１４１、入力画像１５３〜１５５の所定過去画像は過去画像１４２、入力画像１５６、１５７の所定過去画像は過去画像１４３となっている。

生成部１０７は、撮像部１０１から入力された入力画像と探索部１０５により探索された所定過去画像とを用いて同期画像を生成する。具体的には、生成部１０７は、入力画像及び所定過去画像を並べた画像、入力画像と所定過去画像との差分を示す差分画像及び入力画像を並べた画像、又は差分画像と入力画像とを合成した画像などを同期画像として生成する。

図５〜図１０は、第１実施形態の同期画像の一例を示す図である。図５に示す同期画像は、過去画像１４１である所定過去画像と入力画像１５１とを左右に並べたものである。図６に示す同期画像は、過去画像１４１である所定過去画像と入力画像１５１とを上下に並べたものである。

図７に示す同期画像は、過去画像１４９である所定過去画像と入力画像１５９とを左右に並べたものである。図８に示す同期画像は、過去画像１４９である所定過去画像と入力画像１５９とを上下に並べたものである。但し、過去画像１４９は、入力画像１５９との類似度が最大となる過去画像ではあるが、類似度が閾値未満の過去画像、即ち、エラー情報が付された過去画像である。但し、エラー情報は、過去画像１４９ではなく入力画像１５９に付加されていてもよい。

なお、図５〜図８に示す同期画像において、所定過去画像と入力画像との位置を入れ替えてもよい。

図９に示す同期画像は、差分画像１６１と入力画像１５９とを左右に並べたものである。差分画像１６１は、過去画像１４９である所定過去画像と入力画像１５９との差分を表示した画像である。但し、図９に示す同期画像は、差分値が一定値以上の場合に差分画像１６１を表示し、差分値が一定値未満の場合に過去画像１４９である所定過去画像を表示してもよい。なお、図９に示す同期画像において、差分画像と入力画像との位置を入れ替えてもよいし、差分画像と入力画像とを左右ではなく上下に並べてもよい。

図１０に示す同期画像は、入力画像１５９に差分画像１６１を合成した合成画像１６２を表示したものである。

出力部１０９は、撮像部１０１から入力された入力画像と探索部１０５により探索された所定過去画像とに基づく同期画像を出力する。具体的には、出力部１０９は、撮像部１０１から入力画像が入力される毎に、生成部１０７により生成された同期画像を表示出力する。

これにより、任意に撮像された入力画像と所定過去画像とが並べられた画像が同期画像として表示されるので、ユーザ（点検者）は、両画像を見比べることで、所定過去画像に対する入力画像の差分を把握できる。特に、合成画像を同期画像として表示すれば、ユーザは、所定過去画像に対する入力画像の差分の把握を容易に行うことができる。

操作部１１１は、ユーザ（点検者）からの操作入力に従って、出力部１０９による同期画像の表示形態を制御する。例えば、操作部１１１は、ユーザからの操作入力に従って、出力部１０９による表示を同期画像の表示から入力画像の表示に切り替えさせるなどの表示切替制御や、出力部１０９による表示をユーザが指定した位置を中心に拡大・縮小させるなどの拡大・縮小制御を行う。また、操作部１１１は、ユーザからの操作入力に従って、出力部１０９により表示されている画像を保存させたり、ユーザが指定したフレームの画像や画素位置を保存させたりしてもよい。

図１１は、第１実施形態の画像同期装置１００で行われる画像同期処理の手順の流れの一例を示すフローチャートである。

まず、撮像部１０１は、入力画像を順次撮像する（ステップＳ１０１）。

続いて、探索部１０５は、撮像部１０１により入力画像が撮像される毎に、過去画像記憶部１０３から時系列の過去画像を取得し（ステップＳ１０３）、入力画像と過去画像それぞれとの類似度を求め、類似度が閾値以上の所定過去画像を探索する（ステップＳ１０５）。

続いて、生成部１０７は、撮像部１０１から入力された入力画像と探索部１０５により探索された所定過去画像とを用いて同期画像を生成する（ステップＳ１０７）。

続いて、出力部１０９は、生成部１０７により生成された同期画像を表示出力する（ステップＳ１０９）。

図１２は、第１実施形態の探索部１０５で行われる１回目の探索処理の手順の流れの一例を示すフローチャートであり、図１１に示すフローチャートのステップＳ１０５の詳細を示す。図１２に示すフローチャートでは、入力画像と過去画像それぞれとの類似度を求め、最大となる類似度を閾値と比較し、類似度が閾値以上であれば、当該類似度の過去画像を所定過去画像とする。但し、図１２に示す例では、図１１に示すフローチャートのステップＳ１０３において、探索部１０５は、過去画像記憶部１０３に記憶されている時系列の過去画像のうち、先頭の過去画像［０］から時系列の順にＴｈ_{ｃｏｕｎｔ}個の過去画像を時系列の過去画像として取得しているものとする。なお、第１実施形態では、Ｔｈ_{ｃｏｕｎｔ}の値は、予め設定されている。

まず、探索部１０５は、変数ｉ及び変数ｔ_{ｓｔａｒｔ}を０に初期化する（ステップＳ２０１）。ここで、ｉは、過去画像を特定するパラメータ及びカウンタを兼ねた変数であり、ｔ_{ｓｔａｒｔ}は、入力画像との類似度が最大となる過去画像を示す変数である。

続いて、探索部１０５は、撮像部１０１から入力された入力画像と過去画像［ｉ］との類似度ｓｉｍ［０］を求める（ステップＳ２０３）。

続いて、探索部１０５は、変数ｍａｘに類似度ｓｉｍ［０］の値を格納し、変数ｉをインクリメントする（ステップＳ２０５）。ここで、ｍａｘは、入力画像と過去画像との類似度の最大値を示す変数である。

続いて、探索部１０５は、ｉ≧Ｔｈ_{ｃｏｕｎｔ}であるか否かを確認し（ステップＳ２０７）、ｉ≧Ｔｈ_{ｃｏｕｎｔ}でなければ（ステップＳ２０７でＮｏ）、入力画像と過去画像［ｉ］との類似度ｓｉｍ［ｉ］を求める（ステップＳ２０９）。

続いて、探索部１０５は、ｍａｘ＜ｓｉｍ［ｉ］であるか否かを確認し（ステップＳ２１１）、ｍａｘ＜ｓｉｍ［ｉ］であれば（ステップＳ２１１でＹｅｓ）、変数ｔ_{ｓｔａｒｔ}の値を変数ｉの値に更新し、変数ｍａｘの値を類似度ｓｉｍ［ｉ］の値に更新する（ステップＳ２１３）。なお、ｍａｘ＜ｓｉｍ［ｉ］でなければ（ステップＳ２１１でＮｏ）、探索部１０５は、ステップＳ２１３の処理を行わない。

続いて、探索部１０５は、変数ｉをインクリメントし（ステップＳ２１５）、ステップＳ２０７へ戻る。

一方、ｉ≧Ｔｈ_{ｃｏｕｎｔ}であれば（ステップＳ２０７でＹｅｓ）、探索部１０５は、ｍａｘ＞Ｔｈであるか否かを確認し（ステップＳ２１７）、ｍａｘ＞Ｔｈであれば（ステップＳ２１７でＹｅｓ）、過去画像［ｔ_{ｓｔａｒｔ}］を所定過去画像として生成部１０７へ出力する（ステップＳ２２１）。ここで、Ｔｈは、類似度の閾値である。

なお、ｍａｘ＞Ｔｈでなければ（ステップＳ２１７でＮｏ）、探索部１０５は、エラー処理を行う（ステップＳ２１９）。具体的には、探索部１０５は、過去画像［ｔ_{ｓｔａｒｔ}］を所定過去画像とし、エラー情報とともに生成部１０７へ出力する。

図１３は、第１実施形態の探索部１０５で行われる２回目以降の探索処理の手順の流れの一例を示すフローチャートであり、図１１に示すフローチャートのステップＳ１０５の詳細を示す。但し、図１３に示す例では、図１１に示すフローチャートのステップＳ１０３において、探索部１０５は、過去画像記憶部１０３に記憶されている時系列の過去画像のうち、過去画像［ｔ_{ｓｔａｒｔ}］から時系列の順にＴｈ_{ｃｏｕｎｔ}個の過去画像を時系列の過去画像として取得しているものとする。なお、探索部１０５は、取得する時系列の過去画像の先頭を過去画像［ｔ_{ｓｔａｒｔ}］ではなく、過去画像［ｔ_{ｓｔａｒｔ}］よりも数フレーム前に撮像された過去画像（例えば、１フレーム前の過去画像［ｔ_{ｓｔａｒｔ}−１］）としてもよい。

まず、探索部１０５は、変数ｔ及び変数ｔ_ｍａｘを変数ｔ_{ｓｔａｒｔ}で初期化する（ステップＳ２３１）。ここで、ｔは、過去画像を特定する変数であり、ｔ_ｍａｘは、入力画像との類似度が最大となる過去画像を示す変数である。なお、図１３に示すフローチャートでは、ｔ_{ｓｔａｒｔ}は、前回の探索処理において入力画像との類似度が最大となる過去画像を示す変数となる。

続いて、探索部１０５は、撮像部１０１から入力された入力画像と過去画像［ｔ］との類似度ｓｉｍ［０］を求める（ステップＳ２３３）。

続いて、探索部１０５は、変数ｍａｘに類似度ｓｉｍ［０］の値を格納し、変数ｉを１に初期化し、変数ｔをインクリメントする（ステップＳ２３５）。ここで、ｉは、カウンタとして用いられる変数である。

続いて、探索部１０５は、ｉ≧Ｔｈ_{ｃｏｕｎｔ}であるか否かを確認し（ステップＳ２３７）、ｉ≧Ｔｈ_{ｃｏｕｎｔ}でなければ（ステップＳ２３７でＮｏ）、入力画像と過去画像［ｔ］との類似度ｓｉｍ［ｉ］を求める（ステップＳ２３９）。

続いて、探索部１０５は、ｍａｘ＜ｓｉｍ［ｉ］であるか否かを確認し（ステップＳ２４１）、ｍａｘ＜ｓｉｍ［ｉ］であれば（ステップＳ２４１でＹｅｓ）、変数ｔ_ｍａｘの値を変数ｔの値に更新し、変数ｍａｘの値を類似度ｓｉｍ［ｉ］の値に更新する（ステップＳ２４３）。なお、ｍａｘ＜ｓｉｍ［ｉ］でなければ（ステップＳ２４１でＮｏ）、探索部１０５は、ステップＳ２４３の処理を行わない。

続いて、探索部１０５は、変数ｉをインクリメントし、変数ｔをインクリメントし（ステップＳ２４５）、ステップＳ２３７へ戻る。

一方、ｉ≧Ｔｈ_{ｃｏｕｎｔ}であれば（ステップＳ２３７でＹｅｓ）、探索部１０５は、ｍａｘ＞Ｔｈであるか否かを確認し（ステップＳ２４７）、ｍａｘ＞Ｔｈであれば（ステップＳ２４７でＹｅｓ）、過去画像［ｔ_ｍａｘ］を所定過去画像として生成部１０７へ出力し（ステップＳ２５１）、変数ｔ_{ｓｔａｒｔ}の値を変数ｔ_ｍａｘの値に更新する（ステップＳ２５３）。

なお、ｍａｘ＞Ｔｈでなければ（ステップＳ２４７でＮｏ）、探索部１０５は、エラー処理を行う（ステップＳ２４９）。具体的には、探索部１０５は、過去画像［ｔ_ｍａｘ］を所定過去画像とし、エラー情報とともに生成部１０７へ出力し、変数ｔ_{ｓｔａｒｔ}の値を変数ｔ_ｍａｘの値に更新する。

図１４は、第１実施形態の探索部１０５で行われる１回目の探索処理の手順の流れの他の例を示すフローチャートであり、図１１に示すフローチャートのステップＳ１０５の詳細を示す。図１４に示すフローチャートでは、入力画像と過去画像との類似度を求めて、閾値と比較し、類似度が閾値以上であれば、当該類似度の過去画像を所定過去画像とする。但し、図１４に示す例では、図１１に示すフローチャートのステップＳ１０３において、探索部１０５は、過去画像記憶部１０３から、時系列の過去画像として、先頭の過去画像［０］から時系列の順に過去画像を取得しているものとする。

まず、探索部１０５は、変数ｔ_{ｓｔａｒｔ}を０に初期化する（ステップＳ３０１）。ここで、ｔ_{ｓｔａｒｔ}は、過去画像を特定する変数である。

続いて、探索部１０５は、撮像部１０１から入力された入力画像と過去画像［ｔ_{ｓｔａｒｔ}］との類似度ｓｉｍ［ｔ_{ｓｔａｒｔ}］を求める（ステップＳ３０３）。

続いて、探索部１０５は、ｓｉｍ［ｔ_{ｓｔａｒｔ}］＞Ｔｈであるか否かを確認し（ステップＳ３０５）、ｓｉｍ［ｔ_{ｓｔａｒｔ}］＞Ｔｈであれば（ステップＳ３０５でＹｅｓ）、過去画像［ｔ_{ｓｔａｒｔ}］を所定過去画像として生成部１０７へ出力する（ステップＳ３０９）。ここで、Ｔｈは、類似度の閾値である。

一方、ｓｉｍ［ｔ_{ｓｔａｒｔ}］＞Ｔｈでなければ（ステップＳ３０５でＮｏ）、探索部１０５は、変数ｔ_{ｓｔａｒｔ}をインクリメントし（ステップＳ３０７）、ステップＳ３０３へ戻る。

図１５は、第１実施形態の探索部１０５で行われる２回目以降の探索処理の手順の流れの他の例を示すフローチャートであり、図１１に示すフローチャートのステップＳ１０５の詳細を示す。但し、図１５に示す例では、図１１に示すフローチャートのステップＳ１０３において、探索部１０５は、過去画像記憶部１０３に記憶されている時系列の過去画像のうち、過去画像［ｔ_{ｓｔａｒｔ}］から時系列の順にＴｈ_{ｃｏｕｎｔ}個の過去画像を時系列の過去画像として取得しているものとする。なお、探索部１０５は、取得する時系列の過去画像の先頭を過去画像［ｔ_{ｓｔａｒｔ}］ではなく、過去画像［ｔ_{ｓｔａｒｔ}］よりも数フレーム前に撮像された過去画像（例えば、１フレーム前の過去画像［ｔ_{ｓｔａｒｔ}−１］）としてもよい。

まず、探索部１０５は、変数ｔを変数ｔ_{ｓｔａｒｔ}で初期化し、変数ｉを０に初期化する（ステップＳ３２１）。ここで、ｔは、過去画像を特定する変数であり、ｉは、カウンタとして用いられる変数である。なお、図１５に示すフローチャートでは、ｔ_{ｓｔａｒｔ}は、前回の探索処理において入力画像との類似度が最大となる過去画像を示す変数となる。

続いて、探索部１０５は、ｉ≧Ｔｈ_{ｃｏｕｎｔ}であるか否かを確認し（ステップＳ３２３）、ｉ≧Ｔｈ_{ｃｏｕｎｔ}でなければ（ステップＳ３２３でＮｏ）、撮像部１０１から入力された入力画像と過去画像［ｔ］との類似度ｓｉｍ［ｔ］を求める（ステップＳ３２５）。

続いて、探索部１０５は、ｓｉｍ［ｔ］＞Ｔｈであるか否かを確認し（ステップＳ３２７）、ｓｉｍ［ｔ］＞Ｔｈでなければ（ステップＳ３２７でＮｏ）、変数ｉをインクリメントし、変数ｔをインクリメントし（ステップＳ３２９）、ステップＳ３２３へ戻る。

一方、ｓｉｍ［ｔ］＞Ｔｈであれば（ステップＳ３２７でＹｅｓ）、過去画像［ｔ］を所定過去画像として生成部１０７へ出力し（ステップＳ３３１）、変数ｔ_{ｓｔａｒｔ}の値を変数ｔの値に更新する（ステップＳ３３３）。

なお、ステップＳ３２３において、ｉ≧Ｔｈ_{ｃｏｕｎｔ}であれば（ステップＳ３２３でＹｅｓ）、探索部１０５は、エラー処理を行う（ステップＳ３３５）。具体的には、探索部１０５は、過去画像［ｔ］を所定過去画像とし、エラー情報とともに生成部１０７へ出力し、変数ｔ_{ｓｔａｒｔ}の値を変数ｔの値に更新する。

図１６は、第１実施形態の探索部１０５で行われる１回目の探索処理の手順の流れの他の例を示すフローチャートであり、図１１に示すフローチャートのステップＳ１０５の詳細を示す。図１６に示すフローチャートでは、入力画像と過去画像それぞれとの部分領域毎の類似度を求め、最大となる類似度を閾値と比較し、類似度が閾値以上であれば、当該類似度の過去画像を所定過去画像とする。但し、図１６に示す例では、図１１に示すフローチャートのステップＳ１０３において、探索部１０５は、過去画像記憶部１０３に記憶されている時系列の過去画像のうち、先頭の過去画像［０］から時系列の順にＴｈ_{ｃｏｕｎｔ}個の過去画像を時系列の過去画像として取得しているものとする。なお、第１実施形態では、Ｔｈ_{ｃｏｕｎｔ}の値は、予め設定されている。

まず、探索部１０５は、変数ｉ、変数ｔ_{ｓｔａｒｔ、}及び変数ｍａｘを０に初期化する（ステップＳ４０１）。ここで、ｉは、過去画像を特定するパラメータ及びカウンタを兼ねた変数であり、ｔ_{ｓｔａｒｔ}は、入力画像との類似度が最大となる過去画像を示す変数であり、ｍａｘは、入力画像の部分領域と過去画像の部分領域との類似度の最大値を示す変数である。

続いて、探索部１０５は、変数ｋを０に初期化し（ステップＳ４０３）、変数ｊを０に初期化する（ステップＳ４０５）。ここで、ｋは、入力画像及び過去画像の縦方向の位置を示すパラメータとして用いられる変数であり、ｊは、入力画像及び過去画像の横方向の位置を示すパラメータとして用いられる変数である。

続いて、探索部１０５は、撮像部１０１から入力された入力画像と過去画像［ｉ］との変数ｊ及び変数ｋにより特定される部分領域における類似度ｓｉｍ［ｉ，（ｊ，ｋ）］を求める（ステップＳ４０７）。

続いて、探索部１０５は、ｍａｘ＜ｓｉｍ［ｉ，（ｊ，ｋ）］であるか否かを確認し（ステップＳ４０９）、ｍａｘ＜ｓｉｍ［ｉ，（ｊ，ｋ）］であれば（ステップＳ４０９でＹｅｓ）、変数ｔ_{ｓｔａｒｔ}の値を変数ｉの値に更新し、変数ｍａｘの値を類似度ｓｉｍ［ｉ，（ｊ，ｋ）］の値に更新する（ステップＳ４１１）。なお、ｍａｘ＜ｓｉｍ［ｉ，（ｊ，ｋ）］でなければ（ステップＳ４０９でＮｏ）、探索部１０５は、ステップＳ４１１の処理を行わない。

続いて、探索部１０５は、変数ｊをインクリメントし（ステップＳ４１３）、ｊ＜ｖｅｒｔｉｃａｌであるか否かを確認し（ステップＳ４１５）、ｊ＜ｖｅｒｔｉｃａｌであれば（ステップＳ４１５でＹｅｓ）、ステップＳ４０７へ戻る。ここで、ｖｅｒｔｉｃａｌは、入力画像及び過去画像の横方向の最大値である。

一方、ｊ＜ｖｅｒｔｉｃａｌでなければ（ステップＳ４１５でＮｏ）、探索部１０５は、変数ｋをインクリメントし（ステップＳ４１７）、ｋ＜ｈｅｉｇｈｔであるか否かを確認し（ステップＳ４１９）、ｋ＜ｈｅｉｇｈｔであれば（ステップＳ４１９でＹｅｓ）、ステップＳ４０５へ戻る。ここで、ｈｅｉｇｈｔは、入力画像及び過去画像の縦方向の最大値である。

なお、ｋ＜ｈｅｉｇｈｔでなければ（ステップＳ４１９でＮｏ）、探索部１０５は、変数ｉをインクリメントし（ステップＳ４２１）、ｉ≧Ｔｈ_{ｃｏｕｎｔ}であるか否かを確認し（ステップＳ４２３）、ｉ≧Ｔｈ_{ｃｏｕｎｔ}でなければ（ステップＳ４２３でＮｏ）、ステップＳ４０３へ戻る。

一方、ｉ≧Ｔｈ_{ｃｏｕｎｔ}であれば（ステップＳ４２３でＹｅｓ）、探索部１０５は、ｍａｘ＞Ｔｈであるか否かを確認し（ステップＳ４２５）、ｍａｘ＞Ｔｈであれば（ステップＳ４２５でＹｅｓ）、過去画像［ｔ_{ｓｔａｒｔ}］を所定過去画像として生成部１０７へ出力する（ステップＳ４２９）。ここで、Ｔｈは、類似度の閾値である。

なお、ｍａｘ＞Ｔｈでなければ（ステップＳ４２５でＮｏ）、探索部１０５は、エラー処理を行う（ステップＳ４２７）。具体的には、探索部１０５は、過去画像［ｔ_{ｓｔａｒｔ}］を所定過去画像とし、エラー情報とともに生成部１０７へ出力する。

図１７は、第１実施形態の探索部１０５で行われる２回目以降の探索処理の手順の流れの他の例を示すフローチャートであり、図１１に示すフローチャートのステップＳ１０５の詳細を示す。但し、図１７に示す例では、図１１に示すフローチャートのステップＳ１０３において、探索部１０５は、過去画像記憶部１０３に記憶されている時系列の過去画像のうち、過去画像［ｔ_{ｓｔａｒｔ}］から時系列の順にＴｈ_{ｃｏｕｎｔ}１個の過去画像を時系列の過去画像として取得しているものとする。なお、探索部１０５は、取得する時系列の過去画像の先頭を過去画像［ｔ_{ｓｔａｒｔ}］ではなく、過去画像［ｔ_{ｓｔａｒｔ}］よりも数フレーム前に撮像された過去画像（例えば、１フレーム前の過去画像［ｔ_{ｓｔａｒｔ}−１］）としてもよい。

まず、探索部１０５は、変数ｉ及び変数ｍａｘを０に初期化し、変数ｔ及び変数ｔ_ｍａｘを変数ｔ_{ｓｔａｒｔ}で初期化する（ステップＳ４４１）。ここで、ｉは、カウンタとして用いられる変数であり、ｔは、過去画像を特定する変数であり、ｔ_ｍａｘは、入力画像との類似度が最大となる過去画像を示す変数である。なお、図１７に示すフローチャートでは、ｔ_{ｓｔａｒｔ}は、前回の探索処理において入力画像との類似度が最大となる過去画像を示す変数となる。

続いて、探索部１０５は、変数ｋを０に初期化し（ステップＳ４４３）、変数ｊを０に初期化する（ステップＳ４４５）。

続いて、探索部１０５は、撮像部１０１から入力された入力画像と過去画像［ｔ］との変数ｊ及び変数ｋにより特定される部分領域における類似度ｓｉｍ［ｔ，（ｊ，ｋ）］を求める（ステップＳ４４７）。

続いて、探索部１０５は、ｍａｘ＜ｓｉｍ［ｔ，（ｊ，ｋ）］であるか否かを確認し（ステップＳ４４９）、ｍａｘ＜ｓｉｍ［ｔ，（ｊ，ｋ）］であれば（ステップＳ４４９でＹｅｓ）、変数ｔ_ｍａｘの値を変数ｔの値に更新し、変数ｍａｘの値を類似度ｓｉｍ［ｔ，（ｊ，ｋ）］の値に更新する（ステップＳ４５１）。なお、ｍａｘ＜ｓｉｍ［ｔ，（ｊ，ｋ）］でなければ（ステップＳ４４９でＮｏ）、探索部１０５は、ステップＳ４５１の処理を行わない。

続いて、探索部１０５は、変数ｊをインクリメントし（ステップＳ４５３）、ｊ＜ｖｅｒｔｉｃａｌであるか否かを確認し（ステップＳ４５５）、ｊ＜ｖｅｒｔｉｃａｌであれば（ステップＳ４５５でＹｅｓ）、ステップＳ４４７へ戻る。

一方、ｊ＜ｖｅｒｔｉｃａｌでなければ（ステップＳ４５５でＮｏ）、探索部１０５は、変数ｋをインクリメントし（ステップＳ４５７）、ｋ＜ｈｅｉｇｈｔであるか否かを確認し（ステップＳ４５９）、ｋ＜ｈｅｉｇｈｔであれば（ステップＳ４５９でＹｅｓ）、ステップＳ４４５へ戻る。

なお、ｋ＜ｈｅｉｇｈｔでなければ（ステップＳ４５９でＮｏ）、探索部１０５は、変数ｉをインクリメントし、変数ｔをインクリメントし（ステップＳ４６１）、ｉ≧Ｔｈ_{ｃｏｕｎｔ}であるか否かを確認し（ステップＳ４６３）、ｉ≧Ｔｈ_{ｃｏｕｎｔ}でなければ（ステップＳ４６３でＮｏ）、ステップＳ４４３へ戻る。

一方、ｉ≧Ｔｈ_{ｃｏｕｎｔ}であれば（ステップＳ４６３でＹｅｓ）、探索部１０５は、ｍａｘ＞Ｔｈであるか否かを確認し（ステップＳ４６５）、ｍａｘ＞Ｔｈであれば（ステップＳ４６５でＹｅｓ）、過去画像［ｔ_ｍａｘ］を所定過去画像として生成部１０７へ出力し（ステップＳ４６９）、変数ｔ_{ｓｔａｒｔ}の値を変数ｔ_ｍａｘの値に更新する（ステップＳ４７１）。

なお、ｍａｘ＞Ｔｈでなければ（ステップＳ４６５でＮｏ）、探索部１０５は、エラー処理を行う（ステップＳ４６７）。具体的には、探索部１０５は、過去画像［ｔ_ｍａｘ］を所定過去画像とし、エラー情報とともに生成部１０７へ出力し、変数ｔ_{ｓｔａｒｔ}の値を変数ｔ_ｍａｘの値に更新する。

以上のように第１実施形態によれば、類似度により画像を同期するため、任意に撮像された画像同士を同期することができ、移動体が走行する経路の点検などの用途に好適である。例えば、入力画像と過去画像との同期画像を表示することにより、ユーザ（点検者）の目視による異常検知が容易となり、経路の変化具合の確認が容易となる。

特に第１実施形態によれば、時系列の過去画像を撮像した際の移動体の走行速度と入力画像を撮像する際の移動体の走行速度とが異なっていても、入力画像と過去画像とを同期できる。

第１実施形態では、入力画像撮像時の移動体の走行速度に対し、時系列の過去画像撮像時の移動体の走行速度が速い場合について説明した（図２及び図３参照）。この場合、入力画像に対し過去画像はフレーム数が少なく、入力画像と過去画像との対応がＭ：１となるので、画像同期装置１００（探索部１０５）は、同一の過去画像を複数回用いてフレーム補間を行うことにより、入力画像と同期をとることになる（図４参照）。なお、画像同期装置１００（探索部１０５）は、フレーム補間を行うのではなく、前後の過去画像から補間画像を生成し、入力画像と同期をとるようにしてもよい。

一方、入力画像撮像時の移動体の走行速度に対し、時系列の過去画像撮像時の移動体の走行速度が遅い場合、入力画像に対し過去画像はフレーム数が多く、入力画像と過去画像との対応が１：１となる。従って、画像同期装置１００（探索部１０５）は、過去画像に対しフレームとばしを行うことにより、入力画像と同期をとることになる。

図１８は、第１実施形態において、入力画像に対し過去画像のフレーム数が多い場合の所定過去画像の探索結果の一例を示す図である。なお、図１８においては、画像１４１〜１４３を入力画像、画像１５１〜１５７を過去画像として説明する。図１８に示す例では、入力画像１４１の所定過去画像は過去画像１５１、入力画像１４２の所定過去画像は過去画像１５４、入力画像１４３の所定過去画像は過去画像１５７となっており、過去画像１５２、１５３、１５５、１５６は、入力画像と同期されていない。

（第２実施形態）
第２実施形態では、所定過去画像の類似度が閾値未満である場合、その旨を報知する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図１９は、第２実施形態の画像同期装置２００の生成部２０７の構成の一例を示す図である。図１９に示すように、第２実施形態の生成部２０７は、アラート部２２１と合成部２２３とを含む点で、第１実施形態と相違する。

生成部２０７は、所定第２画像の類似度が閾値未満であることを表す同期画像を生成する。具体的には、アラート部２２１は、探索部１０５から出力された所定過去画像にエラー情報が付されていることを検知する。合成部２２３は、入力画像及び所定過去画像を用いて同期画像を生成する。なお合成部２２３は、アラート部２２１によりエラー情報が検知された場合、所定過去画像にアラート（警告）を示す画像を合成して、同期画像を生成する。なお、合成部２２３は、アラート部２２１によりエラー情報が検知された場合、所定過去画像ではなく入力画像にアラートを示す画像を合成して、同期画像を生成してもよい。また、所定過去画像ではなく入力画像にエラー情報を付す場合には、アラート部２２１に入力画像を入力し、合成部２２３に所定過去画像を入力するようにすればよい。

図２０及び図２１は、第２実施形態の同期画像の一例を示す図である。図２０に示す同期画像では、所定過去画像１４９Ａは、エラー情報が付加された過去画像１４９に赤などの色彩画像が合成されており、入力画像との類似度が閾値未満であることが警告されている。図２１に示す同期画像では、所定過去画像１４９Ｂは、エラー情報が付加された過去画像１４９に警告画像が合成されており、入力画像との類似度が閾値未満であることが警告されている。

なお生成部２０７は、過去画像１４１などエラー情報が付加されていないものについては、例えば、図５及び図６で説明したような同期画像を生成し、所定過去画像による警告表示は行わない。

出力部１０９は、探索部１０５により探索された所定過去画像の類似度が閾値未満である場合、その旨を報知する。具体的には、出力部１０９は、所定過去画像の類似度が閾値未満であることを表す同期画像を表示出力する。

以上のように第２実施形態によれば、入力画像との類似度が閾値未満である所定過去画像については、同期画像において警告表示が行われるので、ユーザ（点検者）は、目視による異常検知を極めて容易に行うことができる。

なお第２実施形態では、表示出力により警告を行う例について説明したが、音声出力により警告を行うようにしてもよい。

（第３実施形態）
第３実施形態では、入力画像撮像時と過去画像撮像時との移動体の速度比に応じて、時系列の過去画像に含まれる過去画像の数を決定する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図２２は、第３実施形態の画像同期装置３００の構成の一例を示す図である。図２２に示すように、第３実施形態の画像同期装置３００は、測定部３２１、過去速度記憶部３２３、及び設定部３２５を更に備える点、並びに探索部３０５が、第１実施形態と相違する。

測定部３２１は、例えば、速度センサなどの速度を測定可能な測定装置により実現できる。過去速度記憶部３２３は、例えば、ＨＤＤ、ＳＳＤ、メモリカード、光ディスク、及びＲＡＭなどの磁気的、光学的、又は電気的に記憶可能な記憶装置により実現できる。設定部３２５は、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。

測定部３２１は、撮像部１０１が搭載された移動体の走行速度を測定する。具体的には、測定部３２１は、時系列の過去画像撮像時における移動体の走行速度である過去速度（第２速度の一例）を測定しておき、入力画像撮像時における電車の走行速度である現在速度（第１速度の一例）を測定する。

過去速度記憶部３２３は、測定部３２１により測定された過去速度を示す速度情報を記憶している。

設定部３２５は、過去速度記憶部３２３から速度情報を取得し、測定部３２１により測定された現在速度と速度情報が示す過去速度とに応じて、時系列の第２画像に含める第２画像の数を設定する。

例えば、入力画像撮像時の移動体の走行速度に対し、時系列の過去画像撮像時の移動体の走行速度が遅い場合、時系列の過去画像の撮像は、入力画像撮像時の１フレーム分の期間において、入力画像撮像時の移動体の走行速度と時系列の過去画像撮像時の移動体の走行速度と速度比分の複数フレーム行われている。

つまり、入力画像ｘのフレームと過去画像ｙのフレームとが対応する場合、入力画像（ｘ＋１）のフレームと過去画像（ｙ＋速度比）のフレームとが対応することになる。例えば、図１８に示す例では、入力画像撮像時の移動体の走行速度は、時系列の過去画像撮像時の移動体の走行速度の３倍であるため、入力画像ｘのフレームと過去画像ｙのフレームとが対応する場合、入力画像（ｘ＋１）のフレームと過去画像（ｙ＋３）のフレームとが対応することになる。

このため設定部３２５は、入力画像撮像時の移動体の走行速度に対し、時系列の過去画像撮像時の移動体の走行速度が遅い場合、時系列の第２画像に含める第２画像の数を速度比以上の値とする必要がある。

一方、入力画像撮像時の移動体の走行速度に対し、時系列の過去画像撮像時の移動体の走行速度が速い場合、入力画像ｘのフレームと過去画像ｙのフレームとが対応する場合、入力画像（ｘ＋１）のフレームと過去画像ｙ又は過去画像（ｙ＋１）のフレームとが対応することになる。

このため設定部３２５は、入力画像撮像時の移動体の走行速度に対し、時系列の過去画像撮像時の移動体の走行速度が速い場合、時系列の第２画像に含める第２画像の数を２つ程度とすればよいことになる。

探索部３０５は、撮像部１０１から入力画像が入力される毎に、過去画像記憶部１０３から、時系列の過去画像として、前回探索された所定過去画像から時系列の順に設定部３２５により設定された数の過去画像を取得し、入力画像と過去画像それぞれとの類似度を求め、類似度が閾値以上の所定過去画像を探索する。

以上のように第３実施形態によれば、時系列の第２画像に含める第２画像の数を最適化できるため、画像同期処理に要する時間を短縮することができる。

（第４実施形態）
第４実施形態では、入力画像内の非異常領域において過去画像との類似度を求めて同期を行う例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図２３は、第４実施形態の画像同期装置４００の構成の一例を示す図である。図２３に示すように、第４実施形態の画像同期装置４００は、検知部４２１及び分割部４２３を更に備える点、並びに探索部４０５が、第１実施形態と相違する。

検知部４２１は、例えば、レーザセンサ、赤外線センサ、遠赤外線センサ、超音波センサ、及び触覚センサなどの異常を検知可能な検知装置により実現できる。分割部４２３は、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。

検知部４２１は、撮像部１０１から入力された入力画像から異常領域を検知する。具体的には、検知部４２１は、撮像部１０１を搭載する移動体に搭載されており、撮像部１０１の撮像領域における異常を検知することにより、入力画像上の異常領域を検知する。

検知部４２１は、例えば、撮像部１０１の撮像領域において、経路（例えば、線路や道路）の破損、隆起、及び障害物の存在など移動体の通常走行が困難となるものや従来存在しないものを検知すると、入力画像上において当該ものが存在する領域を異常領域として検知する。

分割部４２３は、入力画像を検知部４２１により検知された異常領域と当該異常領域以外の領域である非異常領域とに分割する。

探索部４０５は、時系列の過去画像を取得し、非異常領域において、入力画像と過去画像それぞれとの類似度を求める。

以上のように第４実施形態によれば、異常が発生していない非異常領域において、入力画像と過去画像との類似度が求められるため、経路に発生した異常の影響を受けずに、入力画像と過去画像とを同期させることができる。

なお、検知部４２１により入力画像から異常領域が検知された場合、生成部１０７は、当該入力画像を用いて生成した同期画像において、異常が検知された旨を表示するようにしてもよい。このようにすれば、ユーザ（点検者）は、目視による異常検知を極めて容易に行うことができる。

（第５実施形態）
第５実施形態では、符号化データを入力し、当該符号化データを復号して入力画像とする例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図２４は、第５実施形態の画像同期装置５００の構成の一例を示す図である。図２４に示すように、第５実施形態の画像同期装置５００は、撮像部１０１に代えて復号部５０１を備える点が、第１実施形態と相違する。

復号部５０１は、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。

復号部５０１は、移動体に搭載された撮像部により当該移動体が経路を走行中に撮像された画像の符号化データを復号し、入力画像として探索部１０５へ入力する。

以上のように第５実施形態によれば、符号化データを入力する場合であっても、第１実施形態と同様の効果を奏する。

（第６実施形態）
第６実施形態では、同期画像を出力するのではなく、符号化する例について説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図２５は、第６実施形態の画像同期装置６００の構成の一例を示す図である。図２５に示すように、第６実施形態の画像同期装置６００は、出力部１０９が符号化部６０９として機能する。

符号化部６０９は、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。

符号化部６０９は、生成部１０７により生成された同期画像を符号化する。

以上のように第６実施形態によれば、同期画像が符号化されるので、同期画像を他の装置に転送して出力する場合に好適である。

（第７実施形態）
第７実施形態では、画像同期システムについて説明する。以下では、第１実施形態との相違点の説明を主に行い、第１実施形態と同様の機能を有する構成要素については、第１実施形態と同様の名称・符号を付し、その説明を省略する。

図２６は、第７実施形態の画像同期システム７００の構成の一例を示す図である。図２６に示すように、第７実施形態の画像同期システム７００は、符号化装置８００と復号装置９００とを備える。符号化装置８００と復号装置９００とは、ネットワーク７０１を介して接続されている。ネットワーク７０１は、例えば、ＬＡＮ（Local Area Network）やインターネットなどにより実現できる。

符号化装置８００は、図２６に示すように、撮像部１０１と、過去画像記憶部１０３と、探索部１０５と、符号化部８２１と、多重化部８２３とを、備える。

撮像部１０１、過去画像記憶部１０３、及び探索部１０５は、第１実施形態と同様である。符号化部８２１及び多重化部８２３は、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。

符号化部８２１は、撮像部１０１により入力された入力画像を符号化して符号化データを得る。

多重化部８２３は、符号化部８２１により得られた符号化データと、探索部１０５により探索された所定過去画像のインデックスと、を多重化して多重化データを得る。そして、多重化部８２３は、ネットワーク７０１を介して多重化データを復号装置９００へ送信する。

復号装置９００は、図２６に示すように、過去画像記憶部９０３と、分離部９２１と、復号部９２３と、選択部９２５と、生成部１０７と、出力部１０９と、操作部１１１とを、備える。

生成部１０７、出力部１０９、及び操作部１１１は、第１実施形態と同様である。過去画像記憶部９０３は、過去画像記憶部１０３と同様である。分離部９２１、復号部９２３、及び選択部９２５は、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。

分離部９２１は、符号化装置８００からネットワーク７０１を介して多重化データを受信する。そして分離部９２１は、受信した多重化データを符号化データとインデックスとに分離する。

復号部９２３は、分離部９２１により分離された符号化データを入力画像に復号する。

選択部９２５は、分離部９２１により分離されたインデックスを用いて、過去画像記憶部９０３から所定過去画像を選択する。

以上のように第７実施形態によれば、同期画像を他の装置で出力する場合に、ネットワークで転送するデータ量を大幅に削減することができる。

（ハードウェア構成）
上記各実施形態の画像同期装置のハードウェア構成の一例について説明する。上記各実施形態の画像同期装置は、ＣＰＵなどの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤなどの外部記憶装置と、ディスプレイなどの表示装置と、キーボードやマウスなどの入力装置と、通信インタフェースなどの通信装置と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。

上記各実施形態の画像同期装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。

また、上記各実施形態の画像同期装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記各実施形態の画像同期装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記各実施形態の画像同期装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。

上記各実施形態の画像同期装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、ＣＰＵがＨＤＤからプログラムをＲＡＭ上に読み出して実行することにより、上記各部がコンピュータ上で実現されるようになっている。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。

例えば、上記各実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。

以上のように、上記各実施形態によれば、任意に撮像された画像であっても同期することができる。

１００、２００、３００、４００、５００、６００ 画像同期装置
１０１ 撮像部
１０３ 過去画像記憶部
１０５、３０５、４０５ 探索部
１０７、２０７ 生成部
１０９ 出力部
１１１ 操作部
２２１ アラート部
２２３ 合成部
３２１ 測定部
３２３ 過去速度記憶部
３２５ 設定部
４２１ 検知部
４２３ 分割部
５０１ 復号部
６０９ 符号化部
７００ 画像同期システム
８００ 符号化装置
８２１ 符号化部
８２３ 多重化部
９００ 復号装置
９０３ 過去画像記憶部
９２１ 分離部
９２３ 復号部
９２５ 選択部

Claims (9)

1. 予め定められた経路を走行する移動体に搭載され、当該移動体が前記経路を走行中に第１画像を撮像する撮像部と、
   前記移動体が過去に前記経路を走行した際に前記撮像部により撮像された時系列の第２画像を取得し、前記第１画像と前記第２画像それぞれとの類似度を求め、類似度が閾値以上の所定第２画像を探索する探索部と、
   前記第１画像と前記所定第２画像とを用いて同期画像を生成する生成部と、
   前記同期画像を出力する出力部と、
   を備え、
   前記探索部は、前記類似度が前記閾値以上の第２画像が探索されなかった場合、前記類似度が最大となる第２画像を前記所定第２画像とする画像同期装置。
2. 前記出力部は、前記所定第２画像の前記類似度が前記閾値未満である場合、その旨を報知する請求項１に記載の画像同期装置。
3. 前記生成部は、前記所定第２画像の前記類似度が前記閾値未満であることを表す前記同期画像を生成し、
   前記出力部は、前記同期画像を出力する請求項２に記載の画像同期装置。
4. 前記第１画像撮像時の前記移動体の走行速度である第１速度を測定する測定部と、
   前記測定部により測定された前記時系列の第２画像撮像時の前記移動体の走行速度である第２速度を示す速度情報を取得し、前記第１速度と前記第２速度とに応じて、前記時系列の第２画像に含める第２画像の数を設定する設定部とを更に備える請求項１〜３のいずれか１つに記載の画像同期装置。
5. 前記第１画像から異常領域を検知する検知部と、
   前記第１画像を前記異常領域と非異常領域とに分割する分割部と、を更に備え、
   前記探索部は、前記時系列の第２画像を取得し、前記非異常領域において、前記第１画像と前記第２画像それぞれとの類似度を求める請求項１〜４のいずれか１つに記載の画像同期装置。
6. 前記撮像部は、前記第１画像を順次撮像し、
   前記探索部は、前記第１画像毎に、時系列の第２画像を取得し、当該第１画像と取得した前記第２画像それぞれとの類似度を求め、類似度が閾値以上の所定第２画像を探索し、
   前記出力部は、前記第１画像毎に、当該第１画像と前記所定第２画像とに基づく前記同期画像を出力する請求項１〜５のいずれか１つに記載の画像同期装置。
7. 前記出力部は、前記同期画像を符号化する請求項１〜６のいずれか１つに記載の画像同期装置。
8. 予め定められた経路を走行する移動体に搭載された撮像部により当該移動体が前記経路を走行中に撮像された第１画像の符号化データを復号する復号部と、
   前記移動体が過去に前記経路を走行した際に前記撮像部により撮像された時系列の第２画像を取得し、復号された前記第１画像と前記第２画像それぞれとの類似度を求め、類似度が閾値以上の所定第２画像を探索する探索部と、
   前記第１画像と前記所定第２画像とを用いて同期画像を生成する生成部と、
   前記同期画像を出力する出力部と、
   を備え、
   前記探索部は、前記類似度が前記閾値以上の第２画像が探索されなかった場合、前記類似度が最大となる第２画像を前記所定第２画像とする画像同期装置。
9. 符号化装置と復号装置とを備える画像同期システムであって、
   前記符号化装置は、
   予め定められた経路を走行する移動体に搭載され、当該移動体が前記経路を走行中に第１画像を撮像する撮像部と、
   前記移動体が過去に前記経路を走行した際に前記撮像部により撮像された時系列の第２画像を取得し、前記第１画像と前記第２画像それぞれとの類似度を求め、類似度が閾値以上の所定第２画像を探索する探索部と、
   前記第１画像を符号化して符号化データを得る符号化部と、
   前記符号化データと前記所定第２画像のインデックスとを多重化して多重化データを得る多重化部と、を備え、
   前記復号装置は、
   前記多重化データを前記符号化データと前記インデックスとに分離する分離部と、
   前記符号化データを前記第１画像に復号する復号部と、
   前記インデックスを用いて、前記所定第２画像を選択する選択部と、
   前記第１画像と前記所定第２画像とを用いて同期画像を生成する生成部と、
   前記同期画像を出力する出力部と、を備え、
   前記探索部は、前記類似度が前記閾値以上の第２画像が探索されなかった場合、前記類似度が最大となる第２画像を前記所定第２画像とする画像同期システム。

Images