JP7377089B2 - 情報処理装置、情報処理方法 - Google Patents

Description

本発明は、検査対象の検査支援に係る技術に関するものである。

従来、鉄道車両の検査、具体的には、ボルト等の外装部材固定部品の取り付け状態の確認や機器箱に凹み等が形成されていないかの確認などは、検査員や乗務員が現場にて目視で行っている。しかし、現場での目視による検査には、手間や時間がかかる、検査漏れや間違いが生じやすい、等の問題がある。そこで、鉄道車両をカメラで撮影し、撮影画像を用いて鉄道車両を検査する装置が提案されている。

特許文献１では、次のような技術が開示されている。すなわち、カメラを用いて移動する鉄道車両を撮影し、撮影された画像から処理装置を用いて鉄道車両全体の長尺画像データを生成する。そして、長尺画像データから抽出した特徴を、予め記憶された参照長尺画像データから抽出した特徴と比較してその差異を判定することにより、鉄道車両全体の検査を行う。

また、特許文献２では、次のような技術が開示されている。すなわち、鉄道車両の種類を識別し、識別した種類に応じた検査対象物の検査を画像処理によって行う。検査対象物がなかったり、部品の傾きに異常があったりした場合には、異常が検出された撮影画像を表示して検査員が確認し、誤検知でないかを確認し、異常判定精度を向上させる。

特許第4818747号 特開2016-53531号公報

しかしながら、上記の従来の検査方法には次のような問題点が存在する。すなわち、検査員による目視検査や画像解析による異常個所の検知を行うためには、解像度の高いブレの少ない画像を取得する必要がある。しかし、このような画像から鉄道車両全体の長尺画像を生成して比較による検査を行う場合、画像解析処理の負荷は大きい。

また、異常があった場合に、画像によって報知されたとしても、同じような部品が車両に多く備わっている場合、車両中のどの位置に問題があるのか、即座にわからなかった。また、１枚の画像では、異常の全体像がわかりにくい場合もあった。

本発明は、検査対象物体の先頭から後尾までを複数回に分けて撮像した動画像におけるフレームの、該検査対象物体に対する位置関係をユーザに対して通知するための技術を提供する。

本発明の一様態は、検査対象物体の先頭から後尾までを複数回に分けて撮像した動画像におけるフレームを表示装置に表示させる表示制御手段と、前記検査対象物体の特徴部が撮像されたフレームの登場間隔と、前記動画像における着目フレームの位置情報と、に基づいて、前記検査対象物体に対する該着目フレームの位置関係を特定する特定手段とを備え、前記表示制御手段は、前記着目フレームと前記位置関係とを前記表示装置に表示させることを特徴とする。

本発明の構成によれば、検査対象物体の先頭から後尾までを複数回に分けて撮像した動画像におけるフレームの、該検査対象物体に対する位置関係をユーザに対して通知することができる。

検査支援システムの構成例を示す図。 コンピュータ装置のハードウェア構成例を示すブロック図。 列車１と撮像装置１００との関係を説明するための図。 撮像装置１００によるフレームの一例を示す図。 撮像装置１００よりも広角で列車１の動画像を撮像するケースについて説明する図。 車両番号およびフレーム番号を特定するための処理を説明する図。 異常や要目視確認の部分が１フレームで完結されていないケースを説明する図。 ステップＳ１１０７における表示例を示す図。 撮像装置１００の画角の一例を説明する図。 第２の実施形態に係るフレーム表示の一例を示す図。 情報処理装置１３０が行う処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態では、検査対象物体の先頭から後尾までを複数回に分けて撮像した動画像におけるフレームを表示装置に表示させるケースにおいて、該検査対象物体の特徴部が撮像されたフレームの登場間隔と、該動画像における着目フレームの位置情報と、に基づいて該検査対象物体に対する該着目フレームの位置関係を特定し、該着目フレームと該位置関係とを上記の表示装置に表示させる。

先ず、本実施形態に係る検査支援システムの構成例について、図１を用いて説明する。図１に示す如く、本実施形態に係る検査支援システム１０は、撮像装置１００、画像サーバ１２０、情報処理装置１３０、表示装置１４０、を有し、それぞれはネットワーク１５０に接続されている。

先ず、撮像装置１００について説明する。撮像装置１００は、検査対象物体の先頭から後尾までを複数回に分けて撮像する。本実施形態では、検査対象物体は、複数の車両が連結した列車（鉄道車両）であるものとする。この場合、撮像装置１００は、図３（ａ１）、（ａ２）に示す如く、車両基地や車庫入口などで、矢印で示す如く左側から右側に一方向に低速で移動している列車１の側面に向けて固定して配置される。そしてこのように配置された撮像装置１００は、列車１の側面において検査対象となる部品（検査対象部品）が存在する範囲を撮像している。撮像装置１００の撮像範囲には列車１の一部しか含まれない（水平画角範囲内に車両の一部しか収まれない）。しかし、列車１は矢印で示す如く左側から右側に一方向に移動するので、撮像装置１００は、撮像範囲を横切る各車両の側面を複数回に分けて順次撮像した動画像を取得することができる。そして撮像装置１００は、撮像した動画像を画像サーバ１２０に対して送信する。

ここで、本実施形態では、検査対象部品を撮像する際のブレと移動距離が所定の範囲に収まるように、撮像装置１００の撮像条件を調整する。例えば、列車１の移動速度が時速２０ｋｍで、撮像装置１００のシャッタースピードが１／１６０００であるとすると、該撮像装置１００が撮像したフレーム内でのブレが約０．３４７ｍｍとなる。ブレは少ない方がよく、可能な限りシャッタースピードを上げる方が望ましいが、露光量も少ないため、明るさの確保のために、照明が必要となる。したがって、列車１が確認できるようなブレにする必要があり、望ましくは、検査対象部品の１０％程度以内に収める。特にバーコード等を撮像する場合には、できる限りブレをなくすようにシャッタースピードを上げる等、バーコードを移行方向と直交する方向に取り付けるなどの工夫が必要である。また、移動する列車１をもれなく検査するために必要なフレームを取得するため、移動距離＜撮像装置１００の画角となるように、撮像装置１００の画角を設定する。移動距離はフレームレートで決まり、列車１の移動速度が時速２０ｋｍである場合、フレームレート１０ｆｐｓで、５５．５センチメートルとなる。したがって、撮像装置１００の画角は、この値より大きい（例えば、１メートル）に設定する。撮像装置１００の画角を１メートルに設定した場合には、撮像装置１００がＦｕｌｌＨＤ（１９２０ピクセル×１０８０ピクセル）の場合、１９２０ピクセル／メートルとなる。検査対象部品のサイズが、例えば、直径２５ｍｍｍのボルトである場合には、フレーム上では、４８ピクセルで表示される。このボルトの状態が目視で確認できるサイズで取得することが重要であり、フレームレートを上げたり、撮像装置１００の画角を調整したり、複数台の撮像装置を配置するなどして、検査対象部品を含む範囲をもれなく、検査に適切なフレームを取得する。

このようにして撮像装置１００が撮像したフレームの一例を図４（ａ）に示す。このようなフレームを含む動画像を画像サーバ１２０に保存する。なお、画像サーバ１２０に保存するフレームは、検査対象部品を含む範囲内のフレームでよい。然るに例えば、画像サーバ１２０は、撮像装置１００から取得したフレームから動体としての列車１を検知したり、画像認識等で列車１を検知したりして、その検知タイミングで画像サーバ１２０へのフレーム保存処理を開始し、列車１の停止を検知すると該フレーム保存処理を停止させても良い。このようにすると、画像サーバ１２０における記憶容量が節約できる。なお、撮像装置１００がフレームから動体としての列車１を検知したり、画像認識等で列車１を検知したりして、その検知タイミングで画像サーバ１２０へのフレーム送信を開始し、列車１の停止を検知するとフレーム送信を停止するようにしても良い。一旦画像サーバ１２０に保存したフレームから不要な部分を検出して消去する、画像サーバ１２０に保存するフレームを間引く、等の処理をしてもかまわない。

また、一般的な撮像装置の撮像センサは、ローリングシャッター方式であり、移動中の列車１が早いには、図４（ｂ）のように垂直線が斜めになって撮像されることがある。このような場合は、補正をして、フレーム内に写っている検査対象部品の形状を実物の検査対象部品の形状に近づけるような補正を行ってもよい。

ここで、撮像部１０１は、光学系、撮像センサ、光学系や撮像センサを駆動する駆動部、撮像センサからの信号に対して各種の画像処理を行う画像処理部、を有する。

光学系を介して外部から入光した光は撮像センサに入光する。撮像センサは、撮像面に結像された光像を光電変換してアナログ画像信号を生成し、該生成したアナログ画像信号をデジタル画像信号に変換して出力する。画像処理部は、該デジタル画像信号に対して、例えば、ディベイヤ処理、ホワイトバランス処理、階調変換処理等の現像処理や、ガンマ補正などの各種の補正処理を行うことで、撮像画像（フレーム）を生成して出力する。駆動部は制御部１０２による制御の元で光学系を駆動し、撮像センサに到達する被写体像の倍率やピント位置、あるいは光量を調整している。つまり駆動部は、制御部１０２による制御の元で、画角や撮像方向、フレームレート、取得する画像の種類、シャッタースピード、露出、フォーカス等の撮影条件を調整する。撮像部１０１では、例えば、１秒間に３０フレーム分の撮像画像を取得して、３０ｆｐｓの動画像（ライブ映像）を取得することが可能である。

制御部１０２は、撮像装置１００の動作制御を行うものであり、例えば上記の如く、駆動部を制御して、画角や撮像方向、フレームレート、取得する画像の種類、シャッタースピード、露出、フォーカス等の撮像条件を調整する。撮像条件の調整は、情報処理装置１３０から送信された指示に応じて行っても良いし、撮像装置１００に予め設定されている設定値に応じて行っても良いし、撮像装置１００に接続されたコンソール端末を介して行っても良い。また、撮像条件の調整は、撮像装置１００に備わっている操作部をユーザが操作することで入力した指示に応じて行っても良い。また、制御部１０２は、情報処理装置１３０からの指示に応じて、撮像部１０１による撮像の開始／終了を制御する。

通信部１０３は、例えば、ＮＦＳやＣＩＦＳなどのネットワークファイルシステム、または、ＵＤＰやＴＣＰなどのネットワーク通信プロトコルを使用して、通信相手との間でデータのやり取りの調整を行う。

通信部１０３は、動画像をネットワーク１５０を介して画像サーバ１２０に送信する。通信部１０３は、動画像を圧縮符号化してから送信しても良いし、圧縮符号化を行わずに送信しても良い。圧縮符号化の方式は、例えば、Ｈ．２６４、Ｈ．２６５、ＭＪＰＥＧまたはＪＰＥＧなどの規格に基づくものであっても良いし、ｍｐ４やａｖｉ形式などを含む任意の形式の圧縮符号化動画像を生成しても良い。

また通信部１０３は、情報処理装置１３０から送信された各種の情報を受け取って制御部１０２に供給し、制御部１０２は、該供給された各種の情報に基づいて撮像装置１００を制御する。

次に、画像サーバ１２０について説明する。画像サーバ１２０は、撮像装置１００から送信された動画像を保持するためのサーバ装置である。画像サーバ１２０は、情報処理装置１３０からの要求に応じて動画像や該動画像における任意のフレームを該情報処理装置１３０に送信する。また、画像サーバ１２０は、保持している動画像のフレームを適宜編集する。例えば、情報処理装置１３０から送信された編集指示に応じて編集対象のフレームを編集しても良いし、ユーザが画像サーバ１２０に備わっている不図示の操作部を操作することで入力した編集指示に従って編集対象のフレームを編集しても良い。

次に、情報処理装置１３０について説明する。情報処理装置１３０は、画像サーバ１２０から取得した列車１の動画像におけるフレームを表示させる。情報処理装置１３０は、該動画像における着目フレームを表示させる場合、列車１の特徴部が撮像されたフレームの登場間隔と、該動画像における着目フレームの位置情報と、に基づいて列車１に対する該着目フレームの位置関係を特定する。そして情報処理装置１３０は、該着目フレームと該位置関係とを表示させる。また、情報処理装置１３０は、着目フレームと、該着目フレームについて特定した上記の位置関係と、を対応付けて画像サーバ１２０に登録する。

記憶部１３１は、情報処理装置１３０が行うものとして後述する各処理に係る情報を保持する。

設定部１３２は、画像サーバ１２０から取得される動画像における各フレーム内で検査対象部品が通過する範囲を含む領域（設定領域）を規定する情報を設定情報として設定する。設定部１３２は、ユーザが操作部１３５を操作することでフレーム内に指定した矩形領域の４隅の座標位置や対向する２点の座標位置を設定情報として設定しても良いし、予め記憶部１３１に保持されている設定情報を取得しても良い。

画像処理部１３３は、画像サーバ１２０から取得される動画像におけるフレームにおいて設定情報で規定される設定領域内を解析する解析処理を行う。この解析処理には、列車１の特徴部が撮像されたフレームの登場間隔と、動画像における着目フレームの位置情報と、に基づいて列車１に対する着目フレームの位置関係を特定する処理や、該着目フレーム内における検査対象部品の領域を解析する処理も含まれる。

表示部１３４は、液晶画面を有し、画像サーバ１２０から取得される動画像におけるフレームや、該フレームについて画像処理部１３３が行った解析処理の結果を表示する。また、表示部１３４がタッチパネル画面を有している場合には、さらに、ユーザからの様々な操作入力（例えば、後述するような操作入力）を受け付けることができる。

操作部１３５は、キーボード、マウス、タッチパネル画面、各種操作ボタン、等により構成されており、ユーザが各種の操作入力を行うために使用するものである。例えば操作部１３５は、撮像装置１００や情報処理装置１３０の設定を変更するための操作入力、画像サーバ１２０から受信した動画像において表示対象のフレームを指示するための操作入力、動画像の再生を制御するための操作入力、を受け付ける。

例えば、撮像装置１００がネットワーク１５０に複数台接続されている場合や、画像サーバ１２０がネットワーク１５０に複数台接続されている場合に、ユーザは操作部１３５を操作することで、１つの画面で複数台分の撮像装置１００の動画像を表示させるための指示入力を行うことができる。また、ユーザは操作部１３５を操作することで、そのうちの１つの動画像を選択して表示部１３４に表示させるための指示入力を行うことができる。

通信部１３６は、ネットワーク１５０を介して画像サーバ１２０や撮像装置１００との間のデータ通信を行う。例えば、通信部１３６は、画像サーバ１２０から送信される動画像を受信したり、ユーザが操作部１３５を操作して設定した設定情報や各種の情報や命令を撮像装置１００に送信する。また、通信部１０３は、情報処理装置１３０において行った処理結果をネットワーク１５０を介して表示装置１４０に出力したり、表示装置１４０で入力された情報を該表示装置１４０から受信したりする。

制御部１３７は、情報処理装置１３０全体の動作制御を行う。また制御部１３７は、情報処理装置１３０に、撮像装置１００の撮像範囲を含む範囲を照明する照明装置が直接若しくは間接的に接続されている場合には、該照明装置を制御して適切な照度の照明を行わせる。

次に、表示装置１４０について説明する。表示装置１４０は、液晶画面やタッチパネル画面を有する装置であり、例えば、スマートフォン、タブレット端末装置などの携帯端末装置である。表示装置１４０は、撮像装置１００、画像サーバ１２０、情報処理装置１３０等から送信された各種の情報を表示することができる。また表示装置１４０は、撮像装置１００、画像サーバ１２０、情報処理装置１３０に対して各種の指示を送信し、該指示に応じて返信された情報を表示することもできる。

次に、ネットワーク１５０について説明する。ネットワーク１５０は、ＬＡＮやインターネット等のＩＰベースの通信が可能な通信回線である。ネットワーク１５０は、有線／無線の形態を問わず、用途や目的に応じて、必要な形態の通信回線が実装される。

なお、図１に示した検査支援システム１０の構成は一例であり、適宜変更／変形が可能である。例えば、図１では、撮像装置１００の数を１としているが、２以上であっても良い。

また、情報処理装置１３０、画像サーバ１２０、表示装置１４０のそれぞれを単体の装置で構成しても良いが、複数台の装置で構成しても良い。例えば、情報処理装置１３０を複数台の装置で構成する場合、該複数台の装置が協働して情報処理装置１３０の機能を実現させる。これは、画像サーバ１２０および表示装置１４０についても同様である。

また、画像サーバ１２０を設けずに、撮像装置１００による動画像をネットワーク１５０を介して情報処理装置１３０に送信して該情報処理装置１３０に該動画像を保持させても良い。なお、画像サーバ１２０と情報処理装置１３０とを一体化させても良い。

また、動画像を撮像装置１００から直接的若しくは間接的に受信する装置は情報処理装置１３０に限らず、例えば、表示装置１４０が撮像装置１００から動画像を受信して保持しても良い。その場合、情報処理装置１３０が動画像に基づいて行う処理として後述する各処理を表示装置１４０でも実装するようにしても良い。

また、撮像装置１００と情報処理装置１３０とを一体化させて、撮像機能を有する情報処理装置１３０を構成しても良い。この場合、該情報処理装置１３０は、自身が撮像した動画像について処理を行うことになる。

次に、画像サーバ１２０から取得した動画像におけるフレームを表示部１３４に表示させるために情報処理装置１３０が行う処理について、図１１のフローチャートに従って説明する。

ステップＳ１１０１では、制御部１３７は通信部１０３を制御して、画像サーバ１２０から上記の動画像を受信する。なお、制御部１３７は、受信した動画像が圧縮符号化されている場合には、該圧縮符号化された動画像を復号する。

ステップＳ１１０２では、画像処理部１３３は、ステップＳ１１０１で受信した動画像における各フレームについて、該フレームが、列車１の特徴的な部材（特徴的部材）を撮像したフレームであるか否かを判断する。本実施形態では、特徴的部材は、列車１における車両間の連結部（結合部）であるとする。例えば、画像処理部１３３は、フレームにおける上記の設定領域に対する特徴的部材の領域の割合が閾値以上であれば、該フレームは特徴的部材を撮像したフレームであると判断する。フレームにおける特徴的部材の領域の認識については、周知の画像認識技術を用いれば良く、その技術は特定の技術に限らない。

ステップＳ１１０３では、画像処理部１３３は、動画像の先頭（１フレーム目）と、該先頭から１枚目の「特徴的部材のフレーム」と、の間の各フレームには、「列車１における１両目を撮像したフレーム」であることを示す車両番号＝１を割り当てる。同様に画像処理部１３３は、動画像の先頭からＭ（Ｍは１以上の整数）枚目の「特徴的部材のフレーム」と、動画像の先頭から（Ｍ＋１）枚目の「特徴的部材のフレーム」と、の間の各フレームには、車両番号＝（Ｍ＋１）を割り当てる。

ステップＳ１１０４では、画像処理部１３３は、ステップＳ１１０１で受信した動画像から表示対象フレームを選択する。表示対象フレームは画像処理部１３３が動画像の先頭から順次選択した各フレームであっても良いし、ユーザが操作部１３５を操作して指定したフレームであっても良い。

ステップＳ１１０５では、画像処理部１３３は、表示対象フレームに検査対象部品が含まれているか否かを判断する。本実施形態では、検査対象部品は、列車１の各車両の側面に複数存在するボルトであるとする。この場合、画像処理部１３３は、表示対象フレームからボルトの領域が見つかった場合には、該表示対象フレームにはボルトが含まれていると判断し、ボルトの領域が見つからなかった場合には、該表示対象フレームにはボルトが含まれていないと判断する。フレームにおけるボルトの領域の認識については、周知の画像認識技術を用いれば良く、その技術は特定の技術に限らない。

このような判断の結果、表示対象フレームにボルトが含まれていた場合には、処理はステップＳ１１０７に進み、表示対象フレームにボルトが含まれていない場合には、処理はステップＳ１１０６に進む。

ステップＳ１１０６では、画像処理部１３３は、表示対象フレームを表示部１３４に表示させる。ステップＳ１１０７では、画像処理部１３３は、表示対象フレームに割り当てられた車両番号と同じ車両番号が割り当てられているフレームの時系列の先頭から表示対象フレームが何フレーム目かを表すフレーム番号（フレーム位置）を特定する。そして画像処理部１３３は、表示対象フレームと、該表示対象フレームに割り当てられた車両番号と、該表示対象フレームについて特定したフレーム番号および上記時系列のフレーム数に基づく該表示対象フレームの位置情報（フレーム位置情報）と、を表示部１３４に表示させる。

ステップＳ１１０７における表示例を図８に示す。図８には、２両目の車両を撮像した２０フレーム分の撮像画像の時系列において先頭フレーム（１フレーム目）の撮像画像を表示するＧＵＩ（グラフィカルユーザインターフェース）の表示例を示している。

このＧＵＩには更に、該撮像画像に割り当てられている車両番号＝２と、列車１に対する該撮像画像のフレーム位置情報が（該撮像画像について特定されたフレーム番号（＝１）／２両目の車両を撮像したフレーム数（＝２０））の形式で表示されている。

このような、車両番号およびフレーム番号を特定するための処理について、図６を用いて説明する。図６（ａ）は、動画像における一部のフレームの時系列を示しており、矢印が時間の進行方向を表している。つまり、図６（ａ）に示した４フレームのうち左端のフレームが最も過去のフレームであり、右端のフレームが最新のフレームである。図６（ａ）の４フレームは、撮像装置１００の撮像範囲内を、列車１の特徴部である連結部が通過しときに撮像されたフレームである。つまり、左端のフレームには連結部は写っていないが、左端から２つ目のフレームの左端には連結部が写っており、左端から３つ目のフレームの全面には連結部が写っており、右端のフレームの右端には連結部が写っている。

撮像装置１００による動画像から車両番号およびフレーム番号を特定するための処理について、図６（ｂ）を用いて説明する。「動画像における先頭フレーム」から「連結部がフレーム全面を占めるフレーム」の直前のフレームまでのフレーム区間が列車１における１両目に対応するフレーム区間（フレーム区間１）となる。よって、フレーム区間１に属する各フレームには、車両番号＝１を割り当てる。

そして、フレーム区間１の末端フレーム（連結部がフレーム全面を占めるフレーム）の直後のフレームから、次の「連結部がフレーム全面を占めるフレーム」の直前のフレームまでのフレーム区間が列車１における２両目に対応するフレーム区間（フレーム区間２）となる。よって、フレーム区間２に属する各フレームには、車両番号＝２を割り当てる。ここで、フレーム区間２に属するフレームの数をＮとすると、該フレーム区間２の先頭フレームから順にフレーム番号１，２，…，（Ｎ－１），Ｎを割り当てる。よって、例えば、フレーム区間２において先頭から３フレーム目のフレームを表示対象フレームとして表示する場合には、図８のＧＵＩの場合には、フレーム位置情報として「３／Ｎ」が表示されている。３両目以降についても同様である。なお、設定に応じて、フレーム位置情報の表示を省略しても良い。

また、図８では、フレームから認識したボルト群のうち正常に車両に取り付けられているボルトには指標８０１を重畳させており、正常に車両に取り付けられていないボルトの位置には、指標８０１とは視覚的に異なる指標８０２を重畳させている。このような指標を表示させるためには、例えば、画像処理部１３３は、ボルトに付されたマーカの向きをフレームから認識し、認識した向きに応じて該ボルトが正常に車両に取り付けられているか否かを判断する必要がある。例えば、位置ずれがわかるように、ボルトの締結時に、ボルトの表面と車両のボルトを取り付ける面とに連続した線（合いマーク）をつけることがある。この線が、ボルトの表面とボルトを取り付ける面で連続していないことを検出すれば、ボルトが緩んでいると判断できる。また、その形状自身で向きのわかるノブやハンドルなどの部材の場合には、例えば、その長手方向が該フレーム内における垂直方向から±５度以内であれば、正常に車両に取り付けられている部材であると判断する。一方、フレームから検出した部材の長手方向が該フレーム内における垂直方向から±５度以内ではない場合は、正常に車両に取り付けられている部材ではないと判断する。

なお、指標８０１や指標８０２の重畳表示は省いても良い。また、フレーム中のボルトが正常に車両に取り付けられているか否かをユーザに通知する方法は、上記のような指標の表示に限らず、様々な方法を採用することができる。また、フレーム中のボルトが正常に車両に取り付けられているか否かを判断するためのアルゴリズムについても、特定のアルゴリズムに限らない。例えば、既知の画像処理アルゴリズムの組み合わせや、正常なボルトの画像を使用して機械学習を行ったモデルを用いて、フレーム中のボルトが正常に車両に取り付けられているか否かを判断することもできる。また、画像からボルトについて判断（検査）する内容は、正常に車両に取り付けられているか否かに限らない。

また、ステップＳ１１０６やステップＳ１１０７では、表示対象フレームを含む各種の情報を表示部１３４に表示させていた。しかし表示させる装置は表示部１３４だけに限らず、例えば、表示部１３４に加えて若しくは代えて表示装置１４０に表示対象フレームを含む各種の情報を表示させても良い。

また、本実施形態において、ステップＳ１１０５、およびステップＳ１１０６の処理は必須ではなく、表示対象フレームに検査対象部品が含まれていなくとも、ステップＳ１１０７の処理を実行しても良い。しかしながら、ステップＳ１１０５、およびステップＳ１１０６の処理を実行することで、検査対象部品が含まれるフレームと、含まれないフレームとをユーザが認識しやすくなる。そうすると、検査対象部品が含まれないフレームの確認はスキップするという判断をユーザが行うことが可能となり、フレームの確認の作業効率を向上させることができるという格別の効果を得ることが可能となる。

また、他の実施形態として、ステップＳ１１０５で表示対象フレームにボルトが含まれていない場合、当該表示対象フレームを表示しなくてもよい。そうすることで、確認の必要性が低いフレームをユーザが確認する作業を省略でき、フレームの確認の作業効率を向上させることができるという格別の効果を得ることが可能となる。

また、制御部１３７は、動画像におけるフレームに割り当てられた車両番号（ステップＳ１１０７の対象となったフレームについては更にフレーム番号）を該フレームと関連づけても良い。また、制御部１３７は、ボルトの領域が見つかったフレームについては、該領域を規定する情報（例えば該領域の四隅の画像座標）を該フレームと関連づけても良い。このように、制御部１３７は、動画像におけるフレームについて上記の処理によって得られた各種の情報（メタ情報）を該フレームと関連づけても良い。

また、制御部１３７は、動画像における１以上のフレームにメタ情報を関連づけた後、該動画像を該メタ情報と共に画像サーバ１２０に送信して該画像サーバ１２０に該動画像及びメタ情報を登録させても良い。この場合、情報処理装置１３０は、例えば、メタ情報が関連づけられたフレームを含む動画像を画像サーバ１２０から受信して該動画像におけるフレームを表示する場合に、該フレームにメタ情報が関連づけられている場合には、該メタ情報も表示する。

また、メタ情報には、列車１の編成番号や機体番号、種類などの該列車１を特定するための情報を含めても良い。例えば、ユーザが情報処理装置１３０等の装置を用いて手動でこのようなメタ情報を入力してフレームに関連づけても良い。また、撮像装置１００の撮像範囲を列車１が横切る時間帯が予め分かっている場合には、その情報をもとに、列車１を特定するための情報をフレームに関連づけても良い。また、列車１に、これらの情報が数字やバーコード等で付されている場合には、撮像装置１００により撮像されたフレームから該数字やバーコードを読み取って対応する情報を取得し、該取得した情報をメタ情報としてフレームに関連づけても良い。

次に、ステップＳ１１０８では、制御部１３７は、終了指示が入力されたか否かを判断する。例えば、ユーザが操作部１３５を操作して終了指示を入力した場合や、動画像の再生が完了した後でユーザに問い合わせた結果に対してユーザが操作部１３５を操作して終了指示を入力した場合には、図１１のフローチャートに従った処理は終了する。一方、終了指示が入力されていない限りは、処理はステップＳ１１０５に戻り、以降の処理を行う。

次に、上記のＧＵＩについて、具体的な使用例に基づいて説明する。図１１のフローチャートに従って動画像を再生するケースであっても、メタ情報を関連づけた動画像を画像サーバ１２０からダウンロードして再生するケースであっても、ユーザはＧＵＩを操作して該ＧＵＩにおける動画像の再生を制御することができる。

ＧＵＩには、図８に示す構成に加えて、次のような、動画像の再生を制御するためのボタン群が設けられている。このボタン群には、動画像を再生するための再生ボタン、動画像の再生を一時停止するための一時停止ボタン、ＧＵＩに表示するフレームを１フレームずつ進める／戻すためのコマ送りボタン、動画像の再生を停止するための停止ボタン、が含まれている。

例えば、ＧＵＩには、動画像における先頭フレームから後端フレームまでの各フレームが順次表示され（動画像が再生され）、これによりＧＵＩには、列車１の先頭から後尾までの各フレームが表示されることになる。情報処理装置１３０のユーザ（例えば、検査員）は操作部１３５を用いてＧＵＩにおける上記のボタン群を操作することで、この再生を制御することができる。例えば、より時間をかけて確認したいフレームがＧＵＩに表示された時点でユーザが操作部１３５を用いて一時停止ボタンを指示することで、動画像の再生は一時停止し、ＧＵＩには該フレームが表示された状態となる。なお、ＧＵＩの表示制御および該ＧＵＩに対するユーザ入力に応じて行われる処理は何れも、制御部１３７が行う。

また、図５（ａ）、（ｂ）に示す如く、撮像装置１００よりも広角で列車１の動画像を撮像する撮像装置１００ａを新たに設けても良い。この場合、撮像装置１００ａによる動画像もまた画像サーバ１２０に登録され、情報処理装置１３０は、撮像装置１００による動画像に加えて、撮像装置１００ａによる動画像も取得する。ここで、撮像装置１００ａと撮像装置１００とは同期して動作しており、撮像装置１００による動画像のＮ（Ｎは自然数）フレーム目と撮像装置１００ａによる動画像のＮフレーム目とは同時刻のフレームであるものとする。そして情報処理装置１３０は、図５（ｃ）に示す如く、撮像装置１００による動画像のフレーム４と、撮像装置１００ａによる動画像のフレーム３と、を並べたＧＵＩを表示部１３４に表示させても良い。ここで、フレーム４およびフレーム３はそれぞれ、撮像装置１００および撮像装置１００ａによって同時刻に撮像されたフレームである。このようなＧＵＩを表示することで、ユーザは、列車１におけるフレーム４の位置関係を把握することができる。なお、フレーム３内に点線で示す如く、フレーム４の撮像範囲に対応するフレーム３内の領域を明示的に表示しても良い。

なお、本実施形態では、列車１の特徴部が連結部であるケースについて説明したが、特徴部は連結部に限らず、例えば、列車１の窓、車輪、機器、ボルト、ステー、ハンドル、表示板などを列車１の特徴部としても良い。

また、あらかじめ、列車１の特徴部が車両のどの位置にあるかを示す情報を作成して記憶部１３１に保存しておいても良い。このために、列車１の図面や列車１の全体の画像を取得しておいてもよい。また、上記のようなマーク等をあらかじめ列車１の特徴部に付与し、そのマークを画像上で検出して列車１の特徴部の位置を得てもよい。

予めこの位置と部位名等を列車１が定速で移動しておらず、より詳細に位置情報を検出する場合には、隣りあうフレームの特徴量を比較して速度を求め、その速度を上記の位置算出に加味してもよい。

また、図６（ｃ）のように、隣り合ったフレームに映った重なり部分を除外して、位置が特定された列車１の特徴部が撮影されたフレームの間をつなぎ合わせて、その位置を得ることも可能である。

なお、検査支援システム１０では、最終的な目視判断の結果をユーザが操作部１３５を操作して入力し、該結果を対応するフレームに関連づけることで、上記判断の精度を更に向上させることができる。

このように、上記の位置の検出や、画像解析により異常や要目視確認の検出を行った場合には、表示の際に、確認すべき対象がないフレームや正常なフレームを飛ばしたり、表示切り替え速度を速くしたりして表示することも可能となる。その場合も、確認すべきフレームの表示は、列車１の先頭もしくは後方から順に行う。

そして、異常や要目視確認の必要があった場合、検査員は現場にて確認を行い、確認や修繕の状況を該当箇所のフレームに紐づけて入力する。その際、修繕中や、修繕前後の画像を取得して、該当フレームに紐づけてもよい。

また、異常や要目視確認の部分は１フレームで完結されていない場合がある。例えば、図７（ａ）に示す如く、連続する２フレームのそれぞれにおいて傷７０１が検知されることもある。このような場合には、図７（ｂ）に示す如く、ユーザが操作部１３５を操作して「連続する２フレーム」を連結して保存、表示する。

また、予めユーザが一括で表示したい部品群に関する情報を登録しておき、それらが複数フレームにまたがって取得される場合には、重複なく１フレームの画像に連結するような処理を行って、その画像を順に表示してもよい。

このような構成にすることで、検査員や乗務員が現場にて目視で行っている作業を、画像によりもれなく行うことができ、かつ、省力化することができ、リモートモニタリングにより、作業の集約化も図ることができる。

＜変形例＞
図１に示した情報処理装置１３０を構成する各機能部はハードウェアで実装しても良いが、一部をソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、例えば、記憶部１３１、表示部１３４、操作部１３５、通信部１３６をハードウェアで実装し、制御部１３７、設定部１３２、画像処理部１３３をソフトウェアで実装しても良い。後者の場合、このようなソフトウェアを実行可能なコンピュータ装置は情報処理装置１３０に適用可能である。

情報処理装置１３０に適用可能なコンピュータ装置のハードウェア構成例について、図２のブロック図を用いて説明する。なお、図２に示した構成は、情報処理装置１３０に適用可能なコンピュータ装置のハードウェア構成の一例であり、図２に示した構成に限定することを意図したものではない。

ＣＰＵ２００は、ＲＯＭ２０１やＲＡＭ２０２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ２００は、コンピュータ装置全体の動作制御を行うと共に、情報処理装置１３０が行うものとして上述した各処理を実行若しくは制御する。

ＲＯＭ２０１には、コンピュータ装置の設定データや起動プログラム等が格納されている。ＲＡＭ２０２は、ＲＯＭ２０１やＨＤ（ハードディスク）２０５からロードされたコンピュータプログラムやデータ、外部記憶ドライブ２０３がメディア２０４から読み取ったコンピュータプログラムやデータ、を格納するためのエリアを有する。さらにＲＡＭ２０２は、Ｉ／Ｆ２０８を介して外部の装置（例えば撮像装置１００、画像サーバ１２０、表示装置１４０）から受信したデータを格納するためのエリアを有する。さらにＲＡＭ２０２は、ＣＰＵ２００が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ２０２は、各種のエリアを適宜提供することができる。

外部記憶ドライブ２０３は、メディア２０４に対するコンピュータプログラムやデータの読み書きを行う。メディア２０４には、例えば、フロッピー（登録商標）ディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＰＣカード、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＩＣメモリカード、ＭＯ、メモリスティック等が利用可能である。

ＨＤ２０５には、ＯＳ（オペレーティングシステム）や、情報処理装置１３０が行うものとして上述した各処理をＣＰＵ２００に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。

ＨＤ２０５に保存されているコンピュータプログラムには、制御部１３７、設定部１３２、画像処理部１３３の各機能部の機能をＣＰＵ２００に実行させるためのコンピュータプログラムが含まれている。また、ＨＤ２０５には、上記のＧＵＩのコンピュータプログラムも保存されている。ＨＤ２０５に保存されているデータには、上記の説明において既知の情報として説明したデータ（上記の閾値など）、ＧＵＩに係るデータ、が含まれている。

ＨＤ２０５に保存されているコンピュータプログラムやデータは、ＣＰＵ２００による制御に従って適宜ＲＡＭ２０２にロードされ、ＣＰＵ２００による処理対象となる。なお、外部記憶ドライブ２０３やＨＤ２０５は、図１に示した記憶部１３１として実装可能である。なお、ＨＤ２０５の代わりに、フラッシュ（登録商標）メモリ等の不揮発性記憶装置を用いても良い。

指示入力装置２０６は、上記の操作部１３５として実装可能であり、ユーザが操作することで各種の指示をＣＰＵ２００に対して入力することができる。

出力装置２０７は、ＣＰＵ２００による処理結果を出力する装置である。例えば、出力装置２０７は上記の表示部１３４として機能しても良く、その場合、出力装置２０７は、ＣＰＵ２００による処理結果を画像や文字等でもって表示する。また、出力装置２０７は、ＣＰＵ２００による処理結果を音として出力するスピーカ、ヘッドフォン端子等であっても良い。

Ｉ／Ｆ２０８は、ネットワーク１５０を介して撮像装置１００、画像サーバ１２０、表示装置１４０、との間のデータ通信を行うための通信インターフェースとして機能するものである。Ｉ／Ｆ２０８は、無線通信モジュールを含むことができる。無線通信モジュールは、アンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。また、Ｉ／Ｆ２０８は、有線接続のための有線通信モジュールを含むことができる。有線通信モジュールは、１つ以上の外部ポートを介して他のデバイスとの通信を可能とする。また、Ｉ／Ｆ２０８は、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。なお、Ｉ／Ｆ２０８は、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。Ｉ／Ｆ２０８は、上記の通信部１３６として実装可能である。

ＣＰＵ２００、ＲＯＭ２０１、ＲＡＭ２０２、外部記憶ドライブ２０３、ＨＤ２０５、指示入力装置２０６、出力装置２０７、Ｉ／Ｆ２０８、は何れもシステムバス２０９に接続されている。

［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。本実施形態では、鉄道車両が車庫に停車中に、該鉄道車両の下部（主に床下）に設置された装置や器具などを検査する。本実施形態では、例えば、図３（ｂ）に示すように複数の撮像装置１００を鉄道車両の側面に向けて設置する。

本実施形態では、停止した列車１における検査対象部品を撮像するため、ブレ等は考慮しなくてもよいが、広角で撮像すると、中央部の撮像装置１００と両端における撮像装置１００とでは、検査対象部品の見え方が変わってしまう。したがって、図９のように、撮像範囲（画角）は、撮像装置１００から見て左右５０度以下とするのがよい。列車等は、停止する位置も必ずしも同じではないので、左右４５度として配置するのが好ましい。

各撮像装置１００から取得したフレームは、第１の実施形態と同様に、列車１の先頭もしくは後方から順に表示部１３４や表示装置１４０にて表示される。本実施形態に係るフレーム表示について、図１０を用いて説明する。

図１０（ａ）、（ｂ）に示す如く、カメラａ、カメラｂ、カメラｃは何れも列車の１両目の車両（右端の車両）の側面を撮像するべく設置されたものである。カメラａは１両目の前付近における側面を撮像するためのもので、カメラｂは１両目の中付近における側面を撮像するためのもので、カメラｃは１両目の後付近における側面を撮像するためのものである。

また、カメラｄ、カメラｅ、カメラｆは何れも列車の２両目の車両（中央の車両）の側面を撮像するべく設置されたものである。カメラｄは２両目の前付近における側面を撮像するためのもので、カメラｅは２両目の中付近における側面を撮像するためのもので、カメラｆは２両目の後付近における側面を撮像するためのものである。

また、カメラｇ、カメラｈ、カメラｉは何れも列車の３両目の車両（左端の車両）の側面を撮像するべく設置されたものである。カメラｇは３両目の前付近における側面を撮像するためのもので、カメラｈは３両目の中付近における側面を撮像するためのもので、カメラｉは３両目の後付近における側面を撮像するためのものである。

カメラａ～ｉは何れも同期して撮像を行っており、５フレーム分の撮像を行う。そしてＧＵＩでは、例えば、カメラｄによる１フレーム目を表示する場合、図１０（ｃ）に示す如く、図１０（ｂ）のテーブルから、カメラｄの位置「２両目前」を取得して表示する。また、全５フレームであることを示す数値「５」と、全５フレームのうち１フレーム目であることを示す数値「１」と、を図１０（ｂ）のテーブルから取得し、該取得した数値を用いてフレーム位置情報「１／５」を特定してＧＵＩに表示する。

このような構成では、撮像装置１００の位置やＰＴＺ（パン、チルト、ズーム）のプリセット位置により車両のどの位置のフレームであるかを特定することができ、フレームに紐づけることができる。

［第３の実施形態］
本実施形態では、図３（ｃ）に示す如く、移動する列車１の車両ごとに該車両の検査対象部品を撮像する撮像装置１００を設ける。そして、撮像装置１００ごとに、フレーム、該撮像装置１００に対応する車両の車両番号、フレーム位置情報、を表示する。このような構成は、例えば、第１の実施形態よりも高速で移動する列車１が減速する駅構内にも適用することができる。

［第４の実施形態］
上記の各実施形態では、検査対象物体は、複数の車両が連結した列車（鉄道車両）であるものとして説明を行ったが、検査対象物体は列車に限らず、航空機やバスなどの長尺の移動体であっても良い。また、画像を保持する装置や、情報や要求の送信元および送信先等、上記の各実施形態にて説明した構成は一例であり、適宜変更／変形が可能である。

また、上記の各実施形態において使用した数値、方法、処理の実行タイミング等は、具体的な説明を行うために一例として挙げたものであり、各実施形態がこれらの一例に限定されることを意図したものではない。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：撮像装置 １０１：撮像部 １０２：制御部 １０３：通信部 １２０：画像サーバ １３０：情報処理装置 １３１：記録部 １３２：設定部 １３３：画像処理部 １３４：表示部 １３５：操作部 １３６：通信部 １３７：制御部 １４０：表示装置 １５０：ネットワーク

Claims (12)

1. 検査対象物体の先頭から後尾までを複数回に分けて撮像した動画像におけるフレームを表示装置に表示させる表示制御手段と、
   前記検査対象物体の特徴部が撮像されたフレームの登場間隔と、前記動画像における着目フレームの位置情報と、に基づいて、前記検査対象物体に対する該着目フレームの位置関係を特定する特定手段と
   を備え、
   前記表示制御手段は、前記着目フレームと前記位置関係とを前記表示装置に表示させる
   ことを特徴とする情報処理装置。
2. 前記表示制御手段はさらに、前記着目フレームにおける検査対象部品の検査の結果を前記表示装置に表示させることを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段はさらに、前記動画像よりも広角で前記検査対象物体の先頭から後尾までを複数回に分けて撮像した動画像におけるフレームを前記表示装置に表示させることを特徴とする請求項１または２に記載の情報処理装置。
4. 更に、
   前記着目フレームと前記位置関係とを関連づけて外部の装置に送信する手段を備えることを特徴とする請求項１ないし３のいずれか１項に記載の情報処理装置。
5. 前記表示制御手段は、ユーザの操作に応じて前記動画像の再生を制御することを特徴とする請求項１ないし４のいずれか１項に記載の情報処理装置。
6. 前記検査対象物体は複数の車両が連結した列車であり、前記特徴部は該列車における車両間の連結部であることを特徴とする請求項１ないし５のいずれか１項に記載の情報処理装置。
7. 前記特定手段は、
   前記動画像の先頭からＭ（Ｍは１以上の整数）枚目の前記連結部が撮像されたフレームと、前記動画像の先頭から（Ｍ＋１）枚目の前記連結部が撮像されたフレームと、の間の各フレームには、車両番号として（Ｍ＋１）を割り当て、
   前記着目フレームに割り当てられた車両番号と同じ車両番号が割り当てられているフレームの時系列の先頭から前記着目フレームが何フレーム目かを表すフレーム番号を特定し、該フレーム番号および該時系列のフレーム数に基づく前記位置関係を特定する
   ことを特徴とする請求項６に記載の情報処理装置。
8. 更に、
   検査対象物体の先頭から後尾までを複数回に分けて撮像した動画像を取得する取得手段を備えることを特徴とする請求項１ないし７のいずれか１項に記載の情報処理装置。
9. 前記取得手段は、外部の撮像装置によって撮像された動画像をネットワークを介して取得することを特徴とする請求項８に記載の情報処理装置。
10. 前記取得手段は、前記情報処理装置が有する撮像装置によって撮像された動画像を取得することを特徴とする請求項８に記載の情報処理装置。
11. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置の表示制御手段が、検査対象物体の先頭から後尾までを複数回に分けて撮像した動画像におけるフレームを表示装置に表示させる表示制御工程と、
    前記情報処理装置の特定手段が、前記検査対象物体の特徴部が撮像されたフレームの登場間隔と、前記動画像における着目フレームの位置情報と、に基づいて、前記検査対象物体に対する該着目フレームの位置関係を特定する特定工程と
    を備え、
    前記表示制御工程では、前記着目フレームと前記位置関係とを前記表示装置に表示させる
    ことを特徴とする情報処理方法。
12. コンピュータを、請求項１ないし１０のいずれか１項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。

Images