JP6989036B2 - 画像処理装置 - Google Patents

Description

本発明は、撮影画像の向きを判定する画像処理装置、画像処理方法、および記録媒体に関する。

橋梁などの構造物を撮像装置で撮影した画像を解析して、構造物の健全性の診断を行う技術が、種々提案されている（例えば、特許文献１参照）。

ＷＯ２０１６／１５２０７６号公報

橋梁などの大規模な構造物では、複数の診断箇所を設定し、それぞれの診断箇所を撮像装置で撮影した画像を解析して健全性の診断を行う。また、同じ構造物を数か月に１度といった周期で診断を繰り返すことがある。このように同時期または異なる時期に複数の診断箇所を撮影する場合、診断結果の比較などの便宜を図るために、全ての診断箇所の撮影画像の向きを合わせるのが一般的である。しかし、橋梁などの床版を下から撮影するような状況などでは、撮影画像自体から画像の向きを判定することは困難である。その理由は、画像の向きを特定できる形状や模様などの被写体が床版などの被写体に存在しないことが多いためである。

本発明の目的は、上述した課題、すなわち、画像の向きを特定できる形状や模様などの被写体が画像に写っていない場合、画像自体から画像の向きを判定するのは困難である、という課題を解決する画像処理装置を提供することにある。

本発明の一形態に係る画像処理装置は、
構造物の表面を交通荷重の通過中に撮影した時系列画像を、複数の部分領域に空間的に分割して、複数の部分時系列画像を生成する分割手段と、
前記複数の部分時系列画像から、前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を計測する計測手段と、
前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を比較する比較手段と、
前記比較の結果に基づいて、前記交通荷重の通過方向に対する前記時系列画像の向きを判定する判定手段と、
を備える。

本発明の他の形態に係る画像処理方法は、
構造物の表面を交通荷重の通過中に撮影した時系列画像を、複数の部分領域に空間的に分割して、複数の部分時系列画像を生成し、
前記複数の部分時系列画像から、前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を計測し、
前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を比較し、
前記比較の結果に基づいて、前記交通荷重の通過方向に対する前記時系列画像の向きを判定する。

本発明の他の形態に係るコンピュータ読み取り可能な記録媒体は、
構造物の表面を交通荷重の通過中に撮影した時系列画像を、複数の部分領域に空間的に分割して、複数の部分時系列画像を生成する処理と、
前記複数の部分時系列画像から、前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を計測する処理と、
前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を比較する処理と、
前記比較の結果に基づいて、前記交通荷重の通過方向に対する前記時系列画像の向きを判定する処理と、を
コンピュータに行わせるためにプログラムを記録する。

本発明は上述した構成を有することにより、画像の向きを特定できる形状や模様などの被写体が画像に写っていなくても、画像自体から画像がどの方向を向いているのかを判定することができる。

本発明の第１の実施形態に係る診断装置の構成例を示す図である。 本発明の第１の実施形態に係る診断装置におけるコンピュータの構成の一例を示すブロック図である。 本発明の第１の実施形態に係る診断装置におけるコンピュータの診断箇所データベースに記憶されている診断箇所情報のフォーマットの一例を示す図である。 本発明の第１の実施形態に係る診断装置におけるコンピュータの診断結果データベースに記憶されている診断結果情報のフォーマットの一例を示す図である。 本発明の第１の実施形態に係る診断装置の動作の一例を示すフローチャートである。 本発明の第１の実施形態に係る診断装置の画面表示部に表示される初期画面の例を示す図である。 本発明の第１の実施形態に係る診断装置におけるコンピュータが実行する新規診断処理の一例を示すフローチャートである。 本発明の第１の実施形態に係る診断装置の画面表示部に表示される新規診断画面の一例を示す図である。 本発明の第１の実施形態に係る診断装置におけるコンピュータが実行する継続診断処理の一例を示すフローチャートである。 本発明の第１の実施形態に係る診断装置の画面表示部に表示される診断箇所選択画面の一例を示す図である。 本発明の第１の実施形態に係る診断装置の画面表示部に表示される撮影位置・撮影方向ガイド画面の一例を示す図である。 本発明の第１の実施形態に係る診断装置が撮影位置・撮影方向ガイド画面を作成して表示する動作の詳細を示すフローチャートである。 本発明の第１の実施形態に係る診断装置における画像の向き判定部の構成例を示す図である。 本発明の第１の実施形態における分割前の時系列画像と分割後の部分時系列画像の関係の一例を示す図である。 本発明の第１の実施形態における部分時系列画像の部分領域のたわみ量の時間的な変化の一例を示す模式図である。 本発明の第１の実施形態における２つの部分領域のたわみ量の時間的な変化の例を示すグラフである。 本発明の第１の実施形態における２つの部分領域のたわみ量の差の時間的な変化の例を示すグラフである。 本発明の第１の実施形態において撮影画像の横方向が橋軸方向と平行になっているときの左上ブロック、左下ブロック、右上ブロック、右下ブロックの配列状態を示す図である。 本発明の第１の実施形態における部分時系列画像の部分領域のたわみ量の時間的な変化のバリエーションを示す図である。 本発明の第１の実施形態において橋軸方向に平行に並ぶ２つのブロックのたわみ量の差の時間的な変化の例を示すグラフである。 本発明の第１の実施形態において橋軸方向に垂直に並ぶ２つのブロックのたわみ量の差の時間的な変化の例を示すグラフである。 本発明の第１の実施形態において撮影画像の横方向が橋軸方向と垂直になっているときの左上ブロック、左下ブロック、右上ブロック、右下ブロックの配列状態を示す図である。 本発明の第１の実施形態において撮影画像の横方向が橋軸方向に対して時計回り方向に４５度傾いているときの左上ブロック、左下ブロック、右上ブロック、右下ブロックの配列状態を示す図である。 本発明の第１の実施形態において撮影画像の横方向が橋軸方向に対して反時計回り方向に４５度傾いているときの左上ブロック、左下ブロック、右上ブロック、右下ブロックの配列状態を示す図である。 本発明の第２の実施形態に係る画像処理装置のブロック図である。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る診断装置１００の構成例を示す図である。図１を参照すると、診断装置１００は、コンピュータ１１０とこれにケーブル１２０を介して接続されたカメラ１３０とから構成されている。

カメラ１３０は、診断対象である構造物１４０の表面に存在する領域１４１を所定のフレームレートで撮影する撮像装置である。構造物１４０は、本実施形態の場合、橋梁である。領域１４１は、本実施形態の場合、橋梁の診断箇所となる床版の一部分である。但し、構造物１４０は橋梁に限定されない。構造物１４０は、高速道路や鉄道の高架構造物などであってもよい。領域１４１のサイズは、例えば数十センチメートル四方である。カメラ１３０は、任意の方向にカメラの撮影方向を固定できるように三脚１５０上の雲台１５１に取り付けられている。カメラ１３０は、例えば、数百万画素程度の画素容量を有するＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサを備えたハイスピードカメラであってよい。またカメラ１３０は、可視光かつ白黒カメラであってもよいし、赤外線カメラやカラーカメラであってもよい。またカメラ１３０は、カメラの位置を測定するＧＰＳ受信機を備えている。またカメラ１３０は、カメラの撮影方向を測定する方位センサおよび加速度センサを備えている。

コンピュータ１１０は、カメラ１３０によって撮影された構造物１４０の画像を取り込み、所定の画像処理を行って構造物１４０の健全度を判定し、その判定結果を出力する診断機能を有している。また、コンピュータ１１０は、数か月に１度といった所定の周期で実施する診断において、毎回、同じ撮影位置から構造物１４０の同じ領域１４１を同じ向きで撮影できるようにオペレータを支援するガイド機能を有している。

図２は、コンピュータ１１０の構成の一例を示すブロック図である。図２を参照すると、コンピュータ１１０は、カメラＩ／Ｆ（インターフェース）部１１１と、通信Ｉ／Ｆ部１１２と、操作入力部１１３と、画面表示部１１４と、音声出力部１１５と、記憶部１１６と、演算処理部１１７とから構成されている。

カメラＩ／Ｆ部１１１は、ケーブル１２０を通じてカメラ１３０に接続され、カメラ１３０と演算処理部１１７との間でデータの送受信を行うように構成されている。カメラ１３０は、イメージセンサや光学系などを含むメインユニット１３１と、前述したＧＰＳ受信機１３２、方位センサ１３３、および加速度センサ１３４を備えている。カメラＩ／Ｆ部１１１は、メインユニット１３１、ＧＰＳ受信機１３２、方位センサ１３３、および加速度センサ１３４と演算処理部１１７との間でデータの送受信を行うように構成されている。

通信Ｉ／Ｆ部１１２は、データ通信回路から構成され、有線または無線を介して接続された図示しない外部装置との間でデータ通信を行うように構成されている。操作入力部１１３は、キーボードやマウスなどの操作入力装置から構成され、オペレータの操作を検出して演算処理部１１７に出力するように構成されている。画面表示部１１４は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの画面表示装置から構成され、演算処理部１１７からの指示に応じて、メニュー画面などの各種情報を画面表示するように構成されている。音声出力部１１５は、スピーカなどの音響出力装置から構成され、演算処理部１１７からの指示に応じて、ガイドメッセージなどの各種音声を出力するように構成されている。

記憶部１１６は、ハードディスクやメモリなどの記憶装置から構成され、演算処理部１１７における各種処理に必要な処理情報およびプログラム１１６１を記憶するように構成されている。プログラム１１６１は、演算処理部１１７に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部１１２などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部１１６に保存される。記憶部１１６に記憶される主な処理情報には、撮影位置１１６２、撮影方向１１６３、時系列画像１１６４、画像の向き判定結果１１６５、診断箇所データベース１１６６、診断結果データベース１１６７がある。

撮影位置１１６２は、ＧＰＳ受信機１３２で測定されたカメラの位置を表す緯度、経度、および高度と、現在時刻とを含むデータである。

撮影方向１１６３は、カメラ１３０に設けられた方位センサ１３３および加速度センサ１３４で測定されたデータに基づいて算出されたカメラ１３０の撮影方向を表すデータである。撮影方向１１６３は、カメラ１３０の姿勢を表すピッチ、ロール、ヨーの３つの角度から構成されている。

時系列画像１１６４は、カメラ１３０で撮影された時系列画像である。この時系列画像１１６４は、カメラ１３０で撮影された構造物１４０の領域１４１の動画を構成する複数のフレーム画像であってよい。

画像の向き判定結果１１６５は、時系列画像１１６４に基づいて判定された撮影画像の向きを表すデータである。撮影画像の向きは、例えば構造物１４０である橋梁の橋軸方向と撮影画像の横方向との関係を表している。勿論、撮影画像の向きは上記に限定されない。例えば撮影画像の向きは、橋軸方向と撮影画像の縦方向との関係を表すものであってもよい。

診断箇所データベース１１６６は、過去の診断箇所に係る情報を記憶する記憶部である。図３は、診断箇所データベース１１６６に記憶されている診断箇所情報１１６６１のフォーマットの一例を示す。この例の診断箇所情報１１６６１は、診断箇所ＩＤ１１６６２、登録日時１１６６３、登録撮影位置１１６６４、登録撮影方向１１６６５、登録時系列画像１１６６６から構成される。

診断箇所ＩＤ１１６６２は、診断箇所を一意に識別する識別情報である。登録日時１１６６３は、診断箇所情報１１６６１を登録した日時である。登録撮影位置１１６６４は、診断を行ったときのカメラ１３０の位置を表す緯度、経度、高度である。登録撮影方向１１６６５は、診断を行ったときのカメラ１３０の姿勢を表すピッチ、ロール、ヨーの３つの角度である。登録時系列画像１１６６６は、登録撮影位置１１６６４から登録撮影方向１１６６５で構造物１４０の領域１４１をカメラ１３０で撮影した時系列画像である。

診断結果データベース１１６７は、診断結果に係る情報を記憶する記憶部である。図４は、診断結果データベース１１６７に記憶されている診断結果情報１１６７１のフォーマットの一例を示す。この例の診断結果情報１１６７１は、診断箇所ＩＤ１１６７２、診断日時１１６７３、診断結果１１６７４から構成される。診断箇所ＩＤ１１６７２は、診断箇所を一意に識別する識別情報である。診断日時１１６７３は、診断を行った日時である。診断結果１１６７４は、診断の結果を表す情報である。

演算処理部１１７は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部１１６からプログラム１１６１を読み込んで実行することにより、上記ハードウェアとプログラム１１６１とを協働させて各種処理部を実現するように構成されている。演算処理部１１７で実現される主な処理部は、撮影位置取得部１１７１、撮影方向取得部１１７２、時系列画像取得部１１７３、画像の向き判定部１１７４、診断部１１７５、制御部１１７６である。

撮影位置取得部１１７１は、カメラＩ／Ｆ部１１１を通じてＧＰＳ受信機１３２で測定されているカメラ１３０の位置および現在時刻を定期的に取得し、取得した位置で記憶部１１６の撮影位置１１６２を更新するように構成されている。

撮影方向取得部１１７２は、カメラＩ／Ｆ部１１１を通じて方位センサ１３３および加速度センサ１３４で測定されている方位角および縦横高さの三方向の加速度を定期的に取得するように構成されている。また撮影方向取得部１１７２は、取得した方位角および加速度からカメラ１３０の姿勢、即ち撮影方向を表すピッチ、ロール、ヨーの３つの角度を計算し、その計算結果で記憶部１１６の撮影方向１１６３を更新するように構成されている。なお、本実施形態では、撮影方向を表すロールは、方位センサ１３３および加速度センサ１３４で取得されている方位角および三方向の加速度に基づいて計算した。しかし、他の実施形態として、撮影方向を表すロールは、画像の向き判定部１１７４で判定される画像の向きとしてもよい。

時系列画像取得部１１７３は、カメラＩ／Ｆ部１１１を通じてメインユニット１３１からカメラ１３０で撮影されている時系列画像を取得し、取得した時系列画像で記憶部１１６の時系列画像１１６４を更新するように構成されている。時系列画像取得部１１７３は、構造物１４０の領域１４１上を少なくとも１台の車両が通過する前後の時系列画像を取得するように構成されている。例えば、時系列画像取得部１１７３は、領域１４１あたりの橋梁部分を車両が通過する前にオペレータの指示あるいは通過予定車両を機械的に検出する図示しないセンサの出力によって時系列画像の取得を開始し、領域１４１あたりの橋梁部分を車両が通過した後にオペレータの指示あるいは通過車両を機械的に検出する図示しないセンサの出力によって時系列画像の取得を終了するように構成されていてよい。或いは、時系列画像取得部１１７３は、車両が橋梁を通過するタイミングとは無間系に、その時間枠内には少なくとも１台の車両が橋梁を通過すると考えられる時間枠の時間だけの時系列画像を取得するようにしてもよい。

画像の向き判定部１１７４は、時系列画像１１６４に基づいて撮影画像の向きを判定するように構成されている。画像の向き判定部１１７４の詳細は後述する。

診断部１１７５は、カメラ１３０で撮影された構造物１４０の画像に基づいて、構造物１４０の劣化診断を行うように構成されている。劣化診断の手法は特に限定されない。例えば、診断部１１７５は、車両の通行などにより励振された橋梁などの構造物１４０の領域１４１をカメラ１３０で高速撮影した動画を解析して表面の振動を計測し、その振動のパターンから、ひび割れ・剥離・空洞などの内部劣化状態を推定するように構成されている。また診断部１１７５は、推定した診断結果に係る情報を診断結果データベース１１６７に記憶するように構成されている。

制御部１１７６は、診断装置１００の主たる制御を司るように構成されている。

図５は診断装置１００の動作の一例を示すフローチャートである。以下、各図を参照して、構造物１４０の劣化診断を行う際の診断装置１００の動作を説明する。

オペレータが、構造物１４０の劣化診断を行うために、コンピュータ１１０およびカメラ１３０などの計測装置群を現場に設置し、操作入力部１１３から起動指示を入力すると、制御部１１７６による制御が開始される。

先ず、制御部１１７６は、図６に示すような初期画面を画面表示部１１４に表示する（ステップＳ１）。初期画面には、新規診断ボタンと継続診断ボタンとが表示されている。新規診断ボタンは、新たに診断対象となった構造物１４０に対して初回の診断を行うときに選択するボタンである。これに対して継続診断ボタンは、同じ構造物１４０の同じ箇所に対して２回目以降の診断を行うときに選択するボタンである。以下、新規診断時の動作を説明し、その後に継続診断時の動作を説明する。

＜新規診断＞
オペレータが初期画面上の新規診断ボタンをオンすると、制御部１１７６は、そのことを検出し（ステップＳ２）、新規診断処理を実行する（ステップＳ３）。図７は新規診断処理の一例を示すフローチャートである。制御部１１７６は、先ず、新規診断画面を画面表示部１１４に表示する（ステップＳ１１）。

図８は新規診断画面の一例を示す。この例の新規診断画面は、カメラ１３０で撮影されている画像を表示するモニタ画面と、画像の向きガイド情報と、登録ボタンと、診断ボタンと、終了ボタンとを有する。カメラ１３０で撮影されている最新の時系列画像は、撮影画像取得部１１７３によってカメラ１３０から取得され、記憶部１１６に時系列画像１１６４として記憶されている。制御部１１７６は、記憶部１１６から時系列画像１１６４を取得して新規診断画面のモニタ画面に表示する。オペレータは、構造物１４０の診断箇所を決定し、決定した診断箇所を領域１４１とする。そして、新規診断画面のモニタ画面に領域１４１の画像が適切なサイズで表示されるように、三脚１５０の設置場所を調整する。本実施形態ではカメラ１３０の画角、倍率は固定されている。そのため、オペレータは、領域１４１の画像サイズが小さい場合、三脚１５０を構造物１４０により近い位置に移動することにより、領域１４１の画像サイズを拡大する。反対に領域１４１の画像サイズが大きい場合、オペレータは、三脚１５０を構造物１４０からより遠い位置に移動することにより、領域１４１の画像サイズを縮小する。

また、制御部１１７６は、画像の向きガイド情報の表示欄に、撮影画像の横方向が構造物１４０である橋梁の橋軸方向に対してどの程度傾いているかを示すテキストあるいはイラスト図形を表示する。さらに制御部１１７６は、画像の向きガイド情報の表示欄に表示した情報を音声に変換して、音声出力部１１５から出力する。例えば、「撮影画像の横方向が橋軸方向に平行になっています」、「撮影画像の横方向が橋軸方向に垂直になっています」、「撮影画像の横方向が橋軸方向に対して時計回り方向に４５度傾いています」といったガイドメッセージを出力する。

オペレータは、表示および音声出力された画像の向きガイド情報により、カメラ１３０の位置および撮影方向が適切であるか否かを認識することができる。またオペレータは、表示および音声出力された画像の向きガイド情報により、カメラ１３０の撮影画像の横方向と所定の向き（橋軸方向）との差が例えば時計回り方向に４５度程度の差があることを判断することができる。最終的にオペレータは、画像の向きガイド情報を参考にして、カメラ１３０の撮影画像の向きが事前に定められた向きになるように、雲台１５１によってカメラ１３０の撮影方向を調整する。例えば、オペレータは、撮影画像の横方向が橋軸と平行になるように調整する。

オペレータは、カメラ１３０の位置および撮影方向の調整を終えると、その位置と撮影方向の情報を登録する場合、登録ボタンをオンする。また、オペレータは、調整を終えた位置および撮影方向で診断を実施する場合、診断ボタンをオンする。また、オペレータは、新規診断を終了する場合には、終了ボタンをオンする。制御部１１７６は、終了ボタンがオンされたことを検出すると（ステップＳ１４）、図７の処理を終える。

また制御部１１７６は、登録ボタンがオンされたことを検出すると（ステップＳ１２）、新たな診断箇所情報１１６６１を作成して診断箇所データベース１１６６に登録する（ステップＳ１５）。カメラ１３０の現在位置および現在時刻は、撮影位置取得部１１７１によってＧＰＳ受信機１３２から取得され、記憶部１１６に撮影位置１１６２として記憶されている。またカメラ１３０の撮影方向は、方位センサ１３３および加速度センサ１３４から取得された方位および加速度に基づいて撮影方向取得部１１７２で算出され、記憶部１１６に撮影方向１１６３として記憶されている。さらにカメラ１３０で撮影されている画像は、撮影画像取得部１１７３によってカメラ１３０から取得され、記憶部１１６に時系列画像１１６４として記憶されている。制御部１１７６は、記憶部１１６から撮影位置１１６２、撮影方向１１６３、および時系列画像１１６４を取得し、それらの情報に基づいて診断箇所情報１１６６１を作成し、診断箇所データベース１１６６に登録する。その際、制御部１１７６は、診断箇所情報１１６６１の診断箇所ＩＤ１１６６２に新たに採番したＩＤを設定し、登録日時１１６６３には現在時刻を設定する。

また制御部１１７６は、診断ボタンがオンされたことを検出すると（ステップＳ１３）、診断部１１７５を起動し、診断の実行を行う（ステップＳ１６）。診断部１１７５は、例えば、前述したように構造物１４０の領域１４１をカメラ１３０で高速撮影した動画を解析して表面の振動を計測し、その振動のパターンから、ひび割れ・剥離・空洞などの内部劣化状態を推定する。そして、診断部１１７５は、推定した診断結果に係る情報を診断結果データベース１１６７に記憶する。制御部１１７６は、診断部１１７５の診断結果を診断結果データベース１１６７から読み出し、画面表示部１１４に表示し、または／および通信Ｉ／Ｆ部１１２を通じて外部の端末へ出力する（ステップＳ１７）。

＜継続診断＞
オペレータが初期画面上の継続診断ボタンをオンすると、制御部１１７６は、そのことを検出し（ステップＳ４）、継続診断処理を実行する（ステップＳ５）。図９は継続診断処理の一例を示すフローチャートである。制御部１１７６は、先ず、診断箇所選択画面を画面表示部１１４に表示する（ステップＳ２１）。

図１０は診断箇所選択画面の一例を示す。この例の診断箇所選択画面は、マップと、選択ボタンと、終了ボタンとを有する。マップには、カメラ１３０の現在位置を示す現在位置アイコン（図の丸印）と、過去の撮影位置を示す過去位置アイコン（図の×印）とが表示されている。制御部１１７６は、カメラ１３０の現在位置をキーに診断箇所データベース１１６６を検索することにより、現在位置から所定距離内の位置を撮影位置１１６６４に有する診断箇所情報１１６６１を診断箇所データベース１１６６から取得する。そして、制御部１１７６は、取得した診断箇所情報１１６６１の撮影位置１１６６４が示す位置に過去位置アイコンを表示する。オペレータは、過去の診断箇所と同じ箇所の診断を行う場合、所望の過去位置アイコンにマウスカーソルを当てて選択ボタンをオンする。また、オペレータは、診断箇所の選択を終了する場合、終了ボタンをオンする。制御部１１７６は、終了ボタンがオンされたことを検出すると（ステップＳ２２）、図９の処理を終了する。

また制御部１１７６は、選択ボタンがオンされたことを検出すると（ステップＳ２３）、選択された過去位置アイコンに対応する診断箇所情報１１６６１に基づいて撮影位置・撮影方向ガイド画面を作成し、画面表示部１１４に表示する（ステップＳ２４）。

図１１は撮影位置・撮影方向ガイド画面の一例を示す。この例の撮影位置・撮影方向ガイド画面は、モニタ画面と、診断箇所ＩＤの表示欄と、撮影位置・撮影方向ガイド情報の表示欄と、診断ボタンと、終了ボタンとを有する。モニタ画面は、カメラ１３０の撮影画像をモニタ表示する。撮影位置・撮影方向ガイド情報の表示欄は、カメラ１３０の位置と登録撮影画像を撮影したときのカメラ１３０の位置との位置の差、およびカメラ１３０の撮影方向と登録撮影画像を撮影したときのカメラ１３０の撮影方向との方向の差に係る情報を表示する。また制御部１１７６は、撮影位置・撮影方向ガイド情報の表示欄に表示した情報を音声に変換して、音声出力部１１５から出力する。例えば、「位置および撮影方向とも良好です」、「近づきすぎなので、後ろに下がって下さい」、「位置が右寄りなので、左に移動して下さい」、「撮影方向が右寄りなので、左に向けて下さい」といったガイドメッセージを出力する。

オペレータは、表示および音声出力された撮影位置・撮影方向ガイド情報により、カメラ１３０の位置および撮影方向が適切であるか否かを認識することができる。またオペレータは、表示および音声出力された撮影位置・撮影方向ガイド情報により、カメラ１３０の位置および撮影方向をどのように変更すればよいかを判断することができる。

制御部１１７６は、撮影位置・撮影方向ガイド画面の表示後、終了ボタンがオンされたかどうか（ステップＳ２５）、診断ボタンがオンされたかどうか（ステップＳ２６）を検出し、何れのボタンもオンされない場合、ステップＳ２４に戻る。そのため、カメラ１３０の位置および撮影方向がオペレータによって変更されると、その変更に応じて撮影位置・撮影方向ガイド画面が再作成・再描画されることになる。そして、制御部１１７６は、診断ボタンがオンされると、診断部１１７５を起動し、診断の実行を行う（ステップＳ２７）。また診断部１１７５の診断が終了すると、制御部１１７６は、診断部１１７６の診断結果を診断結果データベース１１６７から読み出し、画面表示部１１４に表示し、または／および通信Ｉ／Ｆ部１１２を通じて外部の端末へ出力する（ステップＳ２８）。そして制御部１１７６は、ステップＳ２４に戻る。他方、終了ボタンがオンされると、制御部１１７６は、図９の処理を終える。

図１２は、図８のステップＳ２４の詳細を示すフローチャートである。制御部１１７６は、先ず、選択された過去位置アイコンに対応する診断箇所情報１１６６１から診断箇所ＩＤ、登録撮影位置、登録撮影方向を取得する（ステップＳ３１）。次に制御部１１７６は、記憶部１１６から撮影位置１１６２、撮影方向１１６３、時系列画像１１６４を取得する（ステップＳ３２）。次に制御部１１７６は、撮影位置１１６２および撮影方向１１６３と登録撮影位置および登録撮影方向とを比較し、両者の位置の差および方向の差を検出する（ステップＳ３３）。次に制御部１１７６は、時系列画像１１６４に基づいてモニタ画面を作成し、ステップＳ３３で検出した位置の差および方向の差に基づいて、撮影位置・撮影方向ガイド情報を作成する（ステップＳ３４）。次に制御部１１７６は、上記作成したモニタ画面、撮影位置・撮影方向ガイド情報と、その他の画面要素とから撮影位置・撮影方向ガイド画面を組み立てて画面表示部１１４に表示する（ステップＳ３５）。

以上のように撮影位置・撮影方向ガイド情報には、ＧＰＳ受信機１３２で検出されたカメラ１３０の位置と登録撮影位置との差の情報が表示される。また、撮影位置・撮影方向ガイド情報には、方位センサ１３３および加速度センサ１３４で検出された方位および加速度によって算出されたカメラ１３０の撮影方向と登録撮影方向との差の情報が表示される。このような情報によって、オペレータは、カメラ１３０の位置と撮影方向を初回診断時と同じカメラ位置および撮影方向に調整することができる。従って、初回診断時にカメラの撮影画像の横方向を橋軸方向と平行になるように調整していたのであれば、２回目以降の診断時もカメラの撮影画像の向きを初回と同じ向きに調整することができる。

続いて、画像の向き判定部１１７４の構成例について説明する。

図１３は、画像の向き判定部１１７４の一例を示すブロック図である。図１３を参照すると、画像の向き判定部１１７４は、分割部１１７４１と、計測部１１７４２と、比較部１１７４３と、判定部１１７４４とを含んで構成される。

分割部１１７４１は、構造物１４０の領域１４１を撮影した時系列画像１１６４を、複数の領域に空間的に分割して、複数の部分領域に対応する複数の部分時系列画像を生成するように構成されている。図１４は、分割前の時系列画像１１６４と分割後の部分時系列画像の関係の一例を示す図である。この例では、分割前の時系列画像１１６４は、時刻順に配列されたｎ枚のフレーム画像から構成されている。またフレーム画像は、左上ブロック、左下ブロック、右上ブロック、右下ブロックに４等分される。左上ブロック、左下ブロック、右上ブロック、右下ブロックのそれぞれは１つの部分領域を構成する。また、左上ブロックと左下ブロックを結合したブロックを左側ブロック、右上ブロックと右下ブロックを結合したブロックを右側ブロック、左上ブロックと右上ブロックを結合したブロックを上側ブロック、左下ブロックと右下ブロックを結合したブロックを下側ブロックと呼ぶ。左側ブロック、右側ブロック、上側ブロック、下側ブロックのそれぞれは１つの部分領域を構成する。

分割後の部分時系列画像は合計８つある。１つの部分時系列画像は、左上ブロックを時刻順に配列したｎ枚の部分フレーム画像の集合から構成される（この部分時系列画像を左上部分時系列画像ＢＧ１と呼ぶ）。他の１つの部分時系列画像は、左下ブロックを時刻順に配列したｎ枚の部分フレーム画像の集合から構成される（この部分時系列画像を左下部分時系列画像ＢＧ２と呼ぶ）。他の１つの部分時系列画像は、右上ブロックを時刻順に配列したｎ枚の部分フレーム画像の集合から構成される（この部分時系列画像を右上部分時系列画像ＢＧ３と呼ぶ）。他の１つの部分時系列画像は、右下ブロックを時刻順に配列したｎ枚の部分フレーム画像の集合から構成される（この部分時系列画像を右下部分時系列画像ＢＧ４と呼ぶ）。他の１つの部分時系列画像は、左側ブロックを時刻順に配列したｎ枚の部分フレーム画像の集合から構成される（この部分時系列画像を左側部分時系列画像ＧＢ５と呼ぶ）。他の１つの部分時系列画像は、右側ブロックを時刻順に配列したｎ枚の部分フレーム画像の集合から構成される（この部分時系列画像を右側部分時系列画像ＧＢ６と呼ぶ）。他の１つの部分時系列画像は、上側ブロックを時刻順に配列したｎ枚の部分フレーム画像の集合から構成される（この部分時系列画像を上側部分時系列画像ＧＢ７と呼ぶ）。最後の１つの部分時系列画像は、下側ブロックを時刻順に配列したｎ枚の部分フレーム画像の集合から構成される（この部分時系列画像を下側部分時系列画像ＧＢ８と呼ぶ）。

計測部１１７４２は、分割部１１７４１によって生成された部分時系列画像の部分領域のそれぞれから、構造物１４０の表面のたわみ量の時間的な変化を計測するように構成されている。橋梁の床版を下方向からカメラで撮影する場合、交通荷重による橋梁の床版に生じるたわみ量δによって、カメラから床版間の撮影距離Lが短くなる。そのため、撮影画像はカメラの光軸を中心として拡大され、たわみによるみかけの変位δ_iが発生する。撮影距離をL、変位をδ_i、たわみ量をδ、変位算出位置のカメラ光軸からの距離をx、カメラの焦点距離をfとすると、δ_i＝xf｛1/(L-δ)−1/L｝なる関係がある。そのため、部分領域のフレーム毎の変位δ_iをデジタル画像相関法などによって検出することにより、上記式から、部分領域のフレーム毎のたわみ量を算出することができる。なお、撮影距離Lは例えばレーザ距離計によって事前に計測することができ、距離xは分割前の画像の変位算出位置とカメラ光軸とから求めることができ、Fは撮像装置毎に既知である。

図１５は、一つの部分時系列画像の部分領域のたわみ量の時間的な変化の一例を示す模式図である。縦軸はたわみ量、横軸は時間である。この例では、最初のたわみ量はほぼ零であり、その後、たわみ量が徐々に増大し、時刻ｔの時点でたわみ量が最大になり、その後、徐々に減少して再び零に戻っている。このような特性は、時系列画像の最初の画像フレームから最後の画像フレームまでの時間内に、当該部分領域の真上あるいは近傍を１台の車両が通過したときに得られる。

比較部１１７４３は、計測部１１７４２によって計測された部分領域毎の構造物１４０の表面のたわみ量の時間的な変化を互いに異なる部分領域どうしで比較するように構成されている。２つの部分領域のたわみ量の時間的な変化を比較する方法として、本実施形態では、同じ時刻における双方の部分領域のたわみ量の差を求める方法を使用する。すなわち、１つの部分領域の時刻ｔ１、ｔ２、…、ｔｎにおけるたわみ量をδ１１、δ１２、…、δ１ｎとし、他の１つの部分領域の時刻ｔ１、ｔ２、…、ｔｎにおけるたわみ量をδ２１、δ２２、…、δ２ｎとすると、時刻ｔ１、ｔ２、…、ｔｎにおけるたわみ量の差をδ１１−δ２１、δ１２−δ２２、…、δｎ１−δｎ２として算出する。また本実施形態では、互いに比較する部分領域は以下の４つの組み合わせとする。
（Ａ）左側ブロックと右側ブロックの組み合わせ（この組み合わせを組み合わせＡと呼ぶ）
（Ｂ）上側ブロックと下側ブロックの組み合わせ（この組み合わせを組み合わせＢと呼ぶ）
（Ｃ）左上ブロックと右下ブロックの組み合わせ（この組み合わせを組み合わせＣと呼ぶ）
（Ｄ）左下ブロックと右上ブロックの組み合わせ（この組み合わせを組み合わせＤと呼ぶ）

図１６は、２つの部分領域のたわみ量の時間的な変化の例を示すグラフの例である。また図１７は、２つの部分領域のたわみ量の差の時間的な変化の例を示すグラフの例である。一方の部分領域のたわみ量の時間的な変化が図１６のグラフの実線で示され、他方の部分領域のたわみ量の時間的な変化が図１６のグラフの破線で示されている。その場合、一方の部分領域のたわみ量から他方の部分領域のたわみ量を減算して求めた両者のたわみ量の差の時間的な変化は、図１７のグラフの実線で示されるようになる。図示の例では、たわみ量の差は、最初は零であるが、徐々に正の方向に増大し、時刻ｔ１の時点で最大となり、その後、徐々に減少していき、時刻ｔ２の時点で最小となり、その後、徐々に零に近づいている。このたわみ量の差の最大値と最小値の絶対値を加算した値を、たわみ量の差の最大値と定義する。

判定部１１７４４は、比較部１１７４３による各組み合わせの比較結果に基づいて、交通荷重の通過方向に対する撮影画像の向きを判定するように構成されている。ここで、車両は橋軸方向に移動するため、交通荷重の通過方向と橋軸方向は一致する。本実施形態では、判定部１１７４４は、橋軸方向に対して撮像画像の横方向が平行か否か、垂直か否かを判定する。また判定部１１７４４は、平行・垂直でない場合、橋軸方向に対して撮影画像の横方向がどの程度傾いているかを判定する。

例えば、判定部１１７４４は、組み合わせＡのたわみ量の差の最大値が予め定められた閾値ＴＨｍａｘ以上であり、かつ、組み合わせＢのたわみ量の差の最大値が予め定められた閾値ＴＨｍｉｎ（＜ＴＨｍａｘ）以下であるとき（この条件を以下、条件１と呼ぶ）、撮影画像の横方向が橋軸方向に平行であると判定する。ここで、閾値ＴＨｍｉｎは、０または０に近い正の値に設定される。また閾値ＴＨｍａｘは、例えば橋梁を１台の車両（例えば自家用車）だけが通過した際に観測される床版の最大のたわみ量に設定される。但し、閾値ＴＨｍｉｎ、ＴＨｍａｘは上記の例に限定されない。また閾値ＴＨｍｉｎ、ＴＨｍａｘは固定値であってもよいし、個々の構造物の状況に応じて変化する可変値であってもよい。上記のように判定する理由を以下説明する。

撮影画像の横方向が橋軸方向に平行になっているとき、例えば図１８に一例を示すように、組み合わせＡの左側ブロック（Ｇ１１、Ｇ１２）と右側ブロック（Ｇ１３、Ｇ１４）は橋軸方向に平行に並び、組み合わせＢの上側ブロック（Ｇ１１、Ｇ１３）と下側ブロック（Ｇ１２、Ｇ１４）は橋軸方向に垂直に並ぶ。橋梁を通過する車両は橋軸方向に平行に移動するため、左側ブロックと右側ブロックのたわみ量の時間的な変化は、例えば図１９のグラフの実線と破線に示すように互いに時間的にずれることになる。そのため、両者のたわみ量の差の時間的な変化は図２０のグラフの実線に示すような特性になり、たわみ量の差の最大値は閾値ＴＨｍａｘ以上となる。一方、上側ブロックと下側ブロックのたわみ量の時間的な変化は、例えば図１９のグラフの一点鎖線に示すように互いに等しくなる。そのため、両者のたわみ量の差の時間的な変化は、ほぼ等しくなって図２１のグラフの実線に示すような特性になる。その結果、たわみ量の差の最大値は閾値ＴＨｍｉｎ以下となる。

また判定部１１７４４は、組み合わせＢのたわみ量の差の最大値が閾値ＴＨｍａｘ以上であり、かつ、組み合わせＡのたわみ量の差の最大値が閾値ＴＨｍｉｎ以下であるとき（この条件を以下、条件２と呼ぶ）、撮影画像の横方向が橋軸方向と垂直であると判定する。上記のように判定する理由は以下の通りである。

撮影画像の横方向が橋軸方向と垂直になっているとき、例えば図２２に一例を示すように、組み合わせＢの上側ブロック（Ｇ１１、Ｇ１３）と下側ブロック（Ｇ１２、Ｇ１４）は橋軸方向に平行に並び、組み合わせＡの左側ブロック（Ｇ１１、Ｇ１２）と右側ブロック（Ｇ１３、Ｇ１４）は橋軸方向に垂直に並ぶ。橋梁を通過する車両は橋軸方向に平行に移動するため、上側ブロックと下側ブロックのたわみ量の時間的な変化は、図１９のグラフの実線と破線に示すように互いに時間的にずれる。そのため、両者のたわみ量の差の時間的な変化は図２０のグラフの実線に示すようになり、たわみ量の差の最大値は閾値ＴＨｍａｘ以上となる。一方、左側ブロックと右側ブロックのたわみ量の時間的な変化は、例えば図１９のグラフの一点鎖線に示すように互いにほぼ等しくなる。そのため、両者のたわみ量の差の時間的な変化は図２１のグラフの実線に示すようになり、たわみ量の差の最大値は閾値ＴＨｍｉｎ以下となる。

判定部１１７４４は、条件１および条件２の何れも成立しない場合、撮影画像の横方向は橋軸方向に平行でなく、また垂直でもないと判定する。また判定部１１７４４は、そのように判定した場合、撮像画像の横方向が橋軸方向に対してどの程度傾いているかを判定する。

例えば判定部１１７４４は、組み合わせＤのたわみ量の差の最大値が閾値ＴＨｍａｘ以上であり、かつ、組み合わせＣのたわみ量の差の最大値が閾値ＴＨｍｉｎ以下であるとき（この条件を以下、条件３と呼ぶ）、撮影画像の横方向が橋軸方向に対して時計回り方向に４５度傾いていると判定する。上記のように判定する理由は以下の通りである。

撮影画像の横方向が橋軸方向に対して時計回り方向に４５度傾いているとき、例えば図２３に一例を示すように、組み合わせＤの左下ブロックＧ１２と右上ブロックＧ１３は橋軸方向に平行に並び、組み合わせＣの左上ブロックＧ１１と右下ブロックＧ１４は橋軸方向に垂直に並ぶ。橋梁を通過する車両は橋軸方向に平行に移動するため、左下ブロックＧ１２と右上ブロックＧ１３のたわみ量の時間的な変化は、例えば図１９のグラフの実線および破線に示すように互いに時間的にずれる。そのため、両者のたわみ量の差の時間的な変化は図２０に示すようになり、たわみ量の差の最大値は閾値ＴＨｍａｘ以上となる。一方、左上ブロックＧ１１と右下ブロックＧ１４のたわみ量の時間的な変化は、例えば図１９のグラフの一点鎖線に示すように互いにほぼ等しくなる。そのため、両者のたわみ量の差の時間的な変化は図２１のグラフの実線に示すようになり、たわみ量の差の最大値は閾値ＴＨｍｉｎ以下となる。

また判定部は、組み合わせＣのたわみ量の差の最大値が閾値ＴＨｍａｘ以上であり、かつ、組み合わせＤのたわみ量の差の最大値が閾値ＴＨｍｉｎ以下であるとき（この条件を以下、条件４と呼ぶ）、撮影画像の横方向が橋軸方向に対して反時計回り方向に４５度傾いていると判定する。上記のように判定する理由は以下の通りである。

撮影画像の横方向が橋軸方向に対して反時計回り方向に４５度傾いているとき、例えば図２４に一例を示すように、組み合わせＣの左上ブロックＧ１１と右下ブロックＧ１４は橋軸方向に平行に並び、組み合わせＤの左下ブロックＧ１２と右上ブロックＧ１３は橋軸方向に垂直に並ぶ。橋梁を通過する車両は橋軸方向に平行に移動するため、左上ブロックＧ１１と右下ブロックＧ１４のたわみ量の時間的な変化は、例えば図１９のグラフの実線および破線に示すように互いに時間的にずれる。そのため、両者のたわみ量の差の時間的な変化は図２０のグラフの実線に示すようになり、たわみ量の差の最大値は閾値ＴＨｍａｘ以上となる。一方、左下ブロックＧ１２と右上ブロックＧ１３のたわみ量の時間的な変化は、例えば図１９のグラフの一点鎖線に示すように互いにほぼ等しくなる。そのため、両者のたわみ量の差の時間的な変化は図２１のグラフの実線に示すようになり、たわみ量の差の最大値は閾値ＴＨｍｉｎ以下となる。

また判定部１１７４４は、条件１乃至条件４の何れも成立しない場合、組み合わせＡのたわみ量の差の最大値と組み合わせＢのたわみ量の差の最大値とを比較し、どちらの方が大きいかを判定する。次に判定部１１７４４は、組み合わせＡのたわみ量の差の最大値が組み合わせＢのたわみ量の差の最大値よりも大きければ（この条件を以下、条件５と呼ぶ）、撮影画像の横方向が橋軸方向に対して±４５度以内で傾いていると判定する。その理由は、組み合わせＡのたわみ量の差の最大値が組み合わせＢのたわみ量の差の最大値よりも大きくなるのは、ブロックＧ１１〜Ｇ１４が図１８に示す状態から時計回りに４５度回転させた図２３に示す状態に至るまでの何れかの状態であるか、あるいは、図１８に示す状態から反時計回りに４５度回転させた図２４に示す状態に至るまでの何れかの状態であるためである。一方、判定部１１７４４は、組み合わせＢのたわみ量の差の最大値が組み合わせＡのたわみ量の差の最大値よりも大きければ（この条件を以下、条件６と呼ぶ）、撮影画像の横方向が橋軸方向に垂直な方向に対して±４５度以内で傾いていると判定する。

また判定部１１７４４は、条件５が成立する場合、組み合わせＣのたわみ量の差の最大値と組み合わせＤのたわみ量の差の最大値とを比較する。そして判定部１１７４４は、組み合わせＣのたわみ量の差の最大値が、組み合わせＤのたわみ量の差の最大値より大きければ、撮影画像の横方向が橋軸方向に対して反時計回り方向に４５度以内で傾いていると判定する。その理由は、組み合わせＣのたわみ量の差の最大値が組み合わせＤのたわみ量の差の最大値より大きくなるのは、ブロックＧ１１〜Ｇ１４が図１８に示す状態から反時計回りに４５度回転させた図２４に示す状態に至るまでの何れかの状態であるためである。また判定部１１７４４は、組み合わせＤのたわみ量の差の最大値が、組み合わせＣのたわみ量の差の最大値より大きければ、撮影画像の横方向が橋軸方向に対して時計回り方向に４５度以内で傾いていると判定する。

また判定部１１７４４は、条件６が成立する場合、組み合わせＣのたわみ量の差の最大値と組み合わせＤのたわみ量の差の最大値とを比較する。そして判定部１１７４４は、組み合わせＣのたわみ量の差の最大値が、組み合わせＤのたわみ量の差の最大値より大きければ、撮影画像の横方向が橋軸方向に垂直な方向に対して時計回り方向に４５度以内で傾いていると判定する。また判定部１１７４４は、組み合わせＤのたわみ量の差の最大値が、組み合わせＣのたわみ量の差の最大値より大きければ、撮影画像の横方向が橋軸方向に垂直な方向に対して反時計回り方向に４５度以内で傾いていると判定する。

以上が、画像の向き判定部１１７４の一例である。

上記説明では、画像の向き判定部１１７４は、フレーム画像全体を４等分した。しかし、フレーム画像を複数のブロックに分割する方法は上記に限定されない。例えば、フレーム画像全体でなく、周辺部を除いた中央部分などの画像の一部分を複数のブロックに分割してもよい。また、分割された個々のブロックは他のブロックと接していなくてもよい。また、分割数は４に限定されず、４より少ない数、すなわち、２または３であってもよいし、４より大きな数であってもよい。

また、たわみ量の時間的な変化を互いに比較する部分領域の組み合わせは、上記の例に限定されない。例えば、左側ブロックと右側ブロックの組み合わせの代わりに、左上ブロックと右上ブロックの組み合わせ、または、左下ブロックと右下ブロックの組み合わせを使用してもよい。また、上側ブロックと下側ブロックの組み合わせの代わりに、左上ブロックと左下ブロックの組み合わせ、または、右上ブロックと右下ブロックの組み合わせを使用してもよい。

また、比較部１１７４３は、２つの部分領域のたわみ量の時間的な変化を比較するために、一方の部分領域のたわみ量と他方の部分領域のたわみ量とを同じ時刻で比較して、両者のたわみ量の差を求めるようにした。しかし、比較方法は上記方法に限定されない。例えば、比較部１１７４３は、一方の部分領域のたわみ量の時間的な変化パターンを第１の変化パターン、他方の部分領域のたわみ量の時間的な変化パターンを第２の変化パターンとして、第１の変化パターンと第２の変化パターンとが一番良くマッチするために必要な第１の変化パターンに対するシフト時間の最小値を、上述したたわみ量の差の最大値として算出するようにしてもよい。

以上説明したように、本実施形態によれば、橋梁の床版を下方向から撮影した画像中に画像の向きを特定できる被写体が写っていなくても、画像自体から画像の向きを判定することができる。その理由は、橋梁を交通荷重の通過中に撮影した時系列画像を複数の部分領域に空間的に分割して複数の部分時系列画像を生成し、その複数の部分時系列画像から部分領域毎の橋梁のたわみ量の時間的な変化を計測し、その部分領域毎の橋梁のたわみ量の時間的な変化を比較して、交通荷重の通過方向に対する画像の向きを判定するためである。

また本実施形態によれば、判定した画像の向きを視覚的あるいは音声によってオペレータに通知するため、オペレータは橋梁の診断箇所となる領域を撮影するカメラの画像を所定方向、すなわち橋軸と平行な方向あるいは垂直な方向に正しく調整することができる。

また、上記説明では、カメラ１３０で撮影した画像の向きを判定した結果をオペレータに提示するようにした。しかし、本発明によって判定した撮影画像の向きは、オペレータに提示する以外に各種の目的で利用することができる。例えば、制御部１１７６は、図２の診断箇所データベース１１６６に記録されている登録時系列画像１１６６６の画像の向きを画像の向き判定部１１７４によって判定し、所定の向き（例えば画像の横方向が橋軸方向と平行になる向き）に統一されるように登録時系列画像１１６６６の画像の向きを変換し、全ての診断箇所情報１１６６１の登録時系列画像１１６６６の向きを、事後的に所定の向きに位置合わせするようにしてもよい。このとき制御部１１７６は、位置合わせ手段として機能することになる。

［第２の実施の形態］
次に、本発明の第２の実施形態について図２５を参照して説明する。図２５は、本実施形態に係る画像処理装置のブロック図である。なお、本実施形態は、本発明の画像処理装置の概略を説明する。

図２５を参照すると、本実施形態に係る画像処理装置２００は、分割手段２０１と計測手段２０２と比較手段２０３と判定手段２０４とを含んで構成されている。

分割手段２０１は、構造物の表面を交通荷重の通過中に撮影した時系列画像を、複数の部分領域に空間的に分割して、複数の部分時系列画像を生成するように構成されている。分割手段２０１は、例えば図１３の分割部１１７４１と同様に構成することができるが、それに限定されない。

計測手段２０２は、分割手段２０１によって生成された複数の部分時系列画像から、部分領域毎の構造物のたわみ量の時間的な変化を計測するように構成されている。計測手段２０２は、例えば図１３の計測部１１７４２と同様に構成することができるが、それに限定されない。

比較手段２０３は、計測手段２０２によって計測された複数の部分領域毎の構造物のたわみ量の時間的な変化を比較するように構成されている。比較手段２０３は、例えば図１３の比較部１１７４３と同様に構成することができるが、それに限定されない。

判定手段２０４は、比較手段２０３による比較の結果に基づいて、交通荷重の通過方向に対する時系列画像の向きを判定するように構成されている。判定手段２０４は、例えば図１３の判定部１１７４４と同様に構成することができるが、それに限定されない。

このように構成された画像処理装置２００は以下のように動作する。即ち、分割手段２０１は、構造物の表面を交通荷重の通過中に撮影した時系列画像を、複数の部分領域に空間的に分割して、複数の部分時系列画像を生成する。次に計測手段２０２は、分割手段２０１によって生成された複数の部分時系列画像から、部分領域毎の構造物のたわみ量の時間的な変化を計測する。次に比較手段２０３は、計測手段２０２によって計測された複数の部分領域毎の構造物のたわみ量の時間的な変化を比較する。次に判定手段２０４は、比較手段２０３による比較の結果に基づいて、交通荷重の通過方向に対する時系列画像の向きを判定する。

本実施形態は以上のように構成され動作することにより、構造物の面を撮影した画像中に画像の向きを特定できる被写体が写っていない場合であっても、画像自体から画像の向きを判定することができる。その理由は、構造物の表面を交通荷重が通過する際の部分領域毎のたわみ量の時間的な変化の違いに基づいて、交通荷重の通過方向に対する画像の向きを判定するためである。

以上、上記各実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に限定されるものではない。本発明の構成や詳細には、本発明の範囲内で当業者が理解しうる様々な変更をすることができる。

本発明は、橋梁などの構造物の表面を撮影した画像の向きを判定する場合などに利用できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
構造物の表面を交通荷重の通過中に撮影した時系列画像を、複数の部分領域に空間的に分割して、複数の部分時系列画像を生成する分割手段と、
前記複数の部分時系列画像から、前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を計測する計測手段と、
前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を比較する比較手段と、
前記比較の結果に基づいて、前記交通荷重の通過方向に対する前記時系列画像の向きを判定する判定手段と、
を備える画像処理装置。
［付記２］
前記判定の結果を出力する出力手段を、さらに備える、
付記１に記載の画像処理装置。
［付記３］
前記時系列画像の向きと、所定の向きとの差を検出し、前記検出した差を示す情報を出力する出力手段を、さらに備える、
付記１または２に記載の画像処理装置。
［付記４］
前記判定の結果に基づいて、前記時系列画像の位置合わせを行う位置合わせ手段を、さらに備える、
付記１乃至３の何れかに記載の画像処理装置。
［付記５］
前記比較手段は、１つの前記部分領域の構造物の表面の各時刻のたわみ量と他の１つの前記部分領域の構造物の表面の各時刻のたわみ量との各時刻におけるたわみ量の差の最大値を算出するように構成されている、
付記１乃至４の何れかに記載の画像処理装置。
［付記６］
前記比較手段は、１つの前記部分領域の構造物の表面のたわみ量の時間的な変化を示す第１のパターンと、他の１つの前記部分領域の構造物の表面のたわみ量の時間的な変化を示す第２のパターンとが一番良くマッチするために必要な前記第１のパターンに対するシフト時間の最小値を算出するように構成されている、
付記１乃至４の何れかに記載の画像処理装置。
［付記７］
構造物の表面を交通荷重の通過中に撮影した時系列画像を、複数の部分領域に空間的に分割して、複数の部分時系列画像を生成し、
前記複数の部分時系列画像から、前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を計測し、
前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を比較し、
前記比較の結果に基づいて、前記交通荷重の通過方向に対する前記時系列画像の向きを判定する、
画像処理方法。
［付記８］
前記判定の結果を出力する、
付記７に記載の画像処理方法。
［付記９］
前記時系列画像の向きと、所定の向きとの差を検出し、前記検出した差を示す情報を出力する、
付記７または８に記載の画像処理方法。
［付記１０］
前記判定の結果に基づいて、前記時系列画像の位置合わせを行う、
付記７乃至９の何れかに記載の画像処理方法。
［付記１１］
前記比較では、１つの前記部分領域の構造物の表面の各時刻のたわみ量と他の１つの前記部分領域の構造物の表面の各時刻のたわみ量との各時刻におけるたわみ量の差の最大値を算出する、
付記７乃至１０の何れかに記載の画像処理方法。
［付記１２］
前記比較では、１つの前記部分領域の構造物の表面のたわみ量の時間的な変化を示す第１のパターンと、他の１つの前記部分領域の構造物の表面のたわみ量の時間的な変化を示す第２のパターンとが一番良くマッチするために必要な前記第１のパターンに対するシフト時間の最小値を算出する、
付記７乃至１０の何れかに記載の画像処理方法。
［付記１３］
構造物の表面を交通荷重の通過中に撮影した時系列画像を、複数の部分領域に空間的に分割して、複数の部分時系列画像を生成する処理と、
前記複数の部分時系列画像から、前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を計測する処理と、
前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を比較する処理と、
前記比較の結果に基づいて、前記交通荷重の通過方向に対する前記時系列画像の向きを判定する処理と、を
コンピュータに行わせるためにプログラムを記録したコンピュータ読み取り可能な記録媒体。

１００…診断装置
１１０…コンピュータ
１１１…カメラＩ／Ｆ部
１１２…通信Ｉ／Ｆ部
１１３…操作入力部
１１４…画面表示部
１１５…音声出力部
１１６…記憶部
１１７…演算処理部
１２０…ケーブル
１３０…カメラ
１４０…構造物
１４１…部分領域
１５０…三脚
１５１…雲台
２００…画像処理装置
２０１…分割手段
２０２…計測手段
２０３…比較手段
２０４…判定手段

Claims (10)

1. 構造物の表面を交通荷重の通過中に撮影した時系列画像を、複数の部分領域に空間的に分割して、複数の部分時系列画像を生成する分割手段と、
   前記複数の部分時系列画像から、前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を計測する計測手段と、
   前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を比較する比較手段と、
   前記比較の結果に基づいて、前記交通荷重の通過方向に対する前記時系列画像の向きを判定する判定手段と、
   を備える画像処理装置。
2. 前記判定の結果を出力する出力手段を、さらに備える、
   請求項１に記載の画像処理装置。
3. 前記時系列画像の向きと、所定の向きとの差を検出し、前記検出した差を示す情報を出力する出力手段を、さらに備える、
   請求項１または２に記載の画像処理装置。
4. 前記判定の結果に基づいて、前記時系列画像の位置合わせを行う位置合わせ手段を、さらに備える、
   請求項１乃至３の何れかに記載の画像処理装置。
5. 前記比較手段は、１つの前記部分領域の構造物の表面の各時刻のたわみ量と他の１つの前記部分領域の構造物の表面の各時刻のたわみ量との各時刻におけるたわみ量の差の最大値を算出するように構成されている、
   請求項１乃至４の何れかに記載の画像処理装置。
6. 前記比較手段は、１つの前記部分領域の構造物の表面のたわみ量の時間的な変化を示す第１のパターンと、他の１つの前記部分領域の構造物の表面のたわみ量の時間的な変化を示す第２のパターンとが一番良くマッチするために必要な前記第１のパターンに対するシフト時間の最小値を算出するように構成されている、
   請求項１乃至４の何れかに記載の画像処理装置。
7. 構造物の表面を交通荷重の通過中に撮影した時系列画像を、複数の部分領域に空間的に分割して、複数の部分時系列画像を生成し、
   前記複数の部分時系列画像から、前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を計測し、
   前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を比較し、
   前記比較の結果に基づいて、前記交通荷重の通過方向に対する前記時系列画像の向きを判定する、
   画像処理方法。
8. 前記判定の結果を出力する、
   請求項７に記載の画像処理方法。
9. 前記時系列画像の向きと、所定の向きとの差を検出し、前記検出した差を示す情報を出力する、
   請求項７または８に記載の画像処理方法。
10. 構造物の表面を交通荷重の通過中に撮影した時系列画像を、複数の部分領域に空間的に分割して、複数の部分時系列画像を生成する処理と、
    前記複数の部分時系列画像から、前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を計測する処理と、
    前記部分領域毎の前記構造物の表面のたわみ量の時間的な変化を比較する処理と、
    前記比較の結果に基づいて、前記交通荷重の通過方向に対する前記時系列画像の向きを判定する処理と、を
    コンピュータに行わせるためのプログラム。
    

Images