JP7336972B2 - 画像確認支援システム - Google Patents

Description

本発明は、長尺物に沿って撮影した動画像データの確認作業を支援する画像確認支援システムに関する。

今後、国内では耐用年数を超過する下水管が増加することが想定される。下水管の劣化状況を確認する場合、人が下水管の内部に入って点検する従来の点検方法に加え、車両型ロボットを下水管の内部に入れて、下水管の内面の動画像を撮影し、点検する点検方法がある。なお、車両型ロボットが下水管の内面を撮影した動画像データ（動画像をデータ化したもの）には、下水管の名称、マンホール番号、移動距離が重畳（スーパーインポーズ）され、記録される。

車両型ロボットが撮影した動画像データは、撮影後に事務室などで、画面に再生され、下水管の劣化状況が確認される。最近では、画像処理技術を使用し、劣化箇所候補を自動的に求めることができ、画面に劣化箇所候補や劣化箇所候補位置が表示される。

しかし、画面に表示される劣化箇所候補位置が、下水管の管路図のどこに対応するかを知りたい場合には、現状では、画像に重畳表示される移動距離を目視で読み取り、別途準備した下水管の管路図の寸法に縮尺計算し、劣化箇所候補位置を把握する。このため、縮尺計算作業が必要となる。

こうした本技術分野の背景技術として、特開２０１９－０４８６０４号公報（特許文献１）がある。

特許文献１には、防音壁などの点検作業を支援する点検作業支援装置が記載される。そして、特許文献１には、上下線の防音壁を同時に撮影した動画像を登録する撮影動画像登録部と、撮影動画像登録部に登録された動画像からキロ程銘板の画像を抽出するキロ程銘板抽出部と、キロ程銘板抽出部から抽出されたキロ程銘板の画像に対して文字認識を実行し、キロ程情報を決定するキロ程文字認識部と、撮影動画像登録部に登録された動画像にキロ程文字認識部で決定されたキロ程情報を紐付けて管理する動画像キロ程情報ＤＢ部と、を有する点検作業支援装置が記載される（要約参照）。

特開２０１９－０４８６０４号公報

特許文献１に記載される点検作業支援装置は、動画像に記録されたキロ程銘板の画像に対して文字認識を実行し、キロ程情報（距離情報）を求めるものである。

しかし、特許文献１には、下水管のように、予めキロ程銘板（距離標銘板）が設置されていない長尺物に対して、距離情報を求めることについては、記載されていない。

また、特許文献１には、下水管の点検作業で使用される車両型ロボットのように、下水管の内面を撮影する際に、前進・停止・後退が頻繁に実行され、更に、走行速度や走行方向が記録されない場合については、記載されていない。

そこで、本発明は、長尺物に距離標銘板が設置されず、前進・停止・後退が頻繁に実行され、走行速度や走行方向が記録されない場合であっても、画面に表示される劣化箇所候補位置が、長尺物マップのどこに対応するかを容易に認識する画像確認支援システムを提供する。

また、長尺物マップの位置に対応する動画像データを容易に絞り込み、再生表示する画像確認支援システムを提供する。

上記した課題を解決するため、本発明の画像確認支援システムは、長尺物に沿って撮影され、撮影箇所の撮影位置情報が文字情報として重畳記録される動画像データを記憶する動画像データ記憶部と、動画像データから、撮影箇所の撮影位置情報を文字情報として重畳表示したフレームを抽出し、動画像データを画像処理し、劣化が存在する劣化箇所候補を求め、劣化箇所候補を含む劣化箇所候補フレームを抽出する劣化箇所候補フレーム抽出部と、劣化箇所候補フレームに、重畳記録された文字情報を画像処理し、テキスト情報として認識し、撮影位置情報を求めるフレーム撮影位置情報認識部と、撮影位置情報に対応する長尺物マップ上の劣化箇所候補位置を求める劣化箇所候補位置算出部と、長尺物を長尺物マップとして表示すると共に、長尺物マップ上に劣化箇所候補位置を表示する長尺物マップ表示部と、劣化箇所候補フレームを表示するフレーム表示部と、を有することを特徴とする。

また、本発明の画像確認支援システムは、長尺物に沿って撮影され、撮影箇所の撮影位置情報が文字情報として重畳記録される動画像データを記憶する動画像データ記憶部と、長尺物を長尺物マップとして表示すると共に、動画像データの再生開始指定位置情報及び再生終了指定位置情報を前記長尺物マップに表示する長尺物マップ表示部と、再生開始指定位置情報及び再生終了指定位置情報から、現実空間の現実空間再生開始指定位置情報及び現実空間再生終了指定位置情報を求める現実空間指定位置算出部と、動画像データから抽出されるフレームに重畳記録された文字情報を画像処理し、テキスト情報として認識し、撮影位置情報を求めるフレーム撮影位置情報認識部と、撮影位置情報が現実空間再生開始指定位置情報にもっとも近い開始フレームと、撮影位置情報が現実空間再生終了指定位置情報にもっとも近い終了フレームとを探索する探索部と、を有することを特徴とする。

本発明によれば、長尺物に距離標銘板が設置されず、前進・停止・後退が頻繁に実行され、走行速度や走行方向が記録されない場合であっても、画面に表示される劣化箇所候補位置が、長尺物マップのどこに対応するかを容易に認識する画像確認支援システムを提供することができる。

また、長尺物マップの位置に対応する動画像データを容易に絞り込み、再生表示する画像確認支援システムを提供することができる。

なお、上記した以外の課題、構成及び効果については、下記する実施例の説明により、明らかにされる。

実施例１に記載する画像認識支援システムを説明する機能ブロック図である。 撮影箇所の撮影位置情報を文字情報として重畳表示したフレームを説明する説明図である。 劣化箇所候補位置を文字情報として重畳表示したフレームを説明する説明図である。 劣化箇所候補位置２８を表示した下水管の管路図を説明する説明図である。 劣化箇所候補位置２８を文字情報として重畳表示したフレームと劣化箇所候補位置２８を表示した下水管の管路図とを同時に表示した画面を説明する説明図である。 枝分かれの無い１本の下水管を表示した下水管の管路図を説明する説明図である。 枝分かれの無い１本の下水管に、劣化箇所候補位置２８を表示した下水管の管路図を説明する説明図である。 実施例２に記載する画像認識支援システムを説明する機能ブロック図である。 再生開始指定位置情報及び再生終了指定位置情報３４を表示した下水管の管路図を説明する説明図である。 実施例３に記載する画像認識支援システムを説明する機能ブロック図である。 再生開始指定位置情報及び再生終了指定位置情報３４とマップ上再生位置情報４８とを表示した下水管の管路図を説明する説明図である。 再生開始指定位置情報及び再生終了指定位置情報３４とマップ上再生位置情報４８とを表示した下水管の管路図と、マップ上再生位置情報４８を文字情報として重畳表示したフレームと、を同時に表示した画面を説明する説明図である。

以下、本発明の実施例を、図面を使用して説明する。なお、実質的に同一又は類似の構成には、同一の符号を付し、説明が重複する際には、その説明を省略する場合がある。

なお、以下の実施例に記載する画像確認支援システムは、長尺物に沿って撮影した動画像データの確認作業を支援するものであって、長尺物に沿って撮影し、撮影箇所の撮影位置情報を文字情報として重畳記録した動画像データと、その長尺物の長尺物マップと、を使用するものである。

また、以下の実施例では、長尺物として下水管を使用し、下水管の劣化状況を確認する場合について説明する。つまり、車両型ロボットを下水管の内部に入れて、下水管の内面の動画像を撮影する場合を説明する。なお、長尺物マップとして下水管の管路図を使用する。

なお、長尺物とは、一定の長さを有する構造物であり、下水管に限定されるものではない。例えば、長尺物とは、下水や雨水を流す下水管、トンネル、道路、共同溝、水道管、ガス管、液体配管、気体配管、血管、電線、線路、道路などである。

まず、実施例１に記載する画像認識支援システムを説明する。

図１は、実施例１に記載する画像認識支援システムを説明する機能ブロック図である。

実施例１に記載する画像認識支援システムは、第１の機能として、動画像データ２２を記憶する動画像データ記憶部１０と、劣化箇所候補フレーム抽出部１２と、フレーム撮影位置情報認識部１４と、劣化箇所候補位置算出部１６と、長尺物マップ表示部１８と、フレーム表示部２０と、を有する。

動画像データ記憶部１０は、ハードディスク、メモリ、テープなどのいずれでもよい。

動画像データ２２は、下水管の内部に入った車両型ロボットが、３０枚／秒や６０枚／秒の速度で、下水管の内面を撮影したものであり、下水管に沿って撮影したものである。そして、動画像データ２２には、撮影箇所の撮影位置情報が文字情報として重畳記録される。撮影箇所の撮影位置情報は、下水管の名称、移動距離、移動距離の始点となる位置情報（例えば、マンホール番号のような管の端の名称）である。また、撮影箇所の撮影位置情報には、ＧＰＳなどで取得された絶対座標などが含まれてもよい。

そして、動画像データ記憶部１０に記憶される動画像データ２２は、劣化箇所候補フレーム抽出部１２に、提供される。

劣化箇所候補フレーム抽出部１２は、動画像データ２２から、撮影箇所の撮影位置情報を文字情報として重畳表示したフレーム（静止画像）を抽出する。そして、劣化箇所候補フレーム抽出部１２は、動画像データ２２を画像処理（画像処理技術を使用）し、ひび割れ（クラック）、破損、腐食などの劣化が存在する劣化箇所候補を自動的に求め、劣化箇所候補を認識し、その劣化箇所候補を含む劣化箇所候補フレーム２４を抽出する。

ここで、撮影箇所の撮影位置情報を文字情報として重畳表示したフレームを説明する。

図２は、撮影箇所の撮影位置情報を文字情報として重畳表示したフレームを説明する説明図である。

図２は、断面が円形形状の下水管の内面を撮影したものであり、撮影箇所の撮影位置情報として下水管の名称及び移動距離が重畳記録された動画像データ２２から抽出されたフレーム（画像）である。そして、このフレームには、撮影箇所の撮影位置情報として、フレームの左上に下水管の名称（ＡＢ幹線）が、フレームの右上に移動距離（５１．３ｍ）が、重畳表示される。

ここで、劣化箇所候補位置を文字情報として重畳表示したフレームを説明する。

図３は、劣化箇所候補位置を文字情報として重畳表示したフレームを説明する説明図である。

図３は、断面が円形形状の下水管の内面を撮影したものであり、撮影箇所の撮影位置情報として下水管の名称及び移動距離が重畳記録された動画像データ２２から抽出されたフレーム（画像）である。そして、このフレームには、撮影箇所の撮影位置情報として、フレームの左上に下水管の名称（ＡＢ幹線）が、フレームの右上に移動距離（６５．８ｍ）が、重畳表示される。

また、図３に示すフレームには、円周方向のひび割れが、劣化箇所候補として、表示される。つまり、このフレームに表示される移動距離は、劣化箇所候補位置を示すものである。

なお、動画像データ２２から劣化箇所候補を自動的に求める画像処理技術は、一般的なルールベースに基づいた判断手法であってよいし、ディープラーニングなどの多数のデータを使用して、予め学習したモデルを使用する判断手法であってもよい。

つまり、劣化箇所候補フレーム抽出部１２は、動画像データ２２から劣化箇所候補が表示された劣化箇所候補フレーム２４を抽出する。

劣化箇所候補フレーム抽出部１２で抽出された劣化箇所候補フレーム２４は、フレーム撮影位置情報認識部１４に、提供される。

フレーム撮影位置情報認識部１４は、重畳記録された文字情報（下水管の名称及び移動距離）を画像処理し、テキスト情報として認識し、撮影位置情報２６を求める。つまり、フレーム撮影位置情報認識部１４は、劣化箇所候補フレーム２４に重畳記録された文字情報を画像処理し、テキスト情報として認識し、撮影位置情報２６を求める。

例えば、図３に示すフレームに記録される文字情報（「ＡＢ幹線」「６５．８ｍ」）は、いずれも静止画像に重畳表示された単なる画素の並びに過ぎない。そこで、これを画像処理することにより「下水管の名称がＡＢ幹線」「移動距離が６５．８ｍ」と認識することができる。

なお、この画像処理技術は、一般的なルールベースに基づいた判断手法であってよいし、ディープラーニングなどの多数のデータを使用して、予め学習したモデルを使用する判断手法であってもよい。

また、移動距離について、移動距離の始点が暗黙で決定される場合には、動画像データ２２には始点に関する情報は重畳記録されない。一方、移動距離の始点が暗黙で決定されない場合には、動画像データ２２には始点に関する情報が重畳記録される。この場合、始点に関する情報とは、管の端の名称（例えば、マンホール番号）である。

「下水管の名称がＡＢ幹線」「移動距離が６５．８ｍ」と認識された撮影位置情報２６は、劣化箇所候補位置算出部１６に、提供される。つまり、撮影位置情報２６とは、例えば、「下水管の名称がＡＢ幹線」「移動距離が６５．８ｍ」である。

劣化箇所候補位置算出部１６は、撮影位置情報２６に対応する下水管の管路図上の劣化箇所候補位置２８を求める。

一般的に、下水管の管路図は、実際の下水管の寸法と相違し、多くの場合、実際の下水管の寸法を縮小したものである。つまり、「６５．８ｍ」に対応する下水管の管路図上の長さは、数ｃｍ程度の長さである。

劣化箇所候補位置算出部１６は、フレーム上に重畳記録された移動距離を、下水管の管路図上の長さに換算する。つまり、下水管の管路図の縮尺が、１／１０００の場合、移動距離「６５．８ｍ」は下水管の管路図上６．５８ｃｍとなる。

劣化箇所候補位置算出部１６で求められた劣化箇所候補位置２８は、長尺物マップ表示部１８に提供される。

長尺物マップ表示部１８は、画面に、下水管の管路図を、使用者が平面的又は空間的な関係を容易に認識することができるように、表示する。そして、長尺物マップ表示部１８は、下水管の管路図を表示すると共に、下水管の管路図上に劣化箇所候補位置２８を表示する。

下水管の管路図上に劣化箇所候補位置２８を表示する場合、周囲と相違する図形、色、文字を使用して、表示することが好ましい。

ここで、劣化箇所候補位置２８を表示した下水管の管路図を説明する。

図４は、劣化箇所候補位置２８を表示した下水管の管路図を説明する説明図である。

図４では、下水管の管路図を表示すると共に、下水管の管路図上に劣化箇所候補位置２８を黒丸で表示する。

なお、下水管の管路図上に劣化箇所候補位置２８を表示する場合、図４では黒丸で表示したが、これに限定されるものではなく、他の色、他の図形であってもよい。また、「劣化箇所」、「劣化」、「劣」などの文字を使用して表示してもよい。

また、例えば、撮影した下水管の名称「ＡＢ幹線」、移動距離の始点を合わせて表示してもよい。なお、図４では、始点を黒三角、「ＡＢ幹線」を太い実線で表示する。

このように、実施例１によれば、画面に表示される劣化箇所候補位置２８が、下水管の管路図のどこに対応するかを容易に認識することができる。また、使用者は下水管のどこに劣化箇所候補が存在するかを容易に認識することができる。

また、劣化箇所候補フレーム抽出部１２で抽出された劣化箇所候補フレーム２４は、フレーム表示部２０に、提供される。

フレーム表示部２０は、例えば、図３に示すような、劣化箇所候補位置２８を文字情報として重畳表示したフレーム（劣化箇所候補フレーム２４）を、画像として、表示する。使用者が、この画像を確認することにより、使用者は、劣化の種類、劣化の程度、劣化箇所候補フレーム抽出部１２の抽出結果が正しいか否かを評価することができる。

なお、実施例１に記載する画像認識支援システムは、劣化箇所候補フレーム抽出部１２の抽出結果が正しいか否か（劣化箇所候補を評価）、劣化の種類、劣化の程度を評価した評価結果を入力する評価結果入力部を有してもよい。また、入力された評価結果を記憶する評価結果記憶部を有してもよい。

入力された評価結果は、評価結果記憶部に記憶されると共に、長尺物マップ１８に表示される。この際、劣化箇所候補位置２８と相違する図形、色、文字を使用して、表示する。

評価結果入力部を有することにより、使用者が評価した評価結果を残すことができ、確認の重複や確認の不足を避けることができる。これにより、業務量の低減や業務効率の向上を図ることができる。

ここで、劣化箇所候補位置２８を文字情報として重畳表示したフレームと劣化箇所候補位置２８を表示した下水管の管路図とを同時に表示した画面を説明する。

図５は、劣化箇所候補位置２８を文字情報として重畳表示したフレームと劣化箇所候補位置２８を表示した下水管の管路図とを同時に表示した画面を説明する説明図である。

図５に示すように、実施例１では、長尺物マップ表示部１８に表示される下水管の管路図と、フレーム表示部２０に表示されるフレーム（劣化箇所候補フレーム２４）と、が同一画面上に表示される。これにより、使用者は、どのような劣化が下水管のどこに存在するかを、同時に認識することができる。

このように、実施例１では、劣化箇所候補位置２８が表示される下水管の管路図と劣化箇所候補フレーム２４とが同一画面上に表示される。なお、これは、長尺物マップ表示部１８の画面に、及び／又は、フレーム表示部２０の画面に、同時に表示される。

なお、図５では、フレーム表示部２０に表示されるフレーム（図５中、右側の図）には、円周方向のひび割れが、劣化箇所候補として、表示される。通常、このひび割れが表示されるフレームは、動画像データ２２に、複数枚、存在する。

また、ひび割れが、円周方向ではなく、軸方向であれば、更に多くのフレームにひび割れが表示される。この場合には、フレーム表示部２０に表示されるフレームは、複数枚のフレームと下水管の管路図とのセットの画像として、取得される。

また、動画像データ２２に含まれる劣化箇所候補は、１箇所とは限らない。このため、ある程度、距離が離れた位置においても、劣化箇所候補フレーム２４が抽出される場合がある。この場合にも、フレーム表示部２０に表示されるフレームは、複数枚のフレームと下水管の管路図とのセットの画像として、取得される。

このように、フレームと下水管の管路図とのセットの画像が、複数枚ある場合には、フレーム表示部２０は、それぞれのセットの画像を、所定の時間ごとに切り替えて表示することができる。また、フレーム表示部２０は、キーボード、マウス、トラックボール、タッチパネルなどの操作によって、セットの画像を切り替えて表示することができる。つまり、フレーム表示部２０は、セットの画像を切り替えて表示する機能を有する。

なお、図５では、長尺物マップ表示部１８に表示される下水管の管路図（図５中、左側の図）には、劣化箇所候補位置２８が黒丸で表示される。

そして、フレーム表示部２０は、フレームと下水管の管路図とのセットの画像が、複数枚ある場合には、周囲と相違する図形、色、文字を使用して、それぞれのセットの画像を特徴付けて表示することができる。つまり、フレーム表示部２０は、周囲と相違する図形、色、文字を使用して、それぞれのセットの画像を特徴付けて表示する機能を有する。

セットの画像を切り替えて表示し、それぞれのセットの画像を特徴付けて表示することにより、使用者は、希望する劣化箇所候補フレーム２４を容易に認識することができる。

また、実施例１では、下水管の点検作業で使用される車両型ロボットのように、下水管の内面を撮影する際に、前進・停止・後退が頻繁に実行され、動画像データ２２には、同一の撮影位置情報２６が含まれる場合がある。この場合、長尺物マップ表示部１８では、劣化箇所候補位置２８が、重複して、表示される。

つまり、セットの画像を切り替えて表示する場合、複数の選択肢が存在する場合がある。フレーム表示部２０は、このような場合には、小画面を表示して、どのセットの画像に切り替えて表示するかを、使用者が選択することができるように、表示する。

また、フレーム表示部２０は、劣化箇所候補フレーム２４の前後のフレームを表示することができる。つまり、フレーム表示部２０は、劣化箇所候補フレーム２４の前後のフレームを表示する前後フレーム表示機能を有する。

例えば、図５の左側の長尺物マップ表示部１８に表示される下水管の管路図上の、劣化箇所候補位置２８（黒丸）を選択した場合、劣化箇所候補位置２８が求められる動画像データ２２が撮影された時間から、時間的に、前の動画像データ２２から後の動画像データ２２を、図５の右側のフレーム表示部２０に、順次、表示する。これにより、劣化の広がりや周辺の状況を、より的確に把握することができる。

また、フレーム表示部２０は、時間的に順次表示する機能を有すると共に、一時停止、又は時間的に遡及する方向へ向かって表示する機能を有する。これにより、劣化の広がりや周辺の状況を、より的確に把握することができる。

そして、図５に示す画面中に、又は、同時に表示される他の画面中に、再生、一時停止、逆再生のボタンを設定することが好ましい。これにより、操作性が向上する。

セットの画像を切り替えて表示する場合であって、複数の選択肢が存在する場合には、フレーム表示部２０は、時間的に古いセットの画像を選択することができるような機能を有し、及び／又は、時間的に新しいセットの画像を選択することができるような機能を有する。選択条件を事前に、システムの記憶装置に設定してもよい。

ここで、枝分かれの無い１本の下水管を表示した下水管の管路図を説明する。また、枝分かれの無い１本の下水管に、劣化箇所候補位置２８を表示した下水管の管路図を説明する。

図６は、枝分かれの無い１本の下水管を表示した下水管の管路図を説明する説明図である。

図７は、枝分かれの無い１本の下水管に、劣化箇所候補位置２８を表示した下水管の管路図を説明する説明図である。

図４に示すように、枝分かれの有る複数本の下水管を表示した下水管の管路図である場合には、図２や図３に示すように、撮影した下水管の名称が、重畳表示される。これにより、撮影した下水管が、枝分かれの有る複数本の下水管のどれかが、明確になる。

一方、図６や図７に示すように、枝分かれの無い１本の下水管を表示した下水管の管路図である場合には、撮影した下水管が、明確であるため、必ずしも、撮影した下水管の名称を重畳表示する必要はない。

図７では、下水管の管路図を表示すると共に、下水管の管路図上に劣化箇所候補位置２８を黒丸で表示する。

なお、下水管の管路図上に劣化箇所候補位置２８を表示する場合、図７では黒丸で表示したが、これに限定されるものではなく、他の色、他の図形であってもよい。また、「劣化箇所」、「劣化」、「劣」などの文字を使用して表示してもよい。また、例えば、移動距離、移動距離の始点を合わせて表示してもよい。

このように、実施例１によれば、下水管の点検作業で使用される車両型ロボットのように、下水管の内面を撮影する際に、前進・停止・後退が頻繁に実行され、更に、走行速度や走行方向が記録されない場合であっても、動画像データ２２に、撮影箇所の撮影位置情報２６が文字情報として重畳記録されていれば、画面に表示される劣化箇所候補位置２８が、下水管の管路図のどこに対応するかを容易に認識することができる。

実施例１に記載する画像認識支援システムは、第１の機能として、下水管に沿って撮影され、撮影箇所の撮影位置情報が文字情報として重畳記録される動画像データ２２を記憶する動画像データ記憶部１０と、動画像データ２２から、撮影箇所の撮影位置情報を文字情報として重畳表示したフレームを抽出し、動画像データ２２を画像処理し、劣化が存在する劣化箇所候補を求め、劣化箇所候補を含む劣化箇所候補フレーム２４を抽出する劣化箇所候補フレーム抽出部１２と、劣化箇所候補フレーム２４に、重畳記録された文字情報を画像処理し、テキスト情報として認識し、撮影位置情報２６を求めるフレーム撮影位置情報認識部１４と、撮影位置情報２６に対応する下水道の管路図上の劣化箇所候補位置２８を求める劣化箇所候補位置算出部１６と、下水管の管路図を表示すると共に、下水管の管路図上に劣化箇所候補位置２８を表示する長尺物マップ表示部１８と、劣化箇所候補フレーム２４を表示するフレーム表示部２０と、を有する。

これにより、使用者は、下水管の管路図上で、劣化箇所候補位置２８を容易に認識することができる。その結果、使用者は、業務量の低減や業務効率の向上を図ることができる。

次に、実施例２に記載する画像認識支援システムを説明する。

図８は、実施例２に記載する画像認識支援システムを説明する機能ブロック図である。

実施例２に記載する画像認識支援システムは、第２の機能として、動画像データ２２を記憶する動画像データ記憶部１０と、フレーム撮影位置情報認識部１４と、長尺物マップ表示部１８と、フレーム表示部２０と、現実空間指定位置算出部３０と、探索部３２と、を有する。

実施例２に記載する画像認識支援システムは、実施例１に記載する画像認識支援システムと比較して、更に、現実空間指定位置算出部３０と、探索部３２と、を有する。

なお、実施例２に記載する画像認識支援システムは、劣化箇所候補フレーム抽出部１２と、劣化箇所候補位置算出部１６（図示なし）と、有してもよい。

長尺物マップ表示部１８は、下水管の管路図を表示すると共に、動画像データ２２の再生開始指定位置情報及び再生終了指定位置情報３４を、下水管の管路図上に表示する。再生開始指定位置情報及び再生終了指定位置情報３４は、下水管の管路図上で、指定することができる。また、再生開始指定位置情報及び再生終了指定位置情報３４は、周囲と相違する図形、色、文字を使用して、表示する。

ここで、再生開始指定位置情報及び再生終了指定位置情報３４を表示した下水管の管路図を説明する。

図９は、再生開始指定位置情報及び再生終了指定位置情報３４を表示した下水管の管路図を説明する説明図である。

図９には、下水管の管路図と、２つの三角形と、文字「Ｓ」と、文字「Ｅ」と、が表示される。

例えば、下水管の管路図の、希望する位置に、カーソルやポインタを移動させて、クリックする。これにより、再生開始指定位置情報を設定することができる。再生開始指定位置情報を設定すると、１つの三角形と文字「Ｓ」がペアとなって表示される。なお、「Ｓ」は「Ｓｔａｒｔ」の頭文字である。

また、例えば、下水管の管路図の、希望する位置に、カーソルやポインタを移動させて、クリックする。これにより、再生終了指定位置情報を設定することができる。再生終了指定位置情報を設定すると、１つの三角形と文字「Ｅ」がペアとなって表示される。なお、「Ｅ」は「Ｅｎｄ」の頭文字である。

長尺物マップ表示部１８で指定された再生開始指定位置情報及び再生終了指定位置情報３４は、現実空間指定位置算出部３０に提供される。

現実空間指定位置算出部３０は、長尺物マップ表示部１８で指定された再生開始指定位置情報及び再生終了指定位置情報３４を、現実空間の現実空間再生開始指定位置情報及び現実空間再生終了指定位置情報３６に換算する。

つまり、現実空間指定位置算出部３０は、再生開始指定位置情報及び再生終了指定位置情報３４から、現実空間再生開始指定位置情報及び現実空間再生終了指定位置情報３６を求める。現実空間指定位置算出部３０は、再生開始指定位置情報から再生終了指定位置情報に対応する下水管の管路図の空間から、現実空間再生開始指定位置情報から現実空間再生終了指定位置情報に対応する現実空間を求める。

一般的に、下水管の管路図は、実際の下水管の寸法と相違し、多くの場合、実際の下水管の寸法を縮小したものである。つまり、数ｍに対応する下水管の管路図上の長さは、数ｃｍの長さである。なお、この換算方法は、劣化箇所候補位置算出部１６が撮影位置情報２６に対応する下水管の管路図上の劣化箇所候補位置２８を求める方法と、同様である。

下水管の管路図上の、ある始点から再生開始指定位置情報までの長さやある始点から再生終了指定位置情報までの長さが数ｃｍであっても、実際の下水管の寸法は数ｍである。

このように、現実空間指定位置算出部３０は、下水管の管路図上の長さを、実際の下水管の長さに換算する。

そして、現実空間再生開始指定位置情報及び現実空間再生終了指定位置情報３６は、探索部３２に提供される。なお、現実空間再生開始指定位置情報及び現実空間再生終了指定位置情報３６は、移動距離、移動距離の始点となる位置情報、下水管の名称の全て又は一部により構成される。

特に、図４に示すように、枝分かれの有る複数本の下水管を表示した下水管の管路図である場合には、図２や図３に示される下水管の名称のように、どの下水管の情報かが示される。

また、移動距離について、移動距離の始点が暗黙で決定される場合には、動画像データ２２には始点に関する情報は重畳記録されない。一方、移動距離の始点が暗黙で決定されない場合には、動画像データ２２には始点に関する情報が重畳記録される。この場合、始点に関する情報とは、管の端の名称（例えば、マンホール番号）である。

撮影箇所の撮影位置情報が文字情報として重畳記録される動画像データ２２を記憶する動画像データ記憶部１０は、動画像データ２２を、フレーム撮影位置情報認識部１４に提供する。

なお、実施例２でも、動画像データ２２から、撮影箇所の撮影位置情報を文字情報として重畳表示したフレームを抽出し、動画像データ２２を画像処理し、劣化箇所候補を求め、劣化箇所候補を認識し、その劣化箇所候補を含む劣化箇所候補フレーム２４を抽出してもよい。

また、動画像データ記憶部１０は、動画像データ２２を、フレーム表示部２０に提供する。

フレーム撮影位置情報認識部１４は、動画像データ２２から抽出されたフレームに重畳記録された文字情報（下水管の名称及び移動距離）を画像処理し、テキスト情報として認識し、撮影位置情報２６を求める。

例えば、図２に示すフレームに記録される文字情報（「ＡＢ幹線」「５１．３ｍ」）は、いずれも静止画像に重畳表示された単なる画素の並びに過ぎない。そこで、これを画像処理することにより「下水管の名称がＡＢ幹線」「移動距離が５１．３ｍ」と認識することができる。

なお、この画像処理技術は、一般的なルールベースに基づいた判断手法であってよいし、ディープラーニングなどの多数のデータを使用して、予め学習したモデルを使用する判断手法であってもよい。

「下水管の名称がＡＢ幹線」「移動距離が５１．３ｍ」と認識された撮影位置情報２６は、探索部３２に、提供される。つまり、撮影位置情報２６とは、例えば、「下水管の名称がＡＢ幹線」「移動距離が５１．３ｍ」である。

探索部３２は、現実空間指定位置算出部３０から提供された現実空間再生開始指定位置情報及び現実空間再生終了指定位置情報３６と、フレーム撮影位置情報認識部１４から提供された撮影位置情報２６とを比較する。

そして、探索部３２は、撮影位置情報２６が現実空間再生開始指定位置情報にもっとも近い開始フレーム（開始フレーム情報）と、撮影位置情報２６が現実空間再生終了指定位置情報にもっとも近い終了フレーム（終了フレーム情報）とを、動画像データ２２から抽出されたフレームから、探索する。

探索部３２で求められた開始フレーム情報及び終了フレーム情報３８は、フレーム表示部２０に提供される。

ここで、開始フレーム情報及び終了フレーム情報３８は、各フレームに付与されるフレーム番号であることが好ましい。なお、撮影時の冒頭からの経過時間であってもよい。

フレーム表示部２０は、探索部３２から提供された開始フレーム情報及び終了フレーム情報３８における開始フレームと終了フレームとの間のフレームを、動画像データ記憶部１０から動画像データ２２として取得する。そして、フレーム表示部２０は取得した、開始フレームと終了フレームとの間のフレームを、画面上に、順次、表示する。

なお、再生開始指定位置情報と再生終了指定位置情報とは、同じ位置であってもよい。その場合、フレーム表示部２０では、静止画像を表示する。

また、フレーム表示部２０は、時間的に順次表示する機能を有すると共に、一時停止、又は時間的に遡及する方向へ向かって表示する機能を有する。

そして、フレーム表示部２０の画面中に、又は、同時に表示される他の画面中に、再生、一時停止、逆再生のボタンを設定することが好ましい。これにより、操作性が向上する。

実施例２に記載する画像認識支援システムは、第２の機能として、下水道に沿って撮影され、撮影箇所の撮影位置情報が文字情報として重畳記録される動画像データ２２を記憶する動画像データ記憶部１０と、下水道の管路図を表示すると共に、動画像データ２２の再生開始指定位置情報及び再生終了指定位置情報３４を下水道の管路図に表示する長尺物マップ表示部１８と、再生開始指定位置情報及び再生終了指定位置情報３４から、現実空間の現実空間再生開始指定位置情報及び現実空間再生終了指定位置情報３６を求める現実空間指定位置算出部３０と、動画像データ２２から抽出されるフレームに重畳記録された文字情報を画像処理し、テキスト情報として認識し、撮影位置情報を求めるフレーム撮影位置情報認識部１４と、撮影位置情報が現実空間再生開始指定位置情報にもっとも近い開始フレームと、撮影位置情報が現実空間再生終了指定位置情報にもっとも近い終了フレームとを探索する探索部３２と、開始フレームと終了フレームとの間のフレームを、順次、表示するフレーム表示部２０と、を有する。

このように、実施例２では、長尺物マップ表示部１８において、再生開始指定位置情報及び再生終了指定位置情報を、下水管の管路図上で指定することにより、再生開始指定位置情報と再生終了指定位置情報との間の動画像データ２２を容易に認識することができる。これにより、使用者は、業務量の低減や業務効率の向上を図ることができる。

次に、実施例３に記載する画像認識支援システムを説明する。

図１０は、実施例３に記載する画像認識支援システムを説明する機能ブロック図である。

実施例３に記載する画像認識支援システムは、実施例２に記載する画像認識支援システムと比較して、フレーム撮影位置情報認識部４２と、マップ上再生位置算出部４４と、を有する。

フレーム表示部２０は、動画像データ２２から抽出したフレームを画面上に、順次、表示する。そして、フレーム表示部２０が表示するフレームを、フレーム画像４０として、フレーム撮影位置情報認識部４２に、提供する。

フレーム撮影位置情報認識部４２は、フレーム画像４０に重畳記録された文字情報を画像処理し、テキスト情報として認識し、撮影位置情報４６を求める。

例えば、図２に示すフレームに記録される文字情報（「ＡＢ幹線」「５１．３ｍ」）は、いずれも静止画像に重畳表示された単なる画素の並びに過ぎない。そこで、これを画像処理することにより「下水管の名称がＡＢ幹線」「移動距離が５１．３ｍ」と認識することができる。

なお、この画像処理技術は、一般的なルールベースに基づいた判断手法であってよいし、ディープラーニングなどの多数のデータを使用して、予め学習したモデルを使用する判断手法であってもよい。

フレーム撮影位置情報認識部４２で求められた撮影位置情報４６は、マップ上再生位置算出部４４に提供される。

マップ上再生位置算出部４４は、撮影位置情報４６を、マップ上再生位置情報４８に換算し、換算されたマップ上再生位置情報４８を、長尺物マップ表示部１８に提供する。そして、長尺物マップ表示部１８は、フレーム表示部２０で表示されるフレームの位置情報（マップ上再生位置情報４８）を、下水管の管路図に表示する。

一般的に、下水管の管路図は、実際の下水管の寸法と相違し、多くの場合、実際の下水管の寸法を縮小したものである。つまり、数ｍに対応する下水管の管路図上の長さは、数ｃｍの長さである。なお、この換算方法は、劣化箇所候補位置算出部１６が撮影位置情報２６に対応する下水管の管路図上の劣化箇所候補位置２８を求める方法と、同様である。

このように、マップ上再生位置算出部４４は、実際の下水管の長さ（フレーム上に重畳記録された移動距離）を、下水管の管路図上の長さ（マップ上再生位置情報４８）に、換算する。

マップ上再生位置算出部４４で求められたマップ上再生位置情報４８は、長尺物マップ表示部１８に提供される。

そして、長尺物マップ表示部１８は、下水管の管路図を表示すると共に、再生開始指定位置情報及び再生終了指定位置情報３４、マップ上再生位置情報４８を表示する。再生開始指定位置情報及び再生終了指定位置情報３４は、周囲と相違する図形、色、文字を使用して、表示する。また、マップ上再生位置情報４８は、再生開始指定位置情報及び再生終了指定位置情報３４、並びに周囲と相違する図形、色、文字を使用して、表示する。

ここで、再生開始指定位置情報及び再生終了指定位置情報３４とマップ上再生位置情報４８とを表示した下水管の管路図を説明する。

図１１は、再生開始指定位置情報及び再生終了指定位置情報３４とマップ上再生位置情報４８とを表示した下水管の管路図を説明する説明図である。

図１１では、マップ上再生位置情報４８を黒丸で表示したが、これに限定されるものではなく、他の色、他の図形であってもよい。また、文字を使用して表示してもよい。

また、再生開始指定位置情報及び再生終了指定位置情報３４を黒三角で表示し、再生開始指定位置情報には文字「Ｓ」を、再生終了指定位置情報には文字「Ｅ」を、表示する。

このように、フレーム表示部２０に表示されるフレーム画像４０が、下水道の管路図上で指定した再生開始指定位置情報と再生終了指定位置情報との間の、どの位置にあるかを、容易に認識することができる。

ここで、再生開始指定位置情報及び再生終了指定位置情報３４とマップ上再生位置情報４８とを表示した下水管の管路図と、マップ上再生位置情報４８を文字情報として重畳表示したフレームと、を同時に表示した画面を説明する。

図１２は、再生開始指定位置情報及び再生終了指定位置情報３４とマップ上再生位置情報４８とを表示した下水管の管路図と、マップ上再生位置情報４８を文字情報として重畳表示したフレームと、を同時に表示した画面を説明する説明図である。

図１２に示すように、実施例３では、再生開始指定位置情報及び再生終了指定位置情報３４とマップ上再生位置情報４８とを表示した下水管の管路図と、マップ上再生位置情報４８を文字情報（「ＡＢ幹線」「４２．３ｍ」）として重畳表示したフレームと、が同一画面上に表示される。これにより、使用者は、現在確認している下水管が、どの下水管かを、認識することができる。

なお、実施例３に記載する画像認識支援システムは、表示されるフレームを評価した評価結果を入力する評価結果入力部を有してもよい。入力された評価結果を記憶する評価結果記憶部を有してもよい。

入力された評価結果は、評価結果記憶部に記憶されると共に、長尺物マップ１８に表示される。この際、マップ上再生位置情報４８と相違する図形、色、文字を使用して、表示する。

評価結果入力部を有することにより、使用者が評価した評価結果を残すことができ、確認の重複や確認の不足を避けることができる。これにより、業務量の低減や業務効率の向上を図ることができる。

このように、下水管の点検作業で使用される車両型ロボットのように、下水管の内面を撮影する際に、前進・停止・後退が頻繁に実行され、更に、走行速度や走行方向が記録されない場合であっても、動画像データ２２に、撮影箇所の撮影位置情報２６が文字情報として重畳記録されていれば、画面に表示される劣化箇所候補位置２８が、下水管の管路図のどこに対応するかを容易に認識することができる。

また、下水管の管路図の位置に対応する動画像データ２２を容易に絞り込み、再生表示することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために、具体的に説明したものであり、必ずしも説明した全ての構成を有するものに限定されるものではない。

また、ある実施例の構成の一部を、他の実施例の構成の一部に置換することもできる。また、ある実施例の構成に他の実施例の構成を追加することもできる。また、各実施例の構成の一部について、それを削除し、他の構成の一部を追加し、他の構成の一部と置換することもできる。

１０…動画像データ記憶部、１２…劣化箇所候補フレーム抽出部、１４…フレーム撮影位置情報認識部、１６…劣化箇所候補位置算出部、１８…長尺物マップ表示部、２０…フレーム表示部、２２…動画像データ、２４…劣化箇所候補フレーム、２６…撮影位置情報、２８…劣化箇所候補位置、３０…現実空間指定位置算出部、３２…探索部、３４…再生開始指定位置情報及び再生終了指定位置情報、３６…現実空間再生開始指定位置情報及び現実空間再生終了指定位置情報、３８…開始フレーム情報及び終了フレーム情報、４０…フレーム画像、４２…フレーム撮影位置情報認識部、４４…マップ上再生位置算出部、４６…撮影位置情報、４８…マップ上再生位置情報。

Claims (15)

1. 長尺物に沿って撮影され、撮影箇所の撮影位置情報が文字情報として重畳記録される動画像データを記憶する動画像データ記憶部と、
   前記動画像データから、撮影箇所の撮影位置情報を文字情報として重畳表示したフレームを抽出し、前記動画像データを画像処理し、劣化が存在する劣化箇所候補を求め、前記劣化箇所候補を含む劣化箇所候補フレームを抽出する劣化箇所候補フレーム抽出部と、
   前記劣化箇所候補フレームに、重畳記録された前記文字情報を画像処理し、テキスト情報として認識し、撮影位置情報を求めるフレーム撮影位置情報認識部と、
   前記撮影位置情報に対応する長尺物マップ上の劣化箇所候補位置を求める劣化箇所候補位置算出部と、
   前記長尺物を長尺物マップとして表示すると共に、長尺物マップ上に前記劣化箇所候補位置を表示する長尺物マップ表示部と、
   前記劣化箇所候補フレームを表示するフレーム表示部と、
   を有することを特徴とする画像確認支援システム。
2. 請求項１に記載する画像確認支援システムであって、
   前記劣化箇所候補位置が表示される長尺物マップと前記劣化箇所候補フレームとが同一画面上に表示されることを特徴とする画像確認支援システム。
3. 請求項１に記載する画像確認支援システムであって、
   前記撮影位置情報は、移動距離を有することを特徴とする画像確認支援システム。
4. 請求項１に記載する画像確認支援システムであって、
   前記撮影位置情報は、移動距離と移動距離の始点となる位置情報とを有することを特徴とする画像確認支援システム。
5. 請求項１に記載する画像確認支援システムであって、
   前記撮影位置情報は、移動距離と移動距離の始点となる位置情報と長尺物の名称とを有することを特徴とする画像確認支援システム。
6. 請求項１に記載する画像確認支援システムであって、
   前記フレーム表示部は、前記劣化箇所候補のフレームの前後のフレームを表示する前後フレーム表示機能を有することを特徴とする画像確認支援システム。
7. 請求項１に記載する画像確認支援システムであって、
   前記劣化箇所候補の評価結果を入力する評価結果入力部と、前記評価結果を記憶する評価結果記憶部と、を有することを特徴とする画像確認支援システム。
8. 長尺物に沿って撮影され、撮影箇所の撮影位置情報が文字情報として重畳記録される動画像データを記憶する動画像データ記憶部と、
   前記長尺物を長尺物マップとして表示すると共に、前記動画像データの再生開始指定位置情報及び再生終了指定位置情報を前記長尺物マップに表示する長尺物マップ表示部と、
   前記再生開始指定位置情報及び再生終了指定位置情報から、現実空間の現実空間再生開始指定位置情報及び現実空間再生終了指定位置情報を求める現実空間指定位置算出部と、
   前記動画像データから抽出されるフレームに重畳記録された文字情報を画像処理し、テキスト情報として認識し、撮影位置情報を求めるフレーム撮影位置情報認識部と、
   前記撮影位置情報が現実空間再生開始指定位置情報にもっとも近い開始フレームと、前記撮影位置情報が現実空間再生終了指定位置情報にもっとも近い終了フレームとを探索する探索部と、
   を有することを特徴とする画像確認支援システム。
9. 請求項８に記載する画像確認支援システムであって、
   前記開始フレームと前記終了フレームとの間のフレームを、順次、表示するフレーム表示部を有することを特徴とする画像確認支援システム。
10. 請求項９に記載する画像確認支援システムであって、
    前記長尺物マップ表示部は、前記フレーム表示部で表示されるフレームの位置情報を、前記長尺物マップに表示することを特徴とする画像確認支援システム。
11. 請求項８に記載する画像確認支援システムであって、
    前記現実空間再生開始指定位置情報及び現実空間再生終了指定位置情報は、移動距離を有することを特徴とする画像確認支援システム。
12. 請求項８に記載する画像確認支援システムであって、
    前記現実空間再生開始指定位置情報及び現実空間再生終了指定位置情報は、移動距離と移動距離の始点となる位置情報とを有することを特徴とする画像確認支援システム。
13. 請求項８に記載する画像確認支援システムであって、
    前記現実空間再生開始指定位置情報及び現実空間再生終了指定位置情報は、移動距離と移動距離の始点となる位置情報と長尺物の名称とを有することを特徴とする画像確認支援システム。
14. 請求項８に記載する画像確認支援システムであって、
    前記フレームの評価結果を入力する評価結果入力部と、前記評価結果を記憶する評価結果記憶部と、を有することを特徴とする画像確認支援システム。
15. 請求項８に記載する画像確認支援システムであって、
    前記長尺物が、下水管であることを特徴とする画像確認支援システム。

Images