JP6794326B2

JP6794326B2 - 段差高さ推定装置、方法、及びプログラム

Info

Publication number: JP6794326B2
Application number: JP2017169371A
Authority: JP
Inventors: 和彦村崎; 慎吾安藤; 杵渕　哲也; 哲也杵渕
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2017-09-04
Filing date: 2017-09-04
Publication date: 2020-12-02
Anticipated expiration: 2037-09-04
Also published as: JP2019045332A

Description

本発明は、段差高さ推定装置、方法、及びプログラムに係り、特に、画像から物体の段差の高さを推定するための段差高さ推定装置、方法、及びプログラムに関する。

マンホール鉄蓋などの路上に設置されるインフラ設備には、一般的にスリップ防止のための滑り止めが付いており、日々の点検ではそれらの滑り止めが摩耗していないかを確認することが求められる。こうした作業をより効率的に行うために、カメラ画像を使った自動認識の方法が取り組まれている。

村崎, 数藤, 谷口, "写真撮影によるマンホール鉄蓋摩耗度推定", 計測自動制御学会論文集, 51(12), 814-821, 2015 アイレック技建株式会社, "段サーチ2 | アイレック技建株式会社", URL:(http://www.airec.co.jp/products/renovation/StepSearch2.html)

非特許文献１では、画像特徴に基づいてマンホール鉄蓋表面の摩耗度合いを認識しているが、画像から直接摩耗量を推定しているために、様々な環境で様々な摩耗量の鉄蓋画像を学習する必要があり、また学習に用いたものと同様の模様を持つマンホール鉄蓋にしか適用できないという問題がある。

一方で非特許文献２で示されるように、３次元幾何を用いて様々な物体を対象としてカメラ画像から段差量を推定できる手法はすでに活用されているが、対象の段差個所を人手によって指定する必要があり作業に時間がかかる。また、幾何計算においてカメラパラメータ等を考慮していないため計測精度にも問題がある。

本発明は、上記問題点を解決するために成されたものであり、精度よく、かつ、効率的に、画像から物体の段差の高さを推定することができる段差高さ推定装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る段差高さ推定装置は、入力画像から、予め学習された、前記入力画像に写る物体の表面に対応する平面と略垂直を成す面であり、かつ、前記面の幅が段差の高さを示す立ち上がり面を表す領域を認識するための認識モデルに基づいて、前記入力画像の前記立ち上がり面を表す領域を抽出する立ち上がり面セグメンテーション部と、前記立ち上がり面を表す領域に基づいて、段差の起点となる段差端点を検出し、前記段差端点の位置と、前記入力画像を撮影したカメラのカメラパラメータとに基づいて、前記段差端点を通り、かつ、前記物体の表面に対応する平面と垂直な直線を、前記入力画像に投影した直線の、前記立ち上がり面を表す領域内の長さを求め、前記長さ及び前記カメラパラメータを用いて前記段差の高さを推定する実寸法推定部と、を含んで構成されている。

また、第１の発明に係る段差高さ推定装置において、前記カメラパラメータを、前記起点までの焦点距離、カメラの向きと前記平面とのなす角、及び起点となる段差端点からの視点高さとし、前記実寸法推定部は、カメラ座標空間における前記段差端点の位置及び前記焦点距離を用いて表される、前記入力画像上の前記段差端点に対応する座標と、前記焦点距離と、前記なす角と、前記視点高さと、前記平面と垂直な直線を前記入力画像に投影した直線の、前記立ち上がり面を表す領域内となる部分である線分の、前記段差端点とは反対側の端点の座標とに基づいて、前記段差の高さを推定するようにしてもよい。

また、第１の発明に係る段差高さ推定装置において、前記認識モデルに、前記立ち上がり面を表す領域を抽出するように学習された畳み込みニューラルネットワークを用いるようにしてもよい。

第２の発明に係る段差高さ推定方法は、立ち上がり面セグメンテーション部が、入力画像から、予め学習された、前記入力画像に写る物体の表面に対応する平面と略垂直を成す面であり、かつ、前記面の幅が段差の高さを示す立ち上がり面を表す領域を認識するための認識モデルに基づいて、前記入力画像の前記立ち上がり面を表す領域を抽出するステップと、実寸法推定部が、前記立ち上がり面を表す領域に基づいて、段差の起点となる段差端点を検出し、前記段差端点の位置と、前記入力画像を撮影したカメラのカメラパラメータとに基づいて、前記段差端点を通り、かつ、前記物体の表面に対応する平面と垂直な直線を、前記入力画像に投影した直線の、前記立ち上がり面を表す領域内の長さを求め、前記長さ及び前記カメラパラメータを用いて前記段差の高さを推定するステップと、を含んで実行することを特徴とする。

また、第２の発明に係る段差高さ推定方法において、前記カメラパラメータを、前記起点までの焦点距離、カメラの向きと前記平面とのなす角、及び起点となる段差端点からの視点高さとし、前記実寸法推定部が推定するステップは、カメラ座標空間における前記段差端点の位置及び前記焦点距離を用いて表される、前記入力画像上の前記段差端点に対応する座標と、前記焦点距離と、前記なす角と、前記視点高さと、前記平面と垂直な直線を前記入力画像に投影した直線の、前記立ち上がり面を表す領域内となる部分である線分の、前記段差端点とは反対側の端点の座標とに基づいて、前記段差の高さを推定するようにしてもよい。

また、第２の発明に係る段差高さ推定方法において、前記認識モデルに、前記立ち上がり面を表す領域を抽出するように学習された畳み込みニューラルネットワークを用いるようにしてもよい。

第３の発明に係るプログラムは、コンピュータを、第１の発明に係る段差高さ推定装置の各部として機能させるためのプログラムである。

本発明の段差高さ推定装置、方法、及びプログラムによれば、入力画像から、認識モデルに基づいて、入力画像の立ち上がり面を表す領域を抽出し、立ち上がり面を表す領域に基づいて、段差の起点となる段差端点を検出し、段差端点の位置と、カメラパラメータとに基づいて、立ち上がり面を表す領域内の、段差端点を通り、かつ、物体の表面に対応する平面と垂直な直線を、入力画像に投影した直線の長さを求め、段差の高さを推定することにより、精度よく、かつ、効率的に、画像から物体の段差の高さを推定することができる、という効果が得られる。

本発明の実施の形態に係る段差高さ推定装置の構成を示すブロック図である。入力画像の一例であるマンホール鉄蓋の画像を示す図である。認識モデルに用いる畳み込みニューラルネットワークの一例である。立ち上がり面マップの一例を示す図である。カメラパラメータと立ち上がり面との関係の一例を示す図である。本発明の実施の形態に係る段差高さ推定装置における段差高さ推定処理ルーチンを示すフローチャートである。本発明の実施の形態に係る段差高さ推定装置における透視投影変換処理ルーチンを示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る概要＞

まず、本発明の実施の形態における概要を説明する。

本発明の実施の形態では、画像に含まれる立ち上がり面の領域を周辺の画像特徴を用いて抽出する立ち上がり面セグメンテーションを用いる。立ち上がり面とは、画像に写る物体の表面に対応する平面と略垂直を成す面であり、かつ、その面の幅が段差の高さを示す平面を意味する。立ち上がり面の認識は段差の量や凹凸形状の模様などに依存しない３次元形状の認識であるため、認識対象が学習サンプルと異なる形状であっても同様の平面であれば適用が可能である。立ち上がり面領域を抽出するための認識モデルには、深層学習を用い、画像中の立ち上がり面を塗りつぶした画像を訓練画像として一定数用意して予め学習して構築した立ち上がり面認識器を用いる。そして、抽出された立ち上がり面と撮影カメラのカメラパラメータを用いて、透視投影変換を想定した幾何計算を行う。これにより、実空間上での段差の高さを算出することができる。

＜本発明の実施の形態に係る段差高さ推定装置の構成＞

次に、本発明の実施の形態に係る段差高さ推定装置の構成について説明する。図１に示すように、本発明の実施の形態に係る段差高さ推定装置１００は、ＣＰＵと、ＲＡＭと、後述する段差高さ推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この段差高さ推定装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。

入力部１０は、入力画像を受け付ける。入力画像は、例えば、図２に示すようなマンホール鉄蓋の画像である。

演算部２０は、認識モデル２２と、カメラパラメータ２４と、立ち上がり面セグメンテーション部３０と、実寸法推定部３２とを含んで構成されている。

認識モデル２２は、予め学習された立ち上がり面を表す領域を抽出するように学習された立ち上がり面認識器である。認識モデル２２として、事前に、画像中の立ち上がり面が人手によって指定されている訓練画像を用いて、画像から立ち上がり面マップを推定する立ち上がり面認識器を学習しておく。立ち上がり面認識器の学習には、例えば以下のように、通常の機械学習による手法を用いることができる。

認識モデル２２の立ち上がり面認識器として、図３のような階層構造で示される畳み込みニューラルネットワークを用いる。ネットワークの構造はこれに限られないが、画素毎の識別結果を一括で出力するネットワークを用いることで、効率よく学習と推定を行うことができる。図３で示されるニューラルネットワークは、畳み込み層と最大プーリング層とからなる。最大プーリング層において周辺画素の出力をまとめることによって画像サイズを小さくしていき、各解像度での畳み込み層の出力を元の画像サイズにリサイズして結合することで、局所的な特徴と大域的な特徴をあわせ持つ特徴量を抽出することができる。これらに、さらに畳み込み計算を行い、出力画像を得る。立ち上がり面認識器の学習処理では、予め用意された撮影画像と対応して立ち上がり面をラベル付けしたバイナリマップを用いて、上記畳み込みニューラルネットワークを学習する。出力結果の損失関数としてクロスエントロピーを用い、パラメータの更新には誤差逆伝播法を用いる。十分な回数のパラメータ更新を行い、得られたパラメータを立ち上がり面認識器として保持する。

カメラパラメータ２４は、入力画像を撮影したカメラのパラメータである。カメラパラメータとしては、焦点距離ｆ、カメラの向きと平面とのなす角θ、及び起点となる段差端点からの視点高さＨを用いる。

立ち上がり面セグメンテーション部３０は、入力部１０で受け付けた入力画像から、認識モデル２２に基づいて、入力画像の立ち上がり面を表す領域を抽出する。例えば、図４に示すように、入力画像に対して、立ち上がり面が存在する領域のみを１（白領域）とし、残りの画素を０（黒領域）とする立ち上がり面マップを出力する。

実寸法推定部３２は、立ち上がり面を表す領域に基づいて、段差の起点となる段差端点を検出し、段差端点の各々について、段差端点の位置Ｐと、カメラパラメータ２４とに基づいて、段差端点を通り、かつ、物体の表面に対応する平面と垂直な直線を、入力画像に投影した直線Ｑ_ｖの、立ち上がり面を表す領域内の長さを求める。そして、段差端点の各々について、求めた長さ及びカメラパラメータ２４を用いて段差の高さを推定する。具体的には、カメラ座標空間における段差端点の位置Ｐ及び焦点距離ｆを用いて表される、入力画像上の段差端点に対応する座標（Ｐ_ｕ，Ｐ_ｖ）と、焦点距離ｆと、なす角θと、視点高さＨと、平面と垂直な直線を入力画像に投影した直線の、立ち上がり面を表す領域内となる部分である線分の、段差端点Ｐ_ｖとは反対側の端点の座標Ｑ_ｖ’とに基づいて、段差の高さを推定する。

実寸法推定部３２の処理の詳細について説明する。実寸法推定部３２では、まず、立ち上がり面マップの立ち上がり面を表す領域から、高さ推定の起点となるような領域の最も上部（あるいは最も下部）となる画素を段差端点の各々として検出する。連続する立ち上がり面領域を抽出し、各領域の上部側（あるいは下部側）の境界線を求めることで段差の端点を示す画素が検出される。この処理は対象平面に垂直な方向が画像平面において上方向と一致することを想定しており、そうでない場合は画像を適宜回転するなどして垂直軸と画像平面軸を一致させてから上記の処理を行う。

得られた段差端点の位置を起点とし、カメラパラメータ２４を用いて、以下に説明する透視投影変換を行って段差量を求める。カメラパラメータ２４の焦点距離ｆ、なす角θ、及び視点高さＨと、立ち上がり面との関係を図５に示す。

計測対象となる段差端点のカメラ座標空間における座標をＰ：(Ｐ_ｘ,Ｐ_ｙ,Ｐ_ｚ)として、対応する画像上での光学中心を原点とする段差端点の座標を(Ｐ_ｕ,Ｐ_ｖ)とすると、透視投影変換では以下（１）式のような対応関係が得られる。

・・・（１）

段差端点Ｐを通る平面に垂直な線を考え、その線上の点ＱをＰからの相対高さｈによって表すことを考えると、Ｑは以下（２）式のように表現される。

・・・（２）

この直線を入力画像上で表現することを考えると画像座標(Ｑ_ｕ,Ｑ_ｖ)を用いて以下の（３）式のように表現される。

・・・（３）

Ｑ_ｖが段差端点Ｐを通る垂直な線を画像に投影した直線と言える。段差量を推定するために、Ｑ_ｖの直線上で立ち上がり面ラベルがどこまで付与されているかを検出する。Ｐを起点として直線上に立ち上がり面ラベルが付与されていることを確認していき、立ち上がり面ラベルが途切れた座標をＱ_ｖ’とする。Ｑ_ｖ’が与えられると、以下（４）式のようにして、Ｐ_ｖ−Ｑ_ｖ’により立ち上がり面を表す領域内の、段差端点Ｐ_ｖを通り、かつ、物体の表面に対応する平面と垂直な直線を、入力画像に投影した直線Ｑ_ｖの長さが求まり、段差端点に対応する段差高さｈ’を求めることができる。

・・・（４）

ここで、Ｐ_ｚはカメラ位置の高さＨによって以下（５）式のように置き換えることができる。

・・・（５）

最終出力である段差高さｈ’は以下（６）式のように算出される。

・・・（６）

実寸法推定部３２では、全ての段差端点について、上記（６）式で段差高さｈ’を推定し、入力画像についての段差高さデータとして出力部５０に出力する。

＜本発明の実施の形態に係る段差高さ推定装置の作用＞

次に、本発明の実施の形態に係る段差高さ推定装置１００の作用について説明する。入力部１０において入力画像を受け付けると、段差高さ推定装置１００は、図６に示す段差高さ推定処理ルーチンを実行する。

まず、ステップＳ１００では、入力部１０で受け付けた入力画像から、認識モデル２２に基づいて、入力画像の立ち上がり面を表す領域を抽出し、立ち上がり面マップを出力する。

次に、ステップＳ１０２では、立ち上がり面マップの立ち上がり面を表す領域に基づいて、段差の起点となる段差端点を検出し、段差端点の各々について、段差端点の位置Ｐと、カメラパラメータ２４とに基づいて、段差端点を通り、かつ、物体の表面に対応する平面と垂直な直線を、入力画像に投影した直線Ｑ_ｖの、立ち上がり面を表す領域内の長さを求め、求めた長さ及びカメラパラメータ２４を用いて段差の高さを推定して出力部５０に出力する。

ステップＳ１０２の透視投影変換処理の詳細について図７を参照して説明する。

ステップＳ２００では、立ち上がり面マップの立ち上がり面を表す領域から、高さ推定の起点となるような領域の最も上部となる画素を段差端点の各々として検出する。

ステップＳ２０２では、ステップＳ２００で検出した段差端点の各々について、カメラ座標空間における段差端点の位置Ｐ及びカメラパラメータ２４の焦点距離ｆを用いて表される、入力画像上の段差端点に対応する座標（Ｐ_ｕ，Ｐ_ｖ）と、焦点距離ｆと、カメラパラメータ２４のなす角θとに基づいて、上記（３）式における平面と垂直な直線を入力画像に投影した直線Ｑ_ｖを算出する。

ステップＳ２０４では、ステップＳ２０２で算出されたＱ_ｖの直線上で立ち上がり面ラベルがどこまで付与されているかを検出し、立ち上がり面を表す領域内となる部分である線分の、段差端点Ｐ_ｖとは反対側の端点の座標Ｑ_ｖ’を求める。

ステップＳ２０６では、段差端点の各々について、入力画像上の段差端点Ｐ_ｖと、焦点距離ｆと、なす角θと、カメラパラメータ２４の視点高さＨと、座標Ｑ’とに基づいて、上記（６）式に従って段差の高さを推定する。

以上説明したように、本発明の実施の形態に係る段差高さ推定装置によれば、入力画像から、認識モデルに基づいて、入力画像の立ち上がり面を表す領域を抽出し、立ち上がり面を表す領域に基づいて、段差の起点となる段差端点を検出し、段差端点の位置と、カメラパラメータとに基づいて、立ち上がり面を表す領域内の、段差端点を通り、かつ、物体の表面に対応する平面と垂直な直線を、入力画像に投影した直線の長さを求め、段差の高さを推定することにより、精度よく、かつ、効率的に、画像から物体の段差の高さを推定することができる。

また、本発明の実施の形態の手法によって、従来よりも精度よく多様な画像に対して段差高さの推定が可能となる。車載カメラ画像などの撮影条件が十分に整っていない画像に対しても段差量推定が可能となり、従来の手法と比べて更なる点検作業の効率化を見込めるようになる。

また、様々な模様のマンホール鉄蓋など多様な認識対象に対して同一の認識器を適用することができ、認識対象毎の学習といった手間を省くことができる。

また、点検等に用いる場合には、あらかじめ段差量を知りたい領域を決めておく必要があるが、対象の領域においての最大高さや平均高さなどを本発明の実施の形態の手法によって取得し、点検に活用する方法が考えられる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述した実施の形態では、起点となる段差端点Ｐ_ｖとは反対側の端点の座標を求める場合を例に説明したが、これに限定されるものではない。例えば、段差計測の起点からの視点高さＨを与えることができれば、起点は必ずしも段差の上下端である必要はなく、任意の点からの段差量を計測することができる。

１０入力部
２０演算部
２２認識モデル
２４カメラパラメータ
３０立ち上がり面セグメンテーション部
３２実寸法推定部
５０出力部
１００段差高さ推定装置

Claims

入力画像から、予め学習された、前記入力画像に写る物体の表面に対応する平面と垂直を成す前記物体上の面であり、かつ、前記面の幅が前記物体上の段差の高さを示す立ち上がり面を表す領域を認識するための認識モデルに基づいて、前記入力画像の前記立ち上がり面を表す領域を抽出する立ち上がり面セグメンテーション部と、
前記立ち上がり面を表す領域に基づいて、当該領域が連続する面領域を抽出し、各面領域の上部側又は下部側の境界線となる画素を段差の起点となる段差端点として検出し、前記段差端点の位置と、前記入力画像を撮影したカメラのカメラパラメータとに基づいて、前記段差端点を通り、かつ、前記物体の表面に対応する平面と垂直な直線を、前記入力画像に投影した直線の、前記立ち上がり面を表す領域内の長さを求め、前記長さ及び前記カメラパラメータを用いて前記段差の高さを推定する実寸法推定部と、
を含む段差高さ推定装置。
前記カメラパラメータを、前記起点までの焦点距離、カメラの向きと前記平面とのなす角、及び起点となる段差端点からの視点高さとし、
前記実寸法推定部は、カメラ座標空間における前記段差端点の位置及び前記焦点距離を用いて表される、前記入力画像上の前記段差端点に対応する座標と、前記焦点距離と、前記なす角と、前記視点高さと、前記平面と垂直な直線を前記入力画像に投影した直線の、前記立ち上がり面を表す領域内となる部分である線分の、前記段差端点とは反対側の端点の座標とに基づいて、前記段差の高さを推定する請求項１に記載の段差高さ推定装置。
前記認識モデルに、前記立ち上がり面を表す領域を抽出するように学習された畳み込みニューラルネットワークを用いる請求項１又は請求項２に記載の段差高さ推定装置。
立ち上がり面セグメンテーション部が、入力画像から、予め学習された、前記入力画像に写る物体の表面に対応する平面と垂直を成す前記物体上の面であり、かつ、前記面の幅が前記物体上の段差の高さを示す立ち上がり面を表す領域を認識するための認識モデルに基づいて、前記入力画像の前記立ち上がり面を表す領域を抽出するステップと、
実寸法推定部が、前記立ち上がり面を表す領域に基づいて、当該領域が連続する面領域を抽出し、各面領域の上部側又は下部側の境界線となる画素を段差の起点となる段差端点として検出し、前記段差端点の位置と、前記入力画像を撮影したカメラのカメラパラメータとに基づいて、前記段差端点を通り、かつ、前記物体の表面に対応する平面と垂直な直線を、前記入力画像に投影した直線の、前記立ち上がり面を表す領域内の長さを求め、前記長さ及び前記カメラパラメータを用いて前記段差の高さを推定するステップと、
を含む段差高さ推定方法。
前記カメラパラメータを、前記起点までの焦点距離、カメラの向きと前記平面とのなす角、及び起点となる段差端点からの視点高さとし、
前記実寸法推定部が推定するステップは、カメラ座標空間における前記段差端点の位置及び前記焦点距離を用いて表される、前記入力画像上の前記段差端点に対応する座標と、前記焦点距離と、前記なす角と、前記視点高さと、前記平面と垂直な直線を前記入力画像に投影した直線の、前記立ち上がり面を表す領域内となる部分である線分の、前記段差端点とは反対側の端点の座標とに基づいて、前記段差の高さを推定する請求項４に記載の段差高さ推定方法。
前記認識モデルに、前記立ち上がり面を表す領域を抽出するように学習された畳み込みニューラルネットワークを用いる請求項４又は請求項５に記載の段差高さ推定方法。
コンピュータを、請求項１〜請求項３のいずれか１項に記載の段差高さ推定装置の各部として機能させるためのプログラム。