JP7355974B2 - 距離推定装置および方法 - Google Patents

Description

本発明は、カメラ位置または任意の位置からカメラに映った被写体までの２点間距離を推定する距離推定装置および方法に関するものである。

従来、カメラを用いて物体までの距離を推定する装置として、例えば特許文献１～３に記載の技術が知られている。特許文献１は、ステレオカメラで物体認識を行い、各カメラが認識した対象物の視差情報を算出し、三角測量の原理に基づいて、物体までの距離検出を行うものである。撮影画像の解像度を下げて演算を行うことにより演算量を削減する。

特許文献２は、ステレオカメラで撮影画像上の領域探索を行い、相関を用いたブロックマッチング方式により視差情報を求め、被写体までの距離および物体の種別を判定するものである。距離測定の精度が特に求められる処理領域については単眼カメラの被写体とパタンデータとの類似量から物体を検出し、高さと大きさにより、被写体の距離検出を行う。ステレオカメラ部での処理結果に基づく演算領域のスクリーニングにより、距離測定の精度が求められる単眼カメラ部での演算量を削減する。

特許文献３は、単眼カメラを移動体に取り付け、連続的に画像を取得するものである。画像から特徴点を抽出し、各特徴点の移動量算出を行う。移動体の移動量と画像上の特徴点の移動量に基づき、画像上の特徴点までの距離推定を行う。

特開２０１５－２３０７０３号公報 特開２０１９－６１３１４号公報 特開２０１９－５６６２９号公報

しかしながら、上記の特許文献１、２のようにステレオカメラを用いた場合、視差情報を求めるための複雑な処理が必要となり演算量が増えるという問題がある。また、撮影部を複数用意するため装置が複雑になるという問題がある。

また、上記の特許文献２の場合、パタンデータとの類似量から距離推定を行う際に、被写体が人物の場合は、個人の身長差を考慮できず、精度の高い距離推定が実現できないという問題がある。

また、上記の特許文献３の場合、単眼カメラで物体位置の累積動的視差情報から距離推定を行う際、物体が障害物などにより隠れてしまった場合に、距離推定が行えないという問題がある。

本発明は、上記に鑑みてなされたものであって、演算量の低減と推定精度の向上を図ることができる簡易な距離推定装置および方法を提供することを目的とする。

上記した課題を解決し、目的を達成するために、本発明に係る距離推定装置は、対象物を含む領域を撮像して画像を取得する撮像手段と、取得した画像に基づいて、撮像位置から対象物までの間の距離、または、任意の位置から対象物までの距離を推定する推定手段とを備えた距離推定装置であって、撮像手段は、撮像位置から所定の距離に所定の間隔で配置された複数の標識と対象物を含む領域を撮像し、推定手段は、取得した画像から標識を抽出し、抽出した標識に基づいて撮像位置から画像内の任意の位置までの距離を推定するための推定モデルを生成するモデル生成部と、取得した画像から対象物の特徴部分を抽出し、抽出した対象物の特徴部分から対象物の推定対象部分の位置を推定する位置推定部と、推定モデルを用いて、推定対象部分の位置と撮像位置または任意の位置との間の距離を推定する距離推定部を有することを特徴とする。

また、本発明に係る他の距離推定装置は、上述した発明において、標識は、撮像位置から等距離に等間隔で平地内に配置され、推定モデルは、等距離線を関数で近似したモデルであることを特徴とする。

また、本発明に係る他の距離推定装置は、上述した発明において、位置推定部は、平地上の人物の骨格または姿勢を特徴部分として抽出し、足元の位置を推定対象部分の位置として推定することを特徴とする。

また、本発明に係る他の距離推定装置は、上述した発明において、対象物を含む領域を撮像して画像を取得する撮像ステップと、取得した画像に基づいて、撮像位置から対象物までの間の距離、または、任意の位置から対象物までの距離を推定する推定ステップとを有する距離推定方法であって、撮像ステップは、撮像位置から所定の距離に所定の間隔で配置された複数の標識と対象物を含む領域を撮像し、推定ステップは、取得した画像から標識を抽出し、抽出した標識に基づいて撮像位置から画像内の任意の位置までの距離を推定するための推定モデルを生成するステップと、取得した画像から対象物の特徴部分を抽出し、抽出した対象物の特徴部分から対象物の推定対象部分の位置を推定するステップと、推定モデルを用いて、推定対象部分の位置と撮像位置または任意の位置との間の距離を推定するステップを有することを特徴とする。

また、本発明に係る他の距離推定方法は、上述した発明において、標識は、撮像位置から等距離に等間隔で平地内に配置され、推定モデルは、等距離線を関数で近似したモデルであることを特徴とする。

また、本発明に係る他の距離推定方法は、上述した発明において、推定ステップにおいて、平地上の人物の骨格および姿勢を特徴部分として抽出し、足元の位置を推定対象部分の位置として推定することを特徴とする。

本発明に係る距離推定装置によれば、対象物を含む領域を撮像して画像を取得する撮像手段と、取得した画像に基づいて、撮像位置から対象物までの間の距離、または、任意の位置から対象物までの距離を推定する推定手段とを備えた距離推定装置であって、撮像手段は、撮像位置から所定の距離に所定の間隔で配置された複数の標識と対象物を含む領域を撮像し、推定手段は、取得した画像から標識を抽出し、抽出した標識に基づいて撮像位置から画像内の任意の位置までの距離を推定するための推定モデルを生成するモデル生成部と、取得した画像から対象物の特徴部分を抽出し、抽出した対象物の特徴部分から対象物の推定対象部分の位置を推定する位置推定部と、推定モデルを用いて、推定対象部分の位置と撮像位置または任意の位置との間の距離を推定する距離推定部を有するので、演算量の低減と推定精度の向上を図ることができる簡易な距離推定装置を提供することができるという効果を奏する。

また、本発明に係る他の距離推定装置によれば、標識は、撮像位置から等距離に等間隔で平地内に配置され、推定モデルは、等距離線を関数で近似したモデルであるので、距離推定するための初期設定を簡易に行うことができるという効果を奏する。

また、本発明に係る他の距離推定装置によれば、位置推定部は、平地上の人物の骨格または姿勢を特徴部分として抽出し、足元の位置を推定対象部分の位置として推定するので、人物の足元が障害物によって隠れた場合でも、抽出された骨格や姿勢の特徴部分に基づいて、足元の位置を推定することができるという効果を奏する。

また、本発明に係る他の距離推定装置によれば、対象物を含む領域を撮像して画像を取得する撮像ステップと、取得した画像に基づいて、撮像位置から対象物までの間の距離、または、任意の位置から対象物までの距離を推定する推定ステップとを有する距離推定方法であって、撮像ステップは、撮像位置から所定の距離に所定の間隔で配置された複数の標識と対象物を含む領域を撮像し、推定ステップは、取得した画像から標識を抽出し、抽出した標識に基づいて撮像位置から画像内の任意の位置までの距離を推定するための推定モデルを生成するステップと、取得した画像から対象物の特徴部分を抽出し、抽出した対象物の特徴部分から対象物の推定対象部分の位置を推定するステップと、推定モデルを用いて、推定対象部分の位置と撮像位置または任意の位置との間の距離を推定するステップを有するので、演算量の低減と推定精度の向上を図ることができる簡易な距離推定方法を提供することができるという効果を奏する。

また、本発明に係る他の距離推定方法によれば、標識は、撮像位置から等距離に等間隔で平地内に配置され、推定モデルは、等距離線を関数で近似したモデルであるので、距離推定するための初期設定を簡易に行うことができるという効果を奏する。

また、本発明に係る他の距離推定方法によれば、推定ステップにおいて、平地上の人物の骨格および姿勢を特徴部分として抽出し、足元の位置を推定対象部分の位置として推定するので、人物の足元が障害物によって隠れた場合でも、抽出された骨格や姿勢の特徴部分に基づいて、足元の位置を推定することができるという効果を奏する。

図１は、本発明に係る距離推定装置の実施の形態を示す概念図である。 図２は、本実施の形態の説明図であり、（１）は平面図、（２）は画像イメージ図である。 図３は、本発明に係る距離推定方法の実施の形態を示すフローチャート図である。 図４は、本実施の形態による推定結果を示す図である。 図５は、本実施の形態の説明図である。 図６は、本実施の形態の説明図である。

以下に、本発明に係る距離推定装置および方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

図１に示すように、本発明に係る距離推定装置１０は、略水平な地面Ｇ（平地）の建設現場Ａの重機Ｍに設置されたカメラ１２（撮像手段）と、推定手段１４とを備える。重機Ｍは、建設現場Ａの地面Ｇを移動自在である。

カメラ１２は、動画像を撮像する単眼カメラである。このカメラ１２は、重機Ｍの周囲で資機材の運搬作業に従事する作業員などの人物Ｐ（対象物）と、地面Ｇに配置された図示しないマーカーコーン（標識）を含む領域を撮像して画像を所定の時間間隔で取得する。

図２に示すように、マーカーコーンＣは、カメラ位置（撮像位置）から等距離に等間隔（例えば１ｍ間隔）で複数配置される。マーカーコーンＣは、画像からの抽出が容易となるように、カメラ位置からの距離に応じて異なる色のものを配置することが望ましい。図２の例では、カメラ位置から１ｍ、２ｍ、３ｍ、４ｍ、５ｍの各距離の位置にピンク色、緑色、赤色、黄色、青色のマーカーコーンＣをそれぞれ配置している。

推定手段１４は、図１に示すように、モデル生成部１６と、位置推定部１８と、距離推定部２０を有する。この推定手段１４は、取得した画像に基づいて、カメラ位置または任意の位置から人物Ｐまでの間の距離Ｌを推定するものである。

モデル生成部１６は、取得した画像からマーカーコーンＣを抽出し、抽出したマーカーコーンＣに基づいてカメラ位置から画像内の任意の位置までの距離を推定するための推定モデルを生成するものである。具体的には、図２（１）に示すように、抽出した同色のマーカーコーンＣをつないだ等距離線を２次関数の近似曲線で地面Ｇ上に設定する。そして、各近似曲線から多数点（例えば、一つの等距離線あたり４０個の点）を取得して、それらを元データとして重回帰分析を行ない、距離推定のための重回帰式を作成する。この重回帰式を、カメラ位置の座標から任意地点の座標までの距離を推定可能な推定モデルとして初期設定する。この初期設定をすることで、図２（２）に示すように、その後に取得した画像上の人物Ｐ等の被写体がカメラ位置からどの程度離れているかを精度よく推定できるようになる。

位置推定部１８は、取得した画像から人物Ｐを抽出し、抽出した人物Ｐの足元（推定対象部分）の位置を推定する。具体的には、機械学習を用いて、画像の中から人物Ｐを検出する。そして、機械学習を用いて、検出した人物Ｐの足元位置を姿勢推定する。この場合、機械学習による人物Ｐの骨格解析を行って骨格や姿勢（特徴部分）を抽出し、足元の座標位置を推定してもよい。これらの機械学習は、例えばＣｅｎｔｅｒＮｅｔと呼ばれる周知のライブラリの骨格推定処理を使用して行うことができる。本実施の形態では、図４に示すように、検出した人物Ｐの表示領域を矩形の枠線などのバウンディングボックスで取り囲むことによって、足元の座標位置を推定する。

足元の座標位置の推定方法としては、例えば次のような方法がある。第１の方法は、図４に示すように、バウンディングボックスの底辺の中心座標等から足元の座標位置を推定する方法である。第２の方法は、機械学習による骨格解析結果を直接利用して足元の座標位置を推定する方法である。第３の方法は、機械学習による骨格解析結果から頭、肩、腰位置を推定し、これらに基づいて足元の座標位置を推定する方法である。障害物などによって足元が隠れている場合、ＣｅｎｔｅｒＮｅｔなどの機械学習ライブラリでは、足元の座標位置を適切に評価できないおそれがある。そこで、この第３の方法では、人物Ｐが地面Ｇに足をついていると仮定して、検出された骨格（頭、肩、腰など）に基づいて、足元の座標位置を推定する。例えば、図５に示すように、頭から腰までの距離Ｚを２倍した位置を足元の座標位置として推定してもよい。また、これらの方法による各推定結果を比較して安全性を評価し、より安全側の推定値を採用する方法を用いてもよい。このような方法により、人物Ｐの足元が障害物によって隠れて画像から直接抽出できない場合でも、足元位置を適切に推定することができる。

重機Ｍの周辺の安全管理のために、重機Ｍと人物Ｐとの接触などの事故を防ぐ手段として上記の各推定結果を比較する方法を活用することができる。図６に、推定結果の比較例を示す。図中のＦ１は第２の方法により推定した足元位置であり、Ｆ２は第３の方法により推定した足元位置である。Ｆ１、Ｆ２を比較すると、カメラ位置から足元位置までの距離が小さいのはＦ２である。安全性を評価すると、Ｆ２がより安全側の推定値として採用される。このような方法によれば、カメラ位置から足元位置までの距離が最も小さく推定されることになるため、安全側の評価（考えられる最も近い位置推定）が可能となる。

距離推定部２０は、初期設定した推定モデルを参照して、カメラ位置（または任意の位置）から人物Ｐが立つ地点（足元位置）までの距離Ｌを推定するものである。距離推定部２０による推定結果は、図示しないディスプレイなどの出力部に表示される。図４に、出力部に表示される推定結果の画面例を示す。図の例では、画像中の人物がバウンディングボックスで検出され、その底辺の足元の座標位置までの距離Ｌが推定されている。推定された距離Ｌはバウンディングボックスの左上に数値（メートル単位）で表示される。

次に、上記の距離推定装置１０を用いた距離推定方法について説明する。

図３に示すように、まず、建設現場Ａの地面ＧにマーカーコーンＣを配置し、カメラ１２で画像を取得する（ステップＳ１）。続いて、推定手段１４のモデル生成部１６で推定モデルの初期設定を行う（ステップＳ２）。次に、位置推定部１８で画像中の人物Ｐを抽出し（ステップＳ３）、骨格解析を行うとともに（ステップＳ４）、バウンディングボックスの底辺から足元の座標位置を算出する（ステップＳ５）。ステップＳ４の骨格解析結果によって直接、足元の座標位置を推定する（ステップＳ６）。また、ステップＳ４の骨格解析結果を用いて頭、肩、腰位置から足元の座標位置を算出する（ステップＳ７）。次に、ステップＳ５～Ｓ７による結果を比較して安全性を評価する（ステップＳ８）。最後に、距離推定部２０でカメラ位置から足元位置までの距離Ｌを推定する（ステップＳ９）。

このように本実施の形態によれば、機械学習の姿勢推定により得られた人物の足元位置を使用して、重機などの移動体に取り付けたカメラ位置（または任意の位置）から、画像に映った人物が立つ地点までの２点間距離を推定する。上記の従来のステレオカメラを用いた装置と比較して、演算量を抑えた単純な装置構成が可能となる。これにより、ほぼリアルタイムに距離を推定でき、例えば、カメラ位置からの複数の人物などの被写体までの距離を同時に推定できる。また、重機と人との接触事故回避の問題等に応用が可能となる。

また、本実施の形態では骨格情報から人物の足元位置までの距離を推定するため、パタンデータとの類似量などの個人の身長差を考慮できないという上記の従来の装置の弱点を克服することができる。また、カメラの設置条件（高さ、傾きなど）やカメラの種類（魚眼、画角）などが変更となった場合でも、距離を推定するための推定モデルの初期設定を簡易に行える。

人物の足元が障害物によって隠れた場合でも、検出された骨格や姿勢などの特徴部分に基づいて、頭・肩・腰等の位置から足元の座標位置を精度よく推定することができる。また、人物の足元が障害物によって隠れてしまっている場合でも、安全側の評価（最も近い場合の想定）を行うことができる。カメラが重機などの車体に取り付けられて、移動している場合でも、２点間距離を推定可能である。

したがって、本実施の形態によれば、演算量の低減と推定精度の向上を図る簡易な距離推定装置を提供することができる。

上記の実施の形態においては、人物Ｐの足元位置を推定する場合を例にとり説明したが、本発明はこれに限るものではない。例えば、図２に示すように建設現場Ａ内で稼働する別の重機Ｑなどの対象物の位置を上記と同様の方法で推定してもよい。例えば、人物の骨格と同様に、対象物の構造（例えば、重機Ｑの車両の構造）を学習させた機械学習プログラムを用意して、対象物の所定の特徴部分から推定対象部分の位置を推定してもよい。このようにすれば、推定対象部分が障害物に隠れて画像中に現れていない場合でも、カメラ位置と対象物の位置との間の距離を適切に推定することができる。

以上説明したように、本発明に係る距離推定装置によれば、対象物を含む領域を撮像して画像を取得する撮像手段と、取得した画像に基づいて、撮像位置から対象物までの間の距離、または、任意の位置から対象物までの距離を推定する推定手段とを備えた距離推定装置であって、撮像手段は、撮像位置から所定の距離に所定の間隔で配置された複数の標識と対象物を含む領域を撮像し、推定手段は、取得した画像から標識を抽出し、抽出した標識に基づいて撮像位置から画像内の任意の位置までの距離を推定するための推定モデルを生成するモデル生成部と、取得した画像から対象物の特徴部分を抽出し、抽出した対象物の特徴部分から対象物の推定対象部分の位置を推定する位置推定部と、推定モデルを用いて、推定対象部分の位置と撮像位置または任意の位置との間の距離を推定する距離推定部を有するので、演算量の低減と推定精度の向上を図ることができる簡易な距離推定装置を提供することができる。

また、本発明に係る他の距離推定装置によれば、標識は、撮像位置から等距離に等間隔で平地内に配置され、推定モデルは、等距離線を関数で近似したモデルであるので、距離推定するための初期設定を簡易に行うことができる。

また、本発明に係る他の距離推定装置によれば、位置推定部は、平地上の人物の骨格または姿勢を特徴部分として抽出し、足元の位置を推定対象部分の位置として推定するので、人物の足元が障害物によって隠れた場合でも、抽出された骨格や姿勢の特徴部分に基づいて、足元の位置を推定することができる。

また、本発明に係る他の距離推定装置によれば、対象物を含む領域を撮像して画像を取得する撮像ステップと、取得した画像に基づいて、撮像位置から対象物までの間の距離、または、任意の位置から対象物までの距離を推定する推定ステップとを有する距離推定方法であって、撮像ステップは、撮像位置から所定の距離に所定の間隔で配置された複数の標識と対象物を含む領域を撮像し、推定ステップは、取得した画像から標識を抽出し、抽出した標識に基づいて撮像位置から画像内の任意の位置までの距離を推定するための推定モデルを生成するステップと、取得した画像から対象物の特徴部分を抽出し、抽出した対象物の特徴部分から対象物の推定対象部分の位置を推定するステップと、推定モデルを用いて、推定対象部分の位置と撮像位置または任意の位置との間の距離を推定するステップを有するので、演算量の低減と推定精度の向上を図ることができる簡易な距離推定方法を提供することができる。

また、本発明に係る他の距離推定方法によれば、標識は、撮像位置から等距離に等間隔で平地内に配置され、推定モデルは、等距離線を関数で近似したモデルであるので、距離推定するための初期設定を簡易に行うことができる。

また、本発明に係る他の距離推定方法によれば、推定ステップにおいて、平地上の人物の骨格および姿勢を特徴部分として抽出し、足元の位置を推定対象部分の位置として推定するので、人物の足元が障害物によって隠れた場合でも、抽出された骨格や姿勢の特徴部分に基づいて、足元の位置を推定することができる。

以上のように、本発明に係る距離推定装置および方法は、建設工事における建機と人物との接触を防ぐ際などの双方間の距離推定に有用であり、特に、演算量の低減と推定精度の向上を図るのに適している。

１０ 距離推定装置
１２ カメラ（撮像手段）
１４ 推定手段
１６ モデル生成部
１８ 位置推定部
２０ 距離推定部
Ａ 建設現場
Ｃ マーカーコーン（標識）
Ｇ 地面
Ｌ 距離
Ｍ，Ｑ 重機
Ｐ 人物（対象物）

Claims (6)

1. 対象物を含む領域を撮像して画像を取得する撮像手段と、取得した前記画像に基づいて、撮像位置から前記対象物までの間の距離、または、任意の位置から前記対象物までの距離を推定する推定手段とを備えた距離推定装置であって、
   前記撮像手段は、前記撮像位置から所定の等距離に所定の間隔で平地内に配置された複数の標識と前記対象物を含む領域を撮像し、
   前記推定手段は、取得した前記画像から前記標識を抽出し、抽出した前記標識に基づいて、前記撮像位置からの等距離線を近似曲線で平地上に設定し、設定した近似曲線上の異なる位置から取得した複数の点を用いて重回帰分析を行ない、距離推定のための重回帰式を作成することにより、前記撮像位置から前記画像内の任意の位置までの距離を推定するための推定モデルを生成するモデル生成部と、取得した前記画像から前記対象物の特徴部分を抽出し、抽出した前記対象物の特徴部分から前記対象物の推定対象部分の位置を推定する位置推定部と、前記推定モデルを用いて、前記推定対象部分の位置と前記撮像位置または任意の位置との間の距離を推定する距離推定部を有することを特徴とする距離推定装置。
2. 前記標識は、前記撮像位置から等距離に等間隔で平地内に配置され、前記近似曲線は、等距離線を２次関数で近似した曲線であることを特徴とする請求項１に記載の距離推定装置。
3. 前記位置推定部は、平地上の人物の骨格または姿勢を特徴部分として抽出し、足元の位置を前記推定対象部分の位置として推定することを特徴とする請求項１または２に記載の距離推定装置。
4. 対象物を含む領域を撮像して画像を取得する撮像ステップと、取得した前記画像に基づいて、撮像位置から前記対象物までの間の距離、または、任意の位置から前記対象物までの距離を推定する推定ステップとを有する距離推定方法であって、
   前記撮像ステップは、前記撮像位置から所定の等距離に所定の間隔で平地内に配置された複数の標識と前記対象物を含む領域を撮像し、
   前記推定ステップは、取得した前記画像から前記標識を抽出し、抽出した前記標識に基づいて、前記撮像位置からの等距離線を近似曲線で平地上に設定し、設定した近似曲線上の異なる位置から取得した複数の点を用いて重回帰分析を行ない、距離推定のための重回帰式を作成することにより、前記撮像位置から前記画像内の任意の位置までの距離を推定するための推定モデルを生成するステップと、取得した前記画像から前記対象物の特徴部分を抽出し、抽出した前記対象物の特徴部分から前記対象物の推定対象部分の位置を推定するステップと、前記推定モデルを用いて、前記推定対象部分の位置と前記撮像位置または任意の位置との間の距離を推定するステップを有することを特徴とする距離推定方法。
5. 前記標識は、前記撮像位置から等距離に等間隔で平地内に配置され、前記近似曲線は、等距離線を２次関数で近似した曲線であることを特徴とする請求項４に記載の距離推定方法。
6. 前記推定ステップにおいて、平地上の人物の骨格および姿勢を特徴部分として抽出し、足元の位置を前記推定対象部分の位置として推定することを特徴とする請求項４または５に記載の距離推定方法。

Images