JP6815793B2 - 矩形領域検出方法、矩形領域検出装置及びプログラム - Google Patents

矩形領域検出方法、矩形領域検出装置及びプログラム Download PDF

Info

Publication number
JP6815793B2
JP6815793B2 JP2016172734A JP2016172734A JP6815793B2 JP 6815793 B2 JP6815793 B2 JP 6815793B2 JP 2016172734 A JP2016172734 A JP 2016172734A JP 2016172734 A JP2016172734 A JP 2016172734A JP 6815793 B2 JP6815793 B2 JP 6815793B2
Authority
JP
Japan
Prior art keywords
normal
rectangular area
dimensional
plane
closed loop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016172734A
Other languages
English (en)
Other versions
JP2018041142A (ja
Inventor
虎太郎 長濱
虎太郎 長濱
裕明 矢口
裕明 矢口
雅幸 稲葉
雅幸 稲葉
佳佑 竹下
佳佑 竹下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Toyota Motor Corp
Original Assignee
University of Tokyo NUC
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC, Toyota Motor Corp filed Critical University of Tokyo NUC
Priority to JP2016172734A priority Critical patent/JP6815793B2/ja
Publication of JP2018041142A publication Critical patent/JP2018041142A/ja
Application granted granted Critical
Publication of JP6815793B2 publication Critical patent/JP6815793B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、矩形領域を検出する矩形領域検出方法、矩形領域検出装置及びプログラムに関する。
扉などの矩形領域を検出する方法であって、距離画像からエッジ断片を検出し、検出したエッジ断片群を3次元座標系に変換した後、エッジ断片群の分布に基づいて、3次元の矩形領域を検出する矩形領域検出方法が知られている(特許文献1参照)。
特開2015−049776号公報
ところで、例えば、扉などが開閉される環境において、距離画像を取得するセンサの位置から矩形状の扉などを見た場合、遠近効果により、矩形状の扉が、その扉の開閉状態や配置状態に応じて別の形状に見え得る。このため、適切な絞り込みを行わずに、上記のように単純な平面検出を組み合わせて扉などの矩形領域の検出を行うだけだと、扉の開閉状態や配置状態などの環境が複雑になるに従がって、その矩形領域を検出する際の計算量は大きく増加してしまう。
本発明は、このような問題点に鑑みてなされたものであり、環境内の矩形領域を検出する際の計算量を効率的に低減できる矩形領域検出方法、矩形領域検出装置及びプログラムを提供することを主たる目的とする。
上記目的を達成するための本発明の一態様は、
環境内の所定面上に配置され該所定面に対して垂直状態の矩形領域を検出する矩形領域検出方法であって、
前記環境内の3次元点群を取得するステップと、
前記取得した3次元点群の各点により特定される平面に対する該各点の法線を算出するステップと、
前記算出した法線のうち、前記所定面の法線に対して垂直となる法線を残し、残りの法線を除去するステップと、
前記除去した各法線に基づいて、前記矩形領域として検出するステップと、
を含む、ことを特徴とする矩形領域検出方法
である。
この一態様において、前記除去した各法線に対して、類似するもの同士を同一のクラスとして分類するステップと、前記分類したクラス毎に2次元画像を生成するステップと、前記生成した2次元画像毎に、該各2次元画像のエッジを検出するステップと、前記検出したエッジに対して、該各エッジに垂直または平行な直線状の直線エッジ要素を検出するステップと、前記生成した各2次元画像上において、前記検出した直線エッジ要素に基づいて四角形状の閉ループである四角形閉ループを検出するステップと、前記検出した2次元の四角形閉ループに基づいて、3次元空間における四角形閉ループを生成し、該生成した四角形閉ループを前記矩形領域として検出するステップと、を更に含んでいてもよい。
この一態様において、前記分類されたクラス毎に、各法線に属する3次元点の位置に基づいて、3次元空間での平面を算出するステップを更に含み、前記算出された平面毎に、該平面に属する3次元点に基づいて各平面上の2次元画像を生成し、前記検出した四角形閉ループの各頂点を、前記算出した対応する平面に基づいて、3次元点に変換し、該変換した3次元点を繋ぐベクトルを前記矩形領域として検出してもよい。
この一態様において、前記分類されたクラス毎に、該各クラスの各法線に属する3次元点に基づいて、該各クラスの2次元画像を生成し、前記2次元画像上の、前記検出された四角形閉ループの各頂点を、前記3次元点群と照合することで、3次元点に変換し、該変換した3次元点を繋ぐベクトルを前記矩形領域として検出してもよい。
上記目的を達成するための本発明の一態様は、
環境内の所定面上に配置され該所定面に対して垂直状態の矩形領域を検出する矩形領域検出装置であって、
前記環境内の3次元点群を取得する点群取得手段と、
前記点群取得手段により取得された3次元点群の各点により特定される平面に対する該各点の法線を算出する法線算出手段と、
前記法線算出手段により算出された法線のうち、前記所定面の法線に対して垂直となる法線を残し、残りの法線を除去する法線フィルタ手段と、
前記法線フィルタ手段により除去された各法線に基づいて、前記矩形領域として検出する候補領域検出手段と、
を備える、ことを特徴とする矩形領域検出装置
であってもよい。
上記目的を達成するための本発明の一態様は、
環境内の所定面上に配置され該所定面に対して垂直状態の矩形領域を検出するプログラムであって、
前記環境内の3次元点群を取得する処理と、
前記取得した3次元点群の各点により特定される平面に対する該各点の法線を算出する処理と、
前記算出した法線のうち、前記所定面の法線に対して垂直となる法線を残し、残りの法線を除去する処理と、
前記除去した各法線に基づいて前記矩形領域として検出する処理と、
をコンピュータに実行させることを特徴とするプログラム
であってもよい。
本発明によれば、環境内の矩形領域を検出する際の計算量を効率的に低減できる矩形領域検出方法、矩形領域検出装置及びプログラムを提供することができる。
本発明の実施形態1に係る矩形領域検出装置の概略的なシステム構成を示すブロック図である。 法線フィルタ部4は、所定面の法線に垂直とならない除去される法線の一例を示す図である。 本発明の実施形態1に係る矩形領域検出方法の処理フローの一例を示すフローチャートである。 本発明の実施形態2に係る矩形領域検出方法の処理フローの一例を示すフローチャートである。
実施形態1
以下、図面を参照して本発明の実施の形態について説明する。図1は、本発明の実施形態1に係る矩形領域検出装置の概略的なシステム構成を示すブロック図である。本実施形態1に係る矩形領域検出装置1は、例えば、環境内の建物や家具の扉、窓、引出し面、壁面などの、床面や地面などの所定面に対し垂直状態の矩形領域を検出するものである。
矩形領域検出装置1は、例えば、演算処理等を行うCPU(Central Processing Unit)、CPUによって実行される演算プログラム等が記憶されたROM(Read Only Memory)やRAM(Random Access Memory)からなるメモリ、外部と信号の入出力を行うインターフェイス部(I/F)などからなるマイクロコンピュータを中心にして、ハードウェア構成されている。CPU、メモリ及びインターフェイス部は、データバスなどを介して相互に接続されている。
ところで、環境内の建物や家具の扉、窓、引出し面、壁面などの矩形領域を検出する際に、例えば、扉が開かれている場合や家具が斜めに配置されている場合などの複雑な環境が想定される。特に、扉などが開閉される環境などにおいて、距離画像センサの位置から矩形状の扉などを見た場合、遠近効果により、矩形状の扉が、扉の開閉状態や配置状態に応じて別の形状に見える。このため、適切な絞り込みを行わずに、単純な平面検出を組み合わせて扉などの矩形領域の検出を行うだけだと、扉の開閉状態や配置状態などの環境が複雑になるに従がって、その矩形領域を検出する際の計算量は大きく増加してしまう。
ここで、例えば、移動型ロボットなどは、環境内を移動し、床面や地面などの所定面に対し垂直状態の、扉、窓、引出し面、壁面などの矩形領域を頻繁に検出する。
そこで、本実施形態1に係る矩形領域検出装置1において、環境内に存在する平面の中から、扉、窓、引出し面、壁面などの、環境内の所定面上に設置され該所定面に対して垂直状態の矩形領域に絞り込んで、効率的に平面検出を行う。すなわち、本実施形態1に係る矩形領域検出装置1は、環境内の3次元点に対する法線群の中から、所定面の法線に対して垂直となる法線を残し、残りの法線を除去する絞り込みを行って、矩形領域の検出を行う。これにより、環境内の矩形領域を検出する際の計算量を効率的に低減できる。特に、扉の開閉状態や配置状態が変化するなど複雑な環境下では、その計算量低減の効果は大きい。さらに、環境内の矩形領域検出の計算量を低減することで、その矩形領域検出の高速化を図りつつ、誤検出をも低減できる。
本実施形態1に係る矩形領域検出装置1は、3次元点群を取得する点群取得部2と、3次元点群の法線を算出する法線算出部3と、法線のフィルタリングを行う法線フィルタ部4と、法線のクラスタリングを行う法線クラスタリング部5と、法線の平面を算出する平面算出部6と、2次元カラー画像を生成する画像生成部7と、エッジを検出するエッジ検出部8と、直線エッジ要素を検出する直線エッジ要素検出部9と、四角形閉ループを検出する四角形閉ループ検出部10と、矩形領域候補を検出する候補領域検出部11と、を備えている。
点群取得部2は、点群取得手段の一具体例である。点群取得部2は、矩形領域が存在する環境内の色情報付きの3次元点群を取得する。点群取得部2は、例えば、距離画像センサなどを用いて、環境内の3次元点群を取得する。距離画像センサは、3次元環境を計測して得られる距離画像(色情報付きの3次元点群)を生成する。距離画像は、センサ(計測点)から計測対象を撮像した画像情報とセンサから計測対象までの距離情報とを含んでおり、例えば、1画素につき、“RGBD(カラー+距離)”または“グレースケール(輝度値)+距離“を含んでいる。距離画像センサは、ステレオカメラ(3次元カメラ)、LRF(レーザレンジファインダ)+カメラ、Microsoft Kinect(登録商標)などで構成される。
なお、点群取得部2は、メモリなどに予め記憶された環境内の3次元点群の情報を取得してもよい。
法線算出部3は、法線算出手段の一具体例である。法線算出部3は、点群取得部2により取得された3次元点群の各点により特定される平面に対する該各点の法線を算出する。例えば、法線算出部3は、各点とその近傍点の主成分分析を行う。法線算出部3は、主成分分析の結果の第3主成分方向のうち、点群取得部2の距離画像センサのセンサ方向との成す角度が小さい方を法線ベクトルとして算出する。なお、上記センサ方向とは、計測点から距離画像センサへの向きを指す。
法線フィルタ部4は、法線フィルタ手段の一具体例である。法線フィルタ部4は、法線算出部3により算出された法線のうち、所定面の法線に対して略垂直となる法線を残し、残りの法線を除去する。
例えば、法線フィルタ部4は、所定面の法線と、法線算出部3により算出された各法線との内積値を計算し、その内積値が略0の法線のみを残し、残りの法線を除去する(図2)。なお、内積値の誤差を考慮して、内積値が略0としている。所定面の法線は、環境に応じてパラメータとして法線フィルタ部4に予め設定されている。
法線クラスタリング部5は、法線クラスタリング手段の一具体例である。法線クラスタリング部5は、法線フィルタ部4からの各法線に対して、類似するもの同士を同一のクラスとして分類するクラスタリング処理を行う。法線クラスタリング部は、例えば、平均シフト(MeanShfit)法などを用いてクラスタリング処理を行う。
平面算出部6は、平面算出手段の一具体例である。平面算出部6は、法線クラスタリング部5により分類されたクラス毎に、各法線に属する3次元点の位置に基づいて、3次元空間での平面を表す平面方程式ax+by+cz+d=0を算出する。
平面算出部6は、例えば、RANSAC(RANdom SAmple Consensus)法を用いて、平面方程式ax+by+cz+d=0の各係数a、b、c、dを算出する。RANSAC法を利用することで平面をより高精度に検出できる。なお、平面方程式の係数a、b、cは、それぞれ、各クラスの法線のx成分、y成分、z成分である。平面方程式の係数dは、それぞれの3次元点で算出される値であり、平均シフト法などによりクラスタリングされたときの最尤の値である。
画像生成部7は、画像生成手段の一具体例である。画像生成部7は、平面算出部6に算出された平面毎に、その平面に属する3次元点と、その3次元点のカラー情報と、に基づいて、各平面上の2次元カラー画像を生成する。なお、平面上に点が存在しない領域の画素値は、[0、0、0]とする。
エッジ検出部8は、画像生成部7により生成された2次元カラー画像毎に、例えば、Cannyフィルタやラプラシアンフィルタなどを用いて、各2次元カラー画像のエッジ検出を行う。Cannyフィルタでは、ガウス型の微分フィルタを用いることで、ノイズに強いエッジ画像を検出できる。なお、上述の如く、平面上に点が存在しない領域の画素値は、[0、0、0]であるため、平面上に点が存在しない端もエッジとして検出され得る。
直線エッジ要素検出部9は、直線エッジ要素検出手段の一具体例である。直線エッジ要素検出部9は、各エッジに垂直または平行な直線状の直線エッジ要素を検出する。直線エッジ要素検出部9は、エッジ検出部8により検出されたエッジに対して、例えば、確率的Hough変換や標準的Hough変換などを行い、直線エッジ要素を検出する。ここで、直線エッジ要素検出部9は、確率的Hough変換を用いて直線エッジ要素を検出するのが好ましい。これにより、標準的ハフ変換を用いた場合と比べて、不要な直線の検出を防ぐことができる。
直線エッジ要素検出部9は、例えば、検出された直線エッジ要素の単位方向ベクトルと、所定面の法線と、の内積値の絶対値が、略0もしくは略1となる直線エッジ要素のみを検出し、それ以外は、直線エッジ要素として検出しない。
四角形閉ループ検出部10は、四角形閉ループ検出手段の一具体例である。四角形閉ループ検出部10は、画像生成部7により生成された各2次元カラー画像上において、直線エッジ要素検出部9により検出された直線エッジ要素が存在する領域と、存在しない領域と、で2値化された画像(以下、2値化画像)を生成する。そして、四角形閉ループ検出部10は、その各2値化画像に対して、例えば、輪郭を求めるための輪郭追跡アルゴリズムなどを実行することで、各2値化画像から、四角形状の閉ループである四角形閉ループを検出する。
候補領域検出部11は、候補領域検出手段の一具体例である。候補領域検出部11は、四角形閉ループ検出部10により検出された2次元の四角形閉ループに基づいて、3次元空間での四角形閉ループを検出する。候補領域検出部11は、四角形閉ループ検出部10により検出された四角形閉ループの各頂点を、平面算出部6により算出された対応する平面方程式に基づいて、3次元点に変換する。そして、候補領域検出部11は、変換した3次元点を繋ぐベクトルを矩形領域として検出する。候補領域検出部11により検出された矩形領域は、例えば、扉、窓、引出し面、壁面などの候補として認識される。
図3は、本実施形態1に係る矩形領域検出方法の処理フローの一例を示すフローチャートである。
点群取得部2は、矩形領域が存在する環境内の色情報付きの3次元点群を取得する(ステップS101)。
法線算出部3は、点群取得部2により取得された3次元点群の各点に対して、法線を算出する(ステップS102)。
法線フィルタ部4は、法線算出部3により算出された法線のうち、所定面の法線に対して略垂直となる法線を残し、残りの法線を除去する(ステップS103)。
法線クラスタリング部5は、法線フィルタ部4からの各法線に対して、類似するもの同士を同一のクラスとして分類するクラスタリング処理を行う(ステップS104)。
平面算出部6は、法線クラスタリング部5により分類されたクラス毎に、各法線に属する3次元点の位置に基づいて、3次元空間での平面方程式ax+by+cz+d=0を算出する(ステップS105)。なお、平面算出部6は、法線クラスタリング部5により分類されたクラス毎に、各クラスの法線と、各法線に属する3次元点の位置と、に基づいて、3次元空間での平面方程式ax+by+cz+d=0を算出してもよい。
画像生成部7は、平面算出部6に算出された平面毎に、その平面に属する3次元点と、その3次元点のカラー情報と、に基づいて、各平面上の2次元カラー画像を生成する(ステップS106)。
エッジ検出部8は、画像生成部7により生成された2次元カラー画像毎に、例えば、Cannyフィルタなどを用いて、各2次元カラー画像のエッジ検出を行う(ステップS107)。
直線エッジ要素検出部9は、エッジ検出部8により検出されたエッジに対して、確率的Hough変換などを行うことで、直線エッジ要素を検出する(ステップS108)。
四角形閉ループ検出部10は、画像生成部7により生成された各2次元カラー画像上において、直線エッジ要素検出部9により検出された直線エッジ要素が存在する領域と、存在しない領域と、で2値化された2値化画像を生成する。そして、四角形閉ループ検出部10は、その2値化画像に対して、輪郭追跡アルゴリズムなどを実行することで、各2値化画像から、四角形状の閉ループである四角形閉ループを検出する(ステップS109)。
候補領域検出部11は、四角形閉ループ検出部10により検出された四角形閉ループの各頂点を、平面算出部6により算出された対応する平面方程式に基づいて、3次元点に変換する。そして、候補領域検出部11は、変換した3次元点を繋ぐベクトルを矩形領域として検出する(ステップS110)。
以上、本実施形態1において、環境内の3次元点群の各点に対して法線を算出し、算出した法線のうち、所定面の法線に対して垂直となる法線を残し、残りの法線を除去し、する。除去された各法線に基づいて矩形領域として検出する。これにより、環境内の3次元点に対する法線群の中から、所定面の法線に対して垂直となる法線を残し、残りの法線を除去する絞り込みを行って、矩形領域の検出を行うことができる。したがって、環境内の矩形領域を検出する際の計算量を効率的に低減できる。
実施形態2
本発明の実施形態2において、法線クラスタリング部5にクラスタリング処理された法線群に対して直接、2次元カラー画像が生成される。これにより、クラスタリング処理された法線群に対して平面を算出する必要がないため、その計算量を低減でき、処理の高速化を図ることができる。
図4は、本実施形態2に係る矩形領域検出方法の処理フローの一例を示すフローチャートである。なお、図4における、(ステップS201)〜(ステップS204)は、図3における(ステップS101)〜(ステップS104)と同一であるため、その説明は省略する。
画像生成部7は、法線クラスタリング部5により分類されたクラス(法線群)毎に、そのクラスの各法線に属する3次元点と、その3次元点のカラー情報と、に基づいて、各クラスの2次元カラー画像を生成する(ステップS205)。例えば、画像生成部7は、法線クラスタリング部5により分類された各クラスの法線群に垂直な平面に対し、各法線に属するカラーの3次元点を射影することで、2次元カラー画像を生成できる。
エッジ検出部8は、画像生成部7により生成された2次元カラー画像毎に、Cannyオペレータなどを用いて、各2次元カラー画像のエッジ検出を行う(ステップS206)。
直線エッジ要素検出部9は、エッジ検出部8により検出されたエッジに対して、例えば、確率的Hough変換などを行うことで、直線エッジ要素を検出する(ステップS207)。
四角形閉ループ検出部10は、画像生成部7により生成された各2次元カラー画像上において、直線エッジ要素が存在する領域と、存在しない領域と、の2値化画像に対して、例えば、輪郭追跡アルゴリズムなどを行うことで、四角形状の閉ループである四角形閉ループを検出する(ステップS208)。
候補領域検出部11は、2次元カラー画像上の、四角形閉ループ検出部10により検出された四角形閉ループの各頂点を、3次元点群と照合することで、3次元点に変換する。そして、候補領域検出部11は、変換した3次元点を繋ぐベクトルを矩形領域として検出する(ステップS209)。
本実施形態2において、他の処理は上述した実施形態1と同一であるため、詳細な説明は省略する。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
上記実施形態において、点群取得部2は、色情報付きの3次元点群を取得しているが、これに限定されない。点群取得部2は、色情報のない3次元点群を取得してもよい。これにより、色情報を用いることなく後述の検出処理を行うことで、その計算量を低減し処理の高速化を図ることができる。
この場合、画像生成部7は、平面算出部6に算出された平面毎に、その平面に属する3次元点に基づいて、各平面上のモノクロの2次元画像を生成する。そして、エッジ検出部8は、画像生成部7により生成された2次元画像毎に、各2次元画像のエッジ検出を行う。直線エッジ要素検出部9は、エッジ検出部8により検出されたエッジに対して、確率的Hough変換などを行うことで、直線エッジ要素を検出する。四角形閉ループ検出部10は、画像生成部7により生成された各2次元画像上において、直線エッジ要素検出部9により検出された直線エッジ要素が存在する領域と、存在しない領域と、で2値化された2値化画像を生成する。そして、四角形閉ループ検出部10は、生成した各2値化画像から四角形状の閉ループである四角形閉ループを検出する。候補領域検出部11は、四角形閉ループ検出部10により検出された四角形閉ループの各頂点を、平面算出部6により算出された対応する平面方程式に基づいて、3次元点に変換する。そして、候補領域検出部11は、変換した3次元点を繋ぐベクトルを矩形領域として検出する。
本発明は、例えば、図3又は図4に示す処理を、CPU又はGPU(Graphics Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(random access memory))を含む。
プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
1 矩形領域検出装置、2 点群取得部、3 法線算出部、4 法線フィルタ部、5 法線クラスタリング部、6 平面算出部、7 画像生成部、8 エッジ検出部、9 直線エッジ要素検出部、10 四角形閉ループ検出部、11 候補領域検出部

Claims (6)

  1. 環境内の所定面上に配置され該所定面に対して垂直状態の矩形領域を検出する矩形領域検出方法であって、
    前記環境内の3次元点群を取得するステップと、
    前記取得した3次元点群の各点により特定される平面に対する該各点の法線を算出するステップと、
    前記算出した法線のうち、前記所定面の法線に対して垂直となる法線を残し、残りの法線を除去するステップと、
    前記除去するステップで除去され、残った各法線に基づいて、前記矩形領域として検出するステップと、
    を含む、ことを特徴とする矩形領域検出方法。
  2. 請求項1記載の矩形領域検出方法であって、
    前記除去した各法線に対して、類似するもの同士を同一のクラスとして分類するステップと、
    前記分類したクラス毎に2次元画像を生成するステップと、
    前記生成した2次元画像毎に、該各2次元画像のエッジを検出するステップと、
    前記検出したエッジに対して、該各エッジに垂直または平行な直線状の直線エッジ要素を検出するステップと、
    前記生成した各2次元画像上において、前記検出した直線エッジ要素に基づいて四角形状の閉ループである四角形閉ループを検出するステップと、
    前記検出した2次元の四角形閉ループに基づいて、3次元空間における四角形閉ループを生成し、該生成した四角形閉ループを前記矩形領域として検出するステップと、
    を更に含む、ことを特徴とする矩形領域検出方法。
  3. 請求項2記載の矩形領域検出方法であって、
    前記分類されたクラス毎に、各法線に属する3次元点の位置に基づいて、3次元空間での平面を算出するステップを更に含み、
    前記算出された平面毎に、該平面に属する3次元点に基づいて各平面上の2次元画像を生成し、
    前記検出した四角形閉ループの各頂点を、前記算出した対応する平面に基づいて、3次元点に変換し、該変換した3次元点を繋ぐベクトルを前記矩形領域として検出する、
    ことを特徴する矩形領域検出方法。
  4. 請求項2記載の矩形領域検出方法であって、
    前記分類されたクラス毎に、該各クラスの各法線に属する3次元点に基づいて、該各クラスの2次元画像を生成し、
    前記2次元画像上の、前記検出された四角形閉ループの各頂点を、前記3次元点群と照合することで、3次元点に変換し、該変換した3次元点を繋ぐベクトルを前記矩形領域として検出する、
    ことを特徴とする矩形領域検出方法。
  5. 環境内の所定面上に配置され該所定面に対して垂直状態の矩形領域を検出する矩形領域検出装置であって、
    前記環境内の3次元点群を取得する点群取得手段と、
    前記点群取得手段により取得された3次元点群の各点により特定される平面に対する該各点の法線を算出する法線算出手段と、
    前記法線算出手段により算出された法線のうち、前記所定面の法線に対して垂直となる法線を残し、残りの法線を除去する法線フィルタ手段と、
    前記法線フィルタ手段により除去され残った各法線に基づいて、前記矩形領域として検出する候補領域検出手段と、
    を備える、ことを特徴とする矩形領域検出装置。
  6. 環境内の所定面上に配置され該所定面に対して垂直状態の矩形領域を検出するプログラムであって、
    前記環境内の3次元点群を取得する処理と、
    前記取得した3次元点群の各点により特定される平面に対する該各点の法線を算出する処理と、
    前記算出した法線のうち、前記所定面の法線に対して垂直となる法線を残し、残りの法線を除去する処理と、
    前記除去する処理で除去され、残った各法線に基づいて前記矩形領域として検出する処理と、
    をコンピュータに実行させることを特徴とするプログラム。
JP2016172734A 2016-09-05 2016-09-05 矩形領域検出方法、矩形領域検出装置及びプログラム Active JP6815793B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016172734A JP6815793B2 (ja) 2016-09-05 2016-09-05 矩形領域検出方法、矩形領域検出装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016172734A JP6815793B2 (ja) 2016-09-05 2016-09-05 矩形領域検出方法、矩形領域検出装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2018041142A JP2018041142A (ja) 2018-03-15
JP6815793B2 true JP6815793B2 (ja) 2021-01-20

Family

ID=61626200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016172734A Active JP6815793B2 (ja) 2016-09-05 2016-09-05 矩形領域検出方法、矩形領域検出装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6815793B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986169A (zh) * 2020-08-12 2020-11-24 深圳华芯信息技术股份有限公司 门窗检测方法、系统、终端以及介质
WO2023175713A1 (ja) * 2022-03-15 2023-09-21 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5088278B2 (ja) * 2008-09-17 2012-12-05 株式会社安川電機 物体検出方法と物体検出装置およびロボットシステム
JP5343042B2 (ja) * 2010-06-25 2013-11-13 株式会社トプコン 点群データ処理装置および点群データ処理プログラム
KR101820299B1 (ko) * 2011-11-23 2018-03-02 삼성전자주식회사 3차원 데이터 영상의 계단 인식 방법
JP6054831B2 (ja) * 2013-09-03 2016-12-27 国立大学法人 東京大学 画像処理装置、画像処理方法及び画像処理プログラム
JP2015114954A (ja) * 2013-12-13 2015-06-22 株式会社ジオ技術研究所 撮影画像解析方法

Also Published As

Publication number Publication date
JP2018041142A (ja) 2018-03-15

Similar Documents

Publication Publication Date Title
KR101283262B1 (ko) 영상 처리 방법 및 장치
US10288418B2 (en) Information processing apparatus, information processing method, and storage medium
Hulik et al. Continuous plane detection in point-cloud data based on 3D Hough Transform
KR101822185B1 (ko) 3d 포인트 클라우드 poi 검출 방법 및 장치
US9245200B2 (en) Method for detecting a straight line in a digital image
EP2249311B1 (en) Systems and methods for extracting planar features, matching the planar features, and estimating motion from the planar features
US9142011B2 (en) Shadow detection method and device
US9547901B2 (en) Method and apparatus for detecting point of interest (POI) in three-dimensional (3D) point clouds
JP2012118698A (ja) 画像処理装置
US9153067B2 (en) Systems and methods for 3D data based navigation using descriptor vectors
JP6844235B2 (ja) 距離測定装置および距離測定方法
WO2014002692A1 (ja) ステレオカメラ
JP2016505185A (ja) エッジ選択機能を有するイメージプロセッサ
JP2014170368A (ja) 画像処理装置、方法及びプログラム並びに移動体
JP6815793B2 (ja) 矩形領域検出方法、矩形領域検出装置及びプログラム
CN109344750B (zh) 一种基于结构描述子的复杂结构三维对象识别方法
Schäfer et al. Depth and intensity based edge detection in time-of-flight images
KR100691855B1 (ko) 영상정보의 특징 추출장치 및 그 방법
US9123165B2 (en) Systems and methods for 3D data based navigation using a watershed method
Mustafah et al. Object distance and size measurement using stereo vision system
EP4006829A1 (en) Information processing device, data generation method, and non-transitory computer-readable medium having program stored thereon
Kovacs et al. Edge detection in discretized range images
CN113446983A (zh) 阴阳角的测量方法、装置、存储介质和处理器
KR101785205B1 (ko) 깊이 센서로 얻은 그림자 기반 다중 물체영역 분할 방법 및 장치
KR101777948B1 (ko) 엔트로피와 배경변화율 차이점을 이용한 주요 객체 자동 검출 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190724

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201223

R150 Certificate of patent or registration of utility model

Ref document number: 6815793

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250