JP5156731B2

JP5156731B2 - 画像処理装置、画像処理方法および画像処理プログラム

Info

Publication number: JP5156731B2
Application number: JP2009292810A
Authority: JP
Inventors: 信男檜垣
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2009-12-24
Filing date: 2009-12-24
Publication date: 2013-03-06
Anticipated expiration: 2029-12-24
Also published as: JP2011134091A

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

３次元オブジェクトを斜め上方から撮影した画像に含まれる円筒状または円柱状の３次元オブジェクトを検出する方法としては、円筒状または円柱状の物体の上面を抽出することで検出する方法が知られている。３次元オブジェクトを斜め上方から撮影した画像に含まれる円筒状または円柱状の３次元オブジェクトの上面を抽出する方法は、楕円当てはめ等により直接楕円を検出する方法と、一旦、楕円が真円となるように画像変換を行ってから円を抽出する方法とがある。楕円を検出する方法は、既にいくつかのアルゴリズムが知られている（例えば、特許文献１参照）。

特表２００９−５１０５７１号公報

しかしながら、楕円を検出する方法は、真円を検出する方法に比べて計算コストが高いため、円筒状または円柱状の３次元オブジェクトを検出するための計算コストも高くなるという問題がある。

本発明は上述の課題を解決するためになされたものであり、３次元オブジェクトを上方から撮影した画像に含まれている円筒状または円柱状の３次元オブジェクトを検出するための計算コストを減らすことができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

本発明は、斜め上方から撮影した画像に含まれる物体のうち、円筒または円柱状の３次元オブジェクトの形状を検出する画像処理装置であって、前記画像に含まれる３次元オブジェクトを抽出する３次元オブジェクト抽出部（例えば、実施形態の３次元オブジェクト抽出部１３）と、前記画像のうち、前記３次元オブジェクト抽出部が抽出した３次元オブジェクトの上面が含まれる上面領域を設定する上面領域設定部（例えば、実施形態の領域設定部１５）と、前記上面領域設定部が設定した前記上面領域の画像の低解像度画像を生成する低解像度画像生成部（例えば、実施形態の低解像度画像生成部１４）と、前記低解像度画像生成部が生成した前記上面領域の画像の低解像度画像を、真上から撮影した上面低解像度画像となるように逆射影変換する低解像度逆射影変換部（例えば、実施形態の逆射影変換部１６）と、前記低解像度逆射影変換部が変換した前記上面低解像度画像を用いて、円形図形のエッジと前記円形図形の中心点とを検出する低解像度円検出部（例えば、実施形態の円形図形検出部１００）と、前記低解像度円検出部が検出した前記円形図形のエッジと前記円形図形の中心点とに基づいて、前記画像の領域のうち前記円形図形が含まれる領域を設定する領域設定部（例えば、実施形態の領域設定部１５）と、前記画像のうち、前記領域設定部が設定した前記領域の画像を、真上から撮影した上面高解像度画像となるように逆射影変換する高解像度逆射影変換部（例えば、実施形態の逆射影変換部１６）と、前記高解像度逆射影変換部が変換した前記上面高解像度画像を用いて、円形図形のエッジと前記円形図形の中心点とを検出する高解像度円検出部（例えば、実施形態の円形図形検出部１００）と、前記高解像度円検出部が検出した前記円形図形のエッジと前記円形図形の中心点とから、当該円形図形の半径を算出する半径算出部（例えば、実施形態の半径算出部１９）と、高解像度円検出部が検出した前記円形図形の中心点と前記半径算出部が算出した前記円形図形の半径とを、前記画像に対応する座標となるように射影変換を行う射影変換部（例えば、実施形態の射影変換部２０）と、前記３次元オブジェクト抽出部が抽出した３次元オブジェクトのうち、前記射影変換部が射影変換した前記円形図形の中心点と半径とに基づいて、上面が円形状である円筒または円柱状の３次元オブジェクトを抽出し、当該３次元オブジェクトの形状を検出する３次元位置姿勢計算部（例えば、実施形態の３次元位置姿勢計算部２１）と、を備えたことを特徴とする画像処理装置である。

また、本発明の画像処理装置において、前記高解像度円検出部は、前記円形図形のエッジに対して垂直方向かつ当該円形図形の中心方向に方向を限定したハフ投票を行い当該円形図形の中心点を検出することを特徴とする。

また、本発明の画像処理装置において、前記高解像度円検出部は、前記円形図形のエッジを検出する際に、エッジ勾配を用いてノイズエッジを除去することを特徴とする。

また、本発明の画像処理装置において、前記高解像度円検出部は、前記円形図形のエッジを検出する際に、エッジ線長を用いてノイズエッジを除去することを特徴とする。

また、本発明の画像処理装置において、前記高解像度円検出部は、前記円形図形のエッジを検出する際に、当該円形図形の中心点とエッジとの距離のばらつきを用いてノイズエッジを除去することを特徴とする。

また、本発明は、斜め上方から撮影した画像に含まれる物体のうち、円筒または円柱状の３次元オブジェクトの形状を検出する画像処理方法であって、３次元オブジェクト抽出部が、前記画像に含まれる３次元オブジェクトを抽出する３次元オブジェクト抽出ステップと、上面領域設定部が、前記画像のうち、前記３次元オブジェクト抽出ステップで抽出した３次元オブジェクトの上面が含まれる上面領域を設定する上面領域設定ステップと、低解像度画像生成部が、前記上面領域設定ステップで設定した前記上面領域の画像の低解像度画像を生成する低解像度画像生成ステップと、低解像度逆射影変換部が、前記低解像度画像生成ステップで生成した前記上面領域の画像の低解像度画像を、真上から撮影した上面低解像度画像となるように逆射影変換する低解像度逆射影変換ステップと、低解像度円検出部が、前記低解像度逆射影変換ステップで変換した前記上面低解像度画像を用いて、円形図形のエッジと前記円形図形の中心点とを検出する低解像度円検出ステップと、領域設定部が、前記低解像度円検出ステップで検出した前記円形図形のエッジと前記円形図形の中心点とに基づいて、前記画像の領域のうち前記円形図形が含まれる領域を設定する領域設定ステップと、高解像度逆射影変換部が、前記画像のうち、前記領域設定ステップで設定した前記領域の画像を、真上から撮影した上面高解像度画像となるように逆射影変換する高解像度逆射影変換ステップと、高解像度円検出部が、前記高解像度逆射影変換ステップで変換した前記上面高解像度画像を用いて、円形図形のエッジと前記円形図形の中心点とを検出する高解像度円検出ステップと、半径算出部が、前記高解像度円検出ステップで検出した前記円形図形のエッジと前記円形図形の中心点とから、当該円形図形の半径を算出する半径算出ステップと、射影変換部が、高解像度円検出ステップで検出した前記円形図形の中心点と前記半径算出ステップで算出した前記円形図形の半径とを、前記画像に対応する座標となるように射影変換を行う射影変換ステップと、３次元位置姿勢計算部が、前記３次元オブジェクト抽出ステップで抽出した３次元オブジェクトのうち、前記射影変換ステップで射影変換した前記円形図形の中心点と半径とに基づいて、上面が円形状である円筒または円柱状の３次元オブジェクトを抽出し、当該３次元オブジェクトの形状を検出する３次元位置姿勢算出ステップと、を含むことを特徴とする画像処理方法である。

また、本発明の画像処理方法において、前記高解像度円検出ステップでは、前記円形図形のエッジに対して垂直方向かつ当該円形図形の中心方向に方向を限定したハフ投票を行い当該円形図形の中心点を検出することを特徴とする。

また、本発明の画像処理方法において、前記高解像度円検出ステップでは、前記円形図形のエッジを検出する際に、エッジ勾配を用いてノイズエッジを除去することを特徴とする。

また、本発明の画像処理方法において、前記高解像度円検出ステップでは、前記円形図形のエッジを検出する際に、エッジ線長を用いてノイズエッジを除去することを特徴とする。

また、本発明の画像処理方法において、前記高解像度円検出ステップでは、前記円形図形のエッジを検出する際に、当該円形図形の中心点とエッジとの距離のばらつきを用いてノイズエッジを除去することを特徴とする。

また、本発明は、コンピュータを、斜め上方から撮影した画像に含まれる物体のうち、円筒または円柱状の３次元オブジェクトの形状を検出する画像処理装置として機能させるプログラムであって、コンピュータを、前記画像に含まれる３次元オブジェクトを抽出する３次元オブジェクト抽出部と、前記画像のうち、前記３次元オブジェクト抽出部が抽出した３次元オブジェクトの上面が含まれる上面領域を設定する上面領域設定部と、前記上面領域設定部が設定した前記上面領域の画像の低解像度画像を生成する低解像度画像生成部と、前記低解像度画像生成部が生成した前記上面領域の画像の低解像度画像を、真上から撮影した上面低解像度画像となるように逆射影変換する低解像度逆射影変換部と、前記低解像度逆射影変換部が変換した前記上面低解像度画像を用いて、円形図形のエッジと前記円形図形の中心点とを検出する低解像度円検出部と、前記低解像度円検出部が検出した前記円形図形のエッジと前記円形図形の中心点とに基づいて、前記画像の領域のうち前記円形図形が含まれる領域を設定する領域設定部と、前記画像のうち、前記領域設定部が設定した前記領域の画像を、真上から撮影した上面高解像度画像となるように逆射影変換する高解像度逆射影変換部と、前記高解像度逆射影変換部が変換した前記上面高解像度画像を用いて、円形図形のエッジと前記円形図形の中心点とを検出する高解像度円検出部と、前記高解像度円検出部が検出した前記円形図形のエッジと前記円形図形の中心点とから、当該円形図形の半径を算出する半径算出部と、高解像度円検出部が検出した前記円形図形の中心点と前記半径算出部が算出した前記円形図形の半径とを、前記画像に対応する座標となるように射影変換を行う射影変換部と、前記３次元オブジェクト抽出部が抽出した３次元オブジェクトのうち、前記射影変換部が射影変換した前記円形図形の中心点と半径とに基づいて、上面が円形状である円筒または円柱状の３次元オブジェクトを抽出し、当該３次元オブジェクトの形状を検出する３次元位置姿勢計算部と、して機能させるためのプログラムである。

また、本発明のプログラムにおいて、前記高解像度円検出部は、前記円形図形のエッジに対して垂直方向かつ当該円形図形の中心方向に方向を限定したハフ投票を行い当該円形図形の中心点を検出することを特徴とする。

また、本発明のプログラムにおいて、前記高解像度円検出部は、前記円形図形のエッジを検出する際に、エッジ勾配を用いてノイズエッジを除去することを特徴とする。

また、本発明のプログラムにおいて、前記高解像度円検出部は、前記円形図形のエッジを検出する際に、エッジ線長を用いてノイズエッジを除去することを特徴とする。

また、本発明のプログラムにおいて、前記高解像度円検出部は、前記円形図形のエッジを検出する際に、当該円形図形の中心点とエッジとの距離のばらつきを用いてノイズエッジを除去することを特徴とする。

請求項１と、請求項６と、請求項１１とに記載の発明によれば、画像に含まれる３次元オブジェクトを抽出し、３次元オブジェクトの上面が含まれる上面領域の画像の低解像度画像を生成する。また、低解像度画像を真上から撮影した上面低解像度画像となるように逆射影変換し、この画像を用いて円形図形のエッジと円形図形の中心点とを検出する。また、画像の領域のうち円形図形が含まれる領域の画像を真上から撮影した上面高解像度画像となるように逆射影変換し、この画像を用いて円形図形の中心点と半径を算出する。また、円形図形の中心点と半径とを画像に対応する座標となるように射影変換を行い、抽出した３次元オブジェクトのうち、射影変換した円形図形の中心点と半径とに基づいて、上面が円形状である円筒または円柱状の３次元オブジェクトを検出する。

これにより、円筒状または円筒状の３次元オブジェクトの上面を検出する際に、楕円を検出するのではなく、斜め情報から撮影した画像を逆射影変換して真上から撮影した画像に含まれる円形図形を検出するため、楕円を検出する処理よりも計算コストを減らすことができる。また、画像に含まれる３次元オブジェクトを抽出し、この３次元オブジェクトの上面が含まれる領域を設定する。そして、３次元オブジェクトの上面が含まれる領域の画像を低解像度の画像とし、この画像を逆射影変換した画像を用いて円形画像が含まれる領域を特定するため、計算コストを減らすことができる。また、画像の領域のうち円形画像が含まれる領域の画像を逆射影変換して、この画像に含まれる円形図形の中心点と半径とを特定するため、画像すべての領域に対して画像処理を行うのではなく、円形画像が含まれている領域に対して画像処理を行うため、計算コストを減らすことができる。

このように、円筒状または円筒状の３次元オブジェクトの上面を検出するための計算コストを減らすことができるため、３次元オブジェクトを上方から撮影した画像に含まれている円筒状または円柱状の３次元オブジェクトを検出するための計算コストを減らすことができる。

また、請求項２と、請求項７と、請求項１２とに記載の発明によれば、円形図形のエッジに対して垂直方向かつ当該円形図形の中心方向に方向を限定したハフ投票を行い当該円形図形の中心点を検出するため、画像に含まれている円形図形を検出するための処理量をさらに減らすことができる。これにより、円筒状または円筒状の３次元オブジェクトの上面を検出するための計算コストをさらに減らすことができるため、３次元オブジェクトを上方から撮影した画像に含まれている円筒状または円柱状の３次元オブジェクトを検出するための計算コストをさらに減らすことができる。

また、請求項３と、請求項８と、請求項１３とに記載の発明によれば、円形図形のエッジを検出する際に、エッジ勾配を用いてノイズエッジを除去するため、さらに精度良く画像に含まれている円形図形を検出することができる。これにより、円筒状または円筒状の３次元オブジェクトの上面を検出する精度をさらに上げることができるため、３次元オブジェクトを上方から撮影した画像に含まれている円筒状または円柱状の３次元オブジェクトを検出する精度をさらに上げることができる。

また、請求項４と、請求項９と、請求項１４とに記載の発明によれば、円形図形のエッジを検出する際に、エッジ線長を用いてノイズエッジを除去するため、さらに精度良く画像に含まれている円形図形を検出することができる。これにより、円筒状または円筒状の３次元オブジェクトの上面を検出する精度をさらに上げることができるため、３次元オブジェクトを上方から撮影した画像に含まれている円筒状または円柱状の３次元オブジェクトを検出する精度をさらに上げることができる。

また、請求項５と、請求項１０と、請求項１５とに記載の発明によれば、円形図形のエッジを検出する際に、当該円形図形の中心点とエッジとの距離のばらつきを用いてノイズエッジを除去するため、さらに精度良く画像に含まれている円形図形を検出することができる。これにより、円筒状または円筒状の３次元オブジェクトの上面を検出する精度をさらに上げることができるため、３次元オブジェクトを上方から撮影した画像に含まれている円筒状または円柱状の３次元オブジェクトを検出する精度をさらに上げることができる。

本発明の一実施形態における画像処理装置の構成を示したブロック図である。本実施形態における画像処理装置の動作手順を示したフローチャートである。本実施形態における３次元オブジェクト抽出部が、高解像度画像（左）と高解像度画像（右）から３次元オブジェクトを抽出する手順を示したフローチャートである。本実施形態における平行ステレオカメラが撮影した高解像度画像を示した図である。本実施形態における３次元オブジェクト抽出部が抽出した３次元オブジェクトを示した図である。本実施形態において、円筒状または円柱状の３次元オブジェクトを検出する手順を示したフローチャートである。本実施形態において、円筒状または円柱状の３次元オブジェクトを検出する手順を示したフローチャートである。

以下、本発明の一実施形態について説明する。本実施形態の画像処理装置は、所定の距離だけ水平方向に離れており、垂直方向の高さは床面から既知の高さである２台（１組）の平行ステレオカメラが撮像した画像から、この画像に含まれる円筒状または円柱状の３次元オブジェクト（３次元の物体）を検出する。なお、この平行ステレオカメラは、３次元オブジェクトを斜め上方から撮影する。これにより、円筒状または円柱状の３次元オブジェクトの上面は正円ではなく楕円として撮影される。

次に、本実施形態で使用する座標系について説明する。画像処理装置が出力する座標データは、全て床面をＸＹ平面とするステージ座標系（ステージ座標系の座標の右下にはｓｔを記述）で行う。ステージ座標系と、２台のカメラのうち右側のカメラの焦点を原点とし光軸をＸ軸とするカメラ座標系（カメラ座標系の座標の右下にはｃａｍを記述）との関係は式（１）で表される。なお、カメラ座標系は、左側のカメラと右側のカメラの焦点を結ぶ線（基線）をＹ軸とする。

ここで、Ｘ_０、Ｙ_０、Ｚ_０およびθ_ｘ、θ_ｙ、θ_ｚは、ステージ座標系におけるカメラ座標系の原点と各軸の傾きであり、Ｒは式（２）で表される回転行列である。

次に、カメラ座標系から右カメラ画像への写像は式（３）で表される。

ここで、Ｃ_ｘ，Ｃ_ｙは画像中心の座標、αは焦点距離／セルサイズであり、カメラキャリブレーションの際に決定される値である。また、カメラ画像上では左上を原点とし、右方向にＸ軸，下方向にＹ軸を取る。なお、カメラ画像上の座標は添え字にimgを記述して表す。

次に、画像処理装置の構成について説明する。図１は本実施形態における画像処理装置の構成を示したブロック図である。図示する例では、画像処理装置１は、入力部１１と、前処理部１２と、３次元オブジェクト抽出部１３と、低解像度画像生成部１４と、領域設定部１５と、逆射影変換部１６と、エッジ抽出部１７と、ハフ変換部１８と、半径算出部１９と、射影変換部２０と、３次元位置姿勢計算部２１と、出力部２２とを備える。なお、低解像度画像生成部１４と、領域設定部１５（上面領域設定部）と、逆射影変換部１６（低解像度逆射影変換部、高解像度逆射影変換部）と、エッジ抽出部１７と、ハフ変換部１８と、半径算出部１９とを合わせて円形図形検出部１００（低解像度円検出部、高解像度円検出部）とする。

入力部１１は、２台のカメラから、円筒状または円柱状の３次元オブジェクトの画像が含まれた高解像度の検出対象画像の入力を受け付ける。以下、左側のカメラから入力された円筒状または円柱状の３次元オブジェクトの画像が含まれた高解像度の検出対象画像を高解像度画像（左）と記載する。また、右側のカメラから入力された円筒状または円柱状の３次元オブジェクトの画像が含まれた高解像度の検出対象画像を高解像度画像（右）と記載する。また、入力部１１は、高解像度画像（左）と高解像度画像（左）とを前処理部１２と、低解像度画像生成部１４と、領域設定部１５とに入力する。

前処理部１２は、円筒状または円柱状の３次元オブジェクトの検出のための前処理を、入力された高解像度画像（左）と高解像度画像（右）とに対して行う。具体的には、前処理部１２は、左右２つのカメラから取り込まれた高解像度画像（左）と高解像度画像（右）に、予め作成しておいたキャリブレーションデータに従って歪み補正をかけた後、ブロック相関を用いて高解像度画像（左）と高解像度画像（右）との対応点、すなわち視差を求め、三角測量の原理に基づいて画素毎の３次元情報を計算する。なお、視差とカメラ座標系における３次元位置との関係は式（４）で表される。

ここで、Ｌは左側のカメラと右側のカメラとの間の距離（基線長）であり、Ｐは視差である。

３次元オブジェクト抽出部１３は、入力された高解像度画像（左）と高解像度画像（右）とに含まれる３次元オブジェクトを抽出する。具体的には、３次元オブジェクト抽出部１３は、ステレオ視により得られた３次元情報をＸ_ｓｔＹ_ｓｔ平面上に区切ったグリッド上に投票し、投票されたグリッドをクラスタリング処理して３次元オブジェクトとして抽出する。詳細な手順については後述する。また、３次元オブジェクト抽出部１３は、抽出した３次元オブジェクトを領域設定部と３次元位置姿勢計算部２１とに入力する。

低解像度画像生成部１４は、入力部１１から入力された高解像度画像（右）から低解像度の検出対象画像（以下、低解像度画像（右）と記載する）を生成する。例えば、低解像度画像生成部１２は、モザイク処理を行って高解像度画像（右）の複数の画素を１つの画素とすることで、低解像度画像（右）を生成する。また、低解像度画像生成部１４は、生成した低解像度画像（右）を領域設定部１５に入力する。

領域設定部１５は、低解像度画像生成部１４から入力される低解像度画像（右）のうち、３次元オブジェクト抽出部１３が抽出した３次元オブジェクトの上面が含まれる領域を設定し、この領域の画像である低解像度処理領域画像を逆射影変換部１６に入力する。また、領域設定部１５は、エッジ抽出部１７が抽出したエッジと、ハフ変換部１８が抽出した円形図形の中心候補点とに基づいて、入力部１１から入力された高解像度画像（左）と高解像度画像（右）とのそれぞれの領域のうち円形図形が含まれている領域を設定し、この領域の画像である処理領域画像（左）と処理領域画像（右）とを逆射影変換部１６に入力する。なお、円形図形の大きさが予め決まっている場合には、領域設定部１５は、円形図形の中心候補点と円形図形大きさ値に基づいて円形図形が含まれている領域を設定する。具体的には、円形図形の大きさが半径２ｃｍである場合、領域設定部１５は、円形図形の中心候補点から半径２ｃｍ＋誤差０．５ｃｍの領域を円形図形が含まれている領域と設定する。

逆射影変換部１６は、入力された斜め上方から撮影した画像を、真上から撮影した画像となるように、入力された画像を逆射影変換する。なお、円筒状または円柱状の３次元オブジェクトは水平面上に配置されているとし、円形図形の探索領域は水平面（Ｚ_ｓｔ＝一定）とする場合、逆射影変換画像上の点とステージ座標系での３次元位置との関係は式（５）のように簡素化できる。

ここで、Ｘ_０、Ｙ_０、Ｚ_０はステージ座標系での探索領域平面の中心座標であり、θ_ｚはＺ軸回りの回転角であり、Ｄは奥行きであり、Ｗは幅であり、aは画素分解能である。また、探索領域のステージ座標系での高さＺ_０に、３次元オブジェクト抽出部１３が抽出した３次元オブジェクト上面の高さを用いることで、検出対象の上面が真円に近い像に変換される。また、逆射影変換部１６は、変換した画像をエッジ抽出部１７に入力する。

エッジ抽出部１７は、キャニーのエッジ検出アルゴリズム（Ｃａｎｎｙｅｄｇｅｄｅｔｅｃｔｏｒ）を用いて、入力された画像のエッジ（明るさが急に変化する部分）を抽出する。なお、キャニーのエッジ検出アルゴリズムは、平滑化と、ソーベルフィルタ（Ｓｏｂｅｌｆｉｌｔｅｒ）によるエッジ抽出と、細線化（ｎｏｎ−ｍａｘｉｍａｓｕｐｐｒｅｓｓｉｏｎ）と、エッジ追跡（ｈｉｓｔｅｒｅｓｉｓｔｈｒｅｓｈｏｌｄｉｎｇ）とを行い、エッジを抽出する。また、エッジ抽出時は、ソーベルフィルタによるエッジ抽出時に、Ｘ方向（画像の左から右への方向）とＹ方向（画像の下から上への方向）とのそれぞれの向きのエッジ強度を算出している。

また、エッジ抽出部１７は、ノイズエッジを除去する処理を行う。例えば、エッジ抽出部１７は、エッジの勾配に基づいてノイズエッジを除去する方法や、エッジの線長に基づいてノイズエッジを除去する方法や、エッジと円中心点からの距離のばらつきに基づいてノイズエッジを除去する方法を用いる。また、エッジ抽出部１７は、抽出したエッジをハフ変換部１８と半径算出部１９とに入力する。

ハフ変換部１８は、エッジ抽出部１７が抽出したエッジに対してハフ投票を行い、円形図形の中心点を抽出する。また、ハフ変換部１８は、円形図形の中心の候補点を特定できている場合は、円形図形の中心の候補点の方向にのみハフ投票を行う。ハフ変換部１４は、抽出した円形図形の中心点を領域設定部１５と、エッジ抽出部１７と、半径算出部１９とに入力する。

半径算出部１９は、エッジ抽出部１７から入力されたエッジを示すデータとハフ変換部１８から入力された円形図形の中心点とに基づいて、各エッジから円形図形の中心点までの距離の平均値である円形図形の半径を算出する。また、半径算出部１９は、算出した円形図形の半径と円形図形の中心点とを射影変換部２０に入力する。

射影変換部２０は、真上から撮影した画像である上面高解像度画像に基づいて算出された円形図形の中心点と、円形図形の半径とを、斜め情報から撮影した画像に対応する座標となるように射影変換を行う。また、射影変換部２０は、射影変換を行った円形図形の中心点と半径とを３次元位置姿勢計算部２１に入力する。

３次元位置姿勢計算部２１は、３次元オブジェクト抽出部１３が抽出した３次元オブジェクトのうち、射影変換部２０から入力される円形図形の中心点と半径とに基づいて、上面が円形状である円筒または円柱状の３次元オブジェクトを抽出し、この３次元オブジェクトの位置と姿勢を特定する３次元座標（カメラ座標系）を計算する。また、３次元位置姿勢計算部２１は、円筒状または円柱状の３次元オブジェクトの位置を特定する３次元座標をカメラ座標系からステージ座標系に変換して出力部２２に入力する。

出力部２２は、３次元位置姿勢計算部２１から入力される、高解像度画像（左）と高解像度画像（右）とに含まれる円筒状または円柱状の３次元オブジェクトの位置を特定する３次元座標を出力する。

次に、画像処理装置１の動作について説明する。図２は、本実施形態における画像処理装置１の動作手順を示したフローチャートである。
（ステップＳ１０１）入力部１１は、所定の距離だけ水平方向に離れた２台の平行ステレオカメラのうち、円筒状または円柱状の３次元オブジェクトに向かって左側のカメラが撮影した高解像度画像（左）と、円筒状または円柱状の３次元オブジェクトに向かって右側のカメラが撮影した高解像度画像（右）とを取り込む。また、入力部１１は、取り込んだ高解像度画像（左）と高解像度画像（右）とを前処理部１２と低解像度画像生成部１４とに入力する。

（ステップＳ１０２）前処理部１２は、入力された高解像度画像（左）と高解像度画像（右）との前処理として、歪み補正と視差計算とを行う。また、前処理部１２は、前処理を行った結果を３次元オブジェクト抽出部１３に入力する。

（ステップＳ１０３）３次元オブジェクト抽出部１３は、前処理部１２が前処理を行った高解像度画像（左）と高解像度画像（右）とに基づいて、高解像度画像（左）と高解像度画像（右）とに含まれている３次元オブジェクトを抽出する。詳細手順については後述する。

（ステップＳ１０４）円形図形検出部１００は、３次元オブジェクト抽出部１３が抽出した３次元オブジェクトの上面のうち、円筒状または円柱状の３次元オブジェクトの上面（円形上面）を検出する。また、円形図形検出部１００は、円形上面の中心点と半径とを算出して３次元位置姿勢計算部２１に入力する。詳細手順については後述する。

（ステップＳ１０５）３次元位置姿勢計算部２１は、円形図形検出部１００から入力された円形上面の中心点と半径と、３次元オブジェクト抽出部１３が抽出した３次元オブジェクトの情報とを用いて、円筒状または円柱状の３次元オブジェクトの位置を特定する３次元座標（カメラ座標系）を計算する。また、３次元位置姿勢計算部２１は、円筒状または円柱状の３次元オブジェクトの位置を特定する３次元座標をカメラ座標系からステージ座標系に変換して出力部２２に入力する。
（ステップＳ１０６）出力部２２は、３次元位置姿勢計算部２１から入力された円筒状または円柱状の３次元オブジェクトの位置を特定するステージ座標系の座標を出力する。

次に、３次元オブジェクト抽出部１３が３次元オブジェクトを抽出する詳細手順について説明する。図３は、本実施形態における３次元オブジェクト抽出部１３が、高解像度画像（左）と高解像度画像（右）から３次元オブジェクトを抽出する手順を示したフローチャートである。

（ステップＳ２０１）３次元オブジェクト抽出部１３は、前処理部１２が計算した画素毎の３次元情報を、カメラ座標系からステージ座標系に変換する。
（ステップＳ２０２）３次元オブジェクト抽出部１３は、ステージ座標系に変換した画素毎の３次元情報を、Ｘ_ｓｔＹ_ｓｔ平面上に区切ったグリッド上に投票する。
（ステップＳ２０３）３次元オブジェクト抽出部１３は、Ｘ_ｓｔＹ_ｓｔ平面上に区切ったグリッド上に投票した値のうち、ノイズとなる値を除去し、欠けている値を穴埋めする。
（ステップＳ２０４）３次元オブジェクト抽出部１３は、ステップＳ２０３でノイズ除去および穴埋めを行った、Ｘ_ｓｔＹ_ｓｔ平面上に区切ったグリッド上に投票した値をクラスタリングして、３次元オブジェクトを抽出する。
（ステップＳ２０５）３次元オブジェクト抽出部１３は、抽出した３次元オブジェクト毎に、３次元オブジェクトの３次元形状（位置と姿勢）を抽出する。

図４は、本実施形態における平行ステレオカメラが撮影した高解像度画像を示した図である。図示する例では、円柱状の３次元オブジェクト４０１と、円筒状の３次元オブジェクト４０２と、四角柱状の３次元オブジェクト４０３とがテーブル（ワゴン）の上に配置されている。

図５は、本実施形態における３次元オブジェクト抽出部１３が抽出した３次元オブジェクトを示した図である。図示する例では、円柱状の３次元オブジェクト５０１，５０２と、四角柱状の３次元オブジェクト５０３とが４角形のオブジェクト５０４の上に配置されている。このように、３次元オブジェクト抽出部１３は、平行ステレオカメラが撮影した高解像度画像から３次元オブジェクトの３次元形状（位置と姿勢）を抽出する。

次に、３次元オブジェクト抽出部１３が抽出した３次元オブジェクトのうち、円筒状または円柱状の３次元オブジェクトの３次元座標を検出する手順（ステップＳ１０４，Ｓ１０５）の詳細な手順について説明する。図６、図７は、本実施形態において、３次元オブジェクト抽出部１３が抽出した３次元オブジェクトのうち、円筒状または円柱状の３次元オブジェクトを検出する手順を示したフローチャートである。

（ステップＳ３０１）領域設定部１５は、３次元オブジェクト抽出部１３が抽出した３次元オブジェクトの３次元形状に基づいて、低解像度画像（右）の領域のうち、３次元オブジェクトの上面が含まれる領域を設定する。この領域の画像を低解像度処理領域画像とする。続いて、領域設定部１５は、低解像度処理領域画像を逆射影変換部１６に入力する。

（ステップＳ３０２）逆射影変換部１６は、入力された低解像度処理領域画像を真上から撮影した画像である上面低解像度画像となるように逆射影変換を行う。続いて、逆射影変換部１６は、上面低解像度画像をエッジ抽出部１７に入力する。

（ステップＳ３０３）エッジ抽出部１７は、キャニーのエッジ検出アルゴリズムを用いて、逆射影変換部１６から入力された上面低解像度画像のエッジを抽出する。続いて、エッジ抽出部１３は、抽出したエッジを示すデータをハフ変換部１８と、領域設定部１５とに入力する。

（ステップＳ３０４）ハフ変換部１８は、ステップＳ３０３でエッジ抽出部１７が抽出したエッジに対して垂直な方向にハフ投票を行い、ハフ投票の結果に基づいて円形図形の中心の候補点である円中心候補点を抽出する。続いて、ハフ変換部１８は、抽出した円中心候補点を領域設定部１５に入力する。

（ステップＳ３０５）領域設定部１５は、エッジ抽出部１７から入力されたエッジと、ハフ変換部１８から入力された円中心候補点とに基づいて、入力部１１から入力された高解像度画像（左）と高解像度画像（右）とのそれぞれの領域のうち、円形図形が含まれている領域を設定する。すなわち、領域設定部１５は、高解像度画像（左）と高解像度画像（右）の領域のうち、円中心候補点を中心とする円を構成するエッジを含む領域を設定する。この領域を処理領域とする。

続いて、領域設定部１５は、高解像度画像（左）と高解像度画像（右）とからそれぞれ処理領域の画像である処理領域画像（左）と処理領域画像（右）とを切り出し、この処理領域画像を逆射影変換部１６に入力する。以下のステップＳ３０６〜ステップＳ３２３では、処理領域画像（左）と処理領域画像（右）とのそれぞれに対して処理を行う。以下、処理領域画像（左）と処理領域画像（右）のそれぞれに対して行う処理の説明では、処理領域画像（左）と処理領域画像（右）とを処理領域画像と記載する。

（ステップＳ３０６）逆射影変換部１６は、入力された処理領域画像を真上から撮影した画像である上面高解像度画像となるように逆射影変換を行う。続いて、逆射影変換部１６は、上面高解像度画像をエッジ抽出部１７に入力する。
（ステップＳ３０７）エッジ抽出部１７は、キャニーのエッジ検出アルゴリズムを用いて、逆射影変換部１６から入力された上面高解像度画像のエッジを抽出する。続いて、エッジ抽出部１３は、抽出したエッジを示すデータをハフ変換部１８に入力する。

（ステップＳ３０８）ハフ変換部１８は、ステップＳ３０７でエッジ抽出部１７が抽出したエッジに対して垂直な方向かつステップＳ３０４で抽出した円中心候補点の方向に限定してハフ投票を行う。
（ステップＳ３０９）ハフ変換部１８は、ステップＳ３０８で行ったハフ投票の結果に基づいて、円形図形の中心の候補点である円中心候補点を抽出する。

（ステップＳ３１０）エッジ抽出部１７は、ステップＳ３０７で抽出したエッジから、エッジの勾配に基づいてノイズエッジを除去する。続いて、エッジ抽出部１７は、抽出したエッジを示すデータをハフ変換部１８に入力する。

（ステップＳ３１１）ハフ変換部１８は、ステップＳ３１０でエッジ抽出部１７がノイズエッジを除去した後のエッジに対して垂直な方向かつステップＳ３０９で抽出した円中心候補点の方向に限定してハフ投票を行う。
（ステップＳ３１２）ハフ変換部１８は、ステップＳ３１１で行ったハフ投票の結果に基づいて、円形図形の中心の候補点である円中心候補点を抽出する。

（ステップＳ３１３）エッジ抽出部１７は、ステップＳ３１０でノイズエッジを除去した後のエッジにラベル付けを行い、エッジの線長を特定する。
（ステップＳ３１４）エッジ抽出部１７は、エッジの線長に基づいてノイズエッジを除去する。続いて、エッジ抽出部１７は、抽出したエッジを示すデータをハフ変換部１８に入力する。

（ステップＳ３１５）ハフ変換部１８は、ステップＳ３１４でエッジ抽出部１７がノイズエッジを除去した後のエッジに対して垂直な方向かつステップＳ３１２で抽出した円中心候補点の方向に限定してハフ投票を行う。
（ステップＳ３１６）ハフ変換部１８は、ステップＳ３１５で行ったハフ投票の結果に基づいて、円形図形の中心の候補点である円中心候補点を抽出する。また、ハフ変換部１８は、抽出した円中心候補点をエッジ抽出部１７に入力する。

（ステップＳ３１７）エッジ抽出部１７は、ステップＳ３１４でノイズエッジを除去した後のエッジから、エッジとステップＳ３１６でハフ変換部１８が抽出した円中心候補点との距離の標準偏差に基づいてノイズエッジを除去する。続いて、エッジ抽出部１７は、抽出したエッジを示すデータをハフ変換部１８と半径算出部１９とに入力する。

（ステップＳ３１８）ハフ変換部１８は、ステップＳ３１７でエッジ抽出部１７がノイズエッジを除去した後のエッジに対して垂直な方向かつステップＳ３１６で抽出した円中心候補点の方向に限定してハフ投票を行う。
（ステップＳ３１９）ハフ変換部１８は、ステップＳ３１８で行ったハフ投票の結果に基づいて、円形図形の中心点を抽出する。また、ハフ変換部１８は、抽出した円形図形の中心点を半径算出部１９に入力する。

（ステップＳ３２０）半径算出部１９は、エッジ抽出部１７から入力されたエッジを示すデータとハフ変換部１８から入力された円形図形の中心点とに基づいて、各エッジから円形図形の中心点までの距離の平均値である円形図形の半径を算出する。続いて、半径算出部１９は、ハフ変換部１８から入力された円形図形の中心点と、算出した円形図形の半径とを射影変換部２０に入力する。

（ステップＳ３２１）射影変換部２０は、真上から撮影した画像である上面高解像度画像に基づいて算出された円形図形の中心点と、円形図形の半径とを、斜め情報から撮影した画像に対応する座標となるように射影変換を行う。続いて、射影変換部２０は、射影変換を行った円形図形の中心点と半径とを３次元位置姿勢計算部２１に入力する。

（ステップＳ３２２）３次元位置姿勢計算部２１は、３次元オブジェクト抽出部１３が抽出した３次元オブジェクトのうち、射影変換部２０から入力される円形図形の中心点と半径とに基づいて、上面が円形状である円筒または円柱状の３次元オブジェクトを抽出し、この３次元オブジェクトの位置と姿勢を特定する３次元座標（カメラ座標系）を計算する。続いて、３次元位置姿勢計算部２１は、円筒状または円柱状の３次元オブジェクトの位置を特定する３次元座標をカメラ座標系からステージ座標系に変換して出力部２２に入力する。このように、３次元位置姿勢計算部１９は、円筒状または円柱状の３次元オブジェクトを検出する。

上述したとおり、本実施形態の画像処理装置は、円筒状または円筒状の３次元オブジェクトの上面を検出する際に、楕円を検出するのではなく、斜め情報から撮影した画像を逆射影変換して真上から撮影した画像として円形図形を検出するため、楕円を検出する処理よりも計算コストを減らすことができる。

また、本実施形態の画像処理装置は、ステレオカメラが撮影した画像に含まれる３次元オブジェクトを抽出し、この３次元オブジェクトの上面が含まれる領域を設定する。そして、３次元オブジェクトの上面が含まれる領域の画像を低解像度の画像とし、この画像を逆射影変換して円形画像が含まれる領域を特定する。低解像度画像を用いると計算コストを減らすことができる。また、計算コストが少ないので、円形図形が含まれる大まかな領域を高速に特定することができる。

また、本実施形態の画像処理装置は、ステレオカメラが撮影した画像の領域のうち円形画像が含まれる領域の画像を逆射影変換して、この画像に含まれる円形図形の中心点と半径とを特定する。高解像度画像すべての領域に対して画像処理を行うのではなく、円形画像が含まれている領域に対して画像処理を行うため、計算コストを減らすことができる。

このように、本実施形態の画像処理装置は、円筒状または円筒状の３次元オブジェクトの上面を検出するための計算コストを減らすことができるため、３次元オブジェクトを上方から撮影した画像に含まれている円筒状または円柱状の３次元オブジェクトを検出するための計算コストについても減らすことができる。

また、本実施形態の画像処理装置は、円形図形を検出する際に、投票参照点と投票方向を円形図形の中心方向に限定するため、より高速かつ高精度に円形図形の中心点を検出することができる。また、本実施形態の画像処理装置は、エッジ勾配とエッジ線長とエッジと円中心点からの距離のばらつきに基づいたノイズエッジ除去処理を多段に行うことにより、高精度に円形図形を検出することができる。

なお、上述した実施形態における画像処理装置が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、図面を参照して本発明の実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。例えば、ステップＳ３０１〜ステップＳ３０５では、低解像度画像生成部１４が高解像度画像（右）から生成した低解像度画像（右）を用いて処理を行ったが、これに限らない。例えば、低解像度画像生成部１４が高解像度画像（左）から低解像度画像（左）を生成し、低解像度画像（左）を用いてステップＳ３０１〜ステップＳ３０５の処理を行っても良い。

１・・・画像処理装置、１１・・・入力部、１２・・・前処理部、１３・・・３次元オブジェクト抽出部、１４・・・低解像度画像生成部、１５・・・領域設定部（上面領域設定部）、１６・・・逆射影変換部（低解像度逆射影変換部、高解像度逆射影変換部）、１７・・・エッジ抽出部、１８・・・ハフ変換部、１９・・・半径算出部、２０・・・射影変換部、２１・・・３次元位置姿勢計算部、２２・・・出力部、１００・・・円形図形検出部（低解像度円検出部、高解像度円検出部）

Claims

斜め上方から撮影した画像に含まれる物体のうち、円筒または円柱状の３次元オブジェクトの形状を検出する画像処理装置であって、
前記画像に含まれる３次元オブジェクトを抽出する３次元オブジェクト抽出部と、
前記画像のうち、前記３次元オブジェクト抽出部が抽出した３次元オブジェクトの上面が含まれる上面領域を設定する上面領域設定部と、
前記上面領域設定部が設定した前記上面領域の画像の低解像度画像を生成する低解像度画像生成部と、
前記低解像度画像生成部が生成した前記上面領域の画像の低解像度画像を、真上から撮影した上面低解像度画像となるように逆射影変換する低解像度逆射影変換部と、
前記低解像度逆射影変換部が変換した前記上面低解像度画像を用いて、円形図形のエッジと前記円形図形の中心点とを検出する低解像度円検出部と、
前記低解像度円検出部が検出した前記円形図形のエッジと前記円形図形の中心点とに基づいて、前記画像の領域のうち前記円形図形が含まれる領域を設定する領域設定部と、
前記画像のうち、前記領域設定部が設定した前記領域の画像を、真上から撮影した上面高解像度画像となるように逆射影変換する高解像度逆射影変換部と、
前記高解像度逆射影変換部が変換した前記上面高解像度画像を用いて、円形図形のエッジと前記円形図形の中心点とを検出する高解像度円検出部と、
前記高解像度円検出部が検出した前記円形図形のエッジと前記円形図形の中心点とから、当該円形図形の半径を算出する半径算出部と、
高解像度円検出部が検出した前記円形図形の中心点と前記半径算出部が算出した前記円形図形の半径とを、前記画像に対応する座標となるように射影変換を行う射影変換部と、
前記３次元オブジェクト抽出部が抽出した３次元オブジェクトのうち、前記射影変換部が射影変換した前記円形図形の中心点と半径とに基づいて、上面が円形状である円筒または円柱状の３次元オブジェクトを抽出し、当該３次元オブジェクトの形状を検出する３次元位置姿勢計算部と、
を備えたことを特徴とする画像処理装置。
前記高解像度円検出部は、前記円形図形のエッジに対して垂直方向かつ当該円形図形の中心方向に方向を限定したハフ投票を行い当該円形図形の中心点を検出する
ことを特徴とする請求項１に記載の画像処理装置。
前記高解像度円検出部は、前記円形図形のエッジを検出する際に、エッジ勾配を用いてノイズエッジを除去する
ことを特徴とする請求項１または請求項２のいずれか１項に記載の画像処理装置。
前記高解像度円検出部は、前記円形図形のエッジを検出する際に、エッジ線長を用いてノイズエッジを除去する
ことを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
前記高解像度円検出部は、前記円形図形のエッジを検出する際に、当該円形図形の中心点とエッジとの距離のばらつきを用いてノイズエッジを除去する
ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像処理装置。
斜め上方から撮影した画像に含まれる物体のうち、円筒または円柱状の３次元オブジェクトの形状を検出する画像処理方法であって、
３次元オブジェクト抽出部が、前記画像に含まれる３次元オブジェクトを抽出する３次元オブジェクト抽出ステップと、
上面領域設定部が、前記画像のうち、前記３次元オブジェクト抽出ステップで抽出した３次元オブジェクトの上面が含まれる上面領域を設定する上面領域設定ステップと、
低解像度画像生成部が、前記上面領域設定ステップで設定した前記上面領域の画像の低解像度画像を生成する低解像度画像生成ステップと、
低解像度逆射影変換部が、前記低解像度画像生成ステップで生成した前記上面領域の画像の低解像度画像を、真上から撮影した上面低解像度画像となるように逆射影変換する低解像度逆射影変換ステップと、
低解像度円検出部が、前記低解像度逆射影変換ステップで変換した前記上面低解像度画像を用いて、円形図形のエッジと前記円形図形の中心点とを検出する低解像度円検出ステップと、
領域設定部が、前記低解像度円検出ステップで検出した前記円形図形のエッジと前記円形図形の中心点とに基づいて、前記画像の領域のうち前記円形図形が含まれる領域を設定する領域設定ステップと、
高解像度逆射影変換部が、前記画像のうち、前記領域設定ステップで設定した前記領域の画像を、真上から撮影した上面高解像度画像となるように逆射影変換する高解像度逆射影変換ステップと、
高解像度円検出部が、前記高解像度逆射影変換ステップで変換した前記上面高解像度画像を用いて、円形図形のエッジと前記円形図形の中心点とを検出する高解像度円検出ステップと、
半径算出部が、前記高解像度円検出ステップで検出した前記円形図形のエッジと前記円形図形の中心点とから、当該円形図形の半径を算出する半径算出ステップと、
射影変換部が、高解像度円検出ステップで検出した前記円形図形の中心点と前記半径算出ステップで算出した前記円形図形の半径とを、前記画像に対応する座標となるように射影変換を行う射影変換ステップと、
３次元位置姿勢計算部が、前記３次元オブジェクト抽出ステップで抽出した３次元オブジェクトのうち、前記射影変換ステップで射影変換した前記円形図形の中心点と半径とに基づいて、上面が円形状である円筒または円柱状の３次元オブジェクトを抽出し、当該３次元オブジェクトの形状を検出する３次元位置姿勢算出ステップと、
を含むことを特徴とする画像処理方法。
前記高解像度円検出ステップでは、前記円形図形のエッジに対して垂直方向かつ当該円形図形の中心方向に方向を限定したハフ投票を行い当該円形図形の中心点を検出する
ことを特徴とする請求項６に記載の画像処理方法。
前記高解像度円検出ステップでは、前記円形図形のエッジを検出する際に、エッジ勾配を用いてノイズエッジを除去する
ことを特徴とする請求項６または請求項７のいずれか１項に記載の画像処理方法。
前記高解像度円検出ステップでは、前記円形図形のエッジを検出する際に、エッジ線長を用いてノイズエッジを除去する
ことを特徴とする請求項６から請求項８のいずれか１項に記載の画像処理方法。
前記高解像度円検出ステップでは、前記円形図形のエッジを検出する際に、当該円形図形の中心点とエッジとの距離のばらつきを用いてノイズエッジを除去する
ことを特徴とする請求項６から請求項９のいずれか１項に記載の画像処理方法。
コンピュータを、斜め上方から撮影した画像に含まれる物体のうち、円筒または円柱状の３次元オブジェクトの形状を検出する画像処理装置として機能させるプログラムであって、
コンピュータを、
前記画像に含まれる３次元オブジェクトを抽出する３次元オブジェクト抽出部と、
前記画像のうち、前記３次元オブジェクト抽出部が抽出した３次元オブジェクトの上面が含まれる上面領域を設定する上面領域設定部と、
前記上面領域設定部が設定した前記上面領域の画像の低解像度画像を生成する低解像度画像生成部と、
前記低解像度画像生成部が生成した前記上面領域の画像の低解像度画像を、真上から撮影した上面低解像度画像となるように逆射影変換する低解像度逆射影変換部と、
前記低解像度逆射影変換部が変換した前記上面低解像度画像を用いて、円形図形のエッジと前記円形図形の中心点とを検出する低解像度円検出部と、
前記低解像度円検出部が検出した前記円形図形のエッジと前記円形図形の中心点とに基づいて、前記画像の領域のうち前記円形図形が含まれる領域を設定する領域設定部と、
前記画像のうち、前記領域設定部が設定した前記領域の画像を、真上から撮影した上面高解像度画像となるように逆射影変換する高解像度逆射影変換部と、
前記高解像度逆射影変換部が変換した前記上面高解像度画像を用いて、円形図形のエッジと前記円形図形の中心点とを検出する高解像度円検出部と、
前記高解像度円検出部が検出した前記円形図形のエッジと前記円形図形の中心点とから、当該円形図形の半径を算出する半径算出部と、
高解像度円検出部が検出した前記円形図形の中心点と前記半径算出部が算出した前記円形図形の半径とを、前記画像に対応する座標となるように射影変換を行う射影変換部と、
前記３次元オブジェクト抽出部が抽出した３次元オブジェクトのうち、前記射影変換部が射影変換した前記円形図形の中心点と半径とに基づいて、上面が円形状である円筒または円柱状の３次元オブジェクトを抽出し、当該３次元オブジェクトの形状を検出する３次元位置姿勢計算部と、
して機能させるためのプログラム。
前記高解像度円検出部は、前記円形図形のエッジに対して垂直方向かつ当該円形図形の中心方向に方向を限定したハフ投票を行い当該円形図形の中心点を検出する
ことを特徴とする請求項１１に記載のプログラム。
前記高解像度円検出部は、前記円形図形のエッジを検出する際に、エッジ勾配を用いてノイズエッジを除去する
ことを特徴とする請求項１１または請求項１２のいずれか１項に記載のプログラム。
前記高解像度円検出部は、前記円形図形のエッジを検出する際に、エッジ線長を用いてノイズエッジを除去する
ことを特徴とする請求項１１から請求項１３のいずれか１項に記載のプログラム。
前記高解像度円検出部は、前記円形図形のエッジを検出する際に、当該円形図形の中心点とエッジとの距離のばらつきを用いてノイズエッジを除去する
ことを特徴とする請求項１１から請求項１４のいずれか１項に記載のプログラム。