JP3842988B2 - Image processing apparatus for measuring three-dimensional information of an object by binocular stereoscopic vision, and a method for recording the same, or a recording medium recording the measurement program - Google Patents
Image processing apparatus for measuring three-dimensional information of an object by binocular stereoscopic vision, and a method for recording the same, or a recording medium recording the measurement program Download PDFInfo
- Publication number
- JP3842988B2 JP3842988B2 JP2001214813A JP2001214813A JP3842988B2 JP 3842988 B2 JP3842988 B2 JP 3842988B2 JP 2001214813 A JP2001214813 A JP 2001214813A JP 2001214813 A JP2001214813 A JP 2001214813A JP 3842988 B2 JP3842988 B2 JP 3842988B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pair
- point
- images
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、計測対象の物体を異なる２方向から撮影し、この２方向からの一対の画像に基づいてその物体の三次元情報を求める３次元情報計測処理システムおよびその方法に関する。
【０００２】
【従来の技術】
従来、３次元物体の撮影画像からその物体の位置（距離）や形状など３次元情報を求める方法の一つとして、両眼立体視（ステレオ）が知られている。両眼立体視では、まず、物体を異なる２方向から撮影し、２枚の物体画像を得る。そして、異なる方向から見た２枚の画像から、物体の同一部分の像である対応点を検出する。対応点が検出されると、２台のカメラ間距離と対応点から三角測量の原理に基づいて対象物の３次元位置が求められる。両眼立体視は、例えば、写真測量の分野においても利用されており、航空写真や交通事故の事故現場の測量図作成において両眼立体視により３次元情報が計測される。
【０００３】
両眼立体視において一対の画像から対応点を検出する場合、物体のある特定点の像、すなわち対応点が一対の画像の中でどの位置にあるのか誤りなく検出しなければならない。この対応点決定問題は、両眼立体視において従来から重要な技術的課題であり、様々な手法が提案されている。
【０００４】
その一つして、物体の特徴的な部分の像を対応点として検出する方法があり、物体が直方体であれば、エッジや稜線などの２枚の画像から同一点の像と認識できる物体の特徴部分の像を対応点として検出する。しかしながら、対象物が円柱など表面が曲面形状を有する物体であると、エッジや稜線に対応するような特徴部が画像に存在しないため、対応付けに誤りが生じる。
【０００５】
曲面形状の物体に対しても対応点を検出できる方法として、例えば、円柱形状の物体である場合、２枚の画像に映し出される物体画像の上面の輪郭線を楕円関数として算出し、その輪郭線から物体上面の中心を対応点として検出する方法がある（特公平６−２９６９５参照）。これによれば、円柱のような曲面形状の物体に対しても、三次元位置（距離）を求めることが可能である。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記の方法では、得られる２枚の画像の中で円柱の上面（もしくは底面）が写し出されていないと、上面の輪郭線を求めることができない。したがって、例えばパイプなど側面部分が長く続いている物体に対しては、物体の３次元位置を計測することができない。また、円柱以外の曲面形状の物体に対して適用するのが難しい。
【０００７】
そこで、本発明では、曲面形状の物体像が写された一対の画像から３次元情報を求める両眼立体視において、一対の画像から誤りなく対応点を検出し、正確な物体の３次元情報を得ることを目的とする。
【０００８】
【課題を解決するための手段】
本発明の画像処理装置は、中心軸周りに回転曲面が形成された回転体である物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる２方向から撮影して両眼立体視により物体の三次元位置を求める装置であり、この画像処理装置は、撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、一対の画像を読み出す画像読み出し手段と、物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって一対の画像から一意に決まる少なくとも１つの対応点を、物体の中心軸の投影像に応じた一対の二等分線上において検出する対応点検出手段と、少なくとも１つの対応点に基づき、三角測量の原理を適用することによって物体の中心軸上にある少なくとも１つの測定点の三次元位置を算出する三次元情報算出手段とを備えたことを特徴とする。
【０００９】
計測対象である物体が回転体である場合、すなわち中心軸周りに回転曲面が形成され、回転対称な物体である場合、物体の中心軸の仮想的な像は、一対の画像それぞれにおいて物体像を二等分する線となる。したがって、物体の３次元位置を代表して表す点として物体の中心軸上の点を測定点を定め、その測定点の仮想的な像である対応点を中心軸の像に応じた一対の二等分線上において検出することにより、同一点からの像である対応点を検出することができる。このように二等分線上において対応点を検出することにより、表面が曲面である物体に対しても両眼立体視を適用することができ、物体の三次元位置を誤りなく正確に計測できる。また、一対の二等分線上において対応点を検出するため、細長いパイプのような上面や底面を写すことができない回転体に対しても、一対の遮蔽輪郭が写っていれば対応点を検出することができる。物体は、例えば、円柱あるいは直円錐台である。
【００１０】
写真測量の場合、始めに物体をカメラで撮像してから画像処理装置において物体の３次元位置を算出するため、画像記録可能な記録媒体は、携帯可能であってカメラに着脱可能に装着される補助記憶装置であるとともに、撮像素子に形成される一対の画像が補助記憶装置にデジタルの静止画像データとして記録されることが望ましい。この場合、画像読み出し手段は、補助記憶装置から一対の画像をデータとして読み出す。
【００１１】
画像処理装置は、画像読み出し手段によって読み出された一対の画像を少なくとも１つの対応点が同一座標となるようにアフィン変換する平行ステレオ修正手段をさらに有していることが望ましく、２方向から物体をカメラで撮像する時にカメラの光軸方向が互いに平行とならない場合でも三角測量の原理を適用して物体の三次元位置を求めることができる。この場合、対応点検出手段は、アフィン変換された一対の画像から少なくとも１つの対応点を検出する。
【００１２】
一対の画像を第１の画像および第２の画像とし、一対の二等分線を第１の画像にある第１の二等分線と第２の画像にある第２の二等分線とし、また、少なくとも１つの対応点を第１の画像にある少なくとも１つの第１像点と第２の画像にある少なくとも１つの第２像点と定めた場合、対応点検出手段は、例えば、少なくとも１つの第１像点に応じた少なくとも一本のエピポーララインを第２の画像において設定し、少なくとも一本のエピポーララインと第２の二等分線との交点となる少なくとも１つのエピポーラ交点を求め、該少なくとも１つのエピポーラ交点を少なくとも１つの第２像点と定める。
【００１３】
対応点を検出するのにオペレータの操作を伴う場合、画像処理装置に映像を表示する表示装置を接続し、画像処理装置は、画像画像読み出し手段に従って読み出された一対の画像を表示装置に表示する表示手段と、表示装置に表示される一対の画像それぞれに対し、入力操作に従って一対の遮蔽輪郭それぞれの線上に指定される二対の点を指定点として定める指定点設定手段とをさらに有することが望ましい。この場合、対応点検出手段は、一対の画像それぞれの二対の指定点に基づいて少なくとも１つの対応点の位置を表示装置のスクリーン座標で検出する。
【００１４】
対応点検出手段は、二対の指定点に基づいて対応点を検出する場合、例えば、一対の画像それぞれの二対の指定点に基づいて一対の二等分線を算出し、第１の画像における第１の二等分線と二対の指定点を通る２本の直線との２つの交点を求め、該２つの交点のうち少なくとも１つの交点を少なくとも１つの第１の像点と定める。
【００１５】
表示装置に表示された一対の画像において対応点をスクリーン座標で検出した場合、三次元情報算出手段は、少なくとも１つの対応点の座標を表示装置のスクリーン座標から撮像素子の撮像素子座標に変換するとともに、第１の画像に応じた撮影方向でのカメラの中心を原点とした３次元座標を規定して、少なくとも１つの対応点に基づき、三角測量の原理を適用して少なくとも１つの測定点の３次元座標を算出することが望ましい。
【００１６】
さらに、求められた物体の三次元位置から物体の径の長さを算出するため、画像処理装置は、物体の径の長さを算出する径算出手段をさらに有することが望ましい。この場合、対応点検出手段が２つの対応点を検出し、三次元情報算出手段が２つの測定点を算出する。径算出手段は、一対の画像の一方に画像に応じた撮影方向におけるカメラの中心を通り物体の中心軸に垂直なベクトルを法線ベクトルとする平面であって物体の中心軸が載る径算出用平面を２つの測定点に基いて算出し、径算出用平面と物体の表面上にあるとともに２つの測定点のいずれかの点と中心軸に沿った位置が一致する端点を、法線ベクトルに応じた一対の画像の一方にある一対の遮蔽輪郭上にある像であって端点の像である像点に基いて算出し、物体の径の長さを２つの測定点の一方と端点に基づいて算出する。物体と撮影地点との距離が物体の径の長さに比べて十分長い場合、一対の輪郭線上にある少なくとも１つの端点と一つの撮影地点におけるカメラの中心とを結ぶ直線は、径算出用平面と物体との交線上にあり、かつ物体の表面上にある接点と交わる。この交点と求められた少なくとも１つの測定点から、物体の径の長さを算出することができる。
【００１７】
本発明の３次元情報計測方法は、中心軸周りに回転曲面が形成された回転体である物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる２方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、一対の画像を読み出す画像読み出すステップと、物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって一対の画像から一意に決まる少なくとも１つの対応点を、物体の中心軸の投影像に応じた一対の二等分線上において検出するステップと、少なくとも１つの対応点に基づき、三角測量の原理を適用することによって物体の中心軸上にある少なくとも１つの測定点の三次元位置を算出するステップとを備えたことを特徴とする。
【００１８】
本発明の中心軸周りに回転曲面が形成された回転体である物体の３次元情報を計測するプログラムは、物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる２方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、一対の画像を読み出す画像読み出し、物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって一対の画像から一意に決まる少なくとも１つの対応点を、物体の中心軸の投影像に応じた一対の二等分線上において検出し、少なくとも１つの対応点に基づき、三角測量の原理を適用することによって物体の中心軸上にある少なくとも１つの測定点の三次元位置を算出することを特徴とする。このプログラムはプログラム作成に関わったコンピュータのメモリに格納されるか、あるいはＣＤ−ＲＯＭなどの記録媒体に格納可能である。また、このプログラムをインターネットなどのネットワークによって他のコンピュータに送受信することも可能である。
【００１９】
【発明の実施の形態】
以下では、図面を参照して、本発明の実施形態である写真測量システムおよび曲面形状を有する物体の三次元情報計測処理方法について説明する。
【００２０】
図１は、本発明の実施形態である写真測量用のカメラと３次元情報を算出する画像処理装置およびその周辺機器を概略的に示した図である。
【００２１】
まず、計測対象である物体Ｓをカメラ４２によって異なる２方向から撮像する。このとき、物体Ｓの輪郭像となる遮蔽輪郭が写るように、第１撮影地点ＰＡおよび第２撮影地点ＰＢから物体Ｓが撮像される。本実施形態では、物体Ｓは円柱である。なお、第１および第２撮影地点ＰＡ、ＰＢは、カメラ４２の中心（レンズ中心）が位置する場所である。
【００２２】
カメラ４２は撮像素子の１つであるＣＣＤ４１を備えたデジタルスチルカメラであり、物体Ｓの像はカメラ４２の撮影光学系（図示せず）を介してＣＣＤ４１に結像される。ＣＣＤ４１から物体Ｓの像に応じた画像信号が読み出されると、第１および第２撮影地点ＰＡ、ＰＢにおける物体Ｓの画像はデジタルの静止画像データとしてメモリカード３６に記録される。メモリカード３６は、必要に応じてカメラ４２に装着され、あるいはカメラ４２から取り外される携帯可能な補助記憶装置あり、ここではフラッシュメモリなどのＩＣカードが使用される。
【００２３】
撮影が終了すると、物体Ｓの像が記録されたメモリカード３６がカメラ４２から取り出され、物体Ｓの像が写し出された一対の画像から物体Ｓの３次元情報を算出するために画像処理装置１０が使用される。
【００２４】
画像処理装置１０には、モニタ３０、キーボード３２、マウス３４が接続されており、メモリカード３６などの画像データを記録可能な記録媒体を取り入れるカードスロット１１を正面のパネルに備えている。すなわち、画像処理装置１０は、パーソナルコンピュータの本体に相当する装置である。一対の画像が記録されたメモリカード３６は、ＰＣカード規格などに基づいたインターフェイスを介してカードスロット１１に装着され、これにより物体Ｓの静止画像データが読み出される。なお、撮影時において、第１および第２撮影地点ＰＡ、ＰＢの距離などの撮影データがあらかじめ静止画像データとともにメモリカード３６に記憶されており、これら撮影データも静止画像データとともに読み出される。
【００２５】
オペレータがキーボード３２を操作することにより、第１および第２撮影地点ＰＡ、ＰＢに応じた一対の物体Ｓの画像がモニタ３０に表示される。そして、オペレータによってマウス３４の操作など所定の操作が実行されると、物体Ｓの３次元位置情報が算出される。
【００２６】
図２は、画像処理装置１０およびキーボード３２などの周辺機器のブロック図である。ただし、図２では、３次元情報計測に必要な構成要素のみ示す。
【００２７】
システムコントロール回路１２内のＣＰＵ１２Ａは、画像処理装置１０全体を制御しており、物体Ｓの三次元情報を算出する処理を実行する。ＲＯＭ１４には、その三次元情報計測処理のためのプログラムがあらかじめ格納されている。キーボード３２、マウス３４、モニタ３０およびカードスロット１１に装着されたメモリカード３６とシステムコントロール回路１２との間の信号伝達は、画像処理装置１０内の入出力制御部１６を介して行われる。
【００２８】
メモリカード３６がカードスロット１１に装着されると、物体Ｓの一対の画像データおよび撮影データがメモリカード３６から読み出され、入出力制御部１６、システムコントロール回路１２を介してＲＡＭ１８に一時的に格納される。
【００２９】
モニタ３０に物体Ｓの画像を表示するためのキーボード３２の操作が行われると、ＲＡＭ１８に一時的に格納された静止画像データがＣＰＵ１２Ａによって読み出され、所定の処理が施される。そして、処理された一対の画像データが入出力制御部１６を介してモニタ３０に送られると、第１および第２撮影地点ＰＡ、ＰＢから撮影された一対の画像がモニタ３０に表示される。物体Ｓの３次元位置などの３次元情報を計測するための処理がＣＰＵ１２Ａによって実行され、物体Ｓの３次元情報が算出されると、その３次元情報はモニタ３０に表示されるとともにＲＡＭ１８に一時的に格納される。
【００３０】
図３は、物体Ｓをカメラ４２で撮像することによって得られる一対の画像を示した図である。図３を用いて、円柱である物体Ｓを計測対象としたときの対応点の検出について説明する。
【００３１】
従来知られているように、両眼立体視（ステレオ）においては、物体Ｓの同一点からの像であって一対の画像から一意に決まる対応点を決定する必要があるが、計測対象である物体Ｓの表面が曲面である場合、一対の画像から対応点を誤りなく検出することが難しい。
【００３２】
第１の撮影地点ＰＡの撮像によって得られる画像を画像π１、第２の撮影地点ＰＢにおける画像を画像π２とすると、例えば、物体Ｓの上面ＵＡの周上にある点ＪＡの像ＪＡ’は画像π１において中心軸ＳＵに沿った輪郭像となる遮蔽輪郭ＭＡ２の線上にあり、一方、同じ上面ＵＡの周上にある点ＪＢの像ＪＢ’は第２の画像π２において遮蔽輪郭ＭＢ２の線上にある。物体Ｓにおいて点ＪＡと点ＪＢが同一点ではないにも関わらず、画像π１と画像π２において像ＪＡ’と像ＪＢ’はともに遮蔽輪郭ＭＡ２およびＭＢ２の線上にある。したがって、像ＪＡ’およびＪＢ’を対応点に決定すると、誤った物体Ｓの３次元情報が算出される。
【００３３】
ところで、円柱である物体Ｓは、中心軸ＳＵに関して回転対称な形状を有する物体である。したがって、物体Ｓの投影像および中心軸ＳＵの仮想的な投影像を、画像面π１においてＳ１、ＳＵ１、画像π２においてＳ２、ＳＵ２とすると、物体像Ｓ１、Ｓ２は、中心軸の像ＳＵ１、ＳＵ２に関して線対称な像となる。具体的に画像π１を取り上げると、物体像Ｓ１において対である遮蔽輪郭ＭＡ１、ＭＡ２は中心軸の像ＳＵ１に関して線対称であり、物体像Ｓ１は中心軸の像ＳＵ１によって二等分される。
【００３４】
このことは、画像π２においても同じであり、さらには円柱である物体Ｓをどの方向から撮影しても同じである。すなわち、任意の位置から撮影した画像に関し、中心軸ＳＵの投影像は物体の投影像を常に２等分し、また、輪郭像である一対の遮蔽輪郭はその中心軸の像に関して線対称となる。したがって、図３に示すように、物体Ｓの中心軸ＳＵ上にある任意の点Ｃの仮想的な像Ｃ１、Ｃ２は、画像π１および画像π２においてともに中心軸の像ＳＵ１、ＳＵ２の線上にある。
【００３５】
そこで、本実施形態では、この物体Ｓの中心軸ＳＵ上にある任意の点を対応点検出のための点とし、この点の像であって、画像π１および画像π２において中心軸の像ＳＵ１、ＳＵ２の線上にある対応点を一対の画像から一意に検出する。
【００３６】
図４は、３次元情報算出処理動作を示すフローチャートである。三次元情報算出処理動作は、オペレータがキーボード３２に対して所定の操作を施すことによって開始される。
【００３７】
ステップ１０１では、メモリカード３６から一対の画像データが順次読み出され、一時的にＲＡＭ１８に格納される。そして、ステップ１０２では、撮影時において画像データとともにあらかじめ記録されたカメラ４２のカメラ位置、カメラ姿勢（光軸方向）に関する撮影データが読み出される。
【００３８】
ステップ１０３では、読み出された一対の画像データに対して、ディストーション補正および平行ステレオ修正が施される。ディストーション補正は、カメラ４２の撮影光学系によって生じる歪曲収差等を考慮した画像補正である。また、平行ステレオ修正では、図３に示すような平行関係にない画像π１、π２が平行ステレオな関係となるようにアフィン変換が実行される。平行ステレオ修正が実行されると、記録された一対の画像は、第１および第２撮影地点ＰＡ、ＰＢにおけるカメラ４２が平行ステレオ関係、すなわち、第１および第２撮影地点ＰＡ、ＰＢを結ぶベクトル（移動ベクトル）が第１および第２撮影地点ＰＡ、ＰＢそれぞれの３次元座標のＸ軸方向のベクトルが一致する関係（図５参照）である時に得られる画像に変換される。ただし、この時のアフィン変換は回転のみの変換である。このようなアフィン変換により、すべての対応点は同一座標上に位置することになる。なお、ディストーション補正および平行ステレオ修正は従来公知である。
【００３９】
ステップ１０４では、ＲＡＭ１８に一時的に記録された画像データに基づいて、図６に示すように、一対の画像ＩＡ、ＩＢがモニタ３０に表示される。なお、以下では、第１撮影地点ＰＡにより記録された画像π１に対応し、モニタ３０に表示される画像を第１の画像ＩＡ、第２撮影地点ＰＢにより記録された画像π２に対応し、モニタ３０に表示される画像を第２の画像ＩＢと定める。第２の画像ＩＢは第２撮影地点ＰＢによる撮像画像である。モニタ３０に表示される一対の画像ＩＡ、ＩＢは、平行ステレオ修正された画像である。
【００４０】
一対の画像ＩＡ、ＩＢが表示されると、オペレータがマウス３４を操作することによって、指示点Ｐａ１〜Ｐｄ１およびＰａ２〜Ｐｄ２が入力される。第１の画像ＩＡに対しては、物体Ｓの輪郭像となる一対の遮蔽輪郭ＭＡ１、ＭＡ２にそれぞれ任意の位置にある指示点Ｐａ１，Ｐｂ１、Ｐｃ１、Ｐｄ１が入力され、画像ＩＢに対しては、輪郭線である一対の遮蔽輪郭ＭＢ１、ＭＢ２にそれぞれ指示点Ｐａ２、Ｐｂ２、Ｐｃ２、Ｐｄ２が入力される。ただし、指示点Ｐａ１，Ｐｃ１およびＰｂ１、Ｐｄ１はそれぞれ対になっており、指示点Ｐａ２、Ｐｃ２およびＰｂ２、Ｐｄ２も同様にそれぞれ対である。
【００４１】
ステップ１０５では、後述するように、入力された指示点Ｐａ１〜Ｐｄ１およびＰａ２〜Ｐｄ２に基づいて、物体Ｓの三次元座標位置が算出される。そして、ステップ１０６では、後述するように、ステップ１０５において算出された物体Ｓの三次元位置と基づいて、物体Ｓの半径が算出される。
【００４２】
図７は、図４のステップ１０５のサブルーチンである。図７とともに図８、図９、図１０を用いて、物体Ｓの三次元位置座標の算出処理について説明する。
【００４３】
ステップ２０１では、画像ＩＡにおいて、物体像Ｓ１の指示点Ｐａ１、Ｐｂ１を通る直線Ｌａ１が算出される（図８参照）。この直線Ｌａ１は、一対の遮蔽輪郭ＭＡ１、ＭＡ２のうち輪郭線ＭＡ１を通る直線である。同じように、ステップ２０２では、物体像Ｓ２の指示点Ｐｃ１、Ｐｄ１を通る、すなわち輪郭線ＭＡ２を通る直線Ｌｂ１が算出される。なお、一対の画像ＩＡ、ＩＢそれぞれにおいて、画像領域の左上隅を原点とし、Ｘ方向、Ｙ方向の画素数がそれぞれ「Ｗ」、「Ｈ」であるスクリーン座標（Ｘ、Ｙ）を定めており、直線Ｌａ１などはスクリーン座標（Ｘ、Ｙ）に従って算出される。ステップ２０２が実行されると、ステップ２０３に進む。
【００４４】
ステップ２０３では、指示点Ｐａ１と指示点Ｐｃ１とを結ぶ直線Ｑ１が算出される（図８参照）。同様に、ステップ２０４では、指示点Ｐｂ１と指示点Ｐｄ１とを結ぶ直線Ｑ２が算出される。ステップ２０４が実行されると、ステップ２０５に進む。
【００４５】
ステップ２０５では、直線Ｌａ１と直線Ｌｂ１に基づいて二等分線Ｌｅ１が求められる。二等分線Ｌｅ１は、物体像Ｓ１を二等分する線であり、図３に示した物体Ｓの中心軸ＳＵの投影像に対応する。直線Ｌａ１と直線Ｌｂ１は、二等分線Ｌｅ１に平行であるとともに、二等分線Ｌｅ１に関して線対称な関係にある。ステップ２０５が実行されると、ステップ２０６に進む。
【００４６】
ステップ２０６では、図９に示すように、画像ＩＢにおいて指示点Ｐａ２、Ｐｂ２を通る直線Ｌａ２が算出され、ステップ２０７では、指示点Ｐｃ２、Ｐｄ２を通る直線Ｌｂ２が算出される。直線Ｌａ２、Ｌｂ２は、画像ＩＢにおいて物体像Ｓ２の一対の遮蔽輪郭ＭＢ１、ＭＢ２を通る直線である。そして、ステップ２０８では、直線Ｌａ２と直線Ｌｂ２に基づいて物体像Ｓ２を二等分する二等分線Ｌｅ２が求められる。二等分線Ｌｅ２も、二等分線Ｌｅ１と同じように物体Ｓの中心軸ＳＵの投影像に相当する。ステップ２０８が実行されると、ステップ２０９に進む。
【００４７】
ステップ２０９では、図１０に示すように、第１の画像ＩＡにおいて直線Ｌｅ１と直線Ｑ１との交点Ｐｅ１の座標（Ｘａ１、Ｙａ１）が求められる。また、ステップ２１０では、直線Ｌｅ１と直線Ｑ２との交点Ｐｆ１（Ｘｂ１、Ｙｂ１）が求められる。そして、ステップ２１１では、第２の画像ＩＢにおいて交点Ｐｅ１に応じたエピポーララインＥＰ１が設定され、エピポーララインＥＰ１と二等分線Ｌｅ２との交点Ｐｅ２の座標（Ｘａ２、Ｙａ２）が求められる。交点Ｐｅ２は、算出された交点Ｐｅ１とともに対応点を構成する点であり、交点Ｐｅ１、Ｐｅ２は同一点の像である。なお、モニタ３０に表示される一対の画像ＩＡ、ＩＢが平行ステレオ修正された画像であることから、エピポーララインＥＰ１はＸ軸に平行で交点Ｐｅ１のＹ座標「Ｙａ１」を通る直線となる。
【００４８】
同様に、ステップ２１２では、画像ＩＡ内の交点Ｐｆ１のＹ座標「Ｙｂ１」とＹ座標が等しいエピポーララインＥＰ２が画像ＩＢにおいて設定され、二等分線Ｌｅ２とエピポーララインＥＰ２との交点Ｐｆ２の位置座標（Ｘｂ２、Ｙｂ２）が算出される。交点Ｐｆ１、Ｐｆ２は、交点Ｐｅ１、Ｐｅ２と異なるもう１つの対応点である。対応点Ｐｅ１、Ｐｅ２および対応点Ｐｆ１、Ｐｆ２が一対の画像ＩＡ、ＩＢからそれぞれ算出されると、ステップ２１３に進む。
【００４９】
ステップ２１３では、三角測量の原理を適用して物体Ｓの３次元位置を求めるために座標変換が施される。具体的には、まず、モニタ３０のスクリーン座標（Ｘ、Ｙ）からカメラ４２の第１および第２撮影地点ＰＡ、ＰＢそれぞれのＣＣＤ４１の画像形成面において規定されるＣＣＤ座標（ｕ、ｖ）に変換される。この変換では、原点位置合わせのための平行移動や縦横のスケール変換処理が施され、これにより、対応点Ｐｅ１、Ｐｅ２および対応点Ｐｆ１、Ｐｆ２は、モニタ３０における画素単位のスクリーン座標（Ｘａ１、Ｙａ１）（Ｘａ２、Ｙａ２）および（Ｘｂ１、Ｙｂ１）（Ｘｂ２、Ｙｂ２）からＣＣＤ４１の画像形成面における位置座標（ｕａ１、ｖａ１）（ｕａ２、ｖａ２）および（ｕｂ１、ｖｂ１）（ｕｂ２、ｖｂ２）で表される。ＣＣＤ座標への変換は次式によって行われる。
【００５０】
【数式１】
（１）式において、「ＰｉｔｃｈＸ」は、ＣＣＤ４１の横方向サイズと画像ＩＡ（ＩＢ）の画素単位の横方向サイズ（＝Ｗ）との比を表し、「ＰｉｔｃｈＹ」は、ＣＣＤ４１の縦方向サイズと画像ＩＡ（ＩＢ）の画素単位の縦方向サイズ（＝Ｈ）との比を表す。また、「Ｆ」は、カメラ４２の焦点距離を示す。ＣＣＤ座標（ｕ，ｖ）は、カメラ４２の撮影光学系の光軸とＣＣＤ４１の画像形成面の中心を原点とする座標系であり、mm単位で表される座標系であるが、（１）式で示すようにカメラ４２の焦点距離Ｆ（mm）に関する奥行き方向の座標も考慮されている。他方の対応点Ｐｆ１、Ｐｆ２についても、（１）式により座標変換が施される。
【００５２】
ステップ２１４では、ステップ２１３で求められた対応点Ｐｅ１、Ｐｅ２のＣＣＤ座標（ｕａ１、ｖａ１）（ｕａ２、ｖａ２）と、第１および第２撮影地点ＰＡ、ＰＢ間の距離とに基づき、物体Ｓの中心軸Ｕ上の点であってその像が対応点となる測定点Ｐ１の位置が（２）式により算出される。ただし、（２）式において、「Ｃ」は第１および第２撮影地点ＰＡ、ＰＢ間の距離を表し、撮影データとしてメモリカード３６にあらかじめ記録されている。
【００５３】
【数式２】
（２）式は、いわゆる三角測量の原理に基づく式であり、第１撮影地点ＰＡでのカメラ４２の中心を原点とするカメラ座標系を３次元座標（ｘ、ｙ、ｚ）として定めると、測定点Ｐ１の位置（ｘ１、ｙ１、ｚ１）がその３次元座標で算出される。測定点Ｐ１のｚ座標は、第１および第２撮影地点ＰＡ、ＰＢから物体Ｓまでの奥行きを表す。同様に、ステップ２１５では、対応点Ｐｅ２、Ｐｆ２に応じた物体Ｓの中心軸ＳＵ上にある測定点Ｐ２の位置（ｘ２、ｙ２、ｚ２）が（２）式により求められる。測定点Ｐ１、Ｐ２の３次元座標は、モニタ３０に表示されるとともに、ＲＡＭ１８に一時的にデータとして格納される。ステップ２１５が実行されると、このサブルーチンは終了し、図４のメインルーチンに戻る。
【００５５】
なお、ステップ２０１〜２１５の実行において、算出された点や直線などのデータは算出される度にＲＡＭ１８に格納され、必要に応じて読み出される。
【００５６】
図１１は、図４のステップ１０６のサブルーチンである。図１１とともに図１２〜１５を用いて、円柱Ｓの半径の算出処理について説明する。
【００５７】
ステップ３０１では、図７のステップ２１４、２１５で求められ、ＲＡＭ１８に格納された物体Ｓの中心軸ＳＵ上にある測定点Ｐ１、Ｐ２の座標（ｘ１、ｙ１、ｚ１）、（ｘ２、ｙ２、ｚ２）に基づいて、中心軸ＳＵを３次元座標で表した直線ｌが算出される。直線ｌの方程式は、次の（３）式で表される。
【００５８】
【数式３】
そして、図１２に示すように、測定点Ｐ１、Ｐ２および直線ｌに基づき、第１撮影地点ＰＡにおけるカメラ４２の中心、すなわち３次元座標の原点Ｏから直線ｌへ垂直に延ばした線のベクトルＶ（ｅ、ｆ、ｇ）が求められる。ただし、ベクトルＶは、（３）式および直線ｌとベクトルＶとの直交関係を示す次の（４）式に基づいて算出される。ベクトルＶが求められると、ステップ３０２へ進む。
【００６０】
【数式４】
ステップ３０２では、直線ｌ（中心軸ＳＵ）を通り、ベクトルＶ（ｅ、ｆ、ｇ）を法線ベクトルとする平面Ｒが算出される（図１２参照）。次の（５）式は、平面Ｒを表した式である。
【数式５】
【００６２】
ここで、図１３を用いて、平面Ｒと交差する物体Ｓの表面上にある点と、第１撮影地点ＰＡにおける物体像Ｓ１の一対の輪郭ＭＡ１、ＭＡ２上にある点との関係について説明する。ただし、ここでは、法線ベクトルＶの向きは第１撮影地点ＰＡにおけるカメラ４２の中心を３次元座標の原点Ｏとしたときのｚ方向と一致するものとする。また、モニタ３０に表示される画像ＩＡにおいて輪郭線ＭＡ１上の点を境界点Ｔ１と定め、ＣＣＤ４１の画像形成面において境界点Ｔ１に応じた位置にある像点Ｔ１’と原点Ｏを通る直線Ｎを設定する。ただし、第１および第２撮影地点ＰＡ、ＰＢから物体Ｓまでの距離が物体Ｓの径の大きさ（奥行き方向の長さ）に比べて十分長いものとする。
【００６３】
ＣＣＤ４１の画像形成面に形成される画像に関しては、原点Ｏと円柱Ｓとの距離Ｍが円柱Ｓの径の大きさに比べて十分長い場合、いわゆる弱中心射影を適用することができる。弱中心射影は正射影と中心射影を組み合わせた射影であり、物体Ｓは、平面τに正射影された後原点Ｏに向けて中心射影される。平面τへの正射影は、第１撮影地点ＰＡにおけるカメラ４２の光軸方向、すなわち法線ベクトルＶ方向に沿って射影されるため、平面Ｒと平面τは平行関係にある。
【００６４】
物体Ｓの表面と平面Ｒとの交差する直線上にある点を端点Ｔと定め、端点Ｔの平面τにおける像をＴ’とすると、直線Ｎは平面τの像Ｔ’を通る。弱中心射影が適用されていることを考慮すれば、直線Ｎは物体Ｓの端点Ｔを通る直線とみなすことができる（直線Ｎ’参照）。したがって、物体Ｓの端点Ｔの中心軸ＳＵ方向（３次元座標のｙ方向）に沿った位置座標が測定点Ｐ１あるいはＰ２の位置と等しければ、直線Ｎを算出し、端点Ｔの３次元位置座標を算出することによって円柱Ｓの半径が求められる。
【００６５】
そこでまず、ステップ３０３では、図１４に示すように、画像ＩＡにおいて二等分線Ｌｅ１と垂直で交点Ｐｅ１を通る直線Ｌｇ１が算出され、ステップ３０４では、直線Ｌｅ１と垂直で点Ｐｆ１を通る直線Ｌｈ１が算出される。そして、ステップ３０５では、直線Ｌｇ１と直線Ｌａ１との交点が境界点Ｐｇ１として求められ、ステップ３０６では、直線Ｌｈ１と直線Ｌａ１との交点が境界点Ｐｈ１とし求められる。
【００６６】
ステップ３０７では、交点Ｐｇ１、Ｐｈ１に対して座標変換が施される。すなわち、図７のステップ２１３と同じように、スクリーン座標（Ｘ、Ｙ）からＣＣＤ座標（ｕ、ｖ、Ｆ）に変換される。ステップ３０８では、ＣＣＤ４１の画像形成面にある境界点Ｐｇ１に応じた像点Ｐ’ｇ１と原点Ｏとを通る直線ＬＡが３次元座標に基づいて算出される。同様に、ステップ３０９では、ＣＣＤ４１の画像形成面にある境界点Ｐｈ１に応じた像点Ｐ’ｈ１と中心Ｏとを通る直線ＬＢが算出される。直線ＬＡ、直線ＬＢは、図１３の直線Ｎ（Ｎ’）に相当する。直線ＬＡ、ＬＢが求められると、ステップ３１０に進む。
【００６７】
ステップ３１０では、直線ＬＡと物体Ｓとの交点であって平面Ｒ上にある端点ＰＣの３次元座標が算出される。ただし、端点ＰＣは、平面Ｒを示す（５）式と直線ＬＡの式に基づいて算出される。同様に、ステップ３１１では、（５）式と直線ＬＢに基づいて直線ＬＢと平面Ｒとの交点である端点ＰＤが算出される。端点ＰＣ、ＰＤは、図１３の端点Ｔに相当し、中心軸ＳＵ上に沿ったｙ方向の位置座標は、測定点Ｐ１およびＰ２に等しい。
【００６８】
ステップ３１２では、端点ＰＣと先に求められた中心軸ＳＵ（直線ｌ）上にある測定点Ｐ１との距離ｒ１が算出される。この距離ｒ１が物体Ｓの半径となる。同じように、ステップ３１３では、端点ＰＤと測定点ＰＢとの距離ｒ２が算出される。物体Ｓが円柱であるため、距離ｒ１と距離ｒ２は等しい。ステップ３１３が実行されると、このサブルーチンは終了する。
【００６９】
このように本実施形態によれば、カメラ４２によって第１および第２撮影地点ＰＡ、ＰＢから円柱である物体Ｓを撮影することにより、異なるから撮影された一対の画像がメモリカード３６に記録され、その後画像処理装置１０において読み出される。読み出されたモニタ３０に表示された一対の画像ＩＡ、ＩＢに対してオペレータが操作することにより、一対の画像ＩＡ、ＩＢそれぞれの一対の遮蔽輪郭ＭＡ１、ＭＡ２およびＭＢ１、ＭＢ２の上に指示点Ｐａ１〜Ｐｄ１およびＰａ２〜Ｐｄ２が設定される。そして、この設定された指示点Ｐａ１〜Ｐｄ１およびＰａ２〜Ｐｄ２に基づいて、２つの対応点Ｐｅ１、Ｐｅ２およびＰｆ１、Ｐｆ２を一対の二等分線Ｌｅ１、Ｌｅ２の線上において検出する。
【００７０】
表面が曲面である物体Ｓの中心軸ＳＵの投影像が一対の画像ＩＡ、ＩＢにおいて物体Ｓの投影像Ｓ１、Ｓ２を２等分する一対の二等分線Ｌｅ１、Ｌｅ２に対応するため、一対の二等分線Ｌｅ１、Ｌｅ２上において検出される対応点は、物体Ｓの中心軸ＳＵ上にある同一点からの像となる。このように、本来写らない中心軸ＳＵの像を考慮することにより、正確に物体Ｓの３次元位置を求めることができる。
【００７１】
このような対応点検出処理によれば、図１５に示すように、円柱Ｓの上面、底面の輪郭が一対の画像ＩＡ、ＩＢに写っていなくても３次元位置を測定することができ、長さのある円柱形状の物体でも両眼立体視できる。
【００７２】
物体Ｓと第１および第２撮影地点ＰＡ、ＰＢとの距離が物体Ｓの径（半径ｒ）に比べて十分長い場合には弱中心射影モデルが適用できることから、物体Ｓの測定点Ｐ１、Ｐ２と、平面Ｒと物体Ｓの表面の交線上にある端点ＰＣ、ＰＤに基づいて物体Ｓの半径ｒが算出される。
【００７３】
なお、物体Ｓの半径ｒを求めず、物体Ｓの３次元位置のみ測定する場合、１つの対応点Ｐｅ１、Ｐｅ２（あるいはＰｆ１、Ｐｆ２）のみ算出し、測定点Ｐ１（あるいはＰ２）の３次元位置のみ算出すればよい。また、物体Ｓの半径ｒ１（あるいはｒ２）のみ算出する場合、境界点Ｐｇ１（あるいはＰｈ１）に応じた端点ＰＣ（あるいはＰＤ）のみ求めればよい。また、一対の画像ＩＡ、ＩＢから対応点Ｐｅ１、Ｐｅ２を検出する場合、エピポーララインを画像ＩＢに設定せず、スクリーン座標（Ｘ、Ｙ）でＹ座標が交点Ｐｅ１と等しい二等分線Ｌｅ２上の点を交点Ｐｅ２としてもよい。
【００７４】
物体Ｓの半径ｒを算出する時に弱中心射影モデルを適用しているが、擬似中心射影モデルを適用して半径ｒを算出してもよい。
【００７５】
本実施形態では、表面に曲面が形成されている物体として円柱である物体Ｓが適用されているが、円柱以外の曲面形状の物体に対しても両眼立体視により３次元位置を測定することができる。例えば、図１６に示すように、中心軸ＥＳ周りに回転対称な直円錐台Ｅが計測対象であってもよい。この場合、直線Ｑ１、Ｑ２において指定点Ｐａ１、Ｐｃ１の中点と指定点Ｐｂ１、Ｐｄ１の中点とを通る直線を二等分線Ｌｅ１とし、交点Ｐｅ１を算出すればよい。画像ＩＢにおいても、指定点Ｐａ２、Ｐｃ２の中点と指定点Ｐｂ２、Ｐｄ２の中点とを通る直線を二等分線Ｌｅ２を求めればよい。また、平行ステレオ修正をせずに対応点を求めてもよい。
【００７６】
さらに、図１７に示すように、物体Ｓは、円柱、直円錐台だけでなく直円錐、球体などを含む、中心軸ＲＳ周りに回転曲面が形成された回転体ＲＯであればよい。ただし、回転体ＲＯは、中心軸ＲＳ周りに回転対称な物体であり、中心軸ＲＳに垂直な任意の断面は円になる。回転体ＲＯの場合でも、直線Ｑ１、Ｑ２において指定点Ｐａ１、Ｐｃ１の中点と指定点Ｐｂ１、Ｐｄ１の中点とを通る直線を二等分線Ｌｅ１とし、指定点Ｐａ２、Ｐｃ２の中点と指定点Ｐｂ２、Ｐｄ２の中点とを通る直線を二等分線Ｌｅ２とする。これにより、対応点Ｐｅ１、Ｐｅ２およびＰｆ１、Ｐｆ２が算出される。
【００７７】
本実施形態では、写真測量において両眼立体視を利用しているが、それ以外の分野、例えばコンピュータビジョンなどの自動形状復元処理においても利用可能である。この場合、画像処理装置１０に２台のカメラを接続して異なる方向から同時撮影し、一度メモリに記録された一対の画像データから物体の３次元位置を測定する処理システムを構成する。また、オペレータの操作を伴わないで自動的に画像処理装置１０が交点Ｐｅ１、Ｐｅ２を検出する処理システムを構成してもよい。この場合、一対の画像ＩＡ、ＩＢはモニタ３０に表示されることなく、自動的に一対の遮蔽輪郭ＭＡ１、ＭＡ２およびＭＢ１、ＭＢ２がエッジ追跡などの線検出処理によって検出され、対応点Ｐｅ１、Ｐｅ２が求められる。
【００７８】
【発明の効果】
以上のように本発明によれば、曲面形状の物体像が写された一対の画像から３次元情報を求める両眼立体視において、一対の画像から誤りなく対応点を検出し、正確な物体の３次元情報を得ることができる。
【図面の簡単な説明】
【図１】写真測量用のカメラと本実施形態である画像処理装置およびその周辺機器を示した図である。
【図２】画像処置装置のブロック図である。
【図３】円柱である物体の２方向からの投影像を示した図である。
【図４】３次元情報算出処理動作を示したフローチャートである。
【図５】平行ステレオ関係を示した図である。
【図６】モニタに表示される一対の画像を示した図である。
【図７】物体の３次元位置算出処理動作を示した図４のステップ１０５のサブルーチンである。
【図８】二等分線を求める時の一対の画像のうちの一方の画像を示した図である。
【図９】二等分線を求める時の一対の画像のうちの他方の画像を示した図である。
【図１０】対応点を求める際の一対の画像を示した図である。
【図１１】物体の半径を求める径算出処理動作を示した図４のステップ１０６のサブルーチンである。
【図１２】物体と原点を通るベクトルを法線ベクトルとする平面とを示した図である。
【図１３】弱中心射影モデルにおける物体の投影像を示した図である。
【図１４】一対の画像のうちの一方の画像を示した図である。
【図１５】一対の遮蔽輪郭のみ写る一対の画像を示した図である。
【図１６】直円錐台およびその投影像となる一対の画像を示した図である。
【図１７】回転体およびその投影像となる一対の画像を示した図である。
【符号の説明】
１０ 画像処理装置
１２Ａ ＣＰＵ
１４ ＲＯＭ（記録媒体）
１８ ＲＡＭ（画像記録可能な記録媒体）
３０ モニタ（表示装置）
３６ メモリカード（補助記憶装置、画像記録可能な記録媒体）
４１ ＣＣＤ（撮像素子）
４２ カメラ
ＩＡ，ＩＢ 一対の画像
ＩＡ 第１の画像
π１ 第１の画像
ＩＢ 第２の画像
π２ 第２の画像
Ｌｅ１，Ｌｅ２ 二等分線（一対の二等分線）
Ｌｅ１ 二等分線（第１の二等分線）
Ｌｅ２ 二等分線（第２の二等分線）
ＭＡ１，ＭＡ２ 一対の遮蔽輪郭
ＭＢ１，ＭＢ２ 一対の遮蔽輪郭
Ｐｅ１，Ｐｅ２ 対応点（少なくとも１つの対応点）
Ｐｅ１ 交点（少なくとも１つの第１の像点）
Ｐｅ２ 交点（少なくとも１つの第２の像点）
Ｐｆ１，Ｐｆ２ 対応点（少なくとも１つの対応点）
Ｐｆ１ 交点（少なくとも１つの第１の像点）
Ｐｆ２ 交点（少なくとも１つの第２の像点）
ＥＰ１ エピポーラライン（少なくとも一本のエピポーラライン）
ＥＰ２ エピポーラライン（少なくとも一本のエピポーラライン）
Ｐａ１，Ｐｃ１、Ｐｂ１，Ｐｄ１ 指定点（二対の指定点）
Ｐａ２，Ｐｃ２、Ｐｂ２，Ｐｄ２ 指定点（二対の指定点）
ＰＡ 第１撮影地点
ＰＢ 第２撮影地点
ＰＣ 端点（少なくとも１つの端点）
ＰＤ 端点（少なくとも１つの端点）
Ｒ 平面（径算出用平面）
ｒ 半径（径の長さ）
Ｓ 物体
ＳＵ 中心軸
Ｖ 法線ベクトル[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a three-dimensional information measurement processing system and method for photographing a measurement target object from two different directions and obtaining three-dimensional information of the object based on a pair of images from the two directions.
[0002]
[Prior art]
Conventionally, binocular stereoscopic vision (stereo) is known as one of methods for obtaining three-dimensional information such as the position (distance) and shape of an object from a photographed image of the three-dimensional object. In binocular stereoscopic vision, first, an object is photographed from two different directions to obtain two object images. Then, corresponding points that are images of the same part of the object are detected from the two images viewed from different directions. When the corresponding point is detected, the three-dimensional position of the object is obtained from the distance between the two cameras and the corresponding point based on the principle of triangulation. Binocular stereoscopic vision is also used, for example, in the field of photogrammetry, and three-dimensional information is measured by binocular stereoscopic vision in creating a survey map of an aerial photograph or an accident site of a traffic accident.
[0003]
When a corresponding point is detected from a pair of images in binocular stereoscopic vision, an image of a specific point of the object, that is, where the corresponding point is in the pair of images must be detected without error. This corresponding point determination problem has been an important technical problem in binocular stereoscopic vision, and various methods have been proposed.
[0004]
As one of the methods, there is a method of detecting an image of a characteristic part of an object as a corresponding point. If the object is a rectangular parallelepiped, an object that can be recognized as an image of the same point from two images such as edges and ridge lines. An image of a characteristic part is detected as a corresponding point. However, if the target object is an object having a curved surface such as a cylinder, there is no feature in the image corresponding to an edge or a ridge line, and an error occurs in association.
[0005]
As a method for detecting corresponding points even for a curved object, for example, in the case of a cylindrical object, the contour line of the upper surface of the object image displayed in two images is calculated as an elliptic function, and the contour line is calculated. There is a method of detecting the center of the upper surface of the object as a corresponding point. According to this, it is possible to obtain a three-dimensional position (distance) even for a curved object such as a cylinder.
[0006]
[Problems to be solved by the invention]
However, in the above method, the contour of the upper surface cannot be obtained unless the upper surface (or the bottom surface) of the cylinder is projected in the two obtained images. Therefore, the three-dimensional position of the object cannot be measured for an object such as a pipe having a long side surface portion. In addition, it is difficult to apply to curved objects other than cylinders.
[0007]
Therefore, in the present invention, in binocular stereoscopic vision for obtaining three-dimensional information from a pair of images in which curved object images are captured, corresponding points are detected without error from the pair of images, and accurate three-dimensional information of the object is obtained. The purpose is to obtain.
[0008]
[Means for Solving the Problems]
The image processing apparatus according to the present invention shoots an object that is a rotating body having a rotating curved surface around a central axis from two different directions so that a pair of shielding contours that are contour images along the central axis are captured. An apparatus for obtaining a three-dimensional position of an object by stereoscopic viewing, and this image processing apparatus includes a pair of images recorded from a recording medium on which a pair of images obtained by imaging with a camera having an image sensor is recorded. Image reading means for reading an image, and at least one corresponding point that is an image of at least one measurement point that represents a three-dimensional position to be obtained of the object and is uniquely determined from a pair of images, according to the projected image of the central axis of the object Corresponding point detecting means for detecting on a pair of bisectors and at least one corresponding point on the central axis of the object by applying the principle of triangulation based on at least one corresponding point Characterized in that a three-dimensional information computing means for calculating the three-dimensional position of the fixed point.
[0009]
When the object to be measured is a rotating body, that is, when a rotating curved surface is formed around the central axis and the object is rotationally symmetric, the virtual image of the central axis of the object is the object image in each of the pair of images. It becomes a line that bisects. Accordingly, a measurement point is defined as a point on the central axis of the object as a point representing the three-dimensional position of the object, and a corresponding point that is a virtual image of the measurement point is defined as a pair of two points corresponding to the central axis image. By detecting on the equipartition line, it is possible to detect corresponding points that are images from the same point. By detecting corresponding points on the bisector in this way, binocular stereoscopic vision can be applied even to an object whose surface is a curved surface, and the three-dimensional position of the object can be accurately measured without error. In addition, since corresponding points are detected on a pair of bisectors, corresponding points are detected if a pair of shielding contours are captured even for a rotating body such as an elongated pipe that cannot capture the top and bottom surfaces. be able to. The object is, for example, a cylinder or a right truncated cone.
[0010]
In the case of photogrammetry, since an object is first imaged with a camera and then the three-dimensional position of the object is calculated in the image processing apparatus, the image-recordable recording medium is portable and detachably attached to the camera. In addition to being an auxiliary storage device, it is desirable that a pair of images formed on the image sensor be recorded as digital still image data in the auxiliary storage device. In this case, the image reading unit reads a pair of images as data from the auxiliary storage device.
[0011]
The image processing apparatus preferably further includes parallel stereo correction means for affine transforming the pair of images read by the image reading means so that at least one corresponding point has the same coordinate, and the object is viewed from two directions. Even when the optical axis directions of the cameras are not parallel to each other when the image is captured by the camera, the three-dimensional position of the object can be obtained by applying the principle of triangulation. In this case, the corresponding point detection means detects at least one corresponding point from the pair of images subjected to affine transformation.
[0012]
A pair of images is a first image and a second image, and a pair of bisectors is a first bisector in the first image and a second bisector in the second image. When at least one corresponding point is defined as at least one first image point in the first image and at least one second image point in the second image, the corresponding point detection means includes, for example, at least At least one epipolar line corresponding to one first image point is set in the second image, and at least one epipolar intersection serving as an intersection of at least one epipolar line and the second bisector is obtained. The at least one epipolar intersection is defined as at least one second image point.
[0013]
When an operator operation is required to detect the corresponding point, a display device that displays video is connected to the image processing device, and the image processing device displays a pair of images read according to the image image reading means on the display device. And a designated point setting means for defining, as designated points, two pairs of points designated on the respective lines of the pair of shielding contours for each of the pair of images displayed on the display device according to the input operation. Is desirable. In this case, the corresponding point detection means detects the position of at least one corresponding point using the screen coordinates of the display device based on the two pairs of designated points of each of the pair of images.
[0014]
When detecting the corresponding points based on the two pairs of designated points, the corresponding point detecting means calculates, for example, a pair of bisectors based on the two pairs of designated points of each of the pair of images, and the first image Two intersections between the first bisector and two straight lines passing through two pairs of designated points are determined, and at least one of the two intersections is defined as at least one first image point.
[0015]
When the corresponding point is detected by the screen coordinates in the pair of images displayed on the display device, the three-dimensional information calculation unit converts the coordinates of at least one corresponding point from the screen coordinates of the display device to the image pickup device coordinates of the image pickup device. In addition, three-dimensional coordinates with the origin of the camera center in the shooting direction according to the first image are defined, and the principle of triangulation is applied on the basis of at least one corresponding point. It is desirable to calculate three-dimensional coordinates.
[0016]
Furthermore, in order to calculate the length of the diameter of the object from the obtained three-dimensional position of the object, it is desirable that the image processing apparatus further includes a diameter calculation unit that calculates the length of the diameter of the object. In this case, the corresponding point detection means detects two corresponding points, and the three-dimensional information calculation means calculates two measurement points. The diameter calculation means is for calculating a diameter on which one of a pair of images is a plane having a normal vector passing through the center of the camera in the shooting direction corresponding to the image and perpendicular to the center axis of the object, and the center axis of the object is placed on the plane. A plane is calculated based on two measurement points, and an end point that is on the diameter calculation plane and the surface of the object and coincides with one of the two measurement points along the central axis is defined as a normal vector. Based on an image point that is an image of an end point image on a pair of shielding contours in one of the corresponding pair of images, the length of the diameter of the object is calculated based on one of the two measurement points and the end point To calculate. When the distance between the object and the shooting point is sufficiently longer than the length of the diameter of the object, a straight line connecting at least one end point on the pair of contour lines and the center of the camera at one shooting point is a diameter calculation plane. Intersects the contact point on the surface of the object. From this intersection and at least one obtained measurement point, the length of the diameter of the object can be calculated.
[0017]
The three-dimensional information measuring method of the present invention is an image sensor from two different directions so that a pair of shielding contours as contour images along the central axis can be seen in an object that is a rotating body having a rotational curved surface formed around the central axis. An image reading step for reading a pair of images from a recordable recording medium on which a pair of images obtained by imaging with a camera is recorded, and at least one measurement point representing a three-dimensional position to be obtained of the object Detecting at least one corresponding point uniquely determined from the pair of images on a pair of bisectors corresponding to the projected image of the central axis of the object, and triangulation based on the at least one corresponding point And a step of calculating a three-dimensional position of at least one measurement point on the central axis of the object by applying the above principle.
[0018]
The program for measuring the three-dimensional information of an object, which is a rotating body having a rotating curved surface around the central axis of the present invention, is different so that a pair of shielding contours that are contour images along the central axis are captured. Image readout for reading out a pair of images from an image recordable recording medium on which a pair of images obtained by imaging with a camera having an image sensor from the direction is recorded, and at least one measurement representing a three-dimensional position to be obtained of the object At least one corresponding point that is an image of a point and is uniquely determined from a pair of images is detected on a pair of bisectors corresponding to the projected image of the central axis of the object, and triangulation is performed based on the at least one corresponding point The three-dimensional position of at least one measurement point on the central axis of the object is calculated by applying the above principle. This program can be stored in the memory of a computer involved in program creation or can be stored in a recording medium such as a CD-ROM. It is also possible to send and receive this program to other computers via a network such as the Internet.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, with reference to the drawings, a photogrammetry system and a three-dimensional information measurement processing method for an object having a curved surface according to an embodiment of the present invention will be described.
[0020]
FIG. 1 is a diagram schematically showing a photogrammetry camera, an image processing apparatus for calculating three-dimensional information, and peripheral devices thereof according to an embodiment of the present invention.
[0021]
First, the object S to be measured is imaged from two different directions by the
[0022]
The
[0023]
When shooting is completed, the
[0024]
A
[0025]
When the operator operates the
[0026]
FIG. 2 is a block diagram of peripheral devices such as the
[0027]
The
[0028]
When the
[0029]
When the operation of the
[0030]
FIG. 3 is a diagram showing a pair of images obtained by imaging the object S with the
[0031]
As is conventionally known, in binocular stereoscopic vision (stereo), it is necessary to determine a corresponding point that is an image from the same point of the object S and is uniquely determined from a pair of images. When the surface of the object S is a curved surface, it is difficult to detect corresponding points without error from a pair of images.
[0032]
Assuming that an image obtained by imaging the first shooting point PA is an image π1, and an image at the second shooting point PB is an image π2, for example, an image JA ′ of a point JA on the circumference of the upper surface UA of the object S is an image The image JB ′ of the point JB on the circumference of the same upper surface UA is on the line of the shielding contour MB2 in the second image π2 while it is on the line of the shielding contour MA2 that becomes the contour image along the central axis SU at π1. . Although the point JA and the point JB in the object S are not the same point, the image JA ′ and the image JB ′ are both on the lines of the shielding contours MA2 and MB2 in the images π1 and π2. Therefore, when the images JA ′ and JB ′ are determined as corresponding points, the three-dimensional information of the wrong object S is calculated.
[0033]
By the way, the cylindrical object S is an object having a rotationally symmetric shape with respect to the central axis SU. Therefore, if the projected image of the object S and the virtual projected image of the central axis SU are S1 and SU1 in the image plane π1, and S2 and SU2 in the image π2, the object images S1 and S2 are images of the central axes SU1 and SU2. A line-symmetric image with respect to. When the image π1 is specifically taken up, the shielding contours MA1 and MA2 that are paired in the object image S1 are line-symmetric with respect to the image SU1 of the central axis, and the object image S1 is bisected by the image SU1 of the central axis.
[0034]
This is the same in the image π2, and the same is true no matter which direction the object S that is a cylinder is photographed. That is, with respect to an image taken from an arbitrary position, the projected image of the central axis SU always bisects the projected image of the object, and the pair of shielding contours that are contour images are axisymmetric with respect to the image of the central axis. . Therefore, as shown in FIG. 3, virtual images C1 and C2 of an arbitrary point C on the central axis SU of the object S are on the lines of the central axis images SU1 and SU2 in the images π1 and π2. .
[0035]
Therefore, in the present embodiment, an arbitrary point on the central axis SU of the object S is used as a point for detecting a corresponding point, and this point is an image of the central axis SU1 in the images π1 and π2. Corresponding points on the line of SU2 are uniquely detected from a pair of images.
[0036]
FIG. 4 is a flowchart showing the three-dimensional information calculation processing operation. The three-dimensional information calculation processing operation is started when the operator performs a predetermined operation on the
[0037]
In step 101, a pair of image data is sequentially read from the
[0038]
In step 103, distortion correction and parallel stereo correction are performed on the read pair of image data. The distortion correction is an image correction in consideration of distortion aberration and the like caused by the photographing optical system of the
[0039]
In step 104, a pair of images IA and IB are displayed on the
[0040]
When the pair of images IA and IB are displayed, the operator operates the
[0041]
In step 105, as will be described later, the three-dimensional coordinate position of the object S is calculated based on the input designated points Pa1-Pd1 and Pa2-Pd2. In
[0042]
FIG. 7 is a subroutine of step 105 in FIG. The calculation processing of the three-dimensional position coordinates of the object S will be described with reference to FIGS. 8, 9, and 10 together with FIG.
[0043]
In step 201, a straight line La1 passing through the designated points Pa1 and Pb1 of the object image S1 is calculated in the image IA (see FIG. 8). The straight line La1 is a straight line passing through the contour line MA1 of the pair of shielding contours MA1 and MA2. Similarly, in step 202, a straight line Lb1 passing through the designated points Pc1 and Pd1 of the object image S2, that is, passing through the contour line MA2, is calculated. In each of the pair of images IA and IB, the screen coordinates (X, Y) are defined in which the upper left corner of the image area is the origin and the numbers of pixels in the X direction and the Y direction are “W” and “H”, respectively. The straight line La1 and the like are calculated according to the screen coordinates (X, Y). When step 202 is executed, the process proceeds to step 203.
[0044]
In
[0045]
In
[0046]
In
[0047]
In
[0048]
Similarly, in step 212, an epipolar line EP2 having the same Y coordinate as the Y coordinate “Yb1” of the intersection Pf1 in the image IA is set in the image IB, and the position coordinates of the intersection Pf2 between the bisector Le2 and the epipolar line EP2 are set. (Xb2, Yb2) is calculated. The intersection points Pf1 and Pf2 are another corresponding point different from the intersection points Pe1 and Pe2. When the corresponding points Pe1, Pe2 and the corresponding points Pf1, Pf2 are respectively calculated from the pair of images IA, IB, the process proceeds to step 213.
[0049]
In step 213, coordinate transformation is performed to obtain the three-dimensional position of the object S by applying the principle of triangulation. Specifically, first, from the screen coordinates (X, Y) of the
[0050]
[Formula 1]
In the equation (1), “PitchX” represents the ratio between the horizontal size of the
[0052]
In step 214, based on the CCD coordinates (ua1, va1) (ua2, va2) of the corresponding points Pe1, Pe2 obtained in step 213, and the distance between the first and second imaging points PA, PB, The position of the measurement point P1 which is a point on the central axis U and whose image is a corresponding point is calculated by the equation (2). However, in the equation (2), “C” represents the distance between the first and second shooting points PA and PB, and is recorded in advance in the
[0053]
[Formula 2]
Equation (2) is an equation based on the principle of so-called triangulation, and when a camera coordinate system having the origin of the center of the
[0055]
In the execution of steps 201 to 215, data such as calculated points and straight lines is stored in the
[0056]
FIG. 11 is a subroutine of
[0057]
In step 301, the coordinates (x1, y1, z1), (x2, y2, z2) of the measurement points P1, P2 on the central axis SU of the object S obtained in steps 214, 215 of FIG. ), A straight line l representing the central axis SU in three-dimensional coordinates is calculated. The equation of the straight line l is expressed by the following equation (3).
[0058]
[Formula 3]
Then, as shown in FIG. 12, based on the measurement points P1, P2 and the straight line l, a vector V of a line extending vertically from the center of the
[0060]
[Formula 4]
In step 302, a plane R passing through the straight line l (center axis SU) and having the vector V (e, f, g) as a normal vector is calculated (see FIG. 12). The following equation (5) is an equation representing the plane R.
[Formula 5]
[0062]
Here, the relationship between the points on the surface of the object S intersecting the plane R and the points on the pair of contours MA1 and MA2 of the object image S1 at the first imaging point PA will be described with reference to FIG. . However, here, the direction of the normal vector V coincides with the z direction when the center of the
[0063]
For an image formed on the image forming surface of the
[0064]
When a point on a straight line intersecting the surface of the object S and the plane R is defined as an end point T, and an image of the end point T on the plane τ is T ′, the straight line N passes through the image T ′ of the plane τ. Considering that the weak central projection is applied, the straight line N can be regarded as a straight line passing through the end point T of the object S (see the straight line N ′). Therefore, if the position coordinate of the end point T of the object S along the central axis SU direction (y direction of the three-dimensional coordinate) is equal to the position of the measurement point P1 or P2, the straight line N is calculated and the three-dimensional position coordinate of the end point T is calculated. Is calculated to obtain the radius of the cylinder S.
[0065]
First, at step 303, as shown in FIG. 14, a straight line Lg1 perpendicular to the bisector Le1 and passing through the intersection Pe1 is calculated in the image IA. At step 304, a straight line Lh1 perpendicular to the straight line Le1 and passing through the point Pf1 is calculated. Is calculated. In step 305, the intersection between the straight line Lg1 and the straight line La1 is obtained as the boundary point Pg1, and in step 306, the intersection between the straight line Lh1 and the straight line La1 is obtained as the boundary point Ph1.
[0066]
In step 307, coordinate transformation is performed on the intersection points Pg1 and Ph1. That is, the screen coordinates (X, Y) are converted into CCD coordinates (u, v, F) in the same manner as in step 213 in FIG. In
[0067]
In step 310, the three-dimensional coordinates of the end point PC on the plane R that is the intersection of the straight line LA and the object S are calculated. However, the end point PC is calculated based on the equation (5) indicating the plane R and the equation of the straight line LA. Similarly, in step 311, an end point PD that is the intersection of the straight line LB and the plane R is calculated based on the equation (5) and the straight line LB. The end points PC and PD correspond to the end point T in FIG. 13, and the position coordinates in the y direction along the central axis SU are equal to the measurement points P1 and P2.
[0068]
In step 312, the distance r1 between the end point PC and the measurement point P1 on the previously obtained central axis SU (straight line 1) is calculated. This distance r1 is the radius of the object S. Similarly, in step 313, a distance r2 between the end point PD and the measurement point PB is calculated. Since the object S is a cylinder, the distance r1 is equal to the distance r2. When step 313 is executed, the subroutine ends.
[0069]
As described above, according to the present embodiment, by shooting the object S that is a cylinder from the first and second shooting points PA and PB by the
[0070]
Since the projection image of the center axis SU of the object S having a curved surface corresponds to a pair of bisectors Le1 and Le2 that bisect the projection images S1 and S2 of the object S in the pair of images IA and IB, The corresponding points detected on the bisectors Le1 and Le2 are images from the same point on the central axis SU of the object S. In this way, the three-dimensional position of the object S can be accurately obtained by considering the image of the central axis SU that is not originally captured.
[0071]
According to such corresponding point detection processing, as shown in FIG. 15, the three-dimensional position can be measured even if the top and bottom contours of the cylinder S are not shown in the pair of images IA and IB. Even binocular objects can be viewed stereoscopically.
[0072]
Since the weak center projection model can be applied when the distance between the object S and the first and second imaging points PA and PB is sufficiently longer than the diameter (radius r) of the object S, the measurement points P1 and P2 of the object S are applicable. Then, the radius r of the object S is calculated based on the end points PC and PD located on the intersection line between the plane R and the surface of the object S.
[0073]
When only the three-dimensional position of the object S is measured without obtaining the radius r of the object S, only one corresponding point Pe1, Pe2 (or Pf1, Pf2) is calculated and the three-dimensional position of the measurement point P1 (or P2). Only need to be calculated. Further, when calculating only the radius r1 (or r2) of the object S, only the end point PC (or PD) corresponding to the boundary point Pg1 (or Ph1) may be obtained. In addition, when detecting the corresponding points Pe1 and Pe2 from the pair of images IA and IB, the epipolar line is not set to the image IB, and the Y coordinate in the screen coordinates (X, Y) is equal to the intersection Pe1. This point may be the intersection Pe2.
[0074]
Although the weak center projection model is applied when calculating the radius r of the object S, the radius r may be calculated by applying a pseudo center projection model.
[0075]
In the present embodiment, a cylindrical object S is applied as an object having a curved surface on the surface. However, a three-dimensional position is measured by binocular stereoscopic vision for an object having a curved surface other than a cylinder. Can do. For example, as shown in FIG. 16, a right circular truncated cone E that is rotationally symmetric about the central axis ES may be a measurement target. In this case, a straight line passing through the midpoints of the designated points Pa1 and Pc1 and the midpoints of the designated points Pb1 and Pd1 on the straight lines Q1 and Q2 is defined as a bisector Le1, and the intersection Pe1 may be calculated. Also in the image IB, the bisector Le2 may be obtained as a straight line passing through the midpoints of the designated points Pa2 and Pc2 and the midpoints of the designated points Pb2 and Pd2. Further, the corresponding points may be obtained without correcting the parallel stereo.
[0076]
Further, as shown in FIG. 17, the object S may be a rotating body RO having a rotating curved surface formed around the central axis RS, including not only a circular cylinder and a right truncated cone but also a right cone and a sphere. However, the rotating body RO is a rotationally symmetric object around the central axis RS, and an arbitrary cross section perpendicular to the central axis RS is a circle. Even in the case of the rotating body RO, a straight line passing through the midpoints of the designated points Pa1 and Pc1 and the midpoints of the designated points Pb1 and Pd1 on the straight lines Q1 and Q2 is a bisector Le1, and the midpoints of the designated points Pa2 and Pc2 A straight line passing through the midpoints of the designated points Pb2 and Pd2 is defined as a bisector Le2. Thereby, corresponding points Pe1, Pe2 and Pf1, Pf2 are calculated.
[0077]
In the present embodiment, binocular stereoscopic vision is used in photogrammetry, but it can also be used in other fields, for example, automatic shape restoration processing such as computer vision. In this case, a processing system is configured in which two cameras are connected to the
[0078]
【The invention's effect】
As described above, according to the present invention, in binocular stereoscopic vision for obtaining three-dimensional information from a pair of images in which curved object images are captured, corresponding points are detected without error from the pair of images, and an accurate object is detected. Three-dimensional information can be obtained.
[Brief description of the drawings]
FIG. 1 is a diagram showing a camera for photogrammetry, an image processing apparatus according to an embodiment, and peripheral devices thereof.
FIG. 2 is a block diagram of the image processing apparatus.
FIG. 3 is a diagram showing projection images from two directions of a cylindrical object.
FIG. 4 is a flowchart showing a three-dimensional information calculation processing operation.
FIG. 5 is a diagram showing a parallel stereo relationship.
FIG. 6 is a diagram showing a pair of images displayed on a monitor.
7 is a subroutine of step 105 in FIG. 4 showing the operation of calculating the three-dimensional position of an object.
FIG. 8 is a diagram showing one image of a pair of images when obtaining a bisector.
FIG. 9 is a diagram showing the other of a pair of images when obtaining a bisector.
FIG. 10 is a diagram showing a pair of images when obtaining corresponding points.
FIG. 11 is a subroutine of
FIG. 12 is a diagram showing an object and a plane whose normal vector is a vector passing through the origin.
FIG. 13 is a diagram showing a projected image of an object in a weak center projection model.
FIG. 14 is a diagram showing one image of a pair of images.
FIG. 15 is a diagram showing a pair of images in which only a pair of shielding contours are shown.
FIG. 16 is a diagram showing a right truncated cone and a pair of images as projection images thereof.
FIG. 17 is a diagram illustrating a rotating body and a pair of images serving as projection images thereof.
[Explanation of symbols]
10 Image processing device
12A CPU
14 ROM (recording medium)
18 RAM (image recording recordable medium)
30 Monitor (display device)
36 Memory card (auxiliary storage device, recording medium capable of recording images)
41 CCD (imaging device)
42 Camera
IA, IB A pair of images
IA first image
π1 first image
IB second image
π2 second image
Le1, Le2 bisector (a pair of bisectors)
Le1 bisector (first bisector)
Le2 bisector (second bisector)
MA1, MA2 A pair of shielding contours
MB1, MB2 A pair of shielding contours
Pe1, Pe2 corresponding point (at least one corresponding point)
Pe1 intersection (at least one first image point)
Pe2 intersection (at least one second image point)
Pf1, Pf2 corresponding point (at least one corresponding point)
Pf1 intersection (at least one first image point)
Pf2 intersection (at least one second image point)
EP1 epipolar line (at least one epipolar line)
EP2 epipolar line (at least one epipolar line)
Pa1, Pc1, Pb1, Pd1 Designated points (two pairs of designated points)
Pa2, Pc2, Pb2, Pd2 Designated points (two pairs of designated points)
PA first shooting point
PB 2nd shooting point
PC endpoint (at least one endpoint)
PD endpoint (at least one endpoint)
R plane (plane for diameter calculation)
r Radius (diameter length)
S object
SU central axis
V normal vector
Claims (17)
前記物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって前記一対の画像から一意に決まる少なくとも１つの対応点を、前記一対の画像それぞれにおける前記一対の遮蔽輪郭によって規定されるとともに前記物体の中心軸の投影像に応じた一対の二等分線上において、検出する対応点検出手段と、
前記少なくとも１つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも１つの測定点の三次元位置を算出する三次元情報算出手段とを備え、
前記対応点検出手段が、前記少なくとも１つの対応点の一方の像として前記第１の画像の二等分線上に定められる少なくとも１つの第１の像点に従い、前記少なくとも１つの像点に応じた少なくとも一本のエピポーララインを前記第２の画像に設定し、前記少なくとも一本のエピポーララインと前記第２の画像における二等分線との交点を、前記少なくとも１つの対応点の他方の像である少なくとも１つの第２の像点として定めることを特徴とする画像処理装置。Two different directions so that a rotating curved surface is formed around the central axis, and a pair of shielding contours that form a contour image along the central axis is captured of an object that is a rotating body that is one of a cylinder, a right truncated cone, and a right cone Image reading means for reading the pair of images including the first image and the second image from an image-recordable recording medium on which a pair of images obtained by imaging with a camera having an image sensor is recorded;
At least one corresponding point that is an image of at least one measurement point representing the three-dimensional position to be obtained of the object and is uniquely determined from the pair of images is defined by the pair of shielding contours in each of the pair of images. in the pair of the bisector in accordance with the projected image of the central axis of the object with a corresponding point detecting means for detecting,
Three-dimensional information calculation means for calculating a three-dimensional position of the at least one measurement point on the central axis of the object by applying the principle of triangulation based on the at least one corresponding point ;
The corresponding point detecting means corresponds to the at least one image point according to at least one first image point defined on a bisector of the first image as one image of the at least one corresponding point. At least one epipolar line is set in the second image, and an intersection of the at least one epipolar line and a bisector in the second image is the other image of the at least one corresponding point. An image processing apparatus characterized in that it is defined as at least one second image point.
前記画像読み出し手段が、前記補助記憶装置から前記一対の画像を読み出すことを特徴とする請求項１に記載の画像処理装置。The image-recordable recording medium is portable and is an auxiliary storage device that is detachably attached to the camera, and the pair of images formed on the image sensor is a digital still image in the auxiliary storage device. Recorded as data,
The image processing apparatus according to claim 1, wherein the image reading unit reads the pair of images from the auxiliary storage device.
前記対応点検出手段が、アフィン変換された前記一対の画像から前記少なくとも１つの対応点を検出することを特徴とする請求項１に記載の画像処理装置。Parallel stereo correction means for affine transforming the pair of images read by the image reading means so that the at least one corresponding point has the same coordinates;
The image processing apparatus according to claim 1, wherein the corresponding point detection unit detects the at least one corresponding point from the pair of images subjected to affine transformation.
前記画像読み出し手段に従って読み出された前記一対の画像を前記表示装置に表示する表示手段と、
前記表示装置に表示される前記一対の画像それぞれに対し、入力操作に従って前記一対の遮蔽輪郭それぞれの線上に指定される二対の点を指定点として定める指定点設定手段とをさらに有し、
前記対応点検出手段が、前記一対の画像それぞれの前記二対の指定点に基づいて前記少なくとも１つの対応点の位置を前記表示装置のスクリーン座標で検出することを特徴とする請求項１に記載の画像処理装置。A display device that displays video is connected,
Display means for displaying the pair of images read according to the image reading means on the display device;
For each of the pair of images displayed on the display device, further comprising designated point setting means for defining, as designated points, two pairs of points designated on each line of the pair of shielding contours according to an input operation,
The said corresponding point detection means detects the position of the said at least 1 corresponding point by the screen coordinate of the said display apparatus based on the said 2 pairs of designated points of each of said pair of images. Image processing apparatus.
前記対応点検出手段が、２つの対応点を検出し、
前記三次元情報算出手段が、２つの測定点を算出し、
前記径算出手段が、
前記一対の画像の一方に応じた撮影方向における前記カメラの中心を通り前記物体の中心軸に垂直なベクトルを法線ベクトルとする平面であって前記物体の中心軸が載る径算出用平面を前記２つの測定点に基いて算出し、
前記径算出用平面と前記物体の表面上にあるとともに前記２つの測定点のいずれかの点と中心軸に沿った位置が一致する端点を、該一対の画像の一方にある前記一対の遮蔽輪郭上にある像であって前記端点の像である像点に基いて算出し、
前記物体の径の長さを前記２つの測定点の一方と前記端点に基づいて算出することを特徴とする請求項１に記載の画像処理装置。A diameter calculating means for calculating a length of the diameter of the object;
The corresponding point detecting means detects two corresponding points;
The three-dimensional information calculation means calculates two measurement points,
The diameter calculating means is
A diameter calculation plane on which a normal vector is a vector that passes through the center of the camera in a shooting direction corresponding to one of the pair of images and is perpendicular to the center axis of the object, and on which the center axis of the object is placed Calculate based on two measurement points,
The pair of shielding contours in one of the pair of images is an end point on the surface for calculating the diameter and the surface of the object, and an end point whose position along one of the two measurement points coincides with the central axis. Calculated based on the image point that is an image on the end point image,
The image processing apparatus according to claim 1, wherein the length of the diameter of the object is calculated based on one of the two measurement points and the end point.
前記物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって前記一対の画像から一意に決まる少なくとも１つの対応点を、前記一対の画像それぞれにおける前記一対の遮蔽輪郭によって規定されるとともに前記物体の中心軸の投影像に応じた一対の二等分線上において、検出し、
前記少なくとも１つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも１つの測定点の三次元位置を算出し、
前記少なくとも１つの対応点の一方の像として前記第１の画像の二等分線上に定められる少なくとも１つの第１の像点に従い、前記少なくとも１つの像点に応じた少なくとも一本のエピポーララインを前記第２の画像に設定し、前記少なくとも一本のエピポーララインと前記第２の画像における二等分線との交点を、前記少なくとも１つの対応点の他方の像である少なくとも１つの第２の像点として定めることを特徴とする３次元情報計測方法。Two different directions so that a rotating curved surface is formed around the central axis, and a pair of shielding contours that form a contour image along the central axis is captured of an object that is a rotating body that is one of a cylinder, a right truncated cone, and a right cone Reading out the pair of images composed of the first image and the second image from an image-recordable recording medium on which a pair of images obtained by imaging with a camera having an image sensor is recorded,
At least one corresponding point that is an image of at least one measurement point representing the three-dimensional position to be obtained of the object and is uniquely determined from the pair of images is defined by the pair of shielding contours in each of the pair of images. And detecting on a pair of bisectors corresponding to the projected image of the central axis of the object,
Calculating the three-dimensional position of the at least one measurement point on the central axis of the object by applying the principle of triangulation based on the at least one corresponding point;
According to at least one first image point defined on a bisector of the first image as one image of the at least one corresponding point, at least one epipolar line corresponding to the at least one image point is The second image is set, and an intersection of the at least one epipolar line and a bisector in the second image is at least one second image that is the other image of the at least one corresponding point. A three-dimensional information measuring method characterized in that it is determined as an image point.
前記物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる２方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、第１の画像および第２の画像からなる前記一対の画像を読み出し、
前記物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって前記一対の画像から一意に決まる少なくとも１つの対応点を、前記一対の画像それぞれにおける前記一対の遮蔽輪郭によって規定されるとともに前記物体の中心軸の投影像に応じた一対の二等分線上において、検出し、
前記少なくとも１つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも１つの測定点の三次元位置を算出し、
前記少なくとも１つの対応点の一方の像として前記第１の画像の二等分線上に定められる少なくとも１つの第１の像点に従い、前記少なくとも１つの像点に応じた少なくとも一本のエピポーララインを前記第２の画像に設定し、前記少なくとも一本のエピポーララインと前記第２の画像における二等分線との交点を、前記少なくとも１つの対応点の他方の像である少なくとも１つの第２の像点として定めることを特徴とする３次元情報計測処理のプログラムを格納したコンピュータ読み取り可能な記録媒体。A recording medium that stores a program for measuring three-dimensional information of an object that is a rotating body formed of a rotating curved surface around a central axis and is any of a cylinder, a right truncated cone, and a right cone ,
An image-recordable recording medium on which a pair of images obtained by capturing images of the object with two cameras from different directions so that a pair of shielding contours forming a contour image along the central axis is captured. And reading out the pair of images consisting of the first image and the second image,
At least one corresponding point that is an image of at least one measurement point representing the three-dimensional position to be obtained of the object and is uniquely determined from the pair of images is defined by the pair of shielding contours in each of the pair of images. And detecting on a pair of bisectors corresponding to the projected image of the central axis of the object,
Calculating the three-dimensional position of the at least one measurement point on the central axis of the object by applying the principle of triangulation based on the at least one corresponding point;
According to at least one first image point defined on a bisector of the first image as one image of the at least one corresponding point, at least one epipolar line corresponding to the at least one image point is The second image is set, and an intersection of the at least one epipolar line and a bisector in the second image is at least one second image that is the other image of the at least one corresponding point. A computer-readable recording medium storing a three-dimensional information measurement processing program characterized by being determined as an image point.
前記物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって前記一対の画像から一意に決まる少なくとも１つの対応点を、前記物体の中心軸の投影像に応じた一対の二等分線上において検出する対応点検出手段と、
前記少なくとも１つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも１つの測定点の三次元位置を算出する三次元情報算出手段とを備え、
前記一対の画像が第１の画像および第２の画像とからなり、前記一対の二等分線が前記第１の画像にある第１の二等分線と前記第２の画像にある第２の二等分線とからなり、また、前記少なくとも１つの対応点が前記第１の画像にある少なくとも１つの第１の像点と前記第２の画像にある少なくとも１つの第２の像点とからなり、
前記対応点検出手段が、前記少なくとも１つの第１像点に応じた少なくとも一本のエピポーララインを前記第２の画像において設定し、前記少なくとも一本のエピポーララインと前記第２の二等分線との交点となる少なくとも１つのエピポーラ交点を求め、該少なくとも１つのエピポーラ交点を前記少なくとも１つの第２の像点と定め、
映像を表示する表示装置が接続されるとともに、
前記画像読み出し手段に従って読み出された前記一対の画像を前記表示装置に表示する表示手段と、
前記表示装置に表示される前記一対の画像それぞれに対し、入力操作に従って前記一対の遮蔽輪郭それぞれの線上に指定される二対の点を指定点として定める指定点設定手段とをさらに有し、
前記対応点検出手段が、前記一対の画像それぞれの前記二対の指定点に基づいて前記少なくとも１つの対応点の位置を前記表示装置のスクリーン座標で検出することを特徴とする画像処理装置。It is obtained by imaging an object, which is a rotating body having a rotating curved surface around the central axis, with a camera having an image sensor from two different directions so that a pair of shielding contours as contour images along the central axis is captured. Image reading means for reading the pair of images from an image recordable recording medium on which the pair of images are recorded;
At least one corresponding point that is an image of at least one measurement point that represents the three-dimensional position to be obtained of the object and is uniquely determined from the pair of images is a pair of second grades corresponding to the projection image of the central axis of the object. Corresponding point detection means for detecting on the dividing line;
Three-dimensional information calculation means for calculating a three-dimensional position of the at least one measurement point on the central axis of the object by applying the principle of triangulation based on the at least one corresponding point;
The pair of images includes a first image and a second image, and the pair of bisectors are in a first bisector in the first image and a second in the second image. And at least one first image point in the first image and at least one second image point in the second image. Consists of
The corresponding point detecting means sets at least one epipolar line corresponding to the at least one first image point in the second image, and the at least one epipolar line and the second bisector. Determining at least one epipolar intersection as an intersection with the at least one epipolar intersection as the at least one second image point;
A display device that displays video is connected,
Display means for displaying the pair of images read according to the image reading means on the display device;
For each of the pair of images displayed on the display device, further comprising designated point setting means for defining, as designated points, two pairs of points designated on each line of the pair of shielding contours according to an input operation,
The image processing apparatus, wherein the corresponding point detection unit detects the position of the at least one corresponding point based on the screen coordinates of the display device based on the two pairs of designated points of each of the pair of images.
前記対応点検出手段が、アフィン変換された前記一対の画像から前記少なくとも１つの対応点を検出することを特徴とする請求項１１に記載の画像処理装置。Parallel stereo correction means for affine transforming the pair of images read by the image reading means so that the at least one corresponding point has the same coordinates;
The image processing apparatus according to claim 11, wherein the corresponding point detection unit detects the at least one corresponding point from the pair of images subjected to affine transformation.
前記対応点検出手段が、２つの対応点を検出し、
前記三次元情報算出手段が、２つの測定点を算出し、
前記径算出手段が、
前記一対の画像の一方に応じた撮影方向における前記カメラの中心を通り前記物体の中心軸に垂直なベクトルを法線ベクトルとする平面であって前記物体の中心軸が載る径算出用平面を前記２つの測定点に基いて算出し、
前記径算出用平面と前記物体の表面上にあるとともに前記２つの測定点のいずれかの点と中心軸に沿った位置が一致する端点を、該一対の画像の一方にある前記一対の遮蔽輪郭上にある像であって前記端点の像である像点に基いて算出し、
前記物体の径の長さを前記２つの測定点の一方と前記端点に基づいて算出することを特徴とする請求項１１に記載の画像処理装置。A diameter calculating means for calculating a length of the diameter of the object;
The corresponding point detecting means detects two corresponding points;
The three-dimensional information calculation means calculates two measurement points,
The diameter calculating means is
A diameter calculation plane on which a normal vector is a vector that passes through the center of the camera in a shooting direction corresponding to one of the pair of images and is perpendicular to the center axis of the object, and on which the center axis of the object is placed Calculate based on two measurement points,
The pair of shielding contours in one of the pair of images is an end point on the surface for calculating the diameter and the surface of the object, and an end point whose position along one of the two measurement points coincides with the central axis. Calculated based on the image point that is an image on the end point image,
The image processing apparatus according to claim 11, wherein the length of the diameter of the object is calculated based on one of the two measurement points and the end point.
前記物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって前記一対の画像から一意に決まる少なくとも１つの対応点を、前記物体の中心軸の投影像に応じた一対の二等分線上において検出し、
前記少なくとも１つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも１つの測定点の三次元位置を算出する３次元情報計測方法であって、
前記一対の画像が第１の画像および第２の画像とからなり、前記一対の二等分線が前記第１の画像にある第１の二等分線と前記第２の画像にある第２の二等分線とからなり、また、前記少なくとも１つの対応点が前記第１の画像にある少なくとも１つの第１の像点と前記第２の画像にある少なくとも１つの第２の像点とからなり、
前記少なくとも１つの第１像点に応じた少なくとも一本のエピポーララインを前記第２の画像において設定し、前記少なくとも一本のエピポーララインと前記第２の二等分線との交点となる少なくとも１つのエピポーラ交点を求め、該少なくとも１つのエピポーラ交点を前記少なくとも１つの第２の像点と定め、
読み出された前記一対の画像を表示装置に表示し、
前記表示装置に表示される前記一対の画像それぞれに対し、入力操作に従って前記一対の遮蔽輪郭それぞれの線上に指定される二対の点を指定点として定め、
前記一対の画像それぞれの前記二対の指定点に基づいて前記少なくとも１つの対応点の位置を前記表示装置のスクリーン座標で検出することを備えたことを特徴とする３次元情報計測方法。It is obtained by imaging an object, which is a rotating body having a rotating curved surface around the central axis, with a camera having an image sensor from two different directions so that a pair of shielding contours as contour images along the central axis is captured. Reading the pair of images from an image recordable recording medium on which the pair of images is recorded,
At least one corresponding point that is an image of at least one measurement point that represents the three-dimensional position to be obtained of the object and is uniquely determined from the pair of images is a pair of second grades corresponding to the projection image of the central axis of the object. Detect on the line,
A three-dimensional information measurement method for calculating a three-dimensional position of the at least one measurement point on the central axis of the object by applying the principle of triangulation based on the at least one corresponding point,
The pair of images includes a first image and a second image, and the pair of bisectors are in a first bisector in the first image and a second in the second image. And at least one first image point in the first image and at least one second image point in the second image. Consists of
At least one epipolar line corresponding to the at least one first image point is set in the second image, and at least one is an intersection of the at least one epipolar line and the second bisector. Determining one epipolar intersection, defining the at least one epipolar intersection as the at least one second image point;
Displaying the read pair of images on a display device;
For each of the pair of images displayed on the display device, two pairs of points designated on the lines of the pair of shielding contours according to an input operation are determined as designated points,
A three-dimensional information measuring method comprising: detecting a position of the at least one corresponding point based on screen coordinates of the display device based on the two pairs of designated points of each of the pair of images.
前記物体を該中心軸に沿った輪郭像となる一対の遮蔽輪郭が写るように異なる２方向から撮像素子を有するカメラで撮像することによって得られる一対の画像が記録された画像記録可能な記録媒体から、前記一対の画像を読み出し、
前記物体の求めるべき３次元位置を表す少なくとも１つの測定点の像であって前記一対の画像から一意に決まる少なくとも１つの対応点を、前記物体の中心軸の投影像に応じた一対の二等分線上において検出し、
前記少なくとも１つの対応点に基づき、三角測量の原理を適用することによって前記物体の中心軸上にある前記少なくとも１つの測定点の三次元位置を算出する３次元情報計測処理のプログラムを格納した記録媒体であって、
前記一対の画像が第１の画像および第２の画像とからなり、前記一対の二等分線が前記第１の画像にある第１の二等分線と前記第２の画像にある第２の二等分線とからなり、また、前記少なくとも１つの対応点が前記第１の画像にある少なくとも１つの第１の像点と前記第２の画像にある少なくとも１つの第２の像点とからなり、
前記少なくとも１つの第１像点に応じた少なくとも一本のエピポーララインを前記第２の画像において設定し、前記少なくとも一本のエピポーララインと前記第２の二等分線との交点となる少なくとも１つのエピポーラ交点を求め、該少なくとも１つのエピポーラ交点を前記少なくとも１つの第２の像点と定め、
読み出された前記一対の画像を表示装置に表示し、
前記表示装置に表示される前記一対の画像それぞれに対し、入力操作に従って前記一対の遮蔽輪郭それぞれの線上に指定される二対の点を指定点として定め、
前記一対の画像それぞれの前記二対の指定点に基づいて前記少なくとも１つの対応点の位置を前記表示装置のスクリーン座標で検出することを特徴とする３次元情報計測処理のプログラムを格納したコンピュータ読み取り可能な記録媒体。A recording medium storing a program for measuring three-dimensional information of an object which is a rotating body having a rotating curved surface formed around a central axis,
An image-recordable recording medium on which a pair of images obtained by capturing images of the object with two cameras from different directions so that a pair of shielding contours forming a contour image along the central axis is captured. From the pair of images,
At least one corresponding point that is an image of at least one measurement point that represents the three-dimensional position to be obtained of the object and is uniquely determined from the pair of images is a pair of second grades corresponding to the projection image of the central axis of the object. Detect on the line,
A record storing a three-dimensional information measurement processing program for calculating a three-dimensional position of the at least one measurement point on the central axis of the object by applying the principle of triangulation based on the at least one corresponding point A medium,
The pair of images includes a first image and a second image, and the pair of bisectors are in a first bisector in the first image and a second in the second image. And at least one first image point in the first image and at least one second image point in the second image. Consists of
At least one epipolar line corresponding to the at least one first image point is set in the second image, and at least one is an intersection of the at least one epipolar line and the second bisector. Determining one epipolar intersection, defining the at least one epipolar intersection as the at least one second image point;
Displaying the read pair of images on a display device;
For each of the pair of images displayed on the display device, two pairs of points designated on the lines of the pair of shielding contours according to an input operation are determined as designated points,
A computer-readable program storing a three-dimensional information measurement processing program, wherein the position of the at least one corresponding point is detected by the screen coordinates of the display device based on the two pairs of designated points of each of the pair of images. Possible recording media.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001214813A JP3842988B2 (en) | 2000-07-19 | 2001-07-16 | Image processing apparatus for measuring three-dimensional information of an object by binocular stereoscopic vision, and a method for recording the same, or a recording medium recording the measurement program |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000218608 | 2000-07-19 | ||
| JP2000-218608 | 2000-07-19 | ||
| JP2001214813A JP3842988B2 (en) | 2000-07-19 | 2001-07-16 | Image processing apparatus for measuring three-dimensional information of an object by binocular stereoscopic vision, and a method for recording the same, or a recording medium recording the measurement program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002099902A JP2002099902A (en) | 2002-04-05 |
| JP3842988B2 true JP3842988B2 (en) | 2006-11-08 |
Family
ID=26596292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001214813A Expired - Fee Related JP3842988B2 (en) | 2000-07-19 | 2001-07-16 | Image processing apparatus for measuring three-dimensional information of an object by binocular stereoscopic vision, and a method for recording the same, or a recording medium recording the measurement program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3842988B2 (en) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4788475B2 (en) * | 2005-06-17 | 2011-10-05 | オムロン株式会社 | Image processing apparatus and image processing method |
| JP4774824B2 (en) | 2005-06-17 | 2011-09-14 | オムロン株式会社 | Method for confirming measurement target range in three-dimensional measurement processing, method for setting measurement target range, and apparatus for performing each method |
| CN100417914C (en) * | 2005-06-17 | 2008-09-10 | 欧姆龙株式会社 | Image processing apparatus |
| KR100785594B1 (en) | 2005-06-17 | 2007-12-13 | 오므론 가부시키가이샤 | Image process apparatus |
| US8571303B2 (en) | 2008-11-25 | 2013-10-29 | Nec System Technologies, Ltd. | Stereo matching processing system, stereo matching processing method and recording medium |
| JP5311465B2 (en) * | 2008-11-25 | 2013-10-09 | Ｎｅｃシステムテクノロジー株式会社 | Stereo matching processing system, stereo matching processing method, and program |
| JP5416489B2 (en) * | 2009-06-17 | 2014-02-12 | 日本電信電話株式会社 | 3D fingertip position detection method, 3D fingertip position detection device, and program |
| KR101658578B1 (en) * | 2010-01-27 | 2016-09-22 | 삼성전자주식회사 | Apparatus and Method for calibration of composite sensor |
| JP5480669B2 (en) * | 2010-03-01 | 2014-04-23 | 協和界面科学株式会社 | Image processing apparatus for contact angle meter and method for deriving outline shape of liquid droplet in plan view |
| JP6062217B2 (en) * | 2012-11-11 | 2017-01-18 | 鹿島建設株式会社 | Particle size measuring method, system and program for accumulated granular material |
| JP6065670B2 (en) * | 2013-03-13 | 2017-01-25 | 株式会社リコー | Three-dimensional measurement system, program and method. |
| JP7264747B2 (en) | 2019-06-27 | 2023-04-25 | 株式会社クボタ | Bending angle calculation method and calculation device |
| CN113074633B (en) * | 2021-03-22 | 2023-01-31 | 西安工业大学 | Automatic detection system and detection method for overall dimension of material |
-
2001
- 2001-07-16 JP JP2001214813A patent/JP3842988B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002099902A (en) | 2002-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10825198B2 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
| JP4889351B2 (en) | Image processing apparatus and processing method thereof | |
| JP5027747B2 (en) | POSITION MEASUREMENT METHOD, POSITION MEASUREMENT DEVICE, AND PROGRAM | |
| JP5832341B2 (en) | Movie processing apparatus, movie processing method, and movie processing program | |
| US6539330B2 (en) | Method and apparatus for measuring 3-D information | |
| JP5362189B2 (en) | Image processing apparatus and processing method thereof | |
| JP4961628B2 (en) | Projected image correction system and method | |
| JP3859574B2 (en) | 3D visual sensor | |
| JP5027746B2 (en) | POSITION MEASUREMENT METHOD, POSITION MEASUREMENT DEVICE, AND PROGRAM | |
| WO2010001940A1 (en) | Position measurement method, position measurement device, and program | |
| JP5715735B2 (en) | Three-dimensional measurement method, apparatus and system, and image processing apparatus | |
| US20110249117A1 (en) | Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program | |
| JP4619962B2 (en) | Road marking measurement system, white line model measurement system, and white line model measurement device | |
| JP3842988B2 (en) | Image processing apparatus for measuring three-dimensional information of an object by binocular stereoscopic vision, and a method for recording the same, or a recording medium recording the measurement program | |
| JP2009017480A (en) | Camera calibration device and program thereof | |
| KR102129206B1 (en) | 3 Dimensional Coordinates Calculating Apparatus and 3 Dimensional Coordinates Calculating Method Using Photo Images | |
| CN110490943B (en) | Rapid and accurate calibration method and system of 4D holographic capture system and storage medium | |
| CN116188558B (en) | Stereo photogrammetry method based on binocular vision | |
| JP2008309595A (en) | Object recognizing device and program used for it | |
| JP3696336B2 (en) | How to calibrate the camera | |
| WO2019087253A1 (en) | Stereo camera calibration method | |
| JP3221384B2 (en) | 3D coordinate measuring device | |
| JP2006317418A (en) | Image measuring device, image measurement method, measurement processing program, and recording medium | |
| JPH0875454A (en) | Range finding device | |
| JP3912638B2 (en) | 3D image processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060405 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060525 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060811 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |