JP3867955B2 - 積載物の体積計測方法及び装置 - Google Patents
積載物の体積計測方法及び装置 Download PDFInfo
- Publication number
- JP3867955B2 JP3867955B2 JP2001221669A JP2001221669A JP3867955B2 JP 3867955 B2 JP3867955 B2 JP 3867955B2 JP 2001221669 A JP2001221669 A JP 2001221669A JP 2001221669 A JP2001221669 A JP 2001221669A JP 3867955 B2 JP3867955 B2 JP 3867955B2
- Authority
- JP
- Japan
- Prior art keywords
- transporter
- pair
- load
- image
- volume
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
【発明の属する技術分野】
本発明は積載物の体積計測方法及び装置に関し、とくに走行する上端開放搬送器上に積載した土砂や掘削ズリ、廃棄物等の積載物の体積を計測する方法及び装置に関する。
【0002】
【従来の技術】
従来、ダンプトラックの荷台(以下、ベッセルということがある。)等の積載土砂の体積(以下、土量ということがある。)を計測するため、図8に示すように、非接触式距離計(超音波距離計、光波距離計、レーザ距離計等)を用いた土量計測方法が提案されている。同図では、例えばダンプトラック等の通路の上方に複数の非接触式距離計38を通路走行方向と交差する方向に一列又は複数列に並べて配置し、トラックを一定速度で移動させながら各距離計38によりベッセル2の積載土砂1の表面までの距離を計測する。各距離計38の位置と各距離計38による計測距離とトラックの移動量とから積載土砂表面の複数点の三次元座標を計測し、積載土砂1の表面の三次元形状を求める。求めた積載土砂1の表面の三次元形状とベッセル2の積載面(内面)形状とから、土量を算出することができる。図9に示すように、単独の揺動式の非接触式距離計38を通路の上方に設け、非接触式距離計38を扇状に揺動させながら積載土砂1の表面上を通路走行方向と交差する方向に線状に走査し、積載土砂1の表面上の複数点の三次元位置を計測する方法もある。
【0003】
しかし、図8及び9に示す方法は、積載土砂1の荷重によりベッセル2が沈み込んだり揺動したりする場合に、積載土砂1表面の形状とベッセル2内面の形状との位置合わせが難しい問題点がある。積載土砂1表面の形状とベッセル2内面の形状との位置合わせに誤差があると、精確な土量の算出が難しくなる。また、非接触式距離計38の相互干渉等や非接触式距離計38の配置間隔の粗さも土量の算出精度を下げる原因となる。精度向上のために非接触式距離計38の配置間隔を狭くして計測点数を増やす方法も考えられるが、この方法では距離計38の設置台数を増やす必要あるだけでなくベッセルの移動速度を遅くする必要があり、費用の面で高コストとなり計測時間もかかる。
【0004】
非接触式距離計38を用いた土量計測方法に対し、本発明者等は、ステレオ写真測量技術を用いて面的に積載土砂表面の三次元形状及び土量を計測する方法を開発し、特開2000-304511公報に開示した。図10を参照するに、同公報の土量計測方法は、三次元形状が既知の上端開放搬送器42内に土41を積載し、下向き三次元画像計測装置45により搬送器42の上端縁43a及び積載土41の表面の三次元座標を計測し、上端縁43aの三次元座標から搬送器42の形状の三次元座標を定め、積載土41の表面の三次元座標と搬送器42の形状の三次元座標とから土41の容積を算出するものである。図示例の三次元画像計測装置45は、例えばCCDカメラ装置である一対のステレオ式撮像機52R、52Lと、格子状に組み合わせた可視スリット光の群(以下、メッシュ光という。)を投光する投光器50と、撮像機52R、52Lによる一対の二次元画像から三次元座標を算出する座標算出手段55とを有し、三次元画像計測法の一例であるステレオ画像法(以下、ステレオ測量ということがある。)に基づき計測対象の三次元座標を計測するものである。
【0005】
ステレオ測量とは、異なる位置に設けた一対の撮像機52R、52Lにより計測対象を異なる向きから撮影し、2枚の写真の重畳部分における対象の像の二次元座標(像に対応する水平画素及び垂直画素の画像上での位置座標をいう。以下同じ。)からステレオ変換パラメータに基づく画像解析により対象の三次元座標及び/又は三次元形状を求める画像計測法である。ステレオ測量によれば、画像解析には数分程度の時間を要するが撮影は瞬時に完了するため、土量を短時間で計測することができる。また、必要機材として少なくとも2台の撮像機52R、52Lと画像解析用のコンピュータ等があれば足りるため、システムの低コスト化を図ることができる。しかも図10の計測方法によれば、積載土41の表面形状と搬送器42の内面形状とを精確に位置合わせすることができ、搬送器42が沈み込んだり揺動した場合でも積載土量の精確な計測が可能である。
【0006】
【発明が解決しようとする課題】
しかし、図10の土量計測方法においても、トラック等の走行に伴う振動等によって撮像機52R、52Lの位置や向きが変動し得る問題点がある。前述したステレオ変換パラメータには、カメラの撮影位置及び向き(以下、外部パラメータということがある。)が含まれる。カメラの位置や向きが変動しなければ、計測開始当初のステレオ変換パラメータを用いてステレオ測量を継続することができる。しかし、カメラの位置や向きが変動し得る環境下では、当初の変換パラメータを用いてステレオ測量を継続すると、計測精度が低下するおそれがある。
【0007】
そこで本発明の目的は、振動等が生じる環境下でも精確な計測が維持できる積載物の体積計測方法及び装置を提供することにある。
【0008】
【課題を解決するための手段】
図1のシステムブロック図、及び図2、3の流れ図を参照するに、本発明の積載物の体積計測方法は、既知三次元形状31(図7(A)参照)の積載面3を有する上端開放搬送器2が走行する通路5の上方にステレオ式撮像機対10a、10bを下向きに支持し、撮像機対10a、10bの視野重畳域全域に分散した複数の既知位置に視標7を固定し、撮像機下方に搬送器2が無い時に撮像機対10a、10bによるステレオ画像対IgL0、IgR0(図4参照)上の各視標7の像の二次元座標と各視標7の既知位置とから撮像機対10a、10bの位置及び向きを標定し、撮像機下方の搬送器2の通過時に撮像機対10a、10bによる搬送器2のステレオ画像対IgL、IgR(図5参照)上の各点の二次元座標と前記標定した撮像機対10a、10bの位置及び向きとから搬送器2の積載面端縁4の三次元座標とその内側の積載物1表面の三次元形状32(図7(B)参照)とを検出し、積載面端縁4の三次元座標に位置合わせした前記積載面3の既知三次元形状31と前記積載物1表面の三次元形状32とから積載物1の体積を算出してなるものである。
【0009】
好ましくは、搬送器2の通過時と次回の通過までの間とに前記積載物1表面の三次元形状32の検出と前記撮像機対10a、10bの位置及び向きの標定とを交互に繰り返す。すなわち、撮像機対10a、10bによるステレオ測量と撮像機対10a、10bの外部パラメータの標定とを交互に繰り返す。
【0010】
また、撮像機対10a、10bの外部パラメータの標定は、撮像機対10a、10bの位置又は向きがズレた(変動した)場合にのみ行うこととしてもよい。例えば、搬送器2の通過時にステレオ画像対IgL、IgR上の搬送器2に重ならない視標7の像の二次元座標と前記標定した撮像機対10a、10bの位置及び向きとから該視標7の三次元座標と既知位置との偏差を検出し、最大許容値以上の偏差が検出されたときは次回の通過までの間に撮像機対10a、10bの位置及び向きを標定し直す。この場合、撮像機対10a、10bの位置や向きのズレ(変動)を、視標7の三次元座標と既知位置との偏差から判断している。
【0011】
撮像機対10a、10bの位置又は向きのズレは、視標7の三次元座標と既知位置との偏差に代えて、標定時におけるステレオ画像対IgL0、IgR0上の視標像の二次元座標と搬送器2の通過時におけるステレオ画像対IgL、IgR上の視標像の二次元座標との偏差から判断することができる。すなわち、標定時にステレオ画像対IgL0、IgR0上の各視標7の像の二次元座標を記憶し、搬送器2の通過時にステレオ画像対IgL、IgR上の搬送器2に重ならない視標7の像の二次元座標と前記標定時の二次元座標との偏差を検出し、最大許容値以上の偏差が検出されたときは次回の通過までの間に撮像機対10a、10bの位置及び向きを標定し直す。
【0012】
また図1のシステムブロック図を参照するに、本発明の積載物の体積計測装置は、上端開放搬送器2が走行する通路5の上方に下向きに支持したステレオ式撮像機対10a、10b;撮像機対10a、10bの視野重畳域全域に分散した複数の位置に固定した視標7;搬送器2の撮像機下方通過を検知する検知手段11;搬送器2の積載面3の三次元形状31(図7(A)参照)と視標7の固定位置とを記憶した記憶手段15;撮像機対10a、10bによる通路5のステレオ画像対IgL0、IgR0(図4参照)を入力し、該画像対IgL0、IgR0上の各視標7の像の二次元座標と各視標7の固定位置とから撮像機対10a、10bの位置及び向きを標定する標定手段19;撮像機対10a、10bによる搬送器2のステレオ画像対IgL、IgR(図5参照)を入力し、該画像対IgL、IgR上の各点の二次元座標と前記標定した撮像機対10a、10bの位置及び向きとから積載面端縁4の三次元座標とその内側の積載物1表面の三次元形状32(図7(B)参照)とを検出する画像解析手段20;検出した積載面端縁4の三次元座標へ位置合わせした前記積載面3の既知三次元形状31と前記積載物1表面の三次元形状32とから積載物1の体積を算出する体積算出手段26;並びに検知手段11に接続され且つ搬送器2の通過時又は次回の通過までの間に画像解析手段20又は標定手段19を起動する制御手段18を備えてなるものである。
【0013】
好ましくは、制御手段18により、搬送器2の通過時と次回の通過までの間とに画像解析手段20と標定手段19とを交互に起動し、撮像機対10a、10bによるステレオ測量と撮像機対10a、10bの外部パラメータの標定とを交互に繰り返す。
【0014】
また、解析手段20に、ステレオ画像対IgL、IgR上の搬送器2に重ならない視標7の像の二次元座標と前記標定した撮像機対10a、10bの位置及び向きとから該視標7の三次元座標と前記既知位置との偏差を検出し且つ最大許容値以上の偏差が検出された時に制御手段18に対して標定手段19の起動を指示する標定指示手段22を設け、撮像機対10a、10bの位置又は向きがズレた(変動した)場合にのみ撮像機対10a、10bの外部パラメータの標定を行うこととしてもよい。
【0015】
標定手段19によりステレオ画像対IgL0、IgR0上の各視標7の像の標定時の二次元座標を記憶手段15に記憶し、解析手段20に、ステレオ画像対IgL、IgR上の搬送器2に重ならない視標7の像の二次元座標と前記標定時の二次元座標との偏差を検出し且つ最大許容値以上の偏差の検出時に制御手段18に対して標定手段19の起動を指示する標定指示手段22を設け、標定時における視標像の二次元座標と搬送器2の通過時における視標像の二次元座標との偏差から撮像機対10a、10bの位置又は向きのズレを判断してもよい。
【0016】
【発明の実施の形態】
図1は本発明の計測装置のシステムブロック図の一例を示す。図示例は、トラック等の車両のベッセルを上端開放搬送器2とし、ベッセル上に積載した土量を計測する実施例を示す。但し、搬送器2はトラックベッセルに限定されず、上端開放のものであれば足りる。また、積載物も土砂に限定されない。例えば、土石や掘削ズリ、廃棄物等を運搬する水上の運搬船等に対して本発明を適用し、船の荷台の積載物の体積を計測することができる。
【0017】
図1に示すように、本発明の計測装置は、上端開放搬送器2が走行する通路5の上方に支持した一対のステレオ式撮像機対10a、10bを有する。図示例では、通路5を跨ぐ一対の門型部材8a、8aとそれらの頂端間を連結する梁部材8bとを有する支持枠8の頂部に撮像機対10a、10bを下向きに取り付けているが、撮像機対10a、10bの支持方法は図示例に限定されない。撮像機10の一例はCCDカメラ等のデジタルカメラであるが、従来の光学フィルム式カメラを用いることも可能であり、その場合は撮像機10の出力端にフィルム画像をデジタルデータに変換するスキャナー等を設ける。撮像機対10a、10bの支持位置は、両撮像機対10a、10bの重複範囲(重畳域)に搬送器2の積載面3全体が収まるように検討のうえ決定することができる。撮像機10は少なくとも2台必要であるが、積載面3が広い場合や測定精度向上を図る場合は3台以上の撮像機10を使用してもよい。
【0018】
搬送器2の積載面3の三次元形状31は予め計測し、後述する記憶手段15に記憶する。例えば、積載面3の三次元形状31をCAD等で作成した搬送器2の三次元設計データや後述するデジタル標高モデルによるデータ、又はデジタル標高モデル等が作成できる内寸形状等の数値データとして記憶することができる。また、積載前の搬送器2を撮像機対10a、10bの下方に位置付け、撮像機対10a、10bによるステレオ画像対から積載面3の三次元形状31を求めてもよい。積載面3の三次元形状31の一例を図7(A)に示す。複数種類の搬送器2を用いる場合は、搬送器2の種類別に積載面3の三次元形状31を記憶手段15にデータベースとして記憶しておくことができる。記憶手段15に記憶した積載面3の三次元形状31は、後述する積載物1の体積の算出に使用する。
【0019】
支持枠8には、搬送器2による撮像機対10a、10bの下方の通過を検知するための検知手段11を取り付ける。図示例の検知手段11は、撮像機対10a、10bの視野重畳域内、好ましくは視野重畳域の中心に搬送器2が到達したときに、搬送器2の通過又は進入を検知するものである。検知手段11としては、例えば一対の透過型/反射型光電センサ、超音波センサ、近接センサ等を使用することができる。例えば透過型光電センサを用いる場合は、通路5を介して発光器と受光器とを対向させて配置し、発光器から受光器へ向けて赤外光を飛ばして受光器に常時受光させ、受光器の受光遮断により搬送器2の通過を検知する。
【0020】
また、撮像機対10a、10bの下方の通路5上には、図4に示すように、撮像機対10a、10bの位置及び向きの標定(以下、外部パラメータの標定、又は単に外部標定ということがある。)に使用する視標7を撮像機対10a、10bの視野重畳域(図4に示す右斜線の視野と左斜線の視野とが重なる領域)の全域に分散させて固定する。外部パラメータの標定に際しては、視野重畳域の全域に分散した視標7を用いることが好ましい。通路5上に視標7を分散して固定することにより、視野重畳域の全域に視標7が分散した外部標定用画像を適宜撮影することができる。
【0021】
外部パラメータの標定のためには、同一直線状に位置せず且つその三次元座標を別途測量等により高精度に求めて後述する記憶手段15に記憶した3点以上の点、及びそれらを含む5点以上の視標7を固定する必要がある。
【0022】
更に図示例の計測装置は、記憶手段15、標定手段19、画像解析手段20、体積算出手段26、及び画像解析手段20又は標定手段19を起動する制御手段18を備えたコンピュータ14を有する。記憶手段15の一例は、コンピュータ14に設けたメモリ又は外部記憶装置である。標定手段19の一例は、撮像機対10a、10bによる通路5のステレオ画像対IgL0、IgR0(図4参照)を入力し、画像対IgL0、IgR0上の各視標7の像の二次元座標と各視標7の固定位置とから撮像機対10a、10bの外部パラメータを標定するコンピュータ14内蔵のプログラムである。また、画像解析手段20の一例は、撮像機対10a、10bによる搬送器2のステレオ画像対IgL、IgR(図5参照)を入力し、画像対IgL、IgR上の各点の二次元座標と前記標定した外部パラメータとから搬送器2の積載面端縁4の三次元座標と積載物1表面の三次元形状32とを検出するコンピュータ14内蔵のプログラムである。また、体積算出手段26及び制御手段18の一例もコンピュータ14に内蔵のプログラムである。
【0023】
図示例の画像解析手段20は三次元形状検出手段24を有する。三次元形状検出手段24は、例えばステレオ画像対IgL、IgRから一方の画像IgL上の各画素と対応する他方の画像IgR上の画素をテンプレートマッチング等のステレオマッチング画像処理技術により検出し、対応する画素対の二次元座標と撮像機対10a、10bの内部及び外部パラメータとから当該画素の三次元座標を算出し、ステレオ画像対IgL、IgR上の各画素に対応する三次元座標から撮影対象物のデジタル標高モデル(Digital Elevation Model。以下、DEMということがある。)を作成する。このように適当なステレオマッチング画像処理技術を用いてステレオ画像対IgL、IgRから撮影対象物のDEMを作成するプログラムは従来技術に属する。
【0024】
但し、DEM作成時間の短縮のため、また不必要なデータによるDEM精度の低下を防止するため、画像全体から実際に必要な範囲を限定してDEMを作成することが望ましい。図1の実施例では、搬送器2の積載面3(図6(B)参照)の範囲に限定してDEMを作成すれば足りるものの、搬送器2が常に同じ位置を走行するとは限らないので、計測の都度、搬送器2の走行位置に合わせて積載面3の位置や傾き等を認識してDEMの作成範囲を設定する必要がある。図示例の画像解析手段20はステレオ画像対IgL、IgRから積載面3の端縁4(図6(B)参照)を認識する端縁認識手段21を有し、端縁認識手段21により認識された積載面端縁4によってDEM解析範囲を画定している。
【0025】
図2は、図1のコンピュータ14による処理の流れ図の一例を示す。以下、図2を参照して、本発明による積載物の体積計測方法を説明する。先ずステップ201において、計測前に撮像機対10a、10bの内部パラメータを標定する。例えば、撮像機対10a、10bにより専用の標定治具を撮影し、その画像を解析することにより内部パラメータの標定を行う。また、計測中に撮像機対10a、10bの内部パラメータが変化しないように、例えばレンズを固定することが望ましい。内部パラメータの標定は、撮像機対10a、10bを通路5の上方に支持する前又は後に行うことができる。
【0026】
ステップ202において、例えばコンピュータ14の制御手段18が検知手段11の出力信号がないことから通過の間であると判断し、通路5の上方に支持した撮像機対10a、10bに対して撮影を指示し、例えば図4に示すような視野重畳域全域に視標7が分散した外部標定用のステレオ画像対IgL0、IgR0を撮影する。撮影した外部標定用の画像対IgL0、IgR0はコンピュータ14へ入力される。ステップ203において制御手段18により標定手段19が起動され、入力された画像対IgL0、IgR0に基づき標定手段19が撮像機対10a、10bの外部パラメータを標定する。外部パラメータの標定により撮像機対10a、10bの位置と向きとが求まる。
【0027】
ステップ202及び203は、搬送器2が撮像機対10a、10bの下方にない時に、制御手段18を自動又は手動で起動して行うことができる。搬送器2が撮像機対10a、10bの撮影範囲内にある場合は、視標7の少なくとも一部分が搬送器2により隠されてしまうため、搬送器2の通過時の画像から外部パラメータの精確な標定を行うことは困難である。本発明は、搬送器2が撮像機対10a、10bの下方にないことを条件として外部標定用画像の撮影を随時可能とすることにより、撮像機対10a、10bによるステレオ測量を中断することなく、撮像機対10a、10bの外部パラメータの適宜な修正を可能としたものである。
【0028】
ステップ204において検知手段11により撮像機対10a、10b下方の搬送器2の通過を検知し、通過を検知した場合はステップ205において撮像機対10a、10bに対して同時撮影を指示し、図5に示すような搬送器2のステレオ画像対IgL、IgRを撮影する。撮影した画像対IgL、IgRはコンピュータ14へ入力される。図1のブロック図では、検知手段11の出力信号をコンピュータ14の制御手段18に入力し、制御手段18が2台の撮像機対10a、10bに対してそれぞれ同時撮影を指示している。但し、検知手段11の出力信号を分岐させて撮像機対10a、10bに直接入力することにより撮影指示信号としてもよい。撮像機対10a、10bによる撮影は、搬送器2が走行中に可能であるが、搬送器2を停止させた上で行ってもよい。走行中に撮影を行う場合は、走行時の搬送器2の揺れの影響を少なくするため、撮像機対10a、10bのシャッター速度を速くすることが望ましい。また撮影のため、適宜照明を設置することができる。
【0029】
ステップ206において、制御手段18により画像解析手段20が起動され、コンピュータ14に入力された画像対IgL、IgRを画像解析手段20により処理する。画像解析手段20では、先ず端縁認識手段21が画像対IgL、IgRから例えば通路5と搬送器2及び積載面3との彩度や明度の違いを利用して積載面端縁4を認識し、次に端縁の位置関係(例えば、端縁として抽出された直線同士の交点)から画像対IgL、IgRにおける積載面端縁4の基準部位30の二次元座標を検出する(図5参照)。
【0030】
また、図5の実施例に示すように、搬送器2の積載面端縁4の基準部位30に座標検出用視標28を取り付けた上でステレオ画像対IgL、IgRを撮影し、端縁認識手段21が画像対IgL、IgRから例えばテンプレートマッチング等の画像処理により座標検出用視標28の像を抽出することにより積載面端縁4を認識し、積載面端縁4の基準部位30の二次元座標を検出することも可能である。基準部位30の二次元座標は、ステップ207におけるDEM作成処理において三次元座標に変換され、搬送器2上の積載物1の範囲を限定するために使用する。また、ステップ209における積載面3の既知三次元形状31と積載物1表面の三次元形状32との位置合わせに使用する。
【0031】
なお、搬送器2が複数種類ある場合は画像解析手段20に搬送器識別手段23(図1参照)を設け、ステップ206において搬送器識別手段23により搬送器2の種類を識別することができる。搬送器識別手段23は、例えば端縁認識手段21により認識された積載面端縁4の形状から積載面サイズ等を算出し、積載面サイズ等から搬送器2の種類を識別する。また、図5の実施例に示すように、各搬送器2にIDを付すと共に搬送器2の積載面3の外にID付き視標29を上向きに取り付け、搬送器識別手段23が画像対IgL、IgR上のID付き視標29の像から搬送器IDすなわち搬送器2を識別することも可能である。この場合は、コンピュータ14の記憶手段15に積載面3の三次元形状31を搬送器の種類別又は搬送器ID別に記憶し、ステップ208において識別手段23により識別された搬送器2の種類に応じた積載面3の三次元形状31を呼び出して、ステップ209における積載物1の体積算出に使用する。但し、単一種類の搬送器2を用いる場合は、ステップ208は不要である。
【0032】
従来からナンバープレート等を利用してトラック等の搬送器2を識別する方法は提案されているが、土木工事現場等ではナンバープレートが泥等の付着により視認困難になることがある。また撮影機材を別途用意する必要もあり、ハードウェア構成が複雑になる。本発明では、積載面端縁4の形状や泥等が付着し難い部位に取付けたID付き視標29を用いて搬送器2を識別することができるので、土木工事現場においても識別困難となるおそれが小さい。また、計測用の撮像機対10a、10bを用いて搬送器2を識別できるので、識別用の特別の装置等を必要としない。
【0033】
ステップ207は、端縁認識手段21により認識された積載面端縁4に基づき、その内側の積載物1の表面の三次元形状32(DEM)を検出する処理を示す。図6はステップ207における処理の一例を示し、同図(A)は座標検出用視標28を取り付けた積載面端縁4の基準部位30の内側に限定して積載物1の表面のDEMを作成することを示す。図示例のように積載面端縁4の範囲よりもDEM作成範囲が狭い場合は、同図(B)に示すように、DEM作成範囲の外周縁と積載面端縁4との間に例えば次の方法で標高データを外挿することにより積載物1の表面の三次元形状32を作成する。例えば積載面端縁4の標高よりもDEM作成範囲の外周縁の標高が低い場合は、その外周縁の標高を外挿する。また、積載面端縁4の標高よりもDEM作成範囲の外周縁の標高が高い場合は、外周縁と積載面端縁4とを結ぶ斜面を外挿する。但し、外挿方法はこの例に限定されない。図7(B)は、ステップ207において検出された積載物1の表面の三次元形状32(DEM)の一例を示す。なお、ステップ207において積載面端縁4の基準部位30の三次元座標が求まる。
【0034】
ステップ209において、体積算出手段26により、ステップ208で呼び出した積載面3の三次元形状31(図7(A)参照)を、ステップ207で求めた積載面端縁4の基準部位30へ位置合わせすることにより、積載物1の表面の三次元形状32と重ね合わせる(同図(C)参照)。同図(A)に示すように、積載面3の三次元形状31のデータには積載面端縁4の基準部位30の相対三次元座標データを含めることができ、基準部位30の相対三次元座標データをステップ207で求めた基準部位30の三次元座標と一致させることにより、積載面3の三次元形状31と積載物表面の三次元形状32とを容易に且つ精確に位置合わせすることができる。両者を位置合わせした後、所定平面に対する両者の標高差と単位面積とを乗じた値を積載物1の全体について積分する方法(柱状法又は点高法)により、積載物1の体積を算出することができる。
【0035】
ステップ209で積載物1の体積を算出した後、図2の流れ図ではステップ202へ戻り、後続の搬送器2に対してステップ202〜209を繰り返す。この流れ図によれば、搬送器2の通過の間における撮像機対10a、10bの外部パラメータの標定と、搬送器2の通過時における積載物1表面の三次元形状32の検出及び積載物1の体積算出とを交互に繰り返すことができるので、搬送器2の走行に伴う振動等によって撮像機対10a、10bの位置や向きが変動した場合であっても、次回の体積算出時までに撮像機対10a、10bの外部パラメータを修正(再標定)することができ、三次元形状又は体積の高精度の算出を維持できる。
【0036】
また本発明によれば、画像全体から必要な範囲を限定して積載物表面の三次元形状32を検出できるので、不必要なデータによる検出精度の低下を防止して、走行する搬送器2上の積載物体積を迅速且つ高精度に算出できる。積載物体積の高精度算出により、例えば土量等に関する管理レベルの向上を図ることができる。更に、搬送器2が複数種類ある場合でも、積載面端縁4の形状等から搬送器2を識別して搬送器2毎の積載物体積を精確に求めることができ、積載物の自動計測による施工管理の簡易化、コスト低減等への寄与も期待できる。
【0037】
こうして本発明の目的である「振動等が生じる環境下でも精確な計測が維持できる積載物の体積計測方法及び装置」の提供が達成できる。
【0038】
ステップ207において検出されたDEMデータや積載面端縁4の基準部位30の三次元座標は、例えば図1に示す出力装置16に出力して他の用途等に供することができる。また、ステップ209において、計測日時、積載物の体積、ダンプ・ベッセル等の搬送器の種別、撮影写真等を必要に応じ組み合わせて帳票を作成し、出力装置16に出力することができる。更に、必要に応じて積載物1の体積を累積し、施工総合管理等に利用することができる。
【0039】
【実施例】
図3は、図1のコンピュータ14における処理の他の一例の流れ図を示す。同流れ図では、撮像機対10a、10bによるステレオ測量と撮像機対10a、10bの外部パラメータの標定とを交互に繰り返す方法(常時標定型)に代えて、撮像機対10a、10bの位置又は向きがズレた場合にのみ撮像機対10a、10bの外部パラメータの標定を行う方法(常時チェック型)を示す。図2に示す常時標定型の方が精度の面において確実であるが、搬送器2の通過の前後に標定用画像の撮影を行う時間を確保するのが困難である場合や、カメラ取付位置・向きのズレが比較的起こり難いので標定に要する時間をできるだけ節約したい場合には、図3に示す常時チェック型が有利である。
【0040】
常時標定型では撮像機対10a、10bの位置や向きのズレを確認する必要はないが、常時チェック型では、画像解析手段20に標定指示手段22を設け、標定指示手段22において、搬送器2の通過時に撮像機対10a、10bによるステレオ画像対IgL、IgR上の搬送器2に重ならない視標(以下、非重畳視標という。)7の像を用いて、撮像機対10a、10bの位置又は向きのズレをチェックする。すなわち、図3のステップ306において、搬送器2の通過時の画像対IgL、IgR上からテンプレートマッチング等の画像処理により非重畳視標7の二次元座標を抽出し、抽出した二次元座標と撮像機対10a、10bの外部パラメータとにより非重畳視標7の三次元座標を検出し、検出した三次元座標と当該視標7の既知位置との偏差を算出する。
【0041】
撮像機対10a、10bの位置や向きが変動した場合は、非重畳視標7の画像対IgL、IgR上における二次元座標及び検出された三次元座標もズレるので、前記既知位置との偏差は撮像機対10a、10bの位置や向きの変動の関数であるといえる。偏差が許容範囲内である場合は、外部パラメータの再標定を行わずに図3のステップ304〜309を繰り返す。最大許容値以上の偏差が検出された場合は標定指示手段22が制御手段18に対して標定手段19の起動(ステップ302、303の起動)を指示し、次回の搬送器の通過までの間に撮像機対10a、10bにより外部標定用の画像対IgL0、IgR0を撮影し(ステップ302)、標定手段19により撮像機対10a、10bの外部パラメータを標定し直す(ステップ303)。
【0042】
なお、ステップ306において、通過時におけるステレオ画像対IgL、IgR上の視標像の二次元座標とステップ303の標定時におけるステレオ画像対IgL0、IgR0上の視標像の二次元座標との偏差から、撮像機対10a、10bの位置又は向きのズレを簡易に判断することができる。すなわち、ステップ303においてステレオ画像対IgL0、IgR0上の各視標7の像の二次元座標を標定手段19によって記憶手段15に記憶し、ステップ306において、画像解析手段20の標定指示手段22により、搬送器2の通過時の画像対IgL、IgR上における非重畳視標7の二次元座標と該非重畳視標7の標定時における画像対IgL0、IgR0上の二次元座標との偏差を算出する。最大許容値以上の偏差が検出されたときは、標定指示手段22が制御手段18に対して標定手段19の起動(ステップ302、303の起動)を指示し、次回の通過までの間に撮像機対10a、10bの外部パラメータを標定し直す。
【0043】
図3の流れ図によれば、不必要な外部パラメータの標定作業を避け、体積計測の迅速化を図ることが期待できる。なお、図3のステップ301〜305、307〜309における各処理内容は、図2のステップ201〜205、207〜209における処理とそれぞれ同様のものである。
【0044】
[実験例1]
図1の構成の計測装置を用い、図2又は3の流れ図に従ってトラック・ベッセル上の土量を算出する実験を行った。本実験では、全長11m×高さ9m×幅6m、門型開口部高さ4.3mの支持枠8を使用し、支持枠8の頂部に取付けた2000×1312画素のデジタルカメラ2台(焦点距離18mm)により、全長4.4m×全幅3.3m×高さ2.6mのベッセル上の土量を計測した。
【0045】
本発明装置の計測精度を評価するための比較対照となる適当な方法がないため、撮像機10の標定精度、DEMの形状精度、及び土量算出値の安定性から本発明の計測精度を評価した。先ず撮像機10の標定精度として、通路5に固定した各視標7についてステップ203又はステップ303で標定した撮像機10の三次元座標(計測値)と測量等により求めた撮像機10の三次元座標(真値)との比較の結果、標定結果の計測値と真値との最大誤差は水平方向3.0mm、垂直方向7.3mm程度であり、誤差の標準偏差は水平方向1.2mm、垂直方向3.3mm程度であり、本発明による標定結果は真値と高い精度で一致することが確認できた。また、ステップ207又はステップ307で求めた積載物表面のDEM形状とその積載物表面をRTK-GPSで実際に測量した三次元座標とを比較した結果、同一測定点における垂直精度は、最大誤差30mm、標準偏差12mmであった。さらに、同一の積載物の体積を本発明の計測方法で10回計測したところ、計測体積の標準偏差は平均値の約0.4%であり、十分に安定した算出値が得られることが確認できた。
【0046】
【発明の効果】
以上説明したように、本発明の積載物の体積計測方法及び装置は、既知三次元形状の積載面を有する上端開放搬送器が走行する通路上方にステレオ式撮像機対を下向きに支持し、撮像機対の視野重畳域全域に分散した複数の既知位置に視標を固定し、撮像機下方に搬送器が無い時に撮像機対の外部パラメータを標定し、標定した外部パラメータを用いて撮像機下方を通過する搬送器の積載物表面の三次元形状を検出し、積載面の既知三次元形状と前記積載物表面の三次元形状とから積載物の体積を算出するので、次の顕著な効果を奏する。
【0047】
(イ)トラック等の走行に伴う振動が生じる環境下においても、トラック等の積載物の体積を直接的に且つ精確に計測できる。
(ロ)撮像機の外部パラメータの標定を高精度にできるだけでなく、撮像機の位置や向きのずれを随時チェックすることができ、計測の精度及び信頼性が向上する。
(ハ)積載面端縁の検出により必要なステレオ解析範囲を絞ることができ、画像解析時間を短縮することができ、積載物の体積を迅速に算出できる。
(ニ)また、積載面端縁の検出により積載物表面の三次元形状(DEMデータ)と積載面の三次元形状との位置合わせを高精度に行うことができ、積載物の体積の算出精度が向上できる。
(ホ)積載物体積の精確な計測により、積載物搬送の施工管理の質及びレベルの向上が期待できる。
(ヘ)撮像機とコンピュータという簡単なシステム構成で積載物の体積を算出することができ、システムの低コスト化を図ることができる。
(ト)ダンプトラックや土運搬船を始め、広範囲な形状の搬送器に適用することが期待できる。
(チ)撮影から土量算出までを自動で処理することが可能であり、積載物体積計測の自動化を図ることができる。
【図面の簡単な説明】
【図1】は、本発明の一実施例のシステムブロック図である。
【図2】は、本発明方法の流れ図の一例である。
【図3】は、本発明方法の流れ図の他の一例である。
【図4】は、通路上に配置した視標の説明図である。
【図5】は、ステレオ画像対の説明図である。
【図6】は、ステレオ画像対からの三次元形状検出方法の説明図である。
【図7】は、積載物の体積算出方法の説明図である。
【図8】は、従来の土量計測方法の一例の説明図である。
【図9】は、従来の土量計測方法の他の一例の説明図である。
【図10】は、従来の土量計測方法の更に他の一例の説明図である。
【符号の説明】
1…積載物(積載土砂) 2…上端開放搬送器(ベッセル)
3…積載面 4…積載面端縁
5…通路 7…視標
8…支持枠 10…ステレオ式撮像機
11…検知手段 14…コンピュータ
15…記憶手段 16…出力装置
18…制御手段 19…標定手段
20…画像解析手段 21…端縁認識手段
22…標定指示手段 23…搬送器識別手段
24…三次元形状検出手段
26…体積算出手段 28…座標検出用視標
29…ID付き視標 30…基準部位
31…積載面の三次元形状
32…積載物表面の三次元形状
38…非接触式距離計
41…土(積載土) 42…上端開放搬送器
43a…搬送器上端縁 43b…搬送器積載面
45…三次元画像計測装置 46…記憶手段
47…座標割付手段 48…容積算出手段
49…重量測定装置 50…投光器
52R、52L…撮像機 53…メッシュ光制御回路
54…映像入力ボード 55…座標算出手段
56…コンピュータ
Claims (16)
- 既知三次元形状の積載面を有する上端開放搬送器が走行する通路上方にステレオ式撮像機対を下向きに支持し、前記撮像機対の視野重畳域全域に分散した複数の既知位置に視標を固定し、撮像機下方に搬送器が無い時に前記撮像機対によるステレオ画像対上の各視標像の二次元座標と前記既知位置とから撮像機対の位置及び向きを標定し、撮像機下方の搬送器通過時に前記撮像機対による搬送器のステレオ画像対上の各点の二次元座標と前記標定した撮像機対の位置及び向きとから搬送器の積載面端縁の三次元座標とその内側の積載物表面の三次元形状とを検出し、前記積載面端縁の三次元座標に位置合わせした前記積載面の既知三次元形状と前記積載物表面の三次元形状とから前記積載物の体積を算出してなる積載物の体積計測方法。
- 請求項1の計測方法において、前記搬送器の通過時と次回の通過までの間とに前記積載物表面の三次元形状の検出と前記撮像機対の位置及び向きの標定とを交互に繰り返してなる積載物の体積計測方法。
- 請求項1の計測方法において、前記搬送器の通過時に前記ステレオ画像対上の搬送器に重ならない視標像の二次元座標と前記標定した撮像機対の位置及び向きとから該視標の三次元座標と前記既知位置との偏差を検出し、最大許容値以上の偏差が検出されたのち次回の通過までの間に前記撮像機対の位置及び向きを標定し直してなる積載物の体積計測方法。
- 請求項1の計測方法において、前記標定時に前記ステレオ画像対上の各視標像の二次元座標を記憶し、前記搬送器の通過時に前記ステレオ画像対上の搬送器に重ならない視標像の二次元座標と前記標定時の二次元座標との偏差を検出し、最大許容値以上の偏差が検出されたのち次回の通過までの間に前記撮像機対の位置及び向きを標定し直してなる積載物の体積計測方法。
- 請求項1から4の何れかの計測方法において、前記搬送器の積載面端縁に座標検出用視標を取り付け、前記撮像機の通過時に前記座標検出用視標の三次元座標を検出してなる積載物の体積計測方法。
- 請求項1から5の何れかの計測方法において、複数種類の前記搬送器を用いる場合に、前記積載面の既知三次元形状を搬送器種別に記憶し、前記搬送器の通過時に検出した積載面端縁の形状から前記搬送器の種類を識別し、識別した搬送器種の積載面三次元形状から前記積載物の体積を算出してなる積載物の体積計測方法。
- 請求項1から5の何れかの計測方法において、前記搬送器にIDを付し且つ前記積載面の既知三次元形状を搬送器ID別に記憶し、各搬送器の積載面外にID付き視標を上向きに取り付け、前記搬送器の通過時に前記ステレオ画像対上のID付き視標像から搬送器IDを識別し、識別した搬送器IDと対応する積載面三次元形状から前記積載物の体積を算出してなる積載物の体積計測方法。
- 請求項1から7の何れかの計測方法において、前記搬送器を車両又は船の荷台としてなる積載物の体積計測方法。
- 上端開放搬送器が走行する通路上方に下向きに支持したステレオ式撮像機対;前記撮像機対の視野重畳域全域に分散した複数の位置に固定した視標;前記搬送器の撮像機下方通過を検知する検知手段;前記搬送器の積載面の三次元形状と前記視標の固定位置とを記憶した記憶手段;前記撮像機対による通路のステレオ画像対を入力し、該画像対上の各視標像の二次元座標と前記固定位置とから撮像機対の位置及び向きを標定する標定手段;前記撮像機対による搬送器のステレオ画像対を入力し、該画像対上の各点の二次元座標と前記標定した撮像機対の位置及び向きとから前記積載面端縁の三次元座標と積載物表面の三次元形状とを検出する画像解析手段;前記検出した積載面端縁の三次元座標へ位置合わせした前記積載面の既知三次元形状と前記積載物表面の三次元形状とから前記積載物の体積を算出する体積算出手段;並びに前記検知手段に接続され且つ前記搬送器の通過時又は次回の通過までの間に前記画像解析手段又は標定手段を起動する制御手段を備えてなる積載物の体積計測装置。
- 請求項9の計測装置において、前記解析手段に、前記ステレオ画像対から前記積載面端縁を認識する端縁認識手段を含めてなる積載物の体積計測装置。
- 請求項10の計測装置において、前記搬送器の積載面端縁に座標検出用視標を取り付け、前記端縁認識手段により前記ステレオ画像対上の座標検出用視標像から積載面端縁を認識してなる積載物の体積計測装置。
- 請求項9から11の何れかの計測装置において、前記制御手段により、前記搬送器の通過時と次回の通過までの間とに前記画像解析手段と前記標定手段とを交互に起動してなる積載物の体積計測装置。
- 請求項9から11の何れかの計測装置において、前記解析手段に、前記ステレオ画像対上の搬送器に重ならない視標像の二次元座標と前記標定した撮像機対の位置及び向きとから該視標の三次元座標と前記既知位置との偏差を検出し且つ最大許容値以上の偏差の検出時に前記制御手段に対して前記標定手段の起動を指示する標定指示手段を設けてなる積載物の体積計測装置。
- 請求項9から11の何れかの計測装置において、前記標定手段により前記ステレオ画像対上の各視標像の標定時の二次元座標を前記記憶手段に記憶し、前記解析手段に、前記ステレオ画像対上の搬送器に重ならない視標像の二次元座標と前記標定時の二次元座標との偏差を検出し且つ最大許容値以上の偏差の検出時に前記制御手段に対して前記標定手段の起動を指示する標定指示手段を設けてなる積載物の体積計測装置。
- 請求項9から14の何れかの計測装置において、複数種類の前記搬送器を用いる場合に、前記記憶手段に各搬送器の積載面の三次元形状を搬送器種別に記憶し、前記解析手段に前記搬送器の積載面端縁の形状から搬送器種を識別する搬送器識別手段を設け、前記体積算出手段により前記識別した搬送器種の積載面三次元形状から前記積載物の体積を算出してなる積載物の体積計測装置。
- 請求項9から14の何れかの計測装置において、前記搬送器にIDを付し且つ各搬送器の積載面外にID付き視標を上向きに取り付け、前記記憶手段に各搬送器の積載面の三次元形状を搬送器ID別に記憶し、前記解析手段に前記ステレオ画像対上のID付き視標像から搬送器IDを検出する搬送器識別手段を設け、前記体積算出手段により前記識別した搬送器IDと対応する積載面三次元形状から前記積載物の体積を算出してなる積載物の体積計測装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001221669A JP3867955B2 (ja) | 2001-07-23 | 2001-07-23 | 積載物の体積計測方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001221669A JP3867955B2 (ja) | 2001-07-23 | 2001-07-23 | 積載物の体積計測方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003035527A JP2003035527A (ja) | 2003-02-07 |
JP3867955B2 true JP3867955B2 (ja) | 2007-01-17 |
Family
ID=19055305
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001221669A Expired - Fee Related JP3867955B2 (ja) | 2001-07-23 | 2001-07-23 | 積載物の体積計測方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3867955B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170034129A (ko) * | 2015-09-18 | 2017-03-28 | 한국도로공사 | 차량 적재 불량 검측 시스템 및 검측 방법 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4680558B2 (ja) * | 2004-09-30 | 2011-05-11 | 株式会社リコー | 撮影及び3次元形状復元方法、並びに撮影及び3次元形状復元システム |
JP2006098256A (ja) * | 2004-09-30 | 2006-04-13 | Ricoh Co Ltd | 3次元サーフェスモデル作成システム、画像処理システム、プログラム及び情報記録媒体 |
JP2005114744A (ja) * | 2005-01-26 | 2005-04-28 | Penta Ocean Constr Co Ltd | 運搬装置の土砂積載量の計測方法および装置 |
JP4760358B2 (ja) * | 2005-12-19 | 2011-08-31 | 横浜ゴム株式会社 | 路面形状測定方法および測定システム |
JP5078296B2 (ja) * | 2006-08-07 | 2012-11-21 | 倉敷紡績株式会社 | 写真測量装置及び写真測量システム |
JP5108350B2 (ja) * | 2007-03-26 | 2012-12-26 | 株式会社小松製作所 | 油圧ショベルの作業量計測方法および作業量計測装置 |
JP5234649B2 (ja) * | 2009-04-13 | 2013-07-10 | 鹿島建設株式会社 | 粒状材料の粒度品質管理システム及びプログラム |
JP5896465B2 (ja) * | 2012-06-12 | 2016-03-30 | 鹿島建設株式会社 | 粒状材料の粒度分布計測方法及びシステム |
JP5492275B1 (ja) * | 2012-10-31 | 2014-05-14 | 三菱電機株式会社 | ワイヤロープ検査装置の校正方法及び校正治具 |
JP6062217B2 (ja) * | 2012-11-11 | 2017-01-18 | 鹿島建設株式会社 | 堆積粒状材の粒径計測方法及びシステム並びにプログラム |
JP2015017921A (ja) * | 2013-07-12 | 2015-01-29 | 株式会社明電舎 | 摺り板形状計測装置 |
WO2015048123A1 (en) * | 2013-09-24 | 2015-04-02 | Lockheed Martin Corporation | Stockpile reconciliation |
JP6678552B2 (ja) * | 2016-09-30 | 2020-04-08 | 株式会社東芝 | 車種判別装置および車種判別方法 |
CN107356203B (zh) * | 2017-08-09 | 2023-07-25 | 顺丰科技有限公司 | 一种装载量测量装置及测量方法 |
CN108627091A (zh) * | 2018-04-02 | 2018-10-09 | 中交天航南方交通建设有限公司 | 一种用于测量船舱装舱量的方法及系统 |
JP7337456B2 (ja) * | 2019-12-02 | 2023-09-04 | 光洋機械産業株式会社 | 骨材受入システム |
JP7259880B2 (ja) | 2021-03-24 | 2023-04-18 | いすゞ自動車株式会社 | 積載率推定装置 |
JP7342907B2 (ja) | 2021-03-24 | 2023-09-12 | いすゞ自動車株式会社 | 検知装置および積載率推定システム |
JP7306417B2 (ja) | 2021-03-24 | 2023-07-11 | いすゞ自動車株式会社 | 検知装置および積載率推定システム |
WO2023000023A1 (en) * | 2021-07-19 | 2023-01-26 | Transcale Pty Ltd | System and method for determining fragmentation |
CN117329971B (zh) * | 2023-12-01 | 2024-02-27 | 海博泰科技(青岛)有限公司 | 一种基于三维激光雷达的车厢平衡检测方法和系统 |
-
2001
- 2001-07-23 JP JP2001221669A patent/JP3867955B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170034129A (ko) * | 2015-09-18 | 2017-03-28 | 한국도로공사 | 차량 적재 불량 검측 시스템 및 검측 방법 |
KR101724906B1 (ko) | 2015-09-18 | 2017-04-07 | 한국도로공사 | 차량 적재 불량 검측 시스템 및 검측 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP2003035527A (ja) | 2003-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3867955B2 (ja) | 積載物の体積計測方法及び装置 | |
US8335666B2 (en) | Three-dimensional model data generating method, and three dimensional model data generating apparatus | |
JP6296477B2 (ja) | 対象物の三次元座標を決定する方法および装置 | |
CN108140066B (zh) | 图面制作装置及图面制作方法 | |
JP3724786B2 (ja) | 構造物の移動式変位計測方法及び装置 | |
US20020029127A1 (en) | Method and apparatus for measuring 3-D information | |
JPH10253875A (ja) | センサ内蔵カメラ | |
KR102152720B1 (ko) | 3차원 모델링용 촬영장치 및 촬영방법 | |
JPH11211438A (ja) | 荷台積載体積計測装置 | |
KR100756009B1 (ko) | 컨테이너의 3차원 표면 영상획득시스템 및 그 방법 | |
JP2000283734A (ja) | トラック積載土量の計測方法及び装置 | |
JP3817640B1 (ja) | 三次元形状計測システム | |
JP4191295B2 (ja) | 半導体パッケージの検査装置 | |
JP3544630B2 (ja) | 土量計測方法及び装置 | |
JPH11337322A (ja) | 2次元画像比較による外観の測定方法および装置 | |
KR20060056572A (ko) | 영상에 대한 좌표 인식이 가능한 교량점검 시스템 | |
JP2003075148A (ja) | デジタルスチルカメラを用いた変位計測装置 | |
JP7093668B2 (ja) | 移動体に収容した被搬送物の体積測定システム | |
JP4359939B2 (ja) | 画像測定装置 | |
JP5964093B2 (ja) | 車両サイズ測定装置、車両サイズ測定方法、およびプログラム | |
JPH07306037A (ja) | 立体物領域検出装置及び立体物領域迄の距離測定装置及びそれらの検出、測定方法 | |
JP3519296B2 (ja) | 熱画像の自動測定方法及び自動測定装置 | |
JP2002139312A (ja) | 搬送土量の測定方法 | |
JPH1047924A (ja) | 3次元位置計測装置 | |
JP4430789B2 (ja) | ステレオ画像撮影用のシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061006 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151020 Year of fee payment: 9 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |