JP4338405B2 - サイズ測定システムおよびサイズ測定装置 - Google Patents
サイズ測定システムおよびサイズ測定装置 Download PDFInfo
- Publication number
- JP4338405B2 JP4338405B2 JP2003007210A JP2003007210A JP4338405B2 JP 4338405 B2 JP4338405 B2 JP 4338405B2 JP 2003007210 A JP2003007210 A JP 2003007210A JP 2003007210 A JP2003007210 A JP 2003007210A JP 4338405 B2 JP4338405 B2 JP 4338405B2
- Authority
- JP
- Japan
- Prior art keywords
- size
- edge
- measurement reference
- reference region
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
【発明の属する技術分野】
本発明は、画像処理によって測定対象物のサイズを測定するサイズ測定装置、サイズ測定方法およびサイズ測定プログラムに関する。
【0002】
【従来の技術】
バーコードが印刷された帳票は、物流や生産工程等における物品の配送を管理する手段として、幅広い分野で活用されている。例えば、物品を輸送する際、集荷配送拠点において、物品を包装するパッケージに添付された帳票情報をバーコードリーダで読み取ることで物品を識別し、識別情報に基づく当該物品の流通経路の決定や授受の確認等に利用されている。このとき、帳票情報を読み取って各物品を宛先毎に仕分けする他、輸送のための運搬車の容量や台数を決定するために、個々のパッケージのサイズを測定する必要がある。
【0003】
パッケージのサイズを測定する従来の技術が、特公平6−87001号公報に記載されている。当該公報に記載の「直方体の寸法測定装置」では、図13に示すように、測定対象物である物体の底辺2辺をスケールガイド15に押し当てて固定し、対角方向からコーナーパッド14を押し当てて、基点から45°方向に配置されたスケール16上でコーナーパッド14の位置を読み取ることにより、当該物体の幅+奥行+高さを測定している。
【0004】
【特許文献1】
特公平6−87001号公報
【0005】
【発明が解決しようとする課題】
しかしながら、上記説明した寸法測定装置では、1つの測定対象物のサイズを測定するために、装置上に測定対象物を載せて、測定冶具を押し当てて測定し、測定対象物を降ろすといった作業が必要であるため、集荷配送拠点等のように大量のパッケージが集積する場合、その作業量は膨大なものとなる。したがって、少ない作業量で簡単に測定対象物のサイズを測定することのできる技術が望まれていた。
【0006】
本発明は、上記従来の要望に鑑みてなされたものであって、測定対象物のサイズを少ない作業量で簡単に測定することのできるサイズ測定装置、サイズ測定方法およびサイズ測定プログラムを提供することを目的としている。
【0007】
【課題を解決するための手段】
上記目的を達成するために、本発明に係るサイズ測定装置は、測定対象物の表面のサイズ測定基準領域を前記測定対象物のサイズの測定に用いるサイズ測定装置であって、前記測定対象物の3辺が交差する頂点付近を中心として、前記測定対象物の全体と前記サイズ測定基準領域を撮像する撮像部と、前記撮像部が撮像した前記測定対象物の撮影画像に基づいて、前記測定対象物のサイズを演算処理によって求める演算処理部と、を備え、前記演算処理部は、前記撮影画像の中心点付近から3方向に伸びるエッジを前記中心点から放射状にトレースし、前記トレースされた各エッジの頂点を決定し、前記決定された各エッジの両端頂点間の画像上の距離を算出し、前記撮像部によって撮像された撮影画像から前記サイズ測定基準領域を抽出し、前記抽出されたサイズ測定基準領域の各辺の画像上の長さを算出し、前記算出されたサイズ測定基準領域を構成する辺の長さの総和に対する前記サイズ測定基準領域の周囲長の実寸の比を算出し、前記算出された各エッジの両端頂点間の画像上の距離に前記比を乗算して、前記測定対象物の幅、奥行および高さの各辺の長さを算出する。このように、撮影画像を演算処理することによって測定対象物のサイズを測定することができる。このため、測定対象物当たりに要する作業量を少なくすることができる。また、当該測定は非接触で行われるため、手間が要らず簡単である。
【0008】
また、本発明に係るサイズ測定装置は、前記演算処理部は、前記撮像部によって撮像された前記測定対象物の撮影画像から前記測定対象物の外縁を示すエッジの水平方向成分および垂直方向成分を検出して、エッジ画像を生成し、前記エッジ画像を2値化し、前記2値化された画像からノイズを除去することが望ましい。
【0009】
また、本発明に係るサイズ測定装置は、前記撮像部による撮像範囲の中心位置を示すマーカ光を出力するマーカ光出力部を備えている。したがって、撮像範囲の中心位置を容易に特定することができる。
【0010】
また、本発明に係るサイズ測定装置は、前記演算処理部が、前記撮影画像の中心点を中心とする同心上の矩形を複数設定し、各矩形上を探索してエッジと交差している交差領域を検出して、各方向毎に交差領域をグループ分けして、前記中心点付近から3方向に伸びるエッジをトレースすることが望ましい。
【0011】
また、本発明に係るサイズ測定装置は、前記演算処理部が、各エッジの始端を前記各エッジの交点に設定し、各エッジの終端を、前記始端から直線状に伸びたエッジに相当する画素の連続性に関する所定の条件を満たす点にエッジの交点を設定することが望ましい。
【0012】
また、本発明に係るサイズ測定装置は、前記演算処理部が、3方向に伸びるエッジの内、2方向に伸びるエッジを隣接する辺とする平行四辺形を構成するように仮想の頂点を設定し、前記2方向に伸びるエッジの各両端および前記仮想の頂点で囲まれる領域を3つ設定し、前記設定された3つの分割領域内のそれぞれに設定した部分領域の平均輝度を算出し、前記設定された3つの分割領域のそれぞれを前記平均輝度に基づいて2値化し、前記2値化された分割領域のそれぞれに対してラベリングを行って前記サイズ測定基準領域を抽出することが望ましい。
【0013】
また、本発明に係るサイズ測定装置は、前記演算処理部が前記サイズ測定基準領域の各辺の画像上の長さを算出する際は、前記抽出したサイズ測定基準領域の境界線を追跡し、前記サイズ測定基準領域を囲む矩形との4つの交点を検出し、前記検出された隣り合う交点間の各距離を算出することが望ましい。
【0014】
また、本発明に係るサイズ測定装置は、前記撮像部によって撮像された撮影画像と前記演算処理部によって決定された各エッジの頂点とを重畳して表示する表示部を備え、前記演算処理部によって決定された各エッジの頂点が作業者によって修正されたとき、前記演算処理部は、当該修正された各エッジの頂点に基づいて、各エッジの両端頂点間の画像上の距離を再び算出し、かつ、前記測定対象物幅、奥行および高さの各辺の長さを再び算出する。したがって、照明条件等により測定対象物の面と面の境界線のコントラストが低下してエッジの頂点が実際よりもずれてしまっても、各頂点を正しい位置に修正して測定対象物の正しいサイズを測定することができる。
【0015】
また、本発明に係るサイズ測定装置は、前記サイズ測定基準領域にはバーコードが印刷されており、前記撮像部は、前記バーコードを撮像し、前記演算処理部は、前記撮像部によって撮像された前記バーコードの撮影画像に基づいて、当該バーコードが示すバーコード情報を演算処理によって求める。バーコード情報の読み取りおよび測定対象物のサイズ測定を1つの装置で行えるため、操作が簡易となる。
【0016】
また、本発明に係るサイズ測定装置は、前記演算処理部で求められた前記測定対象物のサイズに関する情報とバーコード情報とを対応付けて外部に送信する情報送信部を備えている。このように、測定対象物のサイズに関する情報とバーコード情報とが対応付けられて外部に送信されるため、測定対象物の管理を行い易い。
【0017】
また、本発明に係るサイズ測定方法は、測定対象物の表面のサイズ測定基準領域を前記測定対象物のサイズの測定に用いるサイズ測定方法であって、前記測定対象物の3辺が交差する頂点付近を中心として、前記測定対象物の全体と前記サイズ測定基準領域を撮像する第1の撮像ステップと、前記第1の撮像ステップで撮像された前記測定対象物の撮影画像に基づいて、前記測定対象物のサイズを演算処理によって求める第1の演算処理ステップと、を有し、前記第1の演算処理ステップは、前記撮影画像の中心点付近から3方向に伸びるエッジを前記中心点から放射状にトレースするエッジトレースステップと、前記エッジトレースステップでトレースされた各エッジの頂点を決定するエッジ頂点決定ステップと、前記エッジ頂点決定ステップで決定された各エッジの両端頂点間の画像上の距離を算出する頂点間距離算出ステップと、前記第1の撮像ステップで撮像された撮影画像から前記サイズ測定基準領域を抽出するサイズ測定基準領域抽出ステップと、前記サイズ測定基準領域抽出ステップで抽出されたサイズ測定基準領域の各辺の画像上の長さを算出するサイズ測定基準領域辺長算出ステップと、前記サイズ測定基準領域辺長算出ステップで算出された辺の長さの総和に対する前記サイズ測定基準領域の周囲長の実寸の比を算出する辺比算出ステップと、前記頂点間距離算出ステップで算出された各エッジの両端頂点間の画像上の距離に前記辺比算出ステップで算出された前記比を乗算して、前記測定対象物の幅、奥行および高さの各辺の長さを算出する辺長算出ステップと、を含む。
【0018】
また、本発明に係るサイズ測定方法は、前記第1の演算処理ステップは、前記第1の撮像ステップで撮像された前記測定対象物の撮影画像から前記測定対象物の外縁を示すエッジの水平方向成分および垂直方向成分を検出して、エッジ画像を生成するエッジ検出ステップと、前記エッジ画像を2値化する2値化ステップと、前記2値化ステップで2値化された画像からノイズを除去するノイズ除去ステップと、を有する。
【0019】
また、本発明に係るサイズ測定方法は、前記第1の撮像ステップによる撮像範囲の中心位置を示すマーカ光を出力するマーカ光出力ステップを有する。
【0020】
また、本発明に係るサイズ測定方法は、前記エッジトレースステップは、前記撮影画像の中心点を中心とする同心上の矩形を複数設定し、各矩形上を探索してエッジと交差している交差領域を検出して、各方向毎に交差領域をグループ分けして、前記中心点付近から3方向に伸びるエッジをトレースする。
【0021】
また、本発明に係るサイズ測定方法は、前記エッジ頂点決定ステップは、各エッジの始端を前記各エッジの交点に設定し、各エッジの終端を、前記始端から直線状に伸びたエッジに相当する画素の連続性に関する所定の条件を満たす点にエッジの交点を設定する。
【0022】
また、本発明に係るサイズ測定方法は、前記サイズ測定基準領域抽出ステップは、3方向に伸びるエッジの内、2方向に伸びるエッジを隣接する辺とする平行四辺形を構成するように仮想の頂点を設定し、前記2方向に伸びるエッジの各両端および前記仮想の頂点で囲まれる領域を3つ設定する領域設定ステップと、前記領域設定ステップで設定された3つの分割領域内のそれぞれに設定した部分領域の平均輝度を算出する平均輝度算出ステップと、前記領域設定ステップで設定された3つの分割領域のそれぞれを前記平均輝度に基づいて2値化する2値化ステップと、前記2値化された分割領域のそれぞれに対してラベリングを行って前記サイズ測定基準領域を抽出するラベリングステップと、を有する。
【0023】
また、本発明に係るサイズ測定方法は、前記サイズ測定基準領域辺長算出ステップは、前記サイズ測定基準領域抽出ステップで抽出したサイズ測定基準領域の境界線を追跡する境界線追跡ステップと、前記サイズ測定基準領域を囲む矩形との4つの交点を検出する交点検出ステップと、前記交点検出ステップで検出された隣り合う交点間の各距離を算出する交点間距離算出ステップと、を有する。
【0024】
また、本発明に係るサイズ測定方法は、前記第1の撮像ステップで撮像された撮影画像と前記エッジ頂点決定ステップで決定された各エッジの頂点とを重畳して表示する表示ステップと、前記エッジ頂点決定ステップで決定された各エッジの頂点が作業者によって修正されたとき、当該修正された各エッジの頂点に基づいて、前記頂点間距離算出ステップおよび前記辺長算出ステップを再び行う再算出ステップと、を有する。
【0025】
また、本発明に係るサイズ測定方法は、前記サイズ測定基準領域にはバーコードが印刷されており、前記バーコードを撮像する第2の撮像ステップと、前記第2の撮像ステップで撮像された前記バーコードの撮影画像に基づいて、当該バーコードが示すバーコード情報を演算処理によって求める第2の演算処理ステップと、を有する。
【0026】
また、本発明に係るサイズ測定方法は、前記第1の演算処理ステップで求められた前記測定対象物のサイズに関する情報と前記第2の演算処理ステップで求められたバーコード情報とを対応付けて外部に送信する情報送信ステップを有する。
【0027】
さらに、本発明に係るサイズ測定プログラムは、コンピュータを請求項1〜10のいずれか一項に記載のサイズ測定装置に含まれる演算処理部として実現するためのものである。
【0028】
【発明の実施の形態】
以下、本発明に係るサイズ測定装置、サイズ測定方法およびサイズ測定プログラムの実施の形態について、〔第1の実施形態〕、〔第2の実施形態〕、〔第3の実施形態〕の順に図面を参照して詳細に説明する。なお、各実施形態の説明では、本発明に係るサイズ測定装置およびサイズ測定方法について詳述するが、本発明に係るサイズ測定プログラムについては、サイズ測定装置に含まれる演算処理部として実現するためのプログラムであることから、当該プログラムに関する説明は以下の説明に含まれる。
【0029】
〔第1の実施形態〕
図1は、本発明に係る第1の実施形態のサイズ測定装置を示すブロック図である。第1の実施形態のサイズ測定装置は、物品を包装するパッケージ等の測定対象物のサイズを画像処理によって非接触で測定するものであり、同図に示すように、撮像部101と、LED103と、特許請求の範囲のマーカ光出力部に該当するマーカ投光器105と、画像記憶部107と、演算処理部109と、表示部111と、操作部113とを備えて構成されている。なお、以下の説明では、測定対象物としてパッケージを例に説明する。なお、図2に示すように、本実施形態におけるパッケージには、長方形で白地の帳票が添付されている。
【0030】
以下、本実施形態のサイズ測定装置が有する各構成要素について説明する。
まず、撮像部101は、パッケージを撮像するものであり、例えば、モノクロVGA(640×480画素、256階調画像出力)のエリアセンサカメラによって実現される。また、LED103は、パッケージを明るく照明するための照明器である。また、マーカ投光器105は、撮像部101による撮像範囲の中心位置をレーザ光で照射するものであり、例えば、赤色半導体レーザ(650nm)によって実現される。
【0031】
また、画像記憶部107は、撮像部101によって撮像されたパッケージの画像データを記憶するものである。また、演算処理部109は、画像記憶部107に記憶された画像データからパッケージのサイズを演算処理によって求めるものである。また、表示部111は、撮像部101が撮像した画像や、演算処理部109で求められたパッケージのサイズに関する情報を表示するものである。また、操作部113は、撮像部101による撮像や表示部111が行う表示、演算処理部109が行う演算処理についての各指示を作業者が行うときに操作されるものである。なお、操作部113は、開始キー、中断キー、数字や文字等の入力キー、撮像を行うためのキャプチャーキー等を含むキーマトリクスで構成されている。
【0032】
図2に、本実施形態のサイズ測定装置によってパッケージが撮像される際の状態を示す。同図に示すように、パッケージのサイズを測定する際、作業者は本実施形態のサイズ測定装置本体100を持って、撮像部101をパッケージ201に向ける。撮像の準備が整うと、撮像部101から表示部111へ画像データが転送されて撮像した画像が表示され、LED103およびマーカ投光器105が点灯するため、マーカ投光器105から投光されるレーザ光をパッケージ201の3辺が交差する頂点203付近に合わせつつ、表示部111の画面を見ながらパッケージ201全体が表示部111の画面内に収まるように撮像方向と撮像距離を調整して、操作部113のキャプチャーキーを押す。このようにして撮像が行われると、画像記憶部107に画像データが記憶され、演算処理部109によって求められたパッケージ201のサイズに関する情報が表示部111に表示される。
【0033】
次に、本実施形態のサイズ測定装置が行う動作(サイズ測定方法)について、図3を参照して詳細に説明する。図3は、第1の実施形態のサイズ測定装置によりパッケージサイズを測定する際のフローチャートである。同図に示すフローチャートでは、大きく分けて2つのステップに分類される。1つは、パッケージを撮像して画像データを取り込む第1のステップS31であり、もう1つは、演算処理によりパッケージサイズを求める第2のステップS35である。
【0034】
まず、第1のステップS31では、まず撮像の準備を行い、LED103およびマーカ投光器105を点灯させる(ステップS311)。次に、作業者によって、マーカ投光器105から投光されるレーザ光をパッケージの3辺が交差する頂点に合わせつつ、パッケージ全体が表示部111の画面内に収まるように撮像方向と撮像距離が調整された後、操作部113のキャプチャーキーが押される(ステップS313)。すると、マーカ投光器105を消灯する(ステップS315)。次に、撮像部101は撮像を行う(ステップS317)。次に、撮像部101による撮影画像の画像データを画像記憶部107に書き出す(ステップS319)。また、LED103およびマーカ投光器105を消灯する(ステップS321)。
【0035】
なお、ステップS313でのパッケージの撮像方向は、上述したように、パッケージの3辺が交差する頂点が撮像範囲の略中心となる向きである。また、パッケージには帳票が添付されているが、本実施形態では当該帳票が添付された面が撮像される向きでパッケージは撮像される。さらに、前記頂点はマーカ投光器105から投光されるレーザ光によって照射されるため、パッケージは当該頂点が撮影画像の略中心に位置するように撮像される。
【0036】
次に、第2のステップS35に移る。なお、第2のステップS35では、まず、パッケージの外側のエッジを検出するエッジ検出ステップS351を行い、パッケージの内側のエッジをトレースするエッジトレースステップS353を行い、パッケージに添付された帳票の実寸に基づいてパッケージの各辺長(幅+奥行+高さ)を算出する辺長算出ステップS355を行う。
【0037】
エッジ検出ステップS351では、まず、画像記憶部107に記憶された画像データが示す画像に対してフィルタ処理を行う(ステップS3511)。当該フィルタ処理は、図4に示す1次差分オペレータを用いて行われ、同図(a),(b)に示すフィルタでエッジの水平方向成分を検出し、同図(c),(d)に示すフィルタでエッジの垂直方向成分を検出する。そして、これら4つの処理結果を合算してエッジ画像を生成する。次に、フィルタ処理後のエッジ画像を2値化する(ステップS3513)。但し、パッケージの辺はエッジ強度が弱い場合が多いため、固定しきい値で2値化するのではなく、移動平均法による動的2値化、すなわち、対象画素の輝度値とその周辺の5×5画素領域の輝度の平均値とを比較することによって2値化を行う。
【0038】
なお、移動平均法は、エッジ以外のコントラストの低い領域でも細かいノイズが発生する。したがって、ステップS3513で2値化された画像に対し、小面積のパターンに基づきノイズ除去する(ステップS3515)。当該ノイズ除去は、2値化された画像中の連結されたパターン毎に異なるラベルを割り当てるラベリングを行い、ラベルの面積が例えば5画素以下のパターンを全て値0に置き換えることで行われる。これらのステップS3511〜S3515を含むエッジ検出ステップS351を行うことによって、パッケージの外縁、すなわち外側のエッジが明確となる。
【0039】
次に、エッジトレースステップS353では、まず、ステップS351で2値化された画像上のマーカ位置(マーカ投光器105から投光されるレーザ光によって照射された位置)を中心として、当該マーカ位置付近から3方向に伸びるエッジをトレースする(ステップS3531)。より詳しくは、図5(a)に示すように、マーカ位置を中心とする同心上の矩形R1,R2,R3,R4,R5(例えば、矩形R1を32×32画素、矩形R2を40×40画素、矩形R3を48×48画素、矩形R4を56×56画素、矩形R5を64×64画素の矩形)を設定する。
【0040】
そして、図5(b)に示すように、各矩形上を半時計回りに探索し、エッジと交差している領域を検出することで、マーカ位置付近から3方向に伸びる直線を決定する。すなわち、矩形Ri上でk番目に見つかった交差領域をCi[k]とすると、Ci[k]から見て外側の矩形Ri+1上の交差領域の内、最も距離的に近い交差領域を選択し、同様に順番に外側の矩形に向かって(放射状に)交差領域を探索していくことにより、各方向毎に交差領域をグループ分けする。図5に示した例では、Ci[1]、Ci[2]、Ci[3](i=1〜5)の3つのグループに分けられ、これら3つのグループ毎に最小自乗直線を算出することで、3方向に伸びる直線L1,L2,L3を決定する。
【0041】
次に、決定された各エッジの終端と始端を決定し、頂点間(終端と始端との間)の画像上の距離をエッジ毎に算出する(ステップS3533)。図5に示した例では、直線L1,L2,L3の交点P0(始端)を求め、点P0から各直線を追跡して終端P1,P2,P3を決定する。なお、直線を追跡する際は、直線Li上の画素位置および直線Liの両側1画素位置を参照して、いずれかの画素位置にエッジに相当する画素が存在すればエッジは連続しているものとする。また、終端の判定は、図6に示すように、直線Liにおいて、エッジ601aの連続性が途切れた位置Pから次のエッジ601bを検出するまでの距離をD1とし、次のエッジ601bが連続する距離をD2としたとき、距離D1が例えば8画素以上または距離D2が例えば4画素未満のとき、その途切れた位置Pを終端として決定する。このようにして求められた始端P0および終端P1〜P3に基づいて、画像上の各エッジの長さ、すなわち、始端〜終端(P0〜P1,P0〜P2,P0〜P3)のユークリッド距離l1,l2,l3を算出する。
【0042】
次に、辺長算出ステップS355では、まず、画像記憶部107に記憶された画像データが示す画像を2値化する(ステップS3551)。なお、当該ステップ3551で2値化を行う際、パッケージの各面の輝度は略均一であるため、各面に相当する画像領域に分割して2値化を行う。例えば、図7(a)に示すように、辺P0P1と辺P0P2を隣接する辺とする平行四辺形を構成するように仮想の頂点P4を設定し、頂点P0,P1,P2,P4で囲まれる領域をF1とする。同様に、仮想の頂点P5,P6を設定し、頂点P0,P2,P3,P5で囲まれる領域をF2とし、頂点P0,P1,P3,P6で囲まれる領域をF3とする。次に、分割領域F1,F2,F3内に部分領域701,702,703を設定し、各部分領域の平均輝度を算出する。
【0043】
なお、本実施形態では、部分領域701,702,703のサイズをそれぞれ16×16画素とし、辺P0P1、辺P0P2および辺P0P3の間に頂点P0を中心とする48×48画素領域704内にそれぞれ設定する。また、分割領域F1,F2,F3に対して行う2値化に用いられるしきい値としては、白地の帳票705を抽出しやすいように、部分領域701,702,703の平均輝度よりも高い値が用いられる。
【0044】
次に、分割領域F1,F2,F3毎にラベリングを行って帳票705を抽出する(ステップS3553)。次に、帳票の実寸に基づいてパッケージの各辺長(幅+奥行+高さ)を算出する(ステップS3555)。より詳しくは、図7(b)に示すように、検出した帳票705の境界線を半時計回りに追跡して、帳票を囲む矩形706との交点Q1,Q2,Q3,Q4を検出する。そして、辺Q1Q2、辺Q2Q3、辺Q3Q4、辺Q4Q1の各ユークリッド距離を算出し、その合計値をLQとする。次に、帳票の周囲長の実寸LRに対する撮像解像度k(=LR/LQ)を求める。最後に、ステップS3533で求めたP0P1,P0P2,P0P3のユークリッド距離l1,l2,l3に撮像解像度kを乗算して、パッケージの3辺の実寸推定値L1(=k・l1),L2(=k・l2),L3(=k・l3)を求める。
【0045】
以上説明したように、本実施形態のサイズ測定装置によれば、撮影画像を画像処理することによってパッケージのサイズを測定することができる。このため、パッケージ当たりに要する作業量を少なくすることができる。また、当該測定は非接触で行われるため、手間が要らず簡単である。
【0046】
〔第2の実施形態〕
パッケージを撮像した撮影画像は、照明条件等により面と面の境界線のコントラストが低下する場合もあり得る。このため、第1の実施形態で説明した図3のステップS3531で行われるエッジの探索がうまく行われず、その結果、ステップS3533で決定されるエッジの頂点(始端や終端)が実際よりもずれてしまうことがある。したがって、第2の実施形態では、演算処理部109で決定されたエッジの頂点と辺を撮影画像上に重畳して表示することによって、演算処理部109で行われた演算結果が正確に行われたかを画面上で確認でき、エッジの頂点を修正可能としている。
【0047】
構成の点で第2の実施形態のサイズ測定装置が第1の実施形態と異なる点は、表示部111がタッチパネルディスプレイで構成される点と、作業者が指定した頂点をタッチパネル方式で指定された位置に修正することができる点と、修正位置での頂点による各エッジの辺長を演算処理部109が演算しなおす点である。以下の説明では、本実施形態の表示部をタッチパネル151という。
【0048】
図8は、エッジの頂点を修正する際のタッチパネル151の表示例を示す説明図である。同図に示すように、演算処理部109によって正しく検出された頂点801、802、803に対し、誤って検出された頂点804を正確な位置に修正する場合は、ペン等の器具130で頂点804を示す印(図8に示す○)をドラッグして正しい位置805へ移動させる。そして、作業者が操作部113を操作して各エッジの辺長を再演算するよう指示すると、演算処理部109は位置805に移動された頂点と他の頂点の各位置に基づいて各エッジの実寸を再び演算し、その結果をタッチパネル151に表示する。
【0049】
本実施形態のサイズ測定装置が行う動作(サイズ測定方法)について、図9を参照して詳細に説明する。図9は、第2の実施形態のサイズ測定装置が行うパッケージサイズを測定する際のフローチャートである。同図において、図3(第1の実施形態)と重複するステップには同一の符号を付す。同図に示すフローチャートでは、大きく分けて3つのステップに分類される。1つ目は、パッケージを撮像して画像データを取り込む第1のステップS31であり、2つ目は、演算処理によりパッケージサイズを求める第2のステップS35であり、3つ目は、第2のステップS35での演算処理による処理結果に対して必要であれば修正を施す第3のステップS37である。但し、第1のステップS31および第2のステップS35は、第1の実施形態で説明した図3のフローチャートと同じであるため説明を省略する。したがって、以下、第3のステップS37について説明する。
【0050】
第3のステップS37では、まず、第2のステップS35で求めた各エッジおよび各エッジの頂点(始端および終端)を撮影画像上に重畳してタッチパネル151に表示する(ステップS371)。次に、サイズ測定装置がタッチパネル151上で頂点を修正可能なモードに移行する(ステップS373)。次に、タッチパネル151上でいずれかの頂点が修正された後、当該修正された頂点に基づき各エッジの辺長を再演算するよう指示があるかを判断する(ステップS375)。当該ステップS375において当該指示があれば、各エッジの実寸を再演算するためにステップS35中のステップ3555に戻り、当該指示がなければ一連の処理を終了する。
【0051】
以上説明したように、本実施形態のサイズ測定装置によれば、照明条件等によりパッケージの面と面の境界線のコントラストが低下してエッジの頂点が実際よりもずれてしまっても、画面上の操作により各頂点を正しい位置に修正してパッケージの正しいサイズを測定することができる。
【0052】
〔第3の実施形態〕
第3の実施形態のサイズ測定装置では、第1または第2の実施形態のサイズ測定装置が有するパッケージサイズ測定機能に加えて、パッケージに添付された帳票に印刷されているバーコードを撮像して情報を読み取り、当該情報をパッケージサイズに関する情報と共に外部システムに送信する機能を有する。したがって、第3の実施形態のサイズ測定装置には、第1または第2の実施形態のサイズ測定装置が有する構成要素に加えて図示しない通信部(特許請求の範囲の情報送信部に該当する。)を備えて構成されている。なお、帳票にはバーコードが印刷されており、帳票情報とは当該バーコードが示す情報である。また、撮影画像からの帳票情報の読み取りは、第1または第2の実施形態で説明した演算処理部109が行う。さらに、本実施形態では、マーカ投光器105からは撮像部101による撮像範囲の四隅を示す4つのレーザ光が出力される。
【0053】
図10に、本実施形態のサイズ測定装置によって帳票が撮像される際の状態を示す。同図に示すように、帳票を撮像する際、作業者は本実施形態のサイズ測定装置本体100を持って、撮像部101を帳票の特にバーコードが印刷された部分に向ける。撮像の準備が整うと、撮像部101から表示部111へ画像データが転送されて撮像した画像が表示され、LED103およびマーカ投光器105が点灯するため、マーカ投光器105から投光される4つのレーザ光によって囲まれる領域1001内に帳票の特にバーコードが収まるように撮像距離を調整して、操作部113のキャプチャーキーを押す。このようにして撮像が行われると、画像記憶部107に画像データが記憶され、演算処理部109によって求められた帳票情報が表示部111に表示される。そして、第1または第2の実施形態で説明したパッケージサイズの測定が行われ、パッケージサイズに関する情報を帳票情報に対応付けて通信部から外部システムに送信する。
【0054】
次に、本実施形態のサイズ測定装置が行う帳票情報の読み取りに関する動作について、図11を参照して詳細に説明する。図11は、第3の実施形態のサイズ測定装置により帳票情報を読み取る際のフローチャートである。まず、撮影の準備を行い、LED103およびマーカ投光器105を点灯させる(ステップS401)。次に、作業者によって、マーカ投光器105から投光される4つのレーザ光によって囲まれる領域内に帳票の特にバーコードが収まるように撮像距離が調整された後、操作部113のキャプチャーキーが押されると、撮像部101は撮像を行う(ステップS403)。次に、LED103およびマーカ投光器105を消灯する(ステップS405)。そして、撮像部101による撮影画像の画像データを画像記憶部107に書き出す(ステップS407)。なお、画像データの書き出しは後回しにし、LED103およびマーカ投光器105を消灯してからの方が節電できるため望ましい。
【0055】
次に説明するステップS409〜S415は帳票情報を読み取る演算フローであり、本実施形態では1次元バーコードを例に当該フローについて説明する。なお、帳票情報の読み取りはバーコードの矩形領域を特定し、その矩形領域の長軸方向に沿って画像をトレースした後、復号化を行うが、このようなバーコード読み取り処理は特開平2−125386号公報に記載されている。以下、簡単にその処理について説明する。まず、画像記憶部107に記憶された画像データが示す画像を背景の白地を値0、バーコードの黒を値1となるように2値化する(ステップS409)。次に、2値化画像の値1と値0の変化点を検出し、2値の輪郭画像を生成する(ステップS411)。
【0056】
次に、バーコードの周期的に並ぶ輪郭線を膨張処理で融合してバーコード領域を塗りつぶす(ステップS413)。次に、ステップS413で塗りつぶされた画像に収縮処理を施して背景パターンを消滅させ、バーコード領域のスケルトンを抽出する(ステップS415)。次に、スケルトンに沿って読み取り位置と軸の傾きを算出してバーコード領域をトレースする(ステップS417)。次に、バーコードのビット交番パターンから復号化を行う(ステップS419)。次に、復号化された情報が読み取り可能かを判断し(ステップS421)、読み取り可能であれば一連の処理を終了し、読み取り不可能であればステップ401に戻ってリトライ処理を行う。
【0057】
本実施形態では、図12に示すように、図11で説明した帳票情報の読み取り(ステップS501)が終了した後、第1または第2の実施形態で説明したパッケージサイズの測定(ステップS503)を行い、帳票情報およびパッケージサイズに関する情報を外部システムに送信する(ステップS505)。なお、ステップS501,S503とも、得られた結果が正確でなければ操作部113を操作して正確な情報を入力しても良い。
【0058】
以上説明したように、本実施形態のサイズ測定装置によれば、帳票情報の読み取りおよびパッケージサイズの測定、並びに、これらの情報の送信を1つの装置で行えるため、操作が簡易となる。また、帳票情報とパッケージサイズに関する情報が対応付けられて外部システムに送信されるため、パッケージの輸送管理が行い易い。
【0059】
【発明の効果】
以上説明したように、本発明に係るサイズ測定装置、サイズ測定方法およびサイズ測定プログラムによれば、測定対象物のサイズを少ない作業量で簡単に測定することができる。
【図面の簡単な説明】
【図1】本発明に係る第1の実施形態のサイズ測定装置を示すブロック図
【図2】本実施形態のサイズ測定装置によってパッケージが撮像される際の状態を示す説明図
【図3】第1の実施形態のサイズ測定装置によりパッケージサイズを測定する際のフローチャート
【図4】1次差分オペレータを示す説明図
【図5】第1の実施形態のサイズ測定装置によるエッジトレース動作について示す説明図
【図6】第1の実施形態のサイズ測定装置によるエッジの終端の判定条件を示す説明図
【図7】第1の実施形態のサイズ測定装置による帳票探索動作について示す説明図
【図8】エッジの頂点を修正する際のタッチパネルの表示例を示す説明図
【図9】第2の実施形態のサイズ測定装置が行うパッケージサイズを測定する際のフローチャート
【図10】本実施形態のサイズ測定装置によって帳票が撮像される際の状態を示す説明図
【図11】第3の実施形態のサイズ測定装置により帳票情報を読み取る際のフローチャート
【図12】第3の実施形態のサイズ測定装置が行う全体の動作について説明するフローチャート
【図13】特公平6−87001号公報に記載されている直方体の寸法測定装置の斜視図
【符号の説明】
101 撮像部
103 LED
105 マーカ投光器
107 画像記憶部
109 演算処理部
111 表示部
113 操作部
Claims (9)
- 6面体の1つの面にサイズ測定基準領域を設けた被測定物と、
前記サイズ測定基準領域と前記被測定物の少なくとも3面を1画面に撮影する撮像部、及び前記撮影画像に基づいて、前記被測定物のサイズを求める演算処理部を備えるサイズ測定装置と、よりなるサイズ測定システムであって、
前記サイズ測定装置の前記演算処理部は、
前記撮像画像上で前記3面が作る3方向のエッジをトレースして前記被測定物のエッジ長および前記サイズ測定基準領域の各辺の長さを求め、
前記サイズ測定基準領域の実寸を基準として前記撮像画面上での前記エッジ長および前記サイズ測定基準領域の各辺の長さを用いて前記被測定物の幅、奥行および高さの各辺の実寸を算出するものであることを特徴とするサイズ測定システム。 - 6面体の1つの面にサイズ測定基準領域を設けた被測定物の前記サイズ測定基準領域と前記被測定物の少なくとも3面を1画面に撮影する撮像部と、
前記撮影画像に基づいて、前記被測定物のサイズを求める演算処理部と、
を備えるサイズ測定装置であって、
前記演算処理部は、
前記撮像画像上で前記3面が作る3方向のエッジをトレースして前記被測定物のエッジ長および前記サイズ測定基準領域の各辺の長さを求め、
前記サイズ測定基準領域の実寸を基準として前記撮像画面上での前記エッジ長および前記サイズ測定基準領域の各辺の長さを用いて前記被測定物の幅、奥行および高さの各辺の実寸を算出するものであることを特徴とするサイズ測定装置。 - 請求項2に記載のサイズ測定装置であって、
前記算出されたサイズ測定基準領域を構成する辺の長さの総和に対する前記サイズ測定基準領域の周囲長の実寸の比を算出し、
前記算出された各エッジの両端頂点間の画像上の距離に前記比を乗算して、前記被測定物の幅、奥行および高さの各辺の長さを算出することを特徴とするサイズ測定装置。 - 請求項2又は請求項3に記載のサイズ測定装置であって、
前記演算処理部は、
前記撮影画像の中心点付近から3方向に伸びるエッジを前記中心点から放射状にトレースし、
前記トレースされた各エッジの頂点を決定し、
前記決定された各エッジの両端頂点間の画像上の距離を算出し、
前記撮像部によって撮像された撮影画像から前記サイズ測定基準領域を抽出し、
前記抽出されたサイズ測定基準領域の各辺の画像上の長さを算出し、
前記算出されたサイズ測定基準領域を構成する辺の長さの総和に対する前記サイズ測定基準領域の周囲長の実寸の比を算出し、
前記算出された各エッジの両端頂点間の画像上の距離に前記比を乗算して、前記被測定物の幅、奥行および高さの各辺の長さを算出することを特徴とするサイズ測定装置。 - 請求項2乃至請求項4のいずれか一項に記載のサイズ測定装置であって、
前記撮像部による撮像範囲の中心位置を示すマーカ光を出力するマーカ光出力部を備えたことを特徴とするサイズ測定装置。 - 請求項2乃至請求項5のいずれか一項に記載のサイズ測定装置であって、
前記演算処理部が、
3方向に伸びるエッジの内、2方向に伸びるエッジを隣接する辺とする平行四辺形を構成するように仮想の頂点を設定し、前記2方向に伸びるエッジの各両端および前記仮想の頂点で囲まれる領域を3つ設定し、
前記設定された3つの分割領域内のそれぞれに設定した部分領域の平均輝度を算出し、
前記設定された3つの分割領域のそれぞれを前記平均輝度に基づいて2値化し、
前記2値化された分割領域のそれぞれに対してラベリングを行って前記サイズ測定基準領域を抽出することを特徴とするサイズ測定装置。 - 請求項2乃至請求項6のいずれか一項に記載のサイズ測定装置であって、
前記撮像部によって撮像された撮影画像と前記演算処理部によって決定された各エッジの頂点とを重畳して表示する表示部を備え、
前記演算処理部によって決定された各エッジの頂点が作業者によって修正されたとき、前記演算処理部は、当該修正された各エッジの頂点に基づいて、各エッジの両端頂点間の画像上の距離を再び算出し、かつ、前記被測定物幅、奥行および高さの各辺の長さを再び算出することを特徴とするサイズ測定装置。 - 請求項2乃至請求項7のいずれか一項に記載のサイズ測定装置であって、
前記演算処理部で求められた前記被測定物のサイズに関する情報とバーコード情報とを対応付けることを特徴とするサイズ測定装置。 - 請求項8に記載のサイズ測定装置であって、
前記演算処理部で求められた前記被測定物のサイズに関する情報とバーコード情報とを対応付けて外部に送信する情報送信部を備えたことを特徴とする前記サイズ測定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003007210A JP4338405B2 (ja) | 2003-01-15 | 2003-01-15 | サイズ測定システムおよびサイズ測定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003007210A JP4338405B2 (ja) | 2003-01-15 | 2003-01-15 | サイズ測定システムおよびサイズ測定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004219255A JP2004219255A (ja) | 2004-08-05 |
JP4338405B2 true JP4338405B2 (ja) | 2009-10-07 |
Family
ID=32897377
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003007210A Expired - Fee Related JP4338405B2 (ja) | 2003-01-15 | 2003-01-15 | サイズ測定システムおよびサイズ測定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4338405B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107462152A (zh) * | 2016-06-03 | 2017-12-12 | 手持产品公司 | 可穿戴式计量装置 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
PL1861809T5 (pl) * | 2005-03-14 | 2013-04-30 | Gtech Corp | System i sposób przetwarzania oznakowań blankietu |
JP5375479B2 (ja) * | 2009-09-17 | 2013-12-25 | コニカミノルタ株式会社 | 三次元測定システムおよび三次元測定方法 |
JP5773436B2 (ja) * | 2011-11-24 | 2015-09-02 | Kddi株式会社 | 情報端末装置 |
JP5908351B2 (ja) * | 2012-06-26 | 2016-04-26 | セイコープレシジョン株式会社 | 穴開け位置決定装置、穴開け位置決定方法、及び、プログラム |
GB2519006B (en) * | 2012-07-02 | 2018-05-16 | Panasonic Ip Man Co Ltd | Size measurement device and size measurement method |
JP6041641B2 (ja) * | 2012-11-30 | 2016-12-14 | 三菱スペース・ソフトウエア株式会社 | 寸法推定装置、寸法推定プログラムおよび寸法推定方法 |
WO2014157340A1 (ja) * | 2013-03-29 | 2014-10-02 | 日本電気株式会社 | サイズ測定装置及びサイズ測定方法 |
KR101540569B1 (ko) * | 2013-12-24 | 2015-07-31 | 주식회사 엘지실트론 | 웨이퍼의 형상 분석 방법 및 장치 |
CN106373156A (zh) * | 2015-07-20 | 2017-02-01 | 小米科技有限责任公司 | 通过图像确定空间参数的方法、装置及终端设备 |
JP6503005B2 (ja) * | 2017-05-02 | 2019-04-17 | 株式会社 豊田設計 | 寸法算出装置及び寸法算出方法 |
JP6999298B2 (ja) | 2017-06-26 | 2022-01-18 | 株式会社ミツトヨ | 画像測定装置 |
TWI696804B (zh) * | 2019-01-09 | 2020-06-21 | 阿丹電子企業股份有限公司 | 體積量測裝置及體積量測方法 |
JP7098554B2 (ja) * | 2019-02-25 | 2022-07-11 | 株式会社Nttドコモ | 情報処理装置 |
CN110174056A (zh) * | 2019-06-18 | 2019-08-27 | 上海商米科技集团股份有限公司 | 一种物体体积测量方法、装置及移动终端 |
JP7464851B2 (ja) | 2021-03-26 | 2024-04-10 | 株式会社デンソーウェーブ | コード読取装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0313807A (ja) * | 1989-06-13 | 1991-01-22 | Bridgestone Corp | シート状部材の端部位置および形状の検査装置 |
JPH08114439A (ja) * | 1994-10-14 | 1996-05-07 | Nippondenso Co Ltd | 携帯形寸法測定装置 |
JP2939577B2 (ja) * | 1995-11-24 | 1999-08-25 | 株式会社椿本チエイン | 物体認識方法及び装置 |
JPH1030917A (ja) * | 1996-07-16 | 1998-02-03 | Tsubakimoto Chain Co | 物体認識方法及び装置並びに記録媒体 |
JPH10105639A (ja) * | 1996-09-27 | 1998-04-24 | Pentel Kk | 寸法測定機能付きバ−コ−ドスキャナ内蔵ハンディタ−ミナル |
JP2000171215A (ja) * | 1998-12-03 | 2000-06-23 | Techno Wave:Kk | 物流情報読取り装置 |
JP2002056348A (ja) * | 2000-08-07 | 2002-02-20 | Tohken Co Ltd | オートフォーカス機能を有する手持ち式読取装置及びオートフォーカス方法、並び距離計測方法 |
JP3494628B2 (ja) * | 2001-03-22 | 2004-02-09 | 富士通フロンテック株式会社 | 寸法測定機能を有する端末装置 |
JP2003303222A (ja) * | 2002-04-08 | 2003-10-24 | Seiko Epson Corp | 情報読取処理装置、その制御方法、及び情報記録媒体 |
-
2003
- 2003-01-15 JP JP2003007210A patent/JP4338405B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107462152A (zh) * | 2016-06-03 | 2017-12-12 | 手持产品公司 | 可穿戴式计量装置 |
US10872214B2 (en) | 2016-06-03 | 2020-12-22 | Hand Held Products, Inc. | Wearable metrological apparatus |
CN107462152B (zh) * | 2016-06-03 | 2021-12-21 | 手持产品公司 | 可穿戴式计量装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2004219255A (ja) | 2004-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4338405B2 (ja) | サイズ測定システムおよびサイズ測定装置 | |
US20070091174A1 (en) | Projection device for three-dimensional measurement, and three-dimensional measurement system | |
JP4811272B2 (ja) | 3次元計測を行う画像処理装置および画像処理方法 | |
JP5002144B2 (ja) | 三次元計測用投影装置及びシステム | |
JP5773436B2 (ja) | 情報端末装置 | |
US20100322482A1 (en) | Three-dimensional measurement system and method of the same, and color-coded mark | |
WO2006098258A1 (ja) | 3次元計測のためのキャリブレーション方法およびその方法を用いた3次元計測システム | |
JP2007064627A (ja) | 三次元計測システム及びその方法 | |
JP4848166B2 (ja) | 三次元計測用投影装置及びシステム | |
TW201415010A (zh) | 檢查裝置、檢查方法及檢查程式 | |
JP2001126051A (ja) | 関連情報呈示装置及び関連情報呈示方法 | |
JP2000067247A (ja) | 画像認識装置 | |
JP2565885B2 (ja) | 空間パタ−ンコ−ド化方法 | |
JP3620884B2 (ja) | 画像処理装置 | |
JP2006331214A (ja) | 物体識別タグ及びこれを使用した物体識別システム | |
JP6702370B2 (ja) | 計測装置、計測システム、計測方法およびコンピュータプログラム | |
JP5375479B2 (ja) | 三次元測定システムおよび三次元測定方法 | |
JP3494628B2 (ja) | 寸法測定機能を有する端末装置 | |
KR102217215B1 (ko) | 스케일바를 이용한 3차원 모델 제작 서버 및 방법 | |
KR100276445B1 (ko) | 물품인식장치 | |
JP6780533B2 (ja) | 形状測定システム及び形状測定方法 | |
JP3111869B2 (ja) | 2次元位置姿勢測定方法及び装置 | |
JP3851483B2 (ja) | 像点対応付け装置、像点対応付け方法、および像点対応付けプログラムを格納した記録媒体 | |
JP2005227929A (ja) | 対象物の撮影画像の処理方法、画像表示システム、プログラム、および、記録媒体 | |
WO2022201422A1 (ja) | 画像処理装置、プログラム及び画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051024 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060325 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071114 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071121 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071128 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071205 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081105 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090310 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090602 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090630 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4338405 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120710 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130710 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |