JP3648006B2 - 建設図面からのトイレ認識方法及び建設図面認識装置 - Google Patents

建設図面からのトイレ認識方法及び建設図面認識装置 Download PDF

Info

Publication number
JP3648006B2
JP3648006B2 JP35800896A JP35800896A JP3648006B2 JP 3648006 B2 JP3648006 B2 JP 3648006B2 JP 35800896 A JP35800896 A JP 35800896A JP 35800896 A JP35800896 A JP 35800896A JP 3648006 B2 JP3648006 B2 JP 3648006B2
Authority
JP
Japan
Prior art keywords
toilet
recognition
image data
image
wall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP35800896A
Other languages
English (en)
Other versions
JPH10198805A (ja
Inventor
隆之 西村
浩樹 栗田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP35800896A priority Critical patent/JP3648006B2/ja
Publication of JPH10198805A publication Critical patent/JPH10198805A/ja
Application granted granted Critical
Publication of JP3648006B2 publication Critical patent/JP3648006B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、建築・設備業等の建設業界で広く使用されている建設図面の中の「トイレ」を、建設図面を読み取ったイメージ画像データから自動的に認識する方法、並びにそのトイレ認識機能を持つ建設図面認識装置に関する。
【0002】
【従来の技術】
近年、CADシステム等を用いて、家屋やビル等の建築図面あるいは水道管,ガス管,電力・通信ケーブル等の配管図面等を含む建設図面を容易に作成したり、そのデータを記憶させておいて設計変更や増改築等の際に利用することは行なわれている。しかし、その建設図面のデータには、作成したシステムにより互換性がなく、期間の経過や業者の変更により利用できなくなる。また、家屋の増改築等を行なう場合には、紙に描かれた古い建設図面しかない場合が多く、増改築の間取り図等を変更しない部分も含めて全て描きなおさなければならなかった。
【0003】
そこで、紙に描かれた建設図面を読み取って、コンピュータで処理できるデータとして認識して記憶させることも試みられているが、そのための特別な方法や装置はなく、建設図面をイメージスキャナで読み取り、そのイメージ画像データをパーソナルコンピュータ等に入力させて、一般の図形認識機能を利用して線分認識やパターン認識を行なっている。
あるいはさらに、高機能の図形エディタを補助に使うことによって図形認識機能をレベルアップし、自動認識機能が多少不完全な場合でも、例えばラスタ・ベクタ変換することにより直線や円弧等の基本線図を自動認識できるようにしたものもある。
【0004】
しかしながら、このような従来の図面認識装置は、高度の操作知識等を必要とし、パソコンなどを使い慣れている人や専門のオペレータに利用が限定され、建設図面を頻繁に使用する業界関係者にとって、決して使い勝手のよいものであるとはいえなかった。
【0005】
また、直線や円弧等の基本線図は自動認識することができるが、基本線図の組み合わせ等からなる建設図面特有の図形シンボル(例えば、トイレ等)を個別に認識をすることはできなかった。そのため、認識した図面を修正する際には線分毎に行なわなければならず、多くの手間を要していた。
【0006】
さらに、建設業において使用される家屋やビル等の建設図面は、その図面上の各線分が人間の目には同じ大きさの連続線として見えても、厳密に見れば太さも一様でなく、軌跡もゆらいでいる。また、連続線のはずであっても所々切れている場合もある。これらの不完全さは作図時のみならず、用紙の経年変化や読み取り時の誤差などからも生じるものである。そのため、例えば線分として認識できる太さの限界があまり細いと、わずかなかすれでも線分が切れていると認識してしまう。また太めの線分を長方形のように認識してしまうこともある。
【0007】
これは、原図の品質は勿論であるが、感光紙を使用したいわゆる青焼き図面のようにコントラストが低い(黒と白の境界がはっきりしない)図面が多く、さらにその青焼きの特徴である細かな点が表面に現れるため、従来の図面認識装置では精度の高い自動認識をすることは困難であり、その修正に多くの手間を要するので殆ど実用にならなかった。
【0008】
ところで、家屋の建設図面(建築図面)では間取りを仕切る壁が図面の中心的役割を果たし、図面中のどの部分が壁であるかを認識することによって、建設図面のおおよその間取りを理解することができる。従って、図面中の壁の位置及びその長さを認識することは、建設図面を認識する上で最も重要な事項である。
【0009】
また、この建設図面の中から、トイレのある部屋(以下「トイレ部屋」と称す)を認識するには、その間取りの大きさの特徴(1帖前後)や形の特徴(長方形や正方形)、及び内部にトイレ設備の描画や「トイレ」あるいは「便所」等の記述の有る/無しなどで判断することが多い。
従って、青焼きなどの建設図面から「トイレ部屋」を認識するとき、図面中の壁の位置及びその長さから間取りを認識し、その間取りの中から「トイレ部屋」に該当するものを認識するという、「壁」認識→「間取り」認識→「トイレ部屋」認識の連携が、確実に出来るか否かが重要な鍵になる。
【0010】
【発明が解決しようとする課題】
しかしながら、従来の図面認識方法およびその装置によって建設図面の中から「トイレ部屋」を認識するには、次のような問題があり、認識困難であった。
(1)輪郭線追跡方法では、カスレや凹凸が多い途切れた直線として認識され、あるいは2本や3本に分かれた直線として認識されてしまって間取りを正確に認識できなかった。
(2)黒ドットの度数分布から求める射影特徴抽出方法では、線が細いと水平及び垂直方向の直線を見つけ出すとき、線が少しでも傾いていると特徴抽出ができなくなってしまい、直線や連続した線の認識ができなくなっていた。
このような理由で、「トイレ部屋」認識処理途中の「間取り」や便器などの「トイレ設備」の形状が認識できなかった。
【0011】
この発明は上記の点に鑑みてなされたものであり、CADや手書きにより曲線などを駆使して紙に描かれたた「トイレ設備」の画像表現のある建設図面、特に青焼き図面など線が途切れたり多少傾いた直線などのある建設図面でも、それを読み取ったイメージ画像データ、あるいはそれらのランレングスを符号化した符号化画像データから、その建設図面内の「トイレ部屋」及び/又は「トイレ設備」を精度よく自動認識できるようにすることを目的とする。
【0012】
【課題を解決するための手段】
この発明は上記の目的を達成するため、次のような建設図面からのトイレ認識方法及びトイレ認識機能を有する建設図面認識装置を提供する。
この発明による建設図面からのトイレ認識方法は、建設図面の画像を読み取ったイメージ画像データの水平方向及び垂直方向の黒又は白ドット数を計測して水平方向及び垂直方向のドット数計測配列データを作成し、その作成した両方向のドット数計測配列データに基づいて建設図面の輪郭及び骨格を認識し、その認識した輪郭線又は骨格で囲まれた領域のサイズが許容範囲内か否か判定し、許容範囲内と判定された領域のイメージ画像データについて、再度水平方向及び垂直方向の黒又は白ドット数を計測してドット数計測配列データを作成し、その作成したドット数計測配列データの特徴からトイレ設備の特徴を見出せるか否かを分析し、その分析の結果、トイレ設備の特徴を見出した場合に、上記許容範囲内と判定された領域がトイレ部屋であると認識することを特徴とする。
【0013】
さらに、上記分析の結果、トイレ設備の特徴を見出した場合に、上記許容範囲内と判定された領域がトイレ部屋であると認識すると共に、そのトイレ部屋内に配置されているトイレ設備の種類も認識するようにすることもできる。
【0015】
また、この発明による建設図面認識装置は上記の目的を達成するため、建設図面の画像を読み取ったイメージ画像データを入力する画像データ入力手段と、該手段によって入力したイメージ画像データの水平方向及び垂直方向の黒又は白ドット数を計測して、水平方向及び垂直方向のドット数計測配列データを作成するドット数計測配列データ作成手段と、該手段によって作成された両方向のドット数計測配列データに基づいて建設図面の輪郭及び骨格を認識する輪郭・骨格認識手段とを有する。
【0016】
そしてさらに、上記輪郭・骨格認識手段によって輪郭又は骨格で囲まれた領域のサイズが許容範囲内か否か判定する手段と、該手段により許容範囲内と判定された領域について、上記ドット数計測配列データ作成手段に、再度上記イメージ画像データの水平方向及び垂直方向の黒又は白ドット数を計測させて水平方向及び垂直方向のドット数計測配列データをそれぞれ作成させ、作成されたドット数計測配列データの特徴からトイレ設備の特徴を見出せるか否かを分析し、その分析の結果、トイレ設備の特徴を見出した場合に、上記許容範囲内と判定された領域がトイレ部屋であると認識するトイレ認識手段を有する。
上記画像データ入力手段は、建設図面の画像を読み取ってそのイメージ画像データを入力する画像読取手段であるとよい。
【0017】
あるいは、建設図面の画像を読み取ったイメージ画像データのランレングスを符号化した符号化画像データを入力する画像データ入力手段と、該手段によって入力した符号化画像データから元のイメージ画像データの水平方向及び垂直方向の黒又は白ドット数を計測して、水平方向及び垂直方向のドット数計測配列データを作成するドット数計測配列データ作成手段を設けるようにしてもよい。
その場合、上記画像データ入力手段は、符号化画像データを通信により受信して入力する画像データ受信手段であるとよい。
【0018】
これらの建設図面認識装置において、トイレ認識手段が、上記分析の結果に基づきトイレ部屋を認識した場合に、その認識したトイレ部屋内に配置されているトイレ設備の種類も認識する手段を有するようにすることもできる。
【0019】
また、トイレ認識手段による認識結果を表示する表示手段を設けるのが望ましい。そして、その表示手段は、トイレ認識手段による認識結果を画像データ入力手段により入力したイメージ画像データと同時に表示する手段を有するとよい。その場合、トイレ認識手段による認識結果を画像データ入力手段により入力したイメージ画像データと重ね合わせて表示するようにするとよい。
さらに、表示手段に表示したトイレ認識手段による認識結果を外部からの指示により確定する認識結果確認手段を設けるとよい。
【0020】
【発明の実施の形態】
以下、この発明の実施形態を図面に基づいて具体的に説明する。
図1は、この発明による建設図面認識方法を実施する建設図面認識装置の一例の概略構成を示すブロック図であり、ハード構成とマイクロコンピュータによるソフト処理の機能とを混在して示している。
【0021】
この装置は、全体制御部1,画像読取部2,通信制御部3,メモリ4,自動スキュ補正部5,ドット数計測配列データ作成部6,輪郭・骨格認識部7,再マッピング制御部8,表示部9,操作入力部10,外部記憶装置11,印刷装置12,トイレ認識部13,及びこれらを接続するバス14などから構成される。
なお、これらの各部(又は装置)とバス14との間に必要なインタフェース部は図示を省略している。
【0022】
全体制御部1は、この建設図面認識装置全体の動作及び機能を制御するマイクロコンピュータ(CPU,ROM,RAM等から構成されるが代表して「CPU」と略称される)であり、自動スキュ補正部5並びにこの発明に係るドット数計測配列データ作成部6,輪郭・骨格認識部7,再マッピング制御部8,及びトイレ認識部13の各機能も、そのCPUのソフト処理によって実現できる。
【0023】
画像読取部2は、セットされた建築図面等の建設図面をスキャンしてその画像を読み取ってイメージ画像データを入力する画像データ入力手段であり、スキャン光学系及びCCDなどのイメージセンサとその駆動回路等からなる公知のイメージスキャナである。また、その読み取ったイメージ画像データを所定の解像度で2値化して白ドットと黒ドットの画像データにする回路も含んでいる。
【0024】
通信制御部3は、画像読取部2から画像データを取り込む代りに、外部から通信によりイメージ画像データ又はそのランレングスが符号化された符号化画像データを受信して入力する画像データ受信手段であると共に、この装置によって認識した建設図面の輪郭及び骨格データを外部装置へ送信することもできる。具体的にはFAXモデムやパソコン通信制御手段を含むものである。
【0025】
メモリ4は、画像読取部2によって読み取ったイメージ画像データ、通信制御部3によって受信したイメージ画像データ又は符号化画像データをはじめ、自動スキュ補正部5によってスキュ補正された画像データ、ドット数計測配列データ作成部6によって作成されたドット数計測配列データ、輪郭・骨格認識部7によって認識された輪郭及び骨格の認識結果、トイレ認識部13によって認識されたトイレ部屋の輪郭およびトイレ設備の位置や形状などのデータ、及び再マッピング制御部8によって再マッピングされた画像データ等を格納する大容量のRAMあるいはハードディスク等によるメモリである。
【0026】
自動スキュ補正部5は、メモリ4に格納した画像データの角度を調整して水平及び垂直の線分方向を装置の水平及び垂直の基準方向と一致させるように補正するためのものであり、公知の自動スキュ補正技術を用いることができる。
なお、この自動スキュ補正部5により修正された画像データは、再びメモリ4に格納される。
【0027】
ドット数計測配列データ作成部6は、自動スキュ補正がなされてメモリ4に格納されたイメージ画像データ又は符号化画像データ、及び後述する再マッピング制御部8によって再マッピングされた画像データに対して、その画像データを水平方向及び垂直方向の2方向に限定して、それぞれドット幅単位に黒又は白ドット数を計測(カウント)し、その結果により水平方向及び垂直方向のドット数計測配列データ(ヒストグラム)を作成してメモリ4に格納するドット数計測配列データ作成手段である。
【0028】
なお、読み取った建設図面がポジ図面(地の明度より図の明度が低い図面)の場合には黒ドット数を計測し、ネガ図面(地の明度より図の明度が高い図面)の場合には白ドット数を計測する。
【0029】
輪郭・骨格認識部7は、ドット数計測配列データ作成部6によって作成された水平及び垂直方向のドット数計測配列データに基づいて、建設図面の輪郭及び骨格を認識し、特に壁の位置,長さ,厚さ,種類等の壁データを抽出するための輪郭・骨格認識手段であり、その詳細は後で詳述する。
【0030】
なお、参照したドット数計測配列データでは、壁の認識(抽出)が困難あるいは不確実な場合は、図面の水平及び垂直方向のドット数計測配列データ作成範囲の再設定要求を全体制御部1へ送り、作成範囲を変更設定してドット数計測配列データ作成部6に再度ドット数計測配列データを作成させる。
【0031】
再マッピング制御部8は、輪郭・骨格認識部7により、壁と認識された部分により建設図面の範囲を限定して、その部分を他の認識情報をも考慮した上で、再度マッピングし、その限定した範囲毎にドット数計測配列データ作成部6に再度ドット数計測配列データを作成させるための画像データを作成するものであり、その際に原稿のノイズあるいは画像読取部2での読取ノイズも除去した画像データを作成する。このデータもメモリ4に格納される。
【0032】
トイレ認識部13は、輪郭・骨格認識部7で認識された壁の位置の認識処理結果を基に、壁で囲まれた矩形の閉ループを抽出し、その中から認識する建設図面の縮尺で換算した大きさで限定して「トイレ部屋」を認識し、さらにその内部に配置されている便器等の「トイレ設備」を認識するトイレ認識手段であり、実際上は全体制御部1のCPUによって処理される。その詳細は後で説明する。
【0033】
表示部9は、画像読取部2又は通信制御部3から入力し、自動スキュ補正部5によってスキュ補正された建設図面の画像データ、ドット数計測配列データ作成部6で作成された水平及び垂直方向の黒又は白のドット数計測配列データ、輪郭・骨格認識部7によって認識された壁データ、トイレ認識部で認識されたトイレ部屋の輪郭データやトイレ設備の認識データ、再マッピング制御部8によって再マッピングされた画像データ等を表示するためのものであり、例えば、CRTや液晶ディスプレイ等である。
【0034】
図2,図3は、表示部9の画面9aの表示状態の例を示すものであり、図2は輪郭・骨格認識部7によって認識された建設図面の輪郭及び骨格(この例では壁)のデータを再マッピング制御部8によって再マッピングした画像データ(認識結果)の表示例である。この表示例において、二重の実線は壁の両面を示し、細線は壁の芯線及びその延長線を示している。
【0035】
図3は、自動スキュ補正部5によってスキュ補正された建設図面の画像データ(入力したイメージ画像データ)と、上記再マッピングされた認識結果である壁の画像データを同時に重ね合わせて表示した例を示す。この場合、両者の識別が容易にできるように、スキュ補正された建設図面のイメージ画像データはハーフトーンで表示し(図3では図示の都合上点描で示している)、認識結果である壁の画像データを実線で表示する。
【0036】
また、表示部9がカラーの表示装置である場合には、両画像の色を変えて表示することにより、識別性を向上させることができる。例えば、スキュ補正された入力イメージ画像データは薄青色で、認識結果の画像データをオレンジ色あるいは緑色等で表示することにより、操作者は認識結果の部分を容易に識別できる。なお、認識結果の画像データとして、トイレ認識部13によるトイレの認識結果も、他の部分とは異なる輝度あるいは色の強調表示によって、同一画面に重ねて表示することができる。
【0037】
あるいは、表示部9の画面9aを分割して、スキュ補正された入力イメージ画像データと認識結果の画像データをその分割したそれぞれの画面に対比させて表示することもできる。
または、同一の画面上にスキュ補正された入力イメージ画像データと再マッピングされた認識結果の画像データを選択的に表示できるようにしてもよい。その場合には後述する操作入力部10に表示選定手段(キー等)を設ければよい。
【0038】
さらに、この表示部9は、認識結果を操作者が確認するための画面も表示する。すなわち、上記再マッピングされた認識結果の画像データを表示し、「この認識結果でよろしいですか?(YES/NO)」というような表示を行なう。これにより、壁の認識が正確にできているかどうかを操作者が確認することができる。
【0039】
操作入力部10は、各種操作指示や機能選択指令、編集データ等を入力するためのものであり、キーボードやマウスあるいはタッチパネル等である。
この操作入力部10は、表示選定手段としての機能も有し、表示部9の表示状態を操作者の所望の表示状態に変更することができる。例えばキー操作により、スキュ補正された建設図面の入力画像データと再マッピングされた認識結果の画像データを重ね合わせて表示させたり、どちらか一方のみを選択して表示させたりすることができる。
【0040】
さらに、操作入力部10は、上記「この認識結果でよろしいですか?(YES/NO)」の表示に対し、「YES」または「NO」の情報を入力するためのキー等の入力手段も有する。そして、「YES」が選択された場合は認識処理を終了し、「NO」が選択された場合は再認識処理あるいは訂正処理に移行する。これにより、操作者は認識結果の内容を確認し、それを確定することができる。
【0041】
外部記憶装置11は、入力した画像データや、ドット数計測配列データ作成部6で作成された黒ドット数計測配列データ、輪郭・骨格認識部7によって認識された壁データ、トイレ認識部13によって認識されたトイレ部屋の輪郭やトイレ設備のデータ、および再マッピング制御部8によって再マッピングされた認識結果の画像データ等を、フロッピディスク(FD)や光磁気ディスク(OMD)等の外部へ取り出し可能な記憶媒体に記憶させる記憶装置である。
印刷装置12は、上記の各種データを紙に印刷あるいは描画して出力するプリンタあるいはプロッタである。
【0042】
ここで、建設図面(主に建築図面)における「輪郭」と「骨格」及び「外壁」と「内壁」の定義について、表1及び表2と図4によって説明する。
【0043】
【表1】
Figure 0003648006
【0044】
【表2】
Figure 0003648006
【0045】
「輪郭」とは「外輪郭」のことであり、表1に○印で示すように外周壁の外部に面している箇所のみ(図4の(a)に示す二重線の外側の線の部分)を意味するケース1の場合と、外部に接する壁の全体(図4の(b)に太線で示す部分)を意味するケース2,3の場合とがある。
【0046】
「骨格」とは、壁の総て(図4の(b)(c)に太線で示す部分の両方)を意味するケース1,2の場合と、外輪郭を除く壁(図4の(c)に太線で示す部分のみ)を意味するケース3の場合とがある。これらの定義において、特に断わらない場合はケース1の通常の意味として扱われる。
【0047】
「外壁」とは表2に○印で示すように、外輪郭と同じく外周壁の外部に面している箇所のみ(図4の(a)に示す二重線の外側の線で示す部分)を意味するケース4の場合と、外部に接する壁の全体(図4の(b)に太線で示す部分)を意味するケース5の場合とがある。
【0048】
「内壁」とは表2に○印で示すように、ケース4,5とも外壁を除く壁(壁=外壁+内壁)であるが、ケース4の場合は図4の(a)に示す二重線の内側の線の部分と図4の(c)に太線で示す部分であり、ケース5の場合は図4の(c)に太線で示す部分である。これらの定義においても、特に断わらない場合はケース5の通常の意味として扱われる。
【0049】
次に、図1に示した建設図面認識装置による建設図面(主に家屋やビル等の建築図面)認識の手順について、図5乃至図8のフロー図とその他の図によって説明する。上記図6〜図8において、各ステップを「S」で示している。また、この実施例では、認識する建設図面がポジ図面であるものとする。
【0050】
図5は、建設図面の認識処理のメインルーチンを示すフローチャートである。図5の処理を開始すると、図1の画像読取部2にセットされた建設図面を読み取り、そのイメージ画像データを入力して、自動スキュ補正部5によって自動的にそのスキュを補正する。
【0051】
そして、ステップAのサブルーチンで、ドット数計測配列データ作成部6及び輪郭・骨格認識部7等により、その入力した画像データに対して建設図面の輪郭及び骨格をなす壁の位置の認識処理を実行する。この処理については後で詳述する。なお、イメージ画像データを符号化したデータを通信制御部3から入力するようにしてもよい。
【0052】
その後、トイレ認識部13により、ステップBの処理で、認識した壁によって囲まれた矩形閉ループ(部屋)の抽出を行なって、矩形閉ループの個数とそれぞれの矩形閉ループの輪郭を表わすデータを取得する。この矩形閉ループの抽出は、従来技術で実現できる。
【0053】
ステップCでは、ステップBで取得した矩形閉ループ総てを順番にループ処理するために、その回数カウンタのカウント値iの初期設定(i←1)を行なう。そして、ステップDにおいて回数カウンタのカウント値iが矩形閉ループの個数nを超えた(i>n)かどうかを判定する。超えていれば、当該図面の解析を終了し、ステップJに移行する。超えていなければ、当該i番目の矩形閉ループについて、ステップE〜ステップIの「トイレ(トイレ部屋)」の認識処理を行なう。
【0054】
ステップEでは、当該i番目の矩形閉ループが、「トイレ」としての縦及び横サイズの許容範囲に入っているかどうかを判定する。「トイレ」としての縦及び横サイズの許容範囲とは、この建設図面の縮尺で換算して、長辺のサイズが単位長の約2倍(和式建築の場合は1間)で、短辺サイズがほぼ単位長(和式建築の場合は半間)となり、長辺と短辺の長さの比が約2:1になっているのが一般的であるが、正方形型や長辺が少し長め又は短めになっている場合等もあるので、少し幅を持たせた範囲とする。
【0055】
例えば、矩形閉ループの長辺および短辺が次の範囲内にあれば「トイレ」としての許容範囲とする。
(単位長)≦長辺≦(単位長×3)
(単位長)≦短辺≦(単位長×3)
このi番目の矩形閉ループが、「トイレ」としての上記縦及び横サイズの許容範囲に入っていなければ、ステップIに移行する。許容範囲に入っていれば、ステップFに移行する。なお、洋式建設の場合の単位長は一般に「1メートル」である。
【0056】
次に、ステップFでは、当該解析領域の中に、トイレ設備が存在するかどうかの調査を目的にして、当該i番目の矩形閉ループで囲まれた領域について、水平及び垂直方向の黒又は白ドット数計測配列データを作成し、ステップGに移行する。
ステップGでは、その得られた黒または白ドット数計測配列データを分析して、トイレ設備の特徴を見出せた場合、当該i番目の矩形閉ループで囲まれた領域を「トイレ部屋」とみなして、ステップHに移行する。トイレ設備の特徴を認識できなかった場合は「トイレ部屋」とみなさず、ステップIに移行する。
【0057】
ステップHでは、当該i番目の矩形領域を「トイレ部屋」とみなして認識し、その矩形領域の輪郭を示す座標や、その中に配置されているトイレ設備の種類などの情報を、認識結果の情報としてメモリ4に格納した後、ステップIに移行する。
ステップIでは、次の矩形閉ループ領域を認識処理するために、矩形閉ループ・カウンタiを+1してから、ステップDに戻って上述の処理を繰り返し行う。
【0058】
以上のステップDからステップIまでの処理を行って認識した結果を、ステップJによって出力し、トイレの認識処理を終了する。
ステップJによる処理では、図26に示した画像データの「トイレ」部屋の位置及びサイズを建設図面からの「トイレ」部屋の認識結果としてメモリ4又は外部記憶装置11に記憶、あるいは表示部9に表示等の出力をする。
【0059】
ここで、トイレ設備の記述内容及びその射影(水平及び垂直方向の黒ドット数計測配列データ)の例を図28,図29,および図30に示す。
図28は洋式トイレの画像とその水平方向の射影を、図29は和式トイレの画像とその水平及び垂直方向の射影を、図30は男性用小便器の画像とその水平及び垂直方向の射影を、それぞれ示す黒ドット数計測配列データの例である。
【0060】
まず、図28に示す洋式トイレ設備の水平方向の射影を表わす黒ドット数計測配列データの特徴を説明する。この黒ドット数計測配列データは、図示のように垂直方向に上から順次a〜iの部分からなるが、a,c,e,g,iの部分は計数値がきわめて小さいので「平地」、b,hは計数値が比較的小さいピークなので「低山」、d,fは計数値が大きいピークなので「高山」とそれぞれ呼ぶことにする。
【0061】
すると、これらが、垂直方向に「平地→低山→平地→高山→平地→高山→平地→低山→平地」の順に表われ、さらに「低山」と「高山」との間に次のような関係があるとき、この水平方向の黒ドット数計測配列データは「洋式トイレ設備」の記述を表わしていると見なされる。
「低山」の高さが「高山」の高さの約1/5
「低山」と「高山」の位置の垂直方向の距離が単位長の約1/10
「高山」と「高山」の位置の垂直方向の距離が単位長の約1/3
ここで「単位長」は、前述のように一般に和式の場合は「半間:約91cm」であり、洋式の場合は「1m」である。
【0062】
次に、図29に示す和式トイレ設備の水平方向及び垂直方向の射影を表わす黒ドット数計測配列データの特徴について説明する。
図29において、和式トイレの画像の右側に示す水平方向の黒ドット数計測配列データは、a〜eの部分からなり、a,c,eの部分が「平地」、b,dが「高山」であるから、垂直方向に「平地→高山→平地→高山→平地」の順に表われ、その「高山」は次の条件にある。
「高山」の高さが単位長の約1/2
「高山」と「高山」の位置の垂直方向の距離が単位長の約1/4
【0063】
また、この和式トイレの画像の下側に示す垂直方向の黒ドット数計測配列データは、A〜Gの部分からなり、A,C,E,Gの部分が「平地」、B,Fが「低山」、Dが「高山」であるから、水平方向に「平地→低山→平地→高山→平地→低山→平地」の順に表われ、その「低山」と「高山」の間に次の関係がある。
「低山」の高さは「高山」の高さの約1/2
「低山B」と「高山」の位置の水平方向の距離が単位長の約1/10
「高山」と「低山F」の位置の水平方向の距離が単位長の約2/5
これらの特徴を持っているとき、当該黒ドット数計測配列データは和式トイレ設備の記述を表わしていると見なす。
【0064】
さらに、図30に示す男性用小便器の射影を表す水平方向及び垂直方向の黒ドット数計測配列データの特徴について説明する。
図30におて、男性用小便器の画像の右側に示す水平方向の黒ドット数計測配列データは、a〜iの部分からなり、a,c,e,g,iの部分が「平地」、d,fが「低山」、b,hが「高山」であるから、垂直方向に「平地→高山→平地→低山→平地→低山→平地→高山→平地」の順に表われる。
【0065】
そして、その「高山」と「低山」は次の条件にある。
「高山」の高さは単位長の約1/2
「低山」の高さは単位長の約1/10
「高山」と「高山」の位置の垂直方向の距離は単位長の約2/3
「低山」と「低山」の位置の垂直方向の距離は単位長の約1/5
【0066】
また、この男性用小便器の画像の下側に示す垂直方向の黒ドット数計測配列データは、A〜Gの部分からなり、A,C,E,Gの部分が「平地」、Fが「低山」、B,Dが「高山」であるから、水平方向に「平地→高山→平地→高山→平地→低山→平地」の順に表われる。
【0067】
そして、その「高山」と「低山」は次の条件にある。
「高山」の高さは単位長の約2/3
「低山」の高さは単位長の約1/10
「高山」と「高山」の位置の水平方向の距離は単位長の約1/2
「高山」と「低山」の位置の水平方向の距離は単位長の約1/10
これらの特徴を持っているとき、当該黒ドット数計測配列データは男性用小便器の記述を表わしていると見なす。
【0068】
なお、これらの例では各トイレ設備が横向きに配置されているが、縦向きに配置されている場合には、洋式トイレ設備の場合には垂直方向の黒ドット数計測配列データを分析する必要があり、和式トイレ設備あるいは男性用小便器の場合には、水平方向の黒ドット数計測配列データと垂直方向の黒ドット数計測配列データとが、図29あるいは図30に示した例と逆になる。
そのため、いずれにしても、水平方向と垂直方向の黒ドット数計測配列データを作成して、その各内容を分析する必要がある。
【0069】
次に、図5のステップAによる壁の認識処理について説明する。図6はその壁の位置を認識する処理のサブルーチンの内容を示すフロー図である。
まず、ステップ3において、自動スキュ補正された画像データの全体を調査対象とする。
【0070】
そして、ステップ4において、ネスト変数は0(初期値:画像全体を対象にするという意味)である。「ネスト変数」は建設図面の解析範囲をトップダウンで絞り込む時の絞り込み段階を表す。ネスト変数の値が大きいほど解析が深くなっている(細かい部分まで進んでいる)ことを表わす。
【0071】
ステップ5において、壁の位置の調査対象の領域を限定する処理を行なう。具体的には、この処理にいたる直前に調査領域の指示が示されていて、ここでは以降のステップ6〜9の処理のための準備(インタフェースの共通化)を行なうだけである。個々の調査対象領域の形は矩形図になる。最初はネスト変数が0なので図面全体を調査対象とする。
【0072】
ステップ6において、水平方向の黒ドット数計測配列データを作成する。これは、画像データの垂直方向の1ドット幅毎に水平方向の黒ドット数を計数(計測)し、その各計数データを保持するものである。
次にステップ7において、ステップ6で作成した水平方向の黒ドット数計測配列データに基づいて、壁の抽出(認識)処理を行なう。その処理手順については後述する。
【0073】
ステップ8では、ステップ6と同様に垂直方向の黒ドット数計測配列データを作成する。すなわち、画像データの水平方向の1ドット幅毎に垂直方向の黒ドット数を計数(計測)し、その各計数データを保持する。ステップ9では、その垂直方向の黒ドット数計測配列データに基づいて壁の抽出(認識)処理を行なう。
【0074】
そして、ステップ10において領域を分割する壁候補があるかどうかを判断する。ここで、水平あるいは垂直方向で1つでも領域を分割する壁候補があれば、ステップ11へ、1つもそのような壁候補がなければ、ステップ13へ進む。
【0075】
例えば、図9の(a)に示すような調査対象領域Sa内に領域を分割する壁候補Wdが存在するかどうかを判断する。
ステップ11では、ネスト変数を+1して再設定する。これは、現在の解析領域の中から壁を認識し、その壁を使って新たに区切られた現在の領域内の小領域に解析範囲を限定する段階に入ることを表わす。
【0076】
そして、ステップ12において、その調査対象の領域の細分化を行なう。具体的には、ステップ7,ステップ9で認識した壁候補の芯線(中心線)で、例えば図9の(a)に示すように、調査対象領域Saを壁候補W,Wdの細線で示す芯線によって領域Sa1,Sa2に2分割する。さらに、その最初の細分化領域(例えば最も左上の領域)に調査対象の位置づけを行なう。
【0077】
この新たに細分化された領域群の中での解析の順番には特別な順序が必要になる訳ではないが、例えば、領域開始位置のx,y座標値の小さい順番に行なうことなどが考えられる。図9の(b)は、壁候補によって細分化された各領域のネストNo.とその解析処理順序の一例を示し、実線は壁候補の芯線(中心線)を、▲1▼,▲2▼,▲3▼はネストNo.を、1〜8の小さい数字は処理順序をそれぞれ示している。
【0078】
その後、ステップ5に戻って上述の処理を繰り返し行なう。
ステップ10において、領域を分割すべき壁候補が1つもなかった場合は、ステップ13に進んで同次ネスト領域(図9の(b)で同じネストNo.の領域)の残りがないかどうかを判断する。残りがある場合は、ステップ15において同次ネストの次の領域に調査対象を進めてステップ5に戻る。
【0079】
同次ネスト領域の残りがない場合は、ステップ14へ進んでネスト変数が0であるかどうかを判断する。ネスト変数が0でない場合は、ステップ16においてネスト変数を−1して1段階上位のネスト領域の処理に戻り、ステップ13でその段階の残りのネスト領域があるかどうかを判断する。あればステップ15で次のネスト領域に調査対象を進めてステップ5に戻る。
【0080】
ステップ14でネスト変数が0の場合は、ステップ17へ進んで、ステップ7,9によって得られた各領域毎の壁候補の認識データをもとに各壁の位置及びサイズを確定し、その壁認識データをメモリ4に格納する。その格納方法については後述する。そして以上の処理の後、当該サブルーチンを終了する。
【0081】
次に図7に基づいて、図6のステップ7及び9の壁の抽出(認識)処理の手順を説明するが、それに先立って、建設図面である建築図面(家屋の間取り図)の画像データと、その全領域から作成した水平及び垂直方向の黒ドット数計測配列データの具体例を図10及び図11に示す。
これらの図において、(a)は建築図面の画像データ、(b)は水平方向の黒ドット数計測配列データ、(c)は垂直方向の黒ドット数計測配列データである。さらに、図10の(c)に示した垂直方向の黒ドット数計測配列データを拡大して図12に示す。
【0082】
図10の建築図面では、壁のシンボルが壁の両面と芯線によって表わされており、図11の建築図面では、壁のシンボルが壁の厚さ内の塗りつぶし(黒)によって表わされている。
この黒ドット数計測配列データにおいて、一番細い黒線の幅が1ドット幅であり、各黒線の長さが(a)に示す建築図面の画像データの1ドット幅毎の水平方向又は垂直方向の黒ドット数の計数値に相当する。
【0083】
これらの図から明らかなように、建築図面を構成する線分の大部分(90%以上)は水平方向又は垂直方向に描かれており、特に壁の部分で黒ドットの密度が高くなっている。そのため、水平方向及び垂直方向の黒ドット数計測配列データには、壁が存在する位置にピークが表われることになる。
【0084】
図7のフローの処理を開始すると、まずステップ21において、指定方向とクロスする方向(水平方向の黒ドット数計測配列データ作成の指定であれば垂直方向に、また垂直方向の指定であれば水平方向に)に、建設図面の基準の単位長に相当する所定間隔ごとに何回壁認識処理のループが可能かを確認する。
ここで、この単位長は一般の住宅の場合にはその最小壁間隔である半間あるいは1メートルであり、ここでは半間(91cm)とする。
【0085】
そして、水平方向の黒ドット数計測配列データに対しては垂直方向の画像幅より若干長い寸法を幅サイズLとし、垂直方向の黒ドット数計測配列データに対しては水平方向の画像幅より若干長い寸法を幅サイズLとして自動設定する。
また、半間サイズをhとし、この値は予め図面の縮尺データ及び半間長を入力するか又は計算による自動算出などにより決定する。
この幅サイズLと半間サイズをhからL/hを算出して小数点以下は切上げた数値を壁認識処理の大ループの実行回数nとする。図12にhで示す範囲が1回の大ループでの処理範囲である。
【0086】
次いで、ステップ22で大ループの回数カウンタのカウント値iの初期設定(i←1)を行なう。
そして、ステップ23において回数カウンタのカウント値iが可能な大ループの実行回数nを超えた(i>n)かどうかを判定する。超えていれば、当該領域の解析を終了する。超えていなければ、ステップ24において当該i番目の半間内の最初の解析処理として最高ピーク(図12にPで示す)に位置付け、その点をxpとする。このように半間毎に解析処理することにより、その中のピーク値が壁の一部である可能性が高いことになる。
【0087】
次に、ステップ25において壁の対象としての最初の条件であるピーク(極大値)の高さが半間(h)以上かどうかを判定する。その結果、ピークの高さが半間未満の場合には壁の認識不明として、次の半間先の解析に移るためにステップ34に進む。ピークの高さが半間以上ある時には次の解析ステップ26に移行する。このステップ26において、最高ピークの位置から左右両側(例えば、2W幅)を調べて、壁の厚みの範囲(両面の位置:W1,W2及び厚みWe=|W1−W2|)の絞り込みを行なう。ここでWは壁の厚みの意味で、例えばWmax と同じ値で使用する。
【0088】
この絞り込み方法としては、(最高ピーク値−min)*rate+min 以上の値を持つ最高ピーク位置の両端又は片側のピーク位置を、壁の両面の位置W1,W2又は最高ピーク位置xpが壁の一方の面の位置W1であるときの他方の面の位置W2として絞り込む方法がある。
【0089】
図13はこの絞り込み処理の説明図であり、(a)は最高ピーク位置xpの両側に壁の両面の位置W1,W2が存在する場合の例である。この場合は、最高ピーク位置xpは壁の芯線位置の候補と推定される。
【0090】
図13の(b)は最高ピーク位置xpが壁の一方の面の位置W1であり、その片側に他方の面の位置W2が存在する場合の例である。この場合は、長い方のピーク位置が図2に二重線で示した外輪郭の外壁位置の候補で、それに近接する短い方のピークがその内壁位置の候補と推定し得る。
【0091】
ここで、rateは解析の前半(ネスト変数の値が小さい時)は小さめに、後半(ネスト変数の値が大きい時)では大きめにする(例えば、最初はrate=0.70とする)。minは図13の(c)に示すように現在注目している最大ピークPの位置xpの左右両側2Wに拡がった4W幅程度の幅内の黒ドット数計測データの最小値である。
【0092】
このようにして、図7のステップ26で絞り込んだ結果を基に、ステップ27と28で壁としての妥当性を確認する。
まずステップ27においては、壁の厚みWeがその最大値Wmax(例えば30cm)を超えているか否かを判断し、超えている時は壁の認識不明として次の半間先の解析に移るためステップ34に進む。超えていなければステップ28へ進み、壁の厚みWeが最小値Wmin(例えば2.5cm)未満か否かを判断する。
【0093】
その結果、壁の厚みWeが最小値Wmin未満の場合はステップ30へ進み、そうでない時はステップ29に進む。ステップ30においては壁以外のピーク(例えば、畳,窓,引戸など)を認識したものとしてその情報を得る。
ステップ29においては、壁の候補となる領域から、壁としての条件を満たすかどうかを後述する2等分割探索法によって判定し、壁だと認識できたものについて、ステップ31において当該壁の両面の位置W1,W2及び厚みWeなどの情報を退避(記憶)してステップ32に進む。
【0094】
ステップ29で壁としての条件を満たさなければステップ32に移行する。ステップ32においては、壁の両面位置(座標)W1及びW2が共に現在処理を行なっている領域の内側かどうかを判定し、内側であればステップ33に進む。そうでなければステップ34に移行する。
【0095】
ステップ33では、現在の処理領域を細分化し、新しい細分領域を示す境界データとして、W1,W2,Weを退避(記憶)する。また、(W1+W2)/2 がその壁の芯線位置である。ステップ34では、次の半間先の処理を行なうために大ループの回数カウンタのカウント値iを+1してから、ステップ23に戻って上述の処理を繰り返し行なう。
【0096】
このようにして、対象となる黒ドット数計測配列データの一端(先頭要素)から半間毎に解析処理し、反対の端まで解析が終われば、今回の範囲の解析を終了する。水平方向と垂直方向の2方向のを黒ドット数計測配列データに対して別々に解析し、次回の解析範囲は、今回の解析で壁と認識できた範囲に限定する。
そのため、水平及び垂直方向の黒ドット数計測配列データを解析した結果を組み合わせて、総当たりの場合分けを行なう。
【0097】
この実施形態では、壁の芯線位置は隣の壁との間隔が半間単位の整数倍になるように配置されているとみなす。
そして、特徴的なピークが発見できる範囲までを解析データとして有効に使用する。逆に云えば、解析対象とするある範囲内に壁に相当する特徴が、水平方向及び垂直方向の両方合わせても一つも発見できなかったときは解析を終了する。1回の解析範囲は、最初は図面全体を対象にし、以後発見された壁で区切られた範囲に限定し直す方法をとって、壁のピークが発見されやすくし、且つ細部までの解析が容易になるようにする。
【0098】
次に、図7のステップ29において「壁としての条件を満たすか」を判断する2等分割探索法について、図8のフロー図によって説明する。
この図8に示すフローの処理を開始すると、まずステップ41において、2等分割探索法の初期設定を行なう。
すなわち、壁分析のための領域分割要素数nを1にし、壁部か非壁部かが未確定である分割要素の配列要素の最も小さいNo.を指すkを0に、また、調査領域の分割配列要素として、S〔0〕,E〔0〕それぞれに入力のスタート及びエンド画像アドレスを代入して初期設定とする。
【0099】
その後、ステップ42に進み、調査領域の開始アドレスS〔k〕と終了アドレスE〔k〕が等しければステップ53に移行し、等しくなければステップ43に進む。ステップ43においてはイメージ画像データの対象領域の分割処理を行ない、元の領域を小数以下の誤差を除いて2等分割する。
【0100】
すなわち、分割する前半の領域のスタート及びエンド画像アドレスS1,E1を、S1=S〔k〕,E1=(1/2)(S〔k〕+E〔k〕)とし、後半の領域のスタート及びエンド画像アドレスS2,E2を、S2=(1/2)(S〔k〕+E〔k〕)+1,E2=E〔k〕とする。
【0101】
それによって、例えば図14に示すように、建設図面のイメージ画像データ中において、壁候補が存在する線(一点鎖線で示す)の元の領域幅を最初は1の位置で2等分割する。その後壁の有無を判別できるまで、順次図14に示す2の位置で2回目、3の位置で3回目、4の位置で4回目というように2等分割を繰り返して細分化した領域でステップ44及び45の壁調査を行なうようにする。
ステップ44及び45においては、2等分割したそれぞれの領域P1,P2が壁で満たされているかどうかを調査し、ステップ46に進む。
【0102】
ここでは、指定された領域(スタートアドレスからエンドアドレスまで)の黒ドット数計測配列データを分析した結果、黒ドットのピーク(壁の厚みの広がりを保って)高さが、指定された領域の幅(長さ)と比較して次の▲1▼〜▲3▼の判断をする。
【0103】
▲1▼:5%以下のとき、 v=0:非壁部と判断
▲2▼:95%以上のとき、v=1:壁部と判断
▲3▼:上記以外のとき、 v=2:どちらとも判断できない
これを図に示すと図15に▲1▼,▲2▼,▲3▼で示すようになる。
【0104】
ステップ46においては、ステップ43で分割された前半の領域P1について、壁が存在するかどうか判断できない(v=2)場合はステップ47に進み、そうでなければステップ49に進む。ステップ47においては、ステップ43によって分割する前の領域範囲の格納配列要素S〔k〕,E〔k〕,v〔k〕を、ステップ43で分割された後半の領域データ(スタート及びエンド画像アドレスS2,E2と判定結果v2)で置き換える。
【0105】
ステップ48においては、新しい格納配列要素S〔n〕,E〔n〕,v〔n〕として、ステップ43で分割された前半の領域データ(スタート及びエンド画像アドレスS1,E1と判定結果v1)を退避し、ステップ51に移行する。
ステップ49においては、ステップ43によって分割する前の領域範囲の格納配列要素S〔k〕,E〔k〕,v〔k〕を、ステップ43で分割された前半の領域データ(スタート及びエンド画像アドレスS1,E1と判定結果v1)で置き換える。
【0106】
ステップ50においては、新しい格納配列要素S〔n〕,E〔n〕,v〔n〕として、ステップ43で分割された後半の領域データ(スタート及びエンド画像アドレスS2,E2と判定結果v2)を退避し、ステップ51に移行する。
ステップ51では、領域アドレスの新しい格納配列要素を示せるように新しい格納配列要素No.を示す変数nを+1してから、ステップ52に進む。
【0107】
ステップ52においては、壁部か非壁部かが未確定である分割要素の最も小さいNo.を指すk要素内の分類コードvが壁が存在するかどうか判らない内容(v=2)の場合は、ステップ42に戻って更に細分割する処理を繰り返す。そうでない場合はステップ53に進む。
ステップ53では、壁が存在するかどうか判らない内容が一つ解決したとして、その指標kを+1してからステップ54に進む。
【0108】
ステップ54においては、壁分析のための領域分割要素数nと、壁部か非壁部かが未確定である分割要素の配列要素の最も小さいNo.を指すkとが、等しくなっているかどうか判定し、等しければ壁認識のための分割処理が終了したと判断してステップ55へ進む。等しくなければステップ52へ戻る。
【0109】
ステップ55においては、分割された領域アドレス・データ(配列)が上昇順に並ぶよう、スタートアドレス順(昇順)にソートを実行してステップ56に移行する。すなわち、S〔0〕〜S〔n−1〕,E〔0〕〜E〔n−1〕,v〔0〕〜v〔n−1〕のデータをS〔 〕をキーにして昇順にソートする。
【0110】
ステップ56においては、壁部分及び非壁部分が連続している場合は、それぞれ縮退処理(一つの範囲で表現)して終了する。すなわち、連続したv〔 〕値が0又は1の状態の場合は、S〔 〕,E〔 〕データを圧縮する。
なお、この時に、壁が存在するかどうか判らない内容(v=2)の配列要素を含む場合は、その要素の前後の要素が壁を示している場合には壁データに変更し、また、非壁を示している場合には非壁データに変更して処理する。
【0111】
上述した二等分割探索処理による画像データ中の壁位置の分析例を図16に示す。この図16の(a)には壁のイメージ画像(斜線を施した部分)Wとその調査対象領域を破線で示しており、この調査領域は先に認識された壁候補の存在位置に沿って設定される。そして、S〔0〕=0がその調査領域の最初のスタートアドレス、E〔0〕=15が最初のエンドアドレスである。4,5,7等の途中の数字は分割後の対象領域のスタート又はエンドアドレス(いずれも画像アドレス)である。
【0112】
図16の(b)には変数n=1〜10の各調査段階における各対象領域のスタートアドレスS,エンドアドレスE,及び壁の有無に関する判断結果vとその確定状況、ソート状況、並びに縮退処理結果をkの値と共に示している。そして、最終的には画像アドレス5〜12に壁が存在することを認識している。
【0113】
次に、図17によって簡単な建設図面の壁認識例を説明する。
この図17には、ネスト変数(nest)と、領域分割状態と認識された実際の壁の状態とを示している。
まず、ネスト変数=0で建設図面の全体を壁位置の調査対象として壁の抽出を行なう。その結果(A)に実線で示すように建設図面の家屋部の輪郭と水平及び垂直方向の壁候補の位置を認識できたとする。しかし、その認識できた壁候補のうち実際の壁は(a)に示す部分だけであるが、それはまだ判らない。
【0114】
そこで次に、ネスト変数=1にして、(A)に示す認識できた壁候補の芯線で区切られた各矩形領域毎に調査対象領域を限定して壁の抽出を行なう。それによって(B)に▲1▼,▲2▼,▲3▼,▲4▼で示す4つの調査対象領域で新たに太線で示す壁候補が認識されると共に、先に認識された壁候補のうち、実際の壁は(a)に示された部分だけであったことが確認され、(b)に示す壁の状態が認識される。
【0115】
さらに、ネスト変数=2にして、(B)において新たな壁候補が認識された4つの領域▲1▼〜▲4▼をそれぞれその新たに認識された壁によって分割して、調査対象領域をさらに限定して壁の抽出を行なう。それによって、(C)に▲5▼,▲6▼で示す2つの調査対象領域で新たに太線で示す壁候補が認識され、(c)に示す壁の状態が認識される。
【0116】
その後、ネスト変数=3にして、(C)において新たな壁候補が認識された2つの領域▲5▼,▲6▼をそれぞれその新たに認識された壁によって分割して、調査対象領域をさらに限定して壁の抽出を行なう。その結果いずれの分割領域でも新たな壁候補を抽出できなにかった場合には、それによって壁位置の調査を終了し、(c)に示す壁位置が最終的な壁認識結果であることが確定し、そのデータをメ
モリに格納する。
【0117】
このように、分割した各調査対象領域のいずれでも新たな壁候補が抽出されなくなるまで、調査対象領域を細分化して壁の抽出を行なう。それによって、小さな壁でも確実に認識することができ、且つ壁候補のうち実際には壁が存在する部分と存在しない部分とを正確に判別することができる。
【0118】
ここでさらに、前述した図6のフローチャートに従った具体的な建設図面の認識処理手順の例を、図18乃至図20によって説明する。図18乃至図20は一連の図であるが、図示の都合上3枚の図に分割して示している。これらの図におけるS3〜S17は、図6のS3〜S17の各ステップに対応している。また、各段階での領域分割図と実壁状態も図示している。
【0119】
以下の説明ではステップを「S」と略称する。図18のS3で図面全体を調査対象とし、S4でネスト変数を0にする。S5で調査対象の限定を行なうがネスト変数が0なのでやはり図面全体を調査対象とする。S6〜S7で水平方向の黒ドット数計測配列データを作成して壁を抽出するが、輪郭以外の壁を発見できず、S8〜S9で垂直方向の黒ドット数計測配列データを作成して壁を抽出し、輪郭以外の壁を2か所に発見する。したがって、S10でYESになり、S11でネスト変数を1にし、S12で領域の細分化(各壁の位置で)をしてS5へ戻り、調査対象領域を一番左の領域に限定する。
【0120】
そして、S6〜S7で壁を2か所に発見し、S8〜S9では壁を発見できなかったがS10ではYESになり、S11でネスト変数を2にして「入れ子処理」を、図19のS14でNoになり、入れ子処理を終了するまで繰り返し実行し、左側の縦長の領域を新たに発見された2つの壁によって区切った3つの分割領域に対して、順次壁の抽出処理を行なう。
【0121】
この例ではそれによって新たな壁は発見されず、図19のS16でネスト変数を−1して1に戻し、真中の縦長の領域を調査対象領域として同様に壁の抽出を行なうが、この例では新たな壁候補は発見されない。
そこで、S15,S5で右側の縦長の領域に調査対象領域を変更し、S6〜S7で壁を1ケ所発見する。
【0122】
そこで、図20のS10でYESになり、S11でネスト変数を2にして「入れ子処理」を開始し、右側の縦長の領域を新たに発見された壁によって分割し、その各分割領域の壁抽出処理を順次行なう。その結果、いずれの分割領域でも新たな壁は発見されず、S13でNoになり入れ子処理を終了する。そして、S16でネスト変数を−1して1にするが、ネスト変数1の領域は残っていないので、さらにネスト変数を0に戻すが、その領域も残っていない。
そのため、壁抽出の処理は完了したと判断し、S17で抽出された壁候補の認識データにより各壁の位置及びサイズを確定し、そのデータをメモリに格納する。
【0123】
次に、上述のようにして認識した建設図面の輪郭及び骨格に相当する壁の位置及びサイズ等の情報(解析結果データ)を図1に示したメモリ4及び外部記憶装置11の記憶媒体に格納する内容の一例について、図21によって説明する。
図21において、(A)はネスト数、(B)は固有ネスト情報、(C)水平方向の壁情報、(D)は垂直方向の壁情報、(E)は水平な壁のモデル、(F)は垂直な壁のモデルを示す。
【0124】
ネスト数は、子ネストポインタの入れ子(親子関係)の深さを示し、壁が全然認識されなかった場合は、ネスト数=0である。
固有ネスト情報は、ネストNo.,NEXT兄弟ポインタ,子ネストポインタ,壁数(水平方向及び垂直方向),壁情報ポインタ(水平方向及び垂直方向)からなる。
【0125】
NEXT兄弟ポインタは、同時階層ネスト情報の次のアドレスを持つ。したがって、このポインタが示す場所の固有ネスト情報内のネストNo.は、当該処理のものと同じ値である。
子ネストポインタは、一階層下の階層ネスト情報の先頭データのアドレスを持つ。したがって、このポインタが示す場所の固有ネスト情報内のネストNo.は、当該処理のものに+1した値である。
【0126】
(B)に示す固有ネスト情報中の水平方向の壁情報ポインタが示すアドレスを先頭アドレスとして、(C)に示す水平方向の壁情報が格納される。
その壁情報は、次の水平方向の壁情報の先頭アドレスの位置を示すNEXTポインタ、壁の始点座標(x座標:a,y座標:b)、壁の横(x方向)サイズ:c、壁の縦(y方向)サイズ:壁の厚みdからなる。これらのa〜dによって(E)に示す水平な壁のモデルを記憶し、またそれを再現することができる。
【0127】
同様に、固有ネスト情報中の垂直方向の壁情報ポインタが示すアドレスを先頭アドレスとして、(D)に示す垂直方向の壁情報が格納される。
その壁情報は、次の垂直方向の壁情報の先頭アドレスの位置を示すNEXTポインタ、壁の始点座標(x座標:e,y座標:f)、壁の縦(y方向)サイズ:g、壁の横(x方向)サイズ:壁の厚みhからなる。これらのe〜hによって(F)に示す垂直な壁のモデルを記憶し、またそれを再現することができる。
【0128】
ところで、実際の建築図面の画像データに対して、その図面全体を調査対象領域として水平方向及び垂直方向の黒ドット数計測配列データを作成した例を図10及び図11に示したが、その黒ドット数計測配列データに基づいて壁候補を認識した次の段階で、その図面の領域を認識した壁候補によって分割し、調査対象領域を限定した画像データに基づく水平及び垂直方向の黒ドット数計測配列データの作成例を、図22乃至図24に示す。
【0129】
図23及び図24は、図22よりさらに調査対象領域を細分化した例である。このようにして、新たな壁候補が発見されなくなるまで、調査対象領域を細分化して、その画像データによる水平及び垂直方向の黒ドット数計測配列データを作成し、壁の抽出を行なう。
【0130】
図25は、壁の芯線を認識し、その結果から矩形閉ループを抽出する処理に使用した入力サンプル元図面(イメージ画像)を、表示部9で再マッピングさせた画像データの表示例である。
【0131】
図26は、その認識した輪郭・骨格である壁による矩形閉ループ及び「トイレ部屋」の認識結果を表示した例を示す図である。トイレ部屋と認識した矩形領域に斜線を施して強調表示しているが、表示輝度を高めたり、他の部分と表示色を異ならせたりして目立つようにしてもよい。
また、図27は、スキュ補正された建設図面の入力画像データを認識結果の矩形閉ループ及びトイレの画像データと重ね合わせて表示した例である。
【0132】
この発明によれば、カスレや凹凸によって所々途切れたり結合したりしている図面についても、まず、部屋レベルの画像場所の絞り込みを行って、その後、その中のシンボル画像の特徴的な部分を認識することができるので、「トイレ」部屋認識処理をより正確に実施することができる。
【0133】
なお、この実施形態ではポジ画像の建設図面を認識対象としたので、その2値化した画像データの水平及び垂直方向の黒ドット数を計測(カウント)して黒ドット数計測配列データを作成したが、ネガ画像の建設図面を認識対象とする場合には、その2値化した画像データの水平及び垂直方向の白ドット数を計測(カウント)して白ドット数計測配列データを作成すれば、壁の認識を同様に行なうことができる。
【0134】
また、上述のようにして認識した建設図面の輪郭及び骨格に関する認識データは、CAD用ベクトルデータに変換をすることができ、異機種間のCADデータの互換性を得ることができる。
【0135】
さらに、この実施形態では黒ドットからなる部分の輪郭から「トイレ部屋」に該当する大きさの矩形閉ループを抽出し、その矩形閉ループ毎に妥当性をチェックして、「トイレ部屋」の認識を行う。図面全体の間取り認識処理につなげられることが考えられる。
さらに、その矩形閉ループ毎にそれぞれ内部の領域を水平及び垂直方向の黒又は白ドット数を計測することによって、射影特徴を抽出し、トイレ設備の有無、ある場合の種類などを認識できる。それらの認識は、多少の途切れやノイズのある画像データからも精度よく実現できるので、次に示すような利点がある。
【0136】
(1)ノイズ及び記述線の途切れ付きの画像図面でも、大きさを勘案した矩形領域と、その中のトイレ形状の認識を行うことによって、「トイレ」の記述を確実に認識できる。
(2)定規などを使用せずにフリーハンドで記述された図面でも、壁やトイレ形状の記述において線の揺らぎを相殺すると、水平及び垂直方向への正対性がよければ認識することができる。
【0137】
なお、手書き図面で家図面の正対方向のスキュ補正が困難な場合、手書き図面を方眼紙に記述して、スキュ補正はその方眼紙のマス目を利用して行なうようにするとよい。
また、やむをえず利用者の手作業に委ねる場合、スキャナ読込時にできるだけスキュ補正が不要な正対する図面を作成するように注意を促すマニュアルを添えるとよい。
【0138】
【発明の効果】
以上説明してきたように、この発明の建設図面認識方法及び認識装置によれば、従来正確な認識が困難であった線が途切れたり直線が多少傾いて記載された手書き図面や、青焼きなどの比較的コントラストが低い図面や、ノイズの多い図面あるいは古い建設図面など、記載状態や画質の悪い建設図面でも、簡単にその輪郭及び骨格を形成する壁及び「トイレ部屋」あるいはさらに「トイレ設備」の種類なども精度よく認識することができる。
【0139】
特に、最初に図面全体に対して認識した輪郭及び骨格に基づいて、その認識対象を細分化するようにその対象範囲を限定し、その範囲毎に建設図面のイメージ画像データの水平方向及び垂直方向の黒又は白ドット数計測配列データを作成し、その両方向のドット数計測配列データに基づいて上記限定した各範囲内の建設図面の輪郭及び骨格を認識することを、新たな輪郭又は骨格を認識できなくなるまで繰り返すようにすれば、短い壁等の骨格をも確実に認識でき、且つ実際には存在しない部分の輪郭や骨格を誤認識する恐れもなくなる。
【0140】
また、その認識したデータをパソコンなどに取り込んで利用すれば、増改築の際の見取り図などの建設図面を容易且つ迅速に作成することが可能になる。
さらに、建設図面のイメージデータをランレングス符号化した画像データとしてFAX通信等によって入力し、その建設図面の輪郭及び骨格を認識することもできる。
【0141】
さらに、トイレ認識手段により認識した結果を表示することにより、その認識結果を確認し、確定することができる。その場合、入力した建設図面のイメージ画像データをトイレの認識結果と同時にあるいは選択的に表示することにより、その表示内容を比較検討して、誤認識箇所や認識できなかった部分を見つけることができる。入力したイメージ画像データと認識結果とを重ね合わせて表示すれば、誤認識箇所や認識できなかった部分の発見及びその修正が一層容易になる。
【図面の簡単な説明】
【図1】この発明による建設図面からのトイレ認識方法を実施する建設図面認識装置の一例の概略構成を示すブロック図である。
【図2】図1の表示部9における再マッピングされた認識結果の画像データの表示例を示す図である。
【図3】同じくスキュ補正された建設図面の入力画像データを認識結果の画像データと重ね合わせて表示した例を示す図である。
【図4】建設図面における外輪郭,外壁,内壁及び骨格の定義を説明するための図である。
【図5】図1に示した建設図面認識装置による建設図面認識処理のメインルーチンを示すフローチャートである。
【図6】図5におけるステップAの壁の位置認識処理のサブルーチンの詳細を示すフロー図である。
【図7】 図6におけるステップ7及び9の壁の抽出(認識)処理のサブルーチンのフロー図である。
【図8】同じく壁の位置を認識する2等分探索法を実行処理するフロー図である。
【図9】調査対象領域内の壁候補とそれによる領域分割例及び壁候補によって細分化された領域群のネストNo.とその解析処理順序の一例を示す説明図である。
【図10】建築図面(家屋の間取り図)の画像データとその全領域から作成した水平及び垂直方向の黒ドット数計測配列データの具体例を示す図である。
【図11】同じくその他の具体例を示す図である。
【図12】図10の(c)に示した垂直方向の黒ドット数計測配列データを拡大して示す図である。
【図13】図7のステップ26におけるピークの両側又は片側に壁の両面を絞り込む処理の説明図である。
【図14】図8のステップ43における領域幅の分割処理の説明図である。
【図15】図8のステップ44,45における対象領域の壁調査による判断の説明図である。
【図16】図8に示した2等分割探索処理による壁のサンプル(壁候補)の分析例を示す説明図である。
【図17】この発明による簡単な建設図面の壁認識例の説明図である。
【図18】図6のフローチャートに従った具体的な建設図面の認識処理手順の例を示す説明図である。
【図19】図18の続きの説明図である。
【図20】図19の続きの説明図である。
【図21】解析結果データのメモリへの格納内容の一例を示す説明図である。
【図22】図10に示した建築図面の調査対象領域を限定した画像データとそれに基づく水平及び垂直方向の黒ドット数計測配列データの例を示す図である。
【図23】図22より調査対象領域をさらに限定した画像データとそれに基づく水平及び垂直方向の黒ドット数計測配列データの例を示す図である。
【図24】図22より調査対象領域をさらに限定した他の部分の画像データとそれに基づく水平及び垂直方向の黒ドット数計測配列データの例を示す図である。
【図25】図1の表示部9における再マッピングされた認識結果の画像データの表示例を示す図である。
【図26】図25に示した画像データから認識した輪郭・骨格である壁による矩形閉ループ及び「トイレ部屋」の認識結果を表示した例を示す図である。
【図27】同じくスキュ補正された建設図面の入力画像データを認識結果の画像データと重ね合わせて表示した例を示す図である。
【図28】建設図面に記述された洋式トイレ設備の画像とその水平方向の射影をなす黒ドット数計測配列データの特徴を示す図である。
【図29】建設図面に記述された和式トイレ設備の画像とその水平方向及び垂直方向の各射影をなす黒ドット数計測配列データの特徴を示す図である。
【図30】図建設面に記述された男性用小便器の画像とその水平方向及び垂直方向の各射影をなす黒ドット数計測配列データの特徴を示す図である。
【符号の説明】
1:全体制御部(CPU) 2:画像読取部
3:通信制御部 4:メモリ
5:自動スキュ補正部
6:ドット数計測配列データ作成部
7:輪郭・骨格認識部 8:再マッピング制御部
9:表示部 10:操作入力部
11:外部記憶装置 12:印刷装置
13:トイレ認識部 14:バス

Claims (11)

  1. 建設図面の画像を読み取ったイメージ画像データの水平方向及び垂直方向の黒又は白ドット数を計測して水平方向及び垂直方向のドット数計測配列データを作成し、
    その作成した両方向のドット数計測配列データに基づいて建設図面の輪郭及び骨格を認識し、
    その認識した輪郭線又は骨格で囲まれた領域のサイズが許容範囲内か否か判定し、
    許容範囲内と判定された領域のイメージ画像データについて、再度水平方向及び垂直方向の黒又は白ドット数を計測してドット数計測配列データを作成し、
    その作成したドット数計測配列データの特徴からトイレ設備の特徴を見出せるか否かを分析し、
    その分析の結果、トイレ設備の特徴を見出した場合に、前記許容範囲内と判定された領域がトイレ部屋であると認識することを特徴とする建設図面からのトイレ認識方法。
  2. 請求項1に記載の建設図面からトイレを認識する方法において、
    前記分析の結果、トイレ設備の特徴を見出した場合に、前記許容範囲内と判定された領域がトイレ部屋であると認識すると共に、そのトイレ部屋内に配置されているトイレ設備の種類も認識するようにしたことを特徴とする建設図面からのトイレ認識方法。
  3. 建設図面の画像を読み取ったイメージ画像データを入力する画像データ入力手段と、
    該手段によって入力したイメージ画像データの水平方向及び垂直方向の黒又は白ドット数を計測して、水平方向及び垂直方向のドット数計測配列データを作成するドット数計測配列データ作成手段と、
    該手段によって作成された両方向のドット数計測配列データに基づいて建設図面の輪郭及び骨格を認識する輪郭・骨格認識手段と、
    該手段によって認識した輪郭又は骨格で囲まれた領域のサイズが許容範囲内か否か判定する手段と、
    該手段により許容範囲内と判定された領域について、前記ドット数計測配列データ作成手段に、再度前記イメージ画像データの水平方向及び垂直方向の黒又は白ドット数を計測させて水平方向及び垂直方向のドット数計測配列データをそれぞれ作成させ、作成されたドット数計測配列データの特徴からトイレ設備の特徴を見出せるか否かを分析し、その分析の結果、トイレ設備の特徴を見出した場合に、前記許容範囲内と判定された領域がトイレ部屋であると認識するトイレ認識手段と
    を有することを特徴とする建設図面認識装置。
  4. 請求項に記載の建設図面認識装置において、前記画像データ入力手段が、建設図面の画像を読み取ってそのイメージ画像データを入力する画像読取手段である建設図面認識装置。
  5. 建設図面の画像を読み取ったイメージ画像データのランレングスを符号化した符号化画像データを入力する画像データ入力手段と、
    該手段によって入力した符号化画像データから元のイメージ画像データの水平方向及び垂直方向の黒又は白ドット数を計測して、水平方向及び垂直方向のドット数計測配列データを作成するドット数計測配列データ作成手段と、
    該手段によって作成された両方向のドット数計測配列データに基づいて建設図面の輪郭及び骨格を認識する輪郭・骨格認識手段と、
    該手段によって認識した輪郭又は骨格で囲まれた領域のサイズが許容範囲内か否か判定する手段と、
    該手段により許容範囲内と判定された領域について、前記ドット数計測配列データ作成手段に、再度前記イメージ画像データの水平方向及び垂直方向の黒又は白ドット数を計測させて水平方向及び垂直方向のドット数計測配列データをそれぞれ作成させ、作成されたドット数計測配列データの特徴からトイレ設備の特徴を見出せるか否かを分析し、その分析の結果、トイレ設備の特徴を見出した場合に、前記許容範囲内と判定された領域がトイ レ部屋であると認識するトイレ認識手段と
    を有することを特徴とする建設図面認識装置。
  6. 請求項記載の建設図面認識装置において、前記画像データ入力手段が、前記符号化画像データを通信により受信して入力する画像データ受信手段である建設図面認識装置。
  7. 請求項乃至のいずれか一項に記載の建設図面認識装置において、前記トイレ認識手段が、前記分析の結果に基づきトイレ部屋を認識した場合に、その認識したトイレ部屋内に配置されているトイレ設備の種類も認識する手段を有することを特徴とする建設図面認識装置。
  8. 請求項乃至のいずれか一項に記載の建設図面認識装置において、前記トイレ認識手段による認識結果を表示する表示手段を設けたことを特徴とする建設図面認識装置。
  9. 請求項に記載の建設図面認識装置において、前記表示手段は、前記トイレ認識手段による認識結果を前記画像データ入力手段により入力したイメージ画像データと同時に表示する手段を有することを特徴とする建設図面認識装置。
  10. 請求項記載の建設図面認識装置において、前記トイレ認識手段による認識結果を前記画像データ入力手段により入力したイメージ画像データと同時に表示する手段は、前記認識結果を前記イメージ画像データと重ね合わせて表示する手段であることを特徴とする建設図面認識装置。
  11. 請求項8乃至10のいずれか一項に記載の建設図面認識装置において、前記表示手段に表示した前記トイレ認識手段による認識結果を外部からの指示により確定する認識結果確認手段を設けたことを特徴とする建設図面認識装置。
JP35800896A 1996-12-31 1996-12-31 建設図面からのトイレ認識方法及び建設図面認識装置 Expired - Fee Related JP3648006B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35800896A JP3648006B2 (ja) 1996-12-31 1996-12-31 建設図面からのトイレ認識方法及び建設図面認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35800896A JP3648006B2 (ja) 1996-12-31 1996-12-31 建設図面からのトイレ認識方法及び建設図面認識装置

Publications (2)

Publication Number Publication Date
JPH10198805A JPH10198805A (ja) 1998-07-31
JP3648006B2 true JP3648006B2 (ja) 2005-05-18

Family

ID=18457073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35800896A Expired - Fee Related JP3648006B2 (ja) 1996-12-31 1996-12-31 建設図面からのトイレ認識方法及び建設図面認識装置

Country Status (1)

Country Link
JP (1) JP3648006B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4868990B2 (ja) * 2006-08-31 2012-02-01 キヤノン株式会社 閉ループ自動認識装置及び閉ループ自動認識方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07234892A (ja) * 1993-12-28 1995-09-05 Takenaka Komuten Co Ltd 建築図面作成装置
JPH08180082A (ja) * 1994-12-21 1996-07-12 Takenaka Komuten Co Ltd 建築図面作成装置
JP3516502B2 (ja) * 1995-02-13 2004-04-05 株式会社リコー 建設図面認識方法及び認識装置
JP2945601B2 (ja) * 1995-03-06 1999-09-06 日本電信電話株式会社 対話型図面入力方法
JP3224500B2 (ja) * 1995-10-05 2001-10-29 日本電信電話株式会社 図面認識方法
JP3516541B2 (ja) * 1995-10-27 2004-04-05 株式会社リコー 建設図面の寸法情報認識方法及び認識装置
JP3516540B2 (ja) * 1995-10-27 2004-04-05 株式会社リコー 建設図面認識方法及び認識装置
JP3595393B2 (ja) * 1995-10-30 2004-12-02 株式会社リコー 建設図面認識方法及び認識装置

Also Published As

Publication number Publication date
JPH10198805A (ja) 1998-07-31

Similar Documents

Publication Publication Date Title
JP2011192274A (ja) フォームテンプレートを定義する方法及び装置
JP3571128B2 (ja) 図面の寸法数値認識方法及びその装置
JP3648006B2 (ja) 建設図面からのトイレ認識方法及び建設図面認識装置
JP3658468B2 (ja) 建築図面認識方法及び認識装置
JP3679241B2 (ja) 建設図面認識方法及び認識装置
JP3678523B2 (ja) 建設図面認識方法及び建設図面認識装置
JP3645404B2 (ja) 建築図面からドアを認識する方法及びその装置
JP3516541B2 (ja) 建設図面の寸法情報認識方法及び認識装置
JP3961595B2 (ja) 建築図面認識方法及び認識装置
JP3516502B2 (ja) 建設図面認識方法及び認識装置
JP3595393B2 (ja) 建設図面認識方法及び認識装置
JP3516540B2 (ja) 建設図面認識方法及び認識装置
JP3686214B2 (ja) 建設図面認識方法及び認識装置
JP3678521B2 (ja) 建設図面認識方法及び認識装置
JP3701778B2 (ja) 建築図面認識方法及び建築図面認識装置
KR20230174318A (ko) 인공지능 모델을 이용하여 건축도면으로부터 개산견적을 산출하는 방법
JP3545481B2 (ja) 画像認識方法及びその装置
JP3607433B2 (ja) 建設図面の電気記号抽出方法及びその装置
Frischknecht et al. A raster-based approach for the automatic interpretation of topographic maps
JP2000187730A (ja) 建設図面の画像データ処理方法及びその装置とそのための制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP3070801B2 (ja) 図面管理方法
JPH11259550A (ja) 建設図面認識方法及び認識装置とそのプログラムを記録したコンピュータ読取り可能な記録媒体
JP2000194744A (ja) 建設図面の画像デ―タ処理方法及びその装置とそのための制御プログラムを記録したコンピュ―タ読み取り可能な記録媒体
Wise Extracting raster GIS data from scanned thematic maps
JP3595394B2 (ja) 図面認識方法及びその装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041109

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090218

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100218

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110218

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120218

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130218

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130218

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees