JP3915583B2 - 孔内面観察方法及び孔内面観察装置 - Google Patents
孔内面観察方法及び孔内面観察装置 Download PDFInfo
- Publication number
- JP3915583B2 JP3915583B2 JP2002117162A JP2002117162A JP3915583B2 JP 3915583 B2 JP3915583 B2 JP 3915583B2 JP 2002117162 A JP2002117162 A JP 2002117162A JP 2002117162 A JP2002117162 A JP 2002117162A JP 3915583 B2 JP3915583 B2 JP 3915583B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- edge
- distortion
- developed
- hole
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Input (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、筒等の孔内面を観察する方法及び装置に関するものである。
【０００２】
【従来の技術】
筒等の孔内面を観察するための装置が特開平６−９４４５２号公報、特開平６−２９２２０４号公報に開示されている。これらの従来装置では、コーンミラーに映される空洞内壁面の鏡像をカメラで撮影し、この撮影画像を直交座標平面における画像に展開している。
【０００３】
【発明が解決しようとする課題】
しかし、孔の中心とコーンミラーの円錐面の軸線とがずれている場合、直交座標平面上に展開された画像は歪んだものとなる。このような歪んだ展開画像の座標−輝度値の情報を用いて孔内面の定量的な評価（例えば、孔内面上にある欠点の大きさの評価）を精度良く行うことは困難である。
【０００４】
本発明は、観察対象の孔内面の定量的な評価の精度を向上することを目的とする。
【０００５】
【課題を解決するための手段】
そのために請求項１の発明は、観察対象の孔内面を撮影手段で撮影する撮影工程と、前記撮影手段によって得られた撮影画像を直交座標平面における展開画像に展開する展開工程と、前記撮影画像の歪み、又は前記展開画像の歪みを補正する補正工程とを備える孔内面観察方法とした。
【０００６】
歪みを補正した撮影画像を展開した画像は、歪みのない展開画像となる。撮影画像を展開した画像の歪みを補正した画像は、歪みのない展開画像となる。歪みのない展開画像は、孔内面の定量的な評価を精度良く行うことを可能にする。
【０００７】
さらに請求項１の発明は、前記観察対象の孔内面の端縁を補正用情報源とし、前記孔内面の端縁に対応する前記展開画像における端縁展開画像を補正用情報とし、歪みのない前記端縁展開画像の基準座標を予め推定して設定しておき、前記補正工程は、前記端縁展開画像の座標を前記基準座標に変換するように、前記展開画像の座標を補正する工程とした。
【０００８】
端縁展開画像に歪みがない場合には、端縁展開画像の座標は、基準座標に一致する。端縁展開画像に歪みがある場合、展開画像は、端縁展開画像の座標を基準座標に一致させるように座標補正される。このような座標補正は、歪みのない展開画像をもたらす。
【０００９】
請求項２の発明では、請求項１の発明において、前記撮影工程は、前記観察対象の孔内面をコーンミラーに映した鏡像を前記撮影手段で撮影してコーンミラー画像を得る工程とし、前記展開工程は、前記コーンミラー画像を展開画像に展開する工程とした。
【００１０】
コーンミラーに映した孔内面の鏡像は、環状であり、コーンミラー画像を展開した画像は、帯状である。歪みのある帯状の展開画像は、歪みのない帯状の画像に補正される。
【００１１】
請求項３の発明では、観察対象の孔内面を撮影する撮影手段と、前記撮影手段によって得られた撮影画像を直交座標平面における展開画像に展開する展開手段と、前記撮影画像の歪み、又は前記展開画像の歪みを補正する歪補正手段とを備える孔内面観察装置を構成した。
【００１２】
歪補正手段による歪み補正は、歪みのない展開画像をもたらす。歪みのない展開画像は、孔内面の定量的な評価を精度良く行う上で有効である。
さらに請求項３の発明は、前記観察対象の孔内面の端縁を補正用情報源とし、前記孔内面の端縁に対応する前記展開画像における端縁展開画像を補正用情報とし、歪みのない前記端縁展開画像の基準座標を記憶する基準座標記憶手段と、前記端縁展開画像の座標を記憶する計測座標記憶手段と、前記端縁展開画像の座標を前記基準座標に変換するように、前記展開画像の座標を補正する座標補正手段とを備えた前記歪補正手段を構成した。
【００１３】
端縁展開画像に歪みがある場合、座標補正手段は、端縁展開画像の座標を基準座標に変換するように、前記展開画像の座標を補正する。
請求項４の発明では、請求項３において、前記観察対象の孔内面を映すコーンミラーと、前記観察対象の孔内面をコーンミラーに映した鏡像を撮影するカメラとを備えた前記撮影手段を構成し、前記展開手段は、前記撮影手段によって撮影されたコーンミラー画像を展開画像に展開し、前記歪補正手段は、前記コーンミラー画像の歪み、又は前記展開画像の歪みを補正するようにした。
【００１４】
コーンミラー画像における歪み、又は展開画像における歪みは、歪補正手段によって補正される。
【００１５】
【発明の実施の形態】
以下、本発明を具体化した第１の実施の形態を図１〜図６に基づいて説明する。
【００１６】
図１に示すように、ＣＣＤカメラ１１の前方にはコーンミラー１２が配置されており、コーンミラー１２の後方には照明装置１３が設置されている。コーンミラー１２の軸線１２１とＣＣＤカメラ１１の光軸１１１とは、一致させてある。ＣＣＤカメラ１１とコーンミラー１２との間には円筒形状の観察対象１４が配置される。観察対象１４は、往復駆動手段１５によって光軸１１１の方向に往復移動される。
【００１７】
ＣＣＤカメラ１１には第１の記憶手段１６及び撮影指示手段１７が信号接続されている。撮影指示手段１７は、観察対象１４が所定の位置に配置される毎にＣＣＤカメラ１１に撮影指示信号を出力する。図４（ｂ）は、コーンミラー１２が観察対象１４に対して相対移動配置された状態を表しており、観察対象１４とコーンミラー１２との位置関係は、観察対象１４が前記所定の位置に配置された状態を表す。コーンミラー１２の実線位置Ｓ１は、撮影指示手段１７がＣＣＤカメラ１１に対して最初の撮影指示信号を出力する相対位置である。以後、撮影指示手段１７は、コーンミラー１２が鎖線位置Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，Ｓ７に相対移動配置される毎に撮影指示信号をＣＣＤカメラ１１に出力する。
【００１８】
ＣＣＤカメラ１１は、撮影指示手段１７からの撮影指示信号の入力に応答してコーンミラー１２における鏡像を撮影する。コーンミラー１２に映された鏡像は、観察対象１４の円周面形状の孔内面１４１を映している。ＣＣＤカメラ１１及びコーンミラー１２は、観察対象１４の孔内面１４１を撮影する撮影手段を構成する。
【００１９】
図４（ａ）の画像Ｇ１は、コーンミラー１２が実線位置Ｓ１に相対移動配置されたときにＣＣＤカメラ１１によって撮影された画像、即ちコーンミラー１２における鏡像を撮影したコーンミラー画像である。画像Ｇ２，Ｇ３，Ｇ４，Ｇ５，Ｇ６，Ｇ７は、コーンミラー１２が鎖線位置Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，Ｓ７に相対移動配置されたときにＣＣＤカメラ１１によって撮影された画像である。各画像Ｇ１〜Ｇ７のうちの円環形状の白抜き部分は、コーンミラー１２の軸線１２１の方向に区分けして分割撮影した分割画像ｇ１，ｇ２，ｇ３，ｇ４，ｇ５，ｇ６，ｇ７を表す。
【００２０】
第１の記憶手段１６は、ＣＣＤカメラ１１によって得られた鏡像の画像における輝度値を極座標系の座標と共に記憶する。図２（ａ）の画像Ｇ（ｉ）〔ｉは１〜６の整数〕は、画像Ｇ１〜Ｇ６のうちのいずれか１つを表し、ｇ（ｉ）は、画像Ｇ（ｉ）における円環形状の白抜き部分の分割画像を表す。図２（ｂ）の画像Ｇ（ｉ＋１）は、画像Ｇ２〜Ｇ７のうちのいずれか１つを表し、ｇ（ｉ＋１）は、画像Ｇ（ｉ＋１）における円環形状の白抜き部分の分割画像を表す。ＣＣＤカメラ１１の光軸１１１の位置を表す点Ｒｏは、極座標系の原点に設定されている。Ｚは極座標軸である。
【００２１】
第１の記憶手段１６には座標変換手段１８が信号接続されている。座標変換手段１８は、第１の記憶手段１６において記憶されている座標−輝度値の情報における座標を極座標系からＸ−Ｙ直交座標系に変換する。図４（ｂ）のＨ１，Ｈ２，Ｈ３，Ｈ４，Ｈ５，Ｈ６，Ｈ７は、画像Ｇ１〜Ｇ７における分割画像ｇ１〜ｇ７を帯形状に展開した断片画像である。図３（ａ）のＨ（ｉ），Ｈ（ｉ＋１）は、直交座標系上の断片画像である。断片画像Ｈ（ｉ）は断片画像Ｈｉ（＝Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｈ５，Ｈ６）のことであり、Ｈ（７）はＨ７のことである。図２（ａ）に示す極座標系上の点ｒ11，ｒ12，ｒ13，ｒ14，ｒ21，ｒ22，ｒ23，ｒ24は、図３（ｂ）における直交座標系上では点ｈ12，ｈ13，ｈ14，ｈ21，ｈ22，ｈ23，ｈ24に変換される。図２（ｂ）に示す極座標系上の点ｒ31，ｒ32，ｒ33，ｒ34，ｒ41，ｒ42，ｒ43，ｒ44は、図３（ａ）における直交座標系上では点ｈ31，ｈ32，ｈ33，ｈ34，ｈ41，ｈ42，ｈ43，ｈ44に変換される。
【００２２】
座標変換手段１８には第２の記憶手段１９が信号接続されている。第２の記憶手段１９は、座標変換手段１８によって座標変換された直交座標系上で表される座標−輝度値を記憶する。
【００２３】
第１の記憶手段１６、座標変換手段１８及び第２の記憶手段１９は、コーンミラー１２の軸線１２１の方向に区分けして分割撮影した分割画像ｇ１〜ｇ７を直交座標平面における断片画像Ｈ１〜Ｈ７に展開する展開手段２３を構成する。
【００２４】
第２の記憶手段１９には展開座標連係手段２０が信号接続されており、展開座標連係手段２０には接続線設定手段２０１が信号接続されている。展開座標連係手段２０は、隣同士の断片画像Ｈ（ｉ），Ｈ（ｉ＋１）を接続する。この接続は、図３（ａ）に第１の接続線Ｌ１及び第２の接続線Ｌ２で示す接続座標を一致させることである。即ち、展開座標連係手段２０は、断片画像Ｈ（ｉ）側の第２の接続線Ｌ２と、断片画像Ｈ（ｉ＋１）側の第１の接続線Ｌ１とを一致させるように、第２の記憶手段１９によって記憶された断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の座標を連係する。図２（ａ）における円Ｃ１は、第１の接続線Ｌ１に対応し、円Ｃ２は、第２の接続線Ｌ２に対応する。
【００２５】
第１の接続線Ｌ１と第２の接続線Ｌ２とは、接続線設定手段２０１によって予め設定される。第１の接続線Ｌ１と第２の接続線Ｌ２を一致させることは、断片画像Ｈ（ｉ＋１）における点ｈ41，ｈ42，ｈ43，ｈ44と断片画像Ｈ（ｉ）における点ｈ11，ｈ12，ｈ13，ｈ14とを一致させることである。そして、断片画像Ｈ（ｉ＋１）のＹ座標が（Ｙ−δ）〔δは接続線Ｌ１，Ｌ２の間隔〕に変換される。第１の接続線Ｌ１と第２の接続線Ｌ２とを一致させた場合、第２の接続線Ｌ２上の輝度値が排除されて第１の接続線Ｌ１上の輝度値が採用される。そして、接続線Ｌ１，Ｌ２上の座標、及び接続線Ｌ１，Ｌ２間の座標以外の断片画像Ｈ（ｉ），Ｈ（ｉ＋１）における座標は、排除される。図３（ａ）における除去調整画像ｈ（ｉ），ｈ（ｉ＋１）は、隣り合う断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の両端部をコーンミラー１２の軸線１２１の方向に一部除去した画像を表す。図３（ｂ）のＨ（ｉ，ｉ＋１）は、隣同士の断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の部分である除去調整画像ｈ（ｉ），ｈ（ｉ＋１）を接続した接続画像を表す。
【００２６】
展開座標連係手段２０には接続指示手段２１が信号接続されており、接続指示手段２１には撮影指示手段１７が信号接続されている。ＣＣＤカメラ１１に対する撮影指示手段の最終出力の後、撮影指示手段１７は、接続指示手段２１に撮影完了信号を出力する。撮影完了信号の出力は、第２の記憶手段１９が全ての断片画像Ｈ（ｉ），Ｈ（ｉ＋１）を記憶した後に行われる。接続指示手段２１は、撮影完了信号の入力に応答して断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の連続的な接続を行う。
【００２７】
展開座標連係手段２０には第３の記憶手段２２が信号接続されている。第３の記憶手段２２は、隣同士の断片画像Ｈ（ｉ），Ｈ（ｉ＋１）を展開座標連係手段２０によって接続して形成された接続画像ΣＨ〔図４（ｂ）に図示〕の座標−輝度値を記憶する。
【００２８】
展開座標連係手段２０、接続線設定手段２０１及び第３の記憶手段２２は、隣り合う断片画像Ｈ１〜Ｈ７を接続する接続手段２４を構成する。
第１の実施の形態における撮影工程は、観察対象１４の孔内面１４１をコーンミラー１２に映した鏡像をＣＣＤカメラ１１で撮影する工程である。第１の実施の形態における展開工程は、コーンミラー１２の軸線１２１の方向に区分けして分割撮影した分割画像ｇ１〜ｇ７を直交座標平面における断片画像Ｈ１〜Ｈ７に展開する工程である。第１の実施の形態における接続工程は、隣り合う断片画像Ｈ（ｉ），Ｈ（ｉ＋１）を接続する工程である。第１の実施の形態における接続工程は、展開工程後に遂行される。
【００２９】
第３の記憶手段２２には座標補正手段２５が信号接続されており、座標補正手段２５には基準座標記憶手段２６が信号接続されている。図５（ａ）に示す除去調整画像ｈ（１）は、分割画像ｇ１を展開した画像である。図５（ａ）に示す分割画像ｇ１は、孔内面１４１の中心軸線１４２とコーンミラー１２の軸線１２１とが一致した状態のときに得られる画像である。図６（ａ）における接続画像ΣＨは、孔内面１４１の中心軸線１４２とコーンミラー１２の軸線１２１とが一致した状態のときに得られる画像である。図５（ｂ）に示す除去調整画像ｈｅ（１）は、分割画像ｇｅ１を展開した画像である。図５（ｂ）に示す分割画像ｇｅ１は、孔内面１４１の中心軸線１４２とコーンミラー１２の軸線１２１とが一致していない状態のときに得られる画像である。図６（ｂ）における接続画像ΣＨｅは、孔内面１４１の中心軸線１４２とコーンミラー１２の軸線１２１とが一致していない状態のときに得られる画像である。
【００３０】
図５（ａ）の分割画像ｇ１において円で示す端縁画像Ｔｇは、孔内面１４１の端縁１４３に対応する。同様に、図５（ｂ）の分割画像ｇｅ１において円で示す端縁画像Ｔｇｅは、孔内面１４１の端縁１４３に対応する。図５（ａ）の除去調整画像ｈ（１）において直線で示す端縁展開画像Ｔｈ１〔図６（ａ）にも図示〕は、端縁画像Ｔｇを展開した画像である。図６（ａ）における端縁展開画像Ｔｈ２は、図６（ｃ）に示す孔内面１４１の別の端縁１４４に対応する。図６（ｂ）におけるＴｈｅ１〔図５（ｂ）にも図示〕は、端縁展開画像Ｔｈ１に対応した歪みのある端縁展開画像であり、Ｔｈｅ２は、端縁展開画像Ｔｈ２に対応した歪みのある端縁展開画像である。
【００３１】
基準座標記憶手段２６には端縁展開画像Ｔｈ１の座標（直交座標平面における座標）が基準座標として予め記憶されている。この基準座標は、予め推定して設定される。第３の記憶手段２２は、除去調整画像ｈ（ｉ），ｈ（ｉ＋１）の座標を記憶している。第３の記憶手段２２は、端縁展開画像の座標を記憶する計測座標記憶手段となる。座標補正手段２５は、第３の記憶手段２２から得られる端縁展開画像の座標情報と、基準座標記憶手段２６から得られる端縁展開画像Ｔｈ１の座標情報とに基づいて、接続画像ΣＨの歪み補正を行う。この歪み補正は、第３の記憶手段２２から得られる端縁展開画像の座標を端縁展開画像Ｔｈ１の座標に変換するように行われる。即ち、図６（ｂ）に示す歪みのある端縁展開画像Ｔｈｅ１の座標（Ｘｅ，Ｙｔ）は、歪みのない端縁展開画像Ｔｈ１の座標（Ｘｅ，Ｙｏ）に補正される。そして、歪みのある接続画像ΣＨｅの任意の座標（Ｘｅ，Ｙｅ）は、座標〔Ｘｅ，Ｙｅ−（Ｙｔ−Ｙｏ）〕に補正される。
【００３２】
従って、図６（ｂ）に示す歪みのある接続画像ΣＨｅは、図６（ａ）に示す歪みのない接続画像ΣＨに補正される。又、図５（ｂ）に示す歪みのある帯状の除去調整画像ｈｅ（１）は、図５（ａ）に示す歪みのない帯状の除去調整画像ｈ（１）に補正される。
【００３３】
座標補正手段２５には第４の記憶手段２７が信号接続されている。第４の記憶手段２７は、歪みのない接続画像ΣＨの座標−輝度値を記憶する。第３の記憶手段２２、座標補正手段２５、基準座標記憶手段２６及び第４の記憶手段２７は、展開画像の歪みを補正する歪補正手段３０を構成する。
【００３４】
第４の記憶手段２７には表示手段２８及び評価手段２９が信号接続されている。表示手段２８は、第４の記憶手段２７に記憶された接続画像ΣＨの座標−輝度値に基づいて、歪み補正した接続画像ΣＨを表示する。評価手段２９は、第４の記憶手段２７に記憶された接続画像ΣＨの座標−輝度値に基づいて、孔内面１４１における欠点の有無、欠点の個数、欠点の大きさ等の定量的な評価を行う。
【００３５】
第１の実施の形態では以下の効果が得られる。
（１−１）図６（ａ）に示すように、欠点画像Ｋｏ１，Ｋｏ２が端縁展開画像Ｔｈ１，Ｔｈ２の近くにあるような場合、図６（ｂ）では、欠点画像Ｋｏ１に対応する欠点画像Ｋｏ１ｅが歪みのない端縁展開画像Ｔｈ１に対応する直線ｔ１からはみ出してしまう。あるいは欠点画像Ｋｏ２に対応する欠点画像Ｋｏ２ｅが歪みのない端縁展開画像Ｔｈ２に対応する直線ｔ２からはみ出してしまう。孔内面１４１の定量的な評価は、直線ｔ１，ｔ２間における座標−輝度値の情報を用いて行われるが、欠点画像Ｋｏ１ｅ，Ｋｏ２ｅが直線ｔ１，ｔ２間からはみ出てしまうと、孔内面１４１の定量的な評価が困難になる。
【００３６】
撮影画像であるコーンミラー画像を展開した展開画像の歪みを補正した画像（接続画像ΣＨ）は、歪みのない展開画像となる。従って、歪みのない展開画像（接続画像ΣＨ）においては、孔内面１４１上にある欠点が直線ｔ１，ｔ２間からはみ出してしまうようなことはない。即ち、歪みのない展開画像（接続画像ΣＨ）は、孔内面１４１の定量的な評価を精度良く行うことを可能にする。
【００３７】
（１−２）図４（ｂ）に示すように、孔内面１４１上の欠点Ｋの画像が隣同士の関係にある分割画像にわたっている（例えば、分割画像ｇ２，ｇ３に欠点画像Ｋ１，Ｋ２が表れる）とする。そうすると、接続された隣同士の断片画像Ｈ２，Ｈ３における欠点Ｋの欠点画像Ｋ３，Ｋ４〔図４（ｂ）に図示〕は、連続的な画像となる。従って、孔内面１４１における欠点の個数、大きさ等の評価を接続画像ΣＨの座標−輝度値に基づいて行うことができ、接続した断片画像Ｈ１〜Ｈ７を用いた観察対象１４の孔内面１４１の定量的な評価を精度良く行うことができる。
【００３８】
（１−３）観察対象１４の孔内面１４１の端縁１４３は、展開画像の歪みを補正するための補正用情報源として好適であり、孔内面１４１の端縁１４３に対応する端縁展開画像Ｔｈ１は、展開画像の歪みを補正するための補正用情報として好適である。
【００３９】
（１−４）図６（ａ）に示すように、歪みのない展開画像（接続画像ΣＨ）に楕円形状の欠点画像Ｋ５があるとする。欠点画像Ｋ５は、図６（ｂ）に示すように歪みのある展開画像（接続画像ΣＨｅ）では欠点画像Ｋ５ｅのように歪む。そうすると、欠点画像Ｋ５における楕円長軸径Ｌの長さと、欠点画像Ｋ５ｅにおける楕円長軸径Ｌｅの長さとが異なってしまう。歪みのある展開画像（接続画像ΣＨｅ）を歪みのない展開画像（接続画像ΣＨ）に画像補正することは、欠点画像Ｋ５における楕円長軸径の長さを本来の長さに補正する。即ち、このような画像補正は、画像中の対象物の精度のよい評価を可能にする。
【００４０】
（１−５）観察対象１４の孔内面１４１の全体は、図４（ｂ）に示すように単一の展開画像としての接続画像ΣＨで表される。観察対象１４の孔内面１４１の全体を単一の接続画像ΣＨで表せば、表示手段２８を用いた孔内面１４１の評価が容易になる。
【００４１】
（１−６）展開座標連係手段２０は、隣り合う断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の部分である除去調整画像ｈ（ｉ），ｈ（ｉ＋１）を接続する。コーンミラー１２のエッジ付近の画像は、正確性に欠けた画像となるおそれがあるが、除去調整画像ｈ（ｉ），ｈ（ｉ＋１）は、コーンミラー１２のエッジ付近の画像の情報を含まない。従って、断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の両端部を軸線１２１の方向に一部除去した除去調整画像ｈ（ｉ），ｈ（ｉ＋１）を接続する接続工程は、観察対象１４の孔内面１４１の定量的な評価精度の向上に寄与する。
【００４２】
本発明では以下のような実施の形態も可能である。
（１）図７に示すように、ＣＣＤをリニアに配列したラインセンサ３１１を内蔵する撮影手段３１によって観察対象１４の孔内面１４１を撮影する場合に本発明を適用すること。
【００４３】
この場合、孔内面１４１の撮影は、観察対象１４あるいは撮影手段３１を回転して行う。観察対象１４を回転して孔内面１４１を撮影する場合、歪み補正は、観察対象１４の回転姿勢の情報、孔内面１４１の回転姿勢の情報、孔内面１４１の中心軸線１４２と撮影手段３１の光軸３１２との相対位置関係の情報、孔内面１４１の端縁１４３の情報等に基づいて行われる。撮影手段３１を回転して孔内面１４１を撮影する場合、歪み補正は、撮影手段３１の回転姿勢の情報、孔内面１４１の中心軸線１４２と撮影手段３１の光軸３１２との相対位置関係の情報、孔内面１４１の端縁１４３の情報等に基づいて行われる。
【００４４】
（２）孔内面１４１の径、コーンミラー１２の径、孔内面１４１の中心軸線１４２とコーンミラー１２の軸線１２１とのずれ量、中心軸線１４２と軸線１２１との傾き角度等の情報に基づいて歪み補正を行うこと。
【００４５】
（３）孔内面１４１の端縁１４３，１４４の理想的な形状が展開されたときの端縁展開画像を推定し、欠点が端縁展開画像に掛かっている場合には、欠点が端縁展開画像に掛かっている部分の歪み補正を前記推定された端縁展開画像に基づいて行うようにすること。端縁１４３，１４４の形状は、第１の実施の形態では円であるが、これ以外の形状、例えば楕円、多角形等の任意の形状でもよい。
【００４６】
（４）第１の実施の形態における分割画像を隣同士で接続した後、この接続画像の歪み補正を行った後、歪み補正した接続画像を直交座標平面上の画像に展開すること。
【００４７】
隣同士の分割画像の接続は、例えば図２（ａ）において、円環形状の分割画像ｇ（ｉ）における円Ｃ２と、円環形状の分割画像ｇ（ｉ＋１）における円Ｃ１とを同一半径の円周にして重ね合わせることである。
【００４８】
歪み補正は、例えば、図５（ｂ）における端縁画像Ｔｇｅを図５（ａ）における端縁画像Ｔｇに一致させるように、前記接続画像の座標を補正することである。
【００４９】
分割画像を断片画像に展開する展開工程は、隣り合う分割画像ｇ１〜ｇ７を接続する接続工程を遂行した後に遂行される。
（５）第１の実施の形態における端縁画像を有する分割画像の歪み補正を行った後、歪み補正された分割画像に隣の分割画像を接続し、以下、順次前の分割画像に後の分割画像を接続していった後、接続画像を直交座標平面上の画像に展開すること。
【００５０】
（６）第１の実施の形態における端縁展開画像を有する断片画像の歪み補正を行った後、歪み補正された断片画像に隣の断片画像を接続し、以下、順次前の断片画像に後の断片画像を接続してゆくこと。
【００５１】
（７）第１の実施の形態において、第１の接続線Ｌ１を図３（ａ）の断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の上端に設定し、第２の接続線Ｌ２を図３（ａ）の断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の下端に設定すること。
【００５２】
（８）図８（ａ），（ｂ）に示すように、隣り合う断片画像Ｈ（ｉ），Ｈ（ｉ＋１）を重複させることなく接続すること。この場合、隣り合う断片画像Ｈ（ｉ），Ｈ（ｉ＋１）は、撮影範囲が重複していない画像である。なお、隣り合う断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の代わりに、隣り合う除去調整画像ｈ（ｉ），ｈ（ｉ＋１）を用いてもよい。
【００５３】
（９）第１の実施の形態において、観察対象１４を固定し、ＣＣＤカメラ１１とコーンミラー１２との距離を保ったまま両者を移動して撮影を行うこと。
（１０）第１の実施の形態において、ＣＣＤカメラ１１において焦点、倍率を合わせながらコーンミラー１２のみを移動して撮影を行うこと。
【００５４】
（１１）第１の実施の形態において、撮影指示手段１７を用いないでコーンミラー１２又は観察対象１４を等速で移動させ、ＣＣＤカメラ１１による撮影を所定時間間隔で行うこと。この場合、前記所定時間間隔及び前記等速の移動速度は、撮影範囲を考慮して設定する必要がある。
【００５５】
（１２）第１の実施の形態の図３において、重なり合う接続線Ｌ２，Ｌ１における輝度値として、点ｈ11，ｈ12，ｈ13，ｈ14・・・と点ｈ41，ｈ42，ｈ43，ｈ44・・・との重なり合う点同士の輝度値の平均値を採用すること。
【００５６】
（１３）第１の実施の形態の図３において、重なり合う接続線Ｌ２，Ｌ１における輝度値として、点ｈ11，ｈ12，ｈ13，ｈ14・・・と点ｈ41，ｈ42，ｈ43，ｈ44・・・との重なり合う点の周囲近傍の輝度値から決定されたを採用すること。
【００５７】
この輝度値の決定としては、平均値、メディアン等の統計量、線形補間による近似の決定が考えられる。
（１４）第１の実施の形態において、新たな断片画像を第２の記憶手段１９に上書き記憶した後、コーンミラー１２（又は観察対象１４）が移動している間に、第３の記憶手段２２に記憶されている接続画像に展開座標連係手段２０によって前記新たな断片画像を接続し、新たに作成された接続画像を第３の記憶手段２２に上書きすること。
【００５８】
この実施の形態では、全ての断片画像を記憶する必要がなく、コーンミラー１２（又は観察対象１４）が移動している間に接続処理を行って処理時間を短縮することができる。
【００５９】
（１５）第１の実施の形態において、観察対象１４の移動方向を第１の実施の形態の場合とは逆にして孔内面１４１を撮影してゆくようにすること。
前記した実施の形態から把握できる技術思想について以下に記載する。
【００６０】
〔１〕請求項１及び請求項２のいずれか１項において、前記コーンミラーの軸線の方向に区分けして分割撮影した分割画像を平面の断片画像に展開する展開工程と、隣り合う前記断片画像を接続する接続工程とを備え、前記補正工程は連続的に接続された全ての断片画像の歪みを補正する内面観察方法。
【００６１】
〔２〕請求項１及び請求項２のいずれか１項において、前記コーンミラーの軸線の方向に区分けして分割撮影した分割画像を平面の断片画像に展開する展開工程と、隣り合う前記分割画像を接続する接続工程とを備え、前記補正工程は、接続された全ての分割画像の歪みを補正する内面観察方法。
【００６２】
〔３〕請求項３及び請求項４のいずれか１項において、前記展開手段は、前記分割画像の座標を記憶する第１の座標記憶手段と、前記第１の座標記憶手段によって記憶された前記分割画像の座標を前記断片画像の座標に変換する展開用座標変換手段と、前記平面画像の座標を記憶する第２の座標記憶手段とを備えている記載の内面観察装置。
【００６３】
〔４〕請求項３及び請求項４及び前記〔３〕項のいずれか１項において、隣り合う前記分割画像又は隣り合う前記断片画像を接続する接続手段を備える内面観察装置。
【００６４】
〔５〕前記接続手段は、隣り合う前記平面画像を連続的に接続するように、前記第２の座標記憶手段によって記憶された前記平面画像の座標を接続する展開座標接続手段を備えている前記〔４〕項に記載の内面観察装置。
【００６５】
【発明の効果】
本発明では、前記撮影手段によって得られた撮影画像を直交座標平面における展開画像に展開し、前記撮影画像の歪み、又は前記展開画像の歪みを補正するようにしたので、観察対象の孔内面の定量的な評価の精度を向上し得るという優れた効果を奏する。
【図面の簡単な説明】
【図１】第１の実施の形態を示すブロック図を組み込んだ簡略図。
【図２】（ａ），（ｂ）は、鏡像の画像を示す画像図。
【図３】（ａ）は、展開された断片画像の画像図。（ｂ）は、接続された断片画像の画像図。
【図４】（ａ）は、分割画像の画像図。（ｂ）は、分割画像と断片画像との関係を示す簡略図。
【図５】（ａ），（ｂ）は、分割画像及び除去調整画像を示す画像図。
【図６】（ａ）は、歪みのない展開画像を示す画像図。（ｂ）は、歪みのある展開画像を示す画像図。（ｃ）は、撮影手段の簡略図。
【図７】別の実施の形態を示す斜視図。
【図８】別の実施の形態を示し、（ａ）は、展開された断片画像の画像図。（ｂ）は、接続された断片画像の画像図。
【符号の説明】
１１…撮影手段を構成するＣＣＤカメラ。１２…撮影手段を構成するコーンミラー。１２１…軸線。１４…観察対象。１４１…孔内面。１４３…端縁。１６…展開手段を構成する第１の記憶手段。１８…展開手段を構成する座標変換手段。１９…展開手段を構成する第２の記憶手段。２２…歪補正手段を構成する計測座標記憶手段としての第３の記憶手段。２３…展開手段。２５…歪補正手段を構成する座標補正手段。２６…歪補正手段を構成する基準座標記憶手段。２７…歪補正手段を構成する第４の記憶手段。３０…歪補正手段。３１…撮影手段。ｇ１，ｇ２，ｇ３，ｇ４，ｇ５，ｇ６，ｇ７…分割画像。Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｈ５，Ｈ６，Ｈ７，Ｈ（ｉ），Ｈ（ｉ＋１）…断片画像。Ｔｈ１，Ｔｈｅ１…端縁展開画像。ΣＨ，ΣＨｅ…展開画像としての接続画像。
【発明の属する技術分野】
本発明は、筒等の孔内面を観察する方法及び装置に関するものである。
【０００２】
【従来の技術】
筒等の孔内面を観察するための装置が特開平６−９４４５２号公報、特開平６−２９２２０４号公報に開示されている。これらの従来装置では、コーンミラーに映される空洞内壁面の鏡像をカメラで撮影し、この撮影画像を直交座標平面における画像に展開している。
【０００３】
【発明が解決しようとする課題】
しかし、孔の中心とコーンミラーの円錐面の軸線とがずれている場合、直交座標平面上に展開された画像は歪んだものとなる。このような歪んだ展開画像の座標−輝度値の情報を用いて孔内面の定量的な評価（例えば、孔内面上にある欠点の大きさの評価）を精度良く行うことは困難である。
【０００４】
本発明は、観察対象の孔内面の定量的な評価の精度を向上することを目的とする。
【０００５】
【課題を解決するための手段】
そのために請求項１の発明は、観察対象の孔内面を撮影手段で撮影する撮影工程と、前記撮影手段によって得られた撮影画像を直交座標平面における展開画像に展開する展開工程と、前記撮影画像の歪み、又は前記展開画像の歪みを補正する補正工程とを備える孔内面観察方法とした。
【０００６】
歪みを補正した撮影画像を展開した画像は、歪みのない展開画像となる。撮影画像を展開した画像の歪みを補正した画像は、歪みのない展開画像となる。歪みのない展開画像は、孔内面の定量的な評価を精度良く行うことを可能にする。
【０００７】
さらに請求項１の発明は、前記観察対象の孔内面の端縁を補正用情報源とし、前記孔内面の端縁に対応する前記展開画像における端縁展開画像を補正用情報とし、歪みのない前記端縁展開画像の基準座標を予め推定して設定しておき、前記補正工程は、前記端縁展開画像の座標を前記基準座標に変換するように、前記展開画像の座標を補正する工程とした。
【０００８】
端縁展開画像に歪みがない場合には、端縁展開画像の座標は、基準座標に一致する。端縁展開画像に歪みがある場合、展開画像は、端縁展開画像の座標を基準座標に一致させるように座標補正される。このような座標補正は、歪みのない展開画像をもたらす。
【０００９】
請求項２の発明では、請求項１の発明において、前記撮影工程は、前記観察対象の孔内面をコーンミラーに映した鏡像を前記撮影手段で撮影してコーンミラー画像を得る工程とし、前記展開工程は、前記コーンミラー画像を展開画像に展開する工程とした。
【００１０】
コーンミラーに映した孔内面の鏡像は、環状であり、コーンミラー画像を展開した画像は、帯状である。歪みのある帯状の展開画像は、歪みのない帯状の画像に補正される。
【００１１】
請求項３の発明では、観察対象の孔内面を撮影する撮影手段と、前記撮影手段によって得られた撮影画像を直交座標平面における展開画像に展開する展開手段と、前記撮影画像の歪み、又は前記展開画像の歪みを補正する歪補正手段とを備える孔内面観察装置を構成した。
【００１２】
歪補正手段による歪み補正は、歪みのない展開画像をもたらす。歪みのない展開画像は、孔内面の定量的な評価を精度良く行う上で有効である。
さらに請求項３の発明は、前記観察対象の孔内面の端縁を補正用情報源とし、前記孔内面の端縁に対応する前記展開画像における端縁展開画像を補正用情報とし、歪みのない前記端縁展開画像の基準座標を記憶する基準座標記憶手段と、前記端縁展開画像の座標を記憶する計測座標記憶手段と、前記端縁展開画像の座標を前記基準座標に変換するように、前記展開画像の座標を補正する座標補正手段とを備えた前記歪補正手段を構成した。
【００１３】
端縁展開画像に歪みがある場合、座標補正手段は、端縁展開画像の座標を基準座標に変換するように、前記展開画像の座標を補正する。
請求項４の発明では、請求項３において、前記観察対象の孔内面を映すコーンミラーと、前記観察対象の孔内面をコーンミラーに映した鏡像を撮影するカメラとを備えた前記撮影手段を構成し、前記展開手段は、前記撮影手段によって撮影されたコーンミラー画像を展開画像に展開し、前記歪補正手段は、前記コーンミラー画像の歪み、又は前記展開画像の歪みを補正するようにした。
【００１４】
コーンミラー画像における歪み、又は展開画像における歪みは、歪補正手段によって補正される。
【００１５】
【発明の実施の形態】
以下、本発明を具体化した第１の実施の形態を図１〜図６に基づいて説明する。
【００１６】
図１に示すように、ＣＣＤカメラ１１の前方にはコーンミラー１２が配置されており、コーンミラー１２の後方には照明装置１３が設置されている。コーンミラー１２の軸線１２１とＣＣＤカメラ１１の光軸１１１とは、一致させてある。ＣＣＤカメラ１１とコーンミラー１２との間には円筒形状の観察対象１４が配置される。観察対象１４は、往復駆動手段１５によって光軸１１１の方向に往復移動される。
【００１７】
ＣＣＤカメラ１１には第１の記憶手段１６及び撮影指示手段１７が信号接続されている。撮影指示手段１７は、観察対象１４が所定の位置に配置される毎にＣＣＤカメラ１１に撮影指示信号を出力する。図４（ｂ）は、コーンミラー１２が観察対象１４に対して相対移動配置された状態を表しており、観察対象１４とコーンミラー１２との位置関係は、観察対象１４が前記所定の位置に配置された状態を表す。コーンミラー１２の実線位置Ｓ１は、撮影指示手段１７がＣＣＤカメラ１１に対して最初の撮影指示信号を出力する相対位置である。以後、撮影指示手段１７は、コーンミラー１２が鎖線位置Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，Ｓ７に相対移動配置される毎に撮影指示信号をＣＣＤカメラ１１に出力する。
【００１８】
ＣＣＤカメラ１１は、撮影指示手段１７からの撮影指示信号の入力に応答してコーンミラー１２における鏡像を撮影する。コーンミラー１２に映された鏡像は、観察対象１４の円周面形状の孔内面１４１を映している。ＣＣＤカメラ１１及びコーンミラー１２は、観察対象１４の孔内面１４１を撮影する撮影手段を構成する。
【００１９】
図４（ａ）の画像Ｇ１は、コーンミラー１２が実線位置Ｓ１に相対移動配置されたときにＣＣＤカメラ１１によって撮影された画像、即ちコーンミラー１２における鏡像を撮影したコーンミラー画像である。画像Ｇ２，Ｇ３，Ｇ４，Ｇ５，Ｇ６，Ｇ７は、コーンミラー１２が鎖線位置Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６，Ｓ７に相対移動配置されたときにＣＣＤカメラ１１によって撮影された画像である。各画像Ｇ１〜Ｇ７のうちの円環形状の白抜き部分は、コーンミラー１２の軸線１２１の方向に区分けして分割撮影した分割画像ｇ１，ｇ２，ｇ３，ｇ４，ｇ５，ｇ６，ｇ７を表す。
【００２０】
第１の記憶手段１６は、ＣＣＤカメラ１１によって得られた鏡像の画像における輝度値を極座標系の座標と共に記憶する。図２（ａ）の画像Ｇ（ｉ）〔ｉは１〜６の整数〕は、画像Ｇ１〜Ｇ６のうちのいずれか１つを表し、ｇ（ｉ）は、画像Ｇ（ｉ）における円環形状の白抜き部分の分割画像を表す。図２（ｂ）の画像Ｇ（ｉ＋１）は、画像Ｇ２〜Ｇ７のうちのいずれか１つを表し、ｇ（ｉ＋１）は、画像Ｇ（ｉ＋１）における円環形状の白抜き部分の分割画像を表す。ＣＣＤカメラ１１の光軸１１１の位置を表す点Ｒｏは、極座標系の原点に設定されている。Ｚは極座標軸である。
【００２１】
第１の記憶手段１６には座標変換手段１８が信号接続されている。座標変換手段１８は、第１の記憶手段１６において記憶されている座標−輝度値の情報における座標を極座標系からＸ−Ｙ直交座標系に変換する。図４（ｂ）のＨ１，Ｈ２，Ｈ３，Ｈ４，Ｈ５，Ｈ６，Ｈ７は、画像Ｇ１〜Ｇ７における分割画像ｇ１〜ｇ７を帯形状に展開した断片画像である。図３（ａ）のＨ（ｉ），Ｈ（ｉ＋１）は、直交座標系上の断片画像である。断片画像Ｈ（ｉ）は断片画像Ｈｉ（＝Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｈ５，Ｈ６）のことであり、Ｈ（７）はＨ７のことである。図２（ａ）に示す極座標系上の点ｒ11，ｒ12，ｒ13，ｒ14，ｒ21，ｒ22，ｒ23，ｒ24は、図３（ｂ）における直交座標系上では点ｈ12，ｈ13，ｈ14，ｈ21，ｈ22，ｈ23，ｈ24に変換される。図２（ｂ）に示す極座標系上の点ｒ31，ｒ32，ｒ33，ｒ34，ｒ41，ｒ42，ｒ43，ｒ44は、図３（ａ）における直交座標系上では点ｈ31，ｈ32，ｈ33，ｈ34，ｈ41，ｈ42，ｈ43，ｈ44に変換される。
【００２２】
座標変換手段１８には第２の記憶手段１９が信号接続されている。第２の記憶手段１９は、座標変換手段１８によって座標変換された直交座標系上で表される座標−輝度値を記憶する。
【００２３】
第１の記憶手段１６、座標変換手段１８及び第２の記憶手段１９は、コーンミラー１２の軸線１２１の方向に区分けして分割撮影した分割画像ｇ１〜ｇ７を直交座標平面における断片画像Ｈ１〜Ｈ７に展開する展開手段２３を構成する。
【００２４】
第２の記憶手段１９には展開座標連係手段２０が信号接続されており、展開座標連係手段２０には接続線設定手段２０１が信号接続されている。展開座標連係手段２０は、隣同士の断片画像Ｈ（ｉ），Ｈ（ｉ＋１）を接続する。この接続は、図３（ａ）に第１の接続線Ｌ１及び第２の接続線Ｌ２で示す接続座標を一致させることである。即ち、展開座標連係手段２０は、断片画像Ｈ（ｉ）側の第２の接続線Ｌ２と、断片画像Ｈ（ｉ＋１）側の第１の接続線Ｌ１とを一致させるように、第２の記憶手段１９によって記憶された断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の座標を連係する。図２（ａ）における円Ｃ１は、第１の接続線Ｌ１に対応し、円Ｃ２は、第２の接続線Ｌ２に対応する。
【００２５】
第１の接続線Ｌ１と第２の接続線Ｌ２とは、接続線設定手段２０１によって予め設定される。第１の接続線Ｌ１と第２の接続線Ｌ２を一致させることは、断片画像Ｈ（ｉ＋１）における点ｈ41，ｈ42，ｈ43，ｈ44と断片画像Ｈ（ｉ）における点ｈ11，ｈ12，ｈ13，ｈ14とを一致させることである。そして、断片画像Ｈ（ｉ＋１）のＹ座標が（Ｙ−δ）〔δは接続線Ｌ１，Ｌ２の間隔〕に変換される。第１の接続線Ｌ１と第２の接続線Ｌ２とを一致させた場合、第２の接続線Ｌ２上の輝度値が排除されて第１の接続線Ｌ１上の輝度値が採用される。そして、接続線Ｌ１，Ｌ２上の座標、及び接続線Ｌ１，Ｌ２間の座標以外の断片画像Ｈ（ｉ），Ｈ（ｉ＋１）における座標は、排除される。図３（ａ）における除去調整画像ｈ（ｉ），ｈ（ｉ＋１）は、隣り合う断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の両端部をコーンミラー１２の軸線１２１の方向に一部除去した画像を表す。図３（ｂ）のＨ（ｉ，ｉ＋１）は、隣同士の断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の部分である除去調整画像ｈ（ｉ），ｈ（ｉ＋１）を接続した接続画像を表す。
【００２６】
展開座標連係手段２０には接続指示手段２１が信号接続されており、接続指示手段２１には撮影指示手段１７が信号接続されている。ＣＣＤカメラ１１に対する撮影指示手段の最終出力の後、撮影指示手段１７は、接続指示手段２１に撮影完了信号を出力する。撮影完了信号の出力は、第２の記憶手段１９が全ての断片画像Ｈ（ｉ），Ｈ（ｉ＋１）を記憶した後に行われる。接続指示手段２１は、撮影完了信号の入力に応答して断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の連続的な接続を行う。
【００２７】
展開座標連係手段２０には第３の記憶手段２２が信号接続されている。第３の記憶手段２２は、隣同士の断片画像Ｈ（ｉ），Ｈ（ｉ＋１）を展開座標連係手段２０によって接続して形成された接続画像ΣＨ〔図４（ｂ）に図示〕の座標−輝度値を記憶する。
【００２８】
展開座標連係手段２０、接続線設定手段２０１及び第３の記憶手段２２は、隣り合う断片画像Ｈ１〜Ｈ７を接続する接続手段２４を構成する。
第１の実施の形態における撮影工程は、観察対象１４の孔内面１４１をコーンミラー１２に映した鏡像をＣＣＤカメラ１１で撮影する工程である。第１の実施の形態における展開工程は、コーンミラー１２の軸線１２１の方向に区分けして分割撮影した分割画像ｇ１〜ｇ７を直交座標平面における断片画像Ｈ１〜Ｈ７に展開する工程である。第１の実施の形態における接続工程は、隣り合う断片画像Ｈ（ｉ），Ｈ（ｉ＋１）を接続する工程である。第１の実施の形態における接続工程は、展開工程後に遂行される。
【００２９】
第３の記憶手段２２には座標補正手段２５が信号接続されており、座標補正手段２５には基準座標記憶手段２６が信号接続されている。図５（ａ）に示す除去調整画像ｈ（１）は、分割画像ｇ１を展開した画像である。図５（ａ）に示す分割画像ｇ１は、孔内面１４１の中心軸線１４２とコーンミラー１２の軸線１２１とが一致した状態のときに得られる画像である。図６（ａ）における接続画像ΣＨは、孔内面１４１の中心軸線１４２とコーンミラー１２の軸線１２１とが一致した状態のときに得られる画像である。図５（ｂ）に示す除去調整画像ｈｅ（１）は、分割画像ｇｅ１を展開した画像である。図５（ｂ）に示す分割画像ｇｅ１は、孔内面１４１の中心軸線１４２とコーンミラー１２の軸線１２１とが一致していない状態のときに得られる画像である。図６（ｂ）における接続画像ΣＨｅは、孔内面１４１の中心軸線１４２とコーンミラー１２の軸線１２１とが一致していない状態のときに得られる画像である。
【００３０】
図５（ａ）の分割画像ｇ１において円で示す端縁画像Ｔｇは、孔内面１４１の端縁１４３に対応する。同様に、図５（ｂ）の分割画像ｇｅ１において円で示す端縁画像Ｔｇｅは、孔内面１４１の端縁１４３に対応する。図５（ａ）の除去調整画像ｈ（１）において直線で示す端縁展開画像Ｔｈ１〔図６（ａ）にも図示〕は、端縁画像Ｔｇを展開した画像である。図６（ａ）における端縁展開画像Ｔｈ２は、図６（ｃ）に示す孔内面１４１の別の端縁１４４に対応する。図６（ｂ）におけるＴｈｅ１〔図５（ｂ）にも図示〕は、端縁展開画像Ｔｈ１に対応した歪みのある端縁展開画像であり、Ｔｈｅ２は、端縁展開画像Ｔｈ２に対応した歪みのある端縁展開画像である。
【００３１】
基準座標記憶手段２６には端縁展開画像Ｔｈ１の座標（直交座標平面における座標）が基準座標として予め記憶されている。この基準座標は、予め推定して設定される。第３の記憶手段２２は、除去調整画像ｈ（ｉ），ｈ（ｉ＋１）の座標を記憶している。第３の記憶手段２２は、端縁展開画像の座標を記憶する計測座標記憶手段となる。座標補正手段２５は、第３の記憶手段２２から得られる端縁展開画像の座標情報と、基準座標記憶手段２６から得られる端縁展開画像Ｔｈ１の座標情報とに基づいて、接続画像ΣＨの歪み補正を行う。この歪み補正は、第３の記憶手段２２から得られる端縁展開画像の座標を端縁展開画像Ｔｈ１の座標に変換するように行われる。即ち、図６（ｂ）に示す歪みのある端縁展開画像Ｔｈｅ１の座標（Ｘｅ，Ｙｔ）は、歪みのない端縁展開画像Ｔｈ１の座標（Ｘｅ，Ｙｏ）に補正される。そして、歪みのある接続画像ΣＨｅの任意の座標（Ｘｅ，Ｙｅ）は、座標〔Ｘｅ，Ｙｅ−（Ｙｔ−Ｙｏ）〕に補正される。
【００３２】
従って、図６（ｂ）に示す歪みのある接続画像ΣＨｅは、図６（ａ）に示す歪みのない接続画像ΣＨに補正される。又、図５（ｂ）に示す歪みのある帯状の除去調整画像ｈｅ（１）は、図５（ａ）に示す歪みのない帯状の除去調整画像ｈ（１）に補正される。
【００３３】
座標補正手段２５には第４の記憶手段２７が信号接続されている。第４の記憶手段２７は、歪みのない接続画像ΣＨの座標−輝度値を記憶する。第３の記憶手段２２、座標補正手段２５、基準座標記憶手段２６及び第４の記憶手段２７は、展開画像の歪みを補正する歪補正手段３０を構成する。
【００３４】
第４の記憶手段２７には表示手段２８及び評価手段２９が信号接続されている。表示手段２８は、第４の記憶手段２７に記憶された接続画像ΣＨの座標−輝度値に基づいて、歪み補正した接続画像ΣＨを表示する。評価手段２９は、第４の記憶手段２７に記憶された接続画像ΣＨの座標−輝度値に基づいて、孔内面１４１における欠点の有無、欠点の個数、欠点の大きさ等の定量的な評価を行う。
【００３５】
第１の実施の形態では以下の効果が得られる。
（１−１）図６（ａ）に示すように、欠点画像Ｋｏ１，Ｋｏ２が端縁展開画像Ｔｈ１，Ｔｈ２の近くにあるような場合、図６（ｂ）では、欠点画像Ｋｏ１に対応する欠点画像Ｋｏ１ｅが歪みのない端縁展開画像Ｔｈ１に対応する直線ｔ１からはみ出してしまう。あるいは欠点画像Ｋｏ２に対応する欠点画像Ｋｏ２ｅが歪みのない端縁展開画像Ｔｈ２に対応する直線ｔ２からはみ出してしまう。孔内面１４１の定量的な評価は、直線ｔ１，ｔ２間における座標−輝度値の情報を用いて行われるが、欠点画像Ｋｏ１ｅ，Ｋｏ２ｅが直線ｔ１，ｔ２間からはみ出てしまうと、孔内面１４１の定量的な評価が困難になる。
【００３６】
撮影画像であるコーンミラー画像を展開した展開画像の歪みを補正した画像（接続画像ΣＨ）は、歪みのない展開画像となる。従って、歪みのない展開画像（接続画像ΣＨ）においては、孔内面１４１上にある欠点が直線ｔ１，ｔ２間からはみ出してしまうようなことはない。即ち、歪みのない展開画像（接続画像ΣＨ）は、孔内面１４１の定量的な評価を精度良く行うことを可能にする。
【００３７】
（１−２）図４（ｂ）に示すように、孔内面１４１上の欠点Ｋの画像が隣同士の関係にある分割画像にわたっている（例えば、分割画像ｇ２，ｇ３に欠点画像Ｋ１，Ｋ２が表れる）とする。そうすると、接続された隣同士の断片画像Ｈ２，Ｈ３における欠点Ｋの欠点画像Ｋ３，Ｋ４〔図４（ｂ）に図示〕は、連続的な画像となる。従って、孔内面１４１における欠点の個数、大きさ等の評価を接続画像ΣＨの座標−輝度値に基づいて行うことができ、接続した断片画像Ｈ１〜Ｈ７を用いた観察対象１４の孔内面１４１の定量的な評価を精度良く行うことができる。
【００３８】
（１−３）観察対象１４の孔内面１４１の端縁１４３は、展開画像の歪みを補正するための補正用情報源として好適であり、孔内面１４１の端縁１４３に対応する端縁展開画像Ｔｈ１は、展開画像の歪みを補正するための補正用情報として好適である。
【００３９】
（１−４）図６（ａ）に示すように、歪みのない展開画像（接続画像ΣＨ）に楕円形状の欠点画像Ｋ５があるとする。欠点画像Ｋ５は、図６（ｂ）に示すように歪みのある展開画像（接続画像ΣＨｅ）では欠点画像Ｋ５ｅのように歪む。そうすると、欠点画像Ｋ５における楕円長軸径Ｌの長さと、欠点画像Ｋ５ｅにおける楕円長軸径Ｌｅの長さとが異なってしまう。歪みのある展開画像（接続画像ΣＨｅ）を歪みのない展開画像（接続画像ΣＨ）に画像補正することは、欠点画像Ｋ５における楕円長軸径の長さを本来の長さに補正する。即ち、このような画像補正は、画像中の対象物の精度のよい評価を可能にする。
【００４０】
（１−５）観察対象１４の孔内面１４１の全体は、図４（ｂ）に示すように単一の展開画像としての接続画像ΣＨで表される。観察対象１４の孔内面１４１の全体を単一の接続画像ΣＨで表せば、表示手段２８を用いた孔内面１４１の評価が容易になる。
【００４１】
（１−６）展開座標連係手段２０は、隣り合う断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の部分である除去調整画像ｈ（ｉ），ｈ（ｉ＋１）を接続する。コーンミラー１２のエッジ付近の画像は、正確性に欠けた画像となるおそれがあるが、除去調整画像ｈ（ｉ），ｈ（ｉ＋１）は、コーンミラー１２のエッジ付近の画像の情報を含まない。従って、断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の両端部を軸線１２１の方向に一部除去した除去調整画像ｈ（ｉ），ｈ（ｉ＋１）を接続する接続工程は、観察対象１４の孔内面１４１の定量的な評価精度の向上に寄与する。
【００４２】
本発明では以下のような実施の形態も可能である。
（１）図７に示すように、ＣＣＤをリニアに配列したラインセンサ３１１を内蔵する撮影手段３１によって観察対象１４の孔内面１４１を撮影する場合に本発明を適用すること。
【００４３】
この場合、孔内面１４１の撮影は、観察対象１４あるいは撮影手段３１を回転して行う。観察対象１４を回転して孔内面１４１を撮影する場合、歪み補正は、観察対象１４の回転姿勢の情報、孔内面１４１の回転姿勢の情報、孔内面１４１の中心軸線１４２と撮影手段３１の光軸３１２との相対位置関係の情報、孔内面１４１の端縁１４３の情報等に基づいて行われる。撮影手段３１を回転して孔内面１４１を撮影する場合、歪み補正は、撮影手段３１の回転姿勢の情報、孔内面１４１の中心軸線１４２と撮影手段３１の光軸３１２との相対位置関係の情報、孔内面１４１の端縁１４３の情報等に基づいて行われる。
【００４４】
（２）孔内面１４１の径、コーンミラー１２の径、孔内面１４１の中心軸線１４２とコーンミラー１２の軸線１２１とのずれ量、中心軸線１４２と軸線１２１との傾き角度等の情報に基づいて歪み補正を行うこと。
【００４５】
（３）孔内面１４１の端縁１４３，１４４の理想的な形状が展開されたときの端縁展開画像を推定し、欠点が端縁展開画像に掛かっている場合には、欠点が端縁展開画像に掛かっている部分の歪み補正を前記推定された端縁展開画像に基づいて行うようにすること。端縁１４３，１４４の形状は、第１の実施の形態では円であるが、これ以外の形状、例えば楕円、多角形等の任意の形状でもよい。
【００４６】
（４）第１の実施の形態における分割画像を隣同士で接続した後、この接続画像の歪み補正を行った後、歪み補正した接続画像を直交座標平面上の画像に展開すること。
【００４７】
隣同士の分割画像の接続は、例えば図２（ａ）において、円環形状の分割画像ｇ（ｉ）における円Ｃ２と、円環形状の分割画像ｇ（ｉ＋１）における円Ｃ１とを同一半径の円周にして重ね合わせることである。
【００４８】
歪み補正は、例えば、図５（ｂ）における端縁画像Ｔｇｅを図５（ａ）における端縁画像Ｔｇに一致させるように、前記接続画像の座標を補正することである。
【００４９】
分割画像を断片画像に展開する展開工程は、隣り合う分割画像ｇ１〜ｇ７を接続する接続工程を遂行した後に遂行される。
（５）第１の実施の形態における端縁画像を有する分割画像の歪み補正を行った後、歪み補正された分割画像に隣の分割画像を接続し、以下、順次前の分割画像に後の分割画像を接続していった後、接続画像を直交座標平面上の画像に展開すること。
【００５０】
（６）第１の実施の形態における端縁展開画像を有する断片画像の歪み補正を行った後、歪み補正された断片画像に隣の断片画像を接続し、以下、順次前の断片画像に後の断片画像を接続してゆくこと。
【００５１】
（７）第１の実施の形態において、第１の接続線Ｌ１を図３（ａ）の断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の上端に設定し、第２の接続線Ｌ２を図３（ａ）の断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の下端に設定すること。
【００５２】
（８）図８（ａ），（ｂ）に示すように、隣り合う断片画像Ｈ（ｉ），Ｈ（ｉ＋１）を重複させることなく接続すること。この場合、隣り合う断片画像Ｈ（ｉ），Ｈ（ｉ＋１）は、撮影範囲が重複していない画像である。なお、隣り合う断片画像Ｈ（ｉ），Ｈ（ｉ＋１）の代わりに、隣り合う除去調整画像ｈ（ｉ），ｈ（ｉ＋１）を用いてもよい。
【００５３】
（９）第１の実施の形態において、観察対象１４を固定し、ＣＣＤカメラ１１とコーンミラー１２との距離を保ったまま両者を移動して撮影を行うこと。
（１０）第１の実施の形態において、ＣＣＤカメラ１１において焦点、倍率を合わせながらコーンミラー１２のみを移動して撮影を行うこと。
【００５４】
（１１）第１の実施の形態において、撮影指示手段１７を用いないでコーンミラー１２又は観察対象１４を等速で移動させ、ＣＣＤカメラ１１による撮影を所定時間間隔で行うこと。この場合、前記所定時間間隔及び前記等速の移動速度は、撮影範囲を考慮して設定する必要がある。
【００５５】
（１２）第１の実施の形態の図３において、重なり合う接続線Ｌ２，Ｌ１における輝度値として、点ｈ11，ｈ12，ｈ13，ｈ14・・・と点ｈ41，ｈ42，ｈ43，ｈ44・・・との重なり合う点同士の輝度値の平均値を採用すること。
【００５６】
（１３）第１の実施の形態の図３において、重なり合う接続線Ｌ２，Ｌ１における輝度値として、点ｈ11，ｈ12，ｈ13，ｈ14・・・と点ｈ41，ｈ42，ｈ43，ｈ44・・・との重なり合う点の周囲近傍の輝度値から決定されたを採用すること。
【００５７】
この輝度値の決定としては、平均値、メディアン等の統計量、線形補間による近似の決定が考えられる。
（１４）第１の実施の形態において、新たな断片画像を第２の記憶手段１９に上書き記憶した後、コーンミラー１２（又は観察対象１４）が移動している間に、第３の記憶手段２２に記憶されている接続画像に展開座標連係手段２０によって前記新たな断片画像を接続し、新たに作成された接続画像を第３の記憶手段２２に上書きすること。
【００５８】
この実施の形態では、全ての断片画像を記憶する必要がなく、コーンミラー１２（又は観察対象１４）が移動している間に接続処理を行って処理時間を短縮することができる。
【００５９】
（１５）第１の実施の形態において、観察対象１４の移動方向を第１の実施の形態の場合とは逆にして孔内面１４１を撮影してゆくようにすること。
前記した実施の形態から把握できる技術思想について以下に記載する。
【００６０】
〔１〕請求項１及び請求項２のいずれか１項において、前記コーンミラーの軸線の方向に区分けして分割撮影した分割画像を平面の断片画像に展開する展開工程と、隣り合う前記断片画像を接続する接続工程とを備え、前記補正工程は連続的に接続された全ての断片画像の歪みを補正する内面観察方法。
【００６１】
〔２〕請求項１及び請求項２のいずれか１項において、前記コーンミラーの軸線の方向に区分けして分割撮影した分割画像を平面の断片画像に展開する展開工程と、隣り合う前記分割画像を接続する接続工程とを備え、前記補正工程は、接続された全ての分割画像の歪みを補正する内面観察方法。
【００６２】
〔３〕請求項３及び請求項４のいずれか１項において、前記展開手段は、前記分割画像の座標を記憶する第１の座標記憶手段と、前記第１の座標記憶手段によって記憶された前記分割画像の座標を前記断片画像の座標に変換する展開用座標変換手段と、前記平面画像の座標を記憶する第２の座標記憶手段とを備えている記載の内面観察装置。
【００６３】
〔４〕請求項３及び請求項４及び前記〔３〕項のいずれか１項において、隣り合う前記分割画像又は隣り合う前記断片画像を接続する接続手段を備える内面観察装置。
【００６４】
〔５〕前記接続手段は、隣り合う前記平面画像を連続的に接続するように、前記第２の座標記憶手段によって記憶された前記平面画像の座標を接続する展開座標接続手段を備えている前記〔４〕項に記載の内面観察装置。
【００６５】
【発明の効果】
本発明では、前記撮影手段によって得られた撮影画像を直交座標平面における展開画像に展開し、前記撮影画像の歪み、又は前記展開画像の歪みを補正するようにしたので、観察対象の孔内面の定量的な評価の精度を向上し得るという優れた効果を奏する。
【図面の簡単な説明】
【図１】第１の実施の形態を示すブロック図を組み込んだ簡略図。
【図２】（ａ），（ｂ）は、鏡像の画像を示す画像図。
【図３】（ａ）は、展開された断片画像の画像図。（ｂ）は、接続された断片画像の画像図。
【図４】（ａ）は、分割画像の画像図。（ｂ）は、分割画像と断片画像との関係を示す簡略図。
【図５】（ａ），（ｂ）は、分割画像及び除去調整画像を示す画像図。
【図６】（ａ）は、歪みのない展開画像を示す画像図。（ｂ）は、歪みのある展開画像を示す画像図。（ｃ）は、撮影手段の簡略図。
【図７】別の実施の形態を示す斜視図。
【図８】別の実施の形態を示し、（ａ）は、展開された断片画像の画像図。（ｂ）は、接続された断片画像の画像図。
【符号の説明】
１１…撮影手段を構成するＣＣＤカメラ。１２…撮影手段を構成するコーンミラー。１２１…軸線。１４…観察対象。１４１…孔内面。１４３…端縁。１６…展開手段を構成する第１の記憶手段。１８…展開手段を構成する座標変換手段。１９…展開手段を構成する第２の記憶手段。２２…歪補正手段を構成する計測座標記憶手段としての第３の記憶手段。２３…展開手段。２５…歪補正手段を構成する座標補正手段。２６…歪補正手段を構成する基準座標記憶手段。２７…歪補正手段を構成する第４の記憶手段。３０…歪補正手段。３１…撮影手段。ｇ１，ｇ２，ｇ３，ｇ４，ｇ５，ｇ６，ｇ７…分割画像。Ｈ１，Ｈ２，Ｈ３，Ｈ４，Ｈ５，Ｈ６，Ｈ７，Ｈ（ｉ），Ｈ（ｉ＋１）…断片画像。Ｔｈ１，Ｔｈｅ１…端縁展開画像。ΣＨ，ΣＨｅ…展開画像としての接続画像。
Claims (4)
- 観察対象の孔内面を撮影手段で撮影する撮影工程と、
前記撮影手段によって得られた撮影画像を直交座標平面における展開画像に展開する展開工程と、
前記撮影画像の歪み、又は前記展開画像の歪みを補正する補正工程とを備える孔内面観察方法であって、
前記観察対象の孔内面の端縁を補正用情報源とし、前記孔内面の端縁に対応する前記展開画像における端縁展開画像を補正用情報とし、歪みのない前記端縁展開画像の基準座標を予め推定して設定しておき、前記補正工程は、前記端縁展開画像の座標を前記基準座標に変換するように、前記展開画像の座標を補正する工程である孔内面観察方法。 - 前記撮影工程は、前記観察対象の孔内面をコーンミラーに映した鏡像を前記撮影手段で撮影してコーンミラー画像を得る工程であり、前記展開工程は、前記コーンミラー画像を展開画像に展開する工程である請求項１に記載の孔内面観察方法。
- 観察対象の孔内面を撮影する撮影手段と、
前記撮影手段によって得られた撮影画像を直交座標平面における展開画像に展開する展開手段と、
前記撮影画像の歪み、又は前記展開画像の歪みを補正する歪補正手段とを備える孔内面観察装置であって、
前記観察対象の孔内面の端縁を補正用情報源とし、前記孔内面の端縁に対応する前記展開画像における端縁展開画像を補正用情報とし、前記歪補正手段は、歪みのない前記端縁展開画像の基準座標を記憶する基準座標記憶手段と、前記端縁展開画像の座標を記憶する計測座標記憶手段と、前記端縁展開画像の座標を前記基準座標に変換するように、前記展開画像の座標を補正する座標補正手段とを備えている孔内面観察装置。 - 前記撮影手段は、前記観察対象の孔内面を映すコーンミラーと、前記観察対象の孔内面をコーンミラーに映した鏡像を撮影するカメラとを備え、前記展開手段は、前記撮影手段によって撮影されたコーンミラー画像を展開画像に展開し、前記歪補正手段は、前記コーンミラー画像の歪み、又は前記展開画像の歪みを補正する請求項３に記載の孔内面観察装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002117162A JP3915583B2 (ja) | 2002-04-19 | 2002-04-19 | 孔内面観察方法及び孔内面観察装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002117162A JP3915583B2 (ja) | 2002-04-19 | 2002-04-19 | 孔内面観察方法及び孔内面観察装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003315024A JP2003315024A (ja) | 2003-11-06 |
| JP3915583B2 true JP3915583B2 (ja) | 2007-05-16 |
Family
ID=29534455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002117162A Expired - Fee Related JP3915583B2 (ja) | 2002-04-19 | 2002-04-19 | 孔内面観察方法及び孔内面観察装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3915583B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013036947A (ja) * | 2011-08-11 | 2013-02-21 | Miraikikai Inc | 光学式測定装置、プレス機、部品組合せ方法 |
| US11347039B2 (en) * | 2019-05-22 | 2022-05-31 | The Boeing Company | Optical imaging and scanning of holes |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06241760A (ja) * | 1993-02-17 | 1994-09-02 | Hoei:Kk | 円筒内面状態検査カメラ装置 |
| JP3415000B2 (ja) * | 1997-08-26 | 2003-06-09 | 東京都下水道サービス株式会社 | 管渠内面展開図化装置 |
| JP3420734B2 (ja) * | 1999-03-12 | 2003-06-30 | 東京都下水道サービス株式会社 | 管渠内面画像の処理方法 |
-
2002
- 2002-04-19 JP JP2002117162A patent/JP3915583B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003315024A (ja) | 2003-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4885179B2 (ja) | 映像歪曲補正方法及びその補正方法を採用した映像処理装置 | |
| JP4714176B2 (ja) | 立体撮影装置及び光軸調節方法 | |
| JP4378168B2 (ja) | 光学系を使用して出力されたカラーイメージの色収差を補正する方法およびシステム | |
| JP6066595B2 (ja) | 眼底画像の画像処理装置、眼底画像の画像処理方法、及びプログラム | |
| JP5940383B2 (ja) | 顕微鏡システム | |
| JP5863374B2 (ja) | 画像処理方法 | |
| CN108287397B (zh) | 头戴显示设备的光轴校准方法 | |
| JP5440615B2 (ja) | ステレオカメラ装置 | |
| WO2020213238A1 (ja) | 撮像装置と画像処理装置および画像処理方法 | |
| MX2007006105A (es) | Aparato de inspeccion de apariencia externa. | |
| JP5091099B2 (ja) | 撮像装置 | |
| CN114742797A (zh) | 排水管道内壁全景图像的缺陷检测方法和图像采集机器人 | |
| US20160225150A1 (en) | Method and Apparatus for Object Distance and Size Estimation based on Calibration Data of Lens Focus | |
| JP3915583B2 (ja) | 孔内面観察方法及び孔内面観察装置 | |
| JP2010206521A (ja) | 撮像装置、画像補正方法およびプログラム | |
| JP5460152B2 (ja) | 眼科装置 | |
| KR100657226B1 (ko) | 관내의 전방·측면 동시 영상출력 방법과 장치 | |
| JP4876803B2 (ja) | 検査画像取得方法 | |
| JP2010134617A (ja) | パノラマ撮像装置 | |
| JP2003302207A (ja) | 内面観察方法及び内面観察装置 | |
| JP2011055068A (ja) | 撮像装置 | |
| JP6770828B2 (ja) | 顕微鏡 | |
| JP2006108988A (ja) | キャリブレーション装置 | |
| JP6825458B2 (ja) | 画像処理装置、撮影装置、及び画像処理方法 | |
| KR101506393B1 (ko) | 내시경 시스템 및 이를 이용한 영상 획득 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050311 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061006 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070129 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3915583 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100216 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140216 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |