JP5307407B2 - 内視鏡装置およびプログラム - Google Patents

内視鏡装置およびプログラム Download PDF

Info

Publication number
JP5307407B2
JP5307407B2 JP2008004294A JP2008004294A JP5307407B2 JP 5307407 B2 JP5307407 B2 JP 5307407B2 JP 2008004294 A JP2008004294 A JP 2008004294A JP 2008004294 A JP2008004294 A JP 2008004294A JP 5307407 B2 JP5307407 B2 JP 5307407B2
Authority
JP
Japan
Prior art keywords
inspection
reference line
point
measurement
inspection reference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008004294A
Other languages
English (en)
Other versions
JP2009168499A (ja
Inventor
澄人 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2008004294A priority Critical patent/JP5307407B2/ja
Publication of JP2009168499A publication Critical patent/JP2009168499A/ja
Application granted granted Critical
Publication of JP5307407B2 publication Critical patent/JP5307407B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、内視鏡が検査対象を撮像した画像を用いて検査対象の検査を行うことが可能な内視鏡装置およびプログラムに関する。
従来、計測機能を備えた内視鏡装置がある。例えば特許文献1には、パイプの内面に生じた腐食の深さや傷の長さ、タービンブレードに生じた欠損の窪みの長さなどを計測する方法が記載されている。内視鏡装置の計測機能を利用した検査では、検査対象に生じた傷や錆などの劣化部分の長さの測定値が表示装置の画面に表示され、ユーザがその測定値と、劣化部分の許容度を示す検査基準値とを比較することで、劣化が許容できるか否かを判定していた。
特許第3771988号公報
従来の検査では、ユーザが劣化部分の長さの測定値と検査基準値とを比較して検査の合否を判定するのみであり、劣化を許容できる範囲に対する劣化部分の劣化の度合いを画像上で視覚的に判断することができなかった。
本発明は、上述した課題に鑑みてなされたものであって、劣化部分の劣化の度合いを画像上で視覚的に判断することができる内視鏡装置およびプログラムを提供することを目的とする。
本発明は、上記の課題を解決するためになされたもので、内視鏡が検査対象を撮像した画像において基準点および計測点を設定する設定手段と、前記基準点を通る基準線と前記計測点との3次元距離を算出する計測処理手段と、前記基準線に平行であって、前記計測点を通る検査基準線を算出する算出手段と、前記計測点、前記計測処理手段によって算出された前記3次元距離、および前記算出手段によって算出された前記検査基準線を表示する処理を行う画像処理手段と、を備えたことを特徴とする内視鏡装置である。
また、本発明の内視鏡装置は、前記検査基準線の表示位置に対応する空間上の位置に基づいて前記検査基準線の表示形態を制御する制御手段をさらに備えたことを特徴とする。
また、本発明の内視鏡装置において、前記計測処理手段は、前記検査基準線上の各点と前記検査基準線との3次元距離を算出し、前記画像処理手段は、前記検査基準線上の各点と前記検査基準線との3次元距離のうち、前記基準線と前記計測点との3次元距離と略等しいと判定された点に基づいて前記検査基準線を表示する処理を行うことを特徴とする
また、本発明の内視鏡装置において、前記画像処理手段は、前記検査基準線上の各点と前記検査基準線との3次元距離のうち、前記基準線と前記計測点との3次元距離と略等しいと判定された点に基づく前記検査基準線と、前記基準線と前記計測点との3次元距離と略等しくないと判定された点に基づく前記検査基準線とを区別して表示することを特徴とする
また、本発明の内視鏡装置は、ユーザが検査基準値を入力するための入力手段をさらに備え、前記算出手段は、前記入力手段に入力された前記検査基準値に基づいて前記検査基準線を算出することを特徴とする。
また、本発明の内視鏡装置は、前記検査対象毎に検査基準値を記憶する記憶手段と、ユーザが前記検査対象を入力するための入力手段とをさらに備え、前記算出手段は、前記記憶手段から読み出された、前記入力手段に入力された前記検査対象に対応した前記検査基準値に基づいて前記検査基準線を算出することを特徴とする。
また、本発明の内視鏡装置は、前記検査対象毎に検査基準値を記憶する記憶手段と、ユーザが前記検査対象を入力するための入力手段と、前記記憶手段から、前記入力手段に入力された前記検査対象に対応する前記検査基準値を取得する取得手段とをさらに備え、前記算出手段は、前記取得手段によって取得された前記検査基準値に基づいて前記検査基準線を算出することを特徴とする。
また、本発明の内視鏡装置は、前記検査対象毎に検査基準値を記憶する記憶手段と、前記検査対象を識別する識別手段とをさらに備え、前記算出手段は、前記記憶手段から読み出された、前記識別手段によって識別された前記検査対象に対応した前記検査基準値に基づいて前記検査基準線を算出することを特徴とする。
また、本発明の内視鏡装置は、前記検査対象を識別する識別手段と、前記検査対象毎に検査基準値を記憶する外部の記憶手段から、前記識別手段によって識別された前記検査対象に対応する前記検査基準値を取得する取得手段とをさらに備え、前記算出手段は、前記取得手段によって取得された前記検査基準値に基づいて前記検査基準線を算出することを特徴とする。
また、本発明は、内視鏡が検査対象を撮像した画像において基準点および計測点を設定するステップと、前記基準点を通る基準線と前記計測点との3次元距離を算出するステップと、前記基準線に平行であって、前記計測点を通る検査基準線を算出するステップと、前記計測点、前記3次元距離、および前記検査基準線を表示するステップと、をコンピュータに実行させるためのプログラムである。
また、本発明は、内視鏡が検査対象を撮像した画像において、2つの基準点を設定する設定手段と、前記2つの基準点間の3次元距離を算出する計測処理手段と、前記基準点の一方を中心とし、前記基準点の他方を通る円または楕円である検査基準線を算出する算出手段と、前記計測点、前記計測処理手段によって算出された前記3次元距離、および前記算出手段によって算出された前記検査基準線を表示する処理を行う画像処理手段と、を備えたことを特徴とする内視鏡装置である。
本発明によれば、劣化部分の劣化の度合いの基準となる目印が、基準点の位置と検査基準値とに基づいて算出した表示位置に表示されるので、劣化部分の劣化の度合いを画像上で視覚的に判断することができるという効果が得られる。
以下、図面を参照し、本発明の実施形態を説明する。図1は、本発明の一実施形態による内視鏡装置(計測用内視鏡装置)の全体構成を示している。図1に示すように、内視鏡装置1は、細長な挿入部20を有する内視鏡2と、この内視鏡2の挿入部20を収納する収納部を備えた制御装置であるコントロールユニット3と、装置全体の各種動作制御を実行する際に必要な操作を行うためのリモートコントローラ4と、内視鏡画像や操作制御内容(例えば処理メニュー)等の表示を行う表示装置であるLCD5(液晶モニタ)と、通常の内視鏡画像、あるいはその内視鏡画像を擬似的なステレオ画像として立体視可能にするFMD6(フェイスマウントディスプレイ)と、このFMD6に画像データを供給するFMDアダプタ6a等で主に構成されている。
挿入部20は硬質な先端部21と、柔軟性を有する可撓管部と(例えば上下左右に湾曲可能な湾曲部22(図2))を連設して構成されている。先端部21には、観察視野を2つ有するステレオ光学アダプタ7a,7b、あるいは観察視野が1つの通常観察光学アダプタ7c等、各種光学アダプタが着脱自在になっている。
図2に示すように、コントロールユニット3内には、内視鏡ユニット8、CCU9(カメラコントロールユニット)、および制御ユニット10が設けられており、挿入部20の基端部は内視鏡ユニット8に接続されている。内視鏡ユニット8は、観察時に必要な照明光を供給する光源装置(不図示)と、挿入部20を構成する湾曲部22を湾曲させる湾曲装置(不図示)とを備えて構成されている。
挿入部20の先端部21には固体撮像素子2a(図5参照)が内蔵されている。固体撮像素子2aは、光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。CCU9には、固体撮像素子2aから出力された撮像信号が入力される。この撮像信号は、CCU9内で例えばNTSC信号等の映像信号(画像データ)に変換されて、制御ユニット10へ供給される。
制御ユニット10内には、音声信号処理回路11、映像信号が入力される映像信号処理回路12、ROM13、RAM14、PCカードI/F15(PCカードインターフェイス)、USB I/F16(USBインターフェイス)、およびRS−232C I/F17(RS−232Cインターフェイス)等と、これら各種機能を主要プログラムに基づいて実行し動作制御を行うCPU18とが設けられている。
RS−232C I/F17には、CCU9および内視鏡ユニット8が接続されると共に、これらCCU9や内視鏡ユニット8等の制御および動作指示を行うリモートコントローラ4が接続されている。ユーザがリモートコントローラ4を操作すると、その操作内容に基づいて、CCU9および内視鏡ユニット8を動作制御する際に必要な通信が行われる。
USB I/F16は、コントロールユニット3とパーソナルコンピュータ31とを電気的に接続するためのインターフェイスである。このUSB I/F16を介してコントロールユニット3とパーソナルコンピュータ31とを接続することによって、パーソナルコンピュータ31側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示制御を行うことが可能になると共に、コントロールユニット3とパーソナルコンピュータ31との間での各種の処理に必要な制御情報やデータ等の入出力を行うことが可能になる。
また、PCカードI/F15には、PCMCIAメモリカード32やフラッシュメモリカード33等の記憶媒体である、いわゆるメモリカードが自由に着脱されるようになっている。メモリカードをPCカードI/F15に装着することにより、CPU18による制御によって、このメモリカードに記憶されている制御処理情報や画像情報等のデータのコントロールユニット3への取り込み、あるいは制御処理情報や画像情報等のデータのメモリカードへの記録を行うことが可能になる。
映像信号処理回路12は、CCU9から供給された内視鏡画像と、グラフィックによる操作メニューとを合成した合成画像を表示するため、CPU18の制御により生成される、操作メニューに基づくグラフィック画像信号とCCU9からの映像信号を合成する処理や、LCD5の画面上に表示するのに必要な処理等を行い、映像信号をLCD5に供給する。また、この映像信号処理回路12は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。したがって、LCD5の画面上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示される。
音声信号処理回路11には、マイク34によって集音されて生成された、メモリカード等の記憶媒体に記録する音声信号、メモリカード等の記憶媒体の再生によって得られた音声信号、あるいはCPU18によって生成された音声信号が供給される。この音声信号処理回路11は、供給された音声信号を再生するのに必要な増幅処理等の処理を施してスピーカ35に出力する。このことによって、スピーカ35から音声が出力される。
CPU18は、ROM13に格納されているプログラムを実行することによって、目的に応じた処理を行うように各種回路部等を制御して、システム全体の動作制御を行う。RAM14は、CPU18によって、データの一時格納用の作業領域として使用される。
図3に示すように、リモートコントローラ4の前面には、ジョイスティック41、レバースイッチ42、フリーズスイッチ43、ストアースイッチ44、および計測実行スイッチ45が設けられている。また、リモートコントローラ4の側面にはWIDEスイッチ46およびTELEスイッチ47が設けられている。
ジョイスティック41は、湾曲部22の湾曲動作を指示するために操作されるスイッチであり、ユーザがこれを傾倒操作することによって、湾曲部22がその傾倒方向に対応する方向に傾倒角度分だけ湾曲するようになっている。また、ジョイスティック41を真下に押下することによって湾曲動作の微調整の指示を入力することも可能である。レバースイッチ42は、グラフィック表示される各種メニューの操作や、計測を行う場合のポインター移動の際に操作されるスイッチであり、ジョイスティック41と略同様に構成されている。フリーズスイッチ43は、LCD5での表示に関わるスイッチである。
ストアースイッチ44は、フリーズスイッチ43の押下によって静止画像が表示された場合に、この静止画像をメモリカードに記録するときに用いるスイッチである。計測実行スイッチ45は、計測ソフトを実行する際に用いるスイッチである。フリーズスイッチ43、ストアースイッチ44、および計測実行スイッチ45は、オン/オフの指示を押下操作によって行う例えば押下式を採用して構成されている。
WIDEスイッチ46、TELEスイッチ47はそれぞれ内視鏡画像を拡大、縮小するときに用いるスイッチである。挿入部20で撮像される内視鏡画像は、映像信号処理回路12によって必要に応じて拡大または縮小される。この拡大または縮小の倍率の制御はWIDEスイッチ46とTELEスイッチ47の操作により行われる。
図4および図5は、本実施形態の内視鏡装置1で用いられる光学アダプタの1つであるステレオ光学アダプタ7aの一例の構成を示している。図4および図5に示すように、直視型のステレオ光学アダプタ7aの先端面には、一対の照明レンズ51,52と2つの対物レンズ系53,54とが設けられており、図5に示すように、固定リング50の雌ねじ50aを、先端部21に形成されている雄ねじ21aに螺合することによって一体的に固定されるようになっている。
図5に示すように、2つの対物レンズ系53,54により、先端部21内に配設された固体撮像素子2aの撮像面上に2つの光学像が結像される。そして、この固体撮像素子2aで光電変換された撮像信号は、電気的に接続された信号線2bおよび内視鏡ユニット8を介してCCU9に供給されて映像信号に変換され、その後、映像信号処理回路12に供給される。以下、この映像信号が構成する画像を元画像と記載する。
次に、図6を参照し、ステレオ計測による計測点の3次元座標の求め方を説明する。左側および右側の光学系で撮像された画像に対して、三角測量の方法により、計測点60の3次元座標(X,Y,Z)が以下の(1)式〜(3)式で計算される。ただし、歪み補正が施された左右の画像上の計測点61,62の座標をそれぞれ(X,Y)、(X,Y)とし、左側と右側の光学中心63,64の距離をDとし、焦点距離をFとし、t=D/(X−X)とする。
X=t×X+D/2 ・・・(1)
Y=t×Y ・・・(2)
Z=t×F ・・・(3)
上記のように元画像上の計測点61,62の座標が決定されると、パラメータDおよびFを用いて計測点60の3次元座標が求まる。いくつかの点の3次元座標を求めることによって、2点間の距離、2点を結ぶ線と1点の距離、面積、深さ、表面形状等の様々な計測が可能である。また、内視鏡2の撮像面から被写体までの距離(物体距離)を求めることも可能となる。上記のステレオ計測を行うためには、内視鏡先端部21とステレオ光学アダプタを含む光学系の特性を示す光学データが必要である。なお、光学データの詳細は、例えば特開2004−49638号公報に記載されているので、その説明を省略する。
次に、本実施形態における計測処理の詳細を説明する。以下では、ステレオ光学アダプタ7aが先端部21に装着された場合を例示して説明すると共に、次の3種類の計測モードを例示して説明する。
(A)2点間距離計測モード:2点間を結ぶ直線の長さを計測するモード。
(B)線基準計測モード:2点間を結ぶ直線に対して1点から下ろした垂線の長さを計測するモード。
(C)オフセット計測モード:検査対象の劣化部分の劣化の度合いを検査基準と視覚的に比較することを可能とするモード。
図7および図8は計測処理の手順を示している。また、図9〜図11はLCD5の表示画面を示している。ユーザがリモートコントローラ4の計測実行スイッチ45を押下することによって、計測処理の開始が指示される。CPU18は、RS−232C I/F17を介してリモートコントローラ4から入力される信号に基づいてこの指示を検出し、計測処理を開始する。
図9(a)は計測処理の開始時点の表示画面を示している。ステレオ光学アダプタ7aで捉えられた左右の被写体像に対応する左画像100aおよび右画像100bと各種メニューアイコン105とが重畳して表示される。また、カーソル110が表示される。ユーザがリモートコントローラ4のレバースイッチ42を操作することによってカーソルの移動を指示すると、CPU18は、RS−232C I/F17を介して入力される信号に基づいてこの指示を検出する(ステップS100)。図示しないが、この後、CPU18によって、カーソルの表示位置を更新する処理が実行される。
続いて、CPU18はカーソルが示す位置に一時計測点を設定すると共に、一時計測点に対応する右画像上の位置(以下、対応点と記載する)を算出するマッチング処理を実行する(ステップS110)。図9(a)に示すように、一時計測点115aおよび対応点115bが表示画面に○マークで表示される。また、一時計測点115aの周辺を拡大した画像120aと、対応点115bの周辺を拡大した画像120bとが表示画面に表示される。ユーザがレバースイッチ42を操作しカーソル110を移動させることによって、一時計測点115aおよび対応点115bはリアルタイムに移動する。
続いて、これまでに入力された計測点の個数と計測モードの種類に応じて各種計測モードの処理が実行される(ステップS120)。計測点は、後述するステップS130で入力される。図8は、各種計測モードに応じた処理の手順を示している。まず、CPU18は、一時計測点およびその対応点の画像上の位置に基づいてそれらの3次元座標を算出し、さらにそれらの3次元座標に基づいて物体距離を算出する。算出された物体距離は表示画面に表示される(ステップS200)。図9(a)の表示画面における計測結果125aは物体距離の計測結果を示している。
続いて、ステップS205において、計測モードの種類に応じて処理が分岐する。計測モードが2点間距離計測モード、線基準計測モード、オフセット計測モードの各場合に、処理がそれぞれステップS210,S220,S235へ進む。
計測モードが2点間距離計測モードの場合には、ステップS210において、入力された計測点の数に応じて処理が分岐する。入力された計測点の数が0個の場合には、計測処理が終了する。また、入力された計測点の数が1個の場合には、前回入力された計測点と一時計測点との間の2点間距離(3次元距離)が算出され、算出結果が表示画面に表示される(ステップS215)。図9(b)は2点間距離計測モードにおける表示画面を示している。計測点130aが入力された場合、その対応点130bが算出され、2点間距離が算出される。計測結果125bは2点間距離の計測結果を示している。ステップS215の処理が終了すると計測処理が終了する。
計測モードが線基準計測モードの場合には、ステップS220において、入力された計測点の数に応じて処理が分岐する。入力された計測点の数が0個の場合には、計測処理が終了する。また、入力された計測点の数が1個の場合には、前回入力された計測点と一時計測点とを通る直線(基準線)が表示画面に表示される(ステップS225)。図10(a)は線基準計測モードにおける表示画面を示している。計測点135aが入力された場合、その対応点135bが算出され、計測点135aと一時計測点115aとを通る基準線140が表示される。一時計測点115aの移動に伴って基準線140も移動する。ステップS225の処理が終了すると計測処理が終了する。
また、入力された計測点の数が2個の場合には、一時計測点(検査基準点)と基準線との距離が算出され、算出結果が表示画面に表示される(ステップS230)。図10(b)は線基準計測モードにおける表示画面を示している。計測点135aに続いて計測点145aが入力された場合、その対応点145bが算出される。また、計測点135aと計測点145aとを通る基準線150が固定される。また、一時計測点115aと基準線150との距離の算出結果が計測結果125cとして表示画面に表示される。一時計測点115aの移動に伴って計測結果125cは更新される。ステップS230の処理が終了すると計測処理が終了する。
計測モードがオフセット計測モードの場合には、ステップS235において、入力された計測点の数に応じて処理が分岐する。入力された計測点の数が0個の場合には、計測処理が終了する。また、入力された計測点の数が1個の場合には、ステップS225と同様にして基準線が表示画面に表示される(ステップS240)。
また、入力された計測点の数が2個の場合には、ステップS230と同様にして、一時計測点と基準線との距離が算出され、算出結果が表示画面に表示される(ステップS245)。さらに、一時計測点を通り基準線に平行な検査基準線が算出され、表示画面に表示される(ステップS250)。この検査基準線は、劣化部分の劣化の度合いを内視鏡画像の目視により判断する検査の基準となる目印の役割を果たす。
図11(a)はオフセット計測モードにおける表示画面を示している。計測点135aに続いて計測点145aが入力された場合、その対応点145bが算出され、計測点135aと計測点145aとを通る基準線150が表示画面に表示される。また、一時計測点115aと基準線150との距離の算出結果が計測結果125dとして表示画面に表示される。さらに、一時計測点115aを通り基準線150に平行な検査基準線155が表示される。この検査基準線155は被写体上の実線155aと、被写体のない背景上の破線155bとで構成されている。一時計測点115aの移動に伴って計測結果125dおよび検査基準線155は更新される。ステップS250の処理が終了すると計測処理が終了する。オフセット計測モードによる検査の詳細は後述する。
上述した各種計測モードの処理が終了すると、処理が図7のステップS130へ進む。一時計測点を計測点に指定するため、ユーザがレバースイッチ42を押下すると、CPU18は、RS−232C I/F17を介してリモートコントローラ4から入力される信号に基づいて、計測点が指定されたことを検出し、一時計測点を計測点に設定する(ステップS130)。このとき、図9〜図11に示すように、設定された計測点とその対応点は×マークで表示画面に表示される。
このようにして、ステップS100〜S130を繰り返すことによって、所望の位置まで一時計測点が移動し、移動が完了したら、一時計測点が計測点として設定される。これまでに入力された計測点または対応点の修正が必要な場合には、ユーザは各種メニューアイコンの中から修正アイコンを選択する。このとき、図11(b)に示すように、カーソル165の形状は+マークに変化し、これまでに入力された計測点または対応点を選択できるようになる。計測点または対応点が選択された場合、カーソルの形状は矢印マークに戻り、選択された計測点または対応点を適切な位置に入力し直せるようになる。計測点または対応点の修正が完了すると、処理が再度ステップS100から開始される。
計測処理中にストアースイッチ44を押下すると、内視鏡画像と計測結果を含む画像データをメモリカードに記録することが可能である。計測結果は計測の順番に記録される。そして、内視鏡画像の再生時には、記録した順番で計測結果が表示される。ただし、計測点が修正された場合には、修正後に得られた計測結果が他の計測結果よりも重要であると考えられるので、修正後に得られた計測結果が優先的に表示されるように計測結果の記録の順番が変更される。
次に、オフセット計測モードによる検査の詳細を説明する。前述したように、オフセット計測モードは、検査対象の劣化部分の劣化の度合いを検査基準と視覚的に比較することを可能とするモードである。オフセット計測モードでは、図11(a)に示したように、一時計測点115aを通り基準線150に平行な検査基準線155と、一時計測点115aと基準線150との距離の算出結果である計測結果125dとが表示画面に表示される。計測結果125dが示す数値が、劣化部分の許容度を示す検査基準値に等しくなる位置に一時計測点115aがある状態で、ユーザは検査基準線155と劣化部分160とを比較することによって、劣化部分の合否を視覚的に判定することができる。
すなわち、ユーザは画像内で劣化部分160が検査基準線155を越えているか否か(図11(a)では劣化部分160の輪郭線が検査基準線155よりも左側にあるかどうか)を確認する。劣化部分160が検査基準線155を越えている場合には、検査結果は不合格となり、劣化部分160が検査基準線155を越えていない場合には、検査結果は合格となる。これによって、ユーザは劣化部分の大きさを検査基準と画像上で比較することが可能となり、従来の数値の比較による検査よりも合否結果が視覚的に分かりやすい検査を行うことができる。
次に、図12を参照しながら、検査基準線の表示方法を説明する。図12(a)は画像上の検査対象を示し、図12(b)は空間上の検査対象を示している。検査基準線の表示は以下のようにして行われる。
前述したように、ユーザが検査対象の劣化部分の2つの基準点(計測点)を指定すると、2つの基準点を通る基準線が表示される。続いて、基準線からの距離が検査基準値と一致する位置にユーザが基準点を指定すると、その基準点を通り基準線にほぼ平行な検査基準線が表示される。
ここで、ユーザが指定する基準点である画像上の点をA,B,Cとし、点A,B,Cに対応する空間上の点をP,Q,Rとする。また、画像上で2点A,Bを通る直線(基準線)をl1とし、空間上で2点P,Qを通る直線をm1とする。また、画像上で直線l1に平行で点Cを通る直線(検査基準線)をl2とし、空間上で直線m1に平行で点Rを通る直線をm2とする。また、tを媒介変数として直線l2上を動く点をD(t)とし、直線m2上を動く点をS(t)とする。また、画像上の点D(t)に対応する空間上の点をS(t)とする。また、点A,B,C,P,Q,R,D(t),S(t),S(t)の位置ベクトルをa,b,c,p,q,r,d(t),s(t),s(t)とする。また、直線l1と点Cとの距離をkとし、直線m1と点Rとの距離をhとする。
直線l2上の全ての点に関して基準線からの3次元距離が検査基準値に等しいとは限らない。なぜなら、直線l2上の点は画像上の点であり、その点に対応した空間上の点が空間上の基準線から検査基準値だけ離れているとは限らないからである。例えば、直線l2上の点に関して、検査対象上の点では基準線からの3次元距離が検査基準値に等しく、検査対象がない背景上の点では基準線からの3次元距離が検査基準値とは異なるということがある。そこで、本実施形態では、以下の2種類の方法により検査基準線の表示を行う。
第1の表示方法では、直線l2上の各点で計測を行って基準線からの3次元距離を求め、3次元距離が検査基準値に等しいと判定された点では実線を表示し、3次元距離が検査基準値に等しくないと判定された点では破線を表示する。これによって、ユーザが画像の目視により検査対象の劣化部分の合否判定を行う際の判定精度を向上することができる。具体的には、直線l2の方程式((4)式)に従って、tを変化させながら、位置ベクトルd(t)および対応する空間上の位置ベクトルs(t)を算出する。ただし、点D(t)が画像範囲内になるようにtの範囲を設定する。
d(t)=t×(b−a)+c ・・・(4)
また、直線m2の方程式((5)式)に従って、上記と同じ範囲でtを変化させながら、空間上の位置ベクトルs(t)を算出する。
Figure 0005307407
同一のtに対応する位置ベクトルs(t)とs(t)の差が小さいとき、すなわち(6)式を満たす場合に、上記の3次元距離が検査基準値に等しいと判定する。ただし、eは所定の閾値であり、物体距離に応じてeを設定してもよい。
Figure 0005307407
第2の表示方法では、直線l2上の各点を通り直線l2に垂直な線分l3(図13参照)上の各点で計測を行って基準線からの3次元距離を求め、3次元距離が検査基準値に等しいと判定された点で実線を表示する。具体的には、直線l3上を動く点をE(t,w)とし、点E(t,w)に対応する空間上の点をU(t,w)とし、点E(t,w),U(t,w)の位置ベクトルをe(t,w),u(t,w)とし、直線l3の方程式((7)式)に従って、wを変化させながら、位置ベクトルe(t,w)および対応する空間上の位置ベクトルu(t,w)を算出する。ただし、nはベクトル(b−a)に垂直な単位ベクトルであり、wの範囲は画面の大きさに合わせて適当に選択するものとする。
e(t,w)=w×n+d(t) ・・・(7)
また、直線m2の方程式(前述した(5)式)に従って、上記と同じtにおいて、空間上の位置ベクトルs(t)を算出する。位置ベクトルe(t,w)とs(t)の差が小さいとき、すなわち(8)式を満たす場合に、上記の3次元距離が検査基準値に等しいと判定する。ただし、eは所定の閾値である。
Figure 0005307407
CPU18は上記の方法に従って検査基準線の表示位置(位置ベクトルd(t),e(t,w)の集合に対応する位置)を算出すると共に、検査基準線の表示形態(実線・破線の種別)を決定する。また、CPU18は、検査基準線の他、カーソルや、計測点のマーク、各種メニューアイコン等を内視鏡画像に重畳するためのグラフィック画像信号を生成し、映像信号処理回路12へ出力する。映像信号処理回路12は、グラフィック画像信号とCCU9からの映像信号を合成する画像処理を行う。なお、上記では検査基準線の表示形態を実線・破線で制御する方法を示したが、これに限らず、表示色を変える等の制御を行ってもよい。
図14は、上記の第1の表示方法および第2の表示方法による検査基準線の表示例を示している。図14(a)は第1の表示方法に対応しており、図14(b)は第2の表示方法に対応している。
図14(a)では、検査基準線175a,175b上の点に関しては、基準線170からの3次元距離が検査基準値に等しいと判定されるため、検査基準線175a,175bは実線で表示されている。一方、検査基準線180上の点に関しては、基準線170からの3次元距離が検査基準値に等しくないと判定されるため、検査基準線180は破線で表示されている。
また、図14(b)では、基準線185からの3次元距離が検査基準値に等しいと判定された点を通る検査基準線190が実線で表示されている。さらに、計測点195を通り、基準線185に平行な検査基準線200も表示されている。
次に、CPU18が検査基準値を取得する方法を説明する。上記では、図11(a)に示した一時計測点115aと基準線150との距離の算出結果を検査基準値としていたが、これに限られない。例えば、ユーザが検査基準値を入力することも可能である。例えば、検査基準値を入力するため、ユーザはリモートコントローラ4のレバースイッチ42を操作することによって検査基準値を入力し、CPU18は、RS−232C I/F17を介してリモートコントローラ4から入力される信号に基づいて検査基準値を識別する。
この場合、ユーザはまず検査対象の劣化部分上の2点を指定し、続いて検査基準値を入力するだけで、検査基準線を表示することが可能となり、同様の検査を行うことが可能となる。具体的には、図12に示した2点A,Bと距離hがユーザによって指定されることになるので、これらから点Cの位置を求めれば、上記の方法を適用することが可能となる。
点Cの位置は以下のようにして求められる。uを媒介変数とし、画像上で点Aを通り直線l1に垂直な直線上の点をE(u)とし、点E(u)に対応する空間上の点をT(u)とする。ただし、点E(u)が画像範囲内になるようにuの範囲を設定する。また、点T(u)および直線m1の距離とhとの差が所定値未満となるuを求める。この条件を満たすuをu0とし、点E(u0)を点Cとする。
検査基準値を取得するには、リモートコントローラ4の操作による入力のほか、以下のような方法が可能である。
(a)検査対象毎の検査基準値を内視鏡装置内の記憶媒体に記憶させておき、ユーザによって検査対象の情報が入力されたら、その検査対象に対応した検査基準値を記憶媒体から読み出す。
(b)検査対象毎の検査基準値を外部の記憶媒体に記憶させておき、ユーザによって検査対象の情報が入力されたら、その検査対象に対応した検査基準値を外部の記憶媒体から取得する。
(c)検査対象を識別する手段を設けると共に検査対象毎の検査基準値を内視鏡装置内の記憶媒体に記憶させておき、識別された検査対象に対応した検査基準値を記憶媒体から読み出す。
(d)検査対象を識別する手段を設けると共に検査対象毎の検査基準値を外部の記憶媒体内の記憶媒体に記憶させておき、識別された検査対象に対応した検査基準値を外部の記憶媒体から取得する。
上記(a)では、各検査対象の情報と検査基準値とが関連付けられた情報が例えばROM13に予め格納される。ユーザはリモートコントローラ4の操作により検査対象の情報を入力する。CPU18は、入力された情報と関連付けられた検査基準値をROM13から読み出して使用する。
上記(b)では、各検査対象の情報と検査基準値とが関連付けられた情報が予め外部の記憶媒体に格納される。外部の記憶媒体は、ネットワークを介したアクセスが可能なサーバ内に設けた記憶媒体でもよいし、PCMCIAメモリカード32やフラッシュメモリカード33等の記憶媒体でもよいし、パーソナルコンピュータ31内の記憶媒体でもよい。ユーザはリモートコントローラ4の操作により検査対象の情報を入力する。CPU18は、入力された情報と関連付けられた検査基準値をPCMCIAメモリカード32やフラッシュメモリカード33等の記憶媒体から読み出して使用する。あるいは、CPU18は、入力された情報を外部装置(サーバもしくはパーソナルコンピュータ31)へ送信し、その情報と関連付けられた検査基準値を外部装置から受信して使用する。
上記(c)では、検査対象を識別する手段として、バーコードリーダやICタグリーダ等の読み取り器を設ける。また、各検査対象の情報と検査基準値とが関連付けられた情報が例えばROM13に予め格納される。この例の場合、図15に示すように読み取り器36がRS−232C I/F17に接続される。検査時にユーザは検査対象に貼付されているバーコードやICタグ等を読み取り器36で読み取る。CPU18は、RS−232C I/F17を介して読み取り器36から入力される信号に基づいて、バーコードやICタグ等が示す検査対象の情報を識別する。さらに、CPU18は、識別した情報と関連付けられた検査基準値をROM13から読み出して使用する。
上記(d)では、検査対象を識別する手段として、バーコードリーダやICタグリーダ等の読み取り器を設ける。また、各検査対象の情報と検査基準値とが関連付けられた情報が予め外部の記憶媒体に格納される。CPU18は、上記(c)と同様にして検査対象の情報を識別し、上記(b)と同様にしてその情報と関連付けられた検査基準値を外部の記憶媒体から取得して使用する。
次に、検査基準線の他の表示方法を説明する。検査基準線は直線に限らず、折れ線や曲線等でもよい。また、以下に示すように円(円弧を含む)等でもよい。以下、図16を参照しながら、円状の検査基準線の表示方法を説明する。図16(a)は画像上の検査対象を示し、図16(b)は空間上の検査対象を示している。検査基準線の表示は以下のようにして行われる。ユーザが検査対象の劣化部分の第1の基準点(計測点)を指定し、さらに第1の基準点からの距離が検査基準値と一致する位置に第2の基準点を指定すると、第1の基準点を中心とし第2の基準点を通る円として検査基準線が表示される。
ここで、ユーザが指定する基準点である画像上の点をA,Bとし、点A,Bに対応する空間上の点をP,Qとする。また、画像上で2点A,B間の距離をkとし、空間上で2点P,Q間の距離をhとする。また、点Aを中心とし点Bを通る半径kの円(検査基準線)をCとし、点Pを中心とし点Qを通る半径hの円をRとする。また、θを媒介変数として円C上を動く点をD(θ)とし、円R上を動く点をS(θ)とする。また、画像上の点D(θ)に対応する空間上の点をS(θ)とする。また、点A,B,P,Q,D(θ),S(θ),S(θ)の位置ベクトルをa,b,p,q,d(θ),s(θ),s(θ)とする。
円C上の全ての点に関して中心からの3次元距離が検査基準値に等しいとは限らない。なぜなら、円C上の点は画像上の点であり、その点に対応した空間上の点が空間上の点Pから検査基準値だけ離れているとは限らないからである。例えば、円C上の点に関して、検査対象上の点では中心からの3次元距離が検査基準値に等しく、検査対象がない背景上の点では中心からの3次元距離が検査基準値とは異なるということがある。
そこで、円C上の各点で計測を行って中心からの3次元距離を求め、3次元距離が検査基準値に等しいと判定された点では実線を表示し、3次元距離が検査基準値に等しくないと判定された点では破線を表示する。具体的には、円Cの方程式((9)式)に従って、θを変化させながら、位置ベクトルd(θ)および対応する空間上の位置ベクトルs(θ)を算出する。ただし、U(θ)は(10)式で表され、0≦θ<2πである。
d(θ)=a+U(θ)(b−a) ・・・(9)
Figure 0005307407
点S(θ)および点Pの距離とhとの差が小さいとき、すなわち(11)式を満たす場合に、上記の3次元距離が検査基準値に等しいと判定する。ただし、eは所定の閾値である。なお、上記と同様にして検査基準線を楕円で表示してもよい。
Figure 0005307407
上述したように、本実施形態によれば、劣化部分の劣化の度合いを画像の目視により判断する検査の基準となる目印(検査基準線)が、基準点(計測点)の位置と検査基準値とに基づいて算出した表示位置に表示されるので、ユーザは劣化部分の劣化の度合いを画像上で視覚的に判断することができる。したがって、数値の比較により劣化部分の合否を判定する従来の検査よりも視覚的に分かりやすい検査を行うことができる。
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、上記の実施形態では、基準線および検査基準線を左画像上に表示しているが、基準線および検査基準線を右画像上に表示してもよい。
本発明の一実施形態による内視鏡装置の全体構成を示す斜視図である。 本発明の一実施形態による内視鏡装置の内部構成を示すブロック図である。 本発明の一実施形態による内視鏡装置が備えるリモートコントローラの斜視図である。 本発明の一実施形態による内視鏡装置に使用されるステレオ光学アダプタの斜視図である。 本発明の一実施形態による内視鏡装置に使用されるステレオ光学アダプタの内部構成を示す断面図である。 本発明の一実施形態におけるステレオ計測による計測点の3次元座標の求め方を説明するための参考図である。 本発明の一実施形態における計測処理の手順を示すフローチャートである。 本発明の一実施形態における計測処理の手順を示すフローチャートである。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における表示画面を示す参考図である。 本発明の一実施形態における検査基準線の表示方法を説明するための参考図である。 本発明の一実施形態における検査基準線の表示方法を説明するための参考図である。 本発明の一実施形態における検査基準線の表示方法を説明するための参考図である。 本発明の一実施形態による計測用内視鏡装置の内部構成を示すブロック図である。 本発明の一実施形態における検査基準線の表示方法を説明するための参考図である。
符号の説明
1・・・内視鏡装置、2・・・内視鏡、4・・・リモートコントローラ(入力手段)、12・・・映像信号処理回路(画像処理手段)、18・・・CPU(基準点設定手段、算出手段、制御手段、取得手段)、36・・・読み取り器(識別手段)

Claims (11)

  1. 内視鏡が検査対象を撮像した画像において基準点および計測点を設定する設定手段と、
    前記基準点を通る基準線と前記計測点との3次元距離を算出する計測処理手段と、
    前記基準線に平行であって、前記計測点を通る検査基準線を算出する算出手段と、
    前記計測点、前記計測処理手段によって算出された前記3次元距離、および前記算出手段によって算出された前記検査基準線を表示する処理を行う画像処理手段と、
    を備えたことを特徴とする内視鏡装置。
  2. 前記検査基準線の表示位置に対応する空間上の位置に基づいて前記検査基準線の表示形態を制御する制御手段をさらに備えたことを特徴とする請求項1に記載の内視鏡装置。
  3. 前記計測処理手段は、前記検査基準線上の各点と前記検査基準線との3次元距離を算出し、
    前記画像処理手段は、前記検査基準線上の各点と前記検査基準線との3次元距離のうち、前記基準線と前記計測点との3次元距離と略等しいと判定された点に基づいて前記検査基準線を表示する処理を行うことを特徴とする請求項2に記載の内視鏡装置。
  4. 前記画像処理手段は、前記検査基準線上の各点と前記検査基準線との3次元距離のうち、前記基準線と前記計測点との3次元距離と略等しいと判定された点に基づく前記検査基準線と、前記基準線と前記計測点との3次元距離と略等しくないと判定された点に基づく前記検査基準線とを区別して表示することを特徴とする請求項3に記載の内視鏡装置。
  5. ユーザが検査基準値を入力するための入力手段をさらに備え、
    前記算出手段は、前記入力手段に入力された前記検査基準値に基づいて前記検査基準線を算出する
    ことを特徴とする請求項1〜請求項4のいずれかに記載の内視鏡装置。
  6. 前記検査対象毎に検査基準値を記憶する記憶手段と、
    ユーザが前記検査対象を入力するための入力手段とをさらに備え、
    前記算出手段は、前記記憶手段から読み出された、前記入力手段に入力された前記検査対象に対応した前記検査基準値に基づいて前記検査基準線を算出する
    ことを特徴とする請求項1〜請求項4のいずれかに記載の内視鏡装置。
  7. 前記検査対象毎に検査基準値を記憶する記憶手段と、
    ユーザが前記検査対象を入力するための入力手段と、
    前記記憶手段から、前記入力手段に入力された前記検査対象に対応する前記検査基準値を取得する取得手段とをさらに備え、
    前記算出手段は、前記取得手段によって取得された前記検査基準値に基づいて前記検査基準線を算出する
    ことを特徴とする請求項1〜請求項4のいずれかに記載の内視鏡装置。
  8. 前記検査対象毎に検査基準値を記憶する記憶手段と、
    前記検査対象を識別する識別手段とをさらに備え、
    前記算出手段は、前記記憶手段から読み出された、前記識別手段によって識別された前記検査対象に対応した前記検査基準値に基づいて前記検査基準線を算出する
    ことを特徴とする請求項1〜請求項4のいずれかに記載の内視鏡装置。
  9. 前記検査対象を識別する識別手段と、
    前記検査対象毎に検査基準値を記憶する外部の記憶手段から、前記識別手段によって識別された前記検査対象に対応する前記検査基準値を取得する取得手段とをさらに備え、
    前記算出手段は、前記取得手段によって取得された前記検査基準値に基づいて前記検査基準線を算出する
    ことを特徴とする請求項1〜請求項4のいずれかに記載の内視鏡装置。
  10. 内視鏡が検査対象を撮像した画像において基準点および計測点を設定するステップと、
    前記基準点を通る基準線と前記計測点との3次元距離を算出するステップと、
    前記基準線に平行であって、前記計測点を通る検査基準線を算出するステップと、
    前記計測点、前記3次元距離、および前記検査基準線を表示するステップと、
    をコンピュータに実行させるためのプログラム。
  11. 内視鏡が検査対象を撮像した画像において、2つの基準点を設定する設定手段と、
    前記2つの基準点間の3次元距離を算出する計測処理手段と、
    前記基準点の一方を中心とし、前記基準点の他方を通る円または楕円である検査基準線を算出する算出手段と、
    前記計測点、前記計測処理手段によって算出された前記3次元距離、および前記算出手段によって算出された前記検査基準線を表示する処理を行う画像処理手段と、
    を備えたことを特徴とする内視鏡装置。
JP2008004294A 2008-01-11 2008-01-11 内視鏡装置およびプログラム Active JP5307407B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008004294A JP5307407B2 (ja) 2008-01-11 2008-01-11 内視鏡装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008004294A JP5307407B2 (ja) 2008-01-11 2008-01-11 内視鏡装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2009168499A JP2009168499A (ja) 2009-07-30
JP5307407B2 true JP5307407B2 (ja) 2013-10-02

Family

ID=40969851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008004294A Active JP5307407B2 (ja) 2008-01-11 2008-01-11 内視鏡装置およびプログラム

Country Status (1)

Country Link
JP (1) JP5307407B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5530225B2 (ja) 2010-03-09 2014-06-25 オリンパス株式会社 内視鏡装置およびプログラム
CN102175695B (zh) * 2010-12-29 2012-11-21 天津钢管集团股份有限公司 无损探伤标准样管制作中内窥镜操作方法
JP5629023B2 (ja) * 2012-05-30 2014-11-19 オリンパスメディカルシステムズ株式会社 医療用3次元観察装置
NO343149B1 (no) 2014-04-22 2018-11-19 Vision Io As Fremgangsmåte for visuell inspeksjon og logging
JP6810711B2 (ja) * 2015-06-29 2021-01-06 ゼネラル・エレクトリック・カンパニイ 既知の測定可能な対象特徴を検出するための方法およびシステム
JP2020022563A (ja) 2018-08-06 2020-02-13 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6035046Y2 (ja) * 1978-11-02 1985-10-18 株式会社町田製作所 基準寸法表示装置
JPS60182407A (ja) * 1984-02-29 1985-09-18 Olympus Optical Co Ltd 測長内視鏡
JP3271813B2 (ja) * 1993-02-08 2002-04-08 オリンパス光学工業株式会社 画像計測装置用キャリブレーション方法とキャリブレーション装置
DE4409966A1 (de) * 1994-03-23 1995-09-28 Basf Ag Zweifach mit Metalloxid beschichtete Carrier für die Elektrophotographie
JP3456096B2 (ja) * 1996-07-25 2003-10-14 松下電工株式会社 形状検査方法
JP2002167272A (ja) * 2000-11-28 2002-06-11 Minebea Co Ltd Mn−Znフェライトの製造方法
JP4873794B2 (ja) * 2001-05-30 2012-02-08 オリンパス株式会社 画像処理計測装置及び計測内視鏡装置
JP4759184B2 (ja) * 2001-08-31 2011-08-31 オリンパス株式会社 計測内視鏡装置
JP2003269922A (ja) * 2002-03-13 2003-09-25 Olympus Optical Co Ltd 共焦点高さ測定装置
JP2005291760A (ja) * 2004-03-31 2005-10-20 Anritsu Corp プリント基板検査装置
JP5079973B2 (ja) * 2004-06-09 2012-11-21 オリンパス株式会社 計測用内視鏡装置及び計測用内視鏡装置用プログラム

Also Published As

Publication number Publication date
JP2009168499A (ja) 2009-07-30

Similar Documents

Publication Publication Date Title
JP5073564B2 (ja) 計測用内視鏡装置およびプログラム
US8913110B2 (en) Endoscope apparatus and measurement method
JP4632577B2 (ja) 計測内視鏡装置
US7443488B2 (en) Endoscope apparatus, method of operating the endoscope apparatus, and program to be executed to implement the method
US6914623B2 (en) Image processing measuring apparatus and measuring endoscope apparatus
US7282026B2 (en) Endoscope system including plurality of types of optical adapters
US20110187824A1 (en) Endoscope apparatus and measurement method
JP5307407B2 (ja) 内視鏡装置およびプログラム
JP4373037B2 (ja) 計測内視鏡装置
US20060176321A1 (en) Endoscope apparatus
US20190068956A1 (en) Measurement apparatus and operation method of measurement apparatus
JP5079973B2 (ja) 計測用内視鏡装置及び計測用内視鏡装置用プログラム
CN110858397A (zh) 测量装置、测量装置的工作方法以及存储介质
JP4674093B2 (ja) 内視鏡装置及びプログラム
US8372002B2 (en) Endoscope apparatus
JP2011170276A (ja) 内視鏡装置およびプログラム
US11055865B2 (en) Image acquisition device and method of operating image acquisition device
JP2003070719A (ja) 計測内視鏡装置
JP5253109B2 (ja) 内視鏡装置および内視鏡画像用プログラム
JP6400767B2 (ja) 計測内視鏡装置
JP2005279054A (ja) 変換画像表示装置、変換画像表示方法並びに工業用内視鏡装置
JP5602449B2 (ja) 内視鏡装置
JP4464640B2 (ja) 工業用内視鏡装置
JP2009015210A (ja) 画像計測装置および方法
US20120100512A1 (en) Inspection apparatus and inspection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20120723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130627

R151 Written notification of patent or utility model registration

Ref document number: 5307407

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250