JP4464641B2

JP4464641B2 - 工業用内視鏡システム

Info

Publication number: JP4464641B2
Application number: JP2003308945A
Authority: JP
Inventors: 光男小畑
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-09-01
Filing date: 2003-09-01
Publication date: 2010-05-19
Anticipated expiration: 2023-09-01
Also published as: JP2005077832A

Description

本発明は、工業用内視鏡システムに関するものである。

工業用内視鏡装置は、例えば航空機エンジンのブレード検査や電力配管の内部検査など、様々な用途に用いられている。
この種の工業用内視鏡装置は、下記特許文献１に示されているように、検査対象内部に挿入される細長くて可撓性を有する内視鏡プローブと、この内視鏡プローブに内蔵されたライトガイドに照明光を供給する光源装置と、内視鏡プローブの先端に内蔵された撮像素子であるＣＣＤ（電荷結合素子）からの電気信号に基づいて画像信号を生成する制御装置と、前記画像信号を表示するテレビモニタなどを備えて概略構成されている。

例えば、この工業用内視鏡装置を用いて航空機エンジン内の検査を行う場合には、まず電源を投入して前記内視鏡プローブの先端から照明光を出射させるとともに、前記ＣＣＤで撮像される画像を前記テレビモニタに表示させる状態にする。その後、内視鏡プローブを装置本体から引き出しながら航空機エンジン内に挿入していく。検査を行う作業者は、テレビモニタに表示されるリアルタイム映像を観察しながら内視鏡プローブを所定の観察ポイントへと誘導するように挿入していくことで内部検査を行う。
特開平８−２０１７０６号公報

ところで、従来の工業用内視鏡装置を用いて航空機エンジンや配管等の内部検査を行う場合、上述のように、内視鏡プローブを操作する作業者がリアルタイム映像を見ながら自らの判断で各観察部位に内視鏡プローブを移動させ、その観察を行っていた。
この場合、観察すべき部位を間違いなく観察したかどうかは観察者次第であり、客観的に確認する手だてがなかった。また、熟練していない観察者が操作した場合には、観察対象内における自らの位置（内視鏡プローブの位置）を見失うなどしてなかなか目標とする観察部位に達することができない場合もあった。したがって、場合によっては観察すべき個所を見逃して不完全な検査結果を招いてしまう虞があった。

そこで、この工業用内視鏡装置に、内視鏡プローブの操作内容を補佐する機能を付加することも考えられる。しかしながら、筐体内には、上述した各構成要素が既に高密度に詰め込まれているため、さらに複雑な構成要素を詰め込むことは、装置の大型化及び重量化を招くものとなり、可搬性を大きく損なう虞がある。

本発明は、上記事情に鑑みてなされたものであって、工業用内視鏡装置を用いて観察する際に、目的部位に容易に達するとともにその観察結果を客観的記録として残すことができ、なおかつ、可搬性を損なうことのない手段の提供を目的とする。

本発明は、上記課題を解決するために以下の手段を採用した。
すなわち、本発明の工業用内視鏡システムは、被観察物内に挿入される内視鏡プローブ及び被観察物に関する画像を表示する表示部を有する工業用内視鏡装置と、該工業用内視鏡装置に通信回線を介して接続したサーバーとを備えた工業用内視鏡システムであって、前記サーバーは、少なくとも１つの検査部位と、前記検査部位における検査項目とに関する情報を含む検査計画を前記工業用内視鏡装置に送信し、前記工業用内視鏡装置は、受信した前記検査計画を前記表示部に表示し、前記被観察物の部位であって、前記検査計画が有する前記検査部位に対応する部位に前記内視鏡プローブが位置するときに前記内視鏡プローブによって取得された画像を前記サーバーに送信し、前記検査部位における検査が終了したとき、前記検査部位における検査が終了したことを示す情報を前記サーバーに送信し、前記サーバーは、受信した前記画像と、前記検査計画が有する前記検査部位と、前記検査部位における検査が終了したことを示す情報とを関連付けて記録することを特徴とする。
前記工業用内視鏡装置は、前記被観察物の部位であって、前記検査計画が有する前記検査部位に対応する部位に前記内視鏡プローブが位置するとき、前記検査部位における前記検査項目を前記表示部に表示し、前記内視鏡プローブによって前記検査部位において前記検査項目ごとに取得された画像を前記サーバーに送信し、前記サーバーは、受信した前記画像と、前記検査計画が有する前記検査部位における前記検査項目とを関連付けて記録してもよい。
また、前記サーバーは、前記被観察物内の形状寸法を示す形状データを用意する第１の処理と、前記内視鏡プローブによって取得された画像及び前記形状データ間の比較により、前記被観察物内における前記内視鏡プローブの位置情報及び姿勢情報の少なくとも一方を求める第２の処理との少なくとも一方を行うものでもよい。
さらに、前記サーバーによる処理結果に基づいて前記内視鏡プローブの位置情報及び姿勢情報の少なくとも一方を前記表示部に表示してもよい。

また、本発明の工業用内視鏡システムは、前記形状データに基づいて設定された、前記内視鏡プローブの挿入予定経路を前記表示部に表示するものでもよい。

また、本発明の工業用内視鏡システムは、前記内視鏡プローブの位置情報及び姿勢情報の少なくとも一方と前記挿入予定経路との比較に基づいて、前記内視鏡プローブの移動すべき方向を前記表示部に表示するものでもよい。

また、本発明の工業用内視鏡システムは、前記被観察物内で前記内視鏡プローブが取得した画像と、前記画像を取得したときの前記内視鏡プローブの位置情報及び姿勢情報の少なくとも一方とを関連付けて記録するものでもよい。

また、本発明の工業用内視鏡システムにおいては、前記形状データが、前記内視鏡プローブが過去観察時に取得した画像と、前記画像を取得したときの前記内視鏡プローブの位置情報及び姿勢情報の少なくとも一方とに基づいて構成されてもよい。

また、本発明の工業用内視鏡システムにおいては、前記形状データが、前記被観察物の設計情報に基づいて構成されてもよい。

上述した構成によれば、観察を行う目的部位に容易に達することができ、なおかつ、観察結果を客観的記録として残すことが可能となる。また、工業用内視鏡装置の可搬性を従来と略同等に保つことが可能となる。

本発明の工業用内視鏡システムの一実施形態についての説明を、図面を参照しながら以下に行うが、本発明がこれらのみに限定解釈されるものでないことは勿論である。なお、図１は、本実施形態の工業用内視鏡システムの概略構成を説明するための説明図である。また、図２は、同工業用内視鏡システムに備えられている工業用内視鏡装置の一実施形態を示す斜視図である。また、図３は、同工業用内視鏡装置の制御部を中心とする内部構造を説明するためのブロック図である。また、図４は、同工業用内視鏡システムの制御動作を説明する図であって、被検査物内の検査を行う際の検査計画を立てるまでを示すフローチャート図である。また、図５は、同工業用内視鏡システムを用いた検査の流れを示すフローチャート図である。また、図６は、同工業用内視鏡システムに備えられている工業用内視鏡装置の液晶モニタの画面を示す図である。また、図７（ａ）及び（ｂ）は、同液晶モニタ上の表示を示す図であって、図６の表示領域Ａ１の拡大図である。また、図８は、同液晶モニタ上の表示を示す図であって、図６の表示領域Ａ１を切り替えた図である。また、図９は、同液晶モニタの表示を示す図である。また、図１０は、同工業用内視鏡装置のリモートコントローラを示す側面図である。また、図１１は、同工業用内視鏡システムによるマッチング動作を説明するための図であって、（ａ）が特徴抽出工程を説明する図であり、（ｂ）が特徴比較を行っている状態を説明するための図である。また、図１２は、同工業用内視鏡システムに備えられている工業用内視鏡装置の液晶モニタの表示を示す図であって、表示内容を切り替えた状態を示す図である。また、図１３は、同工業用内視鏡システムのサーバー側に保存される記録内容の一覧を説明する図である。また、図１４は、同工業用内視鏡システムに備えられている工業用内視鏡装置の液晶モニタの表示を示す図であって、表示内容を切り替えた状態を示す図である。

図１に示すように、本実施形態の工業用内視鏡システムは、工業用内視鏡装置１及びサーバー（計算機）１００と、これらの間を接続する通信回線Ｌとを備えて概略構成されている。なお、同図において、二点鎖線を隔てた左側が、被検査物の近傍に配置された工業用内視鏡装置１で、右側が、遠隔地に配置されたサーバー１００を示している。

図２に示すように、前記工業用内視鏡装置１は、光学アダプタ２と、この光学アダプタ２が着脱自在に接続される内視鏡プローブ３を有する内視鏡４と、内視鏡４が収納されるコントロールユニット（本体）６と、各種動作制御を実行させるための操作を行うリモートコントローラ７と、内視鏡画像や操作制御内容（例えば処理メニュー）、さらにはナビゲーション情報等が表示される表示装置である液晶モニタ（以下、ＬＣＤと称する）８と、通常の内視鏡画像、あるいはその内視鏡画像をステレオ画像として立体視可能なフェイスマウントディスプレイ（以下、ＦＭＤと称する）９と、このＦＭＤ９に画像データを供給するＦＭＤアダプタ９ａと、前記サーバー１００との間で通信データの受け渡しを行うための通信装置（有線または無線の通信装置。）１０１とを備えて概略構成されている。

前記内視鏡プローブ３は、その先端部３ａにＣＣＤ（光学撮像素子。図示せず。）を内蔵した細長いケーブルであり、コントロールユニット６から引き出して被検査物（被観察物）内に挿入することが可能となっている。そして、この内視鏡プローブ３の先端部３ａには、立体視観察用であるステレオ測定用の光学アダプタ２の他に、通常観察用の比較計測用光学アダプタ１０も着脱自在に接続できるようになっている。
なお、同図の符号１１は、後述のＣＣＵ１７を経由せずに映像を映像信号処理回路に入力するための外部映像入力端子を示している。また、符号１２は、外部から電力を取り入れるためのコンセントケーブルを示している。

続いて、図３を参照しながら工業用内視鏡装置１の内部構造の詳細説明を以下に行う。
同図３に示すように、内視鏡プローブ３の基端部は、コントロールユニット６内の内視鏡ユニット１５に接続されている。この内視鏡ユニット１５の内部には、撮影時に必要な照明光を内視鏡プローブ３に内蔵されたライトガイドに供給する光源１６や、内視鏡プローブ３に内蔵された湾曲部（図示せず）を電気的に湾曲動作させる電動湾曲装置（図示せず）などが内蔵されている。さらに、コントロールユニット６内には、内視鏡プローブ３の挿入長（すなわち、コントロールユニット６からの内視鏡プローブ３の引き出し長さ）を検出する内視鏡挿入長センサ（ロータリーエンコーダ）ＲＥが内蔵されている。

内視鏡プローブ３の先端部３ａ内には、前記ＣＣＤが内蔵されており、このＣＣＤから出力される撮像信号が、画像処理部であるカメラコントロールユニット（以下、ＣＣＵと称する）１７に入力されるようになっている。このＣＣＵ１７は、入力された撮像信号を例えばＮＴＳＣ信号等の映像信号に変換して、コントロールユニット６内の制御部ＣＵに供給するように構成されている。

コントロールユニット６内に搭載される前記制御部ＣＵは、ＣＰＵ１８、ＲＯＭ１９、ＲＡＭ２０、ＰＣカードインターフェイス（以下、ＰＣカードＩ／Ｆと称する。）２１ａ、ＵＳＢインターフェイス（以下、ＵＳＢＩ／Ｆと記載する。）２１ｂ、ＲＳ−２３２Ｃインターフェイス（以下、ＲＳ−２３２ＣＩ／Ｆと記載する。）２１ｃ、音声信号処理回路２２、映像信号処理回路２３、記録部Ｒ、そして前記通信装置１０１を備えて構成されている。

前記ＣＰＵ１８は、主要プログラムに基づいて各種機能を実行／動作させる制御と、計測処理とを行うマイクロプロセッサーである。そして、このＣＰＵ１８は、ＲＯＭ１９に格納されているプログラムを実行し、目的に応じた処理を行うことでシステム全体の動作制御を行うようになっている。
前記ＲＳ−２３２ＣＩ／Ｆ２１ｃは、リモートコントローラ７による操作に基づいてコントロールユニット６全体を動作制御するのに必要な通信を行うためのインターフェイスであり、ＣＣＵ１７、内視鏡ユニット１５、内視鏡挿入長センサＲＥ、そしてリモートコントローラ７のそれぞれに接続されている。また、バスを介してＣＰＵ１８に接続されている。これにより、リモートコントローラ７で、ＣＣＵ１７及び内視鏡ユニット１５への動作指示及び制御を行うことが可能となっている。

前記ＵＳＢＩ／Ｆ２１ｂは、コントロールユニット６とパーソナルコンピュータ２５との間を電気的に接続するためのインターフェイスである。このＵＳＢＩ／Ｆ２１ｂを介してコントロールユニット６とパーソナルコンピュータ２５を接続した場合に、パーソナルコンピュータ２５側からも、リモートコントローラ７から動作指示した場合と同様に、内視鏡画像の表示指示や計測時における画像処理などの各種の制御指示をコントロールユニット６に対して行うことが可能となる。さらには、コントロールユニット６及びパーソナルコンピュータ２５間での各種処理に必要な制御情報やデータ等の入出力も可能としている。

前記ＰＣカードＩ／Ｆ２１ａには、ＰＣＭＣＩＡメモリーカード２６のみならずＰＣＭＣＩＡカードアダプタを介してコンパクトフラッシュ（登録商標）メモリーカード２７等の外部記憶媒体が着脱自在に装着されるようになっている。そして、この外部記憶媒体を装着した場合には、ＣＰＵ１８の制御により、これら外部記憶媒体に記憶された制御処理情報や検査記録等のデータを、ＰＣカードＩ／Ｆ２１ａを介してコントロールユニット６内に取り込んだり、または、ＰＣカードＩ／Ｆ２１ａを介して制御処理情報や検査記録等のデータを前記外部記憶媒体に供給して記録させることができるようになっている。

前記映像信号処理回路２３は、ＣＣＵ１７から供給された内視鏡画像とグラフィック表示された操作メニューとを合成した合成画像を表示する機能を有しており、ＣＣＵ１７からの映像信号と、ＣＰＵ１８により生成された操作メニューの表示信号とを合成処理し、さらに、ＬＣＤ８の画面上に表示するのに必要な処理を施してからＬＣＤ８に供給する。これにより、ＬＣＤ８には、内視鏡画像と操作メニューとの合成画像が表示される。また、この合成画像は、映像信号処理回路２３においてＡ／Ｄ変換及び圧縮され、前記通信装置１０１，１０２によって形成される通信回線Ｌを介してサーバー１００側にリアルタイムに送信される。このようにして送信された合成映像は、サーバー１００に受信されて解凍され、元の合成映像に変換される。なお、映像信号処理回路２３は、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示させるための処理を行うことも可能となっている。
前記ＬＣＤ８は、内視鏡プローブ３からの内視鏡画像（映像）や操作制御内容（例えば処理メニュー）等の表示を行う表示部であるタッチパネル式の液晶モニタである。

前記コントロールユニット６には、ＣＣＵ１７を経由せずに映像信号処理回路２３に映像を入力する前記外部映像入力端子１１が別に設けられている。この外部映像入力端子１１に映像信号が入力された場合、映像信号処理回路２３は、ＣＣＵ１７からの内視鏡画像に優先して前記映像信号に基づく合成画像を出力する。

前記音声信号処理回路２２には、マイク２８により集音されて前記外部記憶媒体に記録される音声信号や、前記外部記憶媒体の再生により得られる音声信号や、ＣＰＵ１８により生成された音声信号が供給されるようになっている。そして、この音声信号処理回路２２は、供給された音声信号を再生するために必要な処理（増幅処理等）を施した後、スピーカ２２ａに出力する。これにより、スピーカ２２ａから音声信号が再生される。
前記リモートコントローラ７には、湾曲操作用のジョイスティック、メニュー選択用のジョイスティック、フリーズスイッチ、画像記録スイッチ等が設けられており、各種のリモコン操作を行えるようになっている。これについて図１０を参照して説明すると、観察者の判断により、図１０に示すリモートコントローラ７のフリーズスイッチ７ａを押下することでＬＩＶＥ画像を停止させ、画像記録スイッチ７ｂを押下することで、停止させたＬＩＶＥ画像を制御部ＣＵの記録部Ｒに記録することができるようになっている。ちなみに、この図１０における符号７ｃは、内視鏡プローブ３の先端を湾曲動作させるためのジョイスティックであり、また符号７ｄは、ＬＣＤ８上のポインタを動かすためのジョイスティックである。
前記通信装置１０１は、工業用内視鏡装置１内の制御部ＣＵと、前記サーバー１００との間に通信回線Ｌを形成するための無線送受信機であり、制御部ＣＵからサーバー１００に向かって通信データを送信したり、または、サーバー１００から制御部ＣＵに送られてくる通信データを受信する機能を備えている。なお、通信回線Ｌとして無線を採用した場合を例に説明を続けていくが、無線に限らず、有線の通信回線Ｌを採用しても良いことは勿論である。

前記サーバー１００は、工業用内視鏡装置１が用いられる現場から離れた遠隔地に配置された計算機であり、工業用内視鏡装置１を用いて内視鏡検査を行う観察者の操作アシスト、検査結果の記録などを行うことが可能となっている。
すなわち、このサーバー１００は、図１に示すように、前記通信回線Ｌを介して工業用内視鏡装置１から得た内視鏡画像（映像）を、前記被観察物内の形状寸法を示す形状データと比較することにより、前記被観察物内における内視鏡プローブ３の位置及び姿勢を求めることが可能となっている。さらに、このサーバー１００は、工業用内視鏡装置１との間で通信データの受け渡しを行うための通信装置１０２を備えており、サーバー１００側で求めた内視鏡プローブ３の位置及び姿勢を、通信回線Ｌを介して工業用内視鏡装置１側に送信し、前記ＬＣＤ８に表示させることも可能となっている。これにより、観察者に、どのように内視鏡プローブ３を操作すればスムーズに検査が行えるかを常に指示することが可能となっている。
また、サーバー１００は、図１に示す記録部Ｒを備えており、求めた内視鏡プローブ３の位置及び姿勢と、これら位置及び姿勢に対応する前記リアルタイム映像とを関連づけた検査記録を記録することが可能となっている。
また、サーバ１００の記録部Ｒに記録した検査記録は図示しないダウンロードメニューなどを操作することにより、工業用内視鏡装置１の記録部Ｒや、工業用内視鏡装置１を介して接続されたＰＣ２５にダウンロードすることができる。これにより、工業用内視鏡装置１とサーバー１００で行った検査内容をＰＣ２５などで確認または保存することができる。

このサーバー１００では、図１の紙面左下の符号ａ，ｂに示すように、被検査物内の内部形状を示す計算機モデル（３Ｄモデル）を構築し、この計算機モデルに基づいて挿入予定経路（ルート）を設定するようになっている。すなわち、サーバー１００では、これから検査を行う被検査物内の各検査箇所をどのような挿入予定経路を通って検査するのかを予め決める検査計画を立てることができるようになっている。この詳細について、図４のフローチャートを参照しながら説明する。

まず、検査計画設定を開始すると、ステップＳ１において、被検査物情報及び検査履歴情報の読み込みが実行される。この被検査物情報としては、例えば、被検査物の設計情報（ＣＡＤデータ）が好適に用いられる。また、検査履歴情報としては、被検査物内の、過去に行った検査箇所の位置や、同位置で撮像された映像などの検査記録が読み込まれる。なお、設計情報の読み込みに際しては、このサーバー１００内の記録部Ｒに保存しておいたものを使用しても良いし、または、他の通信回線を介して接続された他の計算機から読み込むものとしても良い。
続くステップＳ２では、被検査物情報として読み込まれた被検査物の設計情報に基づいて計算機モデル（３Ｄモデル、形状データ）が生成される。この計算機モデルの生成により、サーバー１００は、被検査物の詳細かつ高精度な内部形状の把握を行う。

ステップＳ３では、生成された計算機モデルに基づくチャート図を、前記通信回線Ｌを介して工業用内視鏡装置１側に送信し、図６に示す表示画面の表示領域Ａ１に表示させる。このチャート図は、例えば、被検査物の三面図（平面図、正面図、側面図）及び斜視図であり、工業用内視鏡装置１は、これらの全てを一括表示したり、または、これらのうちの一図または複数図を選択して表示させることが可能となっている。
なお、これら図のうちのどれを表示領域Ａ１に表示させるかは、図７（ａ），（ｂ）に示す表示切り替え操作部ａ２内のどのボタンを観察者が押すかによって選択することが可能となっている。すなわち、観察者が表示切り替え操作部ａ２の「平」のボタンを押した場合には、この操作指示が工業用内視鏡装置１から通信回線Ｌを介してサーバー１００に送信される。そして、この操作指示を受信したサーバー１００は、必要とされる平面図を用意し、通信回線Ｌを介して工業用内視鏡装置１に送信する。そして、この平面図を受信した工業用内視鏡装置１は、前記表示領域Ａ１に前記平面図を表示する。また、表示切り替え操作部ａ２の「正」のボタンを押した場合にも通信回線Ｌを介して操作指示及び正面図の送受信が行われ、前記表示領域Ａ１に前記正面図が表示される。また、表示切り替え操作部ａ２の「側」のボタンを押した場合にも通信回線Ｌを介して操作指示及び側面図の送受信が行われ、前記表示領域Ａ１に前記側面図が表示される。また、表示切り替え操作部ａ２の「斜」のボタンを押した場合にも通信回線Ｌを介して操作指示及び斜視図の送受信が行われ、前記表示領域Ａ１に前記斜視図が表示される。各ボタンのうちのどれが選択されたかは、太枠表示されることによって確認することができる。

この表示領域Ａ１に表示されるチャート図は、後述の検査実施時において、被検査物内における自らの位置（内視鏡プローブ３の先端位置）を知るための地図の役目を有しており、その位置を指し示すマークが図中にリアルタイムで表示されるものとなっている。
図７（ａ），（ｂ）に示すように、表示領域Ａ１には、チャート図を拡大表示または縮小表示させるための表示倍率操作部ａ１が備えられている。そして、ここに表示される拡大／縮小倍率を上下させる（具体的には、表示倍率操作部ａ１の左にある虫眼鏡印を押すことによって縮小表示させたり、あるいは、表示倍率操作部ａ１の右にある虫眼鏡印を押すことによって拡大表示させる。）ことで、図７（ａ）に示すようにチャート図を縮小表示させて被検査物の全体像を把握したり、あるいは、図７（ｂ）に示すように任意箇所（例えば、図７（ａ）のチャート図内のＵ部）を拡大表示させて被検査物内における内視鏡プローブ３の位置を正確に把握することが可能となっている。

このチャート図を用いて、被検査物内における自らの位置（内視鏡プローブ３の先端位置）を把握する具体的方法について説明すると、まず図７（ａ）において、被検査物全体における内視鏡プローブ３の位置を、同図の太矢印を確認することで把握する。なお、同図における符号ＡＰは、被検査物内に内視鏡プローブ３を挿入する際の挿入口（アクセスポイント）を示している。

続いて、被検査物内における内視鏡プローブ３の先端位置を詳細に把握すべく、表示倍率操作部ａ１を操作して図７（ａ）のＵ部を拡大表示させて図７（ｂ）の表示内容にする。すると、内視鏡プローブ３の挿入経路が拡大表示されるとともに、この挿入経路上に後述のＩＤ番号が重ねて表示される。これらＩＤ番号は、内視鏡プローブ３の挿入順路を示しており、例えば同図の場合では、(1)−＞(2)−＞(3)−＞(4)−＞(5)−＞(6)の順番に沿って内視鏡プローブ３を挿入していけば良いことを示している。さらに、同図における太線矢印が、内視鏡プローブ３の先端位置及びその向きを示している。したがって、この太線矢印がＩＤ番号(3)とＩＤ番号(4)との間の位置に有ることから、同位置に内視鏡プローブ３の先端位置が存在することが把握できる。

再び図４に戻り、前記ステップ３に続くステップＳ４以降の説明を行う。このステップＳ４では、内視鏡挿入条件情報の入力が実行される。なお、サブルーチンＳＵＢのステップＳ５〜ステップＳ８の処理は、工業用内視鏡装置１側で実行される。
まず、サブルーチンＳＵＢのステップＳ５では、内視鏡装置情報の入力または読み込みが実行される。すなわち、観察者が前記リモートコントローラ７などを操作することにより、工業用内視鏡装置１に、その内視鏡プローブ３に装着される光学アダプタの種類、内視鏡プローブ３の径及び長さ、測定モード（通常測定モード、ステレオ測定モード等）などの入力、またはこれらの読み込みが行われる。
続くステップＳ６では、観察者が前記リモートコントローラ７などを操作することにより、前記チャート図上における内視鏡プローブ３の挿入開始位置の入力が工業用内視鏡装置１に対して行われる。すなわち、図７（ａ）で図示したアクセスポイントＡＰを前記チャート図上に指定する。この指定は、前記チャート図上に図示しないポインタを重ね合わせて指定することで行われる。なお、挿入口（アクセスポイントＡＰ）が小さくて指定しづらい場合には、必要に応じて前記表示倍率操作部ａ１を操作して、前記チャート図を拡大表示させてから行うのが好ましい。

さらに続くステップＳ７では、観察者が前記リモートコントローラ７などを操作することにより、前記チャート図上における検査部位と、これら検査部位に達する際に通るべき通過点との入力が工業用内視鏡装置１に対して行われる。
なお、この入力操作においては、図７（ｂ）に示した表示内容を、図８に示す「設定モード」に変更してから行われる。この「設定モード」では、画面下部に、これから設定するポイントが検査対象である「検査部位」であるのか、または、これら「検査部位」に到達するための道標となる「通過点」であるのかを選択する選択メニューｍ１と、同ポイントを他のポイントと識別したり、または、最終到達点であることを示すためのＩＤ番号を入力するＩＤ入力部ｍ２と、各入力内容を決定するためのＯＫボタンｍ３と、各入力内容をキャンセルするＣＡＮＣＥＬボタンｍ４とが表示される。

例えば、図８のＩＤ番号(3)に示す位置に検査部位を設定する場合には、同図に示すポインタを動かしてジョイスティックを押下して位置を決定する。続いて、選択メニューｍ１上に前記ポインタを重ね合わせて押下すると、「検査部位」及び「通過点」の両表示がプルダウンメニュー表示されるので、これらのうちの「検査部位」を選択して押下する。さらに続いて、前記ポインタを今度はＩＤ入力部ｍ２上に重ね合わせ、▲印または▼印を押下することで、ＩＤ番号を入力する。なお、このＩＤ番号の入力操作は、観察者ではなく、前記サーバー１００側が自動的に昇順に設定するようにしても良い。
以上の入力操作が正しく済んだらＯＫボタンｍ３を押下し、入力し直す場合にはＣＡＮＣＥＬボタンｍ４を押下する。ＯＫボタンｍ３が押下された場合、工業用内視鏡装置１は、指定されたＩＤ番号が重複していないかをチェックし、重複していた場合には、再度入力を促すエラー表示を画面上に表示させる。なお、ＩＤ入力部ｍ２で「Ｅ」を選択した場合には、このポイントが最終到達点として入力される。

最終到達点が入力されると、図８の画面が図９の画面に自動的に切り替わり、サブルーチンＳＵＢにおける内視鏡挿入条件情報の入力が完了したか否かを問い合わせるステップＳ８が行われる。正しく完了している場合には、「Ｙｅｓ」ボタンを押下することで、ステップＳ８ａへと進み、上記ステップＳ５〜Ｓ７において入力された各入力情報が、メインルーチンのステップＳ４に戻される。すなわち、前記各入力情報が、通信装置１０１，１０２で形成される通信回線Ｌを介して工業用内視鏡装置１側からサーバー１００側に送信される。このようにして、サーバー１００は、前記各入力情報を受信、さらには記憶部Ｒに記憶する。
一方、サブルーチンＳＵＢのステップＳ８において、内視鏡挿入条件情報の入力が完了していない場合には、「Ｎｏ」ボタンを押下することで、再びステップＳ７に制御フローが戻される。
なお、上記各ステップＳ５〜Ｓ８の入力操作は、各入力項目が毎回同じである場合の入力操作の手間を省くべく、サーバー１００内の記録部Ｒ、または、前記ＰＣＭＣＩＡメモリーカード２６や前記コンパクトフラッシュ（登録商標）メモリーカード２７等の外部記憶媒体に各入力項目を記録しておき、この記録内容を読み込ませることで、観察者の入力作業を省くものとしても良い。

図４に示すメインルーチンのステップＳ９では、ステップＳ２においてサーバー１００で生成された計算機モデルと、ステップＳ４で工業用内視鏡装置１に入力されてステップＳ８ａにおいてサーバー１００に送信された内視鏡挿入条件情報とに基づいて挿入予定経路情報の生成がサーバー１００側で行われる。すなわち、ステップＳ６で指定された挿入開始位置（アクセスポイントＡＰ）から内視鏡プローブ３を挿入し、ステップＳ７で指定された各通過点を通って各検査部位に達するまでの最適な挿入予定経路が、サーバー１００により求められる。この挿入予定経路の設定は、全ての検査部位及び通過点を通ること、最短経路を通ること、内視鏡プローブ３の外径が通るのに狭すぎるような挿入箇所を避けること、などを判断基準として求められる。
そして、サーバー１００で求められた挿入予定経路は、ステップＳ１０において、前記通信回線Ｌを介して工業用内視鏡装置１側に送信され、前記チャート図上に重ねて表示される。これにより、地図であるチャート図上に、出発点である挿入開始位置（アクセスポイントＡＰ）から、各通過点を通って各検査部位に達するまでの経路が確定される。

続くステップＳ１１では、マーカー情報（ＶＥ情報）の生成が実行される（図３の符号ｃ１も参照。）。すなわち、ステップＳ７で入力された各検査部位及び各通過点の、チャート図上における位置情報と、同位置に内視鏡プローブ３を配置して所定方向を向いたときの視線角度（姿勢情報）とが確定される。なお、ここで言う「ＶＥ」は「Virtual Endscope」の略であり、チャート図上に想定された仮想の内視鏡プローブを指し示すものとする。

このようにして選び出されたマーカー情報（ＶＥ情報）に基づき、ステップＳ１２ではマーカーデータ（ＶＥ画像）の生成が行われる（図１の符号ｃ２も参照。）。すなわち、ステップＳ１１で確定された位置情報及び視線角度に仮想の内視鏡プローブ３を配置し、そのときに見える内視鏡画像を、前記計算機モデルに基づいて生成する。
ところで、内視鏡プローブ３に装着する光学アダプタとして、プリズムを内蔵し、側面から入射した光を反射させて前記ＣＣＤ上に結像するタイプの側視アダプタを用いる場合には、前記ＣＣＤ上には左右反転した画像（鏡像）が結像される。この画像とカレントＶＥ画像との間でマッチングを取ろうとしても、正常にマッチングすることができない。そこで、前述のステップＳ５において内視鏡装置情報を入力する際に、使用する光学アダプタが側視アダプタであるか否かをサーバー１００側に取り込んでおき、本ステップＳ１２における上記マーカーデータ（ＶＥ画像）の生成において、生成された各ＶＥ画像を最終的に左右反転させておくことが好ましい。もちろん、側視アダプタを用いない場合には、この画像反転動作は不要である。
同様に、使用する光学アダプタ毎に歪曲収差の特性も異なるので、前記ステップＳ５において予め読み込まれた歪曲収差のデータも、マーカーデータ（ＶＥ画像）の生成に反映される。すなわち、前記仮想の内視鏡プローブから見た内視鏡画像を生成する際に、前記歪曲収差に基づいて画像を歪ませることで、同等の歪曲収差をマーカーデータ（ＶＥ画像）に与える。

このようにして生成された内視鏡画像（ＶＥ画像）は、挿入予定経路上に設定された各通過点及び各検査部位の位置における仮想の内視鏡画像（３Ｄコンピュータグラフィック画像）であり、ステップＳ１３において前記通信回線Ｌを介して工業用内視鏡装置１側に送信され、ランドマークの表示が実行される。ここで言うランドマークとは、挿入予定経路上を進みながら検査を行う際に現在位置の確認を行うのに適した、被検査物内の特徴ポイントのことを指し示すものである。そして、これらランドマークは、図６に示すように、各検査部位及び各通過点のＶＥ画像をサムネール表示（縮小配列表示）したものが表示領域Ａ２に表示される。なお、同図では、明確に説明するために、図７（ｂ）に示したＩＤ番号（(1)，(2)，(3)，・・・）に対応する番号を記している。
同時に、図４のステップＳ１４において、各ＶＥ画像のうち、検査実施時に最初に通る点のものがサーバー１００側で選び出され、この選び出されたＶＥ画像が、図６の表示領域Ａ３にカレントＶＥ画像として表示される。

そして、図４のステップＳ１５では、サーバー１００内において仮想の内視鏡プローブを挿入した場合の挿入シミュレーションが実行される。この時、ＶＥ画像の再生が挿入開始点から最終到達点に至るまで順次行われ、内視鏡プローブ３を無理なく最後まで挿入できるかが計算機モデル上で確認される。

その結果、ステップＳ１６において、被検査物内の突起物に内視鏡プローブ３が引っかかって挿入不可となったり、極度に狭い箇所を通ったり、または極度に内視鏡プローブ３を曲げないと通れないような箇所を通るなど、設定した挿入予定経路が不適切であると確認された場合には、ステップＳ４に戻って（必要に応じて、ステップＳ５の内視鏡装置情報の入力又は読み込み及びステップＳ６の挿入開始位置入力にて入力された内容を修正した上で）再度、挿入予定経路の設定が実施される。
逆に、設定した挿入予定経路で問題ないとステップＳ１６で判断された場合には、ステップＳ１７に進み、設定した挿入予定経路の保存が行われる。この時、併せて前記計算機モデル、チャート図、挿入開始位置、各検査部位、各通過点、前記ＶＥ画像、各ランドマークなど、後の検査実施に用いる情報も、サーバー１００の記録部Ｒに保存される。

以上説明の各工程を実行することにより、これから検査を行うための検査計画が立てられ、サーバー１００の記録部Ｒに保存される。続いて、本実施形態の工業用内視鏡システムを用いて、前記検査計画に基づいて実際に被検査物内の検査を行う際の詳細について、以下に説明を行う。

まず、工業用内視鏡装置１を被検査物の挿入開始位置（アクセスポイントＡＰ）近傍に配置して起動させ、通信装置１０１，１０２により、サーバー１００との間の無線の通信回線Ｌを接続する。この時の工業用内視鏡装置１では、前記光源１６が起動して内視鏡プローブ３内のライトガイドに照明光を供給し、また、内視鏡プローブ３先端の前記ＣＣＤからのリアルタイム映像を、前記通信回線Ｌを介してサーバー１００側に送信すると同時に、図６の表示領域Ａ４に示すＬＩＶＥ画像としてＬＣＤ８に表示させる。さらに、工業用内視鏡装置１側に備えられている挿入長センサＲＥで検知される、内視鏡プローブ３の挿入長が、前記通信回線Ｌを介してサーバー１００側に送信される状態になる（図３の符号ｘも参照。）。
一方、サーバー１００側では、前記保存情報を読み込み、図４に示した情報（チャート図、チャート図上に設定された挿入予定経路、挿入予定経路上に設定されたチェックポイントである各ランドマーク画像など）を、通信回線Ｌを介して工業用内視鏡装置１側に送信し、そのＬＣＤ８上に表示させることが可能な状態になる。
以上により、図１に示すように、内視鏡プローブ３の挿入長及びリアルタイム映像が前記通信回線Ｌを介して工業用内視鏡装置１側からサーバー１００側に送信され、また、リアルタイム映像に基づく内視鏡プローブ３の位置及び姿勢やＶＥ画像等が、サーバー１００側から工業用内視鏡装置１側に送信可能になる。このようにして、検査準備が整う。

その後、サーバー１００内では、図５のステップＳ２１に示すようにランドマークオフセットの初期化が実行される。すなわち、検査計画時に求められた各ランドマーク画像のうち、内視鏡プローブ３が最初に通るものが選定される。そして、ステップＳ２２において、選定されたランドマーク画像が前記通信回線Ｌを介してサーバー１００から工業用内視鏡装置１に送信され、ＬＣＤ８上における表示が太枠付き表示（図６参照）される。これにより、全ランドマーク画像のうちのどれが現在選定されているかを観察者が一目で判るようにする。
続くステップＳ２３では、選定されたランドマーク画像が前記通信回線Ｌを介してサーバー１００から工業用内視鏡装置１に送信され、図６に示すカレントＶＥ画像として拡大表示される。なお、ここで言う「カレント」とは、「現在選択されている」という意味を示す。

この状態で、観察者は、前記挿入開始点より内視鏡プローブ３を被検査物内に挿入していく。この時の内視鏡プローブ３の先端位置及び姿勢は、サーバー１００側において求められ、その結果が前記通信回線Ｌを介してサーバー１００から工業用内視鏡装置１に送信されることで、図７（ｂ）で示したように、前記チャート図上の太矢印マークとして表示される。また、この時に撮像されるリアルタイム映像は、図６の表示領域Ａ４にＬＩＶＥ画像として表示される。また、同図６の表示領域Ａ５に示す「テキスト支援情報」の箇所には、これから向かうランドマーク（次のランドマーク）までの距離、方向や、最終到達目標（最終のランドマーク）までの距離、方向、残ランドマーク数など、サーバー１００側から送られてくる情報の文字情報が表示される。観察者は、ＬＣＤ８上のこれら文字情報及び各画像情報を見て前記リモートコントローラ７を操作しながら、内視鏡プローブ３の挿入を進めていく。
なお、以下の説明においては、サーバー１００内の処理動作を中心に説明を行うが、観察者は、内視鏡プローブ３の挿入を、ＬＣＤ８を介してサーバー１００から送られてくる指示に従って進めながらＬＩＶＥ画像を観察することで被検査物の内部検査を適宜実施する。

サーバー１００は、内視鏡プローブ３の先端位置がカレントＶＥ画像の位置（目標として選定されたランドマーク位置）に到達したと「判断」すると、図３に示す符号ｅ，ｆ（符号ｋについては後述で説明する。）及び図５に示すステップＳ２４において、特徴抽出の作業が開始される。なお、上記「判断」をサーバー１００に行わせる方法としては、以下に説明する２通りがある。
第１の判断方法は、観察者が、見ているＬＩＶＥ画像の映像がカレントＶＥ画像に似たような場所に近づいてきたと自ら判断した場合に、リモートコントローラ７を操作してサーバー１００に知らせる方法である。

第２の判断方法は、ＬＩＶＥ画像とカレントＶＥ画像とのマッチング動作を常時行っている場合（すなわち、上記第１の判断方法の場合のように、挿入予定経路上の所定ポイントにおいてのみマッチング動作を行うのではなく、挿入予定経路を進んでいく際に刻々と変わる「道」の映像に対してマッチング動作を連続して行う場合。）である。この場合には、観察者が判断するのではなく、マッチング動作を連続して行うサーバー１００が、ＬＩＶＥ画像にマッチングさせたカレントＶＥ画像が、「目標とするランドマーク位置」のものである場合に、「目標とするランドマーク位置に到達した」と自動的に判断する。この第２の判断方法を適用した場合には、後述のステップＳ３０は不要となるが、これについては、後述で説明する。

以上のようにして「目標とするランドマーク位置に到達した」とサーバー１００が判断した後の特徴抽出では、図６に示すＬＩＶＥ画像上の特徴点（稜線形状、突起形状、孔形状、文字情報など。画像上の輝度分布によりこれら形状を判別することで特徴点を抽出する。）と、カレントＶＥ画像上の特徴点（ワイヤーフレームとして表示される稜線形状、突起形状、孔形状、文字情報など。）とがそれぞれ抽出される。

これについて、図１１（ａ）を用いて具体的に説明する。まず、ＬＩＶＥ画像上から、輝度が極端に変わる線をつなげていくことで、図１１（ａ）の左図に示すように、ＬＩＶＥ画像上に映し出された部品の特徴をなす外形状が、ワイヤーフレームに変換して表示される。一方、カレントＶＥ画像上における同部品は、既にワイヤーフレーム（同図右側）で表されているので、このワイヤーフレームを、部品外形を示す特徴点としてそのまま用いることができる。
なお、本実施形態では、カレントＶＥ画像を設計データに基づいて作成しているが、これに限らず、過去検査時に撮影した実映像に基づいて作成することも可能である。その場合には、図１１（ａ）でカレントＶＥ画像から特徴点を抽出した手順と同様の手順により、特徴点の抽出を行うことで対応できる。すなわち、過去検査時の実映像上から、輝度が極端に変わる線をつなげていくことで、過去検査時の実映像上に映し出された部品の特徴をなす外形状が、ワイヤーフレームに変換して表示される。

そして、このようにして求められた両画像の特徴点が、図３の符号ｇ及び図５のステップＳ２５に示す工程において比較される。すなわち、ステップＳ２５では、図１１（ｂ）に示すように、ＬＩＶＥ画像のワイヤーフレームとカレントＶＥ画像のワイヤーフレームとを互いに重ね合わることで特徴比較が行われる。

そして、両画像の特徴点が一致（マッチング）するかどうかが図５のステップＳ２６において判定され、一致した場合（Ｙｅｓの場合）にはステップＳ２９へと進み、一方、一致しなかった場合（Ｎｏの場合）にはステップＳ２７へと進む。
ステップＳ２７に進んだ場合には、両画像の相対的な位置関係がずれている場合が想定されるとして、内視鏡プローブ３の先端の位置姿勢推定が実行される（図３の符号ｉ，ｊも参照。）。すなわち、サーバー１００は、カレントＶＥ画像の表示内容がＬＩＶＥ画像と一致するように仮想内視鏡プローブの位置及び姿勢を変更した場合の位置移動量及び姿勢移動量を算出し、これらを、検査計画時にこのカレントＶＥ画像を作成したと同時に記録した仮想内視鏡プローブの位置及び姿勢に加えることで、現在の内視鏡プローブ３の先端の位置及び姿勢を推定して求める。

前記ステップＳ２７に続くステップＳ２８では、ＬＩＶＥ画像に対してカレントＶＥ画像の位置及び姿勢（画像の上下向きを含む）を一致させるべく、カレントＶＥ画像側の加工表示を行う（図３の符号ｋも参照。）。すなわち、サーバー１００は、ステップＳ２７において求められた現在の内視鏡プローブ３の位置及び姿勢を参照し、これと一致するようにカレントＶＥ画の位置及び姿勢を変更する。この変更に伴い、カレントＶＥ画像の表示内容が回転、上下移動、左右移動、拡大、縮小するなどして、ＬＩＶＥ画像の表示内容と一致する。

このようにして表示内容が一致した後のカレントＶＥ画像上には、さらに内視鏡プローブ３を挿入するための挿入方向を指し示す矢印等の操作指示が表示される（図３の符号ｍ，ｎも参照。）。すなわち、サーバー１００は、求めた内視鏡プローブ３の位置及び姿勢と挿入予定経路との比較に基づき、この内視鏡プローブ３の移動すべき方向を求めて図３のｎに示すようにカレントＶＥ画像上に矢印を表示する。この時、必要に応じて前記スピーカ２２ａからも、音声による操作指示（「上に進んでください」、「右に進んでください」等）を行う。
そして、ステップＳ２８において表示内容が一致した後の制御流れは、再びステップＳ２４へと戻され、再び特徴抽出の工程が実行される。このようにして、ＬＩＶＥ画像の特徴とカレントＶＥ画像の特徴とが一致してステップＳ２９に向かうまで、ステップＳ２４〜ステップ２８の工程が繰り返される。

このようにして、現時点において見えている場所の特定がなされ、検査部位に到達した時点で、サーバー１００は、ＬＣＤ８上の表示画面を図６の表示内容から図１２の表示内容に自動的に切り替え、「検査モード」に移る。
図１２に示すように、画面中央下部に示す表示領域Ａ６には、検査項目のリストが一覧表示される。この検査項目のリストは、このランドマーク位置の検査箇所において検査すべき項目の見出しを一覧表示したものである。これら検査項目のリストのうちの何れかを観察者が選択すると、左側の表示領域Ａ７に、検査項目の詳細が表示される。さらに、図１２の中央上部の「参考画像」の表示Ａ８を観察者が押すと、過去に撮影した同箇所の画像（過去画像）がサーバー１００の記録部Ｒから通信回線Ｌを介して送信され、左側の表示領域Ａ９に表示される。なお、表示Ａ８を省略し、表示Ａ６を押して表示領域Ａ７に検査項目の詳細を表示させた時点で、自動的に表示領域Ａ９に過去画像を表示させるように構成しても良い。

観察者は、表示領域Ａ７，Ａ９に表示される情報を参考にして検査を行う。この検査においてキズ計測を行う場合には、図１２の中央上部の表示Ａ１０を押下して「キズ計測モード」にすることで測定を実施する。
この検査部位における全ての検査が終了した場合には、観察者が図１２の中央上部の「確認済」の表示Ａ１１を押す。すると、表示領域Ａ６内に「済」のマークＡ６１が表示されると同時に、検査が済んだことがサーバー１００に送信され、その記録部Ｒに証拠記録として保存される（図３の符号ｌも参照。）。このようにしてサーバー１００に検査記録を残すことにより、検査漏れをなくすことができる上に、後の解析に利用することが可能となる。なお、この記録動作は本例のように各ランドマーク通過後に逐一行っても良いし、もしくは、後述のステップＳ３３に説明するように、最終ランドマークを通過後に一括して保存するものとしても良い。

サーバー１００の記録部Ｒに保存される全記録項目の例を、図１３に示す。
同図に示すように、記録部Ｒには、各ランドマークＩＤと、カレントＶＥ画像の元となる被検査物全体の３Ｄモデルである検査部位モデルと、図４のステップＳ６において入力した内視鏡装置情報と、内視鏡プローブ３をどのような経路で挿入していったか（どの位置をどのような姿勢で通過させたか）を示す挿入軌跡情報と、前記検査対象物（エンジン、パイプなど）を識別するためのユニークなＩＤである被検体ＩＤとが記録される。前記挿入軌跡情報の記録が、図５のステップＳ２９に示す挿入軌跡情報更新である。挿入軌跡情報は、ランドマークＩＤと関連づけて記録されている。すなわち、ランドマーク地点各々での、位置・姿勢が関連づけて記録されている。

図１３に示すように、各ランドマークＩＤの記録においては、このランドマークが「通過点」であるのか「検査部位」であるのかを示す識別情報も併せて保存される。そして、「通過点」の識別情報が付与されたランドマークには、この通過点をなすランドマーク位置に対応するＶＥ画像が併せて保存される。一方、「検査部位」の識別情報が付与されたランドマークには、同ランドマーク位置に対応するＶＥ画像に加えて、検査項目毎に取得した過去の画像（実画像）が併せて保存される。
以上のようにして全ての検査項目の実施が済んだ後は、ＬＣＤ８の表示画面を、図１２の表示内容（「検査モード」）から図６の表示内容に自動的に切り替える。

上記ステップＳ２９に続くステップＳ３０においては、図１４に示すように、液晶ディスプレイ８上に、ランドマークオフセットの更新を行うか否かを観察者に問い合わせる表示が示される。そして、観察者が、もうしばらく現在の観察部位に止まって観察を継続して行いたいなどの理由により、図１４の「Ｎｏ」ボタンを押下すると、制御流れが図５のステップＳ２４に戻される。そして、次のランドマーク位置に向かわずに観察を継続して行うことが可能となる。逆に、観察者が次のランドマーク位置に向かうことを決め、図１４の「Ｙｅｓ」ボタンを押下すると、図５のステップＳ３１に進む。

ステップＳ３１では、現在のランドマーク位置が最終のランドマーク位置であるかがサーバー１００によって判定される。そして、最終のランドマーク位置に達していない（Ｎｏ）と判断された場合には、ステップＳ３２へと進み、ランドマークオフセットの更新が実行される。すなわち、検査計画において求められた各ランドマーク画像のうち、次に内視鏡プローブ３が向かうもの（次に大きいＩＤ番号を有するＶＥ画像）が新たな目標として選定される。
一方、ステップＳ３１において最終のランドマーク位置に達している（Ｙｅｓ）と判断された場合には、ステップＳ３３へと進み、全てのＬＩＶＥ画像や、これらＬＩＶＥ画像に対応して求められた内視鏡プローブ３の先端の位置及び姿勢など、図１３で説明した事項が最終的な検査記録（観察記録）としてサーバー１００内の記録部Ｒに自動的に保存される。また、工業用内視鏡装置１に対して検査終了を通知する。
以上により、検査実施時における前記制御部の制御動作が完了する。

以上説明のように、本実施形態の工業用内視鏡システムは、工業用内視鏡装置１とサーバー１００とを備え、サーバー１００が、前記通信回線Ｌを介して得たリアルタイム映像を形状データと比較することにより、内視鏡プローブ３の位置及び姿勢を求め、これを工業用内視鏡装置１が前記通信回線Ｌを介して受信し、ＬＣＤ８に表示する構成を採用した。この構成によれば、被検査物内における内視鏡プローブ３自らの位置及び姿勢を見失うことなくかつ客観的に把握することができる。したがって、検査を行う目的部位に容易に達することができ、なおかつ、検査結果を客観的記録として残すことが可能となる。

しかも、内視鏡プローブ３の位置及び姿勢を求める作業処理を行う構成要素を工業用内視鏡装置１側に搭載せずに済むので、追加機能を備えながらも、工業用内視鏡装置１の可搬性を従来と略同等に保つことが可能となっている。すなわち、上述のような高機能な画像処理を十分な処理速度を持って行うには、従来であれば、高機能な計算機を工業用内視鏡装置１に搭載せざるを得ないが、これでは可搬性を大きく損なうことになる。これに対し、本実施形態では、高機能な画像処理を行う計算機を工業用内視鏡装置１から切り離し、これらの間を通信回線Ｌで接続することにより、可搬性を損なう問題を回避可能としている。

なお、本実施形態では、１台のサーバー１００に対して１台の工業用内視鏡装置１を割り当てて内視鏡プローブ３の操作ナビゲーションガイドを行うものとしているが、これに限らず、１台のサーバー１００に対して複数台の工業用内視鏡装置１を割り当てることも可能である。このような工業用内視鏡システムを用いて、同一設計構造を有する複数の被検査物を同時に検査するような場合、被検査物に関する情報の更新が有ったとしても、柔軟かつ容易に対応することが可能となる。例えば、全ての被検査物に設計変更が有ったとしても、１台のサーバー１００内に読み込まれる設計データ（ＣＡＤデータ）のみを更新すれば良く、これよりも台数の多い工業用内視鏡装置１側はそのまま使用することができる。すなわち、設計データ等の共有情報をサーバー１００側で一元管理することが可能となる。さらには、サーバー１００に全工業用内視鏡装置１の検査記録を保持させることで、お互いの検査記録を、前記通信回線Ｌを介して比較することも可能となる。

また、本実施形態の工業用内視鏡システムは、そのサーバー１００が、挿入予定経路を、前記通信回線Ｌを介して工業用内視鏡装置１に送信し、工業用内視鏡装置１がこの挿入予定経路を受信してＬＣＤ８に表示する構成を採用した。この構成によれば、工業用内視鏡装置１側に表示される挿入予定経路に沿って各検査箇所の検査を行うことで、熟練していない観察者であっても、熟練した観察者が行うように全ての検査箇所を見逃すことなく適切な順序で観察することが可能となる。

また、本実施形態の工業用内視鏡システムは、そのサーバー１００が、挿入予定経路上に設定されたランドマーク画像を、前記通信回線Ｌを介して工業用内視鏡装置１に送信し、工業用内視鏡装置１がこれらランドマーク画像を受信してＬＣＤ８に表示する構成を採用した。この構成によれば、ランドマークを通ったか否かを確認しながら検査を行うことで、挿入予定経路上における全ての検査箇所を逃さず検査したかをより確実に確認することが可能となる。また、全ての検査箇所のうちのどこまで検査できたかを確認しながら検査を行うことも可能となる。

また、本実施形態の工業用内視鏡システムは、そのサーバー１００が、求めた内視鏡プローブ３の位置及び姿勢と挿入予定経路との比較に基づき、この内視鏡プローブ３の移動すべき方向を求め、工業用内視鏡装置１を介して観察者に指示する構成を採用した。
この構成によれば、サーバー１００から発せられる指示（ナビゲーションガイド情報）に従って内視鏡プローブ３を操作しながら移動させることにより、挿入予定経路から外れることなく挿入プローブ１１を移動させることができる。したがって、サーバー１００からの指示に従って内視鏡プローブ３を移動させていくことで、熟練者が操作した場合のように、挿入予定経路から外れることなく挿入プローブ１１を移動させることが可能となる。

また、本実施形態の工業用内視鏡システムは、そのサーバー１００が、被検査物内における内視鏡プローブ３の位置及び姿勢と、これら位置及び姿勢に対応するＬＩＶＥ画像とを関連づけた検査記録を自動的に記録する構成を採用した。この構成によれば、検査結果を、検査記録という客観的な記録として保存することができる。これにより、観察すべき部位を間違いなく観察したかどうかを第三者が客観的に確認することが可能となる。

なお、本実施形態においては、検査計画時のステップＳ３において作成されるチャート図（形状データ）が、被観察物の設計情報に基づいて構成された計算機モデルである場合を例に説明したが、これに限らず、以前検査した時の前記検査記録に記録された内視鏡プローブ３の位置及び姿勢と実映像とに基づいて計算機モデルを構成し、これをチャート図として採用しても良い。
すなわち、以前検査した際の実映像から特徴抽出を行ってコンピュータグラフィック化し、このコンピュータグラフィック画像と今回検査時の実映像とをマッチングさせることにより、現時点における内視鏡プローブ３の先端の位置及び姿勢を求めるようにしても良い。この場合、被検査物の設計データが不要となるので、より広い用途に柔軟に対応することが可能となる。

また、本実施形態では、挿入予定経路上の各ランドマーク位置においてのみ（各チェックポイントにおいてのみ）、ＬＩＶＥ画像とカレントＶＥ画像とのマッチングを行って内視鏡プローブ３の位置及び姿勢を求めるものとしたが、これに限らず、前述したように、常時マッチングを取るようにする構成も採用可能である。
すなわち、図４に示した検査計画時においては、挿入開始点から最終到達点に至るまでの全経路のＶＥ画像（仮想内視鏡の視線から見たコンピュータグラフィック画像）を作成しておき、図５に示した検査実施時においては、前記全経路のＶＥ画像とＬＩＶＥ画像（リアルタイム映像）との間で常に特徴点のマッチングを取得し、これにより、内視鏡プローブ３の先端の位置及び姿勢を常時連続して求める。すなわち、図５のステップＳ３０では何もせずに通過し、ステップＳ３１におけるチェックのみを行う。
この場合、常時連続して求められる内視鏡プローブ３の位置及び姿勢に基づき、挿入予定経路に正しく沿って進むことができるように、前記操作指示（カレントＶＥ画像上の矢印による指示や音声指示など。）も併せて発することにより、より高精度かつスムーズに観察者が内視鏡プローブ３を操作することが可能となる。したがって、より高い再現性を得ることが可能となる。

また、ＶＥ画像の生成に際しては、前記内視鏡挿入長センサＲＥと、内視鏡プローブ３の先端に設けた角度センサ（図示せず）とを用いて、内視鏡挿入中における内視鏡プローブ３の先端の位置及び姿勢を推定し、この位置及び姿勢で得られる予定の画像をコンピュータグラフィックとして生成するものとしても良い。

また、本実施形態では、ＬＣＤ８上にＬＩＶＥ画像とカレントＶＥ画像を独立表示するものとしたが、これに限らず、カレントＶＥ画像がワイヤーフレームである場合、これをＬＩＶＥ画像に重畳して表示するものとしても良い。この場合、カレントＶＥ画像側の表示領域を省略してＬＩＶＥ画像側の表示領域を広く取る事が可能となる。一方、カレントＶＥ画像がテクスチャを有する三次元画像である場合には、これを重畳してしまうとＬＩＶＥ画像が見にくくなるので、本実施形態のように個別に分けて表示するのが好ましい。

なお、本実施形態では、形状データを用意する処理（第１の処理）と、リアルタイム映像及び形状データ間の比較により、被検査物内における内視鏡プローブ３先端の位置及び姿勢を求める処理（第２の処理）との両方を、サーバー１００側が行うものとした。しかしながら、これに限らず、前記第１の処理及び前記第２の処理の何れか一方のみを行わせるものとしても良い。
この場合には、通信回線Ｌを流れる情報量（トラフィック量）を軽減させることが可能となるものの、工業用内視鏡装置１側の処理能力を上げる必要がある。一方、本実施形態のように前記第１の処理及び前記第２の処理の両方を行わせる場合には、通信回線Ｌを流れる情報量（トラフィック量）が多いものの、工業用内視鏡装置１側の処理能力を最低限まで抑えることが可能となる。

本発明の工業用内視鏡システムの概略構成を説明するための説明図である。同工業用内視鏡システムに備えられている工業用内視鏡装置の一実施形態を示す斜視図である。同工業用内視鏡装置の制御部を中心とする内部構造を説明するためのブロック図である。同工業用内視鏡システムの制御動作を説明する図であって、被検査物内の検査を行う際の検査計画を立てるまでを示すフローチャート図である。同工業用内視鏡システムを用いた検査の流れを示すフローチャート図である。同工業用内視鏡システムに備えられている工業用内視鏡装置の液晶モニタの画面を示す図である。（ａ）及び（ｂ）ともに、同液晶モニタ上の表示を示す図であって、図６の表示領域Ａ１の拡大図である。同液晶モニタ上の表示を示す図であって、図６の表示領域Ａ１を切り替えた図である。同液晶モニタの表示を示す図である。同工業用内視鏡装置のリモートコントローラを示す側面図である。同工業用内視鏡システムによるマッチング動作を説明するための図であって、（ａ）が特徴抽出工程を説明する図であり、（ｂ）が特徴比較を行っている状態を説明するための図である。同工業用内視鏡システムに備えられている工業用内視鏡装置の液晶モニタの表示を示す図であって、表示内容を切り替えた状態を示す図である。同工業用内視鏡システムのサーバー側に保存される記録内容の一覧を説明する図である。同工業用内視鏡システムに備えられている工業用内視鏡装置の液晶モニタの表示を示す図であって、表示内容を切り替えた状態を示す図である。

符号の説明

１・・・工業用内視鏡装置
３・・・内視鏡プローブ
１００・・・サーバー
Ｌ・・・通信回線

Claims

被観察物内に挿入される内視鏡プローブ及び前記被観察物に関する画像を表示する表示部を有する工業用内視鏡装置と、該工業用内視鏡装置に通信回線を介して接続したサーバーとを備えた工業用内視鏡システムであって、
前記サーバーは、少なくとも１つの検査部位と、前記検査部位における検査項目とに関する情報を含む検査計画を前記工業用内視鏡装置に送信し、
前記工業用内視鏡装置は、
受信した前記検査計画を前記表示部に表示し、
前記被観察物の部位であって、前記検査計画が有する前記検査部位に対応する部位に前記内視鏡プローブが位置するときに前記内視鏡プローブによって取得された画像を前記サーバーに送信し、
前記検査部位における検査が終了したとき、前記検査部位における検査が終了したことを示す情報を前記サーバーに送信し、
前記サーバーは、受信した前記画像と、前記検査計画が有する前記検査部位と、前記検査部位における検査が終了したことを示す情報とを関連付けて記録することを特徴とする工業用内視鏡システム。
請求項１に記載の工業用内視鏡システムにおいて、
前記工業用内視鏡装置は、
前記被観察物の部位であって、前記検査計画が有する前記検査部位に対応する部位に前記内視鏡プローブが位置するとき、前記検査部位における前記検査項目を前記表示部に表示し、
前記内視鏡プローブによって前記検査部位において前記検査項目ごとに取得された画像を前記サーバーに送信し、
前記サーバーは、受信した前記画像と、前記検査計画が有する前記検査部位における前記検査項目とを関連付けて記録することを特徴とする工業用内視鏡システム。
請求項１又は請求項２に記載の工業用内視鏡システムにおいて、
前記サーバーは、前記被観察物内の形状寸法を示す形状データを用意する第１の処理と、前記内視鏡プローブによって取得された画像及び前記形状データ間の比較により、前記被観察物内における前記内視鏡プローブの位置情報及び姿勢情報の少なくとも一方を求める第２の処理との少なくとも一方を行うことを特徴とする工業用内視鏡システム。
請求項３に記載の工業用内視鏡システムにおいて、
前記サーバーによる処理結果に基づいて、前記内視鏡プローブの位置情報及び姿勢情報の少なくとも一方を前記表示部に表示することを特徴とする工業用内視鏡システム。
請求項３又は請求項４に記載の工業用内視鏡システムにおいて、
前記形状データに基づいて設定された、前記内視鏡プローブの挿入予定経路を前記表示部に表示することを特徴とする工業用内視鏡システム。
請求項５に記載の工業用内視鏡システムにおいて、
前記内視鏡プローブの位置情報及び姿勢情報の少なくとも一方と前記挿入予定経路との比較に基づいて、前記内視鏡プローブの移動すべき方向を前記表示部に表示することを特徴とする工業用内視鏡システム。
請求項５又は請求項６に記載の工業用内視鏡システムにおいて、
前記被観察物内で前記内視鏡プローブが取得した画像と、前記画像を取得したときの前記内視鏡プローブの位置情報及び姿勢情報の少なくとも一方とを関連付けて記録することを特徴とする工業用内視鏡システム。
請求項５から請求項７のいずれか１項に記載の工業用内視鏡システムにおいて、
前記形状データが、前記内視鏡プローブが過去観察時に取得した画像と、前記画像を取得したときの前記内視鏡プローブの位置情報及び姿勢情報の少なくとも一方とに基づいて構成されたことを特徴とする工業用内視鏡システム。
請求項５から請求項７のいずれか１項に記載の工業用内視鏡システムにおいて、
前記形状データが、前記被観察物の設計情報に基づいて構成されたことを特徴とする工業用内視鏡システム。