JP4331541B2 - 内視鏡装置 - Google Patents

Description

本発明は、画像データに基づいて被検査対象の異常部分を自動的に検出することができる内視鏡装置に関するものである。

従来より、工業製品における内視鏡装置の利用分野として、航空機用エンジンやボイラ等の内部を被検査対象物（被写体）とする非破壊検査が知られている。このような被検査対象物の検査は、内視鏡装置の挿入部を被検査対象物近傍まで挿入することで入手した画像データを画面表示し、検査官が目視で傷等の異常部分を識別するものであった。
このため、たとえば航空機用エンジン内に多数配列されているタービンブレードのように被検査対象物の数が多いと、高い集中力を必要とする検査作業が長時間続くこととなって検査官の負担を大きくするため、異常部分の判定及び検出を自動化することが望まれている。

このような自動化の従来技術には、画像処理で良品及び不良品を判別するため、予め用意した良品の画像データ（良品モデル）を被検査対象物の画像データと比較し、両画像データ間に相違がなければ正常と判断するものが知られている。このような判別方法は、たとえばベルトコンベア上を搬送される被検査対象物のように、常に所定の位置で撮影した被検査対象物の画像データを良品モデルと比較して判断できる場合には有効である。
しかし、内視鏡装置を用いた非破壊検査では、視野が制限されるため被検査対象物の全体をひとつの画像として撮影できることはほとんどなく、しかも、常に一定の位置から所望の画像データを取り込むことも困難である。すなわち、タービンブレードのように被検査対象物が大きくて静翼・動翼間のスペースが狭い場合には、内視鏡装置の視野に被検査対象物全体を入れて常に同じ位置から所望の画像を撮影するのは困難であり、しかも、上流側から下流側へとブレード形状が順次変化するため、多種類の被検査対象物毎に異なる良品モデルを作成するという面倒な作業が必要となってくる。

このような背景から、撮像手段により被写体を観察する一方で、同じ被写体を撮像手段で観察している場合を模擬した画像をコンピュータグラフィックスによって作画し、作画のパラメータを変化させてコンピュータグラフィック画像中の被写体図形を内視鏡観察画像中の被写体と近似ないし一致させ、内視鏡観察画像の被写体上の検査部分に対応するコンピュータグラフィック画像中の対応する部分を特定し、その特定された部分の情報を用いることにより、既存の内視鏡等を使用して、検査対象部分に関する測長とか状況の検査を行えるようにすることが提案されている。（たとえば、特許文献１参照）
特開平３−１０２２０２号公報

上述した特許文献１に記載された従来技術においても、良品モデルに相当する模擬画像をコンピュータグラフィックスにより作成する必要がある。このため、たとえば航空機用エンジンのタービンブレードを検査する場合には、良品モデルと比較する従来技術と同様に、ブレード形状が異なる多種類の模擬画像を作成する作業が必要であることに変わりはない。
そこで、本発明は、内視鏡装置で得られる限られた視野の画像データに基づいて、被検査対象物にある傷等の異常部分を自動的に直接検出できるようにし、モニターに映し出された画像から小さな傷等の異常を目視で見つけなければならないという検査官の作業負担を軽減することができる内視鏡装置の提供を目的としている。すなわち、良品モデルや模擬画像に相当する比較対象物の作成を不要とした画像処理により、異常検出を可能とするものである。

本発明は、エンジン内に配置されたブレードを観察するための内視鏡装置であって、前記エンジン内に挿入される挿入部と、前記挿入部に設けられ、前記ブレードを含む前記エンジン内の画像を撮像する撮像手段と、前記画像に基づいて前記ブレードの欠陥部を検出する画像識別手段と、前記画像を表示する表示手段と、を備え、前記表示手段は、前記画像識別手段が前記欠陥部を検出したときに、前記欠陥部を示す表示を加えて前記画像を表示することを特徴とするものである。

前記画像識別手段は、前記欠陥部の状態を識別し、前記表示手段は、前記欠陥部を前記状態ごとに区別可能に表示してもよい。
前記画像識別手段は、前記欠陥部の状態を識別し、前記表示手段は、前記画像識別手段の識別結果にもとづいて、前記識別結果に対応した複数種類の前記表示を加えて前記画像を表示してもよい。
また、前記画像識別手段は、前記欠陥部の検出感度を可変に構成され、前記検出感度にもとづいて前記欠陥部の状態を識別してもよい。

前記表示手段は、前記画像識別手段が前記欠陥部を検出したときに、前記画像のうち、前記欠陥部を含む領域を拡大して表示してもよい。

本発明の内視鏡装置は、前記挿入部に設けられて前記挿入部を湾曲可能とする湾曲部と、前記湾曲部を駆動して前記挿入部を湾曲させるための湾曲駆動手段とをさらに備え、前記画像識別手段が前記欠陥部を検出したときに、前記湾曲駆動手段は前記画像における前記欠陥部の位置に基づいて前記湾曲部を制御するものでもよい。
また、前記画像にもとづいて、前記欠陥部の寸法又は面積を測定する測定手段をさらに備えるものでもよい。

本発明の内視鏡装置によれば、内視鏡装置で得られる被検査対象物の画像データから直接的に、すなわち良品モデル等の比較対象がなくても、画像識別手段が異常状態である傷等の有無を自動的に判定するので、これを画面上に表示することで検査官の作業負担を大幅に軽減することができる。

以下では、本発明に係る内視鏡装置１の最良の実施形態を図面に基づいて説明する。
図１及び図２に示す工業用の内視鏡装置１は、ケーシング内に各種装置を内蔵した電子内視鏡本体１０と、細長い挿入部２０と、画像表示用のモニター３０と、手元操作用のリモートコントローラ（以下、「リモコン」と呼ぶ）４０とを具備して構成される。
なお、以下の実施形態では、ジェットエンジン６０のタービンブレードを被検査対象物とする非破壊検査に適用する内視鏡装置１を例示して説明する。

電子内視鏡本体１０は、制御用コンピュータ１１、画像信号処理装置１２及び光源１３等の各種制御機器類がケーシング内に内蔵された構成とされる。
挿入部２０は、一端が電子内視鏡本体１０に接続されて他端側に先端部２１を有する細長く柔軟な中空シャフトであり、先端部２１がタービンブレードの近傍まで挿入される。先端部２１には、被検査対象物の撮像手段として機能する対物レンズ２２及びその焦点面に配設された固体撮像素子（たとえばＣＣＤ：charge coupled device ）２３と、撮像対象及びその周辺を撮像可能な明るさに照らす照明手段として機能する照明レンズ２４とが設けられている。

固体撮像素子２３は、挿入部２０内に通した信号線２５を介して画像信号処理装置１２に接続されている。また、照明レンズ２４には、同じく挿入部２０内に通したライトガイド２６の一端が近接し、同ライトガイド２６の他端は光源１３に接続されている。
先端部２１の近傍で電子内視鏡本体１０側となる挿入部２０の一部には、図１（ｂ）に示すように、先端部２１を上下方向あるいは上下左右方向へ操向可能とする湾曲部２７が設けられている。この湾曲部２７は、リモコン４０を操作することにより、挿入部２０内に通した図示しないワイヤ等が動作して所定の角度範囲内で湾曲する部分であり、従って、上述した対物レンズ２２及び照明レンズ２４を所望の方向へ向けることができる。

制御用コンピュータ１１は、信号線４１を介してリモコン４０と接続されている。この制御用コンピュータ１１では、リモコン４０から入力される操作信号により、電子内視鏡本体１０内で信号線を介して接続されている画像信号処理装置１２、光源１３及び湾曲部２７の駆動装置（図示省略）等について、そのＯＮ／ＯＦＦや各種の動作を制御する。また、制御用コンピュータ１１は、外部のパーソナルコンピュータ（以下、「外部ＰＣ」と呼ぶ）５０とＬＡＮ接続可能とするため、ＬＡＮインターフェイス１４を備えている。

画像信号処理装置１２は、固体撮像素子２３から取り込んだ画像データの信号を適宜処理した後、信号線３１を介して接続されるモニター３０に画像信号を送出する。また、この画像信号処理装置１２には、外部の録画装置（たとえばビデオテープレコーダー）にアナログビデオ信号を出力できるようにするため、外部出力端子１５を備えている。
さらに、この画像信号処理装置１２は、固体撮像素子２３から取り込んだ画像データの信号に基づいて画像処理を行い、入手した画像データの形状から被検査対象物が正常または異常であると判定する画像識別手段１６を備えている。
なお、画像識別手段１６の設置場所については、画像信号処理装置１２に限定されることはなく、たとえば外部ＰＣ５０としてもよい。

ここで、被検査対象物であるジェットエンジン６０のタービンブレードについて、図３を参照して簡単に説明する。
ジェットエンジン６０は、燃焼器から供給される高温高圧のガスをタービン中で膨張させて主軸６１を回転させ、タービン出口から噴射される高速ジェット（排気）の運動エネルギーを航空機の推進力として利用するものである。ジェットエンジン６０の主軸６１にはコンプレッサー部及びタービン部が設けられ、それぞれがローター６２の外周面に多数配列されて一体に回転する軸方向へ多段のタービンブレード６３と、車室６４の内周側に多数配列されて軸方向に多段とした固定側のタービンブレード（図示省略）とを備えている。

ジェットエンジン６０の適所には、上述した内視鏡装置１の挿入部２０を被検査対象物の近傍まで挿入するのぞき穴６５（図２参照）が設けられている。以下の説明では、タービンブレード６３を被検査対象物とし、このタービンブレード６３の表面に生じた傷等による欠陥部Ｄ等の異常を検出するものとする。
なお、タービンブレード６３はローター６２の円周上に多数配列されているので、図３（ａ）に示すように、手動または電動のローター回転装置６６を用いることにより、適当な回転速度で主軸６１及びローター６２と共にタービンブレード６３を回転移動させながら検査を行うことができるようになっている。

図４は、挿入部２０の固体撮像素子２３がタービンブレード６３を撮像して得られるモニター画像を示しており、内視鏡装置１の視野が限られていることから、一枚のタービンブレード６３は、その一部が画面表示されている。なお、各タービンブレード６３は、直線または緩やかな曲線により外形形状が構成されている部材である。
図４（ａ）に示す枠内のモニター画像Ｐ１は、タービンブレード６３の一部である中央右側を撮像したものであり、タービンブレード６３のエッジ（縁）６３ａに傷等の欠陥部がない場合はきれいな直線状または緩やかな曲線状の像となる。これに対し、図４（ｂ）のモニター画像Ｐ２は、タービンブレード６３のエッジ６３ａに欠陥部Ｄあるため、エッジ６３ａの像はきれいな線にはならず、一部が乱れた直線状または緩やかな曲線状の像となる。
なお、以下の説明では、直線状及び緩やかな曲線状の線を総称して「外形線」と呼ぶことにする。

そこで、上述した図４（ａ），（ｂ）のようなモニター画像を提供する画像データを利用して、画像識別手段１６により下記の手順で画像処理を行い、画像データの形状が正常であるか否かの判定（異常検出）を行う。ここでは、外形線に乱れがない場合を正常（欠陥部なし）と判断し、外形線に乱れがある場合を異常（欠陥部あり）と判断する。
固体撮像素子２３より入手した画像データは、画像信号処理装置１２に取り込んで画像識別手段１６により二値化処理を行う。この二値化処理により画像の明暗が明確に区別されるため、明暗境界線からエッジ６３ａの検出が可能となり、このエッジ６３ａがタービンブレード６３の外形線を表すこととなる（図２５（ａ），（ｂ））。以下では、この状態の画像を「エッジ画像」と呼ぶことにする。なお、こうして得られたエッジ画像は、画像識別手段１６内の記憶手段（図示省略）に保存される。
続いて、上述したエッジ画像にスムージング処理を施し、外形線の凹凸を滑らかな線に変化させていく（図２５（ｃ），（ｄ））。以下では、このようなスムージング処理後の画像について、「スムージング処理画像」と呼ぶことにする。

最後に、記憶手段に保存したエッジ画像とスムージング処理画像とを比較する。この結果、図２５の（ａ）及び（ｃ）のように二つの画像に差がなく一致または略一致していれば、エッジ画像は最初から凹凸のない画像であると判断することができる。従って、この場合の画像データは、正常であると判定される。すなわち、撮像したタービンブレード６３の外形線には傷等の欠陥部Ｄが存在していないため乱れがなく、正常な状態にあると自動的に判定することができる。
しかし、図２５の（ｂ）及び（ｄ）のようにエッジ画像とスムージング処理画像との間に差があって一致しない場合には、エッジ画像にあった凹凸（傷等の欠陥部Ｄ）による線の乱れが、スムージング処理を施したことにより解消されてなくなったと判断することができる。従って、この場合の画像データは、異常であると判定される。すなわち、撮像したタービンブレード６３の外形線には傷等の欠陥部Ｄが存在しているため乱れがあり、異常が存在する状態にあると自動的に判定することができる。

ところで、ここで説明した最良の実施形態では、画像識別手段１６においてエッジ画像をスムージング処理画像と比較し、両画像に差がある場合を異常と判断しているが、このような正常及び異常の判断についてはスムージング処理を利用する方式に限定されることはなく、種々の公知技術の中から適宜選択して採用すればよい。

また、上述した画像処理による自動の異常検出は、従来の目視検査と異なり、手動または電動のローター回転装置６６によりローター６２をゆっくりと回転させながら実施することができる。このため、ローター６２を停止させた状態で検査する従来の目視検査と比
較して、検査時間の大幅な短縮が可能となる。
すなわち、人間の目で検査する場合、移動するタービンブレード６３の小さな欠陥部Ｄを正確に識別するのは極めて困難であるため、停止状態でタービンブレード６３を１枚検査するたびにローター６２をわずかに回転させ、再度停止した後に隣接する次のタービンブレード６３を検査するという手順が必要である。しかし、上述した画像処理を採用した自動の異常検出では、たとえば３０分の１秒毎（１フレーム毎）に内視鏡装置１により画像が撮影されるので、その１枚１枚の画像データを画像処理して傷等の異常を検出することができる。従って、ローター６２を停止させることなく、ゆっくりと回転させながら検査を続けることが可能である。

このようにしてローター６２をゆっくりと回転させながら検出した異常は、モニター３０に表示する画面上において、ローター６２の回転方向へ移動する異常と静止したままの異常とを区別して画面表示する。すなわち、図５に示すモニター画面Ｐ３において、タービンブレード６３の異常Ｄは、ローター６２と一体に回転してタービンブレード６３′の異常Ｄ′まで回転移動するのに対し、背景物体上の異常Ｄｓ１〜Ｄｓ４は静止したままとなるので、各フレーム毎の画像データから検出された異常の位置を比較すれば、移動の有無を容易に判断することが可能である。

これは、検出した異常が検査対象物であるタービンブレード６３のものか、あるいは、タービンブレード６３以外の背景物体上に存在するものかを検査官が容易に判断できるようにすることを目的としている。従って、たとえば図６に示したモニター画面Ｐ４のように、画面表示する用語について、たとえばタービンブレード６３側の異常である欠陥部Ｄ１，Ｄ２を「ＤＥＦＥＣＴ」と表示し、背景物体上の異常である欠陥部Ｄｓ１〜Ｄｓ３を「ＳＴＡＴＩＣ」と表示して区別したり、異常を示す表示の記号、表示色またはフォントなどを変えて表示の区別をしたり、あるいは、これらの組み合わせにより画面表示を区別することにより、検査官は異常の違いを一目瞭然に識別できるようになる。

また、上述した画像処理による自動の異常検出では、画像識別手段１６の検出感度を可変とすることが好ましい。このような検出感度の可変機能は、たとえば上述したエッジ画像とスムージング処理画像との一致または不一致を判定する「しきい値」の設定を変化させることで実現できる。
そして、画像識別手段１６に検出感度可変機能を設けることにより、状況に応じた使い分けが可能になる。すなわち、ジェットエンジン６０の検査現場は、高所、高温に加えて作業スペースが狭いなど、良好な作業環境とはいえないことが多いため、現場では検出感度を低く設定して比較的大きな欠陥部Ｄ１を検出することとし、これと同時に、外部出力端子１５を介して接続された録画装置により画像データを録画する。この後、別の場所に移動してから録画した画像データを再生し、検出感度を高く設定することにより、大きな欠陥部Ｄ１だけではなく小さな欠陥部Ｄ２についても検出できるようにして再検査を実施する。
このようにすれば、現場で大まかな検査を実施して作業環境の面で劣る現場作業を短時間に抑え、良好な作業環境が得られる適当な場所で詳細な検査を行うことで確実な異常検出が可能になる。

また、上述した検出感度可変機能の他の利用方法としては、たとえば現場作業において二段階の検出感度に設定して検査を行い、最終的な画面表示については、両検査で検出した異常の表示方式に差をつけて区別してもよい。
これを具体的に説明すると、第１回目は検出感度を高く設定した検査を行って得られた検査結果を記憶手段に保存する。続いて、検出感度を下げてから第２回目の検査を行い、この検査で得られた検査結果は、保存した第１回目の検査結果と重ね合わせてモニター３０に画面表示される。この時、第１回目及び第２回目の両方の検査で検出された欠陥部Ｄ１については、大きな傷であると判断できるため、画面表示についても目立つように、たとえば大きく太い文字で「ＤＥＦＥＣＴ！」と表示する。一方、第１回目の高い検出感度でしか検出されなかった欠陥部Ｄ２については、非常に小さな傷であるか、画面上のノイズであるか、あるいはタービンブレード６３の表面に付着した汚れや異物など、種々の可能性が考えられる。このため、画面表示についても、たとえば比較的小さな文字で「ＤＥＦＥＣＴ？」のように表示して区別する。

なお、背景物体上の異常についても、大きな傷であると判断できる場合には比較的大きな文字で「ＳＴＡＴＩＣ」と表示し、非常に小さな傷や画面上のノイズなどであると判断された場合には小さな文字で「ＳＴＡＴＩＣ」と表示するなど、必要に応じて画面上の表示を区別してもよい。

また、高感度の検査のみで検出された異常と、高感度及び低感度の両方の検査で検出された異常とについては、表示する文字や記号を変える他にも、その大きさ、表示色、フォントなどを変えて区別したり、あるいは、これらの組み合わせにより画面表示を区別することにより、検査官が容易に識別できるようになる。さらに、検出した異常に対して、画面表示に加えて音色や音量などが異なる警告音を出すようにしてもよく、これにより、検査官は大きな欠陥部なのかどうかをより一層容易に認識できるようになる。
なお、このような検出感度の異なる検査を行うことは、手動操作により検査官が選択操作するのはもちろんのこと、自動的に検出感度の異なる検査を繰り返し行って画面表示する検査モードを選択可能に設けてもよい。

また、上述したモニター３０の画面表示については、被検査対象物及びその背景物体等が画面に映し出されている色や明るさに応じて、検出結果を表示する文字色等を適宜選択して変更できるようにするとよい。このようにすれば、表示画面上で検査結果の表示が見やすくなり、見落としや誤認を防止できて検査官の負担が軽減される。

また、上述した自動の異常検出においては、たとえば図７に示すモニター画像Ｐ５のように、欠陥部Ｄ１を検出した場合には、要部を拡大して表示する拡大表示画面Ｐ５′が自動的に表示されるようにしてもよい。すなわち、欠陥部Ｄ１周辺の拡大画像が表示されることにより、検査官が傷等の異常を認知しやすくなり、さらにはどのような異常であるかを観察することも容易になる。
また、上述した実施の形態では、ローター回転装置６６によりタービンブレード６３をゆっくりと回転させながら検査を継続するものとしたが、異常を検出した時点でローター回転装置６６を自動停止させてもよい。このようにすれば、検査官が異常の検出を認識しやすくなり、しかも、静止した状態のタービンブレード６３を検査することにより、異常の種類や程度の観察が容易になる。

さて、これまで説明した実施形態では、画像識別手段１６が画像信号処理装置１２の中に設けられているものとしたが、たとえば図２に示すように、ＬＡＮインターフェース１４を介して制御用コンピューター１１と接続される外部ＰＣ５０内に設けてもよい。
この場合、電子内視鏡本体１０と外部ＰＣ５０との間は、同軸ケーブル３によっても接続される。同軸ケーブル３は、電子内視鏡本体のアナログビデオ出力（ライブ画像）を外部ＰＣ５０に入力するもので、その途中にはビデオキャプチャー装置５２が設けられている。
このような構成では、電子内視鏡本体１０から同軸ケーブル３及びビデオキャプチャー装置５２を介してライブ画像のアナログビデオ信号が外部ＰＣ５０に送られ、外部ＰＣ５０内の画像識別手段で画像処理して得られた検査結果は、外部ＰＣ５０のモニター５１に表示されると共に、ローカルエリアネットワーク（ＬＡＮ）２により電子内視鏡本体１０に伝送されてモニター３０にも表示される。
この構成にすると、電子内視鏡本体１０内の画像信号処理装置１２内に画像識別手段１６を設ける必要がなくなり、画像信号処理装置１２さらには電子内視鏡本体１０を小型軽量、安価に制作することができる。

また、この構成の応用として、図８に示すように外部ＰＣ５０′を検査場所から離れた他の場所に設置してもよい。この場合、外部ＰＣ５０′のモニター５１′は検査現場の画像表示用モニター３０と同様に、検査画像と検査結果の両方が表示される。

このため、現場に設置する内視鏡装置１の小型化が可能となり、しかも、現場における外部ＰＣ５０のセッテングが不要になるなど、現場に搬送して設置する機器類を最小限とすることができる。また、作業環境が良好な専用の検査室など他の場所で多くの検査作業を実施できるため、現場作業を短時間で終了することも可能になる。
また、上述した説明でアナログビデオ信号を使用しているのは、現状ではライブ画像のデジタル信号送信に信頼性の問題が残るためであるが、近い将来には、たとえばＭＰＥＧ圧縮伝送方式により画像を圧縮してデジタルで送ることも十分可能になると思われる。この場合、図９に示すように、現場の電子内視鏡本体１０と外部ＰＣ５０′との間は、ローカルエリアネットワーク２により接続するだけでよい。
従って、画像データの伝送方式は、アナログビデオ信号に限定されるものではない。

また、上述した自動の異常検出においては、画像内に傷等の欠陥部Ｄが撮影されているので、この欠陥部Ｄを検出した場合には、その位置情報に基づいて内視鏡先端部を湾曲させ、自動的に欠陥部Ｄを表示画面の中央付近に位置させるとよい。この後、再度撮像して画面表示をすれば、欠陥部Ｄが画面中央付近に表示されるようになるので、検査官は常に画面中央部付近に注目していればよい。従って、検査官の作業負担は大幅に低減されるため、疲労を軽減することができる。

続いて、上述した自動の異常検出を行って検出した欠陥部Ｄについて、その大きさを測定する測長について説明する。
内視鏡装置１の視野及び被検査対象物であるタービンブレード６３が存在する位置等の問題から、タービンブレード全体を１画像とする遠景画像を得ることは困難である。しかも、タービンブレード６３の全体が入る遠景画像を得られても、画像中の欠陥部Ｄは相対的に極めて小さなものとなるので、第１の目的である小さな欠陥部Ｄを検出できずに見落としてしまうおそれがある。従って、内視鏡装置１で撮像可能な画像から、タービンブレード６３における既知の寸法を基準として欠陥部Ｄの寸法を測長するためには、タービンブレード６３の一部を撮像した複数の画像を合成し、既知の寸法として利用できるブレード幅全体に及ぶ画像を得る必要がある。

そこで、測長対象となる欠陥部Ｄを含む画像（以下では、「主画像」と呼ぶ）と、主画像の一部を含んで隣接する少なくとも一つの補助画像とを撮像し、これらの画像を合成してブレード幅全体を含む合成画像を形成する。
以下、合成画像の作成について、図面を参照しながら説明する。図１０に示すように、タービンブレード６３のブレード幅Ｗを含む合成画像を作成するため、エッジ６３ａの欠陥部Ｄを含む主画像Ｐ１０と、この主画像Ｐ１０と重複する部分を含み、かつ、タービンブレード６３のブレード幅Ｗを形成する反対側のエッジ６３ｂを含んでいる補助画像Ｐ１１とを撮像する。補助画像Ｐ１１を得るためには、たとえば図１２（ａ）に示すように、主画像Ｐ１０の撮像位置から湾曲部２７を僅かに動かして先端部２１をアンギュレーションし、撮像方向を変化させて撮像すればよい。このようなアンギュレーションは、リモコン４０あるいは外部ＰＣ５０を操作して実施することができる。

また、上述した補助画像Ｐ１１を得るためには、図１２（ｂ）に示すように、ロータ回転装置６６を操作してローター６２を僅かに回転させることにより、先端部２１側から見たタービンブレード６３の位置を僅かに変化させてから撮像してもよい。なお、ローター回転装置６６についても、リモコン４０あるいは外部ＰＣ５０の操作により実施するようにすることができるので、内視鏡装置１側には全く手を触れなくても補助画像Ｐ１１を得ることが可能である。
また、上述した補助画像Ｐ１１を得るためには、図１３に示すように、先端部２１Ａの側面に向けた対物レンズ２２及び照明レンズ２４が配設され、挿入部がリジッドな側視スコープ２０Ａを用いて、先端部２１Ａの対物レンズ２２が向きを変えるよう僅かに回転させて撮像方向を変化させてもよい。なお、図中の符号２８はテレビカメラ、２９は同軸ケーブルであり、側視スコープ２０Ａの回転についても、リモコン４０あるいは外部ＰＣ５０により実施するようにすることもできる。

図１１は、主画像Ｐ１０及び補助画像Ｐ１１から合成画像Ｐ１２を形成する過程を示している。
最初に、両画像の重複部分に存在する共通の特定箇所（たとえば、斑点や汚れなど）を少なくとも一つ以上探す。図示の例では、たとえば図１１（ｂ）の主画像Ｐ１０に存在する特定箇所Ｔ１と、図１１（ａ）の補助画像Ｐ１１に存在する特定箇所Ｔ１′とが同じものであるから、両特定箇所Ｔ１，Ｔ１′が一致して重なるように合成して、図１１（ｃ）に示すような合成画像Ｐ１２を作成する。このようにすれば、主画像Ｐ１０と補助画像Ｐ１１とが重複する共通領域を少なくしても、パノラマ合成が可能となる。

上述した合成画像Ｐ１２の作成時には、主画像Ｐ１０上にある特定箇所Ｔ１を手動で選択するが、このような操作は、たとえば外部ＰＣ５０のマウス操作等により表示画面５１上でカーソルを移動させ、所望の位置を指定して入力すればよい。こうして主画像Ｐ１０の特定位置Ｔ１が確定した後には、補助画像Ｐ１１上で対応する特定箇所Ｔ１′の近傍にカーソルをあわせて入力する。

この後、主画像Ｐ１０上の特定箇所Ｔ１を含むある範囲、たとえば１６×１６画素の正方形上の図柄をレファレンスとして用い、補助画像Ｐ１１上で指定した点の周辺を広く対象範囲として同じ図柄のある位置を検索する。このようなパターンマッチングにより、補助画像Ｐ１１上で、対応する特定位置Ｔ１′の位置を正確に得ることができる。なお、補助画像Ｐ１１上におけるパターンマッチングの検索については、補助画像全域にわたって行うようにしてもよく、この場合は、特定箇所Ｔ１′の入力が不要となる。
こうして特定箇所Ｔ１，Ｔ１′が特定されたら、両方が重なるように主画像Ｐ１０及び補助画像Ｐ１１を平行移動して合成する。なお、このようなパノラマ合成は、自動的に行われる。

次に、合成画面Ｐ１２を用いて基準となる長さ（基準長）の設定を行うため、カーソルを画面上のエッジ６３ａにあわせて一端側の点Ｘ１を入力する。同様に、基準長の他方の点Ｘ２を指定するため、点Ｘ１に対応して画面上におけるブレード幅ＬＷの他端側となるエッジ６３ｂ上にカーソルをあわせて入力する。こうして基準長の位置が確定したら、既知であるブレード幅Ｗの値を基準長として入力する。

次に、図１４に示す欠陥部Ｄの実寸法（欠陥実長）Ｌを測定するため、図１５（ｃ）に示すように、エッジ６３ａ上における欠陥部Ｄの一端側となる点ｄ１にカーソルをあわせて入力する。この場合、欠陥部Ｄの両端位置を容易かつ正確に入力できるようにするため、主画像Ｐ１０を原寸あるいは拡大して表示するとよい。続いて、欠陥部Ｄの他端側となる点ｄ２にカーソルをあわせて入力することにより、画面上の欠陥長さＬｄが確定する。
この結果、既知のブレード幅Ｗと、画面上のブレード幅ＬＷ及び欠陥長さＬｄとを用いて、比例式（Ｌ＝Ｗ／ＬＷ × Ｌｄ）により、タービンブレード６３のエッジ６３ａにある欠陥実長Ｌを算出することが、すなわち欠陥部Ｄの側長が可能となる。

また、上述した主画像Ｐ１０上における特定箇所Ｔ１の選択入力に代えて、特徴的な図柄を持つ任意の領域を自動的に決定してもよい。このようにすれば、特定箇所Ｔ１の入力も不要となり、特定箇所を指定する手作業をなくして全て自動化することができる。
また、上述したパノラマ合成を行う際には、図１６に示すように、撮像済みの主画像Ｐ１０をモニター５１等の画面上に表示し、同じモニター画面上に並べてライブ画像Ｐ１３を表示して、所定の操作により適当なライブ画像Ｐ１３を補助画像Ｐ１１として取り込んでもよい。このようにすれば、主画像Ｐ１０及び補助画像Ｐ１１の両方に共通する特定箇所Ｔ１，Ｔ１′について、最適な位置を選択しながら補助画像Ｐ１１の撮像を行うことができる。

ところで、これまで説明したパノラマ合成では、主画像Ｐ１０及び補助画像Ｐ１１が同じ倍率で撮像されたものであるが、両画像が相対的に異なる倍率で撮像されている場合には、２点以上の特定箇所を用いて比例計算により画像の倍率を統一する。
これを図１７及び図１８に基づいて具体的に説明すると、欠陥部Ｄを鮮明にするため比較的高い倍率として狭い範囲を撮像した主画像Ｐ２１（図１７（ｃ）参照）と、比較的低い倍率で広い範囲を撮像した補助画像Ｐ２２（図１７（ｂ）参照）とが得られた場合、両画像に共通して存在する特定箇所Ｔ３，Ｔ４間の距離を測定し、その比率に応じて主画像Ｐ２１を縮小して補助画像Ｐ２２と同じ倍率の主画像Ｐ２１′（図１７（ｄ）参照）を得る。こうして同じ倍率とした主画像Ｐ２１′及び補助画像Ｐ２２をパノラマ合成することにより、図１８に示すような合成画像Ｐ２３を作成することができる。すなわち、倍率が異なる画像どうしであっても、複数の特定箇所を定めて距離の比率による倍率の補正を行えば、側長に使用できる合成画像を得ることが可能である。

また、主画像と補助画像とが相対的に回転して撮像されている場合においても、２点以上の特定箇所を用い、算出した回転角度分だけ一方の画像を回転させることで補正してからパノラマ合成を実施する。
これを図１９及び図２０に基づいて具体的に説明すると、図１９（ｂ）に示した補助画像Ｐ３２は、図１９（ｃ）に示した主画像Ｐ３１に対して、相対的に回転した画像となっている。このようような画像が得られた場合、両画像に共通して存在する特定箇所Ｔ５，Ｔ６を結ぶ線の角度を比較して回転角度を算出する。図示の例では、主画像Ｐ３１を回転させ、補助画像Ｐ３２にあわせて位置補正した主画像Ｐ３１′（図１９（ｄ）参照）を得る。こうして回転角度の補正をした主画像Ｐ３１′及び補助画像Ｐ３２をパノラマ合成することにより、図２０に示すような合成画像Ｐ３３を作成することができる。すなわち、相対的に回転した画像どうしであっても、複数の特定箇所を定めて回転角度の補正を行えば、側長に使用できる合成画像を得ることが可能である。

また、上述したパノラマ合成は、一つの主画像に一つの補助画像を合成するというように２画像を合成するものであったが、２またはそれ以上の補助画像を合成することも可能である。
これを図２１に基づいて説明すると、図２１（ａ）に示すように、エッジ６３ａの欠陥部Ｄ及び特定箇所Ｔ７を含む主画像Ｐ４１と、特定箇所Ｔ７，Ｔ８を含む第１補助画像Ｐ４２と、特定箇所Ｔ８及びエッジ６３ｂを含む第２補助画像Ｐ４３の３枚の画像が撮像される。そして、特定箇所Ｔ７が一致するように主画像Ｐ４１と第１補助画像Ｐ４２とを合成し、さらに、特定箇所８が一致するようにして第１補助画像Ｐ４２と第２補助画像Ｐ４３とを合成することにより、最終的には図２１（ｂ）に示すような合成画像Ｐ４４を作成することができる。すなわち、特定箇所を一致させるという手法により、主画像に加えて２以上の補助画像を合成し、側長に使用できる合成画像を得ることが可能である。

さて、上述した側長においては、既知の寸法を基準長とする比例計算を行って欠陥実長Ｌを算出していたが、基準長となる実際の寸法が不明の場合には、基準長を１とした比率で算出すればよい。すなわち、ブレード幅Ｗを１として上記の比例式に適用すれば、欠陥部Ｄの欠陥長さＬがＷに対する比率で求められる。この比率は、欠陥部Ｄの程度や修理・交換等の対応を判定する基準として有効である。
また、欠陥部Ｄの領域を囲む折れ線毎に側長すれば、欠陥領域の面積や周囲長を測定することもできる。なお、多角形の面積については、周知のように幾何学の数式から算出することができる。

ところで、内視鏡装置１の装置構成については、電子内視鏡本体１０と外部ＰＣ５０との組み合わせに限定されることはない。
他の実施形態としては、たとえば図２２に示す第１変形例の内視鏡装置１Ａのように、画像信号処理装置１２Ａから画像データの入力を受けるように、画像識別手段１６を内蔵した機器内蔵用ＰＣ１７が電子内視鏡本体１０Ａ内に設けられたものでもよい。このような構成とすれば、外部ＰＣ５０の運搬やケーブル接続等の作業がなくなるので、検査作業の準備、後かたづけ及び搬送移動等が容易になる。

また、図２３に示す第２変形例の内視鏡装置１Ｂのように、モニター３０に代えて、画像識別手段１６を内蔵したノートＰＣ３０Ａを採用してもよい。この場合、電子内視鏡本体１０Ｂ内には、画像信号処理装置１２ＡとノートＰＣ３０Ａとの間に位置するようにして、ビデオキャプチャー装置１８が内蔵されている。
このような構成を採用しても、外部ＰＣ５０の運搬やケーブル接続等の作業がなくなるので、検査作業の準備や後かたづけ等が容易になる。なお、上述したノートＰＣ３０Ａに代えて、タブレットＰＣを使用することも可能である。

また、図２４に示す第３変形例の内視鏡装置１Ｃのように、組み込み用コンピューター１１Ａに画像識別手段１６を内蔵して画像処理を行う構成としてもよい。この場合も、上記変形例と同様に、外部ＰＣ５０の運搬やケーブル接続等の作業がなくなるので、検査作業の準備や後かたづけ等が容易になる。

なお、本発明は上述した各実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において適宜変更することができる。

本発明は、タービンブレードに限らず、内視鏡装置の画像処理により欠陥部等の異常を検出する全ての非破壊検査に適用することができる。

本発明による内視鏡装置の一実施形態を示す図で、（ａ）は内視鏡装置の全体構成図、（ｂ）は挿入部先端に設けられた湾曲部の動作説明図である。 外部ＰＣを接続する内視鏡装置を用いてジェットエンジンの非破壊検査を実施している様子を示す全体構成図である。 被検査対象物であるジェットエンジンの概要を示す図で、（ａ）は全体構成を示す要部断面斜視図、（ｂ）はローターに取り付けられたタービンブレードを示す斜視図である。 タービンブレードを撮像して得られるモニター画像であり、（ａ）は欠陥部のない正常な状態、（ｂ）は欠陥部がある異常な状態を示している。 タービンブレードの回転と共に移動する異常と、静止したままとなる背景物体上の異常との区別を示すモニター画面の図である。 タービンブレード上の異常及び背景物体上の異常について、画面表示を区別した表示例を示すモニター画面の図である。 欠陥部を検出した場合、欠陥部周辺の拡大画面を同時に表示したモニター画面の図である。 図２の変形例として、外部ＰＣが同軸ケーブル及びローカルエリアネットワークにより接続された場合を示す全体構成図である。 図２の変形例として、外部ＰＣがローカルエリアネットワークにより接続された場合を示す全体構成図である。 合成画像の説明図である。 合成画像を形成する過程を示す説明図で、（ａ）は補助画像、（ｂ）は主画像、（ｃ）は合成画像である。 補助画像の撮像方法を示す図で、（ａ）は先端部のアンギュレーションによる撮像方法、（ｂ）はローターの回転による撮像方法である。 補助画像の撮像方法を示す図で、側視スコープを使用した場合の撮像方法である。 欠陥部Ｄの側長に関する説明図である。 欠陥部Ｄの側長を実施する過程を示す図で、（ａ）は補助画像、（ｂ）は主画像、（ｃ）は合成画像上における側長である。 ライブ画像から補助画像を取り込む場合の説明図であり、ライブ画像及び撮像済みの主画像を並べて表示したモニター画面である。 倍率が異なる画像から合成画像を得る手順の説明図であり、（ａ）はタービンブレード全体における画面部分を示す図、（ｂ）は補助画像、（ｃ）は倍率の高い主画像、（ｄ）は補助画像と同じ倍率に縮小した主画像である。 図１７の主画像及び補助画像を合成して得られた合成画像である。 相対的に回転した画像から合成画像を得る手順の説明図であり、（ａ）は（ａ）はタービンブレード全体における画面部分を示す図、（ｂ）は補助画像、（ｃ）は補助画像から相対的に回転した主画像、（ｄ）は補助画像にあわせて位置補正した主画像である。 図１９の主画像及び補助画像を合成して得られた合成画像である。 ３つの画像から合成画像を得る場合の説明図であり、（ａ）はタービンブレード全体における画面部分を示す図、（ｂ）は合成画像の図である。 内視鏡装置の第１変形例を示す構成図である。 内視鏡装置の第２変形例を示す構成図である。 内視鏡装置の第３変形例を示す構成図である。 エッジ画像及びスムージング処理画像に関する説明図であり、（ａ）は図４（ａ）の画像から検出されたエッジ画像、（ｂ）は図４（ｂ）の画像から検出されたエッジ画像、（ｃ）は（ａ）をスムージング処理した画像、（ｄ）は（ｂ）をスムージング処理した画像である。

符号の説明

１，１Ａ〜１Ｃ 内視鏡装置
１０，１０Ａ〜１０Ｃ 電子内視鏡本体
１１，１１Ａ 制御用コンピュータ
１２，１２Ａ 画像信号処理装置
１３ 光源
１４ ＬＡＮインターフェース
１５ 外部出力端子
１６ 画像識別手段
２０ 挿入部
２１ 先端部
２２ 対物レンズ
２３ 固体撮像素子
２４ 照明レンズ
２７ 湾曲部
３０ モニター
４０ リモートコントローラ（リモコン）
５０ パーソナルコンピュータ（ＰＣ）
６０ ジェットエンジン
６３ タービンブレード
６５ のぞき穴
６６ ローター回転装置
Ｄ，Ｄ１，Ｄ２ 欠陥部（傷）

Claims (7)

1. エンジン内に配置されたブレードを観察するための内視鏡装置であって、
   前記エンジン内に挿入される挿入部と、
   前記挿入部に設けられ、前記ブレードを含む前記エンジン内の画像を撮像する撮像手段と、
   前記画像に基づいて前記ブレードの欠陥部を検出する画像識別手段と、
   前記画像を表示する表示手段と、
   を備え、
   前記表示手段は、前記画像識別手段が前記欠陥部を検出したときに、前記欠陥部を示す表示を加えて前記画像を表示することを特徴とする内視鏡装置。
2. 前記画像識別手段は、前記欠陥部の状態を識別し、前記表示手段は、前記欠陥部を前記状態ごとに区別可能に表示することを特徴とする請求項１に記載の内視鏡装置。
3. 前記画像識別手段は、前記欠陥部の状態を識別し、前記表示手段は、前記画像識別手段の識別結果にもとづいて、前記識別結果に対応した複数種類の前記表示を加えて前記画像を表示することを特徴とする請求項１に記載の内視鏡装置。
4. 前記画像識別手段は、前記欠陥部の検出感度を可変に構成され、前記検出感度にもとづいて前記欠陥部の状態を識別することを特徴とする請求項２又は３に記載の内視鏡装置。
5. 前記表示手段は、前記画像識別手段が前記欠陥部を検出したときに、前記画像のうち、前記欠陥部を含む領域を拡大して表示することを特徴とする請求項１〜４の何れか１項に記載の内視鏡装置。
6. 前記挿入部に設けられて前記挿入部を湾曲可能とする湾曲部と、
   前記湾曲部を駆動して前記挿入部を湾曲させるための湾曲駆動手段と、
   をさらに備え、
   前記画像識別手段が前記欠陥部を検出したときに、前記湾曲駆動手段は前記画像における前記欠陥部の位置に基づいて前記湾曲部を制御することを特徴とする請求項１〜５の何れか１項に記載の内視鏡装置。
7. 前記画像にもとづいて、前記欠陥部の寸法又は面積を測定する測定手段をさらに備えることを特徴とする請求項１に記載の内視鏡装置。

Images