JP6674464B2 - 内視鏡システム及び内視鏡画像の生成方法 - Google Patents

Description

本発明は、内視鏡システム及び内視鏡画像の生成方法に関し、特に、回転する検査対象の画像を得るための内視鏡システム及び内視鏡画像の生成方法に関する。

従来より、内視鏡などの観察スコープを用いて、検査対象、例えばジェットエンジン、の内部の観察が行われている。検査者は、検査対象内に挿入した観察スコープを用いて取得した被写体内の画像すなわち検査画像に基づいて、例えば被写体の欠陥の有無を判定したり、欠陥の大きさを計測したりすることができる。

例えば、ジェットエンジンには検査部位としてのロータブレード（以下、ブレードという）が複数あり、エンジンのケーシングには、各ブレード群に対応したアクセスポートが設けられている。検査者は、アクセスポートに内視鏡であるボアスコープを挿入して、そのアクセスポートから観察できるブレード群画像を取得する。

アクセスポートに挿入されたボアスコープにより、ジェットエンジンの回転軸の周方向に沿って周期的に配置された１つのブレード群についての内視鏡画像を取得し終わると、検査者は、ロータの回転軸を回転させて、次のアクセスポートに対応するブレード群についての内視鏡画像を取得する。

このような順番に同様の内視鏡画像を撮影していく方法では、検査に長い時間が掛ってしまう。そこで、複数のブレード群に対応する複数のアクセスポートの各々に、ボアスコープを挿入し、エンジンの回転軸を回転させながら、複数のブレード群を複数のボアスコープで同時に撮影する方法が、米国特許出願公開第２０１４／０２５３７１５号明細書に提案されている。

この提案の方法によれば、複数のブレード群を同時に撮影できるので、１本のボアスコープを各アクセスポートに順番に挿入して各ブレード群を順番に撮影していく方法に比較して効率的に内視鏡画像の取得ができる。

また、検査対象である複数のブレード群をターニングツール等を用いて回転させる場合、外部へエンジンの回転エネルギを出力するためにエンジンに設けられたギアボックスのバックラッシュ、ギアボックスに接続された油圧ポンプなどの付属装置、等の影響により、回転にむらが生じる場合がある。回転むらがあると、ボアスコープで得られる各ブレード群の検査画像が、全体的にあるいは部分的に、ブレードの回転方向に沿って伸張されたり、あるいは圧縮されたりしまい、得られる各ブレードの画像が正確に得られないという問題がある。

そのため、この問題を解決するため、上述した提案の方法では、得られた複数のブレード画像を含むパイル画像上における所定のライン上の輝度値と平均輝度値との一致点（交点）に基づいて、パイル画像に対して補正を行い、各検査画像の幅及び位置の均一化する処理が行われる。

しかし、上記提案の方法では、パイル画像上における所定のライン上の輝度値と平均輝度値との一致点（交点）のみに基づいてパイル画像に対して補正を行っているため、交点間における回転むらは考慮されておらず、得られる各検査画像が回転むらの影響を完全に受けない画像にならない、という問題がある。

そこで、本発明は、検査対象の回転むらによる影響のない内視鏡画像を取得することができる内視鏡システム及び内視鏡画像の生成方法を提供することを目的とする。

本発明の一態様の内視鏡システムは、回転可能な検査対象の回転方向に直交する方向に沿った前記検査対象の第１の検査対象画像を、前記検査対象内に挿入された内視鏡により前記検査対象を所定の時間間隔で撮像して複数取得する第１の画像取得部と、前記検査対象の前記回転方向に沿った前記検査対象の第２の検査対象画像を、前記第１の検査対象画像の取得タイミングと同期して前記所定の時間間隔で前記検査対象を撮像して複数取得する第２の画像取得部と、取得された前記第２の検査対象画像を時間経過に沿って並べた時系列画像情報と、前記第２の検査対象画像中の所定の特徴量あるいは所定の輝度値を有する画素の位置と前記検査対象の回転角度量の対応情報とに基づいて、前記複数の第１の検査対象画像の各画像データを再構築する画像データ再構築部と、を有する。

本発明の一態様の内視鏡画像の生成方法は、回転可能な検査対象の回転方向に直交する方向に沿った前記検査対象の第１の検査対象画像を、前記検査対象内に挿入された内視鏡により前記検査対象を所定の時間間隔で撮像して複数取得し、前記検査対象の前記回転方向に沿った前記検査対象の第２の検査対象画像を、前記第１の検査対象画像の取得タイミングと同期して前記所定の時間間隔で前記検査対象を撮像して複数取得し、取得された前記第２の検査対象画像を時間経過に沿って並べた時系列画像情報と、前記第２の検査対象画像中の所定の特徴量あるいは所定の輝度値を有する画素の位置と前記検査対象の回転角度量の対応情報に基づいて、前記複数の第１の検査対象画像の各画像データを再構築する。

本発明の実施の形態に係わるジェットエンジンの検査の様子を示す斜視図である。 本実施の形態に係わる内視鏡システムの構成を示す構成図である。 本発明の実施の形態に係わる、ボアスコープ１１Aの構成と、ボアスコープ１１Aの撮像領域を説明するための図である。 本発明の実施の形態に係わる、ボアスコープ１１Bの構成と、ボアスコープ１１Bの撮像領域を説明するための図である。 本発明の実施の形態に係わる、ボアスコープ１１Bのカメラ部２６のラインセンサ２６ａにおいて得られるブレードBの画像取得領域IPAを示す図である。 本発明の実施の形態に係わるPC１２の構成を示すブロック図である。 本発明の実施の形態に係わる、PC１２の制御部３１が実行するブレード検査処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる、画像取得領域IPAのライン画像IPAiの時間経過による変化を説明するための図である。 本発明の実施の形態に係わる、ライン画像IPAi上のエッジ部BEの画素EPの位置と回転軸ARの回転角度の角度変化量Δθとの対応関係を示す補正曲線CCを示す図である。 本発明の実施の形態に係わる、回転角度情報画像RSにおける回転軸ARの回転むらを説明するための図である。 本発明の実施の形態に係わる、補正テーブルの作成処理の流れの例を示すフローチャートである。 本発明の実施の形態に係わる、所定の特徴点である画素EPの点からなる複数の曲線から、最も重なりの多かった点を求め、その求めた点の軌跡からなる補正曲線CLを示す図である。 本発明の実施の形態に係わる、ライン画像IPAiの範囲が複数の領域に分割された状態を示す図である。 本発明の実施の形態に係わる、分割された領域毎に、重ね合わせた画素EPの複数の曲線から、平均的な点、例えば最も重なりの多かった点、の軌跡を求める方法を説明するための図である。 本発明の実施の形態の変形例に係る、補正テーブルCTの作成処理の流れの例を示すフローチャートである。 本発明の実施の形態の変形例に係る、S22において、所定の周期ΔTB毎に切り出した画素データに含まれる最大輝度値に基づく補正曲線CLを生成する方法を説明するための図である。 本発明の実施の形態に係わる、S2のブレード検査処理の流れの例を示すフローチャートである 本発明の実施の形態に係わる、画像記録部３３に記録された複数のブレードライン画像BIと、回転状態記録部３４に記録された回転角度情報画像RSとの対応を示す図である。 本発明の実施の形態に係わる、ブレード画像の再構築後の、画像記録部３３に記録された複数のブレードライン画像BIと、回転角度情報画像RSとの対応を示す図である。 本発明の実施の形態に係わる、実施の形態の内視鏡システム１により得られるブレード群の画像を説明するための図である。

以下、図面を参照して本発明の実施の形態を説明する。

（システム構成）
図１は、本実施の形態に係わるジェットエンジン（以下、単にエンジンという）の検査の様子を示す斜視図である。図２は、本実施の形態に係わる内視鏡システムの構成を示す構成図である。

内視鏡システム１は、ブレード検査システムであり、ブレード画像取得用の複数のボアスコープ１１Aと、回転角度検出用の１つのボアスコープ１１Bと、検査画像生成装置としてのパーソナルコンピュータ（以下、PCという）１２とを含んで構成される。複数のボアスコープ１１A、１１BとPC１２とは、信号ケーブル（以下、ケーブルという）１３を介して接続されている。各ボアスコープ１１A、１１Bは、検査対象であるブレードBを複数有するエンジンEに挿入される挿入部１１ａと、挿入部１１ａの基端部に設けられた把持部１１ｂとを有している。

本実施の形態では、エンジンEは、ジェットエンジンであり、吸気側から排気側に向かって、吸気部E1、コンプレッサ部E2、燃焼部（図示せず）、及び排気部（図視せず）を有している。本実施の形態では、吸気部E1の後ろ側に設けられたコンプレッサ部E2内の複数のコンプレッサブレードであるロータブレード（以下、単にブレードという）Bが、内視鏡システム１により検査される場合について説明する。また、エンジンEのギアボックス（図示せず）には、ターニングツールTが接続され、複数のブレードBを、回転軸AR回りに回転させることができるようになっている。
また、ターニングツールTとPC１２とは、ケーブル１４により接続されており、PC１２からの指示に応じて、回転軸ARを回転させるようにターニングツールTは制御される。

なお、ここでは、コンプレッサブレードの例を説明するが、本実施の形態のブレード検査システムによれば、タービンブレード等の他のブレードの検査も、同様に行うことができる。

エンジンEのケーシングCは、所定の位置に複数（ここでは３つ）のアクセスポートAPを有する。各ボアスコープ１１A、１１Bの挿入部１１ａは、対応するアクセスポートAPの孔を介してケーシングC内に挿入可能で、ブレードBを観察することができるような直径と長さを有している細長い硬性鏡である。

内視鏡である各ボアスコープ１１A、１１Bの挿入部１１ａをケーシングC内に挿入するとき、固定具Fが、挿入部１１ａを挿入するアクセスポートAPに取り付けられる。固定具Fは、各ボアスコープ１１A、１１Bの挿入部１１ａを、ケーシングCのアクセスポートAPの位置で支持して固定するための装置である。すなわち、固定具Fは、アクセスポートAPに取り付けることができ、かつ挿入部１１ａが挿通される挿通孔を有して、各ボアスコープ１１A、１１Bを支持することができるように構成されている。

また、各ボアスコープ１１A、１１Bには、検査部位である各ブレードBを照明するための照明装置（図示せず）が設けられている。
エンジンEの回転軸ARの外周面には、複数のブレードが周方向に沿って周期的に配置されている。各アクセスポートAPに対応する一周分の複数のブレードが、１つのブレード群であり検査対象である。複数のブレード群は、ブレードの枚数が互いに異なっている。

各ブレード群に含まれる複数のブレードBは、同一のサイズと形状を有する。すなわち、検査対象である各ブレード群は、同一形状の複数の検査部位としてのブレードBを含む。（ボアスコープの構成）
図３は、ボアスコープ１１Aの構成と、ボアスコープ１１Aの撮像領域を説明するための図である。
ボアスコープ１１Aは、側視の内視鏡である。挿入部１１ａには、観察窓２１が設けられている。

観察窓２１に対応して、挿入部１１ａ内には、ミラー２２ａ、対物光学系２２ｂ及びリレー光学系２２ｃを含む光学部材２２が配設されている。ミラー２２ａは、観察窓２１から入射した光を反射して対物光学系２２ｂを介してリレー光学系２２ｃへ導くように、観察窓２１の後ろ側に配設されている。

把持部１１ｂには、カメラ部２３が設けられている。カメラ部２３は、被写体像からの光を結像する撮像光学系（図示せず）と、撮像光学系によって結像された光による被写体像を光電変換する固体撮像素子であるラインセンサ２３ａとを有している。
カメラ部２３のラインセンサ２３ａは、ブレードBの軸BOに略平行な方向に沿った一次元画像を取得するように配置される。カメラ部２３は、ブレードBの長軸に略平行な方向（すなわち軸BOの方向）に沿って、ブレードBの全体を含む画角αの画像を取得する。

カメラ部２３から延出する信号線１３ａは、ケーブル１３を通ってPC１２に接続されている。
図４は、ボアスコープ１１Bの構成と、ボアスコープ１１Bの撮像領域を説明するための図である。

ボアスコープ１１Bは、側視の内視鏡である。挿入部１１ａには、観察窓２４が設けられている。
観察窓２４に対応して、挿入部１１ａ内には、ミラー２５ａ、対物光学系２５ｂ及びリレー光学系２５ｃを含む光学部材２５が配設されている。ミラー２５ａは、観察窓２４から入射した光を反射して対物光学系２５ｂを介してリレー光学系２５ｃへ導くように、観察窓２４の後ろ側に配設されている。

把持部１１ｂには、カメラ部２６が設けられている。カメラ部２６は、被写体像からの光を結像する撮像光学系（図示せず）と、撮像光学系によって結像された光による被写体像を光電変換する固体撮像素子であるラインセンサ２６ａとを有している。
カメラ部２６のラインセンサ２６ａは、ブレードBの軸BOに略直交する方向に沿った一次元画像を取得するように配置される。そして、カメラ部２６は、ブレードBの長軸（すなわち軸BOの方向）に略直交する方向に沿って、少なくとも１つのブレードBの幅を含むような画角βの画像を取得する。

ボアスコープ１１Bは、各ブレードBのエッジ部BEが撮影できるように隣り合う２つのブレードBの一部が重なって撮影される位置に配置される。すなわち、カメラ部２６は、ブレードBの長軸（すなわち軸BOの方向）に略直交する方向に沿って、ブレードBのエッジ部BEが常に含まれるような画角βの画像を取得する。

カメラ部２６から延出する信号線１３ｂは、ケーブル１３を通ってPC１２に接続されている。
よって、各カメラ部２３、２６において得られた映像信号である撮像信号は、ケーブル１３を介してPC１２へ出力される。

なお、各カメラ部２３，２６は、ブレードBの移動速度よりも十分に速い所定の周期ΔTIで画像を連続的に取得して出力する。
よって、カメラ部２３は、回転可能な検査対象であるブレード群の回転方向に略直交する方向（すなわち軸BOの方向）に沿ったラインセンサ２３ａによるブレードBの検査対象画像を、エンジンE内に挿入されたボアスコープ１１Aによりブレード群を所定の時間間隔である周期ΔTIで撮像して、複数取得する画像取得部を構成する。

カメラ部２６は、ブレード群の回転方向に沿ったラインセンサ２６ａによるブレードBの検査対象画像を、ラインセンサ２３ａにより取得される検査対象画像の取得タイミングと同期して、同じ時間間隔（周期ΔTI）でボアスコープ１１Bによりブレード群を撮像して、複数取得する画像取得部を構成する。

さらになお、ここでは、観察窓２１，２４を通して取得される被写体からの光は、それぞれ挿入部１１ａ内に設けられたミラー２２ａ，２５ａ等の光学部材を通して、把持部１１ｂに設けられたカメラ部２３，２６に導かれているが、観察窓２１，２４の後ろ側にそれぞれ対物光学系と共にラインセンサ２３ａ、２６ａを配置してブレードBの画像を取得するようにしてもよい。

図５は、ボアスコープ１１Bのカメラ部２６のラインセンサ２６ａにおいて得られるブレードBの画像取得領域IPAを示す図である。
上述したように、カメラ部２６のラインセンサ２６ａは、ブレードBの軸BOに略直交する方向に沿った一次元画像を取得するが、図５に示すように、カメラ部２６の画像取得領域IPAは、一次元領域であり、画像取得領域IPAの一次元の直線方向は、矢印Aで示す各ブレードBの移動方向A1に略平行である。

すなわち、ボアスコープ１１Aのカメラ部２３のラインセンサ２３ａは、ブレードBの軸BOに沿った一次元画像を取得するが、図５に示すように、ボアスコープ１１Bのカメラ部２６の画像取得領域IPBは、一次元領域であり、画像取得領域IPBの一次元の直線方向は、矢印Aで示す各ブレードBの移動方向A1に略平行な方向である。

図４及び図５に示すように、画像取得領域IPAのライン画像IPAi中、ブレードBの観察窓２４に近い部分は輝度値の高い画素となり、ブレードBの観察窓２４から遠い部分は輝度値の低い画素となる。隣り合う２つの画素の輝度値の差が所定値以上の部分が、ブレードBのエッジ部BEに対応する。

複数のブレードBの回転の連続性を担保するために、回転しているブレード群を撮影しているときに、このようなエッジ部を少なくとも１つ含む領域あるいは範囲に、画像取得領域IPAは設定される。

よって、ブレード群が矢印Aで示す方向に回転すると、カメラ部２３は、その回転に応じた各ブレードBの軸BOの方向に沿ったライン画像Biを出力し、PC１２は、受信したライン画像Biから各ブレードBの二次元画像を生成することができる。

また、ブレード群が矢印Aで示す方向に回転すると、カメラ部２６は、その回転に応じた各ブレードBのエッジ部の位置情報を含むライン画像IPAiを出力し、PC１２は、受信したライン画像IPAiから、ブレードBの回転角度情報画像（後述する）を生成することができる。

なお、ここでは、ボアスコープ１１Aと１１Bは、観察窓２１と２４の位置、光学部材２２と２５の部材等において異なっているが、ボアスコープ１１Bは、ラインセンサ２６ａがラインセンサ２３ａとは向きが異なるだけでボアスコープ１１Aと略同じ構成であってもよい。

（PCの構成）
図６は、PC１２の構成を示すブロック図である。PC１２は、制御部３１、トリガー発生部３２、画像記録部３３、回転状態記録部３４、画像再構築部３５、補正テーブル記憶部３６及びターニングツール駆動部３７を有して構成されている。

制御部３１は、中央処理装置（以下、CPUという）、ROM及びRAMを含み、ROMに記憶された各種プログラムを実行する。各種プログラムには、後述する検査処理プログラムが含まれる。

トリガー発生部３２は、制御部３１の制御の下、複数のボアスコープ１１A、１１Bによる同時撮影ためのトリガー信号を発生し、ケーブル１３に含まれる信号線１３ｃを介して複数のボアスコープ１１A、１１Bに供給するための回路である。

画像記録部３３は、制御部３１の制御の下、複数のボアスコープ１１Aからの画像信号を受信して、内部の記憶部３３ａへ記録する回路である。
回転状態記録部３４は、制御部３１の制御の下、ボアスコープ１１Bからの画像信号を受信して、回転軸ARの回転角度を示す回転角度情報画像RS（後述する）を生成して、内部の記憶部３４ａへ記録する回路である。

画像再構築部３５は、制御部３１の制御の下、画像記録部３３に記録された複数のボアスコープ１１Aからの画像信号を、回転状態記録部３４に記録された回転角度情報画像RSと、後述する補正テーブルCTとに基づいて、再構築する処理を行う回路である。

補正テーブル記憶部３６は、後述する補正テーブルCTを記憶する。補正テーブルCTは、ボアスコープ１１Bにおいて得られたライン画像上のエッジ部BEの画素の位置と回転軸ARの回転角度との対応を示す対応情報を格納している。

ターニングツール駆動部３７は、制御部３１の制御の下、回転軸ARを回転させるために、ケーブル１４を介してターニングツールTへ駆動信号を出力する回路である。

（作用）
次に、ブレードBの検査処理について説明する。

図７は、PC１２の制御部３１が実行するブレード検査処理の流れの例を示すフローチャートである。
検査者であるユーザは、エンジンE内の複数のブレード群について、検査したい複数のブレード群に対応する複数のアクセスポートAPのそれぞれに、ボアスコープ１１Aを挿入し、各ブレード群の各ブレードBの画像が取得できる所定の位置に固定する。例えば、隣り合うブレードBが重ならず、各ブレードBの全体形状が撮影できる位置と向きに、各ボアスコープ１１Aは挿入されて固定される。

さらに、ユーザは、複数のアクセスポートAPの中の１つにボアスコープ１１Bを挿入して、上述した画像取得領域IPAの画像が取得できる所定の位置にボアスコープ１１Bを固定する。上述したように、画像取得領域IPAは、各ブレード群の回転の連続性が確保できるように、ブレードBの少なくとも一箇所のエッジ部BEが常に含まれる領域あるいは範囲に設定される。

そして、ユーザが所定のコマンドをPC１２に入力すると、PC１２の制御部３１が、ROMから入力されたコマンドに対応する検査処理プログラムを読み出して実行することにより、図７のブレード検査処理が実行される。

図７に示すように、制御部３１は、補正テーブル作成処理を実行し（S1）、補正テーブル作成処理の後、ブレード検査処理を実行する（S2）。
S1の処理を説明する前に、ボアスコープ１１Bにおいて得られる画像について説明する。

図８は、画像取得領域IPAのライン画像IPAiの時間経過による変化を説明するための図である。図８の上側には、ブレード群の一部がに示され、下側には、ボアスコープ１１Bにおいて得られる画像取得領域IPAのライン画像IPAiから生成された回転角度情報画像RSが示されている。

図８の回転角度情報画像RSの縦軸は、上から下に向かって経過する時間tに対応し、横軸は、ライン画像IPAiの各画素の位置に対応する。ここでは、ライン画像IPAiは、左端の画素P1から右端の画素Pmaxまでの複数の画素を有している。
回転角度情報画像RSは、エンジンEの回転軸ARが１回転する時間Tにおけるライン画像IPAiに含まれるエッジ部BEのエッジ位置の変化を示している。具体的には、エッジ部BEのエッジ位置は、エッジ画素としての画素EPで示されている。エッジ部BEに対応するエッジ画素である画素EPの決定は、例えば、隣接する２つの画素の画素値を比較し、画素値の差が所定値以上であるか否かによって行うことができる。

すなわち、回転角度情報画像RSにおけるライン画像IPAiは、検出されたエッジ部BEの画素EPの位置を示す画素情報で置き換えられ、上述した回転状態記録部３４は、エッジ部BEの画素EPを含むライン画像IPAiを時間tの時間軸方向に沿って重ね合わせて、図８に示すような回転角度情報画像RSを生成し、記憶部３４ａに記録する。

上述したように、ライン画像IPAiは、少なくとも１つのエッジ部BEに対応する画素EPを常に含むように、ボアスコープ１１Bは設置される。さらに、各カメラ部２３，２６は、ブレードBの移動速度よりも十分に速い周期ΔTIで画像を連続的に取得する。よって、ブレード群が図５において矢印Aで示す回転方向に回転すると、ライン画像IPAi上におけるエッジ部BEの画素EPの位置は、図８に示すように、時間tの経過と共に変化する。

図８の場合、時刻t1のときにあったエッジ部BEの画素EPは、時刻t2では、右側に移動している。時刻t1には、エッジ部BEの画素EPが一つであったが、時刻t2では、次のエッジ部BEの画素EPが含まれている。図８では、時刻taでは、エッジ部BEの画素EPは、ライン画像IPAi中に１つ存在するが、時刻tbでは、エッジ部BEの画素EPは、ライン画像IPAi中に２つ存在する。

すなわち、回転軸ARの回転に応じて、画像取得領域IPAにおけるエッジ部BEに対応する画素EPの位置は、図８において実線で示すように移動する。
回転軸ARが１回転するのに掛かる時間をTとし、あるブレード群に含まれるブレードBの数をNとすると、そのブレード群に含まれるブレードBのブレード画像の出現周期である周期ΔTBは、次の式（１）で表される。

ΔTB＝T／N ・・・（１）
よって、ブレードBのエッジ部BEの出現周期も、ΔTBとなる。ΔTBに対応する回転軸ARの角度変化ΔθBは、次の式（２）で表される。

ΔθB＝３６０（度）／N ・・・（２）
エッジ部BEの位置は、回転軸ARの回転角度位置に対応するので、ライン画像IPAi中のエッジ部BEに対応する画素EPの位置も、回転軸ARの回転角度位置に対応する。

図９は、ライン画像IPAi上のエッジ部BEの画素EPの位置と回転軸ARの回転角度の角度変化量Δθとの対応関係を示す補正曲線CCを示す図である。図９の横軸は、ライン画像IPAi上のエッジ部BEの画素EPの位置に対応し、縦軸は、回転軸ARの回転角度の角度変化量Δθに対応する。補正曲線CCの情報が、補正テーブルCTとして、補正テーブル記憶部３６に記憶される。なお、補正テーブルCTは、後述するように、検査処理において作成される。

図９に示す補正曲線CCは、ボアスコープ１１Bにおける、観察窓２４及び光学部材２５を含む光学系における収差、画像取得領域IPAの一次元直線の、ブレードBの移動方向に対する角度、などによって決定される。

図９に示すように、回転軸ARの回転に応じて、時間tの経過と共に、エッジ部BEの画素EPの位置が画素P1から画素Pmaxの位置の間で移動したとき、隣り合うエッジ部BE間の回転軸AR回りの角度変化量Δθは、上述したΔθBである。また、上述したように、エッジ部BEの出現周期は、ΔTBである。

よって、ライン画像IPAi上の画素EPが同じ位置に出現する周期（サイクル数）（あるいは回数を、最初の時刻t1後からカウントし、かつ各周期内におけるライン画像IPAi上の画素EPの位置に基づいて角度変化量Δθαを算出すれば、回転軸ARの回転中の時刻t1からの回転角度θを求めることができる。

例えば、画素EPの出現回数をMとし、次の周期ΔTB内における角度変化量をΔθαとすると、回転軸ARの時刻t1からの回転角度θは、次の式（３）で表される。
θ＝ΔθB×M＋Δθα ・・・（３）
また、回転軸ARの時刻t1からの経過時間Tｔは、周期ΔTB内における時間変化量をΔTαとすると、次の式（４）で表される。

Tｔ＝ΔTB×M＋ΔTα ・・・（４）
以上のように、ライン画像IPAi上の画素EPの位置の情報から、回転軸ARの回転開始からの回転角度θと経過時間Tｔを算出することができる。

ところが、上述したように、回転軸ARの回転には、ギアボックスのバックラッシュ等により回転むらがある。そのため、図８では図示していないが、エッジ部BEに対応するライン画像IPAi上の画素EPの位置の移動にも、回転軸ARの回転むらに応じてむらが生じ、得られるライン画像IPAiに含まれるブレードBの撮影範囲は、回転軸ARの回転角度と対応しない。

そこで、ターニングツールTを用いて回転軸ARを定速回転させながら連続して撮影して得られる複数のライン画像IPAiから、ライン画像IPAi中のエッジ部BEの各画素EPの位置と、回転軸ARの軸回りの回転角との対応付ける対応テーブルである補正テーブルの作成が行われる（S1）。この対応テーブルは、回転むらのある画像信号から回転むらのない画像信号を生成するために複数のボアスコープ１１Aからの画像信号を再構築するために用いられる。対応テーブルは、再構築時に、画像記録部３３に記録されたブレード画像に対して再配置、削除などの補正をするために用いられるので、以下、補正テーブルという。

（補正テーブルの作成処理）
図１０は、回転角度情報画像RSにおける回転軸ARの回転むらを説明するための図である。回転軸ARの回転にむらがなければ、ライン画像IPAiに含まれるエッジ部BEに対応する画素EPの位置は、回転角度情報画像RSにおいて図１０において二点鎖線で示す曲線EPiに沿って変化する。これに対して、回転軸ARの回転にむらがある場合、ライン画像IPAiに含まれるエッジ部BEに対応する画素EPの位置は、例えば図１０において実線で示すように、変化する。

図８は回転軸ARに回転むらがないときの回転角度情報画像RSを示しており、上述したように、回転軸ARの回転むらが無ければ、ブレードBのエッジ部BEの出現周期は上述したΔTBで一定周期となる。しかし、回転軸ARの回転にはむらがあるため、図１０に示すように、画素P1におけるエッジ部BEの出現した時刻ta1とta2間の周期ΔT1、及び画素P1におけるエッジ部BEの出現した時刻ta2とta3間の周期ΔT2は、周期ΔTBと一致しない。

図１０に示すような回転むらがあると、ボアスコープ１１Aで得られる各ブレード群の画像が、全体的にあるいは部分的に、ブレードBの回転方向に沿って伸張されたり、あるいは圧縮されたりしてしまい、画像記録部３３では、受信して得られる複数のブレードBの画像は、正確に生成されない。

そこで、本実施の形態では、補正テーブルCTと回転むらのある回転角度情報画像RSとを用いて、ボアスコープ１１Aにより得られたブレード画像は補正されて再構築される。図７のS1では、この補正テーブルCTの作成が行われる。ライン画像IPAi上のエッジ部BEの画素の位置と回転軸ARの回転角度との対応を示す対応情報である補正テーブルCTは、検査対象を実際に回転させて得られたライン画像IPAiに基づいて作成される。

図１１は、補正テーブルの作成処理の流れの例を示すフローチャートである。
まず、制御部３１は、ターニングツール駆動部３７を制御して、ターニングツールTを駆動して回転軸ARを定速回転させて、ボアスコープ１１Bから画像取得領域IPAのライン画像IPAiを周期ΔTIで取得して、回転角度情報画像RSを作成して記憶部３４ａに記録する回転角度情報画像作成処理を実行する（S11）。

S11により、図１０に示すようなライン画像IPAiを積み重ねて形成された回転角度情報画像RSが得られる。回転角度情報画像RSは、回転軸ARの回転むらすなわち回転角度むらの情報を含む画像である。回転角度情報画像作成処理では、例えば、回転軸ARを所定時間回転させて、エッジ部BEに対応する画素EPの曲線が複数生成される。

次に、制御部３１は、回転角度情報画像RSに含まれる、所定の特徴点であるエッジ部BEの画素EPの点についての所定の統計処理を施して、補正曲線CLを生成する（S12）。

制御部３１は、回転角度情報画像RS中の画素EPの軌跡を、所定の画素位置を一致させて重ね合わせた画像を生成する。そして、制御部３１は、所定の特徴点である画素EPの点から、平均的な点、例えば最も重なりの多かった点、を算出して求め、その求めた点から、補正曲線CLを生成する。

図１２は、所定の特徴点である画素EPの点からなる複数の曲線から、最も重なりの多かった点を求め、その求めた点の軌跡からなる補正曲線CLを示す図である。
図１２に示すように、画素P1の位置を一致させた画素EPの複数の曲線（点線で示す）の最も重なりの多かった点の軌跡が、補正曲線CLとしてS12において統計処理により求められる。

以上のように、S12において生成される重ね合わせ画像は、ライン画像IPAiの特徴量が存在する所定の画素位置（P1）を一致させて画素EPの軌跡を重ね合わせた画像であり、その特徴量は、ライン画像IPAi中のエッジを示す特徴量である。

補正曲線CLは、図９に示した、ライン画像IPAi上のエッジ部BEの画素EPの位置と回転軸ARの回転角度の角度変化量Δθとの対応関係を示す補正曲線CCを時間軸の向きを逆にして反転した曲線であり、ライン画像IPAi上の画素EPの位置の変化を示す位置変化情報である。

制御部３１は、S12で求めた補正曲線CLから、図１０に示すような補正テーブルCTの補正テーブルデータを生成して、補正テーブル記憶部３６に記憶する補正テーブルデータ生成処理を実行する（S13）。

以上のように、ターニングツールTを用いてエンジンEの回転軸ARを定速回転させながら、回転むらのある画素EPの複数の曲線を取得して記録し、その記録された画素EPの曲線を平均化して得られた軌跡から、定速回転状態における補正曲線CLを推定して、その補正曲線CLから補正テーブルデータが生成される。

なお、図１２において、図９におけるΔTBの位置は、画素P1を起点する画素EPの軌跡がライン画像IPAiの画素P1からPmaxの範囲内において移動中に、画素EPの軌跡において、次のエッジ部BEの画素EPが画素P1の位置に出現した時刻の平均時刻の位置に設定される。

なお、ライン画像IPAiの範囲を複数の領域に分割して、分割された領域毎に、最も重なりの多かった点の軌跡を求め、求めた複数の軌跡をつなげて、補正テーブルデータを求めるようにしてもよい。

図１３は、ライン画像IPAiの範囲が複数の領域に分割された状態を示す図である。図１３に示すように、画像取得領域IPAは、画素PAとPBの２つの位置で分割され、３つの領域に分けられている。その分割された領域毎に、最も重なりの多かった点の軌跡が求められる。なお、ここでは、画像取得領域IPAは、３つの領域に分けられているが、２つあるいは４つ以上に分けてもよい。

図１４は、分割された領域毎に、重ね合わせた画素EPの複数の曲線から、平均的な点、例えば最も重なりの多かった点、の軌跡を求める方法を説明するための図である。
図１４に示すように、第１の領域（P1から（PA-1）の画素の範囲）では、画素P1の位置が一致した複数の曲線（点線で示す）の最も重なりの多かった点の軌跡CL1が、統計処理により求められる。第２の領域（PAから（PB-1）の画素の範囲）では、画素PAの位置が一致した複数の曲線（点線で示す）の最も重なりの多かった点の軌跡CL2が、統計処理により求められる。第３の領域（PBからPmaxの画素の範囲）では、画素PBの位置が一致した複数の曲線（点線で示す）の最も重なりの多かった点の軌跡CL3が、統計処理により求められる。

各領域で求められた３つの軌跡CL1,CL2,CL3を連続するように端点同士を繋いて、補正曲線CLが求められる。３つの軌跡CL1,CL2,CL3を繋げて生成された補正曲線CCから、補正テーブルデータが生成される（S13）。

なお、図１４においても、図９におけるΔTBの位置は、画素P1を起点する画素EPの軌跡がライン画像IPAiの画素P1からPmaxの範囲内において移動中に、画素EPの軌跡において、次のエッジ部BEの画素EPが画素P1の位置に出現した時刻の平均時刻の位置に設定される。

以上のようにして、補正テーブル記憶部３６に記憶される補正テーブルCTの補正テーブルデータが生成される。
なお、補正テーブルデータの生成方法の変形例として、上述したような統計処理を行わずに、画素EPを含まないライン画像IPAiの画像データを周期ΔTB毎に重ね合わせて、その重ね合わせた画像の各画素位置の輝度分布から補正曲線CCを求めるようにしてもよい。

図１５は、変形例に係る、補正テーブルCTの作成処理の流れの例を示すフローチャートである。
まず、制御部３１は、ターニングツール駆動部３７を制御して、ターニングツールTを駆動して回転軸ARを定速回転させて、ボアスコープ１１Bから画像取得領域IPAのライン画像IPAiを周期ΔTI毎に取得して所定の周期ΔTB毎の周期画像を記録する周期画像記録処理を実行する（S21）。周期ΔTB毎に記録される周期画像は、周期ΔTBの範囲の画像データを含む、周期ΔTBの範囲よりも広い範囲の画像である。所定の周期ΔTBは、上述した式（１）により決定することができる。

次に、制御部３１は、所定の周期ΔTB毎の周期画像を時間tに沿って所定の周期ΔTBで分割し、分割された複数の周期画像を、周期ΔTB毎重ね合わせ、各画素位置における最大輝度の時刻から補正曲線CLを生成する（S22）。すなわち、その重ね合わせ画像は、画素値の複数の画像を所定の周期ΔTB毎に抽出して重ね合わせた画像である。そして、各画素位置における最大輝度の時刻から生成された補正曲線CLも、画素EPの平均的な時刻から生成された曲線ということができる。

図１６は、S22において、所定の周期ΔTB毎に切り出した画素データに含まれる最大輝度値に基づく補正曲線CLを生成する方法を説明するための図である。
図１６に示すように、画素の位置毎の最大輝度値となる時刻の位置をつなげるようにして補正曲線CLは、生成される。図１６では、画素P1,PA,PB,Pmaxの４つの画素位置の各々における輝度分布（点線で示す）の頂点に対応する時刻の位置が最大輝度の時刻として判定されている。

図１６においても、図９におけるΔTBの位置は、画素P1を起点する画素EPの軌跡がライン画像IPAiの範囲内において移動中に、画素EPの軌跡において、最大輝度値の画素EPが画素P1の位置に出現した時刻の平均時刻の位置に設定される。

S22の後、補正テーブルデータ生成処理が実行される（S23）。S23の処理は、S13の処理と同じである。
よって、本変形例によっても、補正テーブル記憶部３６に記憶される補正テーブルCTの補正テーブルデータを生成することができる。

以上のように、PC１２は、補正情報である補正テーブルCTを生成する補正情報生成装置である。上述したS12、S22の処理が、ラインセンサ２６ａにおいて取得されたライン画像IPAiを時間経過に沿って並べて、エッジ部などの画像の所定の特徴量を有する画素あるいは所定の画素値を有する画素のライン画像IPAi上の位置変化を示す位置変化情報を抽出する位置変化情報抽出部を構成する。

そして、S12、S22の位置変化情報抽出部は、取得した複数の画像ここではライン画像IPAiを時間経過に沿って重ね合わせた重ね合わせ画像を生成し、その重ね合わせ画像から画像の特徴量を有する画素あるいは所定の画素値を有する画素の、画像上の位置変化情報である補正曲線CLを抽出する。位置変化情報は、重ね合わせ画像における画像の特徴量を有する画素あるいは画素値の画像における位置の時間経過に伴う軌跡に基づいて生成される補正曲線の情報である。

さらに、上述したS13、S23の処理が、S12、S22で抽出された位置変化情報から、ライン画像IPAi中の画素の位置と検査対象であるブレード群の回転角度の対応情報を生成する対応情報生成部を構成する。S13、S23の対応情報生成部は、対応情報として画像中の画素の位置と検査対象の回転角度の対応を示す対応テーブルを生成する。

図７に戻り、補正テーブルの作成後、制御部３１は、ブレード検査処理を実行する（S2）。図１７は、S2のブレード検査処理の流れの例を示すフローチャートである。
制御部３１は、トリガー発生部３２を制御して、トリガー信号を所定の周期ΔTIで複数のボアスコープ１１Aと１１Bに同時に供給して、複数のボアスコープ１１Aにより各ブレード群を撮影し、かつボアスコープ１１Bにより画像取得領域IPAを撮影する（S31）。S31の処理は、画像記録部３３と回転状態記録部３４において実行される。

その結果、各ブレード群の画像すなわち各ブレードBのライン画像BI（以下ブレードライン画像BIという）は、画像記録部３３に記録される。同時に、回転状態記録部３４は、ボアスコープ１１Bにより画像取得領域IPAを撮影して、回転角度情報画像RSを生成する。

図１８は、画像記録部３３に記録された複数のブレードライン画像BIと、回転状態記録部３４に記録された回転角度情報画像RSとの対応を示す図である。図１８では、第１のアクセスポートAP1と第２のアクセスポートAP2においてボアスコープ１１Aにより得られた２つのブレード画像BG1とBG2と、ボアスコープ１１B用のアクセスポートにおいてボアスコープ１１Bにより回転角度情報画像RSとが示されている。

図１８では、時間tの経過は、各ブレードライン画像BIと回転角度情報画像RSとにおいて一致している。すなわち、図１８において、縦軸方向において同じ位置の各ブレードライン画像BIと回転角度情報画像RSの画像データは、同じタイミングで撮影されて得られた画像データである。例えば、時刻tjにおける、各ブレードライン画像BIの画像データBG1j,BG2j、・・と回転角度情報画像RSの画像データRSjは、同じタイミングで撮影された画像データである。

図１８では、回転角度情報画像RS中、時間tの経過における期間tpaにおいては、回転軸ARの回転が遅くなっており、二点鎖線で示す回転むらのない場合よりも時間的に遅れて、画素EPが出現している。

期間tpbの後半においては、回転軸ARの回転が速くなっており、二点鎖線で示す回転むらのない場合よりも時間的に早めに画素EPが出現している。
また、期間tpcでは、回転軸ARの回転が停止しており、同じ画素位置に画素EPが連続して存在している。

期間tpdにおいては、回転軸ARの回転が一時的に反転しており、画素EPの位置が、一次的に画素P1側に向かって移動して、その後戻っていることが示されている。
以上のように、回転むらには、いろいろな場合があるが、縦軸方向において同じ位置の複数のブレードライン画像BIと回転角度情報画像RSは、同じタイミングで撮影して得られた画像データを時間経過に沿って並べた時系列画像情報である。

図９に示すように、各エッジ部BEに対応する画素EPの位置は、周期ΔTB内における角度変化量Δθαと対応している。図９の補正曲線CCに対応する補正テーブルCTの情報は、S13（あるいはS23）において作成され、補正テーブル記憶部３６に記憶されている。

よって、制御部３１は、S31において作成された回転角度情報画像RSと、S13（あるいはS23）において作成された補正テーブルCTとを用いて、S31において作成された複数のボアスコープ１１Aにより撮影して得られた各ブレード群のブレード画像を再構築する（S32）。

具体的には、補正テーブル記憶部３６に記憶されている補正テーブルCTは、図８に示すような回転むらのない場合の補正曲線CCに対応するテーブルである。制御部３１は、その補正テーブルCTに基づいて、周期ΔTB毎に、補正曲線CCの補正テーブルCTを配置して、図８に示すような回転むらのない場合の画素EPの軌跡を示す回転角度情報画像RSRを作成する。そして、制御部３１は、S31で得られた各ブレード群の画像データを、回転角度情報画像RSR中の各画像データ中の画素EPの位置が一致する画像データの位置に、再配置（移動、削除、複製、補間などを含む）するようにして、ブレード画像の再構築を行う。

例えば、図１８において点線で示すように、時刻tkにおける各ブレード画像BG1，BG2,・・・の画像データBG1k,BG2K,・・・は、回転むらの無いときの本来有るべき時刻の位置に移動される。

すなわち、S31において得られた回転角度情報画像RSと、補正テーブル記憶部３６に記憶されている補正テーブルCTとに基づいて、各ブレード画像BG 1，BG2,・・・が一定速度で回転しているときの画像になるように、S31において得られた各ブレード画像BG 1，BG2,・・・中の画像データを移動等させたり、削除したり等して、時間経過に伴う角度変化が一定になるように各ブレード画像BG 1，BG2,・・・が再構築される。

以上のように、S32の処理が、ラインセンサ２６ａにより取得された検査対象の画像を時間経過に沿って並べた時系列画像情報と、その検査対象の画像中の所定の特徴量あるいは所定の輝度値を有する画素の位置と検査対象の回転角度量の対応情報である補正テーブルCTとに基づいて、ラインセンサ２３ａにより取得された検査対象の画像の各画像データを検査対象の回転角度に合わせて再構築する画像データ再構築部を構成する。その対応情報における画素は、複数のブレードBの各画像における所定の特徴量あるいは所定の輝度値を有する画素である。そして、S32の画像データ再構築部は、対応情報である補正テーブルCTに基づいて、ボアスコープ１１Aにより得られた検査対象画像の各画像データを所定の時間間隔である周期ΔTI毎に配置することにより再構築する。

図１９は、ブレード画像の再構築後の、画像記録部３３に記録された複数のブレードライン画像BIと、回転角度情報画像RSとの対応を示す図である。
S23における再構築処理により、期間tpa内の各ブレードライン画像BIの画像データBG1j,BG2j、・・・は、間引きなどにより削除されて、期間tpaは短くなっている。期間tpb内の各ブレードライン画像BIの画像データBG1j,BG2j、・・・は、複製、補間などにより追加されて、期間tpbは長くなっている。

また、期間tpc内の各ブレードライン画像BIの画像データBG1j,BG2j、・・・は、停止している間の画像データの削除等がされている。その結果、図１８では、ブレードBの一部の欠け部が、回転軸ARの回転の停止により伸びて大きいが、図１９では、回転の停止期間の画像データが削除されて伸びのない大きさに修正されている。

期間tpd内の各ブレードライン画像BIの画像データBG1j,BG2j、・・・は、逆回転している間の画像データの削除等がされている。
言い換えれば、再構築されたブレード画像の各画像データは、所定の時間間隔で撮影して得られた各ブレードライン画像BIの画像データBG1j,BG2j、・・・を一定の時間間隔になるように並び替えて再配置した画像データである。

その結果、S32により再構築された各ブレードライン画像BIの画像データBG1j,BG2j、・・・は、回転むらのない一定の回転速度で回転したときにおいて得られた画像データとなる。

制御部３１は、S32で得られた各ブレードライン画像BIの画像データBG1j,BG2j、・・・に対して所定の欠陥処理を実行する（S33）。欠陥処理では、例えば、画像処理により、欠陥の有無の判定、欠陥の種類の判定、欠陥のサイズの測定などが行われる。

図２０は、上述した実施の形態の内視鏡システム１により得られるブレード群の画像を説明するための図である。
図２０において、上段のブレード群の画像の一部は、補正テーブルCTを用いて再構築される前のブレード群の画像BGAを示し、下段のブレード群の画像の一部は、補正テーブルCTにより再構築された後のブレード群の画像BGBを示している。

S22で再構築される前のブレード群の画像BGAでは、各ブレードBの回転方向の幅は、回転軸ARの回転むらにより異なっているが、S22で再構築された後のブレード群の画像BGBでは、各ブレードBの回転方向の幅は、同じになっている。

以上のように、上述した実施の形態によれば、検査対象を回転させて得られる内視鏡画像に、検査対象の回転むらの影響のない内視鏡画像を取得することができる内視鏡システムを提供することができる。

さらに、上述した実施の形態によれば、検査対象の回転むらによる影響のない検査画像を取得するための補正情報を生成する補正情報生成装置及び回転する検査対象の画像補正のための補正情報生成方法を提供することができる。

なお、上述した実施の形態では、補正曲線CCをエンジンEを実際に回転させて算出して、補正テーブルCTを作成しているが、エンジンEの設計情報あるいは仕様情報から補正テーブルを算出して予め用意して補正テーブル記憶部３６に記憶しておき、その補正テーブルCTを用いるようにしてもよい。すなわち、ライン画像IPAi中の所定の特徴量あるいは所定の輝度値を有する画素の位置と検査対象の回転角度量の対応を示す対応情報は、検査対象についての設計情報等に基づいて予め設定された情報でもよい。

さらになお、上述した例では、ボアスコープ１１Bは、ブレードBのエッジ部BEを撮影するようにしているが、ブレードBの根元の回転軸AR等に所定のマークを設けて、そのマークを撮影することにより、補正テーブルを作成するようにしてもよい。ブレードBの根元の回転軸ARの部分等は、エンジンEの使用によって損傷しないので、より確実に回転状態の情報を取得することができる。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本出願は、２０１５年７月２４日に日本国に出願された特願２０１５−１４６７１８号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (6)

1. 回転可能な検査対象の回転方向に直交する方向に沿った前記検査対象の第１の検査対象画像を、前記検査対象内に挿入された内視鏡により前記検査対象を所定の時間間隔で撮像して複数取得する第１の画像取得部と、
   前記検査対象の前記回転方向に沿った前記検査対象の第２の検査対象画像を、前記第１の検査対象画像の取得タイミングと同期して前記所定の時間間隔で前記検査対象を撮像して複数取得する第２の画像取得部と、
   取得された前記第２の検査対象画像を時間経過に沿って並べた時系列画像情報と、前記第２の検査対象画像中の所定の特徴量あるいは所定の輝度値を有する画素の位置と前記検査対象の回転角度量の対応情報とに基づいて、前記複数の第１の検査対象画像の各画像データを再構築する画像データ再構築部と、を有することを特徴とする内視鏡システム。
2. 前記検査対象は、同一形状の複数の検査部位を含み、
   前記対応情報における前記画素は、前記複数の検査部位の各画像における前記所定の特徴量あるいは前記所定の輝度値を有する前記画素であることを特徴とする請求項１に記載の内視鏡システム。
3. 前記対応情報は、前記検査対象についての情報に基づいて予め設定された情報であることを特徴とする請求項１に記載の内視鏡システム。
4. 前記対応情報は、前記検査対象を回転させて得られた前記第２の検査対象画像に基づいて作成された情報であることを特徴とする請求項１に記載の内視鏡システム。
5. 前記画像データ再構築部は、前記対応情報に基づいて、前記第１の検査対象画像の前記各画像データを前記所定の時間間隔毎に配置することにより再構築することを特徴とする請求項１に記載の内視鏡システム。
6. 回転可能な検査対象の回転方向に直交する方向に沿った前記検査対象の第１の検査対象画像を、前記検査対象内に挿入された内視鏡により前記検査対象を所定の時間間隔で撮像して複数取得し、
   前記検査対象の前記回転方向に沿った前記検査対象の第２の検査対象画像を、前記第１の検査対象画像の取得タイミングと同期して前記所定の時間間隔で前記検査対象を撮像して複数取得し、
   取得された前記第２の検査対象画像を時間経過に沿って並べた時系列画像情報と、前記第２の検査対象画像中の所定の特徴量あるいは所定の輝度値を有する画素の位置と前記検査対象の回転角度量の対応情報に基づいて、前記複数の第１の検査対象画像の各画像データを再構築する、ことを特徴とする内視鏡画像の生成方法。

Images