JP5155674B2 - 画像記録装置、内視鏡検査システム、検査方法及びプログラム - Google Patents

Description

本発明は、検査に用いられる内視鏡検査システムに関する。

工業用の検査では、内視鏡を用いて機械や設備の内部を観察し、その設備や機械の現在の状況の良、不良を判断しなければならないことが多い。現在の状況の良、不良とは、たとえば錆びがどの程度進行しているか、キズがどの程度激しくなっているか、材質がどの程度変質しているか、ゴミや異物がどの程度溜まっているかなど、その対象物ごとに非常に様々である。

これらの状況は機械的あるいは電気的な測定器によって測定することが出来ないものが多く、測定が出来ない場合であればあるほど内視鏡による目視観察が重要となる。
このような、内視鏡による目視観察、そしてそれによる良、不良の判断は人間の目により行うことになる。そのため、検査員の経験の深さや個人差などにより、客観性を欠いた、ばらつきの大きい判断がなされてしまう恐れがある。

特許文献１には、内視鏡画像と共に内視鏡画像の関連情報を表示して、この関連情報からユーザが様々な判断を行なう構成が開示されている。
このような判断のばらつきをできる限り少なくし、客観的な正しい判断をするための最も有効な方法は、その検査対象物に関する状況の良、不良を示す比較画像をふんだんに用い、それらと現在観察している対象物とを比較し、どのレベルにあるかを選択することである。これは検査試薬と色サンプルとを用いる検査方法と類似した方法であり、目視検査においては最も客観的な正しい判断をするための有効な方法である。

特許文献２には、撮影した内視鏡画像の比較のための参照画像を以前撮影した画像を加工して表示する構成が開示されている。
また特許文献３には、撮像手段に撮影モードがあり、過去の画像を現在のモードに合わせて加工して比較画像を生成する構成が開示されている。
特開２００１−１５７２００号公報 特開２００４−０００５０５号公報 特開平９−１３０７１４号公報

内視鏡検査は必ずしも楽な環境で行うものばかりではなく、高所や非常に狭い場所、高温、寒冷、ほこりの舞う中など、劣悪な環境下で行わなければならないことが多い。そのため内視鏡装置としては小型軽量で、操作が容易なものでなければならない。例えば多数の比較画像が内蔵可能な程度の記憶装置を有する内視鏡装置は小型軽量でなくなり、操作も複雑で、コストも高いものとなる。

またたとえそのような内視鏡装置を用意したとしても、比較すべき画像は過去に別途記録された画像であるため、画像における対象物の大きさ、向き、色、照明の当たっている方向などが現在観察中の内視鏡画像とは異なっていることが普通であり、そのままでは画像を比較して対象物の良、不良を判断することはきわめて難しい。また比較画像の加工処理機構を内視鏡装置に持たせると、内視鏡装置が大型化し、また高価になる。

本発明は、劣悪な環境下においても、比較画像を参照しながらユーザが検査対象物に関する状況の良、不良の判断を行なうことができる内視鏡検査システム及び内視鏡検査方法を提供することを目的とする。

本発明による内視鏡検査システムは、観察画像を撮像する内視鏡装置と、比較画像を保存、加工する画像記録装置との間でのデータのやり取りを、ネットワーク回線を介して行う内視鏡検査システムであって、前記内視鏡装置は、電子内視鏡及びモニターが接続され、前記ネットワーク回線を介して、前記電子内視鏡による観察画像を、当該観察画像についての情報と共に前記画像記録装置に送信し、応答として前記比較画像を前記画像記録装置から受信する第１のネットワーク接続部と、前記観察画像と前記比較画像を表示する画像切換／合成部と、観察中の画像に関する情報を前記第１のネットワーク接続部を介して前記画像記録装置に送ると共に、前記画像記録装置で、前記観察中の画像に関する情報に基づいて前記比較画像の元となる画像を検索して読み出させる情報入力装置と、を備え、前記画像記録装置は、前記ネットワーク回線を介して、前記内視鏡装置の前記情報入力装置から前記観察画像及び当該観察画像についての情報を受信し、また、前記比較画像を前記内視鏡装置に送信する第２のネットワーク接続部と、前記比較画像の元となる画像を複数蓄積する記憶部と、前記情報入力装置による前記観察画像についての情報に基づいて、前記記憶部から前記比較画像の元となる画像を検索し、読み出す指示を行う対象画像検索部と、前記対象画像検索部からの指示に基づいて、前記比較画像の元となる画像を前記記憶部から読み出す対象画像読み出し部と、前記内視鏡装置から送信されてきた前記観察画像の特徴を抽出する第１の特徴抽出部と、前記対象画像読み出し部が読み出した前記比較画像の元となる画像の特徴を抽出する第２の特徴抽出部と、前記第１の特徴抽出部が抽出した前記観察画像の特徴と前記第２の特徴抽出部が抽出した前記比較画像の元となる画像の特徴とに基づいて、前記観察画像と特徴が近づくように前記比較画像の元となる画像を加工して前記比較画像を生成する画像加工部と、を備えることを特徴とする。

本発明によれば、内視鏡検査によって対象物の状況を判断するにあたり、比較画像の元となる画像の蓄積及び比較画像の生成を内視鏡装置でなく、画像記録装置が行なう。これにより、内視鏡装置は従来の内視鏡装置と同等の小型軽量、安価な装置で実現できる。

また比較画像は、その元となる適切な画像を記憶部から検索し、その画像をさらに現在観察している画像と最も比較しやすいように加工して生成する。これにより内視鏡装置において最も適切な判断が可能となる。

以下に図面を参照しながら本発明の第１の実施形態について説明する。
図１は、第１の実施形態における内視鏡検査システム１００ａの構成例を示す図である。

内視鏡検査システム１００ａは、内視鏡装置１及び画像記録装置２ａからなり、これらがＬＡＮやインターネット等の公衆ネットワーク若しくは専用ネットワークからなるネットワーク回線３と接続される構成を有する。

内視鏡装置１には電子内視鏡１１が接続されており、内視鏡により検査を行なう現場にて使用される。また画像記録装置２ａは、オフィス等に設置され、検査現場には持ち込む必要がない。

内視鏡装置１は、電子内視鏡１１及びモニター１６が接続され、信号処理回路１２、画像切替え合成回路１３、ネットワーク接続回路１４及びリモコン装置１５を備える。
信号処理回路１２は、電子内視鏡１１の光電素子からの電気信号を画像データに変換するものである。画像切換／合成回路１３は、モニター１６に表示するモニター画面の内容の切替えや後述する対象物の静止画像（以下観察画像と称する）と比較画像の合成処理を行なうものである。ネットワーク接続回路１４は、内視鏡装置１をネットワーク回線に接続するものである。なおこのネットワーク接続は、有線接続であっても無線接続であっても良い。リモコン装置１５は、ユーザが内視鏡装置１に指示入力を行なうものである。

電子内視鏡１１は、先端にある撮像部により画像を撮像してこれを電気信号に変えて接続されている内視鏡装置１に送るものである。モニター１６は、内視鏡装置１からの表示信号に基づいてモニター画面を表示するものである。なおモニター１６は、内視鏡装置と一体化し、内視鏡装置１の一部分として構成しても良い。

また画像記録装置２ａは、対象画像検索回路２１（対象画像検索部）、ネットワーク接続回路２２（ネットワーク接続部）、対象画像読み出し回路２３（対象画像読み出し部）、第１の特徴抽出回路２４（特徴抽出部）、第２の特徴抽出回路２５（特徴抽出部）、画像加工回路２６（画像加工部）及び記憶回路２７（記憶部）を有している。

対象画像検索回路２１は、内視鏡装置１から送られてきた観察画像についての情報に基づいて、対象画像読み出し回路２３に比較画像の元となる画像を記憶回路２７から読み出させるものである。ネットワーク接続回路２２は、画像記録装置２ａをネットワーク回線３に接続するものである。対象画像読み出し回路２３は、対象画像検索回路２１からの指示に基づいて、比較画像の元となる画像を記憶回路２７から読み出し、第２の特徴抽出回路２５及び画像加工回路２６に出力する。第１の特徴抽出回路２４は、内視鏡装置１から送信されてきた内視鏡による観察画像の特徴を抽出するものである。第２の特徴抽出回路２５は、対象画像読み出し回路２３が読み出した比較画像の元となる画像の特徴を抽出するものである。画像加工回路２６は、第１の特徴抽出回路２４が抽出した観察画像の特徴と第２の特徴抽出回路２５が抽出した比較画像の元となる画像の特徴を比較し、比較画像の元となる画像を観察画像と特徴が近づくように特徴を持つ画像となるように加工する。記憶回路２７は、過去に内視鏡によって撮影した多数の内視鏡検査画像を、比較画像の元となる画像としてデータベース化して記憶するものである。尚、上記各回路は、その機能を実現できる範囲内で自由に構成してもよい。例えば、第１の特徴抽出回路と第２の特徴抽出回路とを単一の特徴抽出回路として実現してもよい。

図１の内視鏡検査システム１００ａにおいて、電子内視鏡１１によって撮像された信号は信号処理回路１２で画像データに変換される。ユーザが、単に画像観察を行なう場合は、この信号は画像切換／合成回路１３をそのまま通過してモニター１６に表示される。

一方内視鏡検査システム１００ａのユーザが、観察画像を見て、過去に撮影した比較画像を参照しながら検査対象物に関する状況の良、不良の判断を行ないたいときは、リモコン装置１５を操作して、比較画像をモニター１６に表示させるように指示する。この指示によりネットワーク接続回路１４は、ネットワーク回線３を介して内視鏡装置１から画像記録装置２ａへ、現在内視鏡で観察している観察画像を、内視鏡装置１に初期入力しておいた検査対象物の種類や材質、型番、その検査部位などの検査対象物についての情報と共に送信する。

なお検査対象物についての情報は、ユーザが比較画像を表示させる指示を行うときに同時にリモコン１５を操作して入力しても良い。
図２はリモコン装置１５を示す図である。

同図のリモコン装置１５は、文字表示パネル３１とボタン３２を有する。
文字表示パネル３１には、リモコン装置１５に内蔵されている回路の動作によって、ユーザが情報を入力するために必要なガイド（図２の例では「名称：」）が表示される。ボタン３２は、ユーザが操作することにより様々な指示を内視鏡検査システム１００ａに対して行なうもので、各々のボタンには図３に示す機能を有する。

なおリモコン装置１５は、文字表示パネル３１を設けなくてもよく、この場合には文字モニター１６が表示パネル３１の代わりに情報入力用の表示を行なう。
ユーザはこのリモコン装置１５を用いて、観察中の画像に関する情報をいつでも容易に入力できる。入力された情報はリモコン装置内のバッファメモリ（バッファ部）に一時的に保存され、必要に応じてネットワーク接続回路１４などを介して画像記録装置２ａに送られる。

画像記録装置２ａでは、これをネットワーク接続回路２２で受信すると、対象画像検索回路２１は、検査対象物についての情報に基づいて対象画像読み出し回路２３に記憶回路２７から比較画像の元となる画像を検索して読み出させる。

このとき行なわれる検索は、以下のような項目に基づいて行われる。
（１）対象物およびその部位による検索
パイプ、直管、エルボー、継ぎ手、バルブ、シリンダー、歯車、ブレード、ファンなど
（２）材質による検索
鉄、銅、アルミ、ステンレス、コンクリート、プラスチック、塩化ビニールなど
（３）状況、グレードによる検索
新品、良品、経時変化１年、２年、・・・など
こうして、最も条件に近い対象物の画像や、同じ対象物で状況やグレードの異なる複数枚の画像が対象画像検索回路２１によって検索され、対象画像読み出し回路２３によって記憶回路２７から読み出される。そして対象画像読み出し回路２７は検索された複数の画像を第２の特徴抽出回路２５及び画像加工回路２６に出力する。

第２の特徴抽出回路２５は、読み出された画像それぞれに対してその特徴を抽出する。画像の特徴としては以下のような要素がある。
（１）撮影距離、撮影方向、水平に対する傾き、撮影装置の感度、色バランスなど、撮影方法の違いによる特徴
（２）照明の種類、照明の方向、照明の明るさなどの違いによる特徴
（３）コントラストの強弱、明るさ、シェーディング、カラーシェーディングなど、画像としての違い
一方、ネットワーク接続回路２２によって受信された観察画像の画像データは、第１の特徴抽出回路２４に入力される。第１の特徴抽出回路２４は、第２の特徴抽出回路２５と同様に観察画像の特徴を抽出する。

第１の特徴抽出回路２４及び第２の特徴抽出回路２５によって抽出された特徴データは、画像加工回路２６に入力される。画像加工回路２６は、第１の特徴抽出回路２４が抽出した観察画像の特徴データと第２の特徴抽出回路２５が抽出した比較画像の特徴データとの差を分析し、別途入力される比較画像の元となる画像に対してその特徴を除去する方向に加工し、さらには観察画像の特徴を比較画像に付加するように加工する。

比較画像の元となる画像にこのような加工を施すことにより、比較画像は観察画像の特徴に近い特徴を持つようになる。
図４は、画像加工回路２６による画像加工を説明する図である。

図４の例では、観察画像４１は図４（ａ）のような劣化部分４３を有するタービンブレード４２であり、その一部が画面内に無く、垂直よりも右に傾いている場合を想定する。
また比較画像の元となる画像として対象画像検索回路２１が検索したタービンブレードの画像は図４（ｂ）のような画像であったとする。この図４（ｂ）の画像は、中央のブレードは垂直よりも左に傾いており、画面に対して小さめの画像になっている。

第２の特徴抽出回路２５は、比較画像の元となる画像から以下のような特徴を抽出する。
（１）比較画像中の対象物（タービンブレード）の輪郭を抽出する。
（２）（１）で抽出した輪郭を用いて、中央のブレードのみに注目し、標準位置からの傾き量を抽出する。
（３）（１）で抽出した輪郭を用いて、ブレードが標準的な大きさに比べて大きいか小さいかを抽出する。

画像加工回路２６は、第２の特徴抽出回路２５からの特徴を示すデータを受けて、比較画像の元となる画像である図２（ｂ）の画像を加工し、図４（ｃ）に示すように１枚のブレードが垂直になり、画面に対してちょうどよい大きさとなるようにする。

第１の特徴抽出回路２４は、図４（ａ）の観察画像から以下のような特徴を抽出する。
（４）観察画像中の対象物（タービンブレード）の輪郭を抽出する。
（５）（４）で抽出した輪郭を用いて、標準位置からの傾き量を抽出する。
（６）（４）で抽出した輪郭を用いて、ブレードが標準的な大きさに比べて大きいか小さいかを抽出する。

画像加工回路２６は、第１の特徴抽出回路２４が抽出した観察画像の特徴を示すデータを受けて、ある程度加工済の比較画像の元となる画像（図４（ｃ））を、図４（ｄ）のようにさらに右側へ傾かせ、次に図４（ｅ）のように拡大しながら画面下方に移動させて、観察画像である図４（ａ）に特徴が近い画像となるように加工する。

次に画像加工回路２６による照明条件の変更処理について図５を用いて説明する。
観察画像である図４（ａ）は、タービンブレード４２をおおまかに上下ないし左右に分割してみた場合、図５（ａ）のようにその右方向の劣化部分４３があるほうから照明があたっていて、タービンブレード４２の右半分が比較的明るく左半分が暗かったとする。

第１の特徴抽出回路２４は、観察画像から、その右方向から照明があたっていて、タービンブレード４２の右半分が比較的明るく左半分が暗いという特徴を抽出する。
一方、図４（ｅ）のある程度加工済の比較画像の元となる画像が図５（ｂ）に示すようにブレードの左半分が比較的明るく右半分が暗い場合、第２の特徴抽出回路２５は、比較画像の元となる画像である図４（ｂ）において、予めそのような特徴を抽出する。

画像加工回路２６は、第２の特徴抽出回路２５が抽出した画像の特徴を示すデータを受けて、図５（ｂ）の画像をブレードの右半分と左半分の明るさがほぼ同一になるようにまず加工した後、第１の特徴抽出回路２４が抽出した画像の特徴を示すデータを受けて、さらに図５（ｃ）のようにブレードの右半分をより明るく、左半分をより暗くなるように加工する。

この加工によって、観察画像である図５（ａ）と、比較画像である図５（ｃ）は非常に類似した画像となる。
画像加工回路２６で加工し、生成された図５（ｃ）のような比較画像は、ネットワーク接続回路２２によってネットワーク回線３を介して内視鏡装置１に伝送される。そして内視鏡装置１内では、この比較画像は、ネットワーク接続回路１４を介して画像切換／合成回路１３に入力される。

ユーザは、リモコン装置１５を操作して、モニター１６の表示画面を観察画像と、比較画像を交互に切替えて表示する。
あるいは、図６（ａ）のように観察画像５２と比較画像５３を縮小して、モニター画面５１上に同時に並べて表示しても良い。若しくは図６（ｂ）のように、対象物に対して背景が十分暗い場合は、観察画像と比較画像の位置を少しずらして加算して観察画像中の対象物５４と比較画像中の対象物５５を並べてモニター画面５１内に表示するようにしても良い。この図６（ｂ）の場合は、図６（ａ）の場合より対象物の画像を大きく表示することが出来る。なおこの図６（ａ）や図６（ｂ）のモニター画面の表示データは、画像切換／合成回路１３によって生成される。

図６（ａ）、図６（ｂ）のいずれの表示方法においても、比較画像は画像記録装置内に記録されている同種の対象物の過去に記録された画像そのものではなく、いま観察している観察画像の見え方にできる限り近づけるように加工した画像である。そのためユーザは観察画像と比較画像とを見比べる作業が非常にやりやすくなる。また、観察画像における対象物の劣化部分などが、両方の画像において同じ明るさで照明された場合に近づけて表示されるので、正常な部分に比べてどのくらい変質しているか等をきわめて正しく観察し、判断することができる。

また比較画像の元画像として経時変化１年の標準的なブレードの画像、経時変化２年の標準的なブレードの画像というように段階的な変化に沿った画像を記録しておけば、観察中のブレードが標準的なブレードの経時変化に対して劣化がひどいのかそうでないのか等を的確に判断するための強力なツールとなる。

上述したように、記憶回路２７に多数の画像データを記憶し、その記憶画像データの中から観察画像についての情報に基づいて比較画像の元となる画像を検索し、この比較画像の元となる画像と観察画像の特徴を抽出し、その特徴に基づいて比較画像の元となる画像を加工して比較画像を生成するための処理を行なうには、ある程度規模の大きい回路装置ないしコンピュータ装置等が必要である。このような装置を検査現場で用いる内視鏡装置１に内蔵したのでは、装置が大型、高価になってしまう。

本実施形態では、上述した処理を行なう装置を画像記録装置２ａとして内視鏡装置１とは別に設けている。そして比較画像の元となる画像の蓄積、その画像の加工処理はこの画像記録装置側２ａで行い、加工済の比較画像を内視鏡装置に伝送する。

そのため本実施形態の内視鏡システム１００ａの構成要素である内視鏡装置１は既存の内視鏡装置とほとんど同じ規模と構成でよい。そのため、検査現場に持ち込む内視鏡装置１そのものは小型化、堅牢化が容易なので、狭い場所や屋外等劣悪な環境下でも内視鏡画像による検査を行うことが出来る。

また内視鏡装置１と画像記録装置２ａは、ネットワーク回線３を介して接続するので、互いに遠隔地にあってもよい。さらには複数の内視鏡装置１で１台の画像記録装置２ａを共用してもよい。それによって、画像処理装置２ａが高価で規模の大きい装置であっても、それを有効に活用でき、システム全体としては安価になる。また、ネットワーク回線３は無線ネットワークでもよく、その場合にはネットワーク接続回路１４及び２２を無線形式に対応させることでネットワーク回線３に接続させることができる。

次に、第２の実施形態について説明する。
図７は、第２の実施形態における内視鏡検査システム１００ｂの構成例を示す図である。

図１に示す第１の実施形態の内視鏡検査システム１００ａの画像記録装置２ａは、各構成要素をハードウエアで実行する場合を示している。この図１の画像記録装置２ａの構成要素のうち、対象画像検索回路２１、対象画像読み出し回路２３、第１の特徴抽出回路２４、第２の特徴抽出回路２５及び画像加工回路２６の機能は、回路としてだけでなくソフトウエア的手法によっても、実現可能である。したがって画像記録装置２ａは、ネットワーク接続回路２２及び記憶回路２７を有する情報処理装置によっても実現することが出来る。

図７は、情報処理装置を画像記録装置２ｂとして実現した場合の構成例を示す図である。
図７において画像記録装置２ｂは、ＣＰＵ６１（制御部）、ネットワーク接続回路６２（ネットワーク接続部）、ディスク装置６３（記憶部）及びＲＡＭ６４がバスライン６５を介して接続され、互いにデータをやり取りできるように構成されている。

ＣＰＵ６１は、上述した対象画像検索回路２１、対象画像読み出し回路２３、第１の特徴抽出回路２４、第２の特徴抽出回路２５及び画像加工回路２６の機能を実現するプログラム７０をディスク装置６３から読み出し、ＲＡＭ６４をワークメモリとして実行するものである。ネットワーク接続回路６２は、図１のネットワーク接続回路２２と同じ働きをするもので、画像記録装置２ｂをネットワーク回線３に接続する。ディスク装置６３は大容量の不揮発性メモリで、ＣＰＵ６１が実行するプログラムや、比較画像の元となる画像のデータベースが記憶されている。なおディスク装置６３は、不揮発性の大容量のメモリであれば、フラッシュメモリ等他のメモリであっても良い。ＲＡＭ６４は、揮発性の高速メモリでＣＰＵ６１のワークメモリとして用いられたり、内視鏡装置１から受信したデータを一時的に記憶するのに用いられる。

図８は、第２の実施形態の画像記録装置２ｂによって実行されるプログラム７０の機能を示す機能ブロック図である。
プログラム７０は、対象画像検索機能７１（対象画像検索部）、ネットワーク接続機能７２（ネットワーク接続部）、対象画像読み出し機能７３（対象画像読み出し部）、第１の特徴抽出機能７４（特徴抽出部）、第２の特徴抽出機能７５（特徴抽出部）、画像加工機能７６（画像加工部）を有している。対象画像検索機能７１は、内視鏡装置１から送られてきた観察画像についての情報に基づいて、対象画像読み出し機能７３に比較画像の元となる画像をディスク装置６３（記憶部）から読み出させるものである。ネットワーク接続機能７２は、画像記録装置２ｂをネットワーク回線３に接続するものである。対象画像読み出し機能７３は、対象画像検索機能７１からの指示に基づいて、比較画像の元となる画像をディスク装置６３から読み出し、第２の特徴抽出機能７５及び画像加工機能７６に出力する。第１の特徴抽出機能７４は、内視鏡装置１から送信されてきた内視鏡による観察画像の特徴を抽出するものである。第２の特徴抽出機能７５は、対象画像読み出し機能７３が読み出した比較画像の元となる画像の特徴を抽出するものである。画像加工機能７６は、第１の特徴抽出機能７４が抽出した観察画像の特徴と第２の特徴抽出機能７５が抽出した比較画像の元となる画像の特徴を比較し、比較画像の元となる画像を観察画像と特徴が近づくように特徴を持つ画像となるように加工する。

図９乃至図１２は、第２の実施形態の内視鏡検査システム１００ｂの画像記録装置２ｂによって実行されるプログラム７０の動作を示すフローチャートである。
同図の処理は、ＣＰＵ６１がディスク装置６３やＲＡＭ６４等のメモリ上のプログラム７０を実行することによって実現される。

同図の処理が開始されると、プログラム７０はまずステップＳ１としてネットワーク回線３を介して内視鏡装置１から現在観察中の観察画像を受信する。また同時にステップＳ２として、内視鏡装置１から、ユーザが内視鏡装置１に入力しておいた観察画像についての情報、例えばエンジンの型番やブレードの位置などの情報をネットワーク回線３を介して受け取る。

次に、プログラム７０は、ステップＳ３として、ステップＳ２で受信した観察画像についての情報を用いて対象画像検索機能７１によりディスク装置６３にデータベース化して記憶されている内視鏡画像を検索し、対象画像読み出し機能７３により比較すべき対象となる画像を１枚読み出す。

そしてプログラム７０は、ステップＳ４として、第２の特徴抽出機能７５によりステップＳ３で読み出した比較画像の元となる画像の輪郭を抽出する。また、第２の特徴抽出機能７５により、ステップＳ５として、ステップＳ４で抽出した比較画像の元となる画像の輪郭を用いて、検査の対象となる対象物が標準位置（例えば水平、鉛直などの位置）からどれくらい傾いているかを検出する。さらに、第２の特徴抽出機能７５により、ステップＳ６として、ステップＳ４で抽出した比較画像の元となる画像の輪郭を用いて、検査の対象となる対象物が所定の大きさ（標準的な大きさ）に比べてどれくらい大きいか若しくは小さいかを検出する。そして、プログラム７０はステップＳ７として、画像加工機能７６によりステップＳ５、Ｓ６によって検出されたステップＳ３で読み出した画像の特徴から、その画像内の対象物が標準的な位置と大きさになるように、ステップＳ３で読み出した画像に回転、拡大、縮小及び平行移動の画像処理を施す。

次にプログラム７０は、ステップＳ８として第１の特徴抽出機能７４により、ステップＳ１で内視鏡装置１から受信した観察画像中の検査対象物の輪郭を抽出する。次に、第１の特徴抽出機能７４により、ステップＳ９として、ステップＳ８で抽出した対象物の輪郭を用いて、対象物が標準的位置からどれくらい傾いているかを検出する。また第１の特徴抽出機能７４により、ステップＳ１０として、ステップＳ８で抽出した対象物の輪郭を用いて、対象物が標準的な大きさに比べてどれくらい大きいかあるいは小さいかを検出する。そしてステップＳ１１として、画像加工機能７６及び第１の特徴抽出機能７４により、ステップＳ９、Ｓ１０で検出した観察画像の特徴を用いて、ステップＳ７で加工処理を加えた比較画像の元となる画像に対して、さらに回転、拡大、縮小及び平行移動の画像処理を施して、観察画像と同じ特徴を持つ画像を生成する（図４（ｄ））。

次にプログラム７０は、第１の特徴抽出機能により、ステップＳ１２として観察画像中の対象物を大まかに左右若しくは上下に分割し、上と下、または左と右ではどちらが明るく、どちらが暗いかを検出する。これにより観察画像中の対象物にあたっている照明の方向が検出される。またプログラム７０は、第２の特徴抽出機能７５により、ステップＳ１３としてステップＳ１１で生成された画像中の対象物を大まかに左右若しくは上下に分割し、上と下、または左と右ではどちらが明るく、どちらが暗いかを検出する。これによりステップＳ１１で生成された画像中の対象物にあたっている照明の方向が検出される。

そして次にステップＳ１４として、画像加工機能７６により、ステップＳ１２によって検出された照明の方向と、ステップＳ１３よって検出された照明の方向が一致するかどうかを判断し、一致しないのなら（ステップＳ１４、ＮＯ）、ステップＳ１５としてステップＳ１３の結果を打ち消し、ステップＳ１２の結果に近くなるように、ステップＳ１１で生成した画像中の対象物の明るさを部分的に変えるように、画像加工処理を行ない、比較画像を生成する。

またステップＳ１４において、両者が一致するなら（ステップＳ１４、ＹＥＳ）、ステップＳ１５の処理をスキップしてステップＳ１１で生成した画像を比較画像とする。
そしてステップＳ１６として、ネットワーク接続機能７２を用いて、ネットワーク接続回路６２を介してステップＳ１１若しくはステップＳ１５で生成した比較画像を内視鏡装置１に送信する。

そしてステップＳ１７として、内視鏡装置１でのユーザのリモコン装置１５の操作結果による、内視鏡装置１からの応答を待つ。
そしてステップＳ１８として、プログラム７０は、ステップＳ１５で送信した比較画像に対するユーザの反応、すなわちユーザが画像記録装置２ｂが送信した比較画像に満足したかどうかを内視鏡装置１からの応答より判断する。その結果、ユーザが比較画像に満足せず（ステップＳ１８、ＮＯ）、リモコン装置１５を操作して画像記録装置２ｂに対して別の比較画像の送信を要求したならば、プログラム７０は、対象画像検索機能７１により、ステップＳ２で内視鏡装置１から受信した観察画像についての情報を用いて比較画像の元となる画像をディスク装置６３のデータベースから検索し、対象画像読み出し機能７３により別の一枚の画像データを読み出して処理をステップＳ４に戻す。

またステップＳ１８において、ユーザがステップＳ１６で内視鏡装置１に送信した比較画像に満足し、ユーザが画像記録装置２ｂに対して何も応答しなければ（ステップＳ１８、ＹＥＳ）、プログラム７０は、ステップＳ２０として内視鏡装置１でユーザがリモコン装置１５を操作して、画像記録装置２ｂに対して指示を行うのを待つ。

そして内視鏡装置１から送信されたユーザの指示が観察終了でなく、別の画像を観察することを示すものであったなら（ステップＳ２１、ＮＯ）、ステップＳ１に処理を戻し、これまで説明してきた処理を繰り返す。またユーザの指示が観察終了であったのなら（ステップＳ２１、ＹＥＳ）、本処理を終了する。

このように第２の実施形態の内視鏡検査システム１００を構成する画像記録装置２ｂによって、比較画像の元となる画像の蓄積、画像の検索、画像の特徴点抽出、及び抽出した特徴点に基づく画像加工の処理全てが行なわれる。したがって内視鏡装置１はこれらを行なう構成は必要なく、小型で安価な構成として実現することが出来る。

なお図９乃至図１２の処理フローでは、画像記録装置２ｂは、内視鏡装置１に対して１枚ずつ比較画像を送る構成となっていたが、本実施形態はこれに限定されるものではない。例えば対象画像検索機能７１が複数の比較画像の元となる画像を検索し、画像加工機能７６が複数の比較画像を生成してこれを内視鏡装置１に送信し、内視鏡装置１側においてモニター１６に表示された複数の比較画像の中から、最良のものをユーザが選択する構成としても良い。

次に、第３の実施形態の内視鏡検査システムについて説明する。
図１３は第３の実施形態の内視鏡検査システム１００ｃの構成例を示す図であり、図１４は、第３の実施形態の画像記録装置２ｃによって実行されるプログラム８０の機能を示す機能ブロック図である。

第３の実施形態の内視鏡検査システム１００ｃは、内視鏡装置１及び画像記録装置２ｃのハードウェア構成については、図７に示した第２の実施形態の内視鏡検査システム１００ｂと同じである。また画像記録装置２ｃによって実行されるプログラム８０については、第２の実施形態の画像記録装置２ｂによって実行されるプログラム７０の機能に画像記録機能８７を更に加えた構成となっている。

図１に示した第１の実施形態の内視鏡検査システム１００ａ及び図７に示した第２の実施形態の内視鏡検査システム１００ｂでは、比較画像の元となる画像は、不図示の手段によって予め記憶回路２７またはディスク装置６３に記録されている。それに対して第３の実施形態の内視鏡検査システム１００ｃでは、プログラム８０は画像記録機能８７を備え、画像記録機能８７は内視鏡装置１から送られてきた観察画像をその観察鏡画像についての情報と共にデータベース化してディスク装置６３記録する。このようにして、ディスク装置６３には、比較画像の元となる画像が蓄積されてゆく。

また、第１の実施形態における画像記録装置２ａに、画像記録機能８７に相当する画像記録回路を設けることにより、第１の実施形態においても第３の実施形態と同様の効果を実現することができる。 図１５は、第３の実施形態における内視鏡検査システム１００ｃの画像記録装置２ｃによって実行されるプログラム８０の動作を示すフローチャートである。

同図の処理は、画像記録装置２ｃを第２の実施形態における図７に示した情報処理装置によって実現した場合と同様に、ＣＰＵ６１がディスク装置６３やＲＡＭ６４等のメモリ上のプログラムを実行することによって実現される。

図１５の処理を図９乃至図１２の第２の実施形態の処理と比較すると、図１５では、ステップＳ２とＳ３の間にステップＳ２１が新たに加わっているのみで、他の処理は第２の実施形態と同じである。

ステップＳ２１では、プログラム８０は画像記録機能８７により、ステップＳ１で内視鏡装置１から受け取った観察画像を、ステップＳ２で内視鏡装置１から受け取った観察画像についての情報と関連付けてディスク装置６３に記録している。

このステップＳ２１の処理が加わることにより、画像記録装置２ｃには、内視鏡装置１から受け取った観察画像が、比較画像の元となる画像としてディスク装置６３に蓄積されてゆく。

なお図１５の処理フローでは、ディスク装置６３に記録される画像データは、内視鏡装置１から受け取った画像データのみであるが、本実施形態はこのような処理フローに限定されるものではなく、例えばステップＳ７で画像加工機能８６により加工処理が加えられた画像をディスク装置６３に記録、蓄積するようにしても良い。

図１６は、ディスク装置６３に蓄積される比較画像の元となる画像のデータ構成例である。
同図に示すように、比較画像の元となる画像の画像データは、その画像に対する情報と対応付けて記憶されており、この情報がプログラム８０が対象画像検索機能８１により検索を行なうときの検索タグとなる。

図１６のデータ構成例では、画像データに対する情報として、検査の対象物の名称、検査対象物の形式記号、画像中の検査対象物の部位、検査対象物の製造年月日、画像の撮影年月日、画像の撮影者名、撮影者コメント、及びその他の情報が画像データと対応付けられてディスク装置６３に記憶されており、これらは対象画像検索機能８１が比較画像の元となる画像を検索する際の検索タグとなる。この画像データに対する情報としては、このほかに対象物の経年経過年数なども考えられる。

観察画像の画像データは、この画像データに対する情報と共に内視鏡装置１から画像記録装置２ｃに伝送され、プログラム８０は、画像記録機能８７がディスク装置６３に画像データを保存する際にこの画像データに対する情報を画像データに対応付けて記録する。

これにより、ディスク装置６３には画像データが画像データに対する情報と共に蓄積されてゆく。
図１７は、第１乃至第３の実施形態の内視鏡検査システム１００の、企業における広範な使用方法を示す図である。

同図では、内視鏡検査システム１００は、企業９１内においては、ＬＡＮ９６が敷設されておりこのＬＡＮ９６にオフィス９２内では複数のＰＣ（情報処理装置）９３−１〜９３−ｋやプリンタ９４と共に１台の画像記録装置２が接続されている。また企業内の各検査現場では、内視鏡装置１−１〜１−ｍがＬＡＮ９６に接続されている。

またこのＬＡＮ９６は企業９１外部のインターネット等の公衆ネットワーク若しくは専用ネットワークからなるネットワーク回線３に接続されている。そして社外の検査現場９５−ｍ＋１〜９５−ｎで用いられている内視鏡装置１−ｍ＋１〜１−ｎも、このネットワーク回線３に接続されている。

この構成により、企業内の内視鏡装置１−１〜１−ｍも社外の検査現場９５で用いられている内視鏡装置１−ｍ＋１〜１−ｎも、オフィス９２内に設置されている１台の画像記録装置２を用いて、比較画像を自由に得ることが出来、上述したように観察画像と比較画像を十分に比較することにより、適切な検査が行われる。

また第３の実施形態の内視鏡検査システム１００ｃを用いた場合、検査画像自体も画像記録装置２に記録、蓄積されていく。そしてオフィス９２内にあるＰＣ９３を用い、ＬＡＮ９６を介して画像記録装置２に蓄積されている内視鏡画像を参照して、レポートを作成することが出来る。

各内視鏡装置１−１〜１−ｎは、上述したように必要とされる機能が小さいので、小型化、堅牢化しやすく、狭い場所や過酷な環境においても使用することが出来る。また上述した理由により内視鏡装置１そのものは安価に製造することも可能となる。

なお図１７では、画像記録装置２を１台設置する構成であるが内視鏡検査システム１００としては、画像記録装置２を複数備える構成としても良い。
なお上記説明では、内視鏡検査システム１００を工業用検査に用いる場合を例として説明したが、本実施形態はこれに限定されるものではなく、医療用検査に用いても良い。

第１の実施形態における内視鏡検査システムの構成例を示す図である。 リモコン装置を示す図である。 リモコン装置の各ボタンの機能を示す図である。 画像加工回路による画像加工を説明する図である。 画像加工回路による画像の部分的な明るさの変更処理について説明する図である。 観察画像と比較画像を表示するモニター画面例を示す図である。 第２の実施形態における内視鏡検査システムの構成例を示す図である。 第２の実施形態の画像記録装置によって実行されるプログラムの機能を示す機能ブロック図である。 第２の実施形態の画像記録装置によって実行されるプログラムの動作を示すフローチャート（その１）である。 第２の実施形態の画像記録装置によって実行されるプログラムの動作を示すフローチャート（その２）である。 第２の実施形態の画像記録装置によって実行されるプログラムの動作を示すフローチャート（その３）である。 第２の実施形態の画像記録装置によって実行されるプログラムの動作を示すフローチャート（その４）である。 第３の実施形態における内視鏡検査システムの構成例を示す図である。 第３の実施形態の画像記録装置によって実行されるプログラムの機能を示す機能ブロック図である。 第３の実施形態の画像記録装置によって実行されるプログラムの動作を示すフローチャートである。 ディスク装置に蓄積される比較画像の元となる画像のデータ構成例である。 第１乃至第３の実施形態の内視鏡検査システムの、企業における広範な使用方法を示す図である。

符号の説明

１ 内視鏡装置
２ａ、２ｂ、２ｃ 画像記録装置
３ ネットワーク回線
１１ 電子内視鏡
１２ 信号処理回路
１３ 画像切替え合成回路
１４ ネットワーク接続回路
１５ リモコン装置
１６ モニター
２１ 対象画像検索回路
２２ ネットワーク接続回路
２３ 対象画像読み出し回路
２４ 第１の特徴抽出回路
２５ 第２の特徴抽出回路
２６ 画像加工回路
２７ 記憶回路
２８ 画像記録回路
６１ ＣＰＵ
６２ ネットワーク接続回路
６３ ディスク装置
６４ ＲＡＭ
６５ バスライン
７０ ソフトウェアプログラム
８０ ソフトウェアプログラム
１００ａ、１００ｂ、１００ｃ 内視鏡検査システム

Claims (14)

1. 観察画像を撮像する内視鏡装置と、比較画像を保存、加工する画像記録装置との間でのデータのやり取りを、ネットワーク回線を介して行う内視鏡検査システムであって、
   前記内視鏡装置は、
   電子内視鏡及びモニターが接続され、
   前記ネットワーク回線を介して、前記電子内視鏡による観察画像を、当該観察画像についての情報と共に前記画像記録装置に送信し、応答として前記比較画像を前記画像記録装置から受信する第１のネットワーク接続部と、
   前記観察画像と前記比較画像を表示する画像切換／合成部と、
   観察中の画像に関する情報を前記第１のネットワーク接続部を介して前記画像記録装置に送ると共に、前記画像記録装置で、前記観察中の画像に関する情報に基づいて前記比較画像の元となる画像を検索して読み出させる情報入力装置と、
   を備え、
   前記画像記録装置は、
   前記ネットワーク回線を介して、前記内視鏡装置の前記情報入力装置から前記観察画像及び当該観察画像についての情報を受信し、また、前記比較画像を前記内視鏡装置に送信する第２のネットワーク接続部と、
   前記比較画像の元となる画像を複数蓄積する記憶部と、
   前記情報入力装置による前記観察画像についての情報に基づいて、前記記憶部から前記比較画像の元となる画像を検索し、読み出す指示を行う対象画像検索部と、
   前記対象画像検索部からの指示に基づいて、前記比較画像の元となる画像を前記記憶部から読み出す対象画像読み出し部と、
   前記内視鏡装置から送信されてきた前記観察画像の特徴を抽出する第１の特徴抽出部と、
   前記対象画像読み出し部が読み出した前記比較画像の元となる画像の特徴を抽出する第２の特徴抽出部と、
   前記第１の特徴抽出部が抽出した前記観察画像の特徴と前記第２の特徴抽出部が抽出した前記比較画像の元となる画像の特徴とに基づいて、前記観察画像と特徴が近づくように前記比較画像の元となる画像を加工して前記比較画像を生成する画像加工部と、
   を備える
   ことを特徴とする内視鏡検査システム。
2. 前記観察画像を前記観察画像についての情報と関連付けて前記記憶部に記憶する画像記憶部を更に備える
   ことを特徴とする請求項１に記載の内視鏡検査システム。
3. 前記第１及び第２の特徴抽出部が抽出する特徴は、検査の対象物の大きさ、位置、及び傾きを含み、前記画像加工部が行なう加工は前記検査の対象物の大きさの変更、位置の変更、回転処理を含む
   ことを特徴とする請求項１又は２に記載の内視鏡検査システム。
4. 前記第１及び第２の特徴抽出部が抽出する特徴は、検査の対象物に対する照明条件に起因する画像の部分的な明るさを含み、前記画像加工部は、この画像の部分的な明るさの変更処理を行なう
   ことを特徴とする請求項１又は２に記載の内視鏡検査システム。
5. 前記観察画像についての情報は、検査の対象物の名称、検査の対象物の部位、検査の対象物の材質、検査の対象物の製造日、前記観察画像の撮影日、検索対象物の経年経過年数のうちの少なくとも１つを含む
   ことを特徴とする請求項１乃至４の何れか一項に記載の内視鏡検査システム。
6. 前記対象画像検索部は、前記対象画像読み出し部に対して、対象物及びその部位による検索、或いは、材質による検索、状況、グレードによる検索のうちの少なくとも１つを行わせる
   ことを特徴とする請求項１乃至５の何れか一項に記載の内視鏡検査システム。
7. 前記第１の特徴抽出部と前記第２の特徴抽出部とは単一の特徴抽出部である
   ことを特徴とする請求項１乃至６の何れか一項に記載の内視鏡検査システム。
8. 前記画像切換／合成部は、前記観察画像と前記比較画像を並べて表示する
   ことを特徴とする請求項１乃至７の何れか一項に記載の内視鏡検査システム。
9. 前記画像切換／合成部は、前記観察画像と前記比較画像を合成した画像を表示する
   ことを特徴とする請求項１乃至７の何れか一項に記載の内視鏡検査システム。
10. 前記内視鏡装置は、前記観察画像についての情報を記憶するバッファ部を更に備え、
    前記第１のネットワーク接続部は、前記バッファ部から前記観察画像についての情報を読み出して前記画像記録装置に送信する
    ことを特徴とする請求項１乃至９の何れか一項に記載の内視鏡検査システム。
11. 前記ネットワーク回線に接続される情報処理装置を更に備え、
    前記情報処理装置から前記記憶部内の比較画像の元となる画像を参照する
    ことを特徴とする請求項１乃至１０の何れか一項に記載の内視鏡検査システム。
12. 前記ネットワーク回線に複数の内視鏡装置と１つの画像記録装置が接続され、
    前記複数の内視鏡装置は、前記１つの画像記録装置を共有する
    ことを特徴とする請求項１乃至１０の何れか一項に記載の内視鏡検査システム。
13. 前記内視鏡装置は、前記ネットワーク回線と無線接続される
    ことを特徴とする請求項１乃至１２の何れか一項に記載の内視鏡検査システム。
14. 前記画像記録装置において、
    前記対象画像検索部は、複数の前記比較画像の元となる画像を検索して読み出す指示を行い、
    前記画像加工部は、複数の前記比較画像を生成し、
    前記第２のネットワーク接続部は、前記画像加工部により生成された前記複数の比較画像を前記内視鏡装置に送信し、
    前記内視鏡装置において、
    前記第１のネットワーク接続部は、前記複数の比較画像を前記画像記録装置から受信し、
    前記第１のネットワーク接続部により受信された前記複数の比較画像が前記モニターに表示され、ユーザの選択指示に応じて、前記複数の比較画像の中の一つが選択される、
    ことを特徴とする請求項１乃至１３の何れか一項に記載の内視鏡検査システム。