JP3786997B2

JP3786997B2 - 画像処理装置

Info

Publication number: JP3786997B2
Application number: JP02519196A
Authority: JP
Inventors: 徹大田; 皇石川
Original assignee: Terumo Corp
Current assignee: Terumo Corp
Priority date: 1996-02-13
Filing date: 1996-02-13
Publication date: 2006-06-21
Anticipated expiration: 2016-02-13
Also published as: JPH09218940A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に係り、特に、画像内の不良画像を補間する画像処理装置に関するものである。
【０００２】
【従来の技術】
人体や動物の体腔内や血管内或いは機械装置等の構造物の不可視部分に挿入し、内部を観察する装置として内視鏡装置が広く使用されている。この内視鏡装置の１つの形態として、電子内視鏡装置がある。電子内視鏡装置は、内視鏡プローブの先端部にＣＣＤ等の撮像素子をライン状または２次元状に配列し、撮像した画像を電気信号として取り出し、モニターに表示するものである。
【０００３】
電子内視鏡装置は、上記のように、多数の撮像素子を配列するため、その一部の撮像素子が製造、運搬、使用等において不良となることが多く、撮像素子に不良が存在すると、対応する画素が欠損し、白抜けや黒抜けがある画像がモニターに表示されることになる。
【０００４】
このような画素の欠損の問題を解決する発明が、特開昭６３−１３２５８８号公報に記載されている。この発明は、真白や真黒等の所定濃度の基準画像を撮像し、不良画素を特定しておき、被写体を撮像した画像における不良画素をその左右の画素或いは上下の画素をもって補間するものである。
【０００５】
【発明が解決しようとする課題】
しかしながら、特に医療分野においては、気管支等の細部の観察や治療には細径の内視鏡プローブが要求されるため、内視鏡プローブの先端部にＣＣＤ等の撮像素子を備えた電子内視鏡は、内視鏡プローブの先端部から撮像部に映像を伝達する手段として光ファイバを用いた内視鏡装置に比し、解像度の点で不利である。また、電子内視鏡は、内視鏡プローブの先端部に個々に撮像素子を設ける必要があるため、内視鏡プローブ単体のコストが高くなるという欠点もある。
【０００６】
したがって、映像を伝達する手段として、光ファイバを用いた内視鏡装置（ファイバスコープ）が有用であるが、かかる内視鏡装置においても、画素の欠損に関する問題がある。
【０００７】
内視鏡プローブを構成する光ファイバケーブルは、極めて細い光ファイバ（以下、素線ともいう）を複数束ねた構造を有し、各素線は映像を伝達するコア部分と、光の反射体であるクラッド部分を有する。このため、被写体の映像は、規則的、或いは不規則に配列されたコア部を介して伝達され、コア部周辺のクラッド部分は、黒い網目としてモニタ上に表示される。
【０００８】
光ファイバケーブルの素線もまた内視鏡プローブに設けられる撮像素子と同様に、製造、運搬、使用等において異物の混入、破損等が生じることがあり、この場合、対応する領域の画像に欠損が生じ、その欠損部分（不良画像）は、一般に画素欠陥と呼ばれる黒い点としてモニタ上に表示される。
【０００９】
そこで、光ファイバを用いた内視鏡装置においても、不良画像を合理的に取り扱う手法が必要となる。しかし、光ファイバを用いた内視鏡装置においては、特開昭６３−１３２５８８号公報に記載された発明のように、不良画像を画素単位で補完する手法は、適用の余地がないと言える。光ファイバケーブルの各素線の径は、撮像素子の面積よりも遙かに大きく、素線の破損等により生じた不良画像は、当然に多数の撮像素子からなる領域に跨ることになり、欠損した画素（各撮像素子が１画素を構成する）をその周辺の画素によって補間しても、その周辺の画素自体が欠損した画素である場合が通常だからである。
【００１０】
本発明は、上記問題点に鑑みてなされたものであり、不良画像が複数の画素に跨って存在する画像における当該不良画像を補間することにより、良好な出力画像を得ることを目的とする。
【００１１】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理装置は、以下の特徴を備える。すなわち、本発明に係る画像処理装置は、画像内の不良画像を補間する画像処理装置であって、複数の画素からなる有効画像領域が複数散在する画像を入力する画像入力手段と、不良画像が存在する有効画像領域を特定する領域特定手段と、前記不良画像が存在する有効画像領域の周辺にある少なくとも１つの有効画像領域を含む周辺領域から得られる画像をもって前記不良画像を補間する補間手段とを備える。
【００１２】
本発明に係る上記画像処理装置は、以下の特徴をさらに備えることが好ましい。すなわち、上記画像処理装置において、前記画像入力手段は、複数の有効画像領域が配列構造をなした画像を入力し、前記周辺領域は前記不良画像が存在する有効画像領域に隣接して配列された複数の有効画像領域を含むことが好ましい。
【００１３】
また、上記画像処理装置において、前記補間手段は、前記周辺領域に含まれる有効画像領域を抽出する抽出手段を有し、抽出した有効画像領域の画像に基づいて前記補間画像を生成することが好ましい。
【００１４】
また、上記画像処理装置において前記補間手段は、前記抽出手段により抽出した有効画像領域の画像の平均画素値を算出する平均値算出手段をさらに有し、算出した平均画素値に基づいて前記補間画像を生成することが好ましい。
【００１５】
また、上記画像処理装置において、前記補間手段は、前記周辺領域の平均画素値を算出する平均値算出手段を有し、算出した平均画素値に基づいて前記補間画像を生成することが好ましい。
【００１６】
また、上記画像処理装置において、前記補間手段は、前記周辺領域に含まれる有効画像領域の平均画素値に相応する画素値を有する補間画像を生成すべく、前記平均画素値を補正する補正手段をさらに有することが好ましい。
【００１７】
また、上記画像処理装置において、前記領域特定手段は、前記不良画像が存在する領域を示す領域情報を保持するメモリ手段を有し、該領域情報に基づいて前記不良画像が存在する有効画像領域を特定することが好ましい。
【００１８】
また、上記画像処理装置において、前記領域特定手段は、前記領域情報を更新する更新手段をさらに有することが好ましい。
【００１９】
また、上記画像処理装置において、前記画像入力手段は、束状の光ファイバの先端部と後端部とにレンズを有する映像伝達手段と、前記後端部において映像信号を光信号から電気信号に変換する信号変換手段とを有することが好ましい。
【００２０】
また、上記画像処理装置において、前記映像伝達手段は、前記先端部を体腔或いは血管内に挿入可能であることが好ましい。
【００２１】
【発明の実施の形態】
以下、図面を参照しながら本発明の好適な実施の形態の一例を説明する。
【００２２】
図１は、本実施の形態に係る内視鏡装置の構成例を示すブロック図である。本実施の形態に係る内視鏡装置は、内視鏡プローブ１の先端部より光ファイバケーブル（イメージガイド）を用いて映像を伝達し、これを内視鏡プローブ１の後端部において、ＣＣＤ等の撮像素子を有する撮像部２により電気信号に変換し、変換した画像内の不良画像を画像処理部３において補間してモニタ５に表示する。なお、被写体の照明は、光源４において発生した照明光をその伝送用の光ファイバケーブル（ライトガイド）を介して内視鏡プローブ１の先端部に伝達することにより行う。
【００２３】
図２は、内視鏡プローブ１の詳細構成例を示す図である。内視鏡プローブ１の先端部には、対物レンズ８が設けられ、この対物レンズ８により集光された映像は、光ファイバケーブルからなるイメージガイド７により伝達され、接眼レンズ（不図示）により撮像部２内の撮像素子に結像する。また、光源４において発生した照明光は、光ファイバケーブルからなるライトガイド１１を介して内視鏡プローブ１の先端部に伝達され、その前方の被写体を照明する。なお、イメージガイドコネクタ９は、イメージガイド７を撮像部２に接続するコネクタ、ライトガイドコネクタ１０は、ライトガイド１１を光源４に接続するコネクタである。
【００２４】
図３は、イメージガイド７を構成する光ファイバの配列構造の一例を示す断面図である。本実施の形態におけるイメージガイド７は、図３に示すように、３つの平行線群が互いに６０度で交差するような配列構造において、コア部分の中心が当該３つの平行線群がなす各交点上に位置するように配列されている。なお、本発明は、図示の如き断面構造を有するイメージガイドに関してのみ適用されるものではなく、コア部分が他の配列構造を呈しているイメージガイドに関しても適用可能である。
【００２５】
図４は、画像処理部３の詳細な構成例を示すブロック図である。撮像部２より入力される映像信号は、フレームメモリ３０１に順次保持される。図５は、フレームメモリ３０１の構成を模式的に示す図であり、図中の各□は、撮像部２が有する２次元状に配列された各撮像素子と対応する画素を示している。
【００２６】
補間部３１０は、不良画像を補間するために使用する補完用画像領域を設定する領域設定部３１１と、領域設定部３１１により設定した補間用画像領域を用いて、不良画像を補間するために使用する補間画像を生成する補間画像生成部３１２と、生成した補間画像を保持する補間画像メモリ３１３とを備える。
【００２７】
基準メモリ３０４は、不良画像を構成する画素を特定する情報（基準画像）を保持するメモリであって、例えば不良画像及びクラッド部分に対応する画像の領域には”０”、それ以外の領域には”１”が保持される。なお、クラッドの部分は、映像が伝達されないため、不良画像と同様に取り扱う。
【００２８】
基準メモリ３０４には、例えば、白色の映像を内視鏡プローブ１により取り込み、その画像を２値化部３０６において２値化し、所定濃度よりも小さい濃度を有する画素を不良画像の構成画素（”０”）、所定濃度以上の画素を正常な画像の構成画素（”１）として格納する。基準メモリ３０４に保持された基準画像の更新（初期化を含む）は、基準画像更新部３０５により制御される。すなわち、基準画像更新部３０５は、基準画像を更新するモード（例えば、被写体の観察前に、このモードに設定する）が指定されると、フレームメモリ３０１に対する画像の格納を禁止する一方、２値化部３０６に画像（このとき、内視鏡プローブ１により、例えば白色の映像を取り込む）を入力し、２値化部３０６において２値化した画像（基準画像）を基準メモリ３０４に格納する。
【００２９】
出力用フレームメモリ３０３は、モニタ５に出力する画像を保持するフレームメモリである。出力用フレームメモリ３０３に対する画像の格納は、フレームメモリ３０１、補間部３１０（補間画像メモリ３１３）、基準メモリ３０４より同一位置の画素を読出し、基準メモリ３０４からの読み出し信号によりセレクタを制御し、不良画像の領域に関しては補間画像メモリの内容を、有効画像領域に関しては、フレームメモリ３０１の内容を出力用フレームメモリ３０３に出力する。
【００３０】
図６は、フレームメモリ３０１上の有効画像領域を模式的に示す図である。ここで、有効画像領域とは、コア部分に対応する画像領域をいう。例えば、有効画像領域６０１を補間する場合は、領域設定部３１１は、補間用画像領域６００を図示の位置に設定する。そして、補間画像生成部３１２は、この補間用画像領域６００から得られる画像に基づいて有効画像領域６０１を補間する補間画像を生成し、補間画像メモリ３１３に格納する。領域設定部３１１は、補間用画像領域６００を、補間すべき有効画像領域の周囲の６個の有効画像領域を含むような位置に順次設定し、補間画像生成部３１２は、その補間用画像領域６００に基づいて、各有効画像領域に関して補間画像を生成し、補間画像メモリ３１３に順次格納する。
【００３１】
なお、補間用画像領域６００の形状は、一定である必要はないが、少なくとも補間画像を生成すべき有効画像の周囲の有効画像領域（図示の例においては、６個の有効画像領域）を含む領域とすることが好ましい。また、補間用画像領域６００を設定する位置は、コア部分（素線）の配列構造、接眼レンズに接続するズーム機構による倍率等に応じて設定すれば良い。
【００３２】
補間用画像６００を用いて補間画像を生成する方法は、例えば１）補間用画像６００内の全画素の平均画素値を求める方法（以下、全画素平均法という）、２）補間用画像６００から有効画像領域を抽出し、抽出した有効画像領域を構成する画素の平均画素値を求める方法（以下、抽出法という）等がある。以下、全画素平均法及び抽出法に関して具体例を述べる。
【００３３】
＜全画素平均法＞
全画素平均法を採用する場合、補間画像生成部３１２は、補間用画像領域６００に含まれる全画素の平均画素値を算出し、その算出した平均画素値を有する補間画像を生成しても良いが、この場合、平均画素値は、有効画像領域のみならず非有効画像領域（クラッド部に対応する領域）の画素値をも含む値となり、有効画像領域のみの平均画素値よりも小さい（暗い）値となる。そこで、非有効画像領域による影響を補正することが好ましい。
【００３４】
図７は、全画素平均法を適用した場合の補間画像生成部３１２の構成例を示すブロック図である。平均画素値算出部７０１は、領域設定部３１１より補間用画像領域６００を取得し、この補間用画像領域６００を構成する全画素の平均画素値を算出する。補正部７０２は、補間用画像領域６００に含まれる有効画像領域の画像に相応する画素値を有する補間画像を生成すべく、非有効画像領域による影響を補正するためのオフセット値を加算し、加算した画素値を有する画素からなる補間画像を出力する。
【００３５】
なお、全画素平均法においては、全画素の画素値を加算し、その加算値を補間用画像領域６００に含まれる有効画像領域の画素数（若しくはこれを補正した値）で割ることにより平均値を算出し、この平均値を有する画素からなる補間画像を生成しても良い。
【００３６】
＜抽出法＞
抽出法を採用する場合、補間画像生成部３１２は、補間用画像領域６００に含まれる有効画像領域を抽出し、抽出した有効画像領域の平均画素値を算出し、その平均画素値を有する画素からなる補間画像を生成する。
【００３７】
図８は、抽出法を適用した場合の補間画像生成部３１２の構成例を示すブロック図である。有効画像抽出部８０１は、領域設定部３１１より補間用画像領域６００を特定するアドレス情報を取得し、このアドレス情報にしたがって、補間用画像領域６００に含まれる有効画像領域（例えば、基準メモリ３０４に格納された基準画像における”１”の画素）を抽出する。平均画素値算出部８０２は、有効画像領域抽出部８０１によって抽出した有効画像領域の平均画素値を算出し、算出した平均画像値を有する補間画像を出力する。
【００３８】
なお、画像領域抽出部８０１は、例えば、補間用画像６００に含まれる各有効画像領域の中心の画素等のみを抽出する等、有効画像領域の一部を抽出する形態であっても良い。この場合、演算の対象とする画素数を減らすことができるため、平均画素値を算出する処理等を簡略化（演算の高速化、使用メモリの低減等）することができるという効果がある。
【００３９】
以上のように、本実施の形態に拠れば、複数の画素からなる不良画像をその周辺の有効画像領域の画像に基づいて補間するため、破損等した素線を含む内視鏡プローブを使用した場合においても、良好な画像をモニタに表示することができる。
【００４０】
また、例えば、内視鏡プローブの対物レンズに１画素相当以上の大きさの異物が付着している場合や撮像素子の欠陥が複数の画素に跨る場合において、特開昭６３−１３２５８８号公報に記載の内視鏡装置においては、その異物等に起因する不良画像を補間することができなかったが、本実施の形態に係る内視鏡装置に拠れば、そのような複数の画素からなる不良画像に関しても、その周辺の有効画像領域を用いて補間することができる。
【００４１】
なお、上記の実施の形態は、光ファイバを用いた内視鏡装置に関するものであるが、本発明は、かかる内視鏡装置に限定されるものでなく、不良画像が複数の画素に跨って存在する画像を取り扱うことがある画像処理装置一般に広く適用可能である。
【００４２】
【発明の効果】
以上説明したように、本発明に拠れば、不良画像が複数の画素に跨って存在する画像における当該不良画像を補間することにより、良好な出力画像を得ることができるという効果がある。
【００４３】
【図面の簡単な説明】
【図１】本実施の形態に係る内視鏡装置の構成例を示すブロック図である。
【図２】内視鏡プローブ１の詳細構成例を示す図である。
【図３】イメージガイド７を構成する光ファイバの配列構造の一例を示す断面図である。
【図４】画像処理部３の詳細な構成例を示すブロック図である。
【図５】フレームメモリ３０１の構成を模式的に示す図である。
【図６】フレームメモリ３０１上の有効画像領域を模式的に示す図である。
【図７】全画素平均法を適用した場合の補間画像生成部３１２の構成例を示すブロック図である。
【図８】抽出法を適用した場合の補間画像生成部３１２の構成例を示すブロック図である。

Claims

有効画像領域に対応するコア部分と非有効画像領域に対応するクラッド部分とを有するイメージガイドを通して撮像部に提供され前記撮像部で撮像された画像を処理する画像処理装置であって、
前記撮像部で撮像された画像を保持するフレームメモリと、
不良画像領域及び非有効画像領域と、有効画像領域であって不良画像領域ではない領域とを区別する情報を保持する基準メモリと、
補間すべき有効画像領域の周囲にある少なくとも１つの有効画像領域を含む周辺領域の画像に基づいて補間画像を生成する補間部と、
前記基準メモリから提供される情報に基づいて、有効画像領域であって不良画像領域ではない領域については前記フレームメモリに保持された画素を選択し、不良画像領域及び非有効画像領域については前記補間部から提供される画素を選択して出力するセレクタと、
を備えることを特徴とする画像処理装置。
前記補間部は、前記周辺領域に含まれる有効画像領域を抽出する抽出手段を有し、抽出した有効画像領域の画像に基づいて前記補間画像を生成することを特徴とする請求項１に記載の画像処理装置。
前記補間部は、前記抽出手段により抽出した有効画像領域の画像の平均画素値を算出する平均値算出手段をさらに有し、算出した平均画素値に基づいて前記補間画像を生成することを特徴とする請求項２に記載の画像処理装置。
前記補間部は、前記周辺領域の画像の平均画素値を算出する平均値算出手段を有し、その平均画素値に基づいて前記補間画像を生成することを特徴とする請求項１に記載の画像処理装置。
前記補間部は、前記周辺領域に含まれる有効画像領域の画像に相応する画素値を有する前記補間画像を生成すべく、前記平均画素値を補正する補正手段をさらに有することを特徴とする請求項４に記載の画像処理装置。
前記基準メモリの情報を更新する更新手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
有効画像領域に対応するコア部分と非有効画像領域に対応するクラッド部分とを有するイメージガイドを含む内視鏡プローブと、前記イメージガイドを通して提供される画像を撮像する撮像部と、前記撮像部で撮像された画像を処理する画像処理装置とを備える内視鏡装置であって、
前記画像処理装置は、
前記撮像部で撮像された画像を保持するフレームメモリと、
不良画像領域及び非有効画像領域と、有効画像領域であって不良画像領域ではない領域とを区別する情報を保持する基準メモリと、
補間すべき有効画像領域の周囲にある少なくとも１つの有効画像領域を含む周辺領域の画像に基づいて補間画像を生成する補間部と、
前記基準メモリから提供される情報に基づいて、有効画像領域であって不良画像領域ではない領域については前記フレームメモリに保持された画素を選択し、不良画像領域及び非有効画像領域については前記補間部から提供される画素を選択して出力するセレクタと、
を含むことを特徴とする内視鏡装置。