JP5873223B2 - 内視鏡システムおよび画素補正方法 - Google Patents

Description

本発明は、生体内に導入され、該生体内の画像を取得する内視鏡システム、および内視鏡システムに設けられた撮像素子の画素を補正する画素補正方法に関する。

従来、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子は、光を受光して光電変換を行って電気信号を出力する複数の画素から構成されている。このような固体撮像素子において、光の受光量と相関がない、異常な電気信号を出力する欠陥画素が存在することが知られている。この欠陥画素の種類には、受光面へのゴミの付着や、素子の結晶欠陥等により、常に異常な電気信号を出力する定常的な欠陥画素と、固体撮像素子の小型化に伴って、ＭＯＳトランジスタ内を移動する電子がゲート絶縁膜に存在するトラップ準位に捕獲されることに起因する電流の乱れにより生じるＲＴＳ（Random Telegraph Signal）ノイズによって、異常な電気信号を不定期に出力する点滅欠陥画素がある。

点滅欠陥画素は、動画撮影時に、不定期に発生する画像ノイズとして撮像画像に現れる。この画像ノイズを除去するための技術として、撮像素子を遮光した状態で、固体撮像素子に複数回撮像させ、この撮像した複数の画像から点滅欠陥画素を検出し、検出した点滅欠陥画素の電気信号を補正する技術が知られている（特許文献１参照）。

特開２０１３−２１１７８５号公報

しかしながら、点滅欠陥画素は、不定期に異常な電気信号を出力するため、上述した特許文献１であっても、点滅欠陥画素を検出することができない場合があった。このため、撮像素子内における点滅欠陥画素を確実に検出して補正することができる技術が望まれていた。

本発明は、上記に鑑みてなされたものであって、撮像素子内における点滅欠陥画素を確実に検出して補正することができる内視鏡システム、画素補正方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る内視鏡システムは、被検体を照明する照明光を出射する光源部と、光を受光して光電変換を行うことによって電気信号を出力する複数の画素が２次元状に配列され、前記被写体を所定のフレームレートで撮像して前記被検体の画像データを出力する撮像素子と、所定の周期で前記光源部を消灯させる照明制御部と、前記照明制御部が前記光源部を消灯させた消灯時に、前記撮像素子が出力した前記画像データに対応する暗時画像と前記電気信号が不定期に変化する点滅欠陥画素を検出するために予め生成された暗時基準画像との差分データを算出する差分算出部と、前記差分算出部が算出した前記差分データに基づいて、前記撮像素子における前記点滅欠陥画素を検出する点滅欠陥画素検出部と、前記点滅欠陥画素検出部によって検出された前記点滅欠陥画素が出力した前記電気信号を、該点滅欠陥画素における周辺の他の画素が出力した前記電気信号を用いて補正する画素補正部と、を備えたことを特徴とする。

また、本発明に係る内視鏡システムは、上記発明において、前記撮像素子が生成した前記画像データに対応する画像を表示する表示装置と、前記撮像素子が生成した前記画像データを一時的に保持して所定のタイミングで前記表示装置へ出力する画像出力タイミング調整部と、をさらに備え、前記照明制御部は、前記光源部を単位時間当たりｎ（ｎ≧１）回消灯させるとともに、前記所定のフレームレートをＮとした場合、１フレームにおける前記光源部の消灯時間を１／Ｎで前記光源部を消灯させ、前記画像出力タイミング調整部は、前記画像データを前記表示装置へ出力する出力時のフレームレートをＮ−ｎで出力することを特徴とする。

また、本発明に係る内視鏡システムは、上記発明において、前記照明制御部は、単位時間における１フレーム目に前記光源部を消灯させることを特徴とする。

また、本発明に係る内視鏡システムは、上記発明において、前記照明制御部は、前記光源部を消灯させる消灯期間のフレームを、前記光源部が点灯する点灯期間のフレーム以上にすることを特徴とする。

また、本発明に係る内視鏡システムは、上記発明において、前記光源部は、ＬＥＤ光源を有することを特徴とする。

また、本発明に係る内視鏡システムは、上記発明において、前記暗時基準画像は、当該内視鏡システムの出荷時または前記被検体の体腔内に挿入されて使用された検査時に、前記撮像素子が順次生成した複数の前記暗時画像を平均したものであることを特徴とする。

また、本発明に係る内視鏡システムは、上記発明において、前記被検体の体腔内に挿入可能なカプセル型の筐体をさらに備え、前記光源部、前記撮像素子、前記照明制御部、前記差分算出部、前記点滅欠陥画素検出部および前記画素補正部は、前記筐体内に設けられていることを特徴とする。

また、本発明に係る画素補正方法は、内視鏡システムが実行する画素補正方法であって、被写体を照明する照明光を出射する出射ステップと、光を受光して光電変換を行うことによって電気信号を出力する複数の画素が２次元状に配列された撮像素子に前記被写体を所定のフレームレートで撮像させて前記被写体の画像データを出力する撮像ステップと、所定の周期で前記照明光を停止させる照明制御ステップと、前記照明制御ステップで前記照明光を停止させた消灯時に、前記撮像ステップで出力された前記画像データに対応する暗時画像と前記電気信号が不定期に変化する点滅欠陥画素を検出するために予め生成された暗時基準画像との差分データを算出する差分算出ステップと、前記差分算出ステップで算出した前記差分データに基づいて、前記撮像素子における前記点滅欠陥画素を検出する点滅欠陥画素検出ステップと、前記点滅欠陥画素検出ステップで検出された前記点滅欠陥画素が出力した前記電気信号を、該点滅欠陥画素における周辺の他の画素が出力した前記電気信号を用いて補正する画素補正ステップと、を含むことを特徴とする。

本発明によれば、撮像素子内における点滅欠陥画素を確実に検出して補正することができるという効果を奏する。

図１は、本発明の実施の形態１に係る内視鏡システムの概略構成を示す図である。 図２は、本発明の実施の形態１に係る内視鏡システムの要部の機能構成を示すブロック図である。 図３は、本発明の実施の形態１に係る内視鏡システムが実行する処理の概要を示すフローチャートである。 図４は、本発明の実施の形態１に係る内視鏡システムの撮像素子が所定のフレームレートで生成する画像データに対応する画像を模式的に示す図である。 図５は、本発明の実施の形態１に係る内視鏡システムの差分算出部が算出する差分データを模式的に示す図である。 図６は、本発明の実施の形態１に係る内視鏡システムの画素補正部が画素補正を行った画像データに対応する画像を模式的に示す図である。 図７は、本発明の実施の形態２に係る内視鏡システムの要部の機能構成を示すブロック図である。 図８は、本発明の実施の形態２に係る内視鏡システムが実行する処理の概要を示すフローチャートである。 図９は、本発明の実施の形態２に係る内視鏡システムの加算平均処理部が生成する暗時基準画像データの生成方法の概要を模式的に説明する図である。 図１０は、本発明の実施の形態２に係る内視鏡システムの加算平均処理部が生成した暗時基準画像データに対応する暗時基準画像の一例を示す図である。 図１１は、本発明の実施の形態２に係る内視鏡システムの画像補間部が画像を補間する補間方法の概要を模式的に説明する図である。

以下、本発明を実施するための形態（以下、「実施の形態」という）として、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムを例に説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。さらにまた、図面は、模式的なものであり、各部材の厚みと幅との関係、各部材の比率等は、現実と異なることに留意する必要がある。また、図面の相互間においても、互いの寸法や比率が異なる部分が含まれている。

（実施の形態１）
図１は、本発明の実施の形態１に係る内視鏡システムの概略構成を示す図である。図２は、本発明の実施の形態１に係る内視鏡システムの要部の機能構成を示すブロック図である。

図１および図２に示す内視鏡システム１は、被検体の体腔内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡装置２（電子スコープ）と、内視鏡装置２の先端から被写体を照明する照明光を発生する光源装置３と、内視鏡装置２が撮像した体内画像を表示可能な表示装置４と、内視鏡装置２が撮像した体内画像に所定の画像処理を施して表示装置４へ出力するとともに、内視鏡システム１全体の動作を統括的に制御する処理装置５（外部プロセッサ）と、を備える。

まず、内視鏡装置２の構成について説明する。
内視鏡装置２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、光源装置３および処理装置５を接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。

挿入部２１は、後述する撮像素子を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。

先端部２４は、グラスファイバ等を用いて構成されて光源装置３が発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光して光を受光して電気信号に光電変換する複数の画素が２次元状に配列された撮像素子２４４と、内視鏡装置２に関する各種情報を記録する内視鏡記録部２４５と、撮像素子２４４を制御する撮像制御部２４６と、を有する。

光学系２４３は、１または複数のレンズを用いて構成され、光軸Ｌに沿って移動することによって、画角を変化させる光学ズームおよび焦点を変化させる。

撮像素子２４４は、光を受光して光電変換を行うことによって電気信号を出力する複数の画素が２次元状に配列され、被写体（体腔）を所定のフレームレートで撮像して被写体の画像データを出力する。具体的には、撮像素子２４４は、光量に応じた電荷を蓄積するフォトダイオードおよびフォトダイオードが蓄積した電荷を増幅する増幅器をそれぞれ有する複数の画素が２次元マトリックス状に配設されるＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを用いて構成される。撮像素子２４４は、各画素が生成した電気信号を画像データ（ＲＡＷデータ）として処理装置５へ出力する。

内視鏡記録部２４５は、内視鏡装置２に関する各種情報、たとえば内視鏡装置２を識別する識別情報や撮像素子２４４の識別情報等を記録する。内視鏡記録部２４５は、揮発性メモリ等を用いて構成される。

撮像制御部２４６は、処理装置５から入力される指示情報に基づいて、撮像素子２４４の動作を制御する。具体的には、撮像制御部２４６は、処理装置５から入力される指示情報に基づいて、撮像素子２４４のフレームレートを制御する。たとえば、撮像制御部２４６は、撮像素子２４４に６０ｆｐｓで画像データを出力させる。

操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、体腔内に生体鉗子、レーザメスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、光源装置３、処理装置５に加えて、送気手段、送水手段、送ガス手段等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。

ユニバーサルコード２３は、ライトガイド２４１と、１または複数のケーブルをまとめた集光ケーブルと、を少なくとも内蔵している。集合ケーブルは、内視鏡装置２および光源装置３と処理装置５との間で信号を送受信する信号線であって、設定データを送受信するための信号線、画像信号を送受信するための信号線、撮像素子２４４を駆動するための駆動用のタイミング信号を送受信するための信号線などを含む。ユニバーサルコード２３は、光源装置３に着脱自在なコネクタ部２７を有する。コネクタ部２７は、コイル状のコイルケーブル２７ａが延設し、コイルケーブル２７ａの延出端に処理装置５に着脱自在なコネクタ部２８を有する。

次に、光源装置３の構成について説明する。
光源装置３は、光源部３１と、光源ドライバ３２と、照明制御部３３と、を備える。

光源部３１は、被検体を照射する照明光を出射する。光源部３１は、集光レンズ３１１と、光源３１２と、有する。集光レンズ３１１は、１または複数のレンズを用いて構成され、光源３１２が発光した光を集光する。光源３１２は、ＬＥＤ（Light Emitting Diode）を用いて構成され、白色光を発生する。なお、光源３１２は、赤色ＬＥＤ、緑色ＬＥＤおよび青色ＬＥＤを用いて構成し、各ＬＥＤを同時発光させることにより、白色光を発生させる構成であってもよい。

光源ドライバ３２は、光源３１２に対して照明制御部３３の制御のもとで電量を供給することにより、光源３１２に白色光を間欠的に発生させる。光源３１２が発光した光は、集光レンズ３１１およびライトガイド２４１を経由して先端部２４の先端から照射される。

照明制御部３３は、処理装置５から入力される指示信号に基づいて、光源３１２の点灯タイミングを制御する。具体的には、照明制御部３３は、所定の周期で光源３１２を消灯させる。より具体的には、照明制御部３３は、光源部３１を単位時間当たりｎ（ｎ≧１）回消灯させるとともに、撮像素子２４４が生成する画像データのフレームレートをＮとした場合、光源部３１の消灯時間を１／Ｎで光源部３１を消灯させる。たとえば、照明制御部３３は、撮像素子２４４が生成する画像データのフレームレートが６１ｆｐｓの場合、１フレームのみを光源３１２に消灯させるとともに、光源部３１の消灯時間を１／６１（ｓｅｃ）で消灯させる。照明制御部３３は、ＣＰＵ等を用いて構成される。

次に、表示装置４の構成について説明する。
表示装置４は、処理装置５から入力される体内画像を表示する。また、表示装置４は、内視鏡システム１に関する各種情報を表示する。表示装置４は、液晶または有機ＥＬ（Electro Luminescence）等を用いて構成される。

次に、処理装置５の構成について説明する。
処理装置５は、画像取得部５１と、差分算出部５２と、点滅欠陥画素検出部５３と、記録部５４と、画像出力タイミング調整部５５と、画像処理部５６と、基準クロック生成部５７と、処理制御部５８と、を備える。

画像取得部５１は、撮像素子２４４が生成した画像データを取得する。具体的には、画像取得部５１は、処理制御部５８の制御のもと、撮像素子２４４から所定のフレームレートで画像データを取得する。また、画像取得部５１は、処理制御部５８の制御もと、撮像素子２４４から取得した画像データが通常の露光で撮像された通常露光画像データの場合、画像出力タイミング調整部５５へ出力する一方、撮像素子２４４から取得した画像データが暗時画像データの場合、この暗時画像データを差分算出部５２へ出力する。

差分算出部５２は、画像取得部５１から入力される暗時画像データに対応する暗時画像と後述する記録部５４の暗時基準画像データ記録部５４２が記録する暗時基準画像データに対応する暗時基準画像との差分データ（差分値）を算出し、この算出結果を点滅欠陥画素検出部５３へ出力する。具体的には、差分算出部５２は、暗時画像および暗時基準画像それぞれの画素毎の画素値（電気信号）の差分データを算出し、この算出結果を点滅欠陥画素検出部５３へ出力する。

点滅欠陥画素検出部５３は、差分算出部５２から入力される差分データに基づいて、撮像素子２４４における点滅欠陥画素を検出する。具体的には、点滅欠陥画素検出部５３は、差分算出部５２から入力される差分データの画素毎に画素値が所定の閾値以上であるか否かを判定し、画素値が所定の閾値以上の画素を点滅欠陥画素として検出する。点滅欠陥画素検出部５３は、検出した点滅欠陥画素の撮像素子２４４上における位置情報（画素アドレス）を補正画素情報記録部５４１へ出力する。

記録部５４は、内視鏡システム１を動作させるための各種プログラムおよび内視鏡システム１の動作に必要な各種パラメータ等を記録する。また、記録部５４は、撮像素子２４４の欠陥画素の位置情報および点滅欠陥画素の位置情報を記録する補正画素情報記録部５４１と、点滅欠陥画素を検出する際に用いる暗時基準画像データを記録する暗時基準画像データ記録部５４２と、を有する。暗時基準画像データは、内視鏡装置２の出荷前または内視鏡システム１の運用の開始時に、複数の暗時画像データを平均したものである。この暗時基準画像データには、欠陥画素情報が含まれる。記録部５４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）、Ｆｌａｓｈメモリ等の記録媒体およびＨＤＤ（Hard Disk Drive）等を用いて構成される。

画像出力タイミング調整部５５は、処理制御部５８の制御のもと、画像取得部５１から入力された通常画像データを一時的に保持し、所定のタイミングで画像処理部５６へ出力する。具体的には、画像出力タイミング調整部５５は、撮像素子２４４が生成する画像データのフレームレートをＮとした場合、画像取得部５１を介して撮像素子２４４から入力された通常画像データを画像処理部５６へ出力する出力時のフレームレートをＮ−ｎで出力する。たとえば、画像出力タイミング調整部５５は、撮像素子２４４の画像データのフレームレートが６１ｆｐｓの場合において、光源部３１の消灯が１回（ｎ＝１）のとき、画像取得部５１を介して撮像素子２４４から順次入力された通常画像データを６０ｆｐｓで画像処理部５６へ出力する。

画像処理部５６は、画像出力タイミング調整部５５から入力される画像データに対して各種の画像処理を行って表示装置４へ出力する。具体的には、画像処理部５６は、画像データに対して、少なくとも、黒出力を補正するオプティカルブラック（ＯＢ）減算処理、画像データの色味を調整するホワイトバランス（ＷＢ）調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む画像処理を行う。また、画像処理部５６は、画素補正部５６１を有する。

画素補正部５６１は、記録部５４の補正画素情報記録部５４１が記録する欠陥画素情報および点滅欠陥画素情報に基づいて、欠陥画素および点滅欠陥画素それぞれの電気信号を、欠陥画素および点滅欠陥画素それぞれの周辺画素や隣接画素の電気信号で補正する補正処理を行う。

基準クロック生成部５７は、内視鏡システム１の各構成部の動作の基準となる基準クロック信号を生成し、内視鏡システム１の各構成に対して生成した基準クロック信号を供給する。

処理制御部５８は、内視鏡装置２および光源装置３を含む各構成部の駆動制御および各構成部に対する情報の入出力制御等を行う。処理制御部５８は、ＣＰＵ等を用いて構成される。

以上の構成を有する内視鏡システム１が実行する処理について説明する。図３は、内視鏡システム１が実行する処理の概要を示すフローチャートである。

図３に示すように、内視鏡システム１は、撮像素子２４４が所定のフレームレートで撮像を開始するとともに、光源装置３が撮像素子２４４のフレームレートに同期して照明光の出射を開始する（ステップＳ１０１）。具体的には、撮像制御部２４６は、撮像素子２４４に所定のフレームレートで撮像を開始させる。例えば、図４に示すように、撮像制御部２４６は、撮像素子２４４に６１ｆｐｓで被検体の体腔内の撮像を開始させる。また、照明制御部３３は、撮像素子２４４のフレームレートに同期して所定の周期で光源３１２を消灯させる。例えば、図４に示すように、照明制御部３３は、撮像素子２４４が６１ｆｐｓで被検体の体腔内を撮像する場合、１フレーム目に光源３１２を消灯させる。この場合、撮像素子２４４は、暗時画像データを生成する。なお、図４において、各画像Ｆ１〜Ｆ６１における画素Ｇ１が欠陥画素を示し、画素Ｇ２が点滅欠陥画素を示す。さらに、以下においては、点滅欠陥画素が正常な画像信号を出力している場合をハッチングで表現し、異常な画像信号が出力されている場合を白抜きで表現する。図４に示す場合、点滅欠陥画素Ｇ２が１フレーム目の暗時画像Ｆ１、２フレーム目の通常露光画像Ｆ２、および６１フレーム目の通常露光画像Ｆ６１で発生している状態を示す。

続いて、画像取得部５１は、撮像素子２４４が生成した画像データを取得する（ステップＳ１０２）。

その後、処理制御部５８は、画像取得部５１によって撮像素子２４４から取得された画像データが暗時画像データであるか否かを判定する（ステップＳ１０３）。具体的には、処理制御部５８は、画像取得部５１によって撮像素子２４４から取得された画像データが照明制御部３３によって光源３１２が消灯された消灯時に撮像素子２４４が生成した画像データであるか否かを判定する。処理制御部５８が画像取得部５１によって撮像素子２４４から取得された画像データが暗時画像データであると判断した場合（ステップＳ１０３：Ｙｅｓ）、内視鏡システム１は、後述するステップＳ１０４へ移行する。これに対して、処理制御部５８が画像取得部５１によって撮像素子２４４から取得された画像データが暗時画像データでないと判断した場合（ステップＳ１０３：Ｎｏ）、内視鏡システム１は、後述するステップＳ１０８へ移行する。

ステップＳ１０４において、処理制御部５８は、画像取得部５１が撮像素子２４４から取得した暗時画像データを差分算出部５２へ出力させる。

続いて、差分算出部５２は、画像取得部５１から入力された暗時画像データに対応する暗時画像と暗時基準画像データ記録部５４２が記録する暗時基準画像データに対応する暗時基準画像とに基づいて、差分データを算出する（ステップＳ１０５）。

図５は、差分算出部５２が算出する差分データの算出方法を説明する模式図である。図５に示すように、差分算出部５２は、暗時画像Ｆ１から暗時基準画像ＦＳを減算することによって暗時画像Ｆ１と暗時基準画像ＦＳとにおける画素毎の画素値（画像信号）の差分データＦＧを算出する。なお、図５においては、点滅欠陥画素Ｇ２の画素値を明確にするため、黒丸で表現した。

ステップＳ１０５の後、点滅欠陥画素検出部５３は、差分算出部５２が算出した差分データに基づいて、撮像素子２４４における点滅欠陥画素を検出する（ステップＳ１０６）。具体的には、点滅欠陥画素検出部５３は、差分算出部５２が算出した差分データの画素毎に画素値が所定の閾値を超えるか否かを判定し、所定の閾値を超える画素を補正対象の点滅欠陥画素として検出する。たとえば、図５に示す場合、点滅欠陥画素検出部５３は、差分データＦＧの点滅欠陥画素Ｇ２を検出する。

続いて、処理制御部５８は、点滅欠陥画素検出部５３が検出した撮像素子２４４内における点滅欠陥画素の位置に関する点滅欠陥画素情報を補正画素情報記録部５４１に記録する（ステップＳ１０７）。ステップＳ１０７の後、内視鏡システム１は、後述するステップＳ１１３へ移行する。

ステップＳ１０８において、処理制御部５８は、画像取得部５１が撮像素子２４４から取得した通常露光画像データを画像出力タイミング調整部５５へ出力する。

続いて、画像出力タイミング調整部５５は、画像取得部５１から入力された通常露光画像データを一時的に記憶（保持）する（ステップＳ１０９）。

その後、画像出力タイミング調整部５５は、所定のタイミングで通常露光画像データを画像処理部５６へ出力する（ステップＳ１１０）。具体的には、画像出力タイミング調整部５５は、撮像素子２４４が生成するフレームレートの単位時間当たり同じフレームレートになるように通常露光画像データを画像処理部５６へ出力する。例えば、画像出力タイミング調整部５５は、通常露光画像データを６０ｆｐｓで画像処理部５６へ出力する。

続いて、画素補正部５６１は、補正画素情報記録部５４１が記録する欠陥画素情報および点滅欠陥画素情報に基づいて、画像出力タイミング調整部５５から入力される通常露光画像データに対応する通常露光画像内における欠陥画素および点滅欠陥画素それぞれを、他の周辺画素の電気信号で補正した画素補正処理を行う（ステップＳ１１１）。具体的には、画素補正部５６１は、図６に示すように、補正画素情報記録部５４１が記録する欠陥画素情報および点滅欠陥画素情報に基づいて、画像出力タイミング調整部５５から順次入力される通常露光画像Ｆ２〜Ｆ６１における欠陥画素Ｇ１および点滅欠陥画素Ｇ２を、欠陥画素Ｇ１の周辺画素、例えば欠陥画素Ｇ１に隣接する４つの画素の電気信号を用いて補正するとともに、点滅欠陥画素Ｇ２を、点滅欠陥画素Ｇ２の周辺画素の電気信号を用いて補正して表示画像データに対応する表示画像Ｆ１’〜Ｆ６０’を生成する（図６（ａ）→図６（ｂ））。この場合において、画像処理部５６は、通常露光画像データに対して上述した通常露光画像データを現像するために必要な基本の画像処理を行う。

その後、画像処理部５６は、表示画像データを表示装置４へ出力する（ステップＳ１１２）。これにより、図６（ｂ）に示すように、表示装置４は、欠陥画素Ｇ１および点滅欠陥画素Ｇ２の画素が補正された表示画像Ｆ１’〜Ｆ６０’を順次表示することができ、高解像度な画像を表示することができる。ステップＳ１１２の後、内視鏡システム１は、ステップＳ１１３へ移行する。

ステップＳ１０７の後またはステップＳ１１２の後、スイッチ２２３から内視鏡システム１による被検体の体腔内の撮像を終了する指示信号が入力された場合（ステップＳ１１３：Ｙｅｓ）、内視鏡システム１は、本処理を終了する。これに対して、スイッチ２２３から内視鏡システム１による被検体の体腔内の撮像を終了する指示信号が入力されていない場合（ステップＳ１１３：Ｎｏ）、内視鏡システム１は、ステップＳ１０２へ戻る。

以上説明した本発明の実施の形態１によれば、撮像素子２４４内における点滅欠陥画素に対して確実に検出して補正することができるので、高解像度の画像を表示することができる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。上述した実施の形態１では、暗時基準画像データが暗時基準画像データ記録部５４２に記録されていたが、本実施の形態２では、暗時基準画像データを被検体の検査時や検査前に生成する。具体的には、本実施の形態２では、光源部を所定の周期で消灯させる。さらに、本実施の形態２では、光源部の消灯時に撮像素子が生成した複数の暗時画像データを順次記録して画素毎の電気信号を平均することによって暗時基準画像データを生成する。このため、以下においては、本実施の形態２に係る内視鏡システムの構成を説明後、本実施の形態２に係る内視鏡システムが実行する処理について説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して説明を省略する。

図７は、本発明の実施の形態２に係る内視鏡システムの要部の機能を示すブロック図である。図７に示す内視鏡システム１ａは、内視鏡装置２と、光源装置３ａと、表示装置４と、処理装置５ａと、を備える。

まず、光源装置３ａの構成について説明する。
光源装置３ａは、光源部３１と、光源ドライバ３２と、照明制御部３３ａと、を備える。

照明制御部３３ａは、撮像素子２４４が生成する画像データのフレームレートに同期して光源部３１を所定の周期で消灯させる。具体的には、照明制御部３３ａは、光源部３１を単位時間当たりｎ（ｎ≧１）回消灯させるとともに、撮像素子２４４が生成する画像データのフレームレートをＮとした場合、光源部３１の消灯時間を１／Ｎで光源部３１を消灯させる。たとえば、照明制御部３３ａは、撮像素子２４４が生成する画像データのフレームレートが６０ｆｐｓの場合、１フレーム、１１フレーム、２１フレーム、３１フレーム、４１フレームおよび５１フレームそれぞれの撮像期間に光源３１２を消灯させる。この場合、照明制御部３３ａは、１フレームにおける光源部３１の消灯時間を１／６０（ｓｅｃ）で光源部３１を消灯させる。また、照明制御部３３ａは、例えば、撮像素子２４４が生成する画像データのフレームレートが１２０ｆｐｓの場合、偶数フレームまたは奇数フレームの撮像期間に光源部３１を消灯させてもよい。

次に、処理装置５ａの構成について説明する。
処理装置５ａは、画像取得部５１と、差分算出部５２と、点滅欠陥画素検出部５３と、記録部５４と、画像出力タイミング調整部５５と、画像処理部５６ａと、基準クロック生成部５７と、処理制御部５８と、加算平均処理部５９と、を備える。

画像処理部５６ａは、画素補正部５６１と、画像補間部５６２と、を有する。

画像補間部５６２は、画像出力タイミング調整部５５から入力される通常露光画像データの入力タイミングが暗時画像データのフレームに該当する場合、直前の通常露光画像データと現在の通常露光画像データとに基づいて、暗時画像データのフレームに該当する通常露光画像データを生成して表示装置４へ出力する。

加算平均処理部５９は、画像取得部５１から順次入力される複数の暗時画像データを加算して平均化を行って暗時基準画像データを生成する。具体的には、加算平均処理部５９は、被検体の検査時または検査中に、内視鏡装置２の先端部２４が被検体の体腔内に挿入された場合、画像取得部５１から順次入力される複数の暗時画像データの平均化を行って暗時基準画像データを生成する。加算平均処理部５９は、暗時基準画像データを暗時基準画像データ記録部５４２へ出力して暗時基準画像データを順次更新する。

以上の構成を有する内視鏡システム１ａが実行する処理について説明する。図８は、内視鏡システム１ａが実行する処理の概要を示すフローチャートである。

図８に示すステップＳ２０１〜ステップＳ２０３は、上述した図３のステップＳ１０１〜ステップＳ１０３にそれぞれ対応する。

ステップＳ２０４において、処理制御部５８は、画像取得部５１が撮像素子２４４から取得した暗時画像データを差分算出部５２および加算平均処理部５９へ出力させる。

続いて、加算平均処理部５９は、画像取得部５１から入力された暗時画像データを記憶し、記憶した複数の暗時画像データの平均化を行うことによって暗時基準画像データを生成して暗時基準画像データ記録部５４２に記録する（ステップＳ２０５）。具体的には、図９に示すように、加算平均処理部５９は、画像取得部５１から順次入力された複数の暗時画像データに対応する複数の暗時画像Ｆ１，Ｆ１１，Ｆ２１，Ｆ３１，Ｆ４１を記憶し、記憶した複数の暗時画像Ｆ１，Ｆ１１，Ｆ２１，Ｆ３１，Ｆ４１における画素毎に画素値（電気信号）を加算して暗時画像の数で除算することによって暗時基準画像データを生成する。図１０は、暗時基準画像データに対応する暗時基準画像ＦＳの表示例を示す図である。なお、図９では、暗時画像Ｆ１，Ｆ１１，Ｆ２１，Ｆ３１,Ｆ４１が順次入力されているが、例えば暗時画像Ｆ１と、暗時画像Ｆ１１との間には、通常露光画像データに対応する通常露光画像が撮像素子２４４によって連続的に生成されている。

ステップＳ２０６〜ステップＳ２１２は、上述した図３のステップＳ１０５〜ステップＳ１１１にそれぞれ対応する。

ステップＳ２１３において、画素補正部５６１から入力された通常露光画像データが暗時画像データのフレームに該当する場合（ステップＳ２１３：Ｙｅｓ）、画像補間部５６２は、直前の通常露光画像データと現在の通常露光画像データとに基づいて、暗時画像データのフレームに該当する通常露光画像データを補間する（ステップ２１４）。具体的には、図１１（ａ）に示すように、画像補間部５６２は、画素補正部５６１から入力された通常露光画像データが暗時画像データのフレームＦ１１に該当する場合、直前の通常露光画像データに対応する直前通常露光画像Ｆ１０’と現在の通常露光画像データに対応する現在通常露光画像Ｆ１２’とに所定の係数、例えば０.５を乗じて合成することによって、暗時画像データのフレームに該当する通常露光画像Ｆ１１’を補間する（図１１（ａ）→図１１（ｂ））。

続いて、画像補間部５６２は、暗時画像データのフレームＦ１１’の通常露光画像データを表示画像データとして表示装置４へ出力する（ステップＳ２１５）。これにより、撮像素子２４４が生成する画像データのコマ落ちを防止するので、被検体における体腔内の体内画像を滑らかに表示することができる。ステップＳ２１５の後、内視鏡システム１ａは、ステップＳ２１６へ移行する。

ステップＳ２１６は、上述した図３のステップＳ１１３に対応する。

ステップＳ２１３において、画素補正部５６１から入力された通常露光画像データが暗時画像データのフレームに該当しない場合（ステップＳ２１３：Ｎｏ）、内視鏡システム１ａは、ステップＳ２１６へ移行する。

以上説明した本発明の実施の形態２によれば、撮像素子２４４内における点滅欠陥画素に対して確実に補正することができるので、高解像度の画像を表示することができる。

また、本発明の実施の形態２によれば、被検体の検査時に暗時基準画像データを生成しているので、検査時または検査中に点滅欠陥画素が発生した場合であっても、検査中に確実に検出して補正することができる。

なお、本発明の実施の形態２では、被検体の検査終了時に、暗時基準画像データ記録部５４２が記録する暗時基準画像データを削除してもよい。これにより、処理装置５ａの記録部５４のメモリ容量の大型化を防止することができる。

（その他の実施の形態）
本発明では、照明制御部が撮像素子のフレームレートに同期して光源部を消灯させていたが、光源部を消灯させる消灯期間のフレーム（フレームの時間）を、光源部が点灯する点灯期間のフレーム以上（消灯期間のフレームの時間と同等以上）にするとともに、消灯時の撮像素子の露光時間（撮像時間）のフレームの時間を点灯時の撮像素子の露光時間以上にしてもよい。これにより、撮像素子の各画素の受光時間が長くなるので、点滅欠陥画素をより確実に検出することができる。もちろん、光源部を消灯させる消灯期間のフレームの時間を、光源部が点灯する点灯期間のフレームの時間よりも長くするとともに、消灯時の撮像素子の露光時間（撮像時間）のフレームの時間を点灯時の撮像素子の露光時間よりも長くしてもよい。

また、本発明では、被検体内に挿入可能な内視鏡装置を例に説明したが、被検体内に導入可能なカプセル型の筐体に撮像素子、光源装置および処理装置を設けたカプセル型内視鏡装置であっても適用することができる。

また、本発明では、照明制御部が光源を消灯させることによって、撮像素子に暗時画像データを生成させていたが、たとえば光源の光路上に遮光領域を有する回転フィルタを設け、この回転フィルタを回転させることによって、光源装置を消灯させてもよい。

また、本発明では、画素補正部がリアルタイムで点滅欠陥画素を補正していたが、例えば撮像素子が連続的に生成した画像データを記録媒体に順次記録させ、この記録媒体に記録された画像データの再生時に点滅欠陥画素を補正してもよい。

なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

１，１ａ 内視鏡システム
２ 内視鏡装置
３，３ａ 光源装置
４ 表示装置
５，５ａ 処理装置
３１ 光源部
３２ 光源ドライバ
３３，３３ａ 照明制御部
５１ 画像取得部
５２ 差分算出部
５３ 点滅欠陥画素検出部
５４ 記録部
５５ 画像出力タイミング調整部
５６，５６ａ 画像処理部
５７ 基準クロック生成部
５８ 処理制御部
５９ 加算平均算出部
２４３ 光学系
２４４ 撮像素子
２４５ 内視鏡記録部
２４６ 撮像制御部
３１１ 集光レンズ
３１２ 光源
５４１ 補正画素情報記録部
５４２ 暗時基準画像データ記録部
５６１ 画素補正部
５６２ 画像補間部
Ｇ１ 欠陥画素
Ｇ２ 点滅欠陥画素

Claims (7)

1. 被検体を照明する照明光を出射する光源部と、
   光を受光して光電変換を行うことによって電気信号を出力する複数の画素が２次元状に配列され、前記被検体を所定のフレームレートで撮像して前記被検体の画像データを生成する撮像素子と、
   所定の周期で前記光源部を消灯させる照明制御部と、
   前記照明制御部が前記光源部を消灯させた消灯時に前記撮像素子が出力した暗時画像と、予め記録された前記撮像素子によって生成された複数の暗時画像を平均した暗時基準画像と、の画素毎の差分データを算出する差分算出部と、
   前記差分算出部が算出した前記差分データの前記画素毎に画素値が所定の閾値以上であるか否かを判定し、画素値が前記所定の閾値以上の画素を前記撮像素子における点滅欠陥画素として検出する点滅欠陥画素検出部と、
   前記撮像素子が生成した前記画像データを一時的に保持して所定のタイミングで出力する画像出力タイミング調整部と、
   前記画像出力タイミング調整部によって出力された前記画像データに対して、前記点滅欠陥画素検出部によって検出された前記点滅欠陥画素が出力した前記電気信号を、該点滅欠陥画素における周辺の他の画素が出力した前記電気信号を用いて補正して表示装置に出力する画素補正部と、
   を備え、
   前記照明制御部は、
   前記光源部を単位時間当たりｎ（ｎ≧１）回消灯させるとともに、前記所定のフレームレートをＮとした場合、１フレームにおける前記光源部の消灯時間を１／Ｎとして前記光源部を消灯させ、
   前記画像出力タイミング調整部は、
   前記画像データを出力する出力時のフレームレートをＮ−ｎで出力することを特徴とする内視鏡システム。
2. 前記照明制御部は、単位時間における１フレーム目に前記光源部を消灯させることを特徴とする請求項１に記載の内視鏡システム。
3. 前記照明制御部は、前記光源部を消灯させる消灯期間のフレームの数を、前記光源部が点灯する点灯期間のフレームの数以上にすることを特徴とする請求項１に記載の内視鏡システム。
4. 前記光源部は、ＬＥＤ光源を有することを特徴とする請求項１に記載の内視鏡システム。
5. 前記暗時基準画像は、当該内視鏡システムの出荷時または前記被検体の体腔内に挿入されて使用された検査時に、前記撮像素子が順次生成した複数の前記暗時画像を平均したものであることを特徴とする請求項１に記載の内視鏡システム。
6. 前記被検体の体腔内に挿入可能なカプセル型の筐体をさらに備え、
   前記光源部、前記撮像素子、前記照明制御部、前記差分算出部、前記点滅欠陥画素検出部および前記画素補正部は、前記筐体内に設けられていることを特徴とする請求項１に記載の内視鏡システム。
7. 被検体を照明する照明光を出射する光源部と、光を受光して光電変換を行うことによって電気信号を出力する複数の画素が２次元状に配列された撮像素子と、を備えた内視鏡システムが実行する画素補正方法であって、
   所定の周期で前記光源部を消灯させる照明制御ステップと、
   前記照明制御ステップで前記光源部を消灯させた消灯時に前記撮像素子に撮像させて暗時画像を生成させる生成ステップと、
   前記生成ステップで生成された暗時画像と、予め記録された前記撮像素子によって生成された複数の暗時画像を平均した暗時基準画像と、の画素毎の差分データを算出する差分算出ステップと、
   前記差分算出ステップで算出した前記差分データの前記画素毎に画素値が所定の閾値以上であるか否かを判定し、画素値が前記所定の閾値以上の画素を前記撮像素子における点滅欠陥画素として検出する点滅欠陥画素検出ステップと、
   前記撮像素子によって前記被検体を所定のフレームレートで撮像させて前記被検体の画像データを生成する撮像ステップと、
   前記撮像ステップで生成した前記画像データを一時的に保持して所定のタイミングで出力する画像出力タイミング調整ステップと、
   前記画像出力タイミング調整ステップで出力された前記画像データに対して、前記点滅欠陥画素検出ステップで検出された前記点滅欠陥画素が出力した前記電気信号を、該点滅欠陥画素における周辺の他の画素が出力した前記電気信号を用いて補正して表示装置へ出力する画素補正ステップと、
   を含み、
   前記照明制御ステップは、
   前記光源部を単位時間当たりｎ（ｎ≧１）回消灯させるとともに、前記所定のフレームレートをＮとした場合、１フレームにおける前記光源部の消灯時間を１／Ｎとして前記光源部を消灯させ、
   前記画像出力タイミング調整ステップは、
   前記画像データを出力する出力時のフレームレートをＮ−ｎで出力することを特徴とする画素補正方法。

Images