JPWO2016088628A1 - 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム - Google Patents
画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム Download PDFInfo
- Publication number
- JPWO2016088628A1 JPWO2016088628A1 JP2016533674A JP2016533674A JPWO2016088628A1 JP WO2016088628 A1 JPWO2016088628 A1 JP WO2016088628A1 JP 2016533674 A JP2016533674 A JP 2016533674A JP 2016533674 A JP2016533674 A JP 2016533674A JP WO2016088628 A1 JPWO2016088628 A1 JP WO2016088628A1
- Authority
- JP
- Japan
- Prior art keywords
- evaluation value
- image
- evaluation
- blur
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 512
- 238000000034 method Methods 0.000 title claims description 55
- 238000003384 imaging method Methods 0.000 claims description 44
- 238000001727 in vivo Methods 0.000 claims description 44
- 238000003780 insertion Methods 0.000 claims description 15
- 230000037431 insertion Effects 0.000 claims description 15
- 239000000126 substance Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 71
- 238000005286 illumination Methods 0.000 description 26
- 239000007788 liquid Substances 0.000 description 18
- 238000006243 chemical reaction Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000012805 post-processing Methods 0.000 description 14
- 238000007781 pre-processing Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 8
- 238000005452 bending Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000007717 exclusion Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 229930091051 Arenine Natural products 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003365 glass fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
- G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Radiology & Medical Imaging (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Studio Devices (AREA)
Abstract
本発明にかかる画像評価装置は、被写体像の画像を含む信号を取得して該画像の合焦評価およびぶれの評価を行う画像評価装置であって、画像における合焦評価およびぶれの評価を行う評価対象領域を設定する領域設定部と、領域設定部が設定した評価対象領域の合焦度を表す合焦評価値を算出する合焦評価値算出部と、領域設定部が設定した評価対象領域の被写体像のぶれ量を表すぶれ評価値を算出するぶれ評価値算出部と、合焦評価値算出部が算出した合焦評価値と、ぶれ評価値算出部が算出したぶれ評価値と、をもとに総合評価値を算出する総合評価値算出部と、を備えた。
Description
本発明は、画像の合焦およびぶれの評価を行う画像評価装置、この画像評価装置を備えた内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラムに関する。
従来、医療分野においては、患者等の被検体の臓器を観察する際に内視鏡システムが用いられている。内視鏡システムは、例えば先端に撮像素子が設けられ、被検体の体腔内に挿入される挿入部を有する内視鏡と、挿入部の基端側にケーブルを介して接続され、撮像素子が生成した撮像信号に応じた体内画像の画像処理を順次行って、体内画像を表示部等にライブ表示させる処理装置とを備える。
医師などの術者は、観察時、ライブ表示されている体内画像のなかから診断用などの所望の体内画像をフリーズ表示対象の体内画像として選択し、表示部にフリーズ表示させる。このようなフリーズ表示を行う技術として、フリーズ指示が入力された場合に、フレームメモリに記憶されている複数フレームの画像のコントラスト値(合焦値)および色ずれ量に基づいて画像を評価し、評価結果に基づいてフリーズ対象の体内画像を抽出する技術が開示されている(例えば、特許文献1を参照)。特許文献1では、フレームメモリに記憶されている複数フレームの画像について、画像全体または閾値以上の明るさを有する注目領域のコントラスト値を算出するとともに、連続するフレーム間の画像のぶれ量を色ずれ量として算出し、このコントラスト値およびぶれ量をもとに重み付き平均を求め、求めた重み付き平均からフリーズ対象となる体内画像を抽出する。
ところで、内視鏡により取得される画像は、体腔内を照明して得られるものであり、白とびや黒つぶれが発生しやすい。特許文献1が開示する評価値算出では、白とびや黒つぶれを含む画像全体または注目領域に対して評価値を算出するため、正確に評価を行うことができないおそれがあった。
本発明は、上記に鑑みてなされたものであって、画像の合焦およびぶれの評価を正確に行ってフリーズ対象の画像を抽出することができる画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる画像評価装置は、被写体像の画像を含む信号を取得して該画像の合焦評価およびぶれの評価を行う画像評価装置であって、前記画像における前記合焦評価および前記ぶれの評価を行う評価対象領域を設定する領域設定部と、前記領域設定部が設定した評価対象領域の合焦度を表す合焦評価値を算出する合焦評価値算出部と、前記領域設定部が設定した評価対象領域の前記被写体像のぶれ量を表すぶれ評価値を算出するぶれ評価値算出部と、前記合焦評価値算出部が算出した合焦評価値と、前記ぶれ評価値算出部が算出したぶれ評価値と、をもとに総合評価値を算出する総合評価値算出部と、を備えたことを特徴とする。
また、本発明にかかる画像評価装置は、上記発明において、前記評価対象領域は、複数の小領域からなることを特徴とする。
また、本発明にかかる画像評価装置は、上記発明において、前記合焦評価値算出部は、前記小領域ごとに合焦評価値を算出し、算出した複数の合焦評価値に基づく代表合焦評価値を合焦評価値として前記総合評価値算出部に出力し、前記ぶれ評価値算出部は、前記小領域ごとにぶれ評価値を算出し、算出した複数のぶれ評価値に基づく代表ぶれ評価値をぶれ評価値として前記総合評価値算出部に出力することを特徴とする。
また、本発明にかかる画像評価装置は、上記発明において、前記合焦評価値算出部は、前記複数の小領域ごとの合焦評価値の最大値、平均値または最頻値を代表合焦評価値とし、前記ぶれ評価値算出部は、前記複数の小領域ごとのぶれ評価値の最大値、平均値または最頻値を代表ぶれ評価値とすることを特徴とする。
また、本発明にかかる画像評価装置は、上記発明において、前記領域設定部は、各小領域の輝度値をもとに、各小領域を前記評価対象領域から除外するか否かの判定を行うことを特徴とする。
また、本発明にかかる画像評価装置は、上記発明において、前記信号は、内視鏡により取得された撮像信号であり、前記領域設定部は、前記撮像信号に応じた体内画像中に映り込んだ前記内視鏡由来の異物を検出した場合に、当該異物の配置に位置する小領域を前記評価対象領域から除外することを特徴とする。
また、本発明にかかる画像評価装置は、上記発明において、前記異物は、前記内視鏡の挿入部から突出したものであることを特徴とする。
また、本発明にかかる画像評価装置は、上記発明において、前記信号は、時系列に出射された異なる波長帯域の光の照射により取得されたものであることを特徴とする。
また、本発明にかかる画像評価装置は、上記発明において、前記合焦評価値および前記ぶれ評価値は、各々の最大値および最小値をそれぞれ同じ値とする正規化された値であることを特徴とする。
また、本発明にかかる画像評価装置は、上記発明において、前記総合評価値算出部は、前記合焦評価値および前記ぶれ評価値に対して重み付けを行って和をとることで前記総合評価値を算出することを特徴とする。
また、本発明にかかる画像評価装置は、上記発明において、前記総合評価値算出部は、前記合焦評価値および前記ぶれ評価値に対する重みを変更可能であることを特徴とする。
また、本発明にかかる内視鏡システムは、被検体に挿入され、該被検体内の体内画像を撮像する撮像部を有する内視鏡と、複数の前記体内画像を記憶する記憶部と、前記体内画像における合焦評価およびぶれの評価を行う評価対象領域を設定する領域設定部と、前記領域設定部が設定した領域の合焦度を表す合焦評価値を算出する合焦評価値算出部と、前記領域設定部が設定した領域の被写体像のぶれ量を表すぶれ評価値を算出するぶれ評価値算出部と、前記合焦評価値算出部が算出した合焦評価値と、前記ぶれ評価値算出部が算出したぶれ評価値と、をもとに総合評価値を算出する総合評価値算出部と、前記記憶部が記憶する複数の前記体内画像から、前記総合評価値算出部が算出した前記総合評価値に基づき少なくとも一つの体内画像を選択する画像選択部と、を備えたことを特徴とする。
また、本発明にかかる画像評価装置の作動方法は、被写体像の画像を含む信号を取得して該画像の合焦評価およびぶれの評価を行う画像評価装置の作動方法であって、領域設定部が、前記画像における前記合焦評価および前記ぶれの評価を行う評価対象領域を設定する領域設定ステップと、合焦評価値算出部が、前記領域設定ステップで設定した領域の合焦度を表す合焦評価値を算出する合焦評価値算出ステップと、ぶれ評価値算出部が、前記領域設定ステップで設定した領域の前記被写体像のぶれ量を表すぶれ評価値を算出するぶれ評価値算出ステップと、総合評価値算出部が、前記合焦評価値算出ステップで算出した合焦評価値と、前記ぶれ評価値算出ステップで算出したぶれ評価値と、をもとに総合評価値を算出する総合評価値算出ステップと、を備えたことを特徴とする。
また、本発明にかかる画像評価装置の作動プログラムは、被写体像の画像を含む信号を取得して該画像の合焦評価およびぶれの評価を行う画像評価装置の作動プログラムであって、領域設定部が、前記画像における前記合焦評価および前記ぶれの評価を行う評価対象領域を設定する領域設定手順と、合焦評価値算出部が、前記領域設定手順で設定した領域の合焦度を表す合焦評価値を算出する合焦評価値算出手順と、ぶれ評価値算出部が、前記領域設定手順で設定した領域の前記被写体像のぶれ量を表すぶれ評価値を算出するぶれ評価値算出手順と、総合評価値算出部が、前記合焦評価値算出手順で算出した合焦評価値と、前記ぶれ評価値算出手順で算出したぶれ評価値と、をもとに総合評価値を算出する総合評価値算出手順と、を前記画像評価装置に実行させることを特徴とする。
本発明によれば、画像の合焦およびぶれの評価を正確に行ってフリーズ対象の画像を抽出することができるという効果を奏する。
以下、本発明を実施するための形態(以下、「実施の形態」という)を説明する。実施の形態では、本発明にかかる画像評価装置を含むシステムの一例として、患者等の被検体の体腔内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。
(実施の形態1)
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。図2は、本実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す図である。図2は、本実施の形態1にかかる内視鏡システムの概略構成を示すブロック図である。
図1および図2に示す内視鏡システム1は、被検体の体腔内に先端部を挿入することによって被検体の体内画像を撮像する内視鏡2と、内視鏡2の先端から出射する照明光を発生する光源装置3と、内視鏡2が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム1全体の動作を統括的に制御する処理装置4と、処理装置4の信号処理により生成された体内画像を表示する表示装置5と、を備える。
内視鏡2は、可撓性を有する細長形状をなす挿入部21と、挿入部21の基端側に接続され、各種の操作信号の入力を受け付ける操作部22と、操作部22から挿入部21が延びる方向と異なる方向に延び、光源装置3および処理装置4に接続する各種ケーブルを内蔵するユニバーサルコード23と、を備える。
挿入部21は、光を受光して光電変換を行うことにより信号を生成する画素が2次元状に配列された撮像素子244を内蔵した先端部24(撮像部)と、複数の湾曲駒によって構成された湾曲自在な湾曲部25と、湾曲部25の基端側に接続され、可撓性を有する長尺状の可撓管部26と、を有する。
先端部24は、グラスファイバ等を用いて構成されて光源装置3が発光した光の導光路をなすライトガイド241と、ライトガイド241の先端に設けられた照明レンズ242と、集光用の光学系243と、光学系243の結像位置に設けられ、光学系243が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子244と、を有する。
光学系243は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。
撮像素子244は、光学系243からの光を光電変換して電気信号(撮像信号)を生成する。具体的には、撮像素子244は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系243からの光を光電変換して電気信号を生成する受光部244aと、受光部244aの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する読み出し部244bと、を有する。撮像素子244は、処理装置4から受信した駆動信号に従って先端部24の各種動作を制御する。撮像素子244は、例えばCCD(Charge Coupled Device)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを用いて実現される。
操作部22は、湾曲部25を上下方向および左右方向に湾曲させる湾曲ノブ221と、被検体の体腔内に生体鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部222と、処理装置4、光源装置3に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ223と、を有する。処置具挿入部222から挿入される処置具は、先端部24の処置具チャンネル(図示せず)を経由して開口部(図示せず)から表出する。
ユニバーサルコード23は、ライトガイド241と、一または複数の信号線をまとめた集合ケーブル245と、を少なくとも内蔵している。集合ケーブル245は、撮像信号を伝送するための信号線や、撮像素子244を駆動するための駆動信号を伝送するための信号線、内視鏡2(撮像素子244)に関する固有情報などを含む固有情報を送受信するための信号線を含む。
つぎに、光源装置3の構成について説明する。光源装置3は、照明部31と、照明制御部32と、を備える。
照明部31は、照明制御部32の制御のもと、被写体(被検体)に対して、波長帯域が互いに異なる複数の照明光を順次切り替えて出射する。照明部31は、光源部31aと、光源ドライバ31bと、回転フィルタ31cと、駆動部31dと、駆動ドライバ31eと、を有する。
光源部31aは、白色LEDおよび一または複数のレンズ等を用いて構成され、光源ドライバ31bの制御のもと、白色光を回転フィルタ31cへ出射する。光源部31aが発生させた白色光は、回転フィルタ31cおよびライトガイド241を経由して先端部24の先端から被写体に向けて出射される。
光源ドライバ31bは、照明制御部32の制御のもと、光源部31aに対して電流を供給することにより、光源部31aに白色光を出射させる。
回転フィルタ31cは、光源部31aが出射する白色光の光路上に配置され、回転することにより、光源部31aが出射した白色光のうち所定の波長帯域の光のみを透過させる。具体的には、回転フィルタ31cは、赤色光(R)、緑色光(G)および青色光(B)それぞれの波長帯域を有する光を透過させる赤色フィルタ311、緑色フィルタ312および青色フィルタ313を有する。回転フィルタ31cは、回転することにより、赤、緑および青の波長帯域(例えば、赤:600nm〜700nm、緑:500nm〜600nm、青:400nm〜500nm)の光を順次透過させる。これにより、光源部31aが出射する白色光(W照明)は、狭帯域化した赤色光(R照明)、緑色光(G照明)および青色光(B照明)いずれかの光を内視鏡2に順次出射(面順次方式)することができる。
駆動部31dは、ステッピングモータやDCモータ等を用いて構成され、回転フィルタ31cを回転動作させる。
駆動ドライバ31eは、照明制御部32の制御のもと、駆動部31dに所定の電流を供給する。
照明制御部32は、処理装置4の制御部45からの制御信号に基づいて、光源部31aに供給する電流量を制御する。また、照明制御部32は、制御部45の制御のもと、光源ドライバ31bを介して駆動部31dを駆動することにより、回転フィルタ31cを回転させる。
なお、光源部31aを赤色LED、緑色LEDおよび青色LEDで構成し、光源ドライバ31bが各LEDに対して電流を供給することによって赤色光、緑色光または青色光を順次出射させるものであってもよい。また、白色LEDや、赤色LED、緑色LEDおよび青色LEDから同時に光を出射させるものや、レーザ、キセノンランプなどの放電灯などにより白色光を被検体に照射して画像を取得するものであってもよい。
次に、処理装置4の構成について説明する。処理装置4は、A/D変換部41と、画像処理部42と、入力部43と、記録部44と、制御部45と、を備える。
A/D変換部41は、撮像素子244が出力したアナログ信号である撮像信号に対してA/D変換を行ってデジタル信号に変換した撮像信号を画像処理部42に出力する。
画像処理部42は、A/D変換部41から入力された撮像信号をもとに、表示装置5が表示する体内画像を生成する。画像処理部42は、前処理部421と、同時化部422と、領域設定部423と、色ずれ評価値算出部424(ぶれ評価値算出部)と、コントラスト評価値算出部425(合焦評価値算出部)と、総合評価値算出部426と、フリーズ画像選択部427と、後処理部428と、バッファ429(記憶部)と、を有する。なお、本発明の画像評価装置は、領域設定部423、色ずれ評価値算出部424、コントラスト評価値算出部425、総合評価値算出部426およびバッファ429を少なくとも用いて構成される。
前処理部421は、A/D変換部41から入力された撮像信号に対し、OB(Optical Black)クランプ処理、ゲイン補正処理、ホワイトバランス補正処理を施す。前処理部421は、上述した信号処理を行った後、処理後の撮像信号を同時化部422に出力する。
同時化部422は、前処理部421から入力された撮像信号に対し、面順次の撮像信号を同時化する。具体的には、同時化部422は、面順次方式により生成されたR成分、G成分およびB成分の撮像信号を1フレームずつ蓄積し、該蓄積した各色成分の撮像信号を1フレームの画像信号として同時化する。例えば、R照明、G照明、B照明、R照明、G照明の順で照明光が出射され、R成分、G成分、B成分、R成分、G成分の順で撮像信号が得られる場合、最初の「R成分、G成分、B成分」の三つの撮像信号を1フレームの画像信号として同時化し、次に「G成分、B成分、R成分」の三つの撮像信号を1フレームの画像信号として同時化する。同時化部422は、同時化した画像信号を領域設定部423およびバッファ429に出力する。
領域設定部423は、同時化部422から出力された画像信号に対し、色ずれ評価値およびコントラスト評価値を算出するための評価値算出領域の設定を行う。領域設定部423は、設定した評価値算出領域を色ずれ評価値算出部424およびコントラスト評価値算出部425に出力する。
色ずれ評価値算出部424は、設定された評価値算出領域におけるフレーム(画像)間の色ずれを検出し、該検出した色ずれをもとに色ずれ評価値(ぶれ評価値)を算出する。具体的には、色ずれ評価算出値424は、バッファ429に記憶されている異なるフレーム(例えば最新フレームと一つ前のフレーム)の画像信号(同時化された撮像信号)に対し、色成分ごとにフレーム間の信号値を比較し、比較結果(差分信号)を出力する。差分信号は、例えば異なるフレームにおける赤色成分の信号であるR信号とR’信号とを比較する場合、R’<R(+)、R’=R(0)、R<R’(−)のいずれかが差分信号ΔRとして出力される。色ずれ評価値算出部424は、各色成分の差分信号の一致または不一致の比較結果を含む検出信号をもとに、各色成分の信号の相関を求め、該相関を色ずれ量(被写体像の動き)を算出して規格化し、規格化された値を色ずれ評価値として算出する。色ずれ評価値算出部424は、算出した色ずれ評価値を総合評価値算出部426に出力する。上述した色ずれ量は、例えば特開2001−169300号公報などの公知の技術を用いて求めることができる。
コントラスト評価値算出部425は、設定された評価値算出領域におけるコントラスト値を算出して、算出したコントラスト値を規格化してコントラスト評価値(合焦評価値)として総合評価値算出部426に出力する。コントラスト評価値算出部425は、例えばG成分の撮像信号における評価値算出領域のコントラスト値を算出して、算出したコントラスト値を規格化してコントラスト評価値を取得する。コントラスト評価値算出部425は、例えば、評価値算出領域の画素が生成した画素値に対してハイパスフィルター処理を施し、ハイパスフィルター出力値を加算することでコントラスト値を算出する。
色ずれ評価値算出部424およびコントラスト評価値算出部425は、各々の最大値および最小値をそれぞれ同じ値とする正規化を行った値(色ずれ評価値およびコントラスト評価値)を出力する。具体的には、色ずれ評価値算出部424は、例えば、各フレームに対し、色ずれ評価値として規格化した0〜1の値を付与する。色ずれ評価値算出部424は、色ずれが小さいフレームであれば1に近く、色ずれが大きいフレームであれば0に近い値を付与する。また、コントラスト評価値算出部425は、各フレームに対し、コントラスト評価値として規格化した0〜1の値を付与する。コントラスト評価値算出部425は、コントラスト値が大きいフレームであれば1に近く、コントラスト値が小さいフレームであれば0に近い値を付与する。
総合評価値算出部426は、色ずれ評価値算出部424により生成された色ずれ評価値と、コントラスト評価値算出部425により生成されたコントラスト評価値とをもとに、総合評価値を算出し、該算出した総合評価値をフリーズ画像選択部427に出力する。総合評価値算出部426は、色ずれ評価値およびコントラスト評価値を重み付けすることにより総合評価値を算出する。
具体的には、総合評価値算出部426は、総合評価値をE、色ずれ評価値算出部424により生成された色ずれ評価値をED、コントラスト評価値算出部425により生成されたコントラスト評価値をECとすると、
E=c1×ED+c2×EC ・・・(1)
により算出される。ここで、c1およびc2は係数であって、c1+c2=1である。c1およびc2の組み合わせは任意に設定可能である。術者は、入力部43を介して色ずれとコントラストとの評価における優先度に応じてc1およびc2を設定することができる。
E=c1×ED+c2×EC ・・・(1)
により算出される。ここで、c1およびc2は係数であって、c1+c2=1である。c1およびc2の組み合わせは任意に設定可能である。術者は、入力部43を介して色ずれとコントラストとの評価における優先度に応じてc1およびc2を設定することができる。
フリーズ画像選択部427は、総合評価値算出部426から出力された画像信号を後処理部428に出力するとともに、画像のフリーズ指示が入力された場合に、総合評価値をもとにフリーズ対象の画像信号を選択する。フリーズ画像選択部427は、総合評価値が最も高い画像信号をフリーズ対象画像として選択し、バッファ429から取得する。フリーズ画像選択部427は、取得したフリーズ対象画像(画像信号)を後処理部428に出力する。
後処理部428は、バッファ429から取得したライブ表示用の画像信号(同時化された画像信号)、またはフリーズ画像選択部427から出力されたフリーズ対象の画像信号に対し、階調変換処理、色変換処理、輪郭強調処理を施す。後処理部428は、処理後の画像信号を表示装置5に出力する。
バッファ429は、例えばリングバッファを用いて実現され、同時化部422により生成された一定量(所定フレーム数)の撮像信号を記憶する。バッファ429は、容量が不足すると(所定のフレーム数の撮像信号を記憶すると)、最も古い撮像信号を最新の撮像信号で上書きすることで、最新の撮像信号を時系列順に所定フレーム数記憶する。
入力部43は、内視鏡システム1の動作を指示する動作指示信号等の各種信号の入力を受け付ける。
記録部44は、フラッシュメモリやDRAM(Dynamic Random Access Memory)等の半導体メモリを用いて実現される。記録部44は、内視鏡システム1を動作させるための各種プログラム、および内視鏡システム1の動作に必要な各種パラメータ等を含むデータを記録する。また、記録部44は、処理装置4の識別情報を記録する。識別情報には、処理装置4の固有情報(ID)、年式およびスペック情報等が含まれる。
制御部45は、CPU等を用いて構成され、撮像素子244および光源装置3を含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部45は、記録部44に記録されている撮像制御のための制御情報データ(例えば、読み出しタイミングなど)を参照し、集合ケーブル245に含まれる所定の信号線を介して撮像素子244へ送信する。
次に、表示装置5について説明する。表示装置5は、映像ケーブルを介して処理装置4が生成した映像信号に対応する体内画像を受信して表示する。表示装置5は、液晶または有機EL(Electro Luminescence)等のモニタを用いて構成される。
続いて、本実施の形態1にかかる内視鏡システム1の画像処理部42による評価値算出処理について、図3を参照して説明する。図3は、本実施の形態1にかかる内視鏡システムの画像処理部による評価値算出処理を説明するフローチャートである。画像処理部42は、A/D変換部41から撮像信号が入力されると、入力された撮像信号をもとに、表示装置5が表示する体内画像を生成する。また、入力された撮像信号をもとに、色ずれおよびコントラストの評価値に基づく総合評価値を算出する。以下のフローチャートでは、フリーズ画像表示指示があった際にフリーズ画像を選択してフリーズ表示用の画像信号を生成する処理について説明する。
前処理部421は、A/D変換部41から入力された撮像信号に対し、前処理である上述した信号処理(OBクランプ処理など)を施す(ステップS101)。前処理部421は、信号処理後、処理後の撮像信号を同時化部422に出力する。
同時化部422は、前処理部421から入力された撮像信号に対し、面順次の撮像信号を同時化する(ステップS102)。同時化部422は、同時化した画像信号を領域設定部423およびバッファ429に出力する。
領域設定部423は、同時化部422から出力された画像信号に対し、色ずれ評価値およびコントラスト評価値を算出するための評価値算出領域の設定を行う(ステップS103:領域設定ステップ)。本実施の形態1では、例えばOB領域を除く有効画素領域を評価値算出領域として設定し、該設定した評価値算出領域にかかる情報を、色ずれ評価値算出部424およびコントラスト評価値算出部425に出力する。なお、評価値算出領域は、有効画素領域の他、関心領域(Region of Interest:ROI)などの術者の観察対象に応じて設定することが可能である。
色ずれ評価値算出部424は、設定された評価値算出領域におけるフレーム(画像)間の色ずれを検出し、該検出した色ずれをもとに色ずれ評価値を算出し、色ずれ評価値として規格化した0〜1の値を付与する(ステップS104:ぶれ評価値算出ステップ)。色ずれ評価値算出部424は、算出した色ずれ評価値を総合評価値算出部426に出力する。
また、コントラスト評価値算出部425は、設定された評価値算出領域におけるコントラスト値を算出して、算出したコントラスト値を規格化してコントラスト評価値として総合評価値算出部426に出力する(ステップS105:合焦評価値算出ステップ)。なお、色ずれ評価値算出処理およびコントラスト評価値算出処理は、順序が逆であってもよいし、同時に行ってもよい。
総合評価値算出部426は、色ずれ評価値およびコントラスト評価値をもとに、上述した式(1)を用いて総合評価値を算出し、該算出した総合評価値をフリーズ画像選択部427に出力する(ステップS106:総合評価値算出ステップ)。
総合評価値算出後、フリーズ画像選択部427が、総合評価値をもとにフリーズ対象の画像信号を選択する(ステップS107)。フリーズ画像選択部427は、バッファ429に記憶されているフリーズ候補の画像信号のうち、総合評価値の最も高いフレームからなる画像信号を選択する。フリーズ画像選択部427は、例えば、RGB成分の三つの撮像素子の総合評価の平均値が最も高い画像信号を選択する。フリーズ画像選択部427は、取得したフリーズ対象画像(画像信号)を後処理部428に出力する。
後処理部428は、フリーズ画像選択部427から出力されたフリーズ対象の画像信号に対し、上述した信号処理(階調変換処理など)を施して、表示用のフリーズ画像を生成する(ステップS108)。後処理部428は、処理後の画像信号をフリーズ表示用の画像信号として表示装置5に出力する。
上述した本実施の形態1によれば、領域設定部423により設定された評価値算出領域に対して色ずれ評価値算出部424が算出した色ずれ評価値、およびコントラスト評価値算出部425が算出したコントラスト評価値をもとに、総合評価値算出部426が式(1)を用いて総合評価値を算出し、算出された総合評価値をもとにフリーズ対象の画像信号を選択するようにしたので、画像の合焦およびぶれの評価を正確に行ってフリーズ対象の画像を抽出することができる。
なお、本実施の形態1では、領域設定部423が、OB領域を除く有効画素領域を評価値算出領域として設定するものとして説明したが、予め設定された領域に設定するものであってもよいし、コントラスト値の高い画素領域を中心とした所定の大きさを評価値算出領域として設定するものであってもよい。
(実施の形態2)
次に、本発明の実施の形態2について説明する。図4は、本実施の形態2にかかる内視鏡システムの画像処理部による評価値算出処理を説明する模式図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。上述した実施の形態1では、領域設定部423がOB領域を除く有効画素領域を評価値算出領域として設定するものとして説明したが、本実施の形態2では、評価値算出領域を複数の小領域に分ける。
次に、本発明の実施の形態2について説明する。図4は、本実施の形態2にかかる内視鏡システムの画像処理部による評価値算出処理を説明する模式図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。上述した実施の形態1では、領域設定部423がOB領域を除く有効画素領域を評価値算出領域として設定するものとして説明したが、本実施の形態2では、評価値算出領域を複数の小領域に分ける。
表示装置5は、図4に示すように、表示領域100において後処理部428により生成された体内画像を表示する。領域設定部423は、表示される体内画像に対して、分割された九つ(3×3)の領域である小領域101〜109を評価値算出領域として設定する。小領域101〜109は、予め設定された所定の大きさ(画素数)の領域であって、記録部44に記録されている。領域設定部423は、記録部44を参照して小領域に関する情報を読み出して小領域の設定を行う。
領域設定部423は、設定した小領域101〜109について、評価値算出対象の小領域を選定する。まず、領域設定部423は、小領域101〜109に含まれる画素が生成した画素値(輝度値)がハレーション(例えば、図4に示すハレーションHp)に相当する輝度値以下または黒つぶれに相当する輝度値以上であるか否か、すなわち判定対象の画素が生成した画素値がハレーションも黒つぶれも生じていないか否かを判定する。具体的には、領域設定部423は、判定対象画素の輝度値をP、ハレーションにかかる輝度値の閾値をTH、黒つぶれにかかる輝度値の閾値をTBとすると、TB<P<THである場合はハレーションも黒つぶれも生じていない画素であると判定し、TH<Pである場合はハレーションが生じている画素であると判定し、P<TBである場合は黒つぶれが生じている画素であると判定する。
その後、領域設定部423は、ハレーションが生じている画素、および黒つぶれが生じている画素を抽出し、設定した小領域101〜109について、ハレーション面積(画素数)および黒つぶれ面積(画素数)を算出する。領域設定部423は、算出したハレーション面積をハレーション面積にかかる閾値と比較するとともに、算出した黒つぶれ面積を黒つぶれ面積にかかる閾値と比較する。領域設定部423は、いずれか一方の閾値よりも大きい面積を有する小領域を、評価値算出対象から除外する。領域設定部423は、このようにして評価値算出対象の小領域を選定し、該選定した評価値算出対象領域を色ずれ評価値算出部424およびコントラスト評価値算出部425に出力する。色ずれ評価値算出部424およびコントラスト評価値算出部425は、選定された小領域における色ずれ評価値およびコントラスト評価値をそれぞれ算出する。図4では、説明のため選定された小領域を実線で示し、除外された小領域を破線で示している。
続いて、本実施の形態2にかかる内視鏡システム1の画像処理部42による評価値算出処理について、図5を参照して説明する。図5は、本実施の形態2にかかる内視鏡システムの画像処理部による評価値算出処理を説明するフローチャートである。以下のフローチャートでは、フリーズ画像表示指示があった際にフリーズ画像を選択してフリーズ表示用の画像信号を生成する処理について説明する。A/D変換部41から撮像信号が入力されると、上述したステップS101,S102と同様に、前処理部421が、信号処理(OBクランプ処理など)を施し(ステップS201)、同時化部422が同時化処理を行う(ステップS202)。
領域設定部423は、同時化部422から出力された画像信号に対し、色ずれ評価値およびコントラスト評価値を算出するための評価値算出領域の設定を行う(ステップS203)。本実施の形態2では、記録部44を参照するなどして、例えば図4に示す九つ(3×3)の領域である小領域101〜109を評価値算出領域として設定する。
領域設定部423は、小領域101〜109の設定後、各小領域101〜109について上述したようなハレーション面積および黒つぶれ面積の算出を行い(ステップS204)、ハレーション面積および黒つぶれ面積にかかる閾値を参照して、評価値算出対象の小領域を選定する(ステップS205)。
色ずれ評価値算出部424は、選定された小領域におけるフレーム(画像)間の色ずれを検出し、該検出した色ずれをもとに色ずれ評価値を算出し、色ずれ評価値として規格化した0〜1の値を付与する(ステップS206)。色ずれ評価値算出部424は、小領域ごとに算出した複数の色ずれ評価値の平均値、複数の色ずれ評価値のうちの最大値または最頻値を代表色ずれ評価値として総合評価値算出部426に出力する。
また、コントラスト評価値算出部425は、選定された小領域におけるコントラスト値を算出して、算出したコントラスト値を規格化して代表コントラスト評価値をコントラスト評価値として総合評価値算出部426に出力する(ステップS207)。コントラスト評価値算出部425は、小領域ごとに算出した複数のコントラスト評価値の平均値、複数のコントラスト評価値のうちの最大値または最頻値を代表コントラスト評価値として総合評価値算出部426に出力する。
総合評価値算出部426は、代表色ずれ評価値および代表コントラスト評価値をもとに、上述した式(1)を用いて総合評価値を算出し、該算出した総合評価値と、色ずれ評価値算出部424から出力された画像信号とをフリーズ画像選択部427に出力する(ステップS208)。
総合評価値算出後、フリーズ画像選択部427が、総合評価値をもとにフリーズ対象の画像信号を選択する(ステップS209)。その後、後処理部428が、フリーズ画像選択部427から出力されたフリーズ対象の画像信号に対し、上述した信号処理(階調変換処理など)を施す(ステップS210)。後処理部428は、処理後の画像信号をフリーズ表示用の画像信号として表示装置5に出力する。
上述した本実施の形態2によれば、色ずれ評価値算出部424が算出した色ずれ評価値、およびコントラスト評価値算出部425が算出したコントラスト評価値をもとに、総合評価値算出部426が式(1)を用いて総合評価値を算出し、算出された総合評価値をもとにフリーズ対象の画像信号を選択するようにしたので、画像の合焦およびぶれの評価を正確に行ってフリーズ対象の画像を抽出することができる。
また、上述した本実施の形態2によれば、評価対象領域を分割した複数の小領域とし、小領域ごとに色ずれ評価値およびコントラスト評価値を算出し、総合評価値算出部426が総合評価値を算出し、算出された総合評価値をもとにフリーズ対象の画像信号を選択するようにしたので、より詳細な画像評価を行ってフリーズ対象の画像を抽出することができる。
また、上述した本実施の形態2によれば、設定された複数の小領域に対し、ハレーション面積および黒つぶれ面積をもとに評価対象の小領域を選定し、該選定された小領域ごとに色ずれ評価値およびコントラスト評価値を算出し、総合評価値算出部426が総合評価値を算出し、算出された総合評価値をもとにフリーズ対象の画像信号を選択するようにしたので、より正確な画像評価を行ってフリーズ対象の画像を抽出することができる。
なお、本実施の形態2において、表示装置5に小領域101〜109を表示するようにしてもよい。小領域101〜109を表示することで、術者が体内画像のどの部分について画像評価が行われているかを確認することができる。
(実施の形態3)
次に、本発明の実施の形態3について説明する。図6は、本実施の形態3にかかる内視鏡システムの画像処理部による評価値算出処理を説明する模式図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。本実施の形態3では、先端部24から生体鉗子などの処置具が延出し、該処置具が体内画像中に映り込む場合に、該処置具の配置に応じて小領域を評価値算出対象から除外する。
次に、本発明の実施の形態3について説明する。図6は、本実施の形態3にかかる内視鏡システムの画像処理部による評価値算出処理を説明する模式図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。本実施の形態3では、先端部24から生体鉗子などの処置具が延出し、該処置具が体内画像中に映り込む場合に、該処置具の配置に応じて小領域を評価値算出対象から除外する。
本実施の形態3では、図6に示すように、体内画像中に処置具110が映り込むと、処置具110上に位置する小領域を評価値算出対象から除外する。図6に示す模式図の場合、領域設定部423が、処置具110上に位置する小領域104,107,108を評価値算出対象から除外する。
具体的には、領域設定部423は、小領域101〜109を設定後、同時化部422から出力される画像信号から画素ごとの輝度値を参照し、予め設定された処置具110の挿入位置において輝度値が閾値を超えている場合に、処置具110の映り込みを検出する。領域設定部423は、処置具110の映り込みを検出すると、処置具110の挿入位置にかかる小領域(図6では小領域104,107,108)を評価値算出対象から除外する設定を行う。
続いて、本実施の形態3にかかる内視鏡システム1の画像処理部42による評価値算出処理について、図7を参照して説明する。図7は、本実施の形態3にかかる内視鏡システムの画像処理部による評価値算出処理を説明するフローチャートである。以下のフローチャートでは、フリーズ画像表示指示があった際にフリーズ画像を選択してフリーズ表示用の画像信号を生成する処理について説明する。A/D変換部41から撮像信号が入力されると、上述したステップS201,S202と同様に、前処理部421が、信号処理(OBクランプ処理など)を施し(ステップS301)、同時化部422が同時化処理を行う(ステップS302)。
領域設定部423は、同時化部422から出力された画像信号に対し、色ずれ評価値およびコントラスト評価値を算出するための評価値算出領域の設定を行う(ステップS303)。本実施の形態3では、図6に示す九つ(3×3)の領域である小領域101〜109を評価値算出領域として設定する。
領域設定部423は、小領域101〜109の設定後、体外画像中に処置具が存在するか否かの検出処理を行う(ステップS304)。領域設定部423は、体内画像中に処置具が検出されない場合(ステップS304:No)、ステップS306に移行する。一方、領域設定部423は、体内画像中に処置具を検出した場合(ステップS304:Yes)、ステップS305に移行して小領域除外処理を行う。
ステップS305では、領域設定部423が、予め設定された処置具110の挿入位置にかかる小領域(図6では小領域104,107,108)を評価値算出対象から除外する設定を行う。
ステップS306では、色ずれ評価値算出部424は、ステップS305で除外された小領域を除く小領域(本実施の形態3では小領域101〜103,105,106,109)におけるフレーム(画像)間の色ずれを検出し、該検出した色ずれをもとに色ずれ評価値を算出し、色ずれ評価値として規格化した0〜1の値を付与する。色ずれ評価値算出部424は、算出した色ずれ評価値を総合評価値算出部426に出力する。
また、コントラスト評価値算出部425は、ステップS305で除外された小領域を除く小領域におけるコントラスト値を算出して、算出したコントラスト値を規格化してコントラスト評価値として総合評価値算出部426に出力する(ステップS307)。
総合評価値算出部426は、色ずれ評価値およびコントラスト評価値をもとに、上述した式(1)を用いて総合評価値を算出し、該算出した総合評価値と、色ずれ評価値算出部424から出力された画像信号とをフリーズ画像選択部427に出力する(ステップS308)。ここで、総合評価値算出部426が算出する総合評価値は、各小領域の総合評価値の平均であってもよいし、最も大きい評価値を採用するものであってもよい。
総合評価値算出後、フリーズ画像選択部427が、総合評価値をもとにフリーズ対象の画像信号を選択する(ステップS309)。その後、後処理部428が、フリーズ画像選択部427から出力されたフリーズ対象の画像信号に対し、上述した信号処理(階調変換処理など)を施す(ステップS310)。後処理部428は、処理後の画像信号をフリーズ表示用の画像信号として表示装置5に出力する。
上述した本実施の形態3によれば、色ずれ評価値算出部424が算出した色ずれ評価値、およびコントラスト評価値算出部425が算出したコントラスト評価値をもとに、総合評価値算出部426が式(1)を用いて総合評価値を算出し、算出された総合評価値をもとにフリーズ対象の画像信号を選択するようにしたので、画像の合焦およびぶれの評価を正確に行ってフリーズ対象の画像を抽出することができる。
また、上述した本実施の形態3によれば、領域設定部423が、複数の小領域を設定した後、処置具を検出した場合に該処置具の挿入位置にかかる小領域を評価対象領域から除外するようにしたので、処置具の有無によらず体内画像に対する画像評価を正確に行ってフリーズ対象の画像を抽出することができる。
(実施の形態4)
次に、本発明の実施の形態4について説明する。図8は、本実施の形態4にかかる内視鏡システムの画像処理部による評価値算出処理を説明する模式図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。上述した実施の形態3では、体内画像中の処置具の有無を検出するものとして説明したが、本実施の形態4では、先端部24から送水される液体の体内画像への映り込みを検出する。
次に、本発明の実施の形態4について説明する。図8は、本実施の形態4にかかる内視鏡システムの画像処理部による評価値算出処理を説明する模式図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。上述した実施の形態3では、体内画像中の処置具の有無を検出するものとして説明したが、本実施の形態4では、先端部24から送水される液体の体内画像への映り込みを検出する。
本実施の形態4では、図8に示すように、体内画像中に液体Wが映り込むと、液体W上に位置する小領域を評価値算出対象から除外する。図8に示す模式図の場合、領域設定部423が、液体W上に位置する小領域105,109を評価値算出対象から除外する。
具体的には、領域設定部423は、小領域101〜109を設定後、同時化部422から出力される画像信号から画素ごとの輝度値を参照し、予め設定された液体Wの送水角度において輝度値が閾値を超えている場合に、液体Wの映り込みを検出する。領域設定部423は、液体Wの映り込みを検出すると、送水角度にかかる小領域(図8では小領域105,109)を評価値算出対象から除外する設定を行う。なお、具体的な評価値算出処理については、図7のステップS304の処置具を液体に読み替える。
上述した本実施の形態4によれば、領域設定部423が、複数の小領域を設定した後、液体を検出した場合に送水角度にかかる小領域を評価算出対象領域から除外するようにしたので、液体の有無によらず体内画像に対する画像評価を正確に行ってフリーズ対象の画像を抽出することができる。
(実施の形態4の変形例)
上述した実施の形態4では、輝度値を参照して液体Wの存在を検出するものとして説明したが、領域設定部423が、例えば操作部22の複数のスイッチ223のうちの送水にかかるスイッチが押下された場合に、液体Wの検出、すなわち体内画像中に液体Wが映り込んだと判断してもよい。この場合、具体的な評価値算出処理については、図7のステップS304の処置具を液体に読み替え、スイッチの押下をトリガとして液体Wの検出を判断する。
上述した実施の形態4では、輝度値を参照して液体Wの存在を検出するものとして説明したが、領域設定部423が、例えば操作部22の複数のスイッチ223のうちの送水にかかるスイッチが押下された場合に、液体Wの検出、すなわち体内画像中に液体Wが映り込んだと判断してもよい。この場合、具体的な評価値算出処理については、図7のステップS304の処置具を液体に読み替え、スイッチの押下をトリガとして液体Wの検出を判断する。
なお、上述した実施の形態4および変形例において、体内画像中に液体が映り込むと、該液体により体表面を認識し難い画像となる場合がある。この場合、体内画像が不明瞭な画像となるため、フリーズ指示の受け付けを禁止するようにしてもよい。
(実施の形態5)
次に、本発明の実施の形態5について説明する。図9は、本実施の形態5にかかる内視鏡システムの画像処理部による評価値算出処理を説明する模式図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。本実施の形態5では、先端部24にフードが取り付けられていることを検出すると、体内画像中に映り込むフードに応じて小領域を評価値算出対象から除外する。フードは、例えば拡大観察を行なう場合に先端部24に取り付けられる。フードが取り付けられて体内画像中にフードが映り込むと、該フードの配置領域の画像が暗くなる(ぼけた画像となる)。
次に、本発明の実施の形態5について説明する。図9は、本実施の形態5にかかる内視鏡システムの画像処理部による評価値算出処理を説明する模式図である。なお、上述した構成と同一の構成には同一の符号を付して説明する。本実施の形態5では、先端部24にフードが取り付けられていることを検出すると、体内画像中に映り込むフードに応じて小領域を評価値算出対象から除外する。フードは、例えば拡大観察を行なう場合に先端部24に取り付けられる。フードが取り付けられて体内画像中にフードが映り込むと、該フードの配置領域の画像が暗くなる(ぼけた画像となる)。
本実施の形態5では、図9に示すように、体内画像中にフード120が映り込む場合、フード120上に位置する小領域を評価値算出対象から除外する。図9に示す模式図の場合、領域設定部423が、フード120上に位置する小領域101,103,107,109を評価値算出対象から除外する。
具体的には、フードが映り込んでいる場合、各色成分の画像について輝度値の差を算出すると、背景とフードとの境界でコントラストが高くなる。この性質を利用して、領域設定部423は、処理装置4の起動時のキャリブレーション時などに輝度値の差を算出する(コントラスト値を求める)ことにより、フードの装着(フード120の映り込み)の有無を検出する。領域設定部423は、フードの映り込みを検出すると、フードの配置領域(映り込み領域)にかかる小領域(図9では小領域101,103,107,109)を評価値算出対象から除外する設定を行う。なお、具体的な評価値算出処理については、図7のステップS304において、フードの検出があるか否かの判断処理に読み替える。
上述した本実施の形態5によれば、領域設定部423が、フードの映り込みを検出した場合に、フードの配置領域にかかる小領域を評価算出対象領域から除外するようにしたので、フードの映り込みの有無によらず体内画像に対する画像評価を正確に行ってフリーズ対象の画像を抽出することができる。
なお、上述した実施の形態3〜5において、実施の形態2にかかるハレーション面積および黒つぶれ面積の算出および評価対象領域選定処理を組み合わせてもよい。例えば、処置具の検出による小領域の除外処理、ならびにハレーションおよび黒つぶれの検出による評価対象領域選定処理を組み合わせることによって、一層正確な画像評価を行うことができる。
また、上述した実施の形態3〜5では、処置具などの検出により小領域自体を除外するものとして説明したが、例えば、輝度値やコントラスト値をもとに、小領域のうち処置具の存在領域のみを除外して評価値を算出するものであってもよい。
また、上述した実施の形態3〜5では、輝度値をもとに処置具などを検出するものとして説明したが、例えば、パターンマッチングやマーカ、色差などを用いて検出するものであってもよい。
また、上述した実施の形態2〜5において、複数の小領域は、体内画像の表示領域を格子状に分割してなるものであってもよい。また、画像の小領域の分割は、上述の実施の形態における分割数に限らず、どのような分割数であってもよい。
また、上述した実施の形態3〜5では、内視鏡の挿入部から突出した処置具、液体、フードを内視鏡2由来の異物として検出して小領域の設定を行うものとして説明したが、この他に内視鏡2に取り付けられ、体内画像中に映り込むものがあればこの限りではない。
なお、上述した実施の形態1〜5では、色ずれ評価値およびコントラスト値が規格化された値であるものとして説明したが、色ずれ量およびコントラスト値そのものを評価値としてもよい。また、上述した実施の形態1〜5では、総合評価値をもとにフリーズ対象の画像を選択するものとして説明したが、フリーズ用に限らず、記憶対象の画像を選択するものであってもよい。
また、上述した実施の形態1〜5では、光源装置3が、処理装置4とは別体であるものとして説明したが、光源装置3および処理装置4が一体であって、例えば処理装置4の内部に照明部31および照明制御部32が設けられているものであってもよい。
以上のように、本発明にかかる画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラムは、画像の合焦およびぶれの評価を正確に行ってフリーズ対象の画像を抽出するのに有用である。
1 内視鏡システム
2 内視鏡
3 光源装置
4 処理装置
5 表示装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
31 照明部
31a 光源部
31b 光源ドライバ
31c 回転フィルタ
31d 駆動部
31e 駆動ドライバ
32 照明制御部
41 A/D変換部
42 画像処理部
43 入力部
44 記録部
45 制御部
244 撮像素子
421 前処理部
422 同時化部
423 領域設定部
424 色ずれ評価値算出部(ぶれ評価値算出部)
425 コントラスト評価値算出部(合焦評価値算出部)
426 総合評価値算出部
427 フリーズ画像選択部(画像選択部)
428 後処理部
429 バッファ
2 内視鏡
3 光源装置
4 処理装置
5 表示装置
21 挿入部
22 操作部
23 ユニバーサルコード
24 先端部
25 湾曲部
26 可撓管部
31 照明部
31a 光源部
31b 光源ドライバ
31c 回転フィルタ
31d 駆動部
31e 駆動ドライバ
32 照明制御部
41 A/D変換部
42 画像処理部
43 入力部
44 記録部
45 制御部
244 撮像素子
421 前処理部
422 同時化部
423 領域設定部
424 色ずれ評価値算出部(ぶれ評価値算出部)
425 コントラスト評価値算出部(合焦評価値算出部)
426 総合評価値算出部
427 フリーズ画像選択部(画像選択部)
428 後処理部
429 バッファ
Claims (14)
- 被写体像の画像を含む信号を取得して該画像の合焦評価およびぶれの評価を行う画像評価装置であって、
前記画像における前記合焦評価および前記ぶれの評価を行う評価対象領域を設定する領域設定部と、
前記領域設定部が設定した評価対象領域の合焦度を表す合焦評価値を算出する合焦評価値算出部と、
前記領域設定部が設定した評価対象領域の前記被写体像のぶれ量を表すぶれ評価値を算出するぶれ評価値算出部と、
前記合焦評価値算出部が算出した合焦評価値と、前記ぶれ評価値算出部が算出したぶれ評価値と、をもとに総合評価値を算出する総合評価値算出部と、
を備えたことを特徴とする画像評価装置。 - 前記評価対象領域は、複数の小領域からなることを特徴とする請求項1に記載の画像評価装置。
- 前記合焦評価値算出部は、前記小領域ごとに合焦評価値を算出し、算出した複数の合焦評価値に基づく代表合焦評価値を合焦評価値として前記総合評価値算出部に出力し、
前記ぶれ評価値算出部は、前記小領域ごとにぶれ評価値を算出し、算出した複数のぶれ評価値に基づく代表ぶれ評価値をぶれ評価値として前記総合評価値算出部に出力することを特徴とする請求項2に記載の画像評価装置。 - 前記合焦評価値算出部は、前記複数の小領域ごとの合焦評価値の最大値、平均値または最頻値を代表合焦評価値とし、
前記ぶれ評価値算出部は、前記複数の小領域ごとのぶれ評価値の最大値、平均値または最頻値を代表ぶれ評価値とすることを特徴とする請求項3に記載の画像評価装置。 - 前記領域設定部は、各小領域の輝度値をもとに、各小領域を前記評価対象領域から除外するか否かの判定を行うことを特徴とする請求項2〜4のいずれか一つに記載の画像評価装置。
- 前記信号は、内視鏡により取得された撮像信号であり、
前記領域設定部は、前記撮像信号に応じた体内画像中に映り込んだ前記内視鏡由来の異物を検出した場合に、当該異物の配置に位置する小領域を前記評価対象領域から除外することを特徴とする請求項1〜5のいずれか一つに記載の画像評価装置。 - 前記異物は、前記内視鏡の挿入部から突出したものであることを特徴とする請求項6に記載の画像評価装置。
- 前記信号は、時系列に出射された異なる波長帯域の光の照射により取得されたものであることを特徴とする請求項1〜7のいずれか一つに記載の画像評価装置。
- 前記合焦評価値および前記ぶれ評価値は、各々の最大値および最小値をそれぞれ同じ値とする正規化した値であることを特徴とする請求項1〜8のいずれか一つに記載の画像評価装置。
- 前記総合評価値算出部は、前記合焦評価値および前記ぶれ評価値に対して重み付けを行って和をとることで前記総合評価値を算出することを特徴とする請求項1〜9のいずれか一つに記載の画像評価装置。
- 前記総合評価値算出部は、前記合焦評価値および前記ぶれ評価値に対する重みを変更可能であることを特徴とする請求項10に記載の画像評価装置。
- 被検体に挿入され、該被検体内の体内画像を撮像する撮像部を有する内視鏡と、
複数の前記体内画像を記憶する記憶部と、
前記体内画像における合焦評価およびぶれの評価を行う評価対象領域を設定する領域設定部と、
前記領域設定部が設定した領域の合焦度を表す合焦評価値を算出する合焦評価値算出部と、
前記領域設定部が設定した領域の被写体像のぶれ量を表すぶれ評価値を算出するぶれ評価値算出部と、
前記合焦評価値算出部が算出した合焦評価値と、前記ぶれ評価値算出部が算出したぶれ評価値と、をもとに総合評価値を算出する総合評価値算出部と、
前記記憶部が記憶する複数の前記体内画像から、前記総合評価値算出部が算出した前記総合評価値に基づき少なくとも一つの体内画像を選択する画像選択部と、
を備えたことを特徴とする内視鏡システム。 - 被写体像の画像を含む信号を取得して該画像の合焦評価およびぶれの評価を行う画像評価装置の作動方法であって、
領域設定部が、前記画像における前記合焦評価および前記ぶれの評価を行う評価対象領域を設定する領域設定ステップと、
合焦評価値算出部が、前記領域設定ステップで設定した領域の合焦度を表す合焦評価値を算出する合焦評価値算出ステップと、
ぶれ評価値算出部が、前記領域設定ステップで設定した領域の前記被写体像のぶれ量を表すぶれ評価値を算出するぶれ評価値算出ステップと、
総合評価値算出部が、前記合焦評価値算出ステップで算出した合焦評価値と、前記ぶれ評価値算出ステップで算出したぶれ評価値と、をもとに総合評価値を算出する総合評価値算出ステップと、
を備えたことを特徴とする画像評価装置の作動方法。 - 被写体像の画像を含む信号を取得して該画像の合焦評価およびぶれの評価を行う画像評価装置の作動プログラムであって、
領域設定部が、前記画像における前記合焦評価および前記ぶれの評価を行う評価対象領域を設定する領域設定手順と、
合焦評価値算出部が、前記領域設定手順で設定した領域の合焦度を表す合焦評価値を算出する合焦評価値算出手順と、
ぶれ評価値算出部が、前記領域設定手順で設定した領域の前記被写体像のぶれ量を表すぶれ評価値を算出するぶれ評価値算出手順と、
総合評価値算出部が、前記合焦評価値算出手順で算出した合焦評価値と、前記ぶれ評価値算出手順で算出したぶれ評価値と、をもとに総合評価値を算出する総合評価値算出手順と、
を前記画像評価装置に実行させることを特徴とする画像評価装置の作動プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014244119 | 2014-12-02 | ||
JP2014244119 | 2014-12-02 | ||
PCT/JP2015/083140 WO2016088628A1 (ja) | 2014-12-02 | 2015-11-25 | 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2016088628A1 true JPWO2016088628A1 (ja) | 2017-04-27 |
Family
ID=56091574
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016533674A Pending JPWO2016088628A1 (ja) | 2014-12-02 | 2015-11-25 | 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2016088628A1 (ja) |
WO (1) | WO2016088628A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6762816B2 (ja) * | 2016-09-08 | 2020-09-30 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2018211709A1 (ja) | 2017-05-19 | 2018-11-22 | オリンパス株式会社 | ブレ補正装置、内視鏡装置及びブレ補正方法 |
JP7159577B2 (ja) | 2018-03-20 | 2022-10-25 | ソニーグループ株式会社 | 内視鏡システム、制御方法、情報処理装置、およびプログラム |
JP7130011B2 (ja) * | 2020-02-04 | 2022-09-02 | 富士フイルム株式会社 | 内視鏡用光源装置及び内視鏡システム |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04212591A (ja) * | 1990-10-12 | 1992-08-04 | Olympus Optical Co Ltd | 画像フリーズ用信号処理装置 |
JP2004294788A (ja) * | 2003-03-27 | 2004-10-21 | Fuji Photo Optical Co Ltd | オートフォーカス機能を備えた電子内視鏡装置 |
JP2006149483A (ja) * | 2004-11-25 | 2006-06-15 | Olympus Corp | 電子内視鏡装置及び色ずれ補正装置 |
JP2010220755A (ja) * | 2009-03-23 | 2010-10-07 | Fujifilm Corp | 内視鏡用プロセッサ装置、およびその駆動方法 |
JP2010224112A (ja) * | 2009-03-23 | 2010-10-07 | Sony Corp | 撮像装置、撮像装置の制御方法およびプログラム |
JP2012125293A (ja) * | 2010-12-13 | 2012-07-05 | Olympus Corp | 制御装置、内視鏡装置及びフォーカス制御方法 |
JP2013016924A (ja) * | 2011-06-30 | 2013-01-24 | Nikon Corp | 画像評価装置 |
JP2013042371A (ja) * | 2011-08-16 | 2013-02-28 | Pentax Ricoh Imaging Co Ltd | 撮像装置および距離情報取得方法 |
JP2013041117A (ja) * | 2011-08-16 | 2013-02-28 | Pentax Ricoh Imaging Co Ltd | 撮像装置および距離情報取得方法 |
JP2013230319A (ja) * | 2012-05-02 | 2013-11-14 | Olympus Corp | 内視鏡装置及び内視鏡装置の制御方法 |
WO2013180147A1 (ja) * | 2012-05-31 | 2013-12-05 | オリンパス株式会社 | 内視鏡装置 |
JP2014145808A (ja) * | 2013-01-28 | 2014-08-14 | Olympus Corp | 撮像装置及び撮像装置の制御方法 |
JP2015061137A (ja) * | 2013-09-17 | 2015-03-30 | キヤノン株式会社 | 撮像装置、その制御方法、及びプログラム |
WO2015044996A1 (ja) * | 2013-09-24 | 2015-04-02 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の制御方法 |
-
2015
- 2015-11-25 WO PCT/JP2015/083140 patent/WO2016088628A1/ja active Application Filing
- 2015-11-25 JP JP2016533674A patent/JPWO2016088628A1/ja active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04212591A (ja) * | 1990-10-12 | 1992-08-04 | Olympus Optical Co Ltd | 画像フリーズ用信号処理装置 |
JP2004294788A (ja) * | 2003-03-27 | 2004-10-21 | Fuji Photo Optical Co Ltd | オートフォーカス機能を備えた電子内視鏡装置 |
JP2006149483A (ja) * | 2004-11-25 | 2006-06-15 | Olympus Corp | 電子内視鏡装置及び色ずれ補正装置 |
JP2010220755A (ja) * | 2009-03-23 | 2010-10-07 | Fujifilm Corp | 内視鏡用プロセッサ装置、およびその駆動方法 |
JP2010224112A (ja) * | 2009-03-23 | 2010-10-07 | Sony Corp | 撮像装置、撮像装置の制御方法およびプログラム |
JP2012125293A (ja) * | 2010-12-13 | 2012-07-05 | Olympus Corp | 制御装置、内視鏡装置及びフォーカス制御方法 |
JP2013016924A (ja) * | 2011-06-30 | 2013-01-24 | Nikon Corp | 画像評価装置 |
JP2013042371A (ja) * | 2011-08-16 | 2013-02-28 | Pentax Ricoh Imaging Co Ltd | 撮像装置および距離情報取得方法 |
JP2013041117A (ja) * | 2011-08-16 | 2013-02-28 | Pentax Ricoh Imaging Co Ltd | 撮像装置および距離情報取得方法 |
JP2013230319A (ja) * | 2012-05-02 | 2013-11-14 | Olympus Corp | 内視鏡装置及び内視鏡装置の制御方法 |
WO2013180147A1 (ja) * | 2012-05-31 | 2013-12-05 | オリンパス株式会社 | 内視鏡装置 |
JP2014145808A (ja) * | 2013-01-28 | 2014-08-14 | Olympus Corp | 撮像装置及び撮像装置の制御方法 |
JP2015061137A (ja) * | 2013-09-17 | 2015-03-30 | キヤノン株式会社 | 撮像装置、その制御方法、及びプログラム |
WO2015044996A1 (ja) * | 2013-09-24 | 2015-04-02 | オリンパス株式会社 | 内視鏡装置及び内視鏡装置の制御方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2016088628A1 (ja) | 2016-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9498153B2 (en) | Endoscope apparatus and shake correction processing method | |
CN113271838B (zh) | 内窥镜系统、图像处理装置、总处理时间检测方法及处理装置 | |
JPWO2012081617A1 (ja) | 撮像装置 | |
WO2016079831A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび内視鏡装置 | |
US20190082936A1 (en) | Image processing apparatus | |
CN107113405B (zh) | 图像处理装置、图像处理装置的工作方法、记录介质和内窥镜装置 | |
WO2016104386A1 (ja) | 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム | |
WO2016084257A1 (ja) | 内視鏡装置 | |
WO2017022324A1 (ja) | 画像信号処理方法、画像信号処理装置および画像信号処理プログラム | |
WO2016088628A1 (ja) | 画像評価装置、内視鏡システム、画像評価装置の作動方法および画像評価装置の作動プログラム | |
US11503982B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium for detecting a defective pixel in an image frame | |
CN109152520B (zh) | 图像信号处理装置、图像信号处理方法以及记录介质 | |
JP2010119742A (ja) | 内視鏡装置およびその制御方法 | |
US10462440B2 (en) | Image processing apparatus | |
JP2010142546A (ja) | 内視鏡装置およびその制御方法 | |
JP6346501B2 (ja) | 内視鏡装置 | |
WO2022230607A1 (ja) | 医療画像処理装置、内視鏡システム、及び医療画像処理装置の作動方法 | |
WO2017203996A1 (ja) | 画像信号処理装置、画像信号処理方法および画像信号処理プログラム | |
JP6937902B2 (ja) | 内視鏡システム | |
JP2017123997A (ja) | 撮像システムおよび処理装置 | |
JP7234320B2 (ja) | 画像処理装置および画像処理装置の作動方法 | |
JP6801990B2 (ja) | 画像処理システムおよび画像処理装置 | |
JP2017209343A (ja) | 制御装置 | |
WO2017022323A1 (ja) | 画像信号処理方法、画像信号処理装置および画像信号処理プログラム | |
JP2017221276A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170228 |