JP6113387B1 - 評価値計算装置及び電子内視鏡システム - Google Patents

評価値計算装置及び電子内視鏡システム Download PDF

Info

Publication number
JP6113387B1
JP6113387B1 JP2016574468A JP2016574468A JP6113387B1 JP 6113387 B1 JP6113387 B1 JP 6113387B1 JP 2016574468 A JP2016574468 A JP 2016574468A JP 2016574468 A JP2016574468 A JP 2016574468A JP 6113387 B1 JP6113387 B1 JP 6113387B1
Authority
JP
Japan
Prior art keywords
axis
evaluation value
color
pixel corresponding
corresponding point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016574468A
Other languages
English (en)
Other versions
JPWO2017026540A1 (ja
Inventor
貴雄 牧野
貴雄 牧野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Application granted granted Critical
Publication of JP6113387B1 publication Critical patent/JP6113387B1/ja
Publication of JPWO2017026540A1 publication Critical patent/JPWO2017026540A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/00048Constructional features of the display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/207Analysis of motion for motion estimation over a hierarchy of resolutions
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Analysis (AREA)

Abstract

電子内視鏡システムを、複数の色成分を持つカラー画像を構成する各画素に対応する画素対応点を、該画素対応点の色成分に応じて、所定の色空間の原点と交差する第一の色平面内に配置する配置手段と、第一の色平面内に所定の基準軸を設定する軸設定手段と、基準軸を含む第二の色平面を定義し、該第一の色平面内の各画素対応点を該第二の色平面に射影変換する変換手段と、第二の色平面に射影変換された各画素対応点に基づいてカラー画像に対する所定の評価値を計算する評価値計算手段とを備える構成とする。

Description

本発明は、所定の評価値を計算する評価値計算装置及び電子内視鏡システムに関する。
病変部は、一般に、正常な粘膜組織とは異なる色を呈する。近年、カラー内視鏡装置の性能の向上に伴い、正常組織に対して僅かに色の異なる病変部を術者が把握して診断することが可能になっている。しかし、術者が内視鏡による撮影画像上の僅かな色の違いによって正常組織から病変部を正確に把握して診断できるようになるためには、熟練者の指導下で長期間のトレーニングを受ける必要がある。また、熟練した術者であっても、僅かな色の違いから病変部を把握して診断することは容易ではなく、慎重な作業が要求される。
そこで、例えば特開2014−18332号公報(以下、「特許文献1」と記す。)に、術者による病変部の診断を補助するため、撮影画像に写る病変部をスコアリングする装置が記載されている。具体的には、特許文献1に記載の装置は、内視鏡による撮影画像を構成する各画素について、非線形な利得を画素値に与えるトーン強調処理を行って、病変部と判定される画素値の領域の境界近傍のダイナミックレンジを拡げた後、RGB3原色で定義されるRGB空間のトーン強調された画素データをHSI色空間、HSV色空間等の所定の色空間に変換して色相と彩度の情報を取得し、取得された色相と彩度の情報に基づいて病変部の画素であるか否かを判定し、判定された画素の数に基づいて評価値(病変指数)を計算する。
しかし、トーン強調処理等の非線形な計算処理や色空間の変換処理は負荷が重いため、処理の実行には多量のハードウェアリソースが必要になるという問題が指摘される。また、トーン強調処理を行った結果、画像の明るさに影響する撮影条件(例えば照射光の当たり具合等)に依存して撮影画像の評価値が変動してしまうという問題も指摘される。
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、画像の明るさによる評価値の変動を抑えると共に評価値計算の処理負荷を抑えることが可能な評価値計算装置及び電子内視鏡システムを提供することである。
本発明の一実施形態に係る電子内視鏡システムは、複数の色成分を持つカラー画像を構成する各画素に対応する画素対応点を、該画素対応点の色成分に応じて、所定の色空間の原点と交差する第一の色平面内に配置する配置手段と、第一の色平面内に所定の基準軸を設定する軸設定手段と、基準軸を含む第二の色平面を定義し、該第一の色平面内の各画素対応点を該第二の色平面に射影変換する変換手段と、第二の色平面に射影変換された各画素対応点に基づいてカラー画像に対する所定の評価値を計算する評価値計算手段とを備える。
また、本発明の一実施形態において、第一の色平面は、例えば、R成分の軸を含む平面である。
また、本発明の一実施形態において、第一の色平面は、例えば、G成分の軸を更に含む平面である。
また、本発明の一実施形態において、第二の色平面は、例えば、R成分の軸及び基準軸を含む平面であり、R成分の軸と基準軸とが直交する。
また、本発明の一実施形態において、基準軸は、例えば体腔内の粘膜の色味と相関の高い軸である。
また、本発明の一実施形態において、評価値計算手段は、第二の色平面に射影変換された各画素対応点について、R成分の軸の値に比例して高くなる第一の係数と、基準軸の値が高くなるほど低くなる第二の係数を適用し、適用された第一及び第二の係数に基づいて該画素対応点の評価値を計算し、計算された各画素対応点の評価値に基づいてカラー画像に対する所定の評価値を計算する構成としてもよい。
また、本発明の一実施形態において、評価値計算手段は、画素対応点に適用された第一の係数と第二の係数とを乗算し、乗算によって得られた値に基づいて該画素対応点の評価値を計算する構成としてもよい。
また、本発明の一実施形態において、所定の評価値は、例えば、体腔内の異常部を数値化して示すものである。
また、本発明の一実施形態において、軸設定手段は、基準軸により、第一の色平面を第一の領域と第二の領域に区分する構成としてもよい。この場合、評価値計算手段は、第一の領域に配置された画素対応点を用いて所定の評価値を計算する。また、軸設定手段は、第二の領域内に配置される画素対応点の数が所定の範囲内に収まるように、基準軸を設定する。
また、本発明の一実施形態に係る評価値計算装置は、複数の色成分を持つカラー画像を構成する各画素に対応する画素対応点を、該画素対応点の色成分に応じて、所定の色空間の原点と交差する第一の色平面内に配置する配置手段と、第一の色平面内に所定の基準軸を設定する軸設定手段と、基準軸を含む第二の色平面を定義し、該第一の色平面内の各画素対応点を該第二の色平面に射影変換する変換手段と、第二の色平面に射影変換された各画素対応点に基づいてカラー画像に対する所定の評価値を計算する評価値計算手段とを備える。
本発明の一実施形態に係る評価値計算装置は、R(Red)、G(Green)、B(Blue)の各色成分を持つカラー画像を構成する各画素に対応する画素対応点を、その色成分に応じて、R成分の軸である第一の軸と、該第一の軸と直交するG成分の軸である第二の軸とを含む第一の平面内に配置する配置手段と、第一の平面内において第一の軸と第二の軸との交点を通り且つ該第一の軸、該第二の軸の何れに対しても非平行な第三の軸を定義し、該第一の軸と該第三の軸とが直交する第二の平面を定義し、各画素対応点を該第二の平面に射影変換する変換手段と、第二の平面に射影変換された各画素対応点に基づいてカラー画像に対する所定の評価値を計算する評価値計算手段とを備える。
また、本発明の一実施形態において、第三の軸は、例えば体腔内の粘膜の色味と相関の高い軸である。
また、本発明の一実施形態において、評価値計算手段は、第二の平面に射影変換された各画素対応点について、第一の軸の値に比例して高くなる第一の係数と、第三の軸の値が高くなるほど低くなる第二の係数を適用し、適用された第一及び第二の係数に基づいて該画素対応点の評価値を計算し、計算された各画素対応点の評価値に基づいてカラー画像に対する所定の評価値を計算する構成としてもよい。
また、本発明の一実施形態において、評価値計算手段は、画素対応点に適用された第一の係数と第二の係数とを乗算し、乗算によって得られた値に基づいて該画素対応点の評価値を計算する構成としてもよい。
また、本発明の一実施形態において、所定の評価値は、例えば、体腔内の異常部を数値化して示すものである。
また、本発明の一実施形態に係る評価値計算装置は、電子内視鏡システムに組み込まれるものとしてもよい。
本発明の一実施形態によれば、画像の明るさによる評価値の変動を抑えると共に評価値計算の処理負荷を抑えることが可能な評価値計算装置及び電子内視鏡システムが提供される。
本発明の一実施形態に係る電子内視鏡システムの構成を示すブロック図である。 本発明の一実施形態に係るプロセッサに備えられる特殊画像処理回路による特殊画像生成処理のフローチャートを示す図である。 図2の処理ステップS13における炎症強度の計算処理の説明を補助する図である。 図2の処理ステップS13における炎症強度の計算処理の説明を補助する図である。 図2の処理ステップS13における炎症強度の計算処理の説明を補助する図である。 本発明の一実施形態において特殊モード時にモニタの表示画面に表示される表示画面例を示す図である。 本発明の別の一実施形態に係るプロセッサに備えられる特殊画像処理回路による特殊画像生成処理のフローチャートを示す図である。 図7の処理ステップS212における基準軸AXの設定方法の説明を補助する図である。 図7に示される実施形態の変形例において実行される、粘膜変化軸(基準軸AX)の設定処理のフローチャートを示す図である。 図9に示される変形例に係る設定処理の説明を補助する図である。 本発明の別の一実施形態に係る炎症評価値計算処理のフローチャートを示す図である。
以下、本発明の実施形態について図面を参照しながら説明する。なお、以下においては、本発明の一実施形態として電子内視鏡システムを例に取り説明する。
[電子内視鏡システム1の構成]
図1は、本発明の一実施形態に係る電子内視鏡システム1の構成を示すブロック図である。図1に示されるように、電子内視鏡システム1は、電子スコープ100、プロセッサ200及びモニタ300を備えている。
プロセッサ200は、システムコントローラ202及びタイミングコントローラ204を備えている。システムコントローラ202は、メモリ222に記憶された各種プログラムを実行し、電子内視鏡システム1全体を統合的に制御する。また、システムコントローラ202は、操作パネル218に接続されている。システムコントローラ202は、操作パネル218より入力される術者からの指示に応じて、電子内視鏡システム1の各動作及び各動作のためのパラメータを変更する。術者による入力指示には、例えば電子内視鏡システム1の動作モードの切替指示がある。本実施形態では、動作モードとして、通常モードと特殊モードがある。タイミングコントローラ204は、各部の動作のタイミングを調整するクロックパルスを電子内視鏡システム1内の各回路に出力する。
ランプ208は、ランプ電源イグナイタ206による始動後、白色光Lを射出する。ランプ208は、例えば、キセノンランプ、ハロゲンランプ、水銀ランプ、メタルハライドランプ等の高輝度ランプである。ランプ208より射出された白色光Lは、集光レンズ210によって集光されつつ絞り212を介して適正な光量に制限される。なお、ランプ208は、LD(Laser Diode)やLED(Light Emitting Diode)等の半導体発光素子に置き換えてもよい。なお、半導体発光素子に関しては、他の光源と比較して、低消費電力、発熱量が小さい等の特徴があるため、消費電力や発熱量を抑えつつ明るい画像を取得できるというメリットがある。明るい画像が取得できることは、後述する炎症評価値の精度を向上させることにつながる。
絞り212には、図示省略されたアームやギヤ等の伝達機構を介してモータ214が機械的に連結している。モータ214は例えばDCモータであり、ドライバ216のドライブ制御下で駆動する。絞り212は、モニタ300の表示画面に表示される映像を適正な明るさにするため、モータ214により動作され開度が変えられる。ランプ208より照射された白色光Lの光量は、絞り212の開度に応じて制限される。適正とされる映像の明るさの基準は、術者による操作パネル218の輝度調節操作に応じて設定変更される。なお、ドライバ216を制御して輝度調整を行う調光回路は周知の回路であり、本明細書においては省略することとする。
絞り212を通過した白色光Lは、LCB(Light Carrying Bundle)102の入射端面に集光されてLCB102内に入射される。入射端面よりLCB102内に入射された白色光Lは、LCB102内を伝播する。LCB102内を伝播した白色光Lは、電子スコープ100の先端に配置されたLCB102の射出端面より射出され、配光レンズ104を介して生体組織を照射する。白色光Lにより照射された生体組織からの戻り光は、対物レンズ106を介して固体撮像素子108の受光面上で光学像を結ぶ。
固体撮像素子108は、ベイヤ型画素配置を有する単板式カラーCCD(Charge Coupled Device)イメージセンサである。固体撮像素子108は、受光面上の各画素で結像した光学像を光量に応じた電荷として蓄積して、R(Red)、G(Green)、B(Blue)の画像信号を生成して出力する。以下、固体撮像素子108より順次出力される各画素(各画素アドレス)の画像信号を「画素信号」と記す。なお、固体撮像素子108は、CCDイメージセンサに限らず、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやその他の種類の撮像装置に置き換えられてもよい。固体撮像素子108はまた、補色系フィルタを搭載したものであってもよい。補色系フィルタの一例として、CMYG(シアン、マゼンタ、イエロー、グリーン)フィルタが挙げられる。
原色系(RGB)フィルタは、補色系フィルタと比較して発色性が良い。そのため、原色系フィルタを搭載した撮像素子によるRGB画像信号を炎症評価値の算出に使用すると、評価精度を向上させることができる。また、原色系フィルタを使用することにより、後述の炎症評価値計算の処理において信号の変換を行う必要がない。そのため、炎症評価値計算の処理負荷を抑えることが可能となる。
電子スコープ100の接続部内には、ドライバ信号処理回路112が備えられている。ドライバ信号処理回路112には、白色光Lにより照射された生体組織の画素信号が固体撮像素子108よりフレーム周期で入力される。ドライバ信号処理回路112は、固体撮像素子108より入力される画素信号をプロセッサ200の前段信号処理回路220に出力する。なお、以降の説明において「フレーム」は「フィールド」に置き替えてもよい。本実施形態において、フレーム周期、フィールド周期はそれぞれ、1/30秒、1/60秒である。
ドライバ信号処理回路112はまた、メモリ114にアクセスして電子スコープ100の固有情報を読み出す。メモリ114に記録される電子スコープ100の固有情報には、例えば、固体撮像素子108の画素数や感度、動作可能なフレームレート、型番等が含まれる。ドライバ信号処理回路112は、メモリ114より読み出された固有情報をシステムコントローラ202に出力する。
システムコントローラ202は、電子スコープ100の固有情報に基づいて各種演算を行い、制御信号を生成する。システムコントローラ202は、生成された制御信号を用いて、プロセッサ200に接続されている電子スコープに適した処理がなされるようにプロセッサ200内の各種回路の動作やタイミングを制御する。
タイミングコントローラ204は、システムコントローラ202によるタイミング制御に従って、ドライバ信号処理回路112にクロックパルスを供給する。ドライバ信号処理回路112は、タイミングコントローラ204から供給されるクロックパルスに従って、固体撮像素子108をプロセッサ200側で処理される映像のフレームレートに同期したタイミングで駆動制御する。
[通常モード時の動作]
通常モード時のプロセッサ200での信号処理動作を説明する。
前段信号処理回路220は、ドライバ信号処理回路112よりフレーム周期で入力されるR、G、Bの各画素信号に対してデモザイク処理を施す。具体的には、Rの各画素信号についてG、Bの周辺画素による補間処理が施され、Gの各画素信号についてR、Bの周辺画素による補間処理が施され、Bの各画素信号についてR、Gの周辺画素による補間処理が施される。これにより、1つの色成分の情報しか持たなかった画素信号が全て、R、G、Bの3つの色成分の情報を持つ画素データに変換される。なお、本実施形態において、デモザイキング後の画素データは、R、G、Bのそれぞれの色成分について8bit(0〜255)の情報を持つ。
前段信号処理回路220は、デモザイク処理後の画素データにマトリックス演算、ホワイトバランス調整処理、ガンマ補正処理等の所定の信号処理を施して特殊画像処理回路230に出力する。
特殊画像処理回路230は、前段信号処理回路220より入力される画素データを後段信号処理回路240へスルー出力する。
後段信号処理回路240は、特殊画像処理回路230より入力される画素データに所定の信号処理を施してモニタ表示用の画面データを生成し、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換する。変換されたビデオフォーマット信号は、モニタ300に出力される。これにより、生体組織のカラー画像がモニタ300の表示画面に表示される。
[特殊モード時の動作]
次に、特殊モード時のプロセッサ200での信号処理動作を説明する。
前段信号処理回路220は、ドライバ信号処理回路112よりフレーム周期で入力される画素信号に対してデモザイク処理、マトリックス演算、ホワイトバランス調整処理、ガンマ補正処理等の所定の信号処理を施して特殊画像処理回路230に出力する。
[特殊画像生成処理]
図2は、特殊画像処理回路230による特殊画像生成処理のフローチャートを示す。図2の特殊画像生成処理は、電子内視鏡システム1の動作モードが特殊モードに切り替えられた時点で開始される。
[図2のS11(現フレームの画素データの入力)]
本処理ステップS11では、前段信号処理回路220より現フレームの各画素の画素データが入力される。
[図2のS12(注目画素の選択)]
本処理ステップS12では、全ての画素の中から所定の順序に従い一つの注目画素が選択される。
[図2のS13(炎症強度の計算)]
本処理ステップS13では、処理ステップS12(注目画素の選択)にて選択された注目画素について対象疾患の炎症強度が計算される。図3〜図5に、炎症強度の計算処理の説明を補助する図を示す。
図3に、互いに直交するR軸とG軸とによって定義されるRG平面(より詳細には、R軸、G軸の二軸によって規定されるRG平面内の区画)を示す。なお、R軸は、R成分(Rの画素値)の軸であり、G軸は、G成分(Gの画素値)の軸である。本処理ステップS13では、RGB3原色で定義されるRGB空間の注目画素データ(三次元データ)がRGの二次元データに変換されて、図3に示されるように、R、Gの画素値に応じてRG平面内にプロットされる。以下、説明の便宜上、RG平面内(及び後述の〔R−粘膜〕平面)にプロットされた注目画素データの点を「注目画素対応点」と記す。
このように、本処理ステップS13では、RGB空間の注目画素データ(三次元データ)がRG平面に正射影され、該注目画素データに対応するRGB空間内の点からRG平面に下された垂線の足が注目画素対応点(二次元データ)となる。
撮影対象となる患者の体腔内は、ヘモグロビン色素等の影響によりR成分が他の成分(G成分及びB成分)に対して支配的であり、典型的には、炎症が強いほど赤味(すなわちR成分)が強くなる。そのため、注目画素のR軸の値は、基本的には、炎症の強さに比例するものと考えられる。しかし、体腔内の撮影画像は、明るさに影響する撮影条件(例えば白色光Lの当たり具合)に応じて色味が変化する。例示的には、白色光Lの届かない陰影部分は黒(無彩色)となり、白色光Lが強く当たって正反射する部分は白(無彩色)となる。すなわち、白色光Lの当たり具合によっては、注目画素のR軸の値が炎症の強さと相関の無い値を取ることもある。従って、R成分だけで炎症の強さを精確に評価することは難しい。
一般に、炎症が起こっていない体腔内の正常部位は十分な粘膜で覆われている。これに対し、炎症が起こっている体腔内の異常部位は十分な粘膜で覆われていない。病変部等の異常部位では炎症が強いほど粘膜が薄くなる。粘膜は、基本的には白基調ではあるが、色味としては若干黄味がかっており、その濃淡(粘膜の厚み)によって画像上に写る色味(黄色の色味)が変化する。従って、粘膜の濃淡も炎症の強さを評価する指標の一つになるものと考えられる。
そこで、本処理ステップS13では、図3に示されるように、RG平面内においてR軸とG軸との交点(原点)を通り且つR軸、G軸の何れの軸に対しても非平行な軸が設定される。かかる軸は、体腔内の粘膜のサンプル画像を多数解析することによって求められた軸(以下、説明の便宜上「粘膜変化軸(又は基準軸AX)」と記す。)であり、粘膜の濃淡(粘膜の色味)と相関の高い軸である。粘膜変化軸の設定データは、例えばメモリ222等の記憶媒体に記憶されている。粘膜変化軸は、R成分とG成分とが混ざった色成分、すなわち、黄成分が支配的な色味の変化軸であり、原点(0,0)と終点(255,192)とを結ぶ軸となっている。なお、本処理ステップS13にて実行される画素データをRG平面内に配置する動作は、配置手段により行われる。また、RG平面内に基準軸AXを設定する動作は、軸設定手段により行われる。
次いで、図4に示されるように、R軸と粘膜変化軸とが直交する平面(以下、説明の便宜上、「〔R−粘膜〕平面」と記す。)が定義され、RG平面にプロットされた注目画素データ(注目画素対応点)が〔R−粘膜〕平面に射影変換(正射影変換)される。なお、〔R−粘膜〕平面に射影変換された画素対応点のR軸の値は、本発明者が体腔内の粘膜のサンプル画像を多数解析した結果、最大でも128に達しない程度であることが判っている。そこで、〔R−粘膜〕平面では、計算処理負荷を軽減させるため、R軸が7bitに圧縮されている。また、粘膜変化軸は8bitである。なお、本処理ステップS13にて実行される画素データをRG平面内に配置する動作は、配置手段により行われる。また、RG平面内に粘膜変化軸(基準軸AX)を設定する動作は、軸設定手段により行われる。また、画素データを〔R−粘膜〕平面に射影変換する動作は、変換手段により行われる。
次いで、炎症が強いほど値が高くなる2つの係数(ヘモグロビン係数及び粘膜係数)が注目画素対応点に適用され、適用されたヘモグロビン係数と粘膜係数とが乗算される。
ヘモグロビン係数は、R軸の値に比例して高くなる係数であり、炎症の強さと相関する。本実施形態では、ヘモグロビン係数は、R軸の値と一致する。例示的には、注目画素対応点のR軸の値が10である場合は、該注目画素対応点にヘモグロビン係数として「10」が適用され、注目画素対応点のR軸の値が250である場合は、該注目画素対応点にヘモグロビン係数として「250」が適用される。
粘膜係数は、粘膜変化軸の値が高くなるほど低くなる係数であり、本実施形態では、値255から粘膜変化軸の値を減算したものである。別の観点では、粘膜係数は、粘膜変化軸の値が低いほど高くなる係数であり、粘膜が薄くなるほど(炎症が強いほど)高くなる。例示的には、注目画素対応点の粘膜変化軸の値が10である場合は、該注目画素対応点に粘膜係数として「245(=255−10)」が適用され、注目画素対応点のR軸の値が250である場合は、該注目画素対応点に粘膜係数として「5(=255−250)」が適用される。
ヘモグロビン係数と粘膜係数との乗算値は、ヘモグロビン係数の最大値である128で除算される。これにより、注目画素について、0〜255の範囲に収まる炎症強度が計算される。
このように、本処理ステップS13では、炎症強度を計算するにあたり、除算がビットシフト演算で可能なものしか存在しない。そのため、浮動小数点演算が不要であり、炎症強度の計算の処理負荷が少ない。
図5は、本処理ステップS13にて計算される炎症強度と体腔内の撮影画像の明るさとの関係を説明する図である。
炎症強度は、図5中、矢印Aが指す方向に位置する画素対応点の画素ほど高くなる。別の言い方をすると、炎症強度は、図5中、ヘモグロビン係数、粘膜係数が何れも低い左上の領域に位置する画素対応点の画素ほど低く、ヘモグロビン係数、粘膜係数が何れも高い右下の領域に位置する画素対応点の画素ほど高くなる。
一方、体腔内の撮影画像の明るさが白色光Lの当たり具合によって変化すると、撮影画像の色味は、個人差、撮影箇所、炎症の状態等の影響があるものの、基本的には、各色成分で同じように変化するものと考えられる。この考えによれば、体腔内の撮影画像は、図5中、矢印Bが指す方向に位置する画素対応点の画素ほど明るくなる。別の言い方をすると、体腔内の撮影画像は、図5中、R軸、粘膜変化軸の何れの値も低い左下の領域に位置する画素対応点の画素ほど暗くなり、R軸、粘膜変化軸の何れの値も高い右上の領域に位置する画素対応点の画素ほど明るくなる。
図5に示されるように、〔R−粘膜〕平面において、炎症強度の変化と相関の高い方向(矢印A方向)は、撮影画像の明るさの変化と相関の高い方向(矢印B方向)と略直交する。このことから、本処理ステップS13にて計算される炎症強度は、撮影画像の明るさの変化に実質的に影響を受けにくい値であることが判る。
[図2のS14(カラーマップ画像上での表示色の決定)]
本実施形態では、炎症強度に応じた表示色で撮影画像をモザイク化したカラーマップ画像を表示することができる。カラーマップ画像を表示可能とするため、炎症強度の値と所定の表示色とを対応付けたテーブルがメモリ222等の記憶領域に記憶されている。本テーブルでは、例えば、値5刻みで異なる表示色が対応付けられている。例示的には、炎症強度の値が0〜5の範囲では黄色が対応付けられており、該値が5増える毎に色相環での色の並び順に従って異なる表示色が対応付けられており、該値が250〜255の範囲では赤色が対応付けられている。
本処理ステップS14では、処理ステップS12(注目画素の選択)にて選択された注目画素の、カラーマップ画像上での表示色が、上記テーブルに基づき、処理ステップS13(炎症強度の計算)にて計算された注目画素の炎症強度の値に応じた色に決定される。
[図2のS15(全画素に対する処理の実行完了判定)]
本処理ステップS15では、現フレームの全ての画素に対して処理ステップS12〜S14が実行されたか否かが判定される。
処理ステップS12〜S14が未実行の画素が残っている場合(S15:NO)、図2の特殊画像生成処理は、次の注目画素に対して処理ステップS12〜S14を実行するため、処理ステップS12(注目画素の選択)に戻る。
[図2のS16(炎症評価値の計算)]
本処理ステップS16は、処理ステップS15(全画素に対する処理の実行完了判定)において、現フレームの全ての画素に対して処理ステップS12〜S14が実行されたと判定された場合(S15:YES)に実行される。本処理ステップS16では、現フレームの全ての画素の炎症強度を平均化した平均値が撮影画像全体の炎症評価値として計算され、計算された炎症評価値の表示データ(表示データ例:Score:○○)が生成される。なお、本処理ステップS16にて実行されるカラー画像に対する所定の評価値としての炎症評価値を計算する動作は、評価値計算手段により行われる。
[図2のS17(オーバレイ処理)]
本処理ステップS17では、前段信号処理回路220より入力される画素データ(すなわち、RGBの3つの色成分を持つ画素データ)に基づく通常画像と、処理ステップS14(カラーマップ画像上での表示色の決定)にて所定の表示色に決定された画素データに基づくカラーマップ画像とをオーバレイさせる割合を係数として、前者の画素データ(通常の画素データ)と後者の画素データ(カラーマップ用の画素データ)とが加算される。係数の設定は、ユーザ操作により適宜設定変更することが可能である。通常画像の方を濃く表示したい場合は、通常の画素データの係数が高く設定され、カラーマップ画像の方を濃く表示したい場合は、カラーマップ用の画素データの係数が高く設定される。
[図2のS18(終了判定)]
本処理ステップS18では、電子内視鏡システム1の動作モードが特殊モードとは別のモードに切り替えられたか否かが判定される。別のモードに切り替えられていないと判定される場合(S18:NO)、図2の特殊画像生成処理は、処理ステップS11(現フレームの画素データの入力)に戻る。一方、別のモードに切り替えられたと判定される場合(S18:YES)、図2の特殊画像生成処理は終了する。
[画面表示例]
後段信号処理回路240は、図2の処理ステップS17(オーバレイ処理)にて加算処理された画素データに基づいて通常画像とカラーマップ画像とのオーバレイ画像の表示データを生成すると共にモニタ300の表示画面の周辺領域(画像表示領域の周囲)をマスクするマスキング処理を行い、更に、マスキング処理により生成されるマスク領域に炎症評価値を重畳した、モニタ表示用の画面データを生成する。後段信号処理回路240は、生成されたモニタ表示用の画面データを所定のビデオフォーマット信号に変換して、モニタ300に出力する。
図6に、特殊モード時の画面表示例を示す。図6に例示されるように、モニタ300の表示画面には、その中央領域に体腔内の撮影画像(通常画像とカラーマップ画像とがオーバレイ表示されたオーバレイ画像)が表示されると共に画像表示領域の周囲がマスキングされた画面が表示される。また、マスク領域には炎症評価値(スコア)が表示される。
このように、本実施形態によれば、トーン強調処理等の非線形な計算処理や複雑な色空間変換処理等を行うことなく単純な計算処理を行うだけで、炎症評価値(ここでは撮影部位のヘモグロビン色素の増減に相関のある値)が求まる。すなわち、炎症評価値の計算に必要なハードウェアリソースが大幅に抑えられる。また、体腔内の撮影画像の明るさに影響する撮影条件(例えば照射光の当たり具合等)によって炎症評価値が実質的に変動しないため、術者は、炎症についてより客観的で正確な判断を下すことが可能となる。
また、本実施形態に係る電子内視鏡システムは、当技術分野における次のような効果及び課題の解決をもたらすものである。
第1に、本実施形態に係る電子内視鏡システムは、炎症性疾患を早期に発見するための診断補助となるということである。
第2に、本実施形態の構成によれば、視認し難い軽度炎症を術者が発見できるように、炎症程度を画面表示する、又は、炎症が生じている領域の画像を強調することができる。特に、軽度炎症は正常部との判別が難しいため、軽度炎症の評価に関して本実施形態の構成によりもたらされる効果が顕著となる。
第3に、本実施形態の構成によれば、炎症度の評価として客観的な評価値を術者に提供することができるため、術者間の診断差を低減することができる。特に、経験の浅い術者に対して本実施形態の構成による客観的な評価値を提供できるメリットは大きい。
第4に、本実施形態の構成によれば、画像処理の負荷が軽減されることにより、炎症部を画像としてリアルタイムに表示することができる。そのため、診断精度を向上させることができる。
第5に、本実施形態の構成によれば、上述した背景技術と比較して評価値計算の処理負荷が軽減されるため、遅滞なくカラーマップ画像(炎症度を示した画像)と通常画像とを並べて、又は、合成して表示することができる。そのため、検査時間の延長を伴うことなくカラーマップ画像を表示することが可能となり、ひいては、患者負担が増すことを回避することが可能となる。
本実施形態における観察の対象部位は、例えば、呼吸器等、消化器等である。呼吸器等は、例えば、肺、耳鼻咽喉である。消化器等は、例えば、大腸、小腸、胃、十二指腸、子宮等である。本実施形態に係る電子内視鏡システムは、観察対象が大腸である場合に効果がより顕著になると考えられる。これは、具体的には、次のような理由による。
大腸には炎症を基準として評価できる病があり、炎症している箇所を発見するメリットが他の器官と比較して大きいということである。特に、潰瘍性大腸炎に代表される炎症性腸疾患(IBD)の指標として、本実施形態による炎症評価値は有効である。潰瘍性大腸炎は治療法が確立されていないため、本実施形態の構成の電子内視鏡システムの使用により早期に発見して進行を抑える効果は非常に大きい。
大腸は、胃等と比較して細長い器官であり、得られる画像は奥行きがあり、奥ほど暗くなる。本実施形態の構成によれば、画像内の明るさの変化に起因する評価値の変動を抑えることができる。従って、本実施形態に係る電子内視鏡システムを大腸の観察に適用すると、本実施形態による効果が顕著となる。すなわち、本実施形態に係る電子内視鏡システムは、呼吸器用電子内視鏡システム又は消化器用電子内視鏡システムであることが好ましく、大腸用電子内視鏡システムであることがより好ましい。
また、軽度の炎症は一般に診断が難しいが、本実施形態の構成によれば、例えば、炎症度を評価した結果を画面に表示することで、術者が軽度炎症を見逃すことを回避することができる。特に、軽度の炎症に関しては、その判断基準は明瞭なものではないため、術者間の個人差を大きくする要因となっている。この点に関しても、本実施形態の構成によれば、客観的な評価値を術者に提供できるため、個人差による診断のばらつきを低減することができる。
なお、本実施形態の上記構成は、炎症度のみでなく、ガン、ポリープその他の色変化を伴う各種病変の評価値の算出に適用することができ、それらの場合においても、上述と同様の有利な効果をもたらすことができる。つまり、本実施形態の評価値は、色変化を伴う病変の評価値であることが好ましく、炎症度、ガン、ポリープの少なくとも何れかの評価値を含む。
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。
上記の実施形態では、各画素に含まれるR成分とG成分(RGの二次元色空間)を用いて炎症評価値が計算されているが、別の実施形態では、RGの二次元色空間に代えて、RB等の他の二次元色空間やHSI、HSV、Lab等の三次元色空間を用いることにより、該色空間に対応する、上記の実施形態とは別の対象疾患に関する評価値を計算することもできる。
上記の実施形態では、R、G、Bの原色成分を使用し炎症等の評価値が算出されているが、本発明による評価値算出のための構成は、R、G、Bの原色成分の使用に限定されるものではない。R、G、B原色成分の使用に代えて、C、M、Y、G(シアン、マゼンタ、イエロー、グリーン)の補色系の成分を使用し、上記の実施形態と同様な手法によって炎症等の評価値を算出してもよい。
上記の実施形態では、ランプ電源イグナイタ206、ランプ208、集光レンズ210、絞り212、モータ214等を含む光源部が、プロセッサと一体に設けられているが、光源部はプロセッサとは別体の装置として設けられていてもよい。
上記の実施形態において説明した通り、固体撮像素子108としてCCDイメージセンサに代え、CMOSイメージセンサが用いられてもよい。CMOSイメージセンサは、一般に、CCDイメージセンサと比較して画像が全体的に暗くなる傾向にある。従って、上記の実施形態の構成による、画像の明るさによる評価値の変動を抑えることができるという有利な効果は、固体撮像素子としてCMOSイメージセンサが用いられ状況においてより顕著に表れる。
診断を精度よく行うためには高精細な画像を得ることが好ましい。従って、診断の精度をより向上させる観点では、画像の解像度は、100万画素以上であることが好ましく、200万画素であることがより好ましく、800万画素以上であることが更に好ましい。画像の解像度が高くなるほど全画素について上述の評価値計算を行うための処理負荷が重くなる。しかし、上記の実施形態の構成によれば、評価値計算の処理負荷を抑えることができるため、高精細な画像を処理する状況において本実施形態の構成による有利な効果が顕著に表れる。
上記の実施形態における特殊画像生成処理では、画像中の全ての画素を処理の対象としているが、例えば、極めて高輝度の画素及び極めて低輝度の画素等は、処理の対象から除外してもよい。具体的には、例えば、予め定められた基準輝度範囲の輝度をもつと判定された画素のみを評価値算出の対象とすることによって評価値の精度を向上させることができる。
上記の実施形態の説明において述べた通り、電子内視鏡システム1に使用される光源としては、様々なタイプの光源を用いることができる。他方、電子内視鏡システム1の観察目的等に依存して、光源のタイプを限定的なものとする形態もあり得る(例えば、光源のタイプとしてレーザを除く等)。
また、評価値算出のために使用する色成分に関しては、色相と彩度を使用して評価値を算出することを除外する形態もあり得る。
図7に、別の一実施形態に係る特殊画像処理回路230による特殊画像生成処理のフローチャートを示す。図7の特殊画像生成処理は、例えば、電子内視鏡システム1の動作モードが特殊モードに設定されており、且つ電子スコープ100のフリーズボタンが押された時点(静止画のキャプチャ操作が行われた時点)で開始される。なお、上記の実施形態と共通する内容については適宜省略又は簡略して説明する。
[図7のS211(現フレームの画素データの入力)]
本処理ステップS211では、前段信号処理回路220より現フレーム(キャプチャ操作時)の各画素の画素データが入力される。
[図7のS212(基準軸AXの設定)]
本処理ステップS212では、対象疾患の炎症強度の計算に用いられる基準軸AXが設定される。図8に、基準軸AXの設定方法の説明を補助する図であって、互いに直交するR軸とG軸とによって定義されるRG平面(より詳細には、R軸、G軸の二軸によって規定されるRG平面内の区画)を示す。
本処理ステップS212では、RGB3原色で定義されるRGB空間の各画素の画素データ(三次元データ)がRGの二次元データに変換されて、図8に示されるように、R、Gの画素値に応じてRG平面内にプロットされる。このように、本処理ステップS212では、RGB空間の注目画素データ(三次元データ)がRG平面に正射影され、該注目画素データに対応するRGB空間内の点からRG平面に下された垂線の足が注目画素対応点(二次元データ)となる。
本処理ステップS212では、図8に示されるように、RG平面内においてR軸とG軸との交点(原点)を通り且つR軸、G軸の何れの軸に対しても非平行な基準軸AXが設定される。具体的には、始点が互いに同一(何れの始点も原点(0,0))であるG軸の終点からR軸の終点に向けて結ばれる線分上に位置する画素対応点の中でG軸の終点に最も近いもの(図8の例では、符合αが付された画素対応点)が検出される。次いで、検出された画素対応点αとR軸及びG軸の始点(すなわち原点(0,0))とを結ぶ軸が基準軸AXとして設定される。
基準軸AXは、R成分とG成分とが混ざった色成分、すなわち、黄成分が支配的な色味の変化軸であり、粘膜の濃淡(粘膜の色味)と相関が高い。本発明者が体腔内のサンプル画像を多数解析した結果、図8に例示されるように、RG平面内において、G軸の終点からR軸の終点に向けて結ばれる線分上に位置する画素対応点の中でG軸の終点に最も近い画素対応点αとR軸及びG軸の始点とを結ぶと、それ(基準軸AX(又は粘膜変化軸))を境に画素対応点が分布する領域と画素対応点が分布しない領域とが現れることが判っている。
補足すると、RG平面内の画素対応点は、血液と粘膜を示す軸に挟まれた領域内に分布すると考えられる。そのため、画素対応点が分布する領域と画素対応点が分布しない領域との境界線が粘膜を示す軸(粘膜変化軸)に相当する。符号αの点がその境界線上に位置する点であることから、符合αの点と原点とを結ぶ基準軸AXが粘膜変化軸として定義される。
附言するに、画素対応点が分布する領域は、対象疾患の撮影時に写り得る色味を示すRG平面内の領域である。また、画素対応点が分布しない領域は、対象疾患の撮影時に写り得ない色味を示すRG平面内の領域である。
このように、本実施形態では、図7に示される特殊画像生成処理の実行の過程で、実際の体腔内の撮影画像を利用してキャリブレーション(電子スコープ100の機種差や経年変化等によって変化し得る基準軸AXの設定)が自動的に実行される。よって、キャリブレーションのために従来必要とされていた専用治具や手間の掛かる作業が不要となる。
[図7のS213(注目画素の選択)]
本処理ステップS213では、全ての画素の中から所定の順序に従い一つの注目画素が選択される。
[図7のS214(炎症強度の計算)]
本処理ステップS214では、図4及び図5を用いて説明したように、処理ステップS213(注目画素の選択)にて選択された注目画素について炎症強度が計算される。
[図7のS215(カラーマップ画像上での表示色の決定)]
本処理ステップS215では、処理ステップS213(注目画素の選択)にて選択された注目画素の、カラーマップ画像上での表示色が、炎症強度の値と所定の表示色とを対応付けたテーブルに基づき、処理ステップS214(炎症強度の計算)にて計算された注目画素の炎症強度の値に応じた色に決定される。
[図7のS216(全画素に対する処理の実行完了判定)]
本処理ステップS216では、現フレームの全ての画素に対して処理ステップS213〜S215が実行されたか否かが判定される。
処理ステップS213〜S215が未実行の画素が残っている場合(S216:NO)、図7の特殊画像生成処理は、次の注目画素に対して処理ステップS213〜S215を実行するため、処理ステップS213(注目画素の選択)に戻る。
[図7のS217(炎症評価値の計算)]
本処理ステップS217は、処理ステップS216(全画素に対する処理の実行完了判定)において、現フレームの全ての画素に対して処理ステップS213〜S215が実行されたと判定された場合(S216:YES)に実行される。本処理ステップS217では、現フレームの全ての画素の炎症強度を平均化した平均値が撮影画像全体の炎症評価値として計算され、計算された炎症評価値の表示データ(表示データ例:Score:○○)が生成される。
[図7のS218(オーバレイ処理)]
本処理ステップS218では、前段信号処理回路220より入力される画素データ(すなわち、RGBの3つの色成分を持つ画素データ)に基づく通常画像と、処理ステップS215(カラーマップ画像上での表示色の決定)にて所定の表示色に決定された画素データに基づくカラーマップ画像とをオーバレイさせる割合を係数として、前者の画素データ(通常の画素データ)と後者の画素データ(カラーマップ用の画素データ)とが加算される。
[図7のS219(終了判定)]
本処理ステップS219では、電子内視鏡システム1の動作モードが特殊モードとは別のモードに切り替えられたか否かが判定される。別のモードに切り替えられていないと判定される場合(S219:NO)、図7の特殊画像生成処理は、処理ステップS211(現フレームの画素データの入力)に戻る。一方、別のモードに切り替えられたと判定される場合(S219:YES)、図7の特殊画像生成処理は終了する。
図7に示される実施形態では、図7の処理ステップS212(基準軸AXの設定)にて、画素対応点αと原点(0,0)とを結ぶ軸が基準軸AX(粘膜変化軸)として設定されているが、基準軸AXの設定方法はこれに限らない。
図9に、図7の実施形態の変形例において実行される、基準軸AXの設定処理のフローチャートを示す。また、図10(a)〜図10(c)に、本変形例に係る設定処理の説明を補助する図を示す。本変形例に係る特殊画像生成処理は、図9に示される設定処理の実行によって基準軸AXが設定される点以外、図7の実施形態に係る特殊画像生成処理と実質同じである。
[図9のS51(画素対応点の配置)]
本処理ステップS51では、現フレームの各画素対応点がRG平面内に配置される。
[図9のS52(基準軸AXの初期設定)]
本処理ステップS52では、図10(a)に示されるように、RG平面に対して基準軸AXが初期設定される。基準軸AXの初期設定データは、例えばメモリ222等の所定の記憶媒体に予め記憶されている。なお、以降においては、基準軸AXとR軸とがなす角度をθと記す。
[図9のS53(注目画素の選択)]
本処理ステップS53では、全ての画素の中から所定の順序に従い一つの注目画素(注目画素対応点)が選択される。
[図9のS54(位置の判定)]
本変形例では、図2のS14(炎症強度の計算)にて、基準軸AXとR軸との間の領域(第一の領域)に位置する注目画素対応点が炎症強度の計算に用いられ、基準軸AXとG軸との間の領域(第二の領域)に位置する注目画素対応点が炎症強度の計算に用いられない。本処理ステップS54では、処理ステップS53(注目画素の選択)にて選択された注目画素対応点が第二の領域に位置するか否かが判定される。
[図9のS55(カウント処理)]
本処理ステップS55は、処理ステップS54(位置の判定)にて注目画素対応点が第二の領域に位置すると判定された場合(S54:YES)に実行される。本処理ステップS55では、特殊画像処理回路230内のカウンタのカウント値Cが1インクリメントされる。なお、カウント値Cは、例えば、図9に示される設定処理の実行が開始された時点で一旦ゼロにリセットされている。
[図9のS56(全画素に対する処理の実行完了判定)]
本処理ステップS56では、処理ステップS51(画素対応点の配置)にて配置された全ての画素対応点に対して処理ステップS53〜S54が実行されたか否かが判定される。
処理ステップS53〜S54が未実行の画素対応点が残っている場合(S56:NO)、図9に示される設定処理は、次の注目画素対応点に対して処理を実行すべく、処理ステップS53(注目画素の選択)に戻る。
[図9のS57(カウント値Cの判定)]
本処理ステップS57は、処理ステップS56(全画素に対する処理の実行完了判定)にて全ての画素対応点に対して処理ステップS53〜S54が実行されたと判定された場合(S56:YES)に実行される。本処理ステップS57では、カウント値Cが所定の上限閾値よりも大きいか否かが判定される。
[図9のS58(角度θの増加)]
本処理ステップS58は、処理ステップS57(カウント値Cの判定)にてカウント値Cが所定の上限閾値よりも大きいと判定された場合(S57:YES)に実行される。この場合、第二の領域に位置する注目画素対応点(言い換えると、炎症強度の計算に用いられない注目画素)が多すぎて、炎症評価値を高い精度で計算することが難しくなる。そこで、本処理ステップS58では、第二の領域に位置する注目画素対応点を適正数に減らすべく、図10(b)に示されるように、角度θが増加される。
なお、角度θの増加量は固定値であってもよく、また、カウント値Cの大きさに応じて適宜設定されてもよい。後者の場合、例えばカウント値Cが大きいほど角度θの増加量が大きく設定される。
本処理ステップS58の実行後、カウント値Cがゼロにリセットされると共に、図9に示される設定処理が処理ステップS53(注目画素の選択)に戻る。そして、角度θの増加後の基準軸AXに関し、処理ステップS53〜S56が実行され(すなわち、角度θの増加後の第二の領域に位置する注目画素対応点の数がカウントされ)、処理ステップS57(カウント値Cの判定)が実行される。処理ステップS53〜S58は、カウント値Cが所定の上限閾値以下になるまでループする。
[図9のS59(カウント値Cの判定)]
本処理ステップS59は、処理ステップS57(カウント値Cの判定)にてカウント値Cが所定の上限閾値以下と判定された場合(S57:NO)に実行される。本処理ステップS59では、カウント値Cが所定の下限閾値よりも小さいか否かが判定される。
[図9のS60(角度θの減少)]
本処理ステップS60は、処理ステップS59(カウント値Cの判定)にてカウント値Cが所定の下限閾値よりも小さいと判定された場合(S59:YES)に実行される。この場合、第二の領域に位置する注目画素対応点(言い換えると、炎症強度の計算に用いられない注目画素)が少なすぎて、基準軸AXを適正に設定できていない(例えば、注目画素対応点が密に分布している領域から大きく外れたところに基準軸AXが位置するなど)虞がある。そこで、本処理ステップS60では、第二の領域に位置する注目画素対応点を適正数に増やすべく、図10(c)に示されるように、角度θが減少される。
なお、角度θの減少量は固定値であってもよく、また、カウント値Cの大きさに応じて適宜設定されてもよい。後者の場合、例えばカウント値Cが小さいほど角度θの減少量が大きく設定される。
本処理ステップS60の実行後、カウント値Cがゼロにリセットされると共に、図9に示される設定処理が処理ステップS53(注目画素の選択)に戻る。そして、角度θの減少後の基準軸AXに関し、処理ステップS53〜S56が実行され(すなわち、角度θの減少後の第二の領域に位置する注目画素対応点の数がカウントされ)、処理ステップS57(カウント値Cの判定)の実行後に、処理ステップS59(カウント値Cの判定)が実行される。処理ステップS53〜S60は、カウント値Cが所定の下限閾値以上になるまでループする。
角度θの増加・減少が繰り返されることにより、第二の領域に位置する注目画素対応点の数が適正範囲(下限閾値から上限閾値の間)に収まる(S60:NO)。これにより、精度の高いキャリブレーション(電子スコープ100の機種差や経年変化等によって変化し得る基準軸AXの設定)が達成される。
図2や図7、図9に示される特殊画像生成処理では、キャプチャ画像に対して炎症評価値が計算されているが、別の一実施形態では、動画像に対して(すなわち、複数フレームに亘って)炎症評価値が計算されてもよい。
図11に、別の一実施形態に係る炎症評価値の計算処理のフローチャートを示す。図11に示される炎症評価値計算処理は、例えば、電子内視鏡システム1の動作モードが特殊モードに設定された時点で開始される。なお、別の一実施形態については、以降に記載されているように、炎症評価値のみがモニタ300の表示画面に表示される内容に留めているが、別の一実施形態においても、図2や図7、図9に示される特殊画像生成処理と同様に、炎症評価値がオーバレイ画像等の内視鏡画像と共にモニタ300の表示画面に表示されてもよい。
[図11のS111(基準軸AXの初期設定)]
本処理ステップS111では、メモリ222等に記憶された初期設定データを用いて、RG平面に対して基準軸AXが初期設定される。
[図11のS112(現フレームの画素データの入力)]
本処理ステップS112では、前段信号処理回路220より現フレームの各画素の画素データが入力される。
[図11のS113(画素対応点の配置)]
本処理ステップS113では、現フレームの各画素対応点がRG平面内に配置される。
[図11のS114(注目画素の選択)]
本処理ステップS114では、全ての画素の中から所定の順序に従い一つの注目画素(注目画素対応点)が選択される。
[図11のS115(位置の判定)]
本処理ステップS115では、処理ステップS114(注目画素の選択)にて選択された注目画素対応点が第二の領域に位置するか否かが判定される。
[図11のS116(カウント処理)]
本処理ステップS116は、処理ステップS115(位置の判定)にて注目画素対応点が第二の領域に位置すると判定された場合(S115:YES)に実行される。本処理ステップS116では、カウント値Cが1インクリメントされる。なお、カウント値Cは、例えば、フレーム毎(例えば対象フレームについて処理ステップS112(現フレームの画素データの入力)が実行される毎)にゼロにリセットされている。
[図11のS117(炎症強度の計算)]
本処理ステップS117は、処理ステップS115(位置の判定)にて注目画素対応点が第二の領域に位置しない(言い換えると、第一の領域に位置する)と判定された場合(S115:NO)に実行される。本処理ステップS117では、処理ステップS114(注目画素の選択)にて選択された注目画素について炎症強度が計算される。
[図11のS118(全画素に対する処理の実行完了判定)]
本処理ステップS118では、現フレームの全ての画素に対して処理ステップS114〜S115が実行されたか否かが判定される。
処理ステップS114〜S115が未実行の画素が残っている場合(S118:NO)、図11の炎症評価値計算処理は、次の注目画素に対して処理ステップS114〜S115を実行するため、処理ステップS114(注目画素の選択)に戻る。
[図11のS119(炎症評価値の計算)]
本処理ステップS119は、処理ステップS118(全画素に対する処理の実行完了判定)において、現フレームの全ての画素に対して処理ステップS114〜S115が実行されたと判定された場合(S118:YES)に実行される。本処理ステップS119では、処理ステップS117(炎症強度の計算)にて計算された各画素(言い換えると、第一の領域に位置する画素のみ)の炎症強度を平均化した平均値が撮影画像全体の炎症評価値として計算され、モニタ300の表示画面に表示される。
[図11のS120(カウント値Cの判定)]
本処理ステップS120では、カウント値Cが所定の上限閾値よりも大きいか否かが判定される。
[図11のS121(角度θの増加)]
本処理ステップS121は、処理ステップS120(カウント値Cの判定)にてカウント値Cが所定の上限閾値よりも大きいと判定された場合(S120:YES)に実行される。この場合、第二の領域に位置する注目画素対応点が多すぎて、炎症評価値を高い精度で計算することが難しくなる。そこで、本処理ステップS120では、第二の領域に位置する注目画素対応点を適正数に減らすべく、角度θが増加される。
[図11のS122(カウント値Cの判定)]
本処理ステップS122は、処理ステップS120(カウント値Cの判定)にてカウント値Cが所定の上限閾値以下と判定された場合(S120:NO)に実行される。本処理ステップS122では、カウント値Cが所定の下限閾値よりも小さいか否かが判定される。
[図11のS123(角度θの減少)]
本処理ステップS123は、処理ステップS122(カウント値Cの判定)にてカウント値Cが所定の下限閾値よりも小さいと判定された場合(S122:YES)に実行される。この場合、第二の領域に位置する注目画素対応点が少なすぎて、基準軸AXを適正に設定できていない虞がある。そこで、本処理ステップS123では、第二の領域に位置する注目画素対応点を適正数に増やすべく、角度θが減少される。
[図11のS124(炎症評価値計算処理の終了判定)]
本処理ステップS124では、例えば術者によって特殊モードから通常モード等の他のモードに切り替えられたか否かが判定される。他のモードに切り替えられていない場合(S124:NO)、図11の炎症評価値計算処理は、次のフレームについて炎症評価値の計算及び表示を行うため、処理ステップS112(現フレームの画素データの入力)に戻る。他のモードに切り替えられた場合(S124:YES)、図11の炎症評価値計算処理は終了する。
別の一実施形態によれば、撮影条件や撮影領域が逐次変化する動画撮影時において、基準軸AXが逐次調整される(すなわち、フレーム毎に再設定される。但し、第二の領域に位置する注目画素対応点の数が適正範囲(下限閾値から上限閾値の間)に収まっている時には基準軸AXが維持される。)。そのため、撮影条件や撮影領域が逐次変化する状況下においても、炎症評価値が高い精度で逐次計算される。

Claims (16)

  1. 複数の色成分を持つカラー画像を構成する各画素に対応する画素対応点を、該画素対応点の色成分に応じて、所定の色空間の原点と交差する第一の色平面内に配置する配置手段と、
    前記第一の色平面内に所定の基準軸を設定する軸設定手段と、
    前記基準軸を含む第二の色平面を定義し、該第一の色平面内の前記各画素対応点を該第二の色平面に射影変換する変換手段と、
    前記第二の色平面に射影変換された各画素対応点に基づいて前記カラー画像に対する所定の評価値を計算する評価値計算手段と、
    を備える、
    電子内視鏡システム。
  2. 前記第一の色平面は、
    R成分の軸を含む平面である、
    請求項1に記載の電子内視鏡システム。
  3. 前記第一の色平面は、
    G成分の軸を更に含む平面である、
    請求項2に記載の電子内視鏡システム。
  4. 前記第二の色平面は、
    R成分の軸及び前記基準軸を含む平面であり、
    前記R成分の軸と前記基準軸とが直交する、
    請求項1から請求項3の何れか一項に記載の電子内視鏡システム。
  5. 前記基準軸は、
    体腔内の粘膜の色味と相関の高い軸である、
    請求項1から請求項4の何れか一項に記載の電子内視鏡システム。
  6. 前記評価値計算手段は、
    前記第二の色平面に射影変換された各画素対応点について、前記R成分の軸の値に比例して高くなる第一の係数と、前記基準軸の値が高くなるほど低くなる第二の係数を適用し、適用された第一及び第二の係数に基づいて該画素対応点の評価値を計算し、
    計算された各画素対応点の評価値に基づいて前記カラー画像に対する所定の評価値を計算する、
    請求項4又は請求項4を引用する請求項5に記載の電子内視鏡システム。
  7. 前記評価値計算手段は、
    前記画素対応点に適用された前記第一の係数と前記第二の係数とを乗算し、乗算によって得られた値に基づいて該画素対応点の評価値を計算する、
    請求項6に記載の電子内視鏡システム。
  8. 前記所定の評価値は、
    体腔内の異常部を数値化して示すものである、
    請求項1から請求項7の何れか一項に記載の電子内視鏡システム。
  9. 前記軸設定手段は、
    前記基準軸により、前記第一の色平面を第一の領域と第二の領域に区分し、
    前記評価値計算手段は、
    前記第一の領域に配置された画素対応点を用いて前記所定の評価値を計算し、
    前記軸設定手段は、
    前記第二の領域内に配置される画素対応点の数が所定の範囲内に収まるように、前記基準軸を設定する、
    請求項1から請求項8の何れか一項に記載の電子内視鏡システム。
  10. 複数の色成分を持つカラー画像を構成する各画素に対応する画素対応点を、該画素対応点の色成分に応じて、所定の色空間の原点と交差する第一の色平面内に配置する配置手段と、
    前記第一の色平面内に所定の基準軸を設定する軸設定手段と、
    前記基準軸を含む第二の色平面を定義し、該第一の色平面内の前記各画素対応点を該第二の色平面に射影変換する変換手段と、
    前記第二の色平面に射影変換された各画素対応点に基づいて前記カラー画像に対する所定の評価値を計算する評価値計算手段と、
    を備える、
    評価値計算装置。
  11. R(Red)、G(Green)、B(Blue)の各色成分を持つカラー画像を構成する各画素に対応する画素対応点を、その色成分に応じて、R成分の軸である第一の軸と、該第一の軸と直交するG成分の軸である第二の軸とを含む第一の平面内に配置する配置手段と、
    前記第一の平面内において前記第一の軸と前記第二の軸との交点を通り且つ該第一の軸、該第二の軸の何れに対しても非平行な第三の軸を定義し、該第一の軸と該第三の軸とが直交する第二の平面を定義し、前記各画素対応点を該第二の平面に射影変換する変換手段と、
    前記第二の平面に射影変換された各画素対応点に基づいて前記カラー画像に対する所定の評価値を計算する評価値計算手段と、
    を備える、
    評価値計算装置。
  12. 前記第三の軸は、
    体腔内の粘膜の色味と相関の高い軸である、
    請求項11に記載の評価値計算装置。
  13. 前記評価値計算手段は、
    前記第二の平面に射影変換された各画素対応点について、前記第一の軸の値に比例して高くなる第一の係数と、前記第三の軸の値が高くなるほど低くなる第二の係数を適用し、適用された第一及び第二の係数に基づいて該画素対応点の評価値を計算し、
    計算された各画素対応点の評価値に基づいて前記カラー画像に対する所定の評価値を計算する、
    請求項12に記載の評価値計算装置。
  14. 前記評価値計算手段は、
    前記画素対応点に適用された前記第一の係数と前記第二の係数とを乗算し、乗算によって得られた値に基づいて該画素対応点の評価値を計算する、
    請求項13に記載の評価値計算装置。
  15. 前記所定の評価値は、
    体腔内の異常部を数値化して示すものである、
    請求項11から請求項14の何れか一項に記載の評価値計算装置。
  16. 電子内視鏡システムに組み込まれるものである、
    請求項11から請求項15の何れか一項に記載の評価値計算装置。
JP2016574468A 2015-08-13 2016-08-12 評価値計算装置及び電子内視鏡システム Active JP6113387B1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015159908 2015-08-13
JP2015159909 2015-08-13
JP2015159909 2015-08-13
JP2015159908 2015-08-13
PCT/JP2016/073718 WO2017026540A1 (ja) 2015-08-13 2016-08-12 評価値計算装置及び電子内視鏡システム

Publications (2)

Publication Number Publication Date
JP6113387B1 true JP6113387B1 (ja) 2017-04-12
JPWO2017026540A1 JPWO2017026540A1 (ja) 2017-08-10

Family

ID=57984514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016574468A Active JP6113387B1 (ja) 2015-08-13 2016-08-12 評価値計算装置及び電子内視鏡システム

Country Status (5)

Country Link
US (3) US20170273543A1 (ja)
JP (1) JP6113387B1 (ja)
CN (1) CN106687023B (ja)
DE (1) DE112016000095B4 (ja)
WO (1) WO2017026540A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10939801B2 (en) * 2017-03-31 2021-03-09 Hoya Corporation Electronic endoscope system
US12011142B2 (en) * 2019-04-02 2024-06-18 Hoya Corporation Electronic endoscope system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114985A (ja) * 1995-10-20 1997-05-02 Sony Corp 画像処理装置
JP2006238321A (ja) * 2005-02-28 2006-09-07 Murata Mach Ltd 色判定装置及び色判定方法
JP2010187756A (ja) * 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2014018333A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置

Family Cites Families (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4819077A (en) 1986-05-14 1989-04-04 Kabushiki Kaisha Toshiba Color image processing system
JPS62266030A (ja) 1986-05-14 1987-11-18 株式会社東芝 内視鏡装置
US4805016A (en) * 1986-08-25 1989-02-14 Kabushiki Kaisha Toshiba Endoscopic system for converting primary color images into hue, saturation and intensity images
JP2682626B2 (ja) 1987-10-15 1997-11-26 オリンパス光学工業株式会社 経内視鏡分光診断装置
JPH02114931A (ja) 1988-10-26 1990-04-27 Toshiba Corp 電子内視鏡画像処理装置
JPH034832A (ja) 1989-06-01 1991-01-10 Toshiba Corp 電子内視鏡装置
US5751261A (en) 1990-12-31 1998-05-12 Kopin Corporation Control system for display panels
JP2964715B2 (ja) 1991-07-01 1999-10-18 富士写真光機株式会社 電子内視鏡システム
US6826422B1 (en) 1997-01-13 2004-11-30 Medispectra, Inc. Spectral volume microprobe arrays
US7123293B1 (en) 1998-01-07 2006-10-17 Fuji Photo Film Co., Ltd. Image processing method to compensate for color differences due to a type of image sensing device
JP2002535023A (ja) 1999-01-22 2002-10-22 インストルメンテーション メトリックス インコーポレイテッド 非侵襲的血液分析測定のためのシステムおよび方法
US6280381B1 (en) 1999-07-22 2001-08-28 Instrumentation Metrics, Inc. Intelligent system for noninvasive blood analyte prediction
JP4284754B2 (ja) 1999-05-31 2009-06-24 ソニー株式会社 カラー撮像装置及びその制御方法
DE10055725B4 (de) 1999-11-11 2007-12-27 Pentax Corp. Elektronisches Endoskopsystem
JP4360724B2 (ja) 2000-01-11 2009-11-11 Hoya株式会社 電子内視鏡用信号切換装置
EP1161919B1 (en) 2000-06-06 2007-08-29 FUJIFILM Corporation Fluorescent-light image display method and apparatus therefor
JP4327380B2 (ja) 2000-06-06 2009-09-09 富士フイルム株式会社 蛍光画像表示方法および装置
JP4133319B2 (ja) 2000-07-14 2008-08-13 ノバダック テクノロジーズ インコーポレイテッド コンパクトな蛍光内視鏡映像システム
JP3510576B2 (ja) 2000-09-28 2004-03-29 Necエレクトロニクス株式会社 半導体装置及びその製造方法
EP1372483A2 (en) 2001-03-01 2004-01-02 Trustees of Dartmouth College Fluorescence lifetime spectrometer (fls) and methods of detecting diseased tissues
US20020177779A1 (en) * 2001-03-14 2002-11-28 Doron Adler Method and system for detecting colorimetric abnormalities in vivo
US7139598B2 (en) 2002-04-04 2006-11-21 Veralight, Inc. Determination of a measure of a glycation end-product or disease state using tissue fluorescence
AU2002317219A1 (en) * 2001-07-12 2003-01-29 Do Labs Method and system for modifying a digital image taking into account its noise
US7042488B2 (en) * 2001-09-27 2006-05-09 Fujinon Corporation Electronic endoscope for highlighting blood vessel
US6956602B2 (en) 2001-09-27 2005-10-18 Fujinon Corporation Electronic endoscope for highlighting blood vessel
US7123288B2 (en) 2001-09-28 2006-10-17 Fujinon Corporation Electronic endoscope eliminating influence of light distribution in optical zooming
US20040073120A1 (en) 2002-04-05 2004-04-15 Massachusetts Institute Of Technology Systems and methods for spectroscopy of biological tissue
US7195588B2 (en) 2004-03-01 2007-03-27 Olympus Corporation Endoscope image pick-up apparatus
JP4583704B2 (ja) 2002-11-01 2010-11-17 オリンパス株式会社 内視鏡撮像装置
JP4375781B2 (ja) * 2002-11-29 2009-12-02 株式会社リコー 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
ATE355650T1 (de) 2002-12-04 2006-03-15 Research In Motion Ltd Verstärkungskompensation für temperatur- und frequenzvariationen
JP4394356B2 (ja) 2003-02-07 2010-01-06 Hoya株式会社 電子内視鏡装置
CN1882278A (zh) 2003-10-28 2006-12-20 薇拉莱特公司 使用组织荧光确定某一糖化终产物或疾病状态
WO2006011545A1 (ja) 2004-07-30 2006-02-02 Hitachi Medical Corporation 医用画像診断支援方法、装置及び画像処理プログラム
CN101822525B (zh) 2004-08-30 2012-02-22 奥林巴斯株式会社 内窥镜装置
JP4009626B2 (ja) 2004-08-30 2007-11-21 オリンパス株式会社 内視鏡用映像信号処理装置
EP1650980A3 (en) 2004-10-20 2010-09-29 FUJIFILM Corporation Electronic endoscope apparatus
JP4933766B2 (ja) 2004-10-20 2012-05-16 富士フイルム株式会社 電子内視鏡装置
JP2006198106A (ja) 2005-01-19 2006-08-03 Olympus Corp 電子内視鏡装置
JP4786910B2 (ja) 2005-02-07 2011-10-05 Hoya株式会社 電子内視鏡
US7850599B2 (en) 2005-03-04 2010-12-14 Fujinon Corporation Endoscope apparatus
JP4579721B2 (ja) 2005-03-04 2010-11-10 富士フイルム株式会社 内視鏡装置
JP4804062B2 (ja) 2005-07-29 2011-10-26 オリンパス株式会社 内視鏡システム
US8451327B2 (en) 2005-08-18 2013-05-28 Hoya Corporation Electronic endoscope, endoscope light unit, endoscope processor, and electronic endoscope system
WO2007031946A2 (en) 2005-09-12 2007-03-22 Dvp Technologies Ltd. Medical image processing
JP4745790B2 (ja) 2005-10-21 2011-08-10 Hoya株式会社 電子内視鏡装置
JP2007135989A (ja) 2005-11-21 2007-06-07 Olympus Corp 分光内視鏡
JP4773217B2 (ja) 2006-01-31 2011-09-14 富士フイルム株式会社 電子内視鏡装置
JP5242381B2 (ja) 2006-03-16 2013-07-24 オリンパスメディカルシステムズ株式会社 医療用画像処理装置及び医療用画像処理方法
JP2008295490A (ja) 2007-05-29 2008-12-11 Olympus Medical Systems Corp カプセル内視鏡画像表示装置
JP5106928B2 (ja) 2007-06-14 2012-12-26 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5006759B2 (ja) 2007-10-29 2012-08-22 Hoya株式会社 電子内視鏡用信号処理装置および電子内視鏡装置
AU2008340270A1 (en) 2007-12-21 2009-07-02 Medical And Surgical Review, P.C. Methods and devices for endoscopically creating an anastomosis
JP5312807B2 (ja) * 2008-01-08 2013-10-09 オリンパス株式会社 画像処理装置および画像処理プログラム
EP2096859B1 (en) 2008-02-26 2015-04-22 Given Imaging Ltd. Method for enhancing in-vivo image contrast
US20090237498A1 (en) * 2008-03-20 2009-09-24 Modell Mark D System and methods for the improvement of images generated by fiberoptic imaging bundles
JP2009240354A (ja) 2008-03-28 2009-10-22 Fujinon Corp 電子内視鏡装置
JP5235473B2 (ja) 2008-04-04 2013-07-10 Hoya株式会社 分光特性推定装置
JP5374078B2 (ja) 2008-06-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5467754B2 (ja) 2008-07-08 2014-04-09 Hoya株式会社 電子内視鏡用信号処理装置および電子内視鏡装置
JP5380973B2 (ja) * 2008-09-25 2014-01-08 株式会社ニコン 画像処理装置及び画像処理プログラム
JP4732548B2 (ja) 2008-10-17 2011-07-27 オリンパスメディカルシステムズ株式会社 内視鏡システムおよび内視鏡画像処理装置
JP2010115243A (ja) 2008-11-11 2010-05-27 Hoya Corp 電子内視鏡用画像信号処理装置
JP4692786B2 (ja) 2009-01-09 2011-06-01 花王株式会社 肌のテクスチャの解析方法
US8300093B2 (en) * 2009-01-12 2012-10-30 Fujifilm Corporation Endoscope image processing method and apparatus, and endoscope system using the same
JP2010172673A (ja) 2009-02-02 2010-08-12 Fujifilm Corp 内視鏡システム、内視鏡用プロセッサ装置、並びに内視鏡検査支援方法
JP2011092681A (ja) 2009-09-30 2011-05-12 Fujifilm Corp 医用画像処理装置および方法並びにプログラム
US8775096B2 (en) 2009-10-29 2014-07-08 Hoya Corporation Auxiliary diagnostic apparatus and auxiliary diagnostic method
JP5802364B2 (ja) * 2009-11-13 2015-10-28 オリンパス株式会社 画像処理装置、電子機器、内視鏡システム及びプログラム
JP5452242B2 (ja) 2010-01-15 2014-03-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
JP5220780B2 (ja) 2010-02-05 2013-06-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
JP2011182993A (ja) 2010-03-09 2011-09-22 Panasonic Electric Works Co Ltd 歯垢検知装置
JP2011194024A (ja) 2010-03-19 2011-10-06 Fujifilm Corp 異常陰影検出装置および方法ならびにプログラム
JP5580637B2 (ja) 2010-03-30 2014-08-27 オリンパス株式会社 画像処理装置、内視鏡装置の作動方法及びプログラム
JP2011218090A (ja) 2010-04-14 2011-11-04 Olympus Corp 画像処理装置、内視鏡システム及びプログラム
JP5800468B2 (ja) 2010-05-11 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2011255006A (ja) 2010-06-09 2011-12-22 Olympus Corp 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP5851160B2 (ja) * 2011-08-31 2016-02-03 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6067264B2 (ja) * 2012-07-17 2017-01-25 Hoya株式会社 画像処理装置及び内視鏡装置
WO2014156938A1 (ja) * 2013-03-27 2014-10-02 富士フイルム株式会社 画像処理装置及び内視鏡システムの作動方法
JP6097629B2 (ja) * 2013-04-26 2017-03-15 Hoya株式会社 病変評価情報生成装置
WO2015064435A1 (ja) * 2013-10-28 2015-05-07 富士フイルム株式会社 画像処理装置及びその作動方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114985A (ja) * 1995-10-20 1997-05-02 Sony Corp 画像処理装置
JP2006238321A (ja) * 2005-02-28 2006-09-07 Murata Mach Ltd 色判定装置及び色判定方法
JP2010187756A (ja) * 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2014018333A (ja) * 2012-07-17 2014-02-03 Hoya Corp 画像処理装置及び内視鏡装置

Also Published As

Publication number Publication date
US20170273543A1 (en) 2017-09-28
CN106687023A (zh) 2017-05-17
WO2017026540A1 (ja) 2017-02-16
JPWO2017026540A1 (ja) 2017-08-10
US11559186B2 (en) 2023-01-24
DE112016000095T5 (de) 2017-04-27
CN106687023B (zh) 2018-12-18
US20190282065A1 (en) 2019-09-19
DE112016000095B4 (de) 2019-07-11
US20230113382A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
JP6125740B1 (ja) 内視鏡システム及び評価値計算装置
JP6113386B1 (ja) 評価値計算装置及び電子内視鏡システム
JP6581730B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP6427280B2 (ja) 補正データ生成方法及び補正データ生成装置
US20230113382A1 (en) Evaluation value calculation device and electronic endoscope system
JP6420358B2 (ja) 内視鏡システム及び評価値計算装置
JP6433634B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP6591688B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP2018023497A (ja) 色補正用治具及び電子内視鏡システム
JPWO2019142689A1 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP2018011797A (ja) 補正効果確認方法及び指標
JP2018011796A (ja) キャリブレーション方法
JP2016043135A (ja) 内視鏡装置

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170314

R150 Certificate of patent or registration of utility model

Ref document number: 6113387

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170717

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250