JP5117353B2 - 画像処理装置、画像処理プログラムおよび画像処理方法 - Google Patents

画像処理装置、画像処理プログラムおよび画像処理方法 Download PDF

Info

Publication number
JP5117353B2
JP5117353B2 JP2008287079A JP2008287079A JP5117353B2 JP 5117353 B2 JP5117353 B2 JP 5117353B2 JP 2008287079 A JP2008287079 A JP 2008287079A JP 2008287079 A JP2008287079 A JP 2008287079A JP 5117353 B2 JP5117353 B2 JP 5117353B2
Authority
JP
Japan
Prior art keywords
region
image
image processing
unit
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008287079A
Other languages
English (en)
Other versions
JP2010113616A (ja
Inventor
大和 神田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2008287079A priority Critical patent/JP5117353B2/ja
Priority to US12/613,963 priority patent/US8768017B2/en
Priority to CN200910220844.6A priority patent/CN101794434B/zh
Publication of JP2010113616A publication Critical patent/JP2010113616A/ja
Application granted granted Critical
Publication of JP5117353B2 publication Critical patent/JP5117353B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • A61B1/00022Operational features of endoscopes provided with data storages removable
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Description

本発明は、体内管腔内を撮像した複数の波長成分で構成される画像を処理する画像処理装置、画像処理プログラムおよび画像処理方法に関するものである。
体内管腔内を撮像した画像から注目対象部を検出する画像処理装置として、例えば、カプセル内視鏡で撮像した消化管内画像から異常部を検出する画像処理装置が知られている(特許文献1を参照)。この特許文献1に開示されている技術では、先ず、カプセル内視鏡によって撮像された体内管腔内のRGB画像の各画素、またはこの体内管腔内のRGB画像を矩形分割した各領域を、その色情報(色度=R/(R+G+B)、G/(R+G+B)、色比=R/G等)に基づく特徴空間に写像する。そして、特徴空間内でクラスタリングを行った後に、各クラスタの大きさや重心座標等の情報をもとに正常粘膜クラスタと異常部クラスタとを特定し、異常部クラスタに属する画素または矩形領域を異常部として検出している。
特開2005−192880号公報
特許文献1では、画像内全域の画素または矩形分割した領域を、色情報に基づく特徴空間で画一的に処理している。ところで、カプセル内視鏡は、消化管内の近景から遠景までを管内の内容液を通して撮像する。ここで、近景を撮像する場合と遠景を撮像する場合とでは光が通過する内容液の量が異なり、画像内の撮像対象の色情報にも変化が生じる。例えば、胆汁に代表される黄色の内容液を通して撮像した場合、正常粘膜や異常部(病変部)はともに、遠景において近景よりも黄色がかった色となる。すなわち、色情報に基づく特徴空間において、近景にある正常部と病変部とを判別するための境界は、遠景にある正常部と病変部とを判別するための境界と必ずしも一致しない。このため、特許文献1のように、近景から遠景が映る画像内全域を色情報の特徴空間で画一的に処理する方法では、正常粘膜と病変部とを精度良く判別できないという問題があった。なお、ここでは正常粘膜と病変部とを判別する場合について述べたが、これに限らず、例えば粘膜と内容物とを判別したい場合等も同様であり、粘膜と内容物とを精度良く判別できない。
本発明は、上記に鑑み為されたものであって、体内管腔内を撮像した画像から注目対象部を精度良く検出することができる画像処理装置、画像処理プログラムおよび画像処理方法を提供することを目的とする。
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、体内管腔内を撮像した複数の波長成分で構成される画像を処理する画像処理装置であって、前記複数の波長成分または前記複数の波長成分を変換して得られる波長成分の中から生体内における吸収または散乱の度合いに応じて特定される特定波長成分の値をもとに、前記画像内を領域分割する領域分割部と、前記領域分割部が領域分割した領域毎に設定される判別基準を用い、前記領域内の注目対象部を特定する注目対象部特定部と、を備えることを特徴とする。
この態様にかかる画像処理装置によれば、体内管腔内を撮像した画像を構成する複数の波長成分またはこの複数の波長成分を変換して得られる波長成分の中から生体内における吸収または散乱の度合いに応じて特定される特定波長成分の値をもとに、前記画像内を領域分割することができる。ここで、生体内における吸収または散乱の度合いが低く、生体内で吸収または散乱し難い波長成分は、撮像対象までの距離を反映した情報を最も得易い成分である。このような波長成分を特定波長成分として画像内を領域分割すれば、画像内を撮像距離が類似する領域毎に領域分割することができる。そして、このようにして領域分割した領域毎に設定される判別基準を用い、領域内の注目対象部を特定することができる。したがって、体内管腔内を撮像した画像内の注目対象部を精度良く検出することができる。
また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、体内管腔内を撮像した複数の波長成分で構成される画像を処理させるための画像処理プログラムであって、前記複数の波長成分または前記複数の波長成分を変換して得られる波長成分の中から生体内における吸収または散乱の度合いに応じて特定される特定波長成分の値をもとに、前記画像内を領域分割する領域分割ステップと、前記領域分割ステップで領域分割した領域毎に設定される判別基準を用い、前記領域内の注目対象部を特定する注目対象部特定ステップと、を前記コンピュータに実行させることを特徴とする。
また、本発明の別の態様にかかる画像処理方法は、体内管腔内を撮像した複数の波長成分で構成される画像を処理する画像処理方法であって、前記複数の波長成分または前記複数の波長成分を変換して得られる波長成分の中から生体内における吸収または散乱の度合いに応じて特定される特定波長成分の値をもとに、前記画像内を領域分割する領域分割工程と、前記領域分割工程で領域分割した領域毎に設定される判別基準を用い、前記領域内の注目対象部を特定する注目対象部特定工程と、を含むことを特徴とする。
本発明によれば、体内管腔内を撮像した画像内の注目対象部を精度良く検出することができる。
以下、図面を参照し、本発明の好適な実施の形態について詳細に説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態1)
先ず、実施の形態1について説明する。実施の形態1では、原色系フィルタ(R:赤,G:緑,B:青)を用いて消化管等の体内管腔内を撮像した画像(以下、「管腔内画像」と呼ぶ。)を処理し、病変部を検出する場合について説明する。
図1は、実施の形態1の画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。図1に示すように、画像処理システムは、被検体1内部の画像(管腔内画像)を撮像するカプセル内視鏡3、カプセル内視鏡3から無線送信される管腔内画像を受信する受信装置5、受信装置5によって受信された管腔内画像をもとに、カプセル内視鏡3によって撮像された管腔内画像を処理して表示する画像処理装置10等で構成される。受信装置5と画像処理装置10との間の画像データの受け渡しには、例えば可搬型の記録媒体(可搬型記録媒体)7が使用される。
カプセル内視鏡3は、撮像機能や無線機能等を具備するものであって、被検体1の口から飲み込まれて被検体1内部に導入され、体内管腔内を移動しながら逐次管腔内画像を撮像する。そして、撮像した管腔内画像を体外に無線送信する。実施の形態1では、カプセル内視鏡3によって撮像される管腔内画像は、各画素位置においてR(赤),G(緑),B(青)の各波長成分に対する画素レベル(画素値)を持つカラー画像である。
受信装置5は、被検体1内におけるカプセル内視鏡3の通過経路に対応する体表上の位置に分散配置される受信用アンテナA1〜Anを備える。そして、受信装置5は、各受信用アンテナA1〜Anを介してカプセル内視鏡3から無線送信される画像データを受信する。この受信装置5は、可搬型記録媒体7の着脱が自在に構成されており、受信した画像データを可搬型記録媒体7に逐次保存する。このようにして、カプセル内視鏡3が撮像した被検体1内部の管腔内画像は、受信装置5によって時系列順に可搬型記録媒体7に蓄積され、保存される。
画像処理装置10は、カプセル内視鏡3によって撮像された管腔内画像を医師等が観察・診断するためのものであり、ワークステーションやパソコン等の汎用コンピュータで実現される。この画像処理装置10は、可搬型記録媒体7の着脱が自在に構成されており、可搬型記録媒体7に保存された管腔内画像を処理し、例えばLCDやELディスプレイ等のディスプレイに時系列順に順次表示する。
図2は、カプセル内視鏡3によって撮像され、画像処理装置10によって処理される管腔内画像の一例を示す模式図である。管腔内画像には、粘膜31すなわち撮像時のカプセル内視鏡3に近い近景の粘膜から管腔深部に至る遠景の粘膜が内容液を通して映るとともに、時には内容物33や泡35、病変37等の重要箇所が映る。ここで、消化管内の内容液は、通常胆汁に起因する黄色の液体であり、R,G,Bの各波長成分では、R,G,Bの順に吸収・散乱し難い。このため、近景ではピンク色に映る粘膜が、遠景に移るにつれて、段階的に先ずB成分の値が小さくなることで黄色がかり、その後G成分の値も小さくなることで赤色がかる色変化が生じる。
図3は、実施の形態1の画像処理装置10の機能構成を説明するブロック図である。実施の形態1では、画像処理装置10は、画像取得部11と、入力部12と、表示部13と、記憶部14と、演算部15と、装置各部を制御する制御部18とを備える。
画像取得部11は、カプセル内視鏡3によって撮像されて受信装置5によって可搬型記録媒体7に保存された管腔内画像を取得するものであり、例えば、可搬型記録媒体7を着脱自在に装着し、装着した可搬型記録媒体7に蓄積された管腔内画像の画像データを読み出して取得する。この画像取得部11は、例えば、可搬型記録媒体7の種類に応じた読み書き装置によって実現される。なお、カプセル内視鏡3によって撮像された管腔内画像の取得は、可搬型記録媒体7を用いた構成に限定されるものではなく、例えば、画像取得部11の代わりにハードディスクを備える構成とし、ハードディスク内にカプセル内視鏡3によって撮像された管腔内画像を予め保存しておく構成としてもよい。あるいは、可搬型記録媒体7の代わりに別途サーバを設置し、このサーバに管腔内画像を予め保存しておく構成としてもよい。この場合には、画像取得部11を、サーバと接続するための通信装置等で構成し、この画像取得部11を介してサーバに接続して、サーバから管腔内画像を取得する。
入力部12は、例えば、キーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、操作入力に応じた操作信号を制御部18に出力する。表示部13は、LCDやELディスプレイ等の表示装置によって実現されるものであり、制御部18の制御によって、管腔内画像の表示画面を含む各種画面を表示する。
記憶部14は、更新記憶可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵あるいはデータ通信端子で接続されたハードディスク、CD−ROM等の情報記録媒体およびその読取装置等によって実現されるものである。この記憶部14には、画像処理装置10を動作させ、この画像処理装置10が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が格納される。また、管腔内画像から注目対象部の一例である病変部を検出するための画像処理プログラム141が格納される。
演算部15は、CPU等のハードウェアによって実現され、画像取得部11によって取得される管腔内画像を処理し、管腔内画像から病変部を検出するための種々の演算処理を行う。この演算部15は、領域分割部16と、注目対象部特定部としての病変部特定部17とを備える。
領域分割部16は、管腔内画像において、特定波長成分の値をもとに画像内を領域分割する。この領域分割部16は画素値階層分類部160を備え、この画素値階層分類部160は画素値ヒストグラム算出部161を備える。画素値階層分類部160は、画像内の画素の特定波長成分の値を所定の階層に分類する。画素値ヒストグラム算出部161は、画像内の画素の特定波長成分の値のヒストグラムを算出する。
病変部特定部17は、領域分割部16が領域分割した領域毎に設定される判別基準を用い、各領域内の病変部を特定する。実施の形態1では、病変部特定部17は、領域毎に各領域内の画素特徴量をクラスタリングし、判別基準の一例であるクラスタ判別基準を領域毎に設定して病変部クラスタを判別し、病変部クラスタに属する画素を病変部として特定する。この病変部特定部17は、画素特徴量算出部171と、画素特徴量クラスタリング部172とを備える。画素特徴量算出部171は、領域毎に画素特徴量を算出する。画素特徴量クラスタリング部172は、領域毎に画素特徴量の分布をクラスタリングする。
制御部18は、CPU等のハードウェアによって実現される。この制御部18は、画像取得部11から入力される画像データや入力部12から入力される操作信号、記憶部14に格納されるプログラムやデータ等に基づいて画像処理装置10を構成する各部への指示やデータの転送等を行い、画像処理装置10全体の動作を統括的に制御する。
図4は、実施の形態1の画像処理装置10が行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部15が記憶部14に格納された画像処理プログラム141を実行することにより実現される。
図4に示すように、先ず演算部15が、処理対象とする管腔内画像を取得する(ステップs101)。ここでの処理によって、演算部15は、画像取得部11が可搬型記録媒体7から読み出して取得した処理対象の管腔内画像の画像データを制御部18を介して取得する。なお、実施の形態1では、管腔内画像は、原色系(RGB)の画像として取得される。
続いて、領域分割部16において、画素値階層分類部160の画素値ヒストグラム算出部161が、取得した管腔内画像内の各画素のR成分のヒストグラムを算出する(ステップs103)。上記のように、実施の形態1で取得される管腔内画像は、R,G,Bの波長成分から構成される。ここで、R成分は最も長波長の成分であり、生体内における吸収・散乱の度合いが低く、生体内で吸収・散乱し難い波長成分である。このため、R成分は、管腔内画像の近景から遠景までを、撮像対象や内容液による照明光や反射光の吸収・散乱を抑えた状態で画像化しており、結果的に、管腔内画像において撮像対象までの距離を反映した情報を最も得易い成分である。そこで実施の形態1では、R成分を特定波長成分とする。そして、画素値ヒストグラム算出部161は、横軸にR成分の階級区間をとり、縦軸に階級区間に相当するR成分の値を持つ画素の度数をとることによって、ヒストグラムを算出する。図5は、ヒストグラムの算出例を示す図である。なお、図5では、R成分の値は0〜1に正規化しており、度数の総和が1になるように正規化している。
続いて、図4に示すように、画素値階層分類部160が、ステップs103で算出したヒストグラムの谷を境界としてR成分の値を階層分類する(ステップs105)。図6は、ここで行う階層分類の原理を説明する説明図である。図6に示す度数データG4は、ヒストグラムの度数変化を折れ線で簡易的に示したものである。また、度数データG4の下の座標は、ヒストグラムの階級区間を便宜的に座標として示したものである。勾配方向は、対応する注目座標の度数と、この注目座標に近接する座標の度数との差から求まる方向であり、度数の値が最も増加する方向を示している。なお、勾配方向が「極」と示される座標は、近接する何れの座標よりも度数が高い極値座標である。
階層分類に際し、画素値階層分類部160は、先ず勾配方向を求める。例えば、注目座標を座標「3」とした場合、度数データG4に示すように、注目座標「3」の度数に対して最も度数が増加する方向に近接する座標は座標「4」である。このため、注目座標「3」の勾配方向として、図6中に向かって右向きの矢印で示す方向(→)が設定される。
このようにして各座標の勾配方向を求めたならば、画素値階層分類部160は、各座標をそれぞれ始点とし、勾配方向に沿って極値座標を探索する。図6では、この極値座標を探索する際の探索座標の変化を「勾配方向に沿った極値座標の探索ステップ」として示している。例えば、座標「1」を始点とした探索ステップについて説明する。座標「1」の場所では、勾配方向は右方向となっているため、1回目の探索ステップ(n=1)では、右隣の座標「2」を得る(41)。続いて、得られた座標「2」の場所でも勾配方向は右方向となっており、2回目の探索ステップ(n=2)では、座標「2」の右隣の座標「3」を得る(43)。その後も順次、勾配方向に沿って探索を続けると、最終的に(n=4)、座標「5」の極値座標に辿り着く(45)。同様に、座標「2」を始点として探索を行うと、最終的に(n=3)、座標「5」の極値座標に辿り着く(47)。全ての座標を始点として同様の探索を行うと、座標「1」〜「9」は、極値座標「5」に辿り着き、座標「10」〜「15」は極値座標「12」に辿り着く。この結果から、座標「1」〜「9」を1つの階層C1として分類し、座標「10」〜「15」を次の階層C2として分類することができ、ヒストグラムの谷(図6では座標「9」で示す階級と座標「10」で示す階級との間)を境界として階層分類することができる。
なお、ここでは、勾配方向を用いた階層分類の方法を示したが、近接する2つの階級間の度数変化を求め、この変化値が所定の値以上となる階級間を境界として階層分類してもよい。また、階層分類する際の分類数を調整するために、ヒストグラムの階級区間の幅を変更したり、ヒストグラムに平滑化処理を行ってもよい。
また、ヒストグラムをもとに階層分類の境界を設定することとしたが、予め境界を固定的に設定しておいてもよい。この場合には、画素値ヒストグラム算出部161が不要となり、装置構成を簡略化できるとともに、図4のステップs103およびステップs105の一部の処理ステップが不要となり、処理時間が短縮できる。
そして、図4に示すように、領域分割部16が、管腔内画像において、階層分類の結果をもとに画像内を領域分割する(ステップs107)。これは、同一階層となる値を持つ画素に対して同一のラベル値を付与することで実現できる。図7は、図2に示す管腔内画像に対する領域分割結果の一例を示す模式図である。図7では、R成分の値が小さくなる遠景からR成分の値が大きくなる近景までを、6階層の領域に分割している。なお、各領域を特定するため、領域毎に領域番号(図7では領域1〜領域6)を設定する。ここで、図7では、各階層の領域はいずれも1つの連結した領域となっている。これに対し、粘膜の襞等が存在する管腔内画像では、対象の映り方によっては、同一階層の領域が画像内で必ずしも連結せず、複数の領域となる場合がある。しかし、この場合でも、同一階層のデータを撮像距離が類似する1つの領域として扱い、後段の処理ステップを実行することに問題はない。
なお、階層分類の結果を画像化した後、既に公知のラベリング処理(参考:CG−ARTS協会,ディジタル画像処理,181P,ラベリング)を行い、画素の連結性を考慮した領域分割を行うこととしてもよい。そして、この領域分割結果に基づいて、後段の処理ステップを実行してもよい。この場合には、撮像距離だけでなく位置的にも類似する領域毎に処理を行うことができ、より精度の高い病変部の特定が可能となる。
続いて、図4に示すように、病変部特定部17が、処理対象の領域番号を示す符号xを1に設定する(ステップs109)。そして、病変部特定部17の画素特徴量算出部171が、領域x内の各画素の画素特徴量を算出する(ステップs111)。ここで、画素特徴量とは、画素のR,G,B成分の値や、R,G,B成分をもとに2次的に計算される輝度、色差、色相、彩度、明度、色比等の値、あるいは対象の画素とその近傍画素を含めた画素群に対する前述した各値の統計量(平均値、標準偏差値、歪度、尖度、度数分布等)や、テクスチャ情報(周波数特徴、同時生起行列等)である(参考:CG−ARTS協会,ディジタル画像処理,192P,領域特徴量)。特に生体内では、血液の吸収帯域に相当する波長成分によって、正常粘膜と病変部との差を確認できるものが多い。このため、ここでは例えば、血液の吸収帯域に近いG成分やB成分の値を用いて画素特徴量を算出する。
続いて、病変部特定部17の画素特徴量クラスタリング部172が、領域x内の画素特徴量の分布をクラスタリングし、各クラスタについて、例えば重心等の情報をクラスタ情報としてそれぞれ算出する(ステップs113)。ここで、特徴量の軸が張る空間を特徴空間と呼ぶ。クラスタリングは、特徴空間内のデータ分布を、データ間の類似性をもとにクラスタと呼ばれる塊に分ける手法であり、例えば階層法やk-means法といった既に公知の手法(参考:CG−ARTS協会,ディジタル画像処理,231P,クラスタリング)を用いることで実現できる。またクラスタの重心は、クラスタに属するデータの各特徴量の平均値を算出することで求められる。
ここで、クラスタリングを行う効果について、図8を参照して説明する。図8は、クラスタリングを利用した分類の効果を説明する模式図である。管腔内画像内において、撮像距離が同程度と考えられる領域x内では、正常粘膜と病変部とは主に色調が異なる。このため、図8に示すような色情報を示す特徴空間において、互いに異なる分布のクラスタを形成する。しかしながら、被験者の個人差等によって、その分布位置は変動する場合がある。図8では、分布位置の変動を実線と破線で示している。具体的には、ある被検者から取得した管腔内画像中のある撮像距離の領域xに対して行った正常粘膜と病変部との分布の一例を実線で示し、別の被検者から取得した管腔内画像中の撮像距離が領域xと同程度の領域x’に対して行った正常粘膜と病変部との分布の一例を破線で示している。ここで、例えば図8中に一点鎖線で示されるクラスタ判別基準Th_allによって各データを判別しようとした場合、図8中にハッチングを付して示した部分のデータに対して誤判別が生じてしまう。これに対し、データを一旦クラスタリングした後、各クラスタの重心をクラスタ判別基準Th_allで判別することによって正常粘膜クラスタと病変部クラスタとを判別し、各クラスタに属するデータに対して各クラスタの判別結果を付与すれば、実線で示す領域xの場合ではTh_xで判別し、破線で示す領域x’の場合ではTh_x’で判別することができ、共に良好な判別が可能となる。
例えば、図8中に実線で示す領域x内のデータをクラスタリングして得たクラスタ51,53に着目すれば、各クラスタ51,53の重心511,531をクラスタ判別基準Th_allで判別することによって、重心531を正常粘膜クラスタと判別し、重心511を病変部クラスタと判別することができる。そして、このように各クラスタ51、53を判別した上で、各クラスタに属するデータに各クラスタの判別結果を付与すれば、境界Th_xで判別することになり良好な判別が可能となる。一方、破線で示す領域x’内のデータをクラスタリングして得たクラスタ61,63については、重心611,631をクラスタ判別基準Th_allで判別することで、重心631を正常粘膜クラスタと判別し、重心611を病変部クラスタと判別することができる。そして、このように各クラスタ61、63を判別した上で、各クラスタに属するデータに各クラスタの判別結果を付与すれば、境界Th_x’で判別することになり良好な判別が可能となる。
実施の形態1では、病変部特定部17は、図4に示すように、領域xにおけるクラスタ判別基準を設定して病変部クラスタを判別し、病変部クラスタに属する領域x内の画素を病変部として特定する(ステップs115)。近景から遠景に移るにつれ、内容液の影響により撮像対象の色合いが変化することは前述した。このため、クラスタ判別基準は、撮像距離が類似する領域毎に設定する必要がある。実施の形態1では、R成分の各階層を撮像距離が類似する領域として纏めているため、R成分の階層毎にクラスタ判別基準を設定する。クラスタ判別基準の設定手法として、ここでは、教師データを用いる方法を説明する。
教師データとは、判別に用いる特徴量と正解判別結果とが対になったデータのことで、正常粘膜、病変部、泡、内容物等が映るサンプル画像を事前に処理することで得られる。具体的には先ず、サンプル画像の各画素のR成分の値を予め設定した所定階層に分類することで、サンプル画像を領域分割する。続いて、分割した領域毎に、正常粘膜、病変部、泡、内容物等の各部(以下、「カテゴリ」と呼ぶ。)が映る画素の特徴量を求め、この値と各カテゴリの判別結果とを対にした教師データを得る。図9は、教師データの一例を示す図である。例えば教師データは、図9に示すように、R成分階層と、判別結果と、特徴量とを対応付けたデータテーブルとして用意する。
このようにして教師データを用意したならば、この教師データを用い、R成分の所定階層毎に、各カテゴリの発生確率および各カテゴリの確率密度関数の係数を求める。
先ず、用意した各カテゴリの教師データの数をもとに、次式(1)に従って各カテゴリの発生確率Pc(i)(i=1〜NC)を求める。NCは、カテゴリの数を表す。また、ND(i)は、カテゴリiのデータ数である。
Figure 0005117353
次に、各カテゴリの教師データに含まれるデータの特徴ベクトルFn=(fn_1,fn_2,・・・,fn_k)tを求める。ここで、fn_jはn番目の教師データのj番目の特徴量値であり、kは特徴量の次元数である。そして、求めた特徴ベクトルFnをもとに、次式(2)に従って平均ベクトルμと分散共分散行列Zとをカテゴリ毎に求める。
Figure 0005117353
そして、次式(3)に示す確率密度関数Pの係数を、カテゴリ毎に算出する。
Figure 0005117353
図10は、発生確率/係数テーブルのデータ構成例を示す図である。図10に示すように、発生確率/係数テーブルは、R成分の所定階層毎に、カテゴリと、発生確率Pc(i)と、確率密度関数P(i)の各係数とを対応付けたデータテーブルである。なお、図10では、上記した確率密度関数P(i)の各係数をそれぞれ係数1,2,3として示している。
ここで、教師データを得る際に設定したR成分の所定階層は、処理対象の管腔内画像のヒストグラムに基づく階層(図4のステップs105で分類した各階層)と一致していない場合がある。そこで、前述のようにして教師データから予め作成される発生確率/係数テーブルを処理対象の管腔内画像のヒストグラムに基づく各階層に適用させるため、教師データにおける所定階層(発生確率/係数テーブルにおける所定階層)と、管腔内画像における階層との重なり情報を算出する。
図11は、教師データの所定階層と処理対象の管腔内画像(処理画像)のヒストグラムに基づく階層との重なり例を示す図である。例えば、図11中に示す処理画像の階層H4は、教師データの所定階層L4〜L6と重なる。また階層H4と所定階層L4との重なり量はa、階層H4と所定階層L5との重なり量はW(所定階層の階層幅)、階層H4と所定階層L6との重なり量はbである。
そこで、階層H4の領域で判別に用いる情報、すなわち各カテゴリの発生確率や確率密度関数の各係数のそれぞれを、次式(4)に従って算出する。
Figure 0005117353
このように、重なりを考慮することで、処理対象の管腔内画像の様々な階層に対して、各カテゴリの発生確率や確率密度関数の係数を算出することができる。
実際の処理では、病変部特定部17は先ず、領域xに対応するR成分の階層での各カテゴリの発生確率Pc(i)や、確率密度関数P(i)の係数を前述の方法で求める。そして、病変部特定部17は、求めた各値と、判別対象となるクラスタの重心の特徴ベクトルvとをもとに、Pc(i)×P(i)(i=1〜NC)を算出することによって、判別対象のクラスタの各カテゴリへの帰属確率を算出する。そして、病変部特定部17は、最も高い帰属確率となったカテゴリを判別対象のクラスタのカテゴリとして判別する。なお、階層毎に各カテゴリの発生確率Pc(i)や確率密度関数P(i)を設定してクラスタを判別することが、クラスタ判別基準を階層毎に設定することに相当する。そして、病変部特定部17は、クラスタのカテゴリ判別の結果、病変部クラスタと判別されたクラスタに属する領域x内の画素を病変部として特定する。
なお、ここでは、領域x内の画素特徴量の分布をクラスタリングし、クラスタに対するカテゴリの判別結果をもとに病変部を特定する方法を示した。これに対し、クラスタリングを行わずに、各画素特徴量(特徴ベクトル)を用いて画素毎に各カテゴリへの帰属確率を求め、病変部を特定してもよい。この場合には、画素特徴量クラスタリング部172が不要となり、装置構成を簡略化できるとともに、図4のステップs113で説明した処理ステップが不要となり、処理時間が短縮できる。
また、カテゴリの判別の方法に関して、各カテゴリの発生確率や確率密度関数を用いる方法について説明したが、階層毎に基準を設定しながら判別できればよい。すなわち、パターン認識で用いられる例えば決定木や近傍法、サポートベクターマシンといった他の一般的な方法を用いてもよい。
その後、演算部15は、図4に示すように、xが全領域数以下か否かを判定し、処理対象となる領域の有無を判定する(ステップs117)。ステップs117での判定結果がYesの場合には、未処理の領域があると判断して処理対象の領域番号を示す符号x=x+1とし(ステップs119)、ステップs111〜ステップs117の処理を行う。一方、ステップs117での判定結果がNoの場合には、全ての領域を処理したと判断してステップs121に移る。すなわち、演算部15は、処理対象の管腔内画像内の病変部特定結果を出力し(ステップs121)、画像処理装置10の演算部15での処理を終了する。例えば、演算部15は、病変部特定結果を画像化する等した病変部特定画像化結果を、制御部18を介して表示部13に表示出力させる。
以上説明したように、実施の形態1によれば、原色系(RGB)の画像として取得される管腔内画像をR成分の値をもとに領域分割することができる。これによれば、R成分の値が類似する画素範囲を1つの領域とするように領域分割することができ、この結果、管腔内画像を撮像距離が類似する領域毎に領域分割することができる。そして、分割した領域毎にクラスタ判別基準を設定して病変部クラスタを判別し、病変部クラスタと判別されたクラスタに属する画素を病変部として特定することができる。したがって、管腔内画像に映る病変部を精度良く検出することができる。
なお、実施の形態1では、R,G,Bの3波長の原色系フィルタを用いて撮像した管腔内画像を処理する場合について説明したが、3波長より多くの波長成分から構成される管腔内画像を処理する場合にも同様に適用できる。この場合には、生体内における吸収または散乱の度合いをもとに散乱・吸収し難い特定の波長成分を特定波長成分として事前に決定(特定)しておき、実施の形態1のR成分のように扱えばよい。ここで、一般的に長波長ほど散乱し難いため、複数の波長の中で最も長波長の成分を特定波長としてもよい。
また、実施の形態1では、注目対象部の一例として病変部を検出する場合について説明したが、血管や粘膜を注目対象部として検出する場合にも同様に適用できる。この場合には、領域毎に各領域内の画素特徴量をクラスタリングし、クラスタ判別基準を領域毎に設定して注目対象クラスタを判別し、注目対象クラスタに属する画素を注目対象部として特定する。このとき、事前に用意したサンプル画像を用いて教師データを得ることによって、実施の形態1と同様に注目対象部である血管や粘膜を検出することが可能である。
(実施の形態2)
次に、実施の形態2について説明する。実施の形態2では、補色系フィルタ(C:シアン,M:マゼンタ,Y:黄)を用いて消化管等の体内管腔内を撮像した画像(管腔内画像)を処理し、病変部を検出する場合について説明する。ここで補色とは、原色のR,G,Bそれぞれに対して混合すると白色となるような色を示し、Rに対してはG+Bで示されるC、Gに対してはR+Bで示されるM、Bに対してはR+Gで示されるYが補色となる。すなわち、このような関係があるため、補色系成分の値をもとに、原色系成分の値を推定することが可能である。
図12は、実施の形態2の画像処理装置10bの機能構成を説明するブロック図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。図12に示すように、画像処理装置10bは、画像取得部11と、入力部12と、表示部13と、記憶部14bと、演算部15bと、装置各部を制御する制御部18とを備える。
実施の形態2の記憶部14bには、画像処理プログラム141bが格納される。また、演算部15bは、領域分割部16bと、注目対象部特定としての病変部特定部17bとを備える。
領域分割部16bは、特定波長成分算出部としての信号変換部162bと、小領域分割部163bと、平均値階層分類部165bとを備える。そして、小領域分割部163bはエッジ抽出部164bを備え、平均値階層分類部165bは平均値ヒストグラム算出部166bを備える。信号変換部162bは、補色系成分の管腔内画像を原色系成分の管腔内画像に変換する。小領域分割部163bは、画像内を複数の小領域に分割する。エッジ抽出部164bは、画像内のエッジを抽出する。平均値階層分類部165bは、小領域内の画素の特定波長成分の値をもとに小領域内平均値を算出し、この小領域内平均値を所定の階層に分類する。平均値ヒストグラム算出部166bは、小領域毎の小領域内平均値のヒストグラムを算出する。
病変部特定部17bは、小領域特徴量算出部173bと、小領域特徴量クラスタリング部174bとを備える。小領域特徴量算出部173bは、領域毎に小領域特徴量を算出する。小領域特徴量クラスタリング部174bは、領域毎に小量域特徴量の分布をクラスタリングする。
すなわち、実施の形態2の画像処理装置10bは、実施の形態1の画像処理装置10bに対して、管腔内画像の各波長成分(C,M,Y)を後段の処理に使用するための別の波長成分(R,G,B)に変換する信号変換部162bを新たに備える点と、特定波長成分(R成分)による領域分割を行う前に、画像のエッジに基づく小領域分割を行う小領域分割部163bを新たに備える点が異なる。
図13は、実施の形態2の画像処理装置10bが行う処理手順を示す全体フローチャートである。ここで説明する処理は、演算部15bが記憶部14bに格納された画像処理プログラム141bを実行することにより実現される。
図13に示すように、先ず演算部15bが、処理対象とする管腔内画像を取得する(ステップs201)。ここでの処理によって、演算部15bは、画像取得部11が可搬型記録媒体7から読み出して取得した処理対象の管腔内画像の画像データを制御部18を介して取得する。なお、実施の形態2では、管腔内画像は、補色系(CMY)の画像として取得される。
続いて、領域分割部16bにおいて、信号変換部162bが、補色系成分の管腔内画像を原色系成分の管腔内画像に変換する(ステップs203)。補色と原色の関係は前述した通りである。そこで、各画素の補色系成分の値(C,M,Y)を、次式(5)に従ってそれぞれ原色系成分の値(R,G,B)に変換する。
Figure 0005117353
なお、ここでは、補色系成分(C,M,Y)を原色系成分(R,G,B)に変換する例を示したが、補色系成分を一旦輝度色差成分に変換した後、原色系成分に変換してもよい。あるいは、補色系成分以外のより多波長の成分を用いてもよく、複数の波長成分をもとに生体内で散乱・吸収し難い特定の波長成分を算出できればよい。
続いて、小領域分割部163bのエッジ抽出部164bが、画像内のエッジを抽出する(ステップs205)。手順としては先ず、画像のG成分からなるG成分画像を生成する。G成分を用いるのは、血液中のヘモグロビンの吸収波長帯域に近いことから、粘膜の構造や病変部の境界など、管腔内画像の構造情報をよく表すためである。なお、他の波長成分、あるいは既に公知の変換処理によって2次的に算出される輝度、色差、色相、彩度、明度、色比等の値を用いてもよい。そして、このG成分画像を、既に公知である1次微分フィルタ(プリューウィットフィルタ、ソーベルフィルタ等)や2次微分フィルタ(ラプラシアンフィルタ、LOG(Laplacian of Gaussian)フィルタ等)によって空間フィルタリングし、エッジ抽出を行う(参考:CG−ARTS協会,ディジタル画像処理,114P,エッジ抽出)。
そして、小領域分割部163bが、エッジをもとに画像内を小領域に分割し、各小領域のR成分平均値を小領域内平均値として算出する(ステップs207)。エッジに基づく画像分割の手法としては、例えばWO2006/080239に開示されている手法を用いることができる。手順を簡単に説明すると、先ず、エッジ抽出結果の画像に対し、必要に応じてノイズ除去を目的とする平滑化処理を行う。その後、平滑化処理を施したエッジ抽出結果の画像の各画素における画素値の勾配方向を求める。このとき、勾配方向は、近傍画素との画素値の差が最小(負の値が最大)となる方向とする。次に、各画素が画素値の勾配方向に沿って到達する極値画素を求め、近接する極値画素に到達した各画素が同一の領域となるように画像を分割する。
なお、他の分割の方法として、分水嶺(watershed)アルゴリズム(参考:Luc Vincent and Pierre Soille. Watersheds in digital spaces:An efficient algorithm based on immersion simulations. Transactionson Pattern Analysis and Machine Intelligence,Vol.13,No.6,pp.583-598,June 1991.)を用いることとしてもよい。分水嶺アルゴリズムは、画像の画素値情報を高度とみなした地形において水を満たしていく際に、異なるくぼみに溜まる水の間で境界ができるように画像を分割する方法である。このため、エッジ抽出画像に対し、適当な平滑化を行った後で分水嶺アルゴリズムを実行することによって、エッジに基づく画像分割が可能である。
画像を小領域に分割したならば、小領域分割部163bは、各小領域内の画素のR成分の値の平均値を算出する。このように、エッジをもとに画像内を小領域に分割し、分割した小領域単位で後段の処理を行うことによれば、孤立的な画素ノイズによる誤検出を抑制するとともに、病変部の形状に沿った精度良い特定が可能となる。また、画素単位で処理する場合と比較して処理時間を短縮できる。
なお、エッジ抽出を行わずに所定サイズの矩形の小領域に画像を分割することとしてもよい。この場合には、エッジ抽出部164bが不要となり、装置構成が簡略化できるともに、図13のステップs205およびステップs207の一部の処理ステップが不要となり、処理時間が短縮できる。
そして、続くステップs209以降の処理では、実施の形態1において画素単位で行った処理(図4のステップs103〜ステップs117の各処理)を、小領域単位で行う。詳細な処理手順については、実施の形態1と同様に行うことができる。
すなわち、ステップs209では、平均値階層分類部165bの平均値ヒストグラム算出部166bが、各小領域のR成分平均値のヒストグラムを算出する。続いて、平均値階層分類部165bが、ステップs209で算出したヒストグラムの谷を境界としてR成分平均値を階層分類する(ステップs211)。そして、領域分割部16bが、管腔内画像において、階層分類の結果をもとに画像内を領域分割する(ステップs213)。
続いて、図13に示すように、病変部特定部17bが、処理対象の領域番号を示す符号xを1に設定する(ステップs215)。そして、病変部特定部17bの小領域特徴量算出部173bが、領域x内の各小領域の小領域特徴量を算出する(ステップs217)。ここで小領域特徴量とは、小領域内の画素のR,G,B成分の値やR,G,B成分の値から2次的に計算される輝度、色差、色相、彩度、明度、色比等の値の統計量(平均値、標準偏差値、歪度、尖度、度数分布等)や、テクスチャ情報(周波数特徴、同時生起行列等)である(参考:CG−ARTS協会,ディジタル画像処理,192P,領域特徴量)。実施の形態1で説明したように、生体内では、血液の吸収帯域に相当する波長成分によって、正常粘膜と病変部との差を確認できるものが多い。このため、ここでは例えば、血液の吸収帯域に近いG成分やB成分の値を用いて画素特徴量を算出する。
続いて、病変部特定部17bの小領域特徴量クラスタリング部174bが、領域x内の小領域特徴量の分布をクラスタリングし、各クラスタについて、例えば重心等の情報をクラスタ情報としてそれぞれ算出する(ステップs219)。そして、病変部特定部17bは、領域xにおけるクラスタ判別基準を設定して病変部クラスタを判別し、病変部クラスタに属する領域x内の小領域を病変部として特定する(ステップs221)。
その後、演算部15bは、図13に示すように、xが全領域数以下か否かを判定し、処理対象となる領域の有無を判定する(ステップs223)。ステップs223での判定結果がYesの場合には、未処理の領域があると判断して処理対象の領域番号を示す符号x=x+1とし(ステップs225)、ステップs217〜ステップs223の処理を行う。一方、ステップs223での判定結果がNoの場合には、全ての領域を処理したと判断してステップs227に移る。すなわち、演算部15bは、処理対象の管腔内画像内の病変部特定結果を出力し(ステップs227)、画像処理装置10bの演算部15bでの処理を終了する。
以上説明したように、実施の形態2によれば、補色系成分(CMY)の管腔内画像を原色系成分(RGB)の管腔内画像に変換し、小領域毎に求めたR成分平均値をもとに領域分割することができる。そして、分割した領域毎にクラスタ判別基準を設定して病変部クラスタを判別し、病変部クラスタと判別されたクラスタに属する画素を病変部として特定することができる。したがって、実施の形態1と同様の効果を奏することができ、管腔内画像に映る病変部を精度良く検出することができる。
なお、上記した実施の形態1,2では、RGBの管腔内画像およびCMYの管腔内画像から注目対象部の一例である病変部を検出する場合について説明したが、これに限定されるものではなく、複数の波長成分で構成される管腔内画像を処理し、注目対象部を検出する画像処理装置として広く利用可能である。
画像処理装置を含む画像処理システムの全体構成を示す概略模式図である。 管腔内画像の一例を示す模式図である。 実施の形態1の画像処理装置の機能構成を説明するブロック図である。 実施の形態1の画像処理装置が行う処理手順を示す全体フローチャートである。 ヒストグラムの算出例を示す図である。 階層分類の原理を説明する説明図である。 図2に示す管腔内画像に対する領域分割結果の一例を示す模式図である。 クラスタリングを利用した分類の効果を説明する模式図である。 教師データの一例を示す図である。 発生確率/係数テーブルのデータ構成例を示す図である。 教師データの所定階層と処理画像のヒストグラムに基づく階層との重なり例を示す図である。 実施の形態2の画像処理装置の機能構成を説明するブロック図である。 実施の形態2の画像処理装置が行う処理手順を示す全体フローチャートである。
符号の説明
3 カプセル内視鏡
5 受信装置
A1〜An 受信用アンテナ
7 可搬型記録媒体
10,10b 画像処理装置
11 画像取得部
12 入力部
13 表示部
14,14b 記憶部
141,141b 画像処理プログラム
15,15b 演算部
16,16b 領域分割部
160 画素値階層分類部
161 画素値ヒストグラム算出部
162b 信号変換部
163b 小領域分割部
164b エッジ抽出部
165b 平均値階層分類部
166b 平均値ヒストグラム算出部
17,17b 病変部特定部
171 画素特徴量算出部
172 画素特徴量クラスタリング部
173b 小領域特徴量算出部
174b 小領域特徴量クラスタリング部
18 制御部
1 被検体

Claims (21)

  1. 体内管腔内を撮像した複数の波長成分で構成される画像を処理する画像処理装置であって、
    前記複数の波長成分または前記複数の波長成分を変換して得られる波長成分の中から生体内における吸収または散乱の度合いに応じて特定される特定波長成分の値をもとに、前記画像内を領域分割する領域分割部と、
    前記領域分割部が領域分割した領域毎に設定される判別基準を用い、前記領域内の注目対象部を特定する注目対象部特定部と、
    を備えることを特徴とする画像処理装置。
  2. 前記領域分割部は、前記複数の波長成分のうちの最も長波長の成分を前記特定波長成分とし、該特定波長成分の値をもとに前記画像内を領域分割することを特徴とする請求項1に記載の画像処理装置。
  3. 前記領域分割部は、前記複数の波長成分の値をもとに前記特定波長成分の値を算出する特定波長成分算出部を備え、前記特定波長成分算出部が算出した特定波長成分の値をもとに前記画像内を領域分割することを特徴とする請求項1に記載の画像処理装置。
  4. 前記領域分割部は、前記画像内の画素の前記特定波長成分の値を所定の階層に分類する画素値階層分類部を備え、前記画像内を、前記画素値階層分類部が同一の階層に分類した特定波長成分の値を有する画素毎の領域に領域分割することを特徴とする請求項1〜3のいずれか1つに記載の画像処理装置。
  5. 前記画素値階層分類部は、前記画像内の画素の前記特定波長成分の値のヒストグラムを算出する画素値ヒストグラム算出部を備え、前記画素値ヒストグラム算出部が算出したヒストグラムをもとに前記特定波長成分の値を所定の階層に分類することを特徴とする請求項4に記載の画像処理装置。
  6. 前記注目対象部特定部は、前記領域毎に領域内の各画素の画素特徴量を算出する画素特徴量算出部を備え、前記画素特徴量算出部が前記領域毎に算出した画素特徴量を、前記領域毎の判別基準とそれぞれ比較することによって前記領域内の注目対象部を特定することを特徴とする請求項1〜5のいずれか1つに記載の画像処理装置。
  7. 前記注目対象部特定部は、
    前記領域毎に領域内の各画素の画素特徴量を算出する画素特徴量算出部と、
    前記画素特徴量算出部が前記領域毎に算出した画素特徴量の分布をクラスタリングする画素特徴量クラスタリング部と、
    を備え、前記画素特徴量クラスタリング部によるクラスタリングの結果前記領域毎に得られた各クラスタの情報を、前記領域毎の判別基準とそれぞれ比較することによって前記領域毎に注目対象クラスタを判別し、該注目対象クラスタと判別されたクラスタに属する画素を前記領域内の注目対象部と特定することを特徴とする請求項1〜5のいずれか1つに記載の画像処理装置。
  8. 前記領域分割部は、前記画像内を複数の小領域に分割する小領域分割部を備え、前記小領域分割部が分割した小領域内の画素の前記特定波長成分の値をもとに小領域内平均値を算出し、該小領域内平均値をもとに前記画像内を領域分割することを特徴とする請求項1〜3のいずれか1つに記載の画像処理装置。
  9. 前記小領域分割部は、前記画像内のエッジを抽出するエッジ抽出部を備え、前記エッジ抽出部が抽出したエッジをもとに前記画像内を複数の小領域に分割することを特徴とする請求項8に記載の画像処理装置。
  10. 前記領域分割部は、前記小領域毎の前記小領域内平均値を所定の階層に分類する平均値階層分類部を備え、前記画像内を、前記平均値階層分類部が同一の階層に分類した前記小領域内平均値を有する小領域毎の領域に領域分割することを特徴とする請求項8または9に記載の画像処理装置。
  11. 前記平均値階層分類部は、前記小領域毎の前記小領域内平均値のヒストグラムを算出する平均値ヒストグラム算出部を備え、前記平均値ヒストグラム算出部が算出したヒストグラムをもとに前記小領域内平均値を所定の階層に分類することを特徴とする請求項10に記載の画像処理装置。
  12. 前記注目対象部特定部は、前記領域毎に領域内の各小領域の小領域特徴量を算出する小領域特徴量算出部を備え、前記小領域特徴量算出部が前記領域毎に算出した小領域特徴量を、前記領域毎の判別基準と比較することによって前記領域内の注目対象部を特定することを特徴とする請求項8〜11のいずれか1つに記載の画像処理装置。
  13. 前記注目対象部特定部は、
    前記領域毎に領域内の各小領域の小領域特徴量を算出する小領域特徴量算出部と、
    前記小領域特徴量算出部が前記領域毎に算出した小領域特徴量の分布をクラスタリングする小領域特徴量クラスタリング部と、
    を備え、前記小領域特徴量クラスタリング部によるクラスタリングの結果得られた各クラスタの情報を、前記領域毎の判別基準と比較することによって前記領域毎に注目対象クラスタを判別し、該注目対象クラスタと判別されたクラスタに属する小領域を前記領域内の注目対象部と特定することを特徴とする請求項8〜11のいずれか1つに記載の画像処理装置。
  14. 前記画素特徴量算出部は、前記領域内の画素の血液の吸収帯域に相当する波長成分の値をもとに、前記画素特徴量を算出することを特徴とする請求項6または7に記載の画像処理装置。
  15. 前記小領域特徴量算出部は、前記領域内の小領域を構成する画素の血液の吸収帯域に相当する波長成分の値をもとに、前記小領域特徴量を算出することを特徴とする請求項12または13に記載の画像処理装置。
  16. 前記画像はRGB画像であることを特徴とする請求項1〜15のいずれか1つに記載の画像処理装置。
  17. 前記特定波長成分は、前記画像のR成分であることを特徴とする請求項16に記載の画像処理装置。
  18. 前記画像はRGB画像であり、前記血液の吸収帯域に相当する波長成分は前記画像のG成分またはB成分であることを特徴とする請求項14または15に記載の画像処理装置。
  19. 前記注目対象部は、病変、血管、粘膜のいずれかが映る部分であることを特徴とする請求項1〜18のいずれか1つに記載の画像処理装置。
  20. コンピュータに、体内管腔内を撮像した複数の波長成分で構成される画像を処理させるための画像処理プログラムであって、
    前記複数の波長成分または前記複数の波長成分を変換して得られる波長成分の中から生体内における吸収または散乱の度合いに応じて特定される特定波長成分の値をもとに、前記画像内を領域分割する領域分割ステップと、
    前記領域分割ステップで領域分割した領域毎に設定される判別基準を用い、前記領域内の注目対象部を特定する注目対象部特定ステップと、
    を前記コンピュータに実行させることを特徴とする画像処理プログラム。
  21. 体内管腔内を撮像した複数の波長成分で構成される画像を処理する画像処理方法であって、
    前記複数の波長成分または前記複数の波長成分を変換して得られる波長成分の中から生体内における吸収または散乱の度合いに応じて特定される特定波長成分の値をもとに、前記画像内を領域分割する領域分割工程と、
    前記領域分割工程で領域分割した領域毎に設定される判別基準を用い、前記領域内の注目対象部を特定する注目対象部特定工程と、
    を含むことを特徴とする画像処理方法。
JP2008287079A 2008-11-07 2008-11-07 画像処理装置、画像処理プログラムおよび画像処理方法 Active JP5117353B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008287079A JP5117353B2 (ja) 2008-11-07 2008-11-07 画像処理装置、画像処理プログラムおよび画像処理方法
US12/613,963 US8768017B2 (en) 2008-11-07 2009-11-06 Image processing apparatus, computer readable recording medium storing therein image processing program, and image processing method
CN200910220844.6A CN101794434B (zh) 2008-11-07 2009-11-06 图像处理装置及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008287079A JP5117353B2 (ja) 2008-11-07 2008-11-07 画像処理装置、画像処理プログラムおよび画像処理方法

Publications (2)

Publication Number Publication Date
JP2010113616A JP2010113616A (ja) 2010-05-20
JP5117353B2 true JP5117353B2 (ja) 2013-01-16

Family

ID=42165245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008287079A Active JP5117353B2 (ja) 2008-11-07 2008-11-07 画像処理装置、画像処理プログラムおよび画像処理方法

Country Status (3)

Country Link
US (1) US8768017B2 (ja)
JP (1) JP5117353B2 (ja)
CN (1) CN101794434B (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5117353B2 (ja) * 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5767775B2 (ja) 2009-07-06 2015-08-19 富士フイルム株式会社 内視鏡装置
TWI432168B (zh) * 2009-12-31 2014-04-01 Univ Nat Yunlin Sci & Tech 內視鏡導航方法以及內視鏡導航系統
JP5528255B2 (ja) * 2010-08-16 2014-06-25 Hoya株式会社 内視鏡画像処理システム
JP5555097B2 (ja) 2010-08-24 2014-07-23 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
KR101395094B1 (ko) 2010-09-29 2014-05-16 안동대학교 산학협력단 개체 검출 방법 및 시스템
JP5737899B2 (ja) * 2010-10-07 2015-06-17 Hoya株式会社 診断システム
JP5341257B2 (ja) * 2011-01-20 2013-11-13 オリンパスメディカルシステムズ株式会社 画像処理装置、画像処理装置の作動方法、画像処理プログラムおよび内視鏡システム
JP5742267B2 (ja) * 2011-02-08 2015-07-01 富士ゼロックス株式会社 画像処理プログラム及び画像処理装置
JP5816459B2 (ja) * 2011-05-16 2015-11-18 Hoya株式会社 電子内視鏡システム、電子内視鏡システムの動作方法、及びソフトウェア
JP5830295B2 (ja) 2011-07-29 2015-12-09 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5800626B2 (ja) * 2011-07-29 2015-10-28 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5450527B2 (ja) * 2011-08-10 2014-03-26 富士フイルム株式会社 内視鏡装置
JP5931418B2 (ja) * 2011-11-25 2016-06-08 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP5784751B2 (ja) * 2011-12-08 2015-09-24 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN104203065B (zh) * 2012-03-08 2017-04-12 奥林巴斯株式会社 图像处理装置和图像处理方法
KR20140146137A (ko) * 2012-04-25 2014-12-24 올림푸스 가부시키가이샤 화상 처리 시스템, 화상 처리 방법 및 화상 처리 프로그램이 기록된 컴퓨터 판독가능한 기록 매체
JP6265588B2 (ja) 2012-06-12 2018-01-24 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP6196760B2 (ja) * 2012-08-10 2017-09-13 オリンパス株式会社 画像処理装置
JP5948200B2 (ja) 2012-09-27 2016-07-06 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
JP6242072B2 (ja) 2012-09-27 2017-12-06 オリンパス株式会社 画像処理装置、プログラム及び画像処理装置の作動方法
JP6422198B2 (ja) * 2012-11-29 2018-11-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN105101863B (zh) * 2013-03-27 2016-12-28 富士胶片株式会社 图像处理装置
JP6188477B2 (ja) * 2013-08-02 2017-08-30 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
WO2016051840A1 (ja) * 2014-09-29 2016-04-07 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2016117018A1 (ja) * 2015-01-20 2016-07-28 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JPWO2017017722A1 (ja) * 2015-07-24 2018-05-24 オリンパス株式会社 処理装置、処理方法及びプログラム
JP6270967B2 (ja) * 2016-11-17 2018-01-31 Hoya株式会社 画像処理装置及び内視鏡装置
CN107240091B (zh) * 2017-04-21 2019-09-03 安翰科技(武汉)股份有限公司 胶囊内窥镜图像预处理系统及方法
WO2019146079A1 (ja) * 2018-01-26 2019-08-01 オリンパス株式会社 内視鏡画像処理装置、内視鏡画像処理方法及びプログラム
CN110933304B (zh) * 2019-11-27 2022-02-25 RealMe重庆移动通信有限公司 待虚化区域的确定方法、装置、存储介质与终端设备
US11436737B2 (en) * 2020-01-06 2022-09-06 Ricoh Company, Ltd. Brain segmentation using clustering and templates
CN112686310B (zh) * 2020-12-30 2022-08-16 武汉大学 一种基于锚框的目标检测算法中先验框设计方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL108352A (en) * 1994-01-17 2000-02-29 Given Imaging Ltd In vivo video camera system
US10973397B2 (en) * 1999-03-01 2021-04-13 West View Research, Llc Computerized information collection and processing apparatus
US6947784B2 (en) * 2000-04-07 2005-09-20 The General Hospital Corporation System for digital bowel subtraction and polyp detection and related techniques
EP1372474B1 (en) * 2001-03-14 2011-05-11 Given Imaging Ltd. Method and system for detecting colorimetric abnormalities
AU2003225508A1 (en) * 2002-05-17 2003-12-02 Pfizer Products Inc. Apparatus and method for statistical image analysis
US7613335B2 (en) * 2003-02-12 2009-11-03 The University Of Iowa Research Foundation Methods and devices useful for analyzing color medical images
JP3810381B2 (ja) * 2003-04-25 2006-08-16 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP4652694B2 (ja) * 2004-01-08 2011-03-16 オリンパス株式会社 画像処理方法
JP4455067B2 (ja) * 2004-01-14 2010-04-21 オリンパス株式会社 カプセル型内視鏡装置
CN1312625C (zh) * 2004-07-02 2007-04-25 清华大学 基于游程邻接图的复杂背景彩色图像中字符提取方法
US7736313B2 (en) * 2004-11-22 2010-06-15 Carestream Health, Inc. Detecting and classifying lesions in ultrasound images
WO2006112227A1 (ja) * 2005-04-13 2006-10-26 Olympus Medical Systems Corp. 画像処理装置及び画像処理方法
WO2006117932A1 (ja) * 2005-04-27 2006-11-09 Olympus Medical Systems Corp. 画像処理装置、画像処理方法、及び画像処理プログラム
JP4616076B2 (ja) * 2005-05-19 2011-01-19 オリンパスメディカルシステムズ株式会社 画像表示装置
JP4418400B2 (ja) * 2005-05-20 2010-02-17 オリンパスメディカルシステムズ株式会社 画像表示装置
EP1938274A2 (en) * 2005-09-12 2008-07-02 D.V.P. Technologies Ltd. Medical image processing
US7983458B2 (en) * 2005-09-20 2011-07-19 Capso Vision, Inc. In vivo autonomous camera with on-board data storage or digital wireless transmission in regulatory approved band
JP5094036B2 (ja) 2006-04-17 2012-12-12 オリンパスメディカルシステムズ株式会社 内視鏡挿入方向検出装置
US7940973B2 (en) * 2006-09-19 2011-05-10 Capso Vision Inc. Capture control for in vivo camera
WO2008110013A1 (en) * 2007-03-15 2008-09-18 Centre Hospitalier De L'universite De Montreal Image segmentation
EP2163183A4 (en) * 2007-06-05 2015-04-29 Olympus Corp IMAGE PREPARATION DEVICE, IMAGE PROCESSING PROGRAM AND IMAGE PROCESSING
US7995798B2 (en) * 2007-10-15 2011-08-09 Given Imaging Ltd. Device, system and method for estimating the size of an object in a body lumen
JP5281826B2 (ja) * 2008-06-05 2013-09-04 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP5117353B2 (ja) * 2008-11-07 2013-01-16 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
US20110135170A1 (en) * 2009-12-09 2011-06-09 Capso Vision, Inc. System and method for display speed control of capsule images

Also Published As

Publication number Publication date
CN101794434B (zh) 2016-03-16
US20100119110A1 (en) 2010-05-13
CN101794434A (zh) 2010-08-04
US8768017B2 (en) 2014-07-01
JP2010113616A (ja) 2010-05-20

Similar Documents

Publication Publication Date Title
JP5117353B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP5281826B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
TWI496112B (zh) 細胞影像分割方法以及核質比評估方法
JP5424584B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
JP5094036B2 (ja) 内視鏡挿入方向検出装置
JP5305850B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP5526044B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5926937B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5851160B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US9672612B2 (en) Image processing device, image processing method, and image processing program for classification of region of interest from intraluminal images based on initial region feature and expansion region feature
WO2016185617A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2014084083A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN105828691B (zh) 图像处理装置、图像处理方法
Alush et al. Automated and interactive lesion detection and segmentation in uterine cervix images
JP2013027636A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2006208339A (ja) 領域抽出装置、顕微鏡システムおよび領域抽出プログラム
EP2584526B1 (en) Image processing device, image processing method, and image processing program
Tania et al. Computational complexity of image processing algorithms for an intelligent mobile enabled tongue diagnosis scheme
JP2010115260A (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
KR101118211B1 (ko) 점막하 종양의 초음파 내시경 영상 분석에 의한 질병의 진단 방법
Tuba et al. Bleeding detection in wireless capsule endoscopy images using texture and color features
RU2668699C1 (ru) Интеллектуальный способ диагностики и обнаружения новообразований в легких
CN117593564A (zh) 一种喉内镜图像的病灶识别方法和系统
CN117649373A (zh) 一种消化内镜图像处理方法及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120925

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121017

R151 Written notification of patent or utility model registration

Ref document number: 5117353

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151026

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250