JP5576711B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
JP5576711B2
JP5576711B2 JP2010112541A JP2010112541A JP5576711B2 JP 5576711 B2 JP5576711 B2 JP 5576711B2 JP 2010112541 A JP2010112541 A JP 2010112541A JP 2010112541 A JP2010112541 A JP 2010112541A JP 5576711 B2 JP5576711 B2 JP 5576711B2
Authority
JP
Japan
Prior art keywords
image
series
time
reliability
initial value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010112541A
Other languages
English (en)
Other versions
JP2011239843A (ja
JP2011239843A5 (ja
Inventor
誠 北村
大和 神田
隆志 河野
昌士 弘田
岳博 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010112541A priority Critical patent/JP5576711B2/ja
Priority to EP11003623.3A priority patent/EP2397990B1/en
Priority to US13/104,363 priority patent/US8457376B2/en
Priority to CN201110122736.2A priority patent/CN102243710B/zh
Publication of JP2011239843A publication Critical patent/JP2011239843A/ja
Publication of JP2011239843A5 publication Critical patent/JP2011239843A5/ja
Application granted granted Critical
Publication of JP5576711B2 publication Critical patent/JP5576711B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30092Stomach; Gastric

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、撮像対象を時系列で撮像した一連の時系列画像を処理する画像処理装置、画像処理方法、および画像処理プログラムに関するものである。
内視鏡装置を用いて被検者の体内を撮像した画像から病変の領域を判別し、表示部に表示するようにした診断支援装置が知られている(特許文献1を参照)。この特許文献1に開示されている技術では、事前に病変領域を判別するための基準として用いる教師データを用意しておき、この教師データを用いて各画素の例えば色比等の特徴量を分類することで病変領域を判別している。
特開2002−165757号公報
しかしながら、撮像対象が生体の場合、対象の色は、個人差等によって変動する。例えば粘膜を例に挙げると、粘膜の色は、被検者の個人差によって変動する。また、粘膜の色は、消化管の種類によっても異なるため、同じ被検者であっても、その画像が撮像された生体内の位置によって変動する。このため、特許文献1のように事前に用意した教師データを用いる方法では、基準が固定であるため、様々な生体内の画像から画像内の特定領域を精度良く判別するのが難しいという問題があった。
本発明は、上記に鑑み為されたものであって、撮像対象を時系列で撮像した一連の時系列画像を構成する画像内の特定領域を精度良く判別することができる画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
上記した課題を解決し、目的を達成するための、本発明のある態様にかかる画像処理装置は、撮像対象を時系列で撮像した一連の時系列画像を処理する画像処理装置であって、前記時系列画像を構成する画像の中から時系列順に従って処理対象画像を選択する画像選択手段と、前記処理対象画像内の特定領域を判別するための判別基準を作成する判別基準作成手段と、前記処理対象画像の画素毎または小領域毎の特徴量を算出する特徴量算出手段と、前記画素毎または前記小領域毎の前記特徴量をもとに、前記判別基準を用いて前記処理対象画像内の特定領域を判別する特定領域判別手段と、を備え、前記判別基準作成手段は、前記画像選択手段が前記処理対象画像として既に選択し、前記特定領域判別手段が既に判別を行った画像内の前記特定領域の特徴量をもとに、前記判別基準を作成することを特徴とする。
この態様にかかる画像処理装置によれば、時系列画像を構成する画像を順次処理対象画像として選択し、この処理対象画像内の特定領域を判別していく過程において、処理対象画像として既に選択され、既に判別された画像内の特定領域の特徴量をもとに、判別基準を適応的に作成することができる。したがって、撮像対象を時系列で撮像した一連の時系列画像を構成する画像内の特定領域を精度良く判別することができるという効果を奏する。
また、本発明の別の態様にかかる画像処理方法は、撮像対象を時系列で撮像した一連の時系列画像を処理する画像処理方法であって、前記時系列画像を構成する画像の中から時系列順に従って処理対象画像を選択する画像選択工程と、前記処理対象画像内の特定領域を判別するための判別基準を作成する判別基準作成工程と、前記処理対象画像の画素毎または小領域毎の特徴量を算出する特徴量算出工程と、前記画素毎または前記小領域毎の前記特徴量をもとに、前記判別基準を用いて前記処理対象画像内の特定領域を判別する特定領域判別工程と、を含み、前記判別基準作成工程は、前記画像選択手段が前記処理対象画像として既に選択し、前記特定領域判別手段が既に判別を行った画像内の前記特定領域の特徴量をもとに、前記判別基準を作成することを特徴とする。
また、本発明の別の態様にかかる画像処理プログラムは、コンピュータに、撮像対象を時系列で撮像した一連の時系列画像を処理させるための画像処理プログラムであって、前記時系列画像を構成する画像の中から時系列順に従って処理対象画像を選択する画像選択手順と、前記処理対象画像内の特定領域を判別するための判別基準を作成する判別基準作成手順と、前記処理対象画像の画素毎または小領域毎の特徴量を算出する特徴量算出手順と、前記画素毎または前記小領域毎の前記特徴量をもとに、前記判別基準を用いて前記処理対象画像内の特定領域を判別する特定領域判別手順と、を前記コンピュータに実行させ、前記判別基準作成手順は、前記画像選択手段が前記処理対象画像として既に選択し、前記特定領域判別手段が既に判別を行った画像内の前記特定領域の特徴量をもとに、前記判別基準を作成することを前記コンピュータに実行させることを特徴とする。
本発明によれば、撮像対象を時系列で撮像した一連の時系列画像を構成する画像内の特定領域を精度良く判別することができる。
図1は、実施の形態1の画像処理装置の機能構成を説明するブロック図である。 図2は、実施の形態1の画像処理装置が行う処理手順を示す全体フローチャートである。 図3は、実施の形態1の特徴量算出処理の詳細な処理手順を示すフローチャートである。 図4は、実施の形態1の特定領域判別処理の詳細な処理手順を示すフローチャートである。 図5は、実施の形態1の信頼度算出処理の詳細な処理手順を示すフローチャートである。 図6は、実施の形態1の判別基準作成処理の詳細な処理手順を示すフローチャートである。 図7は、実施の形態2の画像処理装置の機能構成を説明するブロック図である。 図8は、実施の形態2の画像処理装置が行う処理手順を示す全体フローチャートである。 図9は、実施の形態2の特定領域判別処理の詳細な処理手順を示すフローチャートである。 図10は、実施の形態2の判別基準作成処理の詳細な処理手順を示すフローチャートである。 図11は、実施の形態3の画像処理装置の機能構成を説明するブロック図である。 図12は、実施の形態3の画像処理装置が行う処理の概要を説明する説明図である。 図13は、実施の形態3の画像処理装置が行う処理手順を示す全体フローチャートである。 図14は、図13に続く処理手順を示す全体フローチャートである。 図15は、実施の形態4の画像処理装置の機能構成を説明するブロック図である。 図16は、実施の形態4の画像処理装置が行う処理手順を示す全体フローチャートである。 図17は、実施の形態4の初期値設定処理の詳細な処理手順を示すフローチャートである。 図18は、実施の形態5の画像処理装置の機能構成を説明するブロック図である。 図19は、実施の形態5の画像処理装置が行う処理手順を示す全体フローチャートである。 図20は、実施の形態5の近傍領域判別処理の詳細な処理手順を示すフローチャートである。 図21は、実施の形態6の画像処理装置の機能構成を説明するブロック図である。 図22は、実施の形態6の画像処理装置が行う処理手順を示す全体フローチャートである。 図23は、実施の形態6の信頼度算出基準設定処理の詳細な処理手順を示すフローチャートである。 図24は、本発明を適用したコンピューターシステムの構成を示すシステム構成図である。 図25は、図24のコンピューターシステムを構成する本体部の構成を示すブロック図である。
以下、図面を参照し、本発明の好適な実施の形態について説明する。なお、この実施の形態によって本発明が限定されるものではない。また、各図面の記載において、同一部分には同一の符号を付して示している。
本実施の形態の画像処理装置は、例えば内視鏡やカプセル内視鏡といった被検者の体内に導入される医用観察装置が消化管等の生体内管腔を時系列で撮像した一連の画像(時系列画像)を処理するものである。以下では、この時系列画像を構成する画像(以下、「生体内管腔画像」と呼ぶ。)内の正常粘膜の領域(正常粘膜領域)を特定領域として判別する場合を例にとって説明する。ここで、本実施の形態の画像処理装置が扱う時系列画像を構成する生体内管腔画像は、例えば、各画素においてR(赤),G(緑),B(青)の各色成分に対する256階調の画素値を持つカラー画像である。なお、特定領域は、正常粘膜領域に限定されるものではなく、生体内管腔画像内で判別したい所望の領域を特定領域とすることができる。また、本発明は、撮像対象が生体内管腔である画像に限らず、別の撮像対象を映した画像にも同様に適用可能である。
(実施の形態1)
先ず、実施の形態1の画像処理装置について説明する。図1は、実施の形態1の画像処理装置1の機能構成を説明するブロック図である。実施の形態1の画像処理装置1は、図1に示すように、画像取得部11と、入力部12と、表示部13と、記録部14と、演算部20と、画像処理装置1全体の動作を制御する制御部15とを備える。
画像取得部11は、医用観察装置によって撮像された時系列画像の画像データを取得するためのものであり、この画像取得部11によって取得された時系列画像の画像データ(詳細には、時系列画像を構成する各生体内管腔画像の画像データ)は記録部14に記録され、演算部20によって処理された後、必要に応じて適宜表示部13に表示される。画像取得部11は、例えば医用観察装置との間の画像データの受け渡しに可搬型の記録媒体が使用される場合であれば、この記録媒体を着脱自在に装着して保存された時系列画像の画像データを読み出すリーダ装置で構成される。また、医用観察装置によって撮像された時系列画像の画像データを保存しておくサーバを適所に設置し、このサーバから画像データを取得する構成の場合には、画像取得部11を、サーバと接続するための通信装置等で構成する。そして、この画像取得部11を介してサーバとデータ通信を行い、時系列画像の画像データを取得する。また、この他、医用観察装置から画像データをケーブルを介して取得する構成の場合には、画像取得部11を、画像データが入力されるインターフェース装置等で構成してもよい。
入力部12は、例えばキーボードやマウス、タッチパネル、各種スイッチ等によって実現されるものであり、入力信号を制御部15に出力する。表示部13は、LCDやELディスプレイ等の表示装置によって実現されるものであり、制御部15の制御のもと、生体内管腔画像を含む各種画面を表示する。
記録部14は、更新記録可能なフラッシュメモリ等のROMやRAMといった各種ICメモリ、内蔵或いはデータ通信端子で接続されたハードディスク、CD−ROM等の情報記録媒体およびその読取装置等によって実現されるものであり、画像処理装置1を動作させ、この画像処理装置1が備える種々の機能を実現するためのプログラムや、このプログラムの実行中に使用されるデータ等が予めあるいは処理の都度一時的に記録される。この記録部14には、画像取得部11によって取得された時系列画像の画像データが記録される。また、記録部14には、時系列画像を構成する各生体内管腔画像内の正常粘膜領域を判別するための画像処理プログラム141が記録される。
演算部20は、CPU等のハードウェアによって実現される。この演算部20は、時系列画像を構成する各生体内管腔画像を時系列順に従って処理し、各生体内管腔画像に映る正常粘膜領域を判別するための種々の演算処理を行う。実施の形態1では、時系列前方から時系列後方に向かって順番に、すなわち、時系列順が先頭(1番目)の生体内管腔画像から最後尾(例えばN番目とする)の生体内管腔画像まで順番に、各生体内管腔画像を処理していく。そして、実施の形態1では、時系列順が先頭の生体内管腔画像については、判別基準として予め作成される初期値を用いて正常粘膜領域を判別する。ここで、判別基準の初期値は、予め作成して記録部14に記録しておく。その後は、既に処理を終えた生体内管腔画像内で判別された正常粘膜領域の特徴量を用いることで適応的に正常粘膜領域の判別基準を作成し、作成した判別基準を用いて正常粘膜領域を判別する。
この演算部20は、特徴量算出手段としての特徴量算出部21と、判別基準作成手段としての判別基準作成部22と、特定領域判別手段としての特定領域判別部25とを含む。特徴量算出部21は、処理対象の生体内管腔画像内を例えば小領域としての分割領域に分割し、分割した領域(分割領域)毎に特徴量として後述するG/R値の平均値およびB/G値の平均値を算出する。
判別基準作成部22は、正常粘膜領域を判別するための判別基準を作成する機能部であり、時系列順が先頭の生体内管腔画像を処理する前に、判別基準を前述の初期値に設定する。一方、時系列画像を構成する1枚目の生体内管腔画像を処理した後は、時系列順が次の生体内管腔画像を処理するのに用いる判別基準をその都度適応的に作成する。この判別基準作成部22は、初期値設定手段としての初期値設定部221と、加重平均算出手段としての加重平均算出部222とを備える。初期値設定部221は、判別基準を初期値に設定する。加重平均算出部222は、既に処理を終えた生体内管腔画像内で判別された正常粘膜領域の特徴量の加重平均を算出する機能部であり、時系列距離重み設定手段としての時系列距離重み設定部223と、信頼度重み設定手段としての信頼度重み設定部224とを備える。
時系列距離重み設定部223は、既に処理を終えた生体内管腔画像内の正常粘膜領域の特徴量に対し、時系列的な距離(時系列距離)に応じた重み値(以下、「時系列距離に基づく重み値」と呼ぶ。)を設定する。ここで、時系列距離は、その正常粘膜領域を含む生体内管腔画像の時系列順と、処理対象の生体内管腔画像の時系列順と差に相当する。
信頼度重み設定部224は、特定領域判別部25によって処理対象の生体内管腔画像内で正常粘膜領域と判別された分割領域についての判別結果の信頼度(その分割領域が正常粘膜領域であることに対する信頼度)を算出する信頼度算出手段としての信頼度算出部225を備え、この信頼度に従って該当する正常粘膜領域の特徴量に対する重み値(以下、「信頼度に基づく重み値」と呼ぶ。)を設定する。この信頼度算出部225は、信頼度算出基準設定手段としての信頼度算出基準設定部226と、非特定領域判定手段としての非特定領域判定部227とを備える。信頼度算出基準設定部226は、信頼度を算出するための信頼度算出基準を設定する。非特定領域判定部227は、特定領域判別部25によって処理対象の生体内管腔画像内で非正常粘膜領域と判別された領域の有無を判定する。
特定領域判別部25は、特徴量算出部21によって算出された特徴量をもとに、判別基準作成部22によって作成された判別基準を用いて処理対象の生体内管腔画像内の正常粘膜領域を判別する。
制御部15は、CPU等のハードウェアによって実現される。この制御部15は、画像取得部11によって取得された画像データや入力部12から入力される入力信号、記録部14に記録されるプログラムやデータ等をもとに画像処理装置1を構成する各部への指示やデータの転送等を行い、画像処理装置1全体の動作を統括的に制御する。
図2は、実施の形態1の画像処理装置1が行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記録部14に記録された画像処理プログラム141に従って画像処理装置1の各部が動作することによって実現される。
図2に示すように、先ず、画像取得部11が、時系列画像の画像データを取得する(ステップa1)。取得された時系列画像を構成する各生体内管腔画像の画像データは、その時系列順序を示す画像番号とともに記録部14に記録され、任意の画像番号が付された生体内管腔画像の画像データを読み込み可能な状態となる。
その後、時系列画像を構成する各生体内管腔画像を順次処理対象とし、各生体内管腔画像内の正常粘膜領域を判別する処理を行うが、先ず、演算部20において、判別基準作成部22の初期値設定部221が、予め作成されて記録部14に記録された初期値を読み出し、判別基準を読み出した初期値に設定する(ステップa3)。この初期値は、後段のステップa5で処理対象画像として読み出す時系列順が先頭の生体内管腔画像内の正常粘膜領域を判別するのに用いる。また、初期値は、例えば、予め正常粘膜領域の特徴量分布を算出することで作成しておく。
ここで、初期値とする正常粘膜領域の特徴量分布の算出手順について説明する。初期値の算出に先立ち、正常粘膜領域を撮像した生体内管腔画像を複数用意する。先ず、用意した正常粘膜領域が映る生体内管腔画像を分割領域である所定サイズ(例えば8×8画素)の矩形ブロックに分割する。
続いて、分割した分割領域毎に特徴量を算出する。以下では、分割領域内の各画素のG/R値(G成分とR成分との色比)の平均値およびB/G値(B成分とG成分との色比)の平均値を特徴量として算出する。ここで、分割領域内のR成分の値(R値)の合計値をRsum、分割領域内のG成分の値(G値)の合計値をGsum、分割領域内のB成分の値(B値)の合計値をBsumとすると、G/R値の平均値GRは次式(1)で表され、B/G値の平均値BGは次式(2)で表される。
GR=(Gsum/Rsum) ・・・(1)
BG=(Bsum/Gsum) ・・・(2)
そして、このような分割領域毎にG/R値の平均値およびB/G値の平均値を算出する処理を用意した複数の生体内管腔画像それぞれについて行い、得られたG/R値の平均値およびB/G値の平均値の2次元特徴平面における頻度分布を作成する。そして、頻度の合計が100になるように頻度分布を正規化し、正常粘膜領域の特徴量分布とする。そして、このようにして正常粘膜領域の特徴量分布を算出することで判別基準の初期値を作成し、記録部14に記録しておく。
図2に戻り、続いて、演算部20が、ステップa1で記録部14に記録した時系列画像を構成する時系列順が先頭の生体内管腔画像を処理対象画像として読み出す処理を行い(ステップa5)、画像選択手段として処理対象画像を選択する。その後、ステップa7に移行し、特徴量算出部21が特徴量算出処理を実行する。図3は、特徴量算出処理の詳細な処理手順を示すフローチャートである。
特徴量算出処理では、特徴量算出部21は先ず、処理対象画像を例えば8×8画素の矩形ブロックである分割領域に分割する(ステップb1)。また、このとき、以降の処理において処理対象画像内の各画素が属する分割領域を特定できるように、各分割領域と生体内管腔画像内の各画素位置との対応付けを行う。具体的には、各分割領域に通し番号等の固有の領域番号を割り振る。そして、各画素の画素値をその画素が属する分割領域の領域番号とした領域番号画像を作成しておく。
続いて、特徴量算出部21は、分割した分割領域毎に、特徴量であるG/R値の平均値およびB/G値の平均値を算出する(ステップb3)。具体的には、分割領域毎に、上記した式(1)に従って分割領域内の各画素のG/R値の平均値を算出するとともに、上記した式(2)に従って分割領域内の各画素のB/G値の平均値を算出する。このようにして分割領域毎に算出した処理対象画像の特徴量であるG/R値の平均値およびB/G値の平均値は、画像番号と対応付けられて記録部14に記録される。その後、図2のステップa7にリターンし、ステップa9に移行する。
ステップa9では、特定領域判別部25が特定領域判別処理を実行する。図4は、特定領域判別処理の詳細な処理手順を示すフローチャートである。この特定領域判別処理では、図2のステップa7で分割領域毎に算出した特徴量をもとに、処理対象画像内の正常粘膜領域を分割領域毎に判別する。このとき、処理対象画像内の正常粘膜領域の判別に用いることとして設定されている判別基準、すなわち、現時点で最新の判別基準を用いる。実施の形態1において、判別基準は、正常粘膜領域の特徴量(G/R値の平均値およびB/G値の平均値)の2次元特徴平面における頻度分布であり、時系列順が先頭の生体内管腔画像が処理対象画像の場合には、図2のステップa3で設定した初期値が現時点で最新の判別基準に該当する。また、時系列順が2番目以降の生体内管腔画像が処理対象画像の場合であれば、後述する図6のステップe11で最後に更新された判別基準が現時点で最新の判別基準に該当する。具体的には、各分割領域の特徴量と判別基準とを比較することで、各分割領域が正常粘膜領域か否かを判別していく。
例えば、実施の形態1では、各分割領域の特徴量と判別基準とのマハラノビス距離(参考:CG−ARTS協会,ディジタル画像処理,P222〜P223)を算出することで正常粘膜領域の判別を行う。すなわち、図4に示すように、特定領域判別部25は先ず、分割領域毎に、その特徴量として算出したG/R値の平均値およびB/G値の平均値と、現時点で最新の判別基準とのマハラノビス距離を算出する(ステップc1)。そして、特定領域判別部25は、算出したマハラノビス距離が予め設定される正常範囲内である分割領域を正常粘膜領域と判別する(ステップc3)。このとき、マハラノビス距離が所定の正常範囲外である分割領域については、非正常粘膜領域と判別する。所定の正常範囲は、固定値としてもよいし、ユーザ操作等によって設定変更可能に構成してもよい。このようにして処理対象画像内で判別された正常粘膜領域の判別結果(各分割領域が正常粘膜領域なのか非正常粘膜領域なのかの判別結果)は、記録部14に記録される。その後、図2のステップa9にリターンし、ステップa11に移行する。
ステップa11では、信頼度算出部225において、信頼度算出基準設定部226が、ステップa13の信頼度算出処理で用いる信頼度算出基準を設定する。例えば、信頼度算出基準設定部226は、図4のステップc3で非正常粘膜領域と判別された分割領域が存在する場合に、この非正常粘膜領域と判別された分割領域の特徴量であるG/R値の平均値およびB/G値の平均値の2次元特徴平面における頻度分布を算出し、得られた頻度分布を信頼度算出基準とする。設定された信頼度算出基準は、記録部14に記録される。
なお、信頼度算出基準の設定手順はこれに限定されるものではない。例えば、1つ目の変形例として、現時点で最新の判別基準、すなわち、処理対象画像内の正常粘膜領域を判別するのに用いた判別基準を信頼度算出基準としてもよい。
2つ目の変形例としては、信頼度算出基準の設定に先立ち、正常粘膜領域を撮像した生体内管腔画像および非正常粘膜領域を撮像した生体内管腔画像を用意する。そして先ず、正常粘膜領域が映る生体内管腔画像を分割領域に分割して分割領域毎にG/R値の平均値およびB/G値の平均値を算出し、正常粘膜領域の特徴量として収集する。同様に、非正常粘膜領域が映る生体内管腔画像を分割領域に分割して分割領域毎にG/R値の平均値およびB/G値の平均値を算出し、非正常粘膜領域の特徴量として収集する。そして、収集した正常粘膜領域の特徴量と非正常粘膜領域の特徴量とから、正常粘膜領域の特徴量範囲を決定し、決定した正常粘膜領域の特徴量範囲を信頼度算出基準としてもよい。なお、この場合は、予め信頼度算出基準を作成し、記録部14に記録しておくことができるので、ステップa11では、これを記録部14から読み出す処理を行えばよい。
以上のようにして信頼度算出基準を設定したならば、続いて、信頼度算出部225が信頼度算出処理を実行し、処理対象画像内で正常粘膜領域と判別された分割領域毎に信頼度を算出する(ステップa13)。図5は、信頼度算出処理の詳細な処理手順を示すフローチャートである。この信頼度算出処理では、図4のステップc3で分割領域毎に行った正常粘膜領域/非正常粘膜領域の判別結果に対する信頼度を算出する。
信頼度算出処理では、先ず非特定領域判定部227が、図4のステップc3において非正常粘膜領域と判別された分割領域の有無を判定する(ステップd1)。そして、非正常粘膜領域と判別された分割領域が存在する場合には(ステップd3:Yes)、信頼度算出部225が、正常粘膜領域の信頼度を分割領域毎に算出する。すなわち、信頼度算出部225は、先ず、正常粘膜領域と判別された分割領域を順次処理し、各分割領域の特徴量と、図2のステップa11で設定した信頼度算出基準(処理対象画像内で非正常粘膜領域と判別された分割領域の特徴量の頻度分布)とのマハラノビス距離を算出する(ステップd4)。そして、信頼度算出部225は、正常粘膜領域と判別された分割領域のうち、算出したマハラノビス距離が予め設定される閾値以上である分割領域の信頼度を「1」とし、マハラノビス距離が閾値未満である分割領域の信頼度を「0」として設定する(ステップd5)。このようにして正常粘膜領域と判別された分割領域毎に設定された信頼度の値は、記録部14に記録される。所定の閾値は、固定値としてもよいし、ユーザ操作等によって設定変更可能に構成してもよい。
ここで、信頼度算出基準は、上記したように、処理対象画像内の非正常粘膜領域の特徴量の頻度分布である。したがって、ステップd4で算出したマハラノビス距離によって正常粘膜領域と非正常粘膜領域等の正常粘膜領域以外の領域との間の中間的な領域が判定され、正常粘膜領域と判別された分割領域のうち、前述のような中間的な領域と判定された分割領域について、低い信頼度が算出される。その後、図2のステップa13にリターンし、ステップa15に移行する。
一方、非正常粘膜領域と判別された分割領域が存在しなければ(ステップd3:No)、信頼度算出部225は、正常粘膜領域と判別された全ての分割領域の信頼度を「1」として設定する(ステップd7)。設定された信頼度の値は、記録部14に記録される。その後、図2のステップa13にリターンし、ステップa15に移行する。
なお、信頼度の算出手順はこれに限定されるものではない。例えば、信頼度算出基準の設定手順の1つ目の変形例として上記したように、処理対象画像内の正常粘膜領域を判別するのに用いた判別基準を信頼度算出基準とする場合には、信頼度算出部225は、先ず、正常粘膜領域と判別された分割領域を順次処理し、各分割領域の特徴量と、処理対象画像内の正常粘膜領域の判別に用いた判別基準である信頼度算出基準とのマハラノビス距離をそれぞれ算出する。そして、信頼度算出部225は、正常粘膜領域と判別された分割領域のうち、算出したマハラノビス距離が予め設定される閾値以上である分割領域の信頼度を「0」とし、マハラノビス距離が閾値未満である分割領域のその信頼度を「1」として設定する。このようにすることで、本変形例においても、正常粘膜領域と正常粘膜領域以外の領域との間の中間的な領域が判定され、中間的な領域と判定された分割領域について低い信頼度が算出される。
また、信頼度算出基準の設定手順の2つ目の変形例として上記したように、正常粘膜領域の特徴量範囲を信頼度算出基準とする場合には、信頼度算出部225は、正常粘膜領域と判別された分割領域のうち、その特徴量が信頼度算出基準である正常粘膜領域の特徴量範囲内である分割領域の信頼度を「1」とし、範囲外である分割領域の信頼度を「0」として設定する。この場合も同様に、正常粘膜領域と正常粘膜領域以外の領域との間の中間的な領域が判定され、中間的な領域と判定された分割領域について低い信頼度が算出される。
また、図2のステップa11において、上記した処理対象画像内の非正常粘膜領域の特徴量の頻度分布と、処理対象画像内の正常粘膜領域の判別に用いた判別基準と、正常粘膜領域の特徴量範囲との3つの信頼度算出基準を設定することとしてもよい。そして、信頼度算出処理では、これらの各信頼度算出基準を用いた信頼度をそれぞれ算出し、得られた各値から最終的な信頼度を求めるようにしてもよい。具体的には、処理対象画像内の非正常粘膜領域の特徴量の頻度分布を信頼度算出基準として用いて信頼度T1を算出し、処理対象画像内の正常粘膜領域の判別に用いた判別基準を信頼度算出基準として用いて信頼度T2を算出し、正常粘膜領域の特徴量範囲を信頼度算出基準として用いて信頼度T3を算出する。そして、これらT1,T2,T3の各値をもとに、次式(3)に従って最終的な信頼度Tを算出することとしてもよい。
T=(T1+T2+T3)/3 ・・・(3)
続く図2のステップa15では、判別基準作成部22が判別基準作成処理を実行する。図6は、判別基準作成処理の詳細な処理手順を示すフローチャートである。
判別基準作成処理では、先ず信頼度重み設定部224が、正常粘膜領域と判別された各分割領域に対し、その信頼度に基づく重み値を設定する(ステップe1)。その後、加重平均算出部222が、ステップe1で分割領域毎に設定した信頼度に基づく重み値を該当する分割領域の特徴量であるG/R値の平均値およびB/G値の平均値に乗じることで正常粘膜領域の各分割領域の特徴量を信頼度に応じて重み付けをし、重み付けした分割領域毎のG/R値の平均値およびB/G値の平均値の2次元特徴平面における頻度分布を作成する(ステップe3)。そして、加重平均算出部222は、作成した頻度分布を頻度の合計が100になるように正規化する(ステップe5)。
実施の形態1では、例えば、信頼度の値を信頼度に基づく重み値として設定する。したがって、正常粘膜領域と判別された各分割領域のうち、図5のステップd5またはステップd7で信頼度が「1」とされた分割領域の特徴量には「1」を乗算する。この場合には、ステップe3では、その分割領域が1.0個存在したとして頻度分布が集計される。一方、図5のステップd5で信頼度が「0」とされた分割領域の特徴量には「0」を乗算する。そして、このようにすることで、ステップe3において、信頼度が「0」である分割領域、すなわち、正常粘膜領域と正常粘膜領域以外の領域との間の中間的な領域と判定された分割領域の特徴量が頻度分布に集計されないようにする。
また、図2のステップa13で行う信頼度算出処理の変形例として上記したように、複数種類の信頼度算出基準を設定し、各信頼度算出基準を用いて算出した信頼度(例えばT1,T2,T3)の平均値を最終的な信頼度Tとして求める場合等では、信頼度Tの値が「0」〜「1」の間の値として得られ、例えば、信頼度が「0.5」とされた分割領域の特徴量には「0.5」を乗算する。この場合には、図6ステップe3では、その分割領域が0.5個存在したとして頻度分布が集計されることとなる。したがって、信頼度の低い分割領域の特徴量ほど小さな重みで頻度分布が作成されるため、正常粘膜領域と正常粘膜以外の領域との間にある信頼度の低い領域が頻度分布に集計され難くなる。なお、信頼度に基づく重み値は、信頼度の値に限定されるものではなく、信頼度の値に従って二次的に算出される別の値としてもよい。
続いて、時系列距離重み設定部223が、ステップe5で正規化した頻度分布およびステップe11で前回作成した現時点で最新の判別基準に対し、時系列距離に基づく重み値を設定する(ステップe7)。その後、加重平均算出部222が、これらステップe5で正規化した頻度分布および前回作成した判別基準にステップe7で設定した時系列距離に基づく重み値を乗じることでこれらに重み付けをし、重み付けした各値を合算して新たな判別基準を作成する(ステップe9)。そして、加重平均算出部222は、作成した判別基準を記録部14に記録して更新する(ステップe11)。
例えば、ステップe7およびステップe9の処理として、次式(4)に従って新たな判別基準Snew(GR,BG)を作成する処理を行う。
new(GR,BG)=S(GR,BG)×k1+H(GR,BG)×(1−k1) ・・・(4)
上記した式(4)において、H(GR,BG)は、ステップe5で正規化した頻度分布、すなわち、処理対象画像内で正常粘膜領域と判別された各分割領域の特徴量(G/R値の平均値およびB/G値の平均値)を該当する分割領域の信頼度に応じて重み付けした上で作成した頻度分布である。また、S(GR,BG)は、前回作成した判別基準、すなわち今回処理した処理対象画像内の正常粘膜領域の判別に用いた判別基準である。
ここで、S(GR,BG)は、式(4)に従って前回作成したものである。したがって、S(GR,BG)は、前回までに処理した生体内管腔画像内で正常粘膜領域と判別された分割領域毎の特徴量によって定まる。一方、H(GR,BG)は、今回処理した処理対象画像内の正常粘膜領域の特徴量によって定まる。このように、判別基準は、前回までに処理した生体内管腔画像内の正常粘膜領域の特徴量と、今回処理した処理対象画像内の正常粘膜領域の特徴量とによって定まる。そしてこのとき、H(GR,BG)およびS(GR,BG)の各値は、更新係数k1の値によって重み付けされる。
k1は、判別基準の更新係数であり、S(GR,BG)に乗じるk1の値とH(GR,BG)に乗じる1−k1の値とが時系列距離に基づく重み値に相当する。この更新係数k1は、例えば、0.0<k1<1.0の範囲内で適宜の値として設定される。したがって、更新係数k1の値が小さいほど、作成される判別基準には、今回処理した処理対象画像内での正常粘膜領域の判別結果が大きく反映される。また、前回までに処理した処理対象画像内での正常粘膜領域の判別結果として、その時系列距離が処理対象画像と近いものの方が遠いものよりも大きく反映されることとなる。
以上のように、判別基準は、前回までに処理した生体内管腔画像内の正常粘膜領域の特徴量を蓄積しつつ、今回処理した処理対象画像内の正常粘膜領域の特徴量を用いて適用的に作成される。このとき、今回処理した処理対象画像内の正常粘膜領域の特徴量には信頼度に応じた重み付けがなされ、この重み付けされた処理対象画像内の正常粘膜領域の特徴量および前回までに処理した生体内管腔画像内の正常粘膜領域の特徴量には時系列距離に応じた重み付けがなされることとなる。
続いて、演算部20は、未処理の生体内管腔画像の有無を判定する。未処理の生体内管腔画像があれば、すなわち、時系列画像を構成する全ての生体内管腔画像を処理対象としてステップa7〜ステップa15の処理を実行していない場合には(ステップa17:No)、時系列順が今回処理した処理対象画像の次(直後)の生体内管腔画像を処理対象画像として記録部14から読み出す処理を行い(ステップa19)、画像選択手段として処理対象画像を選択する。その後ステップa7に戻り、この処理対象画像についてステップa7〜ステップa15の処理を実行する。
一方、時系列画像を構成する全ての生体内管腔画像を処理対象としてステップa7〜ステップa15の処理を実行したならば(ステップa17:Yes)、本処理を終える。
以上説明したように、実施の形態1では、処理対象画像の特徴量として分割領域毎のG/R値の平均値およびB/G値の平均値を算出し、この分割領域毎の特徴量と判別基準とを比較することで各分割領域が正常粘膜領域か否かを判別することとした。また、正常粘膜領域と判別された各分割領域について信頼度を算出し、正常粘膜領域と判別された分割領域のうち、正常粘膜領域と正常粘膜領域以外の領域との間の中間的な領域について低い信頼度を設定することとした。そして、処理対象画像内の正常粘膜領域の判別を行った後、この処理対象画像を含む既に処理を終えた生体内管腔画像内で判別された正常粘膜領域の特徴量をもとに判別基準を作成することとした。より詳細には、既に処理を終えた生体内管腔画像内で判別された正常粘膜領域の特徴量に対して時系列距離および信頼度に応じた重み付けを行った上で、判別基準を作成することとした。そして、時系列順が先頭の生体内管腔画像を処理対象画像として処理する場合には、判別基準として予め作成される初期値を用いることとし、時系列順が2番目以降の生体内管腔画像を処理対象画像として処理する場合には、前述のように既に処理を終えた生体内管腔画像内で判別された正常粘膜領域の特徴量をもとに作成した判別基準を用いることとした。
この実施の形態1によれば、時系列画像を構成する各生体内管腔画像をその時系列順に従って先頭から順次処理していく過程において、既に処理を終えた生体内管腔画像内で判別された正常粘膜領域の特徴量を用いることで次に処理する生体内管腔画像に適用する正常粘膜領域の判別基準を適応的に作成することができる。そして、このようにして適応的に作成した判別基準を用いて各生体内管腔画像内の正常粘膜領域を順次判別することができる。したがって、生体内を時系列で撮像した一連の時系列画像を構成する各生体内管腔画像に映る例えば正常粘膜領域等の特定領域を精度良く判別することができる。
以上のようにして正常粘膜領域が抽出された生体内管腔画像に対しては、例えば病変領域や出血領域等の異常部領域を抽出する処理等が施され、適宜表示部13に表示されて医師等のユーザに提示される。具体的には、生体内管腔画像は、例えば異常部領域を他の領域と識別可能に表した画像として表示部13に表示される。あるいは、異常部領域を含む生体内管腔画像が、診断すべき画像として表示部13に表示される。このとき、実施の形態1を適用することで判別した正常粘膜領域を除外して異常部領域を抽出することができるので、高精度な異常部検出が実現できる。
(実施の形態2)
次に、実施の形態2の画像処理装置について説明する。図7は、実施の形態2の画像処理装置1aの機能構成を説明するブロック図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。実施の形態2の画像処理装置1aは、図7に示すように、画像取得部11と、入力部12と、表示部13と、記録部14aと、演算部20aと、画像処理装置1a全体の動作を制御する制御部15とを備える。
記録部14aには、時系列画像を構成する各生体内管腔画像内の正常粘膜領域を判別するための画像処理プログラム141aが記録される。
また、演算部20aは、特徴量算出部21と、判別基準作成部22aと、特定領域判別部25aとを含む。判別基準作成部22aは、初期値設定部221と加重平均算出部222aとを備え、加重平均算出部222aは、時系列距離重み設定部223と信頼度重み設定部224aとを備える。信頼度重み設定部224aは、信頼度算出部225aを備え、この信頼度算出部225aは、統計量算出手段としての統計量算出部228aを備える。統計量算出部228aは、正常粘膜領域と判別された分割領域の特徴量の統計量を算出する。また、特定領域判別部25aは、分割領域毎の特徴量の頻度分布をクラスタリングするクラスタリング手段としてのクラスタリング部251aを備える。
図8は、実施の形態2の画像処理装置1aが行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記録部14aに記録された画像処理プログラム141aに従って画像処理装置1aの各部が動作することによって実現される。また、図8において、実施の形態1と同一の処理工程には、同一の符号を付する。
図8に示すように、実施の形態2では、ステップa7で特徴量算出部21が特徴量算出処理を実行して分割領域毎に処理対象画像の特徴量を算出した後、特定領域判別部25aが特定領域判別処理を実行する(ステップf9)。図9は、特定領域判別処理の詳細な処理手順を示すフローチャートである。
特定領域判別処理では、特定領域判別部25aは先ず、図8のステップa7で算出した分割領域毎の特徴量であるG/R値の平均値およびB/G値の平均値の2次元特徴平面における頻度分布を作成する(ステップg1)。
その後、クラスタリング部251aが、作成した頻度分布をクラスタリングする(ステップg3)。クラスタリングは、特徴空間内のデータの分布を、データ間の類似度をもとにクラスタと呼ばれる塊に分ける手法である。また、このとき、以降の処理において各クラスタに属する分割領域を特定できるように、各分割領域がどのクラスタにクラスタリングされたのかを示すリストを作成し、記録部14aに記録しておく。
例えば、分割領域毎のG/R値の平均値およびB/G値の平均値の2次元特徴平面でのデータに対し、K−means法等の公知の手法(参考:CG−ARTS協会,ディジタル画像処理,P232)を用いてクラスタリング処理を行う。ここでは、2次元特徴平面におけるデータ間の距離が類似度に相当する。なお、K-means法では、予め分割するクラスタ数Kをパラメータとして指定する必要があり、指定したクラスタ数Kによってクラスタリングの精度が大きく変化する。このため、高精度のクラスタリング結果を得るためには、画像毎に最適なクラスタ数Kを決定する必要がある。ここでは、最適なクラスタ数Kの決定法として、クラスタ数評価値をもとに最適クラスタ数Kを決定するアルゴリズム(参考:Chong-Wah Ngo et al,”On Clustering and Retrieval of Video Shots Through Temporal Slices Analysis,”Trans Mlt,Vol.4,No.4,pp446-458,2002)を用いることとする。ただし、適用可能なクラスタリングの手法はK-means法に限定されるものではなく、他のクラスタリングの手法を用いてもよい。
続いて、クラスタリング部251aは、クラスタリングの結果をもとに各クラスタの重心を算出する(ステップg5)。その後、特定領域判別部25aが、クラスタ毎に、その重心と現時点で最新の判別基準とのマハラノビス距離を算出する(ステップg7)。ここで、判別基準は、上記した実施の形態1と同様に、正常粘膜領域の特徴量(G/R値の平均値およびB/G値の平均値)の2次元特徴平面における頻度分布である。そして、特定領域判別部25aは、算出したマハラノビス距離が予め設定される正常範囲内であるクラスタを正常粘膜クラスタとし、この正常粘膜クラスタに属する分割領域を正常粘膜領域と判別する(ステップg9)。このとき、マハラノビス距離が所定の正常範囲外であるクラスタに属する分割領域については、非正常粘膜領域と判別する。その後、図8のステップf9にリターンし、ステップf11に移行する。
ステップf11では、信頼度算出部225aにおいて、統計量算出部228aが、図9のステップg9で正常粘膜クラスタとしたクラスタに属する分割領域の特徴量をもとに、正常粘膜クラスタ毎に統計量を算出する。例えば、統計量算出部228aは、正常粘膜クラスタ毎に、その正常粘膜クラスタに属する全ての分割領域の特徴量の分散値を算出する。
続いて、信頼度算出部225aは、ステップf11で算出した統計量である分散値を用いて正常粘膜クラスタ毎に信頼度を算出する(ステップf13)。具体的には、信頼度算出部225aは、正常粘膜クラスタのうち、算出した分散値が予め設定される閾値以上である正常粘膜クラスタの信頼度を「0」とし、分散値が閾値未満である正常粘膜クラスタの信頼度を「1」として設定する。閾値は、固定値としてもよいし、ユーザ操作等によって設定変更可能に構成してもよい。このように、実施の形態2では、分散値の大小によって正常粘膜領域と正常粘膜領域以外の領域との間の中間的な領域が正常粘膜クラスタ単位で判定され、中間的な領域が属する正常粘膜クラスタについて低い信頼度が算出される。
なお、信頼度の算出手順はこれに限定されるものではない。例えば、各正常粘膜クラスタと、処理対象画像内の正常粘膜領域を判別するのに用いた判別基準とのマハラノビス距離をそれぞれ算出する。そして、正常粘膜クラスタのうち、算出したマハラノビス距離が予め設定される閾値以上である正常粘膜クラスタの信頼度を「0」とし、マハラノビス距離が閾値未満である正常粘膜クラスタの信頼度を「1」として設定することとしてもよい。通常、カプセル内視鏡等によって時系列で撮像される生体内管腔画像内では、正常粘膜領域が大半を占める。このため、頻度分布の大多数は正常粘膜領域となる。ここでの処理により、大多数の正常粘膜クラスタと類似する正常粘膜クラスタの信頼度は高く算出される。一方、大多数の正常粘膜クラスタと類似していない正常粘膜クラスタについては、正常粘膜領域と正常粘膜領域以外の領域との間の中間的な領域が属する正常粘膜クラスタとし、低い信頼度が算出される。
そして、判別基準作成部22aが、判別基準作成処理を実行する(ステップf15)。図10は、判別基準作成処理の詳細な処理手順を示すフローチャートである。なお、図10において、実施の形態1と同一の処理工程には、同一の符号を付する。
判別基準作成処理では、先ず信頼度重み設定部224aが、各正常粘膜クラスタに対し、その信頼度に基づく重み値を設定する(ステップh1)。その後、加重平均算出部222aが、ステップe1で正常粘膜クラスタ毎に設定した信頼度に基づく重み値をその正常粘膜クラスタに属する分割領域の特徴量であるG/R値の平均値およびB/G値の平均値に乗じることで正常粘膜領域の各分割領域の特徴量を信頼度に応じて重み付けをし、重み付けした分割領域毎のG/R値の平均値およびB/G値の平均値の2次元特徴平面における頻度分布を作成する(ステップh3)。その後は、ステップe5〜ステップe11の処理を上記した実施の形態1と同様に行い、判別基準を更新する。その後、図8のステップf15にリターンし、ステップa17に移行する。
以上説明したように、実施の形態2では、分割領域毎に算出した処理対象画像の特徴量(G/R値の平均値およびB/G値の平均値)を先ずクラスタリングし、クラスタリングの結果得られたクラスタ毎に正常粘膜領域を判別することとした。具体的には、クラスタの重心を判別基準と比較することで正常粘膜領域を判別することとした。また、正常粘膜クラスタとしたクラスタ毎に特徴量の分散値を算出して信頼度を算出し、算出した信頼度を加味して判別基準を適応的に作成することとした。この実施の形態2によれば、実施の形態1のように分割領域毎に正常粘膜領域を判別して判別基準を作成・更新する場合と比べ、判別結果が粘膜色の変化に追従し易いという効果がある。
(実施の形態3)
次に、実施の形態3の画像処理装置について説明する。図11は、実施の形態3の画像処理装置1bの機能構成を説明するブロック図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。実施の形態3の画像処理装置1bは、図11に示すように、画像取得部11と、入力部12と、表示部13と、記録部14bと、演算部20bと、画像処理装置1b全体の動作を制御する制御部15とを備える。
記録部14bには、時系列画像を構成する各生体内管腔画像内の正常粘膜領域を判別するための画像処理プログラム141bが記録される。
また、演算部20bは、特徴量算出部21と、判別基準作成部22bと、特定領域判別部25とを含む。判別基準作成部22bは、初期値設定部221bと、加重平均算出部222とを備える。実施の形態3では、初期値設定部221bは、初期値加重平均算出手段としての初期値加重平均算出部229bと停止制御手段としての処理停止制御部230bとを備え、判別基準の初期値を設定する。初期値加重平均算出部229bは、初期値設定対象区間を構成する生体内管腔画像内の正常粘膜領域の特徴量に対し、初期値設定区間の最後尾の設定対象画像との時系列距離が近いほど高い重みを設定して加重平均を算出する。処理停止制御部230bは、初期値加重平均算出部229bによる加重平均の算出処理の停止を制御する。また、加重平均算出部222は、時系列距離重み設定部223と信頼度重み設定部224とを備え、信頼度重み設定部224は、信頼度算出部225を備える。信頼度算出部225は、信頼度算出基準設定部226と非特定領域判定部227とを備える。
上記した実施の形態1等では、予め正常粘膜領域を撮像した生体内管腔画像を用意し、用意した生体内管腔画像の特徴量をもとに判別基準の初期値を作成しておくこととした。この判別基準の初期値としては、正常粘膜領域を精度良く判別するために、なるべくノイズの少ないものを用いるのが望ましい。しかしながら、用意した正常粘膜領域が映る生体内管腔画像内に誤って非正常粘膜領域が含まれていた場合、その特徴量の中に非正常粘膜領域の特徴量が含まれてしまい、この非正常粘膜領域の特徴量がノイズとなって作成される初期値の精度が低下してしまう。ところで、上記したように、カプセル内視鏡等によって時系列で撮像される生体内管腔画像内では、正常粘膜領域が大半を占めるため、正常粘膜領域に比べてノイズとなる非正常粘膜領域は圧倒的に少ない。このため、多くの生体内管腔画像を処理して判別基準の作成・更新を繰り返し、得られた判別基準を初期値として用いれば、よりノイズの影響を低減することができる。
そこで、実施の形態3では、時系列画像を構成する各生体内管腔画像を時系列順に従って例えば所定枚数分処理することで判別基準の初期値を設定する。図12は、実施の形態3の画像処理装置1bが行う処理の概要を説明する説明図である。図12では、時系列順が1番目からN番目までの生体内管腔画像で構成された時系列画像を模式的に示している。例えば、前述の所定枚数を1〜Nの間のM枚とし、時系列順が先頭(1番目)からM番目までの各生体内管腔画像を処理することで初期値とする判別基準を作成する。具体的には、M番目の生体内管腔画像を設定対象画像Itとし、1番目からM番目までの時系列区間を初期値設定区間とする。そして、判別基準の初期値を作成するために、図12中に矢印A11で示すように、1番目からM番目までの各生体内管腔画像を1番目から時系列順に(時系列前方から時系列後方に)処理し、実施の形態1と同様の要領で生体内管腔画像内の正常粘膜領域を判別して判別基準を作成・更新していく。そして、M番目の設定対象画像まで処理をした時点での判別基準を初期値に設定する。
このようにして初期値を設定したならば、その後は、図12中に矢印A12で示すように、M−1番目から1番目までの各生体内管腔画像を時系列順を遡って(時系列後方から時系列前方に)処理し、実施の形態1と同様の要領で判別基準を作成・更新しながら生体内管腔画像内の正常粘膜領域を判別していく。そして、1番目の生体内管腔画像まで処理をしたならば、判別基準を初期値に再設定する。その後、図12中に矢印A13で示すように、M番目の生体内管腔画像(設定対象画像)からN番目までの各生体内管腔画像を時系列順に(時系列前方から時系列後方に)処理し、実施の形態1と同様の要領で判別基準を作成・更新しながら生体内管腔画像内の正常粘膜領域を判別していく。
ここで、時系列距離が近い位置にある生体内管腔画像同士の粘膜色は類似している。逆に、時系列距離が遠い位置にある生体内管腔画像同士の粘膜色は類似していない。矢印A12で示すように設定対象画像から時系列順を遡って1番目の生体内管腔画像まで処理した後に初期値を再設定するのは、この粘膜色の違いによる誤判別を防止するためである。すなわち、1番目の生体内管腔画像まで処理した時点での判別基準を設定対象画像に適用してしまうと、1番目の生体内管腔画像とM番目の設定対象画像では時系列距離が遠いため、粘膜色の違いによって誤判別が発生し得る。そこで、設定対象画像から時系列順に最後尾の生体内管腔画像までを処理する(矢印A13)際の初期値として、1番目からM番目までの各生体内管腔画像を処理する(矢印A11)ことで作成した判別基準を用いる。このように、実施の形態3では、M−1番目の生体内管腔画像から時系列順を遡って1番目の生体内管腔画像までを処理する際(矢印A12)と、M番目の生体内管腔画像(設定対象画像)から時系列順にN番目の生体内管腔画像までを処理する際(矢印A13)とにおいて、前述のように初期値設定区間を構成する生体内管腔画像を処理することで作成した判別基準を初期値として用いる。
図13および図14は、実施の形態3の画像処理装置1bが行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記録部14bに記録された画像処理プログラム141bに従って画像処理装置1bの各部が動作することによって実現される。
図13に示すように、先ず、画像取得部11が、時系列画像の画像データを取得する(ステップi1)。続いて、処理停止制御部230bは、初期値設定対象区間を設定し、この初期値設定対象区間の最後尾の生体内管腔画像を設定対象画像として決定する(ステップi3)。具体的には、処理停止制御部230bは、図12に示して説明したように、先頭から所定枚数分の時系列区間を初期値設定対象区間として設定し、この初期値設定対象区間の最後尾の時系列画像を設定対象画像として決定する。初期値設定区間とする先頭からの枚数(何枚分の時系列区間を初期値設定区間とするのか)は、固定値としてもよいし、ユーザ操作等によって設定変更可能に構成してもよい。
続いて、演算部20bが、ステップi1で取得した時系列画像を構成する時系列順が先頭の生体内管腔画像を処理対象画像として読み出す(ステップi5)。その後、初期値加重平均算出部229bが特徴量算出処理を実行し、処理対象画像を領域分割して分割領域毎に特徴量であるG/R値の平均値およびB/G値の平均値を算出する(ステップi7)。この処理は、図3の特徴量算出処理と同様の処理手順で行う。
続いて、初期値加重平均算出部229bは、処理対象画像と設定対象画像との時系列距離が近いほど重みを大きく設定して正常粘膜領域の特徴量の加重平均を算出する(ステップi9)。具体的には、ステップi7で算出した分割領域毎の特徴量(G/R値の平均値およびB/G値の平均値)の2次元特徴平面における頻度分布を作成し、作成した頻度分布を頻度の合計が100になるように正規化する。そして、上記した式(4)に従って図6のステップe7〜ステップe9と同様の処理を行い、処理対象画像の特徴量の正規化した頻度分布と前回ステップi9で加重平均を算出して得た頻度分布とに時系列距離に基づく重みを設定して加算し、正常粘膜領域の特徴量の加重平均とする。
そして、続くステップi10では、処理停止制御部230bが、処理対象画像の時系列順をもとに加重平均算出の終了判定を行う。そして、処理停止制御部230bは、処理対象画像の時系列順が設定対象画像の時系列順と一致するまでは、終了しないと判定して(ステップi11:No)、ステップi5に戻る。一方、処理停止制御部230bは、処理対象画像の時系列順が設定対象画像の時系列順と一致しており、設定対象画像まで処理した場合には、加重平均算出を終了すると判定して(ステップi11:Yes)、ステップi13に移行する。
そして、ステップi13では、初期値設定部221bが、加重平均算出の終了時の加重平均、すなわち、ステップi10〜ステップi11で加重平均算出を終了すると判定する直前にステップi9で算出した加重平均を、判別基準の初期値に設定する。
続いて、演算部20bが、時系列順が設定対象画像の直前の生体内管腔画像を処理対象画像として読み出す(ステップi15)。その後、この処理対象画像に対して特徴量算出部21が特徴量算出処理を実行し(ステップi17)、特定領域判別部25が特定領域判別処理を実行し(ステップi19)、信頼度算出基準設定部226が信頼度算出基準を設定し(ステップi21)、信頼度算出部225が信頼度算出処理を実行し(ステップi23)、判別基準作成部22bが判別基準作成処理を実行する(ステップi25)。ここで、ステップi17の処理は図3の特徴量算出処理と同様の処理手順で行い、ステップi19の処理は図4の特定領域判別処理と同様の処理手順で行い、ステップi21の処理は図2のステップa11と同様に行い、ステップi23の処理は図5の信頼度算出処理と同様の処理手順で行い、ステップi25の処理は図6の判別基準作成処理と同様の処理手順で行う。
続いて、演算部20bが、時系列順が先頭の生体内管腔画像を処理したか否かを判定する。処理していない場合には(ステップi27:No)、時系列順が今回処理した処理対象画像の直前の生体内管腔画像を処理対象画像として記録部14bから読み出す処理を行い(ステップi29)、画像選択手段として処理対象画像を選択する。その後、ステップi17に戻り、この処理対象画像についてステップi17〜ステップi25の処理を実行する。
一方、時系列順が先頭の生体内画像を処理した場合、すなわち、設定対象画像よりも時系列前方の全ての生体内管腔画像を処理対象としてステップi17〜ステップi25の処理を実行したならば(ステップi27:Yes)、図14のステップi31に移行する。
すなわち、ステップi31では、初期値設定部221bが、判別基準を図13のステップi13で設定した初期値として再設定する。そして、演算部20bが、設定対象画像を処理対象画像として読み出す(ステップi33)。その後、この処理対象画像に対して特徴量算出部21が特徴量算出処理を実行し(ステップi35)、特定領域判別部25が特定領域判別処理を実行し(ステップi37)、信頼度算出基準設定部226が信頼度算出基準を設定し(ステップi39)、信頼度算出部225が信頼度算出処理を実行し(ステップi41)、判別基準作成部22bが判別基準作成処理を実行する(ステップi43)。ここで、ステップi35の処理は図3の特徴量算出処理と同様の処理手順で行い、ステップi37の処理は図4の特定領域判別処理と同様の処理手順で行い、ステップi39の処理は図2のステップa11と同様に行い、ステップi41の処理は図5の信頼度算出処理と同様の処理手順で行い、ステップi43の処理は図6の判別基準作成処理と同様の処理手順で行う。
そして、演算部20bが、時系列順が最後尾の生体内管腔画像を処理したか否かを判定する。処理していない場合には(ステップi45:No)、時系列順が今回処理した処理対象画像の次の生体内管腔画像を処理対象画像として記録部14bから読み出す処理を行い(ステップi47)、画像選択手段として処理対象画像を選択する。その後、ステップi35に戻り、この処理対象画像についてステップi35〜ステップi43の処理を実行する。
一方、時系列順が最後尾の生体内画像を処理した場合、を処理した場合、すなわち、設定対象画像よりも時系列後方の全ての生体内管腔画像を処理対象としてステップi35〜ステップi43の処理を実行したならば(ステップi45:Yes)、本処理を終える。
以上説明したように、実施の形態3では、予め正常粘膜領域を撮像した生体内管腔画像を用意して初期値を作成しておくのではなく、時系列画像を構成する生体内管腔画像を順次処理して判別基準を作成・更新していくことで初期値を作成することとした。したがって、初期値の精度低下を抑制することができるので、ノイズの影響を低減して正常粘膜領域の判別精度をより向上させることが可能となる。
なお、実施の形態3では、時系列画像を構成する各生体内管腔画像を時系列順に従って所定枚数分処理することで判別基準の初期値を設定することとした。これに対し、図13のステップi9で算出した正常粘膜領域の特徴量の加重平均の値をもとに、加重平均算出の終了判定を行う構成としてもよい。通常の粘膜は色がばらつくため、ある程度分散値が大きくなる。そこで、例えば、正常粘膜領域の特徴量の加重平均の分散値が予め設定される閾値を超えたか否かによって加重平均算出の終了判定を行うこととしてもよい。この場合には、処理停止制御部230bが、上記したステップi10の処理にかえて、ステップi9の処理の都度算出される加重平均の分散値を算出し、算出した分散値が予め設定される閾値を超えたか否かによって加重平均算出の終了判定を行う。そして、処理停止制御部230bは、上記したステップi11の処理にかえて、前述のように算出した加重平均の分散値が閾値を超えた場合に、加重平均算出を終了すると判定する。加重平均の分散値が閾値以下である間は、加重平均算出を終了しないと判定する。
(実施の形態4)
次に、実施の形態4の画像処理装置について説明する。図15は、実施の形態4の画像処理装置1cの機能構成を説明するブロック図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。実施の形態4の画像処理装置1cは、図15に示すように、画像取得部11と、入力部12と、表示部13と、記録部14cと、演算部20cと、画像処理装置1c全体の動作を制御する制御部15とを備える。
記録部14cには、時系列画像を構成する各生体内管腔画像内の正常粘膜領域を判別するための画像処理プログラム141cが記録される。
また、演算部20cは、特徴量算出部21と、判別基準作成部22cと、特定領域判別部25とを含む。判別基準作成部22cは、初期値設定部221cと、加重平均算出部222とを備える。初期値設定部221cは、時系列順が先頭の生体内管腔画像を処理する際に用いる判別基準の初期値を設定する機能部であり、初期値画像抽出手段としての初期値画像抽出部231cを備える。初期値画像抽出部231cは、時系列画像を構成する生体内管腔画像の中から複数枚の生体内管腔画像を抽出する機能部であり、初期値区間設定手段としての初期値区間設定部232cを備える。初期値区間設定部232cは、初期値画像抽出部231cが画像を抽出する時系列区間を設定する機能部であり、初期値臓器判別手段としての初期値臓器判別部233cを備える。初期値臓器判別部233cは、各生体内管腔画像に映る臓器種類を判別する。また、加重平均算出部222は、時系列距離重み設定部223と信頼度重み設定部224とを備え、信頼度重み設定部224は、信頼度算出部225を備える。信頼度算出部225は、信頼度算出基準設定部226と非特定領域判定部227とを備える。
図16は、実施の形態4の画像処理装置1cが行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記録部14cに記録された画像処理プログラム141cに従って画像処理装置1cの各部が動作することによって実現される。また、図16において、実施の形態1と同一の処理工程には、同一の符号を付する。
図16に示すように、実施の形態4では、ステップa1で画像取得部11が時系列画像の画像データを取得した後、続いて、初期値臓器判別部233cが、時系列画像を構成する各生体内管腔画像を順次判別対象とし、判別対象の生体内管腔画像に映る臓器種類を判別する(ステップj31)。
臓器種類の判別方法としては、適宜公知の技術を用いることができる。例えば、特開2006−288612号公報に開示されている技術を用い、生体内管腔画像の平均R値,G値,B値をもとに判別する。具体的には、事前に臓器種類毎の平均R値,G値,B値の数値範囲を設定しておく。例えば臓器種類を食道、胃、小腸および大腸の4種類で判別することとする。この場合には、予め食道、胃、小腸および大腸の平均R値,G値,B値の数値範囲をそれぞれ設定しておく。そして、判別対象の生体内管腔画像のR値、G値およびB値の平均値をそれぞれ平均R値,G値,B値として算出し、これら平均R値,G値,B値が食道の平均R値,G値,B値の数値範囲内であれば、その生体内管腔画像に映る観察部位の臓器種類を食道と判別する。判別対象の生体内管腔画像の平均R値,G値,B値が胃の平均R値,G値,B値の数値範囲内であれば、その生体内管腔画像に映る観察部位の臓器種類を胃と判別する。判別対象の生体内管腔画像の平均R値,G値,B値が小腸の平均R値,G値,B値の数値範囲内であれば、その生体内管腔画像に映る観察部位の臓器種類を小腸と判別する。判別対象の生体内管腔画像の平均R値,G値,B値が大腸の平均R値,G値,B値の数値範囲内であれば、その生体内管腔画像に映る観察部位の臓器種類を大腸と判別する。なお、ここでは、生体内管腔画像に映る臓器種類を判別できればよく、他の方法を用いてもよい。
続いて、初期値区間設定部232cが、最初に処理する(時系列順が先頭の)生体内管腔画像の臓器種類をもとに、画像を抽出する時系列区間を設定する(ステップj33)。具体的には、ステップj31で判別した各生体内管腔画像の臓器種類をもとに、時系列順が先頭の生体内管腔画像について判別した臓器種類の臓器が映る時系列区間を設定する。例えば、カプセル内視鏡によって撮像された時系列画像を時系列順が先頭の生体内管腔画像から処理する場合、最初に処理する時系列順が先頭の生体内管腔画像には通常食道が映る。このように時系列順が先頭の生体内管腔画像の臓器種類が食道の場合には、ステップj33では、臓器種類が食道と判別された生体内管腔画像の時系列順をもとに、食道が映る時系列区間を設定する。
そして、初期値画像抽出部231cが、ステップj33で設定した時系列区間を構成する生体内管腔画像の中から、複数枚の生体内管腔画像を例えばランダムに選出して抽出する(ステップj35)。抽出する枚数は予め設定される固定枚数としてもよいし、ユーザ操作等によって設定変更可能に構成してもよい。
その後、ステップj37に移行し、初期値設定部221cが初期値設定処理を実行する。図17は、初期値設定処理の詳細な処理手順を示すフローチャートである。初期値設定処理では、初期値設定部221cは先ず、図16のステップj35で抽出した複数枚の生体内管腔画像をそれぞれ例えば8×8画素の矩形ブロックである分割領域に分割する(ステップk1)。続いて、初期値設定部221cは、分割した分割領域毎の特徴量として、G/R値の平均値およびB/G値の平均値を算出する(ステップk2)。具体的には、分割領域毎に、上記した式(1)に従って分割領域内の各画素のG/R値の平均値を算出するとともに、上記した式(2)に従って分割領域内の各画素のB/G値の平均値を算出する。
その後、初期値設定部221cは、抽出した複数枚の生体内管腔画像それぞれについて分割領域毎に算出したG/R値の平均値およびB/G値の平均値の2次元特徴平面における頻度分布を作成する(ステップk3)。そして、初期値設定部221cは、頻度の合計が100になるように頻度分布を正規化し、判別基準の初期値として設定する(ステップk5)。その後、図16のステップj37にリターンし、ステップa5に移行する。
上記した実施の形態1等では、予め正常粘膜領域を撮像した生体内管腔画像を用意し、用意した生体内管腔画像の特徴量をもとに判別基準の初期値を作成しておくこととした。しかしながら、撮像される生体内管腔画像に映る粘膜の色は、その臓器の種類によって異なる場合がある。ここで、作成される判別基準の初期値は、最初に処理する生体内管腔画像内の正常粘膜領域を判別するのに用いるが、この最初に処理する生体内管腔画像の臓器種類と、用意した生体内管腔画像の臓器種類とが一致していないと、粘膜の色が異なる場合があるため、初期値の精度が低下してしまう。
実施の形態4では、時系列順が先頭の生体内管腔画像の臓器種類に応じて、この先頭の生体内管腔画像と同一の臓器が映る生体内管腔画像の特徴量を用いて判別基準の初期値を作成することとした。具体的には、このとき、先頭の生体内管腔画像と臓器種類が同一の生体内管腔画像を複数枚抽出し、抽出した生体内管腔画像それぞれの特徴量をもとに、判別基準の初期値を作成することとした。ここで、生体内管腔画像においては、正常粘膜領域が大半を占める。したがって、多くの生体内管腔画像について特徴量を算出して頻度分布を作成すれば、頻度分布の最頻値付近は正常粘膜領域となる。
このように、実施の形態4によれば、最初に処理する時系列が先頭の生体内管腔画像と同一の臓器が映る複数枚の生体内管腔画像の特徴量をもとに、判別基準の初期値を作成することができるので、精度良く初期値を作成することができる。そして、最初に処理する時系列順が先頭の生体内管腔画像については、作成した初期値を用いて正常粘膜領域の判別を行うことができる。したがって、粘膜色の変動に起因する正常粘膜領域の誤判別を防止することができ、正常粘膜領域を精度良く判別することができる。
(実施の形態5)
次に、実施の形態5の画像処理装置について説明する。図18は、実施の形態5の画像処理装置1dの機能構成を説明するブロック図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。実施の形態5の画像処理装置1dは、図18に示すように、画像取得部11と、入力部12と、表示部13と、記録部14dと、演算部20dと、画像処理装置1d全体の動作を制御する制御部15とを備える。
記録部14dには、時系列画像を構成する各生体内管腔画像内の正常粘膜領域を判別するための画像処理プログラム141dが記録される。
また、演算部20dは、特徴量算出部21と、判別基準作成部22dと、特定領域判別部25とを含む。判別基準作成部22dは、初期値設定部221と、加重平均算出部222dとを備える。加重平均算出部222dは、時系列距離重み設定部223と信頼度重み設定部224dとを備え、信頼度重み設定部224dは、信頼度算出部225dを備える。信頼度算出部225dは、近傍領域判別手段としての近傍領域判別部234dを備える。近傍領域判別部234dは、正常粘膜領域と判別された分割領域の近傍領域を判別し、非正常粘膜領域が近傍に存在するか否かを判別する。
図19は、実施の形態5の画像処理装置1dが行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記録部14dに記録された画像処理プログラム141dに従って画像処理装置1dの各部が動作することによって実現される。また、図19において、実施の形態1と同一の処理工程には、同一の符号を付する。
図19に示すように、実施の形態5では、ステップa9で特定領域判別部25が特定領域判別処理を実行して処理対象画像内の正常粘膜領域を判別した後、近傍領域判別部234dが近傍領域判別処理を実行する(ステップl11)。図20は、近傍領域判別処理の詳細な処理手順を示すフローチャートである。
近傍判別処理では、近傍領域判別部234dは先ず、分割領域に割り振った領域番号が画素毎に設定された領域番号画像と、各分割領域の正常粘膜領域の判別結果とをもとに、正常粘膜領域と判別された分割領域に属する画素の画素値を「0」とし、非正常粘膜領域と判別された分割領域に属する画素の画素値を「1」とした2値画像を作成する(ステップm1)。
続いて、近傍領域判別部234dは、ステップm1で作成した2値画像に対して公知の膨張処理(参考:CG−ARTS協会,ディジタル画像処理,P179〜P180)を行い、画素値が「1」である非正常粘膜領域を膨張させた2値画像を作成する(ステップm3)。そして、近傍領域判別部234dは、膨張処理を行う前の元の2値画像(ステップm1で作成した2値画像)と、この元の2値画像を膨張させて作成した2値画像(ステップm3で作成した2値画像)との和を画素毎に算出する(ステップm5)。
そして、近傍領域判別部234dは、正常粘膜領域と判別された分割領域毎に、ステップm5で算出した値が「1」である画素を含むか否かを順次判定していく。すなわち、ステップm5で算出した値が「1」である画素を含む分割領域については、非正常粘膜領域が近傍に存在すると判別し、ステップm5で算出した値が「1」である画素を含まない分割領域については、非正常粘膜領域が近傍に存在しないと判別する(ステップm7)。その後、図19のステップl11にリターンし、ステップl13に移行する。
ステップl13では、信頼度算出部225dが、非正常粘膜領域が近傍に存在するか否かの判別結果を用い、正常粘膜領域と判別された分割領域毎に信頼度を算出する。具体的には、図20のステップm7で近傍に非正常粘膜領域が存在すると判別された分割領域の信頼度を「0」とし、近傍に非正常粘膜領域が存在しないと判別された分割領域の信頼度を「1」として設定する。その後、ステップa15の判別基準作成処理に移行する。
以上説明したように、実施の形態5では、正常粘膜領域と判別された分割領域のうち、非正常粘膜領域と判別された領域が近傍に存在する分割領域を判別することとした。そして、正常粘膜領域と判別された分割領域のうち、近傍に非正常粘膜領域が存在すると判別した分割領域については、正常粘膜領域と正常粘膜領域以外の領域との間の中間的な色合いを持つ領域として、信頼度を低く算出することとした。したがって、このような中間的な色合いを持つ領域の特徴量を集計し難くして判別基準を作成することができるので、正常粘膜領域の判別精度をより向上させることができる。
(実施の形態6)
次に、実施の形態6の画像処理装置について説明する。図21は、実施の形態6の画像処理装置1eの機能構成を説明するブロック図である。なお、実施の形態1で説明した構成と同一の構成については、同一の符号を付する。実施の形態6の画像処理装置1eは、図21に示すように、画像取得部11と、入力部12と、表示部13と、記録部14eと、演算部20eと、画像処理装置1e全体の動作を制御する制御部15とを備える。
記録部14eには、時系列画像を構成する各生体内管腔画像内の正常粘膜領域を判別するための画像処理プログラム141eが記録される。
また、演算部20eは、特徴量算出部21と、判別基準作成部22eと、特定領域判別部25とを含む。判別基準作成部22eは、初期値設定部221と加重平均算出部222eとを備え、加重平均算出部222eは、時系列距離重み設定部223と信頼度重み設定部224eとを備える。信頼度重み設定部224eは、信頼度算出部225eを備え、この信頼度算出部225eは、信頼度算出基準設定部226eを備える。そして、実施の形態6では、信頼度算出基準設定部226eは、信頼度算出画像抽出手段としての信頼度算出画像抽出部235eを備える。信頼度算出画像抽出部235eは、時系列画像を構成する生体内管腔画像の中から複数枚の生体内管腔画像を抽出する機能部であり、信頼度区間設定手段としての信頼度区間設定部236eを備える。信頼度区間設定部236eは、信頼度算出画像抽出部235eが画像を抽出する時系列区間を設定する機能部であり、信頼度臓器判別手段としての信頼度臓器判別部237eを備える。信頼度臓器判別部237eは、各生体内管腔画像に映る臓器種類を判別する。
図22は、実施の形態6の画像処理装置1eが行う処理手順を示す全体フローチャートである。なお、ここで説明する処理は、記録部14eに記録された画像処理プログラム141eに従って画像処理装置1eの各部が動作することによって実現される。また、図22において、実施の形態1と同一の処理工程には、同一の符号を付する。
図22に示すように、実施の形態6では、ステップa1で画像取得部11が時系列画像の画像データを取得した後、続いて、演算部20eにおいて、信頼度算出基準設定部226eが、信頼度算出基準設定処理を実行する(ステップn2)。図23は、信頼度算出基準設定処理の詳細な処理手順を示すフローチャートである。
信頼度算出基準設定処理では、先ず信頼度臓器判別部237eが、時系列画像を構成する各生体内管腔画像を順次判別対象とし、判別対象の生体内管腔画像に映る臓器種類を判別する(ステップo1)。ここでの処理は、例えば、上記した実施の形態4において図16のステップj31で説明した処理と同様の方法で実現できる。
続いて、信頼度区間設定部236eが、ステップo1の判別結果をもとに、臓器種類毎の時系列区間を設定する(ステップo3)。例えば、臓器種類として食道、胃、小腸および大腸を判別する場合には、ステップo3では、食道が映る生体内管腔画像で構成される時系列区間と、胃が映る生体内管腔画像で構成される時系列区間と、小腸が映る生体内管腔画像で構成される時系列区間と、大腸が映る生体内管腔画像で構成される時系列区間とをそれぞれ設定する。
続いて、ステップo3で時系列区間を設定した臓器種類毎に、ループAの処理を行う(ステップo5〜ステップo17)。すなわち、ループAでは先ず、信頼度算出画像抽出部235eが、処理対象の臓器種類についてステップo3で設定した時系列区間を構成する生体内管腔画像の中から、それぞれ複数枚の生体内管腔画像を例えばランダムに選出して抽出する(ステップo7)。抽出する枚数は予め設定される固定枚数としてもよいし、ユーザ操作等によって設定変更可能に構成してもよい。
続いて、信頼度算出基準設定部226eが、ステップo7で抽出した複数枚の生体内管腔画像をそれぞれ例えば8×8画素の矩形ブロックである分割領域に分割する(ステップo9)。そして、信頼度算出基準設定部226eは、分割した分割領域毎の特徴量として、G/R値の平均値およびB/G値の平均値を算出する(ステップo11)。具体的には、分割領域毎に、上記した式(1)に従って分割領域内の各画素のG/R値の平均値を算出するとともに、上記した式(2)に従って分割領域内の各画素のB/G値の平均値を算出する。
その後、信頼度算出基準設定部226eは、抽出した複数枚の生体内管腔画像それぞれについて分割領域毎に算出したG/R値の平均値およびB/G値の平均値の2次元特徴平面における頻度分布を作成する(ステップo13)。そして、信頼度算出基準設定部226eは、頻度の合計が100になるように頻度分布を正規化し、処理対象の臓器種類についての信頼度算出基準として設定する(ステップo15)。
以上のようにして臓器種類毎にループAの処理を行い、各臓器種類について信頼度算出基準を設定したならば、図22のステップn2にリターンし、その後ステップa3に移行する。
また、実施の形態6では、ステップa9で特定領域判別部25が特定領域判別処理を実行して処理対象画像内の正常粘膜領域を判別した後、信頼度算出部225eが、処理対象画像について図23のステップo1で判別した臓器種類を取得する(ステップn11)。そして、信頼度算出部225eは、処理対象画像内で正常粘膜領域と判別された分割領域毎に信頼度を算出する(ステップn13)。このステップn13の後は、ステップa15に移行する。
具体的には、信頼度算出部225eは、処理対象画像に映る臓器種類についての信頼度算出基準を用いて信頼度を算出する。すなわち、信頼度算出部225eは、正常粘膜領域と判別された分割領域を順次処理し、処理対象の分割領域の特徴量であるG/R値の平均値およびB/G値の平均値と、ステップn11で取得した臓器種類についてステップn2の信頼度算出基準設定処理で設定した信頼度算出基準(処理対象画像と同一の臓器が映る生体内管腔画像における分割領域毎の特徴量の頻度分布)とのマハラノビス距離を算出する。
そして、信頼度算出部225eは、算出したマハラノビス距離をもとに、次式(5),(6)に従って信頼度Tを算出する。ここで、Mahaは、算出したマハラノビス距離を表す。すなわち、信頼度算出部225eは、ハラノビス距離Mahaの値が0.1以下の場合と0.1より大きい場合とで場合分けして処理対象の分割領域の信頼度Tを算出する。
Figure 0005576711
以上説明したように、実施の形態6によれば、時系列画像を構成する各生体内管腔画像の臓器種類を判別し、臓器種類毎の時系列区間を設定することとした。そして、臓器種類毎に対応する時系列区間から複数枚の生体内管腔画像を抽出し、抽出した複数枚の生体内管腔画像それぞれの特徴量をもとに臓器種類毎の信頼度算出基準を設定することとした。ここで、実施の形態4で上記したように、撮像される生体内管腔画像に映る粘膜の色は、その臓器の種類によって異なる。実施の形態6によれば、臓器種類毎に、その臓器が映る生体内管腔画像の特徴量を用いて信頼度算出基準を算出することができる。そして、処理対象画像の臓器種類に応じた信頼度算出基準を用いて正常粘膜領域の信頼度を算出し、算出した信頼度を加味して判別基準を作成することができる。したがって、正常粘膜領域の信頼度をより高精度に算出することができ、信頼度が低く算出された特徴量を集計し難くして判別基準を作成することができるので、正常粘膜領域の判別精度を向上させることができる。
なお、上記した各実施の形態では、G/R値の平均値およびB/G値の平均値を特徴量として例示したが、本発明で適用可能な特徴量はこれに限定されるものではなく、他の値を特徴量として用いることとしてもよい。例えば、L*a*b*変換(参考:CG−ARTS協会,ディジタル画像処理,P62〜P63)によって各画素のRGB値からa*b*値を求め、例えば分割領域毎に平均値を算出して特徴量として用いることとしてもよい。あるいは、HSI変換(参考:CG−ARTS協会,ディジタル画像処理,P64〜P68)を用いてRGB値を色相Hおよび彩度Sの値に変換し、例えば分割領域毎にこれら色相Hおよび彩度Sの平均値を算出して特徴量として用いることとしてもよい。そして、このような他の値を特徴量として用いる場合には、上記した各実施の形態で特徴量すなわちG/R値の平均値およびB/G値の平均値を用いることとして説明した処理を前述の他の値を用いて行うようにすればよい。
また、上記した各実施の形態では、時系列画像を構成する各生体内管腔画像を順次処理対象画像とし、この処理対象画像を分割領域に分割することとしたが、この分割領域に分割する処理は、処理負荷を軽減するために行う処理である。したがって、必ずしも領域分割を行う必要はなく、画素毎に特徴量を算出することとしてもよい。この場合には、例えば各画素のG/R値やB/G値、あるいはa*b*値、色素Hや彩度Sの値を画素毎の特徴量として算出し、上記した各実施の形態で分割領域毎に行うこととして説明した処理を画素毎に行うようにすればよい。
また、上記した実施の形態1の画像処理装置1、実施の形態2の画像処理装置1a、実施の形態3の画像処理装置1b、実施の形態4の画像処理装置1c、実施の形態5の画像処理装置1d、実施の形態6の画像処理装置1eは、予め用意されたプログラムをパソコンやワークステーション等のコンピュータシステムで実行することによって実現することができる。以下、各実施の形態1〜6で説明した画像処理装置1,1a,1b,1c,1d,1eと同様の機能を有し、画像処理プログラム141,141a,141b,141c,141d,141eを実行するコンピュータシステムについて説明する。
図24は、本変形例におけるコンピューターシステム400の構成を示すシステム構成図であり、図25は、このコンピューターシステム400を構成する本体部410の構成を示すブロック図である。図24に示すように、コンピューターシステム400は、本体部410と、本体部410からの指示によって表示画面421に画像等の情報を表示するためのディスプレイ420と、このコンピューターシステム400に種々の情報を入力するためのキーボード430と、ディスプレイ420の表示画面421上の任意の位置を指定するためのマウス440とを備える。
また、このコンピューターシステム400における本体部410は、図24および図25に示すように、CPU411と、RAM412と、ROM413と、ハードディスクドライブ(HDD)414と、CD−ROM460を受け入れるCD−ROMドライブ415と、USBメモリ470を着脱可能に接続するUSBポート416と、ディスプレイ420、キーボード430およびマウス440を接続するI/Oインターフェース417と、ローカルエリアネットワークまたは広域エリアネットワーク(LAN/WAN)N1に接続するためのLANインターフェース418とを備える。
さらに、このコンピューターシステム400には、インターネット等の公衆回線N3に接続するためのモデム450が接続されるとともに、LANインターフェース418およびローカルエリアネットワークまたは広域エリアネットワークN1を介して、他のコンピューターシステムであるパソコン(PC)481、サーバ482、プリンタ483等が接続される。
そして、このコンピューターシステム400は、記録媒体に記録された画像処理プログラム(例えば実施の形態1の画像処理プログラム141や実施の形態2の画像処理プログラム141a、実施の形態3の画像処理プログラム141b、実施の形態4の画像処理プログラム141c,実施の形態5の画像処理プログラム141d、実施の形態6の画像処理プログラム141e)を読み出して実行することで画像処理装置(例えば実施の形態1の画像処理装置1や実施の形態2の画像処理装置1a、実施の形態3の画像処理装置1b、実施の形態4の画像処理装置1c、実施の形態5の画像処理装置1d、実施の形態6の画像処理装置1e)を実現する。ここで、記録媒体とは、CD−ROM460やUSBメモリ470の他、MOディスクやDVDディスク、フレキシブルディスク(FD)、光磁気ディスク、ICカード等を含む「可搬用の物理媒体」、コンピューターシステム400の内外に備えられるHDD414やRAM412、ROM413等の「固定用の物理媒体」、モデム450を介して接続される公衆回線N3や、他のコンピューターシステムであるPC481やサーバ482が接続されるローカルエリアネットワークまたは広域エリアネットワークN1等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステム400によって読み取り可能な画像処理プログラムを記録するあらゆる記録媒体を含む。
すなわち、画像処理プログラムは、「可搬用の物理媒体」、「固定用の物理媒体」、「通信媒体」等の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム400は、このような記録媒体から画像処理プログラムを読み出して実行することで画像処理装置を実現する。なお、画像処理プログラムは、コンピューターシステム400によって実行されることに限定されるものではなく、他のコンピューターシステムであるPC481やサーバ482が画像処理プログラムを実行する場合や、これらが協働して画像処理プログラムを実行するような場合にも、本発明を同様に適用することができる。
また、本発明は、上記した各実施の形態1〜6およびその変形例そのままに限定されるものではなく、各実施の形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成できる。例えば、各実施の形態や変形例に示される全構成要素からいくつかの構成要素を除外して形成してもよい。あるいは、異なる実施の形態や変形例に示した構成要素を適宜組み合わせて形成してもよい。
以上のように、本発明の画像処理装置、画像処理方法、および画像処理プログラムは、生体内管腔を時系列で撮像した一連の時系列画像を構成する画像内の特定領域を精度良く判別するのに適している。
1,1a,1b,1c,1d,1e 画像処理装置
11 画像取得部
12 入力部
13 表示部
14,14a,14b,14c,14d,14e 記録部
141,141a,141b,141c,141d,141e 画像処理プログラム
20,20a,20b,20c,20d,20e 演算部
21 特徴量算出部
22,22a,22b,22c,22d,22e 判別基準作成部
221,221b,221c 初期値設定部
222,222a,222d,222e 加重平均算出部
223 時系列距離重み設定部
224,224a,224d,224e 信頼度重み設定部
225,225a,225d,225e 信頼度算出部
226,226e 信頼度算出基準設定部
227 非特定領域判定部
228a 統計量算出部
229b 初期値加重平均算出部
230b 処理停止制御部
231c 初期値画像抽出部
232c 初期値区間設定部
233c 初期値臓器判別部
234d 近傍領域判別部
235e 信頼度算出画像抽出部
236e 信頼度区間設定部
237e 信頼度臓器判別部
25,25a 特定領域判別部
251a クラスタリング部
15 制御部

Claims (24)

  1. 撮像対象を時系列で撮像した一連の時系列画像を処理する画像処理装置であって、
    前記時系列画像を構成する画像の中から時系列順に従って処理対象画像を選択する画像選択手段と、
    前記処理対象画像内の特定領域を判別するための判別基準を作成する判別基準作成手段と、
    前記処理対象画像の画素毎または小領域毎の特徴量を算出する特徴量算出手段と、
    前記画素毎または前記小領域毎の前記特徴量をもとに、前記判別基準を用いて前記処理対象画像内の特定領域を判別する特定領域判別手段と、
    を備え、
    前記判別基準作成手段は、前記画像選択手段が前記処理対象画像として既に選択し、前記特定領域判別手段が既に判別を行った画像内の前記特定領域の特徴量をもとに、前記判別基準を作成し、
    前記判別基準作成手段は、
    前記判別基準の初期値を設定する初期値設定手段と、
    前記初期値と、前記既に判別を行った画像内の前記特定領域の特徴量との加重平均を算出する加重平均算出手段と、
    を備え、前記加重平均をもとに前記判別基準を作成することを特徴とする画像処理装置。
  2. 前記加重平均算出手段は、前記既に判別を行った画像内の前記特定領域の特徴量に対し、前記既に判別を行った画像と前記処理対象画像との時系列的な距離に応じた重みを設定する時系列距離重み設定手段を備え、前記時系列的な距離に応じた重みに従って前記加重平均を算出することを特徴とする請求項に記載の画像処理装置。
  3. 前記時系列距離重み設定手段は、前記時系列的な距離が近いほど前記時系列的な距離に応じた重みを大きく設定することを特徴とする請求項に記載の画像処理装置。
  4. 前記加重平均算出手段は、
    前記処理対象画像内の前記特定領域の信頼度を算出する信頼度算出手段と、
    前記処理対象画像内の前記特定領域の特徴量に対して前記信頼度に応じた重みを設定する信頼度重み設定手段と、
    を備え、前記信頼度に応じた重みに従って前記処理対象画像内の前記特定領域の特徴量の加重平均を算出することを特徴とする請求項に記載の画像処理装置。
  5. 前記信頼度算出手段は、前記特定領域の特徴量をもとに前記信頼度を算出することを特徴とする請求項に記載の画像処理装置。
  6. 前記信頼度算出手段は、前記特定領域判別手段によって前記処理対象画像内で前記特定領域と判別された前記画素または前記小領域毎の前記特徴量の統計量を算出する統計量算出手段を備え、前記統計量をもとに前記特定領域の信頼度を算出することを特徴とする請求項に記載の画像処理装置。
  7. 前記信頼度算出手段は、前記特定領域の近傍領域を判別する近傍領域判別手段を備え、前記近傍領域の判別結果をもとに前記特定領域の信頼度を算出することを特徴とする請求項に記載の画像処理装置。
  8. 前記信頼度算出手段は、前記信頼度を算出するための信頼度算出基準を設定する信頼度算出基準設定手段を備え、前記特定領域の特徴量をもとに、前記信頼度算出基準を用いて前記特定領域の信頼度を算出することを特徴とする請求項に記載の画像処理装置。
  9. 前記信頼度算出基準設定手段は、前記特定領域判別手段が前記処理対象画像内の前記特定領域の判別に用いた前記判別基準を前記信頼度算出基準として設定することを特徴とする請求項に記載の画像処理装置。
  10. 前記信頼度算出基準設定手段は、前記特定領域判別手段によって前記処理対象画像内で前記特定領域と判別されなかった前記画素または前記小領域毎の前記特徴量の分布をもとに、前記信頼度算出基準を設定することを特徴とする請求項に記載の画像処理装置。
  11. 前記信頼度算出基準設定手段は、前記時系列画像から複数枚の画像を抽出する信頼度算出画像抽出手段を備え、前記複数枚の画像の特徴量をもとに前記信頼度算出基準を設定することを特徴とする請求項に記載の画像処理装置。
  12. 前記信頼度算出画像抽出手段は、前記複数枚の画像を抽出する時系列区間を設定する信頼度区間設定手段を備え、前記時系列区間から前記複数枚の画像を抽出することを特徴とする請求項1に記載の画像処理装置。
  13. 前記信頼度区間設定手段は、前記時系列画像を構成する画像に映る臓器種類を判別する信頼度臓器判別手段を備え、前記臓器種類の判別結果をもとに前記時系列区間を設定することを特徴とする請求項12に記載の画像処理装置。
  14. 前記信頼度算出手段は、前記特定領域判別手段によって前記処理対象画像内で前記特定領域と判別されなかった前記画素または前記小領域の有無を判定する非特定領域判定手段を備え、前記特定領域と判別されなかった前記画素または前記小領域の有無をもとに、前記信頼度を算出することを特徴とする請求項に記載の画像処理装置。
  15. 前記初期値設定手段は、前記時系列画像から複数枚の画像を抽出する初期値画像抽出手段を備え、前記複数枚の画像の特徴量をもとに前記初期値を設定することを特徴とする請求項に記載の画像処理装置。
  16. 前記初期値画像抽出手段は、前記複数枚の画像を抽出する時系列区間を設定する初期値区間設定手段を備え、前記時系列区間から前記複数枚の画像を抽出することを特徴とする請求項15に記載の画像処理装置。
  17. 前記撮像対象は、生体内管腔であり、
    前記初期値区間設定手段は、前記時系列画像を構成する画像に映る臓器種類を判別する初期値臓器判別手段を備え、前記臓器種類の判別結果をもとに前記時系列区間を設定することを特徴とする請求項16に記載の画像処理装置。
  18. 前記初期値設定手段は、
    前記時系列画像を構成する初期値設定区間を構成する画像を順次処理し、今回処理した画像と時系列的な距離が近い処理済みの画像ほど大きな重み付けを行うことで、前記初期値設定区間を構成する画像内の特定領域の特徴量の加重平均を算出する初期値加重平均算出手段と、
    前記初期値設定区間を構成する画像全て処理した時点で前記算出の停止を制御する停止制御手段と、
    を備え、前記算出を停止した時点での前記加重平均を前記初期値として設定することを特徴とする請求項に記載の画像処理装置。
  19. 前記画像選択手段は、前記初期値設定区間の最後尾の画像の時系列順をもとに、時系列前方に遡って前記処理対象画像を選択し、時系列順が先頭の画像を処理対象画像として選択した後は、前記初期値設定区間の最後尾の画像から時系列後方に前記処理対象画像を選択し、
    前記初期値設定手段は、前記画像選択手段が前記初期値設定区間の最後尾の画像を処理対象画像として選択した際、前記判別基準を前記初期値とした前記算出を停止した時点での前記加重平均に再設定することを特徴とする請求項18に記載の画像処理装置。
  20. 前記初期値設定手段は、
    前記時系列画像中の初期値設定区間において、時系列的に最後尾の画像との時系列距離が近いほど高い重みを設定して画像内の特定領域の特徴量の加重平均を算出する初期値加重平均算出手段と、
    前記加重平均の値に基づいて、前記加重平均の算出の停止を制御する停止制御手段と、
    を備え、前記加重平均の算出を停止した時点での前記加重平均を前記初期値として設定することを特徴とする請求項に記載の画像処理装置。
  21. 前記特定領域判別手段は、前記画素毎または前記小領域毎の前記特徴量の分布をクラスタリングするクラスタリング手段を備え、前記クラスタリングの結果得られたクラスタ毎に前記特定領域を判別することを特徴とする請求項1に記載の画像処理装置。
  22. 前記撮像対象は、生体内管腔であり、
    前記特定領域は、前記生体内管腔内壁の正常粘膜の領域であることを特徴とする請求項1に記載の画像処理装置。
  23. 撮像対象を時系列で撮像することにより取得され、記録部に記録された一連の時系列画像の画像データに基づき、該一連の時系列画像を処理する画像処理方法であって、コンピュータが備える演算部
    前記記録部から読み出された前記画像データに基づいて、前記時系列画像を構成する画像の中から時系列順に従って処理対象画像を選択する画像選択工程と、
    前記画像データに基づいて、前記処理対象画像内の特定領域を判別するための判別基準を作成する判別基準作成工程と、
    前記処理対象画像の画素毎または小領域毎の特徴量を算出する特徴量算出工程と、
    前記画素毎または前記小領域毎の前記特徴量をもとに、前記判別基準を用いて前記処理対象画像内の特定領域を判別する特定領域判別工程と、
    を含み、
    前記判別基準作成工程は、前記画像選択工程において前記処理対象画像として既に選択され、前記特定領域判別工程において既に判別が行われた画像内の前記特定領域の特徴量をもとに、前記判別基準を作成
    前記判別基準作成工程は、
    前記判別基準の初期値を設定する初期値設定工程と、
    前記初期値と、前記既に判別が行われた画像内の前記特定領域の特徴量との加重平均を算出する加重平均算出工程と、
    を含む処理を実行して、前記加重平均をもとに前記判別基準を作成することを特徴とする画像処理方法。
  24. コンピュータに、撮像対象を時系列で撮像した一連の時系列画像を処理させるための画像処理プログラムであって、
    前記時系列画像を構成する画像の中から時系列順に従って処理対象画像を選択する画像選択手順と、
    前記処理対象画像内の特定領域を判別するための判別基準を作成する判別基準作成手順と、
    前記処理対象画像の画素毎または小領域毎の特徴量を算出する特徴量算出手順と、
    前記画素毎または前記小領域毎の前記特徴量をもとに、前記判別基準を用いて前記処理対象画像内の特定領域を判別する特定領域判別手順と、
    を前記コンピュータに実行させ、
    前記判別基準作成手順は、前記画像選択手段が前記処理対象画像として既に選択し、前記特定領域判別手段が既に判別を行った画像内の前記特定領域の特徴量をもとに、前記判別基準を作成し、
    前記判別基準作成手順は、
    前記判別基準の初期値を設定する初期値設定手順と、
    前記初期値と、前記既に判別を行った画像内の前記特定領域の特徴量との加重平均を算出する加重平均算出手順と、
    を含み、前記加重平均をもとに前記判別基準を作成することを特徴とする画像処理プログラム。
JP2010112541A 2010-05-14 2010-05-14 画像処理装置、画像処理方法、および画像処理プログラム Active JP5576711B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010112541A JP5576711B2 (ja) 2010-05-14 2010-05-14 画像処理装置、画像処理方法、および画像処理プログラム
EP11003623.3A EP2397990B1 (en) 2010-05-14 2011-05-03 Image processing apparatus, image processing method, and image processing program
US13/104,363 US8457376B2 (en) 2010-05-14 2011-05-10 Image processing apparatus, image processing method, and computer-readable recording medium
CN201110122736.2A CN102243710B (zh) 2010-05-14 2011-05-12 图像处理装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010112541A JP5576711B2 (ja) 2010-05-14 2010-05-14 画像処理装置、画像処理方法、および画像処理プログラム

Publications (3)

Publication Number Publication Date
JP2011239843A JP2011239843A (ja) 2011-12-01
JP2011239843A5 JP2011239843A5 (ja) 2013-06-27
JP5576711B2 true JP5576711B2 (ja) 2014-08-20

Family

ID=44658515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010112541A Active JP5576711B2 (ja) 2010-05-14 2010-05-14 画像処理装置、画像処理方法、および画像処理プログラム

Country Status (3)

Country Link
US (1) US8457376B2 (ja)
EP (1) EP2397990B1 (ja)
JP (1) JP5576711B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012872A1 (ja) 2018-07-09 2020-01-16 富士フイルム株式会社 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2575106B1 (en) * 2011-09-30 2014-03-19 Brainlab AG Method and device for displaying changes in medical image data
KR20130059639A (ko) * 2011-11-29 2013-06-07 삼성전자주식회사 디스플레이장치 및 그 제어방법
US20140028820A1 (en) * 2012-07-24 2014-01-30 Capso Vision, Inc. System and Method for Display of Capsule Images and Associated Information
JP5872980B2 (ja) * 2012-08-02 2016-03-01 オリンパス株式会社 画像処理装置
JP5593008B1 (ja) * 2012-10-18 2014-09-17 オリンパスメディカルシステムズ株式会社 画像処理装置及び画像処理方法
WO2016185617A1 (ja) * 2015-05-21 2016-11-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP7151109B2 (ja) * 2018-03-19 2022-10-12 ソニーグループ株式会社 医療用撮像装置及び医療用観察システム
CN116249480A (zh) * 2020-09-27 2023-06-09 上海联影医疗科技股份有限公司 医学成像系统和方法
CN117119941A (zh) * 2021-03-31 2023-11-24 富士胶片株式会社 内窥镜系统及其工作方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3438937B2 (ja) * 1994-03-25 2003-08-18 オリンパス光学工業株式会社 画像処理装置
JP3565087B2 (ja) * 1999-05-11 2004-09-15 日本電信電話株式会社 時系列画像予測方法及び装置及び時系列画像予測プログラムを格納した記憶媒体
JP4450973B2 (ja) 2000-11-30 2010-04-14 オリンパス株式会社 診断支援装置
JP2004187998A (ja) * 2002-12-12 2004-07-08 Fuji Photo Film Co Ltd 異常陰影形状抽出装置
EP1643906A2 (en) * 2003-06-12 2006-04-12 University of Utah Research Foundation Apparatus, systems and methods for diagnosing carpal tunnel syndrome
JP2006288612A (ja) 2005-04-08 2006-10-26 Olympus Corp 画像表示装置
JP4912787B2 (ja) * 2006-08-08 2012-04-11 オリンパスメディカルシステムズ株式会社 医療用画像処理装置及び医療用画像処理装置の作動方法
JP4932588B2 (ja) * 2007-05-08 2012-05-16 オリンパス株式会社 画像処理装置および画像処理プログラム
US7818042B2 (en) * 2007-08-20 2010-10-19 Mastercolors LLC Method and apparatus for uniquely identifying tissue pathology
JP5004736B2 (ja) * 2007-09-25 2012-08-22 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5312807B2 (ja) * 2008-01-08 2013-10-09 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5191240B2 (ja) * 2008-01-09 2013-05-08 オリンパス株式会社 シーン変化検出装置およびシーン変化検出プログラム
JP2010069208A (ja) * 2008-09-22 2010-04-02 Olympus Corp 画像処理装置、画像処理方法および画像処理用プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012872A1 (ja) 2018-07-09 2020-01-16 富士フイルム株式会社 医用画像処理装置、医用画像処理システム、医用画像処理方法、及びプログラム
US11991478B2 (en) 2018-07-09 2024-05-21 Fujifilm Corporation Medical image processing apparatus, medical image processing system, medical image processing method, and program

Also Published As

Publication number Publication date
EP2397990B1 (en) 2018-07-18
US20110280443A1 (en) 2011-11-17
JP2011239843A (ja) 2011-12-01
US8457376B2 (en) 2013-06-04
EP2397990A1 (en) 2011-12-21
CN102243710A (zh) 2011-11-16

Similar Documents

Publication Publication Date Title
JP5576711B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5800468B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP6371544B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5203648B2 (ja) 画像抽出装置および画像抽出プログラム
JP4767591B2 (ja) 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム
JP5305850B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
JP6196922B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5676063B1 (ja) 医療装置及び医療装置の作動方法
JP5457688B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
WO2018070285A1 (ja) 画像処理装置、及び画像処理方法
JP2010158308A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5576775B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5830295B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
JP2012045056A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
WO2019064704A1 (ja) 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法
JPWO2017199408A1 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
JP6807869B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2018054443A (ja) 情報処理装置、情報処理システム及びプログラム
JP2009077800A (ja) 画像処理装置および画像処理プログラム
JP5655327B2 (ja) プログラムおよび情報処理装置
JP6425868B1 (ja) 内視鏡画像観察支援システム、内視鏡画像観察支援装置、内視鏡画像観察支援方法
WO2023042273A1 (ja) 画像処理装置、画像処理方法及び記憶媒体
EP4298986A1 (en) Image processing device, image processing method, and storage medium
CN102243710B (zh) 图像处理装置和图像处理方法
EP3488788A1 (en) Ultrasonic observation device, operation method of ultrasonic observation device, and operation program of ultrasonic observation device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130513

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140704

R151 Written notification of patent or utility model registration

Ref document number: 5576711

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250