WO2016175098A1 - 画像解析装置、画像解析システム、画像解析装置の作動方法 - Google Patents
画像解析装置、画像解析システム、画像解析装置の作動方法 Download PDFInfo
- Publication number
- WO2016175098A1 WO2016175098A1 PCT/JP2016/062486 JP2016062486W WO2016175098A1 WO 2016175098 A1 WO2016175098 A1 WO 2016175098A1 JP 2016062486 W JP2016062486 W JP 2016062486W WO 2016175098 A1 WO2016175098 A1 WO 2016175098A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- closed curve
- region
- color
- curve edge
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Quality & Reliability (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
画像入力部(11)と、画像入力部(11)から入力された第1の画像と第1の画像よりも後で取得された第2の画像とに対して、環状の周辺部と周辺部に囲まれ周辺部と色が異なる中心部とをもつ注目要素を特定し、注目要素の中心部のみを解析対象領域として抽出する領域抽出部(12)と、抽出された第1および第2の画像の解析対象領域の色成分値をそれぞれ抽出する色成分抽出部(13)と、を含む画像解析装置(10)。
Description
本発明は、被検体の画像から注目要素を特定して色成分を抽出する画像解析装置、画像解析システム、画像解析装置の作動方法に関する。
画像中の領域を特定して画像解析を行う画像解析装置は、従来より種々のものが提案されている。
例えば、日本国特開2012-152266号公報には、被検体内を撮影する電子内視鏡と、電子内視鏡によって撮影された画像データから像の特徴が変化した変化領域を検出する変化領域検出部と、検出した変化領域に基づいて、変化領域と他の領域とで各々異なる態様で画像処理が施されるように、画像処理のパラメータを画素毎に定めたマスクデータを生成するマスクデータ生成部と、マスクデータに基づいて画像データに画像処理を施す画像処理部と、を備える電子内視鏡システムが記載されている。
また、日本国特表2007-502185号公報には、歯の組織のデジタル画像を撮像し、デジタル画像内の複数の画素のそれぞれについて、画素の色の第1の成分値および画素の色の第2の成分値を決定し、第1の成分値および第2の成分値に基づき画素の第1の関数値(例えば、R/G)を計算する画像解析方法が記載されている。
上述した画像解析装置の解析対象の一例として腸管の絨毛が挙げられる。腸管の絨毛は、周辺部と、この周辺部とは色が異なる中心部と、をもっている。こうした解析対象の画像を解析するために、従来は、ユーザが例えば画面上において解析対象としての絨毛を探して着目要素として抽出する必要があったが、絨毛の中で変化を起こす部分を正しく抽出して正確に定量評価を行うことは困難であった。
本発明は上記事情に鑑みてなされたものであり、被検体の中でも変化が生じる特徴領域に着目して、この特徴領域の色調変化の解析を行うことで、必要な領域においてより正確な定量評価を行うことを可能とする画像解析装置、画像解析システム、画像解析装置の作動方法を提供することを目的としている。
本発明のある態様による画像解析装置は、経時的に取得された被検体の画像が入力される画像入力部と、前記画像入力部から入力された、第1のタイミングで取得された第1の画像と、前記第1のタイミングより後の第2のタイミングで取得された第2の画像とに対して、環状の周辺部と該周辺部に囲まれ該周辺部とは色が異なる中心部とをもつ注目要素を特定し、前記注目要素の前記中心部のみを解析対象領域として抽出する領域抽出部と、前記領域抽出部により抽出された、前記第1の画像の前記解析対象領域と、前記第2の画像の前記解析対象領域と、の色成分値をそれぞれ抽出する色成分抽出部と、を含む。
本発明のある態様による画像解析システムは、被検体内に挿入され、前記被検体の画像を撮像して取得する内視鏡と、前記画像解析装置と、を備え、前記画像入力部には、前記内視鏡によって取得された前記画像が入力される。
本発明のある態様による画像解析装置の作動方法は、画像入力部に、経時的に取得された被検体の画像が入力され、領域抽出部が、前記画像入力部から入力された、第1のタイミングで取得された第1の画像と、前記第1のタイミングより後の第2のタイミングで取得された第2の画像とに対して、環状の周辺部と該周辺部に囲まれ該周辺部とは色が異なる中心部とをもつ注目要素を特定し、前記注目要素の前記中心部のみを解析対象領域として抽出し、色成分抽出部が、前記領域抽出部により抽出された、前記第1の画像の前記解析対象領域と、前記第2の画像の前記解析対象領域と、の色成分値をそれぞれ抽出する方法である。
以下、図面を参照して本発明の実施の形態を説明する。
[実施形態1]
図1から図11は本発明の実施形態1を示したものであり、図1は画像解析システムの構成を示すブロック図である。
図1から図11は本発明の実施形態1を示したものであり、図1は画像解析システムの構成を示すブロック図である。
画像解析システムは、内視鏡20と、画像解析装置10と、を備えている。
内視鏡20は、被検体内に挿入され、被検体の画像を撮像して取得するものであり、本実施形態においては、例えば、狭帯域光観察(NBI:Narrow Band Imaging)が可能となっている。ここに、ノイズ成分を少なくしてNBI拡大観察を行うために、内視鏡20の先端には、例えば先端フードや先端アタッチメントが装着される。そして、本実施形態においては、被検体に負荷を与えて負荷の前後における被検体の変化を観察するために、内視鏡20により、被検体の画像が経時的に取得される。また、被検体に負荷を与える前後における被検体の変化をより正確に捉えるためには、内視鏡20の明るさの設定が同じ状態であることが望ましい。そこで、被検体に負荷を与える前後で光源の調光は行わず、光源からの出射光量を一定にして被検体の画像を取得すると良い。
画像解析装置10は、画像入力部11と、領域抽出部12と、色成分抽出部13と、画像解析部14と、を含んでいる。
画像入力部11は、内視鏡20によって経時的に取得された被検体の画像が入力される。
領域抽出部12は、画像入力部11から入力された、第1のタイミングで取得された第1の画像と、第1のタイミングより後の第2のタイミングで取得された第2の画像とに対して、環状の周辺部と周辺部に囲まれ周辺部と色が異なる中心部とをもつ注目要素(本実施形態における注目要素は、後述するように、特徴領域である例えば腸管の絨毛の画像部分)を特定し、注目要素の中心部のみを解析対象領域として抽出する。
色成分抽出部13は、領域抽出部12により抽出された、第1の画像の解析対象領域と、第2の画像の解析対象領域と、の色成分値をそれぞれ抽出する。
画像解析部14は、解析対象領域から抽出された、第1の画像の色成分値と第2の画像の色成分値との変化の度合いを算出する。
次に、図2は、領域抽出部12の構成を示すブロック図である。
領域抽出部12は、周辺部と中心部との色の相違を、色相と彩度と輝度との少なくとも1つの相違に基づき判定するようになっている。従って、色成分値が異なれば色が異なることに該当し、例えば、色相および彩度が同一で輝度のみが異なる場合でも、色が異なることに該当する。
この領域抽出部12は、図2に示すように、エッジ検出部21と、閉曲線エッジ検出部22と、大きさフィルタ処理部23と、二重閉曲線エッジ検出部24と、二重閉曲線エッジ特定部25と、単一閉曲線エッジ特定部26と、領域抽出制御部27と、を備えている。
エッジ検出部21は、画像に対して例えばエッジ検出フィルタをかけることにより、エッジ検出を行う。
閉曲線エッジ検出部22は、エッジ検出部21により検出されたエッジの中から、閉曲線をなすエッジをさらに検出する。
大きさフィルタ処理部23は、閉曲線エッジ検出部22により検出された閉曲線エッジの中から、閉曲線エッジの大きさが注目要素として取り得る範囲内(例えば、腸管の絨毛として取り得る大きさの範囲内)であるもののみを選択する。
二重閉曲線エッジ検出部24は、閉曲線エッジ検出部22により検出され、さらに例えば大きさフィルタ処理部23により選択された閉曲線エッジの中から、さらに、二重をなす(つまり、外側閉曲線エッジと、この外側閉曲線エッジ内に含まれる内側閉曲線エッジと、で構成される)二重閉曲線エッジを検出する。
二重閉曲線エッジ特定部25は、二重閉曲線エッジ検出部24により検出された二重閉曲線エッジの内の、内側閉曲線エッジ内の領域の色と、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色と、が異なる場合に、内側閉曲線エッジ内の領域を中心部として特定する。
このとき、二重閉曲線エッジ特定部25は、さらに、内側閉曲線エッジ内の領域の色が注目要素の中心部に該当する第1の色範囲(一例として注目要素が腸管の絨毛である場合には、第1の色範囲は例えば赤に近い色範囲)内であって、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色が注目要素の周辺部に該当する第2の色範囲(第1の色範囲とは異なる第2の色範囲)(一例として注目要素が腸管の絨毛である場合には、第2の色範囲は例えば白に近い色範囲)内である場合に、内側閉曲線エッジ内の領域を中心部として特定するようになっている。
なお、色の相違は、上述したように、色相と彩度と輝度との少なくとも1つの相違に基づき判定する。従って、色範囲は、色相、彩度、輝度の内の、何れか1つの範囲、または2つ以上の組み合わせにより決まる範囲となる。例えば、色範囲を色相および彩度の組み合わせにより決まる範囲としても良いし、あるいは色範囲を輝度範囲としても構わない(すなわち、輝度のみに基づいて中心部と周辺部とを区別するようにしても構わない)。注目要素が腸管の絨毛であって色範囲を輝度範囲とした場合には、例えば、第1の色範囲はやや低輝度の範囲、第2の色範囲は第1の色範囲よりも高輝度の範囲とすれば良い。
さらに、二重閉曲線エッジ特定部25は、大きさフィルタ処理部23により内側閉曲線エッジおよび外側閉曲線エッジの大きさが注目要素として取り得る範囲内であると判定された場合にのみ、内側閉曲線エッジ内の領域を中心部として特定すると、より好ましい。
本実施形態においては、上述した二重閉曲線エッジ特定部25により特定された注目要素の中心部の数が所定数(ここに、所定数は複数である)に満たない場合に、さらに、単一閉曲線エッジ特定部26を用いて注目要素の中心部を特定するようになっている(ただし、二重閉曲線エッジ特定部25を用いることなく、単一閉曲線エッジ特定部26のみを用いて注目要素の中心部を特定するようにしても構わない)。
単一閉曲線エッジ特定部26は、閉曲線エッジ検出部22により検出された閉曲線エッジで囲まれた領域の内外で色が異なる場合に、閉曲線エッジで囲まれた領域の内部を中心部として特定する。
なお、本実施形態においては、二重閉曲線エッジ特定部25による処理対象とならなかった閉曲線エッジに対して、この単一閉曲線エッジ特定部26により処理を行うことになるが、二重よりも多い三重、四重、…の閉曲線エッジが存在したとしても、その閉曲線エッジは何れも二重閉曲線エッジに該当することになる。このために、単一閉曲線エッジ特定部26が処理対象とするのは、単一閉曲線エッジとなる。
さらに、単一閉曲線エッジ特定部26は、さらに、単一閉曲線エッジ内の領域の色が注目要素の中心部に該当する第1の色範囲内であって、単一閉曲線エッジの外側近傍の領域の色が注目要素の周辺部に該当する第2の色範囲内である場合に、単一閉曲線エッジ内の領域を中心部として特定するようになっている。
そして、単一閉曲線エッジ特定部26は、大きさフィルタ処理部23により単一閉曲線エッジの大きさが注目要素として取り得る範囲内であると判定された場合にのみ、単一閉曲線エッジで囲まれた領域の内部を中心部として特定すると、より好ましい。
領域抽出制御部27は、領域抽出部12内の各部、つまり、上述したエッジ検出部21、閉曲線エッジ検出部22、大きさフィルタ処理部23、二重閉曲線エッジ検出部24、二重閉曲線エッジ特定部25、および単一閉曲線エッジ特定部26等を制御して、後で図5A~図7を参照して説明するような動作を行わせる。
次に、図3は画像解析システムを用いた処理を示すフローチャートである。
この処理を開始すると、被検体へ負荷を与える前の画像(負荷前画像、第1の画像)を、第1のタイミングで、内視鏡20により撮像して取得する(ステップS1)。ここに、本実施形態における被検体は、例えば、腸管(さらに例えば、小腸)の絨毛であるものとする(ただし、被検体はこれに限定されるものではなく、他の幾つかの例としては、舌部、食道、胃粘膜、大腸等が挙げられる)。また、内視鏡20により被検体の画像を取得するのと同時に、画像取得時の出射光量の情報を例えば画像解析装置10、あるいは内視鏡20に記録しても良い。
その後、被検体へ負荷を付与する(ステップS2)。ここでは、例えば、負荷として、ブドウ糖を散布するものとする(ただし、これに限定されるものではなく、静脈注射を行っても良いし、その他の負荷を与えても構わない)。ブドウ糖を散布すると毛細血管を流れる血液量が増加して、血液中のヘモグロビンによって光がより多く吸収される。従って、絨毛内において毛細血管が集まっている部分が暗く観察されることになる。
続いて、上述した第1のタイミングより後の第2のタイミングで、負荷を付与した後の画像(負荷後画像、第2の画像)を内視鏡20により撮像して取得する(ステップS3)。被検体に負荷を付与した後の画像を内視鏡20により取得する際に、ステップS1で出射光量の情報を記録した場合は、出射光量の情報を参照して、ステップS1と同じ条件で画像を取得する。なお、ステップS1で記録した出射光量の情報を後に消去する機能を有していても良く、出射光量の情報の取得、出射光量の情報を用いた画像の取得、および出射光量の情報の消去は、例えば内視鏡20の操作部、この画像解析システムを制御するための制御パネルに設けたスイッチ、または内視鏡20を操作するためのフットスイッチ等の操作により実現するようにしても良い。
そして、さらに次の画像を取得するか否かを判定し(ステップS4)、取得すると判定した場合には、ステップS3へ戻って次の負荷後画像を取得する。
また、ステップS4において、画像の取得が終了したと判定された場合には、画像解析装置10による画像解析を行い(ステップS5)、画像解析が完了したら、この処理を終了する。
図4は、画像解析装置10による画像解析処理を示すフローチャートである。
この処理を開始すると、画像入力部11が、内視鏡20から経時的に取得された被検体の画像を入力して、時系列順にソートする(ステップS10)。
図8は、時系列順にソートした被検体の画像の表示例を示す図である。
この図8に示す表示例においては、モニタ等の表示装置に、画像配列表示31と、画像取得時間表示32と、画像配列順序表示33と、が行われている。
まず、画像配列表示31は、取得された被検体の画像P0~P8が、取得された時間の順序に配列して表示されている。
また、画像取得時間表示32は、画像P1~P8が、負荷の付与(ブドウ糖の散布)後のどの時間時点で取得されたかを、例えば、時間軸に沿って取得時間と共に配置して示している。なお、画像P0はブドウ糖散布前(例えば、ブドウ糖を散布する直前)に取得された画像であるが、この図8に示す例では、便宜上、ブドウ糖散布の位置に表示している(ただし、時間軸をブドウ糖散布よりも前の時点まで延ばして、画像P0の取得時点を正確に示すようにしても勿論構わない)。
さらに、画像配列順序表示33は、画像配列表示31に表示されている各画像が、画像取得時間表示32に表示されている画像P0~P8の内の、どの時点で取得された画像であるかを対応付けて表示している。
次に、画像解析装置10は、後でステップS12~S19を参照して説明する処理を未だ行っていない画像が存在するか否かを判定する(ステップS11)。
ここで未処理の画像が存在すると判定された場合には、領域抽出部12が、画像入力部11から処理対象となる画像データを入力する(ステップS12)。
そして、色成分値を抽出するのに適さないハレーション等の不適格要素の領域(不適格領域)IR(図9、図11等参照)を処理対象から除外する(ステップS13)。ここに、不適格領域IRの例としては、ハレーションが生じている領域以外にも、例えば気泡が生じている領域、ピントがぼけている領域、などが挙げられる。
さらに、画像中における、所定の大きさの部分領域毎に算出した平均輝度が、所定値以上の領域を適正輝度領域として選択する(ステップS14)。例えば、図9(あるいは図11)に示すような画像Pi(ここにiは、図8に示す例においては、0~8の何れか(つまり、PiはP0~P8の何れか))においては、右上半分の領域の平均輝度が所定値よりも低い。ここに、図9は被検体の画像の明るさ分布を示す図および注目要素の1つを拡大して示す図である。
なお、上述では、画像入力部11から入力される画像を取得する撮像装置の性能を示す画像として、内視鏡20等で取得した被検体の画像を用いて解析対象領域を定めたが、この方法に限定されるものではなく、撮像装置の性能を示すその他の画像(例えば、試験用プレートやホワイトバランスキャップ等の色が一様でフラットな対象物を撮影した画像、あるいは内視鏡20の設計値から求められる明るさのシミュレーション結果SI(図12参照)などの、性能を示す指標となる画像)に基づき、所定の大きさの部分領域毎に算出した平均輝度から色成分値を抽出するのに適した領域AR(図13参照)を解析対象領域に設定する方法を採用しても良い。さらに、上記色成分値を抽出するのに適した領域ARの中から、所定の大きさの部分領域毎に算出した平均輝度に基づいて、解析対象領域を定める方法を採用しても構わない。ここに、図12は内視鏡20の明るさのシミュレーション結果SIの一例を示す図、図13は内視鏡20の明るさのシミュレーション結果SIから求められた色成分値を抽出するのに適した領域ARの一例を示す図である。
そこで、領域抽出部12は、平均輝度が所定値以上となる、画像Piの左下半分の領域を適正輝度領域として選択する。このような選択を行うことにより、色成分値を抽出するのに適している明るい領域を選択し、色成分値を抽出するのに適していない暗い領域を除外している。
なお、ここでは、色成分値を抽出するのに適した適正輝度範囲を、平均輝度が所定値以上の範囲としたが、平均輝度が飽和画素値に近いような明るすぎる領域も除外するようにしても構わない。この場合には、色成分値を抽出するのに適した適正輝度範囲を、平均輝度が、所定の下限閾値以上で、かつ所定の上限閾値以下の範囲とすれば良い。
画像上の輝度の階調を例えば0~255の256段階とすると、このうち適正輝度範囲は、下限閾値として内視鏡画像の枠部分に該当する例えば10、上限閾値としてハレーションに該当する例えば230と設定することで、解析対象物のみの色成分が抽出でき、解析精度が向上すると考えられる。
続いて、選択した領域において、複数の注目要素(本実施形態においては、腸管の絨毛の画像部分)OBJの中心部OBJc(この中心部OBJcも要素である)を選択する(ステップS15)。
この注目要素OBJである腸管の絨毛の画像部分は、後で図5A~図7を参照して説明するように、画像解析等を行って自動処理により複数が抽出され選択されるようになっている(ただし、ユーザが画像を見ながら手動で選択するオプションをさらに用意しても構わない)。
ここに、注目要素OBJである腸管の絨毛の画像部分は、環状(円環状に限らず、任意の形の閉曲線状を取り得る)の周辺部OBJpと、この周辺部OBJpに囲まれ周辺部OBJpと色が異なる中心部OBJcとをもつ要素である。
図10は、注目要素である腸管の繊毛の構造を示す図である。
腸管の絨毛は、中心部にある中心リンパ管CLの周りの部位に毛細血管BCが分布し、その外側に粘膜上皮MEが形成されて絨毛の表面を構成する構造となっている。
このような腸管の絨毛を、血液中のヘモグロビンに吸収され易い狭帯域化された波長の光を用いたNBIにより拡大観察すると、毛細血管BCの部分が粘膜上皮MEとは異なる色として観察される。
こうした絨毛を上から撮像した画像部分を観察すると、粘膜上皮MEの画像部分が環状の周辺部OBJpとして観察され、粘膜上皮MEに囲まれる毛細血管BCの画像部分が粘膜上皮MEと色が異なる中心部OBJcとして観察される。そこで、後で説明するように、中心部OBJcと周辺部OBJpとの色の違いを利用して、注目要素OBJを決定するようになっている。
こうして選択した複数の中心部OBJcの中から、明るさが中央値に近い所定数(図11に示す例では5つ)の中心部OBJcをさらに選択して、選択した所定数の中心部OBJcを解析対象領域ORに設定する(ステップS16)。ここに、図11は被検体の画像Piに設定された解析対象領域ORの例を示す図である。
ここで、中央値に近い明るさの中心部OBJcを選択したのは、サンプルとして最も適切な明るさのものを解析対象とするためである。なお、明るさとしては、複数の色成分に基づいて算出される輝度値を用いても良いし、あるいは、複数の色成分を単純加算した値を明るさの指標として代用するようにしても良いし、その他の方法により複数の色成分に基づき明るさを取得しても構わない。こうして、ここで設定された図11に示す解析対象領域ORは、例えば5つの腸管の絨毛の画像部分の中心部OBJcにより構成されている。
次に、色成分抽出部13が、解析対象領域ORを構成する各画素の色成分値、例えば、R成分値、G成分値、およびB成分値を抽出し(ステップS17)、さらに、第1の画像(負荷前画像)における解析対象領域ORのR成分値の平均値<R>、G成分値の平均値<G>、およびB成分値の平均値<B>と、第2の画像(負荷後画像)における解析対象領域ORのR成分値の平均値<R’>、G成分値の平均値<G’>、およびB成分値の平均値<B’>と、を算出する(ステップS18)。
そして、画像解析部14が、負荷前画像に対する負荷後画像の変化の度合いとして、色成分平均値の変化量を例えば次のように算出する(ステップS19)。
すなわち、画像解析部14は、変化量を、第1の画像と第2の画像との色成分値の差分の絶対値の合計として次の数式1に示すように算出する。
[数1]
変化量=|<R’>-<R>|+|<G’>-<G>|+|<B’>-<B>|
従って、算出される変化量は、第1の画像より第2の画像の方が低い色成分値の平均値と、第1の画像より第2の画像の方が高い色成分値の平均値と、の合計となる。
変化量=|<R’>-<R>|+|<G’>-<G>|+|<B’>-<B>|
従って、算出される変化量は、第1の画像より第2の画像の方が低い色成分値の平均値と、第1の画像より第2の画像の方が高い色成分値の平均値と、の合計となる。
なお、画像解析部14が算出する、負荷前画像に対する負荷後画像の変化の度合いは、数式1に示したように算出するに限るものではない。
まず、第1の変形例は、xとyとの内の、大きくない方(x≠yのときには、小さい方)を出力する関数を、Min(x,y)としたときに、変化の度合いとしての変化量を、次の数式2に示すように算出するものである。
[数2]
変化量=|Min(<R’>-<R>,0)
+Min(<G’>-<G>,0)
+Min(<B’>-<B>,0)|
従って、算出される変化量は、第1の画像より第2の画像の方が低い色成分値の平均値のみの合計となる。このような算出法を用いるのは、人間の眼の特性を考慮したためである。すなわち、人間の眼は、画像の明るさが、暗い方から明るい方へ変化する場合よりも、明るい方から暗い方へ変化する場合の方が、鋭敏に変化を感じとるようになっている。そこで、こうした人間の眼の特性を考慮して、ユーザが視覚的に感じた画像の変化と、画像解析により得られた画像の変化の解析結果とが一致するようにしている。
変化量=|Min(<R’>-<R>,0)
+Min(<G’>-<G>,0)
+Min(<B’>-<B>,0)|
従って、算出される変化量は、第1の画像より第2の画像の方が低い色成分値の平均値のみの合計となる。このような算出法を用いるのは、人間の眼の特性を考慮したためである。すなわち、人間の眼は、画像の明るさが、暗い方から明るい方へ変化する場合よりも、明るい方から暗い方へ変化する場合の方が、鋭敏に変化を感じとるようになっている。そこで、こうした人間の眼の特性を考慮して、ユーザが視覚的に感じた画像の変化と、画像解析により得られた画像の変化の解析結果とが一致するようにしている。
次に、第2の変形例は、変化の度合いとしての変化量を、次の数式3に示すように算出するものである。
[数3]
変化量=|Min(<R>-<R’>,0)
+Min(<G>-<G’>,0)
+Min(<B>-<B’>,0)|
従って、算出される変化量は、第1の画像より第2の画像の方が高い色成分値の平均値のみの合計となる。このような算出法を用いるのは、画像の明るさが暗い方から明るい方へ変化する場合の方が、解析結果として重要な場合もあるためである。
変化量=|Min(<R>-<R’>,0)
+Min(<G>-<G’>,0)
+Min(<B>-<B’>,0)|
従って、算出される変化量は、第1の画像より第2の画像の方が高い色成分値の平均値のみの合計となる。このような算出法を用いるのは、画像の明るさが暗い方から明るい方へ変化する場合の方が、解析結果として重要な場合もあるためである。
さらに、第3の変形例は、数式1~3の右辺に各示した色成分に対して、色成分毎の重み係数α,β,γ(ここに、α>0、β>0、γ>0)を乗算するものである。
例えば、数式1に対応して、次の数式4に示すように変化量を算出する。
[数4]
変化量=|α×(<R’>-<R>)|
+|β×(<G’>-<G>)|
+|γ×(<B’>-<B>)|
または、数式2に対応して、次の数式5に示すように変化量を算出する。
変化量=|α×(<R’>-<R>)|
+|β×(<G’>-<G>)|
+|γ×(<B’>-<B>)|
または、数式2に対応して、次の数式5に示すように変化量を算出する。
[数5]
変化量=|α×Min(<R’>-<R>,0)
+β×Min(<G’>-<G>,0)
+γ×Min(<B’>-<B>,0)|
あるいは、数式3に対応して、次の数式6に示すように変化量を算出する。
変化量=|α×Min(<R’>-<R>,0)
+β×Min(<G’>-<G>,0)
+γ×Min(<B’>-<B>,0)|
あるいは、数式3に対応して、次の数式6に示すように変化量を算出する。
[数6]
変化量=|α×Min(<R>-<R’>,0)
+β×Min(<G>-<G’>,0)
+γ×Min(<B>-<B’>,0)|
このとき、これらの数式4~6における重み係数α,β,γを調整することにより、各色成分平均値が変化量に対してどれだけ寄与するかを制御することができるようになっている。
変化量=|α×Min(<R>-<R’>,0)
+β×Min(<G>-<G’>,0)
+γ×Min(<B>-<B’>,0)|
このとき、これらの数式4~6における重み係数α,β,γを調整することにより、各色成分平均値が変化量に対してどれだけ寄与するかを制御することができるようになっている。
そして、第4の変形例は、変化の度合いとして、変化量に代えて変化率を算出するものである。
すなわち、経時的に取得した一連の画像群(負荷前画像および負荷後画像)における各画像の撮像条件(露光時間や絞り値、被検体の照度など)が等しい場合には、画像群内における変化量の比較、例えば、負荷前の画像P0に対する負荷後の画像P1の第1の変化量と、負荷前の画像P0に対する負荷後の画像P2の第2の変化量と、を比較することが可能である。
しかし、異なる撮像条件で撮像された複数の画像群同士の場合には、一般に画像の明るさが異なるために、変化量同士をそのまま比較できないことがある。例えば、ある被検体に対して取得した画像群と、他の被検体に対して取得した画像群と、における変化量を比較しようとしても、一方の画像群の明るさが他方の画像群の明るさの2倍であれば、仮に病理学的な変化量が同一であっても、算出された変化量は一方が他方の2倍となってしまう。
そこで、この第4の変形例は、こうした場合における比較が可能となるように、変化の度合いとして変化率を算出するようにしている。
例えば、数式4に対応して、次の数式7に示すように変化量を算出する。
[数7]
変化量={|α×(<R’>-<R>)|
+|β×(<G’>-<G>)|
+|γ×(<B’>-<B>)|}
/|<R>+<G>+<B>|
または、数式5に対応して、次の数式8に示すように変化量を算出する。
変化量={|α×(<R’>-<R>)|
+|β×(<G’>-<G>)|
+|γ×(<B’>-<B>)|}
/|<R>+<G>+<B>|
または、数式5に対応して、次の数式8に示すように変化量を算出する。
[数8]
変化量=|α×Min(<R’>-<R>,0)
+β×Min(<G’>-<G>,0)
+γ×Min(<B’>-<B>,0)|
/|<R>+<G>+<B>|
あるいは、数式6に対応して、次の数式9に示すように変化量を算出する。
変化量=|α×Min(<R’>-<R>,0)
+β×Min(<G’>-<G>,0)
+γ×Min(<B’>-<B>,0)|
/|<R>+<G>+<B>|
あるいは、数式6に対応して、次の数式9に示すように変化量を算出する。
[数9]
変化量=|α×Min(<R>-<R’>,0)
+β×Min(<G>-<G’>,0)
+γ×Min(<B>-<B’>,0)|
/|<R>+<G>+<B>|
なお、これらの数式7~9は、α=β=γ=1とおけば、上述した数式1~3の変化量に対応する変化率となる。
変化量=|α×Min(<R>-<R’>,0)
+β×Min(<G>-<G’>,0)
+γ×Min(<B>-<B’>,0)|
/|<R>+<G>+<B>|
なお、これらの数式7~9は、α=β=γ=1とおけば、上述した数式1~3の変化量に対応する変化率となる。
このステップS19を行ったら、上述したステップS11に戻る。こうして、ステップS11において全ての画像の処理を行ったと判定された場合には、この処理から図示しないメイン処理にリターンする。
図5Aは、画像解析装置10における、選択した領域において複数の注目要素の中心部を選択する処理を示すフローチャートである。
図4のステップS15においてこの処理に入ると、選択した領域(例えば、図9に示す画像Piの左下半分の領域)に対して、エッジ検出部21がエッジ検出フィルタをかけることにより、エッジ成分を抽出する(ステップS21)。
次に、閉曲線エッジ検出部22が、エッジ検出部21により検出されたエッジの中から、閉曲線をなすエッジをさらに検出する(ステップS22)。
続いて、大きさフィルタ処理部23が、閉曲線エッジ検出部22により検出された閉曲線エッジの大きさ(例えば、閉曲線の最大径、平均径、あるいは閉曲線で囲まれる領域の面積など)を算出し、算出した大きさが、注目要素として取り得る範囲内(例えば、腸管の絨毛として取り得る大きさの範囲内)となる閉曲線エッジのみを選択する(ステップS23)。
そして、二重閉曲線エッジ検出部24が、大きさフィルタ処理部23を通過した閉曲線エッジの中から、二重閉曲線エッジを全て検出する(ステップS24)。
なお、二重閉曲線エッジを構成する内側閉曲線エッジおよび外側閉曲線エッジは、何れも、ステップS23における大きさフィルタ処理部23の処理を通過しているために、注目要素として取り得る範囲内の大きさであると判定された閉曲線エッジである。
さらに、二重閉曲線エッジ特定部25が、二重閉曲線エッジ検出部24により検出された二重閉曲線エッジが、注目要素に該当するか否かを特定する処理を、後で図6を参照して説明するように行う(ステップS25)。
その後、領域抽出制御部27が、二重閉曲線エッジ検出部24により検出された二重閉曲線エッジの中に、ステップS25の処理を未だ行っていない二重閉曲線エッジが存在するか否かを判定し(ステップS26)、存在する場合には、次の二重閉曲線エッジに対してステップS25の処理を行う。
こうして、ステップS26において、全ての二重閉曲線エッジに対してステップS25の処理が行われたと判定された場合には、領域抽出制御部27が、注目要素に該当すると判定された二重閉曲線エッジの数(ひいては、検出された注目要素の中心部の数)が所定数(図11に示した例においては5つ)以上であるか否かを判定する(ステップS27)。
ここで、注目要素に該当すると判定された二重閉曲線エッジの数が所定数未満であると判定された場合には、単一閉曲線エッジ特定部26が、二重閉曲線エッジに該当しない単一閉曲線エッジ(この単一閉曲線エッジは、ステップS23における大きさフィルタ処理部23の処理を通過して、注目要素として取り得る範囲内の大きさであると判定された閉曲線エッジである)が、注目要素に該当するか否かを特定する処理を、後で図7を参照して説明するように行う(ステップS28)。
次に、領域抽出制御部27が、単一閉曲線エッジの中に、ステップS25の処理を未だ行っていない単一閉曲線エッジが存在するか否かを判定し(ステップS29)、存在する場合には、次の単一閉曲線エッジに対してステップS28の処理を行う。
こうして、ステップS29において、全ての単一閉曲線エッジに対してステップS28の処理が行われたと判定された場合、またはステップS27において、注目要素に該当すると判定された二重閉曲線エッジの数が所定数以上であると判定された場合には、この処理から図4に示した処理にリターンする。
こうして、注目要素に該当する確実性がより高い二重閉曲線エッジの特定をまず行い、注目要素に該当すると判定された二重閉曲線エッジの数が所定数に満たない場合には、さらに、単一閉曲線エッジに対して注目要素に該当するか否かの特定を行うようにしている。
なお、図5Aの処理では、二重閉曲線エッジの数が所定数に達した場合には単一閉曲線エッジの特定を行わないが、二重閉曲線エッジの数が所定数に達したか否かに関わらず単一閉曲線エッジの特定を行うようにしても良い。
図5Bは、画像解析装置における、選択した領域において複数の注目要素の中心部を選択する処理の変形例を示すフローチャートである。
この図5Bに示す処理は、図5AにおけるステップS27の処理を省略したものとなっている。これにより、二重閉曲線エッジだけでなく、さらに単一閉曲線エッジの特定も行われるために、より多くの注目要素の中心部を選択することが可能となる。
図6は、画像解析装置10における二重閉曲線エッジ特定処理を示すフローチャートである。
この処理に入ると、二重閉曲線エッジ特定部25は、ステップS24において二重閉曲線エッジ検出部24により検出された二重閉曲線エッジの中から、未処理の二重閉曲線エッジを1つ選択する(ステップS31)。
そして、二重閉曲線エッジ特定部25は、選択した二重閉曲線エッジの、内側閉曲線エッジの内側の各画素の色成分値の例えば平均値が、注目要素の中心部に該当する第1の色範囲内であるか否かを判定する(ステップS32)。
ここで、第1の色範囲外であると判定した場合には、ステップS31で選択した二重閉曲線エッジを注目要素と同定することなく、図5A(または図5B、以下同様であるので省略する)に示した処理にリターンする。
また、ステップS32において、第1の色範囲内であると判定した場合には、二重閉曲線エッジ特定部25は、さらに、選択した二重閉曲線エッジの、外側閉曲線エッジと内側閉曲線エッジとの間の各画素の色成分値の例えば平均値が、注目要素の周辺部に該当する第2の色範囲内であるか否かを判定する(ステップS33)。
ここで、第2の色範囲外であると判定した場合には、ステップS31で選択した二重閉曲線エッジを注目要素と同定することなく、図5Aに示した処理にリターンする。
また、ステップS33において、第2の色範囲内であると判定した場合(従って、内側閉曲線エッジ内の領域の色と、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色と、が異なると判定した場合)には、ステップS31で選択した二重閉曲線エッジが注目要素に該当すると決定して、内側閉曲線エッジの内側を注目要素の中心部に、外側閉曲線エッジと内側閉曲線エッジとの間を注目要素の周辺部に、それぞれ特定してから(ステップS34)、図5Aに示した処理にリターンする。
図7は、画像解析装置10における単一閉曲線エッジ特定処理を示すフローチャートである。
この処理に入ると、単一閉曲線エッジ特定部26は、大きさフィルタ処理部23を通過した閉曲線エッジの中から、二重閉曲線エッジ以外の単一閉曲線エッジにおける、未処理の閉曲線エッジを1つ選択する(ステップS41)。
そして、単一閉曲線エッジ特定部26は、選択した単一閉曲線エッジの内側の各画素の色成分値の例えば平均値が、注目要素の中心部に該当する第1の色範囲内であるか否かを判定する(ステップS42)。
ここで、第1の色範囲外であると判定した場合には、ステップS41で選択した単一閉曲線エッジを注目要素と同定することなく、図5Aに示した処理にリターンする。
また、ステップS42において、第1の色範囲内であると判定した場合には、単一閉曲線エッジ特定部26は、さらに、選択した単一閉曲線エッジの外側近傍の各画素の色成分値の例えば平均値が、注目要素の周辺部に該当する第2の色範囲(第1の色範囲とは異なる第2の色範囲)内であるか否かを判定する(ステップS43)。
ここで、第2の色範囲外であると判定した場合には、ステップS41で選択した単一閉曲線エッジを注目要素と同定することなく、図5Aに示した処理にリターンする。
また、ステップS43において、第2の色範囲内であると判定した場合(従って、単一閉曲線エッジの内側領域の色と外側近傍領域の色とが異なると判定した場合)には、ステップS41で選択した単一閉曲線エッジ内を注目要素の中心部に特定してから(ステップS44)、図5Aに示した処理にリターンする。
なお、上述した図5A~図7においては、エッジ検出(閉曲線エッジ検出、二重閉曲線エッジ検出)、大きさフィルタ処理、色範囲判定などの各処理を行って注目要素の検出精度を上げているが、何れかの処理を省略して処理負荷を軽減し検出速度を向上するようにしても構わない。
このような実施形態1によれば、領域抽出部12が、環状の周辺部と周辺部に囲まれ周辺部と色が異なる中心部とをもつ注目要素を特定し、注目要素の中心部のみを解析対象領域として抽出するようにしたために(具体的には、被検体の中でも変化が生じる特徴領域に着目して、この特徴領域の色調変化の解析を行うようにしたために)、必要な領域においてより正確な定量評価を行うことが可能となる。
また、周辺部と中心部との色の相違を、色相と彩度と輝度との少なくとも1つの相違に基づき判定するようにしたために、画像の色成分値に基づく判定が可能となる。
さらに、画像に対してエッジ検出を行い、閉曲線をなすエッジをさらに検出し、検出された閉曲線エッジで囲まれた領域の内外で色が異なる場合に、閉曲線エッジで囲まれた領域の内部を中心部として特定するようにしたために、色が異なる中心部および周辺部をもつ注目要素を精度良く検出することができる。
そして、閉曲線エッジの大きさが注目要素として取り得る範囲内である場合にのみ、閉曲線エッジで囲まれた領域の内部を中心部として特定するようにしたために、注目要素の検出精度をより向上することができる。
加えて、二重閉曲線エッジをさらに検出して、内側閉曲線エッジ内の領域の色と、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色と、が異なる場合に、内側閉曲線エッジ内の領域を中心部として特定するようにしたために、中心部および周辺部をもつ注目要素の形状に対する整合性がより高い検出を行うことができる。
また、注目要素を複数特定して、特定した複数の注目要素の中心部を解析対象領域として抽出するようにしたために、解析対象領域の色成分値がより多くのサンプルから抽出されることになり、抽出した色成分値に基づき算出される、第1の画像の色成分値と第2の画像の色成分値との変化の度合いを、より安定した値とすることができる。
さらに、解析対象領域を抽出する際に、色成分値を抽出するのに適さない不適格要素を除外するようにしたために、不適格要素に左右されることのない、より正確な画像解析結果を得ることができる。
そして、明るさが中央値に近い所定数の注目要素の中心部を解析対象領域として抽出するようにしたために、変化量をより適切に捉えることができる。
平均輝度が色成分値を抽出するのに適した適正輝度範囲内にある適正輝度領域の中から、解析対象領域の抽出を行うようにしたために、被検体に変化が生じたとしてもその変化量が適切に画素値に反映されるとは限らない明るすぎる領域や暗すぎる領域が、解析対象領域となるのを防ぐことができる。
また、内視鏡20によって撮像し取得された被検体の画像に対して、上述した効果を奏することができる。
さらに、例えば腸管の絨毛に対して、適切な画像解析を行うことができる。
なお、上述した各部は、回路として構成されていても良い。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていても良いし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。
また、上述では主として画像解析装置(または画像解析システム、以下同様)について説明したが、画像解析装置を上述したように作動させる作動方法であっても良いし、コンピュータに画像解析装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。
さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
本出願は、2015年4月27日に日本国に出願された特願2015-090620号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
Claims (13)
- 経時的に取得された被検体の画像が入力される画像入力部と、
前記画像入力部から入力された、第1のタイミングで取得された第1の画像と、前記第1のタイミングより後の第2のタイミングで取得された第2の画像とに対して、環状の周辺部と該周辺部に囲まれ該周辺部とは色が異なる中心部とをもつ注目要素を特定し、前記注目要素の前記中心部のみを解析対象領域として抽出する領域抽出部と、
前記領域抽出部により抽出された、前記第1の画像の前記解析対象領域と、前記第2の画像の前記解析対象領域と、の色成分値をそれぞれ抽出する色成分抽出部と、
を含むことを特徴とする画像解析装置。 - 前記領域抽出部は、前記周辺部と前記中心部との色の相違を、色相と彩度と輝度との少なくとも1つの相違に基づき判定することを特徴とする請求項1に記載の画像解析装置。
- 前記領域抽出部は、前記画像に対してエッジ検出を行い、閉曲線をなすエッジをさらに検出し、検出された閉曲線エッジで囲まれた領域の内外で色が異なる場合に、前記閉曲線エッジで囲まれた領域の内部を前記中心部として特定することを特徴とする請求項2に記載の画像解析装置。
- 前記領域抽出部は、さらに、前記閉曲線エッジの大きさが前記注目要素として取り得る範囲内であるか否かを判定し、前記注目要素として取り得る範囲内である場合にのみ、前記閉曲線エッジで囲まれた領域の内部を前記中心部として特定することを特徴とする請求項3に記載の画像解析装置。
- 前記領域抽出部は、二重閉曲線エッジをさらに検出し、検出された二重閉曲線エッジの内の、内側閉曲線エッジ内の領域の色と、内側閉曲線エッジと外側閉曲線エッジとの間の領域の色と、が異なる場合に、前記内側閉曲線エッジ内の領域を前記中心部として特定することを特徴とする請求項3に記載の画像解析装置。
- 前記領域抽出部は、前記注目要素を複数特定して、特定した複数の前記注目要素の前記中心部を前記解析対象領域として抽出することを特徴とする請求項1に記載の画像解析装置。
- 前記領域抽出部は、色成分値を抽出するのに適さない不適格領域を除外して前記解析対象領域を抽出することを特徴とする請求項6に記載の画像解析装置。
- 前記領域抽出部は、特定した複数の前記注目要素の内の、明るさが中央値に近い所定数の前記注目要素の前記中心部を前記解析対象領域として抽出することを特徴とする請求項6に記載の画像解析装置。
- 前記領域抽出部は、前記画像入力部から入力される画像を取得する撮像装置の性能を示す画像において、所定の大きさの部分領域毎に算出した平均輝度が、色成分値を抽出するのに適した適正輝度範囲内にある適正輝度領域の中から、前記注目要素の特定および前記解析対象領域の抽出を行うことを特徴とする請求項1に記載の画像解析装置。
- 前記画像入力部に入力される前記画像は、前記被検体内に挿入される内視鏡によって撮像し取得された画像であることを特徴とする請求項1に記載の画像解析装置。
- 前記注目要素は腸管の絨毛の画像部分であり、前記中心部は前記絨毛の中心部において毛細血管を含む部位の画像部分であり、前記周辺部は前記絨毛の表面に形成される粘膜上皮の画像部分であることを特徴とする請求項10に記載の画像解析装置。
- 被検体内に挿入され、前記被検体の画像を撮像して取得する内視鏡と、
請求項1に記載の画像解析装置と、
を備え、
前記画像入力部には、前記内視鏡によって取得された前記画像が入力されることを特徴とする画像解析システム。 - 画像入力部に、経時的に取得された被検体の画像が入力され、
領域抽出部が、前記画像入力部から入力された、第1のタイミングで取得された第1の画像と、前記第1のタイミングより後の第2のタイミングで取得された第2の画像とに対して、環状の周辺部と該周辺部に囲まれ該周辺部とは色が異なる中心部とをもつ注目要素を特定し、前記注目要素の前記中心部のみを解析対象領域として抽出し、
色成分抽出部が、前記領域抽出部により抽出された、前記第1の画像の前記解析対象領域と、前記第2の画像の前記解析対象領域と、の色成分値をそれぞれ抽出することを特徴とする画像解析装置の作動方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201680002785.3A CN106714652B (zh) | 2015-04-27 | 2016-04-20 | 图像分析装置、图像分析系统、图像分析装置的动作方法 |
JP2016555363A JP6058240B1 (ja) | 2015-04-27 | 2016-04-20 | 画像解析装置、画像解析システム、画像解析装置の作動方法 |
EP16786375.2A EP3289956A4 (en) | 2015-04-27 | 2016-04-20 | Image analysis device, image analysis system, and operation method for image analysis device |
US15/666,684 US20170358084A1 (en) | 2015-04-27 | 2017-08-02 | Image analysis apparatus, image analysis system, and operation method of image analysis apparatus |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015-090620 | 2015-04-27 | ||
JP2015090620 | 2015-04-27 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/666,684 Continuation US20170358084A1 (en) | 2015-04-27 | 2017-08-02 | Image analysis apparatus, image analysis system, and operation method of image analysis apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016175098A1 true WO2016175098A1 (ja) | 2016-11-03 |
Family
ID=57198390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/062486 WO2016175098A1 (ja) | 2015-04-27 | 2016-04-20 | 画像解析装置、画像解析システム、画像解析装置の作動方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20170358084A1 (ja) |
EP (1) | EP3289956A4 (ja) |
JP (1) | JP6058240B1 (ja) |
CN (1) | CN106714652B (ja) |
WO (1) | WO2016175098A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017199635A1 (ja) * | 2016-05-18 | 2017-11-23 | オリンパス株式会社 | 画像解析装置、画像解析システム、及び画像解析装置の作動方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6188992B1 (ja) * | 2015-09-28 | 2017-08-30 | オリンパス株式会社 | 画像解析装置、画像解析システム、画像解析装置の作動方法 |
US20220292671A1 (en) * | 2019-07-10 | 2022-09-15 | Cybernet Systems Co., Ltd. | Image analyzing device and image analyzing method |
CN111598908A (zh) * | 2020-04-24 | 2020-08-28 | 山东易华录信息技术有限公司 | 一种图像分析筛选系统及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006112227A1 (ja) * | 2005-04-13 | 2006-10-26 | Olympus Medical Systems Corp. | 画像処理装置及び画像処理方法 |
WO2007135757A1 (ja) * | 2006-05-24 | 2007-11-29 | Olympus Medical Systems Corp. | 内視鏡及び内視鏡装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5764792A (en) * | 1996-01-19 | 1998-06-09 | Oncor, Inc. | Method and apparatus for processing images |
JP2006166939A (ja) * | 2004-12-10 | 2006-06-29 | Olympus Corp | 画像処理方法 |
US7983458B2 (en) * | 2005-09-20 | 2011-07-19 | Capso Vision, Inc. | In vivo autonomous camera with on-board data storage or digital wireless transmission in regulatory approved band |
US8305432B2 (en) * | 2007-01-10 | 2012-11-06 | University Of Washington | Scanning beam device calibration |
WO2008149674A1 (ja) * | 2007-06-05 | 2008-12-11 | Olympus Corporation | 画像処理装置、画像処理プログラムおよび画像処理方法 |
US20100165087A1 (en) * | 2008-12-31 | 2010-07-01 | Corso Jason J | System and method for mosaicing endoscope images captured from within a cavity |
JP5802364B2 (ja) * | 2009-11-13 | 2015-10-28 | オリンパス株式会社 | 画像処理装置、電子機器、内視鏡システム及びプログラム |
TWI432168B (zh) * | 2009-12-31 | 2014-04-01 | Univ Nat Yunlin Sci & Tech | 內視鏡導航方法以及內視鏡導航系統 |
JP5800468B2 (ja) * | 2010-05-11 | 2015-10-28 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP5658931B2 (ja) * | 2010-07-05 | 2015-01-28 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
JP5784404B2 (ja) * | 2011-07-29 | 2015-09-24 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
JP5800626B2 (ja) * | 2011-07-29 | 2015-10-28 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
EP2823754A4 (en) * | 2012-03-07 | 2015-12-30 | Olympus Corp | Image processing device, program and image processing method |
JP6077340B2 (ja) * | 2013-03-06 | 2017-02-08 | 富士フイルム株式会社 | 画像処理装置及び内視鏡システムの作動方法 |
-
2016
- 2016-04-20 WO PCT/JP2016/062486 patent/WO2016175098A1/ja active Application Filing
- 2016-04-20 EP EP16786375.2A patent/EP3289956A4/en not_active Withdrawn
- 2016-04-20 JP JP2016555363A patent/JP6058240B1/ja active Active
- 2016-04-20 CN CN201680002785.3A patent/CN106714652B/zh active Active
-
2017
- 2017-08-02 US US15/666,684 patent/US20170358084A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006112227A1 (ja) * | 2005-04-13 | 2006-10-26 | Olympus Medical Systems Corp. | 画像処理装置及び画像処理方法 |
WO2007135757A1 (ja) * | 2006-05-24 | 2007-11-29 | Olympus Medical Systems Corp. | 内視鏡及び内視鏡装置 |
Non-Patent Citations (3)
Title |
---|
MICHIO TANAKA ET AL.: "Shocho Jumo no Keitai Bunrui", ENDOSCOPIA DIGESTIVA, vol. 26, no. 1, 25 January 2014 (2014-01-25), pages 75 - 80, XP009507031 * |
MICHIO TANAKA ET AL.: "Tokushu: Plus 30-byo Shikisoho no Katsuyo Shocho Byohen: Shikiso Naishikyo no Katsuyo no Kihon to Kanbetsu Shindan", ENDOSCOPIA DIGESTIVA, vol. 18, no. 12, 25 December 2006 (2006-12-25), pages 1869 - 1878, XP009507032 * |
See also references of EP3289956A4 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017199635A1 (ja) * | 2016-05-18 | 2017-11-23 | オリンパス株式会社 | 画像解析装置、画像解析システム、及び画像解析装置の作動方法 |
JPWO2017199635A1 (ja) * | 2016-05-18 | 2018-05-31 | オリンパス株式会社 | 画像解析装置、画像解析システム、及び画像解析装置の作動方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2016175098A1 (ja) | 2017-05-18 |
EP3289956A1 (en) | 2018-03-07 |
EP3289956A4 (en) | 2018-12-12 |
US20170358084A1 (en) | 2017-12-14 |
CN106714652A (zh) | 2017-05-24 |
JP6058240B1 (ja) | 2017-01-11 |
CN106714652B (zh) | 2018-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6439816B2 (ja) | 医療用皮膚検査装置、画像処理方法、プログラム | |
JP6058240B1 (ja) | 画像解析装置、画像解析システム、画像解析装置の作動方法 | |
US10098541B2 (en) | Image processing apparatus | |
JP6188992B1 (ja) | 画像解析装置、画像解析システム、画像解析装置の作動方法 | |
KR101998595B1 (ko) | 이미지 기반 황달 진단 방법 및 장치 | |
JP6234648B1 (ja) | 画像解析装置、画像解析システム、及び画像解析装置の作動方法 | |
US20110028850A1 (en) | Process for quantitative display of blood flow | |
US11436728B2 (en) | Endoscope system | |
US20100041999A1 (en) | Process for quantitative display of blood flow | |
JP2013048889A (ja) | 眼底画像の画像処理装置、眼底画像の画像処理方法、及びプログラム | |
WO2017199635A1 (ja) | 画像解析装置、画像解析システム、及び画像解析装置の作動方法 | |
US20210338042A1 (en) | Image processing apparatus, diagnosis supporting method, and recording medium recording image processing program | |
JP6058241B1 (ja) | 画像解析装置、画像解析システム、画像解析装置の作動方法 | |
CN108968913B (zh) | 用于观察包含一团荧光团的对象的方法、图像处理器和设备 | |
WO2015037316A1 (ja) | 器官画像撮影装置および器官画像撮影方法 | |
US20230255443A1 (en) | Apparatuses, systems, and methods for discounting an object while managing auto-exposure of image frames depicting the object | |
WO2022014258A1 (ja) | プロセッサ装置、プロセッサ装置の作動方法 | |
JP2019118670A (ja) | 診断支援装置、画像処理方法及びプログラム | |
JP6585623B2 (ja) | 生体情報計測装置、生体情報計測方法および生体情報計測プログラム | |
US11936989B2 (en) | Apparatuses, systems, and methods for gaze-based auto-exposure management of image frames | |
JP5528255B2 (ja) | 内視鏡画像処理システム | |
CN111345902B (zh) | 用于创建发萤光的荧光团的hdr单色图像的系统和方法 | |
JP7209557B2 (ja) | 画像取得装置及び画像取得方法 | |
CN117529930A (zh) | 基于深度的自动曝光管理 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
ENP | Entry into the national phase |
Ref document number: 2016555363 Country of ref document: JP Kind code of ref document: A |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16786375 Country of ref document: EP Kind code of ref document: A1 |
|
REEP | Request for entry into the european phase |
Ref document number: 2016786375 Country of ref document: EP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |