JP6371544B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法、及び画像処理プログラム Download PDFInfo
- Publication number
- JP6371544B2 JP6371544B2 JP2014052613A JP2014052613A JP6371544B2 JP 6371544 B2 JP6371544 B2 JP 6371544B2 JP 2014052613 A JP2014052613 A JP 2014052613A JP 2014052613 A JP2014052613 A JP 2014052613A JP 6371544 B2 JP6371544 B2 JP 6371544B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- attention
- representative
- abnormal
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/041—Capsule endoscopes for imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
図1は、本発明の実施の形態1に係る画像処理装置を示すブロック図である。実施の形態1に係る画像処理装置1は、被検体である生体の管腔内をカプセル型内視鏡等の医用観察装置により順次撮像することにより取得された一連の画像群から、診断における検出対象として推定される領域である注目領域を含む画像(注目画像)群を検出し、検出した注目画像群から代表画像を抽出する装置である。生体の管腔内が写った画像(管腔内画像ともいう)は、通常、各画素位置においてR(赤)、G(緑)、B(青)の波長成分に対する画素レベル(画素値)を持つカラー画像である。以下の説明においては、注目領域として出血、発赤、アフタ、潰瘍等の異常領域を検出し、これらの異常領域を含む画像(異常画像)群から代表画像を抽出する場合を説明するが、注目領域は上記例示した異常領域に限定されない。
まず、ステップS10において、画像処理装置1は、時系列順に撮像された一連の管腔内画像の画像データを、画像取得部20を介して取得し、記録部50に記録する。
次に、本発明の実施の形態1の変形例1−1について説明する。
ステップS13において、代表画像抽出部130は、異常領域の赤みの強さを算出し、この赤みの強さに基づいて代表画像を抽出しても良い。例えば、異常画像群における同一の異常領域が出血、発赤、血管異常である場合、異常領域の赤みが強い異常画像ほど、重要度が高いといえる。赤みの強さは、色比G/Rによって表され、色比G/Rが小さいほど赤みが強いことを示す。
次に、本発明の実施の形態1の変形例1−2について説明する。
ステップS13において、代表画像抽出部130は、異常領域の白色の強さを算出し、この白色の強さに基づいて代表画像を抽出しても良い。例えば、異常画像群における同一の異常領域がアフタ又は潰瘍である場合、異常領域の白色が強い異常画像ほど、重要度が高いといえる。白色の強さは、色比G/R及びB/Gによって表され、色比G/R及びB/Gが共に大きいほど白みが強いことを示す。
次に、本発明の実施の形態1の変形例1−3について説明する。
ステップS13において、代表画像抽出部130は、異常画像内から、ノイズ、泡、残差のように、検出対象である異常領域との関連性がない、或いは、関連性が非常に低い領域(以下、不要領域という)を検出し、この不要領域に基づいて代表画像を抽出しても良い。これらの不要領域が少ない異常画像ほど、視認性が良いといえる。
次に、本発明の実施の形態1の変形例1−4について説明する。
ステップS13において、代表画像抽出部130は、異常領域の明度を算出し、この明度に基づいて代表画像を抽出しても良い。明度が高い異常画像ほど、視認性が良いといえる。
次に、本発明の実施の形態1の変形例1−5について説明する。
ステップS13において、代表画像抽出部130は、異常領域のコントラストを算出し、このコントラストに基づいて代表画像を抽出しても良い。コントラストが高い異常画像ほど、視認性が良いといえる。
次に、本発明の実施の形態1の変形例1−6について説明する。
ステップS13において、代表画像抽出部130は、異常領域のサイズを算出し、このサイズに基づいて代表画像を抽出しても良い。異常領域のサイズが大きい異常画像ほど、視認性が良いといえる。
次に、本発明の実施の形態1の変形例1−7について説明する。
ステップS13において、代表画像抽出部130は、異常画像内における異常領域の数をカウントし、この数に基づいて代表画像を抽出しても良い。異常領域の数が多い異常画像ほど、視認性が良いといえる。
次に、本発明の実施の形態1の変形例1−8について説明する。
ステップS13において、代表画像抽出部130は、異常画像内における異常領域の位置に基づいて代表画像を抽出しても良い。異常領域が画像の中央寄りに存在するほど、異常画像の視認性が良いといえる。
次に、本発明の実施の形態2について説明する。
図4は、本発明の実施の形態2に係る画像処理装置が備える演算部の構成を示すブロック図である。図4に示すように、実施の形態2に係る画像処理装置は、図1に示す演算部100の代わりに、図4に示す演算部200を備える。演算部200以外の各部の構成及び動作については、実施の形態1と同様である。
ステップS202において、抽出枚数決定部210は、予め設定された検査対象臓器に基づき、処理対象の異常画像群が検査対象であるか否かを判定する。具体的には、異常画像群に属する異常画像のうち、検査対象臓器が写った異常画像が半数以上である場合、当該異常画像群は検査対象であると判定し、検査対象臓器が写った異常画像が半数に満たない場合、当該異常画像群は検査対象でないと判定する。
次に、本発明の実施の形態2の変形例2−1について説明する。
上記実施の形態2においては、各異常画像群から少なくとも1枚の代表画像を抽出することとしたが、検査対象外の臓器が写った画像は重要度が低いとみなして、検査対象でない異常画像群からは代表画像を抽出しなくても良い。
次に本発明の実施の形態2の変形例2−2について説明する。
上記実施の形態2においては、異常画像に写った臓器の種類を画像処理により自動で判別したが、ユーザが臓器の種類を判別することとしても良い。
次に、本発明の実施の形態2の変形例2−3について説明する。
演算部200は、ステップS10において画像データを取得した後、一連の管腔内画像全体に対して臓器の種類の判別処理を行っても良い。なお、臓器の種類の判別は、実施の形態2と同様に自動で行っても良いし、変形例2−2と同様に、ユーザが手動で行っても良い。
次に、本発明の実施の形態2の変形例2−4について説明する。
図5に示すステップS20において、抽出枚数決定部210は、臓器の種類以外の異常画像の重要度に基づいて代表画像の抽出枚数を適応的に決定しても良い。以下、異常画像の重要度の一例として、異常領域の種類に基づいて代表画像の抽出枚数を決定する方法を説明する。
まず、ステップS211において、抽出枚数決定部210は、一連の管腔内画像から抽出された各異常画像に写った異常領域の種類を判別する。異常領域の種類の判別方法としては、公知の種々の方法を適用することができる。例えば、事前に、管腔内画像に写った各種異常(出血、発赤、血管異常、アフタ、潰瘍等)の領域から、色特徴量(例えば、画素値のR成分、G成分、B成分の値、これらの各色成分の値を基に公知の変換により2次的に算出した値(YCbCr変換により算出した色差、HSI変換により算出した色相、彩度、G/R、B/G等の色比など))や、形状特徴量(Histograms of Oriented Gradients(HOG)、面積、周囲長、フェレ径等の形状情報)や、テクスチャ特徴量(Local Binary Pattern(LBP)、同時正規行列等)の特徴量分布を算出し、該特徴量分布に基づいてサポートベクターマシン(SVM)等の学習器により判別基準を作成する。この判別基準に対し、各異常画像内の異常領域に対して算出された特徴量を比較することにより、異常領域を出血、発赤、血管異常、アフタ、潰瘍の各種異常に分類する。以下においては、出血は比較的重要度が高い異常、アフタ及び潰瘍は重要度が中程度の異常、発赤及び血管異常は重要度が比較的低い異常として説明する。
ステップS212において、抽出枚数決定部210は、処理対象の異常画像群の異常領域の種類を判別する。より詳細には、異常画像群における異常領域の分類結果から、最も多い(又は過半数の)異常領域の種類を、当該異常画像群の異常領域の種類として判別する。
次に、本発明の実施の形態2の変形例2−5について説明する。
図5に示すステップS20において、抽出枚数決定部210は、臓器の種類や異常領域の種類だけでなく、これらの組み合わせに応じて代表画像の抽出枚数を決定しても良い。例えば、上記変形例2−4のように、異常領域の種類に応じて各異常画像群に対して代表画像の抽出枚数を決定し、さらに、これらの抽出枚数に対し、異常画像群の臓器に応じた係数を掛けることにより、最終的な代表画像の抽出枚数とする。異常画像群の臓器に応じた係数は、例えば、検査対象の臓器である場合は1、検査対象の臓器でない場合は0.5等と設定すれば良い。
次に、本発明の実施の形態2の変形例2−6について説明する。
図5に示すステップS20において、抽出枚数決定部210は、異常画像の視認性に基づいて代表画像の抽出枚数を適応的に決定しても良い。具体的には、視認し難い異常領域を含む異常画像群については、異常領域の見落としを防止するために、より多くの代表画像が抽出されるように代表画像の抽出枚数を決定する。以下、異常画像の視認性の一例として、異常領域の明度に基づいて代表画像の抽出枚数を決定する方法を説明する。
次に、本発明の実施の形態2の変形例2−7について説明する。
図5に示すステップS20において、抽出枚数決定部210は、異常画像の視認性の別の例として、異常領域のコントラストに基づいて代表画像の抽出枚数を決定しても良い。
次に、本発明の実施の形態2の変形例2−8について説明する。
図5に示すステップS20において、抽出枚数決定部210は、異常画像の視認性の別の例として、異常画像内における異常領域の総面積に基づいて代表画像の抽出枚数を決定しても良い。
次に、本発明の実施の形態2の変形例2−9について説明する。
図5に示すステップS20において、抽出枚数決定部210は、異常画像の視認性の別の例として、異常画像内における異常領域の総数に基づいて代表画像の抽出枚数を決定しても良い。
次に、本発明の実施の形態3について説明する。
図8は、本発明の実施の形態3に係る画像処理装置が備える演算部の構成を示すブロック図である。図8に示すように、実施の形態3に係る画像処理装置は、図1に示す演算部100の代わりに演算部300を備える。演算部300以外の各部の構成及び動作については、実施の形態1と同様である。
次に、本発明の実施の形態4について説明する。
図10は、本発明の実施の形態4に係る画像処理装置が備える演算部の構成を示すブロック図である。図10に示すように、実施の形態4に係る画像処理装置は、図1に示す演算部100の代わりに、図10に示す演算部400を備える。演算部400以外の各部の構成及び動作については、実施の形態1と同様である。
次に、本発明の実施の形態4の変形例4−1について説明する。
上記説明においては、画像表示を行うごとに、代表画像の抽出枚数の決定処理及び代表画像の抽出処理を行うこととしたが、これらの処理を事前に行っておいても良い。即ち、一連の管腔内画像に対し、動画表示用として代表画像を抽出した画像データセットと、静止画表示用として代表画像を抽出した画像データセットとを、各々のフォーマットで予め作成して記録部50に記録しておく。画像表示を行う際に、入力部30に対するユーザ操作に応じて、代表画像の表示方法を指定する信号が入力部30から制御部10に入力されると、制御部10は、指定された表示方法に応じた画像データセットを記録部50から読み出し、表示部40に表示させる。
次に、本発明の実施の形態4の変形例4−2について説明する。
上記実施の形態4における代表画像の抽出枚数決定処理を、他の抽出枚数決定処理と組み合わせても良い。具体的には、実施の形態2や変形例2−1〜2−9において説明したように、異常領域の重要性や視認性に基づき、各異常画像群に対して代表画像の抽出枚数を決定し、さらに、これらの抽出枚数に対し、代表画像の表示方法に応じた係数を掛けることにより、最終的な代表画像の抽出枚数とする。代表画像の表示方法に応じた係数は、例えば、動画表示の場合は1、静止画表示の場合は0.5等と設定すれば良い。
10 制御部
20 画像取得部
30 入力部
40 表示部
50 記録部
51 画像処理プログラム
100、200、300、400 演算部
110 検出部
120 異常画像群抽出部
130、131 代表画像抽出部
210 抽出枚数決定部
410 表示対応抽出枚数決定部
Claims (10)
- 生体の管腔内を順次撮像することにより取得された一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出手段と、
前記検出手段が検出した前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出手段と、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出手段と、
を備え、
前記検出手段は、前記一連の画像群に含まれる各画像の特徴量に対する閾値処理により、前記注目画像を検出し、
前記代表画像抽出手段は、前記注目画像群に属する注目画像のうち、前記注目画像の端部と注目領域との距離を算出し、該距離に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理装置。 - 生体の管腔内を順次撮像することにより取得された一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出手段と、
前記検出手段が検出した前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出手段と、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出手段と、
前記注目画像群抽出手段が抽出した前記注目画像群における前記関連性と前記視認性との少なくともいずれかに基づいて、前記代表画像の抽出枚数を決定する抽出枚数決定手段と、
を備え、
前記抽出枚数決定手段は、前記注目画像群に属する注目画像に写った臓器が検査対象であるか否かを判定し、該判定の結果に基づいて前記抽出枚数を適応的に決定し、
前記代表画像抽出手段は、前記抽出枚数決定手段が決定した前記抽出枚数に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理装置。 - 生体の管腔内を順次撮像することにより取得された一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出手段と、
前記検出手段が検出した前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出手段と、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出手段と、
前記注目画像群抽出手段が抽出した前記注目画像群における前記関連性と前記視認性との少なくともいずれかに基づいて、前記代表画像の抽出枚数を決定する抽出枚数決定手段と、
を備え、
前記抽出枚数決定手段は、前記注目画像群に含まれる前記注目領域の面積と、前記注目画像群に含まれる前記注目領域の数とのいずれかを算出し、前記面積と前記数とのいずれかに基づいて前記抽出枚数を適応的に決定し、
前記代表画像抽出手段は、前記抽出枚数決定手段が決定した前記抽出枚数に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理装置。 - 前記代表画像の表示方法に応じて、前記代表画像の抽出枚数を適応的に決定する表示対応抽出枚数決定手段をさらに備え、
前記代表画像抽出手段は、前記表示対応抽出枚数決定手段が決定した前記抽出枚数に基づいて前記代表画像を抽出することを特徴とする請求項1〜3のいずれか一つに記載の画像処理装置。 - 生体の管腔内を順次撮像することにより取得され、記録部に記録された一連の画像群の画像データに基づいて、コンピュータが備える演算部に実行させる画像処理方法において、
前記一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出ステップと、
前記検出ステップにおいて検出された前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出ステップと、
を含み、
前記検出ステップは、前記一連の画像群に含まれる各画像の特徴量に対する閾値処理により、前記注目画像を検出し、
前記代表画像抽出ステップは、前記注目画像群に属する注目画像のうち、前記注目画像の端部と注目領域との距離を算出し、該距離に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理方法。 - 生体の管腔内を順次撮像することにより取得され、記録部に記録された一連の画像群の画像データに基づいて、コンピュータが備える演算部に実行させる画像処理方法において、
前記一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出ステップと、
前記検出ステップにおいて検出された前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出ステップと、
前記注目画像群抽出ステップにおいて抽出した前記注目画像群における前記関連性と前記視認性との少なくともいずれかに基づいて、前記代表画像の抽出枚数を決定する抽出枚数決定手ステップと、
を含み、
前記抽出枚数決定手ステップは、前記注目画像群に属する注目画像に写った臓器が検査対象であるか否かを判定し、該判定の結果に基づいて前記抽出枚数を適応的に決定し、
前記代表画像抽出ステップは、前記抽出枚数に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理方法。 - 生体の管腔内を順次撮像することにより取得され、記録部に記録された一連の画像群の画像データに基づいて、コンピュータが備える演算部に実行させる画像処理方法において、
前記一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出ステップと、
前記検出ステップにおいて検出された前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出ステップと、
前記注目画像群抽出ステップにおいて抽出した前記注目画像群における前記関連性と前記視認性との少なくともいずれかに基づいて、前記代表画像の抽出枚数を決定する抽出枚数決定ステップと、
を含み、
前記抽出枚数決定ステップは、前記注目画像群に含まれる前記注目領域の面積と、前記注目画像群に含まれる前記注目領域の数とのいずれかを算出し、前記面積と前記数とのいずれかに基づいて前記抽出枚数を適応的に決定し、
前記代表画像抽出ステップは、前記抽出枚数に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理方法。 - 生体の管腔内を順次撮像することにより取得した一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出ステップと、
前記検出ステップにおいて検出された前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出ステップと、
をコンピュータに実行させ、
前記検出ステップは、前記一連の画像群に含まれる各画像の特徴量に対する閾値処理により、前記注目画像を検出し、
前記代表画像抽出ステップは、前記注目画像群に属する注目画像のうち、前記注目画像の端部と注目領域との距離を算出し、該距離に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理プログラム。 - 生体の管腔内を順次撮像することにより取得した一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出ステップと、
前記検出ステップにおいて検出された前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出ステップと、
前記注目画像群抽出ステップにおいて抽出した前記注目画像群における前記関連性と前記視認性との少なくともいずれかに基づいて、前記代表画像の抽出枚数を決定する抽出枚数決定手ステップと、
をコンピュータに実行させ、
前記抽出枚数決定手ステップは、前記注目画像群に属する注目画像に写った臓器が検査対象であるか否かを判定し、該判定の結果に基づいて前記抽出枚数を適応的に決定し、
前記代表画像抽出ステップは、前記抽出枚数に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理プログラム。 - 生体の管腔内を順次撮像することにより取得した一連の画像群から、検出対象として推定される領域である注目領域を含む注目画像を検出する検出ステップと、
前記検出ステップにおいて検出された前記注目画像から、同一の注目領域を含む注目画像群を抽出する注目画像群抽出ステップと、
前記注目画像群から、前記注目領域の前記検出対象との関連性と、前記注目領域の視認性との少なくともいずれかに基づいて代表画像を抽出する代表画像抽出ステップと、
前記注目画像群抽出ステップにおいて抽出した前記注目画像群における前記関連性と前記視認性との少なくともいずれかに基づいて、前記代表画像の抽出枚数を決定する抽出枚数決定ステップと、
をコンピュータに実行させ、
前記抽出枚数決定ステップは、前記注目画像群に含まれる前記注目領域の面積と、前記注目画像群に含まれる前記注目領域の数とのいずれかを算出し、前記面積と前記数とのいずれかに基づいて前記抽出枚数を適応的に決定し、
前記代表画像抽出ステップは、前記抽出枚数に基づいて前記代表画像を抽出する、
ことを特徴とする画像処理プログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014052613A JP6371544B2 (ja) | 2014-03-14 | 2014-03-14 | 画像処理装置、画像処理方法、及び画像処理プログラム |
DE112015000917.5T DE112015000917T5 (de) | 2014-03-14 | 2015-02-04 | Bildverarbeitungsgerät, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm |
CN201580013805.2A CN106102554B (zh) | 2014-03-14 | 2015-02-04 | 图像处理装置以及图像处理方法 |
PCT/JP2015/053133 WO2015137016A1 (ja) | 2014-03-14 | 2015-02-04 | 画像処理装置、画像処理方法、及び画像処理プログラム |
US15/263,421 US10223785B2 (en) | 2014-03-14 | 2016-09-13 | Image processing apparatus, image processing method, and computer-readable recording medium extracting one or more representative images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014052613A JP6371544B2 (ja) | 2014-03-14 | 2014-03-14 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015173827A JP2015173827A (ja) | 2015-10-05 |
JP6371544B2 true JP6371544B2 (ja) | 2018-08-08 |
Family
ID=54071468
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014052613A Active JP6371544B2 (ja) | 2014-03-14 | 2014-03-14 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Country Status (5)
Country | Link |
---|---|
US (1) | US10223785B2 (ja) |
JP (1) | JP6371544B2 (ja) |
CN (1) | CN106102554B (ja) |
DE (1) | DE112015000917T5 (ja) |
WO (1) | WO2015137016A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6196922B2 (ja) * | 2014-03-17 | 2017-09-13 | オリンパス株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
CN105635611A (zh) * | 2014-11-03 | 2016-06-01 | 中兴通讯股份有限公司 | 投影仪自适应调整方法及装置 |
EP3130276B8 (en) * | 2015-08-12 | 2020-02-26 | TransEnterix Europe Sàrl | Endoscope with wide angle lens and adjustable view |
WO2017075077A1 (en) * | 2015-10-26 | 2017-05-04 | The Johns Hopkins University | Automated generation of sentence-based descriptors from imaging data |
JP6807869B2 (ja) * | 2015-12-24 | 2021-01-06 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
JPWO2018020558A1 (ja) * | 2016-07-25 | 2019-05-09 | オリンパス株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2018159083A1 (ja) * | 2017-03-03 | 2018-09-07 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
CN110740678B (zh) * | 2017-06-13 | 2023-01-13 | 奥林巴斯株式会社 | 内窥镜系统及被摄体的评价方法 |
EP3682791B1 (en) | 2017-09-15 | 2023-12-20 | FUJIFILM Corporation | Medical image processing device |
EP3553740A1 (en) * | 2018-04-13 | 2019-10-16 | Koninklijke Philips N.V. | Automatic slice selection in medical imaging |
WO2019220848A1 (ja) | 2018-05-17 | 2019-11-21 | 富士フイルム株式会社 | 内視鏡装置、内視鏡操作方法、及びプログラム |
JP7100505B2 (ja) * | 2018-06-19 | 2022-07-13 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム |
JP7084994B2 (ja) * | 2018-07-06 | 2022-06-15 | オリンパス株式会社 | 内視鏡用画像処理装置、及び、内視鏡用画像処理装置の作動方法、並びに、内視鏡用画像処理プログラム |
US20220148182A1 (en) * | 2019-03-12 | 2022-05-12 | Nec Corporation | Inspection device, inspection method and storage medium |
JP7373335B2 (ja) * | 2019-09-18 | 2023-11-02 | 富士フイルム株式会社 | 医用画像処理装置、プロセッサ装置、内視鏡システム、医用画像処理装置の作動方法、及びプログラム |
WO2021181440A1 (ja) * | 2020-03-09 | 2021-09-16 | オリンパス株式会社 | 画像記録システム及び画像記録方法 |
US11869208B2 (en) * | 2020-03-16 | 2024-01-09 | Taipei Veterans General Hospital | Methods, apparatuses, and computer programs for processing pulmonary vein computed tomography images |
US20220039639A1 (en) * | 2020-08-06 | 2022-02-10 | Assistance Publique-Hopitaux De Paris | Methods and devices for calculating a level of "clinical relevance" for abnormal small bowel findings captured by capsule endoscopy video |
WO2022059668A1 (ja) * | 2020-09-15 | 2022-03-24 | 富士フイルム株式会社 | 医用画像処理装置及び医用画像処理装置の作動方法並びに医用画像処理装置用プログラム |
KR102405434B1 (ko) * | 2020-12-31 | 2022-06-07 | 주식회사 카이미 | 딥러닝 모델을 이용한 내시경 영상으로부터의 불필요한 이미지 제거 방법, 장치 및 프로그램 |
EP4302679A4 (en) * | 2021-03-01 | 2024-04-24 | Nec Corp | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND STORAGE MEDIUM |
WO2023089717A1 (ja) * | 2021-11-18 | 2023-05-25 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
WO2023228564A1 (ja) * | 2022-05-26 | 2023-11-30 | 富士フイルム株式会社 | 画像切り出し支援装置、超音波診断装置および画像切り出し支援方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2005106773A2 (en) * | 2004-04-15 | 2005-11-10 | Edda Technology, Inc. | Spatial-temporal lesion detection, segmentation, and diagnostic information extraction system and method |
JP4418400B2 (ja) | 2005-05-20 | 2010-02-17 | オリンパスメディカルシステムズ株式会社 | 画像表示装置 |
US7756309B2 (en) * | 2005-07-27 | 2010-07-13 | Bioimagene, Inc. | Method and system for storing, indexing and searching medical images using anatomical structures of interest |
US8014576B2 (en) * | 2005-11-23 | 2011-09-06 | The Medipattern Corporation | Method and system of computer-aided quantitative and qualitative analysis of medical images |
JP4472631B2 (ja) * | 2005-12-28 | 2010-06-02 | オリンパスメディカルシステムズ株式会社 | 画像処理装置および当該画像処理装置における画像処理方法 |
WO2008007846A1 (en) * | 2006-07-11 | 2008-01-17 | Lg Electronics Inc. | Channel equarlizing method and apparatus, and receiving system |
JP5281826B2 (ja) * | 2008-06-05 | 2013-09-04 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP5374078B2 (ja) | 2008-06-16 | 2013-12-25 | オリンパス株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
EP2316327B1 (en) * | 2008-10-14 | 2013-05-15 | Olympus Medical Systems Corp. | Image display device, image display method, and image display program |
JP5220705B2 (ja) | 2009-07-23 | 2013-06-26 | オリンパス株式会社 | 画像処理装置、画像処理プログラムおよび画像処理方法 |
WO2011093791A1 (en) * | 2010-01-26 | 2011-08-04 | Agency For Science, Technology And Research | Medical diagnostic apparatus and method of marking and/or treating an area of interest in the body of a human or an animal |
CN106859578B (zh) | 2012-03-08 | 2018-11-20 | 奥林巴斯株式会社 | 图像处理装置和图像处理方法 |
JP5963480B2 (ja) * | 2012-03-08 | 2016-08-03 | オリンパス株式会社 | 画像要約装置及びプログラム |
JP6188477B2 (ja) * | 2013-08-02 | 2017-08-30 | オリンパス株式会社 | 画像処理装置、画像処理方法及びプログラム |
US9547494B2 (en) | 2014-05-30 | 2017-01-17 | International Business Machines Corporation | Absolute address branching in a fixed-width reduced instruction set computing architecture |
-
2014
- 2014-03-14 JP JP2014052613A patent/JP6371544B2/ja active Active
-
2015
- 2015-02-04 DE DE112015000917.5T patent/DE112015000917T5/de not_active Withdrawn
- 2015-02-04 CN CN201580013805.2A patent/CN106102554B/zh active Active
- 2015-02-04 WO PCT/JP2015/053133 patent/WO2015137016A1/ja active Application Filing
-
2016
- 2016-09-13 US US15/263,421 patent/US10223785B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20160379363A1 (en) | 2016-12-29 |
DE112015000917T5 (de) | 2016-11-03 |
CN106102554A (zh) | 2016-11-09 |
JP2015173827A (ja) | 2015-10-05 |
WO2015137016A1 (ja) | 2015-09-17 |
CN106102554B (zh) | 2019-02-05 |
US10223785B2 (en) | 2019-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6371544B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP6196922B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US10456009B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
US9959481B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
Iakovidis et al. | Automatic lesion detection in capsule endoscopy based on color saliency: closer to an essential adjunct for reviewing software | |
US10198811B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP5800468B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
US9761004B2 (en) | Method and system for automatic detection of coronary stenosis in cardiac computed tomography data | |
US9672610B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
US9916666B2 (en) | Image processing apparatus for identifying whether or not microstructure in set examination region is abnormal, image processing method, and computer-readable recording device | |
CN102209488B (zh) | 图像处理设备和方法以及断层图像拍摄设备和方法 | |
US8457376B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium | |
JP2024045234A (ja) | 腸の病理学のための画像スコアリング | |
Figueiredo et al. | Computer-assisted bleeding detection in wireless capsule endoscopy images | |
JP6552601B2 (ja) | 画像処理装置、画像処理装置の作動方法および画像処理プログラム | |
WO2013077381A1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
Sánchez et al. | Improving hard exudate detection in retinal images through a combination of local and contextual information | |
JP2018054443A (ja) | 情報処理装置、情報処理システム及びプログラム | |
Iakovidis et al. | Blood detection in wireless capsule endoscope images based on salient superpixels | |
KR102637484B1 (ko) | 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법 | |
Lavanya et al. | Retinal vessel feature extraction from fundus image using image processing techniques | |
Geurts et al. | Automated Quantitative Analysis of Microglia in Bright-Field Images of Zebrafish |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170926 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20171122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180626 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180713 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6371544 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |