JP6664486B2 - 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム - Google Patents

画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム Download PDF

Info

Publication number
JP6664486B2
JP6664486B2 JP2018527322A JP2018527322A JP6664486B2 JP 6664486 B2 JP6664486 B2 JP 6664486B2 JP 2018527322 A JP2018527322 A JP 2018527322A JP 2018527322 A JP2018527322 A JP 2018527322A JP 6664486 B2 JP6664486 B2 JP 6664486B2
Authority
JP
Japan
Prior art keywords
image
focus
attention area
degree
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018527322A
Other languages
English (en)
Other versions
JPWO2018011928A1 (ja
Inventor
健人 速水
健人 速水
大和 神田
大和 神田
隆志 河野
隆志 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2018011928A1 publication Critical patent/JPWO2018011928A1/ja
Application granted granted Critical
Publication of JP6664486B2 publication Critical patent/JP6664486B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/44—Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4887—Locating particular structures in or on the body
    • A61B5/489—Blood vessels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Description

本発明は、例えば生体の管腔内を撮像することにより取得された管腔内画像群を分類する画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムに関する。
従来、１フレームの画像において、複数箇所の合焦度を算出する技術が知られている。例えば、特許文献１は、ピンぼけや手ブレなどが生じると失われるような第１高周波強度と、ピンぼけや手ブレが生じていても第１高周波強度と比して相対的に値が大きくなる低域側の周波数成分を含む第２高周波強度とを画像中から抽出し、さらに、画像中のノイズの平均振幅を算出することによってノイズパラメータを設定する。そして、特許文献１は、第２高周波強度とノイズパラメータとの和に対する第１高周波強度の比を算出することによって、画像内の複数の位置の合焦度を算出する。
特開２００９−２５８２８４号公報
ところで、内視鏡により撮像された画像を分類する処理では、画像内の注目領域の合焦状態に基づいた分類を行うことが想定される。しかしながら、このような分類処理に特許文献１が開示する技術を適用した場合、高周波成分を示すコントラスト変化を有しない注目領域では、第２高周波強度成分によらず非合焦と判断されてしまうため、注目領域について詳細に分類することができない。
本発明は、上記に鑑みてなされたものであって、画像を詳細に分類することができる画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムの提供を目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、画像に対して分類の評価対象となる注目領域を設定する注目領域設定部と、前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出部と、少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出部と、前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類部と、を備えることを特徴とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動方法は、注目領域設定部が、画像に対して分類の評価対象となる注目領域を設定する注目領域設定ステップと、表層構造情報算出部が、前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出ステップと、注目領域外合焦度算出部が、少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出ステップと、画像分類部が、前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類ステップと、を含むことを特徴とする。
上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置の作動プログラムは、注目領域設定部が、画像に対して分類の評価対象となる注目領域を設定する注目領域設定手順と、表層構造情報算出部が、前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出手順と、注目領域外合焦度算出部が、少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出手順と、画像分類部が、前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類手順と、をコンピュータに実行させることを特徴とする。
本発明によれば、画像を詳細に分類することができるという効果を奏する。
図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像処理装置が行う画像処理を説明するフローチャートである。 図３は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。 図４は、本発明の実施の形態１の変形例１に係る画像処理装置の機能構成を示すブロック図である。 図５は、本発明の実施の形態１の変形例１に係る画像処理装置が行う画像処理を説明するフローチャートである。 図６は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。 図７は、本発明の実施の形態１の変形例２に係る画像処理装置が行う画像処理を説明するフローチャートである。 図８は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。 図９は、本発明の実施の形態２に係る画像処理装置が行う画像処理を説明するフローチャートである。 図１０は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。 図１１は、参照領域設定部による参照領域の設定を説明する図である。 図１２は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。 図１３は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。 図１４は、画像分類部が実行する管腔内画像の分類処理を示すフローチャートである。 図１５は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。 図１６は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
本実施の形態では、内視鏡により撮像された管腔内画像群を分類する画像処理装置を示す。管腔内画像は、各画素位置においてＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分に対する画素レベル（画素値）を持つカラー画像である。
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。実施の形態１に係る画像処理装置１は、管腔内画像群と、腫瘍性病変と疑われる病変領域などの注目領域や、注目領域外の情報とをもとに管腔内画像を分類する。
画像処理装置１は、該画像処理装置１全体の動作を制御する制御部１０と、撮像装置が管腔内を撮像して生成した管腔内画像群を取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００とを備える。
制御部１０は、ＣＰＵ（Central Processing Unit）等のハードウェアによって実現され、記録部５０に記録された各種プログラムを読み込むことにより、画像取得部２０から入力される管腔内画像群や入力部３０から入力される信号等に従って、画像処理装置１を構成する各部への指示やデータの転送等を行い、画像処理装置１全体の動作を統括的に制御する。
画像取得部２０は、医用の撮像装置を含むシステムの態様に応じて適宜構成される。例えば、撮像装置を画像処理装置１に接続する場合、画像取得部２０は、撮像装置において生成された管腔内画像群を取り込むインタフェースによって構成される。また、撮像装置によって生成された管腔内画像群を保存しておくサーバを設置する場合、画像取得部２０は、サーバと接続される通信装置等で構成され、サーバとデータ通信を行って管腔内画像群を取得する。或いは、撮像装置によって生成された管腔内画像群を、可搬型の記録媒体を用いて受け渡ししてもよく、この場合、画像取得部２０は、可搬型の記録媒体を着脱自在に装着し、記録された画像の管腔内画像群を読み出すリーダ装置によって構成される。
入力部３０は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現され、これらの入力デバイスに対する外部からの操作に応じて発生させた入力信号を制御部１０に出力する。
表示部４０は、ＬＣＤ（Liquid Crystal Display）やＥＬ（ElectroLuminescence）ディスプレイ等の表示装置によって実現され、制御部１０の制御のもと、管腔内画像群を含む各種画面を表示する。
記録部５０は、更新記録可能なフラッシュメモリ等のＲＯＭやＲＡＭといった各種ＩＣメモリ、内蔵若しくはデータ通信端子で接続されたハードディスク、又は、ＣＤ−ＲＯＭ等の情報記録装置及びその読取装置等によって実現される。記録部５０は、画像取得部２０によって取得された管腔内画像群の他、画像処理装置１を動作させると共に、種々の機能を画像処理装置１に実行させるためのプログラムや、このプログラムの実行中に使用されるデータ等を格納する。具体的には、記録部５０は、管腔内画像群を分類する画像処理プログラム５１や、該画像処理において用いられる閾値、演算部１００による分類結果等を格納する。
演算部１００は、ＣＰＵ等のハードウェアによって実現され、画像処理プログラム５１を読み込むことにより、管腔内画像群を分類する画像処理を実行する。
演算部１００は、取得された画像中に画像分類の評価対象となる注目領域を設定する注目領域設定部１１０と、注目領域の表層構造を示す情報を算出する表層構造情報算出部１２０と、注目領域外の合焦度を算出する注目領域外合焦度算出部１３０と、表層構造情報と、注目領域外の合焦度とに基づいて画像を分類する画像分類部１４０とを備える。
注目領域外合焦度算出部１３０は、管腔内画像の周波数情報を算出する周波数情報算出部１３１と、距離算出部１３２とを備える。さらに、周波数情報算出部１３１は、画像の特定周波数帯域の強度を算出する特定周波数強度算出部１３１ａを備える。
画像分類部１４０は、距離算出部１３２が算出した距離に応じて注目領域外の合焦度を加重平均して、注目領域の合焦度を算出する加重平均部１４１を備える。
次に、画像処理装置１の動作を説明する。図２は、本発明の実施の形態１に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１は、画像取得部２０を介して管腔内画像を取得する。本実施の形態１においては、内視鏡によりＲ、Ｇ、Ｂの各波長成分を含む照明光（白色光）を管腔内に照射して撮像を行うことにより生成され、各画素位置においてこれらの波長成分に対応する画素値（Ｒ値、Ｇ値、Ｂ値）を有する管腔内画像が取得される。なお、照明光は上記白色光に限定されず、Ｇ、Ｂの各狭帯域の波長成分を含む特殊光でもよく、さらにはＲ，Ｇ，Ｂの少なくとも１つの狭帯域光を含む照射光でもよい。例えば、Ｇ、Ｂの狭帯域化された各波長成分を含む特殊光を管腔内に照射して撮像を行うことにより生成され、各画素位置においてこれらの波長成分に対応する画素値（Ｇ値、Ｂ値）を有する管腔内画像が取得されるものであってもよい。
続くステップＳ２０において、演算部１００は注目領域の設定を行う。具体的には、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。注目領域設定部１１０は、例えば、ユーザ入力や、公知のスネーク（参考文献：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」改訂新版、第２１０頁）、グラフカット（参考文献：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」改訂新版、第２１２頁）などの公知の方法を用いて注目領域の設定を行う。また、特開２００７−２４４５１８号公報に記載されているポリープ候補検出処理により、ポリープの領域を抽出し、それを注目領域としてもよい。この他、ＤＰＭ（（deformable parts model）、参考文献：「A Discriminatively Trained, Multiscale, Deformable Part Model」、Pedro Felzenszwalb、University of Chicago）や、特徴量の設計を行わずに領域を検出可能なDeep Learning（参考文献：「Learning deep architectures for AI」、Y.Bengio）による機械学習等を用いて注目領域の検出を行ってもよい。また、ポリープに限らず、腫瘍などの病変部や、異常部分を検出し、これらのいずれかを含む注目領域を設定するようにしてもよい。
続くステップＳ３０において、演算部１００は、注目領域の表層構造を示す表層構造情報を算出する。具体的には、表層構造情報算出部１２０が、設定した注目領域の表層構造を示す情報を算出する。ここで算出される表層構造を示す情報とは、例えば、公知のエッジ抽出処理（参考文献：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」改訂新版、第１０５頁）を適用して算出されるエッジ強度である。表層構造情報算出部１２０は、例えば画素位置ごとにエッジ強度が得られるなど、複数の情報が得られる場合、平均値や最頻値などの代表値を表層構造情報とする。また、表層構造情報算出部１２０は、注目領域の周波数情報を表層構造情報として算出してもよい。
続くステップＳ４０において、演算部１００は、注目領域外の合焦度を算出する。図３は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
ステップＳ４０１において、周波数情報算出部１３１は、注目領域外の周波数情報を算出する。具体的には、撮像装置が有する複数の画素がマトリックス状に配列され、画素の座標を（ｘ，ｙ）としたとき、下式（１）により、画像Ｉ（ｘ，ｙ）の周波数情報Ｆ（ｕ，ｖ）を算出する。このとき、Ｒ、Ｇ、Ｂの各色の波長成分からなる画像において、Ｇ成分及びＢ成分は血液の吸収帯域に近く、コントラスト変化を示す対象（血管）が映りやすく、また、サチュレーションを起こし難い。そのため、周波数情報算出部１３１は、Ｇ成分やＢ成分に基づいて周波数情報Ｆ（ｕ，ｖ）を算出する。なお、演算部１００は、処理ステップＳ４０１の前に、精度低下要因と成り得る光学系や照明系によるサチュレーション除去やハレーション除去を行ってもよい。
Figure 0006664486
 ここで、ｊ：虚数単位、ｊ＝√（−１）
ｕ：ｘ方向の空間周波数
ｖ：ｙ方向の空間周波数
である。
ステップＳ４０１に続くステップＳ４０２において、特定周波数強度算出部１３１ａは、得られた周波数情報Ｆ（ｕ，ｖ）において、特定の範囲内の周波数ｗ＝√（ｕ2＋ｖ2）を抜き出し、それ以外はカットすることによって注目領域外の特定周波数の強度を算出する。ここでいう特性の範囲とは、表層構造を表す特徴的な周波数、例えば血管の太さなどのテクスチャを表す特徴的な周波数の範囲であり、予め設定されている。さらに、下式（２）により、抜き出された周波数情報Ｆ´（ｕ，ｖ）を処理後画像Ｉ´（ｘ，ｙ）に変換する。
Figure 0006664486
特定周波数強度算出部１３１ａは、処理後画像Ｉ´（ｘ，ｙ）において、特定周波数帯域の強度を表す絶対値｜Ｉ´（ｘ，ｙ）｜をとり、それを画素位置ごとの合焦度とする。この合焦度は、特定周波数の強度に相当する。特定周波数強度算出部１３１ａは、複数の画素位置を含む小領域を設定して、その小領域内の合焦度の代表値を小領域の合焦度としてもよい。代表値は、例えば、平均値、中央値、最頻値、最大値、最小値等である。
また、特定周波数の強度の別の算出方法として、特定周波数強度算出部１３１ａは、管腔内画像内に縦横が同じ長さの小領域を設定し、該小領域をＩ（ｘ，ｙ）とし、式（１）にて該小領域ごとに周波数情報Ｆ（ｕ，ｖ）を算出し、下式（３）によりパワースペクトルを算出する。
Figure 0006664486
 特定周波数強度算出部１３１ａは、パワースペクトルｐ（ｕ，ｖ）において、特定の範囲内の周波数ｗ＝√（ｕ2＋ｖ2）を抜き出し、それ以外はカットすることによって特定周波数強度を算出する。特定周波数強度算出部１３１ａは、抽出されたパワースペクトルｐ（ｕ，ｖ）の代表値を算出し、それを合焦度とする。
ステップＳ４０２に続くステップＳ４０３において、距離算出部１３２は、注目領域から注目領域外の各画素位置または各小領域までの距離を算出する。ここで、距離算出部１３２が算出する距離とは、注目領域の座標と注目領域外の座標までの画像上の距離、又は、注目領域に映る対象までの撮像距離と注目領域外に映る対象までの撮像距離との差である。
距離算出部１３２は、画像上の距離を算出する場合、注目領域の重心を算出し、その重心が位置する画素位置の座標から注目領域外の各画素位置の座標までの距離をそれぞれ算出する。
また、距離算出部１３２は、撮像距離の差を算出する場合、まず、注目領域に映る対象までの撮像距離の代表値（例えば、平均値、中央値、最頻値、最大値、最小値等）を定める。その後、距離算出部１３２は、注目領域外の各画素位置の撮像距離と、注目領域で定めた撮像距離の代表値との差を算出する。管腔内画像上の対象までの撮像距離の算出は、公知の算出方法により算出できる。例えば、後述するような波長成分の画素値を用いて算出するものであってもよいし、ステレオ画像を取得して距離を算出してもよいし、測距センサー等により測距した結果に基づいて距離を算出してもよい。
距離算出部１３２により距離を算出した後、演算部１００の動作はメインルーチンに戻る。なお、算出した距離に基づいて、合焦度を算出する注目領域外の範囲を、距離が所定の範囲内であるものに制限してもよい。この場合は、周波数情報算出部１３１が周波数情報の算出を行う前に、距離算出部１３２による距離の算出を行う。
ステップＳ４０に続くステップＳ５０において、画像分類部１４０は、注目領域の合焦度を算出する。具体的には、加重平均部１４１が、注目領域外の合焦度を距離に応じて加重平均することによって注目領域の合焦度を算出する。加重平均部１４１は、注目領域の合焦度をｆtとしたとき、下式（４）により合焦度ｆtを算出する。
Figure 0006664486
 ここで、Ｋ：注目領域外の画素数または領域の数
ｗi：距離に応じた重み
ｆi：注目領域外の合焦度
である。重みｗiは、距離が近いほど大きく、遠いほど小さい。重みｗiは、例えば、下式（５）により算出される。
Figure 0006664486
 ここで、ｋ：任意の係数
σ：標準偏差
ｄi：注目領域と注目領域外との間の距離
である。なお、距離が近いほど大きく、遠いほど小さい重みｗiを算出できるものであれば、上式（５）に限らない。
ステップＳ５０に続くステップＳ６０において、画像分類部１４０は、加重平均部１４１が算出した注目領域の合焦度ｆtと、ステップＳ３０で算出された表層構造情報とに基づいて、管腔内画像を分類する。具体的には、画像分類部１４０は、管腔内画像を、注目領域において表層構造を有する合焦画像と、表層構造を有しない合焦画像と、合焦していない非合焦画像と、に分類する。画像分類部１４０は、表層構造を示す情報が予め設定されている値以上であれば、表層構造を有する合焦画像に分類する。画像分類部１４０は、表層構造を示す情報が予め設定されている値未満であり、かつ、注目領域の合焦度ｆtが予め設定されている値以上であれば、表層構造を有しない合焦画像に分類する。そして、表層構造を示す情報と、注目領域の合焦度ｆtとがともに予め設定されている値未満であれば、非合焦画像に分類する。表層構造を示す情報について予め設定されている値とは、特定周波数の強度に対して設定される値であり、表層構造を有し、かつ管腔内画像内に明確に映っていると見做せると判断できる値である。また、注目領域の合焦度ｆtについて予め設定されている値とは、合焦度ｆtに対して設定される値であり、注目領域内の被写体が明確に映っていると見做せると判断できる値である。その後、制御部１０は、分類結果を、管腔内画像と対応付けて記録部５０に記録したり、表示部４０に表示したりする。なお、制御部１０は、画像取得部２０が管腔内画像を取得したタイミング、または設定された条件を満たすタイミング、例えば毎フレームごと、又は数フレーム毎のタイミングで、上述した分類処理を繰り返す。
以上説明したように、本発明の実施の形態１によれば、注目領域の表層構造情報と、注目領域外の合焦度、及び、当該注目領域外の位置から注目領域までの距離に応じて求まる注目領域の合焦度とに基づいて管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。従来、注目領域にコントラスト変化を示す対象が存在しないために、正しく合焦判定ができない場合があったが、本実施の形態１によれば、注目領域外の合焦度を注目領域からの距離に応じて加重平均することで、注目領域の合焦度を算出して合焦判定をするため、管腔内画像を、表層構造の有無を含めた合焦画像と、非合焦画像とに高精度に分類することができる。
（実施の形態１の変形例１）
図４は、本発明の実施の形態１の変形例１に係る画像処理装置の機能構成を示すブロック図である。以下、実施の形態１に係る画像処理装置１が有する構成要素と同じ構成要素については、同じ符号を付して説明する。同図に示す画像処理装置１Ａは、該画像処理装置１Ａ全体の動作を制御する制御部１０と、撮像装置が管腔内を撮像して生成した画像データを取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００Ａとを備える。
演算部１００Ａは、取得された画像中に画像分類の評価対象となる注目領域を設定する注目領域設定部１１０と、注目領域の表層構造を示す情報を算出する表層構造情報算出部１２０と、注目領域外の合焦度を算出する注目領域外合焦度算出部１３０Ａと、表層構造情報と、注目領域外の合焦度とに基づいて画像を分類する画像分類部１４０とを備える。
注目領域外合焦度算出部１３０Ａは、画像内の各画素までの撮像距離を推定する撮像距離推定部１３３と、撮像距離に応じて異なる周波数帯域の情報をもとに合焦度を算出する適応的合焦度算出部１３４とを備える。さらに、撮像距離推定部１３３は、生体内での吸収／散乱の度合いが最も低い低吸収波長成分を選択する低吸収波長成分選択部１３３ａを備える。また、適応的合焦度算出部１３４は、撮像距離に応じて適応的に異なる周波数帯域の情報を算出する適応的周波数情報算出部１３４ａを備える。
次に、画像処理装置１Ａの動作を説明する。図５は、本発明の実施の形態１の変形例１に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１Ａは、画像取得部２０を介して管腔内画像を取得する。
続くステップＳ２０において、演算部１００Ａは注目領域の設定を行う。上述した実施の形態１と同様にして、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。
続くステップＳ３０において、演算部１００Ａは、注目領域の表層構造を示す表層構造情報を算出する。上述した実施の形態１と同様にして、表層構造情報算出部１２０が、設定された注目領域の表層構造を示す表層構造情報を算出する。
続くステップＳ４１において、演算部１００Ａは、注目領域外の合焦度を算出する。図６は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
ステップＳ４１１において、撮像距離推定部１３３は、画像内の各画素位置における撮像距離を推定する。撮像距離推定を行う方法は公知の様々なものがある。本変形例１では、管腔内画像をもとに、撮影対象を均等拡散面と仮定した撮影距離推定の方法を示す。具体的には、まず、低吸収波長成分選択部１３３ａが、生体内での吸収／散乱の度合いが最も低い低吸収波長成分を選択する。本変形例１では、低吸収波長成分選択部１３３ａは、Ｒ成分を選択するものとして説明する。これは、粘膜表面に映る血管等による画素値低下を抑え、最も粘膜表面との撮像距離に相関する画素値情報を得るためであり、Ｒ、Ｇ、Ｂの各色の波長成分からなる画像においては、Ｒ成分が血液の吸収帯域から離れる波長、かつ長波長の成分であるために生体内での吸収、散乱の影響を受け難いため、Ｒ成分を選択する。そして、撮像距離推定部１３３は、低吸収波長成分の画素値に基づいて、均等拡散面を仮定した撮像距離を推定する。撮像距離推定部１３３は、下式（６）に従って推定される撮像距離を算出する。
Figure 0006664486
 ここで、ｒ：撮像距離
Ｉ：光源の放射強度
Ｋ：粘膜表面の拡散反射係数
θ：粘膜表面の法線ベクトルと該粘膜表面から光源までのベクトルのなす角
Ｌ：撮像距離推定対象の粘膜表面が映る画素のＲ成分の画素値
である。放射強度Ｉおよび拡散反射係数Ｋは、事前に測定された値から、予め設定されている値である。角θは、内視鏡先端の光源と粘膜表面の位置関係により決まる値であり、平均的な値が予め設定されている。
なお、撮像距離推定部１３３は、ステップＳ４１１を実行する前に、各処理の精度低下要因となり得る光学系や照明系による画素値ムラの補正や、鏡面反射、残渣、泡等の非粘膜領域の除外を行うようにしてもよい。
また、本変形例１では画像に基づく方法を示したが、その他にも測距センサー等に基づいて算出してもよい。また、必ずしも撮像距離の推定まで行わず、撮像距離と相関する画素値で後段の適応的な処理を行ってもよい。
ステップＳ４１２において、適応的周波数情報算出部１３４ａは、撮像距離に応じて適応的に異なる周波数帯域の情報を算出する。管腔内画像に映る粘膜表面の構造は、撮像距離の遠近により画像上の大きさが変わり、周波数帯域の情報も撮像距離により変化する。そこで、上述した図３のステップＳ４０１における周波数情報の算出の際に、周波数情報Ｆ（ｕ，ｖ）から抽出する周波数ｗの範囲を、撮像距離の関数として変化させる。適応的周波数情報算出部１３４ａは、例えば、撮像距離が大きくなるほど、周波数ｗの範囲は小さくする。
ステップＳ４１３において、適応的合焦度算出部１３４は、適応的周波数情報算出部１３４ａが算出した異なる周波数帯域の情報に基づいて注目領域外の合焦度を算出する。適応的合焦度算出部１３４は、ステップＳ４１２で得られた周波数情報から、上述した実施の形態１と同様に合焦度を算出する。例えば、適応的合焦度算出部１３４は、抜き出された周波数情報Ｆ´（ｕ，ｖ）を処理後画像Ｉ´（ｘ，ｙ）に上式（２）により変換する。
適応的合焦度算出部１３４は、処理後画像Ｉ´（ｘ，ｙ）において、絶対値｜Ｉ´（ｘ，ｙ）｜をとり、それを画素位置ごとの合焦度とする。適応的合焦度算出部１３４は、小領域を設定して、その小領域内の合焦度の代表値を小領域の合焦度としてもよい。代表値は、例えば、平均値、中央値、最頻値、最大値、最小値等である。その後、演算部１００の動作はメインルーチンに戻る。
ステップＳ４１に続くステップＳ５０において、画像分類部１４０は、注目領域の合焦度を算出する。具体的には、加重平均部１４１が注目領域外の合焦度を距離に応じて加重平均することによって注目領域の合焦度を算出する。加重平均部１４１は、上式（４）により合焦度ｆtを算出する。
ステップＳ５０に続くステップＳ６０において、画像分類部１４０は、加重平均部１４１が算出した注目領域の合焦度ｆtと、ステップＳ３０で算出された表層構造情報とに基づいて、管腔内画像を分類する。画像分類部１４０は、上述したように、管腔内画像を、注目領域において表層構造を有する合焦画像と、表層構造を有しない合焦画像と、合焦していない非合焦画像とに分類する。
以上説明したように、本発明の実施の形態１の変形例１によれば、注目領域の表層構造情報と、注目領域外の合焦度、及び、撮像距離に応じて適応的に決まる周波数帯域の情報に基づく注目領域の合焦度とをもとに管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。
なお、本変形例１に係る撮像距離推定部１３３の撮像距離推定方法を、上述した実施の形態１に係る距離算出部１３２の距離算出に適用してもよい。
（実施の形態１の変形例２）
本実施の形態１の変形例２に係る画像処理装置の構成は、上述した実施の形態１に係る画像処理装置１と同様である。図７は、本発明の実施の形態１の変形例２に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１は、画像取得部２０を介して管腔内画像を取得する。
続くステップＳ２０において、演算部１００は注目領域の設定を行う。上述した実施の形態１と同様にして、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。
続くステップＳ３０において、演算部１００は、注目領域の表層構造を示す表層構造情報を算出する。上述した実施の形態１と同様にして、表層構造情報算出部１２０が、設定した注目領域の表層構造情報を算出する。本変形例２では、エッジ強度を表層構造情報として算出するものとして説明する。
ステップＳ３０に続くステップＳ７０において、演算部１００は、ステップＳ３０の算出結果から、表層構造があるか否かを判断する。演算部１００は、表層構造情報が予め設定されている値以上であるか否かを判断する。この際、表層構造情報はエッジ強度であるため、ステップＳ７０における判断は、管腔内画像において注目領域内が合焦しているか否かを判断することに相当する。そのため、この際に用いる設定値は、表層構造情報から合焦しているか否かを判断するための値が設定される。ここで、演算部１００は、表層構造があると判断した場合（ステップＳ７０：Ｙｅｓ）、ステップＳ６０に移行する。これに対し、演算部１００は、表層構造がないと判断した場合（ステップＳ７０：Ｎｏ）、ステップＳ４０に移行する。
続くステップＳ４０において、演算部１００は、注目領域外の合焦度を算出する。演算部１００は、図３に示すフローチャートにしたがって、注目領域外の合焦度を算出する。
ステップＳ４０に続くステップＳ５０において、画像分類部１４０は、注目領域の合焦度を算出する。具体的には、加重平均部１４１が注目領域外の合焦度を距離に応じて加重平均することによって注目領域の合焦度を算出する。加重平均部１４１は、上式（４）により合焦度ｆtを算出する。
ステップＳ５０に続くステップＳ６０において、画像分類部１４０は、少なくとも表層構造情報に基づいて、管腔内画像を分類する。画像分類部１４０は、表層構造を有すると判断されている場合（ステップＳ７０：Ｙｅｓ）、当該管腔内画像が、表層構造を有し、かつ合焦している画像に分類する。これに対し、画像分類部１４０は、表層構造を有しないと判断されている場合（ステップＳ７０：Ｎｏ）、加重平均部１４１が算出した注目領域の合焦度ｆtに基づいて、表層構造を有しない合焦画像と、表層構造を有さず、かつ合焦していない非合焦画像とに分類する。
以上説明したように、本発明の実施の形態１の変形例２によれば、注目領域の表層構造情報や、注目領域外の合焦度、及び、撮像距離に応じて適応的に決まる周波数帯域の情報に基づく注目領域の合焦度をもとに管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。
（実施の形態２）
図８は、本発明の実施の形態２に係る画像処理装置の機能構成を示すブロック図である。以下、実施の形態１に係る画像処理装置１等が有する構成要素と同じ構成要素については、同じ符号を付して説明する。同図に示す画像処理装置１Ｂは、該画像処理装置１Ｂ全体の動作を制御する制御部１０と、撮像装置が管腔内を撮像して生成した画像データを取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００Ｂとを備える。
演算部１００Ｂは、取得された画像中に画像分類の評価対象となる注目領域を設定する注目領域設定部１１０と、注目領域の表層構造を示す情報を算出する表層構造情報算出部１２０と、注目領域外の合焦度を算出する注目領域外合焦度算出部１３０Ｂと、表層構造情報と、注目領域外の合焦度とに基づいて画像を分類する画像分類部１４０とを備える。
注目領域外合焦度算出部１３０Ｂは、距離が所定の範囲内の画素のみを含み、さらに注目領域と参照領域の間にエッジが存在しないように参照領域を設定する参照領域設定部１３５を備える。さらに、参照領域設定部１３５は、注目領域から管腔内画像内の各画素位置までの距離を算出する距離算出部１３５ａと、管腔内画像内のエッジ強度を算出するエッジ強度算出部１３５ｂとを備える。
次に、画像処理装置１Ｂの動作を説明する。図９は、本発明の実施の形態２に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１は、画像取得部２０を介して管腔内画像を取得する。
続くステップＳ２０において、演算部１００Ｂは注目領域の設定を行う。上述した実施の形態１と同様にして、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。
続くステップＳ３０において、演算部１００Ｂは、注目領域の表層構造を示す表層構造情報を算出する。上述した実施の形態１と同様にして、表層構造情報算出部１２０が、設定した注目領域の表層構造を示す情報を算出する。
続くステップＳ４２において、演算部１００Ｂは、注目領域外の合焦度を算出する。図１０は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
ステップＳ４２１において、距離算出部１３５ａは、注目領域から管腔内画像内の各画素位置までの距離を算出する。距離算出部１３５ａは、距離算出部１３２が行う算出方法と同様の方法によって距離を算出する。
ステップＳ４２２において、エッジ強度算出部１３５ｂは、管腔内画像のエッジ強度を算出する。エッジ強度算出部１３５ｂが管腔内画像内のエッジ強度を算出することによって、管腔内画像のエッジを検出することができる。
ステップＳ４２３において、参照領域設定部１３５は、参照領域を設定する。参照領域設定部１３５は、注目領域からの距離が予め設定されている範囲内の画素のみを含み、さらに注目領域と参照領域の間に、予め設定されている強度以上の強度を有するエッジが存在しないように参照領域を設定する。参照領域の設定方法としては、例えば、距離に対していくつかの閾値を設け、その閾値処理により、設定された間隔をもって参照領域を設定することができる。その際、参照領域設定部１３５は、各画素位置と注目領域の重心位置とを直線で結ぶ。参照領域設定部１３５は、この直線が、予め設定されている強度以上の強度を有するエッジと交差する場合は、該画素位置を参照領域に含まない、又はこの画素位置を含む領域は参照領域に設定しない等の判定をすればよい。これにより、注目領域を含み、エッジ間やエッジと画像の外縁で囲まれる領域内で一つ又は複数の参照領域が設定される。
図１１は、参照領域設定部による参照領域の設定を説明する図である。図１１では、管腔内画像Ｗ100において、予め設定されている強度以上の強度を有するエッジＥ1〜Ｅ3と、注目箇所Ｐaとを含んでおり、注目箇所を囲む注目領域Ｒaが設定されている。図１１に示すように、参照領域候補Ｒr１は、注目領域Ｒaと当該参照領域候補Ｒr１との間に、予め設定されている強度以上の強度を有するエッジが存在しないため、参照領域に設定可能である。これに対し、参照領域候補Ｒr２は、注目領域Ｒaと当該参照領域候補Ｒr２との間に、予め設定されている強度以上の強度を有するエッジＥ2が存在するため、参照領域には設定しない。なお、参照領域設定部１３５は、注目領域Ｒaがエッジを含むか否かにかかわらず、注目領域Ｒaと参照領域候補との間にエッジが存在しなければ、この参照領域候補を参照領域として設定する。また、参照領域を設定する方法としては、グリッド状の点を中心に矩形領域を展開する等の規則的な領域を設定する方法や、領域の位置／サイズともにランダムに設定する方法等も挙げられる。その他にも、距離の代わりに合焦度が所定の範囲内の画素のみを含めて参照領域を設定する方法を用いて参照領域を設定してもよいし、撮像距離や輝度をもとに参照領域の設定の可否を判断するようにしてもよい。なお、図１１では、注目領域及び参照領域が、矩形をなす枠であるものを示したが、これに限らず、四角形以外の多角形や、楕円、円であってもよいし、互いに大きさが異なるものであってもよい。
ステップＳ４２４において、注目領域外合焦度算出部１３０Ｂは、参照領域ごとに合焦度を算出する。具体的には、注目領域外合焦度算出部１３０Ｂは、上述した図３のステップＳ４０１の周波数情報算出における小領域を、該参照領域に置き換えて注目領域外の合焦度を算出する。その後、演算部１００の動作はメインルーチンに戻る。
ステップＳ４２に続くステップＳ５０において、画像分類部１４０は、注目領域の合焦度を算出する。具体的には、加重平均部１４１が注目領域外の合焦度を距離に応じて加重平均することによって注目領域の合焦度を算出する。加重平均部１４１は、上式（４）により合焦度ｆtを算出する。
ステップＳ５０に続くステップＳ６０において、画像分類部１４０は、加重平均部１４１が算出した注目領域の合焦度ｆtと、ステップＳ３０で算出された表層構造情報とに基づいて、管腔内画像を分類する。画像分類部１４０は、上述したように、管腔内画像を、注目領域において表層構造を有する合焦画像と、表層構造を有しない合焦画像と、合焦していない非合焦画像と、に分類する。
以上説明したように、本発明の実施の形態２によれば、注目領域の表層構造情報と、設定された参照領域から求まる注目領域外の合焦度、及び注目領域を基点として求まる距離に基づく注目領域の合焦度とをもとに管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。
（実施の形態３）
図１２は、本発明の実施の形態３に係る画像処理装置の機能構成を示すブロック図である。以下、実施の形態１に係る画像処理装置１等が有する構成要素と同じ構成要素については、同じ符号を付して説明する。同図に示す画像処理装置１Ｃは、該画像処理装置１Ｃ全体の動作を制御する制御部１０と、撮像装置が管腔内を撮像して生成した画像データを取得する画像取得部２０と、外部からの操作に応じた信号を制御部１０に入力する入力部３０と、各種情報や画像の表示を行う表示部４０と、画像取得部２０によって取得された画像データや種々のプログラムを格納する記録部５０と、画像データに対して所定の画像処理を実行する演算部１００Ｃとを備える。
演算部１００Ｃは、取得された画像中に画像分類の評価対象となる注目領域を設定する注目領域設定部１１０と、注目領域の表層構造を示す情報を算出する表層構造情報算出部１２０と、注目領域外の合焦度を算出する注目領域外合焦度算出部１３０Ｂと、表層構造情報と、注目領域外の合焦度とに基づいて画像を分類する画像分類部１４０Ａとを備える。
画像分類部１４０Ａは、合焦範囲と注目領域の重なり度合いに基づいて注目領域の合焦度合いを判定する重なり評価部１４２を備える。さらに、重なり評価部１４２は、注目領域外の合焦度分布から合焦範囲を推定する合焦範囲推定部１４２ａを備える。
次に、画像処理装置１Ｃの動作を説明する。図１３は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１Ｃは、画像取得部２０を介して管腔内画像を取得する。
続くステップＳ２０において、演算部１００Ｃは注目領域の設定を行う。上述した実施の形態１と同様にして、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。
続くステップＳ３０において、演算部１００Ｃは、注目領域の表層構造を示す表層構造情報を算出する。上述した実施の形態１と同様にして、表層構造情報算出部１２０が、設定した注目領域の表層構造を示す情報を算出する。
続くステップＳ４２において、演算部１００Ｃは、注目領域外の合焦度を算出する。演算部１００Ｂは、図１０に示すフローチャートにしたがって、注目領域外の合焦度を算出する。
ステップＳ４２に続くステップＳ６１において、画像分類部１４０Ａは、管腔内画像を分類する。図１４は、画像分類部が実行する管腔内画像の分類処理を示すフローチャートである。
ステップＳ６１１において、合焦範囲推定部１４２ａは、注目領域外の合焦度分布から合焦範囲を推定する。合焦範囲の推定方法としては、例えば、注目領域外の合焦度に対して閾値を設定し、その閾値処理により合焦画素座標を決定して、該合焦画素座標群に対して、公知のクロージング、オープニング処理（参考文献：ＣＧ−ＡＲＴＳ協会、「ディジタル画像処理」改訂新版、第１８６頁）により合焦範囲を推定する方法が挙げられる。
ステップＳ６１２において、重なり評価部１４２は、合焦範囲と注目領域との重なり度合いに基づいて注目領域において合焦しているか否かを判定する。具体的には、重なり評価部１４２は、注目領域の面積に対する、ステップＳ６１１で推定した合焦範囲と、注目領域との重なり面積の割合を評価する。重なり評価部１４２は、この割合が予め設定された値以上であれば注目領域は合焦と判定し、割合が予め設定された値より小さければ非合焦と判定する。その後、画像分類部１４０Ａは、表層構造情報と、注目領域の合焦判定結果とに基づいて、管腔内画像を、注目領域において表層構造を有する合焦画像と、表層構造を有しない合焦画像と、合焦していない非合焦画像とに分類する。その後、演算部１００の動作はメインルーチンに戻り、分類処理を終了する。
以上説明したように、本発明の実施の形態３によれば、注目領域の表層構造情報と、推定された合焦範囲及び注目領域の重なり度合いに基づく注目領域の合焦判定結果とをもとに管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。また、本実施の形態３によれば、画像分類部１４０Ａが距離情報を用いずに管腔内画像を分類可能であり、計算効率向上をはかりつつ、撮像距離を正しく推定できないような暗い管腔内画像であっても該管腔内画像を分類することができる。
（実施の形態４）
本実施の形態４に係る画像処理装置の構成は、上述した実施の形態１に係る画像処理装置１から距離算出部１３２及び加重平均部１４１を除いた構成である。図１５は、本発明の実施の形態３に係る画像処理装置が行う画像処理を説明するフローチャートである。まず、ステップＳ１０において、画像処理装置１は、画像取得部２０を介して管腔内画像を取得する。
ステップＳ１０に続くステップＳ８０において、演算部１００は、管腔内画像の合焦度を算出する。図１６は、注目領域外合焦度算出部が実行する注目領域外合焦度の算出処理を示すフローチャートである。
ステップＳ８０１において、周波数情報算出部１３１は、管腔内画像の周波数情報を算出する。周波数情報算出部１３１は、図３のステップＳ４０１と同様にして、管腔内画像の周波数情報を算出する。
ステップＳ８０２において、特定周波数強度算出部１３１ａは、特定周波数の強度を算出する。特定周波数強度算出部１３１ａは、図３のステップＳ４０２と同様にして、管腔内画像の特定周波数の強度を算出する。このように、ステップＳ８０において、周波数情報算出部１３１は、管腔内画像の全画素位置における特定周波数の強度を、管腔内画像の全画素位置における合焦度として算出する。
ステップＳ８０に続くステップＳ２０において、演算部１００は注目領域の設定を行う。上述した実施の形態１と同様にして、注目領域設定部１１０が、管腔内画像内の注目箇所を検出し、この注目箇所を含む注目領域の設定を行う。
続くステップＳ３０において、演算部１００は、注目領域の表層構造を示す表層構造情報を算出する。上述した実施の形態１と同様にして、表層構造情報算出部１２０が、設定した注目領域の表層構造を示す情報を算出する。
ステップＳ３０に続くステップＳ９０において、画像分類部１４０は、注目領域外の合焦度をもとに注目領域の合焦度を算出する。画像分類部１４０は、注目領域外における、ステップＳ８０２で算出された特定周波数の強度をもとに、注目領域の合焦度を再度算出する。具体的には、画像分類部１４０は、注目領域外の合焦度の代表値を注目領域の合焦度とする。なお、加重平均部１４１を設けて、加重平均部１４１が注目領域外の合焦度を距離に応じて加重平均することによって注目領域の合焦度を算出するようにしてもよい。
ステップＳ９０に続くステップＳ６２において、画像分類部１４０は、管腔内画像を分類する。画像分類部１４０は、算出した注目領域の合焦度と、ステップＳ３０で算出された表層構造情報とに基づいて、管腔内画像を分類する。画像分類部１４０は、上述したように、管腔内画像を、注目領域において表層構造を有する合焦画像と、表層構造を有しない合焦画像と、合焦していない非合焦画像と、に分類する。その後、演算部１００の動作はメインルーチンに戻り、分類処理を終了する。
以上説明したように、本発明の実施の形態４によれば、注目領域の表層構造情報と、注目領域外の合焦度から求まる注目領域の合焦度とに基づいて管腔内画像を分類するようにしたので、管腔内画像群を詳細に分類することができる。
（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態１〜４によってのみ限定されるべきものではない。例えば、上述した実施の形態１〜４は、被検体内の管腔を撮像した管腔内画像を分類するものとして説明したが、これに限らず、分類するための評価対象が写った画像、例えば、カプセル型内視鏡や、工業用内視鏡、デジタルカメラ等で撮像された画像の分類を行ってもよい。
以上のように、本発明にかかる画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラムは、画像を詳細に分類するのに有用である。
１，１Ａ，１Ｂ，１Ｃ 画像処理装置
１０ 制御部
２０ 画像取得部
３０ 入力部
４０ 表示部
５０ 記録部
５１ 画像処理プログラム
１００，１００Ａ，１００Ｂ，１００Ｃ 演算部
１１０ 注目領域設定部
１２０ 表層構造情報算出部
１３０，１３０Ａ，１３０Ｂ 注目領域外合焦度算出部
１３１ 周波数情報算出部
１３１ａ 特定周波数強度算出部
１３２，１３５ａ 距離算出部
１３３ 撮像距離算出部
１３３ａ 低吸収波長成分選択部
１３４ 適応的合焦度算出部
１３４ａ 適応的周波数情報算出部
１３５ 参照領域設定部
１３５ｂ エッジ強度算出部
１４０，１４０Ａ 画像分類部
１４１ 加重平均部
１４２ 重なり評価部
１４２ａ 合焦範囲推定部

Claims (18)

  1. 画像に対して分類の評価対象となる注目領域を設定する注目領域設定部と、
    前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出部と、
    少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出部と、
    前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類部と、
    を備えることを特徴とする画像処理装置。
  2. 前記画像分類部は、
    前記画像を、前記表層構造を有する合焦画像、前記表層構造を有しない合焦画像、及び非合焦画像のいずれかに分類する
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 前記注目領域外合焦度算出部は、
    前記画像の周波数情報を算出する周波数情報算出部、
    を備え、
    前記周波数情報をもとに注目領域外の合焦度を算出する
    ことを特徴とする請求項１に記載の画像処理装置。
  4. 前記周波数情報算出部は、
    前記画像の特定周波数帯域の強度を算出する特定周波数強度算出部、
    を備えることを特徴とする請求項３に記載の画像処理装置。
  5. 前記注目領域外合焦度算出部は、
    前記注目領域から前記注目領域外の各画素座標までの距離を算出する距離算出部、
    を備えることを特徴とする請求項１に記載の画像処理装置。
  6. 前記距離算出部は、前記注目領域の所定の座標と、前記注目領域外の各画素座標との間の画像上の距離、又は前記注目領域に映る対象までの撮像距離と、各画素に映る対象までの撮像距離との差を前記距離として算出する
    ことを特徴とする請求項５に記載の画像処理装置。
  7. 前記注目領域外合焦度算出部は、予め設定されている範囲内の前記距離を有する前記注目領域外の合焦度を算出する
    ことを特徴とする請求項５に記載の画像処理装置。
  8. 前記画像分類部は、
    前記距離に応じて、前記注目領域外の合焦度を加重平均する加重平均部、
    を備え、
    前記加重平均の結果をもとに前記注目領域の合焦度を算出し、算出した前記注目領域の合焦度をもとに前記画像を分類する
    ことを特徴とする請求項５に記載の画像処理装置。
  9. 前記注目領域外合焦度算出部は、
    前記画像内の各画素座標における撮像距離を推定する撮像距離推定部と、
    前記撮像距離に応じたパラメータで前記注目領域外の合焦度を算出する適応的合焦度算出部と、
    を備えることを特徴とする請求項１に記載の画像処理装置。
  10. 前記適応的合焦度算出部は、
    前記撮像距離に応じて異なる周波数情報を算出する適応的周波数情報算出部、
    を備え、
    前記異なる周波数情報をもとに前記注目領域外の合焦度を算出する
    ことを特徴とする請求項９に記載の画像処理装置。
  11. 前記注目領域外合焦度算出部は、
    前記画像における前記注目領域外に参照領域を設定する参照領域設定部、
    を備え、
    前記参照領域の情報をもとに前記注目領域外の合焦度を算出する
    ことを特徴とする請求項１に記載の画像処理装置。
  12. 前記参照領域設定部は、
    前記注目領域から前記注目領域外の各画素座標までの距離を算出する距離算出部、
    を備え、
    予め設定されている範囲内の前記距離を有する画素座標のみを含む参照領域を設定する
    ことを特徴とする請求項１１に記載の画像処理装置。
  13. 前記参照領域設定部は、
    前記画像のエッジの強度を算出するエッジ強度算出部、
    を備え、
    前記注目領域と前記参照領域との間に所定の強度以上の強度を有する前記エッジが存在しない場合に前記参照領域を設定する
    ことを特徴とする請求項１２に記載の画像処理装置。
  14. 前記画像分類部は、
    前記注目領域外の合焦度の分布から合焦範囲を推定する合焦範囲推定部と、
    合焦範囲と前記注目領域との重なり度合いを評価する重なり評価部と、
    を備え、
    前記注目領域に対する重なり度合いをもとに前記注目領域が合焦しているか否かを判定し、該判定の結果に基づいて前記画像を分類する
    ことを特徴とする請求項１に記載の画像処理装置。
  15. 前記注目領域は、病変部を含む領域であって、
    前記表層構造情報算出部は、前記注目領域の合焦度を判定する
    ことを特徴とする請求項１に記載の画像処理装置。
  16. 前記画像は、管腔内を撮像した管腔内画像である
    ことを特徴とする請求項１に記載の画像処理装置。
  17. 注目領域設定部が、画像に対して分類の評価対象となる注目領域を設定する注目領域設定ステップと、
    表層構造情報算出部が、前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出ステップと、
    注目領域外合焦度算出部が、少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出ステップと、
    画像分類部が、前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類ステップと、
    を含むことを特徴とする画像処理装置の作動方法。
  18. 注目領域設定部が、画像に対して分類の評価対象となる注目領域を設定する注目領域設定手順と、
    表層構造情報算出部が、前記注目領域の表層構造を示す表層構造情報を算出する表層構造情報算出手順と、
    注目領域外合焦度算出部が、少なくとも前記画像における注目領域外の合焦度を算出する注目領域外合焦度算出手順と、
    画像分類部が、前記表層構造情報と前記注目領域外の合焦度とに基づいて前記画像を分類する画像分類手順と、
    をコンピュータに実行させることを特徴とする画像処理装置の作動プログラム。
JP2018527322A 2016-07-13 2016-07-13 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム Active JP6664486B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/070745 WO2018011928A1 (ja) 2016-07-13 2016-07-13 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム

Publications (2)

Publication Number Publication Date
JPWO2018011928A1 JPWO2018011928A1 (ja) 2019-04-25
JP6664486B2 true JP6664486B2 (ja) 2020-03-13

Family

ID=60952847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018527322A Active JP6664486B2 (ja) 2016-07-13 2016-07-13 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム

Country Status (4)

Country Link
US (1) US20190150848A1 (ja)
JP (1) JP6664486B2 (ja)
CN (1) CN109475277B (ja)
WO (1) WO2018011928A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111522437B (zh) * 2020-03-09 2023-05-02 中国美术学院 一种基于眼动数据获取产品原型方法和系统
CN112686841A (zh) * 2020-12-21 2021-04-20 昆明理工大学 一种检测多相混合过程中气泡均匀性的评价方法
WO2023144936A1 (ja) * 2022-01-26 2023-08-03 日本電気株式会社 画像判定装置、画像判定方法、及び、記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004298503A (ja) * 2003-03-31 2004-10-28 Olympus Corp 歯科検査用光イメージング装置
JP2005250401A (ja) * 2004-03-08 2005-09-15 Kodak Digital Product Center Japan Ltd 焦点距離検出方法及び合焦装置
JP5115297B2 (ja) * 2008-04-15 2013-01-09 株式会社ニコン 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5374135B2 (ja) * 2008-12-16 2013-12-25 オリンパス株式会社 画像処理装置、画像処理装置の作動方法および画像処理プログラム
JP5669489B2 (ja) * 2009-10-15 2015-02-12 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2013142859A (ja) * 2012-01-12 2013-07-22 Sony Corp 画像処理装置、画像処理方法、プログラム及びデジタル顕微鏡システム
JP5513661B2 (ja) * 2013-05-09 2014-06-04 ファナック株式会社 付加軸付きロボットのオフラインプログラム作成装置
WO2015044996A1 (ja) * 2013-09-24 2015-04-02 オリンパス株式会社 内視鏡装置及び内視鏡装置の制御方法

Also Published As

Publication number Publication date
US20190150848A1 (en) 2019-05-23
WO2018011928A1 (ja) 2018-01-18
CN109475277B (zh) 2021-08-24
CN109475277A (zh) 2019-03-15
JPWO2018011928A1 (ja) 2019-04-25

Similar Documents

Publication Publication Date Title
JP5576782B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US9916666B2 (en) Image processing apparatus for identifying whether or not microstructure in set examination region is abnormal, image processing method, and computer-readable recording device
JP3810776B2 (ja) ディジタル画像中の赤目を検出し補正する方法
JP5980555B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US9672610B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
JP5757724B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN113573654A (zh) 用于检测并测定病灶尺寸的ai系统
JP5804220B1 (ja) 画像処理装置および画像処理プログラム
CN110176010B (zh) 一种图像检测方法、装置、设备及存储介质
JP2011234931A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
CN107529963B (zh) 图像处理装置、图像处理方法和存储介质
JP6704933B2 (ja) 画像処理装置、画像処理方法およびプログラム
US10748284B2 (en) Image processing device, operation method of image processing device, and computer-readable recording medium
JP6664486B2 (ja) 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム
WO2020016886A1 (en) Systems and methods of navigation for robotic colonoscopy
US8774521B2 (en) Image processing apparatus, image processing method, and computer-readable recording device
CN107529962B (zh) 图像处理装置、图像处理方法和记录介质
JP2017012384A (ja) シワ状態分析装置及びシワ状態分析方法
US20200053268A1 (en) Image processing device, endoscope system, image processing method, and computer-readable recording medium
JP2009258771A (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP2015191512A (ja) 血管部強調画像生成装置および血管部強調画像生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200218

R151 Written notification of patent or utility model registration

Ref document number: 6664486

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250