JP6150555B2 - 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム - Google Patents

内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム Download PDF

Info

Publication number
JP6150555B2
JP6150555B2 JP2013035730A JP2013035730A JP6150555B2 JP 6150555 B2 JP6150555 B2 JP 6150555B2 JP 2013035730 A JP2013035730 A JP 2013035730A JP 2013035730 A JP2013035730 A JP 2013035730A JP 6150555 B2 JP6150555 B2 JP 6150555B2
Authority
JP
Japan
Prior art keywords
distance
subject
information
observation state
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013035730A
Other languages
English (en)
Other versions
JP2014161538A (ja
JP2014161538A5 (ja
Inventor
圭司 樋口
圭司 樋口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013035730A priority Critical patent/JP6150555B2/ja
Priority to CN201380073710.0A priority patent/CN105007802A/zh
Priority to EP13876188.7A priority patent/EP2962622A4/en
Priority to PCT/JP2013/075628 priority patent/WO2014132475A1/ja
Publication of JP2014161538A publication Critical patent/JP2014161538A/ja
Priority to US14/834,905 priority patent/US20150363929A1/en
Publication of JP2014161538A5 publication Critical patent/JP2014161538A5/ja
Application granted granted Critical
Publication of JP6150555B2 publication Critical patent/JP6150555B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0646Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with illumination filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2461Illumination
    • G02B23/2469Illumination using optical fibres
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/564Depth or shape recovery from multiple images from contours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/64Analysis of geometric attributes of convexity or concavity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/702SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00188Optical arrangements with focusing or zooming features
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30028Colon; Small intestine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Processing (AREA)

Description

本発明は、内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム等に関する。
内視鏡装置を用いた生体内部の観察、診断においては、生体の微小な凹凸状態や、発赤・褪色などの色の違いを観察することで早期病変部か否かの識別を行う手法が広く用いられている。また、生体用の内視鏡装置ではなく、工業用の内視鏡装置においても、被写体(狭義には被写体表面)の凹凸構造等を観察することは有用であり、例えば直接の目視が難しいパイプ内部等に発生した亀裂の検出等が可能になる。また、内視鏡装置以外の画像処理装置においても、処理対象となる画像から被写体の凹凸構造等を検出することが有用であることは多い。
内視鏡装置では、画像強調を行うことで、被写体の構造や色の違いを観察しやすくする処理が行われる。例えば被写体の構造を画像処理により強調する手法として、特許文献1に開示される手法が知られている。或は色強調により病変部位を識別する手法として、特許文献2に開示される手法が知られている。
特開2003−88498号公報 特開2005−342234号公報
さて、異なる観察状態に対して同一の強調処理を行った場合、観察しづらい画像となる可能性があるという課題がある。例えば、生体用の内視鏡装置では、スクリーニング観察と拡大観察で画像の動く速さが異なり、また医師が注目する観察対象も異なるため、それぞれの観察状態に適した強調処理が行われることが望ましい。
本発明の幾つかの態様によれば、観察状態に応じた強調処理を行うことが可能な画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム等を提供できる。
本発明の一態様は、被写体の像を含む撮像画像を取得する画像取得部と、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、前記被写体に関する既知の特性を表す情報である既知特性情報を取得する既知特性情報取得部と、前記距離情報に対応する処理内容で、前記既知特性情報に基づいて強調処理を行う強調処理部と、を含む画像処理装置に関係する。
本発明の一態様によれば、被写体に関する既知の特性を表す情報である既知特性情報に基づく強調処理が、被写体までの距離情報に対応する処理内容で行われる。被写体までの距離は観察状態によって異なるため、観察状態に応じた強調処理を行うことが可能になる。
本発明の他の態様は、被写体の像を含む撮像画像を取得する画像取得部と、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部と、前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する既知特性情報取得部と、前記撮像画像に対して強調処理を行う強調処理部と、を含み、前記強調処理部は、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を前記距離情報から抽出し、抽出した前記凹凸部を前記強調処理の対象として特定する対象特定部を有し、前記強調処理部は、前記被写体に対する観察状態の判断を行い、前記観察状態がスクリーニング観察状態であると判断した場合には、前記対象に対して第1の処理内容で前記強調処理を行い、前記観察状態が拡大観察状態であると判断した場合には、前記対象に対して第2の処理内容で前記強調処理を行う画像処理装置に関係する。
また本発明の更に他の態様は、上記のいずれかに記載の画像処理装置を含む内視鏡装置に関係する。
また本発明の他の態様は、被写体の像を含む撮像画像を取得し、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、前記被写体に関する既知の特性を表す情報である既知特性情報を取得し、前記距離情報に対応する処理内容で、前記既知特性情報に基づいて強調処理を行う画像処理方法に関係する。
また本発明の更に他の態様は、被写体の像を含む撮像画像を取得し、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、前記被写体に関する既知の特性を表す情報である既知特性情報を取得し、前記距離情報に対応する処理内容で、前記既知特性情報に基づいて強調処理を行うステップを、コンピューターに実行させる画像処理プログラムに関係する。
画像処理装置の構成例。 内視鏡装置の構成例。 第1実施形態における画像処理部の詳細な構成例。 距離情報取得部の詳細な構成例。 内視鏡装置の変形構成例。 第1実施形態における強調処理部の詳細な構成例。 図7(A)〜図7(D)はフィルター処理による抽出凹凸情報の抽出処理の説明図。 図8(A)〜図8(F)はモルフォロジー処理による抽出凹凸情報の抽出処理の説明図。 第1実施形態における画像処理のフローチャート例。 第2実施形態における強調処理部の詳細な構成例。 第2実施形態における画像処理のフローチャート例。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.本実施形態の概要
内視鏡装置のような撮像装置を用いて、消化管の早期病変を鑑別・診断する際、生体表面の凹凸などの構造や発赤・褪色などの色の違いが重要視されている。このような被写体の構造をより観察しやすくするために、消化管に対して色素を散布することで色やコントラストを改善させる手法がある。
しかしながら、色素散布の作業を行うことは医師にとって煩雑であり、また患者にとっても負担となるので、画像処理により色や凹凸構造を強調し、病変部を判別するという試みがなされている(例えば、特許文献1、2)。
このような画像処理による強調では、観察状態(観察手法)に応じて処理内容を変える方が見やすい画像となる。例えば、スクリーニング観察のように比較的早く動かして消化管全体を順次見ていくような場合には、医師は比較的大きな構造を観察している。そのため、その大きな構造を見落とさないように画像上で提示する必要がある。一方、スクリーニングによりターゲットの場所を特定し、その詳細構造を拡大観察(精査観察、近接観察)する場合には、医師は微細な構造を観察している。そのため、その微細な構造を強調し、ターゲットが良性か悪性かを判断できるようにする必要がある。
しかしながら、このように観察状態に応じて強調処理の内容を切り替えることは、手動で行う場合には操作が煩雑となる。一方、強調処理の内容を切り替えず、いつも大きな構造と微細な構造の両方を強調すると、スクリーニング観察では画像の動きが速いため微細な構造を強調されても見えづらく、拡大観察では微細な構造を見たいのにもかかわらず大きな構造が強調されるため見づらくなる。
図1に、このような課題を解決できる画像処理装置の構成例を示す。この画像処理装置は、被写体の像を含む撮像画像を取得する画像取得部310と、撮像画像を撮像する際の撮像部から被写体までの距離に基づく距離情報を取得する距離情報取得部380と、被写体に関する既知の特性を表す情報である既知特性情報を取得する既知特性情報取得部390と、距離情報に対応する処理内容で、既知特性情報に基づいて強調処理を行う強調処理部370と、を含む。
例えば生体用の内視鏡装置では、スコープ(撮像部)を消化管に対して動かしながら病変部を探索するスクリーニング観察の場合にはスコープから被写体までの距離は比較的遠い。一方、スクリーニング観察で発見した病変候補を精査する拡大観察の場合には、スコープを被写体に近接させる。このように、異なる観察状態では被写体までの距離も異なるため、距離情報に対応する処理内容で強調処理を行うことで、観察状態に応じて強調処理を変えることができる。これにより、各観察状態において強調すべきものを選択的に強調して見やすくすることができる。
後述するように、強調処理部370は、被写体までの距離を代表する代表距離を距離情報に基づいて求め、既知特性情報により特定される特性と合致する被写体を強調処理の対象として、代表距離に対応する処理内容で強調処理を行う。例えば、強調処理部370は、既知特性情報により特定される特性と合致する被写体を強調処理の対象として特定する対象特定部371を含んでもよい。そして、強調処理部370は、その特定された対象に対して強調処理を行ってもよい。なお後述するように、対象特定部371は必須ではなく、対象特定を行わずに既知特性情報に基づいて強調処理を行ってもよい。
より具体的には、強調処理部は、代表距離が、スクリーニング観察に対応する距離に該当すると判断した場合には、特定された対象に対して第1の処理内容の強調処理を行う。一方、代表距離が、近接観察に対応する距離に該当すると判断した場合には、特定された対象に対して、第1の処理内容とは異なる第2の処理内容の強調処理を行う。
このようにすれば、強調したい対象を既知特性情報に基づいて特定し、その対象が各観察状態において見やすくなるように、距離情報に応じた強調処理を行うことができる。後述するように対象は生体の凹凸部や発赤部・褪色部であり、それぞれの部分において各観察状態でユーザーが注目する特徴(例えば大きな構造、小さい構造、所定色の領域等)がある。強調処理では、そのような観察状態に応じてユーザーが注目する特徴を強調すればよい。例えば、スコープを速く動かすスクリーニング観察では、比較的大きな凹凸構造を強調する処理を行い、病変の精査を行う拡大観察では、微細な凹凸構造を強調することが可能となる。
ここで距離情報とは、撮像画像での各位置と、その各位置での被写体までの距離とが対応付けられた情報である。例えば距離情報は距離マップである。距離マップとは、例えば撮像部200の光軸方向をZ軸とした場合に、XY平面の各点(例えば各画素)について、被写体までのZ軸方向での距離(奥行き・深度)を当該点の値としたマップのことである。
なお距離情報は、撮像部200から被写体までの距離に基づいて取得される種々の情報であればよい。例えば、ステレオ光学系で三角測量する場合は、視差を生む2つのレンズを結ぶ面の任意の点を基準にした距離を距離情報とすればよい。或は、Time of Flight方式を用いた場合は、例えば、撮像素子面の各画素位置を基準にした距離を距離情報として取得すればよい。これらは、距離計測の基準点を撮像部200に設定した例であるが、基準点は、撮像部200以外の任意の場所、例えば、撮像部や被写体を含む3次元空間内の任意の場所に設定してもよく、そのような基準点を用いた場合の情報も本実施形態の距離情報に含まれる。
撮像部200から被写体までの距離とは、例えば撮像部200から被写体までの奥行き方向の距離であることが考えられる。一例としては、撮像部200の光軸方向での距離を用いればよい。例えば、撮像部200の光軸に対して垂直な方向に視点を設定した場合には、当該視点において観察される距離(当該視点を通る、光軸に平行な線上での撮像部200から被写体までの距離)であってもよい。
例えば、距離情報取得部380は、撮像部200の第1の基準点を原点とした第1の座標系における各対応点の座標を、公知の座標変換処理によって、3次元空間内の第2の基準点を原点とした第2の座標系における対応点の座標に変換し、その変換後の座標をもとに距離を計測してもよい。この場合、第2の座標系における第2の基準点から各対応点までの距離は、第1の座標系における第1の基準点から各対応点までの距離、すなわち「撮像部から各対応点までの距離」となり、両者は一致する。
また、距離情報取得部380は、撮像部200に基準点を設定した場合に取得される距離マップ上の各画素間の距離値の大小関係と同様の大小関係が維持できるような位置に仮想の基準点を設置することで、撮像部200から対応点までの距離をもとにした距離情報を取得してもよい。例えば、距離情報取得部380は、撮像部200から3つの対応点までの実際の距離が「3」、「4」、「5」である場合、各画素間の距離値の大小関係が維持されたまま、それら距離が一律に半分にされた「1.5」、「2」、「2.5」を取得してもよい。
また既知特性情報とは、被写体表面の構造のうち、本実施形態において有用な構造とそうでない構造とを分離可能な情報である。具体的には、強調することが有用な(例えば早期病変部の発見に役立つ)凹凸部や色の情報(例えば病変部に特徴的な凹凸部のサイズや、色相、彩度等)を既知特性情報としてもよく、その場合、当該既知特性情報と合致する被写体が強調処理の対象となる。或いは、強調しても有用でない構造の情報を既知特性情報としてもよく、その場合既知特性情報と合致しない被写体が強調対象となる。或いは、有用な凹凸部と有用でない構造の両方の情報を保持しておき、有用な凹凸部の範囲を精度よく設定するものとしてもよい。
なお、上記では距離情報に基づいて観察状態に応じた強調処理を行う場合を例に説明したが、本実施形態はこれに限定されない。即ち、距離情報は必須でなく、何らかの情報(例えばユーザーによる操作情報、或は画像の種々の特徴量等)によりスクリーニング観察であるか拡大観察であるかを判断し、その結果に応じた強調処理を行ってもよい。
2.第1実施形態
2.1.内視鏡装置
次に、本実施形態の詳細について説明する。図2に、第1実施形態における内視鏡装置の構成例を示す。内視鏡装置は、光源部100、撮像部200、プロセッサー部300(制御装置)、表示部400、外部I/F部500、を含む。
光源部100は、白色光源101と、複数の分光透過率を有する回転色フィルター102と、回転色フィルター102を駆動する回転駆動部103と、回転色フィルター102からの各分光特性を持った光をライトガイドファイバー201の入射端面に集光させる集光レンズ104と、を含む。回転色フィルター102は、三原色のフィルター(赤色フィルター、緑色フィルター、青色フィルター)と、回転モーターと、により構成されている。
回転駆動部103は、プロセッサー部300の制御部302からの制御信号に基づいて、撮像部200の撮像素子206の撮像期間と同期して回転色フィルター102を所定回転数で回転させる。例えば回転色フィルター102を1秒間に20回転させると、各色フィルターは60分の1秒間隔で入射白色光を横切ることになる。この場合、観察対象には、60分の1秒間隔で3原色の各色光(R或はG或はB)が照射され、撮像素子206は、その観察対象からの反射光を撮像し、その撮像画像をA/D変換部209へ転送することになる。即ち、R画像、G画像、B画像が60分の1秒間隔で面順次で撮像される内視鏡装置の例となり、実質のフレームレートは20fpsとなる。
なお本実施形態は上記のような面順次方式に限定されず、例えば白色光源101からの白色光を被写体に照射し、RGBベイヤー配列のカラーフィルターを有する撮像素子により撮像してもよい。
撮像部200は、例えば胃や大腸などの体腔への挿入を可能にするため、細長くかつ湾曲可能に形成されている。撮像部200は、光源部100で集光された光を導くためのライトガイドファイバー201と、ライトガイドファイバー201により先端まで導かれた光を拡散させて観察対象に照射する照明レンズ203と、を含む。また撮像部200は、観察対象から戻る反射光を集光する対物レンズ204と、集光した結像光を検出するための撮像素子206と、撮像素子206からの光電変換されたアナログ信号をデジタル信号に変換するA/D変換部209と、を含む。また撮像部200は、撮像部200のスコープID情報と製造バラツキを含めた固有情報が記録されているメモリー210と、撮像部200とプロセッサー部300とを着脱可能にするコネクター212と、を含む。
面順次方式の場合、撮像素子206はモノクロ単板撮像素子であり、例えばCCDやCMOSイメージセンサー等が利用できる。A/D変換部209は、撮像素子206から出力されたアナログ信号をデジタル信号に変換し、そのデジタル信号の画像を画像処理部301へ出力する。メモリー210は制御部302と接続されており、スコープID情報と製造バラツキを含めた固有情報とを、制御部302へ転送する。
プロセッサー部300は、A/D変換部209から転送される画像に対して画像処理を行う画像処理部301と、内視鏡装置の各部を制御する制御部302と、を含む。
表示部400は、動画表示可能な表示装置であり、例えばCRTや液晶モニター等で構成される。
外部I/F部500は、この内視鏡装置に対するユーザーからの入力等を行うためのインターフェースである。外部I/F部500は、例えば電源のオン/オフを行うための電源スイッチや、撮影操作を開始するためのシャッタボタン、撮影モードやその他各種のモードを切り換えるためのモード切換スイッチ(例えば生体表面の凹凸部の選択的な強調処理を行う為のスイッチ)等を含んで構成されている。そして、この外部I/F部500は、入力された情報を制御部302へ出力するようになっている。
2.2.画像処理部
図3に画像処理部301の詳細な構成例を示す。画像処理部301は、画像構成部320、記憶部350、強調処理部370、距離情報取得部380、既知特性情報取得部390を含む。なお画像構成部320は、図1の画像取得部310に対応する。
画像構成部320は、撮像部200により撮像された画像に対して所定の画像処理(例えばOB処理や、ゲイン処理、ガンマ処理等)を施し、表示部400へ出力可能な画像を生成する。画像構成部320は、処理後の画像を強調処理部370、距離情報取得部380へ出力する。
既知特性情報取得部390は、記憶部350に記憶された既知特性情報を読み出し(取得し)、その既知特性情報を強調処理部370へ出力する。ここで既知特性情報は、強調対象として特定したい生体固有の凹凸部のサイズ(幅や高さや深さ等のディメンジョン情報)である。
距離情報取得部380は、撮像画像に基づいて被写体までの距離情報を取得し、その距離情報を強調処理部370へ出力する。距離情報は、例えば撮像画像の各画素に、その画素での被写体までの距離が対応付けられた距離マップである。なお距離情報取得部380の詳細については後述する。
強調処理部370は、既知特性情報と距離情報に基づいて対象を特定し、その対象に対して距離情報に応じた強調処理を行い、処理後の画像を表示部400へ出力する。具体的には、距離情報から代表距離を求める。代表距離は、例えば距離マップの中央位置での距離や、距離マップの所定領域内での平均距離等である。或は、距離マップの距離の分散値を用いてもよい。スクリーニング観察ではスコープを生体表面から離しているため距離の分散値が大きく、拡大観察ではスコープを生体表面に正対させて近接させているため距離の分散値が小さい。また強調処理部370は、既知特性情報が表す所望のディメンジョン特性に合致する凹凸部を距離情報から抽出し、その抽出した凹凸部を対象として特定する。
そして強調処理部370は、代表距離が閾値よりも大きい場合(例えばスクリーニング観察時)には、抽出した凹凸部のうちサイズ(凹凸パターン)が第1サイズ閾値よりも大きい凹凸部を強調する。一方、代表距離が閾値よりも小さい場合(例えば拡大観察時)には、抽出した凹凸部のうちサイズ(凹凸パターン)が第2サイズ閾値よりもが小さい凹凸部を強調する。第1サイズ閾値と第2サイズ閾値は、それぞれの観察状態で強調したい(又は強調後の画像が見やすくなる)凹凸部のサイズに合わせて設定すればよい。強調処理としては、例えば凹部と凸部で異なる色成分を強調する。
なお本実施形態では、特定した対象に対して強調処理を行う場合に限定されず、対象特定を行わずに既知特性情報に基づいて強調処理を行ってもよい。例えば、既知特性情報が表す凹凸部のサイズに基づいて構造強調(例えば画像の高周波成分の強調)のフィルター特性(例えば強調する周波数帯域)を設定し、所望サイズの凹凸部が強調されるようにしてもよい。この場合、代表距離に応じてフィルター特性を変えてもよい。
2.3.距離情報取得処理
図4に、距離情報取得部380の詳細な構成例を示す。距離情報取得部380は、輝度信号算出部323と、差分演算部324と、2次微分演算部325と、ぼけパラメーター演算部326と、記憶部327と、LUT記憶部328と、を含む。
輝度信号算出部323は、制御部302の制御に基づいて、画像取得部310から出力された撮像画像から輝度信号Y(輝度値)を下式(1)により求める。
算出された輝度信号Yは、差分演算部324、2次微分演算部325、記憶部327へ転送される。差分演算部324は、ぼけパラメーター算出のために必要な複数の画像から輝度信号Yの差分を算出する。2次微分演算部325は、画像における輝度信号Yの2次微分を算出し、ぼけの異なる複数の輝度信号Yから得られる2次微分の平均値を算出する。ぼけパラメーター演算部326は、差分演算部324で算出された画像の輝度信号Yの差分から2次微分演算部325で算出された2次微分の平均値を除算して、ぼけパラメーターを算出する。
記憶部327は、1枚目に撮影した画像における輝度信号Yとその2次微分の結果を記憶する。これによって、距離情報取得部380は、制御部302を介してフォーカスレンズを異なる位置に配置し、複数の輝度信号Yを異なる時刻で取得することができる。LUT記憶部328は、ぼけパラメーターと被写体距離との関係をルックアップテーブル(LUT)の形で記憶する。
次に、被写体距離の算出方法について説明する。被写体距離の算出を開始すると、制御部302は、外部I/F部500により予め設定された撮影モードに基づいて、公知のコントラス検出方式、位相差検出方式等を用いて最適なフォーカスレンズ位置を算出する。次に、レンズ駆動部250は、制御部302からの信号に基づいて、フォーカスレンズを、算出したフォーカスレンズ位置に駆動する。そして、駆動したフォーカスレンズ位置で、撮像素子206により被写体の1枚目の画像を取得する。取得した画像は、画像取得部310と輝度信号算出部323を介して、記憶部327に記憶される。
その後、レンズ駆動部250によって、フォーカスレンズを、1枚目の画像を取得したフォーカスレンズ位置とは異なる第2のフォーカスレンズ位置に駆動し、撮像素子206によって被写体の2枚目の画像を取得する。これにより取得された2枚目の画像は、画像取得部310を介して、距離情報取得部380へ出力される。
2枚目の画像の取得が完了すると、ぼけパラメーターの算出を行う。距離情報取得部380において、差分演算部324は、1枚目の画像における輝度信号Yを記憶部327から読み出し、1枚目の画像における輝度信号Yと、輝度信号算出部323から出力される2枚目の画像における輝度信号Yと、の差分を算出する。
また、2次微分演算部325は、輝度信号算出部323から出力される2枚目の画像における輝度信号Yの2次微分を算出する。その後、1枚目の画像における輝度信号Yを記憶部327から読み出して、その2次微分を算出する。そして、算出した1枚目と2枚目の2次微分の平均値を算出する。
その後、ぼけパラメーター演算部326は、差分演算部324で演算した差分から2次微分演算部325で演算した2次微分の平均値を除算して、ぼけパラメーターを算出する。
ぼけパラメーターとフォーカスレンズ位置の関係は、LUT記憶部328にテーブルとして記憶されている。ぼけパラメーター演算部326では、ぼけパラメーターとLUT記憶部328に記憶されているテーブルの情報を使用して、ぼけパラメーターから光学系に対する被写体距離を線形補間によって求める。算出された被写体距離は、距離情報として強調処理部370へ出力される。
なお本実施形態では、上記の距離情報取得処理に限定されず、例えば赤外光を用いたTime of Flight方式等により距離情報を求めてもよい。また、Time of Flightを用いる場合にも、赤外光ではなく青色光を用いる等の変形実施が可能である。
或は本実施形態では、ステレオマッチングにより距離情報を取得してもよい。この場合の内視鏡装置の構成例を図5に示す。この内視鏡装置は、図2の構成例に加えて、撮像部200が対物レンズ205、撮像素子207を含む。
対物レンズ204、205は所定間隔離した位置に配置され、視差画像(以降、ステレオ画像と記す)が撮影可能に配置されている。撮像素子206、207には、ステレオ画像のうち、それぞれ左画像、右画像が結像される。A/D変換部209は、撮像素子206、207から出力される左画像、右画像をA/D変換し、変換後の左画像、右画像を画像構成部320と距離情報取得部380へ出力する。
そして、距離情報取得部380が、左画像を基準画像とし、その基準画像の注目画素を通るエピポーラ線上で、その注目画素を含む局所領域と右画像の局所領域とのマッチング演算を行う。マッチング演算において最大相関となる位置を視差として算出し、その視差を奥行き方向(距離マップのZ軸方向)の距離に変換し、その距離情報を強調処理部370へ出力する。
2.4.対象特定処理、強調処理
図6に強調処理部370の詳細な構成例を示す。強調処理部370は、対象特定部371、強調部372を含む。なお以下では距離情報と既知特性情報に基づいて対象を特定し、その特定した対象に対して強調処理を行う場合を例に説明するが、上述のように本実施形態はこれに限定されない。
図7(A)に、距離マップの例を模式的に示す。以下では説明の便宜上、一次元の距離マップを考え、矢印で示す方向に距離の軸をとる。距離マップは、生体のおおまかな構造の情報(例えば管腔や襞2、3、4等の形状情報)と、生体表層の凹凸部(例えば凹部10、30、凸部20)の情報との両方を含んでいる。
既知特性情報取得部390は、記憶部350からディメンジョン情報(抽出したい生体の凹凸部のサイズ情報)を既知特性情報として取得し、そのディメンジョン情報に基づいてローパスフィルター処理の周波数特性を決定する。図7(B)に示すように、対象特定部371は、その周波数特性のローパスフィルター処理を距離マップに対して施し、生体のおおまかな構造の情報(管腔や襞等に関する形状情報)を抽出する。
そして図7(C)に示すように、対象特定部371は、生体のおおまかな構造の情報を距離マップから減算し、生体表層の凹凸情報である凹凸マップ(所望サイズの凹凸部の情報)を生成する。例えば、画像や距離マップ、凹凸マップにおける水平方向をx軸と定義し、垂直方向をy軸と定義する。距離マップの座標(x,y)における距離をdist(x,y)と定義し、ローパスフィルター処理後の距離マップの座標(x,y)における距離をdist_LPF(x,y)と定義すると、凹凸マップの座標(x,y)における凹凸情報diff(x,y)は下式(2)で求められる。
対象特定部371は、上記のようにして求めた凹凸マップを強調部372へ出力する。この例では、生体表層の凹凸部を凹凸マップとして抽出することが、生体表層の凹凸部を強調対象として特定することに相当する。
次に、ディメンジョン情報からカットオフ周波数(広義には抽出処理パラメーター)を決定する処理の詳細について説明する。
対象特定部371は、入力された距離情報に対して所定サイズ(例えばN×N画素(Nは2以上の自然数))のローパスフィルター処理を施す。そして、その処理後の距離情報(局所平均距離)に基づいて、適応的に抽出処理パラメーターを決定する。具体的には、病変部起因の抽出したい生体固有の凹凸部を平滑化すると共に、観察部位固有の管腔及び襞の構造が保持されるローパスフィルターの特性を決定する。既知特性情報から、抽出対象である凹凸部や、除外対象である襞、管腔構造の特性がわかるため、それらの空間周波数特性は既知となり、ローパスフィルターの特性を決定可能である。また、局所平均距離に応じて見かけ上の構造の大きさが変わるため、図7(D)に示すように局所平均距離に応じてローパスフィルターの特性を決定する。
ローパスフィルター処理は、例えば下式(3)に示すガウスフィルターや、下式(4)に示すバイラテラルフィルターにより実現される。これらのフィルターの周波数特性はσ、σ、σνで制御する。このとき、距離マップの画素に一対一で対応するσマップを、抽出処理パラメーターとして作成してもよい。なお、バイラテラルフィルターの場合は、σ、σνの両方或いは一方のσマップを作成してもよい。
σとしては、例えば抽出したい生体固有の凹凸部のサイズに対応する距離マップの画素間距離D1の所定倍α(>1)よりも大きく、観察部位固有の管腔及び襞のサイズに対応する距離マップの画素間距離D2の所定倍β(<1)よりも小さい値を設定する。例えば、σ=(α*D1+β*D2)/2*Rσと設定してもよい。ここでRσは、局所平均距離の関数であり、局所平均距離が小さいほど値が大きく、局所平均距離が大きいほど値が小さい。
なお、既知特性情報取得部390は、例えば観察部位に対応したディメンジョン情報を記憶部350から読み出し、対象特定部371は、そのディメンジョン情報に基づいて、観察部位に応じた対象を特定してもよい。観察部位は、例えば図2のメモリー210に記憶されたスコープIDにより決定できる。例えば上部消化器用スコープの場合には、観察部位である食道、胃、十二指腸に対応したディメンジョン情報が読み出される。或は、下部消化器用スコープの場合には、観察部位である大腸に対応したディメンジョン情報が読み出される。
ここで、本実施形態では上記のようなローパスフィルター処理を用いた抽出処理に限定されず、例えばモルフォロジー処理により抽出凹凸情報を取得してもよい。この場合、図8(A)に示すように、距離マップに対して所定カーネルサイズ(構造要素の大きさ(球の直径))のオープニング処理、クロージング処理を行う。抽出処理パラメーターは構造要素の大きさである。例えば構造要素として球を用いる場合、その球の直径として、観察部位情報に基づく部位固有の管腔及び襞のサイズよりも小さく、病変部起因の抽出したい生体固有の凹凸部のサイズよりも大きい直径を設定する。また、図8(F)に示すように、局所平均距離が小さいほど直径を大きくし、局所平均距離が大きいほど直径を小さくする。図8(B)、図8(C)に示すように、クロージング処理により得られた情報と、元の距離情報との差分を取ることで、生体表面の凹部が抽出される。また、図8(D)、図8(E)に示すように、オープニング処理により得られた情報と、元の距離情報との差分を取ることで、生体表面の凸部が抽出される。
強調部372は、代表距離に基づいて観察状態(観察手法)を判断し、観察状態に対応した強調処理を行う。具体的には、強調部372は、代表距離が大きくスクリーニング観察と判断した場合には、抽出した凹凸部のうち大きなサイズの凹凸部を強調する。一方、代表距離が小さく拡大観察と判断した場合には、抽出した凹凸部のうち小さなサイズの凹凸部を強調する。
強調処理の一例として、凹部と凸部で異なる色を強調する処理を説明する。上式(2)より、例えばdiff(x,y)<0の画素を凸部とし、diff(x,y)>0の画素を凹部とする。そして、凸部の画素に対して例えば所定色相の彩度強調を行い、凹部の画素に対して、それと異なる所定色相の彩度強調を行う。凹凸部のサイズとしては、例えば凸部領域の幅(画素数)、凹部領域の幅(画素数)を用い、そのサイズを閾値と比較することにより凹凸部の大きさを判別すればよい。なお本実施形態はこれに限定されず、種々の強調処理を適用可能である。例えば、diff(x,y)が大きいほど(凹部の深いところほど)所定色(例えば青)を強調し、インジゴカルミン等の色素散布を再現する処理を行ってもよい。また、スクリーニング観察と拡大観察で色の付け方を変えてもよい。
以上の実施形態によれば、対象特定部371は、既知特性情報に基づいて抽出処理パラメーターを決定し、決定された抽出処理パラメーターに基づいて、被写体の凹凸部を強調処理の対象として特定する。
これにより、既知特性情報により決定された抽出処理パラメーターを用いて凹凸情報を抽出(分離)する処理(対象特定処理)を行うことが可能になる。抽出凹凸情報を精度よく抽出するためには、距離情報に含まれる種々の構造の情報から、所望の凹凸部に関する情報を抽出しつつ、他の構造(例えば襞等の生体固有の構造)を除外する制御が必要になる。ここでは既知特性情報に基づいて抽出処理パラメーターを設定することで、そのような制御を実現する。
また本実施形態では、対象特定部371は、既知特性情報に基づいて、オープニング処理及びクロージング処理に用いられる構造要素のサイズを、抽出処理パラメーターとして決定し、決定されたサイズの構造要素を用いたオープニング処理及びクロージング処理を行って、被写体の凹凸部を抽出凹凸情報として抽出する。
このようにすれば、オープニング処理及びクロージング処理(広義にはモルフォロジー処理)に基づいて抽出凹凸情報を抽出することが可能になる。その際の抽出処理パラメーターは、オープニング処理及びクロージング処理で用いられる構造要素のサイズである。本実施形態では構造要素として球を想定しているため、抽出処理パラメーターとは球の直径等を表すパラメーターとなる。
また、撮像画像は、生体の内部を撮像した生体内画像であり、被写体は、生体内部の管腔構造である生体の大局的な三次元構造と、管腔構造に形成され、大局的な三次元構造に比べて局所的な凹凸構造とを有し、対象特定部371は、被写体に含まれる大局的な三次元構造と凹凸部のうち、既知特性情報により特定される特性と合致する被写体の凹凸部を、抽出凹凸情報として抽出する。
これにより、生体内画像を対象とする場合には、距離情報に含まれる大局的な(ここでは凹凸部に比べて空間周波数が低い構造を指す)三次元構造と、それよりも小さい凹凸部を抽出する処理を実現できる。例えば、早期病変部の発見に有用な凹凸部を抽出対象とする場合には、生体固有の襞や、壁面の曲率に起因する構造等の生体固有の三次元構造は抽出対象とする必要はなく、対象特定部371はそれらを除いて凹凸部を抽出すればよい。この場合、除外されるものが大局的(空間周波数が低い構造)となり、抽出対象が局所的(空間周波数が高い構造)となるため、その中間に相当する空間周波数等を境界として設定する。
2.5.ソフトウェア
上記の実施形態では、プロセッサー部300を構成する各部をハードウェアで構成することとしたが、本実施形態はこれに限定されない。例えば、撮像装置を用いて予め取得された画像信号と距離情報に対して、CPUが各部の処理を行う構成とし、CPUがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。
この場合、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをCPU等のプロセッサーが実行する。ここで、情報記憶媒体(コンピューターにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(DVD、CD等)、HDD(ハードディスクドライブ)、或いはメモリー(カード型メモリー、ROM等)などにより実現できる。そして、CPU等のプロセッサーは、情報記憶媒体に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピューターに実行させるためのプログラム)が記憶される。
図9に、画像処理部301が行う処理をソフトウェアで実現する場合のフローチャートを示す。この処理を開始すると、撮像画像を取得し(ステップS1)、その撮像画像を撮像した際の距離情報を取得する(ステップS2)。
次に、上述の手法により対象を特定する(ステップS3)。また、距離情報から被写体までの代表距離を算出し(ステップS4)、代表距離(例えば画像中央の距離や、平均距離、距離分散値等)が閾値εよりも大きいか否かの判定を行う(ステップS5)。代表距離が閾値εよりも大きい場合にはスクリーニング観察と判断し、撮像画像に対して第1の強調処理を行い(ステップS6)、処理後の画像を出力する(ステップS7)。第1の強調処理では、特定した対象のうち大きさが第1サイズ閾値Tkより大きい対象を強調する。一方、代表距離が閾値ε以下である場合には拡大観察と判断し、撮像画像に対して第2の強調処理を行い(ステップS8)、処理後の画像を出力する(ステップS9)。第2の強調処理では、特定した対象のうち大きさが第2サイズ閾値Tsより小さい対象を強調する。
以上の実施形態によれば、既知特性情報取得部390は、被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する。強調処理部370は、既知特性情報により特定される特性と合致する被写体の凹凸部を対象として、強調処理を行う。例えば本実施形態では、対象特定部371が、既知特性情報が表す所望の特性(例えばサイズ)の凹凸部を距離情報(狭義には距離マップ)から抽出し、抽出した凹凸部を対象として特定する。そして強調処理部370が、特定された対象に対して強調処理を行う。
このようにすれば、距離情報及び既知特性情報に基づいて強調処理を行うことが可能となり、その強調処理において観察状態に応じて処理内容を変えることができる。距離情報を用いることによって、例えば3次元的な構造や形状に特徴がある観察対象を特定することが可能となる。即ち、所望の特性(例えばサイズ)を有する凹凸部を抽出し、その凹凸部を強調する処理を行うことが可能となる。強調処理では、ユーザーが各観察状態で着目している凹凸部が強調されるように、距離情報に応じて強調処理を変えることができる。
より具体的には、強調処理部370は、代表距離(例えば画像中央の距離や、平均距離、距離分散値等)が閾値εよりも大きい場合には、抽出された凹凸部のうち第1のサイズ閾値Tkよりもサイズが大きいと判断した凹凸部に対して強調処理を行う。一方、代表距離が閾値εよりも小さい場合には、凹凸部のうち第2のサイズ閾値Tsよりもサイズが小さいと判断した凹凸部に対して強調処理を行う。
このようにすれば、スコープを速く動かすスクリーニング観察では小さい構造が強調されなくなり、見た目の煩雑さを軽減できる。一方、病変を精査する拡大観察では小さい構造が強調され、病変の微小な構造が見やすくなる。以上により、各観察状態における視認性を向上でき、病変見落としの低減や診断精度の向上を実現できる。
3.第2実施形態
第2実施形態では、発赤部或は褪色部の強調を行う。発赤部・褪色部は凹凸部のような形状的な特徴がないものもあるため、凹凸部に対する強調手法とは手法を変えることが望ましい。ここで発赤部とは、視覚的に周囲の色よりも赤みが強い部分のことであり、褪色部とは、視覚的に周囲の色よりも赤みが少ない部分のことである。
第2実施形態における詳細な構成について説明する。内視鏡装置及び画像処理部301については、第1実施形態と同様に構成できる。なお以下では第1実施形態と同様の構成要素には同一の符号を付し、適宜説明を省略する。
図10に、第2実施形態における強調処理部370の詳細な構成例を示す。強調処理部370は、対象特定部371、強調部372を含む。
既知特性情報取得部390は、抽出したい生体(例えば発赤部、或は褪色部)の色の情報を既知特性情報として取得する。対象特定部371は、その既知特性情報が表す色に合致する領域を対象として特定する。発赤部を例にとると、正常粘膜の色から赤みの方向にずれている領域を発赤部として特定する。例えば、赤(R)の画素値と緑(G)の画素値と比R/Gが周囲のR/Gよりも大きい領域を発赤部と特定する。この場合、例えば周囲のR/Gよりもどの程度(例えば何倍)大きければよいかの情報が、既知特性情報である。或は、R/Gや色相値の範囲を既知特性情報として記憶し、そのR/Gや色相値の範囲に合致する領域を発赤部としてもよい。或は、更に発赤部に特徴的な画像周波数や形態情報(例えばサイズや形状)を既知特性情報として用いてもよい。
強調部372は、代表距離が大きくスクリーニング観察と判断した場合には、特定した対象の色を強調する処理を行う。例えば発赤部の赤み(例えばR/Gや、赤色の色相範囲の彩度等)を強くし、褪色部の赤みを弱くする処理を行う。一方、代表距離が小さく拡大観察と判断した場合には、画像のエッジ成分を強調する処理や、周波数解析により特定の周波数領域を強調する処理を行う。また、更にスクリーニング観察時と同様な色の強調を行ってもよい。
なお上記では対象を特定する場合を例に説明したが、本実施形態ではこれに限定されず、対象を特定せずに強調処理を行ってもよい。例えば、代表距離が大きい場合には、赤みが強い領域ほどより赤みを強くする処理を行い、代表距離が小さい場合には、微小な構造ほど強調度合いを大きくした強調処理を行ってもよい。この場合、例えば赤みの強調特性を既知特性情報として記憶する。
また検出対象は発赤部や褪色部に限定されず、例えばポリープ等であってもよい。対象がポリープである場合、例えばポリープに特有な形状(又は色)を既知特性情報として記憶し、パターンマッチング(又は色の比較)によりポリープを検出してもよい。そして、代表距離が大きくスクリーニング観察と判断した場合には、輪郭強調によりポリープを強調し、代表距離が小さく拡大観察と判断した場合には、輪郭強調に加えて色強調を行ってもよい。
図11に、画像処理部301が行う処理をソフトウェアで実現する場合のフローチャートを示す。この処理を開始すると、撮像画像を取得する(ステップS21)。次に、上述の手法により対象を特定する(ステップS22)。また、被写体までの距離情報を取得し(ステップS23)、距離情報から被写体までの代表距離(例えば画像中央の距離や、平均距離、距離分散値等)を算出し(ステップS24)、代表距離が閾値εよりも大きいか否かの判定を行う(ステップS25)。代表距離が閾値εよりも大きい場合にはスクリーニング観察と判断し、撮像画像に対して第1の強調処理を行い(ステップS26)、処理後の画像を出力する(ステップS27)。第1の強調処理では、特定した対象の色を強調する。一方、代表距離が閾値ε以下である場合には拡大観察と判断し、撮像画像に対して第2の強調処理を行い(ステップS28)、処理後の画像を出力する(ステップS29)。第2の強調処理では、特定した対象の色とエッジを強調する。
以上の実施形態によれば、既知特性情報取得部390は、被写体の色に関する既知の特性を表す情報である既知特性情報を取得する。
このようにすれば、観察したい対象に特徴的な色に関する情報に基づいて、その色に対する強調処理を観察状態に応じた内容で行うことができる。色に関する情報を用いることによって、例えば正常部に比べて色が異なっている病変部等が見やすくなるように、強調することが可能となる。
また本実施形態では、強調処理部370は、既知特性情報により特定される特性と合致する被写体を強調処理の対象として、距離情報に対応する処理内容で強調処理を行う。例えば本実施形態では、対象特定部371が、既知特性情報により特定される特性と合致する被写体を強調処理の対象として特定し、強調処理部370が、その特定された対象に対して強調処理を行う。
より具体的には、強調処理部370は、被写体までの距離を代表する代表距離(例えば画像中央の距離や、平均距離、距離分散値等)を距離情報に基づいて求める。そして、強調処理部370は、代表距離が閾値εよりも大きい場合には、対象の色(例えばR/Gや、所定色相の彩度)を強調する強調処理を行う。一方、代表距離が閾値εよりも小さい場合には、対象の少なくとも構造を強調する強調処理を行う。
例えば、既知特性情報は、正常粘膜の色よりも赤成分(例えばR/G)が大きい発赤部の色に関する既知の特性を表す情報である。強調処理部370は、代表距離が閾値εよりも大きい場合には、対象として特定された発赤部の赤成分(例えばR/Gや、赤色の色相範囲の彩度)を強調する強調処理を行う。
このようにすれば、スコープを速く動かすスクリーニング観察では、例えば発赤部・褪色部等の色に特徴がある病変部を見落とさず、その病変部の場所を特定することができる。一方、病変を精査する拡大観察では、色だけでなく構造を強調できるため、ユーザーが着目している病変部の微細な構造を見やすくできる。以上により、各観察状態における視認性を向上でき、病変見落としの低減や診断精度の向上を実現できる。
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
2〜4 襞、10,30 凹部、20 凸部、100 光源部、
101 白色光源、102 回転色フィルター、103 回転駆動部、
104 集光レンズ、200 撮像部、201 ライトガイドファイバー、
203 照明レンズ、204,205 対物レンズ、
206,207 撮像素子、209 A/D変換部、210 メモリー、
212 コネクター、250 レンズ駆動部、300 プロセッサー部、
301 画像処理部、302 制御部、310 画像取得部、
320 画像構成部、323 輝度信号算出部、324 差分演算部、
325 2次微分演算部、326 パラメーター演算部、327 記憶部、
328 LUT記憶部、350 記憶部、
370 強調処理部、371 対象特定部、
372 強調部、380 距離情報取得部、390 既知特性情報取得部、
400 表示部、500 外部I/F部

Claims (16)

  1. 被写体の像を含む撮像画像を取得する画像取得部と、
    記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得する既知特性情報取得部と、
    記既知特性情報に基づいて強調処理を行う強調処理部と、
    を含み、
    前記強調処理部は、
    前記被写体に対する観察状態の判断を行い、前記観察状態がスクリーニング観察状態であると判断した場合には、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を対象として、前記対象のうち第1のサイズ閾値よりもサイズが大きいと判断した凹凸部に対して前記強調処理を行う第1の処理内容で前記強調処理を行い、
    前記観察状態が拡大観察状態であると判断した場合には、前記対象のうち第2のサイズ閾値よりもサイズが小さいと判断した凹凸部に対して前記強調処理を行う第2の処理内容で前記強調処理を行うことを特徴とする内視鏡装置。
  2. 請求項において、
    前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部を含み、
    前記強調処理部は、
    前記被写体までの距離を代表する代表距離を前記距離情報に基づいて求め、
    前記代表距離が閾値よりも大きい場合には、前記第1の処理内容で前記強調処理を行い、
    前記代表距離が前記閾値よりも小さい場合には、前記第2の処理内容で前記強調処理を行うことを特徴とする内視鏡装置。
  3. 被写体の像を含む撮像画像を取得する画像取得部と、
    記被写体の色に関する既知の特性を表す情報である既知特性情報を取得する既知特性情報取得部と、
    記既知特性情報に基づいて強調処理を行う強調処理部と、
    を含み、
    前記強調処理部は、
    前記被写体に対する観察状態の判断を行い、前記観察状態がスクリーニング観察状態であると判断した場合には、前記既知特性情報により特定される特性と合致する前記被写体を前記強調処理の対象として、前記対象の色を強調する第1の処理内容で前記強調処理を行い、
    前記観察状態が拡大観察状態であると判断した場合には、前記対象の少なくとも構造を強調する第2の処理内容で前記強調処理を行うことを特徴とする内視鏡装置。
  4. 請求項において、
    前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部を含み、
    前記強調処理部は、
    前記被写体までの距離を代表する代表距離を前記距離情報に基づいて求め、
    前記代表距離が閾値よりも大きい場合には、前記第1の処理内容で前記強調処理を行い、
    前記代表距離が前記閾値よりも小さい場合には、前記第2の処理内容で前記強調処理を行うことを特徴とする内視鏡装置。
  5. 請求項において、
    前記既知特性情報は、正常粘膜の色よりも赤成分が大きい発赤部の色に関する既知の特性を表す情報であり、
    前記強調処理部は、
    前記代表距離が前記閾値よりも大きい場合には、前記対象として特定された前記発赤部の赤成分を強調する前記強調処理を行うことを特徴とする内視鏡装置。
  6. 請求項1又は3において、
    前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部を含み、
    前記強調処理部は、
    前記被写体までの距離を代表する代表距離を前記距離情報に基づいて求め、前記対象に対して、前記代表距離に対応する前記処理内容で前記強調処理を行うことを特徴とする内視鏡装置。
  7. 請求項において、
    前記強調処理部は、
    前記代表距離が、前記被写体のスクリーニング観察に対応する距離に該当すると判断した場合には、特定された前記対象に対して前記第1の処理内容の前記強調処理を行い、
    前記代表距離が、前記被写体の拡大観察に対応する距離に該当すると判断した場合には、特定された前記対象に対して、前記第1の処理内容とは異なる前記第2の処理内容の前記強調処理を行うことを特徴とする内視鏡装置。
  8. 請求項1又は3において、
    前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得する距離情報取得部を含み、
    前記強調処理部は、
    前記距離情報に基づいて前記観察状態の判断を行うことを特徴とする内視鏡装置。
  9. 内視鏡装置は、被写体の像を含む撮像画像を取得し、
    前記内視鏡装置は、前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得し、
    前記内視鏡装置は、前記被写体に対する観察状態の判断を行い、前記観察状態がスクリーニング観察状態であると判断した場合には、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を対象として、前記対象のうち第1のサイズ閾値よりもサイズが大きいと判断した凹凸部に対して強調処理を行う第1の処理内容で前記強調処理を行い、前記観察状態が拡大観察状態であると判断した場合には、前記対象のうち第2のサイズ閾値よりもサイズが小さいと判断した凹凸部に対して前記強調処理を行う第2の処理内容で前記強調処理を行うことを特徴とする内視鏡装置の作動方法
  10. 請求項9において、
    前記内視鏡装置は、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
    前記内視鏡装置は、前記距離情報に基づいて前記観察状態の判断を行うことを特徴とする内視鏡装置の作動方法。
  11. 内視鏡装置は、被写体の像を含む撮像画像を取得し、
    前記内視鏡装置は、前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得し、
    前記内視鏡装置は、前記被写体に対する観察状態の判断を行い、前記観察状態がスクリーニング観察状態であると判断した場合には、前記既知特性情報により特定される特性と合致する前記被写体を強調処理の対象として、前記対象の色を強調する第1の処理内容で前記強調処理を行い、前記観察状態が拡大観察状態であると判断した場合には、前記対象の少なくとも構造を強調する第2の処理内容で前記強調処理を行うことを特徴とする内視鏡装置の作動方法
  12. 請求項11において、
    前記内視鏡装置は、前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
    前記内視鏡装置は、前記距離情報に基づいて前記観察状態の判断を行うことを特徴とする内視鏡装置の作動方法。
  13. 被写体の像を含む撮像画像を取得し、
    前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得し、
    前記被写体に対する観察状態の判断を行い、前記観察状態がスクリーニング観察状態であると判断した場合には、前記既知特性情報により特定される特性と合致する前記被写体の凹凸部を対象として、前記対象のうち第1のサイズ閾値よりもサイズが大きいと判断した凹凸部に対して強調処理を行う第1の処理内容で前記強調処理を行い、前記観察状態が拡大観察状態であると判断した場合には、前記対象のうち第2のサイズ閾値よりもサイズが小さいと判断した凹凸部に対して前記強調処理を行う第2の処理内容で前記強調処理を行うステップを、
    コンピューターに実行させる画像処理プログラム。
  14. 請求項13において、
    前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
    前記距離情報に基づいて前記観察状態の判断を行うステップを、
    コンピューターに実行させる画像処理プログラム。
  15. 被写体の像を含む撮像画像を取得し、
    前記被写体の構造に関する既知の特性を表す情報である既知特性情報を取得し、
    前記被写体に対する観察状態の判断を行い、前記観察状態がスクリーニング観察状態であると判断した場合には、前記既知特性情報により特定される特性と合致する前記被写体を強調処理の対象として、前記対象の色を強調する第1の処理内容で前記強調処理を行い、前記観察状態が拡大観察状態であると判断した場合には、前記対象の少なくとも構造を強調する第2の処理内容で前記強調処理を行うステップを、
    コンピューターに実行させる画像処理プログラム。
  16. 請求項15において、
    前記撮像画像を撮像する際の撮像部から前記被写体までの距離に基づく距離情報を取得し、
    前記距離情報に基づいて前記観察状態の判断を行うステップを、
    コンピューターに実行させる画像処理プログラム。
JP2013035730A 2013-02-26 2013-02-26 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム Active JP6150555B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013035730A JP6150555B2 (ja) 2013-02-26 2013-02-26 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム
CN201380073710.0A CN105007802A (zh) 2013-02-26 2013-09-24 图像处理装置、内窥镜装置、图像处理方法和图像处理程序
EP13876188.7A EP2962622A4 (en) 2013-02-26 2013-09-24 IMAGE PROCESSING DEVICE, METHOD, AND PROGRAM, AND ENDOSCOPE DEVICE
PCT/JP2013/075628 WO2014132475A1 (ja) 2013-02-26 2013-09-24 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
US14/834,905 US20150363929A1 (en) 2013-02-26 2015-08-25 Endoscope apparatus, image processing method, and information storage device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013035730A JP6150555B2 (ja) 2013-02-26 2013-02-26 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム

Publications (3)

Publication Number Publication Date
JP2014161538A JP2014161538A (ja) 2014-09-08
JP2014161538A5 JP2014161538A5 (ja) 2016-04-07
JP6150555B2 true JP6150555B2 (ja) 2017-06-21

Family

ID=51427769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013035730A Active JP6150555B2 (ja) 2013-02-26 2013-02-26 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム

Country Status (5)

Country Link
US (1) US20150363929A1 (ja)
EP (1) EP2962622A4 (ja)
JP (1) JP6150555B2 (ja)
CN (1) CN105007802A (ja)
WO (1) WO2014132475A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6109695B2 (ja) * 2013-09-27 2017-04-05 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法並びに距離測定装置
JPWO2017033728A1 (ja) * 2015-08-26 2018-06-14 オリンパス株式会社 内視鏡装置
CN108135457B (zh) * 2015-10-26 2020-02-21 奥林巴斯株式会社 内窥镜图像处理装置
JPWO2017073337A1 (ja) * 2015-10-27 2017-11-09 オリンパス株式会社 内視鏡装置及びビデオプロセッサ
JP6266179B2 (ja) * 2015-12-22 2018-01-24 オリンパス株式会社 内視鏡用画像処理装置及び内視鏡システム
JP6949134B2 (ja) * 2017-11-02 2021-10-13 Hoya株式会社 電子内視鏡用プロセッサ及び電子内視鏡システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3035855B2 (ja) * 1991-01-11 2000-04-24 富士写真光機株式会社 電子内視鏡装置
JP2003088498A (ja) 2001-09-19 2003-03-25 Pentax Corp 電子内視鏡装置
JP2003126030A (ja) * 2001-10-23 2003-05-07 Pentax Corp 電子内視鏡装置
JP2005342234A (ja) 2004-06-03 2005-12-15 Olympus Corp 内視鏡装置
JP4855868B2 (ja) * 2006-08-24 2012-01-18 オリンパスメディカルシステムズ株式会社 医療用画像処理装置
JP5190944B2 (ja) * 2008-06-26 2013-04-24 富士フイルム株式会社 内視鏡装置および内視鏡装置の作動方法
US8538113B2 (en) * 2008-09-01 2013-09-17 Hitachi Medical Corporation Image processing device and method for processing image to detect lesion candidate region
JP5541914B2 (ja) * 2009-12-28 2014-07-09 オリンパス株式会社 画像処理装置、電子機器、プログラム及び内視鏡装置の作動方法
JP5658931B2 (ja) * 2010-07-05 2015-01-28 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5622461B2 (ja) * 2010-07-07 2014-11-12 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5698476B2 (ja) * 2010-08-06 2015-04-08 オリンパス株式会社 内視鏡システム、内視鏡システムの作動方法及び撮像装置
JP5562808B2 (ja) * 2010-11-11 2014-07-30 オリンパス株式会社 内視鏡装置及びプログラム
JP5159904B2 (ja) * 2011-01-11 2013-03-13 富士フイルム株式会社 内視鏡診断装置
JP5667917B2 (ja) * 2011-04-01 2015-02-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
JP5611892B2 (ja) * 2011-05-24 2014-10-22 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法

Also Published As

Publication number Publication date
JP2014161538A (ja) 2014-09-08
US20150363929A1 (en) 2015-12-17
WO2014132475A1 (ja) 2014-09-04
CN105007802A (zh) 2015-10-28
EP2962622A4 (en) 2016-11-16
EP2962622A1 (en) 2016-01-06

Similar Documents

Publication Publication Date Title
JP6045417B2 (ja) 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
JP6176978B2 (ja) 内視鏡用画像処理装置、内視鏡装置、内視鏡用画像処理装置の作動方法及び画像処理プログラム
JP6150554B2 (ja) 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
JP6112879B2 (ja) 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
JP6049518B2 (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
JP6150583B2 (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
JP5855358B2 (ja) 内視鏡装置及び内視鏡装置の作動方法
JP6150555B2 (ja) 内視鏡装置、内視鏡装置の作動方法及び画像処理プログラム
JP6253230B2 (ja) 画像処理装置、プログラム及び画像処理装置の作動方法
JP6168876B2 (ja) 検出装置、学習装置、検出方法、学習方法及びプログラム
JP2014161355A (ja) 画像処理装置、内視鏡装置、画像処理方法及びプログラム
JP6150617B2 (ja) 検出装置、学習装置、検出方法、学習方法及びプログラム
JP6128989B2 (ja) 画像処理装置、内視鏡装置及び画像処理装置の作動方法
JP6168878B2 (ja) 画像処理装置、内視鏡装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170523

R151 Written notification of patent or utility model registration

Ref document number: 6150555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250