JP5534288B2 - 信号処理装置、信号処理装置の作動方法、およびプログラム - Google Patents

信号処理装置、信号処理装置の作動方法、およびプログラム Download PDF

Info

Publication number
JP5534288B2
JP5534288B2 JP2008095956A JP2008095956A JP5534288B2 JP 5534288 B2 JP5534288 B2 JP 5534288B2 JP 2008095956 A JP2008095956 A JP 2008095956A JP 2008095956 A JP2008095956 A JP 2008095956A JP 5534288 B2 JP5534288 B2 JP 5534288B2
Authority
JP
Japan
Prior art keywords
component
light
subject
intensity
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008095956A
Other languages
English (en)
Other versions
JP2009250658A (ja
Inventor
博司 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008095956A priority Critical patent/JP5534288B2/ja
Priority to US12/385,207 priority patent/US9097589B2/en
Priority to EP09251033.8A priority patent/EP2106738B1/en
Publication of JP2009250658A publication Critical patent/JP2009250658A/ja
Application granted granted Critical
Publication of JP5534288B2 publication Critical patent/JP5534288B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/51Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters
    • G01J3/513Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors using colour filters having fixed filter-detector pairs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis

Description

本発明は、画像を撮像する信号処理装置、信号処理方法、およびプログラムに関する。本発明は、特に、被写体から受光した光に含まれる照明光の成分を特定できる信号処理装置、信号処理方法、およびプログラムに関する。
観察部位の吸光特性が異なる二つの波長の光による二つの映像信号の差を検出することにより、照明光の反射光成分を除去した画像信号を生成する技術が考案されている(たとえば、特許文献1参照。)。また、波長が異なる複数の光の減光度の比に基づいて、酸素飽和度の変化による影響を受けることなく血中吸光物質の濃度を測定する技術が考案されている(たとえば、特許文献2参照。)。また、酸化ヘモグロビンの反射特性が異なる二つの波長の光による二つの画像の差を検出することにより、酸化ヘモグロビンの分布状態を示す差分画像を生成する技術が考案されている(たとえば、特許文献3参照。)。また、被写体に照射する照明光の波長領域を制限することにより被写体の離散的な分光分布のバンド像を撮像する技術が考案されている(たとえば、特許文献4参照。)。
特許第2643941号公報 特許第3972176号公報 特開2002−272744号公報 特開2002−95635号公報
しかしながら、上記技術では、被写体の色素の影響が除去された被写体の画像を得ることができない。たとえば、生体の色素であるヘモグロビンの影響が除去されていない生体の画像では、生体の表面の病変部などの凹凸形状の状態を正確に判断できない。
上記課題を解決するために、本発明の第1の形態においては、特定の被写体からの光を、被写体に照射された光の色に起因する成分である照明光成分と、被写体が有する色素の色に起因する色素成分とに分離する信号処理装置であって、被写体からの光のうちの、第1波長および第1波長と異なる第2波長の光の強度をそれぞれ検出する光強度検出部と、被写体による第1波長の光の第1吸収率と第2波長の光の第2吸収率との差、および光強度検出部が検出した第1波長の光の強度と第2波長の光の強度との差に基づいて、被写体からの光のうちの色素成分を特定する色素成分特定部と、被写体が撮像された被写体画像および色素成分特定部が特定した色素成分に基づいて、被写体からの光のうちの照明光成分を特定する照明光成分特定部とを備える。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、実施形態に係る撮像装置100のブロック構成の一例を示す。以降の説明では、信号処理装置の一例としての撮像装置100について説明する。
撮像装置100は、特定の被写体からの光を、被写体に照射された光の色に起因する成分である照明光成分と、前記被写体が有する色素の色に起因する色素成分とに分離する。照明光成分は、被写体の表面に反射される光の成分である表面反射光成分であってもよい。すなわち、撮像装置100は、特定の被写体からの光を、表面反射光成分と色素成分とに分離してもよい。
撮像装置100は、発光部112、受光部114、撮像制御部116、光強度検出部118、色素成分特定部120、照明光成分特定部122、および被写体情報格納部124を備える。また、撮像装置100は、被写体画像取得部126、色素成分強調部128、照明光成分強調部130、照明光画像生成部132、および表示部134を備える。
撮像装置100は、内視鏡であってよい。撮像装置100が内視鏡である場合、発光部112、および受光部114は、生体内に挿入される内視鏡の挿入部の先端に設けられてよい。他の例においては、発光部112は、挿入部の外部に設けられ、内視鏡の挿入部に設けられたライトガイドを介して、生体に光を照射してもよい。また、受光部114は、挿入部の外部に設けられ、内視鏡の挿入部に設けられたライトガイドを介して、生体からの光を受光してもよい。
発光部112は、被写体に対して光を発光する。具体的には、発光部112は、被写体による光の吸収特性として極小値を有する第1波長の光を発光する。たとえば、発光部112は、第1波長の光の一例として、ヘモグロビンの光の吸収特性の極小値である440nmの波長の光を発光する。また、発光部112は、被写体による光の吸収特性として極大値を有する第2波長の光を発光する。たとえば、発光部112は、第2の波長の光の一例として、ヘモグロビンの光の吸収波長の極大値である500nmの波長の光を発光する。
発光部112は、第1波長の光および第2波長の光の強度をそれぞれ検出するための、第1波長の光と第2波長の光とを含む広帯域光を発光してもよい。たとえば、発光部112は、第1波長の光および第2波長の光の強度をそれぞれ検出するための、白色光を発光してもよい。
発光部112は、第1波長の光を発光する第1発光素子と、第2波長の光を発光する第2発光素子とを有してもよい。発光部112は、第1波長の光を透過する第1発光フィルタと、第2波長領域の光を透過する第2発光フィルタとを有してもよい。
発光部112は、被写体画像を撮像するための広帯域光をさらに発光してもよい。たとえば、発光部112は、被写体画像を撮像するための白色光をさらに発光してもよい。
受光部114は、被写体からの光を受光する。具体的には、受光部114は、第1波長の光および第2波長の光の強度をそれぞれ検出するための、第1波長の光および第2波長の光を受光する。たとえば、受光部114は、第1波長の光および第2波長の光の強度をそれぞれ検出するための、第1波長の光の一例としての440nmの波長の光、および第2波長の光の一例としての500nmの波長の光を受光する。
受光部114は、第1波長の光を受光する複数の第1受光素子と、第2波長の光を受光する複数の第2受光素子とを有してもよい。これに対応して、受光部114は、第1波長の光を主に透過する複数の第1受光フィルタと、第2波長の光を主に透過する複数の第2受光フィルタとを有してもよい。受光部114は、第1受光素子および第2受光素子のかわりに、第1波長の光の強度を検出する第1測光部および第2波長の光の強度を検出する第2測光部を有してもよい。
受光部114は、第1受光素子および第2受光素子が規則的に配列されたCCDまたはCMOSであってよい。他の例においては、第1受光素子および第2受光素子は、それぞれ異なるCCDまたはCMOSであってよい。
受光部114は、被写体画像を撮像するための、被写体からの広帯域光をさらに受光してもよい。たとえば、受光部114は、被写体画像を撮像するための、被写体からの広帯域光をさらに受光してもよい。
受光部114は、被写体画像を撮像するための、被写体からの広帯域光を受光する複数の受光素子をさらに有してもよい。受光部114は、被写体画像を撮像するための、被写体からの広帯域光を色成分毎に受光する複数の色成分毎の受光素子をさらに有してもよい。たとえば、受光部114は、被写体画像を撮像するための、被写体からの広帯域光をR成分、G成分、およびB成分毎に受光する複数の色成分毎の受光素子をさらに有してもよい。
撮像制御部116は、発光部112による発光タイミングを制御する。たとえば、撮像制御部116は、発光部112を制御することにより、第1波長の光と第2波長の光とを順次発光させる。撮像制御部116は、発光部112を制御することにより、第1波長の光と第2波長の光とを同時に発光させてもよい。
撮像制御部116は、発光部112を制御することにより、第1波長の光と、第2波長の光と、被写体画像を撮像するための広帯域光とを順次発光させてもよい。受光部114が、広帯域光のうちの第1波長の光と、広帯域光のうちの第2波長の光と、被写体画像を撮像するための広帯域光とをそれぞれ同時に受光できる場合は、撮像制御部116は、広帯域光だけを発光させてもよい。
撮像制御部116は、受光部114による受光タイミングを制御する。たとえば、撮像制御部116は、受光部114を制御することにより、第1波長の光と第2波長の光とを順次受光させる。撮像制御部116は、受光部114を制御することにより、第1波長の光と第2波長の光とを同時に受光させてもよい。
発光部112が、第1波長の光と、第2波長の光と、被写体画像を撮像するための広帯域光とを順次発光する場合、撮像制御部116は、受光部114を制御することにより、第1波長の光と、第2波長の光と、被写体画像を撮像するための広帯域光とを順次受光させてもよい。これにより、撮像制御部116は、第1波長の光の像と、第2波長の光の像と、被写体画像とを順次撮像してもよい。
一方、発光部112が、広帯域光だけを発光する場合、撮像制御部116は、受光部114を制御することにより、広帯域光のうちの第1波長の光、広帯域光のうちの第2波長の光、および広帯域光を同時に受光させてもよい。これにより、撮像制御部116は、第1波長の光の像と、第2波長の光の像と、被写体画像とを同時に撮像してもよい。
光強度検出部118は、被写体からの光のうちの、第1波長および第2波長の光の強度をそれぞれ検出する。具体的には、光強度検出部118は、被写体の光の吸収特性において極大値となる第1波長、および被写体の光の吸収特性において極大値となる第2波長の光の強度をそれぞれ検出する。光強度検出部118は、受光部114が受光した第1波長および第2波長の光の強度をそれぞれ検出してもよい。
被写体情報格納部124は、被写体からの光のうちの色素成分を特定するための色情報を格納する。たとえば、被写体情報格納部124は、被写体による第1吸収率と第2吸収率との差である第1の差、および光強度検出部118によって検出される第1波長の光の強度と第2波長の光の強度との差である第2の差に対応づけて、被写体の色情報を格納する。第1吸収率とは、被写体による第1波長の光の吸収率を示す。第2吸収率とは、被写体による第2波長の光の吸収率を示す。
被写体情報格納部124は、色成分ごとの強度が示されている色情報を格納してもよい。たとえば、被写体情報格納部124は、B成分、G成分、およびR成分のそれぞれの強度が示されている色情報を格納してもよい。
色素成分特定部120は、被写体による第1吸収率と第2吸収率との差である第1の差、および光強度検出部118が検出した第1波長の光の強度と第2波長の光の強度との差である第2の差に基づいて、被写体からの光のうちの色素成分を特定する。色素成分特定部120は、被写体情報格納部124が格納している色情報に基づいて、被写体からの光のうちの色素成分を特定してもよい。たとえば、色素成分特定部120は、第1の差および第2の差を算出した後に、算出した第1の差および第2の差に対応づけられている色情報を、被写体情報格納部124から取得してもよい。
色素成分特定部120は、被写体による第1波長の光の第1吸収率と第2波長の光の第2吸収率との比を、第1の差として用いてもよい。また、光強度検出部118が検出した第1波長の光の強度と第2波長の光の強度との比を、第2の差として用いてもよい。
第1吸収率は、被写体に照射された第1波長の光の照射光量と、被写体から反射された第1波長の光の反射光量とに基づいて、予め算出されていてもよい。色素成分特定部120は、第1吸収率を、当該第1吸収率が予め格納されているメモリなどの記録媒体から取得してもよい。
第2吸収率は、被写体に照射された第2波長の光の照射光量と、被写体から反射された第2波長の光の反射光量とに基づいて、予め算出されていてもよい。色素成分特定部120は、第2吸収率を、当該第2吸収率が予め格納されているメモリなどの記録媒体から取得してもよい。
被写体画像取得部126は、被写体が撮像された被写体画像を取得する。たとえば、被写体画像取得部126は、撮像制御部116の制御によって撮像された被写体画像を取得する。被写体画像取得部126は、複数の色成分を有する画像を被写体画像として取得してもよい。たとえば、被写体画像取得部126は、R成分、G成分、およびB成分を有するカラー画像を被写体画像として取得してもよい。
被写体画像取得部126は、一つの色成分を有する被写体画像を取得してもよい。たとえば、被写体画像取得部126は、B成分を有する白黒画像を被写体画像として取得してもよい。また、被写体画像取得部126は、G成分を有する白黒画像を被写体画像として取得してもよい。
被写体画像取得部126は、受光部114が受光した第1波長の光による画像を被写体画像として取得してもよい。たとえば、被写体画像取得部126は、受光部114が受光した440nmの波長の光による画像を被写体画像として取得してもよい。
また、被写体画像取得部126は、受光部114が受光した第2波長の光による画像を被写体画像として取得してもよい。たとえば、被写体画像取得部126は、受光部114が受光した500nmの波長の光による画像を被写体画像として取得してもよい。
照明光成分特定部122は、被写体画像取得部126によって取得された被写体画像、および色素成分特定部120が特定した色素成分に基づいて、被写体からの光のうちの照明光成分を特定する。照明光成分特定部122は、被写体画像取得部126によって取得された被写体画像の色情報から、色素成分特定部120が特定した色素成分の色情報を減算することにより、被写体からの光のうちの照明光成分を特定してもよい。
照明光成分特定部122は、被写体画像が分割された部分領域毎に、被写体からの光のうちの照明光成分を特定してもよい。たとえば、光強度検出部118は、部分領域毎に、第1波長および第2波長の光の強度をそれぞれ検出してもよい。また、色素成分特定部120は、部分領域毎に、被写体からの光のうちの色素成分を特定してもよい。そして、照明光成分特定部122は、部分領域毎に、被写体からの光のうちの照明光成分を特定してもよい。たとえば、照明光成分特定部122は、2×2画素、4×4画素、または8×8画素を含む部分領域毎に、被写体からの光のうちの照明光成分を特定してもよい。
色素成分強調部128は、被写体画像取得部126によって取得された被写体画像の、色素成分特定部が特定した色素成分の色情報を強調する。色素成分強調部128は、被写体画像取得部126によって取得された被写体画像の、色素成分特定部が特定した色素成分の強度を高めてもよい。色素成分強調部128は、被写体画像取得部126によって取得された被写体画像のうちの、一つの色素成分の強度を強調してもよい。たとえば、色素成分強調部128は、被写体画像取得部126によって取得された被写体画像のうちの、G成分の強度を強調してもよい。
照明光成分強調部130は、被写体画像取得部126によって取得された被写体画像の、照明光成分特定部が特定した照明光成分の色情報を強調する。照明光成分強調部130は、被写体画像取得部126によって取得された被写体画像の、照明光成分特定部が特定した照明光成分の強度を高めてもよい。照明光成分強調部130は、被写体画像取得部126によって取得された被写体画像のうちの、一つの色素成分の強度を強調してもよい。たとえば、照明光成分強調部130は、被写体画像取得部126によって取得された被写体画像のうちの、B成分の強度を強調してもよい。
照明光画像生成部132は、被写体画像取得部126によって取得された被写体画像、および色素成分特定部120が特定した色素成分に基づいて、照明光成分特定部122が特定した照明光成分の光の画像を生成する。照明光画像生成部132は、被写体画像取得部126によって取得された被写体画像の色情報から、色素成分特定部120が特定した色素成分の色情報を差し引くことによって、照明光成分特定部122が特定した照明光成分の光の画像を生成してもよい。
表示部134は、各種画像を表示する。たとえば、表示部134は、被写体画像取得部126によって取得された被写体画像を表示する。表示部134は、照明光画像生成部132が生成した照明光成分の光の画像を表示してもよい。表示部134は、照明光画像生成部132が生成した照明光成分の光の画像を擬似カラー表示してもよい。
表示部134は、複数の色成分を有する被写体画像を表示してもよい。たとえば、表示部134は、R成分、G成分、およびB成分を有する被写体画像を表示してもよい。表示部134は、一つの色成分を有する被写体画像を表示してもよい。たとえば、表示部134は、B成分を有する被写体画像を表示してもよい。また、表示部134は、G成分を有する被写体画像を表示してもよい。表示部134は、一つの色成分を有する被写体画像を擬似カラー表示してもよい。
表示部134は、照明光成分強調部130によって照明光成分が強調された被写体画像を表示してもよい。また、表示部134は、色素成分強調部128によって色素成分が強調された被写体画像を表示してもよい。また、表示部134は、照明光成分強調部130によって照明光成分が強調された被写体画像と、色素成分強調部128によって色素成分が強調された被写体画像とを、切り替え表示してもよい。また、表示部134は、被写体画像取得部126によって取得された被写体画像と、照明光画像生成部132が生成した画像とを、切り替え表示してもよい。
図2は、被写体からの照明光成分の光の周波数特性の一例を示す。図2に示すグラフにおいて、横軸は、光の波長を示す。また、縦軸は、被写体からの光のうちの照明光成分の光の強度を示す。周波数特性201および周波数特性202は、それぞれ、被写体からの照明光成分の光の周波数特性を示す。周波数特性201と周波数特性202とでは、被写体に照射された照射光の強度が異なる。
周波数特性201および周波数特性202は、いずれも、440nmの波長成分において、被写体からの照明光成分の光の周波数特性として極大値を有する。また、周波数特性201および周波数特性202は、いずれも、500nmの波長において、被写体からの照明光成分の光の周波数特性として極小値を有する。
すなわち、周波数特性201および周波数特性202は、いずれも、440nmの波長成分において、照明光成分の光の吸収特性として極小値を有する。また、周波数特性201および周波数特性202は、いずれも、500nmの波長において、照明光成分の光の吸収特性として極大値を有する。
周波数特性201における光の強度と、周波数特性202における光の強度との差は、いずれの波長においても、略一定となる。すなわち、被写体からの照明光成分の光の周波数特性は、被写体に照射された照射光の強度に依存しない。したがって、第1の波長を440nmとして、第2の波長を500nmとした場合において、被写体からの照明光成分の光のうちの第1の波長の光の強度と、第2の波長の光の強度との差は、被写体に照射された照射光の強度に依存せず、略一定となる。
図3は、被写体からの色素成分の光の周波数特性の一例を示す。図3に示すグラフにおいて、横軸は、光の波長を示す。また、縦軸は、被写体からの光のうちの色素成分の光の強度を示す。周波数特性301および周波数特性302は、それぞれ、被写体からの色素成分の光の周波数特性を示す。周波数特性301と周波数特性302とでは、被写体に照射された照射光の強度が異なる。
周波数特性301および周波数特性302は、いずれも、被写体からの照明光成分の光の周波数特性と同様に、440nmの波長成分において、被写体からの色素成分の光の周波数特性として極大値を有する。また、周波数特性201および周波数特性202は、いずれも、被写体からの照明光成分の光の周波数特性と同様に、500nmの波長において、被写体からの色素成分の光の周波数特性として極小値を有する。
すなわち、周波数特性301および周波数特性302は、いずれも、440nmの波長成分において、色素成分の光の吸収特性として極小値を有する。また、周波数特性301および周波数特性302は、いずれも、500nmの波長において、色素成分の光の吸収特性として極大値を有する。
周波数特性301における光の強度と、周波数特性302における光の強度との差は、波長によって異なる。すなわち、被写体からの色素成分の光の周波数特性は、被写体に照射された照射光の強度に依存する。したがって、第1の波長を440nmとして、第2の波長を500nmとした場合において、被写体からの色素成分の光のうちの第1の波長の光の強度と、第2の波長の光の強度との差は、被写体に照射された照射光の強度に依存するので、一定とはならない。
図2および図3が示すように、第1の波長の光の吸収率と第2の波長の光の吸収率との差である第1の差は、照明光成分においては一定であり、色素成分においては可変である。そこで、本実施形態の撮像装置100は、第1の差と、被写体からの光のうちの第1の波長の光の強度と第2の波長の光の強度との差である第2の差との差分から、色素成分を特定する。そして、特定した色素成分を被写体画像から差し引くことにより、被写体の色素成分による影響が排除された照明光成分の画像を抽出できる。
なお、第1の波長を540nmとして、第2の波長を500nmとしてもよい。また、第1の波長を440nmとして、第2の波長を540nmとしてもよい。これらの場合においても、第1の波長の光の吸収率と第2の波長の光の吸収率との差は、照明光成分においては一定であり、色素成分においては可変である。したがって、第1の波長を440nmとして、第2の波長を500nmとした場合と同様の方法により、被写体画像から照明光成分の画像を抽出できる。
図4は、被写体画像取得部126が取得した被写体画像に含まれる色成分の一例を示す。図4において、強度401、強度411、および強度421は、被写体画像取得部126が取得した被写体画像の各色成分の強度を示す。
強度401は、被写体画像のうちのB成分(420nm〜490nm)の強度を示す。強度411は、被写体画像のうちのG成分(490nm〜600nm)の強度を示す。強度421は、被写体画像のうちのR成分(600nm〜750nm)の強度を示す。
強度402、強度412、および強度422は、色素成分特定部120によって特定された、被写体画像の色素成分の各色成分の強度を示す。強度402は、被写体画像の色素成分のうちのB成分(420nm〜490nm)の強度を示す。強度412は、被写体画像の色素成分のうちのG成分(490nm〜600nm)の強度を示す。強度422は、被写体画像の色素成分のうちのR成分(600nm〜750nm)の強度を示す。たとえば、色素成分特定部120は、被写体情報格納部124が格納している色情報から、強度402、強度412、および強度422を特定できる。
一例を挙げると、まず、色素成分特定部120は、被写体による440nmの波長の吸収率と、500nmの波長の光の吸収率との差である第1の差を取得する。たとえば、色素成分特定部120は、第1の差を、当該第1の差が格納されているメモリなどから取得する。つぎに、色素成分特定部120は、光強度検出部118が検出した440nmの光の強度と500nmの光の強度との差である第2の差を算出する。
そして、色素成分特定部120は、取得した第1の差および算出した第2の差に対応付けられている色情報を被写体情報格納部124から取得する。たとえば、被写体情報格納部124から取得した色情報には、B成分、G成分、およびR成分のそれぞれの強度が示されている。これにより、色素成分特定部120は、被写体情報格納部124が格納している色情報から、強度402、強度412、および強度422を特定できる。
他の例では、まず、色素成分特定部120は、被写体による440nmの波長の吸収率と、500nmの波長の光の吸収率との差である第1の差を取得する。たとえば、色素成分特定部120は、第1の差を、当該第1の差が格納されているメモリなどから取得する。つぎに、色素成分特定部120は、光強度検出部118が検出した440nmの光の強度と500nmの光の強度との差である第2の差を算出する。
そして、色素成分特定部120は、取得した第1の差と算出した第2の差との差分を算出する。そして、色素成分特定部120は、算出した差分に対応付けられている色情報を被写体情報格納部124から取得する。たとえば、被写体情報格納部124から取得した色情報には、B成分、G成分、およびR成分のそれぞれの強度が示されている。これにより、色素成分特定部120は、被写体情報格納部124が格納している色情報から、強度402、強度412、および強度422を特定できる。
色素成分特定部120は、被写体画像の画素毎に、強度402、強度412、および強度422を特定してもよい。また、色素成分特定部120は、被写体画像の部分領域毎に、強度402、強度412、および強度422を特定してもよい。たとえば、色素成分特定部120は、被写体画像の4×4画素、8×8画素、または16×16画素を含む部分領域毎に、強度402、強度412、および強度422を特定してもよい。
強度403、強度413、および強度423は、照明光成分特定部122によって特定された、被写体画像の照明光成分の強度を示す。強度403は、被写体画像の照明光成分のうちのB成分(420nm〜490nm)の強度を示す。強度413は、被写体画像の照明光成分のうちのG成分(490nm〜600nm)の強度を示す。強度423は、被写体画像の照明光成分のうちのR成分(600nm〜750nm)の強度を示す。
たとえば、照明光成分特定部122は、被写体画像のうちのB成分の強度401から、被写体画像の色素成分のうちのB成分の強度402を減算することによって、被写体画像の照明光成分のうちのB成分の強度403を算出してもよい。また、照明光成分特定部122は、被写体画像のうちのG成分の強度411から、被写体画像の色素成分のうちのG成分の強度412を減算することによって、被写体画像の照明光成分のうちのG成分の強度413を算出してもよい。また、照明光成分特定部122は、被写体画像のうちのR成分の強度421から、被写体画像の色素成分のうちのR成分の強度422を減算することによって、被写体画像の照明光成分のうちのR成分の強度423を算出してもよい。
照明光成分特定部122は、被写体画像の画素毎に、強度403、強度413、および強度423を特定してもよい。また、照明光成分特定部122は、被写体画像の部分領域毎に、強度403、強度413、および強度423を特定してもよい。たとえば、照明光成分特定部122は、被写体画像の4×4画素、8×8画素、または16×16画素を含む部分領域毎に、強度403、強度413、および強度423を特定してもよい。
図5は、色素成分および照明光成分を特定する単位としての部分領域の一例を示す。被写体画像取得部126が取得した被写体画像を示す。画像500は、部分領域511、部分領域512、部分領域513、および部分領域514を含む。それぞれの部分領域は、4×4画素を含む。
画像500は、RGBそれぞれの色成分の配列の一例を示したものであって、このような配列に限定するものではない。また、部分領域の構成は、4×4画素に限定するものではなく、たとえば、8×8画素、16×16画素などであってもよい。
色素成分特定部120は、部分領域511、部分領域512、部分領域513、および部分領域514のそれぞれについて、色素成分を特定してもよい。たとえば、色素成分特定部120は、部分領域511、部分領域512、部分領域513、および部分領域514のそれぞれについて、色素成分のうちのR成分の強度、G成分の強度、B成分の強度を特定してもよい。
照明光成分特定部122は、部分領域511、部分領域512、部分領域513、および部分領域514のそれぞれについて、照明光成分を特定してもよい。たとえば、照明光成分特定部122は、部分領域511、部分領域512、部分領域513、および部分領域514のそれぞれについて、照明光成分のうちのR成分の強度、G成分の強度、B成分の強度を特定してもよい。
図6は、被写体画像取得部126によって取得された被写体画像の一例を示す。被写体画像600は、突起部601、影響領域602、および影響領域603を含む。
被写体画像600において、突起部601は、比較的明るい領域に存在する。このため、たとえば医師は、被写体画像600から、突起部601の状態を的確に診断できる。一方、被写体画像600において、影響領域602および影響領域603は、比較的暗い領域に存在する領域であって、被写体の色素の影響によってより暗くなっている領域を示す。このため、たとえば医師は、被写体画像600から、影響領域602および影響領域603における被写体の表面の状態を的確に診断できない。
図7は、照明光画像生成部132によって生成された画像の一例を示す。画像700は、図6に示した被写体画像600の色情報から、色素成分特定部120によって特定された色素成分の色情報を差し引くことによって生成された、被写体の照明光成分の画像を示す。
画像700においては、色素成分の色情報が差し引かれているので、被写体画像600に含まれていた影響領域602および影響領域603が解消されている。これにより、画像700では、突起部701が視認可能な状態で示されている。したがって、たとえば医師は、画像700から、突起部701の状態を的確に診断できる。
図8は、撮像装置100のハードウェア構成の一例を示す。撮像装置100は、CPU周辺部と、入出力部と、レガシー入出力部とを備える。CPU周辺部は、ホスト・コントローラ1582により相互に接続されるCPU1505、RAM1520、グラフィック・コントローラ1575、および表示デバイス1580を有する。入出力部は、I/Oコントローラ1584によりホスト・コントローラ1582に接続される通信I/F1530、ハードディスクドライブ1540、およびCD−ROMドライブ1560を有する。レガシー入出力部は、I/Oコントローラ1584に接続されるROM1510、FDドライブ1550、およびI/Oチップ1570を有する。
ホスト・コントローラ1582は、RAM1520と、RAM1520をアクセスするCPU1505、およびグラフィック・コントローラ1575とを接続する。CPU1505は、ROM1510、およびRAM1520に格納されたプログラムに基づいて動作して、各部の制御をする。グラフィック・コントローラ1575は、CPU1505等がRAM1520内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス1580上に表示させる。これに代えて、グラフィック・コントローラ1575は、CPU1505等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
I/Oコントローラ1584は、ホスト・コントローラ1582と、比較的高速な入出力装置であるハードディスクドライブ1540、通信I/F1530、CD−ROMドライブ1560を接続する。ハードディスクドライブ1540は、CPU1505が使用するプログラム、およびデータを格納する。通信I/F1530は、ネットワーク通信装置1598に接続してプログラムまたはデータを送受信する。CD−ROMドライブ1560は、CD−ROM1595からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、および通信I/F1530に提供する。
I/Oコントローラ1584には、ROM1510と、FDドライブ1550、およびI/Oチップ1570の比較的低速な入出力装置とが接続される。ROM1510は、撮像装置100が起動時に実行するブート・プログラム、あるいは撮像装置100のハードウェアに依存するプログラム等を格納する。FDドライブ1550は、フレキシブルディスク1590からプログラムまたはデータを読み取り、RAM1520を介してハードディスクドライブ1540、および通信I/F1530に提供する。I/Oチップ1570は、FDドライブ1550、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。
CPU1505が実行するプログラムは、フレキシブルディスク1590、CD−ROM1595、またはICカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ1540にインストールされ、RAM1520に読み出されてCPU1505により実行される。CPU1505により実行されるプログラムは、撮像装置100を、図1から図7に関連して説明した撮像装置100が備える各機能部として機能させる。
以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク1590、CD−ROM1595の他に、DVDまたはPD等の光学記録媒体、MD等の光磁気記録媒体、テープ媒体、ICカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはRAM等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとして撮像装置100に提供してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
実施形態に係る撮像装置100のブロック構成の一例を示す。 被写体からの照明光成分の光の周波数特性の一例を示す。 被写体からの色素成分の光の周波数特性の一例を示す。 被写体画像取得部126が取得した被写体画像に含まれる色成分の一例を示す。 色素成分および照明光成分を特定する単位としての部分領域の一例を示す。 被写体画像取得部126によって取得された被写体画像の一例を示す。 照明光画像生成部132によって生成された画像の一例を示す。 撮像装置100のハードウェア構成の一例を示す。
符号の説明
100 撮像装置
112 発光部
114 受光部
116 撮像制御部
118 光強度検出部
120 色素成分特定部
122 照明光成分特定部
124 被写体情報格納部
126 被写体画像取得部
128 色素成分強調部
130 照明光成分強調部
132 照明光画像生成部
134 表示部
201 周波数特性
202 周波数特性
301 周波数特性
302 周波数特性
401 強度
402 強度
403 強度
411 強度
412 強度
413 強度
421 強度
422 強度
423 強度
500 画像
511 部分領域
512 部分領域
513 部分領域
514 部分領域
600 被写体画像
601 突起部
602 影響領域
603 影響領域
700 画像
701 突起部
1505 CPU
1510 ROM
1520 RAM
1530 通信I/F
1540 ハードディスクドライブ
1550 FDドライブ
1560 CD−ROMドライブ
1570 I/Oチップ
1575 グラフィック・コントローラ
1580 表示デバイス
1582 ホスト・コントローラ
1584 I/Oコントローラ
1590 フレキシブルディスク
1595 CD−ROM
1598 ネットワーク通信装置

Claims (7)

  1. 特定の被写体からの光を、前記被写体に照射された光の色に起因する成分である照明光成分と、前記被写体が有する色素の色に起因する色素成分とに分離する信号処理装置であって、
    R成分、G成分、及びB成分を有する被写体画像を取得する被写体画像取得部と、
    前記被写体の光の吸収特性において極小値となる第1波長、および前記被写体の光の吸収特性において極大値となる第2波長の光の強度をそれぞれ検出する光強度検出部と、
    前記被写体による前記第1波長の光の第1吸収率と前記第2波長の光の第2吸収率との差、および前記光強度検出部が検出した前記第1波長の光の強度と前記第2波長の光の強度との差に対応づけて、R成分、G成分、及びB成分のそれぞれの強度が示されている前記被写体の色情報を格納している被写体情報格納部と、
    前記被写体情報格納部が格納している色情報から、前記被写体画像における色素成分のR成分、G成分、及びB成分のそれぞれの強度を特定する色素成分特定部と、
    記被写体画像の色情報から、前記色素成分特定部が特定した色素成分を差し引くことによって、前記被写体画像における照明光成分のR成分、G成分、及びB成分のそれぞれの強度を特定する照明光成分特定部と
    を備える信号処理装置。
  2. 前記光強度検出部は、前記被写体画像が分割された部分領域毎に、前記第1波長および前記第2波長の光の強度をそれぞれ検出し、
    前記色素成分特定部は、前記部分領域毎に、前記被写体からの光のうちの色素成分を特定し、
    前記照明光成分特定部は、前記部分領域毎に、前記被写体からの光のうちの照明光成分を特定する請求項1に記載の信号処理装置。
  3. 記照明光成分特定部が特定した照明光成分の光の画像を生成する照明光画像生成部
    をさらに備える請求項1又は2に記載の信号処理装置。
  4. 記被写体画像の、前記照明光成分特定部が特定した照明光成分の色情報を強調する照明光成分強調部
    をさらに備える請求項1から3のいずれか一項に記載の信号処理装置。
  5. 前記被写体が撮像された被写体画像の、前記色素成分特定部が特定した色素成分の色情報を強調する色素成分強調部
    をさらに備える請求項1から4のいずれか一項に記載の信号処理装置。
  6. 特定の被写体からの光を、前記被写体に照射された光の色に起因する成分である照明光成分と、前記被写体が有する色素の色に起因する色素成分とに分離する信号処理装置の作動方法であって、
    前記信号処理装置が備える被写体画像取得部が、R成分、G成分、及びB成分を有する被写体画像を取得する被写体画像取得段階と、
    前記信号処理装置が備える光強度検出部が、前記被写体の光の吸収特性において極小値となる第1波長、および前記被写体の光の吸収特性において極大値となる第2波長の光の強度をそれぞれ検出する光強度検出段階と、
    前記信号処理装置が備える色素成分特定部が、前記被写体による前記第1波長の光の第1吸収率と前記第2波長の光の第2吸収率との差、および前記光強度検出段階で検出した前記第1波長の光の強度と前記第2波長の光の強度との差に対応づけて被写体情報格納部に格納されているR成分、G成分、及びB成分のそれぞれの強度が示されている前記被写体の色情報から、前記被写体画像における色素成分のR成分、G成分、及びB成分のそれぞれの強度を特定する色素成分特定段階と、
    前記信号処理装置が備える照明光成分特定部が、前記被写体画像の色情報から、前記色素成分特定段階で特定された色素成分を差し引くことによって、前記被写体画像における照明光成分のR成分、G成分、及びB成分のそれぞれの強度を特定する照明光成分特定段階と
    を備える信号処理装置の作動方法。
  7. コンピュータを、請求項1から5のいずれか一項に記載の信号処理装置として機能させるためのプログラム。
JP2008095956A 2008-04-02 2008-04-02 信号処理装置、信号処理装置の作動方法、およびプログラム Active JP5534288B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008095956A JP5534288B2 (ja) 2008-04-02 2008-04-02 信号処理装置、信号処理装置の作動方法、およびプログラム
US12/385,207 US9097589B2 (en) 2008-04-02 2009-04-01 Signal processing apparatus, signal processing method and computer readable medium
EP09251033.8A EP2106738B1 (en) 2008-04-02 2009-04-01 Signal processing apparatus, signal processing method and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008095956A JP5534288B2 (ja) 2008-04-02 2008-04-02 信号処理装置、信号処理装置の作動方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2009250658A JP2009250658A (ja) 2009-10-29
JP5534288B2 true JP5534288B2 (ja) 2014-06-25

Family

ID=40796310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008095956A Active JP5534288B2 (ja) 2008-04-02 2008-04-02 信号処理装置、信号処理装置の作動方法、およびプログラム

Country Status (3)

Country Link
US (1) US9097589B2 (ja)
EP (1) EP2106738B1 (ja)
JP (1) JP5534288B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2453376B1 (en) * 2010-11-15 2019-02-20 Fujifilm Corporation Medical image recording/reproducing apparatus, medical image recording/reproducing method and program
JP5752423B2 (ja) * 2011-01-11 2015-07-22 富士フイルム株式会社 分光計測システムおよび分光計測システムの作動方法
JP5466182B2 (ja) * 2011-01-11 2014-04-09 富士フイルム株式会社 内視鏡システムおよび内視鏡システムの作動方法
JP6089436B2 (ja) * 2012-04-18 2017-03-08 ソニー株式会社 画像処理装置と画像処理装置の作動方法および撮像装置
JP5591874B2 (ja) * 2012-06-18 2014-09-17 株式会社東芝 画像処理装置、方法、及びプログラム
EP3267394A1 (en) * 2016-07-04 2018-01-10 Centre National De La Recherche Scientifique Method and apparatus for real-time detection of polyps in optical colonoscopy
CN110006895A (zh) * 2018-01-05 2019-07-12 财团法人工业技术研究院 检测装置与检测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2643941B2 (ja) * 1987-06-11 1997-08-25 オリンパス光学工業株式会社 内視鏡用画像処理装置
US6032070A (en) * 1995-06-07 2000-02-29 University Of Arkansas Method and apparatus for detecting electro-magnetic reflection from biological tissue
US6293911B1 (en) * 1996-11-20 2001-09-25 Olympus Optical Co., Ltd. Fluorescent endoscope system enabling simultaneous normal light observation and fluorescence observation in infrared spectrum
JP3771344B2 (ja) * 1997-02-13 2006-04-26 富士写真フイルム株式会社 蛍光電子内視鏡
US6064898A (en) * 1998-09-21 2000-05-16 Essential Medical Devices Non-invasive blood component analyzer
JP2001037718A (ja) * 1999-05-26 2001-02-13 Olympus Optical Co Ltd 画像診断装置及び内視鏡装置
JP3583731B2 (ja) 2000-07-21 2004-11-04 オリンパス株式会社 内視鏡装置および光源装置
JP2002272744A (ja) * 2001-03-19 2002-09-24 Hochiki Corp 画像診断装置
JP3972176B2 (ja) 2001-04-19 2007-09-05 日本光電工業株式会社 血中吸光物質濃度測定装置および血中吸光物質濃度を演算するための補正関数決定方法
GB0217570D0 (en) 2002-07-30 2002-09-11 Univ Birmingham Method and apparatus for quantifying material or object properties
GB2429385C (en) 2005-09-23 2008-04-24 Astron Clinica Ltd Image processing method and apparatus.
GB2429523B (en) * 2005-12-23 2008-03-26 Astron Clinica Ltd Method and apparatus for detecting the presence of dermal melanin in epithelial tissue

Also Published As

Publication number Publication date
US9097589B2 (en) 2015-08-04
JP2009250658A (ja) 2009-10-29
US20090252389A1 (en) 2009-10-08
EP2106738A1 (en) 2009-10-07
EP2106738B1 (en) 2016-02-10

Similar Documents

Publication Publication Date Title
JP5267143B2 (ja) 撮像装置およびプログラム
JP5534288B2 (ja) 信号処理装置、信号処理装置の作動方法、およびプログラム
US9629525B2 (en) Image processing device, image processing method, and program
JP5257891B2 (ja) 画像処理システムおよびプログラム
US10265004B2 (en) Blood information measuring apparatus and method
JP5395725B2 (ja) 電子内視鏡システム
US8633976B2 (en) Position specifying system, position specifying method, and computer readable medium
JP5948831B2 (ja) 測定装置、測定方法、プログラム及び記録媒体
JP6210962B2 (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2013039223A (ja) 画像表示方法および装置
JP2013144039A (ja) 電子内視鏡システム、画像処理装置及び画像処理方法
US20200121175A1 (en) Image processing device, endoscope apparatus, and operating method of image processing device
US11717144B2 (en) Endoscope apparatus, operating method of endoscope apparatus, and information storage medium
US8158919B2 (en) Image capturing system, image capturing method, and computer readable medium
US20210088772A1 (en) Endoscope apparatus, operation method of endoscope apparatus, and information storage media
JPWO2019239854A1 (ja) 内視鏡画像処理装置、内視鏡画像処理方法及び内視鏡画像処理プログラム
JP2012130506A (ja) 光計測システムおよび光計測方法
JP2006261861A (ja) 撮像装置
JP2012130505A (ja) 光計測システムおよび光計測方法
US20180374211A1 (en) Information processing apparatus, and program, method and system thereof
JP6184928B2 (ja) 内視鏡システム、プロセッサ装置
CN113556968A (zh) 内窥镜系统
JP5468756B2 (ja) 生体内観測装置
JP6756054B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡システム
JP2009125411A (ja) 内視鏡画像処理方法および装置ならびにこれを用いた内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140416

R150 Certificate of patent or registration of utility model

Ref document number: 5534288

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250