JPWO2015186396A1 - 内視鏡システムおよび内視鏡装置 - Google Patents

内視鏡システムおよび内視鏡装置 Download PDF

Info

Publication number
JPWO2015186396A1
JPWO2015186396A1 JP2015547181A JP2015547181A JPWO2015186396A1 JP WO2015186396 A1 JPWO2015186396 A1 JP WO2015186396A1 JP 2015547181 A JP2015547181 A JP 2015547181A JP 2015547181 A JP2015547181 A JP 2015547181A JP WO2015186396 A1 JPWO2015186396 A1 JP WO2015186396A1
Authority
JP
Japan
Prior art keywords
light
imaging
line
lines
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015547181A
Other languages
English (en)
Other versions
JP5927356B2 (ja
Inventor
哲夫 薬袋
哲夫 薬袋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Application granted granted Critical
Publication of JP5927356B2 publication Critical patent/JP5927356B2/ja
Publication of JPWO2015186396A1 publication Critical patent/JPWO2015186396A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

本発明にかかるカプセル型内視鏡10は、白色光光源12aと、白色光の波長分布と異なる波長分布を有する特殊光を発生する特殊光光源12bとを有し、白色光と特殊光とを時系列的に切り換えて被検体に照射可能である光源12と、複数の画素から構成される画素群を複数有し、被検体からの光を複数の画素に受光し撮像信号を生成する撮像部11と、画素群ごとに、順次露光し、かつ、撮像信号を順次読み出すように撮像部11を制御する撮像制御信号を出力する撮像制御部13aと、撮像制御信号に基づき、画素群が順次露光されるタイミングに応じて白色光の照射と特殊光の照射とを切り換えるように光源12を制御する光源制御信号を出力する光源制御部13bとを備える。

Description

本発明は、被検体内に導入されて該被検体内の画像を撮像する内視鏡システムおよび内視鏡装置に関する。
被検体内を撮像する内視鏡の分野においては、複数種類の波長成分を有する光を被検体に照射して撮像を行うことによって、各色成分の分光画像を取得する技術が知られている。この一例として、白色光の他に、血液中のヘモグロビンに吸収されやすい狭帯域化された青色光および緑色光の2種の帯域を含むNBI(Narrow Band Imaging)光などを照射して被検体内を撮像し、病変部の発見を容易化できるようにした内視鏡装置が開発されている(たとえば、特許文献1参照)。また、白色光とNBI光とを1フレームごとに切り換えて照射を行い、白色光画像とNBI画像とを異なるフレームで取得する内視鏡装置が提案されている(たとえば、特許文献2参照)。さらに、近年では、被検体内に嚥下され、消化管内を移動しながら撮像を行うカプセル型内視鏡においても、白色光画像とNBI画像との双方の取得が求められている。
特開2013−188365号公報 特開2011−250926号公報
ところで、医師からは、同じ領域をそれぞれ撮像した白色光画像とNBI画像とを比較できるように要望されている。しかしながら、カプセル型内視鏡は、消化管の蠕動運動によって移動するため、フレーム間での撮像領域の変動が大きく、特許文献2記載の技術を適用しても白色光画像の撮像領域とNBI画像の撮像領域とのずれが発生してしまうという問題があった。
本発明は、上記に鑑みてなされたものであって、異なる種別の照明光にそれぞれ対応する画像間で撮像領域の位置ずれが発生しない内視鏡システムおよび内視鏡装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる内視鏡システムは、第1の波長分布を有する第1の光を発生する第1の光源と、前記第1の波長分布と異なる波長分布を有する第2の光を発生する第2の光源とを有し、前記第1の光と前記第2の光とを時系列的に切り換えて被検体に照射可能である光源と、複数の画素から構成される画素群を複数有し、前記被検体からの光を光電変換して撮像信号を生成する撮像部と、前記画素群ごとに、順次露光し、かつ、前記撮像信号を順次読み出すように前記撮像部を制御する撮像制御信号を出力する撮像制御部と、前記撮像制御信号に基づき、前記光源に対し、前記画素群が順次露光されるタイミングに応じて前記第1の光の照射と前記第2の光の照射とを切り換える制御を行う光源制御信号を出力する光源制御部と、前記撮像部が生成した撮像信号を処理する信号処理部と、を備えたことを特徴とする。
また、本発明にかかる内視鏡システムは、前記撮像部は、前記第1の光を前記被検体に照射した場合に前記被検体からの戻り光の波長成分である第3の波長成分を有する光を受光する画素を含む第1の画素群と、前記第2の光を前記被検体に照射した場合に前記被検体からの戻り光の波長成分である第4の波長成分を有する光を受光する画素を含む第2の画素群とを有し、前記光源制御部は、前記第1の画素群が露光されるタイミングに合わせて前記第1の光を照射し、前記第2の画素群が露光されるタイミングに合わせて前記第2の光を照射するように前記光源を制御することを特徴とする。
また、本発明にかかる内視鏡システムは、前記信号処理部は、前記撮像部が生成した1フレームの撮像信号から、前記第1の画素群のうちの前記第3の波長成分を有する光を受光した画素に基づいて生成される第1の撮像信号と、前記第2の画素群のうちの前記第4の波長成分を有する光を受光した画素に基づいて生成される第2の撮像信号とを分離する分離部と、前記第1の撮像信号をもとに前記第1の光に対応する第1の画像を生成し、前記第2の撮像信号をもとに前記第2の光に対応する第2の画像を生成する画像生成部と、を備えたことを特徴とする。
また、本発明にかかる内視鏡システムは、前記第1の光は、白色光であり、前記第2の光は、青色の波長成分を有する青色光および緑色の波長成分を有する緑色光を含む狭帯域光であり、前記第1の画素群は、前記青色光に感度を有する青色画素と前記緑色光に感度を有する緑色画素と赤色の波長成分を有する赤色光に感度を有する赤色画素とを有し、前記第2の画素群は、前記青色画素と前記緑色画素とを有することを特徴とする。
また、本発明にかかる内視鏡システムは、前記撮像部は、複数の前記青色画素と複数の前記緑色画素とがラインの延伸方向に交互に並んだ第1のラインと、複数の前記緑色画素と複数の前記赤色画素とがラインの延伸方向に交互に並んだ第2のラインとが、ラインの延伸方向と直交する方向に交互に複数ずつ配置されており、前記撮像制御部は、前記撮像部における先頭のラインから最終のラインまでラインごとに順次露光および読み出しを行い、前記第1の画素群は、複数の前記第1のラインの一部のラインと該一部のラインに隣接する前記第2のラインとによって構成され、前記第2の画素群は、複数の前記第1のラインの残りのラインによって構成され、前記光源制御部は、前記光源に、複数の前記第1のラインの一部のラインの露光期間と該一部のラインに隣接する前記第2のラインの露光期間の少なくとも一部とを含む期間に前記第1の光を照射させ、前記第2の画素群を構成する前記第1のラインの残りのラインの露光期間に前記第2の光を照射させることを特徴とする。
また、本発明にかかる内視鏡システムは、前記撮像制御部は、隣り合う前記第1のラインでは、一方の露光終了以降に他方の露光を開始させることを特徴とする。
また、本発明にかかる内視鏡システムは、前記撮像部は、複数の前記青色画素と複数の前記緑色画素とがラインの延伸方向に交互に並んだ第1のラインと、複数の前記青色画素と複数の前記赤色画素とがラインの延伸方向に交互に並んだ第2のラインとが、ラインの延伸方向と直交する方向に交互に複数ずつ配置されており、前記撮像制御部は、前記撮像部における先頭のラインから最終のラインまでラインごとに順次露光および読み出しを行い、前記第1の画素群は、複数の前記第1のラインの一部のラインと該一部のラインに隣接する前記第2のラインとによって構成され、前記第2の画素群は、複数の前記第1のラインの残りのラインによって構成され、前記光源制御部は、前記光源に、複数の前記第1のラインの一部のラインの露光期間と該一部のラインに隣接する前記第2のラインの露光期間の少なくとも一部とを含む期間に前記第1の光を照射させ、前記第2の画素群を構成する前記第1のラインの残りのラインの露光期間に前記第2の光を照射させることを特徴とする。
また、本発明にかかる内視鏡システムは、前記撮像制御部は、隣り合う前記第1のラインでは、一方の露光終了以降に他方の露光を開始させることを特徴とする。
また、本発明にかかる内視鏡システムは、前記第1の光は、白色光であり、前記第2の光は、青色の波長成分を有し、波長540〜560nmの蛍光を励起する蛍光励起光であり、前記第1の画素群は、青色の波長成分を有する青色光に感度を有する青色画素と緑色の波長成分を有する緑色光に感度を有する緑色画素と赤色の波長成分を有する赤色光に感度を有する赤色画素とを有し、前記第2の画素群は、前記緑色画素を有することを特徴とする。
また、本発明にかかる内視鏡システムは、前記撮像部は、複数の前記青色画素と複数の前記緑色画素とがラインの延伸方向に交互に並んだ第1のラインと、複数の前記緑色画素と複数の前記赤色画素とがラインの延伸方向に交互に並んだ第2のラインとが、ラインの延伸方向と直交する方向に交互に配置されており、前記撮像制御部は、前記撮像部における先頭のラインから最終のラインまでラインごとに順次露光および読み出しを行い、前記第1の画素群は、複数の前記第1のラインの一部のラインと該一部のラインに隣接する前記第2のラインとによって構成され、前記第2の画素群は、複数の前記第1のラインの残りのラインによって構成され、前記光源制御部は、前記光源に、複数の前記第1のラインの一部のラインの露光期間と該一部のラインに隣接する前記第2のラインの露光期間の少なくとも一部とを含む期間に前記第1の光を照射させ、前記第2の画素群を構成する前記第1のラインのうちの残りのラインの露光期間に前記第2の光を照射させることを特徴とする。
また、本発明にかかる内視鏡システムは、前記撮像制御部は、隣り合う前記第1のラインでは、一方の露光終了以降に他方の露光を開始させることを特徴とする。
また、本発明にかかる内視鏡システムは、前記光源制御部は、前記光源に対して間欠照明を行わせることを特徴とする。
また、本発明にかかる内視鏡装置は、第1の波長分布を有する第1の光を発生する第1の光源と、前記第1の波長分布と異なる波長分布を有する第2の光を発生する第2の光源とを有し、前記第1の光と前記第2の光とを時系列的に切り換えて被検体に照射可能である光源と、複数の画素から構成される画素群を複数有し、前記被検体からの光を光電変換して撮像信号を生成する撮像部と、前記画素群ごとに、順次露光し、かつ、前記撮像信号を順次読み出すように前記撮像部を制御する撮像制御信号を出力する撮像制御部と、
前記撮像制御信号に基づき、前記光源に対し、前記画素群が順次露光されるタイミングに応じて前記第1の光の照射と前記第2の光の照射とを切り換える制御を行う光源制御信号を出力する光源制御部と、を備えたことを特徴とする。
本発明によれば、第1の波長分布を有する第1の光を発生する第1の光源と、第1の波長分布と異なる波長分布を有する第2の光を発生する第2の光源とを有し、第1の光と第2の光とを時系列的に切り換えて被検体に照射可能である光源と、複数の画素から構成される画素群を複数有し、被検体からの光を光電変換して撮像信号を生成する撮像部と、画素群ごとに、順次露光し、かつ、撮像信号を順次読み出すように撮像部を制御する撮像制御信号を出力する撮像制御部と、撮像制御信号に基づき、光源に対し、画素群が順次露光されるタイミングに応じて第1の光の照射と第2の光の照射とを切り換える制御を行う光源制御信号を出力する光源制御部と、を備え、画素群が順次露光されるタイミングに応じて同一フレーム中で照明光を時系列的に切り替えることによって得られた撮像信号をもとに、撮像領域の位置ずれがない、異なる種別の照明光にそれぞれ対応する画像を取得することができるという効果を奏する。
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す模式図である。 図2は、図1に示すカプセル型内視鏡の構成を示すブロック図である。 図3は、図1に示す受信装置と画像処理装置との構成を示すブロック図である。 図4は、図2に示すカプセル型内視鏡の撮像部におけるCMOS撮像素子の受光部における画素配置の一例を示す図である。 図5Aは、図2に示す白色光光源の放射輝度の波長依存性を示す図である。 図5Bは、図2に示す特殊光光源の放射輝度の波長依存性を示す図である。 図5Cは、図2に示す撮像部の撮像素子の分光感度の波長依存性を示す図である。 図6は、図2に示す光源による照射光の出力処理を示すタイミングチャートである。 図7は、図2に示す制御部による撮像部および光源の1フレーム期間あたりの制御動作を説明するためのタイミングチャートである。 図8は、図3に示す画像処理部における画像処理について説明する図である。 図9は、本発明の実施の形態2におけるカプセル型内視鏡の撮像部におけるCMOS撮像素子の受光部の画素配置の一例を示す図である。 図10は、本実施の形態2のカプセル型内視鏡の制御部による撮像部および光源の1フレーム期間あたりの制御動作を説明するためのタイミングチャートである。 図11は、実施の形態2の画像処理装置の画像処理部における画像処理について説明する図である。 図12Aは、実施の形態3における白色光光源の放射輝度の波長依存性を示す図である。 図12Bは、実施の形態3における特殊光光源の放射輝度の波長依存性を示す図である。 図12Cは、実施の形態3における特殊光照射時における被検体からの戻り光の波長依存性を示す図である。 図12Dは、実施の形態3における撮像部のCMOS撮像素子の各画素の分光感度の波長依存性を示す図である。 図13は、実施の形態3のカプセル型内視鏡の制御部による撮像部および光源の1フレーム期間あたりの制御動作を説明するためのタイミングチャートである。 図14は、実施の形態3の画像処理装置の画像処理部における画像処理について説明する図である。 図15は、本実施の形態1〜3における受信装置および画像処理装置の構成の他の例を示すブロック図である。 図16は、本発明の実施の形態1〜3にかかる内視鏡システムの他の例を示すブロック図である。
以下に、本発明にかかる実施の形態として、医療用のカプセル型内視鏡を使用する内視鏡システムについて説明する。なお、この実施の形態によりこの発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付している。また、図面は模式的なものであり、各部材の厚みと幅との関係、各部材の比率などは、現実と異なることに留意する必要がある。図面の相互間においても、互いの寸法の関係や比率が異なる部分が含まれている。
(実施の形態1)
図1は、本発明の実施の形態1にかかる内視鏡システムの概略構成を示す模式図である。図1に示すように、実施の形態1にかかるカプセル型内視鏡システム1は、被検体2内に導入されて該被検体2内を撮像することにより画像データを取得し、無線信号に重畳して送信するカプセル型内視鏡10と、カプセル型内視鏡10から送信された無線信号を、被検体2に装着された複数の受信アンテナ3a〜3hを備えた受信アンテナユニット3を介して受信する受信装置20と、カプセル型内視鏡10が取得した画像データを、クレードル20aを介して、受信装置20から取り込み、該画像データを用いて被検体2内の画像を作成する画像処理装置30と、を備える。画像処理装置30によって作成された被検体2内の画像は、たとえば、表示装置30aから表示出力される。
図2は、カプセル型内視鏡10の構成を示すブロック図である。カプセル型内視鏡10は、被検体2が嚥下可能な大きさのカプセル形状の筐体に撮像素子等の各種部品を内蔵した装置である。カプセル型内視鏡10は、被検体2内を撮像する撮像部11と、被検体2内を照明する光源12と、制御部13と、信号処理部14と、送信部15と、アンテナ16と、メモリ17と、電源部18とを備える。
撮像部11は、例えば、受光面に結像された光学像から被検体2内を表す撮像信号を生成して出力するCMOS撮像素子と、該CMOS撮像素子の受光面側に配設された対物レンズ等の光学系とを含む。CMOS撮像素子は、被検体2からの光を受光する複数の画素がマトリックス状に配列され、画素が受光した光に対して光電変換を行うことにより、撮像信号である画素信号を生成する。撮像部11のCMOS撮像素子は、複数の画素から構成される画素群を複数有し、画素群ごとの露光、かつ、読み出しが可能である。撮像部11のCMOS撮像素子は、ラインごとの露光、かつ、読み出しが可能であり、電荷リセット、露光および読み出しを行う撮像動作を先頭のラインから順次実行する。したがって、撮像部11では、露光と読み出しとの間に時差が生じる。
光源12は、複数種類の波長分布の光を被検体2に照射可能である。光源12は、白色光(第1の光)を発生する白色LEDによって構成される白色光光源12a(第1の光源)と、白色光とは異なる波長分布を有する特殊光(第2の光)を発生する特殊光光源12b(第2の光源)との二つの光源を有する。特殊光光源12bは、特殊光として、たとえば、狭帯域化された青色の波長成分を有する青色光および緑色の波長成分を有する緑色光の2種の帯域を含むNBI光を発生する。光源12は、CMOS撮像素子のラインごとの露光に対応させて、白色光と特殊光とを時系列的に切り換えて被検体2に照射可能である。
制御部13は、カプセル型内視鏡10の各構成部位の動作処理の制御を行う。制御部13は、撮像制御部13aと光源制御部13bとを有する。
撮像制御部13aは、撮像部11のCMOS撮像素子に対する露光および読み出し処理を画素群単位で制御する。撮像制御部13aは、撮像信号を画素群ごとに露光し、かつ、撮像信号を順次読み出すように撮像部11のCMOS撮像素子を制御する撮像制御信号を出力する。撮像制御部13aは、撮像部11のCMOS撮像素子に対する露光および読み出し処理を、画素群であるライン単位で制御する。
光源制御部13bは、撮像制御部13aによる撮像制御信号に基づき、光源12に対し、画素群が順次露光されるタイミングに応じて白色光の照射と特殊光の照射とを切り換える制御を行う光源制御信号を出力する。光源制御部13bは、撮像部11のCMOS撮像素子のラインごとの露光に対応させて、光源12の白色光光源12aと特殊光光源12bとの照射タイミングを制御する。ここで、撮像部11は、白色光を被検体2に照射した場合に被検体2からの戻り光の波長成分である第3の波長成分を有する光を受光する画素を含む第1の画素群と、特殊光を被検体2に照射した場合に被検体2からの戻り光の波長成分である第4の波長成分を有する光を受光する画素を含む第2の画素群とを有する。したがって、撮像部11の撮像素子から出力される撮像信号には、第1の画素群のうちの第3の波長成分を有する光を受光した画素に基づいて生成される撮像信号(第1の撮像信号)と、第2の画素群のうちの第4の波長成分を有する光を受光した画素に基づいて生成される撮像信号(第2の撮像信号)と、が同一フレームに含まれる。
信号処理部14は、撮像部11から出力された撮像信号を処理する。信号処理部14は、撮像部11から出力された撮像信号に対してA/D変換及び所定の信号処理を施し、デジタル形式の撮像信号を取得する。
送信部15は、信号処理部14から出力された撮像信号を関連情報とともに無線信号に重畳して、アンテナ16から外部に送信する。関連情報には、カプセル型内視鏡10の個体を識別するために割り当てられた識別情報(例えばシリアル番号)等が含まれる。
メモリ17は、制御部13が各種動作を実行するための実行プログラム及び制御プログラムを記憶する。また、メモリ17は、信号処理部14において信号処理が施された撮像信号等を一時的に記憶してもよい。
電源部18は、ボタン電池等からなるバッテリと、該バッテリから電力を昇圧等する電源回路と、当該電源部18のオンオフ状態を切り替える電源スイッチとを含み、電源スイッチがオンとなった後、カプセル型内視鏡10内の各部に電力を供給する。なお、電源スイッチは、例えば外部の磁力によってオンオフ状態が切り替えられるリードスイッチからなり、カプセル型内視鏡10の使用前(被検体2が嚥下する前)に、該カプセル型内視鏡10に外部から磁力を印加することによりオン状態に切り替えられる。
このようなカプセル型内視鏡10は、被検体2に嚥下された後、臓器の蠕動運動等によって被検体2の消化管内を移動しつつ、生体部位(食道、胃、小腸、及び大腸等)を所定の周期(例えば0.5秒周期)で順次撮像する。そして、この撮像動作により取得された画像データ及び関連情報を受信装置20に順次無線送信する。
図3は、カプセル型内視鏡システム1における受信装置20と画像処理装置30との構成を示すブロック図である。図3に示すように、受信装置20は、受信部21と、受信信号処理部22と、制御部23と、データ送受信部24と、メモリ25と、操作部26と、表示部27と、これらの各部に電力を供給する電源部28とを備える。
受信部21は、カプセル型内視鏡10から無線送信された撮像信号および関連情報を、複数(図1においては8個)の受信アンテナ3a〜3hを有する受信アンテナユニット3を介して受信する。各受信アンテナ3a〜3hは、例えばループアンテナ又はダイポールアンテナを用いて実現され、被検体2の体外表面上の所定位置に配置される。
受信信号処理部22は、受信部21が受信した撮像信号に所定の信号処理を施す。制御部23は、受信装置20の各構成部を制御する。データ送受信部24は、USB、又は有線LAN、無線LAN等の通信回線と接続可能なインタフェースである。データ送受信部24は、画像処理装置30と通信可能な状態で接続された際に、メモリ25に記憶された撮像信号および関連情報を画像処理装置30に送信する。
メモリ25は、受信信号処理部22において信号処理が施された撮像信号およびその関連情報を記憶する。操作部26は、ユーザが当該受信装置20に対して各種設定情報や指示情報を入力する際に用いられる入力デバイスである。表示部27は、カプセル型内視鏡10から受信した画像データに基づく体内画像等を表示する。
このような受信装置20は、カプセル型内視鏡10により撮像が行われている間(例えば、カプセル型内視鏡10が被検体2に嚥下された後、消化管内を通過して排出されるまでの間)、被検体2に装着されて携帯される。受信装置20は、この間、受信アンテナユニット3を介して受信した撮像信号に、各受信アンテナ3a〜3hにおける受信強度情報や受信時刻情報等の関連情報をさらに付加し、これらの撮像信号および関連情報をメモリ25に記憶させる。
カプセル型内視鏡10による撮像の終了後、受信装置20は被検体2から取り外され、画像処理装置30と接続されたクレードル20a(図1参照)にセットされる。これにより、受信装置20は、画像処理装置30と通信可能な状態で接続され、メモリ25に記憶された撮像信号および関連情報を画像処理装置30に転送(ダウンロード)する。
画像処理装置30は、例えば、CRTディスプレイや液晶ディスプレイ等の表示装置30aを備えたワークステーションを用いて構成される。画像処理装置30は、入力部31と、データ送受信部32と、記憶部33と、画像処理部34(信号処理部)と、出力部35と、これらの各部を統括して制御する制御部36と、異常検出部37とを備える。
入力部31は、例えばキーボードやマウス、タッチパネル、各種スイッチ等の入力デバイスによって実現される。入力部31は、ユーザの操作に応じた情報や命令の入力を受け付ける。
データ送受信部32は、USB、又は有線LANや無線LAN等の通信回線と接続可能なインタフェースであり、USBポート及びLANポートを含んでいる。実施の形態1において、データ送受信部32は、USBポートに接続されるクレードル20aを介して受信装置20と接続され、受信装置20との間でデータの送受信を行う。
記憶部33は、フラッシュメモリ、RAM、ROM等の半導体メモリや、HDD、MO、CD−R、DVD−R等の記録媒体及び該記録媒体を駆動する駆動装置等によって実現される。記憶部33は、画像処理装置30を動作させて種々の機能を実行させるためのプログラム、該プログラムの実行中に使用される各種情報、並びに、受信装置20を介して取得した撮像信号および関連情報等を記憶する。
画像処理部34は、CPU等のハードウェアによって実現され、後述の記憶部33に記憶された所定のプログラムを読み込むことにより、データ送受信部32から入力された撮像信号や記憶部33に記憶された撮像信号に対応する体内画像を作成するための所定の画像処理を施す。より詳細には、画像処理部34は、撮像部11が生成した撮像信号に対し、デモザイキング、濃度変換(ガンマ変換等)、平滑化(ノイズ除去等)、同時化、鮮鋭化(エッジ強調等)等の所定の画像処理を施す。画像処理部34は、分離部34aと、白色光画像生成部34bと、特殊光画像生成部34cとを有する。
分離部34aは、カプセル型内視鏡10の撮像部11におけるCMOS撮像素子が生成した1フレームの撮像信号から、白色光を照射した場合に被検体2からの戻り光を受光した画素に基づいて生成される第1の撮像信号と、特殊光を照射した場合に被検体2からの戻り光を受光した画素が生成した第2の撮像信号とを分離する。
白色光画像生成部34bは、分離部34aによって分離された第1の撮像信号をもとに白色光に対応する白色光画像(第1の画像)を生成する。特殊光画像生成部34cは、分離部34aによって分離された第2の撮像信号をもとに特殊光に対応する特殊光画像(第2の画像)を生成する。したがって、画像処理部34は、CMOS撮像素子が生成した1フレームの撮像信号から、白色光画像と特殊光画像との2枚の画像を生成する。
出力部35は、画像処理部34が作成した各種画像やその他の情報を、表示装置30a等の外部装置に出力して表示させる。
制御部36は、CPU等のハードウェアによって実現され、記憶部33に記憶された各種プログラムを読み込むことにより、入力部31を介して入力された信号や、データ送受信部32から入力された撮像信号等に基づいて、画像処理装置30を構成する各部への指示やデータの転送等を行い、画像処理装置30全体の動作を統括的に制御する。
異常検出部37は、カプセル型内視鏡10から送信された被検体2内の画像をもとに、異常部分の検出を行う。異常検出部37は、たとえば、画像処理部34によって作成された同一フレームの白色光画像と特殊光画像とを比較することによって、異常の有無を検出する。異常検出部37は、画像処理部34によって作成された白色光画像および特殊光画像と、予め記憶部33に記憶された異常部の特徴画像とを比較することによって、異常の有無を検出する。
図4は、カプセル型内視鏡10の撮像部11におけるCMOS撮像素子の受光部における画素配置の一例を示す図である。図4の画素配置11aに示すように、CMOS撮像素子の受光部には、ベイヤ配列で、赤色(R)画素、緑色(G)画素、青色(B)画素が配置する。そして、CMOS撮像素子の受光部には、複数のB画素と複数のG画素とがラインの延伸方向に並んだ奇数ライン(第1のライン)と、複数のG画素と複数のR画素とがラインの延伸方向に並んだ偶数ライン(第2のライン)とが、ラインの延伸方向と直交する方向に交互に配置されている。
図5Aは、白色光光源12aの放射輝度の波長依存性を示す図である。図5Bは、特殊光光源12bの放射輝度の波長依存性を示す図である。図5Cは、撮像部11のCMOS撮像素子の各画素の分光感度の波長依存性を示す図である。
図5Aに示すように、白色光光源12aが放射する白色光は、約400nmから約800nmの波長範囲で強度を有する。図5Bに示すように、特殊光光源12bは、血液中のヘモグロビンに吸収されやすいように、415nmにピークをもつ狭帯域化された青色光と、540nmにピークを持つ狭帯域化された緑色光と、の2種の帯域の光を含むNBI光を発する。白色光が照射された場合には、被検体2からは白色光が戻る。NBI光が照射された場合には、被検体2からは青色光と緑色光とが戻る。
図5Cに示すように、撮像部11のCMOS撮像素子において、B画素は、曲線Mに示すようにBの波長成分を有する青色光(B光)に感度を有し、G画素は、曲線Mに示すようにGの波長成分を有する緑色光(G光)に感度を有し、R画素は、曲線Mに示すようにRの波長成分を有する赤色光(R光)に感度を有する。撮像部11は、白色光の照射時における被検体2からの戻り光である白色光の波長成分であるR光、G光、B光をそれぞれ受光するR,G,B画素を有する第1の画素群と、NBI光の照射時における被検体2からの戻り光である青色光と緑色光とを受光するG,B画素を有する第2の画素群と、を備える。そして、光源制御部13bは、CMOS撮像素子が生成した1フレームの撮像信号から白色光画像と特殊光画像との2枚の画像の生成を可能とするために、第1の画素群が露光されるタイミングに合わせて白色光を照射し、第2の画素群が露光されるタイミングに合わせてNBI光を照射するように光源12を制御する。言い換えると、光源制御部13bは、光源12に、第1の画素群の露光期間に対応した期間に白色光を照射させ、第2の画素群の露光期間にNBI光とを照射させる。
カプセル型内視鏡10における照明光の発光動作タイミングと、撮像素子における露光および読み出しタイミングについて説明する。図6は、光源12による照射光の出力処理を示すタイミングチャートである。撮像部11は、CMOS撮像素子を採用するため、露光と読み出しとの間に時差が生じる。さらに、カプセル型内視鏡10では、電源保持のためにフレーム処理を間欠的に行っている。これにともない、光源12は、図6のように、期間Tiの間に照明光を出力し、その後の期間Thの間では照明光の出力を停止する間欠照明を行う。
図7は、制御部13による撮像部11および光源12の1フレーム期間あたりの制御動作を説明するためのタイミングチャートである。図7の(a)は、光源12の発光動作のタイミングチャートであり、図7の(b)は、撮像部11のCMOS撮像素子の各ラインの電荷リセット、露光、電荷読み出し動作のタイミングチャートであり、図7の(c)は、CMOS撮像素子によるデータの出力動作のタイミングチャートである。
図7の例では、撮像制御部13aは、撮像部11に、1ラインあたりの撮像動作として、電荷リセット動作(期間Ta)、露光動作(期間2Ta)、ならびに、電荷読み出しおよびA/D変換動作(期間Ta)を、1ラインにつき期間Tbで行わせている。撮像制御部13aは、撮像部11に、期間Taずつ撮像動作の開始をずらしながら、先頭のライン1から最終のラインN(Nは奇数)まで順次撮像動作を行わせる。このように、各ラインの露光動作は期間2Taで実行されている。さらに、撮像制御部13aは、撮像部11に、1番目の奇数ラインであるライン1の露光終了時間tdにおいて、2番目の奇数ラインであるライン3の露光を開始させ、以降の各奇数ラインについても同様に、一つ前の奇数ラインの露光終了時に露光を開始させる。したがって、撮像制御部13aは、隣り合う第1のラインでは、一方の露光終了以降に他方の露光を開始させている。
制御部13が、先頭のライン1から最終のラインNまで順次露光および読み出しを行うように撮像制御信号を出力して撮像部11を制御した結果、撮像部11からは、図7(c)のように、1フレーム分の撮像信号として、先頭のヘッダ以降、ライン1からラインNまで順に各ラインの画素データが配列する撮像信号Dfが出力される。
光源制御部13bは、撮像制御部13aから出力された撮像制御信号に基づき、各ラインが順次露光されるタイミングに応じて、期間Tc(2Ta)ごとに白色光の照射と、特殊光(NBI光)の照射とを切り替えるように光源12を制御する。
ここで、図4に示す画素配列において、第1の画素群Pg1を、R,G,B画素が含まれるように、奇数ラインの一部のラインと該一部のラインに隣接する上下の偶数ラインとする。第2の画素群Pg2を、G,B画素が含まれるように、奇数ラインの残りのラインとする。具体的には、第2の画素群Pg2は、奇数番目の奇数ラインであり、第1の画素群Pg1は、偶数番目の奇数ラインと、該偶数番目の奇数ラインに隣接する上下の偶数ラインとである。すなわち、図4の場合、第2の画素群Pg2は、先頭の奇数ラインであるライン1と、ライン5と、ライン9と、の4ラインごとの奇数ラインである。また、ラインNは、最終の奇数番目の奇数ラインであり、第2の画素群Pg2に含まれる。第1の画素群Pg1は、ライン2〜4およびライン6〜8となる。また、第1の画素群には、最終の偶数ラインであるラインN−1も含まれる。
光源制御部13bは、光源12に、第2の画素群Pg2を構成する奇数番目の奇数ラインの露光期間にNBI光を照射させ、第1の画素群Pg1を構成する偶数番目の奇数ラインの露光期間に白色光を照射させる。図7の例では、光源制御部13bは、1番目の奇数ラインであるライン1の露光期間Tc1中に特殊光光源12bから特殊光であるNBI光を照射させ、2番目の奇数ラインであるライン3の露光期間Tc2中に白色光光源12aから白色光を照射させる。続いて、光源制御部13bは、3番目の奇数ラインであるライン5の露光期間Tc3中に特殊光光源12bから光を照射させ、4番目の奇数ラインであるライン7の露光期間Tc4中に白色光光源12aから白色光を照射させる。
光源制御部13bが、G,B画素を有するライン1の露光期間(期間Tc1)に特殊光光源12bから特殊光を照射させると、ライン1のG,B画素は、期間Tc1の間の特殊光照射による被検体2からの戻り光に含まれるG、B光をそれぞれ受光する。ただし、この期間Tc1の後半には、ライン2の露光期間の前半が対応する。このため、ライン2のG画素は、期間Tc1中の後半において、特殊光照射による被検体2からの戻り光に含まれるG光を受光する。一方、ライン2のR画素は、特殊光照射による被検体2からの戻り光にRの波長成分が含まれないため、期間Tc1中での電荷の蓄積はない。
その後、光源制御部13bが、期間Tc2の間、白色光光源12aから白色光を照射させる。期間Tc2は、R,G画素を有するライン2の露光期間の後半、G,B画素を有するライン3の露光期間の全期間、R,G画素を有するライン3の露光期間の前半に対応する。前述したように、ライン2のR画素への期間Tc1中に電荷の蓄積はないため、ライン2のR画素が受光する光は、期間Tc2の間の白色光照射による被検体2からの戻り光に含まれるR光のみである。ただし、ライン2のG画素は、期間Tc2の間の白色光照射による被検体2からの戻り光に含まれるG光に加えて、期間Tc1の間の特殊光照射による被検体2からの戻り光に含まれるG光も受光している。
続いて、光源制御部13bが、G,B画素を有するライン5の露光期間(期間Tc3)に特殊光光源12bから特殊光を照射させると、ライン5のG,B画素は、期間Tc3の間の特殊光照射による被検体2からの戻り光に含まれるG、B光をそれぞれ受光する。ただし、期間Tc3の前半は、ライン4の露光期間の後半に対応するため、ライン4のG画素は、期間Tc2の白色光照射による被写体2からの戻り光に含まれるG光に加えて、期間Tc3の特殊光照射による被写体2からの戻り光に含まれるG光も受光する。また、特殊光照射による被写体2からの戻り光にRの波長成分が含まれないため、期間Tc3中にライン4のR画素には電荷が蓄積されず、ライン4のR画素が受光する光は、期間Tc2の白色光照射による被検体2からの戻り光に含まれるR光のみとなる。
以降のラインについても、同様であり、光源制御部13bは、光源12に、第2の画素群Pg2を構成する奇数番目の奇数ラインの各露光期間に特殊光であるNBI光を照射させている。そして、光源制御部13bは、光源12に、第1の画素群Pg1を構成する偶数番目の奇数ラインの各露光期間であって、該奇数ラインに隣接する偶数ラインの露光期間の少なくとも一部を含む期間に白色光を照射させている。
この結果、第2の画素群Pg2のG,B画素は、特殊光光源12bによる特殊光照射時における被検体2からの戻り光であるG光、B光をそれぞれ受光する。したがって、撮像信号Dfにおける第2の画素群Pg2のG画素およびB画素の画素信号は、特殊光光源12bによる特殊光照射時における被検体2からの戻り光のG光、B光にそれぞれ対応した画素信号である。
そして、第1の画素群Pg1の奇数ラインのG,B画素は、白色光光源12aによる白色光照射時における被検体2からの戻り光に含まれるG光、B光をそれぞれ受光する。また、第1の画素群Pg1の偶数ラインのR画素は、白色光光源12aによる白色光照射時における被検体2からの戻り光に含まれるR光を受光する。したがって、撮像信号Dfにおける第1の画素群Pg1の奇数ラインのG画素およびB画素の画素信号、ならびに、第1の画素群Pg1の偶数ラインのR画素の画素信号は、白色光光源12aによる白色光照射時における被検体2からの戻り光のR光、G光、B光にそれぞれ対応した画素信号である。
図8は、図3に示す画像処理部34における画像処理について説明する図である。1フレーム分の撮像信号Dfは、カプセル型内視鏡10から受信装置20に送信され、受信装置20で所定の信号処理を施された後に、図8の矢印Y1のように、画像処理装置30に出力される。
分離部34aは、撮像制御部13aからの撮像制御信号によって撮像部11が生成した1フレームの撮像信号Dfから、第1の光である白色光の照射によって被検体2から戻った白色光のみを受光した第1の画素群のB画素、G画素およびR画素の撮像信号を第1の撮像信号として分離する。具体的には、分離部34aは、矢印Y2のように、撮像信号Dfから、第1の画素群Pg1である偶数番目の奇数ライン(ライン3、ライン7)のG画素およびB画素の撮像信号と、該偶数番目の奇数ラインの上下の偶数ライン(ライン2、ライン4、ライン6、ライン8)のR画素の撮像信号とを抽出し、第1の撮像信号Df1として分離する。第1の撮像信号Df1は、矢印Y4のように、白色光画像生成部34bに出力される。なお、前述したように、偶数ライン(ライン2、ライン4、ライン6、ライン8)のG画素は、白色光照射による被写体2からの戻り光に含まれるG光に加えて、特殊光照射による被写体2からの戻り光に含まれるG光も受光するため、偶数ラインのG画素の撮像信号は、第1の撮像信号として採用しない。
分離部34aは、撮像信号Dfから、第2の光であるNBI光の照射によって被検体2から戻ったB光とG光とのみを受光した第2の画素群のB画素とG画素との撮像信号を第2の撮像信号として分離する。具体的には、分離部34aは、矢印Y3のように、撮像信号Dfから、第2の画素群Pg2である奇数番目の奇数ライン(ライン1、ライン5、ラインN)のG画素およびB画素の撮像信号を抽出し、第2の撮像信号Df2として分離する。第2の撮像信号Df2は、矢印Y5のように、特殊光画像生成部34cに出力される。
続いて、白色光画像生成部34bは、分離部34aによって分離された撮像信号Df1に対して、同時化等の画像処理を行うことによって、白色光画像データG1を生成する。特殊光画像生成部34cは、分離部34aによって分離された撮像信号Df2に対して、同時化等の画像処理を行うことによって、特殊光画像データG2を生成する。
このように、画像処理部34では、同フレームの撮像信号Dfから、白色光照射時における被検体2からの戻り光の波長成分を有する光を受光する画素に基づいて生成された第1の撮像信号と、特殊光照射時における被検体2からの戻り光の波長成分を有する光を受光する画素に基づいて生成された第2の撮像信号とを分離し、分離した各撮像信号をもとに、撮像領域が同一である白色光画像データG1と特殊光画像データG2との2種の画像を生成している。画像処理部34において生成された2種の白色光画像データG1と特殊光画像データG2とは、出力部35において表示用画像に変換された後に、表示装置30aにおいて表示出力される。あるいは、画像処理部34において生成された2種の白色光画像データG1と特殊光画像データG2とは、制御部36の制御のもと、記憶部33に記憶される。
以上のように、実施の形態1では、光源制御部13bが、撮像部11を構成するCMOS撮像素子の各ラインが順次露光されるタイミングに応じて光源12に白色光の照射とNBI光の照射とを切り換えさせ、画像処理部34が、撮像部11が生成した1フレーム分の撮像信号から白色光画像のデータと特殊光画像のデータとを生成する。言い換えると、実施の形態1では、1枚のフレームの撮像信号から、撮像領域が同一である白色光画像と特殊光画像との2枚の画像を生成する。したがって、本実施の形態1によれば、フレーム間で撮像領域が変動した場合であっても、白色光画像と、該白色光画像に対応する特殊光画像との間で撮像領域の位置ずれが発生することはなく、撮像領域が同一である白色光画像と特殊光画像とを確実に取得することができるという効果を奏する。
(実施の形態2)
次に、実施の形態2について説明する。実施の形態2におけるカプセル型内視鏡システムは、実施の形態1におけるカプセル型内視鏡システム1と同様の構成を有する。図9は、実施の形態2におけるカプセル型内視鏡の撮像部におけるCMOS撮像素子の受光部の画素配置の一例を示す図である。
実施の形態2のCMOS撮像素子の受光部には、図9の画素配置11bに示すように、複数のB画素と複数のG画素とがラインの延伸方向に並んだ奇数ラインと、複数のR画素と複数のB画素とがラインの延伸方向に並んだ偶数ラインとが、ラインの延伸方向と直交する方向に交互に配置されている。実施の形態2では、図9の各ラインのうち、偶数番目の奇数ラインを第2の画素群Pg2−1とし、奇数番目の奇数ラインと該奇数ラインに隣接する前または後の偶数ラインとを第1の画素群Pg1−1として、光源制御処理、撮像制御処理、ならびに、画像処理を行う場合について説明する。図9の例では、第1の画素群は、ライン1,2、ライン4,5となる。最終のラインNは、奇数番目の奇数ラインであり、第1の画素群Pg1−1に含まれる。また、第2の画素群Pg2−1は、ライン3と、ライン7と、の4ラインごとの奇数ラインである。
図10は、実施の形態2のカプセル型内視鏡10の制御部による撮像部および光源の1フレーム期間あたりの制御動作を説明するためのタイミングチャートである。図10の(a)は、光源12の発光動作のタイミングチャートであり、図10の(b)は、撮像部11のCMOS撮像素子の各ラインの電荷リセット、露光、電荷読み出し動作のタイミングチャートであり、図10の(c)は、CMOS撮像素子によるデータの出力動作のタイミングチャートである。
図10の例では、図7の例と同様に、撮像制御部13aは、電荷リセット動作(期間Ta)、露光動作(期間2Ta)、ならびに、電荷読み出しおよびA/D変換動作(期間Ta)を、1ラインにつき期間Tbで行わせるとともに、期間Taずつ撮像動作の開始をずらしながら、先頭のライン1から最終のラインNまで順次撮像動作を行わせる。この結果、1フレーム分の撮像信号として、先頭のヘッダ以降、ライン1からラインNまで順に各ラインの画素データが配列する撮像信号Dfbが出力される。
そして、光源制御部13bは、光源12に、第1の画素群Pg1−1を構成する奇数番目の奇数ラインの露光期間に白色光を照射させ、第2の画素群Pg2−1を構成する偶数番目の奇数ラインの露光期間に特殊光であるNBI光を照射させる。
すなわち、図10に示すように、光源制御部13bは、1番目の奇数ラインであるライン1の露光期間Tc11中に白色光光源12aから白色光を照射させ、2番目の奇数ラインであるライン3の露光期間Tc12中に特殊光光源12bからNBI光を照射させる。続いて、光源制御部13bは、3番目の奇数ラインであるライン5の露光期間Tc13中に白色光光源12aから白色光を照射させ、4番目の奇数ラインであるライン7の露光期間Tc14中に特殊光光源12bからNBI光を照射させる。期間Tc11は、G,B画素を有するライン1の露光期間の全期間、R,B画素を有するライン2の露光期間の前半に対応する。期間Tc12は、G,B画素を有するライン3の露光期間の全期間に対応する。期間Tc13は、R,B画素を有するライン4の露光期間の後半、G,B画素を有するライン5の露光期間の全期間に対応する。期間Tc14は、G,B画素を有するライン7の露光期間の全期間に対応する。
したがって、奇数番目の奇数ライン1,5のG,B画素は、白色光光源12aによる白色光照射時における被検体2からの戻り光に含まれるG光、B光をそれぞれ受光する。また、奇数番目の次の偶数ライン2,4のR画素は、白色光光源12aによる白色光照射時における被検体2からの戻り光に含まれるR光を受光する。すなわち、撮像信号Dfbの第1の画素群Pg1−1を構成する奇数番目の奇数ラインのG画素およびB画素の画素信号、ならびに、この奇数ラインの次の偶数ラインのR画素の画素信号は、白色光光源12aによる白色光照射時における被検体2からの戻り光のR光、G光、B光にそれぞれ対応した画素信号である。
また、第2の画素群Pg2−1を構成する偶数番目の奇数ライン3,7のG,B画素は、特殊光光源12bによる特殊光照射時における被検体2からの戻り光であるG光、B光をそれぞれ受光する。したがって、撮像信号Dfbの第2の画素群Pg2−1を構成する偶数番目の奇数ラインのG画素およびB画素の画素信号は、特殊光光源12bによる特殊光照射時における被検体2からの戻り光のG光、B光にそれぞれ対応した画素信号である。
図11は、実施の形態2の画像処理装置30の画像処理部34における画像処理について説明する図である。実施の形態2において、分離部34aは、矢印Y11のように、撮像部11が生成した1フレームの撮像信号Dfbが入力される。続いて、分離部34aは、矢印Y12のように、撮像信号Dfbから、第1の画素群Pg1−1である奇数番目の奇数ライン(ライン1、ライン5、ラインN)のG画素およびB画素の撮像信号と、該奇数番目の前または後の偶数ライン(ライン2、ライン4)のR画素の撮像信号とを、第1の撮像信号Df11として分離する。なお、偶数ライン(ライン2、ライン4)のB画素は、白色光照射による被写体2からの戻り光に含まれるB光に加えて、特殊光照射による被写体2からの戻り光に含まれるB光も受光するため、偶数ラインのB画素の撮像信号は、第1の撮像信号として採用しない。また、第1の撮像信号として、第1の画素群Pg1−1の奇数番目の奇数ラインに隣接する上下の偶数ラインのR画素を採用してもよい。
そして、分離部34aは、矢印Y13のように、撮像信号Dfbから、第2の画素群Pg2−1である偶数番目の奇数ライン(ライン3、ライン7)のG画素およびB画素の撮像信号を、第2の撮像信号Df12として分離する。
続いて、白色光画像生成部34bは、矢印Y14のように入力された撮像信号Df11に対して、同時化等の画像処理を行うことによって、白色光画像データG11を生成する。特殊光画像生成部34cは、矢印Y15のように入力された撮像信号Df12に対して、同時化等の画像処理を行うことによって、特殊光画像データG12を生成する。
このように、撮像部11のCMOS撮像素子の画素配置に応じて、第1の画素群および第2の画素群を構成するラインを選択し、第1の画素群および第2の画素群のラインに含まれる画素の構成および露光期間に応じて、光源制御処理、撮像制御処理、ならびに、画像処理を行うことによって、実施の形態1と同様に、1枚のフレームの撮像信号から、撮像領域が同一である白色光画像と特殊光画像との2枚の画像を生成することができる。
(実施の形態3)
次に、実施の形態3について説明する。実施の形態3におけるカプセル型内視鏡システムは、実施の形態1におけるカプセル型内視鏡システム1と同様の構成を有する。
図12Aは、実施の形態3における白色光光源12aの放射輝度の波長依存性を示す図である。図12Bは、実施の形態3における特殊光光源12bの放射輝度の波長依存性を示す図である。図12Cは、実施の形態3において特殊光照射時における被検体2からの戻り光の波長依存性を示す図である。図12Dは、撮像部11のCMOS撮像素子のB画素(曲線M)、G画素(曲線M)、R画素(曲線M)の分光感度の波長依存性を示す図である。なお、撮像部11のCMOS撮像素子の受光部は、図4に示す画素配置でR,G,B画素が配置する。
図12Aに示すように、白色光光源12aは、実施の形態1と同様の波長分布の白色光を発する。図12Bに示すように、特殊光光源12bは、390〜470nmの波長範囲で強度を有する青色光を蛍光励起光として発する。図12Cに示すように、特殊光光源12bによる蛍光励起光を照射された被検体2は、約540〜560nmの波長分布Dcを有する緑色の蛍光を発する。図12Dの曲線Mに示すように、被検体2の蛍光は、撮像部11のCMOS撮像素子におけるG画素にて受光可能である。
図13は、実施の形態3のカプセル型内視鏡10の制御部13による撮像部11および光源12の1フレーム期間あたりの制御動作を説明するためのタイミングチャートである。図13の(a)は、光源12の発光動作のタイミングチャートであり、図13の(b)は、撮像部11のCMOS撮像素子の各ラインの電荷リセット、露光、電荷読み出し動作のタイミングチャートであり、図13の(c)は、CMOS撮像素子によるデータの出力動作のタイミングチャートである。
実施の形態3の場合には、図13に示すように、実施の形態1と同様に、奇数番目の奇数ラインを第2の画素群Pg2−2とし、偶数番目の奇数ラインと該奇数ラインに隣接する上下の偶数ラインとを第1の画素群Pg1−2として、光源制御処理、撮像制御処理、ならびに、画像処理を行う。すなわち、図13に示すように、第1の画素群Pg1−2は、ライン2〜4,6〜8となる。また、第2の画素群Pg2−2は、ライン1と、ライン5となる。
図13の例では、図7の例と同様に、撮像制御部13aは、電荷リセット動作(期間Ta)、露光動作(期間2Ta)、ならびに、電荷読み出しおよびA/D変換動作(期間Ta)を、1ラインにつき期間Tbで行わせるとともに、期間Taずつ撮像動作の開始をずらしながら、先頭のライン1から最終のラインNまで順次撮像動作を行わせる。この結果、1フレーム分の撮像信号として、先頭のヘッダ以降、ライン1からラインNまで順に各ラインの画素データが配列する撮像信号Dfcが出力される。
そして、光源制御部13bは、光源12に、第1の画素群Pg1−2を構成する偶数番目の奇数ラインの露光期間に白色光を照射させ、第2の画素群Pg2−2を構成する奇数番目の奇数ラインの露光期間に特殊光である蛍光励起光を照射させる。
すなわち、図13に示すように、光源制御部13bは、1番目の奇数ラインであるライン1の露光期間Tc21中に特殊光光源12bから蛍光励起光を照射させ、2番目の奇数ラインであるライン3の露光期間Tc22中に白色光光源12aから白色光を照射させる。続いて、光源制御部13bは、3番目の奇数ラインであるライン5の露光期間Tc23中に特殊光光源12bから蛍光励起光を照射させ、4番目の奇数ラインであるライン7の露光期間Tc14中に白色光光源12aから白色光を照射させる。期間Tc21は、G,B画素を有するライン1の露光期間の全期間、R,G画素を有するライン2の露光期間の前半に対応する。期間Tc22は、R,G画素を有するライン2の露光期間の後半、G,B画素を有するライン3の露光期間の全期間、ならびに、R,G画素を有するライン4の露光期間の前半に対応する。期間Tc23は、R,G画素を有するライン4の露光期間の後半、G,B画素を有するライン5の露光期間の全期間、ならびに、R,G画素を有するライン6の露光期間の前半に対応する。期間Tc24は、R,G画素を有するライン6の露光期間の後半、G,B画素を有するライン7の露光期間の全期間、ならびに、R,G画素を有するライン8の露光期間の前半に対応する。
したがって、第2の画素群Pg2−2を構成する奇数番目の奇数ライン1,5のG画素は、特殊光光源12bによる蛍光励起光照射時によって被検体2から発せられた蛍光の波長成分であるG光を受光する。したがって、撮像信号Dfcの第2の画素群Pg2−2を構成する奇数番目の奇数ラインのG画素の画素信号は、特殊光光源12bから蛍光励起光を照射した場合に被検体2から発せられた蛍光に対応した画素信号である。
また、偶数番目の奇数ライン3,7のG,B画素は、白色光光源12aによる白色光照射時における被検体2からの戻り光に含まれるG光、B光をそれぞれ受光する。また、偶数番目の奇数ラインの上下の偶数ライン2,4,6,8のR画素は、白色光光源12aによる白色光照射時における被検体2からの戻り光に含まれるR光を受光する。すなわち、撮像信号Dfcの第1の画素群Pg1−2を構成する偶数番目の奇数ラインのG画素およびB画素の画素信号、ならびに、この奇数ラインの上下の偶数ラインのR画素の画素信号は、白色光光源12aによる白色光照射時における被検体2からの戻り光のR光、G光、B光にそれぞれ対応した画素信号である。
図14は、実施の形態3の画像処理装置30の画像処理部34における画像処理について説明する図である。実施の形態3において、分離部34aは、矢印Y21のように、撮像部11が生成した1フレームの撮像信号Dfcが入力される。続いて、分離部34aは、矢印Y22のように、撮像信号Dfcから、第1の画素群Pg1−2である偶数番目の奇数ライン(ライン3、ライン7)のG画素およびB画素の撮像信号と、該奇数番目の上下の偶数ライン(ライン2、ライン4、ライン6、ライン8)のR画素の撮像信号とを、第1の撮像信号Df21として分離する。この第1の撮像信号Df21は、実施の形態1と同様に、矢印Y24のように白色光画像生成部34bに出力される。なお、実施の形態1と同様に、偶数ライン(ライン2、ライン4、ライン6、ライン8)のG画素は、白色光照射による被写体2からの戻り光に含まれるG光に加えて、蛍光励起光照射による被写体2の蛍光も受光するため、偶数ラインのG画素の撮像信号は、第1の撮像信号として採用しない。
そして、分離部34aは、矢印Y23のように、撮像信号Dfcから、被検体2からの蛍光データに対応する第2の画素群Pg2−2の奇数番目の奇数ライン(ライン1、ライン5)のG画素の撮像信号とともに、偶数番目の奇数ライン(ライン3、ライン7)のG画素の撮像信号をリファレンスデータとして抽出し、矢印Y25のように、第2の撮像信号Df22として特殊光画像生成部34cに出力する。
続いて、白色光画像生成部34bは、実施の形態1と同様に、撮像信号Df21に対して、同時化等の画像処理を行うことによって、白色光画像データG1を生成する。特殊光画像生成部34cは、撮像信号Df22に含まれる蛍光データとリファレンスデータとの差分を強調して表示した特殊光画像G22を生成する。画像処理部34において生成された2種の白色光画像データG21と特殊光画像データG22とは、表示装置30aにおいて表示出力される他、記憶部33に記憶される。
実施の形態3のように、特殊光として蛍光励起光を照射した場合も、蛍光励起光の照射によって被検体2から発せられた蛍光を受光する画素に応じて第2の画素群Pg2−2を構成するラインを選択すればよい。そして、実施の形態3でも、実施の形態1と同様に、第1の画素群Pg1−2および第2の画素群Pg2−2のラインに含まれる画素の構成および露光期間に応じて、光源制御処理、撮像制御処理、ならびに、画像処理を行う。この結果、実施の形態3においても、1枚のフレームの撮像信号から、撮像領域が同一である白色光画像と、蛍光データに対応する特殊光画像との2枚の画像を生成することができる。
なお、実施の形態1〜3では、画像処理装置30が分離部、白色光画像生成部、特殊光画像生成部を備えた例について説明したが、もちろん、この構成に限ることはない。図15は、本実施の形態1〜3における受信装置および画像処理装置の構成の他の例を示すブロック図である。この図15の受信装置120に示すように、画像処理装置130の画像処理部134ではなく、受信信号処理部122に、分離部34a,白色光画像生成部34b、特殊光画像生成部34cを設け、受信装置120において、2種の画像の分離処理および画像生成処理を行ってもよい。
また、本実施の形態1〜3は、カプセル型内視鏡を使用するカプセル型内視鏡システムに限るものではなく、被検体内に挿入される挿入部と画像処理を行う処理装置とが連結する構成の内視鏡システムにも適用可能である。
図16は、本発明の実施の形態1〜3にかかる内視鏡システムの他の例を示すブロック図である。内視鏡システム201は、被検体内に挿入される挿入部210と、処理装置230と、光源装置240とを備える。挿入部210は、先端に撮像部11が設けられ、コネクタ238を介して処理装置230と接続する。
処理装置230は、入力部31、記憶部33、画像処理部234、出力部35、制御部236、ならびに、異常検出部37を有する。画像処理部234は、画像処理部34と同様に、撮像部11によって生成された撮像信号に対応する体内画像を作成するための所定の画像処理を施す。画像処理部234は、分離部34a、白色光画像生成部34bおよび特殊光画像生成部34cを備える。制御部236は、CPU等を用いて実現され、処理装置230の各部の処理動作を制御するとともに、撮像部11および光源装置240の処理動作も制御する。制御部236は、撮像制御部13aおよび光源制御部13bを有する。
光源装置240は、光源ドライバ241と、白色光光源212aと特殊光光源212bとを有する光源212を備え、撮像部11のラインごとの露光に対応させて、白色光と特殊光とを時系列に切り換えて被検体に照射可能である。光源ドライバ241は、光源制御部13bの制御のもと、光源212に所定の電力を供給する。これにより、光源212から発せられた光は、コネクタ242およびコード243を介して挿入部210先端の照明口244から生体組織に照射される。
内視鏡システム201でも、実施の形態1〜3と同様に、撮像部11のCMOS撮像素子の画素配置、白色光照射時に被検体から戻った白色光を受光する画素、ならびに、特殊光照射時に被検体からの戻り光を受光する画素に応じて、第1の画素群および第2の画素群を構成するラインを選択する。そして、内視鏡システム201は、実施の形態1〜3と同様に、第1の画素群および第2の画素群のラインに含まれる画素の構成および露光期間に応じて、光源制御処理、撮像制御処理、ならびに、画像処理を行う。この結果、内視鏡システム201においても、同じフレームの撮像信号から白色光画像と特殊光画像との2種の画像を生成することができる。
また、本実施の形態にかかるカプセル型内視鏡システム1の画像処理装置30、受信装置120および内視鏡システム201の処理装置230、並びに、他の構成部で実行される各処理に対する実行プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フレキシブルディスク(FD)、CD−R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよく、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
1 カプセル型内視鏡システム
2 被検体
3a〜3h 受信アンテナ
3 受信アンテナユニット
10 カプセル型内視鏡
11 撮像部
12 光源
12a 白色光光源
12b 特殊光光源
13,23,36,236 制御部
13a 撮像制御部
13b 光源制御部
14 信号処理部
15 送信部
16 アンテナ
17,25 メモリ
18,28 電源部
20,120 受信装置
20a クレードル
21 受信部
22,122 受信信号処理部
24,32 データ送受信部
26 操作部
27 表示部
30,130 画像処理装置
30a 表示装置
31 入力部
33 記憶部
34,134,234 画像処理部
34a 分離部
34b 白色光画像生成部
34c 特殊光画像生成部
35 出力部
37 異常検出部
201 内視鏡システム
210 挿入部
230 処理装置
238,242 コネクタ
240 光源装置
241 光源ドライバ
244 照明口

Claims (13)

  1. 第1の波長分布を有する第1の光を発生する第1の光源と、前記第1の波長分布と異なる波長分布を有する第2の光を発生する第2の光源とを有し、前記第1の光と前記第2の光とを時系列的に切り換えて被検体に照射可能である光源と、
    複数の画素から構成される画素群を複数有し、前記被検体からの光を光電変換して撮像信号を生成する撮像部と、
    前記画素群ごとに、順次露光し、かつ、前記撮像信号を順次読み出すように前記撮像部を制御する撮像制御信号を出力する撮像制御部と、
    前記撮像制御信号に基づき、前記光源に対し、前記画素群が順次露光されるタイミングに応じて前記第1の光の照射と前記第2の光の照射とを切り換える制御を行う光源制御信号を出力する光源制御部と、
    前記撮像部が生成した撮像信号を処理する信号処理部と、
    を備えたことを特徴とする内視鏡システム。
  2. 前記撮像部は、前記第1の光を前記被検体に照射した場合に前記被検体からの戻り光の波長成分である第3の波長成分を有する光を受光する画素を含む第1の画素群と、前記第2の光を前記被検体に照射した場合に前記被検体からの戻り光の波長成分である第4の波長成分を有する光を受光する画素を含む第2の画素群とを有し、
    前記光源制御部は、前記第1の画素群が露光されるタイミングに合わせて前記第1の光を照射し、前記第2の画素群が露光されるタイミングに合わせて前記第2の光を照射するように前記光源を制御することを特徴とする請求項1に記載の内視鏡システム。
  3. 前記信号処理部は、
    前記撮像部が生成した1フレームの撮像信号から、前記第1の画素群のうちの前記第3の波長成分を有する光を受光した画素に基づいて生成される第1の撮像信号と、前記第2の画素群のうちの前記第4の波長成分を有する光を受光した画素に基づいて生成される第2の撮像信号とを分離する分離部と、
    前記第1の撮像信号をもとに前記第1の光に対応する第1の画像を生成し、前記第2の撮像信号をもとに前記第2の光に対応する第2の画像を生成する画像生成部と、
    を備えたことを特徴とする請求項2に記載の内視鏡システム。
  4. 前記第1の光は、白色光であり、
    前記第2の光は、青色の波長成分を有する青色光および緑色の波長成分を有する緑色光を含む狭帯域光であり、
    前記第1の画素群は、前記青色光に感度を有する青色画素と前記緑色光に感度を有する緑色画素と赤色の波長成分を有する赤色光に感度を有する赤色画素とを有し、
    前記第2の画素群は、前記青色画素と前記緑色画素とを有することを特徴とする請求項3に記載の内視鏡システム。
  5. 前記撮像部は、複数の前記青色画素と複数の前記緑色画素とがラインの延伸方向に交互に並んだ第1のラインと、複数の前記緑色画素と複数の前記赤色画素とがラインの延伸方向に交互に並んだ第2のラインとが、ラインの延伸方向と直交する方向に交互に複数ずつ配置されており、
    前記撮像制御部は、前記撮像部における先頭のラインから最終のラインまでラインごとに順次露光および読み出しを行い、
    前記第1の画素群は、複数の前記第1のラインの一部のラインと該一部のラインに隣接する前記第2のラインとによって構成され、
    前記第2の画素群は、複数の前記第1のラインの残りのラインによって構成され、
    前記光源制御部は、前記光源に、複数の前記第1のラインの一部のラインの露光期間と該一部のラインに隣接する前記第2のラインの露光期間の少なくとも一部とを含む期間に前記第1の光を照射させ、前記第2の画素群を構成する前記第1のラインの残りのラインの露光期間に前記第2の光を照射させることを特徴とする請求項4に記載の内視鏡システム。
  6. 前記撮像制御部は、隣り合う前記第1のラインでは、一方の露光終了以降に他方の露光を開始させることを特徴とする請求項5に記載の内視鏡システム。
  7. 前記撮像部は、複数の前記青色画素と複数の前記緑色画素とがラインの延伸方向に交互に並んだ第1のラインと、複数の前記青色画素と複数の前記赤色画素とがラインの延伸方向に交互に並んだ第2のラインとが、ラインの延伸方向と直交する方向に交互に複数ずつ配置されており、
    前記撮像制御部は、前記撮像部における先頭のラインから最終のラインまでラインごとに順次露光および読み出しを行い、
    前記第1の画素群は、複数の前記第1のラインの一部のラインと該一部のラインに隣接する前記第2のラインとによって構成され、
    前記第2の画素群は、複数の前記第1のラインの残りのラインによって構成され、
    前記光源制御部は、前記光源に、複数の前記第1のラインの一部のラインの露光期間と該一部のラインに隣接する前記第2のラインの露光期間の少なくとも一部とを含む期間に前記第1の光を照射させ、前記第2の画素群を構成する前記第1のラインの残りのラインの露光期間に前記第2の光を照射させることを特徴とする請求項4に記載の内視鏡システム。
  8. 前記撮像制御部は、隣り合う前記第1のラインでは、一方の露光終了以降に他方の露光を開始させることを特徴とする請求項7に記載の内視鏡システム。
  9. 前記第1の光は、白色光であり、
    前記第2の光は、青色の波長成分を有し、波長540〜560nmの蛍光を励起する蛍光励起光であり、
    前記第1の画素群は、青色の波長成分を有する青色光に感度を有する青色画素と緑色の波長成分を有する緑色光に感度を有する緑色画素と赤色の波長成分を有する赤色光に感度を有する赤色画素とを有し、
    前記第2の画素群は、前記緑色画素を有することを特徴とする請求項3に記載の内視鏡システム。
  10. 前記撮像部は、複数の前記青色画素と複数の前記緑色画素とがラインの延伸方向に交互に並んだ第1のラインと、複数の前記緑色画素と複数の前記赤色画素とがラインの延伸方向に交互に並んだ第2のラインとが、ラインの延伸方向と直交する方向に交互に配置されており、
    前記撮像制御部は、前記撮像部における先頭のラインから最終のラインまでラインごとに順次露光および読み出しを行い、
    前記第1の画素群は、複数の前記第1のラインの一部のラインと該一部のラインに隣接する前記第2のラインとによって構成され、
    前記第2の画素群は、複数の前記第1のラインの残りのラインによって構成され、
    前記光源制御部は、前記光源に、複数の前記第1のラインの一部のラインの露光期間と該一部のラインに隣接する前記第2のラインの露光期間の少なくとも一部とを含む期間に前記第1の光を照射させ、前記第2の画素群を構成する前記第1のラインのうちの残りのラインの露光期間に前記第2の光を照射させることを特徴とする請求項9に記載の内視鏡システム。
  11. 前記撮像制御部は、隣り合う前記第1のラインでは、一方の露光終了以降に他方の露光を開始させることを特徴とする請求項10に記載の内視鏡システム。
  12. 前記光源制御部は、前記光源に対して間欠照明を行わせることを特徴とする請求項1に記載の内視鏡システム。
  13. 第1の波長分布を有する第1の光を発生する第1の光源と、前記第1の波長分布と異なる波長分布を有する第2の光を発生する第2の光源とを有し、前記第1の光と前記第2の光とを時系列的に切り換えて被検体に照射可能である光源と、
    複数の画素から構成される画素群を複数有し、前記被検体からの光を光電変換して撮像信号を生成する撮像部と、
    前記画素群ごとに、順次露光し、かつ、前記撮像信号を順次読み出すように前記撮像部を制御する撮像制御信号を出力する撮像制御部と、
    前記撮像制御信号に基づき、前記光源に対し、前記画素群が順次露光されるタイミングに応じて前記第1の光の照射と前記第2の光の照射とを切り換える制御を行う光源制御信号を出力する光源制御部と、
    を備えたことを特徴とする内視鏡装置。
JP2015547181A 2014-06-04 2015-03-10 内視鏡システムおよび内視鏡装置 Active JP5927356B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014116252 2014-06-04
JP2014116252 2014-06-04
PCT/JP2015/056910 WO2015186396A1 (ja) 2014-06-04 2015-03-10 内視鏡システムおよび内視鏡装置

Publications (2)

Publication Number Publication Date
JP5927356B2 JP5927356B2 (ja) 2016-06-01
JPWO2015186396A1 true JPWO2015186396A1 (ja) 2017-04-20

Family

ID=54766477

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015547181A Active JP5927356B2 (ja) 2014-06-04 2015-03-10 内視鏡システムおよび内視鏡装置

Country Status (2)

Country Link
JP (1) JP5927356B2 (ja)
WO (1) WO2015186396A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2655571B2 (ja) * 1986-12-27 1997-09-24 オリンパス光学工業株式会社 撮像装置
JP4761899B2 (ja) * 2005-09-12 2011-08-31 Hoya株式会社 電子内視鏡システム
JP2010184046A (ja) * 2009-02-12 2010-08-26 Fujifilm Corp 内視鏡、内視鏡駆動方法、並びに内視鏡システム
JP5707758B2 (ja) * 2010-07-13 2015-04-30 ソニー株式会社 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
CN103124515B (zh) * 2010-09-30 2015-11-25 奥林巴斯株式会社 摄像装置
JP5647882B2 (ja) * 2010-12-17 2015-01-07 Hoya株式会社 内視鏡プロセッサ
CN104168814B (zh) * 2012-03-28 2016-08-17 富士胶片株式会社 摄像装置以及具备该摄像装置的内窥镜装置

Also Published As

Publication number Publication date
WO2015186396A1 (ja) 2015-12-10
JP5927356B2 (ja) 2016-06-01

Similar Documents

Publication Publication Date Title
US8643710B2 (en) Image pickup apparatus
US8823789B2 (en) Imaging apparatus
JP6588043B2 (ja) 画像処理装置、内視鏡システム、画像処理装置の作動方法およびプログラム
WO2007055330A1 (ja) 生体内画像取得装置、受信装置、および生体内情報取得システム
JP2007098012A (ja) 被検体内情報取得装置
US20170296033A1 (en) Image processing apparatus, method for operating image processing apparatus, computer-readable recording medium, and endoscope device
JP5698883B1 (ja) 内視鏡システム
US11571111B2 (en) Endoscope scope, endoscope processor, and endoscope adaptor
WO2009087800A1 (ja) 医療用画像処理装置及び医療用撮像システム
US20140321724A1 (en) Image processing apparatus and image processing method
JPWO2016098171A1 (ja) 撮像装置およびカプセル型内視鏡
JPWO2019069414A1 (ja) 内視鏡装置、画像処理方法およびプログラム
JP6137892B2 (ja) 撮像システム
US20170276847A1 (en) Imaging system
US10901199B2 (en) Endoscope system having variable focal length lens that switches between two or more values
JP5927356B2 (ja) 内視鏡システムおよび内視鏡装置
CN111629651A (zh) 摄像系统
JP6230511B2 (ja) 内視鏡装置
JP5932191B1 (ja) 伝送システムおよび処理装置
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP6937902B2 (ja) 内視鏡システム
JP6214841B1 (ja) 被検体内導入装置、送信方法及びプログラム
US10918269B2 (en) Medical light source apparatus and medical observation system
WO2017130752A1 (ja) 撮像装置及び処理装置
WO2017221468A1 (ja) 被検体内導入装置、送信方法及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160425

R151 Written notification of patent or utility model registration

Ref document number: 5927356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250