JP4857393B2 - カプセル型内視鏡装置 - Google Patents

カプセル型内視鏡装置 Download PDF

Info

Publication number
JP4857393B2
JP4857393B2 JP2010546981A JP2010546981A JP4857393B2 JP 4857393 B2 JP4857393 B2 JP 4857393B2 JP 2010546981 A JP2010546981 A JP 2010546981A JP 2010546981 A JP2010546981 A JP 2010546981A JP 4857393 B2 JP4857393 B2 JP 4857393B2
Authority
JP
Japan
Prior art keywords
imaging
unit
image
capsule endoscope
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010546981A
Other languages
English (en)
Other versions
JPWO2010143692A1 (ja
Inventor
昭夫 内山
哲夫 薬袋
慎介 田中
武志 菅
達也 折原
和昭 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Olympus Medical Systems Corp
Original Assignee
Olympus Corp
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, Olympus Medical Systems Corp filed Critical Olympus Corp
Priority to JP2010546981A priority Critical patent/JP4857393B2/ja
Application granted granted Critical
Publication of JP4857393B2 publication Critical patent/JP4857393B2/ja
Publication of JPWO2010143692A1 publication Critical patent/JPWO2010143692A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041Capsule endoscopes for imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147Holding or positioning arrangements
    • A61B1/00158Holding or positioning arrangements using magnetic field
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0607Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for annular illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0653Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements with wavelength conversion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Endoscopes (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

この発明は、生体内に投入され、生体組織の画像を取得するカプセル型内視鏡装置に関する。
近年、内視鏡の分野において、飲込み型のカプセル型内視鏡が開発されている。このカプセル型内視鏡は、撮像機能と無線機能とを備え、体腔内の観察のために患者の口から飲込まれた後、人体から自然排出されるまでの間、たとえば食道、胃、小腸などの臓器の内部をその蠕動運動にしたがって移動し、順次撮像する機能を有する。
ここで、特許文献1には、撮像期間中に、光源を作動させ、撮像装置に反射された光の量を記録し、撮像器の画像の利得レベルを制御する生体内撮像装置が記載されている。
また、特許文献2には、距離センサが被写体との距離を検出し、この距離が所定値以下の場合に、カプセル型内視鏡が被検体内に飲み込まれたと判断し、サブスイッチをオン状態にし、無駄な電力消費を抑えて画像収集を行うものが記載されている。
さらに、特許文献3には、生体内pH試験器などの生体内状態試験器を有し、この生体内状態試験器が取得した生体内の状態に応じて操作モードを変更するものが記載されている。
特開2006−524097号公報 特開2005−73887号公報 特開2006−509574号公報
ところで、生体組織は、体腔内の部位によって異なる被写体の形状や状態をとる場合があり、被写体の画像を取得する際、これら異なる被写体の形状や状態に対応した多様な撮像条件をもたせて撮像しないと、所望の画像を取得することができず、さらには無駄な画像を取得してしまう場合があるという問題点があった。
この発明は、上記に鑑みてなされたものであって、異なる被写体の形状や状態に応じた所望の画像を得ることができるカプセル型内視鏡装置を提供することを目的とする。
上述した課題を解決し、目的を達成するために、この発明にかかるカプセル型内視鏡装置は、生体組織を照明する照明部と、前記生体組織を撮像する撮像部と、前記撮像部によって撮像された画像を含む撮像情報を送信する送信部と、前記生体組織との間の距離に関する情報に対する閾値を記憶する記憶部と、前記生体組織との間の距離に関する情報を検出する検出部と、前記検出部が検出した距離に関する情報と前記閾値とを比較し、該比較結果をもとに撮像条件を選択し、該選択された撮像条件を撮像に関する動作部に出力する出力部と、を備えたことを特徴とする。
また、この発明にかかるカプセル型内視鏡装置は、上記の発明において、前記検出部は、前記画像の明るさの変化量、前記画像の空間周波数の変化量、および露光時間の変化量の少なくとも1つを前記距離に関する情報として検出することを特徴とする。
また、この発明にかかるカプセル型内視鏡装置は、上記の発明において、前記撮像条件毎の撮像機能を有する複数の撮像部を備え、前記出力部は、前記検出部が検出した距離に関する情報と前記閾値とを比較し、該比較結果をもとに撮像条件を選択し、該選択された撮像条件に対応する撮像部に対して該選択された撮像条件を出力して動作させることを特徴とする。
また、この発明にかかるカプセル型内視鏡装置は、上記の発明において、前記撮像条件毎の照明機能を有する複数の照明部を備え、前記出力部は、前記検出部が検出した距離に関する情報と前記閾値とを比較し、該比較結果をもとに撮像条件を選択し、該選択された撮像条件に対応する照明部に対して該選択された撮像条件を出力して動作させることを特徴とする。
また、この発明にかかるカプセル型内視鏡装置は、上記の発明において、各照明部は、少なくとも白色光を発する白色照明部と特定の可視光成分を発する特殊光照明部とを有し、前記出力部は、前記検出部が検出した距離に関する情報と前記閾値とを比較し、該比較結果をもとに撮像条件を選択し、該選択された撮像条件に対応する白色照明部および/または特殊光照明部に対して該選択された撮像条件を出力して動作させることを特徴とする。
また、この発明にかかるカプセル型内視鏡装置は、上記の発明において、当該カプセル型内視鏡装置本体の重心位置を調整する調整部を備え、前記出力部は、前記検出部が検出した距離に関する情報と前記閾値とを比較し、該比較結果をもとに撮像条件を選択し、該選択された撮像条件を前記調整部に出力して調整動作を行わせることを特徴とする。
また、この発明にかかるカプセル型内視鏡装置は、上記の発明において、外部に設けられた磁気誘導装置による誘導を受ける磁性体を備え、前記検出部は、前記磁性体が受ける磁界を前記距離に関する情報として検出し、前記出力部は、前記検出部が検出した距離に関する情報と前記閾値とを比較し、該比較結果をもとに撮像条件を選択し、該選択された撮像条件を撮像に関する動作部に出力することを特徴とする。
この発明によれば、出力部が、検出部によって検出された距離に関する情報と記憶部に記憶された閾値とを比較し、該比較結果をもとに撮像条件を選択し、該選択された撮像条件を撮像に関する動作部に出力して撮像動作を最適化するようにしているので、異なる被写体の形状や状態に応じた所望の画像を得ることができる。
図1は、この発明の実施の形態であるカプセル型内視鏡装置が適用されるカプセル型内視鏡システムの概要構成を示す模式図である。 図2は、図1に示したカプセル型内視鏡の構成を示すブロック図である。 図3は、発光素子の配列状態を示す図である。 図4は、図3に示した光学ドーム近傍の構成を示すA−A線断面図である。 図5は、発光素子の放射輝度スペクトルおよび撮像素子の分光感度スペクトルを示す図である。 図6は、受信装置の構成を示すブロック図である。 図7は、画像表示装置の構成を示すブロック図である。 図8は、制御部による撮像モードの切替処理手順を示すフローチャートである。 図9は、発光時間をもとに撮像モードを切り替える一例を示す図である。 図10は、画像の明るさの撮像モード距離依存性を示す図である。 図11は、特殊光観察モード時における距離変化による明るさのヒストグラムである。 図12は、画像の明るさを検出する一例を示す図である。 図13は、距離をパラメータとした場合における信号強度の空間周波数依存性を示す図である。 図14は、図2に示したカプセル型内視鏡に圧力センサを付加した構成を示す図である。 図15は、圧力センサを付加したカプセル型内視鏡の構成を示す図である。 図16は、光学ドームが体内組織に接触した部分を含む画像の一例を示す図である。 図17は、体外磁場発生装置によって発生した磁界によってカプセル型内視鏡を移動させる一例を示す模式図である。 図18は、通常光発光素子と特殊光発光素子とを一対形成した発光素子の分解斜視図である。 図19は、図18の発光素子に対する発光素子駆動回路の一例を示す回路図である。 図20は、撮像素子の分光感度スペクトルによる受光強度の変化を示す図である。 図21は、発光素子の励起光波長を同一にし、蛍光体の発光波長を変化させて受光強度をほぼ同一する発光スペクトルの一例を示す図である。 図22は、発光素子の励起光波長が短波長側にシフトするに従ってピーク波長を大きくし、蛍光体の発光波長を同一にして受光強度をほぼ同一にする発光スペクトルの他の一例を示す図である。 図23は、生体通信によって外部からの受信を可能にしたカプセル型内視鏡の構成を示す図である。 図24は、生体通信によって被検体内のカプセル型内視鏡に対して送信を可能にした受信装置の構成を示す図である。 図25は、2つの撮像系を有したカプセル型内視鏡の構成を示す図である。 図26は、図25に示したカプセル型内視鏡を用いて磁気誘導と反転処理を行った場合の状態を示す図である。 図27は、2つの撮像系を有し、重心移動が可能な機能を有したカプセル型内視鏡の構成を示す図である。 図28は、カラーフィルタの画素配置と分光感度特性の変形例を示す図である。 図29は、カラーフィルタの画素配置と分光感度特性の変形例を示す図である。 図30は、カラーフィルタの画素配置と分光感度特性の変形例を示す図である。 図31は、発光素子の変形例の構成を示す図である。 図32は、図31に示した発光素子の変形例に対応したカラーフィルタの一例の構成を示す図である。 図33は、図31に示した発光素子の変形例に対応したカラーフィルタの他の一例の構成を示す図である。 図34は、特殊光発光素子に対応する分光感度特性の一例を示す図である。 図35は、画像表示装置による画像処理手順を示すフローチャートである。 図36は、画像表示装置の表示画面の一例を示す図である。
以下、図面を参照して、この発明を実施するための最良の形態であるカプセル型内視鏡装置について説明する。
(実施の形態)
まず、図1は、本実施の形態にかかるカプセル型内視鏡システムの概要構成を示す模式図である。図1に示すように、このカプセル型内視鏡システムは、被検体1の体内画像を撮像するカプセル型内視鏡装置としてのカプセル型内視鏡2と、被検体内部に導入されたカプセル型内視鏡2から被検体1の体内画像を受信する受信装置3と、受信装置3が受信した被検体1の体内画像を表示する画像表示装置4と、受信装置3と画像表示装置4との間のデータの受け渡しを行うための携帯型記録媒体5とを備える。
カプセル型内視鏡2は、被検体1の口から飲込まれた後、臓器の蠕動運動等によって被検体1の臓器内部を移動しつつ、被検体1の体内画像を順次撮像する。また、カプセル型内視鏡2は、被検体1の体内画像を撮像する都度、撮像した体内画像を含む撮像情報を外部の受信装置3に対して順次無線送信する。この場合、カプセル型内視鏡2は、自身の持つ固有の機能に対応する時間間隔で被検体1の各体内画像を順次無線送信する。
受信装置3は、カプセル型内視鏡2が撮像した被検体1の体内画像群を受信し、受信した体内像群を蓄積する。具体的には、受信装置3は、複数の受信アンテナ3a〜3hを有し、臓器内部にカプセル型内視鏡2を導入する被検体1に装着(携帯)される。この受信装置3は、被検体1内部のカプセル型内視鏡2が無線送信した撮像情報を複数の受信アンテナ3a〜3hを介して順次受信し、被検体1の体内画像群を取得する。また、受信装置3は、着脱可能に挿着される携帯型記録媒体5を有し、カプセル型内視鏡2から取得した被検体1の体内画像群を携帯型記録媒体5に記録する。
受信アンテナ3a〜3hは、例えば被検体1の臓器内部に導入されたカプセル型内視鏡2の移動経路(すなわち被検体1の消化管)に沿って被検体1の体表上に分散配置され、上述した受信装置3に接続される。受信アンテナ3a〜3hは、被検体1内部のカプセル型内視鏡2が順次無線送信した撮像情報を捕捉し、この補足した撮像情報を受信装置3に対して順次送出する。なお、受信アンテナ3a〜3hは、被検体1に着用させるジャケット等に分散配置されてもよい。また、撮像情報を捕捉する受信アンテナは、被検体1に対して1以上配置されればよく、その配置数は、特に8つに限定されない。
画像表示装置4は、携帯型記録媒体5を媒介して被検体1の体内画像群等の各種データを取得し、この取得した各種データをディスプレイ上に表示するワークステーション等のような構成を有する。具体的には、画像表示装置4は、被検体1の体内画像群等が記録された携帯型記録媒体5を着脱可能に挿着し、この挿着した携帯型記録媒体5から被検体1の体内画像群等を取り込む。この場合、画像表示装置4は、上述した受信装置3によってカプセル型内視鏡2固有の機能別に識別された状態の体内画像群を取得する。画像表示装置4は、このように取得した体内画像群をカプセル型内視鏡2固有の機能別に保持管理し、カプセル型内視鏡2固有の機能別に区別した態様で各体内画像を表示する。このように画像表示装置4が被検体1の各体内画像を区別して表示することによって、医師または看護師等のユーザは、容易且つ効率的に被検体1の各体内画像を観察(検査)できる。なお、ユーザは、かかる画像表示装置4が表示した被検体1の各体内画像を観察して、被検体1を診断する。
携帯型記録媒体5は、可搬型の記録媒体であり、上述した受信装置3と画像表示装置4との間のデータの受け渡しを行うためのものである。具体的には、携帯型記録媒体5は、受信装置3および画像表示装置4に対して着脱可能であって、両者に対する挿着時にデータの出力および記録が可能な構造を有する。このような携帯型記録媒体5は、受信装置3に挿着された場合、受信装置3がカプセル型内視鏡2から受信した被検体1の体内画像群等を記録し、画像表示装置4に挿着された場合、被検体1の体内画像群等の記録データを画像表示装置4に送出する。
なお、携帯型記録媒体5が記録する各種データは、例えば、被検体1の体内画像群、これら体内画像群内の各体内画像の時間情報(撮像時刻、受信時刻等)、被検体1の患者情報、被検体1の検査情報、撮像モード情報等である。ここで、被検体1の患者情報は、被検体1を特定する特定情報であり、例えば、被検体1の患者名、患者ID、生年月日、性別、年齢等である。また、被検体1の検査情報は、被検体1に対して実施されるカプセル型内視鏡検査(臓器内部にカプセル型内視鏡2を導入して臓器内部を観察するための検査)を特定する特定情報であり、例えば、検査ID、検査日等である。また、撮像モード情報とは、後述する通常光観察モードか特殊光観察モードかなどの撮像時の撮像モードを示す情報である。
図2は、カプセル型内視鏡2の構成を示すブロック図である。カプセル型内視鏡2は、筐体に覆われる。筐体は、被検体1の内部に導入し易い大きさに形成されたカプセル型の筐体であり、ケース本体10aと光学ドーム10bとによって形成される(図4参照)。ケース本体10aは、一端が開口し且つ他端がドーム状に閉じた筒状構造を有するケース部材である。光学ドーム10bは、ドーム状に形成された透明な光学部材であり、ケース本体10aの一端である開口端を閉じる態様でケース本体10aに取り付けられる。かかるケース本体10aと光学ドーム10bとによって形成される筐体は、カプセル型内視鏡2の各構成部を液密に収容する。
カプセル型内視鏡2は、LED等によって実現される発光素子29と発光素子29を駆動制御する発光素子駆動部10とを有し、これらは照明部として機能する。また、CCDやCMOS等によって実現される固体撮像素子である撮像素子20と撮像素子20を駆動制御する撮像素子駆動部25と撮像素子20から出力された画素信号を画像信号として処理する画像信号処理回路21とを有し、これらは撮像部として機能する。また、送信部23は、画像信号処理回路21から出力された画像情報を含む撮像情報を無線信号として送信アンテナ24から出力する。
ここで、距離検出部22は、たとえば画像信号処理回路21から出力された画像情報あるいは制御部26からの情報をもとに、被写体とカプセル型内視鏡2との間の距離に関する情報を検出する。そして、制御部26は、カプセル型内視鏡2の全体制御を行うが、特に、距離検出部22が検出した距離に関する情報と、記憶部11に記憶された、撮像モードの切替に関する閾値12とを比較し、次の撮像モードを決定し、撮像素子駆動部25および/または発光素子駆動部10を制御して、決定した撮像モードによる撮像処理を実行させる制御を行う。この撮像モードは、通常光観察モードと特殊光観察モードとの2つがある。なお、カプセル型内視鏡2内には、電池などによって実現されるバッテリ28を有するとともに、このバッテリを用いて各構成部に電源を供給する電源回路27を有する。
さらに、照明部および撮像部の詳細構成について説明する。図3は、カプセル型内視鏡内の発光素子29の配列状態を光学ドーム側からみた図であり、図4は、照明部および撮像部が配置される近傍の縦断面図(A−A線断面図)である。また、図5は、発光素子29の放射輝度の波長依存性と撮像素子20の分光感度の波長依存性を示す図である。図3および図5(a)に示すように、発光素子29は、撮像素子20およびレンズ20aの周りに、2種類の発光素子が交互に円環状に配列される。2種類の発光素子20は、4つの通常光発光素子LAと4つの特殊光発光素子LBとからなり、光源基板29a上に配置される。
通常光発光素子LAは、青色(450〜480nm近傍、好ましくは460nm近傍)LED上に黄色蛍光体が設けられ、図5(a)の曲線FAに示すような白色光源である。一方、特殊光発光素子LBは、通常光発光素子LAの青色LEDよりも短波長の青色(415〜430nm近傍、好ましくは415nm近傍)LED上に黄色蛍光体が設けられ、図5(a)の曲線FBに示すような白色光源である。黄色蛍光体は、各青色LEDから発する波長光によって530〜560nm近傍にピークをもつ蛍光発光を行う。通常光発光素子LAは、通常の白色光源として実現されるが、特殊光発光素子LBは、白色光源であるものの、放射輝度の波長依存性のピーク波長が415nm近傍にある。ここで、415nm近傍の青色光は、ヘモグロビンに吸収されやすく、出血部位で反射されず、出血部位でないところで反射され、さらに生体表面下の浅い部分では、この浅い部分の血管に吸収される特性を有する。このため、特殊光発光素子LBの照射によって得られる画像を画像処理することによって、出血部位を鮮明に表示した血液吸光画像を得ることができるという特殊観察を行うことができる。この実施の形態では、通常光観察モードの場合、通常光発光素子LAと特殊光発光素子LBとの双方を照明させ、特殊光観察モードの場合、特殊光発光素子LBのみを照明させる。
なお、特殊光発光素子LBは、図4に示すように、指向角60°以上の配光特性を有し、通常光発光素子LAの配光特性よりも広くしている。これは、特殊光観察モードでは、カプセル型内視鏡2に近接した被写体を広く観察するためであり、通常光観察モードでは、カプセル型内視鏡2から離隔した被写体を観察するためである。また、カプセル型内視鏡2の長軸中心に位置するレンズ20aは、鏡筒20b内であって撮像素子20の上部に配置され、発光素子29から照射され、被写体から反射した光を集光し、撮像素子20上に結像する。鏡筒20bおよび撮像素子20は、撮像基板20c上に配置固定される。また、撮像素子20は、ベイヤ配列等で配列されたRGBのカラーフィルタを有し、図5(b)に示すように、各RGBの分光感度波長依存性を有する。
ここで、受信装置3は、図6に示すように、受信部30が、複数の受信アンテナ3a〜3hによって受信したRF信号を復調し、受信信号処理部31が、この復調された信号をもとに画像情報などを生成し、記憶制御部32を介して携帯型記録媒体5に記憶する。制御部33は、受信装置3全体を制御するが、受信部30で受信したRF信号の受信電界強度をもとに、最も受信電界強度が高い受信アンテナ3a〜3hを選択し、受信部30に対して選択切替の指示を出力する。入出力部34は、各種の指示情報などを入力し、あるいは出力するもので、たとえばタッチパネルなどによって実現される。なお、受信装置3は、電池などによって実現されるバッテリ35を有するとともに、このバッテリを用いて各構成部に電源を供給する電源回路36を有する。
また、図7は、画像表示装置4の構成を示すブロック図である。図7に示すように、画像表示装置4の制御部41は、携帯型記録媒体5から入力された撮像情報を取得し、入力部40の指示のもと、記憶部45に格納する。その後、入力部40の指示のもと、記憶部45に記憶された所望の画像を取り出し、画像処理回路42で所望の画像処理を施した後、表示装置制御回路43を介してモニタ44に表示出力する。
ここで、図8に示すフローチャートを参照して、カプセル型内視鏡2による撮像モードの切替設定処理手順について説明する。図8において、まず、制御部26は、撮像素子駆動部25および発光素子駆動部10を制御し、所定タイミング、たとえば0.5秒毎に、撮像処理を行う(ステップS101)。その後、距離検出部22は、得られた撮像情報あるいは制御部26からの情報をもとに、距離に関する情報を取得する(ステップS102)。その後、この距離に関する情報の値、たとえば発光時間などが閾値12に比して大きいか否かを判断する(ステップS103)。距離に関する情報の値が、閾値12に比して大きい場合(ステップS103,Yes)には、被写体とカプセル型内視鏡2との間が離隔しているので、通常光観察モードに設定し(ステップS104)、ステップS106に移行する。一方、距離に関する情報の値が、閾値12に比して大きくない場合(ステップS103,No)には、被写体とカプセル型内視鏡2との間が近接しているので、特殊光観察モードに設定し(ステップS105)、ステップS106に移行する。ステップS106では、撮像処理を終了するか否かを判断し、撮像処理を終了しない場合(ステップS106,No)、ステップS101に移行し、ステップS104あるいはステップS105によって設定された撮像モードによって上述した撮像処理を繰り返し行い、撮像処理を終了する場合(ステップS106,Yes)には、本処理を終了する。なお、上述したように、通常光観察モードの場合、通常光発光素子LAと特殊光発光素子LBとの双方を照明させて撮像し、特殊光観察モードの場合、特殊光発光素子LBのみを照明させて撮像する。また、このようにして撮像された撮像情報は、少なくとも撮像モードの情報を付して受信装置3側に送信される。
(距離に関する情報:発光時間)
ここで、上述した距離に関する情報の具体例について説明する。制御部26は、得られた画像情報をもとに自動調光制御を行っている。この自動調光制御によって、発光素子(LED)29の発光時間が調整される。そして、カプセル型内視鏡2と被写体との間が離隔している場合には、被写体からの光の反射光量が少なく暗いため、発光素子29の発光時間が長く調整され、カプセル型内視鏡2と被写体との間の距離が近接している場合には、被写体からの光の反射光量が多いため、発光素子29の発光時間が短く調整される。すなわち、発光素子29の発光時間を検出することによって、カプセル型内視鏡2と被写体との間の距離を検出することができる。
したがって、図9に示すように、制御部26は、現在設定されている撮像モードが特殊光観察モードM2である場合、発光時間の閾値tBを超えたか否かを判断し、超えた場合に、通常光観察モードM1に設定変更する処理を行う。一方、制御部26は、現在設定されている撮像モードが通常光観察モードM1である場合、発光時間の閾値tAB未満となったか否かを判断し、未満となった場合に、特殊光観察モードM2に設定変更する処理を行う。なお、この例では、チャタリング防止のため、異なる閾値tAB,tBを用いているが、閾値tAB,tBを同一の閾値としてもよい。また、この例では、各通常光発光素子LAと各特殊光発光素子LBとに流す駆動電流を同じに設定している。
(距離に関する情報:画像の明るさ)
つぎに、距離に関する情報として、画像の明るさを検出する場合について説明する。ここでは、画像の明るさを、取得した画像の高輝度部分の画素平均値を用いている。図10に示すように、高輝度部分の画素平均値は、カプセル型内視鏡2と被写体との間の距離の増大とともに、ある距離から飽和状態から脱し、その後、減少する。したがって、制御部26は、現在設定されている撮像モードが特殊光観察モードM2である場合であって、画像の明るさが閾値Cth未満に減少した場合、通常光観察モードM1に変更設定する。すなわち、特殊光観察モードM2のときに、明るさが閾値Cth未満になる領域EABでは、通常光観察モードM1に変更設定する。
ここで、通常光観察モードM1および特殊光観察モードM2の双方とも閾値Cthとなる領域EBで、現在通常光観察モードM1である場合に、一度、特殊光発光素子LBのみをプレ発光し、明るさを検出し、閾値Cth未満である場合には、通常光観察モードM1を維持し、閾値Cthである場合には、特殊光観察モードM2に変更設定することが、省エネルギー上、好ましい。
なお、高輝度部分の画素平均値に限らず、図11に示すように、画像の明るさのヒストグラムをとり、このヒストグラムの高輝度部分ECの分布形状変化によって、カプセル型内視鏡2と被写体との間の距離を検出するようにしてもよい。たとえば、距離の増大によって曲線Hebが曲線Heabに変化する。もちろん、ヒストグラム全体の分布形状変化から距離を検出するようにしてもよい。
また、図12に示すように、検出画像内の全ての画素を対象とせずに、一部の画素を対象として明るさを検出するようにしてもよい。図12では、距離検出部22が、検出画像50内の中央部分の領域E0と、周辺部分の4つの領域E1〜E4との各領域E0〜E4の明るさを求めるようにしている。各領域E0〜E4は、たとえば10×10画素の領域であり、明るさとして輝度を求めている。すなわち、輝度Y=0.11・B+0.59・G+0.30・R として求めている。なお、この輝度に替えて、体内での吸収特性が最も少ない赤(R)成分のみから明るさを求めるようにしてもよい。
(距離に関する情報:管腔検出)
この場合、中央部分の領域E0と、周辺部分の領域E1〜E4とを検出しているので、管腔の軸方向を撮像しているか否かを検出することができる。すなわち、領域E0の明るさが所定値A未満で、領域E1〜E4の明るさが所定値Bを超えている場合、この画像は、管腔の軸方向を撮像したものであると判定することができる。この管腔の軸方向を撮影している場合には、通常光観察モードM1に変更設定することが好ましく、撮影モードの切替処理に、この撮像条件を付加すると、きめの細かい切替処理が可能となる。
(距離に関する情報:画像の空間周波数)
つぎに、距離に関する情報として、画像の空間周波数を検出する場合について説明する。取得した画像は、距離が近い場合、凹凸が粗く、距離が遠い場合、凹凸が細かいものとなる。すなわち、図13に示すように、距離が近い場合も距離が遠い場合も、画像信号の信号強度は、空間周波数が高くなるにしたがって低くなるが、距離が遠い場合の曲線Fbの方が、空間周波数が高くなるにしたがって低くなる減少度が高く、距離が近い場合の曲線Faとの信号強度差が大きくなる。
すなわち、距離検出部22は、この空間周波数分布を求めることによって、距離を検出することができる。なお、空間周波数分布は、1次元あるいは2次元で処理するFFTを用いることによって実現される。なお、1次元でFFT処理を行う場合、複数ラインを平均するようにしてもよい。また、カラーフィルタがベイヤ配列である場合、Gの色成分の画素に対する空間周波数を求めるようにすることが好ましい。ベイヤ配列では、4つの画素のうち2つの画素がG成分であるので、空間周波数を精度良く取得することができるからである。
(距離に関する情報:接触検出)
ここでは、光学ドーム10bが被写体に接触したか否かによって距離を検出するようにしている。被写体との接触は、図14に示すように、圧力センサ60を設け、距離検出部22が、この圧力センサ60の測定結果を制御部26から受けることによって行う。圧力センサ60は、図15に示すように、光学ドーム10bとケース本体10aとの間の接合部分に設けられる。光学ドーム10bとケース本体10aとの間は、弾性部材61が設けられ、光学ドーム10bがケース本体10aに対して長軸方向に移動可能となっている。圧力センサ60は、たとえばバネ状の押圧部材であり、MEMS素子によって実現される。光学ドーム10bが消化管の側壁などに接触すると、この押圧力によって圧力センサ60が縮み、この変形を電気的あるいは機械的に検出することによって圧力を検出する。
距離検出部22は、圧力センサ60によって測定された圧力が閾値12を超えた場合、光学ドーム10bが被写体に接触したと判定し、被写体とカプセル型内視鏡2との間の距離が近いことを検出する。制御部26は、距離が近い場合、特殊光観察モードM2に設定し、距離が遠い場合、通常光観察モードM1に設定する。
ところで、光学ドーム10bが接触している場合、制御部26は、発光素子29による発光強度を強くし、さらに露光時間を短くする接触撮像モードM3をさらに設けてもよい。この接触撮像モードM3では、発光強度を強くすることで、少ないヘモグロビンの吸光反応を確実に撮像することが可能となり、この発光強度を強くするのに対応して露光時間を短くすることで、撮像素子20の出力が飽和するのを防止することができる。
なお、図16に示すように、取得された画像62内の接触している部分63は、構造強調レベルを変更するなどの画像処理を行うことが好ましい。この画像処理を行うことによって、消化管表面の毛細血管などを強調表示することができる。ここで、接触している部分63の検出は、ある一定以上の明るさと均一性とを有し、空間の周波数成分が周囲の領域に比して低い(凹凸が少ない)部位を検出することによって実現される。
(距離に関する情報:色成分検出による接触検出)
ところで、小腸を観察する場合、ビルルビン(胆汁色素)の影響を受け、画像全体が黄色くなってしまう。一方、光学ドーム10bが生体組織に接触すると、ビルルビンが撮像範囲から押し出され、黄色成分が減少する。この黄色成分は、G画素およびR画素の情報に含まれるので、たとえば、B画素の信号強度とG画素の信号強度との比(B/G)を求め、この比(B/G)が、閾値を越えた場合に、光学ドーム10bが生体組織に接触したと検出することができる。接触した場合、この比のBは変化がなく、この比のGが小さくなるため、比(B/G)が大きくなるからである。
そして、制御部26は、接触した場合に、特殊光観察モードM2に設定し、接触しない場合に、通常光観察モードM1に設定する。あるいは、接触した場合に、上述したようにさらに、接触撮像モードM3に設定するようにしてもよい。
(距離に関する情報:磁界情報)
ここでは、距離に関する情報として、磁界情報を用いている。図17に示すように、カプセル型内視鏡2を2眼のカプセル型内視鏡102とし、カプセル型内視鏡102内には、磁性体73と、磁場を検出する磁場検出部74とを有する。また、被検体1の外部には、体外磁場発生装置80が設けられ、胃70内の水71に浮いたカプセル型内視鏡102に対して磁場を発生し、この磁場を変化させることによって、カプセル型内視鏡102を鉛直下方に引き寄せ、カプセル型内視鏡102を鉛直方向に移動させることができる。
ここで、距離検出部22は、制御部26を介して、磁場検出部74から磁場の大きさを検出することによって、カプセル型内視鏡102と被検体である胃70の組織表面70aとの間の距離を検出することができる。制御部26は、この検出結果をもとに、上述した撮像モードを変更設定する処理を行うことができる。
(通常光観察モードの変形例)
ところで、上述した通常光観察モードは、通常光発光素子LAと特殊光発光素子LBとを同時に発光させるものであったが、通常光観察モードを、通常光発光素子LAのみの発光とするようにしてもよい。すなわち、通常光観察モードでは、通常光発光素子LAのみを発光させ、特殊光観察モードでは、特殊光発光素子LBのみを発光させるようにしてもよい。
(発光素子の変形例)
また、上述した発光素子29では、通常光発光素子LAと、特殊光発光素子LBとがそれぞれ別体の発光素子として形成されるものであったが、通常光発光素子LAと特殊光発光素子LBとを一体化したLEDとして形成するようにしてもよい。
たとえば、図18に示すように、LED本体90に、415〜430nmにピークをもつ励起用LED91と、450〜480nmにピークをもつ励起用LED92とを形成し、このLED本体90の上部に、530〜560nmに蛍光のピークをもつ蛍光体93を載せて結合させることによって、一体化したLEDが実現される。これによって、通常光発光素子LAと特殊光発光素子LBとの均等配置を考慮する必要がないため、発光素子の配置が容易かつ柔軟に行うことができる。
なお、励起用LED91を発光させることによって特殊光発光素子LBと同じ機能が発揮され、励起用LED92を発光させることによって通常光発光素子LAと同じ機能が発揮される。この場合、図19に示すように、励起用LED91,92を並列接続し、さらに励起用LED91に直列接続されたスイッチ91aおよび励起用LED92に直列接続されたスイッチ92aを設けた発光素子駆動部10とし、制御部26によって選択駆動制御を行うことによって、任意の組合せの発光を行うことができる。また、図示しない可変抵抗を各励起用LED91,92に直列接続し、各励起用LED91,92に流れる電流比率を変化させるようにしてもよい。すなわち、スイッチ91a,92aによるオンオフに加えて、アナログ的に発光強度を変化させてもよい。さらに、2つの励起用LED91,92に加えて、たとえば400nmにピークをもつ励起用LEDを持たせるようにしてもよい。すなわち、2つの励起用LED91,92に限らず、3つ以上の励起用LEDを用いても良い。
(発光素子および撮像素子の色成分調整)
ここでは、画像処理時のホワイトバランス補正値の比率が同一となるように、各通常光発光素子LAと各特殊光発光素子LBとの励起光波長成分と、蛍光体の発光波長成分との比率を揃えるようにしている。
図20に示すように、たとえば波長λ1(460nm)および波長λ3(415nm)に同じピーク値の励起光放射強度を有するLEDであっても、撮像素子の分光感度特性によって最終的な受光強度が異なる(λ3<λ2<λ1)。すなわち、波長λ1に対する撮像素子の分光感度S1に比して、波長λ3に対する撮像素子の分光感度S3は小さいため、最終的な波長λ3の受光強度は、波長λ1の受光強度に比して小さくなる(S3<S2<S1)。この結果、受光強度は異なるスペクトルをなす。
このため、図21に示すように波長λ1,λ3のピーク放射輝度を同じにし、撮像素子のB画素の分光感度特性に応じて、蛍光体の発光成分比率を下げるようにしている。すなわち、図21に示す蛍光体の発光成分のピーク波長λ0(560nm)近傍が、B画素の分光感度特性の低下に応じて小さくなるように、蛍光体の発光成分材料を少なくする。この結果、波長λ1,λ3に同じピーク放射輝度を有するものであっても、最終的な各発光素子からの受光強度スペクトルは、ほぼ同じ形状となる。
あるいは、図22に示すように、蛍光体の発光成分のピーク波長λ0近傍の値が同じになるように、蛍光体の発光成分材料を設定するとともに、B画素の分光感度特性の低下を補正するように、波長λ1のピーク放射輝度に比して波長λ3のピーク放射輝度を大きくするようにし、最終的な各発光素子からの受光強度スペクトル形状を、ほぼ同じにする。
詳細な設定をする場合、具体的に、通常光発光素子LAの放射輝度特性と撮像素子の分光感度特性とによる各RGBの積分値をとり、各積分値の比率(B/G,R/G)として、ある特定値をもたせる。なお、この比率は、1近傍が好ましい。そして、特殊光発光素子LBの放射輝度特性と撮像素子の分光感度特性とによる各RGBの積分値をとり、各積分値の比率が、通常光発光素子LAのときの比率と同じようにする。
あるいは、たとえば、B成分に対して、通常光発光素子LAの放射輝度特性と撮像素子の分光感度特性との積分値Xを求め、さらに、B成分に対して、特殊光発光素子LBの放射輝度特性と撮像素子の分光感度特性との積分値Yを求め、この時の比率α(=Y/X)とすると、他のG成分およびR成分に対する比率αも同じ値となるようにする。
この結果、どの発光素子から発光させても、あるいは複数の異なる発光素子を同時に発光させても、受光強度スペクトルが同じになり、画像処理時におけるホワイトバランス補正値も同じになるため、画像処理時におけるホワイトバランス補正値が共通化され、画像処理を容易に行うことができる。特に、異なるカプセル型内視鏡によって撮像された画像であっても、この色成分調整を行っておくことによって、たとえば、画像表示装置4側で、共通のホワイトバランス補正値を用いることができ、画像処理にかかる負荷を軽減することができる。
(距離に関する情報の外部入力)
上述した実施の形態では、距離に関する情報をカプセル型内視鏡2内で取得するようにしていたが、これに限らず、外部の装置によって取得した距離に関する情報をカプセル型内視鏡2が受信するようにしてもよい。この受信した距離に関する情報は、制御部26を介して距離検出部22に送られる。
ただし、この場合、カプセル型内視鏡2には、受信機構を持たせ、受信装置3には、送信機構を持たせる必要がある。このため、カプセル型内視鏡2には、図23に示すように、生体通信を行うための一対の受信電極94a,94bと、受信電極94a,94b間の電位差から受信信号を受信する受信部94とを有する。一方、受信装置3には、図24に示すように、一対の送信電極96a,96bと、送信電極96a,96b間に電位差を発生させ、被検体1を介してカプセル型内視鏡2側に送信信号を発生させる送信部95とを有する。
この受信装置3側からカプセル型内視鏡2側への送信機能を持たせることによって、たとえば、受信装置3側で画像解析を行い、この結果をもとに、上述した画像の明るさや空間周波数などの距離に関する情報をカプセル型内視鏡2側に送ることができる。また、外部磁界発生装置を用いる場合には、カプセル型内視鏡2側に磁界検出部を設けずとも、外部磁界発生装置の磁界発生情報をカプセル型内視鏡2側に送り、この磁界発生情報を、距離に関する情報として用いることによって、上述した撮像モードの切替を行うことができる。
(距離に関する情報の出力先が外部かつ撮像条件が焦点距離)
上述した実施の形態では、距離に関する情報をカプセル型内視鏡2内の動作部に出力するようにしていたが、この距離に関する情報をカプセル型内視鏡2の外部に出力するようにしてもよい。たとえば、受信装置3内の動作部に出力してもよいし、画像処理装置4側の動作部に出力するようにしてもよい。
たとえば、カプセル型内視鏡2に替えて、図25に示すように、焦点距離の異なる2つの撮像系A,Bを有する2眼のカプセル型内視鏡202であって、内部に磁石210を有し、外部磁界によって反転が可能なものである。すなわち、光学ドーム10bに対応した光学ドーム210a,210bを長軸方向の両端に有し、一端には、焦点距離が長い撮像系Aを設け、他端には、焦点距離が短い撮像系Bを設けている。この撮像系A,Bに挟まれて、電池231、磁石210、送信アンテナ250などが搭載されている。撮像系A,Bは、それぞれ制御基板230a,230b上に、レンズ221a,221bおよび撮像素子220a,220bを中心に、発光素子229a,229bが円環状に配置されている。また、電池231は、重量が大きいため、カプセル型内視鏡202のカプセル重心Gがカプセル型内視鏡202の中心に位置するように、重量部材としてのバラスト240が電池231の反対側に設けられている。
このカプセル型内視鏡202は、カプセル重心Gが中心に位置しているため、液体中などで容易に回転が可能となり、図17に示すような体外磁界発生装置80により、磁界を与えることにより、容易に回転させることができる。この体外磁界発生装置80に、カプセル型内視鏡202側から、距離に関する情報を出力すると、体外磁界発生装置80は、入力された距離に関する情報をもとに、磁界発生の向きを制御し、距離が短い場合には、焦点距離の短い撮像系Bを被写体の体内組織側に向け、距離が遠い場合には、焦点距離の長い撮像系Aを被写体の体内組織側に向ける(図26参照)。
上述した実施の形態では、撮像モードを変更することによって撮像条件を変更するようにしていたが、ここでは、距離に応じた焦点距離を有する撮像系を選択することによって撮像条件を変更するようにしている。また、動作部は、体外磁界発生装置80内の磁界発生制御部となる。
(撮像条件:焦点距離)
上述したように、撮像条件として異なる焦点距離を有した撮像系の変更を行う場合、磁界を用いず、カプセル型内視鏡の重心位置を変更させることによっても行うことができる。たとえば、図27に示すように、カプセル型内視鏡302は、カプセル型内視鏡202の固定のバラスト240に替え、移動可能なバラスト340を設け、このバラスト340の移動を駆動させるバラスト駆動部310を有する。その他の構成は、図25に示したカプセル型内視鏡202と同じ構成である。
バラスト駆動部310は、長軸方向に伸縮するSMA(形状記憶合金)で形成され、このSMAに電流を流すことによってSMAを伸縮させ、バラスト340を移動させ、カプセル重心Gの位置を変化させる。このカプセル重心Gの位置を変化させることによって、カプセル型内視鏡302を回転させることができ、距離に関する情報に応じて撮像系の選択を行うことができる。すなわち、この場合の動作部は、カプセル型内視鏡302内のバラスト駆動部310であり、撮像条件は、上述した焦点距離である。
(カラーフィルタの変形例1)
上述した実施の形態では、カラーフィルタがベイヤ配列であることを前提としていたが、ここでは、カラーフィルタの構成を変えて撮像画像を得ようとするものである。すなわち、図28(a)に示すように、通常光発光素子LAによる発光スペクトルFAと特殊光発光素子LBによる発光スペクトルFBとが得られるが、カラーフィルタは、図28(c)に示すように、R、G、B1、B2の4画素を用い、B1画素とB2画素とを対角線で配置している。図28(b)に示すように、画素B1の分光感度は、特殊光発光素子LBの励起光スペクトルに対応させ、また画素B2の分光感度は、通常光発光素子LAの励起光スペクトルに対応させている。
そして、通常光撮像モードでは、R画素、G画素、(B1+B2)画素を用いて通常光画像の画像生成を行い、特殊光撮像モードでは、B2画素およびG画素を用いて特殊光画像(血液吸光画像)の画像生成を行う。この場合、B1画素とG画素との分光感度のスペクトルが分離しているため、鮮明な特殊光画像を得ることができる。なお、G(緑)成分は、B1(青)成分が吸光される血管よりも深部に位置するやや太い血管によって吸光され、これら2つの血管の分離を行うことができる。
(カラーフィルタの変形例2)
この変形例2では、変形例1と同様の通常光発光素子LAによる発光スペクトルFAと特殊光発光素子LBによる発光スペクトルFBとが得られるが(図29(a)参照)、変形例1に示したB1画素の分光感度スペクトルにB3画素の分光感度スペクトルをオーバーラップするようにしている(図29(b)参照)。このカラーフィルタは、図29(c)に示すように、R、G、B1、B3の4画素を用い、B1画素,B3画素を対角線で配置している。この場合も、B3画素の分光感度スペクトルとG画素の分光感度スペクトルとを分離しているため、鮮明な特殊光画像を得ることができる。
(カラーフィルタの変形例3)
この変形例3では、図30に示すように、ベイヤ配列の2つのG画素のうち、1つのG画素を狭帯域の分光感度スペクトルを有するG1画素としている。ここで、特殊光観察モードでは、B画素とG1画素とを用い、通常光観察モードでは、R画素、G画素(またはG画素およびG1画素)、B画素を用いる。この場合もB画素の分光感度スペクトルとG1画素の分光感度スペクトルとが分離されているため、鮮明な特殊光画像を得ることができる。
(撮像系の変形例1)
上述した実施の形態では、通常光発光素子LAおよび特殊光発光素子LBを用いて、通常光画像および特殊光画像を得るものであったが、ここでは、発光素子として、図31に示すように、蛍光体を用いず、3つのLED、すなわち白色光を発光する白色LED401、緑色光を発光する緑LED402、青色光を発光する青LED403を設け、通常光観察モードでは、白色LED401のみを発光させ、特殊光観察モードでは、緑LED402と青LED403とを発光させる。
この場合のカラーフィルタは、図32(a)に示すように、ベイヤ配列のR画素に替えてMg(マゼンタ)画素を用いている。この場合の分光感度スペクトルは、図32(b)に示すように、Mg画素が、R成分とB成分とにまたがった分光感度スペクトルを有する。そして、通常光観察モードでは、Mg画素成分からB画素成分を減算したものをR画素成分として出力することにより、RGBによる通常光画像を得ることができる。一方、特殊光観察モードでは、緑LED402および青LED403のみが発光されるため、R成分の発光はない。そして、B成分は、B画素成分とMg画素成分のB成分領域とによってB画素の2倍の受光強度を得ることができ、G成分は、2つのG画素によって2倍の受光強度を得ることができ、1つの画素配列で、ベイヤ配列時に比べて2倍の受光強度が得られるため、解像度の高い特殊光画像を得ることができる。
(撮像系の変形例2)
また、図31に示した発光素子を用い、図33(a)に示すようなカラーフィルタ配列としても高い解像度の特殊光画像を得ることができる。すなわち、ベイヤ配列のR画素に替えてW(白色)画素を設けている。このW画素は、図33(b)に示すように、RGB全領域にまたがった分光感度スペクトルを有する。なお、この変形例2では、変形例1と異なり、通常光観察モードでは、白色LED401、緑LED402、青LED403のすべてを発光させ、R成分は、W画素成分から、B画素成分とG画素成分とを加算したものを減算することによって生成する。一方、特殊光観察モードでは、変形例1と同様に、緑LED402および青LED403を発光させ、W画素成分からG画素成分を減算することによってW画素からB成分を算出し、B成分は、B画素成分とこのW画素成分のうちのB成分とによって、2倍の受光感度を得ることができ、また、G成分は、2つのG画素を有するため、2倍の受光感度を得ることができる。この結果、特殊光観察モードでは、2倍の受光強度を得ることができ、解像度の高い特殊光画像を得ることができる。
(撮像モード情報の付加出力)
ところで、通常のベイヤ配列で図34(b)に示す分光感度スペクトルを有する場合で、図34(a)に示す発光スペクトルFBの特殊光発光素子LBのみによる発光で画像を得ようとする場合、RGB成分を用いて通常光画像を得ることができるとともに、R成分を用いず、GB成分のみによって特殊光画像を得ることができる。すなわち、特殊光発光素子LBを用いた場合には、通常光画像と特殊光画像とを得ることができるため、画像表示装置4で画像表示出力する場合、通常光画像と特殊光画像とを得る画像処理あるいは表示できる旨の表示処理を行うことが好ましい。なお、通常光発光素子LAのみを用いた場合あるいは通常光発光素子LAと特殊光発光素子LBとを用いた場合、通常光画像を得ることができる。
そこで、カプセル型内視鏡2は、撮像情報に、撮像条件を示す撮像モード情報を付加情報として含めて送信する。この撮像情報を受けた画像表示装置4は、各画像を表示する際、各画像に施す画像処理を図35に示す処理手順で行う。すなわち、まず画像に対応する付加情報が特殊光発光素子LBのみによって撮像されたものであるか否かを判断する(ステップS201)。その後、付加情報が特殊光発光素子LBのみによって撮像されたものでない場合(ステップS201,No)、通常光発光素子LAのみによって撮像された画像を含め、通常光発光素子LAと特殊光発光素子LBとによって撮像されたときの通常光画像生成処理を行って(ステップS202)本処理を終了する。
一方、付加情報が特殊光発光素子LBのみである場合(ステップS201,Yes)、特殊光発光素子LBのみによって撮像された画像に対する通常光画像生成処理を行う(ステップS203)とともに、特殊光発光素子LB観察モードのみによって撮像された画像に対する特殊光画像(血液吸光画像)生成処理を並列して行う(ステップS204)。そして、本処理を終了する。
このようにして得られた通常光画像と特殊光画像(血液吸光画像)とは、図36に示すように、モニタ44の表示画面E内の領域EP1,EP2内にそれぞれ表示することができる。ここで、表示画面E内には、一連の画像群の特徴色で画像順(画像取得順)に並べた平均色バー500が表示される。この平均色バー500は、GUIであり、平均色バー500の所望位置を指示することによって、この所望位置に対応した画像を表示出力し、あるいは所望位置に対応した画像から順次、連続して表示出力する。ここでは、さらに平均色バー500の上部に連接し、同じ画像順(画像取得順)で、特殊光画像がある場合には、その領域501aを表示出力する撮像モード表示バー501が設けられる。この撮像モード表示バー501上の領域501aは、通常光画像の表示の他に、特殊光画像の表示が可能であることを示している。なお、すべての画像が特殊光発光素子LBのみによって撮像された場合には、撮像モード表示バー501の領域501aが、特殊光画像の表示が好ましい領域として表示出力するようにしてもよい。この好ましい領域であるか否かの判断は、撮像情報に付加された距離に関する情報あるいは距離に関する情報をもとにした判断結果をもとに行い、距離が閾値よりも短い場合に、好ましい領域であるとして表示出力する。
(撮像モードの変形例)
上述した実施の形態では、通常光観察モードと特殊光観察モードとのいずれか一方に選択設定され、この選択設定された撮像モードは、次の撮像時の撮像モードとなっていた。ここで、さらに、時間的な視点に立った撮像モードの設定変更を行ってもよい。たとえば、撮像条件によって、通常光観察モードと特殊光観察モードとを交互に行う交互撮像モードと、一時的に割り込んで選択設定された撮像モードを一回に限り行う一時撮像モードとを設けるようにしてもよい。
なお、上記各実施の形態のさらなる効果や変形例は、当業者によって容易に導き出すことができる。よって、本発明のより広範な態様は、以上のように表わしかつ記述した特定の詳細および代表的な実施の形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
1 被写体
2,102,202,302 カプセル型内視鏡
3 受信装置
3a〜3h 受信アンテナ
4 画像表示装置
5 携帯型記録媒体
10 発光素子駆動部
10a ケース本体
10b,210b 光学ドーム
11,45 記憶部
12 閾値
20,220a,220b 撮像素子
20a,221a,221b レンズ
20b 鏡筒
20c 撮像基板
21 画像信号処理回路
22 距離検出部
23,95 送信部
24 送信アンテナ
25 撮像素子駆動部
26,33,41 制御部
27,36 電源回路
28,35 バッテリ
29,229a,229b 発光素子
29a 光源基板
30,94 受信部
31 受信信号処理部
32 記憶制御部
34 入出力部
40 入力部
42 画像処理回路
43 表示装置制御回路
44 モニタ
50 検出画像
60 圧力センサ
61 弾性部材
70 胃
71 水
74 磁気検出部
80 体外磁場発生装置
90 LED本体
91,92 励起用LED
91a,92a スイッチ
93 蛍光体
94a,94b 受信電極
96a,96b 送信電極
210 磁石
231 電池
240 バラスト
250 送信アンテナ
401 白色LED
402 緑LED
403 青LED
500 平均色バー
501 撮像モード表示バー
LA 通常光発光素子
LB 特殊光発光素子
G カプセル重心

Claims (3)

  1. 白色光を発する白色照明部と特定の可視光成分を発する特殊光照明部とを少なくとも有し、前記白色照明部および前記特殊光照明部の少なくとも一方で生体組織を照明する照明部と、
    焦点距離の異なる複数の撮像系を有し、前記生体組織を撮像する撮像部と、
    前記撮像部によって撮像された画像を含む撮像情報を送信する送信部と、
    前記生体組織における前記撮像部の被写体との間の距離に関する情報に対する閾値を記憶する記憶部と、
    前記被写体との間の距離に関する情報を検出する検出部と、
    当該カプセル型内視鏡装置の重心位置を調整する調整部と、
    前記検出部が検出した距離に関する情報と前記閾値とを比較し、該比較の結果、前記被写体までの距離が前記閾値よりも大きくない場合には前記特殊光照明部のみを発光させる特殊光観察モードの撮像条件を選択し、前記被写体までの距離が前記閾値よりも大きい場合には少なくとも前記白色照明部を発光させる通常光観察モードの撮像条件を選択して、該選択した撮像条件を撮像に関する動作部に出力するとともに、前記比較の結果をもとに前記複数の撮像系のうちいずれで撮像を行うかの撮像条件を選択し、該選択された撮像条件を前記動作部に出力して前記調整部による調整動作を行わせる出力部と、
    を備えたことを特徴とするカプセル型内視鏡装置。
  2. 白色光を発する白色照明部と特定の可視光成分を発する特殊光照明部とを少なくとも有し、前記白色照明部および前記特殊光照明部の少なくとも一方で生体組織を照明する照明部と、
    前記生体組織を撮像する撮像部と、
    前記撮像部によって撮像された画像を含む撮像情報を送信する送信部と、
    前記生体組織における前記撮像部の被写体との間の距離に関する情報に対する閾値を記憶する記憶部と、
    前記被写体との間の距離に関する情報としての前記画像の明るさを検出する検出部と、
    記撮像部で撮像された画像における周辺部分の領域と中央部分の領域との明るさと、前記閾値とに基づいて、前記画像が前記生体組織の管腔の軸方向を撮像したものか否かを判定し、前記管腔の軸方向を撮像したものでないと判定した場合には前記特殊光照明部のみを発光させる特殊光観察モードの撮像条件を選択し、前記管腔の軸方向を撮像したものであると判定した場合には少なくとも前記白色照明部を発光させる通常光観察モードの撮像条件を選択して、該選択した撮像条件を撮像に関する動作部に出力する出力部と、
    を備えたことを特徴とするプセル型内視鏡装置。
  3. 前記出力部は、前記中央部分の領域の明るさが第1の値未満であるとともに、前記周辺部分の領域の明るさが第2の値以上である場合に、前記管腔の軸方向を撮像したものであると判定することを特徴とする請求項に記載のカプセル型内視鏡装置。
JP2010546981A 2009-06-10 2010-06-10 カプセル型内視鏡装置 Active JP4857393B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010546981A JP4857393B2 (ja) 2009-06-10 2010-06-10 カプセル型内視鏡装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009139570 2009-06-10
JP2009139570 2009-06-10
PCT/JP2010/059856 WO2010143692A1 (ja) 2009-06-10 2010-06-10 カプセル型内視鏡装置
JP2010546981A JP4857393B2 (ja) 2009-06-10 2010-06-10 カプセル型内視鏡装置

Publications (2)

Publication Number Publication Date
JP4857393B2 true JP4857393B2 (ja) 2012-01-18
JPWO2010143692A1 JPWO2010143692A1 (ja) 2012-11-29

Family

ID=43308947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010546981A Active JP4857393B2 (ja) 2009-06-10 2010-06-10 カプセル型内視鏡装置

Country Status (5)

Country Link
US (1) US8390679B2 (ja)
EP (1) EP2441374B1 (ja)
JP (1) JP4857393B2 (ja)
CN (1) CN102458215B (ja)
WO (1) WO2010143692A1 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8808170B2 (en) * 2010-03-10 2014-08-19 Mark A. Stern Multiple-channel endoscopic biopsy sheath
CN103079452B (zh) * 2011-02-23 2015-06-17 奥林巴斯医疗株式会社 位置信息估计系统
CN102293625B (zh) * 2011-09-14 2013-06-05 重庆大学 胃肠道出血智能检测系统
JP2013063179A (ja) * 2011-09-16 2013-04-11 Olympus Medical Systems Corp 観察システム
JP5178898B1 (ja) * 2011-10-21 2013-04-10 株式会社東芝 画像信号補正装置、撮像装置、内視鏡装置
JP5815426B2 (ja) * 2012-01-25 2015-11-17 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び画像処理方法
TWI461813B (zh) * 2012-02-24 2014-11-21 Htc Corp 影像擷取方法與相關影像擷取系統
JP5670400B2 (ja) * 2012-09-26 2015-02-18 富士フイルム株式会社 内視鏡システム及びそのプロセッサ装置並びに内視鏡システムの作動方法
JP6253231B2 (ja) * 2012-12-27 2017-12-27 オリンパス株式会社 被検体観察システム及びその方法、カプセル型内視鏡システム
JP5698878B2 (ja) * 2013-02-12 2015-04-08 オリンパスメディカルシステムズ株式会社 内視鏡装置
US9456752B2 (en) 2013-03-14 2016-10-04 Aperture Diagnostics Ltd. Full-field three-dimensional surface measurement
JP6109695B2 (ja) * 2013-09-27 2017-04-05 富士フイルム株式会社 内視鏡システム及びプロセッサ装置並びに作動方法並びに距離測定装置
JP6196900B2 (ja) * 2013-12-18 2017-09-13 オリンパス株式会社 内視鏡装置
JP6010571B2 (ja) * 2014-02-27 2016-10-19 富士フイルム株式会社 内視鏡システム、内視鏡システム用プロセッサ装置、内視鏡システムの作動方法、内視鏡システム用プロセッサ装置の作動方法
CN106456276B (zh) 2014-03-17 2019-12-10 直观外科手术操作公司 用于组织接触检测和用于自动曝光和照明控制的系统和方法
JP2015211727A (ja) 2014-05-01 2015-11-26 オリンパス株式会社 内視鏡装置
WO2016027518A1 (ja) * 2014-08-20 2016-02-25 オリンパス株式会社 誘導装置及びカプセル型医療装置誘導システム
JP6396717B2 (ja) * 2014-08-20 2018-09-26 オリンパス株式会社 感度調整方法および撮像装置
CN104257378B (zh) * 2014-09-01 2018-11-06 深圳先进技术研究院 容积血流脉搏成像系统
JP2016067373A (ja) * 2014-09-26 2016-05-09 富士フイルム株式会社 内視鏡用光源装置及び内視鏡システム
JPWO2016084500A1 (ja) * 2014-11-28 2017-04-27 オリンパス株式会社 カプセル型内視鏡、カプセル型内視鏡起動システム、及び検査システム
DE112014007038T5 (de) * 2014-11-28 2017-08-10 Olympus Corporation Endoskopvorrichtung
JP6529518B2 (ja) * 2014-12-15 2019-06-12 オリンパス株式会社 撮像装置およびカプセル型内視鏡
JPWO2016098171A1 (ja) * 2014-12-15 2017-09-28 オリンパス株式会社 撮像装置およびカプセル型内視鏡
JP2016129618A (ja) * 2015-01-14 2016-07-21 オリンパス株式会社 カプセル型内視鏡
JP6650566B2 (ja) 2015-01-26 2020-02-19 パナソニックIpマネジメント株式会社 電極装置
WO2016129062A1 (ja) * 2015-02-10 2016-08-18 オリンパス株式会社 画像処理装置、内視鏡システム、撮像装置、画像処理方法およびプログラム
JP6022132B1 (ja) * 2015-03-25 2016-11-09 オリンパス株式会社 位置検出システム及び誘導システム
JP6420358B2 (ja) * 2015-06-25 2018-11-07 Hoya株式会社 内視鏡システム及び評価値計算装置
JP6293384B2 (ja) * 2015-11-25 2018-03-14 オリンパス株式会社 内視鏡システム
WO2017158692A1 (ja) * 2016-03-14 2017-09-21 オリンパス株式会社 内視鏡装置、画像処理装置、画像処理方法およびプログラム
WO2018152066A1 (en) 2017-02-14 2018-08-23 Ototechnologies Corp. Ear canal modeling using pattern projection
JP2018157918A (ja) * 2017-03-22 2018-10-11 ソニー株式会社 手術用制御装置、制御方法、手術システム、およびプログラム
CN108354578B (zh) * 2018-03-14 2020-10-30 重庆金山医疗器械有限公司 一种胶囊内镜定位系统
WO2020005815A1 (en) * 2018-06-29 2020-01-02 Miraki Innovation Think Tank, Llc Miniaturized intra-body controllable medical device employing machine learning and artificial intelligence
CN109106321B (zh) * 2018-08-28 2021-11-23 深圳市资福医疗技术有限公司 一种胶囊内窥镜的触壁判断方法、装置及终端设备
CN109998456A (zh) * 2019-04-12 2019-07-12 安翰科技(武汉)股份有限公司 胶囊型内窥镜及其控制方法
CN111513663A (zh) * 2020-05-07 2020-08-11 金文华 一种多功能磁控胶囊内镜
CN111481155A (zh) * 2020-06-01 2020-08-04 上海安翰医疗技术有限公司 一种医疗胶囊
CN111956168A (zh) * 2020-07-22 2020-11-20 上海安翰医疗技术有限公司 一种胶囊内窥镜系统和用于胶囊内窥镜的测距方法
CN111772589B (zh) * 2020-08-04 2022-07-12 重庆金山医疗技术研究院有限公司 一种判断胶囊内镜是否适用的检测系统及其探路胶囊
EP4164468A1 (en) * 2021-01-27 2023-04-19 Hoya Corporation Phosphor illumination system for endoscopic imaging
CN114431815A (zh) * 2021-12-20 2022-05-06 上海安翰医疗技术有限公司 胶囊内窥镜成像装置、方法及胶囊内窥镜

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004536648A (ja) * 2001-08-02 2004-12-09 ギブン・イメージング・リミテッド インビボ画像化のための装置および方法
JP2005040400A (ja) * 2003-07-23 2005-02-17 Olympus Corp 光学的観察プローブ
JP2006020702A (ja) * 2004-07-06 2006-01-26 Olympus Corp 被検体内導入装置および被検体内導入システム
WO2007077922A1 (ja) * 2005-12-28 2007-07-12 Olympus Medical Systems Corp. 被検体内導入システムおよび被検体内観察方法
WO2007135757A1 (ja) * 2006-05-24 2007-11-29 Olympus Medical Systems Corp. 内視鏡及び内視鏡装置
WO2008099761A1 (en) * 2007-02-02 2008-08-21 Olympus Medical Systems Corp. Capsule medical apparatus and body-cavity observation method
JP2008237640A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp カプセル内視鏡、およびカプセル内視鏡システム、並びにカプセル内視鏡の動作制御方法
JP2008237639A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp カプセル内視鏡システム、およびカプセル内視鏡の動作制御方法
WO2009022667A1 (ja) * 2007-08-13 2009-02-19 Olympus Medical Systems Corp. 体内観察システムおよび体内観察方法
WO2009069490A1 (ja) * 2007-11-30 2009-06-04 Olympus Corporation 蛍光観察装置および内視鏡装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060184039A1 (en) 2001-07-26 2006-08-17 Dov Avni Apparatus and method for light control in an in-vivo imaging device
IL155046A (en) 2003-03-23 2013-12-31 Given Imaging Ltd Install in-body imaging capable of defining its location
WO2004028335A2 (en) * 2002-09-30 2004-04-08 Given Imaging Ltd. In-vivo sensing system
EP1578260B1 (en) 2002-12-16 2012-10-24 Given Imaging Ltd. Device, system and method for selective activation of in vivo sensors
JP4656824B2 (ja) 2003-08-29 2011-03-23 オリンパス株式会社 無線型被検体内情報取得装置
JP4615963B2 (ja) 2004-10-29 2011-01-19 オリンパス株式会社 カプセル型内視鏡装置
JP5237945B2 (ja) * 2006-12-28 2013-07-17 オリンパスメディカルシステムズ株式会社 カプセル型医療装置
US20080161639A1 (en) 2006-12-28 2008-07-03 Olympus Medical Systems Corporation Capsule medical apparatus and body-cavity observation method
JP4840698B2 (ja) * 2007-07-23 2011-12-21 タイヨーエレック株式会社 遊技機
JP5372356B2 (ja) 2007-10-18 2013-12-18 オリンパスメディカルシステムズ株式会社 内視鏡装置及び内視鏡装置の作動方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004536648A (ja) * 2001-08-02 2004-12-09 ギブン・イメージング・リミテッド インビボ画像化のための装置および方法
JP2005040400A (ja) * 2003-07-23 2005-02-17 Olympus Corp 光学的観察プローブ
JP2006020702A (ja) * 2004-07-06 2006-01-26 Olympus Corp 被検体内導入装置および被検体内導入システム
WO2007077922A1 (ja) * 2005-12-28 2007-07-12 Olympus Medical Systems Corp. 被検体内導入システムおよび被検体内観察方法
WO2007135757A1 (ja) * 2006-05-24 2007-11-29 Olympus Medical Systems Corp. 内視鏡及び内視鏡装置
WO2008099761A1 (en) * 2007-02-02 2008-08-21 Olympus Medical Systems Corp. Capsule medical apparatus and body-cavity observation method
JP2008237640A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp カプセル内視鏡、およびカプセル内視鏡システム、並びにカプセル内視鏡の動作制御方法
JP2008237639A (ja) * 2007-03-28 2008-10-09 Fujifilm Corp カプセル内視鏡システム、およびカプセル内視鏡の動作制御方法
WO2009022667A1 (ja) * 2007-08-13 2009-02-19 Olympus Medical Systems Corp. 体内観察システムおよび体内観察方法
WO2009069490A1 (ja) * 2007-11-30 2009-06-04 Olympus Corporation 蛍光観察装置および内視鏡装置

Also Published As

Publication number Publication date
WO2010143692A1 (ja) 2010-12-16
EP2441374A4 (en) 2013-08-28
CN102458215B (zh) 2014-05-28
US20110273548A1 (en) 2011-11-10
JPWO2010143692A1 (ja) 2012-11-29
EP2441374B1 (en) 2016-11-16
US8390679B2 (en) 2013-03-05
EP2441374A1 (en) 2012-04-18
CN102458215A (zh) 2012-05-16

Similar Documents

Publication Publication Date Title
JP4857393B2 (ja) カプセル型内視鏡装置
EP2127592B1 (en) Intrasubject introduction system
JP4589463B2 (ja) 撮像装置
EP1862109A2 (en) Capsule endoscopic system and image processing apparatus
US7347817B2 (en) Polarized in vivo imaging device, system and method
JP5393446B2 (ja) 画像取得装置
JP4855759B2 (ja) 受信装置およびこれを用いた被検体内情報取得システム
JP6196900B2 (ja) 内視鏡装置
US11045079B2 (en) Endoscope device, image processing apparatus, image processing method, and program
JP5277253B2 (ja) 画像処理システム
JP4253550B2 (ja) カプセル型内視鏡
WO2008015826A1 (en) Endoscope device
EP3085299A1 (en) Endoscopic device
CN112105284A (zh) 图像处理装置、内窥镜系统及图像处理方法
US20070270641A1 (en) Capsule Endoscope System and Capsule Endoscope
JP5153487B2 (ja) カプセル型医療装置
JP4373726B2 (ja) 自家蛍光観察装置
JP5480219B2 (ja) 受信装置およびこれを用いた被検体内情報取得システム
CN117958731A (zh) 一种多模态成像的胶囊内窥镜系统

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111004

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111031

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141104

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4857393

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250