JP6710735B2 - 撮像システム及び手術支援システム - Google Patents

撮像システム及び手術支援システム Download PDF

Info

Publication number
JP6710735B2
JP6710735B2 JP2018197534A JP2018197534A JP6710735B2 JP 6710735 B2 JP6710735 B2 JP 6710735B2 JP 2018197534 A JP2018197534 A JP 2018197534A JP 2018197534 A JP2018197534 A JP 2018197534A JP 6710735 B2 JP6710735 B2 JP 6710735B2
Authority
JP
Japan
Prior art keywords
infrared
imaging system
light
visible
wavelength
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018197534A
Other languages
English (en)
Other versions
JP2019013802A (ja
Inventor
譲 池原
譲 池原
睦郎 小倉
睦郎 小倉
進 牧野内
進 牧野内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
Nikon Corp
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp, National Institute of Advanced Industrial Science and Technology AIST filed Critical Nikon Corp
Publication of JP2019013802A publication Critical patent/JP2019013802A/ja
Application granted granted Critical
Publication of JP6710735B2 publication Critical patent/JP6710735B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/0041Detection of breast cancer
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3563Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing solids; Preparation of samples therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/14Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Oncology (AREA)
  • Electromagnetism (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Stroboscope Apparatuses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像システム及び手術支援システムに関する。
動物およびヒトの体の一部等を撮像して、その画像を各種診断や検査、観察等に活用する撮像システムが知られている。この撮像システムは、対象領域に所定波長の光を照明してその反射光または透過光を撮像して行うが、その際、生体内を容易に撮像できることが望まれている。照明光の波長1μm以下においては、高解像をもつシリコン撮像素子が利用できるため、これを用いて、波長1μm以下の近赤外光を活用する検査支援装置や手術支援装置の開発が行われている。生体に含まれるヘムや、投与されたインドシアニン色素などに起因する700〜900nm付近の光吸収帯や蛍光を利用するもので、診断治療で必要となる解剖学的情報や、病的状態、そしてその広がりを検出評価する目的で利用法の開拓が試みられている。光吸収の場合で、酸素代謝のモニターや直視下での観察が難しい血管を可視化する装置が、実現されているところである(非特許文献1参照)。
一方、水や脂質、グルコースなどの生体を構成する主な分子の光吸収帯は、波長1μm以上、2.5μm以下の近中赤外波長領域に存在する。例えば、水の吸収帯は波長1500nmおよび2000nm付近にピークがあり、吸収の小さい700〜1400nm程度の波長域は、生体の窓と呼ばれている。体の各器官はこれを構成する細胞の種類や病的状態によって、含水量が微妙に異なる。MRI画像のT2(プロトン)強調は、この違いを利用して検査診断に利用するものであるが、光吸収の効率の大きく変わる波長1μm以上、2.5μm以下の近中赤外波長領域は、MRI画像のT2(プロトン)強調画像と同様に、各器官の状態を評価できる手段となりうる。
さらに同波長域では、吸収のピークが異なる脂質やグルコースなどの含有量も反映させることが可能であることから、炎症、がん、変性、再生と言った病理組織像を反映した情報を得ることが期待される。なお、近中赤外波長領域を用いた臓器の識別に関しては、分光用グレーティングを内蔵したハイパースペクトラムカメラを用いた例が報告されている(非特許文献2参照)。
また、ランプとバンドパスフィルタを搭載したフィルタホイールを用いて、生体深部における血管像を鮮明に撮像した例がある(特許文献1、特許文献2参照)。
特許第5080014号公報 特開2004−237051号公報
西村吾朗「脈管学第49巻」日本脈管学会、2009年、p.139−145(J. Jpn. Coll. Angiol, 2009, 49: 139-145) ハムド・アックバーリ、クニアキ・ウトウ、ユキオ・コスギ、カズユキ・コジマ、ナオフミ・タナカ「キャンサー・ディテクション・ユージング・インフラレッド・ハイパースペクトラル・イメージング」キャンサー・サイエンス、2011年、p.3(Hamed Akbari, Kuniaki Uto, Yukio Kosugi, Kazuyuki Kojima and Naofumi Tanaka, "Cancer detection using infrared hyperspectral Imaging", Cancer Science (2011), p.3)
しかしながら、いずれもスペクトラム情報を得るために機械的な駆動装置を必要とするため、撮影に時間がかかる。また、光源を連続的に照射するため、被観察部位に対する熱的作用が免れない。また、光源を高速に点滅することができないため、撮像素子のノイズ除去が困難で、SN比が取れない。また、分光機能を持つハイパースペクトラムカメラは、高価でかつ、波長分解能とカメラの感度が相反するなどの問題があった。
また、複数の波長に対する撮像に時間がかかるため、同時性に欠ける。これは、ステレオカメラにおいて、視差による立体視を得るときに障害となる。
本発明の態様では、生体組織の撮像時間や照射光量を従来に比べて著しく低減するとともに、生体組織の識別を支援でき、しかも、生体内部における組織の画像及び立体画像を容易かつ確実に取得可能な撮像システム及び手術支援システムを提供することを目的としている。
本発明の第1態様によれば、生体組織を撮像する撮像システムであって、水の吸光度が脂質の吸光度より大きい1400nmから1600nmの赤外領域から特定された波長を有する第1の赤外光と、水の吸光度と脂質の吸光度との差が小さい1200nmより短い赤外領域の波長を有する第2の赤外光と、を生体組織に照射する照明ユニットと、第1の赤外光と第2の赤外光とを受光する赤外カメラと、赤外カメラによって受光された第1の赤外光の受光結果と第2の赤外光の受光結果とを合成して、水の部分が強調された強調画像を生成する画像処理部を有する制御ユニットと、を備える撮像システムが提供される。
本発明の態様によれば、生体組織を撮像する撮像システムであって、1600nm又は1600nm近辺の波長を有する赤外光を照射する照明ユニットと、赤外光を受光する赤外カメラと、可視光を照射する可視照明部と、可視光を受光する可視カメラと、可視カメラによって受光された可視光の受光結果をリファレンスとし、赤外カメラによって受光された赤外光の受光結果と可視光の受光結果との差分を演算して、生体組織のうち膵臓、リンパ節、又は腸間膜中のリンパ節を強調した画像を生成する画像処理部を有する制御ユニットと、を備える撮像システムが提供される。
本発明の第2態様によれば、生体組織を撮像する撮像システムであって、1600nm又は1600nm近辺の波長を有する赤外光を照射する照明ユニットと、赤外光を受光する赤外カメラと、可視光を照射する可視照明部と、可視光を受光する可視カメラと、可視カメラによって受光された可視光の受光結果をリファレンスとし、赤外カメラによって受光された赤外光の受光結果と可視光の受光結果との差分を演算して、生体組織のうち膵臓、リンパ節、又は腸間膜を強調した画像を生成する画像処理部を有する制御ユニットと、を備える撮像システムが提供される。
本発明の態様によれば、生体組織を撮像する撮像システムであって、水の吸光度が脂質の吸光度より大きい、1550nm、1600nm又は1600nm近辺の波長を有する赤外光を照射する照明ユニットと、赤外光を受光する赤外カメラと、赤外カメラによって受光された赤外光の受光結果に基づいて、生体組織のうち膵臓、リンパ節、又は腸間膜中のリンパ節を強調した画像を生成する画像処理部を有する制御ユニットと、を備える撮像システムが提供される。
本発明の第3態様によれば、生体組織を撮像する撮像システムであって、水の吸光度が脂質の吸光度より大きい、1550nm、1600nm又は1600nm近辺の波長を有する赤外光を照射する照明ユニットと、赤外光を受光する赤外カメラと、赤外カメラによって受光された赤外光の受光結果に基づいて、生体組織のうち膵臓、リンパ節、又は腸間膜を強調した画像を生成する画像処理部を有する制御ユニットと、を備える撮像システムが提供される。
本発明の第4態様によれば、生体組織を撮像する撮像システムであって、可視光を照射する可視照明部と、可視光を受光する複数の可視カメラと、赤外光を照射する照明ユニットと、赤外光を受光する複数の赤外カメラと、複数の可視カメラによる可視光の受光結果をもとに生成される生体組織の表面の立体画像と、複数の赤外カメラによる赤外光の受光結果をもとに生成される生体組織の内部の立体画像とを合成して、生体組織の表面と生体組織の内部とを合わせた立体画像を生成する画像処理部を有する制御ユニットと、を備える撮像システムが提供される。
本発明の第5態様によれば、上記した撮像システムと、生体組織に対して処置する処置デバイスと、を備える手術支援システムが提供される。
本発明の態様によれば、動物や人体を構成する器官・組織について容易に確認することができる。
第1実施形態に係る撮像システムの一例を示す図である。 照明ユニットの一例を示す斜視図である。 照明ユニットの駆動回路の一例を示す図である。 図1に示す撮像システムを示す機能ブロック図である。 図1に示す撮像システムの動作シーケンスの一例を示す図である。 撮像システムで取得した画像の一例を示す図である。 水及び脂質の近赤外領域における吸光特性を示すグラフである。 (a)はマウスより摘出した膵臓・脾臓・腸間膜、およびリンパ節の可視光カメラによる写真、(b)は同様にこれを、波長1600nmのLEDで照明し、波長1600nmまでの感度を有するInGaAs赤外カメラで撮影した写真である。 マウスの開腹状態を、1600nmまでの感度を有するInGaAs赤外カメラで撮影した写真であって、(a)は波長1050nmのLEDで照明したもの、(b)は波長1600nmのLEDで照明したものである。 第2実施形態に係る撮像システムの一例を示す図である。 第3実施形態に係る撮像システムの一例を示す図である。 第4実施形態に係る撮像システムの一例を示す図である。 第5実施形態に係る撮像システムの一例を示す図である。 第6実施形態に係る撮像システムの一例を示す図である。 第7実施形態に係る撮像システムの一例を示す図である。 第8実施形態に係る撮像システムの一例を示す図である。 第9実施形態に係る撮像システムの一例を示す図である。 第10実施形態に係る撮像システムの一例を示す図である。
以下、実施形態について図面を参照しながら説明するが、この実施形態に限定されるものではない。また、図面においては実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表している。
<第1実施形態>
第1実施形態に係る撮像システムについて説明する。図1は、第1実施形態に係る撮像システムの一例を示す図である。この撮像システムSYS1は、図1に示すように、赤外カメラ10と、照明ユニット20と、制御ユニット30と、を備える。赤外カメラ10は、赤外領域の波長の光に感度を有したカメラであり、被写体Pを見込むように配置される。本実施形態では、撮像素子(赤外線検出素子)として、例えば波長1.6μmまでの感度を持つInGaAsを利用した赤外カメラ10が用いられる。
波長1μm以上に感度を有する赤外カメラは、シリコン読み出しICと赤外フォトディテクタアレイを高密度に実装する必要がある。そのため、有効画素数は、医療用に使用できる価格帯では、通常のシリコン撮像素子よりも少なく、現状では、VGAクラス(640×524画素)止まりである。また、通常のCCDカメラやCMOSカメラでも近赤外線の領域に感度をもっている。また、撮像素子として、InGaAs以外に、InSb(例えば感度波長1.5〜5μm)や、アモルファスSi製マイクロボロメータ(例えば感度波長7〜14μm)などが用いられてもよい。ただし、波長2.5μmまでの感光波長を有する中赤外カメラは、SN比が百倍程度劣化するので、波長1.6μmまでの近中赤外用の赤外カメラ10はそのまま設置し、検出波長範囲の拡張に応じて別の長波長用カメラを追加する利用形態が考えられる。
赤外カメラ10は、撮像素子に加えて、不図示の撮像光学系を有している。この撮像光学系は、被写体Pの撮像倍率を設定するズームレンズや、被写体Pに対してフォーカス合わせを行うフォーカスレンズを含む。赤外カメラ10は、これらズームレンズやフォーカスレンズの一つまたは複数を駆動させる不図示のレンズ駆動系を有している。赤外カメラ10は、トリガ入力回路か、IEEE1394など同期可能なインターフェイスを備えている。
照明ユニット20は、被写体Pを照明する。図1では、照明ユニット20の照明光の入射角が、赤外カメラ10が被写体Pを見込む角度と同一となっているがこれに限定されない。照明ユニット20は、赤外カメラ10が感度を有する波長の範囲において、赤外領域の複数の波長を発光する。
図2は、照明ユニット20の一例を示す斜視図である。この照明ユニット20は、赤外LED(Light Emitting Diode)モジュールである。照明ユニット20は、図2に示すように、単一のメタルパッケージ21に、数種類の異なった発光波長の赤外光および可視光を出射するLED22が搭載されている。本実施形態では、波長780、850、1050、1200、1330、1500nmの6波長をそれぞれ出射するLED22が搭載される。これらLED22は、それぞれメタル端子23に電気的に接続される。なお、LED22は、波長によって1個あたりの光出力が異なるので、各波長で光出力が一定になるように、図2の点線で囲ったように、波長ごとに搭載するLED22の個数と直列または並列の接続個数とを調節している。波長ごとのLED22のグループを、LEDモジュールLED_1〜LED_Nと表記している。
図3は、照明ユニット20の駆動回路の一例を示す図である。この駆動回路は、図3に示すように、LEDモジュールLED_1〜LED_Nのそれぞれに対応した、複数の電流源1〜Nと、フォトモスフェット(MOSFET;Metal-Oxide-Semiconductor Field-Effect Transistor)を用いたフォトモスリレーインターフェイスモジュール24とを有している。また、図3では省略しているが、このインターフェイスモジュール24は、パーソナルコンピュータ(PC)のバスに接続され、プログラムにより、任意のフォトモスフェットのON−OFFが可能である。
LED22の端子電圧や出力光量は発光波長ごとに異なるので、発光波長ごとに電流源1〜Nが設けられ、フォトモスリレーを装備したインターフェイスモジュール24においてディジタル出力回路によりLED22を切り替えるようにしている。各LEDモジュール(LED_1〜LED_N)は、可視から赤外に至る数種類の波長の異なるLED22のグループである。フォトモスフェット一個に対して、特定の波長のLEDモジュールが接続されている。いずれかのフォトモスフェットをON状態にすることにより、特定のLEDモジュールを点灯させ、特定の波長の赤外光または可視光を出射させることができる。また、複数のフォトモスフェットを同時にON状態にすることにより、複数の波長を点灯させることが可能である。
図4は、撮像システムSYS1を示す機能ブロック図である。制御ユニット30は、画像処理部31と、照明駆動部32と、記憶装置33と、入力装置34と、表示部35と、を有している。制御ユニット30は、赤外カメラ10と電気的に接続され、また照明駆動部32を介して照明ユニット20と電気的に接続される。制御ユニット30は、CPU(Central Processing Unit)などの演算処理装置を有し、このCPUが不図示のハードディスク等の記憶部に格納された制御プログラムに基づいて、画像処理部31等を制御する。また、制御ユニット30は、赤外カメラ10や照明駆動部32に送信するトリガ信号Aを生成する。
画像処理部31は、赤外カメラ10から送られた画像信号を処理する。画像処理部31は、取得した画像の色やコントラスト等を調整する他に、複数の画像を合成する処理を行う。画像の合成は、同一または異なる複数の波長の画像を合成する処理の他に、後述するように、複数の画像から立体画像を生成する処理を行う。また、画像処理部31は、赤外カメラ10から送られた画像信号に基づいて、静止画または動画を生成する。
照明駆動部32は、図3に示す駆動回路を有し、制御ユニット30から送られたトリガ信号Aに基づいて、制御ユニット30から指示されたLEDモジュール(LED_1〜LED_N)の1つまたは複数を点灯させる。
記憶装置33は、各種プログラムを格納するとともに、画像処理部31によって処理された画像を記憶する。記憶装置33は、ハードディスクや、光ディスクやCD−ROM、DVD−ROM、USBメモリ、SDカード等の記憶媒体に対応可能な入出力(IО)デバイスを有している。
入力装置34は、キーボードやタッチパネル、ジョイスティック、マウス等のポインティングデバイスなどが用いられる。タッチパネルの場合は、後述する表示部35上に形成され、表示部35に表示された画像上からタッチ操作を行うものでもよい。使用者は、入力装置34を操作することにより、照明ユニット20から出射する波長を選択や、赤外カメラ10の撮像倍率、フォーカス合わせ、撮像の指示、画像処理部31によって処理された画像を記憶装置33に保存する指示などを行う。
表示部35は、液晶表示装置や有機EL装置などが用いられる。表示部35は、赤外カメラ10によって撮像された被写体Pの画像を表示する。表示部35は、1つに限定されず、複数の表示部35にそれぞれ画像を表示させてもよい。また、1つの表示画面に複数の画像を表示させるものでもよい。この場合、1つの画像は動画であり、他の画像は静止画であってもよい。
図5は、撮像システムSYS1の動作シーケンスの一例を示す図である。図5に示すように、赤外カメラ10は、トリガ信号Aを受けると一画面(1フレーム)分の画像信号Bを制御ユニット30に出力する。この画像信号Bは、一本のアナログ信号、または複数の信号ラインからなるディジタル信号のいずれでもよい。同時にトリガ信号Aは、照明駆動部32にも伝送される。
照明駆動部32は、トリガ信号Aを受けると、図5に示すように、各画像取り込み(フレーム)毎にLED駆動信号C〜Fを順に出力する。これにより、制御ユニット30には、波長ごとに赤外カメラ10で撮像した画像が乱れることなく順に送られる。なお、例えば、照明駆動部32におけるフォトモスフェットの応答速度が2msecであり、赤外カメラ10のフレームレートが30fpsで1フレームが1/30秒である場合、赤外カメラ10は、1秒あたり30枚の波長の異なった赤外画像を取得する。
制御ユニット30は、取り込み開始を常にLED駆動信号Cから行うことに決めることによって、画像とLED波長との組み合わせを取り違えることなく処理を行うことができる。あるいは、図4の破線に示すように、LED駆動信号C〜Fを同時に制御ユニット30に送って、このLED駆動信号C等を画像と一緒に記憶する構成でもよい。
また、波長によって赤外カメラ10の感度が異なることや、波長によって被写体Pによる赤外光の吸収率が異なること、などを補正する理由で、波長ごとの画像取り込み枚数(フレーム数)を異なるように設定してもよい。図5では、LED駆動信号C〜Fをフレーム一回ごとに切り替えていたが、例えば、LED駆動信号Cを2回連続させ、同じ波長の画像を2フレーム分取り込むことや、LED駆動信号D、Eでは1フレーム分の画像を1回取り込み、LED駆動信号Fでは3回連続させて、同じ波長の画像を3フレーム分取り込むなど、任意に設定可能である。なお、波長ごとに取り込む画像数は、適宜プログラムすることもでき、制御ユニット30の画像処理部31が実行する。
このように、本実施形態によれば、照明ユニット20によって波長の異なる赤外領域の光を被写体Pに照射し、その像を赤外カメラ10によって取得する。また、トリガ信号に基づいて波長の切り替えと同期して撮像することにより、特定の波長ごとの画像を取得する。赤外カメラ10には分光機能が必要ないため、光量の減少によるカメラ感度の劣化がなく、大きなゲインを掛けることなく明るい画像を取得できる。
また、従来では、バンドパスフィルタを用いて、特定の波長帯における生体内成分のコントラストを強調し、生体試料の識別能を向上させてきたが、この場合高速な波長の切り替えが困難で、必ずしも画像の同時性が担保されなかった。本実施形態によれば、1フレームごとに波長の切り替えが可能であるので、1/30から1/100秒以内に照明光の波長を切り替えながら、複数の波長に対する画像を取得することができる。
また、複数の発光波長を持つLEDモジュールを独立に駆動することにより、被写体Pに応じて、最適な照明波長の組み合わせを選択することが可能となる。例えば、第一の波長として1500nm、第二の波長として1100nmを使用し、2種類の波長を同時またはわずかな時間差で照射することにより、それぞれの波長によって強調された画像を合成して、ほぼリアルタイムでコントラストを強調した画像を生成させることも可能である。なお、画像の合成は、制御ユニット30の画像処理部31が実行する。
また、本実施形態では、照明ユニット20が、波長800〜2500nmの複数の波長を発光するので、赤外カメラ10によって確実に画像を取得できる。なお、波長が800nmより小さいと、赤外カメラ10での撮像が難しく、また、波長が2500nmより大きいと、その波長に対応した撮像素子で撮像してもSN比が悪いため鮮明な画像が得にくいといった不都合がある。
また、本実施形態では、照明ユニット20からの波長を1000〜1600nmとしてもよい。これにより、赤外カメラ10によって一層確実に画像を取得できる。特に、InGaAs赤外カメラは、この波長の範囲に有効な感度を有しており、このInGaAs赤外カメラを用いて複数の波長の画像を容易に取得できる。
また、本実施形態では、制御ユニット30が、照明ユニット20から異なる波長の光を順次または同時に照射させる照明駆動部32を有するので、照明駆動部32によって波長の切り替えを高速かつ確実に行うことができる。これにより、波長を切り替えた場合でも、被写体Pに対する画像の同時性を確保できる。また、複数の波長を同時に照射することにより、PC等による演算なしに、短時間で赤外画像を表示することも可能であり、従来の分散型分光器あるいはFTIR分光器を設けたハイパースペクトラムカメラよりは、はるかに高速かつ鮮明な赤外スペクトル画像を得ることができる。
また、本実施形態では、制御ユニット30が、照明駆動部32による発光波長の切り替えと、赤外カメラ10による撮像とを同期して行うので、波長ごとに正確に被写体Pを撮像でき、さらに画像とその画像を取得した波長との関連付けを確実に行うことができる。
また、本実施形態においては、制御ユニット30が、赤外カメラ10における各波長の感度に対応して、波長ごとにフレーム数を割り当てるようにしてもよい。これにより、赤外カメラ10の感度が波長によって異なる場合に、例えば感度が低い波長を複数フレーム撮像してこれを合成するなど、他の波長と比較して暗い画像となるのを回避できる。
また、本実施形態では、制御ユニット30が、赤外カメラ10によって撮像した画像を合成する画像処理部31を有するので、同一波長の複数の画像を合成して、明るい画像を生成することや、異なる波長の画像を合成してコントラストを強調した画像を生成することができる。
また、本実施形態においては、LEDモジュール(照明ユニット20)から赤外領域の波長の光を例えば生体等の被写体Pに照射しても、生体内の光散乱が強いため、X線よりは浅い範囲の検査となり、生体表面から1〜2cm以内あるいは、厚さ数cm以下の比較的薄い検体が対象となる。ただし、赤外カメラ10のように光学レンズが使用できるため、解像度はX線と遜色が無い。また、赤外光の使用により放射線被ばくのおそれがないことや、赤外光を使用することにより、X線では捕捉できない生体の病変を感度良く検出できる可能性がある。
図6は、撮像システムSYS1で取得した画像の一例を示す図である。図6(a)は1550nmの波長のLED照明下、図6(b)は1050nmの波長のLED照明下、でそれぞれ撮像したマウスの腹部像を示す。赤外カメラ10として、波長1.6μmまでの感度を有するInGaAs赤外カメラを使用した。図6(a)および(b)は、いずれも、腹膜を除去する前に撮像したものあるが、1μm以上の赤外波長において、腸管等、腹腔内の構造物(臓器)を視認することができる。さらに、1550nmの波長では、臓器を反映した画像を得ることができた。このように、特定の波長の光を照明に用いることにより、生体情報量が格段に増えるイメージング技術として、有効である。
図6Aは、水及び脂質の近赤外領域における吸光特性(分光特性)を示す。この図6Aにおいて、水と脂質の吸光特性に注目すると、波長が1400nmから1600nmにかけては水の吸光度が脂質よりも大きく、1200nmより短い波長においては、水・脂質共に吸光度が小さいことが分かる。また、例えば、波長が1200nmから1600nmにかけては水の吸光度と脂質の吸光度との差が大きく、1200nmより短い波長においては水の吸光度と脂質の吸光度との差が小さい。このように、近赤外領域(近赤外光の波長帯域)における水及び脂質の吸光特性(分光特性)は、近赤外光の波長に対して異なる吸光度を有している。
図6B(a)はマウスより摘出した膵臓・脾臓・腸間膜、およびリンパ節等の生体組織の可視光カメラによる写真である。図6B(b)は同様にこれを、波長1600nmのLEDで照明し、波長1600nmまでの感度を有するInGaAs赤外カメラで撮影した写真である。なお、図6B(a)は、例えば、波長400nmから800nm未満の照明光を生体組織に照射して、後述する可視光カメラにより取得したカラー画像を白黒で表記している。可視光カメラによる画像はカラー画像または白黒画像のいずれであってもよい。図6B(a)、(b)を比較観察すると、可視光(例、波長400nmから800nm未満)では黒く見えるのは脾臓のみであるが、図6B(b)の画像においては、膵臓・リンパ節、および腸間膜中の一部が黒く強調されている。図6B(b)の画像は、上記赤外カメラで撮影した写真を用いる他に、例えば、図6B(a)に示す可視光カメラの画像を参照画像(リファレンス画像)とし、波長1600nmの照明で撮影した上記赤外カメラの画像との差分(例、光強度の差分)をとるような演算処理を含む画像合成が行われてもよい。この画像合成により、例えば、影や生体組織の色(黒色等)などが補正されて、波長1600nmの光を吸収した部分を強調させることが可能となる。
病理組織学的検討から、図6B(b)の腸間膜中の黒くなっている部分は、腸間膜リンパ節であった。解剖組織学的に、腸間膜を構成する細胞の90%以上が脂肪細胞で脂肪分を多く含むのに対し、膵臓とリンパ節は、膵液とリンパ液を主体とする水分を含む。また膵臓は解剖学的に、腸間膜に隣接し、その半分以上が後腹膜内に埋もれて存在する。後腹膜組織は、腸間膜とほぼ同様の組織組成で、脂肪細胞を主体とする軟部組織である。したがって、1600nm近辺の波長で観察する場合、水の吸光度により膵臓とリンパ節が黒く強調された画像として図6B(b)を得る事ができ、図6B(a)の可視光では見分けることが困難であった腸間膜中のリンパ節、腸間膜に隣接し脂肪組織内の存在した膵臓を容易に見分ける事ができる。胃がん、大腸がん、すい臓がん、卵巣がん、子宮がんなどの腹部手術はいうに及ばず、乳がんや頭頚部がんにおいて、脂肪組織内に存在するリンパ節郭清は不可欠である。このとき、図6B(b)のような画像を参照することで、脂肪組織内に存在するリンパ節を的確に検出できるので、見落としを原因とするリンパ節の取り残しのリスクを減じることが可能となる。さらに、膵臓と軟部脂肪組織との境界も明瞭になることから、膵臓等の実質臓器への処置を安全に行うことができる。
図6C(a)、(b)はマウスの開腹状態を1600nmまでの感度を有するInGaAs赤外カメラで撮影した写真であるが、図6C(a)は波長1050nmのLEDで照明し、図6C(b)は波長1600nmのLEDで照明したものである。図6C(a)では多く臓器が明るく見えるが、図6C(b)においては水分を含む臓器が黒くなり、臓器間の識別が容易になっている。図6C(a)、(b)の画像はLEDを切り替えて連続して撮影できるので、電気回路やソフトウェア処理などによって容易に(a)、(b)画像における光強度の差分を取ることができる。そのようにすることによって、全体が暗くなる、あるいは明るくなるということなく、脂肪組織とリンパ節など水分を多く含む組織の識別が容易になる。
<第2実施形態>
第2実施形態に係る撮像システムについて説明する。以下の説明において、上記の実施形態と同一または同等の構成部分については同一符号を付けて説明を省略または簡略化する。図7は、第2実施形態に係る撮像システムの一例を示す図である。この撮像システムSYS2は、図7に示すように、赤外カメラ10と、照明ユニット20と、制御ユニット30と、可視カメラ41と、可視照明部42と、を備える。
可視カメラ41は、可視領域の波長の光に感度を有するカメラである。可視領域の光は、被写体Pの外形や表面の形状に敏感である。可視カメラ41としては、外形の形状等の像を取得可能なCCDイメージセンサーやCMOSイメージセンサー等のシリコン撮像素子を用いたCCDカメラやCMOSカメラが用いられる。なお、波長1μm以下に対してはシリコン撮像素子においても撮像可能であり、可視領域に近い赤外波長の画像を取得する可視カメラ41を利用することは価格および解像度の点で合理的である。
可視照明部42は、可視領域の光を出射する。可視照明部42としては、LED照明の他にレーザー光源、ハロゲン照明等が用いられる。なお、図2に示す照明ユニット20においてもLED22とし可視光を照射するLEDモジュールを有している。従って、可視照明部42として、照明ユニット20が用いられてもよい。また、1つの照明ユニット20を、赤外カメラ10の照明用と可視カメラ41の照明用とで兼用させてもよい。
赤外カメラ10及び可視カメラ41の撮像タイミングは、別々に撮像する場合と同時に撮像する場合のいずれであってもよい。すなわち、照射ユニット20から赤外光を照射して赤外カメラ10により被写体Pを撮像し、これとは別に、可視照明部42から可視光を照射して可視カメラ41により被写体Pを撮像する場合と、照明ユニット20及び可視照明部42からそれぞれ赤外光及び可視光を照射し、赤外カメラ10及び可視カメラ41で同時に撮像する場合、のいずれであってもよい。
このように、本実施形態によれば、被写体Pの外形や表面の形状に敏感な比較的短い可視光(例えば波長800nm以下)と、被写体Pの深部の構造や、特定の成分に対応する赤外光(例えば波長1500nm以下)とを照射して、それぞれ赤外カメラ10及び可視カメラ41により撮像するので、生体(被写体P)の輪郭と組成・成分情報を同時に取得することが可能となり、短時間で視認性の良い画像を取得することができる。
また、この撮像システムSYS2を、手術における支援システムとして用いる場合、可視照明部42による可視光の照明は点灯したままとし、照明ユニット20の赤外光のLEDモジュールのみを、赤外カメラ10と連動して点滅させることにより、術者の視認性を損なうこと無く、また、人体への熱的作用を抑制した状態で赤外画像をリアルタイムで表示することができる。
本実施形態は、生体組織を撮像する撮像システムであって、水と脂質との分光特性に基づく赤外領域の波長を有する赤外光を発光する照明ユニットと、赤外光を受光する赤外カメラと、可視領域の波長を有する可視光を発光する可視照明部と、可視光を受光する可視カメラと、可視カメラによって撮像された可視画像を用いて、赤外カメラによって撮像した赤外画像を画像処理する画像処理部を有する制御ユニットと、を備える。
赤外カメラは、例えば、800nm〜2500nmの波長帯域の赤外光、や1000nm〜1600nmの波長帯域の赤外光に感度を有する。照明ユニットは、例えば、800nm以上2500nm以下の波長帯域のうち所定波長の赤外光、や1000nm以上1600nm以下の波長帯域のうち所定波長の赤外光を発光する。所定波長は、例えば、狭帯域の波長(例えば、スペクトル半値幅が数nmの波長、数10nmの波長など)でもよい。制御ユニットは、赤外光と可視光とを順次または同時に照射させる照明駆動部を有する。なお、可視カメラによって撮像された可視画像は、例えば図6B(a)に示すような画像であり、赤外カメラによって撮像した赤外画像は、例えば図6B(b)に示すような画像である。制御ユニットの画像処理部は、可視画像を用いて赤外画像を画像処理するが、画像処理としては、上記したように可視画像を参照画像(リファレンス画像)として赤外画像との差分をとるような画像合成を行ってもよいし、その他の画像処理を行ってもよい。このように、本実施形態に係る撮像システムは、水と脂質との分光特性に基づいて特定した所定波長の少なくとも2つの照明光(例、2つの赤外光、や赤外光と可視光)を用いて生体組織を撮像することによって、短時間で容易に視認性の高い画像を得ることができる。
<第3実施形態>
第3実施形態に係る撮像システムについて説明する。以下の説明において、上記の実施形態と同一または同等の構成部分については同一符号を付けて説明を省略または簡略化する。図8は、第3実施形態に係る撮像システムの一例を示す図である。この撮像システムSYS3は、図8に示すように、3台の赤外カメラ10a〜10cと、照明ユニット20と、3台の可視カメラ41a〜41cと、を備える。なお、図8において、制御ユニット30は省略している。また、照明ユニット20を可視照明部42として用いている。また、被写体Pは開腹したマウスを示している。
3台の赤外カメラ10a〜10cは、図8に示すように、被写体Pに対して異なる角度で見込むように配置される。赤外カメラ10a等は、平面上あるいは曲面上において互いの視野が重畳するように配置されている。赤外カメラ10a〜10cとしては、同一のものが用いられるが、これに限定されず、それぞれ異なるタイプの赤外カメラ10が用いられてもよい。また、赤外カメラ10a等は3台に限定されるものではなく、2台または4台以上配置されてもよい。
照明ユニット20は、これら赤外カメラ10a〜10cに対応して配置される。また、照明ユニット20は、赤外カメラ10aごとに配置されることに限定されず、1つの照明ユニット20で2台以上の赤外カメラ10a等に対応させてもよい。
3台の可視カメラ41a〜41cは、赤外カメラ10a〜10cと同様に、被写体Pに対して異なる角度で見込むように配置される。可視カメラ41a〜41cは、同一のものが用いられるが、これに限定されず、それぞれ異なるタイプの可視カメラ41が用いられてもよい。ただし、可視カメラ41a等は3台に限定されるものではなく、2台または4台以上配置されてもよい。なお、この撮像システムSYS3において、可視カメラ41a等を設置するか否かは任意である。
これら可視カメラ41a〜41cに対応して、可視照明部41として照明ユニット20が配置される。また、照明ユニット20は、可視カメラ41aごとに配置されることに限定されず、1つの照明ユニット20で2台以上の可視カメラ41a等に対応させるか、赤外カメラ10a等に対応する照明ユニット20を兼用させてもよい。
図8に示すように、可視カメラ41a〜41cのぞれぞれは、赤外カメラ10a〜10cの間に配置される。従って、3台の赤外カメラ10a〜10cによって被写体Pを見込む間隔と、3台の可視カメラ41a〜41cによって被写体Pを見込む間隔とはほぼ同一となっている。ただし、赤外カメラ10a等と可視カメラ41a等との配置はこれに限定されず、例えば、可視カメラ41a等を赤外カメラ10a等から離れた位置に配置させてもよい。また、赤外カメラ10a等の数と可視カメラ41a等の数を同一とすることに限定されず、例えば、可視カメラ41a等の数を赤外カメラ10a等の数より少なくしてもよい。
図8に示す撮像システムSYS3は、空間的に3台の赤外カメラ10a〜10cと照明ユニット20が配置され、立体的な赤外反射像を取得する。複数の赤外カメラ10a等の画像から被写体Pの内部の構造を解析するには、一般的には光断層イメージングの画像再構成アルゴリズムが必要となる。本撮像システムSYS3によれば、被写体Pからの赤外反射光を撮像しており、表層から内部1cm程度までの形状、組成の範囲において、その形状モデルと位置を限定することにより、短時間で表面に露出していない病変や組織の形状を認識・表示させることが可能となる。
また、本撮像システムSYS3では、赤外光を使用することにより生体組織表面のみならず、生体内のやや深部における病変を識別することを目的としている。そのためには、複数の赤外カメラ10a等や可視カメラ41a等の配置に対して、複数の照明ユニット20を配置させ、照明波長および照射位置を変えながら赤外および可視像を取得し、コンピュータにより解析する。光トモグラフは、点光源に対する光の散乱および透過マトリクスを多数の光ディテクタにより取得し、生体内部の組織を識別するが、本撮像システムSYS3においては、空間的に配置された複数のカメラにより代行する。
複数の照明ユニット20をあらかじめ空間的に配置しておくと、機械的な駆動なしに、光源の位置と発光波長を掃引することが可能となる。本実施形態におけるフォトモスフェット(図3のインターフェイスモジュール24を参照)の応答速度が例えば2msecであり、赤外カメラ10a等による撮像時のフレームレートが例えば30fps(1フレーム:1/30秒)であれば、赤外カメラ10a等1台につき、1秒あたり30枚の照射位置および波長の異なった赤外画像が取得できる。
本実施形態では、複数台の赤外カメラ10a等および可視カメラ41a等、および照明ユニット20を空間的に配置し、生体内部の構造、病変を識別するシステムを提供する。一般に2台以上のカメラ画像の視差から物体の立体的な認識が可能となる。本実施発明では、複数台の可視カメラ41a等からの画像を制御ユニット30の画像処理部31で合成することにより被写体Pにおける生体組織表面の立体画像を生成する。さらに、複数台の赤外カメラ10a等からの画像を画像処理部31で合成することにより生体内部の立体画像を生成する。
これら生体組織表面の立体画像と生体内部の立体画像とを画像処理部31で合成することにより、生体組織表面と生体内部とを合わせた立体画像を生成できる。この立体画像を表示部35で表示させることにより、使用者は、被写体Pである生体の表面及び内部を同時に視認でき、被写体Pの表面に対する内部形状を容易に確認できる。
また、本実施形態では、複数(望ましくは3台以上)の赤外カメラ10a等及び可視カメラ41a等をそれぞれ立体的に配置させているので、赤外カメラ10a等と可視カメラ41a等との視差が異なる。従って、赤外カメラ10a等及び可視カメラ41a等によって取得した画像に基づいて、互いの画像を補正してもよい。なお、画像の補正は制御ユニット30の画像処理部31が行う。
このように、本実施形態によれば、複数台の赤外カメラ10a等によって被写体Pを異なる角度で見込むので、被写体Pの画像を異なる角度から細かく観察することができる。さらに、異なる視野の画像を合成することにより被写体Pの立体画像を生成できる。また、可視カメラ41a等による立体画像を合成することにより、被写体Pの表面と内部とを容易に確認できる。
<第4実施形態>
第4実施形態に係る撮像システムについて説明する。以下の説明において、上記の実施形態と同一または同等の構成部分については同一符号を付けて説明を省略または簡略化する。図9は、第4実施形態に係る撮像システムの一例を示す図である。この撮像システムSYS4は、図9に示すように、赤外カメラ10と、照明ユニット20と、制御ユニット30と、駆動装置50と、を備える。
駆動装置50は、図9に示すように、制御ユニット30からの指示に基づいて、赤外カメラ10及び照明ユニット20を、被写体Pの同一部分を異なる視野で見込むように移動させる。駆動装置50としては、回転モータ、リニアモータ等の駆動により赤外カメラ10等をガイドに沿って移動させる他に、ロボットアーム等が用いられてもよい。また、駆動装置50は、赤外カメラ10及び照明ユニット20を一体として移動させるが、別々に移動させるものでもよい。駆動装置50による移動方向は、図9では被写体Pの鉛直方向を中心軸とした回転方向を示しているが、これに限定されず、鉛直方向または螺旋方向など任意に設定可能である。
制御ユニット30は、駆動装置50に指示して赤外カメラ10等を移動させるとともに、複数の移動位置において赤外カメラ10によって被写体Pを撮像させる。なお、赤外カメラ10による撮像のタイミングで照明ユニット20から所定波長の赤外光を照射している。これにより、被写体Pを異なる角度で見込んだ複数の画像を取得できる。赤外カメラ10による撮像倍率の調整やフォーカス合わせは、赤外カメラ10の移動に伴って適宜行われる。なお、赤外カメラ10等の移動は、予め設定されたプログラムによる方向及び速度等で行う他に、使用者が、ジョイスティック等の入力装置34によって手動で行ってもよい。
なお、本撮像システムSYS4において、図7に示す可視カメラ41及び可視照明部42が設けられてもよい。さらに、可視カメラ41及び可視照明部42は、駆動装置50によって赤外カメラ10と同時または別々に移動するものでもよい。
このように、本実施形態によれば、赤外カメラ10等を駆動装置50によって移動させるので、異なる角度で被写体Pを見込んだ複数の画像を容易に取得できる。また、赤外カメラ10を移動させるので赤外カメラ10の設置台数を減少させることができ、システムのコストを低減できる。
<第5実施形態>
第5実施形態に係る撮像システムについて説明する。以下の説明において、上記の実施形態と同一または同等の構成部分については同一符号を付けて説明を省略または簡略化する。図10は、第5実施形態に係る撮像システムの一例を示す図である。この撮像システムSYS5は、図10に示すように、6台の赤外カメラ10a〜10fと、照明ユニット20と、を備える。なお、制御ユニット30は省略している。
撮像システムSYS5は、被写体Pの下側にも赤外カメラ10d等および照明ユニット20を配置させ、被写体Pを透過した像を撮像する。小動物や外科的に切除された大部分の検体(外科病理検体)は、試料厚が3〜4cm以下の範囲で、高感度の赤外カメラ10a等で透過照明光による撮像が可能である。また、赤外透過光を赤外カメラ10a等で検出することは、照明光が直接赤外カメラ10a等に入射することを防ぐことにより、十分可能である。
図10に示すように、撮像システムSYS5では、被写体Pの表側に3台の赤外カメラ10a〜10cを、また被写体Pの裏側に3台の赤外カメラ10d〜10fをそれぞれ配置する。ただし、被写体Pの表側と裏側で同数の赤外カメラ10を設置することに限定されず、例えば被写体Pの裏側の設置台数を表側より少なくしてもよい。また、赤外カメラ10a〜10fのそれぞれに対応し、かつ被写体Pを挟んだ状態で照明ユニット20a〜20fが配置される。
この撮像システムSYS5においては、照明ユニット20a〜20fを順次切り替えながら、赤外カメラ10a〜10fによって被写体Pを透過した光の像を撮像する。制御ユニット30の画像処理部31は、6台の赤外カメラ10a等からの画像を合成することにより、被写体Pの表側及び裏側に対応する立体画像を生成する。これにより、機械的な駆動機構を持たない簡易光CTシステムを構築することが可能である。
なお、本撮像システムSYS5において、図7に示す可視カメラ41及び可視照明部42が被写体Pの表側及び裏側の一方または双方に設けられてもよい。ただし、可視照明部42からの可視光は被写体Pを透過しないため、可視カメラ41は、被写体Pで反射した光の像を撮像するように配置される。
このように、本実施形態によれば、被写体Pの表側及び裏側の双方から被写体Pを透過した光の像を撮像するので、被写体Pの内部構造を容易に確認できる。さらに、これら複数台の赤外カメラ10aからの画像を合成することにより、被写体Pの表側及び裏側を合わせた立体画像を生成でき、被写体Pの内部構造を容易に認識可能となる。
<第6実施形態>
第6実施形態に係る撮像システムについて説明する。以下の説明において、上記の実施形態と同一または同等の構成部分については同一符号を付けて説明を省略または簡略化する。図11は、第6実施形態に係る撮像システムの一例を示す図である。この撮像システムSYS6は、図11に示すように、3台の赤外カメラ10a〜10cと、照明ユニット20と、赤外レーザー55と、ガルバノスキャナー56と、を備える。なお、制御ユニット30は省略している。
赤外レーザー55は、制御ユニット30からの指示により、所定波長のライン状のレーザー光を出射する。ガルバノスキャナー56は、内部に不図示のガルバノミラーを有し、赤外レーザー55から出射したライン状のレーザー光を所定方向に掃引する。なお、赤外レーザー55からスポット状のレーザー光を出射させ、これを走査させてもよい。
撮像システムSYS6は、被写体(生体試料)Pの下側に赤外レーザー55およびガルバノスキャナー56を配置させ、被写体Pの透過測定も可能にしている。空間的に配置された赤外カメラ10a等によって適宜赤外透過光を検出し、簡易光CTシステムを構築できる点は上述した。従来のステレオ視は、物体の表面形状を3次元的に認識するが、生体検体内部の構造物を検出するためには、対応点の検出の冗長性を更に取り除く必要がある。
この撮像システムSYS6は、被写体Pの下側から、赤外レーザー55からのレーザー光をガルバノスキャナー56で掃引する。本撮像システムSYS6の特徴は、3次元的な対応点が取りやすいことである。赤外カメラ10a等による撮像に先立って、まず半透明フィルムを特定の高さに置いて、レーザー光の照射位置と各赤外カメラ10aの輝点座標を校正する。これにより、特定の平面に沿った断面で撮像した各赤外カメラ10aによる複数の画像から被写体P内部の立体構造を算出することができる。
光CTは、脳の活動状態などを知るために有効であるが、離散的な発光源と離散的な受光素子との組み合わせによるため、画像を再構築するために必要な情報を与える素子数が限られている。そのため、解像度が十分ではない。本撮像システムSYS6では、受光素子を赤外カメラ10aとし、発光素子を赤外レーザー55及びガルバノスキャナー56で生成したライン光とすることにより、等価的に素子数を増大させ、解像度を飛躍的に改善した光CTを実現している。
LEDやハロゲンランプによる照明では、被写体(検体)Pの周囲を直接透過する光が強すぎて、赤外カメラ10a等による撮像画像が飽和する弊害があるが、ガルバノスキャナー56で自由にレーザー光の掃引形状を設定できるので、被写体Pの周囲を直接透過する光を抑制して撮像画像の飽和を防止している。さらに、ガルバノスキャナー56と赤外レーザー55との間にハーフミラーを配置させ、反射光の強度を検出することにより、共焦点実体顕微鏡の機能を付与することができる。
また、複数の赤外カメラ10a等および照明ユニット20の一群を全体として、機械的に掃引し、視野を拡大させるようにすることも可能である。ただし、機械的な駆動と同様な効果は、複数の赤外カメラ10aにおいて、それぞれの視野が重畳するように平面あるいは曲面上に設置することによっても得られる。なお、試料厚が3〜4cm以下の範囲で、透過照明光により小動物や外科病理検体を赤外カメラ10a等で撮像可能な点は上述した。但し、生体内での光吸収で数桁程度光が減衰するため、自由空間光を遮光する必要がある。従って、本撮像システムSYS6においては、被写体Pの大きさに応じて台に開口を形成させ、被写体Pを透過した光のみが赤外カメラ10a等に入射するようにしてもよい。また、本撮像システムSYS6において、図7に示す可視カメラ41及び可視照明部42が設けられてもよい。
このように、本実施形態によれば、ガルバノスキャナー56によって掃引されたレーザー光による透過照明光を赤外カメラ10aにより撮像するので、取得した画像の解像度を向上させることができる。
<第7実施形態>
第7実施形態に係る撮像システムについて説明する。以下の説明において、上記の実施形態と同一または同等の構成部分については同一符号を付けて説明を省略または簡略化する。図12は、第7実施形態に係る撮像システムの一例を示す図である。この撮像システムSYS7は、マンモトームに適用された例を示している。撮像システムSYS7は、図11に示す撮像システムSYS6と同様に、3台の赤外カメラ10a〜10cと、照明ユニット20と、赤外レーザー55と、ガルバノスキャナー56と、を備える。なお、制御ユニット30は省略している。
さらに、撮像システムSYS7は、ベッド61と、透明プラスチック板62と、穿孔針63と、を有している。ベッド61は、被検者をうつ伏せで横臥させるものであり、厚さが薄く形成されている。ベッド61には、被写体である被検者の乳房Paを下方に露出させるための開口部61aが形成される。透明プラスチック板62は、乳房Paを両側から挟んで平板状に変形させるのに用いられる。穿孔針63は、コアニードル生検において乳房Paに挿入され、検体を採取するものである。
赤外カメラ10a等、照明ユニット20、赤外レーザー55、及びガルバノスキャナー56は、ベッド61の下方に配置される。また、これら赤外カメラ10a等は、赤外カメラ10a等とガルバノスキャナー56との間に透明プラスチック板62を位置させた状態で設置されている。複数の赤外カメラ10a等及び複数の照明ユニット20は、球面状に配置されている。照明ユニット20は、1000nm以上の赤外波長を少なくとも1つ含む複数の波長を発光してもよい。
図12に示すように、乳房Paを透明プラスチック板62で両側から押し付けて平板状に変形させ、この状態で照明ユニット20及び赤外レーザー55から順次所定波長の赤外光を出射させて赤外カメラ10a等により撮像する。これにより、赤外カメラ10a等は、照明ユニット20からの反射赤外光によって乳房Paの画像を取得するとともに、ガルバノスキャナー56で掃引されたレーザー光による透過赤外光によって乳房Paの画像を取得する。
複数の赤外カメラ10a等の視野を重畳させ、かつ位置の異なる複数の照明ユニット20や赤外レーザー55を順次点灯させることにより、乳房Paの内部を立体画像として表示することができ、病変部の立体的な形状を把握することが可能になる。乳がん検診には、既にディジタルX線撮像素子を用いた2次元および3次元マンモグラフが普及しつつあるが、赤外線を用いても複数の赤外カメラ10aと複数の照明ユニット20等を組み合わせることにより、立体的な形状認識機能を発揮させることができる。
従来のコアニードル生検では、超音波エコーを用いて針の深さを計測しながら穿孔針(コアニードル)を挿入していた。図12の赤外マンモトーム装置では、共焦点実体顕微鏡(赤外レーザー55及びガルバノスキャナー56を含んで構成されている。)により、病変部の3次元座標を確定した後に、穿孔針63を乳房Paに挿入して検体を採取する。
このように、本実施形態によれば、赤外分光スペクトラムの違いを用いた赤外マンモトームをコアニードル生検に用いることにより、正確な組織像の空間認識に基づいて、検体の採取が可能になる。また、X線被曝の影響の無い赤外光による撮像は、妊娠の有無にかかわらず産婦人科において日常的に適用できる利点がある。
また、図12の撮像システムSYS7はマンモトームの適用例を示しているが、複数の赤外カメラ10a等により乳房Paの内部の画像を取得することを用いて、マンモグラフィーとして適用可能である。
<第8実施形態>
第8実施形態に係る撮像システムについて説明する。以下の説明において、図13は、第8実施形態に係る撮像システムの一例を示す図である。この撮像システムSYS8は、歯列撮像装置に適用された例を示している。図13に示すように、撮像システムSYS8は、ベース70と、保持プレート71、72と、赤外および可視LEDチップ(照明ユニット)200と、可視延長型の小型赤外カメラ100と、を備える。
ベース70は、使用者やロボットハンド等によって把持される部分である。ベース70の内部には、制御ユニット30の全部または一部(照明駆動部32など)が収納されてもよい。ベース70の内部に制御ユニット30等が収納される場合、この制御ユニット30等は外部のPCや表示部35と有線または無線によって電気的に接続される。
保持プレート71、72は、ベース70の一端から延びた単一部材を途中から二又に分岐させ、それぞれ同一方向に屈曲させて形成される。保持プレート71の先端部71aと、保持プレート72の先端部72aとの間隔は、後述する歯茎Pb等を間に位置させることができる距離に設定される。なお、保持プレート71、72は、例えば変形可能は材質で形成され、先端部71a、72aの間隔を変更できるようにしてもよい。
保持プレート71の先端部71aには、保持プレート72の先端部72aと対向する部分に、2つの小型赤外カメラ100が上下に設けられる。この小型赤外カメラ100は、可視領域も撮像可能とした赤外カメラである。なお、図13では2つの小型赤外カメラ100a等が設けられるが、1つまたは3つ以上設けられてもよい。また、複数の小型赤外カメラ100の配置は任意である。複数の小型赤外カメラ100が視差を持って配置されることにより、立体画像を生成することができる。また、小型赤外カメラ100とベース70との電気的な接続は、保持プレート71の内部を介して行う。
保持プレート71、72の先端部71a、72aには、それぞれLEDチップ200が設けられる。LEDチップ200は、上記した照明ユニット20と同様に、赤外領域の複数の波長と、可視領域の波長とを出射する複数のLEDを有している。また、LEDチップ200とベース70との電気的な接続は、保持プレート71、72の内部を介して行う。LEDチップ200は、1000nm以上の赤外波長を少なくとも1つ含む複数の波長を発光してもよい。
この撮像システムSYS8は、被検者の口から保持プレート71、72を差し込み、その先端部71a、72aの間に、被写体である歯茎Pbまたは歯Pcを配置させる。続いて、先端部72aのLEDチップ200を駆動して赤外波長を変更しながら小型赤外カメラ100で歯茎Pb等を撮像する。同時に、先端部71aのLEDチップ200から可視光を照射して小型カメラ100で撮像する。続いて、ベース70を移動させて、小型赤外カメラ100を歯列に沿って移動させ、接続可能な視野ごとに適宜小型赤外カメラ100で撮像し、その画像を合成することで歯列に沿った全体の画像を取得する。なお、小型赤外カメラ100を一定距離ずつステップさせ、そのステップごとに撮像を繰り返す場合と、小型赤外カメラ100を一定速度で移動させつつ適宜撮像する場合のいずれであってもよい。
このように、本実施形態によれば、それぞれの位置におけるステレオ画像をソフトウェアにより自動的につなぎ合わせることにより、可視光照明により得られた歯茎Pbや歯列Pcの表面立体モデルと、歯茎内部における病理情報を同時に得ることができる。また、X線CTを用いると、歯列の3次元的計測は可能であるが、比較的強いX線が必要な歯科業務においては、日常的な病変の観察にみだりに使用できない。その点赤外像は、日常的な口腔内の観察に適し、しかも浮腫や炎症など血液や水分の分布を変化させる病変に鋭敏であるという特徴を有している。
<第9実施形態>
第9実施形態に係る撮像システムについて説明する。以下の説明において、図14は、第9実施形態に係る撮像システムの一例を示す図である。この撮像システムSYS9は、ダーモスコープに適用された例を示している。図14に示すように、撮像システムSYS9は、使用者が手に持つことができる形状のボディ80を有している。ボディ80内には可視及び赤外カメラが収容されており、その撮像レンズ81がボディ80の一部に配置される。
撮像レンズ81の周囲には、同心円状に多数の赤外および可視LEDチップ(照明ユニット)201がはめ込まれ、紫外波長から赤外波長における照明光を照射する。このLEDチップ201により赤外波長を変更しながら撮像レンズ81を介して、対象物の画像を複数の照射角度から撮像することができる。複数の画像の合成は、ボディ80内の画像処理部が行ってもよく、また、外部のPC等に画像データを送り、PC上で画像の合成を行ってもよい。なお、LEDチップ201と撮像レンズ81上に、偏光方向を直交させるようにそれぞれ偏光板を設け、例えば、被写体である皮膚表面からの反射を抑えるようにしてもよい。LEDチップ201は、1000nm以上の赤外波長を少なくとも1つ含む複数の波長を発光してもよい。
このように、本実施形態によれば、被写体である皮膚表面の画像と内部の画像とを取得するので、表面モデルと内部の病理情報とを繰り返しかつ短時間で取得可能となり、例えばダーモスコピー検査等を容易に行うことができる。
<第10実施形態>
第10実施形態に係る撮像システムについて説明する。以下の説明において、図15は、第10実施形態に係る撮像システムの一例を示す図である。この撮像システムSYS10は、赤外イメージング術中支援システムに適用された例を示している。図15に示すように、撮像システムSYS10は、手術灯85と、2台の表示部35と、を備えている。
手術灯85は、可視光を出射する複数の可視照明灯86の間に、複数の赤外LEDモジュール(照明ユニット)87と、赤外カメラ10とが埋め込まれている。図15では、3台の可視照明灯86と、3台の赤外LEDモジュール87と、8台の赤外カメラ10により手術灯85を構成する。赤外カメラ10によって取得した画像は、表示部35によって表示させることができる。2台の表示部35は、同一の画像を表示する場合と、赤外波長を異ならせた異なる画像を表示させる場合のいずれであってもよい。図15において、左側の表示部35には内部の癌細胞Pdが表示されている。また、手術灯85に可視カメラ41等(図7参照)を設置させて、可視光による画像を可視カメラで取得し、この画像を表示部35に表示させてもよい。
このように、本実施形態によれば、可視照明灯86による可視照明中に、赤外LEDモジュール87によって赤外波長の照明を切り替えながら異なった波長の赤外像を赤外カメラ10によって撮影することができる。
手術治療の侵襲性・効率は、切開・止血に随伴する損傷・焼灼の範囲と強度で決定されるが、病変部の他、神経、すい臓などの実質臓器、脂肪組織、血管などを、手術者がどれだけ視認できるかどうかが、手術合併症を予防するうえで重要である。最近手術室に連接してX線CTやMRI装置を併設し、術中の迅速診断を備えたインテリジェント手術室が提唱されているが、高額な施設となる。また、特殊環境が必要で、手術をいったん中断する必要がある。本実施形態のように、多色(多波長)LEDモジュール87と赤外カメラ10を組み合わせた赤外イメージング術中支援システムであれば、例えば、既存の手術灯にLEDモジュール87や赤外カメラ10等を埋め込む程度の改造で適用できる上、可視光照明は常時点灯可能であるので手術の進行を妨げない。
以上、本発明について第1〜第10実施形態を用いて説明したが、本発明の技術的範囲は、上記した各実施形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記した各実施形態に、多様な変更または改良を加えることが可能である。また、上記各実施形態で説明した要件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。
また、上記した第1〜第10実施形態の少なくとも2つを組み合わせたものでもよい。例えば、第3実施形態の撮像システムSYS3や、第5実施形態の撮像システムSYS5に、第4実施形態の駆動装置50を適用し、複数台の赤外カメラ10a等や複数台の可視カメラ41a等を駆動装置50によって移動させるようにしてもよい。
また、上記した第1〜第10実施形態において、照明ユニット20等としてLEDが用いられるが、LEDに代えて赤外レーザー等のレーザー光源が用いられてもよい。
また、上記した第1〜第10実施形態において、照明ユニット20等から出射する赤外光は、コヒーレンス性の高い単一波長の光であることに限定されない。例えば、中心波長を所望の赤外波長とし、所定の波長幅を持った光を出射させてもよい。従って、上記で規定した1050nmや1330nmの波長は、単一波長として出射されてもよく、また、1050nmや1330nmを中心波長として、所定の波長幅を持った光として出射されてもよい。
また、照明ユニットは、1000nm以上の赤外波長を少なくとも1つ含む複数の波長を発光し、マンモトーム、マンモグラフィー、ダーモスコープ、及び歯列透過装置の少なくとも1つに搭載される。ただし、これらマンモトーム等に限らず、他の装置に照明ユニット20等が搭載されてもよい。また、上述した実施形態によれば、本実施形態における撮像システムは、上記した術中(手術)支援システムに適用することが可能であり、その手術支援システムにおける処置デバイス(例、生体組織に対する切開、止血、穿孔針などのデバイス)と組み合わせて利用されるし、その処置デバイスと一体的に構成されたデバイス、等として利用される。また、本実施形態における手術支援システムは、上述した撮像システムと、生体組織に対して処置する上述の処置デバイスと、を備える構成であっても良い。
また、上記した第1〜第10実施形態において、1つの赤外カメラ10等で視野を変えた複数の画像や、複数の赤外カメラ10等の画像を合成することにより、解像度を向上させることや、赤外カメラ10等に生じている欠陥画素の影響を補正させてもよい。
また、上記した第1〜第10実施形態において、全ての赤外波長の点灯を消した暗状態あるいは外光が自然に入り込んでいる状態での画像を取得しておき、この画像に基づいて赤外波長によって撮像した画像データに対して補正してもよい。例えば、赤外画像を取得する際、暗状態の画像との差分を取るとともに、各波長の画像をPC上等で合成することにより、被写体Pの表面形状および内部組成を反映した認識支援画像を取得することが可能である。
また、撮像システムSYS1〜SYS10の一部の構成をコンピュータにより実現してもよい。例えば、制御ユニット30をコンピュータにより実現してもよい。この場合、コンピュータは、制御プログラムに基づいて、照明ユニット20等から赤外領域の複数の波長を被写体Pに向けて発光する処理と、赤外カメラ10等によって複数の波長のそれぞれにおいて被写体Pを撮像する処理と、を実行する。また、この制御プログラムは、光ディスクやCD−ROM、USBメモリ、SDカード等の、コンピュータで読み取り可能な記憶媒体に格納されて提供されてもよい。
P…被写体、SYS1〜SYS10…撮像システム、10、10a〜10f…赤外カメラ、100…小型赤外カメラ、20、20a〜20f、200…照明ユニット、30…制御ユニット、31…画像処理部、32…照明駆動部、41、41a、41b、41c…可視カメラ、42…可視照明部、50…駆動装置

Claims (20)

  1. 生体組織を撮像する撮像システムであって、
    水の吸光度が脂質の吸光度より大きい1400nmから1600nmの赤外領域から特定された波長を有する第1の赤外光と、水の吸光度と脂質の吸光度との差が小さい1200nmより短い赤外領域の波長を有する第2の赤外光と、を前記生体組織に照射する照明ユニットと、
    前記第1の赤外光と前記第2の赤外光とを受光する赤外カメラと、
    前記赤外カメラによって受光された前記第1の赤外光の受光結果と前記第2の赤外光の受光結果とを合成して、前記水の部分が強調された強調画像を生成する画像処理部を有する制御ユニットと、
    を備える撮像システム。
  2. 可視領域の波長の光に感度を有する可視カメラと、前記可視カメラが感度を有する波長を発光する可視照明部と、を含む請求項1に記載の撮像システム。
  3. 前記制御ユニットは、前記照明ユニットから異なる波長の光を順次または同時に照射させる照明駆動部を有する請求項1又は請求項2に記載の撮像システム。
  4. 前記制御ユニットは、前記照明駆動部による発光波長の切り替えと、前記赤外カメラによる撮像と、を同期して行う請求項3に記載の撮像システム。
  5. 生体組織を撮像する撮像システムであって、
    1600nm又は1600nm近辺の波長を有する赤外光を照射する照明ユニットと、
    前記赤外光を受光する赤外カメラと、
    可視光を照射する可視照明部と、
    前記可視光を受光する可視カメラと、
    前記可視カメラによって受光された前記可視光の受光結果をリファレンスとし、前記赤外カメラによって受光された前記赤外光の受光結果と前記可視光の受光結果との差分を演算して、前記生体組織のうち膵臓、リンパ節、又は腸間膜中のリンパ節を強調した画像を生成する画像処理部を有する制御ユニットと、
    を備える撮像システム。
  6. 生体組織を撮像する撮像システムであって、
    水の吸光度が脂質の吸光度より大きい、1550nm、1600nm又は1600nm近辺の波長を有する赤外光を照射する照明ユニットと、
    前記赤外光を受光する赤外カメラと、
    前記赤外カメラによって受光された前記赤外光の受光結果に基づいて、前記生体組織のうち膵臓、リンパ節、又は腸間膜中のリンパ節を強調した画像を生成する画像処理部を有する制御ユニットと、
    を備える撮像システム。
  7. 前記制御ユニットは、前記照明ユニットから異なる波長の光を順次または同時に照射させる照明駆動部を有する請求項5又は請求項6に記載の撮像システム。
  8. 前記制御ユニットは、前記照明駆動部による発光波長の切り替えと、前記赤外カメラによる撮像と、を同期して行う請求項7に記載の撮像システム。
  9. 前記照明ユニットは、前記異なる波長の光を照射する複数の光源が1つのパッケージに搭載されているモジュールである、請求項7又は請求項8に記載の撮像システム。
  10. 前記照明ユニットは、複数の前記赤外光を照射し、
    前記画像処理部は、前記赤外カメラが受光した複数の前記赤外光の受光結果に基づき前記生体組織の立体画像を生成する、請求項1から請求項9のいずれか1項に記載の撮像システム。
  11. 生体組織を撮像する撮像システムであって、
    可視光を照射する可視照明部と、
    前記可視光を受光する複数の可視カメラと、
    赤外光を照射する照明ユニットと、
    前記赤外光を受光する複数の赤外カメラと、
    前記複数の可視カメラによる前記可視光の受光結果をもとに生成される前記生体組織の表面の立体画像と、前記複数の赤外カメラによる前記赤外光の受光結果をもとに生成される前記生体組織の内部の立体画像とを合成して、前記生体組織の表面と前記生体組織の内部とを合わせた立体画像を生成する画像処理部を有する制御ユニットと、
    を備える撮像システム。
  12. 前記制御ユニットは、前記照明ユニットから異なる波長の光を順次または同時に照射させる照明駆動部を有する、請求項11に記載の撮像システム。
  13. 前記制御ユニットは、前記照明駆動部による発光波長の切り替えと、前記赤外カメラによる撮像と、を同期して行う請求項12に記載の撮像システム。
  14. 前記制御ユニットは、前記赤外カメラによって撮像した複数の画像を合成する画像処理部を有する請求項11から請求項13のいずれか1項に記載の撮像システム。
  15. 前記照明ユニットは、800nm以上2500nm以下の波長帯域のうち所定波長の前記赤外光を発光する請求項11から請求項14のいずれか1項に記載の撮像システム。
  16. 前記照明ユニットは、1000nm以上1600nm以下の波長帯域のうち所定波長の前記赤外光を発光する請求項11から請求項14のいずれか1項に記載の撮像システム。
  17. 前記制御ユニットは、前記赤外光と前記可視光とを順次または同時に照射させる照明駆動部を有する請求項11から請求項16のいずれか1項に記載の撮像システム。
  18. 前記赤外光は狭帯域の波長を有する、請求項1から請求項17のいずれか1項に記載の撮像システム。
  19. 画像を表示する表示部を備える、請求項1から請求項18のいずれか1項に記載の撮像システム。
  20. 請求項1から請求項19のいずれか1項に記載の撮像システムと、
    前記生体組織に対して処置する処置デバイスと、
    を備える手術支援システム。
JP2018197534A 2013-05-30 2018-10-19 撮像システム及び手術支援システム Active JP6710735B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013113825 2013-05-30
JP2013113825 2013-05-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015519939A Division JP6446357B2 (ja) 2013-05-30 2014-05-29 撮像システム

Publications (2)

Publication Number Publication Date
JP2019013802A JP2019013802A (ja) 2019-01-31
JP6710735B2 true JP6710735B2 (ja) 2020-06-17

Family

ID=51988899

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015519939A Active JP6446357B2 (ja) 2013-05-30 2014-05-29 撮像システム
JP2018197534A Active JP6710735B2 (ja) 2013-05-30 2018-10-19 撮像システム及び手術支援システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015519939A Active JP6446357B2 (ja) 2013-05-30 2014-05-29 撮像システム

Country Status (3)

Country Link
US (1) US20160139039A1 (ja)
JP (2) JP6446357B2 (ja)
WO (1) WO2014192876A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9642606B2 (en) 2012-06-27 2017-05-09 Camplex, Inc. Surgical visualization system
US8882662B2 (en) 2012-06-27 2014-11-11 Camplex, Inc. Interface for viewing video from cameras on a surgical visualization system
CN103871186A (zh) * 2012-12-17 2014-06-18 博立码杰通讯(深圳)有限公司 安防监控系统及相应的报警触发方法
WO2014189969A1 (en) 2013-05-21 2014-11-27 Camplex, Inc. Surgical visualization systems
WO2014192876A1 (ja) * 2013-05-30 2014-12-04 独立行政法人産業技術総合研究所 撮像システム及び撮像方法
EP3046458B1 (en) 2013-09-20 2020-10-21 Camplex, Inc. Surgical visualization systems
JP6264233B2 (ja) * 2014-09-02 2018-01-24 株式会社Jvcケンウッド 撮像装置、撮像装置の制御方法及び制御プログラム
WO2016090336A1 (en) 2014-12-05 2016-06-09 Camplex, Inc. Surgical visualization systems and displays
EP3277152A4 (en) * 2015-03-25 2018-12-26 Camplex, Inc. Surgical visualization systems and displays
CN106236060B (zh) 2015-06-04 2021-04-09 松下知识产权经营株式会社 生物体信息检测装置
WO2017047553A1 (ja) * 2015-09-18 2017-03-23 独立行政法人労働者健康安全機構 撮像方法、撮像装置、撮像システム、手術支援システム、及び制御プログラム
WO2017091704A1 (en) 2015-11-25 2017-06-01 Camplex, Inc. Surgical visualization systems and displays
JP2017098863A (ja) * 2015-11-27 2017-06-01 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR102594430B1 (ko) * 2016-04-19 2023-10-26 주식회사 레인보우로보틱스 로봇암을 이용한 레이저 조사 장치 및 방법
CN106444226A (zh) * 2016-08-30 2017-02-22 陈鑫 可智能调光的红外狩猎相机及其使用方法
US10742890B2 (en) 2016-10-28 2020-08-11 Kyocera Corporation Imaging apparatus, imaging system, moving body, and imaging method
JP2018100830A (ja) * 2016-12-19 2018-06-28 横河電機株式会社 光スペクトル測定装置
WO2018154625A1 (ja) * 2017-02-21 2018-08-30 国立研究開発法人産業技術総合研究所 撮像装置、撮像システム、及び撮像方法
US10918455B2 (en) 2017-05-08 2021-02-16 Camplex, Inc. Variable light source
JP2019128295A (ja) * 2018-01-25 2019-08-01 国立研究開発法人産業技術総合研究所 撮像装置、撮像システム、及び撮像方法
JP7067091B2 (ja) * 2018-02-02 2022-05-16 株式会社リコー 撮像装置および撮像装置の制御方法
US11756675B2 (en) 2018-02-06 2023-09-12 The Regents Of The University Of Michigan Systems and methods for analysis and remote interpretation of optical histologic images
JP7297891B2 (ja) 2018-07-19 2023-06-26 アクティブ サージカル, インコーポレイテッド 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法
FR3088530B1 (fr) * 2018-11-15 2020-12-04 Thales Sa Systeme d'imagerie 2d et 3d d'un desordre pigmentaire cutane
AR116125A1 (es) 2018-12-17 2021-04-07 Consejo Nacional De Investigaciones Cientificas Y Tecn Conicet Mamógrafo óptico que utiliza infrarrojo cercano en geometría de reflectancia difusa
JP7516730B2 (ja) * 2019-03-19 2024-07-17 日本電気株式会社 赤外線センサおよび光検出方法
JP2022526626A (ja) 2019-04-08 2022-05-25 アクティブ サージカル, インコーポレイテッド 医療撮像のためのシステムおよび方法
KR20220004736A (ko) * 2019-06-07 2022-01-11 바스프 코팅스 게엠베하 컴퓨터 비전 응용에 의해 유체를 검출하기 위한 방법 및 디바이스
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
EP4057213A4 (en) * 2019-11-05 2022-10-12 NEC Corporation IMAGING DEVICE
JPWO2022025290A1 (ja) * 2020-07-31 2022-02-03
KR20230104161A (ko) * 2020-10-30 2023-07-07 가부시키가이샤 니콘 로봇 시스템, 로봇 아암, 엔드 이펙터, 및 어댑터
WO2022107723A1 (ja) * 2020-11-18 2022-05-27 国立大学法人千葉大学 近赤外光を利用した撮像システム及び撮像方法
EP4202531A4 (en) * 2020-11-24 2024-03-20 Samsung Electronics Co., Ltd. WEARABLE ELECTRONIC DEVICE WITH AUGMENTED REALITY INCLUDING A CAMERA

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02116347A (ja) * 1988-10-27 1990-05-01 Toshiba Corp 電子内視鏡装置
JP2004222938A (ja) * 2003-01-22 2004-08-12 Olympus Corp 内視鏡装置
JP2005148540A (ja) * 2003-11-18 2005-06-09 Moritex Corp 顔面撮像装置
JP5148054B2 (ja) * 2005-09-15 2013-02-20 オリンパスメディカルシステムズ株式会社 撮像システム
US20090062685A1 (en) * 2006-03-16 2009-03-05 Trustees Of Boston University Electro-optical sensor for peripheral nerves
JPWO2008010604A1 (ja) * 2006-07-19 2009-12-17 学校法人北里研究所 血管撮影装置及び血管分布解析システム
US8556807B2 (en) * 2006-12-21 2013-10-15 Intuitive Surgical Operations, Inc. Hermetically sealed distal sensor endoscope
EP2179593A1 (en) * 2007-07-17 2010-04-28 Explay Ltd. Optical projection method and system
US8868161B2 (en) * 2007-09-13 2014-10-21 Jonathan Thierman Detection and display of measured subsurface data onto a surface
CA2784856C (en) * 2009-12-18 2019-05-07 University Health Network System and method for sub-surface fluorescence imaging
CA2797302C (en) * 2010-04-28 2019-01-15 Ryerson University System and methods for intraoperative guidance feedback
US8455827B1 (en) * 2010-12-21 2013-06-04 Edc Biosystems, Inc. Method and apparatus for determining the water content of organic solvent solutions
JP2013101109A (ja) * 2011-10-12 2013-05-23 Shiseido Co Ltd 照明装置及び画像取得装置
US20140039309A1 (en) * 2012-04-26 2014-02-06 Evena Medical, Inc. Vein imaging systems and methods
US9993159B2 (en) * 2012-12-31 2018-06-12 Omni Medsci, Inc. Near-infrared super-continuum lasers for early detection of breast and other cancers
WO2014192876A1 (ja) * 2013-05-30 2014-12-04 独立行政法人産業技術総合研究所 撮像システム及び撮像方法
WO2017047553A1 (ja) * 2015-09-18 2017-03-23 独立行政法人労働者健康安全機構 撮像方法、撮像装置、撮像システム、手術支援システム、及び制御プログラム
WO2017164101A1 (ja) * 2016-03-22 2017-09-28 国立研究開発法人産業技術総合研究所 光照射システム、制御装置、光照射制御方法、及び手術用顕微鏡装置
JP6884356B2 (ja) * 2016-03-31 2021-06-09 国立研究開発法人産業技術総合研究所 観察装置、観察システム、データ処理装置及びプログラム
WO2018154625A1 (ja) * 2017-02-21 2018-08-30 国立研究開発法人産業技術総合研究所 撮像装置、撮像システム、及び撮像方法

Also Published As

Publication number Publication date
WO2014192876A1 (ja) 2014-12-04
JP2019013802A (ja) 2019-01-31
JP6446357B2 (ja) 2018-12-26
US20160139039A1 (en) 2016-05-19
JPWO2014192876A1 (ja) 2017-02-23

Similar Documents

Publication Publication Date Title
JP6710735B2 (ja) 撮像システム及び手術支援システム
JP6468287B2 (ja) 走査型投影装置、投影方法、走査装置、及び手術支援システム
US11190752B2 (en) Optical imaging system and methods thereof
JP5986670B2 (ja) マルチスペクトルフォトニック画像化方法及び装置
JP4608684B2 (ja) 皮膚疾患の光学診断および治療のための装置および光源システム
JP5384453B2 (ja) 測定装置、測定システム、測定方法、制御プログラム、および、記録媒体
US9060687B2 (en) Device for monitoring blood vessel conditions and method for monitoring same
KR101647022B1 (ko) 의료 영상 획득 장치 및 방법
KR20200104375A (ko) 광 결핍 환경에서의 도구 추적을 갖는 초분광 이미징
JP5930531B2 (ja) 撮像装置および撮像方法
US20120059266A1 (en) Imaging method
JP2016538095A (ja) 所定の生物学的構造体の非侵襲的検知装置
JP6451741B2 (ja) 画像解析装置、撮像システム、手術支援システム、及び画像解析プログラム
JP7435272B2 (ja) 治療支援装置および治療支援装置の作動方法
JP2003339648A (ja) 画像生体診断装置
TWI435704B (zh) 口腔光學診斷裝置及其運作方法
JP4109132B2 (ja) 蛍光判定装置
JP2008529709A (ja) 組織をイメージングする方法及び装置
WO2022107723A1 (ja) 近赤外光を利用した撮像システム及び撮像方法
JP4109133B2 (ja) 蛍光判定装置
JP7538142B2 (ja) 狭帯域光観察を利用する医療機器
WO2022239339A1 (ja) 医療用情報処理装置、医療用観察システム及び医療用情報処理方法
JP2003106993A (ja) 生体情報撮像装置
WO2011162721A1 (en) Method and system for performing tissue measurements
EP4366609A1 (en) Laser speckle contrast imaging system and applications of same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200527

R150 Certificate of patent or registration of utility model

Ref document number: 6710735

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250