JPWO2015186225A1 - 走査型投影装置、投影方法、走査装置、及び手術支援システム - Google Patents

走査型投影装置、投影方法、走査装置、及び手術支援システム Download PDF

Info

Publication number
JPWO2015186225A1
JPWO2015186225A1 JP2016525632A JP2016525632A JPWO2015186225A1 JP WO2015186225 A1 JPWO2015186225 A1 JP WO2015186225A1 JP 2016525632 A JP2016525632 A JP 2016525632A JP 2016525632 A JP2016525632 A JP 2016525632A JP WO2015186225 A1 JPWO2015186225 A1 JP WO2015186225A1
Authority
JP
Japan
Prior art keywords
light
tissue
unit
scanning
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016525632A
Other languages
English (en)
Other versions
JP6468287B2 (ja
Inventor
進 牧野内
進 牧野内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2015186225A1 publication Critical patent/JPWO2015186225A1/ja
Application granted granted Critical
Publication of JP6468287B2 publication Critical patent/JP6468287B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/24—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the mouth, i.e. stomatoscopes, e.g. with tongue depressors; Instruments for opening or keeping open the mouth
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4869—Determining body composition
    • A61B5/4872—Body fat
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4869—Determining body composition
    • A61B5/4875—Hydration status, fluid retention of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Dentistry (AREA)
  • Optics & Photonics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Processing (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

走査型投影装置(1)において、照射部(2)は、生物の組織(BT)に検出光(L1)を照射する。組織(BT)は、検出光(L1)を受けると光を放射する。組織(BT)が放射する光のスペクトルは、当該組織(BT)中の脂質及び水の割合により、並びに当該組織(BT)中の蛍光物質の量により異なる。光検出部(3)は、組織(BT)が放射する光を検出する。画像生成部(4)は、当該検出の結果を処理して組織(BT)に関する画像のデータを生成する。投影光学系(7)は、当該データに基づいて組織(BT)を可視光(L2)で走査し、組織(BT)上に画像を投影する。その結果、組織(BT)上に、脂質及び水の分布を示す画像又は蛍光物質の分布を示す画像が投影される。オペレータは、組織(BT)上に投影された画像を見て組織(BT)中の腫瘍を識別する。

Description

本発明は、走査型投影装置、投影方法、及び手術支援システムに関する。
医療などの分野において、組織上に画像を投影する技術が提案されている（例えば、下記の特許文献１参照）。例えば、特許文献１に係る装置は、赤外線を身体組織に照射し、身体組織で反射した赤外線に基づいて皮下血管の映像を取得する。この装置は、皮下血管の可視光像を身体組織の表面に投影する。
特開２００６−１０２３６０号明細書
ところで、組織の表面は凹凸面になっている場合があり、組織の表面に画像を投影する際に焦点を合わせにくいことがある。その結果、組織の表面に投影する投影像の焦点がずれてしまい、表示された画像にボケが生じることがある。本発明は、生物の組織上に鮮明な画像を投影可能な走査型投影装置、投影方法、及び手術支援システムを提供することを目的とする。
本発明の第１の態様に従えば、生物の組織に検出光を照射する照射部と、検出光が照射されている組織から放射される光を検出する光検出部と、光検出部の検出結果を使って、組織に関する画像のデータを生成する画像生成部と、データに基づいて組織を可視光で走査する投影光学系を含み、可視光の走査によって組織上に画像を投影する投影部と、を備える走査型投影装置が提供される。
本発明の第２の態様に従えば、生物の組織に検出光を照射することと、検出光が照射されている組織から放射される光を光検出部によって検出することと、光検出部の検出結果を使って、組織に関する画像のデータを生成することと、データに基づいて組織を可視光で走査し、可視光の走査によって組織上に画像を投影することと、を含む投影方法が提供される。
本発明の第３の態様に従えば、第１の態様の走査型投影装置と、走査型投影装置によって組織上に画像が投影されている状態において、組織に対する処理が可能な操作デバイスと、を備える手術支援システムが提供される。
本発明によれば、生物の組織上に鮮明な画像を投影可能な走査型投影装置、投影方法、及び手術支援システムを提供することができる。
第１実施形態に係る走査型投影装置を示す図である。 本実施形態に係る画像の画素配列の例を示す概念図である。 本実施形態に係る近赤外波長領域における吸光度の分布を示すグラフである。 第１実施形態に係る投影方法を示すフローチャートである。 本実施形態に係る照射部の変形例を示す図である。 本実施形態に係る光検出部の変形例を示す図である。 本実施形態に係る投影部の変形例を示す図である。 第２実施形態に係る走査型投影装置を示す図である。 本実施形態に係る照射部および投影部の動作の一例を示すタイミングチャートである。 第３実施形態に係る走査型投影装置を示す図である。 第４実施形態に係る走査型投影装置を示す図である。 本実施形態に係る手術支援システムの一例を示す図である。 本実施形態に係る手術支援システムの他の例を示す図である。
［第１実施形態］
第１実施形態について説明する。図１は、本実施形態に係る走査型投影装置１を示す図である。走査型投影装置１は、生物（例えば、動物など）の組織ＢＴから放射される光を検出し、その検出結果を使って組織ＢＴに関する画像を組織ＢＴ上に投影する。走査型投影装置１は、組織ＢＴの情報を含む画像を組織ＢＴ上に直接的に表示可能である。また、生物の組織ＢＴから放射される光は、例えば、赤外光を組織ＢＴに照射して得られる光（例、赤外光）、や蛍光色素などの発光物質でラベル化された組織ＢＴに励起光を照射して発光される蛍光、などを含む。
走査型投影装置１は、例えば外科的手術の開腹手術に利用できる。走査型投影装置１は、近赤外光を用いて解析された患部の情報を患部の上に直接的に投影する。走査型投影装置１は、組織ＢＴに関する画像として、組織ＢＴの成分を示す画像を表示可能である。また、走査型投影装置１は、組織ＢＴに関する画像として、組織ＢＴのうち特定の成分を強調した画像を表示可能である。このような画像は、例えば、組織ＢＴにおける脂質の分布、水分の分布などを示す画像である。例えば、この画像は、患部（組織ＢＴ）における腫瘍の有無を判定すること等に利用できる。走査型投影装置１は、患部に関する画像を患部に重ねて表示可能であり、手術者は、患部に表示された情報を直接的に見ながら手術等を行うことができる。走査型投影装置１の操作者（オペレータ）は、手術者（オペレータ）と同じ人でもよいし、別の人（サポート担当者や医療従事者など）でもよい。
なお、走査型投影装置１は、一般的な手術のように組織ＢＴを傷つける処理の他に、組織ＢＴを傷つけない各種処理など、医療用途や検査用途、調査用途等に適用できる。例えば、走査型投影装置１は、採血、病理解剖、病理診断、生体検査（生検）などの臨床検査などにも利用できる。組織ＢＴは、人間の組織であってもよいし、人間以外の生物の組織であってもよい。例えば、組織ＢＴは、生物から切り取った状態の組織であってもよいし、生物に付随した状態の組織であってもよい。また、例えば、組織ＢＴは、生存している生物（生体）の組織（生体組織）であってもよいし、死亡後の生物（死体）の組織であってもよい。組織ＢＴは、生物から摘出した物体であってもよい。例えば、組織ＢＴは、生物のいずれの器官を含んでいてもよく、皮膚を含んでいてもよいし、皮膚よりも内側の内臓などを含んでいてもよい。
走査型投影装置１は、照射部２、光検出部３、画像生成部４、及び投影部５を備える。本実施形態において、走査型投影装置１は、走査型投影装置１の各部を制御する制御装置６を備え、画像生成部４は、制御装置６に設けられている。
走査型投影装置１の各部は、概略すると以下のように動作する。照射部２は、生物の組織ＢＴに検出光Ｌ１を照射する。光検出部３は、検出光Ｌ１が照射されている組織ＢＴから放射される光を検出する。画像生成部４は、光検出部３の検出結果を使って、組織ＢＴに関する画像のデータを生成する。投影部５は、このデータに基づいて組織ＢＴを可視光Ｌ２で走査する投影光学系７を含み、可視光Ｌ２の走査によって組織ＢＴ上に画像（投影画像）を投影する。また、例えば、画像生成部４は、光検出部３の検出結果を演算処理することによって上記の投影画像を生成する。
次に、走査型投影装置１の各部について説明する。本実施形態において、照射部２は、赤外光を射出する光源１０を備える。光源１０は、例えば赤外ＬＥＤ（赤外発光ダイオード）を含み、検出光Ｌ１として赤外光を射出する。光源１０は、レーザー光源と比較して、波長帯が広い赤外光を射出する。光源１０は、第１波長、第２波長、及び第３波長を含む波長帯の赤外光を射出する。第１波長、第２波長、および第３波長については後述するが、組織ＢＴにおける特定の成分の情報を算出するのに使われる波長である。光源１０は、ＬＥＤ以外の固体光源を含んでいてもよいし、ハロゲンランプなどのランプ光源を含んでいてもよい。
光源１０は、例えば、検出光が照射される領域（検出光の照射領域）が移動しないように固定される。組織ＢＴは、検出光の照射領域に配置される。例えば、光源１０と組織ＢＴとは、相対位置が変化しないように配置される。本実施形態において、光源１０は、光検出部３から独立して支持され、投影部５から独立して支持される。光源１０は、光検出部および投影部５の少なくとも一方と一体的に固定されていてもよい。
光検出部３は、組織ＢＴを経由した光を検出する。組織ＢＴを経由した光は、組織ＢＴで反射した光、組織ＢＴを透過した光、及び組織ＢＴで散乱した光の少なくとも一部を含む。本実施形態において、光検出部３は、組織ＢＴで反射、散乱した赤外光を検出する。
本実施形態において、光検出部３は、第１波長の赤外光と、第２波長の赤外光と、第３波長の赤外光とを分離して検出する。光検出部３は、撮像光学系１１、赤外フィルター１２、及びイメージセンサー１３を備える。
撮像光学系１１は、１または２以上の光学素子（例、レンズ）、を含み、検出光Ｌ１が照射されている組織ＢＴの像を形成可能である。赤外フィルター１２は、撮像光学系１１を通った光のうち所定の波長帯の赤外光を通すとともに、所定の波長帯以外の赤外光を遮断する。イメージセンサー１３は、組織ＢＴから放射された赤外光の少なくとも一部を、撮像光学系１１および赤外フィルター１２を介して検出する。
イメージセンサー１３は、ＣＭＯＳセンサーあるいはＣＣＤセンサーのように、二次元的に配列された複数の受光要素を有する。この受光要素は、画素あるいはサブ画素と呼ばれることがある。イメージセンサー１３は、フォトダイオード、読出回路、Ａ／Ｄ変換器などを備える。フォトダイオードは、受光要素ごとに設けられ、受光要素に入射した赤外光により電荷が発生する光電変換素子である。読出回路は、フォトダイオードに蓄積された電荷を受光要素ごとに読み出し、電荷量を示すアナログ信号を出力する。Ａ／Ｄ変換器は、読出回路によって読み出されたアナログ信号をデジタル信号に変換する。
本実施形態において、赤外フィルター１２は、第１フィルター、第２フィルター、及び第３フィルターを備える。第１フィルター、第２フィルター、及び第３フィルターは、透過する赤外光の波長が互いに異なる。第１フィルターは、第１波長の赤外光を通すとともに第２波長および第３波長の赤外光を遮断する。第２フィルターは、第２波長の赤外光を通すとともに第１波長および第３波長の赤外光を遮断する。第３フィルターは、第３波長の赤外光を通すとともに第１波長および第２波長の赤外光を遮断する。
第１フィルター、第２フィルター、及び第３フィルターは、各受光要素に入射する赤外光が第１フィルターと第２フィルターと第３フィルターとのいずれか１つを通るように、受光要素の配列に応じて配置されている。例えば、第１フィルターを通った第１波長の赤外光は、イメージセンサー１３の第１受光要素に入射する。第２フィルターを通った第２波長の赤外光は、第１受光要素の隣の第２受光要素に入射する。第３フィルターを通った第３波長の赤外光は、第２受光要素の隣の第３受光要素に入射する。このように、イメージセンサー１３は、隣り合う３つの受光要素によって、組織ＢＴ上の一部分から放射された第１波長の赤外光、第２波長の赤外光、及び第３波長の赤外光の光強度を検出する。
本実施形態において、光検出部３は、イメージセンサー１３による検出結果を、画像形式のデジタル信号（以下、撮像画像データという）で出力する。以下の説明において、イメージセンサー１３が撮像した画像を、適宜、撮像画像という。また、撮像画像のデータを撮像画像データという。ここでは、説明の便宜上、撮像画像がフルスペックハイビジョン形式（ＨＤ形式）であるものとするが、撮像画像の画素数、画素配列（アスペクト比）、画素値の階調などについて限定はない。
図２は、画像の画素配列の例を示す概念図である。ＨＤ形式の画像において、水平走査線方向には１９２０個の画素が並び、垂直走査線方向には１０８０個の画素が並ぶ。水平走査線方向に一列に並ぶ複数の画素は、水平走査線と呼ばれることがある。各画素の画素値は、例えば８ビットのデータで表され、十進数では０から２５５の２５６階調で表される。
上述のように、イメージセンサー１３の各受光要素が検出する赤外光の波長は、受光要素の位置によって定まっていることから、撮像画像データの各画素値は、イメージセンサー１３が検出した赤外光の波長と関連付けられる。ここで、撮像画像データ上の画素の位置を（ｉ，ｊ）で表し、（ｉ，ｊ）に配置されている画素をＰ（ｉ，ｊ）で表す。ｉは、水平走査方向の一端の画素を０とし、他端へ向かう順に１、２、３と昇順する画素の番号である。ｊは、垂直走査方向の一端の画素を０とし、他端へ向かう順に１、２、３と昇順する画素の番号である。ＨＤ形式の画像において、ｉは０から１９１９までの正の整数をとり、ｊは０から１０７９までの正の整数をとる。
第１波長の赤外光を検出するイメージセンサー１３の受光要素に対応する第１画素は、例えば、正の整数Ｎに対してｉ＝３Ｎを満たす画素群である。また、第２波長の赤外光を検出する受光要素に対応する第２画素は、例えば、ｉ＝３Ｎ＋１を満たす画素群である。また、第３波長の赤外光を検出する受光要素に対応する第３画素は、ｉ＝３Ｎ＋２を満たす画素群である。
制御装置６は、光検出部３による撮像処理の条件を設定する。制御装置６は、撮像光学系１１に設けられる絞りの開口率を制御する。また、制御装置６は、イメージセンサー１３に対する露光が開始するタイミング、及び露光が終了するタイミングを制御する。このように、制御装置６は、光検出部３を制御して、検出光Ｌ１が照射されている組織ＢＴを撮像させる。また、制御装置６は、光検出部３による撮像結果を示す撮像画像データを、光検出部３から取得する。制御装置６は、記憶部１４を備え、撮像画像データを記憶部１４に記憶させる。記憶部１４は、撮像画像データの他に、画像生成部４が生成したデータ（投影画像データ）、走査型投影装置１の設定を示すデータなど各種情報を記憶する。
画像生成部４は、算出部１５およびデータ生成部１６を備える。算出部１５は、光検出部３が検出した光（例、赤外光や蛍光など）の波長に対する光強度の分布を使って、組織ＢＴの成分に関する情報を算出する。ここで、組織ＢＴの成分に関する情報を算出する方法を説明する。図３は、近赤外波長領域における第１物質の吸光度の分布Ｄ１、及び第２物質の吸光度の分布Ｄ２を示すグラフである。図３において、第１物質は脂質であり、第２物質は水である。図３のグラフの縦軸は吸光度であり、横軸は波長［ｎｍ］である。
第１波長λ１は、任意の波長に設定可能であるが、例えば、近赤外波長領域における第１物質（脂質）の吸光度の分布のうち相対的に吸光度が小さく、かつ、近赤外波長領域における第２物質（水）の吸光度の分布のうち相対的に吸光度が小さい波長に設定される。一例として、本実施形態において、第１波長λ１は約１１５０ｎｍに設定されている。第１波長λ１の赤外光は、脂質に吸収されるエネルギーが少なく、脂質から放射される光強度が強い。また、第１波長λ１の赤外光は、水に吸収されるエネルギーが少なく、水から放射される光強度が強い。
第２波長λ２は、第１波長λ１と異なる任意の波長に設定可能である。第２波長λ２は、例えば、第１物質（脂質）の吸光度が第２物質（水）の吸光度よりも高い波長に設定される。一例として、本実施形態において、第２波長λ２は、約１７２０ｎｍに設定されている。第２波長λ２の赤外光は、物体（例、組織）に照射された際に、この物体に含まれる水に対する脂質の割合が大きいほど、物体に吸収されるエネルギーが多く、この物体から放射される光強度が弱くなる。例えば、組織の第１部分に含まれる脂質の割合が水より大きい場合、第２波長λ２の赤外光は、組織の第１部分に吸収されるエネルギーが多く、この第１部分から放射される光強度が弱くなる。また、例えば、組織の第２部分に含まれる脂質の割合が水より小さい場合、第２波長λ２の赤外光は、組織の第２部分に吸収されるエネルギーが少なく、この第２部分から放射される光強度が第１部分と比べて強くなる。
第３波長λ３は、第１波長λ１と第２波長λ２のいずれとも異なる任意の波長に設定可能である。第３波長λ３は、例えば、第２物質（水）の吸光度が第１物質（脂質）の吸光度よりも高い波長に設定される。一例として、本実施形態において、第３波長λ２は、約１９５０ｎｍに設定されている。第３波長λ３の赤外光は、物体に照射された際に、この物体に含まれる脂質に対する水の割合が大きいほど、物体に吸収されるエネルギーが多く、この物体から放射される光強度が弱くなる。上述の第２波長λ２の場合と反対に、例えば、例えば、組織の第１部分に含まれる脂質の割合が水より大きい場合、第３波長λ３の赤外光は、組織の第１部分に吸収されるエネルギーが少なく、この第１部分から放射される光強度が強くなる。また、例えば、組織の第２部分に含まれる脂質の割合が水より小さい場合、第３波長λ３の赤外光は、組織の第２部分に吸収されるエネルギーが多く、この第２部分から放射される光強度が第１部分と比べて弱くなる。
図１の説明に戻り、算出部１５は、光検出部３から出力された撮像画像データを使って、組織ＢＴの成分に関する情報を算出する。本実施形態において、イメージセンサー１３の各受光要素が検出する赤外光の波長は、各受光要素と赤外フィルター１２（第１から第３フィルター）との位置関係によって定まる。算出部１５は、撮像画素（図２参照）のうち、第１波長の赤外光を検出した受光要素の出力に対応する画素値Ｐ１と、第２波長の赤外光を検出した受光要素の出力に対応する画素値Ｐ２と、第３波長の赤外光を検出した受光要素の出力に対応する画素値Ｐ３とを使って、組織ＢＴに含まれる脂質の分布および水分の分布を算出する。
ここで、図２の画素Ｐ（ｉ，ｊ）は、イメージセンサー１３において第１波長の赤外光を検出する受光要素に対応する画素とする。また、画素Ｐ（ｉ＋１，ｊ）は、第２波長の赤外光を検出する受光要素に対応する画素とする。また、画素Ｐ（ｉ＋２，ｊ）は、イメージセンサー１３において第２波長の赤外光を検出する受光要素に対応する画素とする。
本実施形態において、画素Ｐ（ｉ，ｊ）の画素値は、波長が１１５０ｎｍの赤外光をイメージセンサー１３が検出した結果に相当し、画素Ｐ（ｉ，ｊ）の画素値をＡ１１５０と表す。画素Ｐ（ｉ＋１，ｊ）の画素値は、波長が１７２０ｎｍの赤外光をイメージセンサー１３が検出した結果に相当し、画素Ｐ（ｉ＋１，ｊ）の画素値をＡ１７２０と表す。画素Ｐ（ｉ＋２，ｊ）の画素値は、波長が１９５０ｎｍの赤外光をイメージセンサー１３が検出した結果に相当し、画素Ｐ（ｉ＋２，ｊ）の画素値をＡ１９５０と表す。算出部１５は、これら画素値を使って、下記の式（１）に示す指標Ｑ（ｉ，ｊ）を算出する。
Ｑ（ｉ，ｊ）＝（Ａ１９５０−Ａ１１５０）／（Ａ１７２０−Ａ１１５０）・・・（１）
例えば、式（１）から算出される指標Ｑは、組織ＢＴのうち画素Ｐ（ｉ，ｊ）、画素Ｐ（ｉ＋１，ｊ）、画素Ｐ（ｉ＋２，ｊ）により撮像された部分において、脂質の量と水の量との比率を示す指標である。図３に示したように、波長が１７２０ｎｍの赤外光に対して脂質の吸光度は水の吸光度よりも大きいので、脂質の量が水の量よりも多い部位であるほど、Ａ１７２０の値が小さくなり、式（１）における（Ａ１７２０−Ａ１１５０）の値が小さくなる。また、波長が１９５０ｎｍの赤外光に対して脂質の吸光度は水の吸光度よりも小さいので、脂質の量が水の量よりも多い部位であるほど、式（１）における（Ａ１９５０−Ａ１１５０）の値が大きくなる。つまり、脂質の量が水の量よりも多い部位であるほど、（Ａ１７２０−Ａ１１５０）の値が小さくなり、（Ａ１９５０−Ａ１１５０）の値が大きくなるので、指標Ｑ（ｉ，ｊ）が大きくなる。このように、指標Ｑ（ｉ，ｊ）が大きいことは脂質の量が多いことを示し、指標Ｑ（ｉ，ｊ）が小さいことは水の量が多いことを示す。
このように算出部１５は、画素Ｐ（ｉ，ｊ）における指標Ｑ（ｉ，ｊ）を算出する。また、算出部１５は、ｉ、ｊの値を変化させながら、他の画素における指標を算出し、指標の分布を算出する。例えば、画素Ｐ（ｉ＋３，ｊ）は、画素Ｐ（ｉ，ｊ）と同様に、イメージセンサー１３において第１波長の赤外光を検出する受光要素に対応するので、算出部１５は、画素Ｐ（ｉ，ｊ）の画素値の代わりに画素Ｐ（ｉ＋３，ｊ）の画素値を使って、他の画素における指標を算出する。例えば、算出部１５は、第１波長の赤外光の検出結果に相当する画素Ｐ（ｉ＋３，ｊ）の画素値、第２波長の赤外光の検出結果に相当する画素Ｐ（ｉ＋４，ｊ）の画素値、及び第３波長の赤外光の検出結果に相当する画素Ｐ（ｉ＋５，ｊ）の画素値を使って、指標Ｑ（ｉ＋１，ｊ）を算出する。
このように、算出部１５は、複数の画素に関して、各画素の指標Ｑ（ｉ，ｊ）を算出することにより、指標の分布を算出する。算出部１５は、指標Ｑ（ｉ，ｊ）の算出に必要とされる画素値が撮像画素データに含まれる範囲において、全ての画素に関する指標Ｑ（ｉ，ｊ）を算出してもよい。また、算出部１５は、一部の画素に関する指標Ｑ（ｉ，ｊ）を算出し、算出した指標Ｑ（ｉ，ｊ）を使って補間演算をすることにより指標Ｑ（ｉ，ｊ）の分布を算出してもよい。
ところで、算出部１５が算出した指標Ｑ（ｉ，ｊ）は、一般的に正の整数にならない。そこで、図１のデータ生成部１６は、適宜、数値の丸めを行って、指標Ｑ（ｉ，ｊ）を所定の画像形式のデータに変換する。例えば、データ生成部１６は、算出部１５が算出した結果を使って、組織ＢＴの成分に関する画像のデータを生成する。以下の説明において、組織ＢＴの成分に関する画像を、適宜、成分画像（又は投影画像）という。また、成分画像のデータを成分画像データ（又は投影画像データ）という。
ここでは、説明の便宜上、成分画像は、図２に示したようなＨＤ形式の成分画像であるものとするが、成分画像の画素数、画素配列（アスペクト比）、画素値の階調などについて限定はない。成分画像は、撮像画像と同じ画像形式であってもよいし。撮像画像と異なる画像形式であってもよい。データ生成部１６は、撮像画像と異なる画像形式の成分画像のデータを生成する場合に、適宜、補間処理を行う。
データ生成部１６は、成分画像の画素（ｉ，ｊ）の画素値として、指標Ｑ（ｉ，ｊ）を８ビット（２５６階調）のデジタルデータに変換した値を算出する。例えば、データ生成部１６は、画素値の１階調に相当する指標を変換定数として、指標Ｑ（ｉ，ｊ）を変換定数で除算し、その除算値の小数点以下を四捨五入することによって、指標Ｑ（ｉ，ｊ）を画素（ｉ，ｊ）の画素値に変換する。この場合に、画素値は、指標と概ね線形な関係を満たすように算出される。
ところで、上述のように、撮像画像の３つの画素の画素値を使って１つの画素に関する指標を算出すると、撮像画像の端の画素に関する指標を算出するのに必要な画素が不足する場合がある。その結果、成分画像の端の画素の画素値を算出するのに必要な指標が不足する。このように、成分画像の画素の画素値を算出するのに必要な指標が不足する場合に、データ生成部１６は、補間などにより成分画像の画素の画素値を算出してもよい。また、このような場合に、データ生成部１６は、指標の不足により算出できない成分画像の画素の画素値を、予め定められた値（例えば、０）にしてもよい。
なお、指標Ｑ（ｉ，ｊ）を画素値に変換する方法は、適宜変更できる。例えば、データ生成部１６は、画素値と指標とが非線形な関係になるように、成分画像データを算出してもよい。また、データ生成部１６は、撮像画像の画素（ｉ，ｊ）の画素値、画素（ｉ＋１，ｊ）の画素値、及び画素（ｉ＋２，ｊ）の画素値を使って算出した指標を画素値に換算した値を、画素（ｉ＋１，ｊ）の画素値としてもよい。
また、データ生成部１６は、指標Ｑ（ｉ，ｊ）の値が所定の範囲の下限値未満である場合に、指標Ｑ（ｉ，ｊ）に対する画素値を一定値にしてもよい。この一定値は、画素値の最小階調（例えば、０）であってもよい。また、指標Ｑ（ｉ，ｊ）の値が所定の範囲の上限値を超える場合に指標Ｑ（ｉ，ｊ）に対する画素値を一定値にしてもよい。この一定値は、画素値の最大階調（例えば、２５５）であってもよいし、画素値の最小階調（例えば、０）であってもよい。
ところで、式（１）により算出される指標Ｑ（ｉ，ｊ）は、脂質の量が多い部位であるほど大きくなることから、画素（ｉ，ｊ）の画素値は、脂質の量が多い部位であるほど大きくなる。例えば、画素値が大きいことは、一般的に画素が明るく表示されることに対応することから、脂質の量が多い部位であるほど明るく強調されて表示されることになる。なお、水の量が多い部位を明るく表示したいというオペレータの要望もありえる。
そこで、本実施形態において、走査型投影装置１は、第１物質の量に関する情報を明るく強調して表示する第１モードと、第２物質の量に関する情報を明るく強調して表示する第２モードとを有する。走査型投影装置１が第１モードと第２モードのいずれのモードに設定されているか示す設定情報は、記憶部１４に記憶されている。
モードが第１モードに設定されている場合に、データ生成部１６は、指標Ｑ（ｉ，ｊ）を画素（ｉ，ｊ）の画素値に変換した第１の成分画像データを生成する。また、指標Ｑ（ｉ，ｊ）の逆数を画素（ｉ，ｊ）の画素値に変換した第２の成分画像データを生成する。組織において水の量が多いほど、指標Ｑ（ｉ，ｊ）の値が小さくなり、指標Ｑ（ｉ，ｊ）の逆数の値が大きくなる。そのため、第２の成分画像データにおいて、水の量が多い部位に対応する画素の画素値（階調）が高くなる。
なお、モードが第２モードに設定されている場合に、データ生成部１６は、指標Ｑ（ｉ，ｊ）から換算された画素値を所定の階調から差し引いた差分値を、画素（ｉ，ｊ）の画素値として算出してもよい。例えば、指標Ｑ（ｉ，ｊ）から換算された画素値が５０である場合に、データ生成部１６は、画素値の最大階調（例えば、２５５）から５０を差し引いた２０５を、画素（ｉ，ｊ）の画素値として算出してもよい。
図１の画像生成部４は、生成した成分画像データを記憶部１４に記憶させる。制御装置６は、画像生成部４が生成した成分画像データを投影部５に供給し、組織ＢＴの特定部分（例、上記の第１部分や第２部分など）を強調させるために投影部５に成分画像を組織ＢＴ上に投影させる。また、制御装置６は、投影部５が成分画像を投影するタイミングを制御する。また、制御装置６は、投影部５が投影する成分画像の明るさを制御する。制御装置６は、投影部５に画像の投影を停止させることができる。制御装置６は、組織ＢＴの特定部分を強調させるために、成分画像が組織ＢＴ上で点滅して表示されるように、成分画像の投影の開始と停止とを制御できる。
投影部５は、組織ＢＴ上に光を走査させる走査投影式であって、光源２０、投影光学系７、及び投影部コントローラ２１を備える。光源２０は、検出光とは異なる所定波長の可視光を射出する。光源２０は、レーザーダイオードを含み、可視光としてレーザー光を射出する。光源２０は、外部から供給される電流に応じた光強度のレーザー光を射出する。
投影光学系７は、光源２０から射出されたレーザー光を組織ＢＴ上に導くとともに、このレーザー光で組織ＢＴを走査する。投影光学系７は、走査部２２および波長選択ミラー２３を備える。走査部２２は、光源２０から射出されたレーザー光を２方向において偏向可能である。例えば、走査部２２は、反射系の光学系である。走査部２２は、第１走査ミラー２４、第１走査ミラー２４を駆動する第１駆動部２５、第２走査ミラー２６、及び第２走査ミラー２６を駆動する第２駆動部２７を備える。また、例えば、第１走査ミラー２４及び第２走査ミラー２６のそれぞれは、ガルバノミラー、ＭＥＭＳミラー、又はポリゴンミラー等である。
第１走査ミラー２４および第１駆動部２５は、光源２０から射出されたレーザー光を水平走査方向において偏向させる水平走査部である。第１走査ミラー２４は、光源２０から射出されたレーザー光が入射する位置に配置されている。第１駆動部２５は、投影部コントローラ２１に制御されて、投影部コントローラ２１から受信する駆動信号に基づいて第１走査ミラー２４を回動する。光源２０から射出されたレーザー光は、第１走査ミラー２４で反射し、第１走査ミラー２４の角度位置に応じた方向に偏向する。また、第１走査ミラー２４は、光源２０から射出されるレーザー光の光路に配置される。
第２走査ミラー２６および第２駆動部２７は、光源２０から射出されたレーザー光を垂直走査方向において偏向させる垂直走査部である。第２走査ミラー２６は、第１走査ミラー２４で反射したレーザー光が入射する位置に配置されている。第２駆動部２７は、投影部コントローラ２１に制御されて、投影部コントローラ２１から受信する駆動信号に基づいて第２走査ミラー２６を回動する。第１走査ミラー２４で反射したレーザー光は、第２走査ミラー２６で反射し、第２走査ミラー２６の角度位置に応じた方向に偏向する。また、第２走査ミラー２６は、光源２０から射出されるレーザー光の光路に配置される。
水平走査部および垂直走査部のそれぞれは、例えばガルバノスキャナー等である。垂直走査部は、水平走査部と同様の構成であってもよいし、異なる構成であってもよい。一般的に、水平方向走査は、垂直方向の走査よりも高周波数で行われることが多い。そのため、垂直走査方向の走査にガルバノミラーを用いるとともに、水平走査方向の走査に、ガルバノミラーよりも高周波数で動作するＭＥＭＳミラーあるいはポリゴンミラーを用いてもよい。
波長選択ミラー２３は、走査部２２によって偏向されたレーザー光を、組織ＢＴ上に導く光学部材である。第２走査ミラー２６で反射したレーザー光は、波長選択ミラー２３で反射し、組織ＢＴに照射される。本実施形態において、波長選択ミラー２３は、組織ＢＴと光検出部３との間の光路に配置されている。波長選択ミラー２３は、例えば、ダイクロイックミラーあるいはダイクロイックプリズムである。波長選択ミラー２３は、照射部２の光源１０から射出される検出光が透過し、かつ投影部５の光源２０から射出される可視光が反射する特性を有する。波長選択ミラー２３は、赤外領域の光が透過し、かつ可視領域の光が反射する特性を有する。
本明細書において、投影光学系７の光軸７ａは、投影光学系７がレーザー光を走査する走査範囲ＳＡの中心を通るレーザー光と同軸の軸（同一の光軸）であるとする。一例として、投影光学系７の光軸７ａは、第１走査ミラー２４および第１駆動部２５による水平走査方向の中心を通り、かつ第２走査ミラー２６および第２駆動部２７による垂直走査方向の中心を通るレーザー光と同軸である。投影光学系７の光射出側の光軸７ａは、投影光学系７のうち最もレーザー光の照射対象物に近い側に配置される光学部材と、照射対象物との間の光路において、走査範囲ＳＡの中心を通るレーザー光と同軸である。本実施形態において、投影光学系７の光射出側の光軸７ａは、波長選択ミラー２３と組織ＢＴとの間の光路において、走査範囲ＳＡの中心を通るレーザー光と同軸である。
本実施形態において、撮像光学系１１の光軸７ａは、撮像光学系１１に含まれるレンズの回転中心軸と同軸である。撮像光学系１１の光軸１１ａと投影光学系７の光出射側の光軸７ａとは同軸に設定されている。したがって、本実施形態における走査型投影装置１を用いて組織ＢＴに対する撮影位置がユーザによって変えられた場合であっても、組織ＢＴ上に投影する上記成分画像をずらすことなく投影できる。本実施形態において、光検出部３および投影部５は、それぞれ、筐体３０に収容されている。光検出部３および投影部５は、それぞれ、筐体３０に固定されている。そのため、光検出部３と投影部５との位置ずれが抑制され、撮像光学系１１の光軸７ａと投影光学系７の光軸との位置ずれが抑制される。
投影部コントローラ２１は、画素値に応じて光源２０に供給する電流を制御する。例えば、投影部コントローラ２１は、成分画像のうち画素（ｉ，ｊ）を表示する際に、画素（ｉ，ｊ）の画素値に応じた電流を光源２０に供給する。一例として、投影部コントローラ２１は、光源２０に供給される電流を、画素値に応じて振幅変調する。また、投影部コントローラ２１は、第１駆動部２５を制御することにより、走査部２２によるレーザー光の走査範囲の水平走査方向において、各時刻にレーザー光が入射する位置を制御する。また、投影部コントローラ２１は、第２駆動部２７を制御することにより、走査部２２によるレーザー光の走査範囲の垂直走査方向において、各時刻にレーザー光が入射する位置を制御する。一例として、投影部コントローラ２１は、光源２０から射出されるレーザー光の光強度を画素（ｉ，ｊ）の画素値に応じて制御するとともに、レーザー光が走査範囲上で画素（ｉ，ｊ）に相当する位置に入射するように第１駆動部２５および第２駆動部２７を制御する。
本実施形態において、制御装置６には、表示装置３１および入力装置３２が設けられている。表示装置３１は、例えば、液晶ディスプレイなどのフラットパネルディスプレイである。制御装置６は、撮像画像や走査型投影装置１の動作の設定などを、表示装置３１に表示させることができる。また、制御装置６は、光検出部３が撮像した撮像画像、あるいは撮像画像を画像処理した画像を表示装置３１に表示可能である。また、制御装置６は、画像生成部４が生成した成分画像、あるいは成分画像を画像処理した画像を表示装置３１に表示可能である。また、制御装置６は、成分画像を撮像画像とともに合成処理した合成画像を、表示装置３１に表示可能である。
撮像画像と成分画像の少なくとも一方を表示装置３１に表示させる場合に、そのタイミングは、投影部５によって成分画像を投影するタイミングと同じであってもよいし、異なるタイミングであってもよい。例えば、制御装置６は、記憶部１４に成分画像データを記憶させ、表示装置３１に表示させる旨の入力信号を入力装置３２が受信した場合に、記憶部１４に記憶されている成分画像データを表示装置３１に供給してもよい。
また、制御装置６は、可視光の波長帯に感度を有する撮像装置で組織ＢＴを撮像した画像を表示装置３１に表示させてもよいし、このような画像とともに、成分画像と撮像画像の少なくとも一方を表示装置３１に表示させてもよい。
入力装置３２は、例えば、切替スイッチ、マウス、キーボート、タッチパネルなどである。入力装置３２には、走査型投影装置１の動作を設定する設定情報を入力可能である。制御装置６は、入力装置３２が操作されたことを検出可能である。制御装置６は、入力装置３２を介して入力された情報に応じて、走査型投影装置１の設定を変更すること、走査型投影装置１の各部に処理を実行させること等ができる。
例えば、脂質の量に関する情報を投影部５により明るく表示する第１モードを指定する入力がユーザによって入力装置３２になされた場合に、制御装置６は、データ生成部１６を制御して、第１モードに応じた成分画像データを生成させる。また、水の量に関する情報を投影部５により明るく表示する第２モードを指定する入力がユーザによって入力装置３２になされた場合に、制御装置６は、データ生成部１６を制御して、第２モードに応じた成分画像データを生成させる。このように、走査型投影装置１は、投影部５によって投影される成分画像を強調して表示するモードとして、第１モードと第２モードとを切替可能である。
また、制御装置６は、入力装置３２を介した入力信号に従って投影部コントローラ２１を制御し、投影部５による成分画像の表示を開始、中止、あるいは再開させることができる。また、制御装置６は、入力装置３２を介した入力信号に従って投影部コントローラ２１を制御し、投影部５により表示される成分画像の色と明るさとの少なくとも一方を調整可能である。例えば、組織ＢＴは血液などに由来して赤みが強い色彩である場合があり、このような場合に成分画像を組織ＢＴと補色の関係になる色（例えば緑色）で表示すると、組織ＢＴと成分画像とを視覚的に識別しやすい。
次に、上述の走査型投影装置１に基づいて、本実施形態に係る走査型の投影方法について説明する。図４は、本実施形態に係る投影方法を示すフローチャートである。
ステップＳ１において、照射部２は、生物の組織ＢＴに検出光（例、赤外光）を照射する。ステップＳ２において、光検出部３は、検出光が照射されている組織ＢＴから放射される光（例、赤外光）を検出する。ステップＳ３において、画像生成部４の算出部１５は、組織ＢＴの脂質の量および水の量に関する成分情報を算出する。ステップＳ４において、データ生成部１６は、算出部１５による算出結果を使って、組織ＢＴに関する画像（成分画像）のデータ（成分画像データ）を生成する。このように、画像生成部４は、ステップＳ３およびステップＳ４において、光検出部３の検出結果を使って、組織ＢＴに関する画像のデータを生成する。ステップＳ５において、投影部５は、制御装置６から供給される成分画像データに基づいて組織ＢＴを可視光で走査し、可視光の走査によって組織ＢＴ上に成分画像を投影する。例えば、本実施形態における走査型投影装置１は、成分画像データに基づいて２つの走査ミラー（例、第１走査ミラー２４及び第２走査ミラー２６）を用いて可視光を２次元（２方向）に順次走査することによって、組織ＢＴ上に成分画像を投影することができる。
本実施形態に係る走査型投影装置１は、走査部２２を用いてレーザー光で組織ＢＴ上を走査することによって、組織ＢＴに関する情報を示す画像（例えば成分画像）を組織ＢＴ上に直接的に表示（描画）する。レーザー光は、一般的に平行度が高く、光路長の変化に対してスポットサイズの変化が小さい。そのため、走査型投影装置１は、組織ＢＴの凹凸に関わらずボケの少ない鮮明な画像を組織ＢＴ上に投影できる。また、走査型投影装置１は、投影レンズによって画像を投影する構成と比較して小型化や軽量化が可能であり、例えば携帯型の装置にすることによって、ユーザの操作性を向上することもできる。
また、走査型投影装置１は、撮像光学系１１の光軸７ａと投影光学系７の光軸７ａとが同軸とに設定されている。そのため、走査型投影装置１は、組織ＢＴと光検出部３との相対位置が変化した場合であっても、組織ＢＴのうち光検出部３が撮像した部分と、投影部５によって画像が投影される部分との位置ずれが低減される。例えば、走査型投影装置１は、投影部５が投影する画像と組織ＢＴとに視差が生じることが低減される。
また、走査型投影装置１は、組織ＢＴに関する情報を示す画像として、組織ＢＴの特定部位が強調された成分画像を投影する。このような成分画像は、例えば組織ＢＴに腫瘍などの患部があるか否かの判断などに利用できる。例えば、組織ＢＴに腫瘍がある場合に、腫瘍の部分に含まれる脂質または水の比率は、腫瘍がない組織と異なる。更に、その比率は腫瘍の種類によって異なる場合もある。そのため、オペレータは、組織ＢＴ上の成分画像を見ながら、腫瘍の疑いがある部分に切開、切除、薬物投与などの処置を施すことができる。また、走査型投影装置１は、成分画像の色と明るさを変えることができるので、成分画像を組織ＢＴと視覚的に識別することが容易なように表示できる。本実施形態のように、投影部５がレーザー光を直接的に組織ＢＴに照射する場合、組織ＢＴ上に投影される成分画像に視認しやすいスペックルと呼ばれるちらつきが生じるため、ユーザはこのスペックルによって成分画像を組織ＢＴと容易に識別することができる。
また、走査型投影装置１は、成分画像の１フレームを投影する期間を可変であってもよい。例えば、投影部５は、６０フレーム毎秒で画像を投影可能であって、画像生成部４は、成分画像と次の成分画像との間に、全画素が暗表示の全黒画像を含むように、画像のデータを生成してもよい。この場合に、成分画像は、ちらついて視認されやすく、組織ＢＴと識別しやすい。
本実施形態において、制御装置６は、ＡＳＩＣなどの演算回路を含み、演算回路により画像演算などの各種処理を実行する。制御装置６が実行する処理の少なくとも一部は、ＣＰＵおよびメモリを含むコンピュータがプログラムに従って処理を実行する態様であってもよい。このプログラムは、例えば、コンピュータに、生物の組織ＢＴに検出光を照射することと、検出光が照射されている組織から放射される光を光検出部３によって検出することと、光検出部３の検出結果を使って、組織ＢＴに関する画像のデータを生成することと、このデータに基づいて組織ＢＴを可視光で走査し、可視光の走査によって組織ＢＴ上に画像を投影することと、を実行させるプログラムである。このプログラムは、光ディスクやＣＤ−ＲＯＭ、ＵＳＢメモリ、ＳＤカード等の、コンピュータで読み取り可能な記憶媒体に格納されて提供されてもよい。
なお、上述の実施形態において、走査型投影装置１は、組織ＢＴから放射される赤外光の波長に対する光強度の分布を使って組織ＢＴの成分画像を生成するが、他の方法によって成分画像を生成してもよい。例えば、走査型投影装置１は、組織ＢＴから放射される可視光を光検出部３で検出し、光検出部３による検出結果を使って組織ＢＴの成分画像を生成してもよい。
例えば、図１に示した走査型投影装置１は、蛍光物質が付与された組織ＢＴの蛍光像を検出し、その検出結果に基づいて組織ＢＴの成分画像を生成してもよい。この場合に、組織ＢＴを撮像する処理に先立ち、組織ＢＴ（患部）にＩＣＧ（インドシニアングリーン）などの蛍光物質を付与しておく。そして、例えば、照射部２は、組織ＢＴに付与されている蛍光物質を励起する波長の検出光（励起光）を射出する光源を含み、この光源から射出された検出光を組織ＢＴに照射する。励起光の波長は、蛍光物質の種類に応じて設定され、赤外光の波長を含んでいてもよいし、可視光の波長を含んでいていてもよく、紫外光の波長を含んでいてもよい。
光検出部３は、蛍光物質から放射される蛍光に感度を有する光検出器を含み、検出光が照射されている組織ＢＴの像（蛍光像）を撮像する。なお、組織ＢＴから放射される光から蛍光を抽出するには、例えば、波長選択ミラー２３として、蛍光が透過し、蛍光以外の光の少なくとも一部が反射する特性を有する光学部材を用いてもよい。また、このような特性を有するフィルターは、波長選択ミラー２３と光検出器との間の光路に配置されていてもよい。このフィルターは、波長選択ミラー２３と光検出器との間の光路に挿脱可能であってもよく、蛍光物質の種類すなわち励起光の波長に応じて交換可能であってもよい。
また、組織ＢＴから放射される光から蛍光を抽出するには、励起光が照射されていない状態の組織ＢＴを撮像した第１撮像画像と、励起光が照射されている状態の組織ＢＴを撮像した第２撮像画像との差分を求めてもよい。例えば、図１の制御装置６は、照射部２による励起光の射出を停止させるとともに、光検出部３に組織ＢＴを撮像させて、第１撮像画像のデータを光検出部３から取得する。また、制御装置６は、照射部２に励起光を射出させるとともに光検出部３に組織ＢＴを撮像させて、第２撮像画像のデータを取得する。画像生成部４は、第１撮像画像のデータと第２撮像画像のデータとで差分を求めることにより、蛍光像を抽出できる。
画像生成部４は、成分画像データとして、抽出した蛍光像を示す画像のデータを生成する。投影部５は、このような成分画像データに基づいて成分画像を組織ＢＴ上に投影する。これにより、組織ＢＴの成分のうち蛍光物質と結びつく物質の量、分布を示す成分画像が組織ＢＴ上に表示される。このように、走査型投影装置１は、脂質および水以外の物質に関する成分画像を生成することもできる。
なお、走査型投影装置１は、組織ＢＴから放射される赤外光の波長に対する光強度の分布に基づいて成分画像を生成するモードと、組織ＢＴの蛍光像に基づいて成分画像を生成するモードとを切替可能であってもよい。また、走査型投影装置１は、組織ＢＴから放射される赤外光の波長に対する光強度の分布に基づく成分画像と、組織ＢＴの蛍光像に基づいて成分画像とを投影してもよい。
なお、走査型投影装置１は、成分画像を生成しなくてもよい。例えば、走査型投影装置１は、予め生成された成分画像を取得し、組織ＢＴを光検出部３により撮像した撮像画像を使って、組織ＢＴと成分画像との位置合わせを行って、組織ＢＴ上に成分画像を投影してもよい。
また、走査型投影装置１は、成分画像を投影しなくてもよい。例えば、組織ＢＴに関する画像は、組織ＢＴの成分に関する画像でなくてもよく、組織ＢＴの一部の位置に関する画像などであってもよい。例えば、走査型投影装置１は、組織ＢＴを光検出部３により撮像した撮像画像を使って、組織ＢＴのうち予め設定されている部位の範囲（位置）を示す画像を生成し、この画像を組織ＢＴ上に投影してもよい。予め設定されている部位は、例えば組織ＢＴのうち手術や検査などの処置が予定されている部位である。この部位の情報は、入力装置３２の操作により記憶部１４に記憶されていてもよい。また、走査型投影装置１は、組織ＢＴのうち光検出部３が検出する領域と異なる領域に、画像を投影してもよい。例えば、走査型投影装置１は、組織ＢＴのうち処置が予定されている部位の近傍に、この部位の視認を妨げないように画像を投影してもよい。
なお、本実施形態において、照射部２は、第１波長、第２波長の赤外光、及び第３波長を含む波長帯の赤外光を射出するが、このような構成に限定されない。以下、照射部２の変形例について説明する。
図５は、照射部２の変形例を示す図である。図５の照射部２は、光源１０ａ、光源１０ｂ、及び光源１０ｃを含む複数の光源を備える。光源１０ａ、光源１０ｂ、及び光源１０ｃは、いずれも赤外光を射出するＬＥＤを含み、射出する赤外光の波長が互いに異なる。光源１０ａは、第１波長を含み、第２波長および第３波長を含まない波長帯の赤外光を射出する。光源１０ｂは、第２波長を含み、第１波長および第３波長を含まない波長帯の赤外光を射出する。光源１０ｃは、第３波長を含み、第１波長および第２波長を含まない波長帯の赤外光を射出する。
制御装置６は、光源１０ａと光源１０ｂと光源１０ｃとのそれぞれの点灯および消灯を制御できる。例えば、制御装置６は、照射部２を、光源１０ａが点灯し、かつ光源１０ｂおよび光源１０ｃが消灯している第１状態に設定する。第１状態において、組織ＢＴには、照射部２から射出された第１波長の赤外光が照射される。制御装置６は、照射部２を第１状態に設定しつつ、光検出部３によって組織ＢＴを撮像させ、第１波長の赤外光が照射されている組織ＢＴを撮像した画像のデータ（撮像画像データ）を光検出部３から取得する。
制御装置６は、照射部２を、光源１０ｂが点灯し、かつ光源１０ａおよび光源１０ｃが消灯している第２状態に設定する。制御装置６は、照射部２を第２状態に設定しつつ、光検出部３によって組織ＢＴを撮像させ、第２波長の赤外光が照射されている組織ＢＴの撮像画像データを光検出部３から取得する。また、制御装置６は、照射部２を、光源１０ｃが点灯し、かつ光源１０ａおよび光源１０ｂが消灯している第３状態に設定する。制御装置６は、照射部２を第３状態に設定しつつ、光検出部３によって組織ＢＴを撮像させ、第３波長の赤外光が照射されている組織ＢＴの撮像画像データを光検出部３から取得する。
走査型投影装置１は、図５に示した照射部２を適用した構成においても、組織ＢＴに関する情報を示す画像（例、成分画像）を組織ＢＴ上に投影できる。このような走査型投影装置１は、組織ＢＴを波長帯ごとにイメージセンサー１３（図１参照）により撮像するので、解像度を確保することが容易である。
なお、本実施形態において、光検出部３は、第１波長の赤外光、第２波長の赤外光、及び第３波長の赤外光を、同じイメージセンサー１３で一括して検出するが、このような構成に限定されない。以下、光検出部３の変形例について説明する。
図６は、光検出部３の変形例を示す図である。図６の光検出部３は、撮像光学系１１、波長分離部３３、イメージセンサー１３ａ、イメージセンサー１３ｂ、及びイメージセンサー１３ｃからなる複数のイメージセンサーを備える。
波長分離部３３は、組織ＢＴから放射された光を波長の違いにより分光する。図６の波長分離部３３は、例えばダイクロイックプリズムである。波長分離部３３は、第１波長分離膜３３ａおよび第２波長分離膜３３ｂを有する。第１波長分離膜３３ａは、第１波長の赤外光ＩＲａが反射し、第２波長の赤外光ＩＲｂおよび第３波長の赤外光ＩＲｃが透過する特性を有する。第２波長分離膜３３ｂは、第１波長分離膜３３ａと交差するように設けられている。第２波長分離膜３３ｂは、第３波長の赤外光ＩＲｃが反射し、第１波長の赤外光ＩＲａおよび第２波長の赤外光ＩＲｂが透過する特性を有する。
組織ＢＴから放射された赤外光ＩＲのうち第１波長の赤外光ＩＲａは、第１波長分離膜３３ａで反射して偏向され、イメージセンサー１３ａに入射する。イメージセンサー１３ａは、第１波長の赤外光ＩＲａを検出することにより、組織ＢＴの第１波長の像を撮像する。イメージセンサー１３ａは、撮像した画像のデータ（撮像画像データ）を制御装置６に供給する。
組織ＢＴから放射された赤外光ＩＲのうち第２波長の赤外光ＩＲｂは、第１波長分離膜３３ａおよび第２波長分離膜３３ｂを透過して、イメージセンサー１３ｂに入射する。イメージセンサー１３ｂは、第２波長の赤外光ＩＲｂを検出することにより、組織ＢＴの第２波長の像を撮像する。イメージセンサー１３ｂは、撮像した画像のデータ（撮像画像データ）を制御装置６に供給する。
組織ＢＴから放射された赤外光ＩＲのうち第３波長の赤外光ＩＲｃは、第２波長分離膜３３ｂで反射し、第１波長の赤外光ＩＲａと反対側へ偏向され、イメージセンサー１３ｃに入射する。イメージセンサー１３ｃは、第３波長の赤外光ＩＲｃを検出することにより、組織ＢＴの第３波長の像を撮像する。イメージセンサー１３ａは、撮像した画像のデータ（撮像画像データ）を制御装置６に供給する。
また、イメージセンサー１３ａ、イメージセンサー１３ｂ、及びイメージセンサー１３ｃは、互いに光学的に共役な位置に配置されている。イメージセンサー１３ａ、イメージセンサー１３ｂ、及びイメージセンサー１３ｃは、撮像光学系１１からの光学的距離がほぼ同じになるように配置されている。
走査型投影装置１は、図６に示した光検出部３を適用した構成においても、組織ＢＴに関する情報を示す画像を組織ＢＴ上に投影できる。このような光検出部３は、波長分離部３３によって分離した赤外光を、イメージセンサー１３ａとイメージセンサー１３ｂとイメージセンサー１３ｃとに分けて検出するので、解像度を確保することが容易である。
なお、光検出部３は、ダイクロイックプリズムの代わりに、第１波長分離膜３３ａと同様の特性を有するダイクロイックミラー、及び第２波長分離膜３３ｂと同様の特性を有するダイクロイックミラーを用いて赤外光を波長の違いにより分離する構成でもよい。この場合に、第１波長の赤外光、第２波長の赤外光、及び第３波長の赤外光のいずれか１つ赤外光の光路長が他の赤外光の光路長と異なる場合には、リレーレンズなどにより光路長を揃えてもよい。
なお、本実施形態の投影部５は、単色の画像を投影するが、複数色の画像を投影してもよい。図７は、投影部５の変形例を示す図である。図７の投影部５は、射出するレーザー光の波長が互いに異なるレーザー光源２０ａ、レーザー光源２０ｂ、及びレーザー光源２０ｃを備える。
レーザー光源２０ａは、赤の波長帯のレーザー光を射出する。赤の波長帯は、７００ｎｍを含み、例えば６１０ｎｍ以上７８０ｎｍ以下である。レーザー光源２０ｂは、緑の波長帯のレーザー光を射出する。緑の波長帯は、５４６．１ｎｍを含み、例えば５００ｎｍ以上５７０ｎｍ以下である。レーザー光源２０ｃは、青の波長帯のレーザー光を射出する。青の波長帯は、４３５．８ｎｍを含み、例えば４３０ｎｍ以上４６０ｎｍ以下である。
本例において、画像生成部４は、投影部５によって投影する画像として成分の量や割合に基づくカラー画像を形成可能である。例えば、画像生成部４は、脂質の量が多いほど緑の階調値が高くなるように緑の画像データを生成する。また、画像生成部４は、水の量が多いほど青の階調値が高くなるように青の画像データを生成する。制御装置６は、画像生成部４が生成した緑の画像データおよび青の画像データを含む成分画像データを、投影部コントローラ２１に供給する。
投影部コントローラ２１は、制御装置６から供給された成分画像データのうち緑の画像データを使って、レーザー光源２０ｂを駆動する。例えば、投影部コントローラ２１は、緑の画像データに規定された画素値が高いほど、レーザー光源２０ｂから射出される緑のレーザー光の光強度が強くなるように、レーザー光源２０ｂに供給される電流を大きくする。同様に、投影部コントローラ２１は、制御装置６から供給された成分画像データのうち青の画像データを使って、レーザー光源２０ｃを駆動する。
このような投影部５を適用した走査型投影装置１は、脂質の量が多い部分を緑色で明るく強調して表示できるとともに、水の量が多い部分を青で明るく強調して表示できる。なお、走査型投影装置１は、脂質の量および水の量がいずれも多い部分を赤で明るく表示してもよく、脂質と水のいずれとも異なる第３物質の量を赤で表示してもよい。
なお、図１等において、光検出部３は波長選択ミラー２３を通った光を検出し、投影部５は波長選択ミラー２３で反射した光により成分画像を投影するが、このような構成に限定されない。例えば、光検出部３は波長選択ミラー２３で反射した光を検出し、投影部５は波長選択ミラー２３を通った光により成分画像を投影してもよい。波長選択ミラー２３は、撮像光学系１１の一部であってもよいし、投影光学系７の一部であってもよい。また、投影光学系７の光軸は、撮像光学系１１の光軸と同軸でなくてもよい。
［第２実施形態］
次に、第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を簡略化あるいは省略する。
図８は、本実施形態に係る走査型投影装置１を示す図である。本実施形態において、投影部コントローラ２１は、インターフェース４０、画像処理回路４１、変調回路４２、及びタイミング生成回路４３を備える。インターフェース４０は、制御装置６から画像データを受け取る。この画像データには、各画素の画素値を示す階調データ、及びリフレッシュレート等を規定した同期データが含まれている。インターフェース４０は、画像データから階調データを抽出し、階調データを画像処理回路４１に供給する。また、インターフェース４０は、画像データから同期データを抽出し、同期データをタイミング生成回路４３に供給する。
タイミング生成回路４３は、光源２０および走査部２２の動作タイミングを示すタイミング信号を生成する。タイミング生成回路４３は、画像の解像度、リフレッシュレート（フレームレート）、走査方式等に応じて、タイミング信号を生成する。ここでは、画像がフルＨＤ形式であるとし、説明の便宜上、光の走査において、１本の水平走査線の描画が終了してから次の水平走査線の描画が開始するまでの時間（帰線時間）がないものとする。
フルＨＤ形式の画像は、１９２０個の画素が並ぶ水平走査線を有し、水平走査線が垂直走査方向に１０８０本並ぶ形式である。画像を３０Ｈｚのリフレッシュレートで表示する場合に、垂直走査方向の走査の周期は、３３ミリ秒（１／３０秒）程度になる。例えば、垂直走査方向に走査する第２走査ミラー２６は、回動範囲の一端から他端まで約３３ミリ秒で回動することにより、１フレームの画像の垂直走査方向の走査を行う。タイミング生成回路４３は、垂直走査信号ＶＳＳとして、第２走査ミラー２６が各フレームの最初の水平走査線の描画を開始する時刻を規定する信号を生成する。垂直走査信号ＶＳＳは、例えば、約３３ミリ秒の周期で立ち上がる波形である。
また、水平走査線あたりの描画時間（点灯時間）は、約３１マイクロ秒（１／３０／１０８０秒）程度になる。例えば、第１走査ミラー２４は、回動範囲の一端から他端までを約３１マイクロ秒で回動することにより、水平走査線の１本分に相当する走査を行う。タイミング生成回路４３は、水平走査信号ＨＳＳとして、第１走査ミラー２４が各水平走査線の走査を開始する時刻を規定する信号を生成する。水平走査信号ＨＳＳは、例えば、約３１マイクロ秒の周期で立ち上がる波形である。
また、画素あたりの点灯時間は、約１６ナノ秒（１／３０／１０８０／１９２０秒）程度になる。例えば、光源２０は、射出するレーザー光の光強度が画素値に応じて約１６ナノ秒の周期で切り替わることにより、各画素を表示する。タイミング生成回路４３は、光源２０が点灯するタイミングを規定する点灯信号を生成する。点灯信号は、例えば、約１６ナノ秒の周期で立ち上がる波形である。
タイミング生成回路４３は、生成した水平走査信号ＨＳＳを第１駆動部２５に供給する。第１駆動部２５は、水平走査信号ＨＳＳに従って第１走査ミラー２４を駆動する。タイミング生成回路４３は、生成した垂直走査信号ＶＳＳを第２駆動部２７に供給する。第２駆動部２７は、垂直走査信号ＶＳＳに従って第２走査ミラー２６を駆動する。
また、タイミング生成回路４３は、生成した水平走査信号ＨＳＳ、垂直走査信号ＶＳＳ、及び点灯信号を画像処理回路４１に供給する。画像処理回路４１は、画像データの階調データにガンマ処理等の各種画像処理を行う。また、画像処理回路４１は、階調データが走査部２２の走査方式に整合した時間順次で変調回路４２に出力されるように、タイミング生成回路４３から供給されたタイミング信号に基づいて、階調データを調整する。画像処理回路４１は、例えば、階調データをフレームバッファに記憶させておき、この階調データに含まれる画素値を表示される画素の順に読み出して、変調回路４２に出力する。
変調回路４２は、光源２０から射出されるレーザー光の強度が画素ごとの階調に対応して時間変化するように、光源２０の出力を調整する。本実施形態において、変調回路４２は、画素値に応じて振幅が変化する波形信号を生成し、この波形信号により光源２０を駆動する。これにより、光源２０に供給される電流が画素値に応じて時間変化し、光源２０から射出されるレーザー光の光強度が画素値に応じて時間変化する。このように、タイミング生成回路４３が生成したタイミング信号は、光源２０と走査部２２との同期をとるのに使われる。
本実施形態において、照射部２は、照射部コントローラ５０、光源５１、及び投影光学系７を備える。照射部コントローラ５０は、光源５１の点灯および消灯を制御する。光源５１は、検出光としてレーザー光を射出する。照射部２は、光源５１から射出されたレーザー光を投影光学系７によって所定の２方向（例、第１方向および第２方向）に偏向し、レーザー光で組織ＢＴを走査する。
光源５１は、レーザー光源５１ａ、レーザー光源５１ｂ、及びレーザー光源５１ｃを含む複数のレーザー光源を備える。レーザー光源５１ａ、レーザー光源５１ｂ、及びレーザー光源５１ｃは、いずれも赤外光を射出するレーザー素子を含み、射出する赤外光の波長が互いに異なる。レーザー光源５１ａは、第１波長を含み、第２波長および第３波長を含まない波長帯の赤外光を射出する。レーザー光源５１ｂは、第２波長を含み、第１波長および第３波長を含まない波長帯の赤外光を射出する。レーザー光源５１ｃは、第３波長を含み、第１波長および第２波長を含まない波長帯の赤外光を射出する。
照射部コントローラ５０は、レーザー光源５１ａ、レーザー光源５１ｂ、及びレーザー光源５１ｃのそれぞれにレーザー素子の駆動用の電流を供給する。照射部コントローラ５０は、レーザー光源５１ａに電流を供給してレーザー光源５１ａを点灯させ、レーザー光源５１ａへの電流の供給を停止してレーザー光源５１ａを消灯させる。照射部コントローラ５０は、制御装置６に制御されて、レーザー光源５１ａへの電流の供給を開始または停止する。例えば、制御装置６は、レーザー光源５１ａを点灯あるいは消灯するタイミングを、照射部コントローラ５０を介して制御する。同様に、照射部コントローラ５０は、レーザー光源５１ｂ及びレーザー光源５１ｃのそれぞれを点灯あるいは消灯する。制御装置６は、レーザー光源５１ｂ及びレーザー光源５１ｃのそれぞれについて、点灯あるいは消灯するタイミングを制御する。
投影光学系７は、導光部５２、及び走査部２２を備える。走査部２２は、第１実施形態と同様の構成であり、第１走査ミラー２４および第１駆動部２５（水平走査部）と、第２走査ミラーおよび第２駆動部２７（垂直走査部）とを備える。導光部５２は、レーザー光源５１ａ、レーザー光源５１ｂ、及びレーザー光源５１ｃのそれぞれから射出される検出光を、投影部５の光源２０から射出される可視光と同じ光路を通るように、走査部２２へ導く。
導光部５２は、ミラー５３、波長選択ミラー５４ａ、波長選択ミラー５４ｂ、及び波長選択ミラー５４ｃを備える。ミラー５３は、レーザー光源５１ａから射出された第１波長の検出光が入射する位置に配置されている。
波長選択ミラー５４ａは、ミラー５３で反射した第１波長の検出光と、レーザー光源５１ｂから射出された第２波長の検出光とが入射する位置に配置されている。波長選択ミラー５４ａは、第１波長の検出光が透過し、第２波長の検出光が反射する特性を有する。
波長選択ミラー５４ｂは、波長選択ミラー５４ａを透過した第１波長の検出光と、波長選択ミラー５４ｂで反射した第２波長の検出光と、レーザー光源５１ｃから射出された第３波長の検出光とが入射する位置に配置されている。波長選択ミラー５４ｂは、第１波長の検出光および第２波長の検出光が反射し、第３波長の検出光が透過する特性を有する。
波長選択ミラー５４ｃは、波長選択ミラー５４ｂで反射した第１波長の検出光および第２波長の検出光、波長選択ミラー５４ｂを透過した第３波長の検出光、並びに光源２０から射出された可視光が入射する位置に配置されている。波長選択ミラー５４ｃは、第１波長の検出光、第２波長の検出光、及び第３波長の検出光が反射し、可視光が透過する特性を有する。
波長選択ミラー５４ｃで反射した第１波長の検出光、第２波長の検出光、及び第３波長の検出光と、波長選択ミラー５４ｃを透過した可視光は、いずれも同じ光路を通って、走査部２２の第１走査ミラー２４に入射する。走査部２２に入射した第１波長の検出光、第２波長の検出光、及び第３波長の検出光は、それぞれ、画像の投影用の可視光と同様に走査部２２によって偏向される。このように、照射部２は、第１波長の検出光、第２波長の検出光、及び第３波長の検出光のそれぞれで、走査部２２を用いて組織ＢＴ上を走査可能である。したがって、本実施形態における走査型投影装置１は、走査型の撮像機能と走査型の画像投影機能との両方を備える構成である。
本実施形態において、光検出部３は、照射部２によってレーザースキャニングされている組織ＢＴから放射された光を検出する。光検出部３は、検出した光の光強度と、照射部２から照射されたレーザー光の位置情報とを関連付けることにより、照射部２がレーザー光を走査する範囲における、組織ＢＴから放射される光の光強度の空間分布を検出する。光検出部３は、集光レンズ５５、光センサー５６、及び画像メモリ５７を備える。
光センサー５６は、シリコンＰＩＮフォトダイオードやＧａＡｓフォトダイオードなどのフォトダイオードを含む。光センサー５６のフォトダイオードには、入射した光の光強度に応じた電荷を発生する。光センサー５６は、フォトダイオードに発生した電荷を、デジタル形式の検出信号として出力する。光センサー５６は、例えば画素数が１個または数個程度であり、イメージセンサーよりも画素数が少ない。このような光センサー５６は、一般的なイメージセンサーに比べて小型であり、低コストである。
集光レンズ５５は、組織ＢＴから放射される光の少なくとも一部を光センサー５６のフォトダイオードに集光する。集光レンズ５５は、組織ＢＴ（検出光の照射領域）の像を形成しなくてもよい。すなわち、集光レンズ５５は、検出光の照射領域と光センサー５６のフォトダイオードとを光学的に共役にしなくてもよい。このような集光レンズ５５は、一般的な撮影レンズ（結像光学系）に比べて、小型化や軽量化が可能であり、また低コストである。
画像メモリ５７は、光センサー５６から出力されたデジタル信号を記憶する。画像メモリ５７には、投影部コントローラ２１から水平走査信号ＨＳＳおよび垂直走査信号ＶＳＳが供給され、画像メモリ５７は、水平走査信号ＨＳＳおよび垂直走査信号ＶＳＳを使って、光センサー５６から出力された信号を画像形式のデータに変換する。
例えば、画像メモリ５７は、垂直走査信号ＶＳＳの立ち上がりから立ち下りまでの期間に光センサー５６から出力された検出信号を、１フレームの画像データとする。画像メモリ５７は、垂直走査信号ＶＳＳの立ち上がりに同期して、光センサー５６からの検出信号の記憶を開始する。また、画像メモリ５７は、水平走査信号ＨＳＳの立ち上がりから立ち上がりまでの間に光センサー５６から出力された検出信号を、１本の水平走査線のデータとする。画像メモリ５７は、垂直走査信号ＶＳＳの立ち上がりに同期して、水平走査線のデータの記憶を開始する。画像メモリ５７は、垂直走査信号ＶＳＳの立ち下がりに同期して、水平走査線のデータの記憶を終了する。画像メモリ５７は、水平走査線ごとのデータの記憶を、水平走査線の数だけ繰り返すことによって、１フレームに画像に相当する画像形式のデータを記憶する。このような画像形式のデータを、以下の説明において適宜、検出画像データという。検出画像データは、第１実施形態で説明した撮像画像データに対応する。光検出部３は、検出画像データを制御装置６に供給する。
制御装置６は、照射部２が照射する検出光の波長を制御する。制御装置６は、照射部コントローラ５０を制御することによって、光源５１から射出される検出光の波長を制御する。制御装置６は、レーザー光源５１ａ、レーザー光源５１ｂ、及びレーザー光源５１ｃの点灯あるいは消灯のタイミングを規定する制御信号を、照射部コントローラ５０に供給する。照射部コントローラ５０は、制御装置６から供給された制御信号に従って、レーザー光源５１ａ、レーザー光源５１ｂ、及びレーザー光源５１ｃを選択的に点灯させる。
例えば、制御装置６は、レーザー光源５１ａを点灯させるとともに、レーザー光源５１ｂおよびレーザー光源５１ｃを消灯させる。この場合に、検出光として、光源５１から第１波長のレーザー光が射出され、第２波長のレーザー光および第３波長のレーザー光が射出されない。このように、制御装置６は、光源５１から射出される検出光の波長を、第１波長と第２波長と第３波長とで切替えることができる。
制御装置６は、照射部２に第１波長の光を照射させている第１の期間に、組織ＢＴから放射される光を光検出部３に検出させる。また、制御装置６は、照射部２に第２波長の光を照射させている第２の期間に、組織ＢＴから放射される光を光検出部３に検出させる。また、制御装置６は、照射部２に第３波長の光を照射させている第３の期間に、組織ＢＴから放射される光を光検出部３に検出させる。制御装置６は、光検出部３を制御して、第１の期間における光検出部３の検出結果と、第２の期間における光検出部３の検出結果と、第３の期間における光検出部３の検出結果とを別々に、画像生成部４へ出力させる。
図９は、照射部２および投影部５の動作の一例を示すタイミングチャートである。図９には、第１走査ミラー２４の角度位置、第２走査ミラー２６の角度位置、及び各光源に供給される電力を示した。第１期間Ｔ１は、１フレームの表示期間に相当し、その長さはリフレッシュレートが３０Ｈｚである場合に１／３０秒程度である。第２期間Ｔ２、第３期間Ｔ３、及び第４期間Ｔ４についても同様である。
第１期間Ｔ１において、制御装置６は、第１波長用のレーザー光源５１ａを点灯状態にする。また、第１期間Ｔ１において、制御装置６は、第２波長用のレーザー光源５１ｂおよび第３波長のレーザー光源５１ｃを消灯状態にする。
第１期間Ｔ１において、第１走査ミラー２４および第２走査ミラー２６は、投影部５が画像を投影する際と同じ条件で動作する。第１期間Ｔ１において、第１走査ミラー２４は、回動範囲の一端から他端までの回動を、水平走査線の数だけ繰り返す。第１走査ミラー２４の角度位置において、立ち上がりから次の立ち上がりまでの単位波形は、１本の水平走査線を走査する間の角度位置に相当する。例えば、投影部５が投影する画像がフルＨＤ形式である場合に、第１期間Ｔ１には、第１走査ミラー２４の角度位置における単位波形が１０８０周期含まれる。第１期間Ｔ１において、第２走査ミラー２６は、回動範囲の一端から他端までの回動を１回行う。
このような走査部２２の動作によって、レーザー光源５１ａから射出された第１波長のレーザー光は、組織ＢＴ上の走査範囲の全域を走査する。制御装置６は、第１期間Ｔ１において光検出部３が検出した結果に相当する第１検出画像データを、光検出部３から取得する。
第２期間Ｔ２において、制御装置６は、第２波長用のレーザー光源５１ｂを点灯状態にする。また、第２期間Ｔ２において、制御装置６は、第１波長用のレーザー光源５１ａおよび第３波長用のレーザー光源５１ｃを消灯状態にする。第２期間Ｔ２において、第１走査ミラー２４および第２走査ミラー２６は、第１期間Ｔ１と同様に動作する。これにより、レーザー光源５１ｂから射出された第２波長のレーザー光は、組織ＢＴ上の走査範囲の全域を走査する。制御装置６は、第２期間Ｔ２において光検出部３が検出した結果に相当する第２検出画像データを、光検出部３から取得する。
第３期間Ｔ３において、制御装置６は、第３波長用のレーザー光源５１ｃを点灯状態にする。第３期間Ｔ３において、制御装置６は、第１波長用のレーザー光源５１ａおよび第２波長用のレーザー光源５１ｂを消灯状態にする。第３期間Ｔ３において、第１走査ミラー２４および第２走査ミラー２６は、第１期間Ｔ１と同様に動作する。これにより、レーザー光源５１ｃから射出された第３波長のレーザー光は、組織ＢＴ上の走査範囲の全域を走査する。制御装置６は、第３期間Ｔ３において光検出部３が検出した結果に相当する第３検出画像データを、光検出部３から取得する。
図８に示した画像生成部４は、第１検出画像データ、第２検出画像データ、及び第３検出画像データを使って成分画像を生成し、成分画像データを投影部５に供給する。画像生成部４は、第１実施形態で説明した撮像画像データの代わりに検出画像データを使うことによって、成分画像を生成する。例えば、算出部１５は、光検出部３が検出した光の光強度の時間変化を使って、組織ＢＴの成分に関する情報を算出する。
第４期間Ｔ４において、図８に示した投影部コントローラ２１は、制御装置６から供給された成分画像データを使って、画素値に応じて振幅が時間変化する駆動電力波を投影用の光源２０に供給するとともに、走査部２２を制御する。このように投影部５は、第４期間Ｔ４において、成分画像を組織ＢＴ上に投影する。
本実施形態に係る走査型投影装置１は、検出光で組織ＢＴをレーザースキャンしながら、組織ＢＴから放射される光を光センサー５６によって検出し、組織ＢＴの撮像画像データに相当する検出画像データを取得する。このような光センサー５６は、画素の数がイメージセンサーよりも少ないものであってもよい。そのため、走査型投影装置１は、小型化や軽量化、低コスト化などが可能である。また、光センサー５６の受光面積を、イメージセンサーの１画素の受光面積よりも大きくすることが容易であり、光検出部３の検出精度を高めることができる。
また、本実施形態において、照射部２は、射出する光の波長が互いに異なる複数の光源を含み、複数の光源のうち点灯する光源を時間的に切り替えて検出光を照射する。そのため、波長がブロードな検出光を照射する構成と比較して、光検出部３によって検出しない波長の光を減らすことができる。そのため、例えば検出光によって組織ＢＴに付与される単位時間当たりのエネルギーを減らすことができ、検出光Ｌ１による組織ＢＴの昇温を抑制することができる。また、検出光によって組織ＢＴに付与される単位時間当たりのエネルギーを増すことなく検出光の光強度を強くすることもでき、光検出部３の検出精度を高めることができる。
また、図９の例において、第１期間Ｔ１と第２期間Ｔ２と第３期間Ｔ３とが、照射部２が検出光を照射する照射期間であり、組織ＢＴから放射された光を光検出部３が検出する検出期間である。投影部５は、照射期間と検出期間の少なくとも一部において、画像を投影しない。そのため、投影部５は、投影された画像がちらついて視認されるように、画像を表示することができる。そのため、ユーザは成分画像などを組織ＢＴから識別しやすくなる。
なお、投影部５は、照射期間と検出期間の少なくとも一部において、画像を投影してもよい。例えば、走査型投影装置１は、光検出部３が第１の検出期間に検出した結果を使って第１成分画像を生成し、第１の検出期間よりも後の第２の検出期間の少なくとも一部において第１成分画像を組織ＢＴ上に投影してもよい。例えば、投影部５が画像を投影している間に、照射部２が検出光を照射するとともに光検出部３が光を検出してもよい。また、画像生成部４は、投影部５が第１フレームの画像を表示している間に、第１フレームの後に投影する第２フレームの画像のデータを生成してもよい。また、画像生成部４は、第１フレームの画像が表示されている間に光検出部３が検出した結果を使って、第２フレームの画像のデータを生成してもよい。投影部５は、上記のような第１フレームの画像の次に第２フレームの画像を投影してもよい。
なお、本実施形態において、照射部２は、複数の光源のうち点灯する光源を択一的に切り替えて検出光を照射するが、複数の光源のうち２以上の光源を並行して点灯させて検出光を照射してもよい。例えば、照射部コントローラ５０は、レーザー光源５１ａ、レーザー光源５１ｂ、及びレーザー光源５１ｃがいずれも点灯状態となるように、光源５１を制御してもよい。この場合に、光検出部３は、図６のように組織ＢＴから放射された光を、波長分離して波長ごとに検出してもよい。
［第３実施形態］
次に、第３実施形態に係る走査型投影装置について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を簡略化あるいは省略する。
図１０は、第３実施形態に係る走査型投影装置１を示す図である。この走査型投影装置１は、ダーモスコープなどの携帯型の装置である。走査型投影装置１は、使用者が手に持つことができる形状のボディ６０を有している。ボディ６０は、図８などに示した照射部２、光検出部３、及び投影部５が設けられる筐体である。本実施形態において、ボディ６０には、制御装置６およびバッテリー６１が設けられている。バッテリー６１は、走査型投影装置１の各部で消費される電力を供給する。
なお、本実施形態において、走査型投影装置１は、バッテリー６１を備えていなくてもよく、例えば電源ケーブルなどの有線を介して電力の供給を受ける形態でもよいし、無線で電力供給される形態でもよい。また、制御装置６は、ボディ６０に設けられていなくてもよく、通信ケーブルを介して、又は無線で各部と通信可能に接続されていてもよい。また、照射部２は、ボディ６０に設けられていなくてもよく、例えば三脚などの支持部材に固定されていてもよい。また、光検出部３と投影部５の少なくとも一方は、ボディ６０と別体の部材に設けられていてもよい。
なお、本実施形態における走査型投影装置１は、ユーザの頭部や腕部（指などを含む）などの身体に直接装着できる装着部（例、ベルト）を備えるウェアラブル投影装置であっても良い。また、本実施形態における走査型投影装置１は、手術用、病理用や検査用などの医療支援用ロボットに設けられる構成でも良いし、該医療支援用ロボットのハンド部などに装着できる装着部を備える構成でも良い。
［第４実施形態］
次に、第４実施形態に係る走査型投影装置について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を簡略化あるいは省略する。
図１１は、第４実施形態に係る走査型投影装置１を示す図である。この走査型投影装置１は、例えば歯列の検査や観察など処理に利用される。走査型投影装置１は、ベース６５、保持プレート６６、保持プレート６７、照射部２、光検出部３、及び投影部５を備える。ベース６５は、使用者やロボットハンド等によって把持される部分である。図１などに示した制御装置６は、例えばベース６５の内部に収容されるが、その少なくとも一部がベース６５と別の部材に設けられていてもよい。
保持プレート６６および保持プレート６６は、それぞれ、ベース６５の一端から延びた単一部材を途中から二又に分岐させ、それぞれ同一方向に屈曲させて形成される。保持プレート６６の先端部６６ａと、保持プレート６７の先端部６７ａとの間隔は、歯茎ＢＴ１等を間に位置させることができる距離に設定される。なお、保持プレート６６と保持プレート６７の少なくとも一方は、例えば変形可能は材質で形成され、先端部６６ａと先端部６７ａとの間隔を変更可能であってもよい。照射部２、光検出部３、及び投影部５は、それぞれ、保持プレート６６の先端部６６ａに設けられている。
この走査型投影装置１は、被検者の口から保持プレート６６および保持プレート６７を差し込み、先端部６６ａと先端部６７ａとの間に、処理対象物である歯茎ＢＴ１または歯ＢＴ２を配置させる。続いて、先端部６６ａの照射部２で歯茎ＢＴ１等に検出光を照射し、歯茎ＢＴ１から放射される光を光検出部３で検出する。投影部５は、歯茎ＢＴ１上に歯茎ＢＴ１に関する情報を示す画像を投影する。このような走査型投影装置１は、例えば歯茎ＢＴ１に含まれる水の量を示す成分画像を投影することによって、浮腫や炎症など血液や水分の分布を変化させる病変の検査、観察などに活用できる。なお、携帯型の走査型投影装置１は、図１０あるいは図１１に示した例の他に、内視鏡などにも適用できる。
［手術支援システム］
次に、手術支援システム（医療支援システム）について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を簡略化あるいは省略する。
図１２は、本実施形態に係る手術支援システムＳＹＳの一例を示す図である。この手術支援システムＳＹＳは、上記の実施形態で説明した走査型投影装置を利用したマンモトームである。手術支援システムＳＹＳは、走査型投影装置として、照明ユニット７０、赤外カメラ７１、レーザー光源７２、及びガルバノスキャナー７３を備える。照明ユニット７０は、乳房などの組織に検出光を照射する照射部である。赤外カメラ７１は、組織から放射される光を検出する光検出部である。レーザー光源７２およびガルバノスキャナー７３は、組織に関する情報を示す画像（例、成分画像）を投影する投影部である。この投影部は、光検出部による検出結果を使って制御装置（図示略）が生成した画像を投影する。
また、手術支援システムＳＹＳは、ベッド７４と、透明プラスチック板７５と、穿孔針７６とを備える。ベッド７４は、被検者をうつ伏せで横臥させるものである。ベッド７４は、被写体である被検者の乳房ＢＴ３（組織）を下方に露出させるための開口部７４ａを有する。透明プラスチック板７５は、乳房ＢＴ３を両側から挟んで平板状に変形させるのに用いられる。穿孔針７６は、組織に対する処理が可能な操作デバイスである。穿孔針７６は、コアニードル生検において乳房ＢＴ３に挿入され、検体を採取する。
赤外カメラ７１、照明ユニット７０、レーザー光源７２、及びガルバノスキャナー７３は、ベッド７４の下方に配置される。赤外カメラ７１は、赤外カメラ７１とガルバノスキャナー７３との間に透明プラスチック板７５を位置させた状態で設置されている。赤外カメラ７１及び照明ユニット７０は、それぞれ、球面状に複数配置されている。
図１２に示すように、乳房ＢＴ３を透明プラスチック板７５で両側から押し付けて平板状に変形させ、この状態で照明ユニット７０から所定波長の赤外光を出射させて赤外カメラ７１により撮像する。これにより、赤外カメラ７１は、照明ユニット７０からの反射赤外光によって乳房ＢＴ３の画像を取得する。レーザー光源７２およびガルバノスキャナー７３は、赤外カメラ７１による撮像画像から生成される成分画像を、投影する。
ところで、一般的なコアニードル生検では、超音波エコーを用いて針の深さを計測しながら穿孔針（コアニードル）を挿入する。乳房は、一般的に脂質が多い組織を含むが、乳癌が発生していると、乳癌の部分は、他の部分と水の量が異なる場合がある。
手術支援システムＳＹＳは、レーザー光源７２およびガルバノスキャナー７３によって乳房ＢＴ３の成分画像を投影しながら、穿孔針７６を乳房ＢＴ３に挿入して検体を採取できる。例えば、オペレータは、乳房ＢＴ３上に投影された成分画像を観察しながら、乳房ＢＴ３のうち水の量が他の部分と異なる部分に穿孔針７６を挿入することができる。
このような本実施形態に係る手術支援システムＳＹＳによれば、赤外分光スペクトラムの違いを用いた赤外マンモトームをコアニードル生検に用いることにより、正確な組織像の空間認識に基づいて、検体の採取が可能になる。また、Ｘ線被曝の影響の無い赤外光による撮像は、妊娠の有無にかかわらず産婦人科において日常的に適用できる。
次に、手術支援システムの他の例について説明する。図１３は、手術支援システムＳＹＳの他の例を示す図である。この手術支援システムＳＹＳは、開腹手術などに利用される。手術支援システムＳＹＳは、処置の対象である組織に関する画像を組織上に投影した状態で、組織に対する処理が可能な操作デバイス（図示略）を備える。操作デバイスは、例えば、採血デバイス、止血デバイス、内視鏡器具などを有する腹腔鏡デバイス、切開デバイス、及び開腹デバイスの少なくとも一つを含む。
手術支援システムＳＹＳは、手術灯８０と、２台の表示装置３１と、を備えている。手術灯８０は、可視光を出射する複数の可視照明灯８１、複数の赤外ＬＥＤモジュール８２、赤外カメラ７１、及び投影部５を備える。複数の赤外ＬＥＤモジュール８２は、開腹により露出している組織に検出光を照射する照射部である。赤外カメラ７１は、組織から放射される光を検出する光検出部である。投影部５は、赤外カメラ７１による検出結果（撮像画像）を使って制御装置（図示略）が生成した画像を投影する。表示装置３１は、赤外カメラ７１によって取得した画像や、制御装置が生成した成分画像を表示可能である。なお、例えば手術灯８０に可視カメラが設けられており、表示装置３１は、可視カメラで取得した画像を表示することもできる。
ところで、手術治療の侵襲性・効率は、切開・止血に随伴する損傷・焼灼の範囲と強度で決定される。手術支援システムＳＹＳは、組織に関する情報を示す画像を組織上に投影するので、病変部の他、神経、すい臓などの実質臓器、脂質組織、血管などを視認しやすくなり、手術治療の侵襲性を低減することや、手術治療の効率を高めることができる。
なお、本発明の技術範囲は、上記の実施形態あるいは変形例に限定されるものではない。例えば、上記の実施形態あるいは変形例で説明した要件の１つ以上は、省略されることがある。また、上記の実施形態あるいは変形例で説明した要件は、適宜組み合わせることができる。
１ 走査型投影装置、２ 照射部、３ 光検出部、４ 画像生成部、５ 投影部、７ 投影光学系、１１ 撮像光学系、１５ 算出部、１６ データ生成部、２２ 走査部、ＢＴ
組織、ＳＹＳ 手術支援システム
本発明は、走査型投影装置、投影方法、走査装置、及び手術支援システムに関する。
ところで、組織の表面は凹凸面になっている場合があり、組織の表面に画像を投影する際に焦点を合わせにくいことがある。その結果、組織の表面に投影する投影像の焦点がずれてしまい、表示された画像にボケが生じることがある。本発明は、生物の組織上に鮮明な画像を投影可能な走査型投影装置、投影方法、走査装置、及び手術支援システムを提供することを目的とする。
本発明の第３の態様に従えば、第１の態様の走査型投影装置と、走査型投影装置によって組織上に画像が投影されている状態において、組織に対する処理が可能な操作デバイスと、を備える手術支援システムが提供される。
本発明の第４の態様に従えば、ターゲットに検出光を照射する照射部と、検出光が照射されているターゲットから放射される光を検出する検出部と、検出部の検出結果に基づき、ターゲットにおける水又は脂質に関するデータを生成する生成部と、水又は脂質に関するデータに基づいてターゲットを可視光で走査する走査部と、を備える走査装置が提供される。
本発明の第５の態様に従えば、第４の態様の走査装置を備える手術支援システムが提供される。
本発明によれば、生物の組織上に鮮明な画像を投影可能な走査型投影装置、投影方法、走査装置、及び手術支援システムを提供することができる。
ここで、図２の画素Ｐ（ｉ，ｊ）は、イメージセンサー１３において第１波長の赤外光を検出する受光要素に対応する画素とする。また、画素Ｐ（ｉ＋１，ｊ）は、第２波長の赤外光を検出する受光要素に対応する画素とする。また、画素Ｐ（ｉ＋２，ｊ）は、イメージセンサー１３において第３波長の赤外光を検出する受光要素に対応する画素とする。
本実施形態において、撮像光学系１１の光軸１１ａは、撮像光学系１１に含まれるレンズの回転中心軸と同軸である。撮像光学系１１の光軸１１ａと投影光学系７の光出射側の光軸７ａとは同軸に設定されている。したがって、本実施形態における走査型投影装置１を用いて組織ＢＴに対する撮影位置がユーザによって変えられた場合であっても、組織ＢＴ上に投影する上記成分画像をずらすことなく投影できる。本実施形態において、光検出部３および投影部５は、それぞれ、筐体３０に収容されている。光検出部３および投影部５は、それぞれ、筐体３０に固定されている。そのため、光検出部３と投影部５との位置ずれが抑制され、撮像光学系１１の光軸１１ａと投影光学系７の光軸との位置ずれが抑制される。
ージセンサー１３において第３波長の赤外光を検出する受光要素に対応する画素とする。
また、走査型投影装置１は、撮像光学系１１の光軸１１ａと投影光学系７の光軸７ａとが同軸とに設定されている。そのため、走査型投影装置１は、組織ＢＴと光検出部３との相対位置が変化した場合であっても、組織ＢＴのうち光検出部３が撮像した部分と、投影部５によって画像が投影される部分との位置ずれが低減される。例えば、走査型投影装置１は、投影部５が投影する画像と組織ＢＴとに視差が生じることが低減される。
なお、本実施形態において、照射部２は、第１波長、第２波長、及び第３波長を含む波長帯の赤外光を射出するが、このような構成に限定されない。以下、照射部２の変形例について説明する。
１は、投影部５が投影する画像と組織ＢＴとに視差が生じることが低減される。

Claims (16)

  1. 生物の組織に検出光を照射する照射部と、
    前記検出光が照射されている前記組織から放射される光を検出する光検出部と、
    前記光検出部の検出結果を使って、前記組織に関する画像のデータを生成する画像生成部と、
    前記データに基づいて前記組織を可視光で走査する投影光学系を含み、前記可視光の走査によって前記組織上に前記画像を投影する投影部と、を備える走査型投影装置。
  2. 前記投影光学系は、前記可視光を２次元に走査可能な走査部を有する、
    請求項１に記載の走査型投影装置。
  3. 前記画像生成部は、
    前記光検出部が検出した光の波長に対する光強度の分布を使って、前記組織の成分に関する情報を算出する算出部と、
    前記算出部が算出した結果を使って、前記成分に関する前記画像のデータを生成するデータ生成部と、を含む、
    請求項１又は請求項２に記載の走査型投影装置。
  4. 前記算出部は、波長に対する第１物質の吸光度の分布および波長に対する第２物質の吸光度の分布を使って、前記組織に含まれる前記第１物質の量および前記第２物質の量についての前記成分に関する情報を算出する、
    請求項３に記載の走査型投影装置。
  5. 前記第１物質は脂質であり、前記第２物質は水である、
    請求項４に記載の走査型投影装置。
  6. 前記照射部が照射する前記検出光の波長を制御する制御部を備え、
    前記制御部は、前記照射部に第１波長の光を照射させている間に前記光検出部が検出した第１の結果と、前記照射部に第２波長の光を照射させている間に前記光検出部が検出した第２の結果とを分けて前記画像生成部へ出力させる、
    請求項１から請求項５のいずれか一項に記載の走査型投影装置。
  7. 前記光検出部は、前記検出光のうち赤外帯域に感度を有するセンサーを含み、
    前記投影光学系の光出射側の光軸は、前記センサーの光入射側の光軸と同軸に設定されている、
    請求項１から請求項６のいずれか一項に記載の走査型投影装置。
  8. 前記組織から放射される光を前記光検出部へ導光する撮像光学系を備え、
    前記撮像光学系の光軸と前記投影光学系の光軸とは光学的に同軸に設定されている、
    請求項１から請求項７のいずれか一項に記載の走査型投影装置。
  9. 前記照射部は、前記検出光としてレーザー光を射出する光源を含み、前記投影光学系により前記組織上を前記レーザー光で走査し、
    前記光検出部は、前記レーザー光が照射されている前記組織から放射される光を検出する、
    請求項１から請求項８のいずれか一項に記載の走査型投影装置。
  10. 前記投影部の光源と前記照射部の光源とは、前記可視光と前記レーザー光とが前記投影光学系の光路を通るように配置されている、
    請求項９に記載の走査型投影装置。
  11. 前記画像生成部は、前記投影部が第１フレームの前記画像を表示している間に、前記第１フレームの後に投影する第２フレームの前記画像のデータを生成する、
    請求項１から請求項１０のいずれか一項に記載の走査型投影装置。
  12. 前記投影部は、前記画像の色と明るさの少なくとも一方を調整可能である、
    請求項１から請求項１１のいずれか一項に記載の走査型投影装置。
  13. 前記照射部と前記光検出部と前記投影部とが設けられる筐体を備える、
    請求項１から請求項１２のいずれか一項に記載の走査型投影装置。
  14. 生物の組織に検出光を照射することと、
    前記検出光が照射されている前記組織から放射される光を光検出部によって検出することと、
    前記光検出部の検出結果を使って、前記組織に関する画像のデータを生成することと、
    前記データに基づいて前記組織を可視光で走査し、前記可視光の走査によって前記組織上に前記画像を投影することと、を含む投影方法。
  15. 前記検出光としてレーザー光を射出することと、
    前記組織を前記可視光で走査する投影光学系によって、前記組織を前記レーザー光で走査することと、
    前記レーザー光が照射されている前記組織から放射される光を、前記光検出部によって検出することと、を含む、
    請求項１４に記載の投影方法。
  16. 請求項１から請求項１３のいずれか一項に記載の走査型投影装置と、
    前記走査型投影装置によって前記組織上に前記画像が投影されている状態において、前記組織に対する処理が可能な操作デバイスと、を備える手術支援システム。
JP2016525632A 2014-06-05 2014-06-05 走査型投影装置、投影方法、走査装置、及び手術支援システム Expired - Fee Related JP6468287B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/064989 WO2015186225A1 (ja) 2014-06-05 2014-06-05 走査型投影装置、投影方法、及び手術支援システム

Publications (2)

Publication Number Publication Date
JPWO2015186225A1 true JPWO2015186225A1 (ja) 2017-05-25
JP6468287B2 JP6468287B2 (ja) 2019-02-13

Family

ID=54766321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016525632A Expired - Fee Related JP6468287B2 (ja) 2014-06-05 2014-06-05 走査型投影装置、投影方法、走査装置、及び手術支援システム

Country Status (3)

Country Link
US (1) US20170079741A1 (ja)
JP (1) JP6468287B2 (ja)
WO (1) WO2015186225A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6534096B2 (ja) * 2014-06-25 2019-06-26 パナソニックＩｐマネジメント株式会社 投影システム
JP6609098B2 (ja) * 2014-10-30 2019-11-20 キヤノン株式会社 表示制御装置、表示制御方法、及びコンピュータプログラム
JP6609688B2 (ja) * 2016-02-29 2019-11-20 オリンパス株式会社 光走査型撮影投影装置および内視鏡システム
JP6544757B2 (ja) * 2016-03-22 2019-07-17 国立研究開発法人産業技術総合研究所 光照射システム、制御装置、光照射制御方法、及び手術用顕微鏡装置
US10558047B2 (en) * 2016-09-22 2020-02-11 Magic Leap, Inc. Augmented reality spectroscopy
WO2018059669A1 (de) * 2016-09-27 2018-04-05 Siemens Aktiengesellschaft Verfahren zum betreiben eines spektroskops und spektroskop
EP3506624B1 (en) * 2016-09-28 2022-12-21 Panasonic Holdings Corporation Display system
KR102201627B1 (ko) * 2017-02-21 2021-01-12 가부시키가이샤 나노룩스 고체 촬상 소자 및 촬상 장치
WO2018216658A1 (ja) * 2017-05-23 2018-11-29 国立研究開発法人産業技術総合研究所 撮像装置、撮像システム、及び撮像方法
WO2019003285A1 (ja) * 2017-06-26 2019-01-03 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム
US11153514B2 (en) * 2017-11-30 2021-10-19 Brillnics Singapore Pte. Ltd. Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
DE102017129837A1 (de) * 2017-12-13 2019-06-13 Leibniz-Institut für Photonische Technologien e. V. Kombinierte Untersuchung mit Bildgebung und Lasermessung
US11480467B2 (en) 2018-03-21 2022-10-25 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
JP2019184707A (ja) * 2018-04-04 2019-10-24 パナソニック株式会社 画像投影装置
US10524666B2 (en) * 2018-05-09 2020-01-07 Inner Ray, Inc. White excitation light generating device and white excitation light generating method
KR20200008749A (ko) * 2018-07-17 2020-01-29 주식회사 아이원바이오 구강 스캐너 및 이를 이용한 3차원 오버레이 영상 표시방법
US11442254B2 (en) 2019-04-05 2022-09-13 Inner Ray, Inc. Augmented reality projection device
US11633089B2 (en) * 2019-06-20 2023-04-25 Cilag Gmbh International Fluorescence imaging with minimal area monolithic image sensor
EP4127649A1 (en) * 2020-03-27 2023-02-08 Faxitron Bioptics, LLC Pathology review station
WO2023192306A1 (en) * 2022-03-29 2023-10-05 Activ Surgical, Inc. Systems and methods for multispectral and mosaic imaging

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08164123A (ja) * 1994-12-15 1996-06-25 Nikon Corp 採血装置
JP2004329786A (ja) * 2003-05-12 2004-11-25 Kawasumi Lab Inc 血管投影機及び血管投影方法
JP2006326153A (ja) * 2005-05-30 2006-12-07 Olympus Corp ヘモグロビン観察装置及びヘモグロビン観察方法
JP2007075366A (ja) * 2005-09-14 2007-03-29 Olympus Medical Systems Corp 赤外観察システム
JP2009512500A (ja) * 2005-10-20 2009-03-26 スペクトロス コーポレイション 体内腫瘍のスクリーニングのための超高特定性装置及び方法
JP2009068940A (ja) * 2007-09-12 2009-04-02 Canon Inc 測定装置
JP2010127969A (ja) * 2008-11-25 2010-06-10 Seiko Epson Corp 画像表示装置
JP2010205445A (ja) * 2009-02-27 2010-09-16 Seiko Epson Corp 光源装置、プロジェクター、光量補正方法
JP2010266824A (ja) * 2009-05-18 2010-11-25 Seiko Epson Corp 画像表示装置
JP2011212386A (ja) * 2010-04-02 2011-10-27 Seiko Epson Corp 血管表示装置
JP2013515266A (ja) * 2009-12-21 2013-05-02 テルモ株式会社 目標の癌組織を視覚化する励起／検出／投射システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6205353B1 (en) * 1998-12-22 2001-03-20 Research Foundation Of Cuny Time-resolved optical backscattering tomographic image reconstruction in scattering turbid media
US7599732B2 (en) * 2003-06-20 2009-10-06 The Texas A&M University System Method and system for near-infrared fluorescence contrast-enhanced imaging with area illumination and area detection
US8364246B2 (en) * 2007-09-13 2013-01-29 Sure-Shot Medical Device, Inc. Compact feature location and display system
US8849380B2 (en) * 2007-11-26 2014-09-30 Canfield Scientific Inc. Multi-spectral tissue imaging
US8226246B2 (en) * 2007-12-04 2012-07-24 Silicon Quest Kabushiki-Kaisha Apparatus and method, both for controlling spatial light modulator
US9167217B2 (en) * 2013-05-02 2015-10-20 Microvision, Inc. High efficiency laser modulation

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08164123A (ja) * 1994-12-15 1996-06-25 Nikon Corp 採血装置
JP2004329786A (ja) * 2003-05-12 2004-11-25 Kawasumi Lab Inc 血管投影機及び血管投影方法
JP2006326153A (ja) * 2005-05-30 2006-12-07 Olympus Corp ヘモグロビン観察装置及びヘモグロビン観察方法
JP2007075366A (ja) * 2005-09-14 2007-03-29 Olympus Medical Systems Corp 赤外観察システム
JP2009512500A (ja) * 2005-10-20 2009-03-26 スペクトロス コーポレイション 体内腫瘍のスクリーニングのための超高特定性装置及び方法
JP2009068940A (ja) * 2007-09-12 2009-04-02 Canon Inc 測定装置
JP2010127969A (ja) * 2008-11-25 2010-06-10 Seiko Epson Corp 画像表示装置
JP2010205445A (ja) * 2009-02-27 2010-09-16 Seiko Epson Corp 光源装置、プロジェクター、光量補正方法
JP2010266824A (ja) * 2009-05-18 2010-11-25 Seiko Epson Corp 画像表示装置
JP2013515266A (ja) * 2009-12-21 2013-05-02 テルモ株式会社 目標の癌組織を視覚化する励起／検出／投射システム
JP2011212386A (ja) * 2010-04-02 2011-10-27 Seiko Epson Corp 血管表示装置

Also Published As

Publication number Publication date
WO2015186225A1 (ja) 2015-12-10
US20170079741A1 (en) 2017-03-23
JP6468287B2 (ja) 2019-02-13

Similar Documents

Publication Publication Date Title
JP6468287B2 (ja) 走査型投影装置、投影方法、走査装置、及び手術支援システム
JP6710735B2 (ja) 撮像システム及び手術支援システム
US11439307B2 (en) Method for detecting fluorescence and ablating cancer cells of a target surgical area
JP6745508B2 (ja) 画像処理システム、画像処理装置、投影装置、及び投影方法
WO2012033139A1 (ja) 測定装置、測定システム、測定方法、制御プログラム、および、記録媒体
JP2017537744A (ja) 口腔内３ｄ蛍光撮像
JP2006525494A (ja) リアルタイムの同時的マルチモードイメージングとその分光学的用途
JP2008149107A (ja) 皮膚疾患の光学診断および治療のための装置、光源システムおよび方法
EP3009098A1 (en) Microscope system for surgery
JP2016017921A (ja) 観察システム
EP2837321A1 (en) Optical measurement device and endoscope system
WO2016006113A1 (ja) 画像解析装置、撮像システム、手術支援システム、画像解析方法、及び画像解析プログラム
CN204207717U (zh) 内窥镜照射光谱选择装置及超光谱内窥镜成像系统
JP4109132B2 (ja) 蛍光判定装置
CN104352216B (zh) 内窥镜照射光谱选择装置及超光谱内窥镜成像系统
WO2020217541A1 (ja) 光源ユニット
JP4109133B2 (ja) 蛍光判定装置
JP2021115405A (ja) 医療用制御装置及び医療用観察システム
WO2020188969A1 (ja) 医療用制御装置及び医療用観察装置
WO2022239339A1 (ja) 医療用情報処理装置、医療用観察システム及び医療用情報処理方法
JP2003339622A (ja) 蛍光判定方法および装置
EP3945993A1 (en) Medical instrumentation utilizing narrowband imaging
JP2013233365A (ja) プローブシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180125

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180903

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180911

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181231

R150 Certificate of patent or registration of utility model

Ref document number: 6468287

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees