JP6176582B2 - 可視光投影装置 - Google Patents

可視光投影装置 Download PDF

Info

Publication number
JP6176582B2
JP6176582B2 JP2017508798A JP2017508798A JP6176582B2 JP 6176582 B2 JP6176582 B2 JP 6176582B2 JP 2017508798 A JP2017508798 A JP 2017508798A JP 2017508798 A JP2017508798 A JP 2017508798A JP 6176582 B2 JP6176582 B2 JP 6176582B2
Authority
JP
Japan
Prior art keywords
color
projection
region
icg
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017508798A
Other languages
English (en)
Other versions
JPWO2016157260A1 (ja
Inventor
朋之 齊藤
朋之 齊藤
悦朗 波多野
悦朗 波多野
隆士 新田
隆士 新田
智 瀬尾
智 瀬尾
久史 西田
久史 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Application granted granted Critical
Publication of JP6176582B2 publication Critical patent/JP6176582B2/ja
Publication of JPWO2016157260A1 publication Critical patent/JPWO2016157260A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743Type of operation; Specification of treatment sites
    • A61B2017/00778Operations on blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • A61B2090/304Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using chemi-luminescent materials
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/373Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05Surgical care
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Robotics (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Image Processing (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本開示は、非可視光の発光を検出した領域に対して、可視光を投影する可視光投影装置に関する。
特許文献1は、外科手術を受ける生体の患部を示す画像データを蛍光像撮像装置から出力させ、画像投影装置により上記画像データによる画像を再生し、実際の患部上に表示させる外科手術支援システムを開示する。生体の患部には、所定の波長の光を照射することで蛍光を発する物質が、あらかじめ投与されている。つまり、このシステムは、患部が蛍光発光した蛍光画像を実際の患部に表示することで、病変部の確認の支援をしている。
特開平9−24053号公報
本開示は、より使いやすい可視光投影装置を提供することを目的とする。
本開示にかかる可視光投影装置は、非可視光を発する第1の領域を検出する検出部と、検出部が検出した第1の領域を含む第2の領域に対して、可視光を用いた投影を行う投影部と、操作者により選択された色に基づいて、投影部に投影を行わせる制御部と、を備える。制御部は、第2の領域のうち、第1の領域以外の領域に対して投影部が投影する可視光の色として、第1の色が選択された場合、第1の領域に対して前記投影部が投影する可視光の色を、第1の選択肢の中から選択可能なように操作者に知らせる。一方、第2の領域のうち、第1の領域以外の領域に対して投影部が投影する可視光の色として、第1の色とは異なる第2の色が選択された場合、第1の領域に対して投影部が投影する可視光の色を、第1の選択肢に含まれる候補の組み合わせとは異なる第2の選択肢の中から選択可能なように操作者に知らせる。
より好ましくは、制御部は、第1の領域の輪郭部に対して前記投影部が投影する可視光の色の選択肢の中から、第1の領域に対して前記投影部が投影する可視光の色として操作者が選択した色は選択できないようにする。
より好ましくは、制御部は、検出部が検出する第1の領域を構成する各部分からの非可視光の強度に応じて、第1の領域に対して投影部に多階調による色の投影をさせる場合に、投影部が投影する可視光の色の彩度を階調に応じて異ならせる。
本開示によれば、より使いやすい可視光投影装置を提供できる。
手術支援システム100の構成を説明する図 投影制御装置の画像処理にかかる構成を説明する図 操作者140が各種の設定操作を行う際に、表示される画面を説明する図 背景色が黒色で階調数を2階調に限定した場合の投影映像を示すイメージ図 背景色が白色で階調数を2階調に限定した場合の投影映像を示すイメージ図 背景色が白色で階調数を4階調に限定した場合の投影映像を示すイメージ図
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施の形態1)
<1.手術支援システムの概要>
以下では一例として、本開示の投影システムを、病院における手術支援に適用した実施の形態1を説明する。病院における手術支援に適用した投影システムを、手術支援システム100と称する。
最初に、実施の形態1にかかる手術支援システム100の概要を、図1を用いて説明する。図1は、手術支援システム100の構成を説明する図である。図1に示すように、手術支援システム100は、手術台110に載った患者120の鉛直方向上方に、撮像照射装置200が位置するように配置される。
手術支援システム100を利用するにあたって、手術を受ける患者120には、光感受性物質が血液中などに投与される。光感受性物質は、励起光を受光して蛍光を発する物質である。実施の形態1では、光感受性物質の一例として、インドシアニングリーン(以下、ICGと称する)を用いた場合を説明する。ICGは、医療承認されており、人体への使用が可能な試薬である。ICGは、血液中に投与されると血液やリンパ液の流れが滞っている患部130に蓄積される。ICGは、800nm前後の赤外励起光が照射されることにより、ピーク波長850nm前後の赤外蛍光を発する。従って、赤外蛍光の発している領域(ICG発光領域)を検出することができれば、患部130の領域を特定することが可能となる。
手術支援システム100は、ICGの赤外蛍光の発している領域を検出して、患部130の領域を特定するシステムである。手術支援システム100は、特定した患部130の領域が医師に視認可能となるように、特定した患部130の領域に対して可視光を投影する。これにより、手術支援システム100は、患部130への手術を行う際に、医師による患部130の領域特定を支援することができる。
<2.手術支援システムの構成>
続いて、手術支援システム100の構成の詳細について、図1を用いて説明する。手術支援システム100は、病院の手術室内に配置されて使用される。手術支援システム100は、主に、撮像照射装置200、投影制御装置300、メモリ240、赤外励起光光源230を備えている。また、手術支援システム100は、操作者140からの各種の設定操作を受け付けるために、表示制御装置150、ディスプレイ160、マウス170を備えている。更に、図示はしていないが、手術支援システム100は、撮像照射装置200を配置する位置を変更するための機構(撮像照射装置200と機械的に接続された駆動アームや、手術支援システム100の一式を載置する台座のキャスターなど)を備えている。
撮像照射装置200は、撮像手段や照射手段を一体的に内包した装置である。撮像照射装置200は、赤外カメラ210、ダイクロイックミラー211、プロジェクタ220を備えている。撮像照射装置200は、手術台110に横になっている患者120から発した赤外蛍光223を検出する。そして、プロジェクタ220から射出させた可視照射光222を、検出した赤外蛍光223が示す患部130の領域に対して照射する。赤外蛍光223をより適切に検出し、かつ、可視照射光222をより適切に照射するため、撮像照射装置200は、手術台110に載った患者120の直上に配置するとよい。
投影制御装置300は、手術支援システム100を構成する各部を統括制御する装置である。投影制御装置300は、赤外カメラ210、プロジェクタ220、赤外励起光光源230、メモリ240を制御可能なように、それらに電気的に接続されている。投影制御装置300は、例えばCPUやMPUで構成され、所定のプログラムを実行することによってその機能を実現する。なお、投影制御装置300の機能は、専用に設計された電子回路により実現されてもよい。
メモリ240は、投影制御装置300が演算を実行するにあたって、適宜アクセスを行う記憶媒体である。
赤外励起光光源230は、少なくともICGの励起波長800nm前後の赤外励起光231を照射する光源である。赤外励起光光源230は、投影制御装置300からの制御信号に従って、赤外励起光231の照射のON/OFFを切り替えることができる。赤外励起光231の照射ムラを低減させるため、赤外励起光光源230は、手術台110に載った患者120の直上に配置するとよい。
表示制御装置150は、ディスプレイ160と、マウス170と電気的に接続されている。ディスプレイ160は、投影制御装置300の投影動作にかかる各種の設定を行うためのメニューを表示することができる。操作者140は、ディスプレイ160に表示されたメニューを見ながら、マウス170を把持して操作することにより、投影制御装置300の投影動作にかかる各種の設定を行うことができる。具体的には、ICG発光領域(患部130)に対して投影する投影色及びその階調数の切り替え、並びに、ICG発光領域の周囲(背景)及びその輪郭部に対して投影する投影色の切り替え、の設定を行うことができる。表示制御装置150は、操作者140から設定操作を受け付けると、投影制御装置300に対してその設定を反映させるための通知を行う。これにより、投影制御装置300は、操作者140によって設定された内容の投影動作を行うことができる。ディスプレイ160は、液晶表示方式、有機EL方式など各種方式が適用可能である。また、マウス170は操作手段の一例であり、タッチパネルやキーボードなど他の操作手段を用いてもよい。
次に、撮像照射装置200に備わる各構成について説明する。
赤外カメラ210は、赤外領域に分光感度特性を有するカメラである。本開示にかかる手術支援システム100では、ICGから発せられる850nm前後の赤外蛍光223を検出する必要がある。そのため、赤外カメラ210は、少なくとも850nm前後の赤外領域に対して分光感度特性を有する。なお、ICGから発せられる赤外蛍光223以外の光の受光を回避するために、赤外カメラ210の前方に850nm付近の波長の光のみを通過させるバンドパスフィルターを配置してもよい。赤外カメラ210は、撮像により得られている赤外画像を、投影制御装置300に伝送する。
プロジェクタ220は、投影制御装置300からの制御信号に従って、可視光を照射する投影装置である。プロジェクタ220は、人間が視認できる可視光領域の光であれば、任意の波長(色)の光を使用することができる。プロジェクタ220は、投影制御装置300からの制御信号に従って、複数の波長(色)の光による照射を切り替え可能に構成されている。プロジェクタ220は、可視照射光222を、ダイクロイックミラー211に向けて照射する。
ダイクロイックミラー211は、赤外カメラ210及びプロジェクタ220のそれぞれと対向して配置される。ダイクロイックミラー211は、特定の波長の光を反射する一方、その他の波長の光を透過する機能を備えた光学素子である。本開示においては、ダイクロイックミラー211の水平方向にプロジェクタ220の投影口が配置される一方、ダイクロイックミラー211の鉛直方向上方に赤外カメラ210が配置される。ダイクロイックミラー211は、プロジェクタ220から照射された可視照射光222を反射する一方、赤外カメラ210の撮像面に向かう赤外蛍光223は透過させる光学特性を備える。また、図1に示すように、ダイクロイックミラー211で反射された可視照射光222と、赤外カメラ210の撮像面に入射する赤外蛍光223とは光路が一致されている。これにより、赤外蛍光223の発している領域(患部130)に対する可視照射光222の照射精度を高めることができる。
なお、上記において、赤外カメラ210は、本開示の検出部の一例である。プロジェクタ220は、本開示の可視光を用いた投影を行う投影部の一例である。表示制御装置150及び投影制御装置300からなる構成は、本開示の制御部の一例である。そして、手術支援システム100は、本開示の可視光投影装置の一例である。
図1に示す例では、表示制御装置150と投影制御装置300とを別体のハードウェア構成として例示しているが、本開示はこれに限定されない。すなわち、表示制御装置150と投影制御装置300とを一体のハードウェア構成としてもよい。
<3.投影制御装置による画像処理>
続いて、投影制御装置300による画像処理の詳細について説明する。図2は、投影制御装置300の画像処理にかかる構成を説明する図である。
図2に示すように、投影制御装置300は、ガウシアンフィルタ310、ゾーベルフィルタ311、2値化処理312、孤立点除去処理313、色変換処理314、遅延処理320、多値化処理321、色変換処理322、重畳処理323の処理機能を有している。これらの処理機能は、ハードウェアで実現してもよいし、ソフトウェアで実現してもよい。また、投影制御装置300は、インターフェイス330を介して、表示制御装置150と接続されている。
投影制御装置300が有する各処理機能の詳細について説明する。
赤外カメラ210により撮像され生成された赤外画像は、入力301を介して、投影制御装置300に取り込まれる。入力301から取り込まれた赤外画像は、ガウシアンフィルタ310及び、遅延処理320に送られる。
ガウシアンフィルタ310は、ICGにより赤外蛍光223が発せられている領域のエッジ検出の前処理として、赤外カメラ210により生成された赤外画像に対して、画像中に含まれるノイズ成分を除去する。赤外画像中において、ノイズ成分を除去する対象の画素の座標を(X,Y)、その座標の信号レベルをLV(X,Y)とする。このとき、ノイズ成分を除去する対象の画素及び、その隣接8画素の信号レベルを示す行列S1は下記の数1に示す行列となる。
Figure 0006176582
ガウシアンフィルタ310は、行列S1を、数2に示すフィルタ係数(ガウシアンフィルタ)Gに基づいて平滑化処理を行う。すなわち、数3に示すように、フィルタ係数Gと信号レベルS1を乗じることにより、画像中に含まれるノイズ成分を除去することができる。
Figure 0006176582
[数3]
G*S1={1×LV(X−1,Y−1)+2×LV(X,Y−1)+1×LV(X+1,Y−1)+2×LV(X−1,Y)+4×LV(X,Y)+2×LV(X+1,Y)+1×LV(X−1,Y+1)+2×LV(X,Y+1)+1×LV(X+1,Y+1)}/16
ゾーベルフィルタ311は、ガウシアンフィルタ310が出力した赤外画像を構成する各画素について、その周辺画素に対して相対的な明るさの差分が大きい画素を検出する。すなわち、ゾーベルフィルタ311は、赤外画像のエッジ部を検出する。ここで、ゾーベルフィルタ311によるエッジ検出の対象画素の座標を(X,Y)、その座標の信号レベルをEG(X,Y)とする。このときに、エッジ検出の対象画素及びその隣接8画素の信号レベルS2は、数4に示す行列となる。
Figure 0006176582
ゾーベルフィルタ311は、行列S2を、数5に示すフィルタ係数(水平ゾーベルフィルタ)SHに基づいて水平成分のエッジ検出処理を行う。すなわち、数6に示すように、フィルタ係数SHと信号レベルS2を乗じて、その絶対値をとることにより、エッジ検出の対象画素について水平成分のエッジ検出処理を行う。このようにして、ゾーベルフィルタ311は、赤外画像を構成する各画素について、水平成分のエッジ検出処理を行う。
Figure 0006176582
[数6]
SH*S2=絶対値{−1×EG(X−1,Y−1)+0×EG(X,Y−1)+1×EG(X+1,Y−1)−2×EG(X−1,Y)+0×EG(X,Y)+2×EG(X+1,Y)−1×EG(X−1,Y+1)+0×EG(X,Y+1)+1×EG(X+1,Y+1)}
同様に、ゾーベルフィルタ311は、行列S2を、数7に示すフィルタ係数(垂直ゾーベルフィルタ)SPに基づいて垂直成分のエッジ検出処理を行う。すなわち、数8に示すように、フィルタ係数SPと信号レベルS2を乗じて、その絶対値をとることにより、エッジ検出の対象画素について垂直成分のエッジ検出処理を行う。このようにして、ゾーベルフィルタ311は、赤外画像を構成する各画素について、垂直成分のエッジ検出処理を行う。
Figure 0006176582
[数8]
SP*S2=絶対値{−1×EG(X−1,Y−1)−2×EG(X,Y−1)−1×EG(X+1,Y−1)+0×EG(X−1,Y)+0×EG(X,Y)+0×EG(X+1,Y)+1×EG(X−1,Y+1)+2×EG(X,Y+1)+1×EG(X+1,Y+1)}
続いて、ゾーベルフィルタ311は、赤外画像を構成する各画素について、求めた水平成分及び垂直成分の比較を行う。そして、ゾーベルフィルタ311は、水平成分が垂直成分以上である場合は、数9に基づいて、対象画素のエッジ成分を決定する。一方、ゾーベルフィルタ311は、水平成分が垂直成分よりも小さい場合は、数10に基づいて、対象画素のエッジ成分を決定する。このようにして、ゾーベルフィルタ311は、赤外画像を構成する各画素について、エッジ成分を決定する。
[数9]
エッジ成分=水平成分+垂直成分/2
[数10]
エッジ成分=垂直成分+水平成分/2
これにより斜め方向も含めたエッジ成分を簡易的に算出することができる。
2値化処理312は、ゾーベルフィルタ311が出力した、赤外画像を構成する各画素のエッジ成分に対して、2値化処理を行う。エッジ成分の小さい画素は、ノイズ成分や微小なテクスチャー成分に相当し、強調処理する必要がない。そのため、2値化処理312は、エッジ成分に対して所定の閾値を設けて2値化し、赤外画像を構成する各画素においてICGの発光領域の輪郭部を選択的に抜き出す。なお、2値化の閾値を操作者140が選択できるようにして、輪郭部の検出度合いを調整できるようにしてもよい。
孤立点除去処理313は、2値化処理312が出力した赤外画像の2値情報に対して、孤立点除去処理を行う。孤立点除去処理313は、黒画素の中に孤立して存在している白画素を粒上のノイズ成分と判断して黒画素に変換し、白画素の中に孤立して存在している黒画素を粒上のノイズ成分と判断して白画素に変換する処理である。撮像照射装置200による映像の投影対象となる患部130が他の臓器と癒着しており、癒着を剥離した後のように患部130の表面状態があまり良くない場合に、2値化処理312によるエッジ成分の2値化処理のみではノイズ成分を十分に除去できない場合がある。そのため、孤立点除去処理313は、エッジ成分の2値化処理後に孤立点除去処理を行う。これにより、ICG発光領域の輪郭部の大部分は残したまま、細かい粒上のノイズ成分を除去することができる。なお、孤立点除去処理313によるノイズ除去効果の程度を操作者140が選択できるようにしてもよい。このとき、選択肢として、例えば、対象画素の上下左右の4画素から判定する場合(ノイズ除去効果:小)と、斜めも含めた8画素から判定する場合(ノイズ除去効果:大)の2通りを用意しておいてもよい。また、患部130の状態や様々な症例などに応じて、操作者140が孤立点除去処理313のON/OFFを調整できるようにしてもよい。
色変換処理314は、ICG発光領域に対する可視光投影の視認性を上げるために、孤立点除去処理313が出力したエッジ成分(ICG発光領域の輪郭部)の色変換を行う。操作者140は、ICG発光領域の輪郭部の色を、選択肢として並んだ色のバリエーションの中から一つ選択することができる。色変換処理314は、操作者140により選択された色へと、エッジ成分(ICG発光領域の輪郭部)の色を変換する。
遅延処理320は、入力301から、赤外カメラ210により撮像され生成された赤外画像を取得する。そして、遅延処理320は、取得した赤外画像に対して所定ライン分の遅延処理を行う。より具体的には、遅延処理320は、入力301から取り込まれた同一内容の赤外画像について、ガウシアンフィルタ310、ゾーベルフィルタ311、2値化処理312、孤立点除去処理313、色変換処理314の経路に沿って処理されるエッジ検出のタイミングと、多値化処理321、色変換処理322の経路に沿って処理される画像のタイミングとが、重畳処理323における重畳のときに合致するように、赤外画像を遅延させる。これにより、重畳処理323において適切な重畳画像を得ることができる。なお、図2に示す例では、遅延処理320は、多値化処理321、色変換処理322の前処理として配置されているが、これに限定されない。重畳処理323においてタイミングを合わせることができれば、多値化処理321と色変換処理322との間に配置してもよいし、色変換処理322の後に配置してもよい。
多値化処理321は、遅延処理320から出力された赤外画像に対して、多値化処理を行う。例えば、元の赤外画像の階調が256階調であるとする。多値化処理321は、元の赤外画像に対して、2階調、4階調、8階調、256階調のいずれか操作者140が設定した階調への変換処理を行う。
2階調が設定された場合、多値化処理321は、閾値を127に設定する。そして、赤外画像のうち階調が0〜127を示す画素について、その画素の値は0に変換される。一方、赤外画像のうち階調が128〜255を示す画素について、その画素の値は255に変換される。これにより、多値化処理321は、2階調の赤外画像を生成する。
4階調が設定された場合、多値化処理321は、63、127、191の3つの閾値を設定する。そして、赤外画像のうち階調が0〜63を示す画素について、その画素の値は0に変換される。また、赤外画像のうち階調が64〜127を示す画素について、その画素の値は85に変換される。また、赤外画像のうち階調が128〜191を示す画素について、その画素の値は170に変換される。また、赤外画像のうち階調が192〜255を示す画素について、その画素の値は255に変換される。これにより、多値化処理321は、4階調の赤外画像を生成する。
8階調が設定された場合、多値化処理321は、31、63、95、127、159、191、223の7つの閾値を設定する。そして、赤外画像のうち階調が0〜31を示す画素について、その画素の値は0に変換される。また、赤外画像のうち階調が32〜63を示す画素について、その画素の値は36に変換される。また、赤外画像のうち階調が64〜95を示す画素について、その画素の値は73に変換される。また、赤外画像のうち階調が96〜127を示す画素について、その画素の値は109に変換される。また、赤外画像のうち階調が128〜159を示す画素について、その画素の値は146に変換される。また、赤外画像のうち階調が160〜191を示す画素について、その画素の値は182に変換される。また、赤外画像のうち階調が192〜223を示す画素について、その画素の値は219に変換される。また、赤外画像のうち階調が224〜255を示す画素について、その画素の値は255に変換される。これにより、多値化処理321は、8階調の赤外画像を生成する。
256階調が設定された場合、多値化処理321は、元の赤外画像の階調をそのまま出力する。すなわち、256階調の赤外画像を出力する。
以上のようにして、操作者140は、患部130の状態や様々な症例などに応じて、最適な階調数を設定することができる。
なお、操作者140が選択できる階調数の中には、元画像の階調数と同じ数があってもよい。
色変換処理322は、ICG発光領域に対する可視光投影の視認性を上げるために、多値化処理321が出力した赤外画像(ICG発光領域の面部及び、面部を囲む背景)の色変換を行う。操作者140は、ICG発光領域の面部の色を、選択肢として並んだ複数の色のバリエーションの中から一つ選択することができる。同様に、操作者140は、ICG発光領域の面部を囲む背景の色を、選択肢として並んだ複数の色のバリエーションの中から一つ選択することができる。本実施の形態では、背景の色として、黒色又は白色のうち一つを選択することができる。特に、背景の色として白色を選択した場合、無影灯を点灯させる必要なく、手術に必要な術野の明るさと、ICG発光領域の視認性を両立することができる。色変換処理322は、操作者140により選択された色へと、赤外画像(ICG発光領域の面部及び、面部を囲む背景)の色を変換する。
重畳処理323は、色変換処理322から出力された色変換済みの赤外画像(ICG発光領域の面部及び、面部を囲む背景)に対して、色変換処理314から出力された色変換済みのエッジ成分(ICG発光領域の輪郭部)を重畳処理する。この重畳処理の対象となる赤外画像とエッジ成分は、同タイミングで赤外カメラ210により撮像された赤外画像に基づくことは先述したとおりである。重畳処理323は、出力302を介して、重畳処理済みの赤外画像に基づく投影制御データを、プロジェクタ220に供給する。これにより、プロジェクタ220は、ICG発光領域の面部、面部を囲む背景、輪郭部に対して可視光を投影することができる。
インターフェイス330は、表示制御装置150と電気的に接続されている。そして、インターフェイス330は、表示制御装置150から通知された設定操作に関する制御信号を、投影制御装置300が使用可能な信号へと変換する。具体的には、インターフェイス330は、USB/IIC変換器により、表示制御装置150で制御された各種の設定値を、投影制御装置300で使用可能なIIC信号に変換する。そして、インターフェイス330は、変換した信号を、多値化処理321、色変換処理314、色変換処理322に供給する。これにより、操作者140による各種の設定操作を反映させることができる。
<4.投影制御装置による画像処理>
続いて、操作者140が各種の設定操作を行う際に、ディスプレイ160に表示される画面について説明する。図3は、操作者140が各種の設定操作を行う際に、表示される画面を説明する図である。
図3に示すように、ディスプレイ160には、複数のタブにより区分けされたウインドウが表示される。複数のタブのそれぞれは、ICG発光領域の面部を囲む背景の色を示している。図3に示す例では、複数のタブのそれぞれは、黒背景タブ400、白背景タブ500、黄色背景タブ600を示している。操作者140は、いずれかのタブを、マウス170を用いてクリックすることにより、いずれかの背景色を選択する。いずれかのタブが選択されると、ディスプレイ160は、その選択されたタブにかかる選択項目のメニューを、他のタブにかかる選択項目のメニューの前面に表示する。
図3(A)、(B)に示す各メニューの構成例について説明する。まず、図3(A)を用いて、ICG発光領域の面部を囲む背景の色として黒色が選択された場合を説明する。図3(A)は、ICG発光領域の面部を囲む背景の色として黒色が選択されたときのメニューを示している。
操作者140は、黒背景タブ400を、マウス170を用いてクリックすると、ディスプレイ160は、図3(A)に示すように、黒背景が選択された場合に、ICG発光領域の面部に対して投影する色(項目410)、ICG発光領域の面部に対する投影の階調数(項目420)、ICG発光領域の輪郭部(面部と背景との境界)に対して投影する色(項目430)、のそれぞれを選択するためのボタンを配置したメニューを表示する。項目410、項目420、項目430について順番に説明する。
まず、項目410について説明する。ICG発光領域の面部に対して投影する色(項目410)を選択するために、白色ボタン411、黄色ボタン412、緑色ボタン413、シアンボタン414、OFFボタン415が配置され表示される。
操作者140が項目410のいずれかのボタンを選択した場合、表示制御装置150は、その選択にかかる通知を投影制御装置300(色変換処理322)に対して行う。これにより、投影制御装置300(色変換処理322)は、操作者140から選択された色により赤外画像の色変換を行う。そして、投影制御装置300は、プロジェクタ220に対して、操作者140から選択された色による面部の投影を行わせる。すなわち、操作者140が、白色ボタン411を選択した場合、面部に対する投影色が白色に切り替わる。同様に、操作者140が、黄色ボタン412を選択した場合、黄色に切り替わる。操作者140が、緑色ボタン413を選択した場合、緑色に切り替わる。操作者140が、シアンボタン414を選択した場合、シアン色に切り替わる。また、操作者140が、OFFボタン415を選択した場合、ICG発光領域への投影はOFF状態とする。すなわち、OFFボタン415を選択した場合、ICG発光領域は、背景色と同じ黒色となる。
次に、項目420について説明する。黒背景が選択されたか否かに関わらず、ICG発光領域の面部に対する投影の階調数を選択するために、2階調ボタン421、4階調ボタン422、8階調ボタン423、256階調ボタン424が配置され表示される。
操作者140が項目420のいずれかのボタンを選択した場合、表示制御装置150は、その選択にかかる通知を投影制御装置300(多値化処理321)に対して行う。これにより、投影制御装置300(多値化処理321)は、操作者140から選択された階調数により赤外画像の多値化処理を行う。そして、投影制御装置300は、プロジェクタ220に対して、操作者140から選択された階調数による面部の投影を行わせる。すなわち、操作者140が2階調ボタン421を選択した場合、面部に対する投影が2階調に切り替わる。操作者140が4階調ボタン422を選択した場合、面部に対する投影が4階調に切り替わる。操作者140が8階調ボタン423を選択した場合、面部に対する投影が8階調に切り替わる。そして、操作者が256階調ボタン424を選択した場合、面部に対する投影が256階調(階調を限定しない)に切り替わる。
最後に、項目430について説明する。ICG発光領域の輪郭部に対して投影する色(項目430)を選択するために、白色ボタン431、黄色ボタン432、緑色ボタン433、シアン色ボタン434、OFFボタン435が配置され表示される。操作者140が項目430のいずれかのボタンを選択した場合、表示制御装置150は、その選択にかかる通知を投影制御装置300(色変換処理314)に対して行う。これにより、投影制御装置300(色変換処理314)は、操作者140から選択された色により赤外画像の色変換を行う。そして、投影制御装置300は、プロジェクタ220に対して、操作者140から選択された色による輪郭部の投影を行わせる。操作者140により、白色ボタン431、黄色ボタン432、緑色ボタン433、シアン色ボタン434、OFFボタン435のいずれかが選択されたときの、投影色の切り替え動作については、項目410の面部に対する場合と同様であるため、詳細説明は省略する。
続いて、図3(B)を用いて、ICG発光領域の面部を囲む背景の色として白色が選択された場合を説明する。図3(B)は、ICG発光領域の面部を囲む背景の色として白色が選択されたときのメニューを示している。
操作者140は、白背景タブ500を、マウス170を用いてクリックすると、ディスプレイ160は、図3(B)に示すように、白背景が選択された場合に、ICG発光領域の面部に対して投影する色(項目510)、ICG発光領域の面部に対する投影の階調数(項目520)、ICG発光領域の輪郭部(面部と背景との境界)に対して投影する色(項目530)、のそれぞれを選択するためのボタンを配置したメニューを表示する。項目510、項目520、項目530について順番に説明する。
まず、項目510について説明する。ICG発光領域の面部に対して投影する色(項目510)を選択するために、青色ボタン511、シアン色ボタン512、緑色ボタン513、赤色ボタン514、OFFボタン515が配置され表示される。操作者140が項目510のいずれかのボタンを選択した場合の投影色の切り替え動作については、黒背景の場合に項目410のいずれかのボタンを選択した場合と同様であるため、詳細説明は省略する。
次に、項目520について説明する。白背景が選択されたか否かに関わらず、ICG発光領域の面部に対する投影の階調数を選択するために、2階調ボタン521、4階調ボタン522、8階調ボタン523、256階調ボタン524が配置され表示される。操作者140が項目520のいずれかのボタンを選択した場合の階調数の切り替え動作については、黒背景の場合に項目420のいずれかのボタンを選択した場合と同様であるため、詳細説明は省略する。
最後に、項目530について説明する。ICG発光領域の輪郭部に対して投影する色(項目530)を選択するために、青色ボタン531、シアン色ボタン532、緑色ボタン533、赤色ボタン534、OFFボタン535が配置され表示される。操作者140が項目530のいずれかのボタンを選択した場合の投影色の切り替え動作については、黒背景の場合に項目430のいずれかのボタンを選択した場合と同様であるため、詳細説明は省略する。
図3(A),(B)に示すように、手術支援システム100は、ICG発光領域の面部を囲む背景の色に応じて、選択できるICG発光領域の色及び、エッジ部分の色を限定させている。換言すると、選択した背景色によって、面部及び輪郭部の色として選択できる色の選択肢を異ならせている。すなわち、黒背景を選択したときに、面部及び輪郭部の色として選択できる色の選択肢(白色、黄色、緑色、シアン色)と、白背景を選択したときに、面部及び輪郭部の色として選択できる色の選択肢(青色、シアン色、緑色、赤色)とを異ならせている。詳細説明は省略するが、黄色背景タブ600がクリックされ、黄色背景が選択された場合も、黒背景及び白背景が選択された場合とは、面部及び輪郭部の色として選択できる色の選択肢を異ならせる。これにより、操作者140は、背景色に対して適切な面部及び輪郭部の色を、迅速に選択することができる。
なお、背景色の色にかかわらず、ICG発光領域の面部に対して投影する色と、輪郭部(面部と背景との境界)に対して投影する色とを同じ色とした場合、ICG発光領域の面部と輪郭部の見分けがつかなくなる。そのため、ICG発光領域の面部と輪郭部とで、同色の投影色の選択はできないようにしてもよい。例えば、面部の色選択にかかる項目410で黄色ボタン412を選択し、ICG発光領域の面部に対する投影色を黄色に切り替えたときは、輪郭部の色選択にかかる項目420では、黄色ボタン432を自動的に押せないようにしてもよい。但し、例外として、OFFボタン415、435については、面部及び輪郭部に対する投影をOFF状態とすることが目的であるため、同時にボタンを押せるようにしてもよい。これにより、プロジェクタ220が投影する全画面を強制的に黒画面にできるようにしてもよい。黒背景の場合で説明したが、白背景の場合もこれらは同様である。
ここで、ICG発光領域の面部を囲む背景の色に応じて、選択できるICG発光領域の面部及び輪郭部の色を限定させる意義について詳細を説明する。
投影光の色の差に対する視認性を高めるために、最も重要な色の要素が「明度差」であり、その次に「彩度差」「色相差」の順番になることが一般的に知られている。例えば、明度が最も低い黒色を背景色とした場合に、明度差が一番大きくなる色として、無彩色の中で明度が一番大きい白色、有彩色の中で明度が一番大きい黄色があげられる。つまり、背景色を黒色とした場合に視認性を最も高くするためには、ICG発光領域の面部に対する投影光の色として白色や黄色を選択すればよい。黒色と黄色の組み合わせの例としては、運転手への注意喚起を促す「警戒標識」の交通標識や、「製造物責任法(PL法)」に基づき製品に貼られるラベル等にも採用されている。
一方、明度が最も高い白色を背景色とした場合に、明度差が一番大きくなる色として、無彩色の中で明度が一番小さい黒色、有彩色の中で明度が一番小さい青色があげられる。つまり、背景色を白色とした場合に視認性を最も高くするためには、ICG発光領域の面部に対する投影色の色として黒色や青色を選択すればよい。但し、背景色が白色で、ICG発光領域の面部への投影色が黒色の組み合わせとした場合、赤外カメラ210より撮像された赤外画像中の黒い部分(ICG発光強度が弱い部分)が白色に投影され、赤外カメラ210より撮像された赤外画像中の白い部分(ICG発光強度が強い部分)が黒色に投影されてしまう。このとき、操作者140が患部130に投影されたICGの発光強度分布を間違って認識してしまう可能性があるため、色の組わせとしては避けるほうが望ましい。従って、背景色を白色とした場合に、操作者140が誤認識することなくかつ視認性を最も高くするためには、ICG発光領域の面部への投影色の色として青色を投影色として選択すればよい。白色と青色の組み合わせの例としては、運転手に対して瞬時に情報を伝えるための「指示標識」や「案内標識」などの交通標識にも採用されている。
上記では、視認性を高めるために、背景色に応じて異なる投影色を選択可能とした。これは、患部130の色に応じて医師に見やすい投影色を選択可能としてもいいし、眼の負担の少ない投影色を選択可能としてもよい。或いは、手術中に患部130等から生じる体液の色とは異なる投影色を選択可能としてもよいし、投影対象となる患部の表面状態(血管の脈管や切断面の組織状態など)が見やすい投影色を選択可能としてもよい。
なお、上記では、赤外の励起光とICGとを組み合わせて赤外蛍光を検知していたが、それ以外の組み合わせ、例えば、可視光の励起光と試薬を用いて、可視光の蛍光を検知する等、励起光の波長と、検知する蛍光の波長はいずれでもよいが、蛍光の波長は、投影する光の波長と異なることが望ましい。
また、患部130へ投影する情報としては、CT、MRI画像、超音波画像や、それらの画像を元に構成された3Dシミュレーション画像でもよい。
<5.投影映像>
続いて、手術支援システム100による患者120に対する投影映像について説明する。図4は、背景色が黒色で階調数を2階調に限定した場合の投影映像を示すイメージ図である。
背景色を黒色に選択した場合、図4(A)〜(D)に示す背景132のように、ICG発光強度が弱い領域(ICG非発光領域)では、階調が0に変換されるため投影光が投影されない。一方、ICG発光強度が強い領域では投影階調が255に変換され、図4(A)〜(D)に示す患部130のように、操作者140に選択された投影色に応じた色の投影光が投影される。さらに、ICG発光領域の輪郭部に対しても、図4(A)〜(D)に示す輪郭部131のように、選択された投影色に応じた色の投影光が照射される。
図5は、背景色が白色で階調数を2階調に限定した場合の投影映像を示すイメージ図である。背景色を白色に選択した場合、図5(A)〜(D)に示す背景132のように、ICG発光強度が弱い領域(ICG非発光領域)では、RGBのいずれも階調が255に変換され、白色の投影光が投影される。一方、ICG発光強度が強い領域では、RGBのうち設定された投影色に影響しない要素の階調が0に変換され、図5(A)〜(D)に示す患部130のように、操作者140に選択された投影色に応じた色の投影光が投影される。さらに、ICG発光領域の輪郭部に対しても、図5(A)〜(D)に示す輪郭部131のように、選択された投影色に応じた色の投影光が照射される。なお、背景色を白色に選択した場合に、ICG発光領域への投影色として青色を選択すると、最も視認性が高くなる。また、シアン色や緑色を選択すると、良好な視認性が得られるとともに、目が疲れにくくなる。また、症例によっては、体液が緑色など他の色と似ている場合がある。このときは、誤認を避けるため、赤色が選択される。
黒背景とする場合と、白背景とする場合のともに、輪郭部131に対して投影する投影光の色は、患部130に対して投影する投影光の色とは異なるようにすると、輪郭部の位置が明確になる。但し、ICG発光領域とICG非発光領域との境界と、ICG発光領域の輪郭部は必ずしも一致するとは限らない。なお、階調数を2階調に限定した時に、最適な投影映像を得るために、階調を0と255とに分割するための閾値を変えて調整してもよい。また、階調は0,255に限定した値でなくてもよい。
図6は、背景色が白色で階調数を4階調に限定した場合の投影映像を示すイメージ図である。8階調、256階調の場合も階調数が異なるだけであり、4階調の場合と同様の投影映像となる。図6(A)に示す患部130A〜Dのように、4階調設定では、ICG発光強度が弱い順に0,85,170,255の4段階に階調を割り当て、操作者140により選択された投影色に応じた色の投影光が投影される。さらに、ICG発光領域の輪郭部131にも選択された投影色に応じた色の投影光が照射される。但し、2階調のときと同様に、各階調の投影領域の境界部と、ICG発光領域の輪郭部は必ずしも一致するとは限らない。なお、階調数を4階調に限定した時に、最適な投影映像を得るために、階調を0,85,170,255に分割するための閾値を変えて調整してもいい。また、全ての閾値を個別に設定してもいいし、一つの閾値を設定するとそれ以外の閾値が連動して決定されるようにしてもいい。また、投影階調は0,85,170,255に限定した値でなくてもいい。
ここで、ICG発光領域の面部に対して階調表現するときの投影色について、更に詳細を説明する。
患部130上の投影映像のICG発光強度の情報量と視認性は相反する関係にあり、階調数が大きくなるほど微妙なICG発光強度の変化を投影により表現することができるが、各階調の投影色の差分が小さくなるためメリハリがなく視認性の低い投影映像となってしまう。一方、階調数が小さくなるほど微妙なICG発光強度の変化を投影により表現することは難しくなるが、各階調の投影色の差分が大きくなるためメリハリがあり視認性の高い投影映像が得られる。
ここで階調表現する際の投影色であるが、前述したとおり視認性を高めるためには「明度差」が重要な要素になる。そのため、基本的には明度を変化させることで階調を表現することが望ましい。しかしながら、ICG発光領域の面部に対して、背景色との明度の差がある色を投影した場合、背景色より明るい色はより明るく、暗い色はより暗く見える「明度対比」という人間の視覚特性が存在する。背景色が黒色である場合は、背景色の明度に比べてICG発光領域の面部に対する投影色の明度は必ず大きい値となる。そして、明度対比の効果により、人間の目には本来の明るさ以上に明るいと感じられ、各階調の投影色の差分がより強調されて見えることになる。従って、黒背景とした場合は、選択した投影色により、ICG発光領域の面部に対して良好に投影することができる。
一方、背景色が白色である場合は、背景色の明度に比べてICG発光領域の面部に対する投影色の明度は必ず小さい値となる。そして、明度対比の効果により、人間の目には本来の明るさより暗くなったと感じられ、各階調の投影色の差分がより判別しにくくなる。従って、背景色を白色とする場合は、「明度差」で階調表現するのではなく、「明度差」の次に色の視認性において重要な要素である「彩度差」により階調を表現することが望ましい。
図6(B)は、ICG発光強度に対する彩度差を示す表である。図6(B)に示す例では、ICG発光強度が強くなるほど、彩度(C)が高くなるように階調表現が設定されている。
すなわち、ICG発光強度が強い領域から弱い領域に行くに従って、彩度がC4、C3、C2、C1の順で変化するように階調表現が設定されている。そして、図6(A)に示す患部130A〜Dのように、4階調の場合、ICG発光強度が弱い順に0,85,170,255の4段階に階調を割り当て、それぞれの階調に対して彩度をC1、C2,C3、C4に設定する。ここでは、ICG発光強度は、患部130A,130B,130C、130Dの順に強くなっているとする。このとき、撮像照射装置200は、患部130Aに対して、彩度C1による投影色(例えば青色)の投影を行う。患部130Bに対して、彩度C2による投影色の投影を行う。また、患部130Cに対して彩度C3による投影色の投影を行う。そして、患部130Dに対して彩度C4による投影色の投影を行う。これにより、背景色を白色とした場合であっても、ICG発光領域の面部に対して、視認性の高い階調表現による映像投影を行うことができる。
<6.まとめ>
上記のように、本開示の手術支援システム100は、赤外蛍光223を発する患部130を検出する赤外カメラ210と、赤外カメラ210が検出した患部130(ICG発光領域)を含む術野に対して、可視光を用いた投影を行うプロジェクタ220と、操作者140により選択された色に基づいて、プロジェクタ220に投影を行わせる投影制御装置300と、を備える。投影制御装置300は、術野のうち、患部130以外の領域(背景)に対してプロジェクタ220が投影する可視光の色として、黒色が選択された場合、患部130に対してプロジェクタ220が投影する可視光の色を、第1の選択肢(白色、黄色、緑色、シアン色)の中から選択可能なようにディスプレイ160にメニュー表示することで操作者140に知らせる。一方で、術野のうち、患部130以外の領域に対してプロジェクタ220が投影する可視光の色として、白色が選択された場合、患部130に対してプロジェクタ220が投影する可視光の色を、第1の選択肢に含まれる候補の組み合わせとは異なる第2の選択肢(青色、シアン色、緑色、赤色)の中から選択可能なようにディスプレイ160にメニュー表示することで操作者140に知らせる。
これにより、操作者140は、背景色に対して適切な面部及び輪郭部の色を、迅速に選択することができる。
また、上記のように、本開示の手術支援システム100において、投影制御装置300は、患部130(ICG発光領域)の輪郭部に対してプロジェクタ220が投影する可視光の色の選択肢の中から、患部130の面部に対してプロジェクタ220が投影する可視光の色として操作者が選択した色は選択できないようにする。これにより、医師は、患部130(ICG発光領域)と輪郭部との見分けることができる。
また、上記のように、本開示の手術支援システム100において、赤外カメラ210が検出する患部130(ICG発光領域)を構成する各部分からの赤外蛍光223の強度に応じて、患部130に対してプロジェクタ220に多階調による色の投影をさせる場合に、プロジェクタ220が投影する可視光の色の彩度を階調に応じて異ならせる。これにより、ICG発光領域の面部に対して、視認性の高い階調表現による映像投影を行うことができる。これは、背景色を白色とした場合において、特に有効である。
<7.その他の実施の形態>
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
上記実施の形態では、操作者140は、ディスプレイ160に表示されるメニューから、所望する色のボタンを、マウス170を用いて選択操作する場合を例示したが、本開示はこれに限定されない。投影制御装置300に接続されたスピーカから、投影色にかかる選択肢をアナウンスしてもよい。そして、操作者140は、そのアナウンスを聞いた後に、所望する色を、マイクに向かって発声することにより選択操作してもよい。もちろん、操作者140は、ディスプレイ160に表示されるメニュー上のボタンを見ながら、所望する色を、マイクに向かって発声することにより選択操作してもよい。
実施の形態1では、手術用途を例に挙げて説明したが、本開示はこれには限らない。例えば、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う必要がある場合にも、本発明を適用することができる。
具体的には、実施の形態1のICGからの赤外蛍光に代えて、工事現場や採掘現場、建築現場、材料を加工する工場などにおける、目視では状態変化を確認できないような対象物に蛍光材料を塗布し、練りこみ、或いは流し込んで、赤外カメラ210による撮像の対象とし、可視光を投影するようにしてもよい。或いは、発光ではなく、発熱箇所を熱センサで検出して、その発熱箇所に対して可視光を投影するようにしてもよい。この場合、発熱箇所から発せられる遠赤外線も、本開示における非可視光の一例である。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須で
あるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置き換え、付加、省略などを行うことができる。
本開示における投影システムは、手術用途に限定されず、工事現場や採掘現場、建築現場、材料を加工する工場など、目視では状態変化を確認できないような対象物に対して作業を行う際に適用可能である。

Claims (3)

  1. 非可視光を発する第1の領域を検出する検出部と、
    前記検出部が検出した第1の領域を含む第2の領域に対して、可視光を用いた投影を行う投影部と、
    操作者により選択された色に基づいて、前記投影部に投影を行わせる制御部と、を備え、
    前記制御部は、
    前記第2の領域のうち、前記第1の領域以外の領域に対して前記投影部が投影する可視光の色として、第1の色が選択された場合、前記第1の領域に対して前記投影部が投影する可視光の色を、第1の選択肢の中から選択可能なように操作者に知らせる一方で、
    前記第2の領域のうち、前記第1の領域以外の領域に対して前記投影部が投影する可視光の色として、前記第1の色とは異なる第2の色が選択された場合、記第1の領域に対して前記投影部が投影する可視光の色を、前記第1の選択肢に含まれる候補の組み合わせとは異なる第2の選択肢の中から選択可能なように操作者に知らせる、可視光投影装置。
  2. 前記制御部は、
    前記第1の領域の輪郭部に対して前記投影部が投影する可視光の色の選択肢の中から、前記第1の領域に対して前記投影部が投影する可視光の色として操作者が選択した色は選択できないようにする、請求項1に記載の可視光投影装置。
  3. 前記制御部は、前記検出部が検出する前記第1の領域を構成する各部分からの非可視光の強度に応じて、前記第1の領域に対して前記投影部に多階調による色の投影をさせる場合に、前記投影部が投影する可視光の色の彩度を階調に応じて異ならせる、請求項1又は2に記載の可視光投影装置。
JP2017508798A 2015-03-31 2015-09-29 可視光投影装置 Active JP6176582B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015073309 2015-03-31
JP2015073309 2015-03-31
PCT/JP2015/004946 WO2016157260A1 (ja) 2015-03-31 2015-09-29 可視光投影装置

Publications (2)

Publication Number Publication Date
JP6176582B2 true JP6176582B2 (ja) 2017-08-09
JPWO2016157260A1 JPWO2016157260A1 (ja) 2017-08-17

Family

ID=57003979

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017508798A Active JP6176582B2 (ja) 2015-03-31 2015-09-29 可視光投影装置

Country Status (4)

Country Link
US (1) US10080623B2 (ja)
EP (1) EP3263059B1 (ja)
JP (1) JP6176582B2 (ja)
WO (1) WO2016157260A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108024832A (zh) * 2015-09-28 2018-05-11 富士胶片株式会社 投影映射装置
WO2017149586A1 (ja) * 2016-02-29 2017-09-08 オリンパス株式会社 光走査型撮影投影装置および内視鏡システム
US20190376892A1 (en) * 2017-01-11 2019-12-12 Shimadzu Corporation Fluorescence imaging device and fluorescence imaging system
EP3470006B1 (en) 2017-10-10 2020-06-10 Holo Surgical Inc. Automated segmentation of three dimensional bony structure images
EP3445048A1 (en) 2017-08-15 2019-02-20 Holo Surgical Inc. A graphical user interface for a surgical navigation system for providing an augmented reality image during operation
JP2019184707A (ja) * 2018-04-04 2019-10-24 パナソニック株式会社 画像投影装置
CN108836506A (zh) * 2018-07-20 2018-11-20 东北大学 一种用于手术的不可见光显示设备和光学指导系统
EP3608870A1 (en) 2018-08-10 2020-02-12 Holo Surgical Inc. Computer assisted identification of appropriate anatomical structure for medical device placement during a surgical procedure
US11012599B2 (en) 2019-06-20 2021-05-18 Ethicon Llc Hyperspectral imaging in a light deficient environment
US11758256B2 (en) 2019-06-20 2023-09-12 Cilag Gmbh International Fluorescence imaging in a light deficient environment
JP2021021573A (ja) * 2019-07-24 2021-02-18 株式会社島津製作所 イメージング装置
BE1029880B1 (nl) * 2021-10-26 2023-05-30 Rods&Cones Holding Bv Geautomatiseerde gebruikersvoorkeursinstellingen
CN113974832B (zh) * 2021-12-01 2023-01-24 辽宁北镜医疗科技有限公司 具有投影导航功能的近红外荧光手术导航系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195587A1 (en) * 2004-03-08 2005-09-08 Moctezuma De La Barrera Jose L. Enhanced illumination device and method
WO2009120228A1 (en) * 2008-03-24 2009-10-01 General Electric Company Image processing systems and methods for surgical applications
JP2012023492A (ja) * 2010-07-13 2012-02-02 Sony Corp 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
WO2015001807A1 (ja) * 2013-07-05 2015-01-08 パナソニックIpマネジメント株式会社 投影システム
JP2015012992A (ja) * 2013-07-05 2015-01-22 パナソニック株式会社 手術支援システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3568280B2 (ja) 1995-07-12 2004-09-22 富士写真フイルム株式会社 外科手術支援システム
DE60130170T2 (de) * 2000-06-06 2008-05-21 Fujifilm Corp. Fluorezentlicht Bilddarstellungsverfahren und Gerät dafür
US8473035B2 (en) * 2003-09-15 2013-06-25 Beth Israel Deaconess Medical Center Medical imaging systems
US7720306B2 (en) * 2005-08-29 2010-05-18 Photomed Technologies, Inc. Systems and methods for displaying changes in biological responses to therapy
US20080004533A1 (en) * 2006-06-30 2008-01-03 General Electric Company Optical imaging systems and methods
US20120078088A1 (en) * 2010-09-28 2012-03-29 Point of Contact, LLC. Medical image projection and tracking system
US20140039309A1 (en) * 2012-04-26 2014-02-06 Evena Medical, Inc. Vein imaging systems and methods
US10517483B2 (en) * 2012-12-05 2019-12-31 Accuvein, Inc. System for detecting fluorescence and projecting a representative image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195587A1 (en) * 2004-03-08 2005-09-08 Moctezuma De La Barrera Jose L. Enhanced illumination device and method
WO2009120228A1 (en) * 2008-03-24 2009-10-01 General Electric Company Image processing systems and methods for surgical applications
JP2012023492A (ja) * 2010-07-13 2012-02-02 Sony Corp 撮像装置、撮像システム、手術用ナビゲーションシステム、及び撮像方法
WO2015001807A1 (ja) * 2013-07-05 2015-01-08 パナソニックIpマネジメント株式会社 投影システム
JP2015012992A (ja) * 2013-07-05 2015-01-22 パナソニック株式会社 手術支援システム

Also Published As

Publication number Publication date
EP3263059B1 (en) 2018-11-21
JPWO2016157260A1 (ja) 2017-08-17
US10080623B2 (en) 2018-09-25
WO2016157260A1 (ja) 2016-10-06
EP3263059A1 (en) 2018-01-03
EP3263059A4 (en) 2018-01-03
US20180014901A1 (en) 2018-01-18

Similar Documents

Publication Publication Date Title
JP6176582B2 (ja) 可視光投影装置
JP6785941B2 (ja) 内視鏡システム及びその作動方法
JP6319449B2 (ja) イメージング装置
JP2023076644A (ja) 内視鏡システム
US20210169306A1 (en) Medical image processing apparatus, endoscope system, and method for operating medical image processing apparatus
WO2016072237A1 (ja) 内視鏡システム
US12052526B2 (en) Imaging system having structural data enhancement for non-visible spectra
JP2020065685A (ja) 内視鏡システム
WO2021201272A1 (ja) 医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム
US12075198B2 (en) Image projection apparatus
NL2003807C2 (en) A method and system for visualizing monochromatic images in color hue.
WO2019198576A1 (ja) 医療画像処理装置
WO2021210676A1 (ja) 医療画像処理装置、内視鏡システム及び医療画像処理装置の作動方法並びに医療画像処理装置用プログラム
JP2018134413A (ja) イメージング装置
JP6295915B2 (ja) イメージング装置
US20200302610A1 (en) Medical image processing device, medical observation device, method of processing image, and computer readable recording medium
US11415517B1 (en) Unwanted near-infrared signal suppression
JPWO2016017476A1 (ja) 内視鏡のためのビデオプロセッサ及びそれを備えた内視鏡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170508

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170508

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170630

R151 Written notification of patent or utility model registration

Ref document number: 6176582

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151