JP6638859B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP6638859B2 JP6638859B2 JP2019505314A JP2019505314A JP6638859B2 JP 6638859 B2 JP6638859 B2 JP 6638859B2 JP 2019505314 A JP2019505314 A JP 2019505314A JP 2019505314 A JP2019505314 A JP 2019505314A JP 6638859 B2 JP6638859 B2 JP 6638859B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- weak change
- image processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Description
この発明は、撮像装置に関し、特に、撮像された画像において所定の画像処理を行う画像処理部を備える撮像装置に関する。
従来、撮像された画像において所定の画像処理を行う画像処理部を備える撮像装置が知られている。このような撮像装置は、たとえば、特開2015−188559号公報に開示されている。
上記特開2015−188559号公報には、赤外線(励起光)を照射することにより被撮像体に注入された造影剤から発生する赤外線(蛍光)を撮影するカメラ(撮像部)と、カメラにより撮像された赤外線に画像処理を行う画像処理部と、画像処理が行われた赤外画像を表示する表示部とを備える医療用イメージング装置(画像処理装置)が開示されている。そして、表示部に表示される造影剤の赤外線の画像を、医師の目視(肉眼)により判断して診断することが行われている。また、赤外線の画像において、造影剤が流される前後での造影剤から生じる蛍光の輝度値の強弱に伴い、輝度値の変化が相対的に大きい領域と小さい領域とが生じると考えられる。このため、輝度値の変化が小さい領域は、比較的暗くなる。
しかしながら、上記特開2015−188559号公報に開示されている医療用イメージング装置(撮像装置)では、造影剤が流される前後での輝度値の変化が小さい領域は、比較的暗くなるため、輝度値の変化が小さい領域に対しての見落としが生じる可能性がある。そのため、輝度値の変化の小さい領域(造影剤の流れの弱い領域)に対して、使用者による見落としが生じることを抑制するように画像を表示させることが可能な撮像装置が望まれている。
この発明は、上記のような課題を解決するためになされたものであり、この発明の1つの目的は、輝度値の変化の小さい領域に対して、使用者による見落としが生じることを抑制するように画像を表示させることが可能な撮像装置を提供することである。
上記目的を達成するために、この発明の第1の局面における撮像装置は、被撮像体を撮像するための撮像部と、撮像部により撮像された被撮像体の画像を処理するための画像処理部と、撮像部を制御するとともに表示部に撮像部により撮像された画像を表示させる制御部とを備え、画像処理部は、撮像部により撮像された画像において、輝度値の変化が生じた領域のうち、第1のしきい値よりも小さい輝度値の変化が生じた弱変化領域を判別し、弱変化領域の近傍の領域に鮮明化のための所定の画像処理を行うように構成されており、制御部は、弱変化領域の近傍の領域に対して所定の画像処理が行われた画像を表示部に表示させるように構成されている。
この発明の一の局面による撮像装置では、上記のように、画像処理部を、撮像部により撮像された画像において、輝度値の変化が生じた領域のうち、第1のしきい値よりも小さい輝度値の変化が生じた弱変化領域を判別し、弱変化領域の近傍の領域に鮮明化のための所定の画像処理を行うように構成し、制御部を、弱変化領域の近傍の領域に対して鮮明化のための所定の画像処理が行われた画像を表示部に表示させるように構成する。これにより、弱変化領域の近傍の領域が鮮明化されるので、輝度値の変化が生じた領域のうち、輝度値の変化の小さい領域(弱変化領域)に対して、使用者による見落としが生じることを抑制するように画像を表示させることができる。
なお、本願において、「輝度値の変化」とは、ある基準となる画像(たとえば、初期状態の画像)からの輝度値の変化を示している。
上記一の局面による撮像装置では、好ましくは、画像処理部は、弱変化領域の近傍の弱変化領域以外の領域に対して、弱変化領域を強調する所定の画像処理を行うように構成されている。このように構成すれば、輝度値の変化が生じた領域の情報(相対的な輝度等)を変化させることなしに、輝度値の変化が相対的に小さい領域(弱変化領域)に対して、使用者による見落としが生じることを抑制するように画像を表示させることができる。
この場合、好ましくは、画像処理部は、弱変化領域の近傍の領域を枠線により取り囲むことにより、弱変化領域を強調する所定の画像処理を行うように構成されている。このように構成すれば、輝度値の変化が生じた領域の情報(相対的な輝度等)を変化させることなしに、輝度値の変化が相対的に小さい領域(弱変化領域)を枠線により強調し、使用者による見落としが生じることを枠線により抑制するように画像を表示させることができる。
上記弱変化領域の近傍の弱変化領域以外の領域に対して、弱変化領域を強調する所定の画像処理を行う構成において、好ましくは、画像処理部は、弱変化領域の近傍の弱変化領域以外の領域を所定の色に塗りつぶすことにより、弱変化領域を強調する所定の画像処理を行うように構成されている。このように構成すれば、輝度値の変化が生じた領域の情報(相対的な輝度等)を変化させることなしに、輝度値の変化が相対的に小さい領域(弱変化領域)を色の塗りつぶしにより強調し、使用者による見落としが生じることを色の塗りつぶしにより抑制するように画像を表示させることができる。
上記弱変化領域の近傍の弱変化領域以外の領域に対して、弱変化領域を強調する所定の画像処理を行う構成において、好ましくは、画像処理部は、弱変化領域の近傍の弱変化領域以外の領域を点滅させることにより、弱変化領域を強調する所定の画像処理を行うように構成されている。このように構成すれば、輝度値の変化が生じた領域の情報(相対的な輝度等)を変化させることなしに、輝度値の変化が相対的に小さい領域(弱変化領域)を点滅により強調し、使用者による見落としが生じることを点滅により抑制するように画像を表示させることができる。
上記一の局面による撮像装置では、好ましくは、画像は、被撮像体の全体を表示するための第1の画像と被撮像体の特定の領域を表示するための第2の画像とを含み、画像処理部は、撮像部により撮像された第2の画像において、輝度値の変化が生じた領域のうち、弱変化領域を判別し、弱変化領域の近傍の領域に鮮明化のための所定の画像処理を行うように構成されており、制御部は、第1の画像と、弱変化領域に対して鮮明化のための所定の画像処理が行われた第2の画像とを重ね合わせた重畳画像を表示部に表示させるように構成されている。このように構成すれば、たとえば、被撮像体の全体を可視光により撮像する第1の画像と、近赤外光により励起された造影剤の蛍光(被撮像体の造影剤の領域)を撮像する第2の画像とを重ね合わせた重畳画像を表示する際に、第2の画像中の造影剤の蛍光の相対的に弱い部分(弱変化領域)に対して鮮明化のための所定の画像処理が行われるので、医師等の使用者が見る重畳画像中の第2の画像に由来する輝度値の変化が相対的に小さい領域(弱変化領域)に対して、医師等の使用者による見落としが生じることを抑制するように重畳画像を表示させることができる。
なお、本願において、「被撮像体の全体」とは、被撮像体の撮像範囲内の全体を示しており、被撮像体そのものの全体を意味していない。
上記一の局面による撮像装置では、好ましくは、画像処理部は、弱変化領域を線画像に変化させる細線化処理を行うように構成されている。このように構成すれば、たとえば、輝度値の変化が相対的に小さい領域(弱変化領域)が大きく広がってぼやけている場合に、輝度値の変化が相対的に小さい領域を線画像に変化させて鮮明化することにより、使用者による見落としが生じることをより抑制するように画像を表示させることができる。
なお、本願において、「線画像に変化させる」とは、たとえば、ある画像(領域)の縁となる部分(周辺部分)を削り、画像(領域)の骨格となる部分のみを残すような画像処理を示している。
上記一の局面による撮像装置では、好ましくは、画像処理部は、第1のしきい値よりも小さい輝度値の変化が生じた弱変化領域のうち、第1のしきい値よりも小さい第2のしきい値よりも小さい輝度値の変化が生じた第1の弱変化領域と、それ以外の第2の弱変化領域とを判別し、第1の弱変化領域の近傍の第1の弱変化領域以外の領域を、第2の弱変化領域の近傍の第2の弱変化領域以外の領域よりも強く強調する所定の画像処理を行うように構成されている。このように構成すれば、輝度値の変化が相対的に小さい領域(弱変化領域)を強調する際に、輝度値の変化が小さい領域の中でもより変化が小さい領域(第1の弱変化領域)をより強く強調して表示することができる。その結果、より見落としが生じやすいより変化が小さい領域(第1の弱変化領域)に対して、使用者による見落としが生じることを抑制するように画像を表示させることができる。
上記一の局面による撮像装置では、好ましくは、画像処理部は、輝度値の変化量が、第1のしきい値以下でかつ下限値以上の場合に、弱変化領域と判別する処理を行うように構成されている。このように構成すれば、ノイズによりわずかに輝度値の変化が生じた領域に対して、鮮明化のための所定の画像処理が誤って行われた画像が表示されることを抑制することができる。
上記一の局面による撮像装置では、好ましくは、弱変化領域を判別するためのパラメータ、および、鮮明化のための所定の画像処理をどのように行うかに関連するパラメータのうちの少なくとも一方の入力を受け付ける入力部をさらに備える。このように構成すれば、被撮像体の種類(部位)や撮像条件に応じてパラメータを変えることにより、弱変化領域の判別、および、鮮明化のための所定の画像処理を適切に行うことができる。
上記一の局面による撮像装置では、好ましくは、表示部をさらに備え、表示部は、弱変化領域の近傍の弱変化領域以外の領域に対して、弱変化領域に鮮明化のための所定の画像処理が行われた画像を表示するように構成されている。このように構成すれば、撮像装置に備えられた表示部により、輝度値の変化が相対的に小さい領域(弱変化領域)に対して、鮮明化のための所定の画像処理が行われた画像を使用者に視認させることができる。
この場合、好ましくは、撮像部は、被撮像体の血管またはリンパ管に注入された造影剤から生じる蛍光を含む画像である蛍光画像と、被撮像体の可視光の画像である可視画像とを連続的に撮像することが可能に構成されており、画像処理部は、撮像部により撮像された蛍光画像において、造影剤が流されている最中に蛍光画像の弱変化領域の判別を行うとともに、弱変化領域の近傍の弱変化領域以外の領域に対して、弱変化領域の鮮明化のための所定の画像処理をリアルタイムで行うように構成されており、表示部は、可視画像と、弱変化領域に対して鮮明化のための所定の画像処理が行われた蛍光画像とを重ね合わせた重畳画像をリアルタイムで表示することが可能に構成されている。このように構成すれば、被撮像体の全体を可視光により撮像する可視画像と、近赤外光により励起された造影剤の蛍光(被撮像体の造影剤の領域)を撮像する蛍光画像とを重ね合わせた重畳画像をリアルタイムで表示することにより、表示された重畳画像(造影剤の情報)に基づいて手術等を行う際に、手術途中で医師等の使用者が即座に診断等を行うことができる。また、画像(動画)の表示までにかかる待ち時間がないため、手術等に要する時間を短縮することができる。また、重畳画像をリアルタイムで表示する際に、造影剤の蛍光の相対的に弱い領域(弱変化領域)に対して鮮明化のための所定の画像処理が行われるので、造影剤の流れが微弱な弱変化領域に対して、医師等の使用者による見落としが生じることを抑制するように重畳画像を表示させることができる。
なお、本願において、「血管」および「リンパ管」は、血管系およびリンパ系の全体を含む広い概念である。たとえば、「リンパ管」は、リンパ節を含む。
本発明によれば、上記のように、輝度値の変化の小さい領域に対して、使用者による見落としが生じることを抑制するように画像を表示させることが可能な撮像装置を提供することができる。
以下、本発明を具体化した実施形態を図面に基づいて説明する。
[実施形態]
まず、図1〜図3を参照して、本実施形態による撮像装置100の構成について説明する。また、本実施形態では、撮像装置100は、たとえば、外科手術や検査において、血管造影およびリンパ管の造影のために用いられる医療用イメージング装置である。たとえば、撮像装置100は、心臓の血管の縫合手術または乳癌センチネルリンパ節の手術において、造影された被撮像体P(患者)の血管またはリンパ管(リンパ節)の位置や、形状、内部の血液またはリンパ液の流れを、使用者U(医師等)が確認(評価)するために用いられる。具体的には、心臓の血管の縫合手術において、可視光による目視では問題なく縫合されている血管に、血液の停滞や逆流が生じている場合があるため、造影剤を流すことにより正常に血液が流れていることを確認すること等が行われている。
まず、図1〜図3を参照して、本実施形態による撮像装置100の構成について説明する。また、本実施形態では、撮像装置100は、たとえば、外科手術や検査において、血管造影およびリンパ管の造影のために用いられる医療用イメージング装置である。たとえば、撮像装置100は、心臓の血管の縫合手術または乳癌センチネルリンパ節の手術において、造影された被撮像体P(患者)の血管またはリンパ管(リンパ節)の位置や、形状、内部の血液またはリンパ液の流れを、使用者U(医師等)が確認(評価)するために用いられる。具体的には、心臓の血管の縫合手術において、可視光による目視では問題なく縫合されている血管に、血液の停滞や逆流が生じている場合があるため、造影剤を流すことにより正常に血液が流れていることを確認すること等が行われている。
(撮像装置の構成)
本実施形態による撮像装置100は、図1に示すように、筐体Cと、アーム部Aと、撮像ユニット1と、小型モニタ2と、制御部3と、記憶部4と、画像処理部5と、車輪部6と、入力部7とを備えている。撮像ユニット1は、アーム部Aにより支持されている。小型モニタ2およびアーム部Aは、筐体Cの上部に設けられている。制御部3、記憶部4および画像処理部5は、筐体Cの内部に設けられている。車輪部6は、筐体Cの下部に設けられている。入力部7は、筐体Cの前面に設けられている。また、撮像装置100は、外部モニタMと接続され、情報(画像データ等)のやり取りを行うことが可能に構成されている。なお、撮像ユニット1は、請求の範囲の「撮像部」の一例である。また、小型モニタ2および外部モニタMは、請求の範囲の「表示部」の一例である。なお、小型モニタ2は、請求の範囲の撮像装置が備える「表示部」の一例である。
本実施形態による撮像装置100は、図1に示すように、筐体Cと、アーム部Aと、撮像ユニット1と、小型モニタ2と、制御部3と、記憶部4と、画像処理部5と、車輪部6と、入力部7とを備えている。撮像ユニット1は、アーム部Aにより支持されている。小型モニタ2およびアーム部Aは、筐体Cの上部に設けられている。制御部3、記憶部4および画像処理部5は、筐体Cの内部に設けられている。車輪部6は、筐体Cの下部に設けられている。入力部7は、筐体Cの前面に設けられている。また、撮像装置100は、外部モニタMと接続され、情報(画像データ等)のやり取りを行うことが可能に構成されている。なお、撮像ユニット1は、請求の範囲の「撮像部」の一例である。また、小型モニタ2および外部モニタMは、請求の範囲の「表示部」の一例である。なお、小型モニタ2は、請求の範囲の撮像装置が備える「表示部」の一例である。
撮像装置100は、被撮像体P(図2参照)の可視画像Xa(可視光の画像、図3参照)および蛍光画像Xb(蛍光の画像、図3参照)を抽出し、抽出された可視画像Xaと蛍光画像Xbとを合成した重畳画像Xcを出力するように構成されている。撮像装置100の詳しい構成は後述する。ここで、可視画像Xaは、被撮像体Pの(撮像範囲内での)全体を表示する。また、蛍光画像Xbは、使用者U(医師等)の肉眼(目視)では視認できない波長の近赤外光により撮像される、被撮像体Pの造影剤が投与された領域(特定の領域)を表示する。なお、可視画像Xaおよび蛍光画像Xbは、それぞれ請求の範囲の「第1の画像」および「第2の画像」の一例である。
撮像ユニット1は、可視光照射部11と、近赤外光照射部12と、カメラ部13とを含む。可視光照射部11および近赤外光照射部12は、カメラ部13の有するレンズ部13aの周囲を取り囲むように各々複数配置され、それぞれあるパターンで交互に(たとえば、可視光照射部11と近赤外光照射部12とが1つずつ交互に並ぶように)円環状に配置されている。レンズ部13aには、被撮像体Pの皮膚S表面からの反射光(可視光)と、造影剤から発生された蛍光(近赤外光)とが入射する。カメラ部13は、内部にビームスプリッタ(図示せず)と2つの撮像素子部(図示せず)とをさらに有している。レンズ部13aから取り込まれた被撮像体Pの情報を含む外光(皮膚S表面からの反射光、および、造影剤からの蛍光)は、ビームスプリッタにより可視光の波長と蛍光の波長とに分離される。そして、分離された外光の各々の波長に対応する撮像素子部により、可視画像Xaと蛍光画像Xbとがそれぞれ連続的に撮像される。
すなわち、撮像ユニット1は、被撮像体の可視光の画像である可視画像Xaと、被撮像体Pの血管またはリンパ管(リンパ節)に注入された造影剤から生じる蛍光を含む画像である蛍光画像Xbとを連続的に動画の形態で撮像することが可能に構成されている。なお、蛍光画像Xbのみを撮像する場合は、可視光照射部11、ビームスプリッタおよび可視光の波長に対応する撮像素子部の配置を省略してもよい。また、可視光照射部11および近赤外光照射部12は、たとえば、発光ダイオード(LED)を含む。また、撮像素子部は、たとえば、CCD(Charge Coupled Device:電荷結合素子)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor:相補性金属酸化膜半導体)イメージセンサ等を含む。
また、近赤外光照射部12から照射される励起光は、たとえば、780〜800nmの波長を有している。また、被撮像体Pに投与された造影剤(蛍光剤)から生じる蛍光は、たとえば、800〜850nmの波長を有している。造影剤(蛍光剤)は、たとえば、蛍光色素であるインドシアニングリーン(ICG)が用いられる。インドシアニングリーン(ICG)を造影剤(蛍光剤)として用いる場合、励起光は、たとえば、800nm〜820nmの波長を有する近赤外光であり、インドシアニングリーン(ICG)から生じる蛍光は、約830nmの波長を有する近赤外蛍光である。すなわち、励起光および蛍光は、使用者U(医師等)が目視により直接視認することができないため、蛍光画像Xb(造影剤の蛍光)中の近赤外光を検出した領域(画素)は、たとえば、可視画像Xa中の被撮像体P(人体)の色(たとえば、肌や血の色)に対して区別しやすいように、白や、青、緑等の適切な可視色に着色され表示される。また、可視光照射部11から照射される可視光(白色光)は、被撮像体Pの皮膚S表面において反射された後、撮像素子部(図示せず)により撮像され、可視画像Xaとして表示される。
アーム部Aは、図2に示すように、被撮像体P(患者)の撮像対象となる部位を撮像範囲に捉えるために、折れ曲がりながら伸縮し、支持する撮像ユニット1の位置を自由に変更するように移動させることが可能に構成されている。また、撮像ユニット1の移動は、使用者U(医師等)が撮像ユニット1の把持部(図示せず)を手で掴んで引くことにより、自由に行うことができる。また、撮像ユニット1の位置は、使用者U(医師等)が手を離した位置で固定される。また、アーム部Aは、電力により駆動(移動)されてもよい。
撮像装置100が備える小型モニタ2は、図2に示すように、筐体Cの上部に配置され、撮像装置100とは別個に設けられる外部モニタMは、被撮像体P(患者)に施術する使用者U(医師等)の正面方向(A1方向側)に配置されている。また、外部モニタMは、使用者U(医師等)が被撮像体P(患者)に対する処置を行う際に、表示される各種画像を視認可能な高さに配置されている。これにより、撮像装置100の位置とは独立に、使用者U(医師等)にとって視認しやすい位置に重畳画像Xc等を表示することができる。また、小型モニタ2を撮像装置100の上部に配置することにより、たとえば、小型モニタ2に表示される重畳画像Xc等に対して、撮像装置100単体での確認をしながら、入力部7(後述)によるパラメータの設定を行うことが可能となる。なお、外部モニタMの配置される数は複数でもよく、配置を省略されてもよい。
ここで、本実施形態では、小型モニタ2および外部モニタMは、図3に示すように、制御部3から出力された可視画像Xa、蛍光画像Xb、および、重畳画像Xcをリアルタイムで表示することが可能に構成されている。なお、小型モニタ2および外部モニタMは、可視画像Xa、蛍光画像Xb、および、重畳画像Xcの並び順やそれぞれの大きさを、変更して表示することが可能である。また、小型モニタ2および外部モニタMは、たとえば、重畳画像Xcのみ表示する等、選択された特定の画像を表示することも可能である。また、図3のそれぞれの画像は、女性の胸部を撮像した画像である。
制御部3は、PC(パーソナルコンピュータ)等の情報処理装置により構成されている。また、制御部3は、CPU(中央演算処理装置)等を含む。制御部3は、記憶部4(後述)に格納された制御プログラムを実行することによって、PCを撮像装置100の制御部3として機能させる。また、制御部3は、撮像ユニット1による可視光および近赤外光の照射強度の制御や、入力部7に入力されるパラメータ(後述)等を画像処理部5に出力する制御、アーム部Aおよび車輪部6を駆動させる制御、画像処理部5から出力される画像データを小型モニタ2および外部モニタMに表示させる制御等を行う。
記憶部4は、HDD(ハードディスクドライブ)やメモリ等により構成され、撮像ユニット1により撮像された画像や、画像処理部5(後述)により処理された画像等を記憶(録画)する。また、記憶部4には、制御部3および画像処理部5が実行する各種プログラムが格納されている。なお、各種画像は、連続的に撮像される動画の形態を含んでいる。
画像処理部5は、撮像ユニット1の有する撮像素子部(図示せず)により取得される画像データ(検出された信号)に基づいて、可視画像Xaおよび蛍光画像Xbを取得する。ここで、画像処理部5は、蛍光画像Xb中の造影剤の輝度値の変化が小さい領域の近傍の領域(弱変化領域)に鮮明化のための所定の画像処理(後述)を行う。そして、画像処理部5は、可視画像Xaと蛍光画像Xbとを重ね合わせた重畳画像Xcを生成し、制御部3を介して小型モニタ2および外部モニタMに表示させる。また、画像処理部5は、その他、各種画像全体の輝度値や、色調、コントラストを調整する処理、画像中のノイズを除去する処理、撮像された画像以外のGUI(グラフィカルユーザインタフェース)に関する処理等を行ってもよい。
車輪部6は、撮像装置100を使用者U(医師等)が手で押すことにより、または、車輪部6に接続される駆動部(図示せず)を駆動させることにより、容易に移動させることを可能とするために設けられている。なお、撮像装置100は、車輪部6を省略し、据え置き型の構成としてもよい。
ここで、本実施形態では、入力部7は、弱変化領域を判別(後述)するためのパラメータおよび所定の画像処理(後述)をどのように行うかに関連するパラメータの入力を受け付けるように構成されている。
具体的には、たとえば、入力部7は、医師や、助手、オペレータ(技師)等を含む使用者Uによる、弱変化領域を強調するために指定される弱変化領域の近傍の領域の大きさを決めるための、弱変化領域に対する領域のマージン(余白部)の大きさ(図8のマージンRM参照)を決めるパラメータの入力を受けつける。また、入力部7は、弱変化領域を強調するために表示される枠線の太さや、枠線の輝度値の大きさ、枠線の色等に関するパラメータの入力を受けつける。また、入力部7は、弱変化領域を強調するために、着色され塗りつぶされるとともに、点滅させられる弱変化領域の近傍の弱変化領域以外の部分に対する、塗りつぶしの色や、表示の輝度値、点滅の周期等に関するパラメータの入力を受けつける。また、入力部7は、第1のしきい値Th1、第2のしきい値Th2および下限値ThL等の値の設定に関するパラメータの入力を受けつける。また、入力部7は、細線化により対象の領域をどの程度まで細くするか(線画像化するか)に関するパラメータの入力を受けつける。また、入力部7は、蛍光画像Xb中に細線化や強調表示等の鮮明化のための所定の画像処理(後述)を行わない例外領域(たとえば、施術や検査の対象とならない領域)の設定に関するパラメータの入力を受け付ける。
また、入力部7は、撮像装置100に対するその他の入力操作も受け付けるように構成されている。たとえば、入力部7は、上記の他にも、入力操作に基づいて、可視光照射部11および近赤外光照射部12の照射強度および照射範囲の調整、および、照射の開始および停止、撮像ユニット1による撮像の感度の調整、アーム部Aの駆動、小型モニタ2および外部モニタMの画像表示の明るさの調整、および、各種画像の表示方法等に関する入力操作を受け付ける。なお、入力部7は、たとえば、キーボードや、マウス、タッチパネル等の入力機器を含む。
(鮮明化のための所定の画像処理)
以下では、図4〜図8に基づいて、本実施形態による撮像装置100(画像処理部5)による、鮮明化のための所定の画像処理について説明する。
以下では、図4〜図8に基づいて、本実施形態による撮像装置100(画像処理部5)による、鮮明化のための所定の画像処理について説明する。
本実施形態による撮像装置100は、輝度値の変化の小さい領域(造影剤の流れの弱い領域)に対して、使用者U(医師等)による見落としが生じることを抑制するように各種画像に鮮明化のための所定の画像処理を行った上で表示させることにより、使用者U(医師等)の目視による判断に依存していた造影剤による確認作業を支援することができるように構成されている。
ここで、本実施形態では、画像処理部5は、撮像ユニット1により撮像された蛍光画像Xbにおいて、輝度値の変化が生じた領域のうち、第1のしきい値Th1よりも小さい輝度値の変化が生じた弱変化領域を判別し、弱変化領域の近傍の領域に鮮明化のための所定の画像処理を行うように構成されている。また、画像処理部5は、撮像ユニット1により撮像された蛍光画像Xbにおいて、造影剤が流されている最中に蛍光画像Xbの弱変化領域の判別を行うとともに、弱変化領域の近傍の弱変化領域以外の領域に対して、弱変化領域に鮮明化のための所定の画像処理をリアルタイムで行うように構成されている。
具体的には、図4に示すように、蛍光画像Xb中には造影剤の蛍光による輝度変化が小さい微弱な流れの領域(弱変化領域)P1と、造影剤の蛍光による輝度変化が大きい確認しやすい流れの領域P2とが存在する。このような微弱な流れと確認しやすい流れが混在した状況で、使用者U(医師等)の目視のみで全ての輝度値の変化を捉え続けるのは非常に困難である。したがって、微弱な流れの領域(弱変化領域)P1に対する使用者U(医師等)の見落としが生じる可能性があるため、鮮明化のための画像処理(後述する細線化処理および強調処理)が行われる。なお、図4において点線で表される被撮像体Pの体のラインは、実際には蛍光画像Xbには撮像されず、可視画像Xaにより撮像される。
そこで、画像処理部5は、リアルタイムで、蛍光画像Xbの有する各画素のうち、蛍光剤を流す前と比較した輝度値の変化量が第1のしきい値Th1(図6参照)よりも小さい画素の領域を弱変化領域として判別し、鮮明化のための所定の画像処理である細線化処理(図5および図7参照)および強調処理(図6および図7参照)を弱変化領域に対して行う。なお、第1のしきい値Th1は、たとえば、絶対値として設定されてもよいし、蛍光画像Xb中の画素の有する最大輝度値に対するある割合(%)の値として設定されてもよいし、蛍光画像Xb中の画素の輝度値のヒストグラムを取得し、ヒストグラム中の下位のある割合(%)の画素までが入る値として設定されてもよい。また、第1のしきい値Th1に関するパラメータは、入力部7を介して、使用者U(医師等)により変更可能に構成されている。
また、本実施形態では、画像処理部5は、蛍光画像Xbにおいて、弱変化領域を線画像に変化させる細線化処理を行うように構成されている。
具体的には、たとえば、図5(a)に示すように、被撮像体P(患者)の皮膚Sの下に存在するリンパ管(または、血管)P0に造影剤を注入する場合、近赤外光照射部12から励起光L1(近赤外光)が照射されることにより造影剤から生じる蛍光L2は、皮膚Sを通る間に拡散されるため、幅が大きくなり(たとえば、皮膚S表面部において3cm程度に広がり)ぼやける。その結果、実際のリンパ管(血管)P0の幅はW1であるにもかかわらず、撮像される造影剤からの蛍光L2の広がりの幅はW2のように広がる。また、皮膚Sにおいて拡散や吸収が起こり、撮像される蛍光L2の輝度も小さく(暗く)なる。そのため、使用者U(医師等)は、蛍光L2による蛍光画像Xbを視認しにくいので、リンパ管(血管)から生じる蛍光L2に対して適切な判断を行うことが困難となる。
したがって、図5(b)および図5(c)に示すように、画像処理部5は、対象となる領域の周辺部分(グラフ中の裾野の部分)の画素の輝度値を相対的に小さく(または、0値に)することで、対象となる領域の縁となる部分(周辺部分)を削り、領域の骨格となる部分のみを残す細線化(線画像化)処理を行う。この際、画像処理部5は、領域の骨格となる部分の輝度値については変化させない。これにより、図7(a)および図7(b)に示すように、蛍光画像Xb中のぼやけて広がった造影剤の領域が、管状の領域となり鮮明化されて抽出される。なお、細線化によりどの程度まで画像を細くするか(線画像化するか)は、入力部7から入力されるパラメータにより変更することが可能である。さらに、画像処理部5は、輝度値の変化した領域のうち、弱変化領域よりも強い輝度変化が生じている画素の表示に対しても線画像化する細線化処理を行うように構成されていてもよい。これにより、図7(a)および図7(b)に示すように、輝度値の変化が小さい領域に限らず、輝度値の変化が大きい領域に関しても細線化が行われるので、蛍光画像Xbの全体にわたって造影剤のぼやけ等がシャープ(明確)になり、鮮明化される。
また、本実施形態では、画像処理部5は、蛍光画像Xbにおいて、第1のしきい値Th1よりも小さい輝度値の変化が生じた弱変化領域のうち、第1のしきい値Th1よりも小さい第2のしきい値Th2よりも小さい輝度値の変化が生じた第1の弱変化領域と、それ以外の第2の弱変化領域とを判別し、第1の弱変化領域の近傍の第1の弱変化領域以外の領域を、第2の弱変化領域の近傍の第2の弱変化領域以外の領域よりも強く強調する所定の画像処理を行うように構成されている。また、画像処理部5は、輝度値の変化量が、第1のしきい値Th1以下でかつ下限値ThL以上の場合に、弱変化領域と判別する処理を行うように構成されている。
具体的には、図6に示すように、第1のしきい値Th1>第2のしきい値Th2>下限値ThLの関係にある。画像処理部5は、第2のしきい値Th2未満かつ下限値ThL以上の輝度値を有する画素を第1の弱変化領域として判別し、第1のしきい値Th1未満かつ第2のしきい値Th2以上の輝度値を有する画素を第2の弱変化領域として判別し、強調するための所定の画像処理(後述)を行う。また、ノイズ等により不規則にあらわれる下限値ThLよりも小さな輝度値の変化が生じた画素については、強調処理が行われない。
また、本実施形態では、画像処理部5は、弱変化領域の近傍の弱変化領域以外の領域に対して、弱変化領域を強調する所定の画像処理を行うように構成されている
具体的には、図6および図7(c)に示すように、弱変化領域の近傍の領域を強調する際に、弱変化領域の画素の情報(輝度値等)は変化させずに、弱変化領域の近傍の弱変化領域以外の領域に対して画像処理を行う。さらに、画像処理部5は、輝度値の変化した領域のうち、弱変化領域よりも強い輝度変化が生じている画素の表示に対しても阻害しないように画像処理を行うように構成されている。これにより、蛍光画像Xbおよび重畳画像Xcにおいて、血管やリンパ管(リンパ節)を流れる造影剤の蛍光の情報(輝度値等)が歪められず正確に表示されつつ、弱変化領域が強調して表示される。なお、図6中の造影剤の流れは、すでに細線化処理が行われている。
詳細には、本実施形態では、画像処理部5は、弱変化領域の近傍の領域を枠線により取り囲み、弱変化領域の近傍の弱変化領域以外の領域を所定の色に塗りつぶし、弱変化領域の近傍の弱変化領域以外の領域を点滅させることにより、弱変化領域を強調する所定の画像処理を行うように構成されている。
具体的には、造影剤を流す前後において、下限値ThLよりも大きく第2のしきい値Th2よりも小さい輝度値の変化が生じた第1の弱変化領域と、第2のしきい値よりも大きく第1のしきい値Th1よりも小さい輝度値の変化が生じた第2の弱変化領域がそれぞれ強調される。強調の処理は、強調の対象となる領域から一定の間隔を空けるように取り囲む領域(近傍の領域)を設定して、取り囲む領域の縁部の画素を枠線により表示するとともに、取り囲む領域の内部の画素を強調の対象となる領域の画素を避けて着色し、着色された領域の画素を一定の周期で点滅させることにより行われる。これにより、画像処理部5は、強調の対象となる第1および第2の弱変化領域の情報(相対的な輝度値や色度値等)を変化させることなく、第1および第2の弱変化領域を強調して表示する。
この際、図3および図7(c)に示すように、第1の弱変化領域は、第2の弱変化領域よりも強く強調される。たとえば、第1の弱変化領域の枠線の太さや、塗りつぶされる色の輝度、点滅の速度等が第2の弱変化領域よりも大きくなるように構成されている。また、枠線および近傍の領域の塗りつぶしの色や、枠線の描画、色の塗りつぶしおよび点滅による強調のうちいずれを行うか等について、第1の弱変化領域と第2の弱変化領域との間で変更してもよい。なお、塗りつぶされる色は、蛍光画像Xb中の弱変化領域(近赤外光の検出領域)が表示の際に着色される色とは区別可能な異なる色(たとえば、補色や暗い無彩色等)となるように構成されている。なお、色の塗りつぶし等がされる範囲は、弱変化領域から多少の間隔が空けられて(間隔を空けて着色等されて)いてもよい。
また、枠線や色の塗りつぶし(点滅)が表示される領域の形状は、四角形となるように構成されている。また、枠線や色の塗りつぶし(点滅)が表示される領域の大きさは、図8に示すように、たとえば、弱変化領域の左右(X方向)および上下(Y方向)の端部から一定のマージンRM(余白)を隔てた大きさとなるように決定される。なお、枠線の大きさや色の塗りつぶし(点滅)が表示される領域の大きさは、マージンRM(余白)の大きさのみならず、他の枠線(色の塗りつぶし領域)や、弱変化領域以外の輝度値が変化した領域(第1のしきい値Th1よりも大きな輝度値の変化が生じた造影剤の領域)と重ならないこと等も条件に入れて決定される。なお、マージンRMは、請求の範囲の「パラメータ」の一例である。
そして、制御部3は、可視画像Xa、蛍光画像Xb、および、可視画像Xaと、弱変化領域に対して鮮明化のための上記所定の画像処理が行われた蛍光画像Xbとを重ね合わせた重畳画像Xcを小型モニタ2および外部モニタMに表示させる(図3参照)。なお、小型モニタ2および外部モニタMに表示される蛍光画像Xbおよび重畳画像Xcにおいて、たとえば、細線化処理は、蛍光画像Xbおよび重畳画像Xcの両方に対して行われ、強調するための所定の画像処理(枠線の描画、色の塗りつぶしおよび点滅)は、重畳画像Xcに対してのみ行われている。すなわち、図7(b)の画像が蛍光画像Xbとして、図7(c)の画像が重畳画像Xcとして、図3のように表示される。
(実施形態の効果)
本実施形態では、以下のような効果を得ることができる。
本実施形態では、以下のような効果を得ることができる。
本実施形態では、上記のように、画像処理部5を、撮像ユニット1により撮像された蛍光画像Xbにおいて、輝度値の変化が生じた領域のうち、第1のしきい値Th1よりも小さい輝度値の変化が生じた弱変化領域を判別し、弱変化領域の近傍の領域に鮮明化のための所定の画像処理を行うように構成し、制御部3を、弱変化領域の近傍の領域に対して鮮明化のための所定の画像処理が行われた蛍光画像Xbおよび重畳画像Xcを小型モニタ2および外部モニタMに表示させるように構成する。これにより、弱変化領域の近傍の領域が鮮明化されるので、輝度値の変化が生じた領域のうち、輝度値の変化の小さい領域(弱変化領域)に対して、使用者U(医師等)による見落としが生じることを抑制するように蛍光画像Xb(重畳画像Xc)を表示させることができる。
ここで、外部モニタM等に表示される血管やリンパ管の造影剤の蛍光を見ながら使用者U(医師等)が手術等を行う際に、使用者U(医師等)が造影剤の流れを見逃してしまうと、造影剤の再投与(再検査)や再手術の原因となる。また、手術等を行う際に、手術時間等の増大化による被撮像体P(患者)にかかる負担を軽減するために、使用者U(医師等)は、造影剤の再投与や、画像(動画)の巻き戻しによる見直しを行わず、可能な限り1回の撮像で、かつ、リアルタイムで撮像部位の造影剤の流れを見ながら判断を行わなければならないという事情がある。そこで、上記のように、本実施形態の撮像装置100を医療用イメージング装置として用いることにより、使用者U(医師等)が造影剤の画像に対して見逃しをしてしまうことに起因する、造影剤の再投与や、再手術、再検査等を抑制することができる。その結果、被撮像体P(患者)に健康上の悪影響が生じてしまうのを抑制することができる。また、造影剤を再度流して撮像(表示)すること撮像した画像(動画)を巻き戻して再度見ることに起因して、心臓の血管を造影する場合等の造影剤の再投与や開腹時間の長大化等により患者(被撮像体P)にかかる負担を軽減することができる。
また、本実施形態では、上記のように、画像処理部5を、弱変化領域の近傍の弱変化領域以外の領域に対して、弱変化領域を強調する所定の画像処理を行うように構成する。これにより、輝度値の変化が生じた領域の情報(相対的な輝度等)を変化させることなしに、輝度値の変化が相対的に小さい領域(弱変化領域)に対して、使用者U(医師等)による見落としが生じることを抑制するように蛍光画像Xbおよび重畳画像Xcを表示させることができる。
また、本実施形態では、上記のように、画像処理部5を、重畳画像Xc中の弱変化領域の近傍の領域を枠線により取り囲むことにより、弱変化領域を強調する所定の画像処理を行うように構成する。これにより、輝度値の変化が生じた領域の情報(相対的な輝度等)を変化させることなしに、輝度値の変化が相対的に小さい領域(弱変化領域)を枠線により強調し、使用者U(医師等)による見落としが生じることを枠線により抑制するように重畳画像Xcを表示させることができる。
また、本実施形態では、上記のように、画像処理部5を、重畳画像Xc中の弱変化領域の近傍の弱変化領域以外の領域を所定の色に塗りつぶすことにより、弱変化領域を強調する所定の画像処理を行うように構成する。これにより、輝度値の変化が生じた領域の情報(相対的な輝度等)を変化させることなしに、輝度値の変化が相対的に小さい領域(弱変化領域)を色の塗りつぶしにより強調し、使用者U(医師等)による見落としが生じることを色の塗りつぶしにより抑制するように重畳画像Xcを表示させることができる。
また、本実施形態では、上記のように、画像処理部5を、重畳画像Xc中の弱変化領域の近傍の弱変化領域以外の領域を点滅させることにより、弱変化領域を強調する所定の画像処理を行うように構成する。これにより、輝度値の変化が生じた領域の情報(相対的な輝度等)を変化させることなしに、輝度値の変化が相対的に小さい領域(弱変化領域)を点滅により強調し、使用者U(医師等)による見落としが生じることを点滅により抑制するように重畳画像Xcを表示させることができる。
また、本実施形態では、上記のように、撮像ユニット1により取得(撮像)される画像は、被撮像体Pの全体を表示するための可視画像Xa(第1の画像)と被撮像体Pの特定の領域を表示するための蛍光画像Xb(第2の画像)とを含み、画像処理部5を、撮像ユニット1により撮像された蛍光画像Xbにおいて、輝度値の変化が生じた領域のうち、弱変化領域を判別し、弱変化領域の近傍の領域に鮮明化のための所定の画像処理を行うように構成し、制御部3を、可視画像Xaと、弱変化領域に対して鮮明化のための所定の画像処理が行われた蛍光画像Xbとを重ね合わせた重畳画像Xcを小型モニタ2および外部モニタMに表示させるように構成する。これにより、被撮像体Pの全体を可視光により撮像する可視画像Xaと、近赤外光により励起された造影剤の蛍光(被撮像体Pの造影剤の領域)を撮像する蛍光画像Xbとを重ね合わせた重畳画像Xcを表示する際に、蛍光画像Xb中の造影剤の蛍光の相対的に弱い部分に対して鮮明化のための所定の画像処理が行われるので、医師等の使用者Uが見る重畳画像Xc中の蛍光画像Xbに由来する輝度値の変化が相対的に小さい領域(弱変化領域)に対して、医師等の使用者Uによる見落としが生じることを抑制するように重畳画像Xcを表示させることができる。
また、本実施形態では、上記のように、画像処理部5を、蛍光画像Xb中の弱変化領域を線画像に変化させる細線化処理を行うように構成する。これにより、たとえば、輝度値の変化が相対的に小さい領域(弱変化領域)が大きく広がってぼやけている場合に、輝度値の変化が相対的に小さい領域(弱変化領域)を線画像に変化させて鮮明化することにより、使用者U(医師等)による見落としが生じることをより抑制するように蛍光画像Xbおよび重畳画像Xcを表示させることができる。
また、本実施形態では、上記のように、画像処理部5を、重畳画像Xcにおいて、第1のしきい値Th1よりも小さい輝度値の変化が生じた弱変化領域のうち、第1のしきい値Th1よりも小さい第2のしきい値Th2よりも小さい輝度値の変化が生じた第1の弱変化領域と、それ以外の第2の弱変化領域とを判別し、第1の弱変化領域の近傍の第1の弱変化領域以外の領域を、第2の弱変化領域の近傍の第2の弱変化領域以外の領域よりも強く強調する所定の画像処理を行うように構成する。これにより、輝度値の変化が相対的に小さい領域(弱変化領域)を強調する際に、輝度値の変化が小さい領域の中でもより変化が小さい領域(第1の弱変化領域)をより強く強調して表示することができる。その結果、より見落としが生じやすいより変化が小さい領域(第1の弱変化領域)に対して、使用者U(医師等)による見落としが生じることを抑制するように重畳画像Xcを表示させることができる。
また、本実施形態では、上記のように、画像処理部5を、重畳画像Xcにおいて、輝度値の変化量が、第1のしきい値Th1以下でかつ下限値ThL以上の場合に、弱変化領域と判別する処理を行うように構成する。これにより、ノイズによりわずかに輝度値の変化が生じた領域に対して、鮮明化のための所定の画像処理が誤って行われた重畳画像Xcが表示されることを抑制することができる。
また、本実施形態では、上記のように、撮像装置100は、弱変化領域を判別するためのパラメータ、および、鮮明化のための所定の画像処理をどのように行うかに関連するパラメータを受け付ける入力部7を備える。これにより、被撮像体Pの種類(部位)や撮像条件に応じてパラメータを変えることにより、弱変化領域の判別、および、鮮明化のための所定の画像処理を適切に行うことができる。
また、本実施形態では、上記のように、撮像装置100が小型モニタ2を備えるとともに、小型モニタ2を、弱変化領域の近傍の弱変化領域以外の領域に対して、弱変化領域に鮮明化のための所定の画像処理が行われた蛍光画像Xbおよび重畳画像Xcを表示するように構成する。これにより、撮像装置100に備えられた小型モニタ2により、輝度値の変化が相対的に小さい領域(弱変化領域)に対して、鮮明化のための所定の画像処理が行われた蛍光画像Xbおよび重畳画像Xcを使用者U(医師等)に視認させることができる。
また、本実施形態では、上記のように、撮像ユニット1を、被撮像体Pの血管またはリンパ管に注入された造影剤から生じる蛍光を含む画像である蛍光画像Xbと、被撮像体Pの可視光の画像である可視画像Xaとを連続的に撮像することが可能に構成し、画像処理部5を、撮像ユニット1により撮像された蛍光画像Xbにおいて、造影剤が流されている最中に蛍光画像Xbの弱変化領域の判別を行うとともに、弱変化領域の近傍の弱変化領域以外の領域に対して、弱変化領域の鮮明化のための所定の画像処理をリアルタイムで行うように構成し、小型モニタ2および外部モニタMを、可視画像Xaと、弱変化領域に対して鮮明化のための所定の画像処理が行われた蛍光画像Xbとを重ね合わせた重畳画像Xcをリアルタイムで表示することが可能に構成する。これにより、被撮像体Pの全体を可視光により撮像する可視画像Xaと、近赤外光により励起された造影剤の蛍光(被撮像体の造影剤の領域)を撮像する蛍光画像Xbとを重ね合わせた重畳画像Xcをリアルタイムで表示することにより、表示された重畳画像Xc(造影剤の情報)に基づいて手術等を行う際に、手術途中で医師等の使用者Uが即座に診断等を行うことができる。また、画像(動画)の表示までにかかる待ち時間がないため、手術等に要する時間を短縮することができる。また、重畳画像Xcを表示する際に、造影剤の蛍光の相対的に弱い部分に対して鮮明化のための所定の画像処理が行われるので、造影剤の流れが微弱な弱変化領域に対して、医師等の使用者Uによる見落としが生じることを抑制するように蛍光画像Xbおよび重畳画像Xcを表示させることができる。
[変形例]
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく請求の範囲によって示され、さらに請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく請求の範囲によって示され、さらに請求の範囲と均等の意味および範囲内でのすべての変更(変形例)が含まれる。
たとえば、上記実施形態では、撮像ユニット(撮像部)1が可視画像Xa(第1の画像)と蛍光画像Xb(第2の画像)とを撮像し、画像処理部5が蛍光画像Xbに鮮明化のための所定の画像処理を行った上で可視画像Xaと蛍光画像Xbとを重ね合わせた重畳画像Xcを生成し、制御部3が生成された重畳画像Xcを表示する例を示したが、本発明はこれに限られない。本発明では、撮像ユニット(撮像部)1により撮像される画像は、一枚でもよい。
具体的には、変形例による撮像装置200は、撮像ユニット10により、図9および図10(a)に示すように、被撮像体Pからの反射光および被撮像体Pに投与された造影剤からの蛍光が1枚の画像Xoとして撮像(取得)される。次に、画像処理部50は、図10(b)に示すように、撮像ユニット10により撮像される画像Xoから、造影剤を流す前後において輝度値の変化が生じる領域(蛍光を生じる造影剤の流れに対応する画素)を抽出する。また、画像処理部50は、抽出された輝度値の変化が生じる領域の細線化(線画像化)を行うことにより管状の領域を抽出するとともに、輝度値の変化が生じる領域のうち輝度値の変化が小さい領域(弱変化領域)を判別する。また、画像処理部50は、弱変化領域から、輝度値の変化がより小さい(より暗い)第1の弱変化領域と、輝度値の変化が比較的大きい(比較的明るい)第2の弱変化領域とをさらに判別する。なお、弱変化領域、第1の弱変化領域、第2の弱変化領域は、上記実施形態と同様、第1のしきい値Th1、第2のしきい値Th2および下限値ThLに基づいて判別される。
そして、画像処理部50は、第1の弱変化領域および第2の弱変化領域に対して、第1の弱変化領域がより強く強調されるように強調する処理を行う。これにより、図10(c)に示すように、画像Xoにおいて、弱変化領域が強調される。その結果、微弱な輝度値の変化が生じた弱変化領域に対して細線化処理および強調処理が行われた画像Xoが、制御部30により小型モニタ2および外部モニタMに表示される。なお、上記実施形態と同様の構成および効果については、同様の符号を付すとともに、説明を省略した。
また、上記実施形態では、画像処理部が、弱変化領域を鮮明化するために、弱変化領域に対する細線化処理と、弱変化領域の近傍の領域の弱変化領域を除く領域を強調するための所定の画像処理(枠線の描画、色の塗りつぶし、点滅)との両方を行うように構成されている例を示したが、本発明はこれに限られない。本発明では、画像処理部は、細線化処理と、弱変化領域を強調するための所定の画像処理のうち、いずれか一方のみを行うように構成されていてもよい。
また、上記実施形態では、弱変化領域を強調する際に、画像処理部が、弱変化領域の近傍の枠線の描画、弱変化領域の近傍の弱変化領域以外の領域の色の塗りつぶしおよび点滅の全ての処理を行うように構成されている例を示したが、本発明はこれに限られない。本発明では、画像処理部は、枠線の描画、色の塗りつぶしおよび点滅のうち、いずれかのみを行うように構成してもよい。また、これら以外の所定の画像処理により、弱変化領域の強調が行われてもよい。
また、上記実施形態では、画像処理部が、第1のしきい値および第2のしきい値に基づいて、弱変化領域を判別するとともに、第1の弱変化領域と第2の弱変化領域を判別する例を示したが、本発明はこれに限られない。本発明では、画像処理部は、第1のしきい値のみに基づいて、弱変化領域のみを判別するように構成されていてもよい。また、画像処理部は、輝度値の変化量の大きさに基づいて、第1の弱変化領域、第2の弱変化領域および第3の弱変化領域等のように、3つ以上の領域に弱変化領域を分ける判別を行なうように構成されていてもよい。
また、上記実施形態では、画像処理部が、輝度値の変化量が下限値以上となる領域を弱変化領域として判別する例を示したが、本発明はこれに限られない。本発明では、画像処理部は、下限値を設けず、第1のしきい値よりも小さい輝度値の変化が生じた全ての領域を弱変化領域として判別するように構成されていてもよい。
また、上記実施形態では、枠線や色の塗りつぶし(点滅)が表示される領域の形状を四角形とする例を示したが、本発明はこれに限られない。本発明では、枠線や色の塗りつぶし(点滅)が表示される領域の形状は、四角形以外(たとえば、楕円形等)としてもよい。また、枠線や色の塗りつぶし(点滅)が表示される領域の形状は、強調の対象となる弱変化領域の形に応じて(たとえば、弱変化領域の形状に沿うような形となるように)決定されてもよい。
また、上記実施形態では、重畳画像には強調処理および細線化処理が行われ、蛍光画像には細線化処理のみが行われて表示される例を示したが、本発明はこれに限らない。本発明では、たとえば、強調表示が行われた蛍光画像を表示してもよいし、細線化処理が行われていない蛍光画像を表示してもよい。
また、上記実施形態では、入力部が、弱変化領域を判別するためのパラメータ、および、鮮明化のための所定の画像処理をどのように行うかに関連するパラメータの両方を受け付けるように構成されている例を示したが、いずれか一方のみを受け付けるように構成されていてもよい。
また、上記実施形態では、撮像装置が入力部を備える例を示したが、撮像装置は、入力部を備えなくてもよい。
また、上記実施形態では、撮像装置が小型モニタを備える例を示したが、撮像装置は、小型モニタを備えなくてもよい。
また、上記実施形態では、撮像装置が被撮像体である人体の血管またはリンパ管(リンパ節)の蛍光画像を撮像する医療用イメージング装置として用いられる例を示したが、本発明はこれに限られない。本発明では、たとえば、撮像装置は、パイプラインの監視カメラとして用いられ、パイプラインの内部を流れる流体の温度に基づく遠赤外光を撮像し、輝度値の変化が小さい領域(弱変化領域)を鮮明化して表示するサーモグラフィ(遠赤外光撮像)装置として構成されていてもよい。また、撮像装置は、化学反応により生じる光を撮像し、反応の比較的弱く輝度値の変化が小さい領域を鮮明化して表示する化学検査装置として構成されていてもよい。また、撮像装置は、その他、監視カメラや、手術用顕微鏡、内視鏡として構成されていてもよい。また、撮像ユニット(撮像部)により撮像される電磁波(光)は、近赤外光や可視光に限らず、中・遠赤外光や、マイクロ波、紫外光、X線およびγ線等の放射線等でもよい。
1 撮像ユニット(撮像部) 2 小型モニタ(表示部)
3 制御部 5 画像処理部
7 入力部 100、200 撮像装置
M 外部モニタ(表示部) P 被撮像体
P1、P2 血管またはリンパ管 P0 リンパ管
RM マージン(パラメータ) Th1 第1のしきい値
Th2 第2のしきい値 ThL 下限値
Xa 可視画像(第1の画像) Xb 蛍光画像(第2の画像)
Xc 重畳画像 Xo 画像
3 制御部 5 画像処理部
7 入力部 100、200 撮像装置
M 外部モニタ(表示部) P 被撮像体
P1、P2 血管またはリンパ管 P0 リンパ管
RM マージン(パラメータ) Th1 第1のしきい値
Th2 第2のしきい値 ThL 下限値
Xa 可視画像(第1の画像) Xb 蛍光画像(第2の画像)
Xc 重畳画像 Xo 画像
Claims (12)
- 被撮像体を撮像するための撮像部と、
前記撮像部により撮像された前記被撮像体の画像を処理するための画像処理部と、
前記撮像部を制御するとともに表示部に前記撮像部により撮像された前記画像を表示させる制御部とを備え、
前記画像処理部は、前記撮像部により撮像された前記画像において、輝度値の変化が生じた領域のうち、第1のしきい値よりも小さい輝度値の変化が生じた弱変化領域を判別し、前記弱変化領域の近傍の領域に鮮明化のための所定の画像処理を行うように構成されており、
前記制御部は、前記弱変化領域の近傍の領域に対して鮮明化のための前記所定の画像処理が行われた前記画像を前記表示部に表示させるように構成されている、撮像装置。 - 前記画像処理部は、前記弱変化領域の近傍の前記弱変化領域以外の領域に対して、前記弱変化領域を強調する前記所定の画像処理を行うように構成されている、請求項1に記載の撮像装置。
- 前記画像処理部は、前記弱変化領域の近傍の領域を枠線により取り囲むことにより、前記弱変化領域を強調する前記所定の画像処理を行うように構成されている、請求項2に記載の撮像装置。
- 前記画像処理部は、前記弱変化領域の近傍の前記弱変化領域以外の領域を所定の色に塗りつぶすことにより、前記弱変化領域を強調する前記所定の画像処理を行うように構成されている、請求項2または3に記載の撮像装置。
- 前記画像処理部は、前記弱変化領域の近傍の前記弱変化領域以外の領域を点滅させることにより、前記弱変化領域を強調する前記所定の画像処理を行うように構成されている、請求項2または3に記載の撮像装置。
- 前記画像は、前記被撮像体の全体を表示するための第1の画像と前記被撮像体の特定の領域を表示するための第2の画像とを含み、
前記画像処理部は、前記撮像部により撮像された前記第2の画像において、輝度値の変化が生じた領域のうち、前記弱変化領域を判別し、前記弱変化領域の近傍の領域に鮮明化のための前記所定の画像処理を行うように構成されており、
前記制御部は、前記第1の画像と、前記弱変化領域に対して鮮明化のための前記所定の画像処理が行われた前記第2の画像とを重ね合わせた重畳画像を前記表示部に表示させるように構成されている、請求項1〜3のいずれか1項に記載の撮像装置。 - 前記画像処理部は、前記弱変化領域を線画像に変化させる細線化処理を行うように構成されている、請求項1〜3のいずれか1項に記載の撮像装置。
- 前記画像処理部は、前記第1のしきい値よりも小さい輝度値の変化が生じた前記弱変化領域のうち、前記第1のしきい値よりも小さい第2のしきい値よりも小さい輝度値の変化が生じた第1の弱変化領域と、それ以外の第2の弱変化領域とを判別し、前記第1の弱変化領域の近傍の前記第1の前記弱変化領域以外の領域を、前記第2の弱変化領域の近傍の前記第2の前記弱変化領域以外の領域よりも強く強調する前記所定の画像処理を行うように構成されている、請求項1〜3のいずれか1項に記載の撮像装置。
- 前記画像処理部は、輝度値の変化量が、前記第1のしきい値以下でかつ下限値以上の場合に、前記弱変化領域と判別する処理を行うように構成されている、請求項1〜3のいずれか1項に記載の撮像装置。
- 前記弱変化領域を判別するためのパラメータ、および、鮮明化のための前記所定の画像処理をどのように行うかに関連するパラメータのうちの少なくとも一方の入力を受け付ける入力部をさらに備える、請求項1〜3のいずれか1項に記載の撮像装置。
- 前記表示部をさらに備え、
前記表示部は、前記弱変化領域の近傍の前記弱変化領域以外の領域に対して、前記弱変化領域に鮮明化のための前記所定の画像処理が行われた前記画像を表示するように構成されている、請求項1〜3のいずれか1項に記載の撮像装置。 - 前記撮像部は、前記被撮像体の血管またはリンパ管に注入された造影剤から生じる蛍光を含む前記画像である蛍光画像と、前記被撮像体の可視光の前記画像である可視画像とを連続的に撮像することが可能に構成されており、
前記画像処理部は、前記撮像部により撮像された前記蛍光画像において、前記造影剤が流されている最中に前記蛍光画像の前記弱変化領域の判別を行うとともに、前記弱変化領域の近傍の前記弱変化領域以外の領域に対して、前記弱変化領域の鮮明化のための前記所定の画像処理をリアルタイムで行うように構成されており、
前記表示部は、前記可視画像と、前記弱変化領域に対して鮮明化のための前記所定の画像処理が行われた前記蛍光画像とを重ね合わせた重畳画像をリアルタイムで表示することが可能に構成されている、請求項11に記載の撮像装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/009933 WO2018167816A1 (ja) | 2017-03-13 | 2017-03-13 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018167816A1 JPWO2018167816A1 (ja) | 2019-11-07 |
JP6638859B2 true JP6638859B2 (ja) | 2020-01-29 |
Family
ID=63521845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019505314A Active JP6638859B2 (ja) | 2017-03-13 | 2017-03-13 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6638859B2 (ja) |
WO (1) | WO2018167816A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7312394B2 (ja) * | 2019-03-27 | 2023-07-21 | 学校法人兵庫医科大学 | 脈管認識装置、脈管認識方法および脈管認識システム |
WO2021024314A1 (ja) * | 2019-08-02 | 2021-02-11 | 株式会社島津製作所 | 治療支援装置および治療支援方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4949806B2 (ja) * | 2006-11-10 | 2012-06-13 | オンセミコンダクター・トレーディング・リミテッド | 撮像装置及び画像信号処理装置 |
JP5294723B2 (ja) * | 2008-06-26 | 2013-09-18 | 富士フイルム株式会社 | 画像取得装置 |
US10278585B2 (en) * | 2012-06-21 | 2019-05-07 | Novadaq Technologies ULC | Quantification and analysis of angiography and perfusion |
JP2015188559A (ja) * | 2014-03-28 | 2015-11-02 | 株式会社島津製作所 | 医療用イメージング装置 |
JP2016087062A (ja) * | 2014-11-04 | 2016-05-23 | ローム株式会社 | 光学的生体イメージングシステム |
JP2016112219A (ja) * | 2014-12-16 | 2016-06-23 | 株式会社島津製作所 | イメージング装置 |
-
2017
- 2017-03-13 WO PCT/JP2017/009933 patent/WO2018167816A1/ja active Application Filing
- 2017-03-13 JP JP2019505314A patent/JP6638859B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2018167816A1 (ja) | 2018-09-20 |
JPWO2018167816A1 (ja) | 2019-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6319448B2 (ja) | イメージング装置 | |
CN107072644B (zh) | 成像装置 | |
US10413619B2 (en) | Imaging device | |
US20180220893A1 (en) | Region of interest tracing apparatus | |
JP6638859B2 (ja) | 撮像装置 | |
US20230283742A1 (en) | Imaging system having structural data enhancement for non-visible spectra | |
JP6485275B2 (ja) | イメージング装置 | |
US20190239749A1 (en) | Imaging apparatus | |
CN113827171B (zh) | 内窥镜成像方法、内窥镜成像系统和软件程序产品 | |
JP2021186417A (ja) | 治療支援装置および関心領域の設定方法 | |
US10007976B2 (en) | Image processing apparatus, medical image diagnostic apparatus, and x-ray diagnostic apparatus | |
US11937898B2 (en) | Time intensity curve measuring apparatus | |
WO2022038806A1 (ja) | 治療支援システムおよび治療支援装置 | |
JP2018128759A (ja) | テカリ領域除去装置 | |
JP6295915B2 (ja) | イメージング装置 | |
JP2021182416A (ja) | 自動画像特徴除去 | |
Cui et al. | Near-infrared fundus imaging system with light illumination from an electronic contact lens | |
JP2021045372A (ja) | 画像処理装置 | |
JP2016112220A (ja) | イメージング装置 | |
JP2016112219A (ja) | イメージング装置 | |
JP7478245B2 (ja) | 医療画像装置及びその作動方法 | |
WO2016039002A1 (ja) | イメージング装置およびイメージング方法 | |
JP7220542B2 (ja) | 医用画像処理装置、医用画像処理方法及び医用画像処理プログラム | |
JP2022066968A (ja) | 治療支援装置 | |
CN117017166A (zh) | 图像处理方法、内窥镜系统、内窥镜摄像设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191209 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6638859 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |