JP7186762B2 - 投影走査システム - Google Patents
投影走査システム Download PDFInfo
- Publication number
- JP7186762B2 JP7186762B2 JP2020503983A JP2020503983A JP7186762B2 JP 7186762 B2 JP7186762 B2 JP 7186762B2 JP 2020503983 A JP2020503983 A JP 2020503983A JP 2020503983 A JP2020503983 A JP 2020503983A JP 7186762 B2 JP7186762 B2 JP 7186762B2
- Authority
- JP
- Japan
- Prior art keywords
- processor
- light
- sensor
- projector
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P13/00—Indicating or recording presence, absence, or direction, of movement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3937—Visible markers
- A61B2090/395—Visible markers with marking agent for marking skin or other tissue
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Electromagnetism (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Projection Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Measurement Of Optical Distance (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Description
本出願は、2017年7月27日に出願された米国仮特許出願第62/537,627号の利益を主張するものであり、その米国仮特許出願の全体は引用することにより本明細書の一部をなすものとする。
プロセッサと、
前記プロセッサに動作可能に接続され、拡張画像情報を記憶するメモリデバイスと、
前記プロセッサに動作可能に接続されるプロジェクタであって、前記プロセッサは、拡張画像情報を前記対象物に投影する、プロジェクタと、
前記プロセッサに動作可能に接続され、前記対象物までの距離を測定する距離測定デバイスと
を備え、
前記プロセッサは、前記距離測定デバイスによる距離測定情報を用いて、前記拡張画像情報のスケールを調整し、スケールが調整された前記拡張画像情報を前記プロジェクタに提供する、画像システムが提供される。
前記少なくとも1つの光源は、可視光スペクトル及び赤外光スペクトルの少なくとも一方において所定の光パターンを前記対象物に投影するストラクチャード・ライト(立体照明)方式の光源を含み、
前記センサ及び前記カメラの少なくとも一方は、前記所定の光パターンの反射を検出し、前記プロセッサは、検出された反射により、前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を計算する。
前記プロジェクタは、可視光スペクトル及び赤外光スペクトルの少なくとも一方において所定の光パターンを前記対象物に投影し、
前記センサ及び前記カメラの少なくとも一方は、前記所定の光パターンの反射を検出し、前記プロセッサは、検出された反射により前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を計算する。
前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方と、
可視スペクトル又は赤外スペクトルにおいて少なくとも1つの所定のストラクチャード・ライト方式のパターンを前記対象物に投影する第2のプロジェクタと
を備え、
前記センサ及び前記カメラの少なくとも一方は、前記所定の光パターンの反射を検出し、前記プロセッサは、検出された反射を用いて前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を計算し、計算された距離及び/又はトポロジを用いて前記拡張情報のスケールを調整し、前記プロセッサは、スケールが調整された拡張情報を前記プロジェクタに提供する。
前記プロセッサは、前記対象物内又は前記対象物上の蛍光体(フルオロフォア)を励起する光を前記プロジェクタから投影させ、前記カメラ又は前記センサは前記蛍光体の蛍光発光を検出し、前記プロセッサは、検出された蛍光発光を前記メモリに拡張画像情報として記憶する。
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ又はセンサの少なくとも一方と、
前記対象物に光を投影する光源及び第2のプロジェクタのうちの少なくとも一方と
を更に備え、
前記プロセッサは、前記光源及び前記第2のプロジェクタの少なくとも一方から、前記対象物内又は前記対象物上の蛍光体を励起する光を投影させ、前記カメラ又は前記センサの少なくとも一方は、前記蛍光体の蛍光発光を検出し、前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶する。
前記プロセッサに動作可能に接続されたカメラ又はセンサの少なくとも一方と、
前記プロセッサに動作可能に接続され、赤外光スペクトル又は可視光スペクトルにおいて仮想的な基準を前記対象物に投影する第2のプロジェクタと
を更に備え、
前記プロセッサは、前記第2のプロジェクタから前記仮想的な基準を前記対象物に投影させ、前記カメラ又は前記センサは、前記仮想的な基準の位置を検出し、前記プロセッサは、前記仮想的な基準の位置を用いて前記拡張画像情報の前記対象物との位置合わせをする。
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ又はセンサの少なくとも一方を更に備え、
前記プロセッサは、前記対象物内又は前記対象物上の蛍光体を励起する光を前記プロジェクタから投影させ、前記カメラ又は前記センサは、第1の波長において前記蛍光体の蛍光発光を検出し、前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶し、前記第1の波長とは異なる第2の波長において前記拡張画像情報を前記対象物に投影するよう前記プロジェクタをトリガする。
本明細書中の全ての刊行物、特許及び特許出願は、個々の刊行物、特許又は特許出願が各々具体的かつ個別に引用することにより本明細書の一部をなすものとすると示されているのと同程度に、引用することにより本明細書の一部をなすものとする。引用することにより本明細書の一部をなすものとされる刊行物及び特許又は特許出願が、本明細書に含まれる開示と矛盾する限りにおいては、本明細書は、そのような一切の矛盾する記載に取って代わるか又はそのような一切の矛盾する記載に優先するものと解釈される。
本発明は、対象物に拡張情報(追加情報、augmented information)を投影するのに有用である。「対象物」という用語は、患者及び手術部位を含むことが意図されているが、そのように限定されるものではない。拡張情報が真に有用であるためには、拡張情報を対象物に正確に合わせる必要がある。言い換えると、アライメント(配置)、スケール及び向きが、拡張情報が投影される対象物の位置及びスケールと合っていなければならない。更に好ましいこととして、対象物の向き及び/又はトポロジを補償するために拡張画像をデジタル処理で変更することができることである。
プロジェクタと対象物との間の距離を測定するにあたり従来のレーザ測距器(距離センサ)を用いることができる。レーザが光で対象物を照らし、この光が反射して戻って来るのに要する時間をセンサが検出する。対象物とレーザ放出器との間の距離の計算は、反射光がセンサに到達するのに要する時間と光の速度とが与えられれば簡単である。この技法は有用ではあるが、理想的なものではない。なぜならば、この技法は、カメラの視野内にある対象物の輪郭、トポロジに関する情報を提供しないからである。市販のレーザ測距器の1つの例は、Garmin International, Inc.社(カンザス州オラース第151ストリート1200 E(郵便番号66062-3426)所在)によるLIDAR-Liteである。距離センサが対象物までの距離、飛行時間(タイム・オブ・フライト)又は三角測量を測定するメカニズムには、2つの異なるメカニズムがある。これらの2つのメカニズムは、レーザ又はLEDを光源として用いて実現することができる。
対象物の3Dトポロジを得る様々な方法がある。従来の方法は、一対のカメラが2つの異なる視点を取得するのに用いられるステレオ設定を利用するものである。次に、画像処理を用いて、画像が3D奥行きマップに再構成される。この方策は、コントラストが欠けているとうまく機能しない。また、この方策は、ハードウェア及びソフトウェアも多く使用し、その複雑さ故に一般的に用いられない。
1)レーザ走査は、通常、単一のカメラ及びレーザ投影ライン(laser-projected line)を用いる。このシステムは、対象物とレーザ投影ラインとの間の相対運動を必要とする。そのため、相対運動を生み出すために、レーザ投影ラインが走査される(対象物上を移動する)か、又は、対象物が変位される。ラインは対象物のトポロジに起因して歪むことから、カメラはこの変形を捕捉し対象物の形状を再構成する。これは、対象物を走査する最も正確な方法であるが、対象物又は撮像システムのいずれかが移動することを要し、このことは、静的な用途には実用的でない場合がある。
2)飛行時間(タイム・オブ・フライト、TOF)撮像センサは市販されている。3次元(3D)飛行時間撮像センサは、変調されたIR光パターンを用いてエリアを照明することによって動作する。反射信号の位相変化を測定することで、被写体、シーン又は対象物の3D奥行きマップを生成するセンサ内のピクセルごとに距離を正確に求めることができる。Texas Instruments社、Intel社等の飛行時間カメラ及び飛行時間センサを製造する様々な企業がある。これは、局所的な奥行きだけでなく対象物の位置も求める優れた方法である。しかし、この方法は、数ミリメートルの範囲内でしか正確でなく、周囲光の影響を受けやすい。例えば、屋外でも同様に正確でない。
3)ストラクチャード・ライトは、対象物上に投影される既定のパターン又はより好ましくは一連の既定のパターンを用いる。この(複数の)パターンは、裸眼の人間の目に見えるものとすることもできるし、見えないもの、例えばIRパターンとすることもできる。カメラは、投影パターンを検出パターンと比較し、元の投影パターンと比較された検出パターンの変形から対象物の距離及び輪郭、トポロジを求める。これを行う最適な方法は、様々なパターンを投影して、奥行きマップの解像度を高めることである。ストラクチャード・プロジェクション(structured projection:立体投影)は、正確かつ効率的に対象物を走査する優れた方法である。
4)ライトフィールドカメラは、プレノプティック(plenoptic)カメラとしても知られており、シーンから生じるライトフィールド、すなわち、シーンにおける光の強度と、光線が空間内を進んでいる方向とについての情報を取得する。これは、光強度しか記録しない従来のカメラとは対照的である。ライトフィールドカメラの1つのタイプは、通常の従来の画像センサの前に配置されたマイクロレンズのアレイを用いて、強度、色、及び方向情報を検知する。マルチカメラアレイは、別のタイプのライトフィールドカメラである。
ストラクチャード・ライトのパターンは、可視光スペクトル(裸眼の人間の目に見える)又はIRスペクトルにおいて投影することができる。その上、ストラクチャード・ライトは、いくつかの実施形態では可視光線プロジェクタであるプロジェクタ108を用いて投影することができる。他の実施形態では、ストラクチャー・ライトは、可視光スペクトル及びIRの双方において投影が可能であり得るプロジェクタ108を用いてIRスペクトルにおいて投影される。すなわち、可視光及びIR光の双方の放射源をプロジェクタ108の同じモジュール上に設けることができ、双方の放射源が、同じマイクロミラーを用いて走査される。あるいは、プロジェクタ108を、擬似カラー拡張画像を可視光スペクトルにおいて投影するために用いることができ、別のプロジェクタを、可視スペクトル又はIRスペクトルのいずれかにおいてストラクチャード・ライトを投影するのに用いることができる。
プロジェクタ108に対する負担を低減するために、専用のストラクチャード・ライト光源を利用することが望ましい場合がある。そのような実施形態では、プロジェクタ108は、拡張画像情報を対象物上に投影するのに利用することができる。専用のストラクチャード・ライト光源117は、光の1つ以上の既定のパターンを対象物上に投影するのに利用することができる。ストラクチャード・ライト117は、回折光学素子又はホログラフィックフィルムを含むことができる。この専用の照明光源は、可視スペクトル又はIRスペクトルにおいて既定のパターンを生成することができる。
距離測定値及びトポロジは、様々な方法で得ることができることに留意されたい。例えば、距離測定は、単一のコンパートメント内にレーザビーム及びセンサを含む距離センサ102を利用することによって行うことができる。或いは、プロジェクタ108又は照明光源117を用いることによって距離を測定し、信号又は既定のパターンを可視又はIRにおいて投影し、センサあるいはカメラ110を用いて距離を評価することも可能である。
拡張画像投影システムは、蛍光撮像システムとともに用いられるのに特に適している。図2は、蛍光拡張撮像システム200のブロック図である。同様の参照符号は、同じ構造部に対応するものとしている。ハッシュのないブロックは、基本的なシステム構成を指す一方で、ハッシュのあるブロックは、オプショナルな要素を指す。距離測定デバイス102は、図1に関して上述したように、ストラクチャード・ライト、TOFセンサ、音響センサ、レーザスキャナ、又はレーザ測距器等を利用することができる。以下で更に詳細に説明するように、システム200は、必要に応じて、赤外スペクトル、可視スペクトル又は赤外スペクトル及び可視光スペクトルの双方において投影することができる付加的なプロジェクタ108を備えることができる。
1)背景(バックグラウンド)照明(116A)-システム200は、IRスペクトルにおいて背景照明を提供する光源116Aを備えることができる。
2)全般照明(116B)-システム200は、可視光スペクトルにおいて全般照明を提供する光源116Bを備えることができる。
3)蛍光励起(116C)-システム200は、フルオロフォア(蛍光体)を励起する光源116Cを備えることができる。光源116Cは、以下で詳細に説明するフルオロフォアの具体的なニーズに応じて、可視スペクトル又はIRスペクトルのいずれかにおいて照明を行うことができる。
4)ストラクチャード・ライト(117)-システム100と同様に、システム200も、可視スペクトル又はIRスペクトルのいずれかにおいて(複数の)ストラクチャード・ライトパターンを提供する光源117を備えることができる。光源117によって、プロジェクタ108が(複数の)ストラクチャード・ライトパターンを投影する必要がなくなることが理解されるであろう。
本明細書において説明する実施形態のいずれにおいても、拡張情報が表示される対象物上の1つ以上のランドマーク(例えば、解剖学的ランドマーク)に取り付けられる1つ以上の基準ターゲットを有することは有用であり得る。そのような基準ターゲットは、拡張画像が、投影対象の対象物と位置調整(位置合わせ)されることを確実にするために有用である。(複数の)ターゲットは、様々な既知の手段のうちの任意のものを用いて対象物に物理的に取り付けることができる。これらの既知の手段には、対象物に挿入されるアンカ、ベルト、接着剤、縫合糸等が含まれる。(複数の)ターゲットは、基準ターゲットを含む事前にプリントされたステッカ又は事前にプリントされた3M(商標)アイオバン(商標)インサイズドレープ(3MTM IobanTM incise drape)も含むことができる。例えば、蛍光インクを用いて被写体あるいは対象物上に基準ターゲットを直接描くことも可能である。
本発明の拡張撮像システムは、外科用器具のナビゲーションあるいは位置合わせにも用いることができる。このシステムは、上述したような距離・輪郭測定デバイス102と、プロセッサ104と、プロジェクタ108と、撮像カメラ110と、複数の外科用器具を一意に特定する情報を記憶するルックアップテーブルとを備えることができる。
内視鏡による蛍光撮像の用途の場合、内視鏡の遠位端と蛍光ターゲットとの間の距離を求めることが望ましい。図4は、評価された距離を利用して蛍光発光の強度を最適化する内視鏡システム400のブロック図である。距離測定デバイス102又はストラクチャード・ライト光源117及びカメラセンサ110は、例えば、励起に用いられるプロジェクタ108又は光116B、116Cの強度を自動的に調整するのに利用することができる。
なお、特願2020-503983の出願当初の特許請求の範囲は以下のとおりである。
[請求項1]
対象物に拡張情報を投影する画像システムであって、
プロセッサと、
前記プロセッサに動作可能に接続され、拡張画像情報を記憶するメモリデバイスと、
前記プロセッサに動作可能に接続されるプロジェクタであって、前記プロセッサは拡張画像情報を前記対象物に投影するものである、プロジェクタと、
前記プロセッサに動作可能に接続され、前記対象物までの距離を測定する距離測定デバイスと
を備え、
前記プロセッサは、前記距離測定デバイスによる距離測定情報を用いて前記拡張画像情報のスケールを調整し、スケールが調整された前記拡張画像情報を前記プロジェクタに提供するものである、画像システム。
[請求項2]
前記距離測定デバイスは、レーザ測距器と、レーザ走査と、タイム・オブ・フライトと、ストラクチャード・ライトと、ライトフィールドカメラと、音響測定デバイスとからなる群から選択される、請求項1に記載の画像システム。
[請求項3]
前記距離測定デバイスは更に、前記対象物のトポロジと、前記距離測定デバイスに対する前記対象物の向きとの少なくとも一方を求め、
前記プロセッサは、前記トポロジの情報と前記向きの情報との少なくとも一方をも用いて前記拡張情報のスケールを調整するものである、
請求項1に記載の画像システム。
[請求項4]
ストラクチャード・ライトと、バックグラウンドの赤外光と、可視光と、蛍光体励起光とからなる群から選択される少なくとも1つの光源を更に備える請求項1に記載の画像システム。
[請求項5]
前記距離測定デバイスは、前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方を備え、
前記少なくとも1つの光源は、可視光スペクトル及び赤外光スペクトルの少なくとも一方において所定の光パターンを前記対象物に投影するストラクチャード・ライト光源を含み、
センサ及びカメラの少なくとも一方は、前記所定の光パターンの反射を検出し、
前記プロセッサは、前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を検出された反射から計算する、請求項4に記載の画像システム。
[請求項6]
前記距離測定デバイスは、前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方を備え、
前記プロジェクタは、可視光スペクトル及び赤外光スペクトルの少なくとも一方において所定の光パターンを前記対象物に投影し、
センサ及びカメラの少なくとも一方は、前記所定の光パターンの反射を検出し、
前記プロセッサは、前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を検出された反射から計算する、請求項1又は3に記載の画像システム。
[請求項7]
前記プロジェクタは、少なくとも2つの所定の光パターンを前記対象物に投影し、
センサ及びカメラの少なくとも一方は、前記少なくとも2つの所定の光パターンの反射を検出し、
前記プロセッサは、前記対象物までの距離と前記対象物のトポロジの少なくとも一方を検出された反射から計算する、請求項6に記載の画像システム。
[請求項8]
センサ及びカメラの少なくとも一方は更に、前記対象物上に取り付けられているか又はペイントされている基準の位置を検出し、前記基準は可視光スペクトル又は赤外スペクトルにおいて可視であり、
前記プロセッサは、前記基準の位置を用いて、前記拡張画像情報の前記対象物との位置合わせを行う、請求項6に記載の画像システム。
[請求項9]
前記距離測定デバイスは、光源及びセンサを有するタイム・オブ・フライトのセンサユニットを備える、請求項1又は3に記載の画像システム。
[請求項10]
前記光源は赤外線対応光源であり、前記光センサは赤外光の検出が可能である、請求項9に記載の画像システム。
[請求項11]
前記距離測定デバイスは、
前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方と、
可視スペクトル又は赤外スペクトルにおいて少なくとも1つの所定のストラクチャード・ライトのパターンを前記対象物に投影する第2のプロジェクタと
を備え、
センサ及びカメラの少なくとも一方は、前記所定のライトのパターンの反射を検出し、
前記プロセッサは、検出された反射により前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を計算し、計算された距離及びトポロジの少なくともいずれかを用いて前記拡張情報のスケールを調整し、スケールが調整された拡張情報を前記プロジェクタに提供する、請求項1又は3に記載の画像システム。
[請求項12]
センサ及びカメラの少なくとも一方は更に、前記対象物に取り付けられているか又はペイントされている基準の位置を検出し、前記基準は可視光スペクトル又は赤外スペクトルにおいて可視であり、
前記プロセッサは、前記基準の位置を用いて前記拡張画像情報の前記対象物との位置合わせを行う、請求項11に記載の画像システム。
[請求項13]
前記プロセッサに動作可能に接続されるIMUを更に備える請求項1~12のいずれか1項に記載の画像システム。
[請求項14]
前記画像システムが少なくとも所定の時間にわたり静止していることを前記IMUが検出した場合、前記プロセッサは、前記距離測定デバイスによる距離測定を停止させる、請求項13に記載の画像システム。
[請求項15]
前記画像システムが所定の閾値を超えて動いていること又は向きが誤っていることを前記IMUが検出した場合、前記プロセッサは、前記プロジェクタによる投影を停止させる、請求項13に記載の画像システム。
[請求項16]
前記画像システムの向きが所定の閾値内にない場合、前記プロセッサは、通知を表示するよう前記プロジェクタをトリガする、請求項13に記載の画像システム。
[請求項17]
測定された前記対象物までの距離が既定の閾値距離を超えている場合、前記プロセッサは、通知を表示するよう前記プロジェクタをトリガする、請求項1~16のいずれか1項に記載の画像システム。
[請求項18]
ライトを更に備え、前記画像システムが所定の閾値を超えて動いていること又は向きが誤っていることを前記IMUが検出した場合に、前記プロセッサは前記ライトを停止させる、請求項13に記載の画像システム。
[請求項19]
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ及びセンサの少なくとも一方を更に備え、
前記プロセッサは、前記対象物内又は前記対象物上の蛍光体を励起する光を前記プロジェクタから投影させ、
前記カメラ又は前記センサは前記蛍光体の蛍光発光を検出し、
前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶する、請求項1~3のいずれか1項に記載の画像システム。
[請求項20]
前記プロジェクタは、可視スペクトルの光を用いて前記拡張画像情報を前記対象物に投影する、請求項19に記載の画像システム。
[請求項21]
前記プロジェクタは、拡張画像情報を前記対象物に投影するための第1のモードと、前記対象物内又は前記対象物上の蛍光体を励起する光を投影するための第2のモードとを有する、請求項19に記載の画像システム。
[請求項22]
前記プロジェクタは、所定の光パターンを投影するための第3のモードを有する、請求項21に記載の画像システム。
[請求項23]
前記プロジェクタは、可視光スペクトル及び赤外光スペクトルの双方において光を投影することが可能である、請求項22に記載の画像システム。
[請求項24]
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ及びセンサの少なくとも一方と、
前記対象物に光を投影する光源及び第2のプロジェクタの少なくとも一方と
を更に備え、
前記プロセッサは、光源及び第2のプロジェクタの少なくとも一方から、前記対象物内又は前記対象物上の蛍光体を励起する光を投影させ、
カメラ又はセンサの少なくとも一方は、前記蛍光体の蛍光発光を検出し、
前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶する、請求項1~3のいずれか1項に記載の画像システム。
[請求項25]
検出された蛍光の強度が閾値未満である場合、前記プロセッサは、通知を表示するよう前記プロジェクタをトリガする、請求項19又は24に記載の画像システム。
[請求項26]
前記プロセッサに動作可能に接続されるカメラ及びセンサの少なくとも一方と、
前記プロセッサに動作可能に接続され、赤外光スペクトル又は可視光スペクトルにおいて仮想的な基準を前記対象物に投影する第2のプロジェクタと
を更に備え、
前記プロセッサは、前記第2のプロジェクタから前記仮想的な基準を前記対象物に投影させ、
前記カメラ又は前記センサは前記仮想的な基準の位置を検出し、
前記プロセッサは、前記仮想的な基準の位置を用いて前記拡張画像情報の前記対象物との位置合わせを行う、請求項1~3のいずれか1項に記載の画像システム。
[請求項27]
前記メモリは、リモート通信プロトコルにより前記プロセッサに対して動作可能に接続される、請求項1~26のいずれか1項に記載の画像システム。
[請求項28]
前記拡張画像情報は可視光の範囲で投影される、請求項1に記載の画像システム。
[請求項29]
前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ及びセンサの少なくとも一方を更に備え、
前記プロセッサは、前記対象物内又は前記対象物上の蛍光体を励起する光を前記プロジェクタから投影させ、
前記カメラ又は前記センサは第1の波長において前記蛍光体の蛍光発光を検出し、
前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶し、前記第1の波長とは異なる第2の波長において前記拡張画像情報を前記対象物に投影するよう前記プロジェクタをトリガする、請求項1~3のいずれか1項に記載の画像システム。
Claims (10)
- 対象物に拡張情報を投影する画像システムであって、
プロセッサと、
前記プロセッサに動作可能に接続され、拡張画像情報を記憶するメモリデバイスと、
前記プロセッサに動作可能に接続されるプロジェクタであって、前記プロセッサは拡張画像情報を前記対象物に投影するものである、プロジェクタと、
前記プロセッサに動作可能に接続され、前記対象物までの距離を測定する距離測定デバイスと、
前記プロセッサに動作可能に接続される慣性測定ユニットと
を備え、
前記プロセッサは、前記距離測定デバイスによる距離測定情報を用いて前記拡張画像情報のスケールを調整し、スケールが調整された前記拡張画像情報を前記プロジェクタに提供するものであり、
(1)前記画像システムが少なくとも所定の時間にわたり静止していることを前記慣性測定ユニットが検出した場合に、前記プロセッサが前記距離測定デバイスによる距離測定を停止させる構成と、
(2)前記画像システムが所定の閾値を超えて動いていること又は向きが誤っていることを前記慣性測定ユニットが検出した場合に、前記プロセッサが前記プロジェクタによる投影を停止させる構成と、
(3)前記画像システムが所定の閾値を超えて動いていること又は向きが誤っていることを前記慣性測定ユニットが検出した場合に、前記プロセッサが前記ライトを停止させる構成と
の少なくともいずれかを更に備える画像システム。 - 前記距離測定デバイスは更に、前記対象物のトポロジと、前記距離測定デバイスに対する前記対象物の向きとの少なくとも一方を求め、
前記プロセッサは、前記トポロジの情報と前記向きの情報との少なくとも一方をも用いて前記拡張情報のスケールを調整するものである、
請求項1に記載の画像システム。 - 前記距離測定デバイスは、前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方を備え、
前記プロジェクタは、可視光スペクトル及び赤外光スペクトルの少なくとも一方において所定の光パターンを前記対象物に投影し、
センサ及びカメラの少なくとも一方は、前記所定の光パターンの反射を検出し、
前記プロセッサは、前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を検出された反射から計算する、請求項1又は2に記載の画像システム。 - 前記プロジェクタは、少なくとも2つの所定の光パターンを前記対象物に投影し、
センサ及びカメラの少なくとも一方は、前記少なくとも2つの所定の光パターンの反射を検出し、
前記プロセッサは、前記対象物までの距離と前記対象物のトポロジの少なくとも一方を検出された反射から計算する、請求項3に記載の画像システム。 - 前記距離測定デバイスは、光源及びセンサを有するタイム・オブ・フライトのセンサユニットを備える、請求項1又は2に記載の画像システム。
- 前記距離測定デバイスは、
前記プロセッサに動作可能に接続されるセンサ及びカメラの少なくとも一方と、
可視スペクトル又は赤外スペクトルにおいて少なくとも1つの所定のストラクチャード・ライトのパターンを前記対象物に投影する第2のプロジェクタと
を備え、
センサ及びカメラの少なくとも一方は、前記所定のライトのパターンの反射を検出し、
前記プロセッサは、検出された反射により前記対象物までの距離と前記対象物のトポロジとの少なくとも一方を計算し、計算された距離及びトポロジの少なくともいずれかを用いて前記拡張情報のスケールを調整し、スケールが調整された拡張情報を前記プロジェクタに提供する、請求項1又は2に記載の画像システム。 - 前記距離測定デバイスはセンサ及びカメラの少なくとも一方を備え、前記センサ及びカメラの少なくとも一方は、前記対象物に関連付けられている基準の位置を検出し、前記基準は可視光スペクトル又は赤外スペクトルにおいて可視であり、
前記プロセッサは、前記基準の位置を用いて前記拡張画像情報の前記対象物との位置合わせを行う、請求項1又は2に記載の画像システム。 - 前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ及びセンサの少なくとも一方を更に備え、
前記プロセッサは、前記対象物内又は前記対象物上の蛍光体を励起する光を、前記プロジェクタと光源と第2のプロジェクトとの少なくともいずれかから投影させ、
前記カメラ又は前記センサは前記蛍光体の蛍光発光を検出し、
前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶する、請求項1又は2に記載の画像システム。 - 前記プロセッサに動作可能に接続され、蛍光発光を検出するカメラ及びセンサの少なくとも一方を更に備え、
前記プロセッサは、前記対象物内又は前記対象物上の蛍光体を励起する光を前記プロジェクタから投影させ、
前記カメラ又は前記センサは第1の波長において前記蛍光体の蛍光発光を検出し、
前記プロセッサは、検出された蛍光発光を拡張画像情報として前記メモリに記憶し、前記第1の波長とは異なる第2の波長において前記拡張画像情報を前記対象物に投影するよう前記プロジェクタをトリガする、請求項1又は2に記載の画像システム。 - 前記距離測定デバイスは、レーザ測距器と、レーザ走査と、タイム・オブ・フライトと、ストラクチャード・ライトと、ライトフィールドカメラと、音響測定デバイスとからなる群から選択される、請求項1~9のいずれか一項に記載の画像システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762537627P | 2017-07-27 | 2017-07-27 | |
US62/537,627 | 2017-07-27 | ||
PCT/US2018/044169 WO2019023625A1 (en) | 2017-07-27 | 2018-07-27 | PROJECTION SCAN SYSTEM |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020528793A JP2020528793A (ja) | 2020-10-01 |
JP2020528793A5 JP2020528793A5 (ja) | 2021-09-09 |
JP7186762B2 true JP7186762B2 (ja) | 2022-12-09 |
Family
ID=65040838
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020503983A Active JP7186762B2 (ja) | 2017-07-27 | 2018-07-27 | 投影走査システム |
Country Status (5)
Country | Link |
---|---|
US (2) | US11622832B2 (ja) |
EP (1) | EP3658978A4 (ja) |
JP (1) | JP7186762B2 (ja) |
AU (2) | AU2018306730B9 (ja) |
WO (1) | WO2019023625A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3445048A1 (en) | 2017-08-15 | 2019-02-20 | Holo Surgical Inc. | A graphical user interface for a surgical navigation system for providing an augmented reality image during operation |
JP7401211B2 (ja) * | 2019-06-25 | 2023-12-19 | ファナック株式会社 | 外光照度測定機能を備えた測距装置及び外光照度測定方法 |
US11553863B2 (en) * | 2019-08-01 | 2023-01-17 | Industrial Technology Research Institute | Venous positioning projector |
CN111862024A (zh) * | 2020-07-14 | 2020-10-30 | 四川深瑞视科技有限公司 | 基于深度信息增强投影的工件检测系统及方法 |
WO2022179117A1 (zh) * | 2021-02-25 | 2022-09-01 | 南京微纳科技研究院有限公司 | 基于荧光分子成像的导航方法、设备、存储介质 |
US20230075943A1 (en) * | 2021-09-07 | 2023-03-09 | Shimadzu Corporation | Imaging apparatus and imaging method |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050195587A1 (en) | 2004-03-08 | 2005-09-08 | Moctezuma De La Barrera Jose L. | Enhanced illumination device and method |
JP2012030042A (ja) | 2010-06-30 | 2012-02-16 | Panasonic Electric Works Co Ltd | 監視装置、プログラム |
JP2016007396A (ja) | 2014-06-25 | 2016-01-18 | パナソニックIpマネジメント株式会社 | 投影システム |
US20170165028A1 (en) | 2014-03-12 | 2017-06-15 | Stichting Katholieke Universiteit | Anatomical image projection system |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102009024943A1 (de) * | 2009-06-10 | 2010-12-16 | W.O.M. World Of Medicine Ag | Bildgebungssystem und Verfahren zur fluoreszenz-optischen Visualisierung eines Objekts |
CA2797302C (en) | 2010-04-28 | 2019-01-15 | Ryerson University | System and methods for intraoperative guidance feedback |
WO2011162753A1 (en) * | 2010-06-23 | 2011-12-29 | Mako Sugical Corp. | Inertially tracked objects |
WO2012054231A2 (en) | 2010-10-04 | 2012-04-26 | Gerard Dirk Smits | System and method for 3-d projection and enhancements for interactivity |
US9052579B1 (en) | 2012-08-01 | 2015-06-09 | Rawles Llc | Remote control of projection and camera system |
WO2015198578A1 (ja) | 2014-06-25 | 2015-12-30 | パナソニックIpマネジメント株式会社 | 投影システム |
US10363149B2 (en) | 2015-02-20 | 2019-07-30 | OrthAlign, Inc. | Hip replacement navigation system and method |
-
2018
- 2018-07-27 WO PCT/US2018/044169 patent/WO2019023625A1/en active Application Filing
- 2018-07-27 US US16/634,051 patent/US11622832B2/en active Active
- 2018-07-27 EP EP18837880.6A patent/EP3658978A4/en active Pending
- 2018-07-27 JP JP2020503983A patent/JP7186762B2/ja active Active
- 2018-07-27 AU AU2018306730A patent/AU2018306730B9/en not_active Ceased
-
2021
- 2021-10-08 AU AU2021245257A patent/AU2021245257A1/en not_active Abandoned
-
2023
- 2023-03-14 US US18/121,309 patent/US20230218364A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050195587A1 (en) | 2004-03-08 | 2005-09-08 | Moctezuma De La Barrera Jose L. | Enhanced illumination device and method |
JP2012030042A (ja) | 2010-06-30 | 2012-02-16 | Panasonic Electric Works Co Ltd | 監視装置、プログラム |
US20170165028A1 (en) | 2014-03-12 | 2017-06-15 | Stichting Katholieke Universiteit | Anatomical image projection system |
JP2016007396A (ja) | 2014-06-25 | 2016-01-18 | パナソニックIpマネジメント株式会社 | 投影システム |
Also Published As
Publication number | Publication date |
---|---|
AU2021245257A1 (en) | 2021-11-04 |
AU2018306730A1 (en) | 2020-02-13 |
EP3658978A4 (en) | 2021-04-21 |
US20230218364A1 (en) | 2023-07-13 |
US11622832B2 (en) | 2023-04-11 |
JP2020528793A (ja) | 2020-10-01 |
US20210145536A1 (en) | 2021-05-20 |
EP3658978A1 (en) | 2020-06-03 |
WO2019023625A1 (en) | 2019-01-31 |
AU2018306730B2 (en) | 2021-07-08 |
AU2018306730B9 (en) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7186762B2 (ja) | 投影走査システム | |
JP6586211B2 (ja) | プロジェクションマッピング装置 | |
US10136970B2 (en) | System, device, and method for dental intraoral scanning | |
US5954648A (en) | Image guided surgery system | |
US20190053691A1 (en) | A laparoscopic tool system for minimally invasive surgery | |
US20090124891A1 (en) | Image guided surgery system | |
EP3076892B1 (en) | A medical optical tracking system | |
JP5137033B2 (ja) | 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム | |
US20120281071A1 (en) | Optical Scanning Device | |
US20190083180A1 (en) | Medical image processing apparatus, medical image processing method, and program | |
JP5283157B2 (ja) | 手術支援情報表示装置、手術支援情報表示方法及び手術支援情報表示プログラム | |
US20210052329A1 (en) | Monitoring of moving objects in an operation room | |
JP2012050618A (ja) | 画像取得表示方法および画像撮像表示装置 | |
US10846883B2 (en) | Method for calibrating objects in a reference coordinate system and method for tracking objects | |
JPH0436364B2 (ja) | ||
JP2011136005A (ja) | 内視鏡装置 | |
JP2017176773A (ja) | 手術支援システム、手術支援方法、手術支援プログラム | |
WO2022179117A1 (zh) | 基于荧光分子成像的导航方法、设备、存储介质 | |
US11337771B2 (en) | Method and device for measuring the fluorescence emitted at the surface of biological tissue | |
CN218552456U (zh) | 一种手术成像系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210727 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210727 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220729 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221108 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7186762 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |