JP7286815B2 - 物体追跡のための照明システム及び方法 - Google Patents

物体追跡のための照明システム及び方法 Download PDF

Info

Publication number
JP7286815B2
JP7286815B2 JP2021575046A JP2021575046A JP7286815B2 JP 7286815 B2 JP7286815 B2 JP 7286815B2 JP 2021575046 A JP2021575046 A JP 2021575046A JP 2021575046 A JP2021575046 A JP 2021575046A JP 7286815 B2 JP7286815 B2 JP 7286815B2
Authority
JP
Japan
Prior art keywords
controller
objects
image data
further configured
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021575046A
Other languages
English (en)
Other versions
JP2022537314A (ja
Inventor
ジョルジ サパタ
シルバ カルロス エドゥアルド バーガス
Original Assignee
ジェンテックス コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ジェンテックス コーポレイション filed Critical ジェンテックス コーポレイション
Publication of JP2022537314A publication Critical patent/JP2022537314A/ja
Application granted granted Critical
Publication of JP7286815B2 publication Critical patent/JP7286815B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/30Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90Identification means for patients or instruments, e.g. tags
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00216Electrical control of surgical instruments with eye tracking or head position tracking control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Robotics (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Image Analysis (AREA)

Description

本開示は、一般に照明及び撮像システムに関し、より具体的には、視覚ベースの照明、物体検出、及び追跡システムに関する。
外科手術設定は、様々な手術及び限られた時間内に送達され得る患者があるために複雑であり得る。このような複雑さは、識別及び患者処置におけるエラーをもたらし得る。従って、患者を正確に識別し、患者記録にアクセスするための効率的な方法は有利であり得る。本開示は、医用室及び関連する動きの複雑さの限定を支援するために改善されたシステムを提供する。
本発明の一態様では、手術領域(作動領域)を監視及び照明するための照明システムが開示される。システムは、手術領域の一部に選択的に光放射を向けるように構成された、少なくとも1つの照明源を有し、少なくとも1つの照明アセンブリを備えている。少なくとも1つの撮像装置は、手術領域の視野内の画像データを捕捉するように構成されている。コントローラは、照明アセンブリ及び撮像装置と通信している。コントローラは、視野内に捕捉された画像データを処理し、物体ライブラリに基づいて画像データ内で検出された複数の物体を識別し、複数の物体のそれぞれの位置を追跡し、物体のそれぞれの位置を記憶するように構成されている。
本発明の別の態様では、手術領域(作動領域)を監視及び照明するための照明システムが開示される。システムは、手術領域の一部に選択的に光放射を向けるように構成された照明源と、手術領域内の視野内の画像データを捕捉するように構成された少なくとも1つの撮像装置とを有する、少なくとも1つの照明アセンブリを備えている。コントローラは、照明アセンブリ及び撮像装置と通信している。コントローラは、視野内に捕捉された画像データを処理し、物体ライブラリに基づいて、画像データ内に検出された複数の物体を識別し、及び複数の物体に対する物体情報へアクセスするように構成されている。コントローラは、ある期間にわたって複数の物体の各々のバランス決定を完了するように更に構成されている。バランス決定は、物体の各々の廃棄、保管、又はインプラント位置を識別する。
本発明の更に別の態様では、手術領域(作動領域)を照明するように構成された照明装置が開示される。装置は、手術領域の一部に選択的に光放射を向けるように構成された少なくとも1つの照明源と、手術領域の視野内の画像データを捕捉するように構成された少なくとも1つの撮像装置とを有する、少なくとも1つの照明アセンブリを備えている。コントローラは、照明アセンブリ及び撮像装置と通信している。コントローラは、視野内に捕捉された画像データを処理するよう構成されている。コントローラは更に、物体ライブラリに基づいて画像データ内で検出された複数の物体を識別し、複数の物体の物体情報にアクセスするように構成されている。物体データは、複数の物体を、手術領域での使用のために事前認可された関連する物体として識別する。コントローラは更に、識別された物体を、物体情報内で識別された関連する物体と比較し、比較に基づいて、事前認可されていないライブラリ内の予想外の物体を識別するように構成されている。
本発明の装置のこれら及びその他の特徴、利点、及び目的は、以下の明細書、特許請求の範囲、及び添付図面を調べる際に、当業者によって更に理解及び認識される。
以下は、添付図面の図の説明である。図面は必ずしも正確な縮尺ではなく、図面中の特定の特徴及び特定の図は、明瞭及び簡潔とするために、縮尺が誇張されているか、概略的に示されている場合がある。
図面に以下が示される。
図1は、照明システムを含む医用室の概略図である。 図2は、照明システムによって物体を識別するために実行された物体ライブラリを示すブロック図である。 図3は、照明システムの制御方法を示すフローチャートである。 図4は、手術領域の照明に優先順位を付けるために照明システムによって適用された動き及び追跡技術を示す例示的図である。 図5は、本開示による照明システムを示すブロック図である。
本明細書での説明の目的で、「上側」、「下側」、「右」、「左」、「背面」、「正面」、「垂直」、「水平」といった用語、及びそこから派生したものは、図1で方向づけられたように本発明に関連するものとする。別途定めがない限り、「前」という用語は、ディスプレイミラーの意図された観察者に近い構成要素の表面を指すものとし、「後」という用語は、ディスプレイミラーの意図された観察者から遠い構成要素の表面を指すものとする。ただし、本発明が様々な代替の向きを取ってもよいことは理解されるべきであるが、それと反することを明示的に指定する場合は除かれる。また、当然のことながら、添付した図面に図示し、以下の明細書に記載した特定の装置及びプロセスは、添付した特許請求の範囲に規定された発明の概念の単なる例示的な実施形態にすぎない。よって、特許請求の範囲でそうでないことが明示的に述べられていない限り、本明細書で開示された実施形態に関連する具体的な寸法及びその他の物理的特性は、限定とはみなされない。
用語「含む(including)」、「備える(comprises)」、「備える(comprising)」、又は他の変形は、非排他的包含にわたるように意図されており、要素のリストを備えるプロセス、方法、物品、又は装置が、これらの要素のみを含むのではなく、明示的に列挙されていないか、又はこのようなプロセス、方法、物品、又は装置に固有の他の要素を含み得る。「...を含む(comprises a...)」によって始められる要素は、さらなる制約を受けずに、その要素を備えるプロセス、方法、物品、又は装置において、追加的の同一要素の存在を除外しない。
全体的に図1乃至2を参照して、本開示は、実行された動作環境の動作を追跡するように構成された照明システム10を提供する。様々な実施例において、照明システム10は、コントローラ12、及び医用室14で利用され、場所又は手術領域(作動領域)16を選択的に照明することができる様々な付属品を備え得る。従って、照明システム10は、1つ又は複数の光源20を備え得る、1つ又は複数の照明アセンブリ18を備え得る。更に、システム10は、手術領域16を含む視野24の画像データ又は追跡データを捕捉するために、少なくとも1つの撮像装置22又はスキャン装置を実行する。幾つかの実行では、システム10は、手術領域16全体にわたって動きを追跡するように構成された複数の撮像装置22を備えてもよい。このようにして、システム10は、撮像装置22の画像データに捕捉され得る、人、品目、付属品及び任意の物体の動きを監視するために、1つ又は複数のコントローラ12によって一緒にステッチされてもよく、又はそうでなければ組み合わせて追跡され得る、複数の視野にわたって動きを検出及び追跡するように構成され得る。
動作中、システム10のコントローラ12は、手術領域16をスキャンして、医療器具26a(例えば、工具、付属品、在庫品目など)、医療機器又はデバイス26b、人26c(例えば、医師、看護師、スタッフなど)、及び画像データ内で検出され得る任意の他の物体26に対応する、複数の物体26の各々を識別するように構成され得る。物体26が検出されると、システム10は、1つ又は複数の撮像装置22の視野24内に検出された物体26の位置に基づいて、手術領域16内の品目を追跡し得る。複数の撮像装置22間の物体26の位置を追跡するために、システム10は、グリッド又は座標系28内の物体26の位置を識別するように構成され得る。従って、撮像装置22の各々は、物体26の位置が経時的に追跡及び文書化され得るように、座標系28内の識別された各物体26の位置を識別し、複数の視野24間で追跡するために物体26を登録して、較正及びプログラムされ得る。このように、システム10は、効率を改善し、廃棄物を低減し、動きを文書化するために実施され得る、在庫及び人員追跡を提供し得る。更に、このような動きを追跡している間、システム10は、照明のために指定された物体26のうちの1つ又は複数が、物体が手術領域16を通って移動するにつれて一貫して且つ効果的に照明されるように、照明アセンブリ18を制御し得る。
人26cを識別するために、システム10は、患者、手術、又は医用室14のユーザが引き受け得る作業に関連する識別情報を捕捉し、処理するように構成され得る。識別情報は、1つ又は複数の識別方法(例えば、顔面認識、虹彩認識、指紋認識など)を介して患者の同一性を決定するために、システム10のコントローラ12によって処理され得る生体情報に対応し得る。従って、システム10の撮像装置22の各々は、手術領域16内の識別情報(例えば、生体認証、ID番号、コード化された識別子など)を捕捉するように構成されたスキャン装置として動作し得る。このようにして、システム10は、手術領域16内の1つ又は複数の人26cの検出及び追跡を提供し得る。
前述したように、物体26がシステム10によって識別されると、物体26の位置及び関連する動きは、画像データを介して座標系28内で追跡及び推定され得る。システム10が複数の物体26を追跡するように構成された実施例では、物体26の追跡情報は、本明細書では、座標系28、相対位置(例えば、手術領域16に位置する人又は関心対象物30に関連する)、及び存在又は在庫情報に関連して、絶対位置を含み得る、ロジスティックデータと呼ばれてもよい。ロジスティックデータに基づいて、物体26の各々は、物体26の位置又は動きの変化がシステム10によって追跡及び分析され得るように、視野24において経時的に追跡され得る。
物体26の在庫又は追跡に関連して、システム10は、物体26を追跡し、画像データ内で検出された物体26のそれぞれについてバランス決定(balance determination)又は説明(accounting)を完了するように構成され得る。例えば、コントローラ12は、検出された物体26の各々の割り当てられた保管、インプラント(implant)、及び/又は廃棄情報を決定するために、メモリ、データベース、及び/又はリモートサーバから物体データ又は情報にアクセスするように構成され得る。従って、システム10が物体26を追跡するとき、コントローラ12は、物体26の位置を追跡し、物体26の手術領域への導入を識別すると共に、廃棄、保管、又はインプラント位置での物体の中間位置及び最終位置を追跡し得る、説明又はバランス決定を完了し得る。物体26の特定された位置に基づいて、コントローラ12は、位置を、物体データ又は情報の中で識別された割り当てられた位置と比較し得る。1つ又は複数の物体が割り当てられた位置に配置されていない場合、又は導入された物体が不明である場合、コントローラ12は、1つ又は複数の物体が、物体に関連付けられる割り当てられた位置に位置付けられていないことを示すアンバランス又は説明エラーを識別し得る。このようにして、コントローラ12は、物体26を追跡し、置き場所を誤った又は説明のできない物体26に対する警告を提供し得る。
手術領域16内で物体26の位置を検出及び追跡すると、システム10は、幾つかの有益な動作を提供するよう動作可能であり得る。例えば、システム10は、一様な照明が、その各々が手術領域16内で移動し得る、標的領域30a、重要な物体30b、及び/又は追跡された人30cに確実に提供されるように照明を制御及び調整するよう構成され得る。更に、システム10は、ワークフローを追跡又は分析するために物体の存在、位置、及び動きを追跡するように構成され得る。例えば、図4を参照して更に論じるように、システム10は、手術領域16の各人26cの位置を追跡するように構成され得る。捕捉されると、人26cの動きは、プロセス改善のための複雑なワークフロー追跡を提供し、過剰な動きを警告し、手術領域16で発生する非効率性を識別するためにシステムによって利用され得る。更に、システム10は、関心対象物30又は複数の物体26を同時に照射できないこと(例えば、複数の標的又は物体を自動的に照明する)と関連付けられ得る、照明アセンブリ18の限定を識別して対処するように構成され得る。従って、本開示は、複雑なワークフローを追跡及び最適化し、物体26の動作パターンを識別し、手術領域16内を移動する物体26をリアルタイムで追跡及び照射し、様々な形態の動的照明動作を行うように構成され得るシステム及び方法を提供する。従って、本開示は、様々な用途に適合し、様々な動作特徴を提供するために実行され得る、多機能照明システム10を提供する。
更に図1及び図2を参照すると、システム10は、画像データを処理して、コンピュータビジョンアルゴリズム及び関連する物体ライブラリ(object library)32に基づいて物体を識別するように構成され得る。従って、システム10によって識別され得る物体の各々は、物体ライブラリ32に登録され得る。更に、システム10は、物体ライブラリ32内で識別された物体26を様々なカテゴリに区別するように構成され得る。例えば、認可された品目、許可された品目、又は予測された品目(例えば、手術領域16で一般的に使用される品目)は、システム10によって識別され得る。このような物体26は、追跡された在庫に従って手術領域16内に導入されるか、又はシステム10の特定の動作順序、部屋若しくは手術区域、又は環境に関連して、手術領域16での使用のために事前認可されるため、他のものと区別され得る。このような物体26は、手術領域16との所定の関連付けに従って、関連する物体32aと呼んでもよい。従って、システム10は、多種多様な物体26を識別及び追跡し、物体26をカテゴライズするように構成され得る。しかしながら、識別され得る物体26の全てが、手術領域16での使用を認可又は識別されなくてもよい。
幾つかの実施では、システム10は、関連する物体32aのリストに含まれない、無認可又は無関係な物体26を検出するように構成され得る。このような品目は、本明細書では予想外の物体32bと呼んでもよく、システム10の画像データの処理を介して識別可能であるが、手術領域16に関連付けられる追跡された在庫又は物体26に基づいては予想されないものであり得る。このような予想外の物体32b又は無認可の品目の例としては、食品、未登録の工具、個人的品目、不適合の服装又は個人的付属品(例えば、衣服、宝石など)、無認可の人、又はシステム10の1つ又は複数のコントローラ12上で動作する1つ又は複数のコンピュータビジョンアルゴリズムによって識別され得る、如何なる他の物体を含み得る。システム10及び1つ又は複数のコントローラ12の動作のさらなる詳細な考察は、図5に関連して提供される。
幾つかの実施では、システム10は、例えば、スポットライトなどの狭い光の放射を手術領域16内に投影し、1つ又は複数の物体26を強調又は照明するように構成され得る。光源20によって照射された表面又は物体26を拡大又は焦点を合わせるように、スポットライトを形成する放射の割合を調整(例えば、レンズ又は開口を通して形成又は割合を変える)し得る。一部の事例では、スポットライト又はビームの割合は、画像データに表された対応する光の外観に基づいて調整され得る。従って、システム10は、物体26を照射し、入射光の割合又はパターンを調整して、物体26を照明すると同時に、物体26の境界を越えて延びる光を切断するように構成され得る。このようにして、システム10は、画像データ内で識別された位置に基づいて物体26を照明するために、スポットライトを投影し、画像データ内で識別された物体の境界に延在するように、光源20の割合又は照明パターンを調整する。このような自動照明動作は、1つ又は複数の物体26を視覚的に強調し得る。
例えば、本明細書で論じたように、予想外の物体32b又は任意の検出された物体26を識別することに応答して、コントローラ12は、光源20からの放射44のうちの1つ又は複数を方向付けて、物体が検出された1つ又は複数の視野24内の位置を照明するように構成され得る。更に、システム10は、画像データ内の物体の位置の変化を追跡し、照明アセンブリ18の位置決めアセンブリを制御して、手術領域16内で物体26が動くにつれて、それを追跡及び照明するように構成され得る。一部の事例では、物体26は、重要な物体30b、追跡された人30c、予想外の物体32b、識別不能物体、又は画像データ内で識別され得る様々な物体又は領域であり得る。更に、光源20は、第一の色を有する第一の放射及び第二の色を有する第二の放射で、手術領域16の物体26を照明するように構成され得る。この構成では、システム10は、第一の色で第一の物体又は標的領域を照射し、第二の色で第二の物体を照明するように構成され得る。
関連する物体32a及び予想外の物体32bに加えて、システム10は、識別不能物体34を検出、追跡、及び/又は文書化するように更に構成され得る。このような物体は、画像データ内で検出されるが、物体ライブラリ32内に定義された物体と関連付けられない物体であり得る。識別不能物体34の検出に応答して、システム10は、識別不能物体が、検出を記録する画像データと共にメモリ又はデータベースに記録され得るように、1つ又は複数の固有の特徴(例えば、線、テキスト、符号化された情報)又は可視特徴を組み合わせて文書化し得る。このような識別不能物体34の識別は、システム10のコンピュータビジョンアルゴリズムによって直ちに決定されない場合があるが、関連する固有の特徴の位置は、システム10によって追跡及び文書化され得る。更に、システム10によって文書化された識別不能物体34の画像データ及び固有の特徴は、物体ライブラリ32を拡張するための訓練データとして利用され得る。このように、システム10は、物体ライブラリ32を改善することによって、経時的にその動作の効率性及びパフォーマンスを改善するように構成され得る。物体ライブラリ32へのこのような追加は、システム10の所有者によって個人的に維持されてもよく、又は中央データベースにアップロードされて、本明細書で論じるシステム10の各設置の動作を改善し得る。
ここで図1を参照すると、図示するように、照明システム10は複数の照明アセンブリ18である。照明アセンブリ18のそれぞれは、本明細書で論じるように、ジンバル又は関節式アームに接続された固定ハウジング及び/又は光源に組み込まれた関節式光源20を介して実施され得る。照明システム10は、標的領域30a、重要な物体30b、及び/又は追跡された人30cなどに向かって照明を向けるように表現された撮像装置22のうちの1つ又は複数を含み得る。撮像装置22は、照明アセンブリ18(例えば、ハンドル又は本体)、テーブル36、及び/又は医用室14の中に位置付けられてもよく、又はそれらに連結され得る。撮像装置22は、電荷結合デバイス(CCD)撮像装置、相補型金属酸化膜半導体(CMOS)撮像装置、その他のタイプの撮像装置及び/又はそれらの組み合わせであり得る。様々な実施例によると、撮像装置22は、患者、テーブル36、又は医用室14の他の特徴によって反射された光をコリメート及び/又は収束するための1つ又は複数のレンズを含み得る。
テーブル36は、手術領域16を少なくとも部分的に画定し得る。医用室14に関連して説明するが、本開示の照明システム10は、様々な環境で利用され得ることが理解されるであろう。例えば、照明システム10は、自動車修理エリア、医師のオフィス、歯科、写真撮影スタジオ、製造現場、及び動的照明ソリューションが有利であり得る他の領域において利用され得る。
照明アセンブリ18は、様々な構成を取り得る。照明アセンブリは、1つ又は複数の光源20を含み得る。第一の実施例では、照明アセンブリ18はモジュール式であり、相互接続され、トラックシステム上で支持され得る。例えば、照明アセンブリ18は、円形、卵形、楕円形、三角形、正方形、長方形、五角形又は高次多角形形状を有し得る。異なる照明アセンブリ18は、異なる形状を取ることができ、照明システム10は、様々な照明アセンブリ18を含み得ることが理解されよう。
様々な実施では、光源20は、手術領域16全体にわたって様々な波長の光を放射するように構成され得る。例えば、光源20は、赤外線から紫外線までの範囲であってもよく、波長の可視スペクトルを含んでもよい、様々な波長の光を放射するためにシステム10によって制御され得るエミッタ(例えば、発光ダイオードなど)の範囲を含んでもよい。幾つかの実施形態において、光源から放射された光は、赤外線(例えば、近赤外線、赤外線、及び/又は遠赤外線)として放射され得る。他の実施形態では、可視光は、手術領域16を照明するために放射され得る。従って、照明アセンブリ18は、手術領域16内の均一な照明を含む様々な照明動作を提供するために柔軟に適用され得る。更に、本明細書で論じるシステムは、物体検出、認識、追跡、在庫、及び様々な他の視覚関連アプリケーションを含む、機械視覚の様々な用途へのサポートを提供し得る。本明細書に記述された照明アセンブリ及びシステムによって実施され得る照明方法及び関連システムの詳細な例は、米国特許第10,240,751B2号の「SYSTEMS AND METHODS OF ILLUMINATION」において提供され、その開示は参照によりその全体が本明細書に組み込まれる。
実施形態によっては、システム10は、光源から放射された光を制御及び調整して、撮像装置22によって捕捉された画像データの画質を向上させ得る。例えば、照明アセンブリのコントローラ12は、光源20から出力された光の放射を調整して、物体26のタイプを、画像データ内の改善された強度又は詳細で目立たせるか、又は見えるようにし得る、様々な波長の光を含んでもよい。従って、照明システム10は、物体26又は流体、生物材料などをその光反射特性に関連して強調させるために、経時的に手術領域に放射された光の波長を調整するように構成され得る。従って、システム10は、照明の変化を利用して、画像データ内の物体26の識別を補助し得る。このように、照明システム10は、様々な照明動作及び物体26の検出を提供するために、柔軟に適用され得る。
様々な実施例では、照明アセンブリ18は、1つ又は複数のアクチュエータ42を制御することによって光源20の投影方向を調整し得る、1つ又は複数の位置決めアセンブリ40から位置付けられ、又は吊るされ得る。従って、位置決めアセンブリは、独立して又は任意の組み合わせで回転及び/又は並進運動するように構成され得る。示されるように、システム10は、第1の位置決め機構及び第二の位置決め機構を含む。概して、本明細書で論じる位置決めアセンブリ40は、光源20bから放射された、1つ又は複数の光放射44の方向を制御するように構成され得る。本明細書において示され、更に考察されるように、光源20ならびに位置決めアセンブリ40のそれぞれは、コントローラ12と通信してもよく、これは1つ又は複数の光放射44の方向を制御するように構成され、標的領域30a、重要な物体30b、及び/又は追跡された人30cを照明し得る。
様々な実施形態では、1つ又は複数の位置決めアセンブリ40は、1つ又は複数のアクチュエータ42a及び42bの移動(例えば、回転作動)に応答して操作又は調整され得る、1つ又は複数のジンバル式アームを含み得る。この構成では、コントローラ12は、アクチュエータ42a及び42bのそれぞれを制御するように構成され、照明アセンブリ18の向きを操作し得る。このように、位置決めアセンブリ40は、第一の軸48a及び第二の軸48bを中心とする照明アセンブリ18の回転を制御し得る。アクチュエータ42a、42bのこのような操作により、コントローラ12は、手術領域16又は医用室14の様々な部分を選択的に照明するように、光源20bを方向付けすることができる。
位置決めアセンブリ40及びアクチュエータ42a及び42bは、本明細書で論じるように、1つ又は複数の電気モータ(例えば、サーボモータ、ステッピングモータなど)に対応し得る。従って、位置決めアセンブリ40(例えば、アクチュエータ42)のそれぞれは、照明モジュールを360度、又は照明アセンブリ18若しくは照明アセンブリ18を支持し得る他の支持構造の境界制約内で、回転させるように構成され得る。コントローラ12は、照明アセンブリ18のモータ又はアクチュエータ42を制御して、光源20の光放射44を方向付けて、医用室14の所望の位置を標的とすることができる。照明モジュール46を、正確に方向付けて所望の位置を標的とするために、コントローラ12を較正して、照明モジュール46の位置を、医用室14の座標系28内の標的位置に制御し得る。このようなシステムの較正は、経時的に起こり得る位置決めアセンブリ40及びアクチュエータ42の動作の変動による較正更新又は補正の形態での保守を必要とし得る。
ここで図1及び3を参照すると、幾つかの実施形態では、照明システム10は、画像データを処理して物体26を検出し、照明アセンブリ18の照明を制御し得る。撮像装置22は、照明システム10のコントローラ12に画像データをリレーするように構成され得る。コントローラ12は、メモリ及びプロセッサを含み得る。メモリは、プロセッサによって制御された、コンピュータ実行可能コマンド(例えば、ルーチン)を格納し得る。様々な実施例によれば、メモリは、光制御ルーチン及び/又は画像分析ルーチンを含み得る。画像分析ルーチンは、撮像装置22からのデータを処理するように構成されている。例えば、画像分析ルーチンは、手術領域16の影及び輝度、ガイダンスシステムからの光、関心点の場所(例えば、テーブル36の周りのユーザ)及び/又はユーザからのジェスチャを識別するように構成され得る。更に、コントローラ12は、ライブラリ32に画定された物体26を識別するために実行され得る、機械学習又は様々な事前訓練された検出モデルを介して訓練された検出モデルを含むがこれに限定されない、1つ又は複数の物体検出アルゴリズムを適用するように構成され得る。物体の識別のために実施され得る事前訓練されたモデルの例には、以下が含まれ得るが、これらに限定されない。LeNet、AlexNet、ZF Net、GoogleNet、VGGNet、ResNetなどである。画像分析ルーチンが、撮像装置22からのデータを処理すると、光制御ルーチンは、位置決めアセンブリ40がどのように動作するかを制御し得る。例えば、光制御ルーチンは、標的領域30a、重要な物体30b、及び/又は追跡された人30cの位置で光を放出するように、光アセンブリ18を移動、操縦、作動、又はさもなければ影響を与えるように構成され得る。
撮像装置22は、照明アセンブリ18のそれぞれに組み込まれるものとして説明したが、システム10は、医用室14における任意の位置から画像データを捕捉するように構成され得る。撮像装置22の各々の画像データ及び照明アセンブリ18の動作を処理及び調整するために、コントローラ12の各々は、中央コントローラ50と通信し、これを介して制御され得る。このような実施形態では、中央コントローラ50は、1つ又は複数の撮像装置22からの画像データを処理し、複数の照明アセンブリ、及び位置決めアセンブリ40のアクチュエータ42のそれぞれに対して制御信号を通信するように構成され得る。従って、システム10は、本開示の精神から逸脱することなく、様々な有益な実施形態において実施され得る。
コントローラ12及び中央コントローラ50に対する特定の参照で論じたが、本明細書で論じるシステム及び装置の様々な動作の多くは、本明細書ではコントローラ12と一般的に呼ばれ得る1つ又は複数のコンピュータ制御装置に基づいて動作し得る。記載された用語「コントローラ」は、本明細書に記載された様々な動作を制御するために、1つ又は複数のメモリデバイス、データベース、サーバなどと通信し得る様々な処理モジュール(例えば、プロセッサ、マイクロプロセッサ、集積回路など)に適用され得ることが理解される。コントローラ12及び本明細書で論じるシステムの動作に関するさらなる説明は、図5を参照して更に詳細に提供される。
幾つかの実施形態では、システム10は、画像データを更に処理して、光源20から放射された光が、標的領域30a、重要な物体30b、及び/又は追跡された人30cに衝突するのを干渉することができる1つ又は複数の障害物52を識別し得る。障害物52は、照明アセンブリ18から放出された1つ又は複数のパルス赤外線放射を検出することに応答して識別され得る。例えば、中央コントローラ50は、座標系28を参照して画像データを処理することによって、赤外線放射が障害物52と交差する位置の点のおよその位置を識別するように較正され得る。このようにして、中央コントローラ50は、光の交互の軌道が画像データ内で計算及び監視されて、標的領域30a、重要な物体30b、及び/又は追跡された人30cをうまく照明し得るように、座標系28に対する障害物52の位置を検出し得る。
図3を参照すると、システム10を制御するための方法60のフローチャートが示される。動作中、方法60は、撮像装置22から画像データ62を受信するコントローラ12に応答して開始し得る。更に、コントローラ12はまた、システム10の特定の動作順序、動作の部屋若しくはゾーン、又は環境に関連する物体ライブラリ32の関連する物体32aを識別し得るプログラミング情報64を受信し得る。一旦受信されると、コントローラは、画像データ62の処理を開始し、本明細書で論じるように、1つ又は複数の物体認識アルゴリズムに基づいて、手術領域16で検出された物体26を識別し得る(66)。前述したように、手術領域16で検出された物体26は、関連する物体32a、予想外の物体32b、及び識別不能物体34として分類され得る(68)。更に、物体26は、標的領域30a、重要な物体30b、及び/又は追跡された人30cと関連付けられるものとして分類されてもよく、その各々は、照明アルゴリズムを介した照明を優先してもよく、及び/又は様々な目的のために追跡及び分析され得る。従って、手術領域16で検出された物体26は、経時的に分類及び追跡され、メモリ又はデータベースにログインし、手術領域16で完了した動きに関する情報を提供し得る(70)。
前述のように、識別不能物体34は、1つ又は複数の固有の特徴(例えば、線、テキスト、コード化された情報)又は目に見える特徴の組み合わせに基づいて追跡され得る。このように、識別不能物体34は、ステップ70で検出を記録する画像データと共に、メモリ又はデータベースに記録され得る。更に、システム10の物体認識又はコンピュータビジョンアルゴリズムは、物体ライブラリ32を拡張するための訓練データとして、識別不能物体34に対して取り込まれた画像データ62及び動きデータを利用し得る。このように、システム10は、物体ライブラリ32を改善することによって、経時的に動作の効率及びパフォーマンスを改善するように構成され得る。物体ライブラリ32へのこのような追加は、システム10の所有者によって個人的に維持されてもよく、又は中央データベースにアップロードされて、本明細書で論じるシステム10の各設置の動作を改善し得る。
物体26が画像データ62内で検出されると、システム10は、物体26の位置及び動きを監視し続けることができる(72)。識別されると、コントローラは更に、メモリ又はデータベース内の物体26のそれぞれに対する位置及び動きデータを記録及び記録し得る(74)。動き及び位置追跡は、効率の改善、廃棄物の削減、及び動きの文書化のために実施され得る、在庫及び人追跡のために利用され得る。更に、このような動きを追跡している間、システム10は、照明のために指定された物体26のうちの1つ又は複数が、ステップ76~80を参照して論じるように、一貫して且つ効果的に照明されるように、照明アセンブリ18を制御し得る。
物体26が識別された状態で、システム10は更に、物体26の位置を追跡し、標的領域30a、重要な物体30b、及び/又は追跡された人30c(76)の照明を優先し得る。物体26の位置及び優先順位が決定されると、システム10のコントローラ12は、位置決めアセンブリ40のアクチュエータ42を制御して、照明アセンブリ18を方向付け、物体26を照明し得る(78)。物体26を照明している間、コントローラ12は、不一致を低減し、影を軽減し、照明アセンブリ18から物体26への遮るもののない経路を識別して障害物による干渉を制限することによって、照明アセンブリの照明パフォーマンスを決定及び改善するために、画像データを監視し続けることができる(80)。検出された不一致、影、及び障害物に基づいて、方法60は、標的領域30a、重要な物体30b、及び/又は追跡された人30cの動きを追跡するために利用され得る、画像データに基づいて各照明アセンブリに対する照明制御アルゴリズムを最適化することによって、手術領域16の照明を最適化し続けることができる(82)。更に、方法60は、物体の認識のために、照明アルゴリズム又は関連する訓練されたモデルの照明制御係数を更新して、システム10の照明及び検出パフォーマンスを最適化し得る(84)。
図4を参照すると、照明システム10の例示的な手術領域90の立面図が、照明ルーチン及び物体追跡動作を明らかにするように示される。図示するように、図4は、手術領域16内に位置する複数の人26cを示す。前述のように、照明システム10は、この場合、患者92の形態の重要な物体30bを含む、標的領域30aの一貫した照明を提供するように構成され得る。この構成では、照明アセンブリ18のコントローラは、標的領域30aの照明に優先順位を付けてもよく、患者92又は標的領域30a内の指定された部分若しくは重要な物体30bの照明に更に優先順位を付けてもよい。本明細書で論じるように、優先順位付けは、照明する標的領域30a及び/又は物体26の相対的重要性又は重要性の順序を示している。物体26及び/又は標的領域30a間の優先順位付けに基づいて、システム10のコントローラ12は、照明アセンブリ18を選択的に制御し、照明リソース(例えば、放射44の数及び範囲)を最適に適用して、手術領域16の特定された態様を優先順位付きで照明するために、標的領域30a及び/又は物体26のどれかを選択し得る。このようにして、システム10は、照明のために手術領域16の標的領域及び物体26を監視し、利用可能な照明リソース(例えば、照明アセンブリ18の照明の量、位置、及び範囲)に基づいて照明に優先順位を付け得る。
幾つかの実施では、照明のための標的領域30aは、手術領域16内の人26cの注視方向96として定義され得る、視線又は焦点領域94を含み得る。例えば、外科医98又は他の追跡された人30cの注視方向96は、人26cの位置及び人26cの頭部の方向100に基づいて決定され得る。頭部の向き100又は角度は、人26cの位置に対する角度方向又は注視方向96として、画像データ(例えば、目、額、鼻など)の1つ又は複数の特徴によって識別され得る。従って、照明システム10は、注視方向96を追跡し、照明リソースを標的にして、注視方向96に沿って人26c又は外科医98の所定の近接領域内の領域を照射し得る。同様に、照明システム10は、注視方向96を追跡し、注視方向96と標的領域30a又は物体26との間の交差102を含む手術領域16の一部分を照射し得る。このように、システム10のコントローラ12は、標的領域30a内の人26cの注視方向96を優先して、手術領域16の照明を更に優先し得る。
前述したように、一部の事例では、システム10はまた、手術領域16内の人26c、例えば、追跡された人30cの動きを追跡するように構成され得る。図4に示すように、システム10のコントローラ12は、経路104、屈曲又は立位位置106、及び追跡された人30cによって移動された距離を追跡及び記録するように構成され得る。このように、システム10は、画像データ内で識別された人26cの位置の変化に基づいて、追跡された人30cの移動統計を記録するように構成され得る。一部の事例では、照明システム10は、識別された位置を利用して、手術領域16の照明スキームの一部として経路104を照射し得る。しかし、システム10は、動き統計を更に利用して、人26cの過剰な又は反復的な動きを警告するために、最も移動する手術領域16内の物体26を識別し得る。一部の事例では、システム10に対して、物体26又は人26c(例えば、外科医98、リーダーなど)の関連で追跡された人30cの協調した動きを識別して、物体26又は人26cに対して最適化された位置を提案して、不必要な動きを制限し得る。従って、システム10は、多数の追跡及び分析操作を提供して、改善すべき領域を識別するか、又は物体26の再配置位置を自動的に提案して、手術領域16内の動きを制限し得る。
図5を参照すると、照明システム10のブロック図が示される。本明細書で論じるように、照明システム10は、医用室14及び/又は手術領域16から画像データを取り込むように構成された、1つ又は複数の撮像装置22を含み得る。撮像装置22は、照明システム10のコントローラ12に視覚情報をリレーするように構成され得る。コントローラ12は、メモリ120及びプロセッサ122を含み得る。メモリ120は、プロセッサ122によって制御された、コンピュータ実行可能コマンド(例えば、ルーチン)を格納し得る。様々な実施例によれば、メモリ120は、光制御ルーチン及び/又は画像分析ルーチンを含み得る。例示的な実施形態では、メモリ120は、制御方法60を含み得る。
画像分析ルーチンが、撮像装置22からの画像データを処理すると、コントローラ12は、1つ又は複数の制御命令を、モータ又はアクチュエータコントローラ124に通信することができる。制御信号に応答して、アクチュエータコントローラ124は、アクチュエータ42又は位置決めアセンブリ40を制御して、照明アセンブリ18の向きを移動、方向付け、又はさもなければ調整し得る。このようにして、コントローラ12は、光放射44を放射するように照明アセンブリ18を方向付け、及び/又は本明細書で論じられる、様々な物体及び標的領域の位置に対応し得る、所望の位置に視野24を向け得る。システム10は、更に、1つ又は複数の電源126を含む。電源126は、照明アセンブリ18並びにアクチュエータ42又は位置決めアセンブリ40の様々な構成要素のために、1つ又は複数の電源又はバラストを提供し得る。
本明細書で論じるように、コントローラ12及び/又は中央コントローラ50は、1つ又は複数のプロセッサ122を含んでもよい。プロセッサ122は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、マイクロコンピュータ、中央処理装置、フィールドプログラマブルゲートアレイ、プログラム可能な論理装置、状態機械、論理回路、アナログ回路、デジタル回路、及び/又は1つ又は複数のアプリケーション、ユーティリティ、オペレーティングシステム及び/又は他の命令などの動作命令に基づいて信号(アナログ及び/又はデジタル)を操作する任意の装置であり得る。メモリ120は、オンチップ又はオフチップのいずれかである、単一のメモリデバイス又は複数のメモリデバイスであり得る。このようなメモリデバイスは、読み出し専用メモリ、ランダムアクセスメモリ、揮発性メモリ、不揮発性メモリ、静的メモリ、動的メモリ、フラッシュメモリ、及び/又はデジタル情報を格納する任意のデバイスであり得る。従って、本明細書で論じる処理及び制御ステップの各々は、メモリ120内でアクセスされ得る1つ又は複数のルーチン、アルゴリズム、プロセスなどに基づいて、本明細書で論じるプロセッサ又は処理ユニットの1つ又は複数によって完了され得る。
幾つかの実施形態では、システム10は、プロセッサ122と通信し得る1つ又は複数の通信回路128を更に含んでもよい。通信回路128は、データ及び制御情報を、システム10を動作させるためのディスプレイ又はユーザインターフェイス130に通信するように構成され得る。インターフェイス130は、システム10を制御し、データを通信するように構成された1つ又は複数の入力又は動作要素を含み得る。通信回路128は、照明アセンブリの配列として組み合わせて動作し得る、追加の照明アセンブリ18と、更に通信し得る。通信回路128は、様々な通信プロトコルを介して、通信するよう構成され得る。例えば、通信プロトコルは、プロセス自動化プロトコル、産業システムプロトコル、車両プロトコルバス、消費者通信プロトコルなどに対応し得る。追加のプロトコルには、MODBUS、PROFIBUS、CANバス、DATA HIGHWAY、DeviceNet、Digital multiplexing(DMX512)、又は様々な通信基準の形態が挙げられ得る。
様々な実施形態では、システム10は、様々な追加の回路、周辺装置、及び/又は付属品を含んでもよく、これは様々な機能を提供するためにシステム10に組み込まれ得る。例えば、幾つかの実施形態では、システム10は、モバイルデバイス134と通信するよう構成された無線トランシーバ132を含んでもよい。このような実施形態では、無線トランシーバ132は、通信回路128と同様に動作し、システム10を動作させるためのデータ及び制御情報を、モバイルデバイス134のディスプレイ又はユーザインターフェイスに通信し得る。無線トランシーバ132は、1つ又は複数の無線プロトコル(例えば、Bluetooth(登録商標)、Wi-Fi(802.11a、b、g、nなど)、Zigbee(登録商標)、及びZ-Wave(登録商標)など)を介してモバイルデバイス134と通信し得る。このような実施形態では、モバイルデバイス134は、スマートフォン、タブレット、個人データアシスタント(PDA)、ラップトップなどに対応し得る。
本明細書で論じるように、システム10は、1つ又は複数のサーバ又はリモートデータベース136を含むか、又はそれらと通信し得る。リモートデータベース136は、患者92の同一性を認証するように構成された識別情報を含み得る、患者データベースに対応し得る。システム10のコントローラ12は、通信回路128及び/又は無線トランシーバ132を介してリモートデータベース136と通信し得る。この構成では、スキャン又は画像データが取り込まれると、コントローラ12は、識別テンプレート又はリモートデータベース136で利用可能な処理リソースを介して、1つ又は複数の物体を識別するように構成され得る。
様々な実施形態では、光源20は、特定の液晶ディスプレイ(LCD)、レーザーダイオード、発光ダイオード(LED)、白熱光源、放電灯(例えば、キセノン、ネオン、水銀)、ハロゲン光源、及び/又は有機光発光ダイオード(OLED)を含むがこれに限定されない、1つの回転の偏光されていない及び/又は偏光された光を生成するように構成され得る。光源20の偏光の実施例では、光源20は、第一の回転の偏光を放射するように構成されている。様々な実施例によると、第一の回転の偏光は、円偏光及び/又は楕円偏光を有し得る。電気力学では、光の円偏光は、各ポイントにおいて、光波の電界が一定の大きさを有するが、その方向が、時間と共に、波の方向に対して垂直な平面において一定の速度で回転する、偏光状態である。
論じたように、照明アセンブリ18は、1つ又は複数の光源20を含み得る。複数の光源20を含む実施例では、光源20はある配列に配置され得る。例えば、光源20の配列は、約1×2~約100×100の配列及びその間の全ての変形を含み得る。このように、光源20の配列を含む照明アセンブリ18は、画素化した照明アセンブリ18として知られ得る。任意の照明アセンブリ18の光源20は、固定されていてもよく、又は個別につながれていてもよい。光源20は、全て繋がれていても、一部分が繋がれていても、又は全く繋がれていなくてもよい。光源20は、電気機械的に(例えば、モータ)及び/又は手動(例えば、ユーザによって)で、つながれていてもよい。光源20が静止した又は固定された実施例では、光源20は、様々な所定の点(例えば、患者92及び/又はテーブル36上)に焦点を当てるように割り当てられ得る。
当業者ないし本発明の製造者又は使用者は、本開示の修正を思いつくであろう。従って、図面に示され及び前述された実施形態は、単に例示を目的にしており、本発明の範囲を限定することを意図していない。本発明の範囲は、均等論を含む特許法の原則に従って解釈される以下の特許請求の範囲によって定義される。
記述された開示及び他の構成要素の構築は、いかなる特定の材料にも限定されないことが、当業者によって理解されるだろう。本明細書に開示された発明の他の例示的な実施形態は、本明細書に別段の記載がある場合を除き、広範な材料から形成され得る。
本開示用に、用語「coupled(結合された)」(couple,coupling,coupledなどその形式の全てにおいて)は、直接的であれ間接的であれ、互いに2つの構成要素(電気的又は機械的)が接合することを概して意味する。このような接合は、本質的に静止状態か又は本質的に可動状態であってもよい。このような接合は、2つの構成要素(電気的又は機械的)、並びに、互いと又は2つの構成要素と1つの単体として一体成形される付加的中間部分で、達成されてもよい。このような接合は、本質的に永続的であってよいか、又は別段の記載がない限り、本質的に取り外し可能つまり遊離可能であってもよい。
例示的な実施形態において示されているような本開示の要素の構築及び配置は、単に説明的であることに注意することも重要である。本発明の少数の実施形態だけが、本開示において詳細に記述されているが、本開示を検討する当業者は、列挙された主題の新規の教示及び利点から逸脱することなく、多くの修正が可能(例えば、様々な要素のサイズ、寸法、構造、形状及び比率、パラメータの値、取り付け方法、材料の使用、色、向き、などであることを容易に認識するであろう。例えば、一体成形として示される要素は、複数の部品が一体成形されてもよいように示される複数の部品又は要素から構成されてもよく、インターフェイスの操作が逆に又は他の態様に変化されてもよく、システムの構造及び/又は部材又はコネクタ又は他の要素の長さ又は幅が変化されてもよく、要素間に提供された調整位置の性質又は個数が変化されてもよい。システムの要素及び/又はアセンブリは、任意の広範な色、質感、及び組み合わせにおいて、十分な強度又は耐久性を提供する、任意の広範な材料から構成されてもよい。全てのこのような修正は、本発明の範囲内に含まれるように意図される。他の代用、修正、変化及び省略は、本発明の精神から逸脱することなく、所望の他の例示的な実施形態のデザイン、操作条件及び配置において、なされ得る。
いずれの説明されたプロセス又は説明されたプロセス内のステップも、その他の開示されたプロセス又はステップと組み合わされ、本開示の範囲内で構造を形成し得ることが理解されるであろう。本明細書に開示された例示的な構造及びプロセスは、説明のためのものであり、制限として解釈してはならない。
変形及び修正が、本開示の概念から逸脱することなく、前述の構造及び方法においてなされ得ることも理解されるべきであり、更に、このような概念は、特許請求の範囲がそれらの言葉で別段に明確に述べられていない限り、以下の特許請求の範囲に含まれているものとされていることが理解されるべきである。更に、以下に、規定される特許請求の範囲は、本明細書に組み込まれて、本明細書の一部を構成する。
本明細書に使用された「約(about)」という用語は、量、サイズ、公式、パラメータ、及び他の数量及び特徴が、ちょうどではない、又はちょうどである必要がない、ことを意味するが、必要に応じて、許容差、変換率、丸め、測定誤差など、及び当業者に既知の他の要因、を反映する近似であり得て、及び/又は、より大きい若しくはより小さい。「約」という用語が、ある値又はある範囲の終点を説明する際に使用されるとき、本開示は、言及された特定の値又は特定の終点を含むことを理解されたい。本明細書の数値又は範囲の終点が「約」を引用するか否かにかかわらず、当該数値又は当該範囲の終点は、二つの実施形態、すなわち「約」によって修飾されるものと「約」によって修飾されないものと、を含むことが意図される。範囲のそれぞれの終点は、他方の終点と関係しても、他方の終点から独立しても、それらの両方において有意であることが更に理解されよう。
本明細書で使用された「実質的な」、「実質的に」という用語及びその変形は、記載された特徴が、ある値又はある説明に対して等しい又はおよそ等しいことを示すことを意図する。例えば、「実質的に平坦な」表面は、平坦な又はおよそ平坦な表面を示すことを意図する。更に、「実質的に」は、二つの値が等しい又はおよそ等しいと示すことを意図する。幾つかの実施形態では、「実質的に」は、例えば互いの約5%以内、又は互いの約2%以内など、互いの約10%以内の値を示し得る。
本発明のその他の実施態様を以下に記載する。
〔実施形態1〕
作動領域を監視及び照明するための照明システムであって、
前記作動領域の一部において、選択的に光放射を向けるように構成された、照明源を有する少なくとも1つの照明アセンブリと、
前記作動領域の視野内の画像データを捕捉するように構成された少なくとも1つの撮像装置と、
前記照明アセンブリ及び前記撮像装置と通信するコントローラと、を備え、
前記コントローラは、
前記視野内に捕捉された画像データを処理し、
物体ライブラリに基づいて前記画像データ内で検出された複数の物体を識別し、この複数の物体の物体情報にアクセスし、
一定期間にわたって前記複数の物体のそれぞれのバランス決定を完了させ、このバランス決定は、前記物体の各々の廃棄、保管、又はインプラント位置を識別するように構成されている
ことを特徴とする照明システム。
〔実施形態2〕
前記バランス決定は、前記画像データ内で識別された前記物体を、前記物体情報内で識別された割り当て位置と比較し、
前記コントローラは、
前記バランス決定に基づいてアンバランスを識別し、このアンバランスは、前記物体のうちの1つが前記物体に関連付けられた前記割り当て位置に位置していないという表示を有するように更に構成されている
ことを特徴とする実施形態1に記載のシステム。
〔実施形態3〕
作動領域を照明するように構成された照明装置であって、
前記作動領域の一部において、選択的に少なくとも1つの光放射を向けるように構成された、少なくとも1つの照明源を有し、少なくとも1つの照明アセンブリと、
前記作動領域の視野内の画像データを捕捉するように構成された少なくとも1つの撮像装置と、
前記照明アセンブリ及び前記撮像装置と通信するコントローラと、を備え、
前記コントローラは、
前記視野内に捕捉された画像データを処理し、
物体ライブラリに基づいて前記画像データ内で検出された複数の物体を識別し、この複数の物体の物体情報にアクセスし、物体データは、前記作動領域で使用するために事前認可された関連する物体として前記複数の物体を識別し、
前者の識別された物体を、前記物体情報内で識別された前記関連する物体と比較し、
この比較に基づいて、前記物体データに基づいて事前認可されたものとして識別されない前記ライブラリ内の予想外の物体を識別し、
前記予想外の物体の前記識別に応答して、前記少なくとも1つの光放射で前記予想外の物体を照明するように構成されている
ことを特徴とする装置。
〔実施形態4〕
前記少なくとも1つの照明源は、第一の色を有する第一の放射及び第二の色を有する第二の放射で前記作動領域内の物体を照明するように構成された複数の照明源を有し、前記第一の放射は、前記作動領域内に投影され、標的領域を照明し、前記第二の放射は、前記予想外の物体に向けられ、及び前記予想外の物体を照明する
ことを特徴とする実施形態3に記載のシステム。
〔実施形態5〕
前記コントローラは、
前記物体ライブラリに含まれない前記画像データ内の識別不能物体を検出するように更に構成されている
ことを特徴とする実施形態3又は4に記載のシステム。

Claims (15)

  1. 作動領域を監視及び照明するための照明システムであって、
    前記作動領域の一部において、選択的に光放射を向けるように構成された、少なくとも1つの照明源を有する少なくとも1つの照明アセンブリと、
    前記作動領域の視野内の画像データを捕捉するように構成された少なくとも1つの撮像装置と、
    前記照明アセンブリ及び前記撮像装置と通信するコントローラと、を備え、
    前記コントローラは、
    前記視野内で捕捉された画像データを処理し、
    物体ライブラリに基づいて、前記画像データ内で検出された複数の物体を識別し、
    前記複数の物体のそれぞれの位置を追跡し、
    前記物体のそれぞれの位置を記憶するように構成されている
    ことを特徴とする照明システム。
  2. 前記コントローラは、
    前記作動領域内の複数の人の同一性を決定するように更に構成されている
    ことを特徴とする請求項1に記載のシステム。
  3. 前記コントローラは、
    前記複数の人のそれぞれの前記同一性に基づいて、前記複数の人が許可された人員であるかを判定するように更に構成されている
    ことを特徴とする請求項2に記載のシステム。
  4. 前記コントローラは、前記作動領域内で1つ又は複数の前記物体が移動した距離を追跡するように更に構成されている
    ことを特徴とする請求項1乃至3のいずれか一項に記載のシステム。
  5. 前記距離は、前記作動領域で識別された1つ又は複数の前記物体の蓄積された動きに基づいて追跡される
    ことを特徴とする請求項4に記載のシステム。
  6. 前記コントローラは、前記蓄積された動きの範囲に基づいて、激しい動きの物体を識別するように更に構成されている
    ことを特徴とする請求項5に記載のシステム。
  7. 前記コントローラは、前記画像データ内で識別された前記複数の物体のうちの複数の被追跡物体の相対運動を追跡するように更に構成されている
    ことを特徴とする請求項1乃至6のいずれか一項に記載のシステム。
  8. 前記コントローラは、
    前記画像データ内の少なくとも一人の人の視線を識別し、前記少なくとも1つの照明アセンブリを制御して、前記少なくとも一人の人から所定の距離で前記視線の一部を照明するように更に構成されている
    ことを特徴とする請求項1乃至7のいずれか一項に記載のシステム。
  9. 前記視線は、前記作動領域内の前記人の位置及び前記人の頭部の向きに基づいて、前記画像データ内で識別される
    ことを特徴とする請求項8に記載のシステム。
  10. 前記コントローラは、
    少なくとも一人の人の視線と、前記複数の物体に対して少なくとも1つの追加の物体又は前記画像データ内で識別された領域との間の交点を識別するように更に構成されている ことを特徴とする請求項1乃至9のいずれか一項に記載のシステム。
  11. 前記コントローラは、
    前記照明アセンブリを制御して、前記視線と前記少なくとも1つの追加の物体との間の前記交点を照明するように更に構成されている
    ことを特徴とする請求項10に記載のシステム。
  12. 前記コントローラは、前記作動領域での使用のために事前認可された関連する物体を識別する物体情報にアクセスするように更に構成されている
    ことを特徴とする請求項1乃至11のいずれか一項に記載のシステム。
  13. 前記コントローラは、
    前記識別された物体を前記事前認可された物体と比較し、
    この比較に基づいて、事前認可されていない前記ライブラリ内の予想外の物体を識別するように更に構成されている
    ことを特徴とする請求項12に記載のシステム。
  14. 前記コントローラは、前記物体ライブラリに含まれていない前記画像データ内の識別不能物体を検出するように更に構成されている
    ことを特徴とする請求項1乃至13のいずれか一項に記載のシステム。
  15. 前記コントローラは、
    前記識別不能物体を検出することに応答して、前記識別不能物体の代表的な特徴を有する教示画像データを記録するように更に構成され、
    前記コントローラは、前記教示画像データを処理して、前記識別不能物体に対する同一性を帰属させるように構成されている
    ことを特徴とする請求項14に記載のシステム。
JP2021575046A 2019-06-20 2020-06-19 物体追跡のための照明システム及び方法 Active JP7286815B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962863905P 2019-06-20 2019-06-20
US62/863,905 2019-06-20
PCT/IB2020/055811 WO2020255083A1 (en) 2019-06-20 2020-06-19 Illumination system and method for object tracking

Publications (2)

Publication Number Publication Date
JP2022537314A JP2022537314A (ja) 2022-08-25
JP7286815B2 true JP7286815B2 (ja) 2023-06-05

Family

ID=74037404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021575046A Active JP7286815B2 (ja) 2019-06-20 2020-06-19 物体追跡のための照明システム及び方法

Country Status (7)

Country Link
US (1) US11890146B2 (ja)
EP (1) EP3968888A4 (ja)
JP (1) JP7286815B2 (ja)
KR (1) KR20220022475A (ja)
CN (1) CN113873960B (ja)
CA (1) CA3139881A1 (ja)
WO (1) WO2020255083A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113506214B (zh) * 2021-05-24 2023-07-21 南京莱斯信息技术股份有限公司 一种多路视频图像拼接方法
US20220384011A1 (en) * 2021-05-28 2022-12-01 Cilag GmbH Internation Efficiency of motion monitoring and analysis for a surgical procedure
DE102021120443A1 (de) 2021-08-05 2023-02-09 Clinomic GmbH Verfahren zur erfassung von wenigstens einem medizinischen verbrauchsmittel

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324403A (ja) 2001-04-25 2002-11-08 Dainippon Screen Mfg Co Ltd 視野照明装置
JP2012196239A (ja) 2011-03-18 2012-10-18 Morita Mfg Co Ltd 医療用診療装置
US20130113929A1 (en) 2011-11-08 2013-05-09 Mary Maitland DeLAND Systems and methods for surgical procedure safety
US20170367785A1 (en) 2016-06-24 2017-12-28 Brian Munari Automatic light control for illumination of a feature of interest
DE102017006529A1 (de) 2017-07-11 2019-01-17 Drägerwerk AG & Co. KGaA Verfahren, Vorrichtung und Computerprogramm zur Erfassung von optischen Bilddaten einer Patientenumgebung und zur Erkennung einer Patientenüberprüfung
US20190038362A1 (en) 2017-08-02 2019-02-07 Medtech S.A. Surgical field camera system
WO2019043631A1 (en) 2017-08-31 2019-03-07 Gentex Corporation LIGHTING SYSTEMS

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61226031A (ja) 1985-03-30 1986-10-07 山田医療照明株式会社 医療用無影照明装置
US5347431A (en) 1991-12-20 1994-09-13 Blackwell Ray A Lighting system and camera for operating room
EP0814344A3 (en) 1996-06-19 1998-12-30 Matsushita Electric Works, Ltd. Automatic tracking lighting equipment
US20020036617A1 (en) 1998-08-21 2002-03-28 Timothy R. Pryor Novel man machine interfaces and applications
EP1148860A4 (en) 1998-12-17 2002-10-09 Getinge Castle Inc LIGHTING SYSTEM FOR SURGICAL FACILITIES
WO2001045627A1 (en) 1999-12-23 2001-06-28 Hill-Rom Services, Inc. Surgical theater system
US6496595B1 (en) 2000-05-19 2002-12-17 Nextgenid, Ltd. Distributed biometric access control apparatus and method
ATE275881T1 (de) 2002-03-01 2004-10-15 Brainlab Ag Operationslampe mit kamerasystem zur 3d- referenzierung
US9955551B2 (en) 2002-07-12 2018-04-24 Yechezkal Evan Spero Detector controlled illuminating system
DE10323091A1 (de) 2003-05-16 2004-12-02 Carl Zeiss OP-Feldbeleuchtungsvorrichtung
WO2013111134A1 (en) 2012-01-24 2013-08-01 Yechezkal Evan Spero Detector controlled illuminating system
US8905585B2 (en) 2004-05-13 2014-12-09 Or21, Llc Operating room/intervention room
US7706683B2 (en) 2005-05-31 2010-04-27 Brainlab Ag Self adjusting operation lamp system
DE102006047723A1 (de) * 2006-08-25 2008-02-28 Carl Zeiss Surgical Gmbh Operationsmikroskop mit Beleuchtungseinrichtung
US20080117569A1 (en) 2006-11-20 2008-05-22 Jia-Shunn Lee Power-supplying device
US10070903B2 (en) * 2008-01-09 2018-09-11 Stryker European Holdings I, Llc Stereotactic computer assisted surgery method and system
US8315434B2 (en) * 2009-01-06 2012-11-20 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Absolute tracking in a sub-pixel range
IL199657A0 (en) * 2009-07-02 2011-08-01 Carmel Haifa University Economic Corp Ltd Face representation systems for privacy aware applications and methods useful in conjunction therewith
DE102009037316A1 (de) 2009-08-14 2011-02-17 Karl Storz Gmbh & Co. Kg Steuerung und Verfahren zum Betreiben einer Operationsleuchte
PL2434202T3 (pl) * 2010-09-28 2017-07-31 Trumpf Medizin Systeme Gmbh + Co. Kg Lampa operacyjna ze sterylnym zespołem obsługowym
CN104145276B (zh) * 2012-01-17 2017-05-03 厉动公司 用于通过光学成像进行的对象检测和表征的增强对比度
KR102214789B1 (ko) * 2012-04-16 2021-02-09 칠드런스 내셔널 메디컬 센터 수술 및 중재 시술에서 추적 및 제어를 위한 듀얼-모드 스테레오 이미징 시스템
US8882662B2 (en) 2012-06-27 2014-11-11 Camplex, Inc. Interface for viewing video from cameras on a surgical visualization system
US10757369B1 (en) * 2012-10-08 2020-08-25 Supratik Mukhopadhyay Computer implemented system and method for high performance visual tracking
CN104919272B (zh) 2012-10-29 2018-08-03 7D外科有限公司 集成照明及光学表面拓扑检测系统及其使用方法
EP3015075B1 (en) * 2013-06-28 2018-12-19 JVC Kenwood Corporation Diagnosis assistance device and diagnosis assistance method
US9772679B1 (en) * 2013-08-14 2017-09-26 Amazon Technologies, Inc. Object tracking for device input
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
DE102014205038B4 (de) * 2014-02-19 2015-09-03 Carl Zeiss Meditec Ag Visualisierungsvorrichtungen mit Kalibration einer Anzeige und Kalibrierverfahren für eine Anzeige in einer Visualisierungsvorrichtung
US10432922B2 (en) 2014-03-19 2019-10-01 Intuitive Surgical Operations, Inc. Medical devices, systems, and methods using eye gaze tracking for stereo viewer
KR101650620B1 (ko) 2014-06-24 2016-08-24 경북대학교 산학협력단 레이저 수술 유도 장치 및 방법, 이를 수행하기 위한 기록 매체
EP3289430B1 (en) * 2015-04-27 2019-10-23 Snap-Aid Patents Ltd. Estimating and using relative head pose and camera field-of-view
CA3015179A1 (en) 2016-03-08 2016-12-08 Antisep - Tech Ltd. Method and system for monitoring activity of an individual
US10240751B2 (en) 2016-03-24 2019-03-26 TurningMode, LLC Systems and methods of illumination
EP3442826A4 (en) * 2016-04-14 2019-02-20 Gentex Corporation VIEW CORRECTIVE VEHICLE INDICATOR
US10194990B2 (en) * 2016-04-27 2019-02-05 Arthrology Consulting, Llc Method for augmenting a surgical field with virtual guidance content
KR101904498B1 (ko) 2016-11-22 2018-10-17 동서대학교산학협력단 다수 개의 근적외선 영상센서가 구비된 스캐너 및 이를 통해 촬영한 다수 개의 시간에 따른 2차원 생체영상을 시간에 따른 당뇨성 상처 확인용 3차원 생체영상으로 변환하는 방법
US10277842B1 (en) 2016-11-29 2019-04-30 X Development Llc Dynamic range for depth sensing
US10885396B2 (en) * 2017-05-24 2021-01-05 Amazon Technologies, Inc. Generating composite images using audio/video recording and communication devices
US10209523B1 (en) * 2017-09-13 2019-02-19 Facebook Technologies, Llc Apparatus, system, and method for blur reduction for head-mounted displays
CN107799171A (zh) 2017-10-31 2018-03-13 广东美的安川服务机器人有限公司 信息处理方法、装置及系统、存储介质、设备和服务器
US10517158B2 (en) 2018-02-09 2019-12-24 Gentex Corporation Systems and methods for detection and illumination of regions of interest

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002324403A (ja) 2001-04-25 2002-11-08 Dainippon Screen Mfg Co Ltd 視野照明装置
JP2012196239A (ja) 2011-03-18 2012-10-18 Morita Mfg Co Ltd 医療用診療装置
US20130113929A1 (en) 2011-11-08 2013-05-09 Mary Maitland DeLAND Systems and methods for surgical procedure safety
US20170367785A1 (en) 2016-06-24 2017-12-28 Brian Munari Automatic light control for illumination of a feature of interest
DE102017006529A1 (de) 2017-07-11 2019-01-17 Drägerwerk AG & Co. KGaA Verfahren, Vorrichtung und Computerprogramm zur Erfassung von optischen Bilddaten einer Patientenumgebung und zur Erkennung einer Patientenüberprüfung
US20190038362A1 (en) 2017-08-02 2019-02-07 Medtech S.A. Surgical field camera system
WO2019043631A1 (en) 2017-08-31 2019-03-07 Gentex Corporation LIGHTING SYSTEMS

Also Published As

Publication number Publication date
EP3968888A1 (en) 2022-03-23
CA3139881A1 (en) 2020-12-24
WO2020255083A1 (en) 2020-12-24
US20200397528A1 (en) 2020-12-24
CN113873960A (zh) 2021-12-31
JP2022537314A (ja) 2022-08-25
KR20220022475A (ko) 2022-02-25
CN113873960B (zh) 2024-06-28
US11890146B2 (en) 2024-02-06
EP3968888A4 (en) 2022-10-12

Similar Documents

Publication Publication Date Title
JP7286815B2 (ja) 物体追跡のための照明システム及び方法
US11517393B2 (en) Systems and methods for detection and illumination of regions of interest
US10767822B2 (en) Automatic light control for illumination of a feature of interest
US10828124B2 (en) Illumination systems
US20190249847A1 (en) Adaptive lighting array with image-based control
US7564368B2 (en) Semantic light
CN102537796B (zh) 具有无菌操作装置的外科手术灯具
CN1279774A (zh) 眼睛跟踪装置
EP3815471B1 (en) Lighting devices with automatic lighting adjustment
US11538570B2 (en) Authentication and informational displays with adaptive lighting array
EP3906753B1 (en) Control for adaptive lighting array
US20200214788A1 (en) Control apparatus and methods for adaptive lighting array

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230524

R150 Certificate of patent or registration of utility model

Ref document number: 7286815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150