JP7449400B2 - 空間位置決め方法、関連装置およびナビゲーションスティック - Google Patents
空間位置決め方法、関連装置およびナビゲーションスティック Download PDFInfo
- Publication number
- JP7449400B2 JP7449400B2 JP2022550861A JP2022550861A JP7449400B2 JP 7449400 B2 JP7449400 B2 JP 7449400B2 JP 2022550861 A JP2022550861 A JP 2022550861A JP 2022550861 A JP2022550861 A JP 2022550861A JP 7449400 B2 JP7449400 B2 JP 7449400B2
- Authority
- JP
- Japan
- Prior art keywords
- marking point
- marking
- coordinate system
- image
- stick
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 61
- 238000001514 detection method Methods 0.000 claims description 87
- 230000009466 transformation Effects 0.000 claims description 46
- 238000009826 distribution Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 25
- 238000003860 storage Methods 0.000 claims description 20
- 239000000523 sample Substances 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 21
- 238000003384 imaging method Methods 0.000 description 16
- 238000013473 artificial intelligence Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008707 rearrangement Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000011796 hollow space material Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3983—Reference marker arrangements for use with image guided surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Robotics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
- Position Input By Displaying (AREA)
Description
本願は、2020年07月21日に中国特許局へ出願された、出願番号が202010707497.6であり、発明の名称名称が「空間位置決め方法、装置、デバイス、記憶媒体およびナビゲーションスティック」である中国特許出願の優先権を主張しており、そのすべての内容が、参照により本願に組み込まれる。
本願は、人工知能の技術分野に関し、特に、空間位置決めに関する。
一態様において、本願の実施例は、空間位置決め方法を提供し、当該方法は、
カメラによってターゲットシーンを撮影して得られた画像を取得するステップであって、前記画像内には、前記ターゲットシーン内に位置するナビゲーションスティックが含まれ、前記ナビゲーションスティックの外面には、前記ナビゲーションスティックに対して位置決めを行うために使用されるマーキングポイントアレイがある、ステップと、
前記画像におけるマーキングポイント情報に基づいて、前記ナビゲーションスティックに対応する3次元座標系における、前記画像に含まれるマーキングポイントの3次元位置座標を決定するステップであって、前記マーキングポイント情報は、前記マーキングポイントアレイにおける、前記画像に含まれるマーキングポイントの位置を表すステップと、
前記画像に対応する画像座標系における前記マーキングポイントの2次元位置座標と、前記ナビゲーションスティックに対応する3次元座標系における前記マーキングポイントの3次元位置座標とに基づいて、前記ナビゲーションスティックに対応する3次元座標系における前記カメラの位置情報を決定するステップと、
前記ナビゲーションスティックに対応する3次元座標系における前記カメラの位置情報に基づいて、前記ナビゲーションスティックに対応する3次元座標系と、前記カメラに対応する3次元座標系との間の空間変換関係を決定するステップと、
前記ナビゲーションスティックに対応する3次元座標系における前記ナビゲーションスティックの検出対象位置の3次元位置座標と、前記空間変換関係とに基づいて、前記カメラに対応する3次元座標系における前記ナビゲーションスティックの検出対象位置の3次元位置座標を決定し、前記カメラに対応する3次元座標系における前記ナビゲーションスティックの検出対象位置の3次元位置座標を、前記ナビゲーションスティックの検出対象位置の空間位置情報とするステップと、を含む。
カメラによってターゲットシーンを撮影して得られた画像を取得する画像取得モジュールであって、前記画像内には、前記ターゲットシーン内に位置するナビゲーションスティックが含まれ、前記ナビゲーションスティックの外面には、前記ナビゲーションスティックに対して位置決めを行うために使用されるマーキングポイントアレイがある画像取得モジュールと、
前記画像におけるマーキングポイント情報に基づいて、前記ナビゲーションスティックに対応する3次元座標系における、前記画像に含まれるマーキングポイントの3次元位置座標を決定するマーキング決定モジュールであって、前記マーキングポイント情報は、前記マーキングポイントアレイにおける、前記画像に含まれるマーキングポイントの位置を表すマーキング決定モジュールと、
前記画像に対応する画像座標系における前記マーキングポイントの2次元位置座標と、前記ナビゲーションスティックに対応する3次元座標系における前記マーキングポイントの3次元位置座標とに基づいて、前記ナビゲーションスティックに対応する3次元座標系における前記カメラの位置情報を決定するカメラ位置決めモジュールと、
前記ナビゲーションスティックに対応する3次元座標系における前記カメラの位置情報に基づいて、前記ナビゲーションスティックに対応する3次元座標系と、前記カメラに対応する3次元座標系との間の空間変換関係を決定する空間変換モジュールと、
前記ナビゲーションスティックに対応する3次元座標系における前記ナビゲーションスティックの検出対象位置の3次元位置座標と、前記空間変換関係とに基づいて、前記カメラに対応する3次元座標系における前記ナビゲーションスティックの検出対象位置の3次元位置座標を決定し、前記カメラに対応する3次元座標系における前記ナビゲーションスティックの検出対象位置の3次元位置座標を、前記ナビゲーションスティックの検出対象位置の空間位置情報とする固定点位置決めモジュールと、を含む。
前記プローブヘッドは、前記スティック本体の一端に接続され、空間位置決めの検出対象位置として、上記の空間位置決め方法によって、空間中の任意の1つの点の空間位置情報を決定するものである。
1、画像分割:Blob解析は、実質的には、閉じた形状に対する特徴解析である。Blob解析の前に、画像は、ターゲットとバックグラウンドに分割される。画像分割は、画像処理技術の重要な1種であり、Blob解析では、分割技術として、直接入力、固定ハード閾値、相対ハード閾値、動的ハード閾値、固定ソフト閾値、相対ソフト閾値、画素マッピング、閾値画像を提供する予定である。このうち、固定ソフト閾値および相対ソフト閾値という方法は、空間量子化誤差をある程度で解消し、それにより、ターゲットの特徴量の計算精度を向上させることができる。
2、形態学的操作:形態学的操作の目的は、ノイズポイントによる影響を除去することである。
3、接続性解析:ターゲットを画素レベルから接続成分レベルに変換する。
4、特徴値計算:ターゲットごとに、面積、周長、重心座標などの特徴の特徴量計算を行う。
5、シーン記述:シーンにおけるターゲット間のトポロジー関係を記述する。
前記画像に含まれるマーキングポイントの中心を識別するために使用されるマーキング中心識別ユニット1021と、
前記マーキングポイントの中心を通るターゲット直線を検出するために使用されるターゲット直線検出ユニット1022であって、前記ターゲット直線が通る前記マーキングポイントの中心の数が条件を満たすターゲット直線検出ユニット1022と、
前記ターゲット直線に対応するマーキングポイント列のマーキングポイント分布形態を取得するために使用されるマーキング分布取得ユニット1023であって、前記ターゲット直線に対応するマーキングポイント列とは、前記ターゲット直線が通るマーキングポイントによって構成される1列のマーキングポイントを指すマーキング分布取得ユニット1023と、
前記マーキングポイント分布形態に基づいて、前記ターゲット直線に対応するマーキングポイント列のマーキングポイント情報を決定するために使用されるマーキング情報決定ユニット1024であって、前記マーキングポイント情報には、前記マーキングポイントアレイにおける、前記ターゲット直線に対応するマーキングポイント列の位置と、前記マーキングポイントアレイにおける、前記ターゲット直線が通るマーキングポイントの位置とが含まれるマーキング情報決定ユニット1024と、を含む。
前記ターゲット直線に対応するマーキングポイント列における第1マーキングポイントを決定するステップであって、前記第1マーキングポイントとは、前記ターゲット直線に対応するマーキングポイント列における、前記画像において最高または最低位置に位置するマーキングポイントを指すステップと、
残りのマーキングポイントと前記第1マーキングポイントとの間の第1距離を取得するステップであって、前記残りのマーキングポイントとは、前記ターゲット直線に対応するマーキングポイント列における、前記第1マーキングポイント以外の他のマーキングポイントを指し、前記第1間隔とは、前記残りのマーキングポイントと前記第1マーキングポイントとの前記画像座標系での距離を指すステップと、
前記ターゲット直線に対応するマーキングポイント列における、隣接するマーキングポイントの間の第2距離を取得するステップであって、前記第2間隔とは、前記隣接するマーキングポイントの前記画像座標系での距離を指すステップと、を実行するために使用される。
前記画像に対応する画像座標系における前記マーキングポイントの2次元位置座標と、前記ナビゲーションスティックに対応する3次元座標系における前記マーキングポイントの3次元位置座標とに基づいて、前記カメラに対して姿勢推定処理を行うことで、前記ナビゲーションスティックに対応する3次元座標系における前記カメラの位置情報を決定するステップ、を実行するために使用される。
前記カメラに対応する3次元座標系における前記カメラの位置情報を取得するステップと、
前記ナビゲーションスティックに対応する3次元座標系における前記カメラの位置情報と、前記カメラに対応する3次元座標系における前記カメラの位置情報とに基づいて、前記ナビゲーションスティックに対応する3次元座標系と、前記カメラに対応する3次元座標系との間の変換行列を得るステップであって、前記空間変換関係には、前記変換行列が含まれるステップと、を実行するために使用される。
前記第1画像における前記ナビゲーションスティックの検出対象位置の空間位置情報と、前記第2画像における前記ナビゲーションスティックの検出対象位置の空間位置情報とに基づいて、前記ナビゲーションスティックの移動距離を決定するために使用される距離位置決めモジュール1060、を含む。
前記画像フレームにおける前記ナビゲーションスティックの検出対象位置の空間位置情報に基づいて、隣接する画像フレームにおける前記ナビゲーションスティックの検出対象位置の間の接続線を決定するステップと、前記隣接する画像フレームにおける前記ナビゲーションスティックの検出対象位置の間の接続線に基づいて、前記少なくとも2つの画像フレームにおいて前記ナビゲーションスティックの検出対象位置によって形成された軌跡を得るステップと、を実行するために使用される軌跡描画モジュール1070、を含む。
前記画像フレームにおける前記ナビゲーションスティックの検出対象位置の空間位置情報に基づいて、前記隣接する画像フレームにおける前記ナビゲーションスティックの検出対象位置の間の接続線の長さを決定するステップと、前記隣接する画像フレームにおける前記ナビゲーションスティックの検出対象位置の間の接続線の長さに基づいて、前記少なくとも2つの画像フレームにおいて前記ナビゲーションスティックの検出対象位置によって形成された軌跡の長さを得るステップと、を実行するために使用される軌跡算出モジュール1080、を含む。
一般的に、コンピュータデバイス1200は、プロセッサ1201と、メモリ1202とを含む。
Claims (17)
- 端末が実行する空間位置決め方法であって、
カメラによってターゲットシーンを撮影して得られた画像を取得するステップであって、前記画像内には、前記ターゲットシーン内に位置するナビゲーションスティックが含まれ、前記ナビゲーションスティックの外面には、前記ナビゲーションスティックに対して位置決めを行うために使用されるマーキングポイントアレイがある、ステップと、
前記画像におけるマーキングポイント情報に基づいて、前記ナビゲーションスティックに対応する3次元座標系における、前記画像に含まれるマーキングポイントの3次元位置座標を決定するステップであって、前記マーキングポイント情報は、前記マーキングポイントアレイにおける、前記画像に含まれるマーキングポイントの位置を表すステップと、
前記画像に対応する画像座標系における前記マーキングポイントの2次元位置座標と、前記ナビゲーションスティックに対応する3次元座標系における前記マーキングポイントの3次元位置座標とに基づいて、前記ナビゲーションスティックに対応する3次元座標系における前記カメラの位置情報を決定するステップと、
前記ナビゲーションスティックに対応する3次元座標系における前記カメラの位置情報に基づいて、前記ナビゲーションスティックに対応する3次元座標系と、前記カメラに対応する3次元座標系との間の空間変換関係を決定するステップと、
前記ナビゲーションスティックに対応する3次元座標系における前記ナビゲーションスティックの検出対象位置の3次元位置座標と、前記空間変換関係とに基づいて、前記カメラに対応する3次元座標系における前記ナビゲーションスティックの検出対象位置の3次元位置座標を決定し、前記カメラに対応する3次元座標系における前記ナビゲーションスティックの検出対象位置の3次元位置座標を、前記ナビゲーションスティックの検出対象位置の空間位置情報とするステップと、
を含み、
前記方法は、さらに、
前記画像に含まれるマーキングポイントの中心を識別するステップと、
前記マーキングポイントの中心を通るターゲット直線を検出するステップであって、前記ターゲット直線が通る前記マーキングポイントの中心の数が条件を満たすステップと、
前記ターゲット直線に対応するマーキングポイント列のマーキングポイント分布形態を取得するステップであって、前記ターゲット直線に対応するマーキングポイント列とは、前記ターゲット直線が通るマーキングポイントによって構成される1列のマーキングポイントを指すステップと、
前記マーキングポイント分布形態に基づいて、前記ターゲット直線に対応するマーキングポイント列のマーキングポイント情報を決定するステップであって、前記マーキングポイント情報には、前記マーキングポイントアレイにおける、前記ターゲット直線に対応するマーキングポイント列の位置と、前記マーキングポイントアレイにおける、前記ターゲット直線が通るマーキングポイントの位置とが含まれるステップと、を含むことを特徴とする方法。 - 前記ターゲット直線に対応するマーキングポイント列のマーキングポイント分布形態を取得する前記ステップは、
前記ターゲット直線に対応するマーキングポイント列における第1マーキングポイントを決定するステップであって、前記第1マーキングポイントとは、前記ターゲット直線に対応するマーキングポイント列における、前記画像において最高または最低位置に位置するマーキングポイントを指すステップと、
残りのマーキングポイントと前記第1マーキングポイントとの間の第1距離を取得するステップであって、前記残りのマーキングポイントとは、前記ターゲット直線に対応するマーキングポイント列における、前記第1マーキングポイント以外の他のマーキングポイントを指し、第1間隔とは、前記残りのマーキングポイントと前記第1マーキングポイントとの前記画像座標系での距離を指すステップと、
前記ターゲット直線に対応するマーキングポイント列における、隣接するマーキングポイントの間の第2距離を取得するステップであって、第2間隔とは、前記隣接するマーキングポイントの前記画像座標系での距離を指すステップと、を含む、
ことを特徴とする請求項1に記載の方法。 - 前記画像に対応する画像座標系における前記マーキングポイントの2次元位置座標と、前記ナビゲーションスティックに対応する3次元座標系における前記マーキングポイントの3次元位置座標とに基づいて、前記ナビゲーションスティックに対応する3次元座標系における前記カメラの位置情報を決定する前記ステップは、
前記画像に対応する画像座標系における前記マーキングポイントの2次元位置座標と、前記ナビゲーションスティックに対応する3次元座標系における前記マーキングポイントの3次元位置座標とに基づいて、前記カメラに対して姿勢推定処理を行うことで、前記ナビゲーションスティックに対応する3次元座標系における前記カメラの位置情報を決定するステップ、を含む、
ことを特徴とする請求項1に記載の方法。 - 前記ナビゲーションスティックに対応する3次元座標系における前記カメラの位置情報に基づいて、前記ナビゲーションスティックに対応する3次元座標系と、前記カメラに対応する3次元座標系との間の空間変換関係を決定する前記ステップは、
前記カメラに対応する3次元座標系における前記カメラの位置情報を取得するステップと、
前記ナビゲーションスティックに対応する3次元座標系における前記カメラの位置情報と、前記カメラに対応する3次元座標系における前記カメラの位置情報とに基づいて、前記ナビゲーションスティックに対応する3次元座標系と、前記カメラに対応する3次元座標系との間の変換行列を得るステップと、を含み、
ここで、前記空間変換関係には、前記変換行列が含まれる、
ことを特徴とする請求項1に記載の方法。 - 第1画像および第2画像は、前記カメラが異なる時点で前記ターゲットシーンを撮影して得られた画像であり、前記方法は、さらに、
前記第1画像における前記ナビゲーションスティックの検出対象位置の空間位置情報と、前記第2画像における前記ナビゲーションスティックの検出対象位置の空間位置情報とに基づいて、前記ナビゲーションスティックの移動距離を決定するステップ、を含む、
ことを特徴とする請求項1~4のいずれか1項に記載の方法。 - 前記画像は、少なくとも2つの画像フレームを含み、前記方法は、さらに、
前記画像フレームにおける前記ナビゲーションスティックの検出対象位置の空間位置情報に基づいて、隣接する画像フレームにおける前記ナビゲーションスティックの検出対象位置の間の接続線を決定するステップと、
前記隣接する画像フレームにおける前記ナビゲーションスティックの検出対象位置の間の接続線に基づいて、前記少なくとも2つの画像フレームにおいて前記ナビゲーションスティックの検出対象位置によって形成された軌跡を得るステップと、をさらに含む、
ことを特徴とする請求項1~4のいずれか1項に記載の方法。 - 前記方法は、さらに、
前記画像フレームにおける前記ナビゲーションスティックの検出対象位置の空間位置情報に基づいて、前記隣接する画像フレームにおける前記ナビゲーションスティックの検出対象位置の間の接続線の長さを決定するステップと、
前記隣接する画像フレームにおける前記ナビゲーションスティックの検出対象位置の間の接続線の長さに基づいて、前記少なくとも2つの画像フレームにおいて前記ナビゲーションスティックの検出対象位置によって形成された軌跡の長さを得るステップと、を含む、
ことを特徴とする請求項6に記載の方法。 - 前記カメラは、単眼カメラである、
ことを特徴とする請求項1~4のいずれか1項に記載の方法。 - 空間位置決め装置であって、
カメラによってターゲットシーンを撮影して得られた画像を取得する画像取得モジュールであって、前記画像内には、前記ターゲットシーン内に位置するナビゲーションスティックが含まれ、前記ナビゲーションスティックの外面には、前記ナビゲーションスティックに対して位置決めを行うために使用されるマーキングポイントアレイがある画像取得モジュールと、
前記画像におけるマーキングポイント情報に基づいて、前記ナビゲーションスティックに対応する3次元座標系における、前記画像に含まれるマーキングポイントの3次元位置座標を決定するマーキング決定モジュールであって、前記マーキングポイント情報は、前記マーキングポイントアレイにおける、前記画像に含まれるマーキングポイントの位置を表すマーキング決定モジュールと、
前記画像に対応する画像座標系における前記マーキングポイントの2次元位置座標と、前記ナビゲーションスティックに対応する3次元座標系における前記マーキングポイントの3次元位置座標とに基づいて、前記ナビゲーションスティックに対応する3次元座標系における前記カメラの位置情報を決定するカメラ位置決めモジュールと、
前記ナビゲーションスティックに対応する3次元座標系における前記カメラの位置情報に基づいて、前記ナビゲーションスティックに対応する3次元座標系と、前記カメラに対応する3次元座標系との間の空間変換関係を決定する空間変換モジュールと、
前記ナビゲーションスティックに対応する3次元座標系における前記ナビゲーションスティックの検出対象位置の3次元位置座標と、前記空間変換関係とに基づいて、前記カメラに対応する3次元座標系における前記ナビゲーションスティックの検出対象位置の3次元位置座標を決定し、前記カメラに対応する3次元座標系における前記ナビゲーションスティックの検出対象位置の3次元位置座標を、前記ナビゲーションスティックの検出対象位置の空間位置情報とする固定点位置決めモジュールと、
を含み、
前記マーキング決定モジュールは、
前記画像に含まれるマーキングポイントの中心を識別するために使用されるマーキング中心識別ユニットと、
前記マーキングポイントの中心を通るターゲット直線を検出するために使用されるターゲット直線検出ユニットであって、前記ターゲット直線が通る前記マーキングポイントの中心の数が条件を満たす、ターゲット直線検出ユニットと、
前記ターゲット直線に対応するマーキングポイント列のマーキングポイント分布形態を取得するために使用されるマーキング分布取得ユニットであって、前記ターゲット直線に対応するマーキングポイント列とは、前記ターゲット直線が通るマーキングポイントによって構成される1列のマーキングポイントを指す、マーキング分布取得ユニットと、
前記マーキングポイント分布形態に基づいて、前記ターゲット直線に対応するマーキングポイント列のマーキングポイント情報を決定するために使用されるマーキング情報決定ユニットであって、前記マーキングポイント情報には、前記マーキングポイントアレイにおける、前記ターゲット直線に対応するマーキングポイント列の位置と、前記マーキングポイントアレイにおける、前記ターゲット直線が通るマーキングポイントの位置とが含まれるマーキング情報決定ユニットと、を含むことを特徴とする装置。 - コンピュータデバイスであって、
前記コンピュータデバイスは、プロセッサとメモリを含み、前記メモリには、少なくとも1つの命令、少なくとも1つのプログラム、コードセットまたは命令セットが記憶されており、前記少なくとも1つの命令、前記少なくとも1つのプログラム、前記コードセットまたは命令セットは、前記プロセッサによってロードされて実行されることで、請求項1~8のいずれか1項に記載の空間位置決め方法を実現する、
ことを特徴とするコンピュータデバイス。 - コンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な記憶媒体には、少なくとも1つの命令、少なくとも1つのプログラム、コードセットまたは命令セットが記憶されており、前記少なくとも1つの命令、前記少なくとも1つのプログラム、前記コードセットまたは命令セットは、プロセッサによってロードされて実行されることで、請求項1~8のいずれか1項に記載の空間位置決め方法を実現する、
ことを特徴とする記憶媒体。 - 命令を含むコンピュータプログラムであって、
前記コンピュータプログラムがコンピュータ上で実行されるとき、請求項1~8のいずれか1項に記載の空間位置決め方法を前記コンピュータに実行させる、
ことを特徴とするコンピュータプログラム。 - 空間位置決め用のナビゲーションスティックであって、前記ナビゲーションスティックは、スティック本体と、プローブヘッドと、ハウジングとを含み、
前記プローブヘッドは、前記スティック本体の一端に接続され、空間位置決めの検出対象位置として、請求項1~8のいずれか1項に記載の空間位置決め方法によって、空間中の任意の1つの点の空間位置情報を決定するものである、
ことを特徴とするナビゲーションスティック。 - 前記スティック本体の内部には、収納キャビティがあり、前記収納キャビティには、前記ナビゲーションスティックを駆動するための回路コンポーネントが配置されており、
前記ハウジングは、前記スティック本体の外側に套設され、前記ハウジングの外面には、前記ナビゲーションスティックに対して位置決めを行うために使用されるマーキングポイントアレイがある、
ことを特徴とする請求項13に記載のナビゲーションスティック。 - 前記マーキングポイントアレイには、前記スティック本体の軸方向に分布されているn個のマーキングポイント列が含まれ、前記nは、1よりも大きい整数であり、
前記n個のマーキングポイント列には、同じ数量のマーキングポイントが含まれ、かつ、任意の2つのマーキングポイント列におけるマーキングポイントの分布も異なる、
ことを特徴とする請求項13に記載のナビゲーションスティック。 - 前記マーキングポイント列には、マーキングポイント位置と空席位置とが含まれ、前記マーキングポイント位置には、前記マーキングポイントがあり、前記空席位置には、前記マーキングポイントがなく、
任意の2つのマーキングポイント列における前記マーキングポイント位置および前記空席位置の分布も異なる、
ことを特徴とする請求項15に記載のナビゲーションスティック。 - 前記ハウジングと前記スティック本体の間は、取り外し可能に接続される、
請求項13~16のいずれか1項に記載のナビゲーションスティック。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010707497.6A CN111821025B (zh) | 2020-07-21 | 2020-07-21 | 空间定位方法、装置、设备、存储介质以及导航棒 |
CN202010707497.6 | 2020-07-21 | ||
PCT/CN2021/098817 WO2022017022A1 (zh) | 2020-07-21 | 2021-06-08 | 空间定位方法、相关装置以及导航棒 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023516930A JP2023516930A (ja) | 2023-04-21 |
JP7449400B2 true JP7449400B2 (ja) | 2024-03-13 |
Family
ID=72923901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022550861A Active JP7449400B2 (ja) | 2020-07-21 | 2021-06-08 | 空間位置決め方法、関連装置およびナビゲーションスティック |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220273376A1 (ja) |
EP (1) | EP4169471A4 (ja) |
JP (1) | JP7449400B2 (ja) |
CN (1) | CN111821025B (ja) |
WO (1) | WO2022017022A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111821025B (zh) * | 2020-07-21 | 2022-05-13 | 腾讯科技(深圳)有限公司 | 空间定位方法、装置、设备、存储介质以及导航棒 |
CN112733840A (zh) * | 2020-12-28 | 2021-04-30 | 歌尔光学科技有限公司 | 耳机定位方法、终端设备及存储介质 |
CN113133829B (zh) * | 2021-04-01 | 2022-11-01 | 上海复拓知达医疗科技有限公司 | 一种手术导航系统、方法、电子设备和可读存储介质 |
CN114148096B (zh) * | 2021-11-05 | 2023-04-28 | 武汉逸飞激光股份有限公司 | 圆柱电芯端盖打码方法、装置、电子设备及存储介质 |
CN114209433B (zh) * | 2021-12-31 | 2023-09-05 | 杭州三坛医疗科技有限公司 | 一种手术机器人导航定位装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001204739A (ja) | 2000-01-27 | 2001-07-31 | Olympus Optical Co Ltd | 顕微鏡下手術支援システム |
JP2001293007A (ja) | 2000-04-12 | 2001-10-23 | Olympus Optical Co Ltd | 手術ナビゲーション装置 |
US20090325135A1 (en) | 2008-06-27 | 2009-12-31 | Eped Inc. | Dental clinical and simulation training tracking system and its method of evaluation |
CN101862220A (zh) | 2009-04-15 | 2010-10-20 | 中国医学科学院北京协和医院 | 基于结构光图像的椎弓根内固定导航手术系统和方法 |
JP2014170374A (ja) | 2013-03-04 | 2014-09-18 | Kddi Corp | 光学式シースルー型hmdを用いたarシステム |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2652928B1 (fr) * | 1989-10-05 | 1994-07-29 | Diadix Sa | Systeme interactif d'intervention locale a l'interieur d'une zone d'une structure non homogene. |
US5617857A (en) * | 1995-06-06 | 1997-04-08 | Image Guided Technologies, Inc. | Imaging system having interactive medical instruments and methods |
US9526587B2 (en) * | 2008-12-31 | 2016-12-27 | Intuitive Surgical Operations, Inc. | Fiducial marker design and detection for locating surgical instrument in images |
CN101697869B (zh) * | 2009-10-19 | 2011-06-15 | 沈国芳 | 手术导航用固定支架 |
JP6159030B2 (ja) * | 2013-08-23 | 2017-07-05 | ストライカー ヨーロピアン ホールディングス I,エルエルシーStryker European Holdings I,Llc | 外科ナビゲーションのための座標変換を決定するコンピュータ実施技術 |
CA2938359A1 (en) * | 2014-02-10 | 2015-08-13 | Navigate Surgical Technologies, Inc. | System and method for determining the three-dimensional location and orientation of identification markers |
JP6755461B2 (ja) * | 2014-11-25 | 2020-09-16 | 株式会社NeU | 計測システム、頭部装着装置、プログラム、およびサービス提供方法 |
WO2016154557A1 (en) * | 2015-03-26 | 2016-09-29 | Universidade De Coimbra | Methods and systems for computer-aided surgery using intra-operative video acquired by a free moving camera |
CN105852970B (zh) * | 2016-04-29 | 2019-06-14 | 北京柏惠维康科技有限公司 | 神经外科机器人导航定位系统及方法 |
US11071593B2 (en) * | 2017-07-14 | 2021-07-27 | Synaptive Medical Inc. | Methods and systems for providing visuospatial information |
CN207898557U (zh) * | 2017-09-15 | 2018-09-25 | 苏州肯美特设备集成有限公司 | 一种镂空牙科导航定位器 |
CN107874832B (zh) * | 2017-11-22 | 2020-03-10 | 合肥美亚光电技术股份有限公司 | 骨科手术器械导航系统及方法 |
CN109000582B (zh) * | 2018-03-15 | 2021-07-02 | 杭州思看科技有限公司 | 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备 |
CN108765494B (zh) * | 2018-05-21 | 2021-12-24 | 南昌航空大学 | 一种基于圆柱体标定物的多相机标定方法 |
CN110547872B (zh) * | 2019-09-23 | 2021-08-10 | 重庆博仕康科技有限公司 | 手术导航注册系统 |
CN111821025B (zh) * | 2020-07-21 | 2022-05-13 | 腾讯科技(深圳)有限公司 | 空间定位方法、装置、设备、存储介质以及导航棒 |
-
2020
- 2020-07-21 CN CN202010707497.6A patent/CN111821025B/zh active Active
-
2021
- 2021-06-08 JP JP2022550861A patent/JP7449400B2/ja active Active
- 2021-06-08 EP EP21846816.3A patent/EP4169471A4/en active Pending
- 2021-06-08 WO PCT/CN2021/098817 patent/WO2022017022A1/zh unknown
-
2022
- 2022-05-17 US US17/746,775 patent/US20220273376A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001204739A (ja) | 2000-01-27 | 2001-07-31 | Olympus Optical Co Ltd | 顕微鏡下手術支援システム |
JP2001293007A (ja) | 2000-04-12 | 2001-10-23 | Olympus Optical Co Ltd | 手術ナビゲーション装置 |
US20090325135A1 (en) | 2008-06-27 | 2009-12-31 | Eped Inc. | Dental clinical and simulation training tracking system and its method of evaluation |
CN101862220A (zh) | 2009-04-15 | 2010-10-20 | 中国医学科学院北京协和医院 | 基于结构光图像的椎弓根内固定导航手术系统和方法 |
JP2014170374A (ja) | 2013-03-04 | 2014-09-18 | Kddi Corp | 光学式シースルー型hmdを用いたarシステム |
Also Published As
Publication number | Publication date |
---|---|
EP4169471A1 (en) | 2023-04-26 |
JP2023516930A (ja) | 2023-04-21 |
CN111821025B (zh) | 2022-05-13 |
CN111821025A (zh) | 2020-10-27 |
EP4169471A4 (en) | 2024-01-24 |
WO2022017022A1 (zh) | 2022-01-27 |
US20220273376A1 (en) | 2022-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7449400B2 (ja) | 空間位置決め方法、関連装置およびナビゲーションスティック | |
Zhao et al. | Tracking-by-detection of surgical instruments in minimally invasive surgery via the convolutional neural network deep learning-based method | |
CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
Pintaric et al. | Affordable infrared-optical pose-tracking for virtual and augmented reality | |
CN110807451B (zh) | 人脸关键点检测方法、装置、设备及存储介质 | |
WO2019179441A1 (zh) | 智能设备的焦点跟随方法、装置、智能设备及存储介质 | |
JP2021527877A (ja) | 3次元人体姿勢情報の検出方法および装置、電子機器、記憶媒体 | |
WO2015186436A1 (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
CN106485735A (zh) | 基于立体视觉技术的人体目标识别与跟踪方法 | |
JP2009536731A (ja) | 深度マップによるヒューマノイド形状のモデル化 | |
US11170246B2 (en) | Recognition processing device, recognition processing method, and program | |
CN113782159B (zh) | 医学图像标记点匹配方法、装置、电子设备及存储介质 | |
JP2016014954A (ja) | 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。 | |
CN116051631A (zh) | 光斑标注方法及系统 | |
CN106650628A (zh) | 一种基于三维k曲率的指尖检测方法 | |
Li et al. | A vision-based navigation system with markerless image registration and position-sensing localization for oral and maxillofacial surgery | |
Guler et al. | Landmarks inside the shape: Shape matching using image descriptors | |
Watanabe et al. | Parameter identification of depth-depth-matching algorithm for liver following | |
Wang et al. | Real-time robust individual X point localization for stereoscopic tracking | |
CN115063607A (zh) | 切割轮廓的确定方法、装置、设备、存储介质及程序产品 | |
Nonaka et al. | Capturing a surgical area using multiple depth cameras mounted on a robotic mechanical system | |
Itabashi et al. | Smart Surgical Light: Identification of Surgical Field States Using Time of Flight Sensors | |
Wan et al. | Research on Robot Monocular Vision-Based 6DOF Object Positioning and Grasping Approach Combined With Image Generation Technology | |
JP2006064585A (ja) | 画像処理方法、画像処理装置 | |
CN115222826B (zh) | 结构光和相机相对位姿可改变的三维重建方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220909 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231226 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240301 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7449400 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |