JP6023324B2 - 外科手術支援システム、外科手術支援装置、外科手術支援方法、外科手術支援プログラムおよび情報処理装置 - Google Patents

外科手術支援システム、外科手術支援装置、外科手術支援方法、外科手術支援プログラムおよび情報処理装置 Download PDF

Info

Publication number
JP6023324B2
JP6023324B2 JP2015522825A JP2015522825A JP6023324B2 JP 6023324 B2 JP6023324 B2 JP 6023324B2 JP 2015522825 A JP2015522825 A JP 2015522825A JP 2015522825 A JP2015522825 A JP 2015522825A JP 6023324 B2 JP6023324 B2 JP 6023324B2
Authority
JP
Japan
Prior art keywords
bone
marker
data
target bone
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015522825A
Other languages
English (en)
Other versions
JPWO2014200016A1 (ja
Inventor
敦 丹治
敦 丹治
Original Assignee
敦 丹治
敦 丹治
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 敦 丹治, 敦 丹治 filed Critical 敦 丹治
Application granted granted Critical
Publication of JP6023324B2 publication Critical patent/JP6023324B2/ja
Publication of JPWO2014200016A1 publication Critical patent/JPWO2014200016A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00526—Methods of manufacturing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/108—Computer aided selection or customisation of medical implants or cutting guides
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3991—Markers, e.g. radio-opaque or breast lesions markers having specific anchoring means to fixate the marker to the tissue, e.g. hooks
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles

Description

本発明は、画像処理により外科手術を支援する技術に関する。
上記技術分野において、特許文献１には、患者の頭蓋骨の位置を示すマーカを取り付け、マーカを撮像することにより手術支援のためのロボットの取り付け位置を自動制御する技術が開示されている。また、非特許文献１には、ＣＴ／ＭＲＩなどの医療画像の標準化フォーマットであるＤＩＣＯＭ(Digital Imaging and Communication in Medicine)データから３次元骨表面モデルのＳＴＬ（Stereo Lithography)データを生成するソフトウェアが示されている。また、非特許文献２には、３次元骨表面モデル(ＳＴＬ）データを使って骨関節手術をあらかじめシミュレーションするソフトウェアが示されている。
特表２００８−５２６４２２号公報
骨モデル３次元データ簡易作成ソフト(BoneViewer),Company Report,株式会社オルスリー(http://www.orthree.jp/pdf/case_bv.pdf) 骨間接手術シミュレーションソフト(BoneSimulator),Company Report,株式会社オルスリー(http://www.orthree.jp/pdf/case_bs.pdf)
しかしながら、上記特許文献１に記載の技術は、頭蓋骨へのロボットの取り付け位置の制御であり、生体中の骨の適切な配置の決定を支援することができない。また、上記非特許文献１および非特許文献２は、骨関節手術をあらかじめシミュレーションするための技術であり、実際の手術中において、生体中の骨の適切な配置の決定を支援することは意図されていない。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係る外科手術支援システムは、
外科手術を行なう対象骨の３次元データとマーカの位置データとを関連付けて記憶する記憶手段と、
前記対象骨のマーカを撮像する撮像手段と、
前記記憶手段に記憶されたデータを用いて、撮像された前記マーカの位置の変化に応じて前記対象骨の表示を変化させる表示手段と、
を備え、
前記記憶手段は、２つに分かれた手術対象骨の一方である第１対象骨の３次元データ、および前記第１対象骨と一部が重なる参照骨の３次元データを、前記第１対象骨に固定される第１マーカの位置データと関連付けて記憶し、前記２つに分かれた手術対象骨の他方である第２対象骨の３次元データを、前記第２対象骨に固定される第２マーカの位置データと関連付けて記憶し、
前記撮像手段は、前記第１対象骨に固定された前記第１マーカと前記第２対象骨に固定された前記第２マーカとを撮像し、
前記表示手段は、前記第２対象骨が前記参照骨の一部に重なるように、前記記憶手段に記憶されたデータを用いて、前記第１マーカと前記第２マーカとの相対位置の変化に応じて前記第１対象骨および前記第２対象骨の表示を変化させ、
前記参照骨の３次元データは、前記手術対象骨と左右対称位置に存在する非罹患骨の鏡像データである。
上記目的を達成するため、本発明に係る外科手術支援装置は、
外科手術を行なう対象骨の３次元データとマーカの位置データとを関連付けて記憶する記憶手段と、
前記対象骨のマーカを撮像する撮像手段と、
前記記憶手段に記憶されたデータを用いて、撮像された前記マーカの位置の変化に応じて前記対象骨の表示を変化させる表示手段と、
を備え、
前記記憶手段は、２つに分かれた手術対象骨の一方である第１対象骨の３次元データ、および前記第１対象骨と一部が重なる参照骨の３次元データを、前記第１対象骨に固定される第１マーカの位置データと関連付けて記憶し、前記２つに分かれた手術対象骨の他方である第２対象骨の３次元データを、前記第２対象骨に固定される第２マーカの位置データと関連付けて記憶し、
前記撮像手段は、前記第１対象骨に固定された前記第１マーカと前記第２対象骨に固定された前記第２マーカとを撮像し、
前記表示手段は、前記第２対象骨が前記参照骨の一部に重なるように、前記記憶手段に記憶されたデータを用いて、前記第１マーカと前記第２マーカとの相対位置の変化に応じて前記第１対象骨および前記第２対象骨の表示を変化させ、
前記参照骨の３次元データは、前記手術対象骨と左右対称位置に存在する非罹患骨の鏡像データである。
上記目的を達成するため、本発明に係る外科手術支援方法は、
外科手術を行なう対象骨の３次元データとマーカの位置データとを関連付けて記憶手段に記憶する記憶ステップと、
前記対象骨のマーカを撮像する撮像ステップと、
前記記憶手段に記憶されたデータを用いて、撮像された前記マーカの位置の変化に応じて前記対象骨の表示を変化させる表示ステップと、
を含み、
前記記憶ステップにおいては、２つに分かれた手術対象骨の一方である第１対象骨の３次元データ、および前記第１対象骨と一部が重なる参照骨の３次元データを、前記第１対象骨に固定される第１マーカの位置データと関連付けて前記記憶手段に記憶し、前記２つに分かれた手術対象骨の他方である第２対象骨の３次元データを、前記第２対象骨に固定される第２マーカの位置データと関連付けて前記記憶手段に記憶し、
前記撮像ステップにおいては、前記第１対象骨に固定された前記第１マーカと前記第２対象骨に固定された前記第２マーカとを撮像し、
前記表示ステップにおいては、前記第２対象骨が前記参照骨の一部に重なるように、前記記憶手段に記憶されたデータを用いて、前記第１マーカと前記第２マーカとの相対位置の変化に応じて前記第１対象骨および前記第２対象骨の表示を変化させ、
前記参照骨の３次元データは、前記手術対象骨と左右対称位置に存在する非罹患骨の鏡像データである。
上記目的を達成するため、本発明に係る外科手術支援プログラムは、
外科手術を行なう対象骨の３次元データとマーカの位置データとを関連付けて記憶手段に記憶する記憶ステップと、
前記対象骨のマーカを撮像する撮像ステップと、
前記記憶手段に記憶されたデータを用いて、撮像された前記マーカの位置の変化に応じて前記対象骨の表示を変化させる表示ステップと、
をコンピュータに実行させる外科手術支援プログラムであって、
前記記憶ステップにおいては、２つに分かれた手術対象骨の一方である第１対象骨の３次元データ、および前記第１対象骨と一部が重なる参照骨の３次元データを、前記第１対象骨に固定される第１マーカの位置データと関連付けて前記記憶手段に記憶し、前記２つに分かれた手術対象骨の他方である第２対象骨の３次元データを、前記第２対象骨に固定される第２マーカの位置データと関連付けて前記記憶手段に記憶し、
前記撮像ステップにおいては、前記第１対象骨に固定された前記第１マーカと前記第２対象骨に固定された前記第２マーカとを撮像し、
前記表示ステップにおいては、前記第２対象骨が前記参照骨の一部に重なるように、前記記憶手段に記憶されたデータを用いて、前記第１マーカと前記第２マーカとの相対位置の変化に応じて前記第１対象骨および前記第２対象骨の表示を変化させ、
前記参照骨の３次元データは、前記手術対象骨と左右対称位置に存在する非罹患骨の鏡像データである。
上記目的を達成するため、本発明に係る情報処理装置は、
外科手術を行なう対象骨の３次元データとマーカの位置データとを関連付けて記憶する記憶手段と、
撮像手段が撮像した前記対象骨のマーカの画像を前記撮像手段から受信する受信手段と、
前記記憶手段に記憶されたデータを用いて、撮像された前記マーカの位置の変化に応じて変化する前記対象骨の表示画像を生成する表示画像生成手段と、
を備え、
前記記憶手段は、２つに分かれた手術対象骨の一方である第１対象骨の３次元データ、および前記第１対象骨と一部が重なる参照骨の３次元データを、前記第１対象骨に固定される第１マーカの位置データと関連付けて記憶し、前記２つに分かれた手術対象骨の他方である第２対象骨の３次元データを、前記第２対象骨に固定される第２マーカの位置データと関連付けて記憶し、
前記撮像手段は、前記第１対象骨に固定された前記第１マーカと前記第２対象骨に固定された前記第２マーカとを撮像し、
前記表示画像生成手段は、前記第２対象骨が前記参照骨の一部に重なるように、前記記憶手段に記憶されたデータを用いて、前記第１マーカと前記第２マーカとの相対位置の変化に応じて前記第１対象骨および前記第２対象骨の表示を変化させる表示画像を生成し、
前記参照骨の３次元データは、前記手術対象骨と左右対称位置に存在する非罹患骨の鏡像データである。
本発明によれば、手術中において、生体内の骨の適切な配置の決定を支援することできる。
本発明の第１実施形態に係る外科手術支援システムの構成を示すブロック図である。 本発明の第２実施形態に係る外科手術支援処理の概要を説明する図である。 本発明の第２実施形態に係るマーカ用ピン設定処理の概要を説明する図である。 本発明の第２実施形態に係る術前準備データ生成システムの構成を示すブロック図である。 本発明の第２実施形態に係る参照骨画像生成処理を含む術前準備画像生成処理の概要を説明する図である。 本発明の第２実施形態に係る術中画像処理システムの概要を説明する図である。 本発明の第２実施形態に係る術中画像処理システムの画面遷移図である。 本発明の第２実施形態に係る外科手術支援システムの処理手順を示すフローチャートである。 本発明の第２実施形態に係る外科手術支援システムで使用される外科手術支援器具を示す図である。 本発明の第２実施形態に係る術前準備データ生成システムにおける情報処理装置の機能構成を示すブロック図である。 本発明の第２実施形態に係る術前準備データ生成システムにおける情報処理装置の他の機能構成を示すブロック図である。 本発明の第２実施形態に係るＳＴＬＤＢの構成を示す図である。 本発明の第２実施形態に係る３次元術前準備画像ＤＢの構成を示す図である。 本発明の第２実施形態に係る参照骨画像生成テーブルの構成を示す図である。 本発明の第２実施形態に係る術前準備データ生成システムにおける情報処理装置の処理手順を示すフローチャートである。 本発明の第２実施形態に係る術中画像処理システムにおけるタブレット型コンピュータの機能構成を示すブロック図である。 本発明の第２実施形態に係るマーカＤＢの構成を示す図である。 本発明の第２実施形態に係るマーカ解析テーブルの構成を示す図である。 本発明の第２実施形態に係る術中対象骨位置決めテーブルの構成を示す図である。 本発明の第２実施形態に係る術中画像処理システムにおけるタブレット型コンピュータの処理手順を示すフローチャートである。 本発明の第３実施形態に係る術中画像処理システムの構成を示す図である。 本発明の第３実施形態に係る術中画像処理システムのタブレット型コンピュータの処理を説明する図である。 本発明の第３実施形態に係る術中画像処理システムにおけるタブレット型コンピュータの機能構成を示すブロック図である。 本発明の第４実施形態に係る参照骨と手術対象骨とのマッチング率の表示例を示す図である。 本発明の第５実施形態に係る外科手術支援システムの処理概要を説明する図である。 本発明の第５実施形態に係る外科手術支援システムの処理概要を説明する図である。 本発明の第５実施形態に係る外科手術支援システムの処理手順を示すフローチャートである。 本発明の第５実施形態に係る術前準備データ生成システムにおける情報処理装置の機能構成を示すブロック図である。 本発明の第５実施形態に係る術前準備データＤＢの構成を示す図である。 本発明の第５実施形態に係る術前準備データ生成システムにおける情報処理装置の処理手順を示すフローチャートである。 本発明の第５実施形態に係る術中画像処理システムにおけるタブレット型コンピュータの機能構成を示すブロック図である。 本発明の第５実施形態に係る術中画像処理システムにおけるタブレット型コンピュータの処理手順を示すフローチャートである。 本発明の第６実施形態に係る術中画像処理システムにおける情報処理装置の機能構成を示すブロック図である。 本発明の第６実施形態に係る骨画像照合部において使用されるデータテーブルを示す図である。 本発明の第６実施形態に係る術中画像処理システムにおける情報処理装置の処理手順を示すフローチャートである。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
［第１実施形態］
本発明の第１実施形態としての外科手術支援システム１００について、図１を用いて説明する。外科手術支援システム１００は、画像処理により外科手術を支援するシステムである。
図１に示すように、外科手術支援システム１００は、記憶部１１０と、撮像部１２０と、表示部１５０と、を含む。
記憶部１１０は、２つに分かれた手術対象骨１０１の一方である第１対象骨１１１の３次元データ、および第１対象骨１１１と一部が重なる参照骨１１３の３次元データを、第１対象骨１１１に固定される第１マーカ１０２の位置データと関連付けて記憶する。そして、２つに分かれた手術対象骨１０１の他方である第２対象骨１１２の３次元データを、第２対象骨１１２に固定される第２マーカ１０３の位置データと関連付けて記憶する。
撮像部１２０は、第１対象骨１１１に固定された第１マーカ１０２と第２対象骨１１２に固定された第２マーカ１０３とを撮像する。そして、表示部１５０は、第２対象骨１１２が参照骨１１３に重なる際の第１マーカ１０２に対する第２マーカ１０３の目標位置が把握できるように、記憶部１１０に記憶されたデータを用いて、第１マーカ１０２と第２マーカ１０３との相対位置の変化に応じて表示を変化させる。
本実施形態によれば、手術中における、生体内の骨の適切な配置の決定を支援することできる。
［第２実施形態］
次に、本発明の第２実施形態に係る外科手術支援システムについて説明する。本実施形態に係る外科手術支援システムは、あらかじめ手術対象骨の配置の基準となる手術対象骨の一方の第１対象骨の３次元データと参照骨の３次元データとを生成して、第１対象骨に固定された第１マーカ（例えば２次元コード）と関連付けて記憶する。また、手術対象骨の他方の第２対象骨の３次元データを生成して、第２対象骨に固定された第２マーカ（例えば２次元コード）と関連付けて記憶する。手術時には、ＡＲ（Augmented reality）技術を利用して、撮像した第１マーカおよび第２マーカから、第１対象骨および第２対象骨の３次元位置を判定して、記憶された３次元データに基づいて表示する。そして、第２対象骨と参照骨とが適正に重なったか否かを判定することで、手術対象骨の適切な配置を決定する。このような処理によって、医師による手術対象骨の適切な配置の決定を支援する。
《外科手術支援システム》
以下、図２〜図７を参照して、本実施形態の外科手術支援システムの構成と処理の概要を説明する。外科手術支援システムは、大きく分けて、術前準備データ生成システムと術中画像処理システムとを含む。術前準備データ生成システムは、術前に第１対象骨、第２対象骨および参照骨の３次元データを生成、表示して、術中に使用するデータを生成し記憶するシステムである。術中画像処理システムは、マーカ撮像に基づいて対象骨画像および参照骨画像を生成し表示して、手術対象骨の配置決定を支援するシステムである。しかしながら、術前準備データ生成システムと術中画像処理システムとを、統合された１つのシステムとして構成してもよい。
（外科手術の概要）
図２は、本実施形態に係る外科手術全体の概要を説明する図である。図２は、変形治癒した罹患骨（手術対象骨）の骨切矯正手術の例を示している。骨切矯正手術は、準備段階２０１と、手術対象骨の位置決め段階２０２と、手術対象骨の位置固定段階２０３とを含む。本実施形態においては、橈骨遠位部変形治癒手術を例に説明するが、これに限定されない。他の部位や他の骨の変形治癒、あるいは、骨折治療手術にも同様に適用される。
準備段階２０１においては、前腕２１３の手術対象骨の骨切平面を挟む２つの位置に、所定間隔（例えば、１cm、２cmの間隔）で２本が対となったピン２１１、２１２を、２つのマーカの支持部材として固定する。充分な強度と断面積があり、手術対象骨の長手方向に２本のピンが固定可能な場所がピンの挿入固定位置として望ましい。また、ピンの長さは、患部や骨により異なるが、前腕であれば外部にマーカを設定でき、かつ容易に撮像可能な長さとして、５cm〜１０cm程度であればよい。ピン２１１、２１２を固定した状態でＣＴ（Computed Tomography）撮影を行なって、手術対象骨の３次元データを生成し、記憶する。さらにピン２１１、２１２に対して後に固定されるマーカの位置および向きをあらかじめ設定してマーカの位置データ生成を行ない、マーカの位置データと手術対象骨の３次元データと参照骨の３次元データとを関連付ける。
例えば、手術対象骨の３次元データに含まれるピンの３次元データを表示し、その２本のピンの根本位置と先端位置とを、ユーザにポインティングデバイスなどで指定させることにより、それらのピンに取り付けられるマーカの位置および向きを定義してもよい。２本のピンが生成する平面とマーカの位置および向きとの関係はあらかじめ設定されていてもよいし、複数の関係（例えば２本のピンが生成する平面に対して平行、垂直、４５度をなすなど）から選択してもよい。また例えば、ピンの３次元モデルデータ、およびマーカをピンに固定するために使用される１つまたは複数の治具の３次元モデルデータを用意しておき、ＣＴ撮影によって取得したピンの３次元データに対して、３次元空間上で、３次元モデルデータを重ね、治具を取り付けてマーカの位置を定義してもよい。これにより、マーカの位置および向きと手術対称骨および参照骨の位置および向きとの関係がデータベース内に記憶される。
手術中には、患部を切開して骨切りを実施した後、手術対象骨の位置決め段階２０２において、デジタルカメラを用いてマーカ２２１、２２２を撮影する。撮像画像からマーカ２２１、２２２のそれぞれの位置、大きさおよび向きを認識し、データベースを参照することにより、手術対象骨の位置、大きさおよび向きを導き出す。そして、導き出した位置、大きさおよび向きの手術対象骨２２３、２２４を表示する。
医師が手２２６で患者の前腕２１３をつかみ、腕を曲げたりねじったりすると、撮像画像中のマーカ２２１の状態が変化する。このマーカ２２１の位置、大きさ、傾きの変化に応じて、表示画像中の手術対象骨２２３の表示位置、大きさ、傾きが変化するように表示する。一方、マーカ２２２の位置、大きさ、傾きとの相対関係と共に参照骨２２５の３次元形状データがあらかじめ記憶されており、マーカ２２２を撮像することにより、所定の位置に参照骨２２５が表示される。医師は、手術対象骨２２３が参照骨２２５と重なる位置を発見すると、手術対象骨の位置固定段階２０３に進む。
手術対象骨の位置固定段階２０３においては、確定された患者の前腕２１３内部の手術対象骨２２３、２２４の適切な相対配置を維持するために、手術対象骨２２３が参照骨２２５と重なる位置におけるピン２１１、２１２を固定具２３１で固定する。
このような外科手術支援システムによる支援を経ることで、切開部の縮小と、手術の迅速化とが可能になる。なお、図２では、ピン２１１、２１２を創外に突出させているが、本発明はこれに限定されるものではない。例えば、ピンの先端が創内に収まるような短いピン（１〜２ｃｍ）として、術中（位置決め段階２０２）に、その短いピンに新たに長いピンを接続した上で、マーカ２２１、２２２を取り付けてもよい。
あるいは、ピンを挿入せずに骨のみのＣＴを撮って生成された骨のＣＧデータに対して仮想的にピンを挿入し、その後、術中に開創して、ＣＧデータどおりの位置に実際にピンを挿入してもよい。その際、仮想ピン付きの骨のＣＧデータを用いてマーカの位置を決めておき、３Ｄプリンタで、その患部の骨にぴったりと嵌る型（ピン穴付きカタ）を生成し、その型に合わせてピンを挿入することにより、ＣＧデータにおけるピンと同じ位置に実際のピンを挿入してもよい。さらに、そのような型を骨にぴったりと嵌はめた状態で、その型自体にマーカを取り付ける方法でもよい。デジタルカメラで撮像した骨の特徴点を判別して、ピン付きのＣＧデータと重ね合わせることにより、ＣＧデータと同じ位置に同じ方向でピンを挿入してもよい。これにより、ピンを刺してＣＴスキャンを撮ってからの患者の負担、感染症の確立を抑えることができる。
（ピン固定処理）
図３Ａは、マーカ用ピン（以下、ピン）の骨への挿入処理の概要を説明する図である。図３Ａは、手術対象骨３１１に対して、骨切平面が存在すると推定される領域を挟んだ２箇所に２本ずつピン２１１、２１２を固定する例を示す。ピン固定用菅体３１２を皮膚に載せる位置決めステージ３０１と、ピン固定用菅体３１２にピンを挿入して骨に固定するピン固定ステージ３０２と、菅体取り外しステージ３０３とを示す。
まず、位置決めステージ３０１において、骨切平面が存在すると推定される領域を挟んだ患部の前椀２１３の２箇所にピン固定用菅体３１２を載せる。ピン固定用菅体３１２は、ピンを正確に所定の間隔で挿入固定するための２つの管部を備える。かかるピン固定用菅体３１２にピン２１２を挿入する。
次に、ピン固定ステージ３０２において、管部に挿入したピン２１２を患部の前椀２１３に差し込み、手術対象骨３１１に固定する。ピン２１２の先端にはねじが切られており、ピンを回転させて骨に差し込む。
そして、菅体取り外しステージ３０３においては、ピン２１２を残して、ピン固定用菅体３１２のみを抜き外す。以上の様な位置決めステージ３０１、ピン固定ステージ３０２、および菅体取り外しステージ３０３を繰り返して、もう一対のピン２１１を固定する。これにより、ピン２１１、２１２が手術対象骨３１１に固定される。
（術前準備データ生成システムの構成）
図３Ｂは、術前準備データ生成システム３２０の構成を示すブロック図である。
術前準備データ生成システム３２０は、ネットワーク３２３により接続された、参照画像を生成するための情報処理装置３２４と、患者３２２の断層画像を取得するＣＴスキャナ３２１と、を有する。さらに、オプションとして、断層画像データから３次元骨表面データ（ＳＴＬデータ）を生成するＳＴＬデータ生成サーバ３２５を有してよい。なお、ネットワークは、広域ネットワークであってもＬＡＮであってもよい。
本実施形態においては、ＣＴスキャナ３２１によって患者３２２の患部および患部の参照となる部位の断層画像を取得する。本例では、例えば、４本のピンが手術対象骨に挿入固定された右腕前椀の断層画像と健側の左腕前腕の断層画像とを取得する。断層画像データは、ネットワーク３２３を介して、情報処理装置３２４に送られ、情報処理装置３２４において３次元データに変換される。なお、断層画像データから３次元データへの変換は、ＳＴＬデータ生成サーバ３２５が行なってもよい。
なお、本実施形態で使用される生体データは、ＣＴ／ＭＲＩにより取得されたデータに限定されるものではなく、３次元データはＳＴＬデータに限定されるものではない。
（術前準備データ生成処理）
図４は、情報処理装置３２４を用いた術前準備データ生成処理の概要を説明する図である。画像４０１〜４０６は、情報処理装置３２４の表示画面に表示されるＣＧ（Computer Graphics）画像であり、それぞれ、術前準備データ生成処理の各ステージに対応している。
まず、第１ステージにおいて、画像４０１に示すように、前腕２１３の手術対象骨と左右対称位置（健側）にある非罹患骨をＣＴスキャンなどで内部撮影して生成した非罹患骨３次元データ４１１を反転し鏡像データを生成する。これにより、手術対象骨と同様の（少なくとも一部が重なった）形状を有する参照骨の３次元データ（以降、参照骨と称す）
４１２を生成する。
第２ステージにおいて、画像４０２に示すように、前腕２１３の手術対象骨をＣＴスキャンなどで内部撮影して生成した手術対象骨（罹患骨）の３次元データ（以降、手術対象骨と称す）４２１を表示する。手術対象骨４２１は、ピン２１１、２１２が固定された状態で撮影されたＳＴＬデータから生成されているため３次元データ上でもピン２１１、２１２を含んでいる。そして、参照骨４１２と手術対象骨４２１とを表示画面上で対比させて、手術対象骨４２１の状態を確認する。
第３ステージにおいては、３次元空間での観察点を手術対象骨に近づけた拡大表示画像４０５や、異なる観察点からの複数の画像を同時に表示する分割表示された画像４０６（ここでは、３方向からの画像）を参照しながら手術対象骨４２１を画像４０３上で操作する。すなわち、手術対象骨４２１を参照骨４１２に対して移動したり回転したりして、参照骨４１２の各端部と手術対象骨４２１の各端部とを重ね合わせる。
骨切平面が上端側にあると推定できる場合には、まず、左側のように、手術対象骨４２１と参照骨４１２との下端同士を重ねて、手術対象骨４２１の骨切平面を決定する。特に、関節部の形状を重ねることにより、手術対象骨４２１の歪みや曲り、変形を認識した上で、下端から徐々に上方に見ていき、参照骨との離間が始まる分岐位置を骨切平面４３１とする。なお、医師が、参照骨４１２と手術対象骨４２１との重畳具合を見ながら骨切平面４３１を決定してもよいが、例えば、手術対象骨４２１と参照骨４１２との下端からの単位長さあたりの非重畳体積が所定値を越える位置を自動的に判定して骨切平面４３１としてもよい。あるいは、参照骨４１２の表面を単位面積に細かく分け、その単位面積ごとに手術対象骨４２１の表面までの鉛直方向の距離が所定値を越えた位置をつなぐことにより骨切平面４３１を自動的に導いてもよい。
画像４０３の右の図のように、手術対象骨４２１と参照骨４１２の上端同士を重ねて、上側の分離骨における断面の位置を確認する。最終的に骨切平面４３１を決定すると、手術対象骨４２１を骨切平面４３１で分離し、２つの対象骨４４１、４４２の３次元データを生成する。
第４ステージにおいては、重ね合わせた対象骨４４２と参照骨４１２とを１セットにして、ピン２１２に取り付けられるマーカ２２２と関連付けて記憶する。そして、画像４０４に示すように、対象骨４４２または参照骨４１２に対する対象骨４４１の目標位置を、ピン２１１に取り付けられるマーカ２２１の位置データと関連付けて、記憶する。これにより、実空間においてマーカ２２１の位置や傾きが認識できれば、目標とする対象骨４４１の位置や傾きが推定できる。さらに骨切平面４３１の位置、形状、傾きのデータを、マーカ２２１またはマーカ２２２の位置データと関連付けて記憶する。ピン２１１に対するマーカの２２１の位置および向き、および、ピン２１２に対するマーカの位置および向きは、あらかじめ一つに定められていてもよいが、本実施形態では、複数（例えば４通り）
から選べるものとする。第１のマーカ取り付けタイプは、２本のピンが形成するピン平面に対して、平行にマーカを取り付けるタイプである。第２のマーカ取り付けタイプは、ピンの軸方向に平行で、ピン平面に垂直をなす平面にマーカを取り付けるタイプである。第３のマーカ取り付けタイプは、ピンの軸方向に平行で、ピン平面に４５度をなす平面にマーカを取り付けるタイプである。第４のマーカ取り付けタイプは、ピンの軸方向に平行で、ピン平面に１３５度をなす平面にマーカを取り付けるタイプである。その他、ピンの軸方向に垂直な平面にマーカを取り付けてもよい。実際のピンにどのようにマーカを取り付けるかに応じて、そのマーカと表示すべき手術対象骨や参照骨との相対位置関係を変更すればよい。
このように準備されたデータを使用することにより、手術時に撮像されるマーカの位置、大きさおよび向きに基づいた、対象骨４４１および参照骨４１２の画像表示、対象骨４４２の画像表示、および骨切平面４３１の画像表示が可能となる。なおここで、対象骨４４１と対象骨４４２との間の間隙４４３は、手術時に必要な接合骨の形状を表わしている。したがって、この時点で、手術時に必要な接合骨の３次元形状も取得することができる。
なお手術時に、健側から生成した参照骨４１２を用いずに、画像４０４において目標配置として決定された対象骨４４１、４４２の組合せを一体として用いて表示してもよい。その場合、対象骨４４１、４４２の両方を参照骨４１２と重ね合わせた状態での、第１、第２マーカ２２１、２２３の支持部材としてピン２１１、２１２の位置を、目標相対位置データとして記憶部に記憶すればよい。そして、記憶された目標相対位置データに基づいて第２マーカ２２２のピン２１２の目標位置を表示すればよい。また、本実施形態では、変形治癒した罹患骨（手術対象骨）の骨切矯正手術を例としているので骨切位置をこの段階で定めたが、単純骨折の治療手術の場合には、はじめから骨が２つに分離しているため、骨切位置の決定は不要となる。つまり、ＣＴスキャン等で生成した３次元データをそのまま用いて、参照骨と重ね合わせればよい。また、第４ステージにおいて、対象骨４４２に対して対象骨４４１をどちら方向に何度回転し、何ミリ移動すれば参照骨４１２と重なるかを数値で記憶してもよい。そうすれば、手術時に実際のピン２１１に固定されるマーカ２２１（つまり腕）をどちら方向にどれだけ回転し、どちら方向にどれだけ移動すればよいかを、視覚的に（矢印などの画像で）示すことができる。
（術中画像処理システムの構成）
図５Ａは、本実施形態に係る術中画像処理システム５００の概略構成を示す図である。
術中画像処理システム５００は、情報処理装置としてのタブレット型コンピュータ５０１と、表示装置５０２と、を有する。タブレット型コンピュータ５０１は、ディスプレイ５１１とカメラ５１２とを備えている。
タブレット型コンピュータ５０１は、ディスプレイ５１１が医師５０３の方を向き、かつ、カメラ５１２がマーカ２２１、２２２を向く位置に固定される。タブレット型コンピュータ５０１は、あらかじめ手術対象骨の３次元データを記憶しており、マーカ２２１、２２２の画像から手術対象骨の位置および方向を認識する。タブレット型コンピュータ５０１は、ディスプレイ５１１において、認識した位置に、手術対象骨の画像を表示する。これにより、医師５０３は、一目で患部とその内部の骨との位置関係を把握することができる。
医師５０３が、患者３２２の前腕２１３を掴み、ねじったりのばしたりすると、それに伴いマーカ２２１、２２２の位置も変化するため、ディスプレイ５１１中の手術対象骨４２１も移動したり、回転したりする。そのように前腕２１３を動かして、ディスプレイ５１１中の対象骨４４２を参照骨４１２に重ね合わせることによって、手術対象骨の目標位置を確定する。確定した位置で、固定具２３１を用いてピン２１１、２１２を固定する。
（術中対象骨位置決め処理）
図５Ｂは、術中における手術対象骨の骨切作業および位置決め作業の概要を説明する画面遷移図である。手術前に、ピン２１１、２１２にマーカ２２１、２２２を固定する。
骨切ステージにおいては、画像５２１のように、ディスプレイ５１１に骨切平面４３１を３次元表示させて、適正な位置で手術対象骨を切断する。画像５２１中、太線で示された部分は、カメラ５１２による撮像画像であり、細線で示され部分は、３次元データから生成されたＣＧ画像である。
医師は、骨切平面４３１に合わせて骨切ブレードを患部に挿入し、変形治癒した罹患骨を分離する。次に、座標空間の画像５２２や、分割表示された画像５２３〜５２６を参照しつつ、患者の前腕を動かして、対象骨４４１を、対象骨４４２に対して操作する。画像５２１〜５２６では、撮影により得られたマーカ２２１、２２２の位置、大きさおよび方向に応じた位置、大きさおよび方向の対象骨４４１、４４２が表示される。
画像５２２は、３次元空間のＸ軸／Ｙ軸／Ｚ軸と観察点の角度を表示しており、参照骨４１２と対象骨４４１、４４２との３次元空間での相対位置を抽出して表示するものであり、観察点を移動させて、対象骨４４１、４４２の画像を画面上で回すことができる。画像５２３〜５２６は、１画面に表示される分割表示画像であり、画像５２３は、画像５２１と同じ、撮像画像とＣＧ画像との重ね合わせ画像である。画像５２４は、画像５２３からＣＧ画像のみを抽出したものであり、ここではピンの付いた参照骨と対象骨とが表示されている。画像５２５は、カメラ５１２とは９０度をなす、骨の軸方向から見た場合の参照骨４１２および対象骨４４１、４４２の画像である。画像５２６は、カメラ５１２とは９０度をなすピン挿入方向から見た場合の参照骨４１２および対象骨４４１、４４２の画像である。つまり、画像５２４〜５２６は、３次元空間の３軸方向をそれぞれ観察点とする３つの表示画像である。医師はこれらの表示画面を観察しながら、対象骨４４１、４４２の適切な配置を決める。
画像５２７は、対象骨４４１を参照骨４１２上に重ね合わせた状態を示している。この状態で、対象骨４４１、４４２に付けられたピン２１１、２１２を固定具で固定する。
（外科手術支援システムの処理手順）
図６は、術前準備データ生成システム３２０と術中画像処理システム５００とを含む外科手術支援システム全体の処理手順を示すフローチャートである。
まず、術前準備データ生成システム３２０は、ステップＳ６０１において、ピンを固定した手術対象骨の断層画像（例えば、ＣＴ画像）および健側骨の断層画像を取得して、それぞれの３次元データを生成する。
次に、ステップＳ６０３において、生成した３次元形状データを表示しつつ、骨切平面４３１および骨切後の骨の適正配置を決定し、それらの位置データを記憶する
次に、術中画像処理システム５００は、ステップＳ６０５において、手術対象骨に固定したマーカを撮像する。
そして、術中画像処理システム５００は、ステップＳ６０７において、患部撮像画像に重ねて、マーカの移動に従って変化する第１対象骨および参照骨の骨画像と、第２対象骨の骨画像とを生成して、表示する。医師は、表示画面を見ながら前腕を動かす。
術中画像処理システム５００は、ステップＳ６０９において、第２対象骨の骨画像が参照骨の骨画像に合致するように、前腕の２つの対象骨が配置されたことを確認する。合致していなければ、術中画像処理システム５００は、ステップＳ６０５に戻って、合致する位置に対象骨が配置されるまで処理を継続する。
（外科手術支援器具）
図７は、本実施形態に係る外科手術支援システムで使用される外科手術支援器具を示す図である。なお、図７には、検査や手術に通常使用される器具については図示されていない。
外科手術支援器具としては、手術対象骨のＣＴ撮影前、あるいは、手術対象骨のＣＴ撮影後の手術開始前に、手術対象骨の２箇所に２本ずつのピンを固定するために使用される支援器具類７１０が含まれる。また、手術時に２本のピンにマーカを取り付けるための支援器具類７２０が含まれる。
支援器具類７１０は、２本で１対のピン２１１、２１２と、ピン２１１、２１２を正確に１cm間隔で挿入するためのピン固定用菅体３１２と、ピン２１１、２１２を正確に２cm間隔で挿入するためのピン固定用菅体７１２と、を含む。支援器具類７１０は、図３Ａを用いて説明した通りに使用される。
支援器具類７２０は、紙やプラスティックフィルムに印刷された２次元コード７２９と、２次元コード７２９を支持するマーカ支持具７２２〜７２５と、マーカ支持具７２２〜７２５をピンに取り付けるためのピン接続具７２７、７２８と、接続具７２７、７２８の位置決めのために用いる逆Ｌ字に形成された位置決め用治具７２６とを含む。
マーカ支持具７２２は、２本のピンが形成するピン平面に対して、平行にマーカを取り付ける支持具である。マーカ支持具７２３は、ピンの軸方向に平行で、ピン平面に垂直をなす平面にマーカを取り付ける支持具である。マーカ支持具７２４は、ピンの軸方向に平行で、ピン平面に４５度（右４５度）をなす平面にマーカを取り付ける支持具である。マーカ支持具７２５は、ピンの軸方向に平行で、ピン平面に１３５度（左４５度）をなす平面にマーカを取り付ける支持具である。これらの本発明に係るマーカ支持具は、これらに限定されるものではなく、ピンの軸方向に垂直な平面にマーカを取り付ける支持具や、ピンに対して自由な向きにマーカを取り付けることのできるヒンジを有する支持具を用意してもよい。実際のピンにどのようにマーカを取り付けるかに応じて、そのマーカと表示すべき手術対象骨や参照骨との相対位置関係を変更すればよい。
位置決め用治具７２６は、凸部７２６ａと凹部７２６ｂと溝部７２６ｃとを有している。凸部７２６ａおよび凹部７２６ｂは、ピン接続具７２７、７２８に設けられた凸部７２７ａ、７２８ａおよび凹部７２７ｂ、７２８ｂとぴったり嵌り合う（緩合する）大きさに形成されている。
まず、第１ステップとして、凹部および凸部を用いて位置決め用治具７２６とピン接続具７２７とを合体させる。次に、第２ステップとして、ピンを、溝７２６ｃ、７２７ｃに沿って挿入し、天井面７２６ｄにピンが当接する位置で、ねじ７２７ｄによって、ピン接続具７２７とピンとを固定する。その後、第３ステップとして、位置決め用治具７２６をピン接続具７２７から取り外す。同様に第１〜第３ステップを繰り返し、位置決め用治具７２６を用いて、ピン接続具７２８とピンとを正確な位置で接続する。
そのようにピン接続具７２７、７２８をそれぞれ正確にピン２１１、２１２に接続する。
マーカ支持具７２２〜７２５は、やはり凸部と凹部とをそれぞれ有している。そして、凸部７２７ａ、７２８ａと凹部７２７ｂ、７２８ｂとをはめ込むことにより、マーカ支持具７２２〜７２５のいずれかを、ピン接続具７２７、７２８のいずれかに固定する。
《術前準備データ生成システムにおける情報処理装置の機能構成》
図８は、情報処理装置３２４の機能構成例３２４Ａを示すブロック図である。なお、図８においては、断層画像データとしてＣＴデータを示し、３次元骨表面モデルデータとしてＳＴＬデータを示すが、これらに限定されない。情報処理装置３２４Ａの各機能部は、ＣＰＵによりメモリを使用しながらプログラムを実行することにより画像データを処理することで実現される。
図８のＣＴデータ取得部８１１は、患者３２２の画像として、ＣＴスキャナ３２１からのＣＴデータ（ＤＩＣＯＭ）を取得する。ＣＴデータベース８１２は、ＣＴデータ取得部８１１が取得したＣＴデータを検索可能に蓄積する。
骨形状データ生成部８１３は、ＣＴデータから３次元骨表面モデルデータとしてＳＴＬデータを生成する。ＳＴＬデータＤＢ８１４は、骨形状データ生成部８１３が生成したＳＴＬデータを検索可能に蓄積する。
表示部／操作部８１５は、ディスプレイやタッチパネルなどで構成され、骨形状データ生成部８１３が生成したＳＴＬデータに基づいて、骨画像を３次元表示すると共に、医師の指示に従い骨画像の３次元移動（回転および移動）を行なう。本例においては、患者３２２の手術対象骨の画像と、健側骨の画像とが、同時に重ね合わせ可能に表示される。また、表示部／操作部８１５においては、手術対象骨の骨切位置情報を入力可能である。そして、手術対象骨を骨切位置で切断分離した複数の部分骨（第１対象骨／第２対象骨）がそれぞれ独立して３次元移動（回転および移動）表示可能である。参照骨データ生成部８１６は、健側骨の３次元データを左右反転することにより、参照骨データを生成する。
３次元データ生成部８１７は、骨切位置情報に基づいて分離された第１対象骨と参照骨との３次元形状データを仮想３次元空間で重ね合わせ、３次元基準骨データを生成する。そして、生成した３次元基準骨データを、術前準備データＤＢ８１９に格納する。また、３次元データ生成部８１８は、第２対象骨の３次元形状データを生成する。そして、生成した３次元形状データを、術前準備データＤＢ８１９に格納する。なお、対象骨と参照骨との重ね合わせは、医師の操作に基づいて行なってもよいし、３次元データ生成部８１７、８１８が骨形状（特に、関節部の形状）に基づいて自動的に行なってもよい。術前準備データＤＢ８１９は、３次元データ生成部８１７、８１８が生成した３次元データをＳＴＬデータによって検索可能に蓄積する。かかる術前準備データＤＢ８１９に蓄積したＳＴＬデータは、術中画像処理システム５００において使用される。
図９は、情報処理装置３２４の他の機能構成例３２４Ｂを示すブロック図である。なお、図９において、図８と同様の機能構成部には同じ参照番号を付して、説明を省略する。図９に示す各機能部は、ＣＰＵによりメモリを使用しながらプログラムを実行することにより画像データを処理することで実現される。
図９の構成は、図８の構成と異なり、ＣＴデータからＳＴＬデータを生成する機能を情報処理装置３２４が有しない（プログラムが搭載されてない）ので、外部のＳＴＬデータ生成サーバ３２５にＳＴＬデータを依頼する。ＳＬＴデータ要求部９２１は、ＣＴデータをＳＴＬデータ生成サーバ３２５に送信して、ＳＴＬデータの生成を依頼する。ＳＬＴデータ取得部９２２は、ＳＴＬデータ生成サーバ３２５から生成されたＳＴＬデータを受信する。なお、ＳＴＬデータ生成サーバ３２５へのＣＴデータや、ＳＴＬデータ生成サーバ３２５からのＳＴＬデータは、記憶媒体により送受されてもよい。
（ＳＴＬデータＤＢ）
図１０は、本実施形態に係るＳＴＬデータＤＢ８１４の構成を示す図である。ＳＴＬデータＤＢ８１４には、本実施形態における３次元骨表面モデルを表わすＳＴＬデータが検索可能に蓄積されている。なお、ＳＴＬデータＤＢ８１４の構成は図１０に限定されない。
ＳＴＬデータＤＢ８１４は、画像ＩＤ１００１に対応付けて、ＣＴデータ取得日時１００２、患者名１００３、患部１００４、症状１００５、ＣＴデータ１００６を格納する。また、ＳＴＬデータＤＢ８１４は、ＣＴデータ１００６から生成されたＳＴＬデータ１００７と、外部でＳＴＬデータが生成された場合はＳＴＬデータ生成元１００８とを格納する。
（３次元術前準備画像ＤＢ）
図１１は、本実施形態に係る術前準備データＤＢ８１９の構成を示す図である。術前準備データＤＢ８１９には、本実施形態における３次元骨画像を表わすＳＴＬデータが検索可能に蓄積されている。なお、術前準備データＤＢ８１９の構成は図１１に限定されない。
術前準備データＤＢ８１９は、患者名１１０１に対応付けて、患部１１０２、症状１１０３、第１マーカに関連付けられた３次元データ１１０４、第２マーカに関連付けられた３次元データ１１０５、を格納する。３次元データ１１０４は、第１対象骨の３次元データと第１マーカ支持器具の３次元位置データと参照骨の３次元データとを含む。３次元データ１１０５は、第２対象骨の３次元データと第２マーカ支持器具の３次元位置データとを含む。なお、３次元データ１１０４および１１０５は、表示骨画像が３次元空間で移動および回転が可能な形式で格納される。
（参照骨画像生成テーブル）
図１２は、本実施形態に係る参照骨データ生成テーブル１２００の構成を示す図である。参照骨データ生成テーブル１２００は、図８または図９の参照骨データ生成部８１６が参照骨データを生成するために使用するテーブルである。
参照骨データ生成テーブル１２００は、３次元参照骨画像ＩＤ１２０１に対応付けて、患者名１２０２、患部１２０３、症状１２０４、健骨ＳＴＬデータ１２０５、および、参照骨としての参照骨ＳＴＬデータ１２０６を記憶する。
《情報処理装置の処理手順》
図１３は、情報処理装置３２４内の処理手順を示すフローチャートである。このフローチャートは、情報処理装置３２４のＣＰＵがＲＡＭを使用しながら術前準備データ生成プログラムとして実行し、図８または図９の機能構成部を実現する。
情報処理装置３２４は、ステップＳ１３０１において、ピンを固定した対象骨および健骨のＣＴ画像を取得する。情報処理装置３２４は、ステップＳ１３０１において、ＣＴ画像データからＳＴＬデータを生成する。図９の情報処理装置３２４Ｂにおいては、ＣＴ画像データを送信しＳＴＬデータを取得する。
情報処理装置３２４は、ステップＳ１３０５において、骨切平面を設定し、その骨切平面で分離される第１対象骨および第２対象骨を参照骨に重ね合わせる位置変換（ＳＴＬデータの座標変換）を行なう。情報処理装置３２４は、ステップＳ１３０７において、手術対象骨と参照骨とがうまく重なり合ったかを判定する。かかる判定は、重ね合わせが情報処理装置３２４の自動処理であれば形状判定により行なわれる。
対象骨と参照骨とが適正に重畳していなければ、情報処理装置３２４は、ステップＳ１３０５に戻って、第１対象骨に対する第２対象骨の回転および移動を繰り返す。対象骨と参照骨とが適正に重畳すれば、情報処理装置３２４は、ステップＳ１３０９において、その位置関係での対象骨、参照骨の３次元データおよびマーカ、骨切平面の位置データを術前準備データＤＢ８１９に記憶する。
《術中画像処理システムにおける情報処理装置の機能構成》
図１４は、本実施形態に係る術中画像処理システム５００におけるタブレット型コンピュータ５０１の機能構成を示すブロック図である。タブレット型コンピュータ５０１の各機能部は、不図示のＣＰＵによりメモリを使用しながらプログラムを実行することにより実現される。なお、本実施形態ではタブレット型コンピュータ５０１を用いているが本発明はこれに限定されるものではなく、ディスプレイとカメラを備えた可搬性の情報処理端末であればよい。また、カメラや表示部／操作部が、情報処理装置と分離して、互いにデータ通信するものであってもよい。
カメラ５１２は、手術室における患者３２２の患部を撮像する。カメラ５１２の撮像範囲には、患者３２２の前腕２１３の手術対象骨の２箇所に固定された、マーカ２２１、２２２が含まれる。マーカ解析部１４１１は、マーカＤＢ１４１２を参照して、カメラ５１２が撮像したマーカの画像から、表示すべき画像の種類、およびその画像を表示すべき位置および向きを解析する。
術前準備データ１４１９は、図８および図９に示した術前準備データＤＢ８１９に格納されたデータと同じものである。例えば、図８および図９に示す情報処理装置３２４から通信によりタブレット型コンピュータ５０１に複製されてもよいし、記憶媒体を介してコピーしてもよい。さらには、タブレット型コンピュータ５０１から直接通信で情報処理装置３２４内の術前準備データＤＢ８１９にアクセスすることにより取得してもよい。
ＣＧ画像生成部１４１４は、マーカ解析部１４１１から取得したマーカの３次元位置および方向と、術前準備データ１４１９に含まれる対象骨および参照骨の３次元データなどに基づいて、表示するＣＧ画像を生成する。ＣＧ画像生成部１４１４は、撮像された第１マーカの位置、大きさおよび向きに基づいて、第１対象骨の３次元データおよび参照骨の３次元データから、第１対象骨の骨画像および参照骨の骨画像を生成する第１骨画像生成手段として機能する。さらに、ＣＧ画像生成部１４１４は、撮像された第２マーカの位置、大きさおよび向きに基づいて、第２対象骨の３次元データから、第２対象骨の骨画像を生成する第２骨画像生成手段としても機能する。
表示画像生成部１４１５は、カメラ５１２が撮像した患者３２２の前腕２１３の患部画像上に、ＣＧ画像生成部１４１４が生成した手術対象骨画像および参照骨画像を重ね合わせて、ディスプレイの表示画像データを生成する。これにより、ディスプレイ５１１には、患部画像上に、対象骨画像および参照骨画像を同時に重ね合わせて表示する。また、観察点を移動した画像表示や複数の観察点からの画像同時表示が可能である。すなわち、表示画像生成部１４１５は、第２対象骨が参照骨に重なるような第１マーカおよび第２マーカの位置を探すため、第１対象骨の骨画像および参照骨の骨画像と、第２対象骨の骨画像とを表示する。この表示において、表示画像生成部１４１５は、第１マーカと第２マーカとの相対位置の変化に応じて第１対象骨の骨画像と第２対象骨の骨画像１との相対位置が変化するように表示する。
（マーカＤＢ）
図１５は、本実施形態に係るマーカＤＢ１４１２の構成を示す図である。マーカＤＢ１４１２は、マーカ解析部１４１１が、カメラ５１２が撮像した画像データからマーカの３次元の位置および向き（すなわち、２本で対のピンの位置および向き）を解析するために使用される。
マーカＤＢ１４１２は、マーカＩＤ１５０１に対応付けて、２次元コードを正面から撮像した場合のマトリクスデータ１５０２を記憶する。ここで、マトリクスデータ１５０２とは、例えば、白黒あるいは色を示す２値または多値ビットデータを２次元座標で配置したものであり、この座標値の変化により３次元位置および方向が認識可能である。なお、２次元コードはこれに限定されない。また、マーカＤＢ１４１２は、マーカを正面から撮像した場合のマーカの形状１５０３と、所定距離におけるマーカの大きさ１５０４とを記憶する。
（マーカ解析テーブル）
図１６Ａは、マーカ解析部１４１１が用いるマーカ解析テーブル１６０１の構成を示す図である。マーカ解析テーブル１６０１は、カメラ５１２が撮像したマーカの画像から、マーカ上の２次元データや、マーカの位置、大きさおよび向き、あるいはマーカ支持器具の３次元データを求めて、対象骨画像や参照骨画像の３次元表示データ生成に使用するテーブルである。
マーカ解析テーブル１６０１は、撮像画像から抽出したマーカの２次元コード枠１６１１と、マーカの２次元コードのマトリクスデータ１６１２と、マトリクスデータ１６１２から判別したマーカＩＤ１６１３とを記憶する。さらに、マーカの位置、大きさおよび向き１６１４と、マーカの位置、大きさおよび向き１６１４から算出したマーカの３次元位置および向き１６１５を記憶する。マーカの３次元位置および向き１６１５に応じて、ディスプレイに表示すべき対象骨の３次元データを表示する位置、大きさおよび向きを決定できる。
（３次元データ生成テーブル）
図１６Ｂは、ＣＧ画像生成部１４１４が用いる術中対象骨位置決めテーブル１６０２、１６０３の構成を示す図である。術中対象骨位置決めテーブル１６０２は、第１対象骨および参照骨ＩＤ１６２１に対応付けて、解析された第１マーカの３次元位置データ１６２２と、術前準備データＤＢ８１９に記憶されている第１マーカの３次元位置データ１６２３とを記憶する。そして、第１マーカの３次元位置データ１６２３を、３次元位置データ１６２２に変換する変換ベクトルを用いて、術前準備データＤＢ８１９に記憶されている第１対象骨の３次元データを座標変換する。その座標変換によって生成された、表示用の第１対象骨の３次元データ１６２４を記憶する。また、同じ変換ベクトルを用いて術前準備データＤＢ８１９に記憶されている参照骨の３次元データを座標変換して、表示用の参照骨の３次元データ１６２５を生成し、記憶する。
術中対象骨位置決めテーブル１６０３は、第２対象骨ＩＤ１６３１に対応付けて、解析された第２マーカの３次元位置データ１６３２と、術前準備データＤＢ８１９に記憶されている第２マーカの３次元位置データ１６３３とを記憶する。そして、第２マーカの３次元位置データ１６３３を３次元位置データ１６３２に変換する変換ベクトルを用いて、術前準備データＤＢ８１９に記憶されている第２対象骨の３次元データを座標変換する。そして、その座標変換によって生成された、表示用の第２対象骨の３次元データ１６３４を記憶する。
《術中画像処理システムにおける情報処理装置の処理手順》
図１７は、本実施形態に係るタブレット型コンピュータ５０１の処理手順を示すフローチャートである。このフローチャートは、タブレット型コンピュータ５０１のＣＰＵがＲＡＭを使用しながら術中画像生成プログラムとして実行し、図１４の機能構成部を実現する。
タブレット型コンピュータ５０１は、ステップＳ１７０１において、患部領域（本例では、前腕部）を撮像して２つのマーカおよび患部画像の画像データを取得する。次に、タブレット型コンピュータ５０１は、ステップＳ１７０３において、患部領域の画像データから２次元コードを含む枠を抽出する。なお、本例では、２次元コードを含む枠は矩形であるが、円や他の形状であっても構わない。そして、タブレット型コンピュータ５０１は、ステップＳ１７０５において、枠内の２次元コードのマトリクスを取得する。
タブレット型コンピュータ５０１は、ステップＳ１７０７において、取得した２次元コードのマトリクスと、マーカＤＢ１４１２に格納された正面からの２次元コードとを対比してマーカを特定する。また、タブレット型コンピュータ５０１は、マーカの位置、大きさおよび向きも考慮してマーカ座標系（３次元空間での位置および向き）を解析する。タブレット型コンピュータ５０１は、ステップＳ１７０９において、解析された各マーカの３次元位置および向きに基づいて、第１対象骨に固定された第１マーカの３次元データおよび第２対象骨に固定された第２マーカの３次元データを算出する。タブレット型コンピュータ５０１は、ステップＳ１７１１において、術前準備データ１４１９として格納された３次元データに基づいて、算出された第１マーカ支持器具の３次元データから表示用の第１対象骨と参照骨との３次元データを算出する。また、タブレット型コンピュータ５０１は、ステップＳ１７１３において、術前準備データＤＢ８１９に格納された３次元データに基づいて、算出された第２マーカ支持器具の３次元データから表示用の第２対象骨の３次元データを算出する。そして、タブレット型コンピュータ５０１は、ステップＳ１７１５において、患部撮像画像と、生成した第１対象骨および参照骨の画像と、生成した第２対象骨の骨画像とを重ねて表示する。
タブレット型コンピュータ５０１は、ステップＳ１７１７において、参照骨画像に生成した第２対象骨画像が重なって適正に重畳しているか否かを判定する。参照骨画像と第２対象骨画像とが適正に重畳していなければ、タブレット型コンピュータ５０１は、ステップＳ１７０１に戻って、手術対象骨の移動に伴う２つのマーカの位置および向きを改めて検出する。参照骨画像と第２対象骨画像とが適正に重畳すれば、処理は終了する。なお、実際には、参照骨画像と第２対象骨画像とが適正に重畳した時点で、２箇所のピンを固定することで、手術対象骨の配置を適切な位置に固定することになる。
本実施形態によれば、手術対象骨の適切な配置を患部の大きな切開なしに確定できるので、最小限の患部切開により手術ができる。また、手術対象骨の適切な配置が術前処理で確定しているので、迅速かつ的確な手術ができる。すなわち、手術時において、正確な手術対象骨の配置、正確な骨切位置の設定、必要な接合骨の作成、および確実な接骨処理を支援することが可能となる。
なお、本実施形態では、図４で説明した方法によりあらかじめ骨切平面４３１を決定し、定めた骨切平面４３１も術中に医師に対して提示して、骨切の正確性を期したが、本発明はこれに限定されるものではない。例えば骨切りに関しては、術中にその面を決定してもよい。その場合、骨切面を挟む２つの骨の相対位置関係を参照骨に正確に合わせることに対してのみＡＲ技術を用いてもよい。その場合、図３Ｂに示したように術前にピンを挿入する必要は無い。すなわち、適当な位置に骨切面を設定した後、図４の画像４０４に示したような理想位置に配置するための、分離した対象骨４４１、４４２の相対移動距離および回転角度のみを記憶すればよい。そのようにすれば、あらかじめピンを挿入した骨のＣＴスキャンする必要はなく、術中に骨切面を挟む適当な位置にピンを挿入してマーカを取り付ければよい。骨切前のピンの相対位置関係を、骨切後に、どのように変化させればいいかが分かっているため、矢印などで骨の目標変位（回転量、回転方向、移動量、および移動方向）を表示して医師に提示すればよい。特に通常の骨折治療の場合、はじめから骨が２つに分離しているため、骨切位置の決定は不要となる。つまり、ＣＴスキャン等で生成した３次元データをそのまま用いて、参照骨と重ね合わせればよい。
また、第４ステージにおいて、対象骨４４２に対して対象骨４４１をどちら方向に何度回転し、何ミリ移動すれば参照骨４１２と重なるかを数値で記憶してもよい。そうすれば、手術時に実際のピン２１１に固定されるマーカ２２１（つまり腕）をどちら方向にどれだけ回転し、どちら方向にどれだけ移動すればよいかを、視覚的に（矢印などの画像で）示すことができる。
［第３実施形態］
次に、本発明の第３実施形態に係る外科手術支援システムについて説明する。本実施形態に係る外科手術支援システムは、上記第２実施形態と比べると、ヘッドマウントディスプレイ(Eye-Trek)を使用することにより患部と表示画面とを重ね合わせて観察できる点で異なる。その他の構成および動作は、第２実施形態または第３実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、両眼式ヘッドマウントディスプレイ１８０１には、ステレオカメラが配備されて３次元撮像が可能である。また、両眼式ヘッドマウントディスプレイ１８０１は両眼式オプティカルシースルー型で、ステレオ３次元表示が可能な例を示す。しかしながら、カメラが１つで２次元表示であってもよい。また、ヘッドマウントディスプレイは片眼式であってもビデオシースルー型であってもよい。
（術中画像処理システムの構成）
図１８は、本実施形態に係る術中画像処理システム１８００の構成を示す図である。なお、図１８において、図５Ａと同様の構成要素には同じ参照番号を付して、説明は省略する。
両眼式ヘッドマウントディスプレイ１８０１は、カメラを備えた表示部を兼ねるメガネである。両眼式ヘッドマウントディスプレイ１８０１により、カメラにより患者３２２の患部領域（本例では、前腕部）のマーカ２２１、２２２を撮像して、対象骨画像と参照骨画像とを表示すると共に、表示部を透過して患者３２２の患部を透視することが可能である。
この両眼式ヘッドマウントディスプレイ１８０１の使用により、患者の患部と、位置合わせのための表示画面とを重ね合わせて観察できることになる。
（情報処理装置の処理）
図１９は、本実施形態に係る術中画像処理システム１８００の情報処理装置１８０２の処理を説明する図である。なお、図１９において、図５Ａと同様の構成要素は、図示および説明を省くか、あるいは、同じ参照番号を付して説明を省略する。
両眼式ヘッドマウントディスプレイ１８０１は、マーカ２２１、２２２を撮像するカメラ１９１１、１９１２と、参照骨画像と対象骨画像とを表示する表示部１９１３と、情報処理装置１８０２と通信する通信部１９１４とを含む。表示部１９１３には、対象骨４４１、４４２および参照骨４１２のＣＧ画像が表示される。また、表示部１９１３は、半透過ディスプレイであるため、破線で示したように患者３２２の患部である前腕２１３を透視して観察できる。なお、図１９には、２つのカメラ１９１１、１９１２を示したが、１つのカメラであってもよい。また、カメラを別途準備してもよい。
なお、図１９の情報処理装置１８０２は、図１４で説明したタブレット型コンピュータ５０１の機能構成からカメラ５１２とディスプレイ５１１とを除いて、通信部１９２１を設けた構成である。したがって、情報処理装置１８０２は、タブレット型コンピュータ５０１と異なり、マーカ２２１、２２２の２次元コードの画像データをカメラ１９１１、１９１２から受信し、準備された参照骨画像と生成した対象骨画像との表示データを表示部１９１３に送信する。
《術中画像処理システムにおける情報処理装置の機能構成》
図２０は、本実施形態に係る術中画像処理システムにおける情報処理装置２１１０の機能構成を示すブロック図である。なお、図２０において、図１４と同様の機能構成部には同じ参照番号を付して、説明を省略する。
通信部１９２１は、カメラ１９１１、１９１２からの画像データの受信、および、両眼式ヘッドマウントディスプレイ１８０１の表示部１９１３（右目部１９１３ａ／左目部１９１３ｂ）への表示画像データの送信を制御する。画像受信部２０１１は、カメラ１９１１、１９１２が撮像した画像の画像データを受信する。
目座標系推定部２０１２は、受信したカメラ１９１１、１９１２の撮像画像データから両眼式ヘッドマウントディスプレイ１８０１を装着した医師の視線や視野に基づく目座標系を推定する。
右眼用ＨＭＤ表示データ生成部２０１６は、目座標系推定部２０１２からの目座標系情報を参照して、３次元カメラ座標系の表示画像データを２次元ＨＭＤスクリーン座標系の右眼用表示データに変換する。また、左眼用ＨＭＤ表示データ生成部２０１７は、目座標系推定部２０１２からの目座標系情報を参照して、３次元カメラ座標系の表示画像データを２次元ＨＭＤスクリーン座標系の左眼用表示データに変換する。変換した２次元ＨＭＤスクリーン座標系の表示データは、３次元対象骨画像および参照骨画像が両眼式ヘッドマウントディスプレイ１８０１の表示部１９１３を透過する患部の前腕２１３と重なるように、表示位置が調整されている。また、観察点を移動した画像表示や複数の観察点からの画像同時表示が可能である。なお、観察点の移動による画像表示の変換は座標系の変換により可能であり、詳細な説明は省略する。画像送信部２０１８は、２次元ＨＭＤスクリーン座標系の表示画像データを、通信部１９２１を介して両眼式ヘッドマウントディスプレイ１８０１の表示部１９１３に送信する。
本実施形態によれば、患者の患部と、位置合わせのための表示画面とを重ね合わせて観察できるので、位置合わせにおける医師の負担を軽減できる。なお、手術室内であるので無線通信による影響を考慮して、メガネと情報処理装置間は有線通信にしてもよい。
［第４実施形態］
次に、本発明の第４実施形態に係る外科手術支援システムについて説明する。本実施形態に係る外科手術支援システムは、上記第２実施形態および第３実施形態と比べると、骨画像の表示画面に手術対象骨と参照骨との重畳程度（マッチング率）および患部を曲げる方向や引っ張る方向や距離などを表示する点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、本実施形態においては、パーセンテージでマッチング率を表示したが、色の違いによる表示や棒グラフの長さなどの他の表示方法であってもよい。
（マッチング率の表示）
図２１は、本実施形態に係る参照骨と手術対象骨とのマッチング率の表示例を示す図である。図２１は、第２実施形態の図５Ｂに示した画像５２２〜５２６に対応している。
表示画面２１０１には、手術対象骨および参照骨の画像に加えて、マッチング率が表示されている。また、表示画面２１０２は、画像５２３〜５２６に加えて、マッチング率が表示されている。なお、マッチング率は、例えば、お互いの３次元骨表面データの距離の平均値あるいは最大値を、所定値で乗算した値が使用できるが、これに限定されない。既存の種々のマッチング率が利用できる。
また、表示画面２１２７には、患部をどのように操作すれば、手術対象骨が参照骨に適正に重畳するかを示す矢印２１８１が表示される。この図の例でいえば、矢印２１８１を参考にして手を曲げることにより、罹患骨の矯正をより容易、迅速かつ確実に行なうことが可能となる。
本実施形態によれば、表示画面上の骨画像同士の重畳具合やマーカやピンの重畳具合を視覚的、感覚的に把握するだけではなく、客観的な数値により判定できるので、対象骨をより適正な位置に配置することができる。なお、あるべきマーカの位置をあらかじめ決定して、手術中に表示し、現実のマーカの位置と、表示されたマーカの位置とのマッチング率を表示してもよい。マッチング率に合わせて音を出してもよい。
［第５実施形態］
次に、本発明の第５実施形態に係る外科手術支援システムについて説明する。本実施形態に係る外科手術支援システムは、上記第２実施形態乃至第４実施形態と比べると、術前準備データ生成時に対象骨に実際のマーカを配置することなく、仮想的な３次元マーカを画面上で生成して、３次元プリンタにより作成する点で異なる。なお、上記実施形態と同様の構成および動作については同じ符号を付してその詳しい説明を省略する。
なお、本実施形態においては、主に肘の人工関節置換術について説明するが、他の術式、例えば変形治癒矯正骨切り術や変形性関節症術などにおいても適用される。
《外科手術支援処理の概要》
図２２Ａおよび図２２Ｂは、本実施形態に係る外科手術支援システム２２００の処理概要を説明する図である。図２２Ａは、人工関節置換術の全体の流れを示す図であり、図２２Ｂは、本実施形態における各処理を具体的に示す図である。なお、図２２Ａおよび図２２Ｂにおいては、肘における上腕骨と尺骨との関節を人工関節に置換する手術について説明する。また、図２２Ａおよび図２２Ｂにおいて、画面は表示部の表示画面である場合も、オプティカルスルーにおける目視が画面と表示画面との重ね合わせである場合も、含んでいる。
（術前準備処理）
本実施形態の人工関節置換術においては、まず術前準備として、患部のＣＴ撮像を行ないＣＴデータに基づきＳＴＬデータを生成する。このＳＴＬデータにより上腕骨と尺骨との画像を表示しながら、仮想的な３次元マーカを生成して上腕骨と尺骨とに配置する。なお、配置位置は、上腕骨と尺骨との人工関節埋込位置の近傍で、形状が特徴的な位置であり３次元マーカのマーカ面が手術中にカメラにより撮像容易な（カメラの視界から消えない）向きが望ましい。なお、図２２Ａの下方に図示したように、カメラにより撮像容易とするため、３次元マーカにおける骨に設置するベースブロック（台）とマーカ面との向きを変更することができる。この時に、骨切りが必要であれば骨切り面、本手術で使用する人工関節のインプラント、そのインプラントを設置するための骨の面（削るため）、あるいは、インプラントを固定するための骨孔、などの位置と方向とが、３次元マーカの位置と向きとが設定され、３次元データにより関連付けて記憶される。
次に、使用するインプラントの準備、および、３次元マーカの３Ｄプリンタによる制作が行なわれる。また、術中の骨切りや骨の面を削るための器具、あるいは、骨孔を開ける器具などが準備される。
（術中処理）
術中には、画面２２１３、２２１４のように、上腕骨用３次元マーカのベースブロックが骨の形状にマッチングするよう設置される。そして、この３次元マーカをカメラで撮像することにより、３次元マーカの位置と向きから上腕骨の位置と向きとを判断し、上腕骨２２１０の骨切り面２２１１を手術対象の上腕骨に重ねて表示しながら、骨切りを実行する。次に、インプラントに合致する形状を有する上腕骨のＳＴＬデータの画像を手術対象の上腕骨に重ねて表示ながら、骨を削る。また、インプラントを固定するための骨孔を手術対象の上腕骨に重ねて表示ながら、骨に孔を開ける。そして、インプラントの上腕骨コンポーネント２２１２を設置する。
同様に、画面２２２３、２２２４、または、画面２２２５、２２２６のように、尺骨用３次元マーカのベースブロックが骨の形状にマッチングするよう設置される。そして、この３次元マーカをカメラで撮像することにより、３次元マーカの位置と向きから上腕骨の位置と向きとを判断し、尺骨２２２０の骨切り面２２２１を手術対象の上腕骨に重ねて表示しながら、骨切りを実行する。次に、インプラントに合致する形状を有する尺骨のＳＴＬデータの画像を手術対象の上腕骨に重ねて表示ながら、骨を削る。また、インプラントを固定するための骨孔を手術対象の上腕骨に重ねて表示ながら、骨に孔を開ける。そして、インプラントの尺骨コンポーネント２２２２を設置する。
このようにして、術中は、３Ｄプリンタで制作した３次元マーカを骨の形状にマッチングするよう設置することで、上記実施形態のような術前および術中においても、患者の手術対象骨に孔を開けてマーカを設置することなしに、手術を行なうことができる。
図２２Ｂは、本実施形態に係る外科手術支援システム２２００の処理概要を説明する図である。図２２Ｂは、人工関節置換術の術中の各処理中の本実施形態における画面を示している。なお、図２２Ｂ中の３次元マーカは同じである。なお、図２２Ｂは、本実施形態の理解のためにその一部を切り出したものであり、これに限定されない。
画面２２３０は、上腕骨の骨切り時の画面である。画面２２３０には、上腕骨に設置した３次元マーカ２２３１、骨切り面２２３２、尺骨のＳＴＬデータの画像２２３３が見えている。画面２２４０は、上腕骨の表面と設置するインプラントをマッチングするために骨の表面を削っている時の画面である。画面２２４０には、３次元マーカ２２４１、骨を削る器具２２４３、器具２２４３の配置面２２４２が見えている。画面２２５０は、上腕骨に配置するインプラントを固定するための骨孔を開けている時の画面である。３次元マーカ２２５１、孔を開ける器具２２５３、骨孔の目標位置画像２２５２が見えている。
画面２２６０は、上腕骨にインプラントを設置する前の画面を示している。画面２２６０には、３次元マーカ２２６１、尺骨のＳＴＬデータの画像２２６２が見えている。画面２２７０は、上腕骨にインプラントを設置している時の画面を示している。画面２２７０には、３次元マーカ２２７１、インプラントの配置画像２２７２、実際のインプラント２２７３が見えている。画面２２８０は、尺骨へのインプラントの設置前の画面を示している。画面２２８０には、３次元マーカ２２８１、上腕骨に設置されたインプラント２２７３、尺骨に配置されるインプラント画像２２８２が見えている。
《外科手術支援処理の処理手順》
図２３は、本実施形態に係る外科手術支援システム２２００の処理手順を示すフローチャートである。
外科手術支援システム２２００は、ステップＳ２３０１において、患者の患部のＣＴ撮影を行なう。外科手術支援システム２２００は、ステップＳ２３０３において、例えばＳＴＬデータなどのより３次元モデル化を行なう。外科手術支援システム２２００は、ステップＳ２３０５において、３次元データを表示しながら、術前のプラニングを行なう。例えば、３次元マーカを画面上で生成して、３次元マーカを制作するデータを生成する。また、３次元マーカと手術対象骨、骨切り面、骨孔、インプラント、などとの３次元座標における関連付けを行なう。外科手術支援システム２２００は、ステップＳ２３０７において、３次元マーカのデータに基づいて、対象骨とマッチングするベースブロックを有する３次元マーカを３Ｄプリンタで制作する。
外科手術支援システム２２００は、ステップＳ２３０９において、術中アプリケーションの処理プログラム、および、上記３次元マーカと関連付けられた各データを入力する。そして、外科手術支援システム２２００は、ステップＳ２３１１において、術中アプリケーションの処理プログラム、および、上記３次元マーカと関連付けられた各データに基づいて、手術支援を実行する。
《術前準備データ生成システムの機能構成》
図２４は、本実施形態に係る術前準備データ生成システム２４００における情報処理装置２４１０の機能構成を示すブロック図である。なお、図２４において、図８と同様の機能構成部には同じ参照番号を付して、説明を省略する。
図２４のように、ＣＴ３２１における患部撮影時には、患者３２２にはマーカが設置されていない。骨画像データ生成部２４１１は、図８の参照骨データ生成部８１６および３次元データ生成部８１７、８１８を含む機能構成部である。３次元マーカデータ生成部２４１２は、表示部／操作部２４１５に入力された３次元マーカ情報に基づいて生成した３次元マーカの３次元データを生成する。人工関節データ生成部２４１３は、表示部／操作部２４１５に入力された人工関節情報に基づいて生成した人工関節の３次元データである。なお、あらかじめ用意された人工関節を使用する場合には、あらかじめＳＴＬデータＤＢ８１４に格納されていてもよい。術前準備データＤＢ２４１９は、３次元マーカの３次元データに関連付けて、手術対象骨や骨切り面、骨孔、人工関節のインプラント、などの３次元データを格納する。
３Ｄプリンタ２４２０は、３次元マーカの３次元データから生成された３Ｄプリンタ用データに基づいて、３次元マーカを制作する。
（３次元術前準備画像ＤＢ）
図２５は、本実施形態に係る術前準備データＤＢ２４１９の構成を示す図である。図２５は、本実施形態に特有の術式でプラニングされる準備データの構成を示している。なお、図２５には、図１１に図示した構成も含まれる。
術前準備データＤＢ２４１９は、患者名２５０１に対応付けて、患部２５０２と、術式２５０３とを記憶する。そして、それぞれの患部２５０２と術式２５０３とに必要なプラニング項目２５０４と、それに必要な３次元データを３次元マーカと関連付けて記憶する。
《術前準備データ生成システムの処理手順》
図２６は、本実施形態に係る術前準備データ生成システム２４００における情報処理装置２４１０の処理手順を示すフローチャートである。このフローチャートは、情報処理装置２４１０のＣＰＵがＲＡＭを使用しながら実行して、図２４の機能構成部を実現する。なお、図２６においても、人工関節置換術の場合を説明するが、他の術式においても適応される。
情報処理装置２４１０は、ステップＳ２６０１において、患者の患部と必要であれば健側骨のＣＴ画像を取得する。情報処理装置２４１０は、ステップＳ２６０３において、ＣＴ画像データからＳＴＬデータを生成する。外部にＳＴＬデータの生成を依頼する場合は、ＳＴＬデータを取得する。情報処理装置２４１０は、ステップＳ２６０５において、術式を判定する。
術式が人工関節置換である場合、情報処理装置２４１０は、ステップＳ２６０７において、インプラント形状および設定位置情報、骨切り面および骨孔の位置情報、３次元マーカ形状および設置位置情報、を取得する。情報処理装置２４１０は、ステップＳ２６０９において、インプラント３次元データ、骨切り面および骨孔の３次元データ、３次元マーカデータ、などをＳＴＬ骨の３次元データに対応付けて生成する。そして、情報処理装置２４１０は、ステップＳ２６１１において、生成した各３次元データを関連付けて術前準備データＤＢ２４１９に格納する。また、情報処理装置２４１０は、ステップＳ２６１３において、インプラントを新たに生成する場合はインプラント３次元データを出力し、また、３Ｄプリンタ用の３次元マーカデータを出力する。
ステップＳ２６０５において他の術式であれば、情報処理装置２４１０は、ステップＳ２６１５において、他の術式における準備の３次元データを３次元マーカに関連付けて生成する（他の術式のデータについては、図２５参照）。
《術中画像処理システムの機能構成》
図２７は、本実施形態に係る術中画像処理システム２７００におけるタブレット型コンピュータ２７１０の機能構成を示すブロック図である。図２７において、図５または図１４と同様の機能構成部には同じ参照番号を付して、説明を省略する。
術前準備データＤＢ２４１９は、図２４に術前準備データ生成システム２４００で生成された同じ準備データを格納する。ＣＧ画像生成部２７１４は、術前準備データＤＢ２４１９から手術対象骨や骨切り面、骨孔などの３次元データを、マーカ解析部１４１１からの３次元マーカの位置と向きに対応して３次元座標変換して、目視の手術部位に重ね合わせるＣＧ画像を生成する。表示画像生成部２７１５は、ＣＧ画像生成部２７１４が生成した画像を、ディスプレイ５１１や外部モニタ２７２０、あるいは、ＨＭＤ２７３０に表示する表示画像に変換する。なお、本実施形態では、オプティカルシースルーのＨＭＤを使用することが望ましい。
《術中画像処理システムの処理手順》
図２８は、本実施形態に係る術中画像処理システム２７００におけるタブレット型コンピュータ２７１０の処理手順を示すフローチャートである。このフローチャートは、図２７のタブレット型コンピュータ２７１０のＣＰＵがＲＡＭを使用しながら実行して、図２７の機能構成部を実現する。なお、図２８においても、人工関節置換術の場合を説明するが、他の術式においても適応される。
タブレット型コンピュータ２７１０は、ステップＳ２８０１において、術式を判定する。術式が人工関節置換の場合、タブレット型コンピュータ２７１０は、ステップＳ２８０３において、上腕骨の肘関節部と、３Ｄプリンタ２４２０で制作され上腕骨に設置された３次元マーカとを撮像する。タブレット型コンピュータ２７１０は、ステップＳ２８０５において、３次元マーカ上の２次元コードを解析して、上腕骨位置と向きとを算出する。そして、タブレット型コンピュータ２７１０は、ステップＳ２８０７において、３次元マーカの位置および方向に対応して、骨切り面、骨孔、人工関節インプラント、各器具の位置および方向、などを手術の進行に伴って肘関節部に重なるように表示する（図２２Ａおよび図２２Ｂ参照）。タブレット型コンピュータ２７１０は、ステップＳ２８０９において、上腕骨の処理が済んだか否かを判定する。処理が済んでない場合は、タブレット型コンピュータ２７１０は、ステップＳ２８０３に戻って、上腕骨の処理を行なう。
タブレット型コンピュータ２７１０は、ステップＳ２８１１において、尺骨の肘関節部と、３Ｄプリンタ２４２０で制作され尺骨に設置された３次元マーカとを撮像する。タブレット型コンピュータ２７１０は、ステップＳ２８１３において、３次元マーカ上の２次元コードを解析して、尺骨位置と向きとを算出する。そして、タブレット型コンピュータ２７１０は、ステップＳ２８１５において、３次元マーカの位置および方向に対応して、骨切り面、骨孔、人工関節インプラント、各器具の位置および方向、などを手術の進行に伴って肘関節部に重なるように表示する（図２２Ａおよび図２２Ｂ参照）。タブレット型コンピュータ２７１０は、ステップＳ２８１７において、尺骨の処理が済んだか否かを判定する。処理が済んでない場合は、タブレット型コンピュータ２７１０は、ステップＳ２８１１に戻って、上腕骨の処理を行なう。
なお、図２８においては、上腕骨の処理後の尺骨の処理を行なうように図示したが、処理が逆であっても同時進行であってもよい。
本実施形態によれば、術中は、３Ｄプリンタで制作した３次元マーカを骨の形状にマッチングするよう設置することで、術前および術中においても、患者の手術対象骨に孔を開けてマーカを設置することなしに、手術を支援ことができる。
［第６実施形態］
次に、本発明の第６実施形態に係る外科手術支援システムについて説明する。本実施形態に係る外科手術支援システムは、上記第２実施形態乃至第５実施形態と比べると、マーカとして対象骨の外科手術を行なう部位の３次元データを使用して、術中画像処理においては深度センサにより対象骨の３次元データを取得する点で異なる。なお、上記実施形態と同様の構成および動作については同じ符号を付してその詳しい説明を省略する。
なお、本実施形態における術前準備データは、手術対象骨の３次元表面画像をマーカとして使用するため別途のマーカ情報を含まない以外は、上記実施形態と類似であるので、説明を省略する。また、以下の実施形態においては、ＨＭＤと深度センサとが一体の場合を説明するが、ＨＭＤと深度センサとが離れている場合には、位置センサ（ＧＰＳなど）や深度センサにマーカを付して位置判定する必要がある。
《術中画像処理システムの機能構成》
図２９は、本実施形態に係る術中画像処理システム２９００における情報処理装置２９１０の機能構成を示すブロック図である。
なお、図２９において、図１４または図１４または図２０と同様の機能構成部には同じ参照番号を付して、説明を省略する。
深度センサ＆ＨＭＤ２９２０は、深度センサとオプティカルシースルーのＨＭＤとを備える。なお、深度センサとＨＭＤとは別であってもよいが、一体であるのが望ましい。深度センサは赤外線プロジェクタ２９２１と赤外線カメラ２９２２とで構成され、術中に手術部位の深度画像（距離画像）を取得する。距離画像は、表面の３次元画像と等価である。
画像受信部２９１１は、深度画像（距離画像）を受信する。骨表面画像照合部２９１２は、深度画像（距離画像）をマーカとして、術前準備データ１４１９の対象骨画像の特徴的な表面画像と照合する。そして、ＣＧ画像生成部１４１４は、骨表面画像照合部２９１２から得た骨表面の照合に必要な位置および向きの変化に対応して、術前準備データ１４１９の３次元データを３次元座標変換して、ＣＧ画像を生成する。
深度センサ＆ＨＭＤ２９２０の表示部２９２３は、右目用ＨＭＤ表示データ生成部２０１６からの表示画像を右目画面２９２３ａに表示し、左目用ＨＭＤ表示データ生成部２０１７からの表示画像を右目画面２９２３ｂに表示する。
このように、本実施形態においては、手術対象骨の表面の３次元画像をマーカとして使用することにより、上記実施形態のように別途にマーカを作成することなしに、手術を支援することができる。
（骨画像照合部のデータテーブル）
図３０は、本実施形態に係る骨画像照合部２９１２において使用されるデータテーブル３０００を示す図である。データテーブル３０００は、深度センサが患者の患部の手術対象骨の表面から取得した深度画像（距離画像）と、術前準備データ１４１９として格納された手術対象骨とを照合して、現在の手術対象骨の位置と向きとを決定する。
データテーブル３０００は、深度センサが取得した深度センサ画像３００１に対応付けて、照合した３次元骨データ３００２と、照合結果から決定された対象骨の実空間位置と向き３００３と、を記憶する。そして、データテーブル３０００は、対象骨の実空間位置と向き３００３に対応して、３次元座標変換した、３次元骨データ３００４と、骨切り面、骨孔、インプラント、各器具の位置と向き、などの３次元データ３００５と、を記憶する。
《術中画像処理システムの処理手順》
図３１は、本実施形態に係る術中画像処理システム２９００における情報処理装置２９１０の処理手順を示すフローチャートである。このフローチャートは、図２９の情報処理装置２９１０のＣＰＵがＲＡＭを使用しながら実行して、図２９の機能構成部を実現する。なお、図２８と同様のステップには同じステップ番号を付して、説明を省略する。また、図３１においても、人工関節置換術の場合を説明するが、他の術式においても適応される。
情報処理装置２９１０は、ステップ３１０３において、上腕骨の肘関節部を深度センサにより撮像する。次に、人工情報処理装置２９１０は、ステップ３１０５において、深度センサ画像の上腕骨表面と格納された上腕骨対応部位の３次元骨データとをマッチングして、上腕骨位置と向きとを算出する。そして、情報処理装置２９１０は、ステップ３１０７において、上腕骨の位置および方向に対応して、骨切り面、骨孔、人工関節インプラント、各器具の位置および方向、などを肘関節部に重なるように表示する。情報処理装置２９１０は、ステップ３１０９において、上腕骨の処理が済んだか否かを判定する。処理が済んでない場合は、情報処理装置２９１０は、ステップＳ３１０３に戻って、上腕骨の処理を行なう。
情報処理装置２９１０は、ステップ３１１１において、尺骨の肘関節部を深度センサにより撮像する。次に、情報処理装置２９１０は、ステップ３１１３において、深度センサ画像の尺骨表面と格納された尺骨対応部位の３次元骨データとをマッチングして、尺骨位置と向きとを算出する。そして、情報処理装置２９１０は、ステップ３１１５において、尺骨の位置および方向に対応して、骨切り面、骨孔、人工関節インプラント、各器具の位置および方向、などを肘関節部に重なるように表示する。情報処理装置２９１０は、ステップ３１１７において、尺骨の処理が済んだか否かを判定する。処理が済んでない場合は、情報処理装置２９１０は、ステップＳ３１１１に戻って、尺骨の処理を行なう。
なお、図３１においては、上腕骨の処理後の尺骨の処理を行なうように図示したが、処理が逆であっても同時進行であってもよい。
本実施形態によれば、手術対象骨の表面の３次元画像をマーカとして使用することにより、上記実施形態のように別途にマーカを作成することなしに、手術を支援することができる。
［他の実施形態］
なお、上記実施形態においては、マーカ用器具を固定した患部を断層撮影し、術前準備画像生成処理において、２つの分かれた手術対象骨である第１対象骨と参照骨の組みを第１マーカに関連付けて記憶し、第２対象骨を第２マーカに関連付けて記憶することにより、術中の手術対象骨の配置の決定を支援した。しかしながら、マーカ用器具の固定は固定位置を正確に決定できる場合には、断層撮影後あるいは術中に行なってもよい。この場合には、術中に、第１対象骨と第１マーカとの関連付け、第２対象骨と第２マーカとの関連付けを行なう。また、第１対象骨と参照骨の組みを第１マーカに関係付けて記憶せずに、術中に、参照骨に第１対象骨および第２対象骨をそれぞれ合致させてもよい。その場合には、例えば、術中に、第１対象骨を参照骨に合致させて、第１対象骨と参照骨の組みを第１マーカに関係付けて記憶してから、第２対象骨を参照骨に合致するように操作してもよい。
また、上記実施形態においては、偽関節手術を例に本発明の外科手術支援システムを説明したが、骨折治療あるいは人工関節置換手術などへ適用され、同様の効果を奏する。また、上記実施形態においては、２つに分かれた手術対象骨の場合を説明したが、３つ以上に分かれた手術対象骨に対してはそれぞれの別れた対象骨にマーカを固定することにより、上記実施形態はそのまま拡張できる。例えば、人工関節置換手術においては、関節両側の２つの骨と人工関節とに３つのマーカを固定することが考えられる。
また、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する外科手術支援プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされる制御プログラム、あるいはその制御プログラムを格納した媒体、その制御プログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させる制御プログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
この出願は、２０１３年６月１１日に出願された日本国特許出願 特願２０１３−１２３２０９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (16)

  1. 外科手術を行なう対象骨の３次元データとマーカの位置データとを関連付けて記憶する記憶手段と、
    前記対象骨のマーカを撮像する撮像手段と、
    前記記憶手段に記憶されたデータを用いて、撮像された前記マーカの位置の変化に応じて前記対象骨の表示を変化させる表示手段と、
    を備え、
    前記記憶手段は、２つに分かれた手術対象骨の一方である第１対象骨の３次元データ、および前記第１対象骨と一部が重なる参照骨の３次元データを、前記第１対象骨に固定される第１マーカの位置データと関連付けて記憶し、前記２つに分かれた手術対象骨の他方である第２対象骨の３次元データを、前記第２対象骨に固定される第２マーカの位置データと関連付けて記憶し、
    前記撮像手段は、前記第１対象骨に固定された前記第１マーカと前記第２対象骨に固定された前記第２マーカとを撮像し、
    前記表示手段は、前記第２対象骨が前記参照骨の一部に重なるように、前記記憶手段に記憶されたデータを用いて、前記第１マーカと前記第２マーカとの相対位置の変化に応じて前記第１対象骨および前記第２対象骨の表示を変化させ、
    前記参照骨の３次元データは、前記手術対象骨と左右対称位置に存在する非罹患骨の鏡像データである、外科手術支援システム。
  2. 前記表示手段は、前記第１マーカと前記第２マーカとの相対位置の変化に応じて、前記第１対象骨の骨画像と前記第２対象骨の骨画像との相対位置が変化するように、前記第１対象骨の骨画像と前記第２対象骨の骨画像と前記参照骨の骨画像を表示する請求項１に記載の外科手術支援システム。
  3. 前記第１対象骨の３次元データ、および前記第１対象骨と一部が重なる前記参照骨の３次元データを、前記第１マーカの位置データに関連付けて、前記記憶手段に記憶し、
    前記第２対象骨の３次元データを、前記第２マーカの位置データに関連付けて、前記記憶手段に記憶する術前準備手段を、さらに備えた請求項１または２に記載の外科手術支援システム。
  4. 前記術前準備手段は、前記第１対象骨および前記第２対象骨を前記参照骨と重ね合わせた状態での、前記第１、第２マーカの支持部材の目標相対位置データを前記記憶手段に記憶し、
    前記表示手段は、前記目標相対位置データに基づいて前記第２マーカの支持部材の目標位置を表示する請求項３に記載の外科手術支援システム。
  5. 前記記憶手段は、前記第１、第２対象骨に前記第１、第２マーカの支持部材が固定された状態で内部撮影することによって取得された前記第１、第２対象骨および前記支持部材の３次元データを記憶し、
    前記記憶手段に記憶された前記第１マーカの支持部材の３次元データに基づいて、該支持部材に取り付けられるべき前記第１マーカの位置データを生成し、前記記憶手段に記憶された前記第２マーカの支持部材の３次元データに基づいて、前記第２マーカの位置データを生成し、それらの位置データを前記記憶手段に記憶する位置データ生成手段をさらに有する請求項１乃至４のいずれか１項に記載の外科手術支援システム。
  6. 前記表示手段は、前記第２対象骨と前記参照骨との重畳の程度をさらに表示する請求項１乃至５のいずれか１項に記載の外科手術支援システム。
  7. 前記撮像手段は、前記手術対象骨を内部に有する患部を撮像し、
    前記表示手段は、前記患部の画像に、前記第１対象骨の骨画像および前記参照骨の骨画像と、前記第２対象骨の骨画像とを重ねて表示する請求項１乃至６のいずれか１項に記載の外科手術支援システム。
  8. 前記表示手段は、ヘッドマウントディスプレイを含む請求項１乃至７のいずれか１項に記載の外科手術支援システム。
  9. 前記ヘッドマウントディスプレイは両眼式ヘッドマウントディスプレイであり、
    前記表示手段は、右眼用表示データと左眼用表示データとを生成して、前記両眼式ヘッドマウントディスプレイに３次元表示を行なう請求項８に記載の外科手術支援システム。
  10. 前記対象骨の特徴部分に設置された３次元のマーカを画面上で仮想的に生成するマーカ生成手段と、
    前記３次元のマーカを作成する３次元プリンタと、
    をさらに備える請求項１に記載の外科手術支援システム。
  11. 前記記憶手段は、前記マーカとして、前記対象骨の外科手術を行なう部位の３次元データを記憶し、
    前記撮像手段は、前記対象骨の外科手術を行なう部位の３次元データを撮像する深度センサである、請求項１に記載の外科手術支援システム。
  12. 請求項１乃至１１のいずれか１項に記載の外科手術支援システムにおいて使用される、前記第１、第２マーカの支持部材としてのピンに対して、前記マーカを固定するために使用される外科手術支援器具。
  13. 外科手術を行なう対象骨の３次元データとマーカの位置データとを関連付けて記憶する記憶手段と、
    前記対象骨のマーカを撮像する撮像手段と、
    前記記憶手段に記憶されたデータを用いて、撮像された前記マーカの位置の変化に応じて前記対象骨の表示を変化させる表示手段と、
    を備え、
    前記記憶手段は、２つに分かれた手術対象骨の一方である第１対象骨の３次元データ、および前記第１対象骨と一部が重なる参照骨の３次元データを、前記第１対象骨に固定される第１マーカの位置データと関連付けて記憶し、前記２つに分かれた手術対象骨の他方である第２対象骨の３次元データを、前記第２対象骨に固定される第２マーカの位置データと関連付けて記憶し、
    前記撮像手段は、前記第１対象骨に固定された前記第１マーカと前記第２対象骨に固定された前記第２マーカとを撮像し、
    前記表示手段は、前記第２対象骨が前記参照骨の一部に重なるように、前記記憶手段に記憶されたデータを用いて、前記第１マーカと前記第２マーカとの相対位置の変化に応じて前記第１対象骨および前記第２対象骨の表示を変化させ、
    前記参照骨の３次元データは、前記手術対象骨と左右対称位置に存在する非罹患骨の鏡像データである、外科手術支援装置。
  14. 外科手術を行なう対象骨の３次元データとマーカの位置データとを関連付けて記憶手段に記憶する記憶ステップと、
    前記対象骨のマーカを撮像する撮像ステップと、
    前記記憶手段に記憶されたデータを用いて、撮像された前記マーカの位置の変化に応じて前記対象骨の表示を変化させる表示ステップと、
    を含み、
    前記記憶ステップにおいては、２つに分かれた手術対象骨の一方である第１対象骨の３次元データ、および前記第１対象骨と一部が重なる参照骨の３次元データを、前記第１対象骨に固定される第１マーカの位置データと関連付けて前記記憶手段に記憶し、前記２つに分かれた手術対象骨の他方である第２対象骨の３次元データを、前記第２対象骨に固定される第２マーカの位置データと関連付けて前記記憶手段に記憶し、
    前記撮像ステップにおいては、前記第１対象骨に固定された前記第１マーカと前記第２対象骨に固定された前記第２マーカとを撮像し、
    前記表示ステップにおいては、前記第２対象骨が前記参照骨の一部に重なるように、前記記憶手段に記憶されたデータを用いて、前記第１マーカと前記第２マーカとの相対位置の変化に応じて前記第１対象骨および前記第２対象骨の表示を変化させ、
    前記参照骨の３次元データは、前記手術対象骨と左右対称位置に存在する非罹患骨の鏡像データである、外科手術支援方法。
  15. 外科手術を行なう対象骨の３次元データとマーカの位置データとを関連付けて記憶手段に記憶する記憶ステップと、
    前記対象骨のマーカを撮像する撮像ステップと、
    前記記憶手段に記憶されたデータを用いて、撮像された前記マーカの位置の変化に応じて前記対象骨の表示を変化させる表示ステップと、
    をコンピュータに実行させる外科手術支援プログラムであって、
    前記記憶ステップにおいては、２つに分かれた手術対象骨の一方である第１対象骨の３次元データ、および前記第１対象骨と一部が重なる参照骨の３次元データを、前記第１対象骨に固定される第１マーカの位置データと関連付けて前記記憶手段に記憶し、前記２つに分かれた手術対象骨の他方である第２対象骨の３次元データを、前記第２対象骨に固定される第２マーカの位置データと関連付けて前記記憶手段に記憶し、
    前記撮像ステップにおいては、前記第１対象骨に固定された前記第１マーカと前記第２対象骨に固定された前記第２マーカとを撮像し、
    前記表示ステップにおいては、前記第２対象骨が前記参照骨の一部に重なるように、前記記憶手段に記憶されたデータを用いて、前記第１マーカと前記第２マーカとの相対位置の変化に応じて前記第１対象骨および前記第２対象骨の表示を変化させ、
    前記参照骨の３次元データは、前記手術対象骨と左右対称位置に存在する非罹患骨の鏡像データである、外科手術支援プログラム。
  16. 外科手術を行なう対象骨の３次元データとマーカの位置データとを関連付けて記憶する記憶手段と、
    撮像手段が撮像した前記対象骨のマーカの画像を前記撮像手段から受信する受信手段と、
    前記記憶手段に記憶されたデータを用いて、撮像された前記マーカの位置の変化に応じて変化する前記対象骨の表示画像を生成する表示画像生成手段と、
    を備え、
    前記記憶手段は、２つに分かれた手術対象骨の一方である第１対象骨の３次元データ、および前記第１対象骨と一部が重なる参照骨の３次元データを、前記第１対象骨に固定される第１マーカの位置データと関連付けて記憶し、前記２つに分かれた手術対象骨の他方である第２対象骨の３次元データを、前記第２対象骨に固定される第２マーカの位置データと関連付けて記憶し、
    前記撮像手段は、前記第１対象骨に固定された前記第１マーカと前記第２対象骨に固定された前記第２マーカとを撮像し、
    前記表示画像生成手段は、前記第２対象骨が前記参照骨の一部に重なるように、前記記憶手段に記憶されたデータを用いて、前記第１マーカと前記第２マーカとの相対位置の変化に応じて前記第１対象骨および前記第２対象骨の表示を変化させる表示画像を生成し、
    前記参照骨の３次元データは、前記手術対象骨と左右対称位置に存在する非罹患骨の鏡像データである、情報処理装置。
JP2015522825A 2013-06-11 2014-06-11 外科手術支援システム、外科手術支援装置、外科手術支援方法、外科手術支援プログラムおよび情報処理装置 Active JP6023324B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013123209 2013-06-11
JP2013123209 2013-06-11
PCT/JP2014/065447 WO2014200016A1 (ja) 2013-06-11 2014-06-11 外科手術支援システム、外科手術支援装置、外科手術支援方法、外科手術支援プログラムおよび情報処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016197895A Division JP6257728B2 (ja) 2013-06-11 2016-10-06 外科手術支援システム、外科手術支援システムの作動方法、情報処理プログラムおよび情報処理装置

Publications (2)

Publication Number Publication Date
JP6023324B2 true JP6023324B2 (ja) 2016-11-09
JPWO2014200016A1 JPWO2014200016A1 (ja) 2017-02-23

Family

ID=52022307

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015522825A Active JP6023324B2 (ja) 2013-06-11 2014-06-11 外科手術支援システム、外科手術支援装置、外科手術支援方法、外科手術支援プログラムおよび情報処理装置
JP2016197895A Active JP6257728B2 (ja) 2013-06-11 2016-10-06 外科手術支援システム、外科手術支援システムの作動方法、情報処理プログラムおよび情報処理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016197895A Active JP6257728B2 (ja) 2013-06-11 2016-10-06 外科手術支援システム、外科手術支援システムの作動方法、情報処理プログラムおよび情報処理装置

Country Status (3)

Country Link
US (1) US10070929B2 (ja)
JP (2) JP6023324B2 (ja)
WO (1) WO2014200016A1 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2534359A (en) * 2015-01-15 2016-07-27 Corin Ltd System and method for patient implant alignment
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US20180140362A1 (en) * 2015-04-07 2018-05-24 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
CN107613897B (zh) * 2015-10-14 2021-12-17 外科手术室公司 扩增实境的外科导航
JP6712453B2 (ja) * 2015-10-16 2020-06-24 富士フイルム株式会社 拡張現実提供システム及び方法、情報処理装置、並びにプログラム
CN109310476B (zh) 2016-03-12 2020-04-03 P·K·朗 用于手术的装置与方法
US10085708B2 (en) * 2016-05-11 2018-10-02 Toshiba Medical Systems Corporation Medical image processing apparatus, medical image diagnostic apparatus, and image processing method
EP3471646B1 (en) * 2016-06-17 2023-07-05 Zimmer, Inc. System for intraoperative surgical planning
JP2019534717A (ja) * 2016-08-16 2019-12-05 インサイト メディカル システムズ インコーポレイテッド 医療処置における感覚増強のためのシステム
WO2018078723A1 (ja) * 2016-10-25 2018-05-03 株式会社 レキシー 手術支援システム
WO2018085694A1 (en) 2016-11-04 2018-05-11 Intuitive Surgical Operations, Inc. Reconfigurable display in computer-assisted tele-operated surgery
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
FR3062297B1 (fr) * 2017-02-01 2022-07-15 Laurent Cazal Procede et dispositif d'assistance a la pose d'une prothese, notamment de hanche, par un chirurgien suivant differents protocoles chirurgicaux
US10010379B1 (en) * 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
CN110621253A (zh) * 2017-03-17 2019-12-27 智能联合外科公司 用于导航手术中的增强现实显示的系统和方法
EP3384832A1 (en) * 2017-04-06 2018-10-10 Koninklijke Philips N.V. Method and apparatus for providing guidance for placement of a wearable device
JP6803826B2 (ja) * 2017-12-01 2020-12-23 パナソニック株式会社 骨接合部品と骨接合部品形成方法
CN112584791A (zh) * 2018-06-19 2021-03-30 托尼尔公司 用于诊断肩部疾患的神经网络
DE102018116558A1 (de) * 2018-07-09 2020-01-09 Aesculap Ag Medizintechnisches Instrumentarium und Verfahren
US11259793B2 (en) 2018-07-16 2022-03-01 Cilag Gmbh International Operative communication of light
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
EP3977196A1 (en) * 2019-05-29 2022-04-06 Stephen B. Murphy Systems and methods for utilizing augmented reality in surgery
US11382712B2 (en) * 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US11284963B2 (en) * 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11237627B2 (en) 2020-01-16 2022-02-01 Novarad Corporation Alignment of medical images in augmented reality displays
JPWO2022045043A1 (ja) * 2020-08-24 2022-03-03
EP4277560A1 (en) * 2021-01-12 2023-11-22 Howmedica Osteonics Corp. Computer-assisted lower-extremity surgical guidance
US11562661B2 (en) * 2021-01-14 2023-01-24 Sheila Hall Absolute teaching device
CN113681895B (zh) * 2021-08-20 2023-03-10 宜宾显微智能科技有限公司 一种导针定位导向板定制及模拟验证系统及其方法
US11948265B2 (en) 2021-11-27 2024-04-02 Novarad Corporation Image data set alignment for an AR headset using anatomic structures and data fitting

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001507614A (ja) * 1997-10-28 2001-06-12 カール−ツアイス−スチフツング 骨セグメントナビゲーションシステム
JP2009172124A (ja) * 2008-01-24 2009-08-06 Osaka Univ 手術ナビゲーションシステム、画像表示方法、コンピュータプログラム及び記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4056791B2 (ja) 2002-05-22 2008-03-05 策雄 米延 骨折整復誘導装置
EP1615577A2 (en) 2003-02-04 2006-01-18 Orthosoft, Inc. Cas modular bone reference assembly and limb position measurement system
AU2005231404B9 (en) * 2004-03-31 2012-04-26 Smith & Nephew, Inc. Methods and apparatuses for providing a reference array input device
JP2008526422A (ja) 2005-01-13 2008-07-24 メイザー サージカル テクノロジーズ リミテッド 鍵穴脳神経外科用画像ガイドロボットシステム
US20060176242A1 (en) 2005-02-08 2006-08-10 Blue Belt Technologies, Inc. Augmented reality device and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001507614A (ja) * 1997-10-28 2001-06-12 カール−ツアイス−スチフツング 骨セグメントナビゲーションシステム
JP2009172124A (ja) * 2008-01-24 2009-08-06 Osaka Univ 手術ナビゲーションシステム、画像表示方法、コンピュータプログラム及び記録媒体

Also Published As

Publication number Publication date
US20160143699A1 (en) 2016-05-26
WO2014200016A1 (ja) 2014-12-18
JP6257728B2 (ja) 2018-01-10
JPWO2014200016A1 (ja) 2017-02-23
US10070929B2 (en) 2018-09-11
JP2017056212A (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
JP6257728B2 (ja) 外科手術支援システム、外科手術支援システムの作動方法、情報処理プログラムおよび情報処理装置
JP6122495B2 (ja) 骨切支援システム、情報処理装置、画像処理方法、および画像処理プログラム
US10258427B2 (en) Mixed reality imaging apparatus and surgical suite
US10939961B2 (en) System and methods for positioning bone cut guide
CN109069208B (zh) 用于无线超声跟踪和通信的超宽带定位
Gsaxner et al. The HoloLens in medicine: A systematic review and taxonomy
JP2019534717A (ja) 医療処置における感覚増強のためのシステム
EP2554103A1 (en) Endoscope observation supporting system and method, and device and programme
TW201717837A (zh) 強化實境之外科導航
KR102105974B1 (ko) 의료 영상 시스템
JP6510301B2 (ja) 医療支援システム、医療支援方法、画像処理装置およびその制御方法と制御プログラム
JP2008188400A (ja) 人工股関節置換術支援補助部材および製造方法
JP5934070B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
KR20190108923A (ko) 증강현실을 이용한 성형외과 진료/수술 지원시스템
Wang et al. Real-time marker-free patient registration and image-based navigation using stereovision for dental surgery
Bruns et al. An image guidance system for positioning robotic cochlear implant insertion tools
WO2023036848A1 (en) Augmented reality surgical navigation system
US20220354579A1 (en) Systems and methods for planning and simulation of minimally invasive therapy
JP2024508126A (ja) 拡張現実を使用して整形外科手術用の脊椎ロッドを提案するための方法およびシステム
US20220361960A1 (en) Tracking surgical pin
JP2022526540A (ja) 整形外科的固定制御及び可視化
CN113081273A (zh) 打孔辅助系统及手术机器人系统
De Leon-Cuevas et al. Tool calibration with an optical tracker for skull milling
JP5383842B2 (ja) 人工股関節置換術支援補助部材の製造方法
CN116019571A (zh) 用于在手术期间定位患者身体并跟踪患者位置的装置和方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161006

R150 Certificate of patent or registration of utility model

Ref document number: 6023324

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250