JP6648883B2 - External force estimation device and method, and computer program - Google Patents
External force estimation device and method, and computer program Download PDFInfo
- Publication number
- JP6648883B2 JP6648883B2 JP2015120581A JP2015120581A JP6648883B2 JP 6648883 B2 JP6648883 B2 JP 6648883B2 JP 2015120581 A JP2015120581 A JP 2015120581A JP 2015120581 A JP2015120581 A JP 2015120581A JP 6648883 B2 JP6648883 B2 JP 6648883B2
- Authority
- JP
- Japan
- Prior art keywords
- external force
- region
- displacement
- elastic body
- estimating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本発明は、外力推定装置及び方法、並びにコンピュータプログラムに関する。 The present invention relates to an external force estimation device and method, and a computer program.
近年、患者への侵襲を少なくし術後のＱＯＬ向上等を図ることを目的として、体に形成した小さな穴から内視鏡カメラや術具等を挿入し、内視鏡カメラで術野を確認しながら術具により手術を行う内視鏡下手術が数多く実施されている。また、最近では、遠隔からの操縦によってロボットに術具を操作させるロボット手術も実施されてきている。 In recent years, with the aim of reducing invasiveness to patients and improving QOL after surgery, insert an endoscope camera or surgical tool from a small hole formed in the body and confirm the surgical field with the endoscope camera Many endoscopic surgeries that perform surgery with surgical tools have been performed. In recent years, robot surgery in which a robot operates a surgical tool by remote control has been performed.
しかし、内視鏡下手術やロボット手術においては、術野が狭いために手術対象となる臓器の全体像を視認することができない。また、ロボット手術においては、鉗子を用いて臓器に力を加えたとしてもその反力が術者へは提示されないので、術者は、狭い術野の中で臓器の変形を確認しながら臓器にかかる力を想像しなければならない。そのため、鉗子から臓器に過剰な力が加わって臓器や血管を傷つけてしまうおそれがあり、術具の操作には熟練した技能が求められる。
このような実情に鑑み、鉗子に加わる力を計測し、手術の技能分析に役立てる研究が行われている（例えば、非特許文献１参照）。
However, in endoscopic surgery and robotic surgery, the entire image of an organ to be operated cannot be visually recognized due to a narrow operation field. Also, in robotic surgery, even if force is applied to the organ using forceps, the reaction force is not presented to the operator, so the operator checks the deformation of the organ in a narrow surgical field and applies it to the organ. We have to imagine that power. For this reason, there is a possibility that excessive force may be applied to the organ from the forceps and the organ or blood vessel may be damaged, and a skilled skill is required for operating the surgical tool.
In view of such circumstances, research has been conducted to measure the force applied to the forceps and use it for analysis of surgical skill (for example, see Non-Patent Document 1).
ロボット手術による術中に、非特許文献１に記載の技術を用いて鉗子に加わる力を計測することができれば、臓器に加わる力を客観的に把握でき、臓器等の損傷を未然に防ぐことができると考えられるが、術野の範囲外で鉗子を操作することは困難であるため、術野の範囲外において臓器にどのような力が加わっているのかを把握することはできない。また、術野の範囲内で鉗子により臓器を引っ張った場合、術野の範囲外で他の組織に繋がった部分にも力が加わると考えられるが、そのような力も当然に把握することができない。 If the force applied to the forceps can be measured using the technology described in Non-Patent Document 1 during the operation by robot surgery, the force applied to the organ can be objectively grasped, and damage to the organ and the like can be prevented before it occurs. However, since it is difficult to operate the forceps outside the operative field, it is impossible to grasp what kind of force is applied to the organ outside the operative field. In addition, when the organ is pulled by the forceps within the operative field, a force is considered to be applied to a portion connected to another tissue outside the operative field, but such a force cannot be naturally grasped. .
そこで、本発明は、弾性体の局所的な変位情報から、弾性体の全体に加わる外力を推定することができる外力推定装置及び方法、並びにコンピュータプログラムを提供することを目的とする。 Accordingly, an object of the present invention is to provide an external force estimation device and method capable of estimating an external force applied to the entire elastic body from local displacement information of the elastic body, and a computer program.
（１） 本発明に係る外力推定装置は、スパース性を有する外力が付与される弾性体における視認可能な第１領域と視認不能な第２領域のうち、前記第１領域の第１変位の情報を取得する取得部と、
前記弾性体を表す所定のメッシュモデルにおいて、前記第１領域の第１変位と、前記第１領域の第１外力及び前記第２領域の第２外力との間に成立する有限要素法の関係式に、ｌ１再構成を適用して最適化問題に変換することにより、前記第１外力及び前記第２外力の双方を推定する推定部と、を備えたものである。
(1) The external force estimating device according to the present invention provides information on the first displacement of the first region among the visible first region and the non-visible second region in the elastic body to which a sparse external force is applied. An acquisition unit for acquiring
In a predetermined mesh model representing the elastic body, a relational expression of a finite element method established between a first displacement of the first region and a first external force of the first region and a second external force of the second region. And an estimator for estimating both the first external force and the second external force by applying an l1 reconstruction to convert the optimization problem into an optimization problem .
上記の本発明は、物体の構造解析等に多用されている有限要素法を用いて、弾性体の変位と弾性体の剛性情報とから弾性体に付与される外力を推定する。本来、有限要素法において、弾性体の全ての要素に付与される外力を取得するには、全ての要素における変位の情報が必要である。しかし、内視鏡下手術やロボット手術等では、術野の範囲外から変位の情報を取得することは困難である。 The present invention estimates the external force applied to the elastic body from the displacement of the elastic body and the rigidity information of the elastic body using a finite element method that is frequently used for structural analysis of the object. Originally, in the finite element method, in order to obtain the external force applied to all the elements of the elastic body, information on the displacement of all the elements is required. However, it is difficult to obtain displacement information from outside the operative field in an endoscopic operation or a robot operation.
本出願の発明者は、手術対象となる臓器等の弾性体に鉗子等の小さな術具によって力を付与すると、術具が直接的に接する部分や、他の組織に繋がる部分において外力が付与され、外力が付与される領域の体積は、弾性体全体の体積よりも十分に小さく、弾性体に付与される外力にはスパース性があることに気づいた。そのため、弾性体の多くの要素に付与される外力をゼロと仮定でき、少ない変位の情報からでも非ゼロの外力を求めることが可能であると考えた。そして、このような考えを実現するため、少ない変位の情報を用いて有限要素法による関係式を構築するとともに、当該関係式にｌ１−再構成を適用し最適化問題に変換するという本発明を完成するに到った。このような発明によって、弾性体の一部の領域の変位の情報から、簡単な計算で弾性体全体の外力を推定することが可能となる。 The inventor of the present application applies force to an elastic body such as an organ to be operated by a small surgical tool such as forceps, and external force is applied to a portion directly contacting the surgical tool or a portion connected to another tissue. It has been found that the volume of the region to which the external force is applied is sufficiently smaller than the volume of the entire elastic body, and that the external force applied to the elastic body has sparseness. Therefore, it was assumed that the external force applied to many elements of the elastic body could be assumed to be zero, and that non-zero external force could be obtained from only a small amount of displacement information. In order to realize such an idea, the present invention is to construct a relational expression by the finite element method using information of a small displacement and apply l 1 -reconstruction to the relational expression to convert it into an optimization problem. Was completed. According to such an invention, it is possible to estimate the external force of the entire elastic body by a simple calculation from the information on the displacement of a part of the elastic body.
（２） 前記推定部は、推定された前記第２外力を用いて、前記第２領域の第２変位を推定することが好ましい。
上記のように推定部は、弾性体の一部の領域である第１領域の変位を用いて、弾性体全体に付与される第１外力及び第２外力を推定するが、その推定された第２外力をさらに用いることによって、前記関係式から弾性体の第２領域の第２変位をも推定することができる。したがって、例えば内視鏡カメラによって視認できない領域も含めて弾性体全体の変位を把握することができる。
(2) the estimation unit uses the estimated second external force, it is preferable to estimate the second displacement of the second region.
As described above, the estimating unit estimates the first external force and the second external force applied to the entire elastic body using the displacement of the first region , which is a partial region of the elastic body . By further using the second external force, the second displacement of the second region of the elastic body can also be estimated from the relational expression. Therefore, for example, it is possible to grasp the displacement of the entire elastic body including the region that cannot be visually recognized by the endoscope camera.
（３） 外力推定装置は、前記弾性体に付与された既知の外力と、前記推定部が推定した前記第１外力との差に基づいて、前記メッシュモデルの剛性情報を修正する修正部を更に備えていることが好ましい。
剛性情報は、例えば弾性体のヤング率やポアソン比等から算出することが可能であるが、弾性体が手術対象となる臓器等の場合には、その臓器から直接的にこれらのパラメータを取得するのは困難であるため、その臓器の標準的な剛性情報を採用することが考えられる。しかしながら、標準的な剛性情報と実際の剛性情報との相違によって、推定部によって推定された外力と実際に付与された外力とにずれが生じるおそれもある。本発明の外力推定装置は、推定部によって推定された外力と、既知の外力とを比較し、両者の差に基づいて剛性情報を修正することで、より正確に外力を推定することが可能となる。
(3) an external force estimation device includes a known external force imparted to the elastic body, wherein the estimator is based on a difference between the first external force estimated, further correcting unit for correcting the stiffness information of the mesh model Preferably, it is provided.
The stiffness information can be calculated, for example, from the Young's modulus or Poisson's ratio of the elastic body, but when the elastic body is an organ to be operated on, the parameters are obtained directly from the organ. Therefore, it is conceivable to employ standard stiffness information of the organ. However, the difference between the standard stiffness information and the actual stiffness information may cause a difference between the external force estimated by the estimating unit and the external force actually applied. The external force estimating device of the present invention compares the external force estimated by the estimating unit with a known external force, and corrects the stiffness information based on a difference between the two, so that the external force can be more accurately estimated. Become.
（４） 本発明の外力推定方法は、コンピュータが、スパース性を有する外力が付与される弾性体における視認可能な第１領域と視認不能な第２領域のうち、前記第１領域の第１変位の情報を取得するステップと、
前記コンピュータが、前記弾性体を表す所定のメッシュモデルにおいて、前記第１領域の第１変位と、前記第１領域の第１外力及び前記第２領域の第２外力との間に成立する有限要素法の関係式に、ｌ１再構成を適用して最適化問題に変換することにより、前記第１外力及び前記第２外力の双方を推定するステップとを含むものである。
(4) In the external force estimation method according to the present invention, the computer may include a first displacement of the first region among the visible first region and the invisible second region in the elastic body to which the sparse external force is applied. Obtaining information on
A finite element that is established between a first displacement of the first region and a first external force of the first region and a second external force of the second region in a predetermined mesh model representing the elastic body; Estimating both the first external force and the second external force by applying an l1 reconstruction to the relational expression of the modulus and converting the same into an optimization problem .
（５） 本発明のコンピュータプログラムは、スパース性を有する外力が付与される弾性体における視認可能な第１領域と視認不能な第２領域のうち、前記第１領域の第１変位の情報を取得する機能、及び、前記弾性体を表す所定のメッシュモデルにおいて、前記第１領域の第１変位と、前記第１領域の第１外力及び前記第２領域の第２外力との間に成立する有限要素法の関係式に、ｌ１再構成を適用して最適化問題に変換することにより、前記第１外力及び前記第２外力の双方を推定する機能を、コンピュータに実現させるものである。 (5) The computer program of the present invention obtains information on the first displacement of the first region among the visible first region and the non-visible second region in the elastic body to which an external force having sparseness is applied. And a predetermined mesh model representing the elastic body , wherein a finite relationship is established between a first displacement of the first region and a first external force of the first region and a second external force of the second region. The function of estimating both the first external force and the second external force is realized by a computer by converting the relational expression of the element method into an optimization problem by applying l1 reconstruction .
本発明によれば、弾性体の一部の領域における変位情報から、弾性体の全体に付与される外力を推定することができる。 According to the present invention, the external force applied to the entire elastic body can be estimated from the displacement information in a part of the elastic body.
＜１．実施形態＞
以下、図面を参照して本発明の実施形態を詳細に説明する。
［外力推定システムの全体構成］
図１は、本発明の実施形態に係る外力推定システムの説明図である。
本実施形態の外力推定システム１０は、弾性体からなる対象物の画像を撮影するカメラ（撮像装置）１１と、カメラ１１により撮影された画像の信号が入力され、所定の処理を行うことによって対象物に付与される外力を推定する外力推定装置１２と、外力推定装置１２の出力結果等を表示する表示装置１３とを備えている。
<1. Embodiment>
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[Overall configuration of external force estimation system]
FIG. 1 is an explanatory diagram of an external force estimation system according to an embodiment of the present invention.
The external force estimating system 10 according to the present embodiment is configured such that a camera (imaging device) 11 that captures an image of an object made of an elastic body, and a signal of an image captured by the camera 11 are input, and a predetermined process is performed. An external force estimating device 12 for estimating an external force applied to an object, and a display device 13 for displaying an output result of the external force estimating device 12 and the like are provided.
この外力推定システム１０は、例えば、内視鏡下手術やロボット手術の支援のために用いることができる。
カメラ１１は、ＣＣＤやＣＭＯＳ等の撮像素子を備えたものであり、内視鏡に取り付けられ、患者の体腔内に挿入されることによって、対象物としての臓器等の術部を撮影する。カメラ１１は、１つであってもよいし、複数であってもよい。
The external force estimation system 10 can be used, for example, for supporting an endoscopic operation or a robot operation.
The camera 11 is provided with an imaging device such as a CCD or a CMOS, and is attached to an endoscope and inserted into a body cavity of a patient to photograph an operation site such as an organ as a target. One or more cameras 11 may be provided.
外力推定装置１２は、カメラ１１によって撮影された術部の画像から対象物に付与される外力を推定するものである。外力の情報として、外力の位置、大きさ、向きが推定される。また、外力推定装置１２は、カメラ１１によって撮影された部分だけでなく撮影されていない部分に付与される外力をも推定する。例えば、図２に示すように、対象物Ｗの一部の領域Ａ１は、カメラ１１の画像から視認できる状態であるが、他の領域Ａ２は、カメラ１１によって撮影されず、視認できない状態にあるものとする。この場合、外力推定装置１２は、視認領域Ａ１に付与される外力Ｆ１だけでなく、非視認領域Ａ２に付与される外力Ｆ２も推定する。推定された外力の情報は、表示装置１３に表示される。 The external force estimating device 12 estimates the external force applied to the object from the image of the operative site captured by the camera 11. As the information on the external force, the position, the magnitude, and the direction of the external force are estimated. Further, the external force estimating device 12 estimates the external force applied not only to the part photographed by the camera 11 but also to the part not photographed. For example, as shown in FIG. 2, a partial area A1 of the target object W is in a state where it can be visually recognized from an image of the camera 11, but the other area A2 is not captured by the camera 11 and thus cannot be visually recognized. Shall be. In this case, the external force estimation device 12 estimates not only the external force F1 applied to the visible area A1, but also the external force F2 applied to the non-visible area A2. Information on the estimated external force is displayed on the display device 13.
なお、手術中、臓器には、鉗子等の小さな術具によって部分的に外力が付与されることが多く、また、術具が直接的に作用する部分以外は、他の組織と繋がっている部分だけに外力が付与されると考えられる。したがって、臓器に対して外力が付与される領域の体積は、臓器全体の体積よりも十分に小さいと考えられ、臓器に付与される外力には「スパース性」があるといえる。外力推定装置１２は、このような外力のスパース性に着目して、臓器の一部の領域の画像から外力を推定するものとなっている。外力推定装置１２の具体的な構成と、外力推定のための処理アルゴリズムについては後述する。 During the operation, an external force is often partially applied to the organ by a small surgical tool such as forceps, and a portion connected to another tissue except for a portion where the surgical tool directly acts. It is considered that an external force is applied only to the sphere. Therefore, the volume of the region where the external force is applied to the organ is considered to be sufficiently smaller than the volume of the entire organ, and it can be said that the external force applied to the organ has "sparseness". The external force estimating device 12 estimates the external force from an image of a partial region of an organ by focusing on the sparseness of the external force. A specific configuration of the external force estimation device 12 and a processing algorithm for external force estimation will be described later.
表示装置１３は、術者又は手術スタッフ（以下、「術者等」ともいう）の視界に配置されたモニター、又は、術者等が装着したヘッドマウントディスプレイ等とすることができる。そのため、術者は、表示装置１３に表示された外力の情報をもとに臓器に付与される外力を客観的に把握することができ、臓器に対して過剰な力を付与しないように配慮して手術を行うことが可能になる。 The display device 13 can be a monitor arranged in the field of view of the surgeon or a surgical staff (hereinafter also referred to as “the surgeon or the like”), or a head-mounted display worn by the surgeon or the like. Therefore, the surgeon can objectively grasp the external force applied to the organ based on the information on the external force displayed on the display device 13, and takes care not to apply excessive force to the organ. It is possible to perform surgery.
図３は、表示装置１３への表示例を示す。対象物を模した図に対して外力が付与されている部分Ｒと外力の大きさを色彩の変化又は濃淡の変化等によって示したものである。対象物の図には、カメラを介して視認できる領域Ａ１と視認できない領域Ａ２とを識別できるように、２つの領域Ａ１，Ａ２が区画線Ｃによって区画されている。このような図を表示装置１３に表示させることによって、術者等は外力が生じている部位と外力の大きさとを一目で把握することができる。 FIG. 3 shows a display example on the display device 13. A portion R to which an external force is applied and the magnitude of the external force are shown by a change in color, a change in shading, or the like with respect to a diagram simulating an object. In the drawing of the object, the two regions A1 and A2 are partitioned by a partition line C so that the region A1 visible through the camera and the region A2 not visible can be distinguished. By displaying such a diagram on the display device 13, the operator or the like can grasp at a glance the site where the external force is generated and the magnitude of the external force.
［外力推定装置の具体的構成］
外力推定装置１２は、例えばパーソナルコンピュータから構成され、ＣＰＵ等の演算部と、ＲＯＭ、ＲＡＭ、ハードディスク等の記憶部と、各種入出力インタフェース等を有している。カメラ１１によって撮影された画像の情報は、入出力インタフェースを介して外力推定装置１２に入力される。そして、外力推定装置１２は、記憶部にインストールされたプログラムを演算部が実行することによって、入力された情報を用いて外力を推定し、推定結果を表示装置１３に表示させる。記憶部には、外力の推定に用いられる種々の情報も記憶されている。
[Specific configuration of external force estimation device]
The external force estimating device 12 is composed of, for example, a personal computer, and has an arithmetic unit such as a CPU, a storage unit such as a ROM, a RAM, a hard disk, and various input / output interfaces. Information on an image captured by the camera 11 is input to the external force estimation device 12 via an input / output interface. Then, the external force estimating device 12 estimates the external force using the input information by causing the arithmetic unit to execute the program installed in the storage unit, and causes the display device 13 to display the estimation result. Various information used for estimating the external force is also stored in the storage unit.
外力推定装置１２は、その機能構成として、カメラ１１から入力された画像情報を処理し、撮影された領域の変位についての情報を取得する取得部２１と、取得部２１において取得された変位についての情報を用いて対象物に付与される外力を推定する推定部２２と、推定部２２の処理に用いられる所定の定数を修正する修正部２３とを有している。 The external force estimating device 12 has, as its functional components, an acquisition unit 21 that processes image information input from the camera 11 and acquires information on displacement of a captured region, and a displacement on the displacement acquired by the acquisition unit 21. An estimating unit 22 for estimating an external force applied to the object using the information, and a correcting unit 23 for correcting a predetermined constant used in the processing of the estimating unit 22 are provided.
取得部２１は、時系列で取得された画像において特徴点の位置を変化を追うことによって変位情報を取得する。この取得部２１における具体的な処理は、従来公知の技術を用いることができる。例えば、手術中に取得したカメラ画像によって弾性体表面の形状変化を追う技術（Nazim Haouchine等、「Image-guided simulation of heterogeneous tissue deformation for augmented reality during hepatic surgery」、Mixed and Augmented Reality(ISMAR), 2013 IEEE International Symposium、(IEEE, 2013)、P199-208.）等を用いることができる。
また、取得部２１は、例えば、術前に撮影されたＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）画像を用いて３次元の初期モデルを生成し、カメラによって撮影された臓器の画像に基づいて初期モデルの形状を順次更新していき、その更新の度に変位を取得する方法を用いてもよい。
The acquisition unit 21 acquires displacement information by following changes in the position of a feature point in an image acquired in time series. For specific processing in the acquisition unit 21, a conventionally known technique can be used. For example, technology to follow the shape change of the elastic body surface by camera images acquired during surgery (Nazim Haouchine et al., `` Image-guided simulation of heterogeneous tissue deformation for augmented reality during hepatic surgery '', Mixed and Augmented Reality (ISMAR), 2013 IEEE International Symposium, (IEEE, 2013), P199-208.) Can be used.
In addition, the acquisition unit 21 generates a three-dimensional initial model using, for example, a CT (Computed Tomography) image captured before surgery, and sequentially shapes the shape of the initial model based on an image of an organ captured by a camera. It is also possible to use a method of updating and acquiring a displacement every time the update is performed.
推定部２２は、取得部２１によって取得された変位の情報に基づいて、弾性体に付与される外力を推定する。以下、推定部２２における具体的な処理アルゴリズムについて説明する。
［推定部２２における処理アルゴリズム］
推定部２２は、有限要素法を用いることによって外力を推定する。有限要素法では、弾性体を多数の要素に分割し、各要素の頂点における変位と外力との関係として、以下の式（１）を用いる。
The estimating unit 22 estimates the external force applied to the elastic body based on the information on the displacement acquired by the acquiring unit 21. Hereinafter, a specific processing algorithm in the estimation unit 22 will be described.
[Processing Algorithm in Estimating Unit 22]
The estimating unit 22 estimates the external force by using the finite element method. In the finite element method, the elastic body is divided into a number of elements, and the following equation (1) is used as the relationship between the displacement at the apex of each element and the external force.
ここで、ｆは、外力ベクトル、Ｋは、剛性マトリクス（剛性情報）、ｕは、変位ベクトルである。剛性マトリクスＫは、弾性体のヤング率、ポアソン比等から求められる定数である。
また、式（１）は、次の式（２）のように変形することができる。
Here, f is an external force vector, K is a rigidity matrix (rigidity information), and u is a displacement vector. The rigidity matrix K is a constant obtained from the Young's modulus, Poisson's ratio, and the like of the elastic body.
Equation (1) can be modified to the following equation (2).
図４に、弾性体を複数の要素に分割したメッシュモデルの一例を示す。この弾性体は立方体形状であり、図４（ａ）は、外力が付与される前の状態、図４（ｂ）は、外力が付与された状態を示す。メッシュモデルの頂点ｔ１（黒い点）は固定点、頂点ｔ２（濃いグレーの点）は自由点、頂点ｔ３（グレーの点）は観測点、頂点ｔ４（薄いグレーの点）は外力が加わる点を示す。頂点ｔ４には、矢印Ｓ１で示すように推定対象となる外力が付与されている。観測点ｔ３は、図２に示すように、外部から視認できる領域Ａ１に配置される頂点に相当する。 FIG. 4 shows an example of a mesh model obtained by dividing an elastic body into a plurality of elements. This elastic body has a cubic shape. FIG. 4A shows a state before external force is applied, and FIG. 4B shows a state where external force is applied. The vertex t1 (black point) of the mesh model is a fixed point, the vertex t2 (dark gray point) is a free point, the vertex t3 (gray point) is an observation point, and the vertex t4 (light gray point) is a point to which an external force is applied. Show. An external force to be estimated is applied to the vertex t4 as indicated by an arrow S1. The observation point t3 corresponds to a vertex arranged in the area A1 that can be visually recognized from the outside, as shown in FIG.
本実施形態では、既知条件として、図４のメッシュモデルの観測点ｔ３における変位ベクトルｕｏと、剛性マトリクスＫとを与え、メッシュモデルの全頂点に加わるスパース性のある外力ベクトルｆを推定する。変位ベクトルｕｏは、外力推定装置１２の取得部２１によって取得される。剛性マトリクスＫは、定数として予め与えられる。 In the present embodiment, as a known condition, a displacement vector u o at the observation point t3 of mesh model of Figure 4, giving a stiffness matrix K, to estimate the external force vector f with sparseness applied to all vertices of the mesh model. The displacement vector uo is obtained by the obtaining unit 21 of the external force estimation device 12. The rigidity matrix K is given in advance as a constant.
メッシュモデルの頂点を、視認できる頂点ｏと視認できない頂点ｉに分類し、マトリクスＬをブロック分割すると、式（２）は、次の式（３）のように表すことができる。 When the vertices of the mesh model are classified into a visible vertex o and a non-visible vertex i, and the matrix L is divided into blocks, Expression (2) can be expressed as Expression (3) below.
ただし、ｕｏ及びｆｏは、視認できる頂点ｏ（観測点ｔ３）における変位ベクトル及び外力ベクトルであり、ｕｉ及びｆｉは、視認できない頂点ｉにおける変位ベクトル及び外力ベクトルである。
そして、視認できる頂点ｏにおける変位ベクトルｕｏが既知量であるため、次の式（４）のように、当該変位ベクトルｕｏのみから外力ベクトルｆｏ、ｆｉを求めることを考える。
However, u o and f o is the displacement vector and the external force vector at the vertex o (observation point t3) that is visible, u i and f i are the displacement vector and the external force vector at vertex i invisible.
Then, since the displacement vector u o at the vertex o that can be visually recognized is a known amount, it is considered that the external force vectors f o and f i are obtained only from the displacement vector u o as in the following Expression (4).
式（４）は、既知量ｕｏの成分数よりも、未知量ｆｏ，ｆｉの成分数の方が多い多元連立一次方程式である。そのため、何らかの拘束条件なしに一意に解くことはできない不良設定問題となる。本実施形態では、式（４）に対してｌ１再構成を適用することによって、外力ベクトルｆの推定を可能にする。なお、ｌ１再構成の一般的な考え方については、後の＜３．ｌ１再構成について＞の項目において述べることとする。 Equation (4) is a multi-element simultaneous linear equation in which the number of components of unknown quantities f o and f i is larger than the number of components of known quantity u o . Therefore, it is a defect setting problem that cannot be solved uniquely without any constraint. In the present embodiment, by applying the l 1 reconstruction for formula (4), which allows the estimation of the external force vector f. Incidentally, l 1 for general idea of reconstruction, after <3. The l 1 reconstruction will be described in the item of>.
まず、外力ベクトルｆの１−ノルムを式（５）のように定義すると、上記の式（４）は、次の式（６）のような最適化問題を解くことになる。 First, if the 1-norm of the external force vector f is defined as in equation (5), equation (4) solves an optimization problem as in equation (6) below.
そして、上記最適化問題は、以下のような線形計画問題として記述することができる。
具体的には、式（６）は、ｆのｉ番目の要素ｆｉについて、非負整数ｆ＋ ｉ，ｆ− ｉを用いると、式（７）のように記述することができる。
The optimization problem can be described as a linear programming problem as follows.
Specifically, equation (6), for i th element f i of f, non-negative integer f + i, f - the use of i, can be written as equation (7).
そして、ｆ＝ｆ＋−ｆ−より、次の式（８）を得ることができる。 Then, from f = f + −f − , the following equation (8) can be obtained.
なお、式（７）及び式（８）を導出する詳細な手順は、後述の＜３．ｌ１再構成について＞の項目において説明する。 The detailed procedure for deriving the equations (7) and (8) is described in <3. The l 1 reconstruction will be described in the item of>.
推定部２２は、上記のような線形計画問題を公知の解法を用いて解き、外力ベクトルｆを推定する。公知の解法として、例えばシンプレックス法又は内点法を採用することができる。推定された外力は、図３に示すように図式化され、表示装置１３に表示される。 The estimating unit 22 solves the above linear programming problem using a known solution, and estimates the external force vector f. As a known solution, for example, the simplex method or the interior point method can be adopted. The estimated external force is schematized as shown in FIG. 3 and displayed on the display device 13.
また、推定部２２は、推定された外力ベクトルｆを用いることによって、視認できない頂点における変位ベクトルｕｉを上記の式（２）により求める。これにより、既知量である変位ベクトルｕｏに加え、未知量である変位ベクトルｕｉをも求めることができ、弾性体全体の外力だけでなく、変位の状態をも把握することができる。 Further, the estimating unit 22, by using the estimated external force vector f, and displacement vector u i at the vertex invisible determined by the above equation (2). Accordingly, in addition to the displacement vector u o which is a known amount, the displacement vector u i which is an unknown amount can be obtained, and not only the external force of the entire elastic body but also the state of the displacement can be grasped.
外力推定装置１２の修正部２３は、定数である剛性マトリクスＫを適正なかたちに修正するものである。体内の臓器を手術するような場合、その臓器自体の剛性マトリクスＫを直接的に求めることは困難であるため、外力推定装置１２の推定部２２は、臓器の標準的な剛性マトリクスを用いる。しかしながら、標準的な剛性マトリクスと、実際の臓器の剛性マトリクスとは厳密に一致しないので、推定される外力ベクトルｆや変位ベクトルｕｉが実際の外力や変位から若干ずれる可能性がある。 The correction unit 23 of the external force estimation device 12 corrects the rigidity matrix K, which is a constant, to an appropriate form. It is difficult to directly obtain the stiffness matrix K of the organ itself when performing an operation on an organ in the body. Therefore, the estimating unit 22 of the external force estimating device 12 uses a standard stiffness matrix of the organ. However, a standard stiffness matrix, does not exactly match the actual stiffness matrix of an organ, may deviate slightly from the estimated external force vector f and the displacement vector u i is the actual external force or displacement.
このような問題を解決するため、修正部２３は、例えば、手術前に臓器に既知の外力を付与し、その外力による変位ｕｏをカメラ１１の画像から取得し、この変位ｕｏを用いて上記の式（１）〜（８）を用いて外力ベクトルｆを推定する。そして、次の式（９）を用いることによって、既知の外力ｆ’と、推定された外力ベクトルｆ（＝Ｋｕ）と差分を最小化するようなＫの値を求める。これにより、実際の対象物により適した剛性マトリクスＫを求めることができ、より正確な外力及び未知の変位の推定が可能となる。 To solve this problem, the correction unit 23 is, for example, a known external force imparted to the organ before surgery to obtain the displacement u o due to the external force from the image of the camera 11, by using the displacement u o The external force vector f is estimated using the above equations (1) to (8). Then, by using the following expression (9), a value of K that minimizes the difference between the known external force f ′ and the estimated external force vector f (= Ku) is obtained. As a result, a stiffness matrix K more suitable for an actual object can be obtained, and more accurate external force and unknown displacement can be estimated.
以上、説明したように、本実施形態の外力推定装置においては、弾性体にスパースな外力が付与される場合に、有限要素法の関係式にｌ１再構成を適用し、最適化問題（線形計画問題）に変換することで、弾性体の一部の領域における変位を用いて、弾性体全体の外力を推定する。
したがって、内視鏡下手術やロボット手術において、狭い術野内で臓器の一部しか視認することができず、その一部の変位しか取得できない場合であっても、視認できる臓器の一部に加え、視認できない臓器の他の部分についても外力を推定することができる。そのため、鉗子等の術具によって臓器に力を付与する場合に、視認できる部分だけでなく視認できない部分においても損傷が生じないように配慮して手術を行うことができる。
As described above, in the external force estimating apparatus of the present embodiment, when a sparse external force is applied to an elastic body, the l 1 reconstruction is applied to the finite element method relational expression, and the optimization problem (linear By transforming the elastic force into a planning problem, the external force of the entire elastic body is estimated using the displacement in a part of the elastic body.
Therefore, in endoscopic surgery and robotic surgery, even when only a part of an organ can be viewed in a narrow surgical field and only a part of the displacement can be obtained, in addition to the part of the visible organ, The external force can be estimated for other parts of the organ that cannot be visually recognized. Therefore, when a force is applied to an organ with a surgical tool such as forceps, it is possible to perform an operation not only in a visible portion but also in a portion that is not visible so as not to cause damage.
［変形例］
本発明の外力推定装置は、上述したように、内視鏡下手術やロボット手術において手術対象となる臓器等の外力を推定するために好適に利用することができるが、これに限定されるものではなく、あらゆる物体に付与される外力を推定するために好適に利用することができる。
例えば、本発明は、木造やコンクリート造等の構造物や建築物に対して付与されるスパースな外力を推定するために用いることができる。この場合、視認できない部分の外力を推定することで、構造物等の破損、倒壊等を予測することが可能となる。また、地質等、表面しか観測できないような対象物において、内部に付与される外力を推定することができる。また、本発明は、生体の細胞等のような微小な物体にも適用することができる。
また、対象物の画像を撮影する撮像装置は、上述したようなカメラに限らず、対象物の一部を画像化できるものであれば特に限定されない。例えば、手術中であっても撮影が可能な、超音波検査装置、Ｘ線撮影装置、ＣＴ撮影装置、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）撮影装置等を採用することもできる。また、対象物が構造物や建築物の場合には、レンジセンサ（デプスセンサ）を採用することもできる。
もっとも、特許請求の範囲に記載の「弾性体」には、上記の木造やコンクリート造等の構造物や建築物は含まれない。
[Modification]
As described above, the external force estimating device of the present invention can be suitably used for estimating external force of an organ or the like to be operated in endoscopic surgery or robotic surgery, but is not limited thereto. Instead, it can be suitably used for estimating an external force applied to any object.
For example, the present invention can be used for estimating a sparse external force applied to a structure such as a wooden structure or a concrete structure or a building. In this case, by estimating the external force of the part that cannot be visually recognized, it is possible to predict damage, collapse, and the like of the structure and the like. In addition, it is possible to estimate the external force applied to the inside of an object such as the geology that can only be observed on the surface. Further, the present invention can be applied to a minute object such as a cell of a living body.
Further, the imaging device that captures an image of the target object is not limited to the camera as described above, and is not particularly limited as long as it can image a part of the target object. For example, an ultrasonic inspection apparatus, an X-ray imaging apparatus, a CT imaging apparatus, an MRI (Magnetic Resonance Imaging) imaging apparatus, etc., which can perform imaging even during surgery, can be adopted. When the object is a structure or a building, a range sensor (depth sensor) can be employed.
However, the "elastic body" described in the claims does not include the above-mentioned structures and buildings such as wooden structures and concrete structures.
＜２．評価実験＞
本出願の発明者は、上記において説明した処理アルゴリズムの有効性を確認するため、評価実験を行った。この評価実験では、対象物として、図５に示すような肝臓のメッシュモデルを用いた。図５において、領域ｒ１内の頂点ｔ１は固定点であり、その他の頂点ｔ２は自由点である。固定点ｔ１は、肝臓に下大動脈が接続されていることを想定して設定している。このメッシュモデルは、固定点ｔ１を除いて表面に１７８個、内部に８５個の頂点があり、合計２６３個の頂点を有する。図５には、３次元の座標系も併せて示す。
<2. Evaluation experiment>
The inventor of the present application performed an evaluation experiment in order to confirm the effectiveness of the processing algorithm described above. In this evaluation experiment, a liver mesh model as shown in FIG. 5 was used as a target. In FIG. 5, the vertex t1 in the region r1 is a fixed point, and the other vertices t2 are free points. The fixed point t1 is set on the assumption that the lower aorta is connected to the liver. This mesh model has 178 vertices on the surface and 85 vertices inside, excluding the fixed point t1, and has a total of 263 vertices. FIG. 5 also shows a three-dimensional coordinate system.
第１の評価実験として、図６（ａ）に示すように、メッシュモデルの視認できる１つの領域に、鉗子で引っ張り力を与えた場合を想定して−ｚ方向に外力を加えた。具体的には、領域ｒ４内の９個の頂点ｔ４に外力を加えた。その外力を矢印Ｓ１で示す。
また、第２の評価実験として、図６（ｂ）に示すように、メッシュモデルの視認できる１つの領域に、鉗子で引っ張り力を与えた場合を想定して−ｚ方向の外力を加え、それによって、視認できない他の領域にも外力が加わったと想定して、＋ｘ方向に外力を加えた。これらの外力を矢印Ｓ１で示す。−ｚ方向の外力は領域ｒ４内の９個の頂点ｔ４に加え、＋ｘ方向の外力は領域ｒ５内の７個の頂点ｔ５に加えた。
As a first evaluation experiment, as shown in FIG. 6A, an external force was applied to one visible region of the mesh model in the −z direction on the assumption that a pulling force was applied by forceps. Specifically, an external force was applied to nine vertices t4 in the region r4. The external force is indicated by an arrow S1.
As a second evaluation experiment, as shown in FIG. 6B, an external force in the −z direction was applied to one visible region of the mesh model by applying a pulling force with forceps. As a result, an external force was applied in the + x direction, assuming that an external force was applied to other invisible areas. These external forces are indicated by arrows S1. The external force in the −z direction was applied to nine vertices t4 in the region r4, and the external force in the + x direction was applied to seven vertices t5 in the region r5.
そして、第１，第２の評価実験の双方とも、視認できる領域において頂点の変位を取得し、その変位から対象物全体の外力を推定した。そして、推定された外力と、実際に与えた外力とを比較し、推定精度を評価した。 In each of the first and second evaluation experiments, the displacement of the vertex was obtained in the visible region, and the external force of the entire object was estimated from the displacement. Then, the estimated external force was compared with the actually applied external force, and the estimation accuracy was evaluated.
図７は、第１の評価実験における推定結果の１例を示す図である。図７には、実際に加えた外力を黒い矢印Ｓ１で示し、推定された外力をグレーの矢印Ｓ２で示している。この推定結果は、固定点ｔ１を除くメッシュモデルの２６３頂点のうち、ｚ座標の小さい頂点から順に５３点（領域ｒ３内の頂点ｔ３）を観測した例を示す。 FIG. 7 is a diagram illustrating an example of an estimation result in the first evaluation experiment. In FIG. 7, the external force actually applied is indicated by a black arrow S1, and the estimated external force is indicated by a gray arrow S2. This estimation result shows an example of observing 53 points (vertices t3 in the region r3) in order from the vertex with the smallest z coordinate among the 263 vertices of the mesh model excluding the fixed point t1.
図７（ｂ）は、図７（ａ）のＡ部を拡大したものである。図７（ｂ）から明らかなように、推定された外力Ｓ２と、実際に加えた外力Ｓ１とは、概ね一致していることがわかる。
また、９個の頂点に実際に加えた外力の大きさは５Ｎであったのに対して、その頂点において推定された外力の大きさは、３．７〜６．３Ｎであった。それ以外の頂点の外力は、これよりも１０〜１０２のオーダーで小さい値であった。よって、実際に外力を加えた頂点について、実際に近い大きさの外力を高精度に推定することができた。
FIG. 7B is an enlarged view of a portion A in FIG. 7A. As is clear from FIG. 7B, the estimated external force S2 and the actually applied external force S1 substantially match.
The magnitude of the external force actually applied to the nine vertexes was 5N, whereas the magnitude of the external force estimated at the vertices was 3.7 to 6.3N. External force other vertices of was smaller in 10 to 10 2 orders than this. Therefore, an external force having a magnitude close to the actual value can be estimated with high accuracy at the vertex to which the external force is actually applied.
図８は、第２の評価実験における推定結果の１例を示す図である。図８には、実際に加えた外力を黒い矢印Ｓ１で示し、推定された外力をグレーの矢印Ｓ２で示している。この推定結果は、固定点ｔ１を除くメッシュモデルの２６３頂点のうち、ｚ座標の小さい頂点から順に７９点（領域ｒ３内の頂点ｔ３）を観測した例を示す。 FIG. 8 is a diagram illustrating an example of an estimation result in the second evaluation experiment. In FIG. 8, the external force actually applied is indicated by a black arrow S1, and the estimated external force is indicated by a gray arrow S2. This estimation result shows an example in which 79 points (vertices t3 in the region r3) are observed in order from the vertex having the smallest z coordinate among the 263 vertices of the mesh model excluding the fixed point t1.
図８（ｂ）（ｃ）は、それぞれ図８（ａ）のＢ部及びＣ部を拡大したものである。図８（ｂ）（ｃ）から明らかなように、推定された外力Ｓ２と、実際に加えた外力Ｓ１とは、概ね一致していることがわかる。
また、１６個の頂点に実際に加えた外力の大きさは５Ｎであったのに対して、その頂点において推定された外力の大きさは、３．９〜５．３Ｎであった。それ以外の頂点で推定された外力は、これよりも１０〜１０２のオーダーで小さい値であった。よって、実際に外力を加えた頂点について、実際に近い大きさの外力を高精度に推定することができた。
FIGS. 8B and 8C are enlarged views of the portions B and C in FIG. 8A, respectively. As is clear from FIGS. 8B and 8C, it is understood that the estimated external force S2 and the actually applied external force S1 substantially match.
The magnitude of the external force actually applied to the 16 vertices was 5N, whereas the magnitude of the external force estimated at the vertices was 3.9 to 5.3N. External force estimated by the other vertices of was smaller in 10 to 10 2 orders than this. Therefore, an external force having a magnitude close to the actual value can be estimated with high accuracy at the vertex to which the external force is actually applied.
図９（ａ）は、第１の評価実験でメッシュモデルの表面のみを観測した場合について、表面の頂点１７８点のうち、観測点をｚ座標の小さいものから順に９点〜１７８点まで増加させた場合の推定誤差を示している。観測点を９点以上としたのは、外力を加えた点数以上とするためである。
同様に、図９（ｂ）は、第１の評価実験でメッシュモデルの内部も含めて観測した場合について、表面及び内部の頂点２６３点のうち、観測点をｚ座標の小さいものから順に９点〜２３４点まで増加させた場合の推定誤差を示している。
FIG. 9A shows that, when only the surface of the mesh model is observed in the first evaluation experiment, among the 178 vertices of the surface, the number of observation points is increased from 9 to 178 in ascending order of z coordinates. It shows the estimation error in the case of the above. The reason why the number of observation points is set to 9 or more is to set the number of observation points to be equal to or more than the number of points to which external force is applied.
Similarly, FIG. 9B shows nine observation points among the 263 vertices on the surface and the interior in the case where the observation was performed in the first evaluation experiment including the inside of the mesh model in the order from the smallest z coordinate. It shows the estimation error when the number is increased up to 234 points.
ここで用いる推定誤差は、与えた外力と推定外力との差の二乗平均平方根（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ；以下、「ＲＭＳ」という）とし、次の式（１０）により求めた。 The estimation error used here was a root mean square (RMS) of the difference between the applied external force and the estimated external force, and was obtained by the following equation (10).
ｆｘｉ，ｆｙｉ，ｆｚｉは、実際に加えた外力ｆの第ｉ要素ｆｉについてのｘｙｚ成分である。ｆ’ｘｉ，ｆ’ｙｉ，ｆ’ｚｉは、推定された外力ｆ’の第ｉ要素ｆ’ｉについてのｘｙｚ成分である。
Ｎは、観測する頂点をメッシュモデルの表面のみとした場合、メッシュモデルの全頂点のうち、固定点と内部の点を除いた頂点の数であり、観測する頂点にメッシュモデルの内部を含めた場合、メッシュモデルの全頂点のうち、固定点を除いた頂点の数である。
f xi , f yi , and f zi are xyz components of the i- th element fi of the external force f actually applied. f ′ xi , f ′ yi , and f ′ zi are xyz components of the estimated external force f ′ with respect to the ith element f ′ i .
N is the number of vertices, excluding fixed points and internal points, out of all vertices of the mesh model when the observed vertices are only the surface of the mesh model. In this case, it is the number of vertices excluding fixed points among all vertices of the mesh model.
ＲＭＳは、加えた外力と推定された外力の要素の相違が生じている場合や、加えた外力ｆと推定された外力ｆ’のｘｙｚ成分ごとの大きさのずれが生じている場合に、増加する。言い換えると、正しく推定されるほど、ＲＭＳの値は小さくなる。 The RMS increases when a difference between the applied external force and the estimated external force element occurs, or when a difference occurs between the applied external force f and the estimated external force f ′ for each xyz component. I do. In other words, the more correctly estimated, the smaller the value of RMS.
図９（ａ）（ｂ）に示すように、観測する頂点数に関わらず、ほぼＲＭＳは１以下の値となった。また、観測する頂点数が多くなるほど推定誤差ＲＭＳが小さくなることが分かる。 As shown in FIGS. 9A and 9B, the RMS was almost equal to or less than 1 regardless of the number of vertices to be observed. Also, it can be seen that the estimation error RMS decreases as the number of vertices to be observed increases.
図１０（ａ）は、第２の評価実験でメッシュモデルの表面のみを観測した場合について、表面の頂点１７８点のうち、観測点をｚ座標の小さいものから順に１６点〜１７８点まで増加させた場合の推定誤差を示している。観測点を１６点以上としたのは、外力を加えた点数以上とするためである。 FIG. 10A shows that, when only the surface of the mesh model is observed in the second evaluation experiment, among the 178 vertices of the surface, the observation points are increased from 16 points to 178 points in ascending order of the z coordinate. It shows the estimation error in the case of the above. The reason why the number of observation points is 16 or more is that the number of observation points is equal to or more than the number of points to which external force is applied.
同様に、図１０（ｂ）は、第２の評価実験でメッシュモデルの内部も含めて観測した場合について、表面及び内部の頂点２６３点のうち、観測点をｚ座標の小さいものから順に１６点〜２３４点まで増加させた場合の推定誤差を示している。 Similarly, FIG. 10 (b) shows, in the case of observation including the inside of the mesh model in the second evaluation experiment, among the 263 vertices on the surface and the inside, 16 observation points are arranged in ascending order of the z coordinate. It shows the estimation error when the number is increased up to 234 points.
図１０（ａ）（ｂ）に示すように、観測する頂点数に関わらず、ほぼＲＭＳは１以下の値となった。また、図１０（ａ）に示すように、観測する頂点数が多くなるほど、概ね推定誤差ＲＭＳが小さくなることが分かる。特に、観測点が５８点（３３％）以上の場合、ＲＭＳは安定して小さい値をとっていることが分かる。 As shown in FIGS. 10A and 10B, the RMS was almost 1 or less regardless of the number of observed vertices. Also, as shown in FIG. 10A, it can be seen that the estimation error RMS generally decreases as the number of vertices to be observed increases. In particular, when the number of observation points is 58 or more (33%), it can be seen that the RMS has a stable and small value.
＜３．ｌ１再構成について＞
最後に、有限要素法による関係式から最適化問題に変換するために適用したｌ１再構成について説明する。
ｌ１再構成は、従来より圧縮センシングの手法として適用されている。画像、音、声、動画などのデータは概してサイズが大きいため、保存の際に圧縮されることが多い。このようなデータ圧縮では、通常、大規模データがもつ冗長さを利用するが、この冗長さを見つけるためには、一旦、原データを保存する必要があり、大規模な記憶装置および多大な計測時間が必要となる。また、取得したデータの冗長な部分は、圧縮に際して失われるだけであるため、データを予め圧縮したかたちで取得し、それを原データと同質に復元することができれば、記憶容量やデータ取得の時間の削減に繋がり、より効率的である。
<3. For l 1 reconstruction>
Finally, it will be described the applied l 1 reconstructed to convert the optimization problem from the equation by a finite element method.
The l 1 reconstruction has been conventionally applied as a technique of compressed sensing. Since data such as images, sounds, voices, and moving images are generally large in size, they are often compressed during storage. Such data compression usually utilizes the redundancy of large-scale data, but in order to find this redundancy, it is necessary to temporarily store the original data. It takes time. In addition, since the redundant part of the acquired data is only lost during compression, if the data is acquired in a pre-compressed form and can be restored to the same quality as the original data, the storage capacity and the time of data acquisition It is more efficient, leading to a reduction in the cost.
圧縮センシングの基本的な問題設定を考えるにあたって、以下の式（１１）のような多元連立一次方程式を考える。 In considering a basic problem setting of the compressed sensing, a multiple simultaneous linear equation such as the following equation (11) is considered.
ただし、ｙ１・・・ｙＭは観測情報、ｘ１・・・ｘＮは推定対象となる原情報である。式（１１）は、Ｎ＞Ｍであれば何らかの拘束なしには解を一意に得ることはできない。しかし、原情報ベクトルｘが多くのゼロ成分をもつ「スパース」なベクトルであると仮定すると、実質的に非ゼロ成分数だけ観測値ｙがあればｘを推定することができる。例えば、式（１１）において、Ｎ＝７，Ｍ＝３とした場合、ｘ１〜ｘ７のうち、ｘ２＝ｘ３＝ｘ４＝ｘ６＝ｘ７＝０であったとすると、式（１１）は以下の式（１２）のように書き変えることができる。 Here, y 1 ... Y M is observation information, and x 1 ... X N are original information to be estimated. In the equation (11), if N> M, a solution cannot be uniquely obtained without any constraint. However, assuming that the original information vector x is a "sparse" vector having many zero components, x can be estimated if there are substantially non-zero components of observed values y. For example, in the formula (11), when the N = 7, M = 3, of the x 1 ~x 7, assuming that a x 2 = x 3 = x 4 = x 6 = x 7 = 0, the formula ( 11) can be rewritten as the following equation (12).
式（１２）では，ｘの非ゼロ成分数２だけ観測値（例えばｙ１，ｙ２）があればｘを推定することができる。つまり、元の測定情報ｙは３成分あったが、ｘの非ゼロ成分の数、すなわち２成分にまで圧縮して観測すればよいことになる。
Ｍ×Ｎセンシング行列Ａと、Ｍ次元測定値ベクトルｙが与えられたとき、線形方程式 ｙ＝Ａｘ を満たすＮ次元ベクトルｘを求めるような問題において、ｘのスパース性を仮定できるとき、復元に際して測定値数Ｍ（＜Ｎ）をどの程度まで小さくできるかという点が圧縮センシングの基本的な問題設定となる。
In equation (12), x can be estimated if there are observation values (for example, y 1 , y 2 ) for the number of non-zero components of x. In other words, although the original measurement information y has three components, it can be observed by compressing to the number of non-zero components of x, that is, two components.
Given an M × N sensing matrix A and an M-dimensional measurement value vector y, in a problem such as finding an N-dimensional vector x that satisfies the linear equation y = Ax, when it is possible to assume the sparsity of x, To what extent the number of values M (<N) can be reduced is a basic problem setting of the compressed sensing.
ｘを求めるにあたり、まず以下のようなｌ０再構成を考える。ベクトルｘの０−ノルムをｘの非ゼロ要素の個数と定義すると、式（１３）のように、線形制約 ｙ＝Ａｘ のもとで０−ノルムを最小化することによってｘの推定値を得るという推定法が考えられ、これがｌ０再構成と呼ばれる。 Upon obtaining the x, first consider the l 0 reconfiguration as follows. When the 0-norm of the vector x is defined as the number of non-zero elements of x, an estimated value of x is obtained by minimizing the 0-norm under the linear constraint y = Ax as in Expression (13). estimation of is considered, this is referred to as l 0 reconfiguration.
しかし、ｌ０再構成は各要素を非ゼロか否か調べることになるため，一般に組合せ最適化問題となり、ＮＰ困難である。したがって、計算時間がＮに関して指数関数的に増大するという欠点がある。 However, l 0 reconstruction to become examining nonzero whether each element generally becomes a combinatorial optimization problem is NP-hard. Therefore, there is a disadvantage that the calculation time increases exponentially with respect to N.
そこで、次のように０−ノルムから１−ノルムへ問題を緩和して考え、ベクトルｘの１−ノルムを式（１４）のように定義すると、式（１５）のような最適化問題とみなすことができる。これをｌ１再構成と呼ぶ。 Therefore, if the problem is relaxed from 0-norm to 1-norm as follows, and the 1-norm of the vector x is defined as in Expression (14), it is regarded as an optimization problem as in Expression (15). be able to. This is referred to as l 1 reconstruction.
ｌ１再構成は線形計画問題として定式化でき、シンプレックス法又は内点法等の公知の解法によって効率的に解くことができる。それらの解法を用いるため、１−ノルムの絶対値を外すには、ｘのｉ番目の要素ｘｉは、非負整数ｘ＋ ｉ、ｘ− ｉを用いて式（１６）のように表現することができる。 The l 1 reconstruction can be formulated as a linear programming problem, and can be efficiently solved by a known solution such as the simplex method or the interior point method. For using these solutions, To remove the absolute value of the 1-norm, i th element x i of x, nonnegative integer x + i, x - that with i expressed as the formula (16) Can be.
ここで、ｘｉ≧０ならばｘ− ｉ＝０、ｘｉ≦０ならばｘ＋ ｉ＝０と考えると、式（１７）が成り立ち、式（１６）及び式（１７）は、それぞれ式（１８）、式（１９）のように表現できる。 Here, x i ≧ 0 if x - Given that i = 0, x i ≦ 0 if x + i = 0, holds the equation (17), equation (16) and (17), respectively formula (18) and Expression (19).
そのため、式（１５）は、次の式（２０）となる。
また、ｘ＝ｘ＋−ｘ−（式（１７））より、次の式（２１）のような線形計画問題に帰着する。
Therefore, Expression (15) becomes Expression (20) below.
Further, from x = x + −x − (Equation (17)), it results in a linear programming problem as shown in the following Equation (21).
本発明では、このようなｌ１再構成の考え方を有限要素解析に応用することによって、不良設定問題を解くことを可能としている。 In the present invention, by applying the concept of such a l 1 reconstituted finite element analysis, it is made possible to solve the ill problem.
１０ ：外力推定システム
１２ ：外力推定装置
２１ ：取得部
２２ ：推定部
２３ ：修正部
Ａ１ ：視認領域
Ａ２ ：非視認領域
Ｋ ：剛性マトリクス（剛性情報）
Ｗ ：対象物（弾性体）
ｆ ：外力ベクトル
ｕ ：変位ベクトル
10: External force estimation system 12: External force estimation device 21: Acquisition unit 22: Estimation unit 23: Correction unit A1: Visible area A2: Non-visual area K: Stiffness matrix (rigidity information)
W: Object (elastic body)
f: external force vector u: displacement vector
Claims (5)
前記弾性体を表す所定のメッシュモデルにおいて、前記第１領域の第１変位と、前記第１領域の第１外力及び前記第２領域の第２外力との間に成立する有限要素法の関係式に、ｌ１再構成を適用して最適化問題に変換することにより、前記第１外力及び前記第２外力の双方を推定する推定部と、を備えている、外力推定装置。 An acquisition unit configured to acquire information on a first displacement of the first region among a visible first region and a non-visible second region in the elastic body to which an external force having a sparsity is applied;
In a predetermined mesh model representing the elastic body, a relational expression of a finite element method established between a first displacement of the first region and a first external force of the first region and a second external force of the second region. to, l1 by converting the optimization problem by applying the reconstruction, and a, an estimation unit that estimates both the first external force and the second force, the external force estimation device.
推定された前記第２外力を用いて、前記第２領域の第２変位を推定する、請求項１に記載の外力推定装置。 The estimating unit includes:
Using the estimated second external force, estimating a second displacement of the second region, the external force estimation device according to claim 1.
前記コンピュータが、前記弾性体を表す所定のメッシュモデルにおいて、前記第１領域の第１変位と、前記第１領域の第１外力及び前記第２領域の第２外力との間に成立する有限要素法の関係式に、ｌ１再構成を適用して最適化問題に変換することにより、前記第１外力及び前記第２外力の双方を推定するステップとを含む、外力推定方法。 A step in which the computer obtains information on the first displacement of the first region among the visible first region and the non-visible second region in the elastic body to which an external force having sparseness is applied;
A finite element that is established between a first displacement of the first region and a first external force of the first region and a second external force of the second region in a predetermined mesh model representing the elastic body; Estimating both the first external force and the second external force by applying an l1 reconstruction to the relational expression of the method to convert it into an optimization problem .
前記弾性体を表す所定のメッシュモデルにおいて、前記第１領域の第１変位と、前記第１領域の第１外力及び前記第２領域の第２外力との間に成立する有限要素法の関係式に、ｌ１再構成を適用して最適化問題に変換することにより、前記第１外力及び前記第２外力の双方を推定する機能を、コンピュータに実現させるコンピュータプログラム。 A function of acquiring information of a first displacement of the first region among a visible first region and a non-visible second region in an elastic body to which an external force having a sparsity is applied; and
In a predetermined mesh model representing the elastic body, a relational expression of a finite element method established between a first displacement of the first region and a first external force of the first region and a second external force of the second region. A computer program that causes a computer to implement a function of estimating both the first external force and the second external force by applying an l1 reconstruction to convert the optimization problem into an optimization problem .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015120581A JP6648883B2 (en) | 2015-06-15 | 2015-06-15 | External force estimation device and method, and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015120581A JP6648883B2 (en) | 2015-06-15 | 2015-06-15 | External force estimation device and method, and computer program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017000623A JP2017000623A (en) | 2017-01-05 |
| JP6648883B2 true JP6648883B2 (en) | 2020-02-14 |
Family
ID=57751041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015120581A Expired - Fee Related JP6648883B2 (en) | 2015-06-15 | 2015-06-15 | External force estimation device and method, and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6648883B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018134898A1 (en) | 2017-01-17 | 2018-07-26 | オリンパス株式会社 | Flexible tubular system and sense-of-force-information calculation method |
| JP7124061B2 (en) * | 2018-03-30 | 2022-08-23 | オリンパス株式会社 | Stress estimation system, stress estimation device, and endoscope system |
| JP7084991B2 (en) * | 2018-06-06 | 2022-06-15 | オリンパス株式会社 | Force information calculation device, endoscope system and force information calculation method |
| WO2023149527A1 (en) * | 2022-02-04 | 2023-08-10 | オリンパス株式会社 | Medical system, notification method, and method for operating medical system |
| CN116487038B (en) * | 2023-06-25 | 2023-08-18 | 四川大学华西医院 | Prediction system and storage medium for progression of mild cognitive impairment to Alzheimer's disease |
-
2015
- 2015-06-15 JP JP2015120581A patent/JP6648883B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017000623A (en) | 2017-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6648883B2 (en) | External force estimation device and method, and computer program | |
| JP5807705B2 (en) | Computer system for obtaining current information from magnetic data and computer system for obtaining current information from magnetic data | |
| US8908944B2 (en) | Information processing apparatus, information processing method, and program | |
| CN103886581B (en) | Utilize the preoperative system and method with image in art of biomechanical model emulation registration | |
| US10072924B2 (en) | System and method for quantifying deformation, disruption, and development in a sample | |
| CA2940992C (en) | Apparatus and method for generating and using a subject-specific statistical motion model | |
| US20150043800A1 (en) | Image processing apparatus and image processing method | |
| US10970875B2 (en) | Examination support device, examination support method, and examination support program | |
| JP5527748B2 (en) | Membrane stress estimation system on curved surface of arbitrary shape based on current configuration information | |
| JP2015128568A (en) | Solution method and solution apparatus for underdetermined system of linear equations | |
| JP6995535B2 (en) | Image processing equipment, image processing methods and programs | |
| WO2017180097A1 (en) | Deformable registration of intra and preoperative inputs using generative mixture models and biomechanical deformation | |
| Legrand et al. | A method based on 3d shape analysis towards the design of flexible instruments for endoscopic maxillary sinus surgery | |
| WO2015111308A1 (en) | Three-dimensional medical image display control device, operation method thereof, and three-dimensional medical image display control program | |
| US11003946B2 (en) | Examination support device, examination support method, and examination support program | |
| JP2005518917A (en) | Computer-implemented software system for dynamic three-dimensional reconstruction of non-linear implantable medical devices | |
| US11094104B2 (en) | Information processing device, information processing method and non-transitory computer readable medium | |
| WO2021117349A1 (en) | Information processing device, information processing system, information processing method, and information processing program | |
| Yang et al. | Bayesian estimation of non-rigid mechanical parameters using temporal sequences of deformation samples | |
| Soltani | In-Vivo Digital Image Correlation Studies of the Motion and Deformation of the Human Heart during Open Heart Surgery | |
| EP3564901A1 (en) | Information processing device, information processing method, and program | |
| US20240087322A1 (en) | Processing Images to Associate with Stages of a Surgical Procedure | |
| WO2023114423A1 (en) | Systems and methods for determining material property values for a three-dimensional virtual model of an anatomical object | |
| WO2023174681A1 (en) | Method for modelling a joint | |
| JP2021086260A (en) | Image processing apparatus, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150703 |
|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20150707 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180601 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190326 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190524 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190806 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20191003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191217 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200108 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6648883 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |