JPWO2017043503A1 - 構造推定装置、構造推定方法、および、プログラム - Google Patents

構造推定装置、構造推定方法、および、プログラム Download PDF

Info

Publication number
JPWO2017043503A1
JPWO2017043503A1 JP2017539181A JP2017539181A JPWO2017043503A1 JP WO2017043503 A1 JPWO2017043503 A1 JP WO2017043503A1 JP 2017539181 A JP2017539181 A JP 2017539181A JP 2017539181 A JP2017539181 A JP 2017539181A JP WO2017043503 A1 JPWO2017043503 A1 JP WO2017043503A1
Authority
JP
Japan
Prior art keywords
point
structure estimation
estimation apparatus
normal
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017539181A
Other languages
English (en)
Other versions
JP6571784B2 (ja
Inventor
宗村 鈴木
宗村 鈴木
増谷　佳孝
佳孝 増谷
一志 阿原
一志 阿原
琢也 植田
琢也 植田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Science and Technology Agency
Original Assignee
Japan Science and Technology Agency
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Science and Technology Agency filed Critical Japan Science and Technology Agency
Publication of JPWO2017043503A1 publication Critical patent/JPWO2017043503A1/ja
Application granted granted Critical
Publication of JP6571784B2 publication Critical patent/JP6571784B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

医用画像上において、対象とする膜内に存在する複数の点を取得し、複数の点を含む多面体の初期形状を作成し、点における法線を取得し、点の座標および法線に基づいて、動径基底関数を用いて等値面を作成することで膜構造を推定する。

Description

本発明は、構造推定装置、構造推定方法、および、プログラムに関する。
従来から、医用画像から手術用のシミュレーションモデルを生成する技術が開示されている。
特許文献１に記載のモデル生成方法においては、医用画像から取得される幾何情報に基づく臓器モデルを生成し、ＣＴ、ＭＲＩ等の医用画像では映らない膜の形状をもつテンプレートモデルを操作して、臓器モデルの周りに配置することで、シミュレーション時に実際の手術に近い状態を再現する技術が開示されている。
特開２０１０−１３１０４７号公報
しかしながら、特許文献１に記載の従来のモデル生成方法においては、汎用的なデータであるテンプレートを用いて臓器周辺の膜構造を再現しているだけであって、患者固有の膜構造を再現したものではないという問題点を有していた。
本発明は、上記問題点に鑑みてなされたもので、患者固有の医用画像を用いて、原理的に適切なコントラストを得られないために、これまで描出できなかった膜構造の描出、および、モデリングをする構造推定装置、構造推定方法、および、プログラムを提供することを目的とする。
このような目的を達成するため、本発明の構造推定装置は、医用画像上において、対象とする膜内に存在する複数の点を取得する点取得手段と、前記複数の点を含む多面体の初期形状を作成する初期形状作成手段と、前記点における法線を取得する法線取得手段と、前記点の座標および前記法線に基づいて、動径基底関数を用いて等値面を作成することで膜構造を推定する膜構造推定手段と、を備えたことを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記初期形状作成手段は、座標に対応した所定数のラベルに基づいて、前記複数の点を含む前記多面体の前記初期形状を作成し、前記点における前記法線を取得することを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記初期形状作成手段は、前記点同士の前記ラベルに応じた接続関係性、前記点同士の距離、および、前記点を端点とする前記多面体の辺の最大数に基づいて、前記複数の点を含む前記多面体の前記初期形状を作成することを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記法線取得手段は、前記点から基準点を選択し、所定数の前記基準点近傍の前記点を選択し、前記基準点と前記近傍の点とから構成される所定数の三角形の法線を算出し、前記所定数の三角形の法線の平均である平均法線を算出し、前記平均法線を前記基準点における前記法線として取得する。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記法線取得手段は、更に、同一の前記ラベルが付与された前記点における前記法線から基準法線を決定し、前記基準法線の向き、および、前記点同士の隣接関係に基づいて、前記同一のラベルが付与された前記点における前記法線の向きを修正することを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記法線取得手段は、更に、前記点から基準点を選択し、ガウス関数を用いて、前記基準点の隣接頂点となる前記点における法線に対して、前記基準点と前記隣接頂点との距離に応じた重み付けを行い、前記重み付けに基づいて、前記基準点における前記法線の平滑化を行うことを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記点取得手段は、更に、前記医用画像上において、前記多面体の辺の端点となる２つの前記点の間に、所定数の補助点を取得し、前記法線取得手段は、前記補助点の位置に基づいて、前記点における法線を取得することを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記法線取得手段は、前記複数の点から選択した前記点である選択点における前記法線を取得することを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記法線取得手段は、前記初期形状を表示させて、ユーザに前記複数の点から前記選択点を選択させ、前記選択点における前記法線を取得することを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記法線取得手段は、前記多面体を構成する前記選択点を含む面に基づいて、前記選択点における前記法線を取得することを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記法線取得手段は、前記初期形状を表示させて、ユーザに前記点の追加および／または削除をさせ、前記点における前記法線を取得することを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記点取得手段は、前記医用画像上において、前記所定数のラベル毎に、対象とする前記膜内に存在する前記複数の点を取得することを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記点取得手段は、前記医用画像上において、領域拡張法により前記膜以外の構造上の点を抽出することで、対象とする前記膜内に存在する前記複数の点を取得することを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記点取得手段は、前記医用画像を表示させて、ユーザに前記医用画像上における対象とする前記膜内に存在する点を入力させ、前記複数の点を取得することを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記点取得手段は、前記医用画像を表示させて、ユーザに前記医用画像上における対象とする前記膜を示す線を入力させ、前記線上の点を特定することで、前記複数の点を取得することを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記膜構造推定手段は、前記点の座標および前記法線に基づいて、前記動径基底関数に基づくＲＢＦ補間を用いて前記等値面を作成することで前記膜構造を推定することを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記膜構造推定手段は、更に、前記膜構造を表示させて、ユーザに前記点の追加および／または削除をさせることを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記膜構造推定手段は、更に、前記膜構造を表示させて、ユーザに前記法線の変更、追加および／または削除をさせることを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記膜構造推定手段により推定された前記膜構造に基づいて、前記医用画像を再構成した再構成画像を作成する画像再構成手段と、前記再構成画像を出力させる画像出力手段と、を更に備えたことを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記画像再構成手段は、前記膜構造推定手段により推定された前記膜構造に基づいて、前記膜の範囲を切り出した前記再構成画像を作成することを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記画像再構成手段は、更に、ボリュームレンダリング法により、前記医用画像から膜以外の構造を描出した前記再構成画像を作成することを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記画像再構成手段は、更に、前記膜構造推定手段により推定された前記膜構造の確からしさを示す値を取得し、前記画像出力手段は、更に、前記膜構造の確からしさを示す値を表示させることを特徴とする。
また、本発明の構造推定装置は、上記記載の構造推定装置において、前記医用画像は、前記膜構造のコントラストが視覚的に識別できないＣＴ画像またはＭＲＩ画像であることを特徴とする。
また、本発明の構造推定方法は、医用画像上において、対象とする膜内に存在する複数の点を取得する点取得ステップと、前記複数の点を含む多面体の初期形状を作成する初期形状作成ステップと、前記点における法線を取得する法線取得ステップと、前記点の座標および前記法線に基づいて、動径基底関数を用いて等値面を作成することで膜構造を推定する膜構造推定ステップと、を含むことを特徴とする。
また、本発明のプログラムは、医用画像上において、対象とする膜内に存在する複数の点を取得する点取得ステップと、前記複数の点を含む多面体の初期形状を作成する初期形状作成ステップと、前記点における法線を取得する法線取得ステップと、前記点の座標および前記法線に基づいて、動径基底関数を用いて等値面を作成することで膜構造を推定する膜構造推定ステップと、をコンピュータに実行させることを特徴とする。
この発明によれば、医用画像から解剖学的な原則をもとに幾何学などの数学的手法を用いて膜構造等の描出困難な構造を再構成することができるという効果を奏する。また、この発明によれば、膜の幾何構造をＣＧ表現または３Ｄプリントアウトすることにより、個人間で形態の差が大きい構造を対象とする外科手術の予備調査の一助とすることができるという効果を奏する。
図１は、本実施形態における構造推定装置の構成の一例を示すブロック図である。 図２は、本実施形態における構造推定装置の処理の一例を示すフローチャートである。 図３は、本実施形態における結腸間膜内に存在する点の一例を示す図である。 図４は、結腸間膜の一例を示す図である。 図５は、本実施形態における初期形状の一例を示す図である。 図６は、本実施形態におけるラベルの一例を示す図である。 図７は、本実施形態における等値面の一例を示す図である。 図８は、本実施形態における法線方向付き点群の一例を示す図である。 図９は、本実施形態におけるボリュームデータの一例を示す図である。 図１０は、本実施形態におけるボリュームデータの一例を示す図である。 図１１は、本実施形態における等値面の一例を示す図である。 図１２は、本実施形態における等値面の一例を示す図である。 図１３は、本実施形態における構造推定装置の処理の一例を示すフローチャートである。 図１４は、本実施形態におけるラベルの一例を示す図である。 図１５は、本実施形態における点群を結ぶ条件の一例を示す図である。 図１６は、本実施形態における点同士の距離の一例を示す図である。 図１７は、本実施形態における初期形状の一例を示す図である。 図１８は、本実施形態における補助点の一例を示す図である。 図１９は、本実施形態における法線取得処理の一例を示す図である。 図２０は、本実施形態における法線の一例を示す図である。 図２１は、本実施形態における法線修正用ラベルの一例を示す図である。 図２２は、本実施形態における向き統一の一例を示す図である。 図２３は、本実施形態における切り出し前ボリュームデータの一例を示す図である。 図２４は、本実施形態におけるｔｙｐｅ１−３の法線をｔｙｐｅ４に向けた一例を示す図である。 図２５は、本実施形態における切り出すためのボリュームデータの一例を示す図である。 図２６は、本実施形態における切り出し後ボリュームデータの一例を示す図である。
以下に、本発明にかかる構造推定装置、構造推定方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
［構造推定装置１００の構成］
以下に、本実施形態における構造推定装置１００の構成の詳細について、図１を参照して以下に説明し、その後、本実施形態の処理等について詳細に説明する。但し、以下に示す実施形態は、本発明の技術思想を具体化するための構造推定装置１００を例示するものであって、請求の範囲に含まれるその他の実施形態の構造推定装置１００にも等しく適用し得るものである。
図１は、本実施形態における構造推定装置１００の構成の一例を示すブロック図であり、該構成のうち本発明に関係する部分のみを概念的に示している。
ここで、本実施形態における構造推定装置１００においては、各構成が一筐体内に全て備えられ、単独で処理を行うもの（スタンドアローン型）を、構造推定装置１００として説明するが、当該実施例に限らず、各構成が分離した筐体内に備えられ、ネットワーク等を介して接続されて一つの概念としての装置を構成するもの（例えば、クラウドコンピューティング等）であってもよい。ここで、ネットワークは、構造推定装置１００と外部装置等とを相互に接続する機能を有し、例えば、インターネット等である。
図１に示すように、構造推定装置１００は、概略的に、制御部１０２と、記憶部１０６と、入出力部１１２と、を備えて構成される。ここで、構造推定装置１００は、更に、通信インターフェース部と、入出力インターフェース部と、を備えていてもよい。これら構造推定装置１００の各部は任意の通信路を介して通信可能に接続されていてもよい。
ここで、通信インターフェース部は、通信回線および／または電話回線等に接続されるアンテナおよび／またはルータ等の通信装置に接続されるインターフェース（ＮＩＣ等）であり、構造推定装置１００と外部装置との間における通信制御を行う機能を有していてもよい。また、入出力制御インターフェース部は、入出力部１１２に接続されるインターフェースであり、入出力部１１２の制御を行ってもよい。
また、入出力部１１２は、データの入出力（Ｉ／Ｏ）を行う。ここで、入出力部１１２は、例えば、キー入力部、タッチパネル、コントロールパッド（例えば、タッチパッド、および、ゲームパッド等）、マウス、キーボード、および、マイク等であってもよい。また、入出力部１１２は、アプリケーション等の表示画面を表示する表示部（例えば、液晶または有機ＥＬ等から構成されるディスプレイ、モニタ、および、タッチパネル等）であってもよい。また、入出力部１１２は、音声情報を音声として出力する音声出力部（例えば、スピーカ等）であってもよい。
なお、制御部１０２は、通信インターフェース部、入出力インターフェース部、および、入出力部１１２を制御してもよい。
ここで、記憶部１０６は、各種のデータベース、テーブル、および／または、ファイル（画像データベース１０６ａ等）などを格納する。また、記憶部１０６は、各種アプリケーションプログラム（例えば、ユーザアプリケーション等）を記憶していてもよい。
記憶部１０６は、ストレージ手段であり、例えばＲＡＭ・ＲＯＭ等のメモリ、ハードディスクのような固定ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ｅＭＭＣ（Ｅｍｂｅｄｄｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｃａｒｄ）、フレキシブルディスク、および／または、光ディスク等の有形の記憶装置、または、記憶回路を用いることができる。
また、記憶部１０６には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に命令を与え各種処理を行うためのコンピュータプログラム等が記録されている。
これら記憶部１０６の各構成要素のうち、画像データベース１０６ａは、画像に関する画像データを記憶する。ここで、画像は、医用画像であってもよい。ここで、医用画像は、膜構造のコントラストが視覚的に識別できないＣＴ画像またはＭＲＩ画像等であってもよい。
また、医用画像は、骨、肝臓、腎臓、肺、および、血管等のコントラストが視覚的に識別できる画像であってもよい。また、画像データは、シミュレーション用の医用画像データであってもよい。また、画像は、再構成画像であってもよい。
また、制御部１０２は、構造推定装置１００を統括的に制御するＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、および／または、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等を含む有形のコントローラ、または、制御回路等からなる。
また、制御部１０２は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。
ここで、制御部１０２は、大別して、画像取得部１０２ａ、点取得部１０２ｂ、初期形状作成部１０２ｃ、法線取得部１０２ｄ、膜構造推定部１０２ｅ、画像再構成部１０２ｆ、および、画像出力部１０２ｇを備える。
このうち、画像取得部１０２ａは、画像を取得する画像取得手段である。ここで、画像取得部１０２ａは、画像データを読み込んで、画像データに基づく画像を取得してもよい。また、画像取得部１０２ａは、画像データを画像データベース１０６ａから取得してもよい。また、画像取得部１０２ａは、画像データを画像データベース１０６ａに格納してもよい。
また、点取得部１０２ｂは、医用画像上において、対象とする膜内に存在する複数の点を取得する点取得手段である。ここで、点取得部１０２ｂは、医用画像上において、座標に対応した所定数のラベル毎に、対象とする膜内に存在する複数の点を取得してもよい。
また、点取得部１０２ｂは、医用画像上において、領域拡張法により膜以外の構造上の点を抽出することで、対象とする膜内に存在する複数の点を取得してもよい。ここで、対象とする膜は、間膜、または、大網膜等であってもよい。
また、点取得部１０２ｂは、医用画像を入出力部１１２に表示させて、ユーザに入出力部１１２を介して、医用画像上における対象とする膜内に存在する点を入力させ、複数の点を取得してもよい。
また、点取得部１０２ｂは、医用画像を入出力部１１２に表示させて、ユーザに入出力部１１２を介して、医用画像上における対象とする膜を示す線を入力させ、線上の点を特定することで、複数の点を取得してもよい。
また、点取得部１０２ｂは、更に、医用画像上において、多面体の辺の端点となる２つの点の間に、所定数の補助点を取得してもよい。
また、初期形状作成部１０２ｃは、複数の点を含む多面体の初期形状を作成する初期形状作成手段である。ここで、初期形状作成部１０２ｃは、座標に対応した所定数のラベルに基づいて、複数の点を含む多面体の初期形状を作成してもよい。
また、初期形状作成部１０２ｃは、点同士のラベルに応じた接続関係性、点同士の距離、および、点を端点とする多面体の辺の最大数に基づいて、複数の点を含む多面体の初期形状を作成してもよい。
また、法線取得部１０２ｄは、点における法線を取得する法線取得手段である。
ここで、法線取得部１０２ｄは、点から基準点を選択し、所定数の基準点近傍の点を選択し、基準点と近傍の点とから構成される所定数の三角形の法線を算出し、所定数の三角形の法線の平均である平均法線を算出し、平均法線を基準点における法線として取得してもよい。
また、法線取得部１０２ｄは、更に、同一のラベルが付与された点における法線から基準法線を決定し、基準法線の向き、および、点同士の隣接関係に基づいて、同一のラベルが付与された点における法線の向きを修正してもよい。
また、法線取得部１０２ｄは、更に、点から基準点を選択し、ガウス関数を用いて、基準点の隣接頂点となる点における法線に対して、基準点と隣接頂点との距離に応じた重み付けを行い、重み付けに基づいて、基準点における法線の平滑化を行ってもよい。
また、法線取得部１０２ｄは、補助点の位置に基づいて、点における法線を取得してもよい。
また、法線取得部１０２ｄは、複数の点から選択した点である選択点における法線を取得してもよい。また、法線取得部１０２ｄは、初期形状を入出力部１１２に表示させて、ユーザに入出力部１１２を介して複数の点から選択点を選択させ、選択点における法線を取得してもよい。
また、法線取得部１０２ｄは、多面体を構成する選択点を含む面に基づいて、選択点における法線を取得してもよい。また、法線取得部１０２ｄは、初期形状を入出力部１１２に表示させて、ユーザに入出力部１１２を介して初期形状の確からしさを確認させ、且つ、点の追加および／または削除をさせ、点における法線を取得してもよい。
また、膜構造推定部１０２ｅは、点の座標および法線に基づいて、動径基底関数を用いて等値面を作成することで膜構造を推定する膜構造推定手段である。ここで、膜構造推定部１０２ｅは、点の座標および法線に基づいて、動径基底関数に基づくＲＢＦ（Ｒａｄｉａｌ Ｂａｓｉｃ Ｆｕｎｃｔｉｏｎ）補間を用いて等値面を作成することで膜構造を推定してもよい。
また、膜構造推定部１０２ｅは、更に、膜構造を入出力部１１２に表示させて、ユーザに入出力部１１２を介して膜構造が解剖学的構造と矛盾しないかを確認させ、且つ、点の追加および／または削除をさせてもよい。
また、膜構造推定部１０２ｅは、更に、膜構造を入出力部１１２に表示させて、ユーザに入出力部１１２を介して膜構造が解剖学的構造と矛盾しないかを確認させ、且つ、法線の変更、追加および／または削除をさせてもよい。
また、画像再構成部１０２ｆは、膜構造推定部１０２ｅにより推定された膜構造に基づいて、医用画像を再構成した再構成画像を作成する画像再構成手段である。ここで、画像再構成部１０２ｆは、膜構造推定部１０２ｅにより推定された膜構造に基づいて、膜の範囲を切り出した再構成画像を作成してもよい。
また、画像再構成部１０２ｆは、ボリュームレンダリング法等により、医用画像から膜以外の構造を描出した再構成画像を作成してもよい。ここで、膜以外の構造は、腸、血管、または、骨等の周辺構造であってもよい。また、画像再構成部１０２ｆは、更に、膜構造推定部１０２ｅにより推定された膜構造の確からしさを示す値を取得してもよい。
また、画像出力部１０２ｇは、再構成画像を入出力部１１２を介して出力させる画像出力手段である。ここで、画像出力部１０２ｇは、更に、膜構造の確からしさを示す値を入出力部１１２に表示させてもよい。
以上で、本実施形態における構造推定装置１００の構成の一例の説明を終える。
［構造推定装置１００の処理］
次に、このように構成された本実施形態における構造推定装置１００の処理の詳細について、以下に図２から図２６を参照して詳細に説明する。
［構造推定処理（その１）］
まず、図２から図１２を参照して、本実施形態における構造推定処理の一例について説明する。図２は、本実施形態における構造推定装置１００の処理の一例を示すフローチャートである。
図２に示すように、画像取得部１０２ａは、シミュレーション用の医用画像データを読み込み、膜構造のコントラストが視覚的に識別できないＣＴ画像またはＭＲＩ画像等の医用画像を取得する（ステップＳＡ−１）。ここで、画像取得部１０２ａは、医用画像データを画像データベース１０６ａから読み込んでもよく、ネットワークを介して外部装置から読み込んでもよい。
そして、点取得部１０２ｂは、医用画像上において、解剖学的な原則に基づいて設定された座標に対応した所定数のラベル毎に、間膜内に存在する複数の点（点群）を取得する（ステップＳＡ−２）。ここで、点取得部１０２ｂは、医用画像上において、領域拡張法により膜以外の構造上の点を抽出することで、解剖学的な原則に基づいて設定された座標に対応した所定数のラベル毎に、間膜内に存在する複数の点を取得してもよい。
また、点取得部１０２ｂは、医用画像を入出力部１１２に表示させて、ユーザ（例えば、解剖学的知見を有するユーザ）に入出力部１１２を介して、医用画像上において、解剖学的な原則に基づいて設定された座標に対応した所定数のラベル毎に、間膜内に存在する点を入力させ、複数の点を取得してもよい。
また、点取得部１０２ｂは、医用画像を入出力部１１２に表示させて、ユーザに入出力部１１２を介して、医用画像上において、解剖学的な原則に基づいて設定された座標に対応した所定数のラベル毎に、間膜を示す線を入力させ、線上の点を特定することで、複数の点を取得してもよい。なお、点取得部１０２ｂは、これら複数の方法を組み合わせて、医用画像上において、間膜内に存在する複数の点を取得してもよい。
すなわち、本実施形態においては、所定数（例えば、４種類等）にラベル分けされた複数の点（点群座標）を取得する過程において、領域拡張法による血管上の点の抽出方法、マニュアルによる点座標の入力方法、および／または、ドローイングツールなどによる膜を示す線の入力から適切な点の抽出方法を用いてもよい。
ここで、図３および図４を参照して、本実施形態における点入力の一例について説明する。図３は、本実施形態における間膜の一部（結腸間膜）内に存在する点の一例を示す図である。図４は、結腸間膜の一例を示す図である。
図３に示すように、本実施形態においては、図４に示す結腸間膜Ｍを含む大腸周辺の解剖学的知見を有するユーザにより、入出力部１１２を介して腸間膜内に存在する複数の点が入力された場合、腸間膜内に存在する点群として取得してもよい。
このように、本実施形態においては、人体断面図に映った画像から、解剖学的知見を有するユーザの見立てのもとに、直接画像には映り込んでいない膜の存在想定位置から有限個の点をプロットしたものを元データとして取得してもよい。
図２に戻り、初期形状作成部１０２ｃは、座標に対応した所定数のラベルに基づいて、複数の点を含む多面体の初期形状を作成し、法線取得部１０２ｄは、複数の点から選択した点である選択点における法線を取得する（ステップＳＡ−３）。
ここで、初期形状作成部１０２ｃは、座標に対応した所定数のラベルに基づいて、複数の点を含む多面体の初期形状を作成し、法線取得部１０２ｄは、初期形状を入出力部１１２に表示させて、ユーザに入出力部１１２を介して複数の点から選択点を選択させ、選択点における法線を取得してもよい。
また、初期形状作成部１０２ｃは、座標に対応した所定数のラベルに基づいて、複数の点を含む多面体の初期形状を作成し、法線取得部１０２ｄは、多面体を構成する選択点を含む面に基づいて、選択点における法線を取得してもよい。
なお、法線取得部１０２ｄは、初期形状における曲率の小さい部分では低密度に、曲率の大きい部分では高密度に法線を取得（法線方向を推定）してもよい。
すなわち、本実施形態においては、取得した点群座標から多面体の初期形状を作成し点座標に法線方向を与える過程において、点群の種類を用いた初期形状の推定方法、初期形状の確からしさを確認する方法、および／または、法線方向を明示する点群と法線方向を明示しない点群とを選択する方法を用いてもよい。
ここで、図５および図６を参照して、本実施形態における初期形状作成の一例について説明する。図５は、本実施形態における初期形状の一例を示す図である。図６は、本実施形態におけるラベルの一例を示す図である。
図５に示すように、本実施形態においては、離散的に取得された腸間膜の位置を示す点群から、膜全体の形状を位相的に想定するために、取得された点群の相対関係を有意義に近い（Ｓｉｇｎｉｆｉｃａｎｔｌｙ Ｎｅａｒ）という観点で評価し、初期形状（擬似的なグラフ構造）を作成してもよい。
ここで、本実施形態においては、点群Ａ＝｛ａ０，ａ１，ａ２，…｝と点群Ｂ＝｛ｂ０，ｂ１，ｂ２，…｝とについて、「ＡからＢへ有意義に近い点による有向辺（ｏｒｉｅｎｔｅｄ ｅｄｇｅ）集合」を下記ＳＮ（Ａ，Ｂ）の式で定義することによって、有意義に近いことの判定を行ってもよい。
すなわち、本実施形態においては、ＳＮ（Ａ，Ｂ）＝｛（ａｉ，ｂｊ）｜ａｉ∈Ａ，ｂｊ∈Ｂ，ｄｉｓｔ（ａｉ，ｂｊ）＜ｄｉｓｔ（ａｉ，Ｂ）＊ｃ｝と定義している。ここで、ｄｉｓｔは、空間におけるユークリッド距離、定数ｃは、点群の性質によって定まる実数であり、本実施形態の腸間膜モデリングにおいては、例えば、約１．５８等であってもよい。
ここで、図６に示すように、本実施形態における初期形状（グラフ構造）の作成において、大腸の中心線上にある有限個の点群をラベルＡ１、腸間膜の外側境界域（大腸側）にある有限個の点群をラベルＡ２、腸間膜の内側境界域（大動脈側）にある有限個の点群をラベルＡ３、および、腸間膜上にあるその他の点群をラベルＢとする、座標に対応した４つのラベルを設定してもよい。
そして、本実施形態における初期形状（グラフ構造）の作成においては、Ｅ１＝ＳＮ（Ａ１，Ａ１）と定義することで、大腸の中心線の位相的幾何構造（１次元的構造）を特定し、Ｅ２＝ＳＮ（Ａ２，Ａ２）∪ＳＮ（Ａ３，Ａ３）と定義することで、腸間膜の境界線の位相的幾何構造（１次元的構造）を特定してもよい。
また、本実施形態における初期形状（グラフ構造）の作成においては、Ｅ１２＝ＳＮ（Ａ１，Ａ２）∪ＳＮ（Ａ２，Ａ１）と定義することで、腸間膜と大腸との接続面の位相的幾何構造（二次元的構造）を特定し、ＥＢ＝ＳＮ（Ｂ，Ｂ∪Ａ２∪Ａ３）と定義することで、腸間膜面の位相的幾何構造（二次元的構造）を特定してもよい。
また、図５に示すように、本実施形態においては、推定される曲面の垂直ベクトルを計算することにより、選択点における法線（法線方向）を取得してもよい。
図２に戻り、初期形状作成部１０２ｃは、作成した初期形状を入出力部１１２に表示させて、ユーザに入出力部１１２を介して初期形状の確からしさ、すなわち、解剖構造との矛盾を確認させて、確認結果を入力させ、矛盾が生じているか否かを判定する（ステップＳＡ−４）。
そして、初期形状作成部１０２ｃは、ステップＳＡ−４にて矛盾が生じていると判定した場合（ステップＳＡ−４：Ｙｅｓ）、処理をステップＳＡ−５に移行させる。
そして、初期形状作成部１０２ｃは、ユーザに入出力部１１２を介して、医用画像上において、解剖学的な原則に基づいて設定された座標に対応した所定数のラベル毎に、間膜内に存在する点の追加および／または削除をさせ（ステップＳＡ−５）、処理をステップＳＡ−３に移行させる。
すなわち、本実施形態においては、得られた初期形状が解剖構造と矛盾しないかユーザに確認させ、点の追加または削除させてもよい。
一方、初期形状作成部１０２ｃは、ステップＳＡ−４にて矛盾が生じていないと判定した場合（ステップＳＡ−４：Ｎｏ）、処理をステップＳＡ−６に移行させる。
そして、膜構造推定部１０２ｅは、選択点の座標および選択点の法線に基づいて、動径基底関数に基づくＲＢＦ補間を用いて等値面を作成することで膜構造を推定する（ステップＳＡ−６）。
すなわち、本実施形態においては、法線方向付き（方向のないものを含む）点群座標からＲＢＦ補間によりボリュームデータを再構成する過程において、ＲＢＦ補間のための計算方法、および／または、等値面再構成による膜構造取得の方法を用いてもよい。
例えば、本実施形態においては、間膜内に存在する点の座標Ｘ＝（ｘ，ｙ，ｚ）Ｔ、多項式関数ｐ（Ｘ）＝ｃ１＋ｃ２ｘ＋ｃ３ｙ＋ｃ４ｚ、間膜内に存在する点（Ｎ個）に対する係数λｉ（１≦ｉ≦Ｎ）、および、基底関数Ｘｉφ（ｒ）を用いて、陰関数ｓ（Ｘ）を下記数式１と定義する。
・・・（数式１）
そして、本実施形態においては、エネルギー最少となるようにφ（ｒ）＝ｒを採用し、近似プロセスとして、Ｎ個の係数λの値であるΛ＝（λ１，．．．，λＮ）Ｔ、および、４つの係数の値であるｃ＝（ｃ１，ｃ２，ｃ３，ｃ４）Ｔを決定する。
そして、本実施形態においては、間膜内に存在する点における直交性に関する拘束条件として下記数式２（ＰＴΛ＝０）で示す条件を追加し、下記数式３を解くことで、Ｘにおけるスカラ値ｓに対して陰関数ｓ（Ｘ）＝ｓとなる等値面を作成し、ボリュームデータを再構成している。
・・・（数式２）
・・・（数式３）
ここで、図７乃至図１２を参照して、本実施形態における等値面作成の一例について説明する。図７、図１１および図１２は、本実施形態における等値面の一例を示す図である。図８は、本実施形態における法線方向付き点群の一例を示す図である。図９および図１０は、本実施形態におけるボリュームデータの一例を示す図である。
図７に示すように、本実施形態においては、陰関数ｓ（Ｘ）が０となるような位置を等値面として取得してもよい。
ここで、本実施形態においては、図８に示すように、間膜内に存在する複数の点（点群）の座標（円錐の位置）と、法線方向（円錐の向き）と、が取得されている場合、図９および図１０に示すように、陰関数ｓ（Ｘ）を用いてＲＢＦ補間によりボリュームデータの再構成がされる。
そして、図１１および図１２に示すように、本実施形態においては、再構成されたボリュームデータから、陰関数ｓ（Ｘ）＝０となる面を等値面として取得する。
図２に戻り、膜構造推定部１０２ｅは、膜構造を入出力部１１２に表示させて、ユーザに入出力部１１２を介して膜構造が解剖学的構造と矛盾しないかを確認させて、確認結果を入力させ、矛盾が生じているか否かを判定する（ステップＳＡ−７）。
そして、膜構造推定部１０２ｅは、ステップＳＡ−７にて矛盾が生じていると判定した場合（ステップＳＡ−７：Ｙｅｓ）、処理をステップＳＡ−５に移行させる。
一方、膜構造推定部１０２ｅは、ステップＳＡ−７にて矛盾が生じていないと判定した場合（ステップＳＡ−７：Ｎｏ）、処理をステップＳＡ−８に移行させる。
そして、膜構造推定部１０２ｅは、法線を入出力部１１２に表示させて、ユーザに入出力部１１２を介して選択点における法線を確認させて、確認結果を入力させ、選択点における法線の変更、選択点以外の点における法線の追加、および／または、選択点における法線の削除が必要であるか否かを判定する（ステップＳＡ−８）。
例えば、本実施形態においては、図１２に示すような等値面上に間膜内に存在する点群の位置と法線方向とを示す円錐を入出力部１１２に表示させることにより、ユーザに入出力部１１２を介して選択点における法線を確認させてもよい。
すなわち、本実施形態においては、初期形状作成プロセスで計算された法線方向を表示する方法を用いてもよい。また、本実施形態においては、ＲＢＦ補間で得られた構造が解剖構造と矛盾しないかユーザに確認させ、法線方向を加えるかの決定をしてもよい。
そして、膜構造推定部１０２ｅは、ステップＳＡ−８にて必要であると判定した場合（ステップＳＡ−８：Ｙｅｓ）、処理をステップＳＡ−９に移行させる。すなわち、本実施形態においては、ＲＢＦ補間で得られた構造が解剖構造と矛盾しないかユーザに確認させ、点の追加または削除させてもよい。
そして、膜構造推定部１０２ｅは、ユーザに入出力部１１２を介して、選択点における法線の変更、選択点以外の点における法線の追加、および／または、選択点における法線の削除をさせ（ステップＳＡ−９）、処理をステップＳＡ−６に移行させる。
一方、膜構造推定部１０２ｅは、ステップＳＡ−８にて必要ではないと判定した場合（ステップＳＡ−８：Ｎｏ）、処理をステップＳＡ−１０に移行させる。
そして、画像再構成部１０２ｆは、膜構造推定部１０２ｅにより推定された膜構造に基づいて、医用画像を再構成した再構成画像を作成し、当該膜構造の確からしさを示す値を取得する（ステップＳＡ−１０）。
ここで、画像再構成部１０２ｆは、膜構造推定部１０２ｅにより推定された膜構造に基づいて、膜の範囲を切り出した再構成画像を作成してもよい。また、画像再構成部１０２ｆは、更に、ボリュームレンダリング法等により、医用画像から膜以外の腸、血管、または、骨等の周辺構造を描出した再構成画像を作成してもよい。なお、画像再構成部１０２ｆは、これらの方法を組み合わせて、医用画像を再構成した再構成画像を作成してもよい。
すなわち、本実施形態においては、ＲＢＦ補間により得られた曲面（膜構造）を使用したシミュレーション用画像を再構成する過程において、間膜の範囲を切り出す方法、腸、血管および骨等の周辺構造を描出する方法、ならびに／または、得られた膜構造の確からしさを取得する方法を用いてもよい。
そして、画像出力部１０２ｇは、再構成画像、および、膜構造の確からしさを示す値をシミュレーション用データとして入出力部１１２に表示させ（ステップＳＡ−１１）、処理を終了する。また、画像出力部１０２ｇは、再構成画像の三次元立体モデルを入出力部１１２を介して３Ｄプリントアウトしてもよい。
［構造推定処理（その２）］
さらに、図１３から図２６を参照して、本実施形態における構造推定処理の一例について説明する。図１３は、本実施形態における構造推定装置１００の処理の一例を示すフローチャートである。
図１３に示すように、画像取得部１０２ａは、医用画像データを読み込み、膜構造のコントラストが視覚的に識別できないＣＴ画像またはＭＲＩ画像等の医用画像を取得する（ステップＳＢ−１）。
そして、点取得部１０２ｂは、ユーザにより入出力部１１２を介して、解剖学的な原則に基づいて設定された座標に対応した所定数のラベル毎に、医用画像上における間膜内に存在する複数の点（点群）が入力された場合、点を取得する（ステップＳＢ−２）。
ここで、図１４を参照して、本実施形態におけるラベリングの一例について説明する。図１４は、本実施形態におけるラベルの一例を示す図である。
図１４に示すように、本実施形態においては、大腸の境界点をｔｙｐｅ０、結腸間膜の最も大腸よりの境界点をｔｙｐｅ１、大動脈右側の境界点をｔｙｐｅ２、大動脈左側の境界点をｔｙｐｅ３、結腸間膜上の点をｔｙｐｅ４、および、ｔｙｐｅ０とｔｙｐｅ１との中点をｔｙｐｅ５とラベリングしている。
ここで、ｔｙｐｅ１、ｔｙｐｅ２、ｔｙｐｅ３およびｔｙｐｅ４によって再構成される面が、結腸間膜となり、ｔｙｐｅ０とｔｙｐｅ１との間が、大腸となる。
なお、本実施形態においては、初期形状作成の際、大腸と結腸間膜との境界であるｔｙｐｅ０とｔｙｐｅ１との間に無視できない空間が存在するため、ｔｙｐｅ０とｔｙｐｅ１との中点をｔｙｐｅ５と分類している。
図１３に戻り、初期形状作成部１０２ｃは、点同士のラベルに応じた接続関係性、点同士の距離、および、点を端点とする多面体の辺の最大数に基づいて、複数の点を含む多面体の初期形状を作成する（ステップＳＢ−３）。
ここで、図１５から図１７を参照して、本実施形態における初期形状作成の一例について説明する。図１５は、本実施形態における点群を結ぶ条件の一例を示す図である。図１６は、本実施形態における点同士の距離の一例を示す図である。図１７は、本実施形態における初期形状の一例を示す図である。
図１５に示すように、本実施形態においては、点（ノード）同士（始点および終点）を結ぶ条件として、あるｔｙｐｅの始点（注目点）から、ｔｙｐｅが同じまたは異なる、所定の閾値を満たす終点に対して、最大何本エッジを結ぶことが可能かを設定している。
そして、図１６に示すように、本実施形態においては、ｔｙｐｅ０の点（始点および終点）同士を結ぶ際に、必ず注目点と注目点から最短距離にある点Ａとを結ぶようにしている。
そして、図１６に示すように、本実施形態においては、所定の閾値（２．５）と注目点から最短距離の点Ａまでの距離（ｄａ）とを掛けた値（２．５＊ｄａ）を半径とした円の範囲内に点があれば、距離が近い順に設定された最大本数（２本）だけエッジを接続している。
なお、図１５に示すように、本実施形態においては、最大本数が２本の場合でも、図１６に示すように、１本しかエッジを結べない場合もある。
そして、図１７に示すように、本実施形態においては、図１５に示す条件に基づいて、ノード同士をエッジで接続し、多面体の初期形状（グラフ構造）を作成している。
図１３に戻り、点取得部１０２ｂは、医用画像上において、多面体の辺の端点となる２つの点の間に、所定数の補助点を取得する（ステップＳＢ−４）。
ここで、図１８を参照して、本実施形態における補助点の一例について説明する。図１８は、本実施形態における補助点の一例を示す図である。
図１８に示すように、本実施形態においては、初期形状の構成要素であるノード間のエッジを決定した後に、エッジ上に更に２点の補助点を追加して、折れ線エッジとしている。
ここで、後述する本実施形態の法線取得処理においては、エッジの上の補助点を微動させ、各ノードの周りのエッジが平滑になるようすることで、法線の垂直方向の推定を容易にしている。
また、後述する本実施形態の法線取得処理においては、エッジを折れ線エッジにすることによって、エッジにより隣接する２つのノードにおける法線の垂直方向の表裏の推定を容易にしている。
図１３に戻り、法線取得部１０２ｄは、点から基準点を選択し、所定数の基準点近傍の点を選択し、基準点と近傍の点とから構成される所定数の三角形の法線を算出し、補助点の位置に基づいて、所定数の三角形の法線の平均である平均法線を算出し、平均法線を基準点における法線として取得する（ステップＳＢ−５）。
ここで、図１９および図２０を参照して、本実施形態における法線取得処理の一例について説明する。図１９は、本実施形態における法線取得処理の一例を示す図である。図２０は、本実施形態における法線の一例を示す図である。
図１９に示すように、本実施形態においては、基準点から３点の近傍点を選択し、注目点と近傍点とからなる３つの三角形（三角形１、三角形２および三角形３）を作成している。
そして、本実施形態においては、３つの三角形の法線（法線ベクトル）をそれぞれ算出し、３つの法線の平均となる平均法線を基準点における法線として取得している。
ここで、本実施形態においては、３点の近傍点を選択する際に、４点以上の近傍点とエッジで結ばれている基準点がある場合、３点の近傍点からできた三角形を全て求め、そのうち基準点から３点の近傍点へのベクトルの和が最も小さい三角形を、法線を求める三角形として選択してもよい。
すなわち、本実施形態においては、基準点から最も近い三角形を、法線を求める三角形とすることによって、より精度の高い法線を得ることができる。
そして、図２０に示すように、本実施形態においては、初期形状を構成する点（ノード）における法線（円錐）を取得している。ここで、円錐の底面から頂点への方向が、法線の向きを表している。
図１３に戻り、法線取得部１０２ｄは、同一のラベルが付与された点における法線から基準法線を決定し、基準法線の向き、および、点同士の隣接関係に基づいて、同一のラベルが付与された点における法線の向きを修正する（ステップＳＢ−６）。
ここで、図２１および図２２を参照して、本実施形態における向き修正（統一）処理の一例について説明する。図２１は、本実施形態における法線修正用ラベルの一例を示す図である。図２２は、本実施形態における向き統一の一例を示す図である。
本実施形態において、ｔｙｐｅ０の点における法線の向き修正処理においては、法線の向きを合わせる（統一する）基準として、ｔｙｐｅ０の所定の点における法線の向きを基準とし、基準となる点から順次隣接点の法線の向きを修正（統一）している。
更に、本実施形態においては、ｔｙｐｅ１、ｔｙｐｅ２およびｔｙｐｅ３の点についても、ｔｙｐｅ０の点と同じように法線の向きの修正を行っている。
一方で、本実施形態において、ｔｙｐｅ４の点においては、ｔｙｐｅ１、ｔｙｐｅ２またはｔｙｐｅ３と結ばれている点だけ法線の向きの修正を行っている。
ここで、図２１に示すように、法線の向きの修正がされていない点には、未修正を意味する０が付与され、法線の向きの修正がされた点、または、法線をチェック済みの点には、修正済みまたはチェック済みを意味する１が付与されている。
また、図２１に示すように、ｔｙｐｅ４の点には、ｔｙｐｅ１、ｔｙｐｅ２またはｔｙｐｅ３とエッジで結ばれている点だけに、修正またはチェック済みを意味する１が付与され、残りの点には、０が付与されている。
そして、図２２に示すように、全ての法線の向きの修正またはチェックが完了するまで処理を行うことで、より精度の高い法線を備えた初期形状を取得することができる。
図１３に戻り、法線取得部１０２ｄは、点から基準点を選択し、ガウス関数を用いて、基準点の隣接頂点となる点における法線に対して、基準点と隣接頂点との距離に応じた重み付けを行い、重み付けに基づいて、基準点における法線の平滑化を行う（ステップＳＢ−７）。
ここで、本実施形態における法線の平滑化においては、法線（法線ベクトル）の方向を、より腸間膜の形状に近づけるために行うものである。
本実施形態においては、法線ベクトルを用いて膜構造の推定を行うが、ＲＢＦ補間による形状再構成をする際、法線の向きが面の向きに一方向に向いていなければできない。
そこで、本実施形態においては、隣り合う点の法線に対して、下記数式４に示す３次元ガウス関数を用いて法線の向きを、基準点から隣り合う点の距離に応じて重み付けを行い、法線の平滑化を行っている。
・・・（数式４）
そして、膜構造推定部１０２ｅは、点の座標および点の法線に基づいて、動径基底関数に基づくＲＢＦ補間を用いて等値面を作成することで膜構造を推定する（ステップＳＢ−８）。
そして、膜構造推定部１０２ｅは、膜構造を入出力部１１２に表示させて、ユーザにより入出力部１１２を介して所定数のラベル毎に点の追加および／または削除の指示が入力されたか否かを判定する（ステップＳＢ−９）。
そして、膜構造推定部１０２ｅは、ステップＳＢ−９にて点の追加および／または削除の指示が入力されたと判定した場合（ステップＳＢ−９：Ｙｅｓ）、処理をステップＳＢ−１０に移行させる。
そして、点取得部１０２ｂは、ステップＳＢ−９にてユーザにより入力された指示に基づいて、医用画像上において、所定数のラベル毎に、初期形状を構成する点群に対して、点の追加、および／または、削除した点群を取得し（ステップＳＢ−１０）、処理をステップＳＢ−３に移行させる。
一方、膜構造推定部１０２ｅは、ステップＳＢ−９にて点の追加および／または削除の指示が入力されていないと判定した場合（ステップＳＢ−９：Ｎｏ）、処理をステップＳＢ−１１に移行させる。
そして、膜構造推定部１０２ｅは、法線を入出力部１１２に表示させて、ユーザにより入出力部１１２を介して点における法線の変更、追加、および／または、削除の指示が入力されたか否かを判定する（ステップＳＢ−１１）。
そして、膜構造推定部１０２ｅは、ステップＳＢ−１１にて法線の変更、追加、および／または、削除の指示が入力されたと判定した場合（ステップＳＢ−１１：Ｙｅｓ）、処理をステップＳＢ−１２に移行させる。
そして、法線取得部１０２ｄは、ステップＳＢ−１１にてユーザにより入力された指示に基づいて、初期形状を構成する点において、法線の変更、追加、および／または、削除を行い（ステップＳＢ−１２）、処理をステップＳＢ−８に移行させる。
一方、膜構造推定部１０２ｅは、ステップＳＢ−１１にて法線の変更、追加、および／または、削除の指示が入力されていないと判定した場合（ステップＳＢ−１１：Ｎｏ）、処理をステップＳＢ−１３に移行させる。
そして、画像再構成部１０２ｆは、膜構造推定部１０２ｅにより推定された膜構造に基づいて、腸間膜の範囲を切り出した再構成画像を作成する（ステップＳＢ−１３）。
ここで、図２３から図２６を参照して、本実施形態における画像切り出し処理の一例について説明する。図２３は、本実施形態における切り出し前ボリュームデータの一例を示す図である。図２４は、本実施形態におけるｔｙｐｅ１−３の法線をｔｙｐｅ４に向けた一例を示す図である。図２５は、本実施形態における切り出すためのボリュームデータの一例を示す図である。図２６は、本実施形態における切り出し後ボリュームデータの一例を示す図である。
本実施形態においては、推定した大腸の境界を含む腸間膜のボリュームデータからＲＢＦ補間により腸間膜のボリュームデータだけを切り取ることにより、再合成画像を作成してもよい。
ここで、本実施形態においては、図２３に示すボリュームデータから腸間膜のボリュームデータだけを切り取るために、図２４に示すように、腸間膜の形状の境界であるｔｙｐｅ１、ｔｙｐｅ２およびｔｙｐｅ３の法線ベクトルをｔｙｐｅ４の方に向け、ＲＢＦ補間による構造推定を行っている。
それにより、図２５に示すように、本実施形態においては、腸間膜だけが抜けたような形状のボリュームデータを再構成することができる。
そして、図２６に示すように、本実施形態においては、図２３に示すボリュームデータと、図２５に示すボリュームデータと、の腸間膜の形状の差に基づいて、図２３に示すボリュームデータから腸間膜だけのボリュームデータを切り出している。
図１３に戻り、画像出力部１０２ｇは、再構成画像をシミュレーション用データとして入出力部１１２に表示させ（ステップＳＢ−１４）、処理を終了する。
以上で、本実施形態における構造推定装置１００の処理の一例の説明を終える。
［他の実施形態］
さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。
例えば、構造推定装置１００がスタンドアローンの形態で処理を行う場合を一例に説明したが、構造推定装置１００は、クライアント端末（構造推定装置１００とは別筐体である）からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。
また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。
また、構造推定装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
例えば、構造推定装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて構造推定装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。
また、このコンピュータプログラムは、構造推定装置１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。
また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
記憶部１０６に格納される各種のデータベース等は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。
また、構造推定装置１００は、既知のデスクトップ型またはノート型のパーソナルコンピュータ、携帯電話、スマートフォン、ＰＨＳ、およびＰＤＡ等の携帯端末装置、ならびに、ワークステーション等の情報処理端末として構成してもよく、また、該情報処理端末に任意の周辺装置を接続して構成してもよい。また、構造推定装置１００は、該情報処理端末に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。
更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。
以上詳細に説明したように、本発明によれば、患者固有の医用画像を用いて、原理的に適切なコントラストを得られない膜構造の描出、および、モデリングをする構造推定装置、構造推定方法、および、プログラムを提供することができるので、特に医療、医学教育、および、生物学研究などの様々な分野において極めて有用である。
１００ 構造推定装置
１０２ 制御部
１０２ａ 画像取得部
１０２ｂ 点取得部
１０２ｃ 初期形状作成部
１０２ｄ 法線取得部
１０２ｅ 膜構造推定部
１０２ｆ 画像再構成部
１０２ｇ 画像出力部
１０６ 記憶部
１０６ａ 画像データベース
１１２ 入出力部

Claims (25)

  1. 医用画像上において、対象とする膜内に存在する複数の点を取得する点取得手段と、
    前記複数の点を含む多面体の初期形状を作成する初期形状作成手段と、
    前記点における法線を取得する法線取得手段と、
    前記点の座標および前記法線に基づいて、動径基底関数を用いて等値面を作成することで膜構造を推定する膜構造推定手段と、
    を備えたことを特徴とする構造推定装置。
  2. 請求項１に記載の構造推定装置において、
    前記初期形状作成手段は、
    座標に対応した所定数のラベルに基づいて、前記複数の点を含む前記多面体の前記初期形状を作成することを特徴とする構造推定装置。
  3. 請求項２に記載の構造推定装置において、
    前記初期形状作成手段は、
    前記点同士の前記ラベルに応じた接続関係性、前記点同士の距離、および、前記点を端点とする前記多面体の辺の最大数に基づいて、前記複数の点を含む前記多面体の前記初期形状を作成することを特徴とする構造推定装置。
  4. 請求項１から３のいずれか一つに記載の構造推定装置において、
    前記法線取得手段は、
    前記点から基準点を選択し、所定数の前記基準点近傍の前記点を選択し、前記基準点と前記基準点近傍の点とから構成される所定数の三角形の法線を算出し、前記所定数の三角形の法線の平均である平均法線を算出し、前記平均法線を前記基準点における前記法線として取得することを特徴とする構造推定装置。
  5. 請求項２に記載の構造推定装置において、
    前記法線取得手段は、
    更に、同一の前記ラベルが付与された前記点における前記法線から基準法線を決定し、前記基準法線の向き、および、前記点同士の隣接関係に基づいて、前記同一のラベルが付与された前記点における前記法線の向きを修正することを特徴とする構造推定装置。
  6. 請求項１から３のいずれか一つに記載の構造推定装置において、
    前記法線取得手段は、
    更に、前記点から基準点を選択し、ガウス関数を用いて、前記基準点の隣接頂点となる前記点における法線に対して、前記基準点と前記隣接頂点との距離に応じた重み付けを行い、前記重み付けに基づいて、前記基準点における前記法線の平滑化を行うことを特徴とする構造推定装置。
  7. 請求項１から３のいずれか一つに記載の構造推定装置において、
    前記点取得手段は、
    更に、前記医用画像上において、前記多面体の辺の端点となる２つの前記点の間に、所定数の補助点を取得し、
    前記法線取得手段は、
    前記補助点の位置に基づいて、前記点における法線を取得することを特徴とする構造推定装置。
  8. 請求項１から３のいずれか一つに記載の構造推定装置において、
    前記法線取得手段は、
    前記複数の点から選択した前記点である選択点における前記法線を取得することを特徴とする構造推定装置。
  9. 請求項８に記載の構造推定装置において、
    前記法線取得手段は、
    前記初期形状を表示させて、ユーザに前記複数の点から前記選択点を選択させ、前記選択点における前記法線を取得することを特徴とする構造推定装置。
  10. 請求項８または９に記載の構造推定装置において、
    前記法線取得手段は、
    前記多面体を構成する前記選択点を含む面に基づいて、前記選択点における前記法線を取得することを特徴とする構造推定装置。
  11. 請求項１から３のいずれか一つに記載の構造推定装置において、
    前記法線取得手段は、
    前記初期形状を表示させて、ユーザに前記点の追加および／または削除をさせ、前記点における前記法線を取得することを特徴とする構造推定装置。
  12. 請求項２に記載の構造推定装置において、
    前記点取得手段は、
    前記医用画像上において、前記所定数のラベル毎に、対象とする前記膜内に存在する前記複数の点を取得することを特徴とする構造推定装置。
  13. 請求項１から１１のいずれか一つに記載の構造推定装置において、
    前記点取得手段は、
    前記医用画像上において、領域拡張法により前記膜以外の構造上の点を抽出することで、対象とする前記膜内に存在する前記複数の点を取得することを特徴とする構造推定装置。
  14. 請求項１から８のいずれか一つに記載の構造推定装置において、
    前記点取得手段は、
    前記医用画像を表示させて、ユーザに前記医用画像上における対象とする前記膜内に存在する点を入力させ、前記複数の点を取得することを特徴とする構造推定装置。
  15. 請求項１から８のいずれか一つに記載の構造推定装置において、
    前記点取得手段は、
    前記医用画像を表示させて、ユーザに前記医用画像上における対象とする前記膜を示す線を入力させ、前記線上の点を特定することで、前記複数の点を取得することを特徴とする構造推定装置。
  16. 請求項１から１５のいずれか一つに記載の構造推定装置において、
    前記膜構造推定手段は、
    前記点の座標および前記法線に基づいて、前記動径基底関数に基づくＲＢＦ補間を用いて前記等値面を作成することで前記膜構造を推定することを特徴とする構造推定装置。
  17. 請求項１から８のいずれか一つに記載の構造推定装置において、
    前記膜構造推定手段は、
    更に、前記膜構造を表示させて、ユーザに前記点の追加および／または削除をさせることを特徴とする構造推定装置。
  18. 請求項１から８のいずれか一つに記載の構造推定装置において、
    前記膜構造推定手段は、
    更に、前記膜構造を表示させて、ユーザに前記法線の変更、追加および／または削除をさせることを特徴とする構造推定装置。
  19. 請求項１から１８のいずれか一つに記載の構造推定装置において、
    前記膜構造推定手段により推定された前記膜構造に基づいて、前記医用画像を再構成した再構成画像を作成する画像再構成手段と、
    前記再構成画像を出力させる画像出力手段と、
    を更に備えたことを特徴とする構造推定装置。
  20. 請求項１９に記載の構造推定装置において、
    前記画像再構成手段は、
    前記膜構造推定手段により推定された前記膜構造に基づいて、前記膜の範囲を切り出した前記再構成画像を作成することを特徴とする構造推定装置。
  21. 請求項１９に記載の構造推定装置において、
    前記画像再構成手段は、
    更に、ボリュームレンダリング法により、前記医用画像から膜以外の構造を描出した前記再構成画像を作成することを特徴とする構造推定装置。
  22. 請求項１９から２１のいずれか一つに記載の構造推定装置において、
    前記画像再構成手段は、
    更に、前記膜構造推定手段により推定された前記膜構造の確からしさを示す値を取得し、
    前記画像出力手段は、
    更に、前記膜構造の確からしさを示す値を表示させることを特徴とする構造推定装置。
  23. 請求項１から２２のいずれか一つに記載の構造推定装置において、
    前記医用画像は、
    前記膜構造のコントラストが視覚的に識別できないＣＴ画像またはＭＲＩ画像であることを特徴とする構造推定装置。
  24. 医用画像上において、対象とする膜内に存在する複数の点を取得する点取得ステップと、
    前記複数の点を含む多面体の初期形状を作成する初期形状作成ステップと、
    前記点における法線を取得する法線取得ステップと、
    前記点の座標および前記法線に基づいて、動径基底関数を用いて等値面を作成することで膜構造を推定する膜構造推定ステップと、
    を含むことを特徴とする構造推定方法。
  25. 医用画像上において、対象とする膜内に存在する複数の点を取得する点取得ステップと、
    前記複数の点を含む多面体の初期形状を作成する初期形状作成ステップと、
    前記点における法線を取得する法線取得ステップと、
    前記点の座標および前記法線に基づいて、動径基底関数を用いて等値面を作成することで膜構造を推定する膜構造推定ステップと、
    をコンピュータに実行させるためのプログラム。
JP2017539181A 2015-09-11 2016-09-07 構造推定装置、構造推定方法、および、プログラム Active JP6571784B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015179892 2015-09-11
JP2015179892 2015-09-11
PCT/JP2016/076246 WO2017043503A1 (ja) 2015-09-11 2016-09-07 構造推定装置、構造推定方法、および、プログラム

Publications (2)

Publication Number Publication Date
JPWO2017043503A1 true JPWO2017043503A1 (ja) 2018-06-28
JP6571784B2 JP6571784B2 (ja) 2019-09-04

Family

ID=58239867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017539181A Active JP6571784B2 (ja) 2015-09-11 2016-09-07 構造推定装置、構造推定方法、および、プログラム

Country Status (5)

Country Link
US (1) US20200234494A1 (ja)
EP (1) EP3348198A4 (ja)
JP (1) JP6571784B2 (ja)
CN (1) CN108024778A (ja)
WO (1) WO2017043503A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021028574A (ja) * 2017-12-08 2021-02-25 国立研究開発法人科学技術振興機構 法線を算出するための装置、方法およびプログラム
CN111710026B (zh) * 2020-05-11 2022-06-21 中国电建集团西北勘测设计研究院有限公司 一种利于分析三维模型内部结构的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4492886B2 (ja) * 2008-04-03 2010-06-30 富士フイルム株式会社 ３次元腹腔内領域検出装置、方法、およびプログラム
JP5295805B2 (ja) * 2009-02-05 2013-09-18 株式会社東芝 超音波診断装置、超音波画像処理装置、及び超音波画像処理プログラム
WO2011070927A1 (ja) * 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
JP2011221726A (ja) * 2010-04-08 2011-11-04 Hitachi Ltd 部品含有化学物質推定システム及び部品含有化学物質推定方法
CN104424629B (zh) * 2013-08-19 2018-01-26 深圳先进技术研究院 一种x光胸片肺部分割方法和装置
JP6216211B2 (ja) * 2013-10-25 2017-10-18 株式会社日立製作所 ３次元モデル生成装置、３次元モデル生成方法及びプログラム

Also Published As

Publication number Publication date
EP3348198A4 (en) 2019-05-15
EP3348198A1 (en) 2018-07-18
JP6571784B2 (ja) 2019-09-04
CN108024778A (zh) 2018-05-11
WO2017043503A1 (ja) 2017-03-16
US20200234494A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
KR102016959B1 (ko) 혈관 모델 생성 방법 및 장치
CN102368972B (zh) 利用患者特异性模型对影像引导进程进行计算机化模拟的系统和方法
JP5159301B2 (ja) 医用画像表示装置および画像表示方法
JP2019194906A (ja) データ及びモデルを用いた画像再構成ならびに補正のためのシステム及び方法
Bucki et al. Jacobian-based repair method for finite element meshes after registration
JP7038377B2 (ja) 生体モデル生成装置、生体モデル生成方法、および生体モデル生成プログラム
JP2002329216A (ja) 対象物に含まれる三次元画像をセグメント化する方法
JP5194138B2 (ja) 画像診断支援装置およびその動作方法、並びに画像診断支援プログラム
Ito et al. Robust generation of high‐quality unstructured meshes on realistic biomedical geometry
CN117115150B (zh) 用于确定分支血管的方法、计算设备和介质
JP6571784B2 (ja) 構造推定装置、構造推定方法、および、プログラム
CN107077718B (zh) 在考虑待检查对象的解剖结构时重新格式化
Majeed et al. Craniofacial reconstruction using rational cubic ball curves
JPWO2018159709A1 (ja) ３次元画像処理装置および方法並びにプログラム
JP4736755B2 (ja) モデリング装置、領域抽出装置、モデリング方法及びプログラム
Dłotko et al. Topology preserving thinning of cell complexes
JP5465291B2 (ja) 画像処理装置及び画像処理方法
CN114119928A (zh) 一种基于网格操作的肺内器官三维模型优化方法及系统
JP2019512284A (ja) 組織変形の存在下において手術を支援するためのシステム及び方法
JP3977237B2 (ja) ボリュームレンダリング画像処理プログラム、画像処理端末および画像処理サーバ
Zhang et al. Virtual eversion and rotation of colon based on outer surface centerline
Koutkalaki et al. Towards a foot bio-model for performing finite element analysis for footwear design optimization using a cloud infrastructure
Blezek et al. Center line algorithm for virtual endoscopy based on chamfer distance transform and Dijkstra's single-source shortest-path algorithm
JP2020075063A (ja) 画像補間・臓器抽出装置およびそのプログラム
JP6945379B2 (ja) 画像処理装置、磁気共鳴イメージング装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190808

R150 Certificate of patent or registration of utility model

Ref document number: 6571784

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250