JPWO2017175761A1 - 側弯症診断支援装置、側弯症診断支援方法及びプログラム - Google Patents

側弯症診断支援装置、側弯症診断支援方法及びプログラム Download PDF

Info

Publication number
JPWO2017175761A1
JPWO2017175761A1 JP2018510616A JP2018510616A JPWO2017175761A1 JP WO2017175761 A1 JPWO2017175761 A1 JP WO2017175761A1 JP 2018510616 A JP2018510616 A JP 2018510616A JP 2018510616 A JP2018510616 A JP 2018510616A JP WO2017175761 A1 JPWO2017175761 A1 JP WO2017175761A1
Authority
JP
Japan
Prior art keywords
information
dimensional shape
subject
scoliosis
acquisition unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018510616A
Other languages
English (en)
Other versions
JP6488536B2 (ja
Inventor
金井 理
理 金井
英毅 須藤
英毅 須藤
雄一郎 安倍
雄一郎 安倍
浩 長枝
浩 長枝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hokkaido University NUC
Noa KK
Original Assignee
Hokkaido University NUC
Noa KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hokkaido University NUC, Noa KK filed Critical Hokkaido University NUC
Publication of JPWO2017175761A1 publication Critical patent/JPWO2017175761A1/ja
Application granted granted Critical
Publication of JP6488536B2 publication Critical patent/JP6488536B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4561Evaluating static posture, e.g. undesirable back curvature
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4566Evaluating the spine
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7282Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/488Diagnostic techniques involving pre-scan acquisition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Dentistry (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本発明は、側弯症の早期発見を支援することが可能な側弯症診断支援装置などを提供することを目的とする。側弯症診断支援装置100は、被験者の背面の3次元形状を示す背面形状情報を取得する第1形状情報取得部101と、被験者の背面の3次元形状と、当該3次元形状の矢状面を基準として鏡像の関係にある3次元形状を示す反射対称情報を取得する第2形状情報取得部104と、背面形状情報が示す3次元形状と、反射対称情報が示す3次元形状との偏差の分布を取得する偏差分布取得部105と、例えば偏差の分布を表示部111に表示させる表示制御部110とを備える。

Description

本発明は、側弯症診断支援装置、側弯症診断支援方法及びプログラムに関する。
側弯症は、脊柱が変形する疾患である。症状が進行すると手術が必要になることもある一方で、早期に発見して治療をすれば、進行を止められることもある。そのため、早期に発見することが非常に重要である。
側弯症は学童期に発症することが多いため、その検診が、学校保健安全法で義務付けられている。ただ、側弯症の兆候は、被験者の背面における局所的な歪みとして現れることが多いため、検診で見落とされることもある。そこで、側弯症の診断を支援するためのシステムなどが種々提案されている。
例えば、光の干渉縞を利用して被験者の背面の形状を計測するモアレ法が提案されているが、これには、通常、大掛かりな装置などが必要となる。
また例えば、X線画像やCT(Computed Tomography)画像を利用して診断する方法もある。これらは、確定診断には有用であるが、一般的に、できる限り被ばくを避けたいという要望がある。CT画像を得るためのCTスキャナは、大掛かりな装置でもある。
検診に広く採用されるには、モアレ法を採用するシステムよりも構成が簡易で、かつ、放射線などを用いない低侵襲なシステムが望ましい。このようなシステムとして、例えば、特許文献1、2に記載のシステムが提案されている。
例えば、特許文献1に記載の側弯症スクリーニングシステムは、被験者の背面を撮影した画像を水平補正し二値化した後に解析することによって、所定のパラメータを取得する。所定のパラメータとして、特許文献1には、正中線Dの傾き角度、中央値連続線Cと正中線Dとの差の大きさ、肩ラインEの傾き、腰ラインGの角度、正中線Dを境界にして左右の面積の差分などが記載されている。ここで、中央値連続線Cは、肩部輪郭線と腰部輪郭線の中央値を結んで得られる線である。
特許文献2に記載の脊椎側弯症の評価システムは、被験者の背部を撮影することで得られる3次元データに基づいて、中心線を境にした左右のピーク位置の高低差を算出する。この高低差は、被験者の背部について湾曲の程度を測定すべき部位として指定される特徴部位について、算出される。これにより、特徴部位の捻じれ具合を把握することができると特許文献2には記載されている。
特開2013−248089号公報 国際公開第2013/81030号
しかしながら、特許文献1に記載の所定のパラメータは、被験者の背面の局所的な歪みを表す指標ではなく、被験者の背面の局所的な歪みを把握することが困難であると考えられる。また、特許文献2に記載の脊椎側弯症の評価システムでは、指定した特徴部位以外の部位について、捻じれ具合を把握することは困難である。
そのため、特許文献1,2のいずれに記載されたシステムであっても、局所的な歪みを、被験者の背面全体について網羅的に把握することが困難である。側弯症の兆候は、上述の通り、被験者の背面における局所的な歪みとして現れることが多いため、特許文献1,2のいずれに記載されたシステムを用いたとしても、側弯症の兆候を見落とす可能性がある。
本発明は、上記の事情に鑑みてなされたものであって、側弯症の早期発見を支援することが可能な側弯症診断支援装置などを提供することを目的とする。
本発明の第1の観点に係る側弯症検診支援装置は、
被験者の背面の3次元形状を示す背面形状情報を取得する第1形状情報取得部と、
前記被験者の背面の3次元形状と、当該3次元形状の矢状面を基準として鏡像の関係にある3次元形状を示す反射対称情報を取得する第2形状情報取得部と、
前記取得された背面形状情報が示す3次元形状と、前記取得された反射対称情報が示す3次元形状との偏差の分布を取得する偏差分布取得部と、
前記取得された偏差の分布に基づいて得られる情報であって、前記被験者に関する側弯症の診断を支援するための診断支援情報を出力部に出力させる出力制御部とを備える。
本発明の第2の観点に係る側弯症検診支援方法は、
被験者の背面の3次元形状を示す背面形状情報を取得することと、
前記被験者の背面の3次元形状と、当該3次元形状の矢状面を基準として鏡像の関係にある鏡像の関係にある3次元形状を示す反射対称情報を取得することと、
前記取得された背面形状情報が示す3次元形状の全体について、前記取得された反射対称情報が示す3次元形状からの偏差の分布を取得することと、
前記取得された偏差の分布に基づいて得られる情報であって、前記被験者に関する側弯症の診断を支援するための診断支援情報を出力部に出力させることとを含む。
本発明の第3の観点に係るプログラムは、
コンピュータを、
被験者の背面の3次元形状を示す背面形状情報を取得する第1形状情報取得部、
前記被験者の背面の3次元形状と、当該3次元形状の矢状面を基準として鏡像の関係にある3次元形状を示す反射対称情報を取得する第2形状情報取得部、
前記取得された背面形状情報が示す3次元形状の全体について、前記取得された反射対称情報が示す3次元形状からの偏差の分布を取得する偏差分布取得部、
前記取得された偏差の分布に基づいて得られる情報であって、前記被験者に関する側弯症の診断を支援するための診断支援情報を出力部に出力させる出力制御部、として機能させるためのものである。
本発明によれば、被験者の背面の3次元形状と、当該3次元形状の矢状面を基準として鏡像の関係にある3次元形状との偏差の分布に基づいて得られる診断支援情報を出力部に出力させる。これにより、診断をする医師などは、出力部に出力された診断支援情報を参照することで、被験者の背面における局所的な歪みを観察することができる。このように、局所的な歪みの発見を支援することができるので、側弯症の早期発見を支援することが可能になる。
本発明の実施の形態1に係る側弯症検診装置の機能的な構成を示す図である。 実施の形態1に係る第1形状情報取得部の機能的な構成を示す図である。 実施の形態1に係る整合部の機能的な構成を示す図である。 本発明の実施の形態1に係る側弯症診断支援処理の流れを示すフローチャートである。 本発明の実施の形態1に係る側弯症診断支援処理の流れを示すフローチャートである。 実施の形態1に係る第1形状情報取得処理の流れを示すフローチャートである。 実施の形態1に係る偏差分布取得処理の流れを示すフローチャートである。 実施の形態1に係る整合処理の流れを示すフローチャートである。 実施の形態1に係る姿勢調整処理の流れを示すフローチャートである。 側弯症に罹患した被験者の背面メッシュの一例を示す図であって、(a)は、第1の被験者に関するもの、(b)は、第2の被験者に関するもの、(c)は、第3の被験者に関するもの、(d)は、第4の被験者に関するものである。 側弯症に罹患した被験者の偏差の分布の一例を示す図であって、(a)は、第1の被験者に関するもの、(b)は、第2の被験者に関するもの、(c)は、第3の被験者に関するもの、(d)は、第4の被験者に関するものである。 健常な被験者の偏差の分布の一例を示す図である。 本発明の実施の形態1に係る側弯症検診装置の物理的な構成の例を示す図である。 本発明の実施の形態2に係る側弯症検診装置の機能的な構成を示す図である。 実施の形態2に係る第1形状情報取得部の機能的な構成を示す図である。 本発明の実施の形態2に係る側弯症診断支援処理の流れを示すフローチャートである。 本発明の実施の形態2に係る側弯症診断支援処理の流れを示すフローチャートである。 実施の形態2に係る第1形状情報取得処理の流れの一部を示すフローチャートである。 (a)は、実施の形態2に係る関心領域を説明するための図であって、(b)は、(a)と同じ被験者の偏差の分布の一例を示す。 実施の形態2に係る側弯症診断支援装置により求めた第1の非対称性指数と、Cobb角との関係を示す図である。 実施の形態2に係る側弯症診断支援装置により求めた第2の非対称性指数と、Cobb角との関係を示す図である。 実施の形態2に係る側弯症診断支援装置により求めた第1の非対称性指数を、Cobb角が25度以上の側弯症であるか否かの診断に適用した場合の(a)ROC曲線及び(b)感度・偽陽性率・偽陰性率・特異度を示す図である。 実施の形態2に係る側弯症診断支援装置により求めた第2の非対称性指数を、Cobb角が25度以上の側弯症であるか否かの診断に適用した場合の(a)ROC曲線及び(b)感度・偽陽性率・偽陰性率・特異度を示す図である。 実施の形態2に係る側弯症診断支援装置により求めた第1の非対称性指数を、Cobb角が15度以上の側弯症であるか否かの診断に適用した場合の(a)ROC曲線及び(b)感度・偽陽性率・偽陰性率・特異度を示す図である。 実施の形態2に係る側弯症診断支援装置により求めた第2の非対称性指数を、Cobb角が15度以上の側弯症であるか否かの診断に適用した場合の(a)ROC曲線及び(b)感度・偽陽性率・偽陰性率・特異度を示す図である。 Cobb角が25度以上の側弯症であるか否かの診断とCobb角が15度以上の側弯症であるか否かの診断との各診断に、第1及び第2の非対称性指数の各々を適用した場合の尤度比をまとめた図である。
本発明の実施の形態について図面を参照して説明する。
(実施の形態1)
本発明の実施の形態1に係る側弯症診断支援装置100は、側弯症であるか否か、或いは、側弯症の装具が必要か否かに関する医師による診断を支援するための装置である。側弯症診断支援装置100は、機能的には図1に示すように、第1形状情報取得部101と、主軸取得部102と、矢状面取得部103と、第2形状情報取得部104と、偏差分布取得部105と、非対称性データ記憶部108と、非対称性指数取得部109と、表示制御部110と、表示部111とを備える。
第1形状情報取得部101は、背面形状情報を取得する。背面形状情報は、被験者の背面の3次元形状を示す情報である。本実施の形態に係る背面形状情報は、背面メッシュを示す。背面メッシュは、三角形などの多角形の面の集合により被験者の背面の3次元形状を表す。被験者の背面は、被験者の後ろ姿のうち、側弯症によって表面形状が変化する領域であって、典型的には、腰から肩にかけて広がる領域(腕を除く。)である。
詳細には、第1形状情報取得部101は、図2に示すように、被験者データ取得部112と、領域設定部113と、切出部114と、メッシュ生成部115と、平滑化部116とを含む。
被験者データ取得部112は、被験者データを取得する。被験者データは、被験者の後ろ姿のスキャンデータとカラー画像データとを含む。
スキャンデータは、被験者の後ろ姿の3次元形状を複数の点で示すデータであって、例えば、3Dスキャナによって生成される。3Dスキャナとは、対象物の表面の凹凸を検知し、検知した結果を示す3次元データを生成する装置である。カラー画像データは、被験者の後ろ姿のカラー画像を示すデータであって、例えば、カメラによって生成されてもよく、カラー画像と奥行画像とを同時に取得するRGB−Dカメラによってスキャンデータと同時に生成されてもよい。
被験者データ取得部112によって取得されるスキャンデータとカラー画像データとの各データが示す被験者の後ろ姿は、同じ姿勢であり、また、被験者が、両手を組んで、さらに両腕を伸ばした立位、或いは、その前屈位の姿勢であることがより望ましい。
領域設定部113は、被験者データ取得部112によって取得されたカラー画像データが示す被験者の後ろ姿のカラー画像と予め定めた色相閾値とに基づいて、関心領域を設定する。関心領域とは、被験者の後ろ姿のカラー画像のうち、被験者の診断を支援するために利用される領域である。
詳細には、領域設定部113は、被験者データ取得部112によって取得されたカラー画像データが示す被験者の後ろ姿のカラー画像と予め定めた色相閾値とを比較する。これによって、領域設定部113は、被験者の後ろ姿のカラー画像のうちの背面領域を抽出し、抽出した背面領域を関心領域として設定する。背面領域とは、被験者の背面に対応する領域であり、本実施の形態では、背面領域が関心領域として採用されるものとする。
例えば、3Dスキャナによるスキャンやカメラによる撮影は、被験者が上半身裸であるなど背面の肌を露出させた状態で行われる。そのため、領域設定部113は、肌色の領域を特定することで、背面領域を抽出することができる。すなわち、色相閾値には、例えば、肌色に応じた色相の値が設定される。
被験者の後ろ姿は、上述の通り、被験者が、両手を組んでさらに両腕を伸ばした立位、或いは、その前屈位の姿勢である。そのため、被験者の腕を含まないので、領域設定部113によって抽出される背面領域も、被験者の腕を含まないものになる。
なお、領域特定部113により実行される処理は、図示しない入力部などによってユーザが手動で行ってもよい。これによれば、スキャンデータやカラー画像データが示す被験者の後ろ姿は、被験者が、両手を組んで、さらに両腕を伸ばした立位、或いは、その前屈位の姿勢でなくてもよい。
切出部114は、領域設定部113によって設定された関心領域に基づいて、被験者データ取得部112によって取得されたスキャンデータから被験者の背面の形状を示す複数の点を切り出す。
メッシュ生成部115は、切出部114によって切り出された複数の点に基づいて、背面形状情報を生成する。本実施の形態に係るメッシュ生成部115によって生成される背面形状情報は、例えば、複数の点を頂点とする複数の3角形面分の集合である背面メッシュを示す。なお、背面メッシュは、3角形面分に限られず、4角形面分、5角形面分などの多角形面分であってもよい。
平滑化部116は、メッシュ生成部115によって生成された背面形状情報が示す背面メッシュに、メディアンフィルタ処理、移動平均フィルタ処理などの平滑化処理を施す。平滑化部116は、平滑化処理を施した背面メッシュを示す背面形状情報を出力する。
図1を再び参照する。
主軸取得部102は、第1形状情報取得部101によって取得された背面形状情報が示す背面メッシュについて主成分分析を施す。これによって、主軸取得部102は、背面メッシュを構成する頂点点群が有する3つの主軸を求める。
背面メッシュを構成する頂点点群が有する3つの主軸とは、背面形状情報が示す背面メッシュを構成する頂点点群が存在する空間において、被験者の第1主軸、第2主軸、第3主軸の各主軸に相当する主軸である。被験者の第1主軸、第2主軸、第3主軸とは、被験者の上下方向、左右方向、前後方向のそれぞれと平行な主軸である。
矢状面取得部103は、第1形状情報取得部101によって取得された背面形状情報が示す背面メッシュの矢状面を求める。ここで、背面メッシュの矢状面とは、背面形状情報が示す3次元形状の矢状面の一例であって、背面メッシュを構成する頂点点群が存在する空間において、被験者の矢状面に相当する面である。
詳細には、矢状面取得部103は、主軸取得部102によって求められた3つの主軸に基づいて、背面メッシュの矢状面を求める。
第2形状情報取得部104は、反射対称情報を取得する。反射対称情報は、被験者の背面メッシュと、この背面メッシュの矢状面を基準として鏡像の関係にある3次元形状を示す情報である。
詳細には、第2形状情報取得部104は、第1形状情報取得部101によって取得された背面形状情報が示す背面メッシュと矢状面取得部103によって求められた背面メッシュの矢状面とに基づいて、反射対称情報を取得する。本実施の形態に係る反射対称情報は、反射対称メッシュを示す。反射対称メッシュは、例えば背面メッシュと同じ多角形面分である三角形面分の集合により被験者の背面メッシュと、この背面メッシュの矢状面を基準として鏡像の関係にある3次元形状を表す。
偏差分布取得部105は、第1形状情報取得部101によって取得された背面形状情報が示す背面メッシュと、第2形状情報取得部104によって取得された反射対称情報が示す反射対称メッシュとの偏差の分布を取得する。
詳細には、偏差分布取得部105は、整合部106と偏差取得部107とを含み、背面メッシュの全体と反射対称メッシュとで複数の対応する点を特定し、これら対応する点の間の各距離を偏差の分布として求める。
整合部106は、背面メッシュと反射対称メッシュとの位置関係を整合させる。整合部106によって位置関係を整合される背面メッシュと反射対称メッシュとは、それぞれ、第1形状情報取得部101と第2形状情報取得部104とによって取得されたものである。
より詳細には、整合部106は、図3に示すように、姿勢調整部117と、メッシュ調整部118とを含む。
姿勢調整部117は、背面メッシュと反射対称メッシュと各々において複数の特定点(例えば3つの特定点)を特定する。そして、姿勢調整部117は、3つの特定点が一致するように、背面メッシュと反射対称メッシュとの位置関係を調整する。これにより、背面メッシュと反射対称メッシュとの位置関係が、大まかに整合する。
より詳細には、姿勢調整部117は、第1独立点特定部119と、第2独立点特定部120と、独立点調整部121とを含む。
第1独立点特定部119は、背面メッシュ上の複数の特定点を特定する。例えば、第1独立点特定部119は、背面メッシュ上で近似絶対曲率が予め定められた閾値以上であり、かつ、予め定められた距離以上互いに離間している点を、特定点として特定する。
第2独立点特定部120は、反射対称メッシュ上の複数の特定点を特定する。例えば、第2独立点特定部120は、反射対称メッシュ上で近似絶対曲率が予め定められた閾値以上であり、かつ、予め定められた距離以上互いに離間している点を、特定点として特定する。
なお、背面メッシュと反射対称メッシュとの一方又は両方の特定点は、図示しない入力部などによって、ユーザによって指定されてもよい。
独立点調整部121は、第1独立点特定部119と第2独立点特定部120との各々で特定された複数の特定点同士を一致させるように、背面形状情報の位置姿勢を変換する。
メッシュ調整部118は、姿勢調整部117での調整によって位置関係が大まかに整合した背面メッシュと反射対称メッシュとの位置関係をICP(Interative Closest Point)法により整合させる。これにより、背面メッシュと反射対称メッシュとの位置関係が、より精度よく整合する。
図1を再び参照する。
偏差取得部107は、整合部106により反射対称メッシュとの位置関係を整合させた背面メッシュの全体について、その反射対称メッシュからの偏差の分布を求める。
詳細には、偏差取得部107は、整合部106により位置関係を整合させた背面メッシュと反射対称メッシュとで複数の対応する点を特定し、この対応する点の間の各距離を偏差の分布として求める。
より詳細には、偏差取得部107は、背面メッシュと反射対称メッシュとで最も近くに位置する点の組み合わせを、複数の対応する点として特定する。本実施の形態では、背面メッシュと反射対称メッシュとに含まれる複数の頂点で、最も近くに位置する複数の頂点の組み合わせが、複数の対応する点として特定される。
そして、偏差取得部107は、特定した複数の対応する点の間の各距離を偏差の分布として求める。
非対称性データ記憶部108は、非対称性データを記憶する。非対称性データは、偏差分布取得部105によって取得された偏差の分布を示すデータである。
非対称性指数取得部109は、偏差分布取得部105によって取得された偏差の分布と、背面メッシュの全体の面積とに基づいて、第1の非対称性指数を求める。第1の非対称性指数は、被験者の背面の形状が非対称である程度を示す値である。
表示制御部110は、画像を表示部111に表示させる。表示部111は、表示制御部110の制御の下で、画像を表示する。
例えば、表示制御部110は、偏差取得部107によって取得された偏差の分布を、例えばカラーマップ画像によって表示部111に表示させる。カラーマップ画像とは、偏差に応じて予め定められた色で被験者の背面の3次元形状が彩色された画像である。
また例えば、表示制御部110は、非対称性指数取得部109によって求められた第1の非対称性指数を表示部111に表示させる。
ここで、偏差取得部107によって取得された「偏差の分布」、偏差の分布に基づいて得られる「カラーマップ画像」、偏差の分布に基づいて得られる「第1の非対称性指数」の各々は、被験者に関する側弯症の診断を支援するための診断支援情報の例である。表示制御部110は、偏差の分布、カラーマップ画像、第1の非対称性指数の少なくとも1つを表示部111に表示させればよい。
また、表示制御部110は、出力制御部の一例であり、表示部111は、出力部の一例である。例えば、出力部は、プリンタ、他の装置へデータを送信するための通信インタフェースなどであり、出力制御部は、これらの制御部であってもよい。
これまで、本発明の実施の形態1に係る側弯症診断支援装置100の構成について説明した。ここから、本実施の形態に係る側弯症診断支援装置100の動作の例について説明する。
側弯症診断支援装置100は、図4及び5に示す側弯症診断支援処理を実行する。側弯症診断支援処理は、側弯症の診断を支援するための処理である。側弯症診断支援処理は、例えば、ユーザが入力部(図示せず)を操作して所定の指示を与えることに応答して、開始される。ここで、入力部は、ユーザが入力するために操作する部位であり、ボタンなどで構成される。
第1形状情報取得部101は、背面形状情報を取得する(ステップS101)。
詳細には、図6に示すように、被験者データ取得部112は、被験者の後ろ姿のスキャンデータとカラー画像データとを含む被験者データを取得する(ステップS111)。
領域設定部113は、ステップS111で取得したカラー画像と予め定めた色相閾値とを比較し、比較した結果に基づいて、被験者の後ろ姿のカラー画像のうち、被験者の背面に対応する背面領域を抽出する。領域設定部113は、抽出した背面領域を関心領域として設定する(ステップS112)。
切出部114は、ステップS112にて設定された関心領域に基づいて、ステップS111にて取得されたスキャンデータから被験者の背面の形状を示す複数の点を切り出す(ステップS113)。
例えば、切出部114は、領域設定部113によって設定された関心領域を示す関心領域情報を取得する。切出部114は、スキャンデータに含まれる複数の点のうち、取得した関心領域情報が示す領域に含まれる点をスキャンデータから抽出する。
メッシュ生成部115は、切出部114によって切り出された複数の点に基づいて、背面メッシュを示す背面形状情報を生成する(ステップS114)。
平滑化部116は、ステップS114にて生成された背面メッシュに平滑化処理を施す(ステップS115)。
平滑化部116は、平滑化処理を施した背面メッシュを示す背面形状情報を出力する(ステップS116)。これによって取得される背面メッシュの例を図10(a)〜(d)に示す。
図10(a)〜(d)は、それぞれ、第1〜第4の被験者の背面メッシュの例を示す。第1被験者は、胸椎側弯角10度の側弯症に罹患した被験者である。第2の被験者は、腰椎側弯角12度の側弯症に罹患した被験者である。第3の被験者は、胸椎側弯角34度の側弯症に罹患した被験者である。第4の被験者は、胸椎側弯角60度の側弯症に罹患した被験者である。
図4に示す側弯症診断支援処理に戻り、主軸取得部102は、ステップS101にて取得された背面メッシュについて主成分分析を施し、これによって、背面メッシュの3つの主軸を求める(ステップS102)。
例えば、主軸取得部102は、背面メッシュの頂点点群について主成分分析を行うことによって、背面メッシュの3つの主軸を求める。
詳細には例えば、主軸取得部102は、背面メッシュ上の複数の頂点の座標値について、分散共分散行列の固有ベクトルを3つの主軸として求める。
背面メッシュ上の頂点の範囲は、通常、上下方向、左右方向、前後方向の順で広い。
そのため、分散共分散行列の固有値のうち、最大の固有値に対応するベクトルが、背面メッシュを構成する頂点点群が存在する空間において、被験者の第1主軸に相当する主軸として求められる。分散共分散行列の固有値のうち、2番目に大きい固有値に対応するベクトルが、背面メッシュを構成する頂点点群が存在する空間において、被験者の第2主軸に相当する主軸として求められる。分散共分散行列の固有値のうち、最小の固有値に対応するベクトルが、背面メッシュを構成する頂点点群が存在する空間において、被験者の第3主軸に相当する主軸として求められる。
なお、主軸取得部102は、少なくとも、第1主軸及び第3主軸に相当する2つの主軸を求めればよい。この場合、矢状面取得部103は、主軸取得部102によって求められた2つの主軸に基づいて、背面メッシュの矢状面を求めるとよい。これにより、3つの軸を求める場合よりも、演算量が少なくなるので、処理を早くすることができる。
矢状面取得部103は、ステップS102によって求められた3つの主軸に基づいて、背面メッシュの矢状面を求める(ステップS103)。
第2形状情報取得部104は、ステップS101にて取得された背面メッシュとステップS103にて求められた矢状面とに基づいて、反射対称メッシュを示す反射対称情報を取得する(ステップS104)。
例えば、第2形状情報取得部104は、背面メッシュを、その矢状面で鏡像変換することによって反射対称メッシュを作成する。
なお、例えば、反射対称メッシュと背面メッシュとで冠状面に垂直な方向に対応する点が存在せず、その結果、背面メッシュに対応する点を反射対称メッシュ上に特定できない場合、反射対称メッシュは、外挿補完などによって拡張されてもよい。
偏差分布取得部105は、ステップS101にて取得された背面形状情報が示す背面メッシュの全体について、ステップS104にて取得された反射対称情報が示す反射対称メッシュからの偏差の分布を取得する(ステップS105)。
詳細には、図7に示すように、整合部106は、ステップS101とS104とのそれぞれで取得された情報が示す背面メッシュと反射対称メッシュとの位置関係を整合させる。(ステップS121)。
より詳細には、図8に示すように、姿勢調整部117が、背面メッシュと反射対称メッシュとの各々における複数の特定点に基づいて、背面メッシュと反射対称メッシュとの姿勢を調整する(ステップS131)。
より詳細には、図9に示すように、第1独立点特定部119は、背面メッシュにおいて、例えば3つの特定点を特定する(ステップS141)。また、第2独立点特定部120は、反射対称メッシュにおいて、例えば3つの特定点を特定する(ステップS142)。独立点調整部121は、ステップS141及びステップS142で特定した各点の位置が一致するように、背面メッシュと反射対称メッシュとの姿勢を調整する(ステップS143)。
図8に示す整合処理に戻り、メッシュ調整部118は、ステップS131にて位置関係が整合した背面メッシュと反射対称メッシュとの位置関係をICP法により調整する(ステップS132)。これにより、背面メッシュと反射対称メッシュとの位置関係が、より精度よく整合する。
図7に示す偏差分布取得処理に戻り、偏差取得部107は、ステップS132にて反射対称メッシュとの位置関係を整合させた背面メッシュの全体について、その反射対称メッシュからの各偏差を求める(ステップS122)。
偏差取得部107は、ステップS107にて求めた各偏差を各領域の位置と関連付けた偏差の分布を示す非対称性データを非対称性データ記憶部108に保存する(ステップS123)。
図5に示す側弯症診断支援処理に戻り、表示制御部110は、ステップS105にて求められた偏差の分布を、例えばカラーマップ画像によって表示部111に表示させる。これにより、表示部111は、被験者の背面における偏差の分布を、カラーマップ画像によって表示する(ステップS106)。これによって表示される偏差の分布の例を図11(a)〜(d)及び図12に示す。
図11(a)〜(d)は、それぞれ、第1〜第4の被験者の偏差の分布の例を示す。図12は、カラーマップ画像によって表された、健常な被験者の偏差の分布の一例を示す。
非対称性指数取得部109は、ステップS105にて求められた偏差の分布に含まれる各偏差と、背面メッシュの全体に含まれる各メッシュ領域の面積とに基づいて、第1の非対称性指数を求める(ステップS107)。
本実施の形態では、非対称性指数取得部109は、例えば背面メッシュでのメッシュ領域全体の面積で偏差の二乗和を除した値を第1の非対称性指数として求める。
この第1の非対称性指数は、背面メッシュ、すなわち、被験者の背面の形状が完全に左右対称であれば0となり、対称な形状からのズレが大きくなる程、正の大きな値となる。また、背面において、領域は狭いが局所的に著しく、対称な形状からずれた部分がある場合、この第1の非対称性指数は、その局所的な領域における偏差を強調して大きくなる傾向を有する。
表示制御部110は、ステップS107にて求められた第1の非対称性指数を表示部111に表示させる。これにより、表示部111は、第1の非対称性指数を表示し(ステップS108)、側弯症診断支援処理を終了する。
本実施の形態に係る側弯症診断支援装置100は、物理的には図13に示すように、CPU(Cntral Processing Unit)1001、RAM(Random Access Memory)1002、ROM(Read Only Memory)1003、フラッシュメモリ1004、通信I/F(Interface)1005、液晶パネル1006などから構成され、これらが内部バス1007により通信可能に接続されている。このような側弯症診断支援装置100は、例えば、汎用のパーソナルコンピュータ、タブレット端末、スマートホンである。
側弯症診断支援装置100が備える各機能は、例えば、CPU1001が予めインストールされたソフトウェア・プログラム(単に、「プログラム」ともいう。)を、RAM1002をワークスペースとして実行することによって実現される。
なお、プログラムは、フラッシュメモリ、DVD、CD−ROMなどの記憶媒体に格納して配布されてもよく、インターネットなどの有線、無線又はこれらを組み合わせた通信ネットワークを介して配信されてもよい。
詳細には例えば、第1形状情報取得部101、主軸取得部102、矢状面取得部103、第2形状情報取得部104、偏差分布取得部105、非対称性指数取得部109及び表示制御部110の機能は、上述のようにプログラムを実行するCPU1001などにより実現される。
非対称性データ記憶部108の機能は、フラッシュメモリ1004などにより実現される。表示部111の機能は、液晶パネル1006などにより実現される。
なお、側弯症診断支援装置100は、上述のような物理的な構成を備える3Dスキャナであってもよい。この場合、側弯症診断支援装置100は、自身の動作によって、スキャンデータを取得することができる。
これまで、本発明の実施の形態1について説明した。
本発明によれば、被験者の背面の3次元形状と、当該3次元形状の矢状面を基準として鏡像の関係にある3次元形状との偏差の分布に基づいて得られる診断支援情報を表示部111に表示させる。これにより、診断をする医師などは、表示部111に表示された診断支援情報を参照することで、被験者の背面における局所的な歪みを観察することができる。このように、局所的な歪みの発見を支援することができるので、側弯症の早期発見を支援することが可能になる。
本実施の形態によれば、被験者の背面の3次元形状を示す背面メッシュと被験者の背面に応じた反射対称メッシュとを取得する。そして、背面メッシュの全体について求めた反射対称メッシュからの偏差の分布を表示させる。これにより、診断をする医師などは、表示部に表示された偏差の分布を参照することで、被験者の背面全体について網羅的に局所的な歪みを観察することができる。従って、局所的な歪みの発見を支援にすることができるので、側弯症の早期発見を支援することが可能になる。
また、背面メッシュは、一般的な3Dスキャナなどを利用して取得することができる。そのため、大掛かりな装置、放射線などを利用する必要がない。従って、構成が簡易で、かつ、低侵襲性の側弯症診断支援装置100を提供することが可能になる。
偏差取得部107は、整合させた背面メッシュと反射対称メッシュとで複数の対応する点を特定し、対応する点の間の各距離を偏差の分布として求める。
詳細には、本実施の形態に係る偏差取得部107は、背面メッシュを構成する複数の頂点と反射対称メッシュを構成する複数の頂点とで最も近くに位置する頂点の組み合わせを複数の対応する点として特定する。そして、偏差取得部107は、特定した対応する点の間の各距離を偏差の分布として求める。
このような距離によって、被験者の背面全体についての偏差の分布を容易に得て、側弯症の早期発見を支援することが可能になる。
第2形状情報取得部104は、背面メッシュとその矢状面とに基づいて、反射対称メッシュを取得する。これにより、被験者の背面に応じた反射対称メッシュを容易に得て、側弯症の早期発見を支援することが可能になる。
表示制御部110は、偏差に応じて予め定められた色で被験者の背面の画像を彩色したカラーマップ画像によって、偏差の分布を表示部111に表示させる。これにより、側弯症の診断をする医師などは、被験者の平面の立体的な形状の歪みを容易に把握することができる。従って、側弯症の早期発見を支援することが可能になる。
非対称性指数取得部109は、偏差の分布を構成する各偏差と、背面メッシュの全体の面積とに基づいて、背面の形状が非対称である程度を示す第1の非対称性指数を求める。この第1の非対称性指数を参照することで、被験者の背面が対称な形状からどの程度ズレているかを容易に知ることができる。従って、側弯症の早期発見を支援することが可能になる。
第1形状情報取得部101は、被験者の後ろ姿のカラー画像に基づいて、被験者の後ろ姿のスキャンデータから、被験者の背面を切り出すことによって、背面メッシュを生成する。これにより、背面メッシュを自動的に取得することができる。スキャンデータ及びカラー画像は、3Dスキャナやカメラを利用して容易に取得することができるので、被験者の背面全体についての偏差の分布を容易に得て、側弯症の早期発見を支援することが可能になる。
整合部106は、特定点に基づいて背面メッシュと反射対称メッシュとの位置関係を整合させた後、ICP法により、背面メッシュと反射対称メッシュとの位置関係を整合させる。これにより、背面メッシュと反射対称メッシュとの位置関係を自動的に正確に整合させることができるので、被験者の背面全体についての偏差の分布を容易に得て、側弯症の早期発見を支援することが可能になる。
特にこれによって、背面メッシュを取得するための3Dスキャナなどに対する被験者の位置や姿勢に依存することなく、正確な偏差の分布を得ることができる。従って、側弯症の早期発見を容易に支援することが可能になる。例えば、前屈姿勢は、側弯症の発見には有用であり、前屈姿勢での背面メッシュに基づいて、偏差の分布を得ることで、より正確かつ容易で信頼性の高い側弯症の早期発見を支援することが可能になる。
(実施の形態2)
実施の形態1では、領域設定部113により抽出された背面領域をそのまま関心領域として採用した。本実施の形態では、背面領域の一部を関心領域として採用する。また、本実施の形態では、実施の形態1で説明した第1の非対称性指数に加えて、それを被験者の身長で除した第2の非対称性指数を、診断支援情報として採用する。
本実施の形態に係る側弯症診断支援装置200は、図14に示すように、機能的には、実施の形態1と同様の、主軸取得部102と、矢状面取得部103と、第2形状情報取得部104と、整合部106及び偏差取得部107を含む偏差分布取得部105と、非対称性データ記憶部108とを備える。
さらに、側弯症診断支援装置200は機能的に、実施の形態1に係る第1形状情報取得部101、非対称性指数取得部109、表示制御部110、表示部111のそれぞれに代わる、第1形状情報取得部201、非対称性指数取得部209、表示制御部210、表示部211を備える。
第1形状情報取得部201は、実施の形態1に係る第1形状情報取得部101と同様に、被験者の背面の3次元形状を示す背面形状情報を取得する。
詳細には、本実施の形態に係る第1形状情報取得部201は、図15に示すように、実施の形態1と同様の被験者データ取得部112と、切出部114と、メッシュ生成部115と、平滑化部116とを含む。さらに、第1形状情報取得部201は、実施の形態1に係る領域設定部113に代わる、領域設定部213を含む。
領域設定部213は、実施の形態1に係る領域設定部113と同様に、被験者データ取得部112によって取得されたカラー画像データが示す被験者の後ろ姿のカラー画像と予め定めた色相閾値とに基づいて、関心領域を設定する。本実施の形態に係る領域設定部213は、実施の形態1に係る領域設定部113とは異なり、被験者の背面領域から予め定められた方法で抽出される領域を関心領域として採用する。
詳細には、領域設定部213は、実施の形態1と同様に、被験者データ取得部112によって取得されたカラー画像データが示す被験者の後ろ姿のカラー画像と予め定めた色相閾値とに基づいて、被験者の後ろ姿のカラー画像のうちの背面領域を抽出する。
そして、領域設定部213は、ユーザなどが予め定めた方法で背面領域から抽出される一部の領域を、関心領域として設定する。
非対称性指数取得部209は、実施の形態1に係る非対称性指数取得部109と同様に、偏差分布取得部105によって取得された偏差の分布と、背面メッシュの全体の面積とに基づいて、被験者の第1の非対称性指数を求める。非対称性指数取得部209は、さらに、第1の非対称性指数を当該被験者の身体の大きさを示す値で除することによって、当該被験者の第2の非対称性指数を求める。本実施の形態では、被験者の体の大きさを示す値として、被験者の身長を採用する。
第2の非対称性指数は、第1の非対称性指数と同様に、被験者の背面の形状が非対称である程度を示す値である。
なお、被験者の身長を示す身長情報は例えば、図示しない入力部などによってユーザが入力してもよい。また例えば、第1形状情報取得部201が身長情報を含む被験者データを取得し、非対称性指数取得部209は、その身長情報を、例えば第1形状情報取得部201から取得してもよい。
表示制御部210は、画像を表示部211に表示させ、表示部211は、表示制御部210の制御の下で、画像を表示する。この点、表示制御部210及び表示部211のそれぞれは、実施の形態1に係る表示制御部110及び表示部111と概ね同様である。
表示制御部210は、実施の形態1にて説明したカラーマップ画像及び第1の非対称性指数に加えて、第2の非対称性指数を表示部211に表示させる。
なお、第2の非対称性指数は、これまで説明したように、偏差の分布に基づいて得られる情報である。すなわち、「第2の非対称性指数」は、「偏差の分布」、「カラーマップ画像」、「第1の非対称性指数」の各々と同様に、診断支援情報の1つである。表示制御部210は、偏差の分布、カラーマップ画像、第1の非対称性指数、第2の非対称性指数の少なくとも1つを表示部111に表示させればよい。
また、本実施の形態に係る表示制御部210及び表示部211のそれぞれは、実施の形態1に係る表示制御部110及び表示部111と同様に、出力制御部及び出力部の一例である。
これまで、本発明の実施の形態2に係る側弯症診断支援装置200の構成について説明した。ここから、本実施の形態に係る側弯症診断支援装置200の動作の例について説明する。
側弯症診断支援装置200は、実施の形態1と同様に、側弯症の診断を支援するための処理である側弯症診断支援処理を実行する。本実施の形態に係る側弯症診断支援処理は、図16及び17に示すように、実施の形態1に係るステップS101、S107及びS108(図4及び5参照)のそれぞれの処理に代わる、ステップS201、S207及びS208の処理を含む。本実施の形態に係る側弯症診断支援処理に含まれるその他の処理(ステップS102〜S106の処理)については、実施の形態1に含まれる各処理と同様である。
第1形状情報取得部201は、背面形状情報を取得する(ステップS201)。
詳細には、図18に示すように、被験者データ取得部112は、実施の形態1と同様に、被験者の後ろ姿のスキャンデータとカラー画像データとを含む被験者データを取得する(ステップS111)。
領域設定部213は、ステップS111で取得したカラー画像と予め定めた色相閾値とを比較し、比較した結果に基づいて、被験者の後ろ姿のカラー画像のうち、被験者の背面に対応する背面領域を抽出する(ステップS212_1)。
さらに、領域設定部113は、抽出した背面領域から予め定められた方法で特定される領域を関心領域として設定する(ステップS212_2)。
関心領域を特定するための方法は、ユーザなどにより適宜設定されるとよい。例えば、本実施の形態では、関心領域は、背面領域のうち、上下方向には腰のくびれと両肩との間であり、かつ、左右方向には中央軸から腰のくびれまでを100%とした場合の矩形領域として予め定められる。中央軸とは、背面領域の左右の幅の中心を通る線である。図19(a)は、このような方法で特定される関心領域の一例(中央軸から腰のくびれまでを100%とした場合)を矩形の白枠Wで示している。
切出部114は、ステップS112にて設定された関心領域に基づいて、実施の形態1と同様の切り出し処理(ステップS113)を実行し、続けて、実施の形態1と同様のステップS114〜S116が実行される。そして、側弯症診断支援装置200は、図16に示す側弯症診断支援処理に戻る。
そして、図16及び17に示すように、ステップS102〜S106の処理が実行される。図19(b)は、本実施の形態にてステップS106の処理を実行することによって表示される被験者の偏差の分布の一例を示す。
続けて、図17に示すように、非対称性指数取得部209は、偏差の分布に含まれる各偏差と、背面メッシュの全体に含まれる各メッシュ領域の面積と、被験者の身長とに基づいて、第1及び第2の非対称性指数を求める(ステップS207)。
詳細には例えば、非対称性指数取得部209は、実施の形態1と同様の方法によって、第1の非対称性指数を求める。さらに、非対称性指数取得部209は、第1の非対称性指数を被験者の身長で割ることによって、第2の非対称性指数を求める。
第2の非対称性指数は、実施の形態1にて説明した第1の非対称性指数と概ね同様の傾向を示す値である。
すなわち、第2の非対称性指数は、背面メッシュ、すなわち、被験者の背面の形状が完全に左右対称であれば0となり、対称な形状からのズレが大きくなる程、正の大きな値となる。また、背面において、領域は狭いが局所的に著しく、対称な形状からずれた部分がある場合、第2の非対称性指数は、その局所的な領域における偏差を強調して大きくなる傾向を有する。
表示制御部210は、ステップS207にて求められた第1及び第2の非対称性指数を表示部211に表示させる。これにより、表示部211は、第1及び第2の非対称性指数を表示し(ステップS208)、側弯症診断支援処理を終了する。
なお、物理的には、本実施の形態に係る側弯症診断支援装置200は、実施の形態1に係る側弯症診断支援装置100と同様に構成されてよい。
これまで、本発明の実施の形態2について説明した。
本発明によれば、実施の形態1と同様に、被験者の背面の3次元形状と、当該3次元形状の矢状面を基準として鏡像の関係にある3次元形状と偏差の分布に基づいて得られる診断支援情報を表示部211に表示させる。これにより、診断をする医師などは、表示部211に表示された診断支援情報を参照することで、被験者の背面における局所的な歪みを観察することができる。このように、局所的な歪みの発見を支援することができるので、側弯症の早期発見を支援することが可能になる。
本実施の形態では、背面領域の全体ではなく、その一部を関心領域として設定する。一般的に、被験者の背中の端部近傍における体表面の立体形状は、被験者の姿勢の影響を受け易い。そのため、主に背骨の歪みに起因して体表面の立体形状が変化し易い領域(例えば、背面領域のうち、端部近傍を除いた領域)を、関心領域として設定することで、より正確な診断支援情報を得ることができる。また、予め定めた方法で背面領域から抽出した領域を関心領域とすることで、被験者の撮影状態などによらず、被験者間で概ね対応する領域を関心領域として設定することができる。そのため、異なる被験者間で比較可能な非対称性指数を得ることができ、側弯症の診断により有用な非対称性指数を得ることができる。これにより、側弯症の早期発見を支援することが可能になる。さらに、偏差の分布を取得するための演算量を低減することができる。
第1の非対称性指数と第2の非対称性指数とは、上述した通り、側弯症の程度を示す値として、診断支援において概ね同様の傾向を示すが、異なる点もある。以下では、概ね実施の形態2で説明した方法で複数の被験者について得られた第1の非対称性指数と第2の非対称性指数とを基に、第1及び第2の非対称性指数の各々の有用性とその性質について、図22〜26を参照して説明する。
なお、以下の説明及び図22〜26は、背面領域のうち、上下方向には腰のくびれと両肩との間であり、かつ、左右方向には中央軸から腰のくびれまでを100%とした場合に、左右各々に中央軸から70%の幅内の矩形領域を関心領域として設定して得られた結果に基づく。この点が、実施の形態2と異なる。
図20は、複数の被験者について、Cobb角と第1の非対称性指数との関係を示す図である。図20において、横軸(x軸)は、Cobb角(単位は、度である)を表し、縦軸(y軸)は、第1の非対称性指数を表す。図21は、複数の被験者について、Cobb角と第2の非対称性指数との関係を示す図である。図21において、横軸(x軸)は、Cobb角(単位は、度である。)を表し、縦軸(y軸)は、第1の非対称性指数を表す。
図20及び21の各々に示すように、相関係数をRとすると、Rは、Cobb角と第1の非対称性指数との関係において、0.764である。また、Cobb角と第2の非対称性指数との関係において、Rは、0.7814である。Cobb角は、側弯症の程度を示す指数として一般的に採用されている。相関係数Rをみると、第1の非対称性指数と第2の非対称性指数との各々は、Cobb角と高い相関を有しており、側弯症の程度を示す指数として有用である。
次に、図22〜25は、第1及び第2の非対称性指数の各非対称性指数を側弯症の診断に適用した場合の(a)ROC(Receiver Operating Characteristic)曲線及び(b)感度・偽陽性率・偽陰性率・特異度を示す図である。なお。図22(a)〜25(a)の二点鎖線の直線は、ROC曲線に接する傾き45度の線分を示す。
ここで、「感度」とは、陽性の被験者について、非対称性指数が陽性の値を示す割合であって、真陽性感度とも言われる。「偽陽性率」とは、陰性の被験者について、非対称性指数が陽性の値を示す割合である。「偽陰性率」とは、陽性の被験者について、非対称性指数が陰性の値を示す割合である。「特異度」とは、陰性の被験者について、非対称性指数が陰性の値を示す割合である。
図22及び図23では、Cobb角が25度以上である場合に、側弯症と診断する(或いは、装具が必要な程度の側弯症と診断する)とした場合の例である。図22及び23のそれぞれは、そのような診断に、第1の非対称性指数及び第2の非対称性指数を適用した結果を示す。
Cobb角が25度以上である被験者を側弯症と診断するために第1の非対称性指数を用いる場合、図22(a)に示すようにROC曲線に基づいてカットオフ値を163465とすると、図22(b)に示すように、感度、特異度のそれぞれは、0.926、0.873となる。
Cobb角が25度以上である被験者を側弯症と診断するために第2の非対称性指数を用いる場合、図23(a)に示すようにROC曲線に基づいてカットオフ値を1300とすると、図23(b)に示すように、感度、特異度のそれぞれは、0.852、0.952となる。
図24及び図25では、Cobb角が15度以上である場合に、側弯症と診断する(或いは、装具が必要な程度の側弯症と診断する)とした場合の例である。図24及び25のそれぞれは、そのような診断に、第1の非対称性指数及び第2の非対称性指数を適用した結果を示す。
Cobb角が15度以上である被験者を側弯症と診断するために第1の非対称性指数を用いる場合、図24(a)に示すようにROC曲線に基づいてカットオフ値を107643とすると、図24(b)に示すように、感度、特異度のそれぞれは、0.935、0.864となる。
Cobb角が15度以上である被験者を側弯症と診断するために第2の非対称性指数を用いる場合、図25(a)に示すようにROC曲線に基づいてカットオフ値を694とすると、図25(b)に示すように、感度、特異度のそれぞれは、0.935、0.841となる。
一般的に、診断方法が当該疾病などの診断に有用であるか否かを判定するために、尤度比が採用される。尤度比とは、「その状態の人がその審査結果となる確率」を「その状態にない人がその審査結果となる確率」で除することで得られる。例えば、検査結果が陽性の場合の尤度比を陽性尤度比とすると、「陽性尤度比=感度/偽陽性率=感度/(1−特異度)」の計算式により求められる。また例えば、検査結果が陰性の場合の尤度比を陰性尤度比とすると、「陰性尤度比=偽陰性率/特異度=(1−感度)/特異度」の計算式により求められる。
そして、陽性尤度比は、大きいほど確定診断に優れており、一般的に、10以上であれば、確定診断に有用とされる。陰性尤度比は、小さいほど除外診断に優れており、一般的に、0.1以下であれば、除外診断に有用とされる。
図26は、上述のような側弯症の診断に、第1及び第2の非対称性指数の各々を適用した場合の尤度比をまとめた図である。
同図を見ると分かるように、Cobb角が25度以上である被験者を側弯症と診断するために第1の非対称性指数を用いた場合、陰性尤度比が0.1以下である。そのため、Cobb角が25度以上である被験者を側弯症と診断する場合、第1の非対称性指数は、除外診断に有用であると言える。
Cobb角が25度以上である被験者を側弯症と診断するために第2の非対称性指数を用いた場合、陽性尤度比が10以上である。そのため、Cobb角が25度以上である被験者を側弯症と診断する場合、第2の非対称性指数は、確定診断に有用であると言える。
Cobb角が15度以上である被験者を側弯症と診断するために第1の非対称性指数を用いた場合、陰性尤度比が0.1以下である。そのため、Cobb角が15度以上である被験者を側弯症と診断する場合、第1の非対称性指数は、除外診断に有用であると言える。
Cobb角が15度以上である被験者を側弯症と診断するために第2の非対称性指数を用いた場合、陰性尤度比が0.1以下である。そのため、Cobb角が15度以上である被験者を側弯症と診断する場合、第2の非対称性指数は、除外診断に有用であると言える。
このように、第1の非対称性指数及び第2の非対称性指数の各々は、側弯症の確定診断又は除外診断に有用な指数であり、容易に得ることができる値である。そのため、第1の非対称性指数及び第2の非対称性指数の一方を用いることで、側弯症の早期発見を支援することが可能になる。また、第1の非対称性指数及び第2の非対称性指数の両方を用いることで、より正確な側弯症の早期発見を支援することが可能になる。
以上、本発明の実施の形態について説明したが、本発明は、これらの実施の形態に限られない。例えば、本発明は、以下のように変形されてもよく、実施の形態及び変形例の一部又は全部を適宜組み合わせた形態、その形態に適宜変更を加えた形態をも含む。
(変形例1)
偏差分布取得部105は、背面メッシュ上の複数の点と、この複数の点のそれぞれから冠状面に垂直な方向に位置する反射対称メッシュ上の複数の点との組み合わせを、複数の対応する点として特定してもよい。また、偏差分布取得部105は、反射対称メッシュ上の複数の点と、この複数の点のそれぞれから冠状面に垂直な方向に位置する背面メッシュ上の複数の点との組み合わせを、複数の対応する点として特定してもよい。
すなわち、本変形例に係る偏差分布取得部105は、背面形状情報及び反射対称情報のうちの一方の情報が示す3次元形状としてのメッシュ上の複数の頂点と、背面形状情報及び反射対称情報のうちの他方の情報が示す3次元形状としてのメッシュ上において、一方の情報が示す3次元形状としてのメッシュ上の複数の頂点のそれぞれから冠状面に垂直な方向に位置する複数の点との組み合わせを、複数の対応する点として特定する。
本変形例によっても、被験者の背面全体についての偏差の分布を容易に得ることができる。従って、実施の形態と同様の効果を奏する。
(変形例2)
実施の形態で説明した、反射対称メッシュの取得方法は、その一例に過ぎない。
例えば、反射対称メッシュは、フラッシュメモリなどで構成される反射対称メッシュ記憶部(図示せず)に予め記憶されてもよい。そして、第2形状情報取得部104は、反射対称メッシュ記憶部から反射対称メッシュを取得してもよい。
(変形例3)
第1形状情報取得部101は、さらに、平滑化部116から出力された背面形状情報から、この背面形状情報に含まれる被験者の腕を除くための第1画像抽出部(図示せず)を含んでもよい。第1画像抽出部は、例えば、背面形状情報が示す背面メッシュから、水平方向断面を解析し、断面曲線上の左右の極小点を検出し、その左右の極小点の間に存在するメッシュのみを背面メッシュとして抽出するとよい。
この変形例3によれば、スキャンデータやカラー画像データが示す被験者の後ろ姿は、被験者が、両手を組んで、さらに両腕を伸ばした立位、或いは、その前屈位の姿勢でなくてもよい。
(変形例4)
第1形状情報取得部101は、さらに、標準的な背面に応じて定められた矩形枠を予め保持する第2画像抽出部(図示せず)を含んでもよい。この場合、第2画像抽出部は、平滑化部116から出力された背面形状情報のうち、その矩形枠の中の情報を背面形状情報として出力してもよい。
この変形例4によれば、スキャンデータやカラー画像データが示す被験者の後ろ姿は、被験者が、両手を組んで、さらに両腕を伸ばした立位、或いは、その前屈位の姿勢でなくてもよい。
(変形例5)
整合部106が側弯症診断支援装置100に備えられなくてもよい。或いは、整合部106が、姿勢調整部117を備えることなく、メッシュ調整部118を備えてもよい。
これによれば、姿勢調整部117及びメッシュ調整部118の処理、或いは、姿勢調整部117の処理をしなくてよいため、全体的な処理を早くすることが可能になる。
特に、整合部106が備えられない場合、偏差の分布の精度は、整合部106が備えられる場合よりも低下するものの、それによって、過検出になると考えらえる。そのため、側弯症に罹患しているか否かの1次的なスクリーニングをするために有用である。
(変形例6)
実施の形態2では、被験者の身体の大きさを示す値として被験者の身長を採用し、第1の非対称性指数を除する被験者の身長で除することによって第2の非対称性指数を求める例を説明した。しかし、第2の非対称性指数は、第1の非対称性指数を被験者の身体の大きさで規格化したものであればよく、被験者の身体の大きさを示す値は、身長に限られない。被験者の身体の大きさを示す値として、例えば、被験者の背面領域の面積、被験者の肩幅などが採用されてもよい。背面領域の面積や肩幅は、身長のように別途取得しなくても、側弯症診断支援装置200が取得するカラー画像データから得ることができる。従って、より容易に第2の非対称性指数を得ることが可能になる。
本発明は、被験者が側弯症に罹患しているか否か、或いは、装具が必要か否かに関する医師などの診断を支援するための装置などに有用である。
100,200 側弯症診断支援装置
101,201 第1形状情報取得部
102 主軸取得部
103 矢状面取得部
104 第2形状情報取得部
105 偏差分布取得部
106 整合部
107 偏差取得部
108 非対称性データ記憶部
109,209 非対称性指数取得部
110,210 表示制御部
111,211 表示部
112 被験者データ取得部
113,213 領域設定部
114 切出部
115 メッシュ生成部
116 平滑化部
117 姿勢調整部
118 メッシュ調整部
119 第1独立点特定部
120 第2独立点特定部
121 独立点調整部

Claims (14)

  1. 被験者の背面の3次元形状を示す背面形状情報を取得する第1形状情報取得部と、
    前記被験者の背面の3次元形状と、当該3次元形状の矢状面を基準として鏡像の関係にある3次元形状を示す反射対称情報を取得する第2形状情報取得部と、
    前記取得された背面形状情報が示す3次元形状と、前記取得された反射対称情報が示す3次元形状との偏差の分布を取得する偏差分布取得部と、
    前記取得された偏差の分布に基づいて得られる情報であって、前記被験者に関する側弯症の診断を支援するための診断支援情報を出力部に出力させる出力制御部とを備える
    ことを特徴とする側弯症診断支援装置。
  2. 前記取得された偏差の分布と、前記背面形状情報が示す3次元形状の全体の面積とに基づいて、前記背面の3次元形状が非対称である程度を示す第1の非対称性指数を、前記診断支援情報として求める非対称性指数取得部をさらに備える
    ことを特徴とする請求項1に記載の側弯症診断支援装置。
  3. 前記非対称性指数取得部は、前記求めた第1の非対称性指数を前記被験者の身体の大きさを示す値で除することによって、前記第1の非対称性指数とともに、又は、前記第1の非対称性指数の代わりに、第2の非対称性指数を前記診断支援情報として求める
    ことを特徴とする請求項2に記載の側弯症診断支援装置。
  4. 前記出力制御部は、前記取得された偏差の分布を、前記診断支援情報として前記出力部に出力させる
    ことを特徴とする請求項1から3のいずれか1項に記載の側弯症診断支援装置。
  5. 前記出力制御部は、前記偏差に応じて予め定められた色で前記被験者の背面の3次元形状を彩色した画像であるカラーマップ画像によって、前記取得された偏差の分布を、前記診断支援情報として前記出力部に表示させる
    ことを特徴とする請求項4に記載の側弯症診断支援装置。
  6. 前記偏差分布取得部は、前記取得された背面形状情報と前記取得された反射対称情報とが示す3次元形状の各々で複数の対応する点を特定し、当該対応する点の間の各距離を前記偏差の分布として求める
    ことを特徴とする請求項1から5のいずれか1項に記載の側弯症診断支援装置。
  7. 前記偏差分布取得部は、前記背面形状情報及び前記反射対称情報のうちの一方の情報が示す3次元形状上の複数の点と、前記他方の情報が示す3次元形状上において、前記一方の情報が示す3次元形状上の複数の点のそれぞれの最も近くに位置する複数の点との組み合わせを、前記複数の対応する点として特定する
    ことを特徴とする請求項6に記載の側弯症診断支援装置。
  8. 前記偏差分布取得部は、前記背面形状情報及び前記反射対称情報のうちの一方の情報が示す3次元形状上の複数の点と、前記背面形状情報及び前記反射対称情報のうちの他方の情報が示す3次元形状上において、前記一方の情報が示す3次元形状上の複数の点のそれぞれから冠状面に垂直な方向に位置する複数の点との組み合わせを、前記複数の対応する点として特定する
    ことを特徴とする請求項6に記載の側弯症診断支援装置。
  9. 前記取得された背面形状情報が示す3次元形状の矢状面を求める矢状面取得部をさらに備え、
    前記第2形状情報取得部は、前記取得された背面形状情報が示す3次元形状と前記求められた矢状面とに基づいて、前記反射対称情報を取得する
    ことを特徴とする請求項1から8のいずれか1項に記載の側弯症診断支援装置。
  10. 前記取得された背面形状情報が示す3次元形状について主成分分析を施すことによって、前記背面形状情報が示す3次元形状上の点群が存在する空間において、前記被験者の上下方向及び前後方向のそれぞれと平行な第1主軸及び第3主軸に相当する2つの主軸を求める主軸取得部をさらに備え、
    前記矢状面取得部は、前記求められた2つの主軸に基づいて、前記取得された背面形状情報が示す3次元形状の矢状面を求める
    ことを特徴とする請求項9に記載の側弯症診断支援装置。
  11. 前記偏差分布取得部は、
    前記取得された背面形状情報と前記取得された反射対称情報とが示す3次元形状の各々の位置関係を整合させる整合部と、
    前記反射対称情報が示す3次元形状との位置関係を整合させた、背面形状情報が示す3次元形状の全体について、前記前記反射対称情報が示す3次元形状からの偏差の分布を求める偏差取得部とを含む
    ことを特徴とする請求項1から10のいずれか1項に記載の側弯症診断支援装置。
  12. 第1形状情報取得部は、
    被験者の後ろ姿の3次元形状上の複数の点を示すスキャンデータと前記被験者の後ろ姿のカラー画像を示すカラー画像データとを取得する被験者データ取得部と、
    前記取得されたカラー画像データが示すカラー画像と予め定められた色相閾値とを比較することによって、前記被験者の背面に対応する背面領域を抽出し、当該抽出した背面領域から予め定められた方法で特定される領域を関心領域として設定する領域設定部と、
    前記スキャンデータから前記設定された関心領域に対応する領域内の複数の点を切り出す切出部と、
    前記切り出された複数の点に基づいて、前記被験者の背面の3次元形状をメッシュで示す情報を前記背面形状情報として生成するメッシュ生成部とを含む
    ことを特徴とする請求項1から11のいずれか1項に記載の側弯症診断支援装置。
  13. 被験者の背面の3次元形状を示す背面形状情報を取得することと、
    前記被験者の背面の3次元形状と、当該3次元形状の矢状面を基準として鏡像の関係にある鏡像の関係にある3次元形状を示す反射対称情報を取得することと、
    前記取得された背面形状情報が示す3次元形状の全体について、前記取得された反射対称情報が示す3次元形状からの偏差の分布を取得することと、
    前記取得された偏差の分布に基づいて得られる情報であって、前記被験者に関する側弯症の診断を支援するための診断支援情報を出力部に出力させることとを含む
    ことを特徴とする側弯症診断支援方法。
  14. コンピュータを、
    被験者の背面の3次元形状を示す背面形状情報を取得する第1形状情報取得部、
    前記被験者の背面の3次元形状と、当該3次元形状の矢状面を基準として鏡像の関係にある3次元形状を示す反射対称情報を取得する第2形状情報取得部、
    前記取得された背面形状情報が示す3次元形状の全体について、前記取得された反射対称情報が示す3次元形状からの偏差の分布を取得する偏差分布取得部、
    前記取得された偏差の分布に基づいて得られる情報であって、前記被験者に関する側弯症の診断を支援するための診断支援情報を出力部に出力させる出力制御部、として機能させるためのプログラム。
JP2018510616A 2016-04-05 2017-04-04 側弯症診断支援装置、側弯症診断支援方法及びプログラム Active JP6488536B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016075547 2016-04-05
JP2016075547 2016-04-05
PCT/JP2017/014082 WO2017175761A1 (ja) 2016-04-05 2017-04-04 側弯症診断支援装置、側弯症診断支援方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2017175761A1 true JPWO2017175761A1 (ja) 2019-02-14
JP6488536B2 JP6488536B2 (ja) 2019-03-27

Family

ID=60000469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018510616A Active JP6488536B2 (ja) 2016-04-05 2017-04-04 側弯症診断支援装置、側弯症診断支援方法及びプログラム

Country Status (3)

Country Link
US (1) US11179096B2 (ja)
JP (1) JP6488536B2 (ja)
WO (1) WO2017175761A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102108462B1 (ko) * 2018-03-06 2020-05-07 (주)블루스파인테크놀러지 신체의 공간 좌표를 이용한 척추측만 정도를 판정하는 방법 및 이를 위한 컴퓨터 프로그램
JP6741305B2 (ja) * 2018-11-07 2020-08-19 株式会社スペースビジョン 脊椎骨姿勢推定装置
JP6738506B1 (ja) * 2020-05-29 2020-08-12 株式会社日本医療機器開発機構 背部画像の読影支援装置、読影支援方法、及びプログラム
CN113628740B (zh) * 2021-06-22 2023-05-02 四川大学 一种基于3d照相技术的儿童脊柱形态快速分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5080109A (en) * 1991-02-15 1992-01-14 Arme Jr Joseph F Method and apparatus for analysis of postural abnormalities
WO2013081030A1 (ja) * 2011-11-29 2013-06-06 学校法人 東洋大学 脊椎側弯症の評価システムおよび同システムに適用される評価用器具

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070106182A1 (en) 2005-10-17 2007-05-10 Arnett G W Method for determining and measuring frontal head posture and frontal view thereof
JP2007257324A (ja) 2006-03-23 2007-10-04 Space Vision:Kk 顔モデル作成システム
WO2010056538A1 (en) * 2008-10-29 2010-05-20 Tim Maguire An automated vessel puncture device using three-dimensional(3d) near infrared (nir) imaging and a robotically driven needle
US9788759B2 (en) * 2010-12-27 2017-10-17 Joseph Ralph Ferrantelli Method and system for postural analysis and measuring anatomical dimensions from a digital three-dimensional image on a mobile device
BR112013017073A2 (pt) 2011-01-05 2018-06-05 Koninl Philips Electronics Nv aparelho para detecção de assimetria em um objeto, método para a detecção de assimetria, meio legível por computador tendo um software e sistema para a detecção de doenças cerebrais.
JP5391293B2 (ja) 2012-02-16 2014-01-15 株式会社メディックエンジニアリング 身体再建モデル形状データ作成装置及び方法並びにプログラム
JP5652882B2 (ja) 2012-05-31 2015-01-14 学校法人北里研究所 側弯症スクリーニングシステム、これに使用する側弯症判定プログラム,及び端末装置
US20170273614A1 (en) * 2014-08-21 2017-09-28 Halifax Biomedical Inc. Systems and methods for measuring and assessing spine instability

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5080109A (en) * 1991-02-15 1992-01-14 Arme Jr Joseph F Method and apparatus for analysis of postural abnormalities
WO2013081030A1 (ja) * 2011-11-29 2013-06-06 学校法人 東洋大学 脊椎側弯症の評価システムおよび同システムに適用される評価用器具

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
金 亨燮 他: ""左右濃度差評価に基づくモアレ画像からの脊柱側彎症自動識別"", MEDICAL IMAGING TECHNOLOGY, vol. 21, no. 2, JPN6017021969, March 2003 (2003-03-01), pages 131 - 138 *

Also Published As

Publication number Publication date
WO2017175761A1 (ja) 2017-10-12
JP6488536B2 (ja) 2019-03-27
US20190117148A1 (en) 2019-04-25
US11179096B2 (en) 2021-11-23

Similar Documents

Publication Publication Date Title
JP6488536B2 (ja) 側弯症診断支援装置、側弯症診断支援方法及びプログラム
JP4909377B2 (ja) 画像処理装置及びその制御方法、コンピュータプログラム
US9566002B2 (en) Image processing apparatus, image processing method, and program
JP4909378B2 (ja) 画像処理装置及びその制御方法、コンピュータプログラム
WO2017141958A1 (ja) 脊柱配列推定装置、脊柱配列推定方法及び脊柱配列推定プログラム
JP5698465B2 (ja) 眼科装置、表示制御方法及びプログラム
US20130094720A1 (en) Non-linear projections of 3-d medical imaging data
US20110262015A1 (en) Image processing apparatus, image processing method, and storage medium
US9619874B2 (en) Image processing apparatus and image processing method
JP5952564B2 (ja) 画像処理装置、画像処理方法
JP5007420B2 (ja) 画像解析システム、及び画像解析プログラム
JP5631339B2 (ja) 画像処理装置、画像処理方法、眼科装置、眼科システム及びコンピュータプログラム
KR20120048603A (ko) 화상 처리 장치, 화상 처리 방법 및 저장 매체
JP6541334B2 (ja) 画像処理装置、画像処理方法、およびプログラム
Michoński et al. Automatic recognition of surface landmarks of anatomical structures of back and posture
JP5961504B2 (ja) 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
JP5174232B2 (ja) 画像処理方法、画像処理装置、断層像撮像システム及び、コンピュータプログラム
JP2020074876A (ja) 脊椎骨姿勢推定装置
JP6192496B2 (ja) 眼科疾患判定用の画像解析装置および眼科用の画像解析方法
JP2019046057A (ja) 画像処理装置、画像処理方法およびプログラム
CHOI et al. Measurement of vertebral rotation from moire image for screening of adolescent idiopathic scoliosis
JP6868233B2 (ja) 対称性可視化装置、対称性可視化方法及びプログラム
JP2017221742A (ja) 画像解析装置、画像解析装置の制御方法及びプログラム
JP7387280B2 (ja) 画像処理装置、画像処理方法及びプログラム
Węgliński et al. Image segmentation algorithms for diagnosis support of hydrocephalus in children

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181003

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181018

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20181018

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20181114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181207

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190208

R150 Certificate of patent or registration of utility model

Ref document number: 6488536

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250