JP7292667B1 - 推定装置、プログラム及び記録媒体 - Google Patents

推定装置、プログラム及び記録媒体 Download PDF

Info

Publication number
JP7292667B1
JP7292667B1 JP2023053286A JP2023053286A JP7292667B1 JP 7292667 B1 JP7292667 B1 JP 7292667B1 JP 2023053286 A JP2023053286 A JP 2023053286A JP 2023053286 A JP2023053286 A JP 2023053286A JP 7292667 B1 JP7292667 B1 JP 7292667B1
Authority
JP
Japan
Prior art keywords
estimation
image
image data
learning
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023053286A
Other languages
English (en)
Other versions
JP2023089024A (ja
Inventor
健一 渡辺
政之 京本
信太郎 本多
徹 茂呂
栄 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
University of Tokyo NUC
Original Assignee
Kyocera Corp
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp, University of Tokyo NUC filed Critical Kyocera Corp
Application granted granted Critical
Publication of JP7292667B1 publication Critical patent/JP7292667B1/ja
Publication of JP2023089024A publication Critical patent/JP2023089024A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/482—Diagnostic techniques involving multiple energy imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

推定装置は、第１の人の腰部を撮影した第１腰部単純Ｘ線画像を含む入力情報から、ニューラルネットワークに基づいて骨の骨密度および骨量の少なくとも１つの推定値を推定する推定部を備える。ニューラルネットワークは、第１の人と異なる第２の人の第２腰部単純Ｘ線画像を含む学習データと、第２の人の骨密度および骨量の少なくとも１つの測定値を含む教師データとに基づく学習済みパラメータを含む。【選択図】図１

Description

本開示は、骨密度または骨量の推定に関する。
特許文献１には、骨粗鬆症を判定する技術が記載されている。特許文献２には、骨の強度を推定する技術が記載されている。
特開２００８－３６０６８号公報 特表２００２－５２３２０４号公報
推定装置、推定方法、プログラム及び記録媒体が開示される。一の実施の形態では、推定装置は、第１の人の腰部を撮影した第１腰部単純Ｘ線画像を含む入力情報から、ニューラルネットワークに基づいて骨の骨密度および骨量の少なくとも１つの推定値を推定する推定部を備える。ニューラルネットワークは、第１の人と異なる第２の人の第２腰部単純Ｘ線画像を含む学習データと、第２の人の骨密度および骨量の少なくとも１つの測定値を含む教師データとに基づく学習済みパラメータを含む。
一の実施の形態では、推定方法は、第１の人の腰部を撮影した第１腰部単純Ｘ線画像を含む入力情報から、ニューラルネットワークに基づいて骨の骨密度および骨量の少なくとも１つの推定値を推定する。第１の人と異なる第２の人の第２腰部単純Ｘ線画像を含む学習データと、第２の人の骨密度および骨量の少なくとも１つの測定値を含む教師データとに基づく学習済みパラメータに基づいてニューラルネットワークが設定されている。
一の実施の形態では、プログラムは、コンピュータ装置を、上記の推定装置として機能させるためのものである。
一の実施の形態では、プログラムは、コンピュータ装置に、上記の推定方法を実行させるためのものである。
一の実施の形態では、記録媒体は、上記のプログムを記憶する。
コンピュータ装置（推定装置）の構成の一例を示す図である。 推定装置の動作を説明するための図である。 ニューラルネットワークの構成の一例を示す図である。 学習用画像データ及び基準骨密度が互いに対応付けられている様子の一例を示す図である。 推定装置の動作を説明するための図である。 推定システムの一例を示す図である。 推定装置の構成の一例を示す図である。 推定装置の構成の一例を示す図である。 推定装置の構成の一例を示す図である。 推定装置の構成の一例を示す図である。 推定装置の構成の一例を示す図である。 推定装置の構成の一例を示す図である。 推定システムの構成を模式的に示す概念図である。 推定システムの一部の構成を模式的に示す概念図である。 推定システムの一部の構成を模式的に示す概念図である。 推定システムの一部の構成を模式的に示す概念図である。 推定システムの一部の構成を模式的に示す概念図である。 推定システムの他の実施形態の一部の構成を模式的に示す概念図である。
実施の形態１．
図１は本実施の形態１に係るコンピュータ装置１の構成の一例を示すブロック図である。コンピュータ装置１は、骨密度を推定する推定装置として機能する。以後、コンピュータ装置１を「推定装置１」と呼ぶことがある。
図１に示されるように、推定装置１は、例えば、制御部１０、記憶部２０、通信部３０、表示部４０及び入力部５０を備える。制御部１０、記憶部２０、通信部３０、表示部４０及び入力部５０は、例えば、バス６０で互いに電気的に接続されている。
制御部１０は、推定装置１の他の構成要素を制御することによって、推定装置１の動作を統括的に管理することが可能である。制御部１０は制御装置あるいは制御回路とも言える。制御部１０は、以下にさらに詳細に述べられるように、種々の機能を実行するための制御及び処理能力を提供するために、少なくとも１つのプロセッサを含む。
種々の実施形態によれば、少なくとも１つのプロセッサは、単一の集積回路（ＩＣ）として、または複数の通信可能に接続された集積回路（ＩＣ）及び／またはディスクリート回路（discrete circuits）として実行されてもよい。少なくとも１つのプロセッサは、種々の既知の技術に従って実行されることが可能である。
１つの実施形態において、プロセッサは、例えば、関連するメモリに記憶された指示を実行することによって１以上のデータ計算手続又は処理を実行するように構成された１以上の回路又はユニットを含む。他の実施形態において、プロセッサは、１以上のデータ計算手続き又は処理を実行するように構成されたファームウェア（例えば、ディスクリートロジックコンポーネント）であってもよい。
種々の実施形態によれば、プロセッサは、１以上のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号処理装置、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、またはこれらのデバイス若しくは構成の任意の組み合わせ、または他の既知のデバイス及び構成の組み合わせを含み、以下に説明される機能を実行してもよい。本例では、制御部１０は、例えばＣＰＵ（Central Processing Unit）を備えている。
記憶部２０は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）などの、制御部１０のＣＰＵが読み取り可能な非一時的な記録媒体を含む。記憶部２０には、推定装置１を制御するための制御プログラム１００が記憶されている。制御部１０の各種機能は、制御部１０のＣＰＵが記憶部２０内の制御プログラム１００を実行することによって実現される。制御プログラム１００は、コンピュータ装置１を推定装置として機能させるための骨密度推定プログラムであるとも言える。本例では、制御部１０が記憶部２０内の制御プログラム１００を実行することによって、制御部１０には、図２に示されるように、骨密度の推定値３００を出力することが可能な近似器２８０が形成される。近似器２８０は、例えば、ニューラルネットワーク２００を備える。制御プログラム１００は、コンピュータ装置１をニューラルネットワーク２００として機能させるためのプログラムであるとも言える。以後、骨密度の推定値を「骨密度推定値」と呼ぶことがある。なお、ニューラルネットワーク２００の構成例については後で詳細に説明する。
記憶部２０には、制御プログラム１００以外にも、ニューラルネットワーク２００に関する学習済みパラメータ１１０、推定用データ１２０（以下、「入力情報」ともいう）、学習用データ１３０及び教師データ１４０が記憶されている。学習用データ１３０及び教師データ１４０は、ニューラルネットワーク２００を学習させる際に使用されるデータである。学習済みパラメータ１１０及び推定用データ１２０は、学習済みのニューラルネットワーク２００が骨密度を推定する場合に使用するデータである。
学習用データ１３０は、ニューラルネットワーク２００の学習時に、ニューラルネットワーク２００の入力層２１０に入力されるデータである。学習用データ１３０は、学習データとも呼ばれる。教師データ１４０は、骨密度の正しい値を示すデータである。教師データ１４０は、ニューラルネットワーク２００の学習時に、ニューラルネットワーク２００の出力層２３０から出力される出力データと比較される。学習用データ１３０及び教師データ１４０はまとめて教師付き学習データと呼ばれることがある。
推定用データ１２０は、学習済みのニューラルネットワーク２００が骨密度を推定する場合に、その入力層２１０に入力されるデータである。学習済みパラメータ１１０は、ニューラルネットワーク２００内の学習されたパラメータである。学習済みパラメータ１１０は、ニューラルネットワーク２００の学習で調整されたパラメータであると言える。学習済みパラメータ１１０には、人工ニューロン間の結合の重みを示す重み付け係数が含まれる。学習済みのニューラルネットワーク２００は、図２に示されるように、入力層２１０に入力される推定用データ１２０に対して学習済みパラメータ１１０に基づく演算を行って、出力層２３０から骨密度推定値３００を出力する。
なお、入力層２１０に入力されるデータは、入力部５０を介して入力層２１０に入力されてもよいし、入力層２１０に直接入力されてもよい。入力層２１０に直接入力される場合には、入力層２１０は、入力部５０の一部または全部とされてもよい。以後、骨密度推定値３００を推定結果３００と呼ぶことがある。
通信部３０は、有線あるいは無線で、インターネット等を含む通信ネットワークに接続されている。通信部３０は、通信ネットワークを通じて、クラウドサーバ及びウェブサーバ等の他の装置と通信することが可能である。通信部３０は、通信ネットワークから受け取った情報を制御部１０に入力することが可能である。また通信部３０は、制御部１０から受け取った情報を通信ネットワークに出力することが可能である。
表示部４０は、例えば、液晶表示ディスプレイあるいは有機ＥＬディスプレイである。表示部４０は、制御部１０によって制御されることによって、文字、記号、図形などの各種情報を表示することが可能である。
入力部５０は、推定装置１に対するユーザからの入力を受け付けることが可能である。入力部５０は、例えば、キーボード及びマウスを備える。入力部５０は、表示部４０の表示面に対するユーザの操作を検出することが可能なタッチパネルを備えてもよい。
なお、推定装置１の構成は上記の例に限られない。例えば、制御部１０は、複数のＣＰＵを備えてもよい。また制御部１０は、少なくとも一つのＤＳＰを備えてもよい。また、制御部１０の全ての機能あるいは制御部１０の一部の機能は、その機能の実現にソフトウェアが不要なハードウェア回路によって実現されてもよい。また記憶部２０は、ＲＯＭ及びＲＡＭ以外の、コンピュータが読み取り可能な非一時的な記録媒体を備えていてもよい。記憶部２０は、例えば、小型のハードディスクドライブ及びＳＳＤ（Solid State Drive）などを備えてもよい。また記憶部２０は、推定装置１に対して着脱可能な、ＵＳＢ（Universal Serial Bus）メモリ等のメモリを備えてもよい。以後、推定装置１に対して着脱可能なメモリを「着脱式メモリ」と呼ぶことがある。
＜ニューラルネットワークの構成例＞
図３は、ニューラルネットワーク２００の構成の一例を示す図である。本例では、ニューラルネットワーク２００は、例えば、畳み込みニューラルネットワーク（ＣＮＮ（Convolutional Neural Network））である。図３に示されるように、ニューラルネットワーク２００は、例えば、入力層２１０と、隠れ層２２０と、出力層２３０とを備える。隠れ層２２０は中間層とも呼ばれる。隠れ層２２０は、例えば、複数の畳み込み層２４０と、複数のプーリング層２５０と、全結合層２６０とを備える。ニューラルネットワーク２００では、出力層２３０の前段に全結合層２６０が存在している。そして、ニューラルネットワーク２００では、入力層２１０と全結合層２６０との間において、畳み込み層２４０とプーリング層２５０とが交互に配置されている。
なお、ニューラルネットワーク２００の構成は図３の例には限られない。例えば、ニューラルネットワーク２００は、入力層２１０と全結合層２６０との間に、１つの畳み込み層２４０と１つのプーリング層２５０とを備えてもよい。また、ニューラルネットワーク２００は、畳み込みニューラルネットワーク以外のニューラルネットワークであってもよい。
＜推定用データ、学習用データ及び教師データの一例＞
推定用データ１２０は、骨密度の推定対象の骨が写る単純Ｘ線像の画像データを含む。骨密度の推定対象は、例えば人である。したがって、推定用データ１２０は、人の骨が写る単純Ｘ線像の画像データを含むと言える。学習用データ１３０には、人の骨が写る複数の単純Ｘ線像の画像データが含まれる。単純Ｘ線像は、２次元像であって、一般Ｘ線像あるいはレントゲン像とも呼ばれる。なお、骨密度の推定対象は人以外であってもよい。例えば、骨密度の推定対象は、イヌ、ネコあるいはウマ等の動物であってもよい。また、対象とする骨は、主に、生物由来の皮質骨及び海綿骨であるが、対象とする骨に、リン酸カルシウムを主成分とする人工骨、あるいは再生医療等によって人工的に製造された再生骨が含まれてもよい。
以後、推定用データ１２０に含まれる画像データを「推定用画像データ」と呼ぶことがある。また、推定用データ１２０に含まれる画像データが示す単純Ｘ線像を「推定用単純Ｘ線像」と呼ぶことがある。また、学習用データ１３０に含まれる画像データを「学習用画像データ」と呼ぶことがある。また、学習用データ１３０に含まれる画像データが示す単純Ｘ線像を「学習用単純Ｘ線像」と呼ぶことがある。学習用データ１３０には、複数の学習用単純Ｘ線像をそれぞれ示す複数の学習用Ｘ線画像データが含まれる。
推定用単純Ｘ線像の撮影部位としては、例えば、頭部、頚部、胸部、腰部、股関節、膝関節、足関節、足部、足趾、肩関節、肘関節、手関節、手部、手指あるいは顎関節が採用される。言い換えれば、推定用データ１２０としては、頭部に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、頚部に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、胸部に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、腰部に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、股関節に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、膝関節に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、足関節に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、足部に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、足趾に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、肩関節に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、肘関節に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、手関節に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、手部に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、手指に対してＸ線が照射されて得られた単純Ｘ線像の画像データあるいは顎関節に対してＸ線が照射されて得られた単純Ｘ線像の画像データが採用される。胸部に対してＸ線が照射されて得られた単純Ｘ線像には、肺が写る単純Ｘ線像と、胸椎が写る単純Ｘ線像とが含まれる。なお、推定用単純Ｘ線像の撮影部位の種類はこの限りではない。また、推定用単純Ｘ線像は、対象部位が正面から写る正面像であってもよいし、対象部位が側面から写る側面像であってもよい。
学習用データ１３０に含まれる複数の学習用画像データがそれぞれ示す複数の学習用単純Ｘ線像の撮影部位には、例えば、頭部、頚部、胸部、腰部、股関節、膝関節、足関節、足部、足趾、肩関節、肘関節、手関節、手部、手指及び顎関節の少なくとも１種類が含まれる。言い換えれば、学習用データ１３０には、頭部に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、頚部に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、胸部に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、腰部に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、股関節に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、膝関節に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、足関節に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、足部に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、足趾に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、肩関節に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、肘関節に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、手関節に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、手部に対してＸ線が照射されて得られた単純Ｘ線像の画像データ、手指に対してＸ線が照射されて得られた単純Ｘ線像の画像データ及び顎関節に対してＸ線が照射されて得られた単純Ｘ線像の画像データの１５種類の画像データのうちの少なくとも１種類が含まれる。学習用データ１３０には、１５種類の画像データのうちの一部の種類の画像データが含まれてもよいし、全ての種類の画像データが含まれてもよい。なお、学習用単純Ｘ線像の撮影部位の種類はこの限りではない。また、複数の学習用単純Ｘ線像には、正面像が含まれてもよいし、側面像が含まれてもよい。また、複数の学習用単純Ｘ線像には、同じ撮影部位の正面像及び側面像の両方が含まれてもよい。
教師データ１４０には、学習用データ１３０に含まれる複数の学習用画像データのそれぞれについて、当該学習用画像データが示す学習用単純Ｘ線像に写る骨を有する人の骨密度の測定値が含まれる。教師データ１４０に含まれる複数の骨密度の測定値には、例えば、腰椎に対してＸ線が照射されて測定された骨密度の測定値、大腿骨近位部に対してＸ線が照射されて測定された骨密度、橈骨に対してＸ線が照射されて測定された骨密度、中手骨に対してＸ線が照射されて測定された骨密度、腕部に対して超音波が当てられて測定された骨密度及び踵に対して超音波が当てられて測定された骨密度の少なくとも１種類が含まれる。以後、教師データ１４０に含まれる骨密度の測定値を「基準骨密度」と呼ぶことがある。
ここで、骨密度の測定方法として、ＤＥＸＡ（dual-energy X-ray absorptiometry）法が知られている。ＤＥＸＡ法を用いて骨密度を測定するＤＥＸＡ装置では、腰椎の骨密度が測定される場合には、腰椎に対してその正面からＸ線（具体的には２種類のＸ線）が照射される。また、ＤＥＸＡ装置では、大腿骨近位部の骨密度が測定される場合には、大腿骨近位部に対してその正面からＸ線が照射される。
教師データ１４０には、ＤＥＸＡ装置で測定された腰椎の骨密度が含まれてもよいし、ＤＥＸＡ装置で測定された大腿骨近位部の骨密度が含まれてもよい。なお、教師データ１４０には、対象部位に対してその側面からＸ線が照射されて測定された骨密度が含まれてもよい。例えば、教師データ１４０には、腰椎に対してその側面からＸ線が照射されて測定された骨密度が含まれてもよい。
また、骨密度の他の測定方法として、超音波法が知られている。超音波法を用いて骨密度を測定する装置では、例えば、腕部に対して超音波が当てられて当該腕部の骨密度が測定されたり、踵に対して超音波が当てられて当該踵の骨密度が測定されたりする。教師データ１４０には、超音波法で測定された骨密度が含まれてもよい。
学習用データ１３０に含まれる複数の学習用画像データが示す複数の学習用単純Ｘ線像には、互いに異なる複数の人の骨がそれぞれ写っている。そして、図４に示されるように、記憶部２０では、学習用データ１３０に含まれる複数の学習用画像データのそれぞれに対して、当該学習用画像データが示す学習用単純Ｘ線像に写る骨を有する人の基準骨密度が対応付けられている。ニューラルネットワーク２００の学習で使用される複数の学習用単純Ｘ線像のそれぞれに対して、当該学習用単純Ｘ線像に写る骨を有する人の基準骨密度が対応付けられているとも言える。学習用画像データに対応付けられている基準骨密度は、当該学習用画像データが示す学習用単純Ｘ線像が撮影された時期とほぼ同じ時期において、当該学習用単純Ｘ線像に写る骨を有する人と同じ人について測定された骨密度である。
学習用画像データが示す学習用単純Ｘ線像に写る部位（言い換えれば、学習用単純Ｘ線像の撮影部位）には、当該学習用画像データに対応する基準骨密度が測定された部位（つまり骨）が含まれてもよいし、含まれなくてもよい。言い換えれば、学習用単純Ｘ線像に写る部位には、当該学習用単純Ｘ線像に対応する基準骨密度が測定された部位が含まれてもよいし、含まれなくてもよい。前者の例としては、腰部が写る学習用単純Ｘ線像を示す学習用画像データと、腰椎の基準骨密度とが対応付けられている場合が考えられる。他の例として、股関節が写る学習用画像データと、大腿骨近位部の基準骨密度とが対応付けられている場合が考えられる。一方で、後者の例としては、胸部が写る学習用画像データと、腰椎の基準骨密度とが対応付けられている場合が考えられる。他の例としては、膝関節が写る学習用画像データと、踵の基準骨密度とが対応付けられている場合が考えられる。
また、学習用画像データが示す単純Ｘ線像に写る部位の向きと、当該学習用画像データに対応する基準骨密度の測定での対象部位に対するＸ線の照射の向きとは、同じであってもよいし、異なっていてもよい。言い換えれば、学習用単純Ｘ線像に写る部位の向きと、当該学習用単純Ｘ線像に対応する基準骨密度の測定での対象部位に対するＸ線の照射の向きとは、同じであってもよいし、異なっていてもよい。前者の例としては、胸部が正面から写る単純Ｘ線像（以後、「胸部正面単純Ｘ線像」と呼ぶことがある）を示す学習用画像データと、腰椎に対してその正面からＸ線が照射されて測定された基準骨密度とが対応付けられている場合が考えられる。他の例としては、腰部が正面から写る単純Ｘ線像（以後、「腰部正面単純Ｘ線像」と呼ぶことがある）を示す学習用画像データと、大腿骨近位部に対してその正面からＸ線が照射されて測定された基準骨密度とが対応付けられている場合が考えられる。一方で、後者の例としては、腰部が側面から写る単純Ｘ線像（以後、「腰部側面単純Ｘ線像」と呼ぶことがある）を示す学習用画像データと、腰椎に対してその正面からＸ線が照射されて測定された基準骨密度とが対応付けられている場合が考えられる。他の例としては、膝関節が側面から写る単純Ｘ線像（以後、「膝側面単純Ｘ線像」と呼ぶことがある）を示す学習用画像データと、大腿骨近位部に対してその正面からＸ線が照射されて測定された基準骨密度とが対応付けられている場合が考えられる。
また、学習用データ１３０に含まれる複数の学習用画像データがそれぞれ示す複数の学習用単純Ｘ線像には、推定用単純Ｘ線像と同じ種類の部位が写る単純Ｘ線像が含まれてもよいし、推定用単純Ｘ線像とは異なる種類の部位が写る単純Ｘ線像が含まれてもよい。前者の例としては、推定用単純Ｘ線像が胸部正面単純Ｘ線像である場合、複数の学習用単純Ｘ線像に胸部正面単純Ｘ線像が含まれる場合が考えられる。他の例としては、推定用単純Ｘ線像が、膝関節が正面から写る単純Ｘ線像（以後、「膝正面単純Ｘ線像」と呼ぶことがある）である場合、複数の学習用単純Ｘ線像に膝側面単純Ｘ線像が含まれる場合が考えられる。一方で、後者の例としては、推定用単純Ｘ線像が腰部正面単純Ｘ線像である場合、複数の学習用単純Ｘ線像に胸部正面単純Ｘ線像が含まれる場合が考えられる。他の例としては、推定用単純Ｘ線像が腰部側面単純Ｘ線像である場合、複数の学習用単純Ｘ線像に膝正面単純Ｘ線像が含まれる場合が考えられる。
また、複数の学習用単純Ｘ線像には、推定用単純Ｘ線像と同じ向きの部位が写る単純Ｘ線像が含まれてもよいし、推定用単純Ｘ線像とは異なる向きの部位が写る単純Ｘ線像が含まれてもよい。前者の例としては、推定用単純Ｘ線像が腰椎正面単純Ｘ線像である場合、複数の学習用単純Ｘ線像に腰部正面単純Ｘ線像が含まれる場合が考えられる。他の例としては、推定用単純Ｘ線像が膝正面単純Ｘ線像である場合、複数の学習用単純Ｘ線像に胸部正面単純Ｘ線像が含まれる場合が考えられる。一方で、後者の例としては、推定用単純Ｘ線像が膝側面単純Ｘ線像である場合、複数の学習用単純Ｘ線像に膝正面単純Ｘ線像が含まれる場合が考えられる。他の例としては、推定用単純Ｘ線像が腰部側面単純Ｘ線像である場合、複数の学習用単純Ｘ線像に胸部正面単純Ｘ線像が含まれる場合が考えられる。
また、教師データ１４０には、推定用単純Ｘ線像に写る部位に含まれる部位（骨）から測定された基準骨密度が含まれてもよいし、推定用単純Ｘ線像に写る部位に含まれない部位（骨）から測定された基準骨密度が含まれてもよい。前者の例としては、推定用単純Ｘ線像が腰部正面単純Ｘ線像である場合、教師データ１４０に腰椎の基準骨密度が含まれる場合が考えられる。一方で、後者の例としては、推定用単純Ｘ線像が胸部正面単純Ｘ線像である場合、教師データ１４０に中手骨の基準骨密度が含まれる場合が考えられる。
また、教師データ１４０には、推定用単純Ｘ線像に写る部位の向きと同じ向きからＸ線が対象部位に照射されることによって測定された基準骨密度が含まれてもよいし、推定用単純Ｘ線像に写る部位の向きとは異なる向きからＸ線が対象部位に照射されることによって測定された基準骨密度が含まれてもよい。前者の例としては、推定用単純Ｘ線像が腰部正面単純Ｘ線像である場合、教師データ１４０に、腰椎に対してその正面からＸ線が照射されて測定された基準骨密度が含まれる場合が考えられる。一方で、後者の例としては、推定用単純Ｘ線像が腰部側面単純Ｘ線像である場合、教師データ１４０に、大腿骨近位部に対してその正面からＸ線が照射されて測定された基準骨密度が含まれる場合が考えられる。
本例では、単純Ｘ線撮影装置（言い換えれば、一般Ｘ線撮影装置あるいはレントゲン撮影装置）で得られる、単純Ｘ線像を示すグレースケールの画像データを縮小し、かつその階調数を低下させたものを、学習用画像データ及び推定用画像データとして使用する。例えば、単純Ｘ線撮影装置で得られる画像データを構成する複数の画素データの数が（１０２４×６４０）個よりも多く、その画素データのビット数が１６ビットの場合を考える。この場合、単純Ｘ線撮影装置で得られる画像データを構成する複数の画素データの数を、例えば、（２５６×２５６）個、（１０２４×５１２）個あるいは（１０２４×６４０）個まで縮小し、その画素データのビット数を８ビットまで低減したものを、学習用画像データ及び推定用画像データとして使用する。この場合、学習用単純Ｘ線像及び推定用単純Ｘ線像のそれぞれは、（２５６×２５６）個、（１０２４×５１２）個あるいは（１０２４×６４０）個の画素で構成され、当該画素の値は８ビットで表現される。
学習用画像データ及び推定用画像データについては、推定装置１の制御部１０が、単純Ｘ線撮影装置で得られる画像データから生成してもよいし、推定装置１以外の装置が単純Ｘ線撮影装置で得られる画像データから生成してもよい。前者の場合、単純Ｘ線撮影装置で得られる画像データについては、通信部３０が通信ネットワークを通じて受信してもよいし、記憶部２０に含まれる着脱式メモリに記憶されてもよい。後者の場合には、通信ネットワークを通じて通信部３０が他の装置から学習用画像データ及び推定用画像データを受信し、制御部１０が、通信部３０で受信された学習用画像データ及び推定用画像データを記憶部２０に記憶してもよい。あるいは、記憶部２０に含まれる着脱式メモリに、他の装置で生成された学習用画像データ及び推定用画像データが記憶されてもよい。また、教師データ１４０については、通信部３０が通信ネットワークを通じて受信し、制御部１０が、通信部３０で受信された教師データ１４０を記憶部２０に記憶してもよい。あるいは、記憶部２０に含まれる着脱式メモリに教師データ１４０が記憶されてもよい。なお、学習用画像データ及び推定用画像データの画素データの数及びビット数は上記の限りではない。
＜ニューラルネットワークの学習例＞
図５は、ニューラルネットワーク２００の学習の一例を説明するための図である。制御部１０は、ニューラルネットワーク２００の学習を行う場合には、図５に示されるように、ニューラルネットワーク２００の入力層２１０に学習用データ１３０を入力する。そして、制御部１０は、ニューラルネットワーク２００の出力層２３０から出力される出力データ４００についての教師データ１４０に対する誤差が小さくなるように、ニューラルネットワーク２００内の可変のパラメータ１１０ａを調整する。より詳細には、制御部１０は、記憶部２０内の各学習用画像データを入力層２１０に入力する。制御部１０は、入力層２１０に学習用画像データを入力する場合には、当該学習用画像データを構成する複数の画素データを、入力層２１０を構成する複数の人工ニューロンにそれぞれ入力する。そして、制御部１０は、入力層２１０に学習用画像データを入力した場合に出力層２３０から出力される出力データ４００についての、当該学習用画像データに対応する基準骨密度に対する誤差が小さくなるように、パラメータ１１０ａを調整する。パラメータ１１０ａの調整方法としては、例えば、誤差逆伝播法が採用される。調整後のパラメータ１１０ａが学習済みパラメータ１１０となり、記憶部２０に記憶される。パラメータ１１０ａには、例えば、隠れ層２２０で使用されるパラメータが含まれる。具体的には、パラメータ１１０ａには、畳み込み層２４０で使用されるフィルタ係数と、全結合層２６０で使用される重み付け係数とが含まれる。なお、パラメータ１１０ａの調整方法、言い換えればパラメータ１１０ａの学習方法は、この限りではない。
このようにして、記憶部２０には、複数の学習用単純Ｘ線像の画像データを含む学習用データ１３０と、教師データ１４０としての骨密度の測定値との関係をニューラルネットワーク２００を用いて学習させた学習済みパラメータ１１０が記憶される。
上記の例では、推定装置１が、ニューラルネットワーク２００の学習を行っているが、他の装置がニューラルネットワーク２００の学習を行ってもよい。この場合、推定装置１の記憶部２０には、他の装置が生成した学習済みパラメータ１１０が記憶される。また、記憶部２０が学習用データ１３０及び教師データ１４０を記憶することは不要になる。他の装置が生成した学習済みパラメータ１１０については、通信部３０が通信ネットワークを通じて受信し、制御部１０が、通信部３０で受信された学習済みパラメータ１１０を記憶部２０に記憶してもよい。あるいは、記憶部２０に含まれる着脱式メモリに、他の装置が生成した学習済みパラメータ１１０が記憶されてもよい。
以上のようにして学習されたニューラルネットワーク２００には、複数の学習用単純Ｘ線像の画像データが学習用データ１３０として入力層２１０に入力され、かつ教師データ１４０として基準骨密度が使用されて学習された学習済みパラメータ１１０ａが含まれる。上述の図２に示されるように、ニューラルネットワーク２００は、入力層２１０に入力される推定用データ１２０に対して学習済みパラメータ１１０ａに基づく演算を行って、出力層２３０から骨密度推定値３００を出力する。推定用データ１２０としての推定用画像データが入力層２１０に入力される場合には、当該推定用画像データを構成する複数の画素データが、入力層２１０を構成する複数の人工ニューロンにそれぞれ入力される。そして、畳み込み層２４０は、学習済みパラメータ１１０ａに含まれるフィルタ係数を用いた演算を行い、全結合層２６０は、学習済みパラメータ１１０ａに含まれる重み付け係数を用いた演算を行う。
例えば、胸部正面単純Ｘ線像を示す推定用画像データが入力層２１０に入力される場合には、当該推定用画像データが示す胸部正面単純Ｘ線像に写る胸部の骨を有する人の骨密度の推定値３００が出力層２３０から出力される。また、腰部正面単純Ｘ線像を示す推定用画像データが入力層２１０に入力される場合には、当該推定用画像データが示す腰部正面単純Ｘ線像に写る腰部に含まれる腰椎を有する人の骨密度の推定値３００が出力層２３０から出力される。また、腰部側面単純Ｘ線像を示す推定用画像データが入力層２１０に入力される場合には、当該推定用画像データが示す腰部側面単純Ｘ線像に写る腰部に含まれる腰椎を有する人の骨密度の推定値３００が出力層２３０から出力される。また、膝正面単純Ｘ線像を示す推定用画像データが入力層２１０に入力される場合には、当該推定用画像データが示す膝正面単純Ｘ線像に写る膝関節の骨を有する人の骨密度の推定値３００が出力層２３０から出力される。また、膝側面単純Ｘ線像を示す推定用画像データが入力層２１０に入力される場合には、当該推定用画像データが示す膝側面単純Ｘ線像に写る膝関節の骨を有する人の骨密度の推定値３００が出力層２３０から出力される。
出力層２３０から出力される推定値３００は、単位面積当りの骨ミネラル密度（ｇ／ｃｍ２）、単位体積当りの骨ミネラル密度（ｇ／ｃｍ３）、ＹＡＭ、Ｔスコア及びＺスコアの少なくとも１種類によって表されてよい。ＹＡＭは、“Young Adult Mean”の略であって、若年成人平均パーセントと呼ばれることがある。例えば、出力層２３０からは、単位面積当りの骨ミネラル密度（ｇ／ｃｍ２）で表された推定値３００と、ＹＡＭで表された推定値３００とが出力されてもよいし、ＹＡＭで表された推定値３００と、Ｔスコアで表された推定値３００と、Ｚスコアで表された推定値３００とが出力されてもよい。
なお記憶部２０は、複数の推定用データ１２０を記憶してもよい。この場合、記憶部２０内の複数の推定用データ１２０がそれぞれ示す複数の推定用単純Ｘ線像には、同じ種類の部位が写る複数の単純Ｘ線像が含まれてもよいし、互いに異なる種類の部位が写る複数の単純Ｘ線像が含まれてもよい。また、複数の推定用単純Ｘ線像には、部位が同じ方向から写る複数の単純Ｘ線像が含まれてもよいし、部位が異なる方向から写る複数の単純Ｘ線像が含まれてもよい。言い換えれば、複数の推定用単純Ｘ線像には、それに写る部位の向きが同じ複数の単純Ｘ線像が含まれてもよいし、それに写る部位の向きが異なる複数の単純Ｘ線像が含まれてもよい。制御部１０は、記憶部２０内の複数の推定用データ１２０のそれぞれをニューラルネットワーク２００の入力層２１０に入力し、ニューラルネットワーク２００の出力層２３０からは、各推定用データ１２０に対応する骨密度推定値３００が出力される。
以上のように、本例では、単純Ｘ線像の画像データが使用されて、ニューラルネットワーク２００の学習と、ニューラルネットワーク２００での骨密度の推定とが行われる。単純Ｘ線像の画像データ、言い換えれば、レントゲン像の画像データについては、多くの病院において色々な診察等で利用されていることから、容易に入手することが可能である。よって、ＤＥＸＡ装置のような高価な装置を使用せずに、骨密度を簡単に推定することができる。
また、診察等のために撮影した単純Ｘ線像の画像データを推定用画像データとして使用することによって、その診察等の機会を利用して骨密度を簡単に推定することも可能である。よって、推定装置１を利用することによって、病院利用者に対するサービスを向上することができる。
また、胸部等の正面単純Ｘ線像では、臓器の影響を受けて、骨が写りにくくなる可能性がある。一方で、正面単純Ｘ線像は、多くの病院において撮影される可能性が高い。本例では、骨が写りにくくなる可能性がある正面単純Ｘ線像が、推定用単純Ｘ線像あるいは学習用単純Ｘ線像として使用される場合であっても、骨密度を推定することができる。したがって、入手しやすい正面単純Ｘ線像の画像データを使用して骨密度を簡単に推定することができる。また、胸部正面単純Ｘ線像については、健康診断等において撮影されることが多く、特に入手し易い単純Ｘ線像であると言える。推定用単純Ｘ線像あるいは学習用単純Ｘ線像として胸部正面単純Ｘ線像を使用することによって、骨密度をさらに簡単に推定することができる。
また、本例では、複数の学習用単純Ｘ線像に、推定用単純Ｘ線像とは異なる種類の部位が写る単純Ｘ線像が含まれる場合であっても、推定用単純Ｘ線像の画像データから骨密度を推定することができる。よって、推定装置１（言い換えればコンピュータ装置１）の利便性を向上させることができる。
また、本例では、複数の学習用単純Ｘ線像に、推定用単純Ｘ線像とは異なる向きの部位が写る単純Ｘ線像が含まれる場合であっても、推定用単純Ｘ線像の画像データから骨密度を推定することができる。よって、推定装置１の利便性を向上させることができる。
また、本例では、学習用単純Ｘ線像に写る部位に、当該学習用単純Ｘ線像に対応する基準骨密度が測定された部位（骨）が含まれていない場合であっても、ニューラルネットワーク２００は、学習済みパラメータ１１０に基づいて骨密度を推定することができる。よって、推定装置１の利便性を向上させることができる。
また、本例では、学習用単純Ｘ線像に写る部位の向きと、当該学習用単純Ｘ線像に対応する基準骨密度の測定での対象部位のＸ線の照射の向きとが互いに異なる場合であっても、ニューラルネットワーク２００は、学習済みパラメータ１１０に基づいて骨密度を推定することができる。よって、推定装置１の利便性を向上させることができる。
また、本例では、教師データ１４０に、推定用単純Ｘ線像に写る部位に含まれない部位から測定された基準骨密度が含まれる場合であっても、推定用単純Ｘ線像の画像データから骨密度を推定することができる。よって、推定装置１の利便性を向上させることができる。
なお、推定装置１で得られる骨密度推定値３００は、表示部４０で表示されてもよい。また、推定装置１で得られる骨密度推定値３００は、他の装置で用いられてもよい。
図６は、推定装置１と、推定装置１で得られる骨密度推定値３００を用いた処理を行う処理装置５００とを備える骨密度推定システム６００の一例を示す図である。図６の例では、推定装置１と処理装置５００とは、通信ネットワーク７００を通じて、互いに通信することが可能である。通信ネットワーク７００には、例えば、無線ネットワーク及び有線ネットワークの少なくとも一方が含まれる。通信ネットワーク７００には、例えば、無線ＬＡＮ（Local Area Network）及びインターネット等が含まれる。
推定装置１では、通信部３０に通信ネットワーク７００が接続されている。制御部１０は、通信部３０に、骨密度推定値３００を処理装置５００へ送信させる。処理装置５００は、通信ネットワーク７００を通じて推定装置１から受け取る骨密度推定値３００を用いた処理を行う。例えば、処理装置５００は、液晶表示装置等の表示装置であって、骨密度推定値３００を表示する。このとき、処理装置５００は、骨密度推定値３００を表にして表示してもよいし、グラフにして表示してもよい。また、通信ネットワーク７００に複数の推定装置１が接続されている場合には、当該複数の推定装置１で得られる骨密度推定値３００を処理装置５００は表示してもよい。処理装置５００の構成は、図１に示される推定装置１の構成と同じであってもよいし、推定装置１の構成と異なっていてもよい。
なお、処理装置５００が実行する、骨密度推定値３００を用いた処理は、上記の例に限られない。また、処理装置５００は、推定装置１と、通信ネットワーク７００を介さずに直接的に無線あるいは有線で通信してもよい。
＜推定用データ及び学習用データの他の例＞
＜第１の他の例＞
本例では、学習用データ１３０には、各学習用画像データについて、当該学習用画像データが示す学習用単純Ｘ線像に写る骨を有する人の健康状態に関する情報が含まれる。言い換えれば、学習用データ１３０には、各学習用画像データについて、当該学習用画像データが示す学習用単純Ｘ線像の被写体（被検体）の健康状態に関する情報が含まれる。以後、学習用単純Ｘ線像の被写体の健康状態に関する情報を「学習用健康関連情報」と呼ぶことがある。また、学習用画像データが示す学習用単純Ｘ線像の被写体の健康状態に関する情報を、当該学習用画像データに対応する学習用健康関連情報と呼ぶことがある。
学習用健康関連情報は、例えば、年齢情報、性別情報、身長情報、体重情報、飲酒習慣情報、喫煙習慣情報及び骨折歴の有無情報の少なくとも１種類を含む。学習用健康関連情報は、人ごとにデータベース化され、ＣＳＶ（Comma-Separated Value）形式ファイルあるいはテキスト形式ファイルとして生成される。年齢情報、身長情報及び体重情報のそれぞれは、例えば、複数ビットの数値データとして表される。また、性別情報では、例えば「男性」あるいは「女性」が１ビットデータで表され、飲酒習慣情報では、「飲酒習慣あり」あるいは「飲酒習慣なし」が1ビットデータで表される。また、喫煙習慣情報では、「喫煙習慣あり」あるいは「喫煙習慣なし」で１ビットデータが表され、骨折歴の有無情報では、「骨折あり」あるいは「骨折なし」が１ビットのデータで表される。また、学習用健康関連情報は、被検者の体脂肪率または皮下脂肪率が含まれていてもよい。
学習用データ１３０に、学習用画像データと、それに対応する学習用健康関連情報とが含まれる場合には、学習用画像データに対応する基準骨密度（図４参照）が、当該学習用画像データに対応する学習用健康関連情報に対しても対応付けられる。つまり、ある人の骨が写る学習用単純Ｘ線像を示す学習用画像データと、当該ある人の健康状態に関する情報（学習用健康関連情報）とに対しては、当該ある人の骨密度の測定値（基準骨密度）が対応付けられる。そして、ニューラルネットワーク２００の学習では、入力層２１０に対して、学習用画像データと、それに対応する学習用健康関連情報とが同時に入力される。具体的には、入力層２１０を構成する複数の人工ニューロンの一部に学習用画像データが入力され、当該複数の人工ニューロンの他の部分に学習用健康関連情報が入力される。そして、入力層２１０に対して、学習用画像データと、それに対応する学習用健康関連情報とが入力されたときに出力層２３０から出力される出力データ４００と、当該学習用画像データ及び当該学習用健康関連情報に対応する基準骨密度とが比較される。
また本例では、推定用データ１２０には、推定用画像データと、当該推定用画像データが示す推定用単純Ｘ線像に写る骨を有する人の健康状態に関する情報とが含まれる。言い換えれば、推定用データ１２０には、推定用画像データと、当該推定用画像データが示す推定用単純Ｘ線像の被写体の健康状態に関する情報とが含まれる。以後、推定用単純Ｘ線像の被写体の健康状態に関する情報を「推定用健康関連情報（以下では、他の実施形態では、「個体データ」ということもある。）」と呼ぶことがある。また、推定用画像データが示す推定用単純Ｘ線像の被写体の健康状態に関する情報を、当該推定用画像データに対応する推定用健康関連情報と呼ぶことがある。
推定用健康関連情報は、学習用健康関連情報と同様に、例えば、年齢情報、性別情報、身長情報、体重情報、飲酒習慣情報、喫煙習慣情報及び骨折歴の有無情報の少なくとも１種類を含む。推定用健康関連情報には、学習用健康関連情報と同じ種類の情報が含まれる。また、推定用健康関連情報は、学習用健康関連情報と同様に、被検者の体脂肪率または皮下脂肪率が含まれていてもよい。
本例では、骨密度の推定が行われる場合、入力層２１０に対して、推定用画像データと、それに対応する推定用健康関連情報とが同時に入力される。具体的には、入力層２１０を構成する複数の人工ニューロンの一部に推定用画像データが入力され、当該複数の人工ニューロンの他の部分に推定用健康関連情報が入力される。入力層２１０に対して、ある人についての推定用画像データ及び推定用健康関連情報が入力されると、出力層２３０からは、当該ある人の骨密度の推定値が出力される。
このように、単純Ｘ線像の画像データだけではなく、当該単純Ｘ線像の被写体の健康状態に関する情報を使用することによって、骨密度の推定精度を向上させることができる。
＜他の第２の例＞
本例では、学習用データ１３０には、同一の人が有する部位が写り、それらに写る部位の向きが互いに異なるＮ個（Ｎ≧２）の学習用単純Ｘ線像の画像データが含まれる。以後、当該Ｎ個の学習用単純Ｘ線像をまとめて「学習用単純Ｘ線像セット」と呼ぶことがある。
学習用単純Ｘ線像セットには、例えば、同一の人についての正面像及び側面像が含まれる。学習用単純Ｘ線像セットには、例えば、ある人の胸部正面単純Ｘ線像及び腰部側面単純Ｘ線像が含まれる。学習用単純Ｘ線像セットに含まれる正面像及び側面像の画像サイズは互いに異なってもよい。例えば、側面像の画像サイズの横幅は、正面像の画像サイズの横幅よりも小さくてもよい。以後、学習用単純Ｘ線像セットの各学習用単純Ｘ線像の画像データをまとめて「学習用画像データセット」と呼ぶことがある。
学習用データ１３０には、互いに異なる複数の人についての学習用画像データセットが含まれる。これにより、学習用データ１３０には複数の学習用画像データセットが含まれる。そして、一つの学習用画像データセットに対しては、一つの基準骨密度が対応付けられる。つまり、ある人についての学習用画像データセットに対しては、当該ある人の骨密度の測定値（基準骨密度）が対応付けられる。
本例のニューラルネットワーク２００の学習では、入力層２１０に対して、各学習用画像データセットが入力される。入力層２１０に対して一つの学習用画像データセットが入力される場合には、当該一つの学習用画像データセットを構成するＮ個の学習用画像データが入力層２１０に同時に入力される。例えば、学習用画像データセットが、第１の学習用画像データと第２の学習用画像データとで構成されているとする。この場合、入力層２１０を構成する複数の人工ニューロンの一部に第１の学習用画像データ（例えば、胸部正面単純Ｘ線像の画像データ）が入力され、当該複数の人工ニューロンの他の部分に第２の学習用画像データ（例えば、腰部側面単純Ｘ線像の画像データ）が入力される。そして、入力層２１０に対して学習用画像データセットが入力されたときに出力層２３０から出力される出力データ４００と、当該学習用画像データセットに対応する基準骨密度とが比較される。
また本例では、推定用データ１２０には、同一の人が有する部位が写り、それらに写る部位の向きが互いに異なるＮ個の推定用単純Ｘ線像の画像データが含まれる。以後、当該Ｎ個の推定用単純Ｘ線像をまとめて「推定用単純Ｘ線像セット」と呼ぶことがある。
推定用単純Ｘ線像セットには、例えば、同一の人についての正面像及び側面像が含まれる。推定用単純Ｘ線像セットには、例えば、ある人の腰部正面単純Ｘ線像及び膝側面単純Ｘ線像が含まれる。推定用単純Ｘ線像セットに含まれる正面像及び側面像の画像サイズは互いに異なってもよい。例えば、側面像の画像サイズの横幅は、正面像の画像サイズの横幅よりも小さくてもよい。以後、推定用単純Ｘ線像セットの各推定用単純Ｘ線像の画像データをまとめて「推定用画像データセット」と呼ぶことがある。
本例では、推定用データ１２０が使用されて骨密度の推定が行われる場合、入力層２１０に対して、推定用画像データセットを構成するＮ個の推定用画像データが同時に入力される。例えば、推定用画像データセットが、第１の推定用画像データと第２の推定用画像データとで構成されているとする。この場合、入力層２１０を構成する複数の人工ニューロンの一部に第１の推定用画像データが入力され、当該複数の人工ニューロンの他の部分に第２の推定用画像データが入力される。入力層２１０に、ある人についての推定用画像データセットが入力されると、出力層２３０からは、当該ある人の骨密度の推定値が推定される。
このように、同一の被写体が有する部位が写り、それらに写る部位の向きが互いに異なる複数の単純Ｘ線像の画像データが使用されることによって、骨密度の推定精度を向上させることができる。
なお、学習用データ１３０には、学習用画像データセット及び学習用健康関連情報が含まれてもよい。この場合、ニューラルネットワーク２００の学習では、入力層２１０に対して、同じ人についての学習用画像データセット及び学習用健康関連情報が同時に入力される。同様に、推定用データ１２０には、推定用画像データセット及び推定用健康関連情報が含まれてもよい。この場合、入力層２１０に対して、推定用画像データセット及び推定用健康関連情報が同時に入力される。
上記の各例では、推定用画像データが示すＸ線像に写る骨の種類にかかわらず、同じ学習済みパラメータ１１０が使用されているが、推定用画像データが示すＸ線像に写る骨の種類に応じた学習済みパラメータ１１０が使用されてもよい。この場合には、ニューラルネットワーク２００は、複数種類の骨にそれぞれ応じた複数の学習済みパラメータ１１０を有する。ニューラルネットワーク２００は、入力される推定用画像データが示すＸ線像に写る骨の種類に応じた学習済みパラメータ１１０を使用して骨密度を推定する。例えば、ニューラルネットワーク２００は、入力される推定用画像データが示すＸ線像に腰椎が写る場合には、腰椎の骨密度推定用の学習パラメータ１１０を使用して、骨密度を推定する。また、ニューラルネットワーク２００は、入力される推定用画像データが示すＸ線像に大腿骨近位部が写る場合には、大腿骨近位部の骨密度推定用の学習パラメータ１１０を使用して、骨密度を推定する。ニューラルネットワーク２００は、複数の学習済みパラメータ１１０のうち、例えば、入力部５０を通じてユーザから指示される学習済みパラメータ１１０を使用する。この場合、ユーザは、ニューラルネットワーク２００に入力される推定用画像データが示すＸ線像に写る骨の種類に応じて、ニューラルネットワーク２００が使用する学習済みパラメータ１１０を指示する。
ニューラルネットワーク２００の学習では、同じ種類の骨が写る複数のＸ線像をそれぞれ示す複数の学習用画像データが使用されて、その骨の種類に応じた学習済みパラメータ１１０が生成される。
以上のように、推定装置１及び骨密度推定システム６００は詳細に説明されたが、上記した説明は、全ての局面において例示であって、この開示がそれに限定されるものではない。また、上述した各種例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の例が、この開示の範囲から外れることなく想定され得るものと解される。
実施の形態２．
図７は、本実施の形態に係る推定装置１Ａの構成の一例を示す図である。推定装置１Ａでは、近似器２８０が、さらに第２のニューラルネットワーク９００を有している。第２のニューラルネットワーク９００は、学習済みパラメータ９１０に基づいて骨折を検知することができる。なお、本実施の形態に係る推定装置１Ａは、第１の実施形態に係る推定装置１と同等の構成を有しており、同等の構成については説明を省略する。また、説明の便宜上、上記の例に記載のニューラルネットワーク２００を第１のニューラルネットワーク２００という。第２のニューラルネットワーク９００は、例えば、第１のニューラルネットワーク２００と同等の構成を有している。
第２のニューラルネットワーク９００は、第１のニューラルネットワーク２００に入力する推定用データ１２０に含まれる推定用画像データと同じ推定用画像データに基づいて骨折を検知することができる。すなわち、１つの推定用画像データから、第１のニューラルネットワーク２００では骨密度を推定し、第２のニューラルネットワーク９００では骨折を検知することができる。なお、第２のニューラルネットワーク９００の検知結果９２０は、上記の例と同様に、第２のニューラルネットワーク９００の出力層２３０から出力されればよい。
第２のニューラルネットワーク９００の学習では、骨折していない骨が写る学習用画像データと、骨折している骨が写る学習用画像データとが使用されてパラメータが学習される。また、教師データでは、各学習用画像データに対して、当該学習用画像データに写る骨についての、現在の骨折の有無を示す情報および骨折箇所を示す情報が対応付けられている。また教師データは、過去の骨折歴を示す情報および過去の骨折箇所を示す情報を含んでいてもよい。その結果、第２のニューラルネットワーク９００は、推定用画像データに基づいて、当該推定用画像データに写る骨についての骨折の有無と場所を検知し、その検知結果９２０を出力することができる。
また、本実施の形態に係る推定装置１Ａは、図８に示されるように、被写体が骨粗鬆症であるか否かを判定する判定部９３０を有していてもよい。判定部９３０は、第１のニューラルネットワーク２００の推定結果３００と、第２のニューラルネットワーク９００の検知結果９２０とを比較検討して、被写体が骨粗鬆症であるか否かを判定することができる。
判定部９３０は、例えば、独自基準または既に周知のガイドラインなどに基づいて骨粗鬆症を判定してもよい。具体的には、判定部９３０は、検知結果９２０が椎体または大腿骨近位部において骨折を示す場合、骨粗鬆症であると判定してもよい。また、第１のニューラルネットワーク２００が出力する骨密度推定値３００がＹＡＭを示す場合には、判定部９３０は、ＹＡＭが８０％未満の値であり、かつ検知結果９２０が椎体および大腿骨近位部以外の骨折を示す場合、骨粗鬆症であると判定してもよい。また、判定部９３０は、骨密度推定値３００が示すＹＡＭが７０％以下の値を示す場合には、骨粗鬆症であると判定してもよい。
また、本実施形態に係る推定装置１Ａでは、近似器２８は、図９に示されるように、第３のニューラルネットワーク９５０をさらに有していてもよい。第３のニューラルネットワーク９５０は、学習済みパラメータ９６０に基づいて、推定用データ１２０に含まれる推定用画像データから被写体の骨を区分けすることができる。
第３のニューラルネットワーク９５０は、入力される推定用画像データの各画素データについて、当該画素データが示す骨の部位を示す部位情報を出力する。これにより、推定用画像データが示すＸ線像に写る骨を区分けすることができる。部位情報はセグメンテーションデータと呼ばれることがある。
例えば、第３のニューラルネットワーク９５０は、入力される推定用画像データが示すＸ線像に腰椎が写る場合、当該推定用画像データの各画素データについて、当該画素データが、腰椎のＬ１～Ｌ５のうち、どの部位を示すかを表す部位情報を出力する。例えば、第３のニューラルネットワーク９５０は、推定用画像データのある画素データが腰椎のＬ１を示す場合、当該画素データに対応する部位情報として、Ｌ１を示す部位情報を出力する。
第３のニューラルネットワーク９５０は、推定用画像データが示すＸ線像に写る骨の種類に応じた学習済みパラメータ９６０を使用する。第３のニューラルネットワーク９５０は、複数種類の骨にそれぞれ応じた複数の学習済みパラメータ９６０を有する。第３のニューラルネットワーク９５０は、入力される推定用画像データが示すＸ線像に写る骨の種類に応じた学習済みパラメータ９６０を使用して、推定用画像データが示すＸ線像に写る骨を区分けする。例えば、第３のニューラルネットワーク９５０は、入力される推定用画像データが示すＸ線像に腰椎が写る場合には、腰椎に応じた学習パラメータ９６０を使用して、腰椎をＬ１～Ｌ５に区分けする。第３のニューラルネットワーク９５０は、複数の学習済みパラメータ９６０のうち、例えば、入力部５０を通じてユーザから指示される学習済みパラメータ９６０を使用する。この場合、ユーザは、第３のニューラルネットワーク９５０に入力される推定用画像データが示すＸ線像に写る骨の種類に応じて、第３のニューラルネットワーク９５０が使用する学習済みパラメータ９６０を指示する。
第３のニューラルネットワーク９５０は、入力される推定用画像データが示すＸ線像に写る骨を、インプラントが埋入されている第１部位、腫瘍がある第２部位及び骨折がある第３部位に区分けしてもよい。この場合、第３のニューラルネットワーク９５０は、推定用画像データの各画素データについて、当該画素データが、第１部位、第２部位及び第３部位のいずれの部位を示すかを表す部位情報を出力する。第３のニューラルネットワーク９５０は、画素データが、第１部位、第２部位及び第３部位以外の部位を示す場合には、当該画素データが、第１部位、第２部位及び第３部位以外の部位を示すことを表す部位情報を出力する。第３のニューラルネットワーク９５０が、推定用画像データが示すＸ線像に写る骨を、第１部位、第２部位及び第３部位に区分けする場合には、第３のニューラルネットワーク９５０は、推定用画像データが示すＸ線像に写る骨に埋入されたインプラント、当該骨の骨折及び当該骨の腫瘍を検知するとも言える。
第３のニューラルネットワーク９５０の学習では、同じ種類の骨が写る複数のＸ線像をそれぞれ示す複数の学習用画像データが使用されて、その骨の種類に応じた学習済みパラメータ９６０が生成される。第３のニューラルネットワーク９５０が、入力される推定用画像データが示すＸ線像に写る骨を、第１部位、第２部位及び第３部位に区分けする場合には、複数の学習用画像データには、インプラントが埋入されている症例が写るＸ線像を示す学習用画像データと、骨に腫瘍がある症例が写るＸ線像を示す学習用画像データと、骨折がある症例が写るＸ線像を示す学習用画像データとが含まれる。また、教師データには、各学習用画像データについて、当該学習用画像データが示す骨の区分け用のアノテーション情報が含まれる。アノテーション情報には、それに対応する学習用画像データの各画素データについて、当該画素データが示す骨の部位を示す部位情報が含まれる。
なお、第１のニューラルネットワーク２００は、第３のニューラルネットワーク９５０において区分けされた部位ごとに骨密度を推定してもよい。この場合、図１０に示されるように、第１のニューラルネットワーク２００には、推定用画像データ１２１と、当該推定用画像データ１２１に基づいて第３のニューラルネットワーク９５０が出力する、当該推定用画像データ１２１の各画素データに応じた部位情報９６５とが入力される。第１のニューラルネットワーク２００は、推定用画像データ１２１が示すＸ線像に写る骨の種類に応じた学習済みパラメータ１１０に基づいて、第３のニューラルネットワークにおいて区分けされた部位ごとに、当該部位の骨密度推定値３００を出力する。例えば、第３のニューラルネットワーク９５０は、推定用画像データ１２１が示すＸ線像に写る頸椎をＬ１～Ｌ５に区分した場合、第１のニューラルネットワーク２００は、Ｌ１の骨密度推定値３００と、Ｌ２の骨密度推定値３００と、Ｌ３の骨密度推定値３００と、Ｌ４の骨密度推定値３００と、Ｌ５の骨密度推定値３００とを個別に出力する。
第１のニューラルネットワーク２００の学習では、同じ種類の骨が写る複数のＸ線像をそれぞれ示す複数の学習用画像データが使用されて、その骨の種類に応じた学習済みパラメータ１１０が生成される。また、教師データには、各学習用画像データについて、当該学習用画像データが示す骨の各部位の基準骨密度が含まれる。
第１のニューラルネットワーク２００は、複数の学習済みパラメータ１１０のうち、例えば、入力部５０を通じてユーザから指示される学習済みパラメータ１１０を使用する。この場合、ユーザは、第１のニューラルネットワーク２００に入力される推定用画像データが示すＸ線像に写る骨の種類に応じて、第１のニューラルネットワーク２００が使用する学習済みパラメータ１１０を指示する。
第３のニューラルネットワーク９５０が、推定用画像データが示すＸ線像に写る骨を、インプラントが埋入されている第１部位、腫瘍がある第２部位及び骨折がある第３部位に区分けする場合には、推定用画像データのうち、第１部位を示す第１部分画像データと、腫瘍がある第２部位を示す第２部分画像データと、第３部位を示す第３部分画像データの輝度が調整されてもよい。図１１は、この場合の構成例を示す図である。
図１１に示されるように、調整部９６８には、推定用画像データ１２１と、当該推定用画像データ１２１に基づいて第３のニューラルネットワーク９５０が出力する、当該推定用画像データ１２１の各画素データに応じた部位情報９６５とが入力される。調整部９６８は、部位情報９６５に基づいて、推定用画像データ１２１に含まれる、第１部分画像データ、第２部分画像データ及び第３部分画像データを特定する。そして、調整部９６８は、特定した第１部分画像データ、第２部分画像データ及び第３部分画像データの輝度を調整する。
調整部９６８は、例えば、一般的なＸ線像に写る第１部位の輝度を第１基準輝度として記憶する。また、調整部９６８は、一般的なＸ線像に写る第２部位の輝度を第２基準輝度として記憶する。そして、調整部９６８は、一般的なＸ線像に写る第３部位の輝度を第３基準輝度として記憶する。調整部９６８は、第１部分画像データの輝度から第１基準輝度を差し引いて、第１部分画像データの輝度を調整する。また、調整部９７６は、第２部分画像データの輝度から第２基準輝度を差し引いて、第２部分画像データの輝度を調整する。そして、調整部９７８は、第３部分画像データの輝度から第３基準輝度を差し引いて、第３部分画像データの輝度を調整する。調整部９６８は、推定用画像データにおいて、第１部分画像データ、第２部分画像データ及び第３部分画像データの輝度を調整したものを、輝度調整後の推定用画像データとして第１のニューラルネットワーク２００に入力する。第１のニューラルネットワーク２００は、輝度調整後の推定用画像データに基づいて、当該推定用画像データが示すＸ線像に写る骨の骨密度を推定する。
ここで、インプラントが埋入されている第１部位、腫瘍がある第２部位及び骨折がある第３部位から、骨密度を正しく推定することは容易ではない。上記のように、第１部位を示す第１部分画像データ、第２部位を示す第２部分画像データ及び第３部位を示す第３部分画像データの輝度を調整して小さくすることによって、推定用画像データが示すＸ線像に写る骨の骨密度をより正しく推定することができる。
なお、調整部９６８は、第１部分画像データ、第２部分画像データ及び第３部分画像データの輝度を強制的に零に設定した推定用画像データを、輝度調整後の推定用画像データとして第１のニューラルネットワーク２００に入力してもよい。
また、第３のニューラルネットワーク９５０は、インプラント、骨折及び腫瘍のうちの１つだけを検知してもよい。また、第３のニューラルネットワーク９５０は、インプラント、骨折及び腫瘍のうちの２つだけを検知してもよい。つまり、第３のニューラルネットワーク９５０は、インプラント、骨折及び腫瘍のうちの少なくも１つを検知してもよい。
また、推定装置１Ａは、第２のニューラルネットワーク９００を備えずに、第１のニューラルネットワーク２００及び第３のニューラルネットワーク９５０を備えてもよい。また、推定装置１Ａは、第１のニューラルネットワーク２００を備えずに、第２のニューラルネットワーク９００及び第３のニューラルネットワーク９５０の少なくとも一方を備えてもよい。
以上のように、推定装置１Ａは詳細に説明されたが、上記した説明は、全ての局面において例示であって、この開示がそれに限定されるものではない。また、上述した各種例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の例が、この開示の範囲から外れることなく想定され得るものと解される。
実施の形態３．
図１２は、本実施の形態に係る推定装置１Ｂの構成の一例を示す図である。推定装置１Ｂは骨折予測部９８０を有する。骨折予測部９８０は、例えば、実施形態１に係る推定装置１のニューラルネットワーク２００の推定結果３００に基づいて、骨折する確率を予測することができる。具体的には、例えば、過去の文献などから、骨密度に関連する推定結果（例えば骨密度など）と骨折する確率との関係を示す演算式９９０が求められる。骨折予測部９８０は演算式９９０を記憶している。骨折予測部９８０は、入力される推定結果３００と、記憶する演算式９９０とに基づいて、骨折の確率を予測することができる。
また、演算式９９０は、骨密度に関連する推定結果と、骨スクリュー埋入後の骨折の確率との関係を示す演算式であってもよい。その結果、骨スクリュー埋入の是非および薬剤投与を含めた治療計画の検討が可能になる。
なお、推定装置１Ｂは、第２のニューラルネットワーク９００を備えてもよい。また、推定装置１Ｂは、第３のニューラルネットワーク９５０を備えてもよい。
以上のように、推定装置１Ｂは詳細に説明されたが、上記した説明は、全ての局面において例示であって、この開示がそれに限定されるものではない。また、上述した各種例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の例が、この開示の範囲から外れることなく想定され得るものと解される。
実施の形態４．
図１３に、本実施の形態の推定システム８０１の構成の概念を示す。
本開示の推定システム８０１は、例えばＸ線画像などの被写体の骨が写っている画像などから、被写体の将来の骨量を推定することができる。本開示の推定システム８０１は、端末装置８０２と、推定装置８０３と、を有している。なお、骨量とは、骨密度に関連する指標であり、骨密度を含む概念である。
端末装置８０２は、推定装置８０３に入力するための入力情報Ｉを取得することができる。入力情報Ｉは、例えば、Ｘ線画像などであればよい。この場合、端末装置８０２は、医師などが被写体のＸ線画像を撮影するための装置であればよい。例えば、端末装置８０２は、単純Ｘ線撮影装置（言い換えれば、一般Ｘ線撮影装置あるいはレントゲン撮影装置）であればよい。
なお、端末装置８０２は、単純Ｘ線撮影装置には限られない。端末装置８０２は、例えば、Ｘ線透視撮影装置、ＣＴ（Computed Tomography）、ＭＲＩ（Magnetic Resonance Imaging）、ＳＰＥＣＴ（Single Photon Emission Computed Tomography)－ＣＴまたはトモシンセシスなどであってもよい。この場合、入力情報Ｉは、例えば、Ｘ線透視画像、ＣＴ（Computed Tomography）画像、ＭＲＩ（Magnetic Resonance Imaging）画像、骨シンチグラフィー画像またはトモシンセシス画像であればよい。
推定システム８０１は、例えば、病院に通院する患者の骨粗鬆症などの診断に使用される。本開示の推定システム８０１は、例えばレントゲン室に設置された端末装置８０２を用いて、患者のレントゲン写真を撮影する。そして、端末装置８０２から推定装置８０３に画像データを転送し、推定装置８０３を介して、現時点での患者の骨量または骨密度だけではなく、撮影時より将来の患者の骨量または骨密度を推定することができる。
なお、端末装置８０２は、入力情報Ｉを推定装置８０３に直接転送しなくてもよい。この場合、例えば端末装置８０２で取得された入力情報Ｉが、記憶媒体に記憶されて、記憶媒体を介して、推定装置８０３に入力情報Ｉが入力されてもよい。
図１４に、本実施の形態に係る推定装置８０３の構成の概念を示す。
推定装置８０３は、端末装置８０２で取得された入力情報Ｉに基づいて、被写体の将来の骨量または骨密度を推定することができる。推定装置８０３では、端末装置８０２が取得した画像データから、被写体の将来の骨量または骨密度を推定し、その推定結果Ｏを出力することができる。
推定装置８０３は、入力部８３１と、近似器８３２と、出力部８３３と、を有している。入力部８３１は、端末装置８０２から入力情報Ｉが入力されるものである。近似器８３２は、入力情報Ｉに基づいて、将来の骨量または骨密度を推定することができる。出力部８３３は、近似器８３２の予測した推定結果Ｏを出力することができる。
推定装置８０３は、種々の電子部品および回路を有している。その結果、推定装置８０３は、各構成要素を形成することができる。例えば、推定装置８０３は、複数の半導体素子を集積して、少なくとも１つの集積回路（例えばＩＣ：Integrated CircuitまたはＬＳＩ：Large Scale Integration）などを形成したり、または複数の集積回路をさらに集積して少なくとも１つのユニットを形成したりなどして、推定装置８０３の各機能部などを構成することができる。
複数の電子部品は、例えば、トランジスタまたはダイオードなどの能動素子、あるいはコンデンサなどの受動素子であればよい。なお、複数の電子部品、およびそれらを集積して形成した集積回路などは、従来周知の方法によって形成することができる。
入力部８３１は、推定装置８０３で使用する情報が入力されるものである。入力部８３１には、例えば端末装置８０２で取得したＸ線画像を有した入力情報Ｉが入力される。入力部８３１は、通信部を有しており、端末装置８０２で取得した入力情報Ｉが、端末装置８０２から直接入力される。また、入力部８３１は、入力情報Ｉまたは他の情報を入力可能な入力装置を備えていてもよい。入力装置は、例えば、キーボード、タッチパネル、またはマウスなどであればよい。
近似器８３２は、入力部８３１に入力された情報に基づいて、被写体の将来の骨量または骨密度を推定するものである。近似器８３２は、ＡＩ（Artificial Intelligence）を有している。近似器８３２は、ＡＩとして機能するプログラムと、そのプログラムを実行するための種々の電子部品および回路を有している。近似器８３２は、ニューラルネットワークを有している。
近似器８３２は、予め入出力の関係について学習処理されている。すなわち、学習データおよび教師データを用いて、近似器８３２に機械学習を適用することによって、近似器８３２は、入力情報Ｉから推定結果Ｏを算出することができる。なお、学習データまたは教師データは、推定装置８０３に入力する入力情報Ｉと、推定装置８０３から出力する推定結果Ｏに対応したデータであればよい。
図１５は、本開示の近似器８３２の構成の概念を示す。
近似器８３２は、第１のニューラルネットワーク８３２１と、第２のニューラルネットワーク８３２２を有している。第１のニューラルネットワーク８３２１は、時系列情報を扱うことに適したニューラルネットワークであればよい。例えば、第１のニューラルネットワーク８３２１は、ＬＳＴＭ（Long short-term memory）とＣＮＮ（Convolutional Neural Network）を組み合わせたＣｏｎｖＬＳＴＭネットワークなどであればよい。第２のニューラルネットワーク８３２２は、例えば、ＣＮＮで構成された畳み込みニューラルネットワークなどであればよい。
第１のニューラルネットワーク８３２１は、エンコード部Ｅと、デコード部Ｄとを有している。エンコード部Ｅは、入力情報Ｉの時間変化および位置情報の特徴量を抽出することができる。デコード部Ｄは、エンコード部Ｅで抽出した特徴量、入力情報Ｉの時間変化および初期値に基づいて、新たな特徴量を算出することができる。
図１６は、本開示の第１のニューラルネットワーク８３２１の構成の概念を示す。
エンコード部Ｅは、複数のＣｏｎｖＬＳＴＭ層（Convolutional Long short-term memory）Ｅ１を有している。デコード部Ｄは、複数のＣｏｎｖＬＳＴＭ層（Convolutional Long short-term memory）Ｄ１を有している。エンコード部Ｅおよびデコード部Ｄのそれぞれは、３つ以上のＣｏｎｖＬＳＴＭ層Ｅ１，Ｄ１を有していてもよい。また、複数のＣｏｎｖＬＳＴＭ層Ｅ１と複数のＣｏｎｖＬＳＴＭ層Ｄ１の数は、同数でもよい。
なお、複数のＣｏｎｖＬＳＴＭ層Ｅ１は、それぞれ学習する内容が異なっていてもよい。複数のＣｏｎｖＬＳＴＭ層Ｄ１は、それぞれ学習する内容が異なっていてもよい。例えば、あるＣｏｎｖＬＴＳＭ層では１画素１画素の変化といった細かな内容を、別のＣｏｎｖＬＳＴＭ層では全体像の変化といった大まかな内容を学習する。
図１７は、第２のニューラルネットワーク８３２２の構成の概念を示す。
第２のニューラルネットワーク８３２２は、変換部Ｃを有している。変換部Ｃは、第１のニューラルネットワーク８３２１のデコード部Ｄで算出された特徴量を骨量または骨密度に変換することができる。変換部Ｃは、複数の畳み込み層Ｃ１と、複数のプーリング層Ｃ２と、全結合層Ｃ３と、を有している。全結合層Ｃ３は、出力部３３の前段に位置している。そして、変換部Ｃでは、第１のニューラルネットワーク８３１１と全結合層Ｃ３との間において、畳み込み層Ｃ１とプーリング層Ｃ２とが交互に配置されている。
なお、学習データは、近似器８３２の学習時に、近似器８３２のエンコード部Ｅに入力される。教師データは、近似器８３２の学習時に、近似器８３２の変換部Ｃから出力される出力データと比較される。教師データは、従来の骨密度測定装置を用いて測定された値を示すデータである。
出力部８３３は、推定結果Ｏを表示することができる。出力部８３３は、例えば、液晶表示ディスプレイあるいは有機ＥＬディスプレイである。出力部８３３は、文字、記号、図形などの各種情報を表示することが可能である。出力部８３３は、例えば、数字または画像などを表示することができる。
本開示の推定装置８０３は、制御部８３４と、記憶部８３５とをさらに有している。制御部８３４は、推定装置８０３の他の構成要素を制御することによって、推定装置８０３の動作を統括的に管理することができる。
制御部８３４は、例えば、プロセッサを有している。プロセッサは、例えば、１以上のプロセッサ、コントローラ、マイクロプロセッサ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）、デジタル信号処理装置、プログラマブルロジックデバイス、又はこれらのデバイスもしくは任意の校正の組み合わせ、または他の基地のデバイスもしくは校正の組み合わせを含んでよい。制御部８３４は例えばＣＰＵを備える。
記憶部８３５は、例えば、ＲＡＭ（Random Access Memory）またはＲＯＭ（Read-Only Memory）などの制御部８３４のＣＰＵが読み取り可能な非一時的な記録媒体を含む。記憶部８３５には、ファームウェアなどの推定装置８０３を制御するための制御プログラムが記憶されている。また、記憶部８３５には、入力される入力情報Ｉ、学習される学習データおよび教師データが記憶されてもよい。
制御部８３４のプロセッサは、記憶部８３５の制御プログラムに従って、１以上のデータ計算手続き又は処理を実行することができる。制御部８３４の各種機能は、制御部８３４のＣＰＵが記憶部１１内の制御プログラムを実行することによって実現される。
なお、制御部８３４は、必要に応じて、計算処理の前処理として、その他の処理を行なってもよい。
＜入力情報、学習データおよび教師データの一例＞
入力情報（以下、第１入力情報Ｉ１ともいう）は、骨量または骨密度の推定対象の骨が写る画像データを有している。画像データは、例えば単純Ｘ線像であればよい。骨量または骨密度の推定対象は、例えば人である。この場合、第１入力情報Ｉ１は、人の骨が写る単純Ｘ線像の画像データであると言える。単純Ｘ線像は、２次元像であって、一般Ｘ線像あるいはレントゲン像とも呼ばれる。
第１入力情報Ｉ１は、入手が比較的容易である単純Ｘ線画像であると好ましいが、それに限定されるものではない。例えば、Ｘ線透視画像、ＣＴ（Computed Tomography）画像、ＭＲＩ（Magnetic Resonance Imaging）画像、骨シンチグラフィー画像またはトモシンセシス画像を入力情報に用いることによって、より正確に骨量または骨密度を推定できる場合がある。
なお、骨量または骨密度の推定対象は人以外であってもよい。例えば、骨量または骨密度の推定対象は、イヌ、ネコあるいはウマ等の動物であってもよい。また、対象とする骨は、主に、生物由来の皮質骨および海綿骨であるが、対象とする骨に、リン酸カルシウムを主成分とする人工骨、あるいは再生医療等によって人工的に製造された再生骨が含まれてもよい。
Ｘ線画像の撮影部位としては、例えば、頚部、胸部、腰部、大腿骨近位部、膝関節、足首関節、肩関節、肘関節、手首関節、指関節または顎関節であればよい。なお、Ｘ線画像には、骨以外の部位が写っていてもよい。例えば、胸部単純Ｘ線像の場合には、肺を撮影したものと、胸椎を撮影したものを含んでいてもよい。Ｘ線画像は、対象部位が正面から写る正面像であってもよいし、対象部位が側面から写る側面像であってもよい。
学習データまたは教師データは、推定装置３に入力する入力情報Ｉと、推定装置３から出力する推定結果Ｏに対応したデータであればよい。
学習データは、第１入力情報Ｉ１と同種の情報を有している。例えば、第１入力情報Ｉ１が単純Ｘ線像であれば、学習データも単純Ｘ線像を有していればよい。さらには、第１入力情報Ｉ１が胸部単純Ｘ線像の場合、学習データも胸部単純Ｘ線像を有していればよい。
学習データには、骨が写る複数の単純Ｘ線像の学習用画像データが含まれる。複数の学習用画像データの撮影部位には、例えば、頚部、胸部、腰部、大腿骨近位部、膝関節、足首関節、肩関節、肘関節、手首関節、指関節および顎関節の少なくとも１種類が含まれる。学習データには、１１種類の画像データのうちの一部の種類の画像データが含まれてもよいし、全ての種類の画像データが含まれてもよい。また、複数の学習用画像データには、正面像が含まれてもよいし、側面像が含まれてもよい。
学習データには、互いに異なる複数の人の骨がそれぞれ写っている。複数の学習用画像データのそれぞれに対して、教師データとして、それぞれの学習用画像データの被写体の骨量または骨密度の実測値が対応付けられている。骨量または骨密度の実測値は、学習用画像データが撮影された時期とほぼ同じ時期に測定されたものである。
また、学習データの学習用画像データは、同一人を撮影した時間軸の異なる一連のデータであってもよい。すなわち、学習用画像データは、骨のＸ線画像を有した第１学習データと、第１学習データと同一人物の画像であり、第１学習データよりも後に撮影されたＸ線画像を有した第２学習データとを含んでもよい。
また、学習データの学習用画像データは、他人の同一部位を撮影し、年齢等の異なるデータ群であってもよい。また、学習データの学習用画像データは、同一人、同一部位を撮影した時間軸の異なる一連のデータであってもよい。
学習データおよび第１入力情報Ｉ１は、単純Ｘ線撮影装置（言い換えれば、一般Ｘ線撮影装置あるいはレントゲン撮影装置）で撮影された単純Ｘ線像を示すグレースケールの画像データを縮小し、かつその階調数を低下させたものを使用してもよい。例えば、画像データの画素データの数が（１０２４×６４０）個よりも多く、その画素データのビット数が１６ビットの場合を考える。この場合、画素データの数を、例えば、（２５６×２５６）個、（１０２４×５１２）個あるいは（１０２４×６４０）個まで縮小し、その画素データのビット数を８ビットまで低減したものを、第１入力情報Ｉ１および学習データとして使用する。
教師データには、学習データに含まれる複数の学習用画像データのそれぞれについて、学習用画像データが示す学習用単純Ｘ線像に写る骨を有する骨量または骨密度の測定値が含まれる。骨量または骨密度は、例えば、ＤＥＸＡ（dual-energy X-ray absorptiometry）法または超音波法によって測定されていればよい。
＜ニューラルネットワークの学習例＞
制御部８３４は、近似器８３２が、入力情報Ｉから骨量または骨密度に関する推定結果Ｏを算出可能なように、近似器８３２に対して学習データと教師データを用いた機械学習を実行する。近似器８３２は、教師データを用いた公知の機械学習により、最適化される。近似器８３２は、エンコード部Ｅに入力された学習データから演算されて変換部Ｃから出力された疑似推定結果と、教師データとの差が小さくなるように、近似器８３２内の可変のパラメータを調整する。
具体的には、制御部８３４は、記憶部８３５内の学習データをエンコード部Ｅに入力する。制御部８３４は、エンコード部Ｅに学習データを入力する場合には、学習用画像データを構成する複数の画素データを、エンコード部Ｅを構成する複数の人工ニューロンにそれぞれ入力する。そして、制御部８３４は、エンコード部Ｅに学習用画像データを入力した場合に変換部Ｃから出力される推定結果Ｏについての、当該学習用画像データに対応する骨量または骨密度実測値に対する誤差が小さくなるように、パラメータを調整する。調整後のパラメータは、学習済みパラメータとなり、記憶部８３５に記憶される。
パラメータの調整方法としては、例えば、誤差逆伝播法が採用される。パラメータには、例えば、エンコード部Ｅ、デコード部Ｄ、変換部Ｃで使用されるパラメータが含まれる。具体的には、パラメータには、エンコード部Ｅとデコード部ＤのＣｏｎｖＬＳＴＭ層と、変換部Ｃの畳み込み層および全結合層で使用される重み付け係数とが含まれる。
その結果、近似器８３２は、エンコード部Ｅに入力される入力情報Ｉに対して学習済みパラメータに基づく演算を行って、変換部Ｃから推定結果Ｏを出力する。入力情報ＩとしてのＸ線画像データがエンコード部Ｅに入力される場合には、この画像データを構成する複数の画素データが、入力部８３１を構成する複数の人工ニューロンにそれぞれ入力される。そして、ＣｏｎｖＬＳＴＭ層、畳み込み層、全結合層は、学習済みパラメータに含まれる重み付け係数を用いた演算を行ない、推定結果Ｏを出力することができる。
以上のように、推定システム８０１では、単純Ｘ線像の画像データが使用されて、近似器８３２の学習と、近似器８３２での骨量または骨密度の推定とが行われる。したがって、推定システム８０１に入力情報Ｉを入力して、将来の骨量または骨密度を推定結果Ｏとして出力することができる。
推定システム８０１の推定結果Ｏは、入力情報Ｉの取得日よりも未来のある日の推定結果であればよい。例えば、推定システム８０１は、撮影時の３ヶ月後から５０年後まで、より好ましくは、６ヶ月後から１０年後まで、の骨量または骨密度を推定することができる。
推定結果Ｏは、値として出力されればよい。例えば、ＹＡＭ（Young Adult Mean）、ＴスコアおよびＺスコアの少なくとも１種類によって表されてよい。例えば、出力部８３３からは、ＹＡＭで表された推定値が出力されてもよいし、ＹＡＭで表された推定値と、Ｔスコアで表された推定値と、Ｚスコアで表された推定値とが出力されてもよい。
また、推定結果Ｏは、画像として出力されてもよい。推定結果Ｏが画像の場合、例えばＸ線像様画像が表示されればよい。なお、Ｘ線像様画像とは、Ｘ線像を模した画像である。また、同一人、同一部位を撮影し、時間軸の異なる一連のデータを、ＣｏｎｖＬＳＴＭを用いて学習した場合、画像の時間変化を予測することができる。これにより、別の患者の１時点のＸ線画像から、未来の画像を生成することができる。
学習データおよび入力情報Ｉには、骨の他にも、内臓、筋肉、脂肪または血管が撮影されていてもよい。その場合であっても、精度の高い推定を行なうことができる。
第１入力情報Ｉ１は、被検者の個体データ（第１個体データ）を有していてもよい。第１個体データとは、例えば、年齢情報、性別情報、身長情報、体重情報または骨折歴などであればよい。その結果、精度の高い推定を行なうことができる。
第１入力情報Ｉ１は、被検者の第２個体データを有していてもよい。第２個体データとは、例えば、血圧、脂質、コレステロール、中性脂肪、血糖値の情報を含んでもよい。その結果、精度の高い推定を行なうことができる。
第１入力情報Ｉ１は、被検者の生活習慣情報を有していてもよい。生活習慣情報とは、飲酒習慣、喫煙習慣、運動習慣または食事習慣などの情報であればよい。その結果、精度の高い推定を行なうことができる。
第１入力情報Ｉ１は、被検者の骨代謝情報を有していてもよい。骨代謝情報とは、例えば、骨吸収能力または骨形成能力であればよい。これらは、例えば、骨吸収マーカーであるＩ型コラーゲン架橋Ｎ－テロペプチド（ＮＴＸ）、Ｉ型コラーゲン架橋Ｃ-テロペプチド（ＣＴＸ）、酒石酸抵抗性酸ホスファターゼ（ＴＲＡＣＰ－５ｂ）、デオキシピリジノリン（ＤＰＤ）、骨形成マーカーである骨型アルカリホスファターゼ（ＢＡＰ）、Ｉ型コラーゲン架橋Ｎ-プロペプチド（Ｐ１ＮＰ）、骨関連マトリックスマーカーである低カルボキシル化オステオカルシン（ｕｃＯＣ）の少なくとも１種によって、測定可能である。骨吸収マーカーは、血清または尿を検体として測定されてもよい。
推定システム８０１において、入力情報Ｉとして、さらに被写体の将来の予定行動に関する第２入力情報Ｉ２を入力してもよい。第２入力情報Ｉ２とは、例えば、改善予定または改善後の個体データまたは改善予定または改善後の生活習慣、運動習慣、食事習慣に関する情報であればよい。具体的には、第２入力情報Ｉ２は、体重データ、飲酒習慣、喫煙習慣、陽に当たる時間、１日あたりの歩数または歩行距離、乳製品の摂取量、または改善後の魚、キノコ類などビタミンＤを多く含む食品の摂取量などの情報であればよい。その結果、推定システム８０１は、将来の骨量または骨密度の改善した推定結果Ｏを示すことができる。
また、第２入力情報Ｉ２は、例えば、改悪予定の生活習慣に関する情報であってもよい。その結果、推定システムは、将来の骨量または骨密度の改悪した推定結果Ｏを示すことができる。
推定システム８０１において、入力情報Ｉとして、さらに被写体に対する療法に関する第３入力情報Ｉ３を入力してもよい。第３入力情報Ｉ３とは、例えば、理学療法または薬物療法に関する情報である。具体的には、第３入力情報Ｉ３は、カルシウム薬、女性ホルモン薬、ビタミン薬、ビスホスホネート薬、ＳＥＲＭ（Selective Estrogen Receptor Modulator）薬、カルシトニン薬、甲状腺ホルモン薬、デノスマブ薬の少なくとも１種であればよい。
推定システム８０１において、推定結果Ｏは、第１入力情報Ｉ１のみに基づいた第１結果Ｏ１と、第１入力情報Ｉ１、および第２，第３入力情報Ｉ２，Ｉ３の少なくとも１つの情報に基づいた第２結果Ｏ２とを出力してもよい。その結果、将来の予定行動に対する効果を比較することができる。
推定システム８０１において、推定結果Ｏは、将来の骨量または骨密度だけではなく、現状の結果を出力してもよい。その結果、経時の骨量または骨密度の変化を比較することができる。
図１８は、推定システム８０１の他の実施形態の近似器８３２の構成の概念を示す。
推定システム８０１の推定装置８０３は、第１近似器８３２ａと第２近似器８３２ｂを有していてもよい。すなわち、上記の近似器８３２（第１近似器８３２ａ）の他に、第２近似器８３２ｂを有していてもよい。第２近似器８３２ｂは、例えば、ＣＮＮであればよい。
この場合、推定システム８０１において、第１近似器８３２ａは、第１推定結果Ｏ１として、第１画像および第１の値を第１出力部８３３ａに出力するものである。さらに、第２近似器８３２ｂは、第１出力部８３３ａからの第１画像から、第２推定結果Ｏ２として、第２の値を第２出力部８３３ｂに出力するものである。その結果、将来の骨量または骨密度の推定結果Ｏとして、第１の値と第２の値を比較することができる。
推定システム８０１は、推定結果Ｏとして、第１の値および第２の値に基づいた第３の値を出力してもよい。その結果、例えば、第２の値に基づいて第１の値を補正した結果（第３の値）を、推定結果Ｏとすることができる。
以上のように、推定システム８０１は詳細に説明されたが、上記した説明は、全ての局面において例示であって、この開示がそれに限定されるものではない。また、上述した各種例は、相互に矛盾しない限り組み合わせて適用可能である。そして、例示されていない無数の例が、この開示の範囲から外れることなく想定され得るものと解される。
１ コンピュータ装置（推定装置）
２０ 記憶部
１００ 制御プログラム
１１０，９１０，９６０ 学習済みパラメータ
１２０ 推定用データ
１３０ 学習用データ
１４０ 教師データ
２００ ニューラルネットワーク
２１０ 入力層
２３０ 出力層
２８０，８３２ 近似器
５００ 処理装置
６００ 骨密度推定システム
８０１ 推定システム
８０２ 端末装置
８０３ 推定装置
８３１ 入力部
８３３ 出力部
８３４ 制御部
８３５ 記憶部
９００，８３２２ 第２のニューラルネットワーク
９３０ 判定部
９５０ 第３のニューラルネットワーク
９８０ 骨折予測部
８３２１ 第１のニューラルネットワーク
Ｏ 推定結果
Ｉ 入力情報
Ｅ エンコード部
Ｄ デコード部
Ｃ 変換部

Claims (23)

  1. 第１の人の腰部を撮影した第１腰部単純Ｘ線画像を含む入力情報から、ニューラルネットワークに基づいて骨の骨密度および骨量の少なくとも１つの推定値を推定する推定部を備え、
    前記ニューラルネットワークは、前記第１の人と異なる第２の人の第２腰部単純Ｘ線画像を含む学習データと、前記第２の人の骨密度および骨量の少なくとも１つの測定値を含む教師データとに基づく学習済みパラメータを含む、推定装置。
  2. 前記第１腰部単純Ｘ線画像は、前記第１の人を正面から撮影した正面像を含み、
    前記第２腰部単純Ｘ線画像は、前記第２の人を正面から撮影した正面像を含む、請求項１に記載の推定装置。
  3. 前記教師データは、前記第２の人に対して正面からＸ線を照射して得られた骨密度および骨量の少なくとも１つの測定値を含む、請求項１または２に記載の推定装置。
  4. 前記教師データは、dual-energy X-ray absorptiometry法で測定された骨密度および骨量の少なくとも１つの測定値である、請求項１～３のいずれか１つに記載の推定装置。
  5. 前記教師データは、前記第２の人の腰椎、大腿骨近位部、橈骨および中手骨の少なくとも１つの骨密度および骨量の少なくとも１つの測定値を含む、請求項４に記載の推定装置。
  6. 前記教師データは、超音波法による、前記第２の人の腕部および踵のうち少なくとも１つに基づいて測定された骨密度および骨量の少なくとも１つの測定値を含む、請求項１または２に記載の推定装置。
  7. 前記教師データは、前記測定値を測定した時期が、前記第２腰部単純Ｘ線画像が撮影された時期と同じ時期である、請求項１～６のいずれか１つに記載の推定装置。
  8. 前記第１腰部単純Ｘ線画像は、前記第１の人の腰椎が写る、請求項１～７のいずれか１つに記載の推定装置。
  9. 前記第１腰部単純Ｘ線画像は、前記推定値を推定する以外の目的を含んで撮影された画像である、請求項１～８のいずれか１つに記載の推定装置。
  10. 前記ニューラルネットワークは、畳み込みニューラルネットワークを含む、請求項１～９のいずれか１つに記載の推定装置。
  11. 前記ニューラルネットワークは、畳み込み層およびプーリング層を複数含み、前記畳み込み層および前記プーリング層が交互に配置されている、請求項１０に記載の推定装置。
  12. 前記ニューラルネットワークは、さらに全結合層を含み、
    前記学習済みパラメータは、前記畳み込み層のフィルタ係数と、前記全結合層の重み付け係数とのパラメータを含む、請求項１１に記載の推定装置。
  13. 前記学習済みパラメータは、前記第２腰部単純Ｘ線画像を前記第１腰部単純Ｘ線画像として推定された推定値と、前記教師データの前記測定値との誤差が小さくなるようにパラメータ調整されたものである、請求項１～１２のいずれか１つに記載の推定装置。
  14. 前記パラメータ調整は、誤差逆伝搬法に基づく、請求項１３に記載の推定装置。
  15. 前記学習データは、前記第２腰部単純Ｘ線画像を複数含み、
    複数の前記第２腰部単純Ｘ線画像は、互いに異なる画像サイズを含む、請求項１～１４のいずれか１つに記載の推定装置。
  16. 前記学習データは、前記第２の人の正面像および側面像を含む、請求項１～１５のいずれか１つに記載の推定装置。
  17. 前記推定部は、前記骨の骨密度の推定値として、単位面積当りの骨ミネラル密度（ｇ／ｃｍ２）、単位体積当りの骨ミネラル密度（ｇ／ｃｍ３）、若年成人平均パーセント（ＹＡＭ）、Ｔスコア、およびＺスコアの１種類を出力する、請求項１～１６のいずれか１つに記載の推定装置。
  18. 前記推定部は、前記骨の骨密度の推定値として、単位面積当りの骨ミネラル密度（ｇ／ｃｍ２）、単位体積当りの骨ミネラル密度（ｇ／ｃｍ３）、若年成人平均パーセント（ＹＡＭ）、Ｔスコア、およびＺスコアの少なくとも２種類以上を出力する、請求項１～１６のいずれか１つに記載の推定装置。
  19. 前記第１腰部単純Ｘ線画像を通信ネットワークを通じて受信する受信部をさらに有する、請求項１～１８のいずれか１つに記載の推定装置。
  20. 前記第１腰部単純Ｘ線画像は、前記第１の人を撮影した単純Ｘ線撮影装置で得られた画像データを縮小した画像である、請求項１～１９のいずれか１つに記載の推定装置。
  21. 前記第１腰部単純Ｘ線画像は、前記第１の人を撮影した単純Ｘ線撮影装置で得られた画像の階調数を低下させた画像である、請求項１～２０のいずれか１つに記載の推定装置。
  22. コンピュータ装置を、請求項１から請求項２１のいずれか一つに記載の推定装置として機能させるためのプログラム。
  23. 請求項２２に記載のプログラムを記憶する記録媒体。
JP2023053286A 2018-09-10 2023-03-29 推定装置、プログラム及び記録媒体 Active JP7292667B1 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018168502 2018-09-10
JP2018168502 2018-09-10
JP2018220401 2018-11-26
JP2018220401 2018-11-26
JP2022156224A JP7260887B2 (ja) 2018-09-10 2022-09-29 推定装置及び推定方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2022156224A Division JP7260887B2 (ja) 2018-09-10 2022-09-29 推定装置及び推定方法

Publications (2)

Publication Number Publication Date
JP7292667B1 true JP7292667B1 (ja) 2023-06-19
JP2023089024A JP2023089024A (ja) 2023-06-27

Family

ID=69777881

Family Applications (18)

Application Number Title Priority Date Filing Date
JP2019563116A Active JP6744614B1 (ja) 2018-09-10 2019-09-10 推定装置、推定システム及び推定プログラム
JP2020124995A Pending JP2020171785A (ja) 2018-09-10 2020-07-22 推定装置
JP2022075792A Active JP7157425B2 (ja) 2018-09-10 2022-05-02 推定装置、システム及び推定方法
JP2022075793A Active JP7157426B2 (ja) 2018-09-10 2022-05-02 装置及び方法
JP2022156224A Active JP7260887B2 (ja) 2018-09-10 2022-09-29 推定装置及び推定方法
JP2022156223A Active JP7260886B2 (ja) 2018-09-10 2022-09-29 推定装置及び推定方法
JP2022173247A Active JP7217906B2 (ja) 2018-09-10 2022-10-28 推定装置、システム及び推定方法
JP2023023155A Active JP7266230B2 (ja) 2018-09-10 2023-02-17 装置及びシステム
JP2023023167A Active JP7385228B2 (ja) 2018-09-10 2023-02-17 装置
JP2023023058A Active JP7264364B2 (ja) 2018-09-10 2023-02-17 装置及びシステム
JP2023023176A Active JP7385229B2 (ja) 2018-09-10 2023-02-17 装置及びシステム
JP2023040752A Active JP7283672B1 (ja) 2018-09-10 2023-03-15 学習モデル生成方法、プログラム、記録媒体及び装置
JP2023042028A Active JP7283673B1 (ja) 2018-09-10 2023-03-16 推定装置、プログラム及び記録媒体
JP2023053286A Active JP7292667B1 (ja) 2018-09-10 2023-03-29 推定装置、プログラム及び記録媒体
JP2023053197A Active JP7452825B2 (ja) 2018-09-10 2023-03-29 推定装置、推定方法、プログラム及び記録媒体
JP2023053222A Pending JP2023089022A (ja) 2018-09-10 2023-03-29 処理装置及び推定システム
JP2024028037A Pending JP2024069261A (ja) 2018-09-10 2024-02-28 予測システム
JP2024032724A Pending JP2024063171A (ja) 2018-09-10 2024-03-05 推定システム、推定方法、推定装置、プログラム及び記録媒体

Family Applications Before (13)

Application Number Title Priority Date Filing Date
JP2019563116A Active JP6744614B1 (ja) 2018-09-10 2019-09-10 推定装置、推定システム及び推定プログラム
JP2020124995A Pending JP2020171785A (ja) 2018-09-10 2020-07-22 推定装置
JP2022075792A Active JP7157425B2 (ja) 2018-09-10 2022-05-02 推定装置、システム及び推定方法
JP2022075793A Active JP7157426B2 (ja) 2018-09-10 2022-05-02 装置及び方法
JP2022156224A Active JP7260887B2 (ja) 2018-09-10 2022-09-29 推定装置及び推定方法
JP2022156223A Active JP7260886B2 (ja) 2018-09-10 2022-09-29 推定装置及び推定方法
JP2022173247A Active JP7217906B2 (ja) 2018-09-10 2022-10-28 推定装置、システム及び推定方法
JP2023023155A Active JP7266230B2 (ja) 2018-09-10 2023-02-17 装置及びシステム
JP2023023167A Active JP7385228B2 (ja) 2018-09-10 2023-02-17 装置
JP2023023058A Active JP7264364B2 (ja) 2018-09-10 2023-02-17 装置及びシステム
JP2023023176A Active JP7385229B2 (ja) 2018-09-10 2023-02-17 装置及びシステム
JP2023040752A Active JP7283672B1 (ja) 2018-09-10 2023-03-15 学習モデル生成方法、プログラム、記録媒体及び装置
JP2023042028A Active JP7283673B1 (ja) 2018-09-10 2023-03-16 推定装置、プログラム及び記録媒体

Family Applications After (4)

Application Number Title Priority Date Filing Date
JP2023053197A Active JP7452825B2 (ja) 2018-09-10 2023-03-29 推定装置、推定方法、プログラム及び記録媒体
JP2023053222A Pending JP2023089022A (ja) 2018-09-10 2023-03-29 処理装置及び推定システム
JP2024028037A Pending JP2024069261A (ja) 2018-09-10 2024-02-28 予測システム
JP2024032724A Pending JP2024063171A (ja) 2018-09-10 2024-03-05 推定システム、推定方法、推定装置、プログラム及び記録媒体

Country Status (6)

Country Link
US (2) US12033318B2 (ja)
EP (2) EP3851048A4 (ja)
JP (18) JP6744614B1 (ja)
CN (3) CN117393146A (ja)
AU (3) AU2019339090B2 (ja)
WO (1) WO2020054738A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11741694B2 (en) * 2020-06-09 2023-08-29 Merative Us L.P. Spinal fracture detection in x-ray images
KR102573893B1 (ko) * 2020-09-09 2023-09-01 프로메디우스 주식회사 의료영상 처리 장치 및 의료영상 처리 방법
JP2022139211A (ja) * 2021-03-11 2022-09-26 富士フイルム株式会社 推定装置、方法およびプログラム
JP2022140050A (ja) * 2021-03-12 2022-09-26 富士フイルム株式会社 推定装置、方法およびプログラム
JP2022163614A (ja) * 2021-04-14 2022-10-26 富士フイルム株式会社 推定装置、方法およびプログラム
KR102654088B1 (ko) * 2021-07-05 2024-04-04 순천향대학교 산학협력단 Ai를 기반으로 하는 골밀도 변화 예측 장치 및 그 방법
JP2023012763A (ja) * 2021-07-14 2023-01-26 富士フイルム株式会社 推定装置、方法およびプログラム
JP7418018B2 (ja) * 2021-11-12 2024-01-19 ｉＳｕｒｇｅｒｙ株式会社 診断支援装置、およびコンピュータプログラム
WO2023224022A1 (ja) * 2022-05-20 2023-11-23 国立大学法人大阪大学 プログラム、情報処理方法、及び情報処理装置
JP7322262B1 (ja) 2022-08-30 2023-08-07 ジーイー・プレシジョン・ヘルスケア・エルエルシー 仮想単色ｘ線画像を推論する装置、ｃｔシステム、学習済みニューラルネットワークの作成方法、および記憶媒体
JP7383770B1 (ja) 2022-08-31 2023-11-20 ジーイー・プレシジョン・ヘルスケア・エルエルシー 物質密度画像を推論する装置、ｃｔシステム、記憶媒体、および学習済みニューラルネットワークの作成方法
WO2024090050A1 (ja) * 2022-10-27 2024-05-02 富士フイルム株式会社 画像処理装置、方法およびプログラム、並びに学習装置、方法およびプログラム
JP2024066977A (ja) * 2022-10-28 2024-05-16 京セラ株式会社 画像生成装置、画像生成方法、画像生成プログラム及び記録媒体
JP7479648B1 (ja) * 2022-11-14 2024-05-09 京セラ株式会社 予測装置、予測システム、予測方法、制御プログラム、および記録媒体
WO2024181503A1 (ja) * 2023-02-28 2024-09-06 京セラ株式会社 情報処理システム、情報処理システムの制御方法、制御プログラム、記録媒体
WO2024181506A1 (ja) * 2023-02-28 2024-09-06 京セラ株式会社 情報処理システム、情報処理システムの制御方法、制御プログラム、記録媒体
KR102691469B1 (ko) * 2023-03-15 2024-08-05 대한민국 문화재 전용 x선 컴퓨터 단층촬영장치(ct)의 단층 촬영 이미지 모델링 시스템, 문화재 전용 x선 컴퓨터 단층촬영장치(ct)의 단층 촬영 이미지 모델링 방법 및 그 방법을 수행하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 저장매체
WO2024209969A1 (ja) * 2023-04-04 2024-10-10 ｉＳｕｒｇｅｒｙ株式会社 プログラム、モデル生成方法、ニューラルネットワークシステム、情報処理方法、及び情報処理装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000245722A (ja) 1999-02-25 2000-09-12 Korea Electronics Telecommun 骨小柱パターンを利用した骨小柱指標設定方法および骨密度測定方法
JP2002238904A (ja) 2001-02-19 2002-08-27 Tanita Corp 骨密度推定方法および骨密度推定装置
JP2007524438A (ja) 2003-03-25 2007-08-30 イメージング セラピューティクス，インコーポレーテッド 放射線画像処理技術における補償の方法
JP2008036068A (ja) 2006-08-04 2008-02-21 Hiroshima Univ 骨粗鬆症診断支援装置および方法、骨粗鬆症診断支援プログラム、骨粗鬆症診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体、骨粗鬆症診断支援用ｌｓｉ
US20090285467A1 (en) 2008-05-15 2009-11-19 New Medical Co., Ltd. Method for assessing bone status
JP2011523573A (ja) 2008-05-30 2011-08-18 オプタジア メディカル インコーポレイテッド 骨粗鬆症の検出および追跡の方法およびシステム
US20160015347A1 (en) 2014-07-21 2016-01-21 Zebra Medical Vision Ltd. Systems and methods for emulating dexa scores based on ct images
JP2018026131A (ja) 2016-08-09 2018-02-15 ダンロップスポーツ株式会社 動作解析装置

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5259384A (en) 1992-07-30 1993-11-09 Kaufman Jonathan J Ultrasonic bone-assessment apparatus and method
JP2983421B2 (ja) * 1993-11-26 1999-11-29 帝人株式会社 骨計測方法及び装置
US5931780A (en) * 1993-11-29 1999-08-03 Arch Development Corporation Method and system for the computerized radiographic analysis of bone
JPH07289597A (ja) * 1994-04-22 1995-11-07 Kiyotoshi Oshiro 寝たきり患者の骨粗鬆症治療装置
CA2158033A1 (en) * 1995-02-13 1996-08-14 Joseph P. Bisek Method for periprosthetic bone mineral density measurement
CN1194045A (zh) * 1995-07-25 1998-09-23 好乐思治疗公司 计算机辅助疾病诊断方法
JPH09248292A (ja) 1996-03-15 1997-09-22 Asahi Chem Ind Co Ltd 骨粗しょう症診断装置および骨粗しょう症診断方法
US6064716A (en) * 1997-09-05 2000-05-16 Cyberlogic, Inc. Plain x-ray bone densitometry apparatus and method
JP3182558B2 (ja) 1998-01-06 2001-07-03 株式会社センサ 超音波計測による骨塩量評価法
US6442287B1 (en) 1998-08-28 2002-08-27 Arch Development Corporation Method and system for the computerized analysis of bone mass and structure
JP2000217874A (ja) * 1999-01-28 2000-08-08 Yaskawa Electric Corp 関節駆動装置
US6246745B1 (en) * 1999-10-29 2001-06-12 Compumed, Inc. Method and apparatus for determining bone mineral density
US6173038B1 (en) * 1999-12-01 2001-01-09 Cyberlogic, Inc. Plain x-ray bone densitometry apparatus and method
US20070047794A1 (en) * 2000-10-11 2007-03-01 Philipp Lang Methods and devices for analysis of x-ray images
US7660453B2 (en) * 2000-10-11 2010-02-09 Imaging Therapeutics, Inc. Methods and devices for analysis of x-ray images
US6570955B1 (en) 2002-01-08 2003-05-27 Cyberlogic, Inc. Digital x-ray material testing and bone densitometry apparatus and method
FR2836818B1 (fr) 2002-03-05 2004-07-02 Eurosurgical Procede de visualisation et de controle de l'equilibre d'une colonne vertebrale
EP1357480A1 (en) 2002-04-17 2003-10-29 Agfa-Gevaert Osteoporosis screening method
US8290564B2 (en) 2003-09-19 2012-10-16 Imatx, Inc. Method for bone structure prognosis and simulated bone remodeling
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
KR20040058150A (ko) * 2004-06-11 2004-07-03 (주)엠텍 골 충실도를 이용한 골밀도 측정 방법 및 장치
EP1657681B1 (en) 2004-11-10 2009-01-21 Agfa HealthCare NV Method of performing measurements on digital images
US8014625B2 (en) 2004-11-10 2011-09-06 Agfa Healthcare Method of performing measurements on digital images
JP5426170B2 (ja) 2005-11-11 2014-02-26 ホロジック， インコーポレイテッド 三次元骨密度モデルを使用して将来の骨折の危険性の推定
US7746976B2 (en) * 2005-12-30 2010-06-29 Carestream Health, Inc. Bone mineral density assessment using mammography system
JP2009285356A (ja) 2008-05-30 2009-12-10 Institute Of National Colleges Of Technology Japan 医療用撮影システム、画像処理装置、画像処理方法、およびプログラム
WO2010117575A2 (en) 2009-04-07 2010-10-14 Virginia Commonwealth University Accurate pelvic fracture detection for x-ray and ct images
PT2477503E (pt) * 2009-09-17 2013-10-31 Danone Sa Processo de preparação de um produto lácteo pasteurizado e fermentado, suplementado com cálcio e vitamina d
JP5827801B2 (ja) 2010-12-29 2015-12-02 日立アロカメディカル株式会社 医療用測定装置
JP2013085631A (ja) 2011-10-17 2013-05-13 Konica Minolta Medical & Graphic Inc 関節撮影装置
JP2014158628A (ja) 2013-02-20 2014-09-04 Univ Of Tokushima 画像処理装置、画像処理方法、制御プログラム、および記録媒体
JP6129145B2 (ja) 2014-12-03 2017-05-17 株式会社日立製作所 医療用ｘ線測定装置
CN107205709A (zh) * 2015-02-13 2017-09-26 株式会社岛津制作所 骨分析装置
FR3035785B1 (fr) * 2015-05-07 2017-06-02 Arts Procede d'estimation de la repartition de la densite minerale osseuse dans au moins une partie de squelette d'un individu
WO2016194161A1 (ja) 2015-06-03 2016-12-08 株式会社日立製作所 超音波診断装置、及び画像処理方法
EP3417776A4 (en) 2016-02-15 2019-07-10 Keio University SPINAL ALIGNMENT APPARATUS, SPINAL ALIGNMENT APPARATUS PROCESS AND SPINAL ALIGNMENT ASSESSMENT PROGRAM
WO2017197264A1 (en) 2016-05-12 2017-11-16 Idac Holdings, Inc. Flow-based processing in wireless systems
JP2018005520A (ja) * 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
US10163040B2 (en) 2016-07-21 2018-12-25 Toshiba Medical Systems Corporation Classification method and apparatus
KR101928984B1 (ko) * 2016-09-12 2018-12-13 주식회사 뷰노 골밀도 추정 방법 및 장치
GB201702080D0 (en) * 2017-02-08 2017-03-22 Sheffield Hallam Univ Apparatus and method for quantitative determination of bone density
CN107485405B (zh) * 2017-08-18 2021-02-19 浙江康源医疗器械有限公司 一种利用参考模块测量骨密度的装置
JP6585869B1 (ja) * 2018-05-09 2019-10-02 威久 山本 将来の骨量を予測する方法、情報処理装置、及びコンピュータプログラム
JP7016293B2 (ja) 2018-06-08 2022-02-04 富士フイルム株式会社 骨塩情報取得装置、方法およびプログラム
JP2022156223A (ja) 2021-03-31 2022-10-14 エドワーズ株式会社 真空ポンプ

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000245722A (ja) 1999-02-25 2000-09-12 Korea Electronics Telecommun 骨小柱パターンを利用した骨小柱指標設定方法および骨密度測定方法
JP2002238904A (ja) 2001-02-19 2002-08-27 Tanita Corp 骨密度推定方法および骨密度推定装置
JP2007524438A (ja) 2003-03-25 2007-08-30 イメージング セラピューティクス，インコーポレーテッド 放射線画像処理技術における補償の方法
JP2008036068A (ja) 2006-08-04 2008-02-21 Hiroshima Univ 骨粗鬆症診断支援装置および方法、骨粗鬆症診断支援プログラム、骨粗鬆症診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体、骨粗鬆症診断支援用ｌｓｉ
US20090285467A1 (en) 2008-05-15 2009-11-19 New Medical Co., Ltd. Method for assessing bone status
JP2011523573A (ja) 2008-05-30 2011-08-18 オプタジア メディカル インコーポレイテッド 骨粗鬆症の検出および追跡の方法およびシステム
US20160015347A1 (en) 2014-07-21 2016-01-21 Zebra Medical Vision Ltd. Systems and methods for emulating dexa scores based on ct images
JP2018026131A (ja) 2016-08-09 2018-02-15 ダンロップスポーツ株式会社 動作解析装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHU, P. et al.，Using Octuplet Siamese Network For Osteoporosis Analysis On Dental Panoramic Radiographs，2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society，2018年，p. 2579-2582，[検索日：2022.08.23], <DOI:10.1109/EMBC.2018.8512755>
GONZALEZ, G. et.al，Deep learning for biomarker regression: application to osteoporosis and emphysema on chest CT scans，SPIE Medical Imaging，2018年，Proceedings Volume 10574，105741H-1 to 105741H-7，[検索日：2022.08.23], <DOI:https://doi.org/10.1117/12.2293455>
Thao P. Ho-Le et al.，"Prediction of Hip Fracture in Post-menopausal Women using Artificial Neural network Approach"，IEEE Conference Proceedings，2017年07月，Vol.2017, No.EMBC，p.4207-4210

Also Published As

Publication number Publication date
JP7452825B2 (ja) 2024-03-19
JP2024063171A (ja) 2024-05-10
JP2023085344A (ja) 2023-06-20
AU2019339090A1 (en) 2021-04-01
EP4276753A2 (en) 2023-11-15
JP7260886B2 (ja) 2023-04-19
US12033318B2 (en) 2024-07-09
US20240320828A1 (en) 2024-09-26
JP2023089022A (ja) 2023-06-27
JP7157426B2 (ja) 2022-10-20
CN112654291A (zh) 2021-04-13
JP7266230B2 (ja) 2023-04-28
JP7264364B2 (ja) 2023-04-25
JP7260887B2 (ja) 2023-04-19
JP2020171785A (ja) 2020-10-22
CN118570146A (zh) 2024-08-30
JP7385229B2 (ja) 2023-11-22
JP2023056028A (ja) 2023-04-18
JP6744614B1 (ja) 2020-08-19
JP2022180590A (ja) 2022-12-06
JP2022106894A (ja) 2022-07-20
JP2023002781A (ja) 2023-01-10
CN117393146A (zh) 2024-01-12
EP4276753A3 (en) 2024-02-07
JP7217906B2 (ja) 2023-02-06
EP3851048A1 (en) 2021-07-21
AU2023285899A1 (en) 2024-01-18
JP2024069261A (ja) 2024-05-21
JP2023082022A (ja) 2023-06-13
JP7385228B2 (ja) 2023-11-22
WO2020054738A1 (ja) 2020-03-19
AU2019339090B2 (en) 2022-09-01
JP2023089021A (ja) 2023-06-27
JP7283672B1 (ja) 2023-05-30
JP2023089024A (ja) 2023-06-27
JP2022106895A (ja) 2022-07-20
JP2023056029A (ja) 2023-04-18
JPWO2020054738A1 (ja) 2020-10-22
JP2023056026A (ja) 2023-04-18
EP3851048A4 (en) 2022-09-14
US20220051398A1 (en) 2022-02-17
AU2022241515A1 (en) 2022-10-27
AU2022241515B2 (en) 2023-11-09
JP7157425B2 (ja) 2022-10-20
JP2023062093A (ja) 2023-05-02
JP2022180589A (ja) 2022-12-06
JP7283673B1 (ja) 2023-05-30

Similar Documents

Publication Publication Date Title
JP7292667B1 (ja) 推定装置、プログラム及び記録媒体
JPWO2020138085A1 (ja) 疾患予測システム
US20240354951A1 (en) Estimation apparatus, estimation system, and computer-readable non-transitory medium storing estimation program
WO2024181507A1 (ja) 情報処理システム、端末装置、情報処理システムの制御方法、制御プログラム、および記録媒体
WO2024181503A1 (ja) 情報処理システム、情報処理システムの制御方法、制御プログラム、記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230329

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230529

R150 Certificate of patent or registration of utility model

Ref document number: 7292667

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150