JP6015418B2 - 医用画像処理装置及びプログラム - Google Patents

医用画像処理装置及びプログラム Download PDF

Info

Publication number
JP6015418B2
JP6015418B2 JP2012277555A JP2012277555A JP6015418B2 JP 6015418 B2 JP6015418 B2 JP 6015418B2 JP 2012277555 A JP2012277555 A JP 2012277555A JP 2012277555 A JP2012277555 A JP 2012277555A JP 6015418 B2 JP6015418 B2 JP 6015418B2
Authority
JP
Japan
Prior art keywords
image
medical image
bone mineral
graph
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012277555A
Other languages
English (en)
Other versions
JP2014121343A (ja
Inventor
由紀 綱本
由紀 綱本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2012277555A priority Critical patent/JP6015418B2/ja
Publication of JP2014121343A publication Critical patent/JP2014121343A/ja
Application granted granted Critical
Publication of JP6015418B2 publication Critical patent/JP6015418B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Description

本発明は、医用画像処理装置及びプログラムに関する。
従来、骨粗鬆症の診断や治療効果の判定のために骨塩定量検査が行われている。骨塩 定量検査にはさまざまなものがあるが、そのうちDIP(Digital Image Processing)法による検査は、簡便で精度が高い検査として広く実施されている。DIP法とは、アルミスロープと左手第二中手骨を同時にX線撮影し、得られたX線画像におけるアルミスロープと左手第二中手骨との陰影濃度を比較し骨塩量を計測する手法である。
DIP法による骨塩定量検査に係る技術として、例えば、特許文献1には、X線画像データに基づいて骨塩定量を行う骨塩定量手段を備えた画像形成装置が記載されている。この特許文献1には、今回の計測の結果値と計測元の医用画像を表示することが記載されている。
特開2010−200824号公報
しかしながら、特許文献1においては、今回の結果値と計測元の医用画像を表示するだけである。そのため、今回の結果値が前回までの結果値と大きく異なっているのか否かを医師が即座に判断したり、今回の結果値が前回までと大きく異なる場合の原因を即座に究明したりすることができないという問題がある。
このような問題を解決するためには、骨塩定量の結果値の経時変化をグラフ化することが考えられる。この場合、グラフは、今回の結果値と、計測元の医用画像に対応する患者の過去の結果値に基づいて作成される。
ここで、計測元の医用画像が誤った患者の患者情報に対応付けられていた場合、この医用画像を正しい患者の患者情報に対応付けし直した場合には、この医用画像に基づいて計測した結果値と、正しい患者の過去の結果値に基づくグラフを再度作成し直す必要がある。また、医用画像の移動元(誤った患者)と移動先の患者(正しい患者)に対し、患者情報を対応付けし直した医用画像よりも後に撮影された医用画像に対応するグラフが作成されていた場合には、そのグラフは該当患者の骨塩定量の正しい経時変化を示していないため、作成し直す必要がある。
しかしながら、骨塩定量の計測では、医用画像上における左手第二中手骨の上端の最も突出している部分と下端の最も凹んでいる部分の二点を指定する等の操作が必要である。そのため、計測元の医用画像を正しい患者の患者情報に対応付けし直した後、いちいちユーザーが再度骨塩定量計測の操作を行い、必要なグラフを作成し直すのは煩雑である。また、再作成が必要なグラフをユーザーが作成し直すことを忘れてしまう可能性もある。
本発明の課題は、骨塩定量の計測元の医用画像を正しい患者の患者情報に対応付けし直した場合の再計測の手間を省くとともに、再作成が必要な骨塩定量のグラフの作成し忘れを防止することである。
上記課題を解決するため、請求項1に記載の発明の医用画像処理装置は、
患者の所定部位をX線撮影することにより得られた医用画像に基づいて骨塩定量を計測する骨塩定量計測手段と、
前記骨塩定量計測手段により計測された骨塩定量の結果値と、その計測元の医用画像と、患者情報及び計測日時と、を対応付けて記憶する記憶手段と、
前記骨塩定量計測手段により計測された骨塩定量の結果値及び前記記憶手段に記憶されている同一患者の過去の結果値に基づいて、骨塩定量の経時変化を示すグラフを作成し、前記計測元の医用画像に対応付けて前記記憶手段に記憶させるグラフ作成手段と、
前記記憶手段に記憶されている医用画像が別の患者情報に対応付けし直された場合に、当該医用画像に基づいて計測された骨塩定量の結果値と、前記別の患者情報に対応付けて前記記憶手段に記憶されている骨塩定量の結果値とに基づいて当該医用画像に対応するグラフを作成し直し、当該医用画像に対応付けて前記記憶手段に記憶させるグラフ再作成手段と、
を備える。
請求項2に記載の発明は、請求項1に記載の発明において、
前記記憶手段に記憶されている医用画像を前記別の患者情報に対応付けし直すために元の患者情報から切り離した場合に、前記元の患者情報に対応するグラフであって、当該医用画像よりも後にX線撮影された医用画像に対応するグラフが前記記憶手段に存在する場合、当該グラフを前記元の患者情報から切り離した医用画像に基づく骨塩定量の結果値を含まないグラフに更新する第1のグラフ更新手段を備える。
請求項3に記載の発明は、請求項1又は2に記載の発明において、
前記記憶手段に記憶されている医用画像が別の患者情報に対応付けし直された場合に、前記別の患者情報に対応するグラフであって、当該医用画像よりも後にX線撮影された医用画像に対応するグラフが前記記憶手段に存在する場合、当該グラフを前記別の患者情報に対応付けし直された医用画像に基づく骨塩定量の結果値を含むグラフに更新する第2のグラフ更新手段を備える。
請求項4に記載の発明は、請求項1〜3の何れか一項に記載の発明において、
前記記憶手段に記憶されている医用画像が別の患者情報に対応付けし直された場合に、その旨を通知する通知手段を備える。
請求項5に記載の発明のプログラムは、
コンピューターを、
患者の所定部位をX線撮影することにより得られた医用画像に基づいて骨塩定量を計測する骨塩定量計測手段、
前記骨塩定量計測手段により計測された骨塩定量の結果値と、その計測元の医用画像と、患者情報及び計測日時と、を対応付けて記憶する記憶手段、
前記骨塩定量計測手段により計測された骨塩定量の結果値及び前記記憶手段に記憶されている同一患者の過去の結果値に基づいて、骨塩定量の経時変化を示すグラフを作成し、前記計測元の医用画像に対応付けて前記記憶手段に記憶させるグラフ作成手段、
前記記憶手段に記憶されている医用画像が別の患者情報に対応付けし直された場合に、当該医用画像に基づいて計測された骨塩定量の結果値と、前記別の患者情報に対応付けて前記記憶手段に記憶されている骨塩定量の結果値とに基づいて当該医用画像に対応するグラフを作成し直し、当該医用画像に対応付けて前記記憶手段に記憶させるグラフ再作成手段、
として機能させる。
本発明によれば、骨塩定量の計測元の医用画像を正しい患者の患者情報に対応付けし直した場合の再計測の手間を省くとともに、再作成が必要な骨塩定量のグラフの作成し忘れを防止することができる。
本発明の実施の形態における施設内システムの全体構成を示す図である。 医用画像処理装置の機能的構成を示すブロック図である。 画像情報テーブルのデータ格納例を示す図である。 骨塩定量DBのデータ格納例を示す図である。 骨塩定量検査におけるX線撮影の方法を説明するための図である。 医用画像処理装置の制御部により実行される診断支援処理を示すフローチャートである。 ビューアー画面の一例を示す図である。 階調変換処理のパラメーターであるG値を説明するための図である。 階調変換処理のパラメーターであるS値を説明するための図である。 図6のステップS8において実行される骨塩定量計測処理を示すフローチャートである。 骨塩定量画面の一例を示す図である。 L値を説明するための図である。 骨幅D、骨髄幅dを説明するための図である。 骨塩定量計測後の骨塩定量画面の一例を示す図である。 骨塩定量計測結果であるグラフ画像が表示されたビューアー画面の一例を示す図である。 医用画像処理装置の制御部により実行される患者切り離し処理を示すフローチャートである。 患者情報の切り離しを行うための操作を説明するための図である。 図14のステップS24において表示されるメッセージ画面の一例を示す図である。 医用画像処理装置の制御部により実行される再割り付け処理を示すフローチャートである。 名称未設定画面の一例を示す図である。 名称未設定画面において未確定画像に患者情報が対応付けられた例を示す図である。 図17のステップS37において表示される確認画面の一例を示す図である。 医用画像処理装置の制御部により実行されるグラフ再作成処理を示すフローチャートである。 図20のステップS52において表示されるメッセージ画面の一例を示す図である。
以下、図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、発明の範囲は、図示例に限定されない。
〔施設内システム1の構成〕
図1は、本実施の形態における施設内システム1のシステム構成を示すブロック図である。
施設内システム1は、開業医やクリニック等の比較的小規模の医療施設に適用されるシステムであり、図1に示すように、モダリティ2と、医用画像処理装置3と、受付装置4と、イメージャー5と、汎用プリンター6と、クライアントPC(Personal Computer)
7と、から構成されている。施設内システム1を構成する各装置は、例えば図示しないスイッチングハブ等を介してLAN(Local Area Network)等の通信ネットワーク(以下単に「ネットワーク」という)8に接続されている。医用画像処理装置3は、医師の常駐場所である診察室に設けられたWS(ワークステーション)であることが好ましい。なお、この医用画像処理装置3として作動するWSがモダリティ2の起動や処理条件等を制御する構成としてもよい。
病院内の通信方式としては、一般的に、DICOM(Digital Image and Communications in Medicine)規格が用いられており、LAN接続された各装置間の通信では、DICOM MWM(Modality Worklist Management)やDICOM MPPS(Modality Performed Procedure Step)が用いられる。なお、本実施形態に適用可能な通信方式はこれに限定されない。
〔施設内システム1の各装置の装置構成〕
以下、施設内システム1を構成する各装置について説明する。
モダリティ2は、患者の診断対象部位を被写体として撮影を行い、撮影した画像をデジタル変換して医用画像を生成する画像生成装置である。
本実施の形態において、モダリティ2は、X線撮影装置、CR(Computed Radiography)カセッテ、読取装置により構成されるCR装置である。モダリティ2は、X線撮影装置とCRカセッテの間に被写体を配置してX線撮影を行い、CRカセッテに記録された放射線画像を読取装置で読み取ってデジタル画像データを取得する。
ここで、CRカセッテは、例えば放射線エネルギーを蓄積する輝尽性蛍光体シートを備える放射線画像変換プレートを内蔵しており、放射線が照射されると被写体の放射線透過率分布に従った量の放射線を輝尽性蛍光体シートの輝尽性蛍光体層に蓄積させ、この輝尽性蛍光体層に被写体の放射線画像を記録するものである。読取装置は、CRカセッテ内の輝尽性蛍光体シートに励起光を照射し、これによりシートから発光される輝尽光を光電変換し、得られた画像信号をA/D変換して画像データを生成するものである。
なお、モダリティ2としては、CR装置に限られず、FPD(Flat Panel Detector)装置としてもよい。また、施設内システム1は、超音波診断装置、内視鏡装置、CT(Computed Tomography)撮影装置、磁気共鳴画像撮影装置(MRI:magnetic resonance imaging)等の他のモダリティを備える構成としてもよい。
本実施の形態において、モダリティ2は、DICOM規格に準じた形式で、UID、撮影日時、検査ID、撮影部位等の画像属性情報を各医用画像に付与する機能を備えている。UIDは、施設内システム1内の医用画像を特定するためのユニークなIDである。
また、モダリティ2は、文字入力キー、数字入力キー等を備えたキーボード等の入力部(図示せず)を備えており、撮影対象である患者を特定する患者情報を入力部より入力する。
ここで入力される患者情報は、例えば患者ID、患者氏名(漢字)、患者氏名(カナ)、患者氏名(ASCII)、性別、生年月日等である。なお、モダリティ2においてこれらすべてを入力する必要はなく、患者情報を何ら入力しないとすることもできる。モダリティ2が患者情報として患者IDのみを入力する仕様である場合には、モダリティ2の入力部は、例えばテンキー等でもよい。
上記画像属性情報及び患者情報は、モダリティ2で生成された医用画像に付帯する付帯情報となる。モダリティ2は、DICOM規格に則ったDICOMファイル形式で医用画像を生成する。DICOMファイルは、画像部とヘッダ部とから構成される。画像部には医用画像の画像データ、ヘッダ部に当該医用画像に関する付帯情報が書き込まれている。
医用画像処理装置3は、例えば診察室に設置される。医用画像処理装置3は、モダリティ2により生成された医用画像を患者情報と対応付けてデータベースに保存したり、医用画像に画像処理を施して医師による診断のために表示部に表示したりするための装置であり、一般的なPC(Personal Computer)に用いられるモニタよりも高精細のモニタを備
えるものであってもよい。
また、医用画像処理装置3は、骨塩定量検査機能を備えている。骨塩定量検査は、左手及びアルミスロープ(詳細後述)が撮影された医用画像から骨塩定量を計測する検査である。
医用画像処理装置3は、図2に示すように、制御部31、RAM32、記憶部33、操作部34、表示部35、通信部36、メディアドライブ37、計時部38等を備えて構成されており、各部はバス39により接続されている。
制御部31は、CPU(Central Processing Unit)等により構成され、記憶部33に
記憶されているシステムプログラムや処理プログラム等の各種プログラムを読み出してRAM32に展開し、展開されたプログラムに従って後述する診断支援処理、骨塩定量計測処理をはじめとする各種処理を実行することで、骨塩定量計測手段、グラフ作成手段、グラフ再作成手段、第1のグラフ更新手段、第2のグラフ更新手段として機能する。
RAM32は、制御部31により実行制御される各種処理において、記憶部33から読み出された制御部31で実行可能な各種プログラム、入力若しくは出力データ、及びパラメーター等の一時的に記憶するワークエリアを形成する。
記憶部33は、HDD(Hard Disk Drive)や半導体の不揮発性メモリ等により構成さ
れる。記憶部33には、前述のように各種プログラムが記憶されているほか、医用画像を読影診断に適した画質に調整するための画像処理パラメーター(階調処理に用いる階調曲線を定義したルックアップテーブル(LUT)等)等が記憶されている。また、骨塩定量の計測で用いられる各種パラメーターの固定値(例えば、骨塩定量最適化画像の作成に用いるLUT、G値、S値)、若年成人平均値(YAM)、男女別年代別平均値等が記憶されている。
また、記憶部33は、患者情報DB(Data Base)330、画像DB331、骨塩定量DB332、名称未設定フォルダー333を有している。
患者情報DB330は、受付装置4から受信した患者情報リストを格納するためのデータベースである。
画像DB331は、医用画像や骨塩定量のグラフ画像を格納するためのデータベースである。画像DB331は、画像DB331に格納されている画像に関する各種情報を格納するための画像情報テーブル331aを有している。
画像情報テーブル331aは、図3に示すように、「UID」、「撮影日時」、「検査ID」、「撮影部位」、「患者ID」、「患者氏名」、「年齢」、「性別」、「画像保存先」等の項目を有しており、画像DB331に格納された各画像に係る検査情報、患者情報、画像保存先のパス等を記憶する。なお、画像保存先として、モダリティ2から送信された医用画像(オリジナル画像という)、オリジナル画像から作成された処理済み画像、オリジナル画像から作成されたサムネイル画像、骨塩定量検査により作成されたグラフ画像、及びグラフ画像から作成されたグラフサムネイル画像、のそれぞれの画像保存先のパスを格納する。画像情報テーブル331aに格納される情報により、医用画像とグラフ画像は、互いに対応付けられるとともに、患者情報や検査情報等と対応付けられ、患者情報や撮影日時等をキーとして検索可能に記憶される。
骨塩定量DB332は、骨塩定量検査の結果値や骨塩定量検査に用いたパラメーター等を格納するためのデータベースである。骨塩定量DB332は、図4に示すように、「検査ID」、「計測日時」、「患者ID」、「患者名」、「年齢」、「性別」、「結果値」、「パラメーター」等の項目を有し、骨塩定量検査毎のこれらの情報を格納する。結果値は、例えば、L値、DIP値、MCI等である。パラメーターは、例えば、検査時に指定された2点の座標((X1,Y1)、(X2,Y2))、計測対象領域の座標(左上(X3,Y3)、右下(X4,Y4))、アルミスロープの座標(左上(X5,Y5)、右下(X6,Y6))である。なお、結果値とパラメーターについては、詳細を後述する。
名称未設定フォルダー333は、患者情報が対応付けられていない医用画像(未確定画像という)を格納するためのフォルダーである。名称未設定フォルダー333は、名称未設定フォルダーに格納された医用画像に係る情報(UID、撮影日時、検査ID、撮影部位等)を格納し管理するための未確定画像情報テーブル333a(図示せず)を有する。
操作部34は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを、入力信号として制御部31に出力する。
表示部35は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等のモニタを備えて構成されており、制御部31から入力される表示信号の指示に従って、各種画面を表示する。
通信部36は、ネットワークインターフェース等により構成され、スイッチングハブを介してネットワーク8に接続された外部機器との間でデータの送受信を行う。
メディアドライブ37は、CD−R(Compact Disk Recordable)やDVD−R(Digital Versatile Disk Recordable)、MO(Magnet Optical)ディスク等の可搬型の記録メディアMに対しデータの読み出し又は書き込みを行う装置である。
受付装置4は、来院した患者の受付登録、会計計算、保険点数計算等を行うためのコンピューター装置であり、CPU、ROM、RAM等により構成される記憶部、キーボードやマウス等により構成される入力部、CRTやLCD等により構成される表示部、ネットワーク8に接続された各装置との通信を制御する通信部(いずれも図示せず)等を備えて構成されている。受付装置4は、入力部より受付入力画面の表示が指示されると、CPUと記憶部に記憶されたプログラムとの協働によるソフトウエア処理により、表示部に図示しない受付入力画面を表示する。この受付入力画面を介して入力部により受付情報(受付番号+患者情報(患者氏名、患者ID、年齢、性別等)が入力されると、受付された患者の患者情報リストを作成(更新)して記憶部に記憶し、通信部により適宜医用画像処理装置3に対して送信する。
イメージャー5は、医用画像処理装置3から送信された医用画像に基づいて、透過型記録媒体(フィルム)にレーザ露光することによって潜像を記録し、熱現像処理により潜像を可視化する光熱銀塩方式のプリンターである。
汎用プリンター6は、インクジェット方式或いはレーザ方式で反射型記録媒体(紙媒体、シール等)に画像を記録するプリンターである。
クライアントPC7は、例えば、医用画像処理装置3から送信された医用画像やグラフ画像を表示するコンピューター装置である。
〔骨塩定量検査の流れ〕
次に、施設内システム1を設置した医療施設における骨塩定量検査の流れ(1)〜(5)について説明する。
(1)まず、受付において、患者の受付が行われる。受付された患者の患者情報は受付装置4により入力され、この患者情報を含む患者情報リストが医用画像処理装置3に送信される。医用画像処理装置3においては、受付装置4から送信された患者情報リストがRAM32に記憶される。
(2)次いで、診察室において、診察や必要な検査の決定が行われる。診察は、問診や、患者の過去のカルテ、画像やレポートの閲覧等により行われる。
(3)骨塩定量検査が必要であると決定された場合、撮影室において、モダリティ2により患者の左手のX線撮影が行われる。
本実施の形態においては、DIP法により骨塩定量検査を行うこととして説明する。DIP法は、図5に示すように、アルミスロープALと左手第二中手骨Bを並べて等倍でX線撮影して、得られた医用画像におけるアルミスロープALと第二中手骨Bの陰影濃度を比較解析するものである。アルミスロープALは、長手方向に1cmで1mm厚さの変わる斜度のついたアルミニウム製のスロープ部材である。撮影時には、アルミスロープALを患者左手の右隣に、手前に厚い側がくるように配置してモダリティ2によりX線撮影が行われる。
なお、医用画像処理装置3は、後述するように、被写体となる患者の体型の個体差やモダリティ2の装置特性の変化による照射X線量の変動に拘わらず、読影に適した読影用画像を作成することができる。そのため、撮影時には特に個別に調整を行わず、固定の撮影条件で撮影を行うことができる。
(4)左手のX線撮影後、撮影により得られた医用画像は、医用画像処理装置3において取り込まれ、患者情報と対応付けられてオリジナル画像として画像DB331に記憶される。また、オリジナル画像から読影用画像及び骨塩定量最適化画像が作成され、骨塩定量最適化画像に基づいて骨塩定量の計測が行われ、結果値やグラフ等の計測結果を示すグラフ画像が作成される。作成された骨塩定量最適化画像及びグラフ画像は、オリジナル画像及びその患者情報に対応付けて画像DB331に記憶される。
(5)計測結果に基づいて診断や治療が行われる。
〔医用画像処理装置3の動作〕
次に、医用画像処理装置3の動作について説明する。
[診断支援処理]
医用画像処理装置3においては、診断支援処理を実行することで、上述の診断の流れの(4)の動作が実現される。
図6に、医用画像処理装置3の制御部31により実行される診断支援処理のフローチャートを示す。診断支援処理は、制御部31と記憶部33に記憶されているプログラムとの協働により実行される。
まず、表示部35に診断対象の患者についてのビューアー画面351が表示される(ステップS1)。ビューアー画面351は、医用画像をモダリティ2から取り込んで読影用に表示するための画面であるが、このビューアー画面351から骨塩量計測の実行を指示したり計測結果を表示したりすることができる。ビューアー画面351は、操作部34の所定の操作により表示部35に表示された患者リスト画面(受付装置4から送信された患者情報リストが表示された画面。図示略。)から操作部34により診断対象の患者の患者情報を選択することにより表示される。
図7に、ビューアー画面351の一例を示す。図7に示すように、ビューアー画面351には、画像を表示するための画像表示欄351a、画像取込ボタン351b、計測ボタン351c、各種ツールボタン351d、印刷ボタン351e、患者表示欄351f、サムネイル表示欄351g、表示画像選択欄351h等が設けられている。
画像表示欄351aは、モダリティ2から取り込んだ医用画像や、検査結果のグラフ画像、同一患者の過去画像等を表示するための欄である。なお、図7においては画像表示欄351aに画像が表示された例を示しているが、ステップS1ではまだ画像は表示されていない(図7の読影用画像は、ステップS4において表示される)。
画像取込ボタン351bは、モダリティ2から送信される医用画像を現在診断対象となっている患者(患者表示欄351fに表示されている患者)の画像として取り込むことを指示するためのボタンである。画像取込ボタン351bが押下された場合、次に画像取込ボタン351bが押下されて取り込みの解除が指示されるか又はビューアー画面351が閉じられるか他の画面に遷移するまでの間にモダリティ2から受信された医用画像は、現在診断対象となっている患者の画像として取り込まれる。
計測ボタン351cは、計測メニューの表示を指示するためのボタンである。計測メニューには、骨塩定量計測が含まれる。
各種ツールボタン351dは、例えば、表示された医用画像に濃度コントラスト調整処理、画質調整処理等の画像処理を施すためのボタンである。ツールボタン351dの所望の項目のボタンが押下されると、項目に応じた入力欄、ボタン、ツールバー等が表示される。操作部34により、表示された入力欄への入力や、ボタンやツールバー等の操作が行われると、表示された画像に対して操作に応じた処理が行われる。例えば、濃度コントラストボタンを押下すると、濃度調整のスライドバー、コントラスト調整のスライドバー等が表示され、操作部34によりスライドバーが操作されると、制御部31により、操作に応じた濃度やコントラストに画像表示欄351aに表示された画像が調整される。
印刷ボタン351eは、選択した画像を汎用プリンター6から印刷することを指示するためのボタンである。
患者表示欄351fは、現在診断対象として選択されている患者の患者情報を表示するための欄である。
サムネイル表示欄351gは、画像表示欄351aに表示する医用画像を選択するために、同一患者の医用画像(過去に撮影された画像を含む)のサムネイル画像を表示するための欄である。
表示画像選択欄351hは、サムネイル表示欄351gに表示する画像の分類(CR、骨塩定量(グラフ))を選択するための欄である。
操作部34により画像取込ボタン351bが押下され、モダリティ2において撮影が行われると、撮影により得られた医用画像が取り込まれる(ステップS2)。
ステップS2においては、通信部36によりモダリティ2からの医用画像が受信されると、受信された医用画像が患者リスト画面において選択された患者の患者情報と対応付けられ、オリジナル画像として画像DB331に保存される。画像情報テーブル331aには、新たなレコード(当該検査のレコード)が追加され、選択された患者の患者情報、受信した画像のヘッダ部に書き込まれているUID、撮影日時、検査部位、検査ID、オリジナル画像の保存先パス等が書き込まれる。また、オリジナル画像からサムネイル画像が作成され、画像DB331に保存される。また、作成されたサムネイル画像の保存先パスが画像情報テーブル331aの当該検査のレコードに書き込まれる。
次いで、読影用画像作成処理が実行され、オリジナル画像から読影用画像の作成が行われる(ステップS3)。
ここで、モダリティ2では、毎回の撮影時には特に個別に調整を行わず、固定の撮影条件で撮影を行っている。そのため、オリジナル画像は、患者の体型(骨塩定量検査の場合は手の厚み)やモダリティ2の装置特性の変化等による照射X線量の変動によって画像にバラツキがある。しかし、読影する画像にバラツキがあると、安定した読影診断ができない。そこで、医用画像処理装置3においては、読影に適した画像を安定して出力するために、オリジナル画像に画像処理を施して、読影用として予め定められた基準を満たした読影用画像が作成される。画像処理の内容としては、例えば、階調変換処理、周波数強調処理、ダイナミックレンジ圧縮処理等が挙げられる。作成された読影用画像は、画像DB331に保存されるとともに、その保存先パスが画像情報テーブル331aの当該検査のレコードの処理済み画像の保存先パスに書き込まれる。
以下、読影用画像作成処理の内容について説明する。
〈照射野認識処理〉
階調変換処理、周波数強調処理等の前提として、まず入力されたオリジナル画像において照射野認識処理が実行される。照射野とは被写体を介してX線が到達した領域をいい、照射野認識処理ではこの照射野領域と照射野外領域(照射野を除く他の領域)との判別が行われる。これは、偏った信号値(画素のデジタル濃度信号値)の照射野外領域も含めて階調変換処理等を行うと適切な処理がなされないためである。
照射野認識の手法は何れのものを採用してもよい。例えば特開平5−7579号公報に開示のように、オリジナル画像を複数の小領域に分割し、この分割領域毎に分散値を求め、求めた分散値に基づいて照射野領域を判別することとしてもよい。通常、照射野外領域では略一様の到達X線量となるため、その小領域の分散値は小さくなる。一方、照射野領域のエッジを含む小領域では到達X線量が大きい部分(照射野外領域)と被写体によって到達X線量がいくらか低減された部分(照射野領域)とが混在することから、分散値は大きくなる。よって、分散値が一定値以上大きい小領域にエッジが含まれるとしてこのような小領域に囲まれる領域を照射野領域と判別する。
〈関心領域の設定と基準信号値の設定〉
照射野領域が判別されると、この照射野領域から関心領域(以下、ROI:Region Of Interestという)が設定される。このとき、ROIの設定とともに、基準信号値の設定が行われる。
ROIは、例えば、オリジナル画像の水平方向及び垂直方向を順次走査してそれぞれの方向における信号値のプロファイルを作成し、信号値のプロファイルに基づいて特定することができる。また、パターンマッチングによりROIを特定してもよく、その手法は何れを適用してもよい。
そして、特定されたROI領域の信号値のヒストグラムを作成し、このヒストグラムにおいて最大値側、最小値側から頻度が所定の割合のところの信号値をそれぞれ最大基準値H、最小基準値Lとして決定する。この最大基準値H、最小基準値Lは、オリジナル画像の信号値範囲を読影用画像における信号値範囲(最大値SH、最小値SL)に変換する際の基準値として用いられるものである。
〈階調変換処理〉
以上のようにして前処理が終了すると、階調変換処理が行われる。
階調変換処理は、オリジナル画像の濃度、コントラストを調整するための処理である。医師がX線画像の読影により人体構造の疾病の有無を診断する場合、X線画像上における構造物の濃度やコントラスト(階調性)に基づき、疾病の有無が判断される。よって、読影に適した濃度、コントラストに調整することにより、医師の疾病の検出作業を支援することができる。
階調変換処理は、(1)正規化処理、(2)基本LUT(ルックアップテーブル)を用いての変換処理の2段階で行い、最終的に読影用画像として予め定められた信号値範囲、階調特性となるように階調変換を行うものである。
従来、撮影にはスクリーン/フィルム方式が採用されていた背景から、スクリーン/フィルム方式で培われた階調特性(コントラスト)を目標として入力信号(読取信号)の変換処理が行われている。スクリーン/フィルム方式で得られる階調特性は、S字状の曲線となる。階調変換処理では、この階調特性を示すLUTを部位毎に基本LUTとして準備しておき、正規化処理によりオリジナル画像について個々の信号調整を行った後、この基本LUTを用いて信号値の変換を行う。
図8A、図8Bに、モダリティ2により検出されるX線量とそのX線量に応じて最終的に出力される読影用画像の信号値との関係を示す。
図8A、図8Bの座標系において、第4象限は、モダリティ2の輝尽性蛍光体プレートへの到達X線量と、オリジナル画像の信号値との関係(モダリティ2の読取特性)を示している。また、第3象限は、オリジナル画像の信号値と、正規化処理が施された後の正規化信号値の関係(正規化特性)を示している。第2象限は、正規化信号値と、基本LUTにより変換された読影用画像の信号値(デジタル濃度信号値)との関係(階調変換特性)を示している。なお、ここでは読影用画像の信号値を0〜4095の12ビット分解能としている。
第3象限において、正規化特性を示す直線はその傾きを変化させることにより画像の信号値の範囲(SH−SL間の大きさ)を調整することができるとともに画像全体のコントラストを変化させることができる。この傾きをG値とする。また、正規化特性を示す直線の切片を変化させることにより、画像の信号値の範囲全体の高低(SH−SLの移動)を調整し、これにより画像全体の濃度を変化させることができる。この切片をS値とする。
例えば、図8Aに示すように、標準的な体型の患者Paと、体厚の厚い患者Pbとを撮影した場合、患者Pbでは到達X線量の幅が広くなり、結果的に患者Paに比べて濃度分布の広い画像となる。患者Pbの画像を患者Paと同等の濃度及びコントラストの画像としたい場合は、患者PaのG値より患者PbのG値が大きくなるように調整すれば(患者Paの正規化特性直線を図8AのLa、患者Pbの正規化特性直線をLbとする)、患者Paと同等の濃度範囲(SH−SLの範囲)及びコントラストの画像(正規化画像)を得ることができる。よって、患者Paと患者Pbを同じ基本LUTを用いて階調変換処理を行えば同等の画像を得ることができる。
また、例えば、図8Bに示すように、同じ体型の患者Pc、Pdを異なるX線量で撮影した場合、線量の多い患者Pdでは患者Pcに比べて全体的に高濃度の画像となり、フィルム等に出力したときに有効濃度範囲から外れるため、コントラストも低下し、読影に適さない画像となる。この患者Pdの画像を患者Pcと同等の濃度の画像としたい場合は、患者PcのS値より患者PdのS値が大きくなるように調整すれば(患者Pcの正規化特性直線を図8BのLc、患者Pbの正規化特性直線をLdとする)、患者Pcと同等の濃度範囲(SH−SLの範囲)の画像(正規化画像)を得ることができる。よって、患者Pcと患者Pdを同じ基本LUTを用いて階調変換処理をしても同等の画像を得ることができる。
すなわち、階調変換特性を示す直線の傾きG値、切片S値を階調変換パラメーターとしてこれを制御することにより、読影用画像として予め定められた基準を満たす濃度範囲及びコントラストの画像となるように調整することができる。
G値は、下記式(1)により決定される。
G=(D2−D1)/(logE2−logE1)・・・(1)
ここで、
D1=0.25+Fog、D2=2.0+Fog、Fog=0.2であり、
E1、E2はそれぞれD2、D1に対応する入射X線量である。
胸部や乳房等の人体各部位を観察対象とする場合、G値は一般に、2.5〜5.0程度のものが用いられることが多い。
また、S値は下記式(2)により求められる。
S=QR×P1/P2・・・(2)
ここで、
QRは量子化領域値であり、P1は信号値1535(QR=200、出力濃度1.2)となる到達X線量、P2は階調変換後の画像で出力濃度1.2となった画素の実際の到達X線量である。
P1の値は、撮影前の量子化領域QR値の設定で一意に決まるものである。
〈周波数強調処理〉
周波数強調処理としては、例えば特公昭62−62373号に示されるアンシャープマスク処理や、特開平9−44645号公報に示される多重解像度解析を適用することができる。周波数強調処理では、下記の式(3)で示される演算を行ってオリジナル画像に含まれるあるマスクサイズの特定の周波数成分に強調係数αを乗じて強調することにより、オリジナル画像から所望の鮮鋭度の画像を得る。
S=So+α(So−Sus)・・・(3)
なお、 S :周波数処理画像信号
So :オリジナル画像信号
Sus:非鮮鋭画像信号
α :強調係数
ここで、非鮮鋭画像信号Susは、注目画素を中心として一辺が2N+1画素(Nは正の整数)の正方形領域(マスク)を設定し、マスク内の画素値の平均値を中心画素の非鮮鋭画像信号としたものである。
周波数強調処理により、骨等の構造物のエッジが強調された画像を得ることができる。
〈ダイナミックレンジ圧縮処理〉
ダイナミックレンジ圧縮処理としては、例えば特許250950号に示される手法を適用することができる。ダイナミックレンジ圧縮処理では、下記の式(4)で示される演算を行って、ある信号値Aより低濃度領域の画像信号に補正係数βを乗じて補正を行うことにより、当該低濃度領域の濃度階調を圧縮する。
S=So+β(A−Sus)・・・(4)
ただし、β=βL(Sus≦A)
β=βH(Sus>A)
なお、 S :ダイナミックレンジ圧縮処理画像信号
So :オリジナル画像信号
Sus:非鮮鋭画像信号
β :補正係数
A :定数(閾値)
以上のように、オリジナル画像に階調変換処理、周波数強調処理、ダイナミックレンジ圧縮処理を施すことにより、読影用画像が作成される。
次いで、作成された読影用画像がビューアー画面351の画像表示欄351aに表示される(ステップS4。図7参照)。医師は、読影用画像を観察することで、撮影がうまくいったか(再撮影が必要であるか否か)を確認することができる。また、計測を必要としない検査の場合、読影用画像を読影して診断を行うことができる。その際、ツールボタン351dを操作して、所望の画質に調整することができる。また、詳細を後述するが、骨塩定量の計測においては、医師等の操作者が左手第二中手骨上の二点を指定する必要がある。この二点の指定を容易にするために、予めツールボタン351dの濃度コントラストボタンや画質調整ボタンを操作して、操作者が二点の指定のしやすい、エッジが強調された画像に調整しておくこともできる。
操作部34により、計測メニューボタン351cの押下及び骨塩定量計測メニューの選択以外の操作が行われると(ステップS5;NO)、操作に応じた処理が実行される(ステップS6)。操作部34により終了ボタン351iが押下されると(ステップS7;YES)、診断支援処理は終了する。
一方、操作部34により計測メニューボタン351cが押下され、骨塩定量計測メニューが選択されると(ステップS5;YES)、骨塩定量計測処理が実行される(ステップS8)。
図9に、制御部31により実行される骨塩定量計測処理のフローチャートを示す。骨塩定量計測処理は、制御部31と記憶部33に記憶されているプログラムとの協働により実行される。
骨塩定量測定処理においては、まず、骨塩定量最適化画像作成処理が実行され、作成された読影用画像から骨塩定量最適化画像が作成され、RAM32に一時保存される(ステップS101)。
ここで、読影用画像は、読影診断には向いているが、骨塩定量の計測には不適合である。具体的に、骨塩定量の計測で要求される画像は、読影時に要求される画像とは階調、濃度、コントラストが異なる。また、骨塩定量の計測では、周波数強調処理やダイナミックレンジ圧縮処理が施されていると正しい計測結果が得られなくなる。即ち、読影用画像から骨塩定量の計測を実施してしまうと、正しい計測結果が得られなくなる。
そこで、本実施の形態においては、骨塩定量の計測が指示された際に自動的に骨塩定量最適化画像作成処理を実行して読影用画像から骨塩定量の計測に適した骨塩定量最適化画像を作成し、計測に用いることで、読影用画像を用いて計測することにより計測結果が誤ることを防止することができる。
また、読影用画像は予め定められた基準を満たす画像であるので、個々の画像毎にパラメーターを調整する必要はなく固定の処理パラメーターを用いて読影用画像から骨塩定量最適化画像を作成することができる。本実施の形態においては、例えば、階調変換曲線(LUT)をBONE−02、濃度補正値(S値)を250、コントラスト値(G値)を2.50とした固定パラメーターで、読影用画像に階調処理を施す。また、読影用画像に周波数強調処理、ダイナミックレンジ圧縮処理が施されている場合には、周波数強調処理(ダイナミックレンジ圧縮処理)を行ったときに使用したパラメーターを用いて、周波数強調処理(ダイナミックレンジ圧縮処理)を行った変換の逆変換が行われる。なお、骨塩定量最適化画像作成処理には、ビューアー画面351において調整の行われていない読影用画像を用いることとする。
次いで、表示部35に骨塩定量画面352が表示される(ステップS102)。
図10に、骨塩定量画面352の一例を示す。骨塩定量画面352には、診断対象患者の患者情報352a、撮影部位352b、計測日時352c、測定値352d、コメント欄352e、確定ボタン352f等が表示されている。ステップS102においては、測定値352dとして、骨塩定量DB332に記憶されている、診断対象患者の最終の結果値(即ち、前回結果値)が読み出され、初期表示される。
また、骨塩定量画面352には、二点指定欄352gが設けられている。骨塩定量測定においては、左手の第二中手骨の上端の最も突出している部分と下端の最も凹んでいる部分の二点を指定する必要があり、この二点指定欄352gは、二点を指定するための画像を表示する。
ここで、二点指定欄352gに表示する画像は、読影用画像(又は、調整済みの読影用画像)を表示することが好ましい。骨塩定量最適化画像は、読影用画像に比べて全体的に暗く(図13参照)、また、読影用画像に施されている周波数強調処理のような骨部分のエッジを強調する処理が施されていない。そのため、患者の左手の骨の形状や配置によっては、二点の指定が非常に困難な場合があるからである。
操作部34により二点指定欄352eから左手第二中子骨の二点が指定される(例えば、操作部34のマウスでクリックされる)と、指定された二点の座標(X1,Y1)、(X2,Y2)がRAM32に一時的に記憶されるとともに(ステップS103)、この二点の座標(X1,Y1)、(X2,Y2)と骨塩定量最適化画像を用いて骨塩定量の計測が行われる(ステップS104)。
ステップS104における骨塩定量の計測は、DIP法により行われる。DIP法は、上述のように、画像中のアルミスロープと左手第二中手骨の陰影濃度を比較し骨塩量を測定する公知の手法である。以下、図11A〜図11Bを参照してDIP法を用いた骨塩定量の計測について説明する。
まず、図11Aに示すように、指定された二点(X1、Y1)、(X2、Y2)の座標間の距離がL値(骨長)として算出される。次いで、骨塩定量最適化画像における二点間の中央部の、骨長の10パーセントの部分を縦幅、横幅を固定値とした範囲が測定領域として決定されるとともに、パターンマッチング等により画像中のアルミスロープの位置が検出される。そして、アルミスロープ像の濃度を基準にして測定領域内の骨の濃度がアルミスロープのどの厚さの部分と一致しているかに基づいて骨濃度GSが算出され、算出された骨濃度の積分値ΣGSを骨幅Dで除した値(ΣGS/D(mmAl))がDIP値(骨塩量)として算出される。更に、平均骨皮質幅MCI(MCI=(D−d)/D)が算出される。Dは骨幅、dは骨髄幅である。図11Bは、左手第二中手骨Bの中央部の断層面及び濃度プロファイルを示す図である。骨幅D、骨髄幅dは、例えば、図11Bに示すように、左手第二中手骨Bの中央部の濃度プロファイルに基づいて算出することができる。
算出されたL値、DIP値、MCI、測定領域座標(左上(X3,Y3)、右下(X4,Y4))、検出されたアルミスロープの位置座標左上(左上(X5,Y5)、右下(X6,Y6))は、RAM32に一時的に記憶される。
骨塩定量の計測が終了すると、骨塩定量画面352に結果値が表示される(ステップS105)。図12に、骨塩定量計測後の骨塩定量画面352を示す。図12に示すように、ステップS105においては、骨塩定量画面352の測定値352dに、ステップS104における計測により得られた結果であるL値、ΣGS/D、MCIが表示される。また、二点指定欄352gに表示されている画像上に、指定された二点の座標P1、P2、測定領域R1、検出されたアルミスロープの位置R2がアノテーションで表示される。
次いで、操作部34により骨塩定量画面352の二点の座標P1、P2の移動が指示されたか否かが判断される(ステップS106)。P1、P2は、操作部34によりそのアノテーションをドラッグアンドドロップすることにより移動させることができる。操作部34により二点の座標P1、P2の移動が指示されたと判断されると(ステップS106;YES)、処理はステップS104に戻り、新たに指定された(移動後の)二点を用いて、再度計測が実行される。
操作部34により、二点の座標P1、P2の移動が指示されず(ステップS106;NO)、確定ボタン352fが押下されると(ステップS107;YES)、計測結果が確定され、骨塩定量最適化画像、結果値及び計測に用いたパラメーターが保存され(ステップS108)、処理は図6のステップS9に移行する。ステップS108においては、具体的には、骨塩定量DB332に新たなレコードが追加され、当該検査の検査ID、計測日時、患者情報、結果値及び計測に用いたパラメーター(算出されたL値、DIP値、MCI、二点指定座標((X1,Y1)、(X2,Y2))、測定領域座標(左上(X3,Y3)、右下(X4,Y4))、検出されたアルミスロープの位置座標左上(左上(X5,Y5)、右下(X6,Y6))が書き込まれる。また、骨塩定量最適化画像が画像DB331に保存され、画像情報テーブル331aの、当該検査のレコードの処理済み画像の保存先パスが骨塩定量最適化画像のパスに変更される。これにより、骨塩定量最適化画像及び計測結果の結果値が患者情報及びオリジナル画像に1:1で対応付けて記憶される。
図6のステップS9においては、計測により得られた結果値に基づいて、グラフ画像及びそのサムネイル画像が作成される(ステップS9)。
ステップS9においては、まず、例えば、横軸を日付、縦軸をΣGS/D(mmAl)としたグラフ領域が描画される。次いで、骨塩定量DB332から診断対象の患者の患者IDと同一患者IDを持つ今回及び過去の結果値のレコードが検索され、検索されたレコードのΣGS/Dがグラフ領域に日付順にプロットされる。また、グラフとともに、検索されたレコードのΣGS/DとMCIの値の経時的な変化を一覧にした結果一覧表が作成される。更に、骨塩定量DB332に記憶されている結果値に基づいて、今回の結果が同性同年代の平均値の何パーセントか(同年代比)、若年成人平均値(YAM)の何パーセントか(YAM比)、が算出され、患者情報、今回の結果値の数値、同年代比、YAM比、グラフ、結果一覧表を含む1枚のグラフ画像が作成される。画像のファイルフォーマットは、PNG、JPEG、PDF等、何れでも良い。作成されたグラフ画像は、画像DB331に保存され、画像情報テーブル331aの、当該検査のレコードに、グラフ画像の保存先パスが格納される。また、グラフ画像のサムネイル画像が作成され、画像DB331に保存されるとともに、画像情報テーブル331aの、当該検査のレコードに、グラフサムネイル画像の保存先パスが格納される。これにより、グラフ画像及びグラフサムネイル画像が患者情報及びオリジナル画像に1:1で対応付けて記憶される。
グラフ画像の作成が終了すると、作成されたグラフ画像を表示したビューアー画面351が表示部35に表示される(ステップS10)。
図13に、グラフ画像が表示されたビューアー画面351の一例を示す。画像表示欄351aには、ステップS9で作成されたグラフ画像及び計測元となった骨塩定量最適化画像が並べて表示される。
医師は、グラフ画面を確認することで、患者の骨塩量の変化を把握することができ、治療の必要性や方針をたてることができる。また、グラフ画像と計測元の画像とを並べて表示するので、前回の結果から大きな変化があった場合、計測元の画像を観察することにより、その結果が正しいのか、撮影条件(撮影倍率、撮影角度や手の配置の仕方等)に起因するものなのかの判断が容易となる。
操作部34により印刷ボタン351cが押下されると(ステップS11)、グラフ画像のデータが通信部36により汎用プリンター6に送信され、汎用プリンター6からグラフ画像が印刷出力される(ステップS12)。
操作部34により終了ボタン351iが押下されると(ステップS13;YES)、診断支援処理は終了する。
ここで、上記診断支援処理において、例えば、ステップS1において診断対象の患者を誤って選択した等により、モダリティ2により撮影された医用画像が正しい患者、即ち、本来の被写体となった患者ではなく、誤った患者の患者情報に対応付けられてしまった場合、骨塩定量計測処理が実行されると、その処理で作成されたグラフ画像も誤った患者情報に対応付けられていることとなる。従って、医用画像(オリジナル画像)を正しい患者の患者情報に対応付け直す(再割り付けと呼ぶ)だけでなく、骨塩定量計測処理で作成されたグラフ画像についての手当ても必要となる。
上述のように、グラフ画像で描画されているグラフには、誤って対応付けられた患者情報が記載されている。また、グラフ画像には、今回の結果が同性同年代の平均値の何パーセントか(同年代比)、若年成人平均値の何パーセントか(YAM比)を示す値が含まれており、これらの値は、誤った患者の属性(年齢、性別)に基づいて算出されている。また、グラフは、骨塩定量DB332から読み出した誤った患者の過去の結果値を用いて作成されている。よって、作成されたグラフ画像を単純に正しい患者に対応付けてしまうと、誤診や個人情報の漏洩につながるため、グラフ画像は削除しなければならない。そして、正しい患者の属性や過去の結果値の履歴を利用して、グラフ画像を作成し直すことが必要となる。
即ち、医用画像を誤った患者の患者情報に対応付けてしまった場合には、以下(a)〜(e)の作業を行う必要がある。
(a)医用画像に基づいて作成されたグラフ画像を削除する。
(b)医用画像を誤った患者の患者情報から切り離す。
(c)医用画像を正しい患者の患者情報に対応付けし直す。
(d)正しい患者についてのビューアー画面351から骨塩定量計測処理を再度実施し、グラフ画像を作成し直す。
(e)誤った患者と正しい患者に対し、患者情報を対応付けし直した医用画像よりも後に撮影された医用画像に対応するグラフ画像が作成されていた場合には、そのグラフ画像を作成し直す。
しかし、これらの作業に係る操作全てを行うことは煩雑である。特に、骨塩定量の計測は、医用画像上における左手第二中手骨の上端の最も突出している部分と下端の最も凹んでいる部分の二点を指定する等の操作が必要で手間である。また、実施すべき作業工程が複数あるため、或る工程を忘れてしまう可能性がある。
ところで、骨塩定量DB332に記憶されている結果値やパラメーターは医用画像そのものから得られたものであり、患者の属性には依存しないため、再計測を行わずともそのまま使用可能である。
そこで、医用画像処理装置3においては、医用画像を誤った患者の患者情報から切り離す操作が行われた際に、その医用画像にはグラフ画像が対応付けられていること及び患者切り離しを行った場合にグラフ画像は自動的に削除されることを通知するメッセージを表示するとともに、グラフ画像を自動的に削除する(患者切り離し処理)。更に、誤った患者に対し、患者情報を対応付けし直した医用画像よりも後に撮影された医用画像に対応するグラフ画像が作成されていた場合には、そのグラフ画像を作成し直して更新する。
また、正しい患者の患者情報に医用画像を再割り付けした後、再割り付け先の患者のビューアー画面351を開く操作が行われた際に、既に医用画像から取得されている結果値やパラメーターを利用して再割り付け先の患者についてのグラフ画像を自動的に再作成する(グラフ再作成処理)。更に、正しい患者に対し、患者情報を対応付けし直した医用画像よりも後に撮影された医用画像に対応するグラフ画像が作成されていた場合には、そのグラフ画像を作成し直して更新する。
これにより、骨塩定量の計測元の医用画像を正しい患者の患者情報に対応付けし直した場合の再計測の手間を省くとともに、誤ったグラフ画像の削除漏れや必要なグラフ画像の作成し忘れを防止することを可能とする。
以下、医用画像処理装置3において実行される、患者切り離し処理、再割り付け処理、グラフ再作成処理について説明する。
[患者切り離し処理]
まず、患者切り離し処理について説明する。
図14に、医用画像処理装置3の制御部31により実行される患者切り離し処理のフローチャートを示す。患者切り離し処理は、誤った患者(医用画像の移動元の患者)についてのビューアー画面351上の操作に応じて制御部31と記憶部33に記憶されているプログラムとの協働により実行される。
操作部34により、患者情報の切り離しの対象となる医用画像の選択が行われ(ステップS21)、右クリックメニューMの「名称未設定に移動」が選択されると(ステップS22)、選択された医用画像が骨塩定量検査済みの医用画像であるか否かが判断される(ステップS23)。
図15に、ビューアー画面351上におけるステップS21〜S22の操作の一例を示す。図15に示すように、対象となる医用画像を選択し、右クリックメニューMから「名称未設定に移動」を選択することで、患者情報の切り離しを行うことができる。
ステップS23においては、選択された医用画像のUIDを有するレコードが画像DB331の画像情報テーブル331aから検索され、検索されたレコードにグラフ画像の保存先パスが格納されている場合に、骨塩定量検査済みの医用画像であると判断される。
選択された医用画像が骨塩定量検査済みの医用画像ではないと判断された場合(ステップS23;NO)、ステップS21において選択された医用画像が名称未設定フォルダー333に移動され(ステップS29)、患者切り離し処理は終了する。
選択された医用画像が骨塩定量検査済みの医用画像であると判断された場合(ステップS23;YES)、表示部35にその医用画像にはグラフ画像が対応付けられていること及び患者切り離しを行った場合にグラフ画像は自動的に削除されることを通知するメッセージが表示される(ステップS24)。
図16に、ステップS24において表示されるメッセージ画面353の一例を示す。図16に示すように、メッセージ画面353には、「この画像を名称未設定フォルダー333に移動しますか?本作業を行うと移動する画像に紐付いた骨塩定量のグラフは削除されます」等のメッセージ353a、名称未設定フォルダー333への移動を指示するための「はい」ボタン353b、及び名称未設定フォルダー333への移動をキャンセルすることを指示するための「いいえ」ボタン353cが表示される。
操作部34によりメッセージ画面353上の「はい」ボタン353bが押下されると(ステップS25;YES)、選択された医用画像に対応するグラフ画像が画像DB331から自動的に削除される(ステップS26)。具体的には、画像DB331における、ステップS23の判断に際して検索されたレコードが示すグラフ画像の保存先パスからグラフ画像が削除される。グラフサムネイル画像についても同様である。
次いで、ステップS21において選択された医用画像が名称未設定フォルダー333に移動される(ステップS27)。
ステップS27においては、具体的には、ステップS23の判断に際して検索されたレコードのオリジナル画像、サムネイル画像、処理済み画像の保存先パスに記憶されているオリジナル画像、サムネイル画像、骨塩定量最適化画像が名称未設定フォルダー333に移動される。また、ステップS23の判断に際して検索された画像情報テーブル331aの各項目の情報は、患者情報及び保存先パスの情報が削除された上で未確定画像情報テーブル333aの追加したレコードに移動される(画像DB331からは削除される)。また、未確定画像情報テーブル333aの追加したレコードの保存先パスの項目には、名称未設定フォルダー333に移動されたオリジナル画像、サムネイル画像、骨塩定量最適化画像の保存先パスの情報が書き込まれる。更に、骨塩定量DB332の、未確定画像情報テーブル333aに追加したレコードと同一検査IDのレコードの患者情報が削除される。
次いで、現在ビューアー画面351の表示対象となっている患者、即ち、医用画像の移動元の患者の患者情報に対応付けられている医用画像であって、名称未設定フォルダー333に移動した医用画像よりも後に撮影された医用画像に対応するグラフ画像が画像DB331に存在する場合、そのグラフ画像が更新され(ステップS28)、患者切り離し処理は終了する。
ここで、移動元の患者情報に係るグラフ画像であって、名称未設定フォルダー333に移動した医用画像よりも後に撮影された医用画像に対応するグラフ画像には、移動した医用画像に基づいて計測された骨塩定量の結果値が含まれている。名称未設定フォルダー333に移動した医用画像よりも後に撮影された医用画像に対応するグラフ画像の作成時点において、移動した医用画像に基づく骨塩定量の結果値は過去の結果値として移動元の患者情報に対応付けて骨塩定量DB332に記憶されていたからである。しかし、移動した医用画像に基づく骨塩定量の結果値は、移動元の患者情報の患者のものではない。
そこで、ステップS28においては、移動元の患者情報に係るグラフ画像であって、名称未設定フォルダー333に移動した医用画像よりも後に撮影された医用画像に対応するグラフ画像は、移動した医用画像に基づく結果値を含まない、移動元の患者についての結果値のみで構成されたグラフ画像に更新される。具体的には、移動元の患者情報に対応付けて骨塩定量DB332に記憶されている結果値(移動した医用画像よりも後に撮影された医用画像に対応する骨塩定量の結果値及びその直前の過去5回分の結果値)に基づいて、移動した医用画像よりも後にX線撮影された医用画像に対応するグラフ画像が作成し直され、更新される。
一方、操作部34によりメッセージ画面353上の「いいえ」ボタン353bが押下されると(ステップS25;NO)、患者切り離し処理は終了する。
[再割り付け処理]
次に、再割り付け処理について説明する。
図17に、医用画像処理装置3の制御部31により実行される再割り付け処理のフローチャートを示す。再割り付け処理は、制御部31と記憶部33に記憶されているプログラムとの協働により実行される。
まず、操作部34による患者リスト画面上の所定のアイコンの押下操作に応じて表示部35に名称未設定画面354が表示される(ステップS31)。
図18Aに、名称未設定画面354の一例を示す。図18Aに示すように、名称未設定画面354には、名称未設定フォルダー333内の未確定画像が表示される未確定画像表示欄354aと、患者情報DB330に記憶されている患者情報リストを表示するための患者情報リスト欄354bと、患者情報リスト欄354bに表示される患者情報の検索条件や並び順を入力するための検索条件入力欄354cと、患者リスト画面に戻ることを指示するための戻るボタン354dと、が設けられている。
操作部34により、名称未設定画面354の未確定画像表示欄354aから再割り付けを行う医用画像が選択され(ステップS32)、検索条件入力欄354cから検索条件が入力されて医用画像の再割り付け先の患者情報が患者情報リスト欄354bに表示され(ステップS33)、更に、再割り付け先の患者情報が選択(ダブルクリック)されると(ステップS34)、未確定画像表示欄354aに表示されている、ステップS32で選択された医用画像に、ステップS34で選択された患者情報が対応付けて表示される(ステップS35)。図18Bに、名称未設定画面354において未確定画像に患者情報が対応付けられた例を示す。
操作部34により戻るボタン354dが押下されると(ステップS36)、表示部35に確認画面355が表示される(ステップS37)。図19に、確認画面355の一例を示す。図19に示すように、確認画面355には、「名称未設定の画像を、以下の患者情報に登録します。よろしいですか?」等の確認メッセージ355aと、再割り付け対象の医用画像及び再割り付け先の患者情報355bと、登録を指示するための「はい」ボタン355cと、登録しないことを指示する「いいえ」ボタン355dと、が表示されている。
操作部34により登録を指示するための「はい」ボタン355cが押下されると(ステップS38;YES)、再割り付けが行われる(ステップS39)。即ち、ステップS32で選択された医用画像がステップS34で再割り付け先として選択(ダブルクリック)された患者情報に対応付けて画像DB331に記憶される。具体的には、ステップS32で選択された医用画像のオリジナル画像、そのサムネイル画像及び骨塩定量最適化画像(骨塩定量の計測が行われていない場合は読影用画像)が画像DB331に記憶されるとともに、画像情報テーブル331aに新たなレコードが追加され、再割り付け先として選択された患者の患者情報、各画像の保存先パスが書き込まれる。また、未確定画像情報テーブル333aにおいて上記医用画像のヘッダ部に書き込まれているUIDと一致するUIDを含むレコードが検索され、検索されたレコードのUID、撮影日時、検査ID、検査部位、各画像の保存先パス等が追加されたレコードに書き込まれる。更に、骨塩検査DB332に、画像情報テーブル331aの追加されたレコードに書き込まれた検査IDに対応するレコードが存在する場合は、そのレコードの患者情報が再割り付け先として選択された患者情報に更新される。
なお、再割り付けされたデータは名称未設定フォルダー333及び未確定画像情報テーブル333aから削除される。
次いで、再割り付けされた医用画像が骨塩定量検査済みの医用画像であるか否かが判断される(ステップS40)。例えば、骨塩定量DB332に当該医用画像に対応するレコードが存在する場合、骨塩定量検査済みであると判断される。
骨塩定量検査済みの医用画像ではないと判断された場合(ステップS40;NO)、処理はステップS42に移行する。骨塩定量検査済みの医用画像であると判断された場合(ステップS40;YES)、ステップS39において画像DB331に追加されたレコード及び患者情報DB330の、ステップS34で選択された患者情報のレコードに、再割り付けフラグが設定され(ステップS41)、処理はステップS42に移行する。
一方、操作部34により「いいえ」ボタン355dが押下されると(ステップS38;NO)、処理はステップS42に移行する。
ステップ42においては、名称未設定画面354が閉じられて患者リスト画面に戻り(ステップS42)、再割り付け処理は終了する。
[グラフ再作成処理]
次に、グラフ再作成処理について説明する。
図20に、医用画像処理装置3の制御部31により実行されるグラフ再作成処理のフローチャートを示す。グラフ再作成処理は、患者リスト画面からの再割り付けフラグが設定された患者情報の選択操作に応じて実行される処理であり、制御部31と記憶部33に記憶されているプログラムとの協働により実行される。
操作部34により患者リスト画面から再割り付けフラグが設定された患者情報が選択されると(ステップS51)、選択された患者情報に骨塩定量を計測した医用画像が対応付けられたこと及びグラフ画像を作成し直すこと(更新すること)を通知するためのメッセージ画面356が表示部35に表示される(ステップS52:通知手段)。
図21に、メッセージ画面356の一例を示す。図21に示すように、メッセージ画面356には、「骨塩定量を計測した画像が登録されました。グラフを更新します」等のメッセージ356aと、ユーザーが承諾したことを入力するための「はい」ボタン356bが設けられている。
操作部34により「はい」ボタン356bが押下されると(ステップS53)、選択された患者についてのビューアー画面351が表示される(ステップS54)。
次いで、再割り付けフラグが設定された医用画像に対応する骨塩定量の結果値、及びその患者の過去の骨塩定量の結果値に基づいて、その医用画像に対応するグラフ画像及びグラフサムネイル画像が作成し直され、画像DB331に記憶される(ステップS55)。
具体的には、骨塩定量DB332に記憶されている、再割り付けフラグが設定された医用画像の検査IDと検査IDが一致するレコードの結果値、及び選択された患者の患者IDと同一患者IDを持つ過去のレコードの結果値に基づいて、図6のステップS9で説明したのと同様の処理により、再割り付けフラグが設定された医用画像に対応する、上記選択された患者についてのグラフ画像及びグラフサムネイル画像が自動的に作成し直され、画像DB331に記憶される。
次いで、ステップS51で選択された患者の患者情報に対応付けられている医用画像に対応するグラフ画像であって、再割り付けされた医用画像よりも後に撮影された医用画像に対応するグラフ画像が画像DB331に存在する場合、そのグラフ画像が更新される(ステップS56)。
ここで、ステップS51で選択された患者(再割り付け先)の患者情報に対応付けられている医用画像に対応するグラフ画像であって、上記の再割り付けされた医用画像よりも後に撮影された医用画像に対応するグラフ画像には、再割り付けされた医用画像に基づいて計測された骨塩定量の結果値が含まれていない。このグラフ画像の作成時点では、再割り付けされた医用画像に基づく結果値は、再割り付け先の患者の結果値として骨塩定量DB332に記憶されていなかったからである。しかし、この医用画像に基づく骨塩定量の結果値は、当該患者に対して行われた検査の結果値であり、グラフに組み込まれるべきである。
そこで、ステップS56においては、ステップS51で選択された患者の患者情報に対応付けられているグラフ画像であって、再割り付けされた医用画像よりも後に撮影された医用画像に対応するグラフ画像が、この再割り付けされた医用画像に基づいて計測された骨塩定量の結果値を含むグラフ画像に更新される。具体的には、選択された患者情報に対応付けて骨塩定量DB332に記憶されている結果値(再割り付けされた医用画像よりも後に撮影された医用画像に対応する骨塩定量の結果値、その直前の(再割り付けされた医用画像に基づく骨塩定量の結果値を含む)過去5回分の結果値)に基づいて、再割り付けされた医用画像よりも後にX線撮影された医用画像に対応するグラフを含むグラフ画像が作成し直され、作成されたグラフ画像に更新される。
グラフ画像の作成及び更新が終了すると、再割り付けフラグが削除され(ステップS57)、グラフ再作成処理は終了する。
以上説明したように、本実施の形態における医用画像処理装置3によれば、制御部31は、記憶部33に記憶されている医用画像が別の患者情報に対応付けし直された場合に、当該医用画像に基づいて計測された骨塩定量の結果値と、別の患者情報に対応付けて記憶部33に記憶されている骨塩定量の結果値とに基づいて当該医用画像に対応するグラフ画像を作成し直し、当該医用画像に対応付けて記憶部33に記憶させる。
従って、骨塩定量の計測元の医用画像を正しい患者の患者情報に対応付けし直した場合の再計測の手間を省くとともに、再作成が必要な骨塩定量のグラフ画像の作成し忘れを防止することができる。
また、制御部31は、記憶部33に記憶されている医用画像を別の患者情報に対応付けし直すために元の患者情報から切り離した場合に、元の患者情報に対応するグラフ画像であって、当該医用画像よりも後にX線撮影された医用画像に対応するグラフ画像が記憶部33に存在する場合、当該グラフ画像を元の患者情報から切り離した医用画像に基づく骨塩定量の結果値を含まないグラフ画像に更新する。
従って、ユーザーが、切り離された医用画像に基づく骨塩定量の結果値を含む元の患者のグラフ画像を特定してビューアー画面上で選択したり、再度骨塩定量計測処理を指示したりする等の作業をしなくても、自動的に元の患者の結果値のみを含む正しいグラフ画像に更新されるので、再作成が必要な元の患者のグラフ画像の作成し忘れを防止することができる。
また、制御部31は、記憶部33に記憶されている医用画像が別の患者(再割り付け先)の患者情報に対応付けし直された場合に、別の患者情報に対応するグラフ画像であって、当該医用画像よりも後にX線撮影された医用画像に対応するグラフ画像が記憶部33に存在する場合、当該グラフ画像を別の患者情報に対応付けし直された医用画像に基づく骨塩定量の結果値を含むグラフ画像に更新する。
従って、再割り付けされた医用画像に基づく骨塩定量の結果値を含んでいない再割り付け先の患者のグラフ画像を特定してビューアー画面上で選択したり、再度骨塩定量計測処理を指示したりする等の作業をしなくても、自動的に再割り付けされた医用画像に基づく骨塩定量の結果値を含む正しいグラフ画像に更新されるので、再作成が必要な再割り付け先の患者のグラフ画像の作成し忘れを防止することができる。
また、制御部31は、記憶部33に記憶されている骨塩定量計測済みの医用画像が再割り付け先の患者の患者情報に対応付けし直された場合に、その旨を通知するメッセージ画面356を表示部35に表示する。
従って、ユーザーが骨塩定量計測済みの医用画像が再割り付けされたことを認識することが可能となる。
なお、上述した本実施の形態における記述は、本発明に係る好適な施設内システムの一例であり、これに限定されるものではない。
例えば、上記実施の形態においては、骨塩定量の計測結果を表示部35に表示出力するとともに、必要に応じて汎用プリンター6から出力することとして説明したが、メディアドライブ37により記録メディアMに出力したり、通信部36を介してネットワーク8に接続されたクライアントPC7等に送信したりすることとしてもよい。
また、上記実施形態においては、グラフを画像化することとして説明したが、これに限定されるものではない。
また、例えば、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリ等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、CD-ROM等
の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。
その他、医用画像処理装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
1 施設内システム
2 モダリティ
3 医用画像処理装置
4 受付装置
5 イメージャー
6 汎用プリンター
7 クライアントPC
8 ネットワーク
31 制御部
32 RAM
33 記憶部
330 患者情報DB
331 画像DB
331a 画像情報テーブル
332 骨塩定量DB
333 名称未設定フォルダー
34 操作部
35 表示部
351 ビューアー画面
352 骨塩定量画面
353 メッセージ画面
354 名称未設定画面
355 確認画面
356 メッセージ画面
36 通信部
37 メディアドライブ
38 計時部
39 バス

Claims (5)

  1. 患者の所定部位をX線撮影することにより得られた医用画像に基づいて骨塩定量を計測する骨塩定量計測手段と、
    前記骨塩定量計測手段により計測された骨塩定量の結果値と、その計測元の医用画像と、患者情報及び計測日時と、を対応付けて記憶する記憶手段と、
    前記骨塩定量計測手段により計測された骨塩定量の結果値及び前記記憶手段に記憶されている同一患者の過去の結果値に基づいて、骨塩定量の経時変化を示すグラフを作成し、前記計測元の医用画像に対応付けて前記記憶手段に記憶させるグラフ作成手段と、
    前記記憶手段に記憶されている医用画像が別の患者情報に対応付けし直された場合に、当該医用画像に基づいて計測された骨塩定量の結果値と、前記別の患者情報に対応付けて前記記憶手段に記憶されている骨塩定量の結果値とに基づいて当該医用画像に対応するグラフを作成し直し、当該医用画像に対応付けて前記記憶手段に記憶させるグラフ再作成手段と、
    を備える医用画像処理装置。
  2. 前記記憶手段に記憶されている医用画像を前記別の患者情報に対応付けし直すために元の患者情報から切り離した場合に、前記元の患者情報に対応するグラフであって、当該医用画像よりも後にX線撮影された医用画像に対応するグラフが前記記憶手段に存在する場合、当該グラフを前記元の患者情報から切り離した医用画像に基づく骨塩定量の結果値を含まないグラフに更新する第1のグラフ更新手段を備える請求項1に記載の医用画像処理装置。
  3. 前記記憶手段に記憶されている医用画像が別の患者情報に対応付けし直された場合に、前記別の患者情報に対応するグラフであって、当該医用画像よりも後にX線撮影された医用画像に対応するグラフが前記記憶手段に存在する場合、当該グラフを前記別の患者情報に対応付けし直された医用画像に基づく骨塩定量の結果値を含むグラフに更新する第2のグラフ更新手段を備える請求項1又は2に記載の医用画像処理装置。
  4. 前記記憶手段に記憶されている医用画像が別の患者情報に対応付けし直された場合に、その旨を通知する通知手段を備える請求項1〜3の何れか一項に記載の医用画像処理装置。
  5. コンピューターを、
    患者の所定部位をX線撮影することにより得られた医用画像に基づいて骨塩定量を計測する骨塩定量計測手段、
    前記骨塩定量計測手段により計測された骨塩定量の結果値と、その計測元の医用画像と、患者情報及び計測日時と、を対応付けて記憶する記憶手段、
    前記骨塩定量計測手段により計測された骨塩定量の結果値及び前記記憶手段に記憶されている同一患者の過去の結果値に基づいて、骨塩定量の経時変化を示すグラフを作成し、前記計測元の医用画像に対応付けて前記記憶手段に記憶させるグラフ作成手段、
    前記記憶手段に記憶されている医用画像が別の患者情報に対応付けし直された場合に、当該医用画像に基づいて計測された骨塩定量の結果値と、前記別の患者情報に対応付けて前記記憶手段に記憶されている骨塩定量の結果値とに基づいて当該医用画像に対応するグラフを作成し直し、当該医用画像に対応付けて前記記憶手段に記憶させるグラフ再作成手段、
    として機能させるためのプログラム。
JP2012277555A 2012-12-20 2012-12-20 医用画像処理装置及びプログラム Active JP6015418B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012277555A JP6015418B2 (ja) 2012-12-20 2012-12-20 医用画像処理装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012277555A JP6015418B2 (ja) 2012-12-20 2012-12-20 医用画像処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2014121343A JP2014121343A (ja) 2014-07-03
JP6015418B2 true JP6015418B2 (ja) 2016-10-26

Family

ID=51402401

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012277555A Active JP6015418B2 (ja) 2012-12-20 2012-12-20 医用画像処理装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6015418B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017184875A (ja) * 2016-04-01 2017-10-12 キヤノン株式会社 放射線撮影システム、情報端末、放射線撮影装置、放射線撮影方法、及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7283857B1 (en) * 1998-11-30 2007-10-16 Hologic, Inc. DICOM compliant file communication including quantitative and image data
JP2002073806A (ja) * 2000-08-25 2002-03-12 Sanyo Electric Co Ltd 医療事務装置
JP2004073421A (ja) * 2002-08-15 2004-03-11 Konica Minolta Holdings Inc 医用画像管理装置、医用画像管理方法及びプログラム
JP4783127B2 (ja) * 2005-11-25 2011-09-28 株式会社東芝 医用装置及び検査プロトコル取得方法

Also Published As

Publication number Publication date
JP2014121343A (ja) 2014-07-03

Similar Documents

Publication Publication Date Title
US20100091950A1 (en) Dose-reduction decision system for medical images
JP6102236B2 (ja) 放射線画像処理装置
JP2004105437A (ja) 医用画像処理装置及び医用画像撮影システム
JP2005070817A (ja) 医用画像作成業務管理方法、並びに、医用画像作成業務管理装置及び医用画像作成業務実施装置
JP5834990B2 (ja) 医用画像処理装置及びプログラム
JP6291809B2 (ja) 医用画像処理装置
JP2011005169A (ja) 医用画像管理装置及びプログラム
JP2014121346A (ja) 医用画像処理装置及びプログラム
JP6015418B2 (ja) 医用画像処理装置及びプログラム
JP2010124943A (ja) 医用画像管理装置
JP5228848B2 (ja) 画像表示装置
JP6291810B2 (ja) 医用画像処理装置
JP2008188096A (ja) 医用画像管理システム、データ管理方法
JP2013169211A (ja) 医用画像処理装置及びプログラム
JP5962492B2 (ja) 医用画像処理装置及びプログラム
JP6146449B2 (ja) 医用画像処理装置及びプログラム
JP5919970B2 (ja) 医用画像処理装置及びプログラム
JP5919971B2 (ja) 医用画像処理装置及びプログラム
JP2002281210A (ja) 医用画像処理装置及び医用ネットワークシステム
JP2013169213A (ja) 医用画像処理装置及びプログラム
JP2004290225A (ja) 医用画像処理装置、医用ネットワークシステム及び医用画像処理装置のためのプログラム
JP5794153B2 (ja) 医用画像表示装置及びプログラム
JP2004305387A (ja) 表示方法及び医用画像表示装置
JP2009211118A (ja) 医用画像管理装置、印刷画像順設定方法及びプログラム
JP2010122781A (ja) 小規模診断システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160912

R150 Certificate of patent or registration of utility model

Ref document number: 6015418

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150