JP5677496B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP5677496B2
JP5677496B2 JP2013077667A JP2013077667A JP5677496B2 JP 5677496 B2 JP5677496 B2 JP 5677496B2 JP 2013077667 A JP2013077667 A JP 2013077667A JP 2013077667 A JP2013077667 A JP 2013077667A JP 5677496 B2 JP5677496 B2 JP 5677496B2
Authority
JP
Japan
Prior art keywords
image processing
image
sample
ray
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013077667A
Other languages
English (en)
Other versions
JP2013138913A (ja
Inventor
漆家 裕之
裕之 漆家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013077667A priority Critical patent/JP5677496B2/ja
Publication of JP2013138913A publication Critical patent/JP2013138913A/ja
Application granted granted Critical
Publication of JP5677496B2 publication Critical patent/JP5677496B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、処理対象画像に対して画像処理を行う画像処理装置及び画像処理方法に関するものである。特に、処理対象画像としてX線画像を適用し、当該X線画像に対して画像処理を行うX線画像処理装置及びX線画像処理方法に用いて好適である。
一般に、画像処理システムにおいて、画像に対して様々な画像処理を施して新たな画像を作成しようとする際には、それぞれの画像処理について画像処理パラメータを設定しなければならない。この場合、この画像処理パラメータをうまく設定できないと、操作者が望むような画像を得ることはできない。特に、X線画像の画像処理では、診断に最も効果的な画像処理パラメータを設定しなければならず、その設定は大変難しい作業である。
また、より良い画像を得ようとすれば、それだけ数多くの画像処理を行う必要があり、その際に用いる画像処理パラメータの組み合わせは膨大なものとなってしまう。そして、この膨大な画像処理パラメータの組み合わせの中から望むものを得るために試行錯誤を繰り返していたのでは、非常に時間がかかってしまい、操作者の負担は大変大きなものとなってしまう。
このような問題を解決するために、例えば、下記の特許文献1や特許文献2のように、画像処理を予め施したいくつかのサンプル処理画像を作成して提示し、この中から選択するといった技術が開示されている。
特公平7−43773号公報 特公平7−104914号公報
上述した従来技術では、複雑な画像処理を予め施したサンプル処理画像を提示することによって、操作者は、具体的な画像処理について何も知らなくても、求める画像に最も近い画像を選択することによって適切な画像処理パラメータを設定することが可能である。
しかしながら、操作者が求める画像は色々な画像が有り得るので、上述した従来技術の場合、操作者が求める画像にぴったりと合った画像が予め用意できているとは限らない。この際、操作者が求めると想定される画像をもれなく用意しようとすれば、全ての画像処理パラメータの組み合わせについて画像処理を行わなければならず、サンプル処理画像が膨大な画像数となってしまう。この場合、操作者においても、膨大な画像数の中から求める画像を選ぶことは、非常に煩雑な操作を要し、操作者の負担が増大してしまう。
また、特に、X線画像においては、診断に適した画像にするために画像処理パラメータの設定が行われるが、画像処理を施す画像がどのような撮影条件によって撮影されたのかによって画像処理対象の画像そのものが変わってしまう。このため、X線画像の場合には、診断に適した画像処理パラメータの設定と共に撮影条件も変える必要がある。また、X線画像の診断のためには、「どのような患者であっても特定の領域の濃度は同じでなければいけない」であるとか、「画像全体にわたってコントラストは確保しなければいけない」などといった制約を守った画像処理を行う必要がある。しかしながら、この場合、画像処理パラメータを単純に変えてしまっては、このような制約が守れないといった問題がある。
本発明はこのような問題点に鑑みてなされたものであり、煩雑な操作をすること無く簡易な操作で、操作者が望む画像の取得を実現できるようにすることを目的とする。
本発明の画像処理装置は、処理対象画像に対して画像処理を行う画像処理装置であって、前記画像処理を行う際に用いられる複数の画像処理パラメータを変化させて生成された複数のサンプル画像を表示部に表示する制御を行う表示制御手段と、前記表示部に前記複数のサンプル画像の表示がなされた後に、操作者からの指定に応じた各サンプル画像における比率に基づいて、前記複数の画像処理パラメータを補間して、前記処理対象画像の画像処理を行う際の前記画像処理パラメータを設定する設定手段と、前記設定手段で設定された画像処理パラメータに基づいて、前記処理対象画像の画像処理を行う画像処理手段とを有する。
本発明の画像処理方法は、処理対象画像に対して画像処理を行う画像処理方法であって、前記画像処理を行う際に用いられる複数の画像処理パラメータを変化させて生成された複数のサンプル画像を表示部に表示する制御を行う表示制御ステップと、前記表示部に前記複数のサンプル画像の表示がなされた後に、操作者からの指定に応じた各サンプル画像における比率に基づいて、前記複数の画像処理パラメータを補間して、前記処理対象画像の画像処理を行う際の前記画像処理パラメータを設定する設定ステップと、前記設定ステップで設定された画像処理パラメータに基づいて、前記処理対象画像の画像処理を行う画像処理ステップとを有する。
本発明によれば、煩雑な操作をすること無く簡易な操作で、操作者が望む画像を取得することができる。
本発明の実施形態に係るX線画像処理システムの概略構成の一例を示す模式図である。 本発明の実施形態に係るX線画像処理装置において、画像処理パラメータの設定の一例を説明するための概念図である。 本発明の実施形態に係るX線画像処理装置において、画像処理パラメータの設定の一例を説明するための概念図である。 本発明の実施形態に係るX線画像処理装置において行われる画像処理の一例を示す模式図である。 図4に示す変換テーブルの内容の一例を示す模式図である。 図4に示す変換テーブルの内容の一例を示す模式図である。 図6(c)に示す相互に関連する処理パラメータ(tanα及び所定値c)の補間の一例を示す模式図である。 本発明の実施形態に係るX線画像処理装置において用いる、撮影条件が関連付けられたサンプル画像の一例を示す模式図である。 本発明の実施形態に係るX線画像処理装置において用いる、撮影条件が関連付けられたサンプル画像の一例を示す模式図である。 本発明の実施形態に係るX線画像処理装置において行う撮影条件の補間を説明するための模式図である。 本発明の実施形態に係るX線画像処理装置において、X線画像の画像処理を説明するための概念図である。 本発明の実施形態を示し、コントラスト変更による階調曲線の変化を説明する概念図である。 本発明の実施形態を示し、最低限のコントラストを確保するための方法の一例を説明するための概念図である。
以下、本発明を実施するための最良の形態について、添付図面を参照して説明する。
なお、以下に示す本発明の実施形態では、処理対象画像としてX線画像を適用した例について説明する。
図1は、本発明の実施形態に係るX線画像処理システム100の概略構成の一例を示す模式図である。
図1のX線画像処理システム100は、X線発生装置101、X線センサー102、X線制御部103、診断モニタ104、操作部105、X線画像処理装置110、ネットワーク120、及び、ネットワーク120に接続された各構成部を有して構成されている。図1には、ネットワーク120に接続された各構成部として、具体的に、プリンタ121、診断ワークステーション122及び画像データベース123が構成されている。また、X線画像処理装置110の内部には、画像入力部111、システム制御部112、画像処理部113及び画像保存部114が構成されている。
X線発生装置101は、当該X線発生装置101とX線センサー102との間に被写体(患者)200が存在する場合には、当該被写体200に対して放射線の一種であるX線101aを照射する。具体的に、X線発生装置101は、X線101aを発生させるX線管を有して構成されている。このX線発生装置101から照射されるX線101aの照射条件は、X線制御部103により制御される。
X線センサー102は、X線発生装置101から照射され、被写体200を透過したX線101aを検知して、被写体200の撮像を行う撮像手段を構成する。具体的に、X線センサー102は、被写体200を透過したX線101aに基づく被写体像を、ディジタルX線画像として撮像を行う。このディジタルX線画像は、その後、X線センサー102から、X線画像処理装置110の画像入力部111に入力される。
X線制御部103は、X線画像処理装置110のシステム制御部112の制御に基づいて、X線発生装置101にX線照射信号を送信し、X線発生装置101から照射するX線101aを制御する。
診断モニタ104は、X線画像処理装置110のシステム制御部112の制御に基づいて、X線画像処理装置110で処理されたX線画像や、各種の情報等を表示する表示部を構成する。
操作部105は、操作者(ユーザ)がX線画像処理装置110に各種の指示を行う際に操作されるものであり、操作者からの各種の指示をX線画像処理装置110のシステム制御部112に対して入力することが可能に構成されている。
X線画像処理装置110は、X線画像の処理を行うものである。
具体的に、X線画像処理装置110の画像入力部111は、X線センサー102から出力されたディジタルX線画像を、X線画像処理装置110の内部に入力する処理を行う。X線画像処理装置110のシステム制御部112は、X線画像処理システム100における動作を統括的に制御するものであり、必要に応じて、X線画像処理システム100における各構成部を制御する。X線画像処理装置110の画像処理部113は、画像入力部111から入力されたX線画像に対して、設定された画像処理パラメータに基づいて、X線センサー102の補正処理、階調処理、鮮鋭化処理、ダイナミックレンジ圧縮処理等の各種の画像処理を行う。X線画像処理装置110の画像保存部114は、システム制御部112の制御に基づいて、画像入力部111から入力されたディジタルX線画像や、画像処理部113で処理されたディジタルX線画像等の各種の画像を保存する。
システム制御部112は、例えば、画像処理部113で処理されたディジタルX線画像を画像保存部114に保存したり、診断モニタ104に表示したりする制御を行う。或いは、システム制御部112は、必要に応じて、画像処理部113で処理されたディジタルX線画像を、ネットワーク120を介してプリンタ121、診断ワークステーション122、画像データベース123に出力する。そして、表示或いは出力されたX線画像が満足のいくものでなかったとして操作者から操作部105を介して変更指示等があった場合、システム制御部112は、画像処理パラメータの変更による画像処理の制御や、処理後のX線画像の表示や出力等の制御を行う。
図2は、本発明の実施形態に係るX線画像処理装置110において、画像処理パラメータの設定の一例を説明するための概念図である。
図2に示す第1サンプル画像201、第2サンプル画像202及び第3サンプル画像203は、操作者が望むと想定されるX線画像をいくつか想定して画像処理パラメータを予め決めて画像処理部113で画像処理を行った結果のサンプル画像である。これらのサンプル画像(201〜203)は、例えば画像保存部114(或いは画像データベース123)に保存され、例えばシステム制御部112により、診断モニタ104に表示される。
そして、これらのサンプル画像(201〜203)の中に操作者が望む画像とピッタリと一致する画像があれば、操作者は、X線画像処理装置110に対して、操作部105を介して当該所望のサンプル画像を選択指示する。この場合、例えば画像処理部113は、システム制御部112の制御に基づいて、選択指示されたサンプル画像における画像処理パラメータを用いて、画像入力部111から入力されたX線画像の画像処理を行う。
また、これらのサンプル画像(201〜203)の中に操作者が望む画像とピッタリと一致する画像がない場合には、操作者は、自身が望む画像とすべく、各サンプル画像における比率を指定する。そして、X線画像処理装置110では、操作者から指定された各サンプル画像における比率に基づいて、画像処理パラメータの補間を行う。この画像処理パラメータの補間は、画像処理パラメータごとに独立して行う。
図2では、3種類の画像処理を行った3種類のサンプル画像を使って、画像処理パラメータを調整する例を示している。図2に示す例では、3種類の画像処理における画像処理パラメータ204は、それぞれ、第1画像処理パラメータ、第2画像処理パラメータ及び第3画像処理パラメータである。図2に示す例では、第1サンプル画像201に予め設定されている第1画像処理パラメータをx1、第2画像処理パラメータをy1、第3画像処理パラメータをz1としている。同様に、サンプル画像番号N(Nは正数)に対応して、サンプル画像Nに予め設定されている第1画像処理パラメータをxN、第2画像処理パラメータをyN、第3画像処理パラメータをzNとしている。
そして、図2に示す例では、操作者が指定した各サンプル画像における比率は、第1サンプル画像201、第2サンプル画像202及び第3サンプル画像203に対して、それぞれ、a:b:c(a+b+c=1)である。画像処理パラメータ204を補間すると、補間後の画像処理パラメータ206は、次のようになる。具体的に、第1画像処理パラメータを補間すると、補間後の第1画像処理パラメータは、a×x1+b×x2+c×x3となる。同様に、第2画像処理パラメータを補間すると、補間後の第2画像処理パラメータは、a×y1+b×y2+c×y3となる。さらに、第3画像処理パラメータを補間すると、補間後の第3画像処理パラメータは、a×z1+b×z2+c×z3となる。
ここで、操作者が比率を指定する際に用いられるサンプル画像の数は、2つ以上であれば、上述した3つの場合と同様に処理を行うことができる。また、画像処理パラメータの数についても、いくつであっても上述した場合と同様に処理を行うことができる。
図3は、本発明の実施形態に係るX線画像処理装置110において、画像処理パラメータの設定の一例を説明するための概念図である。この図3では、複数のサンプル画像の中から、複数(図3に示す例では2つ)の選択サンプル画像を選択して、当該2つの選択サンプル画像を用いて、画像処理パラメータの設定を行う例が示されている。
図3に示すサンプル画像データベースは、例えば画像保存部114に構成されており、画像処理パラメータを色々と変化させて、操作者が求めていると想定される複数のサンプル画像を用意したものである。なお、図3に示すサンプル画像データベースは、例えば画像データベース123に構成されていても良い。
図3に示す例では、サンプル画像データベースに記憶されている、第1サンプル画像301〜第9サンプル画像309までの9つのサンプル画像が、例えば診断モニタ104に並べて表示されている例が示されている。
そして、操作者は、診断モニタ104に表示された9つのサンプル画像の中から自分が望む画像に最も近いサンプル画像を、操作部105を介して2つ選択する。ここで、図3では、操作者により、第1サンプル画像301及び第9サンプル画像309の2つのサンプル画像が選択サンプル画像として選択された例を示している。そして、選択された2つのサンプル画像(選択サンプル画像)は、診断モニタ104に並べて表示されている。
そして、操作者は、自身が望む画像とすべく、この2つのサンプル画像(選択サンプル画像)における比率をスライダーバー310によって指定する。ここで、このスライダーバー310は、例えば、サンプル画像と共に診断モニタ104に表示されており、操作者は、操作部105を操作することにより、診断モニタ104に表示されたスライダーバー310を調整することが可能となっている。
図3において、スライダーバー310の指定位置が左端にあれば、第1サンプル画像301:第9サンプル画像309は1:0であり、右端にあれば、第1サンプル画像301:第9サンプル画像309は0:1である。また、スライダーバー310の指定位置が左端と右端との中間にあれば、その指定位置に応じて第1サンプル画像301と第9サンプル画像309との比率が決定される。そして、X線画像処理装置110では、このようにして指定されたサンプル画像の比率によって、画像処理パラメータを補間して新たな画像処理パラメータを設定する。そして、X線画像処理装置110では、この新たに設定した画像処理パラメータを用いた画像処理を行って、新たなサンプル画像を生成し、生成した新たなサンプル画像を診断モニタ104に表示する制御を行う。図3には、生成された新たなサンプル画像を調整画像311として表示した例が示されている。
操作者が、図3に示すスライダーバー310の指定位置を、操作部105を介して動かすたびに選択サンプル画像間の比率が変化することになる。そして、X線画像処理装置110では、スライダーバー310の指定位置が動くごとに、選択サンプル画像間の比率を更新して調整画像311を作成し直して診断モニタ104に表示する制御を行う。
操作者は、スライダーバー310の指定位置を動かすことによって変化する調整画像311を見ることによって、最も望む画像に近い画像を決定することができる。そして、操作者は、診断モニタ104に表示された調整画像311が自身の望む画像等になったと判断した場合には、操作部105を介して、X線画像処理装置110に対して、画像処理パラメータの設定に係る許可を指示する。この場合、X線画像処理装置110は、スライダーバー310の指定位置におけるサンプル画像の比率に基づいて補間した画像処理パラメータを、処理対象画像であるX線画像の画像処理を行う際の画像処理パラメータとして設定する処理を行う。
以下に、図3に示す場合のX線画像処理装置110によるX線画像処理方法の処理手順の一例について説明する。ここで、図3に示す第1サンプル画像301〜第9サンプル画像309は、例えば画像保存部114に予め保存されているものとする。また、図2に示す場合を適用する場合には、第1サンプル画像201〜第3サンプル画像303が画像保存部114に予め保存されているものとする。
まず、システム制御部112は、例えば画像保存部114に予め保存されている第1サンプル画像301〜第9サンプル画像309を、表示部である診断モニタ104に表示する制御を行う(表示制御ステップ)。この表示制御を行うシステム制御部112は、表示制御手段を構成する。この際、診断モニタ104に表示される複数のサンプル画像は、処理対象画像であるX線画像の画像処理を行う際に用いられる画像処理パラメータを変化させて、画像処理部113による画像処理により生成された画像である。
続いて、操作者が操作部105を介してサンプル画像を選択すると、システム制御部112は、操作者による選択に基づいて、診断モニタ104に表示された複数のサンプル画像の中から、複数の選択サンプル画像を選択する処理を行う(画像選択処理ステップ)。この選択サンプル画像の選択処理を行うシステム制御部112は、画像選択処理手段を構成する。そして、システム制御部112は、選択処理を行った複数の選択サンプル画像を診断モニタ104に表示する制御を行う。具体的に、図3では、上述したように、第1サンプル画像301〜第9サンプル画像309の中から、複数の選択サンプル画像として第1サンプル画像301及び第9サンプル画像309が選択されて表示された例を示している。
続いて、操作者からスライダーバー310の指定位置が指定されると、例えばシステム制御部112は、当該指定されたサンプル画像(選択サンプル画像301及び309)における比率に基づいて、画像処理パラメータを設定する(設定ステップ)。具体的に、例えばシステム制御部112は、指定された比率に基づいて、選択サンプル画像301及び309におけるそれぞれの画像処理パラメータを用いて、画像処理パラメータの設定を行う。なお、この画像処理パラメータの設定は、例えば画像処理部113で行う形態であっても良い。この画像処理パラメータの設定処理を行うシステム制御部112(或いは画像処理部113)は、設定手段を構成する。
続いて、画像処理部113は、スライダーバー310によるサンプル画像における比率に基づき設定された画像処理パラメータを用いた画像処理を行って、新たなサンプル画像である調整画像311を生成する。そして、システム制御部112は、生成された調整画像311を診断モニタ104に表示する制御を行う。
そして、診断モニタ104に表示された調整画像311が操作者の望む画像等になったとして、操作者から操作部105を介して画像処理パラメータの設定に係る許可の指示があった場合、システム制御部112は、これを検知する。そして、画像処理部113は、システム制御部112の制御により、当該調整画像311を生成する際に用いた画像処理パラメータに基づいて、画像入力部111から入力される処理対象画像であるX線画像の画像処理を行う。
一方、診断モニタ104に表示された調整画像311が操作者の望む画像等でないとして、操作者によりスライダーバー310の指定位置が変更された場合には、選択サンプル画像301及び309における比率が変更することになる。そして、この場合、例えばシステム制御部112は、選択サンプル画像301及び309における比率が変更されて指定されるごとに、当該比率の変更に応じて画像処理パラメータの設定を行う。そして、この場合、画像処理部113は、画像処理パラメータの設定が行われるごとに、当該画像処理パラメータに応じて新たなサンプル画像である調整画像を生成する処理を行う。そして、そして、システム制御部112は、生成された調整画像を診断モニタ104に表示する制御を行う。そして、この一連の処理は、操作者からの許可の指示があるまで行われる。
ここまで説明してきた画像処理に係るパラメータは、各々独立したパラメータであることを前提としてきた。しかしながら、画像処理に係るパラメータの関係が独立ではなく関連がある場合がある。即ち、画像処理部113における画像処理に用いられる画像処理パラメータには、相互に関連する複数の処理パラメータが設けられている場合がある。このような場合の例として、図4を用いて説明する。
図4は、本発明の実施形態に係るX線画像処理装置110において行われる画像処理の一例を示す模式図である。具体的に、図4には、画像処理として、マルチ周波数処理の強調処理を行う例が示されている。
まず、例えば画像処理部113において、強調処理すべき原画像401を周波数分解手段411によって複数の周波数帯域画像(第1周波数帯域画像402−1〜第N周波数帯域画像402−N)に分解する。この分解された各周波数帯域画像402−1〜402−Nは、周波数帯域ごとの周波数係数を画素値に持つ画像である。そして、例えば画像処理部113において、各周波数帯域画像402−1〜402−Nを、それぞれ変換テーブル(第1変換テーブル412−1〜第N変換テーブル412−N)によって変換する。これにより、各周波数帯域変換画像(第1周波数帯域変換画像403−1〜第N周波数帯域変換画像403−N)が生成される。そして、例えば画像処理部113において、各周波数帯域変換画像403−1〜403−Nを周波数分解の逆変換である周波数合成手段413によって合成することによって、強調処理がされた処理画像404を生成することができる。
このようなマルチ周波数処理の強調処理によって得られる処理画像404の画質は、どのような変換テーブル412を用いるのかによって決まる。この変換テーブル412は、画像処理パラメータを構成し、当該画像処理パラメータの設定は、上述した例と同様に、例えばシステム制御部112(或いは、画像処理部113)において行われる。
図5及び図6は、図4に示す変換テーブル412の内容の一例を示す模式図である。
図5に示す変換テーブル412の横軸は入力画素値を表しており、縦軸は変換後の出力画素値を表している。この図5に示す変換テーブル412において、直線502は、傾き1の直線を表しており、何も変換されないことを意味している。また、直線501は、傾きtanα(>1)の直線を表しており、変換後の出力画素値は、入力画素値よりも大きくなり、その周波数帯域が強調されることになる。
ここで、入力画素値が所定値cを超えない範囲では、直線501における変換処理が行われ、また、入力画素値が所定値cを超えた範囲では、直線502における変換処理(即ち、この場合、何も変換されない)が行われることになる。これは、所定値cを超えない範囲が周波数強調に直接関係する係数の範囲を示しており、所定値cを超えた範囲ではエッヂ成分に対応しているものとみなして強調しないようにすることによってオーバーシュートなどのアーチファクトを防ぐようにしたものである。
このような画像処理パラメータを構成する変換テーブル412における周波数強調処理の処理パラメータとしては、直線501の傾きtanαと所定値cの2つである。この2つの所定パラメータtanα及びcは、各々独立に設定して良いのかというとそうではなく、相互に関連した処理パラメータとなっている。即ち、この場合、画像処理パラメータを構成する変換テーブル412には、相互に関連する複数の処理パラメータが設けられていることになる。例えば、tanαを大きくとるとオーバーシュートが出やすいので、この場合は、所定値cを小さく設定する。これを示したのが図6に示されている。
図6(a)には、比較的小さなtanα1の場合の所定値c1における変換テーブル412の一例が示されており、図6(b)には、大きなtanα2の場合の所定値c2における変換テーブル412の一例が示されている。この場合、図6(a)に示す所定値c1の方が、図6(b)に示す所定値c2よりも大きくなっている。このようなtanαと所定値cとの関連の一例をグラフとして示したものが、図6(c)に示されている。
図7は、図6(c)に示す相互に関連する処理パラメータ(tanα及び所定値c)の補間の一例を示す模式図である。
例えば、操作者により第1サンプル画像と第2サンプル画像の比率がa:bと指定された場合に、例えばシステム制御部112(或いは、画像処理部113)は、tanα1とtanα2をa:bの比率で補間して、tanαを設定する。その後、例えばシステム制御部112(或いは、画像処理部113)は、設定したtanαに対応する所定値cを図7に示すグラフから設定する。より詳細には、所定値cはtanαと独立でないから、tanαのみ補間によって求め、所定値cは、求めたtanαとの関係から設定するようにしている。
即ち、例えばシステム制御部112(或いは、画像処理部113)は、まず、指定された比率に基づいて、複数の処理パラメータ(tanα及び所定値c)の中から選択された1つの処理パラメータ(tanα)を設定する。そして、例えばシステム制御部112(或いは、画像処理部113)は、当該1つの処理パラメータ(tanα)との対応関係に応じて他の処理パラメータ(所定値c)を設定して、画像処理パラメータ(変換テーブル412)を設定するようにしている。
このようにお互いに関連する処理パラメータとしては、上述の例では、2つの処理パラメータが関連するものであったが、3つ以上の処理パラメータが関連していることもある。このようにお互いに関連している処理パラメータは、1組(1つ)の画像処理パラメータとしてまとめて設定するようにする。そして、その中の1つの処理パラメータを代表する処理パラメータとして選択し、これを補間に用いる。選択されなかった他の処理パラメータは、全て補間された代表する処理パラメータとの関係から設定する。
このようにして画像処理パラメータを設定することができるが、同様にして、撮影条件も設定することができる。ただし、撮影条件の場合は、画像処理パラメータの場合と違って、入力されるサンプル画像そのものが違っている。このため、予め複数の標準的な撮影条件でファントム(被写体である人間とX線の透過(透過率)が同等になるように形成した模擬の人形)の撮影を行う。
図8及び図9は、本発明の実施形態に係るX線画像処理装置110において用いる、撮影条件が関連付けられたサンプル画像の一例を示す模式図である。
図8には、それぞれの撮影条件(第1撮影条件〜第N撮影条件)でX線撮影したファントム300の画像(801−1〜801−N)が示されている。そして、各撮影条件で撮影された画像(801−1〜801−N)ごとに、それぞれ、最適な画像処理パラメータを用いた画像処理(第1画像処理〜第N画像処理)を行って、これをサンプル画像(第1サンプル画像802−1〜第Nサンプル画像802−N)とする。
図8に示す例では、1つの撮影条件で撮影された1つのファントム300の画像801に対して、1つの画像処理パラメータを用いた画像処理により1つのサンプル画像802を生成するものを示している。ここで、本実施形態においては、この図8に示す形態に限定されるわけではない。例えば、図9に示すように、1つの撮影条件で撮影された1つのファントム300の画像901に対して、複数の画像処理パラメータを用いた画像処理により複数のサンプル画像902を生成する形態であっても良い。
具体的に、図9には、まず、図8と同様に、それぞれの撮影条件(第1撮影条件〜第N撮影条件)でX線撮影したファントム300の画像(901−1〜901−N)が示されている。そして、各撮影条件で撮影された1つの画像(例えば、画像901−1)に対して、2つの画像処理パラメータを用いた画像処理(例えば、第1画像処理及び第2画像処理)により2つのサンプル画像(例えば、画像902−1及び902−2)が生成されている。
このように、本例の場合、図8及び図9に示すように、各サンプル画像には、当該サンプル画像を撮影した際の撮影条件が関連付けられている。そして、この場合、例えばシステム制御部112は、指定された比率に基づいて、上述した画像処理パラメータの設定に加えて、X線画像を撮影する際の撮影条件の設定を更に行う。そして、例えばシステム制御部112は、設定した撮影条件に基づいて、X線制御部103を介してX線発生装置101を制御して、X線画像における撮影の制御を行う。この撮影の制御を行うシステム制御部112は、撮影制御手段を構成する。
以下に、撮影条件の具体例、及び、その補間による撮影条件の設定について説明する。
本例では、撮影条件として、X線発生装置101のX線管における管電圧と管電流を設定することを適用する。
図10は、本発明の実施形態に係るX線画像処理装置110において行う撮影条件の補間を説明するための模式図である。
図10では、縦軸に管電圧をとり、横軸に管電流をとって、同じX線量になるこれらの組み合わせをグラフにしたものである。図10に示す曲線1002〜1007は、それぞれ、同じX線量になる管電圧と管電流の条件を示しており、矢印1001に向かって曲線の番号が大きくなるほど、X線量が大きくなっている。
ここで、例えば、第1サンプル画像の撮影条件が管電圧Vp1、管電流I1であり、第2サンプル画像の撮影条件が管電圧Vp2、管電流I2であったとする。この時、まず、X線量に関して補間を行う。第1サンプル画像のX線量は、曲線1003に沿ったX線量であり、第2サンプル画像のX線量は、曲線1005に沿ったX線量である。従って、第1サンプル画像と第2サンプル画像の比率がa:bで指定されていたとき、曲線1003と曲線1005との間でb:aの位置にあるグラフを求める。図10に示す例では、曲線1004が対応するグラフである。なお、対応するグラフがない場合には、最も近い2つのグラフから補間することによって対応するグラフを作成する。そして、本例では、管電流を代表撮影パラメータとして選択することにして、管電流I1とI2をa:bで補間して調整管電流Iを求める。そして、この調整管電流Iに対応する調整管電圧Vpを、対応するグラフである曲線1004から求める。このようにして、第1サンプル画像及び第2サンプル画像における撮影条件と、その比率等から、画像処理パラメータと同様に、撮影条件を設定することができる。
以上のようにして、複数のサンプル画像とそれらの比率から補間によって画像処理パラメータ及び撮影条件を設定することができる。なお、処理対象画像としてX線画像を適用した場合、X線画像は診断等に用いられるものであり、診断の目的を達成するためには、その画像処理に特別な制約がかかる場合がある。これは、例えば、被写体(患者)200ごとにX線画像の濃度がばらばらであっては診断上都合が悪いため、撮影部位ごとに特定の位置が同じ濃度、即ち同じ画素値にするといったことがある。
図11は、本発明の実施形態に係るX線画像処理装置110において、X線画像の画像処理を説明するための概念図である。
図11に示すX線画像の特定位置1101は、ここでは撮影部位を胸部正面として、肺野の最も濃い領域の位置を示している。胸部のX線画像は、診断上、肺野の最も濃い領域(即ち、特定位置1101)が被写体(患者)200によらず一定の濃度になっていなければならない。このため、例えばシステム制御部112(或いは、画像処理部113)において、X線画像を解析して、肺野の最も濃い領域(即ち、特定位置1101)の平均画素値を求める。ここで求めた平均画素値は、図11に示す特定位置平均画素値1102に相当する。そして、例えばシステム制御部112(或いは、画像処理部113)は、特定位置平均画素値1102が一定の指定された画素値(図11に示す指定画素値1103)になるように、階調曲線1104を左右にシフトさせる。このようにして、肺野の最も濃い領域を常に一定の濃度にすることができる。
このような制約と共に診断を行うためには、画像全体にわたって最低限のコントラストが確保されていなければならないといった制約もある。これは、例えば、階調変換処理におけるコントラストのパラメータをいろいろ変えると、階調変換できる画素値の範囲が変わってしまうときに問題となる。
図12は、本発明の実施形態を示し、コントラスト変更による階調曲線の変化を説明する概念図である。
図12に示す階調曲線1201は、標準的な階調曲線であるとする。この階調曲線1201によって入力画素値が出力画素値に変換されるが、出力画素値が出力最小画素値1204と出力最大画素値1205の間の範囲となる入力画素値の範囲はW1となっている。これに対して、補間によって新たにコントラストの処理パラメータを変えると、図12の階調曲線1202及び1203に示すような階調曲線になる。このとき、階調曲線1202の入力画素値の範囲はW2となり、階調曲線1203の入力画素値の範囲はW3となっている。このようにコントラストを上げると、出力画素値の範囲に入る入力画素値の範囲は狭くなってしまう。この場合、出力画素値の範囲に入らない入力画素値は、コントラストが全く取れないので、黒く飛んだり白く飛んだりした画像になってしまう。このような画像になってしまうと診断上不都合である。
そこで、特定の位置が同じ濃度となり、且つ画像全体にわたって最低限のコントラストを確保しなければならないといった制約を満足するための方法について説明する。
図13は、本発明の実施形態を示し、最低限のコントラストを確保するための方法の一例を説明するための概念図である。
図13(a)には、標準的な階調曲線である標準階調曲線1301を示している。この場合、標準階調曲線1301の出力画素値の範囲に入る入力画素値の範囲は十分に大きく、X線画像の入力に対して黒く飛んだり白く飛んだりせず、最低限のコントラストは確保されるものとする。まず、上述したように、このような標準階調曲線1301を、特定位置平均画素値1312が指定画素値1313となるように左右にシフトする。これによって特定の位置の濃度は、常に一定でなければならないという制約を達成することができる。
次に、画像全体にわたって最低限のコントラスト(即ち、所定の閾値以上のコントラストとする)を確保しなければならないといった制約を満足するために、まず、標準階調曲線1301に対して下部調整範囲1303と上部調整範囲1304を設定する。この際、設定された下部調整範囲1303及び上部調整範囲1304の標準階調曲線1301を含む領域を、それぞれ、標準下部調整領域1305、標準上部調整領域1306とする。
そして、図13(b)に示すように、標準階調曲線1301のコントラストを補間による新たなコントラストに変えて変更階調曲線1302とする。この際、下部調整範囲1303及び上部調整範囲1304の変更階調曲線1302を含む領域を、それぞれ、変更下部調整領域1307、変更上部調整領域1308とする。この変更下部調整領域1307及び変更上部調整領域1308は、標準下部調整領域1305、標準上部調整領域1306に比べて非常に狭くなっている。そこで、狭い変更下部調整領域1307及び変更上部調整領域1308を、標準下部調整領域1305、標準上部調整領域1306を使って広げる処理を行う。
このために、まず、変更階調曲線1302の変更下部調整領域1307及び変更上部調整領域1308に含まれる部分を削除する。そして、標準下部調整領域1305及び標準上部調整領域1306を、それぞれ、変更下部調整領域1307及び変更上部調整領域を含むように横に拡張する。これが、図13(c)に示す拡張下部調整領域1310及び拡張上部調整領域1311である。
標準階調曲線1301の標準下部調整領域1305及び標準上部調整領域1306に含まれる部分を同様に横に拡張して、変更階調曲線1302の削除した部分の代わりに用いる。このようにして作成された階調曲線が、図13(c)に示す修正階調曲線1309である。この修正階調曲線1309を用いて階調変換処理を行えば、補間による新たなコントラストであって、なおかつ標準的な階調曲線と同じ出力画素値の範囲に入る入力画素値の範囲が実現できる。これにより、X線画像の入力に対して黒く飛んだり、白く飛んだりしないで、画像全体にわたって最低限のコントラストを確保することができる。
図11〜図13で説明した各種の処理は、例えば、システム制御部112、或いは、画像処理部113において行われる。図11〜図13で説明したように、本実施形態では、画像処理パラメータの設定を行う際に、画像における特定の位置の濃度を一定とすることの制約、及び、のコントラストを所定の閾値以上とする制約を満たすことも考慮するようにしている。なお、本発明においては、これらの制約のうち、少なくともいずれか一方を満たすことを考慮して、画像処理パラメータの設定を行う場合も含まれる。
以上説明したように、本実施形態のX線画像処理装置110では、まず、複数の画像処理に係るサンプル画像を生成して診断モニタ104に表示するようにしている。そして、操作者が診断モニタ104に表示された複数のサンプル画像における比率を指定すると、指定された比率に基づいて、X線画像の画像処理を行う際の画像処理パラメータを設定するようにしている。その後、設定された画像処理パラメータを用いた画像処理により新たなサンプル画像を生成して診断モニタ104に表示し、当該新たなサンプル画像の許可が操作者によりなされた場合に、当該画像処理パラメータに基づくX線画像の画像処理を行うようにしている。
かかる構成によれば、煩雑な操作をすること無く簡易な操作で、操作者が望む画像を取得することができる。特に、処理対象画像がX線画像の場合、診断能力の高い画像を取得することが可能となるため、医師の診断精度を向上させることができる。
また、本実施形態では、従来に比べて、予め用意しておくサンプル画像の数を大幅に減らすことができ、操作者が求める画像に近い画像を簡単に生成することができる。また、操作者がサンプル画像における比率を変更するごとに、新たに画像処理パラメータを設定し、当該画像処理パラメータを用いた画像処理により生成された画像を診断モニタ104に表示するようにしている。これによって、操作者は、サンプル画像における比率の変更の結果、得られた画像を見て、自分の求める画像に近いか否かを容易に判断することができる。
また、本実施形態では、関連のある画像処理パラメータについては、関連のある画像処理パラメータの中から1つの画像処理パラメータを選択して、全ての関連することのない独立な画像処理パラメータとしている。そして、選択された当該1つの画像処理パラメータについて、指定された比率から新たな画像処理パラメータを設定するようにしている。また、関連する他の画像処理パラメータについては、選択された当該1つの画像処理パラメータとの対応関係を用いて設定するようにしている。このようにして、新たな画像処理パラメータを設定して画像処理を行うことによって、視覚的に指定された比率の中間的な画像を生成することができる。
また、診断モニタ104に表示するサンプル画像に、当該サンプル画像を撮影した際の撮影条件を関連付けることにより、例えば、被写体(患者)200のX線被曝線量を最低限に抑えた撮影を行うことも可能となる。
具体的に、本実施形態では、同一の被写体を複数の撮影条件で撮影された画像を用いて複数の画像処理パラメータを使用して画像処理してサンプル画像を作成し、診断モニタ104に表示するようにしている。そして、操作者がこの複数のサンプル画像における比率を指定すると、この指定された比率より新たに画像処理パラメータの設定と共に、撮影条件を設定するようにしている。そして、設定された撮影条件及び画像処理パラメータに基づいて、撮影及び画像処理を行うようにしている。これによって画像処理パラメータだけではなく撮影条件についても、簡易にそして適切に設定することが可能となる。
また、X線画像における上述した制約については、画像処理パラメータの設定を行う際に、当該制約を満たすことを考慮するようにしている。これによって、診断に有効なX線画像とすべく画像処理パラメータの設定が可能となる。
前述した本実施形態に係るX線画像処理装置110によるX線画像処理方法の各ステップは、コンピュータのCPUがRAMやROMなどに記憶されたプログラムを実行することによって実現できる。このプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
具体的に、前記プログラムは、例えばCD−ROMのような記憶媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記プログラムを記録する記憶媒体としては、CD−ROM以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、前記プログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク(LAN、インターネットの等のWAN、無線通信ネットワーク等)システムにおける通信媒体を用いることができる。また、この際の通信媒体としては、光ファイバ等の有線回線や無線回線などが挙げられる。
また、本発明は、コンピュータが供給されたプログラムを実行することにより本実施形態に係るX線画像処理装置110の機能が実現される態様に限られない。そのプログラムがコンピュータにおいて稼働しているOS(オペレーティングシステム)或いは他のアプリケーションソフト等と共同して本実施形態に係るX線画像処理装置110の機能が実現される場合も、かかるプログラムは本発明に含まれる。また、供給されたプログラムの処理の全て、或いは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて本実施形態に係るX線画像処理装置110の機能が実現される場合も、かかるプログラムは本発明に含まれる。
また、前述した本実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術的思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
100 X線画像処理システム
101 X線発生装置
102 X線センサー
103 X線制御部
104 診断モニタ
105 操作部
110 X線画像処理装置
111 画像入力部
112 システム制御部
113 画像処理部
114 画像保存部
120 ネットワーク
121 プリンタ
122 診断ワークステーション
123 画像データベース

Claims (9)

  1. 処理対象画像に対して画像処理を行う画像処理装置であって、
    前記画像処理を行う際に用いられる複数の画像処理パラメータを変化させて生成された複数のサンプル画像を表示部に表示する制御を行う表示制御手段と、
    前記表示部に前記複数のサンプル画像の表示がなされた後に、操作者からの指定に応じた各サンプル画像における比率に基づいて、前記複数の画像処理パラメータを補間して、前記処理対象画像の画像処理を行う際の前記画像処理パラメータを設定する設定手段と、
    前記設定手段で設定された画像処理パラメータに基づいて、前記処理対象画像の画像処理を行う画像処理手段と
    を有することを特徴とする画像処理装置。
  2. 前記画像処理手段は、前記設定手段で設定された画像処理パラメータを用いた画像処理により新たなサンプル画像を生成し、
    前記表示制御手段は、前記新たなサンプル画像を前記表示部に表示する制御を更に行うものであり、
    前記画像処理手段は、前記表示部に表示された前記新たなサンプル画像の許可がなされた場合に、当該新たなサンプル画像を生成する際に用いた前記画像処理パラメータに基づいて、前記処理対象画像の画像処理を行うことを特徴とする請求項1に記載の画像処理装置。
  3. 前記設定手段は、前記比率が変更されて指定されるごとに、当該比率の変更に応じて前記画像処理パラメータの設定を行い、
    前記画像処理手段は、前記設定手段で前記画像処理パラメータの設定が行われるごとに、当該画像処理パラメータに応じて前記新たなサンプル画像を生成し、
    前記表示制御手段は、前記画像処理手段で前記新たなサンプル画像が生成されるごとに、当該新たなサンプル画像を前記表示部に表示する制御を更に行うことを特徴とする請求項2に記載の画像処理装置。
  4. 前記画像処理パラメータには、相互に独立でない複数の処理パラメータが設けられており、
    前記設定手段は、指定された前記比率に基づいて、前記複数の処理パラメータの中から選択された1つの処理パラメータを設定し、当該1つの処理パラメータとの対応関係に応じて前記複数の処理パラメータにおける他の処理パラメータを設定して、前記画像処理パラメータを設定することを特徴とする請求項1に記載の画像処理装置。
  5. 前記サンプル画像には、当該サンプル画像を撮影した際の撮影条件が関連付けられており、
    前記設定手段は、指定された前記比率に基づいて、前記画像処理パラメータの設定に加えて、前記処理対象画像を撮影する際の撮影条件の設定を更に行うものであり、
    前記設定手段で設定された撮影条件に基づいて、前記処理対象画像における撮影の制御を行う撮影制御手段を更に有することを特徴とする請求項1に記載の画像処理装置。
  6. 前記設定手段は、指定された前記比率に基づいて、前記複数のサンプル画像におけるそれぞれの画像処理パラメータを用いて、前記画像処理パラメータの設定を行うことを特徴とする請求項1に記載の画像処理装置。
  7. 前記処理対象画像および前記サンプル画像は、X線を用いた撮影により得られるX線画像であり、
    前記設定手段は、前記画像処理パラメータの設定を行う際に、前記X線画像における特定の位置の濃度を一定とすることの制約、及び、前記X線画像のコントラストを所定の閾値以上とする制約のうち、少なくともいずれか一方を満たすことを特徴とする請求項1に記載の画像処理装置。
  8. 前記表示部に表示された前記複数のサンプル画像の中から、複数の選択サンプル画像を選択する処理を行う画像選択処理手段を更に有し、
    前記設定手段は、指定された前記選択サンプル画像における前記比率に基づいて、前記画像処理パラメータを設定することを特徴とする請求項1に記載の画像処理装置。
  9. 処理対象画像に対して画像処理を行う画像処理方法であって、
    前記画像処理を行う際に用いられる複数の画像処理パラメータを変化させて生成された複数のサンプル画像を表示部に表示する制御を行う表示制御ステップと、
    前記表示部に前記複数のサンプル画像の表示がなされた後に、操作者からの指定に応じた各サンプル画像における比率に基づいて、前記複数の画像処理パラメータを補間して、前記処理対象画像の画像処理を行う際の前記画像処理パラメータを設定する設定ステップと、
    前記設定ステップで設定された画像処理パラメータに基づいて、前記処理対象画像の画像処理を行う画像処理ステップと
    を有することを特徴とする画像処理方法。
JP2013077667A 2013-04-03 2013-04-03 画像処理装置及び画像処理方法 Active JP5677496B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013077667A JP5677496B2 (ja) 2013-04-03 2013-04-03 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013077667A JP5677496B2 (ja) 2013-04-03 2013-04-03 画像処理装置及び画像処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008126444A Division JP5241316B2 (ja) 2008-05-13 2008-05-13 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2013138913A JP2013138913A (ja) 2013-07-18
JP5677496B2 true JP5677496B2 (ja) 2015-02-25

Family

ID=49036904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013077667A Active JP5677496B2 (ja) 2013-04-03 2013-04-03 画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JP5677496B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6146907B2 (ja) 2013-09-30 2017-06-14 富士フイルム株式会社 画像処理装置および方法
JP6504240B2 (ja) * 2017-12-21 2019-04-24 株式会社ニコン 電子機器、画像処理方法、および画像処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4659933B2 (ja) * 1997-11-28 2011-03-30 株式会社東芝 医用画像撮影装置
JP4768907B2 (ja) * 2000-09-22 2011-09-07 株式会社東芝 磁気共鳴イメージング装置および記憶媒体
JP4631206B2 (ja) * 2001-04-27 2011-02-16 コニカミノルタホールディングス株式会社 医用画像表示方法、医用画像表示装置、医用画像表示プログラム、および記録媒体
JP2004016612A (ja) * 2002-06-19 2004-01-22 Toshiba Corp 超音波診断装置
JP2007293582A (ja) * 2006-04-25 2007-11-08 Dainippon Screen Mfg Co Ltd 画像処理装置、画像処理装置における画像処理条件の設定方法、およびプログラム

Also Published As

Publication number Publication date
JP2013138913A (ja) 2013-07-18

Similar Documents

Publication Publication Date Title
JP5241316B2 (ja) 画像処理装置及び画像処理方法
JP5665393B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR20130069506A (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 판독 가능 저장 매체
JP2011152280A (ja) 放射線撮影装置、その制御方法及びプログラム
US11010960B2 (en) Method for enhanced display of image slices from 3-D volume image
JP6381198B2 (ja) 制御装置、制御方法及びプログラム
JP5677496B2 (ja) 画像処理装置及び画像処理方法
JP6083990B2 (ja) 放射線撮影装置、その制御方法及びプログラム
JP5978432B1 (ja) 医用画像処理装置及び医用画像処理方法
JP2008073515A (ja) X線画像システム
JP5402576B2 (ja) X線撮影装置およびx線撮影方法
EP4123572A2 (en) An apparatus and a method for x-ray image restoration
JPWO2007066506A1 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP2004358245A (ja) ディジタルx線像の画像処理方法及び装置
JP2004243130A (ja) 3次元被検体の再構成を求める方法
US9959614B2 (en) Image processing device and method
JP5972347B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2010075555A (ja) X線画像診断装置
JP4184965B2 (ja) Crモザイクイメージコンポジションにおける強度補正の方法および装置
JP2008200273A (ja) デジタル断層撮影の結像処理装置並びに結像処理方法及び結像画像の表示方法
JP5127221B2 (ja) X線透視撮影装置
JP5955422B2 (ja) 放射線撮影装置、その制御方法及びプログラム
JP2011030753A (ja) 画像処理装置及び画像処理方法
EP3420905A1 (en) Image contrast enhancement of an x-ray image
JP2022090165A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140620

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141226

R151 Written notification of patent or utility model registration

Ref document number: 5677496

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151