JP7270331B2 - 医用画像診断装置及び画像処理装置 - Google Patents

医用画像診断装置及び画像処理装置 Download PDF

Info

Publication number
JP7270331B2
JP7270331B2 JP2017118117A JP2017118117A JP7270331B2 JP 7270331 B2 JP7270331 B2 JP 7270331B2 JP 2017118117 A JP2017118117 A JP 2017118117A JP 2017118117 A JP2017118117 A JP 2017118117A JP 7270331 B2 JP7270331 B2 JP 7270331B2
Authority
JP
Japan
Prior art keywords
volume data
template
alignment
movement amount
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017118117A
Other languages
English (en)
Other versions
JP2019000403A (ja
Inventor
昌史 野辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2017118117A priority Critical patent/JP7270331B2/ja
Publication of JP2019000403A publication Critical patent/JP2019000403A/ja
Application granted granted Critical
Publication of JP7270331B2 publication Critical patent/JP7270331B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、医用画像診断装置及び画像処理装置に関する。
種々の医用画像診断装置(モダリティ;例えば、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging;磁気共鳴イメージング装置)、XR(X-Ray;X線診断装置)及び超音波診断装置)によって取得された画像は、現在の医療にとって中心的な役割を果たしている。例えば医用画像診断装置によりボリュームデータを生成し、医療従事者に提供することが可能となってきている。また複数のボリュームデータを、ブロックマッチング(例えば、引用文献1)等の位置合わせ手法により位置合わせすることも行われている。
特開2014-14659号公報
本実施形態は、異なるモダリティで撮像された複数の画像データや異なる時間に撮像された複数の画像データに基づき、効率的にこれらの画像データの位置合わせを行うことができる医用画像診断装置及び画像処理装置を提供することである。
上記課題を解決するため、実施形態の医用画像診断装置は、データ取得部、設定部及び位置調整部を備える。データ取得部は、被検体内の3次元領域を対象とする第1のボリュームデータと第2のボリュームデータとを取得する。設定部は、少なくとも第1のボリュームデータに基づく画像に対する操作入力に従って位置合わせ対象とする対象部位を設定する。位置調整部は、対象部位に基づき、複数点の空間座標とボクセル値とを含む位置合わせ用のテンプレートを作成する。また位置調整部は、当該テンプレートに基づき第2のボリュームデータにおけるテンプレートに対応する照合領域を求める。また位置調整部は、テンプレートと照合領域とに基づいて、第1のボリュームデータと第2のボリュームデータとの位置合わせを行う。また、対象部位は管状構造物に相当するボクセルであり、テンプレートは管状構造物の芯線を含む。また、設定部は、第1のボリュームデータに基づき生成されたMIP画像に対する操作入力に従って対象部位を設定する。また、位置調整部は、第1のボリュームデータに設定された対象部位の位置と照合領域とに基づいて、第1のボリュームデータと第2のボリュームデータとの位置合わせを行うための位置合わせ移動量を求め、求めた位置合わせ移動量が一意に決まる場合、求めた移動量に基づいて、第1のボリュームデータと第2のボリュームデータとの位置合わせを行い、求めた位置合わせ移動量が一意に決まらない場合、テンプレートを、第1のボリュームデータにおけるテンプレートのボクセルを連続的に拡張することにより領域拡張を行って作成し、照合領域を、第2のボリュームデータにおける照合領域のボクセルを連続的に拡張することにより領域拡張を行って作成し、作成されたテンプレートと照合領域との位置合わせにおいて、両者の重畳領域が最大となるようにテンプレートの相対位置を求め、求めたテンプレートの相対位置に基づいて、位置合わせ移動量の複数の候補から、最適な移動量を選択し、選択した移動量に基づいて、第1のボリュームデータと第2のボリュームデータとの位置合わせを行う
第1実施形態に係る医用画像診断装置の構成例を示す概略ブロック図。 第1実施形態に係るテンプレート生成過程の説明図。 第1実施形態に係るテンプレート生成過程の説明図。 第1実施形態に係るテンプレート生成過程の説明図。 第1実施形態に係る照合領域生成過程の説明図。 第1実施形態に係る位置合わせ過程の説明図。 第1実施形態に係る位置合わせ過程の説明図。 第1実施形態に係る位置合わせ過程の説明図。 第1実施形態に係る位置合わせ過程の説明図。 第1実施形態に係る位置合わせ過程の説明図。 第1実施形態に係る位置合わせ過程の説明図。 第1実施形態に係る位置合わせ過程の説明図。 第1実施形態に係る位置合わせ過程の説明図。 第1実施形態に係る位置合わせ過程の説明図。 第1実施形態に係る医用画像診断装置の動作例を説明するフローチャート。 第1実施形態に係る医用画像診断装置の動作例を説明するフローチャート。 第1実施形態に係る医用画像診断装置の動作例を説明するフローチャート。 第1実施形態に係る医用画像診断装置の位置合わせ結果の説明図。 第2実施形態に係る医用画像診断装置を示す概略ブロック図。 第2実施形態に係るテンプレート生成過程の説明図。 第2実施形態に係るテンプレート生成過程の説明図。 第2実施形態に係る位置合わせ過程の説明図。 第2実施形態に係る位置合わせ過程の説明図。 第2実施形態に係る位置合わせ過程の説明図。 第2実施形態に係る医用画像診断装置の動作例を説明するフローチャート。 第2実施形態に係る医用画像診断装置の動作例を説明するフローチャート。 第2実施形態に係る医用画像診断装置の動作例を説明するフローチャート。 第2実施形態に係る医用画像診断装置の位置合わせ結果の説明図。
<第1実施形態>
まず本実施形態の一例の概略を説明し、その後、本実施形態の具体的内容について図面を参照しながら詳細に説明する。本実施形態では、3種の位置合わせ手法を適宜段階的に追加することにより、異なるタイミングで取得された第1のボリュームデータと第2のボリュームデータとを相対的に移動してこれらの位置合わせを行う。
第1段階として2つのボリュームデータにおいて対応する領域の関係(類似度、相関等)に基づいて位置合わせを行う。その上で、第2段階として位置合わせ用のテンプレートをマニュアル操作で一方のボリュームデータに設定して他方のボリュームデータとの位置合わせを行う。更に追加して位置合わせが必要であれば、第3段階として、テンプレートの周辺の関連するボクセルを用いる。なお、以下において説明の便宜上、第1のボリュームデータを「ボリュームデータV1」とし、第2のボリュームデータを「ボリュームデータV2」として説明する(各ボリュームデータの図示は省略する。)。
そして、ボリュームデータV1における位置合わせ前の座標点と位置合わせ後の座標点の相対的な変位を、例えば一つの変換行列で表現し、位置合わせ変換行列を求める。ボリュームデータV1を構成する全座標点に対し、この位置合わせ変換行列を作用させ、ボリュームデータV1を位置合わせ変換した後のボリュームデータV15とボリュームデータV2とを表示する。
なお、以下の説明におけるボリュームデータは、X線CT装置、X線診断装置、超音波診断装置、MRI等のいずれの医用画像診断装置によるものであってもよく、位置合わせ対象のボリュームデータが、それぞれ同種の医用画像診断装置によって生成されたものでなくてもよい。また、X線診断装置の場合であって、取得した医用画像からボリュームデータを再構成する際には、複数の方向から撮影することでボリュームデータを再構成する手法を用いる必要がある。
また本実施形態では、位置合わせ変換行列の一例として、3次元アフィン変換行列(ボリュームデータの、回転・並進・拡大縮小・せん断変形を含む)を採用しても良い。また、「画像」と「画像データ」とは一対一に対応するので、以下の説明においては同一視することがある。また、複数のボリュームデータとは、解剖学的に同一の部位を含むものとする。
[構成]
図1により、本実施形態の医用画像診断装置10の構成を説明する。医用画像診断装置10は、記憶回路101、ディスプレイ102、入力回路103、データ取得回路104及びデータ処理回路105を備え、ネットワークN1に接続される。
ネットワークN1の通信プロトコル(通信手順)として、例えば、公知技術であるTCP/IP通信、更に医療用通信規格であるDICOM(DigitalImagingandCommunicationinMedicine)通信を利用できる。
(記憶回路)
記憶回路101は、入力回路103、データ取得回路104及びデータ処理回路105等からの出力を記憶する。例えば記憶回路101は、データ取得回路104(後述)から送信されたボリュームデータを記憶することができる。また、記憶回路101に、ボリュームデータを予め記憶しておくことも可能である。更に、記憶回路101は、ネットワークN1からの各種入力データを記憶することができる。このような記憶回路101としては、例えば主記憶装置としてのダイナミックRAM或いはスタティックRAMで構成されてもよく、或いは、補助記憶装置としての内蔵ハードディスクを含んでもよい。
(ディスプレイ)
ディスプレイ102は、記憶回路101に記憶されたボリュームデータに基づく投影画像や断層画像、データ処理回路105(後述)によって新たに処理された合成画像及び処理用パラメータ等のテキストデータを表示できる。ディスプレイ102は、データ処理回路105の出力を表示することもできる。ディスプレイ102は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等の表示デバイスである。また、ディスプレイ102は、その全面或いは一部を入力回路103(後述)と兼用したタッチパネルとして構成されてもよい。
(入力回路)
入力回路103はデータ処理回路105等に接続されており、操作者から受け取った入力操作を電気信号へ変換し、データ処理回路105等へと出力する。また、入力回路103は、記憶回路101及びデータ取得回路104等に接続されてもよく、同様に操作者からの入力を受付け、それらを入力に応じた回路へ送信する。
例えば、入力回路103により、データ取得回路104及びデータ処理回路105によって行われるデータ処理に用いるパラメータ設定等を入力できる。またユーザは、入力回路103を介し、複数のボリュームデータに対して基準位置の入力(詳細は後述)を行うことができる。データ処理回路105は、入力回路103からの入力に基づき、ボリュームデータ同士を相対的に移動させ、位置合わせを行うことができる。
入力回路103は、例えば、トラックボール、スイッチボタン、マウス、キーボード等の少なくとも1つによって構成される。なお、ディスプレイ102の全面或いは一部がタッチパネルとして構成される場合、当該タッチパネルは入力回路103としても機能する。
(データ取得回路)
データ取得回路104は、ネットワークN1と接続され、ネットワークN1を介したデータの入出力を制御するプロセッサである。データ取得回路104は、記憶回路101及びデータ処理回路105等に接続される。また、データ取得回路104は、ネットワークN1に接続された、他の医用画像診断装置や画像処理装置の記憶媒体、又はネットワークストレージ等から複数のボリュームデータを取得し、記憶回路101に記憶させることができる。また、データ取得回路104は、入力回路103に対する操作入力に応じて、記憶回路101に記憶された、例えば、被検体内の3次元領域を対象とするボリュームデータから複数のボリュームデータを取得し、データ処理回路105に送信する。
更に、データ取得回路104は、入力回路103に対する操作入力に応じて、記憶回路101に記憶されたボリュームデータに基づく画像(例えば、ボリュームレンダリング画像)をディスプレイ102に表示させることができる。
(データ処理回路)
データ処理回路105は、記憶回路101、ディスプレイ102、入力回路103及びデータ取得回路104に接続され、これらから出力されたデータを処理し、或いは制御するプロセッサである。また、データ処理回路105は、データ取得回路104から送信された複数のボリュームデータ(本実施形態では、ボリュームデータV1,V2)間の解剖学的に同一に見なせる部位が整合するように位置合わせを行う。なお、整合とは、双方の代表値の差が許容範囲に収まっている状態とする。
またデータ処理回路105は、例えば位置合わせされたボリュームデータに基づく画像(合成画像等)をディスプレイ102に表示させる。また、データ処理回路105は、合成画像等を記憶回路101に記憶させる。
データ処理回路105は、3種の位置合わせ手法を適宜段階的に追加することによって、ボリュームデータV1とボリュームデータV2との位置合わせを行う。第1段階では公知の位置合わせ法(本実施形態では、一例として、ブロックマッチング法を適用する。)により位置合わせを行い、所定の評価基準に基づいて位置合わせの程度を評価する。なお、ブロックマッチング法と「所定の評価基準」については、後述する。そして、第1段階の位置合わせ結果が所定の評価基準に満たない場合は、第2段階の位置合わせを行う。更に、第2段階の位置合わせによる移動量(以下、「位置合わせ移動量」という。)が一意に決まらなければ、第3段階の位置合わせを行う。
[位置合わせ処理]
次に、図2~図18を適宜用いて、本実施形態のデータ処理回路105による位置合わせ処理について説明する。
(第1段階の位置合わせ)
第1段階は、公知の位置合わせ手法を使い、ボリュームデータV1及びボリュームデータV2との間で位置合わせを行う。第1段階の位置合わせで採用する、公知技術としてのブロックマッチング法の一例を説明する。
まず、データ処理回路105は、2つのボリュームデータ(V1,V2)の各々から任意の断面又は投影像である画像データを、1つずつ生成する。またデータ処理回路105は、生成した2つの画像データのうち、一方の画像データの一部(或いは全部)を参照ブロックとし、他方の画像データの一部(或いは全部)を被参照ブロック(参照ブロックと同形、同サイズ)とする。さらにデータ処理回路105は、参照ブロックを他方の画像データ上で2次元方向に1画素単位毎に移動する度に、参照ブロックと新たな被参照ブロックとの重なり部分の画像間類似度を計算する。このようなブロックマッチング法においては、一般に、参照ブロックと被参照ブロックとの画像類似度が最大となる参照ブロックの移動量を求める。
《ユーザによる処理継続の判定》
この時点でデータ処理回路105は、ディスプレイ102に表示された両画像データに基づき、第1段階の位置合わせによって位置合わせ処理を完了させるか、継続して第2段階の位置合わせ処理を行うかユーザに選択を促す処理を行う。例えば、データ処理回路105は、記憶回路101から位置合わせ処理の継続を選択するための画面データを読み出す。データ処理回路105は、位置合わせ結果(例えばボリュームデータV1,V2の合成画像等)とともに、読み出した画面データを基に位置合わせ処理を継続するか否かについてユーザに選択を促す表示処理を行う。その結果、ディスプレイ102には、合成画像等と処理完了の有無をユーザに問うメッセージ表示等がなされる。ユーザは、入力回路103等により、処理継続の有無を入力することができ、データ処理回路105は入力結果に応じて継続して以下の処理を行うか、或いは、位置合わせ処理を完了させるか判断する。
《処理継続の自動判定》
これに対し、第2段階の位置合わせ処理への移行については、データ処理回路105が自動判定を行う構成であってもよい。その場合、例えばデータ処理回路105は画像間類似度を求め、求めた結果に応じて継続して第2段階の位置合わせ処理を行うかの判定を行う。
画像間類似度の計算方法として、例えば、対応する画素間の輝度値の差の2乗値を全画素に対し合計するSSD法、対応する画素間の輝度値の差の絶対値を全画素に対し合計するSAD法或いは両ブロックを構成する画素間の輝度値同士の相互相関を正規化した正規化相互相関法等の、公知の手法を用いればよい。また、比較する2つのボリュームデータが異なるモダリティによって得られた場合は、2つのボリュームデータを構成する値(例えば、輝度値)の分布が、異なることがある。その場合は、輝度値自体を比較するSSD法、SAD法などを適用するのではなく、輝度値の分布同士を比較する相互相関を利用する手法(例えば、正規化相互相関法等)を適用すればよい。
データ処理回路105は、求めた画像間類似度が所定値を超えるかどうか判断し、超えると判断した場合は継続して第2段階の位置合わせ処理に移行する。この所定値は、あらかじめ記憶回路101等の記憶手段に記憶されており、データ処理回路105はこの所定値を読み出して求められた画像間類似度と比較する。一方、画像間類似度が所定値を超えないと判断された場合、データ処理回路105は位置合わせ処理を終了する。このとき、データ処理回路105は、位置合わせ前後の、対応するボクセルの座標値を使って現時点での移動量(相対位置)に基づき、その位置合わせによる変換行列を求める。そして当該求めた変換行列をボリュームデータV1を構成する全点に作用させ、新たなボリュームデータとする。さらに新たなボリュームデータとボリュームデータV2との合成画像を表示してもよい(この画像の表示に関しては後述する。)。
なお、画像間類似度が所定値を超えないと判断した場合には、データ処理回路105が第1段階の位置合わせ処理を終了させると記載したが、画像間類似度が所定値を超えない場合であっても、データ処理回路105が自動的に処理を終了させることなく、例えば、第1段階の位置合わせ処理から第2段階の位置合わせ処理に移行するか否かをユーザが選択可能とする表示処理(上記と同様)を行ってもよい。
(第2段階の位置合わせ)
次に、第2段階の位置合わせ手法について図2~図4を参照して説明する。なお、第2段階及び第3段階の位置合わせ手法は、3次元空間内での位置合わせである。図2~図4は、3次元空間内(例えば、XYZ直交座標系)での位置合わせを同一な2次元平面(例えば、XY平面)に投影した概念図である。
《テンプレートの作成》
第1段階の位置合わせの結果に基づく第2段階の位置合わせへの移行の指示にしたがい、データ処理回路105が第2段階の位置合わせ処理を開始する。第2段階の位置合わせ処理では、ユーザによる画像上の領域指定に基づき、ボリュームデータの位置合わせ用のテンプレートが作成される。このテンプレートについては後述し、まず、ユーザによる画像上の領域指定について説明する。
第2段階の位置合わせ処理が開始されると、データ処理回路105は、ボリュームデータV1に基づく医用画像(テンプレート設定用画像)をディスプレイ102に表示させる。この画像は、例えば新たに生成される3次元投影画像でもよく、あるいは第1段階の位置合わせ処理で利用された画像であってもよい。なお、図2には3次元投影画像Pr11の概略が示されており、例えばこれは最大値投影処理により生成されたMIP画像である。以下、表示される医用画像を3次元投影画像Pr11として説明する。
このディスプレイ102に表示された3次元投影画像Pr11に対し、ユーザが入力回路103等により領域指定を行う。この領域指定は、後述の第2段階の位置合わせ処理に利用されるテンプレートを作成するために行われる。指定される領域は位置合わせに利用されるものであるため、例えば3次元投影画像Pr11に示される特徴的な領域となる。一例として図2における管状領域Du11が挙げられる。
なお領域指定の方法は任意の方法でよいが、一例として位置合わせ対象のボリュームデータ双方において特徴部位として血管等の管状領域が含まれる場合は、図2の符号Du11に示すように、ユーザが入力回路103を用いて管状領域に沿ってなぞるように線状に領域指定する方法が採られる。この処理において、入力回路103としてマウスやトラックボールのようなポインティングデバイスが用いられてもよく、或いはディスプレイ102と入力回路103とが一体となったタッチパネル等であれば、ユーザはタッチペンや手指等により領域指定を行う。
また、領域指定の方法は上述したような管状領域に沿ってなぞるように線状に指定するのではなく、矩形等を用いて管状領域、或いは、当該管状領域を含む領域を指定する方法であってもよい。またデータ処理回路105は、ボリュームデータの付帯情報における撮影部位を参照し、撮影部位ごとにボリュームデータに含まれる特徴部位に応じて領域指定の方法を変更するように構成されていてもよい。この場合、記憶回路101等にあらかじめ撮影部位ごとに推奨される領域指定の方法が記憶されており、データ処理回路105により、当該方法が適宜読み出されて領域指定方法として設定される。またデータ処理回路105は、領域指定の方法をユーザに対し、文字表示あるいは音声出力によりガイドしてもよい。
次に、テンプレートの作成について説明する。データ処理回路105は、管状領域Du11を目安として、管状領域Du11を含む領域から芯線Co11を生成する。そのために、データ処理回路105は、3次元投影画像Pr11から、指定された管状領域Du11を含み且つ所定の範囲のボクセル値を持つ領域を閾値内領域Th11として生成する。データ処理回路105は、閾値内領域Th11内で、ボクセル値を段階的に変えながら、閾値内領域Th11をディスプレイ102に表示する(図3参照)。
さらにデータ処理回路105は管状領域Du11に対して細線化処理を施すことにより芯線Co11を抽出する(図4参照)。或いは、データ処理回路105が芯線となる候補を複数作成してディスプレイ102に選択可能に表示させる構成であってもよい。この場合ユーザが入力回路103によって、ディスプレイ102に表示された複数の線状構造(芯線の候補)から1つを選択することにより、データ処理回路105が芯線Co11を特定してもよい。
このようにして芯線Co11が抽出、或いは、特定された後、データ処理回路105は、芯線Co11の特徴量として、芯線Co11を構成する複数点の空間座標とボクセル値とを、テンプレートとして記憶回路101に記憶させる。
《照合領域の作成》
データ処理回路105は、ディスプレイ102に表示されたボリュームデータV2の3次元投影画像Pr2から、照合領域として、管状領域Du11の芯線Co11に対応する管状領域の芯線Co2を生成する(図5)。その際、芯線Co11を求めた過程と同様な過程を行ってもよい。
また、データ処理回路105は、データ処理回路105は、芯線Co11の持つボクセル値及び形状と近似したボクセル値分布を芯線Co2とみなしても良い。すなわち、記憶回路101には、上記したテンプレートとして芯線Co11を構成するボクセル値が記憶されている。データ処理回路105は当該テンプレートを読み出し、第1段階の位置合わせにより特定されたボリュームデータV2の領域から、当該読み出したテンプレートの形状に近似する対応領域(例えば特徴領域点)を探索する。
なお、異なるモダリティ、或いは、異なる検査時期に撮像した場合、3次元投影画像Pr11において芯線Co11を構成するボクセルのボクセル値は、3次元投影画像Pr2において芯線Co2を構成するボクセルのボクセル値とは対応しないことがある。その場合、データ処理回路105は、芯線Co11(テンプレート)の持つボクセル値と近似したボクセル値分布を芯線Co2とみなすのではなく、芯線Co11の持つボクセル値分布パターンと類似したパターンを探す(例えば、相互相関を利用する)手法により、芯線Co2を検出してもよい。
つまり、上記した3次元投影画像Pr2におけるテンプレートの対応領域(芯線Co2)の探索は、両画像が備えるボクセル値の範囲が同様とみなせる場合(例えば、同じモダリティで同じ検査回において撮像された画像)において行われるものである。この場合は、上記の通り芯線Co11のボクセル値の分布を基準に芯線Co2を生成する。
また、芯線Co2を生成する手法として、既存の血管等の特徴部位生成法を採用してもよい。例えば、ボリュームデータV2の2次元投影画像から濃淡情報の隆線を検出し血管等の境界線を推定する手法、モルフォロジーフィルタをボリュームデータV2に適用する血管生成手法等、様々な公知の手法が適用できる。また、それらの手法を適宜組み合わせてもよい。
このようにして芯線Co2が特定された後、データ処理回路105は、芯線Co2の特徴量として、芯線Co2を構成する複数点の空間座標とボクセル値とを、照合領域として記憶回路101に記憶させる。
《テンプレートと照合領域による位置合わせ処理》
上記芯線生成過程により、芯線Co11(テンプレート)と芯線Co2(照合領域)とを構成する空間座標点とそのボクセル値とが各々記憶回路101に記憶されている。その上で、第2段階の位置合わせとして、データ処理回路105は、芯線Co11と芯線Co2との位置合わせを行う。具体的には、例えば、二芯線間の最短距離が定義され、最短距離を与えるボリュームデータV1のボリュームデータV2に対する位置合わせ移動量D11が求められる。以下、二芯線間の最短距離の定義等について一例を説明する。
3次元空間内の2曲線である、ボリュームデータV1から生成した芯線Co11とボリュームデータV2から生成した芯線Co2とが最短距離にある事に関し、説明する。まず、芯線Co11と芯線Co2との距離を二芯線間距離Fとする(図6参照)。二芯線間距離Fは、様々な定義が可能である。例えば、芯線Co11を構成するボクセル全点の座標の平均値をとり芯線Co11の代表点(重心)とする。また、芯線Co2を構成するボクセル全点の座標の平均値をとり芯線Co2の代表点(重心)とする。二芯線間距離Fは、例えば、芯線Co11の代表点と芯線Co2の代表点との距離、と定義してもよい。この場合の二芯線間距離Fの算出方法に関しては、様々な公知の数学的手法を適用すればよい。そして、二芯線間距離Fが最小とは、例えば、芯線Co11の代表点から芯線Co2の代表点への距離が最小となると、定義すればよい。
次に、図7を参照して、二芯線間距離Fが最小となる位置合わせ移動量D11を求める手法の一例を説明する。二芯線間距離Fにいずれの定義を採用しても、芯線Co11は、ボリュームデータV1の移動に伴って移動するので、その二芯線間距離Fは、位置合わせ移動量D11の関数fとなる(例えば、F=f(D11))。また、図7に示すように、二芯線間距離Fは、位置合わせ移動量D11の非線形関数となる場合がある。最適な位置合わせ移動量D11を求めることは、位置合わせ移動量D11を変えながら、非線形関数f(D11)が最小となる位置合わせ移動量D11を探すことに該当する。
本実施形態で二芯線間距離F(=f(D11))が最小となる位置合わせ移動量D11を求める最適化手法は、公知の手法である最急降下法、共役勾配法、準ニュートン法或いは勾配を利用しないモンテカルロ法等を、関数の性質、計算資源等に合わせて、適宜用いればよい。
次にデータ処理回路105は、求めた位置合わせ移動量が一意に決まるかどうか判定する。芯線Co11、芯線Co2の配置によっては、二芯線間距離Fの候補が最小となる位置合わせ移動量D11が一意に決まらず、複数現れることがある。(例えば、図7に示す移動量D12、D13及びD14、並びに図8~13)。また、二芯線間距離Fの測定に、測定限界(例えば、図7のFcrt;その値以下では二芯線間距離Fの測定値を区別できない。)がある場合、第2段階の位置合わせでは、移動量D12、D13及びD14を区別できない可能性もある。
データ処理回路105は、これら移動量D12、D13及びD14のいずれかをf(D11)が最小となる位置合わせ移動量D11として絞り込むことができるか(一意に決まるか)判定する。例えば、記憶回路101には、図7のFcrtのような測定限界に相当する閾値と、位置合わせ誤差(各移動量の差)の閾値とが記憶されている。データ処理回路105は、これら移動量D12、D13及びD14が測定限界の閾値を超えた場合、または位置合わせ誤差の閾値を超えた場合、複数の位置合わせ結果(図7における移動量D12、D13及びD14、並びに図8(例えば、移動量D12の場合)、図9(例えば、移動量D13の場合)、図10(例えば、移動量D14の場合))のいずれかをf(D11)が最小となる位置合わせ移動量D11として絞り込むことができない(一意に決まらない)と判定し、それ以外の場合は絞り込むことができる(一意に決まるか)と判定する。
求めた位置合わせ移動量が一意に決まる場合は、位置合わせの過程は終了する。その結果、データ処理回路105は位置合わせ結果(合成画像等)と位置合わせ誤差(例えば数値情報)とをディスプレイ102に表示させる。
一方、求めた位置合わせ移動量D11が一意に決まらない場合、データ処理回路105は、複数ある位置合わせ結果(移動後の芯線Co11と芯線Co2の重畳状態;図8~図10参照)の中から第3段階の位置合わせを行う候補を選択し、位置合わせの処理を継続するべく第3段階の位置合わせへの移行を決定する。
なお、データ処理回路105は、複数の位置合わせ結果をディスプレイ102に表示させて、その中から最適な位置合わせ結果の選択をユーザに促し、ユーザが選択すれば、位置合わせの過程は終了する構成であってもよい。さらに、データ処理回路105は、次の段階である第3段階の位置合わせに移行するかについて、ユーザの入力に応じて決定する構成であってもよい。また、入力回路103からの操作入力により、ユーザによる判定を優先させてもよい。
(第3段階の位置合わせ)
第3段階の位置合わせでは、データ処理回路105は、芯線Co11(テンプレート)だけでなく、少なくとも芯線Co11の周囲の情報も用いて位置合わせを行う。すなわち、第3段階の位置合わせでは、既に第2段階の位置合わせで得た複数の位置合わせ結果(移動量)を、一意に決める判定処理を行う。
第2段階の位置合わせでは、データ処理回路105は、閾値内領域Th11からは芯線Co11を、3次元投影画像Pr2からは芯線Co2を各々生成し、位置合わせに利用した。本実施形態の第3段階の位置合わせでは、データ処理回路105は、閾値内領域Th11から、更に、芯線Co11に近いボクセル値を備え、芯線Co11と解剖学的に同じ組織とみなせる複数の点状のボクセルを含む、スポット領域Co12を生成する。データ処理回路105は、スポット領域Co12を、位置合わせに追加利用する(図11)。一方、3次元投影画像Pr2においては、3次元投影画像Pr2において対応する領域(図3参照)を芯線Co22として、そのまま利用する。
一例として、データ処理回路105は、例えば、図12ないし図14に示すように、位置合わせに応じて芯線Co22と重なるスポット領域Co12の数により、位置合わせ移動量D11を評価する。データ処理回路105は、芯線Co22と重なるスポット領域Co12の数が多いほど、位置合わせの整合性が高いと評価する(例えば図13)。
このように、第3段階の位置合わせで、データ処理回路105は、第2段階の位置合わせ移動量の複数の候補から、最適な移動量を選択している。なお、データ処理回路105は、第2段階の位置合わせ結果の位置から、更にボリュームデータV1を移動させ、重なるスポット領域Co12の数が増加する移動量を求めてもよい。その中から、再度最適な移動量を選択してもよい。
(変換行列の算定)
3段階による位置合わせが終了後、データ処理回路105は、以下の手順で位置合わせ変換行列を求める。まず、第1段階である公知の位置合わせ手法に対応した変換行列T11を求める。次に、第2段階の位置合わせ前後の、芯線Co11を構成するボクセルの座標値を使って、データ処理回路105は、その位置合わせによる変換行列T12を求める。もし、第2段階の位置合わせ結果が複数(例えば移動量D12、D13及びD14の3通り)ある場合は、その中から第3段階で選択された移動量に対応した、変換行列T12を求める。この際、変換行列T12は、例えば、アフィン変換行列を用いてもよい。よって、位置合わせ変換行列Tf1は、Tf1=T11*T12となる。
第3段階の位置合わせで、データ処理回路105が、更にボリュームデータV1を移動させる構成の場合、データ処理回路105は、第3段階の位置合わせによる変換行列T13を、変換行列T12と同様に求める。そして、位置合わせ変換行列Tf1は、Tf1=T11*T12*T13とすればよい。また、変換行列T13は、例えば、アフィン変換行列を用いてもよい。
また、第2段階或いは第3段階の位置合わせを行わない場合は、変換行列T12またはT13を単位行列とすればよい。
更に、データ処理回路105は、ボリュームデータV1を構成する全座標点に対し、位置合わせ変換行列Tf1を適用させ、変換後のボリュームデータV15を求める。更に、変換されたボリュームデータV15と基準となったボリュームデータV2とを比較し、位置合わせの評価を行う。第3段階の位置合わせは本実施形態の最終段階の位置合わせであり、ユーザに提供する結果となるものである。したがって、データ処理回路105は、ディスプレイ102にボリュームデータV15、ボリュームデータV2を重畳表示し、ユーザに整合性の判断を任せてもよい。或いは、データ処理回路105は、本実施形態の第2段階の位置合わせ評価と同様に、両ボリュームデータV15,V2の距離を定義して整合性の評価を行ってもよい。その際、評価結果をディスプレイ102に、両ボリュームデータV15,V2の重畳表示と合わせて、表示してもよい。
上述のように、二芯線間距離Fが最小となる位置合わせ移動量D11が一意に決まらず、複数現れることがあり、またその二芯線間距離Fの測定に、測定限界がある場合、移動量D12、D13及びD14を区別できない可能性もある。本実施形態は、これらの移動量D12、D13及びD14のいずれかを最適な移動量として絞り込むために、医用画像情報からの条件を付加する(第3段階の位置合わせ手法に対応する。)構成を備えている。すなわち、本実施形態は、芯線Co11の周辺から得た医用画像情報(スポット領域Co12;図11参照)及び芯線Co2の周辺から得た医用画像情報(芯線Co22;図12~図14参照)を追加し、f(D11)が最小となる位置合わせ移動量D11を探索する範囲を定め、移動量D11をより迅速且つ正確に選択できる、という構成を備えている。
また、上記処理は、負荷がかかる場合がある。本実施形態においては、この処理の条件として、予め芯線Co11及び芯線Co2の周辺から得た医用画像情報を追加する。このことは、位置合わせの精度を高めるためにも、その際の負荷を軽減する上でも、効果が期待できる。
次に、本実施形態における位置合わせ及びその変換行列について補足する。本実施形態では、第1段階の位置合わせ手法としてブロックマッチング法を適用した。この手法に限らず、様々な公知の手法を適用できる。また、第2段階、第3段階の位置合わせによる変換行列T12及びT13を求める際に、一例として、回転、並進、拡大縮小及びせん断変形を伴う画像の変換が表現可能であり、変換画像の歪み等も表現できるアフィン変換行列の適用を説明した。しかし、本実施形態の位置合わせ変換は、アフィン変換に限るものではなく、画像変換に用いられている他の公知の手法及びその組み合わせを用いることもできる。
本明細書において用いる「プロセッサ」という文言は、例えば、CPU(central Processing Unit)、GPU(Graphics Processing Unit)、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、およびフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路101に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路101にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図1における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。
本実施形態の入力回路103及びデータ処理回路105は、特許請求の範囲に記載の設定部の一例に相当する。同様に、データ取得回路104はデータ取得部の一例に相当し、データ処理回路105は位置調整部の一例に相当する。管状領域Du11は、位置合わせ対象部位の一例に相当する。また、管状領域Du11は、管状構造物の一例に相当する。ここから対象部位は、管状構造物に対応する領域である。すなわち、第1のボリュームデータ及び第2のボリュームデータは、管状構造物を含む。芯線Co11は、テンプレートの一例に相当する。芯線Co2は、照合領域の一例に相当する。すなわち照合領域は、第2のボリュームデータ中に含まれる管状構造物の領域に対応する領域である。
[動作]
第1実施形態に係る医用画像診断装置の動作例を説明するフローチャート(図15~図17)を参照し、以下に、本実施形態の位置合わせ処理を説明する。当該位置合わせ処理は、2つのボリュームデータV1,V2を取得し、ボリュームデータV1を移動させ、ボリュームデータV2に合わせる位置合わせを行い、結果を表示する。
(S1)
データ取得回路104は、2つのボリュームデータV1,V2を読み込み、データ処理回路105に送信する。これら複数ボリュームデータは、医用画像診断装置10により取得され記憶回路101に予め保存されていてもよいし、ネットワークN1を介して他の記憶装置から収集されてもよい。
(S2)
データ処理回路105は、ボリュームデータV1,V2各々から生成した2つの2次元画像に対し、公知の位置合わせ手法(ブロックマッチング法等)を適用し、第1段階の位置合わせを行う。その位置合わせによる変換行列をT11とする。位置合わせ後のボリュームデータV1をここでは改めてボリュームデータV1とする。
(S3)
データ処理回路105は、位置合わせ結果として、位置合わせに利用した2つの所定2次元断面の重畳画像と位置合わせ誤差とをディスプレイ102に表示させる。ここで、位置合わせ誤差とは、例えば、対応するブロック間の画素値の差を全てのブロックで総和した値を指す。
(S4;No)
データ処理回路105は、位置合わせ結果を判定し、位置合わせの処理を継続するかどうか判断する。その際、上述したように、予め定めた位置合わせ誤差の閾値と実際の位置合わせ誤差とを比較して、自動判定を行う。あるいは、入力回路103からの操作入力により、ユーザによる判定を優先させてもよい。データ処理回路105は、位置合わせ誤差が所定値を超えない場合、ボリュームデータV1,V2の位置合わせを終了し、結果としての重畳画像と位置合わせ誤差とをディスプレイ102に表示させる。
(S4;Yes)
データ処理回路105は、位置合わせ誤差が所定値を超える場合、位置合わせの処理を継続して第2段階の位置合わせ過程を開始する。
(S5)
データ処理回路105は、更なる位置合わせを行う2つのボリュームデータV1,V2に関し、少なくとも一方の3次元投影画像である3次元投影画像Pr11を、ディスプレイ102に表示させる(図2~図4参照)。
(S6)
ディスプレイ102に表示された3次元投影画像Pr11に対するユーザによる入力回路103への操作入力に応じて、データ処理回路105は位置合わせに利用する管状領域Du11を設定する(図2参照)。
(S7)
データ処理回路105は、3次元投影画像Pr11からボクセル値が所定の数値範囲に含まれる閾値内領域Th11を生成し、ディスプレイ102に表示させる(図3参照)。
(S8)
データ処理回路105は、入力回路103からの入力に応じて、閾値内領域Th11から芯線Co11を抽出する(図4等参照)。データ処理回路105は、併せて抽出された芯線の特徴量として、芯線を構成する複数の空間座標とボクセル値をテンプレートとして、記憶回路101に記憶させる。
(S9)
データ処理回路105は、ディスプレイ102に、抽出した芯線Co11と閾値内領域Th11とを重畳表示させる。
(S10)
データ処理回路105は、他方のボリュームデータV2に対し照合領域を生成し、閾値内領域Th11に対応する閾値内領域Th2及び芯線Co11に対応する芯線Co2を生成する(図5参照)。
(S11)
データ処理回路105は、芯線Co11と芯線Co2とが重なるように、位置合わせを行う。ボリュームデータV1を移動させ、芯線Co11と芯線Co2との二芯線間距離Fが所定の最小値以下となる3次元空間内でのボリュームデータV1の位置合わせ移動量D11を求める(図6等参照)。
(S12)
データ処理回路105は、位置合わせ結果を判定し、位置合わせの処理を継続するかどうか判断する。データ処理回路105は、位置合わせ移動量D11が1つに決まった場合は(S12;No)、ボリュームデータV1,V2の位置合わせを終了し、S18に進む。その位置合わせによる変換行列をT12とする。
データ処理回路105は、複数の移動量(例えば、移動量D12、D13及びD14;図7等参照)が得られ、その中から適切な移動量を絞り込む事ができない場合、(S12;Yes)、対応する位置合わせによる3つの変換行列を求める。データ処理回路105は、これら3つの変換行列から、最適な変換行列T2を決めるために、位置合わせの処理を継続して第3段階の位置合わせを開始する。
(S13)
ステップS12で得られた各移動量D12、D13及びD14に対応した移動後の芯線Co11と芯線Co2との重畳状態を、ディスプレイ102に、各々表示させる(図8~図10等参照)。
(S14)
データ処理回路105は、芯線Co11の周囲にあり、且つ芯線Co11のボクセル値に近い値を備え、所定の大きさを持つ複数のスポット領域Co12を指定する(図11等参照)。
(S15)
データ処理回路105は、閾値内領域Th2から芯線Co22を生成する。或いは、3次元投影画像Pr2を芯線Co22とする。
(S16)
データ処理回路105は、ステップS13終了時点での複数位置(移動量D12、D13及びD14に対応)から、芯線Co11及び複数のスポット領域Co12と、芯線22との位置合わせを行う(図12~図14等参照)。
(S17)
データ処理回路105は、各移動量D12、D13及びD14から、芯線Co22と重なる複数のスポット領域Co12の数(以下、「重畳数」という。)が最も多い場合の位置合わせの移動量を選択する。その移動量を最適な位置合わせ移動量D18とする(例えば、図7のD13)。その際、予めスポット領域Co12毎に重み付けを行い、データ処理回路105は、重畳数を集計する際にその重みを反映させてもよい。更に、データ処理回路105は、各移動量D12、D13及びD14に対応する位置から、移動を伴う位置合わせを行い、重畳数が最大となる、最適な位置合わせ移動量D18を選択してもよい。
(S18)
データ処理回路105は、移動量D18で移動させた芯線Co11と芯線Co2とを重畳した重畳画像と、その場合の位置合わせ誤差とをディスプレイ102に表示させる(図18)。
(S19)
データ処理回路105は、位置合わせによるボリュームデータV1の空間移動を3次元アフィン変換で表現し、位置合わせ前後のボリュームデータV1を構成する各ボリュームの座標から、3次元アフィン変換行列T12を求める。
(S20)
データ処理回路105は、3次元アフィン変換行列T12と公知手法に基づく変換行列T11とから、位置合わせ変換行列Tf1=T11*T12を求める。或いは、第3段階の位置合わせで、更に移動を伴う位置合わせを行い、最適な移動量を選択した場合は、データ処理回路105は、その変換行列T13から、位置合わせ変換行列Tf1=T11*T12*T13を求めてもよい。
(S21)
データ処理回路105は、変換行列Tf1をボリュームデータV1を構成する全点に適用させ、新たなボリュームデータV15を求める。
(S22)
データ処理回路105は、ボリュームデータV2の3次元投影画像Pr2と、ボリュームデータV15の3次元投影画像Pr15とを、重畳表示する。
(マニュアルモード)
なお、上記位置合わせ結果の表示ステップ(S3、S13、S18及びS22)において、データ処理回路105は、入力回路103からの操作入力により、位置合わせ移動量(D11、D12、D13、D14及びD18)を修正できる構成としてもよい。その結果、上記表示ステップにおいて、データ処理回路105は、入力回路103からの操作入力により、位置合わせを更に変更できる構成としてもよい。
[効果]
本実施形態に示した構成、処理を行うことにより、異なるモダリティで撮像された(ボクセル値の分布範囲が異なる)複数の画像や異なる時間に撮像された複数の画像との間で、正しく位置合わせができる。更に、画像間の位置合わせを行う時間を短縮し、位置合わせの精度を改善することができる。また、本実施形態は、位置合わせの対象となる部位を選択して位置合わせができるので、ボリュームデータにノイズ、一部欠損或いは3次元投影画像に歪みがある場所等、画像全体のマッチングでは位置合わせが正常に行えない場合であっても、それらを避けて位置合わせを行うことができる。また、本実施形態は、2つのボリュームデータに共通した注目領域を整合させることで、両ボリュームデータが別々にカバーする2つの領域を1つの領域として合成することができる。よって、本実施形態は、より広範囲の領域から複数の医用情報を生成することができる。
<第2実施形態>
第1実施形態では、第1段階の位置合わせとして、ボリュームデータV1に公知の位置合わせ手法を適用し、ボリュームデータV1求め、その3次元投影画像Pr11とした。更に、3次元投影画像Pr11とボリュームデータV2の3次元投影画像Pr2とに対し、第2段階、第3段階の位置合わせを実施した。特に、第3段階の位置合わせでは、第2段階の位置合わせ結果位置で3次元投影画像Pr11からスポット領域Co12を生成し、芯線Co22(3次元投影画像Pr2)と位置合わせを行った。そして、芯線Co22に重なるスポット領域Co12の数を基準として、第2段階の位置合わせ結果の評価を行った。
本実施形態では、第1実施形態と同様に、まず2つのボリュームデータである第1のボリュームデータ(以下、適宜「ボリュームデータV3」と表わす。)、及び第2のボリュームデータ(以下、適宜「ボリュームデータV4」と表わす。)を取得する。次にボリュームデータV3に、第1段階の位置合わせとして、公知の位置合わせ手法を適用し、ボリュームデータV31を得る。ボリュームデータV31の3次元投影画像Pr31とボリュームデータV4の3次元投影画像Pr4とに対し、第2段階、第3段階の位置合わせを実施する。なお、本実施形態における第3段階の位置合わせは、第1実施形態と同様に、第2段階の位置合わせ結果の評価を行うことである。
第1実施形態と本実施形態との差異は、第3段階の位置合わせ方法にある。本実施形態の第3段階の位置合わせ方法は、まず、既存の血管生成手法等によりボリュームデータV31に基づき生成された芯線Co31を連続的に延長、或いは、当該芯線Co31に新たな小芯線Co32を追加し、新たな芯線Co33を作成する方法である(図20)。同様にボリュームデータV4に基づき生成された芯線Co4を連続的に延長、或いは、当該芯線Co4に小芯線Co42を追加した新たな芯線Co43を作成する(図21)。そして、複数ある第2段階の位置合わせ結果位置で、新たな芯線Co33と芯線Co43との重なり度合いを評価し、第2段階の位置合わせでの最適な結果を選択する。その評価は、芯線Co33と芯線Co43との重畳部分のボクセル数の多さを基準に判定する。以上のように、本実施形態は、第1実施形態と同様な構成、同様な作用を備える場合があり、共通する構成、作用については、説明を省略する場合がある。
[構成]
図19により、本実施形態の医用画像診断装置20の構成を説明する。医用画像診断装置20は、第1実施形態における医用画像診断装置10と同様な構成を備えおり、それらの詳細な説明は省略する。すなわち、医用画像診断装置20は、記憶回路201、ディスプレイ202、入力回路203、データ取得回路204及びデータ処理回路205を備え、ネットワークN2に接続される。各構成要素の果たす機能は、データ処理回路205を除いて、第1実施形態における医用画像診断装置10の各構成要素の果たす機能と同様であり、同様な機能に関して、その説明は省略する。また、ネットワークN2は、ネットワークN1と同様なネットワークである。
本実施形態のデータ処理回路205は、第1実施形態のデータ処理回路105と同様の構成を備えている。すなわち、データ処理回路205は、記憶回路201、ディスプレイ202、入力回路203及びデータ取得回路204に接続され、これらから出力されたデータを処理し、或いは制御するプロセッサである。また、データ処理回路205は、第3段階の位置合わせを実施する時点までは、データ処理回路105と同様の機能を備えている。従って、第3段階の位置合わせを実施するまでの機能に関する説明は省略する。
本実施形態においても、第2段階の位置合わせで得られた芯線Co31の移動量を、一例として3つ存在するものとして説明する。その移動量を移動量D32、D33及びD34とする(例えば、図7の移動量D12、D13及びD14に対応。)。第3段階の位置合わせの処理を行うに当たって、データ処理回路205は、まず、領域拡張法や細線化処理法等により、芯線Co31を延長或いは複数芯線に拡張する。
ここでデータ処理回路205は、第3段階の位置合わせでは、第2段階の位置合わせ処理において読み出したボクセル値の設定値を用いる。つまり設定値は、テンプレート(芯線Co31)に対応したボクセル値である。テンプレートの拡張において、データ処理回路205は当該ボクセル値の設定値と、近傍の各ボクセルのボクセル値とを対比する。その処理は概ね次の通りである。
データ処理回路205は、領域拡張により、芯線Co31の各端部から上記対比により対応する連結領域を順次取り込みながら領域拡張を行う。データ処理回路205は、領域の連結性を、開始点である各端部を中心として設定値の範囲内にあるか否かで判定する。
なお、データ処理回路205が領域拡張を行う方法は、設定値と近傍ボクセルのボクセル値とを対比する方法だけに限られない。例えば、データ処理回路205は領域拡張条件である設定値を、領域拡張処理の過程における周囲のボクセルのボクセル値の変化の状態に応じて変更することが可能である。具体的な一例として、データ処理回路205は、領域拡張の処理(探索処理)の過程において周囲のボクセルのボクセル値の変化を示す数値を求める。さらにデータ処理回路205は、求めた変化を示す数値の状態に基づき、領域拡張条件である設定値を変更する。
またデータ処理回路205は、あらかじめ設定された領域拡張ステップ数に達するまで拡張を行う。設定ステップ数を完了したと判断されると、次にデータ処理回路205は、拡張した範囲において細線化処理を行う。これによって、データ処理回路205は、拡張領域で細線化されたボクセルを芯線Co31の延長線とし、これを小芯線Co32として特定する。ただし、この細線化処理により特定される小芯線Co32は、芯線Co31の各端部と隣り合うボクセルから開始され、芯線Co31から離隔する方向に派生するものとする
さらにデータ処理回路205は、小芯線Co32と芯線Co31とを合わせた、新たな芯線Co33を求める(図20)。同様に、データ処理回路205は、ボリュームデータV4における芯線Co4とその延長或いは複数芯線に拡張した小芯線Co42とを合わせた、新たな芯線Co43を求める(図21)。データ処理回路205は、芯線Co33と芯線Co43との位置合わせを行う。
本実施形態の第3段階の位置合わせでは、データ処理回路205は、移動量D32、D33及びD34に対応する3つの位置合わせ開始位置において、位置合わせを行い(図22~図24等参照)、第2段階の位置合わせにおける移動量D32、D33及びD34を算出する。データ処理回路205は、移動量D32、D33及びD34から、最適な移動量を選択する。
なお、芯線Co31から芯線Co33へ、及び芯線Co4から芯線Co43へ、延長或いは拡張する際には、あらかじめ設定された領域拡張ステップ数でなく、延長する長さ、拡張する範囲に制限(例えば、延長距離10mmまで)を設けてもよい。この制限により、画像全体の中の限定された領域で位置合わせが可能となる。またこの制限は、画像全体の位置ずれや画像撮影時の画像の部分的な歪み等の影響を低下させ、位置合わせ精度の向上に貢献できる。
データ処理回路205は、第2段階の位置合わせ結果である移動量D32、D33及びD34に対応する各開始位置での位置合わせ結果を、以下の基準で評価する。位置合わせ結果の評価は、例えば、芯線Co33と芯線Co43とが所定の太さ(例えば、1ボクセル)を持つものとして、芯線Co33と芯線Co43との重なり部分のボクセル数の多さ(重畳領域の広さ)で評価する。すなわち、各開始位置からの位置合わせのうち、最も重なる部分のボクセル数が多い(重畳領域が最大となる)場合の位置合わせを最適な位置合わせとし、その移動量(D32、D33及びD34のうちの一つ)を最適な位置合わせ移動量D38とする。或いは、この他、重なり部分のボクセル数と芯線Co43を構成する全ボクセル数との比(含有率)等、様々な評価基準を設けて評価してもよい。
このように、本実施形態では、第3段階の位置合わせで、データ処理回路205は、第2段階の位置合わせ移動量から、最適な移動量を選択している。なお、データ処理回路205は、第2段階の位置合わせ結果の位置から、更にボリュームデータV31を移動させ、重なり部分のボクセル数が増加する移動量を求めてもよい。その中から、再度最適な移動量を選択してもよい。
[作用]
第2実施形態に係る医用画像診断装置20の動作例を説明するフローチャート(図25~図27)を参照し、以下に、本実施形態の位置合わせ処理を説明する。第3段階の位置合わせを開始する処理(ステップS31からS43)までは、第1実施形態の処理(ステップS1からS13)と共通であるので、その説明は省略する。本実施形態は、第1実施形態のステップS14に対応するステップからその作用が第1実施形態とは異なる。そのステップS44から、説明を行う。
なお、第1段階における公知の位置合わせ手法に対応した変換行列を、変換行列T21とする。
(S44)
データ処理回路205は、領域拡張法や細線化処理法等により、芯線Co31を延長或いは複数芯線に拡張した、芯線Co33を求める(例えば、図20参照)。
(S45)
データ処理回路205は、小芯線Co32の生成過程と同様に、芯線Co4を延長或いは複数芯線に拡張した、新たな芯線Co43を求める(図21参照)。
(S46)
データ処理回路205は、移動量D32、D33及びD34に対応する3つの位置合わせ開始位置から、位置合わせを実施する(図22~図24等参照)。
(S47)
データ処理回路205は、3つの位置合わせ開始位置から実施する位置合わせを、芯線Co33と芯線Co43との重なり部分のボクセル数で評価する。重なり部分のボクセル数が最大の場合(図23参照)の移動量を、最適な位置合わせ移動量D38とする。
(S48)
データ処理回路205は、芯線Co31を最適な位置合わせ移動量D38で移動させた芯線Co33と芯線Co43とを重畳した重畳画像(図23参照)と、その場合の位置合わせ誤差とをディスプレイ202に表示させる。
(S49)
データ処理回路205は、位置合わせによるボリュームデータV31の空間移動を、例えば、3次元アフィン変換で表現し、位置合わせ前後のボリュームデータV31を構成する各ボリュームの座標から、3次元アフィン変換行列T22を求める。
(S50)
データ処理回路205は、公知手法に基づく変換行列T21と3次元アフィン変換行列T22とから、位置合わせ変換行列Tf2=T21*T22を求める。
(S51)
データ処理回路205は、ボリュームデータV31を構成する全点に位置合わせ変換行列Tf2を作用させ、新たなボリュームデータV35とする。
(S52)
データ処理回路205は、ボリュームデータV35の3次元投影画像Pr35と、ボリュームデータV4の3次元投影画像Pr4とを、重畳表示する(例えば、図28参照)。
第3段階の位置合わせでデータ処理回路205が更なるボリュームデータV31の移動量を求めている場合、データ処理回路205は、第3段階の位置合わせによる変換行列T23を、変換行列T22と同様に求める。そして、データ処理回路205は、位置合わせ変換行列Tf2を、Tf2=T21*T22*T23とすればよい。また、変換行列T23は、アフィン変換行列を用いてもよい。
[効果]
本実施形態によれば、異なるモダリティで撮像された複数の画像や異なる時間に撮像された複数の画像との間で、正しく位置合わせをすることができる。更に、本実施形態に係る医用画像診断装置は、画像中からユーザが特定した領域に基づき位置合わせを行うことができるので、より正確に位置合わせが可能となる。また、本実施形態は、芯線を自動的に延長、拡大して位置合わせを行えるので、迅速に且つ広範囲の医療情報を提供することができる。
また、一般に、2つのボリュームデータ間で位置合わせをする場合、一方のボリュームデータから3点をマニュアル操作により生成して、他方のボリュームデータの対応する3点と合わせることで、位置合わせをする手法(以下、「3点位置合わせ手法」という。)が知られている。以下に、この3点位置合わせ手法と、本発明の第1及び第2実施形態とを比較して、本発明の第1及び第2実施形態が備える効果の一例を説明する。
特徴的な部位の選択に関して、3点位置合わせ手法では、ユーザは、2つのボリュームデータ間で判別可能な特徴的な3点を、双方のボリュームで見つけて特定する必要がある。その際、ユーザにとって、多くの場合、離れた特徴点を設定するため、マウスの移動量も多く、時間もかかる。また、点と特徴部位との誤差も生まれやすい。一方、本発明の第1及び第2実施形態では、2つのボリュームデータ間で判別可能な特徴的な線状領域を一箇所特定すればよい。特徴的な部位に線を引くだけなので、マウスの移動も少なく、位置合わせ結果に影響をあたえるような誤差も出にくい。
特徴的な部位選択の誤差に関して、3点位置合わせ手法では、特徴部位のどの点を特定するかによって誤差が生まれ、その誤差が位置合わせ結果に反映される可能性も否定できない。特に、画像上の特徴点(ランドマーク)を点により正確に指定するのは困難であるため、点指定により双方の画像のランドマーク同士を正確に一致させる位置合わせを行うのは、実質的に難しい。一方、本発明の第1及び第2実施形態では、ユーザのマニュアル操作により管状領域を設定し、そこから芯線を自動生成し、更に位置合わせ領域を自動拡張するので、ユーザのマニュアル操作による誤差は、自動プロセスの中で吸収される。したがって、途中にマニュアル操作があっても、位置合わせ結果にその誤差が反映されることを防いでいる。
第1実施形態及び第2実施形態において、医用画像診断装置および画像処理装置は、データ取得回路と、ディスプレイと、入力回路と、データ処理回路と、を少なくとも備える。そして、第1実施形態及び第2実施形態における医用画像診断装置および画像処理装置は、画像中からユーザが選択した特定領域を利用して位置合わせができるので、ユーザの注目する特定領域に対して、より正確かつ迅速な位置合わせを行うことが可能となる、という共通の効果がある。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の範囲を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
10 医用画像診断装置
101 記憶回路
102 ディスプレイ
103 入力回路
104 データ取得回路
105 データ処理回路
V1,V2 ボリュームデータ
Pr11 3次元投影画像
Du11 管状領域
Th11 生成領域
Co11 芯線
D11 移動量
D18 最適移動量
T11 公知の変換行列
T12 3次元アフィン変換行列
Tf1 位置合わせ変換行列

Claims (6)

  1. 被検体内の3次元領域を対象とする第1のボリュームデータと第2のボリュームデータとを取得するデータ取得部と、
    少なくとも前記第1のボリュームデータに基づく画像に対する操作入力に従って位置合わせ対象とする対象部位を設定する設定部と、
    前記対象部位に基づき、複数点の空間座標とボクセル値とを含む位置合わせ用のテンプレートを作成し、当該テンプレートに基づき前記第2のボリュームデータにおける前記テンプレートに対応する照合領域を求め、前記第1のボリュームデータに設定された前記対象部位の位置と前記照合領域とに基づいて、前記第1のボリュームデータと前記第2のボリュームデータとの位置合わせを行う位置調整部と、
    を備え、
    前記対象部位は管状構造物に相当するボクセルであり、前記テンプレートは前記管状構造物の芯線を含み、
    前記設定部は、前記第1のボリュームデータに基づき生成されたMIP画像に対する操作入力に従って前記対象部位を設定し、
    前記位置調整部は、前記第1のボリュームデータに設定された前記対象部位の位置と前記照合領域とに基づいて、前記第1のボリュームデータと前記第2のボリュームデータとの位置合わせを行うための位置合わせ移動量を求め、求めた前記位置合わせ移動量が一意に決まる場合、求めた移動量に基づいて、前記第1のボリュームデータと前記第2のボリュームデータとの位置合わせを行い、
    求めた前記位置合わせ移動量が一意に決まらない場合、前記テンプレートを、前記第1のボリュームデータにおける前記対象部位の前記テンプレートの周囲に位置する、前記テンプレートのボクセル値と近似するボクセル値を持つ複数の点状のボクセルで表わされるスポット領域を特定して作成し、
    作成された前記テンプレートと前記照合領域との位置合わせにおいて、前記スポット領域のうち、前記照合領域と重畳するボクセル数が最大となるように前記テンプレートの相対位置を求め、
    求めた前記テンプレートの相対位置に基づいて、前記位置合わせ移動量の複数の候補から、最適な移動量を選択し、
    選択した移動量に基づいて、前記第1のボリュームデータと前記第2のボリュームデータとの位置合わせを行う、
    医用画像診断装置。
  2. 被検体内の3次元領域を対象とする第1のボリュームデータと第2のボリュームデータとを取得するデータ取得部と、
    少なくとも前記第1のボリュームデータに基づく画像に対する操作入力に従って位置合わせ対象とする対象部位を設定する設定部と、
    前記対象部位に基づき、複数点の空間座標とボクセル値とを含む位置合わせ用のテンプレートを作成し、当該テンプレートに基づき前記第2のボリュームデータにおける前記テンプレートに対応する照合領域を求め、前記第1のボリュームデータに設定された前記対象部位の位置と前記照合領域とに基づいて、前記第1のボリュームデータと前記第2のボリュームデータとの位置合わせを行う位置調整部と、
    を備え、
    前記対象部位は管状構造物に相当するボクセルであり、前記テンプレートは前記管状構造物の芯線を含み、
    前記設定部は、前記第1のボリュームデータに基づき生成されたMIP画像に対する操作入力に従って前記対象部位を設定し、
    前記位置調整部は、前記第1のボリュームデータに設定された前記対象部位の位置と前記照合領域とに基づいて、前記第1のボリュームデータと前記第2のボリュームデータとの位置合わせを行うための位置合わせ移動量を求め、求めた前記位置合わせ移動量が一意に決まる場合、求めた移動量に基づいて、前記第1のボリュームデータと前記第2のボリュームデータとの位置合わせを行い、
    求めた前記位置合わせ移動量が一意に決まらない場合、前記テンプレートを、前記第1のボリュームデータにおける前記テンプレートのボクセルを連続的に拡張することにより領域拡張を行って作成し、
    前記照合領域を、前記第2のボリュームデータにおける前記照合領域のボクセルを連続的に拡張することにより領域拡張を行って作成し、
    作成された前記テンプレートと前記照合領域との位置合わせにおいて、両者の重畳領域が最大となるように前記テンプレートの相対位置を求め、
    求めた前記テンプレートの相対位置に基づいて、前記位置合わせ移動量の複数の候補から、最適な移動量を選択し、
    選択した移動量に基づいて、前記第1のボリュームデータと前記第2のボリュームデータとの位置合わせを行う、
    医用画像診断装置。
  3. 前記位置調整部は、
    前記テンプレートを、前記第1のボリュームデータにおける前記対象部位のボクセルに対し細線化処理することにより特定し、
    前記照合領域を、前記第2のボリュームデータにおけるボクセルのうち閾値に基づき特定した領域であることを特徴とする請求項1に記載の医用画像診断装置。
  4. 前記第1のボリュームデータ及び前記第2のボリュームデータは、前記管状構造物を含み、前記対象部位は前記管状構造物に対応する領域であり、前記照合領域は、前記第2のボリュームデータ中に含まれる前記管状構造物の領域に対応する領域であることを特徴とする請求項1からのいずれか1つに記載の医用画像診断装置。
  5. ボリュームデータから生成される画像を表示する表示部と、
    被検体内の3次元領域を対象とする第1のボリュームデータと第2のボリュームデータとを取得するデータ取得部と、
    少なくとも前記第1のボリュームデータに基づく画像に対する操作入力に従って位置合わせ対象とする対象部位を設定する設定部と、
    前記対象部位に基づき、複数点の空間座標とボクセル値とを含む位置合わせ用のテンプレートを作成し、当該テンプレートに基づき前記第2のボリュームデータにおける前記テンプレートに対応する照合領域を求め、前記テンプレートと前記照合領域とに基づいて、前記第1のボリュームデータと前記第2のボリュームデータとの位置合わせを行う位置調整部と、
    を備え、
    前記対象部位は管状構造物に相当するボクセルであり、前記テンプレートは前記管状構造物の芯線を含み、
    前記設定部は、前記第1のボリュームデータに基づき生成されたMIP画像に対する操作入力に従って前記対象部位を設定し、
    前記位置調整部は、前記第1のボリュームデータに設定された前記対象部位の位置と前記照合領域とに基づいて、前記第1のボリュームデータと前記第2のボリュームデータとの位置合わせを行うための位置合わせ移動量を求め、求めた前記位置合わせ移動量が一意に決まる場合、求めた移動量に基づいて、前記第1のボリュームデータと前記第2のボリュームデータとの位置合わせを行い、
    求めた前記位置合わせ移動量が一意に決まらない場合、前記テンプレートを、前記第1のボリュームデータにおける前記対象部位の前記テンプレートの周囲に位置する、前記テンプレートのボクセル値と近似するボクセル値を持つ複数の点状のボクセルで表わされるスポット領域を特定して作成し、
    作成された前記テンプレートと前記照合領域との位置合わせにおいて、前記スポット領域のうち、前記照合領域と重畳するボクセル数が最大となるように前記テンプレートの相対位置を求め、
    求めた前記テンプレートの相対位置に基づいて、前記位置合わせ移動量の複数の候補から、最適な移動量を選択し、
    選択した移動量に基づいて、前記第1のボリュームデータと前記第2のボリュームデータとの位置合わせを行う、
    画像処理装置。
  6. ボリュームデータから生成される画像を表示する表示部と、
    被検体内の3次元領域を対象とする第1のボリュームデータと第2のボリュームデータとを取得するデータ取得部と、
    少なくとも前記第1のボリュームデータに基づく画像に対する操作入力に従って位置合わせ対象とする対象部位を設定する設定部と、
    前記対象部位に基づき、複数点の空間座標とボクセル値とを含む位置合わせ用のテンプレートを作成し、当該テンプレートに基づき前記第2のボリュームデータにおける前記テンプレートに対応する照合領域を求め、前記テンプレートと前記照合領域とに基づいて、前記第1のボリュームデータと前記第2のボリュームデータとの位置合わせを行う位置調整部と、
    を備え、
    前記対象部位は管状構造物に相当するボクセルであり、前記テンプレートは前記管状構造物の芯線を含み、
    前記設定部は、前記第1のボリュームデータに基づき生成されたMIP画像に対する操作入力に従って前記対象部位を設定し、
    前記位置調整部は、前記第1のボリュームデータに設定された前記対象部位の位置と前記照合領域とに基づいて、前記第1のボリュームデータと前記第2のボリュームデータとの位置合わせを行うための位置合わせ移動量を求め、求めた前記位置合わせ移動量が一意に決まる場合、求めた移動量に基づいて、前記第1のボリュームデータと前記第2のボリュームデータとの位置合わせを行い、
    求めた前記位置合わせ移動量が一意に決まらない場合、前記テンプレートを、前記第1のボリュームデータにおける前記テンプレートのボクセルを連続的に拡張することにより領域拡張を行って作成し、
    前記照合領域を、前記第2のボリュームデータにおける前記照合領域のボクセルを連続的に拡張することにより領域拡張を行って作成し、
    作成された前記テンプレートと前記照合領域との位置合わせにおいて、両者の重畳領域が最大となるように前記テンプレートの相対位置を求め、
    求めた前記テンプレートの相対位置に基づいて、前記位置合わせ移動量の複数の候補から、最適な移動量を選択し、
    選択した移動量に基づいて、前記第1のボリュームデータと前記第2のボリュームデータとの位置合わせを行う、
    画像処理装置。
JP2017118117A 2017-06-15 2017-06-15 医用画像診断装置及び画像処理装置 Active JP7270331B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017118117A JP7270331B2 (ja) 2017-06-15 2017-06-15 医用画像診断装置及び画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017118117A JP7270331B2 (ja) 2017-06-15 2017-06-15 医用画像診断装置及び画像処理装置

Publications (2)

Publication Number Publication Date
JP2019000403A JP2019000403A (ja) 2019-01-10
JP7270331B2 true JP7270331B2 (ja) 2023-05-10

Family

ID=65007037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017118117A Active JP7270331B2 (ja) 2017-06-15 2017-06-15 医用画像診断装置及び画像処理装置

Country Status (1)

Country Link
JP (1) JP7270331B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11393110B2 (en) * 2019-04-04 2022-07-19 Centerline Biomedical, Inc. Spatial registration of tracking system with an image using two-dimensional image projections

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009268693A (ja) 2008-05-07 2009-11-19 Toshiba Corp X線撮影装置、画像処理装置および画像処理プログラム
JP2011182899A (ja) 2010-03-08 2011-09-22 Fujifilm Corp 診断支援装置、冠動脈解析プログラムおよび冠動脈解析方法
JP2015039578A (ja) 2013-08-23 2015-03-02 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理方法および装置並びにプログラム
WO2016037969A1 (en) 2014-09-08 2016-03-17 Koninklijke Philips N.V. Medical imaging apparatus
JP2016509501A (ja) 2013-01-15 2016-03-31 キャスワークス・リミテッドCathWorks Ltd. リアルタイムの診断上有用な結果
JP2016516466A (ja) 2013-03-12 2016-06-09 ライトラボ・イメージング・インコーポレーテッド 血管データ処理及び画像位置合わせのシステム、方法並びにデバイス

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5523681B2 (ja) * 2007-07-05 2014-06-18 株式会社東芝 医用画像処理装置
WO2015045368A1 (ja) * 2013-09-26 2015-04-02 テルモ株式会社 画像処理装置、画像表示システム、撮影システム、画像処理方法及びプログラム
JP6651214B2 (ja) * 2015-06-19 2020-02-19 国立大学法人 東京大学 画像処理装置、画像処理方法、プログラム及び記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009268693A (ja) 2008-05-07 2009-11-19 Toshiba Corp X線撮影装置、画像処理装置および画像処理プログラム
JP2011182899A (ja) 2010-03-08 2011-09-22 Fujifilm Corp 診断支援装置、冠動脈解析プログラムおよび冠動脈解析方法
JP2016509501A (ja) 2013-01-15 2016-03-31 キャスワークス・リミテッドCathWorks Ltd. リアルタイムの診断上有用な結果
JP2016516466A (ja) 2013-03-12 2016-06-09 ライトラボ・イメージング・インコーポレーテッド 血管データ処理及び画像位置合わせのシステム、方法並びにデバイス
JP2015039578A (ja) 2013-08-23 2015-03-02 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 画像処理方法および装置並びにプログラム
WO2016037969A1 (en) 2014-09-08 2016-03-17 Koninklijke Philips N.V. Medical imaging apparatus

Also Published As

Publication number Publication date
JP2019000403A (ja) 2019-01-10

Similar Documents

Publication Publication Date Title
CN107016717B (zh) 用于患者的透视视图的系统和方法
US20190355174A1 (en) Information processing apparatus, information processing system, information processing method, and computer-readable recording medium
US7796835B2 (en) Computer readable medium for image processing and image processing method
US10424067B2 (en) Image processing apparatus, image processing method and storage medium
US20160063707A1 (en) Image registration device, image registration method, and image registration program
US20110262015A1 (en) Image processing apparatus, image processing method, and storage medium
US20110190633A1 (en) Image processing apparatus, ultrasonic diagnostic apparatus, and image processing method
US9466117B2 (en) Segmentation highlighter
JP5889265B2 (ja) 画像処理方法および装置並びにプログラム
US9542529B2 (en) Medical image data processing apparatus and method
JP6490820B2 (ja) 超音波撮像装置、画像処理装置、及び方法
JP6376873B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN110570483A (zh) 扫描方法、装置、计算机设备和存储介质
JP2016147026A (ja) 画像処理装置、画像処理方法およびプログラム
JP6293619B2 (ja) 画像処理方法および装置並びにプログラム
JP6689666B2 (ja) 超音波撮像装置
JP6169912B2 (ja) 医用画像処理装置、医用画像診断装置及び医用画像処理プログラム
US20220108540A1 (en) Devices, systems and methods for generating and providing image information
JP7270331B2 (ja) 医用画像診断装置及び画像処理装置
JP2017000299A (ja) 医用画像処理装置
US9208562B1 (en) Method for synchronized navigation of sets of two or more biomedical images
JP5159195B2 (ja) 医用画像処理装置
JP2019217264A (ja) 医用画像処理装置、医用画像診断装置および医用画像処理方法
US9477900B2 (en) Medical image processing apparatus and medical image processing method
JP6598565B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200501

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200511

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220719

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230126

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230126

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230203

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230425

R150 Certificate of patent or registration of utility model

Ref document number: 7270331

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150