JP5337161B2 - 自動動画飛行経路計算 - Google Patents

自動動画飛行経路計算 Download PDF

Info

Publication number
JP5337161B2
JP5337161B2 JP2010531619A JP2010531619A JP5337161B2 JP 5337161 B2 JP5337161 B2 JP 5337161B2 JP 2010531619 A JP2010531619 A JP 2010531619A JP 2010531619 A JP2010531619 A JP 2010531619A JP 5337161 B2 JP5337161 B2 JP 5337161B2
Authority
JP
Japan
Prior art keywords
point
projection
end point
path
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010531619A
Other languages
English (en)
Other versions
JP2011504117A (ja
Inventor
コルネリス ピー フィッセル
ブリーク フブレヒュトゥ エル ティー デ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Publication of JP2011504117A publication Critical patent/JP2011504117A/ja
Application granted granted Critical
Publication of JP5337161B2 publication Critical patent/JP5337161B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Description

本発明は一般に、医療撮像の分野に関する。より詳細には、本発明は、医療画像データセットにおける自動動画飛行経路計算に関する。
生体構造に関する印象を与えるボリュームレンダリングされた医療画像の動画が、ますます重要になっている。なぜなら、この種の視覚化が、より現実に近いからである。
心臓撮像において、例えば冠状動脈における狭窄を検出するため、取得された心臓画像データセットにおいて心臓の冠状動脈を視覚化することを可能にしたいという願望が存在する。心臓画像データセットは、患者の心臓の磁気共鳴撮像(MRI)スキャンを実行することにより得られることができる。一旦スキャンが記録されると、適切な分類及びセグメント化を適用した後、このスキャンは例えば、ボリュームレンダリングとして視覚化されることができる。異なる方向のカメラのボリュームレンダリング画像を選択することにより、動画を形成する一連の画像が、得られることができる。
この種の視覚化は、医師が見るものに非常に似ているので、患者に手術を行うとき、心臓専門医は、冠状動脈を備える心臓のボリュームレンダリング画像を好む。冠状動脈を検査する自然な方法は、大動脈で始まり下方に移動する血流の方向に冠状動脈を個別に表示することである。
現在、心臓全体のスキャンのかなりフリーハンドの概要動画を再現的に構成することは、事実上不可能である。ユーザは、特定のいわゆるキー画像を選択する。これらのキー画像は、カメラの飛行経路上の画像である。一旦ユーザが好みのキー画像をすべて選択すると、飛行経路が、キー画像の幾何学特性を補間することにより算出される。この幾何学特性は、空間における原点、空間における方向及びズーム係数である。また、これらの手動で選択されたキー画像とは別に、自動の飛行経路も存在する。しかしながら、これらの経路は、例えば対象物の周りの円といった簡単な数学的経路である。動画のすべての画像は、同じ分類/不透明度を持つ。
現在のソリューションの欠点は、例えば円といった幾何学的なプリミティブとは別の経路が好まれる場合、キー画像を定めるのに非常に時間がかかるということである。更に、かなり複雑な、手動構成による飛行経路を再現的に定めることは、事実上不可能である。
従って、柔軟性が増加され、コスト効率が更に良い装置、方法、コンピュータ可読媒体及び使用が有利である。
したがって、本発明は好ましくは、単独で又は任意の組合せにおいて従来技術における上述の欠点又は不都合点の1つ又は複数を緩和、軽減又は除去しようとするものであり、添付の特許請求の範囲に記載の装置、方法、コンピュータ可読媒体及び使用を提供することにより、少なくとも上述した問題を解決する。
本発明の1つの側面において、オブジェクトを有する画像データセットを処理する装置が提供される。この装置は、上記オブジェクトの画像セグメント化を実行するよう構成されるセグメント化ユニットと、上記オブジェクトの第1のサブ・オブジェクトの第1の開始点を定める第1の位置を算出し、上記第1のサブ・オブジェクトの第1の終了点を定める第2の位置を算出し、上記画像データセットの中央点を定める第3の位置を算出し、上記中央点を用いて上記第1の開始点を投影面上へ投影することにより、第1の投影開始点を算出し、上記中央点を用いて上記第1の終了点を投影面上へ投影することにより、第1の投影終了点を算出し、及び、上記第1の投影開始点及び上記第1の投影終了点の間の経路を算出するよう構成される算出ユニットとを有する。この装置は、上記経路に沿って少なくとも2つの連続的な画像を算出するよう構成される動画作成ユニットも有し、上記画像の各々が、上記経路及び中央点に対する所定の関係により定められる投影平面を持つ。
本発明の別の側面において、オブジェクトを有する画像データセットを処理する方法が提供される。この方法は、上記オブジェクトの画像セグメント化を実行するステップと、上記オブジェクトの第1のサブ・オブジェクトの第1の開始点を定める第1の位置を算出するステップと、上記第1のサブ・オブジェクトの第1の終了点を定める第2の位置を算出するステップと、上記画像データセットの中央点を定める第3の位置を算出するステップと、上記中央点を用いて上記第1の開始点を投影面上へ投影することにより、第1の投影開始点を算出するステップと、上記中央点を用いて上記第1の終了点を投影面上へ投影することにより、第1の投影終了点を算出するステップと、上記第1の投影開始点及び上記第1の投影終了点の間の経路を算出するステップと、上記経路に沿って少なくとも2つの連続的な画像を算出するステップとを有し、上記画像の各々が、上記経路及び中央点に対する所定の関係により定められる投影平面を持つ。
更に別の実施形態では、プロセッサによる処理のためのコンピュータプログラムが格納されるコンピュータ可読媒体が提供される。このコンピュータプログラムは、画像データセットに含まれるオブジェクトの画像セグメント化を実行するよう構成されるセグメント化コードセグメントと、上記オブジェクトの第1のサブ・オブジェクトの第1の開始点を定める第1の位置を算出し、上記第1のサブ・オブジェクトの第1の終了点を定める第2の位置を算出し、上記画像データセットの中央点を定める第3の位置を算出し、上記中央点を用いて上記第1の開始点を投影面上へ投影することにより、第1の投影開始点を算出し、上記中央点を用いて上記第1の終了点を投影面上へ投影することにより、第1の投影終了点を算出し、及び、上記第1の投影開始点及び上記第1の投影終了点の間の経路を算出するよう構成される算出コードセグメントとを有する。このコンピュータプログラムは、上記経路に沿って少なくとも2つの連続的な画像を算出するよう構成される動画作成コードセグメントも有し、上記画像の各々が、上記経路及び中央点に対する所定の関係により定められる投影平面を持つ。
本発明のある側面では、患者における生体構造の診断又は後続の処置又は外科的療法を容易にする、請求項1に記載の装置の使用が提供される。
提案される方法は、心臓全体のMRスキャンのボリュームレンダリング動画に焦点をあてる。冠状動脈のセグメント化データから飛行経路を自動的に得ることにより、本発明は、上述の問題を解決する。結果として、自然に見える飛行経路が算出されることができる。
心臓のボリュームレンダリング画像及びカメラの好適な飛行経路を示す図である。 ある実施形態による装置を示すブロック図である。 ある実施形態による飛行経路を算出するときに使用される、画像データセットにおけるセグメント化されたサブ・オブジェクト及び点を示す図である。 ある実施形態による対象物の周りの飛行経路を示す図である。 ある実施形態による方法を示す図である。 ある実施形態によるコンピュータプログラムを示す図である。
本発明のこれら及び他の側面、特徴及び利点が、本発明の実施形態に関する以下の説明から明らかとなり、対応する図面を参照して説明されることになる。
図1は、心臓のボリュームレンダリング画像を示す図である。図1において、カメラの好適な飛行経路が、従来技術に基づかれるボリュームレンダリング画像の表面に描画される。
当業者が本発明を実施することができるよう、本発明の複数の実施形態が、添付の図面を参照して以下更に詳細に説明されることになる。しかしながら、本発明は、多くの異なる形式において実現されることができ、本願明細書に記載される実施形態に限定されるものとして解釈されるべきでない。むしろ、この開示が、完全であり完結するよう、及び当業者に対して本発明の範囲を完全に伝えるよう、これらの実施形態が提供される。これらの実施形態は本発明を限定するものではなく、本発明は添付の特許請求の範囲によってのみ限定される。更に、添付の図面に示される特定の実施形態の詳細な説明において使用される用語は、本発明を限定することを目的とするものではない。以下の説明は、画像データセットに含まれる対象物の自動動画飛行経路を作成するため、撮像の分野に適用可能な本発明の実施形態に焦点をあてる。
本発明のメインのアイデアは、いくつかの実施形態によれば、画像データセットにおける例えば心臓といった対象物を通る飛行経路を、自動的に算出する装置及び方法を提供することである。
いくつかの実施形態では、任意の不連続箇所のない閉じた飛行経路を生成するよう、作成された飛行経路動画が構成される。この実施形態の利点は、迷惑な飛躍点なしに、動画が何度も再生されることができる点にある。
図2を参照すると、ある実施形態において、装置20が提供される。この装置は、例えばボリュメトリック画像データセットといった画像データセットにおいて、例えば心臓のような生体構造における例えば冠状動脈といった注目対象物のセグメント化を実行するセグメント化ユニット21を有する。
任意の適切な一般に既知の画像セグメント化技術が、このセグメント化を実行するために使用されることができる。装置において使用される特定のセグメント化技術は、オブジェクト・タイプに基づき時々変化することができるか、又は、例えば、セグメント化技術は常に改善される。いくつかの実施形態によれば本発明は、特定のセグメント化技術に限定されない点を理解されたい。
この装置は、例えば第1の冠状動脈といった第1のサブ・オブジェクトの開始点31を規定する第1の位置を計算する計算ユニット22を有することもできる。
いくつかの実施形態において、ユーザは、開始点及び終了点を定めることができるか、又はポインティングデバイスを用いて、例えば、画像データセットにおいてマウスをクリックすることにより、注目するサブ・オブジェクトの終了点を平均化することができる。例えば最小コスト・アルゴリズムを適用することにより、これらの点を接続する動脈の中央線が発見されることができる。別の既知の技術は、開始点となる1つの点をクリックすることである。この開始点から、ツリー構造が、好ましい方向に成長することができる。これは、サイド分岐を持つ冠状動脈の中央線を生じさせる。いずれの場合においても、セグメント化ステップにおいてユーザによりクリックされた開始点が、飛行経路上のカメラの開始位置として使用されることができる。一旦中央線が見つかると、各画像データセットにおいて例えば動脈といったサブ・オブジェクトの境界を見つけるために、この中央線に対して垂直にリング・アルゴリズムが適用されることができる。従ってセグメント化は、開始及び終了点(又は複数の終了点)を持つ中央線と、オブジェクト又はサブ・オブジェクトを表すボクセルの集合とを含むことができる。
使用されるセグメント化技術に関係なく、カメラの開始点は、サブ・オブジェクトのセグメント化された中央線の投影開始点と同一である。
計算ユニットは、第1のサブ・オブジェクトの終了点32を定める第2の位置を算出するよう構成されることもできる。
更に、計算ユニット22は、例えば第2の冠状動脈といった第2のサブ・オブジェクトの開始点33を定める第3の位置を算出するよう構成されることができる。計算ユニットは、第2のサブ・オブジェクトの終了点34を定める第4の位置を算出するよう構成されることもできる。
計算ユニット22は、例えば開始点及び終了点の間の上記サブ・オブジェクトの中央線上に配置される中間点を算出するよう構成されることもできる。計算ユニットは、例えば既知の画像処理セグメント化アルゴリズムを用いて、中央線に沿って中間点の位置を算出することができる。
計算ユニットは、画像データセットの中央点を算出するよう構成されることもできる。中央点は、例えばセグメント化されたオブジェクトの中央に配置されるよう、算出されることができる。
算出された中央点と、算出された点、即ち開始点、中間点及び終了点とに基づき、サブ・オブジェクトに沿って、カメラ飛行経路が算出されることができる。飛行経路に沿うすべての点は、中央点に対して所定の距離を持つことができる。
サブ・オブジェクトがツリー構造体といった分割された構造体を有する場合、結果としてこのサブ・オブジェクトは各分岐に関して1つの終了点を持つことになる。これは、サブ・オブジェクトが、少なくとも2つの終了点を持つ冠状動脈である場合である。なぜなら、冠状動脈は分離するからである。この場合、計算ユニット22は、各サブ・オブジェクトに対して1つの平均終了点を算出するよう構成される。従って、例えば、中央点から各終了点までのベクトルを算出し、続いて平均化された終了点が算出されることができるよう、これらのベクトルを平均化することにより、各サブ・オブジェクトに対するすべての算出された終了点に関する1つの平均終了点が、算出されることができる。
第1、第2、第3及び第4の位置に基づき、計算ユニットは、図3に示されるように長軸35の近似方向を算出することができる。この近似方向上に中央点が配置される。全飛行経路の間、例えば仮想カメラといったカメラがこの中央点に向けられることができる。
図3では、算出された開始及び終了点31、32、33、34が、セグメント化された冠状動脈画像において示される。点36及び37の間の算出された近似長軸も示される。点35は、この長軸の真ん中である。点31、32、33及び34は、空間におけるベクトルである。点35は、以下のように算出されることができる。
[36] = ([31] + [33])/2。
[37] = ([32] + [34])/2。
[35] = ([36] + [37])/2。
図4は、この例では心臓であるオブジェクト40と心臓の2つの冠状動脈を表す2つのサブ・オブジェクト41、42との周りの飛行経路を示す。各サブ・オブジェクトに対する開始点S1、S2及び平均終了点AE1、AE2が、観察されることができる。Cは、中央点を示す。P1は、中央点を起点とし、サブ・オブジェクト41における開始点S1へと延びるベクトルを示す。P2は、中央点を起点とし、サブ・オブジェクト41における終了点S2へと延びるベクトルを示す。カメラ飛行経路は、中央点からの所定距離で規定されることができる。従って、カメラ飛行経路は、仮想的な球体の表面上に配置されるものとして示されることができる。この球体は、心臓全体がこの仮想的な球体内部に適合するような半径を持つ。カメラは、この仮想的な球体の表面上にあり、常に中央点の方向を指している。飛行経路の点の座標は、サブ・オブジェクトに沿った各点に対する中央点を起点とするベクトルを利用して算出されることができる。このベクトルが仮想的な球体の表面と交差する座標は、飛行経路の点であろう。従って、ベクトルP1が仮想的な球体の表面と交差する座標は、飛行経路の開始点を表すことになる。同様に、ベクトルP2が仮想的な球体の表面と交差する座標は、飛行経路の終了点を表すであろう。このようにして、飛行経路F1が算出されることができる。従って、飛行経路は、仮想的な球体の表面上の弧であることになる。
ある実施形態において、計算ユニットは、各開始点S1、S2、終了点E1、E2又は平均終了点AE1、AE2を仮想的な球体面上に投影するよう構成される。これは、投影点S1'、S2'、E1'、E2'、AE1'、AE2'のセットを生じさせる。この計算は、投影点の座標を算出するため、参照として中央点を利用することができる。例えば、中央点から各算出点を通り進むベクトルを利用する。投影点の座標がわかると、飛行経路は、仮想的な球体の表面における投影点間の最短経路、即ち弧として算出されることができる。こうして、飛行経路は、複数のセグメントを有するであろう。各セグメントは、仮想的な球体面上の2つの投影点の間の弧を表す。
例えば、4つのセグメントが、提供されることができる。
1.冠状動脈1の開始点S1から冠状動脈1の終了点AE1までのセグメント。
2.冠状動脈1の終了点AE1から冠状動脈2の開始点S2までのセグメント。
3.冠状動脈2の開始点S2から冠状動脈2の終了点AE2までのセグメント。
4.冠状動脈2の終了点AE2から冠状動脈1の開始点S1までのセグメント。
こうして、結果として生じる飛行経路は閉じられたループ経路を構成する。なぜなら、最後のセグメントを除けば、すべてのセグメントに関して各セグメントの終了点が次のセグメントの開始点であるからである。最後のセグメントでは、終了点が、第1のセグメントの開始点となる。
ある実施形態において、中央点は、開始点s1及びs2並びに終了点e1及びe2を用いて計算されることができる。カメラの焦点fは、
f = (((s 1 + s2)/2) + ((e1 + e2)/2))/2
を用いて計算されることができる。
焦点は、仮想的な球体の中央点である。
装置20は、動画作成ユニット23を有することもできる。このユニットは、飛行経路の算出に続き、飛行経路動画を構成する一連の画像を作成するよう構成される。
動画作成ユニットは、飛行経路に沿った仮想的なカメラの方向に関する情報と算出された飛行経路とに基づき、上記画像のシーケンスにおける各画像を算出することができる。
3つの直交軸の周りでの回転により、仮想的なカメラの方向が3次元で規定されることができる。ある実施形態において、カメラ平面は、中央点の方を指すよう方向付けられる。これは、カメラ平面における任意の点、例えば中点に対する法線ベクトルが、中央点と交差することになることを意味する。
更に、これは、3つの回転軸のうちの2つが、この関係により完全に定められることを意味する。ある実施形態において、残りの回転軸は、飛行経路に対する特定の回転関係を持つよう算出されることができる。この残りの軸は、この方向の水平成分を表すものとして解釈されることができる。カメラの「この方向の水平成分」は、各セグメントにおけるすべての画像に対して固定される。しかし、各セグメントに対して、カメラは、異なる水平成分を持つ。点S、AE及びCにより決定される各平面の法線ベクトルnは、この特定のセグメントにおけるカメラの方向の水平成分を定める。この法線ベクトルは、水平に対して平行なものとして解釈されることができる。
このようにして、この方向は、水平としての法線ベクトルと、現在の位置及び焦点、即ち中央点により規定される方向ベクトルとにより完全に規定されることができる。
仮想的なカメラの方向は、サブ・オブジェクトが垂直位置にあり、及びサブ・オブジェクトの中央線の方向ベクトルが投影平面に平行であるように配置されることができる。中央線に沿った各点に対して、画像が、仮想的なカメラにより位置合わせされることができる。一旦仮想的なカメラが第1のサブ・オブジェクトの終了点32に到達すると、その位置は、例えば主動脈である第2のサブ・オブジェクトの開始点33へと自動的に変化されることができる。
仮想的なカメラは、第2のサブ・オブジェクトの中央線をたどることができる。第2のサブ・オブジェクトの終了点34に達するとき、動画作成ユニットは、中央線に沿って位置合わせされた各画像に基づき、閉じられた飛行経路動画を作成することができる。従って、動画作成ユニットは、中央線に沿って撮られた連続的な画像に基づき、画像シーケンスを作成するよう構成される。動画作成ユニット23は、閉じられた飛行経路を得るため、第2のサブ・オブジェクトの終了点を第1のサブ・オブジェクトの開始点31で補間するだけでなく、第2のサブ・オブジェクトの開始点33を第1のサブ・オブジェクトの終了点で補間することができる。
カメラのジオメトリは、3つの軸及び原点により表されることができる。これは、数学的には、行列とズーム係数を表す大きさとして記載される。例えば、仮想的な球体上の2つのカメラ位置は、既知のパラメタを持つ2つの行列を生じさせる。補間により、例えば既知のカメラ行列のパラメタを補間することにより、飛行経路に沿った2つのカメラ位置の間の各カメラ位置に対するカメラ行列が、算出されることができる。
いくつかの実施形態では、動画作成ユニットは、開始画像で始まり終了画像で終わる方向において等しい三角形(delta)を持つそれぞれの弧セグメントにおいて、n個の画像を算出することができる。これは、各弧セグメントに対して繰り返されることができる。
いくつかの実施形態では、仮想的な球体上の飛行経路を定めるため、例えばサブ・オブジェクトの中央線に沿って、サブ・オブジェクトの開始点及び終了点の間に配置される少なくとも1つの中間点I1が、サブ・オブジェクトの開始点及び終了点並びに中央点と共に使用される。中間点は、開始又は終了点と同じように仮想的な球体面上に投影されることができる。従って、投影された開始点S1'から投影された平均終了点AE1'までの結果として生じる飛行経路は、S1'からAE1'までの直接の1つの弧の代わりに、2つの弧セグメントを有することになる。1つは、S1'からI1'までのセグメント、もう1つは、I1'からE1'までのセグメントである。
飛行経路の計算において使用される中間点I1、I2等の量を増やすことにより、結果として生じる画像シーケンスは、次第に揺れるものとして経験される場合がある。この揺れは、例えば動脈のようなサブ・オブジェクトが完全な弧ではないこと、従って、このことが、サブ・オブジェクトの開始点から終了点まで進むとき、カメラの方向における変更を増加させるという事実によるものである。
他方、S、AE(及びC)により規定される最短の弧は、このサブ・オブジェクトを画像の中央に保つものではない場合がある。従って、サブ・オブジェクトの外観に基づき、結果として生じる画像シーケンスが揺れを経験しないよう、同時に、サブ・オブジェクトが、画像シーケンスにおける各画像の中央にできるだけ近いような態様で、複数の中間点が、飛行経路の計算に含まれるよう選択されることができる。
ある実施形態では、開始点と終了点との間で同じ距離に配置される1つの中間点が、飛行経路の計算に使用されることができる。他の実施形態では、例えば開始点から終了点までの距離の1/3と2/3の所にある2つの中間点が、カメラ飛行経路の計算に使用されることができる。
他の実施形態では、任意の数の中間点が、カメラ飛行経路の計算に使用されることができる。
従って、サブ・オブジェクトの投影された開始点S1'と投影された平均終了点AE1'との間の飛行経路は、S1、AE1及びCにより定められる完全な弧であるか、又は仮想的な球体上のサブ・オブジェクトのn個の中間点の投影を計算することにより任意の分解能を持つことができるサブ・セグメントから構成されるものとすることができる。中間点は、いくつかの実施形態によれば、サブ・オブジェクトの開始点及び終了点の間の直線上に配置されることができる。
中間点は、いくつかの実施形態によれば、2つの異なるサブ・オブジェクトの任意の開始点及び/又は終了点の間の直線上に配置されることができる。
中間点は、サブ・オブジェクトの開始点及び終了点の間の直線上に配置されることができる。こうしてこの直線は、算出された中央線と異なる場合があり、仮想的な球体上での投影が、より滑らかな特性を飛行経路にもたらすことができる。すると、動画作成ユニットは、上記の実施形態で述べた中央線の代わりに、補間されたラインに沿って撮られた位置合わせされた仮想カメラ画像を有する動画を作成することができる。補間された線の投影に仮想的なカメラを追従させる結果として、例えば動脈といったサブ・オブジェクトはオプションで、もはや各位置合わせされた画像の中央に位置することができないが、結果として生じる画像シーケンスは、全体として、仮想的なカメラの飛行経路に対する基準として中央線又は中央線に沿った中間点を使用する実施形態よりも滑らかなものとなることができる。
ある実施形態では、この装置20は更に、放射線科医又は心臓専門医といったユーザから、自動的に算出された動画飛行経路と異なる好適な飛行経路に関する入力を受信するよう構成される入力装置24を有する。計算ユニットは、算出された開始点31、33及び終了点32、34それぞれに関してユーザ規定による飛行経路からの追加的な点を算出するよう構成されることができる。これらの追加的な点は、ユーザ規定の飛行経路上に配置される。開始点、終了点及び追加的な点は、ユーザ規定の飛行経路を定める。追加的な点は、絶対的な座標値として格納されるのではなく、算出された開始及び終了点の位置に対する相対的な位置として格納される。
いくつかの実施形態では、計算ユニットは、標準飛行経路から逸脱する飛行経路を算出するため、算出された追加的な点を利用することができる。各新しい患者に対して、飛行経路は、算出された開始点31、33、終了点32、34及び追加的な点から算出される点に基づかれることになる。その後、動画作成ユニット23は、修正された標準飛行経路を構成する線に沿った仮想的なカメラにより位置合わせされる画像を用いて、動画を作成する。
いくつかの実施形態では、セグメント化ユニット21、計算ユニット22、動画作成ユニット23又は入力ユニット24は、1つの統合されたユニットに含まれることができる。
図5によれば、ある実施形態において、オブジェクトを有する画像データセットの処理方法が提供される。この方法は、上記オブジェクトの画像セグメント化を実行するステップ51を有する。この方法は、上記オブジェクトの第1のサブ・オブジェクトの第1の開始点31、S1を規定する第1の位置を算出するステップ52を有することもできる。この方法は、上記第1のサブ・オブジェクトの第1の終了点32、E1、AE1を規定する第2の位置を算出するステップ53を有することもできる。この方法は、上記画像データセットの中央点35、Cを定める第3の位置を算出するステップ54を有することもできる。この方法は、上記中央点を用いて第1の開始点を投影面に投影することにより、第1の投影開始点S1'を算出するステップ55を有することもできる。この方法は、上記中央点を用いて上記第1の開始点を投影面に投影することにより、第1の投影終了点E1'、AE1'を算出するステップ56を有することもできる。この方法は、上記第1の投影開始点及び上記第1の投影終了点の間の経路F1を算出するステップ57を有することもできる。この方法は、上記経路に沿って少なくとも2つの連続的な画像を算出するステップ58を有することもできる。上記画像の各々は、上記経路及び中央点に対する所定の関係により定められる投影平面を持つ。
図6によれば、ある実施形態において、プロセッサによる処理のためのコンピュータプログラムが格納されるコンピュータ可読媒体が提供される。コンピュータプログラムは、画像データセットに含まれるオブジェクトの画像セグメント化を実行するよう構成されるセグメント化コードセグメント61と、上記オブジェクトの第1のサブ・オブジェクトの第1の開始点31、S1を定める第1の位置を算出するよう構成される計算コードセグメント62とを有する。計算コードセグメントは、上記第1のサブ・オブジェクトの第1の終了点32、E1、AE1を定める第2の位置及び上記画像データセットの中央点35、Cを定める第3の位置を算出するよう構成されることもできる。計算コードセグメントは、上記中央点を用いて上記第1の開始点を投影面上へ投影することにより第1の投影開始点S1'を算出するよう、上記中央点を用いて上記第1の終了点を投影面上へ投影することにより第1の投影終了点E1'、AE1'を算出するよう構成されることもできる。計算コードセグメントは、上記第1の投影開始点及び上記第1の投影終了点の間の経路F1を算出するよう構成されることもできる。コンピュータプログラムは、上記経路に沿って少なくとも2つの連続的な画像を算出するよう構成される動画作成コードセグメント63を有することもできる。上記画像の各々は、上記経路及び中央点に対する所定の関係により定められる投影平面を持つ。

ある実施形態において、患者における生体構造の診断又は後続の処置又は外科的療法を容易にする装置、方法又はコンピュータプログラムの使用が提供される。
本発明による上記の実施形態の適用及び使用は、多様であり、例えば心臓のデータを有するボリュームレンダリング画像の動画生成が要求されるすべての用途を含む。
セグメント化ユニット、計算ユニット、動画作成ユニットは、関連作業を実行するのに通常使用される任意のユニット、例えば、メモリを備えるプロセッサといったハードウェアとすることができる。プロセッサは、さまざまなプロセッサのいずれかとすることができる。例えばインテル又はAMDプロセッサ、CPU、マイクロプロセッサ、プログラム可能なインテリジェントコンピュータ(PIC)マイクロコントローラ、デジタル・シグナル・プロセッサ(DSP)等である。しかしながら、本発明の範囲は、これらの特定のプロセッサに限定されるものではない。メモリは、情報を格納することができる任意のメモリとすることができる。例えば、ダブルデンシティRAM(DDR(DDR2)、シングルデンシティRAM(SDRAM)、スタティックRAM(SRAM)、ダイナミックRAM(DRAM)、ビデオRAM(VRAM)等のランダムアクセスメモリ(RAM)である。メモリは、例えばUSB、コンパクトフラッシュ、スマートメディア、MMCメモリ、メモリスティック、SDカード、ミニSD、マイクロSD、xD Card、トランスフラッシュ及びマイクロドライブメモリ等のフラッシュメモリとすることもできる。しかしながら、本発明の範囲は、これらの特定のメモリに限定されるものではない。
ある実施形態において、この装置は、医療ワークステーション、又は例えばコンピュータ断層撮影法(CT)システム、磁気共鳴撮像(MRI)システム又は超音波撮像(US)システムといった医療システムに含まれる。
ある実施形態において、上記コンピュータ可読媒体は、コンピュータ処理機能を持つ装置により実行されるとき、いくつかの実施形態において規定される上記装置の方法ステップ又は機能の全てを実行するよう構成されるコードセグメントを有する。
本発明は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組み合わせを含む適切な形式で実現されることができる。しかしながら、好ましくは、本発明は、1つ又は複数データプロセッサ及び/又はデジタル信号プロセッサ上で実行されるコンピュータ・ソフトウェアとして実現される。本発明の実施形態の要素及び部品は、任意の適切な態様で物理的、機能的及び論理的に実現されることができる。実際、その機能は、単一のユニットで、複数のユニットで、又は他の機能ユニットの一部として実現されることができる。そのようなものとして、本発明は、単一のユニットで実現されることができるか、又は異なるユニット及びプロセッサ間に物理的及び機能的に分散されることができる。
本発明が特定の実施形態を参照して上で説明されたが、これは、本書に記載される上記特定の形式に本発明が限定されることを目的とするものではない。むしろ、本発明は添付の請求項によってのみ限定され、上述した特定の実施形態以外の、これらの添付した請求項の範囲に含まれる実施形態が同様に可能である。
特許請求の範囲において、「有する」という用語は、他の要素又はステップの存在を排除するものではない。更に、個別的に記載されていても、複数の手段、要素又は方法ステップが、例えば単一のユニット又はプロセッサにより実現されることもできる。更に、個別の特徴が異なる請求項に含まれることができるが、これらは可能であれば有利に結合されることができる。異なる請求項に含まれることは、これらの特徴の組み合わせが、実現できない及び/又は有利でないことを意味するものではない。更に、単数形の参照は、複数性を排除するものではない。「a」、「an」、「第1の」、「第2の」等の用語は、複数性を排除するものではない。請求項における参照符号は、単に明確化のための例として与えられ、請求項の範囲をいかなる態様でも限定するものとして解釈されるべきではない。

Claims (15)

  1. オブジェクトを有する画像データセットを処理する装置であって、
    前記オブジェクトの画像セグメント化を実行するよう構成されるセグメント化ユニットと、
    前記オブジェクトの第1のサブ・オブジェクトの第1の開始点を定める第1の位置を算出し、前記第1のサブ・オブジェクトの第1の終了点を定める第2の位置を算出し、前記画像データセットの中央点を定める第3の位置を算出し、前記中央点を用いて前記第1の開始点を投影面上へ投影することにより、第1の投影開始点を算出し、前記中央点を用いて前記第1の終了点を投影面上へ投影することにより、第1の投影終了点を算出し、及び、前記第1の投影開始点及び前記第1の投影終了点の間の経路を算出するよう構成される算出ユニットと、
    前記経路に沿って少なくとも2つの連続的な画像を算出するよう構成される動画作成ユニットであって、前記画像の各々が、前記経路及び中央点に対する所定の関係により定められる投影平面を持つ、動画作成ユニットとを有する、装置。
  2. 前記経路が、閉じたループ経路である、請求項1に記載の装置。
  3. 前記経路が、前記オブジェクトを有する仮想的な球体の表面上に配置され、前記中央点は、前記仮想的な球体の中央点である、請求項1に記載の装置。
  4. 前記計算ユニットが更に、前記第1の開始点及び前記第1の終了点の間に配置される第1の中間点を算出するように構成され、
    前記計算ユニットは、
    前記中央点を用いて前記中間点を投影面上へ投影することにより、投影中間点を算出し、及び
    前記投影中間点を介して前記第1の投影開始点及び前記第1の投影終了点の間の経路を算出するよう構成される、請求項1に記載の装置。
  5. 前記中間点が、前記サブ・オブジェクトの中央線上に配置される、請求項4に記載の装置。
  6. 前記中間点が、前記第1の開始点及び前記第1の終了点の間の直線上に配置される、請求項4に記載の装置。
  7. 前記終了点が、平均化された終了点である、請求項1に記載の装置。
  8. 前記オブジェクトが心臓であり、前記第1のサブ・オブジェクトは冠状動脈である、請求項1に記載の装置。
  9. 前記計算ユニットが更に、
    前記オブジェクトの第2のサブ・オブジェクトの第2の開始点を定める第1の位置を算出し、
    前記第2のサブ・オブジェクトの第2の終了点を定める第2の位置を算出し、
    前記中央点を用いて前記第2の開始点を投影面上へ投影することにより、第2の投影開始点を算出し、
    前記中央点を用いて前記第2の終了点を投影面上へ投影することにより、第2の投影終了点を算出し、並びに
    前記第1の投影開始点、前記第1の投影終了点、前記第2の投影開始点及び前記第2の投影終了点の間の経路を算出するよう構成される、請求項1に記載の装置。
  10. 前記中央点が、前記第1の開始点、前記第1の終了点、前記第2の開始点及び前記第2の終了点を用いて算出される、請求項8に記載の装置。
  11. 前記投影平面の点に対する法線ベクトルが前記中心点と交差するよう、各画像の前記投影平面が方向付けられる、請求項1に記載の装置。
  12. 好ましい飛行経路に関する情報をユーザから受信するよう構成される入力ユニットを更に有し、
    前記計算ユニットが、
    第1の開始点及び第1の終了点に関して、ユーザ規定による飛行経路からの少なくとも1つの追加的な点を前記情報に基づき算出し、及び、
    前記第1の投影開始点と、第1の投影終了点と、中央点と、前記第1の開始点及び前記第1の終了点の位置に対する前記少なくとも1つの追加的な点の関係とに基づき経路を算出するよう構成される、請求項1に記載の装置。
  13. オブジェクトを有する画像データセットを処理する方法において、
    前記オブジェクトの画像セグメント化を実行するステップと、
    前記オブジェクトの第1のサブ・オブジェクトの第1の開始点を定める第1の位置を算出するステップと、
    前記第1のサブ・オブジェクトの第1の終了点を定める第2の位置を算出するステップと、
    前記画像データセットの中央点を定める第3の位置を算出するステップと、
    前記中央点を用いて前記第1の開始点を投影面上へ投影することにより、第1の投影開始点を算出するステップと、
    前記中央点を用いて前記第1の終了点を投影面上へ投影することにより、第1の投影終了点を算出するステップと、
    前記第1の投影開始点及び前記第1の投影終了点の間の経路を算出するステップと、
    前記経路に沿って少なくとも2つの連続的な画像を算出するステップであって、前記画像の各々が、前記経路及び中央点に対する所定の関係により定められる投影平面を持つ、ステップとを有する、方法。
  14. プロセッサによる処理のためのコンピュータプログラムが格納されるコンピュータ可読媒体であって、前記コンピュータプログラムが、
    画像データセットに含まれるオブジェクトの画像セグメント化を実行するよう構成されるセグメント化コードセグメントと、
    前記オブジェクトの第1のサブ・オブジェクトの第1の開始点を定める第1の位置を算出し、前記第1のサブ・オブジェクトの第1の終了点を定める第2の位置を算出し、前記画像データセットの中央点を定める第3の位置を算出し、前記中央点を用いて前記第1の開始点を投影面上へ投影することにより、第1の投影開始点を算出し、前記中央点を用いて前記第1の終了点を投影面上へ投影することにより、第1の投影終了点を算出し、及び、前記第1の投影開始点及び前記第1の投影終了点の間の経路を算出するよう構成される算出コードセグメントと、
    前記経路に沿って少なくとも2つの連続的な画像を算出するよう構成される動画作成コードセグメントであって、前記画像の各々が、前記経路及び中央点に対する所定の関係により定められる投影平面を持つ、動画作成コードセグメントとを有する、コンピュータ可読媒体。
  15. 患者における生体構造の診断又は後続の処置又は外科的療法を容易にする、請求項1に記載の装置の使用。
JP2010531619A 2007-11-02 2008-10-27 自動動画飛行経路計算 Active JP5337161B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07119906.1 2007-11-02
EP07119906 2007-11-02
PCT/IB2008/054429 WO2009057035A1 (en) 2007-11-02 2008-10-27 Automatic movie fly-path calculation

Publications (2)

Publication Number Publication Date
JP2011504117A JP2011504117A (ja) 2011-02-03
JP5337161B2 true JP5337161B2 (ja) 2013-11-06

Family

ID=40297686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010531619A Active JP5337161B2 (ja) 2007-11-02 2008-10-27 自動動画飛行経路計算

Country Status (5)

Country Link
US (1) US10217282B2 (ja)
EP (1) EP2206093B1 (ja)
JP (1) JP5337161B2 (ja)
CN (1) CN101842814B (ja)
WO (1) WO2009057035A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10217282B2 (en) 2007-11-02 2019-02-26 Koninklijke Philips N.V. Automatic movie fly-path calculation
US10321892B2 (en) * 2010-09-27 2019-06-18 Siemens Medical Solutions Usa, Inc. Computerized characterization of cardiac motion in medical diagnostic ultrasound
WO2014170798A1 (en) * 2013-04-17 2014-10-23 Koninklijke Philips N.V. Delineation and/or correction of a smooth stiff line in connection with an independent background image
US9622831B2 (en) * 2015-05-20 2017-04-18 Siemens Healthcare Gmbh Method and apparatus to provide updated patient images during robotic surgery
US10102633B2 (en) * 2015-11-30 2018-10-16 Hyland Switzerland Sarl System and methods of segmenting vessels from medical imaging data
US10475236B2 (en) 2016-05-03 2019-11-12 Affera, Inc. Medical device visualization
WO2017197114A1 (en) 2016-05-11 2017-11-16 Affera, Inc. Anatomical model generation
US11728026B2 (en) 2016-05-12 2023-08-15 Affera, Inc. Three-dimensional cardiac representation

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4736436A (en) * 1984-04-13 1988-04-05 Fujitsu Limited Information extraction by mapping
US5782762A (en) * 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
JPH09330423A (ja) * 1996-06-13 1997-12-22 Fujitsu Ltd 三次元形状データ変換装置
US6343936B1 (en) 1996-09-16 2002-02-05 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination, navigation and visualization
US5971767A (en) 1996-09-16 1999-10-26 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination
US5841440A (en) * 1996-12-17 1998-11-24 Apple Computer, Inc. System and method for using a pointing device to indicate movement through three-dimensional space
IL120867A0 (en) * 1997-05-20 1997-09-30 Cadent Ltd Computer user interface for orthodontic use
US6222549B1 (en) * 1997-12-31 2001-04-24 Apple Computer, Inc. Methods and apparatuses for transmitting data representing multiple views of an object
JP3655083B2 (ja) * 1998-02-25 2005-06-02 富士通株式会社 ロボットの位置決めを行うインタフェース装置
EP1058913B1 (en) * 1999-01-04 2005-08-31 Koninklijke Philips Electronics N.V. Method, system and apparatus for processing an image representing a tubular structure and for constructing a path through said structure
DE10037491A1 (de) * 2000-08-01 2002-02-14 Stryker Leibinger Gmbh & Co Kg Verfahren zum dreidimensionalen Visualisieren von Strukturen im Körperinneren
US6864886B1 (en) * 2000-08-10 2005-03-08 Sportvision, Inc. Enhancing video using a virtual surface
US7065395B2 (en) * 2001-03-19 2006-06-20 Ge Medical Systems Global Technology Company, Llc Method and apparatus for cardiac radiological examination in coronary angiography
JP2003085586A (ja) * 2001-06-27 2003-03-20 Namco Ltd 画像表示装置、画像表示方法、情報記憶媒体および画像表示プログラム
CN1639675B (zh) * 2001-07-06 2015-12-09 高通股份有限公司 与三维图像中表示的三维表面互动的图像处理方法
US7909696B2 (en) * 2001-08-09 2011-03-22 Igt Game interaction in 3-D gaming environments
US7324104B1 (en) * 2001-09-14 2008-01-29 The Research Foundation Of State University Of New York Method of centerline generation in virtual objects
US20050169507A1 (en) * 2001-11-21 2005-08-04 Kevin Kreeger Registration of scanning data acquired from different patient positions
US6833843B2 (en) * 2001-12-03 2004-12-21 Tempest Microsystems Panoramic imaging and display system with canonical magnifier
US7570802B2 (en) * 2001-12-27 2009-08-04 The United States Of America As Represented By The Secretary Of The Department Of Health And Human Services Automated centerline detection algorithm for colon-like 3D surfaces
GB2387519B (en) * 2002-04-08 2005-06-22 Canon Europa Nv Viewing controller for three-dimensional computer graphics
JP4560832B2 (ja) * 2002-07-10 2010-10-13 日本電気株式会社 3次元物体モデルを用いた画像照合システム及び画像照合プログラム
JP2004094773A (ja) * 2002-09-03 2004-03-25 Nec Corp 頭部装着物画像合成方法、化粧画像合成方法、頭部装着物画像合成装置、化粧画像合成装置及びプログラム
US7471814B2 (en) * 2002-11-27 2008-12-30 The Board Of Trustees Of The Leland Stanford Junior University Curved-slab maximum intensity projections
CN1745396A (zh) * 2003-01-30 2006-03-08 西门子共同研究公司 用于虚拟结肠镜检查的自动局部路径规划的方法和装置
US7656418B2 (en) * 2003-06-11 2010-02-02 Koninklijke Philips Electronics N.V. User control of 3d volume plane crop
US7349563B2 (en) * 2003-06-25 2008-03-25 Siemens Medical Solutions Usa, Inc. System and method for polyp visualization
US7822461B2 (en) * 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
CN1823349A (zh) * 2003-07-11 2006-08-23 西门子共同研究公司 内窥镜路径规划的系统和方法
EP1678679A1 (en) * 2003-10-17 2006-07-12 Koninklijke Philips Electronics N.V. Manual tools for model based image segmentation
RS49856B (sr) * 2004-01-16 2008-08-07 Boško Bojović Uređaj i postupak za vizuelnu trodimenzionalnu prezentaciju ecg podataka
JP4709600B2 (ja) * 2005-07-15 2011-06-22 株式会社東芝 X線診断装置、撮影角度最適化支援装置及びプログラム
JP4450797B2 (ja) * 2006-01-05 2010-04-14 ザイオソフト株式会社 画像処理方法および画像処理プログラム
JP2007233996A (ja) * 2006-02-06 2007-09-13 Olympus Imaging Corp 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
US8014561B2 (en) * 2006-09-07 2011-09-06 University Of Louisville Research Foundation, Inc. Virtual fly over of complex tubular anatomical structures
US8698735B2 (en) * 2006-09-15 2014-04-15 Lucasfilm Entertainment Company Ltd. Constrained virtual camera control
KR100790890B1 (ko) * 2006-09-27 2008-01-02 삼성전자주식회사 파노라마 영상 생성장치 및 방법
DE602007006811D1 (de) * 2007-10-09 2010-07-08 Agfa Healthcare Nv Verfahren und Vorrichtung zur Volumendarstellung medizinischer Datensätze
US10217282B2 (en) 2007-11-02 2019-02-26 Koninklijke Philips N.V. Automatic movie fly-path calculation

Also Published As

Publication number Publication date
JP2011504117A (ja) 2011-02-03
US10217282B2 (en) 2019-02-26
EP2206093A1 (en) 2010-07-14
CN101842814A (zh) 2010-09-22
US20100259542A1 (en) 2010-10-14
WO2009057035A1 (en) 2009-05-07
CN101842814B (zh) 2013-02-13
EP2206093B1 (en) 2013-06-26

Similar Documents

Publication Publication Date Title
JP5337161B2 (ja) 自動動画飛行経路計算
JP5543922B2 (ja) 強調された冠状動脈表示
JP5224451B2 (ja) 投影画像作成装置、方法およびプログラム
JP5225999B2 (ja) 結合された強度の投影
US7873197B2 (en) Changing the display angle of visualized tubular tissue
US10249092B2 (en) System and method for rendering complex data in a virtual reality or augmented reality environment
JP2004534584A (ja) 3d画像に表示される3dサーフェイスとインタラクトする画像処理方法
CN103971403A (zh) 3d管状结构的曲线重建的快速呈现
JP5194138B2 (ja) 画像診断支援装置およびその動作方法、並びに画像診断支援プログラム
Saito et al. [POSTER] deformation estimation of elastic bodies using multiple silhouette images for endoscopic image augmentation
Auzinger et al. Vessel visualization using curved surface reformation
US20220346888A1 (en) Device and system for multidimensional data visualization and interaction in an augmented reality virtual reality or mixed reality environment
CN107851337B (zh) 交互式网格编辑
Sørensen et al. A new virtual reality approach for planning of cardiac interventions
WO2014119228A1 (ja) 医用画像表示制御装置および方法並びにプログラム
US10692267B1 (en) Volume rendering animations
Kanitsar et al. Diagnostic relevant visualization of vascular structures
JP2005511177A (ja) 体の構造の孤立した視覚化されたものを形成する方法及び装置
CN109754469A (zh) 表面网格切割和切口边界优化处理的方法和系统
CN112884879B (zh) 用于提供至少一个管状结构的二维展开图像的方法
CN109199418B (zh) 至少一个特征变量的可视化
Olson et al. 3D Echocardiography
Fong et al. Development of a virtual reality system for Hepatocellular Carcinoma pre-surgical planning
JP2020199167A (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
Kretschmer Modellierung und Visualisierung vaskulärer und skelettaler Anatomie

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130802

R150 Certificate of patent or registration of utility model

Ref document number: 5337161

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250