JP5568219B2 - 内容に基づいて圧縮された画像の処理 - Google Patents

内容に基づいて圧縮された画像の処理 Download PDF

Info

Publication number
JP5568219B2
JP5568219B2 JP2008068635A JP2008068635A JP5568219B2 JP 5568219 B2 JP5568219 B2 JP 5568219B2 JP 2008068635 A JP2008068635 A JP 2008068635A JP 2008068635 A JP2008068635 A JP 2008068635A JP 5568219 B2 JP5568219 B2 JP 5568219B2
Authority
JP
Japan
Prior art keywords
image data
image
mask
data
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008068635A
Other languages
English (en)
Other versions
JP2008229341A (ja
Inventor
デイビッド・トーマス・ジャーリング
ゴパル・ビリジェリ・アヴィナッシュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2008229341A publication Critical patent/JP2008229341A/ja
Application granted granted Critical
Publication of JP5568219B2 publication Critical patent/JP5568219B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/548Remote control of the apparatus or devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は一般的には、医用画像データの記憶の分野に関する。さらに具体的には、本発明は、階層型データ圧縮によって圧縮された医用画像データを処理する手法に関する。
画像保管通信システムすなわちPACSは、ディジタル化された画像データの管理において、特に医用撮像の分野で極めて重要な構成要素となっている。かかるシステムはしばしば、画像データの中央保管庫として作用し、医用イメージング・システムのような様々なデータ源からデータを受け取る。画像データは記憶されて、網リンクを介して放射線科医、診断医及び紹介医、並びに他の専門家に利用可能となる。PACSの改良によって、利用可能な画像データ量が著しく増進し、施設の内部で、また中央記憶位置と遠隔クライアントとの間での多量のデータ・ファイルのロード及び転送が容易になった。
医療診断分野では、撮像モダリティに依存して、単一の検査における相当数の画像についてのディジタル化されたデータを取得して処理することができ、各々の画像が、再構成画像における離散的な画素又はピクセルを画定する大容量のデータセットを表わしている。例えば計算機式断層写真法イメージング・システムは、極く短い検査時間枠内で関心のある解剖学的構造に沿って多くの別個の画像を形成することができる。理想的には、かかる全ての画像がPACSに集中的に記憶され、再表示(review)及び診断のために放射線科医に利用可能となる。
医用画像データ・ファイルのような大容量データ・ファイルを解析して圧縮するための様々な手法が提案されており、現に用いられている。画像データ・ファイルは典型的には、画像特性、典型的には再構成画像における個々のピクセルの強度又は他の特性を記述するデータのストリームを含んでいる。医療診断分野では、これらの画像ファイルは典型的には、X線システム、磁気共鳴イメージング・システム及び計算機式断層写真法イメージング・システム等でのような画像取得又は符号化の系列の間に作成される。次いで、これらの画像データは、ダイナミック・レンジを調節したり画像に示されている幾つかの特徴を強調したりする等のために処理されて、記憶、伝達及び表示に供される。
画像ファイルは処理前の(raw)フォーマット及び処理済みのフォーマットで記憶させることができるが、多くの画像ファイルは極めて大容量であり、かなりのディスク空間又は記憶空間を占有する。既に生じ、また将来も継続すると考えられるイメージング・システムの分解能の指数関数的な増大から、イメージング・システムの有効ダイナミック・レンジ、画像ピクセル及びボクセルのマトリクス・サイズ、並びに検査当たり取得される画像の枚数の結果として、より多くのデータを典型的に含む大容量化し続ける画像ファイルが作成されるようになった。加えて、新たな臨床的応用及び手法のために現行のPACSシステムに求められる処理及びメモリの要件が現行システムの能力に負担を加え始めており、容積データを経時的にサンプリングすることや、解剖学的特徴及び機能的特徴のさらに見易い視覚化のために多数のエネルギ容積を用いること等に対する臨床現場からの要求が増大し続けている。
大容量画像ファイルは、利用可能なメモリの大部分を占有することに加え、一つの位置から他の位置へ伝送することが困難であったり時間浪費的であったりする。例えば典型的な医用撮像応用では、スキャナ又は他の撮像装置が典型的には処理前のデータを生成し、スキャナにおいてこのデータを少なくとも部分的に処理することができる。次いで、このデータは、典型的にはプログラム型コンピュータを含めた他の画像処理サーキットリへ伝送されて、ここで画像データがさらに処理されて強調される。最終的には、画像データは、システムにローカルに記憶されるか又はPACSに記憶されて、後の検索及び解析に備える。これらのデータ伝送ステップの全てにおいて、大容量画像データ・ファイルにアクセスして、このファイルを一つの装置から他の装置へ伝送しなければならない。
米国特許第6912319号
現在の画像処理手法は、記憶容量の要件を小さくして伝送時間を短くするためにPACS環境の内部での画像データの圧縮を含んでいる。しかしながら、かかる圧縮手法は、再表示のために画像にアクセスして画像同士を相関付けするときに有用であり得るような記述型ヘッダ情報を含めてファイル全体を圧縮する場合がある。さらに、現行の手法は、システムのスループット速度及びアクセス時間に対する増大し続ける要求を満たすのに十分に高速な画像ファイルの圧縮及び展開を提供しない。最後に、代替的な圧縮及び展開手法は、クライアント/サーバ環境において高速な圧縮及び展開と組み合わせたときに所望の圧縮比を提供しない。
既存の圧縮手法のもう一つの欠点は、利用者が全ての利用可能な細部にわたって再構成画像を観察することができない又は観察することを求めない場合でも大容量データ・ファイルの記憶、アクセス及び伝送を行なうことである。例えば、医用撮像では、極めて詳細な画像を取得して記憶することができるが、画像を観察することを求めている放射線科医又は内科医が、画像を記憶したときの分解能で画像を表示することが可能な画面を有しない場合がある。このように、遠隔の観察用ステーションへの画像全体の伝送は、相対的に時間浪費的な動作であって、何ら実質的な利益を齎さずに、画像の読影又は他の利用を遅延させる場合がある。さらに、医用画像の何らかの部分のみが診断又は治療に関わる場合もある。このように、PACSのかなりの記憶空間が患者の診断及び治療に関わらない医用画像データの記憶に割り当てられる場合がある。この問題は、イメージング・システムが高い分解能を達成するほど、多くのデータ記憶空間の必要性に対応するため、深刻化する。
従って、画像ファイルの高速の圧縮及び展開を提供し、改善された圧縮比及び伝送時間を得る改良型の画像データ圧縮及び展開手法が必要とされている。加えて、圧縮された画像データ・ファイルを、帯域幅及びクライアント側での所望の分解能又は利用可能な分解能に応じて、様々な分解能又は寸法で作成して伝送することを可能にする手法が必要とされている。さらに、イメージング・システムがデータ処理リソースをさらに効率よく集中管理し得るようにする手法が特に必要とされている。
圧縮後の多重分解能医用画像データの処理すべき部分の優先順位を決める手法が提供される。関連性の高いすなわち重要性の高い画像データの部分が、関連性の低いすなわち重要性の低い画像データの部分の前に処理され得る。但し、この反対が生じてもよい。画像データの部分の関連性は、医用画像データを得るときの臨床的目的に基づく。医用画像を得るときの臨床的目的を用いて、画像データの内容を、画像データを得るときの目的に対する関連性に基づいて幾つかの領域に分割する分割アルゴリズムを選択する。分割後のデータからマスクを作成する。マスクを用いて、データ圧縮品質係数を画像データの対応する画像ブロックに割り当てる。各々の領域の画像データは、割り当てられた品質係数に基づいて圧縮される。画像データを得るときの目的に対する関連性の最も高い領域の画像データは、無損失データ圧縮によって圧縮され得る。画像データを得るときの目的に対する関連性の低い領域の画像データは、損失データ圧縮によって圧縮され得る。関連性の最も高い領域の画像データ、関連性の低い領域の画像データ、及びマスクは、長期データ記憶に記憶される。画像データを得るときの目的に対して関連性を有しない領域の画像データは、廃棄される。
処理時には、圧縮後画像データにアクセスする。加えて、マスクにアクセスし、マスクを用いて圧縮後画像データの処理を指示する。応用に依存して、マスクを用いて、関連性の最も高い領域の画像データを関連性の低い領域の画像データの前に処理するように指示することができる。但し、マスクを用いて、関連性の低い領域の画像データを関連性の最も高い領域の画像データの前に処理するように指示してもよい。
以上に述べた本発明の特徴、観点及び利点、並びに他の特徴、観点及び利点は、以下の詳細な説明を添付図面に関して精読するとさらに十分に理解されよう。図面では、類似の参照符号は図面全体を通じて類似の部分を表わす。
図1を参照して、例示的なイメージング・システム、この場合には計算機式断層写真法(CT)イメージング・システムと共に適用され得るものとして本発明を説明する。但し、一般的には、本発明の手法を任意の適当な撮像モダリティによって生成される画像データと共に用い得ることに留意されたい。典型的な応用では、イメージング・システムは、原画像データを取得すること、並びに表示及び解析のために画像データを処理することの両方を行なうように設計され得るものとして掲げられている。但し、以下で述べるように、幾つかの応用では、画像データ取得及び後続の処理(例えば後述する変換及び圧縮のための処理)を物理的に別個のシステム又はワークステーションにおいて行なってもよい。CTイメージング・システム20の図示の実施形態は、フレーム22、ガントリ24、及び中孔(撮像容積又はCTボア容積)26を有する。患者テーブル28がフレーム22及びガントリ24の中孔26に配置される。患者テーブル28は、患者30が検査工程の間に楽に横臥し得るように構成される。
CTイメージング・システム20の図示の実施形態は、X線源32を有し、X線源32は、X線源32から発するX線ビーム36の寸法及び形状を画定するコリメータ34に隣接して配置される。典型的な動作では、X線源32は、ガントリ24の反対側に装着されている検出器アレイ38に向かって放射線流(X線ビーム)36を投射する。X線ビーム36の全て又は一部が、患者30のような被検体を透過した後に、検出器アレイ38に入射する。尚、X線ビーム36の全て又は一部は、肝臓、膵臓及び心臓等のような患者30の特定の領域を横断して、この領域の走査の取得を可能にし得ることを特記しておく。検出器アレイ38はシングル・スライス検出器であってもよいしマルチ・スライス検出器であってもよく、一般的には、複数の検出器素子によって形成される。各々の検出器素子が、X線ビーム36が検出器アレイ38に入射したときの検出器素子での入射X線ビーム36の強度を表わす電気信号を発生する。これらの信号は取得されて、患者30の体内の特徴の画像を再構成するように処理される。
ガントリ24は、X線源32の患者30に対する相対移動によって描かれる撮像軌跡に沿って複数の放射線像が収集され得るように、患者30の周りを回転することができる。具体的には、X線源32及び検出器アレイ38がガントリ24と共に回転するのに伴って、検出器アレイ38は患者30に対する様々な視角においてX線ビーム減弱から得られるフォトンを収集して、入射フォトンを表わす信号又はデータを発生する。次いで、検出器アレイ38から収集されたデータに前処理及びフィルタ処理を施して、被走査患者30の減弱係数の線積分を表わすようにデータを調整する。次いで、投影と一般に呼ばれる処理済みのデータをフィルタ補正及び逆投影して、被走査面積の画像を構成する。このように、幾つかの態様で360°以下又は以上分の投影データを反映し得る画像又はスライスを取得して、画像を構成する。
ガントリ24の回転及びX線源32の動作は、CT検査系列のための電力信号及び制御信号の両方を供給するシステム制御器40によって制御される。さらに、検出器アレイ38もシステム制御器40に結合されており、システム制御器40は検出器アレイ38において発生された信号の取得を指令する。システム制御器40はまた、ダイナミック・レンジの初期調節、及びディジタル画像データのインタリーブ処理等のような様々な信号処理作用及びフィルタ処理作用を実行することができる。一般的には、システム制御器40は、検査プロトコルを実行して取得されたデータを処理するようにイメージング・システム20の動作を指令する。本書の状況では、システム制御器40はまた、汎用又は特定応用向けのディジタル・コンピュータを典型的に基本要素とする信号処理サーキットリ、コンピュータによって実行されるプログラム及びルーチンや構成パラメータ及び画像データを記憶する付設のメモリ・サーキットリ、並びにインタフェイス回路等を含んでいる。システム制御器40は、ガントリ24の回転速度及び位置を制御するガントリ・モータ制御器42と、中孔26の内部での患者テーブル28の線形変位を制御するテーブル・モータ制御器44とを含んでいる。この態様で、ガントリ・モータ制御器42はガントリ24を回転させ、これによりX線源32、コリメータ34及び検出器アレイ38を1回又は多数回にわたって患者30の周りで回転させる。同様に、テーブル・モータ制御器44は、患者テーブル28、従って患者30を、中孔26の内部で線形変位させる。加えて、X線源32は、システム制御器40の内部に配設されたX線制御器46によって制御され得る。具体的には、X線制御器46は、X線源32に電力信号及びタイミング信号を供給するように構成され得る。
図示の実施形態では、システム制御器40はまた、データ取得システム48を含んでいる。この実施形態の例では、検出器アレイ38はシステム制御器40に結合され、さらに具体的にはデータ取得システム48に結合されている。データ取得システム48は典型的には、検出器アレイ38からサンプリングされたアナログ信号を受け取って、これらのデータをディジタル信号へ変換して後続の処理に供する。コンピュータ52に結合された画像再構成器50が、サンプリングされてディジタル化されたデータをデータ取得システム48から受け取ることができ、高速画像再構成を実行する。代替的には、画像の再構成は、コンピュータ52によって行なわれてもよい。一旦、再構成されたら、イメージング・システム10によって形成された画像は患者30の体内の特徴を明らかにする。
データ取得システム48によって収集されたデータすなわち再構成画像は、コンピュータ52及びメモリ54へ伝送され得る。多量のデータを記憶する任意の形式のメモリがかかる例示的なイメージング・システム10によって利用され得るものと理解されたい。また、コンピュータ52は、キーボード及び他の入力装置を典型的に備えた操作者ワークステーション56を介して操作者から命令及び走査パラメータを受け取るように構成され得る。操作者は、操作者ワークステーション56を介してCTイメージング・システム20を制御することができる。このように、操作者は、再構成画像、及びシステムに関連するコンピュータ52からのその他データを観察する、並びに撮像を開始する等を行なうことができる。
CTイメージング・システム20はまた、操作者ワークステーション56及びコンピュータ52に結合されている表示器58を有し、この表示器58を利用者によって用いて、再構成画像を観察したり、CTイメージング・システム20の動作の制御のためのインタフェイスを設けたりすることができる。本実施形態では、医用画像のハード・コピーの印刷を可能にするプリンタ60が存在している。図示の実施形態では、CTイメージング・システム20は、操作者ワークステーション56を介して、画像データの長期記憶のために画像保管通信システム(PACS)62に結合されている。尚、PACS62は、放射線科情報システム(RIS)、病院情報システム(HIS)のような遠隔システム64、又は内部網若しくは外部網に結合されていてよく、異なる位置の第三者が画像及び画像データへのアクセスを得ることができるようにしていることを特記しておく。但し、画像データへのアクセスは、PACS62を介して遠隔において得られてもよい。
さらに、コンピュータ52及び操作者ワークステーション56は、標準型又は特殊目的向けのコンピュータ・モニタ及び付設の処理サーキットリのような他の出力装置に結合されていてよいことを特記しておく。システム・パラメータを出力したり、検査を依頼したり、画像を観察したりする等のために、1又は複数の操作者ワークステーション56がCTイメージング・システム20にさらにリンクされていてよい。一般的には、CTイメージング・システム20内に供給されている表示器、プリンタ、ワークステーション及び類似の装置は、データ取得構成要素に対してローカルに位置していてもよいし、施設若しくは病院の内部の他の箇所、又は全く異なる位置のようにこれらの構成要素から遠隔に位置していて、インターネット及び仮想私設網等のような1又は複数の構成自在型網を介してイメージング・システムCTにリンクされていてもよい。
前に述べたように、本書で参照されるCTシステムは、本発明の手法に従って扱うことのできる画像データの発生源の一例にすぎないことに留意されたい。殆どのかかるシステムは、撮像モダリティの特定の物理的性質に従って画像データを取得してデータを少なくとも部分的に処理するように特に構成された操作者インタフェイス及びソフトウェアを含んでいる。実際に、CTシステムのその他の構成、及び他の再構成手法等が、本書に記載されるように管理され得る画像データを生じ得る。
図2を全体的に参照すると、画像データを受け取り、圧縮し、展開するPACS62の実施形態の一例が掲げられている。図示の実施形態では、CTイメージング・システム20は画像データの短期記憶のみのために用いられている。CTイメージング・システム20のメモリ54は制限されており、特にこのシステムを用いて診療所、病院又は他の施設において多数の患者の検査を行なうときに、如何なる程度の永続性であれ永続的に画像データを記憶するのに用いることができない。例えば、古い画像データによって占有されているデータ空間は、新たな画像データによって上書きされ得る。医用画像データの長期記憶のためにはPACS62を用いる。図示の実施形態では、PACS62は、CTイメージング・システム20から、及び参照番号66によって示す幾つかの他の別個のイメージング・システムから、画像データを受け取る。当業者には認められるように、イメージング・システムは、MRIシステム、PETシステム、放射線フルオロスコピィ(RF)、計算機式ラジオグラフィ(CR)、超音波システム、ディジタルX線システム、X線トモシンセシス・システム、及び超音波システム等のように、様々な形式及びモダリティのものであってよい。さらに、システムは、処理ステーション、又は既存のフィルム若しくはハード・コピー画像に基づいてディジタル化画像データを提供するように設計された設備のようなディジタル化ステーションを含み得る。また、画像データをPACSへ供給するシステムは、同じ施設又は拠点のようにPACSに関してローカルに位置していてもよいし、離れた診療所又は提携施設のようにPACSから完全に遠隔に位置していてもよいことを特記しておく。後者の場合には、画像データは、公開網、専用網及び仮想的私設網等を含めた任意の適当な網リンクを介して伝送され得る。
PACS62は、画像データを受信して処理し、展開及び再表示のために画像データを利用可能にするように設計された1又は複数のファイル・サーバ68を含んでいる。ファイル・サーバ68は、入出力インタフェイス70を介して画像データを受け取る。画像データは、圧縮/展開インタフェイス72を介してアクセスされるルーチンにおいて圧縮され得る。後に改めて詳述するように、圧縮/展開インタフェイス72は、記述的な画像データをファイル・サーバ68及びPACSの他構成要素による参照のために利用可能なままに保ちつつ、到来する画像データを高速に及び最適に圧縮するものである。所望に応じて、圧縮/展開インタフェイス72はまた、ファイル・サーバ68を介してアクセスされる画像データを圧縮するものであってよい。ファイル・サーバ68はまた、参照番号74に示すような内部クライアントにも結合され、各々のクライアントが典型的にはワークステーションを含み、このワークステーションにおいて、放射線科医、内科医又は臨床医が所望に応じてサーバからの画像データにアクセスし、画像データを圧縮し、画像データを観察し又は出力することができる。クライアント74はまた、検査系列の再表示に続く放射線科医の口述のような情報を入力することができる。同様に、ファイル・サーバ68は、画像データにアクセスして画像データを展開し、プリンタ78又は他の周辺装置を介してハード・コピー画像を出力するように設計されているプリンタ・インタフェイス76のような1又は複数のインタフェイスに結合されていてもよい。
データベース・サーバ80が、1又は複数のファイル・サーバ68を参照することにより、PACSの内部で画像データと他のワークフロー情報とを関連付けるために用いられる。現状で思量される実施形態では、データベース・サーバ80は、紹介医又は診断医情報、患者情報、背景情報、及びワークリスト相互参照等のような特定の画像系列についての相互参照型情報を含み得る。データベース・サーバ80の内部の情報は、画像データ・ファイルの記憶及び互いに対する関連付けを容易にすると共に、依頼側クライアントがシステム内に記憶されている画像データ・ファイルに高速に且つ正確にアクセスすることを可能にするのに役立つ。同様に、ファイル・サーバ68は、バックアップ及び保管の目的での多量の画像データの保管庫となる光学式記憶システムのような1又は複数のアーカイブ82に結合される。ファイル・サーバ68と、ファイル・サーバ68に付設されており短期記憶システムを形成する任意のメモリと、アーカイブ82との間で画像データを伝達する手法は、放射線科医による再表示及び口述に続いて画像データを保管する、又は画像ファイルの受領若しくは再表示から十分な時間が経過した後に画像データを保管する等のように、任意の適当なデータ管理方式に従うものであってよい。
図示の実施形態では、システム機能をさらに増強するために、PACSシステム又は施設の他の構成要素が上に述べた構成要素に統合されていてもよい。例えば、圧縮/展開ライブラリ84が圧縮/展開インタフェイス72に結合されて、圧縮及び展開ルーチンの実行時の入出力インタフェイス70(又は他のシステム構成要素)によるアクセスのために圧縮ルーチン、アルゴリズム、及びルックアップ・テーブル等を記憶する(すなわち様々なルーチン、ソフトウェアの各バージョン、及び符号テーブル等を記憶する)役割を果たす。実用では、圧縮/展開インタフェイス72が圧縮/展開ライブラリ84の一部であってもよい。ライブラリ84はまた、内部クライアント74又はプリンタ・インタフェイス76のようなシステムの他の構成要素に結合されて、同様に圧縮及び展開ルーチン及びアルゴリズムのためのライブラリ又は貯蔵部となってもよい。尚、圧縮/展開ライブラリ84は別個の構成要素として図示されているが、ファイル・サーバ68の内部を含めて任意の適当なサーバ又はメモリ装置に含まれていてもよいものと理解されたい。さらに、後述する圧縮及び展開工程を定義するコードは、圧縮/展開インタフェイス72及び/又は圧縮/展開ライブラリ84に直接ロードされてもよいし、広域網及び公開網等を含めた網リンクを介してロードされ又は更新されてもよい。
さらに他のシステムが、サーバ80に直接的に、又は入出力インタフェイス70のようなインタフェイスを介して、PACSにリンクされていてもよい。図2に示す実施形態では、放射線科情報システム又はRIS86がファイル・サーバ68にリンクされて、データの交換、典型的には、データベース・サーバ80、及び中央又は診療科別の情報システム又はデータベースの内部での相互参照用データの交換を容易にする。同様に、病院情報システム又はHIS88もデータベース・サーバ80に結合されていてよく、同様にデータベース情報及びワークフロー情報等を交換することができる。所望に応じて、かかるシステムはPACSシステムに対し、データ交換ソフトウェアを通じてインタフェイス接続されていてもよいし、部分的に又は完全に統合されていてもよく、PACSデータベースと、放射線科データベース又は病院データベースとの間でのデータのアクセスを提供したり、単一の相互参照用データベースを提供したりすることができる。同様に、参照番号90に示すような外部クライアント(EC)がPACSにインタフェイス接続されて、遠隔位置において画像を観察するのを可能にすることができる。かかる外部クライアントは、展開ソフトウェアを用いていてもよいし、圧縮/展開インタフェイス72によって既に展開された画像ファイルを受け取ってもよい。この場合にも、かかる外部クライアントに対するリンクは、広域網及び仮想的私設網等のような任意の適当な接続を介して形成され得る。
図示の実施形態では、PACS62は、多重分解能(又は多重寸法)画像データ圧縮を提供する。利用者が完全画像を最大分解能で観察することを望まない場合、又は利用者画面が限定されている場合に、かかる多重分解能画像圧縮は、優れた画質で観察するために寸法を縮小した画像を利用者へ伝達することを容易にする。さらに、多重分解能画像圧縮は、まだ転送されていない寸法の大きい画像の成分に対応する圧縮されたデータの部分のみを転送することにより、利用者が寸法を縮小した又は分解能を低下させた画像を相対的に高速に観察したり後に画像を「ズーム」したりするのを可能にすることができる。次いで、付加的なデータを処理して寸法を縮小した画像データと結合し、寸法の大きい画像を得る。加えて、以下に述べる手法は、目的主導型の画像データ記憶を用いて、PACS62に記憶された画像に関連する記憶済み画像データの量を削減する。
尚、以下に述べる画像データの処理及び記憶は、PACS62において実行されてもよいし、その他任意の適当なシステム構成要素(1又は複数)において実行されてもよいことを特記しておく。処理は典型的には、システムが関連計算を実行し得る限りにおいて、取得コンピュータ、PACS、操作者ワークステーション及びサーバ等の任意の1又は複数のものにおいて記憶されて実行され得るコンピュータ・コードとして具現化される。
多重分解能の具現化形態は、無損失整数ウェーブレット分解に部分的に基づいたものであってよい。明確に述べると、当業者には認められるように、ウェーブレット分解は、二項型(dyadic)フィルタ処理及びサブ・サンプリング工程を含む。この分解から、サブ・バンドの階層型集合が作成される。後に改めて詳述するように、ウェーブレット変換後の画像データセットは、低周波数成分と、低周波数成分の雑音又はばらつきとも看做され得る高周波数成分とを共に含んでいる。単一レベルのウェーブレット分解から、一つの低周波数サブ・バンドLLと、三つの高周波数サブ・バンドLH、HL及びHHとを共に含む分解後のデータセットが得られる。後続の分解は、この低周波数サブ・バンドを、一つの低周波数バンドと三つの付加的な高周波数サブ・バンドとを共に含むサブ・バンドの集合にさらに分解したもう一つのデータセットを生成するものと考えてよい。
図3を全体的に参照すると、画像の内容に基づいて画像の内部の画像データを選択的に記憶させる手法が掲げられており、参照番号92によって全体的に表わされている。図示の手法は、撮影された各々の医用画像についてPACS62に記憶される医用画像データの量を削減することを可能にする。医用画像データを得たときの目的を知ることにより、関連性の高い医用画像の内容、及び関連性の低い又は関連性のない医用画像の内容を識別することが可能である。図示の実施形態では、関連性の高い医用画像の内容は、画像の完全分解能を保持する無損失データ圧縮によって圧縮される。関連性の低い医用画像の内容は、画像の該当領域について相対的に低い分解能を生ずる損失データ圧縮によって圧縮される。関連性のない医用画像の内容は、完全に廃棄される。データ圧縮の後に、関連性の高い画像の内容又は関連性の低い画像の内容をPACS62の長期記憶に記憶させる。ある画像についての画像データの全てが完全分解能で記憶される訳ではないので、画像によって要求されるデータ記憶容量が削減される。
以降で改めて詳述するように、医用画像の異なる内容に対し、関連性を確定する品質係数が割り当てられ、従って、画像データの該当部分を圧縮するときのデータ圧縮の形式、又は関連性のない画像データの場合にはこの部分をそもそも圧縮するか否かを確定する。本実施形態では、関連性の高い画像データに対応する品質係数を割り当てられた医用画像データのあらゆる部分が無損失圧縮によって圧縮される。関連性の低い画像データに対応する品質係数を割り当てられた医用画像データのあらゆる部分は損失圧縮によって圧縮されて、完全分解能に満たない分解能で記憶される。最後に、関連性のない画像データに対応する品質係数を割り当てられた医用画像データのあらゆる部分は廃棄されて、一切圧縮されない。
特定の領域又は解剖学的特徴に割り当てられた圧縮品質係数は、医用画像データを得るときの臨床的目的に基づく。走査の臨床的目的に依存して、一つの解剖学的特徴について、ある医用画像においては関心が高く、他の医用画像では関心が殆ど又は全くない場合がある。例えば、走査の目的が、放射線科医が脳の腫瘍を探すのを可能にすることにある場合には、脳以外の解剖学的特徴に対する関心は低い。従って、この例では、脳組織画像データは関連性が高く、関連性が高いことを反映するような品質係数を割り当てられる。一方、血管画像データは関連性が低く、関連性が低いことを反映するような品質係数を割り当てられる。同様に、脳脊髄液には関連性がなく、無関連性を反映するような品質係数を割り当てられる。
この手法は、ブロック94によって全体的に表わされているように、医用画像データを得るときの臨床的目的を識別することを求める。アンジオグラム、マンモグラム、灌流、及び腫瘍、動脈瘤、閉塞血管の位置検出等のように、医用画像データを得るときの多数の臨床的目的の任意のものが存在し得る。加えて、走査は身体の任意の部分について行なわれ得る。システム操作者は、目的のメニュー又はリストから目的を選択することができ、これにより手法の各ステップを自動的に実行するようにシステムに指令する。
医用画像データを得るために、CTイメージング・システム20を用いて患者を走査し、このことがブロック96によって全体的に表わされている。図示の実施形態では、得られる画像データは三次元画像データである。但し、時間、温度、圧力等のような他の様々な形式のデータに対応する付加的な次元の画像データも得ることができる。図示の実施形態では、患者を走査することにより得られる医用画像データは、CTイメージング・システム20から利用可能な最高の分解能である単一の分解能で得られる。上で述べたように、この手法は、CTイメージング・システム20以外のイメージング・システムでの利用にも適用可能である。他の物理的パラメータ、各々のピクセル又はボクセルの強度、色、輝度又は他のパラメータ若しくは特性に基づく撮像技術は、当該技術に固有の物理的性質(例えばMRIシステムの場合には正味の磁気モーメント、及びPETイメージング・システムの場合には受光されるγ線等)に基づくものとなる。
次いで、長期記憶の前にさらに他の処理のために完全分解能医用画像データにアクセスし、このことがブロック98によって全体的に表わされている。医用画像データは、CTイメージング・システム20及び/又はPACS62によって処理され得る。但し、本実施形態では、CTイメージング・システム20は、医用画像データの長期記憶には用いられない。代わりに、医用画像データの長期記憶はPACS62において生ずる。但し、本発明の手法の他の実施形態では、PACSではなくイメージング・システムが医用画像データの長期記憶に用いられてもよい。
ブロック100によって表わされているように、走査の臨床的目的に基づいて医用画像データの内容を分割する分割アルゴリズムが選択される。例えば、走査の目的が、放射線科医が腫瘍について脳を検査するのを可能にすることにある場合には、脳組織、骨及び皮膚等のような頭部の様々な組織を分割するように適応構成されている分割アルゴリズムが選択され得る。もう一つの例としては、走査の目的が膝の軟骨の状態を検査することにあった場合には、軟骨を骨、筋肉及び靭帯のような他の組織から分割するように適応構成されている分割アルゴリズムが選択され得る。分割目的で原画像データの複製を用いることができる。一旦、選択されたら、この分割アルゴリズムを用いて画像データを分割し、このことがブロック102によって全体的に表わされている。図示の実施形態では、分割後画像データは三次元画像データである。
図示の実施形態では、分割後画像データを用いて、画像データを得るときの臨床的目的に対する関連性に基づいて少なくとも三つの群を有するマスクを作成し、このことがブロック104によって全体的に表わされている。本実施形態では、分割アルゴリズムは、画像データの分割後の部分を、医用画像データを得るときの臨床的目的に対する関連性に基づいて三つの群に分類するように動作可能である。三つの群は、関連性の高い内容を有する画像データ、関連性の低い内容を有する画像データ、及び関連性のある内容を有しない画像データである。例えば、一つの分割アルゴリズムは、脳画像の内部で脳組織、骨、及び脳脊髄液に満たされた脳室を分割することができる。本実施形態では、画像データの部分を分割することに加えて、分割プログラムは、脳組織、骨、及び脳脊髄液で満たされた脳室についての関連性の程度を、医用画像データを得るときの臨床的目的に基づいて確定することができる。画像データを得るときの目的が脳腫瘍を識別することにある場合には、脳組織は関連性が高いと識別され、骨は関連性が低い又は場合によっては関連性がないと識別される。同様に、脳脊髄液で満たされた脳室は関連性がないと識別される。画像データを得るときの他の目的が存在していた場合には、様々な組織についての関連性の程度は変化し得る。マスクは、この実施形態では三次元画像データを含んでいる。加えて、もう一つの実施形態では、分割アルゴリズムの代わりに別個のアルゴリズムを用いてマスクを作成してもよい。
マスクは、画像データの三つの群に対応する品質係数を割り当てられた画像ブロックで構成される。各々の画像データ群に対し、これらの群を区別する異なる品質係数が割り当てられる。例えば、関連性の高い画像データに対応するマスクの画像ブロックには、品質係数「2」が割り当てられ得る。同様に、関連性の低い画像データに対応するマスクの各々の部分には、品質係数「1」が割り当てられ、関連性のない画像データに対応するマスクの画像ブロックには品質係数「0」が割り当てられ得る。但し、これらの数は任意であり、この手法を利用しているシステムに依存して変化してよい。マスクは、ブロック106によって全体的に表わされているように、圧縮の画像ブロック・サイズに適当な分解能で記憶される。
次いで、マスクに割り当てられた品質係数に基づいて画像データの各々の画像ブロックに品質係数を割り当て、このことがブロック108によって全体的に表わされている。マスクの画像ブロックの品質係数は、画像データの対応する画像ブロックへ伝達される。上で述べた例では、関連性の高い画像データの全ての画像ブロックには品質係数「2」が割り当てられ、関連性の低い画像ブロックの画像ブロックには品質係数「1」が割り当てられ、関連性のない画像データの画像ブロックには品質係数「0」が割り当てられる。
次いで、割り当てられた品質係数を用いて医用画像データが圧縮され、このことがブロック110によって全体的に表わされている。品質係数を用いて、関連性の高い画像データに対応する画像ブロックは無損失で圧縮される。関連性の低い画像データに対応する画像ブロックは損失圧縮によって圧縮される。最後に、関連性のない画像データに対応する画像ブロックは廃棄されて、圧縮されない。図示の実施形態では、PACS62が画像データを圧縮する。PACSはデータ圧縮の前に各々の画像ブロックについて品質係数を識別し、次いで、適当なアルゴリズム又はツールを用いて画像データのブロックを圧縮する。また、画像データは、ウェーブレット変換を用いて複数の分解能レベルへ分解され得る。
データ圧縮の後に、圧縮後画像及び圧縮後マスクを長期記憶に記憶させ、このことがブロック112によって全体的に表わされている。ここから、画像データを長期記憶から検索して何時でも観察に供することができる。画像データの全てが無損失圧縮で記憶されている訳ではないので、各々の画像を記憶するのに必要とされるデータ記憶容量が削減される。しかしながら、関連性の高い画像データの全ては無損失データ圧縮で保存されるので、画像の関連性の高い領域では画像データ又は分解能の損失が存在しない。加えて、説明を明瞭にするために関連性の低い画像データが与えられているが、このデータは関連性の高い画像データよりも低い分解能で形成される。関連性の低い画像データの分解能は、所望の値に設定され得る。
図4を全体的に参照すると、画像の内容に基づいて画像データを選択的に記憶させる手法の線図表現が掲げられており、参照番号114によって全体的に参照されている。原画像116を用いて分割後画像118を作成する。上でも述べたように、分割アルゴリズムを用いて、検査の臨床的目的に基づいて原画像を分割する。次いで、分割後画像118を用いてマスク120を作成する。次いで、マスク120を用いて、ブロック122によって表わされているように、原画像122の様々な領域に対して異なる品質係数を割り当てる。次いで、画像データの様々な部分を、各部分の割り当てられた品質係数に基づいて処理し、このことをブロック124によって表わしている。関連性の値の大きい画像データの部分及び関連性の値の小さい画像データの部分は、各部分の割り当てられた品質係数に従って圧縮され、このことをブロック126によって表わしている。上で述べたように、関連性の高い状態を有する画像データの部分は無損失分解能によって圧縮され、関連性の低い状態を有する部分は完全分解能に満たない分解能で損失圧縮によって圧縮される。次いで、ブロック126によって表わされているように、圧縮後データを長期記憶に記憶させる。関連性のない画像データに対応する品質係数を有する画像データの部分は廃棄されて長期記憶には記憶されず、このことをブロック130によって表わしている。このように、長期記憶に記憶される画像は、廃棄される領域についての画像データを一切有しない。結果として、長期記憶に記憶された画像データから形成される画像は、異なる分解能を有する部分又は領域で構成される。画像の関連性の最も高い部分は完全分解能を有するが、関連性の低い画像は相対的に低い分解能を有する。加えて、画像は、ウェーブレット分解を用いて分解されて、様々なレベルの画像分解能を生ずることができる。かかる多重分解能画像セットでの各々の分解能レベルは、完全分解能(当該分解能レベルについて)の部分及び相対的に低い分解能(当該分解能レベルについて)の部分を有するものとなる。
図5を全体的に参照すると、患者の膝の再構成画像スライスが掲げられており、参照番号132によって全体的に参照されている。この画像では、画像データを得るときの臨床的目的は、膝132の内部の大腿軟骨134の状態を検査することにある。大腿軟骨134に加えて、大腿骨及び脛骨の一部を含めて膝134の様々な骨136が示されている。加えて、筋肉及び靭帯のような他の軟組織138も示されている。
図6を全体的に参照すると、大腿軟骨134の分割後画像が掲げられている。加えて、膝の他組織が分割されて、マスクを形成するのに用いられている。
図7を全体的に参照すると、図5の膝のマスクが参照番号140によって全体的に表わされて掲げられている。本実施形態では、マスク140は、組織の三つの群を表わす三つの領域を有しており、各々の領域が固有の品質係数を有している。大腿軟骨に対応する画像ブロック142には、これらの画像ブロックが関連性が最も高いことを意味する品質係数が割り当てられている。この特定の実施形態では、大腿軟骨に対応する画像ブロック142は関連性が最も高く、品質係数「2」が割り当てられる。膝の骨に対応する画像ブロック144は関連性がなく、これらの画像ブロックが関連性がないことを意味する品質係数「0」が割り当てられる。最後に、膝の軟組織に対応する画像ブロック146には、これらの画像ブロックが関連性を有するが大腿軟骨よりも関連性が低いことを意味する品質係数「1」が割り当てられる。
前述のように、マスク140を用いて、画像データの圧縮を指示する品質係数を図5の膝132に割り当てる。本実施形態では、値「2」を有する品質係数を割り当てられた膝132の画像の部分は、無損失圧縮によって圧縮される。この例では、この部分は大腿軟骨及び大腿軟骨の隣接組織の幾つかに対応する。値「1」を有する品質係数を割り当てられた膝132の他部分は、損失圧縮によって圧縮される。この例では、この部分は膝138の軟組織138に対応する。結果として、データが圧縮された後に観察すると、軟組織は大腿軟骨134よりも低い分解能を有する。最後に、品質係数「0」を割り当てられた膝132の部分は単純に廃棄されて、長期記憶には記憶されない。この例では、この部分は骨に対応する。結果として、画像の領域の全てが完全分解能で記憶されていた場合よりも画像を記憶するのに必要とされるデータ記憶空間が少なくなる。しかしながら、意図されたものは完全分解能で提示される。この例では、この部分は大腿軟骨及び幾つかの隣接組織である。
図8を全体的に参照すると、以上に述べた手法を用いて圧縮された画像データを処理する手法が掲げられており、参照番号148によって全体的に参照されている。マスクは、画像データの関連性の高い領域を、関連性の低い又は関連性のない領域から区別する画像データのマップを提供する。マスクはまた、圧縮後画像データの処理を、領域の関連性に基づいて画像データの各領域の間で差別化することを可能にする。図示の実施形態では、少なくとも一つのレベルの多重分解能画像データが、マスクに記憶された関連性情報に基づいて適応型で処理される。この適応型処理は幾つかの形態を取り得る。例えば、画像データの関連性/重要性の高い領域を画像データの関連性の低い領域の前に処理することができる。
本実施形態では、マスクに長期記憶からアクセスし、このことがブロック150によって全体的に表わされている。加えて、圧縮後画像データに長期データ記憶からアクセスし、このことがブロック152によって全体的に表わされている。マスクを用いて、圧縮後画像データのアクセスする部分を確定することができる。図示の実施形態では、マスクを用いて、圧縮後画像データの様々な関心領域の相対的な重要性についてのデータを与えており、このことをブロック154によって表わしている。
図示の手法では、画像処理リソースが、マスクによって与えられる関連性データに基づいて優先順位を決められ、このことがブロック156によって全体的に表わされている。例えば、マスクを用いて、画像データの分割又は位置揃えを指示することができる。関連性による画像データの分割は、マスクにおける関連性データを用いて容易に達成されることができ、例えばマスクを、関連性の高い画像データのみを記憶から検索して展開して処理する指針として用いることができる。マスクはまた、他形式の分割のためのガイドとしての役割も果たし得る。位置揃え及び分割手法はしばしば、画像勾配の確率的サンプリングを用いて、時間及び処理リソースを節約する。マスクを用いることにより、画像領域からの無作為のサンプルを、関連性又は重要性の最も高い領域に指向させることができる。但し、他の応用では、関連性の低い領域を、関連性の高い領域の前に処理してもよい。関連性データを用いて画像処理を誘導する他の例については後述する。
画像処理リソースの優先順位を決めることの代替として又はこのことに加えて、画像表示リソースが、マスクによって与えられるデータに基づいて優先順位を決められ、このことがブロック158によって全体的に表わされている。例えば、画像データの関連性/重要性の高い領域を、画像データの関連性の低い領域の前に表示用に処理することができる。次いで、処理済みの画像データを表示してモニタ又は他の視覚化装置での観察に供し、このことがブロック160によって全体的に表わされている。
図9を全体的に参照すると、パターン・マッチングを用いた計算機支援式診断(CAD)手法の一例が掲げられており、参照番号162によって全体的に表わされている。このCAD手法は、関連性データを用いて画像処理を誘導するもう一つの例である。CAD手法の図示の実施形態は、多重分解能撮像の利用、及び画像データの関連性の高い領域に対するパターン・マッチング工程を優先させるようなマスクの利用から利益を得る。記憶済み画像164の各領域を一組のテンプレート166の内部のテンプレートと比較する。図示の実施形態では、一組のテンプレート166は、第一のテンプレート168、第二のテンプレート170、及び第三のテンプレート172で構成されている。但し、一組のテンプレート166がさらに多くのテンプレートで構成されていてもよい。一組のテンプレート166は、病変のような関連性のある領域を表わすものである。
比較器アルゴリズム174を用いて、パターン・マッチングのための比較を行なう。多重分解能画像データの相対的に低い分解能の形態を初期的に用いて、同様の分解能のテンプレートと比較する。初期比較からの最良一致を、多重分解能画像データの相対的に高い分解能の形態を用いてさらに解析する。マスクを用いて、画像データの関連性の高い領域を比較に用いるようにマッチング工程に指示する。また、マスクを用いて、画像データの関連性の高い領域においてさらに細かい処理を用いるようにパターン・マッチング工程に指示することもできる。
本発明の手法のもう一つの実施形態では、関連性データを用いて、内容に基づく画像検索(CBIR)のための画像処理を誘導する。CBIR手法もまたパターン・マッチングを用いており、検索のために与えられたサンプル画像に最もよく一致する記憶済み画像を求めて画像データベースを検索する。上と同じく、多重分解能画像データの相対的に低い分解能の形態を初期的に用いて、サンプル画像と比較する。初期比較からの最良一致を、多重分解能画像データの相対的に高い分解能の形態を用いてさらに解析する。マスクを用いて、画像データの関連性の高い領域を比較に用いるようにマッチング工程に指示する。また、上と同じく、マスクを用いて、画像データベースの画像の関連性/重要性の高い領域においてさらに細かい処理を用いるようにパターン・マッチング工程に指示することもできる。
図10を全体的に参照すると、マスクを用いて多重分解能画像データの関連性の高い領域からの画像データを優先させる画像表示手法の一例が掲げられており、参照番号176によって全体的に表わされている。図示の実施形態では、多重分解能画像データ及び多重分解能マスクがPACSに記憶されている。但し、画像データは他の形態のデータ記憶に記憶されていてもよい。参照番号178によって全体的に表わされている多重分解能画像データは、PACSによって処理されて、表示器182を有するハンド・ヘルド型画像表示装置180へ伝送される。
画像データの多重分解能の具現化形態は、サブ・バンドの階層型集合を作成する。多重分解能画像データ178は、低周波数成分と、低周波数成分の雑音又はばらつきとも看做され得る高周波数成分とを共に含んでいる。単一レベルのウェーブレット分解から、一つの低周波数サブ・バンドLLと、三つの高周波数サブ・バンドLH、HL及びHHとを共に含む分解後のデータセットが得られる。後続の分解は、この低周波数サブ・バンドを、一つの低周波数バンドと三つの付加的な高周波数サブ・バンドとを共に含むサブ・バンドの集合にさらに分解したもう一つのデータセットを生成するものと考えてよい。図示の実施形態では、三つのレベルの画像分解能が存在しており、各々が下付き文字1、2又は3によって表わされている。第一の分解能レベルの低周波数サブ・バンドは分解されて、第二の分解能レベルを生成する。第二の分解能レベルの低周波数サブ・バンドは分解されて、第三の分解能レベルを生成する。
前述のように、画像データの異なる領域は、画像を得るときの目的によって画定されるものとしての画像の内容に基づいて異なるデータ圧縮によって圧縮される。関連性の高い画像データの領域は無損失圧縮によって圧縮され、関連性の低い画像データの領域は損失圧縮によって圧縮され、関連性のない画像データの領域は廃棄される。このように、各々の分解能レベル及び各々のサブ・バンドが、異なる分解能を有する領域を有し得る。図示の実施形態では、第三の分解能レベルの低周波数サブ・バンドLLを用いて、画像全体の低分解能の概略像を形成する。図示の実施形態では、各々の分解能レベルでの高周波サブ・バンドが、無損失圧縮によって圧縮された参照番号184によって全体的に表わされている関連性の高い領域と、損失圧縮によって圧縮された参照番号186によって全体的に表わされている関連性の低い領域とを有している。図を見易くするために、高周波サブ・バンドにおける関連性の高い領域は、各々の分解能レベルのHHサブ・バンドにのみ図示されている。しかしながら、これらの領域は、LH及びHLのサブ・バンドにも存在している。また、データ圧縮の前に廃棄された画像データを有する領域は、図示の実施形態には示されていない。しかしながら、他の実施形態では、これらのサブ・バンドは、画像データがデータ圧縮の前に廃棄された領域を有し得る。
図示の実施形態では、多重分解能画像データ178は、無線網188を介してハンド・ヘルド型画像表示装置180へ伝送されている。しかしながら、本手法は、他の形式の装置及び他の形式の網でも適用可能である。図示の実施形態では、マスクを用いて、高周波サブ・バンドにおける関連性の高い領域184を関連性の低い領域186の前に伝送するようにPACSに指示する。第三の分解能レベルにおける低周波数サブ・バンドLLは、高周波サブ・バンドにおける関連性の高い領域184が伝送される前、伝送されている最中、又は伝送された後のいずれにでも伝送され得る。また、マスクを用いて画像の異なる領域の関連性に基づいてハンド・ヘルド型撮像装置180を初期化することもできる。ハンド・ヘルド型撮像装置180の初期化は、ズーム、パン及びウィンドウ・レベルを設定することを含んでいる。
図示の実施形態では、完全な画像190がハンド・ヘルド型画像表示装置180の表示器182に表示されている。画像190は、画像データの関連性の最も高い領域に対応する高分解能部分192と、関連性の低い領域に対応する低分解能部分194とを有する。
代替的には、重要性を有する領域の小領域を後続の処理時に差別化することを可能にする多数のマスクを作成することもできる。これらの多数のマスクは、後に画像データ処理に利用可能とし得るように長期記憶に保存されてよい。
発明の幾つかの特徴のみを本書に図示して説明したが、当業者には多くの改変及び変形が想到されよう。従って、特許請求の範囲は本発明の真意に含まれるような全ての改変及び変形を網羅するものと理解されたい。また、図面の符号に対応する特許請求の範囲中の符号は、単に本願発明の理解をより容易にするために用いられているものであり、本願発明の範囲を狭める意図で用いられたものではない。そして、本願の特許請求の範囲に記載した事項は、明細書に組み込まれ、明細書の記載事項の一部となる。
本発明の手法の実施形態の一例による計算機式断層写真法(「CT」)イメージング・システムの模式図である。 本発明の実施形態の一例に従って図1のイメージング・システムから画像データを受け取って記憶する画像保管通信システムすなわちPACSの線図である。 本発明の実施形態の一例による画像の内容に基づいて医用画像データを選択的に記憶させる例示的な手法のブロック図である。 本発明の実施形態の一例による図3の手法の線図である。 本発明の実施形態の一例による膝のサジタル平面に沿って見た例示的な医用画像の図である。 本発明の実施形態の一例による図5からの例示的な分割後画像データの図である。 本発明の実施形態の一例による図5の分割後画像から作成される画像マスクの図である。 本発明の実施形態の一例による画像の内容に基づいて画像データの各領域を異なる程度のデータ圧縮によって圧縮した医用画像データを選択的に処理する例示的な手法のブロック図である。 本発明の実施形態の一例による画像の内容に基づいて画像データの各領域を異なる程度のデータ圧縮によって圧縮した圧縮後医用画像データを選択的に処理する手法の線図である。 本発明の実施形態の一例による画像の内容に基づいて画像データの各領域を異なる程度のデータ圧縮によって圧縮した圧縮後医用画像データを選択的に処理する手法の線図である。
符号の説明
20 CTイメージング・システム
22 フレーム
24 ガントリ
26 中孔
28 患者テーブル
30 患者
32 X線源
34 コリメータ
36 X線ビーム
38 検出器アレイ
40 システム制御器
42 ガントリ・モータ制御器
44 テーブル・モータ制御器
46 X線制御器
48 データ取得システム
50 画像再構成器
52 コンピュータ
54 メモリ
56 操作者ワークステーション
58 表示器
60 プリンタ
62 画像保管通信システム(PACS)
64 遠隔システム
66 他の別個のイメージング・システム
68 ファイル・サーバ
70 入出力インタフェイス
72 圧縮/展開インタフェイス
74 内部クライアント
76 プリンタ・インタフェイス
78 プリンタ
80 データベース・サーバ
82 アーカイブ
84 圧縮/展開ライブラリ
86 放射線科情報システム
88 病院情報システム
90 外部クライアント
92 画像の内容に基づいて画像データを選択的に記憶させる手法
94 医用画像データを得るときの臨床的目的を識別する
96 医用画像データを得るためにCTイメージング・システムを用いて患者を走査する
98 次いで、さらに他の処理のために完全分解能医用画像データにアクセスする
100 走査の臨床的目的に基づいて医用画像データの内容を分割する分割アルゴリズムを選択する
102 次いで、選択された分割アルゴリズムを用いて画像データを分割する
104 分割後画像データを用いて、画像データを得るときの臨床的目的に対する関連性に基づいて少なくとも三つの群を有するマスクを作成する
106 圧縮の画像ブロック・サイズに適当な分解能でマスクを記憶する
108 次いで、マスクに割り当てられた品質係数に基づいて画像データの各々の画像ブロックに品質係数を割り当てる
110 次いで、割り当てられた品質係数を用いて医用画像データを圧縮する
112 データ圧縮の後に、圧縮後画像及び圧縮後マスクを長期記憶に記憶させる
114 画像の内容に基づいて画像データを選択的に記憶させる手法の線図表現
116 原画像
118 分割後画像
120 マスク
122 マスクを用いて原画像に品質係数を割り当てる
124 品質係数に基づいて無損失データ圧縮によって画像データを圧縮する
126 品質係数に基づいて損失圧縮によって画像データを圧縮する
128 データを長期記憶に記憶させる
130 品質係数に基づいて画像データを廃棄する
132 膝の医用画像
134 大腿軟骨
136 骨
138 軟組織
140 マスク
142 関連性の最も高い画像データに対応する画像ブロック
144 関連性の低い画像データに対応する画像ブロック
146 関連性のない画像データに対応する画像ブロック
148 画像データを処理する手法
150 長期記憶からマスクにアクセスする
152 長期データ記憶から圧縮後画像データにアクセスする
154 マスクを用いて、圧縮後画像データの異なる関心領域の相対的な重要性についてのデータを与える
156 マスクによって与えられる関連性データに基づいて画像処理リソースの優先順位を決める
158 マスクによって与えられるデータに基づいて画像表示リソースの優先順位を決める
160 次いで、モニタ又は他の視覚化装置での観察のために処理済み画像データを表示する
162 パターン・マッチングを用いた計算機支援式診断(CAD)手法の一例
164 サンプル画像
166 一組のテンプレート
168 第一のテンプレート
170 第二のテンプレート
172 第三のテンプレート
174 比較器アルゴリズム
176 多重分解能画像データの関連性の高い領域からの画像データを優先させる画像表示手法の一例
178 多重分解能画像データ
180 ハンド・ヘルド型画像表示装置
182 表示器
184 無損失圧縮で圧縮された関連性の高い領域
186 損失圧縮で圧縮された関連性の低い領域
188 無線網
190 完全な画像
192 高分解能部分
194 低分解能部分

Claims (10)

  1. 画像データを処理するコンピュータ利用型の方法であって、
    複数の分解能レベルの圧縮された画像データを含む圧縮後画像データにアクセスするステップ(152)であって、少なくとも一つの分解能レベルの圧縮後画像データは、無損失データ圧縮により圧縮され、関心のある第一の特定の組織の輪郭に沿った、アルゴリズムにより分割された画像データの第一の領域及び損失データ圧縮により圧縮され、関心のある第二の特定の組織輪郭に沿った、アルゴリズムにより分割された画像データの第二の領域を含んでいる、圧縮後画像データにアクセスするステップ(152)と、
    マスクにアクセスするステップ(150)であって、前記アルゴリズムにより分割された画像データの第一の領域に対応する当該マスクの第一の領域は第一の識別子によりラベルされ、前記アルゴリズムにより分割された画像データの第二の領域に対応する当該マスクの第二の領域は第二の識別子によりラベルされ、除去された画像データに対応する当該マスクの第三の領域は第三の識別子によりラベルされる、マスクにアクセスするステップ(150)と、
    前記マスクにおける前記識別子に基づいて前記分割された画像データの前記第一の領域及び前記第二の領域を選択的に処理するステップ(154〜158)と
    を備えた方法。
  2. 前記アルゴリズムにより分割された画像データの前記第一の領域及び前記第二の領域を選択的に処理する前記ステップは、前記マスクにおける前記第一及び第二の識別子に基づいて処理アルゴリズムのパラメータを修正するステップ(154〜158)を含んでいる、請求項1に記載の画像データを処理するコンピュータ利用型の方法。
  3. 前記マスクにおける前記第一及び第二の識別子に基づいて前記アルゴリズムにより分割された画像データの前記第一の領域及び前記第二の領域を選択的に処理する前記ステップは、前記分割された画像データの第二の領域を処理する前に前記分割された画像データの第一の領域を処理するステップ(156〜158)を含んでいる、請求項1または2に記載の画像データを処理するコンピュータ利用型の方法。
  4. 前記アルゴリズムにより分割された画像データの第一の領域は、前記アルゴリズムにより分割された画像データの第二の領域よりも高い分解能を有する、請求項3に記載の画像データを処理するコンピュータ利用型の方法。
  5. 圧縮後画像データにアクセスする前記ステップは、前記少なくとも一つの分解能レベルの圧縮後画像データを展開するステップ(152)を含んでいる、請求項1乃至4のいずれかに記載の画像データを処理するコンピュータ利用型の方法。
  6. 前記マスクは、複数の分解能レベルの圧縮後マスク・データを含んでおり、マスクにアクセスする前記ステップは、前記少なくとも一つの分解能レベルの圧縮後画像データに対応する分解能レベルを有する圧縮後マスク・データを展開するステップ(152)を含んでいる、請求項5に記載の画像データを処理するコンピュータ利用型の方法。
  7. 圧縮後画像データにアクセスする前記ステップ、及びマスクにアクセスする前記ステップは、長期データ記憶から前記圧縮後画像データ及び前記マスクにアクセスするステップ(150〜152)を含んでいる、請求項1乃至6のいずれかに記載の画像データを処理するコンピュータ利用型の方法。
  8. 前記圧縮後画像データと前記マスクは3次元の画像データを含んでいる、請求項1乃至7のいずれかに記載の画像データを処理するコンピュータ利用型の方法。
  9. 前記第二のデータ圧縮は損失データ圧縮(126)を含んでいる、請求項8に記載の画像データを処理するコンピュータ利用型の方法。
  10. 画像データを収集する目的に基づいて前記マスクを生成するステップを含んでいる、請求項1乃至9のいずれかに記載の画像データを処理するコンピュータ利用型の方法。
JP2008068635A 2007-03-19 2008-03-18 内容に基づいて圧縮された画像の処理 Expired - Fee Related JP5568219B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/725,245 US8121417B2 (en) 2007-03-19 2007-03-19 Processing of content-based compressed images
US11/725,245 2007-03-19

Publications (2)

Publication Number Publication Date
JP2008229341A JP2008229341A (ja) 2008-10-02
JP5568219B2 true JP5568219B2 (ja) 2014-08-06

Family

ID=39713411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008068635A Expired - Fee Related JP5568219B2 (ja) 2007-03-19 2008-03-18 内容に基づいて圧縮された画像の処理

Country Status (3)

Country Link
US (2) US8121417B2 (ja)
JP (1) JP5568219B2 (ja)
DE (1) DE102008015589A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970203B2 (en) * 2007-03-19 2011-06-28 General Electric Company Purpose-driven data representation and usage for medical images
US8345991B2 (en) * 2007-03-19 2013-01-01 General Electric Company Content-based image compression
JP4789854B2 (ja) * 2007-05-09 2011-10-12 株式会社日立メディコ 超音波診断装置および超音波診断装置の画質改善方法
CN101627918A (zh) * 2008-07-18 2010-01-20 Ge医疗系统环球技术有限公司 Ct影像压缩方法和装置
US9474500B2 (en) * 2009-02-05 2016-10-25 The Research Foundation Of State University Of New York Method and system for transfer of cardiac medical image data files
JP5052569B2 (ja) * 2009-06-25 2012-10-17 シャープ株式会社 画像圧縮装置、画像圧縮方法、画像伸張装置、画像伸張方法、画像形成装置、コンピュータプログラム及び記録媒体
US8786873B2 (en) 2009-07-20 2014-07-22 General Electric Company Application server for use with a modular imaging system
US8243882B2 (en) 2010-05-07 2012-08-14 General Electric Company System and method for indicating association between autonomous detector and imaging subsystem
WO2012060769A1 (en) * 2010-11-03 2012-05-10 Scalado Ab Progressive multimedia synchronization
US9064301B2 (en) * 2011-04-14 2015-06-23 Abbott Point Of Care, Inc. Method and apparatus for compressing imaging data of whole blood sample analyses
TWI545961B (zh) * 2011-07-06 2016-08-11 華晶科技股份有限公司 固定壓縮倍率的影像壓縮方法、影像解壓縮方法及其電子裝置
JP2013192658A (ja) * 2012-03-19 2013-09-30 Hitachi Medical Corp X線診断装置
US9131913B2 (en) * 2012-06-14 2015-09-15 Carestream Health, Inc. Region-selective fluoroscopic image compression
US20130336445A1 (en) * 2012-06-14 2013-12-19 Carestream Health, Inc. Roi selection for imaging apparatus
CN105791849B (zh) * 2014-12-25 2019-08-06 中兴通讯股份有限公司 图片压缩方法及装置
US9536045B1 (en) * 2015-03-16 2017-01-03 D.R. Systems, Inc. Dynamic digital image compression based on digital image characteristics
CN104825183A (zh) * 2015-04-17 2015-08-12 中国科学院苏州生物医学工程技术研究所 一种用于ct数据的封装传输方法
US10306011B2 (en) 2017-01-31 2019-05-28 International Business Machines Corporation Dynamic modification of image resolution
GB2572337B (en) * 2018-03-26 2020-10-14 Elekta ltd Radiotherapy control system

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6275773A (ja) * 1985-09-30 1987-04-07 Toshiba Corp 画像圧縮装置
JPH02204872A (ja) * 1989-02-03 1990-08-14 Hitachi Medical Corp 画像記録方法
JP2847525B2 (ja) * 1989-04-17 1999-01-20 株式会社日立メデイコ 画像データ圧縮方法
US5333212A (en) * 1991-03-04 1994-07-26 Storm Technology Image compression technique with regionally selective compression ratio
JPH06209926A (ja) * 1993-01-18 1994-08-02 Hitachi Ltd X線動画像撮影装置
JPH08130629A (ja) * 1994-11-02 1996-05-21 Toppan Printing Co Ltd 画像処理装置
US5796862A (en) * 1996-08-16 1998-08-18 Eastman Kodak Company Apparatus and method for identification of tissue regions in digital mammographic images
SE9800088D0 (sv) * 1997-10-10 1998-01-16 Ericsson Telefon Ab L M Long filter lossless region of interest coding
IL122361A0 (en) * 1997-11-29 1998-04-05 Algotec Systems Ltd Image compression method
US6144772A (en) * 1998-01-29 2000-11-07 Canon Kabushiki Kaisha Variable compression encoding of digitized images
US6891973B1 (en) * 1998-03-20 2005-05-10 Mitsubishi Electronic Corporation Lossy/lossless region-of-interest image coding
US6606413B1 (en) * 1998-06-01 2003-08-12 Trestle Acquisition Corp. Compression packaged image transmission for telemicroscopy
US6704440B1 (en) * 1999-06-24 2004-03-09 General Electric Company Method and apparatus for processing a medical image containing clinical and non-clinical regions
JP2001218062A (ja) * 1999-11-11 2001-08-10 Canon Inc 画像処理装置及び方法と記憶媒体
US6633674B1 (en) * 1999-11-24 2003-10-14 General Electric Company Picture archiving and communication system employing improved data compression
US7421136B2 (en) * 1999-11-24 2008-09-02 Ge Medical Systems Information Technologies Inc. Image tessellation for region-specific coefficient access
US7236637B2 (en) * 1999-11-24 2007-06-26 Ge Medical Systems Information Technologies, Inc. Method and apparatus for transmission and display of a compressed digitized image
US20020044696A1 (en) * 1999-11-24 2002-04-18 Sirohey Saad A. Region of interest high resolution reconstruction for display purposes and a novel bookmarking capability
US6654503B1 (en) * 2000-04-28 2003-11-25 Sun Microsystems, Inc. Block-based, adaptive, lossless image coder
US20020090140A1 (en) * 2000-08-04 2002-07-11 Graham Thirsk Method and apparatus for providing clinically adaptive compression of imaging data
US6771822B1 (en) * 2000-09-22 2004-08-03 Ge Medical Systems Global Technology Company, Llc Method and apparatus for storing image frame with user-selected compression
JP5388393B2 (ja) * 2001-04-27 2014-01-15 キヤノン株式会社 画像処理装置および画像処理方法、制御プログラム
KR100389807B1 (ko) * 2001-05-30 2003-07-02 한국과학기술원 Spiht에 기반한 관심영역의 코딩방법
US20040022447A1 (en) * 2002-07-31 2004-02-05 General Electric Company Method and system for image compression and decompression using span of interest of an imaging sequence
US7583847B1 (en) * 2002-12-13 2009-09-01 Ricoh Co., Ltd. Parsing a JPM file into another JPM file
AU2004284829A1 (en) * 2003-12-15 2005-07-07 Matrixview Limited Compressing image data
JP2005287927A (ja) * 2004-04-02 2005-10-20 Konica Minolta Medical & Graphic Inc 画像処理装置、画像処理方法及び医用画像システム
US7782339B1 (en) * 2004-06-30 2010-08-24 Teradici Corporation Method and apparatus for generating masks for a multi-layer image decomposition
AU2006246497B2 (en) * 2006-11-30 2010-02-11 Canon Kabushiki Kaisha Method and apparatus for hybrid image compression
US7970203B2 (en) * 2007-03-19 2011-06-28 General Electric Company Purpose-driven data representation and usage for medical images
US8345991B2 (en) * 2007-03-19 2013-01-01 General Electric Company Content-based image compression

Also Published As

Publication number Publication date
US8406539B2 (en) 2013-03-26
US8121417B2 (en) 2012-02-21
US20080232699A1 (en) 2008-09-25
US20120189179A1 (en) 2012-07-26
JP2008229341A (ja) 2008-10-02
DE102008015589A1 (de) 2008-09-25

Similar Documents

Publication Publication Date Title
JP5568219B2 (ja) 内容に基づいて圧縮された画像の処理
JP5456266B2 (ja) 目的主導型の医用画像のデータ表現及び利用
JP4187514B2 (ja) 圧縮デジタル化画像の送信及び表示のための方法及び装置
US7574030B2 (en) Automated digitized film slicing and registration tool
US8295620B2 (en) Image data set compression based on viewing parameters for storing medical image data from multidimensional data sets, related systems, methods and computer products
US7212661B2 (en) Image data navigation method and apparatus
US8345991B2 (en) Content-based image compression
US7929793B2 (en) Registration and compression of dynamic images
US8948496B2 (en) Dynamic transfer of three-dimensional image data
JP5367283B2 (ja) アトラスベースの画像圧縮
US20080219567A1 (en) Tomosynthesis imaging data compression system and method
CN103999087A (zh) 针对接收方优化的医学成像重建
US6718192B1 (en) Method and apparatus for real-time 3D image rendering on a picture archival and communications system (PACS) workstation
CN112004471A (zh) 用于成像系统快捷模式的系统和方法
CN111919264A (zh) 用于使成像系统和边缘计算系统同步的系统和方法
JP4528596B2 (ja) 医用画像管理システム、医用画像管理方法及び医用画像管理プログラム
Stoian et al. Current trends in medical imaging acquisition and communication
WO2021187296A1 (ja) 画像処理装置、画像表示システム、画像処理方法及びプログラム
Van de Velde et al. Imaging Management and Integration
Wong et al. Medical imagery
Galloni et al. Clinical Experience On A Pacs Installation In Italy

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140603

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140623

R150 Certificate of patent or registration of utility model

Ref document number: 5568219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees