JP4727031B2 - ピクセル強度ヒストグラムに基づいてイメージング・システムの動作を適応設定する方法及び装置 - Google Patents

ピクセル強度ヒストグラムに基づいてイメージング・システムの動作を適応設定する方法及び装置 Download PDF

Info

Publication number
JP4727031B2
JP4727031B2 JP2000335304A JP2000335304A JP4727031B2 JP 4727031 B2 JP4727031 B2 JP 4727031B2 JP 2000335304 A JP2000335304 A JP 2000335304A JP 2000335304 A JP2000335304 A JP 2000335304A JP 4727031 B2 JP4727031 B2 JP 4727031B2
Authority
JP
Japan
Prior art keywords
pixel intensity
histogram
condition
image frame
intensity histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000335304A
Other languages
English (en)
Other versions
JP2001187057A5 (ja
JP2001187057A (ja
Inventor
ディーン・ダブリュー・ブロゥワー
ラリー・ワイ・エル・モー
スティーブン・シー・ミラー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of JP2001187057A publication Critical patent/JP2001187057A/ja
Publication of JP2001187057A5 publication Critical patent/JP2001187057A5/ja
Application granted granted Critical
Publication of JP4727031B2 publication Critical patent/JP4727031B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053Display arrangements
    • G01S7/52057Cathode ray tube displays
    • G01S7/5206Two-dimensional coordinated display of distance and direction; B-scan display
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/06Measuring blood flow
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13Tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Hematology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の分野】
本発明は一般的には、医療診断の目的のための超音波撮像に関する。具体的には、本発明は、人体内の走査されている関心領域から反射した超音波エコーを検出することにより組織及び血流を撮像する方法に関する。
【0002】
【発明の背景】
従来の超音波スキャナは、様々な撮像モードで動作することが可能である。Bモードでは2次元画像を形成することができ、画像内の各々の表示ピクセルの輝度が、走査領域内のそれぞれの焦点位置から帰投したエコー信号を表わすそれぞれの音波データ・サンプルの値又は振幅から導出されている。
【0003】
Bモード撮像では、走査平面内のそれぞれの焦点位置に集束したビームを送信するように超音波トランスデューサ・アレイが起動される。各回の送信ファイアリングの後に、トランスデューサ・アレイ素子によって検出されたエコー信号が受信ビームフォーマのそれぞれの受信チャネルへ供給され、受信ビームフォーマはアナログ信号をディジタル信号へ変換し、適正な受信集束時間遅延を与えて、時間遅延付きのディジタル信号を加算する。各回の送信ファイアリングについて、得られる生の音波データ・サンプルのベクタが、受信ビーム方向に沿った一連のレンジ(距離)から反射した全超音波エネルギを表わす。代替的には、マルチライン取得では、各回の送信ファイアリングに続いて2つ又はこれよりも多い受信ビームを取得することもできる。
【0004】
従来のBモード撮像では、各々の生の音波データ・サンプルのベクタが包絡線検波されて、得られた音波データが圧縮される(例えば、対数圧縮曲線を用いる。)。圧縮された音波データはスキャン・コンバータへ出力され、スキャン・コンバータは、音波データ・フォーマットを、行及び列を成すピクセルから成る従来の配列(アレイ)を有するモニタ上での表示に適したビデオ・データ・フォーマットへ変換する。このビデオ・データをここでは「生のピクセル強度データ」と呼ぶ。生のピクセル強度データのフレームは、ビデオ表示用のグレイ・スケールへマッピングされる。次いで、各々のグレイ・スケール画像フレームは、表示のためにビデオ・モニタへ送信される。以後、グレイ・スケール画像フレームを「グレイ・スケール・ピクセル強度データ」と呼ぶ。
【0005】
従来の超音波イメージング・システムは典型的には、生のピクセル強度データから表示グレイ・スケール値への単純な伝達関数である様々なグレイ・マップを採用している。ピクセル強度の範囲に応じて異なるマップを利用することができるように、多数のグレイ・マップが搭載されている。例えば、所与の応用が主として低い生のピクセル強度を発生する傾向にある場合には、低い生のピクセル強度値に対して相対的に多数のグレイ・スケール値を供与するグレイ・マップであれば、この範囲の全体にわたってコントラストを改善するので望ましい。従って、応用に応じて異なるグレイ・マップを既定値として選択することが典型的である。しかしながら、利用者は任意の応用において任意の解剖学的構造を走査し得ること、音波データは患者間で区々であること、及び生のピクセル強度値はダイナミック・レンジ等のその他のシステム設定にも依存していることから、上述の方法は必ずしも実効的ではない。これらの要因のため、グレイ・マップは、予期される主なピクセル強度範囲に何個のグレイ・スケール値を供与するかについて現状維持的になりがちである。
【0006】
システム利用者が操作者インタフェイス上に設けられている所謂ATOボタンを押すことによりコントラストを調節することを可能にする「ワン・タッチ」式の自動組織最適化(ATO)方法が公知である。利用者は関心のある解剖学的構造の上にプローブを配置したら、ATOボタンを押して超音波イメージング・システム内部のホスト・コンピュータにトリガを与え、生のピクセル強度データのカレントのフレームを検索させて、利用者が指定した関心領域(ROI)内でのフレームのピクセル強度ヒストグラムを解析した後に、グレイ・マッピング(すなわち、生のピクセル強度からグレイ・スケール・ピクセル強度へのマッピング)を自動的にスケーリングし且つ/又はシフトさせて、所定の「最適な」上方グレイ・スケール・レベル及び下方グレイ・スケール・レベルがそれぞれピクセル強度ヒストグラムの何らかの上方境界及び下方境界にマッピングされるようにする。最終的な目標は、利用可能なグレイ・スケール・レベル(8ビットの表示システムの場合には256のレベル)をより十分に活用してピクセル強度データを表示して、これにより、組織の表示コントラストを改善することにある。
【0007】
しかしながら、「ワン・タッチ」式のATOの方法では、プローブ又はROIを他の位置へ移動させると、利用者は再びATOボタンを押して、新たな組織データに基づいてグレイ・マッピングを最適化し直すことを要求される。臨床検査時には、超音波技師はしばしば多数の解剖学的な特徴を見出し又は調べるためにプローブを多くの箇所に移動させることを必要としており、また、脈管系応用及び外科的応用等の多くの臨床応用では超音波技師の両手は既に塞がっているか又は殺菌されているので、上述の特徴を更に十分に自動化した方式が望ましい。
【0008】
【発明の概要】
本発明は、超音波イメージング・システムにおいて、連続した画像フレームのピクセル強度ヒストグラムに所定の変化が生ずるのに応答して動作パラメータを最適化する方法及び装置である。再最適化の過程で、コンピュータによって決定されたピクセル強度ヒストグラムの特徴に基づいて、マッピング・パラメータ、圧縮パラメータ、スケーリング・パラメータ又はビーム形成パラメータを調節することができる。
【0009】
好適実施例による方法は、プローブの移動を指示している可能性のある連続した画像フレームのピクセル強度ヒストグラムの変化を監視する工程と、適当なときに、動作パラメータの再最適化に自動的にトリガを与える工程とを含んでいる。次のような仮定がなされている。(1)ピクセル強度ヒストグラムが変化している(超音波プローブが移動している)限り、超音波技師は全体的な巡回を行なっている、及び(2)ピクセル強度ヒストグラムが所定の時間量にわたって新たな安定な形態に展開した状態にあるのであれば(プローブが再び静止したままになっていたら)、超音波技師は観察したい関心のある何ものかを見出している。これら2つの条件を満たすのに応答して、関連した動作パラメータが最適化し直される。1つの好適実施例によれば、圧縮曲線及び/又はグレイ・マッピングが自動的に最適化される(例えば、表示される画像のコントラストを最適化する値に設定される。)。他の好適実施例によれば、ビーム形成パラメータ又はスケーリング・パラメータが自動的に調節されて、ズーム・モードで画像を表示することもできる。これらの好適実施例によれば、ピクセル強度ヒストグラム解析及びヒストグラム解析結果に依存した動作パラメータの再最適化は、超音波イメージング・システムに組み込まれているホスト・コンピュータによって実行される。
【0010】
実際には、プローブの運動がピクセル強度ヒストグラムの大きな変化を必ず生じるとは限らず、特に、プローブが皮膚表面と十分に接触した状態にあり、且つ下方に位置する組織の特性が偶々極めて一様である場合には大きな変化は必ずしも生じないことを特記しておく。しかしながら、ピクセル強度ヒストグラムが大幅に変化したならば、有意のプローブの移動がおそらくは生じている。このように、画像の最適化のためのトリガ発生機構は、ピクセル強度ヒストグラムの変化に基づいているのであって、プローブの移動自体に基づいている訳ではない。データ圧縮曲線及びグレイ・マッピングの場合には、ピクセル強度ヒストグラムが比較的不変に留まっている限り、プローブの移動の有無に拘わらず再最適化を行なう必要はない。
【0011】
本発明により、超音波イメージング・システムがより使い易くなる。マッピング・パラメータを最適化するのに費やされる作業停止時間が少なくなるので、検査時間が短縮される。また、本発明により、異なる超音波技師によって行なわれる検査の標準化又は再現性が促進される。最後に、本発明により、両手が既に塞がっている又は殺菌されているような外科的応用、脈管系応用及びその他の応用時に「ハンズ・フリー」走査が可能になる。
【0012】
【好適な実施形態の詳細な説明】
図1について説明する。本発明の1つの好適実施例による超音波イメージング・システムが、トランスデューサ・アレイ2と、ビームフォーマ4と、Bモード画像プロセッサ6と、コンピュータ8と、表示モニタ10とを含んでいる。トランスデューサ・アレイ2は多数のトランスデューサ素子を含んでおり、トランスデューサ素子はビームフォーマ4内の送信器によって起動されて、送信焦点位置に集束した超音波ビームを送信する。帰投したRF信号はトランスデューサ素子によって検出された後に、ビームフォーマ4内の受信器によって走査線に沿った一連のレンジに動的に集束させられて、生の音波データ・サンプルから成る受信ベクタを形成する。各々の走査線についてのビームフォーマの出力データ(I/Q又はRF)はBモード画像プロセッサ6に通されて、Bモード画像プロセッサ6は生の音波データを処理して、表示モニタ10によって表示するのに適したフォーマットのピクセル画像データとする。
【0013】
システムの制御はコンピュータ8に集中化されており、コンピュータ8は操作者インタフェイス(図示されていない)を介して操作者の入力を受け取り、取得されたデータを解析して、操作者の入力及びデータ解析の結果に基づいて様々なサブシステムを制御する。好適実施例によれば、ホスト・コンピュータ8は次の機能のうち1つ又はこれよりも多い機能を果たす。(1)送信パラメータ及びビーム形成パラメータをビームフォーマ4へ供給する、(2)Bモード画像プロセッサ6へ新たなグレイ・マップを供給する、(3)メモリから画像フレームを検索し、該画像フレームをスケーリングし直した後に、スケーリングし直した画像をズーム・モードで表示するために表示モニタへ送る、及び(4)Bモード画像プロセッサ6へ新たなデータ圧縮曲線を供給する。好ましくは、グレイ・マップ、ビーム形成パラメータ及び圧縮曲線は、ランダム・アクセス・メモリに記憶されているルックアップ・テーブルの形態で供給される。図1はホスト・コンピュータ8への連絡経路及びホスト・コンピュータ8からの連絡経路を別個の経路として示しているが、これらの連絡は共通のチャネル又はシステム・バスを介して生じ得ることは容易に理解されよう。
【0014】
本発明の好適実施例によれば、コンピュータは、画像プロセッサ6から生のピクセル強度データの連続した画像フレームを検索した後に、各々の画像フレーム毎にそれぞれのヒストグラムを算出するようにプログラムされている。典型的なピクセル強度ヒストグラムを図2に示す。ヒストグラムの算出は、可能性のあるピクセル強度値の範囲を一連の重なり合わない等長のビンに分割する工程と、画像フレーム内の各々のピクセル強度値を該当値を有するそれぞれのビンに割り当てる工程と、当該画像フレームについて各々のビンにおけるピクセルの個数を数える工程とを含んでいる。図2は、発生個数をピクセル強度値の関数として示すグラフである。連続したヒストグラムがコンピュータ8内のバッファ・メモリに記憶される。コンピュータは、カレントのヒストグラムを先行するヒストグラムと繰り返し比較する。1つのヒストグラムから次のヒストグラムにかけて大きな変化が生じており、その後に、安定化したピクセル強度ヒストグラムを示す所定数の画像フレームが続いていたら、コンピュータは、マッピング・パラメータ及び/又は圧縮パラメータを自動的に最適化し直して、これらの最適化し直されたパラメータを画像プロセッサ6へ送る。次いで、画像プロセッサ6は、後続の音波データの画像フレームを処理する際にこれらのマッピング・パラメータを利用する。
【0015】
本発明のもう1つの好適実施例を図3に示す。同図は、Bモード超音波イメージング・システムの信号経路を示している。ビームフォーマ4によって出力された受信されたRF(又はその等価なI/Q対)データは、検波器12によってベクタ毎の方式で包絡線検波される。次いで、検波後のデータは、データ圧縮ブロック14(好ましくは、コンピュータ8によってランダム・アクセス・メモリにロードされるルックアップ・テーブルを含んでいる)において圧縮されて、ピクセル値(典型的には8ビット)表示器用のダイナミック・レンジに縮小する。音線メモリ(ALM)16が、アレイを横断する1回の掃引について圧縮後の音波データから成るベクタを蓄積して、2次元画像を形成する。スキャン・コンバータ18が、Rθ又はXYの音波データ・フォーマットをXYのピクセル又はビデオ・データ・フォーマットへ変換し、これによりピクセル強度データを形成する。好適実施例では、解析すべき画像データは既にXYフォーマットになっている。次いで、ピクセル強度データはモニタ10上に表示するためのグレイ・マップ20によってグレイ・スケール値へマッピングされる。好ましくは、グレイ・マッピングもまた、コンピュータによってランダム・アクセス・メモリにロードされるルックアップ・テーブルを含んでいる。
【0016】
図4は、好適実施例による方法の工程の流れ図を示している。第1ステップ22において、システム・コンピュータによって、スキャン・コンバータ(図3に示すようなもの)内のXY表示メモリから直接的に、又はシネ・メモリ(図3には示されていない)を介してのいずれかで、新たな画像フレームが読み出される。第2ステップ24において、各々のピクセル値のビン内に含まれるピクセルの個数を数えることにより、所定のROI(例えば、画像フレーム内の大きな中央のROI)内での画像ピクセル強度ヒストグラムが算出される。8ビット・ピクセルの表示器の場合には、最小のピクセル値はゼロであり、最大のピクセル値は255である。統計的な変動性を少なくするために、ピクセル強度ヒストグラムのピクセル・ビンのサイズを単位値(例えば、5)よりも大きく設定することができる。この新たな画像フレームのピクセル強度ヒストグラムは、前の画像フレームについてのピクセル強度ヒストグラムを既に記憶しているバッファ・メモリに記憶される(ステップ26)。
【0017】
処理の次の工程は、新たな画像フレームのヒストグラムを少なくとも1つの前の画像フレームのヒストグラムと比較することである(ステップ28)。この工程は、平均、標準偏差、歪度及び尖度を含めた標準的な統計分布の記述子の任意のものを用いて実行することができる。ピクセル強度ヒストグラムの第p百分位数点も有用な属性である。例えば、ピクセル強度ヒストグラムの第5百分位数点は、プローブが皮膚表面から持ち上がって離れたときに生ずる画像データの欠落(すなわち多くのピクセルがゼロとなる)に非常に敏感であり得る。一般的には、少なくとも1つの前の画像フレームのピクセル強度ヒストグラム(PIH)と新たな画像フレームのピクセル強度ヒストグラムとの間に所定の変化が生じた時点を検出する(ステップ30)ために、様々なヒストグラム記述子の組み合わせを用いてもよいし、又はヒストグラム全体を用いても構わない。選択したヒストグラム属性(例えば、第5百分位数点及び第90百分位数点)の変化が何らかの所定の閾値(1つ又は複数)を上回っていなければ、ルーチンはステップ22に戻って、処理は次の画像フレームについての工程連鎖を再開する。選択したヒストグラム属性の変化が所定の閾値(1つ又は複数)を上回っていたならば、プローブと関心のある解剖学的構造との相対的な移動によって画像が変化したと考える。これにより、いつ画像ピクセル強度ヒストグラムが再び安定になるか(すなわちプローブの移動が止まったか)を検出することを目的とした次の工程連鎖(図4のステップ32から始まる)が開始する。
【0018】
ステップ32において、システム・コンピュータによって新たな画像フレームが読み出される。ステップ24を参照して前述した態様で、所定のROI内の画像ピクセル強度ヒストグラムが再び算出される(ステップ34)。ここでも、得られるピクセル強度ヒストグラムはバッファ・メモリに記憶される(ステップ36)。次いで、ステップ38において、ステップ28を参照して前述した手法の任意のものを用いて、ヒストグラムを前の画像フレームのヒストグラムと比較する。大きな欠落のない状態で、新たな画像フレームのピクセル強度ヒストグラムが前の画像フレームのピクセル強度ヒストグラムに対していつ安定したかを検出する(ステップ40)ために、様々なヒストグラム記述子の組み合わせを用いてもよいし、又はヒストグラム全体を用いても構わない。選択したヒストグラム属性(例えば、第5百分位数点及び第90百分位数点)の変化が何らかの所定の許容度(好ましくは、ステップ30で用いた閾値とは異なる)の範囲内になければ、ルーチンはステップ32に戻って、処理は次の画像フレームについての後続の工程連鎖を再開する。選択したヒストグラム属性の変化が所定の許容度にあるならば、プローブが移動していないかを決定するステップ42が実行される。
【0019】
ステップ42で用いられる画像の再最適化にトリガを与える基準は、N個の最新のフレームが全て、何らかの所定の許容度(1つ又は複数)の範囲内で同じピクセル強度ヒストグラム統計を示していることである。ここで、Nは2よりも大きい正の整数である。Nの値はフレーム・レート及び所定の時間量(例えば、2秒間)に基づいていてもよい。安定化の基準に合致したら、グレイ・マッピング機能の再最適化が実行される。例えば、グレイ・マップをスケーリングするか又はシフトさせて、何らかの最適な上方グレイ・レベル及び下方グレイ・レベルになるようにそれぞれピクセル強度ヒストグラムの上方境界及び下方境界をマッピングすることができる。このようなグレイ・マップ調節は基本的には当業界で公知であるが、完全を期して後に詳述する。
【0020】
加えて、マッピング機能はまた、ブロック14(図3を参照)において各々のデータ・ベクタに適用されるデータ圧縮曲線を含んでいてもよい。圧縮曲線は典型的には、対数関数である。例えば、ピクセル強度ヒストグラムの第90百分位数点が255に接近しつつあることが見出されると、画像表示器は、輝度の高い(blooming)白いピクセルで飽和しそうになっている。この場合には、更なるグレイ・マップ調節を行なう前に、大きなピクセル値に適合するように圧縮曲線の入力ダイナミック・レンジを自動的に増大させることができる。
【0021】
図5は、生データのヒストグラム(凹凸のある実線で示されている)に典型的なグレイ・マップ(破線で示されている)を重ね合わせて示している。この典型的なグレイ・マップは、入力値に等しいグレイ・スケール値を出力する。図5に示す生データ及びグレイ・マップが与えられた場合には、256個(0乃至255)のうち約171(20乃至190)個のグレイ・スケール値が用いられる。この例では、グレイ・スケール値の67%が用いられる。ATO機能は、これらのような状況において相対的に最適なグレイ・マッピングを行なうように設計されている。
【0022】
好適実施例によれば、ATO機能は、前述の条件を満たす一連のピクセル強度ヒストグラムを検出するのに応答してコンピュータによって自動的に起動される。ATOが起動したら、グレイ・マッピングは、1つ又はこれよりも多いピクセル強度ヒストグラムの幾つかの特性に基づいて最適化し直される。次いで、生のピクセル強度データは、各々の値を、最適化し直されたマッピングによって確定される対応するグレイ・スケール値へ変換することによりコントラスト調節される。新たなグレイ・マップの入力レンジより外部の生のピクセル強度値は、最小(0)又は最大(255)のグレイ・スケール値にマッピングされる。結果として、最も関心のある生のピクセル強度データのコントラストが増大する。
【0023】
上述のことを達成するために、コンピュータ8は、図4に示すアルゴリズムを実行した際に算出された最後のM個のピクセル強度ヒストグラムを利用することができる。ここで、Mは任意の正の整数である。代替的には、コンピュータは、新たな画像フレームのピクセル強度データに基づいて新たなピクセル強度ヒストグラムを構築することもできる。次いで、コンピュータは、各々の方向から検索することによりヒストグラムの両端点を決定する。両端点の間にある生のピクセル強度値の範囲がマップの入力レンジとなる。次いで、コンピュータは、新たなマップの入力レンジに適合するように既存のグレイ・マップを圧縮(又は拡張)する。例えば、グレイ・スケール値範囲の端点0及び端点255をマップの入力レンジの両端点と相関させる。次いで、各々の生のピクセル強度値は、この新たに形成されたグレイ・マップに従ってグレイ・スケール値を割り当てられる。代替的には、各々の方向から絶対的な端点(最初のノン・ゼロの入力ビン)を検索するのではなく、生のピクセル強度データの何らかの百分率が見出されるまで各々の端点からの検索を続けてもよい。下端と上端とで異なる基準を用いると、最低値及び最高値を有する生のピクセル強度データの切り取り(クリッピング)が可能になる。更なる変形によれば、データの標準偏差を算出して特定の個数の標準偏差に関連した両端点を見出すことにより、ヒストグラムの両端点を確定することもできる。また、新たなマップの入力レンジの両端点を用いて古いマップを新たなマップへ変換するのではなく、新たなマップの入力レンジの両端点の間で全く新しいマップを形成することも可能である。代替的には、多数のグレイ・マップをメモリに記憶しておき、記憶されたマップの中からコンピュータが最も適切なマップを選択して、グレイ・スケール・マッピングを実行するプロセッサにこのマップを送ることもできる。
【0024】
上述のように、入力値及び出力値のテーブルを含んでいる古いグレイ・マップを変換することにより、新たなグレイ・マップを形成することができる。古いマップが線形の関数である場合には(図6の破線によって示されている)、新たなマップもまた線形の関数となる(図6の実直線で示されている。)。代替的には、古いマップが非線形の関数であるならば、古いマップから形成される新たなマップもまた非線形の関数となる。例えば、古いグレイ・マップが非線形の関数である場合には、マップ変換アルゴリズムを用いて、新たなマップの入力レンジ、例えば、図6のAからBまでの範囲内に適合するようにこの非線形の関数を圧縮(又は拡張)する。
【0025】
より明確に述べると、新たなマップの各々の入力値xnew を処理して、新たなマップの対応する出力値ynew に到るようにする。コンピュータは、次のステップを実行する。
【0026】
new<Aであるならば、ynew=0
new>Bであるならば、ynew=255
A≦xnew≦Bであるならば、ynew=yold(I)
ここで、Iは次の式に基づいてCPUによって算出されるインデクスである。
【0027】
[1+{256−(B−A)}/(B−A)](xnew−A)=I
ここで、数256は古いマップの入力レンジを表わしており、(B−A)は新たなマップの入力レンジを表わしている。新たなマップの出力値ynew は、インデクスIを古いグレイ・マップに入力して、古いマップの対応する出力値を得ることにより得られる。次いで、後者の値を新たなマップへ転送する。この処理は、端点値Aと端点値Bとの間にある新たなマップの入力値の全てについての出力値が古いマップから導き出されるまで繰り返される。この手法を用いると、生データのヒストグラムから決定される新たなマップの入力レンジ内に適合するように古いマップを圧縮(又は拡張)することができる。
【0028】
各々の方向から絶対的な端点(最初のノン・ゼロの入力ビン)を検索するのではなく、生データの何らかの百分率が見出されるまで各々の端点からの検索を続けてもよい。下端と上端とで異なる基準を用いると、例えば、生データの最低値側の5%及び生データの最高値側の0.3%といった切り取りが可能になる。この手法は、古いグレイ・マップの変換(上述のマップ変換アルゴリズムを用いる)又は新たなグレイ・マップの基準に適用することができる。
【0029】
代替的には、生データの標準偏差を算出した後に、特定の個数の標準偏差に関連した両端点を見出すことにより、両端点を確定することもできる。各々の端点において同じ基準を用いなければならないというような制約はない。
【0030】
ホスト・コンピュータによるグレイ・マップ形成を参照して好適実施例を説明したが、当業者には、代替的に、専用のハードウェアによって新たなグレイ・マップを形成し得ることが理解されよう。
【0031】
もう1つの実施例によれば、データ圧縮曲線が自動的に最適化される(例えば、表示される画像のコントラストを最適化する値に設定される。)。このことは好ましくは、データ圧縮ブロック内のランダム・アクセス・メモリに新たなデータ圧縮用ルックアップ・テーブルを書き込むことにより達成される。ホスト・コンピュータは、予め記憶されている多数のデータ圧縮用ルックアップ・テーブルから適切なルックアップ・テーブルを選択してもよいし、又は新たなデータ圧縮用ルックアップ・テーブルを形成してもよい。データ圧縮曲線は、該曲線のみで最適化されることもできるし、又はグレイ・スケール・マッピング機能の最適化と組み合わせて最適化されることもできる。
【0032】
但し、本発明は、プローブの安定化がその後に続いているようなプローブの移動の検出に応答したマッピング・パラメータ又はデータ圧縮パラメータの最適化に限定されている訳ではない。この態様で撮像モードを制御することもできる。例えば、プローブが安定化したことをピクセル強度ヒストグラムが指示したときには常にズーム・モードを開始するようにすることができる。安定化は、超音波技師が関心のある解剖学的領域を見出したことを意味するものと想定されている。プローブの安定化の検出に応答して、ホスト・コンピュータは、例えば、関心領域内でベクタ密度を増大させ且つ/又は単位深さ当たりの送信焦点ゾーンの数を増大させることにより、寸法を縮小した関心領域が走査されて関心領域より外部は走査しないように送信パラメータを適応設定する。コンピュータは、プローブの移動が再開されたときにシステムを自動的に非ズーム・モードに復帰させるようにプログラムされていてもよい。代替的には、画像フレーム内の関心領域をスケーリングすることによりズーム効果を達成することもできる。
【0033】
好適実施例を参照して本発明を説明したが、当業者であれば、本発明の範囲から逸脱せずに様々な変形を施すと共に本発明の要素を均等構成で置き換え得ることが理解されよう。加えて、本発明の本質的な範囲から逸脱せずに本発明の教示に合わせて特定の状況を適応構成する多くの改変を施してもよい。従って、本発明は、本発明を実施するのに想到される最良の態様として開示された特定の実施例に限定されている訳ではなく、特許請求の範囲内に含まれる全ての実施例を包含しているものとする。
【0034】
特許請求の範囲において用いられている場合には、「(N+1)個の最新の画像フレーム」という用語は、時間的に連続して取得されており、最も古い画像フレームが(N+1)番目に新しい画像フレームであり、最も新しい画像フレームが1番目の最新の画像フレームであるような(N+1)個の画像フレームを意味している。
【図面の簡単な説明】
【図1】本発明の好適実施例による超音波イメージング・システムを全体的に示すブロック図である。
【図2】水平軸に沿ってピクセル強度値をプロットし、垂直軸に沿って各々のビン内での発生個数をプロットしたピクセル強度ヒストグラムを示すグラフである。
【図3】本発明の好適実施例による超音波イメージング・システムをより詳細に示すブロック図である。
【図4A】図4Bと共に、本発明の好適実施例による動的な画像最適化アルゴリズムの工程を示す流れ図である。
【図4B】図4Aと共に、本発明の好適実施例による動的な画像最適化アルゴリズムの工程を示す流れ図である。
【図5】従来のグレイ・マップに図2のピクセル強度ヒストグラムを重ね合わせて示すグラフである。
【図6】適応的に形成されたグレイマップに同じピクセル強度ヒストグラムを重ね合わせて示すグラフである。
【符号の説明】
2 トランスデューサ・アレイ

Claims (9)

  1. 超音波イメージング・システムの動作パラメータの集合を自動的に最適化する方法であって、
    (a) プローブを関心のある解剖学的構造に対して移動させながら収集した時間的に連続する複数の画像フレームの内の最新の画像フレームと前記最新の画像フレームよりも以前に収集された画像フレームについてそれぞれのピクセル強度ヒストグラムを算出する工程と、(b) 前記最新の画像フレームと前記以前に収集された画像フレームとが少なくとも所定の程度に異なるピクセル強度ヒストグラムを有するという第1の条件が満たされているか否かを決定する工程と、
    (c) 前記第1の条件が満たされていた場合に、前記連続する複数の画像フレームが安定化したピクセル強度ヒストグラムを有するという第2の条件が満たされているか否かを決定する工程と、
    (d) 前記第1の条件及び前記第2の条件が満たされていることに応答して動作パラメータの集合を最適化する工程とを備えた方法。
  2. 前記動作パラメータの集合はグレイ・マッピング値を含んでいる請求項1に記載の方法。
  3. グレイ・マッピング値が、所定の許容度の範囲内にあるヒストグラム統計を示す、少なくとも1つのピクセル強度ヒストグラムの測定された特性に依存して最適化し直される請求項2に記載の方法。
  4. 1つ又はこれよりも多い統計分布記述子を用いてピクセル強度ヒストグラムを比較する工程を更に含んでいる請求項1乃至3のいずれかに記載の方法。
  5. 前記統計分布記述子は平均、標準偏差、歪度、尖度又は第p百分位数点である請求項4に記載の方法。
  6. プローブを関心のある解剖学的構造に対して移動させながら収集した時間的に連続する複数の画像フレームの内の最新の画像フレームと前記最新の画像フレームよりも以前に収集された画像フレームについてそれぞれのピクセル強度ヒストグラムを算出する手段(34)と、
    前記最新の画像フレームと前記以前に収集された画像フレームとが少なくとも所定の程度に異なるピクセル強度ヒストグラムを有するという第1の条件が満たされているか否かを決定する手段(38)と、
    前記連続する複数の画像フレームが安定化したピクセル強度を有するという第2の条件が満たされているか否かを決定する手段(40)と、
    前記第1の条件及び前記第2の条件が満たされていることに応答して動作パラメータの集合を最適化する手段(42)とを備えた超音波イメージング・システム。
  7. 前記動作パラメータの集合はグレイ・マッピング値を含んでいる請求項6に記載のシステム。
  8. グレイ・マッピング値が、所定の許容度の範囲内にあるヒストグラム統計を示す、少なくとも1つのピクセル強度ヒストグラムの測定された特性に依存して最適化し直される請求項7に記載のシステム。
  9. 前記第1の条件が満たされているか否かの決定は、1つ又はこれよりも多い統計分布記述子を用いてピクセル強度ヒストグラムを比較し、
    前記統計分布記述子は平均、標準偏差、歪度、尖度又は第p百分位数点である請求項6乃至8のいずれかに記載のシステム。
JP2000335304A 1999-11-05 2000-11-02 ピクセル強度ヒストグラムに基づいてイメージング・システムの動作を適応設定する方法及び装置 Expired - Fee Related JP4727031B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/434,817 US6542626B1 (en) 1999-11-05 1999-11-05 Method and apparatus for adapting imaging system operation based on pixel intensity histogram
US09/434817 1999-11-05

Publications (3)

Publication Number Publication Date
JP2001187057A JP2001187057A (ja) 2001-07-10
JP2001187057A5 JP2001187057A5 (ja) 2007-12-13
JP4727031B2 true JP4727031B2 (ja) 2011-07-20

Family

ID=23725824

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000335304A Expired - Fee Related JP4727031B2 (ja) 1999-11-05 2000-11-02 ピクセル強度ヒストグラムに基づいてイメージング・システムの動作を適応設定する方法及び装置

Country Status (6)

Country Link
US (1) US6542626B1 (ja)
EP (1) EP1097674B1 (ja)
JP (1) JP4727031B2 (ja)
KR (1) KR100737040B1 (ja)
DE (1) DE60022292T2 (ja)
IL (1) IL139223A0 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100392094B1 (ko) * 2001-09-11 2003-07-22 주식회사 메디슨 초음파 영상 최적화 시스템
DE10201520A1 (de) * 2002-01-17 2003-07-31 Bosch Gmbh Robert Verfahren und Vorrichtung zur Bildfehlererkennung b zw. -anzeige bei Bildaufnahmesystemen
AU2003211104B2 (en) * 2002-02-13 2009-01-29 Reify Corporation Method and apparatus for acquisition, compression, and characterization of spatiotemporal signals
JP2006520619A (ja) * 2003-02-13 2006-09-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 超音波カラーフロードプラ情報から合成されるフロースペクトログラム
US7658714B2 (en) * 2003-10-31 2010-02-09 Siemens Medical Solutions Usa, Inc. Intelligent ultrasound examination storage system
US7101336B2 (en) * 2003-11-25 2006-09-05 General Electric Company Methods and systems for motion adaptive spatial compounding
US7620248B2 (en) * 2004-11-19 2009-11-17 Microsoft Corporation System and method for validating graphical components of images
US7477785B2 (en) * 2004-11-19 2009-01-13 Microsoft Corporation Fuzzy image comparator
US7778450B2 (en) * 2005-01-20 2010-08-17 Scimed Life Systems, Inc. Pattern recognition systems and methods
EP2474268B1 (en) 2005-05-06 2013-07-10 Vasonova, Inc. Apparatus for endovascular device guiding and positioning
US20090118612A1 (en) * 2005-05-06 2009-05-07 Sorin Grunwald Apparatus and Method for Vascular Access
EP1748378B1 (en) * 2005-07-26 2009-09-16 Canon Kabushiki Kaisha Image capturing apparatus and image capturing method
KR100863745B1 (ko) * 2005-08-18 2008-10-16 주식회사 메디슨 초음파 영상 진단 시스템에서 초음파 영상 처리 장치 및방법
US20080306385A1 (en) * 2005-12-19 2008-12-11 Koninklijke Philips Electronics N.V. Automatic Ultrasound Scanning Initiated by Protocol Stage
US20080242988A1 (en) * 2007-03-28 2008-10-02 Tetsuya Yoshida Ultrasound diagnostic apparatus, ultrasound image processing apparatus, and ultrasound image processing method
CN101854853B (zh) * 2007-06-26 2013-11-06 威索诺瓦公司 使用生理参数进行血管内装置引导和定位的设备和方法
US20090123068A1 (en) * 2007-11-13 2009-05-14 Himax Technologies Limited Method for adaptively adjusting image and image processing apparatus using the same
JP5575370B2 (ja) * 2008-02-18 2014-08-20 株式会社東芝 超音波診断装置
JP5510326B2 (ja) * 2008-08-19 2014-06-04 コニカミノルタ株式会社 超音波診断装置
KR101083936B1 (ko) * 2008-09-26 2011-11-15 삼성메디슨 주식회사 초음파 데이터 처리 장치 및 방법
KR101009782B1 (ko) * 2008-10-28 2011-01-19 (주)메디슨 와이드 모드를 갖는 초음파 진단 시스템 및 그 제어 방법
FR2949658B1 (fr) * 2009-09-07 2012-07-27 Salim Mimouni Dispositif de capture de signal plethysmographique optique utilisant un imageur matriciel
KR101120806B1 (ko) * 2010-10-21 2012-03-22 삼성메디슨 주식회사 탄성 영상의 드롭아웃을 보상하는 초음파 시스템 및 방법
WO2012064769A2 (en) 2010-11-08 2012-05-18 Vasonova, Inc. Endovascular navigation system
TWI472224B (zh) * 2011-07-15 2015-02-01 Altek Corp 影像處理裝置及其影像處理方法
CN102883101A (zh) * 2011-07-15 2013-01-16 华晶科技股份有限公司 影像处理装置及其影像处理方法
JP6088046B2 (ja) 2012-05-07 2017-03-01 バソノバ・インコーポレイテッドVasonova, Inc. 右心房インジケータ
US9453908B2 (en) * 2012-06-12 2016-09-27 University Of Rochester Superresolution imaging of scatterers in pulse-echo imaging
JP5981246B2 (ja) * 2012-06-29 2016-08-31 東芝メディカルシステムズ株式会社 超音波診断装置及びセンサ選定装置
JP6025456B2 (ja) * 2012-08-28 2016-11-16 キヤノン株式会社 被検体情報取得装置、表示方法、及びプログラム
KR101980537B1 (ko) 2013-07-11 2019-05-22 삼성전자주식회사 영상 처리 유닛, 초음파 영상 장치 및 영상 처리 방법
JP5999124B2 (ja) * 2014-02-27 2016-09-28 ブラザー工業株式会社 制御装置、ヘッドマウントディスプレイ、及びプログラム
WO2016176855A1 (zh) * 2015-05-07 2016-11-10 深圳迈瑞生物医疗电子股份有限公司 血流成像方法及系统
EP3257023B1 (en) * 2015-06-23 2020-09-30 Hewlett-Packard Development Company, L.P. Image histogram compression end point pair selection based on a target color space range
CN108209966B (zh) * 2017-12-29 2021-02-12 深圳开立生物医疗科技股份有限公司 一种超声成像设备的参数调整方法及装置
US10664977B2 (en) * 2018-02-28 2020-05-26 General Electric Company Apparatus and method for image-based control of imaging system parameters
CN111685793A (zh) * 2019-03-15 2020-09-22 通用电气公司 用于对成像系统参数进行基于图像的控制的装置和方法
CN110189266B (zh) * 2019-05-09 2023-01-03 湖北工业大学 一种自适应的快速图像增强方法
US11308609B2 (en) 2019-12-04 2022-04-19 GE Precision Healthcare LLC System and methods for sequential scan parameter selection
US11488298B2 (en) 2019-12-20 2022-11-01 GE Precision Healthcare LLC System and methods for ultrasound image quality determination

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05146446A (ja) * 1991-11-28 1993-06-15 Aloka Co Ltd 超音波画像処理装置
JPH05245147A (ja) * 1992-03-09 1993-09-24 Aloka Co Ltd 超音波画像処理装置
JPH06105850A (ja) * 1992-09-29 1994-04-19 Aloka Co Ltd 超音波診断装置
JPH08331504A (ja) * 1995-06-01 1996-12-13 Matsushita Electric Ind Co Ltd 動画像処理装置および動画像再生装置
JPH1014917A (ja) * 1996-07-08 1998-01-20 Hitachi Medical Corp 超音波映像装置
JP2000023976A (ja) * 1998-04-24 2000-01-25 General Electric Co <Ge> 超音波散乱体をイメ―ジングするシステム及び方法
WO2000041004A1 (en) * 1998-12-31 2000-07-13 General Electric Company Ultrasound color flow display optimization by adjusting dynamic range

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5042077A (en) 1987-10-02 1991-08-20 General Electric Company Method of highlighting subtle contrast in graphical images
US5224177A (en) * 1991-10-31 1993-06-29 The University Of Chicago High quality film image correction and duplication method and system
US5313948A (en) 1991-11-28 1994-05-24 Aloka Co., Ltd. Ultrasonic diagnostic apparatus
US5594807A (en) * 1994-12-22 1997-01-14 Siemens Medical Systems, Inc. System and method for adaptive filtering of images based on similarity between histograms
US5790690A (en) * 1995-04-25 1998-08-04 Arch Development Corporation Computer-aided method for automated image feature analysis and diagnosis of medical images
US5662113A (en) * 1995-06-30 1997-09-02 Siemens Medical Systems, Inc Edge enhancement system for ultrasound images
JPH0975348A (ja) 1995-09-12 1997-03-25 Toshiba Corp 超音波診断装置
US5793883A (en) 1995-09-29 1998-08-11 Siemens Medical Systems, Inc. Method for enhancing ultrasound image
US6463173B1 (en) 1995-10-30 2002-10-08 Hewlett-Packard Company System and method for histogram-based image contrast enhancement
US5954653A (en) * 1997-05-07 1999-09-21 General Electric Company Method and apparatus for automatically enhancing contrast in projected ultrasound image
JPH11325196A (ja) * 1998-04-17 1999-11-26 Mannesmann Ag 駆動ユニット
US6238341B1 (en) * 1998-12-28 2001-05-29 General Electric Company Ultrasound probe having integrated user-operable function switch
US6322505B1 (en) * 1999-06-08 2001-11-27 Acuson Corporation Medical diagnostic ultrasound system and method for post processing

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05146446A (ja) * 1991-11-28 1993-06-15 Aloka Co Ltd 超音波画像処理装置
JPH05245147A (ja) * 1992-03-09 1993-09-24 Aloka Co Ltd 超音波画像処理装置
JPH06105850A (ja) * 1992-09-29 1994-04-19 Aloka Co Ltd 超音波診断装置
JPH08331504A (ja) * 1995-06-01 1996-12-13 Matsushita Electric Ind Co Ltd 動画像処理装置および動画像再生装置
JPH1014917A (ja) * 1996-07-08 1998-01-20 Hitachi Medical Corp 超音波映像装置
JP2000023976A (ja) * 1998-04-24 2000-01-25 General Electric Co <Ge> 超音波散乱体をイメ―ジングするシステム及び方法
WO2000041004A1 (en) * 1998-12-31 2000-07-13 General Electric Company Ultrasound color flow display optimization by adjusting dynamic range

Also Published As

Publication number Publication date
EP1097674B1 (en) 2005-08-31
DE60022292D1 (de) 2005-10-06
KR100737040B1 (ko) 2007-07-09
IL139223A0 (en) 2001-11-25
EP1097674A3 (en) 2001-07-18
DE60022292T2 (de) 2006-06-29
JP2001187057A (ja) 2001-07-10
KR20010060252A (ko) 2001-07-06
US6542626B1 (en) 2003-04-01
EP1097674A2 (en) 2001-05-09

Similar Documents

Publication Publication Date Title
JP4727031B2 (ja) ピクセル強度ヒストグラムに基づいてイメージング・システムの動作を適応設定する方法及び装置
KR100748858B1 (ko) 영상의 화질을 개선시키는 영상 처리 시스템 및 방법
US7062714B1 (en) Imaging system having preset processing parameters adapted to user preferences
KR100908252B1 (ko) 영상 처리 시스템 및 방법
US6579239B1 (en) System and method for automatic adjustment of brightness and contrast in images
JP4469031B2 (ja) 超音波散乱体をイメージングするシステム及び方法
JP5795473B2 (ja) 複数の3次元超音波映像を提供する超音波システムおよび方法
US6666824B2 (en) System and method of dynamic automatic sensing of available dynamic range
US20150359507A1 (en) Ultrasound diagnosis apparatus and ultrasound image processing method
US20170071567A1 (en) Ultrasound diagnosis apparatus
US20180140281A1 (en) Ultrasound diagnostic apparatus and method for controlling ultrasound diagnostic apparatus
CN108209966B (zh) 一种超声成像设备的参数调整方法及装置
US10918360B2 (en) Ultrasound diagnostic apparatus and method for controlling ultrasound diagnostic apparatus
US5897502A (en) Persistence for ultrasonic flow imaging
JP2005074226A (ja) 多数の強調画像を提示する方法及び装置
JP2000139914A (ja) 超音波診断装置
US20120108974A1 (en) Ultrasound diagnostic apparatus and program
KR101109189B1 (ko) 초음파 진단 장치 및 초음파 영상 처리 방법
JP6012941B2 (ja) 超音波診断装置
KR20040069378A (ko) 송신집속점 선택 기능을 구비한 초음파 영상 획득 장치 및방법
KR101158640B1 (ko) 이득 조절을 수행하는 초음파 시스템 및 방법
JP3735515B2 (ja) 超音波診断システム
WO2022270153A1 (ja) 超音波診断装置および超音波診断装置の制御方法
CN115886872A (zh) 血流显影方法、装置、数字扫描变换器和超声成像系统
CN116392160A (zh) 超声成像系统和超声成像方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071030

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071030

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20091023

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100928

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101227

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110225

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110413

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees