JP4259903B2 - 画像の輝度及びコントラストを自動調整するためのシステム及び方法 - Google Patents
画像の輝度及びコントラストを自動調整するためのシステム及び方法 Download PDFInfo
- Publication number
- JP4259903B2 JP4259903B2 JP2003100977A JP2003100977A JP4259903B2 JP 4259903 B2 JP4259903 B2 JP 4259903B2 JP 2003100977 A JP2003100977 A JP 2003100977A JP 2003100977 A JP2003100977 A JP 2003100977A JP 4259903 B2 JP4259903 B2 JP 4259903B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel intensity
- intensity value
- intensity values
- range
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52053—Display arrangements
- G01S7/52057—Cathode ray tube displays
- G01S7/52073—Production of cursor lines, markers or indicia by electronic means
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52023—Details of receivers
- G01S7/52034—Data rate converters
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、全般的には医学的診断を目的とするイメージングに関する。詳細には、本発明は、人体内の走査した関心領域から反射される超音波エコーを検出することによって組織及び血流を画像化するための方法に関する。
【0002】
【発明の背景】
従来の超音波スキャナは様々な撮像モードで動作することが可能である。Bモードでは、各表示画素の輝度が走査領域内のそれぞれの集束位置から反射されたエコー信号を表しているそれぞれの音響データ・サンプルの値または振幅から導出されるような2次元画像を作成することができる。
【0003】
Bモード・イメージングでは、走査面内のそれぞれの集束位置に集束させたビームが送信されるように超音波トランスジューサ・アレイを作動させる。各送信発射の後、トランスジューサ・アレイ素子によって検出したエコー信号は受信ビーム形成器のそれぞれの受信チャンネルに供給しており、この受信ビーム形成器はアナログ信号をディジタル信号に変換し、適正な受信集束時間遅延を与え、かつこの時間遅延させたディジタル信号を合算する。各送信発射ごとに、未処理音響データ・サンプルからなる合成ベクトルは、受信ビーム方向に沿って相次ぐ範囲から反射される全超音波エネルギーを表している。別法として、マルチライン収集では、各送信発射に続いて2本以上の受信ビームを収集することができる。
【0004】
従来のBモード・イメージングでは、未処理音響データ・サンプルの各ベクトルについて包絡線検出し、得られた音響データを(例えば、対数圧縮曲線を用いて)圧縮する。この圧縮音響データは走査変換装置に出力しており、走査変換装置は音響データ形式から、横列画素及び縦列画素からなる従来式アレイを有するモニタ上への表示に適したビデオ・データ形式に変換している。このビデオ・データをここでは「未処理画素強度値」と呼ぶ。未処理画素強度データのフレームはビデオ表示のためにグレイスケールにマッピングする。次いで、各グレイスケール画像フレーム(以下において、「グレイスケール画素強度値」と呼ぶ)をビデオ・モニタに送り表示させる。1対1のグレイスケール・マッピングが有効である場合では、未処理画素強度値とグレイスケール画素強度値は全く同じものとなる。
【0005】
超音波イメージングでは、輝度及びコントラストに関する設定値が正しくないことを含む多くの理由のため、判読のために提示する画像の診断画質が低下することがある。輝度及びコントラストに関する利用可能な調整方法を用いて画像を改良しようとすると、近距離音場領域に対応する画素強度値も同様に増加するという望ましくない影響が生じる。近距離音場領域は本来的に高輝度であるため、一般に所望の結果が得られない。近距離音場領域で画像に悪影響を及ぼさずに画像の輝度及びコントラストを強調させるようなフィルタ処理技法に対する必要性が存在する。
【特許文献1】
米国特許第6162176号
【0006】
【課題を解決するための手段】
本発明は、コントラスト強調によって画像(例えば、超音波画像)を改良することを目的とする。本願で特許請求する発明は超音波イメージング・システムへの応用に限定しない。
【0007】
本発明の実施の一形態は、超音波画像においてコントラストを調整するための一方法である。別の実施形態では、コントラストと輝度の両方を調整している。このコントラスト及び輝度は、全体にわたる画素強度データを処理してヒストグラムを表す1組のデータを形成させることによって調整している。次いで、ヒストグラム・データのある種の特性の関数として画素強度値をフィルタ処理するようなアルゴリズムを利用する。このアルゴリズムは、超音波画像内の近距離音場領域に悪影響を与えずにコントラスト及び輝度を強調するように設計している。このアルゴリズムを実現させる処理のことを本明細書において全般的に「フィルタ処理(filtering)」と呼ぶことにする。このフィルタ処理演算は専用のプロセッサによるかまたは高速の汎用コンピュータによって実行させることができる。
【0008】
本発明の別の実施形態は、超音波画像においてコントラスト(さらに任意選択では、輝度)を強調するためのシステムを含む。本システムは上述のアルゴリズムに従って画素強度値をフィルタ処理するようにプログラムしたコンピュータを組み込んでいる。
【0009】
このアルゴリズムの第1ステップは、画像処理装置が生成させた1組の画素強度値から1組のヒストグラム・データを計算することである。このヒストグラム・データは、その各々が1つの異なる画素強度値または1つの異なる画素強度値範囲のいずれかを含む部分集合であるような画素強度値からなる非重複の部分集合を包含するように規定されている各ビンのそれぞれのビンに属して画素強度値を有する画素の数を表しているカウントである。次のステップでは、最小の画素強度値からなる第1の範囲に画素強度値を有するビンにおいてその画素強度値を低下させる。画素強度値のこの低下は、第1の範囲の各画素強度値と1未満でありかつゼロを超えている乗算因数(multiplication factor)とを掛け算することによって実現させる。これによって画像のコントラストが増加する。第3のステップでは、最大の画素強度値からなる少なくとも第3の範囲を除く第2の画素強度値範囲内(第1〜第3の範囲は互いに重複していない)に画素強度値を有するビンにおいてその画素強度値を低下させる。第2の範囲におけるこの画素強度値の低下は、第2の範囲の各画素強度値に対して対数フィルタ処理することによって実現させる。これにより画像のコントラストをさらに増加させている。
【0010】
このアルゴリズムの追加的ステップは、各画素強度値を増加させるか低下させるかのいずれかによって画像の輝度を強調することを目的としている。任意選択では、ATO機能を用いてヒストグラムを伸張(stretch)することによって画質をさらに改良することができる。
【0011】
本明細書で開示する方法は画像の全体にわたる情報を用いて画像の輝度及びコントラストを最適化している。本方法はヒストグラムの最適領域に合わせてグレイスケール値を変化させる。本方法では、画質を向上させる一方でシステム・オペレータの生産性及びスループットを改善させている。
【0012】
本発明の一態様は、音響データを収集するためのデータ収集システムと、各画像フレームごとに音響データを1組の画素強度値に変換するための画像処理装置と、画像フレームを表示するための表示モニタと、コンピュータであって(a)該画像処理装置によって生成させた1組の画素強度値からヒストグラム・データを計算するステップであって、該ヒストグラム・データはその各々が1つの異なる画素強度値または1つの異なる画素強度値範囲のいずれかを含む部分集合である画素強度値からなる非重複の部分集合を包含するように規定されるそれぞれのビンに属して画素強度値を有する画素の数を表しているカウントを含んでいるような計算ステップと、(b)画素強度値の総カウントの所定の一部分を含むような範囲である画素強度値が最小の第1の範囲に画素強度値を有するビンにおいて画素強度値を低下させるステップであって、該第1の範囲における画素強度値の該低下は該第1の範囲内の各画素強度値に1未満でありかつゼロを超えているような乗算因数を掛け算することによって実現しているような低下ステップと、を実行するようにプログラムされたコンピュータと、を備える超音波イメージング・システムであって、表示モニタによって少なくともステップ(a)及び(b)を含むような処理により導出した画素強度値に基づいた画像フレームを表示しているような超音波イメージング・システムである。
【0013】
本発明の別の態様は、(a)1つの画像フレームを表す1組の画素強度値からヒストグラム・データを計算するステップであって、該ヒストグラム・データはその各々が1つの異なる画素強度値または1つの異なる画素強度値範囲のいずれかを含む部分集合である画素強度値からなる非重複の部分集合を包含するように規定されるそれぞれのビンに属して画素強度値を有する画素の数を表しているカウントを含んでいるような計算ステップと、(b)画素強度値の総カウントの所定の一部分を含むような範囲である画素強度値が最小の第1の範囲に画素強度値を有するビンにおいて画素強度値を低下させるステップであって、該第1の範囲における画素強度値の該低下は該第1の範囲内の各画素強度値に1未満でありかつゼロを超えているような乗算因数を掛け算することによって実現しているような低下ステップと、(c)少なくともステップ(a)及び(b)を含むような処理によって導出した画素強度値に基づいて画像フレームを表示するステップと、を含む超音波画像の品質改良方法である。
【0014】
本発明のまた別の態様は、音響データを収集するためのデータ収集システムと、音響データを1つの画像に関する第1組の画素強度値に変換するための画像処理装置と、該画像を表示するための表示モニタと、コンピュータであって(a)第1のアルゴリズムに従って該第1組の画素強度値を処理することによって、第2組の画素強度値が得られるように、表示させる画像のコントラストを強調するステップと、(b)該第1のアルゴリズムと異なる第2のアルゴリズムに従って該第2組の画素強度値を処理することによって、第3組の画素強度値が得られるように、表示させる画像の輝度を強調するステップと、(c)該第3組の画素強度値にマッピングを適用することによって、第4組の画素強度値が得られるように、表示させる画像のコントラストをさらに強調するステップであって、該マッピングは該第1及び第2のアルゴリズムと異なる第3のアルゴリズムに従って、該第3組の画素強度値のうち表示させる画像の関心領域に対応した部分集合を処理することによって導出しているような強調ステップと、(d)該第4組の画素強度値の関数として該表示モニタ上に画像を表示するステップと、を実行するようにプログラムされたコンピュータと、を備える超音波イメージング・システムである。
【0015】
本発明のさらに別の態様は、音響データを収集するためのデータ収集システムと、音響データを1つの画像に関する第1組の画素強度値に変換するための画像処理装置と、該画像を表示するための表示モニタと、コンピュータであって(a)該第1組の画素強度値にマッピングを適用することによって、第2組の画素強度値が得られるように、表示させる画像のコントラストを強調するステップであって、該マッピングは第1のアルゴリズムに従って、該第1組の画素強度値のうち表示させる画像の関心領域に対応した部分集合を処理することによって導出しているような強調ステップと、(b)該第1のアルゴリズムと異なる第2のアルゴリズムに従って該第2組の画素強度値を処理することによって、第3組の画素強度値が得られるように、表示させる画像のコントラストをさらに強調するステップと、(c)該第1及び第2のアルゴリズムと異なる第3のアルゴリズムに従って該第3組の画素強度値を処理することによって、第4組の画素強度値が得られるように、表示させる画像の輝度を強調するステップと、(d)該第4組の画素強度値の関数として該表示モニタ上に画像を表示するステップと、を実行するようにプログラムされたコンピュータと、を備える超音波イメージング・システムである。
【0016】
本発明の別の態様について以下で開示し特許請求することにする。
【0017】
【発明の実施の形態】
図1を参照すると、Bモード超音波イメージング・システムは、典型的には、トランスジューサ・アレイ2と、ビーム形成器4と、Bモード画像処理装置6と、ホストコンピュータ8と、表示モニタ10と、を備えている。トランスジューサ・アレイ2は、ビーム形成器4内の送信器によって作動させて1つの送信集束位置に集束させた超音波ビームを送信している多数のトランスジューサ素子を備えている。反射RF信号はこのトランスジューサ素子によって検出し、さらにビーム形成器4内の受信器によって走査線に沿った相次ぐ範囲に動的に集束させ、未処理音響データ・サンプルからなる受信ベクトルを形成させている。各走査線ごとのビーム形成器出力データ(I/QまたはRF)はBモード画像処理装置6を通過させ、このBモード画像処理装置6によって未処理音響データを表示モニタ10による表示に適した形式の画素画像データになるように処理している。
【0018】
システム制御はホストコンピュータ8内に集中させており、ホストコンピュータ8は、オペレータ・インタフェース(図示せず)を介してオペレータ入力を受け入れ、収集したデータを解析し、かつオペレータ入力及びデータ解析結果に基づいて様々なサブシステムを制御している。ホストコンピュータ8は、(1)ビーム形成器4に送信及びビーム形成用のパラメータを提供する機能と、(2)Bモード画像処理装置6にグレイ・マッピングを提供する機能と、(3)メモリから画像フレームを取り出し、この画像フレームを再スケール変換し、かつ再スケール変換した画像をズームモード表示のために表示モニタに送る機能と、(4)データ圧縮曲線をBモード画像処理装置6に提供する機能と、を実行するようにプログラムすることがある。グレイマップ、ビーム形成用パラメータ及び圧縮曲線は、ランダム・アクセス・メモリ内に保存したルックアップ・テーブルの形態で提供することが好ましい。図1には、ホストコンピュータ8への通信及びホストコンピュータ8からの通信に関して別々の経路を示しているが、これらの通信が1本の共通チャンネルまたはシステム・バスを介して実施されることがあることは容易に理解されよう。
【0019】
さらに、このホストコンピュータは、画像処理装置6から未処理画素強度データからなる相次ぐ画像フレームを取り出し、次いである関心領域に関する、または画像フレーム全体に関するそれぞれのヒストグラムを計算するようにプログラムすることがある。典型的な画素強度ヒストグラムを図2に示す。ヒストグラムを計算するには、生じうる画素強度値範囲を長さが等しい一連の非重複のビンに分割するステップと、関心領域または画像フレーム内の各画素強度値を当該の値を有するそれぞれのビンに割り当てるステップと、当該画像フレームに関して各ビン内にある画素数をカウントするステップと、が必要である。図2は、出現数を画素強度値の関数として表示したグラフである。ホストコンピュータ8のバッファメモリ内にヒストグラムを相次いで保存することができる。ホストコンピュータは、現在のヒストグラムを直前のヒストグラムと反復して比較するようにプログラムすることができる。あるヒストグラムと次のヒストグラムとで大きな変化があり、その後に安定化した画素強度ヒストグラムを示す画像フレームが所定の数だけ続いている場合には、マッピング及び/または圧縮パラメータを自動的に最適化し直し、この最適化し直したパラメータを画像処理装置6に送るようにコンピュータをプログラムしておくことができる。次いで、画像処理装置6は、音響データの後続の画像フレームを処理する際にこれらのパラメータを利用する。
【0020】
図3は、Bモード超音波イメージング・システムの一タイプに関する信号経路を表している。ビーム形成器4が出力した受信RFデータ(または、I/Qの等価対のデータ)は検出器12によってベクトルごとに包絡線検出を受ける。次いで、データ圧縮ブロック14(ホストコンピュータ8によってランダム・アクセス・メモリにロードされるルックアップ・テーブルを含むことが好ましい)において検出データを圧縮し、画素値表示のためのダイナミックレンジを小さくしている(典型的には、8ビット)。音響線メモリ(ALM)16は、アレイ全体を1回掃引するごとに、1枚の2次元画像を形成するために圧縮した音響データのベクトルを蓄積している。走査変換装置18はR−ΘまたはX−Yの音響データ形式をX−Y画素形式またはビデオ・データ形式に変換し、これにより未処理画素強度データを形成させている。次いでこの未処理画素強度データをグレイマップ20によってグレイスケール値にマッピングさせ、モニタ10上に表示させている。このグレイ・マッピングは、ホストコンピュータによってランダム・アクセス・メモリにロードしたルックアップ・テーブルを含むことが好ましい。
【0021】
本発明の実施一形態では、そのグレイスケール画素強度値をホストコンピュータによって自動的にフィルタ処理して輝度及びコントラストを改良している。図4及び図5は、実施の一形態に従った本方法の各ステップの流れ図を表している。第1のステップ22(図4に示す)では、システム・コンピュータは、走査変換装置(図3に示す)内のX−Y表示メモリから直接であるか、またはシネ・メモリ(図3では図示せず)を介するかのいずれかによって新たな画像フレームを1つ読み出す。第2のステップ24では、各画素値ビン内に入る画素数をカウントすることによって、入力された画像フレームに関する画像画素強度ヒストグラムを計算する。8ビットの画素表示では、画素値の最小値はゼロであり、また画素値の最大値は255である。統計的変動を減少させるため、その画素強度ヒストグラムの画素ビンのサイズが1より大きくなるように(例えば、5に)設定することができる。この新たな画像フレームに関する画素強度ヒストグラムはホストコンピュータのバッファメモリ内に保存する。このバッファメモリ内には既に直前の画像フレームに関する画素強度ヒストグラムが保存されている。
【0022】
本処理の次のステップ(図4のステップ26)は、どの位置が、全画像グレイスケール値の90%(すなわち、ヒストグラムの下側総面積の90%)を包含しているヒストグラム領域の境界を示しているか(すなわち、グレイスケール値P0(図6に示す))を決定することである。90%以外のレベルを使用することも可能である。この値P0がヒストグラムの中央値より大きい場合には(ステップ28)、そのヒストグラムは「high」であると指定する(ステップ30)と共に符号「−1」を割り当てる、また大きくない場合には、そのヒストグラムは「low」であると指定する(ステップ32)と共に符号「+1」を割り当てる。ヒストグラムの中央値は、そのヒストグラム内の最大グレイスケール値と最小グレイスケール値との平均値に等しい。このステップによってそのヒストグラムの歪度が決定される。この「歪度(skewness)」という語は、統計に関する当業者であれば通常の感覚で使用しているものである。すなわち、Academic Press Dictionary of Science and Technology(1992)には「測定値中心の周りの分布に関する対称性の欠如、例えば、右側歪度状態は左側テール部と比べて右側テール部がより緩やかな低下を示すことに対応する」と定義している。
【0023】
本処理の次の段階はコントラスト強調である。先ず、ホストコンピュータは、その画像フレームのヒストグラムを、その各々が画像グレイスケール値のそれぞれ1/3を包含するようにして3つの領域に分割する。1つの領域は最小の値からなる範囲を包含しており、別の領域は最大の値からなる範囲を包含しており、さらに中間の領域は最大値の範囲と最小値の範囲の間に位置する中間的な値からなる範囲を包含している。次いで、最小値を包含している領域内のグレイスケール値を10分の1に低下させる、すなわち、1/10を乗じる(図4のステップ34)が、上側の各値は変更しない。例えば、最小値領域の境界がグレイスケール値P1の位置にあれば、コントラスト強調の第1ステップによって、図7に示すようにP1/10からP1までの領域ではそのヒストグラムを基本的にゼロにする。このステップによって画像のコントラストが増加する。
【0024】
次のコントラスト強調ステップ(図4のステップ34)は、このヒストグラムから、どの位置が、全画像グレイスケール値の68%(すなわち、ヒストグラムの下側総面積の68%)を包含しているヒストグラム領域の境界を示しているか(すなわち、グレイスケール値J0(図7に示す))を決定することである。68%以外のレベルを使用することも可能である。ホストコンピュータは、値J0を除算因数(division factor)として使用してその画像グレイスケール値を対数フィルタに通す(図5のステップ38)ようにプログラムしている。ホストコンピュータで実行させる対数フィルタ処理ルーチンの一実施形態は以下のような疑似コードの形態をとる。
【0025】
Int image;//画像を意味する
Int image_width;//画像の幅
Int image_height;//画像の高さ
for(y=0;y<image_height;y++){
for(x=0;x<image_width;x++){
image[y][x]=image[y][x]*log10((10*image[y][x]%256)/J0)
【0026】
ここで、記号%はモジュラス演算子(modulus operator)を表している。この対数フィルタは大きい方のグレイスケール値と比べて小さい方のグレイスケール値がより多く抑制されるように設計している。これによってコントラストがさらに増加するが、大きい方のグレイスケール値は実質的に同じままである。
【0027】
ホストコンピュータは、コントラストを強調した後で輝度を強調させるようにさらにプログラムすることがある。引き続き図5を参照すると、輝度強調の第1ステップは選択したしきい値t0を超える画素カウントを有するような最初のグレイスケール値P2を決定すること(ステップ40)である。図8は、グレイスケール値P2及び画素カウントしきい値t0を用いたコントラスト強調後のヒストグラムを表している。図6に示す領域に対して直前において「high」状態が割り当てられていた場合(ステップ42)には、ホストコンピュータはP2の符号を変更し(ステップ44)、すべてのグレイスケール画素強度値から値P2を引き算することによってその輝度を低下させる(ステップ46)ことになる。これ以外の場合は、ホストコンピュータはすべてのグレイスケール画素強度値に値P2を加算することによって輝度を増加させる(ステップ46)ことになる。ホストコンピュータで実行させる輝度強調ルーチンの一実施形態は以下のような疑似コードの形態をとる。
【0028】
If(ヒストグラムの下側面積の90%がグレイ値128を超える場合)
sign=−1 else sign=+1
画像内で出現数がt0回を超える最初のグレイスケール値を求める
for(int y=0;y<image_height;y++){
for(int x=0;x<image_width;x++){
image[y][x]=image[y][x]+sign*P2
【0029】
出力画像(図5のステップ50)の画質をさらに改良するには、上述の強調により得られたヒストグラムを自動組織最適化(automatic tissue optimization:ATO)機能を用いて伸張させることができる(ステップ48)。図9は典型的なグレイマップ(破線で示す)をその上に重ね合わせて示した未処理データ・ヒストグラム(ギザギザの実線で示す)を表したものである。この典型的なグレイマップは入力値に等しいグレイスケール値を出力する。図9に示す未処理データ及びグレイマップが与えられた場合、256(0〜255)個のうち概ね171(20〜190)個のグレイスケール値が使用される。この例では、グレイスケール値の67%が使用される。ATO機能は、こうした状況においてより最適度のよいグレイ・マッピングを提供するように設計している。
【0030】
コントラスト/輝度強調フィルタは、システム・オペレータが超音波イメージング・システムのオペレータ・コンソール上にある専用ボタンを押すことによって起動させることができる。別法として、そのホストコンピュータは、所定の状態の検出に応答して各画像フレームを自動的にフィルタ処理するようにプログラムすることがある。
【0031】
本発明の別の実施形態では、そのホストコンピュータは、画像フレームにコントラスト及び輝度強調を行う前にATO機能を実行するようにプログラムされている。ATOが有効である場合、画像フレームのある関心領域全体にわたって作成した画素強度ヒストグラムのある種の特性に基づいてそのグレイ・マッピングが最適化し直される。次いで、この画素強度データに対して、最適化し直したマッピングによって確立させた対応するグレイスケール値になるように各値を変換することによってコントラスト調整を実施する。適応グレイマップ入力範囲の外側にある画素強度値は最小(0)または最大(255)のグレイスケール値にマッピングさせる。その結果、最大関心対象の画素強度データのコントラストが増加する。
【0032】
上述の処理を達成するために、ホストコンピュータ8は、画像フレームのうち関心領域内のみの画素強度データに基づいて新たな画素強度ヒストグラムを作成する。次いでコンピュータは、各方向からのサーチによってヒストグラムの各端点を判定する。両端点の間にある未処理画素強度値の範囲がマップ入力範囲である。次いでコンピュータは、このマップ入力範囲に当てはまるようにグレイ・マッピングを生成させる。例えば、グレイスケール値範囲の端点0及び255を、図10に示すようにマップ入力範囲の各端点と相関させる。別法として、多数のグレイマップをメモリ内に保存しておき、保存したマップのうちからコンピュータによってそのグレイスケール・マッピングの実行に最も適したマップを選択させることができる。次いで、得られたグレイスケール画素強度値を上述した方式でフィルタ処理する。
【0033】
ホストコンピュータによるコントラスト及び輝度の強調に関連させて実施形態を記載してきたが、当業者であれば、別法として強調画像フレームを専用ハードウェアによって作成することも可能であることを理解するであろう。
【0034】
本発明に関して好ましい実施形態を参照しながら記載してきたが、本発明の趣旨を逸脱することなく様々な変更が可能であると共に、本発明の構成要素の等価物による代用が可能であることは当業者であれば理解するであろう。さらに、多くの修正形態により、本発明の本質的趣旨を逸脱することなく具体的な状況を本発明の教示に適応させることができる。例えば、ホストコンピュータが十分に高速であれば、コントラスト及び輝度の強調の後でATO機能を実行することも可能である。したがって、本発明を実行させるように企図して最適モードとして開示した特定の実施形態に本発明を限定しようという意図ではなく、本発明は添付の特許請求の範囲の趣旨内に入るすべての実施形態を包含させようという意図である。
【0035】
本特許請求の範囲内で使用する場合、「コンピュータ(computer)」という語は、プログラムに従って計算を実行することができるプログラム可能な任意のデータ処理デバイス、あるいはプログラム可能なデータ処理デバイスを相互に連絡させたシステムのことを意味している。詳細には、「コンピュータ」という語は、専用プロセッサや汎用コンピュータを含むが、これらに限定するものではない。
【図面の簡単な説明】
【図1】典型的なBモード超音波イメージング・システムを概括的に表したブロック図である。
【図2】画素強度値を横軸に沿ってプロットし、各ビン内の出現数を縦軸に沿ってプロットした画素強度ヒストグラムを表したグラフである。
【図3】典型的なBモード超音波イメージング・システムを表したブロック図である。
【図4】本発明の実施の一形態に従ってコントラスト及び輝度を強調させるためのアルゴリズムを表した流れ図である。
【図5】本発明の実施の一形態に従ってコントラスト及び輝度を強調させるためのアルゴリズムを表した流れ図である。
【図6】全画像グレイスケール値の90%を包含するヒストグラム領域の境界を表している位置P0に画素強度ヒストグラムと重ねてマーカーを示しているグラフである(このヒストグラムはコントラスト強調前の状態を示す)。
【図7】全画像グレイスケール値の68%を包含するヒストグラム領域の境界を表している位置J0に画素強度ヒストグラムと重ねてマーカーを示しているグラフである(このヒストグラムはコントラスト強調の第1ステップ以降でコントラスト強調の第2ステップ以前の状態を示す)。
【図8】選択したしきい値Tを超える最初の画像グレイスケール値を表している位置P2に画素強度ヒストグラムと重ねてマーカーを示しているグラフである(このヒストグラムはコントラスト強調後の状態を示す)。
【図9】図2の画素強度ヒストグラムに重ね合わせて典型的なグレイ・マッピングを表したグラフである。
【図10】図2の画素強度ヒストグラムに重ね合わせて適応生成式のグレイ・マッピングを表したグラフである。
【符号の説明】
2 トランスジューサ・アレイ
4 ビーム形成器
6 Bモード画像処理装置
8 ホストコンピュータ
10 表示モニタ
12 検出器
14 データ圧縮ブロック
16 音響線メモリ(ALM)
18 走査変換装置
20 グレイマップ
Claims (23)
- 音響データを収集するためのデータ収集システムと、各画像フレームごとに音響データを1組の画素強度値に変換するための画像処理装置と、画像フレームを表示するための表示モニタと、コンピュータであって、(a)前記画像処理装置によって生成させた1組の画素強度値からヒストグラム・データを計算するステップであって、該ヒストグラム・データはその各々が1つの異なる画素強度値または1つの異なる画素強度値範囲のいずれかを含む部分集合である画素強度値からなる非重複の部分集合を包含するように規定されるそれぞれのビンに属して画素強度値を有する画素の数を表しているカウントを含んでいるような計算ステップと、(b)画素強度値の総カウントの所定の一部分を含むような範囲である画素強度値が最小の第1の範囲に画素強度値を有するビンにおいて画素強度値を低下させるステップであって、前記第1の範囲における画素強度値の該低下は前記第1の範囲内の各画素強度値に1未満でありかつゼロを超えているような乗算因数を掛け算することによって実現しているような低下ステップと、(c)画素強度値が最大の少なくとも第3の範囲を除く第2の画素強度値範囲内に画素強度値を有するビンにおいて画素強度値を低下させるステップであって、前記第1〜第3の範囲は重複がなく、前記第2の範囲における画素強度値の該低下は前記第2の範囲内の各画素強度値を対数フィルタ処理することによって実現しているような低下ステップを実行するようにプログラムされていると共に、前記表示モニタは、少なくともステップ(a)〜(c)を含むような処理によって導出した画素強度値に基づいて画像フレームを表示している、請求項1に記載のシステム。
- 前記ステップ(c)はさらに、その値未満及び該値を含む画素強度値のカウントが総カウントの所定の一部分であるような境界を画定している除算因数画素強度値を決定するステップと、前記除算因数画素強度値を前記対数フィルタ処理の際の除算因数として使用するステップと、を含む、請求項1に記載のシステム。
- 前記所定の一部分が約2/3に等しい、請求項2に記載のシステム。
- 前記所定の一部分が約1/3に等しい、請求項1に記載のシステム。
- 前記コンピュータはさらに、(d)画素強度値が大きくなる順で、連続したビンにおいて各ビンをテストし、テストしているビンが所定のしきい値に等しいか該値を超えるカウントを有するか否かを判定するステップと、(e)ビンが所定のしきい値に等しいか該値を超えるカウントを有する場合に、該所定のしきい値に等しいカウントを有する輝度強調画素強度値を特定するステップと、(f)少なくとも前記第2及び第3の範囲内において各画素強度値の値を前記輝度強調画素強度値だけ変化させるステップと、を実行するようにプログラムされている、請求項1に記載のシステム。
- 前記コンピュータはさらに、前記ヒストグラムの歪度状態を、前記ステップ(f)で実施する変化の符号が該歪度状態に依存するように決定するようにプログラムされている、請求項5に記載のシステム。
- 音響データを収集するためのデータ収集システムと、音響データを1つの画像に関する第1組の画素強度値に変換するための画像処理装置と、該画像を表示するための表示モニタと、コンピュータであって、(a)第1のアルゴリズムに従って前記第1組の画素強度値を処理することによって、第2組の画素強度値が得られるように、表示させる画像のコントラストを強調するステップと、(b)前記第1のアルゴリズムと異なる第2のアルゴリズムに従って前記第2組の画素強度値を処理することによって、第3組の画素強度値が得られるように、表示させる画像の輝度を強調するステップと、(c)前記第3組の画素強度値にマッピングを適用することによって、第4組の画素強度値が得られるように、表示させる画像のコントラストをさらに強調するステップであって、該マッピングは前記第1及び第2のアルゴリズムと異なる第3のアルゴリズムに従って、前記第3組の画素強度値のうち表示させる画像の関心領域に対応した部分集合を処理することによって導出しているような強調ステップと、(d)前記第4組の画素強度値の関数として前記表示モニタ上に画像を表示するステップと、を実行するようにプログラムされたコンピュータと、を備え、前記ステップ(a)は、前記第1組の画素強度値からヒストグラム・ データを計算するステップであって、該ヒストグラム・データはその各々が1つの異なる画素強度値または1つの異なる画素強度値範囲のいずれかを含む部分集合である画素強度値からなる非重複の部分集合を包含するように規定されるそれぞれのビンに属して画素強度値を有する画素の数を表しているカウントを含んでいるような計算ステップと、画素強度値の総カウントの所定の一部分を含むような範囲である画素強度値が最小の第1の範囲に画素強度値を有するビンにおいて画素強度値を低下させるステップであって、前記第1の範囲における画素強度値の該低下は前記第1の範囲内の各画素強度値に1未満でありかつゼロを超えているような乗算因数を掛け算することによって実現しているような低下ステップと、を含む、イメージング・システム。
- 前記ステップ(a)は前記第1組の画素強度値に対するヒストグラムを作成するステップを含む、請求項7に記載のシステム。
- 前記ステップ(b)は前記ヒストグラムの歪度状態を決定するステップを含む、請求項8に記載のシステム。
- 前記ステップ(c)は前記第3組の画素強度値に対するヒストグラムを作成するステップを含む、請求項8に記載のシステム。
- 前記所定の一部分が約1/3に等しい、請求項7に記載のシステム。
- 前記ステップ(a)はさらに、画素強度値が最大の少なくとも第3の範囲を除く第2の画素強度値範囲内に画素強度値を有するビンにおいて画素強度値を低下させるステップであって、前記第1〜第3の範囲は重複がなく、前記第2の範囲は画素強度値の総カウントの所定の一部分を含み、前記第2の範囲における画素強度値の該低下は前記第2の範囲内の各画素強度値を対数フィルタ処理することによって実現しているような低下ステップを含む、請求項11に記載のシステム。
- 前記所定の一部分が約1/3に等しい、請求項12に記載のシステム。
- 前記ステップ(a)はさらに、その値未満及び該値を含む画素強度値のカウントが総カウントの所定の一部分であるような境界を画定している除算因数画素強度値を決定するステップと、前記除算因数画素強度値を前記対数フィルタ処理の際の除算因数として使用するステップと、を含む、請求項12に記載のシステム。
- 音響データを収集するためのデータ収集システムと、音響データを1つの画像に関する第1組の画素強度値に変換するための画像処理装置と、該画像を表示するための表示モニタと、コンピュータであって、(a)前記第1組の画素強度値にマッピングを適用することによって、第2組の画素強度値が得られるように、表示させる画像のコントラストを強調するステップであって、該マッピングは第1のアルゴリズムに従って、前記第1組の画素強度値のうち表示させる画像の関心領域に対応した部分集合を処理することによって導出しているような強調ステップと、(b)前記第1のアルゴリズムと異なる第2のアルゴリズムに従って前記第2組の画素強度値を処理することによって、第3組の画素強度値が得られるように、表示させる画像のコントラストをさらに強調するステップと、(c)前記第1及び第2のアルゴリズムと異なる第3のアルゴリズムに従って前記第3組の画素強度値を処理することによって、第4組の画素強度値が得られるように、表示させる画像の輝度を強調するステップと、(d)前記第4組の画素強度値の関数として前記表示モニタ上に画像を表示するステップと、を実行するようにプログラムされたコンピュータと、を備え、前記ステップ(b)は、前記第2組の画素強度値からヒストグラム・データを計算するステップであって、該ヒストグラム・データはその各々が1つの異なる画素強度値または1つの異なる画素強度値範囲のいずれかを含む部分集合である画素強度値からなる非重複の部分集合を包含するように規定されるそれぞれのビンに属して画素強度値を有する画素の数を表しているカウントを含んでいるような計算ステップと、画素強度値の総カウントの所定の一部分を含むような範囲である画素強度値が最小の第1の範囲に画素強度値を有するビンにおいて画素強度値を低下させるステップであって、前記第1の範囲における画素強度値の該低下は前記第1の範囲内の各画素強度値に1未満でありかつゼロを超えているような乗算因数を掛け算することによって実現しているような低下ステップと、を含むイメージング・システム。
- 前記ステップ(b)はさらに、画素強度値が最大の少なくとも第3の範囲を除く第2の画素強度値範囲内に画素強度値を有するビンにおいて画素強度値を低下させるステップであって、前記第1〜第3の範囲は重複がなく、前記第2の範囲は画素強度値の総カウントの所定の一部分を含み、前記第2の範囲における画素強度値の該低下は前記第2の範囲内の各画素強度値を対数フィルタ処理することによって実現しているような低下ステップを含む、請求項15に記載のシステム。
- 前記ステップ(b)はさらに、その値未満及び該値を含む画素強度値のカウントが総カウントの所定の一部分であるような境界を画定している除算因数画素強度値を決定するステップと、前記除算因数画素強度値を前記対数フィルタ処理の際の除算因数として使用するステップと、を含む、請求項16に記載のシステム。
- 画像の品質を改良させる方法であって、(a)1つの画像フレームを表す1組の画素強度値からヒストグラム・データを計算するステップであって、該ヒストグラム・データはその各々が1つの異なる画素強度値または1つの異なる画素強度値範囲のいずれかを含む部分集合である画素強度値からなる非重複の部分集合を包含するように規定されるそれぞれのビンに属して画素強度値を有する画素の数を表しているカウントを含んでいるような計算ステップと、(b)画素強度値の総カウントの所定の一部分を含むような範囲である画素強度値が最小の第1の範囲に画素強度値を有するビンにおいて画素強度値を低下させるステップであって、前記第1の範囲における画素強度値の該低下は前記第1の範囲内の各画素強度値に1未満でありかつゼロを超えているような乗算因数を掛け算することによって実現しているような低下ステップと、(c)画素強度値が最大の少なくとも第3の範囲を除く第2の画素強度値範囲内に画素強度値を有するビンにおいて画素強度値を低下させるステップであって、前記第1〜第3の範囲は重複がなく、前記第2の範囲における画素強度値の該低下は前記第2の範囲内の各画素強度値を対数フィルタ処理することによって実現しているような低下ステップと、(d)少なくともステップ(a)、(b)及び(c)を含むような処理によって導出した画素強度値に基づいて画像フレームを表示するステップと、を含む方法。
- 前記ステップ(c)は、その値未満及び該値を含む画素強度値のカウントが総カウントの所定の一部分であるような境界を画定している除算因数画素強度値を決定するステップと、前記除算因数画素強度値を前記対数フィルタ処理の際の除算因数として使用するステップと、をさらに含む、請求項18に記載の方法。
- 前記所定の一部分が約2/3に等しい、請求項19に記載の方法。
- 前記所定の一部分が約1/3に等しい、請求項18に記載の方法。
- (e)画素強度値が大きくなる順で、連続したビンにおいて各ビンをテストし、テストしているビンが所定のしきい値に等しいか該値を超えるカウントを有するか否かを判定するステップと、(f)ビンが所定のしきい値に等しいか該値を超えるカウントを有する場合に、該所定のしきい値に等しいカウントを有する輝度強調画素強度値を特定するステップと、(g)少なくとも前記第2及び第3の範囲内において各画素強度値の値を前記輝度強調画素強度値だけ変化させるステップと、をさらに含む請求項18に記載の方法。
- 前記ヒストグラムの歪度状態を、前記ステップ(g)で実施する変化の符号が該歪度状態に依存するように決定するステップをさらに含む請求項22に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/063,275 US6579239B1 (en) | 2002-04-05 | 2002-04-05 | System and method for automatic adjustment of brightness and contrast in images |
US10/063,275 | 2002-04-05 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003325518A JP2003325518A (ja) | 2003-11-18 |
JP2003325518A5 JP2003325518A5 (ja) | 2008-07-31 |
JP4259903B2 true JP4259903B2 (ja) | 2009-04-30 |
Family
ID=22048131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003100977A Expired - Fee Related JP4259903B2 (ja) | 2002-04-05 | 2003-04-04 | 画像の輝度及びコントラストを自動調整するためのシステム及び方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US6579239B1 (ja) |
JP (1) | JP4259903B2 (ja) |
DE (1) | DE10315463A1 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101551865B (zh) * | 2003-11-19 | 2016-01-27 | 美国西门子医疗解决公司 | 利用外观和形状来检测和匹配解剖结构的系统和方法 |
US7536044B2 (en) * | 2003-11-19 | 2009-05-19 | Siemens Medical Solutions Usa, Inc. | System and method for detecting and matching anatomical structures using appearance and shape |
JP4200890B2 (ja) * | 2003-12-10 | 2008-12-24 | 株式会社日立製作所 | 映像信号処理装置及びそれを用いたテレビジョン受信機並びに映像信号処理方法 |
JP4527500B2 (ja) * | 2004-11-10 | 2010-08-18 | 富士フイルム株式会社 | 画像処理方法および装置並びにプログラム |
TWI296090B (en) * | 2004-11-30 | 2008-04-21 | Realtek Semiconductor Corp | Apparatus and method for image adjustment |
US7778450B2 (en) * | 2005-01-20 | 2010-08-17 | Scimed Life Systems, Inc. | Pattern recognition systems and methods |
KR100640063B1 (ko) * | 2005-02-18 | 2006-10-31 | 삼성전자주식회사 | 외부조도를 고려한 영상향상방법 및 장치 |
EP1876959A1 (en) * | 2005-04-25 | 2008-01-16 | Koninklijke Philips Electronics N.V. | Targeted additive gain tool for processing ultrasound images |
EP1750143A3 (en) | 2005-07-27 | 2009-09-09 | Medison Co., Ltd. | Ultrasound diagnostic system and method of automatically controlling brightness and contrast of a three-dimensional ultrasound image |
US7684639B2 (en) | 2005-10-20 | 2010-03-23 | Sharp Laboratories Of America, Inc. | Methods and systems for automatic digital image enhancement |
US7684640B2 (en) | 2005-10-20 | 2010-03-23 | Sharp Laboratories Of America, Inc. | Methods and systems for automatic digital image enhancement with local adjustment |
JP5003196B2 (ja) * | 2007-02-19 | 2012-08-15 | ソニー株式会社 | 画像処理装置および方法、並びに、プログラム |
US10130342B2 (en) | 2007-12-28 | 2018-11-20 | Bracco Suisse Sa | Initialization of fitting parameters for perfusion assessment based on bolus administration |
CN101814179B (zh) * | 2009-02-19 | 2012-06-27 | 富士通株式会社 | 图像增强方法和设备 |
EP2441044B8 (en) * | 2009-06-08 | 2019-03-27 | Bracco Suisse SA | Auto-scaling of parametric images |
US8786873B2 (en) | 2009-07-20 | 2014-07-22 | General Electric Company | Application server for use with a modular imaging system |
US8243882B2 (en) | 2010-05-07 | 2012-08-14 | General Electric Company | System and method for indicating association between autonomous detector and imaging subsystem |
KR102025756B1 (ko) * | 2013-01-04 | 2019-09-27 | 삼성전자주식회사 | 영상에서 스펙클을 제거하는 방법, 장치 및 시스템. |
US10716536B2 (en) | 2013-07-17 | 2020-07-21 | Tissue Differentiation Intelligence, Llc | Identifying anatomical structures |
US10154826B2 (en) | 2013-07-17 | 2018-12-18 | Tissue Differentiation Intelligence, Llc | Device and method for identifying anatomical structures |
CN104720835A (zh) * | 2013-12-20 | 2015-06-24 | Ge医疗系统环球技术有限公司 | 显示装置、图像显示方法和计算机化断层扫描设备 |
WO2015155380A1 (en) | 2014-04-07 | 2015-10-15 | Bracco Suisse Sa | Estimation of acoustic level in-situ with non-fundamental analysis |
EP3386397B1 (en) | 2015-12-10 | 2020-02-05 | Bracco Suisse SA | Detection of immobilized contrast agent with dynamic thresholding |
TWI573126B (zh) * | 2016-01-08 | 2017-03-01 | 明基電通股份有限公司 | 可依據不同環境執行最佳化調整的影像調整方法及其顯示器 |
US11986341B1 (en) | 2016-05-26 | 2024-05-21 | Tissue Differentiation Intelligence, Llc | Methods for accessing spinal column using B-mode imaging to determine a trajectory without penetrating the the patient's anatomy |
US11701086B1 (en) | 2016-06-21 | 2023-07-18 | Tissue Differentiation Intelligence, Llc | Methods and systems for improved nerve detection |
DE102017203702A1 (de) | 2017-03-07 | 2018-09-13 | Siemens Healthcare Gmbh | Verfahren und Vorrichtung zum Erzeugen eines Ausgabebildes aus einem Volumendatensatz |
IT201800003384A1 (it) * | 2018-03-08 | 2019-09-08 | Photosi Spa Unipersonale | Procedimento di valutazione automatica della qualità di foto digitali |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5492125A (en) * | 1995-02-10 | 1996-02-20 | University Of Washington | Ultrasound signal processing apparatus |
US5793883A (en) * | 1995-09-29 | 1998-08-11 | Siemens Medical Systems, Inc. | Method for enhancing ultrasound image |
US6048311A (en) * | 1997-05-07 | 2000-04-11 | Washburn; Michael J. | Method and apparatus for ultrasound imaging using adaptive gray mapping |
US6162176A (en) * | 1998-12-31 | 2000-12-19 | General Electric Company | Ultrasound color flow display optimization |
-
2002
- 2002-04-05 US US10/063,275 patent/US6579239B1/en not_active Expired - Lifetime
-
2003
- 2003-04-04 JP JP2003100977A patent/JP4259903B2/ja not_active Expired - Fee Related
- 2003-04-04 DE DE10315463A patent/DE10315463A1/de not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
US6579239B1 (en) | 2003-06-17 |
DE10315463A1 (de) | 2003-11-13 |
JP2003325518A (ja) | 2003-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4259903B2 (ja) | 画像の輝度及びコントラストを自動調整するためのシステム及び方法 | |
KR100737040B1 (ko) | 초음파 촬상 시스템 및 자동 최적화 방법 | |
JP4405017B2 (ja) | Bモード超音波イメージングにおける自動的な時間及び/又は横方向ゲイン補償のための方法及び装置 | |
US6162176A (en) | Ultrasound color flow display optimization | |
JP5040377B2 (ja) | 映像処理システム及び方法 | |
US8090165B2 (en) | Ultrasonic imaging system and a method for optimizing the gray level of ultrasonic images | |
US6017309A (en) | Ultrasound color flow display optimization by adjusting color maps | |
KR20120013585A (ko) | 초음파 영상의 음속도 추정 방법 및 이를 적용한 초음파 진단 장치 | |
JP4996247B2 (ja) | 超音波診断装置 | |
US7062714B1 (en) | Imaging system having preset processing parameters adapted to user preferences | |
KR100863745B1 (ko) | 초음파 영상 진단 시스템에서 초음파 영상 처리 장치 및방법 | |
JP5103887B2 (ja) | カラーフロー映像の利得を調節する映像処理システム及び方法 | |
CN104490418A (zh) | 一种基于信号统计分析的超声图像自动优化方法 | |
US20080188746A1 (en) | Method and Apparatus for Automatic Gain Adjustment in Spectral Doppler | |
JP2000023976A (ja) | 超音波散乱体をイメ―ジングするシステム及び方法 | |
US5897502A (en) | Persistence for ultrasonic flow imaging | |
US7604594B2 (en) | Method and system of controlling ultrasound systems | |
US20120035480A1 (en) | Ultrasonic diagnostic device | |
US10319083B2 (en) | Image artifact detection and correction in scenes obtained from multiple visual images | |
US6704437B1 (en) | Noise estimation method and apparatus for noise adaptive ultrasonic image processing | |
JP4808373B2 (ja) | Bモード画像のバンディング抑制に関連する応用のための方法及び装置 | |
JP3639385B2 (ja) | レーダ映像処理装置 | |
JP3735515B2 (ja) | 超音波診断システム | |
KR20040070404A (ko) | 초음파 영상 개선 방법 | |
JP2000262520A (ja) | 超音波診断装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060330 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060330 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080616 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090203 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120220 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4259903 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130220 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140220 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |