JP3974946B2 - 画像分類装置 - Google Patents
画像分類装置 Download PDFInfo
- Publication number
- JP3974946B2 JP3974946B2 JP07091994A JP7091994A JP3974946B2 JP 3974946 B2 JP3974946 B2 JP 3974946B2 JP 07091994 A JP07091994 A JP 07091994A JP 7091994 A JP7091994 A JP 7091994A JP 3974946 B2 JP3974946 B2 JP 3974946B2
- Authority
- JP
- Japan
- Prior art keywords
- classification
- information
- image
- unit
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【産業上の利用分野】
本発明は画像情報を入力して、分類判定を行なう装置に関する。
【0002】
【従来の技術】
一般に、カメラ、赤外線カメラ等の撮影装置や内視鏡画像,顕微鏡画像,超音波画像入力装置、X線画像入力装置、MRI(Magnetic Resonance Imaging)装置、CT (Computer Tomography)装置等からの画像を予め定めた幾つかの種類に分類し表示する画像入力装置がある。
【0003】
例えば、第1の例としては、「画像ラボ」(1993年2月号,P19)に、2値化により悪性腫瘍を抽出する装置に応用した例が記載されている。またこれには原発性肝癌を3次元表示する例において、映し出された画像における不規則性から判断するものが記載されている。
【0004】
その他、第2の例としては、「Konika Technical Report」,Vol.6,1993,P55に、病変部の特定パターンを強調した画像と、減弱した画像との差を特徴解析する例が記載されている。
【0005】
【発明が解決しようとする課題】
しかし、前述した第1の例による2値化された画像から悪性腫瘍を抽出する装置例では、悪性として検出する2値化レベルの設定が難しく、元々、目で見て差が明かな腫瘍にのみ有効である。
【0006】
また、第2の例においては、画像内での病変部の形状が限定されているが、実際には様々な形状である。従って、検出できるパターンが決まっており、パターンが多少異なるだけでも検出精度が低下してしまう問題がある。
【0007】
そこで本発明は、入力した画像において2値化や3次元表示だけでは抽出しにくい部分をも適確に分類し、視覚的に分かり易く指示することを可能とした画像分類装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明は上記目的を達成するために、分類を行うための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及び前記情報入力手段から入力された情報のうちの少なくとも一つの情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段と、を具備し、前記分類判定手段は、前記分類を行うための情報が正常部か或いは1つ以上の異常部の種類の何れかを示す種別をデジタル的に判定するための論理判定手段と、この論理判定手段からの出力に基づいて、当該論理判定手段より前段の前記特徴抽出手段で用いる分類ベクトルの再選択を行うようにしたフィードバック手段とを有する画像分類装置を提供する。
【0016】
【作用】
以上のような構成の画像分類装置において、入力された情報から抽出された特徴情報及び特徴情報を抽出し、これらの抽出された情報に基づき、入力された情報の種別を判定し、種別毎に分類わけを行う。この分類は、分類を行うための情報が正常部か或いは1つ以上の異常部の種類の何れかを示す種別をデジタル的に判定するための論理判定を行い、この論理判定の結果出力に基づいて、前段の前記特徴抽出で用いる分類ベクトルの再選択を行う。
【0024】
【実施例】
以下、図面を参照して本発明の実施例を詳細に説明する。
まず、本発明の画像分類装置において、目で見て差が分かりにくい腫瘍の病変部に対して診断支援を行う画像分類装置を例にして、概要について説明する。
【0025】
この画像分類装置は、病変部のテクスチャーパターンを統計的な手法を用いた学習により分析し、分類に有効な特徴量を抽出することを特徴とする。
そして、画像入力時の諸条件が違うと同じ病変部でも異なる画像となってしまうので、画像入力時の諸条件や画像入力装置のばらつきを補正する(正規化)ことも、その形態とする。
【0026】
特に、入力画像が超音波画像の場合に、正規化には、周波数、波形、TGC(Time Gain Control) 、DR(ダイナミックレンジ)、ゲイン、画素位置による判定領域の切り出し方等がある。
【0027】
また、単なる2値化や3次元表示だけでは病変部の特徴を捕らえにくいので、多くの特徴量を多変量解析して、病変部の判断に有効な特徴量または処理法を選定する例も含まれる。この選定のために本装置は学習モードと、実行モードの2モードを具備する形態がある。
【0028】
前記学習モードでは、経験の積んだ医師等が正常部と病変部を画像上で指定し、学習データを作成し、この学習データに種々の前処理を施し、統計量を多変量解析することにより、病変部の判断に有効な特徴量を抽出する。
【0029】
そして、実行モード時には学習モードで決定された特徴量を抽出して、病変部の判断を行なうが、必要な場合には判定結果に応じて、特徴抽出部や分類判定部へフィードバックを行ない判定の精度を高める。学習モードも実行モードも前述した正規化を行なうことを可とする。
【0030】
そして、判定結果を原画像と合成して表示する例を含む。例えば、超音波画像やX線画像では原画像はモノクロであり、病変部と判定された領域に色を付けて表示する。
【0031】
図1には、本発明の画像分類装置の一例を示す。図1(a)は、画像分類装置における分類実行時の構成を示し、図1(b)は、分類を実行するために先立って行う分類学習の構成を示す図である。
【0032】
図1(a)に示す画像分類装置の構成は、超音波画像入力装置、X線画像入力装置等による画像データやCT画像データを取込む画像入力装置1と、該画像入力装置1から入力された画像データを保存し、所定の操作により読み出し、検索、編集を行なうファイリング装置2と、画像入力時の諸条件や前記画像入力装置によるばらつきを補正し、実行時と学習時の入力条件を一致させる正規化処理をするノーマライズ部3と、分類に有効な特徴量を抽出する特徴抽出部4と、特徴抽出部4より得られた特徴量から後述する分類判定を行なう分類判定部5と、入力画像に分類判定の結果を合成して表示する表示部6とからなり、図1(b)においては、さらに、予め定めた学習データに基づき、前記特徴抽出部4及び分類判定部5をそれぞれ制御する学習制御部7とで構成される。
【0033】
また、前記特徴抽出部4は、入力画像から診断に有効な特徴量、例えば、第1次統計量等を前段階として抽出する前処理部8と、前処理部8により得られた特徴量を統計的に解析し、特徴量を変換または、減少させる(次元数の減少)多変量解析部9とで構成される。
【0034】
このように構成された画像分類装置において、画像入力装置1から入力された画像データは、必要に応じて、ファイリング装置2に保存した後に学習や分類判定が行なわれる。そして、ノーマライズ部3により、実行時の分類判定精度が向上する。
【0035】
前記ファイリング装置2及びノーマライズ部3で所定の処理された画像データから、前処理部8により入力画像から診断に有効な複数の特徴量が抽出され、多変量解析部9により、これらの特徴量から、分類に有効な特徴量を選択し、分類精度を向上させると共に、次元数の減少により分類判定が高速に行なわれる。また前処理部8は、多変量解析部9との併用により、対象物に応じて最適な分類特徴量が選択できる。
【0036】
このような特徴抽出部4により、画像データの分類を自動的に行なうための特徴量が抽出され、分類判定部5で、その特徴量に基づき判定を行う。このようにして判定された分類判定結果は、表示部6で視覚的に異ならせてわかり易く表示される。
【0037】
また学習制御部7により、経験による信頼性の高い分類判定データが前記ノーマライズ部3、特徴抽出部4及び分類判定部5にそれぞれ組み込まれ、初心者でもレベルの高い分類判定を行なうことができる。
【0038】
このように構成された画像分類装置において、図1(a)の実行モード、図1(b)の学習モードが選択されない場合には、画像入力装置から入力された画像はそのまま表示部6に表示される。
【0039】
図1(a)を参照して、実行モードについて説明する。
まず、画像入力装置1によりDR,Gain,倍率等がノーマライズされた画像を入力する。図示しないコントロール部より順次座標情報が与えられ、その領域の切り出し方向等のノーマライズが行われ、特徴抽出部4にて、前処理および多変量解析を行ない、分類判定が行なわれる。必要に応じて、フィードバック演算が行なわれ、結果が原画像と合成され表示部6にて表示される。コントロール部からは指定された範囲内の座標情報が順次与えられ、この一連の処理が行なわれ、この指定範囲が例えばカラー表示される。
【0040】
次に図2,図3には、本発明による第1実施例としての画像分類装置の画像入力装置に、コンベックス型超音波装置を用いた例を示す。
このコンベックス型超音波装置10においては、8つのグループに分割され、超音波の送信、受信を順次選択して行う128個の振動子11と、該振動子11からの送信、受信を切り替え、所定数(該所定数はアパーチャーと称され、本実施例では8つ)ずつ同時にON,OFFを行なう素子選択スイッチ12と、該素子選択スイッチ12の切り替え端子の一方に接続され、8個の振動子から所定のフォーカスポイントに収束するような波形が作られるようなパルスを送信する送信回路13と、前記素子選択スイッチ12の切り替え端子の他端に接続され、受信している8つの信号を所定のデレイライン15に送るロータリースイッチ14と、受信波が球面波であるため、各振動子の位置に応じて信号を受信する時間が異なり、この受信信号を時間的に補正するデレイライン15と、該デレイライン15からの出力信号を加算する加算器16と、この実施例では距離が時間に一致するためTGC(Time Gain Control)と称され、距離に応じて減衰した振幅を増幅するアンプ17とで構成される。
【0041】
このTGCは、後述するノーマライズ制御部43によりスイッチングが切り替えられる切り替えスイッチ130の働きにより、所定の増幅を行うTGC固定波形発生回路132、または、外部設定信号に基づいて増幅を行うTGC波形発生回路131に接続されている。学習モード、実行モード時には、TGC固定波形発生回路132にスイッチングされ、所定の増幅値に正規化される。
【0042】
さらに、前記アンプ17からの出力信号(振動子11が受信した信号)を一度高い周波数(f0 +fH )にシフトさせる乗算器18、所定帯域の信号を抽出するBPF19、ゼロ周波数へシフトさせる乗算器20,21及び、LPF22,23とからなるダブルコンバージョン回路24と、前記LPF22,23からの出力信号を、それぞれA/D変換するA/D変換器25,26と、A/D変換された出力信号(超音波)の波形である図7(a)に示す超音波の波形を、図7(c)に示す波形に補正する2つのデジタルフィルタ27,28からなる波形補正回路(ノーマライズ部)29と、デジタルフィルタ27,28の出力から出力値を算出する2乗回路30,31と加算器32からなる検波回路33と、検波出力に対してダイナミックレンジの圧縮を行う対数アンプ34と、図示しない画像の表示部に合わせた走査線変換を行ない、該表示部への表示倍率も制御可能なスキャンコンバータ35と、学習、または実行モード時、DR(ダイナミックレンジ),ゲイン(Gain),倍率を各々所定値Vref1、Vref2、Vref3に設定するノーマライズ部36と、送信回路13を制御するとともに、DR、ゲイン、倍率をユーザの希望値に設定するための制御部37とで構成される。
【0043】
この様に構成されたコンベックス型超音波装置においては、前記振動子11の周波数をf0 とすれば、図7(a)のような波形の送受信信号が入力される。
そして、これらの信号は、素子選択スイッチ12及びロータリースイッチ14の切り替えにより選択され、デレイライン15で各信号を時間的に補正して揃える。補正された信号は、ダブルコンバージョン回路24により、図7(b)に示すように、一度高い周波数(f0 +fH )にシフトさせ、信号帯域だけを効率良く抽出し、次に低周波にシフトされる。この処理により回路の負担が軽減する。
【0044】
さらに、波形補正回路(ノーマライズ部)29により、学習した振動子と特性が異なる場合、フィルタにより補正が行なわれる。また、学習した振動子が経年変化した場合にも補正される。また距離(時間)に対する周波数減衰の補正も行なうことができる。
【0045】
この波形補正回路29からの2つの出力信号は、検波回路33により所定の検波が行われる。次に、この検波信号は、ノーマライズ部36により、学習モード時と、実行モード時にだけノーマライズが行なわれ、学習モード時と実行モード時のDR、ゲイン、倍率が所定の値に正規化される。さらにスキャンコンバータ35は、図示しない表示部に合わせた走査線変換を行ない、表示部への表示倍率も制御する。
【0046】
図4には、前述したコンベックス型超音波装置を組み入れた第1実施例の画像分類装置の構成を示す。図4に示す画像分類装置は、分類判定実行時(実行モード)の構成を示し、構成する部材は、図1に示した部材と同等の部材には同じ参照符号を付し、その説明は省略する。本実施例では、画像分類装置が人体に生じる腫瘍等の病理的な形態を画像として分類する例とする。
【0047】
この画像分類装置において、大きくは、コンベックス型の超音波装置10と、画像中から分類判定を行なう範囲、及び、分類判定に用いる抽出領域の大きさを指定し、座標情報を順次出力する範囲指定部41と、超音波装置10内のノーマライズ部29,36、切り替えスイッチ130とノーマライズ部42とを制御し、通常の診断と判定分類処理(学習モード、実行モード)の切替を行うノーマライズ制御部43と、超音波装置10からの画像信号をフレーム単位で一時的に記憶するフレームモリ44と、ファイリング装置2と、特徴抽出部4と、分類判定部5と、表示部6とで構成される。
【0048】
なお、例えば、ノーマライズ部36における所定値Vref1、Vref2、Vref3、及び、TGC固定波形発生回路132の増幅値は、図示しない条件設定手段により、所望の値に設定される。
前記ノーマライズ部42は、指定された座標値Pから、その位置の傾き角θと、距離dを式(1)で算出する。
【0049】
【数1】
【0050】
その結果により、コンベックス型画像の周辺部の4点の座標より簡易的にθ,dが求められるθ,d算出器45aと、該θ,d算出器45aからのθ,dに応じて抽出領域を変形させる。矩形で回転させたり(図9(a))、台形で切り出し(図9(b))を行なうことにより、画像位置に応じて、撮像特性(周波数特性)が異なるコンベックス型の超音波画像の特性の相違を補正する領域抽出部45bとからなる。
【0051】
また、前記範囲指定部41は、利用者が画像中に分類判定したいエリアを容易に指示できるもので、分類判定を行なう範囲、分類判定に用いる抽出領域の大きさを指定し、座標情報を指定する。
【0052】
次に前記特徴抽出部4は、前処理部46と多変量解析部47とからなる。この前処理部46では、ハミング,ハニング等のウィンドウ関数を乗じて、後述する画像の分類に有効な情報を多く持つパワースペクトルP(u)の検出にあたり、画像周辺部のエッジの影響を除去するウィンドウ回路48と、図10に示すように、フーリエ変換を利用したパワースペクトルP(u)を検出するパワースペクトル検出器49とからなる。ここで、FFTは、高速フーリエ変換を意味し、出力される実数項と虚数項が、2乗され加算される。パワー正規化部では、ゼロ周波数が一定値になるように処理され、画像輝度の違いをノーマライズする。また、パワー処理部は同図(b)〜(e)のように値を変換する。
【0053】
前記多変量解析部47は、前記パワースペクトル検出器49により検出されたパワースペクトルP(u)を記憶しておくことにより、フィードバック制御で何度も利用する分類データメモリ50と、次元変換部51からなる。この次元変換部51は、学習時に算出された分類ベクトルを記憶し、且つθ,d算出器45aで計算されたdの値、分類番号により分類ベクトルの値が選択される分類ベクトルメモリ52と、分類データメモリ50から読出されたパワースペクトルP(u)と、選択された分類ベクトルC1(u),C2(u)との内積演算を行ない、結果t1,t2を出力することにより、分類に有効な特徴空間へ変換し、分類性能を落さずに次元数を削減して、分類判定部への入力を少なくする投影演算器53とで構成される。この投影演算器53は図11に示すように、並列する乗算器と累積加算器からなり、それぞれの乗算器に選択された分類ベクトルC1(u),C2(u)が入力され、内積演算を行ない、結果t1,t2が出力するように構成される。この次元変換部により、分類判定部5の入力部を少なくでき、分類判定部5を小規模、即ち高速処理化できる。
【0054】
次に前記分類判定部5は、入力される信号を論理的判定に適する形に変換するための曖昧判定部54とAI等の論理的な判断回路である論理判定部55と、該論理判定部55の出力に基づき分類番号を重みメモリ57及び分類ベクトルメモリ52に指示するコントロール部58とで構成される。
【0055】
また、ニューラルネットワークを用いることにより、分類の境界が複雑な場合でも、その分類境界を容易に構築できる利点を有する。
この曖昧判定部54においては、前記投影演算器53からのt1,t2から判定値J1,J2,J3を出力することにより、正常部か、異常部か判定の微妙なものも、学習データをもとに正しい評価値(J1,J2,J3)を出力でき、人が行なうようなアナログ的(直感的)評価ができる3階層のニューラルネットワーク56と、このニューラルネットワーク56の重み係数を記憶する重みメモリ57とで構成される。
【0056】
前記重みメモリ57は、コントロール部58が指示した分類番号と距離dの値により重み係数を選択し、ニューラルネットワーク56の重み係数として設定することにより、分類目的に適した重みメモリ値を選択できると共に、距離により異なる撮像特性を補正でき、分類精度を向上できる。但し、前記ニューラルネットワーク56の出力においては、J1は正常部、J2は異常部(悪性)、J3は異常(良性)の度合を示し、各々0〜1.0の値を出力とする。また、論理判定部55は、J1,J2,J3の値に応じて、後述する[判断表1]のように処理を選択する。ケース4の場合は異常であるが悪性か良性かがわからない場合で、悪性か良性かだけを分類するように学習された分類べクトル、重みを選択し、再実行する。
【0057】
このように論理判定部55の判定が曖昧な時は、分類判定部5または、その前段部へフィードバック処理し、判定を行なうことにより分類判定の精度を向上させる。ニューラルネットワーク56がアナログ的(直感的)評価をするのに対して、論理判定部55はデジタル的(論理的)評価を行なうことができ、より複雑な分類判定をも行うことができる。なお、フィードバックの回数が所定回数以上になる場合には、判定値5(分類不明を意味する)を出力する。
【0058】
この論理判定部55が出力する判定値は、表示部6に送出される。この表示部6は、表示画像生成部59とCRTやフラットパネル等のデイスプレイからなるモニタ60とで構成され、例えば、入力画像に判定値に応じて色を変えて表示する。例えば、判定値1(正常)では緑色、判定値2(悪性)では赤色、判定値3(良性)では青色、判定値5(不明)では黄色に領域を着色することにより、分類判定結果が視覚的にわかり易く表示でき、有用な診断支援ができる。
【0059】
なお、分類ベクトルの値と重みメモリの値は、ノーマライズ部42から出力される制御情報(ここでは距離d)及び、または、分類番号により選択されることにより、分類精度を向上させることができる。
【0060】
次に図1(b)を参照して学習モードについて説明する。
まず、画像入力装置1により、TGC、波形、DR,Gain,倍率がノーマライズされた画像を入力し、適当にフリーズしてファイリング装置2に保存する。そして、学習制御部7の制御により、ファイリングする画像の中から指定された画像を読み出し、表示部6に表示し、オペレータ(経験者)が表示内の所望の領域を指定し、教師情報を与える。
このように指定された領域は、切り出し方向等のノーマライズが行なわれ、特徴抽出部にて前処理および多変量解析を行ない、学習データが作成され、分類判定部で学習が行なわれる。
【0061】
そして、図5には、図4に示した画像分類装置における分類判定学習時(学習モード)の構成を示す。ここで構成する部材で図4に示した部材と同等の部材には同じ参照符号を付し、その説明は省略する。
【0062】
この分類判定学習時の画像分類装置には、ノーマライズ制御器43及び表示画像生成部59に座標情報Pを出力し、多変量解析部47及び曖昧判定部54にそれぞれ所定の分類番号を学習させるための学習制御部61が設けられる。
【0063】
この学習制御部61は、医師等の経験者により症例等のデータを入力するための教師データ入力部62と、投影演算器53からの結果t1,t2を記録する学習データメモリ63と、学習データメモリ63からのデータと前記教師データから重みメモリの値を生成する学習器64と、分類データメモリ50からの分類データから分類ベクトルを演算する分類ベクトル演算部65と、学習全体を制御する学習制御器66とで構成される。この演算された分類ベクトルにより、特徴抽出部4の処理条件が設定されることになる。
【0064】
前記教師データ入力部62は、医師等の経験者とのユーザインターフェイスであり、経験者がモニタ60に表示される画面を見ながら、図示しないマウス、キーボード等により、モニタ60内に表示されるウィンドウを移動させて、正常部、異常部(悪性)、異常部(良性)の位置等の教師データを入力する。また、指示した位置の画像領域の色を変えて表示することにより、教師データとして入力された領域を視覚的に認知し易くできる。また、この指示した位置の座標情報によりθ,dが算出される。この様にして、経験者の有益な情報を容易に入力できることから、常に新たな症例等のデータを後から簡単に入力でき、学習し直すことができる。また、教師データとしては、正常部、異常部(悪性)、異常部(良性)の情報だけでなく、異常部の名称等を入力してもよい。
【0065】
前記学習制御器66は、教師データ入力部62の指示に従い学習全体を制御することにより、距離d、分類番号に応じ、分類ベクトルメモリ52、重みメモリ57の値を算出するような制御情報を出力する。このdは、例えば距離の範囲により図8に示すように、d1,d2,d3,d4の4段階等の複数に場合分けする。分類番号は後述するように分類番号1番と2番の2段階等の複数に設定する。この結果、分類判定の精度向上を図ることができる。
【0066】
また、前記学習器64は、ニューラルネットワーク56を学習させるための学習器であり、前記学習データメモリ63は、ニューラルネットワーク56に入力される学習データを記憶するためのメモリである。
【0067】
前記分類データメモリ50は、パワースペクトル検出器49で算出されたパワースペクトルP(u)を記憶する。教師データ毎(正常か異常(悪性)か異常(良性)か)、画像の距離d毎(d1,d2,d3,d4)に記憶される。
【0068】
前記分類ベクトル演算部65は、分類データメモリ50に記憶されたパワースペクトルP(u)から、分類ベクトルを演算する。この演算の詳細は、本出願人が提案した特願平5−264781号に記載するように、FS変換等を利用した統計的手法により、2クラスを分類するためのべクトルを算出する。正常と異常(悪性)、異常(良性)を混合した2クラスを分類するための分類べクトル1(分類番号1番)と、フィードバック時に用いる異常(悪性)と異常(良性)の2クラスを分類するための分類ベクトル2を算出する(分類番号2番)。この分類ベクトル1,2は、距離d1,d2,d3,d4の各距離に対しても算出され、分類ベクトルメモリ52の所定のアドレスに書き込まれる。また、同様に、重みメモリ57の値も各分類番号、各距離に応じて算出され、所定のアドレスに書き込まれる。
【0069】
この様に、構成された画像分類装置の動作について説明する。
この画像分類装置において、学習モード、実行モードが選択されない場合は、入力装置となる超音波装置の切り替えスイッチ130及びノーマライズ部36のスイッチA側(図3)が選択されユーザの指定した、TGC増幅値、DR,Gain,倍率が選択されて、入力が行なわれ、表示される。学習モード、実行モードが選択された場合にはスイッチBが選択され、TGC増幅値、DR,Gain,倍率は所定の値に正規化され入力が行なわれ、特徴抽出および分類判定が行なわれる。
【0070】
この実施例では正常部と異常部(悪性)、異常部(良性)の3種類を分類する。つまり、学習モードではこの3種類の領域を指定する。
また、分類番号として、1番と2番があり、分類の目的により切り変える。正常部と異常部(悪性と良性双方)を分類する目的が分類番号1で、異常部(悪性)と異常部(良性)を分類するのが分類番号2である。学習は分類番号毎に行なう。また、実行では分類番号1番を実行し、判定が微妙な場合に分類番号2を選択したフィードバック制御を行なう。
【0071】
図5を参照して、学習モードについて説明する。
TGC増幅値、波形、DR,Gain,倍率がノーマライズされた画像は、適当にフリーズしてファイリング装置2に保存される。学習制御部61の制御により指定された画像がファイリング装置2から読みだされ、フレームメモリ44に記憶され、表示部6のモニタ60に表示される。
【0072】
そして、医者等の経験者が図示しないマウス等で病変部等の領域を指定し、病気の種類等の教師情報を与える。指定された領域は、切り出し方向等のノーマライズが行なわれ、特徴抽出部4にてパワースペクトルP(u)がまず求められ、分類データメモリ50に記憶される。学習制御部61では分類番号に応じて分類データメモリ50からデータを選択利用して、分類べクトル、ニューラルネットワーク56の重みを計算する。この計算は分類番号毎だけでなく、距離d毎にも行なわれる。
【0073】
なお、ファイリング装置2へ一時的に記録せずに、超音波装置10からの画像にて直接領域を指定し、教師情報を与えるようにしてもよい。
また、倍率の補正は領域の切り出し(領域抽出部45b)を行なう時に兼ねておこなってもよい。また、この学習制御部は、着脱自在としてもよいし、オフライン処理として、別の計算機にて、重みメモリ、分類ベクトルメモリの値を計算するようにしてもよい。さらに本実施例では、分類ベクトルを求める統計的手法としてFS変換を利用したが、多クラスを分類するための手法として知られるHTC(Hotelling Trace Criterion) を利用してもよい。
【0074】
次に図4を参照して、実行モードについて説明する。
画像入力装置となる超音波装置10により、TGC増幅値、波形、DR,Gain,倍率がノーマライズされた画像を入力する。範囲指定部41より順次座標情報が与えられ、その領域の切り出し方向等のノーマライズが行なわれ、特徴抽出部4にて前処理(パワースペクトル算出)および多変量解析が行なわれ、値t1,t2が分類判定部5へ入力される。この分類判定部5では、ニューラルネットワーク56からJ1,J2,J3が出力され、この値に応じた判定が論理判定部55で行なわれ、必要に応じてフィードバック演算が行なわれ、結果が原画像と合成され表示部6にて表示される。以上ような処理が範囲指定部41での対応領域全てに渡り行なわれる。
【0075】
また、入力は画像入力装置(超音波装置10)から直接入力してもよいし、若しくはフリーズした画像でも順次送られてくる動画像でもよい。さらには、ファイリング装置2に記録された画像を読み出してもよい。
【0076】
なお、本実施例においては、ニューラルネットワークに3層の階層型を用いたが、これに限定されるものではなく、勿論、2層や多層を用いてもよいし、フィードバック型(全結合型)を用いてもよい。また本実施例では、フーリエ変換を用いて、そのパワーを利用したが、他の直交変換、例えばコサイン変換やウェーブレット変換を用いてもよい。
【0077】
【0078】
【0079】
次に図6には、本発明による第2実施例として、前述した第1実施例の分類判定部にニューラルネットワークを用いない画像分類装置の構成例について説明する。ここで、第2実施例では、特徴部分のみを説明し、以外は図4,5に示す第1実施例と同等である。
【0080】
図6(a)に示すように、分類判定部5aは論理判定部55と、判定テーブル71により構成される。この判定テーブル71は、投影演算器53から得られる特徴量t1,t2の値から判定値をダイレクトに結び付けたもので、図4に示した重みメモリ57と同様に、距離dや分類番号に応じて、予め決められている。例えば、分類番号1が選択された時は図12(a)に示すように、
領域Aの場合は判定値1を、
領域Bの場合は判定値2を、
領域Cの場合は判定値3を、
領域Dの場合は判定値4を
それ以外の場合は判定値5として出力する。
【0081】
また、分類番号2が選択された時は、図12(b)に示すように、
領域Aの場合は判定値2を、
領域Bの場合は判定値3を、
それ以外の場合は判定値5として出力する。
【0082】
なお、このテーブルの境界値は、「画像解析ハンドブック」(東京大学出版会)のP.656に記述されているようなクラス間距離を用いてもよいし、予め別のニューラルネットワークにより学習し、決めておいてもよい。
【0083】
このような構成の分類判定部5aを画像分類装置に用いることによって、演算処理がテーブル演算のため、ニューラルネットワークを使う場合に比べ、演算速度が高速化され、計算時間が短縮される。
【0084】
次に図6(b)には本発明の第3実施例として、前述した第1実施例の表示部6を変形した構成例を示し説明する。ここで、第3実施例では、特徴部分のみを説明し、以外は図4,5に示す第1実施例と同等である。
【0085】
前述した第1実施例では、表示画像生成部59において、論理判定部55からの判定値に応じて色を付けるようにした。
しかし、例えば異常部(悪性)と判断された場合においても、かなり進行して悪化が激しい場合や、まだ正常部に近い場合等その状態は様々であり、これらの情報は反映されていない。そこで第3実施例では、ニューラルネットワーク56からの出力、そのものを着色に利用する。図6(b)のようにJ1,J2,J3の値に画像情報を加算し、各々をGRB値として入力し、NTSC信号を生成する。ここで定数Cは画像情報をどの程度の重みで加算するかのパラメータであり、この値が大きい程色が薄くまた、小さい程色が濃くなる。
【0086】
この第3実施例によれば、J1,J2,J3の値の大小がはっきりしている(分類結果が明瞭な時)領域には、色の彩度が高く視覚的にも印象深く表示される。また、J1,J2,J3の値の大小がはっきりしていない場合でも、その情報を色の微妙な違いとして表示し、診断支援に有効に働く。例えば、正常から、徐々に悪性異常部に変化しつつある領域は、緑と赤の中間的な色として表示される。また、第2実施例の出力をこの第3実施例の入力として、用いてもよいのは当然である。また、t1,t2の出力に応じて色をつけるようにしてもよい。つまり、図6(c)に示すように、悪性異常部を“赤”、良性異常部を“青”、その他を“緑”で現す。さらに各異常部とも、その中心ほど色を濃くし、境界線に近付くほど色を薄くすると、より視覚的にわかりやすくなる。
【0087】
次に図16には、本発明による第4実施例としての画像分類装置の構成を示し説明する。ここで、第4実施例の構成部材で図4,5に示した第1実施例の構成部材と同等の部材には同じ参照符号を付して、その説明を省略する。
【0088】
この第4実施例は、前述した第1実施例とは分類方法が異なり、図13に示すような正常部と4つの異常部(病変部α,β,γ,δ,ε)に分類する。t1,t2の値で各領域は分離されるが、境界に近い場合にフィードバックにより再分類を行ない、精度の向上を図る。
【0089】
第4実施例の特徴抽出部4の前処理部46aが第1実施例の前処理部46と構成が異なっている。
この前処理部46aは、ヒストグラム検出器81と、該ヒストグラム検出器81の出力側にそれぞれ接続するヒストグラムの歪度を検出する歪度検出器82及びヒストグラムの尖度を検出する尖度検出器83と、同時生起行列検出部84と、該同時生起行列検出部84の出力側に接続する特徴量計算器85と、フラクタル次元検出部86とで構成される。
【0090】
この第4実施例では、第1実施例で用いたパワースペクトルの代りに、ヒストグラム、同時生起行列、フラクタル次元の情報を利用する。そして、これらから抽出した特徴量を1つの多次元データとみなし、分類ベクトルを求める。
また、ニューラルネットワーク56aの出力層は、分類したい対象別に5ユニット設けられている。
【0091】
ここで、ヒストグラムの歪度,尖度、同時生起行列、フラクタル次元のそれぞれの特徴量の算出について概略を説明する。
まず、ヒストグラムとは、画像濃度のレベルに応じた累積数であり、例えば、図26に示すような8bitのモノクロ画像の場合には、濃度レベルは、0〜255の256階調であり、各階調の画素が画像中に何画素あるかを示している。
【0092】
またヒストグラムの歪度(歪度S:skewness)とは、ヒストグラムの形状が対称な形からどれだけ歪んでいるかの程度を表すものである。このヒストグラムの歪度からパターンの一様性を知ることができる。
【0093】
ヒストグラムの尖度(尖度K:kurtosis)とは、ヒストグラムの分布が平均値(μ)のまわりに集中しているか、端の方へ広がっているかを表すものである。このヒストグラムの尖度は、画像が細かなパターンであるか、粗いパターンであるかがわかる。
【0094】
【数2】
【0095】
次に同時生起(co−occurrence)行列とは、画像の濃度iの点から一定の変位δ=(r,θ)だけ、離れた点の濃度がjである確率Pδ(i,j)(i,j=0,1,2,…,n−1)を要素とする行列である。但しnは階調数である。この行列から14種類の特徴量を計算し、これらの値によってテクスチャを特徴づける。この同時生起行列により、フーリエ変換等に比較し、画像の細かな特徴を抽出できる。超音波画像に生じるスペックルパターン等を数値として表現できる。
【0096】
そして、フラクタル次元とは、非整数値をとる次元のことであり、図形の複雑さを表現する指標に利用される。このフラクタル次元により、自然界に存在するような自己相似形状の特徴を表す数値として簡単に表現できる。詳しくは、「画像解析ハンドブック」東京大学出版会のP518にヒストグラムの歪度,尖度、P518〜P521に同時生起行列、P528〜P538にフラクタル次元について記載されている。
【0097】
この第4実施例による各分類番号としては、以下の分類ベクトルが対応する。
分類番号1:正常部4つの異常部(病変部α、β、γ、δ)を分類する。
分類番号2:正常部と病変部αを分類する。
分類番号3:病変部αと病変部βを分類する。
分類番号4:病変部βと病変部γを分類する。
分類番号5:病変部αと病変部γを分類する。
分類番号6:病変部γと病変部δを分類する。
判定部の処理においては、
【0098】
また、判定値に応じて色を付ける。例えば、
判定値1 緑
判定値2 赤
判定値3 青
判定値4 紫
判定値5 橙
判定値11 黄
とする。
【0099】
本実施例は、学習の手法については、第1実施例と同様に行うものとする。各特徴量(ヒストグラムの歪度,尖度、同時生起行列、フラクタル次元)の算出は、前述と同様である。
【0100】
このような第4実施例により、計算上全く無関係な特徴量(ヒストグラム、同時生起行列、フラクタル次元の情報等)を1つの多次元データとみなして解析することにより、相乗効果が得られる。また、多くの領域を分類し、かつ色により分かり易く表示でき、容易に前処理部で用いる特徴量を増やすことができる。
【0101】
また、曖昧判定部にニューラルネットワークを用いていることから、正常と4つの異常部(α、β、γ、δ)の分類境界を容易に検出できる。
次に図27には、前述した第4実施例の変形例としての画像分類装置の構成を示し説明する。本実施例は前述した第4実施例とは、前処理部の構成が異なり、さらに、前処理演算制御部141と選択部142を有する。前処理演算制御部141は、ヒストグラム検出器81、同時生起行列検出器84、フラクタル次元検出器86の演算パラメータ等を制御する。この演算パラメータとは、例えば、ヒストグラム検出器81に対してはヒストグラムの階調数、同時生起行列検出器84に対しては同時生起行列を算出する2点間の位置関係量、フラクタル次元検出器86に対してはフラクタル次元の演算手法等のパラメータである。
【0102】
また、前処理演算制御部141は、さらに選択部142も制御し、抽出された特徴量の中から分類データメモリ等へ出力する特徴量の選択を行なう。
この前処理演算制御部141の働きにより分類対象に応じて特徴量の演算方法、及び、分類に用いる特徴量の選択を行なうことができ、分類精度をさらに向上させることができる。また、この前処理演算制御部141は、コントロール部58からの信号(分類番号)により制御される。つまり、フィードバック制御時に、分類ベクトルメモリ52や重みメモリ57の選択だけではなく、特徴量の演算方法、及び、分類に用いる特徴量の選択も変えることにより、さらに分類性能を向上させることができる。
【0103】
なお、本実施例において、選択部142からの出力はすべて多変量解析部へ入力したが、曖昧判定部54、論理判定部55へ直接入力してもよい。
次に図17には、本発明による第5実施例としての画像分類装置の構成を示し説明する。本実施例は、前述した第4実施例とは、前処理を施したデータの全てを多変量解析せずに、分類判定部へ直接入力するデータがあることが異なっている。
【0104】
つまり、歪度検出器82と尖度検出器83からの歪度S,尖度K、及びフラクタル次元検出器86からのフラクタル次元Fは、分類データメモリ50aに入力しても、投影演算器53aを介さずに、直接ニューラルネットワーク56bの入力層に入力され、また、特徴量計算器85の出力c1〜c14が投影演算器53aで多変量解析されて、結果t1,t2としてニューラルネットワーク56bの入力層に入力される。そのため、ニューラルネットワーク56bの入力層は、入力されるデータ数に対応できるように多数入力ユニットであり、本実施例では、5ユニットとしている。この多変量解析部以外は、第4実施例の構成部材と同等であり、同じ参照符号を付してその説明を省略する。
【0105】
この第5実施例の画像分類装置は、投影演算器で用いる次元を減らすことができ計算を高速化できる。さらに、それが分類に有効が特徴量であると分かっている場合には、直接分類判定部へ入力する方が精度が高い。この実施例では、同時生起行列から得られた特徴量に対して、多変量解析を行ったが、他の特徴量でもよいことは、当然である。
【0106】
次に図18,図19には、本発明による第6実施例としての画像分類装置の構成を示し説明する。ここで、第6実施例の構成部材で図4に示す第1実施例の構成部材と同等の部材には同じ参照符号を付してその説明を省略する。この実施例では、第1実施例に示したパワースペクトルを検出する細パターン検出部46aと、より粗いパターンの特徴を検出する粗パターン検出部97から構成される。前記粗いパターン検出部97は、フレームメモリ44から読出された画像データが入力し、画像の輪郭線を抽出する輪郭線抽出部91と、指示している領域(座標情報P)が輪郭線で囲まれている領域内か否かを判定する包含関係算出器92と、抽出された輪郭線の輪郭線長を抽出する輪郭線長抽出部93と、抽出された輪郭線内の面積を抽出する面積抽出部94と、輪郭線及び輪郭線内の面積から円形度を算出する円形度算出部95と、輪郭線と面積の比から所定の特徴量の算出を行なう輪郭線/面積比算出器96とで構成される。
【0107】
また、曖昧判定部54のニューラルネットワークの入力層は、第5実施例の入力ユニットと同様に複数の入力データ数に対応できるように多数のユニットで構成されている。本実施例の画像分類装置のニューラルネットワークの出力層以降は、第1実施例と同様である。
【0108】
前記輪郭線抽出部91の具体的な構成を図20に示す。
この輪郭線抽出部91は、画像中のノイズを除去し、不要な輪郭線の抽出を防止する平滑化器101と、ラプラシアンフィルタ等のエッジ検出フィルタからなる先鋭化器102と、2値化処理により輪郭線を抽出する2値化器103と、メジィアンフィルタやイロージョン、ダイレーション等により孤立点の除去を行ない、不要な輪郭線を消去する孤立点除去器104とで構成される。また、これらの演算の前に線細化処理を行なってもよいし、孤立点除去処理の後に、輪郭追跡処理を行ってもよい。
【0109】
前記包含関係算出器92で指示領域が輪郭線で囲まれている場合には異常部である可能性が高い。また前記包含関係算出器92により、テクスチャー情報だけでなく、構造的な情報からも判定を行なえ精度が向上する。
【0110】
前記輪郭線/面積比算出器96においては、指示された領域が属する腫瘍が悪性の場合には、図14(a)に示すように、周囲での凹凸が激しい。逆に良性腫瘍の場合は図14(b)に示すように周囲は滑らかである。そのため、同じ面積の場合その輪郭線の長さは悪性腫瘍の方が良性腫瘍よりも長い。これを利用した特徴量の算出を行なう。なお、以上は、一画面での処理であったが、複数画面の入力が行われ、3次元的な画像データが入力できた場合には、体積と表面積を比較することでも同様な判定が行なえる。
【0111】
この輪郭線/面積比算出器96により、悪性,良性の判定をその輪郭線の形状からも行なうことができ、判定の精度が向上する。
また前記円形度算出部95は、輪郭線抽出では腫瘍以外に体内の臓器の一部や血管が間違えて検出されることがある。これを除去するために腫瘍が大まかに円形に近いことを利用する。つまり、図15に示すように、検出した輪郭線で囲まれる面積と同一の面積を有する円を、その重心位置が一致するように重ね、その重複領域の面積(図斜線部)を検出する。この重複領域の面積の円の面積に対する割合が大きければ大きい程円形をしており、腫瘍である可能性が高い。
【0112】
このように前記円形度算出部95によれば、腫瘍検出の精度を高めることができる。
また本実施例では、ニューラルネットワーク56cに入力させる、画像以外からの情報、例えば年令、性別、体温、他検査結果(血液検査、CT検査、レントゲン検査、内視鏡検査等)のような医師が実際の診断に用いている情報を分類判定部に入力させる。なお、これ以外に、前回の検診結果や痛み等の病気の程度、脈拍等を利用してもよい。
【0113】
このような医師が実際の診断に用いている画像以外の情報を用いることにより、より高精度な判定をおこなうことができる。
この画像分類装置の特徴抽出部4では輪郭線の情報も検出し、得られた特徴量を分類判定部へ入力する。また、画像以外から得られた情報(年齢、性別、体温、他検査結果等)も分類判定部5のニューラルネットワーク56cに入力される。このような構成により、細パターン検出部で得られるテクスチャー情報だけでなく、粗パターン検出部で得られる構造的な情報や、患者の情報からの総合的な判定を行なうことができ、診断精度の向上が図れる。
【0114】
次に図21には、第7実施例として、分類判定部内の曖昧判定部にファジイ推論を用いる。即ち、前述した各実施例では、曖昧判定部にニューラルネットワークを用いて、判定に利用していたが、本実施例では、ニューラルネットワーク56の代わりに、ファジイ推論回路105を、また重みメモリ57の代わりにメンバーシップ関数メモリを用いる。これ以外の構成は第1実施例と同等である。
【0115】
本実施例の画像分類装置は、ニューラルネットワークに比べ、回路規模が小さく計算の高速化が図れる利点がある。
次に図23には、本発明による第8実施例としての画像分類装置の構成を示し説明する。ここで、第8実施例の構成部材で図4に示す第1実施例の構成部材と同等の部材には同じ参照符号を付してその説明を省略する。
【0116】
この画像分類装置は、画像の入力装置となるCTスキャナ111と、CTスキャナで取り入れられた画像信号を画像(画像データ)として再構成する再構成演算部112と、さらにフレームメモリ44を介して、範囲指定部41からの座標情報により所定領域を抽出する領域抽出部113と、前記CTスキャナ111に投影方向数を与え、再構成演算部112に再構成法を指示するノーマライズ制御器114と、表示画像生成部59の画像内で位置を指定するためのマウス等のカーソル位置指定部115とを含み構成される。また、投影演算器53からの結果t1,t2が、表示画像生成部59に出力されるように接続される。これ以外の構成は、第1実施例の構成と同等である。
【0117】
本実施例におけるノーマライズ手段としては、CTスキャナの投影方向数、再構成演算部での再構成法、パワースペクトル(第1実施例と同様)がある。
このように構成された画像分類装置の動作について、図22を参照して説明する。
【0118】
図22は、モニタ60に表示される映像例(画面)を示す。画面の右下には、2次元平面へのプロット図が表示され、カーソル位置指定部115で画面内の位置が制御されるカーソル“×”が表示される。そのカーソルの位置の投影演算値t1,t2が右下のグラフ上に点滅する点としてプロットされる。このグラフには、学習したデータ(正常部、異常部(悪性)、異常部(良性))もプロットされており、この図からもどの領域に近いかを視覚的に判断できる。
【0119】
また、左側に表示されるのは、判定結果をカラー表示した例である。範囲指定部で指定された範囲について、分類判定が行われ、結果に応じて色が付けられている。なお、グラフ表示は、t1,t2の代わりに、J1,J2,J3の値に応じて行なうようにしてもよい。
【0120】
次に図24(a)には、本発明による第9実施例としての画像分類装置の構成を示し、同図(b)には、該画像分類装置内の特徴画像生成部の構成を示し説明する。ここで、第9実施例の構成部材で図4に示す第1実施例の構成部材と同等の部材には同じ参照符号を付してその説明を省略する。
【0121】
前記特徴画像生成部は、次元変換部の投影演算器にて抽出される特徴量に関与する画像を生成するものであり、特に特徴画像と呼ぶ。
この特徴画像は図24(b)に示すように、フーリエ変換された信号の実数項、虚数項に分類べクトルを乗じ、逆フーリエ変換することにより求められる。
【0122】
さらに、前記特徴画像は、表示画像生成部59で表示される。この場合、特徴画像だけをモニタ60に表示させるようにしてもよいし、判定値により色付けされた原画像に更に、異なる色で表示するようにしてもよい。
【0123】
この様に構成された画像分類装置によれば、画像の分類に寄与する特徴(濃淡パターン)を視覚的にわかりやすく表示でき、診断の支援に役立つ。
またパワースペクトル検出器49は、フーリエ変換器(FFT)121と、変換された虚数項と実数項を2乗処理する2乗回路122,123と、2乗処理された虚数項と実数項を加算する加算器124と、パワー正規化部125で構成され、図10に示すように、すべての成分を用いてP(u)を生成する。
【0124】
次に図25には、本発明による第10実施例としての画像分類装置の構成を示し説明する。ここで、第10実施例の構成部材で図4に示す第1実施例の構成部材と同等の部材には同じ参照符号を付してその説明を省略する。
【0125】
この画像分類装置は、第1実施例で示した画像分類装置に画像情報以外の一般情報を入力するための一般情報入力部131を設ける。
この一般情報入力部131において、一般情報とは、各種の検査情報であり、例えば、血液検査による血糖値、γ−GTP値、尿検査による尿糖値、尿蛋白値、X線検査結果等である。そして、これらの情報は、特徴抽出部4の多変量解析部47や分類判定部5の曖昧判定部54か論理判定部55に入力される。また、情報の信頼度が高いものは、論理判定部55へ、信頼度が低いものは多変量解析部47へ、中間的なものは曖昧判定部54へ入力することにより、より効率的で精度の高い判定を行うことができる。また、画像以外の情報も用いることから、画像にノイズ等がある場合においても、正確な判定を行うことができる。
【0126】
次に図28には、本発明による第11実施例としての画像分類装置の構成を示し説明する。この実施例は特徴抽出部、及び、曖昧判定部を複数有することを特徴とする。情報入力部としては、超音波装置等の画像入力装置1a〜1d、第10実施例と同様の一般情報入力部150a〜150dから成り、各々が特徴抽出部155,156,157,158に入力される。
【0127】
特徴抽出部155〜158は、同様な構成であり、前段から入力された信号は、前処理部151及び多変量解析部153を経由して後段へ出力される構成と、前処理部152のみを経由して後段へ出力される構成と、多変量解析部154のみを経由して後段へ出力される構成を各々有する。
【0128】
画像入力装置1a及び一般情報入力部150aから入力される信号は各々特徴抽出部155へ入力され、その出力が曖昧判定部157に入力されるとともに、直接曖昧判定部157にも入力される。画像入力装置1b、一般情報入力部150bから入力される信号も同様にして、曖昧判定部157に入力される。つまり、この曖昧判定部157には複数の特徴抽出部、複数の画像入力装置及び一般情報入力部からの入力がなされる。これに対し、曖昧判定部158へは、画像入力装置1c及び一般情報入力部150cからの直接入力と、特徴抽出部157からの入力がなされる。曖昧判定部157,158の出力は、論理判定部159へ出力される。また、画像入力装置1dと一般情報入力部150dから入力される信号は直接論理判定部159へ入力されるとともに、特徴抽出部158を経由して論理判定部157にも入力される。
【0129】
このように、本実施例では全ての入力は最終的には論理判定部159へ入力されるものの、特徴抽出部、曖昧判定部は経由する場合としない場合があり、これらが組み合わされた構成となっている。
【0130】
このような構成とすることにより、入力される情報毎に最適な演算経路を経て、最終段の論理判定部へ入力されることになり、分類の精度が向上する。前述したように、情報の信頼度が高いものは直接、論理判定部へ、信頼度が低いものは特徴抽出部の前処理部や多変量解析部へ中間的なものは曖昧判定部へ入力することにより、より効率的で精度の高い判定を行なうことができる。また、特徴抽出部においても、前処理部にて有効な特徴量が抽出された場合は多変量解析部を経由せずに後段の処理をしたほうが、演算規模を小さくできる。また、入力される信号を直接多変量解析してもよい。
【0131】
この実施例では、曖昧判定部としては2つあるが、各々処理する内容を異なるものとすることにより、一つの曖昧判定部でまとめて処理する場合に比べ、論理的判定に適する形へ情報を変換しやすくなり、学習時間を短縮することができる。 なお、本実施例では、論理的判定部の出力に応じたフィードバック制御及びノーマライズ部、表示部等の構成を図示していないが、前述の実施例と同様なフィードバック制御及びノーマライズ処理、表示処理等を行なってよいのはもちろんである。
【0132】
以上、詳述した如く、上記実施形態をとる本発明は、以下の様に構成でき、種々の効果が得られる。
即ち、
(1)本発明は、分類のための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及びまたは前記情報入力手段から入力された情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段とを具備することを特徴とする画像分類装置を提供する。
【0133】
これにより、従来の技術のように、単に画像の表示方法を変えるのではなく、特徴情報に基づいて情報の種別を判定するため、特徴の違いに応じて、情報を適確に分類することができる。
【0134】
(2)本発明は、分類のための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報を正規化するためのノーマライズ手段と、前記ノーマライズ手段により正規化された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及びまたは前記情報入力手段から入力された情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段とを具備することを特徴とする画像分類装置を提供する。
【0135】
これにより、入力された情報をノーマライズ手段で正規化するため、情報入力手段の入力条件の相違を解消することができ、分類の精度を向上させることができる。
【0136】
(3)本発明は、分類のための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及びまたは前記情報入力手段から入力された情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段と、前記分類判定手段による分類判定結果を表示する表示手段とを具備することを特徴とする画像分類装置を提供する。
【0137】
これにより、分類判定結果の表示手段を有するため、分類判定結果を容易に認知できる。
(4)本発明は、分類のための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及びまたは前記情報入力手段から入力された情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段と、前記特徴抽出手段及び、または前記分類判定手段を構築する学習手段とを具備することを特徴とする画像分類装置を提供する。
【0138】
これにより、学習手段を有するため、分類したい対象に応じて特徴抽出手段、分類判定手段を構築でき、種々な対象の分類が容易に行うことができる。
(5)本発明は、分類のための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報を正規化するためのノーマライズ手段と、前記ノーマライズ手段により正規化された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及びまたは前記情報入力手段から入力された情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段と、前記分類判定手段による分類判定結果を表示する表示手段とを具備することを特徴とする画像分類装置を提供する。
【0139】
このように、ノーマライズ手段と表示手段の双方を有することにより、ノーマライズした画像を表示手段に表示できる。つまり、表示の際に画像が所定の条件の画像に正規化されており、分類される領域間の違いがよりよく認識できる。
【0140】
(6)本発明は、分類のための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報を正規化するためのノーマライズ手段と、前記ノーマライズ手段により正規化された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及びまたは前記情報入力手段から入力された情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段と、前記特徴抽出手段及びまたは、前記分類判定手段を構築する学習手段とを具備することを特徴とする画像分類装置を提供する。
【0141】
このように、ノーマライズ手段と学習手段を有することにより、学習時と分類判定時の入力条件が一定化され、分類精度を大幅に向上させることができる。
(7)本発明は、分類のための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及びまたは前記情報入力手段から入力された情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段と、前記分類判定手段による分類判定結果を表示する表示手段と、前記特徴抽出手段及びまたは、前記分類判定手段を構築する学習手段とを具備することを特徴とする画像分類装置を提供する。
【0142】
このように、表示手段と学習手段を有することにより、学習している情報を表示手段に表示することができ、より効果的に且つ、正確な学習情報にて学習を行うことができる。
【0143】
(8)本発明は、分類のための情報を入力するための情報入力手段と、前記情報入力手段により入力された情報を正規化するためのノーマライズ手段と、前記ノーマライズ手段により正規化された情報から特徴情報を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴情報及びまたは前記情報入力手段から入力された情報に基づき情報の種別を判定し、この種別毎に分類わけする分類判定手段と、前記分類判定手段による分類判定結果を表示する表示手段と、前記特徴抽出手段及びまたは、前記分類判定手段を構築する学習手段とを具備することを特徴とする画像分類装置を提供する。
【0144】
このように、ノーマライズ手段と、表示手段と、学習手段とを有することにより、正規化された情報にて学習を行うため、学習している情報の領域間の相違を容易に表示手段で認知できる。
【0145】
(9)本発明は、前記情報入力手段は、画像入力装置,ファイリング装置,一般情報入力装置の中から選ばれる少なくとも1つ以上のものからなることを特徴とする(1)乃至(8)記載の画像分類装置を提供する。
【0146】
これにより、前記情報入力手段が画像入力装置であることから、様々な対象物のイメージ情報を入力することができる。また、情報入力手段がファイリング装置であることからデジタル化された情報やデータベース情報を入力することができる。また、前記情報入力手段が一般情報入力装置であることから、分類判定に有効な情報を入力することができる。
【0147】
(10)本発明は、前記ノーマライズ手段は、所定の設定条件に応じて、正規化を行うための1乃至複数個のノーマライズ器と、前記ノーマライズ器を制御するためのノーマライズ制御手段を有することを特徴とする(2),(5),(6)または(8)記載の画像分類装置を提供する。
【0148】
このように、ノーマライズ手段(ノーマライズ器)により、所定の設定条件に応じた正規化を行うことができ、分類精度を向上させることができる。また、ノーマライズ制御手段により、これらのノーマライズ器の動作のタイミング等を制御でき、各々のノーマライズ器をより有機的に活用することができ、さらに分類判定精度を向上させることができる。
【0149】
(11)本発明は、前記ノーマライズ手段は、正規化を行うための所望の条件を設定するための条件設定手段を含むことを特徴とする(2),(5),(6)または(8)記載の画像分類装置を提供する。
【0150】
これにより、分類対象に応じて最適な正規化の条件が異なる場合に、この条件設定手段により所望の最適な正規化を行うことができ、分類判定精度を向上させることができる。
【0151】
(12)本発明は、前記ノーマライズ手段は、前記特徴抽出手段及び、または前記分類判定手段の処理を選択するための制御情報を出力することを特徴とする(2),(5),(6)または(8)記載の画像分類装置を提供する。
【0152】
これにより、正規化の条件毎に特徴抽出手段や分類判定手段の最適条件が異なるため、ノーマライズ手段から、この特徴抽出手段や分類判定手段に制御信号を出力し、最適手段を選択するよう制御することにより、分類判定精度を向上させることができる。
【0153】
(13)本発明は、前記特徴抽出手段は、前記分類判定抽出手段での分類に適した情報に変換するための多変量解析手段と、この多変量解析手段に対して入力するために前段階として、特徴量を算出するための前処理手段を有することを特徴とする(1)乃至(8)記載の画像分類装置を提供する。
【0154】
従って、前処理手段により情報の分類に有効な特徴量を算出できる。前記多変量解析手段は、これらの算出された特徴量の中から分類に有効に働く特徴量への変換を行い、分類判定精度を向上させることができる。
【0155】
(14)本発明は、前記特徴抽出手段は、前記分類判定抽出手段に対して直接入力するために前段階として、特徴量を算出するための前処理手段を有することを特徴とする(1)乃至(8)記載の画像分類装置を提供する。
【0156】
従って、前処理手段にて既に分類に有効に働く特徴量が算出されている場合には、多変量解析手段を介さず、直接、分類判定手段へ入力した方が回路規模が小さくできると共に、より短時間で処理を行うことができる。
【0157】
(15)本発明は、前処理手段は、入力された画像情報の一画面領域または複数画面領域において、比較的広い領域の特徴量を抽出するための粗パターン検出手段と、前記領域のうち比較的狭い領域の特徴量を抽出するための細パターン検出手段とを有することを特徴とする(13)及び(14)記載の画像分類装置を提供する。
【0158】
これにより、分類のための特徴量である画像のテクスチャー等の情報は画像の比較的狭い領域から得られ、また、画像の輪郭線等の情報は画像の比較的広い領域から得られる。各々領域から検出される特徴量を用いることにより、分類判定精度を向上させることができる。
【0159】
(16)本発明は、前記分類判定手段は、分類判定の対象となる情報を論理的判定に適する形に変換するための曖昧判定手段と、この曖昧判定手段からの出力及びまたは分類判定の対象となる情報を論理判定するための論理判定手段と、この論理判定手段からの出力に基づいて自己ないしは当該論理判定手段より前段の処理の選択を行うようになしたフィードバック手段とを有することを特徴とする(1)乃至(8)記載の画像分類装置を提供する。
【0160】
これにより、曖昧判定手段は、人間の右脳で行っているような直観的な判定を行うことができると共に、論理判定手段では、人間の左脳で行っているような論理的な判定を行うことができる。また、フィードバック手段では、人間の繰り返し思考のように繰り返し処理を行うことができ、この3つの作用により人間の判定と同様な処理を行うことができ、より高精度の分類判定を行うことができる。
【0161】
(17)本発明は、前記分類判定手段は、分類判定の対象となる情報を論理的に判定するための論理判定手段と、この論理判定手段からの出力に基づいて自己ないしは当該論理判定手段より前段の処理の選択を行うようになしたフィードバック手段とを有することを特徴とする(1)乃至(8)記載の画像分類装置を提供する。
【0162】
これにより入力された情報が分類目的に対し、より明確なものになっている場合は、(16)での曖昧判定手段は省ける。よって回路規模が小さくでき、より短時間で処理できる。
【0163】
(18)本発明は、前記分類判定手段は、分類判定の対象となる情報を論理的判定に適する形に変換するための曖昧判定手段と、
この曖昧判定手段からの出力及びまたは分類判定の対象となる情報を論理判定するための論理判定手段とを有することを特徴とする(1)乃至(8)記載の画像分類装置を提供する。
【0164】
これにより、曖昧判定手段と論理判定手段にて分類が良好な場合には、フィードバック手段を省くことができ、よって回路規模が小さくでき、より短時間で処理できる。
【0165】
(19)本発明は、前記分類判定手段は、分類判定の対象となる情報を論理的判定に適する形に変換するための曖昧判定手段を有することを特徴とする(1)乃至(8)記載の画像分類装置を提供する。
【0166】
これにより、曖昧判定手段だけで分類が良好な場合には、論理判定手段とフィードバック手段を省くことができ、回路規模が小さくでき、より短時間で処理できる。
【0167】
(20)本発明は、前記分類判定手段は、分類判定の対象となる情報を論理判定するための論理判定手段を有することを特徴とする(1)乃至(8)記載の画像分類装置を提供する。
【0168】
これにより、論理判定手段だけで分類が良好な場合には、曖昧判定手段とフィードバック手段を省くことができ、回路規模が小さくでき、より短時間で処理できる。
【0169】
(21)本発明は、前記表示手段は、前記情報入力手段からの画像情報と、前記特徴抽出手段で抽出された特徴量及び又は前記分類判定手段での判定結果に係る情報と、を表示するための表示画像生成手段を有することを特徴とする(3)、(5)、(7)及び(8)記載の画像分類装置を提供する。
【0170】
このように、画像情報と、特徴量又は分類判定結果を表示することにより、判定結果をより認知しやすくできる。
(22)本発明は、前記表示画像生成手段は、前記特徴抽出手段で抽出された特徴量または前記分類判定手段での判定結果に応じて画像を視覚的に異ならせて表示することを特徴とする(21)記載の画像分類装置を提供する。
【0171】
このように、判定結果に応じて画像を視覚的に異ならせて表示することにより、判定結果を目視により正確に、迅速及び容易に認知できる。
(23)本発明は、前記画像を視覚的に異ならせて表示するに際して前記特徴量または判定結果に応じて色を変えて表示することを特徴とする(22)記載の画像分類装置を提供する。
【0172】
このように、判定結果により色を変えて表示することにより、さらに正確に、迅速且つ容易に判定結果を認知できる。
(24)本発明は、前記画像を視覚的に異ならせて表示するに際して前記特徴量または判定結果に応じてグラフ表示することを特徴とする(22)記載の画像分類装置を提供する。
【0173】
このように、判定結果に応じて、グラフ表示することにより、判定結果をさらに正確に、迅速且つ容易に判定結果を認知できる。
(25)本発明は、前記学習手段は、学習を行うために必要なデータを入力するための教師データ入力手段と、この教師データ入力手段からの情報に基づいて、前記特徴量抽出手段における各種条件設定を行うための演算を行う分類ベクトル演算手段と、前記教師データ入力手段及び、前記分類ベクトル演算手段を制御するための学習制御手段とからなることを特徴とする(4,6,7又は8)記載の画像分類装置を提供する。
【0174】
このように、教師データ入力手段を有することにより、教師情報を早く、正確に入力することができる。また、学習手段内に分類ベクトル演算手段を有することにより、時間のかかる演算を学習時だけに行うことができ、分類判定の高速化を図ることができる。また、両手段を制御する学習制御手段により効率的な学習を行うことができる。
【0175】
(26)本発明は、前記学習制御手段は、画像情報表示のための表示用モニタに前記教師データを表示するための制御を行うことを特徴とする(25)記載の画像分類装置を提供する。
【0176】
教師情報を表示手段で表示することにより、より早く、正確に教師情報を入力することができる。
(27)本発明は、前記分類ベクトル演算手段では統計的手法により分類ベクトルを算出することを特徴とする(25)記載の画像分類装置を提供する。
【0177】
従って、統計的手法により高精度でノイズに頑健な分類ベクトルを算出することができる。
(28)本発明は、前記学習制御手段は、前記特徴抽出手段及び又は、前記分類判定手段の処理を選択するための制御情報を出力することを特徴とする(21)記載の画像分類装置を提供する。
【0178】
従って、学習条件毎に特徴抽出手段及び分類判定手段の処理を選択でき、より高度な分類判定を行うことができる。
(29)前記分類判定手段に設けられた曖昧判定手段は、所定学習を施したデータを記憶した重みメモリと、この重みメモリに記憶されたデータに基づき重み付けられたニューラルネットワークからなり、ニューラルネットワークは容易に学習でき、様々な教師情報を分類装置に組み込むことができ、分類判定の精度向上を図ることができる。
【0179】
(30)前記特徴抽出手段は前処理部と多変量解析部とで構成され、前処理部は、入力した画像の輪郭線情報を抽出する輪郭線抽出手段を有し、分類判定に構造的特徴も利用できる。
【0180】
(31)前記多変量解析部は、特徴情報を分類するために必要なデータを記憶した分類ベクトルメモリを有し、フィードバック制御により何度でも抽出した情報を利用することができる。
【0181】
(32)前記分類判定手段に設けられた論理判定部からの情報に基づき、前記重みメモリに記憶された情報及び、前記分類ベクトルメモリに記憶された情報を選択的に読出すことによって、より効果的な情報を利用でき、分類判定の精度が向上する。
【0182】
(33)前記特徴抽出手段に抽出される特徴情報は、パワースペクトル、ヒストグラム、同時生起行列、フラクタル次元及び、輪郭線のうち少なくとも1つの情報であり、この情報を利用することにより、複雑に判定を容易に且つ、高精度に判定することができる。
【0183】
(34)本発明の画像分類装置は、画像信号を入力する画像入力装置に、X線画像入力装置、CT(X線、NMR)や、超音波装置を用いることができ、該超音波装置を用いた場合に、超音波振動子の特性に応じて、受信した超音波信号の波形を補正する補正手段を設けることにより、各超音波振動子の性能上のばらつきを補正し、分類判定の精度の向上を図ることができる。
【0184】
(35)本発明の画像分類装置は、入力された画像信号の特徴を抽出する特徴抽出手段と、抽出された特徴情報に基づき画像信号の種別を判定し、この種別毎に分類する分類判別手段と、前記特徴抽出手段と前記分類判別手段の構築を行う学習制御手段とを設けており、前記分類判定手段は曖昧判定手段と、該曖昧判定手段の出力に基づき、前記特徴情報の分類を判定する論理判定手段と、前記特徴抽出手段と前記分類判別手段の構築を行う学習手段とからなり、所定領域毎の特徴を抽出することから分類判定領域を任意に選択できる。また、分類判定を2段階で行うことにより、より複雑な分類判定を行うことが容易にできる。
【0185】
(36)前記特徴抽出手段は、画像抽出位置に応じて領域抽出ウィンドウを設定することにより、コンベックス型超音波装置特有の位置により異なる(超音波振動子の配置により受信した信号に時間差が生じる)撮影特性を補正することができる。
【0186】
(37)前記特徴抽出の分類ベクトルメモリと、前記分類判定手段の重みメモリの値の書き込み、読出しアドレスを画像抽出位置に応じて設定することにより、すなわち、測定する距離に応じて撮像する帯域が異なる超音波装置の前記距離を数段階の分け、各段階毎に分類ベクトル重みメモリの値を設定し、分類判定の精度の向上を図ることができる。
【0187】
(38)前記表示手段は、前記分類判定手段により判定されれた分類毎に色の種類と濃さを変えて表示することにより、輝度情報は保存しておき、写し出した画像に所定の着色を行うことにより、どの構造のものがどの分類であるかが容易に理解させることができる。
【0188】
また本発明は、腫瘍の病変部に対して診断支援を行う画像分類装置を実施例として説明したが、これに限定されるものではなく、実施例に記載される画像入力装置で取り込めることができる画像データであれば、同様に画像分類を行うことができ、他にも発明の要旨を逸脱しない範囲で種々の変形や応用が可能であることは勿論である。
【0189】
【発明の効果】
以上詳述したように本発明によれば、入力した画像において2値化や3次元表示だけでは抽出しにくい部分をも適確に分類し、視覚的に分かり易く指示することが可能な画像分類装置を提供することができる。
【図面の簡単な説明】
【図1】図1(a)は、本発明による画像分類装置における分類実行時の構成を示し、図1(b)は、分類を実行するために先立って行う分類学習の構成を示す図である。
【図2】本発明による第1実施例としての画像分類装置の画像入力装置に用いたコンベックス型超音波装置の前半部の構成を示す図である。
【図3】本発明による第1実施例としての画像分類装置の画像入力装置に用いたコンベックス型超音波装置の後半部の構成を示す図である。
【図4】図1に示したコンベックス型超音波装置を組み入れた本発明による第1実施例の画像分類装置の構成例(分類判定実行時)を示す図である。
【図5】図4に示した画像分類装置における分類判定学習時(学習モード)の構成を示す図である。
【図6】図6(a)は、本発明による第2実施例としての画像分類装置の分類判定部の構成を示す図であり、図6(b)は、本発明による第3実施例としての画像分類装置の表示部の構成を示す図であり、図6(c)は、画像分類装置の表示部に表示される異常部の表示例を示す図である。
【図7】超音波の波形の補正を説明するための図である。
【図8】コンベックス型超音波装置の超音波画像の形態を示す図である。
【図9】超音波画像の抽出領域の形状を示す図である。
【図10】パワースペクトルP(u)を検出するパワースペクトル検出器の構成例と、分類方式を示す図である。
【図11】投影演算器の構成例を示す図である。
【図12】投影演算器からの結果t1,t2による正常・異常の領域の位置例を示す図である。
【図13】正常部と4つの異常部(病変部α,β,γ,δ,ε)に分類する状態を示す図である。
【図14】図14(a)は悪性腫瘍の形状例(輪郭)を示し、図14(b)は良性腫瘍の形状例(輪郭)を示す図である。
【図15】腫瘍検出の一例を示す図である。
【図16】本発明による第4実施例としての画像分類装置の構成を示す図である。
【図17】本発明による第5実施例としての画像分類装置の構成を示す図である。
【図18】本発明による第6実施例としての画像分類装置の後半部の構成を示す図である。
【図19】本発明による第6実施例としての画像分類装置の前半部の構成を示す図である。
【図20】輪郭線抽出部の具体的な構成を示す図である。
【図21】本発明による第7実施例としてのファジイ推論を用いた画像分類装置の構成を示す図である。
【図22】モニタに表示される映像例(画面)を示す図である。
【図23】本発明による第8実施例としての画像分類装置の構成を示す図である。
【図24】図24(a)は、本発明による第9実施例としての画像分類装置の構成を示し、図24(b)は、該画像分類装置内の特徴画像生成部の構成を示す図である。
【図25】本発明による第10実施例としての画像分類装置の構成を示す図である。
【図26】ヒストグラムと画像濃度のレベルの関係を示す図である。
【図27】第4実施例の変形例としての画像分類装置の構成を示す図である。
【図28】本発明による第11実施例としての画像分類装置の構成を示す図である。
【符号の説明】
1…画像入力装置、2…ファイリング装置、3…ノーマライズ部、4…特徴抽出部、5…分類判定部、6…表示部、7…学習制御部、8…前処理部、9…多変量解析部。
Claims (13)
- 分類を行うための情報を入力するための情報入力手段と、
前記情報入力手段により入力された情報から特徴情報を抽出する特徴抽出手段と、
前記特徴抽出手段で抽出された特徴情報及び前記情報入力手段から入力された情報のうちの少なくとも一つの情報に基づき情報の種別を判定し、
この種別毎に分類わけする分類判定手段と、を具備し、
前記分類判定手段は、前記分類を行うための情報が正常部か或いは1つ以上の異常部の種類の何れかを示す種別をデジタル的に判定するための論理判定手段と、
この論理判定手段からの出力に基づいて、当該論理判定手段より前段の前記特徴抽出手段で用いる分類ベクトルの再選択を行うようにしたフィードバック手段とを有することを特徴とする画像分類装置。 - 前記分類判定手段は、前記特徴抽出手段から得られる特徴量の値から判定値をダイレクトに結びつける判定テーブルと、前記分類わけするための分類番号を出力するコントロール部と、を有し、
前記フィードバック手段は更に、前記コントロール部から出力される前記分類番号に応じて前記判定テーブルの出力を再選択することを特徴とする請求項1に記載の画像分類装置。 - 前記分類判定手段は、さらに、
予め学習された学習データをもとにニューラルネットワークを用いて前記情報を前記デジタル的判定に適する評価値に変換するための曖昧判定手段を有し、
前記論理判定手段は、前記分類を行うための情報が正常部か或いは1つ以上の異常部の種類の何れかを示す種別を、前記評価値を用いてデジタル的に判定し、
前記フィードバック手段はこの論理判定手段からの出力に基づいて当該論理判定手段より前段の曖昧判定手段で用いる重み係数の再選択を行うようにしたとを有することを特徴とする請求項1に記載の画像分類装置。 - 前記分類判定手段は、さらに、
予め学習された学習データをもとにファジー推論を用いて前記情報を前記デジタル的判定に適する評価値に変換するための曖昧判定手段を有し、
前記論理判定手段は、前記分類を行うための情報が正常部か或いは1つ以上の異常部の種類の何れかを示す種別を、前記評価値を用いてデジタル的に判定し、
前記フィードバック手段はこの論理判定手段からの出力に基づいて当該論理判定手段より前段の曖昧判定手段で用いるメンバーシップ関数の再選択を行うようにしたとを有することを特徴とする請求項1に記載の画像分類装置。 - 前記画像分類装置は、さらに、
前記情報入力手段により入力された情報を、入力時の諸条件の違いまたは前記情報入力手段のばらつきを補正して、正規化するためのノーマライズ手段を有し、前記特徴抽出手段は、前記ノーマライズ手段により正規化された情報から特徴情報を抽出することを特徴とする請求項1乃至4の何れか一つに記載の画像分類装置。 - 前記ノーマライズ手段は、正規化した情報の他に、前記特徴抽出手段で抽出する特徴量を選択するための制御情報を出力することを特徴とする請求項5に記載の画像分類装置。
- 前記特徴抽出手段は該特徴抽出手段に入力された情報から特徴量を前段階として抽出する前処理部と、該特徴抽出手段に入力された情報または前記前記特徴量を統計的に解析して前記情報または前記特徴量の次元数を減少させる多変量解析部を有し、
前記ノーマライズ手段は、正規化した情報の他に、前記特徴抽出手段の処理方法として前記前処理部からの出力を直接特徴抽出手段の出力とするか、前記前処理部の出力を用いて多変量解析部で多変量解析を行った結果を特徴抽出手段の出力とするか、或いは、多変量解析部のみを用いて特徴抽出行うかの何れかの処理方法を選択するための制御情報を出力することを特徴とする請求項5に記載の画像分類装置。 - 前記画像分類装置は、さらに、
前記分類判定手段による分類判定結果を表示する表示手段を具備し、
前記表示手段は、前記情報入力手段からの分類対象の画像情報、前記特徴抽出手段で抽出された特徴量及び前記分類判定手段での判定結果を表示するための表示画像生成手段を有することを特徴とする請求項1乃至6の何れか1つに記載の画像分類装置。 - 前記画像分類装置は、さらに、
前記分類判定手段による分類判定結果を表示する表示手段を具備し、
前記表示手段は、前記情報入力手段からの画像情報と、前記特徴抽出手段で抽出された特徴量又は前記分類判定手段での判定結果に係る情報のいずれか一つと、を表示するための表示画像生成手段を有することを特徴とする請求項1乃至6の何れか一つに記載の画像分類装置。 - 前記表示画像生成手段は、前記特徴抽出手段で抽出された特徴量または前記分類判定手段での判定結果に応じて分類対象の画像を異なる分類ごとに視覚的に異ならせて表示することを特徴とする請求項8又は9の何れか一つに記載の画像分類装置。
- 前記表示手段が前記分類対象の画像を視覚的に異ならせて表示するに際して、前記特徴量または判定結果に応じて前記分類対象の画像を異なる分類ごとに色を変えて表示することを特徴とする請求項10に記載の画像分類装置。
- 前記表示手段が前記分類対象の画像を視覚的に異ならせて表示するに際して、前記特徴量を軸としたグラフ上に前記分類判定結果を表示することを特徴とする請求項10に記載の画像分類装置。
- 前記フィードバック手段が再選択する処理は、前記特徴抽出手段における特徴抽出処理であり、前記論理判定手段の出力に基づいて、前記特徴抽出処理の条件を変更することを特徴とする請求項1乃至請求項12の何れか一つに記載の画像分類装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP07091994A JP3974946B2 (ja) | 1994-04-08 | 1994-04-08 | 画像分類装置 |
US08/418,183 US5754676A (en) | 1994-04-08 | 1995-04-07 | Image classification apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP07091994A JP3974946B2 (ja) | 1994-04-08 | 1994-04-08 | 画像分類装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07284090A JPH07284090A (ja) | 1995-10-27 |
JP3974946B2 true JP3974946B2 (ja) | 2007-09-12 |
Family
ID=13445402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP07091994A Expired - Fee Related JP3974946B2 (ja) | 1994-04-08 | 1994-04-08 | 画像分類装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US5754676A (ja) |
JP (1) | JP3974946B2 (ja) |
Families Citing this family (96)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09327015A (ja) * | 1996-06-06 | 1997-12-16 | Matsushita Electric Ind Co Ltd | 画像圧縮方法 |
JP3864400B2 (ja) | 1996-10-04 | 2006-12-27 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US5907838A (en) * | 1996-12-10 | 1999-05-25 | Seiko Epson Corporation | Information search and collection method and system |
US6549661B1 (en) * | 1996-12-25 | 2003-04-15 | Hitachi, Ltd. | Pattern recognition apparatus and pattern recognition method |
US6466687B1 (en) * | 1997-02-12 | 2002-10-15 | The University Of Iowa Research Foundation | Method and apparatus for analyzing CT images to determine the presence of pulmonary tissue pathology |
US6148099A (en) * | 1997-07-03 | 2000-11-14 | Neopath, Inc. | Method and apparatus for incremental concurrent learning in automatic semiconductor wafer and liquid crystal display defect classification |
US5984870A (en) * | 1997-07-25 | 1999-11-16 | Arch Development Corporation | Method and system for the automated analysis of lesions in ultrasound images |
JP3145342B2 (ja) * | 1997-10-09 | 2001-03-12 | マルチメディアシステム事業協同組合 | 医療用画像データの処理装置 |
JP4158232B2 (ja) * | 1998-07-23 | 2008-10-01 | ソニー株式会社 | 画像情報変換装置および画像表示装置 |
JP3777813B2 (ja) * | 1998-08-05 | 2006-05-24 | コニカミノルタビジネステクノロジーズ株式会社 | 網点画像判別方法及び画像処理装置 |
JP3903610B2 (ja) * | 1998-09-28 | 2007-04-11 | 富士ゼロックス株式会社 | 検索装置、検索方法及び検索プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2000126182A (ja) * | 1998-10-27 | 2000-05-09 | Mitani Sangyo Co Ltd | 腫瘍診断方法 |
JP2000126178A (ja) * | 1998-10-27 | 2000-05-09 | Mitani Sangyo Co Ltd | 立体表面形状定量化方法、及びこれを応用した悪性腫瘍自動識別方法 |
WO2000055811A1 (fr) * | 1999-03-12 | 2000-09-21 | Sony Corporation | Processeur de donnees, procede de traitement de donnees, et support d'enregistrement |
KR100325884B1 (ko) * | 1999-04-06 | 2002-03-07 | 이민화 | 3차원 칼라 초음파영상의 부호화 및 복호화시스템 |
US6393449B1 (en) | 1999-05-11 | 2002-05-21 | The Ohio State University Research Foundation | Arbitrary function generator |
US7123759B1 (en) * | 1999-06-30 | 2006-10-17 | Fuji Photo Film Co., Ltd. | Image transfer and output method and system using the same |
US6563959B1 (en) | 1999-07-30 | 2003-05-13 | Pixlogic Llc | Perceptual similarity image retrieval method |
WO2001009833A2 (en) * | 1999-07-30 | 2001-02-08 | Pixlogic Llc | Image retrieval by generating a descriptor for each spot of an image the cells of which having visual characteristics within a selected tolerance |
US6804683B1 (en) * | 1999-11-25 | 2004-10-12 | Olympus Corporation | Similar image retrieving apparatus, three-dimensional image database apparatus and method for constructing three-dimensional image database |
US6901156B2 (en) | 2000-02-04 | 2005-05-31 | Arch Development Corporation | Method, system and computer readable medium for an intelligent search workstation for computer assisted interpretation of medical images |
WO2001071634A1 (en) * | 2000-03-23 | 2001-09-27 | Mednostic | Method and system for clinical knowledge management |
JP2002032751A (ja) * | 2000-07-18 | 2002-01-31 | Olympus Optical Co Ltd | 学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体 |
US7187789B2 (en) * | 2000-08-31 | 2007-03-06 | Fuji Photo Film Co., Ltd. | Prospective abnormal shadow detecting system, and method of and apparatus for judging whether prospective abnormal shadow is malignant or benignant |
JP2002177214A (ja) * | 2000-12-12 | 2002-06-25 | Asahi Optical Co Ltd | 電子内視鏡装置の内視鏡像ファイリング装置 |
EP1215627A3 (en) * | 2000-12-13 | 2004-09-29 | International Business Machines Corporation | Method and circuits for encoding an input pattern using a normalizer and a classifier |
US6873743B2 (en) * | 2001-03-29 | 2005-03-29 | Fotonation Holdings, Llc | Method and apparatus for the automatic real-time detection and correction of red-eye defects in batches of digital images or in handheld appliances |
US6751348B2 (en) | 2001-03-29 | 2004-06-15 | Fotonation Holdings, Llc | Automated detection of pornographic images |
US7995825B2 (en) * | 2001-04-05 | 2011-08-09 | Mayo Foundation For Medical Education | Histogram segmentation of FLAIR images |
JP2002330950A (ja) * | 2001-05-11 | 2002-11-19 | Fuji Photo Film Co Ltd | 異常陰影候補検出装置 |
JP4633298B2 (ja) * | 2001-06-14 | 2011-02-16 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | 画像診断支援システム |
US7202973B2 (en) | 2001-07-04 | 2007-04-10 | Dainippon Screen Mfg. Co., Ltd. | Patch measurement device |
AUPR676201A0 (en) * | 2001-08-01 | 2001-08-23 | Canon Kabushiki Kaisha | Video feature tracking with loss-of-track detection |
US7400757B2 (en) * | 2001-10-04 | 2008-07-15 | Siemens Medical Solutions Usa, Inc. | System and method for segmenting the left ventricle in a cardiac image |
NZ515527A (en) * | 2001-11-15 | 2003-08-29 | Auckland Uniservices Ltd | Method, apparatus and software for lossy data compression and function estimation |
US7155043B2 (en) * | 2001-11-21 | 2006-12-26 | Confirma, Incorporated | User interface having analysis status indicators |
US20030103663A1 (en) * | 2001-11-23 | 2003-06-05 | University Of Chicago | Computerized scheme for distinguishing between benign and malignant nodules in thoracic computed tomography scans by use of similar images |
US7039239B2 (en) * | 2002-02-07 | 2006-05-02 | Eastman Kodak Company | Method for image region classification using unsupervised and supervised learning |
US20030228044A1 (en) * | 2002-06-05 | 2003-12-11 | Canon Kabushiki Kaisha | Radiographic marker location |
JP2004174220A (ja) * | 2002-10-01 | 2004-06-24 | Japan Science & Technology Agency | 画像処理装置、画像処理方法、及び当該画像処理方法をコンピュータに実行させるプログラムを格納する記録媒体 |
JP3996555B2 (ja) * | 2002-10-01 | 2007-10-24 | 独立行政法人科学技術振興機構 | 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体 |
JP2004174218A (ja) * | 2002-10-01 | 2004-06-24 | Japan Science & Technology Agency | 画像処理装置、画像処理方法、及び当該画像処理をコンピュータに実行させるプログラムを格納する記録媒体 |
KR100477801B1 (ko) * | 2002-12-26 | 2005-03-22 | 한국전자통신연구원 | 3차원 영상정보 기술장치와 그 방법 및 이를 이용한 3차원영상정보 검색장치 및 그 방법 |
CN1685373B (zh) * | 2003-03-14 | 2011-03-02 | 富士通株式会社 | 钞票的识别方法和识别装置 |
US6932770B2 (en) * | 2003-08-04 | 2005-08-23 | Prisma Medical Technologies Llc | Method and apparatus for ultrasonic imaging |
JP3836097B2 (ja) | 2003-09-19 | 2006-10-18 | ザイオソフト株式会社 | 医用画像生成装置および方法、ならびに、プログラム |
AU2004294945B2 (en) * | 2003-11-26 | 2011-05-26 | Imacor Inc. | Transesophageal ultrasound using a narrow probe |
NO20035401D0 (no) * | 2003-12-04 | 2003-12-04 | Amersham Health As | Metode |
JP4328224B2 (ja) * | 2004-01-26 | 2009-09-09 | オリンパス株式会社 | 結像光学系の結像性能評価方法及び装置 |
US20050169536A1 (en) * | 2004-01-30 | 2005-08-04 | Vittorio Accomazzi | System and method for applying active appearance models to image analysis |
JP4176041B2 (ja) * | 2004-04-14 | 2008-11-05 | オリンパス株式会社 | 分類装置及び分類方法 |
US7840048B2 (en) * | 2004-05-26 | 2010-11-23 | Guardian Technologies International, Inc. | System and method for determining whether there is an anomaly in data |
MY140267A (en) * | 2004-05-26 | 2009-12-31 | Guardian Technologies International Inc | System and method for identifying objects of interest in image data |
US20060269140A1 (en) * | 2005-03-15 | 2006-11-30 | Ramsay Thomas E | System and method for identifying feature of interest in hyperspectral data |
US20060018524A1 (en) * | 2004-07-15 | 2006-01-26 | Uc Tech | Computerized scheme for distinction between benign and malignant nodules in thoracic low-dose CT |
CN101084511A (zh) * | 2004-12-17 | 2007-12-05 | 皇家飞利浦电子股份有限公司 | 自动开发在医学诊断成像中产生医学有意义的描述符的高性能分类器的方法和装置 |
JP4748991B2 (ja) * | 2005-01-05 | 2011-08-17 | 株式会社日立メディコ | 医用画像診断支援装置 |
US20080159605A1 (en) * | 2005-03-15 | 2008-07-03 | Ramsay Thomas E | Method for characterizing an image source utilizing predetermined color spaces |
US20060269135A1 (en) * | 2005-03-15 | 2006-11-30 | Ramsay Thomas E | System and method for identifying objects of interest in image data |
KR100970295B1 (ko) * | 2005-04-13 | 2010-07-15 | 올림푸스 메디칼 시스템즈 가부시키가이샤 | 화상 처리 장치 및 화상 처리 방법 |
US8014590B2 (en) * | 2005-12-07 | 2011-09-06 | Drvision Technologies Llc | Method of directed pattern enhancement for flexible recognition |
JP4690204B2 (ja) * | 2006-01-16 | 2011-06-01 | 富士フイルム株式会社 | 画像再生装置およびそのプログラム |
US8626263B2 (en) * | 2006-04-13 | 2014-01-07 | General Electric Company | Methods and apparatus for relative perfusion and/or viability |
US20070242863A1 (en) * | 2006-04-13 | 2007-10-18 | Bernice Eland Hoppel | Methods and Apparatus for Contouring at Least One Vessel |
US7860320B2 (en) * | 2006-06-26 | 2010-12-28 | Eastman Kodak Company | Classifying image regions based on picture location |
US8009889B2 (en) | 2006-06-27 | 2011-08-30 | Affymetrix, Inc. | Feature intensity reconstruction of biological probe array |
US8818109B2 (en) * | 2006-07-04 | 2014-08-26 | Hewlett-Packard Development Company, L.P. | Context-aware image processing |
JP4967763B2 (ja) * | 2007-04-02 | 2012-07-04 | パナソニック株式会社 | 超音波診断装置 |
US8073215B2 (en) * | 2007-09-18 | 2011-12-06 | Siemens Medical Solutions Usa, Inc. | Automated detection of planes from three-dimensional echocardiographic data |
JP5002397B2 (ja) * | 2007-09-28 | 2012-08-15 | 株式会社東芝 | 超音波診断装置及びプログラム |
US20090175539A1 (en) * | 2008-01-09 | 2009-07-09 | Authorizer Technologies, Inc. | Method and system for swipe sensor image alignment using fourier phase analysis |
JP5083138B2 (ja) * | 2008-09-12 | 2012-11-28 | 株式会社ニコン | 画像分類装置 |
US8693769B2 (en) * | 2009-12-28 | 2014-04-08 | Industrial Technology Research Institute | Image classification methods and systems |
JP5651412B2 (ja) * | 2010-09-08 | 2015-01-14 | 株式会社東芝 | 画像処理装置、プログラム、及び画像処理方法 |
US9289191B2 (en) | 2011-10-12 | 2016-03-22 | Seno Medical Instruments, Inc. | System and method for acquiring optoacoustic data and producing parametric maps thereof |
JP5556674B2 (ja) * | 2011-01-12 | 2014-07-23 | コニカミノルタ株式会社 | 医用画像表示装置及びプログラム |
EP2567651B1 (en) * | 2011-02-01 | 2015-04-22 | Olympus Medical Systems Corp. | Diagnosis supporting apparatus |
KR102117132B1 (ko) * | 2011-11-02 | 2020-05-29 | 세노 메디컬 인스투르먼츠 인코포레이티드 | 상호 정합된 기능적 및 해부학적 매핑을 위한 이중 방식 이미징 시스템 |
US10433732B2 (en) | 2011-11-02 | 2019-10-08 | Seno Medical Instruments, Inc. | Optoacoustic imaging system having handheld probe utilizing optically reflective material |
US20130289381A1 (en) | 2011-11-02 | 2013-10-31 | Seno Medical Instruments, Inc. | Dual modality imaging system for coregistered functional and anatomical mapping |
JP5984243B2 (ja) * | 2012-01-16 | 2016-09-06 | 東芝メディカルシステムズ株式会社 | 超音波診断装置、医用画像処理装置及びプログラム |
JP6168876B2 (ja) * | 2013-06-24 | 2017-07-26 | オリンパス株式会社 | 検出装置、学習装置、検出方法、学習方法及びプログラム |
US11660065B2 (en) | 2013-06-26 | 2023-05-30 | Koninklijke Philips N.V. | Method and system for multi-modal tissue classification |
US9996772B2 (en) * | 2016-04-28 | 2018-06-12 | International Business Machines Corporation | Detection of objects in images using region-based convolutional neural networks |
EP3476272A4 (en) | 2016-06-28 | 2019-07-31 | Sony Corporation | PICTURE |
JP6930283B2 (ja) * | 2017-08-18 | 2021-09-01 | コニカミノルタ株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
EP3451231A1 (en) * | 2017-08-31 | 2019-03-06 | Fujitsu Limited | Imagification of multivariate data |
JP6345332B1 (ja) * | 2017-11-21 | 2018-06-20 | 国立研究開発法人理化学研究所 | 分類装置、分類方法、プログラム、ならびに、情報記録媒体 |
JP7185255B2 (ja) * | 2018-05-16 | 2022-12-07 | 株式会社トーメーコーポレーション | 断層画像処理装置、これを備える眼科装置、及び断像画像を処理するためのコンピュータプログラム |
CN109302500A (zh) * | 2018-12-07 | 2019-02-01 | 安徽职业技术学院 | 一种基于大数据的图形图像处理系统 |
JP2020099619A (ja) * | 2018-12-25 | 2020-07-02 | 株式会社日立製作所 | 超音波送受信装置 |
US11372092B2 (en) | 2019-01-04 | 2022-06-28 | Shenzhen Mindray Bio-Medical Electronics Co., Ltd. | Hybrid ultrasound transmitter |
JP7308656B2 (ja) * | 2019-05-16 | 2023-07-14 | 株式会社キーエンス | 画像検査装置 |
JPWO2021221008A1 (ja) * | 2020-04-28 | 2021-11-04 | ||
EP4218604A4 (en) | 2020-09-28 | 2024-04-10 | FUJIFILM Corporation | IMAGE PROCESSING DEVICE, OPERATING METHOD FOR IMAGE PROCESSING DEVICE AND OPERATING PROGRAM FOR IMAGE PROCESSING DEVICE |
KR102320431B1 (ko) | 2021-04-16 | 2021-11-08 | 주식회사 휴런 | 의료 영상 기반 종양 검출 및 진단 장치 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5031228A (en) * | 1988-09-14 | 1991-07-09 | A. C. Nielsen Company | Image recognition system and method |
US5274714A (en) * | 1990-06-04 | 1993-12-28 | Neuristics, Inc. | Method and apparatus for determining and organizing feature vectors for neural network recognition |
US5239594A (en) * | 1991-02-12 | 1993-08-24 | Mitsubishi Denki Kabushiki Kaisha | Self-organizing pattern classification neural network system |
US5343390A (en) * | 1992-02-28 | 1994-08-30 | Arch Development Corporation | Method and system for automated selection of regions of interest and detection of septal lines in digital chest radiographs |
US5319549A (en) * | 1992-11-25 | 1994-06-07 | Arch Development Corporation | Method and system for determining geometric pattern features of interstitial infiltrates in chest images |
US5497430A (en) * | 1994-11-07 | 1996-03-05 | Physical Optics Corporation | Method and apparatus for image recognition using invariant feature signals |
-
1994
- 1994-04-08 JP JP07091994A patent/JP3974946B2/ja not_active Expired - Fee Related
-
1995
- 1995-04-07 US US08/418,183 patent/US5754676A/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US5754676A (en) | 1998-05-19 |
JPH07284090A (ja) | 1995-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3974946B2 (ja) | 画像分類装置 | |
US8483488B2 (en) | Method and system for stabilizing a series of intravascular ultrasound images and extracting vessel lumen from the images | |
JP4614548B2 (ja) | 超音波診断装置 | |
Loizou et al. | Quality evaluation of ultrasound imaging in the carotid artery based on normalization and speckle reduction filtering | |
US7593561B2 (en) | Computer-aided detection of microcalcification clusters | |
US8295565B2 (en) | Method of image quality assessment to produce standardized imaging data | |
EP2016905B1 (en) | Ultrasound diagnostic apparatus | |
US20090169075A1 (en) | Image processing method and image processing apparatus | |
US10002422B2 (en) | Ultrasound image processing apparatus and medium | |
US9076238B2 (en) | Intelligent weighted blending for ultrasound image stitching | |
US8351667B2 (en) | Methods of contrast enhancement for images having blood vessel structures | |
JPH08293025A (ja) | 画像分類装置 | |
JP2003189179A (ja) | 異常陰影検出装置および画像出力装置 | |
CN113689424B (zh) | 可自动识别图像特征的超声检查系统及识别方法 | |
Suganya et al. | Feature extraction and classification of ultrasound liver images using haralick texture-primitive features: Application of SVM classifier | |
JP2002269539A (ja) | 画像処理装置、画像処理装置方法、及び画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、並びにこれを用いた診断支援システム | |
CN117017347B (zh) | 超声设备的图像处理方法、系统及超声设备 | |
JP6996303B2 (ja) | 医用画像生成装置 | |
WO2010019121A1 (en) | Methods for enhancing vascular patterns in cervical imagery | |
US11452494B2 (en) | Methods and systems for projection profile enabled computer aided detection (CAD) | |
JP3662835B2 (ja) | 超音波診断装置 | |
Ye et al. | Segmentation and feature extraction of endoscopic images for making diagnosis of acute appendicitis | |
Salehi et al. | Investigation and simulation of different medical image processing algorithms to improve image quality using simulink matlab | |
US20200170624A1 (en) | Diagnostic apparatus and diagnostic method | |
CN113768544A (zh) | 乳腺的超声成像方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040323 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041108 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050307 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050404 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070618 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100622 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |