JP3709158B2 - 部分選択変換装置、部分選択変換方法及び部分選択変換プログラム - Google Patents
部分選択変換装置、部分選択変換方法及び部分選択変換プログラム Download PDFInfo
- Publication number
- JP3709158B2 JP3709158B2 JP2001317371A JP2001317371A JP3709158B2 JP 3709158 B2 JP3709158 B2 JP 3709158B2 JP 2001317371 A JP2001317371 A JP 2001317371A JP 2001317371 A JP2001317371 A JP 2001317371A JP 3709158 B2 JP3709158 B2 JP 3709158B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- conversion
- partial
- compressed
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Complex Calculations (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、部分選択変換装置、部分選択変換方法及び部分選択変換プログラムに係り、特に、画像認識の前処理手法のひとつであるウェーブレット変換等の変換による信号処理及び解析を行う部分選択変換装置、部分選択変換方法及び部分選択変換プログラムに関する。さらに、本発明は、画像認識が２次元の信号処理であるのと同様に、１次元の信号処理である音声認識にも関する。
【０００２】
【従来の技術】
ウェーブレット理論に基づく信号処理技術は、短時間フーリエ変換とマッチド・フィルター技術とが融合して発展したものであり、数学的な変換式が定義され多くの利用分野で使用されている。実現の仕方はプログラムにより変換式を記述し、ＤＳＰ（digital signal processor）やマイクロ・プロセッサで実行する方法がもっとも安易である。従来の信号処理は、全画面領域や信号領域を一括して圧縮し、かつ、一括して伸張するものであり、信号伝播の負荷を減らす目的で利用されていた。しかし、これらの方式では、特徴抽出を行い即座に判断処理などの高度な信号処理と制御を組み合わせた複雑な処理を実時間で行うには不十分である場合が想定される。
【０００３】
また、ウェーブレット変換をプロセッサやＤＳＰ上のプログラムにより実行する方法では、命令を逐次的に実行することでウェーブレット変換を実現していた。このため、処理時間が膨大にかかるために実時間での処理が困難である場合が想定される。また、特定の変換だけにではなく、変換した信号を用いて複雑な信号処理も同時に行うため、プロセッサに大きな負荷がかかっていた。
【０００４】
【発明が解決しようとする課題】
一般に、画像認識、画像処理等の信号処理などでは、情報量が多いと処理の負担が多くなり実時間での精密な信号処理が困難である場合が想定される。他方、信号圧縮すれば、画像認識等の信号処理時の負担が軽減されるが、反面、情報量が減るために不十分な信号処理しか出来なくなる場合が想定される。
ソフトウェアによる様々な画像認識システムでは、coarse-to-fineテンプレート・マッチングにより、場所決めをコーステンプレートで行う方法が一般的である(Mohammad Gharavi-Alkhansari，”A Fast Globally Optimal Al-gorithm for Template Maching Using Low-Resolution Pruning，”in IEEE TRANSACTIONS ON IMAGE PROCESSING，Vol．10，No．4，April，2001．)（高野茂，新島耕一，“Haarウェーブレットを用いた高速カラー画像検索システム，”九州大学大学院システム情報科学研究科報告，Vol2，No2，pp．229-234，September 1997．）。しかしながら、この方法では、コーステンプレートで得た場所がファインテンプレートで得られる場所と必ずしも一致しない場合が想定される。そのため、順次精度を上げていく必要があり、計算量が大きくなる。
【０００５】
また、不要な対象を精度を高めていく途中で削除する方法も提案されている(Mohammad Gharavi-Alkhansari,"A Fast Globally Optimal Al-gorithm for Template Maching Using Low-Resolution Pruning," in IEEE TRANSACTIONS ON IMAGE PROCESSING, Vol.10, No.4, April, 2001.)。しかしながら、この方法では、マッチングの計算量が２４〜１２００倍も減らすことが出来るが、データ圧縮のオーバーヘッドがあると報告されている。
【０００６】
さらに、画像認識の前処理方法としては、フーリエ変換、離散コサイン変換、ウェーブレット変換などの各種変換処理が挙げられる。ウェーブレット変換を使って画像データマイニングを行うソフトウェアでは、全てのデータをウェーブレット係数とし、大きい順に上位６０個の係数を比較する事で、良好な結果を得たと報告されている（Charles E. Jacobs, Adam Finkelstein, David H. Salesin, "Fast Multiresolution Image Querying," in Proceedings of SIGGRA-PH 95, August, 1995.）。しかしながら、この方法では、ウェーブレット変換を使用するため計算量が多くなってしまう。
【０００７】
本発明の目的のひとつは、以上の点に鑑み、情報量の削減と信号処理の高精密度化とを同時に達成する部分選択変換装置、部分選択変換方法及び部分選択変換プログラムを提供することにある。また、本発明の他の目的は、画像認識、画像処理、音声認識、音声処理等の高度な処理を実時間で高速に処理できる部分選択変換装置、部分選択変換方法及び部分選択変換プログラムを提供することにある。
【０００８】
【課題を解決するための手段】
ここで、本発明に関連する技術について説明する。また、本発明に関する説明は画像認識を例にして説明するが、時間軸に沿った１次元データである音声認識に対しても同様の説明であるので省略する。
本発明では、主に圧縮・伸張を行うのが目的であった従来型のウェーブレット変換チップを、入力画像の部分選択的な圧縮を行い画像認識システムの前処理に使用することにした。このウェーブレット変換チップにより大量のデータ圧縮を行い、認識ソフトにより複雑なデータ解析を行う。この際、どのような入力画像に対しても同様の圧縮を行う手法では、それぞれの画像の特徴を抽出するのに負荷が大きくなる。そこで、１つの入力画像に対して多段階でウェーブレット変換を行い、領域ごとに圧縮レベルを変えて、個々の領域に適したデータを出力することで、認識ソフトにおける適切な特徴抽出と負荷の軽減を同時に行う。また、このウェーブレット変換チップを画像認識システムに組み込むことで、ハ−ドウェアの高速性とソフトウェアの柔軟性とを兼ね備え、負荷分散と同時に機能を分散したソフトウェア及びハードウェア混載画像認識システムの実現を可能とした。
【０００９】
また、本発明では、信号圧縮を専用の回路で行う上で、不要な領域は大きく圧縮し、解析が必要な部分領域は圧縮を制限することにより、信号解析を行うデータ量を圧縮すると同時に信号の劣化を防止し、さらに、画像認識等の高度な処理を実時間で高速に処理できるようにした。
【００１０】
本発明の第１の解決手段によると、
部分領域毎に指定された圧縮レベルに変換するための変換命令に従い、解析対象領域の入力信号を部分領域毎に圧縮して圧縮信号を生成する信号変換部と、
前記信号変換部から圧縮信号を入力し、前記信号変換部に該変換命令を与えるための信号処理解析部と
を備え、
前記信号変換部は、前記信号処理解析部からの変換命令に従い、入力された全領域又は所定領域の信号を最大限又は予め定められた第１の圧縮レベルに圧縮し、対象領域の部分領域毎の第１の圧縮信号を前記信号処理解析部に出力し、
前記信号処理解析部は、前記信号変換部からの部分領域毎の第１の圧縮信号に基づき、第１の圧縮レベルと異なる第２の圧縮レベルで圧縮すべき再変換の対象となる再変換部分領域及び第２の圧縮レベルを求め、再変換命令を出力し、
前記信号変換部は、前記信号処理解析部からの再変換命令に従い、指定された再変換部分領域を第２の圧縮レベルで再変換して、第２の圧縮信号を出力することにより、
それぞれ所望の第１又は第２の圧縮レベルで圧縮された部分領域の第１又は第２の圧縮信号を含む対象領域の圧縮信号を出力するようにした部分選択変換装置を提供する。
【００１１】
本発明の第２の解決手段によると、
部分領域毎に指定された圧縮レベルに変換するための変換命令に従い、解析対象領域の入力信号を部分領域毎に圧縮して圧縮信号を生成する信号変換部を用いた部分選択変換方法であって、
前記信号変換部に変換命令を与えるステップと、
前記信号変換部により、該変換命令に従い、入力された全領域又は所定領域の信号を最大限又は予め定められた第１の圧縮レベルに圧縮された、対象領域の部分領域毎の第１の圧縮信号を入力するステップと、
前記信号変換部からの部分領域毎の第１の圧縮信号に基づき、第１の圧縮レベルと異なる第２の圧縮レベルで圧縮すべき再変換の対象となる再変換部分領域及びその第２の圧縮レベルを求め、再変換命令を出力するステップと、
前記信号変換部により、該再変換命令に従い、指定された再変換部分領域を第２の圧縮レベルで再変換された第２の圧縮信号を入力するステップと、
所望の第１又は第２の圧縮レベルでそれぞれ圧縮された部分領域の第１又は第２の圧縮信号を含む対象領域の圧縮信号を出力するステップと
を含む部分選択変換方法及びプログラムを提供する。
【００１２】
本発明の特徴のひとつとしては、画像圧縮等の信号圧縮を行う部分と、画像認識等の信号処理・解析を行う部分とを繋ぎ、画像認識等の信号処理・解析部分の処理結果を信号圧縮部分に命令やパラメータなどにして戻して部分領域と圧縮レベルを指定する事で、情報量の削減と信号処理の精密度とを同時に達成することができる。
【００１３】
本発明の他の特徴としては、例えば、画像認識システムの前処理での画像圧縮として、Ｈａａｒ関数による離散Ｗａｖｅｌｅｔ変換チップを備え、さらに、テンプレート・マッチングのソフトウェアにより領域と圧縮率の程度を指定することで、部分領域毎に異なる圧縮率を持った画像を得ることができる。この変換チップにより大量のデータ圧縮を行い、認識ソフトによるデータ処理量を削減することで、特徴抽出の計算量が減少し、認識作業が容易となる。また、ここでは画像認識システムについてのみ説明したが、音声認識システムに於いても同様である。
【００１４】
【発明の実施の形態】
１．概要
まず、Ｈａａｒのウェーブレット変換を用いた画像処理手法についての概要を説明する。本実施の形態では、Ｈａａｒ関数を用いた離散ウェーブレット変換を使用してハードウェアによる多重解像度での圧縮処理を行う。Ｈａａｒのスケーリング関数ΦＨ（ｘ）とＨａａｒのウェーブレット関数ΨＨ（ｘ）は次式（１）（２）のように定義される（ｘは、座標値）。
【００１５】
図１は、Ｈａａｒ−Ｗａｖｅｌｅｔ変換による平滑化とエッジ抽出の説明図である。
ここで、二つの変換されたイメージは、異なる画像成分を取り出して得ることが出来る。平滑化によるスケーリングイメージは、空間周波数の低周波成分、すなわち、２次元画像の上下左右方向に隣り合った領域での画像変化が少ない画像成分を優先的に取り出すフィルター（これをローパス・フィルターという）より得られる。反対に、エッジ抽出によるウェーブレットイメージは、画像の変化が大きい図形成分を優先的に取り出すフィルター（これをハイパス・フィルターという）より得られる。例えば、スケーリング関数ΦＨ（ｘ）をローパス・フィルター、ウェーブレット関数ΨＨ（ｘ）をハイパス・フィルターとして入力画像（オリジナルイメージ）の水平方向・垂直方向の順に１次元変換を行うことで、圧縮された平滑化画像（スケーリングイメージ）とエッジ抽出画像（ウェーブレットイメージ）が得られる。この例では、図示のように１／４に圧縮されている。
【００１６】
図２は、多重解像度についての説明図である。
ここでは、一例として、ウェーブレット変換を１回行うことを１レベル変換とし、ここで得られる元画像を１／４に圧縮したスケーリングイメージとウェーブレットイメージをレベル１とする。レベル１のスケーリングイメージをさらに１レベル変換することで、元画像を１／１６に圧縮したレベル２のスケーリングイメージとウェーブレットイメージが得られる。レベル２のスケーリングイメージをさらに１レベル変換することで、元画像を１／６４に圧縮したレベル３のスケーリングイメージとウェーブレットイメージが得られる。このように、ウェーブレット変換してできた低周波成分をさらに変換するという作業（多重解像度）を繰り返すことにより、様々な圧縮レベルのデータを得ることができる。
【００１７】
つぎに、入力画像（オリジナルイメージ）に対するシミュレーション結果を示す。
図３は、シミュレーション結果を示す図（１）である。なお、このシミュレーションは、図３（ａ）に示す入力画像（元画像）に対する本実施の形態における部分選択変換装置の動作を確認するためのものである。ここでは、ソフトウェアから出力された画像データにコマンド及びパラメータを付加し、入力とした（コマンド及びパラメータについては後述する）。また、出力されたデータを、わかりやすいようにソフトウェアにより画素の大きさを変えて表示させた。ここで、図３（ｃ）に示す画像は、コマンドによりスケーリングイメージを指定し、パラメータにより各部分領域の圧縮レベルを図３（ｂ）のように割り当てた場合の出力画像である。
【００１８】
図４は、シミュレーション結果を示す図（２）である。なお、図３と同様に、このシミュレーションは、図４（ａ）に示す入力画像（元画像）に対する本実施の形態における部分選択変換装置の動作を確認するものである。
【００１９】
２．ハードウェア及びソフトウェア
図５は、本実施の形態に関する部分選択変換装置の構成図である。
部分選択変換装置１００は、例えば、信号変換回路１０と、信号処理解析装置３０とを備える。信号変換回路１０は、入力処理回路２０、ウェーブレット変換チップ５０を備える。信号処理解析装置３０は、判定回路４０を備える。なお、信号処理解析装置３０は、後述するテンプレートを記憶した記憶部を含む。
【００２０】
図６は、部分選択変換装置１００の動作の説明図である。なお、ここでは、信号変換回路１０と信号処理解析装置３０との間の動作を概略的に説明するため、特に、信号変換回路１０に含まれるウェーブレット変換チップ５０と、判定回路４０の機能のひとつであるテンプレート・マッチングとを示す。
【００２１】
信号変換回路１０は、部分選択変換装置（画像認識システム）１００上で使用する。まず、信号変換回路１０は、解析対象となる全ての入力データ（▲１▼）に対して圧縮処理を行う。次に、信号処理解析装置３０の判定回路４０は、信号変換回路１０より出力された圧縮率の高いデータ（▲２▼）に対して、テンプレート・マッチング、マニュアルによる指定等により重要性の高い領域又は圧縮率を低くすべき領域の抽出を行う。さらに、信号処理解析装置３０は、領域の抽出結果をコマンド（▲３▼）として信号変換回路１０に出力する。さらに、信号変換回路１０は、再度読み込んだ画像データに対し、信号処理解析装置３０で抽出された領域について、コマンド（▲３▼）により、部分的に圧縮率の低いデータ（▲４▼）を出力する。最後に、信号処理解析装置３０は、出力されたデータ（▲４▼）を用いてテンプレート・マッチングによる認識作業を行い、所望の抽出された領域が所望の圧縮率となっていると認識すると、その結果（▲５▼）を出力する。なお、判定回路４０はウェーブレット変換チップ５０により出力されたデータ（▲４▼）をそのまま出力してもよいし、出力データ（▲４▼）をウェーブレット変換チップ５０から直接出力するようにしてもよい。
【００２２】
図７は、部分選択変換装置１００の動作についてのフローチャートである。
まず、信号変換回路１０に解析対象となる全領域の画像についての入力信号列が入力される（Ｓ１０１）。なお、入力信号列は、適宜のメモリに記憶され、そこから読み出すようにしてもよいし、ＣＣＤカメラ等の入力装置から処理の際に入力されるようにしてもよい。信号変換回路１０は、全領域又は所定領域の信号を最大限又は予め定められたレベルに圧縮する（Ｓ１０２）。入力処理回路２０は、解析対象の全領域を部分領域毎の処理に分け、部分領域の位置を識別する部分領域信号とその入力信号の変換出力とを部分領域毎に信号処理解析装置３０に出力する。信号処理解析装置３０は、重要性の高い又は圧縮率を低くすべき解析対象領域の切り出しを行う（Ｓ１０３）。すなわち、信号処理解析装置３０は、判定回路４０により部分領域毎に変換された変換出力を解析し、詳細な画像を再入力させる部分領域を選別する。ここで、部分領域を選別するための手段は、判定回路４０が自動的に選別する方法と、操作者がマニュアルで適宜の入力装置により指定する方法等がある。前者の方法では、解析手法により異なるが、たとえば、記憶してあるテンプレートなどの記憶情報との一致度を計算して順序つける手段、部分領域の全ウェーブレット係数の絶対値の和により部分領域を順序つける手段等がある。また、後者による方法は、例えば、操作者がディスプレイを見ながら図示されない適宜の入力装置（キーボード、ポインティングデバイス等）により、所定の領域を指定するようにすればよい。なお、これらの選別の手段は処理の負担度に応じて適時選択すればよい。
【００２３】
信号処理解析装置３０は、判定回路４０又は入力装置からの指令による抽出（選択）結果に基づき、各部分領域に対して再度、圧縮レベルを指定する。このとき、信号処理解析装置３０は、全部分領域に対して再度圧縮レベルを指定してもよいし、抽出された部分領域のみに再度圧縮レベルを決定してもよい（Ｓ１０５）。信号変換回路１０は、ステップＳ１０５で決定された圧縮レベルと部分領域の位置に応じて、再変換が必要な領域を再変換する（Ｓ１０７）。その際、信号処理解析装置３０は、再変換を必要としない部分領域の圧縮データを適宜の記憶部に保持するようにしてもよい。なお、信号処理解析装置３０は、全領域について各圧縮レベルに従い再変換してもよい。信号変換回路１０は、入力信号列を再度メモリから読み出し又は入力装置から入力して、それを再変換して、信号処理解析装置３０に再度送出する。こうして、詳細な画像領域に指定された部分領域は前より圧縮レベルが下がり、元入力に近い画像が求められる。信号処理解析装置３０は、領域毎に異なる又は所望の変換レベル（圧縮レベル）を持った部分領域からなる解析対象となる全領域の出力データを全画像領域の圧縮・変換結果として出力する（Ｓ１０９）。
【００２４】
以下に判定回路４０について説明する。判定回路４０は、信号処理解析装置３０の中に、一つの機能ブロックとしてあり、解析結果に基づいて命令を発生させる。
まず、テンプレートによる部分領域の選別について説明する。テンプレートによる場合、判定回路４０は、例えば、比較回路や一致回路を有し、所望の画像に関する信号値をベクトル化してテンプレートとして予め記憶部に記憶して用意しておく。例えば、顔に関しては、目、鼻等の圧縮率を低くする（重要性の高い）領域として定めた場合、その画像と所望レベルを表すテンプレートを所定数予め用意して記憶部に記憶する。すなわち、同一の対象、例えば、顔に関しても、異なる圧縮レベルに対応した顔テンプレートを作り用意しておく。例えば、ブロック形状の画像領域として顔画像をテンプレートとして用意する。
【００２５】
判定回路４０では、記憶部からテンプレートを読み出し、マッチングをとることで、領域の抽出を行うことができる。さらに、詳しくは、判定回路４０は、例えば、２次元の画像ブロックでは、画素が２次元に並んでおり、その画素を一次元に並べてベクトル化する。ベクトル化する前に、２次元の画像ブロックをいくつかの圧縮レベルにまで圧縮しておく。すると、圧縮する毎に隣り合った画素の平均がとられ、画像が荒くなり、異なる粗さのテンプレートが得られる。また、部分領域毎に信号解析が不要か必要かは、判定回路４０の適宜のデータベースに記憶されたテンプレートと部分領域の信号と一致するかどうかを計算することで、判定する。そのために、部分領域の信号もベクトル化する。この一致するかどうかの計算は、例えば、１）二つのベクトルの内積を取る。２）ベクトルの差をとる。３）ベクトルの成分を１、０に量子化してからＥＸＯＲ（排他的論理和）をとる、等がある。
【００２６】
また、判定回路４０は、次のように圧縮レベルを求めることができる。圧縮レベルを求めるには、異なる圧縮レベルのテンプレートと比較して、どのテンプレートのどの圧縮レベルと最も一致するかを計算をして検出し、所望の圧縮レベル（パラメータ）を得る。判定回路４０は、部分領域毎にパラメータで定めた圧縮レベルについての命令を信号変換回路１０に出力する。
【００２７】
つぎに、部分領域の全ウェーブレット係数の絶対値の和により部分領域を順序つける手段について説明する。
まず、入力画像Ｉ（X，Y）を、上述の数式（１）（２）で定義されたＨａａｒのスケーリング関数ΦＨ（ｘ）とＨａａｒのウェーブレット関数ΨＨ（ｘ）とで展開すると、
Ｉ（X，Y）＝Σｘ，ｙ｛ＷΦ Ｘ，ＹΦＨ（X）ΦＨ（Y）＋ＷΨ Ｘ，ＹΨＨ（X）ΨＨ（Y）｝
となる。このＷΦ Ｘ，Ｙ、ＷΨ Ｘ，Ｙをスケーリング係数、ウェーブレット係数と言う。ここで、あるレベルＬ−１のΦＨ Ｌ−１（ｘ）とΨＨ Ｌ−１（ｘ）とに関して、次式によりレベル変換（圧縮操作）を行う。
ΦＬ（XＭ）＝１／２（ΦＬ−１（XＭ−１）＋ΦＬ−１（XＭ＋１）） （３）
ΨＬ（XＭ）＝１／２（ΨＬ−１（XＭ−１）−ΨＬ−１（XＭ＋１）） （４）
【００２８】
すると、次式のように、ＷΦ Ｘ，Ｙ、ＷΨ Ｘ，Ｙにも同様な変換が得られ、ＷΦ Ｘ，Ｙ Ｌ、ＷΨ Ｘ，Ｙ Ｌとなる。この係数は座標（X，Y）の各画素毎に定まる。
ＷΦ Ｘ，Ｙ Ｌ（ＸＭ）＝１／２（ＷΦ Ｘ，Ｙ Ｌ−１（ＸＭ−１）＋ＷΦ Ｘ，Ｙ Ｌ−１（ＸＭ＋１）） （５）
ＷΨ Ｘ，Ｙ Ｌ（ＸＭ）＝１／２（ＷΦ Ｘ，Ｙ Ｌ−１（ＸＭ−１）−ＷΦ Ｘ，Ｙ Ｌ−１（ＸＭ＋１）） （６）
【００２９】
入力画像Ｉと同様にテンプレートに対しても事前に展開を行う。例えば、顔画像テンプレートＴＦでは、顔画像が含まれているブロック形状の画像領域ＩＦ中をレベルＬのＨａａｒのスケーリング関数ΦＨ L（ｘ）とＨａａｒのウェーブレット関数ΨＨ L（ｘ）とで展開しその展開係数ＷΦ Ｘ，Ｙ、ＷΨ Ｘ，Ｙを求める。一致処理を高速化する場合には、この係数を係数値順に並べて、値、あるいは、絶対値の大きい順に必要な数だけ取り出して、テンプレートベクトルＷ（ＩＦ）を作成する。
【００３０】
つぎに、部分領域Ｉ内の全画素に対してこの係数の絶対値を求めて和をとり、部分領域の和Ｗ（Ｉ）とする。Ｗ（Ｉ）を大きい順に並べて、テンプレートと比較するのに意味がある比較候補として部分領域Ｉｋを選択する。こうすることで、画像の空間変化が少ない背景に関係する部分領域ＩＨは取り除くことが出来る。Ｗ（Ｉｋ）が大きい領域はどれかのテンプレートとマッチングする可能性が大きいので、全テンプレートとの一致計算を行う。
【００３１】
一致計算としてベクトルの内積を使用する場合には、一致度Ｄは、
Ｄ（Ｗ（Ｉｋ），Ｗ（ＩＦ））＝ΣＷｉ（Ｉｋ）Ｗｉ（ＩＦ）
で与えられる。この一致計算結果の値Ｄに従ってテンプレートを並べる。これにより、該当するテンプレートを求めることができる。
【００３２】
図８は、信号変換回路１０の構成図である。
信号変換回路１０は、例えば、入力処理回路２０とウェーブレット変換チップ５０と出力選択部１９を備える。ウェーブレット変換チップ５０は、水平方向の２レベル変換を行うウェーブレット変換部（ＷＴ Ｒｏｗ Ｌ２）１１と、垂直方向の２レベル変換を行うウェーブレット変換部（ＷＴ Ｃｏｌｕｍｎ Ｌ２）１３と、水平方向の１レベル変換を行うウェーブレット変換部（ＷＴ Ｒｏｗ Ｌ１）１５と、垂直方向の１レベル変換を行うウェーブレット変換部（ＷＴ Ｃｏｌｕｍｎ Ｌ１）１７とを備える。ウェーブレット変換部１１、１３、１５、１７は、逐次的に圧縮が可能である。なお、ウェーブレット変換部１１、１３、１５、１７は、加算器と減算器を含み、上式（３）〜（６）により逐次的にスケーリングを行うことができる。
【００３３】
また、入力処理回路２０は、例えば、コマンド部２１と、データセット部２３とを備える。この入力処理回路２０のコマンド部２１は、信号処理解析装置３０から入力された命令（部分領域信号と、その部分領域に対応するコマンド及びパラメータ）コマンド及びパラメータのデコードを行い、データセット部２３及び出力選択部１９に指示を出力する。コマンド部２１の出力信号により、例えば、全解析対象領域中の各部分領域を指定し、各領域毎に変換の種類（スケーリングデータ又はウェーブレットデータ等）と、変換の度合いである圧縮レベル（レベル１、２、３等）とが指定される。データセット部２３は、例えば、データセット部２３への入力データ（オリジナルデータ）もしくは出力選択部１９よりフィードバックしてきたデータを、コマンド部２１からの部分領域信号、コマンド及びパラメータ等の指示に従い、それぞれのウェーブレット変換部１１、１３、１５、１７に転送する。データセット部２３は、例えば、出力選択部１９により戻された圧縮データをコマンド部２１より出力されたコマンドに従い所定の圧縮レベルまで圧縮するために、この圧縮データを適切なウェーブレット変換部１１、１３、１５、１７に再度出力することができる。
【００３４】
出力選択部１９は、例えば、コマンド及びパラメータによる領域ごとに、ウェーブレット変換部１１、１３、１５、１７でそれぞれ変換された圧縮データの中からいずれかを出力データとして選択し、また、必要に応じてそれをさらに圧縮・変換するためにデータセット部２３に戻す。こうして、出力選択部１９は、全てのウェーブレット変換結果のデータを、コマンド部２１からの指示により、部分領域ごとにスケーリングデータ又はウェーブレットデータを選択的に出力し、また、領域ごとに異なる圧縮率のデータを出力することが可能となる。
【００３５】
また、ウェーブレット変換部１１、１３、１５、１７において、１レベル変換ブロックであるウェーブレット変換部１５、１７の他に２レベル変換ブロックであるウェーブレット変換部１１、１３を設けることにより、１回の処理でデータを大量に圧縮することができるため、処理速度の向上につながる。なお、信号変換回路１０は、適宜構成することが可能であって、例えば、コマンド部２１からウェーブレット変換部１１、１３、１５、１７及び出力選択部１９を指定してもよく、また、出力選択部１９で選択してもよい。また、本実施の形態では、特にウェーブレット変換について説明しているが、これに限らず、各種圧縮処理、変換処理を採用してそれに応じた変換チップを設けるようにしてもよい。
【００３６】
３．画像圧縮例と有効性
図９は、部分選択的な画像圧縮についての説明図（１）である。ここで、部分領域毎に指定された圧縮レベル命令について説明すると、コマンドによりスケーリングデータの出力かウェーブレットデータの出力かを選択し、パラメータにより領域ごとに変換レベルを指定する。コマンドは、例えば、次の通りである。
０：スケーリングデータの出力、
１：ウェーブレットデータの出力
パラメータは、例えば、次の通りである。
１：レベル１データの出力、
２：レベル２データの出力、
３：レベル３データの出力
このようなコマンド「０」又は「１」に対して、例えば、２５６×２５６画素の入力画像を図９（ａ）のように６４ブロックに分割し、各々のブロックにパラメータを割り当てる。図９（ｂ）は、コマンド「０」で、全ての領域でパラメータ「１」とした場合の画像である。
【００３７】
図１０は、部分選択的な画像圧縮についての説明図（２）である。図１０（ａ）は、コマンド「０」で、全ての領域でパラメータ「２」とした場合の画像である。図１０（ｂ）は、コマンド「０」で、全ての領域でパラメータ「３」とした場合の画像である。
【００３８】
図１１は、部分選択的な画像圧縮についての説明図（３）である。図１１（ｂ）は、コマンドを「０」で、パラメータを図１１（ａ）のように割り当てた場合の出力画像の例である。
【００３９】
図１２は、部分選択的な画像圧縮についての説明図（４）である。図１２（ｂ）は、コマンドを「０」で、パラメータを図１２（ａ）のように割り当てた場合の出力画像の例である。
【００４０】
図１３は、部分選択機能の有効性を示す説明図である。具体的には、図９（ａ）のような２５６×２５６画素の画像を入力とした場合の１レベル変換・２レベル変換・３レベル変換と、図１１（ｂ）、図１２（ｂ）で示したような多重解像度による部分選択的な変換を行った場合のデータ量の比較を示す。
レベル３での認識が困難な領域が存在する場合に、画像全体のデータ量をレベル２に上げるとピクセル数は４０９６画素、さらにレベル１にデータ量を上げると１６３８４画素となるため、レベルを１つ下げる毎にデータ量は４倍になってしまい、ソフトウェアにかかる負荷の増加量が大きい。そこで、３−２で示したように多重解像度による部分選択的な変換を行うことで、画像の一部分のデータ量のみをレベル２及びレベル１に上げる事が可能となる。レベル２とレベル３が混在した出力データ数は１１６８画素となり、画像全体をレベル２とした場合に比べて２９２８画素のデータ削減が行える。また、レベル１とレベル３が混在した出力データ数は１７４４画素となり、画像全体をレベル１とした場合と比べると、１４６４０画素のデータ削減が行える事になる。
【００４１】
このように領域ごとに適した画像圧縮を行うことで細かくデータ量を上げることが出来るため、ソフトウェアにかかる負荷の増加量を大幅に軽減出来る。また、入力画像ごとに適した圧縮表現が可能であるために、少量のデータでの特徴抽出が行える。そのため、ソフトウェアによる的確な認識作業が容易に行える。
【００４２】
４．実験例及び比較
４−１．設計例
以下に設計例を示すが、この回路設計例は一例に過ぎず、本発明はこれに限定されない。
まず、回路の仕様について説明すると、８ビットグレイスケール２５６×２５６画素の画像データとコマンド及びパラメータを１ワード３２ビットメモリから読み出し、２レベル変換・１レベル変換の順にウェーブレット変換し、コマンド及びパラメータによる出力データの選択を行い１ワード３２ビットメモリに格納する回路を設計した。なお、パラメータにより変換レベルを指定できる最小ブロックは３２×３２画素とした。コマンド及びパラメータはメモリの０〜４アドレスに格納しておく。出力データは最小ブロックごとに格納する。
【００４３】
つぎに、部分選択変換装置１００とホストコンピュータとのデータ転送について説明する。
図１４は、ホストコンピュータとのデータの転送を行うメモリへのアクセスを示す図である。
ホストコンピュータ１２とのデータの転送を行うメモリ（メモリ１）１４、メモリ（メモリ２）１６へのアクセスを図示のようなメモリ構造で設計した。ここでは、メモリ１とメモリ２の２つを用いて、コマンド・元画像データの部分選択変換装置１００への転送をメモリ１で、部分選択変換装置１００からの変換データの受け渡しをメモリ２でそれぞれ行えるように設計した。また、メモリは全て５２４，２８８ワード×３２ビットＳＲＡＭを使用する事を想定して設計した。
【００４４】
図１５は、メモリアクセスのタイミングチャートを示す図である。なお、このタイミングチャートは、上述のように２つのメモリにアクセスする場合を示している。
具体的には、ｒｅａｄ（ｗｒｉｔｅ）がＨＩＧＨの時、ｒｅａｄ＿ａｄｄｒ（ｗｒｉｔｅ＿ａｄｄｒ）をｍｅｍ＿ａｄｄｒ＿ｒｄ（ｍｅｍ＿ａｄｄｒ＿ｗｒ）として出力する。ｍｅｍ＿ｒｄがＬＯＷの時、メモリ１のｍｅｍ＿ａｄｄｒ＿ｒｄの領域からｒｅａｄ＿ｄａｔａを読み出す。また、ｍｅｍ＿ｗｒがＬＯＷの時、メモリ２のｍｅｍ＿ａｄｄｒ＿ｗｒの領域へｗｒｉｔｅ＿ｄａｔａを書き込む。また、メモリを２つに分割する事でデータの読み出しと書き込みが同時に行えるため、ｒｅａｄの立ち上がりから次のｒｅａｄの立ち上がりまでのクロック数を６サイクルとして設計した。なお、処理に要するクロック数は、１０２４４２ｃｙｃｌｅｓ／画面となった。一方、入力データ・出力データを全て１メモリアクセスで行うと、データの読み出しと書き込みが同時に行えないために、処理に要するクロック数は、２５３９４３ｃｙｃｌｅｓ／画面となってしまう。したがって、上述のように２メモリアクセスで設計することで約２．５倍のスピードでデータのアクセスが行える。
【００４５】
図１６は、論理合成を行った場合の回路規模・動作速度及びＨＤＬ記述量を示す図である。
以上のような構造で設計したウェーブレット変換チップ１０の論理合成を、ザイリンクス社製の論理合成ソフトＦＯＵＮＤＡＴＩＯＮ Ｖｅｒ．３．３ｉを用いて行った。なお、ここでは、ＦＰＧＡ「ｓｐａｒｔａｎII２ｓ１５０−５ＦＧ４５６」を選択して論理合成を行った場合の回路規模・動作速度及びＨＤＬ記述量を示した。
【００４６】
４−２．ソフトウェアとの比較
２５６×２５６画素の画像においてウェーブレット変換を行うソフトウェアを比較のために作成した。ソフトウェアでのウェーブレット変換は標準的な２次元２ウェーブレット変換であり、１次元１ウェーブレット変換でＸ方向とＹ方向の変換を行うものである。また、ウェーブレット変換部分は、２重ｆｏｒループ６つ、約７０行で構成されている。なお、９６×９６画素を１２×１２画素と変換するのに２．０ｍｓ、２５６×２５６画素を３２×３２画素では１８ｍｓ、５１２×５１２画素を６４×６４画素では７６ｍｓとなる。
【００４７】
また、２５６×２５６画素においてウェーブレット変換チップと同様に部分選択的な変換を行うために、３２×３２画素を１ブロックとして、６４ブロック読み込むと４０ｍｓとなる（ここでは、６００ＭＨｚＣＰＵ＋１２８ｋキャッシュ）。ウェーブレット変換チップ１０は、図１６で示した通り１．９２ｍｓで動作するので、変換部分においては２０倍のスピードで動作することがわかる。
【００４８】
４−３．データ転送における部分選択機能の有効性
図１７は、データ転送を含んだ処理時間を示す図である。
ところで、部分選択変換装置１００による変換が高速であっても、認識処理プログラムは、ホストコンピュータ１２上で実行されるために、部分選択変換装置１００とホストコンピュータ１２とのデータ転送速度を考慮する必要がある。そこで、データ転送時間を測定するために、市販のＦＰＧＡを搭載したＰＣＩボード（ＦＰＧＡ「ｓｐａｒｔａｎII２ｓ１５０−５ＦＧ４５６」）を使用し、３３ＭＨｚのＰＣＩバスで測定した結果、データ転送速度は１１２ｎｓ（ｒｅａｄ）／ｂｙｔｅ、８６ｎｓ（ｗｒｉｔｅ）／ｂｙｔｅであった。
【００４９】
そこで、コマンド及びパラメータを２０ｂｙｔｅ（コマンド：４ｂｙｔｅ、パラメータ：１６ｂｙｔｅ）とし、２５６×２５６画素を３レベル変換した場合のデータ転送時間は８６×（（２５６×２５６）＋２０）＋１１２×（３２×３２）＝５．７５ｍｓとなる。これとウェーブレット変換チップの変換時間を足して処理時間は１．９２＋５．７５＝７．６７ｍｓとなる。図１７には、図１３のように変換した場合のデータ転送時間を含んだ処理速度を示している。例えば、レベル３からレベル１に解像度を上げると１．７２ｍｓの処理時間が増加してしまうのに対し、レベル１とレベル３が混載したデータにすることにより、０．０９ｍｓだけの増加量に抑えることができる。
【００５０】
このように、部分選択変換装置１００自体の処理時間は少ないが、解像度が上がるとデータ量が増えるために、データ転送時間が大きくなる。したがって、部分選択的に解像度を上げることで部分的なデータ量の増加でとどめ、全体のデータ量を大きく減らせる。その結果、データ転送時間の増加を極力抑えることが可能となる。
【００５１】
４−４．ウェーブレット変換チップの評価
図１８は、２０４８×２０４８、２５６×２５６画素の画像の領域指定を示す図である。
まず、具体例として、２０４８×２０４８画素の入力画像を場合では、４チップを並列動作させる事で全ての領域においてレベル３まで圧縮し、画素数を２５６×２５６画素にする。これに要する時間は２×４×４＝３２ｍｓである。さらに、この出力データを次段の１チップにフォワード入力することで３２×３２画素までデータを圧縮することができる（２ｍｓ）。ここまでに要する時間は３２＋２＝３４ｍｓである。この圧縮率の高い画像において図１８（ａ）のように元画像に対して２５６×２５６画素の重要性の高い４領域をソフトウェアが抽出する（Ｘｍｓ）。
【００５２】
次に、ここで抽出した４領域を並列動作させている４チップが読み込み、レベル３のデータを出力する（２ｍｓ）。このデータの中から図１８（ｂ）のようにさらに元画像に対して３２×３２画素の重要性の高いいくつかの領域をソフトウェアが抽出し、コマンド及びパラメータを入力する（Ｘｍｓ）。
【００５３】
最後に、指定された領域をレベル２またはレベル１として出力する（２ｍｓ）。そのデータにより認識作業を行う（Ｘｍｓ）。ここまでに要する時間はＸ＋２＋Ｘ＋２＋Ｘ＝（４＋３Ｘ）ｍｓである。全ての処理でかかった時間は、データ転送の時間を除くと３４＋（４＋３Ｘ）＝（３８＋３Ｘ）ｍｓである。入力データの転送時間は８６×（２０４８×２０４８）＝３６０．７１ｍｓである。
【００５４】
このようなデータ量の多い画像をソフトウェアにより扱う場合には、処理速度は非常に遅くなってしまう。そこで、ここで示したようにチップによる並列処理を行うことで処理速度を飛躍的に向上することができる。
【００５５】
５．出力データの応用
つぎに、部分選択変換装置１００から出力されたデータの使用方法を示す。一般的に画像の中には木・自動車・人物などのいくつかの対象物が存在している。それらの対象物を解像度の低い画像データの中から抽出する。さらに、部分的に解像度を上げることができるので、それらの対象物の解像度を少し上げて、その中から人物のみを抽出する。人物であることが認識できれば、目・鼻・口などの領域の解像度をさらに上げ、それ以外の領域を高圧縮のままにして再度出力することで個人の特定が可能である。このようにして、画像の解析を順次行っていくことで少ないデータ量で高い精度の認識が行える。また、周辺のデータを高圧縮データとして出力しておくことにより、動画像における周辺の監視が常時行える。
【００５６】
また、本実施の形態では、画像認識システムの前処理をＨａａｒ離散ウェーブレット変換を使用し、ハードウェアで行うことの設計方法と有効性について述べた。２５６×２５６画素の入力画像において、ソフトウェアに比べて約２０倍のスピードで動作するという性能比が得られた。今後、ＡＳＩＣ化することによる動作速度の向上、データ転送速度の向上ならびに、このチップに特化した認識アルゴリズムの開発によりさらなる高速化が期待できる。
【００５７】
このように、本実施の形態における部分選択変換装置１００によれば、解析に不要な部分の領域は高圧縮されて、情報量が減り、詳細な解析が必要な部分は低圧縮されて、信号に含まれる情報が保存される。従って、後段での信号処理解析装置３０へ送る情報量が大幅に減るため、信号や信号に含まれる情報の解析が容易である。また、同時に、情報量が減ったために高速な処理が可能になり、実時間画像認識や音声認識が可能となる。さらに、信号変換回路１０により実時間での圧縮が可能であり、高速で動く被写体を注視し、その部分だけを切り出して動くものが何かを判定する事が可能になる。
【００５８】
また、部分選択変換装置１００では、逐次的に部分領域毎に圧縮レベルを変更する事が可能なため、解析結果により、再変換を行い詳細かつ複雑な解析アルゴリズムを作る事が可能である。具体的には、まず、人全体の領域を選別して圧縮レベルを下げて、再入力し、人の顔領域をさらに選別し、顔部分の領域の圧縮レベルをさらに下げて人物を特定するなどのアルゴリズムが可能になる。なお、このアルゴリズムでは何度も圧縮操作を続けるが、これを従来のソフトウェアだけで行うと圧縮処理に多くの時間が必要になり非現実的な計算時間がかかる。しかしながら、ウェーブレット変換チップを備えた信号変換回路１０を使用すれば、全体の処理時間の増加は無視できる程度である。このように、部分選択変換装置１００では、従来では考えられなかったアルゴリズムが容易に実現できるものとなる。なお、上述の部分選択変換装置１００では、ウェーブレット変換を用いて画像処理を行ったが、これに限られず、例えば、短時間フーリエ変換等のその他の変換処理を用いて画像処理を行ってもよい。
【００５９】
【発明の効果】
本発明によると、以上説明した通り、情報量の削減と信号処理の高精密度化とを同時に達成することができる。また、本発明によると、画像認識、画像処理等の高度な処理を実時間で高速に処理できる。
【図面の簡単な説明】
【図１】Ｈａａｒ−Ｗａｖｅｌｅｔ変換による平滑化とエッジ抽出の説明図。
【図２】多重解像度についての説明図。
【図３】シミュレーション結果を示す図（１）。
【図４】シミュレーション結果を示す図（２）。
【図５】本実施の形態に関する部分選択変換装置の構成図。
【図６】部分選択変換装置１００の動作の説明図。
【図７】部分選択変換装置１００の動作についてのフローチャート。
【図８】信号変換回路１０の構成図。
【図９】部分選択的な画像圧縮についての説明図（１）。
【図１０】部分選択的な画像圧縮についての説明図（２）。
【図１１】部分選択的な画像圧縮についての説明図（３）。
【図１２】部分選択的な画像圧縮についての説明図（４）。
【図１３】部分選択機能の有効性を示す説明図。
【図１４】ホストコンピュータとのデータの転送を行うメモリへのアクセスを示す図。
【図１５】メモリアクセスのタイミングチャートを示す図。
【図１６】論理合成を行った場合の回路規模・動作速度及びＨＤＬ記述量を示す図。
【図１７】データ転送を含んだ処理時間を示す図。
【図１８】２０４８×２０４８、２５６×２５６画素の画像の領域指定を示す図。
【符号の説明】
１０ 信号変換回路
１１、１３、１５、１７ ウェーブレット変換部
１９ 出力選択部
２０ 入力処理回路
２１ コマンド部
２３ データセット部
３０ 信号処理解析装置
４０ 判定回路
１００ 部分選択変換装置
【発明の属する技術分野】
本発明は、部分選択変換装置、部分選択変換方法及び部分選択変換プログラムに係り、特に、画像認識の前処理手法のひとつであるウェーブレット変換等の変換による信号処理及び解析を行う部分選択変換装置、部分選択変換方法及び部分選択変換プログラムに関する。さらに、本発明は、画像認識が２次元の信号処理であるのと同様に、１次元の信号処理である音声認識にも関する。
【０００２】
【従来の技術】
ウェーブレット理論に基づく信号処理技術は、短時間フーリエ変換とマッチド・フィルター技術とが融合して発展したものであり、数学的な変換式が定義され多くの利用分野で使用されている。実現の仕方はプログラムにより変換式を記述し、ＤＳＰ（digital signal processor）やマイクロ・プロセッサで実行する方法がもっとも安易である。従来の信号処理は、全画面領域や信号領域を一括して圧縮し、かつ、一括して伸張するものであり、信号伝播の負荷を減らす目的で利用されていた。しかし、これらの方式では、特徴抽出を行い即座に判断処理などの高度な信号処理と制御を組み合わせた複雑な処理を実時間で行うには不十分である場合が想定される。
【０００３】
また、ウェーブレット変換をプロセッサやＤＳＰ上のプログラムにより実行する方法では、命令を逐次的に実行することでウェーブレット変換を実現していた。このため、処理時間が膨大にかかるために実時間での処理が困難である場合が想定される。また、特定の変換だけにではなく、変換した信号を用いて複雑な信号処理も同時に行うため、プロセッサに大きな負荷がかかっていた。
【０００４】
【発明が解決しようとする課題】
一般に、画像認識、画像処理等の信号処理などでは、情報量が多いと処理の負担が多くなり実時間での精密な信号処理が困難である場合が想定される。他方、信号圧縮すれば、画像認識等の信号処理時の負担が軽減されるが、反面、情報量が減るために不十分な信号処理しか出来なくなる場合が想定される。
ソフトウェアによる様々な画像認識システムでは、coarse-to-fineテンプレート・マッチングにより、場所決めをコーステンプレートで行う方法が一般的である(Mohammad Gharavi-Alkhansari，”A Fast Globally Optimal Al-gorithm for Template Maching Using Low-Resolution Pruning，”in IEEE TRANSACTIONS ON IMAGE PROCESSING，Vol．10，No．4，April，2001．)（高野茂，新島耕一，“Haarウェーブレットを用いた高速カラー画像検索システム，”九州大学大学院システム情報科学研究科報告，Vol2，No2，pp．229-234，September 1997．）。しかしながら、この方法では、コーステンプレートで得た場所がファインテンプレートで得られる場所と必ずしも一致しない場合が想定される。そのため、順次精度を上げていく必要があり、計算量が大きくなる。
【０００５】
また、不要な対象を精度を高めていく途中で削除する方法も提案されている(Mohammad Gharavi-Alkhansari,"A Fast Globally Optimal Al-gorithm for Template Maching Using Low-Resolution Pruning," in IEEE TRANSACTIONS ON IMAGE PROCESSING, Vol.10, No.4, April, 2001.)。しかしながら、この方法では、マッチングの計算量が２４〜１２００倍も減らすことが出来るが、データ圧縮のオーバーヘッドがあると報告されている。
【０００６】
さらに、画像認識の前処理方法としては、フーリエ変換、離散コサイン変換、ウェーブレット変換などの各種変換処理が挙げられる。ウェーブレット変換を使って画像データマイニングを行うソフトウェアでは、全てのデータをウェーブレット係数とし、大きい順に上位６０個の係数を比較する事で、良好な結果を得たと報告されている（Charles E. Jacobs, Adam Finkelstein, David H. Salesin, "Fast Multiresolution Image Querying," in Proceedings of SIGGRA-PH 95, August, 1995.）。しかしながら、この方法では、ウェーブレット変換を使用するため計算量が多くなってしまう。
【０００７】
本発明の目的のひとつは、以上の点に鑑み、情報量の削減と信号処理の高精密度化とを同時に達成する部分選択変換装置、部分選択変換方法及び部分選択変換プログラムを提供することにある。また、本発明の他の目的は、画像認識、画像処理、音声認識、音声処理等の高度な処理を実時間で高速に処理できる部分選択変換装置、部分選択変換方法及び部分選択変換プログラムを提供することにある。
【０００８】
【課題を解決するための手段】
ここで、本発明に関連する技術について説明する。また、本発明に関する説明は画像認識を例にして説明するが、時間軸に沿った１次元データである音声認識に対しても同様の説明であるので省略する。
本発明では、主に圧縮・伸張を行うのが目的であった従来型のウェーブレット変換チップを、入力画像の部分選択的な圧縮を行い画像認識システムの前処理に使用することにした。このウェーブレット変換チップにより大量のデータ圧縮を行い、認識ソフトにより複雑なデータ解析を行う。この際、どのような入力画像に対しても同様の圧縮を行う手法では、それぞれの画像の特徴を抽出するのに負荷が大きくなる。そこで、１つの入力画像に対して多段階でウェーブレット変換を行い、領域ごとに圧縮レベルを変えて、個々の領域に適したデータを出力することで、認識ソフトにおける適切な特徴抽出と負荷の軽減を同時に行う。また、このウェーブレット変換チップを画像認識システムに組み込むことで、ハ−ドウェアの高速性とソフトウェアの柔軟性とを兼ね備え、負荷分散と同時に機能を分散したソフトウェア及びハードウェア混載画像認識システムの実現を可能とした。
【０００９】
また、本発明では、信号圧縮を専用の回路で行う上で、不要な領域は大きく圧縮し、解析が必要な部分領域は圧縮を制限することにより、信号解析を行うデータ量を圧縮すると同時に信号の劣化を防止し、さらに、画像認識等の高度な処理を実時間で高速に処理できるようにした。
【００１０】
本発明の第１の解決手段によると、
部分領域毎に指定された圧縮レベルに変換するための変換命令に従い、解析対象領域の入力信号を部分領域毎に圧縮して圧縮信号を生成する信号変換部と、
前記信号変換部から圧縮信号を入力し、前記信号変換部に該変換命令を与えるための信号処理解析部と
を備え、
前記信号変換部は、前記信号処理解析部からの変換命令に従い、入力された全領域又は所定領域の信号を最大限又は予め定められた第１の圧縮レベルに圧縮し、対象領域の部分領域毎の第１の圧縮信号を前記信号処理解析部に出力し、
前記信号処理解析部は、前記信号変換部からの部分領域毎の第１の圧縮信号に基づき、第１の圧縮レベルと異なる第２の圧縮レベルで圧縮すべき再変換の対象となる再変換部分領域及び第２の圧縮レベルを求め、再変換命令を出力し、
前記信号変換部は、前記信号処理解析部からの再変換命令に従い、指定された再変換部分領域を第２の圧縮レベルで再変換して、第２の圧縮信号を出力することにより、
それぞれ所望の第１又は第２の圧縮レベルで圧縮された部分領域の第１又は第２の圧縮信号を含む対象領域の圧縮信号を出力するようにした部分選択変換装置を提供する。
【００１１】
本発明の第２の解決手段によると、
部分領域毎に指定された圧縮レベルに変換するための変換命令に従い、解析対象領域の入力信号を部分領域毎に圧縮して圧縮信号を生成する信号変換部を用いた部分選択変換方法であって、
前記信号変換部に変換命令を与えるステップと、
前記信号変換部により、該変換命令に従い、入力された全領域又は所定領域の信号を最大限又は予め定められた第１の圧縮レベルに圧縮された、対象領域の部分領域毎の第１の圧縮信号を入力するステップと、
前記信号変換部からの部分領域毎の第１の圧縮信号に基づき、第１の圧縮レベルと異なる第２の圧縮レベルで圧縮すべき再変換の対象となる再変換部分領域及びその第２の圧縮レベルを求め、再変換命令を出力するステップと、
前記信号変換部により、該再変換命令に従い、指定された再変換部分領域を第２の圧縮レベルで再変換された第２の圧縮信号を入力するステップと、
所望の第１又は第２の圧縮レベルでそれぞれ圧縮された部分領域の第１又は第２の圧縮信号を含む対象領域の圧縮信号を出力するステップと
を含む部分選択変換方法及びプログラムを提供する。
【００１２】
本発明の特徴のひとつとしては、画像圧縮等の信号圧縮を行う部分と、画像認識等の信号処理・解析を行う部分とを繋ぎ、画像認識等の信号処理・解析部分の処理結果を信号圧縮部分に命令やパラメータなどにして戻して部分領域と圧縮レベルを指定する事で、情報量の削減と信号処理の精密度とを同時に達成することができる。
【００１３】
本発明の他の特徴としては、例えば、画像認識システムの前処理での画像圧縮として、Ｈａａｒ関数による離散Ｗａｖｅｌｅｔ変換チップを備え、さらに、テンプレート・マッチングのソフトウェアにより領域と圧縮率の程度を指定することで、部分領域毎に異なる圧縮率を持った画像を得ることができる。この変換チップにより大量のデータ圧縮を行い、認識ソフトによるデータ処理量を削減することで、特徴抽出の計算量が減少し、認識作業が容易となる。また、ここでは画像認識システムについてのみ説明したが、音声認識システムに於いても同様である。
【００１４】
【発明の実施の形態】
１．概要
まず、Ｈａａｒのウェーブレット変換を用いた画像処理手法についての概要を説明する。本実施の形態では、Ｈａａｒ関数を用いた離散ウェーブレット変換を使用してハードウェアによる多重解像度での圧縮処理を行う。Ｈａａｒのスケーリング関数ΦＨ（ｘ）とＨａａｒのウェーブレット関数ΨＨ（ｘ）は次式（１）（２）のように定義される（ｘは、座標値）。
図１は、Ｈａａｒ−Ｗａｖｅｌｅｔ変換による平滑化とエッジ抽出の説明図である。
ここで、二つの変換されたイメージは、異なる画像成分を取り出して得ることが出来る。平滑化によるスケーリングイメージは、空間周波数の低周波成分、すなわち、２次元画像の上下左右方向に隣り合った領域での画像変化が少ない画像成分を優先的に取り出すフィルター（これをローパス・フィルターという）より得られる。反対に、エッジ抽出によるウェーブレットイメージは、画像の変化が大きい図形成分を優先的に取り出すフィルター（これをハイパス・フィルターという）より得られる。例えば、スケーリング関数ΦＨ（ｘ）をローパス・フィルター、ウェーブレット関数ΨＨ（ｘ）をハイパス・フィルターとして入力画像（オリジナルイメージ）の水平方向・垂直方向の順に１次元変換を行うことで、圧縮された平滑化画像（スケーリングイメージ）とエッジ抽出画像（ウェーブレットイメージ）が得られる。この例では、図示のように１／４に圧縮されている。
【００１６】
図２は、多重解像度についての説明図である。
ここでは、一例として、ウェーブレット変換を１回行うことを１レベル変換とし、ここで得られる元画像を１／４に圧縮したスケーリングイメージとウェーブレットイメージをレベル１とする。レベル１のスケーリングイメージをさらに１レベル変換することで、元画像を１／１６に圧縮したレベル２のスケーリングイメージとウェーブレットイメージが得られる。レベル２のスケーリングイメージをさらに１レベル変換することで、元画像を１／６４に圧縮したレベル３のスケーリングイメージとウェーブレットイメージが得られる。このように、ウェーブレット変換してできた低周波成分をさらに変換するという作業（多重解像度）を繰り返すことにより、様々な圧縮レベルのデータを得ることができる。
【００１７】
つぎに、入力画像（オリジナルイメージ）に対するシミュレーション結果を示す。
図３は、シミュレーション結果を示す図（１）である。なお、このシミュレーションは、図３（ａ）に示す入力画像（元画像）に対する本実施の形態における部分選択変換装置の動作を確認するためのものである。ここでは、ソフトウェアから出力された画像データにコマンド及びパラメータを付加し、入力とした（コマンド及びパラメータについては後述する）。また、出力されたデータを、わかりやすいようにソフトウェアにより画素の大きさを変えて表示させた。ここで、図３（ｃ）に示す画像は、コマンドによりスケーリングイメージを指定し、パラメータにより各部分領域の圧縮レベルを図３（ｂ）のように割り当てた場合の出力画像である。
【００１８】
図４は、シミュレーション結果を示す図（２）である。なお、図３と同様に、このシミュレーションは、図４（ａ）に示す入力画像（元画像）に対する本実施の形態における部分選択変換装置の動作を確認するものである。
【００１９】
２．ハードウェア及びソフトウェア
図５は、本実施の形態に関する部分選択変換装置の構成図である。
部分選択変換装置１００は、例えば、信号変換回路１０と、信号処理解析装置３０とを備える。信号変換回路１０は、入力処理回路２０、ウェーブレット変換チップ５０を備える。信号処理解析装置３０は、判定回路４０を備える。なお、信号処理解析装置３０は、後述するテンプレートを記憶した記憶部を含む。
【００２０】
図６は、部分選択変換装置１００の動作の説明図である。なお、ここでは、信号変換回路１０と信号処理解析装置３０との間の動作を概略的に説明するため、特に、信号変換回路１０に含まれるウェーブレット変換チップ５０と、判定回路４０の機能のひとつであるテンプレート・マッチングとを示す。
【００２１】
信号変換回路１０は、部分選択変換装置（画像認識システム）１００上で使用する。まず、信号変換回路１０は、解析対象となる全ての入力データ（▲１▼）に対して圧縮処理を行う。次に、信号処理解析装置３０の判定回路４０は、信号変換回路１０より出力された圧縮率の高いデータ（▲２▼）に対して、テンプレート・マッチング、マニュアルによる指定等により重要性の高い領域又は圧縮率を低くすべき領域の抽出を行う。さらに、信号処理解析装置３０は、領域の抽出結果をコマンド（▲３▼）として信号変換回路１０に出力する。さらに、信号変換回路１０は、再度読み込んだ画像データに対し、信号処理解析装置３０で抽出された領域について、コマンド（▲３▼）により、部分的に圧縮率の低いデータ（▲４▼）を出力する。最後に、信号処理解析装置３０は、出力されたデータ（▲４▼）を用いてテンプレート・マッチングによる認識作業を行い、所望の抽出された領域が所望の圧縮率となっていると認識すると、その結果（▲５▼）を出力する。なお、判定回路４０はウェーブレット変換チップ５０により出力されたデータ（▲４▼）をそのまま出力してもよいし、出力データ（▲４▼）をウェーブレット変換チップ５０から直接出力するようにしてもよい。
【００２２】
図７は、部分選択変換装置１００の動作についてのフローチャートである。
まず、信号変換回路１０に解析対象となる全領域の画像についての入力信号列が入力される（Ｓ１０１）。なお、入力信号列は、適宜のメモリに記憶され、そこから読み出すようにしてもよいし、ＣＣＤカメラ等の入力装置から処理の際に入力されるようにしてもよい。信号変換回路１０は、全領域又は所定領域の信号を最大限又は予め定められたレベルに圧縮する（Ｓ１０２）。入力処理回路２０は、解析対象の全領域を部分領域毎の処理に分け、部分領域の位置を識別する部分領域信号とその入力信号の変換出力とを部分領域毎に信号処理解析装置３０に出力する。信号処理解析装置３０は、重要性の高い又は圧縮率を低くすべき解析対象領域の切り出しを行う（Ｓ１０３）。すなわち、信号処理解析装置３０は、判定回路４０により部分領域毎に変換された変換出力を解析し、詳細な画像を再入力させる部分領域を選別する。ここで、部分領域を選別するための手段は、判定回路４０が自動的に選別する方法と、操作者がマニュアルで適宜の入力装置により指定する方法等がある。前者の方法では、解析手法により異なるが、たとえば、記憶してあるテンプレートなどの記憶情報との一致度を計算して順序つける手段、部分領域の全ウェーブレット係数の絶対値の和により部分領域を順序つける手段等がある。また、後者による方法は、例えば、操作者がディスプレイを見ながら図示されない適宜の入力装置（キーボード、ポインティングデバイス等）により、所定の領域を指定するようにすればよい。なお、これらの選別の手段は処理の負担度に応じて適時選択すればよい。
【００２３】
信号処理解析装置３０は、判定回路４０又は入力装置からの指令による抽出（選択）結果に基づき、各部分領域に対して再度、圧縮レベルを指定する。このとき、信号処理解析装置３０は、全部分領域に対して再度圧縮レベルを指定してもよいし、抽出された部分領域のみに再度圧縮レベルを決定してもよい（Ｓ１０５）。信号変換回路１０は、ステップＳ１０５で決定された圧縮レベルと部分領域の位置に応じて、再変換が必要な領域を再変換する（Ｓ１０７）。その際、信号処理解析装置３０は、再変換を必要としない部分領域の圧縮データを適宜の記憶部に保持するようにしてもよい。なお、信号処理解析装置３０は、全領域について各圧縮レベルに従い再変換してもよい。信号変換回路１０は、入力信号列を再度メモリから読み出し又は入力装置から入力して、それを再変換して、信号処理解析装置３０に再度送出する。こうして、詳細な画像領域に指定された部分領域は前より圧縮レベルが下がり、元入力に近い画像が求められる。信号処理解析装置３０は、領域毎に異なる又は所望の変換レベル（圧縮レベル）を持った部分領域からなる解析対象となる全領域の出力データを全画像領域の圧縮・変換結果として出力する（Ｓ１０９）。
【００２４】
以下に判定回路４０について説明する。判定回路４０は、信号処理解析装置３０の中に、一つの機能ブロックとしてあり、解析結果に基づいて命令を発生させる。
まず、テンプレートによる部分領域の選別について説明する。テンプレートによる場合、判定回路４０は、例えば、比較回路や一致回路を有し、所望の画像に関する信号値をベクトル化してテンプレートとして予め記憶部に記憶して用意しておく。例えば、顔に関しては、目、鼻等の圧縮率を低くする（重要性の高い）領域として定めた場合、その画像と所望レベルを表すテンプレートを所定数予め用意して記憶部に記憶する。すなわち、同一の対象、例えば、顔に関しても、異なる圧縮レベルに対応した顔テンプレートを作り用意しておく。例えば、ブロック形状の画像領域として顔画像をテンプレートとして用意する。
【００２５】
判定回路４０では、記憶部からテンプレートを読み出し、マッチングをとることで、領域の抽出を行うことができる。さらに、詳しくは、判定回路４０は、例えば、２次元の画像ブロックでは、画素が２次元に並んでおり、その画素を一次元に並べてベクトル化する。ベクトル化する前に、２次元の画像ブロックをいくつかの圧縮レベルにまで圧縮しておく。すると、圧縮する毎に隣り合った画素の平均がとられ、画像が荒くなり、異なる粗さのテンプレートが得られる。また、部分領域毎に信号解析が不要か必要かは、判定回路４０の適宜のデータベースに記憶されたテンプレートと部分領域の信号と一致するかどうかを計算することで、判定する。そのために、部分領域の信号もベクトル化する。この一致するかどうかの計算は、例えば、１）二つのベクトルの内積を取る。２）ベクトルの差をとる。３）ベクトルの成分を１、０に量子化してからＥＸＯＲ（排他的論理和）をとる、等がある。
【００２６】
また、判定回路４０は、次のように圧縮レベルを求めることができる。圧縮レベルを求めるには、異なる圧縮レベルのテンプレートと比較して、どのテンプレートのどの圧縮レベルと最も一致するかを計算をして検出し、所望の圧縮レベル（パラメータ）を得る。判定回路４０は、部分領域毎にパラメータで定めた圧縮レベルについての命令を信号変換回路１０に出力する。
【００２７】
つぎに、部分領域の全ウェーブレット係数の絶対値の和により部分領域を順序つける手段について説明する。
まず、入力画像Ｉ（X，Y）を、上述の数式（１）（２）で定義されたＨａａｒのスケーリング関数ΦＨ（ｘ）とＨａａｒのウェーブレット関数ΨＨ（ｘ）とで展開すると、
Ｉ（X，Y）＝Σｘ，ｙ｛ＷΦ Ｘ，ＹΦＨ（X）ΦＨ（Y）＋ＷΨ Ｘ，ＹΨＨ（X）ΨＨ（Y）｝
となる。このＷΦ Ｘ，Ｙ、ＷΨ Ｘ，Ｙをスケーリング係数、ウェーブレット係数と言う。ここで、あるレベルＬ−１のΦＨ Ｌ−１（ｘ）とΨＨ Ｌ−１（ｘ）とに関して、次式によりレベル変換（圧縮操作）を行う。
ΦＬ（XＭ）＝１／２（ΦＬ−１（XＭ−１）＋ΦＬ−１（XＭ＋１）） （３）
ΨＬ（XＭ）＝１／２（ΨＬ−１（XＭ−１）−ΨＬ−１（XＭ＋１）） （４）
【００２８】
すると、次式のように、ＷΦ Ｘ，Ｙ、ＷΨ Ｘ，Ｙにも同様な変換が得られ、ＷΦ Ｘ，Ｙ Ｌ、ＷΨ Ｘ，Ｙ Ｌとなる。この係数は座標（X，Y）の各画素毎に定まる。
ＷΦ Ｘ，Ｙ Ｌ（ＸＭ）＝１／２（ＷΦ Ｘ，Ｙ Ｌ−１（ＸＭ−１）＋ＷΦ Ｘ，Ｙ Ｌ−１（ＸＭ＋１）） （５）
ＷΨ Ｘ，Ｙ Ｌ（ＸＭ）＝１／２（ＷΦ Ｘ，Ｙ Ｌ−１（ＸＭ−１）−ＷΦ Ｘ，Ｙ Ｌ−１（ＸＭ＋１）） （６）
【００２９】
入力画像Ｉと同様にテンプレートに対しても事前に展開を行う。例えば、顔画像テンプレートＴＦでは、顔画像が含まれているブロック形状の画像領域ＩＦ中をレベルＬのＨａａｒのスケーリング関数ΦＨ L（ｘ）とＨａａｒのウェーブレット関数ΨＨ L（ｘ）とで展開しその展開係数ＷΦ Ｘ，Ｙ、ＷΨ Ｘ，Ｙを求める。一致処理を高速化する場合には、この係数を係数値順に並べて、値、あるいは、絶対値の大きい順に必要な数だけ取り出して、テンプレートベクトルＷ（ＩＦ）を作成する。
【００３０】
つぎに、部分領域Ｉ内の全画素に対してこの係数の絶対値を求めて和をとり、部分領域の和Ｗ（Ｉ）とする。Ｗ（Ｉ）を大きい順に並べて、テンプレートと比較するのに意味がある比較候補として部分領域Ｉｋを選択する。こうすることで、画像の空間変化が少ない背景に関係する部分領域ＩＨは取り除くことが出来る。Ｗ（Ｉｋ）が大きい領域はどれかのテンプレートとマッチングする可能性が大きいので、全テンプレートとの一致計算を行う。
【００３１】
一致計算としてベクトルの内積を使用する場合には、一致度Ｄは、
Ｄ（Ｗ（Ｉｋ），Ｗ（ＩＦ））＝ΣＷｉ（Ｉｋ）Ｗｉ（ＩＦ）
で与えられる。この一致計算結果の値Ｄに従ってテンプレートを並べる。これにより、該当するテンプレートを求めることができる。
【００３２】
図８は、信号変換回路１０の構成図である。
信号変換回路１０は、例えば、入力処理回路２０とウェーブレット変換チップ５０と出力選択部１９を備える。ウェーブレット変換チップ５０は、水平方向の２レベル変換を行うウェーブレット変換部（ＷＴ Ｒｏｗ Ｌ２）１１と、垂直方向の２レベル変換を行うウェーブレット変換部（ＷＴ Ｃｏｌｕｍｎ Ｌ２）１３と、水平方向の１レベル変換を行うウェーブレット変換部（ＷＴ Ｒｏｗ Ｌ１）１５と、垂直方向の１レベル変換を行うウェーブレット変換部（ＷＴ Ｃｏｌｕｍｎ Ｌ１）１７とを備える。ウェーブレット変換部１１、１３、１５、１７は、逐次的に圧縮が可能である。なお、ウェーブレット変換部１１、１３、１５、１７は、加算器と減算器を含み、上式（３）〜（６）により逐次的にスケーリングを行うことができる。
【００３３】
また、入力処理回路２０は、例えば、コマンド部２１と、データセット部２３とを備える。この入力処理回路２０のコマンド部２１は、信号処理解析装置３０から入力された命令（部分領域信号と、その部分領域に対応するコマンド及びパラメータ）コマンド及びパラメータのデコードを行い、データセット部２３及び出力選択部１９に指示を出力する。コマンド部２１の出力信号により、例えば、全解析対象領域中の各部分領域を指定し、各領域毎に変換の種類（スケーリングデータ又はウェーブレットデータ等）と、変換の度合いである圧縮レベル（レベル１、２、３等）とが指定される。データセット部２３は、例えば、データセット部２３への入力データ（オリジナルデータ）もしくは出力選択部１９よりフィードバックしてきたデータを、コマンド部２１からの部分領域信号、コマンド及びパラメータ等の指示に従い、それぞれのウェーブレット変換部１１、１３、１５、１７に転送する。データセット部２３は、例えば、出力選択部１９により戻された圧縮データをコマンド部２１より出力されたコマンドに従い所定の圧縮レベルまで圧縮するために、この圧縮データを適切なウェーブレット変換部１１、１３、１５、１７に再度出力することができる。
【００３４】
出力選択部１９は、例えば、コマンド及びパラメータによる領域ごとに、ウェーブレット変換部１１、１３、１５、１７でそれぞれ変換された圧縮データの中からいずれかを出力データとして選択し、また、必要に応じてそれをさらに圧縮・変換するためにデータセット部２３に戻す。こうして、出力選択部１９は、全てのウェーブレット変換結果のデータを、コマンド部２１からの指示により、部分領域ごとにスケーリングデータ又はウェーブレットデータを選択的に出力し、また、領域ごとに異なる圧縮率のデータを出力することが可能となる。
【００３５】
また、ウェーブレット変換部１１、１３、１５、１７において、１レベル変換ブロックであるウェーブレット変換部１５、１７の他に２レベル変換ブロックであるウェーブレット変換部１１、１３を設けることにより、１回の処理でデータを大量に圧縮することができるため、処理速度の向上につながる。なお、信号変換回路１０は、適宜構成することが可能であって、例えば、コマンド部２１からウェーブレット変換部１１、１３、１５、１７及び出力選択部１９を指定してもよく、また、出力選択部１９で選択してもよい。また、本実施の形態では、特にウェーブレット変換について説明しているが、これに限らず、各種圧縮処理、変換処理を採用してそれに応じた変換チップを設けるようにしてもよい。
【００３６】
３．画像圧縮例と有効性
図９は、部分選択的な画像圧縮についての説明図（１）である。ここで、部分領域毎に指定された圧縮レベル命令について説明すると、コマンドによりスケーリングデータの出力かウェーブレットデータの出力かを選択し、パラメータにより領域ごとに変換レベルを指定する。コマンドは、例えば、次の通りである。
０：スケーリングデータの出力、
１：ウェーブレットデータの出力
パラメータは、例えば、次の通りである。
１：レベル１データの出力、
２：レベル２データの出力、
３：レベル３データの出力
このようなコマンド「０」又は「１」に対して、例えば、２５６×２５６画素の入力画像を図９（ａ）のように６４ブロックに分割し、各々のブロックにパラメータを割り当てる。図９（ｂ）は、コマンド「０」で、全ての領域でパラメータ「１」とした場合の画像である。
【００３７】
図１０は、部分選択的な画像圧縮についての説明図（２）である。図１０（ａ）は、コマンド「０」で、全ての領域でパラメータ「２」とした場合の画像である。図１０（ｂ）は、コマンド「０」で、全ての領域でパラメータ「３」とした場合の画像である。
【００３８】
図１１は、部分選択的な画像圧縮についての説明図（３）である。図１１（ｂ）は、コマンドを「０」で、パラメータを図１１（ａ）のように割り当てた場合の出力画像の例である。
【００３９】
図１２は、部分選択的な画像圧縮についての説明図（４）である。図１２（ｂ）は、コマンドを「０」で、パラメータを図１２（ａ）のように割り当てた場合の出力画像の例である。
【００４０】
図１３は、部分選択機能の有効性を示す説明図である。具体的には、図９（ａ）のような２５６×２５６画素の画像を入力とした場合の１レベル変換・２レベル変換・３レベル変換と、図１１（ｂ）、図１２（ｂ）で示したような多重解像度による部分選択的な変換を行った場合のデータ量の比較を示す。
レベル３での認識が困難な領域が存在する場合に、画像全体のデータ量をレベル２に上げるとピクセル数は４０９６画素、さらにレベル１にデータ量を上げると１６３８４画素となるため、レベルを１つ下げる毎にデータ量は４倍になってしまい、ソフトウェアにかかる負荷の増加量が大きい。そこで、３−２で示したように多重解像度による部分選択的な変換を行うことで、画像の一部分のデータ量のみをレベル２及びレベル１に上げる事が可能となる。レベル２とレベル３が混在した出力データ数は１１６８画素となり、画像全体をレベル２とした場合に比べて２９２８画素のデータ削減が行える。また、レベル１とレベル３が混在した出力データ数は１７４４画素となり、画像全体をレベル１とした場合と比べると、１４６４０画素のデータ削減が行える事になる。
【００４１】
このように領域ごとに適した画像圧縮を行うことで細かくデータ量を上げることが出来るため、ソフトウェアにかかる負荷の増加量を大幅に軽減出来る。また、入力画像ごとに適した圧縮表現が可能であるために、少量のデータでの特徴抽出が行える。そのため、ソフトウェアによる的確な認識作業が容易に行える。
【００４２】
４．実験例及び比較
４−１．設計例
以下に設計例を示すが、この回路設計例は一例に過ぎず、本発明はこれに限定されない。
まず、回路の仕様について説明すると、８ビットグレイスケール２５６×２５６画素の画像データとコマンド及びパラメータを１ワード３２ビットメモリから読み出し、２レベル変換・１レベル変換の順にウェーブレット変換し、コマンド及びパラメータによる出力データの選択を行い１ワード３２ビットメモリに格納する回路を設計した。なお、パラメータにより変換レベルを指定できる最小ブロックは３２×３２画素とした。コマンド及びパラメータはメモリの０〜４アドレスに格納しておく。出力データは最小ブロックごとに格納する。
【００４３】
つぎに、部分選択変換装置１００とホストコンピュータとのデータ転送について説明する。
図１４は、ホストコンピュータとのデータの転送を行うメモリへのアクセスを示す図である。
ホストコンピュータ１２とのデータの転送を行うメモリ（メモリ１）１４、メモリ（メモリ２）１６へのアクセスを図示のようなメモリ構造で設計した。ここでは、メモリ１とメモリ２の２つを用いて、コマンド・元画像データの部分選択変換装置１００への転送をメモリ１で、部分選択変換装置１００からの変換データの受け渡しをメモリ２でそれぞれ行えるように設計した。また、メモリは全て５２４，２８８ワード×３２ビットＳＲＡＭを使用する事を想定して設計した。
【００４４】
図１５は、メモリアクセスのタイミングチャートを示す図である。なお、このタイミングチャートは、上述のように２つのメモリにアクセスする場合を示している。
具体的には、ｒｅａｄ（ｗｒｉｔｅ）がＨＩＧＨの時、ｒｅａｄ＿ａｄｄｒ（ｗｒｉｔｅ＿ａｄｄｒ）をｍｅｍ＿ａｄｄｒ＿ｒｄ（ｍｅｍ＿ａｄｄｒ＿ｗｒ）として出力する。ｍｅｍ＿ｒｄがＬＯＷの時、メモリ１のｍｅｍ＿ａｄｄｒ＿ｒｄの領域からｒｅａｄ＿ｄａｔａを読み出す。また、ｍｅｍ＿ｗｒがＬＯＷの時、メモリ２のｍｅｍ＿ａｄｄｒ＿ｗｒの領域へｗｒｉｔｅ＿ｄａｔａを書き込む。また、メモリを２つに分割する事でデータの読み出しと書き込みが同時に行えるため、ｒｅａｄの立ち上がりから次のｒｅａｄの立ち上がりまでのクロック数を６サイクルとして設計した。なお、処理に要するクロック数は、１０２４４２ｃｙｃｌｅｓ／画面となった。一方、入力データ・出力データを全て１メモリアクセスで行うと、データの読み出しと書き込みが同時に行えないために、処理に要するクロック数は、２５３９４３ｃｙｃｌｅｓ／画面となってしまう。したがって、上述のように２メモリアクセスで設計することで約２．５倍のスピードでデータのアクセスが行える。
【００４５】
図１６は、論理合成を行った場合の回路規模・動作速度及びＨＤＬ記述量を示す図である。
以上のような構造で設計したウェーブレット変換チップ１０の論理合成を、ザイリンクス社製の論理合成ソフトＦＯＵＮＤＡＴＩＯＮ Ｖｅｒ．３．３ｉを用いて行った。なお、ここでは、ＦＰＧＡ「ｓｐａｒｔａｎII２ｓ１５０−５ＦＧ４５６」を選択して論理合成を行った場合の回路規模・動作速度及びＨＤＬ記述量を示した。
【００４６】
４−２．ソフトウェアとの比較
２５６×２５６画素の画像においてウェーブレット変換を行うソフトウェアを比較のために作成した。ソフトウェアでのウェーブレット変換は標準的な２次元２ウェーブレット変換であり、１次元１ウェーブレット変換でＸ方向とＹ方向の変換を行うものである。また、ウェーブレット変換部分は、２重ｆｏｒループ６つ、約７０行で構成されている。なお、９６×９６画素を１２×１２画素と変換するのに２．０ｍｓ、２５６×２５６画素を３２×３２画素では１８ｍｓ、５１２×５１２画素を６４×６４画素では７６ｍｓとなる。
【００４７】
また、２５６×２５６画素においてウェーブレット変換チップと同様に部分選択的な変換を行うために、３２×３２画素を１ブロックとして、６４ブロック読み込むと４０ｍｓとなる（ここでは、６００ＭＨｚＣＰＵ＋１２８ｋキャッシュ）。ウェーブレット変換チップ１０は、図１６で示した通り１．９２ｍｓで動作するので、変換部分においては２０倍のスピードで動作することがわかる。
【００４８】
４−３．データ転送における部分選択機能の有効性
図１７は、データ転送を含んだ処理時間を示す図である。
ところで、部分選択変換装置１００による変換が高速であっても、認識処理プログラムは、ホストコンピュータ１２上で実行されるために、部分選択変換装置１００とホストコンピュータ１２とのデータ転送速度を考慮する必要がある。そこで、データ転送時間を測定するために、市販のＦＰＧＡを搭載したＰＣＩボード（ＦＰＧＡ「ｓｐａｒｔａｎII２ｓ１５０−５ＦＧ４５６」）を使用し、３３ＭＨｚのＰＣＩバスで測定した結果、データ転送速度は１１２ｎｓ（ｒｅａｄ）／ｂｙｔｅ、８６ｎｓ（ｗｒｉｔｅ）／ｂｙｔｅであった。
【００４９】
そこで、コマンド及びパラメータを２０ｂｙｔｅ（コマンド：４ｂｙｔｅ、パラメータ：１６ｂｙｔｅ）とし、２５６×２５６画素を３レベル変換した場合のデータ転送時間は８６×（（２５６×２５６）＋２０）＋１１２×（３２×３２）＝５．７５ｍｓとなる。これとウェーブレット変換チップの変換時間を足して処理時間は１．９２＋５．７５＝７．６７ｍｓとなる。図１７には、図１３のように変換した場合のデータ転送時間を含んだ処理速度を示している。例えば、レベル３からレベル１に解像度を上げると１．７２ｍｓの処理時間が増加してしまうのに対し、レベル１とレベル３が混載したデータにすることにより、０．０９ｍｓだけの増加量に抑えることができる。
【００５０】
このように、部分選択変換装置１００自体の処理時間は少ないが、解像度が上がるとデータ量が増えるために、データ転送時間が大きくなる。したがって、部分選択的に解像度を上げることで部分的なデータ量の増加でとどめ、全体のデータ量を大きく減らせる。その結果、データ転送時間の増加を極力抑えることが可能となる。
【００５１】
４−４．ウェーブレット変換チップの評価
図１８は、２０４８×２０４８、２５６×２５６画素の画像の領域指定を示す図である。
まず、具体例として、２０４８×２０４８画素の入力画像を場合では、４チップを並列動作させる事で全ての領域においてレベル３まで圧縮し、画素数を２５６×２５６画素にする。これに要する時間は２×４×４＝３２ｍｓである。さらに、この出力データを次段の１チップにフォワード入力することで３２×３２画素までデータを圧縮することができる（２ｍｓ）。ここまでに要する時間は３２＋２＝３４ｍｓである。この圧縮率の高い画像において図１８（ａ）のように元画像に対して２５６×２５６画素の重要性の高い４領域をソフトウェアが抽出する（Ｘｍｓ）。
【００５２】
次に、ここで抽出した４領域を並列動作させている４チップが読み込み、レベル３のデータを出力する（２ｍｓ）。このデータの中から図１８（ｂ）のようにさらに元画像に対して３２×３２画素の重要性の高いいくつかの領域をソフトウェアが抽出し、コマンド及びパラメータを入力する（Ｘｍｓ）。
【００５３】
最後に、指定された領域をレベル２またはレベル１として出力する（２ｍｓ）。そのデータにより認識作業を行う（Ｘｍｓ）。ここまでに要する時間はＸ＋２＋Ｘ＋２＋Ｘ＝（４＋３Ｘ）ｍｓである。全ての処理でかかった時間は、データ転送の時間を除くと３４＋（４＋３Ｘ）＝（３８＋３Ｘ）ｍｓである。入力データの転送時間は８６×（２０４８×２０４８）＝３６０．７１ｍｓである。
【００５４】
このようなデータ量の多い画像をソフトウェアにより扱う場合には、処理速度は非常に遅くなってしまう。そこで、ここで示したようにチップによる並列処理を行うことで処理速度を飛躍的に向上することができる。
【００５５】
５．出力データの応用
つぎに、部分選択変換装置１００から出力されたデータの使用方法を示す。一般的に画像の中には木・自動車・人物などのいくつかの対象物が存在している。それらの対象物を解像度の低い画像データの中から抽出する。さらに、部分的に解像度を上げることができるので、それらの対象物の解像度を少し上げて、その中から人物のみを抽出する。人物であることが認識できれば、目・鼻・口などの領域の解像度をさらに上げ、それ以外の領域を高圧縮のままにして再度出力することで個人の特定が可能である。このようにして、画像の解析を順次行っていくことで少ないデータ量で高い精度の認識が行える。また、周辺のデータを高圧縮データとして出力しておくことにより、動画像における周辺の監視が常時行える。
【００５６】
また、本実施の形態では、画像認識システムの前処理をＨａａｒ離散ウェーブレット変換を使用し、ハードウェアで行うことの設計方法と有効性について述べた。２５６×２５６画素の入力画像において、ソフトウェアに比べて約２０倍のスピードで動作するという性能比が得られた。今後、ＡＳＩＣ化することによる動作速度の向上、データ転送速度の向上ならびに、このチップに特化した認識アルゴリズムの開発によりさらなる高速化が期待できる。
【００５７】
このように、本実施の形態における部分選択変換装置１００によれば、解析に不要な部分の領域は高圧縮されて、情報量が減り、詳細な解析が必要な部分は低圧縮されて、信号に含まれる情報が保存される。従って、後段での信号処理解析装置３０へ送る情報量が大幅に減るため、信号や信号に含まれる情報の解析が容易である。また、同時に、情報量が減ったために高速な処理が可能になり、実時間画像認識や音声認識が可能となる。さらに、信号変換回路１０により実時間での圧縮が可能であり、高速で動く被写体を注視し、その部分だけを切り出して動くものが何かを判定する事が可能になる。
【００５８】
また、部分選択変換装置１００では、逐次的に部分領域毎に圧縮レベルを変更する事が可能なため、解析結果により、再変換を行い詳細かつ複雑な解析アルゴリズムを作る事が可能である。具体的には、まず、人全体の領域を選別して圧縮レベルを下げて、再入力し、人の顔領域をさらに選別し、顔部分の領域の圧縮レベルをさらに下げて人物を特定するなどのアルゴリズムが可能になる。なお、このアルゴリズムでは何度も圧縮操作を続けるが、これを従来のソフトウェアだけで行うと圧縮処理に多くの時間が必要になり非現実的な計算時間がかかる。しかしながら、ウェーブレット変換チップを備えた信号変換回路１０を使用すれば、全体の処理時間の増加は無視できる程度である。このように、部分選択変換装置１００では、従来では考えられなかったアルゴリズムが容易に実現できるものとなる。なお、上述の部分選択変換装置１００では、ウェーブレット変換を用いて画像処理を行ったが、これに限られず、例えば、短時間フーリエ変換等のその他の変換処理を用いて画像処理を行ってもよい。
【００５９】
【発明の効果】
本発明によると、以上説明した通り、情報量の削減と信号処理の高精密度化とを同時に達成することができる。また、本発明によると、画像認識、画像処理等の高度な処理を実時間で高速に処理できる。
【図面の簡単な説明】
【図１】Ｈａａｒ−Ｗａｖｅｌｅｔ変換による平滑化とエッジ抽出の説明図。
【図２】多重解像度についての説明図。
【図３】シミュレーション結果を示す図（１）。
【図４】シミュレーション結果を示す図（２）。
【図５】本実施の形態に関する部分選択変換装置の構成図。
【図６】部分選択変換装置１００の動作の説明図。
【図７】部分選択変換装置１００の動作についてのフローチャート。
【図８】信号変換回路１０の構成図。
【図９】部分選択的な画像圧縮についての説明図（１）。
【図１０】部分選択的な画像圧縮についての説明図（２）。
【図１１】部分選択的な画像圧縮についての説明図（３）。
【図１２】部分選択的な画像圧縮についての説明図（４）。
【図１３】部分選択機能の有効性を示す説明図。
【図１４】ホストコンピュータとのデータの転送を行うメモリへのアクセスを示す図。
【図１５】メモリアクセスのタイミングチャートを示す図。
【図１６】論理合成を行った場合の回路規模・動作速度及びＨＤＬ記述量を示す図。
【図１７】データ転送を含んだ処理時間を示す図。
【図１８】２０４８×２０４８、２５６×２５６画素の画像の領域指定を示す図。
【符号の説明】
１０ 信号変換回路
１１、１３、１５、１７ ウェーブレット変換部
１９ 出力選択部
２０ 入力処理回路
２１ コマンド部
２３ データセット部
３０ 信号処理解析装置
４０ 判定回路
１００ 部分選択変換装置
Claims (10)
- 部分領域毎に指定された圧縮レベルに変換するための変換命令に従い、解析対象領域の入力信号を部分領域毎に圧縮して圧縮信号を生成する信号変換部と、
重要性の高い又は圧縮率を低くすべき予め定められた領域についての画像と所望の圧縮レベルを表す、異なる圧縮レベルのテンプレートを所定数記憶する記憶部を有し、前記信号変換部から圧縮信号を入力して、前記信号変換部に該変換命令を与えるための信号処理解析部と
を備え、
前記信号変換部は、前記信号処理解析部からの変換命令に従い、入力された全領域又は所定領域の信号を最大限又は予め定められた第１の圧縮レベルに圧縮し、解析対象領域の部分領域毎の第１の圧縮信号を前記信号処理解析部に出力し、
前記信号処理解析部は、前記記憶部からテンプレートを読み出し、
前記信号処理解析部は、前記信号変換部からの部分領域毎の第１の圧縮信号と、読み出された異なる圧縮レベルのテンプレートとをそれぞれ比較して、テンプレートマッチングにより重要性の高い又は圧縮率を低くすべき再変換部分領域を抽出し、及び、マッチングしたテンプレートの、第１の圧縮レベルよりも圧縮率の低い前記所望の圧縮レベルを得て、パラメータにより再変換部分領域毎に圧縮レベルを指定した再変換命令を出力し、
前記信号変換部は、前記信号処理解析部からの再変換命令に従い、入力信号を再度メモリから読み出し又は入力装置から入力して、指定された再変換部分領域を、パラメータで定められた、前記所望の圧縮レベルで再変換して、第２の圧縮信号を出力することにより、
それぞれ第１又は前記所望の圧縮レベルで圧縮された部分領域の第１又は第２の圧縮信号を含む解析対象領域の圧縮信号を出力するようにした部分選択変換装置。 - 前記信号処理解析部は、さらに、所望の部分領域が前記所望の圧縮レベルに圧縮されているか否かに応じて、再変換又は圧縮信号の出力を行なうことを特徴する請求項１に記載の部分選択変換装置。
- 前記信号処理解析部は、第１の圧縮レベルで圧縮された圧縮信号を記憶部に記憶し、
前記信号変換部は、再変換命令に従い再変換部分領域のみ再変換し、第２の圧縮信号を出力し、
前記信号処理解析部は、第１の圧縮信号を記憶部から読み出し、第１の圧縮信号と前記信号変換部からの第２の圧縮信号とを統合して出力することを特徴する請求項１に記載の部分選択変換装置。 - 前記信号処理解析部は、
部分領域内の全画素に対して、スケーリング係数及び／又はウェーブレット係数について係数の絶対値を求めて和をとり、その和の大きさに基づいて、部分領域のテンプレートの候補についての順序付け及び一致計算を行ってマッチングするテンプレートを求めることを特徴とする請求項１乃至３のいずれかに記載の部分選択変換装置。 - 前記信号処理解析部は、全部分領域に対して再度圧縮レベルを指定し、
前記信号変換部は、再変換命令に従い、前記解析対象領域全体を各圧縮レベルで変換して、圧縮信号を出力することを特徴する請求項１乃至４のいずれかに記載の部分選択変換装置。 - 前記信号変換部は、短時間フーリエ変換又はウェーブレット変換による信号変換を行い圧縮信号を得ることを特徴とする請求項１乃至５のいずれかに記載の部分選択変換装置。
- 前記信号変換部は、
漸次的に複数の圧縮レベルに変換するための複数の変換部と、
前記信号処理解析部からの命令に従い、いずれかの前記変換部からの圧縮信号を選択して出力する出力選択部と、
前記信号処理解析部からの命令に従い、入力信号又は出力選択部から戻された圧縮信号をいずれかの前記変換部に振り分ける入力処理回路と
を備えた請求項１乃至６のいずれかに記載の部分選択変換装置。 - 前記信号変換部は、前記信号解析部の入力部と接続され、パイプライン処理を行うことを特徴とする請求項１乃至７のいずれかに記載の部分選択変換装置。
- 部分領域毎に指定された圧縮レベルに変換するための変換命令に従い、解析対象領域の入力信号を部分領域毎に圧縮して圧縮信号を生成する信号変換部を用いた部分選択変換方法であって、
前記信号変換部に変換命令を与えるステップと、
前記信号変換部により、該変換命令に従い、入力された全領域又は所定領域の信号を最大限又は予め定められた第１の圧縮レベルに圧縮された、解析対象領域の部分領域毎の第１の圧縮信号を入力するステップと、
重要性の高い又は圧縮率を低くすべき予め定められた領域についての画像と所望の圧縮レベルを表す、異なる圧縮レベルのテンプレートを所定数記憶する記憶部から、テンプレートを読み出すステップと、
前記信号変換部からの部分領域毎の第１の圧縮信号と、読み出された異なる圧縮レベルのテンプレートとをそれぞれ比較して、テンプレートマッチングにより重要性の高い又は圧縮率を低くすべき再変換部分領域を抽出し、及び、マッチングしたテンプレートの、第１の圧縮レベルよりも圧縮率の低い前記所望の圧縮レベルを得て、パラメータにより再変換部分領域毎に圧縮レベルを指定した再変換命令を出力するステップと、
前記信号変換部により、該再変換命令に従い、入力信号を再度メモリから読み出し又は入力装置から入力して、指定された再変換部分領域が、パラメータで定められた前記所望の圧縮レベルで再変換された第２の圧縮信号を入力するステップと、
第１又は前記所望の圧縮レベルでそれぞれ圧縮された部分領域の第１又は第２の圧縮信号を含む解析対象領域の圧縮信号を出力するステップと
を含む部分選択変換方法。 - 部分領域毎に指定された圧縮レベルに変換するための変換命令に従い、解析対象領域の入力信号を部分領域毎に圧縮して圧縮信号を生成する信号変換部に変換命令を与えるステップと、
前記信号変換部により、該変換命令に従い、入力された全領域又は所定領域の信号を最大限又は予め定められた第１の圧縮レベルに圧縮された、解析対象領域の部分領域毎の第１の圧縮信号を入力するステップと、
重要性の高い又は圧縮率を低くすべき予め定められた領域についての画像と所望の圧縮レベルを表す、異なる圧縮レベルのテンプレートを所定数記憶する記憶部からテンプレートを読み出すステップと、
前記信号変換部からの部分領域毎の第１の圧縮信号と、読み出された異なる圧縮レベルのテンプレートとをそれぞれ比較して、テンプレートマッチングにより重要性の高い又は圧縮率を低くすべき再変換部分領域を抽出し、及び、マッチングしたテンプレートの、第１の圧縮レベルよりも圧縮率の低い前記所望の圧縮レベルを得て、パラメータにより再変換部分領域毎に圧縮レベルを指定した再変換命令を出力するステップと、
前記信号変換部により、該再変換命令に従い、入力信号を再度メモリから読み出し又は入力装置から入力して、指定された再変換部分領域を、パラメータで定められた前記所望の圧縮レベルで再変換された第２の圧縮信号を入力するステップと、
第１又は前記所望の圧縮レベルでそれぞれ圧縮された部分領域の第１又は第２の圧縮信号を含む解析対象領域の圧縮信号を出力するステップと
をコンピュータに実行させるための部分選択変換プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001317371A JP3709158B2 (ja) | 2001-10-15 | 2001-10-15 | 部分選択変換装置、部分選択変換方法及び部分選択変換プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001317371A JP3709158B2 (ja) | 2001-10-15 | 2001-10-15 | 部分選択変換装置、部分選択変換方法及び部分選択変換プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003124815A JP2003124815A (ja) | 2003-04-25 |
| JP3709158B2 true JP3709158B2 (ja) | 2005-10-19 |
Family
ID=19135253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001317371A Expired - Fee Related JP3709158B2 (ja) | 2001-10-15 | 2001-10-15 | 部分選択変換装置、部分選択変換方法及び部分選択変換プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3709158B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4652698B2 (ja) * | 2004-02-23 | 2011-03-16 | 独立行政法人科学技術振興機構 | 画像認識装置、画像認識方法及びプログラム |
| JP6192804B2 (ja) * | 2014-03-05 | 2017-09-06 | 三菱電機株式会社 | データ圧縮装置およびデータ圧縮方法 |
| JP7409400B2 (ja) * | 2020-01-31 | 2024-01-09 | 富士通株式会社 | データ処理装置及びデータ処理プログラム |
| JP7533622B2 (ja) * | 2020-12-15 | 2024-08-14 | 富士通株式会社 | 解析装置、解析方法及び解析プログラム |
-
2001
- 2001-10-15 JP JP2001317371A patent/JP3709158B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003124815A (ja) | 2003-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107292256B (zh) | 基于辅任务的深度卷积小波神经网络表情识别方法 | |
| CN108710830A (zh) | 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法 | |
| WO2020038205A1 (zh) | 目标检测方法、装置、计算机可读存储介质及计算机设备 | |
| US7233700B2 (en) | System and method for signal matching and characterization | |
| KR100804282B1 (ko) | 2차원 영상으로부터 3차원 표현을 생성시키기 위한 장치와 방법 | |
| JP5388835B2 (ja) | 情報処理装置及び情報処理方法 | |
| JP5937661B2 (ja) | 情報予測システム、情報予測方法及び情報予測プログラム | |
| JPH10214267A (ja) | 手書き文字記号処理装置および手書き文字記号処理装置の制御プログラムを記録した媒体 | |
| CN110414516B (zh) | 一种基于深度学习的单个汉字识别方法 | |
| JP3709158B2 (ja) | 部分選択変換装置、部分選択変換方法及び部分選択変換プログラム | |
| CN111881789A (zh) | 肤色识别方法、装置、计算设备及计算机存储介质 | |
| JPH0676117A (ja) | 情報処理方法及び装置 | |
| Tsiktsiris et al. | Accelerated seven segment optical character recognition algorithm | |
| CN111081372B (zh) | 疾病诊断装置、终端设备及计算机可读存储介质 | |
| JP4652698B2 (ja) | 画像認識装置、画像認識方法及びプログラム | |
| CN108876711B (zh) | 一种基于图像特征点的草图生成方法、服务器及系统 | |
| CN114792370A (zh) | 一种全肺图像分割方法、装置、电子设备及存储介质 | |
| CN114708145A (zh) | Goci水色图像洋流流场的确定方法和装置 | |
| JP2000215315A (ja) | 図形分類方法、図形検索方法、図形分類検索システム及び記録媒体 | |
| JP2016177829A (ja) | 情報予測システム、情報予測方法及び情報予測プログラム | |
| CN110991229A (zh) | 基于dsp芯片与量化模型的三维物体识别方法 | |
| CN110334667B (zh) | 基于ircnn和mtcnn的具有尺度旋转不变性的静脉识别方法及系统 | |
| CN117911240A (zh) | 一种面部遮挡图像的生成方法、装置、设备及介质 | |
| JPS6128180A (ja) | オンライン手書き図形認識装置 | |
| JPH01116892A (ja) | 非線形正規化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050502 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050517 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050705 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050726 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050805 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090812 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100812 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110812 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110812 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130812 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |