JP4161141B2 - エッジ強調処理装置、エッジ強調処理方法およびエッジ強調処理プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
エッジ強調処理装置、エッジ強調処理方法およびエッジ強調処理プログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP4161141B2 JP4161141B2 JP10990198A JP10990198A JP4161141B2 JP 4161141 B2 JP4161141 B2 JP 4161141B2 JP 10990198 A JP10990198 A JP 10990198A JP 10990198 A JP10990198 A JP 10990198A JP 4161141 B2 JP4161141 B2 JP 4161141B2
- Authority
- JP
- Japan
- Prior art keywords
- degree
- edge
- value
- edge enhancement
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
【発明の属する技術分野】
本発明は、エッジ強調処理装置、エッジ強調処理方法およびエッジ強調処理プログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【0002】
【従来の技術】
従来より、写真などの画像データに対してエッジ部分を強調する画像処理ソフトウェアが知られている。これらにおいてはコンピュータに画像データを読み込み、試行錯誤でエッジの強調程度を変えて変換し、変換結果を作業者が画面上で目視して確認し、適当な強調具合となるように調整している。
【0003】
また、特開平6−68252号公報には高周波帯域フィルタで画像のエッジ領域の高周波成分を求め、その平均値で画像のシャープさを判断してエッジ強調パラメータを調整している。
【0004】
【発明が解決しようとする課題】
上述した従来の画像処理装置においては、次のような課題があった。前者のものでは、作業者の目視による確認が必要であるため、自動的に適当な強調具合を設定することができない。
【0005】
また、後者のものでは高周波帯域フィルタを使用して高周波成分を得るので、処理が複雑になってしまう。本発明は、上記課題にかんがみてなされたもので、より簡易な手法で画像のシャープさを判定して自動的に最適なエッジの強調処理を行なうことが可能なエッジ強調処理装置、エッジ強調処理方法およびエッジ強調処理プログラムを記録したコンピュータ読み取り可能な記録媒体の提供を目的とする。
【0006】
【課題を解決するための手段】
上記目的を達成するため、本発明は、画像をドットマトリクス状の画素で多階調表現した画像データを取得する画像データ取得手段と、各画素ごとに周囲の画素との輝度の差、レッド、グリーン、ブルーの階調値から算出した輝度の代替値の差、あるいはグリーンの階調値である輝度の代替値の差を変化度合いの値として算出し、算出された上記変化度合いが所定の値よりも大きな値について同変化度合いの値を集計する算出手段と、上記変化度合いの集計結果に基づいて画像全体のシャープ度合いを判定し、上記判定したシャープ度合いに基づいて各画素を強調処理するための強調要素を決定するエッジ強調要素決定手段と、この決定された強調要素に基づいて各画素のエッジを強調処理するエッジ強調手段とを具備する構成としてある。
【0007】
上記のように構成した発明においては、画像データ取得手段が画像をドットマトリクス状の画素で多階調表現した画像データを取得すると、集計処理手段は各画素ごとに変化度合いを周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出し、当該ベクトル値の大きい画素について同ベクトル値を集計する。一方、エッジ強調要素決定手段はこの集計処理結果に基づいて画像のシャープ度合いを判定しつつエッジの強調要素を決定し、エッジ強調手段はこの決定された強調要素に基づいて各画素のエッジを強調処理する。
【0008】
すなわち、画像がシャープであればさほど強調程度を上げる必要はないという前提のもと、画像のシャープさを各画素の変化度合いから算出するようにしている。むろん、このように画素単位での画像の変化度合いが求められる前提として画像データがドットマトリクス状の画素からなるものであることが必要である。
【0009】
一方、写したい対象物を被写体と呼び、それ以外を背景と呼ぶとすると、作業者は被写体だけのシャープさに基づいてエッジ強調を考慮するのであり、背景については殆ど考慮しない。この場合、被写体の方が背景よりもシャープに写っているのが通常であり、上記変化度合いの大きい画素についての集計結果を基礎として決定すると、このような被写体に注目したのと同じ条件で判定されることになる。
このため、請求項12にかかる発明では、上記算出手段は、各画素ごとに変化度合いを周囲の画素との輝度の差あるいは輝度の代替値の差を変化度合いの値として算出し、所定の値よりも大きな値について同変化度合いの値を集計する構成としてある。
上記のように構成した請求項12にかかる発明においては、被写体に注目したのと同じ条件で判定されることになる。
【0010】
集計処理手段は各画素ごとに周囲の画素との変化度合いを算出する。縦横のドットマトリクス状の画素となっている場合、隣接画素は八つ存在することになるが、評価としては必ずしも全ての画素と比較しなければならないわけではない。例えば、本発明は、エッジ強調処理装置において、上記集計処理手段は、各画素ごとに周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出するにあたり互いに直線方向の並びにない複数の画素の輝度の差あるいは輝度の代替値の差でベクトル化する構成としてもよい。
【0011】
上記のように構成した発明においては、直線方向の並びにない複数の画素の輝度の差あるいは輝度の代替値の差をベクトル値として算出することになり、直線方向に並び合う画素が二つずつあるので少なくともベクトル化する際に考慮すべき画素数は半数以下となる。すなわち、画素が互いに隣接する以上、直線方向に並び合うベクトル要素は互いに打ち消し合うことになっているので評価を省略したとしてもさして影響は出ない。
【0012】
また、集計処理手段は各画素でのベクトル値を画像のシャープさを判定するために集計するが、集計手法は各種のものを採用可能であり、その一例として、本発明は、エッジ強調処理装置において、上記集計処理手段は、上記ベクトル値が大きいものほど重み付けを上げて集計する構成としてもよい。
上記のように構成した発明においては、上記集計処理手段が変化度合いを集計するにあたり、上記ベクトル値が大きいものほど重み付けを上げている。むろん、変化度合いの小さいものほど重み付けを小さくして集計することも含まれる。そして、いずれの場合においても被写体のようなシャープな部分が大きく考慮された上で画像のシャープ度合いが判定されることになる。
【0013】
また、集計は統計的な意味での代表値であれば良く、平均値であったり、メジアンであったりするなど、特に限定されるものではない。
また、この例では重み付けを変えることにより実質的に変化度合いが大きい画素について集計するようにしているが、これに限られるものではない。その一例として、本発明は、エッジ強調処理装置において、上記集計処理手段は、上記ベクトル値が大きい輪郭画素について集計する構成としてもよい。
【0014】
上記のように構成した発明においては、上記ベクトル値が大きい輪郭画素について上記集計処理手段が上記変化度合いを集計する。すなわち、輪郭画素以外の画素については考慮せず、輪郭画素だけでの集計を行い、その結果に基づいて当該画像のシャープ度合いを判断することになる。従って、シャープ度の甘い背景などは面積などが大きくても輪郭との判断がなされない限りは画像のシャープ度合いとして考慮されない。
【0015】
エッジ強調要素は必ずしも強調程度だけに限られるものではなく、強調処理を行う上での各種の制御条件を含むものであり、その一例として、本発明は、エッジ強調処理装置において、上記エッジ強調要素決定手段は、上記集計結果に基づいて上記ベクトル値が所定のしきい値以上のものだけを強調処理の対象とするようにする強調画素選別条件を決定する構成としてもよい。
【0016】
上記のように構成した発明においては、上記ベクトル値が所定のしきい値以上となるものだけを対象として強調処理するように、上記エッジ強調要素決定手段が上記集計結果に基づいて強調画素選別条件を決定する。すなわち、強調程度とは別個に一定のしきい値を越えるような画素だけに強調処理が行われるようにしており、本来エッジでもないようなところに強調処理が施されてしまわないようにしている。
【0017】
集計結果に基づいてしきい値を設定するにあたり、エッジでもないような画素がエッジ強調されないように同しきい値を設定することになるが、具体的には各種の基準を採用可能である。その一例として、本発明は、エッジ強調処理装置において、上記エッジ強調要素決定手段は、上記ベクトル値の大きい画素が占める割合いに基づいて上記しきい値を決定する構成としてもよい。
【0018】
上記のように構成した発明においては、強調画素選別条件を決定するにあたり、上記エッジ強調要素決定手段は上記ベクトル値の大きい画素が占める割合いを求め、同割合いに基づいて上記しきい値を決定する。すなわち、画像全体において変化度合いの大きい画素が多ければしきい値を低くして多くの画素が強調処理されるようにするし、画像全体において変化度合いの大きい画素が少なければしきい値を高くしてエッジでない画素が強調処理されにくくなるようにしている。
【0019】
強調程度を決定するにあたり、上述したようなベクトル値だけに基づく必要はなく、他の要因を考慮することも可能である。その一例として、本発明は、エッジ強調処理装置において、上記エッジ強調要素決定手段は、上記画像データの画像の大きさを検知して大きいものほど強調程度を大きくするように強調要素を決定する構成としてもよい。
【0020】
上記のように構成した発明においては、上記エッジ強調要素決定手段がエッジの強調要素を決定するにあたり、上記画像データの画像の大きさを検知し、大きいものほど強調程度を大きくするようにしている。人が画像などを識別しようとするときには、大きな画像であれば離れて見ることが多いので、等価的に小さい画像と同じ印象を与えるようにするために強調レベルを上げる必要があるからである。
なお、画像が大きくなるにつれてエッジの強調程度を強めていくことにより、画質を向上させうるという意味では、画像のシャープさを各画素のベクトル値から算出しなければならないわけではない。従って、発明は、画像をドットマトリクス状の画素で多階調表現した画像データを取得する画像データ取得手段と、エッジの強調程度を取得するエッジ強調程度取得手段と、上記画像データの画像の大きさを検知して大きいものほど上記強調程度を大きくするように修正するエッジ強調程度修正手段と、この修正された強調程度に基づいて各画素のエッジを強調処理する修正強調程度対応エッジ強調手段とを具備する構成としてもよい。
【0021】
上記のように構成した発明においては、エッジ強調程度取得手段にてエッジの強調程度を取得し、この強調程度に基づいて各画素のエッジを強調処理するにあたり、エッジ強調程度修正手段が画像の大きさを検知し、大きいものほど上記強調程度を大きくするように修正する。そして、修正された強調程度に基づいて修正強調程度対応エッジ強調手段が各画素のエッジを強調処理することになる。
【0022】
一方、エッジ強調手段が実行するエッジ強調処理自体は、決定された強調要素に基づいて行われるものであれば良く、具体的な手法は特に限定されるものではない。その一例として、本発明は、エッジ強調処理装置において、上記エッジ強調手段は、複数の異なる大きさのアンシャープマスクを備えており、アンシャープマスクの大きさを変えて異なるエッジ強調程度に対応する構成としてもよい。
【0023】
上記のように構成した発明においては、複数の異なる大きさのアンシャープマスクを備えているので、異なるエッジ強調程度に対応してアンシャープマスクの大きさを変え、強調処理を施す。アンシャープマスクは大きくなるほど周縁の画素の要素を引き込んで画像をなまらせることになるが、エッジ強調処理ではなまらせた成分を減算することになるのでエッジ強調を増長するように作用する。
【0024】
画像のシャープさを各画素の変化度合いから算出するにあたり、周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出する手法は、必ずしも実体のある装置に限られる必要もなく、その一例として、本発明は、画像をドットマトリクス状の画素で多階調表現した画像データに対してエッジ強調処理を行うエッジ強調処理方法であって、各画素ごとに変化度合いを周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出し、当該ベクトル値の大きい画素について同ベクトル値を集計する工程と、この集計処理結果に基づいて画像のシャープ度合いを判定しつつエッジの強調要素を決定する工程と、この決定された強調要素に基づいて各画素のエッジを強調処理する工程とを具備する構成としてもよい。
【0025】
すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。ところで、上述したように画像のシャープ度合いを判断してエッジ強調処理を行なうエッジ強調処理装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては各種の態様を含むものである。また、ハードウェアで実現されたり、ソフトウェアで実現されるなど、適宜、変更可能である。
【0026】
発明の思想の具現化例としてエッジ強調処理装置を制御するソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
その一例として、本発明は、画像をドットマトリクス状の画素で多階調表現した画像データに対してコンピュータにてエッジ強調処理を行うエッジ強調処理プログラムを記録した媒体であって、各画素ごとに変化度合いを周囲の画素との輝度の差あるいは輝度の代替値の差をベクトル値として算出し、当該ベクトル値の大きい画素について同ベクトル値を集計するステップと、この集計処理結果に基づいて画像のシャープ度合いを判定しつつエッジの強調要素を決定するステップと、この決定された強調要素に基づいて各画素のエッジを強調処理するステップとを具備する構成としてもよい。
【0027】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりないし、半導体チップに書き込まれたようなものであっても同様である。
【0028】
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものはなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【0029】
【発明の効果】
以上説明したように本発明は、各画素ごとに周辺の画素との変化度合いを算出してエッジの強調要素を決定するようにしているため、簡易な構成でエッジの強調処理を自動化することが可能なエッジ強調処理装置を提供することができる。
【0030】
また、本発明によれば、各画素毎のベクトルを少ない演算処理で取得することができるようになる。
さらに、請求項2にかかる発明によれば、重み付けを変えることによって各画素の影響度を調整し、最適なエッジ強調要素を決定可能となる。
さらに、請求項3にかかる発明によれば、画像の変化度合いの大きな輪郭部分だけで画像のシャープ度合いを判定するため、背景の大きさなどの影響を受けることなく最適なエッジ強調程度を設定可能となる。
【0031】
さらに、請求項4にかかる発明によれば、エッジでない部分を強調処理しないようにすることにより、画質を向上させることができる。
さらに、請求項4にかかる発明によれば、画像全体での変化度合いの大きい画素の割合いに基づいてしきい値を設定するため、画像全体でシャープであればしきい値を下げてより多くの画素をエッジ強調処理して画質を向上できるし、画像全体があまりシャープでなければしきい値を上げてエッジ強調処理されにくくすることによりエッジでない画素までエッジ強調されてしまうことを防止できる。
【0032】
さらに、請求項5にかかる発明によれば、エッジ強調処理の効果の表れやすさに対応する画像の大きさも基準とすることにより、より最適なエッジ強調処理の強調程度を設定することができる。
さらに、本発明によれば、アンシャープマスクの大きさを変更して比較的容易にエッジ強調程度を調整することができる。
さらに、請求項6にかかる発明によれば、同様の効果を奏することが可能なエッジ強調処理方法を提供することができ、請求項7にかかる発明によれば、エッジ強調処理プログラムを記録した媒体を提供することができる。
【0033】
【発明の実施の形態】
以下、図面にもとづいて本発明の実施形態を説明する。図1は、本発明の一実施形態にかかるエッジ強調処理装置を適用した画像処理システムをブロック図により示しており、図2は具体的ハードウェア構成例を概略ブロック図により示している。図1において、画像入力装置10は写真などをドットマトリクス状の画素として表した画像データを画像処理装置20へ出力し、同画像処理装置20は所定の強調度でエッジ強調処理する画像処理を実行する。同画像処理装置20は同エッジ強調処理した画像データを画像出力装置30へ出力し、画像出力装置30はエッジ強調処理された画像をドットマトリクス状の画素で出力する。ここにおいて、画像処理装置20が出力する画像データはシャープさの鈍い画像のエッジを強調することによりシャープな感じとなるように修正された画像データであり、画像入力装置10から画像データを取得する画像データ取得手段と、各画素ごとに周辺の画素との変化度合いを算出する算出手段と、この算出結果に基づいてエッジの強調要素を決定するエッジ強調要素決定手段と、この決定された強調要素に基づいて各画素のエッジを強調処理して画像出力装置30へ出力するエッジ強調手段とを備えている。
【0034】
画像入力装置10の具体例は図2におけるスキャナ11やデジタルスチルカメラ12あるいはビデオカメラ14などが該当し、画像処理装置20の具体例はコンピュータ21とハードディスク22とキーボード23とCD−ROMドライブ24とフロッピーディスクドライブ25とモデム26などからなるコンピュータシステムが該当し、画像出力装置30の具体例はプリンタ31やディスプレイ32等が該当する。本実施形態の場合、画像処理としてエッジ強調処理を行うため、画像データとしては写真などの実写データなどが好適である。なお、モデム26については公衆通信回線に接続され、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。
【0035】
本実施形態においては、画像入力装置10としてのスキャナ11やデジタルスチルカメラ12が画像データとしてRGB(緑、青、赤)の階調データを出力するとともに、画像出力装置30としてのプリンタ31は階調データとしてCMY(シアン、マゼンダ、イエロー)あるいはこれに黒を加えたCMYKの二値データを入力として必要とするし、ディスプレイ32はRGBの階調データを入力として必要する。一方、コンピュータ本体21内ではオペレーティングシステム21aが稼働しており、プリンタ31やディスプレイ32に対応したプリンタドライバ21bやディスプレイドライバ21cが組み込まれている。また、画像処理アプリケーション21dはオペレーティングシステム21aにて処理の実行を制御され、必要に応じてプリンタドライバ21bやディスプレイドライバ21cと連携して所定の画像処理を実行する。従って、画像処理装置20としてのこのコンピュータ本体21の具体的役割は、RGBの階調データを入力して最適な強調度でエッジ強調処理を施したRGBの階調データを作成し、ディスプレイドライバ21cを介してディスプレイ32に表示させるとともに、プリンタドライバ21bを介してCMYの二値データに変換してプリンタ31に印刷させることになる。
【0036】
このように、本実施形態においては、画像の入出力装置の間にコンピュータシステムを組み込んでエッジ強調処理を行うようにしているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、画像データに対してエッジ強調処理を行うシステムであればよい。例えば、図3に示すようにデジタルスチルカメラ12a内にエッジ強調する意味での画像処理装置を組み込み、変換した画像データを用いてディスプレイ32aに表示させたりプリンタ31aに印字させるようなシステムであっても良い。また、図4に示すように、コンピュータシステムを介することなく画像データを入力して印刷するプリンタ31bにおいては、スキャナ11bやデジタルスチルカメラ12bあるいはモデム26b等を介して入力される画像データを自動的にエッジ強調するように構成することも可能である。
【0037】
エッジ強調処理は、具体的には上記コンピュータ本体21内にて図5に示すフローチャートに対応した画像処理プログラムで行っている。同フローチャートにおいて、ステップS100では画像のシャープ度合いを判定するために各画素のエッジ量(変化度合いの値)を算出して集計し、ステップS200では同集計結果に基づいてエッジ強調要素を決定し、ステップS300では同強調要素に応じてエッジ強調処理を実行する。
【0038】
まず、ステップS100では画像のシャープ度合いを判定するためにエッジ量を集計することにする。この集計処理のより詳細なフローを図6に示している。画像データがドットマトリクス状の画素から構成されるものとすると、各画素ごとに上述したRGBの輝度を表す多階調データで表されており、画像のエッジ部分では隣接する画素間での同データの差分は大きくなる。この差分は輝度勾配であり、これをエッジ量と呼ぶことにし、図7に示すようにして画像を構成する各画素について走査しながらエッジ量を集計する。
【0039】
ステップS110では各画素でのエッジ量を判定する。図8に示すようなXY直交座標を考察する場合、画像の変化度合いのベクトルはX軸方向成分とY軸方向成分とをそれぞれ求めれば演算可能となる。ドットマトリクス状の画素からなるディジタル画像においては、図9に示すように縦軸方向と横軸方向に画素が隣接しており、その明るさをf(x,y)で表すものとする。この場合、f(x,y)はRGBの各輝度であるR(x,y),G(x,y),B(x,y)であったり、あるいは全体の輝度Y(x,y)であってもよい、なお、RGBの各輝度であるR(x,y),G(x,y),B(x,y)と全体の輝度Y(x,y)との関係は、厳密には色変換テーブルなどを参照しなければ変換不能であるが、簡易のために次の(1)式の対応関係を利用することにしている。
【0040】
Y=0.30R+0.59G+0.11B …(1)
図9に示すものにおいて、X方向の差分値fxとY方向の差分値fyは、
fx=f(x+1,y)−f(x,y) …(2)
fy=f(x,y+1)−f(x,y) …(3)
のように表される。従って、これらを成分とするベクトルの大きさ|g(x,y)|がベクトル値(変化度合いの値)であり、
|g(x,y)|=(fx**2+fy**2)**(1/2)
…(4)
のように表される。むろん、エッジ量はこの|g(x,y)|で表される。なお、本来、画素は図10に示すように縦横に升目状に配置されており、中央の画素に注目すると八つの隣接画素がある。従って、同様にそれぞれの隣接する画素との画像データの差分をベクトルで表し、このベクトルの和を画像の変化度合いと判断しても良い。むろん、比較する画素の数は少ないほど演算量が少ないと言える。また、少なくとも直線方向に並ぶ隣接画素については対象画素が移動していくときに相互に反対に作用することになるので、省略することも有用である。さらに、最も演算量を少なくするには単に横並びの画素間でのみ輝度の差を算出するようにしても良い。以上の演算では、輝度を利用するようにしているが、簡易な演算式を用いることも含めて輝度の代替値であっても実質的に同様と言えることはいうまでもない。
【0041】
以上のようにして各画素についてエッジ量が求められるとしても、全画素のエッジ量を求めて平均化するだけでは画像のシャープ度合いは求められない。図11と図12は飛行中の飛行機の写真を示している。背景の空については画像の変化度合いが大きくないことは容易に分かるが、中央の被写体である飛行機自体が同じ程度のシャープさで写っているとした場合、平均化すれば同じシャープさの飛行機が写っていながら背景を含めて画像の大きな図12に示すものの方がシャープでないことになる。従って、画像のシャープ度合いという意味では平均化は好適ではない。
【0042】
このような状況の下、本実施形態においては、全画像のエッジ量を平均化するのではなく、画像の中の輪郭部分がどれくらいシャープであるかを判断すべく、輪郭部分だけのエッジ量を平均化することとした。図13は全画素についてエッジ量を集計したと仮定した場合のヒストグラムを示しており、しきい値を越えるエッジ量の画素だけが集計対象となることを示している。より具体的には、ステップS120にてエッジ量をあるしきい値と比較することにより、その画素が輪郭部分であるか否かを判定し、輪郭部分である場合にのみ、ステップS130にて同エッジ量を積算するとともに、輪郭部分の画素数を加算する。
【0043】
このような画素毎の判定を全画素について行うため、ステップS140では図7に示したように処理の対象画素を移動させ、ステップS150にて全画素についての判定が終了したと判断されるまで繰り返す。以上のようにしてエッジ量の集計処理を行ったら、ステップS200にてエッジ強調要素決定処理を行う。図14はこのエッジ強調要素決定処理のより詳細なフローを示している。先ず、ステップS210ではエッジ画素の割合を計算する。ステップS130では輪郭画素数(edge_pixel)を積算しており、全画素数(total_pixel)との割合(edge_rate)を計算する。
edge_rate=edge_pixel/total_pixel
この割合(edge_rate)が「1」に近いほどエッジ画素の多い画像であると言える。図11と図12に示す画像においては同じシャープさの飛行機が写っている一方、背景の画素数は異なる。背景の画素ではぼけた感じとなっているのは否めないが、敢えてシャープでなければならない理由もない。すなわち、このような背景画素についてはエッジの強調処理は行われない方が好ましいのである。そのようなものとしては青空のグラデーション部分であるとかポートレートの肌色部分などが該当する。
【0044】
本実施形態においては、上記割合を利用してエッジ強調処理の対象画素とする判定に使用するしきい値STをステップS220にて次のようにして求めている。
ST=K/edge_rate
なお、ここで「K」は定数である。図15はエッジ量の分布としきい値STの対応関係を示している。同図(a)では全体的にエッジ量が大きい場合であり、輪郭が素数が多いと判断される結果、しきい値ST0は小さくなる。また、同図(c)は全体的にエッジ量が小さい場合であり、しきい値ST2は大きめとなる。なお、同図(b)はその中間の場合のしきい値ST1を示している。すなわち、シャープな画素が少ない場合にしきい値STが高めに設定され、エッジでない画素であるか否かを判定する際により多めに判定するように調整でき、これによって肌色部分などのノイズまで強調してしまわないようにすることができる。
【0045】
次に、ステップS230では積算されたエッジ量を輪郭部分の画素数で除算することにより、輪郭部分だけのエッジ量を平均化する。すなわち、この画像のシャープ度合いSLは、輪郭部分の画素数をE(I)pixとすると、
【数1】
のようにして演算することができる。この場合、SLの値が小さい画像ほどシャープネスの度合いが低い(見た目にぼけた)と判断できるし、SLの値が大きい画像ほどシャープネスの度合いが高い(見た目にはっきりとしたもの)と判断できる。
【0046】
一方、画像のシャープさは感覚的なものであるため、実験的に得られた最適なシャープ度合いの画像データについて同様にしてシャープ度合いSLを求め、その値を理想のシャープ度合いSLoptと設定するとともに、エッジ強調度Eenhance は、
Eenhance =KS・(SLopt−SL)**(1/2)
…(6)
として求める。ここにおいて、係数KSは画像の大きさに基づいて変化するものであり、画像データが図7に示したように、縦横方向にそれぞれheightドットとwidthドットからなる場合、
KS=min(height,width)/A …(7)
のようにして求めている。ここにおいて、min(height,width)はheightドットとwidthドットのうちのいずれか小さい方を指し、Aは定数で「768」としている。むろん、これらは実験結果から得られたものであり、適宜変更可能であることはいうまでもない。ただし、基本的には画像が大きいものほど強調度を大きくするということで良好な結果を得られている。
【0047】
以上のようにしてエッジ強調度Eenhance としきい値STを求めたら、ステップS300にて全画素についてエッジ強調処理を実行する。図17はこのエッジ強調処理のより詳細なフローを示している。この場合も処理対象画素を決めておき、処理対象画素を図7に示すように全画素について走査して処理を進めていく。ただし、ステップS310では上述したしきい値STと各画素のエッジ量とを比較してエッジ強調処理対象の画素であるか否かを判定し、同しきい値よりも大きい場合にはエッジ強調処理対象の画素であると判定してステップS320にて各画素毎にエッジ強調処理をする。
【0048】
ステップS320はエッジ強調演算であるが、強調前の各画素の輝度Yに対して強調後の輝度Y’は、
Y’=Y+Eenhance ・(Y−Yunsharp ) …(8)
として演算される。ここで、Yunsharp は各画素の画像データに対してアンシャープマスク処理を施したものであり、ここでアンシャープマスク処理について説明する。図18〜図20は三つの大きさの異なるアンシャープマスク40(41〜43)を示している。このアンシャープマスク40は、中央の「100」の値をマトリクス状の画像データにおける処理対象画素Y(x,y)の重み付けとし、その周縁画素に対して同マスクの升目における数値に対応した重み付けをして積算するのに利用される。今、図19に示すアンシャープマスク42を利用するのであれば、
【数2】
なる演算式に基づいて積算する。(9)式において、「632」とは重み付け係数の合計値であり、むろんサイズの異なる三つのアンシャープマスク41〜43においては、それぞれ「396」、「632」「2516」というような値となる。また、Mijはアンシャープマスクの升目に記載されている重み係数であり、Y(x,y)は各画素の画像データである。なお、ijについては異なる縦横サイズの三つのアンシャープマスク41〜43に対して横列と縦列の座標値で示している。
【0049】
(8)式に基づいて演算されるエッジ強調演算の意味するところは次のようになる。Yunsharp (x,y)は注目画素に対して周縁画素の重み付けを低くして加算したものであるから、いわゆる「なまった(アンシャープ)」画像データとしていることになる。このようにしてなまらせたものはいわゆるローパスフィルタをかけたものと同様の意味あいを持つ。従って、「Y(x,y)−Yunsharp(x,y)」とは本来の全成分から低周波成分を引いたことになってハイパスフィルタをかけたものと同様の意味あいを持つ。そして、ハイパスフィルタを通過したこの高周波成分に対してエッジ強調度Eenhance を乗算して「Y(x,y)」に加えれば同エッジ強調度Eenhance に比例して高周波成分を増したことになり、エッジが強調される結果となる。
【0050】
一方、エッジの強調度合いは、アンシャープマスクの大きさによっても変化する。縦横の升目数の異なる三つのアンシャープマスク41〜43であれば、大きなマスクほど注目画素の近隣の画素に対する重み付けが大きく、遠くの画素にいたるまでの距離の中で徐々に重み付けが減っていっている。これは言い換えればよりローパスフィルタとしての性格が強くなり、(8)式に従って高周波成分を生成しやすくなるからである。
【0051】
従って、エッジ強調度Eenhance が大きければ大きなサイズのアンシャープマスク43を利用すればよいし、エッジ強調度Eenhance が小さければ小さなサイズのアンシャープマスク41を利用すればよいし、中間的な画素数であれば中間サイズのアンシャープマスク42を利用すればよくなる。アンシャープマスク40は図からも明らかなように、中央部にて最も重み付けが大きく、周縁に向かうにつれて徐々に重み付けの数値が小さくなっている。この変化具合は必ずしも固定的なものではなく、適宜変更可能である。むろん、その名称の如何も問わないし、サイズについても例示的なものにすぎず、「6×6」の升目数であっても良いし、「8×8」の升目数であっても良い。
【0052】
ただし、(9)式の演算は、処理対象画素の周囲の画素に対して、採用するアンシャープマスク40の升目数だけ乗算演算と加算演算が必要になり、処理量としては多大になるから、これを低減する。適当なサイズのアンシャープマスク40を選択した場合に必ずしも全ての升目についての演算が必要ともいえない。図19に示す「7×7」のアンシャープマスク42において最外周の升目の重み付けは「0」あるいは「1」であり、「0」については重み付けの乗算が無意味であるし、「1」の重み付けは升目の全合計値の「632」と比較すれば非常にわずかな重みしか持たないといえる。
【0053】
このような状況から本実施形態においては、「7×7」のアンシャープマスク42の全升目について演算するのではなく、二重線に囲まれた内側の「5×5」のアンシャープマスク44を使用する。このアンシャープマスク44は「7×7」のアンシャープマスク42の最外周を省略するものであり、同様のことは図20に示す「13×13」のアンシャープマスク43の最外周を省略するものとしてもよい。「7×7」のアンシャープマスク42の場合は、処理対象画素の回りに「48(=7×7−1)」個の画素があり、これだけの乗算と加算が必要である。しかしながら、実質的に同じ演算結果となる「5×5」のアンシャープマスク44においては「24(=5×5−1)」回の演算となり、演算量は半減する。「13×13」のアンシャープマスク43の場合は「168(=13×13−1)」回から「120(=11×11−1)」回へと減少する。
【0054】
この他、エッジ強調が必要になる状況を考えるといわゆる画像のエッジ部分であるから、隣接する画素同士の間で画像データが大きく異なる場所に限られる。このような状況から隣接する画素との間で画像データの差が大きな場合に演算するようにしてもよい。このようにすれば、殆どのエッジ部分でない画像データ部分でアンシャープマスクの演算を行う必要がなくなり、処理が激減する。ところで、これまでは理解の簡易のために各画素の輝度と呼んで説明したが、実際には各画素はRGBの階調データを有しており、輝度Yは(1)式に示すように、RGBの階調データの単純な重み付け加算で変換している。
【0055】
強調後の輝度Y’と強調前の輝度Yから、
delta=Y−Y’ …(10)
と置き換えれば、変換後のR’G’B’は、
R’=R+delta
G’=G+delta
B’=B+delta …(11)
のように演算可能となる。このようにすれば乗算と加算は1/3となるので、全体の処理時間としても50〜70%程度の減少が可能となる。また、変換結果は色ノイズの強調がなくなり、画質が向上した。なお、輝度Yを求めるときに必ずしも(1)式のように厳格な重み付けを行う必要もない。例えば、(12)式のように単純な平均値でもさほど大きな誤差は出ない。
【0056】
Y=(R+G+B)/3 …(12)
さらに簡易にするならば、(1)式において最も輝度Yに対する貢献値の大きいG成分だけで輝度Yとみなしてしまっても必ずしも大きな誤差は出ない。以上のように、ステップS110〜S150の部分は画像のシャープ度合いを判定するためにエッジ量を集計するので算出手段を構成するし、ステップS210〜S250ではエッジ強調処理の強調程度や強調処理対象となる画素を判定するためのしきい値を設定するのでエッジ強調要素決定手段を構成するし、ステップS310〜S340ではエッジ強調処理対象の画素についてエッジ強調演算をするのでエッジ強調処理手段を構成することになる。むろん、エッジ強調処理を行う上で前提となる画像データを取得するハードウェア及びソフトウェア上の処理が画像データ取得手段を構成する。
【0057】
一方、これまでは輪郭画素か否かでエッジ量を集計するか否かを決定していたが、これはエッジ量の高い画素に着目している一例に過ぎず、いわゆる重み付けの手法でエッジ量の高い画素に着目して画像全体のシャープ度合いを判断することも可能である。上述した例ではステップS120にて輪郭画素であると判断された場合にのみステップS130にてエッジ量とが素数を集計しているが、図21に示すようにエッジ量が大きいものほど重み付けを大きくして全画素について集計するようにしても良い。このように重み付けして積算された画素数でエッジ量を除算すれば、エッジ量の低い画素は着目度を低く、エッジ量の高い画素には着目度を高くした結果が得られる。
【0058】
むろん、この場合における具体的な重み付けの手法などは適宜変更可能であるし、このようにしてエッジ量の高い画素に着目しつつも、輪郭画素か否かの判定を行って輪郭画素数を別個に集計するようにしても構わない。次に、上記構成からなる本実施形態の動作を順を追って説明する。写真画像をスキャナ11で読み込み、プリンタ31にて印刷する場合を想定する。すると、まず、コンピュータ本体21にてオペレーティングシステム21aが稼働しているもとで、画像処理アプリケーション21dを起動させ、スキャナ11に対して写真の読み取りを開始させる。読み取られた画像データが同オペレーティングシステム21aを介してアプリケーション21dに取り込まれたら、処理対象画素を設定してから、ステップS110にて(2)式〜(4)式に基づいてエッジ量を判定し、ステップS120では同エッジ量に基づいて当該処理対象画素が輪郭部分であるか否かを判定する。そして、輪郭部分である場合にのみそのエッジ量を積算するとともに輪郭部分の画素数を加算する。
【0059】
以上の処理をステップS140にて処理対象画素を移動させながらステップS150にて全画素について実行したと判断されるまで繰り返す。そして、全画素について実行し終えたら、ステップs210では輪郭画素の割合を算出してステップS220でエッジ強調処理対象の判定に使用するしきい値を計算するし、ステップS230では積算されたエッジ量と画素数から輪郭画素についてのエッジ量の平均値を演算し、ステップS240では画像データに基づく画像の大きさに基づいて(6)式と(7)式とからエッジ強調度Eenhance を演算する。
【0060】
次に、ステップS310〜S340の間で画像データの各画素について先程と同様に処理対象画素を移動させながら各画像データについて実際のエッジ強調処理を実行する。この場合、上述したようにエッジ強調度Eenhance に応じてアンシャープマスク41〜43を選択してもよい。また、各種の演算減量手法に基づいて演算を省略すれば処理速度が向上する。この後、エッジ強調された画像データをディスプレイドライバ21cを介してディスプレイ32に表示し、良好であればプリンタドライバ21bを介してプリンタ31にて印刷させる。すなわち、同プリンタドライバ21bはエッジ強調されたRGBの階調データを入力し、所定の解像度変換を経てプリンタ31の印字ヘッド領域に対応したラスタライズを行なうとともに、ラスタライズデータをRGBからCMYKへ色変換し、その後でCMYKの階調データから二値データへ変換してプリンタ31へ出力する。
【0061】
以上の処理により、スキャナ11を介して読み込まれた写真の画像データは自動的に最適なエッジ強調を施されてディスプレイ32に表示された後、プリンタ31にて印刷される。このように、エッジ強調処理の中枢をなすコンピュータ本体21はステップS110にて隣接する画素間のデータの差分値からベクトル化しつつその変化度合いであるエッジ量を求め、ステップS120,S130にてエッジ量の大きい画像のみ選択して積算し、ステップS230にて平均値を求めることにより、画像の変化度合いの大きい画素に着目して当該画像のシャープ度合いを求めることになり、このようにして求めた画像のシャープ度合いに基づいてエッジ強調度Eenhance を決定して自動的に最適な強調度でエッジ強調処理を実行する。
【図面の簡単な説明】
【図1】本発明の一実施形態にかかるエッジ強調処理装置を適用した画像処理システムのブロック図である。
【図2】同エッジ強調処理装置の具体的ハードウェアのブロック図である。
【図3】本発明のエッジ強調処理装置の他の適用例を示す概略ブロック図である。
【図4】本発明のエッジ強調処理装置の他の適用例を示す概略ブロック図である。
【図5】本発明のエッジ強調処理装置におけるメインルーチンのフローチャートである。
【図6】画像のエッジ量集計処理のフローチャートである。
【図7】画像データの大きさと処理対象画素を移動させていく状態を示す図である。
【図8】画像の変化度合いを直交座標の各成分値で表す場合の説明図である。
【図9】画像の変化度合いを縦軸方向と横軸方向の隣接画素における差分値で求める場合の説明図である。
【図10】隣接する全画素間で画像の変化度合いを求める場合の説明図である。
【図11】背景が少ない場合の画像データの一例を示す図である。
【図12】背景が多い場合の画像データの一例を示す図である。
【図13】輪郭画素として集計対象となる画素を示す図である。
【図14】エッジ強調要素判定処理のフローチャートである。
【図15】エッジ量の分布としきい値の対応関係を示す図である。
【図16】画像の大きさと適用度との対応関係を示す図である。
【図17】エッジ強調処理のフローチャートである。
【図18】最小サイズのアンシャープマスクを示す図である。
【図19】中サイズのアンシャープマスクを示す図である。
【図20】最大サイズのアンシャープマスクを示す図である。
【図21】エッジ量に重み付けして積算する際のエッジ量と重み付けの対応関係を示す図である。
【符号の説明】
10…画像入力装置
20…画像処理装置
21…コンピュータ
21a…オペレーティングシステム
21b…プリンタドライバ
21c…ディスプレイドライバ
21d…画像処理アプリケーション
22…ハードディスク
23…キーボード
24…CD−ROMドライブ
25…フロッピーディスクドライブ
26…モデム
30…画像出力装置
40…アンシャープマスク
41〜44…アンシャープマスク
Claims (7)
- 画像をドットマトリクス状の画素で多階調表現した画像データを取得する画像データ取得手段と、
各画素ごとに周囲の画素との輝度の差、レッド、グリーン、ブルーの階調値から算出した輝度の代替値の差、あるいはグリーンの階調値である輝度の代替値の差を変化度合いの値として算出し、算出された上記変化度合いが所定の値よりも大きな値について同変化度合いの値を集計する算出手段と、
上記変化度合いの集計結果に基づいて画像全体のシャープ度合いを判定し、上記判定したシャープ度合いに基づいて各画素を強調処理するための強調要素を決定するエッジ強調要素決定手段と、
この決定された強調要素に基づいて各画素のエッジを強調処理するエッジ強調手段とを具備することを特徴とするエッジ強調処理装置。 - 上記請求項1に記載のエッジ強調処理装置において、上記算出手段は、上記変化度合いの値が大きいものほど重み付けを上げて同変化度合いの値を集計することを特徴とするエッジ強調処理装置。
- 上記請求項1または請求項2のいずれかに記載のエッジ強調処理装置において、上記算出手段は、上記変化度合いの値が大きい輪郭画素について同変化度合いの値を集計することを特徴とするエッジ強調処理装置。
- 上記請求項1〜請求項3のいずれか一項に記載のエッジ強調処理装置において、上記エッジ強調要素決定手段は、上記集計結果に基づいて上記変化度合いの値が上記変化度合いの値の大きい画素が占める割合いに基づいて決定されたしきい値以上のものだけを強調処理の対象とするようにする強調画素選別条件を決定することを特徴とするエッジ強調処理装置。
- 上記請求項1〜請求項4のいずれか一項に記載のエッジ強調処理装置において、上記エッジ強調要素決定手段は、上記画像データの画像の大きさを検知して大きいものほど強調程度を大きくするように強調要素を決定することを特徴とするエッジ強調処理装置。
- 画像をドットマトリクス状の画素で多階調表現した画像データに対してエッジ強調処理を行うエッジ強調処理方法であって、
各画素ごとに周囲の画素との輝度の差、レッド、グリーン、ブルーの階調値から算出した輝度の代替値の差、あるいはグリーンの階調値である輝度の代替値の差を変化度合いの値として算出し、上記変化度合いが所定の値よりも大きな値について同変化度合いの値を集計する工程と、
上記変化度合いの集計結果に基づいて画像全体のシャープ度合いを判定し、上記判定したシャープ度合いに基づいて各画素を強調処理するための強調要素を決定する工程と、
この決定された強調要素に基づいて各画素のエッジを強調処理する工程とを具備することを特徴とするエッジ強調処理方法。 - 画像をドットマトリクス状の画素で多階調表現した画像データに対してコンピュータにてエッジ強調処理を行うエッジ強調処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
各画素ごとに周囲の画素との輝度の差、レッド、グリーン、ブルーの階調値から算出した輝度の代替値の差、あるいはグリーンの階調値である輝度の代替値の差を変化度合いの値として算出し、算出された上記変化度合いが所定の値よりも大きな値について同変化度合いの値を集計するステップと、
上記変化度合いの集計結果に基づいて画像全体のシャープ度合いを判定し、上記判定したシャープ度合いに基づいて各画素を強調処理するための強調要素を決定するステップと、
この決定された強調要素に基づいて各画素のエッジを強調処理するステップとを具備することを特徴とするエッジ強調処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10990198A JP4161141B2 (ja) | 1997-06-02 | 1998-04-20 | エッジ強調処理装置、エッジ強調処理方法およびエッジ強調処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14405997 | 1997-06-02 | ||
JP9-144059 | 1997-06-02 | ||
JP10990198A JP4161141B2 (ja) | 1997-06-02 | 1998-04-20 | エッジ強調処理装置、エッジ強調処理方法およびエッジ強調処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008009167A Division JP4492704B2 (ja) | 1997-06-02 | 2008-01-18 | エッジ強調処理装置、出力装置、エッジ強調処理方法およびコンピュータ読み取り可能な記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1155526A JPH1155526A (ja) | 1999-02-26 |
JP4161141B2 true JP4161141B2 (ja) | 2008-10-08 |
Family
ID=26449603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10990198A Expired - Fee Related JP4161141B2 (ja) | 1997-06-02 | 1998-04-20 | エッジ強調処理装置、エッジ強調処理方法およびエッジ強調処理プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4161141B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2124189A1 (en) * | 2008-05-19 | 2009-11-25 | Mitsubishi Electric Information Technology Centre Europe B.V. | Image processing to enhance image sharpness |
JP2013219462A (ja) * | 2012-04-05 | 2013-10-24 | Sharp Corp | 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記録媒体 |
JP5975215B2 (ja) | 2012-11-14 | 2016-08-23 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム、画像調整装置及び画像調整プログラム |
CN111340715B (zh) * | 2019-09-19 | 2024-02-06 | 杭州海康慧影科技有限公司 | 一种图像的网格纹弱化方法、装置及电子设备 |
CN115314693B (zh) * | 2022-10-11 | 2023-02-10 | 长春希达电子技术有限公司 | 彩色边缘弱化方法、数据处理模块、传输系统及控制系统 |
-
1998
- 1998-04-20 JP JP10990198A patent/JP4161141B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH1155526A (ja) | 1999-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4492704B2 (ja) | エッジ強調処理装置、出力装置、エッジ強調処理方法およびコンピュータ読み取り可能な記録媒体 | |
JP3925588B2 (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 | |
EP1139284B1 (en) | Method and apparatus for performing local color correction | |
JP4381360B2 (ja) | 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム及び記録媒体 | |
JP4064023B2 (ja) | デジタル画像中間調処理方法及び装置、並びに、デジタル画像中間調処理プログラムを記録した記録媒体 | |
JP4243362B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラムを記録した記録媒体 | |
JP4161141B2 (ja) | エッジ強調処理装置、エッジ強調処理方法およびエッジ強調処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP3921737B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP4019239B2 (ja) | 画像鮮鋭化方法および画像鮮鋭化装置 | |
JP3702956B2 (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 | |
JP4067538B2 (ja) | 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム、及び記録媒体 | |
JP4053362B2 (ja) | 補間処理方法、補間処理プログラムおよびこれを記録した記録媒体ならびに画像処理装置およびこれを備えた画像形成装置 | |
JPH10200756A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 | |
JP3918924B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP3501151B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP2000285232A5 (ja) | ||
JP3702957B2 (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 | |
JP3201338B2 (ja) | 画像データ補間装置、画像データ補間方法および画像データ補間プログラムを記録した媒体 | |
JP2003102027A5 (ja) | ||
JP3981785B2 (ja) | 画像鮮鋭化プログラムを記録した媒体、画像鮮鋭化装置および画像鮮鋭化方法 | |
JP3731573B2 (ja) | 画像処理装置、画像評価装置、画像処理方法、画像評価方法および画像処理プログラムを記録した記録媒体 | |
JP4475316B2 (ja) | 画像処理装置、画像処理プログラムを記録した記録媒体および画像処理方法 | |
JP4941575B2 (ja) | 画像処理方法、画像処理プログラムを記録した媒体および画像処理装置 | |
JP4557087B2 (ja) | 画像処理装置、画像処理方法、および記録媒体 | |
JP5029779B2 (ja) | 画像処理方法、画像処理プログラムを記録した媒体および画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050420 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070606 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070711 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071121 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080625 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080708 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |