JP4063360B2 - ビデオ信号画像中のきずを検出する方法および装置 - Google Patents
ビデオ信号画像中のきずを検出する方法および装置 Download PDFInfo
- Publication number
- JP4063360B2 JP4063360B2 JP24393097A JP24393097A JP4063360B2 JP 4063360 B2 JP4063360 B2 JP 4063360B2 JP 24393097 A JP24393097 A JP 24393097A JP 24393097 A JP24393097 A JP 24393097A JP 4063360 B2 JP4063360 B2 JP 4063360B2
- Authority
- JP
- Japan
- Prior art keywords
- flaw
- image
- flaws
- pixels
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 15
- 230000008859 change Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 description 31
- 230000000875 corresponding effect Effects 0.000 description 13
- 230000007547 defect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000000873 masking effect Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000009825 accumulation Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 7
- 230000036961 partial effect Effects 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/253—Picture signal generating by scanning motion picture films or slide opaques, e.g. for telecine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Facsimiles In General (AREA)
Description
【発明の属する技術分野】
本発明は、ビデオ画像における所定数の一列に配置されている画素を統合して1つの群を形成するステップと、きずを表す判定基準に従い前記画の群における各画素を評価するステップと、1つの画素群内のまえもって決められた数の画素がきずを表す前記判定基準を満たしているか否かを判定するステップと、前記画素群を、前記まえもって決められた数を超えているまたは超えていない1つの画素群内の画素の個数に従い、画素群をきず区間と非きず区間とに分類するステップが設けられている、ビデオ信号画像中のきずを検出する方法および装置ならびにこの装置を有するビデオ信号処理装置に関する。
【0002】
【従来の技術】
古いフィルム殊に頻繁に使用されたフィルムは、そのフィルムの比較的長い領域にわたって連続的に広がっている垂直方向の引かき傷を有していることが多い。それらの引かき傷はすでにフィルムカメラ内で生じたものかもしれないし、あるいは複写プロセス中またはフィルムのたび重なる再生によって生じた可能性もある。
【0003】
このようなフィルム素材を表示してみると、フィルム素材がそれぞれポジティブであるのかネガティブであるのかに応じて、白または黒の水平方向のストライプとしてきずが現れる。ドイツ連邦共和国特許出願第4432787.0号明細書から、垂直方向のフィルムきずにより引き起こされた画像信号中のエラーを検出して隠蔽する方法および装置が公知である。この場合、障害を受けた画素により生じる障害個所からエラー信号が導出され、このエラー信号はビデオ信号中のエラーを隠蔽するためのコントロール信号として使用される。たとえば旗竿のように垂直方向に延在する他の画像ディテールときずとを確実に区別できるようにするため、このエラー信号が発せられるのは、水平方向における局所的に制限された可調整のきず幅を越えておらず、そのつどのきずが主として垂直方向に延在しており、さらにきずの長さがほぼフレームの高さに対応するときだけである。次にビデオ信号中の障害個所は、エラー信号を用いることでローパスフィルタリングされた相応のビデオ信号と置き換えられ、その結果、きず部分における画素はきずのすぐ近くの周囲の画素の明るさと色をもつようになり、このようにして極端に強いコントラスト差の発生を避けることができる。
【0004】
ドイツ連邦共和国特許出願第4432787.0号明細書の記載によれば、きずの長さの広がりを評価するため、画像の高さ方向全体には延在していないきずにおいて上下に隣り合う画素が、走査線分類およびメジアンフィルタを用いた垂直方向のローパスフィルタリング処理により、きずの所定の最小の広がりから画像の高さ全体に伸張される。きずを伸張する際の最小値は、メジアンフィルタのタップの個数を介して間接的にしか設定できない。つまりこの装置によれば、斜めのきずの長さの広がりを捕捉することはできない。
【0005】
しかしながら、きずの検出においてはきずの長さを求めることが相違判別のための決定的な特徴である。それというのも、きずの幅やきずに起因して生じるコントラスト差のような他のきずの特徴だけに基づく判別であると、疑いなく抑圧すべきでない他の画像ディテールによっても、相違判別が呼び起こされてしまう可能性があるからである。しかも公知の回路装置の場合、きずの隠蔽に利用される障害個所隠蔽信号によって、きずの周囲を取り囲むビデオ画像中の矩形が占めるであろうビデオ画像の領域が覆われてしまう。きずの傾斜が大きくなればなるほど、実際には隠蔽すべきでない領域も広がる。
【0006】
【発明が解決しようとする課題】
したがって本発明の課題は、ビデオ信号中の斜めのきずをきずと類似した他の画像構造物と確実に区別できるようにしたビデオ信号処理のための方法および装置を提供することにある。さらに本発明の別の課題は、斜めのきずの形状に良好に対応するきずマスクまたはそれから得られる障害隠蔽信号を発生させることにある。
【0007】
【課題を解決するための手段】
本発明によればこの課題は、きず区間として分類された画素群内で、上方の閾値を上回っているかまたは下方の閾値を下回っているコントラスト変化を検出するステップと、1つの画素群について、上方の閾値を上回っているコントラスト変化が生じれば加算を行い、下方の閾値を下回っているコントラスト変化が生じれば減算を行うステップと、前記の加算と減算の結果がきずを表す所定の値を超えているか否かを求めるステップを有することにより解決される。
【0008】
【発明の実施の形態】
本発明の基礎とする着想は、斜めのきずまたは中断を伴うきずを有する所定の画像列内で、きずの場合でも予期され得る相応の特性(幅、コントラスト...)をもつ画素の累積を評価する際、きずの残りの画素と、類似の特性を有するが画像中の実際の物体を構成する画素とのあいまいさが確かなものとなるまで、検出に用いられる閾値を低減することにある。本発明により提案されている判定基準すなわち、個々の画素が各々特定の基準を満たさなければならないだけでなく、所定数の画素が特性に関して所定の最小区分を有していなければならない、ということによって、その群内に偶然に配分された画素がやはりその特性を満たしてしまう確率が低減される。このようにして、たとえば相応の特性を持つ十分な個数の画素がまとまって1つのきずを形成しているのか否かについて、きずが全体としてはもはや検査されず、所定の構造的特性を有する画像ディテールの累積および整列が、実際にきずが存在しているものとして評価される。相応の構造的特性を有する画像物体は、相応の特性を有する偶然に配分された同じ個数の個々の画素から成る画像物体よりも著しく僅かな頻度でしか発生しないので、推定されたきずの構造的特性を検査すれば、きずが実際に存在しているのか否かについて著しく信頼性のある答えが得られる。
【0009】
この目的で本発明の1つの実施例によれば、きずであると推定されているビデオ画像の画像領域においてきず区間と分類された画素群の個数が求められ、この個数が第1の閾値と比較され、この第1の閾値を前記の個数が超えたときにのみ、推定されたきずが識別されたきずとして通報されるように構成されている。
【0010】
本発明の基礎としている着想は、きずとして認めるためにはきずは所定の最小数のきず区間から成るものでなければならないという点である。検出されたきず区間の個数が過度に小さければたいていは、きず区間に関する判定基準は満たしているが画像物体の実際の部分的な構造である画像ディテールに係わるものである。そのような画像構造の累積は画素の偶然の発生よりも僅かな頻度でしか生じないので、きず区間の個数に関する判定は著しく信頼性のあるものである。
【0011】
きず区間の相応の累積の場合には実際のきずにかかわるものであるので、連続的なきずの累積を有していない区間はきずとして認められ、つまり部分的に中断されたきずとして認められる。このことが殊に有利である理由は、たとえば暗い画像領域中を延在する黒いきずは存在していても目に見えないからである。たしかにこのようなきずは隠蔽する必要はないが、従来のやり方で検査した場合にはきずの測定可能な全長が低減され、きずの検出が妨げられてしまうことになる。
【0012】
本発明の有利な実施形態によれば、きずとして認めるためにきずのうちどれだけの部分が少なくとも可視でなければならないかの判定閾値を、閾値を変化させることにより関連する画像内容に合わせて整合させることができる。
【0013】
有利には、きず区間として分類された画素群を、きずを隠蔽可能なきずマスクを形成するために利用できる。このことの利点は、このようにして形成されたマスクは、きずを矩形として取り囲む画像区間にわたってマスクが延在するような状況と比べて、きずの形状にいっそう精確に整合させることができることである。
【0014】
本発明の著しく簡単な実施例によれば、同じ水平方向位置において垂直方向に隣り合う所定数の走査線中で生じる画素がまとめられて、画素群が形成される。このようにすることで各ビデオ画像が複数の画像ストライプに分割され、1つの画像ストライプにおいてじかに隣り合う画素だけが考慮される。そしてこのことにより、きず区間を僅かなコストで検出できるという利点が得られる。
【0015】
本発明の1つの独特の実施形態によれば、きず区間の分類の目的で、ハイパスフィルタリング処理された画素が少なくとも1つのコントラスト閾値と比較され、所定のコントラスト閾値を超えている画素群の画素の和が求められ、その和が別の閾値を超えているかぎり、この画素群はきず区間として分類されるように構成されている。
【0016】
殊に、ハイパスフィルタリング処理された信号は、実質的にパルス形状の画像物体の信号部分しか有していない。それらのパルス形状画像物体がやはり所定のコントラスト差を超えていれば、きずとみなされた画素信号中ですでに予備選択が行われている。しかし、所定の最小数の画素がやはり同じコントラスト差を有していたならば、その画素群については、きずのセグメントまたは区間と同じような構造を有しているものとみなすことができる。
【0017】
次に、図面を参照しながら実施例に基づき本発明について詳細に説明する。
【0018】
【実施例】
図1にはフィルムスキャナ1のブロック図が示されており、スキャナ2で得られたスキャンされたフィルムのアナログビデオ信号は、A/D変換器3を介してディジタル形式の輝度信号およびクロミナンス信号に変換される。さらにノイズ除去装置4内には複数の検出器5,6が設けられており、それらはスキャンされたビデオ信号中のエラーを検出し、そのエラーを障害個所信号K1,K2によって特徴づける役割を有している。これらの検出器は、斜めきずを検出するための本発明の特徴に従って実装されたきず検出器5と、たとえば汚れ検出器6である。その際、障害個所信号K1,K2によりメジアンフィルタ7が制御され、エラーとみなされた画像領域はこのフィルタによってメジアンフィルタリングした値と置き換えられる。
【0019】
ところで、本発明によるきず検出装置はフィルムスキャナに限定されるものではなく、ビデオ信号中のノイズを除去するいかなる装置においても利用でき、つまりたとえば障害を受けたビデオ信号を表示する場合にも利用できるし、いわゆる”ノイズ低減装置(noise reducer) 内の独立した機器として用いることもできる。また、ソース信号の形式がアナログであろうがディジタルであろうが、そのことは本発明の本質にとって重要なものではない。それというのも、信号変換はいかなる場合でも問題なく実行できるからである。
【0020】
図2には順次連続する画像N−1,N,N+1が示されており、その際、個々の画像はいわゆるフィルムのフレーム20によって互いに分けられている。これらの画像には斜めの物体Aも含まれているし、すべての画像にわたり斜めに延在するきずBも含まれている。複数の斜めの物体を有する画像中に複数のきずがある場合でも既述の方法および装置によって区別することができるが、みやすくするため、図2には1つの斜めの物体Aと1つの斜めのきずBしか示されていない。単独の画像障害と区別して、2つ以上の画像にわたって延在しているあらゆるきずのことを、それらがどのようにして生じたかにはかかわりなく、”きず”と呼ぶことにする。
【0021】
きずの広がりを求めるために、図3のフローチャートに示されている以下のステップがたとえばプログラミング可能な信号プロセッサにより実行される。
【0022】
まずはじめに、垂直構造のすべての信号がビデオ信号から抽出される(ブロック31)。斜めのきずBもフィルムの走行方向に対し実質的に垂直に延在しているので、このようにすることで斜めのきずも検出される。有利には、垂直構造のフィルタリングによって所定の最大幅を越えていない構造だけが検出される。それというのも、きずの幅は一般に数画素程度に限られているからである。
【0023】
次のステップ(ブロック32)において、フィルタリングされた垂直構造から、それらの周囲の画像内容に対し所定の最小コントラストを有する構造が選別される。したがって、このようにして選別された信号の画素は、相応のコントラスト差を有する著しく微細な構造からの画素だけから成るものである。
【0024】
次のステップ(ブロック33)において、推定されたきずの延在する方向で整列している隣接する所定数の画素が組み合わせられて画素群が形成される。実質的にフィルムの走行方向に延在しているフィルムのきずに関して適切であると判明したことは、フィルム走行方向に上下に位置している隣接する画素だけを検査すればよいということである。斜めのきずの少なくとも一区間は、あまりに傾斜しすぎていなければ、垂直方向の構造を有しているので、このようにして斜めに延在するきずを検出することができる。
【0025】
次のステップ(ブロック34)において上記の画素群に対し、同じコントラスト差を有する画素が優位を占めている大多数のものであるとすることができるかについて調べられる。このことがあてはまるならば、それらの画素群はきず区間として分類される。
【0026】
さらに次のステップ(ブロック35)において、推定されたきずの延在する方向に整列しているきず区間の累積がサーチされる。フィルムのきずに関して、このサーチは同じ水平方向位置を有するきず区間のサーチに制限することができる。
【0027】
さてここで(ブロック36)、見つけだされたきず区間からきずマスクを構成することができ、他方、たとえばきずが先行の画像および後続の画像において延在しているか否かというテストのような付加的な判定基準を、きず検出の信頼性を高めるために利用することができる。
【0028】
図6には、精確に垂直方向のきずも斜めのきずも両方とも検出するための本発明によるきず検出器のブロック図が示されている。このきず検出器は基本的に次の機能ブロックに分けることができる:
−パルス状の画像変化をフィルタリングするためのフィルタ、以下ではパルス・バンドパスフィルタ110と称する。
【0029】
−垂直方向に重畳されたパルス状の画像変化をきず可能性区間としてマークするきず区間検出器120。
【0030】
−上縁で検出された目下の画像におけるきず区間が先行の画像の下縁から目下の画像まで及んでいるのかの判定、ならびに下縁において検出された目下の画像におけるきず区間が後続の画像の上縁まで及んでいるのかの判定を行うための手段、以下ではきず継続検出器130,140と称する。
【0031】
−先行および後続の画像の上縁と下縁に延在するきず区間は同じきずに属するのかを判定するための手段、以下ではきず変位検出器150,160と称する。
【0032】
−検出されたきずを隠蔽するためのマスク信号を供給する2つのマスク発生器190,200。
【0033】
−目下の画像におけるきずの全長を付加的な区別基準として算入させる2つのきず長さ検出器170,180。
【0034】
さらに、後で個々に説明する複数の制御信号を発生する制御回路100ときず輪郭増幅器220も設けられており、この増幅器220の出力信号はマルチプレクサ210においてマスク発生器190,200の出力信号と合成されて、障害個所隠蔽信号Kが形成される。
【0035】
図7には、パルス・バンドパスフィルタ110ときず区間検出器120の詳細回路図が示されている。きず検出器の入力端子101のところで、ディジタルビデオ信号の輝度成分が制御回路100とパルス・バンドパスフィルタ110へ供給される。パルス・バンドパスフィルタ110は、調整可能な所定の最大幅のあらゆるパルス状変動を輝度信号から抽出する。この目的で、パルス・バンドパスフィルタ110は有利には相補形メジアン・ローパスフィルタとして実現される。この場合、減算器113によって、第1の遅延素子111により遅延された入力信号とメジアンフィルタ112においてメジアンフィルタリングされた入力信号との信号偏差が形成される。第1の遅延素子111における信号遅延時間は、メジアンフィルタ112の信号遅延時間に対応するように選定される。メジアンフィルタ112において求められるべき中央値をもつ順次連続する画素の個数を調整することにより、パルス・バンドパスフィルタ110の帯域幅を調整することができる。メジアンフィルタ窓をたとえば5つの画素に調整すれば、最大で2つの画素幅のパルスが変化しないまま通過することになる。相補形メジアン・ローパスフィルタの利点は、きずのカーブ形状がそのまま保持され、たとえばハイパスフィルタの場合のように信号エッジが広がらないことである。相補形メジアン・ローパスフィルタの構造および機能の詳細は、ドイツ連邦共和国特許出願公開第4432787号公報に記載されている。
【0036】
パルス・バンドパスフィルタ110の出力信号はきず区間検出器120へ供給される。この実施例では検出器120は、量子化器121、累算器122および2つの弁別器123,124から成る。量子化器121は2つのスイッチング閾値をもっており、つまり下方のスイッチング閾値−Cと上方のスイッチング閾値+Cを有している。量子化器121は、入力信号が下方のスイッチング閾値−Cよりも小さければ−1を供給し、入力信号が上方のスイッチング閾値+Cを越えれば+1を供給し、入力信号がそれら2つのスイッチング閾値の間にあれば値0を供給する。有利には、2つのスイッチング閾値−Cと+Cは制御範囲の終わりのところで輝度信号の2%に調整され、したがって比較的小さいコントラスト変動によってすでに、スイッチング閾値を下回ったり上回ったりする値が生じることになる。このことで、あまり目立たないきずあるいは著しく明るいまたは著しく暗い画像周囲におけるきずも確実に検出できるようになる。負の閾値−Cを下回ったということは黒いきずであることを表し、閾値+Cを越えたということは白いきずであることを表す。このため、相応のコントラスト差を有するパルス状の変動だけが値+1および−1のところに描かれる。これに対し、輝度がパルス状に変動していないビデオ信号はその輝度に無関係に値0のところに描かれ、また、メジアンフィルタ112の調整されたパルス幅よりも大きいパルス幅を有するパルス状の変化を伴うビデオ信号も値0のところに描かれる。
【0037】
ビデオ信号を走査線ごとにシーケンシャルに処理するため、垂直方向におけるきずの広がりだけ、つまり水平方向に並んだ僅かな画素にきずが限られていることだけがこれまで検査されてきた。しかしながらきずの本質は、ビデオ信号の互いに隣り合う走査線内で障害がほぼ同じ垂直方向位置に生じる点にある。検出されたパルス状変動がきずの一部分であるのか、つまり垂直方向に上下に位置しているかを検出するため、所定数の走査線に対する走査線累算器122において水平方向位置に従って別個に量子化器121の出力値の和が形成される。ビデオ画像の可視部分が575本の有効走査線を有し走査線ごとに720個の画素をもつPAL規格によるビデオ画像を走査する場合、フィールド中で検出を行うならば、16本の走査線にわたり累算を行うのが好適であると実践で判明した。可視の各フィールドの開始時点とまえもって定められた走査線がそのつど経過した後に、制御回路100はリセットパルスを発生し、このリセットパルスにより走査線累算器115の内容が値0に戻される。このようにして、垂直方向に上下に位置する画像ストライプ中におけるきずの検出が行われる。
【0038】
図4には、画像ストライプ41に分けられた画像と中断部分を有するきず42が示されている。個々の画像ストライプ41の水平方向位置xiで隣り合う画素により、それぞれ1つの列ブロック43が形成される。1つの列ブロック43における画素の個数は、画像ストライプ形成に用いられる走査線の数に対応する。したがって1フィールドの237.5本の走査線において、各フィールドは15個の画像ストライプに分けられ、一番下の画像ストライプは約14本の走査線だけで形成される。しかしこのような小さな偏差は、測定された値の選択された処理のためには無視できる程度のものである。
【0039】
図4の列ブロック43における16個の画素は、コントラスト変化の僅かな5つの画素44と、白色領域でコントラスト変化を有する画素45と、黒色領域でコントラスト変化を有する画素46により構成されている。画像ストライプに分けて捕捉されたきず区間を累算することの利点は、パルス状の経過特性を伴わない画像ディテール(量子化器121の出力値は0)によっても累算値は変化せず、白色領域におけるパルス状の変化(量子化器121の出力値=+1)と列の別の個所で黒色領域におけるパルス状の経過特性(第1の弁別器121の出力値=−1)を有する画像ディテールは、互いに相殺される(−1と+1の和=0)点にある。累算の結果がゼロから著しく偏差するのは、考察している個々の画像ストライプ41における1つの列ブロック43内で、明るさ(明ないし暗)の一方の領域におけるコントラスト差の和が明るさ(暗ないし明)の他方の領域におけるコントラストの和より大きい場合である。その結果、逆のコントラスト差を有する偶然に分散されたパルス状の画像ディテールは平均化される一方、パルス形態およびコントラスト差の条件を満たす垂直方向に延在する長い画像ディテールは増幅される。
【0040】
この目的で、走査線累算器122の出力値は弁別器123,124へ供給される。この場合、第1の弁別器123は、累算結果が画像ストライプ形成に用いられた走査線数mの半分よりも大きければ、この実施例では値+8よりも大きければ、出力信号を送出する。また、第2の弁別器124は、累算値が画像ストライプ形成に用いられた走査線数の半分の負の値よりも小さければ、この実施例では値−8よりも小さければ、出力信号を送出する。これにより、パルス状の画像ディテールをもつ列ブロックが1つの方向(黒または白)でのみコントラスト差を有する明確な内容の画像ディテールであれば、矛盾するコントラスト差を有する画像ディテールの場合よりも著しく容易に閾値を超えることができるようになる。図4に示されている列ブロック43の場合、値0である5つの画素44と、値+1である1つの画素45と値−1である10個の画素46から、−9という累算値が得られ、その結果、第2の弁別器124が黒いきず部分区間を表す出力バスを送出する。
【0041】
しかも、このように選定された閾値により以下のことが保証される。すなわち、きず部分区間の画素として分類できるようにするために、少なくとも2×2のきずの画素または少なくとも1×3のきずの画素が必ずじかに隣り合うようになる。また、このようにして得られるきず部分区間のきわめて確実な識別によって、既述のようにコントラスト差の閾値を相応に低く設定することができるようになり、その結果、かすかなきずでも識別できるようにするにはどうしても生じてしまう低いコントラスト値に起因する誤判定も、列ブロックの累算値に関する判定によって一掃されることになる。
【0042】
このような形式の検出によれば、選択された走査線上の垂直位置を最大でパルス・バンドパスフィルタ110のパルス帯域幅だけ変化させるようなきずの画素をほぼ捕捉できる。このため、きずの所定の最大幅における画像ストライプの走査線数(パルス・バンドフィルタ110の帯域幅)により、ビデオ画像の高さ方向軸に対し斜めに延在しているきずがとり得る最大傾斜角度が決まり、このことで最も好適な場合にはきずの部分区間であるとして識別することもできるようになる。
【0043】
弁別器123,124の出力信号により、各画像ストリップの個々の水平方向位置において、以下ではきずマークと称する検出されたきず部分区間に対するマークがセットされる。これらのきずマークは、以降では黒いきずと白いきずとに対し別個の機能ブロックにおいて評価される。その際、第1の弁別器123の出力信号により、白いきずを評価するための機能ブロック130,150,170,190の入力信号が形成され、第2の弁別器124の出力信号により、黒いきずを評価するための機能ブロック140,160,180,200の入力信号が形成される。しかし個々の機能ブロックは同一の構成であるため、以下では図5および図8を参照しながら白いきずの処理についてのみ説明する。
【0044】
きず継続検出器130の第1の走査線メモリに、第1の弁別器123の論理出力値が一時記憶される。画像ストライプの終端において第1の走査線メモリ131は、累算器122がリセットされる前にそのつど結果を受け取る。きず継続検出器130にはさらに4つの別の走査線メモリ132,133,134,135が設けられており、これらの走査線メモリは、それぞれ異なる時点における第1の走査線メモリの内容を受け取るよう制御回路100により制御される。時間的にそれぞれ異なる取りの行われる様子が、図8においてスイッチ136,137によりシンボリックに示されている。
【0045】
以下の説明では目下の画像N中の検出すべききずについて、目下の画像Nに先行する画像N−1のときに、画像N−1の最後の走査線が分析された後で第1の走査線メモリ131の内容が第2の走査メモリ132に書き込まれ、しかもこれは第1の走査線メモリ131がリセットされる前に行われたものとする。したがってこの場合、第2の走査線メモリ132は、目下の画像Nに先行する画像N−1の下方のストライプ(フィールドの走査線273〜287)におけるきずマークを受け取る。そして目下の画像Nが分析されるとき、制御回路は第3の走査線メモリ133を制御して、最初の16本の走査線のきずマークつまり目下の画像Nの下方のストライプが第3の走査線メモリ133に格納されるようにする(第1のスイッチ136のスイッチ位置はこの時点での様子を表している)。最後の走査線つまり走査線273〜287のきずマークが目下の画像Nにおいて形成された後、第1の走査線メモリ131の結果が制御回路100により第4の走査線メモリ134に格納される。新しい後続の画像N+1における最初の16本の走査線のきずマークが第1の走査線メモリに完全に格納された後、制御回路100は相応の制御信号を用いることで第1の走査線メモリ131の内容を第5の走査線メモリ135へ転送する。そして第2の走査線メモリ132と第3の走査線メモリ133のメモリ内容の位置比較を第1のANDゲート138において行うことによって、先行の画像N−1の下縁と目下の画像Nの上縁との間のきずマークの対応する位置STを求めることができ、さらに第4の走査線メモリ135と第5の走査線メモリ135のメモリ内容の位置比較を第2のANDゲート139において同時に行うことによって、目下の画像Nの下縁と目下の画像Nに続く画像N+1の上縁との間のきずマークの対応する位置SBを求めることができる。これら2つのANDゲート138,139を用いた比較により、先行の画像の下方のストライプから離れたのと同じ位置で後続の画像中の上縁の同じ位置に続くきず区間Sが選び出され、ないしはある画像の下縁から離れ後続の画像の上縁の同じ水平位置に現れるきず区間が選び出される。フィルム画像の高さに比べフィルムの縁の高さは僅かであるので、この条件は、画像中を精確に垂直に延在するきずについても、あるいは画像中を僅かに斜めに延在するきずについてもあてはまる。そしてこのようにして、きずの2つの基本条件すなわち相応のコントラスト差をもつ狭い輪郭を満たしているがフィルムのきずとは異なりそのそれらの位置が画像ごとに変化していない画像ディテールAを、いっそう明瞭に斜めのきずと区別することができる。それというのも、先行の画像N−1の下縁と目下の画像Nの上縁との間のそれらの水平位置も、目下の画像Nの下縁と目下の画像Nに続く画像N+1の上縁との間の水平位置も、互いに著しく異なっているからである。
【0046】
僅かに傾斜しているきずの場合、それらの水平位置はフィルムの縁を通過しているときにはたいして変化していないので、同一のきずマークST,SBの検査にとって完全に十分である。大きく傾斜したきずを検出するのであれば、同一のきずマークを探す代わりに所定の許容範囲内のきずマークを探すようにする。
【0047】
制御回路100による走査線メモリ131のメモリ内容の読み込みは既述のように連続的に行われるので、上方の画像ストライプのきずマークTはそのつど第3の走査線メモリ133ないし第5の走査線メモリ135に交互に書き込まれ、個々の画像における下方の画像ストライプのきずマークBは第2の走査線メモリ132ないし第4の走査線メモリ134に交互に書き込まれる。このようにして、評価すべき各画像N−1,N,N+1...に対し、評価を行うべき画像よりも1画像遅れてそのつど対として必要とされるマークが得られるようになる。これに続く結合において、第1のANDゲート138および第2のANDゲート139の出力信号T、Bは、出力信号を変化させることなくORゲートの入力信号としてORゲート151において任意に入れ替え可能であるので、画像の1つおきの評価にあたり両方のANDゲート138,139の出力信号TおよびBの意味内容が入れ替わることは重要なことではない。しかしながら、既述の交互の記憶動作により、走査線メモリの記憶容量を著しく小さく押さえることができる。
【0048】
きず変位検出器150においてまずはじめに、上縁において検出され位置STで縁を越えて延在しているきずが、下縁において検出され位置SBで縁を越えて延在しているきずと対応しているか否かが調べられ、つまりきず位置ST,SBが、おそらくはそれらが1つの斜めに延在するきずからのものであるよう互いに接近して位置しているか否かが調べられる。この目的で、ORゲート151において結合された上方のきずマークSTと下方のきずマークSBが、伸張フィルタにおいて所定数の画素分だけ拡大される。この場合、きずマークを拡大させる画素の個数によって、斜めに延在するきずがまだ斜めに延在するきずとして検出される領域も定まる。実践において、走査線の左右方向へ画素をそれぞれ1%だけ広げるのが好適な値であると判明した。
【0049】
きずマークを拡大するために、この実施例ではそれぞれ16個の互いに隣りあうきずマークが観察される。これらのきずマークのうちの1つが論理値1を有していれば、他のすべてのきずマークもただちにこの値にセットされる。これに続いて圧縮フィルタ153において、最初に拡大されたのと同じ画素の個数だけ縮小され、これによって、上方および下方のきずマークにおける拡大された領域が継ぎ目なく互いに融合している場合つまり完全にまたは部分的に重なり合っている場合にのみ、信号が残されたままになる。このようにすることで、上縁に入ってきたきずの位置と下縁から出た位置とが過度に離れていない場合にのみ、つまりきずの傾斜角度が過度に大きくない場合にのみ、以下できず一致信号と称する信号が生成される。きず継続検出器150ときず変位検出器150は、きず一致信号が目下考察中の画像Nの各走査線ごとに発生するよう、制御回路100により制御される。
【0050】
きず一致信号Pは目下の画像のきず変位全体にわたり広がっているので、斜めのきずであればきずにより障害を受けていない多数の画素もカバーしている。したがって、マスク形成器170のマスキングゲート171において、きず一致信号Pが目下の画像のきずマークと結合され、きず部分区間として分類された各画像ストライプの列ブロックだけがマスキングされるようにされる。
【0051】
この目的で、第1の走査線メモリ131に画像ストライプごとに記憶されていたきずマークが走査線ごとに送出され、きず継続検出器130ときず変位検出器150の動作および計算の時間に応じて第2の遅延素子において遅延される。AND結合により、マスキングゲート171から供給されるマスキング信号Mがそのつどきず部分区間として検出される列ブロックに低減され、その結果、斜めに延在するきずであっても隠蔽は画像の狭い領域しか覆わない。このようにして、きずの部分ではないがきずの近くに位置する画素の隠蔽が回避される。
【0052】
図5には、このようにして複数のマスキングブロック52からまとめられたビデオ画像51のきずマスクが示されている。多数の小さいマスキングブロックであるために、きずマスクを著しく良好にきずの形状および経過に整合させることができる。
【0053】
これまで述べてきた装置によれば、画像中を垂直に延在するきずでも画像中を斜めに延在するきずでも十分に覆うことができる。それというのも、先行の画像の下縁から考察中の画像の上縁へきずが継続し、考察中の画像の下縁できずが離れ去り、さらに後続の画像の上縁にきずが現れていることによって、たいていの場合、信頼性のあるきず検出が得られるからである。これらすべての条件を満たしてしまい誤って隠蔽されてしまうような、きずではない画像ディテールはごく僅かにしか存在しない。しかし、完璧なきず検出には、きずが画像中を十分に一貫性をもって動いているか否かを考察することも含まれている。この目的で、第2の走査線累算器191が長さ検出器190に設けられており、これによりすべてのきずマークが列ごとにつまり水平位置に応じて別個に、それぞれ画像全体にわたり累算される。画像の終わりにおいて各画像列の累算値が長さ弁別器192において所定の閾値Lと比較され、累算値がこの閾値を超えているかぎり、第6の走査線メモリ173において該当する水平位置についてマークがセットされ、このマークは画像の終了時に転送される。このようにして、マーキングされた位置は検査されている(フィールド)画像ごとに得られ、走査線ごとにきず一致信号Pと同期して読み出される。きず継続検出器130ときず変位検出器150の遅延時間は1つのフレーム(フィールド)にも対応するので、きず長さ信号Lときず一致信号Pの発せられた画像どうしも互いに対応することになる。
【0054】
きず長さ検出器190を用いることにより上述のようにして、所定数のきずマークが同じ水平位置に生じているか否か、したがってきずが所定の最小の広がりを有しているか否かが検査される。前述の閾値Lに対する最も好ましい値は、使用されるフィルム材料(暗い画像ディテール中に延在する黒いきずの領域はきずとして認識されないため、そのような画像で決められるきずの長さは低減される)と、きず自体の傾斜角度とに依存するので、この閾値は装置のユーザによって任意に調節可能である。1つのフィールドが15個の画像ストライプに分解されるこの実施例の場合には、たとえば8という大きさの閾値Lによって、複数のきず区間から成るきずの全長が画像高さの少なくとも半分を占めるようにすることが表され、これにより上縁および下縁のきずマークも実際にきずの部分とみなされることになる。著しく傾斜しているきずもそのようなものとして認識できるようにすべきであれば、Lの値をたとえば20%低減することができる。この値は著しく低いものであるように思えるが、実践においてこのような付加的な識別基準で誤検出率をさらに低減できることが判明した。
【0055】
きずの形状に合わせて、殊に斜めのきずの経過に合わせて著しく良好に整合された補正信号を形成するため、この実施例ではマルチプレクサ210を切り換えるためにマスキング信号Mが用いられる。そしてこのマルチプレクサはアクティブなマスキング信号Mが存在していれば、きず輪郭増幅器220から供給された信号を通過させる。この実施例の場合、パルス・バンドパスフィルタ110の出力信号がきず輪郭増幅器210の入力側へ供給されるので、相応の水平方向最大幅をもつ画像ディテールだけが増幅されることになる。絶対値形成器221によって、黒および白のきずが同じように扱われるようになる。乗算器22において可調整のゲインGでスキャン値を乗算することによって、かすかなきずを強調することができる。リミッタ223において乗算器222の出力信号を制限することにより、最大レベルにある出力信号がカットされ、乗算処理中の内部的なオーバーフロー作用が回避される。後続の別の遅延メモリ224により、マスキング信号M形成時の遅延差が補償される。このきずマスクは、きず輪郭信号Kを用いることできずの形状に合わせていっそう良好に整合させることができる。きずが検出されたときのみ、マスキング信号Mによりきず輪郭信号Kが切り換えられるので、きず輪郭信号自体は障害個所隠蔽信号K′として使用されることになる。
【0056】
また、この実施例では相補形メジアン・ローパスフィルタの入力信号として8bitのデータワード長をもつスキャン値が用いられ、さらにこの相補形メジアン・ローパスフィルタも出力信号として8ビットのデータワード長をもつデータワードを送出する。この場合、2bitのデータワードまたは1bitのデータワードだけがきず検出器における量子化の際に使用され、これによりそれらの信号処理が著しく簡単にされ、他方、輪郭増幅は全データワード長で実行される。したがって障害個所隠蔽信号K′は多値であり、その際、障害個所信号の値はきずの強さに対する尺度である。多値の障害個所信号K′を用いることにより、きずの強さに応じて隠蔽の程度を制御することができる。これにより隠蔽処理がいっそう僅かにしか目立たないようになる。
【図面の簡単な説明】
【図1】斜めのきずを含むきずを検出し隠蔽する装置を備えたフィルムスキャナを示す図である。
【図2】斜めの物体と斜めのきずを伴うフィルムのフレームを示す図である。
【図3】殊に斜めに延在するきずを検出してマスキングするためにフィルムのフレーム上で実行されるステップを示す図である。
【図4】複数の画像ストライプに分割されたビデオ画像を列ブロックとともに示す図である。
【図5】ビデオ画像の複数のマスキングブロックから成るきずマスクを示す図である。
【図6】きず殊に斜めのきずを検出するための回路構成を示す図である。
【図7】パルス・バンドパスフィルタおよびきず区間検出器の回路構成を示す図である。
【図8】きず継続検出器、きず変位検出器、マスク発生器ならびにきず長さ検出器の回路構成を示す図である。
【図9】きず輪郭増幅器の回路構成を示す図である。
【符号の説明】
N 目下の画像
N−1 先行の画像
N+1 後続する画像
A 斜めの物体
B きず
100 制御回路
110 パルス・バンドフィルタ
120 きず区間検出器
130,140 きず継続検出器
150,160 きず変位検出器
170,180 きず長さ検出器
190,200 マスク発生器
210 マルチプレクサ
220 きず輪郭増幅器
Claims (5)
- ビデオ画像における所定数(m)の一列に配置されている画素(43,44)を統合して1つの群(45)を形成するステップと、
きずを表す判定基準に従い前記画の群における各画素を評価するステップと、
1つの画素群内のまえもって決められた数の画素がきずを表す前記判定基準を満たしているか否かを判定するステップと、
前記画素群を、前記まえもって決められた数を超えているまたは超えていない1つの画素群内の画素の個数に従い、画素群をきず区間と非きず区間とに分類するステップが設けられている、
ビデオ信号画像中のきずを検出する方法において、
きず区間として分類された画素群内で、上方の閾値(+C)を上回っているかまたは下方の閾値(−C)を下回っているコントラスト変化を検出するステップと、
1つの画素群について、上方の閾値を上回っているコントラスト変化が生じれば加算を行い、下方の閾値を下回っているコントラスト変化が生じれば減算を行うステップと、
前記の加算と減算の結果がきずを表す所定の値を超えているか否かを求めるステップを有することを特徴とする、
ビデオ信号画像中のきずを検出する方法。 - 前記の上方および下方の閾値(+C,−C)は輝度信号の範囲の個々の終端に位置する、請求項1記載の方法。
- きず区間として分類された画素群(45)は、きずマスク(52)を形成するために用いられる、請求項1記載の方法。
- 請求項1から3のいずれか1項記載の方法を実施するための、ビデオ信号画像中のきずを検出する装置。
- 請求項4記載の装置を有するビデオ信号処理装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19636864A DE19636864C1 (de) | 1996-09-11 | 1996-09-11 | Längendetektion von schräglaufenden Kratzern |
DE19636864.2 | 1996-09-11 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10134172A JPH10134172A (ja) | 1998-05-22 |
JP4063360B2 true JP4063360B2 (ja) | 2008-03-19 |
Family
ID=7805227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24393097A Expired - Fee Related JP4063360B2 (ja) | 1996-09-11 | 1997-09-09 | ビデオ信号画像中のきずを検出する方法および装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US6388704B1 (ja) |
JP (1) | JP4063360B2 (ja) |
DE (1) | DE19636864C1 (ja) |
GB (1) | GB2317296B (ja) |
SE (1) | SE519521C2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2347740A (en) * | 1999-03-10 | 2000-09-13 | Rank Film Lab Limited | Detecting surface flaws in films |
GB9921331D0 (en) | 1999-09-09 | 1999-11-10 | Pandora Int Ltd | Film restoration system |
GB2361133B (en) * | 2000-04-07 | 2004-04-14 | Snell & Wilcox Ltd | Video signal processing |
GB2370933A (en) * | 2001-01-09 | 2002-07-10 | Sony Uk Ltd | Detecting and reducing visibility of scratches in images. |
FR2830648B1 (fr) * | 2001-10-10 | 2004-01-16 | Eastman Kodak Co | Procede d'elimination de rayures dans des images numeriques |
US7324704B2 (en) * | 2003-09-11 | 2008-01-29 | Primax Electronics Ltd. | Method of repairing scratches in digital images |
CA2594885A1 (en) * | 2005-01-27 | 2006-08-03 | Thomson Licensing | Film marking detection system |
US8663074B2 (en) * | 2007-11-07 | 2014-03-04 | Balanced Body, Inc. | Exercise apparatus with a pull cord central pulley attached to a carriage and a pulley locking mechanism |
GB2479414B (en) * | 2010-04-09 | 2015-11-11 | Snell Ltd | Repairing scratch impairments to an image |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4691231A (en) * | 1985-10-01 | 1987-09-01 | Vistech Corporation | Bottle inspection system |
DE3636077C2 (de) * | 1986-10-23 | 1993-10-07 | Broadcast Television Syst | Verfahren zum Verdecken von Fehlern in einem Videosignal und Schaltung zur Durchführung des Verfahrens |
US4977521A (en) * | 1988-07-25 | 1990-12-11 | Eastman Kodak Company | Film noise reduction by application of bayes theorem to positive/negative film |
DE3942273A1 (de) * | 1989-12-21 | 1991-06-27 | Broadcast Television Syst | Verfahren zum verdecken von fehlern in einem videosignal |
US5204910A (en) * | 1991-05-24 | 1993-04-20 | Motorola, Inc. | Method for detection of defects lacking distinct edges |
JPH05109196A (ja) * | 1991-10-14 | 1993-04-30 | Sony Corp | 記録方法 |
US5179419A (en) * | 1991-11-22 | 1993-01-12 | At&T Bell Laboratories | Methods of detecting, classifying and quantifying defects in optical fiber end faces |
FR2692355B1 (fr) * | 1992-06-10 | 1997-06-20 | Valinox | Dispositif et procede de detection au defile de defauts de surface sur des produits longs metalliques. |
US5450500A (en) * | 1993-04-09 | 1995-09-12 | Pandora International Ltd. | High-definition digital video processor |
US5509086A (en) * | 1993-12-23 | 1996-04-16 | International Business Machines Corporation | Automatic cross color elimination |
DE4432787A1 (de) * | 1994-09-15 | 1996-03-21 | Philips Patentverwaltung | Verfahren und Schaltung zum Erkennen und Verdecken von Fehlern in einem Videosignal |
US5809162A (en) * | 1995-12-22 | 1998-09-15 | Lucent Technologies Inc. | Surface analysis system and method |
DE19636865C1 (de) * | 1996-09-11 | 1998-01-02 | Philips Patentverwaltung | Erkennung von schräglaufenden Kratzern in Videosignalen |
-
1996
- 1996-09-11 DE DE19636864A patent/DE19636864C1/de not_active Expired - Fee Related
-
1997
- 1997-08-29 GB GB9718215A patent/GB2317296B/en not_active Expired - Fee Related
- 1997-09-09 JP JP24393097A patent/JP4063360B2/ja not_active Expired - Fee Related
- 1997-09-09 SE SE9703257A patent/SE519521C2/sv not_active IP Right Cessation
- 1997-09-10 US US08/927,009 patent/US6388704B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
DE19636864C1 (de) | 1998-01-02 |
GB2317296A (en) | 1998-03-18 |
SE9703257L (sv) | 1998-03-12 |
US6388704B1 (en) | 2002-05-14 |
GB2317296B (en) | 2000-06-28 |
GB9718215D0 (en) | 1997-11-05 |
SE9703257D0 (sv) | 1997-09-09 |
JPH10134172A (ja) | 1998-05-22 |
SE519521C2 (sv) | 2003-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4063360B2 (ja) | ビデオ信号画像中のきずを検出する方法および装置 | |
JPH0467275A (ja) | 認識方法及び認識装置 | |
JP4073131B2 (ja) | 圧縮ビデオ・シーケンス内のエラー・ブロック検出方法 | |
US5237621A (en) | Product appearance inspection methods and apparatus employing low variance filter | |
JP4001664B2 (ja) | ビデオ信号画像中のきずを検出する方法および装置 | |
JP2001184510A (ja) | 欠陥検出方法 | |
JP2006170922A (ja) | 外観検査方法およびその装置 | |
JPH06207909A (ja) | 表面欠陥検査装置 | |
US7668344B2 (en) | Stain inspection method and apparatus | |
KR100754969B1 (ko) | 화상 검사 장치, 화상 검사 방법 및 컴퓨터 판독가능한 기억 매체 | |
JP3886573B2 (ja) | 降雨雪検出方法およびその装置 | |
JPH06324005A (ja) | 鋼板の圧延ロール疵検出方法 | |
KR102556350B1 (ko) | 병변 면적비율 산출 방법 및 그를 위한 장치 | |
JPH08145907A (ja) | 欠陥検査装置 | |
JP2001086517A (ja) | 画素欠陥検出装置 | |
JP3175347B2 (ja) | シート状製品の異物混入検査方法 | |
JP2730806B2 (ja) | 固体撮像素子の評価方法 | |
JP2779624B2 (ja) | 停渋帯車輌検出方法 | |
JP3454979B2 (ja) | 異常状態検出方法および異常状態検出装置 | |
JP3424988B2 (ja) | 欠陥検査装置 | |
JP2564737B2 (ja) | 自動磁粉探傷装置 | |
JPH09251538A (ja) | 物体存否判断装置および物体存否判断方法 | |
JP2004084498A (ja) | エンジン評価装置及び方法 | |
JPH0766443B2 (ja) | 画質検査方法 | |
JPH0721465B2 (ja) | 容器検査方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070412 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070625 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071012 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071122 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071225 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110111 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120111 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130111 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140111 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |