JP4001664B2 - ビデオ信号画像中のきずを検出する方法および装置 - Google Patents
ビデオ信号画像中のきずを検出する方法および装置 Download PDFInfo
- Publication number
- JP4001664B2 JP4001664B2 JP24392797A JP24392797A JP4001664B2 JP 4001664 B2 JP4001664 B2 JP 4001664B2 JP 24392797 A JP24392797 A JP 24392797A JP 24392797 A JP24392797 A JP 24392797A JP 4001664 B2 JP4001664 B2 JP 4001664B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- flaw
- section
- upper edge
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 13
- 238000001514 detection method Methods 0.000 claims description 20
- 230000007547 defect Effects 0.000 claims description 12
- 230000015654 memory Effects 0.000 description 31
- 230000008859 change Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000000873 masking effect Effects 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 6
- 230000000295 complement effect Effects 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003638 chemical reducing agent Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
- H04N3/36—Scanning of motion picture films, e.g. for telecine
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/253—Picture signal generating by scanning motion picture films or slide opaques, e.g. for telecine
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/11—Scanning of colour motion picture films, e.g. for telecine
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
Description
【発明の属する技術分野】
本発明は、ビデオ信号画像中のきずを検出する装置を備えたビデオ信号処理装置およびそのきず検出装置ならびにきず検出方法に関する。
【0002】
【従来の技術】
古いフィルム殊に頻繁に使用されたフィルムは、そのフィルムの比較的長い領域にわたって連続的に広がっている垂直方向の引かき傷を有していることが多い。それらの引かき傷はすでにフィルムカメラ内で生じたものかもしれないし、あるいは複写プロセス中またはフィルムのたび重なる再生によって生じた可能性もある。
【0003】
このようなフィルム素材を表示してみると、フィルム素材がそれぞれポジティブであるのかネガティブであるのかに応じて、白または黒の水平方向のストライプとしてきずが現れる。ドイツ連邦共和国特許出願第4432787.0号明細書から、垂直方向のフィルムきずにより引き起こされた画像信号中のエラーを検出して隠蔽する方法および装置が公知である。この場合、障害を受けた画素により生じる障害個所からエラー信号が導出され、このエラー信号はビデオ信号中のエラーを隠蔽するためのコントロール信号として使用される。たとえば旗竿のように垂直方向に延在する他の画像ディテールときずとを確実に区別できるようにするため、このエラー信号が発せられるのは、水平方向における局所的に制限された可調整のきず幅を越えておらず、そのつどのきずが主として垂直方向に延在しており、さらにきずの長さがほぼフレームの高さに対応するときだけである。次にビデオ信号中の障害個所は、エラー信号を用いることでローパスフィルタリングされた相応のビデオ信号と置き換えられ、その結果、きず部分における画素はきずのすぐ近くの周囲の画素の明るさと色をもつようになり、このようにして極端に強いコントラスト差の発生を避けることができる。
【0004】
ここで明らかにされたことは、フィルム走行方向と正確に対応するきずは確実に隠蔽できるが、フィルム走行方向に対し鋭角を成す位置に生じたきずは公知の方法および装置によっても検出されないことである。フィルムのフレームにわたり正確に垂直に延在していないそのようなきずは、フレームの高さ軸に対するきずの傾斜に依存して右または左に向かって進み、したがって特に目立って現れることになる。このようなきず(以下では斜めきずと称する)は、主として複写機構における複写中に発生する。
【0005】
公知の方法および公知の装置によっても斜めきずを十分に隠蔽することはできない。なぜならば、たとえば調整可能なきず幅を増大させることのリスクとして、垂直方向に延びている構造をもつ画像物体が誤って斜めきずと識別されて隠蔽されてしまうことが挙げられるからである。
【0006】
【発明が解決しようとする課題】
したがって本発明の課題は、ビデオ信号中の斜めきずがきずと類似した他の画像構造物と確実に区別されるようビデオ信号を処理する方法および装置を提供することにある。
【0007】
【課題を解決するための手段】
本発明によればこの課題は、きず検出装置により、目下の画像Nに先行する画像N−1の下縁から前記目下の画像Nの上縁へきずの少なくとも一区間が延在しているか否か、および目下の画像Nの下縁から該目下の画像Nに続く画像N+1の上縁へきずの少なくとも別の区間が延在しているか否かが判定されることにより解決される。
【0008】
【発明の実施の形態】
本発明が基礎としている着想は、斜めきずにおいてきずがある画像の下縁から離れ後続の画像の上縁に現れる水平方向の各位置は、各画像間に縁があるにもかかわらず互いにごく僅かしか異なっていないのに対し、同じ傾斜角度を有する斜めの画像物体であると、それらの位置がそれよりもかなり大きい間隔で生じるという点である。したがってきずの疑いがある場合、ある画像の上縁および下縁を超えて関連する先行および後続の画像へ、きず区間がそれぞれ同等の水平方向位置で延在しているか否かを調べるだけで十分である。
【0009】
本発明の1つの実施形態によれば、きず検出装置により、画像Nの上縁および下縁から先行する画像または後続の画像へ延在している判定されたきず区間の各位置が比較され、先行する画像または後続の画像へ延在しているこのきず区間の上方および下方の水平方向の各位置が所定の距離を超えていないときのみ、きずであることが指示されるように構成されている。このようにすることで、スキャンされたフィルムの走行方向に対しきずが最大でとるかもしれない傾斜角度を調整することができ、それをきずとして検出することができるようになる。予測される最大きず傾斜角度を適切に選定することにより、誤検出を回避することができる。
【0010】
きず検出装置を次のように構成すると有利である。すなわち、対象画像中のきず区間としてのセグメントごとにきずの長さが求められ、セグメントごとに求められたきず区間が所定の最小長を有しているときのみ、きずであることが指示されるように構成すると有利である。このようにすることで、きずが存在しているか否かの判定にあたりきずの長さを付加的な判定基準として考慮することができ、このことで誤検出のおそれをさらに低減することができる。また、きず区間の検出により、中断を伴うきずも検出することができる。
【0011】
さらに本発明の別の実施形態によれば、画像の上縁においてきずとみなされた画像部分の位置が求められ、その位置が先行の画像の下縁においてきずとみなされた画像部分の位置と比較され、前記の画像の上縁における対応位置が求められ、画像の下縁においてきずとみなされた画像部分の位置が求められ、その位置が後続の画像の上縁においてきずとみなされた画像部分の位置と比較され、前記の画像の下縁における対応位置が求められ、所定の範囲内できずの対応位置を画像の上縁および下縁において求めることができたときにのみ、きずであることが通報されるように構成されている。この実施形態により簡単な検出が可能となり、、この場合、きずとみなされた画像の一部分が検査すべきビデオ信号の適切な事前のフィルタリングにより選択される。
【0012】
次に、図面を参照しながら実施例に基づき本発明について詳細に説明する。
【0013】
【実施例】
図1にはフィルムスキャナ1のブロック図が示されており、スキャナ2で得られたスキャンされたフィルムのアナログビデオ信号は、A/D変換器3を介してディジタル形式の輝度信号およびクロミナンス信号に変換される。さらにノイズ除去装置4内には複数の検出器5,6が設けられており、それらはスキャンされたビデオ信号中のエラーを検出し、そのエラーを障害個所信号K1,K2によって特徴づける役割を有している。これらの検出器は、斜めきずを検出するための本発明の特徴に従って実装されたきず検出器5と、たとえば汚れ検出器6である。その際、障害個所信号K1,K2によりメジアンフィルタ7が制御され、エラーとみなされた画像領域はこのフィルタによってメジアンフィルタリングした値と置き換えられる。
【0014】
ところで、本発明によるきず検出装置はフィルムスキャナに限定されるものではなく、ビデオ信号中のノイズを除去するいかなる装置においても利用でき、つまりたとえば障害を受けたビデオ信号を表示する場合にも利用できるし、いわゆる”ノイズ低減装置(noise reducer) 内の独立した機器として用いることもできる。また、ソース信号の形式がアナログであろうがディジタルであろうが、そのことは本発明の本質にとって重要なものではない。それというのも、信号変換はいかなる場合でも問題なく実行できるからである。
【0015】
図2には順次連続する画像N−1,N,N+1が示されており、その際、個々の画像はいわゆるフィルムのフレーム20によって互いに分けられている。これらの画像には斜めの物体Aも含まれているし、すべての画像にわたり斜めに延在するきずBも含まれている。複数の斜めの物体を有する画像中に複数のきずがある場合でも既述の方法および装置によって区別することができるが、みやすくするため、図2には1つの斜めの物体Aと1つの斜めのきずBしか示されていない。単独の画像障害と区別して、2つ以上の画像にわたって延在しているあらゆるきずのことを、それらがどのようにして生じたかにはかかわりなく、”きず”と呼ぶことにする。
【0016】
画像中に垂直方向に延在する検出された構造物を画像物体Aに対応づけるべきであり、したがって隠蔽する必要がないのか、あるいは検出されたものを斜めのきずBに対応づけるべきかを区別するために、たとえばプログラミング可能な信号プロセッサにより図3に示されている以下のステップを実行することができる。
【0017】
まずはじめに、垂直構造のすべての信号がビデオ信号から抽出される(ブロック31)。斜めのきずBもフィルムの走行方向に対し実質的に垂直に延在しているので、このようにすることで斜めのきずも検出される。有利には、垂直構造のフィルタリングによって所定の最大幅を越えていない構造だけが検出される。それというのも、きずの幅は一般に数画素程度に限られているからである。垂直方向のフィルタリングのモードによってすでにまえもって定められていなければ、このステップにおいてまたは次のステップの後、検出された垂直構造が所定の最小長を有していたか否かもチェックされる。したがって点状の画像障害や相応の強さを有する画像ディテールは除外される。
【0018】
次にステップ(ブロック32)において、フィルタリングされた垂直構造から、それらの周囲の画像内容に対し所定の最小コントラストを有する構造が除外される。フィルタリングされた構造を以下では微細構造と呼ぶことにする。
【0019】
次のステップ(ブロック33)において、対象画像Nの上縁21において検出可能なすべての微細構造の水平位置T(N)と、対象画像Nの下縁22において検出可能なすべての微細構造の水平位置B(N)が求められ、きず可能性区間のとして一時記憶される。
【0020】
次のステップ(ブロック34)において、先行の画像N−1の下縁23における微細構造の位置B(N−1)が、対象画像Nの上縁21における微細構造の位置T(N)と比較され、所定の許容範囲内の相応の位置が上方きずマークSTとして特徴づけられ、リスト内に格納される。同様に、画像Nの下縁22における微細構造の位置B(N)が、目下の画像Nの次に続く画像N+1の上縁24における微細構造の位置T(N+1)と比較され、やはり所定の許容範囲内の相応の位置が下方きずマークSBとして特徴づけられ、リストに格納される。斜めの画像物体Aの場合、上縁の微細構造も下縁の微細構造も縁ごとに同じ位置にとどまり続けるので、下縁の間に対応する微細構造は存在せず、したがってこのようにすることで斜めの画像物体Aが確実に排除される。
【0021】
次のステップ(ブロック35)において、上方きずマークSTと下方きずマークSBが互いに比較され、所定の最小距離Dmaxを越えていないマークが抜き出される。上方きずマークと下方きずマークが所定の許容範囲Dmax内にある場合、それらの位置は、同一であれば精確に垂直なきずであることを表すし、互いに間隔をおいていれば斜めのきずBであることを表す。
【0022】
そして許容範囲Dmax内の位置を用いることにより、きずにより障害を受けている画素を判別し、たとえばメジアンフィルタリングによって得られたもののように、適切に求められた代替値によってそれらの画素を置き換えることができる(ブロック36)。有利には、しかし必ずしもそうする必要もないが、どの画素を置き換えるべきかを判定するために、きずに対する目下の要求(きず幅、強さ、垂直方向の最小長)を完全にまたは部分的に満たす、きずマークにより表された範囲内の画素を適切に選択することができる。
【0023】
図6には、精確に垂直方向のきずも斜めのきずも両方とも検出するための本発明によるきず検出器のブロック図が示されている。このきず検出器は基本的に次の機能ブロックに分けることができる:
−パルス状の画像変化をフィルタリングするためのフィルタ、以下ではパルス・バンドパスフィルタ110と称する。
【0024】
−垂直方向に重畳されたパルス状の画像変化をきず可能性区間としてマークするきず区間検出器120。
【0025】
−上縁で検出された目下の画像におけるきず区間が先行の画像の下縁から目下の画像まで及んでいるのかの判定、ならびに下縁において検出された目下の画像におけるきず区間が後続の画像の上縁まで及んでいるのかの判定を行うための手段、以下ではきず継続検出器130,140と称する。
【0026】
−先行および後続の画像の上縁と下縁に延在するきず区間は同じきずに属するのかを判定するための手段、以下ではきず変位検出器150,160と称する。
【0027】
−検出されたきずを隠蔽するためのマスク信号を供給する2つのマスク発生器190,200。
【0028】
−目下の画像におけるきずの全長を付加的な区別基準として算入させる2つのきず長さ検出器170,180。
【0029】
さらに、後で個々に説明する複数の制御信号を発生する制御回路100ときず輪郭増幅器220も設けられており、この増幅器220の出力信号はマルチプレクサ210においてマスク発生器190,200の出力信号と合成されて、障害個所隠蔽信号Kが形成される。
【0030】
図7には、パルス・バンドパスフィルタ110ときず区間検出器120の詳細回路図が示されている。きず検出器の入力端子101のところで、ディジタルビデオ信号の輝度成分が制御回路100とパルス・バンドパスフィルタ110へ供給される。パルス・バンドパスフィルタ110は、調整可能な所定の最大幅のあらゆるパルス状変動を輝度信号から抽出する。この目的で、パルス・バンドパスフィルタ110は有利には相補形メジアン・ローパスフィルタとして実現される。この場合、減算器113によって、第1の遅延素子111により遅延された入力信号とメジアンフィルタ112においてメジアンフィルタリングされた入力信号との信号偏差が形成される。第1の遅延素子111における信号遅延時間は、メジアンフィルタ112の信号遅延時間に対応するように選定される。メジアンフィルタ112において求められるべき中央値をもつ順次連続する画素の個数を調整することにより、パルス・バンドパスフィルタ110の帯域幅を調整することができる。メジアンフィルタ窓をたとえば5つの画素に調整すれば、最大で2つの画素幅のパルスが変化しないまま通過することになる。相補形メジアン・ローパスフィルタの利点は、きずのカーブ形状がそのまま保持され、たとえばハイパスフィルタの場合のように信号エッジが広がらないことである。相補形メジアン・ローパスフィルタの構造および機能の詳細は、ドイツ連邦共和国特許出願公開第4432787号公報に記載されている。
【0031】
パルス・バンドパスフィルタ110の出力信号はきず区間検出器120へ供給される。この実施例では検出器120は、量子化器121、累算器122および2つの弁別器123,124から成る。量子化器121は2つのスイッチング閾値をもっており、つまり下方のスイッチング閾値−Cと上方のスイッチング閾値+Cを有している。量子化器121は、入力信号が下方のスイッチング閾値−Cよりも小さければ−1を供給し、入力信号が上方のスイッチング閾値+Cを越えれば+1を供給し、入力信号がそれら2つのスイッチング閾値の間にあれば値0を供給する。有利には、2つのスイッチング閾値−Cと+Cは制御範囲の終わりのところで輝度信号の2%に調整され、したがって比較的小さいコントラスト変動によってすでに、スイッチング閾値を下回ったり上回ったりする値が生じることになる。このことで、あまり目立たないきずあるいは著しく明るいまたは著しく暗い画像周囲におけるきずも確実に検出できるようになる。負の閾値−Cを下回ったということは黒いきずであることを表し、閾値+Cを越えたということは白いきずであることを表す。このため、相応のコントラスト差を有するパルス状の変動だけが値+1および−1のところに描かれる。これに対し、輝度がパルス状に変動していないビデオ信号はその輝度に無関係に値0のところに描かれ、また、メジアンフィルタ112の調整されたパルス幅よりも大きいパルス幅を有するパルス状の変化を伴うビデオ信号も値0のところに描かれる。
【0032】
ビデオ信号を走査線ごとにシーケンシャルに処理するため、垂直方向におけるきずの広がりだけ、つまり水平方向に並んだ僅かな画素にきずが限られていることだけがこれまで検査されてきた。しかしながらきずの本質は、ビデオ信号の互いに隣り合う走査線内で障害がほぼ同じ垂直方向位置に生じる点にある。検出されたパルス状変動がきずの一部分であるのか、つまり垂直方向に上下に位置しているかを検出するため、所定数の走査線に対する走査線累算器122において水平方向位置に従って別個に量子化器121の出力値の和が形成される。ビデオ画像の可視部分が575本の有効走査線を有し走査線ごとに720個の画素をもつPAL規格によるビデオ画像を走査する場合、フィールド中で検出を行うならば、16本の走査線にわたり累算を行うのが好適であると実践で判明した。可視の各フィールドの開始時点とまえもって定められた走査線がそのつど経過した後に、制御回路100はリセットパルスを発生し、このリセットパルスにより走査線累算器115の内容が値0に戻される。このようにして、垂直方向に上下に位置する画像ストライプ中におけるきずの検出が行われる。
【0033】
図4には、画像ストライプ41に分けられた画像と中断部分を有するきず42が示されている。個々の画像ストライプ41の水平方向位置xiで隣り合う画素により、それぞれ1つの列ブロック43が形成される。1つの列ブロック43における画素の個数は、画像ストライプ形成に用いられる走査線の数に対応する。したがって1フィールドの237.5本の走査線において、各フィールドは15個の画像ストライプに分けられ、一番下の画像ストライプは約14本の走査線だけで形成される。しかしこのような小さな偏差は、測定された値の選択された処理のためには無視できる程度のものである。
【0034】
図4の列ブロック43における16個の画素は、コントラスト変化の僅かな5つの画素44と、白色領域でコントラスト変化を有する画素45と、黒色領域でコントラスト変化を有する画素46により構成されている。画像ストライプに分けて捕捉されたきず区間を累算することの利点は、パルス状の経過特性を伴わない画像ディテール(量子化器121の出力値は0)によっても累算値は変化せず、白色領域におけるパルス状の変化(量子化器121の出力値=+1)と列の別の個所で黒色領域におけるパルス状の経過特性(第1の弁別器121の出力値=−1)を有する画像ディテールは、互いに相殺される(−1と+1の和=0)点にある。累算の結果がゼロから著しく偏差するのは、考察している個々の画像ストライプ41における1つの列ブロック43内で、明るさ(明ないし暗)の一方の領域におけるコントラスト差の和が明るさ(暗ないし明)の他方の領域におけるコントラストの和より大きい場合である。その結果、逆のコントラスト差を有する偶然に分散されたパルス状の画像ディテールは平均化される一方、パルス形態およびコントラスト差の条件を満たす垂直方向に延在する長い画像ディテールは増幅される。
【0035】
この目的で、走査線累算器122の出力値は弁別器123,124へ供給される。この場合、第1の弁別器123は、累算結果が画像ストライプ形成に用いられた走査線数mの半分よりも大きければ、この実施例では値+8よりも大きければ、出力信号を送出する。また、第2の弁別器124は、累算値が画像ストライプ形成に用いられた走査線数の半分の負の値よりも小さければ、この実施例では値−8よりも小さければ、出力信号を送出する。これにより、パルス状の画像ディテールをもつ列ブロックが1つの方向(黒または白)でのみコントラスト差を有する明確な内容の画像ディテールであれば、矛盾するコントラスト差を有する画像ディテールの場合よりも著しく容易に閾値を超えることができるようになる。図4に示されている列ブロック43の場合、値0である5つの画素44と、値+1である1つの画素45と値−1である10個の画素46から、−9という累算値が得られ、その結果、第2の弁別器124が黒いきず部分区間を表す出力バスを送出する。
【0036】
しかも、このように選定された閾値により以下のことが保証される。すなわち、きず部分区間の画素として分類できるようにするために、少なくとも2×2のきずの画素または少なくとも1×3のきずの画素が必ずじかに隣り合うようになる。また、このようにして得られるきず部分区間のきわめて確実な識別によって、既述のようにコントラスト差の閾値を相応に低く設定することができるようになり、その結果、かすかなきずでも識別できるようにするにはどうしても生じてしまう低いコントラスト値に起因する誤判定も、列ブロックの累算値に関する判定によって一掃されることになる。
【0037】
このような形式の検出によれば、選択された走査線上の垂直位置を最大でパルス・バンドパスフィルタ110のパルス帯域幅だけ変化させるようなきずの画素をほぼ捕捉できる。このため、きずの所定の最大幅における画像ストライプの走査線数(パルス・バンドフィルタ110の帯域幅)により、ビデオ画像の高さ方向軸に対し斜めに延在しているきずがとり得る最大傾斜角度が決まり、このことで最も好適な場合にはきずの部分区間であるとして識別することもできるようになる。
【0038】
弁別器123,124の出力信号により、各画像ストリップの個々の水平方向位置において、以下ではきずマークと称する検出されたきず部分区間に対するマークがセットされる。これらのきずマークは、以降では黒いきずと白いきずとに対し別個の機能ブロックにおいて評価される。その際、第1の弁別器123の出力信号により、白いきずを評価するための機能ブロック130,150,170,190の入力信号が形成され、第2の弁別器124の出力信号により、黒いきずを評価するための機能ブロック140,160,180,200の入力信号が形成される。しかし個々の機能ブロックは同一の構成であるため、以下では図5および図8を参照しながら白いきずの処理についてのみ説明する。
【0039】
きず継続検出器130の第1の走査線メモリに、第1の弁別器123の論理出力値が一時記憶される。画像ストライプの終端において第1の走査線メモリ131は、累算器122がリセットされる前にそのつど結果を受け取る。きず継続検出器130にはさらに4つの別の走査線メモリ132,133,134,135が設けられており、これらの走査線メモリは、それぞれ異なる時点における第1の走査線メモリの内容を受け取るよう制御回路100により制御される。時間的にそれぞれ異なる取りの行われる様子が、図8においてスイッチ136,137によりシンボリックに示されている。
【0040】
以下の説明では目下の画像N中の検出すべききずについて、目下の画像Nに先行する画像N−1のときに、画像N−1の最後の走査線が分析された後で第1の走査線メモリ131の内容が第2の走査メモリ132に書き込まれ、しかもこれは第1の走査線メモリ131がリセットされる前に行われたものとする。したがってこの場合、第2の走査線メモリ132は、目下の画像Nに先行する画像N−1の下方のストライプ(フィールドの走査線273〜287)におけるきずマークを受け取る。そして目下の画像Nが分析されるとき、制御回路は第3の走査線メモリ133を制御して、最初の16本の走査線のきずマークつまり目下の画像Nの下方のストライプが第3の走査線メモリ133に格納されるようにする(第1のスイッチ136のスイッチ位置はこの時点での様子を表している)。最後の走査線つまり走査線273〜287のきずマークが目下の画像Nにおいて形成された後、第1の走査線メモリ131の結果が制御回路100により第4の走査線メモリ134に格納される。新しい後続の画像N+1における最初の16本の走査線のきずマークが第1の走査線メモリに完全に格納された後、制御回路100は相応の制御信号を用いることで第1の走査線メモリ131の内容を第5の走査線メモリ135へ転送する。そして第2の走査線メモリ132と第3の走査線メモリ133のメモリ内容の位置比較を第1のANDゲート138において行うことによって、先行の画像N−1の下縁と目下の画像Nの上縁との間のきずマークの対応する位置STを求めることができ、さらに第4の走査線メモリ135と第5の走査線メモリ135のメモリ内容の位置比較を第2のANDゲート139において同時に行うことによって、目下の画像Nの下縁と目下の画像Nに続く画像N+1の上縁との間のきずマークの対応する位置SBを求めることができる。これら2つのANDゲート138,139を用いた比較により、先行の画像の下方のストライプから離れたのと同じ位置で後続の画像中の上縁の同じ位置に続くきず区間Sが選び出され、ないしはある画像の下縁から離れ後続の画像の上縁の同じ水平位置に現れるきず区間が選び出される。フィルム画像の高さに比べフィルムの縁の高さは僅かであるので、この条件は、画像中を精確に垂直に延在するきずについても、あるいは画像中を僅かに斜めに延在するきずについてもあてはまる。そしてこのようにして、きずの2つの基本条件すなわち相応のコントラスト差をもつ狭い輪郭を満たしているがフィルムのきずとは異なりそのそれらの位置が画像ごとに変化していない画像ディテールAを、いっそう明瞭に斜めのきずと区別することができる。それというのも、先行の画像N−1の下縁と目下の画像Nの上縁との間のそれらの水平位置も、目下の画像Nの下縁と目下の画像Nに続く画像N+1の上縁との間の水平位置も、互いに著しく異なっているからである。
【0041】
僅かに傾斜しているきずの場合、それらの水平位置はフィルムの縁を通過しているときにはたいして変化していないので、同一のきずマークST,SBの検査にとって完全に十分である。大きく傾斜したきずを検出するのであれば、同一のきずマークを探す代わりに所定の許容範囲内のきずマークを探すようにする。
【0042】
制御回路100による走査線メモリ131のメモリ内容の読み込みは既述のように連続的に行われるので、上方の画像ストライプのきずマークTはそのつど第3の走査線メモリ133ないし第5の走査線メモリ135に交互に書き込まれ、個々の画像における下方の画像ストライプのきずマークBは第2の走査線メモリ132ないし第4の走査線メモリ134に交互に書き込まれる。このようにして、評価すべき各画像N−1,N,N+1...に対し、評価を行うべき画像よりも1画像遅れてそのつど対として必要とされるマークが得られるようになる。これに続く結合において、第1のANDゲート138および第2のANDゲート139の出力信号T、Bは、出力信号を変化させることなくORゲートの入力信号としてORゲート151において任意に入れ替え可能であるので、画像の1つおきの評価にあたり両方のANDゲート138,139の出力信号TおよびBの意味内容が入れ替わることは重要なことではない。しかしながら、既述の交互の記憶動作により、走査線メモリの記憶容量を著しく小さく押さえることができる。
【0043】
きず変位検出器150においてまずはじめに、上縁において検出され位置STで縁を越えて延在しているきずが、下縁において検出され位置SBで縁を越えて延在しているきずと対応しているか否かが調べられ、つまりきず位置ST,SBが、おそらくはそれらが1つの斜めに延在するきずからのものであるよう互いに接近して位置しているか否かが調べられる。この目的で、ORゲート151において結合された上方のきずマークSTと下方のきずマークSBが、伸張フィルタにおいて所定数の画素分だけ拡大される。この場合、きずマークを拡大させる画素の個数によって、斜めに延在するきずがまだ斜めに延在するきずとして検出される領域も定まる。実践において、走査線の左右方向へ画素をそれぞれ1%だけ広げるのが好適な値であると判明した。
【0044】
きずマークを拡大するために、この実施例ではそれぞれ16個の互いに隣りあうきずマークが観察される。これらのきずマークのうちの1つが論理値1を有していれば、他のすべてのきずマークもただちにこの値にセットされる。これに続いて圧縮フィルタ153において、最初に拡大されたのと同じ画素の個数だけ縮小され、これによって、上方および下方のきずマークにおける拡大された領域が継ぎ目なく互いに融合している場合つまり完全にまたは部分的に重なり合っている場合にのみ、信号が残されたままになる。このようにすることで、上縁に入ってきたきずの位置と下縁から出た位置とが過度に離れていない場合にのみ、つまりきずの傾斜角度が過度に大きくない場合にのみ、以下できず一致信号と称する信号が生成される。きず継続検出器150ときず変位検出器150は、きず一致信号が目下考察中の画像Nの各走査線ごとに発生するよう、制御回路100により制御される。
【0045】
きず一致信号Pは目下の画像のきず変位全体にわたり広がっているので、斜めのきずであればきずにより障害を受けていない多数の画素もカバーしている。したがって、マスク形成器170のマスキングゲート171において、きず一致信号Pが目下の画像のきずマークと結合され、きず部分区間として分類された各画像ストライプの列ブロックだけがマスキングされるようにされる。
【0046】
この目的で、第1の走査線メモリ131に画像ストライプごとに記憶されていたきずマークが走査線ごとに送出され、きず継続検出器130ときず変位検出器150の動作および計算の時間に応じて第2の遅延素子において遅延される。AND結合により、マスキングゲート171から供給されるマスキング信号Mがそのつどきず部分区間として検出される列ブロックに低減され、その結果、斜めに延在するきずであっても隠蔽は画像の狭い領域しか覆わない。このようにして、きずの部分ではないがきずの近くに位置する画素の隠蔽が回避される。
【0047】
図5には、このようにして複数のマスキングブロック52からまとめられたビデオ画像51のきずマスクが示されている。多数の小さいマスキングブロックであるために、きずマスクを著しく良好にきずの形状および経過に整合させることができる。
【0048】
これまで述べてきた装置によれば、画像中を垂直に延在するきずでも画像中を斜めに延在するきずでも十分に覆うことができる。それというのも、先行の画像の下縁から考察中の画像の上縁へきずが継続し、考察中の画像の下縁できずが離れ去り、さらに後続の画像の上縁にきずが現れていることによって、たいていの場合、信頼性のあるきず検出が得られるからである。これらすべての条件を満たしてしまい誤って隠蔽されてしまうような、きずではない画像ディテールはごく僅かにしか存在しない。しかし、完璧なきず検出には、きずが画像中を十分に一貫性をもって動いているか否かを考察することも含まれている。この目的で、第2の走査線累算器191が長さ検出器190に設けられており、これによりすべてのきずマークが列ごとにつまり水平位置に応じて別個に、それぞれ画像全体にわたり累算される。画像の終わりにおいて各画像列の累算値が長さ弁別器192において所定の閾値Lと比較され、累算値がこの閾値を超えているかぎり、第6の走査線メモリ193において該当する水平位置についてマークがセットされ、このマークは画像の終了時に転送される。このようにして、マーキングされた位置は検査されている(フィールド)画像ごとに得られ、走査線ごとにきず一致信号Pと同期して読み出される。きず継続検出器130ときず変位検出器150の遅延時間は1つのフレーム(フィールド)にも対応するので、きず長さ信号Lときず一致信号Pの発せられた画像どうしも互いに対応することになる。
【0049】
きず長さ検出器190を用いることにより上述のようにして、所定数のきずマークが同じ水平位置に生じているか否か、したがってきずが所定の最小の広がりを有しているか否かが検査される。前述の閾値Lに対する最も好ましい値は、使用されるフィルム材料(暗い画像ディテール中に延在する黒いきずの領域はきずとして認識されないため、そのような画像で決められるきずの長さは低減される)と、きず自体の傾斜角度とに依存するので、この閾値は装置のユーザによって任意に調節可能である。1つのフィールドが15個の画像ストライプに分解されるこの実施例の場合には、たとえば8という大きさの閾値Lによって、複数のきず区間から成るきずの全長が画像高さの少なくとも半分を占めるようにすることが表され、これにより上縁および下縁のきずマークも実際にきずの部分とみなされることになる。著しく傾斜しているきずもそのようなものとして認識できるようにすべきであれば、Lの値をたとえば20%低減することができる。この値は著しく低いものであるように思えるが、実践においてこのような付加的な識別基準で誤検出率をさらに低減できることが判明した。
【0050】
きずの形状に合わせて、殊に斜めのきずの経過に合わせて著しく良好に整合された補正信号を形成するため、この実施例ではマルチプレクサ210を切り換えるためにマスキング信号Mが用いられる。そしてこのマルチプレクサはアクティブなマスキング信号Mが存在していれば、きず輪郭増幅器220から供給された信号を通過させる。この実施例の場合、パルス・バンドパスフィルタ110の出力信号がきず輪郭増幅器210の入力側へ供給されるので、相応の水平方向最大幅をもつ画像ディテールだけが増幅されることになる。絶対値形成器221によって、黒および白のきずが同じように扱われるようになる。乗算器22において可調整のゲインGでスキャン値を乗算することによって、かすかなきずを強調することができる。リミッタ223において乗算器222の出力信号を制限することにより、最大レベルにある出力信号がカットされ、乗算処理中の内部的なオーバーフロー作用が回避される。後続の別の遅延メモリ224により、マスキング信号M形成時の遅延差が補償される。このきずマスクは、きず輪郭信号Kを用いることできずの形状に合わせていっそう良好に整合させることができる。きずが検出されたときのみ、マスキング信号Mによりきず輪郭信号Kが切り換えられるので、きず輪郭信号自体は障害個所隠蔽信号K′として使用されることになる。
【0051】
また、この実施例では相補形メジアン・ローパスフィルタの入力信号として8bitのデータワード長をもつスキャン値が用いられ、さらにこの相補形メジアン・ローパスフィルタも出力信号として8ビットのデータワード長をもつデータワードを送出する。この場合、2bitのデータワードまたは1bitのデータワードだけがきず検出器における量子化の際に使用され、これによりそれらの信号処理が著しく簡単にされ、他方、輪郭増幅は全データワード長で実行される。したがって障害個所隠蔽信号K′は多値であり、その際、障害個所信号の値はきずの強さに対する尺度である。多値の障害個所信号K′を用いることにより、きずの強さに応じて隠蔽の程度を制御することができる。これにより隠蔽処理がいっそう僅かにしか目立たないようになる。
【図面の簡単な説明】
【図1】斜めのきずを含むきずを検出し隠蔽する装置を備えたフィルムスキャナを示す図である。
【図2】斜めの物体と斜めのきずを伴うフィルムのフレームを示す図である。
【図3】殊に斜めに延在するきずを検出してマスキングするためにフィルムのフレーム上で実行されるステップを示す図である。
【図4】複数の画像ストライプに分割されたビデオ画像を列ブロックとともに示す図である。
【図5】ビデオ画像の複数のマスキングブロックから成るきずマスクを示す図である。
【図6】きず殊に斜めのきずを検出するための回路構成を示す図である。
【図7】パルス・バンドパスフィルタおよびきず区間検出器の回路構成を示す図である。
【図8】きず継続検出器、きず変位検出器、マスク発生器ならびにきず長さ検出器の回路構成を示す図である。
【図9】きず輪郭増幅器の回路構成を示す図である。
【符号の説明】
N 目下の画像
N−1 先行の画像
N+1 後続する画像
A 斜めの物体
B きず
100 制御回路
110 パルス・バンドフィルタ
120 きず区間検出器
130,140 きず継続検出器
150,160 きず変位検出器
170,180 きず長さ検出器
190,200 マスク発生器
210 マルチプレクサ
220 きず輪郭増幅器
Claims (11)
- ビデオ信号画像中のきずを検出する装置を備えたビデオ信号処理装置において、
きず検出装置により、目下の画像Nに先行する画像N−1の下縁から前記目下の画像Nの上縁へきずの少なくとも一区間が延在しているか否か、および目下の画像Nの下縁から該目下の画像Nに続く画像N+1の上縁へきずの少なくとも別の区間が延在しているか否かが判定されることを特徴とする、
ビデオ信号処理装置。 - 前記きず検出装置により、画像Nの上縁および下縁から先行する画像または後続の画像へ延在している判定されたきず区間の各位置が比較され、先行する画像または後続の画像へ延在している該きず区間の上方および下方の水平方向の各位置が所定の距離を超えていないときのみ、きずであることが指示される、請求項1記載の装置。
- 前記きず検出装置により、対象画像中のきず区間としてのセグメントごとにきずの長さが求められ、セグメントごとに求められたきず区間が所定の最小長を有しているときのみ、きずであることが指示される、請求項1または2記載の装置。
- きず検出装置を備えたビデオ信号処理装置において、
前記きず検出装置により、画像の上縁においてきずとみなされた画像部分の位置が求められ、該位置が先行の画像の下縁においてきずとみなされた画像部分の位置と比較され、前記画像の上縁における対応位置が求められ、
画像の下縁においてきずとみなされた画像部分の位置が求められ、該位置が後続の画像の上縁においてきずとみなされた画像部分の位置と比較され、前記画像の下縁における対応位置が求められ、
所定の範囲内できずの対応位置を画像の上縁および下縁において求めることができたときにのみ、きずであることが通報されることを特徴とする、
ビデオ信号処理装置。 - ビデオ信号画像中のきずを検出する装置において、
目下の画像Nに先行する画像N−1の下縁から該目下の画像Nの上縁へきずの少なくとも一区間が延在しているか否か、および目下の画像Nの下縁から該目下の画像Nに続く画像N+1の上縁へきずの少なくとも別の一区間が延在しているか否かが判定されることを特徴とする、
ビデオ信号中の画像のきずを検出する装置。 - 画像Nの上縁および下縁から先行する画像または後続の画像へ延在している判定されたきず区間の各位置が比較され、先行する画像または後続の画像へ延在している該きず区間の上方および下方の水平方向の各位置が所定の距離を超えていないときのみ、きずであることが指示される、請求項5記載の装置。
- 対象画像中のきず区間としてのセグメントごとにきずの長さが求められ、セグメントごとに求められたきず区間が所定の最小長を有しているときのみ、きずであることが指示される、請求項5または6記載の装置。
- きず検出装置において、
画像の上縁においてきずとみなされた画像部分の位置が求められ、該位置が先行の画像の下縁においてきずとみなされた画像部分の位置と比較され、前記画像の上縁における対応位置が求められ、
画像の下縁においてきずとみなされた画像部分の位置が求められ、該位置が後続の画像の上縁においてきずとみなされた画像部分の位置と比較され、前記画像の下縁における対応位置が求められ、
所定の範囲内できずの対応位置を画像の上縁および下縁において求めることができたときにのみ、きずであることが通報されることを特徴とする、
きず検出装置。 - ビデオ信号画像中のきずを検出する方法において、
目下の画像Nに先行する画像N−1の下縁から前記目下の画像Nの上縁へきずの少なくとも一区間が延在しているか否か、および目下の画像Nの下縁から該目下の画像Nに続く画像N+1の上縁へきずの少なくとも別の区間が延在しているか否かを判定することを特徴とする、
ビデオ信号画像中のきずを検出する方法。 - 画像Nの上縁および下縁から先行する画像または後続の画像へ延在している判定されたきず区間の各位置を比較し、先行する画像または後続の画像へ延在している該きず区間の上方および下方の水平方向の各位置が所定の距離を超えていないときのみ、きずであることを指示する、請求項9記載の方法。
- 対象画像中のきず区間としてのセグメントごとにきずの長さを求め、セグメントごとに求められたきず区間が所定の最小長を有しているときのみ、きずであることを指示する、請求項9または10記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19636865.0 | 1996-09-11 | ||
DE19636865A DE19636865C1 (de) | 1996-09-11 | 1996-09-11 | Erkennung von schräglaufenden Kratzern in Videosignalen |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH10108067A JPH10108067A (ja) | 1998-04-24 |
JP4001664B2 true JP4001664B2 (ja) | 2007-10-31 |
Family
ID=7805228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24392797A Expired - Fee Related JP4001664B2 (ja) | 1996-09-11 | 1997-09-09 | ビデオ信号画像中のきずを検出する方法および装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US5987187A (ja) |
EP (1) | EP0830014B1 (ja) |
JP (1) | JP4001664B2 (ja) |
DE (2) | DE19636865C1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19636864C1 (de) * | 1996-09-11 | 1998-01-02 | Philips Patentverwaltung | Längendetektion von schräglaufenden Kratzern |
GB9921331D0 (en) | 1999-09-09 | 1999-11-10 | Pandora Int Ltd | Film restoration system |
DE10007945B4 (de) * | 2000-02-22 | 2008-04-24 | Bts Holding International B.V. | Subtraktives Kratzerfilter |
GB2361133B (en) * | 2000-04-07 | 2004-04-14 | Snell & Wilcox Ltd | Video signal processing |
US7113627B1 (en) * | 2000-08-09 | 2006-09-26 | Eastman Kodak Company | Location of extended linear defects |
FR2830648B1 (fr) * | 2001-10-10 | 2004-01-16 | Eastman Kodak Co | Procede d'elimination de rayures dans des images numeriques |
US20030190087A1 (en) * | 2002-04-05 | 2003-10-09 | Alexander Kobilansky | Automatic detection of vertical scratches in digital images |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3318216C2 (de) * | 1983-05-19 | 1987-01-08 | Robert Bosch Gmbh, 7000 Stuttgart | Fernsehfilmabtaster |
DE3636077C2 (de) * | 1986-10-23 | 1993-10-07 | Broadcast Television Syst | Verfahren zum Verdecken von Fehlern in einem Videosignal und Schaltung zur Durchführung des Verfahrens |
DE3942273A1 (de) * | 1989-12-21 | 1991-06-27 | Broadcast Television Syst | Verfahren zum verdecken von fehlern in einem videosignal |
SE9201182L (sv) * | 1992-04-13 | 1993-06-28 | Dv Sweden Ab | Saett att detektera och avlaegsna fel oeverstigande en specifik kontrast i digitala videosignaler |
DE4432787A1 (de) * | 1994-09-15 | 1996-03-21 | Philips Patentverwaltung | Verfahren und Schaltung zum Erkennen und Verdecken von Fehlern in einem Videosignal |
-
1996
- 1996-09-11 DE DE19636865A patent/DE19636865C1/de not_active Expired - Fee Related
-
1997
- 1997-09-02 EP EP97202692A patent/EP0830014B1/de not_active Expired - Lifetime
- 1997-09-02 DE DE59712690T patent/DE59712690D1/de not_active Expired - Lifetime
- 1997-09-09 JP JP24392797A patent/JP4001664B2/ja not_active Expired - Fee Related
- 1997-09-10 US US08/926,894 patent/US5987187A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
DE19636865C1 (de) | 1998-01-02 |
JPH10108067A (ja) | 1998-04-24 |
US5987187A (en) | 1999-11-16 |
EP0830014B1 (de) | 2006-07-12 |
EP0830014A2 (de) | 1998-03-18 |
DE59712690D1 (de) | 2006-08-24 |
EP0830014A3 (de) | 1999-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4295845B2 (ja) | ディジタルビデオ画像のアスペクトフォーマットの自動検出方法及び装置 | |
JP4063360B2 (ja) | ビデオ信号画像中のきずを検出する方法および装置 | |
JP4001664B2 (ja) | ビデオ信号画像中のきずを検出する方法および装置 | |
US5537670A (en) | Product appearance inspection methods and apparatus employing low variance filter | |
JP3377659B2 (ja) | 物体検出装置及び物体検出方法 | |
JP2006170922A (ja) | 外観検査方法およびその装置 | |
JP2000137877A (ja) | 火災検出装置 | |
JPH07249128A (ja) | 車両用画像処理装置 | |
JP2004241600A (ja) | 欠陥検出回路及び欠陥検出方法 | |
JP3886573B2 (ja) | 降雨雪検出方法およびその装置 | |
JPH06324005A (ja) | 鋼板の圧延ロール疵検出方法 | |
JP2001086517A (ja) | 画素欠陥検出装置 | |
JP3682631B2 (ja) | 火災検出装置 | |
JP2006148748A (ja) | 画素欠陥補正装置および画素欠陥補正方法 | |
JP2779624B2 (ja) | 停渋帯車輌検出方法 | |
JPH06319082A (ja) | 傷検出回路および傷補正回路 | |
JP3779741B2 (ja) | 文字画像の2値化方法 | |
JP3424988B2 (ja) | 欠陥検査装置 | |
JP2503613B2 (ja) | 異常監視装置 | |
JPH09304033A (ja) | 圧延板の光学式形状検出方法及びその装置 | |
JPH09251538A (ja) | 物体存否判断装置および物体存否判断方法 | |
JPH1097625A (ja) | 駐車車両検出システム | |
JP2868233B2 (ja) | 車両の移動検出装置 | |
JPH06237414A (ja) | 動画像のカットチェンジ検出装置 | |
JPH07162762A (ja) | しきい値算出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070710 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070815 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110824 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110824 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130824 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |