JP4590751B2 - 映像ノイズ除去装置 - Google Patents
映像ノイズ除去装置 Download PDFInfo
- Publication number
- JP4590751B2 JP4590751B2 JP2001041327A JP2001041327A JP4590751B2 JP 4590751 B2 JP4590751 B2 JP 4590751B2 JP 2001041327 A JP2001041327 A JP 2001041327A JP 2001041327 A JP2001041327 A JP 2001041327A JP 4590751 B2 JP4590751 B2 JP 4590751B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- signal
- output
- luminance
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Processing Of Color Television Signals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、テープ媒体もしくはディスク媒体等に記録、または衛星放送もしくは地上波放送など、映像情報を色差信号で転送して映像信号を再生し、主に映像の背景部分の映像ノイズを除去する映像ノイズ除去装置に関する。
【０００２】
【従来の技術】
従来、テープ媒体もしくはディスク媒体に記録、または衛星放送、有線放送もしくは地上波放送等の映像出力は、テレビ受像機で再生できる様、複合映像信号で伝送されるのが普通であるが、近年、ＭＰＥＧ圧縮技術を応用した映像機器の普及に伴って、色差信号で映像信号を伝送し、主に映像の背景部分の映像ノイズを除去する映像ノイズ除去装置が導入されつつある。
【０００３】
図９は、本発明に関わる従来の技術の一例として、円盤状のディスクに収録された色差映像信号を再生する映像ノイズ除去装置の構成を示すブロック図である。図９において、１はディスクで、色差映像信号が、予め記録（または再生）に適した信号形態に符号化され、変調されて記録されている。２はピックアップで、ディスク１に記録された情報信号を電気的信号に変換する。３はディスク回転装置で、ディスク１を再生に適した回転数で回転させる。４は映像信号再生回路で、ディスク１に記録された映像信号を復調し、復号し、輝度信号と色差映像信号として出力する。５は第１のバンドパスフィルタで、映像信号再生回路４の出力の内の輝度信号の３ＭＨｚ近辺の帯域を通過させる。６は第１のリミッタ回路で、第１のバンドパスフィルタ５の出力と閾値とを比較し、リミットをかけて出力する。７は第１の減算器で、映像信号再生回路４の輝度信号出力より、第１のリミッタ６の出力を減算し出力する。８はエンコーダで、飛び越し走査映像信号をモニタ（図示は省略）に適した映像信号に変換し出力する。９は映像信号出力端子で、これより再生された映像出力が、モニタ（図示は省略）に出力される。
【０００４】
以上の様に構成された従来の映像ノイズ除去装置について、その動作を説明する。
【０００５】
ディスク１が、ディスク回転装置３により、再生に適した回転速度で回転されている時、ピックアップ２はディスク１に記録された光学的信号を読み取り、電気的信号に変換して映像信号再生回路４に与える、映像信号再生回路４は、与えられた電気的信号をディジタル映像信号に変換し、第１の減算器７と、第１のバンドパスフィルタ５に出力する。
【０００６】
図１０は、従来の映像ノイズ除去装置の第１のバンドパスフィルタの特性を示す図である。
【０００７】
第１のバンドパスフィルタ５は、図１０に示すように、輝度信号の周波数帯域は６ＭＨｚであり、そのうち、映像ノイズ成分の多い３ＭＨｚ近辺のみ通過させる特性を持っている。
【０００８】
第１のバンドパスフィルタ５を通過した輝度信号は、次に第１のリミッタ６に入力される。図１１は、従来の映像ノイズ除去装置の第１のリミッタの特性を示す図である。図１１に示す様に、入力の絶対値が０からある値Ｘ0になるまでは、第１のリミッタは入力を全て通過させ、値Ｘ0から、値２Ｘ0までは
値２Ｘ0−入力
を出力し、値２Ｘ0より絶対値が大きい場合には０を出力する。
【０００９】
これは、映像信号に含まれる微少振幅成分のみを映像ノイズとして取り出す働きをする。今、第１のバンドパスフィルタ５で３ＭＨｚ帯のみ抽出された輝度信号のうち、上述した方式により、微少振幅成分のみが輝度信号ノイズとして取り出される。
【００１０】
この様にして取り出された輝度信号ノイズは、第１の減算器７で、輝度信号から差し引かれることによって輝度信号のノイズが除去され、エンコーダ８に送られる。
【００１１】
エンコーダ８は、以上の様にして再生、ノイズ除去されたディジタル映像信号をモニタ（図示せず）に出画するのに適した映像信号に変換する。即ち、ディジタルで入力された輝度信号に対して、同期信号を付加し、アナログ信号として出力し、ＣＢ、ＣＲの２つの色差信号についてもアナログ信号化して出力する。ディスク１に記録された映像信号がプログレッシブ（４８０Ｐ）方式の場合には、プログレッシブ色差信号としても出力される。また、ＣＢ、ＣＲの２つの信号から色副搬送波で変調した色信号をつくり、更に色信号と輝度信号と同期信号を合成してコンポジット映像信号を生成する。この様にして生成された、アナログ輝度信号、色差信号、色信号、コンポジット映像信号が、映像信号出力端子９より出力される。
【００１２】
図１２は、従来の映像ノイズ除去装置のノイズ除去特性を示す図である。
図１２の（ａ）輝度入力は、図８の映像信号再生回路４の輝度信号出力である。この波形の、うち輝度が比較的高い部分が主な被写体部分で、輝度が比較的低い部分が背景部分である。この様な信号が第１のバンドパスフィルタ５を通過すると、図１２の（ｂ）第１のバンドパスフィルタ出力に示すような波形が得られる。更に第１のリミッタ６を通過すると図１２の（ｃ）ノイズ出力に示す波形が得られる。ここでは微少振幅成分のみが抽出されているが、背景から被写体に遷移する部分の境界領域はノイズではないにも関わらず、その振幅がリミッタにかかる前後の部分で、ノイズとして抽出されてしまっている。
【００１３】
この様に、本来ノイズでない信号までがノイズとして抽出されてしまったノイズ信号を図１２の（ａ）輝度入力から減算すると、図１２の（ｄ）輝度出力に示される様な波形になる。
【００１４】
即ち、従来の映像ノイズ除去装置においては、主に背景にあるノイズを除去する際に、背景のノイズを除去すると同時に、輪郭部分の信号がなまるために輪郭がぼやけ、また被写体の映像信号の微少振幅を無くし微妙な陰影を再現できない。
【００１５】
図１３は、従来の映像ノイズ除去装置のノイズの時間変化特性を示す図である。従来の映像ノイズ除去装置ではディスク１にはＭＰＥＧ符号化方式で符号化された映像信号が記録されている。図１３の（ｑ）符号化方式には各映像フレームが、フレーム内符号化（Ｉ）、前方向予測符号化（Ｐ）、両方向予測符号化（Ｂ）のどの符号化方式で符号化された情報であるかを示している。ここで、フレーム内符号化（Ｉ）では、元画像のフレーム内情報のみを用いて圧縮符号化されているのに対して、前方向予測符号化（Ｐ）では、過去のフレームから動き予測された情報との差分情報をもって符号化され、両方向予測符号化（Ｂ）では、過去及び未来のフレーム情報との差分情報をもって符号化される。従って図１３（ｒ）符号量に示される様に、圧縮後のフレームの情報量としては、フレーム内符号化（Ｉ）フレームが最も多く、両方向予測符号化（Ｂ）フレームが最も少ない。逆に言えば、図１３（ｓ）再生画像の視覚上ノイズ量に示される様に、フレーム内符号化（Ｉ）フレームでは、視覚上ノイズとして検知される成分の情報が多いのに対して、両方向予測符号化（Ｂ）フレームでは、視覚上ノイズとして検知される成分の情報が少ない。
【００１６】
よって、図１３（ｖ）に示されるように、ノイズ除去後の視覚上のノイズ量に示す様に、ノイズ除去後の残留ノイズ分は時間と共に変化する。ＭＰＥＧ符号化方式では、周期的にフレーム内符号化（Ｉ）フレームが現れるため、ノイズが周期的に増えたり減ったりして見える現象が生じる。特に、ノイズ量に対してノイズ除去量が少ない場合に顕著である。
【００１７】
【発明が解決しようとする課題】
以上のように、従来の映像ノイズ除去装置においては、主に背景に乗るノイズを除去する際に、輪郭部分の劣化や、被写体の微少振幅を無くすという問題点を持っている。また、ノイズが周期的に増えたり減ったりして見える問題点も持っている。今後は、安価で、簡易に、輪郭の劣化や被写体の微少振幅を無くすことなく、また、ノイズが周期的に増えたり減ったりして見えることもなく、背景にあるノイズを除去できる映像ノイズ除去装置の導入が要求されている。
【００１８】
本発明は、上記従来技術の課題を解消するもので、輪郭の劣化や被写体の微少振幅を無くすことなく、主に背景にあるノイズを除去できる映像ノイズ除去装置を提供するものである。
【００１９】
【発明を解決するための手段】
この課題を解決するために本発明は、輝度信号と色差信号とからなる入力映像信号から前記輝度信号のノイズ成分を除去し出力する映像ノイズ除去装置であって、前記入力映像信号の特徴に応じて決定される閾値に応じて前記輝度信号のノイズを検出するノイズ抽出手段と、前記入力映像信号の特徴に応じて決定される減衰量に応じて前記ノイズ抽出手段出力を減衰させる減衰手段と、前記輝度信号から前記減衰手段出力を減算し、前記輝度信号に含まれるノイズを除去するノイズ除去手段と、前記入力映像信号の色差信号から肌色領域を検出する肌色検出手段とを備え、前記肌色検出手段が肌色領域を検出した場合、前記ノイズ抽出手段の閾値を下げる切換えおよび前記減衰手段の減衰量を下げる切換えの少なくとも一方を切換えることを特徴とする、映像ノイズ除去装置である。
【００２０】
これにより、入力映像信号の色差信号から求められる色相に応じて、ノイズ抽出感度と、ノイズ除去量を変化させるので、輪郭の劣化や被写体の微少振幅を無くすことなく、主に背景にあるノイズを除去することができる。
【００２３】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１について、円盤状のディスクに収録された信号を再生する場合について図１〜図８を用いて説明する。
【００２４】
図１は本発明の実施の形態１の映像ノイズ除去装置の構成を示すブロック図である。図１において、１はディスクで、色差映像信号が、予め記録（または再生）に適した信号形態に符号化され、変調されて記録されている。２はピックアップで、ディスク１に記録された情報信号を電気的信号に変換する。３はディスク回転装置で、ディスク１を再生に適した回転数で回転させる。４は映像信号再生回路で、ディスク１に記録された映像信号を復調し、復号し、輝度信号と色差映像信号として出力する。５は第１のバンドパスフィルタで、映像信号再生回路４の出力のうち、輝度信号の３ＭＨｚ近辺の帯域を通過させる。７は第１の減算器で、映像信号再生回路４の輝度出力より、第１のリミッタ６の出力を減算し出力する。８はエンコーダで、飛び越し走査映像信号をモニタ（図示は省略）に適した映像信号に変換し出力する。９は映像信号出力端子で、これより再生された映像出力が、モニタ（図示は省略）に出力される。１０は可変減衰器で、外部制御入力により減衰量を変化でき、可変リミッタ出力１６に減衰を与え第１の減算器７に出力する。１１は水平輝度特徴抽出回路で、輝度信号の水平方向の平均輝度レベルと輪郭情報を出力する。１２は閾値設定回路で、可変リミッタ１６の閾値を制御する。１３は符号化種別抽出回路であり、再生されている映像信号フレームが、フレーム内符号化、前方向予測符号化、両方向予測符号化のうちのどれかを示す。１４は垂直相関性抽出回路であり、輝度信号の垂直方向の相関性を検出して出力する。１５は肌色検出回路であり、色差信号から肌色領域を検出し出力する。１６は可変のリミッタ回路で、第１のバンドパスフィルタ５の出力と閾値とを比較し、リミットをかけて出力する。
【００２５】
以上の様に構成された本発明の実施の形態１の映像ノイズ除去装置について、その動作を説明する。
【００２６】
ディスク１が、ディスク回転装置３により、再生に適した回転速度で回転されている時、ピックアップ２はディスク１に記録された光学的信号を読み取り、電気的信号に変換して映像信号再生回路４に与える。映像信号再生回路４は、与えられた電気的信号をディジタル色差信号に変換し、第１の減算器７と、第１のバンドパスフィルタ５に出力する。
【００２７】
図２は本発明の実施の形態１の映像ノイズ除去装置の第１のバンドパスフィルタの特性を示す図である。
【００２８】
第１のバンドパスフィルタ５は、図２に示すように、輝度信号の周波数帯域は６ＭＨｚあり、そのうち、映像ノイズ成分の多い３ＭＨｚ近辺のみ通過させる特性を持っている。第１のバンドパスフィルタを通過した輝度信号は次に可変リミッタ１６に入力される。
【００２９】
図３は、本発明の実施の形態１の映像ノイズ除去装置の可変リミッタの特性を示す図である。
【００３０】
図３に示す様に、入力の絶対値が０からある値Ｘn（ｎ＝１，２，３）になるまでは、第１のリミッタは入力を全て通過させ、値Ｘnから、値２Ｘnまでは
値２Ｘn−入力
を出力し、値２Ｘnより絶対値が大きい場合には０を出力する。これは、映像信号に含まれる微少振幅成分のみを映像ノイズとして取り出す働きをする。
【００３１】
今、第１のバンドパスフィルタ５で３ＭＨｚ帯のみ抽出された輝度信号のうち、上述した方式により、微少振幅成分のみが輝度信号ノイズとして取り出される。ｎは、後述するように、外部からノイズの抽出ゲインを切り替えられる様にするために設定されるものであり、ｎ＝０の時にはリミッタとしては動作せず、何も出力されない。
【００３２】
この様にして取り出された輝度信号ノイズは、可変減衰器１０に入力される。可変減衰器１０では、入力された可変リミッタ１６の出力、即ち、検出ノイズ信号を、外部制御信号によって定められる乗数にて減衰されて出力される。可変減衰器１０の出力は、第１の減算器７で、輝度信号から差し引かれることによって輝度信号のノイズが除去され、エンコーダ８に送られる。
【００３３】
エンコーダ８は、以上の様にして再生、ノイズ除去されたディジタル映像信号をモニタ（図示せず）に出画するのに適した映像信号に変換する。即ち、ディジタルで入力された輝度信号に対して、同期信号を付加し、アナログ信号として出力し、ＣＢ、ＣＲの２つの色差信号についてもアナログ信号化して出力する。ディスク１に記録された映像信号がプログレッシブ（４８０Ｐ）方式の場合には、プログレッシブ色差信号としても出力される。また、ＣＢ、ＣＲの２つの信号から色副搬送波で変調した色信号をつくり、更に色信号と輝度信号と同期信号を合成してコンポジット映像信号を生成する。この様にして生成された、アナログ輝度信号、色差信号、色信号、コンポジット映像信号が、映像信号出力端子９より出力される。
【００３４】
図４は、本発明の実施の形態１の映像ノイズ除去装置の水平輝度エッジ・平均抽出回路１１の構成を示すブロック図である。
【００３５】
図４において、３１は輝度入力端子であり、これより輝度信号が入力される。３２は第１の遅延回路であり、４つの遅延素子からなっている、３３は第２の遅延回路であり、第１の遅延回路３２の最終段遅延素子出力を入力し遅延を与え、第３の遅延回路３４に出力する。３４は第３の遅延回路であり、４つの遅延素子からなっている。３５は第１の積分器であり、輝度入力端子３１の入力及び第１の遅延回路３２のそれぞれの遅延素子出力値を積分する。３６は第２の積分器であり、第２の遅延回路３３の出力及び第２の遅延回路３４のそれぞれの遅延素子出力値を積分する。３７は第２の減算器であり第１の積分器３５と第２の積分器３６の差を出力する。３８は第１の閾値である。３６は第１の比較器であり、第１の閾値３８の値と第２の減算器３７の値を比較し出力する。４０はエッジ情報出力端子であり、これより、第１の比較器３９の出力が出力される。４１は加算器であり、第１の積分器３５と第２の積分器３６の出力を加算する。４２は第２の閾値である。４３は第２の比較器であり、第２の閾値４２の値と加算器４２の値を比較し出力する。４４は平均輝度情報出力端子であり、これより、第２の比較器４３の出力が出力される。
【００３６】
今、輝度入力端子３１には、図１の映像信号再生回路４の輝度信号出力が入力されている。図４において輝度入力端子３１から入力された輝度信号は第１の遅延回路３２に入力される。第１の遅延回路３２には４つの遅延素子があり、それぞれ輝度一画素時間分の遅延を与え出力する。第１の積分器３５は輝度信号入力と、その４つの遅延素子の出力の和を求める。第１の遅延回路３２の最終段遅延素子の出力は第２の遅延回路３３に入力される。即ち、第１の積分器３５の出力は、第２の遅延回路３３にある輝度画素データの後に続く５画素分の平均輝度レベルに対応する。第２の遅延回路３３は、輝度一画素時間分の遅延を与え第３の遅延回路３４と第２の積分器３６とに出力する。第３の遅延回路３４には４つの遅延素子があり、それぞれ輝度一画素時間分の遅延を与え出力する。第２の積分器３６は第３の遅延回路３４の入力と、その４つの遅延素子の出力の和を求める。即ち、第２の積分器３６の出力は、第２の遅延回路３３にある輝度画素データの前の５画素分の平均輝度レベルに対応する。
【００３７】
第２の減算器３７は、第１の積分器３５と第２の積分器３６の差を求める。即ち、第２の遅延回路３３に入力されている画素が画像の輪郭である場合には、前後の輝度平均値が大きく異なるので、その様な場合には第２の減算器３７出力の絶対値は大きくなり、第２の遅延回路３３に入力されている画素が画像の輪郭でない場合には、前後の輝度平均値が大きく異ならないので、その様な場合には第２の減算器３７出力の絶対値は小さくなる。従って、第１の閾値３８を適当に選ぶことによって、第１の比較器３９によって、画像の輪郭部であるか、輪郭部でないかを検出することができる。このように第１の閾値３８を設定することによって、画像エッジ部分では出力”１”が非エッジ部分では”０”がエッジ情報出力端子４０より出力される。
【００３８】
加算器４１は、第１の積分器３５と第２の積分器３６の和を求める。従って、加算器４１の出力は周辺画素の平均輝度レベルに対応する。このように、平均輝度が低い部分と高い部分を求めるために、第２の閾値４２を設定し、第２の比較器で、第２の閾値４２と加算器４１の出力を比較することによって画素周辺の平均輝度に対応した平均輝度情報が得られ、平均輝度情報出力端子４４より出力される。
【００３９】
図５は、本発明の実施の形態１の映像ノイズ除去装置の垂直相関性抽出回路１４の構成を示すブロック図である。
【００４０】
図５において５１は輝度入力端子でありこれより輝度信号が入力される。５２はラインメモリであり、入力に１水平走査時間に相当する遅延を与え出力する。５３は第４の減算器であり、ラインメモリ５２の入力と出力の差を出力する。５４は第２のバンドパスフィルタであり、３ＭＨｚ周辺の信号を通過させる特性を持つ。５５は第３の閾値である。５６は第３の比較器であり、第３の閾値５５の値と第２のバンドパスフィルタ５４の値を比較し出力する。５７は垂直相関性出力端子であり、これより、第３の比較器５６の出力が出力される。
【００４１】
今、輝度入力端子５１には、図１の映像信号再生回路４の輝度信号出力が入力されている。図５において輝度入力端子５１から入力された輝度信号はラインメモリ５２に入力される。第４の減算器５３は、ラインメモリ５２の前後の輝度情報の差を求める。ラインメモリの遅延時間が丁度画像上の１水平走査時間に設定されているので、第４の減算器５３の出力は、垂直方向の相関成分になる。第４の減算器５３の出力は第２のバンドパスフィルタ５４に入力され、３ＭＨｚ周辺帯域成分のみが通過される。即ち第２のバンドパスフィルタ５４の出力は、輝度情報の垂直方向の非相関で３ＭＨｚ周辺帯域の成分である。
【００４２】
この成分は垂直方向にランダムに現れるノイズ成分である。従ってこの成分が抽出できるように第３の閾値５５を設定すると、第３の比較器５６によって、垂直方向に非相関な３ＭＨｚ周辺の成分、即ちノイズがある部分とそうでない部分とに区分けできる。このように、第３の比較器５６で抽出した、この垂直方向ノイズがある部分の信号を垂直相関性出力端子５７より出力する。
【００４３】
図６は、本発明の実施の形態１の映像ノイズ除去装置の肌色検出回路１５の動作を示す図である。
【００４４】
図１において肌色検出回路１５には、映像信号再生回路４の色差信号が入力される。色差信号はＣＢ、ＣＲの２軸のベクトル情報であり、ベクトルの角度が色相、絶対値が飽和度を示している。図６の肌色領域Ｓに示される領域に各画素のベクトルが入っているか否かを検出することによって、その画祖が肌色近辺の色であるのかそうでないのかを検出することができる。図１の肌色検出回路１５はそのようにして各画素が肌色近辺である場合（１）とそうでない場合（０）とを区分けし出力する。
【００４５】
図１において、閾値設定回路１２は可変リミッタ１６の閾値（ｎ）の値を制御する。閾値設定回路１２には、水平輝度エッジ・平均抽出回路１１、垂直相関性抽出回路１４、肌色検出回路１５、符号化種別抽出回路１３の出力が接続され、それぞれの出力に応じて、表１に示される様に、閾値の設定が行われる。ここで、閾値は０が何も出力しないレベルで、１，２、３と数値が増える程、ノイズ検出レベル、即ち可変リミッタ１６のリミット値が高いことを示す。
【００４６】
【表１】
【００４７】
即ち、エッジ部分ではノイズ検出をしない（ｎ＝０）。また、垂直相関性の高い部分は信号である可能性が高いので、検出レベルを下げる（ｎ＝１）。非エッジで垂直相関性の低い部分では、まず、平均輝度が高く肌色の部分は被写体であるので、解像感を損なわないようにするためノイズ検出レベルを下げ（ｎ＝１）、平均輝度が高く肌色でない部分は着目度の低い被写体であるか背景である可能性があるので、検出レベルを中（ｎ＝２）にする。更に平均輝度が低い部分は背景であるので、符号化がフレーム内符号化（Ｉ）のフレームでは最もノイズ成分が目立つので、検出レベルを上げ（ｎ＝３）、前方向予測符号化（Ｐ）フレームでは中（ｎ＝２）、両方向予測符号化（Ｂ）フレームで低（ｎ＝１）とする。
【００４８】
次に可変減衰器１０の動作を示す。可変減衰器１０には、水平輝度エッジ・平均抽出回路１１、垂直相関性抽出回路１４、肌色検出回路１５、符号化種別抽出回路１３の出力が接続され、それぞれの出力に応じて、表２に示される様に、ゲインの設定が行われる。可変減衰器１０は可変リミッタ１６の出力にゲインを乗じて第１の減算器７に出力する。
【００４９】
【表２】
【００５０】
即ち、垂直相関性の高い部分は信号である可能性が高いので、ゲインを下げる（ゲイン＝０．３）。垂直相関性の低い部分では、まず、平均輝度が高く肌色の部分は被写体であるので、解像感を損なわないようにするためゲインを下げ（ゲイン＝０．３）、平均輝度が高く肌色でない部分は着目度の低い被写体であるか背景である可能性があるので、ゲインを中（ゲイン＝０．５）にする。更に平均輝度が低い部分は背景であるので、符号化がフレーム内符号化（Ｉ）のフレームでは最もノイズ成分が目立つので、ゲインを上げ（ゲイン＝１．０）、前方向予測符号化（Ｐ）フレームではゲインを中（ゲイン＝０．５）、両方向予測符号化（Ｂ）フレームでゲインを低（ゲイン＝０．３）とする。
【００５１】
図７は本発明の実施の形態１の映像ノイズ除去装置のノイズ除去特性を示す図である。
【００５２】
図７の（ａ）輝度入力は、図１の映像信号再生回路４の輝度出力である。この波形のうち、輝度が比較的高い部分が主な被写体部分で、輝度が比較的低い部分が背景部分である。また、図７の（ｅ）遅延出力は、垂直相関性抽出回路１４内のラインメモリ５２の出力を示す。即ち（ａ）輝度入力の丁度１ライン前の輝度情報である。
【００５３】
図７の（ｆ）水平エッジ検出出力は、図１の水平輝度エッジ・平均抽出回路１１のエッジ出力であり、図４で示される動作により、（ａ）輝度入力のエッジ部分で”１”、非エッジで”０”となる。図７の（ｇ）水平平均輝度検出出力は、水平輝度エッジ・平均抽出回路１１の平均輝度情報出力であり、図４で示される動作により、図７の（ａ）輝度入力の平均輝度の高い部分で”１”、平均輝度の低い部分で”０”となる。図７の（ｈ）肌色検出出力は、肌色検出回路１５の出力であり、図６で示される動作により、映像入力の肌色部分で”１”、非肌色部分で”０”となる。図７の（ｉ）垂直相関検出出力は、図１の垂直相関性抽出回路１４の出力であり、図５で示される動作により、図７の（ａ）輝度入力の垂直相関性のある部分で”１”、垂直相関性の無い部分で”０”となる。以上（ｆ）、（ｇ）、（ｈ）、（ｉ）の各信号によって、閾値設定回路１２と可変減衰器１０の各設定値が決定される。
【００５４】
図７の（ｊ）ノイズ制御アルゴリズムは、この様にして決定された設定に基づく内容を示している。ここに示す様に、垂直相関性の低い部分と輝度信号エッジ部分では、ノイズの除去が行われず、輝度の低い部分では、フレーム内符号化（Ｉ）前方向予測符号化（Ｐ）フレーム両方向予測符号化（Ｂ）フレームにより、閾値及びゲインが切り替えて適用されノイズ除去される。更に、輝度が高い肌色部分ではノイズはゲイン０．３分だけ除去され、輝度の高い非肌色部分ではゲイン０．５分だけ除去する。図７の（ｋ）可変リミッタ出力は、上記ノイズ除去アルゴリズムに準拠する形で抽出された出力であり、それが図１の可変減衰器１０によって上記ノイズ除去アルゴリズムに準拠したゲインが与えられ図７の（ｌ）ノイズ出力となる。図１の第１の減算器７で、輝度信号からノイズ出力が減算され、図７の（ｍ）輝度出力となる。
【００５５】
即ち、本発明の実施の形態１の映像ノイズ除去装置においては、主に背景にあるノイズを除去する際に、背景のノイズを除去すると同時に、輪郭部分や、垂直相関部分、また高輝度肌色部分の信号がノイズから除去されるために輪郭がぼやけたり、被写体の微少振幅を無くすることはない。
【００５６】
図８は、本発明の実施の形態１の映像ノイズ除去装置のノイズの時間変化特性を示す図である。
【００５７】
本発明の実施の形態１の映像ノイズ除去装置ではディスク１にはＭＰＥＧ符号化方式で符号化された映像信号が記録されている。図８の（ｑ）符号化方式には各映像フレームが、フレーム内符号化（Ｉ）、前方向予測符号化（Ｐ）、両方向予測符号化（Ｂ）のどの符号化方式で符号化された情報であるかを示している。ここで、フレーム内符号化（Ｉ）では、元画像のフレーム内情報のみを用いて圧縮符号化されているのに対して、前方向予測符号化（Ｐ）では、過去のフレームから動き予測された情報との差分情報をもって符号化され、両方向予測符号化（Ｂ）では、過去及び未来のフレーム情報との差分情報をもって符号化される。従って図８の（ｒ）符号量に示される様に、圧縮後のフレームの情報量としては、フレーム内符号化（Ｉ）フレームが最も多く、両方向予測符号化（Ｂ）フレームが最も少ない。逆に言えば、図８（ｓ）再生画像の視覚上ノイズ量に示される様に、フレーム内符号化（Ｉ）フレームでは、視覚上ノイズとして検知される成分の情報が多いのに対して、両方向予測符号化（Ｂ）フレームでは、視覚上ノイズとして検知される成分の情報が少ない。
【００５８】
表１及び表２に示すように、フレーム内符号化（Ｉ）フレームでは閾値が高く、かつゲインも高く前方向予測符号化（Ｐ）では閾値が中位でゲインも中位で、両方向予測符号化（Ｂ）では閾値も低くゲインも低いため、ノイズの除去量としては、図８（ｔ）ノイズ除去量に示す様にフレーム内符号化（Ｉ）では高く、前方向予測符号化（Ｐ）、では中位になり、両方向予測符号化（Ｂ）では低くなる。これにより、ノイズ除去後のノイズ量は、図８の（ｕ）ノイズ除去後の視覚上ノイズ量に示されるように、時間と共に変化する量が抑圧される。従って、従来問題になっていたノイズが周期的に増えたり減ったりして見える現象を無くすことができる。
【００５９】
即ち、本発明の実施の形態１によれば、水平輝度エッジ・平均抽出回路と、垂直相関抽出回路と、肌色検出回路と、符号化種別抽出回路と、閾値設定回路と、可変リミッタと、可変減衰器を備えることにより、映像信号の諸情報によって、ノイズ抽出感度と、ノイズ除去量を変化させ、輪郭の劣化や被写体の微少振幅を無くすことなく、また、ノイズが周期的に増えたり減ったりして見えることもなく、主に背景にあるノイズを除去できる映像ノイズ除去装置を提供する。
【００６０】
なお、本実施例では、水平輝度のエッジ、平均輝度レベル、垂直相関性、色相、符号化方式により、閾値と可変減衰器ゲインを制御したが、この組み合わせは、必ずしも本実施例で説明した組み合わせと制御値に限るものではなく、例えば、平均輝度レベルの低い肌色領域においても、閾値を１に固定するように設定しても、本発明の効果に変わりはない。
【００６１】
又、図１以降において、符号４以降の各構成要素は、本実施例では回路の形態としたが、これらはソフトウエアでの置き換えも可能なものである。
【００６２】
更に、本実施例では、ディスク媒体に記録された映像信号において説明を行ったが、これは、他のテープ媒体や、衛星放送、地上波放送等の映像信号を含んだ情報信号においても、同様に応用できるものである。
【００６３】
【発明の効果】
以上のように本発明によれば、入力映像信号の色差信号から求められる色相に応じて、ノイズ抽出感度と、ノイズ除去量を変化させ、輪郭の劣化や被写体の微少振幅を無くすことなく、主に背景にあるノイズを除去できる映像ノイズ除去装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１のノイズ除去装置の構成を示すブロック図
【図２】本発明の実施の形態１の映像ノイズ除去装置の第１のバンドパスフィルタの特性を示す図
【図３】本発明の実施の形態１の映像ノイズ除去装置の可変リミッタの特性を示す図
【図４】本発明の実施の形態１の映像ノイズ除去装置の水平輝度エッジ・平均抽出回路の構成を示すブロック図
【図５】本発明の実施の形態１の映像ノイズ除去装置の垂直相関性抽出回路の構成を示すブロック図
【図６】本発明の実施の形態１の映像ノイズ除去装置の肌色検出回路の動作を示す図
【図７】本発明の実施の形態１の映像ノイズ除去装置のノイズ除去特性を示す図
【図８】本発明の実施の形態１の映像ノイズ除去装置のノイズの時間変化特性を示す図
【図９】従来の映像ノイズ除去装置の構成を示すブロック図
【図１０】従来の映像ノイズ除去装置の第１のバンドパスフィルタの特性を示す図
【図１１】従来の映像ノイズ除去装置の第１のリミッタの特性を示す図
【図１２】従来の映像ノイズ除去装置のノイズ除去特性を示す図
【図１３】従来の映像ノイズ除去装置のノイズの時間変化特性を示す図
【符号の説明】
１ ディスク
２ ピックアップ
３ ディスク回転装置
４ 映像信号再生回路
５ 第１のバンドパスフィルタ
６ 第１のリミッタ
７ 第１の減衰器
８ エンコーダ
９ 映像信号出力端子
１０ 可変減衰器
１１ 水平輝度エッジ・平均抽出回路
１２ 閾値設定回路
１３ 符号化種別抽出回路
１４ 垂直相関性抽出回路
１５ 肌色検出回路
１６ 可変リミッタ
３１ 輝度入力端子
３２ 第１の遅延回路
３３ 第２の遅延回路
３４ 第３の遅延回路
３５ 第１の積分器
３６ 第２の積分器
３７ 第２の減算器
３８ 第１の閾値
３９ 第１の比較器
４０ エッジ情報出力端子
４１ 加算機
４２ 第２の閾値
４３ 第２の比較器
４４ 平均輝度情報出力端子
５１ 輝度入力端子
５２ ラインメモリ
５３ 第４の減算器
５４ 第２のバンドパスフィルタ
５５ 第３の閾値
５６ 第３の比較器
５７ 垂直相関性出力端子
【発明の属する技術分野】
本発明は、テープ媒体もしくはディスク媒体等に記録、または衛星放送もしくは地上波放送など、映像情報を色差信号で転送して映像信号を再生し、主に映像の背景部分の映像ノイズを除去する映像ノイズ除去装置に関する。
【０００２】
【従来の技術】
従来、テープ媒体もしくはディスク媒体に記録、または衛星放送、有線放送もしくは地上波放送等の映像出力は、テレビ受像機で再生できる様、複合映像信号で伝送されるのが普通であるが、近年、ＭＰＥＧ圧縮技術を応用した映像機器の普及に伴って、色差信号で映像信号を伝送し、主に映像の背景部分の映像ノイズを除去する映像ノイズ除去装置が導入されつつある。
【０００３】
図９は、本発明に関わる従来の技術の一例として、円盤状のディスクに収録された色差映像信号を再生する映像ノイズ除去装置の構成を示すブロック図である。図９において、１はディスクで、色差映像信号が、予め記録（または再生）に適した信号形態に符号化され、変調されて記録されている。２はピックアップで、ディスク１に記録された情報信号を電気的信号に変換する。３はディスク回転装置で、ディスク１を再生に適した回転数で回転させる。４は映像信号再生回路で、ディスク１に記録された映像信号を復調し、復号し、輝度信号と色差映像信号として出力する。５は第１のバンドパスフィルタで、映像信号再生回路４の出力の内の輝度信号の３ＭＨｚ近辺の帯域を通過させる。６は第１のリミッタ回路で、第１のバンドパスフィルタ５の出力と閾値とを比較し、リミットをかけて出力する。７は第１の減算器で、映像信号再生回路４の輝度信号出力より、第１のリミッタ６の出力を減算し出力する。８はエンコーダで、飛び越し走査映像信号をモニタ（図示は省略）に適した映像信号に変換し出力する。９は映像信号出力端子で、これより再生された映像出力が、モニタ（図示は省略）に出力される。
【０００４】
以上の様に構成された従来の映像ノイズ除去装置について、その動作を説明する。
【０００５】
ディスク１が、ディスク回転装置３により、再生に適した回転速度で回転されている時、ピックアップ２はディスク１に記録された光学的信号を読み取り、電気的信号に変換して映像信号再生回路４に与える、映像信号再生回路４は、与えられた電気的信号をディジタル映像信号に変換し、第１の減算器７と、第１のバンドパスフィルタ５に出力する。
【０００６】
図１０は、従来の映像ノイズ除去装置の第１のバンドパスフィルタの特性を示す図である。
【０００７】
第１のバンドパスフィルタ５は、図１０に示すように、輝度信号の周波数帯域は６ＭＨｚであり、そのうち、映像ノイズ成分の多い３ＭＨｚ近辺のみ通過させる特性を持っている。
【０００８】
第１のバンドパスフィルタ５を通過した輝度信号は、次に第１のリミッタ６に入力される。図１１は、従来の映像ノイズ除去装置の第１のリミッタの特性を示す図である。図１１に示す様に、入力の絶対値が０からある値Ｘ0になるまでは、第１のリミッタは入力を全て通過させ、値Ｘ0から、値２Ｘ0までは
値２Ｘ0−入力
を出力し、値２Ｘ0より絶対値が大きい場合には０を出力する。
【０００９】
これは、映像信号に含まれる微少振幅成分のみを映像ノイズとして取り出す働きをする。今、第１のバンドパスフィルタ５で３ＭＨｚ帯のみ抽出された輝度信号のうち、上述した方式により、微少振幅成分のみが輝度信号ノイズとして取り出される。
【００１０】
この様にして取り出された輝度信号ノイズは、第１の減算器７で、輝度信号から差し引かれることによって輝度信号のノイズが除去され、エンコーダ８に送られる。
【００１１】
エンコーダ８は、以上の様にして再生、ノイズ除去されたディジタル映像信号をモニタ（図示せず）に出画するのに適した映像信号に変換する。即ち、ディジタルで入力された輝度信号に対して、同期信号を付加し、アナログ信号として出力し、ＣＢ、ＣＲの２つの色差信号についてもアナログ信号化して出力する。ディスク１に記録された映像信号がプログレッシブ（４８０Ｐ）方式の場合には、プログレッシブ色差信号としても出力される。また、ＣＢ、ＣＲの２つの信号から色副搬送波で変調した色信号をつくり、更に色信号と輝度信号と同期信号を合成してコンポジット映像信号を生成する。この様にして生成された、アナログ輝度信号、色差信号、色信号、コンポジット映像信号が、映像信号出力端子９より出力される。
【００１２】
図１２は、従来の映像ノイズ除去装置のノイズ除去特性を示す図である。
図１２の（ａ）輝度入力は、図８の映像信号再生回路４の輝度信号出力である。この波形の、うち輝度が比較的高い部分が主な被写体部分で、輝度が比較的低い部分が背景部分である。この様な信号が第１のバンドパスフィルタ５を通過すると、図１２の（ｂ）第１のバンドパスフィルタ出力に示すような波形が得られる。更に第１のリミッタ６を通過すると図１２の（ｃ）ノイズ出力に示す波形が得られる。ここでは微少振幅成分のみが抽出されているが、背景から被写体に遷移する部分の境界領域はノイズではないにも関わらず、その振幅がリミッタにかかる前後の部分で、ノイズとして抽出されてしまっている。
【００１３】
この様に、本来ノイズでない信号までがノイズとして抽出されてしまったノイズ信号を図１２の（ａ）輝度入力から減算すると、図１２の（ｄ）輝度出力に示される様な波形になる。
【００１４】
即ち、従来の映像ノイズ除去装置においては、主に背景にあるノイズを除去する際に、背景のノイズを除去すると同時に、輪郭部分の信号がなまるために輪郭がぼやけ、また被写体の映像信号の微少振幅を無くし微妙な陰影を再現できない。
【００１５】
図１３は、従来の映像ノイズ除去装置のノイズの時間変化特性を示す図である。従来の映像ノイズ除去装置ではディスク１にはＭＰＥＧ符号化方式で符号化された映像信号が記録されている。図１３の（ｑ）符号化方式には各映像フレームが、フレーム内符号化（Ｉ）、前方向予測符号化（Ｐ）、両方向予測符号化（Ｂ）のどの符号化方式で符号化された情報であるかを示している。ここで、フレーム内符号化（Ｉ）では、元画像のフレーム内情報のみを用いて圧縮符号化されているのに対して、前方向予測符号化（Ｐ）では、過去のフレームから動き予測された情報との差分情報をもって符号化され、両方向予測符号化（Ｂ）では、過去及び未来のフレーム情報との差分情報をもって符号化される。従って図１３（ｒ）符号量に示される様に、圧縮後のフレームの情報量としては、フレーム内符号化（Ｉ）フレームが最も多く、両方向予測符号化（Ｂ）フレームが最も少ない。逆に言えば、図１３（ｓ）再生画像の視覚上ノイズ量に示される様に、フレーム内符号化（Ｉ）フレームでは、視覚上ノイズとして検知される成分の情報が多いのに対して、両方向予測符号化（Ｂ）フレームでは、視覚上ノイズとして検知される成分の情報が少ない。
【００１６】
よって、図１３（ｖ）に示されるように、ノイズ除去後の視覚上のノイズ量に示す様に、ノイズ除去後の残留ノイズ分は時間と共に変化する。ＭＰＥＧ符号化方式では、周期的にフレーム内符号化（Ｉ）フレームが現れるため、ノイズが周期的に増えたり減ったりして見える現象が生じる。特に、ノイズ量に対してノイズ除去量が少ない場合に顕著である。
【００１７】
【発明が解決しようとする課題】
以上のように、従来の映像ノイズ除去装置においては、主に背景に乗るノイズを除去する際に、輪郭部分の劣化や、被写体の微少振幅を無くすという問題点を持っている。また、ノイズが周期的に増えたり減ったりして見える問題点も持っている。今後は、安価で、簡易に、輪郭の劣化や被写体の微少振幅を無くすことなく、また、ノイズが周期的に増えたり減ったりして見えることもなく、背景にあるノイズを除去できる映像ノイズ除去装置の導入が要求されている。
【００１８】
本発明は、上記従来技術の課題を解消するもので、輪郭の劣化や被写体の微少振幅を無くすことなく、主に背景にあるノイズを除去できる映像ノイズ除去装置を提供するものである。
【００１９】
【発明を解決するための手段】
この課題を解決するために本発明は、輝度信号と色差信号とからなる入力映像信号から前記輝度信号のノイズ成分を除去し出力する映像ノイズ除去装置であって、前記入力映像信号の特徴に応じて決定される閾値に応じて前記輝度信号のノイズを検出するノイズ抽出手段と、前記入力映像信号の特徴に応じて決定される減衰量に応じて前記ノイズ抽出手段出力を減衰させる減衰手段と、前記輝度信号から前記減衰手段出力を減算し、前記輝度信号に含まれるノイズを除去するノイズ除去手段と、前記入力映像信号の色差信号から肌色領域を検出する肌色検出手段とを備え、前記肌色検出手段が肌色領域を検出した場合、前記ノイズ抽出手段の閾値を下げる切換えおよび前記減衰手段の減衰量を下げる切換えの少なくとも一方を切換えることを特徴とする、映像ノイズ除去装置である。
【００２０】
これにより、入力映像信号の色差信号から求められる色相に応じて、ノイズ抽出感度と、ノイズ除去量を変化させるので、輪郭の劣化や被写体の微少振幅を無くすことなく、主に背景にあるノイズを除去することができる。
【００２３】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１について、円盤状のディスクに収録された信号を再生する場合について図１〜図８を用いて説明する。
【００２４】
図１は本発明の実施の形態１の映像ノイズ除去装置の構成を示すブロック図である。図１において、１はディスクで、色差映像信号が、予め記録（または再生）に適した信号形態に符号化され、変調されて記録されている。２はピックアップで、ディスク１に記録された情報信号を電気的信号に変換する。３はディスク回転装置で、ディスク１を再生に適した回転数で回転させる。４は映像信号再生回路で、ディスク１に記録された映像信号を復調し、復号し、輝度信号と色差映像信号として出力する。５は第１のバンドパスフィルタで、映像信号再生回路４の出力のうち、輝度信号の３ＭＨｚ近辺の帯域を通過させる。７は第１の減算器で、映像信号再生回路４の輝度出力より、第１のリミッタ６の出力を減算し出力する。８はエンコーダで、飛び越し走査映像信号をモニタ（図示は省略）に適した映像信号に変換し出力する。９は映像信号出力端子で、これより再生された映像出力が、モニタ（図示は省略）に出力される。１０は可変減衰器で、外部制御入力により減衰量を変化でき、可変リミッタ出力１６に減衰を与え第１の減算器７に出力する。１１は水平輝度特徴抽出回路で、輝度信号の水平方向の平均輝度レベルと輪郭情報を出力する。１２は閾値設定回路で、可変リミッタ１６の閾値を制御する。１３は符号化種別抽出回路であり、再生されている映像信号フレームが、フレーム内符号化、前方向予測符号化、両方向予測符号化のうちのどれかを示す。１４は垂直相関性抽出回路であり、輝度信号の垂直方向の相関性を検出して出力する。１５は肌色検出回路であり、色差信号から肌色領域を検出し出力する。１６は可変のリミッタ回路で、第１のバンドパスフィルタ５の出力と閾値とを比較し、リミットをかけて出力する。
【００２５】
以上の様に構成された本発明の実施の形態１の映像ノイズ除去装置について、その動作を説明する。
【００２６】
ディスク１が、ディスク回転装置３により、再生に適した回転速度で回転されている時、ピックアップ２はディスク１に記録された光学的信号を読み取り、電気的信号に変換して映像信号再生回路４に与える。映像信号再生回路４は、与えられた電気的信号をディジタル色差信号に変換し、第１の減算器７と、第１のバンドパスフィルタ５に出力する。
【００２７】
図２は本発明の実施の形態１の映像ノイズ除去装置の第１のバンドパスフィルタの特性を示す図である。
【００２８】
第１のバンドパスフィルタ５は、図２に示すように、輝度信号の周波数帯域は６ＭＨｚあり、そのうち、映像ノイズ成分の多い３ＭＨｚ近辺のみ通過させる特性を持っている。第１のバンドパスフィルタを通過した輝度信号は次に可変リミッタ１６に入力される。
【００２９】
図３は、本発明の実施の形態１の映像ノイズ除去装置の可変リミッタの特性を示す図である。
【００３０】
図３に示す様に、入力の絶対値が０からある値Ｘn（ｎ＝１，２，３）になるまでは、第１のリミッタは入力を全て通過させ、値Ｘnから、値２Ｘnまでは
値２Ｘn−入力
を出力し、値２Ｘnより絶対値が大きい場合には０を出力する。これは、映像信号に含まれる微少振幅成分のみを映像ノイズとして取り出す働きをする。
【００３１】
今、第１のバンドパスフィルタ５で３ＭＨｚ帯のみ抽出された輝度信号のうち、上述した方式により、微少振幅成分のみが輝度信号ノイズとして取り出される。ｎは、後述するように、外部からノイズの抽出ゲインを切り替えられる様にするために設定されるものであり、ｎ＝０の時にはリミッタとしては動作せず、何も出力されない。
【００３２】
この様にして取り出された輝度信号ノイズは、可変減衰器１０に入力される。可変減衰器１０では、入力された可変リミッタ１６の出力、即ち、検出ノイズ信号を、外部制御信号によって定められる乗数にて減衰されて出力される。可変減衰器１０の出力は、第１の減算器７で、輝度信号から差し引かれることによって輝度信号のノイズが除去され、エンコーダ８に送られる。
【００３３】
エンコーダ８は、以上の様にして再生、ノイズ除去されたディジタル映像信号をモニタ（図示せず）に出画するのに適した映像信号に変換する。即ち、ディジタルで入力された輝度信号に対して、同期信号を付加し、アナログ信号として出力し、ＣＢ、ＣＲの２つの色差信号についてもアナログ信号化して出力する。ディスク１に記録された映像信号がプログレッシブ（４８０Ｐ）方式の場合には、プログレッシブ色差信号としても出力される。また、ＣＢ、ＣＲの２つの信号から色副搬送波で変調した色信号をつくり、更に色信号と輝度信号と同期信号を合成してコンポジット映像信号を生成する。この様にして生成された、アナログ輝度信号、色差信号、色信号、コンポジット映像信号が、映像信号出力端子９より出力される。
【００３４】
図４は、本発明の実施の形態１の映像ノイズ除去装置の水平輝度エッジ・平均抽出回路１１の構成を示すブロック図である。
【００３５】
図４において、３１は輝度入力端子であり、これより輝度信号が入力される。３２は第１の遅延回路であり、４つの遅延素子からなっている、３３は第２の遅延回路であり、第１の遅延回路３２の最終段遅延素子出力を入力し遅延を与え、第３の遅延回路３４に出力する。３４は第３の遅延回路であり、４つの遅延素子からなっている。３５は第１の積分器であり、輝度入力端子３１の入力及び第１の遅延回路３２のそれぞれの遅延素子出力値を積分する。３６は第２の積分器であり、第２の遅延回路３３の出力及び第２の遅延回路３４のそれぞれの遅延素子出力値を積分する。３７は第２の減算器であり第１の積分器３５と第２の積分器３６の差を出力する。３８は第１の閾値である。３６は第１の比較器であり、第１の閾値３８の値と第２の減算器３７の値を比較し出力する。４０はエッジ情報出力端子であり、これより、第１の比較器３９の出力が出力される。４１は加算器であり、第１の積分器３５と第２の積分器３６の出力を加算する。４２は第２の閾値である。４３は第２の比較器であり、第２の閾値４２の値と加算器４２の値を比較し出力する。４４は平均輝度情報出力端子であり、これより、第２の比較器４３の出力が出力される。
【００３６】
今、輝度入力端子３１には、図１の映像信号再生回路４の輝度信号出力が入力されている。図４において輝度入力端子３１から入力された輝度信号は第１の遅延回路３２に入力される。第１の遅延回路３２には４つの遅延素子があり、それぞれ輝度一画素時間分の遅延を与え出力する。第１の積分器３５は輝度信号入力と、その４つの遅延素子の出力の和を求める。第１の遅延回路３２の最終段遅延素子の出力は第２の遅延回路３３に入力される。即ち、第１の積分器３５の出力は、第２の遅延回路３３にある輝度画素データの後に続く５画素分の平均輝度レベルに対応する。第２の遅延回路３３は、輝度一画素時間分の遅延を与え第３の遅延回路３４と第２の積分器３６とに出力する。第３の遅延回路３４には４つの遅延素子があり、それぞれ輝度一画素時間分の遅延を与え出力する。第２の積分器３６は第３の遅延回路３４の入力と、その４つの遅延素子の出力の和を求める。即ち、第２の積分器３６の出力は、第２の遅延回路３３にある輝度画素データの前の５画素分の平均輝度レベルに対応する。
【００３７】
第２の減算器３７は、第１の積分器３５と第２の積分器３６の差を求める。即ち、第２の遅延回路３３に入力されている画素が画像の輪郭である場合には、前後の輝度平均値が大きく異なるので、その様な場合には第２の減算器３７出力の絶対値は大きくなり、第２の遅延回路３３に入力されている画素が画像の輪郭でない場合には、前後の輝度平均値が大きく異ならないので、その様な場合には第２の減算器３７出力の絶対値は小さくなる。従って、第１の閾値３８を適当に選ぶことによって、第１の比較器３９によって、画像の輪郭部であるか、輪郭部でないかを検出することができる。このように第１の閾値３８を設定することによって、画像エッジ部分では出力”１”が非エッジ部分では”０”がエッジ情報出力端子４０より出力される。
【００３８】
加算器４１は、第１の積分器３５と第２の積分器３６の和を求める。従って、加算器４１の出力は周辺画素の平均輝度レベルに対応する。このように、平均輝度が低い部分と高い部分を求めるために、第２の閾値４２を設定し、第２の比較器で、第２の閾値４２と加算器４１の出力を比較することによって画素周辺の平均輝度に対応した平均輝度情報が得られ、平均輝度情報出力端子４４より出力される。
【００３９】
図５は、本発明の実施の形態１の映像ノイズ除去装置の垂直相関性抽出回路１４の構成を示すブロック図である。
【００４０】
図５において５１は輝度入力端子でありこれより輝度信号が入力される。５２はラインメモリであり、入力に１水平走査時間に相当する遅延を与え出力する。５３は第４の減算器であり、ラインメモリ５２の入力と出力の差を出力する。５４は第２のバンドパスフィルタであり、３ＭＨｚ周辺の信号を通過させる特性を持つ。５５は第３の閾値である。５６は第３の比較器であり、第３の閾値５５の値と第２のバンドパスフィルタ５４の値を比較し出力する。５７は垂直相関性出力端子であり、これより、第３の比較器５６の出力が出力される。
【００４１】
今、輝度入力端子５１には、図１の映像信号再生回路４の輝度信号出力が入力されている。図５において輝度入力端子５１から入力された輝度信号はラインメモリ５２に入力される。第４の減算器５３は、ラインメモリ５２の前後の輝度情報の差を求める。ラインメモリの遅延時間が丁度画像上の１水平走査時間に設定されているので、第４の減算器５３の出力は、垂直方向の相関成分になる。第４の減算器５３の出力は第２のバンドパスフィルタ５４に入力され、３ＭＨｚ周辺帯域成分のみが通過される。即ち第２のバンドパスフィルタ５４の出力は、輝度情報の垂直方向の非相関で３ＭＨｚ周辺帯域の成分である。
【００４２】
この成分は垂直方向にランダムに現れるノイズ成分である。従ってこの成分が抽出できるように第３の閾値５５を設定すると、第３の比較器５６によって、垂直方向に非相関な３ＭＨｚ周辺の成分、即ちノイズがある部分とそうでない部分とに区分けできる。このように、第３の比較器５６で抽出した、この垂直方向ノイズがある部分の信号を垂直相関性出力端子５７より出力する。
【００４３】
図６は、本発明の実施の形態１の映像ノイズ除去装置の肌色検出回路１５の動作を示す図である。
【００４４】
図１において肌色検出回路１５には、映像信号再生回路４の色差信号が入力される。色差信号はＣＢ、ＣＲの２軸のベクトル情報であり、ベクトルの角度が色相、絶対値が飽和度を示している。図６の肌色領域Ｓに示される領域に各画素のベクトルが入っているか否かを検出することによって、その画祖が肌色近辺の色であるのかそうでないのかを検出することができる。図１の肌色検出回路１５はそのようにして各画素が肌色近辺である場合（１）とそうでない場合（０）とを区分けし出力する。
【００４５】
図１において、閾値設定回路１２は可変リミッタ１６の閾値（ｎ）の値を制御する。閾値設定回路１２には、水平輝度エッジ・平均抽出回路１１、垂直相関性抽出回路１４、肌色検出回路１５、符号化種別抽出回路１３の出力が接続され、それぞれの出力に応じて、表１に示される様に、閾値の設定が行われる。ここで、閾値は０が何も出力しないレベルで、１，２、３と数値が増える程、ノイズ検出レベル、即ち可変リミッタ１６のリミット値が高いことを示す。
【００４６】
【表１】
即ち、エッジ部分ではノイズ検出をしない（ｎ＝０）。また、垂直相関性の高い部分は信号である可能性が高いので、検出レベルを下げる（ｎ＝１）。非エッジで垂直相関性の低い部分では、まず、平均輝度が高く肌色の部分は被写体であるので、解像感を損なわないようにするためノイズ検出レベルを下げ（ｎ＝１）、平均輝度が高く肌色でない部分は着目度の低い被写体であるか背景である可能性があるので、検出レベルを中（ｎ＝２）にする。更に平均輝度が低い部分は背景であるので、符号化がフレーム内符号化（Ｉ）のフレームでは最もノイズ成分が目立つので、検出レベルを上げ（ｎ＝３）、前方向予測符号化（Ｐ）フレームでは中（ｎ＝２）、両方向予測符号化（Ｂ）フレームで低（ｎ＝１）とする。
【００４８】
次に可変減衰器１０の動作を示す。可変減衰器１０には、水平輝度エッジ・平均抽出回路１１、垂直相関性抽出回路１４、肌色検出回路１５、符号化種別抽出回路１３の出力が接続され、それぞれの出力に応じて、表２に示される様に、ゲインの設定が行われる。可変減衰器１０は可変リミッタ１６の出力にゲインを乗じて第１の減算器７に出力する。
【００４９】
【表２】
即ち、垂直相関性の高い部分は信号である可能性が高いので、ゲインを下げる（ゲイン＝０．３）。垂直相関性の低い部分では、まず、平均輝度が高く肌色の部分は被写体であるので、解像感を損なわないようにするためゲインを下げ（ゲイン＝０．３）、平均輝度が高く肌色でない部分は着目度の低い被写体であるか背景である可能性があるので、ゲインを中（ゲイン＝０．５）にする。更に平均輝度が低い部分は背景であるので、符号化がフレーム内符号化（Ｉ）のフレームでは最もノイズ成分が目立つので、ゲインを上げ（ゲイン＝１．０）、前方向予測符号化（Ｐ）フレームではゲインを中（ゲイン＝０．５）、両方向予測符号化（Ｂ）フレームでゲインを低（ゲイン＝０．３）とする。
【００５１】
図７は本発明の実施の形態１の映像ノイズ除去装置のノイズ除去特性を示す図である。
【００５２】
図７の（ａ）輝度入力は、図１の映像信号再生回路４の輝度出力である。この波形のうち、輝度が比較的高い部分が主な被写体部分で、輝度が比較的低い部分が背景部分である。また、図７の（ｅ）遅延出力は、垂直相関性抽出回路１４内のラインメモリ５２の出力を示す。即ち（ａ）輝度入力の丁度１ライン前の輝度情報である。
【００５３】
図７の（ｆ）水平エッジ検出出力は、図１の水平輝度エッジ・平均抽出回路１１のエッジ出力であり、図４で示される動作により、（ａ）輝度入力のエッジ部分で”１”、非エッジで”０”となる。図７の（ｇ）水平平均輝度検出出力は、水平輝度エッジ・平均抽出回路１１の平均輝度情報出力であり、図４で示される動作により、図７の（ａ）輝度入力の平均輝度の高い部分で”１”、平均輝度の低い部分で”０”となる。図７の（ｈ）肌色検出出力は、肌色検出回路１５の出力であり、図６で示される動作により、映像入力の肌色部分で”１”、非肌色部分で”０”となる。図７の（ｉ）垂直相関検出出力は、図１の垂直相関性抽出回路１４の出力であり、図５で示される動作により、図７の（ａ）輝度入力の垂直相関性のある部分で”１”、垂直相関性の無い部分で”０”となる。以上（ｆ）、（ｇ）、（ｈ）、（ｉ）の各信号によって、閾値設定回路１２と可変減衰器１０の各設定値が決定される。
【００５４】
図７の（ｊ）ノイズ制御アルゴリズムは、この様にして決定された設定に基づく内容を示している。ここに示す様に、垂直相関性の低い部分と輝度信号エッジ部分では、ノイズの除去が行われず、輝度の低い部分では、フレーム内符号化（Ｉ）前方向予測符号化（Ｐ）フレーム両方向予測符号化（Ｂ）フレームにより、閾値及びゲインが切り替えて適用されノイズ除去される。更に、輝度が高い肌色部分ではノイズはゲイン０．３分だけ除去され、輝度の高い非肌色部分ではゲイン０．５分だけ除去する。図７の（ｋ）可変リミッタ出力は、上記ノイズ除去アルゴリズムに準拠する形で抽出された出力であり、それが図１の可変減衰器１０によって上記ノイズ除去アルゴリズムに準拠したゲインが与えられ図７の（ｌ）ノイズ出力となる。図１の第１の減算器７で、輝度信号からノイズ出力が減算され、図７の（ｍ）輝度出力となる。
【００５５】
即ち、本発明の実施の形態１の映像ノイズ除去装置においては、主に背景にあるノイズを除去する際に、背景のノイズを除去すると同時に、輪郭部分や、垂直相関部分、また高輝度肌色部分の信号がノイズから除去されるために輪郭がぼやけたり、被写体の微少振幅を無くすることはない。
【００５６】
図８は、本発明の実施の形態１の映像ノイズ除去装置のノイズの時間変化特性を示す図である。
【００５７】
本発明の実施の形態１の映像ノイズ除去装置ではディスク１にはＭＰＥＧ符号化方式で符号化された映像信号が記録されている。図８の（ｑ）符号化方式には各映像フレームが、フレーム内符号化（Ｉ）、前方向予測符号化（Ｐ）、両方向予測符号化（Ｂ）のどの符号化方式で符号化された情報であるかを示している。ここで、フレーム内符号化（Ｉ）では、元画像のフレーム内情報のみを用いて圧縮符号化されているのに対して、前方向予測符号化（Ｐ）では、過去のフレームから動き予測された情報との差分情報をもって符号化され、両方向予測符号化（Ｂ）では、過去及び未来のフレーム情報との差分情報をもって符号化される。従って図８の（ｒ）符号量に示される様に、圧縮後のフレームの情報量としては、フレーム内符号化（Ｉ）フレームが最も多く、両方向予測符号化（Ｂ）フレームが最も少ない。逆に言えば、図８（ｓ）再生画像の視覚上ノイズ量に示される様に、フレーム内符号化（Ｉ）フレームでは、視覚上ノイズとして検知される成分の情報が多いのに対して、両方向予測符号化（Ｂ）フレームでは、視覚上ノイズとして検知される成分の情報が少ない。
【００５８】
表１及び表２に示すように、フレーム内符号化（Ｉ）フレームでは閾値が高く、かつゲインも高く前方向予測符号化（Ｐ）では閾値が中位でゲインも中位で、両方向予測符号化（Ｂ）では閾値も低くゲインも低いため、ノイズの除去量としては、図８（ｔ）ノイズ除去量に示す様にフレーム内符号化（Ｉ）では高く、前方向予測符号化（Ｐ）、では中位になり、両方向予測符号化（Ｂ）では低くなる。これにより、ノイズ除去後のノイズ量は、図８の（ｕ）ノイズ除去後の視覚上ノイズ量に示されるように、時間と共に変化する量が抑圧される。従って、従来問題になっていたノイズが周期的に増えたり減ったりして見える現象を無くすことができる。
【００５９】
即ち、本発明の実施の形態１によれば、水平輝度エッジ・平均抽出回路と、垂直相関抽出回路と、肌色検出回路と、符号化種別抽出回路と、閾値設定回路と、可変リミッタと、可変減衰器を備えることにより、映像信号の諸情報によって、ノイズ抽出感度と、ノイズ除去量を変化させ、輪郭の劣化や被写体の微少振幅を無くすことなく、また、ノイズが周期的に増えたり減ったりして見えることもなく、主に背景にあるノイズを除去できる映像ノイズ除去装置を提供する。
【００６０】
なお、本実施例では、水平輝度のエッジ、平均輝度レベル、垂直相関性、色相、符号化方式により、閾値と可変減衰器ゲインを制御したが、この組み合わせは、必ずしも本実施例で説明した組み合わせと制御値に限るものではなく、例えば、平均輝度レベルの低い肌色領域においても、閾値を１に固定するように設定しても、本発明の効果に変わりはない。
【００６１】
又、図１以降において、符号４以降の各構成要素は、本実施例では回路の形態としたが、これらはソフトウエアでの置き換えも可能なものである。
【００６２】
更に、本実施例では、ディスク媒体に記録された映像信号において説明を行ったが、これは、他のテープ媒体や、衛星放送、地上波放送等の映像信号を含んだ情報信号においても、同様に応用できるものである。
【００６３】
【発明の効果】
以上のように本発明によれば、入力映像信号の色差信号から求められる色相に応じて、ノイズ抽出感度と、ノイズ除去量を変化させ、輪郭の劣化や被写体の微少振幅を無くすことなく、主に背景にあるノイズを除去できる映像ノイズ除去装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１のノイズ除去装置の構成を示すブロック図
【図２】本発明の実施の形態１の映像ノイズ除去装置の第１のバンドパスフィルタの特性を示す図
【図３】本発明の実施の形態１の映像ノイズ除去装置の可変リミッタの特性を示す図
【図４】本発明の実施の形態１の映像ノイズ除去装置の水平輝度エッジ・平均抽出回路の構成を示すブロック図
【図５】本発明の実施の形態１の映像ノイズ除去装置の垂直相関性抽出回路の構成を示すブロック図
【図６】本発明の実施の形態１の映像ノイズ除去装置の肌色検出回路の動作を示す図
【図７】本発明の実施の形態１の映像ノイズ除去装置のノイズ除去特性を示す図
【図８】本発明の実施の形態１の映像ノイズ除去装置のノイズの時間変化特性を示す図
【図９】従来の映像ノイズ除去装置の構成を示すブロック図
【図１０】従来の映像ノイズ除去装置の第１のバンドパスフィルタの特性を示す図
【図１１】従来の映像ノイズ除去装置の第１のリミッタの特性を示す図
【図１２】従来の映像ノイズ除去装置のノイズ除去特性を示す図
【図１３】従来の映像ノイズ除去装置のノイズの時間変化特性を示す図
【符号の説明】
１ ディスク
２ ピックアップ
３ ディスク回転装置
４ 映像信号再生回路
５ 第１のバンドパスフィルタ
６ 第１のリミッタ
７ 第１の減衰器
８ エンコーダ
９ 映像信号出力端子
１０ 可変減衰器
１１ 水平輝度エッジ・平均抽出回路
１２ 閾値設定回路
１３ 符号化種別抽出回路
１４ 垂直相関性抽出回路
１５ 肌色検出回路
１６ 可変リミッタ
３１ 輝度入力端子
３２ 第１の遅延回路
３３ 第２の遅延回路
３４ 第３の遅延回路
３５ 第１の積分器
３６ 第２の積分器
３７ 第２の減算器
３８ 第１の閾値
３９ 第１の比較器
４０ エッジ情報出力端子
４１ 加算機
４２ 第２の閾値
４３ 第２の比較器
４４ 平均輝度情報出力端子
５１ 輝度入力端子
５２ ラインメモリ
５３ 第４の減算器
５４ 第２のバンドパスフィルタ
５５ 第３の閾値
５６ 第３の比較器
５７ 垂直相関性出力端子
Claims (1)
- 輝度信号と色差信号とからなる入力映像信号から前記輝度信号のノイズ成分を除去し出力する映像ノイズ除去装置であって、
前記入力映像信号の特徴に応じて決定される閾値に応じて前記輝度信号のノイズを検出するノイズ抽出手段と、
前記入力映像信号の特徴に応じて決定される減衰量に応じて前記ノイズ抽出手段出力を減衰させる減衰手段と、
前記輝度信号から前記減衰手段出力を減算し、前記輝度信号に含まれるノイズを除去するノイズ除去手段と、
前記入力映像信号の色差信号から肌色領域を検出する肌色検出手段と
を備え、
前記肌色検出手段が肌色領域を検出した場合、前記ノイズ抽出手段の閾値を下げる切換えおよび前記減衰手段の減衰量を下げる切換えの少なくとも一方を切換えることを特徴とする、映像ノイズ除去装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001041327A JP4590751B2 (ja) | 2001-02-19 | 2001-02-19 | 映像ノイズ除去装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001041327A JP4590751B2 (ja) | 2001-02-19 | 2001-02-19 | 映像ノイズ除去装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002247413A JP2002247413A (ja) | 2002-08-30 |
| JP2002247413A5 JP2002247413A5 (ja) | 2008-02-28 |
| JP4590751B2 true JP4590751B2 (ja) | 2010-12-01 |
Family
ID=18903785
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001041327A Expired - Fee Related JP4590751B2 (ja) | 2001-02-19 | 2001-02-19 | 映像ノイズ除去装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4590751B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3845867B2 (ja) * | 2003-03-27 | 2006-11-15 | ソニー株式会社 | 撮像装置及び撮像方法 |
| JP3804067B2 (ja) * | 2003-03-28 | 2006-08-02 | ソニー株式会社 | 撮像装置及び撮像方法 |
| US7773158B2 (en) | 2005-10-12 | 2010-08-10 | Panasonic Corporation | Visual processing device, display device, and integrated circuit |
| US7821578B2 (en) * | 2006-04-07 | 2010-10-26 | Marvell World Trade Ltd. | Reconfigurable self-calibrating adaptive noise reducer |
| JP5116393B2 (ja) * | 2007-07-31 | 2013-01-09 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0490271A (ja) * | 1990-08-01 | 1992-03-24 | Pioneer Electron Corp | ノイズ除去回路 |
| JPH05344533A (ja) * | 1992-06-09 | 1993-12-24 | Toshiba Corp | 色ガンマ補償回路 |
| JPH0879573A (ja) * | 1994-09-06 | 1996-03-22 | Sharp Corp | ノイズ低減回路 |
| JP2001189944A (ja) * | 1999-12-28 | 2001-07-10 | Sony Corp | 撮像装置 |
-
2001
- 2001-02-19 JP JP2001041327A patent/JP4590751B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0490271A (ja) * | 1990-08-01 | 1992-03-24 | Pioneer Electron Corp | ノイズ除去回路 |
| JPH05344533A (ja) * | 1992-06-09 | 1993-12-24 | Toshiba Corp | 色ガンマ補償回路 |
| JPH0879573A (ja) * | 1994-09-06 | 1996-03-22 | Sharp Corp | ノイズ低減回路 |
| JP2001189944A (ja) * | 1999-12-28 | 2001-07-10 | Sony Corp | 撮像装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002247413A (ja) | 2002-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3800704B2 (ja) | 映像信号処理装置及び方法 | |
| JP3943333B2 (ja) | 画像符号化方法、画像符号化復号化方法、画像符号化装置、及び画像記録再生装置 | |
| US6825886B2 (en) | Picture signal processing method and apparatus | |
| US6167157A (en) | Method of reducing quantization noise generated during a decoding process of image data and device for decoding image data | |
| US6904096B2 (en) | Video data processing device and video data processing method | |
| JP3961600B2 (ja) | ブロック歪低減方法及び装置 | |
| JP4590751B2 (ja) | 映像ノイズ除去装置 | |
| JPH114366A (ja) | デブロッキングフィルタ | |
| CA2246509A1 (en) | Method of adding information to video signal and information adding device | |
| JPH10276433A (ja) | ブロックノイズ除去装置 | |
| JP2900808B2 (ja) | 画像データの復号化時に生じるモスキートノイズの低減方法及び画像データの復号化装置 | |
| JP4001962B2 (ja) | ブロック歪低減装置及び方法 | |
| JPS61288678A (ja) | フレ−ム間符号化における量子化雑音抑圧方式 | |
| JP2000115581A (ja) | 映像信号処理装置 | |
| JP2865801B2 (ja) | 動画像符号化伝送装置 | |
| JPH07154825A (ja) | 画像伝送装置 | |
| KR940002611B1 (ko) | 휘도신호복호장치 | |
| JP4612897B2 (ja) | 画像処理装置 | |
| JP4510647B2 (ja) | 情報多重装置及び方法、情報抽出装置及び方法、並びにコンピュータプログラム | |
| JPS61134197A (ja) | 輝度信号再生回路 | |
| JPH07222102A (ja) | ディジタルｖｔｒ | |
| JPH0828873B2 (ja) | 画像伝送装置 | |
| JPH06326993A (ja) | Ｅｄｔｖ信号の処理装置 | |
| JPH04307882A (ja) | ディジタルｖｔｒ | |
| JPH035937A (ja) | 画像適応型ｖｔｒ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080111 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080111 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20080213 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20091119 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100302 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100309 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100507 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100525 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100722 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100817 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100830 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |