JP4135521B2 - Signal processing apparatus and method, program, and recording medium - Google Patents

Signal processing apparatus and method, program, and recording medium Download PDF

Info

Publication number
JP4135521B2
JP4135521B2 JP2003022510A JP2003022510A JP4135521B2 JP 4135521 B2 JP4135521 B2 JP 4135521B2 JP 2003022510 A JP2003022510 A JP 2003022510A JP 2003022510 A JP2003022510 A JP 2003022510A JP 4135521 B2 JP4135521 B2 JP 4135521B2
Authority
JP
Japan
Prior art keywords
unit
correction
video signal
display
correction data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003022510A
Other languages
Japanese (ja)
Other versions
JP2004233679A (en
Inventor
孝夫 井上
隆司 多胡
秀雄 中屋
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003022510A priority Critical patent/JP4135521B2/en
Publication of JP2004233679A publication Critical patent/JP2004233679A/en
Application granted granted Critical
Publication of JP4135521B2 publication Critical patent/JP4135521B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

【０００１】
【発明の属する技術分野】
表示画像の劣化個所を補正する信号処理装置及び方法、プログラム、記録媒体に関する。
【０００２】
【従来の技術】
再生装置は、表示部が接続されており、所定の処理を行なった映像信号を上記表示部に出力する。表示部は、再生装置から入力された映像信号を、所定の表示形式（例えば、ＣＲＴ、ＬＣＤ等）で表示する。このとき、表示部が採用している表示原理による固有の特性により劣化が生じ、表示画像に影響を与えることがある。
【０００３】
再生装置では、このような表示画像に影響を与える劣化を補正するための補正処理部を備えている。補正処理部は、接続されている表示部が採用している表示原理の特性により生じる劣化を予測し、映像信号に上記予測に基づいた補正処理を行い、当該劣化を除去した補正処理後の映像信号を表示部に供給している（例えば、非特許文献１参照。）。
【０００４】
【非特許文献１】
内田龍男他監修「フラットパネルディスプレイ大事典」株式会社工業調査会、２００１年１２月２５日
【０００５】
【発明が解決しようとする課題】
しかしながら、再生装置に接続される表示部には、表示原理の違いによりＣＲＴ（Cathode Ray Tube）、ＬＣＤ（Liquid Crystal Display）及びＰＤＰ（Plasma display panel）等の複数の種類があり、その全てに対応する場合には、対応する表示部の数だけそれぞれに対応する補正処理部が必要となるため、装置が大型化し、高価となる問題がある。
【０００６】
また、補正処理部では、機械的に画像劣化個所を検出し、検出した個所の補正処理を行なうため、画像劣化個所を検出するタイミングが遅かったり又は速かったりして、画像劣化が残ってしまう場合があり、また、補正処理が強すぎたり又は弱すぎたりして、実際に、表示画像を鑑賞する人に違和感を与えてしまう場合がある。さらに、補正処理部は、予測のための演算機能が膨大となり、装置が高価となる問題もある。
【０００７】
さらに、再生装置側での補正処理の負担を軽減するために、再生装置に供給する前の映像信号に予め表示部の特性を考慮した補正を行い、補正後の映像信号を再生装置に供給し、表示するシステムに変更しても、予め補正処理の対象とする表示部が再生装置に接続されている必要があり、表示部を特定のものに制限してしまう問題がある。
【０００８】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、表示部固有の特性による画像劣化を補正し、補正後の表示画像を鑑賞する人に違和感のない表示画像を表示部に出力することができる信号処理装置及び方法、プログラム、記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明に係る信号処理装置は、上述の課題を解決するために、入力された映像信号を表示画像に変換して所定の方式により表示する表示手段と、表示手段の固有の特性によって表示画像に発生した劣化の場所を示す劣化箇所の情報が操作者の操作により入力される情報入力手段と、情報入力手段により入力された、表示画像に発生した劣化の場所を示す劣化箇所の情報から、当該劣化箇所を補正するための補正用データを生成する補正用データ生成手段とを備える。
【００１０】
また、本発明に係る信号処理方法は、上述の課題を解決するために、入力された映像信号を表示画像に変換して所定の方式により表示手段に表示する表示ステップと、操作者の操作により入力された、表示手段の固有の特性によって表示画像に発生した劣化の場所を示す劣化箇所の情報から、当該劣化箇所を補正するための補正用データを生成する補正用データ生成ステップとを含む。
【００１１】
更に、本発明に係るプログラムは、上述の課題を解決するために、入力された映像信号を表示画像に変換して所定の方式により表示手段に表示する表示手順と、操作者の操作により入力された、表示手段の固有の特性によって表示画像に発生した劣化の場所を示す劣化箇所の情報から、当該劣化箇所を補正するための補正用データを生成する補正用データ生成手順とをコンピュータに実行させるためのプログラムである。
【００１２】
また、本発明に係る記録媒体は、上述の課題を解決するために、入力された映像信号を表示画像に変換して所定の方式により表示手段に表示する表示手順と、操作者の操作により入力された、表示手段の固有の特性によって表示画像に発生した劣化の場所を示す劣化箇所の情報から、当該劣化箇所を補正するための補正用データを生成する補正用データ生成手順とをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００１３】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００１４】
一般的に再生装置は、表示装置が接続されており、所定の処理を行なった映像信号を表示装置に出力する。表示装置は、再生装置から入力された映像信号を所定の表示形式で表示する。表示装置には、例えば、ＣＲＴ（cathode ray tube）、ＬＣＤ（liquid crystal display）及びＰＤＰ（plasma display panel）等の表示原理の違う様々な形態のものがある。また、表示装置は、それぞれの表示原理による固有の特性を持っており、この特性により表示画像を劣化させてしまうことがある。本発明は、このような表示部固有の特性により生じる表示画像に影響を与える劣化を、受信部に多大な負担をかけずに補正処理し、かつ表示装置の表示画像を鑑賞する人に違和感のない表示画像を提供するものである。
【００１５】
ここで、表示装置としてＣＲＴを採用した場合について述べる。
【００１６】
再生装置１は、図１に示すように、ＣＲＴ２が接続されており、入力された映像信号に所定の処理を行ない、処理後の映像信号をＣＲＴ２に出力する。ＣＲＴ２は、画像を表示する表示部を有しており、入力された映像信号を表示画像に変換し、当該表示部に表示する。このとき、ＣＲＴ２は、入出力特性が２乗特性に近い、いわゆる非線形のガンマ特性を生じるため、表示画像のコントラストが原画像と異なるものとなる。
【００１７】
ここで、ガンマ特性について説明する。ガンマ特性は、画像の中間調を表す特性であり、画像情報を光信号から電気信号に、あるいは電気信号から光信号に変換するときに、出力信号が入力信号の何乗に比例するかを表し、べき数（ガンマ）で表される。なお、入出力信号が比例し直線性を持つときのガンマ特性を１（γ＝１）としている。また、入出力信号の対数グラフでは、直線又は曲線の傾きが４５度のときにγ＝１とし、それより大きな傾きになるとガンマ特性は１よりも大きくなり（γ＞１）、逆に小さな傾きになるとガンマ特性は１よりも小さくなる（γ＜１）。一般的に、ガンマ特性が１よりも大きい画像はコントラストが強くなり、ガンマ特性が１よりも小さい画像はコントラストが弱く、ねぼけてみえる。
【００１８】
また、ＣＲＴに表示されている画像を、撮像したときのものと同等のコントラストにするためには、ＣＲＴによる非線形のガンマ特性（図２（ａ））を線形（直線）のガンマ特性（図２（ｃ））に調整する必要がある。そこで、非線形のガンマ特性を除去するために、ＣＲＴに入力する映像信号に、予め非線形のガンマ特性を線形のガンマ特性に補正する処理（以下、ガンマ補正処理という。）（図２（ｂ））を行なっておく方法ある。なお、上記ガンマ補正処理は、再生装置に備えられている補正処理部で行なうものと、再生装置に入力する前に行うものとがある。
【００１９】
ここで、再生装置に備えられている補正処理部でガンマ補正処理を行なう場合について以下に述べる。再生装置は、入力された映像信号を補正処理部に供給し、補正処理部でガンマ補正処理を行ない、ガンマ補正処理後の映像信号をＣＲＴに出力する。ところで、上記補正処理部は、表示画像の絵柄と無関係にガンマ補正処理を行なうため、補正処理が強すぎたり又は弱すぎたりして、実際に表示画像を鑑賞する人に違和感を与えてしまう場合があり、また、映像信号にガンマ補正処理を行なうのに演算機能が膨大となり、装置が高価となってしまう。
【００２０】
つぎに、再生装置に入力する前にガンマ補正処理を行なう場合について以下に述べる。例えば、カメラで被写体を撮像し、撮像したデータを所定のパッケージ・メディアに記録する場合には、撮像したデータにガンマ補正処理を行ない、ガンマ補正処理後のデータをパッケージ・メディアに記録する。再生装置は、上記パッケージ・メディアからガンマ補正処理後のデータを読み出し、読み出したデータをＣＲＴに出力する。
【００２１】
また、例えば、カメラで被写体を撮像し、撮像したデータを放送信号に変調し、出力する場合には、撮像したデータにガンマ補正処理を行ない、ガンマ補正処理後のデータを放送信号に変調し、出力する。再生装置は、上記放送信号を受信し、ガンマ補正後のデータを抽出し、抽出したデータをＣＲＴに出力する。なお、一般的には、ガンマ補正処理は、再生装置に入力する前に行なっておく場合が多い。
【００２２】
このような構成の再生装置では、上述したような演算回路が膨大となるガンマ補正処理を行なう補正処理部を備える必要がないので廉価となる。しかし、この場合でもガンマ補正処理は表示画像の絵柄と無関係に行なわれるため、補正処理が強すぎたり又は弱すぎたりして、実際に表示画像を鑑賞する人に違和感を与えてしまう場合がある。
【００２３】
そこで、本発明では、実際に表示画像を鑑賞する人に違和感を与えない補正処理を行ない、かつ、再生装置（受信部）側の補正処理の負担を軽減するシステムを提案する。
【００２４】
本発明を適用するシステムは、図３に示すように、送信部３と受信部４とにより構成されている。送信部３は、被写体を撮像する撮像部１０と、映像を補正する映像補正部１１とを備える。また、映像補正部１１で補正した映像信号を所定のパッケージ・メディアに記録する場合には、映像補正部１１の後段に所定のパッケージ・メディアに映像信号を記録する映像記録部１２が備えられる。また、映像補正部１１で補正した映像信号を所定の放送方式の信号に変調する場合には、映像補正部１１の後段に所定の放送方式の信号に映像信号を変調する変調部１３が備えられる。なお、送信部３は、映像記録部１２と変調部１３の両方を備えていても良い。
【００２５】
ここで、映像補正部１１による映像信号の補正動作について述べる。映像補正部１１には、撮像部１０で撮像した画像を無補正（ガンマ補正無し）で表示する補正用ＣＲＴ１４と、上記補正用ＣＲＴ１４に表示されている表示画像の劣化個所に関する情報を手動で入力操作する操作部１５が接続されている。例えば、映像の専門家が補正用ＣＲＴ１４に表示されている無補正の画像を鑑賞し、補正処理が必要な劣化個所を見つけ、操作部１５により所定の操作を行なう。この操作により、上記劣化個所を特定する情報が生成され、生成された情報が映像補正部１１に入力される。映像補正部１１は、入力された情報に応じて補正用データを生成し、生成した補正用データを元の画像に付加する補正処理を行なう。そして、映像補正部１１は、補正処理後の画像を再び補正用ＣＲＴ１４に出力する。専門家は、画像に劣化個所がなくなるまで上述した補正処理を繰り返し行なう。
【００２６】
また、映像補正部１１は、生成した補正用データをメモリに記憶させる。なお、映像補正部１１では、専門家が認識した劣化個所のすべてを補正するので、補正の対象はガンマ特性のみに限られない。また、バランスの良い補正処理を行なうために、上記補正処理は、複数人の専門家で行なっても良い。
【００２７】
映像補正部１１は、上述のようにして生成した補正用データと、撮像部１０から供給された無補正の映像信号を映像記録部１２又は変調部１３に出力する。
【００２８】
映像記録部１２は、補正用データと無補正の映像信号を所定のパッケージ・メディアに記録する。なお、パッケージ・メディアがＤＶＤ（Digital Versatile Disc）等の光ディスクの場合には、データエリアに映像信号を記録し、空きエリアに補正用データを記録する。また、パッケージ・メディアがＶＨＳ（Video Home System）（登録商標）等のテープ媒体の場合には、ＮＴＳＣ（National Television System Committee）信号のブランキング期間に補正用データを重畳させ、映像信号を記録トラックに記録する。
【００２９】
また、変調部１３は、補正用データと無補正の映像信号とを放送方式に応じた信号に変調する。放送方式がＮＴＳＣ方式の場合には、補正用データは、ブランキング期間に重畳され、無補正の映像信号とともに受信部４に送信される。
【００３０】
一方、受信部４は、パッケージ・メディアから映像信号と補正用データを読み出すデータ読出部１６と、送信部３の変調部１３から送信されてきた信号を受信する信号受信部１９と、信号受信部１９で受信した信号から映像信号と補正用データを抽出する抽出部２０と、補正用データに基づき映像信号に所定の処理を行なう処理部１７と、処理後の映像信号をＣＲＴ２に出力する出力部１８を備えている。なお、受信部４は、再生装置１と同様の働きをする。
【００３１】
ここで、映像記録部１２で生成されたパッケージ・メディアから映像信号及び補正用データを読み出し、補正用データに基づき補正処理をした映像信号をＣＲＴ２で表示する場合の受信部４の動作について説明する。データ読出部１６は、パッケージ・メディアから映像信号及び補正用データを読み出して、処理部１７に出力する。処理部１７は、データ読出部１６から供給された映像信号を専門家による補正処理に応じて生成した補正用データに基づき所定の処理を行ない、処理後の映像信号を出力部１８に供給する。出力部１８は、供給された映像信号をＣＲＴ２に適合した信号に変換し、変換後の映像信号をＣＲＴ２に出力する。ＣＲＴ２は、画像を表示する表示部を有しており、出力部１８から入力された映像信号を表示用の画像に変換し、当該表示部に画像を表示する。
【００３２】
また、変調部１３で変調された放送信号を受信し、受信した信号を表示画像に変換しＣＲＴ２で表示する場合の受信部４の動作について説明する。信号受信部１９は、変調部１３から供給された信号を受信し、抽出部２０に出力する。抽出部２０は、入力された信号から映像信号と補正用データを抽出し、処理部１７に出力する。処理部１７は、補正用データに基づき映像信号に所定の処理を行ない、処理後の映像信号を出力部１８に供給する。出力部１８は、供給された映像信号をＣＲＴ２に適合した信号に変換し、変換後の映像信号をＣＲＴ２に出力する。ＣＲＴ２は、出力部１８から入力された映像信号を表示用の画像に変換し、表示部に画像を表示する。
【００３３】
このように構成されたシステムでは、送信部３において、専門家が補正用ＣＲＴ１４に表示されている画像を鑑賞し、補正処理が必要な個所を見つけ、当該専門家の目から見て違和感が無くなる程度まで補正処理を行い、上記補正処理に基づき補正用データを生成し、無補正の画像と補正用データを所定の形式で受信部４に出力し、また、受信部４において、送信部３から供給された無補正の画像を補正用データに基づき所定の処理を行いＣＲＴ２に出力するので、受信部４による補正処理の負担を軽減することができ、また、専門家の判断に基づいて生成された補正用データにより画像の補正処理を行なうので、実際にＣＲＴ２の表示画像を鑑賞する人に違和感を与えない表示画像を提供することができる。
【００３４】
つぎに、表示装置としてＬＣＤを採用した場合について述べる。
【００３５】
再生装置５は、図４に示すように、ＬＣＤ６が接続されており、入力された映像信号に所定の処理を行ない、処理後の映像信号をＬＣＤ６に出力する。ＬＣＤ６は、画像を表示する表示部を有しており、入力された映像信号を表示画像に変換し、当該表示部に表示する。ＬＣＤ６では、この表示画像を表示するときに様々な原因により画像劣化の原因となる動きぼけが発生する。以下に、画像劣化の原因である応答ぼけとホールドぼけについて説明する。
【００３６】
ＬＣＤ６では、外部刺激（例えば、電圧を印加する）を与えて、液晶分子を回転させることで輝度を変化させている。このとき、印加する輝度電圧が低いと液晶分子を回転させるトルクが弱くなり、輝度変化への応答が遅れる現象（以下、応答ぼけという。）が生じる。そこで、ＬＣＤ６を表示装置として採用している再生装置５では、図５に示すフローチャートの手順に従ってこの応答ぼけを補正する処理（オーバードライブ処理）を行なっている。
【００３７】
ステップＳＴ１において、再生装置５は、例えば、パッケージ・メディアから映像信号を読み出す。
【００３８】
ステップＳＴ２において、再生装置５は、図６（ａ）の斜線部分に示すように、画像の各画素において輝度値が変化する直前のフレーム（以下、前フレームという。）と直後のフレーム（以下、後フレームという。）との差分を検出する。
【００３９】
ステップＳＴ３において、再生装置５は、上記ステップＳＴ２で検出した前フレームと後フレームの差分に基づいて補正量（差分の１／２）を算出する。
【００４０】
ステップＳＴ４において、再生装置５は、図６（ｂ）の斜線部分に示すように、上記ステップＳＴ３で算出した補正量を輝度が変化した後のフレームに加算する。
【００４１】
ステップＳＴ５において、再生装置５は、上記ステップＳＴ４により応答ぼけを補正した映像信号をＬＣＤ６に出力する。
【００４２】
しかし、上記ステップＳＴ３では、前フレームと後フレームの差分の絶対値に基づき自動的に補正量を算出しているため、例えば、輝度の階調が２５６値のときには、２５６個の補正値を保持するために、大規模なルックアップテーブルを備える必要があり、そのために回路規模が大型化し、再生装置５が高価になる問題がある。
【００４３】
また、ＬＣＤ６では、各フィールドの表示光が１フィールド間ほぼ一定の輝度に保たれるため、表示光の変化が階段状（実際のＬＣＤではデバイスの応答時間が有限であるため、指数関数的に変化する。）になり、動きぼけ（以下、ホールドぼけという。）が生じる。このホールドぼけの原理は、例えばの文献（栗田泰市郎「液晶ディスプレイで生じる原理的な動画質劣化とその改善法」、信学技法、ＥＩＤ２０００−４７（２０００−０９））等で明らかにされ、図７に示すようなメカニズムにより生じる。
【００４４】
これは、動物体の動きに目がついて来る場合、目は、１／３００秒程度の早さで画像を取り込むのに対し、ＬＣＤが採用する常時発光型ディスプレイは、１／６０秒間は画が動かないために動物体の明暗部分を目が積分してしまい、動きぼけを知覚してしまう。これを対策するには、画像の更新回数を１／６０秒よりも早い、例えば１／１２０秒ごとに行なうか、又は、瞬時発光型ディスプレイであるＣＲＴに近くなるように、１／６０秒のフレームの半分を黒画面にする等の手段が考えられる。
【００４５】
しかし、上述のように動画の更新回数を常に１／１２０秒にするのは、常時発光型ディスプレイにおいては、倍速処理と動き補償処理が複雑となり、かつ回路規模も膨大になってしまう。また、上述のようにフレーム時間の半分を黒画面にすると、輝度が常時半分に落ちてしまう問題が生じる。
【００４６】
一方、応答ぼけやホールドぼけを再生装置５の補正処理部で自動的に検出し、補正処理を行なおうとすると、ＬＣＤ６の表示画面において、補正処理を行なった個所のエッジが不必要に強調されたりして、実際に表示画像を鑑賞する人に違和感を与えてしまう場合がある。
【００４７】
また、ホールドぼけに対する補正処理は、本来ならば等速直線動きのみに適応した処理が望ましいのに、実際は、均一に表示画面の発光時間を制限するため、輝度低下やフリッカを起こす場合がある。
【００４８】
そこで、本発明では、実際に表示画像を鑑賞する人に違和感を与えない補正処理を行ない、かつ、再生装置（受信部）側の補正処理の負担を軽減するシステムを提案する。
【００４９】
本発明を適用するシステムは、図８に示すように、送信部７と受信部８とにより構成されている。送信部７は、被写体を撮像する撮像部３０と、映像を補正する映像補正部３１とを備える。また、映像補正部３１で補正した映像信号を所定のパッケージ・メディアに記録する場合には、映像補正部３１の後段に所定のパッケージ・メディアに映像信号を記録する映像記録部３２が備えられる。また、映像補正部３１で補正した映像信号を所定の放送方式の信号に変調する場合には、映像補正部３１の後段に所定の放送方式の信号に映像信号を変調する変調部３３が備えられる。なお、送信部７は、映像記録部３２と変調部３３の両方を備えていても良い。
【００５０】
ここで、映像補正部３１による映像信号の補正動作について述べる。映像補正部３１には、撮像部３０で撮像した画像を無補正で表示する補正用ＬＣＤ３４と、上記補正用ＬＣＤ３４に表示されている表示画像の劣化個所に関する情報を手動で入力操作する操作部３５が接続されている。例えば、映像の専門家が補正用ＬＣＤ３４に表示されている無補正の画像を鑑賞し、補正処理が必要な劣化個所（例えば、応答ぼけ等による動きぼけが発生している個所）を見つけ、操作部３５により所定の操作を行なう。この操作により、上記劣化個所を特定する情報（以下、インデックス情報という。）が生成され、生成されたインデックス情報が映像補正部３１に入力される。映像補正部３１は、入力されたインデックス情報に応じて、例えば、劣化が生じている個所のフレームにオーバードライブ処理を行なって補正用データを生成し、生成した補正用データを元の画像に付加する処理を行なう。つまり、映像補正部３１では、画素単位ではなくフレーム単位で補正処理を行なう。
【００５１】
そして、映像補正部３１は、補正処理後の画像を再び補正用ＬＣＤ３４に出力する。専門家は、画像に劣化個所がなくなるまで上述した補正処理を行なう。
【００５２】
また、映像補正部３１は、生成した補正用データをメモリに記憶させる。なお、映像補正部３１では、専門家が認識した劣化個所のすべてを補正するので、補正の対象は動きぼけのみに限られない。また、バランスの良い補正処理を行なうために、上記補正処理は、複数人の専門家で行なっても良い。
【００５３】
映像補正部３１は、上述のようにして生成した補正用データとインデックス情報が付加された映像信号を映像記録部３２又は変調部３３に出力する。
【００５４】
映像記録部３２は、補正用データとインデックス情報が付加された映像信号を所定のパッケージ・メディアに記録する。例えば、パッケージ・メディアがＤＶＤ等の光ディスクの場合には、データエリアにインデックス情報が付加された映像信号を記録し、空きエリアに補正用データを記録する。また、パッケージ・メディアがＶＨＳ等のテープ媒体の場合には、ＮＴＳＣ信号のブランキング期間に補正用データを重畳させ、映像信号とともに記録トラックに記録する。
【００５５】
また、変調部３３は、補正用データとインデックス情報が付加された映像信号とを所定の放送方式に応じた信号に変調する。放送方式がＮＴＳＣ方式の場合には、補正用データは、ブランキング期間に重畳され、インデックス情報が付加された映像信号とともに受信部８に送信される。
【００５６】
一方、受信部８は、パッケージ・メディアから補正用データとインデックス情報が付加された映像信号を読み出すデータ読出部３６と、送信部７の変調部３３から送信されてきた信号を受信する信号受信部３９と、信号受信部３９で受信した信号から補正用データとインデックス情報が付加された映像信号を抽出する抽出部４０と、補正用データに基づきインデックス情報が付加された映像信号に所定の処理を行なう処理部３７と、処理後の映像信号をＬＣＤ６に出力する出力部３８とを備えている。
【００５７】
ここで、映像記録部３２で生成されたパッケージ・メディアから映像信号及び補正用データを読み出し、補正用データに基づき補正処理をした映像信号をＬＣＤ６で表示する場合の受信部８の動作について説明する。データ読出部３６は、パッケージ・メディアからインデックス情報が付加されている映像信号及び補正用データを読み出して、処理部３７に出力する。処理部３７は、映像信号からインデックスが付加されているフレームを検出し、対応する補正用データに基づき上記フレームに所定の処理を行ない、処理後の映像信号を出力部３８に供給する。なお、処理部３７は、映像信号に複数のインデックスが付加されている場合には、上記インデックスが付加されているフレームをすべて検出し、それぞれに対応する補正用データに基づき所定の処理を行なう。
【００５８】
出力部３８は、供給された映像信号をＬＣＤ６に適合した信号に変換し、変換後の映像信号をＬＣＤ６に出力する。ＬＣＤ６は、画像を表示する表示部を有しており、出力部３８から入力された映像信号を表示画像に変換し、当該表示部に表示する。
【００５９】
また、変調部３３で変調された放送信号を受信し、受信した信号を表示画像に変換しＬＣＤ６に表示する場合の受信部８の動作について説明する。信号受信部３９は、変調部３３から供給された信号を受信し、抽出部４０に出力する。抽出部４０は、入力された信号から補正用データとインデックス情報が付加されている映像信号を抽出し、処理部３７に出力する。処理部３７は、補正用データに基づきインデックス情報が付加されている映像信号に所定の処理を行ない、処理後の映像信号を出力部３８に供給する。出力部３８は、供給された映像信号をＬＣＤ６に適合した信号に変換し、変換後の映像信号をＬＣＤ６に出力する。ＬＣＤ６は、出力部３８から入力された映像信号を表示用の画像に変換し、表示部に画像を表示する。
【００６０】
また、送信部７において、映像信号にインデックス情報を付加する作業に加えて、倍速表示用の動き補償画像を生成しても良い。なお、当該画像は、大規模なコンピュータ演算により生成する。このように、倍速表示用の動き補償画像を生成しておけば、倍速表示機能の付いたＬＣＤ６でこれを読み出して、表示することができるので、受信部８に倍速用の演算処理部を備える必要がなくなる。また、フレーム時間の半分を黒画面にするときにも、ホールドぼけが専門家により知覚されたフレームのみを黒画面にする処理を行なえば良く、ホールドぼけが生じていないフレームに余計な処理を行なう必要が無くなる。なお、倍速表示用の動き補償画像を生成するときや黒画面処理の際にも、自動処理ではなく専門家の判断により好適に処理される。
【００６１】
ここで、上述した送信部７及び受信部８で構成されるシステムにより画像劣化を補正する手順について図９に示すフローチャートを用いて説明する。
【００６２】
まず、映像補正部３１に備えられている補正用ＬＣＤ３４で無補正の画像を表示する（ステップＳＴ１０）。専門家は、補正用ＬＣＤ３４に表示されている画像を鑑賞し（ステップＳＴ１１）、補正用ＬＣＤ３４に表示されている画像から応答ぼけが発生しているフレームを見つけだす（ステップＳＴ１２）。専門家は、応答ぼけが発生しているフレームを見つけた場合、映像補正部３１に備えられている操作部３５を操作する。操作部３５は、専門家の操作に応じてインデックス情報を生成し、生成したインデックス情報を映像補正部３１に出力する。また、このとき、専門家は、操作部３５を操作して映像信号を補正する補正量を直接入力しても良い。この場合、映像補正部３１は、上記補正量にしたがって補正用データを生成する。
【００６３】
映像補正部３１は、応答ぼけが発生しているフレームにオーバードライブ処理による補正処理を行ない補正用データを生成する（ステップＳＴ１３）。生成した補正用データに基づき補正した映像信号を補正用ＬＣＤ３４に表示し（ステップＳＴ１４）、補正用ＬＣＤ３４に表示されている画像を再び専門家がチェックする（ステップＳＴ１５）。
【００６４】
そして、補正用ＬＣＤ３４に表示されている画像がステップＳＴ１１で鑑賞したときに比べて良くなっているかどうかが専門家により判断され（ステップＳＴ１６）、良くなっていると判断された場合には、ステップＳＴ１１に戻り、悪くなっていると判断された場合には、１つ前の補正用データをメモリに記憶する（ステップＳＴ１７）。こうして生成された補正用データをインデックス情報が付加された映像信号とともに送信部７に送る。
【００６５】
受信部８では、処理部３７により補正用データに基づき映像信号に所定の処理を行ない、処理後の映像信号をＬＣＤ６に出力する（ステップＳＴ１８）。
【００６６】
ところで、現在、映像等を記録している各種のパッケージ・メディアでは、映像を表示する表示装置としてＣＲＴを想定しているため、図２（ｂ）に示すような、ガンマ補正処理を行なった映像信号が記録されている。したがって、例えばＬＣＤ６のような非ＣＲＴ系の表示装置が接続されている再生装置５では、まず、記録媒体から読み出した映像信号に、図２（ａ）に示すような非線形処理を行なってガンマ特性の影響を除去し、その後、ＬＣＤ６に特有のＳ字特性（図１０（ａ））を補正するために、逆Ｓ字補正（図１０（ｂ））を行なう必要がある。しかし、このような処理を行なうと、映像信号がデジタル信号の場合には、ガンマ補正処理により黒側が圧縮されているためにデータのビット落ちが発生してしまう。
【００６７】
そこで、本発明では、こうしたビット落ちを防ぐために、再生装置５に接続されている表示装置がＬＣＤ６の場合には、送信部７で映像信号に黒側の圧縮をかけずに、逆Ｓ字特性のみをかける処理を行なう。
【００６８】
このように構成されたシステムでは、送信部７において、専門家が補正用ＬＣＤ３４に表示されている画像を鑑賞し、動きぼけが発生している個所等の補正処理が必要な個所を見つけ、その個所にインデックス情報を付加し、当該専門家の目から見て違和感が無くなる程度まで上記インデックス情報を付加したフレーム全体にオーバードライブ処理による補正処理を行い、上記補正処理に基づき補正用データを生成し、無補正のインデックス情報が付加された映像信号と補正用データを所定の形式で受信部８に出力し、また、受信部８において、補正用データに基づいてインデックス情報が付加された映像信号に所定の処理を行い、処理後の映像信号をＬＣＤ６に出力し、かつ、受信部８に送信する映像信号に逆Ｓ字特性の処理を行なっておくので、受信部８による補正処理の負担を軽減することができ、また、専門家の判断に基づいて生成された補正用データにより画像の補正処理を行なうので、実際にＬＣＤ６の表示画像を鑑賞する人に違和感を与えない表示画像を提供することができる。
【００６９】
つぎに、表示装置としてＰＤＰを採用した場合について述べる。
【００７０】
再生装置５１は、図１１に示すように、ＰＤＰ５２が接続されており、入力された映像信号に所定の処理を行ない、処理後の映像信号をＰＤＰ５２に出力する。ＰＤＰ５２は、画像を表示するパネルを有しており、入力された映像信号を表示画像に変換し、当該パネルに表示する。ここで、ＰＤＰ５２の駆動方法について説明する。
【００７１】
ＰＤＰ５２は、放電セルに印加する駆動電圧の形態によりＡＣ型ＰＤＰとＤＣ型ＰＤＰとに分類される。ＡＣ型ＰＤＰは、一般にパルス電圧でセルの駆動を行なうが、ＤＣ型ＰＤＰは、直流電圧でセルの駆動を行なう。パネル構造においても両者は異なり、ＡＣ型ＰＤＰは、電極がガラス材料の誘電体に覆われている構造であるのに対して、ＤＣ型ＰＤＰは、電極が放電空間に剥き出しの構造となっている。ＤＣ型ＰＤＰは、放電による電極材料の飛散のため長時間表示すると輝度が低下しやすい。一方、ＡＣ型ＰＤＰは、誘電体層で電極が保護されているため、電極材料の飛散による輝度の低下がなく長寿命である。
【００７２】
また、ＡＣ型ＰＤＰは、放電により発生した電荷がその誘電体層に蓄積することから、その壁電荷を利用してメモリ機能を持たせることができる。ＡＣ型ＰＤＰでは、この機能により、書き込みを行なっているライン以外の表示ラインも維持放電を常に行なうことができるため、大画面で操作ライン数が増えても輝度が低下することがないという特徴を有している。
【００７３】
近年、ＴＶ用のディスプレイとして注目されている大型カラーＰＤＰは、上述したＡＣ型ＰＤＰの特徴を活かして実用化されている。
【００７４】
また、ＰＤＰ５２は、特有の表示方式であるサブフィールド方式を採用しているため、動画表示を行なった際には、画像劣化の原因となる擬似輪郭状のノイズ（以下、擬似輪郭という。）が発生する。このような擬似輪郭は、図１２（ａ）に示すように、サブフィールドの維持発光期間がフィールド内で散らばっていることが原因で発生する。そこで、動画の擬似輪郭の対応処理として、例えば、図１２（ｂ）に示すように、フィールド内で発光する期間をできるだけ一個所に集めるような配置を行なう方法がある。しかし、この方法は、実現するための駆動方法が高度なため、装置自体が大変高価なものとなってしまう。また、図１２（ｃ）に示すように１フィールド内でのサブフィールドの順序を変える方法もある。この方法には、１フィールド内でのサブフィールドの順序を最適化してすべての画素について順序を固定して使用するものや、画素によってサブフィールドの順序を変えることによって画素間の相互作用によってノイズを低減するもの等がある。また、各サブフィールドにおける発光期間をほぼ同じ長さに設定しておき、図１２（ｄ）に示すように、輝度が明るくなるにしたがって発光するサブフィールドが連続して増えていくものもある。この方法は、輝度の変化に対して１フィールド期間中のサブフィールドの維持発光パターンが連続的な配置となるために、擬似輪郭は発生しない。しかし、この方法では、表現できる階調数が大幅に少なくなるため、フィールド間で維持パルス数を変化させたり、誤差拡散法などを用いて見かけ上の階調数を増加させる必要がある。
【００７５】
ここで、擬似輪郭を補正する手順について図１３に示すフローチャートを用いて説明する。
【００７６】
再生装置５１は、記録媒体から映像信号を読み出し（ステップＳＴ２０）、画像の各画素で輝度値が変化する直前のフレーム（以下、前フレームという。）と直後のフレーム（以下、後フレームという。）との差分を検出し（ステップＳＴ２１）、検出した前フレームと後フレームの差分に基づいて映像信号を補正し（ステップＳＴ２２）、補正した映像信号をＰＤＰ５２に出力する（ステップＳＴ２３）。このようにして擬似輪郭の補正を行なっている。
【００７７】
しかし、ステップＳＴ２２による映像信号の補正は、図１２（ｂ）〜図１２（ｄ）に示したような方法による機械的なものであるため、補正処理が強すぎたり又は弱すぎたりして、実際に表示画像を鑑賞する人に違和感を与えてしまう場合がある。
【００７８】
そこで、本発明では、実際に表示画像を鑑賞する人に違和感を与えない補正処理を行ない、かつ、再生装置（受信部）側の補正処理の負担を軽減するシステムを提案する。
【００７９】
本発明を適用するシステムは、図１４に示すように、送信部５３と受信部５４とにより構成されている。送信部５３は、被写体を撮像する撮像部５５と、映像を補正する映像補正部５６とを備える。また、映像補正部５６で補正した映像信号を所定のパッケージ・メディアに記録する場合には、映像補正部５６の後段に所定のパッケージ・メディアに映像信号を記録する映像記録部５７が備えられる。また、映像補正部５６で補正した映像信号を所定の放送方式の信号に変調する場合には、映像補正部５６の後段に所定の放送方式の信号に映像信号を変調する変調部５８が備えられる。なお、送信部５３は、映像記録部５７と変調部５８の両方を備えていても良い。
【００８０】
ここで、映像補正部５６による映像信号の補正動作について述べる。映像補正部５６には、撮像部５５で撮像した画像を無補正で表示する補正用ＰＤＰ５９と、上記補正用ＰＤＰ５９に表示されている表示画像の劣化個所に関する情報を手動で入力操作する操作部６０が接続されている。例えば、映像の専門家が補正用ＰＤＰ５９に表示されている無補正の画像を鑑賞し、補正処理が必要な劣化個所（例えば、擬似輪郭が発生している個所）を見つけ、操作部６０により所定の操作を行なう。この操作により、上記劣化個所を特定する情報（以下、インデックス情報という。）が生成され、生成されたインデックス情報が映像補正部５６に入力される。映像補正部５６は、入力されたインデックス情報に応じて、例えば、劣化が生じている個所のフレームにオーバードライブ処理を行なって補正用データを生成し、生成した補正用データを元の画像に付加する処理を行なう。つまり、映像補正部５６では、画素単位ではなくフレーム単位で補正処理を行なう。
【００８１】
そして、映像補正部５６は、補正処理後の画像を再び補正用ＰＤＰ５９に出力する。専門家は、画像に劣化個所がなくなるまで上述した補正処理を行なう。
【００８２】
また、映像補正部５６は、生成した補正用データをメモリに記憶させる。なお、映像補正部５６では、専門家が認識した劣化個所のすべてを補正するので、補正の対象は擬似輪郭のみに限られない。また、バランスの良い補正処理を行なうために、上記補正処理は、複数人の専門家で行なっても良い。
【００８３】
映像補正部５６は、上述のようにして生成した補正用データとインデックス情報が付加された映像信号を映像記録部５７又は変調部５８に出力する。
【００８４】
映像記録部５７は、補正用データとインデックス情報が付加された映像信号を所定のパッケージ・メディアに記録する。例えば、パッケージ・メディアがＤＶＤ等の光ディスクの場合には、データエリアにインデックス情報が付加された映像信号を記録し、空きエリアに補正用データを記録する。また、パッケージ・メディアがＶＨＳ等のテープ媒体の場合には、補正用データは、ＮＴＳＣ信号のブランキング期間に重畳され、映像信号とともに記録トラックに記録する。
【００８５】
また、変調部５８は、補正用データとインデックス情報が付加された映像信号とを所定の放送方式に応じた信号に変調する。放送方式がＮＴＳＣ方式の場合には、補正用データは、ブランキング期間に重畳され、インデックス情報が付加された映像信号とともに受信部８に送信される。
【００８６】
一方、受信部５４は、パッケージ・メディアから補正用データとインデックス情報が付加された映像信号を読み出すデータ読出部６１と、送信部５３の変調部５８から送信されてきた信号を受信する信号受信部６４と、信号受信部６４で受信した信号から補正用データとインデックス情報が付加された映像信号を抽出する抽出部６５と、補正用データに基づきインデックス情報が付加された映像信号に所定の処理を行なう処理部６２と、処理後の映像信号をＰＤＰ５２に出力する出力部６３とを備えている。
【００８７】
ここで、映像記録部５７で生成されたパッケージ・メディアから映像信号及び補正用データを読み出し、補正用データに基づき補正処理をした映像信号をＰＤＰ５２で表示する場合の受信部５４の動作について説明する。データ読出部６１は、パッケージ・メディアからインデックス情報が付加されている映像信号及び補正用データを読み出して、処理部６２に出力する。処理部６２は、映像信号からインデックスが付加されているフレームを検出し、対応する補正用データに基づき上記フレームに所定の処理を行ない、処理後の映像信号を出力部６３に供給する。なお、処理部６２は、映像信号に複数のインデックスが付加されている場合には、上記インデックスが付加されているフレームをすべて検出し、それぞれに対応する補正用データに基づき所定の処理を行なう。
【００８８】
出力部６３は、供給された映像信号をＰＤＰ５２に適合した信号に変換し、変換後の信号をＰＤＰ５２に出力する。ＰＤＰ５２は、画像を表示するパネルを有しており、出力部６３から入力された映像信号を表示画像に変換し、当該パネルに表示する。
【００８９】
また、変調部５８で変調された放送信号を受信し、受信した信号を表示画像に変換しＰＤＰ５２に表示する場合の受信部５４の動作について説明する。信号受信部６４は、変調部５８から供給された信号を受信し、抽出部６５に出力する。抽出部６５は、入力された信号から補正用データとインデックス情報が付加されている映像信号を抽出し、処理部６２に出力する。処理部６２は、補正用データに基づきインデックス情報が付加されている映像信号に所定の処理を行ない、処理後の映像信号を出力部６３に供給する。出力部６３は、供給された映像信号をＰＤＰ５２に適合した信号に変換し、変換後の映像信号をＰＤＰ５２に出力する。ＰＤＰ５２は、出力部６３から入力された映像信号を表示用の画像に変換し、パネルに画像を表示する。
【００９０】
ここで、上述した送信部５３及び受信部５４で構成されるシステムにより画像劣化を補正する手順について図１５に示すフローチャートを用いて説明する。
【００９１】
まず、映像補正部５６に備えられている補正用ＰＤＰ５９で無補正の画像を表示する（ステップＳＴ３０）。専門家は、補正用ＰＤＰ５９に表示されている画像を鑑賞し（ステップＳＴ３１）、補正用ＰＤＰ５９に表示されている画像から擬似輪郭が発生しているフレームを見つけだす（ステップＳＴ３２）。専門家は、擬似輪郭が発生しているフレームを見つけた場合、映像補正部５６に備えられている操作部６０を操作する。操作部６０は、専門家の操作に応じてインデックス情報を生成し、生成したインデックス情報を映像補正部５６に出力する。また、このとき、専門家は、操作部６０を操作して映像信号を補正する補正量を直接入力しても良い。この場合、映像補正部５６は、上記補正量にしたがって補正用データを生成する。
【００９２】
映像補正部５６は、擬似輪郭が発生しているフレームに補正処理を行ない補正用データを生成する（ステップＳＴ３３）。生成した補正用データに基づき補正した映像信号を補正用ＰＤＰ５９に表示し（ステップＳＴ３４）、補正用ＰＤＰ５９に表示されている画像を再び専門家がチェックする（ステップＳＴ３５）。
【００９３】
そして、補正用ＰＤＰ５９に表示されている画像がステップＳＴ３１で鑑賞したときに比べて良くなっているかどうかが専門家により判断され（ステップＳＴ３６）、良くなっていると判断された場合には、ステップＳＴ３１に戻り、悪くなっていると判断された場合には、１つ前の補正用データをメモリに記憶する（ステップＳＴ３７）。こうして生成された補正用データをインデックス情報が付加された映像信号とともに送信部５３に送る。
【００９４】
受信部５４では、処理部６２により補正用データに基づき映像信号に所定の処理を行ない、処理後の映像信号をＰＤＰ５２に出力する（ステップＳＴ３８）。
【００９５】
このように構成されたシステムでは、送信部５３において、専門家が補正用ＰＤＰ５９に表示されている無補正の画像を鑑賞し、擬似輪郭が発生している個所等の補正処理が必要な個所を見つけ、その個所にインデックス情報を付加し、当該専門家の目から見て違和感が無くなる程度まで上記インデックス情報を付加したフレーム全体に補正処理を行い、上記補正処理に基づき補正用データを生成し、無補正のインデックス情報が付加された映像信号と補正用データを所定の形式で受信部５４に出力し、また、受信部５４において、補正用データに基づいてインデックス情報が付加された映像信号に所定の処理を行い、処理後の映像信号をＰＤＰ５２に出力するので、受信部５４による補正処理の負担を軽減することができ、また、専門家の判断に基づいて生成された補正用データにより画像の補正処理を行なうので、実際にＰＤＰ５２の表示画像を鑑賞する人に違和感を与えない表示画像を提供することができる。
【００９６】
なお、本発明では、図１６（ａ）に示すように、映像送信部において、無補正の映像信号と表示装置の表示形式の特性を考慮した複数の補正用データを映像受信部に送信しても良い。この場合は、映像受信部は、送信されたデータから表示装置の表示形態に応じた補正用データと映像信号を読み出し、読み出した補正用データに基づき映像信号に所定の処理を行ない、処理後の映像信号を表示装置に出力する。
【００９７】
また、本発明では、図１６（ｂ）に示すように、映像送信部に映像受信部に接続されている表示装置の情報を通知しても良い。この場合には、映像送信部は、補正用データを上記通知に基づき生成し、生成した補正用データを無補正の映像信号とともに映像受信部に送信する。なお、本発明では、映像送信部と映像受信部は、有線通信に対応するように構成されていても良いし、無線通信に対応するように構成されていても良い。
【００９８】
さらに、本発明では、例えば、工場等でパッケージ・メディアに無補正の映像信号と、表示装置の表示形式の特性を考慮した複数の補正用データを記録し、ユーザーが上記パッケージ・メディアを入手し、パッケージ・メディアから所定の補正用データと映像信号を読み出し、読み出した補正用データに基づき映像信号に所定の処理を行ない、処理後の映像信号を表示装置に出力しても良い。
【００９９】
また、上述した補正用データは、特定の受信部でなければ読み出せないように暗号化処理を行なっておいても良い。
【０１００】
【発明の効果】
以上詳細に説明したように、本発明に係る信号処理装置は、入力された映像信号を表示画像に変換して所定の方式により表示する表示手段と、表示手段の固有の特性によって表示画像に発生した劣化の場所を示す劣化箇所の情報が操作者の操作により入力される情報入力手段と、情報入力手段により入力された、表示画像に発生した劣化の場所を示す劣化箇所の情報から、当該劣化箇所を補正するための補正用データを生成する補正用データ生成手段とを備えるので、表示装置固有の特性により生じる表示画像の劣化を、受信部に多大な負担をかけずに補正処理し、かつ表示装置の表示画像を鑑賞する人に違和感のない表示画像を提供することができる。
【０１０１】
また、以上詳細に説明したように、本発明に係る信号処理方法は、表示ステップで、入力された映像信号を表示画像に変換して所定の方式により表示手段に表示され、操作者の操作により入力された、表示手段の固有の特性によって表示画像に発生した劣化の場所を示す劣化箇所の情報から、当該劣化箇所を補正するための補正用データが補正用データ生成ステップで生成されるので、表示装置固有の特性により生じる表示画像の劣化を、受信部に多大な負担をかけずに補正処理し、かつ表示装置の表示画像を鑑賞する人に違和感のない表示画像を提供することができる。
【０１０２】
更に、以上詳細に説明したように、本発明に係るプログラムは、入力された映像信号を表示画像に変換して所定の方式により表示手段に表示する表示手順と、操作者の操作により入力された、表示手段の固有の特性によって表示画像に発生した劣化の場所を示す劣化箇所の情報から、当該劣化箇所を補正するための補正用データを生成する補正用データ生成手順とをコンピュータに実行させるので、表示装置固有の特性により生じる表示画像の劣化を、受信部に多大な負担をかけずに補正処理し、かつ表示装置の表示画像を鑑賞する人に違和感のない表示画像を提供することができる。
【０１０３】
また、以上詳細に説明したように、本発明に係る記録媒体は、入力された映像信号を表示画像に変換して所定の方式により表示手段に表示する表示手順と、操作者の操作により入力された、表示手段の固有の特性によって表示画像に発生した劣化の場所を示す劣化箇所の情報から、当該劣化箇所を補正するための補正用データを生成する補正用データ生成手順とをコンピュータに実行させるためのプログラムがコンピュータ読み取り可能な状態で記録されているので、表示装置固有の特性により生じる表示画像の劣化を、受信部に多大な負担をかけずに補正処理し、かつ表示装置の表示画像を鑑賞する人に違和感のない表示画像を提供することができる。
【図面の簡単な説明】
【図１】ＣＲＴが接続されている受信部の構成を示すブロック図である。
【図２】ＣＲＴのガンマ特性とガンマ補正処理の入出力信号の関係を示す図である。
【図３】本発明を適用した送信部と受信部とからなる第１のシステムの構成例を示すブロック図である。
【図４】ＬＣＤが接続されている受信部の構成を示すブロック図である。
【図５】応答ぼけを補正する手順を示すフローチャートである。
【図６】フレーム間の差分を検出し（ａ）、検出した後のフレームに補正量を加算する（ｂ）処理を輝度の変化により示す図である。
【図７】ホールド型における動きぼけのメカニズムを示す図である。
【図８】本発明を適用した送信部と受信部とからなる第２のシステムの構成例を示すブロック図である。
【図９】図８に示すシステムにより画像劣化を補正する手順を示すフローチャートである。
【図１０】ＬＣＤのＳ字特性と逆Ｓ字補正処理の入出力信号の関係を示す図である。
【図１１】ＰＤＰが接続されている受信部の構成を示すブロック図である。
【図１２】動画擬似輪郭補正の処理の一例を示す図である。
【図１３】擬似輪郭を補正する手順を示すフローチャートである。
【図１４】本発明を適用した送信部と受信部とからなる第３のシステムの構成例を示すブロック図である。
【図１５】図１４に示すシステムにより画像劣化を補正する手順を示すフローチャートである。
【図１６】送信部から受信部に映像信号と補正用データを送信する際の形態の一例を示す図である。
【符号の説明】
１，５，５１ 再生装置、２ ＣＲＴ、３，７，５３ 送信部、４，８，５４
受信部、６ ＬＣＤ、５２ ＰＤＰ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a signal processing apparatus and method, a program, and a recording medium for correcting a degraded portion of a display image.
[0002]
[Prior art]
The playback device is connected to a display unit, and outputs a video signal subjected to predetermined processing to the display unit. The display unit displays the video signal input from the playback device in a predetermined display format (for example, CRT, LCD, etc.). At this time, deterioration may occur due to a characteristic inherent to the display principle adopted by the display unit, which may affect the display image.
[0003]
The reproduction apparatus includes a correction processing unit for correcting such deterioration that affects the display image. The correction processing unit predicts deterioration caused by the characteristics of the display principle adopted by the connected display unit, performs correction processing based on the prediction on the video signal, and removes the deterioration after the correction processing video A signal is supplied to the display unit (see, for example, Non-Patent Document 1).
[0004]
[Non-Patent Document 1]
Supervised by Tatsuo Uchida et al. “Flat Panel Display Encyclopedia”, Industrial Research Committee, Inc.
[0005]
[Problems to be solved by the invention]
However, there are several types of display units connected to playback devices, such as CRT (Cathode Ray Tube), LCD (Liquid Crystal Display), and PDP (Plasma display panel) depending on the display principle. In this case, since the correction processing units corresponding to the corresponding display units are necessary, there is a problem that the apparatus becomes large and expensive.
[0006]
In addition, since the correction processing unit mechanically detects the image degradation portion and performs correction processing on the detected portion, the timing at which the image degradation portion is detected is late or fast, and image degradation remains. In some cases, the correction process is too strong or too weak to actually give a strange feeling to a person viewing the display image. Further, the correction processing unit has a problem that the calculation function for prediction becomes enormous and the apparatus becomes expensive.
[0007]
Furthermore, in order to reduce the burden of correction processing on the playback device side, the video signal before being supplied to the playback device is corrected in advance in consideration of the characteristics of the display unit, and the corrected video signal is supplied to the playback device. Even if the system is changed to a display system, the display unit to be subjected to correction processing needs to be connected to the playback device in advance, and there is a problem that the display unit is limited to a specific one.
[0008]
Therefore, the present invention has been proposed in view of the above-described circumstances, and corrects image deterioration due to characteristics unique to the display unit, and displays a display image that does not give a sense of incongruity to a person viewing the corrected display image. An object of the present invention is to provide a signal processing apparatus and method, a program, and a recording medium that can be output to a recording unit.
[0009]
[Means for Solving the Problems]
  In order to solve the above-described problems, a signal processing device according to the present invention providesConvert the input video signal into a display imagePredeterminedWhoDisplay means for displaying by an expression;Information on the degradation location indicating the location of degradation that has occurred in the display image due to the unique characteristics of the display means is input by the operator's operationInput by information input means and information input meansFrom the information on the degradation location indicating the location of degradation that has occurred in the displayed image, the degradation location isTo correctCorrection dataGenerateCorrection dataGeneration means andWith.
[0010]
  In addition, the signal processing method according to the present invention provides a solution to the above-described problem.A display step for converting the input video signal into a display image and displaying it on the display means by a predetermined method, and a place of degradation that has occurred in the display image due to the unique characteristics of the display means input by the operator's operation A correction data generation step for generating correction data for correcting the deterioration point from the information on the deterioration point indicated.
[0011]
  Furthermore,The program according to the present invention is:In order to solve the above-mentioned problem, the display procedure for converting the input video signal into a display image and displaying it on the display means by a predetermined method, and the specific characteristics of the display means input by the operation of the operator This is a program for causing a computer to execute a correction data generation procedure for generating correction data for correcting a deteriorated part from information on the deteriorated part indicating the place of deterioration occurring in the display image.
[0012]
  The recording medium according to the present invention isIn order to solve the above-mentioned problem, the display procedure for converting the input video signal into a display image and displaying it on the display means by a predetermined method, and the specific characteristics of the display means input by the operation of the operator A computer-readable recording of a program for causing a computer to execute a correction data generation procedure for generating correction data for correcting the deteriorated portion from information on the deteriorated portion indicating the place of deterioration occurring in the display image. Recording medium.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0014]
In general, a playback apparatus is connected to a display device, and outputs a video signal subjected to predetermined processing to the display device. The display device displays the video signal input from the playback device in a predetermined display format. Examples of the display device include various types having different display principles such as a cathode ray tube (CRT), a liquid crystal display (LCD), and a plasma display panel (PDP). In addition, the display device has unique characteristics depending on each display principle, and the display image may be deteriorated by the characteristics. The present invention corrects the degradation that affects the display image caused by such characteristics unique to the display unit without imposing a heavy burden on the receiving unit, and is uncomfortable for those who appreciate the display image on the display device. There is no display image.
[0015]
Here, a case where a CRT is adopted as the display device will be described.
[0016]
As shown in FIG. 1, the playback device 1 is connected to a CRT 2, performs predetermined processing on the input video signal, and outputs the processed video signal to the CRT 2. The CRT 2 has a display unit that displays an image, converts an input video signal into a display image, and displays the image on the display unit. At this time, the CRT 2 generates a so-called non-linear gamma characteristic whose input / output characteristic is close to the square characteristic, so that the contrast of the display image is different from that of the original image.
[0017]
Here, the gamma characteristic will be described. The gamma characteristic is a characteristic that represents the halftone of an image, and represents how much the output signal is proportional to the power of the input signal when converting image information from an optical signal to an electrical signal or from an electrical signal to an optical signal. , Expressed as a power number (gamma). Note that the gamma characteristic when the input / output signal is proportional and linear is 1 (γ = 1). In the logarithmic graph of the input / output signal, γ = 1 when the slope of the straight line or the curve is 45 degrees. Then, the gamma characteristic becomes smaller than 1 (γ <1). In general, an image having a gamma characteristic larger than 1 has a high contrast, and an image having a gamma characteristic smaller than 1 has a low contrast and looks blurry.
[0018]
Further, in order to make the image displayed on the CRT have the same contrast as that obtained when the image is taken, the nonlinear gamma characteristic (FIG. 2A) by the CRT is changed to the linear (straight line) gamma characteristic (FIG. 2). It is necessary to adjust to (c)). Therefore, in order to remove the non-linear gamma characteristic, a process for correcting the non-linear gamma characteristic to a linear gamma characteristic in advance on the video signal input to the CRT (hereinafter referred to as a gamma correction process) (FIG. 2B). There is a way to do it. The gamma correction processing may be performed by a correction processing unit provided in the playback device, or may be performed before input to the playback device.
[0019]
Here, the case where the gamma correction processing is performed by the correction processing unit provided in the reproduction apparatus will be described below. The playback apparatus supplies the input video signal to the correction processing unit, performs gamma correction processing in the correction processing unit, and outputs the video signal after the gamma correction processing to the CRT. By the way, since the correction processing unit performs gamma correction processing regardless of the pattern of the display image, when the correction processing is too strong or too weak, it actually gives an uncomfortable feeling to a person who appreciates the display image. In addition, the calculation function becomes enormous for performing the gamma correction processing on the video signal, and the apparatus becomes expensive.
[0020]
Next, a case where gamma correction processing is performed before input to the playback apparatus will be described below. For example, when a subject is imaged by a camera and the captured data is recorded on a predetermined package medium, gamma correction processing is performed on the captured data, and the data after the gamma correction processing is recorded on the package media. The playback device reads the data after the gamma correction processing from the package medium, and outputs the read data to the CRT.
[0021]
Also, for example, when a subject is imaged with a camera, the captured data is modulated into a broadcast signal and output, the captured data is subjected to gamma correction processing, and the data after gamma correction processing is modulated into a broadcast signal, Output. The playback device receives the broadcast signal, extracts data after gamma correction, and outputs the extracted data to the CRT. In general, the gamma correction processing is often performed before input to the playback apparatus.
[0022]
The reproduction apparatus having such a configuration is inexpensive because it is not necessary to provide a correction processing unit that performs gamma correction processing that requires a large number of arithmetic circuits as described above. However, even in this case, the gamma correction process is performed regardless of the pattern of the display image, and therefore the correction process may be too strong or too weak, which may give a strange feeling to a person who actually views the display image. .
[0023]
Therefore, the present invention proposes a system that performs correction processing that does not give a sense of incongruity to a person who actually appreciates a display image, and that reduces the burden of correction processing on the playback device (reception unit) side.
[0024]
As shown in FIG. 3, the system to which the present invention is applied includes a transmission unit 3 and a reception unit 4. The transmission unit 3 includes an imaging unit 10 that images a subject and a video correction unit 11 that corrects an image. In addition, when the video signal corrected by the video correction unit 11 is recorded on a predetermined package medium, a video recording unit 12 for recording the video signal on the predetermined package medium is provided after the video correction unit 11. In addition, when the video signal corrected by the video correction unit 11 is modulated into a signal of a predetermined broadcast system, a modulation unit 13 that modulates the video signal into a signal of the predetermined broadcast system is provided after the video correction unit 11. . The transmission unit 3 may include both the video recording unit 12 and the modulation unit 13.
[0025]
Here, the video signal correcting operation by the video correcting unit 11 will be described. The image correction unit 11 manually inputs correction CRT 14 that displays an image captured by the imaging unit 10 without correction (no gamma correction), and information regarding the degradation location of the display image displayed on the correction CRT 14. An operation unit 15 to be operated is connected. For example, a video expert views an uncorrected image displayed on the correction CRT 14, finds a deteriorated portion that requires correction processing, and performs a predetermined operation using the operation unit 15. As a result of this operation, information for specifying the degraded portion is generated, and the generated information is input to the video correction unit 11. The video correction unit 11 generates correction data according to the input information, and performs correction processing for adding the generated correction data to the original image. Then, the video correction unit 11 outputs the corrected image to the correction CRT 14 again. The expert repeatedly performs the above-described correction processing until there is no deterioration in the image.
[0026]
In addition, the video correction unit 11 stores the generated correction data in a memory. Note that since the video correction unit 11 corrects all of the degraded portions recognized by the expert, the correction target is not limited to the gamma characteristic. In order to perform a well-balanced correction process, the correction process may be performed by a plurality of experts.
[0027]
The video correction unit 11 outputs the correction data generated as described above and the uncorrected video signal supplied from the imaging unit 10 to the video recording unit 12 or the modulation unit 13.
[0028]
The video recording unit 12 records the correction data and the uncorrected video signal on a predetermined package medium. When the package medium is an optical disc such as a DVD (Digital Versatile Disc), a video signal is recorded in the data area, and correction data is recorded in the empty area. When the package medium is a tape medium such as VHS (Video Home System) (registered trademark), correction data is superimposed on the blanking period of the NTSC (National Television System Committee) signal, and the video signal is recorded on the recording track. To record.
[0029]
The modulation unit 13 modulates the correction data and the uncorrected video signal into a signal corresponding to the broadcasting system. When the broadcast system is the NTSC system, the correction data is superimposed on the blanking period and transmitted to the receiving unit 4 together with the uncorrected video signal.
[0030]
On the other hand, the receiving unit 4 includes a data reading unit 16 that reads a video signal and correction data from the package medium, a signal receiving unit 19 that receives a signal transmitted from the modulating unit 13 of the transmitting unit 3, and a signal receiving unit. 19, an extraction unit 20 that extracts a video signal and correction data from the signal received from the signal 19, a processing unit 17 that performs predetermined processing on the video signal based on the correction data, and an output unit that outputs the processed video signal to the CRT 2 18 is provided. The receiving unit 4 functions in the same way as the playback device 1.
[0031]
Here, the operation of the receiving unit 4 when the video signal and the correction data are read from the package media generated by the video recording unit 12 and the video signal corrected based on the correction data is displayed on the CRT 2 will be described. . The data reading unit 16 reads the video signal and the correction data from the package medium and outputs them to the processing unit 17. The processing unit 17 performs predetermined processing on the video signal supplied from the data reading unit 16 based on correction data generated in accordance with correction processing by an expert, and supplies the processed video signal to the output unit 18. The output unit 18 converts the supplied video signal into a signal suitable for the CRT 2 and outputs the converted video signal to the CRT 2. The CRT 2 has a display unit that displays an image, converts the video signal input from the output unit 18 into a display image, and displays the image on the display unit.
[0032]
The operation of the receiving unit 4 when receiving the broadcast signal modulated by the modulating unit 13 and converting the received signal into a display image and displaying it on the CRT 2 will be described. The signal reception unit 19 receives the signal supplied from the modulation unit 13 and outputs the signal to the extraction unit 20. The extraction unit 20 extracts a video signal and correction data from the input signal and outputs them to the processing unit 17. The processing unit 17 performs predetermined processing on the video signal based on the correction data, and supplies the processed video signal to the output unit 18. The output unit 18 converts the supplied video signal into a signal suitable for the CRT 2 and outputs the converted video signal to the CRT 2. The CRT 2 converts the video signal input from the output unit 18 into a display image and displays the image on the display unit.
[0033]
In the system configured as described above, in the transmission unit 3, an expert views an image displayed on the correction CRT 14, finds a portion that needs correction processing, and feels uncomfortable from the viewpoint of the expert. Correction processing is performed to the extent, correction data is generated based on the correction processing, an uncorrected image and correction data are output to the reception unit 4 in a predetermined format, and the reception unit 4 Since the supplied uncorrected image is subjected to predetermined processing based on the correction data and output to the CRT 2, it is possible to reduce the burden of correction processing by the receiving unit 4, and to be generated based on expert judgment. Since the image correction processing is performed using the correction data, it is possible to provide a display image that does not give an uncomfortable feeling to a person who actually views the display image of the CRT 2.
[0034]
Next, a case where an LCD is employed as the display device will be described.
[0035]
As shown in FIG. 4, the playback device 5 is connected to the LCD 6, performs predetermined processing on the input video signal, and outputs the processed video signal to the LCD 6. The LCD 6 has a display unit that displays an image, converts the input video signal into a display image, and displays the image on the display unit. In the LCD 6, motion blur causing image degradation occurs due to various causes when displaying the display image. Hereinafter, response blur and hold blur, which are causes of image degradation, will be described.
[0036]
In the LCD 6, the luminance is changed by applying an external stimulus (for example, applying a voltage) and rotating liquid crystal molecules. At this time, when the luminance voltage to be applied is low, the torque for rotating the liquid crystal molecules becomes weak, and a phenomenon that the response to the luminance change is delayed (hereinafter referred to as response blur) occurs. Therefore, in the playback device 5 that employs the LCD 6 as a display device, processing for correcting this response blur (overdrive processing) is performed according to the procedure of the flowchart shown in FIG.
[0037]
In step ST1, the playback device 5 reads a video signal from, for example, a package medium.
[0038]
In step ST2, as shown by the hatched portion in FIG. 6A, the playback device 5 performs a frame immediately before the luminance value changes in each pixel of the image (hereinafter referred to as the previous frame) and a frame immediately after (hereinafter referred to as the previous frame). The difference from the subsequent frame is detected.
[0039]
In step ST3, the reproducing device 5 calculates a correction amount (1/2 of the difference) based on the difference between the previous frame and the subsequent frame detected in step ST2.
[0040]
In step ST4, the playback device 5 adds the correction amount calculated in step ST3 to the frame after the luminance change, as indicated by the hatched portion in FIG. 6B.
[0041]
In step ST5, the playback device 5 outputs the video signal whose response blur has been corrected in step ST4 to the LCD 6.
[0042]
However, in step ST3, since the correction amount is automatically calculated based on the absolute value of the difference between the previous frame and the subsequent frame, for example, when the luminance gradation is 256 values, 256 correction values are held. In order to do this, it is necessary to provide a large-scale look-up table, which causes a problem that the circuit scale becomes large and the reproduction apparatus 5 becomes expensive.
[0043]
Further, in the LCD 6, the display light of each field is maintained at a substantially constant luminance for one field, so that the change of the display light is stepped (in an actual LCD, the response time of the device is finite, so that the exponential function Change) and motion blur (hereinafter referred to as hold blur) occurs. The principle of this hold blur is clarified in, for example, the literature (Yasuichiro Kurita “Principal video quality degradation caused by liquid crystal display and its improvement method”, Shingaku technique, EID2000-47 (2000-09)), etc. This is caused by the mechanism shown in FIG.
[0044]
This is because when the movement of the moving body is noticed, the eye captures an image at a speed of about 1/300 seconds, whereas the constantly light-emitting display adopted by the LCD displays an image for 1/60 seconds. Because it does not move, the eyes integrate the light and dark parts of the moving object and perceive motion blur. In order to cope with this, the number of times of image update is faster than 1/60 seconds, for example, every 1/120 seconds, or 1/60 seconds so as to be close to a CRT which is an instantaneous light emitting display. Means such as making the half of the frame a black screen can be considered.
[0045]
However, as described above, when the number of times the moving image is updated is always set to 1/120 seconds, the double-speed processing and the motion compensation processing are complicated and the circuit scale becomes enormous in the always-on display. In addition, when half the frame time is set to a black screen as described above, there is a problem that the luminance is always reduced to half.
[0046]
On the other hand, when response blur and hold blur are automatically detected by the correction processing unit of the playback device 5 and correction processing is to be performed, the edge of the portion where the correction processing has been performed is unnecessarily emphasized on the display screen of the LCD 6. In some cases, the person who actually views the display image may feel uncomfortable.
[0047]
In addition, the correction process for hold blur is desirably a process that is originally adapted only for constant-velocity linear motion, but in reality, in order to uniformly limit the light emission time of the display screen, luminance reduction and flicker may occur.
[0048]
Therefore, the present invention proposes a system that performs correction processing that does not give a sense of incongruity to a person who actually appreciates a display image, and that reduces the burden of correction processing on the playback device (reception unit) side.
[0049]
As shown in FIG. 8, the system to which the present invention is applied includes a transmission unit 7 and a reception unit 8. The transmission unit 7 includes an imaging unit 30 that images a subject and a video correction unit 31 that corrects a video. In addition, when the video signal corrected by the video correction unit 31 is recorded on a predetermined package medium, a video recording unit 32 that records the video signal on the predetermined package medium is provided after the video correction unit 31. Further, when the video signal corrected by the video correction unit 31 is modulated into a signal of a predetermined broadcast system, a modulation unit 33 that modulates the video signal into a signal of the predetermined broadcast system is provided after the video correction unit 31. . Note that the transmission unit 7 may include both the video recording unit 32 and the modulation unit 33.
[0050]
Here, the video signal correcting operation by the video correcting unit 31 will be described. The video correction unit 31 includes a correction LCD 34 that displays an image captured by the image capturing unit 30 without correction, and an operation unit 35 that manually inputs information regarding a degradation portion of the display image displayed on the correction LCD 34. Is connected. For example, a video expert views an uncorrected image displayed on the correction LCD 34, finds a deteriorated part that requires correction processing (for example, a part where motion blur due to response blur or the like has occurred), and operates it. A predetermined operation is performed by the unit 35. By this operation, information (hereinafter referred to as index information) for specifying the degradation portion is generated, and the generated index information is input to the video correction unit 31. In accordance with the input index information, for example, the video correction unit 31 generates correction data by performing overdrive processing on a frame where deterioration has occurred, and adds the generated correction data to the original image. The process to do is performed. That is, the video correction unit 31 performs correction processing in units of frames, not in units of pixels.
[0051]
Then, the video correction unit 31 outputs the corrected image to the correction LCD 34 again. The expert performs the above-described correction processing until there is no deterioration in the image.
[0052]
The video correction unit 31 stores the generated correction data in a memory. Note that since the video correction unit 31 corrects all of the degraded portions recognized by the expert, the correction target is not limited to motion blur. In order to perform a well-balanced correction process, the correction process may be performed by a plurality of experts.
[0053]
The video correction unit 31 outputs the video signal to which the correction data generated as described above and the index information are added to the video recording unit 32 or the modulation unit 33.
[0054]
The video recording unit 32 records the video signal to which the correction data and the index information are added on a predetermined package medium. For example, when the package medium is an optical disc such as a DVD, a video signal with index information added is recorded in the data area, and correction data is recorded in the empty area. When the package medium is a tape medium such as VHS, correction data is superimposed on the blanking period of the NTSC signal and recorded on the recording track together with the video signal.
[0055]
Further, the modulation unit 33 modulates the correction data and the video signal to which the index information is added into a signal corresponding to a predetermined broadcast system. When the broadcast system is the NTSC system, the correction data is superimposed on the blanking period and transmitted to the receiving unit 8 together with the video signal to which the index information is added.
[0056]
On the other hand, the receiving unit 8 reads a video signal to which correction data and index information are added from the package medium, and a signal receiving unit that receives a signal transmitted from the modulating unit 33 of the transmitting unit 7. 39, an extraction unit 40 for extracting a video signal to which correction data and index information are added from a signal received by the signal receiving unit 39, and a predetermined process for the video signal to which index information is added based on the correction data A processing unit 37 that performs the processing and an output unit 38 that outputs the processed video signal to the LCD 6 are provided.
[0057]
Here, the operation of the receiving unit 8 when the video signal and the correction data are read from the package media generated by the video recording unit 32 and the video signal corrected based on the correction data is displayed on the LCD 6 will be described. . The data reading unit 36 reads the video signal to which the index information is added and the correction data from the package medium, and outputs them to the processing unit 37. The processing unit 37 detects a frame to which an index is added from the video signal, performs predetermined processing on the frame based on the corresponding correction data, and supplies the processed video signal to the output unit 38. When a plurality of indexes are added to the video signal, the processing unit 37 detects all the frames to which the index is added and performs predetermined processing based on the correction data corresponding to each of the frames.
[0058]
The output unit 38 converts the supplied video signal into a signal suitable for the LCD 6, and outputs the converted video signal to the LCD 6. The LCD 6 has a display unit that displays an image, converts the video signal input from the output unit 38 into a display image, and displays the image on the display unit.
[0059]
The operation of the receiving unit 8 when receiving the broadcast signal modulated by the modulating unit 33, converting the received signal into a display image, and displaying it on the LCD 6 will be described. The signal reception unit 39 receives the signal supplied from the modulation unit 33 and outputs the signal to the extraction unit 40. The extraction unit 40 extracts a video signal to which correction data and index information are added from the input signal and outputs the video signal to the processing unit 37. The processing unit 37 performs a predetermined process on the video signal to which the index information is added based on the correction data, and supplies the processed video signal to the output unit 38. The output unit 38 converts the supplied video signal into a signal suitable for the LCD 6, and outputs the converted video signal to the LCD 6. The LCD 6 converts the video signal input from the output unit 38 into a display image and displays the image on the display unit.
[0060]
In addition to the work of adding index information to the video signal, the transmission unit 7 may generate a motion compensated image for double speed display. Note that the image is generated by a large-scale computer calculation. Thus, if a motion compensated image for double speed display is generated, it can be read out and displayed on the LCD 6 with a double speed display function, so the receiving unit 8 is provided with an arithmetic processing unit for double speed. There is no need. Also, when half of the frame time is set to the black screen, it is sufficient to perform the process of making only the frame in which the hold blur is perceived by the expert, and to perform the extra process for the frame in which the hold blur does not occur. There is no need. It should be noted that when generating a motion compensated image for double speed display or during black screen processing, processing is suitably performed based on expert judgment rather than automatic processing.
[0061]
Here, a procedure for correcting image degradation by the system configured by the transmission unit 7 and the reception unit 8 described above will be described with reference to a flowchart shown in FIG.
[0062]
First, an uncorrected image is displayed on the correction LCD 34 provided in the video correction unit 31 (step ST10). The expert appreciates the image displayed on the correction LCD 34 (step ST11), and finds a frame in which response blur has occurred from the image displayed on the correction LCD 34 (step ST12). When the expert finds a frame in which response blur occurs, the expert operates the operation unit 35 provided in the video correction unit 31. The operation unit 35 generates index information according to an operation by an expert, and outputs the generated index information to the video correction unit 31. At this time, the expert may directly input a correction amount for correcting the video signal by operating the operation unit 35. In this case, the video correction unit 31 generates correction data according to the correction amount.
[0063]
The video correction unit 31 performs correction processing by overdrive processing on a frame in which response blur has occurred, and generates correction data (step ST13). The video signal corrected based on the generated correction data is displayed on the correction LCD 34 (step ST14), and the expert checks the image displayed on the correction LCD 34 again (step ST15).
[0064]
Then, it is judged by an expert whether the image displayed on the correction LCD 34 is better than when viewed in step ST11 (step ST16). Returning to ST11, if it is determined that the condition has deteriorated, the previous correction data is stored in the memory (step ST17). The correction data generated in this way is sent to the transmitter 7 together with the video signal to which the index information is added.
[0065]
In the receiving unit 8, the processing unit 37 performs predetermined processing on the video signal based on the correction data, and outputs the processed video signal to the LCD 6 (step ST18).
[0066]
By the way, since various types of package media that currently record video and the like assume a CRT as a display device that displays video, video that has been subjected to gamma correction processing as shown in FIG. The signal is recorded. Therefore, in the playback device 5 to which a non-CRT display device such as the LCD 6 is connected, first, the video signal read from the recording medium is subjected to nonlinear processing as shown in FIG. After that, in order to correct the S-characteristic characteristic of the LCD 6 (FIG. 10A), it is necessary to perform reverse S-character correction (FIG. 10B). However, when such a process is performed, if the video signal is a digital signal, the black side is compressed by the gamma correction process, and therefore, bit loss of data occurs.
[0067]
Therefore, in the present invention, in order to prevent such a bit drop, when the display device connected to the playback device 5 is the LCD 6, the inverse S-characteristic is obtained without compressing the video signal on the black side by the transmission unit 7. The process which applies only.
[0068]
In the system configured as described above, in the transmission unit 7, an expert views an image displayed on the correction LCD 34, finds a part that needs correction processing such as a part where motion blur has occurred, and Index information is added to the location, correction processing by overdrive processing is performed on the entire frame to which the index information is added to the extent that there is no sense of incongruity from the viewpoint of the expert, and correction data is generated based on the correction processing. The video signal to which the uncorrected index information is added and the correction data are output to the receiving unit 8 in a predetermined format, and the receiving unit 8 converts the video signal to which the index information is added based on the correction data. Perform predetermined processing, output the processed video signal to the LCD 6, and perform reverse S-characteristic processing on the video signal to be transmitted to the receiving unit 8. Therefore, the burden of correction processing by the receiving unit 8 can be reduced, and the correction processing of the image is performed based on the correction data generated based on the expert's judgment, so that the display image on the LCD 6 is actually appreciated. A display image that does not give a sense of incongruity to a person can be provided.
[0069]
Next, a case where a PDP is adopted as a display device will be described.
[0070]
As shown in FIG. 11, the playback device 51 is connected to the PDP 52, performs predetermined processing on the input video signal, and outputs the processed video signal to the PDP 52. The PDP 52 has a panel that displays an image, converts an input video signal into a display image, and displays the image on the panel. Here, a method of driving the PDP 52 will be described.
[0071]
The PDP 52 is classified into an AC type PDP and a DC type PDP according to the form of the drive voltage applied to the discharge cells. AC type PDPs generally drive cells with a pulse voltage, while DC type PDPs drive cells with a DC voltage. Both are different also in the panel structure. The AC type PDP has a structure in which the electrode is covered with a dielectric material made of a glass material, whereas the DC type PDP has a structure in which the electrode is exposed to the discharge space. . The DC type PDP is liable to decrease in luminance when displayed for a long time due to scattering of electrode material due to discharge. On the other hand, since the electrode is protected by the dielectric layer, the AC type PDP has a long life without a decrease in luminance due to scattering of the electrode material.
[0072]
In addition, since the AC type PDP accumulates charges generated by the discharge in its dielectric layer, it can have a memory function by utilizing the wall charges. With this function, the AC-type PDP can always perform sustain discharge on display lines other than the line on which writing is performed, so that the luminance does not decrease even when the number of operation lines increases on a large screen. Have.
[0073]
In recent years, large color PDPs that are attracting attention as displays for TVs have been put into practical use by taking advantage of the characteristics of the AC type PDP described above.
[0074]
In addition, since the PDP 52 employs a subfield method that is a specific display method, pseudo-contour noise (hereinafter referred to as “pseudo contour”) that causes image degradation occurs when moving images are displayed. appear. Such a pseudo contour is generated because the sustain light emission periods of the subfields are scattered in the field as shown in FIG. Therefore, as a process for handling the pseudo contour of the moving image, for example, as shown in FIG. 12B, there is a method of arranging the light emission periods in the field as much as possible. However, since this method has a sophisticated driving method, the device itself becomes very expensive. There is also a method of changing the order of the subfields within one field as shown in FIG. In this method, the order of subfields in one field is optimized and the order is fixed for all pixels, or noise is caused by the interaction between pixels by changing the order of subfields depending on the pixels. There are things to reduce. In some cases, the light emission period in each subfield is set to substantially the same length, and as shown in FIG. 12D, the number of subfields that emit light continuously increases as the luminance increases. In this method, since the sustain light emission pattern of the subfield in one field period is continuously arranged with respect to the change in luminance, no pseudo contour is generated. However, in this method, the number of gradations that can be expressed is greatly reduced, so it is necessary to change the number of sustain pulses between fields or increase the apparent number of gradations using an error diffusion method or the like.
[0075]
Here, the procedure for correcting the pseudo contour will be described with reference to the flowchart shown in FIG.
[0076]
The playback device 51 reads the video signal from the recording medium (step ST20), and the frame immediately before the luminance value changes in each pixel of the image (hereinafter referred to as the previous frame) and the frame immediately after (hereinafter referred to as the subsequent frame). (Step ST21), the video signal is corrected based on the detected difference between the previous frame and the subsequent frame (step ST22), and the corrected video signal is output to the PDP 52 (step ST23). In this way, the pseudo contour is corrected.
[0077]
However, since the correction of the video signal in step ST22 is mechanical by the method shown in FIGS. 12B to 12D, the correction process is too strong or too weak. In some cases, the person who actually appreciates the displayed image may feel uncomfortable.
[0078]
Therefore, the present invention proposes a system that performs correction processing that does not give a sense of incongruity to a person who actually appreciates a display image, and that reduces the burden of correction processing on the playback device (reception unit) side.
[0079]
As shown in FIG. 14, the system to which the present invention is applied includes a transmission unit 53 and a reception unit 54. The transmission unit 53 includes an imaging unit 55 that images a subject and a video correction unit 56 that corrects a video. Further, when the video signal corrected by the video correction unit 56 is recorded on a predetermined package medium, a video recording unit 57 for recording the video signal on the predetermined package medium is provided after the video correction unit 56. In addition, when the video signal corrected by the video correction unit 56 is modulated into a signal of a predetermined broadcast system, a modulation unit 58 that modulates the video signal into a signal of the predetermined broadcast system is provided at the subsequent stage of the video correction unit 56. . The transmission unit 53 may include both the video recording unit 57 and the modulation unit 58.
[0080]
Here, the video signal correction operation by the video correction unit 56 will be described. The video correction unit 56 includes a correction PDP 59 that displays an image captured by the imaging unit 55 without correction, and an operation unit 60 that manually inputs information regarding a degradation portion of the display image displayed on the correction PDP 59. Is connected. For example, a video specialist views an uncorrected image displayed on the correction PDP 59, finds a deteriorated portion that requires correction processing (for example, a portion where a pseudo contour is generated), and uses the operation unit 60 to determine a predetermined position. Perform the operation. As a result of this operation, information (hereinafter referred to as index information) for specifying the deterioration portion is generated, and the generated index information is input to the video correction unit 56. In accordance with the input index information, for example, the video correction unit 56 performs overdrive processing on a frame where deterioration has occurred, generates correction data, and adds the generated correction data to the original image. Perform the process. That is, the video correction unit 56 performs correction processing in units of frames, not in units of pixels.
[0081]
Then, the video correction unit 56 outputs the corrected image to the correction PDP 59 again. The expert performs the above-described correction processing until there is no deterioration in the image.
[0082]
Further, the video correction unit 56 stores the generated correction data in the memory. Note that since the video correction unit 56 corrects all of the degraded portions recognized by the expert, the correction target is not limited to the pseudo contour. In order to perform a well-balanced correction process, the correction process may be performed by a plurality of experts.
[0083]
The video correction unit 56 outputs the video signal added with the correction data and index information generated as described above to the video recording unit 57 or the modulation unit 58.
[0084]
The video recording unit 57 records the video signal to which the correction data and the index information are added on a predetermined package medium. For example, when the package medium is an optical disc such as a DVD, a video signal with index information added is recorded in the data area, and correction data is recorded in the empty area. When the package medium is a tape medium such as VHS, the correction data is superimposed on the blanking period of the NTSC signal and recorded on the recording track together with the video signal.
[0085]
The modulation unit 58 modulates the correction data and the video signal to which the index information is added into a signal corresponding to a predetermined broadcast system. When the broadcast system is the NTSC system, the correction data is superimposed on the blanking period and transmitted to the receiving unit 8 together with the video signal to which the index information is added.
[0086]
On the other hand, the receiving unit 54 reads a video signal to which correction data and index information are added from the package medium, and a signal receiving unit that receives a signal transmitted from the modulation unit 58 of the transmission unit 53. 64, an extraction unit 65 for extracting a video signal to which correction data and index information are added from the signal received by the signal receiving unit 64, and a predetermined process for the video signal to which index information is added based on the correction data A processing unit 62 that performs the processing and an output unit 63 that outputs the processed video signal to the PDP 52 are provided.
[0087]
Here, the operation of the receiving unit 54 when the video signal and the correction data are read from the package media generated by the video recording unit 57 and the video signal corrected based on the correction data is displayed on the PDP 52 will be described. . The data reading unit 61 reads the video signal and the correction data to which the index information is added from the package medium, and outputs it to the processing unit 62. The processing unit 62 detects a frame to which an index is added from the video signal, performs predetermined processing on the frame based on the corresponding correction data, and supplies the processed video signal to the output unit 63. If a plurality of indexes are added to the video signal, the processing unit 62 detects all the frames to which the index is added and performs a predetermined process based on the correction data corresponding to each of the frames.
[0088]
The output unit 63 converts the supplied video signal into a signal suitable for the PDP 52, and outputs the converted signal to the PDP 52. The PDP 52 has a panel that displays an image, converts the video signal input from the output unit 63 into a display image, and displays the image on the panel.
[0089]
The operation of the reception unit 54 when receiving the broadcast signal modulated by the modulation unit 58, converting the received signal into a display image, and displaying it on the PDP 52 will be described. The signal receiving unit 64 receives the signal supplied from the modulation unit 58 and outputs the signal to the extraction unit 65. The extraction unit 65 extracts a video signal to which correction data and index information are added from the input signal and outputs the video signal to the processing unit 62. The processing unit 62 performs a predetermined process on the video signal to which the index information is added based on the correction data, and supplies the processed video signal to the output unit 63. The output unit 63 converts the supplied video signal into a signal suitable for the PDP 52, and outputs the converted video signal to the PDP 52. The PDP 52 converts the video signal input from the output unit 63 into a display image and displays the image on the panel.
[0090]
Here, a procedure for correcting image deterioration by the system configured by the transmission unit 53 and the reception unit 54 described above will be described with reference to the flowchart shown in FIG.
[0091]
First, an uncorrected image is displayed on the correction PDP 59 provided in the video correction unit 56 (step ST30). The expert views the image displayed on the correction PDP 59 (step ST31), and finds a frame in which a pseudo contour is generated from the image displayed on the correction PDP 59 (step ST32). When the expert finds a frame in which the pseudo contour is generated, he / she operates the operation unit 60 provided in the video correction unit 56. The operation unit 60 generates index information according to an operation by an expert, and outputs the generated index information to the video correction unit 56. At this time, the expert may directly input a correction amount for correcting the video signal by operating the operation unit 60. In this case, the video correction unit 56 generates correction data according to the correction amount.
[0092]
The video correction unit 56 performs correction processing on the frame in which the pseudo contour is generated, and generates correction data (step ST33). The video signal corrected based on the generated correction data is displayed on the correction PDP 59 (step ST34), and the expert checks the image displayed on the correction PDP 59 again (step ST35).
[0093]
Then, it is judged by an expert whether or not the image displayed on the correction PDP 59 is better than that viewed at step ST31 (step ST36). Returning to ST31, if it is determined that the data is getting worse, the previous correction data is stored in the memory (step ST37). The correction data generated in this way is sent to the transmission unit 53 together with the video signal to which the index information is added.
[0094]
In the receiving unit 54, the processing unit 62 performs predetermined processing on the video signal based on the correction data, and outputs the processed video signal to the PDP 52 (step ST38).
[0095]
In the system configured as described above, in the transmission unit 53, an expert appreciates an uncorrected image displayed on the correction PDP 59, and finds a part that needs correction processing such as a part where a pseudo contour is generated. Find, add index information to that location, perform correction processing on the entire frame with the index information added to the extent that there is no sense of incongruity from the viewpoint of the expert, and generate correction data based on the correction processing, The video signal to which the uncorrected index information is added and the correction data are output to the receiving unit 54 in a predetermined format, and the receiving unit 54 determines the predetermined video signal to which the index information is added based on the correction data. Since the processed video signal is output to the PDP 52, the burden of correction processing by the receiving unit 54 can be reduced. Since performing image correction processing by the correction data generated based on the cross, it is possible to provide a display image not actually feel uncomfortable to the person viewing the display image of the PDP 52.
[0096]
In the present invention, as shown in FIG. 16A, the video transmission unit transmits a plurality of correction data in consideration of the characteristics of the uncorrected video signal and the display format of the display device to the video reception unit. Also good. In this case, the video receiving unit reads the correction data and the video signal according to the display form of the display device from the transmitted data, performs a predetermined process on the video signal based on the read correction data, The video signal is output to the display device.
[0097]
Further, in the present invention, as shown in FIG. 16B, information of a display device connected to the video receiving unit may be notified to the video transmitting unit. In this case, the video transmission unit generates correction data based on the notification, and transmits the generated correction data to the video reception unit together with an uncorrected video signal. In the present invention, the video transmission unit and the video reception unit may be configured to support wired communication or may be configured to support wireless communication.
[0098]
Furthermore, in the present invention, for example, an uncorrected video signal and a plurality of correction data in consideration of the display format characteristics of the display device are recorded on a package medium at a factory or the like, and the user obtains the package medium. Alternatively, the predetermined correction data and video signal may be read from the package medium, the video signal may be subjected to predetermined processing based on the read correction data, and the processed video signal may be output to the display device.
[0099]
Further, the above-described correction data may be encrypted so that it can be read only by a specific receiving unit.
[0100]
【The invention's effect】
  As described above in detail, the signal processing apparatus according to the present invention isDisplay means that converts the input video signal into a display image and displays it by a predetermined method, and information on the degradation location indicating the location of the degradation that has occurred in the display image due to the unique characteristics of the display means is input by the operator's operation Information input means, and correction data generation means for generating correction data for correcting the deteriorated portion from the information of the deteriorated portion indicating the place of deterioration occurring in the display image, which is input by the information input means. And soIt is possible to correct the display image degradation caused by the characteristics unique to the display device without imposing a heavy burden on the receiving unit, and to provide a display image that is comfortable for those who appreciate the display image on the display device.
[0101]
  Further, as described in detail above, the signal processing method according to the present invention includes:In the display step, the input video signal is converted into a display image, displayed on the display means by a predetermined method, and the place of degradation caused in the display image due to the unique characteristics of the display means input by the operator's operation Since the correction data for correcting the deteriorated part is generated from the information of the deteriorated part indicating the deterioration part of the display image caused by the characteristics unique to the display device.Correction processing can be performed without imposing a great burden on the receiving unit, and a display image that does not feel uncomfortable can be provided to a person who views the display image on the display device.
[0102]
  Further, as described in detail above, the program according to the present invention isThe display procedure for converting the input video signal into a display image and displaying it on the display means by a predetermined method, and the place of degradation that has occurred in the display image due to the unique characteristics of the display means input by the operator's operation A correction data generation procedure for generating correction data for correcting the deterioration point from the information on the deterioration point indicated.On the computerBecause it is executed,Display image degradation caused by characteristics unique to the display deviceCorrection processing can be performed without imposing a great burden on the receiving unit, and a display image that does not feel uncomfortable can be provided to a person who views the display image on the display device.
[0103]
  Further, as described in detail above, the recording medium according to the present invention isThe display procedure for converting the input video signal into a display image and displaying it on the display means by a predetermined method, and the place of degradation that has occurred in the display image due to the unique characteristics of the display means input by the operator's operation Since a program for causing a computer to execute a correction data generation procedure for generating correction data for correcting the deteriorated portion from information on the deteriorated portion shown is recorded in a computer-readable state, the display device Display image degradation caused by unique characteristicsCorrection processing can be performed without imposing a great burden on the receiving unit, and a display image that does not feel uncomfortable can be provided to a person who views the display image on the display device.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a receiving unit to which a CRT is connected.
FIG. 2 is a diagram showing a relationship between CRT gamma characteristics and input / output signals for gamma correction processing;
FIG. 3 is a block diagram illustrating a configuration example of a first system including a transmission unit and a reception unit to which the present invention is applied.
FIG. 4 is a block diagram illustrating a configuration of a receiving unit to which an LCD is connected.
FIG. 5 is a flowchart showing a procedure for correcting response blur.
FIG. 6 is a diagram showing a process of detecting a difference between frames (a) and adding a correction amount to the detected frame (b) by a change in luminance.
FIG. 7 is a diagram showing a mechanism of motion blur in the hold type.
FIG. 8 is a block diagram illustrating a configuration example of a second system including a transmission unit and a reception unit to which the present invention is applied.
FIG. 9 is a flowchart showing a procedure for correcting image degradation by the system shown in FIG. 8;
FIG. 10 is a diagram illustrating a relationship between an S-characteristic of the LCD and an input / output signal for inverse S-shaped correction processing.
FIG. 11 is a block diagram illustrating a configuration of a receiving unit to which a PDP is connected.
FIG. 12 is a diagram illustrating an example of a moving image pseudo contour correction process;
FIG. 13 is a flowchart showing a procedure for correcting a pseudo contour.
FIG. 14 is a block diagram illustrating a configuration example of a third system including a transmission unit and a reception unit to which the present invention is applied.
15 is a flowchart showing a procedure for correcting image deterioration by the system shown in FIG. 14;
FIG. 16 is a diagram illustrating an example of a mode in which a video signal and correction data are transmitted from a transmission unit to a reception unit.
[Explanation of symbols]
1, 5, 51 Playback device, 2 CRT, 3, 7, 53 Transmitter, 4, 8, 54
Receiver, 6 LCD, 52 PDP

Claims (6)

入力された映像信号を表示画像に変換して所定の方式により表示する表示手段と、
上記表示手段の固有の特性によって表示画像に発生した劣化の場所を示す劣化箇所の情報が操作者の操作により入力される情報入力手段と、
上記情報入力手段により入力された、上記表示画像に発生した劣化の場所を示す劣化箇所の情報から、当該劣化箇所を補正するための補正用データを生成する補正用データ生成手段と、
を備えた信号処理装置。Display means for displaying a predetermined person expression converts the input video signal to the display image,
Information input means for inputting information of a degraded portion indicating a place of degradation that has occurred in a display image due to a characteristic of the display means, by an operator's operation ;
Correction data generating means for generating correction data for correcting the deteriorated portion from information on the deteriorated portion indicating the place of deterioration occurring in the display image input by the information input means;
A signal processing apparatus comprising: 上記補正用データ生成手段により生成された補正用データと入力された映像信号とを記録媒体に記録する記録手段を備えた請求項１に記載の信号処理装置。2. The signal processing apparatus according to claim 1, further comprising recording means for recording the correction data generated by the correction data generating means and the input video signal on a recording medium. 上記補正用データ生成手段により生成された補正用データと入力された映像信号とを配信する配信手段を備えた請求項１に記載の信号処理装置。The signal processing apparatus according to claim 1, further comprising a distribution unit that distributes the correction data generated by the correction data generation unit and the input video signal. 入力された映像信号を表示画像に変換して所定の方式により表示手段に表示する表示ステップと、
操作者の操作により入力された、上記表示手段の固有の特性によって上記表示画像に発生した劣化の場所を示す劣化箇所の情報から、当該劣化箇所を補正するための補正用データを生成する補正用データ生成ステップと
を含む信号処理方法。 A display step of converting the input video signal into a display image and displaying it on a display means by a predetermined method;
Correction data for generating correction data for correcting the deteriorated part from the information of the deteriorated part indicating the place of deterioration generated in the display image due to the unique characteristic of the display means, which is input by the operation of the operator Data generation step and
A signal processing method including : 入力された映像信号を表示画像に変換して所定の方式により表示手段に表示する表示手順と、
操作者の操作により入力された、上記表示手段の固有の特性によって上記表示画像に発生した劣化の場所を示す劣化箇所の情報から、当該劣化箇所を補正するための補正用データを生成する補正用データ生成手順と
をコンピュータに実行させるためのプログラム。 A display procedure for converting the input video signal into a display image and displaying it on a display means by a predetermined method;
Correction data for generating correction data for correcting the deteriorated part from the information of the deteriorated part indicating the place of deterioration generated in the display image due to the unique characteristic of the display means, which is input by the operation of the operator A program for causing a computer to execute the data generation procedure . 入力された映像信号を表示画像に変換して所定の方式により表示手段に表示する表示手順と、
操作者の操作により入力された、上記表示手段の固有の特性によって上記表示画像に発生した劣化の場所を示す劣化箇所の情報から、当該劣化箇所を補正するための補正用データを生成する補正用データ生成手順と
をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 A display procedure for converting the input video signal into a display image and displaying it on a display means by a predetermined method;
Correction data for generating correction data for correcting the deteriorated part from the information of the deteriorated part indicating the place of deterioration generated in the display image due to the unique characteristic of the display means, which is input by the operation of the operator A computer-readable recording medium recording a program for causing a computer to execute a data generation procedure .
JP2003022510A 2003-01-30 2003-01-30 Signal processing apparatus and method, program, and recording medium Expired - Fee Related JP4135521B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003022510A JP4135521B2 (en) 2003-01-30 2003-01-30 Signal processing apparatus and method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003022510A JP4135521B2 (en) 2003-01-30 2003-01-30 Signal processing apparatus and method, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2004233679A JP2004233679A (en) 2004-08-19
JP4135521B2 true JP4135521B2 (en) 2008-08-20

Family

ID=32951565

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003022510A Expired - Fee Related JP4135521B2 (en) 2003-01-30 2003-01-30 Signal processing apparatus and method, program, and recording medium

Country Status (1)

Country Link
JP (1) JP4135521B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4290140B2 (en) 2005-04-04 2009-07-01 キヤノン株式会社 Display device and display control method thereof

Also Published As

Publication number Publication date
JP2004233679A (en) 2004-08-19

Similar Documents

Publication Publication Date Title
CN1975855B (en) Image display device, driving circuit and driving method used in same
WO2006098148A1 (en) Display, liquid crystal monitor, liquid crystal television receiver and display method
JP2004007076A (en) Video signal processing method and video signal processing apparatus
US8094194B2 (en) Display apparatus and control method thereof
JP2008078858A (en) Image display device and method
JP2006098803A (en) Moving image processing method, moving image processing apparatus and moving image processing program
CN101536507A (en) Image display device and method, and image processing device and method
JP4333163B2 (en) Image processing apparatus, image display apparatus, and image processing method
CN111480192A (en) Signal processing apparatus, signal processing method, and display apparatus
JP2003264846A (en) Liquid crystal display method
KR100877915B1 (en) Display device, display monitor, and television receiver
JP4103356B2 (en) Hold-type image display device
JP2000338922A (en) Image processor
JP4135521B2 (en) Signal processing apparatus and method, program, and recording medium
WO2010064319A1 (en) Video display control device, video display device, video display method, video display program and recording medium having the program recorded thereon
JP5041876B2 (en) Digital broadcast receiver
JP4924155B2 (en) Video signal processing apparatus and video signal processing method
JP4530002B2 (en) Hold-type image display device
JP2002372943A (en) Driving circuit for image display device, image display device, and driving method of the device
JP4359328B2 (en) Image display apparatus and method, image processing apparatus and method
JP4181612B2 (en) Image display apparatus and method
JP4369971B2 (en) Image display apparatus and method, image processing apparatus and method
KR101552886B1 (en) Apparatus and method of improving definition of moving picture
KR100826199B1 (en) Method for adjustment brightness of bandwith image and image display apparatus thereof
JP4359322B2 (en) Image display apparatus and method, image processing apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080513

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080526

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees