JPWO2008123217A1 - 映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置 - Google Patents

映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置 Download PDF

Info

Publication number
JPWO2008123217A1
JPWO2008123217A1 JP2009509106A JP2009509106A JPWO2008123217A1 JP WO2008123217 A1 JPWO2008123217 A1 JP WO2008123217A1 JP 2009509106 A JP2009509106 A JP 2009509106A JP 2009509106 A JP2009509106 A JP 2009509106A JP WO2008123217 A1 JPWO2008123217 A1 JP WO2008123217A1
Authority
JP
Japan
Prior art keywords
video signal
video
superimposed
information
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009509106A
Other languages
English (en)
Other versions
JP5075195B2 (ja
Inventor
上野 雅史
雅史 上野
山本 健一郎
健一郎 山本
古川 浩之
浩之 古川
吉田 育弘
育弘 吉田
吉井 隆司
隆司 吉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2009509106A priority Critical patent/JP5075195B2/ja
Publication of JPWO2008123217A1 publication Critical patent/JPWO2008123217A1/ja
Application granted granted Critical
Publication of JP5075195B2 publication Critical patent/JP5075195B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/144Movement detection
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611Control of matrices with row and column drivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

フレームレート変換(FRC)処理などの映像信号処理を備えた映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置において、第一の映像信号に第二の映像信号が重畳された映像の画像劣化を防止する。映像送信装置1には、映像合成情報に従って第一の映像信号に第二の映像信号を重畳処理する編集装置2と、その出力映像信号及び映像合成情報をエンコードする映像エンコード処理部3及び映像合成情報エンコード処理部4と、エンコード後のデータを多重化する多重化処理部5と、多重化データを送信する送信部6とを備える。映像受信装置11には、多重化データを受信する受信部12と、多重化データから映像データと映像合成情報とに分離する多重化データ分離部13と、映像データ及び映像合成情報をデコードする映像デコード処理部14及び映像合成情報デコード処理部15と、デコードされた映像信号に対して所定の映像信号処理を行う映像信号処理部16とを備える。映像信号処理部16は、映像合成情報を用いて、第一の映像信号に重畳された第二の映像信号の領域に対する映像信号処理を適切に制御することで、映像信号処理による第二の映像信号の領域やその周辺の画像劣化を無くし、より高品質の映像を生成する。

Description

本発明は、映像信号処理方法に関し、より詳細には、第一の映像信号と第二の映像信号とを合成して表示する場合、動き補償型のレート変換処理などに起因する第一及び第二の映像信号の表示部分の画像劣化の防止を目的とした、映像送信装置および映像受信装置に関する。
動画像を具現する用途に従来から主として用いられてきた陰極線管(CRT:Cathode Ray Tube)に対して、LCD(Liquid Crystal Display)は、動きのある画像を表示した場合に、観る者には動き部分の輪郭がぼけて知覚されてしまうという、所謂、動きぼけの欠点がある。この動きぼけは、LCDの表示方式そのものに起因することが指摘されている(例えば、特許第3295437号明細書; “石黒秀一、栗田泰市郎、「8倍速CRTによるホールド発光型ディスプレイの動画質に関する検討」、信学技報、社団法人電子情報通信学会、EID96−4(1996−06)、p.19−26”参照)。
電子ビームを走査して蛍光体を発光させて表示を行うCRTでは、各画素の発光は蛍光体の若干の残光はあるものの概ねインパルス状になる。これをインパルス型表示方式という。一方、LCDでは、液晶に電界を印加することにより蓄えられた電荷が、次に電界が印加されるまで比較的高い割合で保持される。特に、TFT方式の場合、画素を構成するドット毎にTFTスイッチが設けられており、さらに通常は各画素に補助容量が設けられており、蓄えられた電荷の保持能力が極めて高い。このため、画素が次のフレームあるいはフィールド(以下、フレームで代表する)の画像情報に基づく電界印加により書き換えられるまで発光し続ける。これをホールド型表示方式という。
上記のようなホールド型表示方式においては、画像表示光のインパルス応答が時間的な広がりを持つため、時間周波数特性が劣化して、それに伴い空間周波数特性も低下し、動きぼけが生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、ホールド型のように発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまう。
上記のホールド型表示方式における動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート(フレーム数)を変換する技術が知られている。この技術は、FRC(Frame Rate Converter)と呼ばれ、液晶表示装置等において実用化されている。
従来、フレームレートを変換する方法には、単に同一フレームの複数回繰り返し読み出しや、フレーム間の直線内挿(線形補間)によるフレーム内挿などの各種の手法がある(例えば、山内達郎、「テレビジョン方式変換」、テレビジョン学会誌、Vol.45、No.12、pp.1534−1543(1991)参照)。しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ(ジャーキネス、ジャダー)が発生するとともに、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することはできず、画質的には不十分なものであった。
そこで、上記ジャーキネスの影響等をなくして動画質を改善するために、動きベクトルを用いた動き補償型のフレーム内挿処理が提案されている。この動きベクトルを用いた動き補償処理によれば、動画像そのものをとらえて画像の動きを補償した内挿フレームを生成するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。さらに、内挿画像信号は動き補償して形成されるので、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することが可能となる。
前述の特許第3295437号明細書には、動き適応的に内挿フレームを生成することにより、表示画像のフレーム周波数を上げて、動きぼけの原因となる空間周波数特性の低下を改善するための技術が開示されている。これは、表示画像のフレーム間に内挿する少なくとも1つの内挿画像信号を、前後のフレームから動き適応的に形成し、形成した内挿画像信号をフレーム間に内挿して順次表示するようにしている。
図1は、従来の液晶表示装置におけるFRC駆動表示回路の概略構成を示すブロック図で、図中、FRC駆動表示回路は、入力画像信号のフレーム間に動き補正処理を施した画像信号を内挿することにより入力画像信号のフレーム数を変換するFRC部100と、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶表示パネル103と、FRC部100によりフレームレート変換された画像信号に基づいて液晶表示パネル103の走査電極及びデータ電極を駆動するための電極駆動部104と、を備えて構成される。
FRC部100は、入力画像信号から動きベクトル情報を検出する動きベクトル検出部101と、動きベクトル検出部101により得られた動きベクトル情報に基づいて内挿フレームを生成する内挿フレーム生成部102とを備える。
上記構成において、動きベクトル検出部101は、例えば、後述するブロックマッチング法や勾配法などを用いて動きベクトル情報を求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、MPEG方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。
図2は、図1に示した従来のFRC駆動表示回路によるフレームレート変換処理を説明するための図である。FRC部100は、動きベクトル検出部101より出力された動きベクトル情報を用いた動き補償処理により、フレーム間の内挿フレーム(図中グレーに色付けされた画像)を生成し、この生成された内挿フレーム信号を入力フレーム信号とともに、順次出力することで、入力画像信号のフレームレートを例えば毎秒60フレーム(60Hz)から毎秒120フレーム(120Hz)に変換する処理を行う。
図3は、動きベクトル検出部101及び内挿フレーム生成部102による内挿フレーム生成処理について説明するための図である。動きベクトル検出部101は、図3に示した例えばフレーム#1とフレーム#2から勾配法等により動きベクトル105を検出する。すなわち、動きベクトル検出部101は、フレーム#1とフレーム#2の1/60秒間に、どの方向にどれだけ動いたかを測定することにより動きベクトル105を求める。次に、内挿フレーム生成部102は、求めた動きベクトル105を用いて、フレーム#1とフレーム#2間に内挿ベクトル106を割り付ける。この内挿ベクトル106に基づいてフレーム#1の位置から1/120秒後の位置まで対象(ここでは自動車)を動かすことにより、内挿フレーム107を生成する。
このように、動きベクトル情報を用いて動き補償フレーム内挿処理を行い、表示フレーム周波数を上げることで、LCD(ホールド型表示方式)の表示状態を、CRT(インパルス型表示方式)の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画像劣化を改善することが可能となる。
ここで、上記動き補償フレーム内挿処理においては、動き補償のために動きベクトルの検出が不可欠となる。この動きベクトル検出の代表的な手法として、例えば、ブロックマッチング法、勾配法などが提案されている。勾配法においては、連続した2つのフレーム間で各画素または小さなブロック毎に動きベクトルを検出し、それにより2つのフレーム間の内挿フレームの各画素または各小ブロックを内挿する。すなわち、2つのフレーム間の任意の位置の画像を正しい位置に移動して内挿することにより、フレーム数の変換を行う。
ところで、放送されるテレビジョン映像には、ビデオカメラで撮像された映像の上に、番組のロゴ、テロップなどのキャラクタ文字が重畳された映像や、コンピュータグラフィックス(CG)や、アニメーションなどが合成された映像が存在する。このようにビデオカメラで撮像された自然映像信号に対して、放送局側にて編集されたものを、合成映像信号と称す。
また、例えばDVD(Digital Versatile Disc)に収録された映画などのコンテンツ映像においても、コンテンツ作成者により、キャラクタ文字、CG画像などが合成された映像も存在する。
上記のような合成映像信号はビデオカメラで撮像された自然映像信号やリアルなCG処理によって作成された自然映像信号に準ずる第一の映像信号に、番組ロゴのようなキャラクタ文字画像やCG合成画像などの第二の映像信号が合成された場合、第一の映像信号と第二の映像信号とで異なる特徴を持つ映像が混在する場合がある。
例えば、一定方向にパンニングする自然映像信号などの第一の映像信号の上に、第一の映像信号とは逆方向に動くテロップなどの第二の映像信号が合成された映像は、全く逆の動きを持つ映像が混在することとなる。このような合成映像信号に対して、FRCのような映像信号処理を施した場合、第二の映像信号であるテロップ領域やその周辺において、FRCによる前後フレーム間の動きベクトル情報の検出に誤りが生じ、テロップ文字やその周辺の背景画像が歪むなどの画像劣化が起こる。
また、一定方向にパンニングする自然映像信号などの第一の映像信号の上に、静止している番組ロゴなどの第二の映像信号が合成された映像は、番組ロゴは静止しているのに対し、自然映像信号は番組ロゴの背後を通り過ぎるような映像となり、異なる動きを持つ映像が混在することになる。このような合成映像信号に対して、FRCのような映像信号処理を施した場合、第二の映像信号である番組ロゴやその周辺において、FRCによる前後フレーム間の動きベクトル情報の検出に誤りが生じ、番組ロゴやその周辺の背景画像が歪むなどの画像劣化が生じる。さらに番組ロゴは半透明合成されたものも多く存在しており、半透明合成されたものは背景画像によって番組ロゴ自体の輝度が変化するため、より動きベクトル検出が困難となる。
これまで、従来技術としてFRC処理を例にあげて説明してきたが、受像装置側の一般的な映像信号処理としては、I/P(インターレース/プログレッシブ)変換処理やエッジ強調処理(輪郭強調処理)があげられる。これらの映像信号処理を用いた場合も以下のような問題が生じる。
I/P変換処理は、例えばテレビジョン放送されたインターレース走査信号をプログレッシブ走査信号に変換する処理である。近年では、動画質を向上することを目的とした動き補償型のI/P変換技術が提案されている。この技術は、FRC処理と同様に動き検出を行い、動きに応じた変換処理を施すものであり、上述のFRC処理における課題と同様に、テロップなどの第二の映像信号が合成された映像に対して動き補償型のI/P変換処理を行う場合は、前後フレーム間の動きベクトル情報の検出に誤りが生じ、テロップ文字やその周辺の背景画像にコーミングノイズが発生するなどの画像劣化が起こる。
エッジ強調処理は、例えばテレビジョン放送された映像信号の高域周波数成分を強調したり、強調する映像信号の周波数範囲を拡大するなどして、画像の鮮鋭感を向上させるためのものであり、通常、表示画面全体に対して同一強度のエッジ強調処理を行うのが一般的である。
カメラで撮影した自然映像信号などの第一の映像信号にCG画像などの第二の映像信号が合成された映像は、第一の映像信号による自然映像は輪郭が緩やかであるのに対し、第二の映像信号によるCG画像は輪郭が急峻であり、異なる特徴を持つ映像が混在することとなる。このような合成映像に対してエッジ強調処理を施す場合、第一の映像信号(自然映像信号)に対してはエッジ強調処理を施すことでコントラストの向上が図れるが、同じ処理を第二の映像信号(CG画像信号)に施すと、すでにエッジが急峻なCG画像に対してさらにエッジを強調する処理が加わるため、CG画像のエッジ部分に画像劣化が起こる。
ところで、特開2004−120757号公報には、受信装置側において受信した映像信号の画像上にオンスクリーンディスプレイ(OSD)画像などの追加画像をスーパーインポーズした場合、スーパーインポーズされた画像及びその周辺の画像エリアに対しては動き補償を適用せずにFRC処理、I/P変換処理を行うものが提案されている。これは、OSD生成部で生成された追加画像データをスーパーインポーズする画像エリアを指示する制御信号を利用して、画像エリア毎に異なる方法でFRC処理、I/P変換処理を行うものである。
すなわち、特開2004−120757号公報に記載のものは、受信装置において追加画像を生成し、受信映像上に重畳した場合は、該追加画像を重畳した画像エリアが分かるため、画像エリア毎に適切な映像信号処理を用いることが可能となる。しかしながら、上述したように放送局側で第一の映像信号に第二の映像信号を重畳した後で送信された映像については、受信装置側で第二の映像信号が重畳されている位置や第二の映像信号の種類や位置が分からないため、特開2004−120757号公報の技術を適用して画像エリア毎に適切な映像信号処理を施すことはできない。
また、特開2002−15327号公報には、画像処理装置に入力された画像データの画像種別が人工画像か自然画像かを画素ごとに判別し、この判別結果を用いて適切な画像補間処理や画像強調処理を選択するものが提案されている。これは、特定の画素の画像データの値とその近傍の画素の画像データの値との一致性(相関性)に基づいて、該特定の画素の画像データがコンピュータ画像のデータか自然画像のデータかを判別し、その結果に応じてコンピュータ画像に適した画像補間処理、画像強調処理と、自然画像に適した画像補間処理、画像強調処理とを選択するものである。
しかしながら、特開2002−15327号公報の中においても、「自然画像における画像中の滑らかな部分(例えば空や壁など)については、部分的に人工画像の領域として判別されることが多い。そのため、本来、自然画像であるべき部分が人工画像として判別され」と記載されているように、正確に画像種別を判別するのは非常に困難であり、また、この問題の解決手法も開示されているが、「各画素についてエッジ領域にあるか否かを自動的に判別し、エッジ領域にあると判定された場合には相関性の高さを判定するしきい値を下げて自然画像と判別されにくくし」と記載されており、すなわち自然画像におけるエッジ領域は誤って人工画像と判別されやすくなるため、依然として自動判別の誤りを完全に防止できないことがわかる。
以上のように、特開2002−15327号公報に記載のものの場合、画像種別の自動判別に誤りが生じることがあり、その結果、不適切な映像信号処理が選択される可能性がある。さらに、画像種別の自動判別を行うために複雑な構成が必要となるため、実装のコストや消費電力の増大を招来するという問題もある。
本発明は、上述のごとき実情に鑑みてなされたものであり、
第一の映像信号に第二の映像信号を合成する際の映像合成情報(合成画像の位置・大きさ・速度など)を、第一の映像信号に付加して送信あるいは記録し、受信装置あるいは再生装置側で、前記映像合成情報に応じて、合成映像信号に対する映像信号処理を制御することで、第二の映像信号による画像及びその周辺の画像の劣化を防止し、より高品質な映像を生成できるようにすることと、
第一の映像信号に第二の映像信号を合成する際の映像合成情報(合成画像の位置・大きさ・速度など)と第二の映像信号とを、第一の映像信号に付加して送信あるいは記録し、受信装置あるいは再生装置側で、前記映像合成情報に応じて、第一の映像信号と第二の映像信号との各々に対する映像信号処理を個別に制御し、それぞれの処理が施された映像信号を合成することで、第二の映像信号による画像及びその周辺の画像の劣化を防止し、より高品質な映像を生成できるようにすることを目的とする。
本願の第1の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を送信する映像送信装置であって、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して送信することを特徴とする。
本願の第2の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号の位置を示す情報を含むことを特徴とする。
本願の第3の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号の領域を示す情報を含むことを特徴とする。
本願の第4の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の移動速度を示す情報を含むことを特徴とする。
本願の第5の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。
本願の第6の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする。
本願の第7の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号と、前記第一の映像信号に重畳された前記第二の映像信号に関する情報とを受信する映像受信装置であって、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行う映像信号処理手段を備えたことを特徴とする。
本願の第8の発明は、前記映像信号処理手段が、動き補償処理を用いたフレームレート変換部を有し、該フレームレート変換部が、前記第二の映像信号が重畳された領域に対し、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる動き補償処理を行うことを特徴とする。
本願の第9の発明は、前記映像信号処理手段が、動き補償処理を用いたインターレース/プログレッシブ(I/P)変換部を有し、該インターレース/プログレッシブ(I/P)変換部が、前記第二の映像信号が重畳された領域に対し、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる動き補償処理を行うことを特徴とする。
本願の第10の発明は、前記第二の映像信号に関する情報が、前記第二の映像信号によって表される映像の移動速度が0であることを示す場合、前記第二の映像信号が重畳された領域に対する動き補償処理の強度をゼロにすることを特徴とする。
本願の第11の発明は、前記第二の映像信号が重畳された領域とそれ以外の領域との境界部に対してフィルタ処理を施すことを特徴とする。
本願の第12の発明は、前記映像信号処理手段が、入力画像信号のフレームあるいはフィールドを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも1フレームあるいは1フィールド以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、前記動きベクトル検出部が、各ブロック毎に検出された動きベクトルを少なくとも1フレームあるいは1フィールド分蓄積する記憶部と、前記記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有することを特徴とする。
本願の第13の発明は、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の1つとして前記初期変位ベクトル選択部に追加することを特徴とする。
本願の第14の発明は、前記初期変位ベクトル選択部が、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行うことを特徴とする。
本願の第15の発明は、前記動きベクトル演算部が、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向のベクトルが得られるように演算方法を変更することを特徴とする。
本願の第16の発明は、前記映像信号処理手段が、エッジ強調処理を行うエッジ強調部を有し、該エッジ強調部が、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なるエッジ強調処理を行うことを特徴とする。
本願の第17の発明は、前記第二の映像信号が重畳された領域に対するエッジ強調処理の強度を、その他の領域に対するエッジ強調処理の強度から変化させることを特徴とする。
本願の第18の発明は、前記第二の映像信号が重畳された領域に対しては、前記エッジ強調処理の強度をゼロにすることを特徴とする。
本願の第19の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。
本願の第20の発明は、前記第二の映像信号によって表される映像のエッジが急峻である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像のエッジが緩やかである場合は、前記エッジ強調処理の強度を増大させることを特徴とする。
本願の第21の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする。
本願の第22の発明は、前記第二の映像信号によって表される映像の種別がコンピュータグラフィックス(CG)映像である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像の種別が自然映像である場合は、前記エッジ強調処理の強度を増大させることを特徴とする。
本願の第23の発明は、前記第7乃至22の発明のいずれかに記載の映像受信装置を備えた映像表示装置を特徴とする。
本願の第24の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを送信する映像送信装置であって、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び/又は第二の映像信号に付加して送信することを特徴とする。
本願の第25の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳すべき前記第二の映像信号の位置を示す情報を含むことを特徴とする。
本願の第26の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳すべき前記第二の映像信号の領域を示す情報を含むことを特徴とする。
本願の第27の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の移動速度を示す情報を含むことを特徴とする。
本願の第28の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。
本願の第29の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする。
本願の第30発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報とを受信する映像受信装置であって、前記第一の映像信号に対して、所定の映像信号処理を行う第一の映像信号処理手段と、前記第二の映像信号に対して、前記第二の映像信号に関する情報を用いて、所定の映像信号処理を行う第二の映像信号処理手段と、前記第一の映像信号処理手段により映像信号処理が施された第一の映像信号と、前記第二の映像信号処理手段により映像信号処理が施された第二の映像信号とを、前記第二の映像信号に関する情報を用いて重畳する映像合成処理手段とを備えたことを特徴とする。
本願の第31の発明は、前記第二の映像信号処理手段が、動き補償処理を用いたフレームレート変換部を有し、該フレームレート変換部は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対する動き補償処理を制御することを特徴とする。
本願の第32の発明は、前記第二の映像信号処理手段が、動き補償処理を用いたインターレース/プログレッシブ(I/P)変換部を有し、該インターレース/プログレッシブ(I/P)変換部が、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対する動き補償処理を制御することを特徴とする。
本願の第33の発明は、前記第二の映像信号処理手段が、入力画像信号のフレームあるいはフィールドを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも1フレームあるいは1フィールド以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、前記動きベクトル検出部が、各ブロック毎に検出された動きベクトルを少なくとも1フレームあるいは1フィールド分蓄積する記憶部と、前記記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有することを特徴とする。
本願の第34の発明は、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の1つとして前記初期変位ベクトル選択部に追加することを特徴とする。
本願の第35の発明は、前記初期変位ベクトル選択部が、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行うことを特徴とする。
本願の第36の発明は、前記動きベクトル演算部が、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向のベクトルが得られるように演算方法を変更することを特徴とする。
本願の第37の発明は、前記第二の映像信号処理手段が、エッジ強調処理を行うエッジ強調部を有し、該エッジ強調部が、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対するエッジ強調処理を行うことを特徴とする。
本願の第38の発明は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対するエッジ強調処理の強度を制御することを特徴とする。
本願の第39の発明は、前記第二の映像信号に対するエッジ強調処理の強度をゼロにすることを特徴とする。
本願の第40の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。
本願の第41の発明は、前記第二の映像信号によって表される映像のエッジが急峻である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像のエッジが緩やかである場合は、前記エッジ強調処理の強度を増大させることを特徴とする。
本願の第42の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする。
本願の第43の発明は、前記第二の映像信号によって表される映像の種別がコンピュータグラフィックス(CG)映像である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像の種別が自然映像である場合は、前記エッジ強調処理の強度を増大させることを特徴とする。
本願の第44の発明は、前記第30乃至43の発明のいずれかに記載の映像受信装置を備えた映像表示装置を特徴とする。
本願の第45の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を情報媒体に記録する映像記録装置であって、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して記録することを特徴とする。
本願の第46の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号と、前記第一の映像信号に重畳された前記第二の映像信号に関する情報とを情報媒体から再生する映像再生装置であって、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行う映像信号処理手段を備えたことを特徴とする。
本願の第47の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを情報媒体に記録する映像記録装置であって、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び/又は第二の映像信号に付加して記録することを特徴とする。
本願の第48の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報とを情報媒体から再生する映像再生装置であって、前記第一の映像信号に対し、所定の映像信号処理を行う第一の映像信号処理手段と、前記第二の映像信号に対し、前記第二の映像信号に関する情報を用いて、所定の映像信号処理を行う第二の映像信号処理手段と、前記第一の映像信号処理手段により映像信号処理が施された第一の映像信号と、前記第二の映像信号処理手段により映像信号処理が施された第二の映像信号とを、前記第二の映像信号に関する情報を用いて重畳する映像合成処理手段とを備えたことを特徴とする。
本発明によれば、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を受信あるいは再生する場合、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行うことで、映像信号処理による第二の映像信号の領域及びその周辺の画像の劣化を防止し、より高品質の映像を生成することができる。
また、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報とを受信あるいは再生する場合は、前記第一の映像信号に対して所定の映像信号処理を行うとともに、前記第二の映像信号に対しては、前記第二の映像信号に関する情報を用いて所定の映像信号処理を行い、それぞれの映像信号処理がなされた映像信号を、前記第二の映像信号に関する情報を用いて重畳することで、映像信号処理による第二の映像信号の領域及びその周辺の画像の劣化を防止し、より高品質の映像を生成することができる。
従来の液晶表示装置におけるFRC駆動表示回路の概略構成を示すブロック図である。 図1に示した従来のFRC駆動表示回路によるフレームレート変換処理を説明するための図である。 動きベクトル検出部及び内挿フレーム生成部による内挿フレーム生成処理について説明するための図である。 本発明の第1の実施形態に係る映像送信装置の概略構成例を示す機能ブロック図である。 本発明の第1の実施形態に係る映像受信装置の概略構成例を示す機能ブロック図である。 本発明の第2の実施形態に係る映像送信装置の概略構成例を示す機能ブロック図である。 本発明の第2の実施形態に係る映像受信装置の概略構成例を示す機能ブロック図である。
符号の説明
100…フレームレート変換(FRC)部、101…動きベクトル検出部、102…内挿フレーム生成部、103…液晶表示パネル、104…電極駆動部、105…動きベクトル、106…内挿ベクトル、107…内挿フレーム、1…映像送信装置、2…編集装置、3…映像エンコード処理部、4…映像合成情報エンコード処理部、5…多重化処理部、6…送信部、11…映像受信装置、12…受信部、13…多重化データ分離処理部、14…映像デコード処理部、15…映像合成情報デコード処理部、16…映像信号処理部、17…表示部、21…映像送信装置、23A…映像エンコード処理部(1)、23B…映像エンコード処理部(2)、25…多重化処理部、31…映像受信装置、33…多重化データ分離処理部、34A…映像デコード処理部(1)、34B…映像デコード処理部(2)、36A…映像信号処理部(1)、36B…映像信号処理部(2)、38…映像合成処理部
以下、本発明の好適な映像送信装置および映像受信装置の実施の形態について詳細に説明する。本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者(フィールドとフレーム)は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。
まず、本発明の第1の実施形態に係る映像送信装置および映像受信装置について、図4及び図5とともに説明する。
図4は本実施形態に係る映像送信装置の概略構成例を示すブロック図である。映像送信装置1には、第一の映像信号、第二の映像信号、及び第二の映像信号に関する情報である映像合成情報が入力される。第一の映像信号は、例えばビデオカメラで撮像された自然映像信号である。第二の映像信号は、例えば番組ロゴやテロップやCGキャラクターなどの、第一の映像信号の上に重畳して合成される映像を表す映像信号である。上述の映像合成情報としては、下記のような情報を含むものが考えられる。
(1)第二の映像信号を第一の映像信号に重畳する位置を示す情報:
例えば第一の映像信号が横1920ピクセル、縦1080ピクセルの解像度であり、第二の映像信号が横200ピクセル、縦100ピクセルの解像度であり、第二の映像信号における最も左上のピクセルが第一の映像信号における最も左上からxピクセル、上からyピクセルの位置に来るように重畳する場合、(x、y)の数値の組を、第二の映像信号を第一の映像信号に重畳する位置を示す情報とすることができる。
(2)第二の映像信号の領域を示す情報:
例えば第二の映像信号が横180ピクセル、縦150ピクセルの解像度であるとき、この180×150ピクセルの領域全体を、第二の映像信号の領域とすることができる。
あるいは、例えば第二の映像信号が横180ピクセル、縦150ピクセルの解像度であって、ここに文字が表されている場合を考える。文字の存在するピクセルが1、文字の存在しないピクセルが0である、横180ピクセル、縦150ピクセルのマップを作成して、これを第二の映像信号の領域を示す情報とすることができる。さらにこのマップは、0か1の2値のマップではなく、例えば255階調のマップとして、透過率を設定することも可能である。
(3)第二の映像信号によって表される映像の移動速度を示す情報:
例えば第一の映像信号が横1920ピクセル、縦1080ピクセルの解像度であり、第二の映像信号が横1920ピクセル、縦200ピクセルの解像度であって、第二の映像信号によって表される映像が、毎フレームごとに文字が左方向にpピクセル/フレームの速度で移動して画面左端で消えると共に、画面右端から新たな文字が現れてくる画像、すなわち所謂テロップである場合を考える。この時、第二の映像信号を第一の映像信号に重畳する位置は、毎フレーム同じであるが、第二の映像信号によって表される映像は、左方向にpピクセル/フレームという一定の速度で移動する文字である。よって、この文字の移動速度を、第二の映像信号によって表される映像の移動速度を示す情報とすることができる。より一般的には、第二の映像信号によって表される映像が水平方向にpピクセル/フレーム、垂直方向にqピクセル/フレームの速度で動いている場合に、(p、q)の数値の組を、第二の映像信号によって表される映像の移動速度を示す情報とすることができる。
(4)第二の映像信号によって表される映像のエッジの急峻さを示す情報:
例えば、第二の映像信号によって表される映像のエッジ部分における単位ピクセルあたりの輝度変化量の平均値を、該第二の映像信号によって表される映像エッジの急峻さを示す情報として用いることができる。
(5)第二の映像信号によって表される映像の種別を示す情報:
第二の映像信号が、例えばビデオカメラで撮像された自然映像を表す自然映像信号か、CG画像信号、文字画像信号などの人工映像信号かの種別を示す情報である。
上述した情報のいくつかを含む映像合成情報に従って、編集装置2では、第一の映像信号に対し第二の映像信号が重畳処理され、合成映像信号が出力される。この合成映像信号を映像エンコード処理部3によりエンコードするとともに、映像合成情報を映像合成情報エンコード処理部4によりエンコードする。これら2種類のデータを、多重化処理部5によって多重化し、放送データを生成する。送信部6は、この放送データを放送電波に乗せて送出する。ここで、編集装置2から出力される合成映像信号は、従来の放送における映像データと同様のものである。本発明の特徴のひとつは、該合成映像信号に、映像合成情報を付加して送信することにある。
なお、本実施形態においては、圧縮処理を施した映像データ、映像合成情報のそれぞれのデータストリームを多重化して伝送する構成としているが、合成映像信号、映像合成情報を圧縮せずに送信するものに適用してもよい。さらに、映像データを例えばMPEG2(Moving Picture Experts Group 2)−Systemsで規定されたトランスポートストリームパケット(TSP)のペイロードで伝送し、映像合成情報を拡張ヘッダ(アダプテーション・フィールド)で伝送する、或いは、映像データから構成されるペイロードに埋め込んで伝送することも可能である。
図5は本実施形態に係る映像受信装置の概略構成例を示すブロック図である。映像受信装置11は、映像送信装置1より送出された放送データを受信部12で受信する。受信した放送データは多重化データ分離処理部13で元の2種類のデータに分離される。これらのデータは圧縮されたデータなので、合成映像信号は映像デコード処理部14で、映像合成情報は映像合成情報デコード処理部15でそれぞれデコードされる。映像信号処理部16は、デコードされた映像信号に対して所定の映像信号処理を行う。この時、デコードされた映像合成情報を用いて、映像送信時に第一の映像信号に対し重畳された第二の映像信号の領域に対しては、その他の領域とは異なる処理を行う。
例えば、映像信号処理部16は、入力映像信号から動きベクトル情報の検出を行い、該動きベクトル情報を用いた動き補償処理を施すことによって、60Hzから120Hzへのフレームレート変換処理を行うFRC処理部を含む。ここで、入力映像信号には、第二の映像信号として静止している(速度0の)番組ロゴ、及び一定の速度で移動するテロップが重畳されており、映像合成情報として番組ロゴの位置、領域や、テロップの位置、領域、移動速度などを示す情報が付加されている場合、映像信号処理部16は、番組ロゴが重畳されている領域に対しては静止領域として動き補償処理の強度をゼロにする、すなわち、動き補償処理を行わない(無効化する)。また、テロップが重畳されている領域に対してはテロップの移動速度に相当する動きベクトルを割り付けて、動き補償処理を行う。
60Hzから120HzへのFRC処理は、入力映像信号のフレーム間における動きベクトルを検出し、この動きベクトルに基づいて、入力映像信号のフレーム間における中間位置に内挿フレームを生成する。内挿フレームは、複数の画素で構成された内挿ブロック毎に切り分けられ、この内挿ブロック毎に1本の内挿ベクトルが割り付けられる。そして、内挿ブロックに割り付けられた内挿ベクトルが指し示す入力フレーム(前フレーム、現フレーム)のRGB信号を抽出し、画素毎に内挿画像信号を生成する。
このとき、番組ロゴが重畳されている位置に相当する内挿ブロックには、0ベクトルを割り付けることで、動き補償処理を無効化して内挿画像信号を生成することができ、テロップが重畳されている位置及び領域に相当する内挿ブロックには、テロップの移動速度の半分の内挿ベクトルを割り付けることで、テロップの移動量を動き補償した内挿画像信号を生成することができる。
すなわち、第一の映像信号の領域に対しては、動きベクトル検出結果を用いて求められた内挿ベクトルを内挿ブロック毎に割り付けているが、第二の映像信号が重畳されている領域に対しては、映像合成情報から求められる内挿ベクトルを優先して割り付ける。これによって、第二の映像信号の領域において、適切な内挿画像信号を生成することが可能となり、内挿画像の劣化による画質劣化を防止することができる。
尚、上記の実施形態においては、第二の映像信号である番組ロゴ(静止画)が重畳された領域に対する動き補償処理を無効化する方法として、番組ロゴの領域に相当する内挿ブロックに0ベクトルを割り付ける方法を説明したが、この他にも、動きベクトル検出部にて検出された動きベクトルを0ベクトルに置き換える方法や、内挿フレームの番組ロゴが重畳される領域に、この領域に相当する入力フレーム(前フレームまたは後フレーム)の画像信号、または前後の入力フレームから線形補間処理して生成した画像信号を挿入する方法を用いてもよい。さらに、動き補償処理された画像信号と線形補間処理された画像信号とを加重加算して内挿画像を生成する場合、番組ロゴの領域においては動き補償処理された画像信号の加重加算比率を低減することで、動き補償処理の強度を低下させる方法を用いても良い。
また、上記の実施形態において、静止領域となる第二の映像信号の領域に対して、動き補償処理を無効化するために、内挿ベクトルを0ベクトルにした場合、この動き補償処理を無効化した領域と、それ以外の動き補償処理を施した領域との境界部分では、内挿ベクトルの急激な変化が生じるため、この動き補償処理の有無が明らかに画像に現れて目立つ場合がある。
同様に、所定速度で文字が移動するテロップの領域となる第二の映像信号の領域に対して、一様にテロップの移動速度に相当する動きベクトルを割り付けた場合も、このテロップの移動速度に相当する動きベクトルを用いた動き補償処理を施した領域と、それ以外の動きベクトル検出処理によって検出された動きベクトルを用いた動き補償処理を施した領域との境界部分では、内挿ベクトルの大きさや方向が急激に変化する可能性があり、それが画像に現れて目立つ場合がある。さらには、静止領域となる第二の映像信号の領域と、移動するテロップの領域となる第二の映像信号の領域とが重なっている場合も同じ問題が生じる。
これらを軽減するために、第二の映像信号の領域と第一の映像信号の領域との境界部分、あるいは複数の第二の映像信号の領域同士の境界部分に対しては、ローパスフィルタをかける等のフィルタ処理を行うことにより、境界が目立つのを抑制することが望ましい。例えば、各領域の境界部分の内挿画像信号に対して、ローパスフィルタをかけることにより、各領域の境界を目立たなくする手法を用いることができる。あるいは、各領域の境界部分およびその近傍の動きベクトル検出ブロックにおいて検出された動きベクトル、または各領域の境界部分およびその近傍の内挿ブロックにおいて割り付けられた内挿ベクトルに対して、ローパスフィルタをかけることで、各領域の境界付近におけるベクトルの大きさや方向を滑らかに変化させることが可能となり、そのベクトルを用いて生成された内挿画像においては境界を目立ちにくくすることができる。
さらに、上記の実施形態においては、第二の映像信号であるテロップの映像が重畳される領域の内挿画像信号を生成する方法として、テロップの領域に相当する内挿ブロックにテロップの移動速度の半分に相当するベクトルを割り付ける方法を説明した。これは、テロップの文字形状を忠実に抽出することが可能な場合には有効であるが、もしテロップの文字形状を含む帯状(矩形状)の領域情報しか得られない場合には、テロップの移動速度の半分に相当する内挿ベクトルを割り付けると、テロップの文字周辺の背景画像もテロップの移動速度に引っ張られることとなり、画像劣化が起こる。
このため、テロップの文字形状を含む帯状の領域情報しか得られない場合は、動きベクトル検出を行う際に、テロップの帯状領域に相当するベクトル検出ブロックに対しては、テロップの移動速度に相当するベクトルを、動きベクトル検出における候補ベクトルの一つとして、つまりベクトルの選択肢の一つとして追加する。こうすることで、テロップの文字に相当するベクトル検出ブロックでは、テロップの移動速度に一致するベクトルを選択しやすくなり、テロップの文字の周辺の背景に相当するベクトル検出ブロックでは背景画像の動きに応じたベクトルを選択することが可能となり、テロップの文字及びその周辺の画像劣化を防止することができる。
さらに詳細に説明すると、FRC処理部は、入力画像信号のフレームを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも1フレーム以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、前記動きベクトル検出部は、各ブロック毎に検出された動きベクトルを少なくとも1フレーム分蓄積する記憶部と、該記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有している。
前記動きベクトル演算部における所定の演算としては、例えばブロックマッチング法や勾配法が考えられる。ブロックマッチング法の場合は、前記初期変位ベクトルを基点とし、その周辺で詳細なブロックマッチングを行い、最終的な動きベクトルを求めることができる。勾配法の場合は、前記初期変位ベクトルを基点とし、勾配法の演算を行うことで、最終的な動きベクトルを求めることができる。ここで、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の1つとして前記初期変位ベクトル選択部に追加する。
また、前記初期変位ベクトル選択部は、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行う。さらに、前記動きベクトル演算部は、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向のベクトルが得られるように演算方法を変更する。
このように、第二の映像信号として番組ロゴやテロップが重畳された合成映像信号に対してFRC処理を行う場合、第二の映像信号の映像合成情報に基づいて、第一及び第二の映像信号のそれぞれに適した動き補償処理を施すことで、第二の映像信号の領域及びその周辺の画像劣化を防止し、より高品質の映像を生成することができる。
なお、上記の実施形態では、映像信号処理部16での映像信号処理として、動き補償処理を用いたFRC処理を行う場合について説明したが、I/P(インターレース/プログレッシブ)変換処理やエッジ強調処理などの種々の映像信号処理に置き換えて用いることもできる。
例えば、映像信号処理部16が動き補償型のI/P変換処理部を含み、第一の映像信号である自然映像信号に第二の映像信号であるテロップ画像信号が重畳されており、映像合成情報として、テロップの位置、領域、移動速度を示す情報が付加されている場合、第一の映像信号の領域に対しては、通常の動き検出を行い、該動き検出結果に応じた動き補償処理を施してプログレッシブ変換を行うとともに、第二の映像信号が重畳された領域に対しては、映像合成情報に含まれるテロップの速度情報に基づいた動き補償処理を施してプログレッシブ変換を行う。
このように、映像合成情報を用いて映像信号処理部16における動き補償処理を制御することで、各映像信号の領域ごとに適切な動き補償型のI/P変換処理を行うことが可能となり、I/P変換処理の誤りによる画像劣化を防止することができる。
また、例えば、映像信号処理部16がエッジ強調処理部を含み、第一の映像信号である自然映像信号に第二の映像信号であるCG画像信号が重畳されており、映像合成情報として、CG画像の位置、領域、エッジ急峻さ、画像種別(CG画像など)を示す情報が付加されている場合、第一の映像信号によって表される画像と第二の映像信号によって表される画像とはそのエッジ(輪郭)の急峻さが異なるため、第一の映像信号に対しては、通常のエッジ強調処理を行うとともに、第二の映像信号が重畳された領域に対しては、エッジの急峻さ及び/又は画像種別情報に応じてエッジ強調処理の強度を変化させる。
例えば、前記第二の映像信号が重畳された領域に対しては、前記エッジ強調処理の強度をゼロにする(エッジ強調処理を無効化する)。または、前記第二の映像信号によって表される画像のエッジが急峻である場合は、エッジ強調処理の強度を減少し、前記第二の映像信号によって表される画像のエッジが緩やかである場合は、エッジ強調処理の強度を増大させる。または、前記第二の映像信号によって表される画像種別がCG画像である場合は、エッジ強調処理の強度を減少し、前記第二の映像信号によって表される画像種別が自然映像である場合は、エッジ強調処理の強度を増大させる。
ここで、エッジ強調処理部としては、入力映像信号の高域周波数成分を強調するものを用いることができ、エッジ強調処理の強度を減少する場合、入力映像信号の高域周波数成分を強調する量を小さくする、あるいは強調する入力映像信号の周波数範囲を縮小する。一方、エッジ強調処理の強度を増大する場合は、入力映像信号の高域周波数成分を強調する量を大きくする、あるいは強調する入力映像信号の周波数範囲を拡大する。また、エッジ強調処理の強度をゼロにする(エッジ強調処理を無効化する)場合は、入力映像信号の高域周波数成分を強調する量をゼロにする、あるいは強調する入力映像信号の周波数範囲をゼロにする。
このように、映像合成情報を用いて映像信号処理部16におけるエッジ強調処理を制御することで、各映像信号の領域ごとに適切な画像の鮮鋭化処理を行うことが可能となり、鮮鋭化すべきではない映像に鮮鋭化を行って画質劣化を引き起こす等の不具合を防止することができる。
なお、上記の実施形態においては、第二の映像信号によって表される映像として番組ロゴ、テロップを例にあげて説明したが、放送局(送信装置)側で合成された子画面やPinP(ピクチャインピクチャ)の映像や、CGアニメーション映像の場合でも同様である。
また、上記の実施形態では、第二の映像信号によって表される映像として例示した番組ロゴが静止している(速度0)場合について説明したが、番組ロゴが各フレームごとに位置を変える、すなわち動く場合も考えられる。この場合は、各フレームにおける番組ロゴの位置の情報からフレーム間の移動速度を求めることができるので、この移動速度の情報を用いて、上記のテロップに対する処理と同様の処理を行うことができる。
以上のように、本発明の第1の実施形態においては、第一の映像信号に重畳された第二の映像信号に関する情報(第二の映像信号が重畳された位置・領域、移動速度などを示す映像合成情報)を、合成映像信号と共に送信し、受信側では、その映像合成情報を用いてFRC処理などの映像信号処理を適切に制御することで、第二の映像信号が重畳された部分及びその周辺における画像劣化を防止することが可能となる。
次に、本発明の第2の実施形態に係る映像送信装置および映像受信装置について、図6及び図7とともに説明するが、上述した第1の実施形態と同一部分には同一符号を付し、その説明は省略する。
図6は本実施形態に係る映像送信装置の概略構成例を示すブロック図である。映像送信装置21には、第一の映像信号、第二の映像信号、及び映像合成情報が入力される。第一の映像信号および第二の映像信号は、第1の実施形態として上述したものと同様であるが、これらは受信装置側で重畳されるべきものである。第一の映像信号は映像エンコード処理部(1)23Aでエンコードされ、第二の映像信号は映像エンコード処理部(2)23Bでエンコードされる。すなわち、送信装置側では第一の映像信号に第二の映像信号を重畳せず、個別にエンコードする。
映像合成情報は、第1の実施形態として上述したものと同様、第二の映像信号を第一の映像信号に重畳する際の位置・領域、移動速度などを示す情報であり、映像合成情報エンコード処理部4によりエンコードされる。これら3種類のデータを、多重化処理部25によって多重化し、放送データを生成する。送信部6は、この放送データを放送電波に乗せて送出する。このように、本実施形態において送信される放送データは、上述の第1の実施形態における放送データとは異なり、第一の映像信号と第二の映像信号とが分離された状態で、映像合成情報が付加されて送信される。
なお、本実施形態においては、圧縮処理を施した第一及び第二の映像データ、映像合成情報のそれぞれのデータストリームを多重化して伝送する構成としているが、第一及び第二の映像信号、合成映像信号を圧縮せずに送信するものに適用してもよい。さらに、映像データを例えばMPEG2(Moving Picture Experts Group 2)−Systemsで規定されたトランスポートストリームパケット(TSP)のペイロードで伝送し、映像合成情報を拡張ヘッダ(アダプテーション・フィールド)で伝送する、或いは、映像データから構成されるペイロードに埋め込んで伝送することも可能である。この場合、映像合成情報を付加するのは、第一の映像データ、第二の映像データのいずれであってもよい。
図7は本実施形態に係る映像受信装置の概略構成例を示すブロック図である。映像受信装置31は、映像送信装置21より送出された放送データを受信部12で受信する。受信した放送データは多重化データ分離処理部33で元の3種類のデータに分離される。これらのデータは圧縮されたデータなので、第一の映像信号は映像デコード処理部(1)34Aで、第二の映像信号は映像デコード処理部(2)34Bで、映像合成情報は映像合成情報デコード処理部15でそれぞれデコードされる。
映像信号処理部(1)36Aは、デコードされた第一の映像信号に対し、所定の映像信号処理を行う。映像信号処理部(2)36Bは、デコードされた第二の映像信号に対し、所定の映像信号処理を行う。この時、映像合成情報デコード処理部15でデコードされた映像合成情報に記述された、第二の映像信号を第一の映像信号に重畳する際の位置・領域、移動速度、エッジの急峻さ、映像種別などを示す情報を用いて映像信号処理を行う。この処理の詳細については後述する。
映像合成処理部38では、映像信号処理部(1)36Aで映像信号処理をされた第一の映像信号に、映像信号処理部(2)36Bで映像信号処理をされた第二の映像信号が重畳される。この時、映像合成情報に記述された、第二の映像信号を第一の映像信号に重畳する際の位置・領域などを示す情報に従って重畳処理を行う。こうして生成された合成映像信号が表示部17に出力される。
例えば、映像信号処理部(1)36A及び映像信号処理部(2)36Bは、入力映像信号から動きベクトル情報の検出を行い、該動きベクトル情報を用いた動き補償処理を施すことによって、60Hzから120Hzへのフレームレート変換処理を行うFRC処理部を含む。ここで、第一の映像信号に重畳すべき第二の映像信号として番組ロゴ、及びテロップの映像信号が入力されており、映像合成情報として番組ロゴの位置、領域や、テロップの位置、領域、移動速度などを示す情報が付加されている場合、第一の映像信号に対しては通常のFRC処理を行うとともに、第二の映像信号に対しては、映像合成情報に含まれる、第二の映像信号によって表される映像の移動速度情報を用いて、120Hzに相当する第二の映像信号を生成する。
このとき、番組ロゴは速度が0であるため、動き補償処理の強度をゼロにする、すなわち、動き補償処理を行わず(無効化して)、入力フレーム(前フレームまたは後フレーム)の画像信号を複製することにより、120Hz相当の第二の映像信号を生成する。また、テロップは移動速度に応じて、移動速度の半分の量を動き補償した内挿フレームを入力フレーム間に内挿することにより、120Hz相当の第二の映像信号を生成する。
但し、第二の映像信号によって表される映像が帯状の矩形領域であり、この領域内をテロップが移動するような映像である場合は、このテロップの文字の領域において動きベクトル検出を行って内挿画像信号を生成してもよい。この場合は、動きベクトル検出を行う際に、動きベクトルの候補ベクトルの一つとして、つまりベクトルの選択肢の一つとして、映像合成情報に含まれるテロップの移動速度に相当するベクトルを追加する。こうすることで、テロップの文字の領域に相当するベクトル検出ブロックはテロップの移動速度に一致するベクトルを選択しやすくなり、テロップの文字部分の画像劣化を防止することができる。
さらに詳細に説明すると、FRC処理部は、入力画像信号のフレームを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも1フレーム以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、前記動きベクトル検出部は、各ブロック毎に検出された動きベクトルを少なくとも1フレーム分蓄積する記憶部と、該記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有している。
前記動きベクトル演算部における所定の演算としては、例えばブロックマッチング法や勾配法が考えられる。ブロックマッチング法の場合は、前記初期変位ベクトルを基点とし、その周辺で詳細なブロックマッチングを行い、最終的な動きベクトルを求めることができる。勾配法の場合は、前記初期変位ベクトルを基点とし、勾配法の演算を行うことで、最終的な動きベクトルを求めることができる。ここで、前記第二の映像信号に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の1つとして前記初期変位ベクトル選択部に追加する。また、前記初期変位ベクトル選択部は、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行う。さらに、前記動きベクトル演算部は、前記第二の映像信号に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向のベクトルが得られるように演算方法を変更する。
このように、第一の映像信号と第二の映像信号とのそれぞれに適した動き補償処理を用いたFRC処理を個別に行い、FRC処理後のそれぞれの映像信号を合成することで、第二の映像信号の領域やその周辺の画像劣化を防止し、より高品質の映像を生成することができる。
なお、上記の実施形態では、映像信号処理部36A、36Bでの映像信号処理として、動き補償処理を用いたFRC処理を行う場合について説明したが、I/P(インターレース/プログレッシブ)変換処理やエッジ強調処理などの種々の映像信号処理に置き換えて用いることもできる。
例えば、映像信号処理部(1)36Aおよび映像信号処理部(2)36Bが、動き補償型のI/P変換処理部を含み、第一の映像信号である自然映像信号と、該第一の映像信号に重畳すべき第二の映像信号であるテロップ画像信号とに、映像合成情報として、テロップの位置、領域、移動速度を示す情報が付加されている場合、第一の映像信号に対しては、通常の動き検出を行い、該動き検出結果に応じた動き補償処理を施してプログレッシブ変換を行うとともに、第二の映像信号に対しては、映像合成情報に含まれるテロップの移動速度情報に基づいた動き補償処理を施してプログレッシブ変換を行う。
このように、映像合成情報を用いて映像信号処理部36A、36Bにおける動き補償処理を制御することで、各映像信号ごとに適切な動き補償型のI/P変換処理を行うことが可能となり、I/P変換処理の誤りによる画像劣化を防止することができる。
また、例えば、映像信号処理部(1)36Aおよび映像信号処理部(2)36Bが、エッジ強調処理部を含み、第一の映像信号である自然映像信号と、該第一の映像信号に重畳すべき第二の映像信号であるCG画像信号とに、映像合成情報として、CG画像の位置、領域、エッジ急峻さ、画像種別(CG画像など)情報が付加されている場合、第一の映像信号によって表される画像と第二の映像信号によって表される画像とはそのエッジ(輪郭)の急峻さが異なるため、第一の映像信号に対しては、通常のエッジ強調処理を行うとともに、第二の映像信号に対しては、エッジの急峻さ及び/又は画像種別情報に応じてエッジ強調処理の強度を変化させる。
例えば、前記第二の映像信号に対しては、前記エッジ強調処理の強度をゼロにする(エッジ強調処理を無効化する)。または、前記第二の映像信号によって表される画像のエッジが急峻である場合は、エッジ強調処理の強度を減少し、前記第二の映像信号によって表される画像のエッジが緩やかである場合は、エッジ強調処理の強度を増大させる。または、前記第二の映像信号によって表される画像の映像種別がCG画像である場合は、エッジ強調処理の強度を減少し、前記第二の映像信号によって表される画像の映像種別が自然映像である場合は、エッジ強調処理の強度を増大させる。
このように、映像合成情報を用いて映像信号処理部(2)36Bにおけるエッジ強調処理を制御することで、各映像信号ごとに適切な画像の鮮鋭化処理を行うことが可能となり、鮮鋭化すべきではない映像に鮮鋭化を行って画質劣化を引き起こす等の不具合を防止することができる。
なお、上記の実施形態においては、第二の映像信号によって表される映像として番組ロゴ、テロップを例にあげて説明したが、受信装置側で合成すべき子画面やPinP(ピクチャインピクチャ)の映像や、CGアニメーション映像の場合でも同様である。
また、上記の実施形態では、第二の映像信号によって表される映像として例示した番組ロゴが静止している(速度0)場合について説明したが、番組ロゴが各フレームごとに位置を変える、すなわち動く場合も考えられる。この場合は、各フレームにおける番組ロゴの位置の情報からフレーム間の移動速度を求めることができるので、この移動速度の情報を用いて、上記のテロップに対する処理と同様の処理を行うことができる。
以上のように、本発明の第2の実施形態においては、送信側では第一の映像信号に第二の映像信号を重畳せず、各々の映像信号を分離した状態で受信装置側へ伝送する。その際、第一の映像信号に重畳すべき第二の映像信号に関する情報(第二の映像信号が重畳されるべき位置・領域、移動速度などを示す映像合成情報)を、各映像信号と共に送信する。受信側では、その映像合成情報を用いて第一の映像信号と第二の映像信号に対するFRC処理などの映像信号処理を適切に制御するとともに、それぞれの重畳処理を行い、最終的な出力画像を生成する。これによって、第二の映像信号が重畳された部分及びその周辺における画像劣化を防止することができる。
なお、本発明の第2の実施形態例においては、第一の映像信号と第二の映像信号とを個別に映像信号処理を行った後に合成する構成としたが、映像信号処理の前段で第一の映像信号と第二の映像信号とを合成した後に映像信号処理を行う構成としてもよい。こうすることで、映像受信装置の構成を簡素化することができる。このような構成とした場合は、前記第1の実施形態の映像受信装置と同様に、第一の映像信号に第二の映像信号が重畳された領域に対しては、映像合成情報を用いて、その他の領域とは異なる映像信号処理を行うことで、第二の映像信号の領域及びその周辺の画像劣化を防止し、より高品質の映像を生成することができる。
また、本発明の第2の実施形態において、映像合成処理部38にて第二の映像信号を第一の映像信号に重畳するか、第二の映像信号を第一の映像信号に重畳せずに、第一の映像信号のみを出力するかは、ユーザが選択可能に構成されていてもよい。これによって、視聴者は第二の映像信号によって表される例えば番組ロゴやテロップなどの画像が重畳されていない映像を視聴することが可能となる。
さらに、前記第1及び第2の実施形態においては、本発明の映像送信装置及び映像受信装置を、電波を用いたテレビジョン放送システムに適用した場合について説明したが、有線による放送や、ネットワークによるストリーミング放送でも、同様のシステムを適用することが可能である。
また、前記第1及び第2の実施形態においては、テレビジョン放送システムにおける映像送信装置及び映像受信装置について説明を行ったが、本発明は単にそれらに適用されるに止まらない。図4あるいは図6に示した映像送信装置の構成例は、例えばハードディスクレコーダーやDVDレコーダーのようないわゆる映像記録装置の記録部分にも適用することが可能である。この場合、図4あるいは図6の多重化処理部5または多重化処理部25の出力データを、何らかの記録媒体に記録する構成とすればよい。
同様に、図5あるいは図7に示した映像受信装置の構成例も、例えばハードディスクレコーダーやDVDレコーダーのようないわゆる映像再生装置の再生部分に適用することが可能である。この場合、図5あるいは図7の受信部12の代わりに、記録媒体からデータを読み取る読み取り装置を付加し、記録媒体から読み取った情報を多重化データ分離処理部13または多重化データ分離処理部33に出力する構成とすればよい。
さらに、前記第1及び第2の実施形態においては、映像受信装置11、31によって生成された映像を、外部の表示部17に出力する構成について説明したが、前述した構成の映像受信装置11、31と表示部17とを一体的に構成した映像表示装置に適用してもよい。
そしてまた、前記第1及び第2の実施形態においては、番組ロゴとテロップとを表す2つの第二の映像信号を第一の映像信号に重畳する場合について説明した。このように、第二の映像信号が複数重畳されても良く、この場合は、複数の第二の映像信号のそれぞれに対する映像合成情報を付加し、複数の第二の映像信号のそれぞれに対して、それぞれ異なった映像信号処理を行うようにすればよい。
さらに、前記第1乃至第2の実施形態においては、第二の映像信号に関する映像合成情報を用いて、第二の映像信号に対する映像信号処理を制御する場合について説明したが、それに加えてあるいはその代わりに、第一の映像信号に関する映像合成情報を付加し、それを用いて第一の映像信号に対する映像信号処理を制御する構成としてもよいことは明らかである。
以上の説明においては、本発明の映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置に関する実施形態の一例について説明したが、これらの説明から、本映像送信方法、映像受信方法、映像記録方法、映像再生方法、映像表示方法をコンピュータによりプログラムとして実行する処理プログラム、及び、該処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体についても容易に理解することができるであろう。
【0008】
とする。
課題を解決するための手段
[0032]
本願の第1の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を送信するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して送信する映像送信装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の移動速度を示す情報を含むことを特徴とする。
[0030]
本願の第2の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を送信するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して送信する映像送信装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。
[0031]
本願の第3の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を送信するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して送信する映像送信装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする。
[0032]
本願の第4の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号と、前記第一の映像信号に重畳された前記第二の映像信号に関する情報とを受信する映像受信装置であって、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行う映像信号処理手段を備えたことを特徴とする。
[0033]
本願の第5の発明は、前記映像信号処理手段が、動き補償処理を用いたフレームレート変換部を有し、該フレームレート変換部が、前記第二の映像信号が重畳された領域に対し、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる動き補償処理を行うことを特徴とする。
[0034]
本願の第6の発明は、前記映像信号処理手段が、動き補償処理を用いたインターレース/プログレッシブ(I/P)変換部を有し、該インターレース/プログレッシブ(I/P)変換部が、前記第二の映像信号が重畳された領域に対し、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる動き補償処理を行うことを特徴とする。
[0035]
本願の第7の発明は、前記第二の映像信号に関する情報が、前記第二の映像信号によって表される映像の移動速度が0であることを示す場合、前記第二の映像信号が重畳された領域に対する動き補償処理の強度をゼロにすることを特徴とする。
[0036]
本願の第8の発明は、前記第二の映像信号が重畳された領域とそれ以外の領域と
【0009】
の境界部に対してフィルタ処理を施すことを特徴とする。
[0037]
本願の第9の発明は、前記映像信号処理手段が、入力画像信号のフレームあるいはフィールドを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも1フレームあるいは1フィールド以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、前記動きベクトル検出部が、各ブロック毎に検出された動きベクトルを少なくとも1フレームあるいは1フィールド分蓄積する記憶部と、前記記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有することを特徴とする。
[0038]
本願の第10の発明は、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の1つとして前記初期変位ベクトル選択部に追加することを特徴とする。
[0039]
本願の第11の発明は、前記初期変位ベクトル選択部が、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行うことを特徴とする。
[0040]
本願の第12の発明は、前記動きベクトル演算部が、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向のベクトルが得られるように演算方法を変更することを特徴とする。
[0041]
本願の第13の発明は、前記映像信号処理手段が、エッジ強調処理を行うエッジ強調部を有し、該エッジ強調部は、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なるエッジ強調処理を行うことを特徴とする。
[0042]
本願の第14の発明は、前記第二の映像信号が重畳された領域に対するエッジ強調
【0010】
処理の強度を、その他の領域に対するエッジ強調処理の強度から変化させることを特徴とする。
[0043]
本願の第15の発明は、前記第二の映像信号が重畳された領域に対しては、前記エッジ強調処理の強度をゼロにすることを特徴とする。
[0044]
本願の第16の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。
[0045]
本願の第17の発明は、前記第二の映像信号によって表される映像のエッジが急峻である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像のエッジが緩やかである場合は、前記エッジ強調処理の強度を増大させることを特徴とする。
[0046]
本願の第18の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする。
[0047]
本願の第19の発明は、前記第二の映像信号によって表される映像の種別がコンピュータグラフィックス(CG)映像である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像の種別が自然映像である場合は、前記エッジ強調処理の強度を増大させることを特徴とする。
[0048]
本願の第20の発明は、前記第4乃至19の発明のいずれかに記載の映像受信装置を備えた映像表示装置を特徴とする。
[0049]
本願の第21の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを送信するとともに、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び/又は第二の映像信号に付加して送信する映像送信装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の移動速度及び移動方向を示す情報を含むことを特徴とする。
[0050]
本願の第22の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを送信するとともに、前記第一の映像信号に重畳すべき前記第二の映像
【0011】
信号に関する情報を、前記第一の映像信号及び/又は第二の映像信号に付加して送信する映像送信装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。
[0051]
本願の第23の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを送信するとともに、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び/又は第二の映像信号に付加して送信する映像送信装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号が自然映像信号か人工映像信号かの種別を示す情報を含むことを特徴とする。
[0052]
本願の第24の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報とを受信する映像受信装置であって、前記第一の映像信号に対して、所定の映像信号処理を行う第一の映像信号処理手段と、前記第二の映像信号に対して、前記第二の映像信号に関する情報を用いて、所定の映像信号処理を行う第二の映像信号処理手段と、前記第一の映像信号処理手段により映像信号処理が施された第一の映像信号と、前記第二の映像信号処理手段により映像信号処理が施された第二の映像信号とを、前記第二の映像信号に関する情報を用いて重畳する映像合成処理手段とを備えたことを特徴とする。
[0053]
本願の第25の発明は、前記第二の映像信号処理手段が、動き補償処理を用いたフレームレート変換部を有し、該フレームレート変換部は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対する動き補償処理を制御することを特徴とする。
[0054]
本願の第26の発明は、前記第二の映像信号処理手段が、動き補償処理を用いたインターレース/プログレッシブ(I/P)変換部を有し、該インターレース/プログレッシブ(I/P)変換部が、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対する動き補償処理を制御することを特徴とする。
[0055]
本願の第27の発明は、前記第二の映像信号処理手段が、入力画像信号のフレームあるいはフィールドを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも1フレームあるいは1フィールド以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、前記動きベクトル検出部が、各ブロック毎に検出された動きベクトルを少なくとも1フレームあるいは1フィールド分蓄積する記憶部と、前記記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有することを特徴とする。
[0056]
本願の第28の発明は、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の1つとして前記初期変位ベクトル選択部に追加することを特徴とする。
[0057]
本願の第29の発明は、前記初期変位ベクトル選択部が、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行うことを特徴とする。
[0058]
本願の第30の発明は、前記動きベクトル演算部が、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向の
【0012】
ベクトルが得られるように演算方法を変更することを特徴とする。
[0059]
本願の第31の発明は、前記第二の映像信号処理手段が、エッジ強調処理を行うエッジ強調部を有し、該エッジ強調部は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対するエッジ強調処理を行うことを特徴とする。
[0060]
本願の第32の発明は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対するエッジ強調処理の強度を制御することを特徴とする。
[0061]
本願の第33の発明は、前記第二の映像信号に対するエッジ強調処理の強度をゼロにすることを特徴とする。
[0062]
本願の第34の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。
[0063]
本願の第35の発明は、前記第二の映像信号によって表される映像のエッジが急峻である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像のエッジが緩やかである場合は、前記エッジ強調処理の強度を増大させることを特徴とする。
[0064]
本願の第36の発明は、前記第二の映像信号に関する情報が、前記第一の映像信
【0013】
号に重畳すべき前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする。
[0065]
本願の第37の発明は、前記第二の映像信号によって表される映像の種別がコンピュータグラフィックス(CG)映像である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像の種別が自然映像である場合は、前記エッジ強調処理の強度を増大させることを特徴とする。
[0066]
本願の第38の発明は、前記第24乃至37の発明のいずれかに記載の映像受信装置を備えた映像表示装置を特徴とする。
[0067]
本願の第39の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を情報媒体に記録するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して記録する映像記録装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の移動速度を示す情報を含むことを特徴とする。
[0068]
本願の第40の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を情報媒体に記録するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して記録する映像記録装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。
[0069]
本願の第41の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を情報媒体に記録するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して記録する映像記録装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする。
[0070]
本願の第42の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号と、前記第一の映像信号に重畳された前記第二の映像信号に関する情報とを情報媒体から再生する映像再生装置であって、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行う映像信号処理手段を備えたことを特徴とする。
[0071]
本願の第43の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを情報媒体に記録するとともに、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び/又は第二の映像信号に付加して記録する映像記録装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の移動速度及び移動方向を示す情報を含むことを特徴とする。
[0072]
本願の第44の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを情報媒体に記録するとともに、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び/又は第二の映像信号に付加して記録する映像記録装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。
[0073]
本願の第45の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを情報媒体に記録するとともに、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び/又は第二の映像信号に付加して記録する映像記録装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号が自然映像信号か人工映
【0014】
像信号かの種別を示す情報を含むことを特徴とする。
[0074]
本願の第46の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報とを情報媒体から再生する映像再生装置であって、前記第一の映像信号に対し、所定の映像信号処理を行う第一の映像信号処理手段と、前記第二の映像信号に対し、前記第二の映像信号に関する情報を用いて、所定の映像信号処理を行う第二の映像信号処理手段と、前記第一の映像信号処理手段により映像信号処理が施された第一の映像信号と、前記第二の映像信号処理手段により映像信号処理が施された第二の映像信号とを、前記第二の映像信号に関する情報を用いて重畳する映像合成処理手段とを備えたことを特徴とする。
[0075]
[0076]
発明の効果
[0077]
本発明によれば、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を受信あるいは再生する場合、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行うことで、映像信号処理による第二の映像信号の領域及びその周辺の画像の劣化を防止し、より高品質の映像を生成することができる。
[0078]
また、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前

Claims (48)

  1. 第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を送信する映像送信装置であって、
    前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して送信することを特徴とする映像送信装置。
  2. 前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号の位置を示す情報を含むことを特徴とする請求項1に記載の映像送信装置。
  3. 前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号の領域を示す情報を含むことを特徴とする請求項1または2に記載の映像送信装置。
  4. 前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の移動速度を示す情報を含むことを特徴とする請求項1乃至3のいずれかに記載の映像送信装置。
  5. 前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする請求項1乃至4のいずれかに記載の映像送信装置。
  6. 前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする請求項1乃至5のいずれかに記載の映像送信装置。
  7. 第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号と、前記第一の映像信号に重畳された前記第二の映像信号に関する情報とを受信する映像受信装置であって、
    前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行う映像信号処理手段を備えたことを特徴とする映像受信装置。
  8. 前記映像信号処理手段は、動き補償処理を用いたフレームレート変換部を有し、該フレームレート変換部は、前記第二の映像信号が重畳された領域に対し、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる動き補償処理を行うことを特徴とする請求項7に記載の映像受信装置。
  9. 前記映像信号処理手段は、動き補償処理を用いたインターレース/プログレッシブ変換部を有し、該インターレース/プログレッシブ変換部は、前記第二の映像信号が重畳された領域に対し、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる動き補償処理を行うことを特徴とする請求項7に記載の映像受信装置。
  10. 前記第二の映像信号に関する情報が、前記第二の映像信号によって表される映像の移動速度が0であることを示す場合、前記第二の映像信号が重畳された領域に対する動き補償処理の強度をゼロにすることを特徴とする請求項8または9に記載の映像受信装置。
  11. 前記第二の映像信号が重畳された領域とそれ以外の領域との境界部に対してフィルタ処理を施すことを特徴とする請求項10に記載の映像受信装置。
  12. 前記映像信号処理手段は、入力画像信号のフレームあるいはフィールドを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも1フレームあるいは1フィールド以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、
    前記動きベクトル検出部は、各ブロック毎に検出された動きベクトルを少なくとも1フレームあるいは1フィールド分蓄積する記憶部と、
    前記記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、
    前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有することを特徴とする請求項8乃至11のいずれかに記載の映像受信装置。
  13. 前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の1つとして前記初期変位ベクトル選択部に追加することを特徴とする請求項12に記載の映像受信装置。
  14. 前記初期変位ベクトル選択部は、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行うことを特徴とする請求項13に記載の映像受信装置。
  15. 前記動きベクトル演算部は、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向のベクトルが得られるように演算方法を変更することを特徴とする請求項12に記載の映像受信装置。
  16. 前記映像信号処理手段は、エッジ強調処理を行うエッジ強調部を有し、該エッジ強調部は、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なるエッジ強調処理を行うことを特徴とする請求項7に記載の映像受信装置。
  17. 前記第二の映像信号が重畳された領域に対するエッジ強調処理の強度を、その他の領域に対するエッジ強調処理の強度から変化させることを特徴とする請求項16に記載の映像受信装置。
  18. 前記第二の映像信号が重畳された領域に対しては、前記エッジ強調処理の強度をゼロにすることを特徴とする請求項17に記載の映像受信装置。
  19. 前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする請求項17に記載の映像受信装置。
  20. 前記第二の映像信号によって表される映像のエッジが急峻である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像のエッジが緩やかである場合は、前記エッジ強調処理の強度を増大させることを特徴とする請求項19に記載の映像受信装置。
  21. 前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする請求項17に記載の映像受信装置。
  22. 前記第二の映像信号によって表される映像の種別がコンピュータグラフィックス映像である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像の種別が自然映像である場合は、前記エッジ強調処理の強度を増大させることを特徴とする請求項21に記載の映像受信装置。
  23. 請求項7乃至22のいずれかに記載の映像受信装置を備えたことを特徴とする映像表示装置。
  24. 第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを送信する映像送信装置であって、
    前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び/又は第二の映像信号に付加して送信することを特徴とする映像送信装置。
  25. 前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号の位置を示す情報を含むことを特徴とする請求項24に記載の映像送信装置。
  26. 前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号の領域を示す情報を含むことを特徴とする請求項24または25に記載の映像送信装置。
  27. 前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の移動速度を示す情報を含むことを特徴とする請求項24乃至26のいずれかに記載の映像送信装置。
  28. 前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする請求項24乃至27のいずれかに記載の映像送信装置。
  29. 前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする請求項24乃至28のいずれかに記載の映像送信装置。
  30. 第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報とを受信する映像受信装置であって、
    前記第一の映像信号に対して、所定の映像信号処理を行う第一の映像信号処理手段と、
    前記第二の映像信号に対して、前記第二の映像信号に関する情報を用いて、所定の映像信号処理を行う第二の映像信号処理手段と、
    前記第一の映像信号処理手段により映像信号処理が施された第一の映像信号と、前記第二の映像信号処理手段により映像信号処理が施された第二の映像信号とを、前記第二の映像信号に関する情報を用いて重畳する映像合成処理手段とを備えたことを特徴とする映像受信装置。
  31. 前記第二の映像信号処理手段は、動き補償処理を用いたフレームレート変換部を有し、該フレームレート変換部は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対する動き補償処理を制御することを特徴とする請求項30に記載の映像受信装置。
  32. 前記第二の映像信号処理手段は、動き補償処理を用いた該インターレース/プログレッシブ変換部を有し、該インターレース/プログレッシブ変換部は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対する動き補償処理を制御することを特徴とする請求項30に記載の映像受信装置。
  33. 前記第二の映像信号処理手段は、入力画像信号のフレームあるいはフィールドを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも1フレームあるいは1フィールド以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、
    前記動きベクトル検出部は、各ブロック毎に検出された動きベクトルを少なくとも1フレームあるいは1フィールド分蓄積する記憶部と、
    前記記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、
    前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有することを特徴とする請求項31または32に記載の映像受信装置。
  34. 前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の1つとして前記初期変位ベクトル選択部に追加することを特徴とする請求項33に記載の映像受信装置。
  35. 前記初期変位ベクトル選択部は、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行うことを特徴とする請求項34に記載の映像受信装置。
  36. 前記動きベクトル演算部は、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向のベクトルが得られるように演算方法を変更することを特徴とする請求項33に記載の映像受信装置。
  37. 前記第二の映像信号処理手段は、エッジ強調処理を行うエッジ強調部を有し、該エッジ強調部は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対するエッジ強調処理を行うことを特徴とする請求項30に記載の映像受信装置。
  38. 前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対するエッジ強調処理の強度を制御することを特徴とする請求項37に記載の映像受信装置。
  39. 前記第二の映像信号に対するエッジ強調処理の強度をゼロにすることを特徴とする請求項38に記載の映像受信装置。
  40. 前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする請求項38に記載の映像受信装置。
  41. 前記第二の映像信号によって表される映像のエッジが急峻である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像のエッジが緩やかである場合は、前記エッジ強調処理の強度を増大させることを特徴とする請求項40に記載の映像受信装置。
  42. 前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする請求項41に記載の映像受信装置。
  43. 前記第二の映像信号によって表される映像の種別がコンピュータグラフィックス映像である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像の種別が自然映像である場合は、前記エッジ強調処理の強度を増大させることを特徴とする請求項42に記載の映像受信装置。
  44. 請求項30乃至43のいずれかに記載の映像受信装置を備えたことを特徴とする映像表示装置。
  45. 第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を情報媒体に記録する映像記録装置であって、
    前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して記録することを特徴とする映像記録装置。
  46. 第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号と、前記第一の映像信号に重畳された前記第二の映像信号に関する情報とを情報媒体から再生する映像再生装置であって、
    前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行う映像信号処理手段を備えたことを特徴とする映像再生装置。
  47. 第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを情報媒体に記録する映像記録装置であって、
    前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び/又は第二の映像信号に付加して記録することを特徴とする映像記録装置。
  48. 第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報とを情報媒体から再生する映像再生装置であって、
    前記第一の映像信号に対し、所定の映像信号処理を行う第一の映像信号処理手段と、
    前記第二の映像信号に対し、前記第二の映像信号に関する情報を用いて、所定の映像信号処理を行う第二の映像信号処理手段と、
    前記第一の映像信号処理手段により映像信号処理が施された第一の映像信号と、前記第二の映像信号処理手段により映像信号処理が施された第二の映像信号とを、前記第二の映像信号に関する情報を用いて重畳する映像合成処理手段とを備えたことを特徴とする映像再生装置。
JP2009509106A 2007-03-29 2008-03-25 映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置 Expired - Fee Related JP5075195B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009509106A JP5075195B2 (ja) 2007-03-29 2008-03-25 映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2007087163 2007-03-29
JP2007087163 2007-03-29
JP2009509106A JP5075195B2 (ja) 2007-03-29 2008-03-25 映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置
PCT/JP2008/055498 WO2008123217A1 (ja) 2007-03-29 2008-03-25 映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置

Publications (2)

Publication Number Publication Date
JPWO2008123217A1 true JPWO2008123217A1 (ja) 2010-07-15
JP5075195B2 JP5075195B2 (ja) 2012-11-14

Family

ID=39830712

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009509106A Expired - Fee Related JP5075195B2 (ja) 2007-03-29 2008-03-25 映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置

Country Status (6)

Country Link
US (1) US20100020233A1 (ja)
EP (1) EP2131583A1 (ja)
JP (1) JP5075195B2 (ja)
CN (1) CN101652994A (ja)
BR (1) BRPI0808679A2 (ja)
WO (1) WO2008123217A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4937961B2 (ja) * 2008-04-28 2012-05-23 パナソニック株式会社 映像表示装置、及び映像出力装置
CN101764950B (zh) * 2008-11-10 2013-08-14 新奥特(北京)视频技术有限公司 一种基于区域划分的节目下字幕的冲突检测方法
JP4886904B2 (ja) * 2010-03-31 2012-02-29 シャープ株式会社 液晶表示装置及びテレビ受信装置
SG10201506682SA (en) * 2010-09-30 2015-10-29 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
JP6030072B2 (ja) * 2011-01-28 2016-11-24 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 動くオブジェクトの動きベクトルに基づく比較
CN102883109B (zh) * 2011-07-12 2016-10-05 锋厚科技股份有限公司 影像信号发送装置、接收装置、传输系统及其方法
JP2013074384A (ja) * 2011-09-27 2013-04-22 Jvc Kenwood Corp 画像処理装置及び画像処理方法
CN102595167B (zh) * 2012-03-07 2014-06-04 中国科学院自动化研究所 2d/3d视频转换中的深度归一化方法及装置
JP5973766B2 (ja) * 2012-03-30 2016-08-23 キヤノン株式会社 画像処理装置
JP5891913B2 (ja) * 2012-04-05 2016-03-23 株式会社Jvcケンウッド 映像信号処理装置及び方法
WO2014014238A1 (en) 2012-07-17 2014-01-23 Samsung Electronics Co., Ltd. System and method for providing image
CN103533287B (zh) * 2013-10-15 2016-12-07 广东威创视讯科技股份有限公司 一种视频处理方法及装置
US9807336B2 (en) * 2014-11-12 2017-10-31 Mediatek Inc. Dynamic adjustment of video frame sampling rate
US10277844B2 (en) * 2016-04-20 2019-04-30 Intel Corporation Processing images based on generated motion data
TWI623917B (zh) * 2017-04-14 2018-05-11 神達電腦股份有限公司 行車記錄器及其執行特定功能的方法
KR101967819B1 (ko) * 2017-11-02 2019-04-10 주식회사 코난테크놀로지 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법
DE102018133717A1 (de) * 2018-12-31 2020-07-02 Schölly Fiberoptic GmbH Videobearbeitungsanordnung und Verfahren zur Videobearbeitung
CN111405199B (zh) * 2020-03-27 2022-11-01 维沃移动通信(杭州)有限公司 一种图像拍摄方法和电子设备
CN111510644B (zh) * 2020-04-24 2022-06-07 Oppo广东移动通信有限公司 一种视频处理方法、装置、移动终端及存储介质
US20230088882A1 (en) * 2021-09-22 2023-03-23 Samsung Electronics Co., Ltd. Judder detection for dynamic frame rate conversion

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3295437B2 (ja) 1991-03-29 2002-06-24 日本放送協会 表示装置
JP3927606B2 (ja) * 1994-07-29 2007-06-13 キヤノン株式会社 画像通信装置及びシステム、並びに画像受信装置及び受信画像データの処理方法
US6313863B1 (en) * 1994-07-29 2001-11-06 Canon Kabushiki Kaisha Image communication apparatus and system
US5721720A (en) * 1994-12-28 1998-02-24 Kabushiki Kaisha Toshiba Optical recording medium recording pixel data as a compressed unit data block
JP2829266B2 (ja) * 1994-12-28 1998-11-25 株式会社東芝 画像情報のエンコード/デコードシステム
JP2835319B2 (ja) * 1996-04-08 1998-12-14 株式会社東芝 光ディスク
US6480238B1 (en) * 1996-10-16 2002-11-12 Thomson Licensing S.A. Apparatus and method for generating on-screen-display messages using field doubling
JP3555457B2 (ja) * 1998-07-22 2004-08-18 日本ビクター株式会社 テレビジョン信号の符号化装置および復号化装置
JP3789048B2 (ja) * 1999-02-22 2006-06-21 株式会社東芝 動画像再符号化装置
JP2002015327A (ja) 2000-06-28 2002-01-18 Sony Corp 画像種別判別装置およびこれを用いた画像処理装置ならびに画像種別判別方法。
KR100406985B1 (ko) * 2001-08-11 2003-11-28 삼성전자주식회사 자동선국 중에 선국된 채널을 표시하는 텔레비젼, 및 그의자동선국화면 표시방법
JP2004032607A (ja) * 2002-06-28 2004-01-29 Sanyo Electric Co Ltd ディジタル映像再生装置
EP1404130A1 (en) * 2002-09-24 2004-03-31 Matsushita Electric Industrial Co., Ltd. Method and apparatus for processing a video signal mixed with an additional image signal
US6886633B2 (en) * 2002-10-04 2005-05-03 Security Dbs Nv/Sa Bore hole underreamer

Also Published As

Publication number Publication date
US20100020233A1 (en) 2010-01-28
CN101652994A (zh) 2010-02-17
WO2008123217A1 (ja) 2008-10-16
EP2131583A1 (en) 2009-12-09
BRPI0808679A2 (pt) 2014-09-02
JP5075195B2 (ja) 2012-11-14

Similar Documents

Publication Publication Date Title
JP5075195B2 (ja) 映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置
JP4181592B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP5260769B2 (ja) 画像処理装置、画像表示装置、画像処理方法、及び、画像表示方法
JP4181593B2 (ja) 画像表示装置及び方法
JP4722936B2 (ja) 画像表示装置及び方法
JP4303748B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4369948B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2008090176A (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4504999B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4722672B2 (ja) 画像表示装置
JP4369971B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4181610B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4181611B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4369967B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP2008079287A (ja) 画像表示装置及び方法
JP2008092554A (ja) 画像表示装置及び方法、画像処理装置及び方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120731

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120824

R150 Certificate of patent or registration of utility model

Ref document number: 5075195

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees