JP4869302B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP4869302B2
JP4869302B2 JP2008214303A JP2008214303A JP4869302B2 JP 4869302 B2 JP4869302 B2 JP 4869302B2 JP 2008214303 A JP2008214303 A JP 2008214303A JP 2008214303 A JP2008214303 A JP 2008214303A JP 4869302 B2 JP4869302 B2 JP 4869302B2
Authority
JP
Japan
Prior art keywords
resolution
video signal
super
signal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008214303A
Other languages
English (en)
Other versions
JP2010103584A (ja
Inventor
忠良 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008214303A priority Critical patent/JP4869302B2/ja
Priority to US12/475,254 priority patent/US20100045857A1/en
Publication of JP2010103584A publication Critical patent/JP2010103584A/ja
Application granted granted Critical
Publication of JP4869302B2 publication Critical patent/JP4869302B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/10—Display system comprising arrangements, such as a coprocessor, specific for motion video images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、画像処理装置及び画像処理方法に関する。
従来、テレビジョン等の画像表示装置では、ユーザインタフェース画面やテキスト等を表示するためのグラフィックス信号を映像信号に重畳することで、グラフィックス信号の画像を映像信号の画面上に重畳表示する技術が用いられている。例えば、特許文献１には、外部グラフィック発生装置で発生させたグラフィクス画像と、映像信号とを混合し、混合画像の信号を表示部に出力する画像表示装置が開示されている。
一方、高解像度のテレビやディスプレイの普及に伴い、映像信号の高解像度化が進んでいる。特に、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元することで、映像信号の鮮鋭度を維持しつつ高解像度化を実現する超解像度変換（超解像度変換処理）と呼ばれる画像処理技術が登場してきている（例えば、特許文献２、特許文献３等参照）。
特開２００５−９９５１６号公報 特開２００７−３３６２３９号公報 特開２００７−３１０８３７号公報
しかしながら、グラフィックス信号が重畳された映像信号に超解像度変換処理を施すと、この超解像度変換による高解像度化時にグラフィックス信号が表す画像に歪みが生じる可能性があり、映像の品質（画質）が低下するという問題がある。なお、特許文献１に開示された技術では、映像信号にグラフィックス信号を重畳することはできるものの、上述した超解像度変換処理が施されることは想定されておらず、上記問題を解決することはできない。
本発明は、上記に鑑みてなされたものであって、超解像度変換により高解像化された映像信号に対するグラフィックス信号の重畳を、映像の品質を維持しつつ行うことが可能な画像処理装置及び画像処理方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、外部から入力される映像信号の解像度を、予め定められた第１解像度に変換するスケーリング処理手段と、前記第１解像度の映像信号が入力され、当該第１解像度の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理を行う超解像度変換手段と、所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成手段と、前記超解像度変換手段の後段に設けられ、当該超解像度変換手段により復元された第２解像度の映像信号に、前記グラフィックス信号を重畳するブレンド処理手段と、を備える。
また、本発明は、外部から入力される映像信号の解像度を、予め定められた第１解像度に変換するスケーリング処理手段と、前記第１解像度の映像信号を、超解像度技術を用いて第２解像度の映像信号に高解像度化する超解像度変換処理を行う超解像度変換手段と、所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成手段と、前記超解像度変換手段の後段に設けられ、当該超解像度変換手段により復元された第２解像度の映像信号に、前記グラフィックス信号を重畳するブレンド処理手段と、を備える。
また、本発明は、スケーリング処理手段が、外部から入力される映像信号の解像度を、予め定められた第１解像度に変換するスケーリング処理工程と、超解像度変換手段が、前記第１解像度の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理を行う超解像度変換工程と、グラフィックス信号生成手段が、所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成工程と、前記超解像度変換手段の後段に設けられたブレンド処理手段が、前記超解像度変換手段により復元された第２解像度の映像信号に、前記グラフィックス信号を重畳するブレンド処理工程と、を含む。
本発明によれば、超解像度変換手段の後段にブレンド処理手段を設けたことで、当該超解像度変換手段で復元された第２解像度の映像信号に、グラフィックス信号生成手段で生成されたグラフィックス信号を重畳することができるため、超解像度変換により高解像化された映像信号に対するグラフィックス信号の重畳を、映像の品質を維持しつつ行うことが可能となる。
以下、添付図面を参照して、本発明にかかる画像処理装置及び画像処理方法の最良な実施形態を詳細に説明する。なお、本発明は以下の実施形態に限定されないものとする。
［第１の実施形態］
図１は、本実施形態に係る画像表示装置１００のシステムを概略的に示したブロック図である。同図に示したように、画像表示装置１００は、映像信号入力部１１と、メイン処理部１２と、画像処理装置に対応する高解像度化部１３と、動画改善処理部１４と、表示処理部１５と、表示部１６と、音声処理部１７と、音声出力部１８とを備えている。
映像信号入力部１１は、表示の対象となる映像信号が入力される部位であって、デジタル放送受信部１１１と、ＩＰＴＶ信号処理部１１２と、インターネット等のＩＰ網を介して送信されるデータを受信するインターネット信号処理部１１３と、アナログ信号の入力を受け付ける外部入力部１１４とを備えている。ここで「映像信号」とは、静止画像や動画像からなる映像信号の他、音声信号をも含む概念である。
デジタル放送受信部１１１は、ＢＳ、ＣＳ、地上波等のデジタル放送を受信するためのデジタルアンテナ１１１１と、デジタル放送を選局するためのデジタルチューナ１１１２と、デジタル放送を復調しデジタルの映像信号としてメイン処理部１２に出力するデジタル信号復調部１１１３とを有している。
ＩＰＴＶ信号処理部１１２は、専用のＩＰ網を介して送信されるＩＰ放送を受信し、デジタルの映像信号としてメイン処理部１２に出力する。
インターネット信号処理部１１３は、インターネット等のＩＰ網を介して送信されるデータ（静止画像や動画像）を受信し、デジタルの映像信号としてメイン処理部１２に出力する。
外部入力部１１４は、アナログ放送を受信するためのアナログアンテナ１１４１と、アナログ放送を選局するためのアナログチューナ１１４２と、アナログ信号にＡ／Ｄ変換等の信号処理を施し、デジタルの映像信号としてメイン処理部１２に出力する外部入力信号処理部１１４３とを有している。なお、外部入力信号処理部１１４３は、ゲーム機やＰＣ（Personal Computer）、ＤＶＤプレーヤ等の外部機器と接続するための端子を有し（図示せず）、当該入力端子を介して外部機器から入力されるアナログ信号に対しても信号処理を施すものとする。
メイン処理部１２は、映像信号入力部１１から入力される映像信号を、映像信号と音声信号とに分離し、この映像信号に所定の信号処理を施した後、高解像度化部１３に出力する。ここで、メイン処理部１２が施す信号処理としては、入力された映像信号のフォーマットを所定のフォーマット（例えば、ＭＰＥＧ等）に変換するフォーマット変換処理や、入力された映像信号の解像度を所定の解像度（例えば、１２８０×７２０等）に変換するスケーリング処理等が挙げられる。
図２は、高解像度化部１３の詳細構成を示したブロック図である。同図に示したように、高解像度化部１３は、前処理部１３１と、超解像度変換処理部１３２と、グラフィックス信号生成部１３３と、ブレンド処理部１３４と、後処理部１３５とを備えている。
前処理部１３１は、メイン処理部１２から入力された映像信号に対し、ＩＰ（インターレース・プログレッシブ）変換処理や、映像信号に含まれたノイズを除去するＮＲ（ノイズリダクション）処理等の前処理を施し、超解像度変換処理部１３２に出力する。
ここで、ＩＰ変換処理としては、例えば、映像信号に含まれた画像の動きを検出することで当該映像信号が静止画像か動画像かを判別し、静止画像と判別したときには静止画像用の補間処理を行い、動画像と判定したときには動画用の補間処理を行うことが挙げられる。また、ノイズリダクション処理としては、画像の輪郭補正や、画像ボケやギラツキ感の低減、過度なイコライジング（高域強調）を抑える補正、水平方向にカメラが移動する際のブレ改善等の処理が挙げられる。
超解像度変換処理部１３２は、前処理部１３１からの映像信号に対して、当該映像信号を高解像度化するための画像処理（以下、超解像度変換処理という）を施し、後段のブレンド処理部１３４に出力する。
ここで、超解像度変換処理とは、第１解像度である低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、第２解像度である高解像度の映像信号を復元する画像処理を意味する。「本来の画素値」とは、例えば、低解像度（第１解像度）の映像信号を得たときと同じ被写体を、高解像度（第２解像度）の映像信号の画素数を持つカメラで撮像したときに得られる映像信号の各画素が持つ値を指す。また、「推定して画素を増やす」とは、画像の特徴を捕らえて、相関性があるという画像の特徴を利用して周辺（フレーム内またはフレーム間）の画像から本来の画素値を推定して画素を増やすことを意味する。
なお、超解像度変換処理については、特開２００７−３１０８３７号公報、特開２００８−９８８０３号公報や特開２０００−１８８６８０号公報等に開示された公知・公用の技術を用いることが可能である。本実施形態の超解像度変換処理の技術としては、例えば、入力画像の標本化周期で決まるナイキスト周波数より高い周波数成分を有する画像を復元する技術を用いる。
例えば、特開２００７−３１０８３７号公報に開示された超解像度変換処理を用いる場合には、複数の低解像度の映像信号（低解像度フレーム）の夫々に対してフレーム中の注目画素を含む注目画像領域中の画素値の変化パターンに最も近い複数の注目画像領域に対応する複数の対応点を基準フレームの中から選択し、対応点での輝度の標本値を対応点に対応している注目画素の画素値に設定し、複数の標本値の大きさと、複数の対応点の配置とに基づいて、基準フレームの画素数よりも多い画素数の高解像度フレームであって基準フレームに対応する高解像度フレームの画素値を算出することにより、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元する。
また、特開２００８−９８８０３号公報に開示された同一フレーム画像内の自己合同位置探索を利用した超解像度変換処理を用いる場合には、低解像度フレームの探索領域の各画素の誤差を比較して最小となる第１の画素位置を算出し、第１の画素位置及びこの第１の誤差、第１の画素の周辺の第２の画素位置及びこの第２の誤差に基づいて、探索領域のなかで誤差が最小となる位置を小数精度で算出する。そして、この位置を終点及び注目画素を始点とする小数精度ベクトルを算出し、小数精度ベクトルを用いて、探索領域に含まれない画面上の画素を終点とする、小数精度ベクトルの外挿ベクトルを算出する。そして、小数精度ベクトル、外挿ベクトル及び画像データから取得された画素値に基づいて、画像データに含まれる画素数よりも多い画素数の高解像度画像の画素値を算出する。超解像度変換処理部１３２は、このような処理を行うことにより、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元する。
また、特開２０００−１８８６８０号公報に開示された複数フレーム画像間でのマッピングを利用した超解像度変換処理を用いることもできる。
ただし、超解像度変換処理部１３２における超解像度変換処理の手法は、上記に限定されるものではなく、低解像度の映像信号から本来の画素値を推定して画素を増やすことにより、高解像度の映像信号を復元する処理であれば、あらゆる手法を適用することができる。
グラフィックス信号生成部１３３は、図示しない操作ボタンやリモコン等の入力デバイスを介した指示入力に応じて、画像表示装置１００の設定画面や、情報提示のためのテキスト等を表すグラフィックス信号を生成し、ブレンド処理部１３４に出力する。
なお、グラフィックス信号生成部１３３は、超解像度変換処理部１３２から出力される映像信号の形式と同一の形式でグラフィックス信号を生成するものとする。例えば、超解像度変換処理部１３２からの映像信号が輝度信号（Ｙ信号）と色差信号（Ｃ信号）とに分離されたＹＣｂＣｒ形式である場合には、このＹＣｂＣｒ形式でグラフィックス信号を生成するものとする。また、超解像度変換処理部１３２からの映像信号がＲＧＢ形式である場合には、このＲＧＢ形式でグラフィックス信号を生成するものとする。
ブレンド処理部１３４は、超解像度変換処理部１３２からの映像信号に、グラフィックス信号生成部１３３からのグラフィックス信号を重畳し、後処理部１３５に出力する。なお、グラフィックス信号生成部１３３からグラフィックス信号が入力されない場合には、信号の重畳を行わず、超解像度変換処理部１３２からの映像信号を後処理部１３５に出力するものとする。
後処理部１３５は、ブレンド処理部１３４でグラフィックス信号が重畳された映像信号に対して、ガンマ補正等の画像補正処理を施し、後段の動画改善処理部１４に出力する。
このように、高解像度化部１３では、超解像度変換処理部１３２により超解像度変換処理を施した映像信号にグラフィックス信号を重畳する構成としている。これにより、超解像度変換処理部１３２での処理にかかる負荷や、当該処理のバッファとなるメモリ（図示せず）の使用量を抑えることができるとともに、実行速度を向上することができるため、処理の効率化を図ることが可能である。
図１に戻り、動画改善処理部１４は、高解像度化部１３から入力される映像信号から中間フレームを生成することで、当該映像信号の１秒あたりのフレーム数を所定の値まで増加し、後段の表示処理部１５に出力する。例えば、高解像度化部１３から入力された映像信号が、１秒あたり６０フレームであったとすると、動画改善処理部１４は、この６０フレームの各画像から中間フレームを生成することで、１秒あたり１２０フレームの映像信号を生成し、表示処理部１５に出力する。
表示処理部１５は、ディスプレイドライバ等であって、動画改善処理部１４から入力される映像信号の表示部１６への表示を制御する。また、表示部１６は、液晶表示パネルやプラズマパネル、ＳＥＤ（Surface-conduction Electron-emitter Display）パネル等の表示デバイスであって、表示処理部１５の制御の下、映像信号に応じた画面を表示する。
音声処理部１７は、メイン処理部１２から入力されるデジタルの音声信号を、音声出力部１８で再生可能なフォーマットのアナログ音声信号に変換し、音声出力部１８に出力する。音声出力部１８は、スピーカ等であって、音声処理部１７から入力されるアナログ音声信号を音声出力する。
次に、高解像度化部１３の動作について説明する。図３は、高解像度化部１３による高解像度化処理の手順を示したシーケンス図である。なお、本処理では、図示しない操作ボタンやリモコン等を介し、画像表示装置１００の設定画面の表示が指示された場合の例について説明する。
まず、メイン処理部１２から高解像度化部１３に映像信号が入力されると、前処理部１３１は入力された映像信号に対して、上述した前処理を施し（ステップＳ１１）、この処理を施した映像信号を超解像度変換処理部１３２に出力する（ステップＳ１２）。
超解像度変換処理部１３２では、前処理部１３１から映像信号を受け付けると、この映像信号を、上述した超解像度変換処理を施すことで高解像度化し（ステップＳ１３）、この処理を施した映像信号をブレンド処理部１３４に出力する（ステップＳ１４）。
一方、グラフィックス信号生成部１３３では、画像表示装置１００の設定画面を表すグラフィックス信号の生成を行い（ステップＳ１５）、ブレンド処理部１３４に出力する（ステップＳ１６）。
ブレンド処理部１３４では、超解像度変換処理部１３２からの映像信号に、グラフィックス信号生成部１３３からのグラフィックス信号を重畳することで、映像信号が表す画面上にグラフィックス信号が表す画像を合成する（ステップＳ１７）。そして、ブレンド処理部１３４は、グラフィックス信号を重畳した映像信号を後処理部１３５に出力する（ステップＳ１８）。
後処理部１３５は、超解像度変換処理部１３２から映像信号（グラフィックス信号重畳済み）を受け付けると、この映像信号に上述した後処理を施し（ステップＳ１９）、この処理結果となる映像信号を動画改善処理部１４に出力することで本処理を終了する。
以上のように、第１の実施形態によれば、超解像度変換処理部１３２の後段にブレンド処理部１３４を設けたことで、この超解像度変換処理部１３２で処理された映像信号に、グラフィックス信号生成部１３３で生成されたグラフィックス信号を重畳することができるため、超解像度変換により高解像化された映像信号に対するグラフィックス信号の重畳を、映像の品質を維持しつつ行うことが可能となる。
なお、本実施形態では、後処理部１３５の前段にブレンド処理部１３４を設けた構成としたが、例えば、図４に示したように、後処理部１３５の後段にブレンド処理部１３４を設ける態様としてもよい。ここで図４は、高解像度化部１３の変形例である高解像度化部２１の詳細構成を示したブロック図であって、後処理部１３５の後段にブレンド処理部１３４を設けた構成となっている。
図４に示した構成の場合、後処理部１３５により後処理が施された映像信号にグラフィックス信号を重畳することができるため、グラフィックス信号に後処理が施されてしまうことを回避することができるため、高解像度化部１３での処理の効率化を図ることができる。なお、この構成の場合、グラフィックス信号生成部１３３は、後処理部１３５から出力される映像信号の形式と同一の形式でグラフィックス信号を生成するものとする。
また、超解像度変換処理部１３２による超解像度変換処理後の映像信号をＤＶＤ等の記録媒体に記録する場合を考えると、グラフィックス信号を重畳する前に超解像度変換処理を施す構成とすることで、グラフィックス信号が重畳されていない映像信号（超解像度変換処理済み）を記録媒体に保存することが可能となる。
具体的には、図５に示したように、超解像度変換処理部１３２からの出力がエンコーダ部１９１に入力されるよう構成し、当該エンコーダ部１９１からの出力を記録部１９２で記録することで、映像信号（超解像度変換処理済み）を記録媒体に保存することが可能となる。なお、図５は、高解像度化部１３の変形例である高解像度化部２２の詳細構成を示したブロック図である。
ここで、エンコーダ部１９１は、超解像度変換処理部１３２からの映像信号をＨ．２６４等の所定の画像圧縮形式に変換（エンコード）し、記録部１９２に出力する。また、記録部１９２は、ＤＶＤ−Ｒ等の記録媒体にデータの記録を行う記録装置であって、エンコーダ部１９１から入力されるエンコード済みの映像信号を、記録媒体に記録する。
この構成により、グラフィックス信号が重畳されていない高解像度化済みの映像信号を、エンコーダ部１９１及び記録部１９２に出力することができるため、高解像度化された映像信号のみをＤＶＤ−Ｒ等の記録媒体に記録することが可能となる。
以上、本発明に実施形態について説明したが、これに限定されるものではなく、本発明の主旨を逸脱しない範囲での種々の変更、置換、追加、組み合わせ等が可能である。
例えば、上記実施形態では、本発明に係る画像処理装置を映像信号の表示を行う画像表示装置に適用した例について説明したが、適用される対象はこれに限らないものとする、例えば、デジタルカメラやビデオカメラ、静止画像や動画像の再生を行う画像再生装置等に適用することとしてもよい。
画像表示装置の構成の一例を示したブロック図である。 図１に示した高解像度化部の詳細構成を示したブロック図である。 図２に示した高解像度化部による高解像度化処理の手順を示したシーケンス図である。 図２に示した高解像度化部の変形例を示したブロック図である。 図２に示した高解像度化部の変形例を示したブロック図である。
符号の説明
１００…画像表示装置、１１…映像信号入力部、１１１…デジタル放送受信部、１１１１…デジタルアンテナ、１１１２…デジタルチューナ、１１１３…デジタル信号復調部、１１２…ＩＰＴＶ信号処理部、１１３…インターネット信号処理部、１１４…外部入力部、１１４１…アナログアンテナ、１１４２…アナログチューナ、１１４３…外部入力信号処理部、１２…メイン処理部、１３…高解像度化部、１３１…前処理部、１３２…超解像度変換処理部、１３３…グラフィックス信号生成部、１３４…ブレンド処理部、１３５…後処理部、１４…動画改善処理部、１５…表示処理部、１６…表示部、１７…音声処理部、１８…音声出力部、１９１…エンコーダ部、１９２…記録部、２１…高解像度化部、２２…高解像度化部。

Claims (9)

  1. 外部から入力される映像信号の解像度を、予め定められた第１解像度に変換するスケーリング処理手段と、
    前記第１解像度の映像信号が入力され、当該第１解像度の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理を行う超解像度変換手段と、
    所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成手段と、
    前記超解像度変換手段の後段に設けられ、当該超解像度変換手段により復元された第２解像度の映像信号に、前記グラフィックス信号を重畳するブレンド処理手段と、
    を備えたことを特徴とする画像処理装置。
  2. 前記第２解像度の映像信号と前記グラフィックス信号とは、異なる経路で前記ブレンド処理手段に入力されることを特徴とする請求項１に記載の画像処理装置。
  3. 前記超解像度変換手段での処理に先がけて、前記第１解像度の映像信号に所定の画像処理を施す前処理手段を更に備えたことを特徴とする請求項１又は２に記載の画像処理装置。
  4. 前記ブレンド処理手段の後段に設けられ、前記グラフィックス信号が重畳された前記第２解像度の映像信号に対し、所定の画像処理を施す後処理手段を更に備えたことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
  5. 前記超解像度変換手段と、前記ブレンド処理手段との間に設けられ、前記第２解像度の映像信号に対し、所定の画像処理を施す後処理手段を更に備えたことを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
  6. 前記超解像度変換手段から前記ブレンド処理手段への経路上に接続された接続線を介し、前記超解像度変換手段から入力される前記第２解像度の映像信号を所定の動画形式に変換するエンコード手段を更に設けたことを特徴とする請求項１に記載の画像処理装置。
  7. 前記エンコード手段により所定の動画形式に変換された映像信号を記録媒体に記録する記録手段を更に備えたことを特徴とする請求項６に記載の画像処理装置。
  8. 外部から入力される映像信号の解像度を、予め定められた第１解像度に変換するスケーリング処理手段と、
    前記第１解像度の映像信号を、超解像度技術を用いて第２解像度の映像信号に高解像度化する超解像度変換処理を行う超解像度変換手段と、
    所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成手段と、
    前記超解像度変換手段の後段に設けられ、当該超解像度変換手段により復元された第２解像度の映像信号に、前記グラフィックス信号を重畳するブレンド処理手段と、
    を備えたことを特徴とする画像処理装置。
  9. スケーリング処理手段が、外部から入力される映像信号の解像度を、予め定められた第１解像度に変換するスケーリング処理工程と、
    超解像度変換手段が、前記第１解像度の映像信号から本来の画素値を推定して画素を増やすことにより、前記第１解像度よりも高い第２解像度の映像信号を復元する超解像度変換処理を行う超解像度変換工程と、
    グラフィックス信号生成手段が、所定の画像を表すグラフィックス信号を生成するグラフィックス信号生成工程と、
    前記超解像度変換手段の後段に設けられたブレンド処理手段が、前記超解像度変換手段により復元された第２解像度の映像信号に、前記グラフィックス信号を重畳するブレンド処理工程と、
    を含むことを特徴とする画像処理方法。
JP2008214303A 2008-08-22 2008-08-22 画像処理装置及び画像処理方法 Expired - Fee Related JP4869302B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008214303A JP4869302B2 (ja) 2008-08-22 2008-08-22 画像処理装置及び画像処理方法
US12/475,254 US20100045857A1 (en) 2008-08-22 2009-05-29 Image Processor and Image Processing Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008214303A JP4869302B2 (ja) 2008-08-22 2008-08-22 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2010103584A JP2010103584A (ja) 2010-05-06
JP4869302B2 true JP4869302B2 (ja) 2012-02-08

Family

ID=41696028

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008214303A Expired - Fee Related JP4869302B2 (ja) 2008-08-22 2008-08-22 画像処理装置及び画像処理方法

Country Status (2)

Country Link
US (1) US20100045857A1 (ja)
JP (1) JP4869302B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117061824B (zh) * 2023-10-12 2024-01-26 深圳云天畅想信息科技有限公司 流媒体视频补帧方法、装置及计算机设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2735223B2 (ja) * 1988-06-08 1998-04-02 日本放送協会 固体撮像装置
US5489952A (en) * 1993-07-14 1996-02-06 Texas Instruments Incorporated Method and device for multi-format television
US5585866A (en) * 1993-09-09 1996-12-17 Miller; Larry Electronic television program guide schedule system and method including virtual channels
US6847406B2 (en) * 2000-12-06 2005-01-25 Koninklijke Philips Electronics N.V. High quality, cost-effective film-to-video converter for high definition television
JP4116649B2 (ja) * 2006-05-22 2008-07-09 株式会社東芝 高解像度化装置および方法
JP2008160591A (ja) * 2006-12-25 2008-07-10 Hitachi Ltd テレビジョン受信機及びそのフレームレート変換方法
US20090249400A1 (en) * 2008-03-27 2009-10-01 United Video Properties, Inc. Systems and methods for providing on-demand media content

Also Published As

Publication number Publication date
US20100045857A1 (en) 2010-02-25
JP2010103584A (ja) 2010-05-06

Similar Documents

Publication Publication Date Title
JP4444354B2 (ja) 画像処理装置、および画像処理方法
US8385422B2 (en) Image processing apparatus and image processing method
JP4521468B1 (ja) 画像処理装置及び画像処理方法
JP2010041336A (ja) 画像処理装置、および画像処理方法
JPWO2008123217A1 (ja) 映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置
JP4358283B1 (ja) ノイズ低減装置及びノイズ低減方法
JP4427592B2 (ja) 画像処理装置、および画像処理方法
JP4528857B2 (ja) 画像処理装置及び画像処理方法
JP5178579B2 (ja) 画像処理装置
JP4983423B2 (ja) 画像信号処理装置および画像信号処理方法
JP4543116B1 (ja) 画像処理装置、および画像処理方法
JP5066041B2 (ja) 画像信号処理装置、画像信号処理方法
JP4869302B2 (ja) 画像処理装置及び画像処理方法
JP5112528B2 (ja) 映像表示装置及び映像処理方法
JP2010087871A (ja) 映像処理装置及び映像処理方法
WO2014115522A1 (ja) フレームレート変換装置及びフレームレート変換方法並びにフレームレート変換装置を備えた表示装置及び撮像装置
US8270773B2 (en) Image processing apparatus and image processing method
US20100215286A1 (en) Image processing apparatus and image processing method
JP4991884B2 (ja) 画像処理装置、および画像処理方法
JP4239811B2 (ja) 撮像装置
JP4897036B2 (ja) 画像処理装置、および画像処理方法
JP2010039135A (ja) 画像処理装置および画像処理方法
JP5075923B2 (ja) 画像処理装置、および画像処理方法
JP5121639B2 (ja) 画像処理装置及び画像処理方法
JP2006332904A (ja) 輪郭強調回路

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111115

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees