JP5217270B2 - 画像処理装置およびその方法、並びにプログラム - Google Patents

画像処理装置およびその方法、並びにプログラム Download PDF

Info

Publication number
JP5217270B2
JP5217270B2 JP2007167374A JP2007167374A JP5217270B2 JP 5217270 B2 JP5217270 B2 JP 5217270B2 JP 2007167374 A JP2007167374 A JP 2007167374A JP 2007167374 A JP2007167374 A JP 2007167374A JP 5217270 B2 JP5217270 B2 JP 5217270B2
Authority
JP
Japan
Prior art keywords
image
sub
candidate
area
candidate area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007167374A
Other languages
English (en)
Other versions
JP2009010460A (ja
JP2009010460A5 (ja
Inventor
ルワン ペレラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007167374A priority Critical patent/JP5217270B2/ja
Priority to US12/123,936 priority patent/US8228432B2/en
Priority to CN2008101305251A priority patent/CN101335858B/zh
Publication of JP2009010460A publication Critical patent/JP2009010460A/ja
Publication of JP2009010460A5 publication Critical patent/JP2009010460A5/ja
Application granted granted Critical
Publication of JP5217270B2 publication Critical patent/JP5217270B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/814—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts comprising emergency warnings

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、動画像に含まれる画像を複数のブロックに分割して圧縮処理が施された動画像を扱う画像処理装置およびその方法、並びにプログラムに関する。
たとえば、高品位テレビジョン（ＨＤＴＶ（High Definition Television）、高解像度テレビジョンともいう）やＤＶＤでは、大量の動画像を扱うため、動画像の圧縮が必要である。この動画像にＭＰＥＧ２（Motion Picture Coding Experts Group 2）と呼ばれる規格が広く利用されている。
以下に、ＭＰＥＧ２方式による動画像の圧縮方法について、図を参照しながら簡単に説明する。
図１は、フレーム間予測符号化を説明するための図であり、図２は、マクロブロックを説明するための図であり、図３は、動きベクトルを説明するための図である。
ＭＰＥＧ２方式による動画像の圧縮では、原画像のデータがフレーム間予測符号化によって符号化される。
図１に示すように、動画像は、Ｉフレーム（Ｉピクチャ（Intra Coded Picture）ともいう）、Ｐフレーム（Ｐピクチャ（Predicted Picture）ともいう）、およびＢフレーム（Ｂピクチャ（Bi-directional Coded Picture）ともいう）の３種類の画像（フレーム）１で構成されている。また、ビットストリームでは、Ｉ、Ｐ、およびＢフレームが、図１に示すような順番で並んでいる。なお、図１では、Ｉ、Ｐ、およびＢフレームをそれぞれＩ、Ｐ、およびＢと表記している。
Ｉフレームは、イントラ符号化フレームで、原画像がそのまま符号化されたものである。Ｐフレームは、順方向予測符号化フレームで、Ｉフレームが予測画像として符号化されたものである。また、Ｂフレームは、双方向予測符号化フレームで、ＩフレームまたはＰフレームが予測画像として符号化されたものである。
ＭＰＥＧ２方式では、動画像全体の符号化率を上げるため、動き補償フレーム間予測符号化が行われる。各Ｉ、Ｐ、およびＢフレームは、たとえば１６×１６画素のマクロブロック（本発明のブロックに対応する）に分割され、マクロブロックごとに符号化が行われる。
図２に示すように、たとえば、輝度信号Ｙ、色差信号Ｃｂ、および色差信号Ｃｒの比率が４：２：０のフォーマットでは、１つのマクロブロック２に（１６×１６）画素の輝度信号Ｙ、（８×８）画素の色差信号Ｃｂ、およびＣｒのデータが格納される。
また、図３に示すように、ＭＰＥＧ２方式では、各マクロブロック２のフレーム間の変動を示すために、マクロブロック２の移動を示す動きベクトル（動き量に対応する）３が推定され、動きベクトル情報もさらに符号化されてビットストリームに加えられる。つまり、Ｉ、Ｐ、およびＢフレームのデータと、マクロブロック２の動きベクトル情報が動画像の初期ビットストリームに含まれている。
ＭＰＥＧ２方式にて圧縮された動画像は、デコーダにてＩ、Ｐ、およびＢフレームのデータと各マクロブロック２の動きベクトル３とが含まれた初期ビットストリームから復元される。
ところで、たとえば高品位テレビジョンを始めとするテレビジョンでは、地震速報等の緊急情報や、電子番組表、テレビジョンの操作メニュといった情報を表示するための画像、あるいは字幕等（これらの情報を表示する画像や字幕等をサブ画像と表記する）が、テレビジョン番組の画像上に表示される。
ところで、上述したサブ画像は、ベースとなる画像（以後ベース画像と表記する）上に重ね合わされるが、サブ画像とベース画像との重ね合わせの位置によっては不都合が生じる場合がある。この不都合の具体例について、図を参照しながら説明する。
図４は、サブ画像とベース画像との重ね合わせについて説明するための図である。
たとえば、野球試合放送中に緊急放送を報知するサブ画像がベース画像上に表示される場合を例にとる。図４に示すように、テレビジョンの表示画面は、野球試合を表示しているベース画像４に緊急情報を報知するサブ画像５が重ね合わされて、重ね合わせ画像６のように表示される。
このような構成において、サブ画像５は、ベース画像４上のあらかじめ決められた領域（図４の例では、重ね合わせ画像６の左領域）にしか表示できない。したがって、野球試合放送のように動画像の動きが激しい領域（たとえばピッチャーとバッターが動いている領域）にサブ画像５が重ね合わされると、視聴者は、ベース画像４の重要な動きを見失うおそれがある（図４に示す重ね合わせ画像６の例では、ピッチャーとバッターの動作がサブ画像５の表示によって隠れている）。
また、ＭＰＥＧ２方式では、大量の動画像が圧縮されており、圧縮された動画像をデコードする際に、膨大なリアルタイム処理を行わなければならない。
本発明は、ベースとなる動画像の最適な領域にサブ画像を重ね合わせることが可能な画像処理装置およびその方法、並びにプログラムを提供することにある。
本発明の第１の観点の画像処理装置は、ベースとなる動画像にサブ画像を重ね合わせる処理が可能な画像処理装置であって、上記動画像を表示するベース画像表示領域内で、上記サブ画像と同じ大きさで位置が異なる、サブ画像を表示可能な全ての候補領域の中から、上記サブ画像を表示すべきサブ画像表示領域を検出する検出部と、上記検出したサブ画像表示領域に上記サブ画像を表示させて、当該サブ画像を上記動画像と重ね合わせる画像重ね合わせ部と、を有し、上記検出部は、上記ベース画像表示領域の原点を含む第１の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の一方の方向に候補領域をシフトする第１のスキャン動作を、上記ベース画像表示領域内で最終となる第２の候補領域まで行い、上記第１のスキャン動作の各シフト後の候補領域と上記第１の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記一方の方向の開始点を決定し、前記第２の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の他方の方向に候補領域をシフトする第２のスキャン動作を、上記ベース画像表示領域内で最終となる第３の候補領域まで行い、上記第２のスキャン動作の各シフト後の候補領域と上記第２の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記他方の方向の開始点を決定する。
好適には、上記動画像は、当該動画像に含まれる複数の画像のそれぞれが所定数の画素からなる複数のブロックに分割されて所定の圧縮処理が施されたものであり、上記検出部によって上記第１および第２のスキャン動作における各シフト後に得られた各候補領域は、上記ブロックを単位とした領域であり、上記検出部は、上記動画像が含む各画像のブロックから動きベクトル情報を取得し、当該取得した動きベクトルを用いて、上記一方または他方の方向における上記動画像の動き量の最小値を上記各シフト後に得られた候補領域ごとに求める。
好適には、上記検出部は、上記ブロックを所定方向にスキャンして所定数のブロックからなる上記候補領域の位置をブロック単位でシフトし、上記候補領域の位置をブロック単位でシフトするたびに、上記動き量の総和を候補領域ごとに算出して当該総和の最小値を保持し更新することで、当該総和が最小となる候補領域を算出する。
好適には、第１の観点の画像処理装置は、上記画像重ね合わせ部が出力した動画像を表示する表示部を有する。
本発明の第２の観点の画像処理方法は、ベースとなる動画像にサブ画像を重ね合わせる処理が可能な画像処理方法であって、上記動画像を表示するベース画像表示領域内で、上記サブ画像と同じ大きさで位置が異なる、サブ画像を表示可能な全ての候補領域の中から、上記サブ画像を表示すべきサブ画像表示領域を検出する検出ステップと、上記検出したサブ画像表示領域に上記サブ画像を表示させて、当該サブ画像を上記動画像と重ね合わせる画像重ね合わせステップと、を有し、上記検出ステップは、上記ベース画像表示領域の原点を含む第１の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の一方の方向に候補領域をシフトする第１のスキャン動作を、上記ベース画像表示領域内で最終となる第２の候補領域まで行い、上記第１のスキャン動作の各シフト後の候補領域と上記第１の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記一方の方向の開始点を決定する第１のステップと、前記第２の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の他方の方向に候補領域をシフトする第２のスキャン動作を、上記ベース画像表示領域内で最終となる第３の候補領域まで行い、上記第２のスキャン動作の各シフト後の候補領域と上記第２の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記他方の方向の開始点を決定する第２のステップと、を含む。
好適には、上記動画像は、当該動画像に含まれる複数の画像のそれぞれが所定数の画素からなる複数のブロックに分割されて所定の圧縮処理が施されたものであり、上記第１および第２のスキャン動作における各シフト後に得られた各候補領域は、上記ブロックを単位とした領域であり、上記第１および第２のステップでは、上記動画像が含む各画像のブロックから動きベクトル情報を取得し、上記ブロックを所定方向にスキャンして所定数のブロックからなる上記候補領域の位置をブロック単位でシフトし、上記候補領域の位置をブロック単位でシフトするたびに、上記動き量の総和を候補領域ごとに算出して当該総和の最小値を保持し更新することで、当該総和が最小となる候補領域を算出する。
本発明の第３の観点のプログラムは、ベースとなる動画像にサブ画像を重ね合わせる処理が可能な画像処理を実行するためのプログラムであって、上記画像処理が、上記動画像を表示するベース画像表示領域内で、上記サブ画像と同じ大きさで位置が異なる、サブ画像を表示可能な全ての候補領域の中から、上記サブ画像を表示すべきサブ画像表示領域を検出する検出処理と、上記検出したサブ画像表示領域に上記サブ画像を表示させて、当該サブ画像を上記動画像と重ね合わせる画像重ね合わせ処理と、を有し、上記検出処理が、上記ベース画像表示領域の原点を含む第１の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の一方の方向に候補領域をシフトする第１のスキャン動作を、上記ベース画像表示領域内で最終となる第２の候補領域まで行い、上記第１のスキャン動作の各シフト後の候補領域と上記第１の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記一方の方向の開始点を決定する第１の処理と、前記第２の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の他方の方向に候補領域をシフトする第２のスキャン動作を、上記ベース画像表示領域内で最終となる第３の候補領域まで行い、上記第２のスキャン動作の各シフト後の候補領域と上記第２の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記他方の方向の開始点を決定する第２の処理と、を含み、上記第１および第２の処理を含む上記検出処理と上記画像重ね合わせ処理とをコンピュータに実行させる、プログラムである。
好適には、上記動画像は、当該動画像に含まれる複数の画像のそれぞれが所定数の画素からなる複数のブロックに分割されて所定の圧縮処理が施されたものであり、上記第１および第２の処理における各シフト後に得られた各候補領域は、上記ブロックを単位とした領域であり、上記第１および第２の処理では、上記ブロックを所定方向にスキャンして所定数のブロックからなる上記候補領域の位置をブロック単位でシフトし、上記候補領域の位置をブロック単位でシフトするたびに、上記動き量の総和を候補領域ごとに算出して当該総和の最小値を保持し更新することで、当該総和が最小となる候補領域を算出する、各処理をコンピュータに実行させる。
本発明によれば、ベースとなる動画像にサブ画像を重ね合わせる処理が可能な画像処理装置において、検出部が動き量の小さい領域を検出する。そして、画像重ね合わせ部が、検出部で検出した動き量の小さい領域に上記サブ画像を重ね合わせる。
本発明によれば、ベースとなる動画像の最適な領域にサブ画像を重ね合わせることができる。
以下、本発明の実施形態を図面に関連付けて説明する。
（第１実施形態）
図５は、本実施形態に係る画像処理方法を採用した画像処理装置の一構成例を示すブロック図である。
図５に示す画像処理装置１０は、分類部（ＤＥＭＵＸ）１１、メモリ（ＭＥＭ）１２、メインデコーダ（ＭＤＥＣ）１３、サブデコーダ（ＳＤＥＣ）１４、メイン処理部（ＭＰＩＣ）１５、サブ処理部（ＳＰＩＣ）１６、検出部（ＰＣＡＬ）１７、画像重ね合わせ部（ＢＬＥＮ）１８、制御部（ＣＰＵ）１９、および表示パネル（ＰＡＮＥＬ）２０を有する。
次に、画像処理装置１０の各構成部について説明する。
分類部１１は、たとえばＭＰＥＧ２方式によって符号化され、圧縮された動画像の初期ビットストリーム（ＴＳ（Transport Stream））、もしくはプログラムストリーム（ＰＳ（Program Stream））が画像処理装置１０の外部から入力される。分類部１１は、たとえば、制御部１９の制御に基づいて、入力された初期ビットストリームもしくはプログラムストリームをベースとなる動画像等のデータ、地震速報や天気予報、プログラムガイド、テレビジョンのメニュ、字幕等のデータ、および音声等に分類してメモリ１２に出力する。
以後の説明において、本実施形態では、動画像等のデータをメインデータと表記し、地震速報や天気予報、プログラムガイド、テレビジョンのメニュ、字幕等のデータをサブデータと表記する。また、本実施形態では、メインデータで構成されている動画像の各フレームをベース画像と表記し、サブデータで構成されている静止画像をサブ画像と表記する。なお、本実施形態は一例であって、メインデータおよびサブデータの内容等は特に限定されない。また、本実施形態では、サブ画像は静止画像であるが、たとえば動画像であってもよい。
メモリ１２は、たとえば制御部１９の制御に基づいて、分類部１１により分類された各種データが入力される。メモリ１２は、たとえばメインデータやサブデータ、音声等を所定のメモリ領域に記憶し、メインデコーダ１３、およびサブデコーダ１４に所定のデータをそれぞれ出力する。
メインデコーダ１３は、たとえば制御部１９の制御に基づいて、メモリ１２からメインデータを読み出し、読み出したメインデータをデコードして、デコードしたメインデータをフレーム単位でメイン処理部１５に出力する。また、メインデコーダ１３は、たとえばフレーム毎の各マクロブロックの動きベクトル情報を取得して、検出部１７に出力する。
サブデコーダ１４は、たとえばメモリ１２からサブデータを読み出し、制御部１９の制御に基づいて、読み出したサブデータをデコードし、サブ処理部１６に出力する。
メイン処理部１５は、たとえばメインデコーダ１３からデコードされた動きベクトル情報等を含むメインデータが入力される。メイン処理部１５は、たとえば制御部１９の制御に基づいて、このメインデータをフレーム毎に表示パネル２０の表示領域に応じた拡大や縮小を行い、処理した動画像に関するデータ（たとえば表示位置や表示サイズ等）等を画像重ね合わせ部１８に出力する。
サブ処理部１６は、たとえばサブデコーダ１４からデコードされたサブデータが入力され、制御部１９から入力された設定パラメータに応じた拡大や縮小を行って、処理したデータを画像重ね合わせ部１８に出力する。
検出部１７は、たとえばメインデコーダ１３からデコードされた動きベクトル情報等を含むメインデータが入力される。検出部１７は、制御部１９の制御に基づいて、各ベース画像の各ブロックから動きベクトル情報を取得する。また、検出部１７は、動きベクトル情報から上記ベース画像間の動きベクトル値の変動が小さい領域を算出して、ベース画像上に重ね合わせるための位置を演算し、その演算結果を画像重ね合わせ部１８に出力する。また、検出部１７は、上述した位置の演算を制御部１９により決められた秒数毎に行う。
ここで、上記に述べたベース画像間の動きベクトル値の変動が小さい領域について具体例を挙げて説明する。
図６は、本実施形態に係る位置算出部で算出された動きベクトル値の変動が小さい領域について説明するための一例を示す図である。
動画像の多くは、画像の動きが活発的な領域と活発的でない領域とに分けられる。たとえば、図６のベース画像は、画像の動きが活発的な領域ＲＧＮＬ、および領域ＲＧＮＬと比較して画像の動きが活発的でない領域ＲＧＮＲに分けられる。図６に示す一例は、ＭＰＥＧ２方式で圧縮されている動画像であって、領域ＲＧＮＲは、領域ＲＧＮＬと比較して変動が小さい動きベクトル値を有する。
画像重ね合わせ部１８は、たとえばメイン処理部１５からメインデータを含む動画像が、サブ処理部１６からサブデータを含む静止画像が、および検出部１７からサブ画像の表示位置に関するパラメータ等がそれぞれ入力される。画像重ね合わせ部１８は、この各パラメータや制御部１９の制御に基づいて、ベース画像間の動きベクトル値の変動が小さい領域にサブ画像を重ね合わせて一枚のフレーム（画像）にし、重ね合わされたフレームを表示パネル２０に出力する。
ここで、画像重ね合わせ部１８が重ね合わせたベース画像およびサブ画像について一例を示す。
図７は、本実施形態に係る画像重ね合わせ部が重ね合わせたベース画像およびサブ画像についての一例を示す図である。
図７に示すベース画像は、図６に示すベース画像と同一の画像である。図７に示すように、画像重ね合わせ部１８は、ベース画像間の動きベクトル値の変動が小さい領域ＲＧＮＲに、サブ画像ＳＵＢＰを重ね合わせる。
制御部１９は、たとえば、各構成部の初期パラメータ等や、ベース画像の表示位置等を設定し、メモリ１２、メインデコーダ１３、サブデコーダ１４、メイン処理部１５、サブ処理部１６、および検出部１７間との制御をそれぞれ行う。また、制御部１９は、たとえば、分類部１１や画像重ね合わせ部１８の制御を行う。
表示パネル２０は、たとえばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイである。表示パネル２０は、画像重ね合わせ部１８からベース画像とサブ画像とが重ね合わされたフレームが順次入力され、表示する。なお、表示パネル２０は、ＣＲＴディスプレイや液晶ディスプレイに限定されない。
次に、表示パネル２０の表示領域について説明する。
図８は、本実施形態に係る表示パネルにおける表示領域の一例を示す図である。
図８に示すように、表示パネル２０は、ベース画像を表示するベース画像領域２０１、およびサブ画像を表示するサブ画像領域２０２を有する。
図８に示すように、本実施形態では、たとえば表示パネル２０の左上端を原点Ｏ（Ｏ（０，０）とする。また、以後の実施形態の説明において、表示領域に使用する単位をＰｉｘｅｌ（ピクセル）とし、その単位の表記は省略する。
ベース画像領域２０１は、その原点Ｏ’を、たとえば表示パネル２０の原点ＯからＸ軸方向にｍｖｐ＿ｈｓｔ、Ｙ軸方向にｍｖｐ＿ｖｓｔの位置（Ｏ’（ｍｖｐ＿ｈｓｔ，ｍｖｐ＿ｖｓｔ））とする。また、ベース画像領域２０１は、その領域を原点Ｏ’からＸ軸方向にｍｖｐ＿ｈｓｚ、Ｙ軸方向に、ｍｖｐ＿ｖｓｚの範囲とする。
サブ画像領域２０２は、その原点Ｏ’’を、たとえば原点ＯからＸ軸方向に（ｍｖｐ＿ｈｓｔ＋ｓｕｂ＿ｈｓｔ）、Ｙ軸方向にｓｕｂ＿ｖｓｔの位置とする。また、サブ画像領域２０２は、その領域を原点Ｏ’’からＸ軸方向にｓｕｂ＿ｈｓｚ、Ｙ軸方向にｓｕｂ＿ｖｓｚの範囲とする。
本実施形態では、ベース画像領域２０１のベース画像をマクロブロックに分割する。次に、このマクロブロックについて説明する。
図９は、本実施形態に係る動画像のマクロブロックの一構成例を示す図である。
図９に示すように、本実施形態では、表示パネル２０において、たとえばベース画像領域２０１のベース画像をマトリクス状に（ｍ＋１）×（ｎ＋１）個のマクロブロック（ｂｌｋ）２０３に分割する。また、任意のマクロブロック２０３を単にｂｌｋ（Ｘｉ，Ｙｊ）と表記する。
ただし、ｍ、およびｎは、それぞれベース画像の横幅（Ｘ軸方向）、および縦幅（Ｙ軸方向）に相当するマクロブロックの個数で正の整数（０、１、…）である。また、ｉ、およびｊは、正の整数（０、１、…）である。
次に、本実施形態に係る画像処理方法を採用した画像処理装置の動作について、図５、図８から図１０を参照して説明する。
図１０は、本実施形態に係る画像処理方法を採用した画像処理装置のフローチャートである。
以下の説明では、図５に示す検出部１７の動作を中心に説明する。
たとえば、分類部１１がＭＰＥＧ２方式によって符号化され、圧縮された動画像を少なくともメインデータおよびサブデータに分類してメモリ１２に記憶させる。メインデコーダ１３およびサブデコーダ１４がそれぞれ対応したデータをメモリ１２から読み出してデコードし、それぞれ対応した構成部に出力する。そして、あらかじめ、メイン処理部１５、サブ処理部１６、および検出部１７には、それぞれ所定の動画像等のデータがそれぞれ入力されているものとする。
（ステップＳＴ１１）
ステップＳＴ１１においては、ベース画像およびサブ画像の表示領域に関する各パラメータの初期設定を行う。
具体的には、本実施形態では、ベース画像領域２０１の表示領域を、たとえばｍｖｐ＿ｈｓｚ＝（ｍ＋１）×１６、ｍｖｐ＿ｖｓｚ＝（ｎ＋１）×１６と設定する（図８を参照）。また、本実施形態では、サブ画像領域２０２（図８を参照）の表示領域を、たとえばｓｕｂ＿ｈｓｚ＝（ｐ＋１）×１６、ｓｕｂ＿ｖｓｚ＝（ｑ＋１）×１６と設定する。ただし、ｐ、およびｑは、それぞれサブ画像の横幅（Ｘ軸方向）、および縦幅（Ｙ軸方向）に相当するマクロブロックの個数を表すための数であり正の整数（０、１、…）である。
（ステップＳＴ１２）
ステップＳＴ１２においては、検出部１７がベース画像をＸ軸定方向にスキャンしながら、隣接しているマクロブロック間の動きベクトル値の総和を求める。
具体的には、たとえば図９に示すように、ベース画像領域２０１の原点Ｏ’に位置しているｂｌｋ（Ｘ０，Ｙ０）をスキャンの開始点とする（ｉ＝０）。検出部１７は、このｂｌｋ（Ｘ０，Ｙ０）から同一行のＸ軸方向に、サブ画像領域２０２の横幅に相当する（ｐ＋１）個のマクロブロック２０３（たとえば、ｂｌｋ（Ｘ０、Ｙ０）〜ｂｌｋ（Ｘ（０＋ｐ）、Ｙ０）を選択し、動きベクトル値の総和ΣＩ（Ｘ）を計算する。
そして、検出部１７は、この総和ΣＩ（Ｘ）を最小値Ｌｏｗｅｓｔ＿Ｘとする（Ｌｏｗｅｓｔ＿Ｘ＝ΣＩ（Ｘ））。また、この時、サブ画像領域２０２の原点Ｏ’’は、ｓｕｂ＿ｈｓｔ＝０、ｓｕｂ＿ｖｓｔ＝０、すなわちＯ’’（０，０）の位置である。
（ステップＳＴ１３）
ステップＳＴ１３においては、説明を簡単にするため、スキャンの開始点がｉ（たとえばｂｌｋ（Ｘｉ，Ｙｊ））にあるとする。
検出部１７が、同一行において、スキャンの開始点をＸ軸方向に隣接した１つ分のマクロブロック２０３だけずらした位置に変更する（ｉ＝ｉ＋１）。したがって、この時、スキャンの開始点は、ｂｌｋ（Ｘ（ｉ＋１）、Ｙ０）となる。
（ステップＳＴ１４）
ステップＳＴ１４は、ベース画像領域２０１の境界（Ｘ軸方向）の処理に関する。
具体的には、検出部１７によるスキャンの開始点において、サブ画像領域２０２の一端（たとえば選択された（ｐ＋１）個目のマクロブロック２０３）がＸ軸方向における最終のマクロブロック２０３（たとえば図９に示すｂｌｋ（Ｘｍ、Ｙ０））に達した場合（（ｉ＋ｐ）＞ｍ）、検出部１７は、ステップＳＴ１８の処理を行う。
このステップＳＴ１４により、サブ画像領域２０２のＸ軸方向の開始点が決定される。
検出部１７によるスキャンの開始点において、サブ画像領域２０２の一端がＸ軸方向の最終マクロブロックに達していない場合（（ｉ＋ｐ）≦ｍ）、検出部１７は、ステップＳＴ１５の処理を行う。
（ステップＳＴ１５）
ステップＳＴ１５においては、検出部１７が、たとえば同一行において、ｂｌｋ（Ｘｉ，Ｙ０）からＸ軸方向に隣接した（ｐ＋１）個のマクロブロック２０３（たとえば、ｂｌｋ（Ｘｉ、Ｙ０）〜ｂｌｋ（Ｘ（ｉ＋ｐ）、Ｙ０）を選択し、動きベクトル値の総和ΣＩ（Ｘ）を計算する。
（ステップＳＴ１６）
ステップＳＴ１６においては、検出部１７が総和ΣＩ（Ｘ）とステップＳＴ１２で求めた最小値Ｌｏｗｅｓｔ＿Ｘとを比較する。
具体的には、検出部１７は、総和ΣＩ（Ｘ）がステップＳＴ１２で求めた最小値Ｌｏｗｅｓｔ＿Ｘより大きい場合（ΣＩ（Ｘ）≧Ｌｏｗｅｓｔ＿Ｘ）、ステップＳＴ１３の処理を行う。
検出部１７は、総和ΣＩ（Ｘ）がステップＳＴ１２で求めた最小値Ｌｏｗｅｓｔ＿Ｘより小さい場合（ΣＩ（Ｘ）＜Ｌｏｗｅｓｔ＿Ｘ）、ステップＳＴ１７の処理を行う。
（ステップＳＴ１７）
ステップＳＴ１７においては、検出部１７が、ステップＳＴ１５で算出した総和ΣＩ（Ｘ）を最新の最小値Ｌｏｗｅｓｔ＿Ｘ（Ｌｏｗｅｓｔ＿Ｘ＝ΣＩ（Ｘ））に更新し、マクロブロック２０３のＸ軸方向のスキャン開始位置をｓｕｂ＿ｈｓｔ＝ｉ×１６に設定する。そして、検出部１７は、ステップＳＴ１３の処理を行う。
（ステップＳＴ１８）
ステップＳＴ１８においては、検出部１７がベース画像をＹ軸定方向にスキャンしながら、隣接しているマクロブロック間の動きベクトル値の総和を求める。
具体的には、検出部１７は、たとえば図９に示すように、スキャンの開始点のマクロブロック２０３をｂｌｋ（Ｘｉ，Ｙ０）とし、ｂｌｋ（Ｘｉ，Ｙ０）から同一列のＹ軸方向に隣接した（ｑ＋１）個のマクロブロック２０３（たとえば、ｂｌｋ（Ｘｉ、Ｙ０）〜ｂｌｋ（Ｘｉ、Ｙ（０＋ｑ））を選択し、動きベクトル値の総和ΣＩ（Ｙ）を計算する。
そして、検出部１７は、この総和ΣＩ（Ｙ）を最小値Ｌｏｗｅｓｔ＿Ｙとする（Ｌｏｗｅｓｔ＿Ｙ＝ΣＩ（Ｙ））。
（ステップＳＴ１９）
ステップＳＴ１９においては、検出部１７が、同一列において、スキャンの開始点をＹ軸方向に隣接した１つ分のマクロブロック２０３だけずらした位置に変更する（ｊ＝ｊ＋１）。したがって、この時、スキャンの開始点は、ｂｌｋ（Ｘｉ、Ｙ（ｊ＋１））となる。
（ステップＳＴ１１０）
ステップＳＴ１１０は、ベース画像領域２０１の境界（Ｙ軸方向）の処理に関する。
具体的には、検出部１７によるスキャンの開始点において、サブ画像領域２０２の一端（たとえば選択された（ｑ＋１）個目のマクロブロック２０３）がＹ軸方向における最終のマクロブロック２０３（たとえばｂｌｋ（Ｘｉ、Ｙｎ））に達した場合（（ｊ＋ｑ）＞ｎ）、検出部１７は、処理を終了する（ＥＮＤ）。
このステップＳＴ１４により、サブ画像領域２０２のＹ軸方向の開始点が決定される。
検出部１７によるスキャンの開始点がＹ軸方向の最終マクロブロックに達していない場合（（ｊ＋ｑ）≦ｎ）、検出部１７は、ステップＳＴ１１１の処理を行う。
（ステップＳＴ１１１）
ステップＳＴ１１１においては、検出部１７が、たとえば同一列において、ｂｌｋ（Ｘｉ，Ｙｊ）からＹ軸方向に隣接した（ｑ＋１）個のマクロブロック２０３（たとえば、ｂｌｋ（Ｘｉ、Ｙｊ）〜ｂｌｋ（Ｘｉ、Ｙ（ｊ＋ｑ））を選択し、動きベクトル値の総和ΣＩ（Ｙ）を計算する。
（ステップＳＴ１１２）
ステップＳＴ１１２においては、検出部１７が総和ΣＩ（Ｙ）とステップＳＴ１８で求めた最小値Ｌｏｗｅｓｔ＿Ｙとを比較する。
具体的には、検出部１７は、総和ΣＩ（Ｙ）がステップＳＴ１８で求めた最小値Ｌｏｗｅｓｔ＿Ｙより大きい場合（ΣＩ（Ｙ）≧Ｌｏｗｅｓｔ＿Ｙ）、ステップＳＴ１９の処理を行う。
検出部１７は、総和ΣＩ（Ｙ）が第８ステップＳＴ８で求めた最小値Ｌｏｗｅｓｔ＿Ｙより小さい場合（ΣＩ（Ｙ）＜Ｌｏｗｅｓｔ＿Ｙ）、第１３ステップＳＴ１３の処理を行う。
（ステップＳＴ１１３）
ステップＳＴ１１３においては、検出部１７が、ステップＳＴ１１１で算出した総和ΣＩ（Ｙ）を最新の最小値Ｌｏｗｅｓｔ＿Ｙ（Ｌｏｗｅｓｔ＿Ｙ＝ΣＩ（Ｙ））に更新し、マクロブロック２０３のＹ軸方向のスキャン開始位置をｓｕｂ＿ｖｓｔ＝ｊ×１６に設定する。そして、検出部１７は、ステップＳＴ１９の処理を行う。
なお、ステップＳＴ１１からステップＳＴ１１３の処理で、サブ画像領域２０２の表示領域が決定されない場合、検出部１７は、ベース画像領域２０１の原点Ｏ’をサブ画像領域２０２の開始点とする。
以上に述べたように、検出部１７は、ベース画像領域２０１の原点Ｏ’（ｍｖｐ＿ｈｓｔ、ｍｖｐ＿ｖｓｔ）をスキャンの開始点としてＸ軸方向に順次スキャンしながら（ｐ＋１）個のマクロブロックの動きベクトル値を算出し、その総和が最小となる位置をサブ画像領域２０２のＸ軸方向の開始点とする。次に、検出部１７は、Ｙ軸方向に順次スキャンしながら（ｑ＋１）個のマクロブロックの動きベクトル値を算出し、その総和が最小となる位置をサブ画像領域２０２のＹ軸方向の開始点とする。そして、検出部１７は、隣接するマクロブロック２０３の領域を算出して、この領域をサブ画像領域２０２とする。
そして、画像重ね合わせ部１８は、検出部１７の算出結果に基づいて、メイン処理部１５から入力されたベース画像のサブ画像領域２０２にサブ処理部１６から入力されたサブ画像を重ね合わせる。
表示パネル２０は、画像重ね合わせ部１８から入力された動画像を表示する。
上述したように、本実施形態では、動画像の動きが穏やかな領域にサブ画像を表示するため、サブ画像が放送中のベース画像に与える影響が減少する利点がある。
また、本実施形態では、サブ画像をベース画像のあらかじめ定まった位置に表示する必要がないため、表示パネルの表示領域を有効に活用することができる。たとえば、本実施形態では、テレビジョン番組の放映中にサブ画像としてコマーシャルメッセージを表示する際に、テレビジョン番組の表示領域を変更させることなくサブ画像を表示させることができる。
本実施形態では、たとえばＭＰＥＧ２方式で圧縮された動画像のビットストリームを使用し、このビットストリームに含まれている動きベクトル情報を利用して、最適なサブ画像の表示領域を取得する。このため、本動画像処理システムは、高品位テレビジョンやＤＶＤ等に簡単に実装することができる。
（第２実施形態）
次に、本発明の第２実施形態について説明する。
図１１は、本実施形態に係る画像処理方法を採用した画像処理装置のフローチャートである。
第１実施形態では、図１０に示すステップＳＴ１１からステップＳＴ１１３で示したように、検出部１７が、ベース画像領域２０１のＸ軸方向のスキャン開始位置を位置ｓｕｂ＿ｈｓｔに固定した後、Ｙ軸方向のスキャン開始の位置ｓｕｂ＿ｖｓｔを算出する。
本実施形態では、検出部１７が、始めにベース画像領域２０１のＹ軸方向のスキャン開始位置を位置ｓｕｂ＿ｖｓｔに固定してから、Ｘ軸方向のスキャン開始位置ｓｕｂ＿ｈｓｔを算出する。
すなわち、図１１に示すように、本実施形態に係るステップＳＴ２２からステップＳＴ２７は、第１実施形態に係るステップＳＴ１８からステップＳＴ１１３に対応し、本実施形態の係るステップＳＴ２８からステップＳＴ２１３は、第１実施形態に係るステップＳＴ１２からステップＳＴ１７に対応する。
また、本実施形態においても、第１実施形態と同様の効果を得ることができる。
また、たとえば検出部１７が第１実施形態に係るステップＳＴ１１からステップＳＴ１３（図１０を参照）にて演算されたＸ軸方向の総和ΣＩ（Ｘ）およびＹ軸方向の総和ΣＩ（Ｙ）の各値を低い順にソートする。そして、検出部１７がソートされた総和ΣＩ（Ｘ）および総和ΣＩ（Ｙ）のすべての組み合わせを算出して、動きベクトル値変動が小さい領域を求めるようにしてもよい。
さらに、たとえば検出部１７が第２実施形態に係るステップＳＴ２１からステップＳＴ２１３（図１１を参照）を用いて総和ΣＩ（Ｘ）および総和ΣＩ（Ｙ）を求めてもよい。
なお、上述した本発明に係る第１、および第２実施形態は一実施例であって、画像処理装置１０の構成は、特に限定されない。
また、以上に詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
さらに、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし、上記プログラムを実行するように構成可能である。
フレーム間予測符号化を説明するための図である。 マクロブロックを説明するための図である。 動きベクトルを説明するための図である。 サブ画像とベース画像との重ね合わせについて説明するための図である。 本実施形態に係る画像処理方法を採用した画像処理装置の一構成例を示すブロック図である。 本実施形態に係る位置算出部で算出された動きベクトル値の変動について説明するための一例を示す図である。 本実施形態に係る画像重ね合わせ部が重ね合わせたベース画像およびサブ画像についての一例を示す図である。 本実施形態に係る表示パネルにおける表示領域の一例を示す図である。 本実施形態に係る動画像のマクロブロックの一構成例を示す図である。 本実施形態に係る画像処理方法を採用した画像処理装置のフローチャートである。 本実施形態に係る画像処理方法を採用した画像処理装置のフローチャートである。
符号の説明
１０…画像処理装置、１１…分類部（ＤＥＭＵＸ）、１２…メモリ（ＭＥＭ）、１３…メインデコーダ（ＭＤＥＣ）、１４…サブデコーダ（ＳＤＥＣ）、１５…メイン処理部（ＭＰＩＣ）、１６…サブ処理部（ＳＰＩＣ）、１７…検出部（ＰＣＡＬ）、１８…画像重ね合わせ部（ＢＬＥＮ）、１９…制御部（ＣＰＵ）、２０…表示パネル（ＰＡＮＥＬ）、２０１…ベース画像領域、２０２…サブ画像領域、２０３…マクロブロック、Ｌｏｗｅｓｔ…最小値、Ｏ…原点、Ｏ’…（ベース画像の）原点、Ｏ’’…（サブ画像の）原点、ＳＵＢＰ…サブ画像。

Claims (8)

  1. ベースとなる動画像にサブ画像を重ね合わせる処理が可能な画像処理装置であって、
    上記動画像を表示するベース画像表示領域内で、上記サブ画像と同じ大きさで位置が異なる、サブ画像を表示可能な全ての候補領域の中から、上記サブ画像を表示すべきサブ画像表示領域を検出する検出部と、
    上記検出したサブ画像表示領域に上記サブ画像を表示させて、当該サブ画像を上記動画像と重ね合わせる画像重ね合わせ部と、
    を有し、
    上記検出部は、
    上記ベース画像表示領域の原点を含む第１の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の一方の方向に候補領域をシフトする第１のスキャン動作を、上記ベース画像表示領域内で最終となる第２の候補領域まで行い、
    上記第１のスキャン動作の各シフト後の候補領域と上記第１の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記一方の方向の開始点を決定し、
    前記第２の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の他方の方向に候補領域をシフトする第２のスキャン動作を、上記ベース画像表示領域内で最終となる第３の候補領域まで行い、
    上記第２のスキャン動作の各シフト後の候補領域と上記第２の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記他方の方向の開始点を決定する、
    画像処理装置。
  2. 上記動画像は、当該動画像に含まれる複数の画像のそれぞれが所定数の画素からなる複数のブロックに分割されて所定の圧縮処理が施されたものであり、
    上記検出部によって上記第１および第２のスキャン動作における各シフト後に得られた各候補領域は、上記ブロックを単位とした領域であり、
    上記検出部は、上記動画像が含む各画像のブロックから動きベクトル情報を取得し、当該取得した動きベクトルを用いて、上記一方または他方の方向における上記動画像の動き量の最小値を上記各シフト後に得られた候補領域ごとに求める、
    請求項１記載の画像処理装置。
  3. 上記検出部は、
    上記ブロックを所定方向にスキャンして所定数のブロックからなる上記候補領域の位置をブロック単位でシフトし、
    上記候補領域の位置をブロック単位でシフトするたびに、上記動き量の総和を候補領域ごとに算出して当該総和の最小値を保持し更新することで、当該総和が最小となる候補領域を算出する、
    請求項２記載の画像処理装置。
  4. 上記画像重ね合わせ部が出力した動画像を表示する表示部を有する、
    請求項１から３の何れか一項に記載の画像処理装置。
  5. ベースとなる動画像にサブ画像を重ね合わせる処理が可能な画像処理方法であって、
    上記動画像を表示するベース画像表示領域内で、上記サブ画像と同じ大きさで位置が異なる、サブ画像を表示可能な全ての候補領域の中から、上記サブ画像を表示すべきサブ画像表示領域を検出する検出ステップと、
    上記検出したサブ画像表示領域に上記サブ画像を表示させて、当該サブ画像を上記動画像と重ね合わせる画像重ね合わせステップと、
    を有し、
    上記検出ステップは、
    上記ベース画像表示領域の原点を含む第１の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の一方の方向に候補領域をシフトする第１のスキャン動作を、上記ベース画像表示領域内で最終となる第２の候補領域まで行い、上記第１のスキャン動作の各シフト後の候補領域と上記第１の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記一方の方向の開始点を決定する第１のステップと、
    前記第２の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の他方の方向に候補領域をシフトする第２のスキャン動作を、上記ベース画像表示領域内で最終となる第３の候補領域まで行い、上記第２のスキャン動作の各シフト後の候補領域と上記第２の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記他方の方向の開始点を決定する第２のステップと、
    を含む画像処理方法。
  6. 上記動画像は、当該動画像に含まれる複数の画像のそれぞれが所定数の画素からなる複数のブロックに分割されて所定の圧縮処理が施されたものであり、
    上記第１および第２のスキャン動作における各シフト後に得られた各候補領域は、上記ブロックを単位とした領域であり、
    上記第１および第２のステップでは、
    上記ブロックを所定方向にスキャンして所定数のブロックからなる上記候補領域の位置をブロック単位でシフトし、
    上記候補領域の位置をブロック単位でシフトするたびに、上記動き量の総和を候補領域ごとに算出して当該総和の最小値を保持し更新することで、当該総和が最小となる候補領域を算出する、
    請求項５に記載の画像処理方法。
  7. ベースとなる動画像にサブ画像を重ね合わせる処理が可能な画像処理を実行するためのプログラムであって、
    上記画像処理が、
    上記動画像を表示するベース画像表示領域内で、上記サブ画像と同じ大きさで位置が異なる、サブ画像を表示可能な全ての候補領域の中から、上記サブ画像を表示すべきサブ画像表示領域を検出する検出処理と、
    上記検出したサブ画像表示領域に上記サブ画像を表示させて、当該サブ画像を上記動画像と重ね合わせる画像重ね合わせ処理と、を有し、
    上記検出処理が、
    上記ベース画像表示領域の原点を含む第１の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の一方の方向に候補領域をシフトする第１のスキャン動作を、上記ベース画像表示領域内で最終となる第２の候補領域まで行い、上記第１のスキャン動作の各シフト後の候補領域と上記第１の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記一方の方向の開始点を決定する第１の処理と、
    前記第２の候補領域をスキャンの開始点として、Ｘ方向とＹ方向の他方の方向に候補領域をシフトする第２のスキャン動作を、上記ベース画像表示領域内で最終となる第３の候補領域まで行い、上記第２のスキャン動作の各シフト後の候補領域と上記第２の候補領域とを含む複数の候補領域の中から、上記動画像の動き量が最小の候補領域を求め、当該求めた候補領域の位置から上記サブ画像表示領域の上記他方の方向の開始点を決定する第２の処理と、
    を含み、
    上記第１および第２の処理を含む上記検出処理と上記画像重ね合わせ処理とをコンピュータに実行させる、
    プログラム。
  8. 上記動画像は、当該動画像に含まれる複数の画像のそれぞれが所定数の画素からなる複数のブロックに分割されて所定の圧縮処理が施されたものであり、
    上記第１および第２の処理における各シフト後に得られた各候補領域は、上記ブロックを単位とした領域であり、
    上記第１および第２の処理では、
    上記ブロックを所定方向にスキャンして所定数のブロックからなる上記候補領域の位置をブロック単位でシフトし、
    上記候補領域の位置をブロック単位でシフトするたびに、上記動き量の総和を候補領域ごとに算出して当該総和の最小値を保持し更新することで、当該総和が最小となる候補領域を算出する、
    各処理をコンピュータに実行させる、
    請求項７記載のプログラム。
JP2007167374A 2007-06-26 2007-06-26 画像処理装置およびその方法、並びにプログラム Expired - Fee Related JP5217270B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007167374A JP5217270B2 (ja) 2007-06-26 2007-06-26 画像処理装置およびその方法、並びにプログラム
US12/123,936 US8228432B2 (en) 2007-06-26 2008-05-20 Picture processing device, method therefor, and program
CN2008101305251A CN101335858B (zh) 2007-06-26 2008-06-26 画面处理装置、方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007167374A JP5217270B2 (ja) 2007-06-26 2007-06-26 画像処理装置およびその方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2009010460A JP2009010460A (ja) 2009-01-15
JP2009010460A5 JP2009010460A5 (ja) 2010-05-06
JP5217270B2 true JP5217270B2 (ja) 2013-06-19

Family

ID=40160605

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007167374A Expired - Fee Related JP5217270B2 (ja) 2007-06-26 2007-06-26 画像処理装置およびその方法、並びにプログラム

Country Status (3)

Country Link
US (1) US8228432B2 (ja)
JP (1) JP5217270B2 (ja)
CN (1) CN101335858B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100016741A (ko) * 2008-08-05 2010-02-16 삼성전자주식회사 영상처리장치 및 그 제어 방법
JP5627617B2 (ja) * 2012-02-22 2014-11-19 株式会社東芝 画像処理装置及び画像表示システム
KR101560186B1 (ko) * 2013-03-18 2015-10-14 삼성전자주식회사 움직임 예측에 있어 적응적 탐색 범위 결정을 이용한 부호화, 복호화 방법 및 장치
CN104349200B (zh) * 2013-08-09 2018-04-03 晨星半导体股份有限公司 电视控制装置与相关方法
JP6352126B2 (ja) * 2014-09-17 2018-07-04 ヤフー株式会社 広告表示装置、広告表示方法、及び広告表示プログラム
CN107786904A (zh) * 2017-10-30 2018-03-09 深圳Tcl数字技术有限公司 画面放大方法、显示设备及计算机可读存储介质
CN111314626B (zh) * 2020-02-24 2021-12-07 北京字节跳动网络技术有限公司 用于处理视频的方法和装置
CN112667518B (zh) * 2021-01-11 2024-05-31 宁波弘讯科技股份有限公司 注塑机控制器的软件测试方法、装置、系统及可读存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06205324A (ja) * 1993-01-07 1994-07-22 Oki Electric Ind Co Ltd Ｐｉｐの子画面位置制御方法及び装置
JPH1013799A (ja) * 1996-06-19 1998-01-16 Mega Chips:Kk テレビ電話装置
JPH10200873A (ja) * 1997-01-16 1998-07-31 Sharp Corp テレビ電話装置
US6046778A (en) * 1997-10-29 2000-04-04 Matsushita Electric Industrial Co., Ltd. Apparatus for generating sub-picture units for subtitles and storage medium storing sub-picture unit generation program
JP4240785B2 (ja) * 2000-08-31 2009-03-18 キヤノン株式会社 受信装置、及び受信装置の制御方法
JP4765194B2 (ja) * 2001-05-10 2011-09-07 ソニー株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム格納媒体及び動画像符号化プログラム
JP3944225B2 (ja) * 2002-04-26 2007-07-11 株式会社エヌ・ティ・ティ・ドコモ 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
JP2004073416A (ja) 2002-08-14 2004-03-11 Sankyo Kk 遊技機
JP2005242204A (ja) * 2004-02-27 2005-09-08 Matsushita Electric Ind Co Ltd 情報表示方法及び情報表示装置
JP4476723B2 (ja) * 2004-07-14 2010-06-09 アルパイン株式会社 画像表示装置
EP1855463B1 (en) * 2005-02-21 2010-04-28 Panasonic Corporation Moving picture processing method
JP4011082B2 (ja) * 2005-11-08 2007-11-21 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、グラフィックプロセッサ、制御用プロセッサおよび情報処理方法
JP4861109B2 (ja) * 2006-09-27 2012-01-25 富士通株式会社 画像データ処理装置、画像データ処理方法、画像データ処理プログラム、および、撮像装置
JP2008160620A (ja) * 2006-12-26 2008-07-10 Matsushita Electric Ind Co Ltd 画像処理装置および撮像装置
JP2009071689A (ja) * 2007-09-14 2009-04-02 Sony Corp 画像処理装置、画像処理方法および撮像装置

Also Published As

Publication number Publication date
CN101335858A (zh) 2008-12-31
CN101335858B (zh) 2011-09-07
US8228432B2 (en) 2012-07-24
JP2009010460A (ja) 2009-01-15
US20090003727A1 (en) 2009-01-01

Similar Documents

Publication Publication Date Title
JP5217270B2 (ja) 画像処理装置およびその方法、並びにプログラム
US8144777B2 (en) Motion vector detection method and apparatus
CN1980394A (zh) 运动矢量估计装置和运动矢量估计方法
CN102577365B (zh) 视频显示装置
JP2009010492A (ja) 画像復号化装置及び画像変換回路
JP2009239951A (ja) 動画像復号化装置
JP4764706B2 (ja) 動画像変換装置
US6178203B1 (en) Method and apparatus for two-row decoding of MPEG video
US7421152B2 (en) Method for resizing an image using the inverse discrete cosine transform
JP2007228093A (ja) 動き検出装置及び動き検出方法
US6754278B1 (en) Method for recovering moving picture by extending a damaged region in which an error occurs
JP4523024B2 (ja) 画像符号化装置および画像符号化方法
CN101437161B (zh) 视频数据处理方法和系统
US20110032431A1 (en) Frame interpolating device and frame interpolating method
US20070297506A1 (en) Decoder and decoding method
JP5377649B2 (ja) 画像処理装置および映像再生装置
CN103260025A (zh) 用于解码视频图像的方法和设备
JP2005252514A (ja) デジタル画像信号復号化装置及び復号化方法
JP4383844B2 (ja) 映像表示装置及び映像表示装置の制御方法
JP5328549B2 (ja) 画像処理装置及びその制御方法
JP5147566B2 (ja) 動きベクトル検出装置及びその方法
JP2006238378A (ja) ビデオビットストリーム復号化出力装置
JP2006217166A (ja) 画像処理装置および画像処理方法
KR100686172B1 (ko) 디지털 수신기의 부화면 조정 방법
JP2015039049A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100319

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees