JP5263565B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP5263565B2
JP5263565B2 JP2006278352A JP2006278352A JP5263565B2 JP 5263565 B2 JP5263565 B2 JP 5263565B2 JP 2006278352 A JP2006278352 A JP 2006278352A JP 2006278352 A JP2006278352 A JP 2006278352A JP 5263565 B2 JP5263565 B2 JP 5263565B2
Authority
JP
Japan
Prior art keywords
image
aspect ratio
unit
display
additional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006278352A
Other languages
English (en)
Other versions
JP2008098966A5 (ja
JP2008098966A (ja
Inventor
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006278352A priority Critical patent/JP5263565B2/ja
Priority to US11/857,189 priority patent/US8305491B2/en
Publication of JP2008098966A publication Critical patent/JP2008098966A/ja
Publication of JP2008098966A5 publication Critical patent/JP2008098966A5/ja
Application granted granted Critical
Publication of JP5263565B2 publication Critical patent/JP5263565B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N21/440272—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA for performing aspect ratio conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221—Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Television Systems (AREA)

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に、TV（テレビジョン受像機）等の表示画面において、画像に映っている被写体を変形させずに、画像を表示するとともに、その表示画面を有効に利用することができるようにする画像処理装置、画像処理方法、及びプログラムに関する。
現在、アスペクト比や画素数等の画像フォーマットが異なる画像が存在する。具体的には、例えば、アスペクト比が4:3の画像（以下、適宜、4:3画像ともいう）や、アスペクト比が16:9の画像（以下、適宜、16:9画像ともいう）等がある。
また、画像を表示するTV等の表示装置としても、アスペクト比や画素数等の、表示画面の画面フォーマットが異なる表示装置が存在する。具体的には、アスペクト比が4:3の表示画面（以下、適宜、4:3画面ともいう）を有する表示装置や、アスペクト比が16:9の表示画面（以下、適宜、16:9画面ともいう）を有する表示装置等がある。
画像を、その画像のアスペクト比と一致するアスペクト比の表示画面に表示する場合、すなわち、例えば、4:3画面において、4:3画像を表示する場合や、16:9画面において、16:9画像を表示する場合には、表示画面の全体に、画像を表示することができるので、画像に映っている被写体を変形させずに、表示画面を有効に利用して画像を表示することができる。
しかしながら、画像のアスペクト比と、表示画面のアスペクト比とが異なる場合には、表示画面を有効に利用することができないことがある。
すなわち、図１は、画像のアスペクト比と異なるアスペクト比の表示画面に、画像を表示した表示例を示している。
図１上側は、16:9画像を、4:3画面に表示した場合の表示例を示している。
16:9画像を、4:3画面に表示した場合には、16:9画像の画像全体のアスペクト比と、4:3画面のアスペクト比との違いに起因して、4:3画面において、16:9画像は、その上下に、いわゆる黒枠（又は黒縁）と呼ばれる黒色等の領域が付加された状態の、いわゆるレターボックスで表示される。
したがって、16:9画像を、4:3画面に表示した場合には、4:3画面の上下の、黒枠の部分は、いわば有効な画像（情報としての価値がある画像）の表示に使用されない不使用領域となる。
図１下側は、4:3画像を、16:9画面に表示した場合の表示例を示している。
4:3画像を、16:9画面に表示した場合には、4:3画像の画像全体のアスペクト比と、16:9画面のアスペクト比との違いに起因して、16:9画面において、4:3画像は、その左右に黒枠が付加された、いわゆるサイドパネル付きの状態で表示される。
したがって、4:3画像を、16:9画面に表示した場合には、16:9画面の左右の、黒枠の部分は、画像の表示に使用されない不使用領域となる。
以上のように、画像のアスペクト比と異なるアスペクト比の表示画面に画像を表示する場合には、表示画面に、画像の表示に使用されない不使用領域が生じ、表示画面が有効に利用されないことがある。
そこで、4:3画像を、16:9画面に表示する場合には、4:3画像の横方向と縦方向のうちの、横方向をより引き延ばすような、4:3画像のアスペクト比の変換を行うことによって、アスペクト比が16:9の画像を得て、16:9画面の全体に表示する方法がある（例えば、特許文献１を参照）。
なお、その他、画像を表示する方法としては、特許文献２や３に記載の方法がある。
特許文献２では、親画面中に親画面上で指定した一部を拡大または縮小表示させるための子画面を設けること（ただし、親画面と子画面で表示される元信号は別々）が記載されている。特許文献２に記載の方法では、PinP（Picture in Picture）の子画面に親画面の拡大または縮小画像を表示するため、親画面の一部が子画面により隠れてしまう。
また、特許文献３では、親画面に表示される監視カメラ画像中の注目箇所を拡大表示する子画面を親画面外に設けることが記載されている。特許文献３に記載の方法では、ディスプレイ中で画像が表示されていない部分が多く、表示領域を有効に利用できていない。
特許第2759727号 特開平9-163260号公報 特開2006-33380号公報
例えば、TV等の表示装置において、上述したように、表示画面に、画像の表示に使用されない不使用領域が生じることは、そのTV等が有する能力としての解像度を十分に発揮していないことになるので、好ましくない。
また、特許文献１に記載のように、4:3画像のアスペクト比の変換を行い、アスペクト比が16:9の画像を得ることによって、16:9画面の全体に、画像を表示することができるが、4:3画像のアスペクト比の変換を行うことによって得られる、アスペクト比が16:9の画像においては、そのアスペクト比の変換によって、元の4:3画像に映っている被写体が変形し、例えば、顔が横長に表示されることになる。
このように、画像に映っている被写体を変形して表示することは、その被写体の、いわば本来の情報を表示しないことになるから、好ましいことではない。
本発明は、このような状況に鑑みてなされたものであり、被写体を変形させずに画像を表示するとともに、表示画面をより有効に利用することができるようにするものである。
本発明の一側面の画像処理装置は、画像を表示する表示手段に、動画である入力画像を表示させる画像処理装置であり、前記入力画像を、横又は縦のサイズが前記表示画面の横又は縦のサイズと一致し、かつ、前記表示画面の画面サイズ以下の画像サイズの画像であって、前記入力画像の横及び縦のサイズを同一倍した画像である等アスペクト比画像に変換する画像変換手段と、前記等アスペクト比画像を、その等アスペクト比画像のアスペクト比を変えずに、前記表示手段に表示したときに、前記表示手段の表示画面において、前記等アスペクト比画像の表示に使用されない不使用領域のサイズ内の画像サイズの画像である付加画像を、前記入力画像から生成する付加画像生成手段と、各フレーム又はフィールドの前記入力画像を変換して得られる前記等アスペクト比画像と、そのフレーム又はフィールドの前記入力画像から生成される前記付加画像とが重ならないように結合された結合画像を生成する結合画像生成手段と、前記結合画像を、前記表示手段に表示させる表示制御手段とを備え、前記付加画像生成手段は、前記入力画像の一部の、被写体が映っている領域を拡大、又は縮小した画像を、前記付加画像として生成し、前記表示制御手段は、第１の前記付加画像と、前記第１の付加画像とは異なる第２の付加画像にそれぞれ映っている被写体どうしの、前記等アスペクト比画像上の位置関係と、前記第１の付加画像と前記第２の付加画像の位置関係とが一致した前記結合画像を、前記表示手段に表示させる画像処理装置である。
本発明の一側面の画像処理方法、又はプログラムは、画像を表示する表示手段に、動画である入力画像を表示させる画像処理装置の画像処理方法、又は画像処理を、コンピュータに実行させるプログラムであり、前記入力画像を、横又は縦のサイズが前記表示画面の横又は縦のサイズと一致し、かつ、前記表示画面の画面サイズ以下の画像サイズの画像であって、前記入力画像の横及び縦のサイズを同一倍した画像である等アスペクト比画像に変換する画像変換ステップと、前記等アスペクト比画像を、その等アスペクト比画像のアスペクト比を変えずに、前記表示手段に表示したときに、前記表示手段の表示画面において、前記等アスペクト比画像の表示に使用されない不使用領域のサイズ内の画像サイズの画像である付加画像を、前記入力画像から生成する付加画像生成ステップと、各フレーム又はフィールドの前記入力画像を変換して得られる前記等アスペクト比画像と、そのフレーム又はフィールドの前記入力画像から生成される前記付加画像とが重ならないように結合された結合画像を生成する結合画像生成ステップと、前記結合画像を、前記表示手段に表示させる表示制御ステップとを含み、前記付加画像生成ステップは、前記入力画像の一部の、被写体が映っている領域を拡大、又は縮小した画像を、前記付加画像として生成し、前記表示制御ステップは、第１の前記付加画像と、前記第１の付加画像とは異なる第２の付加画像にそれぞれ映っている被写体どうしの、前記等アスペクト比画像上の位置関係と、前記第１の付加画像と前記第２の付加画像の位置関係とが一致した前記結合画像を、前記表示手段に表示させる画像処理方法、又はプログラムである。
本発明の一側面においては、前記入力画像が、横又は縦のサイズが前記表示画面の横又は縦のサイズと一致し、かつ、前記表示画面の画面サイズ以下の画像サイズの画像であって、前記入力画像の横及び縦のサイズを同一倍した画像である等アスペクト比画像に変換される。さらに、前記等アスペクト比画像を、その等アスペクト比画像のアスペクト比を変えずに、前記表示手段に表示したときに、前記表示手段の表示画面において、前記等アスペクト比画像の表示に使用されない不使用領域のサイズ内の画像サイズの画像である付加画像が、前記入力画像から生成される。そして、各フレーム又はフィールドの前記入力画像を変換して得られる前記等アスペクト比画像と、そのフレーム又はフィールドの前記入力画像から生成される前記付加画像とが重ならないように結合された結合画像が生成されて表示される。なお、前記入力画像の一部の、被写体が映っている領域を拡大、又は縮小した画像が、前記付加画像として生成され、第１の前記付加画像と、前記第１の付加画像とは異なる第２の付加画像にそれぞれ映っている被写体どうしの、前記等アスペクト比画像上の位置関係と、前記第１の付加画像と前記第２の付加画像の位置関係とが一致した前記結合画像が、前記表示手段に表示される。
なお、プログラムは、伝送媒体を介して伝送すること、又は、記録媒体に記録することにより提供することができる。
本発明の一側面によれば、画像を表示することができる。特に、被写体を変形させずに画像を表示するとともに、表示画面をより有効に利用することができる。
以下、図面を参照して、本発明の実施の形態について説明する。
なお、本実施の形態では、説明を簡単にするため、１画素の横の長さと縦の長さとは等しいこととする。
図２は、本発明を適用した表示システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは、問わない）の一実施の形態の構成例を示している。
図２において、表示システムは、リモートコマンダ１０と、表示処理装置２０とから構成されている。
リモートコマンダ１０は、表示処理装置２０で表示される画像に映る被写体を指定するとき、その他、表示処理装置２０の電源をオン又はオフするとき等に、ユーザによって操作される。リモートコマンダ１０は、ユーザの操作に対応した操作信号を、赤外線等の電波によって、表示処理装置２０に送信する。
表示処理装置２０は、画像を表示させる画像処理装置としての、例えば、TVであり、取得部２１、画像フォーマット検出部２２、バッファ２３、画像変換部２４、対象領域設定部２５、付加画像生成部２６、結合画像生成部２７、表示制御部２８、表示部２９、及び制御部３０から構成される。
取得部２１は、例えば、地上波ディジタル放送等で放送された放送データや、DVD等の記録媒体から再生された再生データ等の、動画である入力画像（データ）を含むデータを受信することにより取得し、バッファ２３に供給する。
画像フォーマット検出部２２は、バッファ２３に記憶されたデータに含まれる入力画像のアスペクト比等を含む画像フォーマットを検出し、その画像フォーマットや、表示部２９の表示画面の画面フォーマットに基づき、画像変換部２４、及び対象領域設定部２５を制御する。
ここで、画像フォーマット検出部２２には、表示部２９の表示画面の画面フォーマットが、あらかじめ記憶されていることとする。画面フォーマットには、表示部２９の表示画面のアスペクト比と、横及び縦の画素数等の画面サイズとが含まれる。なお、表示部２９は、表示処理装置２０から独立した装置として構成することができ、この場合、例えば、その独立した装置としての表示部２９から、画像フォーマット検出部２２に対して、表示部２９の画面フォーマットが供給される。
また、バッファ２３に記憶されたデータに含まれる入力画像は、どのような画像フォーマットの画像であってもよいが、以下では、説明を簡単にするため、例えば、前述の図２に示した4:3画像と16:9画像の２種類であることとする。
さらに、画像フォーマット検出部２２が検出する画像フォーマットには、アスペクト比の他、入力画像の横及び縦の画素数等の画像サイズを認識することができる情報が含まれることとする。
なお、例えば、画像フォーマット（の情報）が、放送データに含まれる場合には、画像フォーマット検出部２２は、放送データから画像フォーマットを検出する。
バッファ２３は、取得部２１から供給される、入力画像を含むデータを一時記憶する。バッファ２３に記憶されたデータに含まれる入力画像は、例えば、フレーム単位で読み出され、画像変換部２４及び対象領域設定部２５に供給される。すなわち、画像変換部２４及び対象領域設定部２５には、同一のフレームの入力画像が供給される。
なお、バッファ２３から画像変換部２４及び対象領域設定部２５には、その他、例えば、フィールド単位等で、入力画像を供給することができる。
画像変換部２４は、画像フォーマット検出部２２からの制御に基づいて、バッファ２３からの入力画像を、拡大、又は縮小するサイズ変換を行い、そのサイズ変換によって得られる等アスペクト比画像を、結合画像生成部２７に供給する。
すなわち、画像変換部２４は、バッファ２３からの入力画像を、横又は縦のサイズが表示部２９の表示画面の横又は縦のサイズと一致し、かつ、表示部２９の表示画面の画面サイズ以下の画像サイズの画像であって、入力画像の横及び縦のサイズを同一倍した画像である等アスペクト比画像に変換するサイズ変換を行い、そのサイズ変換によって得られる等アスペクト比画像を、結合画像生成部２７に供給する。
対象領域設定部２５は、画像フォーマット検出部２２及び制御部３０の制御にしたがい、バッファ２３からの入力画像の一部の領域を、後述する付加画像生成部２６が付加画像を生成するのに拡大、又は縮小するサイズ変換の対象とする対象領域に設定し、付加画像生成部２６に供給する。
なお、対象領域設定部２５は、メモリ２５Ａを内蔵しており、メモリ２５Ａは、対象領域設定部２５が処理を行う上で必要なデータを、適宜記憶する。
付加画像生成部２６は、画像変換部２４からの等アスペクト比画像を、その等アスペクト比画像のアスペクト比を変えずに、表示部２９に表示したときに、表示部２９の表示画面において、等アスペクト比画像の表示に使用されない不使用領域のサイズ内の画像サイズの画像である付加画像を、対象領域設定部２５から供給される対象領域、つまり、入力画像の一部の領域から生成して、結合画像生成部２７に供給する。
すなわち、付加画像生成部２６は、例えば、等アスペクト比画像を、そのアスペクト比を変えずに、表示部２９に表示したときに、表示部２９の表示画面において、等アスペクト比画像の表示に使用されない不使用領域のサイズと同一の画像サイズの付加画像を、対象領域設定部２５から供給される対象領域から生成して、結合画像生成部２７に供給する。
結合画像生成部２７は、バッファ２３から入力画像が読み出される単位である各フレーム（又はフィールド）の入力画像をサイズ変換して得られる等アスペクト比画像と、そのフレームの入力画像の一部である対象領域から生成される付加画像とが重ならないように結合された結合画像を生成し、表示制御部２８に供給する。
すなわち、結合画像生成部２７は、画像変換部２４から供給される等アスペクト比画像と、その等アスペクト比画像に変換されたフレームの入力画像に設定された対象領域から生成され、付加画像生成部２６から供給される付加画像とを、その等アスペクト比画像と付加画像とが重ならないように結合し、その結果得られる結合画像を、表示制御部２８に供給する。
表示制御部２８は、表示部２９を制御し、結合画像生成部２７からの結合画像を、表示部２９に表示させる。
表示部２９は、例えば、CRT(Cathode Ray Tube)やLCD(Liquid Crystal Display)等で構成され、表示制御部２８の制御にしたがって、結合画像を、表示画面に表示する。
制御部３０は、表示処理装置２０を構成する各ブロックを制御する。また、制御部３０は、リモートコマンダ１０から送信されてくる操作信号を受信し、その操作信号に基づいて、対象領域設定部２５その他を制御する。
次に、図３及び図４を参照して、図２の画像変換部２４の処理について説明する。
画像変換部２４は、上述したように、画像フォーマット検出部２２からの制御に基づいて、バッファ２３からの入力画像を、横又は縦のサイズが表示部２９の表示画面の横又は縦のサイズと一致し、かつ、表示部２９の表示画面の画面サイズ以下の画像サイズの画像であって、入力画像の横及び縦のサイズを同一倍した画像である等アスペクト比画像に変換するサイズ変換を行う。
すなわち、画像フォーマット検出部２２は、画像フォーマットと画面フォーマットとに基づき、入力画像のアスペクト比と、表示部２９の表示画面のアスペクト比とが一致するかどうかを判定する。
そして、入力画像のアスペクト比と、表示画面のアスペクト比とが一致する場合には、画像フォーマット検出部２２は、図３に示すように、入力画像を、画像サイズが表示画面の画面サイズと一致し、アスペクト比が入力画像と同一の等アスペクト比画像に変換するように、画像変換部２４を制御する。また、入力画像のアスペクト比と、表示画面のアスペクト比とが一致しない場合には、画像フォーマット検出部２２は、図４に示すように、入力画像を、画像サイズが表示画面の画面サイズより小さく、アスペクト比が入力画像と同一の等アスペクト比画像に変換するように、画像変換部２４を制御する。
すなわち、入力画像のアスペクト比と、表示画面のアスペクト比とが一致する場合には、画像フォーマット検出部２２は、例えば、図３に示すように、表示画面の横又は縦のサイズのうちの一方のサイズとしての、例えば、横の画素数H1と、入力画像の横又は縦のうちの対応する一方としての横の画素数H2とに基づき、入力画像の横の画素数H2を、表示画面の横の画素数H1に一致させる倍率（以下、適宜、変換係数という）H1/H2を求め、入力画像の横及び縦の画素数を、その変換係数H1/H2倍するように、画像変換部２４を制御する。
画像変換部２４は、画像フォーマット検出部２２の制御にしたがい、バッファ２３からの入力画像の横及び縦の画素数を、変換係数H1/H2倍する。これにより、入力画像は、横又は縦の画素数が表示画面の横又は縦の画素数とそれぞれ一致する、表示画面の画面サイズと等しい画像サイズの画像であって、入力画像の横及び縦の画素数を同一倍である変換係数H1/H2倍した等アスペクト比画像に変換される。
すなわち、いまの場合、入力画像のアスペクト比と、表示画面のアスペクト比とが一致するので、表示画面の縦の画素数V1と、入力画像の縦の画素数V2との比V1/V2は、変換係数H1/H2に等しい（表示画面の縦の画素数V1と、入力画像の縦の画素数V2との比V1/V2が変換係数であるということができる）。
したがって、横×縦の画素数がH2×V2の入力画像の横及び縦の画素数を、変換係数H1/H2(=V1/V2)倍することにより、横×縦の画素数が、表示画面の横×縦の画素数であるH1×V1に等しい画像、つまり、横又は縦のサイズがそれぞれ表示画面の横又は縦のサイズと一致する、表示画面の画面サイズと等しい画像サイズの画像であって、入力画像の横及び縦のサイズを同一倍である変換係数H1/H2倍した画像が、等アスペクト比画像として得られる。
ここで、図３上側は、入力画像のアスペクト比と、表示画面のアスペクト比とが16:9で一致する場合の等アスペクト比画像を示している。
また、図３下側は、入力画像のアスペクト比と、表示画面のアスペクト比とが4:3で一致する場合の等アスペクト比画像を示している。
入力画像のアスペクト比と、表示画面のアスペクト比とが一致する場合、画像変換部２４において、入力画像をサイズ変換することにより得られる等アスペクト比画像の画像サイズとしての、例えば、横×縦の画素数は、表示画面の画面サイズに一致するので、等アスペクト比画像は、表示部２９の表示画面の全体を有効に利用して表示することができる。
また、等アスペクト比画像は、入力画像の横及び縦のサイズを同一倍である変換係数H1/H2倍した画像であるので、等アスペクト比画像のアスペクト比は、入力画像のアスペクト比と一致し、すなわち、例えば、入力画像が4:3画像であれば、等アスペクト比画像も4:3画像となり、入力画像16:9画像であれば、等アスペクト比画像も16:9画像となり、その結果、等アスペクト比画像は、入力画像に映っている被写体が変形されずに反映された画像となる。
一方、入力画像のアスペクト比と、表示画面のアスペクト比とが一致しない場合には、画像フォーマット検出部２２は、例えば、図４に示すように、入力画像のアスペクト比と、表示画面のアスペクト比とに基づき、入力画像の横又は縦のうちの一方の画素数を、表示画面の横又は縦のうちの対応する一方の画素数に一致させる倍率としての変換係数Kを求め、入力画像の横及び縦の画素数を、その変換係数K倍するように、画像変換部２４を制御する。
すなわち、画像フォーマット検出部２２は、入力画像のアスペクト比と、表示画面のアスペクト比とが一致しない場合には、表示画面の横の画素数H1と入力画像の横の画素数H2との比である横比H1/H2、及び表示画面の縦の画素数V1と入力画像の縦の画素数V2との比である縦比V1/V2を求める。さらに、画像フォーマット検出部２２は、横比H1/H2と縦比V1/V2とのうちの小さい方を、変換係数Kに決定し、入力画像の横及び縦の画素数を、その変換係数K倍するように、画像変換部２４を制御する。
したがって、図４上側に示すように、表示画面のアスペクト比が16:9(=H1:V1)であり、入力画像のアスペクト比が4:3(=H2:V2)である場合には、表示画面及び入力画像の画素数によって決まる定数をaとすると、横比H1/H2が16/4×aとなるとともに、縦比V1/V2が9/3×aとなって、縦比V1/V2が横比H1/H2より小となるので、縦比V1/V2が、変換係数Kとなる。
また、図４下側に示すように、表示画面のアスペクト比が4:3(=H1:V1)であり、入力画像のアスペクト比が16:9(=H2:V2)である場合には、表示画面及び入力画像の画素数によって決まる定数をbとすると、横比H1/H2が4/16×bとなるとともに、縦比V1/V2が3/9×bとなって、横比H1/H2が縦比V1/V2より小となるので、横比H1/H2が、変換係数Kとなる。
そして、画像変換部２４は、画像フォーマット検出部２２の制御にしたがい、バッファ２３からの入力画像の横及び縦の画素数を、変換係数K倍する。これにより、入力画像は、横又は縦のうちの一方の画素数が表示画面の横又は縦のうちの対応する一方の画素数と一致し、かつ、表示画面の画面サイズ以下の画像サイズの画像であって、入力画像の横及び縦のサイズを同一倍である変換係数K倍した等アスペクト比画像に変換される。
すなわち、図４上側に示すように、表示画面のアスペクト比が16:9(=H1:V1)であり、入力画像のアスペクト比が4:3(=H2:V2)である場合には、上述したように、縦比V1/V2が、変換係数Kとなる。
この場合、横×縦の画素数がH2×V2の入力画像の横及び縦の画素数は、変換係数K=V1/V2倍され、その結果、図４上側に示すように、縦の画素数が、表示画面の縦の画素数であるV1に等しく、横の画素数が、表示画面の横の画素数であるH1より小のH1'の画像、つまり、縦のサイズが表示画面の縦のサイズV1と一致し、かつ、表示画面の画面サイズより小の画像サイズの画像であって、入力画像の横及び縦のサイズを同一倍である変換係数K=V1/V2倍した画像が、等アスペクト比画像として得られる。
すなわち、表示画面のアスペクト比が16:9であり、入力画像のアスペクト比が4:3である場合には、アスペクト比が入力画像のアスペクト比と同一の4:3で、縦の画素数が表示画面の縦の画素数V1と一致し、かつ、横の画素数が表示画面の横の画素数H1よりも小の画像が、等アスペクト比画像として得られる。
一方、図４下側に示すように、表示画面のアスペクト比が4:3(=H1:V1)であり、入力画像のアスペクト比が16:9(=H2:V2)である場合には、上述したように、横比H1/H2が、変換係数Kとなる。
この場合、横×縦の画素数がH2×V2の入力画像の横及び縦の画素数は、変換係数K=H1/H2倍され、その結果、図４下側に示すように、横の画素数が、表示画面の横の画素数であるH1に等しく、縦の画素数が、表示画面の縦の画素数であるV1より小のV1'の画像、つまり、横のサイズが表示画面の横のサイズH1と一致し、かつ、表示画面の画面サイズより小の画像サイズの画像であって、入力画像の横及び縦のサイズを同一倍である変換係数K=H1/H2倍した画像が、等アスペクト比画像として得られる。
すなわち、表示画面のアスペクト比が4:3であり、入力画像のアスペクト比が16:9である場合には、アスペクト比が入力画像のアスペクト比と同一の16:9で、横の画素数が表示画面の横の画素数H1と一致し、かつ、縦の画素数が表示画面の縦の画素数V1よりも小の画像が、等アスペクト比画像として得られる。
以上のように、入力画像のアスペクト比と、表示画面のアスペクト比とが一致する場合であっても、一致しない場合であっても、画像変換部２４における入力画像のサイズ変換では、入力画像の横及び縦のサイズを同一倍である変換係数K倍した画像が、等アスペクト比画像として求められる。したがって、等アスペクト比画像のアスペクト比は、入力画像のアスペクト比に一致するので、すなわち、例えば、入力画像が4:3画像であれば、等アスペクト比画像も4:3画像となり、入力画像16:9画像であれば、等アスペクト比画像も16:9画像となるので、等アスペクト比画像は、入力画像に映っている被写体が変形されずに反映された画像となる。
但し、入力画像のアスペクト比と、表示画面のアスペクト比とが一致しない場合には、画像変換部２４において、入力画像をサイズ変換することにより得られる等アスペクト比画像の横又は縦のうちの、一方のサイズとしての画素数は、表示画面の横又は縦のうちの対応する一方の画素数に一致し、かつ、等アスペクト比画像の横又は縦のうちの他方の画素数は、表示画面の横又は縦のうちの対応する他方の画素数より小になるので、そのような等アスペクト比画像を（そのまま）、表示部２９に表示した場合には、表示部２９の表示画面には、画像の表示に使用されない不使用領域（図４において斜線を付して示す部分）が生じる。
なお、画像変換部２４が行うサイズ変換は、画像サイズとしての、例えば、画素数を変換する画素数変換であるが、この画素数変換は、いわゆる補間処理や間引き処理によって行うことができる他、本件出願人が先に提案しているクラス分類適応処理によって行うことができる。クラス分類適応処理についての詳細は、後述する。
次に、図５ないし図７を参照して、図２の対象領域設定部２５の処理について説明する。
図４で説明したように、入力画像のアスペクト比と、表示画面のアスペクト比とが一致しない場合には、画像変換部２４において得られる等アスペクト比画像の横又は縦のうちの一方の画素数は、表示画面のそれに一致するが、他方の画素数は、表示画面のそれより小となるので、そのような等アスペクト比画像を（そのまま）、表示部２９に表示した場合には、表示部２９の表示画面には、画像の表示に使用されない不使用領域が生じる。
すなわち、例えば、表示画面のアスペクト比が4:3であり、入力画像のアスペクト比が16:9である場合には、アスペクト比が入力画像のアスペクト比と同一の16:9で、横の画素数が表示画面の横の画素数H1と一致し、かつ、縦の画素数が表示画面の縦の画素数V1よりも小の16:9画像が、等アスペクト比画像として得られるので、そのような16:9画像の等アスペクト比画像を、アスペクト比が4:3の表示画面である4:3画面に表示する場合には、図５左側に示すように、4:3画面の上又は下の部分が、画像が表示されない部分（画像の表示に使用されない部分）である不使用領域となる。
なお、図５左側に示すように、4:3画面において、その上下の中間の位置に、16:9画像である等アスペクト比画像を表示した場合には、4:3画面の上下の部分の両方に、不使用領域が生じる。また、4:3画面において、その下の位置に、16:9画像である等アスペクト比画像の下の位置を合わせるように、その等アスペクト比画像を表示した場合には、4:3画面の上の部分のみに、不使用領域が生じ、4:3画面において、その上の位置に、16:9画像である等アスペクト比画像の上の位置を合わせるように、その等アスペクト比画像を表示した場合には、4:3画面の下の部分のみに、不使用領域が生じる。
同様に、表示画面のアスペクト比が16:9であり、入力画像のアスペクト比が4:3である場合も、不使用領域が生じる。
すなわち、表示画面のアスペクト比が16:9であり、入力画像のアスペクト比が4:3である場合には、アスペクト比が入力画像のアスペクト比と同一の4:3で、縦の画素数が表示画面の縦の画素数V1と一致し、かつ、横の画素数が表示画面の横の画素数H1よりも小の4:3画像が、等アスペクト比画像として得られるので、そのような4:3画像の等アスペクト比画像を、アスペクト比が16:9の表示画面である16:9画面に表示する場合には、図５右側に示すように、等アスペクト比画像の左又は右の部分が、不使用領域となる。
なお、図５右側に示すように、16:9画面において、その左右の中間の位置に、4:3画像である等アスペクト比画像を表示した場合には、16:9画面の左右の部分の両方に、不使用領域が生じる。また、16:9画面において、その右の位置に、4:3画像である等アスペクト比画像の右の位置を合わせるように、その等アスペクト比画像を表示した場合には、16:9画面の左の部分のみに、不使用領域が生じ、16:9画面において、その左の位置に、4:3画像である等アスペクト比画像の左の位置を合わせるように、その等アスペクト比画像を表示した場合には、16:9画面の右の部分のみに、不使用領域が生じる。
以上のように、表示画面に、不使用領域があることは、表示画面の利用の観点から好ましくない。そこで、画像処理装置２０（図２）では、表示画面をより有効に利用すべく、不使用領域に、等アスペクト比画像とは別の画像である付加画像を表示するようになっている。
ここで、付加画像を表示する不使用領域の位置は、特に限定されるものではないが、以下では、説明を簡単にするため、付加画像を表示する不使用領域は、例えば、表示画面の上の部分、又は右の部分とする。
すなわち、表示画面が4:3画面であり、入力画像が16:9画像である場合には、図５左側に示したように、4:3画面において、その下の位置に、16:9画像である等アスペクト比画像の下の位置を合わせるように、その等アスペクト比画像が表示されることによって、4:3画面の上の部分のみに生じる不使用領域に、付加画像が表示されることとする。
また、表示画面が16:9画面であり、入力画像が4:3画像である場合には、図５右側に示したように、16:9画面において、その左の位置に、4:3画像である等アスペクト比画像の左の位置を合わせるように、その等アスペクト比画像が表示されることによって、16:9画面の右の部分のみに生じる不使用領域に、付加画像が表示されることとする。
ところで、入力画像のあるフレームを、注目フレームとして注目すると、例えば、図３で説明したように、入力画像のアスペクトと表示画面のアスペクト比とが一致している場合には、注目フレームの入力画像をサイズ変換して得られる等アスペクト比画像が、表示画面の全体に表示される。したがって、表示画面の全体が、注目フレームの入力画像、ひいては、等アスペクト比画像の表示に寄与している、ということができる。
一方、入力画像のアスペクトと表示画面のアスペクト比とが異なる場合には、入力画像をサイズ変換して得られる等アスペクト比画像を、表示画面に表示したときに、不使用領域が生じるから、表示画面は、その不使用領域の分だけ、注目フレームの入力画像の表示に寄与していない、ということができる。
入力画像のアスペクトと表示画面のアスペクト比とが一致している場合と、入力画像のアスペクトと表示画面のアスペクト比とが異なる場合とにおいて、表示画面の利用の程度を、いわばバランスさせる観点からは、入力画像のアスペクトと表示画面のアスペクト比とが異なる場合も、入力画像のアスペクトと表示画面のアスペクト比とが一致している場合と同様に、表示画面の全体を、注目フレームの入力画像の表示に寄与させることが望ましい。
そこで、表示処理装置２０では、入力画像のアスペクトと表示画面のアスペクト比とが異なる場合には、注目フレームを入力画像をサイズ変換して得られる等アスペクト比画像を、表示画面に表示したときに生じる不使用領域に、例えば、その注目フレームの入力画像の一部を拡大するサイズ変換を行うことによって得られる画像を、付加画像として表示させる。
これにより、入力画像のアスペクトと表示画面のアスペクト比とが異なる場合であっても、入力画像のアスペクトと表示画面のアスペクト比とが一致している場合と同様に、表示画面の全体を、注目フレームの入力画像の表示に寄与させることができる。
以上のように、注目フレームの入力画像の一部を拡大するサイズ変換を行うことによって得られる画像を、付加画像として、不使用領域に表示する場合においては、付加画像を得るサイズ変換の対象となる入力画像の一部としての対象領域を設定する必要があるが、この対象領域の設定は、対象領域設定部２５において行われる。
すなわち、図６は、対象領域設定部２５における対象領域の設定を説明する図である。
図６上から１番目は、入力画像としての4:3画像を示している。すなわち、図６上から１番目は、第nフレーム、第n+1フレーム、及び第n+2フレームの３フレームの4:3画像の入力画像を示している。
図６上から１番目の入力画像においては、第nフレームから第n+2フレームに亘って、星形（☆形）の被写体が、左から右に移動している。
図６上から２番目は、被写体枠が設定された第nないし第n+2フレームの入力画像を示している。
図６上から２番目においては、第nフレームの星形の被写体の位置に、その被写体を囲むように、長方形状の被写体枠が設定されている。
被写体枠（によって囲まれる被写体）の指定は、例えば、ユーザがリモートコマンダ１０を操作することによって行うことができる。すなわち、ユーザが、被写体枠を指定するように、リモートコマンダ１０を操作すると、その操作に対応する操作信号が、リモートコマンダ１０から送信され、制御部３０において受信される。制御部３０は、リモートコマンダ１０から受信した操作信号を、対象領域設定部２５に供給し、対象領域設定部２５は、制御部３０から供給される操作信号に基づいて、被写体枠を設定する。
具体的には、ユーザが、被写体枠を指定するように、リモートコマンダ１０を操作した場合にリモートコマンダ１０から送信されてくる操作信号には、被写体枠の、例えば、左上と右下の座標等の被写体枠の位置と大きさを特定することができる被写体枠パラメータが含まれており、対象領域設定部２５は、その被写体枠パラメータに基づいて、被写体枠を設定する。
そして、対象領域設定部２５は、図６上から３番目、及び４番目に示すように、被写体枠に基づいて、入力画像（の各フレーム）の一部の、例えば、長方形状の領域を、対象領域に設定する。
すなわち、図６上から３番目は、対象領域設定部２５が設定する対象領域を示している。また、図６上から４番目は、図６上から１番目の4:3画像の入力画像をサイズ変換して得られる、4:3画像の等アスペクト比画像を、そのアスペクト比と異なるアスペクト比の16:9画面に表示したときに、右の部分に生じる不使用領域を示している。
例えば、いま、不使用領域が、長方形状の領域であるとして、そのような不使用領域の全体に、入力画像の一部としての対象領域に映っている被写体を変形せずに、その対象領域をサイズ変換して得られる付加画像を表示することとすると、付加画像は、対象領域の横と縦とを同一倍した画像サイズの画像でなければならず、かつ、付加画像の画像サイズ（横と縦のサイズ）は、不使用領域のサイズ（横と縦のサイズ）と一致していなければならない。
したがって、対象領域の横と縦とを同一倍するときの倍率を、倍率パラメータαとするとともに、図６上から３番目に示すように、対象領域の横又は縦のサイズを、x2又はy2と、それぞれ表し、さらに、図６上から４番目に示すように、16:9画面の右の部分に生じる不使用領域の横又は縦のサイズを、x1又はy1とそれぞれ表すこととすると、対象領域の横と縦のサイズx2又はy2は、それぞれ、式x1=αx2、又は式y1=αy2を満たす必要がある。
そこで、対象領域設定部２５は、画像フォーマット検出部２２及び制御部３０の制御にしたがい、式x1=αx2、及び式y1=αy2を満たす、バッファ２３からの入力画像の一部の領域を、対象領域に設定する。
すなわち、画像フォーマット検出部２２は、画像フォーマット及び画面フォーマットに基づき、入力画像のアスペクト比と、表示部２９の表示画面のアスペクト比とが一致するか否かを判定（認識）し、入力画像のアスペクト比が4:3であり、表示部２９の表示画面のアスペクト比が16:9であって、アスペクト比が異なる場合には、図６上から４番目に示すように、4:3画像の等アスペクト比画像を、16:9画面に表示したときに右の部分に生じる不使用領域のサイズとしての横の画素数x1と、縦の画素数y1とを求めて、対象領域設定部２５に供給する。
また、リモートコマンダ１０は、倍率パラメータαを指定するように、ユーザによって操作された場合、その倍率パラメータαを含む操作信号を送信し、制御部３０は、リモートコマンダ１０から送信されてくる操作信号を受信して、対象領域設定部２５に供給し、その対象領域設定部２５が内蔵するメモリ２５Ａに記憶させる。
対象領域設定部２５は、画像フォーマット検出部２２からの不使用領域の横の画素数x1、及び縦の画素数y1と、メモリ２５Ａに記憶された倍率パラメータαとに基づき、式x1=αx2、及び式y1=αy2を満たす対象領域のサイズとしての横の画素数x2、及び縦の画素数y2を求める。
そして、対象領域設定部２５は、図６上から３番目に示すように、入力画像において、被写体枠の、例えば、重心（被写体枠で囲まれる領域の重心）を中心（重心）とし、横の画素数がx2で、縦の画素数がy2の長方形状の領域を、対象領域に設定する。ここで、以下、適宜、説明の便宜上、対象領域を囲む枠を、対象領域枠という。
なお、図６では、被写体枠は、上から２番目に示したように、第nフレームで設定された後は、ユーザがリモートコマンダ１０を操作して、再度、指定（変更）しない限り、設定し直されない。
このため、図６上から１番目に示したように、入力画像の第nフレームから第n+2フレームに亘って、星形の被写体が、左から右に移動している場合には、第nフレームで設定された被写体枠にある星形の被写体は、図６上から３番目に示したように、第n+1フレーム、さらには、第n+2フレームにおいて、第nフレームで設定された被写体枠に基づいて設定された対象領域枠で囲まれる対象領域からはずれていく。すなわち、移動している被写体は、移動しない対象領域の外に移動していく。
対象領域設定部２５は、入力画像のアスペクト比が16:9であり、表示画面のアスペクト比が4:3である場合も、図６で説明した、入力画像のアスペクト比が4:3であり、表示画面のアスペクト比が16:9である場合と同様に、対象領域を設定する。
すなわち、図７は、入力画像のアスペクト比が16:9であり、表示画面のアスペクト比が4:3である場合の、対象領域の設定を説明する図である。
図７上から１番目は、入力画像としての16:9画像を示している。すなわち、図７上から１番目は、第nフレーム、第n+1フレーム、及び第n+2フレームの３フレームの入力画像としての16:9画像を示している。
図７上から１番目の入力画像においては、図６上から１番目の入力画像と同様に、第nフレームから第n+2フレームに亘って、星形の被写体が、左から右に移動している。
図７上から２番目は、被写体枠が設定された第nないし第n+2フレームの入力画像を示している。
図７上から２番目においては、図６上から２番目と同様に、第nフレームの星形の被写体の位置に、その被写体を囲むように、長方形状の被写体枠が設定されている。
被写体枠の設定は、図６で説明したように、ユーザによるリモートコマンダ１０の操作に基づき、対象領域設定部２５において行われる。
対象領域設定部２５は、被写体枠の設定の後、図７上から３番目、及び４番目に示すように、被写体枠に基づいて、入力画像（の各フレーム）の一部の、例えば、長方形状の領域を、対象領域に設定する。
すなわち、図７上から３番目は、対象領域設定部２５が設定する対象領域（を囲む対象領域枠）を示している。また、図７上から４番目は、図７上から１番目の16:9画像の入力画像をサイズ変換して得られる、16:9画像の等アスペクト比画像を、そのアスペクト比と異なるアスペクト比の4:3画面に表示したときに、上の部分に生じる不使用領域を示している。
例えば、いま、図６の場合と同様に、不使用領域が、長方形状の領域であるとして、そのような不使用領域の全体に、入力画像の一部としての対象領域に映っている被写体を変形せずに、その対象領域をサイズ変換して得られる付加画像を表示することとすると、付加画像は、対象領域の横と縦とを同一倍した画像サイズの画像でなければならず、かつ、付加画像の画像サイズは、不使用領域のサイズと一致していなければならない。
したがって、対象領域の横と縦とを同一倍するときの倍率を、倍率パラメータαとするとともに、図７上から３番目に示すように、対象領域の横又は縦のサイズを、x2又はy2と、それぞれ表し、さらに、図７上から４番目に示すように、4:3画面の上の部分に生じる不使用領域の横又は縦のサイズを、x1又はy1とそれぞれ表すこととすると、対象領域の横と縦のサイズx2又はy2は、それぞれ、式x1=αx2、又は式y1=αy2を満たす必要がある。
そこで、対象領域設定部２５は、画像フォーマット検出部２２及び制御部３０の制御にしたがい、式x1=αx2、及び式y1=αy2を満たす、バッファ２３からの入力画像の一部の領域を、対象領域に設定する。
すなわち、画像フォーマット検出部２２は、画像フォーマット及び画面フォーマットに基づき、入力画像のアスペクト比と、表示部２９の表示画面のアスペクト比とが一致するか否かを判定し、入力画像のアスペクト比が16:9であり、表示部２９の表示画面のアスペクト比が4:3であって、アスペクト比が異なる場合には、図７上から４番目に示すように、16:9画像の等アスペクト比画像を、4:3画面に表示したときに上の部分に生じる不使用領域のサイズとしての横の画素数x1と、縦の画素数y1とを求めて、対象領域設定部２５に供給する。
また、対象領域設定部２５の内蔵するメモリ２５Ａでは、図６で説明したように、リモートコマンダ１０の操作に応じて、倍率パラメータαが記憶される。
対象領域設定部２５は、画像フォーマット検出部２２からの不使用領域の横の画素数x1、及び縦の画素数y1と、メモリ２５Ａに記憶された倍率パラメータαとに基づき、式x1=αx2、及び式y1=αy2を満たす対象領域のサイズとしての横の画素数x2、及び縦の画素数y2を求める。
そして、対象領域設定部２５は、図７上から３番目に示すように、入力画像において、被写体枠の、例えば、重心を中心とし、横の画素数がx2で、縦の画素数がy2の長方形状の領域を囲む枠を、対象領域枠に設定し、これにより、その対象領域枠で囲まれる入力画像の領域が、対象領域に設定される。
次に、図８及び図９を参照して、図２の付加画像生成部２６の処理について説明する。
図８は、入力画像のアスペクト比が4:3であり、表示画面のアスペクト比が16:9である場合に、被写体枠に基づいて設定された対象領域枠を示している。
すなわち、図８上から１番目は、図６上から３番目と同一の図である。
入力画像のアスペクト比が4:3であり、表示画面のアスペクト比が16:9である場合には、図６で説明したように、対象領域の横又は縦のサイズを、x2又はy2と、それぞれ表し、さらに、16:9画面の右の部分に生じる不使用領域の横又は縦のサイズを、x1又はy1と、それぞれ表すこととすると、対象領域設定部２５では、αを倍率パラメータとして、横の画素数x2が、式x1=αx2を満たし、縦の画素数y2が、式y1=αy2を満たす対象領域が設定される。
対象領域設定部２５は、対象領域と、倍率パラメータαとを、付加画像生成部２６に供給する。そして、付加画像生成部２６は、図８上から２番目に示すように、対象領域設定部２５からの対象領域の横の画素数x2と縦の画素数y2を、それぞれ、倍率パラメータα倍した画像、すなわち、横の画素数がαx2で、縦の画素数がαy2の画像を、付加画像として生成する。
付加画像の横の画素数はαx2で、縦の画素数はαy2の画像であるから、その横の画素数αx2、又は縦の画素数αy2は、それぞれ、不使用領域の横の画素数x1、又は縦の画素数y1に一致する。
したがって、入力画像のアスペクト比が4:3であり、表示画面のアスペクト比が16:9である場合に、入力画像をサイズ変換して得られる4:3画像の等アスペクト比画像と、対象領域から生成された付加画像とが、それぞれ、左と右に位置し、かつ重ならないように結合された結合画像を生成して、アスペクト比が16:9の表示画面である16:9画面に表示することにより、図８上から３番目に示すように、不使用領域を生じさせずに、16:9画面の全体を有効に利用することができる。
さらに、結合画像を構成する、4:3画像の等アスペクト比画像と、付加画像とは、同一のフレームの入力画像から生成された画像であるから、入力画像のアスペクトと表示画面のアスペクト比とが一致している場合と同様に、表示画面の全体を、同一のフレームの入力画像の表示に寄与させることができる。
次に、図９は、入力画像のアスペクト比が16:9であり、表示画面のアスペクト比が4:3である場合に、被写体枠に基づいて設定された対象領域枠を示している。
すなわち、図９上から１番目は、図７上から３番目と同一の図である。
入力画像のアスペクト比が16:9であり、表示画面のアスペクト比が4:3である場合には、図７で説明したように、対象領域の横又は縦のサイズを、x2又はy2と、それぞれ表し、さらに、4:3画面の右の部分に生じる不使用領域の横又は縦のサイズを、x1又はy1と、それぞれ表すこととすると、対象領域設定部２５では、αを倍率パラメータとして、横の画素数x2が、式x1=αx2を満たし、縦の画素数y2が、式y1=αy2を満たす対象領域が設定される。
対象領域設定部２５は、対象領域と、倍率パラメータαとを、付加画像生成部２６に供給する。そして、付加画像生成部２６は、図９上から２番目に示すように、対象領域設定部２５からの対象領域の横の画素数x2と縦の画素数y2を、それぞれ、倍率パラメータα倍した画像、すなわち、横の画素数がαx2で、縦の画素数がαy2の画像を、付加画像として生成する。
付加画像の横の画素数はαx2で、縦の画素数はαy2の画像であるから、その横の画素数αx2、又は縦の画素数αy2は、それぞれ、不使用領域の横の画素数x1、又は縦の画素数y1に一致する。
したがって、入力画像のアスペクト比が16:9であり、表示画面のアスペクト比が4:3である場合に、入力画像をサイズ変換して得られる16:9画像の等アスペクト比画像と、対象領域から生成された付加画像とが、それぞれ、下と上に位置し、かつ重ならないように結合された結合画像を生成して、アスペクト比が4:3の表示画面である4:3画面に表示することにより、図９上から３番目に示すように、不使用領域を生じさせずに、4:3画面の全体を有効に利用することができる。
さらに、結合画像を構成する、16:9画像の等アスペクト比画像と、付加画像とは、同一のフレームの入力画像から生成された画像であるから、入力画像のアスペクトと表示画面のアスペクト比とが一致している場合と同様に、表示画面の全体を、同一のフレームの入力画像の表示に寄与させることができる。
次に、図１０のフローチャートを参照して、図２の表示処理装置２０の処理（表示処理）について説明する。
取得部２１は、例えば、地上波ディジタル放送等で放送された放送データ等の入力画像を含むデータを受信し、バッファ２３に順次供給して記憶させる。
そして、ステップＳ１１において、画像フォーマット検出部２２は、バッファ２３に記憶されたデータに含まれる入力画像の画像フォーマットを検出し、処理は、ステップＳ１２に進む。
ステップＳ１２では、画像フォーマット検出部２２は、入力画像の画像フォーマット、及び表示部２９の表示画面の画面フォーマットに基づき、入力画像のアスペクト比と、表示画面のアスペクト比とが一致するかどうかを判定する。
ステップＳ１２において、入力画像のアスペクト比と、表示画面のアスペクト比とが一致すると判定された場合、処理は、ステップＳ１３に進み、後述する通常表示処理が行われる。そして、処理は、ステップＳ１３からステップＳ１２に戻る。
また、ステップＳ１２において、入力画像のアスペクト比と、表示画面のアスペクト比とが一致しないと判定された場合、処理は、ステップＳ１４に進み、後述する付加画像表示処理が行われる。そして、処理は、ステップＳ１４からステップＳ１２に戻る。
次に、図１１のフローチャートを参照して、図１０のステップＳ１３で行われる通常表示処理の詳細について説明する。
ステップＳ２１において、画像フォーマット検出部２２は、画像フォーマット、及び画面フォーマットに基づき、表示画面の横の画素数H1と入力画像の横の画素数H2との比である横比H1/H2、及び表示画面の縦の画素数V1と入力画像の縦の画素数V2との比である縦比V1/V2を求める。さらに、画像フォーマット検出部２２は、横比H1/H2と縦比V1/V2とのうちの小さい方(等しい場合には、いずれか一方)を、変換係数Kに決定し、その変換係数Kを表す情報を、画像変換部２４に供給して、処理は、ステップＳ２１からステップＳ２２に進む。
ここで、図１１の通常表示処理が行われる場合、入力画像のアスペクト比と表示画面のアスペクト比とは等しいので、横比H1/H2と縦比V1/V2も等しくなる。この場合、変換係数Kは、横比H1/H2に決定しても良いし、縦比V1/V2に決定しても良い。
ステップＳ２２では、画像変換部２４が、バッファ２３からの入力画像の読み出しを開始する。さらに、ステップＳ２２では、画像変換部２４は、画像フォーマット検出部２２から直前のステップＳ２１で供給された変換係数Kを表す情報に基づいて、バッファ２３からの入力画像を、その横と縦の画素数を変換係数K倍した等アスペクト比画像に変換するサイズ変換を開始し、その結果得られる等アスペクト比画像を、結合画像生成部２７に供給して、処理は、ステップＳ２３に進む。
ステップＳ２３では、結合画像生成部２７が、画像変換部２４から供給される等アスペクト比画像を、そのまま、結合画像として、表示制御部２８に供給（出力）する処理を開始する。
すなわち、図１１の通常表示処理が行われる場合、入力画像のアスペクト比と表示画面のアスペクト比とは等しいので、入力画像のアスペクト比と等しいアスペクト比の等アスペクト比画像は、図３で説明したように、表示部２９の表示画面の全体を有効に利用して表示することができる。このため、結合画像生成部２７は、画像変換部２４から供給される等アスペクト比画像を、そのまま、結合画像として、表示制御部２８に供給する。
ステップＳ２３の後、処理は、ステップＳ２４に進み、表示制御部２８が、結合画像生成部２７から供給される等アスペクト比画像を、表示部２９に表示させる表示制御処理を開始し、処理は、ステップＳ２５に進む。
ステップＳ２５では、画像フォーマット検出部２２が、バッファ２３に記憶された入力画像の画像フォーマットが変化したかどうかを判定する。
すなわち、画像フォーマット検出部２２は、例えば、バッファ２３に記憶された入力画像の画像フォーマットを常時検出しており、ステップＳ２５では、バッファ２３に記憶された入力画像の画像フォーマットが変化したかどうかが判定される。
ステップＳ２５において、バッファ２３に記憶された入力画像の画像フォーマットが変化していないと判定された場合、処理は、ステップＳ２５に戻る。
また、ステップＳ２５において、バッファ２３に記憶された入力画像の画像フォーマットが変化したと判定された場合、処理は、図１０のステップＳ１２にリターンし、その変化後の画像フォーマットを用いて、ステップＳ１２からの処理が繰り返される。
次に、図１２のフローチャートを参照して、図１０のステップＳ１４で行われる付加画像表示処理の詳細について説明する。
ステップＳ３１において、画像フォーマット検出部２２は、画像フォーマット、及び画面フォーマットに基づき、表示画面の横の画素数H1と入力画像の横の画素数H2との比である横比H1/H2、及び表示画面の縦の画素数V1と入力画像の縦の画素数V2との比である縦比V1/V2を求める。さらに、画像フォーマット検出部２２は、横比H1/H2と縦比V1/V2とのうちの小さい方を、変換係数Kに決定し、その変換係数Kを表す情報を、画像変換部２４に供給して、処理は、ステップＳ３１からステップＳ３２に進む。
ステップＳ３２では、画像変換部２４が、バッファ２３からの入力画像の読み出しを開始する。さらに、ステップＳ３２では、画像変換部２４は、画像フォーマット検出部２２から直前のステップＳ３１で供給された変換係数Kを表す情報に基づいて、バッファ２３からの入力画像を、その横と縦の画素数を変換係数K倍した等アスペクト比画像に変換するサイズ変換を開始し、その結果得られる等アスペクト比画像を、結合画像生成部２７に供給して、処理は、ステップＳ３３に進む。
ステップＳ３３では、画像変換部２４において等アスペクト比画像が生成される入力画像と同一のフレームの入力画像から付加画像を生成する付加画像生成処理が開始される。
付加画像生成処理が開始されることにより、付加画像生成部２６は、画像変換部２４が結合画像生成部２７に供給する等アスペクト比画像のフレームと同一のフレームの入力画像から生成した付加画像を、結合画像生成部２７に供給する。
ステップＳ３３の後、処理は、ステップＳ３４に進み、結合画像生成部２７は、画像変換部２４から供給される等アスペクト比画像と、付加画像生成部２６から供給される、その等アスペクト比画像のフレームと同一のフレームの入力画像から生成された付加画像とを、その等アスペクト比画像と付加画像とが重ならないように結合し、その結果得られる結合画像を表示制御部２８に供給する処理を開始して、処理は、ステップＳ３５に進む。
ステップＳ３５では、表示制御部２８が、結合画像生成部２７から供給される等アスペクト比画像を、表示部２９に表示させる表示制御処理を開始し、処理は、ステップＳ３６に進む。
ステップＳ３６では、画像フォーマット検出部２２が、バッファ２３に記憶された入力画像の画像フォーマットが変化したかどうかを判定する。
すなわち、画像フォーマット検出部２２は、例えば、バッファ２３に記憶された入力画像の画像フォーマットを常時検出しており、ステップＳ３６では、バッファ２３に記憶された入力画像の画像フォーマットが変化したかどうかが判定される。
ステップＳ３６において、バッファ２３に記憶された入力画像の画像フォーマットが変化していないと判定された場合、処理は、ステップＳ３６に戻る。
また、ステップＳ３６において、バッファ２３に記憶された入力画像の画像フォーマットが変化したと判定された場合、ステップＳ３３で開始された付加画像生成処理は終了する。そして、処理は、図１０のステップＳ１２にリターンし、その変化後の画像フォーマットを用いて、ステップＳ１２からの処理が繰り返される。
次に、図１３のフローチャートを参照して、図１２のステップＳ３３で開始される付加画像生成処理について説明する。
ステップＳ４１において、制御部３０は、被写体枠を特定する被写体枠パラメータが、リモートコマンダ１０から送信されてきたかどうかを判定する。
ステップＳ４１において、被写体枠を特定する被写体枠パラメータが、リモートコマンダ１０から送信されてきたと判定された場合、すなわち、ユーザが、被写体枠を指定するように、リモートコマンダ１０を操作し、これにより、リモートコマンダ１０から、被写体枠を特定する被写体枠パラメータを含む操作信号が送信されてきた場合、制御部３０は、リモートコマンダ１０からの操作信号を受信し、その操作信号に含まれる被写体枠パラメータを、対象領域設定部２５に供給して、処理は、ステップＳ４２に進む。
ステップＳ４２では、対象領域設定部２５が、制御部３０からの被写体枠パラメータを受信し、内蔵するメモリ２５Ａに記憶させて、処理は、ステップＳ４３に進む。
ステップＳ４３では、対象領域設定部２５が、被写体枠パラメータと、倍率パラメータαとに基づき、対象領域枠を設定する。
すなわち、画像フォーマット検出部２２は、バッファ２３に記憶された入力画像の画像フォーマットを検出し、その画像フォーマットに含まれる入力画像のアスペクト比と、表示画面のアスペクト比とが異なる場合には、図６及び図７で説明したように、入力画像をサイズ変換して得られる等アスペクト比画像を表示画面に表示したときに生じる不使用領域のサイズとしての横の画素数x1と、縦の画素数y1とを求めて、対象領域設定部２５に供給する。
そして、いま、ユーザによって、リモートコマンダ１０が操作され、図６等で説明したように、対象領域設定部２５が内蔵するメモリ２５Ａに、倍率パラメータαが既に記憶されているとすると、対象領域設定部２５は、その倍率パラメータαと、画像フォーマット検出部２２からの不使用領域の横の画素数x1、及び縦の画素数y1とから、式x1=αx2、及び式y1=αy2を満たす対象領域を囲む対象領域枠の横の画素数x2、及び縦の画素数y2を求める。
さらに、対象領域設定部２５は、いま、画像変換部２４がバッファ２３から読み出した入力画像のフレームにおいて、直前のステップＳ４２でメモリ２５Ａに記憶された被写体枠パラメータによって特定される被写体枠の重心を中心とし、横の画素数がx2で、縦の画素数がy2の長方形状の領域を囲む枠を、対象領域枠に設定する。
なお、ユーザが、倍率パラメータαを指定するように、リモートコマンダ１０を操作しておらず、そのため、メモリ２５Ａに、倍率パラメータαが記憶されていない場合には、倍率パラメータαとしては、例えば、デフォルトの値が使用される。
ステップＳ４３の後、処理は、ステップＳ４４に進み、対象領域設定部２５は、直前のステップＳ４３で設定した対象領域枠を特定する対象領域枠パラメータとしての、例えば、対象領域枠の左上と右下の座標等を、メモリ２５Ａに記憶させて、処理は、ステップＳ４５に進む。
ステップＳ４５では、対象領域設定部２５は、画像変換部２４がバッファ２３から読み出した入力画像のフレームの中から、メモリ２５Ａに記憶された対象領域枠パラメータによって特定される対象領域枠が囲む領域を、対象領域として抽出し、メモリ２５Ａに記憶された倍率パラメータαとともに、付加画像生成部２６に供給する。
さらに、ステップＳ４５では、付加画像生成部２６が、対象領域設定部２５から供給された対象領域の横と縦の画素数を、同じく対象領域設定部２５から供給された倍率パラメータα倍にするサイズ変換を行い、そのサイズ変換によって得られる付加画像を、結合画像生成部２７に供給して、処理は、ステップＳ４１に戻る。
ここで、上述の図１２のステップＳ３４では、以上のようにして、付加画像生成部２６から結合画像生成部２７に供給された付加画像を用いて、結合画像が生成される。
一方、ステップＳ４１において、被写体枠を特定する被写体枠パラメータが、リモートコマンダ１０から送信されてきていないと判定された場合、処理は、ステップＳ４６に進み、対象領域設定部２５は、メモリ２５Ａに、対象領域枠パラメータが記憶されているかどうかを判定する。
ステップＳ４６において、メモリ２５Ａに、対象領域枠パラメータが記憶されていると判定された場合、処理は、ステップＳ４５に進み、上述したように、対象領域設定部２５は、メモリ２５Ａに記憶された対象領域枠パラメータによって特定される対象領域枠が囲む領域を、画像変換部２４がバッファ２３から読み出した入力画像のフレームから抽出し、対象領域として、メモリ２５Ａに記憶された倍率パラメータαとともに、付加画像生成部２６に供給する。そして、付加画像生成部２６は、対象領域設定部２５から供給された対象領域の横と縦の画素数を、同じく対象領域設定部２５から供給された倍率パラメータα倍にするサイズ変換を行い、そのサイズ変換によって得られる付加画像を、結合画像生成部２７に供給する。
また、ステップＳ４６において、メモリ２５Ａに、対象領域枠パラメータが記憶されていないと判定された場合、すなわち、ユーザが、被写体枠を指定するように、リモートコマンダ１０を操作しておらず、このため、対象領域枠の設定に必要な被写体枠パラメータが、メモリ２５Ａに記憶されていない場合、処理は、ステップＳ４７に進み、付加画像生成部２６は、例えば、被写体枠の指定を促すメッセージが表示された画像や、レターボックスでの表示における黒枠の画像等を、付加画像として生成し、結合画像生成部２７に供給して、処理は、ステップＳ４１に戻る。
次に、図１４は、図２のリモートコマンダ１０の構成例を模式的に示す平面図である。
図１４では、リモートコマンダ１０には、ポインティングデバイスとしてのジョイスティック１１、設定開始ボタン１２、補正開始ボタン１３、及び終了ボタン１４等が設けられている。
ジョイスティック１１は、移動方向を指定する方向操作と、リモートコマンダ１０の筐体の内部の方向に押圧する押圧操作とをすることができるようになっており、被写体枠を指定するときや、被写体枠を補正するときに操作される。
すなわち、設定開始ボタン１２が操作されると、表示部２９には、被写体枠を指定するためのカーソルが表示されるが、このとき、ジョイスティック１１を方向操作すると、表示部２９に表示されたカーソルが、ジョイスティック１１の方向操作に対応して移動する。
そして、ジョイスティック１１を押圧操作すると、そのときのカーソルの位置が、被写体枠の第１の頂点に設定され、さらに、ジョイスティック１１を方向操作して、カーソルを移動し、ジョイスティック１１を押圧操作すると、そのときのカーソルの位置が、被写体枠の第２の頂点に設定される。そして、第１の頂点と第２の頂点とを結ぶ線を対角線とする長方形を囲む枠が、被写体枠に設定される。
また、補正開始ボタン１３が操作されると、表示部２９には、既に設定されている被写体枠を表すGUI(Graphical User Interface)（グラフィクス）が表示されるが、このとき、ジョイスティック１１を方向操作すると、表示部２９にGUIで表示された被写体枠の位置や大きさが、ジョイスティック１１の方向操作に対応して変更（補正）される。
そして、ジョイスティック１１を押圧操作すると、そのとき表示部２９に表示されているGUIによって表される枠が、被写体枠に、新たに設定される。
設定開始ボタン１２は、被写体枠を新たに指定するときに操作され、設定開始ボタン１２が操作されると、上述したように、被写体枠を指定するためのカーソルが、表示部２９に表示される。
補正開始ボタン１３は、既に設定されている被写体枠を補正（変更）するときに操作され、補正開始ボタン１３が操作されると、上述したように、既に設定されている被写体枠を表すGUIが、表示部２９に表示される。
終了ボタン１４は、被写体枠の指定や補正を終了するときに操作され、終了ボタン１４が操作されると、設定開始ボタン１２が操作されることにより表示部２９に表示されたカーソルや、補正開始ボタン１３が操作されることにより表示部２９に表示された被写体枠を表すGUIが消去される。
次に、図１５のフローチャートを参照して、リモートコマンダ１０が図１４に示したように構成される場合の、図１２のステップＳ３３で開始される付加画像生成処理について説明する。
ステップＳ５１において、制御部３０は、リモートコマンダ１０（図１４）の設定開始ボタン１２が、ユーザによって操作されたかどうかを判定する。
ステップＳ５１において、設定開始ボタン１２が操作されたと判定された場合、すなわち、ユーザが、設定開始ボタン１２を操作し、その操作に対応する操作信号が、リモートコマンダ１０から送信され、制御部３０で受信された場合、処理は、ステップＳ５２に進み、表示制御部２８は、被写体枠を指定するためのカーソルと、被写体枠の指定を促すメッセージとを、表示部２９に表示させ、処理は、ステップＳ５３に進む。
ステップＳ５３では、制御部３０は、被写体枠を特定する被写体枠パラメータが、リモートコマンダ１０から送信されてきたかどうかを判定する。
ステップＳ５３において、被写体枠を特定する被写体枠パラメータが、リモートコマンダ１０から送信されてきていないと判定された場合、処理は、ステップＳ５４をスキップして、ステップＳ５５に進む。
また、ステップＳ５３において、被写体枠を特定する被写体枠パラメータが、リモートコマンダ１０から送信されてきたと判定された場合、すなわち、ユーザが、リモートコマンダ１０（図１４）のジョイスティック１１を操作し、ステップＳ５２で表示部２９に表示されたカーソルを移動して、被写体枠を指定することにより、リモートコマンダ１０から、被写体枠を特定する被写体枠パラメータを含む操作信号が送信されてきた場合、制御部３０は、リモートコマンダ１０からの操作信号を受信し、その操作信号に含まれる被写体枠パラメータを、対象領域設定部２５に供給して、処理は、ステップＳ５４に進む。
ステップＳ５４では、対象領域設定部２５が、制御部３０からの被写体枠パラメータを受信し、内蔵するメモリ２５Ａに記憶させて、処理は、ステップＳ５５に進む。
なお、メモリ２５Ａに、既に、被写体枠パラメータが記憶されている場合には、ステップＳ５４では、制御部３０からの被写体枠パラメータが、メモリ２５Ａの、既に記憶されている被写体枠パラメータに上書きされる。
ステップＳ５５では、制御部３０は、リモートコマンダ１０（図１４）の終了ボタン１４が、ユーザによって操作されたかどうかを判定する。
ステップＳ５５において、終了ボタン１４が操作されていないと判定された場合、処理は、ステップＳ５３に戻り、以下、同様の処理が繰り返される。
また、ステップＳ５５において、終了ボタン１４が操作されたと判定された場合、すなわち、ユーザが、終了ボタン１４を操作し、その操作に対応する操作信号が、リモートコマンダ１０から送信され、制御部３０で受信された場合、表示制御部２８が、ステップＳ５２で表示部２９に表示したカーソルとメッセージを消去して、処理は、ステップＳ５６に進む。
ステップＳ５６では、対象領域設定部２５が、被写体枠パラメータと、倍率パラメータαとに基づき、対象領域枠を設定する。
すなわち、画像フォーマット検出部２２は、バッファ２３に記憶された入力画像の画像フォーマットを検出し、その画像フォーマットに含まれる入力画像のアスペクト比と、表示画面のアスペクト比とが異なる場合には、図６及び図７で説明したように、入力画像をサイズ変換して得られる等アスペクト比画像を表示画面に表示したときに生じる不使用領域のサイズとしての横の画素数x1と、縦の画素数y1とを求めて、対象領域設定部２５に供給する。
そして、図６等で説明したように、対象領域設定部２５が内蔵するメモリ２５Ａに、倍率パラメータαが既に記憶されているとすると、対象領域設定部２５は、その倍率パラメータαと、画像フォーマット検出部２２からの不使用領域の横の画素数x1、及び縦の画素数y1とから、式x1=αx2、及び式y1=αy2を満たす対象領域を囲む対象領域枠の横の画素数x2、及び縦の画素数y2を求める。
さらに、対象領域設定部２５は、いま、画像変換部２４がバッファ２３から読み出した入力画像のフレームにおいて、直前のステップＳ５４でメモリ２５Ａに記憶された被写体枠パラメータによって特定される被写体枠の重心を中心とし、横の画素数がx2で、縦の画素数がy2の長方形状の領域を囲む枠を、対象領域枠に設定する。
ステップＳ５６の後、処理は、ステップＳ５７に進み、対象領域設定部２５は、直前のステップＳ５６で設定した対象領域枠を特定する対象領域枠パラメータを、メモリ２５Ａに記憶させて、処理は、ステップＳ５８に進む。
ステップＳ５８では、対象領域設定部２５は、メモリ２５Ａに記憶された対象領域枠パラメータによって特定される対象領域枠が囲む領域を、画像変換部２４がバッファ２３から読み出した入力画像のフレームの中から抽出し、対象領域として、メモリ２５Ａに記憶された倍率パラメータαとともに、付加画像生成部２６に供給する。
さらに、ステップＳ５８では、付加画像生成部２６が、対象領域設定部２５から供給された対象領域の横と縦の画素数を、同じく対象領域設定部２５から供給された倍率パラメータα倍にするサイズ変換を行い、そのサイズ変換によって得られる付加画像を、結合画像生成部２７に供給して、処理は、ステップＳ５９に進む。
ここで、上述の図１２のステップＳ３４では、以上のようにして、付加画像生成部２６から結合画像生成部２７に供給された付加画像を用いて、結合画像が生成される。
ステップＳ５９では、制御部３０は、リモートコマンダ１０（図１４）の補正開始ボタン１３が、ユーザによって操作されたかどうかを判定する。
ステップＳ５９において、補正開始ボタン１３が操作されていないと判定された場合、処理は、ステップＳ５１に戻る。
また、ステップＳ５９において、補正開始ボタン１３が操作されたと判定された場合、すなわち、ユーザが、補正開始ボタン１３を操作し、その操作に対応する操作信号が、リモートコマンダ１０から送信され、制御部３０で受信された場合、処理は、ステップＳ６０に進み、表示制御部２８は、メモリ２５Ａに記憶されている被写体枠パラメータによって特定される被写体枠を表すGUIと、被写体枠の補正を促すメッセージとを、表示部２９に表示させ、処理は、ステップＳ６１に進む。
ステップＳ６１では、制御部３０は、被写体枠を補正する補正パラメータが、リモートコマンダ１０から送信されてきたかどうかを判定する。
ステップＳ６１において、補正パラメータが、リモートコマンダ１０から送信されてきていないと判定された場合、処理は、ステップＳ６２をスキップして、ステップＳ６３に進む。
また、ステップＳ６１において、補正パラメータが、リモートコマンダ１０から送信されてきたと判定された場合、すなわち、ユーザが、リモートコマンダ１０（図１４）のジョイスティック１１を操作し、ステップＳ６０で表示部２９に表示された被写体枠を表すGUIの位置や大きさを変更することにより、リモートコマンダ１０から、その変更を表す補正パラメータを含む操作信号が送信されてきた場合、制御部３０は、リモートコマンダ１０からの操作信号を受信し、その操作信号に含まれる補正パラメータを、対象領域設定部２５に供給して、処理は、ステップＳ６２に進む。
ステップＳ６２では、対象領域設定部２５が、制御部３０からの補正パラメータを受信し、内蔵するメモリ２５Ａに記憶されている被写体枠パラメータを、制御部３０からの補正パラメータにしたがって補正（変更）して、処理は、ステップＳ６３に進む。
ステップＳ６３では、制御部３０は、ステップＳ５５と同様に、リモートコマンダ１０（図１４）の終了ボタン１４が、ユーザによって操作されたかどうかを判定する。
ステップＳ６３において、終了ボタン１４が操作されていないと判定された場合、処理は、ステップＳ６１に戻り、以下、同様の処理が繰り返される。
また、ステップＳ６３において、終了ボタン１４が操作されたと判定された場合、表示制御部２８が、ステップＳ６０で表示部２９に表示した被写体枠を表すGUIとメッセージを消去して、処理は、ステップＳ５６に戻る。
この場合、ステップＳ５６では、対象領域設定部２５において、直前のステップ６２で補正された被写体枠パラメータと、倍率パラメータαとに基づき、対象領域枠が設定される。
一方、ステップＳ５１において、設定開始ボタン１２が操作されていないと判定された場合、処理は、ステップＳ６４に進み、対象領域設定部２５は、メモリ２５Ａに、対象領域枠パラメータが記憶されているかどうかを判定する。
ステップＳ６４において、メモリ２５Ａに、対象領域枠パラメータが記憶されていると判定された場合、処理は、ステップＳ５８に進み、上述したように、対象領域設定部２５は、メモリ２５Ａに記憶された対象領域枠パラメータによって特定される対象領域枠が囲む領域を、画像変換部２４がバッファ２３から読み出した入力画像のフレームの中から抽出し、対象領域として、メモリ２５Ａに記憶された倍率パラメータαとともに、付加画像生成部２６に供給する。そして、付加画像生成部２６は、対象領域設定部２５から供給された対象領域の横と縦の画素数を、同じく対象領域設定部２５から供給された倍率パラメータα倍にするサイズ変換を行い、そのサイズ変換によって得られる付加画像を、結合画像生成部２７に供給する。
また、ステップＳ６４において、メモリ２５Ａに、対象領域枠パラメータが記憶されていないと判定された場合、すなわち、ユーザが、被写体枠を指定するように、リモートコマンダ１０を操作しておらず、このため、対象領域枠の設定に必要な被写体枠パラメータが、メモリ２５Ａに記憶されていない場合、処理は、ステップＳ６５に進み、付加画像生成部２６は、例えば、被写体枠の指定を促すメッセージが表示された画像や、レターボックスでの表示における黒枠の画像等を、付加画像として生成し、結合画像生成部２７に供給する。そして、処理は、ステップＳ６５からステップＳ５９に進み、以下、上述した処理が行われる。
次に、図１６は、本発明を適用した表示システムの他の一実施の形態の構成例を示している。
なお、図中、図２の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。すなわち、図１６の表示システムは、対象領域設定部２５が、メモリ２５Ａに加えて、追尾部２５Ｂを有している他は、図２の表示システムと同様に構成されている。
追尾部２５Ｂは、ユーザがリモートコマンダ１０を操作することにより指定した被写体枠が囲む入力画像の領域に映る被写体を追尾し、入力画像の各フレームにおいて、その被写体を囲む被写体枠を特定する被写体枠パラメータを出力する。
ここで、図１６では、対象領域設定部２５は、内蔵するメモリ２５Ａに記憶される被写体枠パラメータを、追尾部２５Ｂが出力する被写体枠パラメータによって更新する。
そして、対象領域設定部２５は、メモリ２５Ａに記憶された被写体枠パラメータによって特定される被写体枠に基づいて、対象領域枠を設定する。この場合、入力画像の各フレームに対して設定される対象領域枠は、追尾部２５Ｂが追尾する被写体が映っている領域を囲む枠となる。
次に、図１７及び図１８を参照して、図１６の表示システムで生成される付加画像について説明する。
なお、図１７は、入力画像が4:3画像であり、表示部２９の表示画面が16:9画面である場合に生成される付加画像を示しており、図１８は、入力画像が16:9画像であり、表示部２９の表示画面が4:3画面である場合に生成される付加画像を示している。
図１７及び図１８上から１番目は、第nフレーム、第n+1フレーム、及び第n+2フレームの３フレームの入力画像を示しており、図６及び図７上から１番目と同様に、第nフレームから第n+2フレームに亘って、星形の被写体が、左から右に移動している。
図１７及び図１８上から２番目は、第nないし第n+2フレームの入力画像に設定される被写体枠を示している。
図１７及び図１８上から２番目においては、第nフレームにおいて、ユーザがリモートコマンダ１０を操作することにより、星形の被写体の位置に、その被写体を囲むように、被写体枠が設定されている。
図１６の表示処理装置２０では、ユーザによるリモートコマンダ１０の操作に応じて被写体枠が設定されると、追尾部２５Ｂが、その被写体枠が囲む入力画像の領域に映る被写体を追尾し、入力画像の各フレームについて、その被写体を囲む被写体枠を特定する被写体枠パラメータを出力する。
したがって、被写体枠パラメータによって特定される被写体枠は、図１７及び図１８上から２番目に示すように、ユーザによるリモートコマンダ１０の操作に応じて設定された被写体枠が囲む領域に映っていた被写体を追尾するように移動していく。
一方、対象領域設定部２５は、図６等で説明したように、被写体枠の重心を中心として、対象領域枠を設定する。したがって、対象領域枠は、図１７及び図１８上から３番目に示すように、被写体枠と同様に、被写体を追尾していくように移動していく。
そして、付加画像生成部２６では、入力画像のうちの、対象領域枠が囲む領域である対象領域をサイズ変換することにより、付加画像が生成されるから、その付加画像は、図１７及び図１８上から４番目に結合画像の状態で示すように、移動している被写体を追いかけていくような画像となる。
図１６の表示処理装置２０では、図２の表示処理装置２０と同様に、図１０で説明した表示処理が行われる。但し、図１６の表示処理装置２０では、図１２のステップＳ３３で開始される付加画像生成処理が、図２の表示処理装置２０とは異なる。
そこで、図１９のフローチャートを参照して、図１６の表示処理装置２０において、図１２のステップＳ３３で開始される付加画像生成処理について説明する。
ステップＳ７１において、制御部３０は、被写体枠を特定する被写体枠パラメータが、リモートコマンダ１０から送信されてきたかどうかを判定する。
ステップＳ７１において、被写体枠を特定する被写体枠パラメータが、リモートコマンダ１０から送信されてきたと判定された場合、すなわち、ユーザが、被写体枠を指定するように、リモートコマンダ１０を操作し、これにより、リモートコマンダ１０から、被写体枠を特定する被写体枠パラメータを含む操作信号が送信されてきた場合、制御部３０は、リモートコマンダ１０からの操作信号を受信し、その操作信号に含まれる被写体枠パラメータを、対象領域設定部２５に供給して、処理は、ステップＳ７２に進む。
ステップＳ７２では、対象領域設定部２５が、制御部３０からの被写体枠パラメータを受信し、内蔵するメモリ２５Ａに記憶させて、処理は、ステップＳ７３に進む。
ステップＳ７３では、対象領域設定部２５が、直前のステップＳ７２でメモリ２５Ａに記憶された被写体枠パラメータによって特定される領域を、入力画像から抽出し、追尾部２５Ｂでの追尾に用いる基準画像として、メモリ２５Ａに記憶させる。
そして、処理は、ステップＳ７３からステップＳ７４に進み、対象領域設定部２５が、メモリ２５Ａに記憶された被写体枠パラメータと、倍率パラメータαとに基づき、図１３のステップＳ４３で説明したようにして、対象領域枠を設定して、処理は、ステップＳ７５に進む。
ステップＳ７５では、対象領域設定部２５は、直前のステップＳ７４で設定した対象領域枠を特定する対象領域枠パラメータを、メモリ２５Ａに記憶させて、処理は、ステップＳ７６に進む。
ステップＳ７６では、対象領域設定部２５は、メモリ２５Ａに記憶された対象領域枠パラメータによって特定される対象領域枠が囲む領域を、画像変換部２４がバッファ２３から読み出した入力画像のフレームの中から抽出し、対象領域として、メモリ２５Ａに記憶された倍率パラメータαとともに、付加画像生成部２６に供給する。
さらに、ステップＳ７６では、付加画像生成部２６が、対象領域設定部２５から供給された対象領域を、同じく対象領域設定部２５から供給された倍率パラメータα倍にするサイズ変換を行い、そのサイズ変換によって得られる付加画像を、結合画像生成部２７に供給して、処理は、ステップＳ７１に戻る。
ここで、上述の図１２のステップＳ３４では、以上のようにして、付加画像生成部２６から結合画像生成部２７に供給された付加画像を用いて、結合画像が生成される。
一方、ステップＳ７１において、被写体枠を特定する被写体枠パラメータが、リモートコマンダ１０から送信されてきていないと判定された場合、処理は、ステップＳ７７に進み、対象領域設定部２５は、メモリ２５Ａに、対象領域枠パラメータが記憶されているかどうかを判定する。
ステップＳ７７において、メモリ２５Ａに、対象領域枠パラメータが記憶されていると判定された場合、処理は、ステップＳ７８に進み、追尾部２５Ｂは、メモリ２５Ａに記憶された基準画像に基づき、直前のステップＳ７２でメモリ２５Ａに記憶された被写体枠パラメータによって特定される被写体枠が囲む入力画像の領域、つまり、基準画像に映る被写体の追尾を行う。
ここで、基準画像に映る被写体を追尾する方法としては、入力画像の各フレームにおいて、基準画像に最も類似する領域を、ブロックマッチング等によって検出する方法がある。なお、追尾の方法については、例えば、特開2005-165929号公報に記載されている。
ステップＳ７８の後、処理は、ステップＳ７９に進み、対象領域設定部２５は、追尾部２５Ｂが追尾を行うことにより出力する、例えば、移動後の被写体を囲む被写体枠を特定する被写体枠パラメータによって、メモリ２５Ａに記憶されている被写体枠パラメータを更新して、処理は、ステップＳ７４に進む。
ステップＳ７４では、上述したように、対象領域設定部２５が、メモリ２５Ａに記憶された被写体枠パラメータと、倍率パラメータαとに基づき、対象領域枠を設定するが、このとき、メモリ２５Ａに記憶された被写体枠パラメータは、追尾部２５Ｂの追尾によって、例えば、移動後の被写体を囲む被写体枠を特定する被写体枠パラメータに更新されているから、ステップＳ７４で設定される対象領域枠も、移動後の被写体を囲む枠となる。
一方、ステップＳ７７において、メモリ２５Ａに、対象領域枠パラメータが記憶されていないと判定された場合、すなわち、ユーザが、被写体枠を指定するように、リモートコマンダ１０を操作しておらず、このため、対象領域枠の設定に必要な被写体枠パラメータが、メモリ２５Ａに記憶されていない場合、処理は、ステップＳ８０に進み、付加画像生成部２６は、例えば、被写体枠の指定を促すメッセージが表示された画像や、レターボックスでの表示における黒枠の画像等を、付加画像として生成し、結合画像生成部２７に供給して、処理は、ステップＳ７１に戻る。
次に、図２０は、リモートコマンダ１０の他の構成例を示している。
なお、図中、図１４の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
すなわち、図２０のリモートコマンダ１０は、補正開始ボタン１３が設けられていない他は、図１４のリモートコマンダ１０と同様に構成されている。
次に、図２１のフローチャートを参照して、リモートコマンダ１０が図２０に示したように構成される場合の、図１２のステップＳ３３で開始される付加画像生成処理について説明する。
ステップＳ９１ないしＳ９５において、図１５のステップＳ５１ないしＳ５５とそれぞれ同様の処理が行われる。
そして、ステップＳ９５において、リモートコマンダ１０（図２０）の終了ボタン１４が操作されたと判定された場合、すなわち、ユーザが、終了ボタン１４を操作し、その操作に対応する操作信号が、リモートコマンダ１０から送信され、制御部３０で受信された場合、処理は、ステップＳ９６に進み、対象領域設定部２５が、直前のステップＳ９４でメモリ２５Ａに記憶された被写体枠パラメータによって特定される領域を、入力画像から抽出し、追尾部２５Ｂでの追尾に用いる基準画像として、メモリ２５Ａに記憶させる。
そして、処理は、ステップＳ９６からステップＳ９７に進み、対象領域設定部２５が、メモリ２５Ａに記憶された被写体枠パラメータと、倍率パラメータαとに基づき、図１３のステップＳ４３で説明したようにして、対象領域枠を設定して、処理は、ステップＳ９８に進む。
ステップＳ９８では、対象領域設定部２５は、直前のステップＳ９７で設定した対象領域枠を特定する対象領域枠パラメータを、メモリ２５Ａに記憶させて、処理は、ステップＳ９９に進む。
ステップＳ９９では、対象領域設定部２５は、メモリ２５Ａに記憶された対象領域枠パラメータによって特定される対象領域枠が囲む領域を、画像変換部２４がバッファ２３から読み出した入力画像のフレームから抽出し、対象領域として、メモリ２５Ａに記憶された倍率パラメータαとともに、付加画像生成部２６に供給する。
さらに、ステップＳ９９では、付加画像生成部２６が、対象領域設定部２５から供給された対象領域を、同じく対象領域設定部２５から供給された倍率パラメータα倍にするサイズ変換を行い、そのサイズ変換によって得られる付加画像を、結合画像生成部２７に供給して、処理は、ステップＳ９１に戻る。
一方、ステップＳ９１において、設定開始ボタン１２が操作されていないと判定された場合、処理は、ステップＳ１００に進み、対象領域設定部２５は、メモリ２５Ａに、対象領域枠パラメータが記憶されているかどうかを判定する。
ステップＳ１００において、メモリ２５Ａに、対象領域枠パラメータが記憶されていると判定された場合、処理は、ステップＳ１０１に進み、追尾部２５Ｂは、メモリ２５Ａに記憶された基準画像に基づき、直前のステップＳ９４でメモリ２５Ａに記憶された被写体枠パラメータによって特定される被写体枠が囲む入力画像の領域、つまり、基準画像に映る被写体の追尾を行う。
ステップＳ１０１の後、処理は、ステップＳ１０２に進み、対象領域設定部２５は、追尾部２５Ｂが追尾を行うことにより出力する、例えば、移動後の被写体を囲む被写体枠を特定する被写体枠パラメータによって、メモリ２５Ａに記憶されている被写体枠パラメータを更新して、処理は、ステップＳ９７に進む。
ステップＳ９７では、上述したように、対象領域設定部２５が、メモリ２５Ａに記憶された被写体枠パラメータと、倍率パラメータαとに基づき、対象領域枠を設定するが、このとき、メモリ２５Ａに記憶された被写体枠パラメータは、追尾部２５Ｂの追尾によって、例えば、移動後の被写体を囲む被写体枠を特定する被写体枠パラメータに更新されているから、ステップＳ９７で設定される対象領域枠も、移動後の被写体を囲む枠となる。
一方、ステップＳ１００において、メモリ２５Ａに、対象領域枠パラメータが記憶されていないと判定された場合、すなわち、ユーザが、被写体枠を指定するように、リモートコマンダ１０を操作しておらず、このため、対象領域枠の設定に必要な被写体枠パラメータが、メモリ２５Ａに記憶されていない場合、処理は、ステップＳ１０３に進み、付加画像生成部２６は、例えば、被写体枠の指定を促すメッセージが表示された画像や、レターボックスでの表示における黒枠の画像等を、付加画像として生成し、結合画像生成部２７に供給して、処理は、ステップＳ９１に戻る。
なお、上述の場合には、表示処理装置２０において、１つの被写体枠を設定するようにしたが、複数の被写体枠を設定することも可能である。
すなわち、図２２は、複数の被写体枠としての２つの被写体枠を設定した場合の結合画像の表示例を示している。
図２２左側においては、4:3画像の入力画像をサイズ変換して得られる4:3画像の等アスペクト比画像が、16:9画面に表示されている。
さらに、図２２左側では、4:3画像の等アスペクト比画像だけを、16:9画面に、いわば左詰で表示したときに不使用領域となる右の部分を上下に分ける形で、２つの付加画像add#11及びadd#12が表示されている。
すなわち、図２２左側においては、入力画像に対して、２つの被写体枠obj#11及びobj#12が設定されており、さらに、被写体枠obj#11、又はobj#12に基づいて、それぞれ、対象領域枠R#11、又はR#12が設定されている。
そして、入力画像のうちの、対象領域枠R#11が囲む対象領域をサイズ変換して得られる画像が、付加画像add#11として、等アスペクト比画像のみの表示時に不使用領域となる右の部分の下側に表示されており、対象領域枠R#12が囲む対象領域をサイズ変換して得られる画像が、付加画像add#12として、等アスペクト比画像のみの表示時に不使用領域となる右の部分の上側に表示されている。
さらに、図２２左側では、複数の被写体枠の位置関係が、その複数の被写体枠それぞれに対応する付加画像の表示位置に反映されている。すなわち、被写体枠obj#12に比較して下側にある被写体枠obj#11に対応する付加画像add#11が下側に配置され、被写体枠obj#11に比較して上側にある被写体枠obj#12に対応する付加画像add#12が上側に配置されている。したがって、付加画像add#11とadd#12にそれぞれ映っている被写体どうしの、入力画像上の位置関係と、付加画像add#11とadd#12の位置関係とが一致しているので、ユーザは、付加画像add#11とadd#12を見るだけで、入力画像に映っている被写体の状況を、容易に理解することができる。
図２２右側でも、図２２左側と同様に、複数の被写体枠の位置関係が、その複数の被写体枠それぞれに対応する付加画像の表示位置に反映されている。
すなわち、図２２右側においては、図２２左側と同様に、4:3画像の入力画像をサイズ変換して得られる4:3画像の等アスペクト比画像が、16:9画面に表示されている。
但し、図２２右側では、4:3画像の等アスペクト比画像だけを、16:9画面の中央に表示したときに不使用領域となる左の部分と右の部分に、付加画像add#21とadd#22が、それぞれ表示されている。
すなわち、図２２右側では、入力画像に対して、２つの被写体枠obj#21及びobj#22が設定されており、さらに、被写体枠obj#21、又はobj#22に基づいて、それぞれ、対象領域枠R#21、又はR#22が設定されている。
そして、入力画像のうちの、対象領域枠R#21が囲む領域をサイズ変換して得られる画像が、付加画像add#21として、等アスペクト比画像のみの表示時に不使用領域となる左の部分に表示されており、対象領域枠R#22が囲む領域をサイズ変換して得られる画像が、付加画像add#22として、等アスペクト比画像のみの表示時に不使用領域となる右の部分に表示されている。
図２２右側でも、複数の被写体枠の位置関係が、その複数の被写体枠それぞれに対応する付加画像の表示位置に反映されているので、すなわち、被写体枠obj#22に比較して左側にある被写体枠obj#21に対応する付加画像add#21が左側に配置され、被写体枠obj#21に比較して右側にある被写体枠obj#22に対応する付加画像add#22が右側に配置されているので、付加画像add#21とadd#22にそれぞれ映っている被写体どうしの、入力画像上の位置関係と、付加画像add#21とadd#22の位置関係とが一致し、ユーザは、付加画像add#21とadd#22を見るだけで、入力画像に映っている被写体の状況を、容易に理解することができる。
なお、4:3画像の入力画像をサイズ変換して得られる4:3画像の等アスペクト比画像を、16:9画面に表示する場合の他、例えば、16:9画像の入力画像をサイズ変換して得られる16:9画像の等アスペクト比画像を、4:3画面に表示する場合も、図２２に示したように、複数の被写体枠を設定し、さらに、複数の被写体枠それぞれに対応する付加画像を、その複数の被写体枠の位置関係を反映した位置に表示することが可能である。
また、上述の場合には、表示処理装置２０において、長方形状の不使用領域の全体に、長方形状の付加画像を表示するようにしたが、付加画像は、不使用領域の一部に表示しても良いし、さらに、不使用領域や付加画像は、長方形状に限定されるものではない。
すなわち、図２３は、付加画像の表示例を示している。
付加画像は、例えば、図２３上から１番目に示すように、4:3画像の等アスペクト比画像だけを、16:9画面に左詰で表示したときに不使用領域となる右の部分の全体ではなく、一部に表示することができる。
また、付加画像は、入力画像のアスペクト比と、表示画面のアスペクト比とが異なる場合の他、一致する場合であっても、図２３上から２番目や３番目に示すように表示することができる。
すなわち、例えば、入力画像のアスペクト比と、表示画面のアスペクト比とが、いずれも16:9で一致する場合においては、図２３上から２番目に示すように、アスペクト比が16:9の表示画面である16:9画面の画面サイズよりも小さい画像サイズの16:9画像の等アスペクト比画像を、上の部分と右の部分に不使用領域が生じるように表示し、その上の部分と右の部分に生じる不使用領域の全体又は一部に、付加画像を表示することができる。
また、例えば、入力画像のアスペクト比と、表示画面のアスペクト比とが、いずれも16:9で一致する場合においては、図２３上から３番目に示すように、アスペクト比が16:9の表示画面である16:9画面の画面サイズよりも小さい画像サイズの16:9画像の等アスペクト比画像を、上の部分、下の部分、及び右の部分に不使用領域が生じるように表示し、その上の部分、下の部分、及び右の部分に生じる不使用領域の全体又は一部に、付加画像を表示することができる。
以上のように、表示処理装置２０では、入力画像を、横又は縦のサイズが表示部２９の表示画面の横又は縦のサイズと一致し、かつ、表示画面の画面サイズ以下の画像サイズの画像であって、入力画像の横及び縦のサイズを同一倍した画像である等アスペクト比画像に変換し、等アスペクト比画像を、その等アスペクト比画像のアスペクト比を変えずに、表示部２９に表示したときに、表示部２９の表示画面において、等アスペクト比画像の表示に使用されない不使用領域のサイズ内の画像サイズの画像である付加画像を、入力画像から生成する。さらに、表示処理装置２０では、各フレーム又はフィールドの入力画像を変換して得られる等アスペクト比画像と、そのフレーム又はフィールドの入力画像から生成される付加画像とが重ならないように結合された結合画像を生成し、表示部２９に表示させる。
したがって、入力画像に映る被写体を変形させずに表示を行うことができるとともに、画像が表示される表示画面を有効に利用することができる。
さらに、入力画像、ひいては、表示部２９に表示される等アスペクト比画像の一部としての対象領域を拡大した付加画像が、その等アスペクト比画像と同時に表示されるので、等アスペクト比画像の一部を覗いているかのような感覚をユーザに与える、いわば覗き見効果を奏することができる。
また、表示処理装置２０において、不使用領域のサイズと同一の画像サイズの付加画像を生成する場合には、表示部２９の表示画面の全体を、有効に利用することができる。
さらに、表示処理装置２０において、ユーザの操作に応じて設定された被写体枠に映っている被写体を追尾し、その被写体が映っている領域を、対象領域に設定する場合には、ユーザがリモートコマンダ１０を操作して、被写体枠を指定し直さなくても、付加画像として、移動している被写体が映っている画像を表示し続けることができる。
次に、画像変換部２４（図２、図１６）が行うサイズ変換は、画像サイズとしての、例えば、画素数を変換する画素数変換であるが、この画素数変換は、補間処理や間引き処理によって行うことができる他、クラス分類適応処理によって行うことができる。以下、図２４ないし図３４を参照して、クラス分類適応処理について説明する。
なお、ここでは、第１の画像データ（画像信号）を第２の画像データ（画像信号）に変換する画像変換処理を例に、クラス分類適応処理について説明する。
第１の画像データを第２の画像データに変換する画像変換処理は、その第１と第２の画像データの定義によって様々な信号処理となる。
即ち、例えば、第１の画像データを低空間解像度の画像データとするとともに、第２の画像データを高空間解像度の画像データとすれば、画像変換処理は、空間解像度を向上させる空間解像度創造（向上）処理ということができる。
また、例えば、第１の画像データを低Ｓ／Ｎ(Siginal/Noise)の画像データとするとともに、第２の画像データを高Ｓ／Ｎの画像データとすれば、画像変換処理は、ノイズを除去するノイズ除去処理ということができる。
さらに、例えば、第１の画像データを所定の画素数（画像サイズ）の画像データとするとともに、第２の画像データを、第１の画像データの画素数を多くまたは少なくした画像データとすれば、画像変換処理は、画像のリサイズ（拡大または縮小）を行うリサイズ処理（サイズ変換）ということができる。
また、例えば、第１の画像データを低時間解像度の画像データとするとともに、第２の画像データを高時間解像度の画像データとすれば、画像変換処理は、時間解像度を向上させる時間解像度創造（向上）処理ということができる。
さらに、例えば、第１の画像データを、MPEG(Moving Picture Experts Group)符号化などのブロック単位で符号化された画像データを復号することによって得られる復号画像データとするとともに、第２の画像データを、符号化前の画像データとすれば、画像変換処理は、MPEG符号化および復号によって生じるブロック歪み等の各種の歪みを除去する歪み除去処理ということができる。
なお、空間解像度創造処理において、低空間解像度の画像データである第１の画像データを、高空間解像度の画像データである第２の画像データに変換するにあたっては、第２の画像データを、第１の画像データと同一の画素数の画像データとすることもできるし、第１の画像データよりも画素数が多い画像データとすることもできる。第２の画像データを、第１の画像データよりも画素数が多い画像データとする場合、空間解像度創造処理は、空間解像度を向上させる処理であるとともに、画像サイズ（画素数）を拡大するリサイズ処理でもある。
以上のように、画像変換処理によれば、第１および第２の画像データをどのように定義するかによって、様々な信号処理を実現することができる。
以上のような画像変換処理としてのクラス分類適応処理では、第２の画像データのうちの注目している注目画素（の画素値）を、所定の一定の規則に従って複数のクラスのうちのいずれかのクラスにクラス分類することにより得られるクラスのタップ係数と、注目画素に対して選択される第１の画像データの画素（の画素値）とを用いた演算により、注目画素（の画素値）が求められる。
すなわち、図２４は、クラス分類適応処理による画像変換処理を行う画像変換装置１０１の構成例を示している。
図２４において、画像変換装置１０１では、そこに供給される画像データが、第１の画像データとして、タップ選択部１１２及び１１３に供給される。
注目画素選択部１１１は、第２の画像データを構成する画素を、順次、注目画素とし、その注目画素を表す情報を、必要なブロックに供給する。
タップ選択部１１２は、注目画素（の画素値）を予測するのに用いる第１の画像データを構成する画素（の画素値）の幾つかを、予測タップとして選択する。
具体的には、タップ選択部１１２は、注目画素の時空間の位置から空間的または時間的に近い位置にある第１の画像データの複数の画素を、予測タップとして選択する。
タップ選択部１１３は、注目画素を、一定の規則に従って、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる第１の画像データを構成する画素の幾つかを、クラスタップとして選択する。すなわち、タップ選択部１１３は、タップ選択部１１２が予測タップを選択するのと同様にして、クラスタップを選択する。
なお、予測タップとクラスタップは、同一のタップ構造（注目画素に対する位置関係）を有するものであっても良いし、異なるタップ構造を有するものであっても良い。
タップ選択部１１２で得られた予測タップは、予測演算部１１６に供給され、タップ選択部１１３で得られたクラスタップは、クラス分類部１１４に供給される。
クラス分類部１１４は、タップ選択部１１３からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数出力部１１５に供給する。
ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。
ADRCを用いる方法では、クラスタップを構成する画素（の画素値）が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。
なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素の画素値がKビットに再量子化される。すなわち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（再量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。
なお、クラス分類部１１４には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Ｋビットが割り当てられているとすると、クラス分類部１１４が出力するクラスコードの場合の数は、（２N）K通りとなり、画素の画素値のビット数Ｋに指数的に比例した膨大な数となる。
従って、クラス分類部１１４においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。
係数出力部１１５は、後述する学習によって求められたクラスごとのタップ係数を記憶し、さらに、その記憶したタップ係数のうちの、クラス分類部１１４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数（クラス分類部１１４から供給されるクラスコードが表すクラスのタップ係数）を出力する。このタップ係数は、予測演算部１１６に供給される。
ここで、タップ係数とは、ディジタルフィルタにおける、いわゆるタップにおいて入力データと乗算される係数に相当するものである。
予測演算部１１６は、タップ選択部１１２が出力する予測タップと、係数出力部１１５が出力するタップ係数とを取得（受信）し、その予測タップとタップ係数とを用いて、注目画素の真値の予測値を求める所定の予測演算を行う。これにより、予測演算部１１６は、注目画素の画素値（の予測値）、すなわち、第２の画像データを構成する画素の画素値を求めて出力する。
次に、図２５のフローチャートを参照して、図２４の画像変換装置１０１による画像変換処理について説明する。
ステップＳ１１１において、注目画素選択部１１１は、画像変換装置１０１に入力される第１の画像データに対する第２の画像データを構成する画素のうち、まだ、注目画素とされていないものの１つを、注目画素として選択し、ステップＳ１１２に進む。すなわち、注目画素選択部１１１は、例えば、第２の画像データを構成する画素のうち、ラスタスキャン順で、まだ、注目画素とされていないものが、注目画素として選択される。
ステップＳ１１２において、タップ選択部１１２と１１３が、そこに供給される第１の画像データから、注目画素についての予測タップとクラスタップとするものを、それぞれ選択する。そして、予測タップは、タップ選択部１１２から予測演算部１１６に供給され、クラスタップは、タップ選択部１１３からクラス分類部１１４に供給される。
クラス分類部１１４は、タップ選択部１１３から、注目画素についてのクラスタップを受信し、ステップＳ１１３において、そのクラスタップに基づき、注目画素をクラス分類する。さらに、クラス分類部１１４は、そのクラス分類の結果得られる注目画素のクラスを表すクラスコードを、係数出力部１１５に出力し、ステップＳ１１４に進む。
ステップＳ１１４では、係数出力部１１５が、クラス分類部１１４から供給されるクラスコードに対応するアドレスに記憶されているタップ係数を取得して（読み出して）出力する。さらに、ステップＳ１１４では、予測演算部１１６が、係数出力部１１５が出力するタップ係数を取得し、ステップＳ１１５に進む。
ステップＳ１１５では、予測演算部１１６が、タップ選択部１１２が出力する予測タップと、係数出力部１１５から取得したタップ係数とを用いて、所定の予測演算を行う。これにより、予測演算部１１６は、注目画素の画素値を求めて出力し、ステップＳ１１６に進む。
ステップＳ１１６では、注目画素選択部１１１が、まだ、注目画素としていない第２の画像データがあるかどうかを判定する。ステップＳ１１６において、まだ、注目画素としていない第２の画像データがあると判定された場合、ステップＳ１１１に戻り、以下、同様の処理が繰り返される。
また、ステップＳ１１６において、まだ、注目画素とされていない第２の画像データがないと判定された場合、処理を終了する。
次に、図２４の予測演算部１１６における予測演算と、係数出力部１１５に記憶されたタップ係数の学習について説明する。
いま、例えば、高画質の画像データ（高画質画像データ）を第２の画像データとするとともに、その高画質画像データをＬＰＦ(Low Pass Filter)によってフィルタリングする等してその画質（解像度）を低下させた低画質の画像データ（低画質画像データ）を第１の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素（高画質画素）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
Figure 0005263565
 ・・・（１）
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の低画質画像データの画素（以下、適宜、低画質画素という）の画素値を表し、ｗnは、ｎ番目の低画質画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の低画質画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
Figure 0005263565
 ・・・（２）
いま、式（２）の予測値ｙk’は、式（１）にしたがって求められるため、式（２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
Figure 0005263565
 ・・・（３）
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 0005263565
 ・・・（４）
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
Figure 0005263565
 ・・・（５）
そこで、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
Figure 0005263565
 ・・・（６）
式（５）と（６）から、次式が得られる。
Figure 0005263565
 ・・・（７）
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
Figure 0005263565
 ・・・（８）
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
次に、図２６は、式（８）の正規方程式をたてて解くことによりタップ係数ｗnを求める学習を行う学習装置１２１の構成例を示している。
図２６において、学習装置１２１の学習用画像記憶部１３１は、タップ係数ｗnの学習に用いられる学習用画像データを記憶している。ここで、学習用画像データとしては、例えば、解像度の高い高画質画像データを用いることができる。
教師データ生成部１３２は、学習用画像記憶部１３１から学習用画像データを読み出す。さらに、教師データ生成部１３２は、学習用画像データから、タップ係数の学習の教師（真値）、すなわち、式（１）による予測演算としての写像の写像先の画素値となる教師データを生成し、教師データ記憶部１３３に供給する。ここでは、教師データ生成部１３２は、例えば、学習用画像データとしての高画質画像データを、そのまま教師データとして、教師データ記憶部１３３に供給する。
教師データ記憶部１３３は、教師データ生成部１３２から供給される教師データとしての高画質画像データを記憶する。教師データは、第２の画像データに相当する。
生徒データ生成部１３４は、学習用画像記憶部１３１から学習用画像データを読み出す。さらに、生徒データ生成部１３４は、学習用画像データから、タップ係数の学習の生徒、すなわち、式（１）による予測演算としての写像による変換対象の画素値となる生徒データを生成し、生徒データ記憶部１３５に供給する。ここでは、生徒データ生成部１３４は、例えば、学習用画像データとしての高画質画像データをフィルタリングすることにより、その解像度を低下させることで、低画質画像データを生成し、この低画質画像データを、生徒データとして、生徒データ記憶部１３５に供給する。
生徒データ記憶部１３５は、生徒データ生成部１３４から供給される生徒データを記憶する。生徒データは、第１の画像データに相当する。
学習部１３６は、教師データ記憶部１３３に記憶された教師データとしての高画質画像データを構成する画素を、順次、注目画素とし、その注目画素について、生徒データ記憶部１３５に記憶された生徒データとしての低画質画像データを構成する低画質画素のうちの、図２４のタップ選択部１１２が選択するのと同一のタップ構造の低画質画素を、予測タップとして選択する。さらに、学習部１３６は、教師データを構成する各画素と、その画素が注目画素とされたときに選択された予測タップとを用い、クラスごとに、式（８）の正規方程式をたてて解くことにより、クラスごとのタップ係数を求める。
すなわち、図２７は、図２６の学習部１３６の構成例を示している。
注目画素選択部１４１は、教師データ記憶部１３３に記憶されている教師データを構成する画素を、順次、注目画素として選択し、その注目画素を表す情報を、必要なブロックに供給する。
タップ選択部１４２は、注目画素について、生徒データ記憶部１３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図２４のタップ選択部１１２が選択するの同一の画素を選択し、これにより、タップ選択部１１２で得られるのと同一のタップ構造の予測タップを得て、足し込み部１４５に供給する。
タップ選択部１４３は、注目画素について、生徒データ記憶部１３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図２４のタップ選択部１１３が選択するのと同一の画素を選択し、これにより、タップ選択部１１３で得られるのと同一のタップ構造のクラスタップを得て、クラス分類部１４４に供給する。
クラス分類部１４４は、タップ選択部１４３が出力するクラスタップに基づき、図２４のクラス分類部１１４と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１４５に出力する。
足し込み部１４５は、教師データ記憶部１３３から、注目画素となっている教師データ（画素）を読み出し、その注目画素と、タップ選択部１４２から供給される注目画素についての予測タップを構成する生徒データ（画素）とを対象とした足し込みを、クラス分類部１４４から供給されるクラスコードごとに行う。
すなわち、足し込み部１４５には、教師データ記憶部１３３に記憶された教師データｙk、タップ選択部１４２が出力する予測タップｘn,k、クラス分類部１４４が出力するクラスコードが供給される。
そして、足し込み部１４５は、クラス分類部１４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kを用い、式（８）の左辺の行列における生徒データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、足し込み部１４５は、やはり、クラス分類部１４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘn,kと教師データｙkを用い、式（８）の右辺のベクトルにおける生徒データｘn,kおよび教師データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
すなわち、足し込み部１４５は、前回、注目画素とされた教師データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた教師データについて、その教師データｙk+1および生徒データｘn,k+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
そして、足し込み部１４５は、教師データ記憶部１３３（図２６）に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、タップ係数算出部１４６に供給する。
タップ係数算出部１４６は、足し込み部１４５から供給される各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
図２４の画像変換装置１０１における係数出力部１１５には、以上のようにして求められたクラスごとのタップ係数ｗnが記憶されている。
ここで、第１の画像データに対応する生徒データとする画像データと、第２の画像データに対応する教師データとする画像データの選択の仕方によって、タップ係数としては、上述したように、各種の画像変換処理を行うものを得ることができる。
すなわち、上述のように、高画質画像データを、第２の画像データに対応する教師データとするとともに、その高画質画像データの空間解像度を劣化させた低画質画像データを、第１の画像データに対応する生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図２８上から１番目に示すように、低画質画像データ（ＳＤ(Standard Definition)画像）である第１の画像データを、その空間解像度を向上させた高画質画像データ（ＨＤ(High Definition)画像データ）である第２の画像データに変換する空間解像度創造処理としての画像変換処理を行うものを得ることができる。
なお、この場合、第１の画像データ（生徒データ）は、第２の画像データ（教師データ）と画素数が同一であっても良いし、少なくても良い。
また、例えば、高画質画像データを教師データとするとともに、その教師データとしての高画質画像データに対して、ノイズを重畳した画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図２８上から２番目に示すように、低S/Nの画像データである第１の画像データを、そこに含まれるノイズを除去（低減）した高S/Nの画像データである第２の画像データに変換するノイズ除去処理としての画像変換処理を行うものを得ることができる。
さらに、例えば、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図２８上から３番目に示すように、画像データの一部である第１の画像データを、その第１の画像データを拡大した拡大画像データである第２の画像データに変換する拡大処理（リサイズ処理）としての画像変換処理を行うものを得ることができる。
なお、拡大処理を行うタップ係数は、高画質画像データを教師データとするとともに、その高画質画像データの空間解像度を、画素数を間引くことにより劣化させた低画質画像データを生徒データとして、タップ係数の学習を行うことによっても得ることができる。
また、例えば、高フレームレートの画像データを教師データとするとともに、その教師データとしての高フレームレートの画像データのフレームを間引いた画像データを生徒データとして、タップ係数の学習を行うことにより、タップ係数としては、図２８上から４番目（１番下）に示すように、所定のフレームレートの第１の画像データを、高フレームレートの第２の画像データに変換する時間解像度創造処理としての画像変換処理を行うものを得ることができる。
次に、図２９のフローチャートを参照して、図２６の学習装置１２１の処理（学習処理）について、説明する。
まず最初に、ステップＳ１２１において、教師データ生成部１３２と生徒データ生成部１３４が、学習用画像記憶部１３１に記憶された学習用画像データから、教師データと生徒データを生成し、教師データ記憶部１３３と生徒データ生成部１３４にそれぞれ供給して記憶させる。
なお、教師データ生成部１３２と生徒データ生成部１３４において、それぞれ、どのような生徒データと教師データを生成するかは、上述したような種類の画像変換処理のうちのいずれの処理用のタップ係数の学習を行うかによって異なる。
その後、ステップＳ１２２に進み、学習部１３６（図２７）において、注目画素選択部１４１は、教師データ記憶部１３３に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として選択し、ステップＳ１２３に進む。ステップＳ１２３では、タップ選択部１４２が、注目画素について、生徒データ記憶部１３５に記憶された生徒データから予測タップとする生徒データとしての画素を選択し、足し込み部１４５に供給するとともに、タップ選択部１４３が、やはり、注目画素について、生徒データ記憶部１３５に記憶された生徒データからクラスタップとする生徒データを選択し、クラス分類部１４４に供給する。
そして、ステップＳ１２４に進み、クラス分類部１４４は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部１４５に出力して、ステップＳ１２５に進む。
ステップＳ１２５では、足し込み部１４５は、教師データ記憶部１３３から、注目画素を読み出し、その注目画素と、タップ選択部１４２から供給される注目画素について選択された予測タップを構成する生徒データとを対象とした式（８）の足し込みを、クラス分類部１４４から供給されるクラスコードごとに行い、ステップＳ１２６に進む。
ステップＳ１２６では、注目画素選択部１４１が、教師データ記憶部１３３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ１２６において、注目画素としていない教師データが、まだ、教師データ記憶部１３３に記憶されていると判定された場合、ステップＳ１２２に戻り、以下、同様の処理が繰り返される。
また、ステップＳ１２６において、注目画素としていない教師データが、教師データ記憶部１３３に記憶されていないと判定された場合、足し込み部１４５は、いままでのステップＳ１２２乃至Ｓ１２６の処理によって得られたクラスごとの式（８）における左辺の行列と、右辺のベクトルを、タップ係数算出部１４６に供給し、ステップＳ１２７に進む。
ステップＳ１２７では、タップ係数算出部１４６は、足し込み部１４５から供給されるクラスごとの式（８）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、タップ係数ｗnを求めて出力し、処理を終了する。
なお、学習用画像データの数が十分でないこと等に起因して、タップ係数を求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、タップ係数算出部１４６は、例えば、デフォルトのタップ係数を出力するようになっている。
次に、図３０は、クラス分類適応処理による画像変換処理を行う他の画像変換装置１５１の構成例を示している。
なお、図３０の画像変換装置１５１において、図２４における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。すなわち、画像変換装置１５１は、係数出力部１１５に代えて、係数出力部１５５が設けられている他は、図２４の画像変換装置１０１と同様に構成されている。
係数出力部１５５には、クラス分類部１１４からクラス（クラスコード）が供給される他、例えば、ユーザの操作その他に応じて外部から入力されるパラメータｚが供給されるようになっている。係数出力部１５５は、後述するようにして、パラメータｚに対応するクラスごとのタップ係数を生成し、そのクラスごとのタップ係数のうちの、クラス分類部１１４からのクラスのタップ係数を、予測演算部１１６に出力する。
図３１は、図３０の係数出力部１５５の構成例を示している。
係数生成部１６１は、係数種メモリ１６２に記憶されている係数種データと、パラメータメモリ１６３に記憶されたパラメータｚとに基づいて、クラスごとのタップ係数を生成し、係数メモリ１６４に供給して上書きする形で記憶させる。
係数種メモリ１６２は、後述する係数種データの学習によって得られるクラスごとの係数種データを記憶している。ここで、係数種データは、タップ係数を生成する、いわば種になるデータである。
パラメータメモリ１６３は、ユーザの操作等に応じて外部から入力されるパラメータｚを上書きする形で記憶する。
係数メモリ１６４は、係数生成部１６１から供給されるクラスごとのタップ係数（パラメータｚに対応するクラスごとのタップ係数）を記憶する。そして、係数メモリ１６４は、クラス分類部１１４（図３０）から供給されるクラスのタップ係数を読み出し、予測演算部１１６（図３０）に出力する。
図３０の画像変換装置１５１では、外部から係数出力部１５５に対して、パラメータｚが入力されると、係数出力部１５５（図３１）のパラメータメモリ１６３において、そのパラメータｚが、上書きする形で記憶される。
パラメータメモリ１６３にパラメータｚが記憶されると（パラメータメモリ１６３の記憶内容が更新されると）、係数生成部１６１は、係数種メモリ１６２からクラスごとの係数種データを読み出すとともに、パラメータメモリ１６３からパラメータｚを読み出し、その係数種データとパラメータｚに基づいて、クラスごとのタップ係数を求める。そして、係数生成部１６１は、そのクラスごとのタップ係数を、係数メモリ１６４に供給し、上書きする形で記憶させる。
画像変換装置１５１では、タップ係数を記憶しており、そのタップ係数を出力する係数出力部１１５に代えて設けられている係数出力部１５５において、パラメータｚに対応するタップ係数を生成して出力することを除いて、図２４の画像変換装置１０１が行う図２５のフローチャートにしたがった処理と同様の処理が行われる。
次に、図３０の予測演算部１１６における予測演算、並びに図３１の係数生成部１６１におけるタップ係数の生成および係数種メモリ１６２に記憶させる係数種データの学習について説明する。
図２４の実施の形態における場合のように、高画質の画像データ（高画質画像データ）を第２の画像データとするとともに、その高画質画像データの空間解像度を低下させた低画質の画像データ（低画質画像データ）を第１の画像データとして、低画質画像データから予測タップを選択し、その予測タップとタップ係数を用いて、高画質画像データの画素である高画質画素の画素値を、例えば、上述の式（１）の線形１次予測演算によって求める（予測する）ことを考える。
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
図３１の実施の形態では、係数生成部１６１において、タップ係数ｗnが、係数種メモリ１６２に記憶された係数種データと、パラメータメモリ１６３に記憶されたパラメータｚとから生成されるが、この係数生成部１６１におけるタップ係数ｗnの生成が、例えば、係数種データとパラメータｚを用いた次式によって行われることとする。
Figure 0005263565
 ・・・（９）
但し、式（９）において、βm,nは、ｎ番目のタップ係数ｗnを求めるのに用いられるｍ番目の係数種データを表す。なお、式（９）では、タップ係数ｗnが、Ｍ個の係数種データβ1,n，β2,n，・・・，βM,nを用いて求められるようになっている。
ここで、係数種データβm,nとパラメータｚから、タップ係数ｗnを求める式は、式（９）に限定されるものではない。
いま、式（９）におけるパラメータｚによって決まる値ｚm-1を、新たな変数ｔmを導入して、次式で定義する。
Figure 0005263565
 ・・・（１０）
式（１０）を、式（９）に代入することにより、次式が得られる。
Figure 0005263565
 ・・・（１１）
式（１１）によれば、タップ係数ｗnは、係数種データβm,nと変数ｔmとの線形１次式によって求められることになる。
ところで、いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk’と表すと、その予測誤差ｅkは、次式で表される。
Figure 0005263565
 ・・・（１２）
いま、式（１２）の予測値ｙk’は、式（１）にしたがって求められるため、式（１２）のｙk’を、式（１）にしたがって置き換えると、次式が得られる。
Figure 0005263565
 ・・・（１３）
但し、式（１３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の低画質画素を表す。
式（１３）のｗnに、式（１１）を代入することにより、次式が得られる。
Figure 0005263565
 ・・・（１４）
式（１４）の予測誤差ｅkを０とする係数種データβm,nが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのような係数種データβm,nを求めることは、一般には困難である。
そこで、係数種データβm,nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な係数種データβm,nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 0005263565
 ・・・（１５）
但し、式（１５）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
式（１５）の自乗誤差の総和Ｅの最小値（極小値）は、式（１６）に示すように、総和Ｅを係数種データβm,nで偏微分したものを０とするβm,nによって与えられる。
Figure 0005263565
 ・・・（１６）
式（１３）を、式（１６）に代入することにより、次式が得られる。
Figure 0005263565
 ・・・（１７）
いま、Ｘi,p,j,qとＹi,pを、式（１８）と（１９）に示すように定義する。
Figure 0005263565
 ・・・（１８）
Figure 0005263565
 ・・・（１９）
この場合、式（１７）は、Ｘi,p,j,qとＹi,pを用いた式（２０）に示す正規方程式で表すことができる。
Figure 0005263565
 ・・・（２０）
式（２０）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、係数種データβm,nについて解くことができる。
図３０の画像変換装置１５１においては、多数の高画質画素ｙ1，ｙ2，・・・，ｙKを学習の教師となる教師データとするとともに、各高画質画素ｙkについての予測タップを構成する低画質画素ｘ1,k，ｘ2,k，・・・，ｘN,kを学習の生徒となる生徒データとして、クラスごとに式（２０）の正規方程式をたてて解く学習を行うことにより求められたクラスごとの係数種データβm,nが、係数出力部１５５（図３１）の係数種メモリ１６２に記憶されており、係数生成部１６１では、その係数種データβm,nと、パラメータメモリ１６３に記憶されたパラメータｚから、式（９）にしたがって、クラスごとのタップ係数ｗnが生成される。そして、予測演算部１１６において、そのタップ係数ｗnと、高画質画素としての注目画素についての予測タップを構成する低画質画素（第１の画像データの画素）ｘnを用いて、式（１）が計算されることにより、高画質画素としての注目画素の画素値（に近い予測値）が求められる。
次に、図３２は、式（２０）の正規方程式をクラスごとにたてて解くことにより、クラスごとの係数種データβm,nを求める学習を行う学習装置１７１の構成例を示している。
なお、図中、図２６の学習装置１２１における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。すなわち、学習装置１７１は、生徒データ生成部１３４と学習部１３６に代えて、生徒データ生成部１７４と学習部１７６がそれぞれ設けられているとともに、パラメータ生成部１８１が新たに設けられている他は、図２６の学習装置１２１と同様に構成されている。
生徒データ生成部１７４は、図２６の生徒データ生成部１３４と同様に、学習用画像データから生徒データを生成し、生徒データ記憶部１３５に供給して記憶させる。
但し、生徒データ生成部１７４には、学習用画像データの他、図３１のパラメータメモリ１６３に供給されるパラメータｚが取り得る範囲の幾つかの値が、パラメータ生成部１８１から供給されるようになっている。すなわち、いま、パラメータｚが取り得る値が０乃至Ｚの範囲の実数であるとすると、生徒データ生成部１７４には、例えば、ｚ＝０，１，２，・・・，Ｚが、パラメータ生成部１８１から供給されるようになっている。
生徒データ生成部１７４は、学習用画像データとしての高画質画像データを、例えば、そこに供給されるパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、生徒データとしての低画質画像データを生成する。
従って、生徒データ生成部１７４では、学習用画像データとしての高画質画像データについて、Ｚ＋１種類の、空間解像度の異なる生徒データとしての低画質画像データが生成される。
なお、ここでは、例えば、パラメータｚの値が大きくなるほど、カットオフ周波数の高いＬＰＦを用いて、高画質画像データをフィルタリングし、生徒データとしての低画質画像データを生成するものとする。従って、ここでは、値の大きいパラメータｚに対応する低画質画像データほど、空間解像度が高い。
また、本実施の形態では、説明を簡単にするために、生徒データ生成部１７４において、高画質画像データの水平方向および垂直方向の両方向の空間解像度を、パラメータｚに対応する分だけ低下させた低画質画像データを生成するものとする。
学習部１７６は、教師データ記憶部１３３に記憶された教師データ、生徒データ記憶部１３５に記憶された生徒データ、およびパラメータ生成部１８１から供給されるパラメータｚを用いて、クラスごとの係数種データを求めて出力する。
パラメータ生成部１８１は、パラメータｚが取り得る範囲の幾つかの値としての、例えば、上述したようなｚ＝０，１，２，・・・，Ｚを生成し、生徒データ生成部１７４と学習部１７６に供給する。
次に、図３３は、図３２の学習部１７６の構成例を示している。なお、図中、図２７の学習部１３６における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
タップ選択部１９２は、注目画素について、生徒データ記憶部１３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図３０のタップ選択部１１２が選択するのと同一のタップ構造の予測タップを選択し、足し込み部１９５に供給する。
タップ選択部１９３は、注目画素について、生徒データ記憶部１３５に記憶された生徒データとしての低画質画像データを構成する低画質画素から、図３０のタップ選択部１１３が選択するのと同一のタップ構造のクラスタップを選択し、クラス分類部１４４に供給する。
但し、図３３では、タップ選択部１９２と１９３に、図３２のパラメータ生成部１８１が生成するパラメータｚが供給されるようになっており、タップ選択部１９２と１９３は、パラメータ生成部１８１から供給されるパラメータｚに対応して生成された生徒データ（ここでは、パラメータｚに対応するカットオフ周波数のＬＰＦを用いて生成された生徒データとしての低画質画像データ）から、予測タップとクラスタップをそれぞれ選択する。
足し込み部１９５は、図３２の教師データ記憶部１３３から、注目画素を読み出し、その注目画素、タップ選択部１９２から供給される注目画素について構成された予測タップを構成する生徒データ、およびその生徒データを生成したときのパラメータｚを対象とした足し込みを、クラス分類部１４４から供給されるクラスごとに行う。
すなわち、足し込み部１９５には、教師データ記憶部１３３に記憶された注目画素としての教師データｙk、タップ選択部１９２が出力する注目画素についての予測タップｘi,k（ｘj,k）、およびクラス分類部１４４が出力する注目画素のクラスが供給されるとともに、注目画素についての予測タップを構成する生徒データを生成したときのパラメータｚが、パラメータ生成部１８１から供給される。
そして、足し込み部１９５は、クラス分類部１４４から供給されるクラスごとに、予測タップ（生徒データ）ｘi,k（ｘj,k）とパラメータｚを用い、式（２０）の左辺の行列における、式（１８）で定義されるコンポーネントＸi,p,j,qを求めるための生徒データおよびパラメータｚの乗算（ｘi,kｔpｘj,kｔq）と、サメーション（Σ）に相当する演算を行う。なお、式（１８）のｔpは、式（１０）にしたがって、パラメータｚから計算される。式（１８）のｔqも同様である。
さらに、足し込み部１９５は、やはり、クラス分類部１４４から供給されるクラスコードに対応するクラスごとに、予測タップ（生徒データ）ｘi,k、教師データｙk、およびパラメータｚを用い、式（２０）の右辺のベクトルにおける、式（１９）で定義されるコンポーネントＹi,pを求めるための生徒データｘi,k、教師データｙk、およびパラメータｚの乗算（ｘi,kｔpｙk）と、サメーション（Σ）に相当する演算を行う。なお、式（１９）のｔpは、式（１０）にしたがって、パラメータｚから計算される。
すなわち、足し込み部１９５は、前回、注目画素とされた教師データについて求められた式（２０）における左辺の行列のコンポーネントＸi,p,j,qと、右辺のベクトルのコンポーネントＹi,pを、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネントＸi,p,j,qまたはベクトルのコンポーネントＹi,pに対して、新たに注目画素とされた教師データについて、その教師データｙk、生徒データｘi,k(ｘj,k)、およびパラメータｚを用いて計算される、対応するコンポーネントｘi,kｔpｘj,kｔqまたはｘi,kｔpｙkを足し込む（式（１８）のコンポーネントＸi,p,j,qまたは式（１９）のコンポーネントＹi,pにおけるサメーションで表される加算を行う）。
そして、足し込み部１９５は、０，１，・・・，Ｚのすべての値のパラメータｚにつき、教師データ記憶部１３３に記憶された教師データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（２０）に示した正規方程式をたてると、その正規方程式を、係数種算出部１９６に供給する。
係数種算出部１９６は、足し込み部１９５から供給されるクラスごとの正規方程式を解くことにより、各クラスごとの係数種データβm,nを求めて出力する。
次に、図３４のフローチャートを参照して、図３２の学習装置１７１の処理（学習処理）について、説明する。
まず最初に、ステップＳ１３１において、教師データ生成部１３２と生徒データ生成部１７４が、学習用画像記憶部１３１に記憶された学習用画像データから、教師データと生徒データを、それぞれ生成して出力する。すなわち、教師データ生成部１３２は、学習用画像データを、例えば、そのまま、教師データとして出力する。また、生徒データ生成部１７４には、パラメータ生成部１８１が生成するＺ＋１個の値のパラメータｚが供給される。生徒データ生成部１７４は、例えば、学習用画像データを、パラメータ生成部１８１からのＺ＋１個の値（０，１，・・・，Ｚ）のパラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより、各フレームの教師データ（学習用画像データ）について、Ｚ＋１フレームの生徒データを生成して出力する。
教師データ生成部１３２が出力する教師データは、教師データ記憶部１３３に供給されて記憶され、生徒データ生成部１７４が出力する生徒データは、生徒データ記憶部１３５に供給されて記憶される。
その後、ステップＳ１３２に進み、パラメータ生成部１８１は、パラメータｚを、初期値としての、例えば０にセットし、学習部１７６（図３３）のタップ選択部１９２および１９３、並びに足し込み部１９５に供給して、ステップＳ１３３に進む。ステップＳ１３３では、注目画素選択部１４１は、教師データ記憶部１３３に記憶された教師データのうち、まだ、注目画素としていないものを、注目画素として、ステップＳ１３４に進む。
ステップＳ１３４では、タップ選択部１９２が、注目画素について、生徒データ記憶部１３５に記憶された、パラメータ生成部１８１が出力するパラメータｚに対する生徒データ（注目画素となっている教師データに対応する学習用画像データを、パラメータｚに対応するカットオフ周波数のＬＰＦによってフィルタリングすることにより生成された生徒データ）から予測タップを選択し、足し込み部１９５に供給する。さらに、ステップＳ１３４では、タップ選択部１９３が、やはり、注目画素について、生徒データ記憶部１３５に記憶された、パラメータ生成部１８１が出力するパラメータｚに対する生徒データからクラスタップを選択し、クラス分類部１４４に供給する。
そして、ステップＳ１３５に進み、クラス分類部１４４は、注目画素についてのクラスタップに基づき、注目画素のクラス分類を行い、その結果得られる注目画素のクラスを、足し込み部１９５に出力して、ステップＳ１３６に進む。
ステップＳ１３５では、足し込み部１９５は、教師データ記憶部１３３から注目画素を読み出し、その注目画素、タップ選択部１９２から供給される予測タップ、パラメータ生成部１８１が出力するパラメータｚを用い、式（２０）における左辺の行列のコンポーネントｘi,Kｔpｘj,Kｔqと、右辺のベクトルのコンポーネントｘi,KｔpｙKを計算する。さらに、足し込み部１９５は、既に得られている行列のコンポーネントとベクトルのコンポーネントのうち、クラス分類部１４４からの注目画素のクラスに対応するものに対して、注目画素、予測タップ、およびパラメータｚから求められた行列のコンポーネントｘi,Kｔpｘj,Kｔqとベクトルのコンポーネントｘi,KｔpｙKを足し込み、ステップＳ１３７に進む。
ステップＳ１３７では、パラメータ生成部１８１が、自身が出力しているパラメータｚが、その取り得る値の最大値であるＺに等しいかどうかを判定する。ステップＳ１３７において、パラメータ生成部１８１が出力しているパラメータｚが最大値Ｚに等しくない（最大値Ｚ未満である）と判定された場合、ステップＳ１３８に進み、パラメータ生成部１８１は、パラメータｚに１を加算し、その加算値を新たなパラメータｚとして、学習部１７６（図３３）のタップ選択部１９２および１９３、並びに足し込み部１９５に出力する。そして、ステップＳ１３４に戻り、以下、同様の処理が繰り返される。
また、ステップＳ１３７において、パラメータｚが最大値Ｚに等しいと判定された場合、ステップＳ１３９に進み、注目画素選択部１４１が、教師データ記憶部１３３に、まだ、注目画素としていない教師データが記憶されているかどうかを判定する。ステップＳ１３９において、注目画素としていない教師データが、まだ、教師データ記憶部１３３に記憶されていると判定された場合、ステップＳ１３２に戻り、以下、同様の処理が繰り返される。
また、ステップＳ１３９において、注目画素としていない教師データが、教師データ記憶部１３３に記憶されていないと判定された場合、足し込み部１９５は、いままでの処理によって得られたクラスごとの式（２０）における左辺の行列と、右辺のベクトルを、係数種算出部１９６に供給し、ステップＳ１４０に進む。
ステップＳ１４０では、係数種算出部１９６は、足し込み部１９５から供給されるクラスごとの式（２０）における左辺の行列と右辺のベクトルによって構成されるクラスごとの正規方程式を解くことにより、各クラスごとに、係数種データβm,nを求めて出力し、処理を終了する。
なお、学習用画像データの数が十分でないこと等に起因して、係数種データを求めるのに必要な数の正規方程式が得られないクラスが生じることがあり得るが、そのようなクラスについては、係数種算出部１９６は、例えば、デフォルトの係数種データを出力するようになっている。
画像変換部２４（図２、図１６）が行うサイズ変換は、以上のようなクラス分類適応処理によって行うことができる。
すなわち、画像変換部２４において、サイズ変換をクラス分類適応処理によって行う場合には、図３２の学習装置１７１において、ある画像データを教師データとするとともに、その教師データとしての画像データの画素数を、パラメータｚに対応して間引いた画像データを生徒データとして、または、所定のサイズの画像データを生徒データとするとともに、その生徒データとしての画像データの画素をパラメータｚに対応する間引き率で間引いた画像データを教師データとして、係数種データの学習を行う。
そして、画像変換部２４を、図３０の画像変換装置１５１によって構成し、学習によって求めた係数種データを、画像変換部２４としての画像変換装置１５１（図３０）の係数出力部１５５を構成する係数種メモリ１６２（図３１）に記憶させておく。
この場合、画像フォーマット検出部２２（図２、図１６）から、画像変換部２４としての画像変換装置１５１に対して、パラメータｚとして、入力画像の横又は縦の画素数を、表示部２９の表示画面の横又は縦の画素数に一致させる倍率である変換係数Kを与えることによって、画像変換部２４としての画像変換装置１５１において、入力画像の横又は縦の画素数を、表示部２９の表示画面の横又は縦の画素数に一致させるサイズ変換を、クラス分類適応処理によって行うことができる。
また、付加画像生成部２６（図２、図１６）において、対象領域を倍率パラメータα倍に拡大することにより、付加画像を生成するサイズ変換も、クラス分類適応処理によって行うことができる。この場合、パラメータzとして、倍率パラメータαを用いれば良い。
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図３５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク２０５やROM２０３に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体２１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体２１１は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体２１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部２０８で受信し、内蔵するハードディスク２０５にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)２０２を内蔵している。CPU２０２には、バス２０１を介して、入出力インタフェース２１０が接続されており、CPU２０２は、入出力インタフェース２１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部２０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)２０３に格納されているプログラムを実行する。あるいは、また、CPU２０２は、ハードディスク２０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部２０８で受信されてハードディスク２０５にインストールされたプログラム、またはドライブ２０９に装着されたリムーバブル記録媒体２１１から読み出されてハードディスク２０５にインストールされたプログラムを、RAM(Random Access Memory)２０４にロードして実行する。これにより、CPU２０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU２０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース２１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部２０６から出力、あるいは、通信部２０８から送信、さらには、ハードディスク２０５に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
すなわち、入力画像、ひいては、等アスペクト比画像、さらには、表示部２９の表示画面のアスペクト比は、4:3や16:9に限定されるものではない。
また、図１３、図１５、図１９、及び図２１の付加画像生成処理では、メモリ２５Ａに、対象領域枠パラメータ、ひいては、被写体枠パラメータが記憶されていない場合には、デフォルトの付加画像を生成するようにしたが、メモリ２５Ａに被写体枠パラメータが記憶されていない場合には、その他、デフォルトの位置としての、例えば、入力画像の中心（重心）部分に、所定の大きさの被写体枠が設定されていることとして、付加画像を生成するようにすることが可能である。
さらに、本実施の形態では、付加画像生成部２６において、入力画像のうちの対象領域だけを対象に、サイズ変換を行うことにより、付加画像を生成するようにしたが、付加画像は、その他、例えば、入力画像の全体を対象にサイズ変換を行い、そのサイズ変換後の画像から、対象領域に相当する部分の領域を抽出することによって生成することが可能である。
ここで、画像の全体を拡大し、その拡大後の画像から一部の領域を抽出する方法は、例えば、特開2005-215375号公報に記載されている。
また、本実施の形態では、付加画像生成部２６において、対象領域を拡大した画像を、付加画像とするようにしたが、付加画像は、対象領域を縮小した画像であってもよい。
さらに、本実施の形態では、表示処理装置２０（図２、図１６）のバッファ２３に、地上波ディジタル放送等で放送された放送データが供給されることとしたが、バッファ２３には、その他、DVD等の記録媒体から再生されたデータを供給するようにすることができる。
画像のアスペクト比と異なるアスペクト比の表示画面に、画像を表示する従来の表示例を示す図である。 本発明を適用した表示システムの一実施の形態の構成例を示すブロック図である。 画像変換部２４の処理を説明する図である。 画像変換部２４の処理を説明する図である。 表示画面に、表示画面のアスペクト比と異なるアスペクト比の等アスペクト比画像を表示する表示例を示す図である。 対象領域設定部２５における対象領域の設定を説明する図である。 対象領域設定部２５における対象領域の設定を説明する図である。 付加画像生成部２６の処理を説明する図である。 付加画像生成部２６の処理を説明する図である。 表示処理装置２０の表示処理を説明するフローチャートである。 通常表示処理を説明するフローチャートである。 付加画像表示処理を説明するフローチャートである。 付加画像生成処理を説明するフローチャートである。 リモートコマンダ１０の構成例を示す図である。 付加画像生成処理を説明するフローチャートである。 本発明を適用した表示システムの他の一実施の形態の構成例を示すブロック図である。 表示システムの処理を説明する図である。 表示システムの処理を説明する図である。 付加画像生成処理を説明するフローチャートである。 リモートコマンダ１０の構成例を示す図である。 付加画像生成処理を説明するフローチャートである。 ２つの被写体枠を設定した場合の結合画像の表示例を示す図である。 付加画像の表示例を示す図である。 クラス分類適応処理による画像変換処理を行う画像変換装置１０１の構成例を示すブロック図である。 画像変換装置１０１による画像変換処理を説明するフローチャートである。 タップ係数を学習する学習装置１２１の構成例を示すブロック図である。 学習装置１２１の学習部１３６の構成例を示すブロック図である。 各種の画像変換処理を説明するための図である。 学習装置１２１による学習処理を説明するフローチャートである。 クラス分類適応処理による画像変換処理を行う画像変換装置１５１の構成例を示すブロック図である。 画像変換装置１５１の係数出力部１５５の構成例を示すブロック図である。 係数種データを学習する学習装置１７１の構成例を示すブロック図である。 学習装置１７１の学習部１７６の構成例を示すブロック図である。 学習装置１７１による学習処理を説明するフローチャートである。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
符号の説明
１０ リモートコマンダ， １１ ジョイスティック， １２ 設定開始ボタン， １３ 補正開始ボタン， １４ 終了ボタン， ２０ 表示処理装置， ２１ 取得部， ２２ 画像フォーマット検出部， ２３ バッファ， ２４ 画像変換部， ２５ 対象領域設定部， ２５Ａ メモリ， ２５Ｂ 追尾部， ２６ 付加画像生成部， ２７ 結合画像生成部， ２８ 表示制御部， ２９ 表示部， ３０ 制御部， ２０１ バス， ２０２ CPU， ２０３ ROM， ２０４ RAM， ２０５ ハードディスク， ２０６ 出力部， ２０７ 入力部， ２０８ 通信部， ２０９ ドライブ， ２１０ 入出力インタフェース， ２１１ リムーバブル記録媒体

Claims (6)

  1. 画像を表示する表示手段に、動画である入力画像を表示させる画像処理装置において、
    前記入力画像を、横又は縦のサイズが前記表示画面の横又は縦のサイズと一致し、かつ、前記表示画面の画面サイズ以下の画像サイズの画像であって、前記入力画像の横及び縦のサイズを同一倍した画像である等アスペクト比画像に変換する画像変換手段と、
    前記等アスペクト比画像を、その等アスペクト比画像のアスペクト比を変えずに、前記表示手段に表示したときに、前記表示手段の表示画面において、前記等アスペクト比画像の表示に使用されない不使用領域のサイズ内の画像サイズの画像である付加画像を、前記入力画像から生成する付加画像生成手段と、
    各フレーム又はフィールドの前記入力画像を変換して得られる前記等アスペクト比画像と、そのフレーム又はフィールドの前記入力画像から生成される前記付加画像とが重ならないように結合された結合画像を生成する結合画像生成手段と、
    前記結合画像を、前記表示手段に表示させる表示制御手段と
    を備え、
    前記付加画像生成手段は、前記入力画像の一部の、被写体が映っている領域を拡大、又は縮小した画像を、前記付加画像として生成し、
    前記表示制御手段は、
    第１の前記付加画像と、前記第１の付加画像とは異なる第２の付加画像にそれぞれ映っている被写体どうしの、前記等アスペクト比画像上の位置関係と、
    前記第１の付加画像と前記第２の付加画像の位置関係と
    が一致した前記結合画像を、前記表示手段に表示させる
    画像処理装置。
  2. 前記付加画像を生成するのに拡大、又は縮小の対象とする前記入力画像の一部の、被写体が映っている領域である対象領域を設定する対象領域設定手段をさらに備える
    請求項１に記載の画像処理装置。
  3. 前記対象領域設定手段は、ユーザの操作に応じて、前記対象領域を設定する
    請求項２に記載の画像処理装置。
  4. 前記入力画像の一部の領域に映る被写体を追尾する追尾手段をさらに備え、
    前記対象領域設定手段は、前記追尾手段が追尾する被写体が映っている領域を、前記対象領域に設定する
    請求項２に記載の画像処理装置。
  5. 画像を表示する表示手段に、動画である入力画像を表示させる画像処理装置の画像処理方法において、
    前記画像処理装置による、
    前記入力画像を、横又は縦のサイズが前記表示画面の横又は縦のサイズと一致し、かつ、前記表示画面の画面サイズ以下の画像サイズの画像であって、前記入力画像の横及び縦のサイズを同一倍した画像である等アスペクト比画像に変換する画像変換ステップと、
    前記等アスペクト比画像を、その等アスペクト比画像のアスペクト比を変えずに、前記表示手段に表示したときに、前記表示手段の表示画面において、前記等アスペクト比画像の表示に使用されない不使用領域のサイズ内の画像サイズの画像である付加画像を、前記入力画像から生成する付加画像生成ステップと、
    各フレーム又はフィールドの前記入力画像を変換して得られる前記等アスペクト比画像と、そのフレーム又はフィールドの前記入力画像から生成される前記付加画像とが重ならないように結合された結合画像を生成する結合画像生成ステップと、
    前記結合画像を、前記表示手段に表示させる表示制御ステップと
    を含み、
    前記付加画像生成ステップは、前記入力画像の一部の、被写体が映っている領域を拡大、又は縮小した画像を、前記付加画像として生成し、
    前記表示制御ステップは、
    第１の前記付加画像と、前記第１の付加画像とは異なる第２の付加画像にそれぞれ映っている被写体どうしの、前記等アスペクト比画像上の位置関係と、
    前記第１の付加画像と前記第２の付加画像の位置関係と
    が一致した前記結合画像を、前記表示手段に表示させる
    画像処理方法。
  6. 画像を表示する表示手段に、動画である入力画像を表示させる画像処理を、コンピュータに実行させるプログラムにおいて、
    前記入力画像を、横又は縦のサイズが前記表示画面の横又は縦のサイズと一致し、かつ、前記表示画面の画面サイズ以下の画像サイズの画像であって、前記入力画像の横及び縦のサイズを同一倍した画像である等アスペクト比画像に変換する画像変換ステップと、
    前記等アスペクト比画像を、その等アスペクト比画像のアスペクト比を変えずに、前記表示手段に表示したときに、前記表示手段の表示画面において、前記等アスペクト比画像の表示に使用されない不使用領域のサイズ内の画像サイズの画像である付加画像を、前記入力画像から生成する付加画像生成ステップと、
    各フレーム又はフィールドの前記入力画像を変換して得られる前記等アスペクト比画像と、そのフレーム又はフィールドの前記入力画像から生成される前記付加画像とが重ならないように結合された結合画像を生成する結合画像生成ステップと、
    前記結合画像を、前記表示手段に表示させる表示制御ステップと
    を含み、
    前記付加画像生成ステップは、前記入力画像の一部の、被写体が映っている領域を拡大、又は縮小した画像を、前記付加画像として生成し、
    前記表示制御ステップは、
    第１の前記付加画像と、前記第１の付加画像とは異なる第２の付加画像にそれぞれ映っている被写体どうしの、前記等アスペクト比画像上の位置関係と、
    前記第１の付加画像と前記第２の付加画像の位置関係と
    が一致した前記結合画像を、前記表示手段に表示させる
    画像処理を、コンピュータに実行させるプログラム。
JP2006278352A 2006-10-12 2006-10-12 画像処理装置、画像処理方法、及びプログラム Expired - Fee Related JP5263565B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006278352A JP5263565B2 (ja) 2006-10-12 2006-10-12 画像処理装置、画像処理方法、及びプログラム
US11/857,189 US8305491B2 (en) 2006-10-12 2007-09-18 Information processing apparatus, information processing method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006278352A JP5263565B2 (ja) 2006-10-12 2006-10-12 画像処理装置、画像処理方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2008098966A JP2008098966A (ja) 2008-04-24
JP2008098966A5 JP2008098966A5 (ja) 2009-11-19
JP5263565B2 true JP5263565B2 (ja) 2013-08-14

Family

ID=39302731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006278352A Expired - Fee Related JP5263565B2 (ja) 2006-10-12 2006-10-12 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US8305491B2 (ja)
JP (1) JP5263565B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7023010B2 (ja) 2016-03-03 2022-02-21 ベーハーベー ゲーエムベーハー 建物用の垂直スライド窓
JP7378655B2 (ja) 2020-09-16 2023-11-13 株式会社Lixil 建具

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101582254B (zh) * 2008-05-13 2011-06-15 华为终端有限公司 一种图像呈现方法及装置
FR2936924A1 (fr) * 2008-10-02 2010-04-09 Thomson Licensing Procede de conversion de format d'image avec insertion de bandeau d'information.
US20100123822A1 (en) * 2008-11-14 2010-05-20 General Instrument Corporation Method for Converting Between Display Information Scales
WO2010069378A1 (en) * 2008-12-18 2010-06-24 Abb Technology Ag Method and device to supervise a power network
JP2010220167A (ja) * 2009-03-19 2010-09-30 Seiko Epson Corp 表示装置、プログラムおよび情報記憶媒体
KR101651927B1 (ko) * 2010-03-15 2016-08-29 엘지전자 주식회사 디스플레이 장치 및 디스플레이 모듈
JP2013257686A (ja) * 2012-06-12 2013-12-26 Sony Corp 投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラム
US20150042686A1 (en) * 2013-08-12 2015-02-12 Fido Chang Method Applied to a Display for Displaying a Sub-frame
JP6465566B2 (ja) * 2013-08-21 2019-02-06 キヤノン株式会社 撮像装置及び撮像方法
US9451296B2 (en) 2014-08-19 2016-09-20 At&T Intellectual Property I, L.P. Extracting data from advertisement files for ad insertion
JP6446217B2 (ja) * 2014-09-24 2018-12-26 株式会社スクウェア・エニックス 画像表示プログラム、画像表示方法、及び、画像表示システム
KR102328823B1 (ko) 2014-11-12 2021-11-19 삼성전자 주식회사 화면 내 빈 영역 활용 방법 및 장치
KR102308645B1 (ko) 2014-12-29 2021-10-05 삼성전자주식회사 사용자 단말 장치 및 그의 제어 방법
KR20160115214A (ko) * 2015-03-26 2016-10-06 삼성전자주식회사 디스플레이 장치 및 그의 디스플레이 방법
US9924131B1 (en) * 2016-09-21 2018-03-20 Samsung Display Co., Ltd. System and method for automatic video scaling
CN106780758B (zh) * 2016-12-07 2019-12-13 歌尔科技有限公司 用于虚拟现实设备的成像方法、装置及虚拟现实设备
JP2019201321A (ja) * 2018-05-16 2019-11-21 日本放送協会 基準レベル表示装置及びそのプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5130800A (en) * 1989-12-28 1992-07-14 North American Philips Corporation Picture out of picture feature for wide-screen display
JP2759727B2 (ja) 1992-04-22 1998-05-28 日本ビクター株式会社 ディスプレイ装置
JPH09163260A (ja) 1995-12-13 1997-06-20 Sony Corp テレビ受信機
JP4854156B2 (ja) * 2000-12-27 2012-01-18 パナソニック株式会社 リンクマークの位置情報の伝送方法と、その表示方法及びシステム
US7266254B2 (en) * 2002-02-13 2007-09-04 Canon Kabushiki Kaisha Data processing apparatus, image processing apparatus, and method therefor
JP3664251B2 (ja) * 2002-11-06 2005-06-22 船井電機株式会社 映像出力装置
US7702015B2 (en) * 2003-03-20 2010-04-20 Ge Security, Inc. Systems and methods for multi-resolution image processing
JP2005020512A (ja) * 2003-06-27 2005-01-20 Pioneer Electronic Corp 映像信号処理装置
JP2005303796A (ja) * 2004-04-14 2005-10-27 Kazumasa Sasaki 放送システムおよび画像再生装置
JP2006033380A (ja) * 2004-07-15 2006-02-02 Hitachi Kokusai Electric Inc 監視システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7023010B2 (ja) 2016-03-03 2022-02-21 ベーハーベー ゲーエムベーハー 建物用の垂直スライド窓
JP7378655B2 (ja) 2020-09-16 2023-11-13 株式会社Lixil 建具

Also Published As

Publication number Publication date
US8305491B2 (en) 2012-11-06
JP2008098966A (ja) 2008-04-24
US20080088740A1 (en) 2008-04-17

Similar Documents

Publication Publication Date Title
JP5263565B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5093557B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20100202711A1 (en) Image processing apparatus, image processing method, and program
JP2001086507A (ja) 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、媒体、並びに画像処理装置
US7876323B2 (en) Display apparatus and display method, learning apparatus and learning method, and programs therefor
US20040070685A1 (en) Method and apparatus for processing information, storage medium, and program
JP3885786B2 (ja) 情報信号の処理装置および処理方法、並びにその処理方法を実行させるためのプログラム
JP4640579B2 (ja) 情報処理装置および回収基板
KR100904334B1 (ko) 화상 처리 카드, 화상 데이터 처리 장치 및 화상 데이터 처리 방법, 기록 매체, 및 화상 데이터 처리 시스템
JP4803279B2 (ja) 画像信号処理装置および方法、記録媒体、並びにプログラム
JP4512978B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記録媒体
JP2005236633A (ja) 信号処理装置および信号処理方法
JP3918191B2 (ja) 記憶装置、データ処理装置およびデータ処理方法、プログラムおよび記録媒体、並びにデータ処理システム
US20090226145A1 (en) Data processing device, data processing method, and program
JP4329453B2 (ja) 画像信号処理装置および方法、記録媒体、並びにプログラム
JP4232430B2 (ja) 画像処理装置および方法、記録媒体、並びに、プログラム
JP3918192B2 (ja) データ処理装置および方法、プログラム、並びに記録媒体
JP4649786B2 (ja) 係数データの生成装置および生成方法、それを使用した情報信号の処理装置および処理方法、それに使用する係数種データの生成装置および生成方法
JP2007184775A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP4038732B2 (ja) 記憶装置
JP4674439B2 (ja) 信号処理装置および信号処理方法、並びに情報記録媒体
JP4655483B2 (ja) 情報信号処理装置およびその方法、プログラム、並びに記録媒体
JP4513025B2 (ja) 情報信号処理装置および処理方法、並びにプログラム
JP4692798B2 (ja) 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、並びに記録媒体
JP2007243633A (ja) 信号処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120911

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130417

LAPS Cancellation because of no payment of annual fees