JP6549594B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Description

本技術は、画像処理装置、画像処理方法、及び、プログラムに関し、特に、滑らかなアニメーション表示と、非アニメーション表示時の高画質化を両立させることができるようにした画像処理装置、画像処理方法、及び、プログラムに関する。

番組等のコンテンツを表示するに際して、その表示領域を、所定のタイミングで連続的に変更して表示する、いわゆるアニメーション表示が知られている（例えば、特許文献１参照）。

特開平１１−６５８０２号公報

ところで、コンテンツのアニメーション表示の有無を切り替え可能な場合において、アニメーション表示時における滑らかなアニメーション表示と、非アニメーション表示時における高画質化を両立させたいという要求があった。

本技術はこのような状況に鑑みてなされたものであり、滑らかなアニメーション表示と、非アニメーション表示時の高画質化を両立させることができるようにするものである。

本技術の一側面の画像処理装置は、画像データを保持するメモリ部と、入力画像の画像データを縮小するか、又は等倍を維持して、前記メモリ部に保持させる縮小スケーラ部と、前記メモリ部に保持された前記画像データを拡大するか、又は等倍を維持して、出力画像の画像データとして出力する拡大スケーラ部とを備え、前記出力画像の表示サイズを所定のタイミングで連続的に変更して表示するアニメーション表示モードで動作する場合において、前記縮小スケーラ部は、前記入力画像の画像サイズ、前記出力画像の表示サイズ、及び前記メモリ部に書き込むための解像度である中間解像度のマージンサイズの中から、最小値のサイズを選択して、前記中間解像度のサイズとして設定し、設定した前記中間解像度のサイズに基づいて、前記入力画像の解像度を、前記中間解像度に変換し、前記拡大スケーラ部は、前記中間解像度のサイズとして設定された最小値のサイズに基づいて、前記メモリ部から読み出されたメモリ保持画像の中間解像度を、前記出力画像の解像度に変換し、前記アニメーション表示モードで動作しない場合において、前記縮小スケーラ部は、前記入力画像の画像サイズ、及び前記出力画像の表示サイズのうち、いずれか一方の小さいほうのサイズを選択して、前記中間解像度のサイズとして設定し、設定した前記中間解像度のサイズに基づいて、前記縮小スケーラ部による画像縮小処理と、前記拡大スケーラ部による画像拡大処理のうち、いずれか一方の画像処理のみが行われるようにする画像処理装置である。

本技術の一側面の画像処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。また、本技術の一側面の画像処理方法又はプログラムは、上述した本技術の一側面の画像処理装置に対応する画像処理方法又はプログラムである。

本技術の一側面の画像処理装置、画像処理方法、及び、プログラムにおいては、出力画像の表示サイズを所定のタイミングで連続的に変更して表示するアニメーション表示モードで動作する場合において、縮小スケーラ部によって、入力画像の画像サイズ、出力画像の表示サイズ、及びメモリ部に書き込むための解像度である中間解像度のマージンサイズの中から、最小値のサイズが選択され、中間解像度のサイズとして設定され、設定された中間解像度のサイズに基づいて、入力画像の解像度が、中間解像度に変換され、拡大スケーラ部によって、中間解像度のサイズとして設定された最小値のサイズに基づいて、メモリ部から読み出されたメモリ保持画像の中間解像度が、出力画像の解像度に変換され、アニメーション表示モードで動作しない場合において、縮小スケーラ部によって、入力画像の画像サイズ、及び出力画像の表示サイズのうち、いずれか一方の小さいほうのサイズが選択され、中間解像度のサイズとして設定され、設定された中間解像度のサイズに基づいて、縮小スケーラ部による画像縮小処理と、拡大スケーラ部による画像拡大処理のうち、いずれか一方の画像処理のみが行われる。

本技術の一側面によれば、滑らかなアニメーション表示と、非アニメーション表示時の高画質化を両立させることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

メモリ部の読み出し側に拡大/縮小スケーラ部を配置した構成を示す図である。 図１の拡大/縮小スケーラ部による画像拡大処理を模式的に示す図である。 図１の拡大/縮小スケーラ部による画像縮小処理を模式的に示す図である。 図１の構成を採用した場合における垂直縮小処理の処理内容を模式的に示す図である。 本技術を適用した画像処理装置の一実施の形態の構成を示す図である。 図５の縮小スケーラ部による画像縮小処理を模式的に示す図である。 図５の拡大スケーラ部による画像拡大処理を模式的に示す図である。 縮小スケーラ部と拡大スケーラ部の間の画像パラメータの受け渡しの仕組みの概要を示す図である。 縮小スケーラ部と拡大スケーラ部の間の画像パラメータの受け渡しの仕組みの詳細を示す図である。 アニメーション表示動作を説明する図である。 ２画面表示時のアニメーション表示の例を示す図である。 ２画面表示時のアニメーション表示の例を示す図である。 非アニメーション表示における縮小時の遷移を説明する図である。 非アニメーション表示における拡大時の遷移を説明する図である。 アニメーション表示における縮小遷移時の遷移を説明する図である。 アニメーション表示における縮小遷移時の遷移を説明する図である。 アニメーション表示における縮小遷移時の遷移を説明する図である。 アニメーション表示における拡大遷移時の遷移を説明する図である。 アニメーション表示における拡大遷移時の遷移を説明する図である。 アニメーション表示における拡大遷移時の遷移を説明する図である。 複数のスケーラ部が連動して動作するための画像パラメータの受け渡しをハードウェアにより実現する場合の構成を示す図である。 複数のスケーラ部が連動して動作するための画像パラメータの受け渡しをソフトウェアにより実現する場合の構成を示す図である。 アニメーション表示時のマージンサイズの決定方法を説明する図である。 アニメーション表示時のマージンサイズの決定方法を説明する図である。 リニア特性によるアニメーション表示を説明する図である。 リニア特性のアニメーション表示テーブルを示す図である。 ２次曲線特性によるアニメーション表示を説明する図である。 ２次曲線特性のアニメーション表示テーブルを示す図である。 スケーリング処理を説明するフローチャートである。 パラメータ選択処理を説明するフローチャートである。 本技術を適用した受信装置の一実施の形態の構成を示す図である。

以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。

１．複数のスケーラ部の連動動作
２．複数のスケーラ部の連動動作による画面表示
（１）非アニメーション表示動作
（２）アニメーション表示動作
３．複数のスケーラ部の連動動作を実現するための詳細な構成
４．スケーリング処理の流れ
５．受信装置の構成

＜１．複数のスケーラ部の連動動作＞

図１は、メモリ部１２の読み出し側に、拡大/縮小スケーラ部１１が配置された画像処理装置の構成を示す図である。すなわち、図１においては、入力画像の画像データが、メモリ部１２に書き込まれて保持されるので、拡大/縮小スケーラ部１１は、メモリ部１２に保持された画像データを読み出して、画像の拡大又は縮小処理を行い、出力画像として出力することになる。

なお、図２には、拡大/縮小スケーラ部１１により画像拡大処理が行われて、入力画像が出力画像に拡大される様子が模式的に表されている。また、図３には、拡大/縮小スケーラ部１１により画像縮小処理が行われて、入力画像が出力画像に縮小される様子が模式的に表されている。

ここで、図１の画像処理装置においては、例えば4K2K（横4000×縦2000前後の解像度）等の高画質な画像に対する拡大又は縮小処理を行う場合、次のようなことが懸念される。すなわち、図４に示すように、１／２の垂直縮小処理を行う場合に、同時に２ライン以上を読み出す必要があるため、メモリ部１２の帯域幅（バンド幅）を２倍以上使用することになる。そのため、メモリ部１２を制御するメモリコントローラ（不図示）のハードウェア規模が増大することが懸念されることになる。また、メモリ部１２の帯域幅を稼ぐために、画像データの入出力ビット幅を広くすると、外付けのメモリ数が増加することが懸念されることになる。

そこで、本技術を適用した画像処理装置においては、縮小スケーラ部をメモリ部の前段に配置する一方、拡大スケーラ部をメモリ部の後段に配置して、垂直縮小処理が、メモリ部に対する書き込み前に行われるようにして、メモリ部のバンド幅の増加や、メモリコントローラのハードウェア規模の増大を抑制するようにする。また、本技術を適用した画像処理装置では、メモリ部のバンド幅を稼ぐために、画像データの入出力ビット幅を広くする必要がなくなり、外付けのメモリ数の増加を抑制することができる。

（画像処理装置の構成）
図５は、本技術を適用した画像処理装置の一実施の形態の構成を示す図である。

図５において、画像処理装置１００は、縮小スケーラ部１１１、メモリ部１１２、及び、拡大スケーラ部１１３から構成される。

縮小スケーラ部１１１は、メモリ部１１２の前段に設けられ、入力画像の画像データに対する画像縮小処理を行い、入力画像の画像データを縮小して、メモリ部１１２に書き込む。すなわち、図６に示すように、縮小スケーラ部１１１により実行される画像縮小処理においては、入力画像の解像度が、メモリ部１１２に書き込むための解像度（以下、「中間解像度」という）に変換され、メモリ部１１２に書き込まれる。

これにより、メモリ部１１２には、入力画像を縮小した画像であって、入力画像よりも低解像度の中間解像度からなるメモリ保持画像が保持される。なお、縮小スケーラ部１１１は、入力画像の画像データに対する画像縮小処理を行わずに等倍を維持したまま、入力画像の画像データを、メモリ部１１２に書き込むこともできる。

メモリ部１１２は、例えばDRAM（Dynamic Random Access Memory）等の揮発性メモリである。メモリ部１１２は、１又は複数のメモリ保持画像の画像データをフレーム単位で保持するフレームメモリとして機能する。

拡大スケーラ部１１３は、メモリ部１１２の後段に設けられ、メモリ部１１２から読み出されたメモリ保持画像の画像データに対する画像拡大処理を行い、メモリ保持画像の画像データを拡大して、出力画像の画像データとして後段のブロック（例えば図３１の表示部４１４）に出力する。すなわち、図７に示すように、拡大スケーラ部１１３により実行される画像拡大処理においては、メモリ保持画像の中間解像度が、出力画像の解像度に変換され、後段のブロックに出力される。

これにより、後段のブロックには、中間解像度からなるメモリ保持画像を拡大した画像であって、メモリ保持画像よりも高解像度の出力画像（表示画像）が出力される。なお、拡大スケーラ部１１３は、メモリ保持画像の画像データに対する画像拡大処理を行わずに等倍を維持したまま、メモリ保持画像の画像データを、出力画像の画像データとして出力することもできる。

また、図５の画像処理装置１００において、縮小スケーラ部１１１と、拡大スケーラ部１１３は、画像の解像度を制御するためのパラメータ（以下、「画像パラメータ」という）をやりとりすることで、連動して動作することになる。なお、以下の説明では、画像パラメータのうち、拡大スケーラ部１１３から縮小スケーラ部１１１に受け渡される画像パラメータを、「第１画像パラメータ」と称し、縮小スケーラ部１１１から拡大スケーラ部１１３に受け渡される画像パラメータを、「第２画像パラメータ」と称するものとする。

（複数のスケーラ部における画像パラメータの受け渡し）
ここで、縮小スケーラ部１１１と拡大スケーラ部１１３との間で行われる画像パラメータの受け渡し方法について説明する。図８は、縮小スケーラ部１１１と拡大スケーラ部１１３の間の画像パラメータの受け渡しの仕組みの概要を示す図である。

なお、図８において、アニメーション表示とは、番組等のコンテンツを表示するに際して、その表示領域を、所定のタイミングで連続的に変更して表示することをいう。また、非アニメーション表示とは、アニメーション表示を行わずに、番組等のコンテンツの表示領域を通常の状態で表示（１画面表示）させることをいう。画像処理装置１００は、それらの表示モードのいずれか一方のモードで動作することになる。

図８において、拡大スケーラ部１１３は、第１画像パラメータを、縮小スケーラ部１１１に供給する（Ｓ１１）。この第１画像パラメータには、出力画像（表示画像）に関する出力表示パラメータ等が含まれる。縮小スケーラ部１１１は、拡大スケーラ部１１３から供給される第１画像パラメータと、入力画像に関する入力画像パラメータに基づいて、それらのパラメータに含まれるサイズの最小値を選択する（Ｓ１２）。

なお、詳細は図９等を参照して後述するが、アニメーション表示モードで動作している場合、パラメータに含まれるサイズの選択は三者択一とされ、非アニメーション表示モードで動作している場合、パラメータに含まれるサイズの選択は二者択一とされる。そして、ここで選択されたサイズが、中間解像度のサイズとして設定される。

縮小スケーラ部１１１は、第２画像パラメータを、拡大スケーラ部１１３に供給する（Ｓ１３）。この第２画像パラメータには、中間解像度のサイズと出力表示パラメータが含まれる。拡大スケーラ部１１３は、縮小スケーラ部１１１から供給される第２画像パラメータに基づいて、中間解像度のサイズと、出力表示パラメータを設定する。

以上のように、画像処理装置１００においては、縮小スケーラ部１１１と拡大スケーラ部１１３が、画像パラメータをやりとりして連動して動作することで、滑らかなアニメーション表示と、非アニメーション表示時の高画質化を両立させることができるようにしている。

より具体的には、図９に示すように、拡大スケーラ部１１３から縮小スケーラ部１１１に供給される第１画像パラメータには、出力表示パラメータ（B_Win.x,y,w,h）、アニメーション表示時のマージンパラメータ（B_Ani.x,y,w,h）、アニメーションフラグ（Animation）、及び、初期フラグ（AnimInit）が含まれる。ただし、これらのパラメータにおいて、xは水平位置、yは垂直位置、wは水平サイズ、hは垂直サイズをそれぞれ表している。

出力表示パラメータは、出力画像（表示画像）について、その表示位置と表示サイズを示す情報を含んでいる。マージンパラメータは、アニメーション表示モード時に設定されるパラメータであって、中間解像度のマージン用の領域について、その領域の位置とサイズ（マージンサイズ）を示す情報を含んでいる。

アニメーションフラグは、アニメーション表示の有無を示す１ビットのフラグであって、アニメーション表示モード時にはオン（ON）が設定される一方、非アニメーション表示モード時にはオフ（OFF）が設定される。初期フラグは、アニメーション表示の前処理として中間解像度のマージンサイズを設定するかどうかを示す１ビットのフラグであって、マージンサイズ設定処理を行う場合にはオン（ON）が設定される一方、それ以外の処理ではオフ（OFF）が設定される。

すなわち、アニメーション表示モード時において、第１画像パラメータには、出力表示パラメータ、マージンパラメータ、オンであるアニメーションフラグ、及び、オン又はオフである初期フラグが含まれる。一方、非アニメーション表示モード時において、第１画像パラメータには、出力表示パラメータ、オフであるアニメーションフラグ、及び、オフである初期フラグが含まれる。

縮小スケーラ部１１１には、拡大スケーラ部１１３からの第１画像パラメータが供給される。また、縮小スケーラ部１１１は、入力画像パラメータ（F_Src.x,y,w,h）を取得する。この入力画像パラメータは、入力画像について、その画像位置と画像サイズを示す情報を含んでいる。

縮小スケーラ部１１１は、アニメーション表示モード時（アニメーションフラグ：オン、初期フラグ：オン又はオフ）の場合には、入力画像パラメータと、出力表示パラメータと、マージンパラメータを比較して、それらのパラメータに含まれる最小値のサイズを選択する（三者択一）。

また、縮小スケーラ部１１１は、非アニメーション表示モード時（アニメーションフラグ：オフ、初期フラグ：オフ）の場合には、入力画像パラメータと、出力表示パラメータを比較して、いずれか一方のパラメータに含まれる小さいほうのサイズ（最小値のサイズ）を選択する（二者択一）。

このようにして、アニメーション表示モード時又は非アニメーション表示モード時において、最小値のサイズが選択されるので、縮小スケーラ部１１１は、当該最小値のサイズを、中間解像度のサイズ（Mid.w, h）として設定する。また、縮小スケーラ部１１１は、中間解像度のサイズと、出力表示パラメータを含む第２画像パラメータを、拡大スケーラ部１１３に供給する。

拡大スケーラ部１１３には、縮小スケーラ部１１１からの第２画像パラメータに基づいて、入力サイズとしての中間解像度のサイズと、出力表示パラメータ（例えば、出力画像（表示画像）の表示サイズ等）を設定する。

以上のように、出力表示パラメータやマージンパラメータ等を含む第１画像パラメータと、中間解像度のサイズと出力表示パラメータを含む第２画像パラメータを、縮小スケーラ部１１１と拡大スケーラ部１１３がやりとりすることで、縮小スケーラ部１１１と拡大スケーラ部１１３が連動して動作し、滑らかなアニメーション表示と、非アニメーション表示時の高画質化を両立させることができる。

＜２．複数のスケーラ部の連動動作による画面表示＞

次に、上述した縮小スケーラ部１１１と拡大スケーラ部１１３の連動動作により実現される画面表示について説明する。ここでは、当該画面表示として、表示領域を連続的に変更して表示するアニメーション表示と、当該アニメーション表示動作を行わずに表示する非アニメーション表示について説明する。

（アニメーション表示）
図１０は、アニメーション表示動作を説明する図である。

図１０において、表示画像２０１は、アニメーション表示動作によって、その表示領域が、所定のタイミングで連続的に縮小され、表示画像２０２の表示サイズに縮小される。また、表示画像２０２は、アニメーション表示動作によって、その表示領域が、所定のタイミングで連続的に拡大され、表示画像２０１の表示サイズに拡大される。なお、このアニメーション表示動作では、出力側の垂直同期信号（Vsync）のタイミングで、表示画像（出力画像）の表示位置と表示サイズが更新されることになる。

図１１と図１２においては、２枚の表示画像（出力画像）が、画面２１０に２画面表示される場合を例示している。図１１において、表示画像２１１と表示画像２１２が２画面表示されている場合に、時間の方向を図中の左側から右側としたとき、時刻t1では、表示画像２１１−１と、表示画像２１１−１よりも小さい表示画像２１２−１が表示されている。時刻t1から所定の時間経過後の時刻t2では、表示画像２１１−１を縮小した表示画像２１１−２と、表示画像２１２−１を拡大した表示画像２１２−２が表示され、さらに、時刻t2から所定の時間経過後の時刻t3では、表示画像２１１−１をさらに縮小した表示画像２１１−３と、表示画像２１２−１をさらに拡大した表示画像２１２−３が表示されている。そして、時刻t3においては、表示画像２１１−３と表示画像２１２−３は、同一の表示サイズとされている。

このように、２画面表示された表示画像２１１と表示画像２１２のうち、表示画像２１１が時間の経過とともに連続的に縮小される一方、表示画像２１２が時間の経過とともに連続的に拡大されるようにすることで、最終的に表示画像２１１と表示画像２１２が同一の表示サイズとなるようなアニメーション表示が行われる。

なお、上述の説明では、時間の方向が図中の左側から右側であるとしたが、その逆に、図中の右側から左側、つまり、時刻t3、時刻t2、時刻t1のように、アニメーション表示が遷移するようにしてもよい。この場合、同一の表示サイズである表示画像２１１と表示画像２１２のうち、表示画像２１１が時間の経過とともに連続的に拡大される一方、表示画像２１２が時間の経過とともに連続的に縮小されるようにすることで、最終的に、表示画像２１１が表示画像２１２よりも大きなサイズとなるようなアニメーション表示が行われる。

また、図１２の画面２１０において、表示画像２１１と表示画像２１２が２画面表示されている場合に、時間の方向を図中の左側から右側としたとき、時刻t4では、表示画像２１１−４と、表示画像２１２−４が同一の表示サイズで表示されている。時刻t4から所定の時間経過後の時刻t5では、表示画像２１１−４を縮小した表示画像２１１−５と、表示画像２１２−４を拡大した表示画像２１２−５が表示され、さらに、時刻t5から所定の時間経過後の時刻t6では、表示画像２１１−４をさらに縮小した表示画像２１１−６と、表示画像２１２−４をさらに拡大した表示画像２１２−６が表示されている。

このように、２画面表示された表示画像２１１と表示画像２１２のうち、表示画像２１１が時間の経過とともに連続的に縮小される一方、表示画像２１２が時間の経過とともに連続的に拡大されるようにすることで、同一の表示サイズであった表示画像２１１と表示画像２１２が、表示画像２１２が表示画像２１１よりも大きなサイズとなるようなアニメーション表示が行われる。

なお、上述の説明では、時間の方向が図中の左側から右側であるとしたが、その逆に、図中の右側から左側、つまり、時刻t6、時刻t5、時刻t4のように、アニメーション表示が遷移するようにしてもよい。この場合、表示画像２１１と、表示画像２１１とよりも大きいサイズの表示画像２１２のうち、表示画像２１１が時間の経過とともに連続的に拡大される一方、表示画像２１２が時間の経過とともに連続的に縮小されるようにすることで、最終的に、表示画像２１１と表示画像２１２が同一の表示サイズとなるようなアニメーション表示が行われる。

また、図１１のアニメーション表示と、図１２のアニメーション表示が連続して行われるようにしてもよい。すなわち、時刻t1〜t6を同一の時間軸上とすることで、表示画像２１１が時間の経過とともに連続的に縮小される一方、表示画像２１２が時間の経過とともに連続的に拡大されるようにすることで、時刻t6においては、時刻t1の場合と逆に、表示画像２１１よりも表示画像２１２のほうが、大きな表示サイズとなっている。

（１）非アニメーション表示動作

（非アニメーション表示における縮小時の遷移）
図１３は、非アニメーション表示における縮小時の遷移を説明する図である。図１３において、画像処理装置１００は、非アニメーション表示モードで動作している。

なお、図１３において、時間の方向は、図中の上側から下側の方向とされる。また、図１３において、時系列に並べられた各時刻における４枚の画像のうち、左側の２枚の画像は、縮小スケーラ部１１１で処理される画像、すなわち、縮小スケーラ部１１１に入力される入力画像と、縮小スケーラ部１１１によってメモリ部１１２に書き込まれるメモリ保持画像をそれぞれ表している。なお、メモリ部１１２には、１又は複数のメモリ保持画像が保持される。

また、４枚の画像のうち、右側の２枚の画像は、拡大スケーラ部１１３で処理される画像、すなわち、メモリ部１１２から読み出されて拡大スケーラ部１１３に入力されるメモリ保持画像と、拡大スケーラ部１１３から出力される出力画像（表示画像）をそれぞれ表している。なお、拡大スケーラ部１１３は、メモリ部１１２に複数のメモリ保持画像が保持されている場合、複数のメモリ保持画像の中から、１枚のメモリ保持画像を読み出すことになる。なお、これらの画像の関係については、後述する他の図でも同様とされる。

時刻t11において、縮小スケーラ部１１１は、入力画像のサイズを、等倍を維持したまま、メモリ部１１２に書き込んでいる。また、拡大スケーラ部１１３は、画像拡大処理を行い、メモリ部１１２に保持されたメモリ保持画像を読み出して、そのサイズを、出力画像のサイズに拡大して出力している。

また、時刻t11において、拡大スケーラ部１１３は、第１画像パラメータを、縮小スケーラ部１１１に供給する。この第１画像パラメータには、出力表示パラメータ（B_Win.x,y,w,h）、及び、アニメーションフラグ（Animation）等が含まれる。一方、縮小スケーラ部１１１は、拡大スケーラ部１１３からの第１画像パラメータを取得する。また、縮小スケーラ部１１１は、入力画像パラメータ（F_Src.x,y,w,h）を取得する。なお、図１３の例では、画像処理装置１００は、非アニメーション表示モードで動作しているので、アニメーションフラグには、オフが設定されている。

時刻t12において、縮小スケーラ部１１１は、入力画像パラメータ（F_Src.x,y,w,h）と、出力表示パラメータ（B_Win.x,y,w,h）を比較して、それらのパラメータに含まれるサイズのうち、いずれか一方の小さいほうのサイズ（最小サイズ）を選択する（二者択一）。この例では、出力表示パラメータの表示サイズが、入力画像パラメータの画像サイズよりも小さいので（F_Src.w, h > B_Win.w, h）、出力表示パラメータの表示サイズが選択される。なお、説明の簡略化のため、詳細については後述するが、実際には、水平サイズと垂直サイズとは独立して最小サイズが選択されることになる。

時刻t13において、縮小スケーラ部１１１は、最小サイズとして選択された出力表示パラメータの表示サイズ（B_Win.w, h）を、中間解像度のサイズ（Mid.w, h）として設定する。この例では、中間解像度のサイズとして、入力画像パラメータの画像サイズよりも小さい出力表示パラメータの表示サイズが設定されているので、縮小スケーラ部１１１は、画像縮小処理を行い、入力画像の画像サイズを、中間解像度のサイズに縮小して、メモリ部１１２に書き込むことになる。

なお、縮小スケーラ部１１１が、中間解像度を設定するタイミングで、拡大スケーラ部１１３に戻すための出力表示パラメータ（B_Win.x, y, w, h）の表示サイズが縮小スケーラ部１１１から拡大スケーラ部１１３への画像パラメータ伝搬システム（その詳細な内容は、図２２を参照して後述する）に設定される。縮小スケーラ部１１１は、第２画像パラメータを、拡大スケーラ部１１３に供給する。この第２画像パラメータには、中間解像度のサイズ（B_Win.w, h）、及び、出力表示パラメータ（B_Win.x, y, w, h）が含まれることになる。

時刻t14において、拡大スケーラ部１１３は、縮小スケーラ部１１１からの第２画像パラメータに基づいて、中間解像度のサイズ（B_Win.w, h）と、出力画像（表示画像）の出力表示パラメータ（B_Win.x, y, w, h）を設定する。この例では、中間解像度のサイズと、出力画像（表示画像）の表示サイズが同一のサイズとなるので、拡大スケーラ部１１３は、メモリ部１１２からメモリ保持画像を読み出して、等倍を維持したまま出力する。これにより、表示画像（出力画像）が縮小されて表示されることになる。

以上のように、非アニメーション表示における縮小時の遷移においては、縮小スケーラ部１１１が入力画像を等倍でメモリ部１１２に保持させた場合には、拡大スケーラ部１１３は、メモリ部１１２に保持されたメモリ保持画像を拡大して出力する一方、縮小スケーラ部１１１が入力画像を縮小してメモリ部１１２に保持させた場合には、拡大スケーラ部１１３は、メモリ部１１２に保持されたメモリ保持画像を等倍で出力する。

すなわち、縮小時の非アニメーション表示モードにおいては、縮小スケーラ部１１１又は拡大スケーラ部１１３のいずれか一方のスケーラ部がスケーリング処理を行わずに、画像の等倍を維持したまま出力して、縮小又は拡大の１回のスケーリング処理のみが行われるようにしているため、スケーリング処理を繰り返すことによる画質の劣化を抑制できるので、高画質化を実現することができる。

（非アニメーション表示における拡大時の遷移）
図１４は、非アニメーション表示における拡大時の遷移を説明する図である。図１４において、画像処理装置１００は、非アニメーション表示モードで動作している。

時刻t21において、縮小スケーラ部１１１は、画像縮小処理を行い、入力画像のサイズを縮小してメモリ部１１２に書き込んでいる。また、拡大スケーラ部１１３は、メモリ部１１２に保持されたメモリ保持画像を読み出して、出力画像として等倍を維持したまま出力している。

また、時刻t21において、拡大スケーラ部１１３は、第１画像パラメータとして、出力表示パラメータ（B_Win.x,y,w,h）、及び、アニメーションフラグ（Animation）等を、縮小スケーラ部１１１に供給する。なお、ここでは、画像処理装置１００が、非アニメーション表示モードで動作しているので、アニメーションフラグには、オフが設定されている。

時刻t22において、縮小スケーラ部１１１は、入力画像パラメータ（F_Src.x,y,w,h）と、出力表示パラメータ（B_Win.x,y,w,h）を比較して、それらのパラメータに含まれるサイズのうち、いずれか一方の小さいほうのサイズ（最小サイズ）を選択する（二者択一）。この例では、入力画像パラメータの画像サイズが、出力表示パラメータの表示サイズよりも小さいので（F_Src.w, h < B_Win.w, h）、入力画像パラメータの画像サイズが選択される。なお、ここでは、水平サイズと垂直サイズとは独立して最小サイズが選択されることになる。

時刻t23において、縮小スケーラ部１１１は、最小サイズとして選択された入力画像パラメータの画像サイズ（F_Src.w, h）を、中間解像度のサイズ（Mid.w, h）として設定する。この例では、中間解像度のサイズとして、出力表示パラメータの表示サイズよりも小さい入力画像パラメータの画像サイズが設定されているので、縮小スケーラ部１１１は、入力画像を、等倍を維持したまま、メモリ部１１２に書き込むことになる。

なお、縮小スケーラ部１１１が、この中間解像度を設定するタイミングで、拡大スケーラ部１１３に戻すための出力表示パラメータ（B_Win.x, y, w, h）の表示サイズが画像パラメータ伝搬システムに設定される。縮小スケーラ部１１１は、第２画像パラメータを、拡大スケーラ部１１３に供給する。この第２画像パラメータには、中間解像度のサイズ（F_Src.w, h）、及び、出力表示パラメータ（B_Win.x, y, w, h）が含まれることになる。

時刻t24において、拡大スケーラ部１１３は、縮小スケーラ部１１１からの第２画像パラメータに基づいて、中間解像度のサイズ（F_Src.w, h）と、出力画像（表示画像）の出力表示パラメータ（B_Win.x, y, w, h）を設定する。この例では、出力画像（表示画像）の表示サイズが、中間解像度のサイズよりも大きくなるので、拡大スケーラ部１１３は、画像拡大処理を行い、メモリ部１１２から読み出したメモリ保持画像のサイズ（中間解像度のサイズ）を、出力画像の表示サイズに拡大して出力する。これにより、表示画像（出力画像）が拡大されて表示されることになる。

以上のように、非アニメーション表示における拡大時の遷移においては、縮小スケーラ部１１１が入力画像を縮小してメモリ部１１２に保持させた場合には、拡大スケーラ部１１３は、メモリ部１１２に保持されたメモリ保持画像を等倍で出力する一方、縮小スケーラ部１１１が入力画像を等倍でメモリ部１１２に保持させた場合には、拡大スケーラ部１１３は、メモリ部１１２に保持されたメモリ保持画像を拡大して出力する。

すなわち、拡大時の非アニメーション表示モードにおいては、縮小スケーラ部１１１又は拡大スケーラ部１１３のいずれか一方のスケーラ部がスケーリング処理を行わずに、画像の等倍を維持したまま出力して、縮小又は拡大の１回のスケーリング処理のみが行われるようにしているため、スケーリング処理を繰り返すことによる画質の劣化を抑制できるので、高画質化を実現することができる。

（２）アニメーション表示動作

（アニメーション表示における縮小遷移時の遷移）
図１５乃至図１７は、アニメーション表示における縮小遷移時の遷移を説明する図である。

なお、図１５乃至図１７は、別図としているが、時間的に連続しているものとする。ただし、図１５は、アニメーション表示の前処理としてのマージンサイズ設定処理、図１６は、アニメーション表示処理、図１７は、非アニメーション表示処理（アニメーション表示の後処理）を表しており、ここでは、それらの処理が一連の処理として行われるものとする。従って、画像処理装置１００は、図１５と図１６では、アニメーション表示モードで動作し、図１７では、非アニメーション表示モードで動作することになる。

時刻t31において、縮小スケーラ部１１１は、画像縮小処理を行い、入力画像のサイズを縮小してメモリ部１１２に書き込んでいる。また、拡大スケーラ部１１３は、メモリ部１１２に保持されたメモリ保持画像を読み出して、等倍の出力画像として出力している。

また、時刻t31において、拡大スケーラ部１１３は、第１画像パラメータとして、出力表示パラメータ、マージンパラメータ、アニメーションフラグ、及び、初期フラグを、縮小スケーラ部１１１に供給する。

なお、この例では、中間解像度のマージンサイズとして、８Ｖが設定されているので、第１画像パラメータには、出力表示パラメータ（B_Ani[00].x, y, w, h）と、マージンパラメータ（B_Ani[08].x, y, w, h）が含まれる。ただし、「B_Ani[00].x, y, w, h」は、アニメーション表示の開始時のパラメータを表し、「B_Ani[08].x, y, w, h」は、その８Ｖ後のパラメータを表している。これらの関係は後述する他の図でも同様とされる。

また、ここでは、画像処理装置１００がアニメーション表示モードで動作しているため、アニメーションフラグにはオンが設定されている。さらに、ここでは、アニメーション表示の前段の処理として、マージンサイズ設定処理を行うので、初期フラグにはオンが設定されている。

時刻t32において、縮小スケーラ部１１１は、入力画像パラメータ（F_Src.x,y,w,h）と、出力表示パラメータ（B_Ani[00].x, y, w, h）と、マージンパラメータ（B_Ani[08].x, y, w, h）を比較して、それらのパラメータに含まれるサイズの中から、最小サイズを選択する（三者択一）。この例では、８Ｖ後のマージンパラメータのサイズ（マージンサイズ）が最も小さいので（B_Ani[08].w,h < B_Ani[00].w,h < F_Src.w,h）、８Ｖ後のマージンサイズが選択される。なお、ここでは、水平サイズと垂直サイズとは独立して最小サイズが選択されることになる。

時刻t33において、縮小スケーラ部１１１は、最小サイズとして選択された８Ｖ後のマージンサイズ（B_Ani[08].w,h）を、中間解像度のサイズ（Mid.w, h）として設定する。この例では、中間解像度のサイズとして、入力画像パラメータの画像サイズよりも小さい８Ｖ後のマージンサイズが設定されているので、縮小スケーラ部１１１は、画像縮小処理を行い、入力画像の画像サイズを、中間解像度のサイズに縮小して、メモリ部１１２に書き込むことになる。

なお、縮小スケーラ部１１１が、中間解像度を設定するタイミングで、拡大スケーラ部１１３に戻すための出力表示パラメータ（B_Ani[00].x, y, w, h）が画像パラメータ伝搬システムに設定される。縮小スケーラ部１１１は、第２画像パラメータを、拡大スケーラ部１１３に供給する。この第２画像パラメータには、中間解像度のサイズ（B_Ani[08].w,h）、及び、出力表示パラメータ（B_Ani[00].x, y, w, h）が含まれる。

時刻t34において、拡大スケーラ部１１３は、縮小スケーラ部１１１からの第２画像パラメータに基づいて、中間解像度のサイズ（B_Ani[08].w,h）と、出力画像（表示画像）の出力表示パラメータ（B_Ani[00].x, y, w, h）を設定する。この例では、出力画像の表示サイズが、中間解像度のサイズよりも大きくなるので、拡大スケーラ部１１３は、画像拡大処理を行い、メモリ部１１２から読み出したメモリ保持画像のサイズ（中間解像度のサイズ）を、出力画像の表示サイズに拡大して出力することになる。

このように、図１５のマージンサイズ設定処理を行うことで、中間解像度のサイズとして、８Ｖ後のマージンサイズが設定され、十分なマージンサイズが確保されたので、アニメーション表示処理の開始準備が完了したことになる。そして、アニメーション表示処理の開始準備が完了するのを待って、図１６のアニメーション表示処理が開始されることになる。

図１６のアニメーション表示処理では、アニメーション表示の開始時刻から終了時刻までの間に、時刻t35乃至t38における、縮小スケーラ部１１１による画像縮小処理と、拡大スケーラ部１１３による画像拡大処理が繰り返されることで、出力画像（表示画像）が時間の経過とともに連続的に縮小されるアニメーション表示が実現される。

また、図１６のアニメーション表示処理において、縮小スケーラ部１１１と拡大スケーラ部１１３との間でやりとりされる画像パラメータは、次のようになる。すなわち、拡大スケーラ部１１３は、第１画像パラメータとして、出力表示パラメータ、マージンパラメータ、アニメーションフラグ、及び、初期フラグを、縮小スケーラ部１１１に供給する一方、縮小スケーラ部１１１は、第２画像パラメータとして、中間解像度のサイズ、及び、出力表示パラメータを供給することになる。

具体的には、時刻t35において、マージンサイズとして、８Ｖが設定されているので、第１画像パラメータには、出力表示パラメータ（B_Ani[01].x, y, w, h）と、マージンパラメータ（B_Ani[09].x, y, w, h）が含まれる。また、ここでは、画像処理装置１００がアニメーション表示モードで動作しているため、アニメーションフラグはオンが設定されている。さらに、アニメーション表示の前段の処理としてのマージンサイズ設定処理は完了しているので、初期フラグはオフが設定されている。

縮小スケーラ部１１１では、入力画像パラメータ（F_Src.x,y,w,h）と、出力表示パラメータ（B_Ani[01].x, y, w, h）と、マージンパラメータ（B_Ani[09].x, y, w, h）を比較することで、それらのパラメータに含まれるサイズの中から、最小サイズとして、９Ｖ後のマージンサイズ（B_Ani[09].w, h）が選択され（三者択一）、中間解像度のサイズ（Mid.w, h）として設定されている。また、この中間解像度のサイズと出力表示パラメータを含む第２画像パラメータは、拡大スケーラ部１１３に供給され、設定されることになる。

時刻t36において、第１画像パラメータとしては、出力表示パラメータ（B_Ani[02].x, y, w, h）と、マージンパラメータ（B_Ani[10].x, y, w, h）を含んでいる。

縮小スケーラ部１１１では、入力画像パラメータ（F_Src.x,y,w,h）と、出力表示パラメータ（B_Ani[02].x, y, w, h）と、マージンパラメータ（B_Ani[10].x, y, w, h）を比較することで、それらのパラメータに含まれるサイズの中から、最小サイズとして、１０Ｖ後のマージンサイズ（B_Ani[10].w, h）が選択され（三者択一）、中間解像度のサイズ（Mid.w, h）として設定されている。また、この中間解像度のサイズと出力表示パラメータを含む第２画像パラメータは、拡大スケーラ部１１３に供給され、設定されることになる。

時刻t37において、第１画像パラメータとしては、出力表示パラメータ（B_Ani[03].x, y, w, h）と、マージンパラメータ（B_Ani[11].x, y, w, h）を含んでいる。

縮小スケーラ部１１１では、入力画像パラメータ（F_Src.x,y,w,h）と、出力表示パラメータ（B_Ani[03].x, y, w, h）と、マージンパラメータ（B_Ani[11].x, y, w, h）を比較することで、それらのパラメータに含まれるサイズの中から、最小サイズとして、１１Ｖ後のマージンサイズ（B_Ani[11].w, h）が選択され（三者択一）、中間解像度のサイズ（Mid.w, h）として設定されている。また、この中間解像度のサイズと出力表示パラメータを含む第２画像パラメータは、拡大スケーラ部１１３に供給され、設定されることになる。

時刻t38において、第１画像パラメータとしては、出力表示パラメータ（B_Ani[04].x, y, w, h）と、マージンパラメータ（B_Ani[12].x, y, w, h）を含んでいる。

縮小スケーラ部１１１では、入力画像パラメータ（F_Src.x,y,w,h）と、出力表示パラメータ（B_Ani[04].x, y, w, h）と、マージンパラメータ（B_Ani[12].x, y, w, h）を比較することで、それらのパラメータに含まれるサイズの中から、最小サイズとして、１２Ｖ後のマージンサイズ（B_Ani[12].w, h）が選択され（三者択一）、中間解像度のサイズ（Mid.w, h）として設定されている。また、この中間解像度のサイズと出力表示パラメータを含む第２画像パラメータは、拡大スケーラ部１１３に供給され、設定されることになる。

このように、図１６のアニメーション表示処理では、図１５のマージンサイズ設定処理で確保された十分なマージンサイズを利用して、中間解像度にはマージンサイズを持ったサイズが設定されるようにしているので、拡大スケーラ部１１３は、スムーズに出力画像（表示画像）の表示サイズを更新して、滑らかなアニメーション表示を実現することができる。すなわち、図１６のアニメーション表示処理では、メモリ部１１２の前段の縮小スケーラ部１１１は、入力画像の等倍以下の出力サイズを維持する一方、後段の拡大スケーラ部１１３は、メモリ保持画像の等倍以上の出力サイズを維持することになる。

また、アニメーション表示中の中間解像度にマージンサイズを設定する理由は、入出力画像のフレーム周波数が異なる場合を想定しているからである。各図においては入出力フレーム周波数が同じ前提で説明がなされているが、２画面などにおいては、入出力フレーム周波数が異なる場合が普通である。入出力フレーム周波数が異なる場合、縮小スケーラ部１１１が設定する中間解像度のタイミングと、拡大スケーラ部１１３の出力表示サイズの設定タイミングにズレが生じる。そのため、ここでは、中間解像度のサイズにマージンを持たせて、拡大スケーラ部１１３が常に等倍以上の拡大状態を維持するように制御している。

この例では、図１６のアニメーション表示が終了すると、その後、図１７の非アニメーション表示処理（アニメーション表示の後処理）が行われる。なお、ここでは、図１６（図１７）の時刻t38が、アニメーション表示の終了時刻とされ、図１７の時刻t39が、非アニメーション表示の開始時刻とされるものとする。

すなわち、時刻t39において、拡大スケーラ部１１３は、第１画像パラメータとして、出力表示パラメータ（B_Ani[04].x, y, w, h）、アニメーションフラグ、及び、初期フラグを、縮小スケーラ部１１１に供給する。なお、ここでは、画像処理装置１００が、非アニメーション表示モードで動作しているので、アニメーションフラグと初期フラグには、オフが設定されている。

縮小スケーラ部１１１は、入力画像パラメータ（F_Src.x,y,w,h）と、出力表示パラメータ（B_Ani[04].x, y, w, h）を比較して、それらのパラメータに含まれるサイズのうち、いずれか一方の小さいほうのサイズ（最小サイズ）のパラメータを選択する（二者択一）。この例では、出力表示パラメータの出力サイズが、入力画像パラメータの画像サイズよりも小さいので、出力表示パラメータの出力サイズ（B_Ani[04].w, h）が選択され（二者択一）、中間解像度のサイズ（Mid.w, h）として設定される。

また、縮小スケーラ部１１１が、中間解像度を設定するタイミングで、拡大スケーラ部１１３に戻すための出力表示パラメータの表示サイズが画像パラメータ伝搬システムに設定される。縮小スケーラ部１１１は、第２画像パラメータを、拡大スケーラ部１１３に供給する。この第２画像パラメータには、中間解像度のサイズ（B_Ani[04].w, h）、及び、出力表示パラメータ（B_Ani[04].x, y, w, h）が含まれることになる。

時刻t40において、拡大スケーラ部１１３は、縮小スケーラ部１１１からの第２画像パラメータに基づいて、中間解像度のサイズ（B_Ani[04].w, h）と、出力画像（表示画像）の出力表示パラメータ（B_Ani[04].x, y, w, h）を設定する。この例では、中間解像度のサイズと、出力画像（表示画像）の表示サイズが同一のサイズとなるので、拡大スケーラ部１１３は、メモリ部１１２からメモリ保持画像を読み出して、等倍を維持したまま出力する。これにより、画像処理装置１００においては、アニメーション表示モードから、非アニメーション表示モードに、その動作モードが遷移したことになる。

以上のように、アニメーション表示における縮小遷移時の遷移においては、アニメーション表示の前処理としてのマージンサイズ設定処理で確保された十分なマージンサイズを利用して、中間解像度にはマージンサイズを持ったサイズが設定されるようにしているので、仮に入出力フレーム周波数が異なっていてもスムーズに出力画像（表示画像）の表示サイズが更新（縮小）され、滑らかなアニメーション表示を実現することができる。

（アニメーション表示における拡大遷移時の遷移）
図１８乃至図２０は、アニメーション表示における拡大遷移時の遷移を説明する図である。

なお、図１８乃至図２０では、上述した図１５乃至図１７と同様に、図１８は、マージンサイズ設定処理、図１９は、アニメーション表示処理、図２０は、非アニメーション表示処理（アニメーション表示の後処理）を表しており、それらの処理が一連の処理として行われている。従って、画像処理装置１００は、図１８と図１９では、アニメーション表示モードで動作し、図２０では、非アニメーション表示モードで動作することになる。

時刻t51において、縮小スケーラ部１１１は、画像縮小処理を行い、入力画像のサイズを縮小してメモリ部１１２に書き込んでいる。また、拡大スケーラ部１１３は、メモリ部１１２に保持されたメモリ保持画像を読み出して、等倍の出力画像として出力している。

また、時刻t51において、拡大スケーラ部１１３は、第１画像パラメータとして、出力表示パラメータ、マージンパラメータ、アニメーションフラグ、及び、初期フラグを、縮小スケーラ部１１１に供給する。

なお、この例では、中間解像度のマージンサイズとして、８Ｖが設定されているので、第１画像パラメータには、出力表示パラメータ（B_Ani[00].x, y, w, h）と、マージンパラメータ（B_Ani[08].x, y, w, h）が含まれる。なお、アニメーションフラグと初期フラグにはオンがそれぞれ設定される。

時刻t52において、縮小スケーラ部１１１は、入力画像パラメータ（F_Src.x,y,w,h）と、出力表示パラメータ（B_Ani[00].x, y, w, h）と、マージンパラメータ（B_Ani[08].x, y, w, h）を比較して、それらのパラメータに含まれるサイズの中から、最小サイズを選択する（三者択一）。この例では、出力表示パラメータの出力サイズが最も小さいので（B_Ani[00].w,h < B_Ani[08].w,h < F_Src.w,h）、出力表示パラメータの出力サイズが選択される。なお、ここでは、水平サイズと垂直サイズとは独立して最小サイズが選択されることになる。

時刻t53において、縮小スケーラ部１１１は、最小サイズとして選択された出力表示パラメータの出力サイズ（B_Ani[00].w,h）を、中間解像度のサイズ（Mid.w, h）として設定する。この例では、中間解像度のサイズとして、入力画像パラメータよりも小さい出力表示パラメータの出力サイズ（B_Ani[00].w,h）が設定されているので、縮小スケーラ部１１１は、画像縮小処理を行い、入力画像の画像サイズを、中間解像度のサイズに縮小して、メモリ部１１２に書き込むことになる。

なお、縮小スケーラ部１１１が、中間解像度を設定するタイミングで、拡大スケーラ部１１３に戻すための出力表示パラメータ（B_Ani[00].x, y, w, h）が画像パラメータ伝搬システムに設定される。縮小スケーラ部１１１は、第２画像パラメータを、拡大スケーラ部１１３に供給する。この第２画像パラメータには、中間解像度のサイズ（B_Ani[00].w,h）、及び、出力表示パラメータ（B_Ani[00].x, y, w, h）が含まれる。

時刻t54において、拡大スケーラ部１１３は、縮小スケーラ部１１１からの第２画像パラメータに基づいて、中間解像度のサイズ（B_Ani[00].w,h）と、出力画像（表示画像）の出力表示パラメータ（B_Ani[00].x, y, w, h）を設定する。この例では、出力画像の表示サイズと中間解像度のサイズが同一となるので、拡大スケーラ部１１３は、メモリ部１１２に保持されたメモリ保持画像を読み出して、等倍を維持したまま出力画像として出力することになる。

このように、図１８のマージンサイズ設定処理を行うことで、中間解像度のサイズとして、８Ｖ後のマージンサイズが設定され、十分なマージンサイズが確保されたので、アニメーション表示処理の開始準備が完了したことになる。そして、アニメーション表示処理の開始準備が完了するのを待って、図１９のアニメーション表示処理が開始されることになる。

図１９のアニメーション表示処理では、時刻t55乃至t56において、縮小スケーラ部１１１による画像縮小処理によって縮小されてメモリ部１１２に保持されたメモリ保持画像が、拡大スケーラ部１１３により等倍を維持したまま出力される。また、時刻t57においては、縮小スケーラ部１１１による画像縮小処理と、拡大スケーラ部１１３による画像拡大処理が共に行われない状態となる。すなわち、この状態では、縮小スケーラ部１１１に入力される入力画像が、そのサイズを維持したまま、出力画像（表示画像）として、拡大スケーラ部１１３から出力されることになる。

そして、このような入力画像と出力画像（表示画像）が同一のサイズとなる状態になった後の時刻t58において、縮小スケーラ部１１１は、入力画像を、等倍を維持したまま、メモリ部１１２に保持させる一方、拡大スケーラ部１１３は、メモリ部１１２に保持されたメモリ保持画像を拡大して、出力画像（表示画像）として出力することになる。これにより、出力画像（表示画像）が時間の経過とともに連続的に拡大されるアニメーション表示が実現される。

なお、その後についても、時刻t58と同様に、縮小スケーラ部１１１による入力画像を等倍でメモリ部１１２に保持させる処理と、拡大スケーラ部１１３によるメモリ保持画像を拡大する画像拡大処理が繰り返されることで、出力画像（表示画像）が連続的に拡大されるアニメーション表示が実現される。

また、図１９のアニメーション表示処理において、縮小スケーラ部１１１と拡大スケーラ部１１３との間でやりとりされる画像パラメータは、次のようになる。すなわち、拡大スケーラ部１１３は、第１画像パラメータとして、出力表示パラメータ、マージンパラメータ、アニメーションフラグ、及び、初期フラグを、縮小スケーラ部１１１に供給する一方、縮小スケーラ部１１１は、第２画像パラメータとして、中間解像度のサイズ、及び、出力表示パラメータを供給することになる。

具体的には、時刻t55において、第１画像パラメータとしては、マージンサイズとして、８Ｖが設定されているので、出力表示パラメータ（B_Ani[01].x, y, w, h）と、マージンパラメータ（B_Ani[09].x, y, w, h）を含んでいる。また、ここでは、アニメーションフラグにはオンが設定されるが、マージンサイズ設定処理は完了しているので、初期フラグにはオフが設定されている。

縮小スケーラ部１１１では、入力画像パラメータ（F_Src.x,y,w,h）と、出力表示パラメータ（B_Ani[01].x, y, w, h）と、マージンパラメータ（B_Ani[09].x, y, w, h）を比較することで、それらのパラメータに含まれるサイズの中から、最小サイズとして、出力表示パラメータの表示サイズ（B_Ani[01].w, h）が選択され（三者択一）、中間解像度のサイズ（Mid.w, h）として設定されている。また、この中間解像度のサイズと出力表示パラメータを含む第２画像パラメータは、拡大スケーラ部１１３に供給され、設定されることになる。

時刻t56において、第１画像パラメータとしては、出力表示パラメータ（B_Ani[02].x, y, w, h）と、マージンパラメータ（B_Ani[10].x, y, w, h）を含んでいる。

縮小スケーラ部１１１では、入力画像パラメータ（F_Src.x,y,w,h）と、出力表示パラメータ（B_Ani[02].x, y, w, h）と、マージンパラメータ（B_Ani[10].x, y, w, h）を比較することで、それらのパラメータに含まれるサイズの中から、最小サイズとして、出力表示パラメータの表示サイズ（B_Ani[02].w, h）が選択され（三者択一）、中間解像度のサイズ（Mid.w, h）として設定されている。また、この中間解像度のサイズと出力表示パラメータを含む第２画像パラメータは、拡大スケーラ部１１３に供給され、設定されることになる。

時刻t57において、第１画像パラメータとしては、出力表示パラメータ（B_Ani[03].x, y, w, h）と、マージンパラメータ（B_Ani[11].x, y, w, h）を含んでいる。

縮小スケーラ部１１１では、入力画像パラメータ（F_Src.x,y,w,h）と、出力表示パラメータ（B_Ani[03].x, y, w, h）と、マージンパラメータ（B_Ani[11].x, y, w, h）を比較することで、それらのパラメータに含まれるサイズの中から、最小サイズとして、入力画像パラメータの画像サイズ（F_Src.w, h）が選択され（三者択一）、中間解像度のサイズ（Mid.w, h）として設定されている。また、この中間解像度のサイズと出力表示パラメータを含む第２画像パラメータは、拡大スケーラ部１１３に供給され、設定されることになる。

時刻t58において、第１画像パラメータとしては、出力表示パラメータ（B_Ani[04].x, y, w, h）と、マージンパラメータ（B_Ani[12].x, y, w, h）を含んでいる。

縮小スケーラ部１１１では、入力画像パラメータ（F_Src.x,y,w,h）と、出力表示パラメータ（B_Ani[04].x, y, w, h）と、マージンパラメータ（B_Ani[12].x, y, w, h）を比較することで、それらのパラメータに含まれるサイズの中から、最小サイズとして、入力画像パラメータの画像サイズ（F_Src.w, h）が選択され（三者択一）、中間解像度のサイズ（Mid.w, h）として設定されている。また、この中間解像度のサイズと出力表示パラメータを含む第２画像パラメータは、拡大スケーラ部１１３に供給され、設定されることになる。

このように、図１９のアニメーション表示処理では、図１８のマージンサイズ設定処理で確保された十分なマージンサイズを利用して、中間解像度にはマージンサイズを持ったサイズが設定されるようにしているので、拡大スケーラ部１１３は、スムーズに出力画像（表示画像）の表示サイズを更新して、滑らかなアニメーション表示を実現することができる。すなわち、図１９のアニメーション表示処理では、メモリ部１１２の前段の縮小スケーラ部１１１は、入力画像の等倍以下の出力サイズを維持する一方、後段の拡大スケーラ部１１３は、メモリ保持画像の等倍以上の出力サイズを維持することになる。

この例では、図１９のアニメーション表示が終了すると、その後、図２０の非アニメーション表示処理（アニメーション表示の後処理）が行われる。なお、ここでは、図１９（図２０）の時刻t58が、アニメーション表示の終了時刻とされ、図２０の時刻t59が、非アニメーション表示の開始時刻とされるものとする。

すなわち、時刻t59において、拡大スケーラ部１１３は、第１画像パラメータとして、出力表示パラメータ（B_Ani[04].x, y, w, h）、アニメーションフラグ、及び、初期フラグを、縮小スケーラ部１１１に供給する。なお、ここでは、画像処理装置１００が、非アニメーション表示モードで動作しているので、アニメーションフラグと初期フラグには、オフが設定されている。

縮小スケーラ部１１１は、入力画像パラメータ（F_Src.x,y,w,h）と、出力表示パラメータ（B_Ani[04].x, y, w, h）を比較して、それらのパラメータに含まれるサイズのうち、いずれか一方の小さいほうのサイズ（最小サイズ）を選択する（二者択一）。この例では、入力画像パラメータの画像サイズが、出力表示パラメータの表示サイズよりも小さいので、入力画像パラメータの画像サイズ（F_Src.w, h）が選択され（二者択一）、中間解像度のサイズ（Mid.w, h）として設定される。

また、縮小スケーラ部１１１が、中間解像度を設定するタイミングで、拡大スケーラ部１１３に戻すための出力表示パラメータの表示サイズが画像パラメータ伝搬システムに設定される。縮小スケーラ部１１１は、第２画像パラメータを、拡大スケーラ部１１３に供給する。この第２画像パラメータには、中間解像度のサイズ（F_Src.w, h）、及び、出力表示パラメータ（B_Ani[04].x, y, w, h）が含まれることになる。

時刻t60において、拡大スケーラ部１１３は、縮小スケーラ部１１１からの第２画像パラメータに基づいて、中間解像度のサイズ（F_Src.w, h）と、出力画像（表示画像）の出力表示パラメータ（B_Ani[04].x, y, w, h）を設定する。この例では、出力画像の表示サイズが、中間解像度のサイズよりも大きくなるので、拡大スケーラ部１１３は、画像拡大処理を行い、メモリ部１１２から読み出したメモリ保持画像のサイズ（中間解像度のサイズ）を、出力画像の表示サイズに拡大して出力する。これにより、画像処理装置１００においては、アニメーション表示モードから、非アニメーション表示モードに、その動作モードが遷移したことになる。

以上のように、アニメーション表示における拡大遷移時の遷移においては、アニメーション表示の前処理としてのマージンサイズ設定処理で確保された十分なマージンサイズを利用して、中間解像度にはマージンサイズを持ったサイズが設定されるようにしているので、仮に入出力フレーム周波数が異なっていてもスムーズに出力画像（表示画像）の表示サイズが更新（拡大）され、滑らかなアニメーション表示を実現することができる。

＜３．複数のスケーラ部の連動動作を実現するための詳細な構成＞

（具体的な実装方法）
上述した複数のスケーラ部が連動して動作するための画像パラメータの受け渡しは、ハードウェアとソフトウェアのいずれでも実現することができる。

（ハードウェアの構成例）
図２１は、複数のスケーラ部が連動して動作するための画像パラメータの受け渡しをハードウェアにより実現する場合の構成を示している。図２１では、拡大スケーラ部１１３から縮小スケーラ部１１１に、第１画像パラメータを受け渡すためのハードウェア構成を示している。

図２１において、出力側の垂直同期信号（Output Vsync）のタイミングの少し前（例えば数ミリ秒前）に、拡大スケーラ部１１３を制御するソフトウェアが、第１画像パラメータをレジスタに書き込む。そして、出力側の垂直同期信号のタイミングで、フリップフロップ３１１にラッチされる。その後、その出力は、入力側の垂直同期信号（Input Vsync）のタイミングで、フリップフロップ３１２にラッチされる。そして、入力側の垂直同期信号のタイミングの少し後（直後）に、レジスタから第１画像パラメータを、縮小スケーラ部１１１を制御するソフトウェアが読み出すことになる。

このようなハードウェア構成で、第１画像パラメータをやりとりすることで、縮小スケーラ部１１１と拡大スケーラ部１１３が連動して動作することになる。なお、図２１においては、第１画像パラメータを受け渡すためのハードウェア構成を示したが、縮小スケーラ部１１１から拡大スケーラ部１１３に第２画像パラメータを受け渡すための構成を、ハードウェアにより実現するようにしてもよい。

（ソフトウェアの構成例）
図２２は、複数のスケーラ部が連動して動作するための画像パラメータの受け渡しをソフトウェアにより実現する場合の構成を示している。図２２では、縮小スケーラ部１１１から拡大スケーラ部１１３に、第２画像パラメータを受け渡すためのソフトウェア構成を示している。

なお、本技術の実施の形態においては、このソフトウェアの仕組みを、「画像パラメータ伝搬システム」と称して説明している。画像パラメータ伝搬システムは、画像データ（画像イメージ）と、画像パラメータを１対１で管理するシステムであって、このシステムを利用して、メモリ部１１２に保持された画像データに用いられる第２画像パラメータを、縮小スケーラ部１１１から拡大スケーラ部１１３に受け渡すようにする。

図２２の画像パラメータ伝搬システムでは、画像データに対する画像処理がメモリ部３３２を介して行われる場合に、CPU３３１が、メモリ部３３２の前段の画像処理ハードウェア３３３−１に対して、メモリ部３３２に書き込む画像データの制御を行うとともに、その画像データに関する画像パラメータも同時に、メモリ部３３２上に保持して、ソフトウェアにより管理を行う。

また、メモリ部３３２の後段の画像処理ハードウェア３３３−２（３３３−３）が、メモリ部３３２に保存された画像データを読み出す場合、CPU３３１は、当該画像データに対応する画像パラメータを、メモリ部３３２から読み出して、画像処理ハードウェア３３３−２（３３３−３）に設定する。すなわち、CPU３３１は、画像処理ハードウェア３３３−２（３３３−３）による画像処理が行われる前に、その画像処理の対象となる画像データの画像パラメータを取得して、画像処理が行われる前に、画像処理ハードウェア３３３−２（３３３−３）に設定するようにしている。

これにより、画像処理ハードウェア３３３−２（３３３−３）は、メモリ部３３２から読み出した画像データに対する画像処理を行う際に、CPU３３１により設定された画像パラメータを反映させることができる。なお、画像パラメータ伝搬システムで用いられる画像パラメータには、例えば、サイズ、フォーマット、書き込みアドレスなどが含まれる。

そして、画像処理装置１００では、この画像パラメータ伝搬システムの原理を、第２画像パラメータを受け渡す際に利用するようにする。すなわち、図２２のメモリ部３３２が、図５のメモリ部１１２に相当し、図２２の画像処理ハードウェア３３３−１が、図５の縮小スケーラ部１１１に相当し、図２２の画像処理ハードウェア３３３−２が、図５の拡大スケーラ部１１３に相当するとし、図２２のCPU３３１が、図５の画像処理装置１００の内部に設けられているとすれば、画像処理の対象となる画像データの第２画像パラメータを、拡大スケーラ部１１３に受け渡すことが可能となる。

このようなソフトウェア構成で、第１画像パラメータと第２画像パラメータをやりとりすることで、縮小スケーラ部１１１と拡大スケーラ部１１３が連動して動作することになる。なお、図２２においては、第２画像パラメータを受け渡すためのソフトウェア構成を示したが、拡大スケーラ部１１３から縮小スケーラ部１１１に第１画像パラメータを受け渡すための構成を、ソフトウェアにより実現するようにしてもよい。

（マージンサイズの決定方法）
次に、図２３及び図２４を参照して、アニメーション表示時のマージンサイズの決定方法について説明する。なお、図２３と、図２４とは、図中の「Ａ」乃至「Ｉ」であるアルファベットによって、その内容が対応していることが表されている。

上述した説明では、マージンサイズ設定処理におけるマージンサイズとして、８Ｖが設定された場合を説明したが、８Ｖであるマージンサイズは、本技術の発明者による詳細なるシミュレーションにより見出されたものである。すなわち、本技術の発明者は、拡大スケーラ部１１３から縮小スケーラ部１１１に第１画像パラメータを渡したときに、縮小スケーラ部１１１から拡大スケーラ部１１３に第２画像パラメータが戻ってくるまでの時間に注目して、その時間から、８Ｖであるマージンサイズを決定することとした。

具体的には、図２３においては、縮小スケーラ部１１１と拡大スケーラ部１１３が、第１画像パラメータと、第２画像パラメータをやりとりすることで、連動して動作することを表している。また、図２４のタイミングチャートは、入力側の垂直同期信号（Input Vsync）が、24Hz（入力画像サイズは1280×720）であり、出力側の垂直同期信号（Output Vsync）が、60Hz（1920×1080から720×480への表示サイズ変化）である場合に、拡大スケーラ部１１３から縮小スケーラ部１１１に第１画像パラメータを渡したときに、縮小スケーラ部１１１から拡大スケーラ部１１３に第２画像パラメータが戻ってくるまでの時間を示している。

ここで、図２４のタイミングチャートに示すように、拡大スケーラ部１１３から縮小スケーラ部１１１に第１画像パラメータを渡してから７Ｖ後に、縮小スケーラ部１１１からの第２画像パラメータが、拡大スケーラ部１１３に渡っている。なお、ここでは、７Ｖにマージンを加算することで、８Ｖであるマージンサイズを決定している。すなわち、入出力の周波数やメモリ部１１２での書き込みや読み出しのシステムディレイ等の影響を考慮して、その分のマージンを加算するようにしている。また、出力画像（表示画像）の表示サイズの数％〜数10％の小さいサイズを、マージンサイズとして指定するといった方法を採用してもよいが、画質の劣化を防ぐためには（高画質を実現するためには）、８Ｖというぎりぎりのサイズ設定で動作させる制御を行うことになる。

（アニメーション表示時の表示画像の表示位置と表示サイズの算出方法）
次に、図２５乃至図２８を参照して、アニメーション表示時における表示画像（出力画像）の表示位置と表示サイズの算出方法について説明する。

（リニア特性によるアニメーション表示）
図２５は、リニア特性によるアニメーション表示を示している。

図２５においては、アニメーション表示を行っているので、マージンパラメータにより表示画像の表示位置と表示サイズが表される。ここでは、図２６のリニア特性のアニメーション表示テーブルを用いていており、時間と変化量の関係が線形となっているため、表示画像は、一定の速度でその表示位置と表示サイズが変化することになる。

例えば、アニメーション表示開始時と表示終了時におけるマージンパラメータを、B_Ani[0].x, y, w, hと、B_Ani[255].x, y, w, hと指定すれば、マージンパラメータが、図２６のリニア特性のアニメーション表示テーブルに従い、B_Ani[0].x, y, w, hから、B_Ani[255].x, y, w, hまで変化する。その結果、図２５において、表示画像は、一定の速度でその表示位置と表示サイズが変化して、その表示サイズが縮小されることになる。

また、このような仕組みを利用することで、アニメーション表示時のマージンサイズ（例えば８Ｖ後）を算出することが可能となる。なお、例えば、８Ｖ後の値が、図２６のリニア特性のアニメーション表示テーブルのテーブル特性範囲外になる場合には、表示終了時の位置とサイズ値によりリミット処理がなされることになる。

（２次曲線特性によるアニメーション表示）
図２７は、２次曲線特性によるアニメーション表示を示している。

図２７においては、アニメーション表示を行っているので、マージンパラメータにより表示画像の表示位置と表示サイズが表される。ここでは、図２８の２次曲線特性のアニメーション表示テーブルを用いていており、時間と変化量の関係が非線形となっているため、表示画像は、例えばある領域では加速してその表示位置と表示サイズが変化することになる。

例えば、アニメーション表示開始時と表示終了時におけるマージンパラメータを、B_Ani[0].x, y, w, hと、B_Ani[255].x, y, w, hと指定すれば、マージンパラメータが、図２８の２次曲線特性のアニメーション表示テーブルに従い、B_Ani[0].x, y, w, hから、B_Ani[255].x, y, w, hまで変化する。その結果、図２７において、表示画像は、例えばある領域では加速してその表示位置と表示サイズが変化して、その表示サイズが縮小されることになる。

また、このような仕組みを利用することで、アニメーション表示時のマージンサイズ（例えば８Ｖ後）を算出することが可能となる。なお、例えば、８Ｖ後の値が、図２８の２次曲線特性のアニメーション表示テーブルのテーブル特性範囲外になる場合には、表示終了時の位置とサイズ値によりリミット処理がなされることになる。

＜４．スケーリング処理の流れ＞

（スケーリング処理）
まず、図２９のフローチャートを参照して、図５の画像処理装置１００により実行されるスケーリング処理を説明する。

ステップＳ１１１においては、初期フラグ（AnimInit）がオンであるかどうかが判定される。ステップＳ１１１において、初期フラグがオンであると判定された場合、処理は、ステップＳ１１２に進められる。ステップＳ１１２においては、マージンサイズ設定処理が実行される。このマージンサイズ設定処理としては、図１５又は図１８に示したマージンサイズ設定処理と同様の処理が実行される。マージンサイズ設定処理が実行されることで、中間解像度のサイズとして、マージンサイズを持ったサイズが設定され、アニメーション表示を行う場合の準備が行われる。

ステップＳ１１２の処理が終了すると、処理は、ステップＳ１１３に進められる。また、ステップＳ１１１において、初期フラグがオフであると判定された場合、ステップＳ１１２の処理はスキップされ、処理は、ステップＳ１１３に進められる。ステップＳ１１３においては、パラメータ選択処理が実行される。このパラメータ選択処理が実行されることで、縮小スケーラ部１１１による画像縮小処理と、拡大スケーラ部１１３による画像拡大処理を連動して制御するためのパラメータが設定される。

なお、パラメータ選択処理の詳細については、図３０のフローチャートを参照して後述する。

ステップＳ１１４においては、ステップＳ１１３の処理で選択されたパラメータに基づいて、入力画像の画像データを縮小するかどうかが判定される。ステップＳ１１４において、入力画像の画像データを縮小すると判定された場合、処理は、ステップＳ１１５に進められる。ステップＳ１１５において、縮小スケーラ部１１１は、入力画像の画像データに対する画像縮小処理を行い、入力画像の画像データを縮小して、メモリ部１１２に書き込む。

なお、ステップＳ１１４において、入力画像の画像データを縮小しないと判定された場合、ステップＳ１１５の処理はスキップされる。この場合、縮小スケーラ部１１１は、入力画像の画像データに対する画像縮小処理を行わずに等倍を維持したまま、入力画像の画像データを、メモリ部１１２に書き込む。

ステップＳ１１６においては、ステップＳ１１３の処理で選択されたパラメータに基づいて、メモリ部１１２から読み出されるメモリ保持画像の画像データを拡大するかどうかが判定される。ステップＳ１１６において、メモリ保持画像の画像データを拡大すると判定された場合、処理は、ステップＳ１１７に進められる。ステップＳ１１７において、拡大スケーラ部１１３は、メモリ部１１２から読み出されたメモリ保持画像の画像データに対する画像拡大処理を行い、メモリ保持画像の画像データを拡大して、出力画像（表示画像）の画像データとして出力する。

なお、ステップＳ１１６において、メモリ保持画像の画像データを拡大しないと判定された場合、ステップＳ１１７の処理は、スキップされる。この場合、拡大スケーラ部１１３は、メモリ保持画像の画像データに対する画像拡大処理を行わずに等倍を維持したまま、メモリ保持画像の画像データを、出力画像（表示画像）の画像データとして出力する。ステップＳ１１７の処理が終了すると、図２９のスケーリング処理は終了する。

以上、スケーリング処理について説明した。

（パラメータ選択処理）
次に、図３０のフローチャートを参照して、図２９のステップＳ１１３の処理に対応するパラメータ選択処理を説明する。なお、このパラメータ選択処理を行うに際して、縮小スケーラ部１１１は、拡大スケーラ部１１３からの第１画像パラメータと、入力画像パラメータ（F_Src.x,y,w,h）を取得済みであるものとする。

ステップＳ１５１において、縮小スケーラ部１１１は、B_Win.w > F_Src.wとなるかどうかを判定する。すなわち、ここでは、入力画像の水平サイズと、拡大スケーラ部１１３の出力画像（表示画像）の水平サイズの最小値が判定される。

ステップＳ１５１において、B_Win.w > F_Src.wの関係を満たすと判定された場合、処理は、ステップＳ１５２に進められる。ステップＳ１５２において、縮小スケーラ部１１１は、Mid.w = F_Src.wとする。この場合、中間解像度の水平サイズとして、入力画像の水平サイズが選択されたことになる。

また、ステップＳ１５１において、B_Win.w > F_Src.wの関係を満たしていないと判定された場合、処理は、ステップＳ１５３に進められる。ステップＳ１５３において、縮小スケーラ部１１１は、Mid.w = B_Win.wとする。この場合、中間解像度の水平サイズとして、出力画像（表示画像）の水平サイズが選択されたことになる。

ステップＳ１５２又はＳ１５３において、中間解像度の水平サイズとして、入力画像の水平サイズ又は出力画像の水平サイズのいずれか一方が選択されると（二者択一）、処理は、ステップＳ１５４に進められる。ステップＳ１５４において、縮小スケーラ部１１１は、アニメーションフラグ（Animation）がオンであるかどうかを判定する。

ステップＳ１５４において、アニメーションフラグがオンであると判定された場合、処理は、ステップＳ１５５に進められる。ステップＳ１５５において、縮小スケーラ部１１１は、Mid.w > B_Ani.wとなるかどうかを判定する。すなわち、ここでは、入力画像の水平サイズと出力画像の水平サイズの最小値の判定結果と、マージンパラメータのサイズ（マージンサイズ）の水平サイズの最小値が判定される。

ステップＳ１５５において、Mid.w > B_Ani.wの関係を満たすと判定された場合、処理は、ステップＳ１５６に進められる。ステップＳ１５６において、縮小スケーラ部１１１は、Mid.w = B_Ani.wとする。この場合、中間解像度のサイズとして、マージンサイズの水平サイズが選択されたことになる。

また、ステップＳ１５５において、Mid.w > B_Ani.wの関係を満たしていないと判定された場合、ステップＳ１５６の処理は、スキップされる。この場合、中間解像度のサイズとして、マージンサイズの水平サイズは選択されずに、入力画像の水平サイズ又は出力画像の水平サイズのいずれか一方が選択されることになる。

すなわち、アニメーションフラグがオンである場合には、中間解像度の水平サイズとして、入力画像の水平サイズ、出力画像の水平サイズ、又はマージンサイズの水平サイズのいずれかが選択されることになる（三者択一）。

ステップＳ１５４において、アニメーションフラグがオフであると判定された場合、ステップＳ１５５において、Mid.w > B_Ani.wの関係を満たしていないと判定された場合、又は、ステップＳ１５６の処理が終了した場合、処理は、ステップＳ１５７に進められる。

以上、ステップＳ１５１乃至Ｓ１５６の処理が実行されることで、水平サイズの最小値が算出され、中間解像度の水平サイズとして選択されることなる。また、同様にして、ステップＳ１５７乃至Ｓ１６２の処理が実行されることで、垂直サイズの最小値が算出され、中間解像度の垂直サイズとして選択されることになる。

ステップＳ１５７において、縮小スケーラ部１１１は、B_Win.h > F_Src.hとなるかどうかを判定する。すなわち、ここでは、入力画像の垂直サイズと、拡大スケーラ部１１３の出力画像（表示画像）の垂直サイズの最小値が判定される。

ステップＳ１５７において、B_Win.h > F_Src.hの関係を満たすと判定された場合、処理は、ステップＳ１５８に進められる。ステップＳ１５８において、縮小スケーラ部１１１は、Mid.h = F_Src.hとする。この場合、中間解像度の垂直サイズとして、入力画像の垂直サイズが選択されたことになる。

また、ステップＳ１５７において、B_Win.h > F_Src.hの関係を満たしていないと判定された場合、処理は、ステップＳ１５９に進められる。ステップＳ１５９において、縮小スケーラ部１１１は、Mid.h = B_Win.hとする。この場合、中間解像度の垂直サイズとして、出力画像（表示画像）の垂直サイズが選択されたことになる。

ステップＳ１５８又はＳ１５９において、中間解像度の垂直サイズとして、入力画像の垂直サイズ又は出力画像の垂直サイズのいずれか一方が選択されると（二者択一）、処理は、ステップＳ１６０に進められる。ステップＳ１６０において、縮小スケーラ部１１１は、アニメーションフラグ（Animation）がオンであるかどうかを判定する。

ステップＳ１６０において、アニメーションフラグがオンであると判定された場合、処理は、ステップＳ１６１に進められる。ステップＳ１６１において、縮小スケーラ部１１１は、Mid.h > B_Ani.hとなるかどうかを判定する。すなわち、ここでは、入力画像の垂直サイズと出力画像の垂直サイズの最小値の判定結果と、マージンサイズの垂直サイズの最小値が判定される。

ステップＳ１６１において、Mid.h > B_Ani.hの関係を満たすと判定された場合、処理は、ステップＳ１６２に進められる。ステップＳ１６２において、縮小スケーラ部１１１は、Mid.h = B_Ani.hとする。この場合、中間解像度のサイズとして、マージンサイズの垂直サイズが選択されたことになる。

また、ステップＳ１６１において、Mid.h > B_Ani.hの関係を満たしていないと判定された場合、ステップＳ１６２の処理は、スキップされる。この場合、中間解像度のサイズとして、マージンサイズの垂直サイズは選択されずに、入力画像の垂直サイズ又は出力画像の垂直サイズのいずれか一方が選択されることになる。

すなわち、アニメーションフラグがオンである場合には、中間解像度の垂直サイズとして、入力画像の垂直サイズ、出力画像の垂直サイズ、又はマージンサイズの垂直サイズのいずれかが選択されることになる（三者択一）。

ステップＳ１６０において、アニメーションフラグがオフであると判定された場合、ステップＳ１６１において、Mid.h > B_Ani.hの関係を満たしていないと判定された場合、又は、ステップＳ１６２の処理が終了した場合、図３０のパラメータ選択処理は、終了し、処理は、図２９のステップＳ１１３に戻り、それ以降の処理が実行される。

以上のようにして、縮小スケーラ部１１１においては、中間解像度の水平サイズと垂直サイズが選択される。なお、縮小スケーラ部１１１は、図３０のパラメータ選択処理で得られた中間解像度のサイズを含む第２画像パラメータを、拡大スケーラ部１１３に供給することになる。

＜５．受信装置の構成＞

図３１は、本技術を適用した受信装置の一実施の形態の構成を示す図である。

図３１の受信装置４００は、例えば、テレビ受像機、スマートフォン、タブレット端末装置、ゲーム機、パーソナルコンピュータ等の、4K2K等の高画質なコンテンツを表示可能な電子機器である。図３１において、受信装置４００は、制御部４１１、チューナ部４１２、画像処理部４１３、及び、表示部４１４から構成される。

制御部４１１は、受信装置４００の各部の動作を制御する。

チューナ部４１２は、制御部４１１からの制御に従い、アンテナ４２１を介してデジタル放送信号を受信して、復調処理等を行い、それにより得られる画像データを、画像処理部４１３に供給する。

画像処理部４１３は、制御部４１１からの制御に従い、チューナ部４１２から供給される入力画像の画像データに対する所定の画像処理を行い、当該画像処理の結果得られる表示画像（出力画像）を、表示部４１４に表示させる。

ここで、画像処理部４１３は、上述した画像処理装置１００（図５）に相当するものであって、縮小スケーラ部１１１、メモリ部１１２、及び、拡大スケーラ部１１３を有している。画像処理部４１３において、縮小スケーラ部１１１と拡大スケーラ部１１３が、画像パラメータをやりとりすることで、縮小スケーラ部１１１による画像縮小処理と、拡大スケーラ部１１３による画像拡大処理がメモリ部１１２を介して連動して動作することになる。

以上のように、受信装置４００では、画像処理部４１３によって、入力画像の画像データに対する画像縮小処理や画像拡大処理が行われることで、入力画像の画像データをアニメーション表示する場合には滑らかな表示が可能となり、非アニメーション表示する場合には、高画質な表示が可能となる。このように、受信装置４００においても、滑らかなアニメーション表示と、非アニメーション表示時の高画質化を両立させることができる。

なお、図３１においては、受信装置４００が、デジタル放送信号により伝送される、番組等のコンテンツを受信する構成を示したが、インターネット等のネットワークに接続するための機能を有する通信部を設けて、例えば、インターネット上のストリーミングサーバから配信されるコンテンツが受信されるようにして、当該コンテンツのアニメーション表示や非アニメーション表示が行われるようにしてもよい。

なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、又は、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。

この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリ等よりなるリムーバブルメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROMや記録部等で構成される。

また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。

ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

また、本技術は、以下のような構成をとることができる。

（１）
画像データを保持するメモリ部と、
入力画像の画像データを縮小するか、又は等倍を維持して、前記メモリ部に保持させる縮小スケーラ部と、
前記メモリ部に保持された前記画像データを拡大するか、又は等倍を維持して、出力画像の画像データとして出力する拡大スケーラ部と
を備え、
前記縮小スケーラ部は、前記拡大スケーラ部から供給される画像に関する第１のパラメータに基づいて、前記入力画像の解像度を、前記メモリ部に書き込むための解像度である中間解像度に変換し、
前記拡大スケーラ部は、前記縮小スケーラ部から供給される画像に関する第２のパラメータに基づいて、前記メモリ部から読み出されたメモリ保持画像の中間解像度を、前記出力画像の解像度に変換する
画像処理装置。
（２）
前記出力画像の表示サイズを所定のタイミングで連続的に変更して表示するアニメーション表示モードで動作する場合、前記中間解像度には、マージンサイズが確保される
（１）に記載の画像処理装置。
（３）
前記縮小スケーラ部は、
前記アニメーション表示モードで動作する場合、前記入力画像の画像サイズ、前記出力画像の表示サイズ、及び、前記マージンサイズの中から、最小値のサイズを選択して、前記中間解像度のサイズとして設定し、
前記中間解像度として設定された最小値のサイズを、前記第２のパラメータに含めて、前記拡大スケーラ部に供給する
（２）に記載の画像処理装置。
（４）
前記拡大スケーラ部は、前記出力画像の表示サイズ、及び、前記マージンサイズを、前記第１のパラメータに含めて、前記縮小スケーラ部に供給する
（３）に記載の画像処理装置。
（５）
前記マージンサイズは、時間的に後に表示される前記出力画像の表示サイズに対応している
（２）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記縮小スケーラ部は、
前記アニメーション表示モードで動作しない場合、前記入力画像の画像サイズ、及び、前記出力画像の表示サイズのうち、いずれか一方の小さいほうのサイズを選択して、前記中間解像度のサイズとして設定し、
前記中間解像度として設定された小さいほうのサイズを、前記第２のパラメータに含めて、前記拡大スケーラ部に供給する
（３）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記拡大スケーラ部は、前記出力画像の表示サイズを、前記第１のパラメータに含めて、前記縮小スケーラ部に供給する
（６）に記載の画像処理装置。
（８）
前記アニメーション表示モードで動作しない場合、前記縮小スケーラ部による画像縮小処理と、前記拡大スケーラ部による画像拡大処理のうち、いずれか一方の画像処理のみが行われるようにする
（６）又は（７）に記載の画像処理装置。
（９）
画像データを保持するメモリ部と、
入力画像の画像データを縮小するか、又は等倍を維持して、前記メモリ部に保持させる縮小スケーラ部と、
前記メモリ部に保持された前記画像データを拡大するか、又は等倍を維持して、出力画像の画像データとして出力する拡大スケーラ部と
を有する画像処理装置の画像処理方法において、
前記縮小スケーラ部が、前記拡大スケーラ部から供給される画像に関する第１のパラメータに基づいて、前記入力画像の解像度を、前記メモリ部に書き込むための解像度である中間解像度に変換し、
前記拡大スケーラ部が、前記縮小スケーラ部から供給される画像に関する第２のパラメータに基づいて、前記メモリ部から読み出されたメモリ保持画像の中間解像度を、前記出力画像の解像度に変換する
ステップを含む画像処理方法。
（１０）
コンピュータに実行させるプログラムであって、
入力画像の画像データを縮小するか、又は等倍を維持して、メモリ部に保持させる画像縮小ステップと、
前記メモリ部に保持された前記画像データを拡大するか、又は等倍を維持して、出力画像の画像データとして出力する画像拡大ステップと
を含み、
前記画像縮小ステップの処理によって、前記画像拡大ステップの処理で得られる画像に関する第１のパラメータに基づいて、前記入力画像の解像度を、前記メモリ部に書き込むための解像度である中間解像度に変換し、
前記画像拡大ステップの処理によって、前記画像縮小ステップの処理で得られる画像に関する第２のパラメータに基づいて、前記メモリ部から読み出されたメモリ保持画像の中間解像度を、前記出力画像の解像度に変換する
プログラム。

１００ 画像処理装置， １１１ 縮小スケーラ部， １１２ メモリ部， １１３ 拡大スケーラ部， ４００ 受信装置， ４１１ 制御部， ４１２ チューナ部， ４１３ 画像処理部， ４１４ 表示部

Claims (6)

1. 画像データを保持するメモリ部と、
   入力画像の画像データを縮小するか、又は等倍を維持して、前記メモリ部に保持させる縮小スケーラ部と、
   前記メモリ部に保持された前記画像データを拡大するか、又は等倍を維持して、出力画像の画像データとして出力する拡大スケーラ部と
   を備え、
   前記出力画像の表示サイズを所定のタイミングで連続的に変更して表示するアニメーション表示モードで動作する場合において、
   前記縮小スケーラ部は、
   前記入力画像の画像サイズ、前記出力画像の表示サイズ、及び前記メモリ部に書き込むための解像度である中間解像度のマージンサイズの中から、最小値のサイズを選択して、前記中間解像度のサイズとして設定し、
   設定した前記中間解像度のサイズに基づいて、前記入力画像の解像度を、前記中間解像度に変換し、
   前記拡大スケーラ部は、前記中間解像度のサイズとして設定された最小値のサイズに基づいて、前記メモリ部から読み出されたメモリ保持画像の中間解像度を、前記出力画像の解像度に変換し、
   前記アニメーション表示モードで動作しない場合において、
   前記縮小スケーラ部は、前記入力画像の画像サイズ、及び前記出力画像の表示サイズのうち、いずれか一方の小さいほうのサイズを選択して、前記中間解像度のサイズとして設定し、
   設定した前記中間解像度のサイズに基づいて、前記縮小スケーラ部による画像縮小処理と、前記拡大スケーラ部による画像拡大処理のうち、いずれか一方の画像処理のみが行われるようにする
   画像処理装置。
2. 前記アニメーション表示モードで動作する場合、前記中間解像度には、マージンサイズが確保され、
   前記マージンサイズは、時間的に後に表示される前記出力画像の表示サイズに対応している
   請求項１に記載の画像処理装置。
3. 前記アニメーション表示モードで動作する場合において、
   前記縮小スケーラ部は、前記中間解像度として設定された最小値のサイズを含む第２のパラメータを、前記拡大スケーラ部に供給し、
   前記拡大スケーラ部は、前記出力画像の表示サイズ、及び、前記マージンサイズを含む第１のパラメータを、前記縮小スケーラ部に供給する
   請求項２に記載の画像処理装置。
4. 前記アニメーション表示モードで動作しない場合において、
   前記縮小スケーラ部は、前記中間解像度として設定された小さいほうのサイズを含む第２のパラメータを、前記拡大スケーラ部に供給し、
   前記拡大スケーラ部は、前記出力画像の表示サイズを含む第１のパラメータを、前記縮小スケーラ部に供給する
   請求項３に記載の画像処理装置。
5. 画像データを保持するメモリ部と、
   入力画像の画像データを縮小するか、又は等倍を維持して、前記メモリ部に保持させる縮小スケーラ部と、
   前記メモリ部に保持された前記画像データを拡大するか、又は等倍を維持して、出力画像の画像データとして出力する拡大スケーラ部と
   を有する画像処理装置の画像処理方法において、
   前記出力画像の表示サイズを所定のタイミングで連続的に変更して表示するアニメーション表示モードで動作する場合に、
   前記縮小スケーラ部が、
   前記入力画像の画像サイズ、前記出力画像の表示サイズ、及び前記メモリ部に書き込むための解像度である中間解像度のマージンサイズの中から、最小値のサイズを選択して、前記中間解像度のサイズとして設定し、
   設定した前記中間解像度のサイズに基づいて、前記入力画像の解像度を、前記中間解像度に変換し、
   前記拡大スケーラ部が、前記中間解像度のサイズとして設定された最小値のサイズに基づいて、前記メモリ部から読み出されたメモリ保持画像の中間解像度を、前記出力画像の解像度に変換し、
   前記アニメーション表示モードで動作しない場合に、
   前記縮小スケーラ部が、前記入力画像の画像サイズ、及び前記出力画像の表示サイズのうち、いずれか一方の小さいほうのサイズを選択して、前記中間解像度のサイズとして設定し、
   設定した前記中間解像度のサイズに基づいて、前記縮小スケーラ部による画像縮小処理と、前記拡大スケーラ部による画像拡大処理のうち、いずれか一方の画像処理のみが行われるようにする
   ステップを含む画像処理方法。
6. コンピュータに実行させるプログラムであって、
   入力画像の画像データを縮小するか、又は等倍を維持して、メモリ部に保持させる画像縮小ステップと、
   前記メモリ部に保持された前記画像データを拡大するか、又は等倍を維持して、出力画像の画像データとして出力する画像拡大ステップと
   を含み、
   前記出力画像の表示サイズを所定のタイミングで連続的に変更して表示するアニメーション表示モードで動作する場合に、
   前記画像縮小ステップの処理によって、前記入力画像の画像サイズ、前記出力画像の表示サイズ、及び前記メモリ部に書き込むための解像度である中間解像度のマージンサイズの中から、最小値のサイズを選択して、前記中間解像度のサイズとして設定し、設定した前記中間解像度のサイズに基づいて、前記入力画像の解像度を、前記中間解像度に変換し、
   前記画像拡大ステップの処理によって、前記中間解像度のサイズとして設定された最小値のサイズに基づいて、前記メモリ部から読み出されたメモリ保持画像の中間解像度を、前記出力画像の解像度に変換し、
   前記アニメーション表示モードで動作しない場合に、
   前記画像縮小ステップの処理によって、前記入力画像の画像サイズ、及び前記出力画像の表示サイズのうち、いずれか一方の小さいほうのサイズを選択して、前記中間解像度のサイズとして設定し、
   設定した前記中間解像度のサイズに基づいて、前記画像縮小ステップの処理による画像縮小処理と、前記画像拡大ステップの処理による画像拡大処理のうち、いずれか一方の画像処理のみが行われるようにする
   プログラム。

Images