JP6253338B2 - 映像処理装置、映像処理装置の制御方法 - Google Patents

Description

本発明は、表示画面の静止表示（フリーズ表示）を行う際の画質向上技術に関する。

近年、映像処理装置においては、画像処理の高解像度化や高精度化に伴い、システムで取り扱うデータサイズが増加傾向にある。例えば、解像度に関しては、ＱＦＨＤ（Ｑｕａｄ Ｆｕｌｌ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ、３８４０画素ｘ２１６０ライン）やスーパーハイビジョン（７６８０画素ｘ４３２０ライン）などがある。これらは、従来のＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ、１９２０画素ｘ１０８０ライン）映像の４乃至１６倍のデータ処理量となる。

また、画像処理の高精度化に関しては、複数フレームを参照画像として用い、高画質化する処理を行っている。例えば、ＩＰ変換（インターレース−プログレッシブ変換）や中間フレームを生成する倍速処理においては、メモリに蓄えた複数枚の中間フレームを参照して動きベクトルを生成することにより、高精度の補間画像を生成する。また、超解像技術においても、複数フレームの画像を参照してマッチングを行い処理することにより、鮮鋭度の高い高解像度化処理を実現している。このような高度な画像処理を実現するためには、多くの中間フレームをメモリに保持し、読み出すことが必要となり、データ処理量が増加する。

このように、映像処理装置においては、前述した高解像度化、高画質化処理を両立するシステムを構築する場合、必要となるメモリ容量、メモリ帯域が増加するという課題がある。そこでフレームメモリへの書き込みデータ量やフレームメモリからの読み出しデータ量を削減するために、圧縮伸張技術を用いた方法が提案されている。

特許文献１には、入力された映像データを圧縮してから、フレームメモリへ書き込みを行うと共に、フレームメモリから読み出した映像データを伸張してから映像処理を行う映像処理システムについて記載されている。

また、特許文献１には、スチル画面に映像を表示する場合や、高品位ＴＶに映像を表示する場合は、映像の圧縮率を引き上げる設定を行う一方、装置がバッテリ駆動のため消費電力を抑えたい場合は映像の圧縮率を引き下げる設定を行うことが記載されている。

また、特許文献２には、ＭＰＥＧで圧縮された映像の表示中にフリーズ指示（静止画モード選択）をした場合、Ｉピクチャ、Ｐピクチャ、Ｂピクチャのうち、Ｉピクチャを表示させることが記載されている。

特開２０１０−１７１６０９号公報 特開２０００−３０８０１６号公報

しかしながら、フリーズ指示に応じて低品質な映像がフリーズ表示される恐れがあった。
例えば、シーンチェンジ等の発生によりフレームメモリ内の映像フレームの圧縮率が一時的に高くなっているときにフリーズ指示が入力された場合、フレームメモリ内の品質が悪い映像フレームがフリーズ表示される恐れがあった。
本発明は上記の問題点に鑑みてなされたものであり、その目的は、フリーズ指示に応じて表示される映像の品質を向上することである。

上記の問題点を解決するために本願の映像処理装置は、例えば、以下の構成を有する。すなわち、映像を構成する映像フレームを入力する入力手段と、前記入力手段により入力された映像フレームに対して圧縮処理を行う圧縮手段と、前記圧縮手段により圧縮された映像フレームをメモリに格納する格納手段と、前記メモリから読み出した前記圧縮処理された映像フレームに基づいて表示映像フレームを生成する生成手段と、前記生成手段により生成された表示映像フレームに基づく表示映像を表示させる表示制御手段と、前記表示制御手段による表示映像に関する所定指示の入力に応じて特定される表示映像の画質が、前記所定指示の入力がなかった場合よりも高くなるように、前記所定指示の入力より後に行われる前記圧縮手段による映像フレームの圧縮処理のためのパラメータを制御する制御手段とを有する。

本発明によれば、フリーズ指示に応じて表示される映像の品質を向上できる。

実施形態の映像処理装置の機能ブロック図 実施形態の映像処理装置の動作を説明するためのフローチャート 時刻Ｔ〜Ｔ＋１においてバス１１０を通過するデータサイズを示す図 時刻Ｔ＋２からＴ＋３においてバス１１０を通過するデータサイズを示す図 時刻Ｔ＋４〜Ｔ＋１２においてバス１１０を通過するデータサイズを示す図 実施形態の映像処理装置の動作を説明するためのフローチャート 時刻Ｔ〜Ｔ＋１においてバス１１０を通過するデータサイズを示す図 時刻Ｔ＋２〜Ｔ＋３においてバス１１０を通過するデータサイズを示す図 時刻Ｔ＋４〜Ｔ＋５においてバス１１０を通過するデータサイズを示す図 時刻Ｔ＋６〜Ｔ＋８においてバス１１０を通過するデータサイズを示す図

以下、本発明に係る実施形態について、添付の図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

＜第１実施形態＞
●システム構成
以下、本実施形態における映像処理装置の構成に関して説明する。図１は、本実施形態における映像処理装置１０の構成を説明するためのブロック図である。図１に示すように、映像処理装置１０は、入力処理部１０１、第一の映像処理部１０２、第二の映像処理部１０３、出力処理部１０４、第一の圧縮伸張部１０５、第二の圧縮伸張部１０６、第三の圧縮伸張部１０７、第四の圧縮伸張部１０８を含んで構成される。また、映像処理装置１０は、バス１１０、メモリ１１１を含んで構成される。映像処理装置１０は、例えば、大型テレビ、デスクトップＰＣ、ノートＰＣ、タブレット、スマートフォンなどとして実現可能である。また、映像処理装置１０は、プロジェクターなどの投影型の装置として実現することも可能である。

映像入力端子より入力された映像データは、入力処理部１０１に入力される。映像入力端子は、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）やＤｉｓｐｌａｙ Ｐｏｒｔ、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）の映像端子を用いることができる。また、映像入力端子は、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）の映像端子を用いることもできる。映像入力端子については特に限定しない。

また、入力処理部１０１は、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などで圧縮された映像データがデコードされた映像データを入力することも可能である。また、入力処理部１０１は、１つのインタフェースから映像データを入力してもよいし、１画面を複数の信号線に分割して送出されるインタフェースから映像データを入力してもよい。

入力処理部１０１は、映像入力端子から入力された映像データを、映像処理装置１０に適した映像フォーマットに変換し、第一の圧縮伸張部１０５へ出力する。

第一の圧縮伸張部１０５は、入力処理部１０１により入力された映像データを圧縮する。圧縮部は、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）で映像データを圧縮することができる。ただしこれに限らず、圧縮部は、例えばＪＰＥＧ２０００、ＪＰＥＧ−ＸＲなどの非可逆符号化方式や、ＪＰＥＧ−ＬＳ（ＪＰＥＧ−Ｌｏｓｓｌｅｓｓ）やランレングス符号化などの可逆符号化方式を用いて映像データを圧縮することが可能である。本実施形態の第一、第二、第三、第四の圧縮伸張部は、入力処理部１０１からの映像データを圧縮する際、１つの映像フレームの全体を１つの単位として圧縮してもよいし、１つの映像フレームを複数領域に分割し、領域毎に圧縮することも可能である。

第一の圧縮伸張部１０５で圧縮された映像データは、バス１１０のパスＡを介してメモリ１１１に書き込まれる。ここでメモリ１１１は、ＤＤＲ−ＳＤＲＡＭ（Ｄｏｕｂｌｅ−Ｄａｔａ−Ｒａｔｅ Ｓｙｎｃｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を用いて映像処理チップ外に持つことが可能である。また、メモリ１１１は、ｅＤＲＡＭ（Ｅｍｂｅｄｄｅｄ ＤＲＡＭ）等を用いて、映像処理チップ内に持たせることも可能である。

本実施形態のバス１１０は、第一の圧縮伸張部１０５、第二の圧縮伸張部１０６、第三の圧縮伸張部１０７、第四の圧縮伸張部１０８が同時に用いることが可能である。すなわち、各圧縮伸張部１０５〜１０８は、バス１１０のパスＡ〜Ｍを介してメモリ１１１に同時アクセスすることが可能である。

なお、本実施形態の各圧縮伸張部１０５〜１０８は、１つの映像フレームを複数領域に分割し、圧縮後のデータサイズが変動する圧縮方式を用いて各領域を圧縮する場合、各領域の映像データが書き込まれたアドレスとデータサイズもメモリ１１１に記憶させる。本実施形態では、メモリ１１１に各領域の圧縮後の映像データのメモリ１１１内のアドレスとデータサイズをテーブルの形式で記憶する。各圧縮伸張部１０５〜１０８は、分割領域の圧縮後の映像データをメモリ１１１に記憶する際に、該テーブルを更新する。なお、各圧縮伸張部１０５〜１０８が、映像フレーム単位で圧縮する場合には、メモリ１１１は該テーブルを保持しない。

第一の圧縮伸張部１０５によって圧縮され、メモリ１１１に書き込まれた映像データは、バス１１０のパスＢを介して第一の圧縮伸張部１０５に入力される。第一の圧縮伸張部１０５が１つの映像フレームを複数領域に分割して符号化する場合においては、まず、制御部１０９から映像データの読み出しが指示されると、第一の圧縮伸張部１０５は、メモリ１１１内のテーブルを参照する。そして、第一の圧縮伸張部１０５は、制御部１０９からの指示に対応する映像データが書き込まれているメモリ１１１内のアドレスとデータサイズを特定し、メモリ１１１のパスＢから映像データを読み出す。

第一の圧縮伸張部１０５は、取得した分割領域の映像データを伸張し、入力処理部１０１へ出力する。入力処理部１０１は、第一の圧縮伸張部１０５からの映像データに対して所定の処理（例えば、ブロックノイズを除去するためのデブロッキングフィルタ処理）を実施した後、第一の映像処理部１０２へ出力する。

第一の映像処理部１０２は、入力処理部１０１から入力された映像データを用いて映像処理を行う。また、本実施形態の映像処理部１０２は、メモリ１１１のパスＣから参照フレームとして映像データを読み出して映像処理を行うことが可能である。パスＣから読みだされる映像データは、入力処理部１０１から入力された処理対象の映像データよりも先に入力された映像データである。

すなわち、映像処理部１０２は、入力処理部１０１から入力された映像フレームよりも表示順序が前の映像フレームを参照フレームとして用いて映像フレームの高画質化などの映像処理を行うことができる。また、映像処理部１０２〜１０４は、参照フレームを用いずに映像フレームの高画質化などの映像処理を行うことも可能である。

第一の映像処理部１０２は、参照フレーム数の異なる複数の映像処理モードを適用可能であり、映像処理モードを切り替えに応じて、メモリ１１１より読み出すフレーム数を変更することが可能である。

例えば、映像処理が３Ｄノイズリダクション処理の場合、該機能がＯＮのときは、第一の映像処理部１０２は、メモリ１１１から処理対象の映像フレームの１フレーム前の映像フレームを参照フレームとして読み出し、ノイズリダクション処理を行う。

一方、３Ｄノイズリダクション処理がＯＦＦのときは、映像処理部１０２は、メモリ１１１から参照フレームを読み出さず、３Ｄノイズリダクション処理を実行しない。

第一の映像処理部１０２による処理済みの映像データは、第二の圧縮伸張部１０６で圧縮された後、バス１１０のパスＤを介してメモリ１１１に記憶される。さらに該映像データは、パスＥを介して読み出され、第二の圧縮伸張部１０６で伸張された後、第一の映像処理部１０２に入力される。また、第二の圧縮伸張部１０６は、パスＥから読み出された映像フレームの映像処理のための参照フレームとして、パスＦとパスＧからそれぞれ映像フレームを読み出し、伸張して第一の映像処理部１０２へ入力する。すなわち、本形態の第一の映像処理部１０２は、映像処理装置１０に入力された映像データに対して２つの映像処理を行う。

第一の映像処理部１０２は、第二の圧縮伸張部１０６から入力された映像データに対して、映像処理を行うことが可能である。また、第一の映像処理部１０２は、パスＥから読み出された映像フレームの映像処理を行うために、パスＦとパスＧからそれぞれ読み出された２つの映像フレームを参照フレームとして用いることが可能である。ただし、第一の映像処理部１０２の映像処理モードによっては、参照フレーム数が異なる場合がある。

例えば、第一の映像処理部１０２が映像処理として解像度変換処理を行う場合、複数枚超解像処理モード（第１の映像処理モード）の設定時には、第一の映像処理部１０２は、メモリ１１１のパスＦとＧから１つずつ参照フレームを読み出して超解像処理を行う。

一方、フレーム内超解像モード（第２の映像処理モード）の設定時には、映像処理部１０２は、参照フレームをメモリ１１１から読み出さず、処理対象の映像フレームの超解像処理を行う。すなわち、第一の映像処理部１０２は、第１の映像処理モードと、該第１の映像処理モードよりも参照フレームが少ない第２の映像処理モードとを切り替えることが可能である。なお、第１の映像処理モードで映像処理をした場合のほうが、第２の映像処理をした場合よりも、映像処理後の映像の品質は一般的に高くなる。

第一の映像処理部１０２は、映像処理後の映像データを第二の映像処理部１０３に入力する。第二の映像処理部１０３は、第一の映像処理部１０２から入力された映像データに対して映像処理を実施する。第二の映像処理部１０３による映像処理後の映像データは、第三の圧縮伸張部１０７で圧縮され、バス１１０のパスＨを介してメモリ１１１に入力される。

また、第三の圧縮伸張部１０７は、処理対象フレームとしての映像データをバス１１０のパスＩを介して読み出して伸張する。また、第三の圧縮伸張部１０７は、参照フレームの映像データとしてバス１１０のパスＪとパスＫからそれぞれ１つずつの映像フレームの映像データを読み出して伸張することが可能である。

第二の映像処理部１０３は、パスＩからの映像フレームの映像データに対して、パスＪとパスＫからの参照フレームの映像データを用いて映像処理を実行する。本実施形態の第二の映像処理部１０３は、映像処理としてフレームレートの変換処理を行う。フレームレート変換処理とは、入力処理部１０１に入力された映像データのフレームレートを、出力処理部１０４から出力される映像データのフレームレートに変換する映像処理である。例えば、第二の映像処理部１０３は、フレームレート変換処理により、毎秒３０映像フレームの入力に対して毎秒６０映像フレームの出力を得ることが可能である。

なお、第二の映像処理部１０２は、簡易的なフレームレート変換処理として、黒フレームを挿入する手法を用いることもできる。すなわち、第二の映像処理部１０２は、入力された表示順序が連続する第１の映像フレームと第２の映像フレームとの間に、黒の映像フレームを表示させることで、フレームレート変換処理を行うことも可能である。フレームレート変換処理として黒フレームの挿入を用いた場合、参照フレームを読み出す必要がない。従って、フレームレート変換処理として、黒フレームを挿入する方法を用いたほうが、中間映像フレームを生成する方法よりも、バス１１０を通過する映像データのデータサイズを少なくすることができる。言い換えると、黒フレームを挿入する方法を用いたほうが、中間映像フレームを生成する方法よりも、メモリ１１１の帯域を大きく空けることが可能となる。第二の映像処理部１０３は映像処理後（フレームレートの変換処理後）の映像データを出力処理部１０４へ入力する。

出力処理部１０４は、第二の映像処理部１０３からの映像データに基づく映像データのフォーマットを、映像処理装置１０内部の映像フォーマットから映像出力部の出力フォーマットに変換する。そして、出力処理部１０４は、フォーマット変換処理後の映像データを表示のために出力する。映像データの出力先は、液晶パネルやプラズマディスプレイ、ＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などの表示部である。なお、映像処理装置１０をプロジェクターで実現する場合は任意の投影面に映像データが出力される。

出力処理部１０４より液晶パネルへ映像データを出力する場合、応答速度改善のために、オーバードライブ処理が実施される。オーバードライブ処理では、出力対象の映像フレームと該映像フレームよりも先に出力された映像フレームとの差分を用いる。そこで、出力処理部１０４は、出力対象の映像フレームよりも先に出力された映像フレームの映像データを第四の圧縮伸張部１０８から取得する。すなわち、第四の圧縮伸張部１０８は、出力済みの映像フレームの映像データを圧縮してパスＬを用いてメモリ１１１に記憶させると共に、その映像データをパスＭを用いて読み出して伸張し、出力処理部１０４に出力する。

これにより、出力処理部１０４は、先に出力された映像フレームの映像データとこれから出力する映像フレームの映像データを用いて液晶ディスプレイの表示回路にかける電圧を決定する。

また、出力処理部１０４は、出力した映像フレームの映像データをバス１１０のパスＬを介してメモリ１１１に記憶させる。この映像データは、後に出力される映像フレームのためのオーバードライブ処理で利用される。

なお、本実施形態の制御部１０９は、動画の表示中に表示映像をフリーズするためのフリーズ指示が入力された場合、第二の映像処理部１０３による映像処理後の映像フレームが出力処理部１０４により出力され続けるように、出力処理部１０４を制御する。本実施形態の各処理部１０１〜１０４、及び、圧縮伸張部１０５〜１０８は制御部１０９による制御に従って動作する。

●動画表示中の映像処理装置１０の動作
制御部１０９は、通常の映像表示状態では、各映像フレームの解像度、フレームレート、映像処理モードから、メモリ１１１の帯域が破綻しない範囲で、できる限り高画質となるよう圧縮伸張部１０５〜１０８の圧縮率の制御とバス１１０の帯域割り当てを制御する。なお、映像処理モードは、ユーザ指示に応じて設定や切り替えを行うことが可能である。

一般に圧縮後の映像フレームのデータサイズは、圧縮時の量子化テーブルの値によって異なる。また、本実施形態では、映像処理装置１０に入力される映像の解像度と映像処理装置１０から出力される映像の解像度が同じ場合の例を中心に説明する。すなわち、第一の映像処理部１０２が実行可能な解像度変換処理はＯＦＦになっている場合の例を中心に説明する。

また、制御部１０９は、各圧縮伸張部１０５〜１０８の圧縮モードを切り替えることで、圧縮率の制御を実現する。本実施形態では、圧縮モードをモードＡ〜Ｄの４段階に分けて制御される場合について説明するが、４段階に限らない。

本実施形態では、各圧縮モードの特徴を以下のように定義する。

圧縮モードＡは、圧縮モードＡ〜Ｄの中で最も高い品質（画質）で圧縮する圧縮モードである。ただし、圧縮率はモードＡ〜Ｄの中で最も悪く、圧縮率は平均で８０％、最悪で９０％になるとする。すなわち、圧縮モードＡを用いた場合、映像データの圧縮後のデータサイズは、平均で圧縮前の８０％、最悪で圧縮前の９０％になる。

圧縮モードＢは、圧縮モードＡ〜Ｄの中で２番目に高い品質（画質）で圧縮する圧縮モードである。圧縮率は平均４５％、最悪で６０％である。

圧縮モードＣは、圧縮モードＡ〜Ｄの中で２番目に低い品質（画質）で圧縮する圧縮モードである。圧縮率は平均３５％、最悪で５０％である。

圧縮モードＤは、圧縮モードＡ〜Ｄの中で最も低い品質（画質）で圧縮する圧縮モードである。ただし圧縮率はモードＡ〜Ｄの中で最も良く、平均１０％、最悪で２０％である。

本実施形態では、パスＡ〜Ｍをすべて用いてもメモリ１１１の帯域破綻を起こさないようにするためには、入力された映像フレームのそれぞれの圧縮後のデータサイズが、平均して非圧縮時の５０％以下になることが必要であるとする。

映像処理装置１０がメモリ帯域面で破綻しないようにするためには、各圧縮伸張部１０５〜１０８が、最悪圧縮率が５０％である圧縮モードＣを用いて圧縮伸張処理を行えばよい。しかし、圧縮モードＣの最悪圧縮率は５０％であるが、平均的な映像フレームを圧縮モードＣで圧縮すると、圧縮前の３５％のデータサイズで圧縮されることになる。

一方、各圧縮伸張部１０５〜１０８が圧縮モードＣよりも圧縮伸張後の画質が良い圧縮モードＢを用いて平均的な映像フレームの圧縮を行った場合、圧縮前の４５％のデータサイズに圧縮される。したがって、入力されるすべての映像フレームが平均的な映像フレームであれば、各圧縮伸張部１０５〜１０８で圧縮モードＢを用いて圧縮しても、帯域破綻を起こすことなく圧縮モードＣ使用時よりも高い画質の映像を出力することが可能である。

しかし、圧縮モードＢを用いた場合、映像処理装置１０に入力される映像の特徴によっては圧縮後の映像フレームのデータサイズは、圧縮前の６０％となる。つまり、圧縮率が６０％となる映像フレームが連続して入力されると、帯域破綻を起こす可能性がある。従って、本実施形態の制御部１０９は、以下に示すように圧縮モードを動的に制御することで、メモリ帯域の破綻を防ぎつつ、出力映像の画質を向上させる。

本実施形態の映像処理装置１０のように複数回の圧縮伸張を行う場合、一度圧縮した映像フレームに対し同様の圧縮手法を用いて再度圧縮する場合、解像度変換などを伴わなければ、概ね一度目と同程度のデータサイズで圧縮可能である。すなわち、ある映像フレームに対して第一の圧縮伸張部１０５が圧縮モードＣで圧縮したところ、圧縮後のデータサイズが圧縮前の４０％になった場合、該映像フレームを伸張後、第二の圧縮伸張部１０６が圧縮モードＣで圧縮した場合も、圧縮率は概ね４０％となる。

本実施形態の制御部１０９は、上記の特徴を活かし、１度目の圧縮結果を用いて２度目以降の圧縮後のデータサイズを予測し、メモリ帯域の制限値とのマージンを算出する。本実施形態においてメモリ帯域の制限値は、５０％である。すなわち、制御部１０９は、メモリ１１１に対して読み書きされる複数の映像フレームのデータサイズの合計が、非圧縮時の５０％になるように各圧縮伸張部１０５〜１０７の圧縮モード（圧縮率）を制限する。

例えば、制御部１０９は、画質改善のための圧縮モードをモードＣからモードＢに変更した場合のデータサイズの予測増加量が、マージンよりも小さい場合、新規に映像処理装置１０に入力された映像フレームの圧縮のための圧縮モードを変更し、圧縮率を下げる。なお、制御部１０９は、圧縮モードの変更によるデータサイズの増加量を、各圧縮モードの最悪圧縮率を用いて予測できる。

一方、制御部１０９は、圧縮モードをモードＣからモードＢに変更し圧縮率を下げた後、入力映像の特徴の変化等によってデータサイズが増加し、帯域破綻を起こす可能性が生じた場合、各圧縮伸張部１０５〜１０７の圧縮モードをモードＢからモードＣに戻す。これにより、圧縮後のデータサイズが削減され、メモリ帯域の破綻を回避することが可能となる。

なお、圧縮モードの変更によりメモリ１１１に書き込まれるデータサイズを削減することができるが、圧縮モードの変更ではメモリ１１１から読み出すデータサイズを削減することはできない。ただし、ＪＰＥＧ２０００などのように、階層的に復号可能な特徴を持つ符号化方式を用いることで、読み出し側のデータサイズを変更することも可能である。すなわち、制御部１０９は、圧縮モードの変更に加えて、圧縮済みの映像データの読み出し量を制御することによってバス１１０を通過するデータ量を削減することも可能である。

なお、映像処理装置１０に入力された映像データを最初に圧縮する第一の圧縮伸張部１０５による圧縮後のデータサイズは、映像データの特徴により変化するため、事前に予測することが困難である。そのため、本実施形態の制御部１０９は、システムのメモリ帯域を破綻させないために、パスＡを通過するデータサイズは、第一の圧縮伸張部１０５に設定されている圧縮モードの最悪圧縮率に基づくデータサイズを想定する。なお、パスＡは、第一の圧縮伸張部１０５からメモリ１１１に映像データを書き込むためのパスである。これにより、シーンチェンジなどで映像の特徴が変化し、圧縮後のデータサイズが急峻に変化するような場合においても、メモリ帯域の破綻なく処理することが可能となる。

なお、１つの映像フレームを複数領域に分割して異なる圧縮モードで符号化する場合は、最悪圧縮率の場合のデータサイズの帯域を確保せず、各分割領域の圧縮後のデータサイズに応じて、映像フレームの途中から圧縮モードを変更することも可能である。つまり、制御部１０９は、映像フレームの第１の分割領域の圧縮後のデータサイズを参照し、メモリ帯域の破綻が予測される場合には、第２の分割領域を圧縮するための圧縮モードを変更することが可能である。

以上のように、帯域破綻を回避しながら画質面で好適な圧縮モードにて圧縮処理を実施させる為に、制御部１０９が上記帯域制御を行う。制御部１０９は汎用プロセッサもしくは後述の判定を実施するハードウェアを具備し、後述するフローに従い各処理部（入力処理部１０１、第一の映像処理部１０２、第二の映像処理部１０３、出力処理部１０４、各圧縮伸張部１０５〜１０８）を制御する。制御部１０９は、映像処理装置１０内の映像処理モード、並びに圧縮伸張モードを制御するため、図１のように各処理部と接続される。また、制御部１０９は、圧縮伸張モードの制御のため、各圧縮伸張部１０５〜１０８の圧縮後のデータサイズを取得する。その後、取得したデータサイズに基づいて、次の映像フレームを処理する際の映像処理モード並びに圧縮モードを、後述するフローに従い決定し、各処理部を制御する。

また、制御部１０９はユーザ等による操作に基づく指示を受け、各処理部の制御を行う。本実施形態では、外部操作が静止表示の指示（フリーズ指示）である場合の例を説明する。フリーズ指示とは、表示映像をフリーズさせるため指示である。フリーズ指示によって、動画を構成する映像フレームの１つが、フリーズ解除指示が入力されるまで表示され続けることになる。フリーズ指示には、動画表示中の一時停止、動画表示中のキャプチャ指示等が含まれる。本実施形態では、フリーズ指示がユーザ操作によって入力される例を中心に説明するが、例えば、ある特定の場面で自動的にフリーズ指示が入力されるようなユースケースにおいても本願のアイデアは適用可能である。ユーザ操作によってフリーズ指示が入力されると、制御部１０９は各処理部に対して後述する制御を行い、映像の静止表示を行う。また、外部操作により静止処理の解除指示（フリーズ解除指示）が入力されると、再度入力画像が動画として再生されるよう後述の判定に基づき制御を行う。

●フリーズ指示が入力された場合の映像処理装置１０の動作
次に、ユーザ操作により静止処理の指示（フリーズ指示）が入力された場合の映像処理装置１０の動作を説明する。

図２は、フリーズ指示が入力された場合の映像処理装置１０の動作を説明するためのフローチャートである。なお、映像処理装置１０の入力処理部１０１は、フリーズ指示が入力される前から、外部からの映像データを入力している（入力手順）。

図３〜図５は、フリーズ指示が入力されてからの各パスＡ〜Ｍを通るデータサイズの変化を示す図である。以下では、図２〜図５を用いて、フリーズ指示の入力時の映像処理装置１０の動作について説明する。

図３の時刻Ｔは、フリーズ指示が入力される直前における各パスＡ〜Ｍを通るデータサイズを示している。なお、本実施形態の映像処理装置１０は、バス１１０の各パスを用いて、メモリ１１１に対して映像データの書込みや読み出しを行う。時刻Ｔの状態において、各圧縮伸張部１０５〜１０８に設定される圧縮モードは、すべてモードＢであるとする。動画の表示中における各パスＡ〜Ｍを通るデータサイズは、映像フレームの内容によって変動する。

なお、図３においてＲｅｆと記載されているパスは、参照フレームとして映像データを読み書きするためのパスであり、Ｒｅｆと記載されていないパスは、処理対象の映像フレームとして映像データを読み書きするためのパスである。

また、各パスを通過している映像フレームを、ＦＴ＊＊の記載で区別している。例えば、ＦＴ−１と記載されている映像フレームは、時刻Ｔ−１に映像処理装置１０に入力された映像フレームであり、ＦＴと記載されている映像フレームよりも１つ前に映像処理装置１０に入力された映像フレームである。また、ＦＴ−２と記載されている映像フレームは、時刻Ｔ−２に映像処理装置１０に入力された映像フレームであって、ＦＴと記載されている映像フレームよりも２つ前に映像処理装置１０に入力された映像フレームである。

また、図３において、各パスの最上位が非圧縮時の映像フレームのデータサイズ、点描で塗られた領域は圧縮後の映像フレームのデータサイズを示す。また、図３には、帯域限界が圧縮率５０％であることを示す線が表示されている。

図３の時刻Ｔのタイミングで静止処理の指示（フリーズ指示）が入力された場合の映像処理装置１０の動作について、図２のフローチャートを用いて説明する。映像処理装置１０は、不図示のＣＰＵが図２の処理を実現するためのプログラムをメモリから読みだして実行することにより、図２の処理を実現する。

なお、映像処理装置１０は、例えば、大型テレビ、デスクトップＰＣ、ノートＰＣ、タブレット、スマートフォンなどとして実現可能である。また、映像処理装置１０は、プロジェクターなどの投影型の装置として実現することも可能である。

図２の処理は、映像処理装置１０が動画として映像を表示中（非静止表示中）に、静止処理の指示（フリーズ指示）が入力されると開始する。なお、本実施形態において静止処理の指示（フリーズ指示）とは、表示映像をフリーズさせるため指示である。フリーズ指示によって、動画を構成する映像フレームの１つが、フリーズ解除指示が入力されるまで表示され続けることになる。フリーズ指示には、動画表示中の一時停止、動画表示中のキャプチャ指示等が含まれる。本実施形態では、フリーズ指示がユーザ操作によって入力される例を中心に説明するが、例えば、ある特定の場面で自動的にフリーズ指示が入力されるようなユースケースにおいても本願のアイデアは適用可能である。

Ｓ２０１において、制御部１０９は、図示しない指示部からの外部操作により、静止処理の指示（フリーズ指示）が入力されたことを検知する。制御部１０９がフリーズ指示を検知するとＳ２０２に進む。この説明では、時刻Ｔにおいてフリーズ指示が検知されたとする。また、この説明では、時刻Ｔにおいて各圧縮伸張部１０５〜１０８の圧縮モードはモードＢに設定されているものとする。なお、モードＢの圧縮率は、平均で４５％、最悪で６０％である。すなわち、モードＢで圧縮した場合、平均的な映像フレームの圧縮後のデータサイズは、圧縮前の４５％となる。

Ｓ２０２において、制御部１０９は、フリーズ指示を検知した次の時刻Ｔ＋１に入力される映像フレームＦＴ＋１を静止対象の映像フレーム（フリーズフレーム）として決定する。

Ｓ２０２において、制御部１０９は、フリーズ指示を検知しなかった場合よりもフリーズフレームＦＴ＋１が高い画質で表示されるように、フリーズフレームＦＴ＋１の映像処理を制御する。言い換えると、制御部１０９は、各部１０１〜１０８が実行可能な複数の映像処理（例えば、モードＡ〜Ｄの圧縮処理）のうち、より映像処理後の画質が高い映像処理を、フリーズフレームＦＴ＋１に対して適用することをＳ２０２で決定する。ここでは、フリーズフレームＦＴ＋１の圧縮モードがモードＡに決定される。なお、映像処理は、圧縮処理に限らず、例えば、ノイズリダクション処理などに適用することも可能である。

また、制御部１０９は、Ｓ２０２において、映像フレームＦＴ＋１を圧縮するための第一の圧縮伸張部１０５の圧縮モードをモードＡに切替えた場合のメモリ帯域を計算する。すなわち、制御部１０９は、フリーズ表示する映像フレームをモードＡで圧縮し、それ以外の映像フレームをモードＢで圧縮した場合において、バス１１０を介してメモリ１１１に対して読み書きされる映像フレームのデータサイズを算出する。なお、モードＡの圧縮率は、平均で８０％、最悪で９０％である。上記の算出が終了すると、Ｓ２０３に進む。

制御部１０９は、Ｓ２０２における算出結果を用いて、バス１１０の帯域破綻が発生するか否かを判定する（Ｓ２０３）。すなわち、制御部１０９は、非フリーズフレームをモードＢで圧縮し、フリーズフレームをモードＡで圧縮した場合に、メモリ１１１に読み書きされるデータ量が所定値を超えるか否かを判定する。なお、本実施形態における所定値は、パスＡ〜Ｍでそれぞれ読み書きされる１３つの映像フレームの非圧縮時のデータサイズの合計の半分である。また、フリーズフレームはフリーズ指示に応じてフリーズ表示される映像フレームを示し、非フリーズフレームはフリーズ表示されない映像フレームを示している。

Ｓ２０３で帯域破綻が発生しないと判定されると、Ｓ２１０に進み、制御部１０９は、各ステップで決定された圧縮モードと映像処理モードに基づいて各部１０１〜１０８を制御する。すなわち、各映像処理部１０２〜１０３は、Ｓ２１０において、制御部１０９からの制御に従って、映像フレームに対する映像処理を行う（映像処理手順）。また、出力処理部１０４は、Ｓ２１０において、制御部１０９からの制御に従って映像フレームの表示のための出力を行う（出力手順）。Ｓ２１０の処理が終わると、時刻Ｔ＋２における各映像フレームの圧縮モードや映像処理モードを決定するために、Ｓ２０２に戻る。本実施形態では、Ｓ２０３で帯域破綻が発生すると判定された場合について、以下で説明する。

図３の時刻Ｔ＋１（制御前）に示すように、映像フレームＦＴ＋１（フリーズフレーム）以外の非フリーズフレームの圧縮モードとして圧縮モードＢを用いると、メモリ１１１へのアクセス量が、メモリ１１１の帯域限界を越え、破綻すると判定される。

なお、図３において、斜線で塗られた領域（余力３０１）は、各パスにおける帯域限界とのマージンの合計値を示している。

制御部１０９は、フリーズフレームをモードＡで圧縮した場合の圧縮後のデータサイズを、モードＡの最悪の圧縮率（９０％）に基づいて予測する。そして、予測されたデータサイズが、非圧縮時の映像フレームのデータサイズの半分と余力３０１で示されたデータサイズとの合計値よりも大きいか否かを判定する（Ｓ２０３）。

そして、制御部１０９は、予測されたデータサイズが、非圧縮時の映像フレームのデータサイズの半分と余力３０１との合計値よりも大きい場合、帯域破綻が発生すると判定し、Ｓ２０４に進む。一方、制御部１０９は、予測されたデータサイズが、非圧縮時の映像フレームのデータサイズの半分と余力３０１との合計値よりも小さい場合、帯域破綻が発生しないと判定し、Ｓ２０９に進む。

図３において、濃い網掛けで塗られた領域（不足３０２）は帯域限界を超えた分のデータサイズを示している。すなわち、不足３０２は、フリーズフレームをモードＡで圧縮した場合の予測データサイズから、非圧縮時の映像フレームのデータサイズの半分と余力３０１との合計値を差し引いた値を示している。従って、制御部１０９は、不足３０２が正の値になれば、帯域破綻が発生すると判定し、不足３０２が負の値になれば、帯域破綻が発生しないと判定する。

本実施形態の説明では、図３の時刻Ｔ＋１（制御前）に示すように、不足３０２が正の値になっているため、帯域破綻が発生すると判定され、Ｓ２０４に進む。

Ｓ２０４において、制御部１０９は圧縮モードの変更対象となる映像フレームの候補を特定する。本実施形態の制御部１０９は、パスＬで書き込まれる映像フレームを圧縮モードの変更対象となる映像フレームの候補として特定する。すなわち、各パスＡ〜Ｍのうち、メモリ１１１への映像データの書込みに用いられているパスは、パスＡ、Ｄ、Ｈ、Ｌであり、そのうち時刻Ｔ＋１において非フリーズフレームの映像データの書込みに用いられているパスは、パスＤ、Ｈ、Ｌである。本実施形態では、パスＤ，Ｈ、Ｌのうち、第四の圧縮伸長部１０８によって圧縮された映像データの書き込みに用いられるパスＬに対応する映像フレームが、圧縮モードの変更対象の候補として特定される。第四の圧縮伸長部１０８で圧縮された映像データは、本実施形態においては、オーバードライブ処理にしか用いられないためである。なお、パスＬで書き込まれる映像フレームが、フリーズフレームを表示する際のオーバードライブ処理で用いられる場合は、Ｓ２０５において、圧縮モードを変更できないと判定されるため、圧縮率は変更されない。パスＬで書き込まれる映像データの圧縮モードを変更しない場合の処理については、時刻Ｔ＋３の場面で説明する。

従って、制御部１０９は、Ｓ２０４において、バス１１０を通過するデータサイズを削減するために、圧縮モードの変更対象とする映像フレームの候補として、パスＬを用いて書き込まれる映像フレームＦＴ−２を特定する。圧縮モードの変更対象とする映像フレームの特定が終わると、Ｓ２０５に進む。

制御部１０９は、Ｓ２０４で特定された映像フレームＦＴ−２の圧縮モードを変更可能であるか否かを判定する（Ｓ２０５）。より具体的には、制御部１０９は、映像フレームＦＴ−２の圧縮モードがすでにモードＤであるか否かを判定する。すなわち、制御部１０９は、映像フレームＦＴ−２の圧縮モードが、すでに最も圧縮効率が高い（圧縮後の画質が悪い）モードＤになっている場合は、圧縮モードの変更によるデータサイズの削減はできないため、圧縮モードを変更できないと判定する。

また、Ｓ２０５において、制御部１０９は、映像フレームＦＴ−２がフリーズフレームの映像処理（高画質処理）の際の参照フレームとして用いられるか否かを判定する。制御部１０９は、フリーズフレームの高画質処理に用いる参照フレームの圧縮モードを変更すると、フリーズフレームの画質が悪くなるため、圧縮モードを変更できないと判定する。なお、本実施形態では、フリーズフレームＦＴ＋１の参照フレームとして用いられる可能性がある映像フレームは、映像フレームＦＴである。ただし、この例に限らず、例えば、映像フレームＦＴ−１もフリーズフレームＦＴ＋１の高画質処理のために参照フレームとして用いられるようにしても良い。

Ｓ２０５において、制御部１０９が映像フレームＦＴ−２の圧縮モードを変更可能であると判定するとＳ２０６に進み、圧縮モードを変更できないと判定するとＳ２０７に進む。

制御部１０９は、Ｓ２０６において、映像フレームＦＴ−２の圧縮後のデータサイズを小さくするために、圧縮モードを変更する。本実施形態では、フリーズ指示の入力前の映像フレームＦＴ−２の圧縮モードはモードＢである。制御部１０９はＳ２０６において、映像フレームＦＴ−２の圧縮モードをモードＤに変更する。すなわち、制御部１０９は、フリーズ指示が入力された場合のほうが、入力されない場合よりも、フリーズフレームよりも表示順序が先の映像フレームＦＴ−２が低い画質で表示されるように、映像フレームの画像処理（圧縮処理）を制御する。なお、映像フレームＦＴ−２は、フリーズ指示が入力された時点において、出力処理部１０４から未出力の映像フレームである。

また、本実施形態の制御部１０９は、フリーズフレームの映像処理のために参照される参照フレームとは異なる映像フレームＦＴ−２の画質が下がるように、映像フレームの画像処理（圧縮処理）を制御する。このようにすることで、参照フレームの画質を落す場合よりも、フリーズフレームの画質をよくできる可能性が向上する。フリーズフレームは、フリーズ指示に応じてフリーズ表示（静止表示）される映像フレームである。

なお、本実施形態では、映像フレームＦＴ−２の圧縮モードをモードＢからモードＤに変更しているが、不足３０２の値が小さい場合は、モードＢからモードＣに変更するようにしてもよい。

図３の時刻Ｔ＋１（制御後）は、Ｓ２０６による圧縮モードの変更後の各パスＡ〜Ｍを通過するデータサイズを示している。図３に示す通り、第四の圧縮伸張部１０８にて圧縮される映像フレームＦＴ−２の圧縮モードが、モードＤに変更されている。モードＤを使用した場合、圧縮後の最悪データサイズは非圧縮時のデータサイズの２０％となるため、映像フレームＦＴ−２の圧縮後の映像データの書込みに用いられるパスＬを通過するデータサイズが減少する。制御部１０９がＳ２０６において映像フレームの圧縮モードを変更すると、Ｓ２０３に戻り、帯域破綻の発生についての判定を行う。

映像フレームＦＴ−２の圧縮モードの変更によるデータサイズの削減量は、不足３０２よりも大きい。従って、Ｓ２０３では帯域破綻が発生しないと判定され、Ｓ２１０に進む。Ｓ２１０では、制御部１０９が各部１０１〜１０８を制御し、圧縮や映像処理が行なわれる。

なお、図２の処理は、フリーズ指示を検知してから、フリーズフレームの表示が開始されるまで、繰り返される。すなわち、図３の時刻Ｔ＋１（制御後）に示すように、映像処理装置１０は、時刻Ｔにおいて決定し設定された時刻Ｔ＋１（制御後）の動作モードに従い、映像処理を実施する。

また、映像処理装置１０の制御部１０９は、時刻Ｔ＋１において時刻Ｔ＋２のための動作モードの決定を図２のフローチャートに従って行う。ただし、Ｓ２０１の処理は、フリーズ指示の検知時以降は実行されないため、Ｓ２０２に進む。

Ｓ２０２において、制御部１０９は、時刻Ｔ＋２におけるフリーズフレームＦＴ＋１の圧縮モードをモードＡに決定する。そして、制御部１０９は、Ｓ２０３において帯域破綻が発生するか否かを判定する。即ち、制御部１０９は、フリーズフレームと非フリーズフレームのそれぞれの圧縮モードに基づいて、バス１１０を通過するデータ量が所定値を超えるか判定する。

なお、図４の時刻Ｔ＋２（制御前）に示すように、フリーズフレームＦＴ＋１はモードＡにて圧縮される。すなわち、制御部１０９は、Ｓ２０２において、第一の圧縮伸張部１０５の読み出しと、第二の圧縮伸張部１０６の書き込みのための圧縮モードとしてモードＡを設定する。

また、制御部１０９は、時刻Ｔ＋１で圧縮モードＤにて圧縮された第四の圧縮伸張部１０８のフレームＦＴ−２の読み出しのための圧縮モードとして、モードＤを設定する。それ以外の圧縮モードはモードＢが設定されている。

この状況において、各圧縮伸張部１０５〜１０８のメモリアクセス量の総和が、メモリ１１１の帯域限界（所定値）を超えるため、制御部１０９は、Ｓ２０３において、帯域破綻が発生すると判定する。

従って、制御部１０９はデータサイズ削減のための圧縮モードの変更対象の候補となる映像フレームを特定する（Ｓ２０４）。本実施形態の制御部１０９は、フリーズフレームＦＴ＋１よりも後に入力された映像フレームＦＴ＋２を圧縮モードの変更対象の映像フレームの候補として決定する。これは以下の理由による。

すなわち、フリーズ表示する映像フレームよりも後に入力された映像フレームは、表示のために出力処理部１０４から出力される可能性が低いため、圧縮モードの変更によりデータサイズを削減しても、出力映像の品質の低下につながりにくい。つまり、ユーザは、フリーズ表示をした後、映像の表示をやめるかもしれないし、巻き戻しをするかもしれないし、別のチャプターの映像の開始を指示するかもしれない。従って、制御部１０９は、フリーズフレームＦＴ＋１よりも後に入力された映像フレームＦＴ＋２を圧縮モードの変更対象の映像フレームの候補として決定する。

なお、映像フレームＦＴ＋２は、フリーズ指示の入力よりも後に入力された映像フレームである。また、フリーズ解除指示の入力のタイミングによっては、フリーズ解除指示の入力によって表示される映像フレームである。

そして、制御部１０９は、Ｓ２０５において、映像フレームＦＴ＋２の圧縮モードを変更可能であるか否かを判定する。映像フレームＦＴ＋２の圧縮モードはモードＢであるため、モードＣまたはモードＤに変更することが可能である。また、本実施形態において、映像フレームＦＴ＋２はフリーズフレームの高画質化処理のための参照フレームとして用いられない。従って、制御部１０９は、Ｓ２０５において、映像フレームＦＴ＋２の圧縮モードを変更可能であると判定し、Ｓ２０６において、映像フレームＦＴ＋２の圧縮モードがモードＢからモードＤに変更される。なお、本実施形態の制御部１０９は、映像フレームＦＴ＋２の圧縮モードをモードＢからモードＤに変更しているが、不足３０２の大きさによっては、モードＢからモードＣに変更するようにしても良い。制御部１０９が映像フレームＦＴ＋２の圧縮モードをモードＢからモードＤに変更すると、Ｓ２０３に戻り、帯域破綻が発生するか否かを判定する。

本実施形態では、映像フレームＦＴ＋２の圧縮モードをモードＤに変更しても、不足３０２が正の値になるとする。すなわち、映像フレームＦＴ＋２の圧縮モードをモードＤに変更しても、メモリ１１１に対して読み書きされる映像データのデータサイズが所定値以上であるとする。この場合、制御部１０９は、Ｓ２０３において、帯域破綻が発生すると判定し、Ｓ２０４に進む。

Ｓ２０４において、制御部１０９は、映像フレームＦＴ＋２以外に圧縮モードの変更対象となる映像フレームの候補を決定する。本実施形態では、パスＬを用いてメモリ１１１に書き込まれる予定の映像フレームＦＴ−１が圧縮モードの変更対象となる映像フレームの候補として特定される。

すなわち、制御部１０９は、データ書込み用のパスＡ、Ｄ、Ｈ、Ｌのうち、パスＬを用いて書き込まれる映像フレームＦＴ−１を、圧縮モードの変更対象の候補として特定する。

その後、Ｓ２０５において、制御部１０９は、映像フレームＦＴ−１の圧縮モードが変更可能か否かを判定する。映像フレームＦＴ−１の圧縮モードはモードＢのため、圧縮モードを変更可能である。また、本実施形態において、映像フレームＦＴ−１は、フリーズフレームＦＴ＋１の高画質化処理ための参照フレームとして用いられない。そこで、制御部１０９は、Ｓ２０５で映像フレームＦＴ−１の圧縮モードを変更可能と判定し、Ｓ２０６において、映像フレームＦＴ−１の圧縮モードをモードＢからモードＤに変更する。

この結果、バス１１０を介したメモリ１１１への読み書きデータサイズが所定値未満になると、Ｓ２０３において、帯域破綻が発生しないと判定され、Ｓ２１０に進む。そして、Ｓ２１０において、制御部１０９は、各部１０１〜１０８を制御して、圧縮や映像処理を実行させる。

図４の時刻Ｔ＋２（制御前）と時刻Ｔ＋２（制御後）に示すように、パスＡとパスＬを用いて書き込まれる映像フレームＦＴ＋２と映像フレームＦＴ−１の圧縮モードがモードＢからモードＤに変更されている。これにより、メモリ１１１の帯域破綻を回避しつつ、フリーズフレームをよい画質で表示させることができる。映像処理装置１０は、時刻Ｔ＋１において決定した動作モードに従って、時刻Ｔ＋２における映像処理を実行しつつ、時刻Ｔ＋３における動作モードを決定する。

時刻Ｔ＋３においては、映像フレームＦＴ＋３の圧縮モードをモードＤに設定した場合、図４の時刻Ｔ＋３（制御前）に示すようなメモリアクセスが実施される。この結果、僅かではあるがメモリ１１１への読み書きデータサイズがメモリ１１１の帯域限界を超える。そこで、制御部１０９は、Ｓ２０４において、データサイズの削減のための圧縮モードの変更対象となる映像フレームの候補を特定する。本実施形態の制御部１０９は、Ｓ２０４において、圧縮モードの変更対象の候補として、パスＬで書き込まれる映像フレームＦＴを特定し、Ｓ２０５に進む。

Ｓ２０５において、制御部１０９は、Ｓ２０４で特定された映像フレームＦＴの圧縮モードを変更可能であるか否かを判定する。映像フレームＦＴの圧縮モードはモードＢであるため、モードＣやモードＤに変更可能である。しかし、パスＬで書き込まれる映像フレームＦＴはフリーズフレームＦＴ＋１を出力する際のオーバードライブ処理で用いられる映像フレームである。

つまり、映像フレームＦＴの圧縮モードをモードＤに変更してしまうと、時刻Ｔ＋４において、フリーズフレームＦＴ＋１の参照フレームとして、モードＤで圧縮された映像フレームが使用されることになる。もしモードＤで圧縮された映像フレームＦＴを参照フレームとして用いてフリーズフレームのオーバードライブ処理を行うと、フリーズフレームの表示時の応答速度が劣化する恐れがある。従って、本実施形態の制御部１０９は、Ｓ２０５において、圧縮モードの変更ができないと判定し、Ｓ２０７に進む。

Ｓ２０７において、制御部１０９は、フリーズフレームを参照フレームとして読み出して映像処理される映像フレームの映像処理モードを変更可能であるか否かを判定する。この例では、制御部１０９は、映像フレームＦＴ＋２の映像処理の内容を、フリーズフレームを用いずに実行可能な映像処理に変更可能か否かを判定する。ただし、制御部１０９は、フリーズフレームを用いた映像フレームＦＴ＋２の映像処理をオフにできるか否かを判定するようにしても良い。映像フレームＦＴ＋２の映像処理モードが変更可能である（または、オフにすることが可能である）と判定されると、Ｓ２０８に進む。

Ｓ２０８において、制御部１０９は、フリーズフレームよりも後に入力された映像フレームＦＴ＋２の映像処理のための参照フレームとしてフリーズフレームのデータがバス１１０を通過することを制限する。これにより、バス１１０を通過するデータサイズが削減される。このとき制御部１０９は、映像フレームＦＴ＋２のための映像処理モードを変更する（または映像処理をオフにする）。

フリーズフレームを用いた映像フレームＦＴ＋２の映像処理を変更するのは以下の理由による。すなわち、参照フレームとして用いられるフリーズフレームはモードＡで圧縮されているためデータサイズが大きいが、そもそも映像処理の対象となる映像フレームＦＴ＋２はモードＤで圧縮されているため、すでに画質が劣化している。モードＤで圧縮された映像フレームＦＴ＋２をモードＡで圧縮された映像フレームを用いて映像処理をしても、画質の向上効果は微小である。また、フリーズフレームよりも後に入力された映像フレームＦＴ＋２は、出力処理部１０４により表示のために出力される可能性がフリーズフレームよりも先に入力された映像フレームよりも低い。従って、制御部１０９は、フリーズフレームよりも後に入力された映像フレームＦＴ＋２の映像処理のための参照フレームとしてフリーズフレームがメモリ１１１から読み出されることを制限する。

映像処理装置１０は、時刻Ｔ＋２において決定し設定された時刻Ｔ＋３（制御後）の動作モードに従い、時刻Ｔ＋３の映像処理を実施する。また、制御部１０９は、時刻Ｔ＋３において、時刻Ｔ＋４における動作モードの決定を行う。

図５に示すように、時刻Ｔ＋４は、フリーズフレームＦＴ＋１が出力処理部１０４により出力されるタイミングである。すなわち、時刻Ｔ＋４からフリーズ表示が開始される。制御部１０９は、第二の映像処理部１０３がメモリ１１１から読み出したフリーズフレームＦＴ＋１が出力処理部１０４から出力され続けるように各部を制御することでフリーズ表示を実現する。また、制御部１０９は、フリーズ表示のために用いる映像フレームＦＴ−１、ＦＴ、ＦＴ＋１が上書きされないように第二の映像処理部１０３を制御する。

フリーズフレームＦＴ＋１は、時刻Ｔ＋１に入力されて時刻Ｔ＋４で出力されるまでの間、常に圧縮モードＡで圧縮され、かつ参照フレームも圧縮モードＢで圧縮された映像フレームが用いられている。また、フリーズフレームを処理対象とした映像処理もすべて実施される。従って、例えば、フリーズフレームを含むすべての映像フレームをモードＢで圧縮してフリーズ表示を行う場合よりも、フリーズ表示される映像フレームの画質が向上する。

次に、静止表示（フリーズ表示）の解除時の処理に関して図５を用いて説明する。図５の時刻Ｔ＋５は、フリーズフレームＦＴ＋１が表示されている状態（フリーズ表示状態）である。時刻Ｔ＋６において、外部操作等により、制御部１０９に対して静止処理の解除指示（フリーズ解除指示）が入力されるとする。

時刻Ｔ＋６においてフリーズ解除指示が入力されると、制御部１０９は、時刻Ｔ＋６の開始から時刻Ｔ＋７までの間に時刻Ｔ＋７における各部の動作モードを決定する。具体的には、制御部１０９は、時刻Ｔ＋７において第二の映像処理部１０３が読み出す映像フレームを映像フレームＦＴ＋１から映像フレームＦＴ＋４に変更することを決定する。これにより静止表示（フリーズ表示）が解除される。

また、制御部１０９は、第二の映像処理部１０３が映像処理のためにメモリ１１１から読み出す参照フレームを変更する。これによって、パスＩ〜Ｌのデータサイズが時刻Ｔ＋６よりも減少する。パスＩ〜Ｌのデータサイズが減少した分は、フリーズ解除指示の入力後に映像処理装置１０に入力される映像フレームＦＴ＋７の圧縮に割り当てる。すなわち、制御部１０９は映像フレームＦＴ＋７の圧縮モードをモードＢに設定する。

他の映像フレームＦＴ＋２〜ＦＴ＋６の圧縮率が低くなるように圧縮モードを変更することも可能であるが、一旦高い圧縮率で圧縮し画質が劣化した映像フレームに対して、低い圧縮率で圧縮しても画質の劣化は回復しない。従って、本実施形態ではフリーズ解除指示の前に入力された映像フレームの圧縮モードは変更しない。以上の結果、図５の時刻Ｔ＋７に示すような結果が得られる。

すなわち、制御部１０９は、フリーズ解除指示の入力に応じて表示される映像フレームＦＴ＋４（第１の映像フレーム）を圧縮モードＣ（第１の圧縮率）で圧縮させる。一方、制御部１０９は、フリーズ解除指示の入力後に映像処理装置１０に入力された映像フレームＦＴ＋７を圧縮モードＢ（第２の圧縮率）で圧縮させる。このように、制御部１０９は、映像フレームＦＴ＋４の圧縮率よりも、フリーズ解除指示の入力後に入力された映像フレームＦＴ＋７を低い圧縮率で圧縮させる。

時刻Ｔ＋７の場合と同様に、時刻Ｔ＋８以降も、制御部１０９は時刻Ｔ＋７以降に入力された映像フレームの圧縮モードを圧縮モードＢへ変更する。図５の時刻Ｔ＋１２は、メモリ１１１に対して書込み、読み出しされる映像フレームがすべてモードＢで圧縮された映像フレームになった状態を示している。なお、上記の説明では、フリーズ指示の入力後に入力された映像フレームの圧縮モードを全てモードＢに設定される場合の例を示したが、これに限らない。すなわち、映像フレームの内容によっては、モードＢで圧縮するとメモリ１１１の帯域破綻を起こす可能性がある。制御部１０９は、モードＢの最悪圧縮率と、圧縮済みの映像フレームのデータサイズとに基づいて、帯域破綻が発生すると判定される場合は、新規に入力される映像フレームの圧縮モードをモードＣやモードＤに設定する。

なお、本実施形態では、フリーズフレームとして決定された映像フレームＦＴ＋１の圧縮モードをモードＡにすることで、フリーズフレームの画質を向上させる例を中心に説明した。しかし、フリーズフレームの画質を向上させるための方法は、圧縮モードの制御に限らない。すなわち、制御部１０９は、フリーズ指示の入力に応じて、フリーズフレームに対する映像処理部１０２や１０３による映像処理に内容を変更することも可能である。例えば、フリーズフレームに対しては、他の映像フレームよりも処理負荷が高いノイズリダクション処理を行わせることも可能である。また例えば、フリーズフレームに対しては、他の映像フレームよりも参照フレーム数が多い映像処理を行わせることも可能である。つまり、制御部１０９は、フリーズフレームの映像処理に用いる参照フレーム数が、フリーズ表示しない場合よりも多くなるように、映像フレームの映像処理に用いる参照フレーム数を制御することが可能である。このようにしても、フリーズ表示される映像フレームの画質を向上することができる。

＜第２実施形態＞
次に、図６〜１０を用いて第２の実施形態に関して説明する。なお、本実施形態では、第１実施形態との差分を中心に説明する。

本実施形態における映像処理装置１０の動作について図６を用いて説明する。なお、映像処理装置１０は、不図示のＣＰＵが図６の処理を実現するためのプログラムをメモリから読みだして実行することにより、図６の処理を実現する。

なお、映像処理装置１０は、例えば、大型テレビ、デスクトップＰＣ、ノートＰＣ、タブレット、スマートフォンなどとして実現可能である。また、映像処理装置１０は、プロジェクターなどの投影型の装置として実現することも可能である。

図６の処理は、映像処理装置１０が動画として映像を表示中（非静止表示中）に静止処理の指示（フリーズ指示）が入力されると、開始される。なお、本実施形態において静止処理の指示（フリーズ指示）とは、表示映像をフリーズさせるため指示である。フリーズ指示によって、動画を構成する映像フレームの１つが、フリーズ解除指示が入力されるまで表示され続けることになる。フリーズ指示には、動画表示中の一時停止、動画表示中のキャプチャ指示等が含まれる。本実施形態では、フリーズ指示がユーザ操作によって入力される例を中心に説明するが、例えば、ある特定の場面で自動的にフリーズ指示が入力されるようなユースケースにおいても本願のアイデアは適用可能である。

Ｓ６０１において、制御部１０９は、図示しない指示部からの外部操作により、静止処理の指示（フリーズ指示）が入力されたことを検知する。制御部１０９がフリーズ指示を検知するとＳ６０２に進む。この説明では、図７に示す時刻Ｔにおいてフリーズ指示が検知されたとする。また、この説明では、時刻Ｔにおいて各圧縮伸張部１０５〜１０８の圧縮モードはモードＢに設定されているものとする。なお、モードＢの圧縮率は、平均で４５％、最悪で６０％である。すなわち、モードＢで圧縮した場合、平均的な映像フレームの圧縮後のデータサイズは、圧縮前の４５％となる。

Ｓ６０２において、制御部１０９は、フリーズ指示を検知した次の時刻Ｔ＋１に入力される映像フレームＦＴ＋１を静止対象の映像フレーム（フリーズフレーム）として決定する。また、制御部１０９は、Ｓ６０２において、フリーズフレームの画質がフリーズ指示を検知しなかった場合よりも良くなるようにフリーズフレームの圧縮モードをモードＡに決定する。また、制御部１０９は、Ｓ６０２において、フリーズ表示する映像フレームをモードＡで圧縮し、それ以外の映像フレームをモードＢで圧縮した場合において、バス１１０を介してメモリ１１１に対して読み書きされる映像フレームのデータサイズを算出する。なお、モードＡの圧縮率は、平均で８０％、最悪で９０％である。上記の算出が終了すると、Ｓ６０３に進む。

制御部１０９は、Ｓ６０２における算出結果を用いて、バス１１０の帯域破綻が発生するか否かを判定する（Ｓ６０３）。すなわち、制御部１０９は、非フリーズフレームをモードＢで圧縮し、フリーズフレームをモードＡで圧縮した場合に、メモリ１１１に読み書きされるデータサイズが所定値を超えるか否かを判定する。なお、本実施形態における所定値は、パスＡ〜Ｍでそれぞれ読み書きされる１３つの映像フレームの非圧縮時のデータサイズの合計の半分である。

Ｓ６０３で帯域破綻が発生しないと判定されると、Ｓ６１０に進み、フリーズフレームがモードＡ、非フリーズフレームがモードＢで圧縮され、メモリ１１１に書き込まれる。なお、Ｓ６１０の処理が終わると、時刻Ｔ＋２における各映像フレームの圧縮モード等を決定するために、Ｓ６０２に戻る。本実施形態では、Ｓ６０３で帯域破綻が発生すると制御部１０９によって判定された場合について、以下で説明する。図７は、本実施形態の時刻ＴにおけるパスＡ〜Ｍを通過するデータサイズ、並びに各圧縮伸張部１０５〜１０８の圧縮モードを示している。また、時刻Ｔにおいて、外部より制御部１０９へ静止指示（フリーズ指示）が入力されるとする。

図７の時刻Ｔ＋１（制御前）において、制御部１０９は、静止対象となるフレーム（フリーズフレーム）を映像フレームＦＴ＋１に決定し、該映像フレーム（フリーズフレーム）ＦＴ＋１の圧縮モードをモードＡに決定する（Ｓ６０２）。これに伴い、バス１１０を通るデータサイズが増加し、図７の時刻Ｔ＋１（制御前）に示すように、「不足」が発生するため、制御部１０９は、帯域破綻が生じると判定する（Ｓ６０３）。

そこで、制御部１０９は、バス１１０を通過するデータサイズを削減するために、第二の映像処理部１０３の映像処理で参照フレームとして用いられる映像フレームを、データサイズの削減対象となる映像フレームの候補として特定する（Ｓ６０４）。

より具体的には、制御部１０９は、第一の映像処理部１０２と第二の映像処理部１０３のうち、フリーズフレームの映像処理を行わない第二の映像処理部１０３が参照フレームとして用いる映像フレームを、データサイズの削減対象の候補として特定する。本実施形態では、パスＫから読み出される映像フレームＦＴ−４が、データサイズの削減対象となる映像フレームの候補として特定される。データサイズの削減対象となる映像フレームの候補を特定すると、Ｓ６０５に進む。

Ｓ６０５において、制御部１０９は、現在の第二の映像処理部１０３が実行する映像処理モードを、Ｓ６０４で特定された映像フレームを参照フレームとして用いない映像処理モードに変更できるか否かを判定する。本実施形態の制御部１０９は、第二の映像処理部１０３による映像処理の対象がフリーズフレームでなければ、映像処理モードを変更可能であると判定する。

時刻Ｔ＋１の時点において第二の映像処理部１０３で映像処理対象となっている映像フレームは映像フレームＦＴ−２であり、フリーズフレームＦＴ＋１ではない。従って、制御部１０９はＳ６０５において、第二の映像処理部１０３の映像処理モードを変更可能であると判定する。制御部１０９が映像処理モードを変更可能であると判定した場合、Ｓ６０６に進む。

Ｓ６０６において、制御部１０９は、第二の映像処理部１０３の映像処理モードを、参照フレーム数が少ない映像処理モードに変更する。図７に示すように、Ｓ６０６の処理がなければ、第二の映像処理部１０３の映像処理のために、２つの映像フレーム（映像フレームＦＴ−３、ＦＴ−４）が参照フレームとして用いられる。しかし、Ｓ６０６の処理によって、映像フレームＦＴ−４が参照フレームとして用いられなくなる。すなわち、Ｓ６０６の処理によって、第二の映像処理部１０３は、パスＫを用いた映像フレームＦＴ−４の読み出しを停止する。このようにすることで、バス１１０を通過する映像データのデータサイズを削減することができる。

Ｓ６０６で映像処理モードの変更を終えると、Ｓ６０３に戻り、制御部１０９は、帯域破綻が発生するか否かを改めて判定する。図７の時刻Ｔ＋１（制御後）に示すように、パスＫを通過するデータサイズをゼロにしたことによって削減できたデータサイズは、「不足」のデータサイズよりも大きいため、制御部１０９は、帯域破綻が発生しないと判定する。Ｓ６０３で帯域破綻が発生しないと判定されると、Ｓ６１０に進む。Ｓ６１０において、制御部１０９は、図６の各ステップでの決定に基づいて各映像処理や圧縮を制御する。Ｓ６１０の制御が終わると、Ｓ６０３に戻り、制御部１０９は、時刻Ｔ＋２における各動作モードの決定を行う。

図８の時刻Ｔ＋２（制御前）は、図６のフローチャートに基づく制御をしない場合の時刻Ｔ＋２における各パスＡ〜Ｍを通過する映像データのデータサイズを示している。図８に示すように、２つのパスでフリーズフレームの読み書きが行われているため、バス１１０を通過するデータサイズが所定値を上回っている。

図８の時刻Ｔ＋２（制御前）の状態では「不足」が存在するため、制御部１０９は、図６のＳ６０３において帯域破綻が発生すると判定する。そこで、Ｓ６０４に進み、制御部１０９は、フリーズフレームへの影響が小さい映像フレームをデータサイズの削減対象の候補として特定する。本形態では、フリーズフレームＦＴ＋１よりも後に入力された映像フレームＦＴ＋２が特定される。

その後、Ｓ６０５において、制御部１０９は、映像フレームＦＴ＋２に対する映像処理を参照フレーム数が少ない映像処理に変更可能か否かを判定する。しかしながら、映像フレームＦＴ＋２は入力処理部１０１から入力された状態の映像フレームであるため、映像処理を変更できないと制御部１０９によって判定される。したがって、Ｓ６０７に進み、制御部１０９は、映像フレームＦＴ＋２の圧縮率を変更可能であるか否かを判定する。映像フレームＦＴ＋２の変更前の圧縮モードはモードＢであり、フリーズフレームＦＴ＋１の映像処理の参照フレームとして用いられる予定はないため、圧縮率を変更可能であると判定される。そこで、Ｓ６０８において制御部１０９は映像フレームＦＴ＋２の圧縮モードがモードＢからモードＤになるように、第一の圧縮伸張部１０５を制御する。Ｓ６０８の処理が完了すると、Ｓ６０３に戻る。

映像フレームＦＴ＋２の圧縮モードを変更しただけでは、バス１１０を通過するデータサイズが所定値未満にならないため、制御部１０９は、Ｓ６０３において帯域破綻が発生すると判定し、Ｓ６０４に進む。

Ｓ６０４において、制御部１０９は、第二の映像処理部１０３の映像処理で参照フレームとして用いられる映像フレームＦＴ−３を、データサイズの削減対象の候補として特定する。そして、制御部１０９は、Ｓ６０５において、第二の映像処理部１０３の映像処理モードを変更可能であるか否かを判定する。制御部１０９は、時刻Ｔ＋２における第二の映像処理部１０３の映像処理の対象となる映像フレームは、映像フレームＦＴ−１であって、フリーズフレームＦＴ＋１ではないため、映像処理モードを変更可能であると判定する。そして、制御部１０９は、Ｓ６０６において、第二の映像処理部１０３の映像処理モードを変更する。映像処理モードの変更が完了するとＳ６０３に戻る。

映像フレームＦＴ＋２に対する圧縮モードの変更と、第二の映像処理部１０３に対する映像処理モードの変更により、帯域破綻が発生しなくなると制御部１０９が判定すると、Ｓ６１０に進み、制御部１０９は、時刻Ｔ＋２における各部１０１の処理を実行させる。時刻Ｔ＋２の制御後における各パスＡ〜Ｍの通過データサイズは、図８の時刻Ｔ＋２（制御後）に示す通りである。

また、制御部１０９は、時刻Ｔ＋３における各部の動作モードを決定する為に、Ｓ６０３に戻る。時刻Ｔ＋３における各パスＡ〜Ｍの通過データサイズは、図８の時刻Ｔ＋３（制御前）に示す通りである。図に示す通り、同時に３つのフリーズフレームの読み書きが行われるため、「不足」が発生し、帯域破綻が発生すると判定される。この場合、Ｓ６０４において、制御部１０９は、映像フレームＦＴ＋２の映像処理のために参照フレームとしてパスＣから読み出されるフリーズフレームＦＴ＋１を、データサイズの削減対象として特定し、第一の映像処理部１０２の映像処理モードを変更させる。これにより、パスＣからフリーズフレームＦＴ＋１が読み出されなくなり、バス１１０を通過するデータサイズを削減できる。

パスＣから読み出されるフリーズフレームＦＴ＋１をデータサイズの削減対象とするのは、以下の理由による。すなわち、すでにモードＤで圧縮され低品位になっている映像フレームＦＴ＋２に対してモードＡで圧縮された高品位の参照画像を用いて映像処理し、再度モードＤで圧縮しても、画質の改善効果は軽微である。また、フレームＦＴ＋２は静止対象であるフレームＦＴ＋１の直後のフレームであり、表示のために出力される可能性は低い。従って、第一の映像処理部１０３の映像処理モードを、参照フレームを用いない映像処理モードへ変更し、パスＣの読み出しを停止する。

また、図９の時刻Ｔ＋４（制御前）に示す通り、時刻Ｔ＋４においても、図６に示す制御前はメモリ帯域が不足し帯域破綻が生じると判定される（Ｓ６０３）。そこで制御部１０９は、低品位で圧縮されている映像フレームＦＴ＋２に対する映像処理のモードを変更する。これにより、映像フレームＦＴ＋２の映像処理における参照フレームとしてフリーズフレームＦＴ＋１と映像フレームＦＴが読み出されなくなくなり、バス１１０を通過するデータサイズが削減される。すなわち、制御部１０９は、Ｓ６０５とＳ６０６の処理により第一の映像処理部１０２の映像処理モードを変更し、パスＦとパスＧを用いた参照フレームの読出しを停止する。その結果、図９の時刻Ｔ＋４（制御後）に示す通り、バス１１０を通過するデータサイズが削減され、帯域破綻が発生しないと判定されるようになる。Ｓ６０３において帯域破綻が発生しないと制御部１０９によって判定されると、Ｓ６１０に進み、制御部１０９は、時刻Ｔ＋４における映像処理や圧縮処理を実現するための各部の制御を行なう。また、時刻Ｔ＋４は、フリーズフレームＦＴ＋１がパスＩから読み出され、出力処理部１０４から出力されるタイミングである。制御部１０９は、時刻Ｔ＋４から、フリーズ表示を解除するためのフリーズ解除指示が入力されるまで、フリーズフレームＦＴ＋１が表示され続けるように、各部１０１〜１０８を制御する。また、制御部１０９は、フリーズ表示中はフリーズフレームＦＴ＋１がメモリ１１１から削除されないように、メモリ１１１の制御も行なう。

時刻Ｔ＋５においては、表示画面は静止状態であるため、パスＩから再びフリーズフレームＦＴ＋１が読み出される。

図９の時刻Ｔ＋５（制御前）に示す通り、図６の制御をしない場合は、帯域破綻が発生する。そこで、Ｓ６０３において制御部１０９は帯域破綻が発生すると判定し、Ｓ６０４においてデータサイズの削減対象の候補が特定される。制御部１０９は、データサイズの削減対象となる映像フレームの候補として、パスＪ、Ｋ、Ｌ、Ｍからそれぞれ読み出される映像フレームＦＴ、ＦＴ−１、ＦＴ＋１、ＦＴ＋１を特定する。

これは以下の理由による。すなわち、本実施形態では、第二の映像処理部１０３はフレームレート変換処理、出力処理部１０４はオーバードライブ処理を行うが、静止処理（フリーズ表示）中の間は、これらの処理をしても表示映像の品質に影響しない。従って、制御部１０９は、第二の映像処理部１０３と出力処理部１０４による参照フレームの読み出しを制限（禁止）する制御を行なう。これにより、図９の時刻Ｔ＋５（制御後）に示す通り、帯域破綻が発生しないレベルまで、バス１１０を通過するデータサイズを削減できる。

次に、静止処理（フリーズ表示）を解除するためのフリーズ解除指示が入力された場合の映像処理装置１０の動作について説明する。本実施形態では時刻Ｔ＋６においてフリーズ解除指示が検知されたものとする。なお、本実施形態では、フリーズ解除指示がユーザ操作によって入力される例を中心に説明するが、例えば、ある特定の場面で自動的にフリーズ解除指示が入力されるようなユースケースにおいても本願のアイデアは適用可能である。

図１０の時刻Ｔ＋７（制御前）に示すように、フリーズ解除指示の検知に応じて、制御部１０９は、フリーズ表示を解消するため、第二の映像処理部１０３並びに出力処理部１０４の映像処理モードを変更する。すなわち、制御部１０９は、フリーズ解除指示の入力に応じて、フレームレート変換処理やオーバードライブ処理を再開させる。その結果、第二の映像処理部１０３や出力処理部１０４が参照フレームを読み出すための帯域が必要となり、バス１１０を通過するデータサイズが向上し、帯域破綻が発生すると制御部１０９によって判定されることになる。そこで制御部１０９は、Ｓ６０４において、パスＪとＫからそれぞれ読み出される映像フレームＦＴ＋２とＦＴ＋３を、データサイズの削減対象の映像フレームとして特定する。そして制御部１０９は、Ｓ６０５において、第二の映像処理部１０３の映像処理（フレームレート変換処理）をオフにすることで、Ｓ６０４で特定された映像フレームＦＴ＋２とＦＴ＋３の読出しを制限（禁止）する。これは以下の理由による。

すなわち、これまで出力されていたフリーズフレームＦＴ＋１と、フリーズ解除指示の入力後に最初に出力される映像フレームＦＴ＋４は、時間的に連続していないため、フレームレート変換処理によって中間フレームを生成して表示させる必要性が低い。従って、本形態の制御部１０９は、フリーズ解除指示の入力直後はフレームレート変換処理を制限し、バス１１０を通過するデータサイズを削減する。

時刻Ｔ＋８においては、静止処理から復帰し、通常処理が開始される。例えば、図１０の時刻Ｔ＋８に示すように、パスＣ、Ｅ、Ｋのデータサイズが大きく、パスＡの映像フレームＦＴ＋８をモードＢで圧縮した場合、帯域破綻が発生すると制御部１０９により判定される場合、映像フレームＦＴ＋８の圧縮モードをモードＣに変更する。また、制御部１０９は、パスＤとパスＨを用いてそれぞれ書き込まれる映像フレームＦＴ＋７とＦＴ＋６の圧縮モードをモードＢからモードＣに変更する。これにより、バス１１０の帯域破綻が回避される。以上説明したように、本実施形態の映像処理装置１０は、フリーズ指示の入力に応じてフリーズフレーム（フリーズ表示される映像フレーム）の画質が高くなるように圧縮モードを制御する。また、映像処理装置１０は、圧縮された映像データを格納するメモリ１１１に対する読み書きのデータサイズが所定値未満になるように、非フリーズフレームの圧縮モードや映像処理モードを制御する。本実施形態の映像処理装置１０によれば、メモリ１１１の帯域破綻を防ぎつつ、高画質のフリーズフレームの表示が可能となる。

なお、本実施形態においては静止処理（フリーズ表示）を行う場合の例を中心に説明したが、例えば表示画面を他機器に出力するためにキャプチャする処理などにおいても、本願の内容は適用可能である。

Claims (13)

1. 映像を構成する映像フレームを入力する入力手段と、
   前記入力手段により入力された映像フレームに対して圧縮処理を行う圧縮手段と、
   前記圧縮手段により圧縮された映像フレームをメモリに格納する格納手段と、
   前記メモリから読み出した前記圧縮処理された映像フレームに基づいて表示映像フレームを生成する生成手段と、
   前記生成手段により生成された表示映像フレームに基づく表示映像を表示させる表示制御手段と、
   前記表示制御手段による表示映像に関する所定指示の入力に応じて特定される表示映像の画質が、前記所定指示の入力がなかった場合よりも高くなるように、前記所定指示の入力より後に行われる前記圧縮手段による映像フレームの圧縮処理のためのパラメータを制御する制御手段とを有することを特徴とする映像処理装置。
2. 前記所定指示は、映像の表示の一時停止指示であり、
   前記制御手段は、前記一時停止指示に応じた一時停止中に表示される表示映像に対応する映像フレームの圧縮パラメータを制御することを特徴とする請求項１に記載の映像処理装置。
3. 前記所定指示は、表示映像のキャプチャ指示であり、
   前記制御手段は、前記キャプチャ指示によりキャプチャされる表示映像に対応する映像フレームの圧縮パラメータを制御することを特徴とする請求項１に記載の映像処理装置。
4. 前記メモリから読み出した前記圧縮処理された映像フレームに対してノイズリダクション処理を実行する処理手段を有し、
   前記生成手段は、前記処理手段によるノイズリダクション処理後の映像フレームに基づいて前記表示映像フレームを生成し、
   前記制御手段は、前記所定指示の入力に応じて特定される表示映像に対応する表示映像フレームの生成のためにノイズリダクション処理が実行され、他の映像フレームのうち少なくとも１つの生成のためにノイズリダクション処理が実行されないようにノイズリダクション処理の実行をするか否かを決定することを特徴とする請求項１乃至３のうち、何れか１項に記載の映像処理装置。
5. 前記入力手段により入力された映像フレームのフレームレートを向上させるフレームレート処理を実行する処理手段を有し、
   前記制御手段は、前記入力手段により入力された映像フレームから表示映像フレームを生成するためのメモリのアクセス量が、前記所定指示の入力に応じて少なくなるように、前記フレームレート処理の方法を切り替えることを特徴とする請求項１乃至３のうち、何れか１項に記載の映像処理装置。
6. 前記制御手段は、前記所定指示の入力に応じて特定される表示映像の画質が、前記所定指示の入力がなかった場合よりも高くなるように、前記所定指示の入力に応じて特定される映像フレームから表示映像フレームを生成するための生成処理のパラメータを制御することを特徴とする請求項５に記載の映像処理装置。
7. 前記制御手段は、前記所定指示の入力に応じて表示される表示映像に対応する表示映像フレームの生成処理に用いる参照フレームの数が、前記所定指示の入力がなかった場合よりも多くなるように、参照フレームの数を制御することを特徴とする請求項６に記載の映像処理装置。
8. 前記制御手段は、前記表示映像フレーム以外の映像フレームに関する前記メモリのアクセス量が下がるように、前記表示映像フレーム以外の映像フレームに関する前記処理手段による生成処理のパラメータを決定することを特徴とする請求項６又は７に記載の映像処理装置。
9. 前記所定指示の入力に応じて表示される表示映像に対応する表示映像フレームの生成のために複数の映像フレームを参照する映像処理を実行する処理手段を有し、
   前記制御手段は、前記表示映像フレーム以外の映像フレームのうち、前記映像処理において参照されない映像フレームに関する前記メモリのアクセス量が下がるように、前記処理手段による映像処理のパラメータを制御することを特徴とする請求項１乃至３のうち、何れか１項に記載の映像処理装置。
10. 表示映像フレームの画素値と、当該表示映像フレームと時間的に隣接する他の表示映像フレームの画素値との差分に基づいて、当該表示映像フレームの表示のための印加電圧を補正するオーバードライブ処理を実行する処理手段を有し、
    前記制御手段は、前記所定指示の入力に応じて表示される表示映像に対応する表示映像フレームのオーバードライブ処理のために参照されない映像フレームに関する前記メモリのアクセス量が下がるように、前記処理手段による映像処理のパラメータを決定することを特徴とする請求項１乃至３のうち、何れか１項に記載の映像処理装置。
11. 前記制御手段は、前記所定指示が入力されてから前記所定指示の解除のための解除指示が入力されるまでの間に入力された第１の映像フレームの圧縮率よりも、前記解除指示の入力後に最初に入力された第２の映像フレームの圧縮率が低くなるように、前記第１及び第２の映像フレームの圧縮処理のパラメータを制御することを特徴とする請求項１に記載の映像処理装置。
12. 映像を構成する映像フレームを入力する入力工程と、
    入力された映像フレームに対して圧縮処理を行う圧縮工程と、
    前記圧縮工程により圧縮された映像フレームをメモリに格納する格納工程と、
    前記メモリから読み出した前記圧縮処理された映像フレームに基づいて表示映像フレームを生成する生成工程と、
    前記生成工程により生成された表示映像フレームに基づく表示映像を表示させる表示制御工程と、
    前記表示制御工程による表示映像に関する所定指示の入力に応じて特定される表示映像の画質が、前記所定指示の入力がなかった場合よりも高くなるように、前記所定指示の入力より後に行われる前記圧縮工程による映像フレームの圧縮処理のためのパラメータを制御する制御工程とを有することを特徴とする映像処理方法。
13. コンピュータを請求項１乃至１１のうち、何れか１項に記載の映像処理装置の各手段として動作させるためのプログラム。

Images