JP5230756B2 - 動画像表示装置 - Google Patents

Description

この発明は、電波状況の悪化などによりエラーが発生した場合に、画面の切替えを行う動画像表示装置に関するものである。

デジタル放送の受信において、電波状況の悪化などによりエラーが発生した場合に、動画像から静止画像への切替えを行う技術が知られている。例えば、特許文献１では、受信した符号化データを適切なタイミングで復号化できなかった場合に、動画像から静止画像への切替えを行う技術が開示されている。この技術では、タイマーを設け、タイマーに対して適切なタイミングで制御が行われない場合に、セレクタが自動的に静止画像の出力を選択して、高品位の静止画像を出力するようにしている。

また、特許文献２では、デジタルデータからエラーを検出し、映像データに対応する番組のジャンル、映像サイズ、デジタルデータの種類に応じて決定した閾値と比較し、エラーを有する単位ブロック数が閾値の値以上に存在する場合に、静止画像への切替えを行う技術が開示されている。

特開２００２−１５２７４３号公報 特開２００６−１８６７８７号公報

従来の動画像表示装置では、上記のように、復号化にかかる時間やエラー数と閾値との比較によって一意的に画面の表示の切替えを行っている。
しかし、この方法では人間の視覚特性を考慮しておらず、動きの大きい場面も小さい場面も同等に扱い画面の表示の切替えを行うため、動きが大きい場面であれば、多少画像が乱れていても、動いていることに注目するため気にならないが、風景などのように動きが小さい場面では同じ画像の乱れでも、映像に大きな変化がないため、視聴者が画像の乱れを認識してしまうという課題があった。
また、人が注目しないような画面の隅に画像の乱れが発生した場合も、画面中央に画像の乱れが発生した場合も同等に扱い画面の表示の切り替えを行うため、画像の乱れに気づいていない視聴者に画像の乱れを認識させてしまうという課題があった。

この発明は、上記のような課題を解決するためになされたもので、電波状況の悪化により、エラーが発生した場合に、動画像と静止画像の切替えを適切に変更することで、視聴者が画像の乱れを認知することを最小限に抑えることができる動画像表示装置を提供することを目的とする。

この発明に係る動画像表示装置は、受信データから符号化データを抽出するデータ生成部と、データ生成部により抽出された符号化データから動画像データを復号し、復号時のエラー情報をエラーの位置情報を含めて検出すると共に、動画像データに基づいて平坦領域を抽出する復号部と、復号部により復号された動画像データに含まれるエラー数がエラーに関する所定の閾値以下である場合に、動画像データを静止画像データとして記憶する記憶部と、復号部により復号された動画像データ又は記憶部に記憶された静止画像データを表示データとして出力する切り替え制御部とを備え、切替え制御部は、エラーの位置情報からエラー情報が平坦領域に存在し、かつ、周辺との輝度の差が輝度の差に関する閾値以上または／および周辺との明るさの差が明るさの差に関する閾値以上であるエラー数をカウントし、カウントしたエラー数がエラーに関する所定の閾値以上である場合に、記憶部に記載された静止画像データを表示データとして出力し、復号部は、復号したフレーム情報に基づいて、空間周波数を一定領域毎に求め、求めた空間周波数が所定の閾値以下の領域を全て含む集合を平坦領域として抽出するものである。

この発明によれば、上記のように構成したので、電波状況の悪化などにより、エラーが発生した場合に、画面の動き量やエラー位置に応じて、動画像と静止画像の切替えを適切に変更することで、視聴者が画像の乱れを認知することを最小限に抑えることができる。

この発明の実施の形態１に係る動画像表示装置の概要を示すブロック図である。 この発明の実施の形態１に係る動画像表示装置の切替え制御処理を示すフローチャートである。 この発明の実施の形態２に係る動画像表示装置の概要を示すブロック図である。 この発明の実施の形態２に係る動画像表示装置の注目領域の一例を示す図である。 この発明の実施の形態２に係る動画像表示装置の切替え制御処理を示すフローチャートである。 この発明の実施の形態３に係る動画像表示装置の概要を示すブロック図である。 この発明の実施の形態３に係る動画像表示装置のＯＳＤ画像を説明するための図である。 この発明の実施の形態３に係る動画像表示装置の切替え制御処理を示すフローチャートである。 この発明の実施の形態４に係る動画像表示装置の概要を示すブロック図である。 この発明の実施の形態４に係る動画像表示装置の切替え制御処理を示すフローチャートである。 この発明の実施の形態５に係る動画像表示装置の概要を示すブロック図である。 この発明の実施の形態５に係る動画像表示装置の切替え制御処理を示すフローチャートである。

以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
図１は、この発明の実施の形態１に係る動画像表示装置１の概要を示すブロック図である。図１に示すように、動画像表示装置１は、データ生成部１０、復号部１３、記憶部１４及び切替え制御部１５から構成されている。

データ生成部１０は、アンテナにより受信された受信データから符号化データを抽出するものであり、チュ−ナ／復調部１１及びＴＳ（Transport Stream）デコード処理部１２により構成される。

チュ−ナ／復調部１１は、チュ−ナと復調部により構成される。チュ−ナはアンテナにより受信した受信データからユ−ザの希望する放送波をチュ−ニングして増幅するものである。復調部は、チュ−ナによりチュ−ニングされた受信データを復調してデジタルデータ（ＴＳ）を出力するものである。
このチュ−ナ／復調部１１により出力されるデジタルデータはＴＳデコード処理部１２に送られる。

ＴＳデコード処理部１２は、チュ−ナ／復調部１１により出力されたデジタルデータをデコ−ド（解読）し、符号化データ（動画像）を取り出すものである。
このＴＳデコード処理部１２により出力される符号化データは復号部１３に送られる。

復号部１３は、ＴＳデコード処理部１２により出力された符号化データから動画像データを復号するものである。
また、復号部１３は、符号化データの復号化処理と同時に、復号した動画像データにエラーが存在するかどうかの検出を行い、復号時のエラー情報として出力する。この動画像データから検出されるエラーは、シンタックスエラーなどのデコードエラーである。復号部１３により出力されるエラー情報には、エラーがあるか否かの情報及びエラーがある場合にはその位置情報が含まれる。
また、復号部１３は、表示する画面の特徴を示す視覚特性情報として、復号したフレームとその前後フレームに基づいて画面の動き量を検出する。前後フレームは、復号部１３が保持している。画面の動き量は、動きベクトルや前後フレームとの画像としての相関関係、前後フレームとのデータ量の関係等に応じて決定する。ここでの画像としての相関関係とは、各フレームを構成する色合いや輝度などの差分である。動きベクトルが大きい場合や差分が大きい場合には、動き量が大きいとし、動きベクトルが小さい場合や差分が小さい場合には、動き量が小さいとする。また、フレームのデータ量が増加する場合は、前フレームとの差分が大きいため動き量が大きいとする。しかし、例えばＭＰＥＧ２の様な前後フレームを参照しないＩフレームの場合、前後フレームの参照を行わないため、Ｉフレームにおけるデータ量は多くなる。そのため、Ｉフレームにおけるデータ量の増加は考慮しない。
この復号部１３により出力される動画像データ、エラー情報及び画面の動き量は、切替え制御部１５に送られる。

さらに、復号部１３は、復号した動画像データの１フレーム内に含まれるエラー数が所定の閾値以下である場合、この復号した動画像データを静止画像データとして記憶部１４に送る。ここで、復号した動画像データに含まれるエラー数と比較する閾値には、静止画像データに含まれていても視聴者が気にならないようなエラー数の値が予め設定される。

記憶部１４は、復号部１３により復号された動画像データを静止画像データとして記憶するものである。この静止画像データは、復号部１３により復号された動画像データに含まれるエラー数が所定の閾値以下であるとき、この動画像データが静止画像データとして記憶部１４へ出力されることにより、記憶部１４に記憶されるものである。また、記憶部１４は、切替え制御部１５が静止画像データを表示する場合に、切替え制御部１５へ静止画像データを出力する。

切替え制御部１５は、復号部１３により出力されたエラー情報及び画面の動き量に基づいて、復号部１３により復号された動画像データ又は記憶部１４に記憶された静止画像データを表示データとして出力するものである。復号部１３から取得したエラー情報から動画像データに含まれるエラー数をカウントし、カウントしたエラー数が所定の閾値以上であり、かつ復号部１３から取得した画面の動き量が所定の閾値以下である場合、記憶部１４に記憶された静止画像データを表示データとして出力し、静止画像への切替えを行う。

次に、上記のように構成された、この発明の実施の形態１に係る動画像表示装置１の切替え制御部１５による動画像と静止画像の切替え制御処理について説明する。
図２は、この発明の実施の形態１に係る動画像表示装置１の切替え制御処理を示すフローチャートである。

切替え制御処理では、まず、切替え制御部１５は動画像データとエラー情報を取得する（ステップＳＴ２００）。すなわち、切替え制御部１５は、復号部１３により出力される動画像データと、その動画像データにエラーが存在するか否かのエラー情報を取得する。

次いで、切替え制御部１５はエラー数をカウントする（ステップＳＴ２０１）。すなわち、切替え制御部１５は、ステップＳＴ２００において、復号部１３から取得したエラー情報に基づいて、復号部１３から取得した動画像データの１フレーム内に存在するエラー数をカウントする。

次いで、切替え制御部１５はエラー数が閾値以上であるかを判断する（ステップＳＴ２０２）。すなわち、切替え制御部１５は、ステップＳＴ２０１において、カウントした動画像データに存在するエラー数が予め設定された閾値以上であるかを判断する。ここで、予め設定される閾値は、視聴者が気にならないようなエラー数の値を設定する。

このステップＳＴ２０２において、切替え制御部１５は動画像データに含まれるエラー数が閾値以上であると判断すると、次いで、画面の動き量を取得する（ステップＳＴ２０３）。すなわち、切替え制御部１５は、復号部１３により検出される画面の動き量を取得する。

次いで、切替え制御部１５は画面の動き量が閾値以下であるかを判断する（ステップＳＴ２０４）。すなわち、切替え制御部１５は、ステップＳＴ２０３において、復号部１３から取得した画面の動き量が予め設定された閾値以下であるかを判断する。

このステップＳＴ２０４において、切替え制御部１５は画面の動き量が閾値以下であると判断すると、次いで、静止画像データを取得する（ステップＳＴ２０５）。すなわち、切替え制御部１５は、表示データとして出力するための静止画像データを記憶部１４から取得する。

次いで、切替え制御部１５は静止画像への切替えを行う（ステップＳＴ２０６）。すなわち、切替え制御部１５では、ステップＳＴ２０５において、記憶部１４から取得した静止画像データを表示データとして出力する。その後、シーケンスは終了する。

一方、切替え制御部１５は、ステップＳＴ２０２において、動画像データに含まれるエラー数が閾値以上ではないと判断した場合、または、ステップＳＴ２０４において、画面の動き量が閾値以下ではないと判断した場合には、次いで、静止画像が表示されているかを判断する（ステップＳＴ２０７）。すなわち、切替え制御部１５は、表示画面に静止画像が表示されている状態であるか否かを判断する。

このステップＳＴ２０７において、切替え制御部１５は静止画像が表示されていると判断すると、次いで、動画像への切替えを行う（ステップＳＴ２０８）。すなわち、切替え制御部１５は表示画面に表示されている静止画像から動画像への切替え処理を行う。その後、シーケンスは終了する。

一方、ステップＳＴ２０７において、切替え制御部１５は静止画像が表示されていないと判断すると、そのまま動画像を表示する（ステップＳＴ２０９）。すなわち、切替え制御部１５は、表示画面に表示されている動画像をそのまま表示し続ける。その後、シーケンスは終了する。

以上のように、この発明の実施の形態１によれば、切替え制御部１５は、復号部１３から受け取ったエラー情報から、動画像データにエラーが含まれると判断した場合、復号部１３から、表示する画面の特徴を示す視覚特性情報として画面の動き量を受け取り、その大きさによって静止画像への切替えを行うか否かを決定するように構成したので、エラー検出時に、検出した画面の動き量が設定した閾値よりも大きい場合には、視聴者は動きに注目しているため、多少画像の乱れが発生していても気にならないので、静止画像への切替えを行わずに動画像を表示するようにし、画面の動き量が閾値よりも小さい場合は、視聴者はある特定の映像をじっくりと見ているため、画面の乱れが気になりやすいので、静止画像へ切替えるようにし、画面の動き量に応じて、動画像と静止画像の切替えを適切に変更することで、視聴者が画面の乱れを認識するのを最小限に抑えることができる。

また、この発明の実施の形態１では、動画像データに存在するエラー数と比較される閾値は予め設定されるものとしたが、この閾値を画面の動き量の大きさに応じて設定するようにし、設定された閾値以上にエラーが存在する場合には静止画像への切替えを行い、閾値以下のエラー数であれば動画像を表示するように構成してもよい。このとき、画面の動き量が大きいほど、閾値を大きく設定し、画面の動き量が小さいほど、閾値を小さく設定する。また、画面の動き量の大きさに応じて閾値を設定する場合、図２に示したステップＳＴ２０３及びステップＳＴ２０４の処理は不要となる。

実施の形態２．
図３は、この発明の実施の形態２に係る動画像表示装置１の概要を示すブロック図である。同図において、図１に示した、この発明の実施の形態１と同一または同様の構成要素には同一符号を付し、その説明を省略する。
この発明の実施の形態２とこの発明の実施の形態１との相違点は、復号部１３から切替え制御部１５に画面の動き量は出力せず、表示する画面の特徴を示す視覚特性情報として、復号部１３から切替え制御部１５に画面の注目領域情報を出力する点である。以下、この発明の実施の形態１との相違点を中心に説明する。

復号部１３は、この発明の実施の形態１における復号部１３の符号化データを復号して動画像データを出力する処理及び復号した動画像データ内のエラーを検出しエラー情報を出力する処理に加えて、表示する画面の特徴を示す視覚特性情報として、動きベクトルを用いて注目領域の抽出を行う。ここで、注目領域とは、画面上の動いている部分やしゃべっている人の顔など、視聴者が画面を見る際に注目する領域のことである。復号部１３は、復号したフレーム及び保持している前後フレーム情報に基づいて、動画像データの動きベクトルを求め、その動きベクトルが一定値以上の単位ブロックをすべて含むような集合を注目領域として抽出する。
この復号部１３により出力される動画像データ、エラー情報及び注目領域情報は切替え制御部１５に送られる。
また、復号部１３は、復号した動画像データに含まれるエラー数が所定の閾値以下である場合に、この復号した動画像データを静止画像データとして記憶部１４に送る。

図４は、この発明の実施の形態２に係る動画像表示装置１により抽出される注目領域の一例を示す図である。図４に示すように、復号部１３は、復号したフレーム及び保持している前後フレームから動画像データの動きベクトルを求め、建物のように動きの小さい部分は非注目領域とし、動作している人間のように動きのある部分を注目領域として抽出するように構成される。

また、同一チャネル内での異なる種類の符号化されたデータ（Ｈ．２６４等）から動画像データを構成するオブジェクトの形状情報やテクスチャ情報を取得可能であれば、取得した情報から、同一オブジェクト内に動きベクトルを持つ領域を注目領域として検出するようにしてもよい。

切替え制御部１５は、復号部１３により抽出された注目領域情報を取得し、動画像データのエラー位置と比較することで、動画像データの注目領域内にエラーが存在するかどうかを判断する。動画像データの注目領域内のエラー数が閾値以上である場合、記憶部１４に記憶された静止画像データを表示データとして出力し、静止画像への切替えを行う。

次に上記のように構成された、この発明の実施の形態２に係る動画像表示装置１の切替え制御部１５による動画像と静止画像の切替え制御処理について説明する。
図５は、この発明の実施の形態２に係る動画像表示装置１の切替え制御処理を示すフローチャートである。同図において、図２に示した、実施の形態１におけるフローチャートと同一または同様の構成については同一符号を付し、その説明を省略する。

この発明の実施の形態２における切替え制御処理では、まず、切替え制御部１５は復号部１３から動画像データとエラー情報を取得する（ステップＳＴ２００）。次いで、切替え制御部１５はエラーが存在するかを判断する（ステップＳＴ５００）。すなわち、切替え制御部１５は、ステップＳＴ２００において、復号部１３から取得したエラー情報に基づいて、取得した動画像データにエラーが存在するか否かの判断を行う。

このステップＳＴ５００において、切替え制御部１５は取得した動画像データにエラーが含まれていると判断すると、次いで、注目領域情報を取得する（ステップＳＴ５０１）。すなわち、切替え制御部１５は、復号部１３により抽出された、視聴者が注目する動画像データの注目領域情報を取得する。

次いで、切替え制御部１５は注目領域内にエラーが存在するかを判断する（ステップＳＴ５０２）。すなわち、切替え制御部１５は、ステップＳＴ５０１において、復号部１３から取得した注目領域内に、ステップＳＴ２００において、復号部１３から取得した動画像データに存在するエラーが位置するか否かを判断する。

このステップＳＴ５０２において、切替え制御部１５は動画像データの注目領域内にエラーが存在すると判断すると、次いで、注目領域内のエラー数をカウントする（ステップＳＴ５０３）。すなわち、切替え制御部１５は、動画像データの１フレーム内の注目領域内に存在するエラーの数をカウントする。

次いで、切替え制御部１５はエラー数が閾値以上であるかを判断する（ステップＳＴ５０４）。すなわち、切替え制御部１５は、ステップＳＴ５０３において、カウントした動画像データの注目領域内のエラー数が、予め設定された閾値以上であるかを判断する。ここで、予め設定される閾値は、視聴者が気にならないようなエラー数の値を設定する。

このステップＳＴ５０４において、切替え制御部１５は動画像データの注目領域内のエラー数が閾値以上であると判断すると、次いで、記憶部１４から静止画像データを取得する（ステップＳＴ２０５）。次いで、切替え制御部１５は静止画像への切替えを行う（ステップＳＴ２０６）。その後、シーケンスは終了する。

一方、切替え制御部１５は、ステップＳＴ５００において、動画像データにエラーが存在しないと判断した場合、または、ステップＳＴ５０２において、動画像データの注目領域内にエラーが存在しないと判断した場合、または、ステップＳＴ５０４において、動画像データの注目領域内のエラー数が閾値以上ではないと判断した場合には、次いで、静止画像が表示されているかを判断する（ステップＳＴ２０７）。

このステップＳＴ２０７において、切替え制御部１５は静止画像が表示されていると判断すると、動画像への切替えを行う（ステップＳＴ２０８）。その後、シーケンスは終了する。一方、ステップＳＴ２０７において、切替え制御部１５は静止画像が表示されていないと判断すると、そのまま動画像を表示する（ステップＳＴ２０９）。その後、シーケンスは終了する。

以上のように、この発明の実施の形態２によれば、切替え制御部１５は、表示する画面の特徴を示す視覚特性情報として、復号部１３から画面の注目領域情報を取得し、この注目領域内に存在するエラーに応じて、動画像と静止画像の切替えを行うように構成したので、動いている部分があれば、その領域に注目するという人間の視覚特性を利用し、例えば、トーク番組であれば、話をしている人の顔を注目領域とし、この注目領域内にエラーが発生した場合には、視聴者は注目領域を注視しているため、画面の乱れが気になりやすいので、静止画像を表示するようにし、背景などの注目領域以外であれば、視聴者は多少画像の乱れが発生していても気にならないので、そのまま動画像を表示するようにし、画面の注目領域内外でのエラーに応じて、動画像と静止画像の切替えを適切に変更することで、視聴者が画像の乱れを認知することを最小限に抑えることができる。

実施の形態３．
図６は、この発明の実施の形態３に係る動画像表示装置１の概要を示すブロック図である。同図において、図１に示した、実施の形態１と同一または同様な構成要素には同一符号を付し、その説明を省略する。
この発明の実施の形態３とこの発明の実施の形態１との相違点は、復号部１３から切替え制御部１５に画面の動き量は出力せず、ＯＳＤ（On Screen Display）上に表示するＯＳＤ画像の位置情報を生成するＯＳＤ画面制御部１７と、そのＯＳＤ画像の位置情報を保持する位置情報保持部１８を付加し、表示する画面の特徴を示す視覚特性情報として、位置情報保持部１８から切替え制御部１５にＯＳＤ画像の位置情報を出力する点である。以下、この発明の実施の形態１との相違点を中心に説明する。

ＯＳＤ画面制御部１７は、ＯＳＤ上に表示する時計や字幕、チャネル情報などＯＳＤ画像の表示についての制御を行うものである。ＯＳＤ上に表示する情報としては、時計や字幕など受信データから生成されるデータと、チャネル情報などあらかじめ動画像表示装置１が保持しているデータがある。受信データから生成されたデータについては、ＴＳデコード処理部１２から受け取り、あらかじめ動画像表示装置１が保持しているデータについては、動画像表示装置１からデータを受け取る。これらのデータから、ＯＳＤ上に表示するＯＳＤ画像の位置情報を生成する。
このＯＳＤ画面制御部１７により生成されるＯＳＤ画像の位置情報は位置情報保持部１８に送られる。

位置情報保持部１８は、ＯＳＤ画面制御部１７により生成されたＯＳＤ画像の位置情報を保持するものである。
この位置情報保持部１８により記憶されるＯＳＤ上に表示するＯＳＤ画像の位置情報は、必要に応じて切替え制御部１５に送られる。

切替え制御部１５は、表示する画面の特徴を示す視覚特性情報として、字幕や時計、チャネル表示、番組タイトルなどのＯＳＤ上に表示するＯＳＤ画像の位置情報を取得し、エラー情報に含まれるエラーの位置情報及びＯＳＤ画像の位置情報からＯＳＤ画像の表示位置以外の位置に存在するエラー数をカウントし、カウントしたエラー数が所定の閾値以上である場合に、記憶部１４に記憶された静止画像データを表示データとして出力し、静止画像への切替えを行う。図７に示すように、ＯＳＤ画像は、動画像データを表示する動画像プレーンとは異なるグラフィックプレーンに表示を行い、ＯＳＤ画像は動画像データ上に重ね合わせて表示される。そのため、ＯＳＤ画像の下にエラーが存在する場合には、ＯＳＤ画像によって、エラー部分が隠れて見えなくなり、また、ＯＳＤ画像が半透明の場合でも視聴者はＯＳＤ画像に注目するため、エラーに気づきにくい。したがって、動画像データに存在するエラーがＯＳＤ画像の下に位置する場合には、動画像を表示し、ＯＳＤ画像の下に位置しない場合には、エラー数に応じて、静止画像へと切替えるように構成する。

次に上記のように構成された、この発明の実施の形態３に係る動画像表示装置１の切替え制御部１５による動画像と静止画像の切替え制御処理について説明する。
図８は、この発明の実施の形態３に係る動画像表示装置１の切替え制御処理を示すフローチャートである。同図において、図２，５に示した、実施の形態１，２におけるフローチャートと同一または同様の処理には同一符号を付し、その説明を省略する。

この発明の実施の形態３における切替え制御処理では、まず、切替え制御部１５は復号部１３から動画像データとエラー情報を取得し（ステップＳＴ２００）、エラーが存在するかを判断する（ステップＳＴ５００）。

このステップＳＴ５００において、切替え制御部１５は復号部１３から取得した動画像データにエラーが存在すると判断すると、次いで、ＯＳＤ画像の位置情報を取得する（ステップＳＴ８００）。すなわち、切替え制御部１５は、位置情報保持部１８からＯＳＤ上に表示するＯＳＤ画像の位置情報を取得する。

次いで、切替え制御部１５はＯＳＤ画像の表示位置以外にエラーが存在するかを判断する（ステップＳＴ８０１）。すなわち、切替え制御部１５は、ステップＳＴ２００において、復号部１３から取得した動画像データに存在するエラーが、ステップＳＴ８００において、位置情報保持部１８から取得したＯＳＤ画像の表示位置以外の位置に存在するかを判断する。

このステップＳＴ８０１において、切替え制御部１５はＯＳＤ画像の表示位置以外の位置にエラーが存在すると判断すると、次いで、ＯＳＤ画像の表示位置以外に存在するエラー数をカウントする（ステップＳＴ８０２）。すなわち、切替え制御部１５は、ＯＳＤ画像の表示位置以外の位置に存在する１フレーム内のエラーについて、そのエラー数をカウントする。

次いで、切替え制御部１５はエラー数が閾値以上であるかを判断する（ステップＳＴ８０３）。すなわち、切替え制御部１５は、ステップＳＴ８０２において、カウントしたＯＳＤ画像の表示位置以外の位置に存在するエラー数があらかじめ設定される閾値以上であるかを判断する。ここで、予め設定される閾値は、視聴者が気にならないようなエラー数の値を設定する。

このステップＳＴ８０３において、切替え制御部１５はＯＳＤ上に表示するＯＳＤ画像の表示位置以外の位置に存在するエラー数が閾値以上であると判断すると、次いで、記憶部１４から静止画像データを取得し（ステップＳＴ２０５）、次いで、静止画像への切替えを行う（ステップＳＴ２０６）。その後、シーケンスは終了する。

一方、切替え制御部１５は、ステップＳＴ５００において、動画像データにエラーが存在しないと判断した場合、または、ステップＳＴ８０１において、ＯＳＤ画像の表示位置以外の位置にエラーが存在しないと判断した場合、または、ステップＳＴ８０３において、ＯＳＤ画像の表示位置以外の位置に存在するエラー数が閾値以上ではないと判断した場合には、次いで、静止画像が表示されているかを判断する（ステップＳＴ２０７）。このステップＳＴ２０７において、切替え制御部１５は静止画像が表示されていると判断すると、次いで、動画像への切替えを行う（ステップＳＴ２０８）。その後、シーケンスは終了する。一方、ステップＳＴ２０７において、切替え制御部１５は静止画像が表示されていないと判断すると、そのまま動画像を表示する（ステップＳＴ２０９）。その後、シーケンスは終了する。

以上のように、この発明の実施の形態３によれば、切替え制御部１５は、表示する画面の特徴を示す視覚特性情報として、位置情報保持部１８からＯＳＤ上に表示するＯＳＤ画像の位置情報を取得し、このＯＳＤ画像の表示される範囲外に存在するエラーに応じて、動画像と静止画像の切替えを行うように構成したので、エラー検出時に、ＯＳＤ上のＯＳＤ画像の表示位置の下に位置するエラーについては、ＯＳＤ画像によって、エラー部分が隠れてしまい視聴者は気づくことはなく、また半透明のＯＳＤ画像の場合にも、視聴者はＯＳＤ画像に注目するため、エラーに気づきにくいので、そのまま動画像を表示するようにし、ＯＳＤ画像の表示範囲外のエラーに応じて、動画像と静止画像の切替えを適切に変更することで、視聴者が画像の乱れを認知することを最小限に抑えることができる。

実施の形態４．
図９は、この発明の実施の形態４に係る動画像表示装置１の概要を示すブロック図である。同図において、図１に示した、この発明の実施の形態１と同一または同様の構成要素には同一符号を付し、その説明を省略する。
この発明の実施の形態４とこの発明の実施の形態１との相違点は、復号部１３から切替え制御部１５に画面の動き量は出力せず、表示する画面の特徴を示す視覚特性情報として、復号部１３から切替え制御部１５に画面の平坦領域情報を出力する点である。以下、この発明の実施の形態１との相違点を中心に説明する。

復号部１３は、この発明の実施の形態１における復号部１３の符号化データを復号して動画像データを出力する処理及び復号した動画像データ内のエラーを検出しエラー情報を出力する処理に加えて、表示する画面の特徴を示す視覚特性情報として、平坦領域を抽出する。ここで、平坦領域とは、空や海のように色や明暗の大きな変化がない領域のことである。復号部１３は、復号したフレーム情報に基づいて、空間周波数を一定領域ごとに求め、求めた空間周波数が所定の閾値以下の領域を全て含むような集合を平坦領域として抽出する。
この復号部１３により出力される動画像データ、エラー情報及び平坦領域情報は切替え制御部１５に送られる。
また、復号部１３は、復号した動画像データに含まれるエラー数が所定の閾値以下である場合に、この復号した動画像データを静止画像データとして記憶部１４に送る。

切替え制御部１５は、復号部１３により抽出された平坦領域情報を取得し、動画像データのエラー位置と比較することで、動画像データの平坦領域内にエラーが存在するかどうかを判断する。動画像データの平坦領域内にエラーが存在する場合には、復号部１３により復号された動画像データからエラーとその周辺の輝度の差を、エラーの位置の輝度とエラーに接する周辺の輝度の平均値との差として求め、この輝度の差が所定の閾値以上であるエラー数をカウントする。このカウントしたエラー数が所定の閾値以上である場合、記憶部１４に記憶された静止画像データを表示データとして出力し、静止画像への切替えを行う。

また、切替え制御部１５は、動画像データの平坦領域内にエラーが存在する場合に、エラーとその周辺の色合いの差を、エラーの位置の色合いとエラーとに接する周辺の色合いの平均値との差として求め、求めた色合いの差が所定の閾値以上であるエラー数をカウントし、カウントしたエラー数に応じて静止画像への切替えを判断してもよい。さらに、輝度の差及び色合いの差を組み合わせて、カウントする平坦領域内のエラーを決定するようにしてもよい。

次に上記のように構成された、この発明の実施の形態４に係る動画像表示装置１の切替え制御部１５による動画像と静止画像の切替え制御処理について説明する。
図１０は、この発明の実施の形態４に係る動画像表示装置１の切替え制御処理を示すフローチャートである。同図において、図２，５に示した、実施の形態１，２におけるフローチャートと同一または同様の構成においては同一符号を付し、その説明を省略する。

この発明の実施の形態４における切替え制御処理では、まず、切替え制御部１５は復号部１３から動画像データとエラー情報を取得し（ステップＳＴ２００）、エラーが存在するかを判断する（ステップＳＴ５００）。

このステップＳＴ５００において、切替え制御部１５は復号部１３から取得した動画像データにエラーが存在すると判断すると、次いで、平坦領域情報を取得する（ステップＳＴ１０００）。すなわち、切替え制御部１５は、復号部１３により抽出された色や明暗の変化の少ない領域を示す平坦領域情報を取得する。

次いで、切替え制御部１５は平坦領域内にエラーが存在するかを判断する（ステップＳＴ１００１）。すなわち、切替え制御部１５は、ステップＳＴ１０００において、復号部１３から取得した平坦領域内に、ステップＳＴ２００において、復号部１３から取得した動画像データに存在するエラーが位置するか否かを判断する。

このステップＳＴ１００１において、切替え制御部１５は動画像データの平坦領域内にエラーが存在すると判断すると、次いで、エラーの輝度とエラーの周辺の輝度の差を求める（ステップＳＴ１００２）。すなわち、切替え制御部１５は、復号部１３から取得した動画像データに基づいて、エラーの位置の輝度とエラーの周辺の輝度の平均値を求め、輝度の差を求める。

次いで、切替え制御部１５は、周辺との輝度の差が閾値以上であるエラー数をカウントする（ステップＳＴ１００３）。すなわち、切替え制御部１５は、動画像データの１フレーム内の平坦領域内に存在し、かつ、周辺との輝度の差が閾値以上であるエラー数をカウントする。

次いで、切替え制御部１５はエラー数が閾値以上であるかを判断する（ステップＳＴ１００４）。すなわち、切替え制御部１５は、ステップＳＴ１００３において、カウントした動画像データの平坦領域内に存在する周辺との輝度の差が閾値以上であるエラー数が、予め設定された閾値以上であるかを判断する。ここで、予め設定される閾値は、視聴者が気にならないようなエラー数の値を設定する。

このステップＳＴ１００４において、切替え制御部１５は動画像データの平坦領域内に存在する周辺との輝度の差が閾値以上であるエラー数が閾値以上であると判断すると、次いで、記憶部１４から静止画像データを取得し（ステップＳＴ２０５）、次いで、静止画像への切替えを行う（ステップＳＴ２０６）。その後、シーケンスは終了する。

一方、切替え制御部１５は、ステップＳＴ５００において、動画像データにエラーが存在しないと判断した場合、または、ステップＳＴ１００１において、動画像データの平坦領域内にエラーが存在しないと判断した場合、または、ステップＳＴ１００４において、動画像データの平坦領域内に存在する周辺との輝度の差が閾値以上であるエラー数が閾値以上でないと判断した場合には、次いで、静止画像が表示されているかを判断する（ステップＳＴ２０７）。このステップＳＴ２０７において、切替え制御部１５は静止画像が表示されていると判断すると、動画像への切替えを行う（ステップＳＴ２０８）。その後、シーケンスは終了する。一方、ステップＳＴ２０７において、切替え制御部１５は静止画像が表示されていないと判断すると、そのまま動画像を表示する（ステップＳＴ２０９）。その後、シーケンスは終了する。

なお、切替え制御部１５がカウントするエラーの決定方法として、周辺との輝度の差を用いた場合について説明したが、周辺との色合いの差または、輝度の差と色合いの差の組み合わせを用いてもよく、ステップＳＴ１００２及びステップＳＴ１００３において、輝度の差に替えて色合いの差または、輝度の差と色合いの差の組み合わせを用いて処理を行うことで、同様の切替え制御処理を行うことができる。

以上のように、この発明の実施の形態４によれば、切替え制御部１５は、表示する画面の特徴を示す視覚特性情報として、復号部１３から画面の平坦領域情報を取得し、この平坦領域内に存在し、周辺との輝度や色合いの差が閾値以上であるエラーに応じて、動画像と静止画像の切替えを行うように構成したので、色や明暗の変化が少ない平坦な画面に、色や明暗の差があるエラーが存在する場合には、画面の乱れを認識しやすいという人間の視覚特性を利用し、平坦領域内に輝度や色合いの差が大きいエラーが存在する場合には、画面の乱れとして感じやすいため、静止画像を表示するようにし、平坦でない領域内のエラーや平坦な領域内であっても輝度や色合いの差が小さいエラーは、周辺との差を感じにくいため、画面の乱れとして気にならないので、そのまま動画像を表示するようにし、画面の平坦領域内に存在し、周辺との輝度や色合いの差が閾値以上であるエラーに応じて、動画像と静止画像の切替えを適切に変更することで、視聴者が画面の乱れを認知することを最小限に抑えることができる。

実施の形態５．
図１１は、この発明の実施の形態５に係る動画像表示装置１の概要を示すブロック図である。同図において、図１に示した、この発明の実施の形態１と同一または同様の構成要素には同一符号を付し、その説明を省略する。
この発明の実施の形態５とこの発明の実施の形態１との相違点は、復号部１３から切替え制御部１５に画面の動き量は出力せず、画面の重要度を抽出する重要度情報抽出部１９を付加し、表示する画面の特徴を示す情報として、重要度情報抽出部１９から切替え制御部１５に画面の重要度を出力する点である。以下、この発明の実施の形態１との相違点を中心に説明する。

復号部１３は、この発明の実施の形態１における復号部１３の符号化データを復号して動画像データを出力する処理及び復号した動画像データのエラーを検出しエラー情報を出力する処理に加えて、符号化データを復号して音データを出力する。
この復号部１３により出力される動画像データ及びエラー情報は切替え制御部１５に送られ、音データは重要度情報抽出部１９に送られる。

重要度情報抽出部１９は、ＴＳデコード処理部１２により出力されたメタデータまたは復号部１３により出力された音データから、復号部１３により復号される動画像データが重要な場面であるか否かを判断し、その画面の重要度を抽出するものである。ここで、重要な場面の一例としてはスポーツの得点シーンがある。このような場合、映像の動きに注目しており、乱れの少ない静止画像を見るよりも、乱れがあっても映像の動きを見続けたいと考えられるため、画面の重要度を高く設定する。この重要度情報抽出部１９により抽出される重要度は、必要に応じて切替え制御部１５に送られる。

この重要度情報抽出部１９において、画面の重要度を決定するために復号部１３により復号された音データを用いる場合、例えば、スポーツの重要な場面である得点シーンでは、観客の歓声が起こるという特徴がある。そのため、この音データを解析し、歓声のような特徴を検出した際には、その画面は重要であると判断し、画面の重要度を高くする。また、ドラマや映画では、大切なシーンにおいて音楽が大きくなるという特徴がある。この特徴から、音楽が流れるシーンを重要であると判断し、画面の重要度を高くする。
また、重要度情報抽出部１９において、ＴＳデコード処理部１２により出力されたメタデータを取得した際に、このメタデータに動画像データの重要度が示されている場合には、それを画面の重要度として利用することも可能である。
さらに、音データ、メタデータの複数データを取得可能であれば、それらを組み合わせて画面の重要度を設定してもよい。

切替え制御部１５は、重要度情報抽出部１９により抽出された画面の重要度を取得し、復号部１３により出力されたエラー情報に基づいて、動画像データに含まれるエラー数をカウントし、カウントしたエラー数が所定の閾値以上であり、かつ画面の重要度が所定の閾値以下である場合、記憶部１４に記憶された静止画像データを表示データとして出力し、静止画像への切替えを行う。

次に上記のように構成された、この発明の実施の形態５に係る動画像表示装置１の切替え制御部１５による動画像と静止画像の切替え制御処理について説明する。
図１２は、この発明の実施の形態５に係る動画像表示装置１の切替え制御処理を示すフローチャートである。同図において、図２に示した、実施の形態１におけるフローチャートと同一または同様の構成においては同一符号を付し、その説明を省略する。

この発明の実施の形態５における切替え制御処理では、まず、切替え制御部１５は復号部１３から動画像データとエラー情報を取得し（ステップＳＴ２００）、エラー数をカウントする（ステップＳＴ２０１）。次いで、切替え制御部１５はエラー数が閾値以上であるかを判断する（ステップＳＴ２０２）。

このステップＳＴ２０２において、切替え制御部１５は動画像データに含まれるエラー数が閾値以上であると判断すると、次いで、画面の重要度を取得する（ステップＳＴ１２００）。すなわち、切替え制御部１５は、重要度情報抽出部１９により抽出された画面の重要度を取得する。

次いで、切替え制御部１５は画面の重要度が閾値以下であるかを判断する（ステップＳＴ１２０１）。すなわち、切替え制御部１５は、ステップＳＴ１２００において、重要度情報抽出部１９から取得した画面の重要度が予め設定した閾値以下であるかを判断する。

このステップＳＴ１２０１において、切替え制御部１５は画面の重要度が閾値以下であると判断すると、次いで、記憶部１４から静止画像データを取得し（ステップＳＴ２０５）、次いで、静止画像への切替えを行う（ステップＳＴ２０６）。その後、シーケンスは終了する。

一方、切替え制御部１５は、ステップＳＴ２０２において、動画像データに含まれるエラーが閾値以上ではないと判断した場合、または、ステップＳＴ１２０１において、画面の重要度が閾値以下ではないと判断した場合には、次いで、静止画像が表示されているかを判断する（ステップＳＴ２０７）。このステップＳＴ２０７において、切替え制御部１５は静止画像が表示されていると判断すると、動画像への切替えを行う（ステップＳＴ２０８）。その後、シーケンスは終了する。一方、ステップＳＴ２０７において、切替え制御部１５は静止画像が表示されていないと判断すると、そのまま動画像を表示する（ステップＳＴ２０９）。その後、シーケンスは終了する。

以上のように、この発明の実施の形態５によれば、切替え制御部１５は、復号部１３から受け取ったエラー情報から、動画像データにエラーが含まれると判断した場合、重要度情報抽出部１９から、表示する画面の特徴を示す情報として画面の重要度を受け取り、その重要度に応じて静止画像への切替えを行うか否かを決定するように構成したので、エラー検出時に、検出した画面の重要度が設定した閾値よりも大きい場合、映像の動きに注目しており、動きを見続けたいため、多少映像の乱れがあっても気にならないので、静止画像への切替えを行わずに動画像データを表示するようにし、画面の重要度が閾値以下の場合は、映像の動きに注目していないため、画面の乱れが気になりやすいので、静止画像へ切替えるようにし、画面の重要度に応じて、動画像と静止画像の切替えを適切に変更することで、視聴者が画像の乱れを認知するのを最小限に抑えることができる。

また、この発明の実施の形態５では、動画像データに存在するエラー数と比較される閾値は予め設定されるものとしたが、この閾値を画面の重要度に応じて設定するようにし、設定された閾値以上にエラーが存在する場合には静止画像への切替えを行い、閾値以下のエラー数であれば動画像を表示するように構成してもよい。このとき、画面の重要度が高いほど、閾値を大きく設定し、画面の重要度が低いほど、閾値を小さく設定する。また、画面の重要度に応じて閾値を設定する場合、図１２に示したステップＳＴ１２００及びステップＳＴ１２０１の処理は不要となる。

この発明に係る動画像表示装置は、画面の動き量やエラー位置に応じて、動画像と静止画像の切替えを適切に変更することで、視聴者が画像の乱れを認知することを最小限に抑えることができ、電波状況の悪化などによりエラーが発生した場合に、動画像から静止画像への切替えを行う動画像表示装置等に用いるのに適している。

Claims (3)

1. 受信データから符号化データを抽出するデータ生成部と、
   前記データ生成部により抽出された符号化データから動画像データを復号し、復号時のエラー情報をエラーの位置情報を含めて検出すると共に、動画像データに基づいて平坦領域を抽出する復号部と、
   前記復号部により復号された動画像データに含まれるエラー数がエラーに関する所定の閾値以下である場合に、動画像データを静止画像データとして記憶する記憶部と、
   前記復号部により復号された動画像データ又は前記記憶部に記憶された静止画像データを表示データとして出力する切り替え制御部とを備え、
   前記切替え制御部は、前記エラーの位置情報からエラー情報が前記平坦領域に存在し、かつ、周辺との輝度の差が輝度の差に関する閾値以上または／および周辺との明るさの差が明るさの差に関する閾値以上であるエラー数をカウントし、カウントしたエラー数がエラーに関する所定の閾値以上である場合に、前記記憶部に記載された静止画像データを表示データとして出力し、
   前記復号部は、復号したフレーム情報に基づいて、空間周波数を一定領域毎に求め、求めた空間周波数が所定の閾値以下の領域を全て含む集合を平坦領域として抽出することを特徴とする動画像表示装置。
2. 受信データから符号化データを抽出するデータ生成部と、
   前記データ生成部により抽出された符号化データから動画像データを復号し、復号時のエラー情報を検出する復号部と、
   前記復号部により復号された動画像データに含まれるエラー数がエラーに関する所定の閾値以下である場合に、動画像データを静止画像データとして記憶する記憶部と、
   ＯＳＤ上に表示するＯＳＤ画像の位置情報を生成するＯＳＤ画面制御部と、
   前記ＯＳＤ画面制御部により生成されたＯＳＤ画像の位置情報を保持する位置情報保持部と、
   前記復号部により復号された動画像データ又は前記記憶部に記憶された静止画像データを表示データとして出力する切り替え制御部とを備え、
   前記切替え制御部は、前記エラー情報に含まれるエラーの位置情報及び前記ＯＳＤ画像の位置情報から前記ＯＳＤ画像の表示位置以外の位置に存在するエラー数をカウントし、カウントしたエラー数がエラーに関する所定の閾値以上である場合に、前記記憶部に記憶された静止画像データを表示データとして出力することを特徴とする動画像表示装置。
3. 受信データから符号化データを抽出するデータ生成部と、
   前記データ生成部により抽出された符号化データから動画像データを復号し、復号時のエラー情報を検出する復号部と、
   前記復号部により復号された動画像データに含まれるエラー数がエラーに関する所定の閾値以下である場合に、動画像データを静止画像データとして記憶する記憶部と、
   前記復号部により復号された動画像データの画面の重要度を抽出する重要度情報抽出部と、
   前記復号部により復号された動画像データ又は前記記憶部に記憶された静止画像データを表示データとして出力する切り替え制御部とを備え、
   前記切替え制御部は、前記エラー情報からエラー数をカウントし、カウントしたエラー数がエラーに関する所定の閾値以上で、かつ、前記画面の重要度が重要度に関する所定の閾値以下である場合に、前記記憶部に記憶された静止画像データを表示データとして出力し、
   前記重要度情報抽出部は、前記データ生成部により出力されたメタデータまたは／および復号部により出力された音データに基づいて画面の重要度を抽出することを特徴とする動画像表示装置。

Images