JP5520302B2

JP5520302B2 - 映像端末及び表示画像形成方法

Info

Publication number: JP5520302B2
Application number: JP2011527096A
Authority: JP
Inventors: 正樹高橋; 敏夫岡
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2010-05-18
Filing date: 2011-04-05
Publication date: 2014-06-11
Anticipated expiration: 2031-04-05
Also published as: US20120099019A1; JPWO2011145256A1; US8749704B2; CN102474579A; CN102474579B; WO2011145256A1

Description

本発明は、映像端末及び表示画像形成方法に関する。

従来、動画表示における省電力化を実現する方法は、例えば、画面上におけるメニュー表示をトリガとしてフレームレートを制御するものがある（例えば、特許文献１参照）。

この方法では、先ず、デジタルカメラのメニュー表示指示の有無が判定される。そして、メニュー表示指示が無い場合には、スルー画のフレームレートが３０ｆｐｓに設定され、この設定レートによって映像処理が施された映像が出力される。一方、メニュー表示指示が有る場合には、フレームレートが１５ｆｐｓに設定され、この設定レートによって、映像処理が施された画像とメニュー画像とが合成される。

従来の方法では、このようなフレームレートの制御が実行されることにより、デジタルカメラにおけるスルー画と情報提供画像との重畳表示を行なうときの、デジタルカメラの消費電力を低下させることができる。

特開２００３−２７４２２１号公報

ところで、近年、映像端末には、高解像度、高画質、高フレームレートが要求される。これらの要求は、映像出力機能を有するモバイル端末に対してさえも、存在する。

また、近年、映像端末は、動画に重畳表示される画像の種類も多様になり、また、その画像の表現方法も複雑化する傾向にある。その画像の表現方法は、例えば、動画上のＯＳＤ（Ｏｎ−ＳｃｒｅｅｎＤｉｓｐｌａｙ）、バナー、ダイアログ等に対しても、半透過表示又はアニメーション等のより複雑な表現が求められるようになっている。

しかしながら、上記した従来技術のように、更新レートの切り替え基準を、動画に対する重畳画像の有無のみにすると、重畳画像の表現方法によっては、ユーザが動画の表示品質レベルの低下を感じてしまう問題がある。

本発明の目的は、動画に重畳表示される画像の種類が多様となり、その画像の表現方法が複雑化する場合においても、ユーザの感じる動画の表示品質レベルを維持しつつ、消費電力を削減することができる映像端末及び表示画像形成方法を提供することである。

本発明の一態様の映像端末は、動画である第１の画像に対して、前記第１の画像よりも上位レイヤに属する第２の画像を重ねた表示画像を形成する表示画像形成部と、前記表示画像において前記第１の画像が露出する露出面積に基づいて、前記表示画像における前記第１の画像の更新レートを決定する更新レート調整部と、を具備する。

本発明の一態様の表示画像形成方法は、動画である第１の画像に対して、前記第１の画像よりも上位レイヤに属する第２の画像を重ねた表示画像を形成するステップと、前記表
示画像において前記第１の画像が露出する露出面積に基づいて、前記表示画像における前記第１の画像の更新レートを決定するステップと、を具備する。

本発明によれば、動画に重畳表示される画像の種類が多様となり、その画像の表現方法が複雑化する場合においても、ユーザの感じる動画の表示品質レベルを維持しつつ、消費電力を削減することができる映像端末及び表示画像形成方法を提供することができる。

本発明の実施の形態１に係る映像出力装置の主要構成を示すブロック図本発明の実施の形態１に係る映像出力装置の構成を示すブロック図表示画像形成部の構成を示すブロック図更新レート調整部の構成を示すブロック図表示画像形成部及び更新レート調整部の処理の説明に供するフロー図表示画像形成部及び動画生成部の画像処理を模式的に示す図更新レート調整テーブルの一例を示す図表示される合成画像の例を示す図本発明の実施の形態２に係る表示画像形成部及び更新レート調整部の処理の説明に供するフロー図更新レート調整テーブルの一例を示す図

以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。

（実施の形態１）
図１は、本発明の実施の形態１に係る映像出力装置１００の主要構成を示すブロック図である。

図１において、表示画像形成部１０３は、動画である第１の画像に対して、前記第１の画像よりも上位レイヤに属する第２の画像を重ねた表示画像を形成する。そして、更新レート調整部１０４は、表示画像において第１の画像が露出する面積に基づいて、第１の画像の更新レートを決定する。

図２は、本発明の実施の形態１に係る映像出力装置１００の構成を示すブロック図である。図２において、映像出力装置１００は、画像生成部１０１と、動画生成部１０２と、表示画像形成部１０３と、更新レート調整部１０４と、表示処理部１０５とを有する。

画像生成部１０１は、画像レイヤ毎の画像データを生成する。画像レイヤには、動画レイヤを基準として、上層レイヤ及び下層レイヤがある。具体的には、画像生成部１０１は、上層レイヤの画像（上層画像）の基となる上層レイヤ部品画像を生成する。この上層レイヤ部品画像には、例えば、バナー、ダイアログ等が含まれる。また、画像生成部１０１は、下層レイヤの画像（下層画像）の基となる下層レイヤ部品画像を生成する。この下層レイヤ部品画像には、例えば、背景が含まれる。また、画像生成部１０１は、表示画像形成部１０３にて動画が挿入される動画レイヤ画像を生成する。この動画レイヤ画像には、動画が実際に挿入される領域（つまり、動画挿入領域）が設けられている。この動画挿入領域は、動画最大サイズを最大値として縮小可能である。ただし、ここでは、説明を簡単にするために、動画最大サイズで固定されているものとして説明する。

動画生成部１０２は、動画データを生成し、表示画像形成部１０３へ出力する。具体的
には、動画生成部１０２は、例えば、動画デコーダである。動画生成部１０２は、ローカルファイル、ネットワーク配信された映像、又は、ＴＶチューナから受信した映像の動画データを復号し、復号後の動画データを表示画像形成部１０３へ出力する。また、動画生成部１０２は、アニメーションを生成し、これを動画データとして出力してもよい。

動画生成部１０２は、更新レート調整部１０４から受け取る制御信号に基づいて、デコードのフレームレート、フレーム補間処理の補間間隔、又は、フレーム間引き処理の間引き間隔を変更する。これにより、本実施の形態は、表示処理部１０５から最終的に出力される動画フレームの更新レートを調整することができる。

表示画像形成部１０３は、部品画像群をレイヤ毎に合成（事前合成）し、全レイヤの画像及び動画生成部１０２から受け取る動画像を合成し、合成画像を表示処理部１０５へ出力する。この合成の際に、表示画像形成部１０３は、更新レート調整部１０４から受け取る制御信号に基づいて、動画像の合成頻度を変更する。これにより、本実施の形態は、表示処理部１０５から最終的に出力される動画フレームの更新レートを調整することができる。また、表示画像形成部１０３は、上位レイヤについての事前合成の際に半透明合成処理、又は、特殊処理（例えば、ぼかし処理又は暗化処理）を用いることがある。半透明合成（アルファ合成）処理とは、透過値（アルファ値）を残す合成処理である。

また、表示画像形成部１０３は、「動画の露出面積」を算出する。具体的には、半透明合成処理が行われていない場合、表示画像形成部１０３は、動画挿入領域の内、上位レイヤ画像によって覆われない領域（つまり、非重畳領域）の面積（例えば、画素数）を算出する。また、半透明合成処理が行われている場合、表示画像形成部１０３は、動画挿入領域内の各単位領域（例えば、画素）における不透過度と明度との積の総和を算出する。すなわち、「動画の露出面積」とは、動画が表示された状態において実際に露出する面積、又は、動画挿入領域内の各単位領域（例えば、画素）における不透過度と明度との積の総和である。なお、動画挿入領域内の各単位領域における不透過度とは、各単位領域に重畳される上層画像の透過度を透過度の最大値から減算した値である。

具体的には、表示画像形成部１０３は、図３に示すように、表示制御部１１１と、合成部１１２とを有する。

表示制御部１１１は、画像生成部１０１から、画像レイヤ毎の画像データを受け取り、部品画像群をレイヤ毎に合成（事前合成）する。この事前合成画像は、合成部１１２へ出力される。そして、表示制御部１１１は、上位レイヤ画像と動画挿入領域との配置関係から、動画挿入領域の内、重畳領域及び非重畳領域を特定する。そして、表示制御部１１１は、特定された重畳領域及び非重畳領域、半透明合成処理の有無、並びに不透過度に基づいて、「動画の露出面積」を算出する。

合成部１１２は、事前合成画像と、動画生成部１０２から受け取る動画像とを合成し、合成画像を表示処理部１０５へ出力する。この合成の際に、合成部１１２は、更新レート調整部１０４から受け取る制御信号に基づいて、動画像の合成頻度を変更する。

更新レート調整部１０４は、「動画の露出面積」、並びに特殊処理の有無及び種類に基づいて、動画像の更新レートを決定する。「動画の露出面積」とは、上述の通り、動画が表示された状態において実際に露出する面積、又は、動画挿入領域内の各単位領域（例えば、画素）における不透過度と明度との積の総和である。

具体的には、更新レート調整部１０４は、更新レート調整テーブルと、表示画像形成部１０３において実際に採用された動画状況パターンとに基づいて、更新レートを決定する
。更新レート調整テーブルは、動画状況パターン候補と、更新レートの目標値とを対応付けたテーブルである。そして、動画状況パターン候補は、「動画の露出面積」、特殊処理の有無、及び特殊処理の種類の組み合わせである。なお、更新レート調整テーブルは、更新レート調整部１０４が具備するメモリ（図示せず）に保持されている。

更新レート調整部１０４は、決定した更新レートに基づいて更新レート制御信号を生成し、動画生成部１０２、表示画像形成部１０３、及び表示処理部１０５へ出力する。

具体的には、更新レート調整部１０４は、図４に示すように、更新レート決定部１３１と、制御信号生成部１３２とを有する。上述した更新レート調整部１０４の処理の内、更新レートの決定処理は、更新レート決定部１３１において行われる。一方、更新レート制御信号の生成処理は、制御信号生成部１３２において行われる。

表示処理部１０５は、表示画像形成部１０３から合成画像を受け取り、この合成画像を表示手段（例えば、ディスプレイ、又は、投影機等）に表示させる制御を行う。この制御の際、表示処理部１０５は、更新レート調整部１０４から受け取る更新レート制御信号に基づいて、合成画像の更新周期を変更する。

以上の構成を有する映像出力装置１００の動作について、図５，６，７，８を参照して説明する。図５は、主に、表示画像形成部１０３及び更新レート調整部１０４の処理の説明に供するフロー図である。図６は、表示画像形成部１０３及び動画生成部１０２の画像処理を模式的に示す図である。図７は、更新レート調整テーブルの一例を示す図である。図８は、表示される合成画像の例を示す図である。

図５のステップＳＴ２０１において、表示画像形成部１０３は、画像生成部１０１から、画像レイヤ毎の画像データを受け取り、部品画像群をレイヤ毎に合成（事前合成）する。

例えば、図６に示すように、表示制御部１１１は、上層レイヤの部品画像群３０６を事前合成し、上層画像３０１（図６においては、透明領域３０４を含む）を形成する。また、表示制御部１１１は、動画レイヤ画像３０２（図６に示すように、動画挿入領域３０５を含む）及び下層画像レイヤ３０３も形成する。なお、ここでは、合成部１１２では、上層画像３０１、動画レイヤ画像３０２、下層画像３０３の３面合成を行うことを前提として説明しているが、本発明はこれに限定されるものではない。本実施の形態は、例えば、合成部１１２が、下層画像３０３の存在しない２面合成をしてもよい。また、本実施の形態においては、上層画像３０１における部品画像群３０６の事前合成を行わず、動画レイヤ画像３０２の上層にあたる部品画像群３０６を順次、合成又は半透明合成してもよい。

図５に戻り、ステップＳＴ２０２において、表示画像形成部１０３は、上位レイヤ画像と動画挿入領域との配置関係から、動画挿入領域の内、重畳領域及び非重畳領域を特定する。

ステップＳＴ２０３において、表示画像形成部１０３は、特定された重畳領域及び非重畳領域、半透明合成処理の有無、並びに不透過度に基づいて、「動画の露出面積」を算出する。「動画の露出面積」とは、上述の通り、動画が表示された状態において実際に露出する面積、又は、動画挿入領域内の各単位領域（例えば、画素）における不透過度と明度との積の総和である。なお、動画の露出面積は、不透過度のみの総和、もしくは明度のみの総和でも構わない。

ステップＳＴ２０４において、更新レート調整部１０４は、更新レート調整テーブルと
、表示画像形成部１０３において実際に採用された動画状況パターンとに基づいて、更新レートを決定する。更新レート調整テーブルは、動画状況パターン候補と更新レートの目標値とを対応付けたテーブルである。動画状況パターン候補は、「動画の露出面積」、特殊処理の有無、及び特殊処理の種類の組み合わせである。

更新レート調整テーブルは、例えば、図７に示すような構成となる。図７には、次のことを前提とする更新レート調整テーブルの一例が示されている。すなわち、更新レート調整テーブルの前提として、動画挿入領域３０５の大きさは、８００ピクセル×４８０ピクセルである。上層画像の透過値は、［０，２５５］の範囲において示され、０の場合を全透過、２５５を非透過とする。動画の明るさは、［０，１５］の範囲の明るさ値として数値によって示され、０を不可視、１５を動画本来の明るさを意味する。この前提の元では、上記ステップＳＴ２０３において、次のように「動画の露出面積」が算出される。すなわち、動画の露出面積は、「動画の露出面積」＝「１ピクセル目：（不透過値）×明るさ値」＋「２ピクセル目：（不透過値）×明るさ値」＋…＋「３８４，０００ピクセル目：（不透過値）×明るさ値」となる。また、ここで、不透過度とは、ピクセル毎の透過値を、その最大値である２５５から減算したものである。

そして、更新レート調整部１０４は、図７を用いる場合、算出された「動画の露出面積」が属する、指標項目に挙げられている数字によって表された範囲に対応する更新レートに決定する。また、更新レート調整部１０４は、動画像にぼかし処理という特殊処理が用いられた場合には、「動画の露出面積」に関わらず所定の更新レート（図７においては、最小の更新レートである８fps）に決定する。

より詳細には、図８Ａ，Ｂに示すように、動画上に上層画像が無い場合又は有っても極わずかの場合には、最大値である６０fpsが設定される。また、図８Ｃに示すように、動画上に上層画像が重畳されると共に動画像にも暗化処理が施されている場合には、更新レートを落としてもユーザに不自然さを感じさせることがないので、更新レートとして、例えば、３０fpsが設定される。また、図８Ｄのように、動画にぼかし処理が施されている場合には、更新レートとして、例えば、最小の８fpsが設定される。

図５に戻り、ステップＳＴ２０５において、更新レート調整部１０４は、決定した更新レートに基づいて更新レート制御信号を生成し、動画生成部１０２、表示画像形成部１０３、及び表示処理部１０５へ出力する。なお、ここで、更新レート調整部１０４は、動画生成部１０２、表示画像形成部１０３、及び表示処理部１０５の全てに更新レート制御信号を出力しているが、本発明はこれに限定されるものではない。更新レート調整部１０４は、動画生成部１０２、表示画像形成部１０３、及び表示処理部１０５のいずれか１つに対して更新レート制御信号を出力してもよい。また、更新レート調整部１０４は、動画生成部１０２、表示画像形成部１０３、及び表示処理部１０５の内の任意の組み合わせに対して、更新レート制御信号を出力してもよい。つまり、本実施の形態では、表示処理部１０５から最終的に出力される動画フレームの更新レートを調整できればよい。

そして、図６に示すように、合成部１１２は、事前合成画像と、動画生成部１０２から受け取る動画像とを合成し、合成画像を表示処理部１０５へ出力する。

以上のように、本実施の形態に係る映像出力装置１００においては、更新レート調整部１０４が、「動画の露出面積」に基づいて、動画像の更新レートを決定する。

こうすることによって、本実施の形態は、動画に重畳表示される画像の種類が多様となり、その画像の表現方法が複雑化する場合においても、ユーザの感じる動画の表示品質レベルを維持しつつ、消費電力を低下することができる。

なお、以上の説明においては、動画挿入領域が動画最大サイズに固定されているものとして説明したが、これに限定されるものではなく、動画挿入領域が縮小されてもよい。この場合には、動画挿入領域の面積と非重畳領域の面積との比を、「動画の露出面積」として扱えばよい。

（実施の形態２）
実施の形態２においては、動画挿入領域に上位レイヤ画像が重畳されず、且つ、動画挿入領域が縮小可能な実施形態について説明する。

実施の形態２に係る映像出力装置の基本構成は、実施の形態１と共通するので、図２を援用して説明する。

実施の形態２に係る映像出力装置１００の表示画像形成部１０３は、「動画の露出面積」を算出する。実施の形態２においては、「動画の露出面積」として、映像出力装置１００が表示可能な動画最大サイズに対する動画挿入領域のサイズの比率（つまり、「サイズ比率」）が用いられる。

更新レート調整部１０４は、「サイズ比率」、並びに特殊処理の有無及び種類に基づいて、動画像の更新レートを決定する。具体的には、更新レート調整部１０４は、更新レート調整テーブルと、表示画像形成部１０３において実際に採用された動画状況パターンとに基づいて、更新レートを決定する。ここで、更新レート調整テーブルは、動画状況パターン候補と更新レートの目標値とを対応付けたテーブルである。そして、動画状況パターン候補は、「縮小比率」、特殊処理の有無、及び特殊処理の種類の組み合わせである。なお、更新レート調整テーブルは、更新レート調整部１０４が具備するメモリ（図示せず）に保持されている。

以上の構成を有する映像出力装置１００の動作について、図９，１０を参照して説明する。図９は、主に、表示画像形成部１０３及び更新レート調整部１０４の処理の説明に供するフロー図である。図１０は、更新レート調整テーブルの一例を示す図である。

図９のステップＳＴ４０１において、表示画像形成部１０３は、「サイズ比率」を算出する。

ステップＳＴ４０２において、更新レート調整部１０４は、更新レート調整テーブルと、表示画像形成部１０３において実際に採用された動画状況パターンとに基づいて、更新レートを決定する。ここで、更新レート調整テーブルは、動画状況パターン候補と更新レートの目標値とを対応付けたテーブルである。そして、動画状況パターン候補は、「サイズ比率」、特殊処理の有無、及び特殊処理の種類の組み合わせである。

更新レート調整テーブルは、例えば、図１０に示すような構成となる。図１０を用いる場合、算出された「サイズ比率」が属する、指標項目に挙げられている数字によって表された範囲に対応する更新レートに決定される。具体的には、サイズ比率が小さい程、更新レートも小さく設定される。これは、動画サイズが小さいほど、更新レートを落としてもユーザに不自然さを感じさせないからである。また、動画像にぼかし処理という特殊処理が用いられた場合には、「サイズ比率」に関わらず所定の更新レート（図１０においては、最小の更新レートである８fps）に決定される。

以上のように本実施の形態に係る映像出力装置１００において、更新レート調整部１０４は、「サイズ比率」に基づいて、動画像の更新レートを決定する。

こうすることによって、本実施の形態は、動画に重畳表示される画像の種類が多様となり、その画像の表現方法が複雑化する場合でも、ユーザの感じる動画の表示品質レベルを維持しつつ、消費電力を低下することができる。

（他の実施の形態）
（１）実施の形態１と実施の形態２とは、組み合わされてもよい。すなわち、本実施の形態は、動画挿入領域が最大画像サイズか否かが判定され、最大画像サイズであれば、実施の形態１のフローが実行される。一方、最大画像サイズでなければ（つまり、動画挿入領域が縮小されていれば）、本実施の形態は、実施の形態２のフローが実行される。

（２）上記各実施の形態において、更新レート調整部１０４は、決定した更新レート（目標値）に対して、動画の実際の更新レートを段階的に近づけてもよい。これにより、本実施の形態は、急激な更新レートの変更に伴い視聴者が感じる違和感を緩和又は防止することができる。また、同じ効果を得るためには、動画生成部１０２、表示画像形成部１０３、及び表示処理部１０５のそれぞれが、更新レート調整部１０４から受け取る制御信号が示す調整目標値に対して、更新レートを段階的に近づけてもよい。

（３）上記各実施の形態は、動画挿入領域が１つの閉じた領域である場合について説明したが、本発明はこれに限定されるものではなく、動画挿入領域が複数の独立した領域であってもよい。この場合には、複数の独立した領域のそれぞれに対して、動画像の更新レートを決定してもよいし、複数の独立した領域を１つの領域として捉えて、全体の更新レートを決定してもよい。

（４）上記各実施の形態は、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連携においてソフトウェアによっても実現することも可能である。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路または汎用プロセッサによって実現してもよい。また、集積回路化は、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。

さらには、本実施の形態は、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。また、本実施の形態は、バイオ技術の適用等が可能性としてありえる。

２０１０年５月１８日出願の特願２０１０−１１４４３９の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明の映像端末及び表示画像形成方法は、動画に重畳表示される画像の種類が多様となり、その画像の表現方法が複雑化する場合においても、ユーザの感じる動画の表示品質レベルを維持しつつ、消費電力を削減することができるものとして有用である。

１００映像出力装置
１０１画像生成部
１０２動画生成部
１０３表示画像形成部
１０４更新レート調整部
１０５表示処理部
１１１表示制御部
１１２合成部
１３１更新レート決定部
１３２制御信号生成部

Claims

動画である第１の画像に、第２の画像をレイヤ構造で重ねた表示画像であって、前記第２の画像は前記第１の画像が属するレイヤよりも上層のレイヤに属する表示画像を形成する表示画像形成部であって、
前記表示画像において、前記第２の画像を前記第１の画像を半透明にして重ねる際に、前記第１の画像内の各単位領域において予め定められた不透過度と明度との積の、前記第１の画像の全体における総和に基づいて、前記表示画像における前記第１の画像の動画フレームの更新レートを決定する更新レート調整部と、
を具備する映像端末。
前記第１の画像内の各単位領域における不透過度と明度との積の、前記第１の画像の全体における総和と、それに基づく前記更新レートとの関係をあらかじめ対応付けた更新レート調整テーブルをさらに備え、
前記更新レート調整部は、前記更新レート調整テーブルで対応付けられた前記更新レートにより、更新レートを決定する、
請求項１に記載の映像端末。
動画である第１の画像に、第２の画像をレイヤ構造で重ねた表示画像であって、前記第２の画像は前記第１の画像が属するレイヤよりも上層のレイヤに属する表示画像を形成するステップと、
前記表示画像において、前記第２の画像を前記第１の画像を半透明にして重ねる際に、前記第１の画像内の各単位領域において予め定められた不透過度と明度との積の、前記第１の画像の全体における総和に基づいて、前記表示画像における前記第１の画像の動画フレームの更新レートを決定するステップと、
を具備する表示画像形成方法。