JP4128466B2 - Content display device - Google Patents

Content display device Download PDF

Info

Publication number
JP4128466B2
JP4128466B2 JP2003037104A JP2003037104A JP4128466B2 JP 4128466 B2 JP4128466 B2 JP 4128466B2 JP 2003037104 A JP2003037104 A JP 2003037104A JP 2003037104 A JP2003037104 A JP 2003037104A JP 4128466 B2 JP4128466 B2 JP 4128466B2
Authority
JP
Japan
Prior art keywords
frame
content
unit
moving image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003037104A
Other languages
Japanese (ja)
Other versions
JP2004248076A (en
Inventor
麻奈美 内藤
田中　　敦
一也 前嶋
透 室園
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2003037104A priority Critical patent/JP4128466B2/en
Publication of JP2004248076A publication Critical patent/JP2004248076A/en
Application granted granted Critical
Publication of JP4128466B2 publication Critical patent/JP4128466B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【０００１】
【発明の属する技術分野】
この発明は、コンテンツ表示装置に関するものである。
【０００２】
【従来の技術】
従来のコンテンツ表示装置は、多数の動画または静止画のコンテンツをスクリーン上に表示しようとするとコンテンツの数や面積に応じて徐々に処理性能が劣化し、想定していたレートでの動画の表示ができなかったり、動きが遅れたりする問題があった。
【０００３】
従来のコンテンツ表示装置の例として、特許文献１には複数の画像を任意の位置に配置し、画面合成を行う技術が開示されている。また、合成した画面を一定間隔で表示することによって擬似動画を表示する技術が開示されている。
【０００４】
【特許文献１】
特開平６−３３９４７５号公報
【０００５】
【発明が解決しようとする課題】
従来のコンテンツ表示装置では、静止画や動画、文字列などの多数のコンテンツが混在した状態では、動画の性能を劣化させることなく全画面動画を合成し、表示することは実現されていなかった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、動画を含む多数のコンテンツを、処理性能を落とさずに表示できるコンテンツ表示装置を得ることを目的とする。
【０００７】
【課題を解決するための手段】
この発明に係るコンテンツ表示装置は、動画像のコンテンツおよび静止系のコンテンツからなる複数のコンテンツの画像データの、フレームメモリ上における格納位置を指定するレイアウト情報に基づいて、各コンテンツの配置位置を決定するコンテンツレイアウト部と、コンテンツレイアウト部により配置された全てのコンテンツを、動画像コンテンツ群と、動画像以外の静止系コンテンツ群に分別するコンテンツ分別部と、コンテンツレイアウト部によりフレームメモリ上における各コンテンツの格納位置が決定された状態で、動画像コンテンツ群の１つのフレーム画像を生成する処理を繰り返すことにより複数のフレーム画像を生成するフレーム生成部と、フレーム生成部で生成された複数のフレーム画像を集めることにより１つの合成動画像を生成する合成動画像生成部と、合成動画像の再生画像データをフレームメモリに格納する合成動画像再生部と、合成動画像再生部により格納された合成動画像が背景画像として重ねて表示されるように静止系コンテンツ群の画像データをフレームメモリに格納するコンテンツ描画部とを備えたものである。
【０００８】
【発明の実施の形態】
以下、この発明の実施の様々な形態を説明する。
実施の形態１．
図１は、この発明の実施の形態１によるコンテンツ表示装置の構成を示すブロック図である。
図に示すように、コンテンツ表示装置は、コンテンツレイアウト部１２、フレーム生成部１８、フレーム画像格納部８、合成動画像生成部３１、合成動画像再生部３２、フレームメモリ１７、スクリーン１６を備える。フレーム生成部１８は、コンテンツ再生部１９、フレーム合成部３０、再生時間設定部５１、フレーム数決定部５２、フレームレート設定部６１を備える。
コンテンツレイアウト部１２、フレーム生成部１８、コンテンツ再生部１９、フレーム合成部３０、再生時間設定部５１、フレーム数決定部５２、フレームレート設定部６１、合成動画像生成部３１、合成動画像再生部３２は、コンテンツ表示装置の中央演算処理装置を、該中央演算処理装置の動作を制御するプログラムのモジュールに従って便宜的に分割したものである。
【０００９】
次に動作について説明する。
ここでは、スクリーン１６上に、動画像１，３、静止画２、文字列４を表示する場合を考える。動画像１は３２０ｘ２４０の形状でフレームレートは３０ｆｒａｍｅ／ｓｅｃ、再生時間は１０ｓｅｃである。動画像３は、４００ｘ３００の形状でフレームレートは２０ｆｒａｍｅ／ｓｅｃ長さは１５ｓｅｃである。また、静止画２は４００ｘ３００、文字列４は８００ｘ２００の形状である。
【００１０】
コンテンツレイアウト部１２は、動画像１，３、静止画２、文字列４を読み込み、レイアウト情報ｂに基づいて各コンテンツのレイアウトを行う。
【００１１】
レイアウト情報ｂには、フレームメモリ１７内における各コンテンツのデータの格納位置が示されている。ここでは、動画像１を（６４０，５０）から、静止画２を（１００，１００）から、動画像３を（２００，６５０）から、文字列４を（３００，５１２）から配置するという情報が記されている。
図２に、レイアウト情報ｂに基づくレイアウトの結果を示す。
【００１２】
さらに、コンテンツレイアウト部１２は、クリップ領域情報ｃに基づいてレイアウトを再調整する。クリップ領域情報ｃには、スクリーン１６上でコンテンツを表示できない範囲に対応するフレームメモリ１７の領域（以下、クリップ領域という。）が示されている。ここでは、（８４０，０），（９４０，０），（９４０，１０２４），（８４０，１０２４）で囲まれた矩形の範囲がクリップ領域に指定されている。図３にクリップ領域情報ｃを反映したレイアウトを示す。図中、斜線で示されたクリップ領域は、動画像１と文字列４に重なるレイアウトになる。このため、動画像１と文字列４を分割して配置する必要がある。この際、動画像１と文字列４を途中で２つに分割して配置するのではなく、それぞれを２つ配置し、必要な部分の矩形領域のみを表示する。それぞれ１Ａ，１Ｂ，４Ａ，４Ｂとする。
【００１３】
具体的には、動画像１Ａを始点（６４０，５０）で配置して（６４０，５０），（８４０，５０），（８４０，２９０），（６４０，２９０）で示される矩形領域のみ表示するようにし、動画像１Ｂを始点（７４０，５０）で配置して（８６０，５０），（１０６０，５０），（１０６０，２９０），（８６０，２９０）で示される矩形領域のみ表示するようにする。また、文字列４Ａを始点（３００，５１２）で配置して（３００，５１２），（８４０，５１２），（８４０，７１２），（３００，７１２）で示される矩形領域のみ表示し、文字列４Ｂを始点（４００，５１２）で配置して（９４０，５１２），（１２００，５１２），（１２００，７１２），（９４０，１２００）で示される矩形領域のみ配表示する。
【００１４】
コンテンツレイアウト部１２は、これらのコンテンツデータ、レイアウト情報ｂ、およびクリップ領域情報ｃを、コンテンツ表示装置内から、あるいは電気通信回線を介して他のコンピュータから、または記録媒体等から取得する。
【００１５】
次に、コンテンツレイアウト部１２は、読み込まれたコンテンツのうち動画像１，３の再生時間を再生時間設定部５１に渡す。再生時間設定部５１は、動画像１の再生時間１０ｓｅｃと、動画像３の再生時間１５ｓｅｃの最小公倍数である３０ｓｅｃを再生時間として算出する。再生時間設定部５１は、算出結果をフレーム数決定部５２に通知する。
【００１６】
また、コンテンツレイアウト部１２は、読み込まれたコンテンツのうち動画像１，３のフレームレートをフレームレート設定部６１に渡す。フレームレート設定部６１は、動画像１のフレームレート３０ｆｒａｍｅ／ｓｅｃと、動画像３のフレームレート２０ｆｒａｍｅ／ｓｅｃのうちの最大値３０ｆｒａｍｅ／ｓｅｃをフレームレートとして算出する。フレームレート設定部６１は、算出結果をフレーム数決定部５２に通知する。
【００１７】
次に、フレーム数決定部５２は、フレームレート設定部６１から通知されたフレームレートと、再生時間設定部５１から通知された再生時間から、再生するフレーム数を決定する。ここでは、３０ｆｒａｍｅ／ｓｅｃのフレームレートで３０ｓｅｃの再生を行うため、フレーム数は９００ｆｒａｍｅとなる。
フレーム数決定部５２は、決定したフレーム数をコンテンツ再生部１９に通知する。
【００１８】
次にコンテンツ再生部１９は、コンテンツレイアウト部１２でレイアウトされた複数のコンテンツを１フレーム分再生し、再生した画像データをフレーム合成部３０に渡す。
【００１９】
フレーム合成部３０は、渡された再生画像を全画面の１フレーム分のフレーム画像７として出力し、フレーム画像格納部８に保管する。図４に出力される画像を示す。
【００２０】
コンテンツ再生部１９は、次の１フレームの画像を再生し、同様にフレーム合成部３０に渡す。フレーム合成部３０はフレーム画像７を出力し、フレーム画像格納部８に保管する。
これらの処理をフレーム数決定部５２により決定された９００ｆｒａｍｅ分繰り返す。その際、動画像データが終端まで言った場合には繰り返し再生を行う。すなわち、３００ｆｒａｍｅで構成される動画像１は３回繰り返される。また、動画像３については、２０ｆｒａｍｅ／ｓｅｃのフレームレートを３０ｆｒａｍｅ／ｓｅｃに変換する必要があるので２フレームに１回同じフレームを再生し画像を補間する必要がある。このため、繰り返し回数は２回となる。
【００２１】
次にフレーム画像格納部８は、格納された９００フレーム分のフレーム画像を合成動画像生成部３１に渡す。
【００２２】
次に合成動画像生成部３１は、渡された９００フレーム分のフレーム画像を用いて１つの動画像データを生成し、合成動画像９として合成動画像再生部３２に渡す。
【００２３】
次に、合成動画像再生部３２は、合成動画像９をフレームメモリ１７に展開し、スクリーン１６に表示する。図５にスクリーン１６に表示された結果を示す。図に示すように、非常口等の存在により、表示できない範囲がある場合には、その部分を避けてコンテンツ画像が表示される。
【００２４】
以上のように、この実施の形態１によれば、コンテンツレイアウト部１２が動画像や静止画を含む複数のコンテンツをレイアウトし、フレーム生成部１８がレイアウトされた複数のコンテンツを１フレームずつ再生して、全画面のフレーム画像を複数生成し、生成された複数のフレーム画像から、合成動画像生成部３１が１つの合成動画像を生成するようにした。これにより、コンテンツが多数になっても、１つの合成動画像として処理できるので、処理性能を落とさず再生表示を行うことができる。また、動画像間の同期が完全に保証される。また、同じコンテンツを同じレイアウトで表示するのであれば、１度合成動画像を生成しておくことにより、合成動画像再生部３２のみでコンテンツ表示を行うことができる。
【００２５】
さらに、コンテンツレイアウト部１２は、コンテンツが表示できないクリップ領域も含めてコンテンツのレイアウトを行うので、スクリーン上で表示できない部分を避けてコンテンツを表示することができる。
【００２６】
また、再生時間設定部５１が複数の動画像の再生時間の最小公倍数を、合成動画像の再生時間として設定し、フレーム数決定部５２が設定された再生時間を基に生成するフレーム画像数を決定するようにしたので、複数の動画像が含まれる場合に、両方の画像を同時に最後まで取り込むことができる。
【００２７】
また、フレームレート設定部６１が複数の動画像のフレームレートの最大値を、合成動画像のフレームレートとして設定し、フレーム数決定部５２が設定されたフレームレートを基に生成するフレーム画像数を決定するようにしたので、複数の動画像が含まれる場合に、コマ落ちなどを防ぐことができる。
【００２８】
実施の形態２．
実施の形態２では、動画像のみを合成動画像として再構成し、背景動画像としてスクリーンに表示する。動画像以外のコンテンツは背景動画像の上に重ねて表示する。
【００２９】
図６は、この発明の実施の形態２によるコンテンツ表示装置の構成を示すブロック図である。図１と同一の符号は同一の構成要素を表している。実施の形態２のコンテンツ表示装置は、コンテンツ分別部２１、コンテンツ描画部１４を備えている。また、フレーム生成部２８は、図１のフレーム生成部１８に相当する構成要素であるが、フレーム生成部２８は、コンテンツ再生部１９、フレーム合成部３０、および外接矩形切り出し部４１を有している。
コンテンツレイアウト部１２、コンテンツ分別部２１、コンテンツ描画部１４、フレーム生成部２８、コンテンツ再生部１９、フレーム合成部３０、外接矩形切り出し部４１、合成動画像生成部３１、および合成動画像再生部３２は、コンテンツ表示装置の中央演算処理装置を、該中央演算処理装置の動作を制御するプログラムのモジュールに従って便宜的に分割したものである。
【００３０】
次に動作について説明する。
実施の形態１と同様に、スクリーン１６上に、動画像１，３、静止画２、文字列４を表示する場合を考える。動画像１は３２０ｘ２４０の形状でフレームレートは３０ｆｒａｍｅ／ｓｅｃ、再生時間は１０ｓｅｃである。動画像３は、４００ｘ３００の形状でフレームレートは２０ｆｒａｍｅ／ｓｅｃ長さは１５ｓｅｃである。また、静止画２は４００ｘ３００、文字列４は８００ｘ２００の形状である。
【００３１】
コンテンツレイアウト部１２は、動画像１，３、静止画２、文字列４を読み込み、レイアウト情報ｂに基づいて各コンテンツのレイアウトを行う。
【００３２】
レイアウト情報ｂには、フレームメモリ１７内における各コンテンツのデータの格納位置が示されている。ここでは、動画像１を（６４０，５０）から、静止画２を（１００，１００）から、動画像３を（２００，６５０）から、文字列４を（３００，５１２）から配置するという情報が記されている。
図２に、レイアウト情報ｂに基づくレイアウトの結果を示す。
【００３３】
次に、コンテンツ分別部２１は、コンテンツを動画像（動画像コンテンツ群）と動画像以外の静止系コンテンツ（静止系コンテンツ群）に振り分ける。動画像はフレーム生成部２８において処理され、静止系コンテンツはコンテンツ描画部１４において処理される。
【００３４】
ここでは、動画像１，３がフレーム生成部２８に渡される。また、静止画２および文字列４が静止系のコンテンツとなり、コンテンツ描画部１４に渡される。
【００３５】
フレーム生成部２８においては、コンテンツ再生部１９がコンテンツレイアウト部１２でレイアウトされたコンテンツを１フレーム分再生し、結果をフレーム合成部３０に渡す。
【００３６】
フレーム合成部３０は、渡された再生画像を全画面の１フレーム分のフレーム画像７として出力し、外接矩形切り出し部４１に渡す。
【００３７】
外接矩形切り出し部４１は、フレーム画像７から、動画像１，３に接する外接矩形を切り出し、フレーム画像７Ａとして出力し、フレーム画像格納部８に保管する。図７に出力される画像を示す。
【００３８】
コンテンツ再生部１９は、次の１フレームの画像を再生し、同様にフレーム合成部３０に渡す。フレーム合成部３０はフレーム画像７を出力し、外接矩形切り出し部４１に渡す。外接矩形切り出し部４１は、フレームメモリ１７を動画像１，３に接する外接矩形を切り出し、フレーム生成部２８に格納する。
これらの処理を繰り返し、フレーム画像格納部８にフレーム画像を蓄積していく。
【００３９】
次にフレーム画像格納部８は、格納された複数のフレーム画像を合成動画像生成部３１に渡す。
【００４０】
次に合成動画像生成部３１は、渡された複数のフレーム画像を用いて１つの動画像データを生成し、合成動画像９として合成動画像再生部３２に渡す。
【００４１】
次に、合成動画像再生部３２は、合成動画像９をフレームメモリ１７に展開する。この際、合成動画像９がスクリーン１６上で背景画像として表示されるようにフレームメモリ１７に格納する。
【００４２】
コンテンツ描画部１４は、コンテンツレイアウト部１２でレイアウトされた静止画２および文字列４の画像データをフレームメモリ１７に格納する。図８にコンテンツ描画部１４により格納される画像を示す。
この際、スクリーン１６上で背景画像として表示される合成動画像９の上に重ねて表示されるようにフレームメモリ１７に静止画２と文字列４を格納する。その結果、スクリーン１６上には、図２のような画像が表示される。
【００４３】
以上のように、この実施の形態２によれば、コンテンツ分別部２１が、レイアウトされたコンテンツを動画像と静止系コンテンツに振り分け、動画像のみから合成動画像を生成する。合成動画像は合成動画像再生部３２によりスクリーン上に背景画像として表示されるようフレームメモリ１７に展開すると共に、静止系コンテンツはコンテンツ描画部１４により合成動画像の上に表示されるようにフレームメモリ１７に格納する。これにより、静止画や文字列の画質劣化を防ぐことができる。また、静止画や文字列の入れ替えも容易である。
【００４４】
また、動画像については、動画像同士の同期が保証され、コンテンツ数の増加による性能劣化も防ぐことができる。また、動画像の外接矩形で切り出しを行うことにより動画のデータ量が削減され、処理効率のよい合成動画像が得られる。
【００４５】
【発明の効果】
以上のように、この発明によれば、動画を含む多数のコンテンツを、処理性能を落とさずに表示できるコンテンツ表示装置を得られるという効果がある。
【図面の簡単な説明】
【図１】 この発明の実施の形態１によるコンテンツ表示装置の構成を示すブロック図である。
【図２】 この発明の実施の形態１によるコンテンツレイアウト部によるレイアウト情報に基づくレイアウトを示す図である。
【図３】 この発明の実施の形態１によるコンテンツレイアウト部によるクリップ領域情報を反映したレイアウトを示す図である。
【図４】 この発明の実施の形態１によるフレーム画像の例である。
【図５】 この発明の実施の形態１によるスクリーンに表示される画像の例である。
【図６】 この発明の実施の形態２によるコンテンツ表示装置の構成を示すブロック図である。
【図７】 この発明の実施の形態２によるフレーム画像の例である。
【図８】 この発明の実施の形態２によるコンテンツ描画部によりフレームメモリに格納される画像データに対応する画像の例である。
【符号の説明】
８ フレーム画像格納部、１２ コンテンツレイアウト部、１４ コンテンツ描画部、１６ スクリーン、１７ フレームメモリ、１８ フレーム生成部、１９ コンテンツ再生部、２１ コンテンツ分別部、２８ フレーム生成部、３０ フレーム合成部、３１ 合成動画像生成部、３２ 合成動画像再生部、４１ 外接矩形切り出し部、５１ 再生時間設定部、５２ フレーム数決定部、６１ フレームレート設定部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a content display device.
[0002]
[Prior art]
In conventional content display devices, when a large number of moving images or still image contents are displayed on the screen, the processing performance gradually deteriorates depending on the number and area of the contents, and the moving image can be displayed at an expected rate. There was a problem that it could not be done or the movement was delayed.
[0003]
As an example of a conventional content display device, Patent Document 1 discloses a technique for arranging a plurality of images at arbitrary positions and performing screen composition. In addition, a technique for displaying a pseudo moving image by displaying a synthesized screen at a constant interval is disclosed.
[0004]
[Patent Document 1]
Japanese Patent Laid-Open No. 6-339475
[Problems to be solved by the invention]
In a conventional content display device, in a state where a large number of contents such as still images, moving images, and character strings are mixed, it has not been possible to synthesize and display a full-screen moving image without degrading the performance of the moving image.
[0006]
The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a content display device capable of displaying a large number of contents including moving images without degrading the processing performance.
[ 0007 ]
[Means for Solving the Problems]
The content display device according to the present invention determines an arrangement position of each content based on layout information for designating a storage position on the frame memory of image data of a plurality of contents including moving image contents and still contents. Content layout unit, a content classification unit that classifies all content arranged by the content layout unit into a moving image content group, a static content group other than a moving image, and each content on the frame memory by the content layout unit The frame generation unit that generates a plurality of frame images by repeating the process of generating one frame image of the moving image content group in a state where the storage position of the frame is determined, and the plurality of frame images generated by the frame generation unit 1 by collecting Tsunogo A synthesized moving image generation unit for generating a moving image, a synthesized moving image playback unit for storing reproduced image data of the synthesized moving image in the frame memory, synthesized moving image stored by the synthesized moving image reproducing section are superimposed as the background image And a content rendering unit that stores image data of a static content group in a frame memory so as to be displayed .
[ 0008 ]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, various embodiments of the present invention will be described.
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a configuration of a content display device according to Embodiment 1 of the present invention.
As shown in the figure, the content display device includes a content layout unit 12, a frame generation unit 18, a frame image storage unit 8, a composite video generation unit 31, a composite video playback unit 32, a frame memory 17, and a screen 16. The frame generation unit 18 includes a content reproduction unit 19, a frame synthesis unit 30, a reproduction time setting unit 51, a frame number determination unit 52, and a frame rate setting unit 61.
Content layout unit 12, frame generation unit 18, content reproduction unit 19, frame synthesis unit 30, reproduction time setting unit 51, frame number determination unit 52, frame rate setting unit 61, synthesized moving image generation unit 31, synthesized moving image reproduction unit Reference numeral 32 denotes a central processing unit of the content display device that is conveniently divided according to a program module that controls the operation of the central processing unit.
[ 0009 ]
Next, the operation will be described.
Here, a case where moving images 1 and 3, a still image 2, and a character string 4 are displayed on the screen 16 is considered. The moving image 1 has a shape of 320 × 240, a frame rate of 30 frames / sec, and a reproduction time of 10 sec. The moving image 3 has a 400 × 300 shape, a frame rate of 20 frames / sec, and a length of 15 sec. Still image 2 has a shape of 400 × 300, and character string 4 has a shape of 800 × 200.
[ 0010 ]
The content layout unit 12 reads the moving images 1 and 3, the still image 2, and the character string 4 and performs layout of each content based on the layout information b.
[ 0011 ]
The layout information b indicates the storage position of each content data in the frame memory 17. Here, the information that moving image 1 is arranged from (640, 50), still image 2 is arranged from (100, 100), moving image 3 is arranged from (200, 650), and character string 4 is arranged from (300, 512). Is marked.
FIG. 2 shows a layout result based on the layout information b.
[ 0012 ]
Further, the content layout unit 12 readjusts the layout based on the clip area information c. The clip area information c indicates an area of the frame memory 17 (hereinafter referred to as a clip area) corresponding to a range in which content cannot be displayed on the screen 16. Here, a rectangular range surrounded by (840, 0), (940, 0), (940, 1024), and (840, 1024) is designated as the clip area. FIG. 3 shows a layout reflecting the clip area information c. In the drawing, the clip area indicated by diagonal lines has a layout overlapping the moving image 1 and the character string 4. For this reason, it is necessary to divide and arrange the moving image 1 and the character string 4. At this time, the moving image 1 and the character string 4 are not divided and arranged in two in the middle, but two of them are arranged to display only a necessary rectangular area. Let them be 1A, 1B, 4A, and 4B, respectively.
[ 0013 ]
Specifically, the moving image 1A is arranged at the start point (640, 50) and only the rectangular area indicated by (640, 50), (840, 50), (840, 290), (640, 290) is displayed. In this way, the moving image 1B is arranged at the start point (740, 50), and only the rectangular areas indicated by (860, 50), (1060, 50), (1060, 290), and (860, 290) are displayed. To do. Further, the character string 4A is arranged at the start point (300, 512), and only the rectangular area indicated by (300, 512), (840, 512), (840, 712), (300, 712) is displayed. 4B is arranged at the start point (400, 512), and only the rectangular areas indicated by (940, 512), (1200, 512), (1200, 712), (940, 1200) are arranged and displayed.
[ 0014 ]
The content layout unit 12 acquires the content data, the layout information b, and the clip area information c from the content display device, from another computer via a telecommunication line, or from a recording medium or the like.
[ 0015 ]
Next, the content layout unit 12 passes the playback time of the moving images 1 and 3 out of the read content to the playback time setting unit 51. The reproduction time setting unit 51 calculates the reproduction time as 30 seconds, which is the least common multiple of the reproduction time 10 seconds of the moving image 1 and the reproduction time 15 seconds of the moving image 3. The reproduction time setting unit 51 notifies the calculation result to the frame number determination unit 52.
[ 0016 ]
In addition, the content layout unit 12 passes the frame rates of the moving images 1 and 3 in the read content to the frame rate setting unit 61. The frame rate setting unit 61 calculates the maximum frame rate of 30 frames / sec out of the frame rate 30 frames / sec of the moving image 1 and the frame rate 20 frames / sec of the moving image 3 as the frame rate. The frame rate setting unit 61 notifies the calculation result to the frame number determination unit 52.
[ 0017 ]
Next, the frame number determination unit 52 determines the number of frames to be reproduced from the frame rate notified from the frame rate setting unit 61 and the reproduction time notified from the reproduction time setting unit 51. Here, since 30 seconds of reproduction is performed at a frame rate of 30 frames / sec, the number of frames is 900 frames.
The frame number determination unit 52 notifies the content reproduction unit 19 of the determined number of frames.
[0018]
Next, the content reproduction unit 19 reproduces a plurality of contents laid out by the content layout unit 12 for one frame, and passes the reproduced image data to the frame synthesis unit 30.
[ 0019 ]
The frame synthesizing unit 30 outputs the transferred reproduced image as a frame image 7 for one frame of the entire screen and stores it in the frame image storage unit 8. FIG. 4 shows an output image.
[ 0020 ]
The content reproduction unit 19 reproduces the next one-frame image and similarly passes it to the frame synthesis unit 30. The frame synthesis unit 30 outputs the frame image 7 and stores it in the frame image storage unit 8.
These processes are repeated for 900 frames determined by the frame number determination unit 52. At that time, when the moving image data is said to the end, it is repeatedly reproduced. That is, the moving image 1 composed of 300 frames is repeated three times. For the moving image 3, since it is necessary to convert the frame rate of 20 frames / sec to 30 frames / sec, it is necessary to reproduce the same frame once every two frames and interpolate the image. For this reason, the number of repetitions is two.
[ 0021 ]
Next, the frame image storage unit 8 passes the stored frame images for 900 frames to the synthesized moving image generation unit 31.
[ 0022 ]
Next, the synthesized moving image generating unit 31 generates one moving image data by using the passed frame images for 900 frames, and passes it as the synthesized moving image 9 to the synthesized moving image reproducing unit 32.
[ 0023 ]
Next, the composite video playback unit 32 develops the composite video 9 in the frame memory 17 and displays it on the screen 16. FIG. 5 shows the result displayed on the screen 16. As shown in the figure, when there is a range that cannot be displayed due to the presence of an emergency exit or the like, the content image is displayed avoiding that portion.
[ 0024 ]
As described above, according to the first embodiment, the content layout unit 12 lays out a plurality of contents including moving images and still images, and the frame generation unit 18 plays back the plurality of contents laid out frame by frame. Thus, a plurality of full-screen frame images are generated, and the combined moving image generation unit 31 generates one combined moving image from the generated plurality of frame images. As a result, even if there are a large number of contents, it can be processed as one synthesized moving image, so that playback display can be performed without reducing the processing performance. In addition, synchronization between moving images is completely guaranteed. If the same content is to be displayed with the same layout, the content can be displayed only by the composite video playback unit 32 by generating the composite video once.
[ 0025 ]
Furthermore, since the content layout unit 12 performs content layout including a clip area where content cannot be displayed, the content can be displayed while avoiding a portion that cannot be displayed on the screen.
[ 0026 ]
Also, the playback time setting unit 51 sets the least common multiple of the playback times of a plurality of moving images as the playback time of the synthesized moving image, and the number of frame images to be generated based on the playback time set by the frame number determination unit 52 is set. Since it is determined, when a plurality of moving images are included, both images can be captured simultaneously to the end.
[ 0027 ]
The frame rate setting unit 61 sets the maximum frame rate of a plurality of moving images as the frame rate of the synthesized moving image, and the frame number determining unit 52 determines the number of frame images to be generated based on the set frame rate. Since it is determined, frame dropping or the like can be prevented when a plurality of moving images are included.
[ 0028 ]
Embodiment 2. FIG.
In the second embodiment, only a moving image is reconstructed as a synthesized moving image and displayed on the screen as a background moving image. The content other than the moving image is displayed so as to be superimposed on the background moving image.
[ 0029 ]
FIG. 6 is a block diagram showing a configuration of a content display apparatus according to Embodiment 2 of the present invention. The same reference numerals as those in FIG. 1 represent the same components. The content display device according to the second embodiment includes a content sorting unit 21 and a content drawing unit 14. The frame generation unit 28 is a component equivalent to the frame generation unit 18 of FIG. 1, but the frame generation unit 28 includes a content reproduction unit 19, a frame synthesis unit 30, and a circumscribed rectangle cutout unit 41. Yes.
Content layout unit 12, content sorting unit 21, content drawing unit 14, frame generation unit 28, content playback unit 19, frame synthesis unit 30, circumscribed rectangle cutout unit 41, composite video generation unit 31, and composite video playback unit 32 Is a division of the central processing unit of the content display device for the sake of convenience in accordance with a program module that controls the operation of the central processing unit.
[ 0030 ]
Next, the operation will be described.
As in the first embodiment, consider a case where moving images 1 and 3, a still image 2, and a character string 4 are displayed on the screen 16. The moving image 1 has a shape of 320 × 240, a frame rate of 30 frames / sec, and a reproduction time of 10 sec. The moving image 3 has a 400 × 300 shape, a frame rate of 20 frames / sec, and a length of 15 sec. Still image 2 has a shape of 400 × 300, and character string 4 has a shape of 800 × 200.
[ 0031 ]
The content layout unit 12 reads the moving images 1 and 3, the still image 2, and the character string 4 and performs layout of each content based on the layout information b.
[ 0032 ]
The layout information b indicates the storage position of each content data in the frame memory 17. Here, the information that moving image 1 is arranged from (640, 50), still image 2 is arranged from (100, 100), moving image 3 is arranged from (200, 650), and character string 4 is arranged from (300, 512). Is marked.
FIG. 2 shows a layout result based on the layout information b.
[ 0033 ]
Next, the content sorting unit 21 sorts the content into a moving image (moving image content group) and a stationary content (still content group) other than the moving image. The moving image is processed in the frame generation unit 28, and the static content is processed in the content drawing unit 14.
[ 0034 ]
Here, the moving images 1 and 3 are transferred to the frame generation unit 28. Also, the still image 2 and the character string 4 become still content and are passed to the content drawing unit 14.
[ 0035 ]
In the frame generation unit 28, the content reproduction unit 19 reproduces the content laid out by the content layout unit 12 for one frame, and passes the result to the frame synthesis unit 30.
[ 0036 ]
The frame synthesizing unit 30 outputs the transferred reproduction image as a frame image 7 for one frame of the entire screen, and passes it to the circumscribed rectangle cutout unit 41.
[ 0037 ]
The circumscribed rectangle cutout unit 41 cuts out a circumscribed rectangle in contact with the moving images 1 and 3 from the frame image 7, outputs it as a frame image 7 A, and stores it in the frame image storage unit 8. FIG. 7 shows an output image.
[ 0038 ]
The content reproduction unit 19 reproduces the next one-frame image and similarly passes it to the frame synthesis unit 30. The frame synthesis unit 30 outputs the frame image 7 and passes it to the circumscribed rectangle cutout unit 41. The circumscribed rectangle cutout unit 41 cuts out a circumscribed rectangle in contact with the moving images 1 and 3 from the frame memory 17 and stores the cutout rectangle in the frame generation unit 28.
These processes are repeated to accumulate frame images in the frame image storage unit 8.
[ 0039 ]
Next, the frame image storage unit 8 passes the plurality of stored frame images to the synthesized moving image generation unit 31.
[ 0040 ]
Next, the synthesized moving image generating unit 31 generates one moving image data by using the plurality of transferred frame images, and passes the generated moving image data to the synthesized moving image reproducing unit 32 as the synthesized moving image 9.
[ 0041 ]
Next, the composite video playback unit 32 develops the composite video 9 in the frame memory 17. At this time, the synthesized moving image 9 is stored in the frame memory 17 so as to be displayed as a background image on the screen 16.
[ 0042 ]
The content drawing unit 14 stores the image data of the still image 2 and the character string 4 laid out by the content layout unit 12 in the frame memory 17. FIG. 8 shows an image stored by the content drawing unit 14.
At this time, the still image 2 and the character string 4 are stored in the frame memory 17 so as to be displayed over the synthesized moving image 9 displayed as a background image on the screen 16. As a result, an image as shown in FIG. 2 is displayed on the screen 16.
[ 0043 ]
As described above, according to the second embodiment, the content sorting unit 21 sorts the laid-out content into a moving image and a static content, and generates a synthesized moving image only from the moving image. The synthesized moving image is expanded in the frame memory 17 so as to be displayed as a background image on the screen by the synthesized moving image reproduction unit 32, and the static content is framed so as to be displayed on the synthesized moving image by the content drawing unit 14. Store in the memory 17. As a result, it is possible to prevent deterioration of the image quality of still images and character strings. In addition, it is easy to replace still images and character strings.
[ 0044 ]
In addition, for moving images, synchronization between moving images is guaranteed, and performance degradation due to an increase in the number of contents can be prevented. In addition, by cutting out the circumscribed rectangle of the moving image, the data amount of the moving image is reduced, and a synthesized moving image with high processing efficiency can be obtained.
[ 0045 ]
【The invention's effect】
As described above, according to the present invention, there is an effect that it is possible to obtain a content display device capable of displaying a large number of contents including moving images without degrading the processing performance.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a content display apparatus according to Embodiment 1 of the present invention.
FIG. 2 is a diagram showing a layout based on layout information by a content layout unit according to Embodiment 1 of the present invention;
FIG. 3 is a diagram showing a layout reflecting clip area information by a content layout unit according to Embodiment 1 of the present invention;
FIG. 4 is an example of a frame image according to the first embodiment of the present invention.
FIG. 5 is an example of an image displayed on a screen according to the first embodiment of the present invention.
FIG. 6 is a block diagram showing a configuration of a content display device according to Embodiment 2 of the present invention.
FIG. 7 is an example of a frame image according to the second embodiment of the present invention.
FIG. 8 is an example of an image corresponding to image data stored in a frame memory by a content rendering unit according to Embodiment 2 of the present invention;
[Explanation of symbols]
8 frame image storage unit, 12 content layout unit, 14 content drawing unit, 16 screen, 17 frame memory, 18 frame generation unit, 19 content playback unit, 21 content sorting unit, 28 frame generation unit, 30 frame synthesis unit, 31 synthesis A moving image generation unit, 32 a combined moving image reproduction unit, 41 a circumscribed rectangle cutout unit, 51 a reproduction time setting unit, a 52 frame number determination unit, and a 61 frame rate setting unit.

Claims (6)

動画像のコンテンツおよび静止系のコンテンツからなる複数のコンテンツの画像データの、フレームメモリ上における格納位置を指定するレイアウト情報に基づいて、各コンテンツの配置位置を決定するコンテンツレイアウト部と、
上記コンテンツレイアウト部により配置された全てのコンテンツを、動画像コンテンツ群と、動画像以外の静止系コンテンツ群に分別するコンテンツ分別部と、
上記コンテンツレイアウト部により上記フレームメモリ上における各コンテンツの格納位置が決定された状態で、上記動画像コンテンツ群の１つのフレーム画像を生成する処理を繰り返すことにより複数のフレーム画像を生成するフレーム生成部と、
上記フレーム生成部で生成された複数のフレーム画像を集めることにより１つの合成動画像を生成する合成動画像生成部と、
上記合成動画像の再生画像データを上記フレームメモリに格納する合成動画像再生部と、
上記合成動画像再生部により格納された上記合成動画像が背景画像として重ねて表示されるように上記静止系コンテンツ群の画像データを上記フレームメモリに格納するコンテンツ描画部とを備えたコンテンツ表示装置。A content layout unit that determines the arrangement position of each content based on layout information that specifies a storage position on the frame memory of image data of a plurality of contents composed of moving image content and static content ;
A content classification unit that classifies all content arranged by the content layout unit into a moving image content group and a static content group other than a moving image;
A frame generation unit that generates a plurality of frame images by repeating the process of generating one frame image of the moving image content group in a state where the storage position of each content on the frame memory is determined by the content layout unit When,
A combined moving image generating unit that generates a single combined moving image by collecting a plurality of frame images generated by the frame generating unit;
A composite video playback unit for storing the playback video data of the composite video in the frame memory;
A content display device comprising: a content drawing unit that stores image data of the static content group in the frame memory so that the synthesized moving image stored by the synthesized moving image reproduction unit is displayed as a background image. . フレーム生成部は、
上記動画像コンテンツ群の全てのコンテンツの１フレーム分を再生するコンテンツ再生部と、
上記コンテンツ再生部により再生された１フレーム分の画像を上記動画像コンテンツ群の全てのコンテンツ分合成し、フレーム画像として出力するフレーム合成部とを備えたことを特徴とする請求項１記載のコンテンツ表示装置。The frame generator
A content playback unit that plays back one frame of all the content of the moving image content group ;
An image of one frame reproduced by the content playback unit to any piece of content synthesis of the moving picture content group, No placement claim 1 Symbol characterized by comprising a frame combining unit for outputting a frame picture Content display device. コンテンツレイアウト部は、コンテンツが表示できない領域を指定するクリップ情報に基づいて、コンテンツが表示できない位置にコンテンツが配置されないように、各コンテンツの配置位置を決定することを特徴とする請求項１または請求項２記載のコンテンツ表示装置。Content layout unit on the basis of the clip information for specifying an area where the content can not be displayed, so that the content at the position where the content can not be displayed not disposed, according to claim 1 or claim, wherein determining placement positions of each content Item 3. The content display device according to Item 2 . フレーム生成部は、１フレーム分のフレーム画像から、複数の動画像が配置された領域のみを抽出してフレーム画像とするフレーム領域切り出し部を備えたことを特徴とする請求項１または請求項２記載のコンテンツ表示装置。Frame generation unit 1 from frame to frame image, according to claim 1 or claim 2, characterized in that a frame region cutout unit in which a plurality of moving image and arranged regions only extracted by the frame image The content display device described. フレーム生成部は、生成するフレームの再生時間を、レイアウトされた全ての動画の再生時間の長さの最小公倍数に設定する再生時間設定部と、
上記再生時間設定部により設定された再生時間を用いて、生成するフレーム画像数を決定するフレーム数決定部を備えることを特徴とする請求項１または請求項２記載のコンテンツ表示装置。The frame generation unit, a playback time setting unit for setting the playback time of the frame to be generated to the least common multiple of the length of the playback time of all the laid out videos,
3. The content display device according to claim 1, further comprising a frame number determination unit that determines the number of frame images to be generated using the reproduction time set by the reproduction time setting unit. フレーム生成部は、生成するフレームのフレームレートを、レイアウトされた全ての動画のフレームレートのうち一番速いフレームレートの値に設定するフレームレート設定部と、
上記フレームレート設定部により設定されたフレームレートを用いて、生成するフレーム画像数を決定するフレーム数決定部を備えることを特徴とする請求項１または請求項２記載のコンテンツ表示装置。The frame generation unit sets the frame rate of the frame to be generated to the fastest frame rate value among the frame rates of all the laid out videos, and
3. The content display device according to claim 1, further comprising a frame number determination unit that determines the number of frame images to be generated using the frame rate set by the frame rate setting unit.
JP2003037104A 2003-02-14 2003-02-14 Content display device Expired - Fee Related JP4128466B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003037104A JP4128466B2 (en) 2003-02-14 2003-02-14 Content display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003037104A JP4128466B2 (en) 2003-02-14 2003-02-14 Content display device

Publications (2)

Publication Number Publication Date
JP2004248076A JP2004248076A (en) 2004-09-02
JP4128466B2 true JP4128466B2 (en) 2008-07-30

Family

ID=33022016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003037104A Expired - Fee Related JP4128466B2 (en) 2003-02-14 2003-02-14 Content display device

Country Status (1)

Country Link
JP (1) JP4128466B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006203334A (en) * 2005-01-18 2006-08-03 Canon Inc Image recording apparatus, control method thereof and program
JP5199640B2 (en) * 2007-10-17 2013-05-15 株式会社東芝 Ultrasonic diagnostic apparatus and ultrasonic diagnostic program
US9715742B2 (en) 2010-10-07 2017-07-25 Lg Electronics Inc. Method for producing advertisement content using a display device and display device for same
JP7070533B2 (en) 2019-11-26 2022-05-18 セイコーエプソン株式会社 Image data generation method, program and information processing equipment

Also Published As

Publication number Publication date
JP2004248076A (en) 2004-09-02

Similar Documents

Publication Publication Date Title
US20060114327A1 (en) Photo movie creating apparatus and program
AU2710201A (en) Image composting apparatus, recording medium and program
JP5317825B2 (en) Image processing apparatus and image processing method
US8004542B2 (en) Video composition apparatus, video composition method and video composition program
JP2009141630A (en) Image processor, its control method, and program
JP4559976B2 (en) Video composition apparatus, video composition method, and video composition program
JP2006237876A (en) Image reproducing apparatus, index display method by image reproducing apparatus, and computer program
JP4128466B2 (en) Content display device
US6137947A (en) Method and apparatus for reproducing a video signal
JP4215423B2 (en) Image data output device
US6122020A (en) Frame combining apparatus
JP2007259193A (en) Video output apparatus, and method
JP4127205B2 (en) Image recording device
KR100224581B1 (en) Image enlargement apparatus and method using child-screen
JPH10145724A (en) Image recording and reproducing device and method therefor
JPH0622200A (en) Still video camera
JP2007013473A (en) Reproducing apparatus and reproducing method
JP3506412B2 (en) Video information reproducing method, reproducing apparatus, recording medium storing moving image procedure, and moving image data reproducing method and editing method
JP2006303621A (en) Image pickup device, video image output method, and video image reproduction program
JPH11308567A (en) Layout video image edit method with page display function, its system and recording medium recording its program
JP3587376B2 (en) Image information playback device
JP2004282305A (en) Image processing system
JP2738274B2 (en) Video signal synthesizer for generating trail effect
JP2005292414A (en) Image output controller
JP2007060329A (en) Slide show generating device and method and program for controlling the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20071025

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20071025

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20071025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080129

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080319

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080514

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140523

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees