JP3466946B2 - マルチ画像表示システムおよびマルチ画像表示方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数の画像ソース
からそれぞれ入力された画像データを１つの表示装置に
表示することが可能なマルチ画像表示システムおよびマ
ルチ画像表示方法に関する。

【０００２】

【従来の技術】近年、ノート型パーソナルコンピュータ
などから供給する画像データを大型の表示装置例えば液
晶プロジェクタやプラズマディスプレイに表示させてプ
レゼンテーションを行うことが増している。一方、会議
においては、複数の出席者がそれぞれデータをコンピュ
ータにセーブし、それを閲覧したり、ファイルの交換を
その場で行うような場合が増えている。さらに、将来的
にはテレビ会議システムにより、遠隔地参加のメンバー
のビデオ画像を表示領域の一部にＰｉｎＰ（Picture in
Picture）で表示させたり、デジタルテレビが配信する
リアルタイムなコンテンツを同時表示させておくような
使い方が予想される。

【０００３】このような背景から、非同期で入力される
複数の画像データを一度に表示するための画像表示シス
テムが要求され、この画像表示システムとしては、入力
された画像データを一度フレームメモリに格納し、すべ
ての入力画像データの同期を合わせて表示手段に画像デ
ータを転送する方法を採用したものがある。

【０００４】

【発明が解決しようとする課題】しかしながら、上述し
た従来の画像表示システムでは、非同期で入力される複
数の画像データを一度に表示するために、入力された画
像データを一度フレームメモリに格納／記憶し、すべて
の入力画像データの同期を合わせて表示手段に画像デー
タを転送するから、入力される画像データの解像度が大
きく、データ容量が多い場合やその転送速度が速い場合
は、入力された画像データをフレームメモリに格納する
際の転送速度がフレームメモリのデータ転送レートを超
える場合が存在する。このような事態は、入力ソース数
が増すほど顕著に発生することは明らかである。また、
突然の入力の追加接続やマルチ表示ウィンドウの表示位
置、サイズの変更、入力ソースであるコンピュータの突
然のパワーセーブモードへの移行などのあらゆる状態の
変化が頻繁に起こるテレビ会議システムなどにおいて非
同期で入力される複数の画像データを一度に表示する際
には、上述の事態が非常に頻繁に発生する可能性が高
い。よって、このような事態が頻繁に発生するテレビ会
議システムなどのシステムに上述した従来の画像表示シ
ステムを用いると、表示データが破棄、消失され、ひい
てはシステムのハングアップが生じ、システム構築の自
由度が奪われるなどの問題がある。

【０００５】本発明の目的は、外部からのアクションに
よる表示状態の変化に対応しながら複数の画像データを
同時に表示することができるマルチ画像表示システムお
よびマルチ画像表示方法を提供することにある。

【０００６】

【課題を解決するための手段】請求項１記載の発明は、
複数の画像ソースから画像データをそれぞれ入力する複
数の画像データ入力手段を有し、前記複数の画像データ
入力手段からそれぞれ入力した複数の画像データを１つ
の表示装置に同時に表示することが可能なマルチ画像表
示システムにおいて、外部からのアクションを入力する
外部アクション入力手段と、前記複数の画像データ入力
手段によりそれぞれ入力された画像データをフレーム単
位で格納するフレームメモリと、前記フレームメモリか
ら前記画像データを読み出し、該読み出した画像データ
を前記表示装置に転送する転送手段と、前記複数の画像
データ入力手段が入力する画像データの入力データ転送
レートの総和を検出する検出手段と、前記検出した入力
データ転送レートの総和を前記フレームメモリのデータ
転送レートと比較する比較手段と、前記入力された外部
からのアクションに応じて前記表示装置に表示する画像
データのそれぞれに対して表示優先度を決定して割り当
てる優先度割り当て手段と、前記割り当てられた表示優
先度および前記フレームメモリのデータ転送レートと前
記検出した入力データ転送レートの総和との比較結果に
応じて前記入力した画像データのそれぞれの前記表示装
置への表示を制御する制御手段とを備えることを特徴と
する。

【０００７】請求項２記載の発明は、請求項１記載のマ
ルチ画像表示システムにおいて、前記制御手段は、前記
検出した入力データ転送レートの総和が前記フレームメ
モリのデータ転送レートより大きいときには、前記入力
した画像データ毎にその表示優先度に基づき対応する画
像データ入力手段の入力データ転送レートの比率を調整
し、該調整した比率に応じて前記画像データ入力手段の
それぞれにおける入力データ転送レートを制御すること
を特徴とする。

【０００８】請求項３記載の発明は、請求項２記載のマ
ルチ画像表示システムにおいて、前記制御手段は、前記
検出した入力データ転送レートの総和が前記フレームメ
モリのデータ転送レートより大きいときには、前記検出
した入力データ転送レートの総和が前記フレームメモリ
のデータ転送レートより小さくなるように、前記画像デ
ータ入力手段のそれぞれにおける入力データ転送レート
の比率をそれぞれの表示優先度の順に従って調整するこ
とを特徴とする。

【０００９】請求項４記載の発明は、請求項３記載のマ
ルチ画像表示システムにおいて、前記制御手段は、前記
表示優先度が低くなるに従い前記比率を小さくすること
を特徴とする。

【００１０】請求項５記載の発明は、請求項１ないし４
のいずれか１つに記載のマルチ画像表示システムにおい
て、前記転送手段は、前記フレームメモリからの前記複
数の画像データの読み出しを所定の読み出しデータ転送
レートで行い、前記比較手段は、前記検出した入力デー
タ転送レートの総和と前記転送手段の読み出しデータ転
送レートとの和とを加算し、該加算値と前記フレームメ
モリのデータ転送レートとを比較することを特徴とす
る。

【００１１】請求項６記載の発明は、請求項１ないし５
のいずれか１つに記載のマルチ画像表示システムにおい
て、前記優先度割り当て手段は、前記複数の画像データ
を互いに重なり合せて前記表示装置上に表示するときに
は、前記複数の画像データに対する表示優先度を、その
最前面に表示される画像データを最高位として最背面に
表示される画像データに向けて順に低くなるように割り
当てることを特徴とする。

【００１２】請求項７記載の発明は、請求項１ないし６
のいずれか１つに記載のマルチ画像表示システムにおい
て、前記外部アクション入力手段は、ユーザから出され
た前記表示装置の画像表示に関する操作指示を前記外部
からのアクションとして入力し、前記制御手段は、前記
画像表示に関する操作指示に応じた前記画像データの表
示に関する処理を行う表示処理機能を有することを特徴
とする。

【００１３】請求項８記載の発明は、請求項７記載のマ
ルチ画像表示システムにおいて、前記画像表示に関する
操作指示は、前記表示装置に表示されている複数の画像
データの中から１つの画像データを選択するための操作
指示であることを特徴とする。

【００１４】請求項９記載の発明は、請求項７記載のマ
ルチ画像表示システムにおいて、前記画像表示に関する
操作指示は、前記表示装置に表示されている複数の画像
データの中の１つの画像データを移動させるための操作
指示であり、前記制御手段は、前記操作指示に基づき前
記１つの画像データを対応する位置に移動させることを
特徴とする。

【００１５】請求項１０記載の発明は、請求項７記載の
マルチ画像表示システムにおいて、前記画像表示に関す
る操作指示は、前記表示装置に表示されている複数の画
像データの中の１つの画像データに対する解像度を変換
するための操作指示であり、前記制御手段は、前記操作
指示に基づき前記１つの画像データの解像度を対応する
解像度に変換することを特徴とする。

【００１６】請求項１１記載の発明は、請求項７記載の
マルチ画像表示システムにおいて、前記優先度割り当て
手段は、前記画像表示に関する操作指示が入力されたと
きには、該操作指示により指定された画像データに最上
位の表示優先度を割り当てることを特徴とする。

【００１７】請求項１２記載の発明は、請求項１ないし
６のいずれか１つに記載のマルチ画像表示システムにお
いて、前記外部アクション入力手段は、前記複数の画像
ソースからの画像データの供給中断への移行を検知し、
この検知結果を前記外部からのアクションとして入力
し、前記優先度割り当て手段は、前記外部アクション入
力手段により前記検知結果が入力されると、前記画像デ
ータの供給を中断した画像ソースからの画像データに最
下位の表示優先度を割り当てることを特徴とする。

【００１８】請求項１３記載の発明は、請求項１ないし
６のいずれか１つに記載のマルチ画像表示システムにお
いて、前記優先度割り当て手段は、前記表示装置上に表
示される前記複数の画像データが互いに重なり合う際に
は、背面側の画像データの表示領域の総画素数が所定の
画素数より小さいか否かを判定し、該判定結果に応じて
前記背面側の画像データの表示優先度を変更することを
特徴とする。

【００１９】請求項１４記載の発明は、請求項１ないし
６のいずれか１つに記載のマルチ画像表示システムにお
いて、前記複数の画像データにおけるそれぞれの動き量
を検出する画像データ動き量検出手段を備え、前記優先
度割り当て手段は、前記表示装置上に表示される前記複
数の画像データが互いに重なり合わない場合には、前記
検出された各画像データの動き量に応じて前記表示優先
度を割り当てることを特徴とする。

【００２０】請求項１５記載の発明は、複数の画像ソー
スから画像データをそれぞれ入力し、該入力した画像デ
ータのそれぞれを１つの表示装置に同時に表示するため
のマルチ画像表示方法において、外部からのアクション
を入力する外部アクション入力工程と、前記複数の画像
ソースから入力された画像データのそれぞれをフレーム
単位でフレームメモリに格納する格納工程と、前記画像
データの入力データ転送レートの総和を検出する検出工
程と、前記フレームメモリから前記画像データを読み出
し、該読み出した画像データを前記表示装置に転送する
転送工程と、前記検出した入力データ転送レートの総和
を前記フレームメモリのデータ転送レートと比較する比
較工程と、前記入力された外部からのアクションに応じ
て前記表示装置に表示する画像データのそれぞれに対し
て表示優先度を決定して割り当てる割り当て工程と、前
記割り当てられた表示優先度および前記フレームメモリ
のデータ転送レートと前記検出した入力データ転送レー
トの総和との比較結果に応じて前記入力した画像データ
のそれぞれの前記表示装置への表示を制御する制御工程
とを有することを特徴とする。

【００２１】請求項１６記載の発明は、請求項１５記載
のマルチ画像表示方法において、前記制御工程は、前記
検出した入力データ転送レートの総和が前記フレームメ
モリのデータ転送レートより大きいときには、前記入力
した画像データ毎にその表示優先度に基づき対応する画
像データ入力手段の入力データ転送レートの比率を調整
し、該調整した比率に応じて前記画像データ入力手段の
それぞれにおける入力データ転送レートを制御すること
を特徴とする。

【００２２】請求項１７記載の発明は、請求項１６記載
のマルチ画像表示方法において、前記制御工程は、前記
検出した入力データ転送レートの総和が前記フレームメ
モリのデータ転送レートより大きいときには、前記検出
した入力データ転送レートの総和が前記フレームメモリ
のデータ転送レートより小さくなるように、前記画像デ
ータ入力手段のそれぞれにおける入力データ転送レート
の比率をそれぞれの表示優先度の順に従って調整するこ
とを特徴とする。

【００２３】請求項１８記載の発明は、請求項１７記載
のマルチ画像表示方法において、前記制御工程は、前記
表示優先度が低くなるに従い前記比率を小さくすること
を特徴とする。

【００２４】請求項１９記載の発明は、請求項１５ない
し１８のいずれか１つに記載のマルチ画像表示方法にお
いて、前記転送工程は、前記フレームメモリからの前記
複数の画像データの読み出しを所定の読み出しデータ転
送レートで行い、前記比較工程は、前記検出した入力デ
ータ転送レートの総和と前記読み出しデータ転送レート
との和とを加算し、該加算値と前記フレームメモリのデ
ータ転送レートとを比較することを特徴とする。

【００２５】請求項２０記載の発明は、請求項１５ない
し１９のいずれか１つに記載のマルチ画像表示方法にお
いて、前記割り当て工程は、前記複数の画像データを互
いに重なり合せて前記表示装置上に表示するときには、
前記複数の画像データに対する表示優先度を、その最前
面に表示される画像データを最高位として最背面に表示
される画像データに向けて順に低くなるように割り当て
ることを特徴とする。

【００２６】請求項２１記載の発明は、請求項１５ない
し２０のいずれか１つに記載のマルチ画像表示方法にお
いて、前記画像表示に関する操作指示に応じた前記画像
データの表示に関する処理を行う表示処理工程を有し、
前記外部アクション入力工程で、ユーザから出された前
記表示装置の画像表示に関する操作指示を前記外部から
のアクションとして入力することを特徴とする。

【００２７】請求項２２記載の発明は、請求項２１記載
のマルチ画像表示方法において、前記画像表示に関する
操作指示は、前記表示装置に表示されている複数の画像
データの中から１つの画像データを選択するための操作
指示であることを特徴とする。

【００２８】請求項２３記載の発明は、請求項２１記載
のマルチ画像表示方法において、前記画像表示に関する
操作指示は、前記表示装置に表示されている複数の画像
データの中の１つの画像データを移動させるための操作
指示であり、前記表示処理工程で、前記操作指示に基づ
き前記１つの画像データを対応する位置に移動させるこ
とを特徴とする。

【００２９】請求項２４記載の発明は、請求項２１記載
のマルチ画像表示方法において、前記画像表示に関する
操作指示は、前記表示装置に表示されている複数の画像
データの中の１つの画像データに対する解像度を変換す
るための操作指示であり、前記表示処理工程で、前記操
作指示に基づき前記１つの画像データの解像度を対応す
る解像度に変換することを特徴とする。

【００３０】請求項２５記載の発明は、請求項２１記載
のマルチ画像表示方法において、前記割り当て工程で、
前記画像表示に関する操作指示が入力されたときには、
該操作指示により指定された画像データに最上位の表示
優先度を割り当てることを特徴とする。

【００３１】請求項２６記載の発明は、請求項１５ない
し２０のいずれか１つに記載のマルチ画像表示方法にお
いて、前記外部アクション入力工程で、前記複数の画像
ソースからの画像データの供給中断への移行を検知し、
この検知結果を前記外部からのアクションとして入力
し、前記割り当て工程で、前記外部アクション入力手段
により前記検知結果が入力されると、前記画像データの
供給を中断した画像ソースからの画像データに最下位の
表示優先度を割り当てることを特徴とする。

【００３２】請求項２７記載の発明は、請求項１５ない
し２０のいずれか１つに記載のマルチ画像表示方法にお
いて、前記割り当て工程で、前記表示装置上に表示され
る前記複数の画像データが互いに重なり合う際には、背
面側の画像データの表示領域の総画素数が所定の画素数
より小さいか否かを判定し、該判定結果に応じて前記背
面側の画像データの表示優先度を変更することを特徴と
する。

【００３３】請求項２８記載の発明は、請求項１５ない
し２０のいずれか１つに記載のマルチ画像表示方法にお
いて、前記複数の画像データにおけるそれぞれの動き量
を検出する画像データ動き量検出工程を有し、前記割り
当て工程で、前記表示装置上に表示される前記複数の画
像データが互いに重なり合わない場合には、前記検出さ
れた各画像データの動き量に応じて前記表示優先度を割
り当てることを特徴とする。

【００３４】

【発明の実施の形態】以下に、本発明の実施の形態につ
いて図を参照しながら説明する。

【００３５】（実施の第１形態）図１は本発明のマルチ
画像表示システムの実施の第１形態の構成を示すブロッ
ク図、図２は図１の入力部の構成を示すブロック図であ
る。

【００３６】マルチ画像表示システムは、図１に示すよ
うに、ホストコンピュータからなる画像ソース１０１〜
１０４からの画像信号を入力する入力部３０１〜３０４
を備え、各入力部３０１〜３０４にそれぞれ入力された
画像信号が示す画像を同時に表示デバイス７００に表示
する。ここで、画像ソース１０１〜１０４からの画像信
号は信号線２０１〜２０４を介して入力部３０１〜３０
４に入力され、この画像信号には、画像データである
Ｒ，Ｇ，Ｂのアナログビデオ信号、垂直同期信号である
Ｖsync信号、水平同期信号であるＨsync信号が含まれて
いる。なお、画像ソース１０１〜１０４は、パソコン、
ワークステーションなどのコンピュータに限らず、デジ
タルテレビ、ビデオ、ＤＶ（デジタルビデオ）、ＭＰＥ
Ｇ２などのデーターストリームなどから構成してもよ
い。また、本実施の形態では４つの画像ソース１０１〜
１０４を接続可能な構成を採用しているが、これら画像
ソースの数は４つよりさらに多い数でも、また少ない数
でもよい。

【００３７】各入力部３０１〜３０４は、画像ソース１
０１〜１０４から信号線２０１〜２０４を通じて入力さ
れた画像信号をデジタル信号に変換するＡ／Ｄコンバー
タ、画像データをサンプリングするためのＰＬＬ（Phas
e Locked Loop）を有する。また、入力される画像信号
がＬＶＤＳ（Low Voltage Differential Signal）など
のデジタル信号であれば、その復号器や差動のバッファ
を有する入力部が用いられる。また、入力される画像信
号がテレビやビデオのコンポジット信号であれば、それ
をＲ，Ｇ，Ｂ信号にエンコードするエンコーダを有する
入力部が用いられる。

【００３８】各入力部３０１〜３０４は、各画像ソース
１０１〜１０４から画像データとともにこの画像データ
を受け取るための制御信号を同時に受け取る。ここで
は、制御信号として、１ラインの同期を取る水平同期信
号、１フレームもしくは１フィールドの同期を取る垂直
同期信号、１画素をサンプルするクロック信号、有効画
像データの転送期間を示すディスプレイイネーブル信号
などを受け取る。各入力部３０１〜３０４はそれぞれ独
立したタイミングで画像ソース１０１〜１０４から画像
データを受け取る。

【００３９】入力部３０１〜３０４は、図２に示すよう
に、入力画像のデータレートを時間軸方向に間引きする
ための入力間引き部３５１、受け取った画像データの表
示フォーマット（水平画素数、垂直ライン数、色数）を
後述する制御部５００の制御に従って変換する表示フォ
ーマット変換部３５２、独立した４つの画像データを共
通の１つのグラフィックバス４００に入力するためのバ
スインタフェース部３５３から構成される。入力間引き
部３５１は、後述する制御部５００の制御に従って入力
のフレーム単位で間引き制御を行う。なお、本実施の形
態では、説明を簡単にするために、入力間引き部３５１
によりフレーム単位の間引きを行うように設定している
が、これに代えて、ビット単位やブロック単位の間引き
手段を用いてもよい。フォーマット変換部３５２は、入
力画像を任意に拡大／縮小するための解像度変換を行
い、バスインタフェース部３５３は、入力画像データを
後述するフレームメモリ６００のどの位置に格納するか
を決めるアドレス生成制御より、表示ウィンドウの移動
／サイズ変更時の位置決めを行う機能を有する。

【００４０】制御部５００は、本マルチ画像表示システ
ム全体を制御する制御部であり、演算能力を有するＣＰ
Ｕ（図示せず）、データを一時格納するＲＡＭ（図示せ
ず）、制御プログラムを格納するＲＯＭ（図示せず）、
時間を計測するタイマ（図示せず）、周辺入出力インタ
フェース（図示せず）などから構成されている。ここ
で、制御部５００は論理ロジックのみで構成することも
可能である。また、ＣＰＵの動作を決定するプログラム
をＲＯＭに内蔵してもよいし、周辺入出力インタフェー
スを介して外部から転送するように構成してもよい。

【００４１】制御部５００は、各画像ソース１０１〜１
０４から信号線２０１〜２０４を介して出力画像信号の
内の各ピクセルクロック信号、Ｈsync信号、Ｖsync信号
を信号線２０５〜２０８を通じて入力する。なお、画像
ソース１０１〜１０４から出力される信号がビデオなど
のコンポジット信号であれば、同期信号分離器でＶsync
信号、Ｈsync信号が分離され、それが制御部５００に接
続される構成となる。

【００４２】制御部５００は内部のタイマを使用して、
入力される各Ｖｓｙｎｃ信号、Ｈｓｙｎｃ信号の周期を
測定可能なように構成され、これら測定した周期から、
信号線２０１〜２０４上の信号の、１画素の周波数（ピ
クセル周波数）をはじめ、画面サイズ（水平画素数、垂
直ライン数）、フレームレート（フレーム周波数）など
を検出する。このように、本実施の形態では、入力デー
タ転送レートの検出を信号線２０１〜２０４を用いて行
う方法を採用しているが、これは入力データ転送レート
がバスインタフェース部３５３まで同一であることを前
提としている。仮に、表示フォーマット変換部３５２で
解像度変換を行ってデータレートが変わるような場合に
は、入力データ転送レートの検出をデータレート変換後
すなわち表示フォーマット変換部３５２の出力信号を用
いて行うようにすればよい。

【００４３】さらに、制御部５００は、入力データ転送
レートの総和を検出する手段を兼ねており、検出した１
画素の周波数より入力部３０１〜３０４に入力される信
号の各転送レートを検出し、そして、検出した各入力部
３０１〜３０４における各出力データの各転送レート
（入力データ転送レートの代用）を合計することによ
り、入力データ転送レートの総和を検出する。また、制
御部５００はその他、システムの様々な制御を行うよう
に構成されており、その詳細は後述する。

【００４４】フレームメモリ６００は、表示デバイス７
００に描画する画像データを少なくとも１フレーム分蓄
積可能なメモリであり、入力部３０１〜３０４より出力
される画像データを読出し可能に格納する。フレームメ
モリ６００から読み出された画像データは、グラフィッ
クバス４００、表示駆動コントローラ９００を通じて表
示デバイス７００に出力される。この表示デバイス７０
０はマトリクス電極構造を有するフラットパネル（液
晶、プラズマディスプレイなど）、ＣＲＴ（陰極線管）
などから構成される。

【００４５】入力部３０１〜３０４より出力される各画
像データのフレームメモリ６００への書込みおよび読出
しは、入力部３０１〜３０４および表示駆動コントロー
ラ９００（転送手段）とバスコントローラ１０００（優
先度決定手段）間のバス調停制御により制御される。こ
のバス調停制御は、入力部３０１〜３０４と表示駆動コ
ントローラ９００（転送手段）から、グラフィックバス
４００（転送手段）の転送要求として一定時間毎に非同
期で、転送要求信号を信号線１００１〜１００５を介し
てバスコントローラ１０００（優先度決定手段）に対し
て発行し、バスコントローラ１０００が各要求の優先度
を判断し、バス権獲得を示す転送許可信号を信号線１０
０１〜１００５を介して要求元に返すことにより行われ
る。上記バス調停制御に係る優先度は、制御部５００が
検出した入力データ転送レートに基づきシステムのデー
ターレートを調整するスケーラビリティ管理により決定
され、バスコントローラ１０００に信号線１００６を介
して通知される。

【００４６】表示デバイス７００の画像表示に関する操
作指示には、表示ポインタ７０２が用いられる。この表
示ポインタ７０２は、本マルチ画像表示システムを利用
するユーザーの表示ウィンドウ操作を容易にするために
用意されたユーザーインタフェースを構成するものであ
り、表示デバイス７００に表示カーソル７０１を移動可
能に表示する機能を有し、この表示カーソル７０１また
は表示ポインタ７０２に設けられたボタンなどを用いて
表示ウィンドウの選択、移動、拡大縮小のアクションが
ユーザから指示される。このアクション情報は表示ポイ
ンタ７０２に設けられた赤外線ポート（図示せず）から
送信され、赤外線受光部８００で受信される。赤外線受
光部８００は、受信したアクション情報を制御部５００
へ受け渡し、制御部５００は受信したアクション情報に
対応する表示処理を行うように表示駆動コントローラ９
００に指示する。

【００４７】次に、本マルチ画像表示システムの詳細な
動作ついて説明する。

【００４８】まず、ここでは、検出した入力部３０１〜
３０４の各入力データ転送レート（単位時間当たりのデ
ータ転送能力：バンド幅ともいう）をＢＷi1、ＢＷi2、
ＢＷi3、ＢＷi4とし、その合計をＢＷiとする。

【００４９】ＢＷｉ＝ＢＷi1＋ＢＷi2＋ＢＷi3＋ＢＷi4 また、フレームメモリ６００から表示駆動コントローラ
９００が読み出す際の表示データの読出しデータ転送レ
ートをＢＷdとし、フレームメモリ６００のデータ転送
レートをＢＷmとする。ＢＷd、ＢＷmは、システムの設
計時に決定される固定値である。実際のＢＷmはフレー
ムメモリ６００のデータ転送レートだけではなくグラフ
ィックバス４００の実効的な転送レートにより決まる。
ＢＷiは制御部５００が画像ソース１０１〜１０４との
接続を監視し、入力が接続されたときに前述した入力デ
ータ転送レートの判定により動的に決定される変数値で
ある。

【００５０】本マルチ画像表示システムが、すべての入
力データを失うことなく、入力部３０１〜３０４からフ
レームメモリ６００への各データ転送およびフレームメ
モリ６００から表示駆動コントローラ９００へのデータ
転送を行うための条件は、 ＢＷm＞ＢＷi＋ＢＷd …… （１） の場合であり、 ＢＷm＜ＢＷi＋ＢＷd …… （２） となった場合は、システムのデータレートを調整するス
ケーラビリティ管理を行う必要がある。

【００５１】このスケーラビリティの管理を含めた動作
について説明する。

【００５２】＜初期化時の動作＞図３は図１のマルチ画
像表示システムの状態遷移図であり、各状態への移行は
制御部５００により制御される。

【００５３】まず、電源投入アクションＡ１００が発生
すると、ただちに、初期化処理ＳＴ０００に入る。

【００５４】次に、この初期化処理について図４および
図５を参照しながら説明する。図４は図１のマルチ画像
表示システムにおける初期化処理を示すフローチャー
ト、図５は図１のマルチ画像表示システムにおける初期
化時の表示例を示す図である。ここでは、４つの入力の
接続が検出された例を示す。また、以下のフローチャー
トの説明においても同様である。

【００５５】まず、ステップＳ１０１において全入力ポ
ートの接続状態を検知する。続くステップＳ１０２で
は、上述した手段を用いて、４入力すべての接続入力の
状態（画面サイズ、入力データレート）の判定を行い、
そして、ステップＳ１０３に進み、上記ステップＳ１０
２で判定した画面サイズに基づきすべての入力が表示デ
バイス７００の画面上で均等サイズ表示できるように、
表示位置と拡大／縮小率を決定する表示レイアウトを行
う（４入力の表示位置情報、解像度変換情報のパラメー
タの作成）。

【００５６】次いで、ステップＳ１０４に進み、接続を
検出した順に優先度（表示優先度）を割り振り、その履
歴を作成する。この優先度は制御部５００のＲＡＭに記
憶される。この処理は初期化時に行われるものであるか
ら、優先度はシステムが任意に決定する。以下の説明で
は、この初期化時の優先度履歴が、 入力１＞入力２＞入力３＞入力４ …… （３） に設定されていると仮定する（優先度パラメータの作
成）。この優先度は上述したバスコントローラ１０００
の調整優先度へも反映される。

【００５７】続いて、ステップＳ１０５に進み、上記ス
テップＳ１０２で判定した入力データレートに基づきス
ケーラビリティの管理を行う。ここで、上記（１）式が
成立するときには、各入力に対する間引き率をその優先
度に関係なく一定のデフォルト値（１．０）に設定す
る。すなわち間引きを行わない。これに対し、上記
（２）式が成立するときには、上記（３）式の優先度に
応じて各入力に対する間引き率を決定する。本実施の形
態では入力間引き部３５１が信号線２０１を介して入力
されるＶsync信号をトリガにしてフレーム単位でデータ
を取り込むフレーム間引きを行い、時間平均的に入力デ
ータレートを低くする手段を用いる。

【００５８】この方法では、時間平均的に上記（１）式
が成り立つようなスケーラビリティの調整を行うことが
目的で、時間瞬間的には上記（２）式が成り立つことが
あり得る。この場合、バスインタフェース部３５３にデ
ータ待機用のバッファを設けることによって対応するこ
とが可能である。具体的なフレーム間引きによるスケー
ラビリティ管理は、各入力の間引き率すなわちフレーム
レートを時間平均的（フレームを時間方向に数フレーム
単位でＯＮ／ＯＦＦして間引くことを意味する）に可変
し、以下の（４）式に従って各入力の最新の入力データ
転送レート（単位時間当たりのデータ転送能力：バンド
幅ともいう）ＢＷi1’、ＢＷi2’、ＢＷi3’、ＢＷi4’
を再算出することから始まる。

【００５９】 ＢＷi1’＝ＢＷi1×（入力１の間引き率） 入力１の間引き率＝入力１の間引き後のフレームレート（Ｈｚ） ／入力１の間引き前のフレームレート（Ｈｚ） ＢＷi2’＝ＢＷi2×（入力２の間引き率） 入力２の間引き率＝入力２の間引き後のフレームレート（Ｈｚ） ／入力２の間引き前のフレームレート（Ｈｚ） ＢＷi3’＝ＢＷi3×（入力３の間引き率） 入力３の間引き率＝入力３の間引き後のフレームレート（Ｈｚ） ／入力３の間引き前のフレームレート（Ｈｚ） ＢＷi4’＝ＢＷi4×（入力４の間引き率） 入力４の間引き率＝入力４の間引き後のフレームレート（Ｈｚ） ／入力４の間引き前のフレームレート（Ｈｚ） …… （４） 次に、上記（３）式に示す優先度履歴に従って ＢＷi’＝ＢＷi1’＋ＢＷi2’＋ＢＷi3’＋ＢＷi4’ ＢＷm＞ＢＷi’＋ＢＷd …… （５） となるような条件を制御部５００が演算する。もちろ
ん、 ＢＷm＜ＢＷi’＋ＢＷd …… （６） となる場合には、上記（５）式が成立するまでスケーラ
ビリティの調整を繰り返すことになる。

【００６０】この説明の補足として、簡単な例を以下に
示す。

【００６１】説明を分かりやすくするために、各入力の
ピクセル周波数とデータ量は同じであると仮定すると、
入力データ転送レートはフレームレートに比例する。こ
の前提の下で、 表示データ転送レートＢＷd≒Ｋ＊６０Ｈｚ 入力１のデータ転送レートＢＷi1≒Ｋ＊６０Ｈｚ 入力２のデータ転送レートＢＷi2≒Ｋ＊５０Ｈｚ 入力３のデータ転送レートＢＷi3≒Ｋ＊７０Ｈｚ 入力４のデータ転送レートＢＷi4≒Ｋ＊６０Ｈｚ とし、フレームメモリのデータ転送レートは、 ＢＷm≒Ｋ＊２００Ｈｚ であったとすると、 ＢＷm＜ＢＷi＋ＢＷd＝Ｋ＊３００Ｈｚ となり、上記（２）式が成立することになる。

【００６２】しかし、仮に上記（３）式の優先度に従
い、間引き率を、０．８、０．６、０．５、０．２の順
に与えれば、 ＢＷi1’＝ＢＷi1×（入力１の間引き率） ＝Ｋ＊６０Ｈｚ＊０．８＝Ｋ＊４８Ｈｚ ＢＷi2’＝ＢＷi2×（入力２の間引き率） ＝Ｋ＊６０Ｈｚ＊０．６＝Ｋ＊３６Ｈｚ ＢＷi3’＝ＢＷｉ３×（入力３の間引き率） ＝Ｋ＊７０Ｈｚ＊０．５＝Ｋ＊３５Ｈｚ ＢＷi4’＝ＢＷi4×（入力４の間引き率） ＝Ｋ＊６０Ｈｚ＊０．２＝Ｋ＊１２Ｈｚ の再算出結果が得られ、ＢＷm＞ＢＷi’＋ＢＷd＝Ｋ＊
１９１Ｈｚとなり、上記（５）式の関係が成立すること
になる。

【００６３】そして、ステップＳ１０６では、上記ステ
ップＳ１０３、ステップＳ１０５で決めたパラメータを
制御部５００が信号線３０５〜３０８、１００６を用い
て入力部３０１〜３０４およびバスコントローラ１００
０に設定し、表示を開始する。

【００６４】このときの表示イメージは、図５に示す初
期化時の表示例のようになる。各入力に対しては、デー
タレートが上記処理により減らされているが、４入力の
すべてを表示することができる。このような手法は、動
画でも静止画的な動きの少ない画像（例えばプリゼンテ
ーション画面など）を表示させるときには特に有効な手
段となり得る。この処理後、制御部５００は図２のＳＴ
１００のアイドル状態になり次のアクションまで待機す
る。

【００６５】＜ウィンドウ選択時の動作＞表示ポインタ
７０２により選択アクションＡ２００が発生すると、た
だちに、制御部５００は図３のウィンドウ選択処理ＳＴ
２００に入る。

【００６６】このウィンドウ選択処理を図６および図７
を参照しながら説明する。図６は図１のマルチ画像表示
システムにおけるウィンドウ選択処理の手順を示すフロ
ーチャート、図７はウィンドウ選択処理における表示例
を示す図である。

【００６７】表示デバイス７００に表示さている画像が
表示ポインタ７０２のボタン操作または表示カーソル７
０１により選択されると、図６に示すように、まずステ
ップＳ２０１において選択されたウィンドウを最優先ウ
ィンドウにして優先度を割り振り直し、前優先度履歴を
更新した履歴を作成する。この優先度は制御部５００の
ＲＡＭに記憶される。ここで、例えば、図６のウィンド
ウ選択時の表示例のように入力３が選択されたとする
と、上記（３）式に示す優先度履歴は 入力３＞入力１＞入力２＞入力４ …… （７） のように変更される（優先度パラメータの作成）。この
優先度は上述したバスコントローラ１０００の調整優先
度へも反映される。

【００６８】次いで、ステップＳ２０２に進み、スケー
ラビリティの管理を行う。ここで、上記（１）式が成立
する場合には、各入力に対してその優先度に関係なくデ
フォルト値の間引き率を設定する。これに対し、上記
（２）式が成立する場合には、上記（７）式の優先度に
応じて間引き率を決定する。間引き率の変更は上述した
方法で行う。ここで、上記（７）式の優先度に従い、間
引き率を、０．５、０．６、０．８、０．２の順に与え
れば、 ＢＷi1’＝ＢＷi1×（入力１の間引き率） ＝Ｋ＊６０Ｈｚ＊０．５＝Ｋ＊３０Ｈｚ ＢＷi2’＝ＢＷi2×（入力２の間引き率） ＝Ｋ＊６０Ｈｚ＊０．６＝Ｋ＊３６Ｈｚ ＢＷi3’＝ＢＷi3×（入力３の間引き率） ＝Ｋ＊７０Ｈｚ＊０．８＝Ｋ＊５６Ｈｚ ＢＷi4’＝ＢＷi4×（入力４の間引き率） ＝Ｋ＊６０Ｈｚ＊０．２＝Ｋ＊１２Ｈｚ の再算出結果が得られ、ＢＷm＞ＢＷi’＋ＢＷd＝Ｋ＊
１９４Ｈｚとなり上記（５）式になる。

【００６９】続くステップＳ２０３では、上記ステップ
Ｓ２０１およびステップＳ２０２で決めたパラメータを
制御部５００が信号線３０５〜３０８，１００６を用い
て入力部３０１〜３０４およびバスコントローラ１００
０に設定し、表示を開始する。このときの表示イメージ
は図７に示すような表示例になる。この状態は、入力３
が最優先（間引き率が４入力中一番高い状態）で表示さ
れている状態である。制御部５００は、選択ウィンドウ
に枠をつけるために、表示駆動コントローラ９００に信
号線９０１を用いて枠データを受け渡し、表示駆動コン
トローラ９００はこれを受けて通常データと重ね合わせ
表示を行う。この処理後、制御部５００は図３のＳＴ１
００のアイドル状態になり、次のアクションまで待機す
る。

【００７０】＜ウィンドウ移動時の動作＞表示ポインタ
７０２の操作により移動アクションＡ３００が発生する
と、ただちに、制御部５００は図３のウィンドウ移動処
理ＳＴ３００に入る。

【００７１】このウィンドウ移動処理を図８および図９
を参照しながら説明する。図８は図１のマルチ画像表示
システムにおけるウィンドウ移動表示処理の手順を示す
フローチャート、図９は図１のマルチ画像表示システム
におけるウィンドウ移動表示処理時の表示例を示す図で
ある。ここで、本説明は数回のウィンドウ移動アクショ
ンがあったときの状態を前提にし、その表示状態を図９
に示している。

【００７２】表示ポインタ７０２のボタン操作により移
動アクションが入力されると、図８に示すように、まず
ステップＳ３０１において、移動アクションによって変
化した各入力表示ウィンドウの表示位置変更を行い（４
入力の表示位置情報パラメータの作成）、続くステップ
Ｓ３０２で、数回のウィンドウ移動アクションによって
重なり合った状態ができたときに最前面から最背面へ優
先度が低くなるように優先度を割り振り直し、前優先度
履歴を更新した履歴を作成する。この優先度は制御部５
００のＲＡＭに記憶される。

【００７３】上記（７）式で示す優先度履歴は 入力４＞入力３＞入力２＞入力１ …… （８） のように変更される（優先度パラメータの作成）。ま
た、この優先度は上述したバスコントローラ１０００の
調整優先度へも反映される。

【００７４】次いで、ステップＳ３０３に進み、スケー
ラビリティの管理を行う。ここで、上記（５）式が成立
する場合には、各入力に対してその優先度に関係なくデ
フォルト値を設定する。これに対し、上記（６）式が成
立する場合には、上記（８）式の優先度を見て間引き率
を決定する。間引き率の変更は前述した方法に従って行
う。ここで、例えば上記（８）式に示す優先度に従い、
間引き率を、０．３，０．５，０．６，０．８の順に与
えれば、 ＢＷi1’＝ＢＷi1×（入力１の間引き率） ＝Ｋ＊６０Ｈｚ＊０．３＝Ｋ＊１８Ｈｚ ＢＷi2’＝ＢＷi2×（入力２の間引き率） ＝Ｋ＊６０Ｈｚ＊０．５＝Ｋ＊３０Ｈｚ ＢＷi3’＝ＢＷi3×（入力３の間引き率） ＝Ｋ＊７０Ｈｚ＊０．６＝Ｋ＊４２Ｈｚ ＢＷi4’＝ＢＷi4×（入力４の間引き率） ＝Ｋ＊６０Ｈｚ＊０．８＝Ｋ＊４８Ｈｚ の再算出結果が得られ、ＢＷm＞ＢＷi’＋ＢＷd＝Ｋ＊
１９８Ｈｚとなり、上記（５）式の関係が成立すること
になる。

【００７５】ステップＳ３０４では、上記ステップＳ３
０１、ステップＳ３０３で決めたパラメータを制御部５
００が信号線３０５〜３０８，１００６を用いて入力部
３０１〜３０４およびバスコントローラ１０００に設定
し、表示を開始する。この処理後、制御部５００は図３
のＳＴ１００のアイドル状態になり、次のアクションま
で待機する。

【００７６】＜解像度変換時の動作＞表示ポインタ７０
２の操作により解像度変換アクションＡ４００が発生す
ると、ただちに、制御部５００は図３のウィンドウ解像
度変換処理ＳＴ４００に入る。

【００７７】このウィンドウ解像度変換処理を図１０お
よび図１１を参照しながら説明する。図１０は図１のマ
ルチ画像表示システムにおけるウィンドウ解像度変換処
理の手順を示すフローチャート、図１１は図１のマルチ
画像表示システムにおけるウィンドウ解像度変換処理時
の表示例を示す図である。ここで、本説明はウィンドウ
拡大アクションがあったときの状態を前提にしている。

【００７８】表示ポインタ７０２の操作により解像度変
換アクションが発生すると、図１０に示すように、まず
ステップＳ４０１において、解像度変換（拡大）アクシ
ョンによって変化した表示ウィンドウの表示位置、サイ
ズ変更を行い（拡大する入力の表示位置情報パラメータ
の作成）、続くステップＳ４０２で、ウィンドウ解像度
変換（拡大）アクションによって重なり合った状態がで
きたときに、選択された拡大ウィンドウを最高優先と
し、その他のウィンドウに関しては最背面側へ向かうほ
ど優先度が低くなるように優先度を割り振り直し、前優
先度履歴を更新した履歴を作成する。ここで、この拡大
アクションによって隠れてしまった入力ウィンドウが出
た場合（図１１を参照、入力１、２に該当する）には、
そのウィンドウ表示自体に意味を持たなくなるので、表
示領域を持つウィンドウ以外は最低優先とすることを追
記する。そして、この優先度は制御部５００のＲＡＭに
記憶される。

【００７９】優先度履歴（ｃ）は 入力４＞入力３(＞入力２＝入力１） …… （９） のように変更される（優先度パラメータの作成）。この
優先度は上述したバスコントローラ１０００の調整優先
度へも反映される。

【００８０】次いで、ステップＳ４０３に進み、スケー
ラビリティの管理を行う。ここで、上記（１）式が成立
する場合には、各入力に対してその優先度に関係なくデ
フォルトの間引き率を設定する。上記（２）式が成立す
る場合には、上記（９）式でに示す優先度を参照して間
引き率を決定する。間引き率の変更は前述した方法で行
う。ここで、例えば上記（９）式に示す優先度およびそ
れに追記された情報すなわち拡大したウィンドウに隠れ
たウィンドウの情報に従い、間引き率を、０．０，０．
０，１．０，１．０の順に与えれば、 ＢＷi1’＝ＢＷi1×（入力１の間引き率） ＝Ｋ＊６０Ｈｚ＊０．０＝０Ｈｚ ＢＷi2’＝ＢＷi2×（入力２の間引き率） ＝Ｋ＊６０Ｈｚ＊０．０＝０Ｈｚ ＢＷi3’＝ＢＷｉ３×（入力３の間引き率） ＝Ｋ＊７０Ｈｚ＊１．０＝Ｋ＊７０Ｈｚ ＢＷi4’＝ＢＷｉ４×（入力４の間引き率） ＝Ｋ＊６０Ｈｚ＊１．０＝Ｋ＊６０Ｈｚ の再算出結果が得られ、ＢＷm＞ＢＷi’＋ＢＷd＝Ｋ＊
１３０Ｈｚとなり、上記（５）式が成立することにな
る。この場合は、入力３、４に関してはすべて間引きな
しの実レートでの処理が可能となる。

【００８１】次いで、ステップＳ４０４に進み、上記ス
テップＳ４０１、ステップＳ４０３で決めたパラメータ
を制御部５００が信号線３０５〜３０８，１００６を用
いて入力部３０１〜３０４およびバスコントローラ１０
００に設定し、表示を開始する。また、表示しない状態
でも入力１、２の接続をユーザーが確認できるように、
制御部５００は表示駆動コントローラ９００に信号線９
０１を用いてアイコンデータ（図１１に示すアイコン１
１、１２）を受け渡し、表示駆動コントローラ９００は
これを受けて通常データと重ね合わせ表示を行う。この
処理後、制御部５００はＳＴ１００のアイドル状態にな
り、次のアクションまで待機する。

【００８２】＜パワーセーブ時の動作＞最後に、パワセ
ーブ時の動作について説明する。本マルチ画像入力表示
システムにおいては、画像ソース１０１〜１０４がそれ
ぞれパワーセーブモードに入ることが想定される。パワ
ーセーブモードは、画像ソース１０１〜１０４がコンピ
ュータである場合は、制御部５００が信号線２０５〜２
０８のＨsync信号、Ｖsync信号の状態（ＶＥＳＡ ＤＰ
ＭＳ仕様など）をモニターしていることにより容易に検
知することができる。画像ソース１０１〜１０４がコン
ポジットビデオ信号を出力する場合は、入力部３０１〜
３０４が信号線２０１〜２０４の画像データの全面ＢＬ
ＵＥが一定時間続く状態をモニターしていることにより
パワーセーブモードを容易に検知することができる。こ
のようなパワーセーブモードへの移行は、前述したユー
ザーによる表示ポインタ７０２からのアクションとは無
関係に突然起きるアクションである。

【００８３】制御部５００がパワーセーブアクションＡ
５００を認識すると、ただちに、パワーセーブ処理ＳＴ
５００に入る。

【００８４】このパワーセーブ処理について図１２およ
び図１３を参照しながら説明する。図１２は図１のマル
チ画像表示システムにおけるパワーセーブ処理の手順を
示すフローチャート、図１３は図１のマルチ画像表示シ
ステムにおけるパワーセーブ処理時の表示例を示す図で
ある。本説明では、入力４がパワーセーブモードに入っ
た状態を前提にしている。

【００８５】画像ソースの内の少なくとも１つがパワー
セーブモードへ移行すると、図１２に示すように、まず
ステップＳ５０１においてパワーセーブモードに入った
入力を表示領域を持たない入力として表示の無効化を行
う。ここでは、入力４がパワーセーブモードに入ったも
のとし、それをアイコン化（図１３に示すアイコン１
４）し、それ以外のウィンドウ（入力１，２，３）に関
しては、位置、サイズともに変わらず、前回のアクショ
ンと同じであるから、再び表示ウィンドウの表示位置、
サイズ変更を行う必要はない。

【００８６】次いで、ステップＳ５０２に進み、パワー
セーブアクションによって入力の無効化されたウィンド
ウ以外は、再び最前面から最背面へ優先度が低くなるよ
うに優先度を割り振り直し、前優先度履歴を更新した履
歴を作成する。この優先度は制御部５００のＲＡＭに記
憶される。本例では、パワーセーブによって入力４はア
イコン化され、今まで入力４に隠されてアイコン化され
ていた入力１，２が再び表示されていることを追記す
る。

【００８７】優先度履歴（９）は 入力２＞入力１＞入力３(＞入力４） …… （１０） のように変更される（優先度パラメータの作成）。この
優先度は上述したバスコントローラ１０００の調整優先
度へも反映される。

【００８８】次いで、ステップＳ５０３に進み、スケー
ラビリティの管理を行う。ここで、上記（１）式が成立
する場合には、各入力に対してその優先度の関係なくデ
フォルトの間引き率を設定する。これに対し、上記
（２）式が成立する場合には、上記（１０）式に示す優
先度を参照して間引き率を決定する。間引き率の変更は
前述した方法で行う。ここで、例えば上記（１０）式の
優先度に従い、間引き率を、０．９、１．０、０．８、
０．０の順に与えれば、 ＢＷi1’＝ＢＷi1×（入力１の間引き率） ＝Ｋ＊６０Ｈｚ＊０．９＝Ｋ＊５４Ｈｚ ＢＷi2’＝ＢＷi2×（入力２の間引き率） ＝Ｋ＊６０Ｈｚ＊１．０＝Ｋ＊６０Ｈｚ ＢＷi3’＝ＢＷi3×（入力３の間引き率） ＝Ｋ＊７０Ｈｚ＊０．８＝Ｋ＊５６Ｈｚ ＢＷi4’＝ＢＷi4×（入力４の間引き率） ＝Ｋ＊６０Ｈｚ＊０．０＝０Ｈｚ の再算出結果が得られ、ＢＷm＞ＢＷi’＋ＢＷd＝Ｋ＊
１７０Ｈｚとなり、上記（５）式が成立することにな
る。

【００８９】そして、ステップＳ５０４に進み、上記ス
テップＳ５０３で決めたパラメータを制御部５００が信
号線３０５〜３０８，１００６を用いて入力部３０１〜
３０４およびバスコントローラ１０００に設定し、表示
を開始する。また、表示しない状態でも入力４の接続
と、それがパワーセーブモードであることをユーザーが
確認できるように、制御部５００は表示駆動コントロー
ラ９００に信号線９０１を用いて図１３に示すようなア
イコンデータ（アイコン１４）を受け渡し、表示駆動コ
ントローラ９００はこれを受けて通常データと重ね合わ
せ表示を行う。この処理後、制御部５００はＳＴ１００
のアイドル状態になり、次のアクションまで待機する。

【００９０】以上より、本マルチ画像入力表示システム
では、表示状態が上述したユーザーによる数々のアクシ
ョンの繰り返し（本実施の形態では一例のみを示した）
または画像ソース側のアクション（パワーセーブモード
への移行）によりダイナミックに変化するが、この変化
に応じて、スケーラビリティの管理を行うための優先度
履歴が、（３）式→（７）式→（８）式→（９）式→
（１０）式のように自動的に更新されるから、ユーザー
からみれば、スケーラビリティの管理は全く意識せずに
表示カーソル７０１または表示ポインタ７０２のみのユ
ーザーインタフェースでマルチ画像表示システムを操作
していることになる。これにより、ユーザによるアクシ
ョンまたは画像ソース側のアクション（パワーセーブモ
ード）に連動したスケーラビリティ管理を自動的に行う
環境をユーザに提供することができる。すなわち、操作
性に優れたマルチ画像表示システムを構築することがで
きる。

【００９１】（実施の第２形態）次に、本発明の実施の
第２形態について図を参照しながら説明する。

【００９２】まず、上記実施の第１形態のように重ね合
わせの状態を判断して優先度を単純に決める手法におけ
る問題点について図１５を参照しながら説明する。図１
５は本発明の実施の第１形態の重ね合わせ状態で問題と
なる場合の表示例を示す図である。

【００９３】この図１５に示す表示状態で上記実施の第
１形態と同様なスケーラビリティ管理を行うと、上記実
施の第１形態の図９の表示例と同じになる。このときの
結果は、 ＢＷi1’＝ＢＷI１×（入力１の間引き率） ＝Ｋ＊６０Ｈｚ＊０．３＝Ｋ＊１８Ｈｚ ＢＷi2’＝ＢＷi2×（入力２の間引き率） ＝Ｋ＊６０Ｈｚ＊０．５＝Ｋ＊３０Ｈｚ ＢＷi3’＝ＢＷi3×（入力３の間引き率） ＝Ｋ＊７０Ｈｚ＊０．６＝Ｋ＊４２Ｈｚ ＢＷi4’＝ＢＷi4×（入力４の間引き率） ＝Ｋ＊６０Ｈｚ＊０．８＝Ｋ＊４８Ｈｚ である。しかし、図１５の表示例をみると、入力２，３
はほとんど表示領域が持たないにも拘らず、表示領域が
大きい入力１より高優先ウィンドウとして調整されてい
る。ユーザーにとっては、入力２，３より表示領域の大
きい入力１の方を高優先度に更新する方が、使いやすい
システムとなるはずである。

【００９４】そこで、このような問題を解決するため
に、本実施の形態では、表示デバイス７００上で各入力
１〜４が互いに重なり合う際には、背面側の入力１〜３
の表示領域の総画素数が所定の画素数より小さいか否か
を判定し、該判定結果に応じて背面側の入力１〜３の表
示優先度を変更する方法を用いる。

【００９５】この方法について図１４を参照しながら説
明する。図１４は本発明のマルチ画像表示システムの実
施の第２形態における処理の手順を示すフローチャート
である。

【００９６】具体的には、図１４に示すように、まずス
テップＳ６０１において移動アクションによって変化し
た各入力表示ウィンドウの表示位置変更を行い（４入力
の表示位置情報パラメータの作成）、続くステップＳ６
０２で、数回のウィンドウ移動アクションによって重な
り合った状態ができたときに最前面から最背面へ優先度
が低くなるように優先度を割り振り直し、前優先度履歴
を更新した履歴を作成する。この優先度は制御部５００
のＲＡＭに記憶される。

【００９７】次いで、ステップＳ６０３に進み、各入力
が表示デバイス７００に実際に表示されている領域面積
を、各入力の表示画素数として算出し、この算出した表
示画素数と表示閾値とを比較する。この表示画素数の算
出は、制御部５００が現在の優先度履歴と各表示ウィン
ドウの位置、サイズを詳細に把握しているので容易に求
めることが可能である。ここで、制御部５００が図１５
の表示例での各入力の表示画素数を 入力１の表示画素数＝ＤＰ１（画素数） 入力２の表示画素数＝ＤＰ２（画素数） 入力３の表示画素数＝ＤＰ３（画素数） 入力４の表示画素数＝ＤＰ４（画素数） と算出したとする。

【００９８】次に、ユーザーが表示領域としては有効と
みなさない画素数をあらかじめ決定する。これを、表示
画素閾値（ＴＨ画素数）と定義する。続いて、上記算出
した表示画素数と表示画素閾値とを比較し、各表示入力
がこの閾値により大きい表示領域を有するか否かを判断
する。すなわち、ユーザーにとって意味ある表示領域か
否かを判断する。図１５の表示例において、 ＤＰ１＞ＴＨ ＤＰ２＜ＴＨ ＤＰ３＜ＴＨ ＤＰ４＞ＴＨ の比較結果が得られた場合、前優先度履歴は上記（８）
式に示すように、 入力４＞入力３＞入力２＞入力１ となっているが、本実施の形態での処理においては、比
較結果に基づき表示画素が閾値（ＴＨ画素数）より小さ
いときには、上記ステップＳ６０２に戻り、その入力に
対してはその優先度を下げることを行う。優先度履歴は 入力４＞入力１＞入力２＝入力３ …… （１１） のように変更される（優先度パラメータの作成。） この優先度は上述したバスコントローラ１０００の調整
優先度へも反映される。

【００９９】次いで、ステップＳ６０４に進み、スケー
ラビリティの管理を行う。ここで、上記（１）式の関係
が成立する場合には、各入力に対してその優先度に関係
なくデフォルトの間引き率を設定する。これに対し、上
記（２）式の関係が成立する場合には、上記（１１）式
の優先度を見て間引き率を決定する。間引き率の変更は
前述した以下の方法で行う。例えば、上記（１１）式に
示す優先度に従い、間引き率を、０．９、０．２、０．
２、１．０の順に与えれば、 ＢＷi1’＝ＢＷi1×（入力１の間引き率） ＝Ｋ＊６０Ｈｚ＊０．９＝Ｋ＊５４Ｈｚ ＢＷi2’＝ＢＷi2×（入力２の間引き率） ＝Ｋ＊６０Ｈｚ＊０．２＝Ｋ＊１２Ｈｚ ＢＷi3’＝ＢＷｉ３×（入力３の間引き率） ＝Ｋ＊７０Ｈｚ＊０．２＝Ｋ＊１４Ｈｚ ＢＷi4’＝ＢＷi4×（入力４の間引き率） ＝Ｋ＊６０Ｈｚ＊１．０＝Ｋ＊６０Ｈｚ の再算出結果が得られ、ＢＷm＞ＢＷi’＋ＢＷd＝Ｋ＊
１４０Ｈｚとなり、上記（５）式が成立する。

【０１００】そして、ステップＳ６０５に進み、上記ス
テップＳ６０４で決めたパラメータを制御部５００が信
号線３０５〜３０８，１００６を用いて入力部３０１〜
３０４およびバスコントローラ１０００に設定し、表示
を開始する。この処理後、制御部５００はＳＴ１００の
アイドル状態になり、次のアクションまで待機する。

【０１０１】この処理によって、入力１は１８Ｈｚ→５
４Ｈｚへ、入力２は４２Ｈｚ→１２Ｈｚへ、入力３は４
２Ｈｚ→１４Ｈｚへ、入力４は４８Ｈｚ→６０Ｈｚへと
フレームレートが変更される。つまり、ユーザーにとっ
て意味ある入力１，４についてはフレームレートが引き
上げられ、そうでない入力２，３についてはフレームレ
ートが引き下げられたことになる。

【０１０２】このように、本実施の形態における、ユー
ザーにとって意味ある表示領域まで意識したスケーラビ
リティ管理は、前述した問題を解決するのみならず、ユ
ーザーインタフェースの大幅な向上を促すことができ
る。これは本実施の第２形態のの特有の効果でもある。

【０１０３】（実施の第３形態）次に、本発明の実施の
第３形態について図を参照しながら説明する。

【０１０４】上述の各実施の形態では、それぞれに示し
たような重ね合わせの状態がなくかつユーザーにとって
有効な表示領域（少なくとも２つ以上の表示領域が上記
実施の第２の形態で示した閾値を超えている場合）がす
べて表示されているような場合、優先度を自動的に決め
ることができない。

【０１０５】そこで、本実施の形態では、図１の入力部
３０１〜３０４のすべてに動き検知部を付加し、それぞ
れに示したような重ね合わせの状態がなくかつユーザー
にとって有効な表示領域（少なくとも２つ以上の表示領
域が上記実施の第２の形態で示した閾値を超えている場
合）がすべて表示されているような場合、この動き検知
部によって検知した動き量を用いて優先度を自動的に決
定するように構成されている。ここで、動き検知部の動
き検知量は、マルチウィンドウ表示の優先度を決める際
の目安として使われ、表示ウィンドウのどの画素がどれ
だけ動いているかという正確な精度は要求されない。従
って、ここで用いられる動き検知部としては、１フレー
ム内の総画素数をフレーム間での差分量として算出する
簡易な動き検知回路とすることができる。

【０１０６】まず、動き検知部の構成について図１６を
参照しながら説明する。図１６は本発明のマルチ画像表
示システムの実施の第３形態における動き検知部の構成
を示すブロック図である。

【０１０７】各入力部３０１〜３０４には、図１６に示
すように、動き検知部３６０が設けられている。動き検
知部３６０は、加算器３６１とラッチ３６２とを有し、
加算器３６１とラッチ３６２とは互いに協働して、１フ
レーム内の総画素数をピクセルクロック毎に求める回路
を構成する。この加算結果はセレクタ３６３に入力さ
れ、このセレクタ３６３は１フレーム（Ｖsync信号）毎
にトグルして入力をフレームデータサムバッファ３６４
とフレームデータサムバッファ３６５に交互に振り分け
る。各フレームデータバッファ３６４，３６５の出力
Ａ，Ｂは絶対値差分器３６６に渡され、そこでフレーム
差分データ｜Ａ−Ｂ｜が計算される。このフレーム差分
データはラッチ３６７に入力されて１フレーム（Ｖsync
信号）毎にラッチされ、信号線３０９を介して制御部５
００へ受け渡される。

【０１０８】次に、上記動き検知部３６０を使用した処
理について図１７ないし図１９を参照しながら説明す
る。図１７は本発明のマルチ画像表示システムにおける
実施の第３形態における動き検知を用いた処理の手順を
示すフローチャート、図１８は動き検知を必要とする場
合の表示例を示す図、図１９は本発明のマルチ画像表示
システムにおける実施の第３形態における動き検知処理
時のタイミングチャートである。

【０１０９】本例では、図１９に示すように、入力１〜
３はプレゼンテーションデータなどを代表とする動きが
少ないウィンドウ、入力４はビデオデータなどの動きが
多いウィンドウを同時に表示している場合を想定する。

【０１１０】ここで、図１９を参照するに、入力１にお
いては、Ｖsync信号のＮ−１のタイミングでフレーム差
分データの更新（ＵＰＤＡＴＥ）があり、それ以降のタ
イミングでは、同じフレームを表示している（ＳＡ８０
０）。入力２においては、Ｖsync信号のＮのタイミング
でフレーム差分データの更新（ＵＰＤＡＴＥ）があり、
それ以降のタイミングでは、同じフレームを表示してい
る（ＳＡ８０１）。入力３においては、Ｖsync信号のＮ
＋３のタイミングでフレーム差分データの更新（ＵＰＤ
ＡＴＥ）があり、それ以降のタイミングでは、同じフレ
ームを表示している（ＳＡ８０２）。入力４において
は、フレーム差分データがＶsync信号のＮ−１〜Ｎ＋４
に至るまで、動きの大小に係わらずデータの更新（ＵＰ
ＤＡＴＥ）が続いている（ＳＡ８０３）。それぞれの入
力１〜４のフレーム周期（Ｖsync信号）は完全非同期で
あり、よって、各入力部１０１〜１０４から信号線３０
９を介して出力される差分データは制御部５００に完全
非同期で渡される。

【０１１１】制御部５００ではこれを受けて、周期ＴＳ
のサンプリング点で入力１〜４のフレーム差分データの
比較を行う（ＳＡ８０４，８０６）。

【０１１２】そして、上記フレーム差分データの比較結
果を取得すると、制御部５００により図１７に示す処理
が開始される。まずステップＳ７０１で、差分量の大き
い順に優先度履歴を更新し、続くステップＳ７０２でス
ケーラビリティ管理を行い、そしてステップＳ７０３で
はパラメータ設定を行う。なお、これらの処理の詳細に
ついては、上述の各実施の形態で説明した処理内容と同
じであるから、ここではその詳細な説明は割愛する。

【０１１３】新規パラメータによる表示更新のタイミン
グは、入力１のＶsync信号を代表にして同期させてい
る。この結果、優先度履歴（ＳＡ８０５）は、 ２フレーム期間（ＳＡ８０７）・・入力４＞入力１＞入力３＞入力２ ３フレーム期間（ＳＡ８０８）・・入力４＞入力２＞入力１＞入力３ １フレーム期間（ＳＡ８０９）・・入力４＞入力３＞入力２＞入力１ のように自動的に更新されていく。

【０１１４】つまり、入力４は動きが多いので常に最高
優先度、入力１〜３の動きが少ないウィンドウは変化が
あった時点で、優先度を引き上げるようスケーラビリテ
ィ管理が行われたことになる。

【０１１５】このように、本実施の形態では、簡易的な
動き検知機能を設け、その動き検出の結果に基づき表示
優先度を決め、その優先度をスケーラビリティ管理に反
映させれば、ウィンドウの重ね合わせのない状態におい
ても、システムによる自動的なスケーラビリティ管理を
実現することができ、ユーザーインタフェースの大幅な
向上を促すことができる。これは本実施の形態の特有の
効果でもある。

【０１１６】

【発明の効果】以上説明したように、請求項１記載のマ
ルチ画像表示システムによれば、外部からのアクション
を入力する外部アクション入力手段と、複数の画像デー
タ入力手段によりそれぞれ入力された画像データをフレ
ーム単位で格納するフレームメモリと、フレームメモリ
から画像データを読み出し、該読み出した画像データを
表示装置に転送する転送手段と、複数の画像データ入力
手段が入力する画像データの入力データ転送レートの総
和を検出する検出手段と、検出した入力データ転送レー
トの総和をフレームメモリのデータ転送レートと比較す
る比較手段と、入力された外部からのアクションに応じ
て表示装置に表示する画像データのそれぞれに対して表
示優先度を決定して割り当てる優先度割り当て手段と、
割り当てられた表示優先度およびフレームメモリのデー
タ転送レートと検出した入力データ転送レートの総和と
の比較結果に応じて入力した画像データのそれぞれの表
示装置への表示を制御する制御手段とを備えるから、外
部からのアクションによる表示状態の変化に対応しなが
ら複数の画像データを同時に表示することができる。

【０１１７】請求項２ないし５記載のマルチ画像表示シ
ステムによれば、制御手段は、検出した入力データ転送
レートの総和がフレームメモリのデータ転送レートより
大きいときには、入力した画像データ毎にその表示優先
度に基づき対応する画像データ入力手段の入力データ転
送レートの比率を調整し、該調整した比率に応じて画像
データ入力手段のそれぞれにおける入力データ転送レー
トを制御するから、ユーザが意識することなく、表示優
先度に応じたスケーラビリティ管理を行うことができ
る。

【０１１８】請求項６記載のマルチ画像表示システムに
よれば、優先度割り当て手段は、複数の画像データを互
いに重なり合せて表示装置上に表示するときには、複数
の画像データに対する表示優先度を、その最前面に表示
される画像データを最高位として最背面に表示される画
像データに向けて順に低くなるように割り当てるから、
複数の画像データを互いに重なり合せて表示装置上に表
示する際に最前面の画像データすなわち注目すべき画像
データに最高位の表示優先度を与えることができる。

【０１１９】請求項７記載のマルチ画像表示システムに
よれば、外部アクション入力手段は、ユーザから出され
た表示装置の画像表示に関する操作指示を外部からのア
クションとして入力し、制御手段は、画像表示に関する
操作指示に応じた画像データの表示に関する処理を行う
表示処理機能を有するから、ユーザにより外部アクショ
ン入力手段を介して画像表示に関する操作指示を与える
ことができ、優れた操作性を得ることができる。

【０１２０】請求項８記載のマルチ画像表示システムに
よれば、画像表示に関する操作指示は、表示装置に表示
されている複数の画像データの中から１つの画像データ
を選択するための操作指示であるから、複数の画像デー
タの中から１つの画像データを簡単に選択することがで
きる。

【０１２１】請求項９記載のマルチ画像表示システムに
よれば、画像表示に関する操作指示は、表示装置に表示
されている複数の画像データの中の１つの画像データを
移動させるための操作指示であり、制御手段により、操
作指示に基づき１つの画像データを対応する位置に移動
させるから、複数の画像データの中の１つの画像データ
を簡単に移動させることができる。

【０１２２】請求項１０記載のマルチ画像表示システム
によれば、画像表示に関する操作指示は、表示装置に表
示されている複数の画像データの中の１つの画像データ
に対する解像度を変換するための操作指示であり、制御
手段により、操作指示に基づき１つの画像データの解像
度を対応する解像度に変換するから、表示装置に表示さ
れている複数の画像データの中の１つの画像データに対
する解像度を簡単に変換することができる。

【０１２３】請求項１１記載のマルチ画像表示システム
によれば、優先度割り当て手段は、画像表示に関する操
作指示が入力されたときには、該操作指示により指定さ
れた画像データに最上位の表示優先度を割り当てるか
ら、操作指示により指定された画像データすなわち注目
すべき画像データに対する表示優先度を高く設定するこ
とができる。

【０１２４】請求項１２記載のマルチ画像表示システム
によれば、外部アクション入力手段は、複数の画像ソー
スからの画像データの供給中断への移行を検知し、この
検知結果を外部からのアクションとして入力し、優先度
割り当て手段は、外部アクション入力手段により検知結
果が入力されると、画像データの供給を中断した画像ソ
ースからの画像データに最下位の表示優先度を割り当て
るから、画像データの供給を中断した画像ソースからの
画像データを無効化することができる。

【０１２５】請求項１３記載のマルチ画像表示システム
によれば、優先度割り当て手段は、表示装置上に表示さ
れる複数の画像データが互いに重なり合う際には、背面
側の画像データの表示領域の総画素数が所定の画素数よ
り小さいか否かを判定し、該判定結果に応じて背面側の
画像データの表示優先度を変更するから、有効な領域を
持たない画像データの表示優先度を下げることができ
る。

【０１２６】請求項１４記載のマルチ画像表示システム
によれば、複数の画像データにおけるそれぞれの動き量
を検出する画像データ動き量検出手段を備え、優先度割
り当て手段は、表示装置上に表示される複数の画像デー
タが互いに重なり合わない場合には、検出された各画像
データの動き量に応じて表示優先度を割り当てるから、
各画像データの重ね合わせのない状態においても、適正
に表示優先度を決定することができ、この表示優先度に
応じたスケーラビリティ管理を行うことができる。

【０１２７】請求項１５記載のマルチ画像表示方法によ
れば、外部からのアクションを入力する外部アクション
入力工程と、複数の画像ソースから入力された画像デー
タのそれぞれをフレーム単位でフレームメモリに格納す
る格納工程と、画像データの入力データ転送レートの総
和を検出する検出工程と、フレームメモリから前記画像
データを読み出し、該読み出した画像データを前記表示
装置に転送する転送工程と、検出した入力データ転送レ
ートの総和をフレームメモリのデータ転送レートと比較
する比較工程と、入力された外部からのアクションに応
じて表示装置に表示する画像データのそれぞれに対して
表示優先度を決定して割り当てる割り当て工程と、割り
当てられた表示優先度およびフレームメモリのデータ転
送レートと検出した入力データ転送レートの総和との比
較結果に応じて入力した画像データのそれぞれの表示装
置への表示を制御する制御工程とを有するから、外部か
らのアクションによる表示状態の変化に対応しながら複
数の画像データを同時に表示することができる。

【０１２８】請求項１６ないし１９記載のマルチ画像表
示方法によれば、検出した入力データ転送レートの総和
がフレームメモリのデータ転送レートより大きいときに
は、入力した画像データ毎にその表示優先度に基づき対
応する画像データ入力手段の入力データ転送レートの比
率を調整し、該調整した比率に応じて画像データ入力手
段のそれぞれにおける入力データ転送レートを制御する
から、ユーザが意識することなく、表示優先度に応じた
スケーラビリティ管理を行うことができる。

【０１２９】請求項２０記載のマルチ画像表示方法によ
れば、複数の画像データを互いに重なり合せて表示装置
上に表示するときには、複数の画像データに対する表示
優先度を、その最前面に表示される画像データを最高位
として最背面に表示される画像データに向けて順に低く
なるように割り当てるから、複数の画像データを互いに
重なり合せて表示装置上に表示する際に最前面の画像デ
ータすなわち注目すべき画像データに最高位の表示優先
度を与えることができる。

【０１３０】請求項２１記載のマルチ画像表示方法によ
れば、ユーザから出された表示装置の画像表示に関する
操作指示を外部からのアクションとして入力し、画像表
示に関する操作指示に応じた画像データの表示に関する
処理を行うから、ユーザにより外部アクション入力手段
を介して画像表示に関する操作指示を与えることがで
き、優れた操作性を得ることができる。

【０１３１】請求項２２記載のマルチ画像表示方法によ
れば、画像表示に関する操作指示は、表示装置に表示さ
れている複数の画像データの中から１つの画像データを
選択するための操作指示であるから、複数の画像データ
の中から１つの画像データを簡単に選択することができ
る。

【０１３２】請求項２３記載のマルチ画像表示方法によ
れば、画像表示に関する操作指示は、表示装置に表示さ
れている複数の画像データの中の１つの画像データを移
動させるための操作指示であり、操作指示に基づき１つ
の画像データを対応する位置に移動させるから、複数の
画像データの中の１つの画像データを簡単に移動させる
ことができる。

【０１３３】請求項２４記載のマルチ画像表示方法によ
れば、画像表示に関する操作指示は、表示装置に表示さ
れている複数の画像データの中の１つの画像データに対
する解像度を変換するための操作指示であり、操作指示
に基づき１つの画像データの解像度を対応する解像度に
変換するから、表示装置に表示されている複数の画像デ
ータの中の１つの画像データに対する解像度を簡単に変
換することができる。

【０１３４】請求項２５記載のマルチ画像表示方法によ
れば、画像表示に関する操作指示が入力されたときに
は、該操作指示により指定された画像データに最上位の
表示優先度を割り当てるから、操作指示により指定され
た画像データすなわち注目すべき画像データに対する表
示優先度を高く設定することができる。

【０１３５】請求項２６記載のマルチ画像表示方法によ
れば、複数の画像ソースからの画像データの供給中断へ
の移行を検知し、この検知結果を外部からのアクション
として入力し、この検知結果が入力されると、画像デー
タの供給を中断した画像ソースからの画像データに最下
位の表示優先度を割り当てるから、画像データの供給を
中断した画像ソースからの画像データを無効化すること
ができる。

【０１３６】請求項２７記載のマルチ画像表示方法によ
れば、表示装置上に表示される複数の画像データが互い
に重なり合う際には、背面側の画像データの表示領域の
総画素数が所定の画素数より小さいか否かを判定し、該
判定結果に応じて背面側の画像データの表示優先度を変
更するから、有効な領域を持たない画像データの表示優
先度を下げることができる。

【０１３７】請求項２８記載のマルチ画像表示方法によ
れば、表示装置上に表示される複数の画像データが互い
に重なり合わない場合には、検出された各画像データの
動き量に応じて表示優先度を割り当てるから、各画像デ
ータの重ね合わせのない状態においても、適正に表示優
先度を決定することができ、この表示優先度に応じたス
ケーラビリティ管理を行うことができる。

【図面の簡単な説明】

【図１】本発明のマルチ画像表示システムの実施の第１
形態の構成を示すブロック図である。

【図２】図１の入力部の構成を示すブロック図である。

【図３】図１のマルチ画像表示システムの状態遷移図で
ある。

【図４】図１のマルチ画像表示システムにおける初期化
処理を示すフローチャートである。

【図５】図１のマルチ画像表示システムにおける初期化
時の表示例を示す図である。

【図６】図１のマルチ画像表示システムにおけるウィン
ドウ選択処理の手順を示すフローチャートである。

【図７】ウィンドウ選択処理における表示例を示す図で
ある。

【図８】図１のマルチ画像表示システムにおけるウィン
ドウ移動表示処理の手順を示すフローチャートである。

【図９】図１のマルチ画像表示システムにおけるウィン
ドウ移動表示処理時の表示例を示す図である。

【図１０】図１のマルチ画像表示システムにおけるウィ
ンドウ解像度変換処理の手順を示すフローチャートであ
る。

【図１１】図１のマルチ画像表示システムにおけるウィ
ンドウ解像度変換処理時の表示例を示す図である。

【図１２】図１のマルチ画像表示システムにおけるパワ
ーセーブ処理の手順を示すフローチャートである。

【図１３】図１のマルチ画像表示システムにおけるパワ
ーセーブ処理時の表示例を示す図である。

【図１４】本発明のマルチ画像表示システムの実施の第
２形態における処理の手順を示すフローチャートであ
る。

【図１５】本発明の実施の第１形態の重ね合わせ状態で
問題となる場合の表示例を示す図である。

【図１６】本発明のマルチ画像表示システムの実施の第
３形態における動き検知部の構成を示すブロック図であ
る。

【図１７】本発明のマルチ画像表示システムにおける実
施の第３形態における動き検知を用いた処理の手順を示
すフローチャートである。

【図１８】動き検知を必要とする場合の表示例を示す図
である。

【図１９】本発明のマルチ画像表示システムにおける実
施の第３形態における動き検知処理時のタイミングチャ
ートである。

【符号の説明】

１０１、１０２、１０３、１０４ 画像ソース ３０１、３０２、３０３、３０４ 入力部（画像データ
入力手段） ３５１ 入力間引き部（制御手段） ３５２ 表示フォーマット変換部 ３５３ バスインタフェース部 ３６０ 動き検知部 ４００ グラフィックバス（転送手段） ５００ 制御部（比較手段、入力データ転送レート検出
手段） ６００ フレームメモリ ７００ 表示デバイス（表示装置） ７０１ 表示カーソル（外部アクション入力手段） ７０２ 表示ポインタ（外部アクション入力手段） ８００ 赤外線受光部 ９００ 表示駆動コントローラ（転送手段） １０００ バスコントローラ（優先度決定手段）

───────────────────────────────────────────────────── フロントページの続き (72)発明者 宮本 勝弘 東京都大田区下丸子３丁目30番２号 キ ヤノン株式会社内 (56)参考文献 特開 平６−324662（ＪＰ，Ａ) 特開 平４−255895（ＪＰ，Ａ) 特開 平10−13825（ＪＰ，Ａ) 特開 平７−319669（ＪＰ，Ａ) 特開 平５−73028（ＪＰ，Ａ) 特開 平９−251287（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 3/14 - 3/153 G06F 13/38 310 G09G 5/00 - 5/40

Claims (28)

(57)【特許請求の範囲】
1. 【請求項１】 複数の画像ソースから画像データをそれ
   ぞれ入力する複数の画像データ入力手段を有し、前記複
   数の画像データ入力手段からそれぞれ入力した複数の画
   像データを１つの表示装置に同時に表示することが可能
   なマルチ画像表示システムにおいて、外部からのアクシ
   ョンを入力する外部アクション入力手段と、前記複数の
   画像データ入力手段によりそれぞれ入力された画像デー
   タをフレーム単位で格納するフレームメモリと、前記フ
   レームメモリから前記画像データを読み出し、該読み出
   した画像データを前記表示装置に転送する転送手段と、
   前記複数の画像データ入力手段が入力する画像データの
   入力データ転送レートの総和を検出する検出手段と、前
   記検出した入力データ転送レートの総和を前記フレーム
   メモリのデータ転送レートと比較する比較手段と、前記
   入力された外部からのアクションに応じて前記表示装置
   に表示する画像データのそれぞれに対して表示優先度を
   決定して割り当てる優先度割り当て手段と、前記割り当
   てられた表示優先度および前記フレームメモリのデータ
   転送レートと前記検出した入力データ転送レートの総和
   との比較結果に応じて前記入力した画像データのそれぞ
   れの前記表示装置への表示を制御する制御手段とを備え
   ることを特徴とするマルチ画像表示システム。
2. 【請求項２】 前記制御手段は、前記検出した入力デー
   タ転送レートの総和が前記フレームメモリのデータ転送
   レートより大きいときには、前記入力した画像データ毎
   にその表示優先度に基づき対応する画像データ入力手段
   の入力データ転送レートの比率を調整し、該調整した比
   率に応じて前記画像データ入力手段のそれぞれにおける
   入力データ転送レートを制御することを特徴とする請求
   項１記載のマルチ画像表示システム。
3. 【請求項３】 前記制御手段は、前記検出した入力デー
   タ転送レートの総和が前記フレームメモリのデータ転送
   レートより大きいときには、前記検出した入力データ転
   送レートの総和が前記フレームメモリのデータ転送レー
   トより小さくなるように、前記画像データ入力手段のそ
   れぞれにおける入力データ転送レートの比率をそれぞれ
   の表示優先度の順に従って調整することを特徴とする請
   求項２記載のマルチ画像表示システム。
4. 【請求項４】 前記制御手段は、前記表示優先度が低く
   なるに従い前記比率を小さくすることを特徴とする請求
   項３記載のマルチ画像表示システム。
5. 【請求項５】 前記転送手段は、前記フレームメモリか
   らの前記複数の画像データの読み出しを所定の読み出し
   データ転送レートで行い、前記比較手段は、前記検出し
   た入力データ転送レートの総和と前記転送手段の読み出
   しデータ転送レートとの和とを加算し、該加算値と前記
   フレームメモリのデータ転送レートとを比較することを
   特徴とする請求項１ないし４のいずれか１つに記載のマ
   ルチ画像表示システム。
6. 【請求項６】 前記優先度割り当て手段は、前記複数の
   画像データを互いに重なり合せて前記表示装置上に表示
   するときには、前記複数の画像データに対する表示優先
   度を、その最前面に表示される画像データを最高位とし
   て最背面に表示される画像データに向けて順に低くなる
   ように割り当てることを特徴とする請求項１ないし５の
   いずれか１つに記載のマルチ画像表示システム。
7. 【請求項７】 前記外部アクション入力手段は、ユーザ
   から出された前記表示装置の画像表示に関する操作指示
   を前記外部からのアクションとして入力し、前記制御手
   段は、前記画像表示に関する操作指示に応じた前記画像
   データの表示に関する処理を行う表示処理機能を有する
   ことを特徴とする請求項１ないし６のいずれか１つに記
   載のマルチ画像表示システム。
8. 【請求項８】 前記画像表示に関する操作指示は、前記
   表示装置に表示されている複数の画像データの中から１
   つの画像データを選択するための操作指示であることを
   特徴とする請求項７記載のマルチ画像表示システム。
9. 【請求項９】 前記画像表示に関する操作指示は、前記
   表示装置に表示されている複数の画像データの中の１つ
   の画像データを移動させるための操作指示であり、前記
   制御手段は、前記操作指示に基づき前記１つの画像デー
   タを対応する位置に移動させることを特徴とする請求項
   ７記載のマルチ画像表示システム。
10. 【請求項１０】 前記画像表示に関する操作指示は、前
    記表示装置に表示されている複数の画像データの中の１
    つの画像データに対する解像度を変換するための操作指
    示であり、前記制御手段は、前記操作指示に基づき前記
    １つの画像データの解像度を対応する解像度に変換する
    ことを特徴とする請求項７記載のマルチ画像表示システ
    ム。
11. 【請求項１１】 前記優先度割り当て手段は、前記画像
    表示に関する操作指示が入力されたときには、該操作指
    示により指定された画像データに最上位の表示優先度を
    割り当てることを特徴とする請求項７記載のマルチ画像
    表示システム。
12. 【請求項１２】 前記外部アクション入力手段は、前記
    複数の画像ソースからの画像データの供給中断への移行
    を検知し、この検知結果を前記外部からのアクションと
    して入力し、前記優先度割り当て手段は、前記外部アク
    ション入力手段により前記検知結果が入力されると、前
    記画像データの供給を中断した画像ソースからの画像デ
    ータに最下位の表示優先度を割り当てることを特徴とす
    る請求項１ないし６のいずれか１つに記載のマルチ画像
    表示システム。
13. 【請求項１３】 前記優先度割り当て手段は、前記表示
    装置上に表示される前記複数の画像データが互いに重な
    り合う際には、背面側の画像データの表示領域の総画素
    数が所定の画素数より小さいか否かを判定し、該判定結
    果に応じて前記背面側の画像データの表示優先度を変更
    することを特徴とする請求項１ないし６のいずれか１つ
    に記載のマルチ画像表示システム。
14. 【請求項１４】 前記複数の画像データにおけるそれぞ
    れの動き量を検出する画像データ動き量検出手段を備
    え、前記優先度割り当て手段は、前記表示装置上に表示
    される前記複数の画像データが互いに重なり合わない場
    合には、前記検出された各画像データの動き量に応じて
    前記表示優先度を割り当てることを特徴とする請求項１
    ないし６のいずれか１つに記載のマルチ画像表示システ
    ム。
15. 【請求項１５】 複数の画像ソースから画像データをそ
    れぞれ入力し、該入力した画像データのそれぞれを１つ
    の表示装置に同時に表示するためのマルチ画像表示方法
    において、外部からのアクションを入力する外部アクシ
    ョン入力工程と、前記複数の画像ソースから入力された
    画像データのそれぞれをフレーム単位でフレームメモリ
    に格納する格納工程と、前記画像データの入力データ転
    送レートの総和を検出する検出工程と、前記フレームメ
    モリから前記画像データを読み出し、該読み出した画像
    データを前記表示装置に転送する転送工程と、前記検出
    した入力データ転送レートの総和を前記フレームメモリ
    のデータ転送レートと比較する比較工程と、前記入力さ
    れた外部からのアクションに応じて前記表示装置に表示
    する画像データのそれぞれに対して表示優先度を決定し
    て割り当てる割り当て工程と、前記割り当てられた表示
    優先度および前記フレームメモリのデータ転送レートと
    前記検出した入力データ転送レートの総和との比較結果
    に応じて前記入力した画像データのそれぞれの前記表示
    装置への表示を制御する制御工程とを有することを特徴
    とするマルチ画像表示方法。
16. 【請求項１６】 前記制御工程は、前記検出した入力デ
    ータ転送レートの総和が前記フレームメモリのデータ転
    送レートより大きいときには、前記入力した画像データ
    毎にその表示優先度に基づき対応する画像データ入力手
    段の入力データ転送レートの比率を調整し、該調整した
    比率に応じて前記画像データ入力手段のそれぞれにおけ
    る入力データ転送レートを制御することを特徴とする請
    求項１５記載のマルチ画像表示方法。
17. 【請求項１７】 前記制御工程は、前記検出した入力デ
    ータ転送レートの総和が前記フレームメモリのデータ転
    送レートより大きいときには、前記検出した入力データ
    転送レートの総和が前記フレームメモリのデータ転送レ
    ートより小さくなるように、前記画像データ入力手段の
    それぞれにおける入力データ転送レートの比率をそれぞ
    れの表示優先度の順に従って調整することを特徴とする
    請求項１６記載のマルチ画像表示方法。
18. 【請求項１８】 前記制御工程は、前記表示優先度が低
    くなるに従い前記比率を小さくすることを特徴とする請
    求項１７記載のマルチ画像表示方法。
19. 【請求項１９】 前記転送工程は、前記フレームメモリ
    からの前記複数の画像データの読み出しを所定の読み出
    しデータ転送レートで行い、前記比較工程は、前記検出
    した入力データ転送レートの総和と前記読み出しデータ
    転送レートとの和とを加算し、該加算値と前記フレーム
    メモリのデータ転送レートとを比較することを特徴とす
    る請求項１５ないし１８のいずれか１つに記載のマルチ
    画像表示方法。
20. 【請求項２０】 前記割り当て工程は、前記複数の画像
    データを互いに重なり合せて前記表示装置上に表示する
    ときには、前記複数の画像データに対する表示優先度
    を、その最前面に表示される画像データを最高位として
    最背面に表示される画像データに向けて順に低くなるよ
    うに割り当てることを特徴とする請求項１５ないし１９
    のいずれか１つに記載のマルチ画像表示方法。
21. 【請求項２１】 前記画像表示に関する操作指示に応じ
    た前記画像データの表示に関する処理を行う表示処理工
    程を有し、前記外部アクション入力工程で、ユーザから
    出された前記表示装置の画像表示に関する操作指示を前
    記外部からのアクションとして入力することを特徴とす
    る請求項１５ないし２０のいずれか１つに記載のマルチ
    画像表示方法。
22. 【請求項２２】 前記画像表示に関する操作指示は、前
    記表示装置に表示されている複数の画像データの中から
    １つの画像データを選択するための操作指示であること
    を特徴とする請求項２１記載のマルチ画像表示方法。
23. 【請求項２３】 前記画像表示に関する操作指示は、前
    記表示装置に表示されている複数の画像データの中の１
    つの画像データを移動させるための操作指示であり、前
    記表示処理工程で、前記操作指示に基づき前記１つの画
    像データを対応する位置に移動させることを特徴とする
    請求項２１記載のマルチ画像表示方法。
24. 【請求項２４】 前記画像表示に関する操作指示は、前
    記表示装置に表示されている複数の画像データの中の１
    つの画像データに対する解像度を変換するための操作指
    示であり、前記表示処理工程で、前記操作指示に基づき
    前記１つの画像データの解像度を対応する解像度に変換
    することを特徴とする請求項２１記載のマルチ画像表示
    方法。
25. 【請求項２５】 前記割り当て工程で、前記画像表示に
    関する操作指示が入力されたときには、該操作指示によ
    り指定された画像データに最上位の表示優先度を割り当
    てることを特徴とする請求項２１記載のマルチ画像表示
    方法。
26. 【請求項２６】 前記外部アクション入力工程で、前記
    複数の画像ソースからの画像データの供給中断への移行
    を検知し、この検知結果を前記外部からのアクションと
    して入力し、前記割り当て工程で、前記外部アクション
    入力手段により前記検知結果が入力されると、前記画像
    データの供給を中断した画像ソースからの画像データに
    最下位の表示優先度を割り当てることを特徴とする請求
    項１５ないし２０のいずれか１つに記載のマルチ画像表
    示方法。
27. 【請求項２７】 前記割り当て工程で、前記表示装置上
    に表示される前記複数の画像データが互いに重なり合う
    際には、背面側の画像データの表示領域の総画素数が所
    定の画素数より小さいか否かを判定し、該判定結果に応
    じて前記背面側の画像データの表示優先度を変更するこ
    とを特徴とする請求項１５ないし２０のいずれか１つに
    記載のマルチ画像表示方法。
28. 【請求項２８】 前記複数の画像データにおけるそれぞ
    れの動き量を検出する画像データ動き量検出工程を有
    し、前記割り当て工程で、前記表示装置上に表示される
    前記複数の画像データが互いに重なり合わない場合に
    は、前記検出された各画像データの動き量に応じて前記
    表示優先度を割り当てることを特徴とする請求項１５な
    いし２０のいずれか１つに記載のマルチ画像表示方法。