JPH04291678A - ユーザインタフェース制御装置及び方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はユーザインタフエース制
御方式に関し、特に、例えば、ＣＲＴ等のデイスプレイ
上にてマウス等の入力指示手段を用いて動画像に対する
画面制御及び操作制御等を行うユーザインタフエース制
御方式に関する。

【０００２】

【従来の技術】近年、コンピユータのユーザインタフエ
ースは目覚ましい発展を遂げてきており、ウインドとア
イコンとマウスとを用いた種々のハイパーメデイアシス
テムが開発され提供されてきている。一般にこれらのシ
ステムはマルチメデイアの対応を目指しているものが多
い。しかし、実際には、扱つているメデイアは文字（文
章）、図形（図面）、画像（写真）等とデイスプレイ画
面上では静的なものが主であるため、ウインドとアイコ
ンも静的な画面制御であつた。即ち、画面上の所定の位
置に展開され表示されているウインドとアイコンに対し
て、ユーザの指示操作が発生すると、選択された内容に
応じて処理が行われ、その処理の一環としてウインドと
アイコンの位置や大きさ、内容、種類が新たに設定され
てデイスプレイ画面上の所定の位置に表示される。つま
り、静止した対象（ウィンドやアイコン）に対して指示
操作し、静止したウィンドやアイコンを発生する処理を
行うという点で、画面制御は静的なものであると言える
。

【０００３】その例を図４と図５に示す。図４は、マウ
スでクリツクする前のデイスプレイ画面状態で、二つの
開かれたウインドＡ及びＢ、ウインドを縮小したアイコ
ンＡ〜Ｄ、共通アイコン群等が表示されている。ウイン
ドＡ及びＢ内にもウインド内処理用としてアイコンが存
在する。この状態からマウスでカーソル（図中矢印で示
す）をアイコンＣ上へ移動させてクリツクすると、図５
で示された画面の状態へ移行する。即ち、アイコンＣが
クローズアツプされるようにウインドＣが開かれる。こ
のウインドＣ内にもウインド内処理用としてアイコンが
存在する。

【０００４】従つて、ユーザの指示操作が発生する前と
後では、デイスプレイ画面に変化があり、その意味では
ウインドとアイコンが結果的に動的な振る舞いをするこ
とになる。また、ユーザの指示操作が発生してから画面
制御等の処理が終了するまでの間、ウインドとアイコン
を動的な表示（クローズアツプ）を行うこともあるが、
その間はウインドとアイコンとしての機能を果たさない
。

【０００５】

【発明が解決しようとする課題】しかしながら、マルチ
メデイアとして動画像への取り組みが盛んになつてきて
いる現在、動画像に対応できる画面制御機能が、ハイパ
ーメデイアシステムにも要求されてきている。しかしな
がら、上記従来例では、ウインドやアイコンは動画像に
は対応しておらず静的な配置構成になつているため、動
画像内をマウスで直接指示することが必要な場合、動画
像内に動きやシーン変化で指示したい対象が動的である
ので静的なアイコン等では対応できないという問題があ
つた。

【０００６】特にデイスプレイ上のウインド内に動画像
が存在する場合、変化したり動いたりする対象物をマウ
ス等の入力指示手段で指定（クリツク）可能な画面制御
機能が望まれている。

【０００７】本発明は上記従来例に鑑みてなされたもの
で、デイスプレイに表示される動画像に対応した画面制
御が可能なユーザインタフエース制御方式を提供するこ
とを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に本発明のユーザインタフエース制御方式は、以下の様
な構成からなる。即ち、画面に表示された動画像に対す
るユーザインタフエース制御方式であって、前記動画像
を表示する表示手段と、前記動画像内の所望の対象物に
対して画面制御及び操作制御を指示する入力指示手段と
、前記入力指示手段による入力指示に基づいて、入力指
示情報を発生する入力指示情報発生手段と、前記動画像
の状態を管理する動画像状態管理手段と、前記入力指示
情報と前記動画像状態管理手段によって管理される管理
情報とに基づいて前記動画像に対する処理を決定する処
理決定手段と、前記処理決定手段によって決定された処
理に基づいて前記動画像の表示を制御する動画制御手段
とを有することを特徴とするユーザインタフエース制御
方式を備える。

【０００９】

【作用】以上の構成により、本発明は画面上に表示され
た動画像内の所望の対象物を入力指示手段で指示すると
、入力指示情報発生手段が入力指示情報を発生し、その
入力指示情報と動画像の状態を管理する管理情報とに基
づいて、動画像に対する処理を決定し、動画像の表示を
制御するよう動作する。

【００１０】

【実施例】以下添付図面を参照して本発明の好適な実施
例を詳細に説明する。

【００１１】図１は、本発明の代表的な実施例であるユ
ーザインタフエース制御方式の概念を示すブロツク図で
ある。

【００１２】図１において、１は入力指示手段であるマ
ウス、２はＣＲＴ等のデイスプレイ部、３はデイスプレ
イコントローラ、４はマウス１の指示に基づいて必要な
情報（指示座標、指示時間、指示内容など）を発生する
入力指示情報発生部、５はウインド及びアイコン等に関
する情報を格納するウインド情報管理部、６は指示時間
に対応したアイコンを形成するアイコン形成部、７は入
力指示の示す該当処理を決定する該当処理を決定する該
当処理決定部、８はマウス１の移動変位量（ｄＸ，ｄＹ
）からデイスプレイ部２上のカーソル位置を発生するカ
ーソル発生部、９、１０、２１はそれぞれ入力指示情報
発生部４の主構成要素でマウス１のクリツク操作で各々
指示座標（Ｘｉ，Ｙｉ　）、指示時間Ｔｉを記憶する座
標バツフア、タイムバツフア、及びクリック操作の内容
を検出し記憶する内容検出部、１１はシステムの時間管
理をするシステムタイム管理部、１２〜１５はウインド
情報管理部５の主構成要素で、１２はウインド位置座標
管理部、１３は動画像スケジユール管理部、１４はアイ
コン情報管理部、１５はアイコン履歴情報管理部、１６
〜１７はアイコン形成部の主構成要素で１６は座標とア
イコンを関係づけるアイコン・マツプ、１７はアイコン
と対応する処理を関係づけるアイコン・テーブル、１８
は指示座標（Ｘｉ，Ｙｉ　）と各ウインド位置座標（Ｘ
ｓｗ，Ｙｓｗ，Ｘｅｗ，Ｙｅｗ）から該当ウインドを捜
す該当ウインド検出部、１９は指示時間Ｔｉ　に対応す
る該当フレームを求める該当フレーム検出部、２０は該
当フレーム内でのアイコンの中から指示されたアイコン
を検出する該当アイコン検出部、２２はディスプレイコ
ントローラの主構成要素で動画像の表示制御を行う動画
制御部、２３は従来のウィンド管理を行うウィンド・マ
ネージャを含むメインシステムである。

【００１３】なお、本実施例で言及するフレームの概念
は、デイスプレイ部２やデイスプレイコントローラ３で
の制御される全画面のフレームではなく、動画像用ウイ
ンド内に表示する動画像を構成する動画像の管理単位で
静的なフレームのことを指す。従つて、デイスプレイの
フレーム周期と動画像のフレーム周期は必ずしも一致し
ない。

【００１４】図２は、動画像を含むウインド（以下、ウ
インドＤと称す）の表示例で、内部に管理用サブ・ウイ
ンドと動画像用サブ・ウインドと動画像制御用サブ・ウ
インドを有する。管理用サブ・ウインド内にはウインド
Ｄの開閉用のアイコンを有する。動画像用サブ・ウイン
ド内部には移動する球体の動画像が表示され、この球体
に対してアイコンＩｍ　を対応させる。動画像制御用サ
ブ・ウインド内部にはＶＴＲの様な操作（逆戻し、逆再
生、停止、再生、早送り、ポーズなど）に対応したアイ
コンを有する。なお、マウスによつて移動できるカーソ
ルを図中に矢印で示した。

【００１５】次に、以上のようなユーザインタフエース
制御方式の動作概要を図３に示すフローチヤートを参照
しながら説明する。ここでは説明を、ウインドＤを開い
てからマウスのクリツク操作を認識し処理を完了するま
でとし、その他の動作（初期設定動作等）に関してはこ
こでは説明しない。また、ウインドＤを開くときの手順
は図４で示した従来例に従うものとする。

【００１６】まず、ステップＳ１では、図２で示すウイ
ンドＤを、図４で示すデイスプレイ画面上にてウインド
Ｄをマウス１でクリツクすることでオープンする。この
ときのマウス１からの入力指示に対する処理動作は、以
下に説明する動作の場合とほぼ同様である。

【００１７】続いてステップＳ２では、マウス１からの
クリツク入力（アイコン等の選択指示）待ち状態となり
、その間にマウス１の移動に対する処理が行う。即ち、
マウス１からの水平及び垂直移動量（ｄＸ，ｄＹ）に基
づき、カーソル発生部８は、前の状態カーソル位置（Ｘ
ｍ，Ｙｍ　）に移動量（ｄＸ，ｄＹ）を加算して現在の
カーソル位置（Ｘｍ，Ｙｍ　）を求め、その値をデイス
プレイコントローラ３と座標バツフア９に送る。これを
受けてデイスプレイコントローラ３はカーソルをデイス
プレイ部２に現在の位置（Ｘｍ，Ｙｍ　）で表示する。 尚、ここではデイスプレイ画面の標準位置（座標原点）
を画面の左上と仮定する。

【００１８】さて、マウス１からの入力（ボタン操作）
が発生すると、ステップＳ３〜５では並列的に処理を実
行する。

【００１９】即ち、ステップＳ３では指示時刻Ｔｉ　（
ボタン操作が発生した時刻）の検出と記憶を行い、ステ
ップＳ４では指示位置（Ｘｉ，Ｙｉ　）（ボタン操作が
発生したときのカーソルの座標位置）の検出と記憶を行
い、ステップＳ５では指示内容（オンされたボタン、ク
リツク回数、ボタンオン保持等の操作内容）を検出と記
憶を行う。具体的な動作は次のとおりである。

【００２０】即ち、ステップＳ３では、座標バツフア９
が、カーソル発生部８から常時出力されている現在位置
（Ｘｍ，Ｙｍ　）を、マウス１からのボタン操作のタイ
ミングを契機としてラツチし、そのラツチした値を指示
位置（Ｘｉ，Ｙｉ　）として記憶し該当ウインド検出部
１８に出力する。ステップＳ４では、タイムバツフア１
０が、システムタイム管理部１１から常時出力されてい
る時刻Ｔｓ　を、ステップＳ３と同様にマウス１からの
ボタン操作のタイミングを契機としてラツチし、そのラ
ツチした値を指示時間Ｔｉ　として記憶し該当フレーム
検出部１９に出力する。ここで、時刻Ｔｓ　は、日常的
な時刻や相対的な時刻でも良いが、本実施例ではデイス
プレイ部２及びデイスプレイコントローラ３でのフレー
ム同期信号より時間分解能を高く設定しておくことによ
って、表示されたフレームを任意に指定することを可能
している。ステツプＳ５では、内容検出部２１が、マウ
ス１の各ボタンのＯＮ／ＯＦＦ状態をサンプリングし、
ある短時間内でのＯＮ／ＯＦＦの切り替わりを検出し、
どのボタンが操作され何回ＯＮ／ＯＦＦ（クリツク）さ
れ、現在ボタンがＯＮ状態中であるといつた操作内容Ｓ
ｉ　を検出し記憶し出力する。特にここでは、操作内容
Ｓｉ　としてある一つのボタンに対する１回クリツクと
連続２回クリツクに着目する。

【００２１】次にステップＳ６では、指示位置（Ｘｉ，
Ｙｉ　）がデイスプレイ部２に表示されているどのウイ
ンドやサブ・ウインド内に該当するかを調べる。具体的
には、該当ウインド検出部１８が、ウインド情報管理部
５内のウインド座標管理部１２からのウインド管理番号
Ｗｎと、ウインド座標（Ｘｓｗ，Ｙｓｗ）及び（Ｘｅｗ
，Ｙｅｗ）と、指示位置（Ｘｉ，Ｙｉ　）を用いて、Ｘ
ｓｗ　≦　Ｘｉ　≦　Ｘｅｓ　　かつ　　Ｙｓｗ　≦　
　Ｙｉ　≦　Ｙｅｗなる条件を満たすウインド（または
サブ・ウインド）を探し出し、その該当ウインド（また
はサブ・ウインド）の管理番号Ｗｉをウインド情報管理
部５に出力して、指示位置（Ｘｉ，Ｙｉ　）をウインド
内座標（Ｘｉｗ，Ｙｉｗ）に座標変換し、それを該当ア
イコン検出部２０に出力する。尚、ここで、（Ｘｓｗ，
Ｙｓｗ）と（Ｘｅｗ，Ｙｅｗ）は、デイスプレイ部２の
画面上に表示されているウインドの左上と右下の座標（
座標系はカーソル位置とおなじ）を表す。また、ウイン
ド情報管理部５では、ウインドとサブ・ウインドとアイ
コンの位置的包含関係に基づいてウインド情報（ウイン
ド座標、動画像スケジユール、アイコン情報（履歴情報
等）等）を階層的に管理している。また、ウインドが重
なつている場合は、最上部に表示されたウインドへの指
示が優先される。ここで、該当ウインドがないと判断さ
れた場合、処理はステップＳ２へ戻り、該当ウインドが
あると判断された場合、処理はステップＳ７へ進む。

【００２２】ここでは以降の説明を簡単にするために、
アイコンは必ずウインド上にあることにする。

【００２３】次にステップＳ７では、該当ウインド（或
は該当サブ・ウインド）が動画像用ウインド（動画像用
サブ・ウインド、或は、管理用サブ・ウインド、或は、
動画像制御用サブ・ウインド）であるか否かを判定する
。ここで、該当ウインドが動画像用ウインドであると判
定されたならば、処理はステップＳ８へ進む。これに対
して、該当ウインドが動画像用ウインドでないと判定さ
れたならば（即ち、従来の静的なウインドであるならば
）、処理はステップＳ９進み、従来のウインド管理下で
の処理を行った後、ステップＳ２に戻る。

【００２４】このステップＳ７の具体的な処理は、次の
ようなものである。即ち、該当ウインド管理番号Ｗｉ　
を受信したウインド情報管理部５は、該当ウインドが動
画像用であるか否かに関してウインド情報（例えば、動
画像識別子）を用いて判定し、動画像用ウインドと判定
されたならば、ウインド情報管理部５内の次の処理に入
り、動画像用ウインドでなく従来の静的なウインドと判
定されたならば、ウインド情報管理部５は、処理を従来
のウインド・マネージヤ等のメインシステム２３に移管
する為の情報（該当ウインド、入力指示情報、ｅｔｃ）
メインシステム２３に送る。

【００２５】以下、該当ウインドは動画像ウインドであ
る場合について説明する。

【００２６】まず、ステップＳ８では、該当する動画像
用ウインドの状態を検出する。ここでは検出する動画像
用ウインドの状態として、内部の動画像の表示が停止し
ているか進行しているかに着目する。即ち、動画像の状
態情報を管理している動画像スケジユール管理部１３が
、該当ウインド管理番号Ｗｉ　から該当動画像の状態情
報を引き出し、該当処理検出部７に出力する。動画像ス
ケジユール管理部１３は、動画像制御部２２と密接に関
係し情報のやり取りをしている。

【００２７】次にステップＳ１０では、該当動画像ウイ
ンドの指示時間Ｔｉ　に対応するフレームを検出する。 即ち、動画像スケジユール管理部１３は、該当ウインド
のスケジユール情報（Ｔｓ　：動画像が動き始めた時刻
、Ｆｓ：開始フレーム番号、Ｔｆ：表示速度（フレーム
数／秒））を該当フレーム検出部１９に送る。これに呼
応して、該当フレーム検出部１９は、指示時間Ｔｉ　、
及びスケジユール情報Ｔｓ　、Ｆｓ　、Ｔｆ　を用いて
、該当フレーム番号Ｆｉ　を次の式に従って求め、その
結果をウインド情報管理部５に送る。

【００２８】 Ｆｉ　＝ＩＮＴ［（Ｔｉ　−Ｔｓ　）×Ｔｆ　］＋Ｆｓ
ただし、Ｔｓ　＜Ｔｉ　（動画像が動きを開始している
）尚、この式でのＩＮＴは整数化演算子である。

【００２９】また、これらスケジユール情報（Ｔｓ　、
Ｆｓ　、Ｔｆ）で表現できる動画像の動きは定速運動で
あり、停止や再生、逆再生等の操作が発生する度にスケ
ジユール情報Ｔｓ　、Ｆｓ　、Ｔｆ　は更新される。ま
た動画像が停止している場合は、開始フレーム番号Ｆｓ
　がそのまま該当フレーム番号Ｆｉ　になる。

【００３０】このようにして該当フレームが検出される
と、処理はステップＳ１１に進み、該当動画像用ウイン
ド内のアイコンを形成する。

【００３１】ステップＳ１１では、該当フレーム番号Ｆ
ｉ　を受信したウインド情報管理部５内部のアイコン情
報管理部１４は、アイコン履歴情報管理部１５から該当
ウインド管理番号Ｗｉ　の該当フレーム番号Ｆｉ　に相
当するアイコン配置情報（アイコン管理番号とアイコン
のウインド内座標）とアイコン処理情報（アイコン管理
番号と処理管理番号）とを検出し、それらの情報をアイ
コン形成部６に送る。これに呼応してアイコン形成部６
では、アイコン配置情報をアイコン・マツプ（アイコン
のウインド内座標に相当するメモリ空間にアイコン管理
番号を書き込んだもの）に展開し、アイコン処理情報を
アイコン・テーブル（アイコン管理番号に相当するメモ
リ空間に処理管理番号を書き込んだもの）に変換するこ
とでアイコンが形成される。

【００３２】このようにしてアイコンが形成されると、
処理はステップＳ１２に進み、該当アイコンの検出を行
う。

【００３３】ステップＳ１２では、該当アイコン検出部
２０が、アイコン・マツプ１６から指示位置のウインド
内座標（Ｘｗｉ，Ｙｗｉ）に相当するメモリ空間からア
イコン管理番号を読み出し、これを該当アイコン管理番
号Ｉｉとしてアイコン・テーブル１７に送る。ここで、
該当アイコンが存在しない場合は、アイコン・マツプ１
６から読み出したアイコン管理番号はダミー（登録済ア
イコン管理番号と一致しない特殊な値）とみなされ、ダ
ミーの該当アイコン管理番号Ｉｉ　をアイコン・テーブ
ル１７に送信する。

【００３４】次にステップＳ１３では、該当アイコンと
マウス１の操作内容と該当ウインドの動画像の状態情報
に基づき、該当処理を決定する。即ち、アイコンテーブ
ル１７は該当アイコン管理番号Ｉｉ　に相当するメモリ
空間から処理管理番号Ｏｉ　を読み出して該当処理決定
部７に送る。ここで、該当アイコン管理番号Ｉｉ　がダ
ミーである（該当アイコンが存在しない）場合は、アイ
コン・テーブル１７から読み出される処理管理番号Ｏｉ
　は非処理コードとなる。次に、該当処理決定部７は、
処理管理番号Ｏｉ　、操作内容Ｓｉ、及び、動画像の状
態に基づいて該当処理を決定する。

【００３５】ここでは、操作内容Ｓｉ　として１回クリ
ツクと連続２回クリツクに、動画像の状態として停止と
進行に着目して、以下の４つの場合に分けて説明する。 即ち、 ＣＡＳＥ１：動画像状態が進行で操作内容が１回クリツ
クの場合、 ＣＡＳＥ２：動画像状態が進行で操作内容が連続２回ク
リツクの場合、 ＣＡＳＥ３：動画像状態が停止で操作内容が１回クリツ
クの場合、 ＣＡＳＥ４：動画像状態が停止で操作内容が連続２回ク
リツクの場合、 を考える。

【００３６】ＣＡＳＥ１では、処理管理番号Ｏｉ　（非
処理コードを含めて）に関わらず、該当動画像ウインド
の表示を停止し静的な表示にし、先の形成されたアイコ
ンをそのウインド内に表示（例：図２内の球体周囲の点
線）するといつた処理に決定する。

【００３７】ＣＡＳＥ２では、該当アイコンが存在する
場合は処理管理番号Ｏｉ　に相当する処理に決定し、該
当アイコンが存在しない（非処理コード）の場合はＣＡ
ＳＥ１での結果処理と同じ処理に決定する。

【００３８】ＣＡＳＥ３では、該当アイコンが存在する
場合は処理管理番号Ｏｉ　に相当する処理に決定し、該
当アイコンが存在しない（非処理コード）の場合は該当
動画像ウインド内の停止している動画像の進行を再開す
るといつた処理に決定する。

【００３９】ＣＡＳＥ４では、該当アイコンが存在する
場合は該当アイコンの状態情報を表示し新たなモード（
状態情報の変更等）に入るといつた処理に決定し、該当
アイコンが存在しない（非処理コード）場合は該当動画
像ウインド内の停止している動画像の進行を再開すると
いつた処理に決定する。

【００４０】以上のように該当処理が決定されると、そ
の決定に基づいて、ステツプＳ１４では該当処理を実行
する。即ち、該当処理決定部７が決定された処理に基づ
いて動画像制御部２２及びメインシステム２３にコマン
ド及び付属情報等の情報を伝達し、それに呼応して動画
像制御部２２及びメインシステム２３は、その情報に基
づいて処理の実行を開始する。このとき、動画像の表示
に関する処理の実行は動画像処理装置制御部２２が、従
来の静的な表示に関する処理の実行はメインシステム２
３（特にウインド・マネージヤー）が、それぞれ役割分
担して行う。

【００４１】ステツプＳ１４での該当処理が終了すると
、処理はステップＳ２に戻り、マウス入力待ち状態とな
る。

【００４２】このような方式は、該当処理決定部７で決
定された処理の実行によりデイスプレイ部２の画面に新
たなウインドやアイコンが生成され表示された場合にお
いても、適用される。ただし、この時はウインド情報管
理部５に対して、情報の更新が発生する。特に、新たに
生成表示されたウインドと消去されたウインド等に付随
する情報（ウインド座標、アイコン履歴情報、等）の更
新が行われ、動画像の表示変化（停止や進行再開）に付
随する動画像状態情報の更新が行われる。

【００４３】従って本実施例に従えば、デイスプレイ上
のウインド内に動画像が存在する場合、時間的に変化し
たり、及び／或は表示場所が移動したりする対象物に対
してもマウス等の入力指示手段で指定（クリツク）する
ことができるので、動的な対象物を静的な対象物（静止
画像、テキスト、グラフイツクなど）と同様に扱えるこ
とが可能になる。

【００４４】また、本実施例に従えば、動画像の表示状
態に応じて入力指示による処理を動的に変えること、例
えば、進行中の動画像を停止させてから動画像内にはめ
込まれたアイコンを指定したり、進行中の動画像に直接
アイコンを指定したり、停止中の動画像に対してアイコ
ンの指定・設定や動画再開等の操作を可能にすることに
より、使い勝手のよいユーザインタフエースを提供でき
る。

【００４５】なお本実施例では、マウスのクリツク入力
の発生した時刻である指示時刻は、システムタイムクロ
ックの時刻をクリツク入力のタイミングでラツチするこ
とで確保するものとして説明したが、本発明はこれに限
定されるものではない。

【００４６】例えば、表示されている複数の動画像用ウ
インドに対して、それらのウインド毎に表示されている
動画像のフレーム番号を管理するフレーム・カウンタと
フレーム・カウンタバツフアを設定することでも可能で
ある。具体的には、動画像の再生、逆再生、早送り、巻
き戻し等の表示制御に対してフレーム・カウンタは可変
速なインクリメントやデイクリメントをすることによつ
て現在表示されているフレーム番号を維持し、マウスで
のクリツク入力のタイミングでフレーム・カウンタの値
をフレーム・カウントバツフアにラツチすることで指示
時刻を確保することができる。そして、該当フレームの
検出は、検出された該当動画像用ウインドのフレーム・
カウントバツフアを読み出すことで容易にできる。ここ
で、フレーム・カウンタの初期設定や可変的なインクリ
メントやデイクリメントは、動画像スケジユール管理部
１３から開始フレーム番号や表示速度等の情報から制御
できる。

【００４７】さらに、マウスのクリツク入力の発生した
時刻である指示時刻の確保の別の例として、アイコン履
歴情報管理部１５の履歴情報の管理単位に対してポイン
タを設け、動画像の表示変化に追従させてポインタを動
かし、ポインタは表示されている動画像に対応したアイ
コン群の履歴情報の単位を常時指示し、マウスからのク
リツク入力のタイミングでこれらポインタをポインタバ
ツフアにラッチすることで実現することも可能である。 この場合は、動画像のフレームとアイコン履歴情報の管
理単位は、１対１対応とは限らずｎ対１対応の場合もあ
る（連続する複数のフレームでアイコンの構成が変化し
ていないことに相当する）。

【００４８】また、該当ウインドの検出タイミングは、
マウスからクリツク入力が発生した時点として本実施例
では説明したが、本発明はこれに限定されるものではな
い。例えば、マウスの移動が発生するたびにカーソルの
位置がどのウインドに属するか求め、クリツク入力が発
生すると直ちに該当ウインドが検出するように制御する
こともできる。さらに、本実施例における該当ウインド
の位置検出は、指示座標とウインド座標の比較で行った
が、本発明はこれに限定されるものではない。例えば、
該当アイコンの検出で用いたアイコン・マツプの方式を
該当ウインドの検出でもウインド・マツプとして適用し
、デイスプレイ座標に相当するメモリ空間にウインド管
理番号を書き込んでおくことにより対応することができ
る。さらにまた、該当アイコン検出を該当ウインド検出
のように指示座標とアイコン座標の比較で行うことも可
能である。

【００４９】さらにまた、本実施例では、アイコン履歴
情報管理部１５の履歴情報をアイコン座標で履歴化して
いるが、本発明はこれに限定されるものではない。例え
ば、アイコン・マツプの形で履歴化することも可能であ
る。

【００５０】さらにまた、本発明は本実施例の図１で示
したユーザインタフエースの制御方式の構成に限定され
るものではない。例えば、カーソル発生部８を入力指示
情報発生部４に包含すること、該当ウインド検出部１８
をウインド情報管理部５に包含すること、該当フレーム
検出部１９をウインド情報管理部５またはアイコン形成
部６に包含すること、そして、該当アイコン検出部２０
をアイコン形成部６に包含することも可能である。

【００５１】さらにまた本実施例では、マウス１の操作
内容としては、ある１つの操作ボタンの１回クリツクと
連続２回クリツクに関してのみ、そして、動画像の状態
としては、表示の停止と進行の２つの状態についてのみ
を考慮し、これらの組み合わせである４つの処理内容に
ついてのみを説明したが、本発明はこれに限定されるも
のではなく、他の操作内容や他の動画像の状態を導入し
、処理内容を拡張することが可能であることは言うまで
もない。

【００５２】

【発明の効果】以上説明したように本発明によれば、デ
イスプレイに表示された動画像に対して画面制御の操作
を行うことできる効果がある。

【図面の簡単な説明】

【図１−１】

【図１−２】本発明の代表的な実施例であるユーザイン
タフエースの制御方式の概念を示すブロツク図である。

【図２】動画像を含むウインドの表示例である。

【図３】ユーザインタフエース制御方式の動作概要を示
すフローチヤートである。

【図４】従来のデイスプレイ画面の表示例てマウスでク
リツクする前のデイスプレイ画面状態である。

【図５】従来のデイスプレイ画面の表示例でマウスでク
リツクした後のデイスプレイ画面状態である。

【符号の説明】

１　　マウス ２　　デイスプレイ部 ３　　デイスプレイコントローラ ４　　入力指示情報発生部 ５　　ウインド情報管理部 ６　　アイコン形成部 ７　　該当処理決定部 ２３　　メインシステム

Claims (4)

【特許請求の範囲】
1. 【請求項１】　　画面に表示された動画像に対するユー
   ザインタフエース制御方式であって、前記動画像を表示
   する表示手段と、前記動画像内の所望の対象物に対して
   画面制御及び操作制御を指示する入力指示手段と、前記
   入力指示手段による入力指示に基づいて、入力指示情報
   を発生する入力指示情報発生手段と、前記動画像の状態
   を管理する動画像状態管理手段と、前記入力指示情報と
   前記動画像状態管理手段によって管理される管理情報と
   に基づいて前記動画像に対する処理を決定する処理決定
   手段と、前記処理決定手段によって決定された処理に基
   づいて前記動画像の表示を制御する動画制御手段とを有
   することを特徴とするユーザインタフエース制御方式。
2. 【請求項２】　　前記入力指示手段は、マウスであるこ
   とを特徴とする請求項第１項に記載のユーザインタフエ
   ース制御方式。
3. 【請求項３】　　前記入力指示情報は、前記入力指示手
   段が動作した時刻と、前記入力指示手段が動作した前記
   画面上の位置と、前記入力指示手段が指示した内容とを
   含むことを特徴とする請求項第１項に記載のユーザイン
   タフエース制御方式。
4. 【請求項４】　　前記動画制御手段は、少なくとも、前
   記動画像の表示を停止或は再開させたりできることを特
   徴とする請求項第１項に記載のユーザインタフエース制
   御方式。