JP3178539B2 - ユーザインタフェース制御装置及び方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はユーザインタフェース制
御装置及び方法に関する。

【０００２】

【従来の技術】近年、コンピユータのユーザインタフエ
ースは目覚ましい発展を遂げてきており、ウインドとア
イコンとマウスとを用いた種々のハイパーメデイアシス
テムが開発され提供されてきている。一般にこれらのシ
ステムはマルチメデイアの対応を目指しているものが多
い。しかし、実際には、扱つているメデイアは文字（文
章）、図形（図面）、画像（写真）等とデイスプレイ画
面上では静的なものが主であるため、ウインドとアイコ
ンも静的な画面制御であつた。即ち、画面上の所定の位
置に展開され表示されているウインドとアイコンに対し
て、ユーザの指示操作が発生すると、選択された内容に
応じて処理が行われ、その処理の一環としてウインドと
アイコンの位置や大きさ、内容、種類が新たに設定され
てデイスプレイ画面上の所定の位置に表示される。つま
り、静止した対象（ウィンドやアイコン）に対して指示
操作し、静止したウィンドやアイコンを発生する処理を
行うという点で、画面制御は静的なものであると言え
る。

【０００３】その例を図４と図５に示す。図４は、マウ
スでクリツクする前のデイスプレイ画面状態で、二つの
開かれたウインドＡ及びＢ、ウインドを縮小したアイコ
ンＡ〜Ｄ、共通アイコン群等が表示されている。ウイン
ドＡ及びＢ内にもウインド内処理用としてアイコンが存
在する。この状態からマウスでカーソル（図中矢印で示
す）をアイコンＣ上へ移動させてクリツクすると、図５
で示された画面の状態へ移行する。即ち、アイコンＣが
クローズアツプされるようにウインドＣが開かれる。こ
のウインドＣ内にもウインド内処理用としてアイコンが
存在する。

【０００４】従つて、ユーザの指示操作が発生する前と
後では、デイスプレイ画面に変化があり、その意味では
ウインドとアイコンが結果的に動的な振る舞いをするこ
とになる。また、ユーザの指示操作が発生してから画面
制御等の処理が終了するまでの間、ウインドとアイコン
を動的な表示（クローズアツプ）を行うこともあるが、
その間はウインドとアイコンとしての機能を果たさな
い。

【０００５】

【発明が解決しようとする課題】しかしながら、マルチ
メデイアとして動画像への取り組みが盛んになつてきて
いる現在、動画像に対応できる画面制御機能が、ハイパ
ーメデイアシステムにも要求されてきている。しかしな
がら、上記従来例では、ウインドやアイコンは動画像に
は対応しておらず静的な配置構成になつているため、動
画像内をマウスで直接指示することが必要な場合、動画
像内に動きやシーン変化で指示したい対象が動的である
ので静的なアイコン等では対応できないという問題があ
つた。

【０００６】特にデイスプレイ上のウインド内に動画像
が存在する場合、変化したり動いたりする対象物をマウ
ス等の入力指示手段で指定（クリツク）可能な画面制御
機能が望まれている。

【０００７】本発明は上記従来例に鑑みてなされたもの
で、デイスプレイに表示される動画像に対応した画面制
御が可能なユーザインタフェース制御装置及び方法を提
供することを目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に本発明のインタフェース制御装置は以下の様な構成か
らなる。即ち、動画像を表示手段に表示するように制御
する表示制御手段と、前記表示手段に表示されている動
画像上の位置を指示する指示手段と、前記表示手段に表
示されている動画像の進行状態を管理する動画像状態管
理手段と、前記指示手段で指示された際に表示されてい
る動画像上での指示位置と、前記動画像状態管理手段に
よって管理される動画像の進行状態とに基づいて前記動
画像に対する処理内容を決定する決定手段と、前記決定
手段によって決定された処理内容を実行する実行手段と
を有することを特徴とするユーザインタフェース制御装
置を備える。また他の発明によれば、動画像を表示画面
に表示するように制御する表示制御工程と、前記表示画
面に表示されている動画像上の位置の指示を受け付ける
指示工程と、前記表示画面に表示されている動画像の進
行状態を管理する動画像状態管理工程と、前記指示工程
において指示が受け付けられた際に表示画面に表示され
ている動画像上での指示位置と前記動画像状態管理工程
において管理される動画像の進行状態とに基づいて、前
記動画像に対する処理内容を決定する決定工程と、前記
決定工程で決定された処理内容を実行する実行工程とを
有することを特徴とするユーザインタフェース制御方法
を備える。

【０００９】

【作用】以上の構成により本発明は、表示画面に表示さ
れている動画像上の位置が指示された際に、その動画像
上での指示位置と管理される動画像の進行状態とに基づ
いて、その動画像に対する処理内容を決定し、その決定
された処理内容を実行するよう動作する。

【００１０】

【実施例】以下添付図面を参照して本発明の好適な実施
例を詳細に説明する。

【００１１】図１は、本発明の代表的な実施例であるユ
ーザインタフエース制御装置の概念を示すブロツク図で
ある。

【００１２】図１において、１は入力指示手段であるマ
ウス、２はＣＲＴ等のデイスプレイ部、３はデイスプレ
イコントローラ、４はマウス１の指示に基づいて必要な
情報（指示座標、指示時間、指示内容など）を発生する
入力指示情報発生部、５はウインド及びアイコン等に関
する情報を格納するウインド情報管理部、６は指示時間
に対応したアイコンを形成するアイコン形成部、７は入
力指示の示す該当処理を決定する該当処理を決定する該
当処理決定部、８はマウス１の移動変位量（dX，dY）か
らデイスプレイ部２上のカーソル位置を発生するカーソ
ル発生部、９、１０、２１はそれぞれ入力指示情報発生
部４の主構成要素でマウス１のクリツク操作で各々指示
座標（Ｘi,Ｙi ）、指示時間Ｔｉを記憶する座標バツフ
ア、タイムバツフア、及びクリック操作の内容を検出し
記憶する内容検出部、１１はシステムの時間管理をする
システムタイム管理部、１２〜１５はウインド情報管理
部５の主構成要素で、１２はウインド位置座標管理部、
１３は動画像スケジユール管理部、１４はアイコン情報
管理部、１５はアイコン履歴情報管理部、１６〜１７は
アイコン形成部の主構成要素で１６は座標とアイコンを
関係づけるアイコン・マツプ、１７はアイコンと対応す
る処理を関係づけるアイコン・テーブル、１８は指示座
標（Ｘi,Ｙi ）と各ウインド位置座標（Ｘsw，Ｙsw，Ｘ
ew，Ｙew）から該当ウインドを捜す該当ウインド検出
部、１９は指示時間Ｔi に対応する該当フレームを求め
る該当フレーム検出部、２０は該当フレーム内でのアイ
コンの中から指示されたアイコンを検出する該当アイコ
ン検出部、２２はディスプレイコントローラの主構成要
素で動画像の表示制御を行う動画制御部、２３は従来の
ウィンド管理を行うウィンド・マネージャを含むメイン
システムである。

【００１３】なお、本実施例で言及するフレームの概念
は、デイスプレイ部２やデイスプレイコントローラ３で
の制御される全画面のフレームではなく、動画像用ウイ
ンド内に表示する動画像を構成する動画像の管理単位で
静的なフレームのことを指す。従つて、デイスプレイの
フレーム周期と動画像のフレーム周期は必ずしも一致し
ない。

【００１４】図２は、動画像を含むウインド（以下、ウ
インドＤと称す）の表示例で、内部に管理用サブ・ウイ
ンドと動画像用サブ・ウインドと動画像制御用サブ・ウ
インドを有する。管理用サブ・ウインド内にはウインド
Ｄの開閉用のアイコンを有する。動画像用サブ・ウイン
ド内部には移動する球体の動画像が表示され、この球体
に対してアイコンＩm を対応させる。動画像制御用サブ
・ウインド内部にはＶＴＲの様な操作（逆戻し、逆再
生、停止、再生、早送り、ポーズなど）に対応したアイ
コンを有する。なお、マウスによつて移動できるカーソ
ルを図中に矢印で示した。

【００１５】次に、以上のようなユーザインタフエース
制御装置の動作概要を図３に示すフローチヤートを参照
しながら説明する。ここでは説明を、ウインドＤを開い
てからマウスのクリツク操作を認識し処理を完了するま
でとし、その他の動作（初期設定動作等）に関してはこ
こでは説明しない。また、ウインドＤを開くときの手順
は図４で示した従来例に従うものとする。

【００１６】まず、ステップＳ１では、図２で示すウイ
ンドＤを、図４で示すデイスプレイ画面上にてウインド
Ｄをマウス１でクリツクすることでオープンする。この
ときのマウス１からの入力指示に対する処理動作は、以
下に説明する動作の場合とほぼ同様である。

【００１７】続いてステップＳ２では、マウス１からの
クリツク入力（アイコン等の選択指示）待ち状態とな
り、その間にマウス１の移動に対する処理が行う。即
ち、マウス１からの水平及び垂直移動量（dX，dY）に基
づき、カーソル発生部８は、前の状態カーソル位置（Ｘ
m,Ｙm ）に移動量（dX，dY）を加算して現在のカーソル
位置（Ｘm,Ｙm ）を求め、その値をデイスプレイコント
ローラ３と座標バツフア９に送る。これを受けてデイス
プレイコントローラ３はカーソルをデイスプレイ部２に
現在の位置（Ｘm,Ｙm ）で表示する。尚、ここではデイ
スプレイ画面の標準位置（座標原点）を画面の左上と仮
定する。

【００１８】さて、マウス１からの入力（ボタン操作）
が発生すると、ステップＳ３〜５では並列的に処理を実
行する。

【００１９】即ち、ステップＳ３では指示時刻Ｔi （ボ
タン操作が発生した時刻）の検出と記憶を行い、ステッ
プＳ４では指示位置（Ｘi,Ｙi ）（ボタン操作が発生し
たときのカーソルの座標位置）の検出と記憶を行い、ス
テップＳ５では指示内容（オンされたボタン、クリツク
回数、ボタンオン保持等の操作内容）を検出と記憶を行
う。具体的な動作は次のとおりである。

【００２０】即ち、ステップＳ３では、座標バツフア９
が、カーソル発生部８から常時出力されている現在位置
（Ｘm,Ｙm ）を、マウス１からのボタン操作のタイミン
グを契機としてラツチし、そのラツチした値を指示位置
（Ｘi,Ｙi ）として記憶し該当ウインド検出部１８に出
力する。ステップＳ４では、タイムバツフア１０が、シ
ステムタイム管理部１１から常時出力されている時刻Ｔ
s を、ステップＳ３と同様にマウス１からのボタン操作
のタイミングを契機としてラツチし、そのラツチした値
を指示時間Ｔi として記憶し該当フレーム検出部１９に
出力する。ここで、時刻Ｔs は、日常的な時刻や相対的
な時刻でも良いが、本実施例ではデイスプレイ部２及び
デイスプレイコントローラ３でのフレーム同期信号より
時間分解能を高く設定しておくことによって、表示され
たフレームを任意に指定することを可能している。ステ
ツプＳ５では、内容検出部２１が、マウス１の各ボタン
のＯＮ／ＯＦＦ状態をサンプリングし、ある短時間内で
のＯＮ／ＯＦＦの切り替わりを検出し、どのボタンが操
作され何回ＯＮ／ＯＦＦ（クリツク）され、現在ボタン
がＯＮ状態中であるといつた操作内容Ｓi を検出し記憶
し出力する。特にここでは、操作内容Ｓi としてある一
つのボタンに対する１回クリツクと連続２回クリツクに
着目する。

【００２１】次にステップＳ６では、指示位置（Ｘi,Ｙ
i ）がデイスプレイ部２に表示されているどのウインド
やサブ・ウインド内に該当するかを調べる。具体的に
は、該当ウインド検出部１８が、ウインド情報管理部５
内のウインド座標管理部１２からのウインド管理番号Ｗ
ｎと、ウインド座標（Ｘsw，Ｙsw）及び（Ｘew，Ｙew）
と、指示位置（Ｘi,Ｙi ）を用いて、Ｘsw ≦ Ｘi ≦
Ｘes かつ Ｙsw ≦ Ｙi ≦ Ｙewなる条件を満たすウ
インド（またはサブ・ウインド）を探し出し、その該当
ウインド（またはサブ・ウインド）の管理番号Ｗｉをウ
インド情報管理部５に出力して、指示位置（Ｘi,Ｙi ）
をウインド内座標（Ｘiw，Ｙiw）に座標変換し、それを
該当アイコン検出部２０に出力する。尚、ここで、（Ｘ
sw，Ｙsw）と（Ｘew，Ｙew）は、デイスプレイ部２の画
面上に表示されているウインドの左上と右下の座標（座
標系はカーソル位置とおなじ）を表す。また、ウインド
情報管理部５では、ウインドとサブ・ウインドとアイコ
ンの位置的包含関係に基づいてウインド情報（ウインド
座標、動画像スケジユール、アイコン情報（履歴情報
等）等）を階層的に管理している。また、ウインドが重
なつている場合は、最上部に表示されたウインドへの指
示が優先される。ここで、該当ウインドがないと判断さ
れた場合、処理はステップＳ２へ戻り、該当ウインドが
あると判断された場合、処理はステップＳ７へ進む。

【００２２】ここでは以降の説明を簡単にするために、
アイコンは必ずウインド上にあることにする。

【００２３】次にステップＳ７では、該当ウインド（或
は該当サブ・ウインド）が動画像用ウインド（動画像用
サブ・ウインド、或は、管理用サブ・ウインド、或は、
動画像制御用サブ・ウインド）であるか否かを判定す
る。ここで、該当ウインドが動画像用ウインドであると
判定されたならば、処理はステップＳ８へ進む。これに
対して、該当ウインドが動画像用ウインドでないと判定
されたならば（即ち、従来の静的なウインドであるなら
ば）、処理はステップＳ９進み、従来のウインド管理下
での処理を行った後、ステップＳ２に戻る。

【００２４】このステップＳ７の具体的な処理は、次の
ようなものである。即ち、該当ウインド管理番号Ｗi を
受信したウインド情報管理部５は、該当ウインドが動画
像用であるか否かに関してウインド情報（例えば、動画
像識別子）を用いて判定し、動画像用ウインドと判定さ
れたならば、ウインド情報管理部５内の次の処理に入
り、動画像用ウインドでなく従来の静的なウインドと判
定されたならば、ウインド情報管理部５は、処理を従来
のウインド・マネージヤ等のメインシステム２３に移管
する為の情報（該当ウインド、入力指示情報、ｅｔｃ）
メインシステム２３に送る。

【００２５】以下、該当ウインドは動画像ウインドであ
る場合について説明する。

【００２６】まず、ステップＳ８では、該当する動画像
用ウインドの状態を検出する。ここでは検出する動画像
用ウインドの状態として、内部の動画像の表示が停止し
ているか進行しているかに着目する。即ち、動画像の状
態情報を管理している動画像スケジユール管理部１３
が、該当ウインド管理番号Ｗi から該当動画像の状態情
報を引き出し、該当処理検出部７に出力する。動画像ス
ケジユール管理部１３は、動画像制御部２２と密接に関
係し情報のやり取りをしている。

【００２７】次にステップＳ１０では、該当動画像ウイ
ンドの指示時間Ｔi に対応するフレームを検出する。即
ち、動画像スケジユール管理部１３は、該当ウインドの
スケジユール情報（Ｔs ：動画像が動き始めた時刻、Ｆ
s：開始フレーム番号、Ｔf：表示速度（フレーム数／
秒））を該当フレーム検出部１９に送る。これに呼応し
て、該当フレーム検出部１９は、指示時間Ｔi 、及びス
ケジユール情報Ｔs 、Ｆs 、Ｔf を用いて、該当フレー
ム番号Ｆi を次の式に従って求め、その結果をウインド
情報管理部５に送る。

【００２８】 Ｆi ＝ＩＮＴ［（Ｔi −Ｔs ）×Ｔf ］＋Ｆs ただし、Ｔs ＜Ｔi （動画像が動きを開始している）
尚、この式でのＩＮＴは整数化演算子である。

【００２９】また、これらスケジユール情報（Ｔs 、Ｆ
s 、Ｔf）で表現できる動画像の動きは定速運動であ
り、停止や再生、逆再生等の操作が発生する度にスケジ
ユール情報Ｔs 、Ｆs 、Ｔf は更新される。また動画像
が停止している場合は、開始フレーム番号Ｆs がそのま
ま該当フレーム番号Ｆi になる。

【００３０】このようにして該当フレームが検出される
と、処理はステップＳ１１に進み、該当動画像用ウイン
ド内のアイコンを形成する。

【００３１】ステップＳ１１では、該当フレーム番号Ｆ
i を受信したウインド情報管理部５内部のアイコン情報
管理部１４は、アイコン履歴情報管理部１５から該当ウ
インド管理番号Ｗi の該当フレーム番号Ｆi に相当する
アイコン配置情報（アイコン管理番号とアイコンのウイ
ンド内座標）とアイコン処理情報（アイコン管理番号と
処理管理番号）とを検出し、それらの情報をアイコン形
成部６に送る。これに呼応してアイコン形成部６では、
アイコン配置情報をアイコン・マツプ（アイコンのウイ
ンド内座標に相当するメモリ空間にアイコン管理番号を
書き込んだもの）に展開し、アイコン処理情報をアイコ
ン・テーブル（アイコン管理番号に相当するメモリ空間
に処理管理番号を書き込んだもの）に変換することでア
イコンが形成される。

【００３２】このようにしてアイコンが形成されると、
処理はステップＳ１２に進み、該当アイコンの検出を行
う。

【００３３】ステップＳ１２では、該当アイコン検出部
２０が、アイコン・マツプ１６から指示位置のウインド
内座標（Ｘwi，Ｙwi）に相当するメモリ空間からアイコ
ン管理番号を読み出し、これを該当アイコン管理番号Ｉ
iとしてアイコン・テーブル１７に送る。ここで、該当
アイコンが存在しない場合は、アイコン・マツプ１６か
ら読み出したアイコン管理番号はダミー（登録済アイコ
ン管理番号と一致しない特殊な値）とみなされ、ダミー
の該当アイコン管理番号Ｉi をアイコン・テーブル１７
に送信する。

【００３４】次にステップＳ１３では、該当アイコンと
マウス１の操作内容と該当ウインドの動画像の状態情報
に基づき、該当処理を決定する。即ち、アイコンテーブ
ル１７は該当アイコン管理番号Ｉi に相当するメモリ空
間から処理管理番号Ｏi を読み出して該当処理決定部７
に送る。ここで、該当アイコン管理番号Ｉi がダミーで
ある（該当アイコンが存在しない）場合は、アイコン・
テーブル１７から読み出される処理管理番号Ｏi は非処
理コードとなる。次に、該当処理決定部７は、処理管理
番号Ｏi 、操作内容Ｓi、及び、動画像の状態に基づい
て該当処理を決定する。

【００３５】ここでは、操作内容Ｓi として１回クリツ
クと連続２回クリツクに、動画像の状態として停止と進
行に着目して、以下の４つの場合に分けて説明する。即
ち、 ＣＡＳＥ１：動画像状態が進行で操作内容が１回クリツ
クの場合、 ＣＡＳＥ２：動画像状態が進行で操作内容が連続２回ク
リツクの場合、 ＣＡＳＥ３：動画像状態が停止で操作内容が１回クリツ
クの場合、 ＣＡＳＥ４：動画像状態が停止で操作内容が連続２回ク
リツクの場合、 を考える。

【００３６】ＣＡＳＥ１では、処理管理番号Ｏi （非処
理コードを含めて）に関わらず、該当動画像ウインドの
表示を停止し静的な表示にし、先の形成されたアイコン
をそのウインド内に表示（例：図２内の球体周囲の点
線）するといつた処理に決定する。

【００３７】ＣＡＳＥ２では、該当アイコンが存在する
場合は処理管理番号Ｏi に相当する処理に決定し、該当
アイコンが存在しない（非処理コード）の場合はＣＡＳ
Ｅ１での結果処理と同じ処理に決定する。

【００３８】ＣＡＳＥ３では、該当アイコンが存在する
場合は処理管理番号Ｏi に相当する処理に決定し、該当
アイコンが存在しない（非処理コード）の場合は該当動
画像ウインド内の停止している動画像の進行を再開する
といつた処理に決定する。

【００３９】ＣＡＳＥ４では、該当アイコンが存在する
場合は該当アイコンの状態情報を表示し新たなモード
（状態情報の変更等）に入るといつた処理に決定し、該
当アイコンが存在しない（非処理コード）場合は該当動
画像ウインド内の停止している動画像の進行を再開する
といつた処理に決定する。

【００４０】以上のように該当処理が決定されると、そ
の決定に基づいて、ステツプＳ１４では該当処理を実行
する。即ち、該当処理決定部７が決定された処理に基づ
いて動画像制御部２２及びメインシステム２３にコマン
ド及び付属情報等の情報を伝達し、それに呼応して動画
像制御部２２及びメインシステム２３は、その情報に基
づいて処理の実行を開始する。このとき、動画像の表示
に関する処理の実行は動画像処理装置制御部２２が、従
来の静的な表示に関する処理の実行はメインシステム２
３（特にウインド・マネージヤー）が、それぞれ役割分
担して行う。

【００４１】ステツプＳ１４での該当処理が終了する
と、処理はステップＳ２に戻り、マウス入力待ち状態と
なる。

【００４２】このような処理は、該当処理決定部７で決
定された処理の実行によりデイスプレイ部２の画面に新
たなウインドやアイコンが生成され表示された場合にお
いても、適用される。ただし、この時はウインド情報管
理部５に対して、情報の更新が発生する。特に、新たに
生成表示されたウインドと消去されたウインド等に付随
する情報（ウインド座標、アイコン履歴情報、等）の更
新が行われ、動画像の表示変化（停止や進行再開）に付
随する動画像状態情報の更新が行われる。

【００４３】従って本実施例に従えば、デイスプレイ上
のウインド内に動画像が存在する場合、時間的に変化し
たり、及び／或は表示場所が移動したりする対象物に対
してもマウス等の入力指示手段で指定（クリツク）する
ことができるので、動的な対象物を静的な対象物（静止
画像、テキスト、グラフイツクなど）と同様に扱えるこ
とが可能になる。

【００４４】また、本実施例に従えば、動画像の表示状
態に応じて入力指示による処理を動的に変えること、例
えば、進行中の動画像を停止させてから動画像内にはめ
込まれたアイコンを指定したり、進行中の動画像に直接
アイコンを指定したり、停止中の動画像に対してアイコ
ンの指定・設定や動画再開等の操作を可能にすることに
より、使い勝手のよいユーザインタフエースを提供でき
る。

【００４５】なお本実施例では、マウスのクリツク入力
の発生した時刻である指示時刻は、システムタイムクロ
ックの時刻をクリツク入力のタイミングでラツチするこ
とで確保するものとして説明したが、本発明はこれに限
定されるものではない。

【００４６】例えば、表示されている複数の動画像用ウ
インドに対して、それらのウインド毎に表示されている
動画像のフレーム番号を管理するフレーム・カウンタと
フレーム・カウンタバツフアを設定することでも可能で
ある。具体的には、動画像の再生、逆再生、早送り、巻
き戻し等の表示制御に対してフレーム・カウンタは可変
速なインクリメントやデイクリメントをすることによつ
て現在表示されているフレーム番号を維持し、マウスで
のクリツク入力のタイミングでフレーム・カウンタの値
をフレーム・カウントバツフアにラツチすることで指示
時刻を確保することができる。そして、該当フレームの
検出は、検出された該当動画像用ウインドのフレーム・
カウントバツフアを読み出すことで容易にできる。ここ
で、フレーム・カウンタの初期設定や可変的なインクリ
メントやデイクリメントは、動画像スケジユール管理部
１３から開始フレーム番号や表示速度等の情報から制御
できる。

【００４７】さらに、マウスのクリツク入力の発生した
時刻である指示時刻の確保の別の例として、アイコン履
歴情報管理部１５の履歴情報の管理単位に対してポイン
タを設け、動画像の表示変化に追従させてポインタを動
かし、ポインタは表示されている動画像に対応したアイ
コン群の履歴情報の単位を常時指示し、マウスからのク
リツク入力のタイミングでこれらポインタをポインタバ
ツフアにラッチすることで実現することも可能である。
この場合は、動画像のフレームとアイコン履歴情報の管
理単位は、１対１対応とは限らずｎ対１対応の場合もあ
る（連続する複数のフレームでアイコンの構成が変化し
ていないことに相当する）。

【００４８】また、該当ウインドの検出タイミングは、
マウスからクリツク入力が発生した時点として本実施例
では説明したが、本発明はこれに限定されるものではな
い。例えば、マウスの移動が発生するたびにカーソルの
位置がどのウインドに属するか求め、クリツク入力が発
生すると直ちに該当ウインドが検出するように制御する
こともできる。さらに、本実施例における該当ウインド
の位置検出は、指示座標とウインド座標の比較で行った
が、本発明はこれに限定されるものではない。例えば、
該当アイコンの検出で用いたアイコン・マツプの処理を
該当ウインドの検出でもウインド・マツプとして適用
し、デイスプレイ座標に相当するメモリ空間にウインド
管理番号を書き込んでおくことにより対応することがで
きる。さらにまた、該当アイコン検出を該当ウインド検
出のように指示座標とアイコン座標の比較で行うことも
可能である。

【００４９】さらにまた、本実施例では、アイコン履歴
情報管理部１５の履歴情報をアイコン座標で履歴化して
いるが、本発明はこれに限定されるものではない。例え
ば、アイコン・マツプの形で履歴化することも可能であ
る。

【００５０】さらにまた、本発明は本実施例の図１で示
したユーザインタフエースの制御装置の構成に限定され
るものではない。例えば、カーソル発生部８を入力指示
情報発生部４に包含すること、該当ウインド検出部１８
をウインド情報管理部５に包含すること、該当フレーム
検出部１９をウインド情報管理部５またはアイコン形成
部６に包含すること、そして、該当アイコン検出部２０
をアイコン形成部６に包含することも可能である。

【００５１】さらにまた本実施例では、マウス１の操作
内容としては、ある１つの操作ボタンの１回クリツクと
連続２回クリツクに関してのみ、そして、動画像の状態
としては、表示の停止と進行の２つの状態についてのみ
を考慮し、これらの組み合わせである４つの処理内容に
ついてのみを説明したが、本発明はこれに限定されるも
のではなく、他の操作内容や他の動画像の状態を導入
し、処理内容を拡張することが可能であることは言うま
でもない。

【００５２】

【発明の効果】以上説明したように本発明によれば、指
示を受け付けた表示動画像に対して、その動画像の進行
状態に基づいて、バラエティに富んだマンマシン処理を
行うことできるという効果がある。

【図面の簡単な説明】

【図１−１】

【図１−２】本発明の代表的な実施例であるユーザイン
タフェースの制御装置の概念を示すブロツク図である。

【図２】動画像を含むウインドの表示例である。

【図３】ユーザインタフェース制御装置の動作概要を示
すフローチヤートである。

【図４】従来のデイスプレイ画面の表示例てマウスでク
リツクする前のデイスプレイ画面状態である。

【図５】従来のデイスプレイ画面の表示例でマウスでク
リツクした後のデイスプレイ画面状態である。

【符号の説明】

１ マウス ２ デイスプレイ部 ３ デイスプレイコントローラ ４ 入力指示情報発生部 ５ ウインド情報管理部 ６ アイコン形成部 ７ 該当処理決定部 ２３ メインシステム

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平３−52070（ＪＰ，Ａ) 第42回（平成３年前期）全国大会講演 論文集（３），財団法人情報処理学会発 行，ｐ263−264 第39回（平成元年後期）全国大会講演 論文集（▲ＩＩ▼），財団法人情報処理 学会発行，ｐ765−766 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 13/00 G06F 17/30 G09G 5/36 - 5/38 G06F 12/00

Claims (22)

(57)【特許請求の範囲】
1. 【請求項１】 動画像を表示手段に表示するように制御
   する表示制御手段と、 前記表示手段に表示されている動画像上の位置を指示す
   る指示手段と、 前記表示手段に表示されている動画像の進行状態を管理
   する動画像状態管理手段と、 前記指示手段で指示された際に表示されている動画像上
   での指示位置と、前記動画像状態管理手段によって管理
   される動画像の進行状態とに基づいて前記動画像に対す
   る処理内容を決定する決定手段と、 前記決定手段によって決定された処理内容を実行する実
   行手段とを有することを特徴とするユーザインタフェー
   ス制御装置。
2. 【請求項２】 前記指示手段によって指示がなされた時
   刻を取得する指示時刻取得手段をさらに有し、 前記決定手段は、前記指示時刻取得手段によって取得し
   た時刻に基づいて前記指示手段により指示された際の動
   画像のフレームを検出して、当該フレーム上での指示位
   置と前記動画像の進行状態とに基づいて、前記動画像に
   対する処理内容を決定することを特徴とする請求項１に
   記載のユーザインタフェース制御装置。
3. 【請求項３】 前記決定手段は、前記動画像内で移動す
   る対象物に対応させたアイコンが前記指示手段によって
   指示されたかどうかと前記動画像の進行状態とに基づい
   て、前記動画像に対する処理内容を決定することを特徴
   とする請求項１又は２に記載のユーザインタフェース制
   御装置。
4. 【請求項４】 前記指示手段は前記動画像上の位置を指
   示するとともに指示内容も指示し、 前記決定手段は、前記動画像上での指示位置と前記指示
   内容と前記動画像の進行状態とに基づいて、前記動画像
   に対する処理内容を決定することを特徴とする請求項１
   乃至３のいずれかに記載のユーザインタフェース制御装
   置。
5. 【請求項５】 前記指示内容とはマウスがクリックされ
   た回数であることを特徴とする請求項４に記載のユーザ
   インタフェース制御装置。
6. 【請求項６】 前記指示内容とは押下されたボタンもし
   くはボタン押下保持を含むことを特徴とする請求項４又
   は５に記載のユーザインタフェース制御装置。
7. 【請求項７】 前記動画像の進行状態が進行である場合
   に前記指示手段によって所定の指示位置と指示内容の組
   合せによって指示がなされた場合、前記動画像の進行状
   態を停止にすることを特徴とする請求項４乃至６のいず
   れかに記載のユーザインタフェース制御装置。
8. 【請求項８】 前記動画像の進行状態が停止である場合
   に前記指示手段によって所定の指示位置と指示内容の組
   合せによって指示がなされた場合、前記動画像の進行状
   態を進行にすることを特徴とする請求項４乃至６のいず
   れかに記載のユーザインタフェース制御装置。
9. 【請求項９】 前記指示手段により指示された際のフレ
   ームに応じて、アイコンを形成するアイコン形成手段を
   さらに有することを特徴とする請求項２又は３に記載の
   ユーザインタフェース制御装置。
10. 【請求項１０】 前記決定手段は、前記アイコン形成手
    段により形成されたアイコンと、前記指示位置と、前記
    動画像の進行状態とに基づいて、前記アイコンに対応づ
    けられた処理を実行するか否か決定することを特徴とす
    る請求項９に記載のユーザインタフェース制御装置。
11. 【請求項１１】 前記指示手段は前記動画像上の位置を
    指示するとともに指示内容も指示し、 前記決定手段は、前記形成されたアイコンと、前記指示
    位置と、前記指示内容と、前記動画像の進行状態とに基
    づいて、前記アイコンの状態情報の変更を行なうか否か
    決定することを特徴とする請求項９に記載のユーザイン
    タフェース制御装置。
12. 【請求項１２】 動画像を表示画面に表示するように制
    御する表示制御工程と、 前記表示画面に表示されている動画像上の位置の指示を
    受け付ける指示工程と、 前記表示画面に表示されている動画像の進行状態を管理
    する動画像状態管理工程と、 前記指示工程において指示が受け付けられた際に表示画
    面に表示されている動画像上での指示位置と前記動画像
    状態管理工程において管理される動画像の進行状態とに
    基づいて、前記動画像に対する処理内容を決定する決定
    工程と、 前記決定工程で決定された処理内容を実行する実行工程
    とを有することを特徴とするユーザインタフェース制御
    方法。
13. 【請求項１３】 前記指示工程において指示が受け付け
    られた時刻を取得する指示時刻取得工程をさらに有し、 前記決定工程では、前記指示時刻取得工程において取得
    した時刻に基づいて前記指示工程において指示がなされ
    た際の動画像のフレームを検出して、当該フレーム上で
    の指示位置と前記動画像の進行状態とに基づいて、前記
    動画像に対する処理内容を決定することを特徴とする請
    求項１２に記載のユーザインタフェース制御方法。
14. 【請求項１４】 前記決定工程では、前記動画像内で移
    動する対象物に対応させたアイコンが前記指示工程にお
    いて指示を受け付けたかどうかと前記動画像の進行状態
    とに基づいて、前記動画像に対する処理内容を決定する
    ことを特徴とする請求項１２又は１３に記載のユーザイ
    ンタフェース制御方法。
15. 【請求項１５】 前記指示工程では前記動画像上の位置
    の指示を受け付けるとともに指示内容も受け付けし、 前記決定工程では、前記動画像上での指示位置と前記指
    示内容と前記動画像の進行状態とに基づいて、前記動画
    像に対する処理内容を決定することを特徴とする請求項
    １２乃至１４のいずれかに記載のユーザインタフェース
    制御方法。
16. 【請求項１６】 前記指示内容とはマウスがクリックさ
    れた回数であることを特徴とする請求項１５に記載のユ
    ーザインタフェース制御方法。
17. 【請求項１７】 前記指示内容とは押下されたボタンも
    しくはボタン押下保持を含むことを特徴とする請求項１
    ５又は１６に記載のユーザインタフェース制御方法。
18. 【請求項１８】 前記動画像の進行状態が進行である場
    合に前記指示工程において所定の指示位置と指示内容の
    組合せによって指示がなされた場合、前記動画像の進行
    状態を停止にすることを特徴とする請求項１５乃至１７
    のいずれかに記載のユーザインタフェース制御方法。
19. 【請求項１９】 前記動画像の進行状態が停止である場
    合に前記指示工程において所定の指示位置と指示内容の
    組合せによって指示がなされた場合、前記動画像の進行
    状態を進行にすることを特徴とする請求項１５乃至１７
    のいずれかに記載のユーザインタフェース制御方法。
20. 【請求項２０】 前記指示工程において指示を受け付け
    た際のフレームに応じて、アイコンを形成するアイコン
    形成工程をさらに有することを特徴とする請求項１３又
    は１４に記載のユーザインタフェース制御方法。
21. 【請求項２１】 前記決定工程は、前記アイコン形成工
    程において形成されたアイコンと、前記指示位置と、前
    記動画像の進行状態とに基づいて、前記アイコンに対応
    づけられた処理を実行するか否か決定することを特徴と
    する請求項２０に記載のユーザインタフェース制御方
    法。
22. 【請求項２２】 前記指示工程では前記動画像上の位置
    の指示を受け付けるとともに指示内容も受け付けし、 前記決定手段は、前記形成されたアイコンと、前記指示
    位置と、前記指示内容と、前記動画像の進行状態とに基
    づいて、前記アイコンの状態情報の変更を行なうか否か
    決定することを特徴とする請求項２０に記載のユーザイ
    ンタフェース制御方法。