JP3372554B2 - 画像処理装置及びその方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理装置及びその方
法に関し、特に、例えば、ＣＲＴ等のデイスプレイ上に
表示された動画像の画面制御及び操作制御が可能な画像
処理装置及びその方法に関する。

【０００２】

【従来の技術】近年、コンピユータのユーザインタフエ
ースは目覚ましい発展を遂げてきており、ウインドとア
イコンとマウスとを用いた種々のハイパーメデイアシス
テムが開発され提供されてきている。一般にこれらのシ
ステムはマルチメデイアの対応を目指しているものが多
い。しかし、実際には、扱つているメデイアは文字（文
章）、図形（図面）、画像（写真）等とデイスプレイ画
面上では静的なものが主であるため、ウインドとアイコ
ンも静的な画面制御であつた。即ち、画面上の所定の位
置に展開され表示されているウインドとアイコンに対し
て、ユーザの指示操作が発生すると、選択された内容に
応じて処理が行われ、その処理の一環としてウインドと
アイコンの位置や大きさ、内容、種類が新たに設定され
てデイスプレイ画面上の所定の位置に表示される。つま
り、静的な配置構成であるウインドとアイコンに対して
ユーザが指示操作するという点で、画面制御は静的なも
のであると言える。

【０００３】その例を図４と図５に示す。図４は、マウ
スでクリツクする前のデイスプレイ画面状態で、二つの
開かれたウインドＡ及びＢ、ウインドを縮小したアイコ
ンＡ〜Ｄ、共通アイコン群等が表示されている。ウイン
ドＡ及びＢ内にもウインド内処理用としてアイコンが存
在する。この状態からマウスでカーソル（図中矢印で示
す）をアイコンＣ上へ移動させてクリツクすると、図５
で示された画面の状態へ移行する。即ち、アイコンＣが
クローズアツプされるようにウインドＣが開かれる。こ
のウインドＣ内にもウインド内処理用としてアイコンが
存在する。

【０００４】従つて、ユーザの指示操作が発生する前と
後では、デイスプレイ画面に変化があり、その意味では
ウインドとアイコンが結果的に動的な振る舞いをするこ
とになる。また、ユーザの指示操作が発生してから画面
制御等の処理が終了するまでの間、ウインドとアイコン
を動的な表示（クローズアツプ）を行うこともあるが、
その間はウインドとアイコンとしての機能を果たさな
い。

【０００５】

【発明が解決しようとする課題】しかしながら、マルチ
メデイアとして動画像への取り組みが盛んになつてきて
いる現在、動画像に対応できる画面制御機能が、ハイパ
ーメデイアシステムにも要求されてきている。しかしな
がら、上記従来例では、ウインドやアイコンは動画像に
は対応しておらず静的な配置構成になつているため、動
画像内をマウスで直接指示することが必要な場合、動画
像内に動きやシーン変化で指示したい対象が動的である
ので静的なアイコン等では対応できないという問題があ
つた。

【０００６】特にデイスプレイ上のウインド内に動画像
が存在する場合、変化したり動いたりする対象物をマウ
ス等の入力指示手段で指定（クリツク）可能な画面制御
機能が望まれている。

【０００７】本発明は上記従来例に鑑みてなされたもの
で、デイスプレイに表示される動画像に対応した画面制
御が可能な画像処理装置及びその方法を提供することを
目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に本発明の画像処理装置は以下の様な構成からなる。即
ち、動画像を表示する動画像領域及び前記動画像を制御
するための制御情報領域とを画面に表示する表示手段
と、前記表示手段によって表示される画面の任意の位置
を指示する指示手段と、前記画面上に、前記指示手段に
より指示された時刻と位置とを検出する検出手段と、前
記検出手段による検出結果に基づいて、前記指示手段に
よって指示された位置が前記画面のどのような領域であ
るかを判断する判断手段と、前記動画像領域に表示され
た動画像中にある対象物の動きに追従したアイコンに関
する情報を記憶する記憶手段と、前記指示手段によって
指示された位置が動画像領域であると前記判断手段によ
って判断された場合、前記検出手段による検出結果に基
づいて、前記記憶手段に記憶されたアイコンに関する情
報を抽出する抽出手段と、前記抽出手段によって抽出さ
れたアイコンに関する情報に対応した処理を実行するよ
う制御する制御手段とを有し、前記指示手段によって指
示された位置が制御情報領域であると前記判断手段によ
って判断された場合、前記制御手段は前記動画像の表示
制御に関する処理を実行するよう制御することを特徴と
する画像処理装置を備える。また他の発明によれば、動
画像を表示する動画像領域及び前記動画像を制御するた
めの制御情報領域とを画面に表示する表示工程と、前記
表示工程において表示される画面の任意の位置を指示す
る指示工程と、前記画面上に、前記指示工程において指
示された時刻と位置とを検出する検出工程と、前記検出
工程における検出結果に基づいて、前記指示工程におい
て指示された位置が前記画面のどのような領域であるか
を判断する判断工程と、前記動画像領域に表示された動
画像中にある対象物の動きに追従したアイコンに関する
情報を記憶媒体に記憶する記憶工程と、前記指示工程に
おいて指示された位置が動画像領域であると前記判断工
程において判断された場合、前記検出工程における検出
結果に基づいて、前記記憶媒体に記憶されたアイコンに
関する情報を抽出する抽出工程と、前記抽出工程におい
て抽出されたアイコンに関する情報に対応した処理を実
行するよう制御する制御工程とを有し、前記指示工程に
おいて指示された位置が制御情報領域であると前記判断
工程において判断された場合、前記制御工程は前記動画
像の表示制御に関する処理を実行するよう制御すること
を特徴とする画像処理方法を備える。

【０００９】

【作用】以上の構成により本発明は、画面に表示された
任意の位置を指示し、その画面上に指示された時刻と位
置とを検出し、その検出結果に基づいて指示された位置
が動画像領域であると判断された場合には、さらにその
検出結果に基づいて、その動画像領域に表示された動画
像中にある対象物の動きに追従したアイコンに関する情
報を記憶した記憶媒体からアイコンに関する情報を抽出
し、その抽出されたアイコンに関する情報に対応した処
理を実行するよう制御する一方、その指示された位置が
制御情報領域である場合には、動画像の表示制御に関す
る処理を実行するよう制御する。

【００１０】

【実施例】以下添付図面を参照して本発明の好適な実施
例を詳細に説明する。

【００１１】図１は、本発明の代表的な実施例であるユ
ーザインタフエース制御方式の概念を示すブロツク図で
ある。

【００１２】図１において、１は入力指示手段であるマ
ウス、２はＣＲＴ等のデイスプレイ部、３はデイスプレ
イコントローラ、４はマウス１の指示に基づいて必要な
情報（指示座標、指示時間など）を発生する入力指示情
報発生部、５はウインド及びアイコン等に関する情報を
格納するウインド情報管理部、６は指示時間に対応した
アイコンを形成するアイコン形成部、７はアイコンに対
応した処理を行う処理部、８はマウス１の移動変位量
（dX，dY）からデイスプレイ部２上のカーソル位置を発
生するカーソル発生部、９〜１０はそれぞれ入力指示情
報発生部４の主構成要素でマウス１のクリツク操作で各
々指示座標（Ｘi,Ｙi ）、指示時間Ｔｉを記憶する座標
バツフア、タイムバツフア、１１はシステムの時間管理
をするシステムタイム管理部、１２〜１５はウインド情
報管理部５の主構成要素で、１２はウインド位置座標管
理部、１３は動画像スケジユール管理部、１４はアイコ
ン情報管理部、１５はアイコン履歴情報管理部、１６〜
１７はアイコン形成部の主構成要素で１６は座標とアイ
コンを関係づけるアイコン・マツプ、１７はアイコンと
対応する処理を関係づけるアイコン・テーブル、１８は
指示座標（Ｘi,Ｙi ）と各ウインド位置座標（Ｘsw，Ｙ
sw，Ｘew，Ｙew）から該当ウインドを捜す該当ウインド
検出部、１９は指示時間Ｔi と動画像の開始時間Ｔs 及
び開始フレームＦs から該当するフレームを求める該当
フレーム検出部、２０は該当フレーム内でのアイコンの
中から指示されたアイコンを検出する該当アイコン検出
部である。

【００１３】なお、本実施例で言及するフレームの概念
は、デイスプレイ部２やデイスプレイコントローラ３で
の制御される全画面のフレームではなく、動画像用ウイ
ンド内に表示する動画像を構成する動画像の管理単位で
静的なフレームのことを指す。従つて、デイスプレイの
フレーム周期と動画像のフレーム周期は必ずしも一致し
ない。

【００１４】図２は、動画像を含むウインド（以下、ウ
インドＤと称す）の表示例で、内部に管理用サブ・ウイ
ンドと動画像用サブ・ウインドと動画像制御用サブ・ウ
インドを有する。管理用サブ・ウインド内にはウインド
Ｄの開閉用のアイコンを有する。動画像用サブ・ウイン
ド内部には移動する球体の動画像が表示され、この球体
に対してアイコンＩm を対応させる。動画像制御用サブ
・ウインド内部にはＶＴＲの様な操作（逆戻し、逆再
生、停止、再生、早送り、ポーズなど）に対応したアイ
コンを有する。なお、マウスによつて移動できるカーソ
ルを図中に矢印で示した。

【００１５】次に、以上のようなユーザインタフエース
制御方式の動作概要を図３に示すフローチヤートを参照
しながら説明する。ここでは説明を、ウインドＤを開い
てからマウスのクリツク操作を認識し処理を完了するま
でとし、その他の動作（初期設定動作等）に関してはこ
こでは説明しない。また、ウインドＤを開くときの手順
は図４で示した従来例に従うものとする。

【００１６】まず、ステップＳ１では、図２で示すアイ
コンＤを、図４で示すデイスプレイ画面上にてウインド
Ｄをマウス１でクリツクすることでオープンする。この
ときのマウス１からの入力指示に対する処理動作は、以
下に説明する動作の場合とほぼ同様である。

【００１７】続いてステップＳ２では、マウス１からの
クリツク入力（アイコン等の選択指示）待ち状態とな
り、その間にマウス１の移動に対する処理が行う。即
ち、マウス１からの水平及び垂直移動量（dX，dY）に基
づき、カーソル発生部８は、前の状態カーソル位置（Ｘ
m,Ｙm ）に移動量（dX，dY）を加算して現在のカーソル
位置（Ｘm,Ｙm ）を求め、その値をデイスプレイコント
ローラ３と座標バツフア９に送る。これを受けてデイス
プレイコントローラ３はカーソルをデイスプレイ部２に
現在の位置（Ｘm,Ｙm ）で表示する。尚、ここではデイ
スプレイ画面の標準位置（座標原点）を画面の左上と仮
定する。

【００１８】マウス１からのクリツク入力が発生する
と、並列的にステップＳ３〜Ｓ４と動作が進む。ステッ
プＳ３は指示時刻Ｔi （クリツク入力が発生した時刻）
の検出と記憶を行い、ステップＳ４は指示位置（Ｘi,Ｙ
i ）（クリツク入力が発生したときのカーソルの座標位
置）の検出と記憶を行う。ステップＳ３では、座標バツ
フア９が、カーソル発生部８から常時出力されている現
在位置（Ｘm,Ｙm ）をマウス１からのクリツク入力のタ
イミングでラツチし、ラツチした値を指示位置（Ｘi,Ｙ
i ）として記憶し該当ウインド検出部１８に出力する。
ステップＳ４では、タイムバツフア１０が、システムタ
イム管理部１１から常時出力されている時刻Ｔs をマウ
ス１からのクリツク入力のタイミング（ステップＳ３と
同じタイミング）でラツチし、ラツチした値を指示時刻
Ｔi として記憶し該当フレーム検出部１９に出力する。
ここでの時刻Ｔs は、日常的な時刻や相対的な時刻でも
良いが、デイスプレイ部２及びデイスプレイコントロー
ラ３でのフレーム同期信号より時間分解能を高く設定す
ることにより、表示されたフレームを任意に指定でき
る。

【００１９】次にステップＳ５〜Ｓ６では、指示位置
（Ｘi,Ｙi ）がどのウインドやサブ・ウインド内に該当
するかを調べる。具体的には、該当ウインド検出部１８
が、ウインド情報管理部５内のウインド座標管理部１２
からのウインド管理番号Ｗｎと、ウインド座標（Ｘsw，
Ｙsw）及び（Ｘew，Ｙew）と、指示位置（Ｘi,Ｙi ）を
用いて、 Ｘsw ≦ Ｘi ≦ Ｘes かつ Ｙsw ≦ Ｙi ≦ Ｙew なる条件を満たすウインド（またはサブ・ウインド）を
探し出し、その該当ウインド（またはサブ・ウインド）
の管理番号Ｗｉをウインド情報管理部５に出力して、指
示位置（Ｘi,Ｙi ）をウインド内座標（Ｘiw，Ｙiw）に
座標変換し、それを該当アイコン検出部２０に出力す
る。尚、ここで、（Ｘsw，Ｙsw）と（Ｘew，Ｙew）は、
デイスプレイ部２の画面上に表示されているウインドの
左上と右下の座標（座標系はカーソル位置とおなじ）を
表す。また、ウインド情報管理部５では、ウインドとサ
ブ・ウインドとアイコンの位置的包含関係に基づいてウ
インド情報（ウインド座標、動画像スケジユール、アイ
コン情報（履歴情報等）等）を階層的に管理している。
また、ウインドが重なつている場合は、最上部に表示さ
れたウインドへの指示が優先される。

【００２０】従つて、ステップＳ５では、指示位置（Ｘ
i,Ｙi ）がウインドＤ内にあるか否かの判定処理を行
い、指示位置（Ｘi,Ｙi ）がウインドＤ内に位置すると
判定されれば、処理はステップＳ６に進み、位置しない
と判定されれば、次のウインド（本実施例ウインドＡ，
Ｂ）に対して順に判定処理を実行する。そして、最終的
に該当ウインドが存在しないと判定された場合はクリツ
ク入力に対する処理を実行せず、処理はステップＳ２
（マウス入力待ち状態）に戻る。ここで、オープンされ
ているウインドの中で、いずれか該当ウインドがあれば
ウインドＤに対する処理（ステップＳ６以降）と同様に
該当ウインドに対して処理を行う。

【００２１】以降、その該当ウインドはウインドＤであ
るとして説明を進める。

【００２２】ステップＳ６内部では、指示位置（Ｘi,Ｙ
i ）がどのサブ・ウインドに該当するかを、動画像用サ
ブ・ウインド（ステップＳ８）、管理用サブ・ウインド
（ステップＳ１４）、及び、動画像制御用サブ・ウイン
ド（ステップＳ１６）の順に判定する。ここで、該当サ
ブ・ウインドが動画像用サブ・ウインドならば、処理は
ステップＳ１０へ進み、該当サブ・ウインドが管理用サ
ブ・ウインドならば、処理はステップＳ１５へ進み、そ
して、該当サブ・ウインドが動画像制御用サブ・ウイン
ドならば、処理はステップＳ１７へ進む。また、該当サ
ブ・ウインドが存在しないと判断されたならば、クリツ
ク入力に対する処理を実行せず、処理はステップＳ２
（マウス入力待ち状態）に戻る。

【００２３】さて、該当ウインド（またはサブ・ウイン
ド）が検出された場合、処理はステップＳ９において該
当ウインド（またはサブ・ウインド）内のアイコンを形
成する。具体的には、以下の動作を実行する。

【００２４】まず、該当ウインド管理番号Ｗi を受け取
つたウインド情報管理部５は該当ウインドが動画像であ
るか否かに関し、ウインド情報（例えば、動画像識別
子）を用いて判定する。

【００２５】該当サブ・ウインドが動画像であると判断
された場合、処理はステップＳ１０において、動画像ス
ケジユール管理部１３が該当サブウインドのスケジユー
ル情報（Ｔs ：動画像が動き始めた時刻、Ｆs ：開始フ
レーム番号、Ｔf ：表示速度（フレーム数／秒））を該
当フレーム検出部１９に送る。次に、該当フレーム検出
部１９は指示時間Ｔi とスケジユール情報Ｔs,Ｆs,Ｔf
を用いて該当フレーム番号Ｆi Ｆi ＝ＩＮＴ［（Ｔi −Ｔs ）／Ｔf ］＋Ｆs ただし、Ｔs ＜Ｔi （動画像が動きを開始している時） Ｆi ＝Ｆs ただし、Ｔs ＝Ｔi （動画像が停止している時） を求め、ウインド情報管理部５に送る。尚、この式での
ＩＮＴは整数化演算子である。また、ここでのスケジユ
ール情報Ｔs,Ｆs,Ｔf で対応できる動画像の動きは、定
速運動であり、停止、再生、及び、逆再生等の操作が発
生する度にスケジユール情報Ｔs,Ｆs,Ｔf は更新され
る。

【００２６】さて、該当フレーム番号Ｆi を受け取つた
ウインド情報管理部５内部のアイコン情報管理部１４
は、アイコン履歴情報管理部１５から該当ウインド管理
番号Ｗi の該当フレーム番号Ｆi に相当するアイコン配
置情報（アイコン管理番号とアイコンのウインド内座
標）とアイコン処理情報（アイコン管理番号と処理管理
番号）を検出し、アイコン形成部６に送る。これを受信
したアイコン形成部６は、アイコン配置情報をアイコン
・マツプ（アイコンのウインド内座標に相当するメモリ
空間にアイコン管理番号を書き込んだもの）に展開し、
アイコン処理情報をアイコン・テーブル（アイコン管理
番号に相当するメモリ空間に処理管理番号を書き込んだ
もの）に変換することでアイコンが形成される。このよ
うなアイコンをデイスプレイ部２上に表示してもよい
が、本実施例では表示しないものとする（即ち、図２で
の球体に対応するアイコンは可視できない状態であ
る）。

【００２７】次に、該当サブウインドが動画像でなく静
止像の場合、処理はステップＳ１５またはステップＳ１
７において、動画像スケジユール管理部１３及び該当フ
レーム検出部１９は動作せず、アイコン情報管理部１４
がアイコン履歴情報管理部１５から該当ウインド管理番
号Ｗi に相当するアイコン配置情報とアイコン処理情報
を検出し、アイコン形成部６に送る。アイコン形成部６
の動作は、動画像サブウインドの場合と同様である。

【００２８】以上のようにしてアイコンが形成される
と、処理はステップＳ１１に進み、該当アイコンの検出
を行う。

【００２９】ステップＳ１１では具体的には、該当アイ
コン検出部２０が、アイコン・マツプ１６から指示位置
のウインド内座標（Ｘwi，Ｙwi）に相当するメモリ空間
からアイコン管理番号を読み出し、これを該当アイコン
管理番号Ｉi としアイコン・テーブル１７に送る。該当
アイコンが存在しない場合は、アイコン・マツプ１６か
ら読み出したアイコン管理番号はダミー（登録済アイコ
ン管理番号と一致しない特殊な値）であり、アイコン・
テーブル１７に送られた該当アイコン管理番号Ｉi をダ
ミーとして扱う。

【００３０】このようにして該当アイコンが検出される
と、処理はステップＳ１２において該当アイコンに対応
した処理を行う。

【００３１】ステップＳ１２では具体的には、アイコン
・テーブル１７は該当アイコン管理番号Ｉi に相当する
メモリ空間から処理管理番号Ｏi を読み出して、そのＯ
i を処理部７に送り、処理部７は該当処理管理番号Ｏi
に対応する処理を行う。ここで、該当アイコン管理番号
Ｉi がダミーである（該当アイコンが存在しない）場合
は、アイコン・テーブル１７から読み出される処理管理
番号Ｏi は非処理コードとみなされ、処理部７では何の
処理をも実行せずに処理はステップＳ２（マウス入力待
ち状態）に戻る。

【００３２】処理部７の処理によりデイスプレイ部２の
画面に新たなウインドやアイコンが表示された場合も前
述したユーザインタフエース制御方式と同様である。た
だし、ウインド情報管理部５に対して新たに表示された
ウインドと消去されたウインド等に付随する情報の更新
が行われる。

【００３３】従って本実施例に従えば、マウスのクリツ
ク入力により動画像が表示されているウインド内の時間
的に変化したり移動したりする対象物に対して、処理指
示を行うことができる。

【００３４】なお本実施例では、マウスのクリツク入力
の発生した時刻である指示時刻は、システムタイムクロ
ックの時刻をクリツク入力のタイミングでラツチするこ
とで確保するものとして説明したが、本発明はこれに限
定されるものではない。

【００３５】例えば、表示されている複数の動画像用ウ
インドに対して、それらのウインド毎に表示されている
動画像のフレーム番号を管理するフレーム・カウンタと
フレーム・カウンタバツフアを設定することでも可能で
ある。具体的には、動画像の再生、逆再生、早送り、巻
き戻し等の表示制御に対してフレーム・カウンタは可変
速なインクリメントやデイクリメントをすることによつ
て現在表示されているフレーム番号を維持し、マウスで
のクリツク入力のタイミングでフレーム・カウンタの値
をフレーム・カウントバツフアにラツチすることで指示
時刻を確保することができる。そして、該当フレームの
検出は、検出された該当動画像用ウインドのフレーム・
カウントバツフアを読み出すことで容易にできる。ここ
で、フレーム・カウンタの初期設定や可変的なインクリ
メントやデイクリメントは、動画像スケジユール管理部
１３から開始フレーム番号や表示速度等の情報から制御
できる。

【００３６】さらに、マウスのクリツク入力の発生した
時刻である指示時刻の確保の別の例として、アイコン履
歴情報管理部１５の履歴情報の管理単位に対してポイン
タを設け、動画像の表示変化に追従させてポインタを動
かし、ポインタは表示されている動画像に対応したアイ
コン群の履歴情報の単位を常時指示し、マウスからのク
リツク入力のタイミングでこれらポインタをポインタバ
ツフアにラッチすることで実現することも可能である。
この場合は、動画像のフレームとアイコン履歴情報の管
理単位は、１対１対応とは限らずｎ対１対応の場合もあ
る（連続する複数のフレームでアイコンの構成が変化し
ていないことに相当する）。

【００３７】また、該当ウインドの検出タイミングは、
マウスからクリツク入力が発生した時点として本実施例
では説明したが、本発明はこれに限定されるものではな
い。例えば、マウスの移動が発生するたびにカーソルの
位置がどのウインドに属するか求め、クリツク入力が発
生すると直ちに該当ウインドが検出するように制御する
こともできる。さらに、本実施例における該当ウインド
の位置検出は、指示座標とウインド座標の比較で行った
が、本発明はこれに限定されるものではない。例えば、
該当アイコンの検出で用いたアイコン・マツプの方式を
該当ウインドの検出でもウインド・マツプとして適用
し、デイスプレイ座標に相当するメモリ空間にウインド
管理番号を書き込んでおくことにより対応することがで
きる。さらにまた、該当アイコン検出を該当ウインド検
出のように指示座標とアイコン座標の比較で行うことも
可能である。

【００３８】さらにまた、本実施例では、アイコン履歴
情報管理部１５の履歴情報をアイコン座標で履歴化して
いるが、本発明はこれに限定されるものではない。例え
ば、アイコン・マツプの形で履歴化することも可能であ
る。

【００３９】さらにまた、本発明は本実施例の図１で示
したユーザインタフエースの制御方式の構成に限定され
るものではない。例えば、カーソル発生部８を入力指示
情報発生部４に包含すること、該当ウインド検出部１８
をウインド情報管理部５に包含すること、該当フレーム
検出部１９をウインド情報管理部５またはアイコン形成
部６に包含すること、そして、該当アイコン検出部２０
をアイコン形成部６に包含することも可能である。

【００４０】

【発明の効果】以上説明したように本発明によれば、画
面上で指示した位置と時刻とを検出し、その検出結果に
基づいて、その指示位置が動画像領域であるのか、制御
情報領域であるのかに従って、動画像の動きに追従した
アイコンに関する情報に対応した処理を実行したり、動
画像の表示制御に関する処理を実行できるという効果が
ある。

【図面の簡単な説明】

【図１Ａ】本発明の代表的な実施例であるユーザインタ
フエースの制御方式の概念を示すブロツク図である。

【図１Ｂ】 本発明の代表的な実施例であるユーザインタ
フェースの制御方式の概念を示すブロック図である。

【図２】動画像を含むウインドの表示例である。

【図３Ａ】ユーザインタフエースの制御方式の動作概要
を示すフローチヤートである。

【図３Ｂ】 ユーザインタフエースの制御方式の動作概要
を示すフローチヤートである。

【図４】従来のデイスプレイ画面の表示例でマウスをク
リツクする前のデイスプレイ画面状態である。

【図５】従来のデイスプレイ画面の表示例でマウスをク
リツクする前のデイスプレイ画面状態である。

【符号の説明】

１ マウス ２ デイスプレイ部 ３ デイスプレイコントローラ ４ 入力指示情報発生部 ５ ウインド情報管理部 ６ アイコン形成部 ７ 処理部

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 - 17/50 G06F 3/00 - 3/153 340 G06F 12/00 - 12/00 549

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 動画像を表示する動画像領域及び前記動
   画像を制御するための制御情報領域とを画面に表示する
   表示手段と、 前記表示手段によって表示される画面の任意の位置を指
   示する指示手段と、前記画面上に、前記指示手段により指示された時刻と位
   置とを検出する検出手段と、 前記検出手段による検出結果に基づいて、 前記指示手段
   によって指示された位置が前記画面のどのような領域で
   あるかを判断する判断手段と、 前記動画像領域に表示された動画像中にある対象物の動
   きに追従したアイコンに関する情報を記憶する記憶手段
   と、 前記指示手段によって指示された位置が動画像領域であ
   ると前記判断手段によって判断された場合、前記検出手
   段による検出結果に基づいて、前記記憶手段に記憶され
   たアイコンに関する情報を抽出する抽出手段と、 前記抽出手段によって抽出されたアイコンに関する情報
   に対応した処理を実行するよう制御する制御手段とを有
   し、 前記指示手段によって指示された位置が制御情報領域で
   あると前記判断手段によって判断された場合、前記制御
   手段は前記動画像の表示制御に関する処理を実行するよ
   う制御することを特徴とする画像処理装置。
2. 【請求項２】 前記検出手段は、前記指示手段による指
   示された時の動画像のフレームを検出し、 前記抽出手段は、前記検出手段により検出されたフレー
   ム内のアイコンに関する情報を前記記憶手段より抽出す
   ることを特徴とする請求項１に記載の画像処理装置。
3. 【請求項３】 前記記憶手段は対象物の位置情報を動画
   像のフレームに対応させて記憶することを特徴とする請
   求項１に記載の画像処理装置。
4. 【請求項４】 動画像を表示する動画像領域及び前記動
   画像を制御するための制御情報領域とを画面に表示する
   表示工程と、 前記表示工程において表示される画面の任意の位置を指
   示する指示工程と、前記画面上に、前記指示工程において指示された時刻と
   位置とを検出する検出 工程と、 前記検出工程における検出結果に基づいて、 前記指示工
   程において指示された位置が前記画面のどのような領域
   であるかを判断する判断工程と、 前記動画像領域に表示された動画像中にある対象物の動
   きに追従したアイコンに関する情報を記憶媒体に記憶す
   る記憶工程と、 前記指示工程において指示された位置が動画像領域であ
   ると前記判断工程において判断された場合、前記検出工
   程における検出結果に基づいて、前記記憶媒体に記憶さ
   れたアイコンに関する情報を抽出する抽出工程と、 前記抽出工程において抽出されたアイコンに関する情報
   に対応した処理を実行するよう制御する制御工程とを有
   し、 前記指示工程において指示された位置が制御情報領域で
   あると前記判断工程において判断された場合、前記制御
   工程は前記動画像の表示制御に関する処理を実行するよ
   う制御することを特徴とする画像処理方法。
5. 【請求項５】 前記検出工程は、前記指示工程において
   指示された時の動画像のフレームを検出し、 前記抽出工程は、前記検出工程において検出されたフレ
   ーム内のアイコンに関する情報を前記記憶媒体より抽出
   することを特徴とする請求項４に記載の画像処理方法。
6. 【請求項６】 前記記憶媒体は対象物の位置情報を動画
   像のフレームに対応させて記憶することを特徴とする請
   求項４に記載の画像処理方法。