JPH0636004A

JPH0636004A - 情報処理装置

Info

Publication number: JPH0636004A
Application number: JP4190855A
Authority: JP
Inventors: Keiko Sakuragi; 恵子桜木; Toshiro Watanabe; 敏郎渡辺; Akio Oba; 章男大場
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1992-07-17
Filing date: 1992-07-17
Publication date: 1994-02-10

Abstract

(57)【要約】【目的】本発明は、実施コマンド列に加えて、システム
の内部状態や出力の遷移を関連づけて表示し、それらを
目で確認しながら任意の処理編集を効率良く行うことが
できるようなインタフェースの実現を目的とする。【構成】第１の発明は、ある一連の操作及び処理履歴
を、コマンド列を示すファイルと、システムの内部状態
履歴を示すファイルと、処理及び操作過程をビデオイン
デックス表現か、抜き取り静止画像表現したファイルの
３形態で表現する表示手段を備え、第２の発明は、上述
の３ファイルを共通の時間軸上に表示する手段を備え、
第２の発明は、上述の３ファイルに対しＧＵＩを用いて
編集を可能にする手段を備え、第３の発明は、上述の３
ファイルを対応する時間軸上に表示した操作履歴テーブ
ル上で、任意の時間範囲の処理群をユーザ固有のマクロ
定義可能な手段を備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、例えばビデオテー
プ、光ディスクの映像検索及びまたは映像編集や多用な
操作形態を備えたコンピュータ・ソフトウェアに適した
インタフェース技法に関し、特に個々のユーザや嗜好に
あった検索及びまたは編集手法、操作法を提供するイン
タフェース技法に関する。

【０００２】

【従来の技術】一連の操作処理の履歴を表示したり、い
くつかの処理コマンドをまとめてマクロ定義したりする
技術としては、（ａ）ユーザが実行したコマンドの履歴を表示するＵＮ
ＩＸ機能：ｈｉｓｔｏｒｙ（ｂ）いくつかのコマンドをマクロ定義できるＵＮＩＸ
機能：ａｌｉａｓ、またはＯｒＣＡＤ（ｃ）ユーザによって示された例から一般化されたプロ
グラムを生成するｅａｇｅｒ（ＡｌｌｅｎＣｙｐｈｅ
ｒ，”ＥＡＧＥＲ：Ｐｒｏｇｒａｍｍｉｎｇｒｅｐｅｔ
ｉｔｉｖｅｔａｓｋｓｂｙｅｘａｍｐｌｅ”，Ａ
ＣＭＣＨＩ’９１ＣｏｎｆｅｒｅｎｃｅＰｒｏｃ
ｅｅｄｉｎｇｓ，ｐｐ．３３−３９）（ｄ）予測できるあらゆる操作について一般化を行なう
ＭｅｔａＭｏｕｓｅ（ＤａｖｉｄＬ．Ｍａｕｌｓｂｙ
ａｎｄＩａｎＨ．Ｗｉｔｔｅｎ，”Ｉｎｄｕｃｉ
ｎｇｐｒｏｇｒａｍｓｉｎａｄｉｒｅｃｔ−
ｍａｎｉｐｕｌａｔｉｏｎｅｎｖｉｒｏｎｍｅｎ
ｔ”，ＡＣＭＣＨＩ ’８９Ｃｏｎｆｅｒｅｎｃｅ
Ｐｒｏｃｅｅｄｉｎｇｓ，ｐｐ．５７−６２）などがある。

【０００３】

【本発明が解決しようとする課題】ところが（ａ）や
（ｂ）では実行コマンドが順番に並んでいるだけなの
で、それらによって内部状態や出力がどのように変化し
ていったかというプロセスや、ユーザとシステムとの対
話に関係した処理過程がわからない。また（ｃ）や
（ｄ）のようにシステムの方が機械的に一般化（マクロ
化）してしまうと、それに限定されてしまい自由度がな
くなってしまう。例えば、ＡというマクロがＰさんにも
Ｑさんにも共通のマクロになりうるかというと必ずしも
そうではないし、Ｂというマクロの一部を修正してＢ’
という派生マクロを作りたいときに、これらの方法では
対応できない。さらに自動的に作成されたマクロだけを
見ても、自分がどのような処理を行なってそれがマクロ
として定義されたかという過程がわからない。

【０００４】そこで本発明においては、上記の（ａ）、
（ｂ）のような実施コマンド列に加えてシステムの内部
状態や出力の遷移を関連づけて表示し、それらを目で確
認しながら任意の処理編集を効率良く行なうことができ
るようなインタフェースの実現を目的とする。

【０００５】

【課題を解決するための手段】本発明においては、前述
の課題を解決するために以下のような手段を採った。第
１の発明は、ある一連の操作及び処理履歴を、（１）実
施コマンド列をテキスト表現したコマンドファイルと、
（２）システムの内部状態の履歴をテキスト表現したス
テートファイルと、（３）一連の処理及び操作の過程
（状態遷移）をビデオインデックス表現（特開平２─２
６００７５：画像データ処理装置）、もしくは抜き取り
静止画像表現したディスプレイファイルの３つの情報形
態で演出表現する表示手段を備え、第２の発明は、上述
の３つのファイルを共通の時間軸上に配置表示する表示
手段を備え、第３の発明は、上述の３つの履歴ファイル
に対してグラフィック・ユーザ・インタフェースを用い
て編集操作を可能にする編集手段を備え、第４の発明
は、上述の３つのファイルを対応する時間軸上に表示し
た操作履歴テーブル上で、任意の時間範囲の処理群をそ
のユーザ固有のマクロとして定義できる手段を備えた。

【０００６】

【作用】上述のインタフェース技法をあるシステムに組
み込むことにより、一連の操作履歴を、時間関係、ユー
ザとシステムとの対話に関係した処理過程の両方の観点
から一覧でき、コマンドによって引き起こされたあるシ
ステム状態からあるシステム状態への状態遷移を画面上
で確認できる。また、処理過程（対話関係）を見ながら
の操作履歴ファイルに対する編集が可能なので、新たな
派生処理経路を生成することができるし、目的に応じた
ユーザ固有のマクロ定義も行なえる。

【０００７】このように本発明を用いると操作編集効率
が数段良くなり、複数のコマンド操作を一つのマクロ指
定で実行できるのでマンマシン・インタフェースが向上
する。

【０００８】

【実施例】以下に本発明を導入したシステムの実施例を
あげ、説明する。〔実施例１〕図１〜５は、はがきに絵や文字を印刷する
ためのアプリケーションに本インタフェース技法を導入
し、暑中見舞はがきを作成した一連の操作履歴例であ
る。このアプリケーションは、提示されたはがきの絵の
中に自由に絵や文字を描くことができ、はがきを挿入し
てプリントコマンドを実行すれば描いたとおりにはがき
に印刷してくれるものである。

【０００９】まずこのアプリケーションの実施例を挙
げ、次に実現のための本発明の機能構成を示す。図１に
示すとおり、操作履歴はディスプレイファイル１、ステ
イトファイル２、コマンドファイル３の３種類の情報形
態で表現され、時間軸上４に展開される。図１〜５を一
覧すれば、自分がどのような処理を行なってきたかとい
うことが、コマンドファイルで示される実施コマンド
と、ステイトファイルで示される内部状態と、ディスプ
レイファイルで示されるそのディスプレイ出力（可視化
情報）の対応付けで確認することができる。この操作履
歴を再現する際、コマンドに対する入力はステイトファ
イルより読み込まれ、対応するデータが見つからない場
合のみユーザ入力を待つものとする。図１〜５の処理の
流れを見ていると、細かな入力やコマンドの増減の違い
はあっても、ほぼ図３の６で示された範囲の処理が繰り
返し行なわれていることがわかる。これをひとつのマク
ロとして定義しておけば、あとはこれに多少の修正を加
えたりしながら繰り返し実行し、操作及び処理を簡略化
することができる。

【００１０】例えば、図３の前半部の”＃新規はがき”
から”＃ｓａｖｅ”までの処理６をマクロ：ｃｒｅａｔ
ｅ７と定義する。図４の後半部の”＃新規はがき”か
ら”＃ｓａｖｅ”までの処理９をマクロ：ｃｒｅａｔｅ
７で置き換える。ただし後半部の処理９の元の処理６は
マクロ：ｃｒｅａｔｅ７よりも図３の８に示すコマンド
４個分操作が少ないので、マクロに置き換えて再現した
場合このコマンド４個に対する入力データが不足する。
（対応するステイトファイルが存在しない。）そこで再
実行の際ユーザはその分の入力を図４の１０のように求
められるが、なにも指定しなければよい。（キャリッジ
リターンまたは、実行ボタンを選択する。）図５の”＃
新規はがき”から”＃ｓａｖｅ”までの処理１１もマク
ロ：ｃｒｅａｔｅ７で置き換える。ここの部分はマクロ
の処理よりも図５の１２に示すコマンド３つ分多く処理
をしているので、マクロで置き換えた後に、図５の１３
に示すようにそのコマンド３つ分の処理を追加してや
る。

【００１１】以上がマクロ定義を使った処理の簡略化の
例であるが、図２の５に示すようにステイトファイルに
対して直接テキスト修正を行なうと、例えば図１の左端
から再現した場合、これまで「暑中御見舞い申し上げま
す」と暑中見舞はがきを作成してきたプロセスが、「残
暑御見舞い申し上げます」というふうに残暑見舞はがき
作成のプロセスに変えることができる。

【００１２】このように可視化された処理フロー上で、
処理内容自身を自由に書き換えたり、並べ変えたりまと
めたりすることによって編集作業自体を簡略化し、作業
効率をアップすることが可能となる。また、同一アプリ
ケーションにおいては、他人が定義したマクロを用いた
り、それに修正を加えて利用したりすることもできるの
で、初心者でも短時間で経験者と同じような作業が可能
となる。

【００１３】次に機能構成を図６に示す。６０の編集部
にアプリケーションが対応する。操作履歴は、ディスプ
レイファイル６３、ステイトファイル６４、コマンドフ
ァイル６５の３種類の形態でそれぞれデータベースに格
納されている。そしてそれらはタイム管理部６１によっ
て時間管理され、ユーザ指示があればマクロ管理部６２
によって図３の６、図４の９、図５の１１のようなマク
ロ化作業が行なわれる。表示部６６は３種類のデータを
対応する時間軸上に並べ、図１〜５のようなフォーマッ
トで表示する。

【００１４】〔実施例２〕マスパーソナルなメディアと
して光ディスクを用いた、パーソナルな画像鑑賞システ
ムの操作例を示す。本画像鑑賞システムの光ディスクと
して、チャプターに別れた複数のテレビ映像と、作品の
静止画、文字情報による作品解説がＣＡＶのフォーマッ
トで収録されているものを用いる。

【００１５】ユーザは好みのテレビ映像と、その映像に
含まれる作品の静止画と解説をまとめた形の鑑賞システ
ムを作成することができる。本画像鑑賞システムにはい
くつかの基本フォーマットが前もって作成用意されてい
る。その一つとして、全作品を壁に並べて、各作品の解
説をその下に付加した展示フォーマットを選んだとす
る。（複数のサブグループに分けて、複数の部屋または
壁に配置させるとか、アルバム形式、巻物形式なども考
えられる。また、解説を音声にするとか、解説者の画像
も付加するなど、フォーマットには数多くのバラエティ
がある。）この展示フォーマットにより作成された本画
像鑑賞システムにおいて、ユーザは作品を鑑賞する。そ
の鑑賞の仕方を本発明によって選択する。（この展示フ
ォーマットを用いて本画像鑑賞システムを作成するタス
クを本発明により行なうこともできる。また、パワーユ
ーザがタスク遂行した様子を本発明の形で保存し、これ
を用いて、ノビスユーザの作成タスク操作を援助するこ
ともできる。）以下、壁面展示作品数２とその関連映像
からなる本画像鑑賞システムについて説明する。まず用
語の説明を行なう。

【００１６】ディスプレイに表示される内容（ピクチャ
ー）に以下の表に示すようなステイトを対応させる。
尚、ここでは、作品として作品１と作品２があるものと
する。〔ステイト〕と〔ピクチャー〕Ｖ０：作品に直接関係しない映像ＶＳ：スターティング（オープニング）映像ＶＥ：エンディング（クロージング）映像Ｖ１：作品１に関連した映像Ｖ２：作品２に関連した映像Ｇ：壁面展示画像Ｐ１：作品１の静止画像Ｐ２：作品２の静止画像Ｃ０：全体の解説文書画像Ｃ１：作品１の解説文書画像Ｃ２：作品２の解説文書画像下表は、表示内容の遷移を示したものである。（）内
は現在表示しているステイタスを、＞の左辺は遷移のき
っかけとなるコマンドを示したもので、＞の右辺は遷移
後のステイタスを示している。

【００１７】ｂとは、画面上に表示されるボタンを示し
たもので、その形状は特に決まっているものではなく、
四角形であったり、あるいは、画面全体であったりす
る。また、個数も１つの場合もあれば、複数の場合もあ
る。以下、ボタンｂが複数個ある場合は、ｂｎ（ｎはボ
タンの番号）で示すものとする。図７の７０は、ボタン
ｂが四角形である場合を示している。

【００１８】ｒは画面上に表示されるリターンを示した
もので、図７の７１に示すような形状をしているものと
する。画面上にはこの他に、図７の７２に示すようなカ
ーソルが表示され、これを図８に示すように、ボタンｂ
である７０あるいはリターンｒである７１の上に移動さ
せ、マウスをクリックすることによってその機能が有効
になる。

【００１９】ｍはムービーモードの場合に有効になるも
ので、上述のボタンｂやリターンｒのように、その機能
を実行するための表示はなく、ムービーモード時に、
（）内のステイタスが終了すると、自動的にｍ＞の後
に示すステイタスに遷移するものである。また、ｃはク
リップモード時に有効となるもので、上述のｍと同様に
表示はなく、（）内のステイタスが終了すると、自動
的にｃ＞の後に示すステイタスに遷移するものである。
ここで、ムービーモードとは、映像を連続して表示する
ものであり、クリップモードとは、ある画像で表示を停
止し、入力待ちとなるものである。

【００２０】尚、ｅｎｄとは表示の終了を意味してい
る。遷移の例として例えば、下表の１行目の場合を考え
ると、現在のステイタスがＶ０であり、この状態で、ボ
タンｂをクリックすればＧの画像に遷移し、クリップモ
ードでＶ０が終了するとＰ１へ遷移し、ムービーモード
でＶ０が終了するとＶ１へ遷移することになる。

【００２１】〔コマンド〕と〔トランジション〕（Ｖ０）ｂ＞Ｇ，ｃ＞Ｐ１，ｍ＞Ｖ１（ＶＳ）ｍ＞Ｖ１（ＶＥ）ｍ＞ｅｎｄ（Ｖ１）ｂ＞Ｐ１，ｍ＞Ｖ２（Ｖ２）ｂ＞Ｐ２，ｍ＞ＶＥ（Ｇ）ｂ１＞Ｐ１，ｂ２＞Ｐ２，ｂ３＞Ｃ１，ｂ４＞Ｃ２，ｒ＞Ｖ０（Ｐ１）ｂ＞Ｃ１，ｒ＞Ｖ１（Ｐ２）ｂ＞Ｃ２，ｒ＞Ｖ２（Ｃ０）ｂ＞Ｇ（Ｃ１）ｂ＞Ｐ１，ｒ＞Ｖ１（Ｃ２）ｂ＞Ｐ２，ｒ＞Ｖ２ｂ・・ボタンｒ・・リターンｍ・・ムービーモードのデフォルトｃ・・クリップモードのデフォルト図９は、以上の表示形態の例を示したものである。

【００２２】次に鑑賞の仕方例を図１０、図１１に示
す。ここで、図１０はムービーモードでの表示例を示し
たものであり、図１１はクリップモードでの表示例を示
したものである。図１０の例は、一連のビデオを見てい
る途中で、関心のある絵について詳細を調べるという鑑
賞の仕方例である。Ｖ２でこの絵に関して関心を持った
ので、表示途中でボタンｂ１００（この場合画面全体が
ボタンｂとなっている。以下、特に断りのないかぎり、
ボタンｂは画面全体であるものとする。）にカーソル１
０１を合わせマウスをクリックしてＰ２に遷移し、Ｐ２
でボタンｂ１０２にカーソル１０３を合わせマウスをク
リックしてＣ２に遷移し、Ｃ２でリターンｒ１０４にカ
ーソル１０５を合わせマウスをクリックしてＶ２に遷移
し、その後ＶＥを表示して終了するようすを示してい
る。

【００２３】図１１の例は、壁画展示画面の絵を選んで
それに関連したビデオ映像を見るという鑑賞の仕方例で
ある。Ｃ０でボタンｂ１１０にカーソル１１１を合わせ
マウスをクリックしてＧに遷移し、Ｇでボタンｂ３であ
る１１２（この場合は四角形）にカーソル１１３を合わ
せマウスをクリックしてＣ１へ遷移し、Ｃ１でボタンｂ
１１４にカーソル１１５を合わせマウスをクリックして
Ｐ１へ遷移し、Ｐ１でリターンｒ１１６にカーソル１１
７を合わせマウスをクリックしてＶ１へ遷移し、その後
Ｇを表示して入力待ちとなるようすを示している。その
他、ただビデオを見る、絵だけを順番に見る、など様々
な見方が可能である。

【００２４】本発明によれば、鑑賞のプロセスを表示、
一覧し、それにマクロ定義したり、編集を加えたりしな
がら、鑑賞の目的や鑑賞者にあった鑑賞方法を作成する
ことができる。また、目的に応じた鑑賞方法を自由に選
択することができるので、いろいろな角度からの見方が
可能になり、絵に対して新たな発見も得られるであろ
う。

【００２５】

【発明の効果】第１及び第２の発明によれば、時間関係
や、ユーザとシステムとの対話に関係した処理過程、コ
マンドによって引き起こされた状態遷移などがディスプ
レイデータ付きで一覧できるので、従来の操作履歴をテ
キスト表示させるだけの手法よりも、実行内容および操
作過程を把握しやすい。

【００２６】第３の発明によれば、請求項１に記載され
た表示テーブル上で直接的に編集作業を行なえるので、
わかりやすく、また間違えも少なくなるので作業効率の
向上を望める。第４の発明によれば、ある目的を達成す
るために複雑な操作を要していたものが簡単な方法（マ
クロコマンドの実行）ですむようになり、マン・マシン
インタフェースが向上する。また、他人の定義したマク
ロを利用したり、改善利用したりできることから、ある
目的を達成するための手段という資源の有効利用につな
がる。このことはまた、作業効率の向上にもつながる。

【図面の簡単な説明】

【図１】実施例１のはがきに絵や文字を印刷するための
アプリケーションにおける編集作業の画面表示の例を示
した図である。

【図２】実施例１のはがきに絵や文字を印刷するための
アプリケーションにおける編集作業の画面表示の例を示
した図である。

【図３】実施例１のはがきに絵や文字を印刷するための
アプリケーションにおける編集作業の画面表示の例を示
した図である。

【図４】実施例１のはがきに絵や文字を印刷するための
アプリケーションにおける編集作業の画面表示の例を示
した図である。

【図５】実施例１のはがきに絵や文字を印刷するための
アプリケーションにおける編集作業の画面表示の例を示
した図である。

【図６】本発明を実施例１のはがきに絵や文字を印刷す
るためのアプリケーションに組み込んだ際の機能構成図
である。

【図７】ボタンｂおよびリターンｒおよびカーソルの画
面上における表示形状を示した図である。

【図８】ボタンｂおよびリターンｒにカーソルを合わせ
るようすを示した図である。

【図９】実施例２の説明に用いる用語に対応した絵であ
る。

【図１０】実施例２のムービーモードにおける遷移状態
例を示した図である。

【図１１】実施例２のクリップモードにおける遷移状態
例を示した図である。

【符号の説明】

１ディスプレイファイル２ステイトファイル３コマンドファイル

Claims

【特許請求の範囲】

【請求項１】ある一連の操作及び処理履歴を、実施コ
マンド列をテキスト表現したコマンドファイルと、シス
テムの内部状態の履歴をテキスト表現したステイトファ
イルと、一連の処理及び操作の過程（状態遷移）をビデ
オインデックス表現、もしくは抜き取り静止画像表現し
たディスプレイファイルとの３つの情報形態で演出表現
する表示手段とを備えたことを特徴とする情報処理装
置。
【請求項２】請求項１記載の情報処理装置において、
前記コマンドファイル及び前記ステイトファイル及び前
記ディスプレイファイルの３つのファイルを共通の時間
軸上に配置表示する表示手段を備えたことを特徴とする
情報処理装置。
【請求項３】請求項１記載の情報処理装置において、
前記コマンドファイル及び前記ステイトファイル及び前
記ディスプレイファイルの３つのファイルに対してグラ
フィック・ユーザ・インタフェースを用いて編集操作を
可能にする編集手段を備えたことを特徴とする情報処理
装置。
【請求項４】請求項１記載の情報処理装置において、
前記コマンドファイル及び前記ステイトファイル及び前
記ディスプレイファイルの３つのファイルを対応する時
間軸上に表示した操作履歴テーブル上で、任意の時間範
囲の処理群をそのユーザ固有のマクロとして定義できる
手段を備えたことを特徴とする情報処理装置。
【請求項５】請求項１記載の情報処理装置において、
操作及び処理対象が、はがきに印刷する絵や文字データ
であることを特徴とする情報処理装置。
【請求項６】請求項１記載の情報処理装置において、
操作及び処理対象が、光ディスクに記録された情報であ
ることを特徴とする情報処理装置。