JP3366313B2 - プログラム動作状況表示方法およびシステム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、プログラムの動作状況
を表示する表示技術に関する。

【０００２】

【従来の技術】近年、オブジェクト指向と呼ばれる計算
モデルが広く用いられるようになっている。計算モデル
とは計算を行うにあたっての基本となる考え方、とらえ
方のことであり、計算機などでこのモデルを実現する場
合にはデータ構造とデータの受渡し、データを変換する
手続きをいつ、どのようなタイミングで行うかというこ
とを規定するものである。

【０００３】オブジェクト指向計算モデルで用いる用語
を以下に説明する。

【０００４】（ａ）オブジェクト これはデータ構造と手続きの組である。データ構造とし
て、（ｂ）のスロットを、手続きとして（ｂ）メソッド
をもつ。

【０００５】（ｂ）スロット オブジェクトのもつデータ構造の名前。たとえば整数オ
ブジェクトなら整数値スロットを、文書オブジェクトな
ら文書スロットをもつ。

【０００６】（ｃ）スロット値 オブジェクトのスロットに実際に保持するデータ。

【０００７】（ｄ）メソッド オブジェクトに定義されている手続き。スロットに対す
る操作だけを許すことにより、プログラムのモジュール
性を保証する。

【０００８】（ｅ）オブジェクトインスタンス オブジェクトは概念的に扱われ、実際に記憶装置上に配
置されることはない。スロット値を実際にもつオブジェ
クトをオブジェクトインスタンスと呼ぶ。

【０００９】（ｆ）メッセージ メソッド実行のためのコマンド。引数とメソッド名から
構成されるが、引数をオブジェクトインスタンスに限定
することによって、プログラムのモジュール性を保証す
る。

【００１０】オブジェクト指向計算モデルは、計算をオ
ブジェクトインスタンス間のメッセージのやり取りによ
ってのみ許す計算モデルである。計算の結果はオブジェ
クトインスタンスのスロット値の変化として表れる。例
えば、整数オブジェクトは、スロットとして整数値スロ
ットを持ち、またメソッドとして加算メソッド等を持
つ。具体的な値３をもつ整数オブジェクトインスタンス
Ａを設計するには、そのスロット値を３にする。この整
数オブジェクトインスタンスＡに対して４を加えたいと
きには、別に整数オブジェクトインスタンスＢを用意し
て、このＢの整数値スロットの値を４として、Ａに対し
て、「Ｂ 加算」というメッセージを送る。この結果、
Ａの整数値スロットの値は７になり、望む結果が得られ
たことになる。ただし、整数のような簡単な状態量に対
してまですべてオブジェクトインスタンスを生成するの
は煩雑であるということから、簡単な状態量はアトムと
呼び、それが引数として用いられる場合にはその値をそ
のまま他のオブジェクトインスタントに与えることを許
す。たとえば、上の例ではＡにたいして「４ 加算」と
いう略式メッセージをＡに送る。

【００１１】この計算モデルを用いることによって、デ
ータと手続きとが同じところに格納されるため、モジュ
ール性に富んだ、判り易いプログラムを作成することが
できる。

【００１２】例えば、ディスプレイ装置上にオブジェク
トインスタンスを表すアイコンを表示し、操作者はこれ
にマウスなどをもちいてメッセージを送りこのオブジェ
クトインスタンスの状態量を変換させることや、さらに
このアイコンを移動、変形させるようなことが広く行わ
れている。例えば、あるアイコンをマウスで指示するこ
とによって対応するオブジェクトインスタンスを指示
し、引き続いて入力される「（移動量） 移動せよ」を
このオブジェクトインスタンスに対するメッセージと解
釈して、それを実行し、このアイコンを移動させるもの
である。この移動の結果、オブジェクトインスタンス内
の、その位置を表すスロットの値が変化する。

【００１３】また、操作者の入力をメッセージとして受
け取ってこれを実行するだけではなく、アイコンを用い
てプログラミングすることが行われている。すなわち、
オブジェクトインスタンスをアイコンとしてディスプレ
イ上に表示し、これにユーザから操作して、プログラム
を生成する。これは、プログラミング・バイ・イグザン
プル（Ｐｒｏｇｒａｍｍｉｎｇ ｂｙ Ｅｘａｍｐｌ
ｅ：ＰＢＥ）と呼ばれるもので、さまざまな計算資源で
ある、ファイルだとかアプリケーションプログラムなど
のオブジェクトインスタンスをアイコンにしてディスプ
レイ装置上に表示し、これらのアイコンをマウスなどを
用いて操作者に操作させ、システムがこの操作を解釈
し、この操作で指示されたオブジェクトインスタンスに
たいしてこの操作を実行し、同時にその操作を表わすコ
マンドを生成する。このように、操作、実行、コマンド
生成を繰り返すことにより所望のプログラムが得られ
る。オブジェクトインスタンスは具体的な値（例）を持
つものであるが、これに対する操作をシステムが解釈し
てより一般的なオブジェクトに対するプログラムを生成
することが特徴である。生成されたプログラムはプログ
ラム作成時にユーザが操作した例と異なる例に適用でき
る。これは、オブジェクトインスタンスに対して、この
例に対する操作解釈をそのオブジェクトに属するものす
べてに適用可能な形に変換されているためである。ま
た、具体例を用いてプログラミングするため、通常のプ
ログラミングのようにプログラマが問題を一般化する必
要がなく、プログラミングの労力が軽減される。

【００１４】ＰＢＥの一例として、プログラムの起動を
管理するプログラムに対応させて、エージェントと呼ば
れる人物をオブジェクトインスタンスとして定義してこ
れをディスプレイ装置上にアイコンとして表示し、これ
に対して指示を送ってプログラムの実行を依頼するイン
ターフェースを持ったシステムが、日経コンピュータ”
別冊ソフトウェア・マルチメディア時代のユーザ・イン
ターフェース”ｐｐ．１６５−１７８（１９８９．７．
２８発行）に述べられている（以下、この技術を第１の
公知技術と呼ぶ）。このシステムは、ディスプレイ装置
上にエージェントと呼ばれる管理プログラムのオブジェ
クトインスタンスを表わす、人間の顔をもった二次元図
形からなるアイコンを表示し、ファイル、キャビネット
などを表すオブジェクトインスタンスをそれぞれ表わす
二次元図形からなるアイコンを表示し、操作者は表示さ
れたエージェントアイコンと表示されているその他のア
イコンに対して、マウスやキーボードを用いて指示す
る。エージェントは、ユーザからの入力を解釈して、適
当なプログラムを選択してこれを実行する。このシステ
ムのＰＢＥの機能としては、ユーザからの入力を解釈し
た結果を依頼を受けたエージェントアイコンにくくりつ
けて記憶して、入力例をプログラムとして生成すること
である。

【００１５】オブジェクトあるいはメソッドという概念
を用いていないが、アイコンを用いてプログラム作成の
容易化を図る技術として、情報処理学会第３０回プログ
ラミング・シンポジウム報告集、ｐｐ．９−１７（１９
８９年１月）で発明者らが述べているプログラム生成シ
ステム（以下第２の公知技術と呼ぶ）がある。ここで
は、ディスプレイ装置上に、数値データや配列データな
どのデータの例をアイコンとして表示し入力すべきコマ
ンドの処理対象を指定するのに、それに対応するアイコ
ンを画面上で選択するようになっている。また、プログ
ラム作成時に入力したコマンドをその例データに対して
実行し、結果を操作者に通知するようになっている。ま
た、その結果によっては表示したアイコンを複数の領域
に分けるようになっている。このように、プログラムの
実行状態を表示することにより、作成中のプログラムの
現在の実行状況を正確に、判り易く操作者に通知するこ
とができる。

【００１６】また、このシステムでは、作成中のプログ
ラムの実行が失敗である場合には、別のコマンド列から
なるプログラムを作成可能になっている。

【００１７】また、アイ・イー・イー・イー・ワークシ
ョップ・オン・ビジュアルランゲージ（ＩＥＥＥ Ｗｏ
ｒｋｓｈｏｐ ｏｎ Ｖｉｓｕａｌ Ｌａｎｇｕａｇ
ｅ）、ｐｐ．８０−８５ １９８９（以下第３の従来技
術と呼ぶ）には次の技術がある。

【００１８】処理対象の例としてハノイの塔を構成する
円板を表示し、これをアイコンのように用いて、第２の
公知技術と同様な方法でプログラムを作成する技術が表
示されている。ここでは、プログラム作成時にその一部
のコマンドとして、円板を移動させるコマンドが入力
し、これを実行するようにしている。しかも、この移動
を動画として行うようになっている。これにより、プロ
グラムの実行状態がより分かりやすくなっている。

【００１９】

【発明が解決しようとする課題】第２および第３の公知
技術では、処理対象に対応するアイコンの表示をプログ
ラムで変化させることにより、プログラムが処理してい
ることを操作者に知らせている。しかし、指示により変
化したプログラムの動作状況を表示できないため、プロ
グラムの動作状況が分かりにくいという課題があった。

【００２０】したがって、本発明の目的は、プログラム
の動作状況が分かり易いプログラムの動作状況を表示す
るプログラム動作状況表示方法および装置を提供するこ
とにある。

【００２１】

【００２２】

【課題を解決するための手段】上記課題を改善するため
に本発明では、電子秘書を表す電子秘書アイコンを前記
表示手段に表示し、前記電子秘書に対する指示に応答し
て、所定の処理手順を実行し、前記電子秘書アイコンに
おける表示位置の変化の有無に関らず、前記処理手順の
進捗状況に応じて、設定された手順に基づいて前記電子
秘書アイコンの表示態様を変化させるようにする。

【００２３】

【作用】本発明の原理について説明する。電子秘書を表
す電子秘書アイコンを表示手段に表示する。前記電子秘
書に対する指示に応答して、所定の処理手順を実行す
る。前記電子秘書アイコンにおける表示位置の変化の有
無に関らず、前記処理手順の進捗状況に応じて、設定さ
れた手順に基づいて前記電子秘書アイコンの表示態様を
変化させるようにする。このようにすることにより、指
示により変化したプログラムの動作状況を表示できるた
め、プログラムの動作状況が分かり易くなる。

【００２４】

【００２５】

【実施例】Ａ． 概要 第１図は本発明の実施例によるプログラム生成システム
構成を示す図である。この図で示すようにシステムはデ
ィスプレイ装置１０１と、マウス１０９、キーボード１
１０および音声入力装置１１１の３つの入力装置と、プ
ログラム作成用プログラム１０を格納した主記憶装置１
１２と、補助記憶装置１１３と、ＣＰＵ１１４と、大型
汎用計算機１１６や電話回線１１７と接続するためのネ
ットワーク装置１１５と、音声出力装置１１８とから構
成されている。

【００２６】ディスプレイ装置１０１の表示画面は図に
示すように画面領域１０２〜１０７からなる。

【００２７】オブジェクト表示画面１０２には、オフィ
ス空間内のいろいろの備品、たとえば電話３１０４、机
３１０５、端末３１０６およびそこに立っている秘書を
表わす人物３１０２をある点ににある、仮想的なＴＶカ
メラ（図示せず）から見たときの３次元図形があらかじ
め表示される。本実施例では、これらの図形のそれぞれ
に対してオブジェクト指向計算モデルに言う所のオブジ
ェクトが定義される。これらの図形は、それぞれ対応す
るオブジェクトのアイコンとして利用される。これらの
アイコンを利用して所望のプログラムが人物３１０２に
対するメソッドとして作成される。作成したプログラム
の後の実行時に、その実行状態を操作者に分からせるた
めに、本実施例では人物３１０２にプログラムの実行状
況に対応した動作をプログラム作成時にさせる。この動
作を指示するコマンドを作成すべきプログラムの一部と
して入力する。後述するように、この人物３１０２を動
かしながらプログラミングがなされる。モーション・コ
ントロール画面１０３には、この動きを指示するための
スライダ２１７〜２２２が表示される。

【００２８】ビユーコントローラ画面１０４には、オフ
ィス空間を見る視野を変化させるために、上記仮想的な
ＶＴカメラの位置あるいは姿勢を制御するためのスライ
ダ２３０〜２３５が表示される。メソッドプログラミン
グ画面１０５には作成すべきプログラムを構成するため
に入力されたコマンド等を表示する。プログラムコント
ロール画面１０６には、操作者により入力されたコマン
ドの実行あるいは記憶など制御するためのメニュー等が
表示される。端末画面１０７には、入力装置１０９〜１
１１、ディスプレイ装置１０１からなる端末の状態を操
作者に知らせる制御情報が表示される。オブジェクトモ
デリング画面１０８には、オブジェクト表示画面に表示
されたいろいろのアイコンの内、操作者が選択したアイ
コンにて表わされるオブジェクトに関する情報が表示さ
れる。２０１は、表示画面に示されたマウスカーソルを
示す。

【００２９】第２図において、１１９，１２０，１２６
〜１３６，１４０〜４１３は、あらかじめ準備されたプ
ログラム作成用プログラム１０のいろいろのモジュール
を示す。このプログラム作成用プログラム１０がユーザ
入力を解読してコマンドを作成するとともに、これらの
コマンドを実行するようになっている。

【００３０】このプログラム作成用プログラム１０のた
めに次の３つのデータベースが主記憶装置１１２中にあ
らかじめ格納されている。

【００３１】（１）各オブジェクトの情報すなわち、オ
ブジェクトインスタンスを格納するオブジェクトインス
タンスライブラリ１２４。各オブジェクトインスタンス
は、各オブジェクトの構造データ、オブジェクトスロッ
ト、オブジェクトメソッドからなる。その一例は第３Ａ
〜３Ｃ図に示されている。

【００３２】（２）各オブジェクトを表わす３次元アイ
コンの図形データの集合である３次元形状データベース
１２３。図形データの一例は第４図に示されている。

【００３３】（３）音声入力装置１１１からの音声認識
に用いる候補音声データベース１２５。このデータの例
は第５図に示されている。

【００３４】これらのデータは元々は補助記憶１１３中
に格納されているが、プログラム作成用プログラムが必
要とするときに適宜主記憶装置１１２中に置かれる。

【００３５】以下、本プログラム作成用プログラム１０
の処理の概要を述べる。

【００３６】（１）マウス１０９、キーボード１１０、
音声入力装置１１１、の３つの入力装置からのユーザ入
力情報を処理１１９，１２６，１２７，１４０〜１４３
により解釈してコマンドを作成し、コマンドバッファ１
２０に格納し、これをコマンド待ち行列スタック１２２
のトップにあるコマンド待ち行列１２１に加える。以上
の処理は第２図の処理１１９，１２６，１２７，１４０
−１４３により行なわれる。コマンドとしては人物アイ
コン３１０２等に所望の動作させるコマンドも入力され
る。このときは、モーションコントロール画面１０３内
のいろいろのスライダーが操作される。

【００３７】（２）オブジェクトメソッド実行処理１３
５では、コマンド待ち行列１２１からコマンドを取り出
して、３次元形状データベース１２３と、オブジェクト
インスタンスライブラリ１２４を参照して実行する。つ
まり、この取り出されたコマンドが、指定するオブジェ
クトインスタンスの属するオブジェクトのもつメソッド
が定義済みのものであれば、そのメソッドで指定される
適当なプログラムライブラリを実行する。そのコマンド
が例えば人物アイコン３１０２を動かすコマンドのとき
には適宜そのオブジェクトに対応する三次元アイコンの
表示を動画的に変える。これにより、ユーザは、プログ
ラム作成時に、どのコマンドが実行されたかを知ること
ができる。この動画表示時には、上記プログラム・ライ
ブラリにしたがい、適宜、そのオブジェクトに関する三
次元形状データベースを実行処理１３５が更新し、更新
結果に即座に応答してオブジェクト表示処理１２５がオ
ブジェクト表示画面１０２の表示をかえる。このように
して、コマンドの実行により３次元画像が動画表示され
るとともに、音声出力装置１１８によってコマンドの実
行にしたがって操作者に実行状況を知らせるための音声
も出力される。

【００３８】（３）コマンドが指定するオブジェクトの
もつメソッドの中にそのコマンドが要求するメソッドが
定義されていない場合には、新しいメソッドをオブジェ
クトメソッド実行処理１３５を利用して生成する。

【００３９】（４）コマンドを実行した結果、なんらか
の支障があったときには、コマンド失敗が報告される。
この場合には、実行したコマンドが指定するメソッド
の、再プログラミングが行わなわれる。これもオブジェ
クトメソッド実行処理１３５のを利用して行われる。

【００４０】このように、オブジェクトメソッド実行処
理１３５は状況によってさまざまの働きをするが、コマ
ンド待ち行列スタック１２２がこれを制御する働きをす
る。

【００４１】（５）オブジェクトインスタンスに対応す
る３次元形状アイコンは任意の時点でその位置、表示状
態を変更することができる。これはモーションコントロ
ール画面１０３上のスライダ２１７〜２２２のバリュエ
ータ（縦太線部分）をマウスで左右に移動して行われ
る。変更の結果はプログラミングの途中では命令として
作成中のプログラム中には蓄えられない。プログラムコ
ントロール画面１０６中の「記憶」ボタン２１６をマウ
スで選択すると、その変更に到るまでの動作又は位置の
変化を再現するコマンド列を生成し、これを作成中のプ
ログラム中に記憶する。

【００４２】（６）（５）と同様にして、３次元形状を
持つアイコンをオブジェクト表示画面１０２上に投影す
る状態を任意の時点で変更することができる。また
（５）と同様に記憶ボタン２１６をマウスで選択するこ
とによって、その状態を再現するコマンドを生成し、プ
ログラム中に記憶する。

【００４３】以上のように、本実施例では、プログラム
作成中にこのプログラムを割り当てる人物アイコン３１
０２に所要の動きをさせるコマンドを作成すべきプログ
ラムに属するコマンドの一部として入力することに一つ
の特徴がある。さらにプログラム作成時に、これを実行
し、プログラミング的に操作者に、入力したコマンドの
実行状態を知らせる。さらに、本実施例では、この人物
アイコンを含み、アイコンとして３次元図形をそのまま
利用している。本実施例の他の特徴は以下の詳細説明に
て説明する。

【００４４】Ｂ． システムの構成要素 以下に、本実施例のシステムの処理の詳細を述べる前に
各構成要素の詳細を述べる。

【００４５】Ｂ．１ データベース １． ３次元形状データベース１２３（第４図） 本実施例では、オフィス空間内に配置された人物、電話
器、机等を表わす三次元図形をその空間内に配置された
カメラから見たときの図形を表示画面上に表示し、この
表示された図形をそれぞれ対応するオブジェクトを表す
ためのアイコンとして用いる。

【００４６】３次元形状データベース１２３はこのよう
な３次元図形のデータを記憶している。各３次元図形の
データは、第４図に例示されるように、各三次元図形を
構成する複数の多面体のそれぞれの種別と位置、それぞ
れ多面の色、光沢などの属性と、変換行列から構成され
る。第４図には、第３Ｂ図に示した電話オブジェクトイ
ンスタンス２７５０の下位要素である受話器（receiv
e）オブジェクトインスタンス２７５４の３次元図形デ
ータ２７９９の一部を示す。

【００４７】ここでは８面体と、その頂点座標、色、光
沢、その位置、方向を表わしている。

【００４８】２． オブジェクトインスタンスライブラ
リ１２４（第３Ａ〜３Ｃ図） オブジェクトインスタンスライブラリ１２４は、いろい
ろのオブジェクトの情報（オブジェクトインスタン
ス）、たとえばオブジェクト構造データオブジェクトス
ロット、オブジェクトメソッドを保持する。第３Ａ〜３
Ｃ図にそれぞれ人物、電話、カメラに対応するオブジェ
クトインスタンスの具体例を示す。ここではオブジェク
トインスタンスライブラリ１２４に登録されている第３
Ａ図の人物オブジェクト２７０１を例にとって説明す
る。

【００４９】スロット２７１１は人物オブジェクトの持
つ属性の名前であり、スロット値を持つ。スロット２７
１１はそれぞれの属性の名前と、その属性に関するデー
タ型を指定する。第３Ａ図の例では、人物オブジェクト
インスタンス２７０１のスロット２７１１には位置２７
２０と方向２７２１と名前２７２２という３つの属性の
名前があり、それぞれに関するデータの型がベクトル、
ベクトル、文字列という型のデータが格納されることを
示している。

【００５０】オブジェクトメソッドはオブジェクト固有
の手続きであり、ここではその名前と名前に対応する複
数のコマンド列と、引数オブジェクトの組である。実行
時のメソッド呼出しは定義順に行われる。第３Ａ図の例
では、ｃａｌｌメソッド ２７１２、ｇｏｔｏメソッド
２７１３、ｔｅｌ＿ｔａｋｅメソッド、２７１４、ｃ
ｏｎｎｅｃｔ（１）メソッド ２７１５、ｃｏｎｎｅｃ
ｔ（２）メソッド ２７１６が定義されている。ここで
ｃｏｎｎｅｃｔメソッドは２つの定義があるが、その定
義順を表すために順序付けが行われている。

【００５１】本実施例ではオブジェクトは要素を木構造
で構成された要素を有する。それぞれの要素もまたオブ
ジェクトである。オブジェクトインスタンスについても
同じである。第３Ａ図でオブジェクト構造データ２７０
２から分かるように、人物オブジェクトインスタンス２
７０３は、身体（ｂｏｄｙ）オブジェクトインスタンス
２７０４を下位要素としてもつ。身体（ｂｏｄｙ）オブ
ジェクトインスタンス２７０４は右上腕（ｒｕａｒｍ）
オブジェクトインスタンス２７０８、左上腕（ｌｕａｒ
ｍ）オブジェクトインスタンス２７０５、などを下位要
素として持つ。このなかでｒｕａｒｍオブジェクトイン
スタンス２７０８はｒｌａｒｍオブジェクトインスタン
ス２７０９を下位要素として持ち、ｒｌａｒｍオブジェ
クトインスタンス２７０９はｒｈａｎｄオブジェクトイ
ンスタンス２７１０を下位要素として持つ。要素のオブ
ジェクトインスタンスの具体例は簡単化のために図示お
よび詳細説明を省略してある。

【００５２】本実施例では各要素は３次元形状を持って
いる。３次元形状は３次元形状データベース１２３（第
２図）に格納されている。また、各要素のオブジェクト
インスタンス（図示せず）にはその要素の属性として、
移動可能属性と回転可能属性が保持される。第３Ａ図の
例では、移動可能属性を持つ要素には（＋）を、回転可
能属性を持つ要素には（＊）を記してある。このことは
他の図、たとえば第３Ｂ，３Ｃ図でも同様である。

【００５３】要素の属性の移動可能属性、回転可能属性
が移動不可能あるいは回転不可能になっている場合に
は、それぞれ移動、回転できない。第３Ａ図の例では、
人物オブジェクトインスタンス２７０３の下位要素はす
べて移動可能属性が不可能である。このことにより、人
間の各関節は回転だけが可能で、移動はできないという
自然な状態を実現している。

【００５４】特殊なオブジェクトに対するインスタンス
としてカメラオブジェクトインスタンス２７８０（第３
Ｃ図）がある。カメラオブジェクトインスタンス２７８
０はそのスロット２７９０としてカメラ位置である位置
２７９１、カメラの視野の水平方向を示す横方向方向２
７９２、カメラの視野の垂直方向を示す上方向２７９３
という３つの属性それぞれにベクトル型のデータを格納
する。また、このオブジェクトインスタンスはメソッド
２７９５を組み込みメソッドとして持つ。このメソッド
は３次元形状データベース１２３内のいろいろの三次元
図形のデータをオブジェクト表示画面１０２（第１図）
上の座標系のデータに変換し、シェーディング、レンダ
リングを行い、得られた図形をオブジェクト表示画面１
０２に表示する。

【００５５】なお、オブジェクト表示処理１３６（第２
図）はこのメソッドを３次元形状データベース１２３ま
たは、オブジェクトインスタンスライブラリ１２４が更
新された場合や、そのほかの画面表示要求があった場合
に実行されるようになっている。

【００５６】オブジェクトインスタンスライブラリ１２
４はオブジェクトインスタンスが生成又は、削除された
ときに修正されるようになっている。

【００５７】３．候補音声データベース１２５（第５
図） 候補音声データベース１２５は、音声入力装置１１１か
ら入力された音声の認識を行うときに用いる、第５図に
示す候補音声データ５０１を複数格納するデータベース
である。ここで候補音声データ５０１は、音声データ５
０２、データ種類５０３、文字列５０４の各領域から構
成されている。音声データ５０２は音声入力をそのまま
記憶したものであり、データ種類５０３は候補音声デー
タの種類を表すものであり、文字列５０４は音声認識の
結果、出力される文字列である。ここで、データ種類５
０３は、オブジェクトインスタンス、オブジェクトメソ
ッド、組み込み命令コード、プログラムコメントのいず
れかを表す。

【００５８】はじめから登録されている候補音声データ
には次のものがある。

【００５９】（１）後述する組み込み命令（第３図）に
関する候補音声データ。このデータ種類は組込命令コー
ドである。

【００６０】（２）カメラオブジェクトインスタンスな
ど、組込オブジェクトインスタンスとして始めから定義
されているオブジェクトインスタンスに関連する候補音
声データ。これらのデータ種類は、オブジェクトインス
タンスである。

【００６１】（３）操作者の「実行」という音声入力に
対応する候補音声データ。この候補音声データのデータ
種類はプログラムコントロール、文字列は”ｅｘｅｃｕ
ｔｅ”である。

【００６２】（４）操作者の「記憶」という音声入力に
対応する候補音声データ。この候補音声データのデータ
種類はプログラムコントロール、文字列は”ｒｅｃｏｒ
ｄ”である。

【００６３】Ｂ．２ 処理 以下、第２図に示す本システム内でのいろいろのプログ
ラムによる処理について述べる。

【００６４】１．入力処理 システムに対する入力は、キーボード１０９、マウス１
１０、音声入力装置１１１を用いて行われる。

【００６５】１．１ イベントデータ（第６図） 後述するように、システムに対する入力に応答して音声
イベント発生処理１４３、マウスイベント発生処理１４
０とキーボードイベント発生処理１４１がイベントデー
タを生成するようになっている。

【００６６】イベントデータ４０１は、第６図に示すよ
うにイベント種類領域４０２と付加情報領域４０３から
構成されている。ここでイベント種類４０２は、モーシ
ョンコントロール、ビューコントロール、オブジェクト
選択、プログラムコントロール、命令入力、オブジェク
トモデリング又はキーボードのいずれかである。付加情
報４０３はイベント種類によって異なる。イベント種類
がオブジェクト選択、命令入力、キーボードのいずれか
であるとき、そのイベントデータは作成すべきプログラ
ムを構成するコマンド又はその一部を構成するのに用い
られる。その他の種類のイベントデータは、コマンド生
成に直接関係しない。

【００６７】１．２ 音声処理 １．２．１ 音声入力 音声入力装置１１１からは、操作者は、作成すべきプロ
グラムに実行させたい処理を人物アイコン３１０２へ指
示するかのように音声で入力する。たとえば、「電話を
とって」を入力する。この音声入力処理では、この入力
音声を認識し、必要な一つ又は複数のイベントデータが
生成される。音声入力装置１１１から処理を指示する音
声だけでなく、作成されたコマンドの実行に関連する入
力、たとえば「実行」なども入力可能である。但し、い
ずれの種類の音声であっても、あらかじめ登録された表
現である必要がある。

【００６８】１．２．２ 音声認識処理１４２（第７Ａ
図） 音声認識処理１４２では第６図に示すように音声入力装
置１１１から送られてきた入力音声の異なる部分の各々
と、候補音声データベース１２５のすべての候補音声デ
ータ５０１（第５図）の音声データ５０３とを比較し、
それぞれの音声部分に最も似通った候補音声データを抽
出しステップ６０１、それぞれの音声部分に対して音声
イベント発生処理１４３（第２図）を起動する（ステッ
プ６０３）。似通った候補音声が存在しない場合には
（ステップ６０２）、何も出力しない。

【００６９】１．２．３ 音声イベント発生処理１４３
（第７Ｂ図） 第７Ｂ図に示すように音声認識処理１４２で抽出された
候補音声データ内のデータ種類領域を調べて（ステップ
７０１，７０３、７０５、７０７）その種類に依存して
特定のイベント種類のイベントデータを生成し（ステッ
プ７０２、７０４、７０６、７０８）、入力イベント処
理１２６（第２図）を起動する（ステップ７０９）。

【００７０】生成されるイベントデータは次のとおりで
ある。なお、生成されるイベントデータ生成時に、その
付加情報４０３には、抽出された候補音声データ５０１
の文字列領域５０４をそのまま用いる。

【００７１】たとえば、入力音声「電話をとって」の
「電話」のごとく、処理対象を表わす音声部分に対して
抽出された候補音声データのデータ種類はオブジェクト
インスタンスとなる。その場合（ステップ７０１）、イ
ベント種類がオブジェクト選択であるイベントデータを
生成する（ステップ７０２）。

【００７２】たとえば、入力音声「電話をとって」の
「とって」のごとく、処理内容を表わす音声部分に対し
て抽出された候補音声データのデータ種類はオブジェク
トメソッドとなる。この場合（ステップ７０３）、イベ
ント種類が命令入力であるイベントデータを発生する
（ステップ７０４）。

【００７３】入力音声中の、組み込み命令（後述）を表
わす部分に対して抽出された候補音声データのデータ種
類は組み込み命令コードとなる。この場合（ステップ７
０５）、イベント種類が命令入力であるイベントデータ
を生成する（ステップ７０６）。

【００７４】以上の３つのイベントデータは、それぞれ
生成すべきコマンドの処理対象又は引数としてのオブジ
ェクトインスタンス又はオブジェクトメソッドあるいは
そのコマンドの命令コードを、操作者が音声で入力する
ときに生成される。

【００７５】たとえば、入力音声「記憶」あるいは「実
行」に対して抽出される候補音声データのデータ種類は
プログラムコントロールとなる。この場合（ステップ７
０７）、イベント種類がプログラムコントロールである
イベントデータを生成する（ステップ７０８）。

【００７６】入力音声「実行」に対するイベントデータ
は、直前に生成されたコマンドの実行を指示するがコマ
ンドの生成には用いられない。「記憶」はコマンドの生
成に用いられる。

【００７７】１．３ マウス入力とマウスイベント発生
処理１４０（第８Ａ図） 第１図のディスプレイ装置１０１内の表示画面１０２〜
１０４、１０６，１０８のいずれかにマウスカーソル２
０１を置くことにより、画面を用いた入力可能となる。

【００７８】マウスイベント発生処理はマウスによるイ
ベント発生処理の総称であり、以下に述べるオブジェク
ト選択イベント発生処理３０４、モーションイベント発
生処理３０５、ビューイベント発生処理３０６、プログ
ラムコントロールイベント発生処理３０７、オブジェク
トモデリングイベント発生処理３０８からなる。これら
の処理３０４〜３０８は第８Ａ図に示すとおり、それぞ
れ、表示画面１０２，１０３，１０４，１０６，１０８
にマウスカーソル２０１があるときに起動される。

【００７９】なお、オブジェクト選択イベントデータ発
生処理３０４で発生されたイベントデータはコマンドの
生成に用いられるが、他の処理３０５，３０６，３０８
により生成されるイベントデータは、コマンドの生成に
は用いられない。処理３０７によるイベントデータはコ
マンド生成に用いられるものとそでないものがある。

【００８０】１．３．１ オブジェクト選択イベント処
理３０４（第８Ｂ図） この処理は、生成すべきコマンドの処理対象又は引数と
して用いるオブジェクトインステンスを操作者がマウス
で入力するときに実行される。すなわち、操作者は入力
したいオブジェクトインスタンスを表わす、オブジェク
ト表示画面１０２内のアイコン上にマウスカーソル２０
１を移動してマウスボタン（図示せず）を押す。このマ
ウス操作に応答して、オブジェクト選択イベント、処理
３０４が起動される。第８Ｂ図に示すように、まず、３
次元形状データベース１２３を参照してこのマウス操作
により選択されたオブジェクトインスタンスを認識して
（ステップ８０１）、イベント種類にオブジェクト選
択、付加情報として選択されたオブジェクトインスタン
スを表す文字列を格納したイベントデータを生成する
（ステップ８０２）。選択されたオブジェクトインスタ
ンスが別のオブジェクトインスタンスの構成要素である
場合には、この付加情報として、上位オブジェクトイン
スタンスの名前から選択されたオブジェクトインスタン
スの名前までをピリオド（．）で区切ってつなげた文字
列を格納する。そして、入力イベント処理１２６（第２
図）を起動する（ステップ８０３）。

【００８１】１．３．２ モーションイベント発生処理
３０５（第８Ｃ図） この処理はオブジェクト表示画面１０２内のアイコンの
移動（あるいは回転）を操作者がモーションコントロー
ル画面１０３を用いて指示するとときに起動される。す
なわち、第１図に示すようにモーションコントロール画
面１０３には６つのバリュエータ２１７〜２２２が表示
されている。このうちのどれかのバリュエータがマウス
１０９によって操作された場合に、第８Ｃ図に示すよう
に、イベント種類にモーションコントロール、付加情報
に操作されたバリュエータの名称とバリュエータのスラ
イダの支持ガイド上の目盛の値（すなわち、移動量又は
回転量）を格納したイベントデータを生成する（ステッ
プ９０１）。そして、入力イベント処理１２６（第２
図）を起動する（ステップ９０２）。なお、このバリエ
ータ操作の前には、オブジェクト表示画像１０２に対し
てオブジェクト選択がなされなければならない。

【００８２】１．３．３ ビューイベント発生処理３０
６（第８Ｄ図） この処理ではマウス入力にビューコントロール画面１０
４内の６つのバリエータ２３０〜２３５を用い、イベン
ト種類にビューコントロールを格納したイベントデータ
を生成すること以外、モーションイベント発生処理３０
５と同じ処理を行う（第８Ｄ図、ステップ１００１、１
００２）。

【００８３】１．３．４ プログラムコントロールイベ
ント発生処理３０７（第８Ｅ図） プログラムコントロール画面１０６内の「実行」ボタン
上２１５（第１図）にマウスカーソル２０１があるとき
にマウスボタン（図示せず）が押された場合には、第８
Ｅ図に示すように、イベント種類にプログラムコントロ
ール、付加情報に”execute”を格納したイベントデー
タを発生する。これは直前に完成されたコマンドの実行
を指示するのに用いられる。音声入力「実行」の場合と
同様である。同様に「記憶」ボタン２１６が押された場
合には、イベント種類にプログラムコントロール、付加
情報に”record”を格納したイベントデータを生成する
（ステップ１１０１）。そして、いずれの場合も入力イ
ベント処理１２６（第２図）を起動する（ステップ１１
０２）。「記憶」ボタン２１６は、オブジェクト画面１
０２に表示されるアイコンあるいはカメラ（図示せず）
を移動あるいは回転したあと、その移動あるいは回転を
実行するコマンドを生成するときに押される。音声入力
「記憶」も同様に用いられる。

【００８４】１．３．５ オブジェクトモデリングイベ
ント発生処理３０８（第８Ｆ図） 第８Ｆ図に示すように、オブジェクトモデリング画面１
０８でのマウス入力はイベント種類にオブジェクトモデ
リング、付加情報に入力情報を格納したイベントデータ
を生成する（ステップ１２０１）。そして、入力イベン
ト処理１２６（第２図）を起動する（１２０２）。ここ
に示したイベントデータは、オブジェクトインスタンス
の作成又は修性正に用いられるもので、コマンドの作成
には直接関係しない。

【００８５】１．４ キーボードイベント発生処理３０
９（第９図） キーボード１１０（第１図）による入力は一つのキー操
作ごとにキーボードイベント発生処理１４１に送られ
る。

【００８６】第９図に示すように、マウスカーソル２０
１がオブジェクトモデリング画面１０８にある場合には
（ステップ１３０１）、イベント種類にオブジェクトモ
デリング、付加情報にキーコードを格納したイベントデ
ータを生成する（ステップ１３０２）。

【００８７】マウスカーソル２０１がオブジェクトモデ
リング画面１０８になく、キーコードが改行コードを含
まない場合には（１３０３）、イベント種類にキーボー
ド、付加情報にキーコード又はキーコードを格納したイ
ベントデータを生成する（ステップ１３０４）。改行コ
ードが入力されない状態でのキー入力は、コマンド作成
に必要な情報の入力であるがコマンド作成のための最後
の入力でないことを示している。したがってこのイベン
トデータの付加情報は生成すべきコマンドの一部のデー
タとして利用される。

【００８８】マウスカーソル２０１がオブジェクトモデ
リング画面１０８になく、キーコードが改行コードを末
尾に含まない場合には（ステップ１３０３）、イベント
種類に命令入力、付加情報は空のイベントデータを生成
する（ステップ１３０５）。

【００８９】改行コードは、コマンド生成のために必要
な最後の情報すなわち、命令コードの入力が完了したこ
とを示すために操作者により入力される。したがってこ
のイベントデータは、それまでの入力データによりコマ
ンドを完成すべきことを指示する。

【００９０】そして、入力イベント処理を起動する（ス
テップ１３０６）。

【００９１】１．５ 入力イベント処理１２６ 入力イベント処理１２６は第２図に示すように音声イベ
ント発生処理１４３と、マウスイベント発生処理１４０
と、キーボードイベント発生処理１４１の各イベント発
生処理により起動されると、そこで生成されたイベント
データ４０１を入力イベント待ち行列１１９に加える。

【００９２】入力イベント待ち行列１１９は先入り先出
し待ち行列として実現してあり、入力イベント処理１２
６はイベントデータの格納を入力イベント待ち行列１１
９の最後から行う。一方、次に述べるイベントデータを
取り出すイベントディスパッチ処理１２７は、入力イベ
ント待ち行列１１９のはじめに格納されたイベントデー
タから取り出す。このことによって、入力データは損な
われることなく、発生順に処理される。

【００９３】２．入力イベントの解釈および処理 以上のようにして入力イベント待ち行列１１９に格納さ
れたイベントデータの各々はイベントディスパッチ処理
１２７により一つづつ解釈され、処理される。

【００９４】２．１ コマンド（第１０図） 作成するべきプログラムを構成するコマンド１７０１の
フォーマットは第１０図に示すような構成になってい
る。すなわち、それぞれ文字列からなる３つの部分から
なり、それぞれの部分は空白文字で区切られている。

【００９５】（１）はじめの部分１７０２は処理対称で
ある。これはオブジェクト指向モデルでいうところの指
示オブジェクトに相当する。ここには処理すべきオブジ
ェクトインスタンスの名称が格納される。このオブジェ
クトインスタンスは、オブジェクト自身のオブジェクト
インスタンスの名称か、そのオブジェクトインスタンス
のある構成要素の名称か、そのオブジェクトインスタン
スのスロットの名称か、あるいは処理対象は存在しない
かを示す文字列のいずれかが格納される。処理対象が存
在しない場合は、特殊な組み込みコマンドに限られる。

【００９６】ここでオブジェクトインスタンスの構成要
素名は、オブジェクトインスタンス名とその構成要素名
の間にピリオド（．）を置いたもので表現され、また、
オブジェクトインスタンスのスロット名は、オブジェク
トインスタンス名とスロット名の間にシャープ（＃）を
置いたもので表現される。このようにして、システム内
で一意に名前が与えられる。

【００９７】（２）次の部分１７０３は引数である。引
数１７０３は任意個の引数オブジェクトからなる。引数
オブジェクトの間は空白文字で区切られる。引数の個数
はメソッドによって異なる。引数オブジェクトは先に述
べたオブジェクトインスタンス、またはアトムかのいず
れかである。アトムは整数か浮動小数点数か文字列のい
ずれかである。

【００９８】（３）３つめの部分１７０４は命令コード
である。命令コード１７０４はオブジェクトインスタン
スのメソッド名か、組み込み命令コードかのいずれかで
ある。

【００９９】コマンドバッファ１２０はコマンド１７０
１の一時的格納場所であり、ここに後述するように一つ
又は複数のイベントデータ又はそれぞれの一つの一部が
前詰めで格納され、一つのコマンドが完成される。

【０１００】但し、コマンド作成に用いられるイベント
データは、イベント種類がオブジェクト選択、命令入力
あるいはキーボードのもののみである。

【０１０１】２．２ コマンド待ち行列１２１（第１１
図） 第１１図に示すように、コマンド待ち行列１２１はコマ
ンドバッファ１２０を用いて完成されたコマンドを複数
個、先入れ先出し待ち行列として保持するものである。
コマンド待ち行列１８０１にコマンドを加える場合に
は、最後に加えられたコマンドの次に加えられ、コマン
ド待ち行列１８０１からコマンドを取り出す場合には、
その中で一番はじめに加えられたコマンドを取り出す。

【０１０２】コマンド待ち行列１８０１はプログラムの
実行状況によって生成されたり、消去される。

【０１０３】２．３ コマンド待ち行列スタック１２２
（第１２図） 第１２図に示すように、コマンド待ち行列スタック１２
２には、コマンド待ち行列１２１を複数個格納するスタ
ックであり、システム内に１つだけ用意される。スタッ
クに対する操作にはプッシュとポップとがあり、プッシ
ュは一番最近プッシュされたコマンド待ち行列の後に新
たなコマンドを加えるものであり、ポップは一番最近に
プッシュされたコマンド待行列を取り出す。

【０１０４】また、スタックの底には初期コマンド待ち
行列１９０３が置かれる。

【０１０５】２．４ イベントディスパッチ処理１２７
（第１３図） イベントディスパッチ処理１２７は第１３図に示すよう
に、入力イベント待ち行列１１９（第２図）の先頭から
１つずつイベントデータをとりだし（ステップ１４０
１）、イベント種類によってそのイベントデータの処理
を以下のように選択する。なお、イベント待ち行列１１
９が空の場合には、何もしない。

【０１０６】イベント種類がキーボードなら（ステップ
１４０２）、このイベントデータは、キーボンドイベン
ト発生処理３０９について説明したように、コマンド作
成用のデータであるが作成のための最後のデータでな
い。つまり、このイベントデータの付加情報のキーコー
ドは、処理対策又は引数を表わしている。したがってこ
の付加情報のキーコードをコマンドバッファ１２０に格
納する（ステップ１４０３）。格納位置は、コマンドバ
ッファ１２０内のなるべく前方の空き領域。

【０１０７】一方、イベント種類がオブジェクト選択、
命令入力モーションコントロール、ビューコントロー
ル、、プログラムコントロール、オブジェクトモデリン
グであるなら（ステップ１４１０〜１４１５）それぞ
れ、オブジェクト選択処理１３０、命令入力処理１３１
モーションコントロール処理１２８、ビューコントロー
ル処理１２９、、プログラムコントロール処理１３２、
オブジェクトモデリング処理１３３を起動する（ステッ
プ１４０４−１４０９）。オブジェクト選択処理１３
０、命令入力処理１３１では後述するようにコマンドの
作成のために、イベントデータをコマンドバッファ１２
０に格納される。

【０１０８】なお、ステップ１４０３、あるいはステッ
プ１４１０−１４１５が終了すれば再び入力イベント待
ち行列１１９（第２図）の先頭のイベントの処理に戻
る。

【０１０９】２.５ オブジェクト選択処理１３０（第
１４図） イベントデイスパッチ処理１２７で解釈されたイベント
データのイベント種類がオブジェクト選択であるとき、
この処理１３０が起動される。このようなイベントデー
タは、既に述べたように、マウスを用いて、操作者がコ
マンドの処理対象又は引数に用いられるべきオブジェク
トインスタンス等を選択したときに生成される。

【０１１０】オブジェクト選択処理１３０では第１４図
に示すようにイベントディスパッチ処理１２７から送ら
れてくるイベントデータ内の付加情報（これは処理対象
又は引数を表わす）に引き続いて空白文字列をつけ加え
て、コマンドバッファ１２０内に前詰めで格納する（ス
テップ２００１）。

【０１１１】２.６ 命令入力処理１３１（第１５図） イベントディスパッチ処理１２７で解釈されたイベント
データのイベント種類が命令入力であるとき、この処理
１３１が起動される。このようなイベントデータは、既
に述べたように作成すべきコマンドに用いる情報の内の
最後の情報（すなわち、命令コード）の入力と同時ある
いはそれの入力後の入力により生成されるもので、音声
入力装置１１１あるいはキーボードからの操作者の入力
に応答して生成される。

【０１１２】命令入力処理１３１では第１５図に示すよ
うにイベントディスパッチ処理１２７から送られてくる
イベントデータの付加情報（この末尾は命令コードであ
る）をコマンドバッファ１２０内に前詰めでコマンドを
完成する（ステップ２１０１）。さらにこの完成された
コマンドをコマンド待ち行列スタック１２２のトップに
あるコマンド待ち行列の最後に加え（ステップ２１０
２）、コマンドバッファ１２０をクリアする（ステップ
２１０３）。

【０１１３】２.７ モーションコントロール処理１２
８（第１６図） この処理はイベントデイスパッチ処理１２７で解釈され
たイベントデータの種類がモーションコントロールのと
きに起動される。すでに述べたように、この種のイベン
トデータは、操作者がモーションコントロール画面１０
３内のバリュエータを操作し、オブジェクト表面画面１
０２内のアイコンを移動あるいは回転するときに起動さ
れる。既述のように、このバリュータ操作の前には、移
動又は変形するアイコンを指定するためのオブジェクト
選択がなされていなければならない。つまり、このオブ
ジェクト選択の結果としてコマンドバッファ３１２０内
の処理対象部に、モーションコントロールの対象となる
オブジェクトインスタンスの名称がすでに格納されてい
なければならない。

【０１１４】このモーションコントロール処理１２８で
は、この処理対称部により指定されたオブジェクトイン
スタンスに対するアイコンをイベントディスパッチ処理
１２７から与えられたイベントデータの付加情報に格納
してあるバリュエータ名と移動量あるいは回転角に従っ
て移動又は回転する。移動又は回転は３次元形状データ
ベース１２３内の図形データを修正することにより実現
される。

【０１１５】なお、コマンドバッファ１２０に処理対象
が格納されていない場合には、以下に示す処理は行なわ
ない。

【０１１６】より具体的には、第１６図に示すように、
このバリュエータ名がｘ方向移動２１７の場合には（ス
テップ１５０２）、処理対象のオブジェクトインスタン
ス属性をオブジェクトインスタンスライブラリ１２４か
ら調べ、”移動可能”であることを確認して（ステップ
１５０５）バリュエータの値に応じて処理対象で示され
るオブジェクトインスタンスに対応するアイコンをX方
向に移動させる（ステップ１５０６）。

【０１１７】ステップ１５０５において処理対象の属性
が移動可能でない場合でも、処理対象が何らかのオブジ
ェクトの構成要素の場合には、その構成要素の上位の要
素の属性をオブジェクトインスタンスライブラリ１２４
から調べてそれが移動可能なら、その上位の要素を移動
可能と判断しこれを移動させる。オブジェクトの上位構
成要素をたどっていっても移動可能なものがない場合は
何も処理を行わない。

【０１１８】バリュエータがｙ方向位移動２１８、ｚ方
向移動２１９の場合も、同様に処理する（ステップ１５
０３−１５０６）。

【０１１９】バリュエータ名がｘ軸周り回転２２０の場
合には、処理対象の属性を調べ（ステップ１５０
７）、”回転可能”であることを確認して（ステップ１
５１０）バリュエータの値に応じて処理対象をX 軸の周
りに回転させる（ステップ１５１１）。なお、ステップ
１５１０の判定において処理対象の属性が”回転可能”
でない場合でも、指示対象がオブジェクトの構成要素の
場合には、構成要素の上位の要素の属性を調べ、”回転
可能”なものがあれば、指示対象を”回転可能”と判断
し、ステップ１５１１でこの上位の要素を回転させるこ
とによって指示対象を回転させる。オブジェクトの上位
構成要素をたどっていっても”回転可能”なものがない
場合には、何も処理を行わない。この上の回転処理はオ
ブジェクトライブラリ１２４の内容を参照することによ
って行われる。バリュエータがｙ軸周り回転２２１，ｚ
軸周り回転２２２の場合も、同様に処理する（ステップ
１５０８−１５１１）。

【０１２０】２.８ ビューコントロール処理１２９
（第１７図） ビューコントロール処理１２９は、第１７図に示すよう
にカメラ（図示せず）の位置、その視野の水平方向、垂
直方向を操作されたバリュエータの種類、バリュエータ
のスライダ目盛に応じて制御する（ステップ１６０１−
１６０４、１６５０、１６５１）。６つのバリュエータ
２３０−２３５（第１図）はそれぞれ、前進命令、上昇
命令、水平移動命令、首上げ命令、首振り命令、回転命
令を意味する。

【０１２１】例えば、前進バリュエータ２３０が操作さ
れた場合（ステップ１６０１）には、オブジェクトイン
スタンスカメラ２７８０（第３図Ｃ）の位置スロット値
２７９１を、方向スロット値２７９２の方向に、イベン
トデータの付加情報の値のスライダ目盛の値に応じて変
化させる（ステップ１６０２）。

【０１２２】オブジェクトインスタンスカメラ２７８０
が移動、回転することによってオブジェクト表示画面１
０２で、好きなビューを選択することができる。この移
動、または回転はオブジェクトライブラリ１２４、３次
元形状データベース１２３を参照して行われ、移動また
は回転後にはそのオブジェクトに対する３次元図形デー
タが更新されるのはモーションコントロール処理１２８
の場合と同じである。

【０１２３】２.９ プログラムコントロール処理１３
２（第１８図） この処理は、イベントディスパッチ処理１２７で解釈さ
れたイベントデータ内のデータ内のデータ種類がプログ
ラムコントロールのときに起動される。この種のイベン
トは、すでに述べないように、音声入力、マウス入力あ
るいはキー入力により「記憶」あるいは「実行」が指示
されたときに生成される。

【０１２４】このプログラムコントロール処理１３２は
第１８図に示すように、そのイベントデータ内の付加情
報”record”なら（ステップ２２０１）、状態記憶処理
１３４（第２図）を起動し（ステップ２２０４）、その
付加情報が”execute”なら（ステップ２２０２）オブ
ジェクトメソッド実行処理１３５（第２図）を起動する
（ステップ２２０３）。

【０１２５】２.１０ オブジェクトモデリング処理１
３３（第１９図） この処理はイベントディスパッチ処理で解釈されたイベ
ントデータ内部データ種類がオブジェクトモデリングの
ときに起動される。この種のイベントデータは、すでに
述べたようにオブジェクトを新しく定義又は修正すると
きにマウス入力を用いて生成される。

【０１２６】オブジェクトモデリング処理１３３は１つ
の独立したアプリケーションプログラムである。ここで
は、まず第１９図に示すように各オブジェクトを表す多
面体の集合およびそれぞれの属性を新たに定義する（ス
テップ２６０１）。次にこのオブジェクトを第３Ａ〜３
Ｃ図に例示したように複数の要素から階層的に構成して
いき、それぞれの要素にたいして新しいオブジェクトを
定義する。この時、構成要素に移動可能属性か回転可能
属性かを指定する（ステップ２６０２）。次に、オブジ
ェクト名、オブジェクトスロット名、オブジェクトスロ
ットに入るデータ型を指定する（ステップ２６０３）。
こうしてできた、オブジェクトを表わす図形に関する情
報およびオブジェクト自身に関する情報をそれぞれ３次
元形状データベース１２３、オブジェクトライブラリ１
２４に格納する（ステップ２６０４）。

【０１２７】任意の時点で、オブジェクトモデリング処
理１３３で既に定義してあるオブジェクトを編集するこ
ともできる。例えば、第３Ａ図の人物オブジェクト２７
０３の下位の要素である右手２７１０のまた下位要素と
して、電話２８０３の下位要素である受話器２８０５を
登録するように階層を作れば、人間の手の動きにしたが
って受話器が動作することになり、結果として人間が受
話器をとったことを実現できる。後で述べる組込命令ｌ
ｉｎｋはこのようにして実現している。

【０１２８】オブジェクトモデリング処理で定義された
オブジェクトの名称、形状、属性はオブジェクトモデリ
ング画面１０８（第１図）の領域２３６，２３７，２３
８に表示される。作成ずみのオブジェクトを修正する場
合において、そのオブジェクトに対して定義ずみのメソ
ッドがある場合には、そのメソッドの名称が領域２３９
に表示される。

【０１２９】３．状態記憶処理１３４（第２０図） この処理はすでに述べたごとく、作成ずみのコマンドの
記憶が操作者により指示されたときに、プログラムコン
トロール処理１３２により起動される。この状態記憶処
理１３４では、まずコマンドバッファ１２０に処理対象
を示すデータがあるかどうかを調べる（ステップ２４０
１）。処理対象を示すデータが存在する場合には、処理
対象用状態記憶処理２４０２（第２１図）を起動する
（ステップ２４０２）。このデータが存在しないのはビ
ューコントロール画面１０４を用いてカメラ（図示せ
ず）の視野を変化させたあと現在の状態記憶指示が操作
者により与えられたときであり、オブジェクトインスタ
ンスカメラの状態を記憶する。すなわち、ビューコント
ロール処理１２９によって操作されたカメラ（図示せ
ず）の現在の状態（位置、方向、上方向）を、オブジェ
クトライブラリ１２４中のそれに対するインスタンス２
７８０（第３ｃ図）を参照して調べる（ステップ２４０
３）。そして、コマンドバッファ１２０に、処理対象と
してカメラオブジェクトインスタンス２７８０、引数と
してカメラの現在の位置、方向および、上方向、命令コ
ードとしてｃａｍｅｒａ＿ｓｅｔを格納してカメラの視
野セット用のコマンドを形成し、これをコマンド待ち行
列スタック１２２の先頭のコマンド待ち行列の末尾に加
える（ステップ２４０４）。命令コードｃａｍｅｒａ＿
ｓｅｔは、カメラオブジェクトインスタンス２７８０に
対応するカメラ（図示せず）をコマンドの引数で指定さ
れた方向に配置させる組み込み命令に対する命令コード
である。

【０１３０】一方、判定２４０１の結果、処理対象を示
すデータがコマンドバッファ１２０中にあると判断され
たのは、現在の状態記憶指示に先立って、操作者によ
り、モーションコントロール画面１０３（第１図）を用
いたマウス入力により、オブジェクト表示画面１０２中
のアイコンの移動又は回転が指示がなされたときであ
る。したがって、処理対象用状態記憶処理２４０が起動
されたとき、第２１図に示すように、コマンドバッファ
１２０中のデータで示される処理対象が移動可能かどう
かと回転可能かどうかを処理対象のオブジェクトインス
タンスに関する属性データから調べる（ステップ２５０
１、２５０４）。

【０１３１】移動可能性又は回転可能性の判断において
は、「２.７ モーションコントロール処理１２９」で
述べたと同じようにして処理対象のオブジェクトインス
タンス又はその下位の構成要素たるオブジェクトインス
タンスから移動又は回転可能なものをそれぞれ移動対
象、回転対象として選ぶ。移動あるいは回転可能な場合
にはそれぞれ、選択された移動対象オブジェクトインス
タンスの現在位置と回転対象オブジェクトインスタンス
の現在回転角を求める（ステップ２５０２）。そして、
移動、回転の各々に対して、コマンドバッファ１２０に
移動又は回転対象オブジェクトインスタンス、求めた現
在位置又は回転角、および、移動又は回転に関係する特
殊命令コードtranslate，又はrotateを格納し、移動又
は回転用のコマンドを生成する。それぞれのコマンドを
コマンド待ち行列スタック１２２の先頭のコマンド待ち
行列の末尾に加える（ステップ２５０２）。

【０１３２】この処理により、操作者が指示したアイコ
ンの移動、回転を実行するコマンドをプログラム中に埋
め込むことができる。

【０１３３】４．オブジェクトメソッドの実行 本システムでは、オブジェクトメソッドの実行とオブジ
ェクトメソッドのプログラミングは同時に行うことがで
きる。これを実現するシステム要素について、以下に述
べる。

【０１３４】４.１ オブジェクトメソッド実行処理１
３５（第２２図） 第２２図に示すように、オブジェクトメソッド実行処理
１３５が起動されると、呼出しコマンド（この処理の対
象となるコマンド）に従って以下の処理を行う。

【０１３５】（１）そのコマンドが先行して生成された
一連のコマンドの実行が成功したならプログラムの実行
を終了することを指示するコマンドsuccess_endなら
（ステップ２８０１）、メソッド実行終了処理２４０
（第２３図）を起動し（ステップ２８０２）、成功終了
を報告して（ステップ２８０３）制御を戻す。

【０１３６】（２）そのコマンドがsuccess_endでない
とき、そのコマンドの命令用のコードが組み込み命令コ
ードかどうかを調べ（ステップ２８０４）、組み込み命
令用のものであれば、その組み込み命令をあらかじめそ
の命令に対して定めら芦プログラムライブラリを用いて
実行する（ステップ２８０６）。そして実行が成功すれ
ば（ステップ２８０７）、成功終了を報告して（ステッ
プ２８０９）制御を戻し、実行が成功しなければ失敗終
了を報告して（ステップ２８０８）制御を戻す。

【０１３７】呼出しコマンドががｓｕｃｃｅｓｓ＿ｅｎ
ｄでなく、またその命令コードが組み込み命令コードで
ない場合には、そのコマンドはユーザが定義したもので
あるか、又はこれから定義するものであり、以下の処理
を行う。

【０１３８】（１）そのコマンドの処理対称で指定され
るオブジェクトインスタンスに対してすでに定義されて
いるメソッドの中に未実行のメソッドが存在するかどう
かを調べる（ステップ２８１１）。存在しなければ、オ
ブジェクトメソッド生成処理２５０を起動し（ステップ
２８１２）、成功終了を報告して（ステップ２８１３）
制御を戻す。存在する場合には、そのメソッドをユーザ
が定義していることを意味し、これを実行するために次
に進む。

【０１３９】（２）オブジェクトに対してユーザが定義
した未実行のメソッドの中で一番はじめに定義されたも
のを選択する（ステップ２８１５）。この選択のために
は、各オブジェクトに対して複数のメソッドが定義され
るときには、それぞれを定義順に並べて、オブジェクト
インスタンスライブラリに並べておく。そして、選択さ
れたメソッドの引数として指定されたオブジェクトイン
スタンスを呼出しコマンドのオブジェクトインスタンス
により置き換える（ステップ２８１６）。

【０１４０】（３）そのメソッドを定義しているコマン
ド列の中の未実行のコマンドの中で、はじめのものを選
択し（ステップ２８１７）、このコマンドを呼び出しコ
マンドとしてオブジェクトメソッドを実行する（ステッ
プ２８１８）。

【０１４１】（４）そのメソッドにまだ未実行のコマン
ドが存在するかどうか調べる（ステップ２８１９）。存
在しないなら、そのメソッドの実行は正常に完了したこ
とを意味しており、成功終了を報告して制御を戻す（ス
テップ２８２１）。まだ存在するなら、そのメソッドは
まだ完了していないため、次に進む。

【０１４２】（５）（３）で実行した結果を調べる（ス
テップ２８２０）。実行が成功しているなら、そのメソ
ッドの実行は順調に進行しており、（３）に戻る。そう
でなく、失敗しているなら、そのメソッドの実行に支障
が生じているため、これを回復するために（１）に戻
る。

【０１４３】４.２ メソッド実行終了処理２３０１
（第２３図） 実行対象のコマンドがsuccess_endであるためメソッド
実行終了処理２３０１がメソッド実行処理１３５により
起動された場合、第２３図に示すように、呼び出したコ
マンドに従い、以下の処理を行う。

【０１４４】呼び出したコマンドがコマンド待ち行列ス
タック１２２のトップにあるコマンド待ち行列に対応す
るものであれば（ステップ２３０２）、以下の処理を行
う。そうでなければ、制御を戻す。

【０１４５】コマンド待ち行列スタック１２２のトップ
にあるコマンド待ち行列内のコマンド列として、コマン
ドの指示対象の、コマンドの命令コードメソッドに加え
る（ステップ２３０３）。

【０１４６】そして、コマンド待ち行列スタック１２２
をポップし、ポップされたコマンド待ち行列がトップに
ある間に生成されたオブジェクトインスタンスを消去
し、コマンドに対応するメソッドプログラミング画面を
消去する。（ステップ２３０４）そして、制御を戻す。

【０１４７】４.３ オブジェクトメソッド生成処理２
８１２（第２４図） 第２４図に示すように、以下の処理を行う。

【０１４８】呼出しコマンドに対応するコマンド待ち行
列を新しく生成して、これをコマンド待ち行列スタック
１２１（第２図）にプッシュする（ステップ２９１
０）。

【０１４９】また、呼び出したコマンドのメソッドに対
応するメソッドプログラミング画面を生成する（ステッ
プ２９２１）。

【０１５０】そして、その画面にメソッド名、指示対象
とその属するオブジェクト名、引数とその属するオブジ
ェクト名を表示して（ステップ２９３０）、制御を戻
す。

【０１５１】４.４ 組み込み命令実行処理２８０６ 第２５図に組み込み命令一覧３００１を示す。この図で
は、組み込み命令の対象となるオブジェクト３００２、
必要な引数３００３、組み込み命令３００４、命令を実
行したときの作用３００４について示した。実際の対
象、引数はオブジェクトのインスタンスか、アトムであ
る。

【０１５２】Ｃ．動作説明 以下、具体例を用いて本実施例によるプログラムの作成
を説明する。初めの例では電話をかけるプログラムを作
成する。２番目の例では大型汎用計算機と通信して、こ
の上の既存のアプリケーションプログラムを利用するプ
ログラムを作成する。いずれの場合にも、人物アイコン
３１０２が行うべき動作を指示するコマンドをプログラ
ム用のコマンドをプログラム用のコマンドとして入力
し、このコマンドを実行して、人物アイコン３１０２に
その動作を行なわせる。このコマンド列は人物オブジェ
クトが実行するメソッドの一つとして人物オブジェクト
に記憶させる。

【０１５３】１．電話をかけるプログラムの生成 ここでは電話をかけるプログラム（メソッド）を作成す
る。人物オブジェクトにメソッドとして割りあてるメソ
ッド名はｃａｌｌとする。

【０１５４】ａ．コマンド入力 初期状態では、オブジェクト表示画面１０２は第２６Ａ
図のようになっているとする。

【０１５５】人物アイコン３１０２（第１図）は第３Ａ
図の人物オブジェクト２７０１を表わし、電話アイコン
３１０４（第２図）は第３Ｂ図の電話オブジェクト２７
５０を表わす。電話番号オブジェクトはまだ説明しなか
ったが、以下では、初期状態ですでに定義されていると
仮定する。３１０３はこのオブジェクトを表わすアイコ
ンで、長方形形状をしており、その中央にスロット値電
話番号を有する。人物オブジェクトのインスタンス名は
ｒｉｅ，電話オブジェクトのインスタンス名はｔｅｌ、
電話番号オブジェクトのインスタンス名はｔｎとする。

【０１５６】以下では、これらの名称は、対応するオブ
ジェクトを表わすアイコンの名称として用いる。

【０１５７】人物アイコン３１０２はどこか任意の、電
話アイコン３１０４からはなれた場所におり、電話アイ
コン３１０４の受話器はかかったままである。そして、
電話番号アイコン３１０３の内部には番号０１２−３４
５６が表示されている。また、第２６Ｂ図に示すように
主記憶装置１１２内のコマンド待ち行列スタック１２２
には初期待ち行列スタック１９０３だけがある。

【０１５８】ここで人物アイコン３１０２に電話をかけ
させるためにはユーザは、コマンド （０）ｒｉｅ ｔｅｌ ｔｎ ｃａｌｌ を入力する。ここで、ｃａｌｌ以外は処理対象を表わ
し、ｃａｌｌはメソッド名である。

【０１５９】（ａ−１）コマンドの処理対象と引数の入
力 以下では、“処理対象”は、とくに断わらないがぎりあ
るいは文脈上不自然でないかぎり、コマンドの処理対象
部をさす。

【０１６０】このコマンドの入力のためには、操作者は
音声入力装置１１１かマウス１０９かキーボード１１１
を用いて文字列として処理対象”ｒｉｅ”と、”ｔｅ
ｌ”と、”ｔｎ”とをこの順で入力する。

【０１６１】（ａ−１−１）音声入力の場合 例えば、音声によって文字列を入力するには音声入力装
置１１１（第１図）に向かって「りえ」と発声する。音
声は音声入力装置１１１から音声認識処理１４２（第２
図）に送られ、ここでは、第７Ａ図に示すように候補音
声データベース１２５の音声データ領域のなかで最も近
い候補音声データを抽出し（ステップ６０１）、音声イ
ベント発声処理１４３を起動する（ステップ６０３）。
抽出された候補音声データを受取り、その候補音声デー
タのデータ種類がオブジェクトインスタンス名であるこ
とを確認して（ステップ７０１）、イベント種類がオブ
ジェクト選択、付加情報がその候補音声データの文字列
領域”ｒｉｅ”をコピーしたものであるイベントデータ
を生成し（ステップ７０２）入力イベント処理１２６を
起動する（ステップ７０９）。入力イベント処理１２６
では受け取ったイベントデータを入力イベント待ち行列
１１９（第２図）に加える。

【０１６２】なお、上記候補音声データは人物アイコン
３１０２を人物オブジェクト２７０１のインスタンスと
して先に定義したときに以下のようにして作成される。
すなわち、この定義時に操作者がそのインスタンスの名
前をキーボード入力すると同時にシステムがその名前の
音声入力を要求する。操作者がこの名前を音声入力をし
たとき、それを、候補音声データベース１２５内のｒｉ
ｅに対する候補音声データの内容として格納する。

【０１６３】イベントデイスパッチ処理１２７（第２
図）は操作者による入力に並行して動作可能で、メカイ
ベント待ち行列１１９内のイベントデータを処理する。
今の例では、「ｒｉｅ」に対するイベントデータはイベ
ント種類がオブジェクト選択であるためオブジェクト選
択処理１３０（第２図）が起動され、付加情報「ｒｉ
ｅ」と空白がコマンドバッファ１２０に格納される（ス
テップ２００１（第１４図））。

【０１６４】（ａ−１−２）マウス入力の場合 マウス１０９（第１図）を用いて”ｒｉｅ”を入力する
には、オブジェクト表示画面１０２に表示してある人物
アイコン３１０２の胴体上にマウスカーソル２０１（第
１図）をもってきて、マウスボタン（図示せず）を押
す。それによりオブジェクト選択イベント発生処理３０
４が起動される（第８Ａ図）。この処理３０４では、第
８Ｂ図に示すように、マウスカーソル２０１の位置と３
次元形状データベース１２３（第２図）を参照して（人
物アイコン３１０２）の上でマウスボタンが押されたこ
とを認識して（ステップ８０１）、イベント種類にオブ
ジェクト選択、付加情報にキーボードから入力された文
字列”ｒｉｅ”を格納したイベントデータを生成し（ス
テップ８０２）、入力イベント処理１２６を起動する
（ステップ８０３）。入力イベント処理１２６では送ら
れてきたイベントデータを入力イベント待ち行列１１９
に加える。

【０１６５】音声入力の場合と同様にこのイベントデー
タが後にデイスパッチされると、コマンドバッファ１２
０に「ｒｉｅ」と空白が格納される。

【０１６６】（ａ−１−３）キーボード入力の場合 キーボード１１０（第１図）で”ｒｉｅ”を入力する場
合には、マウスカーソル２０１をオブジェクトモデリン
グ画面１０８（第１図）以外の所に置いた上で「ｒ」
「ｉ」「ｅ」をそのままタイプする。それ焼れのキー入
力に対してキーボードイベント処理３０９（第２図）が
起動される。この処理３０９では、第９図に示すよう
に、判定１３０１，１３０３を経た上でイベント種類に
キーボード、付加情報にキーボードから与えられるキー
コードを格納したイベントデータを生成し（ステップ１
３０４）、入力イベント処理１２６を起動する（ステッ
プ１３０６）。入力イベント処理１２６はこのイベント
を入力イベント待ち行列１１９に加える。

【０１６７】このような入力に対するイベントデータが
後にデイスパッチされた場合、その中のキーコードをそ
のままコマンドバッファ１２０のの空きエリアに、その
前方から順に入力される。今の例では、「ｒ」「ｉ」
「ｅ」の各々に対するイベントデータからコマンドバッ
ファ１２０に処理対象名「ｒｉｅ」が格納される。

【０１６８】このように、音声入力、マウス入力、キー
ボード入力のいずれを用いてもコマンド入力を可能とす
るために、それぞれからの各入力をイベントデータとい
う共通の形式のデータに変換している。

【０１６９】ここまでの操作で、入力すべきコマンドに
含まれるべき処理対象“ｒｉｅ”が格納された。引き続
いて処理対象“ｔｅｌ”、“ｔｎ”をコマンドに加え
る。この操作はこれまでの入力と同じようにして行われ
る。オブジェクト選択に関しては、これ以降のコマンド
入力についても同じことである。こいうと、コマンドバ
ッファ１２０には、「ｒｉｅ ｔｅｌ ｔｕ」が格納さ
れる。

【０１７０】（ａ−２）メソッド名の入力 引き続いて、新しく定義するメソッドの名前ｃａｌｌを
キーボード１１０から入力する。システム内で初めて用
いられるメソッドであるので、この入力はキーボード１
１０からだけ入力可能である。この入力に応答して、前
述したのと同様にイベントデータが生成され、入力イベ
ント待ち行列１１９に格納される。引き続いて一つのコ
マンドの入力の終了を入力するために、コマンド入力指
示として改行コードをキー入力すると、キーボードイベ
ント処理１４１では第９図のステップ１３０３により、
イベント種類が命令入力、付加情報が空のイベントデー
タを生成し、イベント待ち行列１１９に加える。イベン
トディスパッチ処理１２７はこのイベントデータのイベ
ント種類が命令入力であるので、命令入力処理１３１を
起動する（ステップ１４０５（第１３図））。この処理
１３１では、コマンドバッファ１２０の内容をコマンド
待ち行列スタック１２２のトップにある、初期コマンド
待ち行列１９０３に加え、コマンドバッファ１２０をク
リアする（ステップ２１０２，２１０２（第１５
図））。これで、 （０）ｒｉｅ ｔｅｌ ｔｎ ｃａｌｌ が初期コマンド待ち行列１９０３に送られた。このよう
に、コマンドバッファ１２０入力された文字列を一時的
に記憶し、ユーザによりその後コマンド入力指示が与え
られたとき、それまでに入力済みの文字列を一つのコマ
ンドとして使用するようになっている。

【０１７１】なお、この例ではメソッド名の入力はキー
ボードで行なったが、このメソッド名をあらわす候補音
声データ５０１を以下のようにあらかじめ記憶すれば未
定義のメソッドでも音声によっても入力することができ
る。すなわち、候補音声データ５０１の音声データ５０
２にこのメソッド名をあらわす音声を、データ種類５０
３に、オブジェクトメソッドを、文字列５０４に“ｃａ
ｌｌ”を記憶する。このようにすれば、コマンド（０）
の引き数にひきつづいてメソッドｃａｌｌを音声入力す
れば、音声認識処理（第７Ａ図）で抽出された候補音声
データからは、音声イベント発生処理（第７Ｂ図）で、
イベント種類が命令入力であるイベントが生成される。
生成されたイベントは、先に述べたキーボードによるメ
ソッド名入力のキーストローク“ｃａｌｌ＋改行コー
ド”よって生成されるイベントと等価である。すでに述
べたごとく、コマンドの処理対象あるいは引数の場合、
入力音声に対する候補データ中のデータの種類はオブジ
ェクトインスタンスであるから、この場合、入力音声は
コマンドバッファに蓄えられた。しかし上に述べたごと
く、メソッドを表わす音声入力は入力すべきコマンドの
末尾として扱えるので、このように音声入力に対する候
補データは、すでに入力された音声に対する候補データ
と組み合わせて一つのコマンドとすることができる。

【０１７２】このように、操作者が入力する音声の種類
を判別してコマンドの入力完了か否かを判断すれば、操
作者は改行コードのような特別な入力を用いなくてもよ
い。この上の音声入力は定義済みのメソッドに対しては
勿論、そのまま適用できる。

【０１７３】なお、以上のようにして初期コマンド待ち
行列１９０３に格納された文字列はプログラムコントロ
ール画面１０６にコマンド番号とともに表示される（第
２６Ａ図）。

【０１７４】以下において、コマンド入力は上に述べた
方法を用いて行うものとする。

【０１７５】ｂ．コマンドの実行 操作者はプログラムコントロール画面１０６（第１図）
上の「実行」ボタン２１５の上にマウスカーソル２０１
を持ってきて、ここでマウスボタン（図示せず）を押
す。この操作により発生されるイベントデータに対して
イベントディスパッチ処理１２７がプログラムコントロ
ール処理１３２（第２図）を起動し、その処理１３２の
実行中にオブジェクトメソッド実行処理１３５が起動さ
れる（ステップ２２０３（第１８図））。ここでコマン
ド待ち行列スタック１２２のトップにあるコマンド待ち
行列１２１は初期コマンド待ち行列１９０３（第２６Ｂ
図）であり、その先頭のコマンドは前述のコマンド
（０）であり、メソッドｃａｌｌは未定義である。しか
し、システムはコマンド中のメソッドが既定義のもので
あるかどうかに関わりなく、そのコマンドを実行するオ
ブジェクトメソッド実行処理１３５を起動する。

【０１７６】その処理１３５では、第２２図に示すよう
に、命令コードはｓｕｃｃｅｓｓ＿ｅｎｄでなく（ステ
ップ２８０１）、組込命令でもなく（ステップ２８０
４）、また指示オブジェクト人物のメソッドとしてまだ
登録されていない（ステップ２８１１）ので、オブジェ
クトメソッド生成処理２８１２を起動する（ステップ２
８１２）。

【０１７７】この処理２８１２では第２４図に示すよう
に、このコマンド（０）に対応する新しいｃａｌｌコマ
ンド待ち行列（すなわち、このコマンドで要求されたメ
ソッドｃａｌｌに含まれるべきコマンド列を格納するエ
リア行列）１９０３を生成して、コマンド待ちエリア行
列スタック１２２にプッシュする（ステップ２９１
０）。また、対応するメソッドプログラミング画面３１
１０を生成し（ステップ２９２０）、オブジェクトメソ
ッドプログラミング画面上にメソッド名ｃａｌｌ、指示
対象とその所属オブジェクトの組ｒｉｅ［人物］、引数
とその所属オブジェクトの組ｔｅｌ［電話］，ｔｎ［電
話番号］が表示される（ステップ２９３０）。これは、
新しいメソッドを定義するための準備である。

【０１７８】これ以降操作者は、メソッドｃａｌｌのを
構成するコマンドの各々を入力し、かつ実行させる。こ
こでは、 （１）電話のところまでいって （ｒｉｅ ｔｅｌ＃ｐｏｓｉｔｉｏｎ ｇｏｔｏ） （２）電話をとって （ｒｉｅ ｔｅｌ ｔｅｌ＿ｔａｋｅ） （３）与えられた電話番号のところに電話を掛ける。

【０１７９】（ｒｉｅ ｔｅｌ ｔｎ ｃｏｎｎｅｃ
ｔ） （４）以上のことができれば成功である。

【０１８０】（ｓｕｃｃｅｓｓ＿ｅｎｄ） ことをプログラムする。

【０１８１】操作者はコマンド（１）−（４）を順次入
力する。ここで、＃はオブジェクトインスタンスのスロ
ット値を表現するためのものである。コマンド（１）−
（４）はｃａｌｌコマンド待ち行列３１２１に順に加え
られる。ｃａｌｌメソッド待ち行列３１２１に格納され
たコマンドは、格納の都度対応するメソッドプログラミ
ング画面３１１０に表示される。

【０１８２】ここでプログラムコントロール画面上１０
６の「実行」ボタン２１５（第２６Ａ図）の上にマウス
カーソル２０１を持ってきて、マウスボタンを押すと、
オブジェクトメソッド実行処理１３５によりｃａｌｌメ
ソッドに対応するコマンド待ち行列３１２１の先頭のコ
マンド（１）を実行する。

【０１８３】ここで、メソッドｇｏｔｏは、ｓｕｃｃｅ
ｓｓ＿ｅｎｄでなく（ステップ２８０１）、組み込み命
令でもなく（ステップ２８０４）、人物オブジェクトに
定義されていないので（ステップ２８１１）、オブジェ
クトメソッド生成処理２８１２を行う。つまり、ここで
ｃａｌｌメソッドプログラミングを一時中断して、ｇｏ
ｔｏメソッドプログラミングを行う。このためにこの処
理２８１２の中でもｇｏｔｏコマンド待ち行列３０２０
（第２７Ｂ図）をコマンド待ち行列スタック１２２のト
ップに形成する（ステップ２９１０（第２４図））。

【０１８４】さらに、ディスプレイ装置上１０１には第
２７Ｂ図ｇｏｔｏメソッド用のメソッドプログラミング
画面３２１０をｃａｌｌメソッド用のメソッドプログラ
ミング画面３１１０に重ねて形成する（ステップ２９１
０）、このプログラミング画面３２１０には、このコマ
ンド（１）にしたがって、メソッド名、処理対象、引数
等が画面３１１０と同様に表示される（ステップ２９３
０）。このように、コマンド待ちエリア行列スタック１
２２内の行列はメソッドプログラミング画面の数とその
対応するメソッドと等価であり、メソッドプログラミン
グを制御する役割を持つ。

【０１８５】ｇｏｔｏメソッドは人間がある位置まで移
動させるプログラムである。ここでは、次のコマンド列
を入力する。

【０１８６】（１０）距離を格納する一時オブジェクト
インスタンスを生成する dist scalar @ create （１１）方向を格納する一時オブジェクトインスタンス
を生成する dir vector @ create （１２）ｒｉｅとｔｅｌの距離を調べる rie tel# take position dist get distance （１３）ｒｉｅからみたｔｅ１の方向を調べる rie tel# take position dir get direction （１４）（１３）の結果をもとにｒｉｅをｔｅｌの方向
に向かせる。rie dir rotate

【０１８７】（１５）ｒｉｅに（１）の距離だけ歩かせ
るrie dist walk （１６）ｒｉｅを電話の方向に向かせる rie tel# direction rotate （１７）以上のことが成功した場合にｇｏｔｏメソッド
を終了する。success_end

【０１８８】コマンド（１０），（１１）は人物アイコ
ン３１０２と電話アイコン３１０４の間の距離ｄｉｓｔ
（これはスカラー量）を格納する距離オブジェクトと、
人物からみた電話器の方向ｄｉｒ（これはベクトル量）
を格納する方向オブジェクトをそれぞれ生成するコマン
ドである。本実施例ではオブジェクトを生成するコマン
ドは、（オブジェクト名）＠ｃｒｅａｔｅであり、組み
込みのものである。第２７Ａ図で、３２０２，３２０３
はそれぞれ距離オブジェクト、方向オブジェクトを表す
アイコンであり、これらのオブジェクトの定義にしたが
って、これらのアイコンが表示される。なお、このよう
に、オブジェクトを生成したときには、それぞれのオブ
ジェクトの名称（ｄｉｓｔ，ｄｉｒ）を音声入力する。
そして、候補音声データの音声データに入力した音声
を、データ種類にオブジェクトインスタンス、文字列デ
ータにそれぞれ名称を表す文字列（“ｄｉｓｔ”、“ｄ
ｉｒ”）を記憶し、候補音声データベースに格納する。

【０１８９】コマンド（１２）（１３）では、コマンド
（１０）（１１）で生成した一時オブジェクトのインス
タンスにそれぞれ組み込み命令 ｇｅｔｄｉｓｔａｎｃｅ， ｇｅｔｄｉｒｅｃｔｉｏｎを用いて上記距離ｄｉｓｔ，
方向ｄｉｒの値を格納する。そしてコマンド（１４）
で、人物アイコン３１０２を方向ｄｉｒだけ回転させ、
コマンド（１５）で距離ｄｉｓｔだけ歩かせる。次に
（１６）で、電話の方向に向かせる。最後にコマンド
（１７）（ｓｕｃｃｅｓｓ＿ｅｎｄ）を加える。

【０１９０】以上のコマンド列は最後のコマンド（１
７）の入力後ｇｏｔｏコマンド列エリア３２３０に格納
される。次に実行を指示すると、プログラム実行処理１
３５（第２２図）によりこのコマンド待ち行列を次々と
実行して、失敗を引き起こす要因が無くｓｕｃｃｅｓｓ
＿ｅｎｄまで実行が進む（ステップ２８０１）と、ｇｏ
ｔｏメソッドのメソッド実行終了処理２３０１を行う
（ステップ２８０２）。メソッド実行終了処理２３０１
では、第２３図に示すように、はじめにコマンド待ち行
列スタック１２２のトップを調べる（ステップ２３０
２）。これはｇｏｔｏコマンド待ち行列３２３０である
ので、この中のコマンド列をｇｏｔｏメソッドとして記
憶する（ステップ２３０３）。そしてコマンド待ち行列
スタック１２２をポップして、ｇｏｔｏメソッドプログ
ラミング画面３２１０を消去する。また、ｇｏｔｏメソ
ッド記述で生成した一時データであるｄｉｓｔ３２０
２、ｄｉｒ３２０３をオブジェクトライブラリ１２４、
３次元形状データベース１２３、オブジェクト表示画面
１０２から消去する（ステップ２３０４）。

【０１９１】この時点でコマンド待ち行列スタックのト
ップはｃａｌｌコマンド待ち行列３１２１に戻る。

【０１９２】ｃａｌｌコマンド待ち行列３１２１の残り
のコマンドは （２）ｒｉｅ ｔｅｌ ｔｅｌ＿ｔａｋｅ （３）ｒｉｅ ｔｅｌ ｔｎ ｃｏｎｎｅｃｔ （４）ｓｕｃｃｅｓｓ＿ｅｎｄ である。すなわち、ここから一時中断されていたｃａｌ
ｌメソッドプログラミングを再開することになる。

【０１９３】次に改めて実行を指示すると、ｃａｌｌコ
マンド待ち行列３１２１の先頭コマンド（２）を実行す
る。ｔｅｌ＿ｔａｋｅメソッドは指示オブジェクトｈｕ
ｍａｎでは定義されてないので、オブジェクトメソッド
生成処理２８１２が行われる。つまり、再び、ｃａｌｌ
メソッドプログラミングを中断してｔｅｌ＿ｔａｋｅメ
ソッドプログラミングを行う。

【０１９４】この処理２８１２の結果、コマンド待ち行
列スタック１２２のトップには、第２８Ａ図に示すよう
にｔｅｌ＿ｔａｋｅコマンド待ち行列３３２０があり、
メソッドプログラミング画面には第２８Ｂ図に示すよう
にｃａｌｌメソッド用の画面３１１０とｔｅｌ＿ｔａｋ
ｅメソッド用の画面３３０１のが存在する。

【０１９５】先程のｇｏｔｏメソッドの実行の結果、人
物３１０２は電話３１０４をとるのに適した位置で、電
話の方向を向いて立っている。そこで、ここでは人物３
１０２の右手を電話３１０４の受話器の方に伸ばして、
受話器をとり、受話器をとった右手を人物の３１０２の
右耳の近くに持ってくるという動作をプログラムする。

【０１９６】人物３１０２の右上腕と右下腕を電話３１
０４の受話器をとるような形にするには、まず、右上腕
と右下腕を交互に選択してこれらに対しモーションコン
トロール処理１２８を実行する。ここではモーションコ
ントロール画面上のｘ軸周り回転バリュエータ２２０
（第１図），ｙ軸周り回転バリュエータ２２１，ｚ軸周
り回転バリュエータ２２２を操作する。第３Ａ図に示す
ように、右上腕と右下腕は回転可能属性が付いているの
で、右肩と右肘の部分で回転させることができる。ま
た、両方共移動可能属性は付いてなく、これを移動させ
ようとすると図からもわかるように人間全体が移動する
ため、移動は行わない。こうして、右上腕と右下腕をう
まく操作して第１６図に示すモーションコントロール処
理１２８により電話の受話器の付近に右手を置く。この
ように属性を与えるのは、人間などの関節は回転できる
だけであり、移動することはできないことを表現するた
めである。

【０１９７】以上のモーションコントロールの後”ｒｉ
ｅ．ｒｕａｒｍ”を入力し、コマンドバッファ１２０の
処理対象として格納し、プログラムコントロール画面１
０６上の「記憶」ボタン２１６上にマウスカーソル２０
１を持ってきてここでマウスボタン２０２を押すことに
よって、プログラムコントロール１３２が起動され、そ
の処理の中で状態記憶処理１３４が起動されるステップ
２２０４（第１８図）。状態記憶処理１３４では、処理
対象（ｒｉｅ，ｒｕａｒｍ）がコマンドバッファ１２０
内にあるため、処理対象用に記憶処理２１０を起動する
（ステップ２４０２（第２０図））。

【０１９８】この処理では、コマンドバッファ中の処理
対象が人物３１０２の右上腕であり、これが回転可能属
性だけが付いていることから、右上腕を現在示されてい
る回転角まで回転させる。次のコマンド （２０）ｒｉｅ．ｒｕａｒｍ 現在回転角 ｒｏｔａｔ
ｅ が生成され、ｔｅｌ＿ｔａｋｅコマンド待ち行列３３２
０に加えられる（ステップ２５０４〜２５０６）。同様
にして人物３１０２の右下腕に対して処理対象用状態記
憶処理２１０を行うことによって次のコマンド （２１）ｒｉｅ．ｒｌａｒｍ 現在回転角 ｒｏｔａｔ
ｅ がｔｅｌ＿ｔａｋｅコマンド待ち行列３３２０に加えら
れる。

【０１９９】次に、ｒｉｅ３１０２の右手にｔｅ１３１
０４の受話器を持たせる。このための組み込み命令１ｉ
ｎｋを用いる。コマンドは （２２）ｒｉｅ．ｒｈａｎｄ ｔｅｌ． ｒｅｃｅｉｖ
ｅｒ ｌｉｎｋ である。このメソッドｌｉｎｋは指示対象の下位構造に
引数オブジェクトを指定することによって実現してい
る。結果的に、これ以降受話器は人物３１０２の右手の
位置に従って移動、回転を行う。

【０２００】また、電話３１０４を移動・回転しても受
話器はその影響を受けない。

【０２０１】このままでは電話３１０４の動きにしたが
って受話器も動くことになるので、この関係を断つコマ
ンド （２３）ｔｅｌ．ｂｏｄｙ ｔｅｌ． ｒｅｃｅｉｖｅ
ｒ ｕｎｌｉｎｋ を実行する。

【０２０２】この結果、人物３１０２と電記３１０４の
オブジェクト構造は第２８Ａ図に示すようになる。

【０２０３】次に、再び人物３１０２の右上腕、右下腕
をモーションコントロール画面１０３上のバリュエータ
ｒｏｔ＿ｘ（２２０），ｒｏｔ＿ｙ（２２１），ｒｏｔ
＿ｚ（２２２）を用いて操作して、受話器が右耳の付近
にちょうど位置するような格好をとらせ、このあと状態
記憶処理１３４を起動する。

【０２０４】その結果、コマンド （２４）ｒｉｅ．ｒｕａｒｍ 現在回転角 ｒｏｔａｔ
ｅ （２５）ｒｉｅ．ｒｌａｒｍ 現在回転角 ｒｏｔａｔ
ｅ がｔｅｌ＿ｔａｋｅコマンド待ち行列３３２０に加えら
れる。

【０２０５】このメソッド用の最後のコマンドとして、 （２６）ｓｕｃｃｅｓｓ＿ｅｎｄ を加える。そしてこれらのコマンドを次々と実行してい
き、ｓｕｃｃｅｓｓ＿ｅｎｄにまで到達したときメソッ
ド実行終了処理２３０１を行う。

【０２０６】ｔｅｌ＿ｔａｋｅメソッド記述してきたコ
マンド列（２０）−（２６）を記憶し、コマンド待ち行
列スタック１２２をポップし、ｔｅｌ＿ｔａｋｅメソッ
ドプログラミング画面３３０１を消去する。

【０２０７】ｃａｌｌコマンド待ち行列３１２１の次の
コマンドは、 （３）ｒｉｅ ｔｅｌ ｔｎ ｃｏｎｎｅｃｔである。
ｃｏｎｎｅｃｔメソッドも人間オブジェクト２７０１
（第３Ａ図）の中で定義されていないので、新しいコマ
ンド待ち行列３４３０が生成され、音声登録を行い、オ
ブジェクトメソッド生成処理２８１２を行う。

【０２０８】その結果、コマンド待ち行列スタック１２
２のトップにはｃｏｎｎｅｃｔコマンド待ち行列３４３
０が作られ（第２９Ｂ図）、メソッドプログラミング画
面はｃａｌｌに対応するもの３１１０と、ｃｏｎｎｅｃ
ｔに対応するもの３４２０の２つが表示される（第２９
Ａ図）。

【０２０９】ここでは、 （３０）指定された電話番号に接続要求を出す ｔｅｌ ｔｎ ｃｏｎｎｅｃｔ＿ｒｅｑｕｅｓｔ （３１）接続が成功したならその旨、音声出力する ｒｉｅ “つながりました” ｓｐｅａｋ （３２）以上が成功すれば終了する ｓｕｃｃｅｓｓ＿ｅｎｄ とする。

【０２１０】このコマンド列を実行していき、（３２）
ｓｕｃｃｅｓｓ＿ｅｎｄにまで到達した場合に、メソッ
ド実行終了処理２３０１を行い、ｃｏｎｎｅｃｔメソッ
ドとしてコマンド列（３０）−（３２）を記憶し、コマ
ンド待ち行列スタック１２２をポップし、ｃｏｎｎｅｃ
ｔメソッドプログラミング画面３４２０を消去する。

【０２１１】ここでコマンド待ち行列スタックのトップ
はｃａｌｌコマンド待ち行列３１２１であり、その先頭
のコマンドは（４）ｓｕｃｃｅｓｓ＿ｅｎｄである。こ
れを実行するとメソッド実行終了処理２３０１が起動さ
れ、（１）−（４）コマンド列をｃａｌｌメソッドとし
て記憶し、コマンド待ち行列スタック１２２をポップ
し、ｃａｌｌメソッドプログラミング画面３１１０を消
去する。以上で、当初意図したｃａｌｌメソッドのプロ
グラミングが終了したことになる。また、ここでのコマ
ンド待ち行列スタック１２２のトップは初期コマンド待
ち行列３１２０である。これで、ｃａｌｌメソッドプロ
グラミングが終了した。

【０２１２】これ以降、「実行」を入力して「人物オブ
ジェクトインスタンス 電話オブジェクトインスタンス
電話番号オブジェクトインスタンスｃａｌｌ」という
コマンドをオブジェクトメソッド実行処理１３５に送れ
ば、人物オブジェクトインスタンスは電話の位置まで移
動して、後を向いて受話器をとり、指定された電話番号
に接続要求を出して接続が成功したならば「つながりま
した」という音声を発することになる。

【０２１３】また、「人物オブジェクトインスタンス
ベクトルオブジェクトインスタンスｇｏｔｏ」、「人物
オブジェクトインスタンス 電話オブジェクトインスタ
ンス ｔｅｌ＿ｔａｋｅ」、「人物オブジェクトインス
タンス 電話オブジェクトインスタンス 電話番号オブ
ジェクトインスタンス ｃｏｎｎｅｃｔ」の各コマンド
もｃａｌｌメソッド定義の過程の中でに定義されてい
る。 コマンドの実行は依頼したオブジェクトインスタ
ンスの動作として、また音声として出力されるため、そ
の状態の認識が容易である。

【０２１４】しかし、コマンドを実行中、どこかで失敗
をする可能性がある。本例では電話の接続要求を出す次
のコマンド、 （３）ｒｉｅ ｔｅｌ ｔｎ ｃｏｎｎｅｃｔ のなかの （３０）ｒｉｅ ｔｅｌ ｔｎ ｃｏｎｎｅｃｔ＿ｒｅ
ｑｕｅｓｔ で相手が話し中であるなどの理由で失敗することが考え
られる。しかし、失敗が現に生じるまではプログラムを
記述する必要のないところが本発明の特徴の１つであ
る。

【０２１５】何度かコマンドを実行しているうちに、コ
マンド（３０）で失敗した場合には、その失敗した例を
用いてプログラムを記述することができる。第２９Ａ図
の例では、人物３１０２が電話を用いて、電話番号オブ
ジェクトインスタンスｔｎ１を用いた場合に、失敗した
とする。そのコマンドは、 （４０）ｒｉｅ ｔｅｌ ｔｎ１ ｃｏｎｎｅｃｔ であり、失敗するのはコマンド（３０）を現在の例で置
き換えたコマンド （３０）’ｒｉｅ ｔｅｌ ｔｎ１ ｃｏｎｎｅｃｔ＿
ｒｅｑｕｅｓｔ である。

【０２１６】前述の場合と同様にコマンド（４０）のオ
ブジェクトメソッド生成処理２８１２（第２４図）を行
う。

【０２１７】ここでのプログラムは電話の接続に失敗し
た場合のものである。ここでのコマンド列は次のように
する。

【０２１８】（４１）“失敗しました”と音声でメッセ
ージを出力する ｒｉｅ “失敗しました” ｓｐｅａｋ （４２）受話器を本体にはまる位置に回転させる ｒｉｅ．ｒｅｃｉｅｖｅｒ 受話器が電話器に収まる向
き ｒｏｔａｔｅ （４３）受話器を本体の位置に置く ｒｉｅ．ｒｅｃｅｉｖｅｒ ｔｅｌ＃ｐｏｓｉｔｉｏｎ ｔｒａｎｓｌａｔｅ （４４）受話器とｒｉｅの右手を切り離す ｒｉｅ．ｒｅｃｅｉｖｅｒ ｔｅｌ． ｂｏｄｙ ｌｉｎｋ （４５）受話器と本体をもとの関係に戻す ｒｉｅ．ｒｈａｎｄ ｒｉｅ． ｒｅｃｅｉｖｅｒ ｕｎｌｉｎｋ （４６）直立する ｒｉｅ ｎｅｕｔｒａｌ （４７）以上が成功したら終了する ｓｕｃｃｅｓｓ＿ｅｎｄ とする。

【０２１９】ここで、（４４）、（４５）のコマンドを
実行すると、オブジェクトの構造は第３０Ｃ図３３３０
に示すようになる。これは人物オブジェクト２７０１と
電話オブジェクト２７５０ではじめに定義した状態であ
る。これ以降、人物と電話は通常の人物オブジェクト２
７０１、電話オブジェクト２７５０として動作する。

【０２２０】上のコマンドを順次実行して（４７）ｓｕ
ｃｃｅｓｓ＿ｅｎｄコマンドまで到達すれば、メソッド
実行終了処理２３０１が行われ、コマンド列（４１）−
（４７）が人物オブジェクト２７０１のｃｏｎｎｅｃｔ
メソッドとして、第２９Ｂ図で定義したものを失うこと
なく、新たに記憶される。

【０２２１】これで、人物オブジェクトに対するｃｏｎ
ｎｅｃｔメソッドとしてはコマンド列（３０）−（３
２）と、コマンド列（４１）−（４７）の２つが定義さ
れた。メソッド実行は定義順に行われるため、「人物オ
ブジェクトインスタンス 電話オブジェクトインスタン
ス 電話番号インスタンス ｃｏｎｎｅｃｔ」コマンド
を実行すると、はじめに（３０）−（３２）で定義した
コマンド列を用いて指定の接続要求を出す。その結果、
成功すれば「成功しました」との音声出力を行う。成功
しなければ、（４１）−（４７）の実行に移り、「接続
失敗しました」との音声出力を行い、受話器を置いて直
立する。

【０２２２】以上で秘書は電話をかけることに関して
は、一応のメソッドを持ったことになる。人物オブジェ
クト２７０１は第３Ａ図に示すように、ｃａｌｌメソッ
ド（２７１２）、ｇｏｔｏメソッド（２７１３）、ｔｅ
ｌ＿ｔａｋｅメソッド（２７１４）、ｃｏｎｎｅｃｔ
（１）メソッド（２７１５）、ｃｏｎｎｅｃｔ（２）メ
ソッド（２７１６）と第２５図に示した組み込み命令コ
ードの群の中の、処理対象が人物であるものを持ってい
る。

【０２２３】２．大型汎用計算機１１６との通信を用い
たプログラム 次に、大型汎用計算機を用いて会議室を予約することを
プログラムする例を用いて本発明の実施例の特徴を説明
する。ここではカメラの視野（ビュー）をプログラムす
ることにも言及する。

【０２２４】人物オブジェクトインスタンスｒｉｅ（３
１０２）、端末オブジェクトインスタンスｔｅｒｍ（３
６１２）、日付オブジェクトインスタンスｄａｔｅ３６
１０、部屋オブジェクトインスタンスｒｏｏｍ３６１１
を用いてメソッドｙｏｙａｋｕを記述する。

【０２２５】ここで、オブジェクトインスタンスは第３
１Ａ図に示すように、３次元空間中に配置されているも
のとする。

【０２２６】はじめカメラオブジェクトインスタンスは
ビュー１（３７０１）を用いており、端末オブジェクト
インスタンスｔｅｒｍ（３６１２）は、第３１Ａ図のオ
ブジェクト表示画面１（３６０１）に示すようにオブジ
ェクト表示画面中で仕切り３６０２にはばまれて表示さ
れていないとする。従ってこれをマウス１０９で選択す
ることもできないものとする。

【０２２７】メソッドを （５０）ｒｉｅ ｔｅｒｍ ｄｅｔｅ ｒｏｏｍ ｙｏ
ｙａｋｕ とする。この中でｔｅｒｍ（３６１２）は音声かキーボ
ードによって入力される。

【０２２８】これを実行すると、オブジェクトメソッド
生成処理２８１２が起動され、コマンド待ち行列スタッ
ク１２２にｙｏｙａｋｕコマンド待ち行列３６３０がプ
ッシュされ、メソッドプログラミング画面３６２０が生
成される。

【０２２９】ここでは、端末が実際に表示されていない
と何にたいして操作をしているかわからなくなるので、
ビューコントロール画面１０４のバリュエータを操作し
て、ｔｅｒｍ３６１２が見えるビューであるビュー２
（３７０２）に変更する。そうしてオブジェクト表示画
面２（３６０２）のようにしてにｔｅｒｍ３６１２が表
示されれば、これをマウス１０９によっても選択するこ
とができる。

【０２３０】このように、計算機内で３次元形状として
定義されているものをディスプレイ装置とマウスを用い
て選択する場合に、ディスプレイ装置上に投影されない
ものがある場合には、ビューを変更してディスプレイ装
置上に投影されるようにしてから、選択することができ
る。

【０２３１】そして、このプログラムではこのビューで
仕事をさせたいと操作者がプログラムするとして、カメ
ラに対する状態記憶処理１３４を実行する。このために
は、コマンドバッファの処理対象を空にしておけばよ
い。状態記憶処理１３４が実行されると、 （５１）カメラ ｔｅｒｍが見える位置 ｔｅｒｍが見える方向 ｃａｍｅｒａ＿ｓｅｔ コマン
ドが生成される。これはビューを変更するための特殊な
コマンドである。

【０２３２】つぎに、既定義メソッドｇｏｔｏを用い
て、 （５２）ｒｉｅ ｔｅｒｍ＃ｐｏｓｉｔｉｏｎ ｇｏｔ
ｏ コマンドを加えて、ｒｉｅ３１０２をｔｅｒｍ３６１２
の場所まで歩いて移動させる。

【０２３３】次のコマンド （５３）ｔｅｒｍ ｏｐｅｎｔｅｒｍｉｎａｌ の命令コードは組み込み命令で、大型汎用機と通信路を
開き、これにログオンする。同時に、端末画面１０７を
ディスプレイ装置１０１上に表示する。

【０２３４】次に、コマンド （５４）ｔｅｒｍ ｄａｔｅ ｒｏｏｍ ｇｅｔ ｒｅ
ｓｅｒｖａｔｉｏｎ を実行して大型汎用計算機上の予約アプリケーションプ
ログラムを実行し、ｄａｔｅ３６１０とｒｏｏｍ３６１
１に従って会議室の予約をとる。

【０２３５】以上のことが成功したらコマンド （５５）ｓｕｃｃｅｓｓ＿ｅｎｄ をｙｏｙａｋｕコマンド待ち行列３６３０に加える。こ
れを実行すれば、コマンド列（５１）−（５５）がｙｏ
ｙａｋｕメソッドとして記憶され、コマンド待ち行列ス
タック１２２はポップされ、ｙｏｙａｋｕメソッドプロ
グラミング画面３６２０は消去される。

【０２３６】このようにして、特定のビュー位置を設定
して、その位置にカメラを置いてオブジェクトメソッド
を実行するように指定することができる。また、大型汎
用計算機を用いた仕事を行うこともできる。

【０２３７】Ｄ．変形例 これまでは、３次元形状データベース１２３を用いて３
次元形状をオブジェクト表示画面１０２に表示した例を
説明したが、これは本発明にとって必ずしも本質的では
ない。ここでは、３次元形状を用いないシステムの実現
方法について説明する。例として、１．で説明した電話
をかけるプログラムについて述べる。

【０２３８】電話をかけるプログラムを２次元システム
で実現する場合の問題点は、依頼を受けたオブジェクト
インスタンスが電話オブジェクトインスタンスのところ
までいって、電話をもつことをどう表現するかである。
これには、第３３図に示すように、依頼を受けたオブジ
ェクトインスタンス３８０１を処理の対象となるオブジ
ェクトインスタンス３８０２のところまで移動させて、
電話をとったことを表現するためにその電話を表すアイ
コンを点滅させるなどの強調処理を行えばよい。あるい
は、移動を伴わなくても、両方を強調処理してもよい。
また、第３４図に示すように、依頼を受けたオブジェク
トインスタンスのアイコン３９０１と処理対象のアイコ
ン３９０２との表示を変更させてもよい。さらに、第３
５図に示すように、依頼を受けたアイコン４００１から
処理対象のアイコン４００２に向けて、または処理対象
のアイコン４００２から依頼を受けたアイコン４００１
に向けて、矢印を表示してもよい。

【０２３９】このように、本発明の本質的な点は、プロ
グラムの実行状態をディスプレイ装置上で表現する場合
に、プログラムライブラリの実行を管理するプログラム
を図形化して表示し、これを実行状況に応じて表示を変
化させることである。

【０２４０】さらに、本実施例において、人物アイコン
３１０２に電話をとらせるのに、コマンド（２）を入力
し、このコマンドに対しコマンド列（２０）〜（２６）
からなるメソッドによる定義した。しかしながら、プロ
グラムの実行状態を操作者に知らせるという目的のため
には、電話をかけるコマンド（３）の命令connectのメ
ソッドの中に、あらかじめコマンド列（２０）〜（２
６）を埋め込んでおくことにより、コマンド（３）の入
力に応答した、電話をかける操作の近傍で、人物３１０
２に対して、電話器の方に移動し、受話器を取らせるよ
うにすることもできる。

【０２４１】さらに、本実施例では人物アイコン３１０
２にリンクして受話器を移動させたが、コマンド（３）
の命令connectに応答して、受話器を移動させるように
するとともにできる。これによっても作成中のプログラ
ムから要求があった他のオブジェクトのメソッドが何で
あるかを操作者に分からせることも可能である。

【０２４２】

【発明の効果】以上、本発明によれば、指示により変化
したプログラムの動作状況を表示できるため、プログラ
ムの動作状況を分かり易くすることが可能となる。

【０２４３】

【０２４４】

【０２４５】

【図面の簡単な説明】

【図１】本発明を実現するシステムの、全体の構成図で
ある。

【図２】第１図の主記憶装置に保持されるプログラム作
成用のプログラムの機能ブロックおよびそれに関連する
データベースを示す。

【図３】本実施例で用いるいろいろのオブジェクトイン
スタンス情報を示す図である。

【図４】第２図に示した３次元データベース内の図形デ
ータの例を示す図、

【図５】第２図の音声データベース内の候補音声データ
の構造と処理に関する説明図である。

【図６】第２図のプログラムによる処理されるイベント
データの構造および説明図である。

【図７】音声入力処理に関する流れ図である。

【図８】マウスの入力処理に関する流れ図である。

【図９】キーボードの入力に関する流れ図である。

【図１０】コマンドのフォーマット図である。

【図１１】コマンド待行列の構造図である。

【図１２】コマンド待行列スタッフの構造図である。

【図１３】ユーザ入力を解釈する、イベントディスパッ
チ処理の流れ図である。

【図１４】イベントディスパッチ処理が起動する処理に
関する流れ図である。

【図１５】イベントディスパッチ処理が起動する処理に
関する流れ図である。

【図１６】イベントディスパッチ処理が起動する処理に
関する流れ図である。

【図１７】イベントディスパッチ処理が起動する処理に
関する流れ図である。

【図１８】イベントディスパッチ処理が起動する処理に
関する流れ図である。

【図１９】イベントディスパッチ処理が起動する処理に
関する流れ図である。

【図２０】プログラムコントロール処理が起動する、状
態記憶処理に関する、流れ図である。

【図２１】プログラムコントロール処理が起動する、状
態記憶処理に関する、流れ図である。

【図２２】オブジェクトメソッド実行処理の中でよびだ
される、メソッド実行終了処理に関する、流れ図であ
る。

【図２３】オブジェクトメソッド実行処理の中でよびだ
される、メソッド実行終了処理に関する、流れ図であ
る。

【図２４】オブジェクトメソッド実行処理の中でよびだ
される、メソッド実行終了処理に関する、流れ図であ
る。

【図２５】第２図のプログラムで用いる組み込み命令群
を示す図である。

【図２６】具体例を用いた実施例の説明図であり、ディ
スプレイ装置上の様子と、主記憶装置上の主な状態を説
明するものである。

【図２７】具体例を用いた実施例の説明図であり、ディ
スプレイ装置上の様子と、主記憶装置上の主な状態を説
明するものである。

【図２８】具体例を用いた実施例の説明図であり、ディ
スプレイ装置上の様子と、主記憶装置上の主な状態を説
明するものである。

【図２９】具体例を用いた実施例の説明図であり、ディ
スプレイ装置上の様子と、主記憶装置上の主な状態を説
明するものである。

【図３０】具体例を用いた実施例の説明図であり、ディ
スプレイ装置上の様子と、主記憶装置上の主な状態を説
明するものである。

【図３１】具体例を用いた実施例の説明図であり、ディ
スプレイ装置上の様子と、主記憶装置上の主な状態を説
明するものである。

【図３２】オブジェクトインスタンスの３次元空間内の
配置とそれを投影するビューを説明する図である。

【図３３】それぞれ本発明を２次元システムで簡単に実
現する方法を説明する図である。

【図３４】それぞれ本発明を２次元システムで簡単に実
現する方法を説明する図である。

【図３５】それぞれ本発明を２次元システムで簡単に実
現する方法を説明する図である。

【符号の説明】

１３５…オブジェクトメソッド実行処理、１２３…３次
元形状データベース、１２４…オブジェクトライブラ
リ、１２２…コマンド待ち行列スタック、１２５…候補
音声データベース、１４２…音声認識処理、１４３…音
声イベント発生処理。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 松田 芳樹 東京都国分寺市東恋ヶ窪１丁目280番地 株式会社日立製作所 中央研究所内 (56)参考文献 矢野外２名著，高度通信サービスにお けるヒューマンインタフェースの一検 討，昭和63年春季電子情報通信学会全国 大会論文集（分冊Ｂ−２），ｐ．２−52 小島，松田著，視覚的プログラミング システムＬＩＶＥ，第30回プログラミン グ・シンポジウム報告書，1989年，ｐ. ９−17 小山田・岩戸著，リアルタイムソフト ウェア向け視覚的設計支援の提案−動作 設計技法の概要，第39回（平成元年後 期）情報処理学会全国大会講演論文集 （ＩＩ），ｐ．1582−1583 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 9/44

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 所定の処理に関するメソッドを持つ操作
   対象オブジェクトに対応付けられる操作対象アイコン
   と、前記操作対象オブジェクトに関連する所定の処理の
   メソッドを持つ電子秘書オブジェクトのアイコンとを表
   示し、前記電子秘書オブジェクトのメソッドの実行を指
   示するイベントを受け付け、前記電子秘書オブジェクト
   のメソッドの実行に対応して電子秘書アイコンの表示を
   変化させ、前記電子秘書オブジェクトのメソッドにより
   呼び出される前記操作対象オブジェクトのメソッドの実
   行に対応して前記操作対象アイコンの表示を変化させる
   ことを特徴とするプログラム動作状況表示方法。
2. 【請求項２】 前記電子秘書の表示変化は、前記操作対
   象アイコンの表示の近くに前記電子秘書アイコンの表示
   が移動することを特徴とする請求項１記載のプログラム
   動作状況表示方法。
3. 【請求項３】 所定の処理に関するメソッドを持つ操作
   対象オブジェクトに対応付けられる操作対象アイコン
   と、前記操作対象オブジェクトに関連する所定の処理の
   メソッドを持つ電子秘書オブジェクトのアイコンとを表
   示させる手段と、前記電子秘書オブジェクトのメソッド
   の実行を指示するイベントを受け付ける手段と、前記電
   子秘書オブジェクトのメソッドの実行に対応して電子秘
   書アイコンの表示を変化させる手段と、前記電子秘書オ
   ブジェクトのメソッドにより呼び出される前記操作対象
   オブジェクトのメソッドの実行に対応して前記操作対象
   アイコンの表示を変化させる手段とを備えたことを特徴
   とするプログラム動作状況表示システム。
4. 【請求項４】 前記電子秘書アイコンの表示を変化させ
   る手段は、前記操作対象アイコンの表示の近くに前記電
   子秘書アイコンの表示を移動させることを特徴とする請
   求項３記載のプログラム動作状況表示システム。