JPH04264972A - 自然言語処理装置及びそれを利用した動画形成装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、自然言語処理装置に係
り、特にコンピュータによる動画（コンピュータアニメ
ーション）の生成に利用できる自然言語処理装置及びそ
れを利用した動画形成装置に関する。

【０００２】

【従来の技術】自然言語処理装置としては、知的な計算
機システム（人工知能）の構築を目指した自然言語によ
る対話システム、自然言語そのものを処理の対象とした
多国語間翻訳システムなどが多数開発されている。

【０００３】一般に言語解析は、形態素解析／構文解析
／意味解析の各フェーズからなり、形態素／構文に関し
て一つの文だけを対象に進める方法がほぼ確立している
。

【０００４】意味解析については、複数の文のまとまり
を対象として行う必要性があり、文脈解析の研究として
進められているが、有効な方法は未だ発表されていない
。

【０００５】例えば、日本語解析に以下のような文法規
則を用いて、形態素／構文解析を行うことができる。

【０００６】文→述部、 文→主部＋述部、 主部→名詞句＋助詞、 名詞句→代名詞、 名詞句→名詞、 述部→動詞句、 述部→副詞句＋動詞句、 動詞句→動詞、 動詞句→動詞幹＋動詞、 動詞幹→動詞＋助詞、 副詞句→文＋助詞、 副詞句→名詞句＋助詞 上記の文法規則を用いた場合には、名詞、代名詞、動詞
、助詞を単語の文法カテゴリー（品詞）として作成した
辞書を用いて形態素解析を行う。

【０００７】一例として、「彼が来るまで待っている」
という文の解析の例を示す。

【０００８】 　　　　文−主部−名詞句−代名詞　　　　　　　　　
　　　　　　　　　　　　　　　彼　　　　　　　　　
　　　　　助詞　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　が　　　　　　　　
述部−副詞句−文−述部−動詞句−動詞　　　　　　　
　来る　　　　　　　　　　　　　　　　　　　　　　
助詞　　　　　　　　　　　　　　　　　　　　　　　
　　　まで　　　　　　　　　　　　　　述部−動詞句
−動詞幹−動詞　　　　　　　　　　　　待っ　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　助詞　　　　　　　　　　　　て　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
動詞句−動詞　　　　　　　　　　　　いる次に、意味
解析／文脈解析について各種のモデル（データ構造及び
その操作方式）が提案されているが、言語学の研究から
発展したものと、計算機システムの開発に当たってその
応用分野に依存したものとの２つに大別できる。

【０００９】前者の代表的なものとして単語の意味素性
の分類に基づくものがある。これは単語の持つ意味を、
いろいろな概念（素性）を使って特徴づけるもので、例
えばＨＵＭＡＮ，ＡＤＵＬＴ，ＭＡＬＥの素性をもとに
ｍａｎ：　　　　＋ＨＵＭＡＮ，＋ＡＤＵＬＴ，＋ＭＡ
ＬＥｗｏｍａｎ：＋ＨＵＭＡＮ，＋ＡＤＵＬＴ，−ＭＡ
ＬＥｂｏｙ：　　　　＋ＨＵＭＡＮ，−ＡＤＵＬＴ，＋
ＭＡＬＥｇｉｒｌ：　　＋ＨＵＭＡＮ，−ＡＤＵＬＴ，
−ＭＡＬＥのように語の意味を分類する。

【００１０】これを拡張して対象分野に依存した概念の
体系を作り、使う単語をすべて分類して表現し、これら
を知識として意味解析に用いようとする研究のもっとも
有名なものにフイルモア（Ｆｉｌｌｍｏｒｅ）により提
案された格（ｃａｓｅ）文法がある。

【００１１】格文法とは、言語の種類やその表層的な構
造に依存しない、意味的な格（深層格と呼ぶ）の体系を
作り、文の意味を動詞を中心とする格構造でとらえるも
のである。

【００１２】例えば、「太郎が、レストランでステーキ
を食べる」という文（行為）は 単語知識：太郎　　ｉｓ−ａ　　ＨＵＭＡＮＨＵＭＡＮ
：　　＋ａｎｉｍａｔｅ ステーキ：　　＋ｓｏｌｉｄ　　ｆｏｏｄレストラン：
　　＋ｌｏｃａｔｉｏｎ 格構造：（食べる（ａｇｅｎｔ（ａｎｉｍａｔｅ　　ガ
格）） （ｏｂｊｅｃｔ（ｓｏｌｉｄ　　ｆｏｏｄ　　ヲ格））
（ｌｏｃａｔｉｏｎ（ｌｏｃ　　デ格））（ｉｎｓｔｒ
ｕｍｅｎｔ（ｉｎｓｔ　　デ格））…　　…　　…　　
） これらをもとに、 （食べる　　（ａｇｅｎｔ　　太郎） （ｏｂｊｅｃｔ　　ステーキ） （ｌｏｃａｔｉｏｎ　　レストラン））という意味を持
つと表現される。

【００１３】後者の代表的な研究としては、動作や状態
を概念的に分類して体系化し、文の述べる内容をその体
系の中にあてはめて表現する概念依存構造がある。この
研究は、シャンク（Ｓｃｈａｎｋ）により行われ、１５
の概念カテゴリーによって一つの文の意味を表現し、そ
れら概念の依存関係、因果関係、表現された時制、概念
間の推移などを図的に表現し、文章全体の意味を表現し
ている。

【００１４】言語学と人工知能の両方の流れをくむ研究
としては、イベント及び状態という概念を基礎に、動作
そのものの持つ意味、動作間の関係、つながりを表現し
、イベント／状態を用いて表現するネットワーク構造を
用いる推論機構がある。この推論機構は、アルタ−マン
（Ａｌｔｅｒｍａｎ）によって提案されている。

【００１５】アルタ−マンは、対象とする動作を、ネッ
トワークのノードで表現し、ノード間を結ぶアークの種
類によって、動作概念の分解及び統合、階層化、動作間
の時間的前後関係、因果的関係を表現し、入力文章の表
す概念をこのネットワーク内にマッピングすることによ
り意味解析結果を得る方法を提案している。

【００１６】以下、例文を参照して説明する。

【００１７】例１）ボールが転がっていた。太郎はそれ
を拾った。

【００１８】ボールが転がっていた。太郎はそれを止め
た。

【００１９】例２）太郎が花子の方に歩き始めた。花子
は太郎を止めた。

【００２０】太郎が花子の方に倒れ始めた。花子は太郎
を止めた。

【００２１】例３）太郎は手袋をみつけた。太郎はそれ
を机に置いた。

【００２２】太郎は手袋をはずした。太郎はそれを机に
置いた。

【００２３】いずれの場合も全く同じ形の文が含まれ、
さらにそれ以外の部分でも形態素／構文の上では同じ解
析結果が得られる。しかし、これらの文の集まりは、そ
れぞれ異なる意味内容を持つと考えるのが妥当である。

【００２４】例１の場合、前半の文が「転がっていると
いう動作状態」を指すのか、「転がったあとの静止状態
」を指すのかは、後半の文により異なっている。例２の
場合、結果が「太郎は少しは歩いた」のと「太郎は倒れ
なかった」という動作終了後の世界の状態が前半の文の
動作によって異なってくる。例３の場合、文そのものの
意味以外に二つの文の表現する動作の間に「手袋を拾い
上げる」という動作の有無が意味の差となって現れてい
る。

【００２５】従来の言語解析の方法では、個々の文の意
味の間で、参照可能なつながりとしては、単語しか存在
していないので、上記例１や例２の文の解釈を厳密に行
うことができなかった。また動画シナリオのような自然
言語を解釈する際に上記例３のような動作の補間などの
処理ができなかった。

【００２６】上述の言語解析の方法を応用した１つとし
て、コンピュ−タによる動画の生成がある。近年、ビデ
オ機器の普及に伴って画像や動画情報を用いた効果的な
情報伝達が可能になり、ビデオテープ等の動画メディア
による情報伝達のニーズが高まっており、自然言語によ
るプログラミング技術やコンピュータグラフィクス技術
の進歩により、計算機を用いて画像や動画（コンピュー
タアニメーション）の生成が可能な動画生成装置が注目
されている。

【００２７】その一例として、Ｐｅｒｓｏｎａｌ　ＬＩ
ＮＫＳ　　（ＩＭＡＧＩＣＡ社製）のように、ハードウ
ェアを付加すればパーソナルコンピュータ上で画像や動
画の生成ができるものが既に市販されている。

【００２８】コンピュータグラフィクスを用いた方法で
は、計算機内に与えられた人や物のデータ或いは視点や
光源データなどに基づいて１コマの画像を生成し、その
作業を繰り返すことにより動画を生成する。

【００２９】これにより実写では得られない架空世界の
映像を得ることができ、また、実写では危険性が高い場
合やコストが高い場合には、シミュレーションの映像を
得ることができる。

【００３０】画像用あるいは動画用のデータ作成の１つ
の方法としては、グラフィックディスプレイ装置やタブ
レット装置を用いて行うか、数値情報を端末装置から直
接入力することにより行う方法がある。この方法によれ
ば、画像の生成及びデータの修正の繰り返しを対話的に
行なうことにより、所望のコンピュータアニメーション
を作成できる。

【００３１】前記のＬＩＮＫＳ　を用いた場合には、形
状データ作成ツール、表面マッピングデータ作成ツール
など用途に応じたデータをディスプレイ装置やタブレッ
ト装置を使用して作成するためのプログラムツール群が
用意されている。

【００３２】画像用あるいは動画用のデータの作成の他
の方法としては、動画を、動き（動作）を表現したい登
場物の属性や登場物間の関係の変化として捉えてこれら
の属性や関係の変化をプログラムにより記述して生成す
る方法がある。

【００３３】ここで、登場物とは、ストーリに登場する
人、物、視点、光源、背景を表すものである。

【００３４】このように動きをプログラムによって記述
し、そのプログラムの実行結果として動画を生成する方
法として、アズアズ［ＡＳＡＳ（Ｒｅｙｎｏｌｄｓ．Ｃ
．Ｗ．：Ｃｏｍｐｕｔｅｒ　Ａｎｉｍａｔｉｏｎ　ｗｉ
ｔｈ　Ｓｃｒｉｐｔｓ　ａｎｄ　Ａｃｔｏｒｓ．Ｃｏｍ
ｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ．Ｖｏｌ．１６，Ｎｏ．
３，ｐｐ．２８９−２９６，１９８２）］、パラダイス
［Ｐａｒａｄｉｓｅ（内木，丸一，所：行動シミュレー
ションに基づいたアニメーションシステムＰａｒａｄｉ
ｓｅ，コンピュータソフトウェア，Ｖｏｌ．４，Ｎｏ．
２，ｐｐ．２４−３８，１９８７）］、イ−ジ−［Ｅａ
ｓｙ（宮本，花田，吉川：動画生成のための平行動作モ
デル、情報処理学会ソフトウェア工学研究会、Ｃｏｌ　
．９０，Ｎｏ．６２，ｐｐ．５１−５８，１９９０）］
などが提案されている。

【００３５】上記のアズアズ、パラダイス及びイ−ジ−
は、表現能力に微妙に差異があるが、動きを登場物の属
性や登場物間の関係の変化であると捉えて、これらの変
化をプログラムによって記述することで動画を生成する
という点では共通している。

【００３６】上記のようなプログラムにより動画の生成
を行なう方法は、個別にデータ作成を行なう方法に比べ
てコンピュータアニメーションで表したいストーリをよ
り直接的に表現できるという利点がある。

【００３７】

【発明が解決しようとする課題】上述の従来の自然言語
を用いたプログラムによる動画生成の方法において、上
述した格文法を用いる意味解析では、名詞（もの）の概
念については分類を行っているが、動作の概念について
は名詞概念を結び付けるためのラベルとして用いるのみ
で、現実世界の時間軸上での動作そのものの持つ意味を
表現していないという問題点がある。

【００３８】また、上述した概念依存構造では、動作の
内容を、ひとかたまりとして表現することをその目的と
しており、ものの持つ意味を有効に使っておらず、複数
の動作の間での開始／継続／終了などの時点間の関係を
明らかにできないという問題点がある。

【００３９】更に、上述したアルターマンの方法では、
動作主体、客体などの単語の意味を、単なるラベル（文
字列）として扱っており、ものの意味である性質や特性
は、動作をもとにしてしか表現できず、また、ネットワ
ークによって関連付けている情報しか出力できないので
汎用性が無いという問題点がある。

【００４０】上述の従来の動画生成装置においては、計
算機内に画像用あるいは動画用のデータを作成すること
が容易ではないという問題点がある。

【００４１】また、データ作成システムの操作や、動画
記述言語のプログラミングに習熟すること自体が容易で
なく、映像の表現能力と同時にシステムの操作能力を有
した専門のオペレータを必要とし、そのため、コンピュ
ータアニメーションの製作コストに占めるデータ作成の
コストの割合が非常に高く、全体の生産コストが軽減せ
ず、情報伝達手段としてのコンピュータアニメーション
の大衆化が阻害されているという問題点がある。

【００４２】本発明は、上述の従来の自然言語を用いた
プログラムによる動画生成の方法における問題点に鑑み
、単語の持つ意味を表現することにより動作の内容を表
現し、動作を更に時間的に分解して、複数の動作間の関
係を明確化して意味／文脈解析ができる自然言語処理装
置を提供する。

【００４３】更に、本発明は、上述の従来の動画生成装
置における問題点に鑑み、上記複数の動作間の関係を明
確化して意味／文脈解析ができる自然言語処理装置を用
いた動画生成装置を提供する。

【００４４】

【課題を解決するための手段】本発明は、形態素の解析
のための単語辞書及び構文規則を表現する文法辞書を使
って一文単位で自然言語の解析を行う構文解析手段と、
自然言語の動詞が意味する動作の前の状態、動作中の状
態、動作後の状態をそれぞれ表現する動作概念辞書と、
動作概念辞書を検索して状態を管理する機能を有する動
作解析手段とを備えており、動作解析手段は、構文解析
手段からの出力に基づいて動作概念辞書の検索機能、対
象世界での動作の補間及び各状態間の整合を行ない対象
世界における動作の開始及び終了の時点間の関係を抽出
する自然言語処理装置によって達成される。

【００４５】また、本発明は、自然言語処理装置と、自
然言語処理装置から出力されたデータに対して動画化す
るための情報を補充する推論手段と、推論手段によって
補充された情報に基づいて動画の生成を制御する動画生
成制御手段と、動画生成制御手段の出力に応じて画像を
生成する画像生成手段とを備えており、動画生成制御手
段は、自然言語処理装置に入力された文章によって表現
される画像データをコマ毎に画像生成手段に繰り返して
送る動画生成装置によって達成される。

【００４６】

【作用】本発明の自然言語処理装置では、構文解析手段
は形態素の解析のための単語辞書及び構文規則を表現す
る文法辞書を使って一文単位で自然言語の解析を行い、
動作概念辞書は自然言語の動詞が意味する動作の前の状
態、動作中の状態、動作後の状態をそれぞれ表現し、動
作解析手段は動作概念辞書を検索して構文解析手段から
の出力に基づいて動作概念辞書の検索機能、対象世界で
の動作の補間及び各状態間の整合を行ない対象世界にお
ける動作の開始及び終了の時点間の関係を抽出して状態
を管理する。

【００４７】また、本発明の動画生成装置では、推論手
段は自然言語処理装置から出力されたデータに対して動
画化するための情報を補充し、動画生成制御手段は推論
手段によって補充された情報に基づいて動画の生成を制
御して自然言語処理装置に入力された文章によって表現
される画像データをコマ毎に画像生成手段に繰り返して
送り、画像生成手段は動画生成制御手段の出力に応じて
画像を生成する。

【００４８】

【実施例】以下、図面を参照して本発明の自然言語処理
装置及びその自然言語処理装置を備えた動画生成装置に
おける実施例を詳述する。

【００４９】なお、プログラミング言語ＬＩＳＰによる
表現形式を用いて本発明の自然言語処理装置を説明する
。

【００５０】まず、動作を表す文章としてアニメーショ
ンシナリオ文章の解析の例を用いて説明する。

【００５１】図１は、本発明の自然言語処理装置の一構
成を示す。

【００５２】図に示す自然言語処理装置は、自然言語に
よって記述されたアニメーションシナリオ文を読んで、
意味解析の結果として動作の時間的な前後関係を表現す
る出力を得るように構成されている。

【００５３】図１の自然言語処理装置は、入力部１０、
言語解析部１１、単語辞書部１２、文法規則部１３、格
構造／アスペクト部１４、動作解析部１５、オブジェク
トデータ部１６、関係データ部１７、動作辞書部１８及
びネットワーク出力部１９から構成されている。

【００５４】次に、上述の自然言語処理装置の動作を説
明する。

【００５５】入力部１０は日本語文を入力し、言語解析
部１１は入力部１０に入力された日本語文を単語辞書部
１２、文法規則部１３を参照して一文単位で形態素／構
文解析してその意味を解析結果として出力し、格構造／
アスペクト部１４は言語解析部１１から出力された解析
結果を格構造とアスペクトとにより表現して動作解析部
１５に送る。動作解析部１５は、格構造／アスペクト部
１４からの出力を順番に取り込んで仮想的な時点（イベ
ント）を生成し、オブジェクトデータ部１６、関係デー
タ部１７、動作辞書部１８に基づいて各時点における世
界の状態及び各時点間の時間的な前後関係を推論してネ
ットワーク出力部１９から出力する。

【００５６】次に、図１の自然言語処理装置に用いられ
ている本実施例の自然言語処理方法を詳述する。

【００５７】文章で表現しようとする対象世界における
ある瞬間の状態は、 （Ａ）オブジェクト（登場物）が持つ属性（Ｂ）属性の
値 （Ｃ）オブジェクト間の関係 により記述される。

【００５８】この対象世界でオブジェクトの行う動作は
、以下の３つであるとする。

【００５９】（ａ）オブジェクトが持つ属性の値の変化
（ｂ）オブジェクト間にある（位置関係を含む）関係の
変化 （ｃ）主体性を持つオブジェクトが引き起こす他のオブ
ジェクトの状態変化 時間関係の処理の概要を図２に示す。図２に示すように
、動作の実行には一定の時間が必要であると考えて、一
つの動作を動作の開始以前、動作の途中、動作の終了後
の３つの状態２０で表現し、前／中／後の３つの状態か
らなる一つの動作をプロセス２１と呼ぶ。

【００６０】入力部１０（図１参照）に入力された日本
語文（以後、文と称する）２２は、一つのプロセス２１
の全部または一部と、そのプロセス２１の中で文が観測
している時点（開始／最中／終了／完了）２３とを合わ
せて表現するものと捕えることができる。

【００６１】文２２がプロセス２１のどの時点または部
分を表すかを、文２２の持つアスペクトと言う。プロセ
ス２１には動作の開始及び終了というイベント（時点）
２３が付随する。

【００６２】図１に示す自然言語処理装置は、入力部１
０から複数の文を入力として読み込み、プロセスの開始
／終了、即ち状態が変化する瞬間のイベントと、その変
化の内容及びプロセス観測の瞬間（プロセスのどの時点
を文が述べたかを表す時点）のイベントとを加えた各イ
ベント間の時間的な前後関係を表現するネットワークを
、上述したネットワーク出力部１９から出力する。

【００６３】時間の前後関係としては、アフター（ＡＦ
ＴＥＲ）／ビフォア（ＢＥＦＯＲＥ）／イコール（ＥＱ
ＵＡＬ）を考える。

【００６４】共通の性質を持つオブジェクトをまとめる
ために、クラス（オブジェクトの型であり分類と考える
こともできる）を作って管理する。

【００６５】オブジェクトが、ある型を持つときにその
クラスに属するという。あるクラスに属するオブジェク
トをそのクラスのインスタンスと呼ぶ。

【００６６】以下、各表現を示す。

【００６７】１．クラスの表現 形式：クラス名、属性名による入れ子リスト（（クラス
名（ｉｓａ（クラス名）） （属性名（ファセット　　値） （ファセット　　値）） …　　　　　　　　　　　　　　　　））（　　　　　
　　　　　　　　　…　　　　　　　　　　　　　　　
　）） クラス名： 任意の文字列。ただし、ユニーク。

【００６８】ｉｓａがないクラスはルートクラスとみな
す。

【００６９】属性名：任意の文字列。

【００７０】値：一つ以上の任意のアトムによるリスト
。

【００７１】ファセット：値の設定、値に対する制約。

【００７２】ｖａｌｕｅ：デフォールト値の設定インス
タンスに属性と値の設定がない時に使用する。

【００７３】ｓｅｌｅｃｔｉｏｎ：値の候補のリスト値
となる可能性のあるものを列挙する。

【００７４】ｃｌａｓｓ：クラス名 値が何らかのオブジェクトであって、かつ指定されたク
ラスに属するという制約を表現する。

【００７５】クラスは階層構造で表現する。階層構造に
おいて下のクラスに指定されていない属性及び値は、上
のクラスの属性及び値（ただしｖａｌｕｅファセットの
み）を継承する。

【００７６】以下に、全てのオブジェクトを４種類（４
つのルートクラス：ＨＵＭＡＮ／ＯＢＪＥＣＴ／ＳＰＡ
ＣＥ／ＰＡＲＴ　　ＯＦ　　ＨＵＭＡＮ）に分類した階
層構造の表現を示す。

【００７７】＊ＣＬＡＳＳＥＳ＊ （ＨＵＭＡＮ　（ｐａｒｔｓ　（ｃｌａｓｓ　（ＰＡＲ
Ｔ　　ＯＦ　　ＨＵＭＡＮ）））（ｂｏｄｙ　（ｓｅｌ
ｅｃｔｉｏｎ　（ｓｔａｎｄ　ｌｉｅ　ｗａｌｋｉｎｇ
））（ＯＢＪＥＣＴ） （ＳＰＡＣＥ） （ＰＡＲＴ　ＯＦ　ＨＵＭＡＮ） （ＭＵＭＩＮＳ　（ｉｓａ　（ＨＵＭＡＮ））（ｂｏｄ
ｙ　（ｓｅｌｅｃｔｉｏｎ　（ｓｔａｎｄ　ｓｉｔ　ｌ
ｉｅ）））（ＳＴＡＩＲ　（ｉｓａ　（ＤＩＲＥＣＴＥ
Ｄ　　　ＰＡＴＨ）））（ＣＵＢＥ　（ｉｓａ　（ＯＢ
ＪＥＣＴ）））（ＥＱＵＩＰＭＥＮＴ　（ｉｓａ　（Ｏ
ＢＪＥＣＴ）））（ＰＡＴＨ　（ｉｓａ　（ＳＰＡＣＥ
）））（ＤＩＲＥＣＴＥＤ　ＰＡＴＨ　（ｉｓａ　（Ｐ
ＡＴＨ）））（ＲＯＯＭ　（ｉｓａ　（ＳＰＡＣＥ））
）（ＢＥＤ　（ｉｓａ　（ＣＵＢＥ）） （ｓｉｚｅ　（ｖａｌｕｅ　（ＬＬ）））（ｓｈａｐｅ
　（ｖａｌｕｅ　（ＣＡＲＰＥＴ））））（ＳＨＥＬＦ
　（ｉｓａ　（ＣＵＢＥ））（ｓｉｚｅ　（ｖａｌｕｅ
　（Ｌ）））（ｄｉｒＸ　（ｖａｌｕｅ　（ｔ）））（
ｄｉｒＹ　（ｖａｌｕｅ　（ｔ）））（ｄｉｒＺ　（ｖ
ａｌｕｅ　（ｔ）））（ｉｎｓｉｄｅ　（ＯＮ））） （ＣＨＡＩＲ　（ｉｓａ　（ＣＵＢＥ））（ｓｉｚｅ　
（ｖａｌｕｅ　（Ｌ））））（ＢＯＯＫ　（ｉｓａ　（
ＣＵＢＥ））（ｓｉｚｅ　（ｖａｌｕｅ　（Ｓ）））（
ｓｔａｔｅ　（ｖａｌｕｅ　（ｃｌｏｓｅ））（ｓｅｌ
ｅｃｔｉｏｎ　（ｏｐｅｎ　ｃｌｏｓｅ））））（ＷＩ
ＮＤＯＷ　（ｉｓａ　（ＥＱＵＩＰＭＥＮＴ））（ｓｔ
ａｔｅ　（ｖａｌｕｅ　（ｃｌｏｓｅ））（ｓｅｌｅｃ
ｔｉｏｎ　（ｏｐｅｎ　ｍｉｄｄｌｅ　ｃｌｏｓｅ））
））２．オブジェクトの表現 　　オブジェクトは、あるクラスのインスタンスとして
表現する。

【００７８】形式：オブジェクト名、属性名による入れ
子リスト （（オブジェクト名　　（属性名（値））（　　　　…
　　　　　　） …　　　　　　　　　　　　　　　　））（　　　　　
　　　　　　　… ） ） オブジェクト表現の例を示す。

【００７９】＊ＯＢＪＥＣＴＳ＊ （ｍｕｍｉｎ１　（ｉｎｓｔａｎｃｅ−ｏｆ　（ＭＵＭ
ＩＮＳ））（ｎａｍｅ　（ムーミン）） （ｂｏｄｙ　（ｌｉｅ））） （ｒｏｏｍ１　（ｉｎｓｔａｎｃｅ−ｏｆ　（ＲＯＯＭ
））（ｎａｍｅ　（部屋））） （ｂｅｄ１　（ｉｎｓｔａｎｃｅ−ｏｆ　（ＢＥＤ））
（ｎａｍｅ　（ベッド））） （ｓｈｅｌｆ１　（ｉｎｓｔａｎｃｅ−ｏｆ　（ＳＨＥ
ＬＦ））（ｎａｍｅ　（本棚））） （ｃｈａｉｒ１　（ｉｎｓｔａｎｃｅ−ｏｆ　（ＣＨＡ
ＩＲ））（ｎａｍｅ　（いす））） （ｂｏｏｋ１　（ｉｎｓｔａｎｃｅ−ｏｆ　（ＢＯＯＫ
））（ｎａｍｅ　（本）） （ｓｔａｔｅ　（ｃｌｏｓｅ））） （ｗｉｎｄｏｗ１　（ｉｎｓｔａｎｃｅ−ｏｆ　（ＷＩ
ＮＤＯＷ））（ｎａｍｅ　（窓）） （ｓｔａｔｅ　（ｏｐｅｎ））） ３．関係の表現形式 形式：ｒｅｌａｔｉｏｎ ｒｅｌａｔｉｏｎ：（関係名　　オブジェクト名　　エ
リア名）または （関係名　　オブジェクト名　　オブジェクト名）関係
名：任意の文字列 エリア名：（ＯＰＥＲＡＴＯＲ　　オブジェクト名）Ｏ
ＰＥＲＡＴＯＲ：任意の文字列 例）　　（ｂｅ　ｏｎ　ｍｕｍｉｎ１　（ｃｅｎｔｅｒ
　ｒｏｏｍ１））（ｂｅ　ｉｎ　ｍｕｍｉｎ１　ｒｏｏ
ｍ１）（ｈｏｌｄｉｎｇ　ｍｕｍｉｎ１　ｂｏｏｋ１）
（ｂｅ　ａｔ　ｍｕｍｉｎ１　ｓｈｅｌｆ１）（ｆａｃ
ｅ　ｔｏ　ｍｕｍｉｎ１　ｂｏｏｋ１）４．動作辞書の
表現形式 動作名、動作に参加するオブジェクト、動作内容の３つ
を用いて記述する。動作内容は動作の前／中／後の状態
を記述する。

【００８０】形式：（動作名　　（（ｃａｓｅＣ）　（
ｐｒｅ−ｃｏｎｄｉｔｉｏｎｓ） （ｃｏｎｄｉｔｉｏｎｓ） （ｐｏｓｔ−ｃｏｎｄｉｔｉｏｎｓ））（　　　　　　
．　　　　．　　　　．　　　　）（　　　　　　．　
　　　．　　　　．　　　　））のリストｃａｓｅＣ　
： （ｌａｂｅｌ　クラス名）のリスト ｐｒｅ−ｃｏｎｄｉｔｉｏｎ，　ｃｏｎｄｉｔｉｏｎ，
　ｐｏｓｔ−ｃｏｎｄｉｔｉｏｎ：ｒｅｌａｔｉｏｎ　
または　ｏｂｊｅｃｔ　制約からなるリストｏｂｊｅｃ
ｔ制約： （クラス名　　（属性名（値） （属性名（値） …　　　　　　　　） 例） ＊ＡＣＴ−ＤＩＣＴ＊ （ｗａｌｋ　（　（（ｇａ　ＨＵＭＡＮ）　（ｗｏ　Ｓ
ＰＡＣＥ＃１）（ｋａｒａ　ＳＰＡＣＥ＃２）　（ｎｉ
　ＳＰＡＣＥ＃３）（（ＨＵＭＡＮ　（ｂｏｄｙ　（ｓ
ｔａｎｄ）））（ｂｅ　ｏｎ　ＨＵＭＡＮ　ＳＰＡＣＥ
＃２））（（ｂｅ　ｏｎ　ＨＵＭＡＮ　ＳＰＡＣＥ＃１
）（ＨＵＭＡＮ　（ｂｏｄｙ　（ｗａｌｋｉｎｇ）））
）（（ｂｅ　ｏｎ　ＨＵＭＡＮ　（ＳＰＡＣＥ＃３）（
ＨＵＭＡＮ　（ｂｏｄｙ　（ｓｔａｎｄ）））））（　
　　　．　　．　　．　　．　　．　　　））（　　．
　　．　　．　　．　　　　）（　　　　．　　　　．
　　　　．　　　　．　　　　　　　）ｃａｓｅＣ　の
表現で、クラス名に＃＋数字がついたものは、ｐｒｅ−
ｃｏｎｄｉｔｉｏｎ，　ｃｏｎｄｉｔｉｏｎ，　ｐｏｓ
ｔ−ｃｏｎｄｉｔｉｏｎの記述で、同じクラスに属する
ものを区別するために用いる。

【００８１】＃＋数字をはずしたクラスに属するオブジ
ェクトがその格に来ることを表す。

【００８２】５．言語解析部の出力形式形式：ＩＮＰＵ
Ｔのリスト ＩＮＰＵＴ　：（ｃａｓｅ０　（アスペクト動作名））
ｃａｓｅ０　：（ｌｅｂｅｌ　ｃ−ｏｂｊｅｃｔ）のリ
ストｌｅｂｅｌ　：格を表すラベル（任意の文字列）ｃ
−ｏｂｊｅｃｔ：オブジェクト名 または （ＯＰＥＲＡＴＯＲ　オブジェクト名）アスペクト：Ｓ
ＴＡＲＴ／ＥＮＤ／ＰＲＯＧＲＥＳＳ／ＣＯＭＰＬＥＴ
Ｅ　のいずれか。

【００８３】動作名：動作辞書の見出し語例）入力文が
次のようであった時、その出力の例を下に示す。

【００８４】ムーミンが寝ている： ムーミンが目を開ける： ベッドから降りる： たなに向かって歩き始める： 本を開ける： ドアを開ける： 部屋の中を歩いている： 窓の方に歩いている （（（ｇａ　ｍｕｍｉｎ１））　（ＣＯＭＰＬＥＴＥ　
ｌｉｅ））（（（ｇａ　ｍｕｍｉｎ１）　（ｗｏ　ｅｙ
ｅ１））　（ＥＮＤ　ｏｐｅｎ））（（（ｇａ　ｍｕｍ
ｉｎ１）　（ｋａｒａ　ｂｅｄ１））　（ＥＮＤ　ｇｏ
ｄｏｗｎ））（（（ｇａ　ｍｕｍｉｎ１）　（ｎｉ　ｓ
ｈｅｌｆ１））　（ＳＴＡＲＴ　ｗａｌｋ　ｔｏｗａｒ
ｄ））（（（ｇａ　ｍｕｍｉｎ１）　（ｗｏ　ｂｏｏｋ
１））　（ＥＮＤ　ｏｐｅｎ））（（（ｇａ　ｍｕｍｉ
ｎ１）　（ｗｏ　ｄｏｏｒ１））　（ＥＮＤ　ｏｐｅｎ
））（（（ｇａ　ｍｕｍｉｎ１）　（ｗｏ　（ｉｎｓｉ
ｄｅ　ｒｏｏｍ１）））（ＰＲＯＧＲＥＳＳ　ｗａｌｋ
））（（（ｇａ　ｍｕｍｉｎ１）　（ｎｉ　（ａｒｒｏ
ｕｎｄ　ｗｉｎｄｏｗ１）））　（ＰＲＯＧＲＥＳＳ　
ｗａｌｋ）） ６．動作解析部の出力形式 動作解析部１５（図１参照）は、図３に示すように文構
造体（ＳＥＮＴＥＮＣＥ構造体）３１、プロセス構造体
（ＰＲＯＣＥＳＳ　構造体）３２及びイベント構造体（
ＥＶＥＮＴ　構造体）３３の三つを出力する。この三つ
の構造体３１，３２，３３は互いにポインタ３４により
関係付けられる。

【００８５】以下、各構造体３１，３２，３３の構成を
示す。

【００８６】ｓｅｎｔｅｎｃｅ構造体３１：（ｄｅｆｓ
ｔｒｕｃｔ　ｓｅｎｔｅｎｃｅｃａｓｅ−ｆｒａｍｅ； ｐｒｏｃｅｓｓ　；ｐｒｏｃｅｓｓ　構造体ｏｔｈｅｒ
　；ｓｅｎｔｅｎｃｅ構造体） ｃａｓｅ−ｆｒａｍｅ： 言語解析出力（ＩＮＰＵＴ）の−ｏｂｊｅｃｔ　を、辞
書引き結果のｃａｓｅＣ　のうち、代入できる部分だけ
置き換えたもの例）（（Ａ　ＭＵＭＩＮ）　（ＳＰ　Ｂ
ＥＤ）　（ＤＰ　ｓｐａｃｅ）　（ＰＰ　ｐａｔｈ））
この構造体を入力文順に並べて　＊ｓｅｎｔｅｎｃｅ＊
　というリストで保持する。

【００８７】ｐｒｏｃｅｓｓ　構造体３２：（ｄｅｆｓ
ｔｒｕｃｔ　ｐｒｏｃｅｓｓｉｄ　；　ｎｏｎ−ｎｅｇ
ａｔｉｖｅ　ｕｎｉｑｕｅ　ｉｎｔｅｇａｒ，　ｓｅｒ
ｉａｌ−ｎｕｍｂｅｒ．ｓｅｎｔｅｎｃｅ　；　　プロ
セスの基となる文のｓｅｎｔｅｎｃｅ構造体ｓｔａｒｔ
−ｅｖｅｎｔ　；　ｅｖｅｎｔ　構造体ｅｎｄ−ｅｖｅ
ｎｔ　；　ｅｖｅｎｔ　構造体ｐｒｅｐａｒｅ−ｅｖｅ
ｎｔ　；　ｅｖｅｎｔ　構造体ｏｂｓｅｒｖｅｄ　ｅｖ
ｅｎｔ　；　ｅｖｅｎｔ構造体） ｅｖｅｎｔ　構造体３３： （ｄｅｆｓｔｒｕｃｔ　ｅｖｅｎｔ ｉｄ　；　ｎｏｎ−ｎｅｇａｔｉｖｅ　ｕｎｉｑｕｅ　
ｉｎｔｅｇａｒ，　ｓｅｒｉａｌ−ｎｕｍｂｅｒ．ｐｒ
ｏｃｅｓｓ　；　イベントの基となるプロセスのｐｒｏ
ｃｅｓｓ　構造体 ｃｏｎｔｅｎｔｓ　；　ｅｘ．　（（ＭＵＭＩＮ　（ｆ
ｉｇｕｒｅ　（ＳＴＡＮＤ）））（ＭＵＭＩＮ　（ｍｏ
ｖｅ　（ＯＦＦ）））（ｂｅ−ｏｎ　ＭＵＭＩＮ　ｓｐ
ａｃｅ））ｂｅｆｏｒｅ　；　　イベント構造体のリス
トａｆｔｅｒ　；　イベント構造体のリストｅｑｕａｌ
　；　イベント構造体のリスト） ｃｏｎｔｅｎｔｓ： ＲＥＬＡＴＩＯＮまたはＯＢＪＥＣＴ制約のリスト。

【００８８】（そのイベントが起こす変化後の世界の属
性制約と関係表現）ｎｉｌ　、または予約語ｏｂｓｅｒ
ｖｅｄの場合も含む。

【００８９】（予約語が入ったイベントをＯｂｓｅｒｖ
ｅｄＥｖｅｎｔ　と呼ぶ。ＯｂｓｅｒｖｅｄＥｖｅｎｔ
　は入力文１文につき、ひとつずつ存在する） ７．動作解析部での処理内容 動作解析部１５では言語解析部１１の出力と動作辞書部
１８をもとに、文が述べられた瞬間に対応したイベント
と状態（属性の値と関係）の変化の瞬間に対応したイベ
ントとをそれぞれ生成し、それらを時間軸上に並べる。

【００９０】前後関係があるイベントの間に状態間の矛
盾が生じた時は、その矛盾を解消する変化を起こすイベ
ントを生成してその間に追加する。動作解析部１５での
データの流れと、以下の手順に沿った処理を図４及び図
５に示す。

【００９１】（ａ）シナリオ初期状態を起こすイベント
としてＩｎｉｔＥｖｅｎｔ　を作る。この段階では何も
内容を持たない。

【００９２】（ｂ）入力文をひとつずつ取り出し、以下
の処理を繰り返す。

【００９３】（ｃ）入力文の動詞と格表現をもとに動作
辞書部１８を検索する。図５の参照番号２５の部分。

【００９４】（ｄ）動作辞書部１８には図４の参照番号
２８、２９、３０に示すようにｐｒｅ−ｃｏｎｄｉｔｉ
ｏｎ／ｃｏｎｄｉｔｉｏｎ／ｐｏｓｔ−ｃｏｎｄｉｔｉ
ｏｎ　　が記述してある。

【００９５】図４に示す参照番号３１と３３が示すよう
に、それぞれは動作、即ちプロセスの開始前の状態、動
作途中の状態、動作後の状態を表す。

【００９６】各状態は、属性制約（オブジェクトとその
属性及び値の入れ子表現）か、関係制約（関係名と２つ
のオブジェクトとのリスト表現）のリストで表されてい
る。いずれかがｎｉｌ　であることもある。

【００９７】（ｅ）図４に示す参照番号３４で、状態の
変わり目のタイミング（動作の前提となる状態の生起３
５、動作の開始３６、及び終了３７を表すイベント、文
が発せられた瞬間、即ち、その動作のどの部分を観測し
たかを表すイベント３８を作る。

【００９８】動作の前提となる状態の生起イベント：Ｐ
Ｅ（ＰｒｅｐａｒｅＥｖｅｎｔ） 動作開始イベント：ｓ 動作終了イベント：ｅ 動作観測の瞬間を表すイベント：ＯＥ（Ｏｂｓｅｒｖｅ
ｄＥｖｅｎｔ）（ｆ）図５に示す参照番号４２で、Ｏｂ
ｓｅｒｖｅｄＥｖｅｎｔ　と、動作の開始／終了イベン
ト（ｓ／ｅ）　との時間的な前後関係（ａｆｔｅｒ／ｂ
ｅｆｏｒｅ関係）を文のアスペクトをもとに決定する。 ”＜＜”をａｆｔｅｒ　の関係、”＝”をｅｑｕａｌ　
の関係とする。

【００９９】アスペクトＳＴＡＲＴ：ＰＥ＜＜　（ｓ　
＝　ＯＥ）　＜＜ｅ　　とする アスペクトＰＲＯＧＲＥＳＳ：ＰＥ＜＜　ｓ＜＜　ＯＥ
　＜＜ｅ　　とするアスペクトＥＮＤ：ＰＥ＜＜　ｓ＜
＜　（ＯＥ　＝ｅ）　　　とするアスペクトＣＯＭＰＬ
ＥＴＥ：ＰＥ＜＜　ｓ＜＜ｅ＜＜　ＯＥ　　　とする（
ｇ）図５に示す参照番号４０，４１が示すように、前の
文によるＯｂｓｅｒｖｅｄＥｖｅｎｔ（ＰＯＥ　と呼ぶ
　）と、現在の文によるＯｂｓｅｒｖｅｄ−Ｅｖｅｎｔ
との関係をＰＯＥ　＜＜ＯＥ　　とする。

【０１００】（ｈ）その文より以前に入力された文によ
って構成されているイベントと、現在処理中のイベント
（ｓ／ｅ／ＰＥ／ＯＥ）　との間で分かるものについて
前後関係を付ける。この処理の詳細を以下に記す。

【０１０１】動作開始以前に必要とされる状態（ｐｒｅ
−ｃｏｎｄｉｔｉｏｎ）がなければ、何もしない。

【０１０２】ｐｒｅ−ｃｏｎｄｉｔｉｏｎ　から一つの
属性制約（オブジェクトー属性名ー値の３つ組）、また
は関係表現（関係名ーオブジェクト名ーオブジェクト名
）を一つずつ取り出し、以下の操作を繰り返す。（一つ
の属性制約または関係表現をＣｏｎｄｉｔｉｏｎＥｌｅ
ｍｅｎｔ（ＣＥ）と呼ぶ）ＯＥからｂｅｆｏｒｅ／ａｆ
ｔｅｒ関係を逆方向（ｅｑｕａｌ　の関係も含む）にた
どり、ＣＥを起こすイベントがないか調べる。

【０１０３】あれば、その時点からｂｅｆｏｒｅ／ａｆ
ｔｅｒ関係を順方向にたどり、ＣＥに矛盾するイベント
（ＣＴＥ　）がないか調べる。

【０１０４】なければ何もせず、処理を終える。

【０１０５】あれば、ＰＥにＣＥを加え、ＣＴＥ　＜＜
　ＰＥ　の関係をつける。

【０１０６】ＯＥからｂｅｆｏｒｅ／ａｆｔｅｒ関係を
逆方向（ｅｑｕａｌ　の関係も含む）にたどり、ＣＥと
矛盾するイベントがないか調べる。

【０１０７】矛盾するものがあれば、その時点からｂｅ
ｆｏｒｅ／ａｆｔｅｒ関係を順方向にたどり、ＣＥを起
こすイベント（ＣＴＥ　）がないか調べる。

【０１０８】あればＣＴＥ　＜＜　（ＰＥまたはＯＥ）
なければ、ＰＥにＣＥを加え、ＣＴＥ　＜＜　ＰＥ　の
関係をつける。

【０１０９】ＣＥが属性制約であれば、それをＩｎｉｔ
Ｅｖｅｎｔ　に加える。

【０１１０】以上の処理を入力文すべてについて順次行
った結果は、イベントを節点とし、前後関係をリンクと
するネットワークになり、これを自然言語処理装置での
処理結果として出力する。

【０１１１】例として以下の文章を解析する場合を示す
。この例で用いるクラスの定義を図６に、オブジェクト
の定義を図７に、動作辞書の例を図８、図９、図１０及
び図１１にそれぞれ示す。

【０１１２】ｓ１　　ムーミンが寝ているｓ２　　目を
開ける ｓ３　　ベッドから降りる ｓ４　　机に向かって歩く ｓ５　　いすにすわる ｓ６　　ドアが開く ｓ７　　ノンノンが部屋に入ってくる ｓ８　　ムーミンの横で止まる ｓ９　　引き出しを開ける ｓ１０　本を出す ｓ１１　棚の前まで歩く ｓ１２　棚に本を置く ｓ１３　ムーミンが立つ ｓ１４　本を持つ ｓ１５　段階を２階に向かって歩きはじめるｓ１６　ノ
ンノンが窓の前へ来る これらの文を解析し、その構文解析結果と、動作辞書部
１８の検索結果を表１にまとめる。

【０１１３】表１に基づいて処理を以下に詳述する。

【０１１４】

【表１】

【０１１５】なお、各説明の先頭の数字は、例における
文番号であり、その文を言語解析部１１から入力したと
きの処理を意味する。

【０１１６】ｓ１：「ｐｅ１　＝　ｉｅとみなして、ｐ
ｅの属性制約をｉｅにコピー」 ｐｒｅ−ｃｏｎｄｉｔｉｏｎ＝ｐｅ１　とすると、ｐｅ
１　は表１の文番号１のｐｒｅ−ｃｏｎｄｉｔｉｏｎ　
より、 （ＭＵＭＩＮ　（ｆｉｇｕｒｅ（ＳＴＡＮＤ）））（Ｍ
ＵＭＩＮ　（ｍｏｖｅ（ＯＦＦ）））（ｂｅ−ｏｎ　Ｍ
ＵＭＩ　ｓｐａｃｅ）で表される。そして、ｃｏｎｄｉ
ｔｉｏｎ＝１ｓ（スタート）、ｐｏｓｔ−ｃｏｎｄｉｔ
ｉｏｎ＝１ｅ　（エンド）とすると、イベントの流れは
図１２のようになる。

【０１１７】図１２において、矢印は時間の流れを表す
。 また、文ｓ１が入力された時点ｏｅ１　が１ｓと１ｅと
の間にあるのは、イベントがプログレス（ＰＲＯＧＲＥ
ＳＳ）、即ち、「〜している」状態であると解釈されて
いるからである。

【０１１８】文章全体で述べる世界の初期状態ｉｅは、
この時点ｏｅ１　では何も特定されていないので、ｐｅ
１　で必要とされる状態が初期状態ｉｅでも成り立って
いたと見なす。

【０１１９】ここで、文章全体で述べる世界の時間的な
順序は、図１３に示すように構成されていることを前提
とする。従って、上記ｓ１の内容は、図１３に挿入する
と、図１４のような関係になる。なお、この時点では、
１ｅとｏｅ２　との前後関係は、分かっていない。

【０１２０】ｓ２：「ｐｅ２　（ＥＹＥ）　に関して、
ｏｅ２　から逆方向に（反するもの、または起こすもの
を）探しても何もないので、ｉｅへコピー」 表１より、ｓ２の意味は、ｐｒｅ−ｃｏｎｄｉｔｉｏｎ
＝ｐｅ２　とすると、ｐｅ２　は表１の文番号２のｐｒ
ｅ−ｃｏｎｄｉｔｉｏｎ　より、（ＥＹＥ　（ｓｔａｔ
ｅ（ｃｌｏｓｅ）））で表される。そして、ｃｏｎｄｉ
ｔｉｏｎ＝２ｓ（スタート）、ｐｏｓｔ−ｃｏｎｄｉｔ
ｉｏｎ＝２ｅ　（エンド）とすると、イベントの流れは
図１５のようになる。

【０１２１】文ｓ２が入力された時点ｏｅ２　が２ｅの
後にあるのは、イベントがコンプリート（ＣＯＭＰＬＥ
ＴＥ）、即ち、「〜した」状態であると解釈されている
からである。

【０１２２】文ｓ２を全体の世界の時間の流れに挿入す
ると、この時点ｏｅ２　では、図１６に示す関係が得ら
れる。図１６で、ｉｅは初期状態なので全ての時点より
前であり、ｉｅからｐｅ２　にも矢印が伸びる。ここで
ｐｅ２　の　（ＥＹＥ　（ｓｔａｔｅ（ｃｌｏｓｅ））
）　は、ｐｅ１　、１ｓ、ｏｅ１　のそれぞれに関連し
た記述がないので、ｐｅ１　、１ｓ、ｏｅ１　との関係
は分からないままである。そこで、　（ＥＹＥ　（ｓｔ
ａｔｅ（ｃｌｏｓｅ）））　という状態は、ｐｅ２　に
おいて初めて起きたと考えるのは不自然であり、最初か
ら継続していたと考える方が自然なので、　（ＥＹＥ　
（ｓｔａｔｅ（ｃｌｏｓｅ）））　という状態を初期状
態ｉｅで成り立っていたとする。

【０１２３】ｓ３：「ｐｅ３　（ＳＴＡＮＤ）　に関し
て、ｏｅ３　から逆方向に探すと、ｉｅに同じ記述があ
る。ｉｅから順方向に探すと、１ｅで、これに反するＬ
ＩＥ　があるので、１ｅ→ａｆｔｅｒ　→ｐｅ３　なる
関係を付ける」、「ｐｅ３　（ＢＥＤ）　に関して、ｏ
ｅ３　から逆方向に探すと、ｐｅ１に変数ｓｐａｃｅ　
なる記述がある。このｓｐａｃｅ　の部分がＢＥＤ　で
あるとみなし（Ｕｎｉｆｉｃａｔｉｏｎ　）、ｐｅ１　
のこの部分を置き換える」、「３ｓに関しては、そのま
ま」上記ｓ１及びｓ２と同様に、図１７に文ｓ３の内容
を示す。図中、ｐｅ３　は、表１のｐｒｅ−ｃｏｎｄｉ
ｔｉｏｎ　の内容、３ｓはｃｏｎｄｉｔｉｏｎ　の文番
号３における内容を、３ｅはｐｏｓｔ−ｃｏｎｄｉｔｉ
ｏｎの文番号３における内容をそれぞれ表している。ま
た、文ｓ３が入力された時点ｏｅ３　が３ｅの後にある
のは、イベントがコンプリート（ＣＯＭＰＬＥＴＥ）、
即ち、「〜した」状態であると解釈されているからであ
る。

【０１２４】次ぎに、文ｓ３を全体の流れの中に挿入し
たときの状態を図１８に示す。ここで、ｐｅ３　の　（
ＭＵＭＩＮ　（ｆｉｇｕｒｅ（ＳＴＡＮＤ）））に関し
て時点ｏｅ３　から時間の逆方向の順に探索すると、ｐ
ｅ１　とｉｅに同じ内容が見付かる。

【０１２５】そこで，　今度はｉｅから時間の正方向の
順に探索すると１ｅに（ＭＵＭＩＮ　ｆｉｇｕｒｅ（Ｌ
ＩＥ）））という記述（即ち、ＳＴＡＮＤ　に反するＬ
ＩＥ　という記述）がある。

【０１２６】このことから、文ｓ１が記述された後（但
し、どのくらい後なのか判別していなかった）で、「ム
ーミンが横になる」という状態１ｅがあって、文ｓ３が
記述された時点より前で「ムーミンが立っている」とい
う状態ｐｅ３　が分かる。

【０１２７】上記２つのことから、１ｅよりｐｅ３　の
方が後にくるであろうと考えて、１ｅ→ａｆｔｅｒ　→
ｐｅ３　となる関係を得る。

【０１２８】図１９に、今まで述べたイベントに関する
全体の時間の流れを示す。

【０１２９】同様して各文を解釈する（以下、各文につ
いての詳細な説明は省略）。

【０１３０】ｓ４：「ｐｅ４　（ＳＴＡＮＤ）　、ｐｅ
４　（ＯＦＦ）　、ｐｅ４　（ｓｐａｃｅ）　に関して
、ｏｅ４　から逆方向に探すと、３ｅに同じ記述がある
。３ｅから順方向に探しても何もない（探すイベント自
体がない）」、「３ｅ→ａｆｔｅｒ　→ｐｅ４　なる関
係を付ける」、「４ｓに関してはそのまま」 ｓ５：「５ｅ（ＳＴＡＮＤ）　、ｐｅ５　（ＯＦＦ）　
は、４ｅに同じものがあるので４ｅ→ａｆｔｅｒ　→ｐ
ｅ５なる関係を付ける」ｓ６：「ｐｅ６　（ｃｌｏｓｅ
）　は初めて出てくるので、ｉｅに加える」 ｓ７：「ｐｅ７　（ＳＴＡＮＤ）　は初めて出てくるの
で、ｉｅに加える」 ｓ８：「ｐｅ８　のＣｏｎｄｉｔｉｏｎＥｌｅｍｅｎｔ
はどちらも７ｓにあるので７ｓ→ａｆｔｅｒ　→ｐｅ８
　なる関係を付ける。

【０１３１】ｓ９：「ｐｅ９　（ｃｌｏｓｅ）　も初め
て出てくるので、ｉｅに加える」 ｓ１０　：「ｐｅ１０（ｓｐａｃｅ＃１（変数））に関
しては、ｐｅ９　の同じ関係が引き継がれるとみなし、
ＤＲＡＷＥＲを代入してｐｅ９　→ａｆｔｅｒ　→ｐｅ
１０なる関係も付ける」ｓ１１　：「ｐｅ１１　（ＳＴ
ＡＮＤ）、ｐｅ１１　（ＯＦＦ）は８ｅにあるので８ｅ
→ａｆｔｅｒ　→ｐｅ１１なる関係を付ける。変数ｓｐ
ａｃｅ　には（ａｓｉｄｅ　ＭＵＭＩＮ　）が入るとみ
なす」 ｓ１２　：「ｐｅ１２（ｈｏｌｄｉｎｇ）　は１０ｅ　
にあるので１０ｅ　→ａｆｔｅｒ　→ｐｅ１２とし、ｐ
ｅ１２　（ＯＦＦ）も１１ｅ　にあるので、１１ｅ　→
ａｆｔｅｒ　→ｐｅ１２とする」 ｓ１３　：「ｐｅ１３　（ＯＦＦ）は４ｅにあるので４
ｅ→ａｆｔｅｒ　→ｐｅ１３とする。同じくｐｅ１３　
（ｓｐａｃｅ　（変数））は、５ｅよりＣＨＡＩＲ　と
みなし５ｅ→ａｆｔｅｒ　→ｐｅ１３なる関係も付ける
」ｓ１４　：「そのまま」 ｓ１５　：「ｐｅ１５　（ＳＴＡＮＤ）とｐｅ１５　（
ＯＦＦ）が１３ｅ　にあり、ｐｅ１５　（ｓｐａｃｅ　
（変数））がｐｅ１３でＣＨＡＩＲ　であるので、１３
ｅ　→ａｆｔｅｒ　→ｐｅ１５、ｐｅ１３→ａｆｔｅｒ
　→ｐｅ１５とする」ｓ１６　　：「ｐｅ１６　（ＳＴ
ＡＮＤ）が１１ｅ　に、ｐｅ１６　（ＯＦＦ）が１２ｅ
　にあるため１１ｅ　→ａｆｔｅｒ　→ｐｅ１６、１２
ｅ　→ａｆｔｅｒ　→ｐｅ１６とする」 上記の処理を繰り返すことにより、図２０に示す時間の
流れが処理結果として構成される。

【０１３２】図２０において、「各ｐｅ、各ｓ　、各ｅ
　の時点でどんな状態が成り立ったか」ということと、
各文の解釈過程で「これは最初から成り立っていたに違
いない」と思えるものを表２に示す。

【０１３３】

【表２】

【０１３４】上記の「これは最初から成り立っていたに
違いない」と思えるものは、表２のｉｅのコラムに記載
されている。

【０１３５】なお、図２０中、参照番号４３で示すよう
な矢印が時間的前後関係を、参照番号４４で示すような
ボックスがイベントを、そして参照番号４５で示す二重
線が時間的同時関係をそれぞれ表す。

【０１３６】次に、上述の自然言語処理装置を備えた動
画生成装置を詳述する。

【０１３７】図２１は、本発明の動画生成装置における
一実施例の構成を示す。

【０１３８】図に示す動画生成装置は、上述した自然言
語処理装置に相当する部分とその他の部分により構成さ
れている。

【０１３９】まず、自然言語処理装置に相当する部分は
、入力部５１、自然言語理解部５１、語彙辞書部５２、
文法部５３、意味表現部５４、推論部５５、動画生成制
御部５６、動作概念辞書部５７及び動作記述部５８によ
り構成されている。

【０１４０】入力部５１は、日本語の文章（以下、入力
文章と称する）を入力する。

【０１４１】語彙辞書部５２および文法部５３は、自然
言語理解部５１に格納されているプログラムによって参
照することができる。

【０１４２】意味表現部５４の機能を図２２〜図２４に
示す。 その詳細な説明は後述する。

【０１４３】動作記述部５８は、オブジェクト（登場物
）指向あるいはアクタモデルに基づく登場物の動きを表
現するプログラムにより構成されている。そのプログラ
ムのプログラミング言語としては、「Ｅａｓｙ」または
機能的に同等なものが採用される。

【０１４４】動作概念辞書部５７の構造を図２５に示す
。図に示すように動作概念辞書部５７は、動作動詞名を
示す部分７０、格パターンリストを示す部分７１、前提
条件を示すｐｒｅ−ｃｏｎｄｉｔｉｏｎ　部分７２、ｄ
ｅｃｏｍｐｏｓｉｔｉｏｎ　部分７３、ｐｏｓｔ−ｃｏ
ｎｄｉｔｉｏｎ部分７４及び動作そのものに付随する属
性を示す部分７５により構成されており、機械翻訳など
の辞書には含まれていないが入力文章を動画化する際に
必要な動作動詞特有の情報を収納していると共に、動作
動詞をキーとして、存在し得る動詞の使用パターンに対
応する格構造が列挙されている。更に、それぞれの使用
パターンに対応する前提条件、効果などをルールとして
記述することができるように構成されている。

【０１４５】上記の自然言語処理装置に相当する部分以
外の部分は、基本動作プログラムデータベース部５９、
画像生成部６０、形状データベース部６１、ディスプレ
イ部６２及び動画記録部６３によって構成されている。

【０１４６】形状データベース部６１は、画像生成部６
０が使用する基本的（ｐｒｉｍｉｔｉｖｅ）　な形状の
データにより形成されている。そのデータ形式は画像生
成部６０の使用する映像化方法に依存する。例えば、３
次元のコンピュータ・グラフィクス（Ｃｏｍｐｕｔｅｒ
　Ｇｒａｐｈｉｃｓ）的方法を用いる場合には、分割さ
れた３角板データの集合であったりする。ここで、形状
を自然言語から生成する機能は考慮されておらず、入力
文章から認識される登場物は基本形状として登録する必
要がある。

【０１４７】基本動作プログラムデータベース部５９は
、動作記述部５８のおいて実行される動作記述を行なう
プログラムによって参照され得る基本的（ｐｒｉｍｉｔ
ｉｖｅ）　な動きを表現するサブルーチン群により形成
されている。なお、これ以上分解できない動作について
は各登場物に対してサブルーチンとして用意される必要
がある。

【０１４８】次に、図２１の動画生成装置の動作を説明
する。

【０１４９】まず、利用者は、適当な入力部５１を介し
て入力文章１０を自然言語理解部５１に与える。

【０１５０】自然言語理解部５１は、入力文章に基づき
語彙辞書部５２または文法部５３を参照してその意味表
現を意味表現部５４を出力する。語彙辞書部５２と文法
部５３は、機械翻訳など従来の自然言語処理装置と同等
のものを想定している。

【０１５１】自然言語理解部５１は、まず自然言語の文
章の表す意味を抽出し、一般の自然言語処理装置でよく
用いられている格構造にもとづいて表現する。

【０１５２】格構造とは、１つの文の意味を述語動詞と
、それに付随する属性（格と呼ぶ）の値とにより表現す
るものである。

【０１５３】格の種類にはバリエーションがあるが、代
表的なものを以下に示す： 動作主格：ある動作を起こすものを表す経験者格：ある
心理事象を体験するものを表す道具格　　：ある事象の
直接原因となったり、心理事象と関係して反応を起こさ
せる刺激となるものを表す対象格　　：移動する対象物
や変化する対象物、あるいは判断／想像のような心理事
象の内容を表す源泉格：　　対象物の移動における起点
、あるいは状態変化／形状変化における最初の状態や形
状を表す目標格：　　対象物の移動における終点、ある
いは状態変化／形状変化における最終的な状態や形状を
表す場所　　：　　ある事象が起こる場所および位置を
表す時間格：　　ある事象が起こる時期を表す次に、例
文を用いて上記の格構造を更に説明する。

【０１５４】例えば、「太郎が駅へ歩いていた。」とい
う文の意味は、以下の格構造によって表現される。

【０１５５】 （歩く　　（（主格　　　　太郎） （終点格　　駅））） 従来、自然言語処理装置では、時間の扱いは機械翻訳や
文章校正、抄録抽出といったシステムの目的に応じてア
ドホックに行なわれてきた。このようなシステムで時間
といっているものは、多くは「去年の夏に、……した。 」といった表現に見られるように、述語動詞の表す動作
そのものを時間の流れの中で「点」とみなしている。即
ち、動作を巨視的に捉えている。

【０１５６】本実施例の自然言語理解部５１では、動画
化を行なうために、ある動詞で表現される動作の変化や
、比較的短期間に行なわれる複数の動作の前後関係を明
確にする必要がある。即ち、動作を微視的に捉える必要
がある。

【０１５７】自然言語理解部５１は、登場物の動作を表
す動作動詞（動作を表現する動詞をこう呼ぶ）に着目し
て、その動作の行なわれていた時区間（動作が行なわれ
る時間軸上の始点と終点）を明らかにしようと努める。 そのために、本実施例のシステムでは、特に入力文章中
の動作動詞の持つ相情報を抽出して格の一種として扱う
。ここで、「相情報（元来は言語学上の用語）」とは、
ある動作について、文が以下の表現のうち、いずれのも
のであるかを示す情報である。

【０１５８】自然言語理解部５１では、以下の４種類を
用いる。（［　　］内は略称） その動作が始まったことを表す［開始］その動作が終了
したことを表す［終了］その動作が始まってかつ完了し
たことを表す［完了］その動作が継続していることを表
す［継続］（始まりや終りについては言及しない）上記
の表現によって、「太郎が駅へ歩いていた。」という文
の意味は、以下の格構造で表現できる。

【０１５９】 （歩く　　（（主格　　　　太郎） （終点格　　駅） （相　　　　　　継続））） 自然言語理解部５１は、全ての文に対して相情報の抽出
を行なう。

【０１６０】これに加えて「その後」／「同時に」など
の時間の前後関係を表す接続詞／接続助詞の係り受け関
係等、文章中に明示的に書かれている情報だけをもとに
動作区間の前後関係を推論する。

【０１６１】自然言語理解部５１は、以上の処理によっ
て、文章中に現れる動作の区間の端点の間に成り立つ半
順序関係を抽出する。

【０１６２】抽出されたこれらの情報は、意味表現とし
て作業メモリ（後述する）に置かれる。図２２、図２３
及び図２４は、この意味表現の構造を表したものである
。

【０１６３】図２２は、文章中の各文に対応する動作間
の半順序関係を、端点が確定あるいは未確定のいずれの
場合をも含む「線表」として表現されることを摸式的に
示すものである。

【０１６４】図２３は、未確定な端点を含むことのある
、各動作の継続時区間の表現方法を示すものである。こ
こでは、時間軸上の１点を「イベント構造」により表し
、動作は「プロセス構造」により表わす。

【０１６５】イベント構造それ自体は、未確定な時間軸
上の１点を表現することができる。動作（プロセス構造
）には、必ず始点と終点があり、これら始点と終点はイ
ベント構造により表現される。

【０１６６】図２４は、図２３に示された「イベント構
造」及び「プロセス構造」によって図２２に示した「文
章中の各文に対応する動作間の半順序関係」をより具体
的に表現したものである。実際にはこの関係に代用とし
て、イベント間の半順序関係をＤＡＧ（有向非循環グラ
フ）によって表現している。

【０１６７】ここでは、順序関係が明らかでないイベン
ト間には枝は存在しない。推移葎により順序関係が導出
できるイベント間には枝が存在しないことがある。また
、イベント集合の下限は動画化対象区間の始点で、上限
は終点であると定義する。

【０１６８】なお、動作そのものの継続区間や、イベン
トの発生時刻に対して明示的な値あるいは上限／下限が
与えられることがあるので、そのためのスロット（記憶
域）がある。これらのスロットは、必要に応じて次に述
べる推論部５５（図２１参照）の処理で補充される。

【０１６９】推論部５５は、自然言語理解部５１が出力
した文章から明示的に得られる動作の半順序関係（いく
つかのタイミングの順序関係がわかっている）から、全
順序関係（すべてのタイミングの順序関係がわかってい
る）を生成する。

【０１７０】普通、自然言語の文章では、話の焦点から
それていることは述べられないため全ての順序関係は自
明でない。

【０１７１】そこで、実際に動画の生成を行なう前に、
動画生成制御部５６は、順序関係の補充を行なう。この
処理は、以下の手順による。

【０１７２】まず、動作の半順序関係の表現から動作の
端点の全順序関係が明確でない部分を見つけ出す。これ
は、意味表現のＤＡＧを下限からたどって、分岐が起こ
ることで発見できる。なお分岐がなければ、以下の処理
は起動されない。

【０１７３】続いて、動作概念辞書部５７上の制約知識
に基づいて推論を行ない、端点が明確でない動作の端点
を閉じる。

【０１７４】動作の端点が閉じて（図２２において●印
で示されている）いないで、開いている（図２２におい
て○印で示されている）ものがあることが、全順序関係
が明確でないことの一因になる。

【０１７５】動作概念辞書部５７は、動作動詞をキーに
、その動詞に関する制約条件を検索できる。動作概念辞
書部５７の一項目の構造を図２５に示す。

【０１７６】制約条件には、格パターンリストが付属し
ている。格パターンリストは、その動詞を使用する際に
可能な格の組合せを表すものである。

【０１７７】ある動作を表す格構造にもとづいて、動作
概念辞書部５７をアクセスすると、格構造と格パターン
リストの間で記号的にパターンマッチが行なわれる。格
構造が複数のパターンにマッチすることもあり得、その
場合それらのパターンの含む格の集合に包含関係がある
ときは、より多くの格がマッチするものが候補となり、
そうでないときは双方が候補となる。

【０１７８】 　　（歩く 　　　　（（（　主格　　　　（？Ｘ（ｉｓａ　？Ｘ（
ｏｒ　　人　　猿））））　　；１つめの格パターン　
　　　（　終点格　　　　？Ｙ）） 　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
；２つめの格パターン　　　　（（…）） 　　　　　　　　： 　　　　　　　　： 　　　　）） 　　格パターンには、通常変数（上例では「？」で始ま
るように表記している）が含まれる。格構造とのパター
ンマッチが行なわれると、対応する格属性の値が変数に
代入される。

【０１７９】例えば「太郎が駅に向かって歩いていた。 」という文の場合、上例の？Ｘは太郎に、？Ｙは駅にな
る。

【０１８０】同様に、変数に対する制約条件も記述する
ことができる。

【０１８１】上例の場合、太郎が人間かまたは猿である
ことが要求されており、この情報が語彙辞書１２から得
られなければパターンマッチは失敗する。

【０１８２】その他、動作概念辞書１７には、それぞれ
の動作に対するｉ）前提条件（ｐｒｅ−ｃｏｎｄｉｔｉ
ｏｎ）　、ｉｉ）効果（ｐｏｓｔ−ｃｏｎｄｉｔｉｏｎ
）、つまりプロダクションルールを記述できる。

【０１８３】この記述には、格パターンに現れる変数を
使用することができ、これにより格構造で表現される登
場物の状態変化を表現できる。

【０１８４】換言すると、時間経過やイベントの発生に
伴う登場物の状態変化を、意味表現のＤＡＧをたどる過
程でルールを適用することにより得られる場合がある。

【０１８５】それ以外の動作概念辞書部５７の項目とし
て、「ｄｅｃｏｍｐｏｓｉｔｉｏｎ　（分解）」と「動
作そのものに付随する属性」がある（図２５参照）。

【０１８６】前者については後述する。また、後者はパ
ターンマッチの対象となる登場物の属性ではなく、動作
そのものに付随する属性を表す。

【０１８７】これらの情報を用いた「明確でない動作の
端点を閉じる」推論処理は、以下の指針の順序で行なわ
れる。

【０１８８】（ａ）動作の打ち切りを起こす推論動作の
継続区間の推論に際しては、「動作は、明示的に停止す
ことが指定されるか、停止することが指定されるか、停
止することが推論されない限りは継続する」というデフ
ォルトが適用される。

【０１８９】動作概念辞書部５７には、前提条件として
「同一の動作主格が同時に行なうことのできない動作」
が記述されることがある。推論部５５が上記のデフォル
トに従って、それまでＡという動作が継続中であると理
解しているとき、ＢというＡと相容れない動作が始まっ
たことが認識されると、Ａの継続はＢの始点で打ち切ら
れる。

【０１９０】（ｂ）動作の挿入を起こす推論前提条件と
して、ある動作を開始するために、動作を行なう主格が
満たすべき内部状態を規定されることがある。

【０１９１】いま、Ａという動作の後にＣという動作が
行なわれたことだけが、文章に明示的に示されていると
する（即ち、同一の主格に起こった動作が連続している
かどうかわからない状態である）。このとき、Ａの動作
後の主格の内部状態がＣの前提条件を満たさないときは
、前提条件を満たすように変更する別の動作が間で行な
われている（文章には自明であるとして省略されている
）と推測される。

【０１９２】このとき、推論部５５は、動作概念辞書部
５７の効果（ｐｏｓｔ−ｃｏｎｄｉｔｉｏｎ）　をキー
により検索することで、そのような省略されている動作
を補う。

【０１９３】（ｃ）デフォルトの継続時間典型的な動作
については、動作概念辞書部５７において所要時間のデ
フォルト値が与えられている。この所要時間を仮説とし
て、推論を行なう。

【０１９４】推論の過程で矛盾が起こる（或いは全順関
係が生成できなくなる）場合は仮説は棄却される。

【０１９５】（ｄ）問い合わせ 以上のいずれの指針によっても順序関係がはっきりしな
いときは、端末装置（後述する）などの適当なインタフ
ェースを介して、ユーザに対して問い合わせを行なう。

【０１９６】次に、複合動作の展開について説明する。

【０１９７】動作を動画化するために、あらかじめ「基
本動作プログラムデータベース」（後述）にはプリミテ
ィブな動作を動画化するプログラムが登録されている。

【０１９８】動作概念辞書部５７の動作も、動画化を行
なうために、これらのプリミティブな動作そのものがこ
れらを組み合わせることによって表現される。即ち、動
作概念辞書部５７上の、他の動作の組合せで表現される
動作の項目には、ｄｅｃｏｍｐｏｓｉｔｉｏｎ（分解）
の欄にそれを構成するよりプリミティブな動作が記述し
てある。

【０１９９】そこで、後続の推論処理のために、ｄｅｃ
ｏｍｐｏｓｉｔｉｏｎ（分解）の欄に記述した動作で元
の動作の意味表現を置き換える。

【０２００】この後、必要ならば上記の推論処理が適用
される。

【０２０１】続いて、確定した端点に対して実際の時刻
を割り付ける。

【０２０２】これまでの操作で得られる情報は、あくま
で動作間の順序関係であって、実際の時刻ではない。そ
こで、実際の時刻の割りつけ処理を行なう。

【０２０３】この処理を行なうための指針として、以下
のものがある。

【０２０４】（ｅ）自然言語の文中で与えられた絶対時
刻は厳守する。

【０２０５】（ｆ）前出の推論処理で与えられた、デフ
ォルトの継続時間は優先する。ただし、絶対ではない。

【０２０６】（ｇ）わからないものは、わかる時区間内
で均等分割する。

【０２０７】動画生成制御部５６は、前述の推論により
生成された時間情報をもとに、登場物に着目して動作系
列をまとめることによって、動作記述としてのプログラ
ム生成を行なう。

【０２０８】ついで、そのプログラムを実行することに
よって、画像生成部６０に対して動画の生成を行なわせ
る。

【０２０９】動作記述部５８は、オブジェックト指向／
アクタモデルと類似した並行動作記述の考え方に基づい
たプログランミング言語によって順序の確定した動作を
表現する。プログラムの記述方法としては、「Ｅａｓｙ
」の方法が用いられている。

【０２１０】このとき、登場物をグラフィクス表現する
ための形状情報データは、形状データベース部６１に収
められている。また、動作概念辞書部５７が定め得るこ
れ以上他の複数の動作に分解できないプリミティブな動
作動詞の動きは、動画記述用のプログラミング言語のサ
ブルーチンとして基本動作プログラムデータベース部５
９に登録されている。即ち、これ以上分解できない動作
は、原理的には各登場物に対して用意される必要がある
。

【０２１１】動作記述部５８で生成された動作記述を動
作させることによって、各コマに対応する登場物の内部
状態を得ることができる。これを各登場物に繰り返し適
用することで、各コマの画像データが得られる。

【０２１２】各コマの画像データは、前のコマの画像デ
ータに対する差分として与えられ得る。どのような出力
がなされるかは画像生成部６８に対応して決定され、動
作記述プログラムの実行処理系はそのような出力を出す
ように設計されている。

【０２１３】画像生成部６０は、コンピュータグラフィ
クス的方法で登場物／背景／視点／光源のデータを与え
ることにより、対応する画像を生成するように構成され
ている。　　次に例文を用いて本実施例の動画生成装置
の動作を詳述する。

【０２１４】８．文章の入力 まず、利用者が日本語処理の可能な端末装置（後述する
）から、以下の文章を入力するものとする。

【０２１５】「太郎が駅へ歩いていた。そのうちふと道
端にしゃがみこんだ。そこでタンポポを摘むと、駅へ向
かって歩き出した。」なお、説明を簡略化にするのため
に「駅」や「道」といった背景に関する情報が、この文
章を入力する以前に与えられているものと仮定する。

【０２１６】９．自然言語理解部の処理自然言語理解部
５１は、個々の入力文に対して、以下に示す各構造を得
る。

【０２１７】（歩く（（主格　　　　　　太郎）（終点
各　　　　駅） （相　　　　　　　　継続））） （しゃがむ（（主格　　　　　　太郎）（場所格　　（
道端　　＜しゃがんだときの位置情報＞））（相　　　
　　　完了））） （摘む（（主格　　　　　　太郎） （場所格　　（道端　　＜しゃがんだときの位置情報＞
））（相　　　　　　完了））） （歩く（（主格　　　　　　太郎） （終点各　　　　駅） （相　　　　　　　　開始））） １０．推論部の処理 推論部５５は、以下の順序で各文に着目して動作の端点
に関する推論処理を行なう。

【０２１８】（ａ）太郎が駅へ歩いていた。

【０２１９】この文の格構造から、相情報（継続）に従
ってこの解釈の時点では、「歩く」という動作が、「い
つ」からかは明確ではないが前の時点から現在も続いて
いることを認識している。

【０２２０】（ｂ）そのうちふと道端にしゃがみこんだ
。

【０２２１】この文の格構造から、同一の主格に対して
２つの動作が「歩く」と「しゃがむ」とが同時に行なわ
れていることを認識する。次に、動作概念辞書部５７の
それぞれの動作の項目を参照する。例えば、「しゃがむ
」の項目は以下のようなものである。

【０２２２】 　　　　（しゃがむ　　　　（（主格　　　　　　（？
Ｘ（ｏｒ　　人間　　　　猿）））　　　　　　　　　
　　　　　　　　　　　　　　　　　　　：　　　　　
　　　　　　　　　　　　　　　　　　　　　　　：　
　　　　　　　　　　　　　　　　　　　（ｐｒｅ−ｃ
ｏｎｄｉｔｉｏｎ）　（姿勢　　？Ｘ　　高い）　　　
　　　　　　　　　　　　　　　　　（ｄｅｃｏｍｐｏ
ｓｉｔｉｏｎ）　　　　　　　　　　　　　　　　　　
　　　（ｐｏｓｔ−ｃｏｎｄｉｔｉｏｎ）（姿勢　　？
Ｘ　　低い）　　　　　　　　　　　　　　　　　　　
　　　　　　　　　：　　　　　　　　　　　　　　　
　　　　　　　　　　　　　：　　　　　　　　　　　
　　　　　　　　　（動作区分　　（下半身））　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
：　　　　　　　　　　　　　　　　　　　　　　　　
　　　　：　　　　　　　　　　　　　　　　　　　　
）） 　　ここには「しゃがむ」という動作概念に関する各属
性に対する制約が記述されている（例えば、主格は人間
かまたは猿であり、しゃがむ前は高い姿勢であり、下半
身の動作である、という具合に記述されているとする）
。 同様に「歩く」という動作概念は、やはり、下半身の動
作であるということを指示している。

【０２２３】推論部５５は、動作について「例外がない
限り、身体の同一部分が同時に別の動作を行なうことは
矛盾である」というデフォルト知識を持っており、記号
的な推論処理により「歩く」と「しゃがむ」が矛盾する
ことを認識する。これによって、しゃがむ前に歩くこと
を打ち切るという結論に達する。

【０２２４】（ｃ）そこでタンポポを摘む。

【０２２５】同様に「摘む」という動作概念に関する、
各属性に対する制約を得る。

【０２２６】 　　　　（摘む　　　　　　　　（（主格　　　　　　
（？Ｘ　　人間　　　　猿）））　　　　　　　　　　
　　　　　　　　　（対象格　　　　（？Ｙ　　植物）
）　　　　　　　　　　　　　　　　　　　　　　　　
　　　　：　　　　　　　　　　　　　　　　　　　　
　　　　　　　　：　　　　　　　　　　　　　　　　
　　　　（ｐｒｅ−ｃｏｎｄｉｔｉｏｎ）　（姿勢　　
　　？Ｘ　　低い）　　　　　　　　　　　　　　　　
　　　　（ｄｅｃｏｍｐｏｓｉｔｉｏｎ）　　　　　　
　　　　　　　　　　　　　　　（ｐｏｓｔ−ｃｏｎｄ
ｉｔｉｏｎ）（所有関係　　？Ｘの手　　？Ｙ））　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　：　　　　　　　　　　　　　　　　　　　　　　　
　　　　　：　　　　　　　　　　　　　　　　　　　
　（動作区分　　（身体全体））　　　　　　　　　　
　　　　　　　　　　　　　　　　　　：　　　　　　
　　　　　　　　　　　　　　　　　　　　　　：　　
　　　　　　　　　　　　　　　　　　）） 　　（ｄ）駅向かって歩き出した。

【０２２７】動作概念辞書部５７（図２５）を参照する
と、ｐｒｅ−ｃｏｎｄｉｔｉｏｎ７２　で「主格の姿勢
が高い」という事実が、現状では満たされないことを認
識する。

【０２２８】そこで、ｐｒｅ−ｃｏｎｄｉｔｉｏｎ　７
２が「姿勢の低い状態」でｐｏｓｔ−ｃｏｎｄｉｔｉｏ
ｎ７４が「高い状態」であるような動作（例えば「立ち
上がる」）を動作概念辞書部５７から検索して「挿入す
る」。

【０２２９】ここでは、動作は全てプリミティブである
と仮定すると、全ての動作の全順序関係が確定したこと
になる。その後、確定した順序関係をもとに時刻の割付
けが行なわれる。

【０２３０】１１．動画生成制御部の処理前節の推論に
より生成された時間情報をもとに、登場物に着目して動
作系列をまとめることによって、図２６のフローチャー
トに示すように動作記述としてのプログラム生成を行な
う。

【０２３１】続いて、その生成されたプログラムを図２
２のフローチャートに示すように実行することによって
、画像生成部６０に対して動画の生成を行なわせる。

【０２３２】ここで、ｉ）動作制約を解消する条件が十
分ではない、ｉｉ）細かい指定を必要とする動作が記述
されている、などの理由でプログラムが全て自動的に生
成できないと判断すると、利用者に問い合わせを行なう
ことによって情報を得る。

【０２３３】次いで、動画生成制御部５６は、形状デー
タベース部６１と基本動作データベース部５９を参照し
て、登場物のある時間に亘る属性／関係の変化、或いは
各時刻に対する属性／関係の値を画像生成部６０の処理
可能な動画記述表現として出力する。

【０２３４】言語「Ｅａｓｙ」によるプログラム例を以
下に挙げる。

【０２３５】 　　；；； 　　；；；シナリオの定義 　　；；； 　　（ｄｅｆｓｃｅｎａｒｉｏ　　太郎が駅に行く　　
　　（：ａｃｔｏｒ　太郎　　；ｓｈａｐｅ　“太郎”
）　　　　　　；このシーンに登場するアクタ　　　　
（：ａｃｔｏｒ　タンポポ　　：ｓｈａｐｅ　　“タン
ポポ）；便宜上アクタにしている　　　　（：ｅｖｅｎ
ｔｐｏｏｌ　Ｃｏｏｒｄ）　　　　　　　　　　　　　
　　　　　　　；座標を示すイベントが置かれる　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　；イベントプール　　　
　　　　　　　： 　　　　　　　　　　： 　　；； 　　；；以下、推論された時刻（以下のｔ１，ｔ２，…
，ｔ５，ｒｕｎｔｉｍｅ）の設定が続く　　；； 　　　　　　　　： 　　　　　　　　： 　　　　） 　　；；； 　　；；；メソッドの定義 　　；；； 　　（ｄｅｆｍｅｔｈｏｄ　ｓｃｅｎｅｌ　（ｔ１　　
　　　　　　　　　　　　　　　　；太郎が歩き始める
時間　　　　　　　　　　　　　　　　　　　　　　ｔ
２　　　　　　　　　　　　　　　　　　；　　　　　
　しゃがみ始める時間　　　　　　　　　　　　　　　
　　　　　　　ｔ３　　　　　　　　　　　　　　　　
　　；　　　　　　花を摘み始める時間　　　　　　　
　　　　　　　　　　　　　　　ｔ４　　　　　　　　
　　　　　　　　　　；　　　　　　立ち上がり始める
時間　　　　　　　　　　　　　　　　　　　　　　ｔ
５　　　　　　　　　　　　　　　　　　；　　　　　
　再び歩き始める時間　　　　　　　　　　　　　　　
　　　　　　　ｒｕｎｔｉｍｅ）　　　　　　　　　　
　　；このシーン全体の時間　　（：ｉｎｉｔｉａｌ　 　　　　（ｓｅｎｄ　太郎　　ｃｏｏｒｄｏｕｔ　Ｃｏ
ｏｒｄ）　　　；太郎に常に現在位置を発信するよう指
定　　　　（ｓｅｎｄ　太郎　　ａｔ　５０　３０）　
　　　　　　　；登場物の初期位置を指定　　　　（ｓ
ｅｎｄ　タンポポ　　ａｔ　３００　３０　）　　　　
（ｓｅｎｄ　駅　　ａｔ　６００　３０）　　　　） 　　（：ｎｏｒｍａｌ 　　　　（ｓｅｌｅｃｔ　　　　　　　　　　　　　　
　　　　　　　　　；ｔｉｃｋは処理系内の仮想的な時
刻を表す　　　　　　（（＝ｔｉｃｋ　ｔ１）　　　　
　　　　（ｓｅｎｄ　　太郎　　歩く　　５　０　１０
）　；太郎に動き始めるように指令　　　　　　　　） 　　　　　　（（＝ｔｉｃｋ　ｔ２） 　　　　　　　（ｒｅｍｏｖｅ　　太郎　　歩く）　　
　　　　；太郎はその場で止まる　　　　　　　（ｓｅ
ｎｄ　　太郎　　しゃがむ　　ｔ３）　；太郎がその場
でｔ３までかかってしゃがむ　　　　　　　　） 　　　　　　（（＝ｔｉｃｋ　ｔ３） 　　　　　　　（ｓｅｎｄ　　太郎　　摘む　　花　　
ｔ４）；太郎が花をｔ４までかかって摘む　　　　　　
　　） 　　　　　　（（＝ｔｉｃｋ　ｔ４） 　　　　　　　（ｓｅｎｄ　　太郎　　立ち上がる　ｔ
５）：太郎がｔ５までかかって立ち上がる　　　　　　
　　） 　　　　　　（（＝ｔｉｃｋ　ｔ５） 　　　　　　　（ｓｅｎｄ　　太郎　　歩く）　　　　
　　　　） 　　　　　　（（＝ｔｉｃｋ　ｒｕｎｔｍｅ）　　　　
　　　　　　　　；このシーンの実行時間が終了した　
　　　　　　（ｒｅｍｏｖｅ　ｓｅｌｆ　ｓｃｅｎｅｌ
）　　　　　　；シーンの実行を終了する　　　　　　
　　） 　　　　　　）））　 　　上記の方法により生成されたプログラムを実行する
ことで、登場物の属性や登場物間に成立する関係、また
は前のコマの画像に対するそれらの差分として表現され
る１コマ毎の画像データが生成される。これらを画像生
成部６０に引き渡すことで自動的に動画が生成される。

【０２３６】図２８に、上述した動画生成装置の具体的
な構成を示す。図に示す動画生成装置は、上述の入力部
５０の機能を有する端末装置８０、上述の自然言語理解
部５１や推論部５５及び動画生成制御部５６そして画像
生成部６０の機能を有するＣＰＵ８１、ＣＰＵ８１によ
って実行及び制御されるプログラムを格納するプログラ
ムメモリ８２、上述の意味表現部５４において実行され
る意味表現や動作記述部５８で実行される動作記述の作
業を行う作業用メモリ８３、上述の各辞書５２、５７、
文法部５３及び各データベース５９、６１の機能を有す
る辞書ファイル群８４、ディスプレイ部６２の機能を有
するディスプレイ装置８５及び動画記録部６３の機能を
有する動画記録装置８６により構成されている。

【０２３７】

【発明の効果】本発明の自動言語処理装置によれば、形
態素の解析のための単語辞書及び構文規則を表現する文
法辞書を使って一文単位で自然言語の解析を行う構文解
析手段と、自然言語の動詞が意味する動作の前の状態、
動作中の状態、動作後の状態をそれぞれ表現する動作概
念辞書と、動作概念辞書を検索して状態を管理する機能
を有する動作解析手段とを備えており、動作解析手段は
、構文解析手段からの出力に基づいて動作概念辞書の検
索機能、対象世界での動作の補間及び各状態間の整合を
行ない対象世界における動作の開始及び終了の時点間の
関係を抽出するので、動作、状態を用いることにより、
複数の自然言語文を対象とした意味／文脈解析をするこ
とができる。また、アニメーションのシナリオであるよ
うな自然言語を解析して的確な意味の抽出することがで
きる。

【０２３８】本発明の動画生成装置によれば、自然言語
処理装置と、自然言語処理装置から出力されたデータに
対して動画化するための情報を補充する推論手段と、推
論手段によって補充された情報に基づいて動画の生成を
制御する動画生成制御手段と、動画生成制御手段の出力
に応じて画像を生成する画像生成手段とを備えており、
動画生成制御手段は、自然言語処理装置に入力された文
章によって表現される画像データをコマ毎に画像生成手
段に繰り返して送るので、自然言語で記述された文章を
入力として、コンピュータによる画像生成のための一連
の描画データを自動的あるいは半自動的に生成すること
により、動画の生成を行うことができる。また、利用者
は特定のデータ作成システムや動画記述言語の操作に熟
知することなく、自然言語の文章を入力することで動画
を作成可能になるので、従来高かった作成コストの低減
が行なえ、専門的オペレータを必要とせずに動画の作成
を行なうことができる。

【図面の簡単な説明】

【図１】本発明による自然言語処理システムの一実施例
を示す構成図である。

【図２】図１の自然言語処理システムで用いる時間概念
を説明する図である。

【図３】図１の自然言語処理システムの処理結果である
出力構造体の関係を表す図である。

【図４】図１の自然言語処理システムで行う時間関係の
処理を説明する図である。

【図５】図４の時間関係の処理を説明する図である。

【図６】図１の自然言語処理システムに係るクラス定義
の記述例を示す図である。

【図７】図１の自然言語処理システムに係るオブジェク
ト定義の記述例を示す図である。

【図８】図１の自然言語処理システムに係る動作辞書の
記述例を示す図である。

【図９】図１の自然言語処理システムに係る動作辞書の
記述例を示す図である。

【図１０】図１の自然言語処理システムに係る動作辞書
の記述例を示す図である。

【図１１】図１の自然言語処理システムに係る動作辞書
の記述例を示す図である。

【図１２】例文ｓ１の処理におけるイベントの流れを示
す図である。

【図１３】文章全体で述べる世界の時間的な順序を示す
図である。

【図１４】例文ｓ１を図１３の中に挿入したときの状態
を示す図である。

【図１５】例文ｓ２の処理におけるイベントの流れを示
す図である。

【図１６】例文ｓ２を全体の流れの中に挿入したときの
状態を示す図である。

【図１７】例文ｓ３の処理におけるイベントの流れを示
す図である。

【図１８】例文ｓ３を全体の流れの中に挿入したときの
状態を示す図である。

【図１９】例文ｓ１からｓ３までの全体の時間の流れを
示す図である。

【図２０】図１の自然言語処理システムによる実施例の
出力を視覚的に説明する図である。

【図２１】図１に示す自動言語処理装置の機能を備えた
本発明の動画生成装置における一実施例の構成を示す図
である。

【図２２】図２１の動画生成装置における意味表現部の
構造を説明するための図である。

【図２３】図２１の動画生成装置における意味表現部の
構造を示す図である。

【図２４】図２１の動画生成装置における意味表現部の
構造を説明するための図である。

【図２５】図２１の動画生成装置における動作概念辞書
部の構造を示す図である。

【図２６】図２１の動画生成装置における動作生成制御
部の動画記述プログラムの生成処理を示すフローチャー
トである。

【図２７】図２１の動画生成装置における動作生成制御
部の動画記述プログラムの実行処理を示すフローチャで
ある。

【図２８】図２１の動画生成装置の具体的な一構成を示
す図である。

【符号の説明】

１０　　入力部 １１　　言語解析部 １２　　単語辞書部 １３　　文法規則部 １４　　文の各構造／アスペクト部 １５　　動作解析部 １６　　オブジェクトデータ部 １７　　関係データ部 １８　　動作辞書部

Claims (2)

【特許請求の範囲】
1. 【請求項１】形態素の解析のための単語辞書及び構文規
   則を表現する文法辞書を使って一文単位で自然言語の解
   析を行う構文解析手段と、前記自然言語の動詞が意味す
   る動作の前の状態、動作中の状態、動作後の状態をそれ
   ぞれ表現する動作概念辞書と、前記動作概念辞書を検索
   して前記状態を管理する機能を有する動作解析手段とを
   備えており、前記動作解析手段は、前記構文解析手段か
   らの出力に基づいて前記動作概念辞書の検索機能、対象
   世界での動作の補間及び各前記状態間の整合を行ない前
   記対象世界における前記動作の開始及び終了の時点間の
   関係を抽出することを特徴とする自然言語処理装置。
2. 【請求項２】自然言語処理装置と、前記自然言語処理装
   置から出力されたデータに対して動画化するための情報
   を補充する推論手段と、前記推論手段によって補充され
   た前記情報に基づいて動画の生成を制御する動画生成制
   御手段と、前記動画生成制御手段の出力に応じて画像を
   生成する画像生成手段とを備えており、前記動画生成制
   御手段は、前記自然言語処理装置に入力された文章によ
   って表現される画像データをコマ毎に前記画像生成手段
   に繰り返して送ることを特徴とする動画生成装置。