JPH11232274A

JPH11232274A - 自然言語処理装置及びその装置を利用した画像生成装置

Info

Publication number: JPH11232274A
Application number: JP10048598A
Authority: JP
Inventors: Akira Takagi; 朗高木
Original assignee: CSK Corp
Current assignee: CSK Corp
Priority date: 1998-02-16
Filing date: 1998-02-16
Publication date: 1999-08-27

Abstract

(57)【要約】【課題】自然言語に基づく入力文から現象の不連続性
を補完しその意味に対応するアニメーションの動画生成
等に適した自然言語処理装置を提供する。【解決手段】自然言語の入力文に対し解析辞書１４を
参照して形態素解析処理を施す形態素解析部１２および
形態素解析を施された入力文に対し解析辞書１４を参照
して構文解析処理を施して入力文の構文解析木を出力す
る構文解析部１３と、入力文中の単語の名詞および述語
に関して、概念階層構造、全体と部分関係、全体及び部
分と属性関係をデータとして保持する概念辞書１６と、
構文解析木の連用修飾の枝１本毎に、概念辞書１６を参
照して、その枝が言及する現象と属性を同定し、その属
性値を限定する処理を行い、同定された現象がすでに文
脈中にあれば、限定された内容を文脈データの該当する
位置に書き加え、文脈中に無ければ、その現象に関する
記述を新たに文脈データに付加する処理を、全ての入力
文に対し繰り返す意味・文脈解析部１５とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自然言語に基づく
入力文から、その意味に対応するアニメーションの動画
の生成等に適した自然言語処理装置、およびその自然言
語処理装置を利用して動画を生成する画像生成装置に関
するものである。

【０００２】

【従来の技術】従来、日本語などの自然言語から、その
意味に対応するアニメーションなどの動画像を生成する
場合には、例えば、以下のような方法が取られてきた。１．自然言語文に対して構文解析などの処理を施し、構
文構造を抽出する。２．動詞から動作生成用データまたは関数を、連用成分
から動作の主体、対象、時間、場所などの情報を決定
し、動画像を生成する。

【０００３】しかしながら、実際に自然言語文を解析し
ようとすると、一つの動作や現象が、複数の節あるいは
複数の文によって表現されることがある。又、動作や現
象を自然に記述しようとすると、そうならざるをえない
ことがある。このような場合、一つの動詞が動作や現象
を表さず、部分動作、部分現象を表したり、副詞的情報
を表したりする。そして、前後の文などと併せて一つの
まとまった動作、現象を表す。したがって、上記の方法
は、現実への適用を考える時には、単純過ぎることにな
る。

【０００４】又、現象または現象の流れを言語で記述す
る場合には、通常極めて断片的なものとなる。文章理解
やスムーズな会話を実現するためには、この断片性や不
連続性を、知識を利用して補完し、連続的な現象の流れ
を再現し、相手が陽に述べなかった事柄をも認識、理解
する必要がある。

【０００５】こうした問題に対処するために、本発明者
は、カーナビゲーションや知的ヘルプ等の対話システム
を実現するための意味・文脈解析システムを開発してい
る。例えば、特開平８−２４９３３４号公報に、カーナ
ビゲーションの対話処理等において、文脈情報が自然に
蓄積できるよう意味解釈を行う自然言語の意味解析処理
装置に関する技術を開示している。このような対話シス
テムにおいても、上記１や２の困難さが課題となり、こ
れを解決するための意味・文脈解析手法を検討してき
た。

【０００６】この意味・文脈解析手法においては、一つ
の現象が幾つかの部分現象の連なりとして成立してお
り、また、その現象自体、他の現象と連なりあって、よ
り大きな現象を構成するという観点に立ち、ある程度の
不連続性補完能力を実現していたが、言語で述べられた
内容から連続した動画像を生成するという目的のために
は、不十分なものであった。

【０００７】なお、例えば、特開平９−１６７１６５号
公報には、自然言語で書かれた文を入力し、動画像の生
成を行う動画像生成方法が開示され、また、特開平９−
１６７２５１号公報には、自然言語に基づく文章によっ
て自動的にアニメーションを生成するアニメーション生
成装置及びその方法が開示されているが、両方とも言語
で述べられた内容から連続性を補完して動画像を生成す
るという問題点を解決していない。

【０００８】

【発明が解決しようとする課題】上述のように、言語で
記述される現象の内容は、通常極めて断片的である。文
は、現象の連続的な時空間における流れの中の不連続な
断面、断面をピックアップして記述している。人間は、
現象全体の流れに関する自分の知識を手がかりにして、
文で陽に記述されなかった部分を補完しながら、文の内
容を理解する。

【０００９】文の内容に従って動画像を生成する場合に
も、同様な補完手続きが必要になる。例えば、「ホワイ
トボードのところに歩いて行って、グラフを描く。」と
いう文から連続した動画を得るために、ある時点で突
然、それまで持っていなかったマーカを手に持ってい
る、というような不連続性を避けるために、入力文か
ら、「ホワイトボードの前に移動する。」「マーカを手に取る。」「マーカを使ってホワイトボードにグラフを描く。」という現象列を認識し、それぞれに対応する動画を生成
する必要がある。これを可能にするためには、

【００１０】１．知識として、一つの現象がどのような
部分現象から成り立っており、また、その現象の前後に
どのような周辺現象が存在するか（例えば、「レストラ
ンで食事をする。」ということは、通常その前に「レス
トランに行く」という行為があり、後には「レストラン
から帰る。」という行為がある）、その現象は、より大
きな、どんな現象の部分現象になっているか等に関する
知識を持つ。２．入力文がどのような現象について述べているかを意
味解釈し、知識上で同定し、各文の内容を知識上に位置
づける。３．その際、入力文中で省略された格成分を、文脈処理
により補完する。４．また、文による言及を省略された現象を同定する。という処理を行う必要がある。これにより、連続した現
象列に対応する動画生成関数を決定することが可能にな
り、また関数によっては不足していた引数を充足するこ
とができる。

【００１１】言語から動画を生成する場合の不連続性と
して、もう一つ考慮しなければならないものがある。上
述の補完によって、現象の抜けは補うことができるが、
一つの現象が終了した最後の時点における画像と、次の
現象が開始する時点における画像とで、動画生成関数が
異なるために、背景や現象に関わる実体が同じであって
も、視点や各実体の位置、部分の位置、が大きくずれて
しまう可能性があるからである。場合によっては、これ
を場面の切り替えとみなすことができて、そのまま動画
を連続して生成してもおかしくないこともあるが、滑ら
かに接続すべきところに大きなギャップが出来てしまう
場合には、これを滑らかにする処理を行う必要がある。

【００１２】本発明は上記事情に鑑みなされたもので、
自然言語に基づく入力文から現象の不連続性を補完しそ
の意味に対応するアニメーションの動画生成等に適した
自然言語処理装置を提供することを目的とする。

【００１３】また、本発明は自然言語処理装置を利用し
円滑で連続した動画像を生成できる画像生成装置を提供
することを目的とする。

【００１４】

【課題を解決するための手段】上記目的を達成するため
に本発明の自然言語処理装置は、形態素および構文に関
する情報を保持する解析辞書と、自然言語の入力文に対
し前記解析辞書を参照して形態素解析処理を施す形態素
解析部および形態素解析を施された入力文に対し前記解
析辞書を参照して構文解析処理を施して入力文の構文解
析木を出力する構文解析部と、前記入力文中の単語の名
詞および述語に関して、概念階層構造、全体と部分関
係、全体及び部分と属性関係をデータとして保持する概
念辞書と、前記構文解析部から出力される構文解析木の
連用修飾の枝１本毎に、前記概念辞書を参照して、その
枝が言及する現象と属性を同定し、その属性値を限定す
る処理を行い、同定された現象がすでに文脈中にあれ
ば、限定された内容を文脈データの該当する位置に書き
加え、文脈中に無ければ、その現象に関する記述を新た
に文脈データに付加する処理を、全ての入力文に対し繰
り返す意味・文脈解析部とを備えることを特徴とするも
のである。意味・文脈解析部では、概念辞書を参照し
て、陽に述べられていない事柄を認識して連続した現象
の連なりとして補完することができるため、この文脈デ
ータをもとにすれば、連続した動画像を容易に生成する
ことができるようになる。

【００１５】前記意味・文脈解析部は、前記入力文で陽
に言及されない現象を、前記概念辞書に記憶されている
周辺現象に関する知識を基に作成された文脈データとつ
き合わせることにより同定する処理を行うことが、陽に
述べられていない事柄を認識して連続した現象の連なり
として補完できる点で好ましい。

【００１６】また、上記目的を達成するために本発明の
画像生成装置は、自然言語処理装置と、現象パラメータ
−パラメータ値群と動画生成関数および引数との対応デ
ータ、始点および終点画像生成パラメータ、並びに実体
画像データファイルと属性を保持する動画像辞書と、前
記自然言語処理装置で抽出された文脈データをもとに前
記動画像辞書を参照して動画像を生成するための動画生
成関数およびその引数を決定する処理を行う動画像生成
データ抽出部と、前記動画像生成データ抽出部で決定さ
れた動画生成関数およびその引数を用い表示部に表示す
るための動画像を生成する動画像生成部とを備えること
を特徴とするものである。動画像生成データ抽出部が動
画像辞書を参照して、自然言語処理装置で抽出された文
脈データをもとに、動画生成関数およびその引数を決定
する処理を行い、動画生成部で動画生成関数およびその
引数を用いて動画像を表示部に表示することで、連続し
た現象の動画像を表示することができる。

【００１７】前記動画像生成データ抽出部は、現象毎に
まとめられた文脈データから、隣り合う２つの現象間に
おいて、前側の現象の終点画像生成パラメータと後側の
現象の始点画像生成パラメータとの、それぞれ対応する
画像生成パラメータ値を比較し、差の絶対値が一定の閾
値以上のとき、前側の現象の終点画像生成パラメータを
始点画像生成パラメータ、後側の現象の始点画像生成パ
ラメータを終点画像生成パラメータとする新たな移行現
象を生成することが、隣り合う現象間を円滑に接続して
動画像を生成できる点で好ましい。

【００１８】

【発明の実施の形態】以下、本発明を図示の一実施形態
により具体的に説明する。図１は本発明実施形態の自然
言語処理装置を利用した画像生成装置の構成を示す機能
ブロック図である。

【００１９】同図において、自然言語処理装置１は、自
然言語文の入力部１１と、自然言語文の入力文に対して
形態素解析処理を施す形態素解析部１２と、形態素解析
処理を施された入力文の構文解析木を出力する構文解析
部１３と、形態素および構文に関する情報を保持し形態
素解析部１２および構文解析部１３から参照される解析
辞書１４と、構文解析木から入力文が言及する現象と属
性を同定し、その属性値を限定する処理を行い、その内
容を文脈データの該当位置に書き加えたり、現象に関す
る記述を新規に文脈データに付加する処理を行う意味・
文脈解析部１５と、入力文中の単語のうち名詞および述
語に関して、概念階層構造、全体と部分関係、全体およ
び部分と属性関係などのデータを保持し意味・文脈解析
部１５から参照される概念辞書１６とから構成されてい
る。そして、画像生成装置２は、上記の自然言語処理装
置１と、全入力文から自然言語処理装置１で抽出された
文脈データをもとに動画像を生成するための動画生成関
数およびその引数を決定する処理を行う動画像生成デー
タ抽出部１７と、現象パラメータ−パラメータ値群と動
画生成関数および引数との対応データ、始点および終点
画像生成パラメータ、並びに実体画像データファイルと
属性を保持し動画像生成データ抽出部１７から参照され
る動画像辞書１８と、動画生成関数およびその引数を用
いて動画像を生成する動画像生成部１９と、この動画像
を表示する表示部２０とから構成されている。

【００２０】図２は本発明実施形態の自然言語処理装置
を利用した画像生成装置の全体動作を説明するフローチ
ャートである。

【００２１】まず、入力部１１から動画像の内容を記述
した入力文が入力されると、一文ずつ形態素解析部１２
が解析辞書１４を参照して形態素解析処理を行い（ＳＴ
１）、構文解析部１３が形態素解析された入力文を解析
辞書１４を参照して構文解析を行い（ＳＴ２）、続いて
意味・文脈解析部１５が概念辞書１６を参照して意味・
文脈解析を行い（ＳＴ３）、これを全ての入力文に対し
て処理が終わるまで繰り返し（ＳＴ４）、これにより各
文の意味内容を動作および現象毎にまとめられた統合し
た文脈データを得る。続いて、動作および現象毎にまと
められた文脈データから、動画像生成データ抽出部１７
が動画像辞書１８を参照して、動画像生成データを抽出
し（ＳＴ５）、この動画像生成データにより動画像生成
部１９が動画像を生成し（ＳＴ６）、表示部２０に動画
像が表示される。

【００２２】図３は本発明実施形態の自然言語処理装置
を利用した画像生成装置の具体的な構成を示す図であ
る。

【００２３】同図において、画像生成装置２は、自然言
語文を入力する入力部１１と、上記の形態素解析部１
２、構文解析部１３、意味・文脈解析部１５、動画像生
成データ抽出部１７および動画像生成部１９の機能を記
述したプログラムを実行するＣＰＵ２１と、このプログ
ラム及びデータ類をプログラム実行時に保持する主記憶
装置２２と、上記のプログラム、解析辞書１４、概念辞
書１６および動画像辞書１８等を格納する外部記憶装置
２３と、上記の動画像を表示する表示部２０の機能を有
するディスプレイ装置２４とから構成されている。

【００２４】次に、上記の自然言語処理装置の処理方法
を詳細に説明する。図４は本発明実施形態の意味表現形
式を説明する図である。

【００２５】同図に示すように、各現象は、生成する時
間の順序に従って、図の上から下に並べられる。すなわ
ち、各現象を現象概念名で表し、周辺現象概念１…周辺
現象概念ｍ、現象概念、周辺現象概念ｕ…周辺現象概念
ｔのように並べられる。特に定まった現象が前後に来な
ければ、周辺現象を表現する必要はない。各現象に対し
ては、あらかじめどのような属性を持ち、言語で言及さ
れるか、が整理され、固定した属性のセットが定められ
ている。この属性を各々の現象パラメータと呼ぶ。図に
おいて、周辺現象概念および現象概念に対しそれぞれ破
線および実線の枠で囲まれた内部に属性のセットが定め
られ、また枠内には部分現象概念に対して一点鎖線の枠
で囲まれた内部に属性のセットが定められている。

【００２６】例えば、「東京から行く。」「東京を出発する。」という２文において、「出発する」は、「行く」という
「移動」現象の部分現象を表す。しかし、この２文は共
に、同じ「移動」現象の「出発地」という属性を表して
いる。よって、「行く」の「から」格、「出発する」の
「を」格は、共に同一の現象パラメータが付与される。

【００２７】各パラメータは、現象に固有であり、パラ
メータから現象が特定されるので、各（部分、周辺）現
象を囲む、実線または破線、一点鎖線の枠および（周
辺、部分）概念名は、入力文の意味の位置付けという観
点からは本質的でない。パラメータ間において値に従属
関係が存在する場合には、パラメータ毎に付加手続きを
定義できるようになっている。パラメータ値としては、
名詞概念フレーム、名詞概念名、属性名、属性値などを
とる。名詞概念フレームのデータ形式は、従来広く用い
られているものと同様である。パラメータ値には、必要
に応じてデフォルト値が設定される。

【００２８】次に、意味・文脈解析部１５で行われる解
析方式を説明する。

【００２９】構文解析部１３から出力される構文解析木
が与えられると、その末端の節から主節に向かって、節
毎に意味・文脈解析を行う。まず、着目節の述語が表す
現象の意味表現を概念辞書１６から取り出す。次いで、
節を支配する述語を修飾する連用成分の枝１本ずつに着
目し、それが、どのような現象のどのような属性をどの
ように限定しているかを解釈する。そのために、各連用
成分の枝を読み取り、パラメータ変換テーブルを参照し
て、その内容を現象パラメータ−現象パラメータ値対に
変換する。これを意味表現に書き込む。この処理を全て
の枝に対して行う。

【００３０】ここで、各パラメータに定義された付加手
続きで起動条件が満たされるものがあれば起動し、パラ
メータ値の伝播を行う。これらの処理により、着目節の
意味表現を得る。次いで、文脈の場が空か否かの判断を
行う。なお、文脈の場とは、先行する文または節の解釈
により、得られた意味表現を蓄積する場である。着目節
の現象パラメータに合致し、パラメータ値がまだ埋めら
れていないものが文脈の場に置かれた意味表現中に存在
する場合には、着目節の意味表現のパラメータ値がそこ
に代入され、逆に、着目節の意味表現に文脈の場の意味
表現の内容を代入可能な場合には、代入して両者を統合
する、という形で、節、文の意味内容が文脈の場に蓄積
されていく。入力文の最初の節の解釈処理に際しては、
文脈の場は空である。

【００３１】文脈の場が空の場合、着目節の意味表現が
文脈の場に書き込まれる。空でなければ、着目節の意味
表現が文脈の場に置かれた意味表現に代入可能であるか
否か、あるいは逆に、文脈の場の意味表現が着目節の意
味表現に代入可能か否かを判定する。

【００３２】代入可能であれば、これを実行する。文脈
の場の意味表現が着目節の意味表現に代入された場合に
は、その結果得られた意味表現を新しい文脈の場の意味
表現として、文脈の場に置く。次の節を着目節として、
解釈処理を行う。

【００３３】どちらの方向にも代入が不可能であれば、
着目節の意味は先行文脈の意味と統合不可能であり、互
いに別個の現象を表す。従って、文または節の入力順序
および接続助詞または相当句の意味に従って、意味表現
を並べるにとどめる。

【００３４】図５および図６は上記の意味・文脈解析処
理方式における１文に対する処理の流れをフローチャー
トで説明した図である。

【００３５】これらの図において、まず、構文解析部１
３で与えられた構文解析木の末端側から未処理の節を１
つ探す（ＳＴ１１）。未処理の節が無いときには終了
し、有るときにはその未処理の節に着目し、節を支配す
る述語の意味表現を概念辞書１６から取得する（ＳＴ１
３）。次に、着目節の連用修飾成分の各枝に対して後に
具体例で詳細に説明するパラメータ変換テーブルを適用
し、現象パラメータを求め、その結果を上記のステップ
において概念辞書１６から取得した述語の意味表現に代
入する（ＳＴ１４）。そして、付加手続きの中で、この
段階で起動条件が満たされるものがあれば、それを起動
し、パラメータ値の伝播を行う（ＳＴ１５）。ここまで
の処理により、着目節の意味表現を得ることができる。

【００３６】次に、文脈の場は空かを判断し（ＳＴ１
６）、空であれば着目節の意味表現を文脈の場に置き
（ＳＴ１７）、続いて着目節の次に処理すべき節を探し
（ＳＴ１８）、次の節があるときには再び前のステップ
（ＳＴ１３）に戻り意味表現を得る処理を繰り返し、次
の節が無いときには終了する。文脈の場が空でないとき
には、着目節の意味表現が文脈の場の意味表現に含まれ
るかを判断し（ＳＴ１９）、含まれるときには着目節の
各パラメータ値を、文脈の場の意味表現中の対応するパ
ラメータ値スロットに代入する（ＳＴ２０）。文脈の場
の意味表現に含まれないときには、逆に着目節の意味表
現が文脈の場の意味表現を含むかを判断し（ＳＴ２
１）、含むときには文脈の場の意味表現のパラメータ値
を、着目節の意味表現中の対応するパラメータ値スロッ
トに代入し、その結果を改めて文脈の場に置き（ＳＴ２
２）、含まないときには入力文およびその中の節の順
序、および接続助詞または接続助詞相当語句の意味に従
って、着目節の意味表現を文脈の場の意味表現の前また
は後に置く（ＳＴ２３）。次に、付加手続きの内で、こ
の段階で新たに起動条件が満たされるものがあれば、そ
れを起動し、パラメータ値の伝播を行う（ＳＴ２４）。
続いて、着目節の意味表現の文脈への統合を終了して、
次の節が有るかを判断し（ＳＴ２５）、有るときには最
初のステップ（ＳＴ１３）に戻り意味表現を得る処理を
繰り返し、次の節が無いときには終了する。

【００３７】上記のフローチャートで説明した処理によ
り、１つの文の依存構造に対する処理を終了する。同様
の処理により全ての文に対して意味解釈を行う。これに
より、概念辞書１６に登録されている、全体現象を構成
する部分現象、現象に前後して生起する周辺現象に関す
る知識の範囲内で、入力文の内容を含む連続現象の意味
表現が得られる。入力文で言及されなかった残りの部分
が、補完されるべき現象群である。この部分は文中で言
及されていないが、あらかじめ設定された付加手続きに
より、パラメータ値が伝播されていたり、場面によって
は、その場面に固有のパラメータ値があらかじめ設定さ
れている。

【００３８】次に、動画像生成データ抽出部１７におけ
る動画生成データの設定動作について説明する。意味・
文脈解析部１５の処理結果により、入力文に対する連続
現象の意味表現が得られると、動画像辞書１８を検索
し、現象毎にパラメータ値を動画生成関数およびその引
数群に変換する。また、各現象間にあるギャップを円滑
化する処理を行う。

【００３９】図７は本発明実施形態の動画像辞書の内容
を説明する図である。

【００４０】同図において、動画像辞書１８の各項目
は、現象または実体の別により以下の構成を持つ。すな
わち、現象ではその現象概念名を示す見出しに対し、対
応する動画生成関数（関数名）および引数、現象パラメ
ータ−引数対応テーブル、始点画像生成パラメータ、終
点画像生成パラメータのデータを持ち、実体ではその実
体概念名を示す見出しに対し、実体画像データファイル
（ファイル名）、属性のデータを持つ。

【００４１】ここで動画生成関数は、指定された現象に
対応する動画像を生成するもので、全て手続で記述され
ていても良いし、１コマの画像を生成するための画像生
成パラメータ群の時系列と、各画像生成パラメータ群か
ら画像を生成する関数の組であっても良い。なお、画像
生成パラメータ群から画像を生成する関数をパラメータ
合成関数と呼ぶことにし、意味・文脈解析により得られ
た各現象間のギャップを平滑化するための移行現象の生
成にも、これを用いる。

【００４２】画像生成パラメータに関しては、例えば、
Poggio等（T.Poggio andR.brunelli:Example-based ima
ge analysis and synthesis. A.I.MemoNo.1431. Artifi
cial Intelligence Laboratory. MIT. November 1993.
等）の手法を用いることができる。現象パラメータ−引
数対応テーブルは、意味表現中の現象パラメータのうち
画像に関わるものを、動画生成関数の引数に対応づける
テーブルである。

【００４３】始点および終点画像生成パラメータは、１
つの現象に対応する一連の動画像の最初の１コマと最後
の１コマの画像を生成するための２つの画像生成パラメ
ータ群を指す。これらは、あらかじめ辞書に登録してお
く。動画生成に画像生成パラメータ群の系列を用いる場
合には、そのうちの最初と最後の画像生成パラメータを
取得して格納しておけばよいが、動画生成関数を用いる
場合には、一旦動画を生成し、その最初と最後の１コマ
の画像から画像生成パラメータを抽出する手続きが必要
である。これも、Poggio等の手法を用いることができ
る。

【００４４】属性は、意味表現中の各名詞フレームに表
される属性のうち画像に関わるものが指定されており、
名詞フレームからそれぞれの属性値が転写される。実体
画像の変換用にあらかじめ関数群が用意されており、属
性値の指定に応じて、実体画像データファイル中のデー
タを加工して、色、大きさ等が変更される。

【００４５】動画像生成データ抽出部１７における、動
画像生成データ設定の手順は、以下の通りである。１．文脈の場に生成された意味表現中の現象パラメー
タ、現象概念、実体概念により、動画像辞書１８から、
対応する動画生成関数、引数、現象パラメータ−引数対
応テーブル、始点画像生成パラメータ、終点画像生成パ
ラメータ、および実体画像データファイル、属性を検索
する。２．隣り合う２つの現象間で、前側の現象の終点画像パ
ラメータと、後側の現象の始点画像生成パラメータの、
対応する各画像生成パラメータを比較し、差の絶対値を
求める。３．一定の閾値を設け、パラメータ群の中で閾値以上の
差の絶対値を持つものがある場合は、前側の現象の終点
画像生成パラメータを始点画像生成パラメータ、後側の
現象の始点画像生成パラメータを終点画像生成パラメー
タとする新たな現象としての移行現象を発生させる。４．新たな移行現象以外の、元からある全現象に対し
て、動画像辞書から検索した関数に、現象パラメータ−
引数対応テーブルにより設定された引数を設定する。ま
た、ギャップを平滑化するために新しく発生させた各移
行現象に対しては、パラメータ合成関数に、始点画像生
成パラメータ、終点画像生成パラメータを引数として設
定する。５．これらの関数を現象の生起順に並べ、動画像生成デ
ータとする。これを動画像生成部１９に送る。次いで、
動画像生成部１９においてこれらの関数を起動し、動画
像を生成する。

【００４６】次に、本発明の画像生成装置に関し具体例
に基づいてさらに詳細に説明する。図８は本発明実施形
態の入力文例とその構文解析結果を示す構文解析木を説
明する図、図９は本発明実施形態の概念辞書の内容を説
明する図である。

【００４７】図８に示すように、動画像を生成するため
の入力文例は、「一郎が、ホワイトボードの前に歩いて
行って、図を描く。」であり、その構文解析結果の構文
解析木は各節の中に、「一郎−が−歩いて行く」と「ホ
ワイトボード−の−前−に−歩いて行く」の２本の枝と
「図−を−描く」の１本の枝とを有する。

【００４８】概念辞書は、図９に示すように、各単語の
意味表現を記憶している。例えば、「歩いて行く」の場
合は、「歩行主体」、「出発地点」、「到着地点」、
「出発時刻」、「到着時刻」などの現象パラメータと各
現象パラメータ値を持つ「歩行」という現象概念表現を
意味表現として持つ。「描く」の場合は、現象概念とし
て「描画」を、その前後に生起する周辺現象として、も
のを手に取って持つことを意味する「取持（以下、読み
方は「しゅじ」という）」、手に持ったものを戻して置
くことを意味する「戻置（以下、読み方は「もどしお
き」という）」から成る意味表現を持つ。

【００４９】ここで、付加手続き１は、パラメータ値
６，９，１４が入力文によって埋められておらず、直前
先行現象が行為であり、その行為主体を表すパラメータ
のパラメータ値が与えられている場合、そのパラメータ
値をパラメータ値６，９，１４に代入する。

【００５０】付加手続き２は、パラメータ値７，１３，
１５が入力文によって埋められておらず、直前先行現象
が歩行であり、その到着地点パラメータのパラメータ値
３が、”実体名詞＋「の」＋場所名詞”という形で与え
られている場合、場所名詞フレームの基準位置スロット
の値を取得し、それが「ホワイトボード」であれば「マ
ーカ」を、また、「黒板」であれば「チョーク」を、パ
ラメータ値７，１３，１５に代入する。

【００５１】付加手続き３は、取持主体存在場所もしく
は描画主体存在場所のパラメータ値が、入力文によって
埋められておらず、直前先行現象が歩行であり、その到
着地点パラメータのパラメータ値３が入力文によって埋
められている場合、その値を取得してパラメータ値８，
１２に代入する。

【００５２】付加手続き４は、パラメータ値１１が入力
文によって埋められておらず、「取持」の直前先行現象
が歩行であり、その到着地点パラメータのパラメータ値
３が、”実体名詞＋「の」＋場所名詞”等の名詞句の解
釈結果として導びかれる場所名詞フレームである場合、
その基準位置スロットの値を取得し、パラメータ値１１
に代入する。なお、名詞句を解釈して名詞フレーム表現
を得る手続きは、従来の手法が用いられる。

【００５３】各付加手続きは、理解を容易にするため
に、かなり個別的な処理内容を設定したが、状況に応じ
て、より一般性を持たせて記述することができる。ま
た、付加手続きを用いる代わりに、知識ベースと推論エ
ンジンを用意して、推論を行わせることもできる。

【００５４】なお、「前に出て行って、ホワイトボード
に図を描いた。」などの文のように、「ホワイトボー
ド」が後の節で言及され、「歩行」現象の「到着地点」
パラメータのパラメータ値が陽には限定されない場合に
は、「到着地点」パラメータに付加手続きを定義し、
「描画対象物」パラメータのパラメータ値を取得して、
「到着地点」パラメータのパラメータ値「前」フレーム
の「基準実体」スロットに代入しないと、「到着地点」
が確定せず、動画を生成することができない。

【００５５】構文解析木中の末端側の節に注目する。こ
の節は「一郎がホワイトボードの前に歩いて行く」であ
る。ここで「歩いて行く」の意味表現を概念辞書１６か
ら取得する。図１０に示すようなパラメータ変換テーブ
ルを参照して、着目節の連用修飾の枝を１本ずつ現象パ
ラメータ−現象パラメータ値対に変換する。この場合に
は、「一郎−が−歩いて行く」と「ホワイトボード−の
−前−に−歩いて行く」という２本の枝を、それぞれ現
象パラメータ−現象パラメータ値対に変換する。「歩い
て行く」の主格は、パラメータ変換テーブルにより、
「歩行主体」に対応するから、その値に「一郎」が代入
される。「〜に歩いて行く」の「に」格は場所・終点格
であるから、名詞句「ホワイトボードの前」の解釈結果
であるフレーム表現が、「歩行」現象の「到着地点」パ
ラメータのパラメータ値に代入される。その結果、図１
１に示す解釈結果が得られる。すなわち、「歩行」の歩
行主体は「一郎」、到着地点は「前」である。なお、こ
の「前」フレームは、「ホワイトボード」を基準にし
て、その「前」という意味を表す。文脈の場は空なの
で、この意味表現は文脈の場に置く。

【００５６】構文解析木中で、次に処理すべき節を探
す。「図を描く」という節がある。この「描く」の意味
表現を概念辞書１６から取得する。パラメータ変換テー
ブルを参照して、着目節を連用修飾の枝を１本ずつ現象
パラメータ−現象パラメータ値対に変換する。この場合
は、「図−を−描く」という枝１本のみである。「描
く」の対象格は「描画内容」に対応するので、その結
果、図１２に示す解釈結果が得られる。文脈の場に意味
表現があるが、共通部分を持たないので、接続助詞
「て」の意味である時間の推移に従って、文脈の場の意
味表現の、時間的後方に対応する位置に、着目節の意味
表現を置く。図１３は本発明実施形態の文脈の場に蓄積
された意味表現を説明する図である。

【００５７】次に、起動可能な付加手続きが存在するの
で、これを起動する。図１４は本発明実施形態の付加手
続きを起動した後の文脈の場に蓄積された意味表現を説
明する図である。まず、付加手続き１により、「取持主
体」、「描画主体」および「戻置主体」パラメータの値
に「一郎」が代入される。付加手続き２により、「前」
フレームの基準実体スロットの値から「ホワイトボー
ド」が取得されるので、「マーカ」を「取持対象」、
「描画具」および「戻置対象」のパラメータ値に代入す
る。付加手続き３により、「取持主体存在場所」パラメ
ータおよび「描画主体存在場所」パラメータの値とし
て、「（ホワイトボードの）前」が代入される。付加手
続き４により、「描画対象物」パラメータの値に「ホワ
イトボード」が代入される。

【００５８】以上の処理により文脈データが作成された
ので、動作や現象毎にまとめられた文脈データから、動
画像生成データ抽出部１７による動画像辞書１８を参照
して動画像を生成するための関数およびその引数を決定
する処理を説明する。図１５乃至図１９は本発明実施形
態の動画像辞書例を説明しており、図１５は「歩行」、
図１６は「取持」、図１７は「描画」、図１８は「戻
置」、図１９は「ホワイトボード」及び「図」の実体画
像データファイルを示している。

【００５９】すなわち、歩行の動画辞書例では、図１５
に示すように、例えば、動画生成関数（Hokou ）の引数
は、agent、 location1、location2、 speedなどで、現象
パラメータ−引数対応テーブルは、歩行主体がagent、出
発地点が location1、到着地点がlocation2、歩行速度が
speedなどに対応し、画像生成パラメータとして頭部垂
直方向角度、頭部水平方向角度などについて始点および
終点の値が設定されている。同様にして、図１６に示す
ように、動画生成関数（Shuji)の引数は、agent 、obje
ct、location1 、location2 などで、現象パラメータ−
引数対応テーブルは、取持主体が agent、取持対象がob
ject、取持主体存在場所がlocation1 、取持対象存在場
所がlocation2 などに対応し、また取持の始点および終
点の画像生成パラメータ値が設定されている。図１７に
示すように、動画生成関数（Byouga）の引数は、agent
、contents、object、writing implements、locatio
n、などで、現象パラメータ−引数対応テーブルは、描
画主体が agent、描画内容がcontents、描画対象物がob
ject、描画具がwriting implements、描画主体存在場所
がlocationなどに対応し、また描画の始点および終点の
画像生成パラメータ値が設定されている。図１８に示す
ように、動画生成関数（Modoshioki）の引数は、agent
、object、location1 、location2 などで、現象パラ
メータ−引数対応テーブルは、戻置主体がagent、戻置対
象がobject、戻置主体存在場所がlocation1、戻置対象存
在場所がlocation2 などに対応し、また戻置の始点およ
び終点の画像生成パラメータ値が設定されている。さら
に、図１９に示すように、「ホワイトボード」実体画像
データファイル（Imagedata1) は、属性として大きさ等
が設定され、描かれる「図」の実体画像データファイル
（Imagedata2）は、属性として大きさ等が設定されてい
る。ただし、実体画像データの「大きさ」属性は入力文
により指定が無い。

【００６０】動画像生成データ抽出部１７は、意味・文
脈解析部１５で作成された文脈デーデータの意味表現中
の概念により、動画像辞書１８を参照して上記のデータ
を検索して動画像生成データの設定を行う。

【００６１】次いで、文脈の場の意味表現中の隣り合う
２つの現象間で、動画像を連続して円滑に接続するため
に、前側の現象の終点画像生成パラメータと、後側の現
象の始点画像生成パラメータの、対応する各画像生成パ
ラメータの値を比較し、差の絶対値を求める。

【００６２】図２０乃至図２２は本発明実施形態の現象
間の画像生成パラメータの比較を説明する図であり、図
２０は歩行と取持の画像生成パラメータ、図２１は取持
と描画の画像生成パラメータ、図２２は描画と戻置の画
像生成パラメータの比較を説明している。

【００６３】ここでそれぞれの画像生成パラメータの値
の差の絶対値に注目し、その閾値を、例えば、５とする
と、上記の図に現れる差の絶対値は全て５以上であるの
で、「歩行」−「取持」「取持」−「描画」「描画」−「戻置」の間に、画像生成パラメータのギャップを円滑に埋める
ための新現象として移行現象を発生させる。そのため
に、前側の現象の終点画像生成パラメータを新しい始点
画像生成パラメータとし、後側の現象の始点画像生成パ
ラメータを新しい終点画像生成パラメータとして新しい
現象として移行現象とする。図２３乃至図２５は本発明
実施形態の移行現象を示しており、図２３は歩行と取持
との間の移行現象１、図２４は取持と描画との間の移行
現象２、図２５は描画と戻置との間の移行現象３を示し
ている。

【００６４】動画像生成データ抽出部１７では、文脈の
場に元からある現象に対して、関数と引数を設定し、上
記新現象としての移行現象に対しては、パラメータ合成
関数とその引数として始点画像生成パラメータおよび終
点画像生成パラメータを設定して、時間順に並べる。こ
れにより、動画像生成データが作成される。

【００６５】図２６乃至図２９は本発明実施形態の時間
順に並べた動画像生成データを説明する図であり、図２
６は歩行現象と移行現象１を示す図、図２７は取持現象
と移行現象２を示す図、図２８は描画現象と移行現象３
を示す図、図２９は戻置現象を示す図である。

【００６６】すなわち、図２６に示すように、歩行現象
の動画生成関数（Hokou ）の引数となるagent は「一
郎」、location2 は「前」などであり、移行現象１の動
画生成関数は「パラメータ合成関数」、また、その引数
となる始点および終点画像生成パラメータは歩行現象の
終点画像生成パラメータおよび取持現象の始点画像生成
パラメータである。図２７に示すように、取持現象の動
画生成関数（Shuji ）の引数となるagent は「一郎」、
objectは「マーカ」、locationは「前」などであり、移
行現象２の動画生成関数は「パラメータ合成関数」、ま
た、その引数となる始点および終点画像生成パラメータ
は取持現象の終点画像生成パラメータおよび描画現象の
始点画像生成パラメータである。図２８に示すように、
描画現象の動画生成関数（Byouga）の引数となるagent
は「一郎」、contentsは「図」、objectは「ホワイトボ
ード」、locationは「前」、writing implementsは「マ
ーカ」などであり、移行現象３の動画生成関数は「パラ
メータ合成関数」、また、その引数となる始点および終
点画像生成パラメータは描画現象の終点画像生成パラメ
ータおよび戻置現象の始点画像生成パラメータである。
図２９に示すように、戻置現象の動画生成関数（Modosh
ioki）の引数となるagent は「一郎」、objectは「マー
カ」などである。

【００６７】上記の動画像生成データ抽出部１７により
作成された動画像生成データは、動画像生成部１９に送
られ、時間順に並べられた現象に対応する動画生成関数
を起動して動画像が表示部２０であるディスプレイ装置
２４に表示される。

【００６８】図３０および図３１は本発明実施形態によ
り表示される動画像を説明するイメージ図であり、図３
０は歩行現象の最終画面を示し、図３１は取持現象の初
期画面を示している。

【００６９】図３０において、一郎を示す人物像３１は
画像生成パラメータに対応させた線画で模式的に人の形
状に形成されており、歩行現象の最終画面を示してい
る。また、図３１において、人物像３１はマーカ３３が
置いてあるホワイトボード３２前に位置し、取持現象の
最初の画像を示している。歩行現象の最終画面における
人物像３１と、取持現象の最初の画像における人物像３
１とは、図２０において説明したように、画像生成パラ
メータである頭部垂直方向角度の差が４５、右上膊部垂
直方向角度の差が３０、右下膊部垂直方向角度の差が９
０であり、動作にギャップが生じている。本実施形態に
おいては、この動作のギャップである歩行現象の最終画
面と取持現象の初期画面との間を円滑に接続するため
に、動画像生成データ抽出部１７で新たに移行現象１に
対する動画像生成データとしてパラメータ合成関数及び
引数を生成している。従って、歩行現象の最終画面から
ホワイトボード３２前のマーカ３３を手に取り図を描く
直前までが動画像として円滑に接続される。

【００７０】上記構成の自然言語処理装置１では、自然
言語の入力文に対して解析辞書１４を参照して形態素解
析部１２および構文解析部１３で解析して構文解析木を
出力し、意味・文脈解析部１５で概念辞書１６を参照し
て、この構文解析木の連用修飾の枝１本毎に、どのよう
な現象のどの属性を限定するかを判定し、同定された現
象がすでに文脈中にあれば判定された内容を文脈データ
の該当する位置に書き加え、文脈中に無ければその現象
に関する記述を新規に文脈データに付加する処理を全て
の入力文に対して繰り返すことで、陽に述べられていな
い事柄も認識して連続した現象の連なりとして補完する
ことができ、この文脈データをもとにすれば、連続した
動画像を容易に生成することができるようになる。

【００７１】また、上記構成の画像生成装置２では、上
記の自然言語処理装置１で抽出された文脈データをもと
に、動画像生成データ抽出部１７が動画像辞書１８を参
照して動画生成関数およびその引数を決定する処理を行
い、動画像生成部１９で動画生成関数およびその引数を
用いて動画像を生成し表示部２０に表示することで、連
続した現象の動画像を表示することができる。さらに、
動画像生成データ抽出部１７では、前の現象と次の現象
との間を円滑に接続するために、両方の現象のギャップ
が一定の閾値を越えるときに、前の現象の終点画像生成
パラメータを新たな始点画像生成パラメータ、後の現象
の始点画像生成パラメータを新たな終点画像生成パラメ
ータとして新たな移行現象を設定して、時間順に並べて
いるため、現象と現象の間も円滑な動画像を生成するこ
とができる。したがって、このような自然言語処理装置
１およびその装置を利用した画像生成装置２では、自然
言語からその意味に対応するアニメーションなどの動画
像を生成することが簡単になる。

【００７２】本実施形態では、歩行や描画を中心とする
動作や現象を例に説明したが、その他の異なる動作や現
象についても同様に適用することができ、また歩行、取
持、描画、戻置などの動画生成関数なども一例であり実
施例に限定されない。

【００７３】また、本実施形態の自然言語処理装置１で
は、動画像の生成を中心に説明したが、意味・文脈解析
部１５で抽出される文脈データは、連続した現象の連な
りとして統合されているため、この文脈データを基にす
れば、ロボットなどの連続的な動作を制御するために利
用することもできる。

【００７４】さらに、上記の説明では、各移行現象の継
続時間に関する説明を省略したが、現象の種別、現象の
主体、対象等に従って各移行現象の継続時間を指定する
テーブルをあらかじめ用意し、それに基づいて時間をコ
ントロールするなどのメカニズムを設けたり、あるいは
ユーザが継続時間やコマ数を指定する手段を設けること
は容易である。

【００７５】

【発明の効果】以上説明したように、本発明の自然言語
処理装置では、自然言語の入力文に対して形態素解析部
および構文解析部で出力される構文解析木を、意味・文
脈解析部で概念辞書を参照して、連用修飾の枝１本毎
に、どのような現象のどの属性を言及しているかを同定
し、その属性値を限定する処理を行い、同定された現象
がすでに文脈中にあれば限定された内容を文脈データの
該当する位置に書き加え、文脈中に無ければその現象に
関する記述を新規に文脈データに付加する処理を全ての
入力文に対して繰り返しているため、陽に述べられてい
ない事柄も認識して連続した現象の連なりとして補完す
ることができ、この文脈データをもとに連続した動画像
を容易に生成することができるようになる。

【００７６】また、本発明の画像生成装置では、動画像
生成データ抽出部が動画像辞書を参照して、自然言語処
理装置で抽出された文脈データをもとに、動画生成関数
およびその引数を決定する処理を行い、動画像生成部で
動画生成関数およびその引数を用いて動画像を生成し表
示部に表示することで、円滑で連続した現象の動画像を
表示することができる。

【図面の簡単な説明】

【図１】本発明実施形態の自然言語処理装置を利用した
画像生成装置の構成を示す機能ブロック図である。

【図２】本発明実施形態の自然言語処理装置を利用した
画像生成装置の動作を説明するフローチャートである。

【図３】本発明実施形態の自然言語処理装置を利用した
画像生成装置の具体的な構成を示す図である。

【図４】本発明実施形態の意味表現形式を説明する図で
ある。

【図５】本発明実施形態の１文に対する意味・文脈解析
処理を説明するフローチャートである。

【図６】本発明実施形態の１文に対する意味・文脈解析
処理を説明するフローチャートである。

【図７】本発明実施形態の動画像辞書の内容を説明する
図である。

【図８】本発明実施形態の入力文例とその構文解析結果
を示す構文解析木を説明する図である。

【図９】本発明実施形態の概念辞書の内容を説明する図
である。

【図１０】本発明実施形態のパラメータ変換テーブルの
内容を説明する図である。

【図１１】本発明実施形態の歩行に関する解釈結果を説
明する図である。

【図１２】本発明実施形態の描画に関する解釈結果を説
明する図である。

【図１３】本発明実施形態の文脈の場に蓄積された意味
表現を説明する図である。

【図１４】本発明実施形態の文脈の場に蓄積された意味
表現を説明する図である。

【図１５】本発明実施形態の動画辞書例の歩行の内容を
説明する図である。

【図１６】本発明実施形態の動画辞書例の取持の内容を
説明する図である。

【図１７】本発明実施形態の動画辞書例の描画の内容を
説明する図である。

【図１８】本発明実施形態の動画辞書例の戻置の内容を
説明する図である。

【図１９】本発明実施形態の動画辞書例のホワイトボー
ドおよび図の内容を説明する図である。

【図２０】本発明実施形態の歩行と取持の画像生成パラ
メータの差の絶対値を示す図である。

【図２１】本発明実施形態の取持と描画の画像生成パラ
メータの差の絶対値を示す図である。

【図２２】本発明実施形態の描画と戻置の画像生成パラ
メータの差の絶対値を示す図である。

【図２３】本発明実施形態の歩行と取持の移行現象１を
説明する図である。

【図２４】本発明実施形態の取持と描画の移行現象２を
説明する図である。

【図２５】本発明実施形態の描画と戻置の移行現象３を
説明する図である。

【図２６】本発明実施形態の時間順に並べた動画像生成
データの歩行現象と移行現象１を示す図である。

【図２７】本発明実施形態の時間順に並べた動画像生成
データの取持現象と移行現象２を示す図である。

【図２８】本発明実施形態の時間順に並べた動画像生成
データの描画現象と移行現象３を示す図である。

【図２９】本発明実施形態の時間順に並べた動画像生成
データの戻置現象を示す図である。

【図３０】本発明実施形態により表示される動画像のう
ち歩行現象の最終画面を示すイメージ図である。

【図３１】本発明実施形態により表示される動画像のう
ち取持現象の初期画面を示すイメージ図である。

【符号の説明】

１自然言語処理装置２画像生成装置１１入力部１２形態素解析部１３構文解析部１４解析辞書１５意味・文脈解析部１６概念辞書１７動画像生成データ抽出部１８動画像辞書１９動画像生成部２０表示部２１ＣＰＵ２２主記憶装置２３外部記憶装置２４ディスプレイ装置３１人物像３２ホワイトボード３３マーカ

Claims

【特許請求の範囲】

【請求項１】形態素および構文に関する情報を保持す
る解析辞書と、自然言語の入力文に対し前記解析辞書を参照して形態素
解析処理を施す形態素解析部および形態素解析を施され
た入力文に対し前記解析辞書を参照して構文解析処理を
施して入力文の構文解析木を出力する構文解析部と、前記入力文中の単語の名詞および述語に関して、概念階
層構造、全体と部分関係、全体及び部分と属性関係をデ
ータとして保持する概念辞書と、前記構文解析部から出力される構文解析木の連用修飾の
枝１本毎に、前記概念辞書を参照して、その枝が言及す
る現象と属性を同定し、その属性値を限定する処理を行
い、同定された現象がすでに文脈中にあれば、限定され
た内容を文脈データの該当する位置に書き加え、文脈中
に無ければ、その現象に関する記述を新たに文脈データ
に付加する処理を、全ての入力文に対し繰り返す意味・
文脈解析部とを備えることを特徴とする自然言語処理装
置。
【請求項２】前記意味・文脈解析部は、前記入力文で
陽に言及されない現象を、前記概念辞書に記憶されてい
る周辺現象に関する知識を基に作成された文脈データと
つき合わせることにより同定する処理を行うことを特徴
とする請求項１記載の自然言語処理装置。
【請求項３】自然言語処理装置と、現象パラメータ−パラメータ値群と動画生成関数および
引数との対応データ、始点および終点画像生成パラメー
タ、並びに実体画像データファイルと属性を保持する動
画像辞書と、前記自然言語処理装置で抽出された文脈データをもとに
前記動画像辞書を参照して動画像を生成するための動画
生成関数およびその引数を決定する処理を行う動画像生
成データ抽出部と、前記動画像生成データ抽出部で決定された動画生成関数
およびその引数を用い表示部に表示するための動画像を
生成する動画像生成部とを備えることを特徴とする画像
生成装置。
【請求項４】前記動画像生成データ抽出部は、現象毎
にまとめられた文脈データから、隣り合う２つの現象間
において、前側の現象の終点画像生成パラメータと後側
の現象の始点画像生成パラメータとの、それぞれ対応す
る画像生成パラメータ値を比較し、差の絶対値が一定の
閾値以上のとき、前側の現象の終点画像生成パラメータ
を始点画像生成パラメータ、後側の現象の始点画像生成
パラメータを終点画像生成パラメータとする新たな移行
現象を生成することを特徴とする請求項３記載の画像生
成装置。