JPH09269945A - メディア変換方法およびメディア変換装置 - Google Patents

Abstract

(57)【要約】 【課題】利用者による修正操作は全てのメディア変換処
理が終了してから行うことを可能にして、利用者の修正
にかかる手間を削減できるメディア変換方法およびメデ
ィア変換装置を提供する。 【解決手段】メディア変換処理を連続して実行した後、
提示部７に最終のメディア変換結果を提示し、利用者が
その内容をチェックして変換誤りが発生している個所を
指示部８により指示すると、メディア変換特定部６は、
第２の記憶部５に記憶された各メディア変換処理部の入
力データと出力データの対応関係をもとに、修正が必要
とされる誤り箇所を発生したメディア変換処理部を特定
し、利用者が修正部９で適宜修正した後、メディア変換
処理制御部２の制御のもと、修正部９で修正された出力
データを入力データとするメディア変換処理部以降のメ
ディア変換処理を第１の記憶手段４に記憶された実行順
序に基づき再実行する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像からコード
へ、英文テキストから日本文テキストへといった複数の
ディア変換処理を連続して実行するメディア変換方法お
よびメディア変換装置に関する。

【０００２】

【従来の技術】従来、メディア変換装置として、画像を
文字認識してコード化するテキストリーダや英文テキス
トから日本文テキストへ変換する機械翻訳システム、テ
キストデータを読み上げる音声合成、音声を認識してテ
キストデータに変換する音声認識、入力された文章から
抄録を生成する抄録システム等が開発されてきた。

【０００３】テキストリーダは紙に書かれたような画像
データ（情報）をコンピュータで取り扱える文字コード
に変換するメディア変換装置である。ファックスに書か
れた文字データはコンピュータにとって単なる画像であ
り、内容を修正したり利用したりすることは出来ない
が、テキストリーダを用いれば、文字コードになるので
ワープロと同様に編集操作が可能となる。

【０００４】機械翻訳システムは英文を日本文に変換し
たり、日本文を英文に変換したりと言語間の変換を行う
ことが出来る。音声合成は、テキスト文を合成音声（機
械音声）で読み上げる装置であり、音声認識は、人の声
や合成音声をテキストデータに変換するための装置であ
る。また、抄録システムは、入力されたテキスト文の情
報を出来るだけ欠くことなく量的に少なくするためのシ
ステムである。これにより長文で書かれた文書も要点だ
けの短文に変換することが出来る。

【０００５】上記各メディア変換装置は単独で用いるこ
とも出来るが、連続して動作させることも可能である。
例えば、テキストリーダと機械翻訳、抄録システムを連
続して利用できる。英文のファックス画像はテキストリ
ーダで英文テキストに変換され、機械翻訳システムで日
本文テキストに変換され、そして抄録システムで日本文
要約テキストに変換される。

【０００６】しかし、メディア変換は必ずしも利用者の
要望どおりに変換してくれるわけではなく、変換誤りが
発生する。テキストリーダにおいては、英単語の「ＺＯ
Ｏ」を「２００」（数字の二百）と認識誤りを起こす可
能性がある。機械翻訳においては、「ｃｏｍｐｕｔｅ
ｒ」を利用者は「計算機」と訳してほしいのにもかかわ
らず「コンピュータ」と訳すこともある。またテキスト
リーダはつぶれた文字やかすれた文字は認識誤りが発生
しやすいし、機械翻訳においても分野を限定しなければ
正しく翻訳することも困難である。

【０００７】よって、メディア変換装置には変換結果の
修正が不可欠となっている。それゆえに、先に述べたよ
うにメディア変換装置を連続して利用する場合、各メデ
ィア変換が終了するたびに変換結果を修正する必要があ
り、利用を非常に煩雑なものにしてきた。つまり、先の
例でいうと、テキストリーダがファックス画像を認識し
て英文テキストに変換した後、利用者が介在し変換結果
の英文テキストを修正する必要がある。修正した英文テ
キストを機械翻訳装置により日本文テキストに変換した
後、変換結果を利用者がチェックして修正する必要があ
る。修正した日本文テキストを抄録システムにより日本
文抄録を作成した後も利用者が修正、確認する必要があ
った。このように従来のメディア変換装置を連続して利
用した場合、メディア変換が終了するたびに変換結果を
修正する必要があり、利用を煩雑なものにしてきた。

【０００８】

【発明が解決しようとする課題】そこで、本発明は、上
記問題点に鑑みてなされたものであり、入力された各種
メディアに対し複数種類のメディア変換処理を連続して
実行する際に、利用者による修正操作は全てのメディア
変換処理が終了してから行うことを可能にして、利用者
の修正にかかる手間を削減できるとともに、変換結果の
信頼性の向上が図れるメディア変換方法およびメディア
変換装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明のメディア変換方
法は、複数種類のメディア変換処理を連続して実行する
メディア変換方法であって、予め記憶された前記複数の
メディア変換処理の実行順序に基づき入力されたメディ
アに対しメディア変換処理を連続して実行する際に、各
メディア変換処理の入力とその変換結果である出力の対
応関係を記憶し、前記メディア変換処理を連続して実行
した結果を提示し、この提示された実行結果に対し利用
者が修正個所を指示したとき、その修正箇所に対応する
メディア変換結果を出力したメディア変換処理を前記対
応関係をもとに各メディア変換処理の入力と出力を比較
することにより特定し、この特定されたメディア変換処
理の変換結果が修正されたとき、前記修正された変換結
果を入力とするメディア変換処理以降のメディア変換処
理を前記予め記憶された実行順序をもとに連続して実行
することにより、入力された各種メディアに対し複数種
類のメディア変換処理を連続して実行する際に、利用者
による修正操作は全てのメディア変換処理が終了してか
ら行うことを可能にして、利用者の修正にかかる手間を
削減できるとともに、変換結果の信頼性の向上が図れ
る。

【００１０】また、本発明のメディア変換方法は、複数
種類のメディア変換処理を連続して実行するメディア変
換方法であって、予め記憶された前記複数のメディア変
換処理の実行順序に基づき入力されたメディアに対しメ
ディア変換処理を連続して実行する際に、各メディア変
換処理の入力とその変換結果である出力の対応関係と変
換結果の曖昧性に関する情報を記憶し、この変換結果の
曖昧性に関する情報と前記メディア変換処理を連続して
実行した結果を互いに関連付けて提示し、この提示され
た実行結果に対し利用者が修正個所を指示したとき、そ
の修正箇所に対応するメディア変換結果を出力したメデ
ィア変換処理を前記対応関係と前記変換結果の曖昧性を
もとに特定し、この特定されたメディア変換処理の変換
結果が修正されたとき、前記修正された変換結果を入力
とするメディア変換処理以降のメディア変換処理を前記
予め記憶された実行順序をもとに連続して実行すること
により、入力された各種メディアに対し複数種類のメデ
ィア変換処理を連続して実行する際に、利用者による修
正操作は全てのメディア変換処理が終了してから行うこ
とを可能にして、利用者の修正にかかる手間を削減でき
るとともに、変換結果の信頼性の向上が図れる。

【００１１】また、本発明のメディア変換装置は、複数
種類のメディア変換処理を連続して実行するメディア変
換装置であって、前記複数のメディア変換処理の実行順
序を記憶する第１の記憶手段と、この前記第１の記憶手
段に記憶されたメディア変換処理の実行順序に基づき入
力されたメディアに対しメディア変換処理を連続して実
行する実行手段と、この実行手段で各メディア変換処理
を実行する際に、そのメディア変換処理の入力とその変
換結果である出力の対応関係を記憶する第２の記憶手段
と、前記実行手段で複数のメディア変換処理を連続して
実行した結果を提示する提示手段と、この提示手段で提
示された実行結果に対し利用者により指示された修正個
所に対応するメディア変換結果を出力したメディア変換
処理を前記第２の記憶手段に記憶された対応関係をもと
に各メディア変換処理の入力と出力を比較することによ
り特定する特定手段と、この特定手段で特定されたメデ
ィア変換処理の変換結果を修正する修正手段と、前記第
１の記憶手段に記憶された実行順序をもとに、前記修正
手段で修正された変換結果を入力とするメディア変換処
理以降のメディア変換を連続して実行する手段と、を具
備することにより、入力された各種メディアに対し複数
種類のメディア変換処理を連続して実行する際に、利用
者による修正操作は全てのメディア変換処理が終了して
から行うことを可能にして、利用者の修正にかかる手間
を削減できるとともに、変換結果の信頼性の向上が図れ
る。

【００１２】また、本発明のメディア変換装置は、複数
種類のメディア変換処理を連続して実行するメディア変
換装置であって、前記複数のメディア変換処理の実行順
序を記憶する第１の記憶手段と、この第１の記憶手段に
記憶されたメディア変換処理の実行順序に基づきメディ
ア変換処理を連続して実行する実行手段と、この実行手
段で各メディア変換処理を実行する際に、そのメディア
変換処理の入力とその変換結果である出力の対応関係と
変換結果の曖昧性に関する情報を記憶する第２の記憶手
段と、前記第２の記憶手段に記憶された変換結果の曖昧
性に関する情報と前記実行手段でのメディア変換処理を
連続して実行した結果を互いに関連付けて提示する提示
手段と、この提示手段で提示された実行結果に対し利用
者により指示された修正個所に対応するメディア変換結
果を出力したメディア変換処理を前記第２の記憶手段に
記憶された対応関係と前記変換結果の曖昧性をもとに特
定する特定手段と、この特定手段で特定されたメディア
変換処理の変換結果を修正する修正手段と、前記第１の
記憶手段に記憶された実行順序をもとに、前記修正手段
で修正された変換結果を入力とするメディア変換処理以
降のメディア変換を連続して実行する手段と、を具備す
ることにより、入力された各種メディアに対し複数種類
のメディア変換処理を連続して実行する際に、利用者に
よる修正操作は全てのメディア変換処理が終了してから
行うことを可能にして、利用者の修正にかかる手間を削
減できるとともに、変換結果の信頼性の向上が図れる。

【００１３】

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。ここで、以下の説明で用いら
れる用語について説明する。メディアとは、例えば、音
声、画像、コード（テキストデータ）、べクトル、さら
に、日本文テキストデータ、英文テキストデータ、抄録
等をいう。

【００１４】メディア変換処理とは、例えば、テキスト
リーダのように画像を文字認識してコード化する変換処
理、機械翻訳システムのように英文テキストから日本文
テキストへ変換する変換処理、音声合成のようにテキス
トデータから音声に変換する変換処理、音声認識のよう
に音声を認識してテキストデータに変換する変換処理、
抄録システムのように入力された文章から抄録を生成す
る処理等であり、あるメディアを認識して他のメディア
に変換する処理をいう。

【００１５】（第１の実施形態）図１は、本実施形態に
係るメディア変換装置の構成例を示したブロック図であ
る。

【００１６】図１において、複数のメディア処理部１−
ｉ（ｉ＝１〜ｎ）のそれぞれは、入力されたあるメディ
アのデータを他のメディアのデータに変換して出力する
ものであり、例えば、テキストリーダメディア変換処
理、機械翻訳メディア変換処理、抄録メディア変換処理
等を実行する。

【００１７】テキストリーダメディア変換処理では、画
像データが入力データであり、画像処理、構造解析、理
解、文字認識を行って、テキストデータとして出力す
る。機械翻訳メディア変換処理は、ある言語データの入
力に対し、別の言語データに変換して出力する。英日機
械翻訳は英語から日本語へのメディア変換を行う。

【００１８】抄録メディア変換処理は、あるテキストデ
ータの入力に対し、入力テキストデータの抄録を作成し
出力する。ある入力データにメディア変換を行い、ある
出力データを得るとき、単一のメディア変換処理部では
実現できないことがある。例えば、ファックスのような
英文テキスト画像から日本語抄録を得るメディア変換装
置が見つからないことがある。そのような場合、メディ
ア変換装置を組み合わせて利用することにより所望の機
能を実現することが出来る。例えば、テキストリーダ
（英文テキスト画像から英文テキストへの変換）と英日
機械翻訳（英文テキストから日本文テキストへの変換）
と抄録（日本文テキストから日本語抄録を生成）を連続
して利用することにより英文テキスト画像から日本語抄
録を得ることが出来る。

【００１９】メディア変換処理部１−ｉの実行順序は利
用者が決めることができ、実行順序は第１の記憶部４に
格納される。なお、本実施形態では、テキストリーダメ
ディア変換処理、英日機械翻訳メディア変換処理、抄録
メディア変換処理をこの順序で、それぞれ第１のメディ
ア変換処理部１−１、第２のメディア変換処理１−２、
第３のメディア変換処理１−３で連続して実行する場合
を例にとり説明する。

【００２０】メディア変換装置制御部２は、第１の記憶
部４に格納された実行順序に基づきメディア変換処理を
実行するための制御を司るものである。すなわち、メデ
ィア変換処理制御部２の制御のもと、各メディア変換処
理部１−ｎは、入力データを受け、それぞれのメディア
変換処理を実行し、最終段のメディア変換処理部１−ｎ
から出力されるメディア変換結果が提示部７にて提示さ
れる。提示部７は、例えば、スピーカ、ディスプレイ等
で構成されている。

【００２１】各メディア変換処理部１−ｎでメディア変
換処理が実行されると、それぞれのメディア変換処理部
における入力データと出力データの対応関係が対応関係
解析部３で解析され、第２の記憶部５に記憶される。

【００２２】なお、各メディア変換処理部１−ｎはメデ
ィア変換装置であってもソフトウエア（サーバ）であっ
てもよい。利用者は、提示部７で提示された変換結果を
もとに、修正が必要と思われる箇所を指示部８にて指示
するようになっている。

【００２３】メディア変換特定部６は、指示部８にて利
用者により指示された修正箇所に対応するメディア変換
結果を出力したメディア変換処理部を特定するもので、
その際、第２の記憶部５に記憶された対応関係を参照す
るようになっている。このメディア変換特定部６にて特
定されたメディア変換処理部の入出力データの対応関係
は提示部７に提示され、それをもとに、利用者は、修正
部９にて出力データを修正することができる。

【００２４】修正部９にて修正を行うと修正内容はメデ
ィア変換特定部６を介してメディア変換処理制御部２に
送られ、利用者の操作により、あるいは自動的に、メデ
ィア変換処理制御部２の制御のもと、修正部９で修正さ
れた出力データを入力データとするメディア変換処理部
以降のメディア変換処理を第１の記憶手段４に記憶され
た実行順序に基づき再実行するようになっている。

【００２５】メディア変換処理の具体例を図２〜図５を
参照して説明する。図２は、ファックス文書画像であ
り、これはテキストリーダメディア変換処理により図３
の英文テキストに変換される。次いで、英日機械翻訳メ
ディア変換処理により図４の日本語テキストに変換さ
れ、最後に抄録メディア変換処理により図５の日本文抄
録に変換される。

【００２６】次に、図６を参照して、第２の記憶部５に
記憶される各メディア変換処理部１−ｎの入力データと
出力データの対応関係について説明する。図６におい
て、例えば、ファックス画像の「Ｎｅｗ」という部分
（図６の符号Ｇ１を付した部分）は、第１のメディア変
換処理部（テキストリーダ）１−１により「Ｎｅｗ」
（図６の符号Ｇ２を付した部分）と変換され、さらに、
第２のメディア変換処理部１−２（英日機械翻訳）によ
り「新しい」（図６の符号Ｇ３を付した部分）と変換さ
れている。

【００２７】また、ファックス画像の「Ｐｒｏｊｅｃ
ｔ」という部分（図６の符号Ｇ４を付した部分）は、第
１のメディア変換処理部（テキストリーダ）１−１、第
２のメディア変換処理部（英日機械翻訳）１−２によ
り、それぞれ、「Ｐｒｏｊｅｃｔ」（図６の符号Ｇ５を
付した部分）、「事業」（図６の符号Ｇ６を付した部
分）と変換され、「新しい」（図６の符号Ｇ３と付した
部分）と「事業」（図６の符号Ｇ６を付した部分）を統
合して、第３のメディア変換処理部（抄録生成）によ
り、「新しい事業」（図６の符号Ｇ７を付した部分）と
変換されている。

【００２８】ファックス画像の「ｐｒｏｐｏｓｅｓ」
（図６の符号Ｇ８を付した部分）は第１のメディア変換
処理部（テキストリーダ）１−１により「ｐｒｅｐａｓ
ｅｓ」（図６の符号Ｇ９を付した部分）と誤って変換さ
れている。よって、第２のメディア変換処理部（英日機
械翻訳）１−２においては、「ｐｒｅｐａｓｅｓ」とい
う単語が登録されていないので訳すことができず、未登
録単語として「ｐｒｅｐａｓｅｓ」（図６の符号Ｇ１０
を付した部分）のまま残されている。

【００２９】さらに、日本文テキストの「本論」から
「ｐｒｅｐａｓｅｓする」まで（図６の符号Ｇ１１を付
した部分）をまとめて、第３のメディア変換処理部（抄
録生成）１−３では「本論は新しいコンピュータシステ
ムに関する」（図６の符号Ｇ１２１を付した部分）と変
換されている。

【００３０】図６に示したような対応関係は、対応関係
解析部３にて、各メディア変換処理部１−ｎの中間デー
タを解析することにより得ることができる。例えば、テ
キストリーダの場合、入力画像から行画像が抽出され、
単語画像が抽出され、一文字認識と同時に単語知識が利
用されて単語が割り当てられるので、各入力単語画像は
出力単語に対応付けることが可能となる。このように対
応関係の解析は、各メディア変換処理部１−ｎに依存し
て決められる。

【００３１】図７は、第２の記憶部５における各メディ
ア変換処理部の入力データと出力データの対応関係の記
憶例を示したものである。図７はその最も簡単な例で、
入力データのある領域が出力データのある領域に独立し
てつながっている場合である。各メディア変換処理部１
−ｎ毎に入力項目と出力項目が用意されており、対応付
く入出力データが格納されている。図７ではテキストリ
ーダの入力画像「ｐｒｐｏｓｅｓ」（図６の符号Ｇ８が
付された部分）は出力データ「ｐｒｅｐａｓｅｓ」（図
６の符号Ｇ９が付された部分）に対応付けされ、それは
機械翻訳の入力データになっており、機械翻訳の出力デ
ータ「ｐｒｅｐａｓｅｓ」（図６の符号Ｇ９が付された
部分）は抄録の入力データになっている。

【００３２】また、同様にしてテキストリーダの入力画
像「ｃｏｍｐｕｔｅｒ」（図６の符号Ｇ２０が付された
部分）の場合、その出力データ「ｃｏｍｐｕｔｅｒ」
（図６の符号Ｇ２１が付された部分）に対応付けされ、
それは機械翻訳の入力データになっており、機械翻訳の
出力データ「コンピュータ」（図６の符号Ｇ２２が付さ
れた部分）は抄録の入力データとして、第２の記憶部５
に記憶される。

【００３３】図８に示すように、英文テキストにおける
「Ｔｈｉｓ」と「ｐａｐｅｒ」が入力データとして日本
文テキストに変換されて「本論」が出力データとなる場
合でも第２の記憶部５の項目間をグラフで記述すること
により格納可能である。

【００３４】また、画像データの格納方法として、画像
データをビットマップ表現やランレングス表現で格納し
てもよい。入力文書画像の位置情報として、例えば、
（ｘ１、ｙ１）−（ｘ２、ｙ２）といった表現で格納し
てもよい。この場合、ｘ１、ｙ１は画像データの最小ｘ
座標値、最小ｙ座標値、ｘ２、ｙ２は画像データの最大
ｘ座標値、最大ｙ座標値である。

【００３５】次に、図９に示すフローチャートを参照し
て、図１のメディア変換装置の処理動作を説明する。入
力された例えばファックス文書画像に対し、メディア変
換処理が連続して実行され、対応関係が解析され、それ
が第２の記憶部５に記憶されていくが、全てのメディア
変換処理（例えば、第１のメディア変換処理部１−１の
テキストリーダー、第２のメディア変換処理部１−２の
機械翻訳、第３のメディア変換処理部１−３の抄録生
成）が終了すると（ステップＳ１）、最後のメディア変
換処理部１−３の出力データを最終結果として提示部７
で利用者に提示する（ステップＳ２）。

【００３６】提示部７における提示の手段は、出力デー
タのメディアの種類によって異なる。出力データが日本
語テキストの場合、ディスプレに表示することが出来
る。出力データが音声合成の場合、スピーカから出力す
ることが出来る。また、出力データが画像の場合、高解
像度ディスプレやプリンタ、ファックスより出力するこ
とが出来る。このように最終結果の提示の方法はメディ
アによって異なるが、もちろんいったんファイル等に保
存しておいて後で利用者の所望の時に出力してもよい。

【００３７】提示部７により利用者に提示されたメディ
ア変換結果を利用者がチェックして、変換誤りが発生し
ている個所を指示部８により指示し（ステップＳ３）、
メディア変換特定部６でその修正が必要とされる誤り箇
所を発生したメディア変換処理部が特定されたら（ステ
ップＳ４〜ステップＳ７）、利用者は修正部９で適宜修
正する（ステップＳ８）。

【００３８】指示部８では、例えば、最終結果が日本語
テキストであり、それが提示部７のディスプレに表示さ
れているとすると、図１０に示すように、カーソルやマ
ウスで領域を指定するようにしてもよい。

【００３９】図１０では、第３のメディア変換処理部１
−３で抄録生成が行われて提示部７に最終結果の抄録が
表示されたとき、利用者がチェックしたい箇所として、
例えば、「本論は新しいコンピュータシステムに関す
る」という領域を指定している場合を示している。

【００４０】ステップＳ３で、指示部８により得られた
修正箇所の指示データはメディア変換特定部６に渡さ
れ、どのメディア変換処理部により発生したものかを解
析するのがステップＳ４〜ステップＳ７の処理である。

【００４１】まず、メディア変換特定部６では、指示部
８で指示された修正個所の内容をＳｉとおく（ステップ
Ｓ３）。図１０の場合では、Ｓｉは「本論は新しいコン
ピュータシステムに関する」に相当している。

【００４２】次に、第２の記憶部４に格納された各メデ
ィア変換処理の入出力の対応関係にに基づき、Ｓｉが発
生したメディア変換処理を検出する。その際、最も簡単
な方法としては、最終段のメディア変換処理部から前段
へと順に、入力データと出力データが異なるメディア変
換処理部を検出する方法がある。すなわち、まず、最終
段のメディア変換処理部の修正箇所として指示された出
力データに対応する最終段のメディア変換処理部の入力
データを求め、それをＴｉとおく（ステップＳ４）。な
お、変数ｉは、連続に実行されるメディア変換処理部の
数を表し、ｎ段のメディア変換処理を実行した場合に
は、ｉの初期値はｎとなり、ｉは１からｎまでの値をと
るものとする。

【００４３】ステップＳ５でＴｉとＳｉを比較し、Ｓｉ
≠Ｔｉの場合は、ステップＳ７に進み、Ｓｉ＝Ｔｉの場
合は、ｉを１つデクリメントし（ステップＳ６）、ステ
ップＳ４に戻る。すなわち、Ｓｉ＝Ｔｉの場合は、さら
に前段に誤りを発生したメディア変換処理部があること
になり前段のメディア変換処理部の入出力データの対応
関係をチェックする。

【００４４】ステップＳ７では、出力データＳｉと入力
データＴｉの内容を提示部７に提示し、利用者に対し、
修正あるいは新たな修正箇所の指示を促す。利用者が新
たに修正箇所を指示する場合はステップＳ３に戻り、利
用者が修正を行う場合はステップＳ８に進む。

【００４５】ステップＳ８で利用者が修正部９で出力デ
ータの修正を行うと、修正内容はメディア変換特定部６
を介してメディア変換処理制御部２に送られ、利用者の
操作により、あるいは自動的に、メディア変換処理制御
部２の制御のもと、修正部９で修正された出力データを
入力データとするメディア変換処理部以降のメディア変
換処理を第１の記憶手段４に記憶された実行順序に基づ
き再実行する（ステップＳ９）。そして、その処理結果
を提示部７に提示し（ステップＳ１０）、ステップＳ３
に戻り、利用者による修正箇所の指示がなくなるまで、
上記処理動作を続行する。

【００４６】以上の処理動作をより具体的に説明する
と、例えば、図１０に示したように、第３のメディア変
換処理部（抄録生成）１−３の出力データに対し、Ｓ３
＝「本論は新しいコンピュータシステムに関する」が修
正箇所として指示されたとき（ステップＳ３）、第２の
記憶部５の記憶された図６に示すような対応関係をもと
に、これに対応する第３のメディア変換処理部１−３の
入力データを検索する。図６からも明らかなように、Ｔ
３＝「本論は新しいコンピュータシステムを開発する新
しい事業をｐｒｅｐａｓｅｓする。近年、…」が得られ
る（ステップＳ４）。

【００４７】この場合、入力データと出力データが異な
るので（ステップＳ５）、提示部７にその内容を提示し
て利用者に修正を促す（ステップＳ７）。利用者は、提
示内容を見て「ｐｒｅｐａｓｅｓ」の部分が不明なの
で、再度、その部分を修正データとして指定する（ステ
ップＳ３）。このとき、Ｓ２＝「ｐｒｅｐａｓｅｓ」と
おく。

【００４８】第２のメディア変換処理部（機械翻訳）１
−２の出力データＳ２＝「ｐｒｅｐａｓｅｓ」に対応す
る入力データは「ｐｒｅｐａｓｅｓ」であり、Ｔ２＝
「ｐｒｅｐａｓｅｓ」となる（ステップＳ４）。この場
合、Ｓ２＝Ｔ２となり、入力データと出力データは同一
であるので（ステップＳ５）、ｉを１だけデクリメント
して（ステップＳ６）、次のメディア変換部に動作が移
る。この場合、Ｓ１＝Ｔ２＝「ｐｒｅｐａｓｅｓ」（図
６の符号Ｇ９が付された部分）となる。

【００４９】第１のメディア変換処理部（テキストリー
ダ）１−１の出力データＳ１＝「ｐｒｅｐａｓｅｓ」に
対応する入力データは、図６から明らかなように、画像
Ｇ８であるので、Ｔ１＝画像ＧＩ＝「ｐｒｏｐｏｓｅ
ｓ」とおく（ステップＳ４）。

【００５０】ステップＳ５でＳ１＝ＴＩであるか否かを
チェックする方法として、例えば、次のようなものがあ
る。すなわち、第１のメディア変換処理部（カードリー
ダ）１−１の文字認識の際に、パターンマッチング処理
を行う際に標準パターンとの類似度を求め、その値をも
とに、文字認識結果を出力する場合、この類似度がある
閾値より小さいとき、誤認識の可能性が高いとして、Ｓ
１≠ＴＩと判断することができる。

【００５１】Ｓ１＝「ｐｒｅｐａｓｅｓ」とＴ１＝「ｐ
ｒｏｐｏｓｅｓ」との類似度が所定の閾値値より小さい
と考えられるので、ステップＳ５でＳ１≠Ｔ１と判断さ
れ、出力データＳ１と入力データＴ１の内容を提示部７
に提示し、利用者に修正を促す（ステップＳ７）。

【００５２】利用者は画像Ｇ８の「ｐｒｏｐｏｓｅｓ」
を見て、認識誤りを発見し、修正部９にて第１のメディ
ア変換処理部（テキストリーダ）１−１の出力データを
「ｐｒｏｐｏｓｅｓ」に修正する（ステップＳ８）。

【００５３】この修正データは、メディア変換特定部
６、メディア変換処理制御部２を介して、メディア変換
処理部１−１に送られて記憶される。また、対応関係解
析部３でメディア変換処理部１−１の入力データと出力
データの対応関係をが再度解析されて、その解析結果を
もとに、第２の記憶部５の記憶内容を更新するようにし
てもよい。

【００５４】次に、メディア変換処理制御部２の制御の
もと、修正部９で修正された出力データを入力データと
するメディア変換処理部１−２以降のメディア変換処理
を第１の記憶手段４に記憶された実行順序に基づき再実
行する（ステップＳ９）。この場合、第２のメディア変
換処理部（機械翻訳）１−２と第３のメディア変換処理
部（抄録生成）１−３が実行される。

【００５５】なお、ステップＳ９のメディア変換処理の
再実行は利用者が全ての修正を終了してから、あるい
は、修正を行う度に自動的あるいは利用者の指示により
行うようにしてもよい。

【００５６】ステップＳ９のメディア変換処理の再実行
により、図６に示す第１のメディア変換処理部１−１の
ファックス文書画像の認識結果である「Ｔｈｉｓ」から
「ｓｙｓｔｅｍ」までの出力データは、「Ｔｈｉｓ ｐ
ａｐｅｒ ｐｒｏｐｏｓｅｓｔｈｅ ｎｅｗ ｐｒｏｊ
ｅｃｔ ｗｈｉｃｈ ｄｅｖｅｌｏｐｓ ａ ｎｅｗ
ｃｏｍｐｕｔｅｒ ｓｙｓｔｅｍ．」と修正され、第２
のメディア変換処理部（機械翻訳）１−２において、
「本論は新しいコンピュータシステムを開発する新しい
事業を提案する。」と変換され、最終的に第３のメディ
ア変換処理部（抄録生成）１−３により、「本論は新し
いコンピュータシステムに関する新しい事業を提案す
る。」と変換される。

【００５７】修正に関する他の例を述べる。上記のよう
な抄録結果が得られたとき、利用者は、「コンピュー
タ」という言葉が好きではなく、修正することを望んだ
場合を考える。この場合、図９のフローチャートに従っ
て、メディア変換特定部６は、「コンピュータ」という
変換を行ったのは、第２のメディア変換処理部（機械翻
訳）１−２であり、その時の入力データは「ｃｏｍｐｕ
ｔｅｒ」であったことが検出される。

【００５８】機械翻訳の機能として、候補を挙げる機能
も付いている場合、利用者に入力データ「ｃｏｍｐｕｔ
ｅｒ」と出力データ「コンピュータ」を両方提示するの
ではなく、入力データ「ｃｏｍｐｕｔｅｒ」の変換候補
として、例えば、「計算機」や「計算」などを提示する
ようにしてもよい。これにより、利用者は、所望の言い
回し、例えば「計算機」を得ることができ、最終結果と
して「本論は新しい計算機システムに関する新しい事業
を提案する。」が得られる。

【００５９】なお、当然、入力データ「ｃｏｍｐｕｔｅ
ｒ」を提示すると同時に候補も提示してもよい。第１の
メディア変換処理部（テキストリーダ）１−１において
図６の画像Ｇ８「ｐｒｏｐｏｓｅｓ」を「ｐｒｅｐａｓ
ｅｓ」というテキストに変換し、利用者が画像を見て、
「ｐｒｏｐｏｓｅｓ」と修正した場合について説明した
が、この場合、テキストリーダにおける認識処理の過程
で、画像「ｏ」の部分に対し、「ｅ」、「ｏ」、「ａ」
という候補が抽出され、画像「ｏ」の部分に対し
「ａ」、「ｅ」、「ｏ」という候補が抽出され、画像
「ｓ」の部分に対し「ｓ」、「ｒ」、「ｅ」という候補
が抽出されていることを利用者に提示することによって
選択させてもよい。また単語辞書があれば、上記候補を
組み合わせて、「ｐｒｅｐａｒｅｓ」と「ｐｒｏｐｏｓ
ｅｓ」を提示した上で、利用者が選択してもよい。

【００６０】なお、このような認識結果の過程で得られ
る変換候補は、図７に示すように、メディア変換処理部
に対応させて、第２の記憶部５に記憶するようにしても
よい。

【００６１】以上説明したように、上記第１の実施形態
によれば、メディア変換処理を連続して実行した後、提
示部７に最終のメディア変換結果を提示し、利用者がそ
の内容をチェックして変換誤りが発生している個所を指
示部８により指示すると、メディア変換特定部６は、第
２の記憶部５に記憶された各メディア変換処理部の入力
データと出力データの対応関係をもとに入力データと出
力データを比較することにより、修正が必要とされる誤
り箇所を発生したメディア変換処理部を特定し、利用者
が修正部９で適宜修正した後、メディア変換処理制御部
２の制御のもと、修正部９で修正された出力データを入
力データとするメディア変換処理部以降のメディア変換
処理を第１の記憶手段４に記憶された実行順序に基づき
再実行して、その処理結果を提示部７に提示することに
より、利用者は最終結果のみから修正が必要と思われる
箇所の指示とその修正が行え、従来のように、メディア
変換処理を連続して利用しても利用者が各メディア変換
処理実行終了毎に変換結果を確認、修正する必要がな
く、利用者の利便性が向上できる。

【００６２】（第２の実施形態）第１の実施形態では、
メディア変換結果の修正個所は指示部８で利用者が指示
するようになっていたが、修正個所を自動的に提示する
ことも可能である。

【００６３】各メディア変換処理部１−ｉにおいて、変
換結果が知識の不備、処理能力の不足、入力データの低
レベル、などの原因により、正しく変換できなかったと
予想される部分には変換結果の出力データに対する曖昧
性を示す曖昧フラグを付けるようにする。

【００６４】ここで、曖昧性とは、テキストリーダの場
合、例えば、パターンマッチング処理を行う際に標準パ
ターンとの類似度を求め、その値をもとに、文字認識結
果を出力するとき、この類似度がある閾値より小さいと
きは誤認識の可能性が高いとして曖昧性があると判断で
きるであろう。また、機械翻訳の場合、変換候補が複数
あるとき、予め具備された辞書に登録されていない単語
が含まれているとき等には、曖昧性があると判断できる
であろう。さらに抄録生成の場合、抄録に用いられるキ
ーワードとなるべき語句が、入力された文書中に存在し
ないとき等に、曖昧性があると判断されるであろう。

【００６５】このような各メディア変換処理部の処理過
程で検出される出力データの曖昧性を示す曖昧フラグ
は、例えば、図７に示すように、第２の記憶部５に各メ
ディア変換処理部に対応させて記憶するようにしてもよ
い。図７では、曖昧性がある場合には「１」（セッ
ト）、曖昧性がない場合は「０」（リセット）として示
している。

【００６６】例えば、図６の画像Ｇ６の「ｐｒｏｐｏｓ
ｅｓ」の場合、画像がつぶれていたため、第１のメディ
ア変換処理部（テキストリーダ）１−１は認識結果とし
て符号Ｇ９が付された「ｐｒｅｐａｓｅｓ」を出力した
が、このとき、認識過程において第１のメディア変換処
理部１−１が誤認識の可能性が高いと判断したときは、
出力データに対し曖昧性フラグをセットし、第２の記憶
部５で図７に示したように記憶される。

【００６７】同様に、第２のメディア変換処理部（機械
翻訳）１−２において、入力データ「ｃｏｍｐｕｔｅ
ｒ」を「計算機」と訳すべきか「コンピュータ」と訳す
べきか判断できなかった場合も曖昧フラグを付けること
ができる。

【００６８】曖昧フラグは、後続のメディア変換処理部
においても継続して用いることにより、最終結果に反映
することができる。すなわち、提示部８で最終結果を提
示する際に、各メディア変換処理部で検出された曖昧フ
ラグの論理和をとり、それを最終結果に関連付けて提示
する。すなわち、曖昧フラグのセットされた部分を白黒
反転させたり、下線を引いたりなどして強調して提示す
ることが考えられる。この例の場合、機械翻訳結果の
「コンピュータ」と「ｐｒｅｐａｓｅｓ」に曖昧フラグ
がセットされているので、抄録生成結果「本論は新して
コンピュータシステムに関する」に曖昧フラグが設定さ
れ、この部分が強調して表示される。

【００６９】これにより利用者は、提示部７に提示され
た複数のメディア変換処理の連続実行結果に対し、チェ
ックすべき箇所を容易に見つけることが可能となる。さ
らに、曖昧性の度合いに応じて曖昧フラグの強度を変え
（例えば、曖昧性の度合いをバイトデータとして第２の
記憶部５に記憶する）、修正個所の順序まで利用者に提
示することも考えられる。つまり、先の例の場合だと、
入力画像「ｐｒｏｐｏｓｅｓ」を「ｐｒｅｐａｓｅｓ」
と認識したテキストリーダの曖昧性の方が、「ｃｏｍｐ
ｕｔｅｒ」を「コンピュータ」と訳した機械翻訳の曖昧
性よりも強ければ、利用者には先ず「ｐｒｏｐｏｓｅ
ｓ」の部分を修正するように促す。このとき、例えば、
曖昧性の高いところの方を濃い色で表示したり、太い下
線で提示したり、あるいは自動的に曖昧性が高いところ
から順にカーソルが飛んでいくようにしてもよい。

【００７０】先の例で、例えば、テキストリーダで画像
「ｐｒｏｐｏｓｅｓ」が「ｐｒｅｐａｒｅｓ」と認識さ
れ、機械翻訳で「用意する」と訳され、テキストリーダ
においても機械翻訳においても曖昧性があると判定され
たとする。機械翻訳における曖昧性は、登録単語になか
ったり、訳語がみつからなかったり、文法的に間違って
いたり、意味が通らなかったりしたときに設定される。
この場合、画像「ｐｒｏｐｏｓｅｓ」はテキストリーダ
においても機械翻訳においても曖昧フラグが設定された
ことになるが、このような場合は先のメディア変換の修
正を最初に促すことにより修正効率を向上させることが
できる。

【００７１】メディア変換処理の際に抽出される変換候
補や曖昧フラグを次段のメディア変換処理部で利用する
ことも考えられる。例えば、第１のメディア変換処理部
（テキストリーダ）１−１で抽出された複数の認識候補
から最終結果を決定できなかった場合、その複数の認識
候補を次段の第２のメディア変換処理部（機械翻訳）１
−２で展開し、決定させるのである。

【００７２】第１のメディア変換処理部１−１の入力画
像が図６の符号Ｇ８が付された画像「ｐｒｏｐｏｓｅ
ｓ」の場合、「ｐｒｅｐａｓｅｓ」、「ｐｒｅｐａｒｅ
ｓ」、「ｐｒｅｐａｅｅｓ」、「ｐｒｅｐｅｓｅｓ」、
「ｐｒｏｐｏｓｅｓ」、「ｐｒｅｐｏｅｅｓ」などの単
語候補が抽出されるが、次段の第２のメディア変換処理
部１−２では、それらの全ての場合について機械翻訳を
行う。その結果、「ｐｒｅｐａｒｅｓ」の場合は「本論
は新しい…事業を準備するものである。」という訳が得
られ、「ｐｒｏｐｏｓｅｓ」の場合は「本論は新しい…
事業を提案する。」という訳が得られる。機械翻訳で
は、具備された単語辞書、文法辞書等を参照して、これ
ら複数の候補の中から最適な翻訳文を見つけることも可
能であろう。従って、機械翻訳により最終的に後者の方
が適切と判断されれば、同時に前段のカードリーダにお
ける文字認識候補も「ｐｒｏｐｏｓｅｓ」と決定され
る。このとき、曖昧性フラグを解除してもよい。

【００７３】また、単語候補を展開するのではなく、曖
昧フラグだけを次段に反映させることも考えられる。例
えば、テキストリーダの認識結果である「ｐｒｅｐａｓ
ｅｓ」の部分に曖昧フラグが設定されていると、その部
分を重視しないように翻訳することにより、誤りが他の
ところに広がっていくことを防ぐことが出来る。この一
例を次に示す。

【００７４】通常、機械翻訳では、入力データが正しく
入力されるものと仮定して処理が行われる。よって、
「ｐｒｅｐａｓｅｓ」が入力されると、具備された文法
辞書を参照してその品詞を解析する。この場合、「ｐｒ
ｅｐａｓｅｓ」という単語は登録されていないので、未
登録の動詞なのか、固有名詞なのかなどの無駄な処理が
行われてしまう。その結果、「Ｔｈｉｓ」を主語、「ｐ
ａｐｅｒ」を動詞（紙を包む）、「ｐｒｅｐａｓｅｓ」
を固有名詞などといった誤った解析結果を生み出す可能
性がある。ところが、「ｐｒｅｐａｓｅｓ」に曖昧フラ
グが設定されていて、機械翻訳の優先順位（信頼度）が
下げられると、他の単語の解析（形態素解析）が先に行
われるため、「ｐｒｅｐａｓｅｓ」を未登録の動詞だと
判定され、他への影響が少なくなると同時に処理効率も
向上する。

【００７５】抄録生成の場合について述べる。抄録生成
では、「はじめに」や「ということが分かった」、「本
論では、…提案する」などの表現が重要であり、これら
の表現を検出することによって抄録を作成している。こ
のとき、前段のメディア変換処理が誤って上記のような
表現を発生させてしまうと誤った抄録を作ってしまう可
能性が高くなる。ところが、前段のメディア変換処理が
曖昧フラグを設定していると、抄録にとって重要な表現
であってもその重要度を下げることが可能となる。

【００７６】曖昧性の度合いは、第１の実施形態におい
て、図９のステップＳ５であるメディア変換処理部の出
力データＳｉと入力データＴｉを比較する場合に用いる
ことも可能で、例えば、曖昧フラグがセットされたメデ
ィア変換処理部の入力データＴｉと出力データＳｉはＳ
ｉ≠Ｔｉと判断するようにしてもよい。

【００７７】以上、説明したように、上記第２の実施形
態によれば、各メディア変換処理部１−ｎでのメディア
変換処理における変換結果の曖昧性（信頼性）に関する
情報（例えば、曖昧フラグ、複数の変換候補等）を第２
の記憶部５に記憶しておき、この変換結果の曖昧性に関
する情報を最終段のメディア変換結果に関連付けて提示
部７に提示することにより、利用者が指示部８で修正箇
所を指示する際の利便性の向上が図れる。また、各メデ
ィア変換処理部で前段のメディア変換処理部における変
換結果の曖昧性に関する情報に基づきメディア変換処理
を実行することにより、変換結果の信頼性の向上と利用
者の利便性の向上が図れる。さらに、メディア変換特定
部６は、利用者が指示部８で指示した修正箇所に対応す
るメディア変換結果を出力したメディア変換処理部を第
２の記憶部５に記憶された対応関係と変換結果の曖昧性
をもとに特定することにより、変換結果の修正が効率よ
く行え、従って、変換結果の信頼性の向上と利用者の利
便性の向上が図る。

【００７８】

【発明の効果】以上説明したように、本発明によれば、
入力された各種メディアに対し複数種類のメディア変換
処理を連続して実行する際に、利用者による修正操作は
全てのメディア変換処理が終了してから行うことを可能
にして、利用者の修正にかかる手間を削減できるととも
に、変換結果の信頼性の向上が図れるメディア変換方法
およびメディア変換装置を提供できる。

【図面の簡単な説明】

【図１】本発明の実施形態に係るメディア変換装置の構
成を示したブロック図。

【図２】メディア変換処理の具体的に説明するための図
で、テキストリーダに入力されるファックス文書画像の
具体例を示した図。

【図３】メディア変換処理の具体的に説明するための図
で、テキストリーダから出力された英文テキストの具体
例を示した図。

【図４】メディア変換処理の具体的に説明するための図
で、図３の英文テキストを入力データとして機械翻訳を
行った結果出力された日本語テキストの具体例を示した
図。

【図５】メディア変換処理の具体的に説明するための図
で、図３の日本語テキストを入力データとして抄録生成
を行った結果出力された抄録の具体例を示した図。

【図６】図１の第２の記憶部に記憶される各メディア変
換処理部の入力データと出力データの対応関係について
具体的に説明するための図。

【図７】図１の第２の記憶部における各メディア変換処
理部の入力データと出力データの対応関係の記憶例を示
した図。

【図８】各メディア変換処理部に入力された複数の語句
がメディア変換処理の実行により統合され１つの語句を
なす場合の図１の第２の記憶部における入力データと出
力データの対応関係の記憶例を示した図。

【図９】図１のメディア変換装置の処理動作を説明する
ためのフローチャート。

【図１０】図１の提示部で、利用者により指示された最
終変換結果の修正箇所をディスプレイ上に表示する場合
の表示例を示した図。

【符号の説明】

１−ｉ（ｉ＝１〜ｎ）…メディア変換処理部、２…メデ
ィア変換処理制御部、３…対応関係解析部、４…第１の
記憶部（メディア変換処理の実行順序を記憶するも
の）、５…第２の記憶部（各メディア変換処理部の入力
データと出力データの対応関係と、変換結果の曖昧性に
関する情報を記憶するもの）、６…メディア変換特定
部、７…提示部、８…指示部、９…修正部。

Claims (6)

【特許請求の範囲】
1. 【請求項１】 複数種類のメディア変換処理を連続して
   実行するメディア変換方法において、 予め記憶された前記複数のメディア変換処理の実行順序
   に基づき入力されたメディアに対しメディア変換処理を
   連続して実行する際に、各メディア変換処理の入力とそ
   の変換結果である出力の対応関係を記憶し、前記メディ
   ア変換処理を連続して実行した結果を提示し、この提示
   された実行結果に対し修正個所を指示されたとき、その
   修正箇所に対応するメディア変換結果を出力したメディ
   ア変換処理を前記対応関係をもとに各メディア変換処理
   の入力と出力を比較することにより特定し、この特定さ
   れたメディア変換処理の変換結果が修正されたとき、前
   記修正された変換結果を入力とするメディア変換処理以
   降のメディア変換処理を前記予め記憶された実行順序を
   もとに連続して実行することを特徴とするメディア変換
   方法。
2. 【請求項２】 複数種類のメディア変換処理を連続して
   実行するメディア変換方法において、 予め記憶された前記複数のメディア変換処理の実行順序
   に基づき入力されたメディアに対しメディア変換処理を
   連続して実行する際に、各メディア変換処理の入力とそ
   の変換結果である出力の対応関係と変換結果の曖昧性に
   関する情報を記憶し、この変換結果の曖昧性に関する情
   報と前記メディア変換処理を連続して実行した結果を互
   いに関連付けて提示し、この提示された実行結果に対し
   修正個所が指示されたとき、その修正箇所に対応するメ
   ディア変換結果を出力したメディア変換処理を前記対応
   関係と前記変換結果の曖昧性をもとに特定し、この特定
   されたメディア変換処理の変換結果が修正されたとき、
   前記修正された変換結果を入力とするメディア変換処理
   以降のメディア変換処理を前記予め記憶された実行順序
   をもとに連続して実行することを特徴とするメディア変
   換方法。
3. 【請求項３】 前記予め記憶された実行順序をもとにメ
   ディア変換処理を連続して実行する際に、前段のメディ
   ア変換処理の変換結果の曖昧性に関する情報に基づき後
   段のメディア変換処理を実行することを特徴とする請求
   項２記載のメディア変換方法。
4. 【請求項４】 前記変換結果の曖昧性に関する情報は、
   メディア変換処理の際に抽出された変換候補を含むこと
   を特徴とする請求項２記載のメディア変換方法。
5. 【請求項５】 複数種類のメディア変換処理を連続して
   実行するメディア変換装置において、 前記複数のメディア変換処理の実行順序を記憶する第１
   の記憶手段と、 この前記第１の記憶手段に記憶されたメディア変換処理
   の実行順序に基づき入力されたメディアに対しメディア
   変換処理を連続して実行する実行手段と、 この実行手段で各メディア変換処理を実行する際に、そ
   のメディア変換処理の入力とその変換結果である出力の
   対応関係を記憶する第２の記憶手段と、 前記実行手段で複数のメディア変換処理を連続して実行
   した結果を提示する提示手段と、 この提示手段で提示された実行結果に対し指示された修
   正個所に対応するメディア変換結果を出力したメディア
   変換処理を前記第２の記憶手段に記憶された対応関係を
   もとに各メディア変換処理の入力と出力を比較すること
   により特定する特定手段と、 この特定手段で特定されたメディア変換処理の変換結果
   を修正する修正手段と、 前記第１の記憶手段に記憶された実行順序をもとに、前
   記修正手段で修正された変換結果を入力とするメディア
   変換処理以降のメディア変換を連続して実行する手段
   と、 を具備したことを特徴とするメディア変換装置。
6. 【請求項６】 複数種類のメディア変換処理を連続して
   実行するメディア変換装置において、 前記複数のメディア変換処理の実行順序を記憶する第１
   の記憶手段と、 この第１の記憶手段に記憶されたメディア変換処理の実
   行順序に基づきメディア変換処理を連続して実行する実
   行手段と、 この実行手段で各メディア変換処理を実行する際に、そ
   のメディア変換処理の入力とその変換結果である出力の
   対応関係と変換結果の曖昧性に関する情報を記憶する第
   ２の記憶手段と、 前記第２の記憶手段に記憶された変換結果の曖昧性に関
   する情報と前記実行手段でのメディア変換処理を連続し
   て実行した結果を互いに関連付けて提示する提示手段
   と、 この提示手段で提示された実行結果に対し指示された修
   正個所に対応するメディア変換結果を出力したメディア
   変換処理を前記第２の記憶手段に記憶された対応関係と
   前記変換結果の曖昧性をもとに特定する特定手段と、 この特定手段で特定されたメディア変換処理の変換結果
   を修正する修正手段と、 前記第１の記憶手段に記憶された実行順序をもとに、前
   記修正手段で修正された変換結果を入力とするメディア
   変換処理以降のメディア変換を連続して実行する手段
   と、 を具備したことを特徴とするメディア変換装置。