JP7491002B2 - 拡張情報提供装置、拡張情報提供端末、拡張情報提供方法及びプログラム - Google Patents

Description

本発明は、拡張情報提供装置、拡張情報提供端末、拡張情報提供方法及びプログラムに関する。

書籍や公告などの印刷物においては、誌面の制約によって、必要不可欠な情報のみ、すなわち、本来の情報の一部しか記載されていない場合がある。
そして、印刷物が紙などの媒体に印刷された静的な情報提示物であるため、印刷物に記載された情報に対するより詳細な情報（以下、拡張情報と示す）をユーザが取得することができない。

このため、ユーザは、閲覧している印刷物に記載されている情報に対する知識を有さない場合、その情報を他の媒体から取得する必要がある。
このため、近年においては、インターネットを介して、印刷物をデジタル化して、デジタルコンテンツを配信することが行われている。

上述したデジタルコンテンツの配信としては、例えば、ウェブページやスマートデバイス用アプリケーションなどが代表として挙げられる。
このデジタルコンテンツの配信により、ハイパーリンクなどの技術を用いることにより、ユーザが要求する拡張情報を容易に得られ、印刷物が有する静的な情報提示の束縛からユーザを解放することができる。

しかし、ウェブページやスマートデバイス用アプリケーションにおけるデジタルコンテンツにおいては、媒体に印刷が施された印刷物とは異なり、実体としての質感や実物感を得ることができない。
このため、ページの捲り動作を含めて、印刷物としての本に近い視覚特性を有する電子書籍端末も存在する(特許文献１参照)。

特開２０１８－１４７４９１号公報

しかし、ウェブページやスマートデバイス用アプリケーションにおけるデジタルコンテンツにおいては、媒体に印刷が施された実体のある印刷物とは異なり、読書における質感や実物感をユーザが得ることができない。
また、印刷物としての本に近い視覚特性を有する電子書籍端末であっても、媒体としての実体がある印刷物とは異なり、ユーザが印刷物のようにページを捲るときの指の触感を得ることはできない。
このため、印刷物における記載以上の拡張情報を得ようとする際、印刷物がデジタル化されたデジタルコンテンツの場合、実体のある印刷物を読むという、例えばユーザが本のページを捲るなどの読書体験の要望が満たされないことになる。

本発明は、このような状況に鑑みてなされたもので、ユーザが実体のある印刷物による読書体験を行ないつつ、読んでいる対象の印刷物において、ユーザが要求する印刷物に記載された情報に対応する拡張情報を簡易に得ることができる拡張情報提供装置、拡張情報提供端末、拡張情報提供方法及びプログラムを提供する。

上述した課題を解決するために、本発明の拡張情報提供装置は、媒体に印刷が施された印刷物における印刷面を鑑賞するユーザに対して、当該印刷物の印刷内容における情報を拡張する拡張情報を提供する拡張情報提供装置であり、前記ユーザの所有する端末から前記印刷物を特定するための特徴を示す特定特徴情報と、前記印刷物の内容に関する自然言語による質問情報とを受信するデータ入出力部と、前記印刷物の内容に関する自然言語による質問情報から、前記印刷物における前記拡張情報を取得する対象である質問対象を示す内容の特徴情報を抽出する質問特徴抽出部と、前記特定特徴情報及び前記特徴情報に基づいて、前記印刷物における前記特徴情報に対応した回答情報の検索処理を行なう回答情報検索部と、検索された回答情報から自然言語の文字言語による質問情報に対する回答文を作成する回答文作成部とを備え、前記データ入出力部は、前記回答文を前記拡張情報として前記ユーザの所有する前記端末に送信することを特徴とする。
本発明の拡張情報提供装置は、前記データ入出力部が、前記印刷物を特定する特定情報を前記特定特徴情報に代えて受信し、前記質問特徴抽出部が、前記特定情報から、前記印刷物を特定するための特徴を示す前記特定特徴情報を抽出することを特徴とする。
本発明の拡張情報提供装置は、前記データ入出力部が、前記回答文を前記端末に送信し、その後に、前記印刷物の内容に関する自然言語による追加質問情報を前記端末から受信し、質問特徴抽出部が、前記追加質問情報から、前記拡張情報を取得する対象である、前記印刷物における質問対象を示す内容の追加特徴情報を抽出し、前記回答情報検索部が、前記特定特徴情報及び前記特徴情報の一部または全部、及び前記追加特徴情報に基づいて、前記印刷物における前記追加特徴情報に対応した追加回答情報の検索処理を行ない、前記回答文作成部が、前記追加回答情報から自然言語の文字言語による追加回答文を作成することを特徴とする。

本発明の拡張情報提供装置は、前記質問情報が自然言語における文字言語からなる文章を含み、前記質問特徴抽出部が、前記質問情報を文章解析して質問対象のワードを前記特徴情報として抽出することを特徴とする。

本発明の拡張情報提供装置は、前記質問情報における前記特徴情報が、前記印刷物における前記質問対象の位置を含み、前記質問特徴抽出部が、前記特徴情報として前記質問対象の前記位置も抽出することを特徴とする。

本発明の拡張情報提供装置は、前記質問情報が前記印刷物を撮像した撮像画像と、当該撮像画像における前記質問対象の画像の位置を含み、前記質問特徴抽出部が、前記撮像画像から前記位置に対応した前記質問対象の画像を抽出することを特徴とする。

本発明の拡張情報提供装置は、前記回答情報検索部が、前記質問対象における画像に対する特徴情報に対応した回答情報を検索することを特徴とする。

本発明の拡張情報提供端末は、媒体に印刷が施された印刷物における印刷面を鑑賞するユーザに対して、当該印刷物の印刷内容における情報を拡張する、拡張情報提供装置から供給される拡張情報を通知する拡張情報提供端末であり、前記印刷物の内容に対する質問対象を示す自然言語による質問を入力し、文字言語の質問情報に変換する質問情報入力部と、前記拡張情報提供装置に対して、前記印刷物を特定するための特徴を示す特定特徴情報と、前記質問情報とを出力し、当該拡張情報提供装置から前記拡張情報として前記特定特徴情報及び前記質問情報に対応する回答文を入力するインタラクション部と、前記拡張情報提供装置から供給された前記拡張情報を自然言語により通知する拡張情報通知部とを備えることを特徴とする。

本発明の拡張情報提供端末は、前記質問情報入力部が、前記質問がユーザによる音声言語である場合、この音声言語を音声認識により自然言語の文字言語によるテキストに変換して文章を生成し、前記質問情報に含めることを特徴とする。

本発明の拡張情報提供端末は、拡張情報通知部が、文字言語である前記回答文を自然言語の音声データに変換して、当該音声データにより前記質問情報に対する回答を通知することを特徴とする。

本発明の拡張情報提供方法は、拡張情報提供装置が、媒体に印刷が施された印刷物における印刷面を鑑賞するユーザに対して、当該印刷物の印刷内容における情報を拡張する拡張情報を提供する拡張情報提供方法であり、前記拡張情報提供装置のデータ入出力部が、前記ユーザの所有する端末から前記印刷物を特定するための特徴を示す特定特徴情報と、前記印刷物の内容に関する自然言語による質問情報とを受信するデータ入力過程と、前記拡張情報提供装置の質問特徴抽出部が、前記印刷物の内容に関する自然言語による質問情報から、前記印刷物における前記拡張情報を取得する対象である質問対象を示す内容の特徴情報を抽出する質問特徴抽出過程と、前記拡張情報提供装置の回答情報検索部が、前記特定特徴情報及び前記特徴情報に基づいて、前記印刷物における前記特徴情報に対応した回答情報の検索処理を行なう回答情報検索過程と、前記拡張情報提供装置の回答文作成部が、検索された回答情報から自然言語の文字言語による質問情報に対する回答文を作成する回答文作成過程と、前記拡張情報提供装置の前記データ入出力部が、前記回答文を前記拡張情報として前記ユーザの所有する前記端末に送信するデータ出力過程とを含むことを特徴とする。

本発明の拡張情報提供方法は、拡張情報提供端末が、媒体に印刷が施された印刷物における印刷面を鑑賞するユーザに対して、当該印刷物の印刷内容における情報を拡張する、拡張情報提供装置から供給される拡張情報を通知する拡張情報提供方法であり、前記拡張情報提供端末の質問情報入力部が、前記印刷物の内容に対する質問対象を示す自然言語による質問を入力し、文字言語の質問情報に変換する質問情報入力過程と、前記拡張情報提供端末のインタラクション部が、前記拡張情報提供装置に対して、前記印刷物を特定するための特徴を示す特定特徴情報と、前記質問情報とを出力し、当該拡張情報提供装置から前記拡張情報として前記特定特徴情報及び前記質問情報に対応する回答文を入力するインタラクション過程と、前記拡張情報提供端末の拡張情報通知部が、前記拡張情報提供装置から供給された前記拡張情報を自然言語により通知する拡張情報通知過程とを含むことを特徴とする。

本発明のプログラムは、媒体に印刷が施された印刷物における印刷面を鑑賞するユーザに対して、当該印刷物の印刷内容における情報を拡張する拡張情報を提供する拡張情報提供装置としてコンピュータを機能させるためのプログラムであり、前記コンピュータを、前記ユーザの所有する端末から前記印刷物を特定するための特徴を示す特定特徴情報と、前記印刷物の内容に関する自然言語による質問情報とを受信するデータ入出力手段、前記印刷物の内容に関する自然言語による質問情報から、前記印刷物における前記拡張情報を取得する対象である質問対象を示す内容の特徴情報を抽出する質問特徴抽出手段、前記特定特徴情報及び前記特徴情報に基づいて、前記印刷物における前記特徴情報に対応した回答情報の検索処理を行なう回答情報検索手段、検索された回答情報から自然言語の文字言語による質問情報に対する回答文を作成する回答文作成手段、前記回答文を前記拡張情報として前記ユーザの所有する前記端末に送信する前記データ入出力手段として機能させるためのプログラムである。

本発明のプログラムは、媒体に印刷が施された印刷物における印刷面を鑑賞するユーザに対して、当該印刷物の印刷内容における情報を拡張する、拡張情報提供装置から供給される拡張情報を通知する拡張情報提供端末としてコンピュータを機能させるためのプログラムであり、前記コンピュータを、前記印刷物の内容に対する質問対象を示す自然言語による質問を入力し、文字言語の質問情報に変換する質問情報入力手段、前記拡張情報提供装置に対して、前記印刷物を特定するための特徴を示す特定特徴情報と、前記質問情報とを出力し、当該拡張情報提供装置から前記拡張情報として前記特定特徴情報及び前記質問情報に対応する回答文を入力するインタラクション手段、前記拡張情報提供装置から供給された前記拡張情報を自然言語により通知する拡張情報通知手段として機能させるためのプログラムである。

以上説明したように、本発明によれば、ユーザが実体のある印刷物による読書体験を行ないつつ、読んでいる対象の印刷物において、ユーザが要求する印刷物における記載された情報に対応する拡張情報を簡易に得ることができる拡張情報提供装置、拡張情報提供端末、拡張情報提供方法及びプログラムを提供することができる。

本発明の一実施形態による拡張情報提供システムの構成例を示すブロック図である。 データベース１３３に予め書き込まれて記憶されている拡張情報テーブルの構成例を示す図である。 本発明の一実施形態による拡張情報提供システムにおける質問に対する拡張情報を回答する回答処理の動作例を示すシーケンス図である。 特定情報及び質問を一括して行う構成の拡張情報提供端末１１による、質問に対する（ユーザが要求する）拡張情報を回答する回答処理を説明する図である。

以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本発明の一実施形態による拡張情報提供システムの構成例を示すブロック図である。図１において、拡張情報提供システム１は、拡張情報提供端末１１と、拡張情報提供装置１２及び拡張情報検索装置１３の各々を備えている。拡張情報提供端末１１、拡張情報提供装置１２及び拡張情報検索装置１３の各々は、インターネットを含む情報通信網５００を介して相互に情報の送受信を行う。

本実施形態において、ユーザは、閲覧あるいは読んでいる印刷物の記載における不明な点、あるいは興味を有してより知りたいとする点に対する質問を、自然言語を含む質問として上記拡張情報提供端末１１に対して入力する。
ここで、印刷物は、例えば、本（教科書、図鑑、小説、美術誌など）、雑誌（週刊誌、月刊誌など）、パンフレット、カタログ、資料（文献など）、包装体（包装紙、パッケージなど）の紙、プラスチック、布、板などの媒体に文字や画像が印刷されている物体である。
また、質問は、自然言語における音声言語または文字言語のいずれかあるいは組合せに対し、例えば画像データなども含んでいる。

拡張情報提供端末１１は、印刷物の記載における質問がユーザから入力された際、自然言語における音声言語の場合、この音声言語を自然言語における文字言語のテキストの文章に変換して、拡張情報提供装置１２に対して質問情報として送信する。
また、拡張情報提供端末１１は、拡張情報提供装置１２からの自然言語の回答文をユーザに対して、音声言語あるいは文字言語により通知する。

拡張情報提供装置１２は、質問情報が入力された際、文章解析（質問情報に画像データが含まれる場合、画像解析も含む）により質問特徴を抽出し、拡張情報検索装置１３に対して検索を依頼する。
また、拡張情報提供装置１２は、拡張情報検索装置１３から質問特徴に対する回答情報を、自然言語による文字言語のテキストの文章の回答文に変換し、拡張情報提供端末１１に対して送信する。

拡張情報検索装置１３は、拡張情報提供装置１２から質問特徴が供給された場合、印刷物に対応した拡張情報の検索をデータベース（後述するデータベース１３３）を参照して行う。
また、拡張情報検索装置１３は、検索された拡張情報を回答情報として、拡張情報提供装置１２に対して送信する。

拡張情報提供端末１１は、例えばスマートフォンなどの携帯端末であり、質問情報入力部１１１、インタラクション部１１２、拡張情報出力部１１３及び通知部１１４の各々を備えている。
これら質問情報入力部１１１、インタラクション部１１２及び拡張情報出力部１１３の各々は、例えば、携帯端末にインストールされたアプリケーションプログラムが起動することにより、携帯端末において利用可能とされて実行される機能部である。

質問情報入力部１１１は、不図示の入力手段により、ユーザからの印刷物の記載における質問を入力し、質問情報をインタラクション部１１２に対して出力する。
このとき、入力手段がキーボードやタッチパネルなどであり、入力される質問が文字データ（自然言語における文字言語）である場合、質問情報入力部１１１は、文字データ（例えば、テキスト文章）」を質問情報とする。

また、入力手段がマイクロホンなどであり、入力される質問が音声データ（自然言語における音声言語）である場合、質問情報入力部１１１は、音声データの音声認識を行ない、文字データに変換して、この文字データを質問情報とする。
また、入力手段が撮像装置であり、入力される撮像画像が上記質問に添付される場合、質問情報入力部１１１は、撮像画像を画像データとして上記質問情報に付加する。

インタラクション部１１２は、質問情報及び回答情報の各々データの送受信を行うセッションを、拡張情報提供装置１２との間で確立する。
そして、インタラクション部１１２は、特定情報及び質問情報の各々を拡張情報提供装置１２に対して送信する。
インタラクション部１１２は、質問情報に対応する回答文（特定情報が特定する印刷物の内容に対応した拡張情報を含む）が供給された場合、この回答文を拡張情報出力部１１３に対して出力する。

拡張情報出力部１１３は、インタラクション部１１２から回答文が供給された際、回答文を文字データとしてユーザに対して通知する場合、回答文の文字データを生成して通知部１１４に出力する。
また、拡張情報出力部１１３は、インタラクション部１１２から回答文が供給された際、回答文を音声データとしてユーザに対して通知する場合、回答文を音声データに変換して、この音声データを通知部１１４に対して出力する。

通知部１１４は、携帯端末に搭載された表示パネル、あるいはスピーカである。
ここで、通知部１１４は、インタラクション部１１２から文字データが供給された場合、供給された文字データを表示パネルの表示画面に表示する。
また、通知部１１４は、インタラクション部１１２から音声データが供給された場合、供給された音声データをスピーカから音声として出力する。

拡張情報提供装置１２は、データ入出力部１２１、質問特徴抽出部１２２、回答情報検索部１２３、回答文作成部１２４及び記憶部１２５の各々を備えている。
これらデータ入出力部１２１、質問特徴抽出部１２２、回答情報検索部１２３及び回答文作成部１２４の各々は、例えば、サーバ（またはコンピュータ）などにインストールされたアプリケーションプログラムが起動することにより、サーバにおいて利用可能とされて実行される機能部である。

データ入出力部１２１は、拡張情報提供端末１１からユーザが入力する特定情報（後述する特定特徴情報を含む情報）が供給された場合、入力した特定情報を質問特徴抽出部１２２に対して出力する。
また、データ入出力部１２１は、特定情報に対応したセッションを拡張情報提供端末１１との間に確立し、セッション番号と特定情報とを対応付けて、記憶部１２５に対して書き込んで記憶させる。データ入出力部１２１は、セッションの確立に対応して、セッション番号を拡張情報提供端末１１へ送信する。
以下、拡張情報提供端末１１及び拡張情報提供装置１２の各々における、印刷物に対する質問及び回答の各々は、この印刷物に対応付けられたセッションを利用して行われる。
また、データ入出力部１２１は、拡張情報提供端末１１から質問情報が供給された場合、入力した質問情報を質問特徴抽出部１２２に対して出力する。

質問特徴抽出部１２２は、質問情報がデータ入出力部１２１から供給された場合、質問情報における文字データの文章解析（例えば、形態素解析など）を行ない、特徴情報としての単語（ワード）を抽出する。
例えば、質問特徴抽出部１２２は、「この油彩画の制作年は？」の文章から、特徴情報として「油彩画」、「制作年」のワードを抽出する。このとき、「この油彩画」における「油彩画」は、質問情報に付加された撮像装置で印刷物から撮像された撮像画像の画像データである。

そして、質問特徴抽出部１２２は、特徴情報と画像データとの各々を、回答情報検索部１２３に対して出力する。
ここで、質問特徴抽出部１２２は、質問情報から特徴情報を抽出する場合と同様に、特定情報として「この本は、○出版社の”×と△との関係”という題名である。」の文章から、「○出版社」、「×と△との関係」とを抽出し特定特徴情報とする。

また、質問特徴抽出部１２２は、特定情報が撮像装置で撮像された、印刷物を特定する特徴を有する部分の撮像画像の画像データである場合、この画像データから特定特徴情報を抽出する。
ここで、質問特徴抽出部１２２は、例えば、画像データが本の表紙の画像である場合、画像データにおける表紙の画像から画像特徴量を抽出し、この画像特徴量を印刷物を特定する特定特徴情報とする。
一方、質問特徴抽出部１２２は、例えば、画像データが本の裏表紙の画像である場合、裏表紙に印刷されているＩＳＢＮ（international standard book numbering）のバーコードから国際標準図書番号を抽出し、この国際標準図書番号を印刷物を特定する特定特徴情報とする。

回答情報検索部１２３は、質問特徴抽出部１２２から特徴情報と画像データとの各々が供給された場合、特徴情報に画像データ（「油彩画」に関連付けられている）を添付して、拡張情報検索装置１３に対して、特徴情報の検索依頼として送信する。
また、回答情報検索部１２３は、質問特徴抽出部１２２から特定特徴情報が供給された場合、入力した特定特徴情報を添付して、拡張情報検索装置１３に対して、印刷物の検索依頼として送信する（回答情報の検索処理）。

回答文作成部１２４は、検索を要求した質問情報に対応した回答情報（拡張情報検索装置１３が検索した検索データ）が拡張情報検索装置１３から供給された場合、回答情報を所定の文章生成ルールに従い、自然言語における文字言語による回答文に変換する。
回答文作成部１２４は、例えば、回答情報が「１９３４」であれば、特徴情報の「油彩画」及び「制作年」のワードの各々を用いて、「この油彩画の制作年は？」の文章に対応させて、「この油彩画の制作年は１９３４年です。」の文章を生成して回答文とし、この回答文を拡張情報提供端末１１に対して送信する。

拡張情報検索装置１３は、データ入出力部１３１、データ検索部１３２及びデータベース１３３の各々を備えている。
これらデータ入出力部１３１及びデータ検索部１３２の各々は、例えば、サーバ（またはコンピュータ）などにインストールされたアプリケーションプログラムが起動することにより、サーバにおいて利用可能とされて実行される機能部である。

データ入出力部１３１は、拡張情報提供装置１２から質問情報が供給された場合、入力した質問情報を質問特徴抽出部１２２に対して出力する。
また、データ入出力部１３１は、質問情報に付加されている特徴情報に対応してデータ検索部１３２における検索結果を、拡張情報提供装置１２に対して出力する。

データ検索部１３２は、データ入出力部１３１から特徴情報が供給された場合、この特徴情報によりデータベース１３３における拡張情報テーブルを検索し、特徴情報に対する拡張情報を抽出する。拡張情報テーブルは、予め印刷物毎に設けられている。
データ検索部１３２は、「油彩画」の画像データから画像特徴情報を抽出し、この画像特徴情報によりデータベース１３３の拡張情報テーブルを検索し、拡張情報テーブルにおける特徴情報に対応する「油彩画」の拡張情報が記述されたレコードを抽出する。
そして、データ検索部１３２は、拡張情報のレコードのなかから「制作年」の項目を検索し、「油彩画」の「検索年」の検索結果の検索データとして、例えば「１９３４」を回答情報とする。
データ検索部１３２は、質問情報に対応した検索処理によって取得した回答情報、例えば「１９３４」をデータ入出力部１３１に対して出力する。

データベース１３３には、以下に示す拡張情報テーブルが記憶されている。
図２は、データベース１３３に予め書き込まれて記憶されている拡張情報テーブルの構成例を示す図である。拡張情報テーブルは、印刷物毎に設けられており、セッションに関連づけられる、特定特徴情報により特定された印刷物のそれぞれに対応して用いられる。
図２の拡張情報テーブルは、図２（ａ）に示す印刷物特定テーブルと、図２（ｂ）に示す特定特徴情報テーブルと、図２（ｃ）の特徴情報テーブルとの３個のテーブルの組み合わせから構成されている。

図２（ａ）の印刷物特定テーブルは、レコード毎に、例えば、印刷物識別情報、特定特徴情報インデックス及び拡張情報インデックスの各々の欄が設けられている。
印刷物識別情報は、データベース１３３に予め記憶されている印刷物の各々を個々に識別する情報である。特定特徴情報インデックスは、印刷物を識別する程度の特徴を有する特定情報に対応した特徴情報が複数示された特定特徴情報テーブルが記憶されている領域を示すアドレス情報、たとえばその領域の先頭アドレスなどである。
拡張情報インデックスは、印刷物の各々に対する質問に含まれると想定した単語ワード、画像データなどの特徴情報と、拡張情報とが対応した特徴情報テーブルが記憶されている領域を示すアドレス情報、たとえばその領域の先頭アドレスなどである。

図２（ｂ）は、特定特徴情報インデックスが指し示す領域に記憶されている印刷物の特定特徴情報テーブルの構成例を示している。
特定特徴情報テーブルの各レコードにおいては、印刷物を特定するための特定特徴情報がそれぞれ示されている。例えば、ＩＳＢＮの国際標準図書番号、印刷物の特徴的な部分（本であれば表紙など）の画像の画像特徴量、バーコード（２次元バーコードも含む）の情報などである。あるいはユーザが音声で特定情報を入力した場合、その音声を変換したテキストのワードなどでも良い。

図２（ｃ）は、拡張情報インデックスが指し示す領域に記憶されている印刷物の拡張情報テーブルの構成例を示している。
拡張情報テーブルの各レコードにおいては、例えば、特徴情報、拡張情報識別情報及び拡張情報の各々の欄が設けられている。
特徴情報は、例えば、「油彩画」、「制作年」などのワードである。また、特徴情報は、問合せ（質問）内容を示す特徴を有する情報であり、単語リスト、連想配列、自然言語処理（NLP；Neuro Linguistic Programing）におけるWord embeddingされた特徴ベクトルレ列、ベクトル及びテンソルを用いても良い。

単語リスト、連想配列、特徴ベクトル列、ベクトル及びテンソルの各々を用いる場合、検索可能な構成で拡張情報テーブルを作成する必要がある。
また、特徴情報としては、書類ＯＣＲ（optical character reader）などによって読み込んだ画像情報から抽出した、自然言語の文字言語であるワードでもよい。
さらに、画像情報としては、ＩｎＤｅｓｉｇｎ（登録商標）やＩｌｌｕｓｔｒａｔｏｒ（登録商標）により、印刷物の画像の各々から抽出した、印刷物における画像それぞれを特定するための特徴量の情報などでもよい。

拡張情報識別情報は、拡張情報の各々を識別する識別情報である。拡張情報は、特徴情報に対して質問の回答（質問における情報を拡張する拡張情報）が示されている。

また、本実施形態による拡張情報提供装置１２は、生成した回答文を拡張情報提供端末１１に送信した後、この回答文に対応する印刷物（特定特徴情報に対応する印刷物）の内容に関する自然言語による追加の質問情報（２回目以降のユーザからの追加質問情報）が拡張情報提供端末１１から供給された場合、以下に示すように、追加質問情報に対応した追加回答情報を求め、この追加回答情報に基づいて追加の回答文（追加回答文）を作成する処理を行なう。

すなわち、データ入出力部１２１は、拡張情報提供端末１１から供給される初回の質問への回答文に対する追加質問情報を入力する。この追加質問情報は、ユーザが閲覧中あるいは読書中の同一の印刷物（初回の質問情報の特定特徴情報が示す印刷物）に関する質問であり、初回あるいは前回までの印刷物における質問情報（過去質問情報）に関連した特徴情報を有している。
そして、質問特徴抽出部１２２は、データ入出力部１２１が入力した追加質問情報から、印刷物における拡張情報を取得したい質問対象に対する追加の特徴情報（追加特徴情報）を抽出する。

回答情報検索部１２３は、すでに求められている初回の質問における特定特徴情報及び特徴情報の一部または全てを用いることにより、上記追加特徴情報に対応した印刷物における追加特徴情報に対する追加回答情報の検索を拡張情報検索装置１３に対して依頼し、追加回答情報を取得する（初回の検索依頼と同様の検索処理）。
ここで、拡張情報検索装置１３は、追加質問情報からの追加特徴情報のみでは、追加回答情報を検索する情報としては不十分であり、追加回答情報の検索を行なうことができない。

このため、回答情報検索部１２３は、追加質問情報の特徴情報（追加特徴情報）と、初回の質問における特定特徴情報及び特徴情報の一部または全てと検索のための検索情報として、拡張情報検索装置１３に対する回答情報の検索を依頼する検索処理を行ない、追加の回答情報である追加回答情報を取得する。
そして、回答文生成部１２４は、初回の回答文の生成と同様に、上記検索情報により取得された追加回答情報から自然言語の文字言語による追加回答文を、追加質問情報に対する回答として作成する。

すなわち、初回あるいは前回までの質問情報における特徴情報（過去特徴情報）が、追加質問情報の文脈の推定（あるいは解析）に用いられる。
例えば、回答情報検索部１２３は、前回までに受けた質問情報の特徴情報の一部が「△△ページ」、「上の」、「作品」、「描いた」、「誰」である場合、この特徴情報を用いて追加質問情報における質問の意図（ユーザの取得したい拡張情報）を推定する。
このとき、初回の質問情報が「○○図録の□□ページ上の作品を描いたのは誰ですか？」である場合、特定特徴情報が「○○図録」であり、特徴情報が「△△ページ」、「上の」、「作品」、「描いた」、「誰」である。

質問特徴抽出部１２２は、追加質問情報が「では下の作品は？」の場合、追加特徴情報として「下の」及び「作品」を抽出する。
そして、回答情報検索部１２３は、特定特徴情報の「○○図録」と、過去の特徴情報の「△△ページ」、「上の」、「作品」、「描いた」及び「誰」と、追加特徴情報の「下の」及び「作品」との各々が含まれる検索情報を用いた、追加回答情報の検索を拡張情報検索装置１３に対して依頼する検索処理を行なう。
これにより、拡張情報検索装置１３は、特定特徴情報の「○○図録」と、過去の特徴情報の「△△ページ」、「上の」、「作品」、「描いた」及び「誰」と、追加特徴情報の「下の」及び「作品」との各々が含まれる検索情報に基づいて、追加回答情報の検索を行なう。

図３は、本発明の一実施形態による拡張情報提供システムにおける質問に対する（ユーザが要求する）拡張情報を回答する回答処理の動作例を示すシーケンス図である。
以下、ユーザが印刷物として本を読む際の拡張情報の取得を例として、拡張情報提供システムの動作例を説明する。

ステップ１０１：
ユーザは、読書を始める際、例えば、読書対象の本を特定する特定情報として、読書対象の本の書名を音声により、拡張情報提供端末１１に対して入力する。
そして、質問情報入力部１１１は、拡張情報提供端末１１に搭載されたマイクロホンから供給される音声データ（音声言語）を音声変換ＡＰＩ（application programming interface）により、テキスト（文字言語）の文章に変換する。

ステップ１０２：
インタラクション部１１２は、音声信号から変換されたテキストの文章を、ユーザ読み始める本を特定する特定情報として、拡張情報提供装置１２に対して送信する。

ステップ１０３：
インタラクション部１１２は、送信した特定情報と、この特定情報により特定される本に対する質問及び回答の送受信を行うインタラクションのセッションとを関連付ける要求を拡張情報提供装置１２に対して送信する。
ここで、データ入出力部１２１は、記憶部１２５にセッション番号と、入力された特定情報とを関連付けられたセッション情報が無ければ、新たなセッション番号を生成し、この生成したセッション番号と特定情報とを関連付けた新たなセッション情報を記憶部１２５に対して書き込んで記憶させる。

また、データ入出力部１２１は、生成したセッション番号を、拡張情報提供端末１１に対して送信する。
そして、インタラクション部１１２は、拡張情報提供装置１２から供給されるセッション番号を自身内部の記憶部に書き込んで記憶させる。
これにより、拡張情報提供端末１１及び拡張情報提供装置１２の各々の間に、ユーザの読書対象の本に対応するセッションが確立される。

ステップ１０４：
質問特徴抽出部１２２は、特定情報から特定特徴情報の抽出を行う。質問特徴抽出部１２２は、例えば、本の題名を示す音声信号が変換されたテキストが変換情報として入力された場合、入力したテキストに対して所定のルールに従った文章解析を行ない、特定特徴情報として本の題名のワードを抽出する。
例えば、テキストが「これから読む本は、ＹＹＹＹＹという本です」という文章である場合、この文章から「ＹＹＹＹＹ」を印刷物を特定するために用いる特定特徴情報として、質問特徴抽出部１２２により抽出される。

ステップ１０５：
質問特徴抽出部１２２は、テキストから抽出した特定特徴情報を、セッション情報に対応させて記憶部１２５に書き込んで記憶させるとともに、データ入出力部１２１に対して出力する。
そして、データ入出力部１２１は、特定特徴情報に対応する書籍の有無を確認するため、有無確認を行うことの要求にこの特定特徴情報を付加して、拡張情報検索装置１３に送信する。

ステップ１０６：
データ入出力部１３１は、特定特徴情報が入力された場合、この特定特徴情報をデータ検索部１３２へ出力する。
データ検索部１３２は、データベース１３３の印刷特定テーブルを参照し、特定特徴情報インデックスが示す特定特徴情報テーブルの各々において、供給された特定特徴情報の検索を行う。
そして、データ検索部１３２は、供給された特定特徴情報が存在する特定特徴テーブルを検出し、この特定特徴テーブルに対応する印刷物識別情報を抽出することで、特定特徴情報の示す印刷物の特定を行う。

ステップ１０７：
データ検索部１３２は、データ入出力部１３１に対して印刷物の特定が完了したことを示す応答情報を、拡張情報提供装置１２に対して出力する。

ステップ１０８：
回答文作成部１２４は、拡張情報検索装置１３から特定完了を示す応答情報が供給された場合、対応するセッションにおいて、質問の入力を容認することを示す入力確認の情報を送信する。
ここで、回答文作成部１２４は、特定完了に対応して、所定のルールによって、例えば、「印刷物における記載に対する質問を受け付けることができます」などのテキストの文章を生成して、この文章を入力確認の情報として拡張情報提供端末１１に対して出力する。

インタラクション部１１２は、拡張情報提供装置１２からテキストの文章が供給された場合、このテキストの文章を拡張情報出力部１１３に対して出力する。
拡張情報出力部１１３は、インタラクション部１１２から供給されるテキストの文章を、音声データに変換する。
そして、拡張情報出力部１１３は、文章を変換して生成した音声データを通知部１１４に対して出力する。
これにより、通知部１１４は、例えば拡張情報提供端末１１に搭載されたスピーカから、拡張情報出力部１１３から供給された音声データを音声として出力する。

ステップ１０９：
ユーザは、印刷物における記載の詳細な説明を得るための質問を、拡張情報提供端末１１に対して音声により入力する。例えば、ユーザは、印刷物に記載されている「ＸＸＸＸＸ」というワードの意味を知りたい場合、音声により「ＸＸＸＸＸは何を意味しているのですか？」と拡張情報提供端末１１に対して質問する。
これにより、質問情報入力部１１１は、拡張情報提供端末１１に搭載されたマイクロホンから入力される音声データを、音声認識によりテキストの文章（文字データ）に変換して質問情報とする。
また、質問情報入力部１１１は、生成した質問情報をインタラクション部１１２に対して出力する。

ステップ１１０：
インタラクション部１１２は、質問情報入力部１１１から供給された質問情報を、セッション番号を付加して拡張情報提供装置１２に対して出力する。

ステップ１１１：
データ入出力部１２１は、セッション番号に対応した特定特徴情報を記憶部１２５から読み出す。
そして、データ入出力部１２１は、読み出した特定特徴情報を、回答情報検索部１２３に対して出力する。
また、データ入出力部１２１は、拡張情報提供端末１１から供給された質問情報を、質問特徴抽出部１２２に対して出力する。

質問特徴抽出部１２２は、所定のルールによって、質問情報における文章の文字データの文章解析を行ない、特徴情報としての単語のワードを抽出する。このとき、質問特徴抽出部１２２は、例えば、文章が「ＸＸＸＸＸは何を意味しているのですか？」である場合、特徴情報の単語のワードとして「ＸＸＸＸＸ」及び「意味」を抽出する。
そして、質問特徴抽出部１２２は、回答情報検索部１２３に対して、抽出した特徴情報を送信する。

ステップ１１２：
回答情報検索部１２３は、特定特徴情報の示す印刷物における、質問特徴抽出部１２２から供給される特徴情報の拡張情報を要求する検索依頼を、この特定特徴情報に対応するセッション番号を付加して拡張情報検索装置１３に対して送信する。

ステップ１１３：
データ入出力部１３１は、拡張情報提供装置１２から検索依頼が供給された場合、検索依頼に含まれる特定特徴情報と特徴情報との各々を抽出し、抽出した特定特徴情報、特徴情報それぞれを、データ検索部１３２に対して出力する。
データ検索部１３２は、データベース１３３の印刷特定テーブルを参照し、特定特徴情報インデックスが示す特定特徴情報テーブルの各々において、データ入出力部１３１から供給された特定特徴情報の検索を行う。

そして、データ検索部１３２は、供給された特定特徴情報が存在する特定特徴テーブルを検出し、この特定特徴テーブルに対応する印刷物識別情報を抽出することで、特定特徴情報の示す印刷物の特定を行う。
データ検索部１３２は、データベース１３３の印刷特定テーブルにおける、特定特徴情報が存在する特定特徴テーブルに対応する特定特徴情報インデックスが存在するレコードから拡張情報インデックスを読み込む。

データ検索部１３２は、データベース１３３において、読み込んだ拡張情報インデックスに対応する特徴情報テーブルを参照し、特徴情報に対応する拡張情報を読み出す。
このとき、データ検索部１３２は、例えば、特徴情報が「ＸＸＸＸＸ」及び「意味」である場合、所定の検索ルールに従って、拡張情報における「ＸＸＸＸＸ」の意味に対応する情報である「ＺＺＺＺＺ」を検索データとして抽出する。この拡張情報は、印刷物の記載内容に対応した情報であり、例えば、質問された特徴情報が複数の意味を有する場合、印刷物の記載内容に対応した意味が検索データとして供給される。また、データベース１３３の特徴情報テーブルにおいて、特徴情報に対応する意味の全てが登録されており、「他の意味」が含まれている場合、印刷物の記載内容に対応した意味以外の意味が検索データとして供給されるように構成しても良い。

ステップ１１４：
データ検索部１３２は、検索データ（例えば、「ＺＺＺＺＺ」）を回答情報として、データ入出力部１３１へ出力する。
そして、データ入出力部１３１は、データ検索部１３２から供給される拡張情報である回答情報を、この回答情報に対応するセッション番号とともに、拡張情報提供装置１２に対して出力する。

ステップ１１５：
データ入出力部１２１は、拡張情報検索装置１３から回答情報及びセッション番号が供給された場合、供給された回答情報を回答文作成部１２４に対して出力する。
このとき、質問特徴抽出部１２２は、セッション番号に対応した特徴情報（例えば、「ＸＸＸＸＸ」及び「意味」の各々）を、回答文作成部１２４に対して出力する。
回答文作成部１２４は、データ入出力部１２１から供給される回答情報及び特徴情報に対応させ、所定の文章作成ルールに従い、回答文を生成する。ここで、回答文作成部１２４は、例えば、特徴情報が「ＸＸＸＸＸ」及び「意味」であり、回答情報が「ＺＺＺＺＺ」である場合、所定の文章作成ルールに従って、「お尋ねのＸＸＸＸＸは、ＺＺＺＺＺという意味です」等の回答文を作成する。

ステップ１１６：
回答文作成部１２４は、作成した回答文をデータ入出力部１２１に対して出力する。
そして、データ入出力部１２１は、回答文作成部１２４から供給された回答文を、対応するセッション番号のセッションを介して、拡張情報提供端末１１に対して送信する。

ステップ１１７：
インタラクション部１１２は、拡張情報提供装置１２から回答文が供給された場合、拡張情報出力部１１３に対して、供給された回答文を送信する。
拡張情報出力部１１３は、テキストの文章である回答文を音声データに変換して、通知部１１４に対して出力する。
通知部１１４は、拡張情報出力部１１３から供給される音声データを、拡張情報提供端末１１に搭載されているスピーカから音声として出力する。

上述した図３のシーケンス図において、セッションを確立し、印刷物を特定するステップＳ１０１からステップＳ１０７の処理が完了した後、ユーザが質問を行うアプリケーションを終了するまで、ステップＳ１０８からステップＳ１１７の処理が繰返して実行される。

本実施形態によれば、上述した構成及び動作により、ユーザは、音声により質問した内容に対応する回答（拡張情報）を、拡張情報提供端末１１から音声として取得することが可能となり、質問の入力及び回答の取得を読んでいる本から目を離すことなくでき、ユーザが実体のある印刷物による読書体験を行ないつつ、他の処理を必要とせずに読書を阻害されることがないため、自身が内容をより良く理解するために必要な情報を容易に取得することが可能であり、質の高い読書環境によりスムーズな読書を実現することができる。
また、本実施形態によれば、質問の回答の拡張情報がユーザの読んでいる印刷物の記載に対応するものであるため、ユーザの質問に対して適切な回答を得て、印刷物の記載の内容をより高い度合いで認識することができる。

また、本実施形態においては、図３のシーケンス図に示すように、ユーザが印刷物の特定を行うための特定情報の入力が終了した後、質問の入力を行っていたが、特定情報及び質問を一括して行う構成としても良い。
図４は、特定情報及び質問を一括して行う構成の拡張情報提供端末１１による、質問に対する（ユーザが要求する）拡張情報を回答する回答処理を説明する図である。
図４（ａ）は、ユーザが質問する画像、例えば美術誌（例えば、○○図録）の任意のページである△△ページ（符号３０１がページ番号の印刷部分）を示している。
図４（ｂ）は、ユーザと拡張情報提供端末１１とのインタラクションにおける質問と、この質問に対する回答とを行う処理の一例を示している。

ユーザ２００が音声により「○○図録の△△ページ上の作品を描いたのは誰ですか？」という質問を入力した場合、拡張情報提供端末１１は、音声を文字データの文章の質問情報に変換する。
そして、拡張情報提供端末１１は、この特定情報を含む質問情報を、拡張情報提供装置１２（不図示）に対して送信する。
これにより、拡張情報提供装置１２は、質問情報の文章に対して、所定のルールに従った文章解析を行なう。

このとき、拡張情報提供装置１２は、例えば、質問情報が「○○図録の△△ページ上の作品を描いたのは誰ですか？」である場合、特定特徴情報として「○○図録」を抽出し、特徴情報として「△△ページ」、「上の」、「作品」、「描いた」、「誰」を抽出する。
ここで、拡張情報提供装置１２は、「△△ページ」及び「上の」の各々を、それぞれ質問対象の画像の印刷されたページ、そのページにおける印刷された位置を特定するための特徴情報として質問情報の文章から抽出する。

そして、拡張情報提供装置１２は、特定特徴情報に対応したセッション番号を採番し、拡張情報提供端末１１に対してこの採番したセッション番号を送信し、セッションを確立する。
また、拡張情報提供装置１２は、特定特徴情報の「○○図録」と、特徴情報の「△△ページ」、「上の」、「作品」、「描いた」及び「誰」の各々とを、検索依頼として拡張情報検索装置１３（不図示）に対して送信する。

拡張情報検索装置１３は、特定特徴情報の「○○図録」により印刷物を特定し、特徴情報の「△△ページ」、「上の」、「作品」、「描いた」及び「誰」の各々により、所定の検索ルールにより、△△ページの上に配置された絵を描いた画家の名前（例えば、「葛飾北斎」）を、特徴情報テーブルから抽出する。
そして、拡張情報検索装置１３は、検索した結果の検索データとして「葛飾北斎」を回答情報として拡張情報検索装置１３に対して送信する。

拡張情報提供装置１２は、回答情報の「葛飾北斎」を回答文を生成する際の素材とし、特徴情報を用いて、回答文として「葛飾北斎です」の文章を生成する。
そして、拡張情報提供装置１２は、セッション番号に対応するセッションを介し、拡張情報提供端末１１に対して、生成した回答文を送信する。
これにより、拡張情報提供端末１１は、回答文の「葛飾北斎です」を音声データに変換し、自身に搭載されたスピーカから音声として、ユーザに対して通知する。

また、拡張情報提供端末１１と拡張情報提供装置１２との間にセッションが確立されている。このため、ユーザ２００が音声により「この作品が作られた時代はいつですか？」という質問を入力した場合、拡張情報提供端末１１は、音声認識により文章に変換した質問情報を拡張情報提供装置１２に対してセッション情報を付加して送信する。
拡張情報提供装置１２は、「この作品が作られた時代はいつですか？」を文章解析して、特徴情報として「この作品」、「作られた」、「時代」及び「いつですか」の各々のワードを抽出する。

拡張情報提供装置１２は、抽出した特徴情報である「この作品」、「作られた」、「時代」及び「いつですか」の各々のワードを、拡張情報検索装置１３に対して送信する。
これにより、拡張情報検索装置１３は、「この作品」、「作られた」、「時代」及び「いつですか」の各々のワードの特徴情報により、所定の検索ルールに従って、拡張情報テーブルから特徴情報に対応する拡張情報として「江戸時代後期」、及び「この時代、…、進みました」（図４（ｂ））を抽出する。
そして、拡張情報検索装置１３は、検索の結果抽出した回答情報（拡張情報）を、拡張情報提供装置１２に対して出力する。

拡張情報提供装置１２は、回答情報の「江戸時代後期」、及び「この時代、…、進みました」の各々を回答文を生成する際の素材とし、特徴情報を用いて、回答文として「江戸時代後期です。この時代、…、進みました」の文章を生成する。
そして、拡張情報提供装置１２は、セッション番号に対応するセッションを介し、拡張情報提供端末１１に対して、生成した回答文を送信する。
これにより、拡張情報提供端末１１は、回答文の「江戸時代後期です。この時代、…、進みました」を音声データに変換し、自身に搭載されたスピーカから音声として、ユーザに対して通知する。

上述した本実施形態においては、拡張情報提供端末１１に対する質問を音声（音声言語）で行う構成として説明したが、音声ではなく拡張情報提供端末１１の文字入力手段によりテキストの文章（文字言語）を用いて行ったり、回答文を拡張情報提供端末１１の表示画面に表示したりする構成としても良い。この場合、質問情報入力部１１１は、音声をテキストの文章に変換する音声認識の処理を行わず、入力されるテキストの文章そのものを、インタラクション部１１２に対して出力する。

また、音声入力や文字入力のみではなく、撮像画像を組み合わせた質問及び回答のインタラクションを行う構成としてもよい。
この構成の場合、ユーザが、拡張情報提供端末１１に搭載されている撮像装置により、図４（ａ）における△△ページを撮像した後、音声により「この写真の上の作品を描いたのは誰ですか？」という質問を拡張情報提供端末１１に入力する。
これにより、拡張情報提供端末１１は、音声認識を行って音声をテキストの文章に変換し、質問情報としてこの文章と、撮像装置により撮像した撮像画像のデータとを、拡張情報提供装置１２に対して質問情報として送信する。

そして、拡張情報提供装置１２は、拡張情報提供端末１１から質問情報が供給された場合、質問情報における文章から特徴情報として、文章解析により「この写真」、「上の」、「作品」、「描いた」及び「誰」の各々を抽出する。
また、拡張情報提供装置１２は、質問情報における撮像画像のデータから、画像の特徴量の情報（特定特徴情報及び特徴情報）を抽出する。
この処理以降は、特定特徴情報によりセッション番号を採番し、セッションを確立して、上述した図４における動作と同様である。

本実施形態によれば、上述した他の構成及び動作により、ユーザは、音声、文章及び撮像画像により質問した内容に対応する回答（拡張情報）を、拡張情報提供端末１１から音声として取得することが可能となり、質問の入力及び回答の取得を読んでいる本を手にした状態で行えるため、ユーザが実体のある印刷物による読書体験を行ないつつ、一旦本を閉じて検索処理などを行うことがないため、読書を阻害されることないため、自身が内容をより良く理解するために必要な情報を容易に取得することが可能であり、質の高い読書環境によりスムーズな読書を実現することができる。

なお、本発明における図１の拡張情報提供端末１１、拡張情報提供装置１２及び拡張情報検索装置１３の各々の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、拡張情報提供端末１１、拡張情報提供装置１２、拡張情報検索装置１３それぞれの拡張情報を取得するための処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信線のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１１…拡張情報提供端末
１２…拡張情報提供装置
１３…拡張情報検索装置
１１１…質問情報入力部
１１２…インタラクション部
１１３…拡張情報出力部
１２１，１３１…データ入出力部
１２２…質問特徴抽出部
１２３…回答情報検索部
１２４…回答文作成部
１２５…記憶部
１３２…データ検索部
１３３…データベース
５００…情報通信網

Claims (14)

1. 媒体に印刷が施された印刷物における印刷面を鑑賞するユーザに対して、当該印刷物の印刷内容における情報を拡張する拡張情報を提供する拡張情報提供装置であり、
   前記ユーザの所有する端末から前記印刷物を特定するための特徴を示す特定特徴情報と、前記印刷物の内容に関する自然言語による質問情報とを受信するデータ入出力部と、
   前記印刷物の内容に関する自然言語による質問情報から、前記印刷物における前記拡張情報を取得する対象である質問対象を示す内容の特徴情報を抽出する質問特徴抽出部と、
   前記特定特徴情報及び前記特徴情報に基づいて、前記印刷物における前記特徴情報に対応した回答情報の検索処理を行なう回答情報検索部と、
   検索された回答情報から自然言語の文字言語による質問情報に対する回答文を作成する回答文作成部と
   を備え、
   前記データ入出力部は、前記回答文を前記拡張情報として前記ユーザの所有する前記端末に送信する
   ことを特徴とする拡張情報提供装置。
2. 前記データ入出力部が、前記印刷物を特定する特定情報を前記特定特徴情報に代えて受信し、
   前記質問特徴抽出部が、前記特定情報から、前記印刷物を特定するための特徴を示す前記特定特徴情報を抽出する
   ことを特徴とする請求項１に記載の拡張情報提供装置。
3. 前記データ入出力部が、前記回答文を前記端末に送信し、その後に、前記印刷物の内容に関する自然言語による追加質問情報を前記端末から受信し、
   質問特徴抽出部が、前記追加質問情報から、前記拡張情報を取得する対象である、前記印刷物における質問対象を示す内容の追加特徴情報を抽出し、
   前記回答情報検索部が、前記特定特徴情報及び前記特徴情報の一部または全部、及び前記追加特徴情報に基づいて、前記印刷物における前記追加特徴情報に対応した追加回答情報の検索処理を行ない、
   前記回答文作成部が、前記追加回答情報から自然言語の文字言語による追加回答文を作成する
   ことを特徴とする請求項１または請求項２に記載の拡張情報提供装置。
4. 前記質問情報が自然言語の文字言語からなる文章を含み、
   前記質問特徴抽出部が、前記質問情報を文章解析して質問対象のワードを前記特徴情報として抽出する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の拡張情報提供装置。
5. 前記質問情報における前記特徴情報が、前記印刷物における前記質問対象の位置を含み、
   前記質問特徴抽出部が、前記特徴情報としての前記質問対象の前記位置の情報を抽出する
   ことを特徴とする請求項４に記載の拡張情報提供装置。
6. 前記質問情報が前記印刷物を撮像した撮像画像と、当該撮像画像における前記質問対象の画像の位置を含み、
   前記質問特徴抽出部が、前記撮像画像から前記位置に対応した前記質問対象の画像を抽出する
   ことを特徴とする請求項１から請求項３のいずれか一項に記載の拡張情報提供装置。
7. 前記回答情報検索部が、前記質問対象における画像に対する特徴情報に対応した回答情報を検索する
   ことを特徴とする請求項６に記載の拡張情報提供装置。
8. 媒体に印刷が施された印刷物における印刷面を鑑賞するユーザに対して、当該印刷物の
   印刷内容における情報を拡張する、拡張情報提供装置から供給される拡張情報を通知する
   拡張情報提供端末であり、
   前記印刷物の内容に対する質問対象を示す自然言語による質問を入力し、文字言語の質
   問情報に変換する質問情報入力部と、
   前記拡張情報提供装置に対して、前記印刷物を特定するための特徴を示す特定特徴情報と、前記質問情報とを出力し、当該拡張情報提供装置から前記拡張情報として前記特定特徴情報及び前記質問情報に対応する回答文を入力するインタラクション部と、
   前記拡張情報提供装置から供給された前記拡張情報を自然言語により通知する拡張情報
   通知部と
   を備えることを特徴とする拡張情報提供端末。
9. 前記質問情報入力部が、前記質問がユーザによる音声言語である場合、この音声言語を音声認識により自然言語の文字言語によるテキストに変換して文章を生成し、前記質問情報に含める
   ことを特徴とする請求項８に記載の拡張情報提供端末。
10. 拡張情報通知部が、文字言語である前記回答文を自然言語の音声データに変換して、当該音声データにより前記質問情報に対する回答を通知する
    ことを特徴とする請求項８または請求項９に記載の拡張情報提供端末。
11. 拡張情報提供装置が、媒体に印刷が施された印刷物における印刷面を鑑賞するユーザに対して、当該印刷物の印刷内容における情報を拡張する拡張情報を提供する拡張情報提供方法であり、
    前記拡張情報提供装置のデータ入出力部が、前記ユーザの所有する端末から前記印刷物を特定するための特徴を示す特定特徴情報と、前記印刷物の内容に関する自然言語による質問情報とを受信するデータ入力過程と、
    前記拡張情報提供装置の質問特徴抽出部が、前記印刷物の内容に関する自然言語による質問情報から、前記印刷物における前記拡張情報を取得する対象である質問対象を示す内容の特徴情報を抽出する質問特徴抽出過程と、
    前記拡張情報提供装置の回答情報検索部が、前記特定特徴情報及び前記特徴情報に基づいて、前記印刷物における前記特徴情報に対応した回答情報の検索処理を行なう回答情報検索過程と、
    前記拡張情報提供装置の回答文作成部が、検索された回答情報から自然言語の文字言語による質問情報に対する回答文を作成する回答文作成過程と、
    前記拡張情報提供装置の前記データ入出力部が、前記回答文を前記拡張情報として前記ユーザの所有する前記端末に送信するデータ出力過程と
    を含む
    ことを特徴とする拡張情報提供方法。
12. 拡張情報提供端末が、媒体に印刷が施された印刷物における印刷面を鑑賞するユーザに対して、当該印刷物の印刷内容における情報を拡張する、拡張情報提供装置から供給される拡張情報を通知する拡張情報提供方法であり、
    前記拡張情報提供端末の質問情報入力部が、前記印刷物の内容に対する質問対象を示す自然言語による質問を入力し、文字言語の質問情報に変換する質問情報入力過程と、
    前記拡張情報提供端末のインタラクション部が、前記拡張情報提供装置に対して、前記印刷物を特定するための特徴を示す特定特徴情報と、前記質問情報とを出力し、当該拡張情報提供装置から前記拡張情報として前記特定特徴情報及び前記質問情報に対応する回答文を入力するインタラクション過程と、
    前記拡張情報提供端末の拡張情報通知部が、前記拡張情報提供装置から供給された前記拡張情報を自然言語により通知する拡張情報通知過程と
    を含むことを特徴とする拡張情報提供方法。
13. 媒体に印刷が施された印刷物における印刷面を鑑賞するユーザに対して、当該印刷物の印刷内容における情報を拡張する拡張情報を提供する拡張情報提供装置としてコンピュータを機能させるためのプログラムであり、
    前記コンピュータを、
    前記ユーザの所有する端末から前記印刷物を特定するための特徴を示す特定特徴情報と、前記印刷物の内容に関する自然言語による質問情報とを受信するデータ入出力手段、
    前記印刷物の内容に関する自然言語による質問情報から、前記印刷物における前記拡張情報を取得する対象である質問対象を示す内容の特徴情報を抽出する質問特徴抽出手段、
    前記特定特徴情報及び前記特徴情報に基づいて、前記印刷物における前記特徴情報に対応した回答情報の検索処理を行なう回答情報検索手段、
    検索された回答情報から自然言語の文字言語による質問情報に対する回答文を作成する回答文作成手段、
    前記回答文を前記拡張情報として前記ユーザの所有する前記端末に送信する前記データ入出力手段
    として機能させるためのプログラム。
14. 媒体に印刷が施された印刷物における印刷面を鑑賞するユーザに対して、当該印刷物の印刷内容における情報を拡張する、拡張情報提供装置から供給される拡張情報を通知する拡張情報提供端末としてコンピュータを機能させるためのプログラムであり、
    前記コンピュータを、
    前記印刷物の内容に対する質問対象を示す自然言語による質問を入力し、文字言語の質問情報に変換する質問情報入力手段、
    前記拡張情報提供装置に対して、前記印刷物を特定するための特徴を示す特定特徴情報と、前記質問情報とを出力し、当該拡張情報提供装置から前記拡張情報として前記特定特徴情報及び前記質問情報に対応する回答文を入力するインタラクション手段、
    前記拡張情報提供装置から供給された前記拡張情報を自然言語により通知する拡張情報通知手段
    として機能させるためのプログラム。

Images