JP5220684B2

JP5220684B2 - 感覚情報表現サーバ、感覚情報表現システム、及び感情表現方法

Info

Publication number: JP5220684B2
Application number: JP2009129458A
Authority: JP
Inventors: 祐宮崎
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2009-05-28
Filing date: 2009-05-28
Publication date: 2013-06-26
Anticipated expiration: 2029-05-28
Also published as: JP2010277363A

Description

本発明は、画像に対する感覚情報の表現を実現する感覚情報表現サーバ、感覚情報表現システム、及び感覚情報表現方法に関する。

従来、ＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）などの仮想物体と、現実空間とを重ね合わせて表示する拡張現実感（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ）の技術を利用したシステムが知られている。

このような状況において、例えば特許文献１には、多数の種類の仮想物体を、現実空間の撮影画像の上に合成して合成画像として表示することができる拡張現実感システムが提案されている。

特開２００５−２５０９５０号公報

しかし、このような拡張現実感を利用したシステムを利用して、合成画像を取得した場合であっても、単に、現実空間に対し仮想物体を合成して合成画像を取得できるに過ぎなかった。したがって、画像を取得したユーザーは、合成された画像を実際に視認することにより、この画像に対する意図や思惑を自ら想像しなければならず、得られた画像に対する感覚を容易に得ることができなかった。

そこで本発明は、得られた画像に対する感覚を容易に得ることができる感覚情報表現サーバ、感覚情報表現システム、及び感覚情報表現方法を提供することを目的とする。

（１）画像に対する感覚情報の表現を実現する感覚情報表現サーバであって、Ｗｅｂ上から収集されたテキストデータを取得するテキストデータ取得手段と、前記テキストデータ取得手段により取得された前記テキストデータに出現する事物を表す事物単語と、前記事物単語と共起の関係にある用語であって人間が感じる感覚を表す感覚用語と、を共起度に応じて関連付けた感覚辞書を生成する感覚辞書生成手段と、クライアント端末において入力された画像データから前記事物単語に対応する対象物を特定する対象物特定手段と、前記感覚辞書生成手段により生成された前記感覚辞書に基づき、前記対象物特定手段により特定された前記対象物に対応する前記事物単語と共起の関係にある前記感覚用語を決定する感覚用語決定手段と、前記画像データと前記感覚用語決定手段により決定された前記感覚用語とを前記クライアント端末に送信する送信手段と、を備えたことを特徴とする感覚情報表現サーバ。

（１）の感覚情報表現サーバによれば、クライアント端末において入力された画像データから事物単語に対応する対象物が特定される。そして、特定された対象物に対応する事物単語と、共起の関係にある感覚用語が、クライアント端末において入力された画像データとともに送信される。すなわち、クライアント端末において入力された画像に対して意味合いに関連性の高い感覚用語が画像データとともにクライアント端末に送信される。その結果、得られた画像に対する感覚を当該感覚情報表現サーバを介して容易に得ることができる。

また、ユーザーが伝達しようとする画像の対象物に対して、複数の感覚用語の中から今現在ブログやニュース配信サイトなどのＷｅｂ上において流行している感覚用語が決定することができる。その結果、ユーザーが伝達しようとしている画像に対応する事物単語と意味的に関連性が強く、かつ、現在の流行に対応した感覚を容易に得ることができる。

また、事物単語に対して、共起度に応じて複数の感覚用語を決定することができる。その結果、例えば、ユーザーが伝達しようとする画像の対象物に対し、共起度が高い順に感覚用語を２つ決定して、その２つの感覚用語を画像データとともに送信することで、その画像に対するより強い感覚を容易に得ることができる。

（２）前記クライアント端末において入力される前記画像データは、地名に対応する対象物を備えた地図データに関し、前記地名及び、前記地名に対応し前記クライアント端末において前記感覚用語の表示を行う位置情報を格納する位置情報格納手段と、を備え、前記感覚辞書生成手段は、前記テキストデータ取得手段により取得された前記テキストデータに出現する地名と、前記地名と共起の関係にある用語であって人間が感じる感覚を表す感覚用語と、を共起度に応じて関連付けた感覚辞書を生成し、前記対象物特定手段は、前記クライアント端末において入力された前記地図データから前記地名に対応する対象物を特定し、前記感覚用語決定手段は、前記感覚辞書生成手段により生成された前記感覚辞書に基づき、前記対象物特定手段により特定された前記対象物に対応する前記地名と共起の関係にある前記感覚用語を決定し、前記送信手段は、前記地図データと前記感覚用語決定手段により決定された前記感覚用語と前記対象物特定手段により特定された前記対象物の地名に対応する位置情報とを送信することを特徴とする（１）に記載の感覚情報表現サーバ。

（２）の感覚情報表現サーバによれば、クライアント端末において入力された地名に対応する対象物を備えた地図データから、該地名に対応する対象物が特定される。そして、特定された対象物に対応する地名と共起の関係にある感覚用語、及び、特定された対象物の地名に対応する位置情報が、クライアント端末において入力された地図データとともに送信される。その結果、地名に対する感覚を、当該感覚情報表現サーバを介して容易に得ることができる。

（３）前記感覚用語は、嗅覚、触覚又は味覚に関する心的現象を表す形容詞であることを特徴とする（１）又は（２）に記載の感覚情報表現サーバ。（３）の感覚情報表現サーバによれば、視認するだけでは伝達することが特に困難な感覚である嗅覚、触覚及び味覚を容易に得ることができる。

（４）クライアント端末における画像に対する感覚情報の表現を感覚情報表現サーバを介して実現する感覚情報表現システムであって、前記クライアント端末は、被写体を撮像する撮像手段と、前記撮像手段により撮像された画像データを送信する画像データ送信手段と、外部から画像データを受信する受信手段と、前記受信手段により受信した画像データを表示する表示手段と、を備え、前記感覚情報表現サーバは、Ｗｅｂ上から収集されたテキストデータを取得するテキストデータ取得手段と、前記テキストデータ取得手段により取得された前記テキストデータに出現する事物を表す事物単語と、前記事物単語と共起の関係にある用語であって人間が感じる感覚を表す感覚用語と、を共起度に応じて関連付けた感覚辞書を生成する感覚辞書生成手段と、前記クライアント端末において入力された画像データから前記事物単語に対応する対象物を特定する対象物特定手段と、前記感覚辞書生成手段により生成された前記感覚辞書に基づき、前記対象物特定手段により特定された前記対象物に対応する前記事物単語と共起の関係にある前記感覚用語を決定する感覚用語決定手段と、前記画像データ送信手段から送信された前記画像データと前記感覚用語決定手段により決定された前記感覚用語とを前記クライアント端末に送信する送信手段と、を備え、前記受信手段は、前記送信手段から送信された前記画像データと前記感覚用語とを受信し、前記表示手段は、前記受信手段により受信した前記画像データと前記感覚用語とを表示することを特徴とする感覚情報表現システム。

（４）の感覚情報表現システムによれば、クライアント端末の撮像手段により撮像された画像データから事物単語に対応する対象物が特定される。そして、特定された対象物に対応する事物単語と、共起の関係にある感覚用語が、撮像手段により撮像された画像データとともに送信される。そして、クライアント端末は、送信された画像データと決定された感覚用語とを表示手段において表示する。その結果、撮像することにより得られた画像に対する感覚を当該感覚情報表現システムにより容易に得ることができる。

（５）画像に対する感覚情報の表現を実現する感覚情報表現方法であって、Ｗｅｂ上から収集されたテキストデータを取得するテキストデータ取得ステップと、前記テキストデータ取得ステップにより取得された前記テキストデータに出現する事物を表す事物単語と、前記事物単語と共起の関係にある用語であって人間が感じる感覚を表す感覚用語とを共起度に応じて関連付けた感覚辞書を生成する感覚辞書生成ステップと、クライアント端末において入力された画像データから前記事物単語に対応する対象物を特定する対象物特定ステップと、前記感覚辞書生成ステップにより生成された前記感覚辞書に基づき、前記対象物特定ステップにより特定された前記対象物に対応する前記事物単語と共起の関係にある前記感覚用語を決定する感覚用語決定ステップと、前記画像データと前記感覚用語決定ステップにより決定された前記感覚用語とをクライアント端末に送信する送信ステップと、を備えたことを特徴とする感覚情報表現方法。

（５）の感覚情報表現方法によれば、クライアント端末において入力された画像データから事物単語に対応する対象物が特定される。そして、特定された対象物に対応する事物単語と、共起の関係にある感覚用語が、クライアント端末において入力された画像データとともに送信される。その結果、クライアント端末において入力された画像に対する感覚を当該感覚情報表現方法により容易に得ることができる。

本発明によれば、クライアント端末に入力された画像に対する感覚をユーザーが容易に得ることができる。

本実施形態の感覚情報表現方法を実現するための感覚情報表現システムの構成例を示す図である。上記実施形態の事物単語ＤＢを示す図である。上記実施形態の感覚用語ＤＢを示す図である。上記実施形態の感覚辞書ＤＢを示す図である。上記実施形態の画像辞書ＤＢを示す図である。上記感覚情報表現システムを構成するブログサーバ、感覚情報表現サーバ、クライアント端末のハードウェア構成を示す図である。上記実施形態の感覚情報表現方法の処理を示すフローチャートである。上記実施形態における画像の表示例を示す図である。別実施形態の感覚情報表現方法を実現するための感覚情報表現システムの構成例を示す図である。別実施形態の位置情報ＤＢを示す図である。別実施形態の感覚情報表現方法の処理を示すフローチャートである。別実施形態における画像の表示例を示す図である。

［第１実施形態］
本発明の感覚情報表現方法は、クライアント端末から入力された画像データと感覚用語とをクライアント端末に送信して、画像データに含まれる対象物に対してユーザーが感じる感覚を容易に得ることができるものであるところ、以下では、本発明の感覚情報表現方法を実現するために好適な感覚情報表現システム１について図１〜図８を参照しながら説明する。

［感覚情報表現システム１の構成例］
感覚情報表現システム１は、ブログサーバ１０、感覚情報表現サーバ２０、クライアント端末４０により構成される。

ブログサーバ１０は、ブログ配信手段１１により構成される。感覚情報表現サーバ２０は、テキストデータ取得手段２１、感覚辞書生成手段２２、対象物特定手段２３、感覚用語決定手段２４、送信手段２５、事物単語データベース（ＤＢ）３０、感覚用語データベース（ＤＢ）３１、感覚辞書データベース（ＤＢ）３２、画像辞書データベース（ＤＢ）３３により構成される。クライアント端末４０は、撮像手段４１、画像データ送信手段４２、受信手段４３、表示手段４４により構成される。

ブログサーバ１０は、ブログ配信手段１１を介してインターネット回線を通じて、ブログの書き込み記事を配信する。ここで、ブログの書き込み記事とは、個人や複数人のグループで運営される日記形式のテキストデータにより構成された記事である。

感覚情報表現サーバ２０のテキストデータ取得手段２１は、インターネット回線を通じて、ブログサーバ１０のブログ配信手段１１から配信されたブログ記事のテキストデータを取得する。ブログ記事のテキストデータの取得は、例えば、クローラーなどと呼ばれる自動的に各サーバを巡回してコンテンツを収集するソフトウェアを実行することにより実現する。なお、テキストデータの取得は、ブログサーバ１０により配信されるブログ記事には限られない。例えば、このブログサーバ１０の代わりに、ＳＮＳの書き込み記事が格納されたＳＮＳサーバにより配信されるコンテンツや、ニュース配信サイトなどのニュースサーバにより配信されるテキストデータのコンテンツであってもよい。また、テキストデータの取得は、インターネット回線を通じたものに限られない。例えば、ＰＡＮ（ＰｅｒｓｏｎａｌＡｒｅａＮｅｔｗｏｒｋ）、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）などのネットワーク回線を通じてテキストデータの取得を行ってもよい。

感覚辞書生成手段２２は、テキストデータ取得手段２１により取得されたテキストデータに出現する事物を表す事物単語と、この事物単語と共起の関係にある用語であって人間が感じる感覚を表す言葉、すなわち、人体の感覚器が受けたときに経験する心的現象を表す感覚用語と、を共起度に応じて関連付けた感覚辞書ＤＢ３２の生成を行う。具体的には、テキストデータ取得手段により取得したテキストを形態素解析し、品詞に分類して、事物単語ＤＢ３０に格納されている事物単語と、感覚用語ＤＢ３１に格納されている感覚用語とを参照し、事物単語と感覚単語とを抽出する。そして、抽出された事物単語と、感覚用語との共起ヒット情報を共起度として計算して、事物単語と感覚用語との対応付け及び、事物単語とそれに対応する各感覚用語との共起度を感覚辞書ＤＢ３２に格納し、感覚辞書ＤＢ３２の生成を行う。

クライアント端末４０の撮像手段４１は、ユーザーによる画像データの入力の受け付けを行うものである。すなわち、撮像手段４１は、カメラレンズやＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）などの撮像素子が設けられた撮像手段としてのカメラ機能を備える。画像データ送信手段４２は、撮像手段４１を介して入力された画像データを感覚情報表現サーバ２０に送信するものである。

感覚情報表現サーバ２０の対象物特定手段２３は、画像辞書ＤＢ３３を参照して、クライアント端末４０から撮像手段４１を介して入力された画像データから、事物単語に対応する対象物の画像を特定する。

具体的には、まず、クライアント端末４０において撮像手段４１を介して入力された画像データから特徴情報を抽出する。特徴情報としては、画像の輪郭や色数などがある。このような技術は公知であり（例えば、特開２００６−１１４０５３参照）、このようにすることによって、撮像手段４１を介して入力された画像データ内の画像が、例えば「りんご」であることを認識できる。そして、画像辞書ＤＢ３３を参照し、すでに実用化されている類似画像検索技術に基づき、特徴情報が合致する画像を特定し、撮像手段４１を介して入力された画像データと特徴情報が合致する対象物の画像を特定する。その際、特徴情報が完全に一致するものがない場合には、類似度が最も大きいものを選ぶ。類似画像検索では、検索の対象となる画像から視覚的な情報を数百次元の数値列データ（画像特徴量）で示し、データ同士の似ている度合い（類似度）を、画像特徴量ベクトル間の距離、すなわち、この画像特徴量の違いとして評価する。

感覚用語決定手段２４は、感覚辞書生成手段２２により生成された感覚辞書ＤＢ３２に基づき、対象物特定手段２３により特定された対象物に対応する事物単語と共起の関係にある感覚用語の決定を行う。具体的には、感覚辞書ＤＢ３２を参照して、特定された対象物に対応する事物単語に対応する複数の感覚用語のうち共起度が一番高い感覚用語を決定する。なお、この場合、事物単語に対応する複数の感覚用語のうち共起度が高い順に２つ、又はそれ以上の複数の感覚用語を決定してもよい。

送信手段２５は、感覚用語決定手段２４により決定された感覚用語と、クライアント端末４０の撮像手段４１を介して入力された画像データとをクライアント端末４０に対し送信する。具体的には、クライアント端末４０の撮像手段４１を介して入力された画像データとともに、感覚用語決定手段２４により決定された感覚用語をクライアント端末４０に送信する。なお、この場合、クライアント端末において入力された画像データに対し、感覚用語決定手段２４により決定された感覚用語に対応するデータを付加して、画像データごとクライアント端末４０に送信してもよい。また、感覚用語決定手段２４により複数の感覚用語が決定された場合には、決定された複数の感覚用語を画像データとともに送信してもよい。

クライアント端末４０の受信手段４３は、インターネット回線を通じて、感覚情報表現サーバ２０から送信された画像データと、決定された感覚用語との受信を行う。表示手段４４は、受信手段４３が受信した画像データに対応する画像を、後で図７を参照して説明するクライアント端末４０の表示装置１３６０において表示するとともに、決定された感覚用語を、表示装置１３６０において表示された画像とともに表示する。具体的には、クライアント端末４０の表示装置１３６０の表示画面において、クライアント端末４０の撮像手段４１を介して入力された画像を表示するとともに、この表示された画像に対応する感覚用語を一緒に表示する。

［事物単語ＤＢ］
図２を参照して、事物単語ＤＢ３０について説明する。事物単語ＤＢ３０は、事物単語Ｎｏ．毎に、事物を表す事物単語が記憶される。事物単語Ｎｏ．は、事物単語を一意に識別するために用いられる。事物単語は、文中で主語や目的語などとして働くモノを表す名詞により構成される単語である。

［感覚用語ＤＢ］
図３を参照して、感覚用語ＤＢ３１について説明する。感覚用語ＤＢ３１は、感覚用語Ｎｏ．毎に、人間が感じる感覚を表す感覚用語が記憶される。感覚用語Ｎｏ．は、感覚用語を一意に識別するために用いられる。感覚用語は、人体の五感により感ずる形容詞により構成され、特に、嗅覚、触覚又は味覚など、事物の性質・状態・心情などを表し、文中で、名詞を修飾する形容詞により構成される用語である。

［感覚辞書ＤＢ］
図４を参照して、感覚辞書ＤＢ３２について説明する。感覚辞書ＤＢ３２は、事物単語毎に、この事物単語に対応する複数の感覚用語及び、この事物単語に対応する各感覚用語の共起度、が記憶される。共起度とは、事物単語に対する感覚用語の意味合いに関連性の高さを規定する情報である。例えば、この共起度は、テキストデータ取得手段２１により取得されたテキストデータにおいて、事物単語に対応して出現する感覚用語の回数に応じて決定される。

［画像辞書ＤＢ］
図５を参照して、画像辞書ＤＢ３３について説明する。画像辞書ＤＢ３３は、画像毎に、事物単語が記憶される。クライアント端末４０の撮像手段４１を介して入力された各画像の特徴情報と合致する特徴情報を有する画像が、画像辞書ＤＢ３３の中から特定される。画像辞書ＤＢ３３に記憶されている画像は、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）により記憶されているがこれに限られない。例えば、ＢＭＰ、ＰＩＣＴ、ＧＩＦ（ＧｒａｐｈｉｃｓＩｎｔｅｒｃｈａｎｇｅＦｏｒｍａｔ）（登録商標）、ＰＮＧ（ＰｏｒｔａｂｌｅＮｅｔｗｏｒｋｇｒａｐｈｉｃｓ）の形式により記憶されていてもよい。

［ブログサーバ１０、感覚情報表現サーバ２０、クライアント端末４０のハードウェア構成］
図６は、感覚情報表現サーバ２０のハードウェア構成を示す図である。本発明が実施される装置は標準的なものでよく、以下に構成の一例を示す。なお、詳細な説明は省略するが、ブログサーバ１０、クライアント端末４０も感覚情報表現サーバ２０と同様のハードウェア構成を有している。

感覚情報表現サーバ２０は、制御部１３００を構成するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１３１０（マルチプロセッサ構成ではＣＰＵ１３２０など複数のＣＰＵが追加されてもよい）、バスライン１２００、通信Ｉ／Ｆ（Ｉ／Ｆ：インターフェイス）１３３０、メインメモリ１３４０、ＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔＯｕｔｐｕｔＳｙｓｔｅｍ）１３５０、表示装置１３６０、Ｉ／Ｏコントローラ１３７０、キーボード及びマウスなどの入力装置１３８０、ハードディスク１３９０、光ディスクドライブ１４００、半導体メモリ１４２０、並びに撮像装置１４４０を備える。なお、ハードディスク１３９０、光ディスクドライブ１４００、並びに半導体メモリ１４２０はまとめて記憶装置１４３０と呼ぶ。

制御部１３００は、感覚情報表現サーバ２０を統括的に制御する部分であり、ハードディスク１３９０（後述）に記憶された各種プログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、本発明に係る各種機能を実現している。

通信Ｉ／Ｆ１３３０は、感覚情報表現サーバ２０が、ネットワークを介してブログサーバ１０、及びクライアント端末４０などと情報を送受信する場合のネットワーク・アダプタである。通信Ｉ／Ｆ１３３０は、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含んでよい。なお、感覚情報表現サーバ２０の送信手段２５、クライアント端末４０の画像データ送信手段４２、及び受信手段４３は、通信Ｉ／Ｆ１３３０により実現される。

ＢＩＯＳ１３５０は、感覚情報表現サーバ２０の起動時にＣＰＵ１３１０が実行するブートプログラムや、感覚情報表現サーバ２０のハードウェアに依存するプログラムなどを記録する。

表示装置１３６０は、ブラウン管表示装置（ＣＲＴ）、液晶表示装置（ＬＣＤ）などのディスプレイ装置を含む。なお、クライアント端末４０の表示手段４４は、液晶表示装置により形成された表示装置１３６０により実現される。

Ｉ／Ｏコントローラ１３７０には、ハードディスク１３９０、光ディスクドライブ１４００、及び半導体メモリ１４２０などの記憶装置１４３０を接続することができる。

ハードディスク１３９０は、本ハードウェアを感覚情報表現サーバ２０として機能させるための各種プログラム、本発明の機能を実行するプログラム及び前述したテーブル及びレコードを記憶する。なお、感覚情報表現サーバ２０は、外部に別途設けたハードディスク（図示せず）を外部記憶装置として利用することもできる。

光ディスクドライブ１４００としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この場合は各ドライブに対応した光ディスク１４１０を使用する。光ディスク１４１０から光ディスクドライブ１４００によりプログラム又はデータを読み取り、Ｉ／Ｏコントローラ１３７０を介してメインメモリ１３４０又はハードディスク１３９０に提供することもできる。

撮像装置１４４０は、カメラレンズやＣＣＤなどの撮像素子などを備え、ユーザーが所望する物や者、風景などを撮影し、画像データとして記憶することができる。クライアント端末４０の撮像手段４１は、撮像装置１４４０により実現される。なお、撮像装置１４４０は、クライアント端末４０のみ有する機能であり、ブログサーバ１０、及び感覚情報表現サーバ２０には備えなくてもよい。

なお、本発明でいうコンピュータとは、記憶装置、制御部などを備えた端末をいい、感覚情報表現サーバ２０は、記憶装置１４３０、制御部１３００などを備えた端末により構成され、この端末は、本発明のコンピュータの概念に含まれる。

感覚情報表現サーバ２０の各手段は、制御部１３００によってプログラムが実行されることで実現される。但し、データ記憶部は、主としてハードディスク１３９０に実装されるが、既に述べたように、他の記憶装置を用いてもよい。

［処理フロー］
図７は、本実施形態の感覚情報表現方法を実現するための処理の流れを示すフローチャートである。

Ｓ１：不特定ユーザーによりブログの書き込みが行われた場合には、ブログサーバ１０の制御部１３００（ブログ配信手段１１）は、通信Ｉ／Ｆ１３３０を介して、書き込まれたブログの書き込み記事を配信する。

Ｓ２：ブログサーバ１０によりブログの書き込み記事の配信が行われると、感覚情報表現サーバ２０の制御部１３００（テキストデータ取得手段２１）は、配信されたブログ記事のテキストデータを取得する。

Ｓ３：続いて、感覚情報表現サーバ２０の制御部１３００（感覚辞書生成手段２２）は、事物単語ＤＢ３０及び感覚用語ＤＢ３１を参照して、事物単語と感覚用語との対応付け及び、事物単語とそれに対応する各感覚用語との共起度を感覚辞書ＤＢ３２に格納し感覚辞書ＤＢ３２を生成する。

Ｓ４：次に、クライアント端末４０の制御部１３００（撮像手段４１）は、撮像装置１４４０を介して対象物の撮像を行い、取得された撮像データの画像の入力を受け付ける。

Ｓ５：続いて、クライアント端末４０の制御部１３００（画像データ送信手段４２）は、撮像データの入力を受け付けた場合には、クライアント端末４０の通信Ｉ／Ｆ１３３０を介して、撮像データを送信する。

Ｓ６：次に、感覚情報表現サーバ２０の制御部１３００（対象物特定手段２３）は、入力された撮像データから特徴情報を抽出し、画像辞書ＤＢ３３を参照して、入力された撮像データの画像と特徴情報が合致する対象物の画像を特定する。

Ｓ７：次に、感覚情報表現サーバ２０の制御部１３００（感覚用語決定手段２４）は、生成された感覚辞書ＤＢ３２に基づき、対象物特定手段２３により特定された対象物の画像に対応する事物単語と共起の関係にある感覚用語のうち、一番共起度の高い感覚用語を決定する。

Ｓ８：次に、感覚情報表現サーバ２０の制御部１３００（送信手段２５）は、通信Ｉ／Ｆ１３３０により、決定された感覚用語とクライアント端末４０から送信された撮像データとをクライアント端末４０に送信する。

Ｓ９：続いて、クライアント端末４０の制御部１３００（受信手段４３）は、通信Ｉ／Ｆ１３３０により、感覚情報表現サーバ２０から送信された撮像データと感覚用語とを受信する。

Ｓ１０：次に、クライアント端末４０の制御部１３００（表示手段４４）は、送信された撮像データの画像とともに、決定された感覚用語に対応するテキストをクライアント端末４０の表示装置１３６０に表示する。

［クライアント端末における表示例］
図８を参照して、クライアント端末４０において撮像された撮像データの画像を、クライアント端末４０としての携帯電話において表示する表示例について説明する。

図８では、ユーザーがクライアント端末４０において撮像した「りんご」の画像が、感覚情報表現サーバ２０を介して、クライアント端末４０の表示装置１３６０において表示されている。

ここで、ユーザーが、クライアント端末４０を用いて、「りんご」の撮影を行い、「リンゴ」の撮像データを感覚情報表現サーバ２０に送信すると、感覚情報表現サーバ２０において感覚辞書ＤＢ３２に記憶されている感覚用語のうち、この撮像データの画像「りんご」に対して一番共起度の高い感覚用語である「あまい」が決定される。

そして、この撮像データ及び決定された感覚用語がクライアント端末４０に送信されることにより、ユーザーがクライアント端末４０の撮像装置１４４０を介して撮像した画像が、クライアント端末４０の表示装置１３６０の画像表示領域５５に表示されるとともに、このユーザーが撮像した撮像データと関連性が高い感覚用語「あまい」が表示装置１３６０の感覚用語表示領域５６に表示されている。

また、ユーザーがクライアント端末４０の撮像装置を介して、新しい撮像データを送信した場合には、クライアント端末４０の感覚用語表示領域５６において表示されていた感覚用語をクリアし、新しい感覚用語が表示される。

このように、ユーザーがクライアント端末４０の撮像手段４１から入力された画像データに含まれる対象物に対して共起度の高い、すなわち意味合いに関連性の高い感覚用語が決定される。したがって、撮像手段４１を介して得られた画像に対してユーザーが感じた感覚を容易に得ることができる。

［第２実施形態］
次に、本発明の別実施形態に係る感覚情報表現方法について、この感覚情報表現方法を実現するために好適な感覚情報表現システム１Ａを用いて説明する。第２実施形態に係る感覚情報表現方法はクライアント端末の撮像手段ではなく、地図サーバ５００から送信された地図データを送信する点で、第１実施形態に係る感覚情報表現方法とは異なる。

［感覚情報表現システム１Ａの構成例］
図９を参照して、感覚情報表現システム１Ａは、ブログサーバ１００、感覚情報表現サーバ２００、クライアント端末４００により構成される。

ブログサーバ１００は、ブログ配信手段１０１により構成される。感覚情報表現サーバ２００は、テキストデータ取得手段２０１、感覚辞書生成手段２０２、対象物特定手段２０３、感覚用語決定手段２０４、送信手段２０５、事物単語データベース（ＤＢ）３００、感覚用語データベース（ＤＢ）３０１、感覚辞書データベース（ＤＢ）３０２、位置情報データベース（ＤＢ）３０３により構成される。クライアント端末４００は、地図データベース（ＤＢ）４０１、地図データ入力手段４０１、地図データ送信手段４０２、受信手段４０３、表示手段４０４により構成される。

ブログサーバ１００は、ブログ配信手段１０１を介してインターネット回線を通じて、ブログの書き込み記事を配信する。

感覚情報表現サーバ２００のテキストデータ取得手段２０１は、インターネット回線を通じて、ブログサーバ１００のブログ配信手段１０１から配信されたブログ記事のテキストデータを取得する。また、このテキストデータの取得も、インターネット回線を通じたものに限られず、ＰＡＮ、ＬＡＮ、ＷＡＮなどのネットワーク回線を通じてテキストデータの取得を行ってもよい。

感覚辞書生成手段２０２は、テキストデータ取得手段２０１により取得されたテキストデータに出現する地名と、この地名と共起の関係にある用語であって人間が感じる感覚を表す言葉、すなわち、人体の感覚器が受けたときに経験する心的現象を表す感覚用語と、を共起度に応じて関連付けた感覚辞書ＤＢ３０２の生成を行う。具体的には、事物単語ＤＢ３００に格納されている地名を表す標記と、感覚用語ＤＢ３０１に格納されている感覚用語とを参照して、テキストデータ取得手段により取得したテキストを形態素解析し、品詞に分類して、地名を表す標記と感覚単語とを抽出する。そして、抽出された地名を表す標記と、感覚用語との共起ヒット情報を共起度として計算して、標記と感覚用語との対応付け及び、標記とそれに対応する各感覚用語との共起度を感覚辞書ＤＢ３０２に格納し、感覚辞書ＤＢ３０２の生成を行う。

クライアント端末４００の地図データ入力手段４０１は、クライアント端末４００からの地図の閲覧要求に応じて、地図サーバ５００に記憶されている地図データの中から閲覧要求があった地図に対応する地図データの入力の受け付けを行うものである。

クライアント端末４００の地図データ送信手段４０２は、地図データ入力手段４０１を介して入力された地図データを感覚情報表現サーバ２００に送信する。具体的には、複数の地点に関する位置情報及び地名を示す位置情報を有する地図コンテンツを有する地図データの送信を行う。

感覚情報表現サーバ２００の対象物特定手段２０３は、位置情報ＤＢ３０３を参照して、クライアント端末４００の地図データ入力手段４０１を介して入力された地図データから、地名を表す標記に対応する対象物を特定する。

具体的には、まず、クライアント端末４００の地図データ入力手段４０１を介して入力された地図データから特徴情報を抽出する。特徴情報としては、地図データにより表される対象物である地図の輪郭などがある。このような技術は公知であり（例えば、特開２００６−１１４０５３参照）、このようにすることによって、クライアント端末４００の地図データ入力手段４０１を介して入力された地図データ内の地名に対応する標記が、例えば「ケニア」であることを認識できる。そして、位置情報ＤＢ３０３を参照し、すでに実用化されている類似画像検索技術に基づき、特徴情報が合致する標記を特定し、クライアント端末４００により入力された地図データと特徴情報が合致する対象物の標記を特定する。その際、特徴情報が完全に一致するものがない場合には、類似度が最も大きいものを選ぶ。類似画像検索では、検索の対象となる地図データの画像から視覚的な情報を数百次元の数値列データ（画像特徴量）で示し、データ同士の似ている度合い（類似度）を、画像特徴量ベクトル間の距離、すなわち、この画像特徴量の違いとして評価する。

感覚用語決定手段２０４は、感覚辞書生成手段２０２により生成された感覚辞書ＤＢ３０２に基づき、対象物特定手段２０３により特定された対象物に対応する地名を表す標記と共起の関係にある感覚用語の決定を行う。具体的には、感覚辞書ＤＢ３０２を参照して、特定された対象物に対応する地名を表す標記に対応する複数の感覚用語のうち共起度が一番高い感覚用語を決定する。

送信手段２０５は、感覚用語決定手段２０４により決定された感覚用語、対象物特定手段２０３により特定された地名に対応する位置情報及び対象物に対応する地名を表す標記を、地図データ入力手段４０１を介して入力された地図データとともにクライアント端末４００に送信する。具体的には、クライアント端末４００において入力された地図データとともに、位置情報ＤＢ３０３を参照して特定された地名に対応する位置情報、及び決定された感覚用語のデータを送信する。なお、この場合、地図データに対し、位置情報ＤＢ３０３を参照して特定された地名に対応する位置情報、及び決定された感覚用語のデータを付加して、地図データごとクライアント端末４００に送信してもよい。また、感覚用語決定手段２０４により複数の感覚用語が決定された場合には、決定された複数の感覚用語を地図データとともに送信してもよい。なお、この際、位置情報や感覚用語とともに対象物に対応する地名を表す標記も送信したが、後述のクライアント端末４００の表示装置１３６０においてこの標記を表示しない場合には送信しなくてもよい。

クライアント端末４００の受信手段４０３は、インターネット回線を通じて、感覚情報表現サーバ２００から送信された、地図データ、位置情報、及び決定された感覚用語の受信を行う。表示手段４０４は、受信手段４０３が受信した地図データに対応する地図を、後で図１２を参照して説明するクライアント端末４００の表示装置１３６０において表示するとともに、送信された感覚用語及び標記を、位置情報に基づいて表示装置１３６０において表示された地図とともに表示する。具体的には、クライアント端末４００の表示装置１３６０において、地図データ入力手段４０１において入力された地図を表示するとともに、この表示された地図に対応する感覚用語及び標記を位置情報に基づき一緒に表示する。

［事物単語ＤＢ］
図２を参照して、事物単語ＤＢ３００について説明する。事物単語ＤＢ３００は、事物単語Ｎｏ．毎に、事物を表す事物単語が記憶される。事物単語Ｎｏ．は、事物単語を一意に識別するために用いられる。事物単語は、文中で主語や目的語などとして働くモノを表す名詞により構成される単語である。第２実施形態においては、特に地名に関する事物単語が記憶される。

［感覚用語ＤＢ］
図３を参照して、感覚用語ＤＢ３０１について説明する。感覚用語ＤＢ３０１は、感覚用語Ｎｏ．毎に、人間が感じる感覚を表す感覚用語が記憶される。感覚用語Ｎｏ．は、感覚用語を一意に識別するために用いられる。感覚用語は、人体の五感により感ずる形容詞により構成され、特に、嗅覚、触覚又は味覚など、事物の性質・状態・心情などを表し、文中で、名詞を修飾する形容詞により構成される用語である。

［感覚辞書ＤＢ］
図４を参照して、感覚辞書ＤＢ３０２について説明する。感覚辞書ＤＢ３０２は、地名を表す事物単語毎に、この事物単語に対応する複数の感覚用語及び、この事物単語に対応する各感覚用語の共起度、が記憶される。共起度とは、事物単語に対する感覚用語の意味合いに関連性の高さを規定する情報である。例えば、この共起度は、テキストデータ取得手段２０１により取得されたテキストデータにおいて、事物単語に対応して出現する感覚用語の回数に応じて決定される。

［位置情報ＤＢ］
図１０を参照して、位置情報ＤＢ３０３について説明する。位置情報ＤＢ３０３は、標記毎に、位置情報及び特徴情報が記憶される。位置情報は、クライアント端末４００の表示装置１３６０において感覚用語を表示する際の座標情報である。標記は、事物単語ＤＢ３００に記憶されている事物単語のうち、地図データにより表される地図上の地名に対応する単語のみが記載された情報である。地図データ入力手段４０１により入力された各地図の特徴情報と合致する特徴情報を有する標記が、位置情報ＤＢ３０３の中から特定される。なお、位置情報ＤＢ３０３は、ハードディスク１３９０、光ディスク１４１０、及び半導体メモリ１４２０などの記憶装置１４３０により構成される。

［ブログサーバ１００、感覚情報表現サーバ２００、クライアント端末４００、地図サーバ５００のハードウェア構成］
ブログサーバ１００、感覚情報表現サーバ２００、クライアント端末４００、地図サーバ５００のハードウェア構成については、第１実施形態の感覚情報表現サーバ２００と同一である。

［処理フロー］
図１１は、第２実施形態の感覚情報表現方法を実現するための処理の流れを示すフローチャートである。

Ｓ１０１：不特定ユーザーによりブログの書き込みが行われた場合には、ブログサーバ１００の制御部１３００（ブログ配信手段１０１）は、通信Ｉ／Ｆ１３３０を介して、書き込まれたブログの書き込み記事を配信する。

Ｓ１０２：ブログサーバ１００によりブログの書き込み記事の配信が行われると、感覚情報表現サーバ２００の制御部１３００（テキストデータ取得手段２０１）は、配信されたブログ記事のテキストデータを取得する。

Ｓ１０３：続いて、感覚情報表現サーバ２００の制御部１３００（感覚辞書生成手段２０２）は、事物単語ＤＢ３００及び感覚用語ＤＢ３０１を参照して、地名に対応する事物単語と感覚用語との対応付け及び、地名に対応する事物単語とそれに対応する各感覚用語との共起度を感覚辞書ＤＢ３２に格納し感覚辞書ＤＢ３２を生成する。

Ｓ１０４：次に、クライアント端末４００の制御部１３００（地図データ入力手段４０１）は、クライアント端末４００からの地図の閲覧要求に応じて、地図サーバ５００に記憶されている地図データの中から閲覧要求があった地図に対応する地図データの入力を受け付ける。

Ｓ１０５：続いて、クライアント端末４００の制御部１３００（地図データ送信手段１３３０）は、通信Ｉ／Ｆ１３３０により、入力された地図データを送信する。

Ｓ１０６：次に、感覚情報表現サーバ２００の制御部１３００（対象物特定手段２０３）は、クライアント端末４００において入力された地図データから特徴情報を抽出し、位置情報ＤＢ３０３を参照して、入力された地図データの特徴情報及び地名が合致する対象物を特定する。

Ｓ１０７：次に、感覚情報表現サーバ２００の制御部１３００（感覚用語決定手段２０４）は、生成された感覚辞書ＤＢ３０２に基づき、対象物特定手段２０３により特定された対象物に対応する地名を表す標記と共起の関係にある感覚用語のうち一番共起度の高い感覚用語を決定する。

Ｓ１０８：次に、感覚情報表現サーバ２００の制御部１３００（送信手段２０５）は、通信Ｉ／Ｆ１３３０により、決定された感覚用語及び、対象物特定手段２０３により特定された地名を表す標記に対応する位置情報とともに、クライアント端末４００において入力された地図データをクライアント端末４００に送信する。

Ｓ１０９：続いて、クライアント端末４００の制御部１３００（受信手段４０３）は、通信Ｉ／Ｆ１３３０により、感覚情報表現サーバ２００から送信された感覚用語と地図データとを受信する。

Ｓ１１０：次に、クライアント端末４００の制御部１３００（表示手段４０４）は、地図データの地図とともに、決定された感覚用語及び標記を位置情報に基づいてクライアント端末４００の表示装置１３６０に表示する。

［クライアント端末における表示例］
図１２を参照して、第２実施形態の感覚情報表現方法について説明する。図１２では、地図サーバ５００から送信され、クライアント端末４００において入力された地図データの地図を、クライアント端末４００としての携帯電話において表示する表示例について説明する。

図１２では、クライアント端末４００において入力された「ケニア」を含むアフリカの地図が、感覚情報表現サーバ２００を介して、クライアント端末４００の表示装置１３６０において表示されている。

ここで、クライアント端末４００において入力された「ケニア」の地図を含んだ地図データを感覚情報表現サーバ２００に送信すると、感覚情報表現サーバ２００において地図データの地名を表す標記「ケニア」に対応する感覚用語「あつい」、標記に対応する位置情報、及び標記「ケニア」が、入力された地図データとともにクライアント端末４００に送信される。

そして、感覚情報表現サーバ２００から送信された地図が、クライアント端末４００の表示装置１３６０の画像表示領域５５Ａに表示されるとともに、決定された感覚用語「あつい」及び標記「ケニア」が、一緒に送信された位置情報の座標情報に基づき表示装置１３６０の感覚用語表示領域５６Ａに表示されている。なお、図１２に示すように、対象となる標記「ケニア」のみならず、地図データに含まれる周辺の他の標記「エチオピア」「ソマリア」「タンザニア」なども表示するようにしてもよい。

また、クライアント端末４００が新しい地図データを要求して、クライアント端末４００から新しい地図データが送信された場合には、クライアント端末４００の感覚用語表示領域５６Ａにおいて表示されていた感覚用語をクリアし、新しい感覚用語が表示される。

このように、クライアント端末４００からの要求に応じて地図データが入力されてから送信された地図データに含まれる地名を表す標記に対して共起度の高い、すなわち関連性の高い感覚用語が送信される。したがって、地図データに対して感じた感覚を、地図データを要求するユーザーが容易に得ることができる。

以上、本発明の実施の形態について説明したが、本発明は本実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。

例えば、クライアント端末４０の撮像装置１４４０を介して撮像された撮像データに対し、感覚用語を関連付けてクライアント端末４０の表示手段４４において、撮像された画像とともに感覚用語を表示するようにしたがこれに限られない。例えば、クライアント端末４０に、コンパクトフラッシュ（登録商標）、メモリースティック（登録商標）、ＳＤカード（登録商標）などの各種メモリーカードなどと接続できる外部メモリーＩ／Ｆを備え、この外部メモリーＩ／Ｆを介して入力された画像を、クライアント端末４０の送信手段により感覚情報表現サーバに送信してもよい。

また、感覚辞書ＤＢ３２において格納されている共起度は、テキストデータ取得手段２１により取得されたテキストデータにおいて、事物単語に対応して出現する感覚用語の回数に応じて決定しているがこれに限られない。すなわち、事物単語と感覚用語との対応付け及び、事物単語とそれに対応する各感覚用語との共起度は、クライアント端末４０を利用するユーザーが個々人の感覚に応じて共起度を変更できるようにしてもよい。これにより、更に個々人の感覚にあった感覚用語の共起度を高くすることにより、ユーザーは自分が感じた感覚を相手ユーザに対しより明確に伝達することができるようになる。また、感覚情報表現サーバ２０の送信手段は、クライアント端末４０に対し感覚用語とともに画像データも送信しているがこれに限られない。例えば、感覚用語のみを送信してもよい。

１感覚情報表現システム
１０ブログサーバ
１１ブログ配信手段
２０感覚情報表現サーバ
２１テキストデータ取得手段
２２感覚辞書生成手段
２３対象物特定手段
２４感覚用語決定手段
２５配信手段
３０事物単語ＤＢ
３１感覚用語ＤＢ
３２感覚辞書ＤＢ
３３画像辞書ＤＢ
４０クライアント端末
４１撮像手段
４２画像データ送信手段
４３受信手段
４４表示手段

Claims

画像に対する感覚情報の表現を実現する感覚情報表現サーバであって、
Ｗｅｂ上から収集されたテキストデータを取得するテキストデータ取得手段と、
前記テキストデータ取得手段により取得された前記テキストデータに出現する事物を表す事物単語と、前記事物単語と共起の関係にある用語であって人間が感じる感覚を表す感覚用語と、をユーザが個々人の感覚に応じて設定した共起度に応じて関連付けた感覚辞書をユーザごとに生成する感覚辞書生成手段と、
ユーザのクライアント端末において入力された画像データから前記事物単語に対応する対象物を特定する対象物特定手段と、
前記感覚辞書生成手段により生成された前記ユーザに対応する感覚辞書に基づき、前記対象物特定手段により特定された前記対象物に対応する前記事物単語と共起の関係にある前記感覚用語を決定する感覚用語決定手段と、
前記感覚用語決定手段により決定された前記感覚用語を前記画像データに一緒に表示されるように付加し、前記感覚用語を付加した画像データを前記ユーザのクライアント端末に送信する送信手段と、
を備えたことを特徴とする感覚情報表現サーバ。
前記クライアント端末において入力される前記画像データは、地名に対応する対象物を備えた地図データに関し、
前記地名及び、前記地名に対応し前記クライアント端末において前記感覚用語の表示を行う位置情報を格納する位置情報格納手段と、
を備え、
前記感覚辞書生成手段は、前記テキストデータ取得手段により取得された前記テキストデータに出現する地名と、前記地名と共起の関係にある用語であって人間が感じる感覚を表す感覚用語と、を共起度に応じて関連付けた感覚辞書を生成し、
前記対象物特定手段は、前記クライアント端末において入力された前記地図データから前記地名に対応する対象物を特定し、
前記感覚用語決定手段は、前記感覚辞書生成手段により生成された前記感覚辞書に基づき、前記対象物特定手段により特定された前記対象物に対応する前記地名と共起の関係にある前記感覚用語を決定し、
前記送信手段は、前記地図データと前記感覚用語決定手段により決定された前記感覚用語と前記対象物特定手段により特定された前記対象物の地名に対応する位置情報とを送信することを特徴とする請求項１に記載の感覚情報表現サーバ。
前記感覚用語は、嗅覚、触覚又は味覚に関する心的現象を表す形容詞であることを特徴とする請求項１又は２に記載の感覚情報表現サーバ。
ユーザのクライアント端末における画像に対する感覚情報の表現を感覚情報表現サーバを介して実現する感覚情報表現システムであって、
前記ユーザのクライアント端末は、
被写体を撮像する撮像手段と、
前記撮像手段により撮像された画像データを送信する画像データ送信手段と、
外部から画像データを受信する受信手段と、
前記受信手段により受信した画像データを表示する表示手段と、を備え、
前記感覚情報表現サーバは、
Ｗｅｂ上から収集されたテキストデータを取得するテキストデータ取得手段と、
前記テキストデータ取得手段により取得された前記テキストデータに出現する事物を表す事物単語と、前記事物単語と共起の関係にある用語であって人間が感じる感覚を表す感覚用語と、をユーザが個々人の感覚に応じて設定した共起度に応じて関連付けた感覚辞書をユーザごとに生成する感覚辞書生成手段と、
前記ユーザのクライアント端末において入力された画像データから前記事物単語に対応する対象物を特定する対象物特定手段と、
前記感覚辞書生成手段により生成された前記ユーザに対応する感覚辞書に基づき、前記対象物特定手段により特定された前記対象物に対応する前記事物単語と共起の関係にある前記感覚用語を決定する感覚用語決定手段と、
前記感覚用語決定手段により決定された前記感覚用語を前記画像データに一緒に表示されるように付加し、前記感覚用語を付加した画像データを前記ユーザのクライアント端末に送信する送信手段と、を備え、
前記受信手段は、前記送信手段から送信された前記感覚用語を付加した画像データを受信し、
前記表示手段は、前記受信手段により受信した前記感覚用語を付加した画像データを表示することを特徴とする感覚情報表現システム。
画像に対する感覚情報の表現を実現する感覚情報表現方法であって、
Ｗｅｂ上から収集されたテキストデータを取得するテキストデータ取得ステップと、
前記テキストデータ取得ステップにより取得された前記テキストデータに出現する事物を表す事物単語と、前記事物単語と共起の関係にある用語であって人間が感じる感覚を表す感覚用語とをユーザが個々人の感覚に応じて設定した共起度に応じて関連付けた感覚辞書をユーザごとに生成する感覚辞書生成ステップと、
ユーザのクライアント端末において入力された画像データから前記事物単語に対応する対象物を特定する対象物特定ステップと、
前記感覚辞書生成ステップにより生成された前記ユーザに対応する感覚辞書に基づき、前記対象物特定ステップにより特定された前記対象物に対応する前記事物単語と共起の関係にある前記感覚用語を前記ユーザごとに決定する感覚用語決定ステップと、
前記感覚用語決定ステップにより決定された前記感覚用語を前記画像データに一緒に表示されるように付加し、前記感覚用語を付加した画像データを前記ユーザのクライアント端末に送信する送信ステップと、
を備えたことを特徴とする感覚情報表現方法。