JP5876397B2 - 文字付与プログラム、文字付与方法および情報処理装置 - Google Patents

Description

本発明は、文字付与プログラム、文字付与方法および情報処理装置に関する。

Ｗｅｂサイト上で展開されるブログやネットワークを介して配信される配信小説など、言葉で構成されたコンテンツ（以下、適宜「ことばのコンテンツ」と記載する）の内容の充実化や、「ことばのコンテンツ」の解釈を手助けすること等を目的として、言葉をビジュアル化することが行われている。

近年では、ユーザがインターネット等で検索した「ことばのコンテンツ」を映像化する技術も知られている。例えば、ユーザの意図、望みあるいは期待を正確に反映させて、映像化を実行する映像コンテンツ生成装置が知られている。具体的には、映像コンテンツ生成装置は、客観的、主観的、属性等のカテゴリで文字情報を解釈して映像化した映像情報と、「ことばのコンテンツ」に含まれる文字情報とを用いて、ユーザが入力した「ことばのコンテンツ」をユーザが指定するカテゴリで解釈して映像化する。

特開２００９−２３０２５４号公報

しかしながら、文字情報と映像情報とを対応付けることが難しいという問題がある。例えば、映像コンテンツ生成装置を利用するユーザがデジタルカメラ等で写真を撮影すると、写真データに対して識別子が自動で付与されるが、当該写真データに意味のあることばを選択して付与するのはユーザが手動で行うことになる。

したがって、多くの映像情報にことばを対応付けるには時間が多くかかる。また、似た映像情報がある場合には、それぞれを特徴付けることばを選択する必要があり、ユーザの負担が大きい。このように、文字情報と映像情報との対応付けを手動で行うことは、手間も時間もかかり有効的ではない。

開示の技術は、上記に鑑みてなされたものであって、文字情報と映像情報とを対応付ける負担を軽減することができる文字付与プログラム、文字付与方法および情報処理装置を提供することを目的とする。

本願の開示する文字付与プログラム、文字付与方法および情報処理装置は、一つの態様において、静止画像あるいは動画像である映像情報の入力を受け付ける受付ステップと、特徴を表す文字が予め付与された静止画像あるいは動画像である参照画像と、前記受付ステップによって受け付けられた映像情報との関連度を算出する算出ステップと、前記算出ステップによって算出された関連度が閾値以上の参照画像に付与される文字と、前記受付ステップによって受け付けられた映像情報とを対応付ける対応付けステップとをコンピュータに実行させる。

本願の開示する文字付与プログラム、文字付与方法および情報処理装置の一つの態様によれば、文字情報と映像情報とを対応付ける負担を軽減することができるという効果を奏する。

図１は、第１の実施形態に係るシステムの全体構成例を示す図である。 図２は、第１の実施形態に係る情報処理装置の機能構成を示す機能ブロック図である。 図３は、言葉ＤＢに記憶される情報の例を示す図である。 図４は、映像ＤＢに記憶される情報の例を示す図である。 図５は、参照画像ＤＢに記憶される情報の例を示す図である。 図６は、処理の流れを示すシーケンス図である。 図７は、具体例を説明する図である。 図８は、文字付与プログラムを実行するコンピュータを示す図である。

以下に、本願の開示する文字付与プログラム、文字付与方法および情報処理装置の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。

［第１の実施形態］
（全体構成）
図１は、第１の実施形態に係るシステムの全体構成例を示す図である。図１に示す情報処理装置１０は、「ことばのコンテンツ」を映像化する映像コンテンツ生成装置の一例である。なお、情報処理装置１０は、映像コンテンツ生成装置ではなく、映像コンテンツ生成装置に情報を提供する装置であってもよい。

この情報処理装置１０は、客観的、主観的、属性等のカテゴリで文字情報を解釈して映像化した映像情報と、「ことばのコンテンツ」に含まれる文字とを用いて、ユーザが入力した「ことばのコンテンツ」をユーザが指定するカテゴリで解釈して映像化する。

具体的には、情報処理装置１０は、文字を異なるカテゴリで解釈して解釈情報と当該文字とを対応付けた情報と、解釈情報と映像情報とを対応付けた情報とを予め記憶する。そして、情報処理装置１０は、「ことばのコンテンツ」の入力を受け付け、入力されたコンテンツをいずれのカテゴリで解釈するかを例えばユーザから受け付ける。

続いて、情報処理装置１０は、受け付けたことばのコンテンツに含まれる各文字について、選択されたカテゴリにしたがって、解釈情報を取得する。そして、情報処理装置１０は、取得された解釈情報に対応する映像情報を抽出する。その後、情報処理装置１０は、ことばのコンテンツ内の各文字について抽出した映像情報から、映像コンテンツを生成して出力する。このようにして、情報処理装置１０は、ユーザの意図、望みあるいは期待を正確に反映させて、ことばのコンテンツを映像化する。

このような状態において、情報処理装置１０は、静止画像あるいは動画像である映像情報の入力を受け付ける。続いて、情報処理装置１０は、特徴を表す文字が予め付与された静止画像あるいは動画像である参照画像と、受け付けられた映像情報との関連度を算出する。そして、情報処理装置１０は、算出された関連度が閾値以上の参照画像に付与される文字と、受け付けられた映像情報とを対応付ける。

このように、情報処理装置１０は、デジタルカメラ等で撮影された映像情報と、当該映像情報を特徴付けることばとを自動で対応付けることができるので、文字情報と映像情報とを対応付ける負担を軽減することができる。

（機能構成）
図２は、第１の実施形態に係る情報処理装置の機能構成を示す機能ブロック図である。なお、図２では、ことばのコンテンツを映像化する機能については省略する。この機能については、特開２００９−２３０２５４号公報などに開示されている処理部を用いることができる。

図２に示すように、情報処理装置１０は、通信制御部１１、入力部１２、表示部１３、記憶部１４、制御部１５を有する。通信制御部１１は、他の装置との通信を制御する処理部であり、例えば、ネットワークインタフェースカードなどである。例えば、通信制御部１１は、情報処理装置が映像コンテンツ生成装置の外部装置である場合に、映像コンテンツ生成装置に対して、各種データを送信する。

入力部１２は、マウスやキーボードなどの入力装置である。この入力部１２は、表示部１３に表示される入力エリア等に対する、文字等の入力を受け付ける。また、入力部１２は、表示部１３内の画像表示エリアに表示される複数の画像に対して画像選択を受け付ける。

表示部１３は、ディスプレイやタッチパネルなどの表示装置である。この表示部１３は、後述する制御部１５の各処理部から出力された情報を表示出力する。また、表示部１３は、表示する領域を入力エリアと画像表示エリアとに分類して、情報を表示する。例えば、入力エリアは、ユーザに動画像を入力させる領域であり、画像表示エリアは、制御部１５の各処理部から出力される画像を表示する領域である。

記憶部１４は、言葉ＤＢ１４ａと映像ＤＢ１４ｂと参照画像ＤＢ１４ｃとを記憶する記憶部であり、例えば、ハードウェアやメモリなどの記憶装置である。また、記憶部１４は、制御部１５が実行するプログラムやデータ等を記憶する。ここで記憶される言葉ＤＢ１４ａと映像ＤＢ１４ｂとを用いて、ことばのコンテンツが映像化される。

言葉ＤＢ１４ａは、文字を異なるカテゴリで解釈して解釈情報を記憶するデータベースである。図３は、言葉ＤＢに記憶される情報の例を示す図である。図３に示すように、言葉ＤＢ１４ａは、「解釈カテゴリ、文字、ことばＩＤ、ビジュアル部品ＩＤ（解釈情報）」を対応付けて記憶する。

ここで記憶される「解釈カテゴリ」には、文字を解釈するカテゴリが設定される。「文字」には、解釈対象の文字情報が設定される。「ことばＩＤ」には、文字を識別する識別情報が設定される。「ビジュアル部品ＩＤ（解釈情報）」には、ことばを解釈カテゴリで解釈し、その解釈によって特定される映像情報が設定される。

図３の場合、ことばＩＤ「ＷＡ１」の文字「猫」を客観的に解釈した場合のビジュアル部品が「ＶＡ１」と「ＶＡ２」であることを示す。また、ＶＡ１やＶＡ２に対応付けられる画像の例としては、白地に茶や黒緑の短毛猫など、一般的な猫の画像が挙げられる。

また、ことばＩＤ「ＷＡ１」の文字「猫」を主観的に解釈した場合のビジュアル部品が「ＶＢ１」と「ＶＢ２」であることを示す。また、ＶＢ１に対応付けられる画像の例としては、白くて小さい猫などが挙げられる。また、ＶＢ２に対応付けられる画像の例としては、ユーザ好みのペルシャなどの猫が挙げられる。

また、ことばＩＤ「ＷＡ１」の文字「猫」を属性で解釈した場合のビジュアル部品が「ＶＣ１」と「ＶＣ２」であることを示す。ＶＣ１やＶＣ２に対応付けられる画像の例としては、「ことばのコンテンツ」すなわち文書コンテンツとして入力された小説の時代背景にあわせた猫などの画像が挙げられる。

映像ＤＢ１４ｂは、解釈情報と映像情報とを対応付けた情報を記憶する。図４は、映像ＤＢに記憶される情報の例を示す図である。図４に示すように、映像ＤＢ１４ｂは、「ことばＩＤ、ビジュアル部品ＩＤ、映像情報」を対応付けて記憶する。

ここで記憶される「ことばＩＤ」は、図３に示した「ことばＩＤ」に対応し、「ビジュアル部品ＩＤ」は、図３に示した「ビジュアル部品ＩＤ（解釈情報）」に対応する。「映像情報」は、記憶部１４等に保存される画像情報が設定される。つまり、図３に示した「ことばＩＤ」と「ビジュアル部品ＩＤ（解釈情報）」とによって、映像情報を一意に特定することができる。なお、図４に示したビジュアル部品ＩＤ「ＶＡ１」が、例えば白地に茶の猫の画像であり、ビジュアル部品ＩＤ「ＶＢ１」が、白くて小さい猫の画像などである。

参照画像ＤＢ１４ｃは、特徴を表す文字が予め付与された画像である参照画像を記憶する。図５は、参照画像ＤＢに記憶される情報の例を示す図である。図５に示すように、参照画像ＤＢ１４ｃは、「カテゴリ、文字、参照画像」を対応付けて記憶する。

ここで記憶される「カテゴリ」には、文字を一定の基準で分類したジャンルが設定される。「文字」には、参照画像の特徴を表す文字が設定される。「参照画像」には、特徴を表す文字が予め付与された画像が格納される。なお、カテゴリの分類は、図５に示したものに限定されるものではなく、任意に設定変更することができる。

図５の場合、参照画像Ｓ１には、カテゴリ「色」の分類される文字「白」が付与されていることを示す。この場合、参照画像Ｓ１は、例えば背景が白い画像などが該当する。また、参照画像Ｓ１１には、カテゴリ「形」の分類される文字「円」が付与されていることを示す。この場合、参照画像Ｓ１１は、例えば円の画像などが該当する。また、参照画像Ｓ２１には、カテゴリ「犬」の分類される文字「白」が付与されていることを示す。この場合、参照画像Ｓ２１は、例えば白い犬の画像などが該当する。

制御部１５は、画像受付部１６、関連度算出部１７、画像特定部１８、ことば付与部１９、格納制御部２０を有する。この制御部１５は、例えばＣＰＵ（Central Processing Unit）などのプロセッサであり、各処理部は、プロセッサが実行する処理部である。

画像受付部１６は、入力部１２や表示部１３を介して、ことば付与対象の画像を受け付ける処理部である。例えば、画像受付部１６は、入力部１２を介して、表示部１３の入力エリアに添付等された画像を取得して、関連度算出部１７に出力する。このとき、画像受付部１６は、取得した画像を記憶部１４等に保存する。

また、画像受付部１６は、デジタルカメラ等に挿入される持ち運び可能な記憶媒体の入力を受け付けて、当該記憶媒体から画像を読み込み、表示部１３の入力エリアに表示させることもできる。このとき、画像受付部１６は、読み込んだ画像を関連度算出部１７に出力するとともに、記憶部１４等に保存する。

関連度算出部１７は、画像受付部１６によって受け付けられた画像と、参照画像ＤＢ１４ｃに記憶される参照画像との関連度を算出する処理部である。例えば、関連度算出部１７は、インターネット等で公開されている類似判定サービス等に、受付画像と各参照画像とを入力して関連度を算出する。

また、関連度算出部１７は、上記類似判定サービスやその他のアルゴリズムを用いて、関連度を算出することもできる。一例を挙げると、関連度算出部１７は、パターンマッチングやヒストグラム等の技術を用いることができる。そして、関連度算出部１７は、参照画像を特定する情報と、当該参照画像と入力画像との関連度とを画像特定部１８に出力する。

画像特定部１８は、関連度算出部１７によって算出された関連度のうち、閾値以上の関連度である参照画像を特定する処理部である。例えば、画像特定部１８は、カテゴリに関係なく、関連度が最も高い参照画像を特定する。他の手法の例としては、画像特定部１８は、カテゴリに関係なく、関連度が閾値以上でかつ関連度が高い順に５つの参照画像を特定したり、各カテゴリで最も関連度が高い参照画像を特定したり、各カテゴリで関連度が高い順に２つの参照画像を特定したりするなど、様々な特定手法を用いることができる。

また、画像特定部１８は、カテゴリごとに閾値を変更することができる。例えば、画像特定部１８は、重要視したいカテゴリの閾値を他のカテゴリより高い値に設定することで、関連度が低い画像が不要に特定されることを防止することができる。なお、画像特定部１８は、特定した参照画像を特定する情報をことば付与部１９に出力する。

ことば付与部１９は、画像特定部１８によって特定された参照画像に付与される文字を、入力画像に付与する処理部である。例えば、画像特定部１８によって、画像Ｓ１、画像Ｓ２２が特定されたとする。この場合、ことば付与部１９は、参照画像ＤＢ１４ｃを参照し、画像Ｓ１に対応付けられる文字「白」と、画像Ｓ２２に対応付けられる文字「小さい」を特定する。そして、ことば付与部１９は、入力画像と文字「白、小さい」とを対応付けて格納制御部２０に出力する。

格納制御部２０は、ことば付与部１９によって対応付けられた入力画像と文字とを所定の記憶部に格納する処理部である。例えば、格納制御部２０は、入力画像に一意なビジュアル部品ＩＤを付与するとともに、付与された各文字に一意なことばＩＤを付与する。そして、格納制御部２０は、付与したことばＩＤと、付与したビジュアル部品ＩＤと、入力画像とを対応付けて、映像ＤＢ１４ｂに格納する。さらに、格納制御部２０は、言葉ＤＢ１４ａの解釈カテゴリ「主観」のエントリとして、付与された文字と、付与されたことばＩＤと、付与されたビジュアル部品ＩＤとを対応付けて格納する。

このとき、格納制御部２０は、付与された文字が既に言葉ＤＢ１４ａに格納されている場合には、既に付与されていることばＩＤと、入力画像と、付与したビジュアル部品ＩＤとを対応付けて映像ＤＢ１４ｂに格納する。同様に、格納制御部２０は、既に付与されていることばＩＤに対応付けて、付与したビジュアル部品ＩＤを言葉ＤＢ１４ａに格納する。

（処理の流れ）
図６は、処理の流れを示すシーケンス図である。図６に示すように、画像受付部１６は、表示部１３の入力エリアにおいて画像の入力を受け付けて（Ｓ１０１）、受け付けた入力画像を関連度算出部１７に出力する（Ｓ１０２）。このとき、画像受付部１６は、入力された画像を記憶部１４等に保存する（Ｓ１０３）。

続いて、関連度算出部１７は、入力画像と、参照画像ＤＢ１４ｃに記憶される各参照画像との関連度を算出し（Ｓ１０４）、算出結果を画像特定部１８に出力する（Ｓ１０５）。

そして、画像特定部１８は、算出結果に基づいて、関連度が閾値以上など所定の条件を満たす関連度の高い参照画像を特定し（Ｓ１０６）、特定した参照画像の情報をことば付与部１９に出力する（Ｓ１０７）。

その後、ことば付与部１９は、画像特定部１８によって特定された参照画像に付随する文字（ことば）を、参照画像ＤＢ１４ｃから抽出する（Ｓ１０８）。続いて、ことば付与部１９は、入力画像に抽出した文字（ことば）を付与する（Ｓ１０９）。すなわち、ことば付与部１９は、入力画像と抽出した文字とを対応付ける。そして、ことば付与部１９は、対応付けた結果を格納制御部２０に出力する（Ｓ１１０）。

そして、格納制御部２０は、入力画像に付与された文字に対応することばＩＤの検索とことばＩＤの付与を実行する（Ｓ１１１）。具体的には、格納制御部２０は、言葉ＤＢ１４ａから、付与された文字を検索する。そして、格納制御部２０は、付与された文字が検索された場合、つまり、付与された文字が既に言葉ＤＢ１４ａに格納されている場合、検索された文字に対応付けられていることばＩＤを、付与された文字に付与する。一方、格納制御部２０は、付与された文字が検索されなかった場合、つまり、付与された文字が言葉ＤＢ１４ａに格納されていない場合、一意なことばＩＤを生成して、付与された文字に付与する。

その後、格納制御部２０は、入力画像に記憶部１４等から読み出して、ビジュアル部品ＩＤを付与する（Ｓ１１２とＳ１１３）。そして、格納制御部２０は、ことばＩＤとビジュアル部品ＩＤと入力画像とを対応付けて映像ＤＢ１４ｂに格納し、付与された文字とことばＩＤとビジュアル部品ＩＤとを対応付けて言葉ＤＢ１４ａに格納する（Ｓ１１４）。

（具体例）
次に、具体例を説明する。図７は、具体例を説明する図である。図７に示すように、画像受付部１６は、白い小さな犬の画像を入力画像として受け付ける。

続いて、関連度算出部１７は、入力画像「白い小さな犬の画像」と参照画像「白色の画像」との関連度を算出する。同様に、関連度算出部１７は、入力画像「白い小さな犬の画像」と参照画像「円の画像」との関連度を算出する。また、関連度算出部１７は、入力画像「白い小さな犬の画像」と参照画像「女性の画像」との関連度を算出する。また、関連度算出部１７は、入力画像「白い小さな犬の画像」と参照画像「黒色の犬の画像」との関連度を算出する。

ここで、参照画像「白色の画像」は、カテゴリ「色」に属するサンプル画像であり、文字として「白」が付随している。参照画像「円の画像」は、カテゴリ「形」に属するサンプル画像であり、文字として「円」が付随している。参照画像「女性の画像」は、カテゴリ「人」に属するサンプル画像であり、文字として「人」が付随している。

このような状態で、画像特定部１８は、算出された関連度が閾値以上の参照画像として、参照画像「白色の画像」と参照画像「黒色の犬の画像」とを特定する。すると、ことば付与部１９は、特定された参照画像「白色の画像」に付随する文字「白」と、特定された参照画像「黒色の犬の画像」に付随する文字「犬」とを抽出し、抽出した各文字を入力画像に付与する。

その後、格納制御部２０は、文字「犬」とビジュアル部品ＩＤ「ＶＢ３」とことばＩＤ「ＷＡ２」とを対応付けて言葉ＤＢ１４ａに格納し、ことばＩＤ「ＷＡ２」とビジュアル部品ＩＤ「ＶＢ３」と入力画像「白い小さな犬の画像」とを対応付けて映像ＤＢ１４ｂに格納する。同様に、格納制御部２０は、文字「白」とビジュアル部品ＩＤ「ＶＢ３」とことばＩＤ「ＷＡ３」とを対応付けて言葉ＤＢ１４ａに格納し、ことばＩＤ「ＷＡ３」とビジュアル部品ＩＤ「ＶＢ３」と入力画像「白い小さな犬の画像」とを対応付けて映像ＤＢ１４ｂに格納する。

この具体例では、１つの入力画像に対して２つの参照画像が特定され、各参照画像に付随する各文字が入力画像に対応付けられる。このような場合、入力画像が同じであることから、入力画像を特定するビジュアル部品ＩＤは、各文字に共通に使用すればよい。この結果、ビジュアル部品ＩＤの乱用や煩雑化を抑制できる。なお、入力画像がデジタルカメラ等で撮影された画像である場合には、デジタルカメラによって入力画像に自動的に付与される識別子をビジュアル部品ＩＤに流用してもよい。

（効果）
このように、情報処理装置１０は、入力画像との関連度、言い換えると類似度が高い参照画像を特定し、特定した参照画像に付随する文字を、入力画像に自動的に付与することができる。この結果、入力画像と文字との対応付けを手動で行う場合に比べて、簡単に行うことができ、入力画像が多い場合にはその差が顕著になる。このように、情報処理装置１０は、文字情報と映像情報とを対応付ける負担を軽減することができる。

［第２の実施形態］
さて、これまで本発明の実施形態について説明したが、本発明は上述した実施形態以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下に異なる実施形態を説明する。

（映像情報）
上記実施形態では、情報処理装置１０が、入力された画像と類似する画像を検索する例を説明したが、これに限定されるものではない。例えば、情報処理装置１０は、入力画像に類似する画像として動画像、１つ以上の静止画像の組、１つ以上の動画像を検索して、ユーザに表示させることもできる。つまり、情報処理装置１０は、参照画像として、上記画像等を用いることができる。なお、情報処理装置１０は、動画像については代表的な画像をユーザに表示させることもできる。また、情報処理装置１０は、入力画像として、上記動画像、１つ以上の静止画像の組、１つ以上の動画像を受け付けてよく、動画像の場合には代表的な１つの画像について同様に処理することができる。

（検索サイトの利用）
第１の実施形態では、情報処理装置１０が、参照画像を予め記憶する例を説明したが、これに限定されるものではない。例えば、情報処理装置１０は、インターネット等で公開される類似画像検索サービス等を利用してもよい。

一例を挙げると、情報処理装置１０は、類似画像検索サービスに画像を検索キーとして入力して、類似画像を検索する。そして、情報処理装置１０は、検索結果の最初に表示される画像を関連度が最も大きい、すなわち類似度が高い画像と特定する。その後、情報処理装置１０は、特定した画像に付随される文字を入力画像に対応付けることもできる。なお、情報処理装置１０は、検索された画像であって文字が付随している画像のうち、検索結果の最も上位に表示される画像を、類似度が高い画像と特定してもよい。

（システム構成等）
図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示された構成要素と同一であることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、本実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともできる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（プログラム）
また、上記実施形態に係る情報処理装置が実行する処理をコンピュータが実行可能な言語で記述した文字付与プログラムを作成することもできる。この場合、コンピュータが文字付与プログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかる文字付与プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された文字付与プログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。以下に、図２等に示した情報処理装置と同様の機能を実現する文字付与プログラムを実行するコンピュータの一例を説明する。

図８は、文字付与プログラムを実行するコンピュータを示す図である。図８に示すように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。

メモリ１０１０は、ＲＯＭ（Read Only Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。

ここで、図８に示すように、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各ＤＢは、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。

また、文字付与プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した画像受付部１６と同様の情報処理を実行する画像受付手順と、関連度算出部１７と同様の情報処理を実行する関連度算出手順と、画像特定部１８と同様の情報処理を実行する画像特定手順と、ことば付与部１９と同様の情報処理を実行することば付与手順と、格納制御部２０と同様の情報処理を実行する格納制御手順とが記述されたプログラムモジュールが、ハードディスクドライブ１０３１に記憶される。

また、文字付与プログラムによる情報処理に用いられるデータは、プログラムデータとして、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。

なお、文字付与プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、文字付与プログラムに係るプログラムモジュールやプログラムデータは、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

１０ 情報処理装置
１１ 通信制御部
１２ 入力部
１３ 表示部
１４ 記憶部
１４ａ 言葉ＤＢ
１４ｂ 映像ＤＢ
１４ｃ 参照画像ＤＢ
１５ 制御部
１６ 画像受付部
１７ 関連度算出部
１８ 画像特定部
１９ ことば付与部
２０ 格納制御部
１０００ コンピュータ
１０１０ メモリ
１０１１ ＲＯＭ
１０１２ ＲＡＭ
１０２０ ＣＰＵ
１０３０ ハードディスクドライブインタフェース
１０３１ ハードディスクドライブ
１０４０ ディスクドライブインタフェース
１０４１ ディスクドライブ
１０５０ シリアルポートインタフェース
１０５１ マウス
１０５２ キーボード
１０６０ ビデオアダプタ
１０６１ ディスプレイ
１０７０ ネットワークインタフェース
１０８０ バス
１０９１ ＯＳ
１０９２ アプリケーションプログラム
１０９３ プログラムモジュール
１０９４ プログラムデータ

Claims (5)

1. 静止画像あるいは動画像である映像情報の入力を受け付ける受付ステップと、
   文字を、関連度の閾値としてそれぞれに異なる値が設定された複数のカテゴリに分類して記憶し、さらに前記文字のそれぞれに静止画像あるいは動画像である参照画像を対応付けて記憶するデータベースから取得した前記参照画像と、前記受付ステップによって受け付けられた映像情報との関連度を算出する算出ステップと、
   前記算出ステップによって算出された関連度が前記カテゴリごとに設定された前記閾値以上の参照画像に対応する文字と、前記受付ステップによって受け付けられた映像情報とを対応付ける対応付けステップと
   をコンピュータに実行させることを特徴とする文字付与プログラム。
2. 前記算出ステップは、前記カテゴリごとに、前記参照画像と前記受け付けられた映像情報との関連度を算出し、
   前記対応付けステップは、前記カテゴリごとに前記算出された関連度が閾値以上のものから所定数の参照画像を抽出し、抽出した参照画像に付与される文字を、前記受け付けられた映像情報に対応付けることを特徴とする請求項１に記載の文字付与プログラム。
3. 前記算出ステップは、前記受け付けられた映像情報を検索キーとして前記参照画像を検索した結果、検索表示された順番に、前記受け付けられた映像情報との関連度が強いと特定することを特徴とする請求項１または２に記載の文字付与プログラム。
4. 情報処理装置で実行される文字付与方法であって、
   静止画像あるいは動画像である映像情報の入力を受け付ける受付工程と、
   文字を、関連度の閾値としてそれぞれに異なる値が設定された複数のカテゴリに分類して記憶し、さらに前記文字のそれぞれに静止画像あるいは動画像である参照画像を対応付けて記憶するデータベースから取得した前記参照画像と、前記受付工程によって受け付けられた映像情報との関連度を算出する算出工程と、
   前記算出工程によって算出された関連度が前記カテゴリごとに設定された前記閾値以上の参照画像に対応する文字と、前記受付工程によって受け付けられた映像情報とを対応付ける対応付け工程と
   を含んだことを特徴とする文字付与方法。
5. 静止画像あるいは動画像である映像情報の入力を受け付ける受付部と、
   文字を、関連度の閾値としてそれぞれに異なる値が設定された複数のカテゴリに分類して記憶し、さらに前記文字のそれぞれに静止画像あるいは動画像である参照画像を対応付けて記憶するデータベースから取得した前記参照画像と、前記受付部によって受け付けられた映像情報との関連度を算出する算出部と、
   前記算出部によって算出された関連度が前記カテゴリごとに設定された前記閾値以上の参照画像に対応する文字と、前記受付部によって受け付けられた映像情報とを対応付ける対応付け部と
   を有することを特徴とする情報処理装置。

Images