JP6952996B2

JP6952996B2 - 情報処理システム、情報処理方法及びプログラム

Info

Publication number: JP6952996B2
Application number: JP2017182215A
Authority: JP
Inventors: 真樹坂本; 卓也川嶋; 眞煥權
Original assignee: THE UNIVERSITY OF ELECTRO-COMUNICATINS
Current assignee: THE UNIVERSITY OF ELECTRO-COMUNICATINS
Priority date: 2017-04-28
Filing date: 2017-09-22
Publication date: 2021-10-27
Anticipated expiration: 2037-09-22
Also published as: JP2018190371A

Description

本発明は、情報処理システム、情報処理方法及びプログラムに関する。

従来、音象徴語と、物理特徴値とを対応付けることで、入力される音象徴語を摩擦係数等の物理特徴値にしたり、入力される物理特徴値を最適な音象徴語にしたり、入力される印象値を物理特徴値にしたり、又は、入力される物理特徴値を物理特徴値にしたりする方法が知られている（例えば、特許文献１等）。

国際公開第２０１７‐０４３４２４号

しかしながら、従来の技術は、画像を入力し、入力される画像から、質感を精度良く表現できない場合が多い。

本発明の１つの側面は、このような問題に鑑みてなされたものであり、画像から、質感を精度良く表現することを目的とする。

上記の課題を解決するため、情報処理システムは、
第１画像に対する質感を音象徴語で被験者が回答した結果を入力して畳み込みニューラルネットワークによって学習を行う学習部と、
第２画像を取得する取得部と、
前記学習部による学習結果に基づいて、前記第２画像の質感を示す音韻の要素の出現確率を出力する出力部と
を含む。

画像から、質感を精度良く表現できる。

情報処理システムの全体構成例を示す図である。情報処理装置のハードウェア構成例を示すブロック図である。学習処理例を示すフローチャートである。学習処理の処理結果例を示す図である。音韻の要素を説明する図である。実行処理例を示すフローチャートである。実行処理の出力結果例を示す図である。音象徴語の生成例を示す図である。音韻の要素の組み合わせ例を示す図である。精度評価に用いた数式を示す図である。

以下、本発明の好適な実施形態の具体例を示して説明する。

＜全体構成例＞
図１は、情報処理システムの全体構成例を示す概要図である。図示するように、情報処理システム１は、１以上の情報処理装置を有する。具体的には、情報処理システム１は、情報処理装置の例であるサーバ２と、情報処理装置の例であるＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）３とを有する。

図示するように、サーバ２と、ＰＣ３とは、ネットワーク等によって接続され、相互にデータを送受信することができる。

なお、サーバ２と、ＰＣ３とは、一体となる構成、すなわち、情報処理システム１は、１つの情報処理装置で構成されてもよい。一方で、情報処理システム１は、３以上の情報処理装置を有してもよい。以下、図示する全体構成を例に説明する。

＜機能構成例＞
情報処理システム１は、画像が示す被写体の質感を音韻の要素に基づいて表現する。

質感は、人が物体を見て知覚又は推定する物体の特徴である。具体的には、質感は、物体の物性、材質、状態、美感又は組み合わせ等である。物性は、例えば、物体の光沢感又は透明感等である。また、材質は、例えば、物体が陶器又は金属等であるか否か等である。状態は、例えば、物体が乾燥又は凍結しているか否か等である。なお、質感は、物体の物性、材質、状態又は美感等に限られず、他の性質であってもよい。ゆえに、情報処理システム１は、画像が示す被写体の「柔らかさ」等の質感を音韻の要素に基づいて表現する。

また、情報処理システム１は、実行処理の準備となる学習用の機能構成と、学習後、実行処理を実行するための実行用の機能構成とを含む機能構成である。

以下、学習用に用いられる画像を「第１画像ＩＭＧ１」という。一方で、実行用、すなわち、質感を情報処理システム１に表現させる対象となる被写体が写った画像を「第２画像ＩＭＧ２」という。第１画像ＩＭＧ１及び第２画像ＩＭＧ２の詳細は、後述する。

また、以下の説明では、音象徴語の例としてオノマトペを例に説明するが、音象徴語は、オノマトペに限られず、他の種類であってもよい。

例えば、情報処理システム１は、図示するように、学習部Ｆ１と、取得部Ｆ２と、出力部Ｆ３とを含む機能構成である。なお、情報処理システム１は、図示するように、生成部Ｆ４を更に含む機能構成であるのが望ましいが、生成部Ｆ４は、必須構成ではない。以下、図示する機能構成を例に説明する。

学習部Ｆ１は、まず、学習処理において、第１画像ＩＭＧ１を入力する。そして、学習部Ｆ１は、第１画像ＩＭＧ１に対する質感を音象徴語で被験者が回答した結果を入力して畳み込みニューラルネットワークによって学習を行う学習手順を行う。例えば、学習部Ｆ１は、後述するＣＰＵ２Ｈ０１等によって実現される。

取得部Ｆ２は、実行処理において、第２画像ＩＭＧ２を取得する取得手順を行う。例えば、取得部Ｆ２は、後述する入力装置２Ｈ０３等によって実現される。

出力部Ｆ３は、学習部Ｆ１による学習処理によって得られる学習結果に基づいて、第２画像ＩＭＧ２の質感を示す音韻の要素の出現確率ＯＵＴを出力する出力手順を行う。例えば、出力部Ｆ３は、後述する出力装置２Ｈ０４等によって実現される。

生成部Ｆ４は、出力部Ｆ３が出力する音韻の要素の出現確率ＯＵＴに基づいて、音韻の要素を組み合わせて、オノマトペＯＮ２等の音象徴語を生成する生成手順を行う。例えば、生成部Ｆ４は、後述するＣＰＵ２Ｈ０１等によって実現される。

図示する機能構成のうち、学習部Ｆ１が、学習処理、いわゆる学習フェーズを行うための機能構成である。一方で、図示する機能構成のうち、取得部Ｆ２と、出力部Ｆ３と、生成部Ｆ４とが、実行処理、いわゆる実行フェーズを行うための機能構成である。

＜ハードウェア構成例＞
図２は、情報処理装置のハードウェア構成例を示すブロック図である。例えば、サーバ２及びＰＣ３は、同一のハードウェア構成である。以下、サーバ２を例に説明し、ＰＣ３の説明を省略する。

サーバ２は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２Ｈ０１と、記憶装置２Ｈ０２と、入力装置２Ｈ０３と、出力装置２Ｈ０４と、インタフェース（ｉｎｔｅｒｆａｃｅ）２Ｈ０５とを有する。各ハードウェア資源は、バス（ｂｕｓ）で接続され、相互にデータを送受信する。

ＣＰＵ２Ｈ０１は、演算装置及び制御装置の例である。記憶装置２Ｈ０２は、主記憶装置等である。また、記憶装置２Ｈ０２は、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）又はハードディスク等の補助記憶装置があってもよい。入力装置２Ｈ０３は、ユーザから操作を入力する装置である。例えば、入力装置２Ｈ０３は、キーボード、マウス又はこれらの組み合わせ等である。出力装置２Ｈ０４は、ユーザに処理結果等を表示する装置である。例えば、出力装置２Ｈ０４は、ディスプレイ等である。インタフェース２Ｈ０５は、外部装置とデータを入出力する装置である。例えば、インタフェース２Ｈ０５は、コネクタ又は通信装置等である。

なお、ハードウェア構成は、図示する構成に限られない。例えば、ハードウェア構成は、演算装置又は制御装置等が内部又は外部に更にある構成等でもよい。

＜学習処理例＞
まず、情報処理システム１は、学習処理によって学習データを生成し、データベースＬＤＢを構築する。そして、データベースＬＤＢが構築された後、情報処理システム１は、データベースＬＤＢを用いて実行処理を行う。例えば、以下のような学習処理が情報処理システム１によって行われる。

図３は、学習処理例を示すフローチャートである。

ステップＳ０１では、情報処理システム１は、第１画像ＩＭＧ１を表示する。例えば、第１画像ＩＭＧ１は、ＦＭＤ（ＦｌｉｃｋｒＭａｔｅｒｉａｌＤａｔａｂａｓｅ）画像等である。ＦＭＤ画像は、幅広い素材の画像が集まっており、様々な照明条件、色、テクスチャ、表面形状及び材料のサブタイプ等を特徴とする画像である。そのため、ＦＭＤ画像が学習処理に用いられると、情報処理システム１は、質感を精度良く学習できる。

なお、第１画像ＩＭＧ１は、ＦＭＤ画像と、ＦＭＤ画像の一部を切り出した画像（以下「部分画像」という。）とを含むのが望ましい。具体的には、ＦＭＤ画像を１０００枚とし、さらに、部分画像を１９４６枚とする。このように、部分画像を用いると、学習処理用の画像となる第１画像ＩＭＧ１の枚数を増やすことができる。そのため、情報処理システム１は、学習データを高精度化することができる。

さらに、部分画像は、ＦＭＤ画像の一部であるため、被写体の一部しか写っていない場合がある。このような場合では、学習処理において、回答する被験者は、被写体の種類等が何であるか分かりにくい場合が多い。そのため、被写体の種類等による被験者の先入観を少なくできる。ゆえに、部分画像を用いると、情報処理システム１は、先入観による被写体全体の種類が回答結果に与える影響を少なくできる。

ステップＳ０２では、情報処理システム１は、第１画像ＩＭＧ１の質感を示す音象徴語の回答結果を入力し、畳み込みニューラルネットワーク（ＣＮＮ、ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）によって学習を行う。

なお、学習処理に用いられる畳み込みニューラルネットワークは、深層畳み込みニューラルネットワーク（ＤＣＮＮ、ＤｅｅｐＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ）であるのが望ましい。具体的には、以下に説明する例では、深層畳み込みニューラルネットワークは、ＶＧＧ（ＶｉｓｕａｌＧｅｏｍｅｔｒｙＧｒｏｕｐ）１６モデルにおける「ｆ８」の出力層を音象徴語の出力形式とする例である。より具体的には、深層畳み込みニューラルネットワークは、２モーラ（ｍｏｒａ）に該当する７３次元を出力層とする設定である。

以下、「モーラ」は、日本語リズムにおける拍数を示す単位とする。例えば、「ズキッ」という音象徴語は、「ズ」の部分が１モーラ目となり、「キッ」の部分が２モーラ目となる２モーラのオノマトペである。

また、この例では、深層畳み込みニューラルネットワークは、ファインチューニングを行い、ＩＳＬＶＲＣ（ＩｍａｇｅＮｅｔＬａｒｇｅＳｃａｌｅＶｉｓｕａｌＲｅｃｏｇｎｉｔｉｏｎＣｈａｌｌｅｎｇｅ）２０１５のＶＧＧ１６のデータを適用した設定とする。さらに、この例では、ドロップアウト（ｄｒｏｐｏｕｔ）等を設定し、過学習を抑制する設定とする。

なお、設定は、上記の設定に限られない。

畳み込みニューラルネットワークを用いると、ＳＩＦＴ（ＳｃａｌｅＩｎｖａｒｉａｎｔＦｅａｔｕｒｅＴｒａｎｓｆｏｒｍ）等を用いる場合と比較して、情報処理システム１は、学習データを高精度化することができる。

具体的には、学習は、表示される第１画像ＩＭＧ１を被験者が見て、被験者が質感をオノマトペＯＮ１で回答する形式で行われる。したがって、学習処理が行われると、第１画像ＩＭＧ１をいわゆるトレーニング画像とした被験者のオノマトペＯＮ１による回答結果がいわゆる正解データとなり、学習結果が蓄積される。

具体的には、学習処理によって、学習済みモデルには、各層に重みが行列の形式で保存される。例えば、以下のような（１）式の関係があるとする。

ｙ＝ａ・ｘ＋ｂ（１）

上記（１）式では、「ｘ」が第１画像ＩＭＧ１となる。そして、上記（１）式では、「ａ」が重みのパラメータ、すなわち、行列となる。さらに、上記（１）式では、「ｂ」がバイアスのパラメータであり、「ｙ」が出力値となる。上記（１）式が用いられる場合では、例えば、「ａ」と、「ｂ」とが、学習結果として、各層に保存される。

なお、図示する処理は、第１画像ＩＭＧ１の枚数分繰り返し行われる。

＜学習処理の処理結果例＞
図４は、学習処理の処理結果例を示す図である。例えば、学習処理が行われると、図示するような学習データが得られる。

図示するように、学習処理で回答されたオノマトペＯＮ１は、音韻に分解されて保存される。この例は、第１画像ＩＭＧ１が１９４６枚であり、「さーさー」及び「ふわふわ」といった１モーラ又は２モーラの２９４４３語のオノマトペが回答の選択肢となる例である。以下、オノマトペのモーラ数を１モーラ又は２モーラとする例で説明するが、出力層の出力次元を増やすことで３モーラ以上のオノマトペを用いてもよい。

学習処理で回答されたオノマトペＯＮ１は、図示する例では、「０」乃至「７２」の７３次元に分解される。図では、縦軸は、学習処理で回答されたオノマトペＯＮ１とし、横軸は、オノマトペＯＮ１が音韻の要素を持つか否か解析した結果である。なお、図示する例では、解析結果は、所定の音韻の要素をオノマトペＯＮ１が有する場合を「１」とし、所定の音韻の要素をオノマトペＯＮ１が有しない場合を「０」とする。

図示する例では、７３次元の音韻の要素は、以下のような要素である。

図５は、音韻の要素を説明する図である。図における「番号」が図４に示す横軸、すなわち、７３次元に対応する。そして、「要素」が音韻の要素の内容を示し、「（）」内の数値が「１モーラ目」か「２モーラ目」かを示す。

まず、「０」及び「１」の番号は、反復の有無を示す。すなわち、「ざらざら」のように、１モーラ目と、２モーラ目とが同じ音となり、反復がある場合には、「０」番目の「Ｒｅ」の音韻の要素があると判断される。一方で、反復がない場合には、「１」番目の「ｎｏＲｅ」の音韻の要素がないと判断される。

また、「２」乃至「３６」の要素が１モーラ目であり、「３７」乃至「７２」の要素が２モーラ目である。まず、これらの要素のうち、「ａ」、「ｉ」、「ｕ」、「ｅ」及び「ｏ」は、オノマトペＯＮ１が母音の要素を持つか否かを解析した結果である。すなわち、１モーラ目において、「ａ」、「ｉ」、「ｕ」、「ｅ」又は「ｏ」の母音がある場合には、「２」乃至「６」のいずれかの音韻の要素があると判断され、２モーラ目において、「ａ」、「ｉ」、「ｕ」、「ｅ」又は「ｏ」の母音がある場合には、「３７」乃至「４１」のいずれかの音韻の要素があると判断される。一方で、１モーラ目において、母音がない場合には、「７」の音韻の要素があると判断され、２モーラ目において、母音がない場合には、「４２」の音韻の要素があると判断される。

さらに、「ｋ」等は、オノマトペＯＮ１が子音の要素を持つか否かを解析した結果である。すなわち、１モーラ目において、子音がある場合には、「８」乃至「３３」のいずれかの音韻の要素があると判断される。また、２モーラ目において、子音がある場合には、「４３」乃至「６８」のいずれかの音韻の要素があると判断される。

さらにまた、「Ｎ」、「Ｑ」、「Ｒ」及び「Ｌ」は、特殊音の要素を持つか否かを解析した結果である。

特殊音は、詰まり音又は伸ばし音等のように、各モーラに含まれる要素となる音韻である。具体的には、「Ｎ」は、「ん」の音を示す。そして、「Ｑ」は、「っ」で記載される音、すなわち、促音を示す。「Ｒ」は、「ー」で記載される伸ばし音、すなわち、長音を示す。「Ｌ」は、「り」の音を示す。なお、これらの特殊音の要素までが１モーラと判断される。したがって、例えば、「が」、「がん」又は「がっ」といった音は、１モーラと判断される。

以上のように、情報処理システム１は、学習処理で被験者が回答するオノマトペＯＮ１をモーラに分解して、反復、母音、子音及び特殊音の音韻の要素を持つか否かを判断して記憶する。

＜実行処理例＞
上記のような学習処理によって、データベースＬＤＢが構築された後、すなわち、いわゆる学習フェーズが完了した後、以下のような実行処理が行われる。

図６は、実行処理例を示すフローチャートである。

ステップＳ１１では、情報処理システム１は、第２画像ＩＭＧ２を取得する。つまり、ステップＳ１１で取得される第２画像ＩＭＧ２が写す被写体の質感が、実行処理によって評価され、出力される。

ステップＳ１２では、情報処理システム１は、学習結果に基づいて、第２画像ＩＭＧ２の質感を音韻の要素の出現確率で表示する。ステップＳ１２の詳細は、後述する。

なお、ステップＳ１２によって出力される音韻の要素の出現確率に基づいて、以下のような処理が更に行われるのが望ましい。

ステップＳ１３では、情報処理システム１は、音韻の要素の出現確率に基づいて、音象徴語を生成し、出力する。ステップＳ１３の詳細は、後述する。

＜音韻の要素の出現確率の表示例＞
上記（１）式のように学習が行われる場合には、学習済みモデルでは、出力関数をシグモイド（ｓｉｇｍｏｉｄ）関数とする。そのため、この例では、第２画像ＩＭＧ２における音韻の要素が、図４に示す「出現確率」のように、確率で出力される。

そして、実行処理において、テスト画像となる第２画像ＩＭＧ２が取得されると、情報処理システム１は、あらかじめ第１画像ＩＭＧ１によって学習された学習済みモデルにおける各層に保存される重みと、バイアスとに基づいて第２画像ＩＭＧ２を処理する。このような処理によって、例えば、以下のような音韻の要素の出現確率ＯＵＴが表示できる。

図７は、実行処理の出力結果例を示す図である。図は、音韻の要素の出現確率ＯＵＴを「反復」、「１モーラ目」及び「２モーラ目」に分けて表示する例である。また、図は、音韻の要素を出現確率の高い順に並べて示す。したがって、図において、数値は、出現確率の順位を示し、「１」で示す要素が各構成において、最も出現確率が高い要素である。

具体的には、図示する例では、「反復」は、「Ｒｅ」が「０．９６」、すなわち、「９６％」の出現確率である。なお、「反復」における「Ｒｅ」は、図５における「１」番目の要素に相当する。

また、図示する例では、「１モーラ目」における「母音」の要素では、「ｏ」が「０．６１」と最も高い出現確率である。なお、「１モーラ目」における「ｏ」は、図５における「６」番目の要素に相当する。

同様に、「１モーラ目」における「子音」の要素では、「ｇ」が「０．３４」と最も高い出現確率である。なお、「１モーラ目」における「ｇ」は、図５における「１０」番目の要素に相当する。

さらに、「特殊音」の要素では、「Ｎ」が「０．０２」、「Ｑ」が「０．０１」、「Ｒ」が「０．０１」の出現確率である。なお、「１モーラ目」における「特殊音」は、図５における「３４」乃至「３６」番目の要素に相当する。

「１モーラ目」と同様に、「２モーラ目」の出現確率も表示される。

情報処理システム１は、以上のように各要素を出現確率で示して、第２画像ＩＭＧ２の質感を出力する。質感は、人によって異なる表現となり、表現に曖昧さがある場合が多い。例えば、同じ「柔らかい」という質感を表現する場合でも、形容詞を用いると、人によって、「とても柔らかい」と表現されたり、「少し柔らかい」と表現されたりするため、同一の画像であっても、表現する人によって差が生じる場合がある。これに対して、上記のように、音韻の要素を出現確率で示すと、情報処理システム１は、人による曖昧さを表現することができる。

＜音象徴語の生成例＞
以上のような音韻の要素の出現確率ＯＵＴがステップＳ１２で出力されると、例えば、ステップＳ１３では、情報処理システム１は、以下のように音象徴語を生成できる。

図８は、音象徴語の生成例を示す図である。以下、図７に示す音韻の要素の出現確率ＯＵＴが出力される場合を例に説明する。また、この例は、音韻の要素の出現確率ＯＵＴにおける「反復」、「１モーラ目」及び「２モーラ目」の要素のうち、最も出現確率が高いそれぞれの要素を組み合わせて、オノマトペを生成する例である。

まず、情報処理システム１によるオノマトペの「１モーラ目」（以下「第１モーラ成分ＭＲ１」という。）の生成例を説明する。図示するように、音韻の要素の出現確率ＯＵＴでは、「母音」は、「ｏ」の要素が最も出現確率が高く、「子音」は、「ｇ」の要素が最も出現確率が高い要素である。

なお、この例は、あらかじめ設定する設定値以下の出現確率である場合には、「特殊音」を使用しないとする例である。つまり、「特殊音」の要素がいずれも、低い出現確率である場合には、「特殊音」の要素を含まないオノマトペを生成する設定であるとする。

したがって、第１モーラ成分ＭＲ１は、「ｇ」の「子音」と、「ｏ」の「母音」と、「特殊音」を「なし」とする構成で生成され、「ｇｏ」（「ご」という音である。）となる。なお、「母音」と、「子音」との組み合わせによって生成される音の詳細は、後述する。

次に、情報処理システム１によるオノマトペの「２モーラ目」（以下「第２モーラ成分ＭＲ２」という。）の生成例を説明する。図示するように、音韻の要素の出現確率ＯＵＴでは、「母音」は、「ａ」の要素が最も出現確率が高く、「子音」は、「ｗ」の要素が最も出現確率が高い要素である。また、「特殊音」の要素の出現確率は、いずれも設定値以下の低い出現確率であるとする。

したがって、第２モーラ成分ＭＲ２は、「ｗ」の「子音」と、「ａ」の「母音」と、「特殊音」を「なし」とする構成で生成され、「ｗａ」（「わ」という音である。）となる。

以上のように生成される「ｇｏ」の第１モーラ成分ＭＲ１と、「ｗａ」の第２モーラ成分ＭＲ２とを組み合わせると、図示するように、「ｇｏｗａ」という音が生成できる。

続いて、「反復」の要素を反映させる例を説明する。図示する例では、「反復」において、「Ｒｅ」が「ｎｏＲｅ」より高い出現確率である。したがって、この例では、「反復」を「あり」とする例である。具体的には、情報処理システム１は、第１モーラ成分ＭＲ１及び第２モーラ成分ＭＲ２の組み合わせによって生成される「ｇｏｗａ」の音を繰り返すようにして「ｇｏｗａｇｏｗａ」とする。

以上のようにすると、情報処理システム１は、「ごわごわ」という第２画像ＩＭＧ２の質感を表現するオノマトペＯＮ２を生成することができる。音象徴語では、音韻の要素が示すそれぞれの１音１音に印象が結びつくため、共通した印象、いわゆる「音象徴性」が強く現れる傾向がある。具体的には、「ｈ」の音韻の要素は、「柔らかさ」の質感に結びつきやすく、「ｓ」の音韻の要素は、「滑らかさ」の質感に結びつきやすい。ほかにも、「ｇ」の音韻の要素は、「硬い表面との接触」の質感に結びつきやすい。

したがって、上記のように生成されるオノマトペＯＮ２で質感を表現すると、例えば、形容詞で質感を示す場合と比較して、多様な表現ができる場合が多い。形容詞で表現する場合には、表現に用いる形容詞をあらかじめ用意する必要がある。そのため、表現は、用意された形容詞を用いた範囲内に限定される。すなわち、あらかじめ用意した形容詞の種類が少ないと、表現できない質感が多くなる。もし、形容詞で多様な質感を表現する場合には、多数の種類の形容詞をあらかじめ用意する必要がある。

一方で、本発明の一実施形態のように、オノマトペＯＮ２で表現する場合には、音韻の要素を組み合わせてオノマトペＯＮ２を生成するため、多様な種類のオノマトペＯＮ２を生成することが可能である。ゆえに、情報処理システム１は、オノマトペＯＮ２によって、多様な表現で複雑な質感を統合的に表現できる。

また、音象徴語による表現は、日本語以外の言語であっても通用する可能性が高い。すなわち、日本語を母国語としない人、いわゆる外国人であっても、質感を音象徴語で表現しようとすると、同じような音象徴語を用いようとする傾向がある。特に、「１モーラ目」の「子音」は、共通する可能性が高い。ゆえに、音象徴語による表現であると、外国人にも通用し、質感を精度良く表現できる場合が多い。

＜音韻の要素の組み合わせ例＞
図９は、音韻の要素の組み合わせ例を示す図である。図示する例では、縦軸と、横軸の一部とが「子音」の要素であり、横軸が「母音」の要素である。

例えば、「子音」が「ｋ」であって、「母音」が「ａ」であると、「母音」と、「子音」との組み合わせは、「ｋａ」となり、図示するように、「か」という音となる。

このように、ステップＳ１３では、情報処理システム１は、音韻の要素の出現確率ＯＵＴから、図における縦軸に示す音韻の要素と、横軸に示す音韻の要素とを組み合わせて音を生成し、音象徴語を生成する。

＜学習と類似度の精度評価実験結果＞
比較対象として、被験者に、第２画像ＩＭＧ２となる「ＴｈｅＫＴＨ−ＴＩＰＳａｎｄＫＴＨ−ＴＩＰＳ２ｉｍａｇｅｄａｔａｂａｓｅｓ」（http://www.nada.kth.se/cvap/databases/kth-tips/）にある１００枚の画像を表示して、被験者が想起するオノマトペを回答してもらった。

実験では、上記の比較対象と、図３に示す学習処理及び図６に示す実行処理とで得られるそれぞれの音韻の要素の出現確率を以下に示す数式によって、ＫＬ情報量（カルバック・ライブラー情報量、Ｋｕｌｌｂａｃｋ‐Ｌｅｉｂｌｅｒｄｉｖｅｒｇｅｎｃｅ）と、ｃｏｓ類似度とを計算し、評価した。

図１０は、精度評価に用いた数式を示す図である。図示する（２）式は、ＫＬ情報量を計算するための数式である。一方で、（３）式は、ｃｏｓ類似度を計算するための数式である。

図示する（２）式を用いると、２つの確率分布の差異が計算できる。なお、（２）式による計算結果は、数値が「０」に近づくほど類似度が高いことを示す。また、（２）式では、計算対象となる離散確率分布を「Ｐ」及び「Ｑ」で示し、「Ｐ（ｉ）」及び「Ｑ（ｉ）」は、「ｉ」の場合の確率を示す。

図示する（３）式を用いると、２つのベクトルの類似度が計算できる。なお、（３）式による計算結果は、数値が「１」に近づくほど類似度が高いことを示す。また、（３）式では、計算対象となるベクトルを「ｐ」及び「ｑ」で示す。

実験では、（２）式に基づいて、ＫＬ情報量が「２．８９」程度となり、ｃｏｓ類似度が「０．９０７」程度となった。以上のような実験結果から、情報処理システム１が、出現確率を用いて、画像の質感に適した音韻の要素を高精度に出力できることが確認された。

＜他の実施形態＞
本発明に係る実施形態は、上記の情報処理方法によって生成される音象徴語を用いて、質感を発話するロボット等に適用されてもよい。

なお、全体処理は、図示する順序に限られない。例えば、各処理の一部又は全部は、並列又は図示する順序とは異なる順序で行われてもよい。また、各処理は、複数の情報処理装置によって、冗長、分散、並列、仮想化又はこれらを組み合わせて実行されてもよい。

なお、本発明に係る情報処理方法は、プログラムによって実現されてもよい。すなわち、プログラムは、１以上の情報処理装置を含む情報処理システム等であるコンピュータに各処理を実行させるためのコンピュータプログラムである。

したがって、プログラムに基づいて情報処理方法が実行されると、コンピュータが有する演算装置及び制御装置は、各処理を実行するため、プログラムに基づいて演算及び制御を行う。また、コンピュータが有する記憶装置は、各処理を実行するため、プログラムに基づいて、処理に用いられるデータを記憶する。

また、プログラムは、コンピュータが読み取り可能な記録媒体に記録されて頒布することができる。なお、記録媒体は、磁気テープ、フラッシュメモリ、光ディスク、光磁気ディスク又は磁気ディスク等のメディアである。また、記録媒体は、補助記憶装置等でもよい。さらに、プログラムは、電気通信回線を通じて頒布することができる。

以上、本発明の好ましい実施形態の具体例について詳述したが、本発明は、図面に記載された実施形態等に限定されない。すなわち、特許請求の範囲に記載された本発明の広範な要旨の範囲内において、種々の変形又は変更が可能である。

１情報処理システム
ＯＮ１、ＯＮ２オノマトペ
ＯＵＴ音韻の要素の出現確率
Ｆ１学習部
Ｆ２取得部
Ｆ３出力部
Ｆ４生成部
ＩＭＧ１第１画像
ＩＭＧ２第２画像

Claims

第１画像に対する質感を音象徴語で被験者が回答した結果を入力して畳み込みニューラルネットワークによって学習を行う学習部と、
第２画像を取得する取得部と、
前記学習部による学習結果に基づいて、前記第２画像の質感を示す音韻の要素の出現確率を出力する出力部と
を含む情報処理システム。
前記音韻の要素を組み合わせて、音象徴語を生成する生成部を更に含む請求項１に記載の情報処理システム。
前記音韻の要素は、母音、子音、反復及び特殊音である請求項１又は２に記載の情報処理システム。
前記第１画像は、ＦＭＤ画像及び前記ＦＭＤ画像の一部を切り出した部分画像を含む請求項１乃至３のいずれか１項に記載の情報処理システム。
前記学習部は、深層畳み込みニューラルネットワークによって学習を行う請求項１乃至４のいずれか１項に記載の情報処理システム。
情報処理システムが行う情報処理方法であって、
情報処理システムが、第１画像に対する質感を音象徴語で被験者が回答した結果を入力して畳み込みニューラルネットワークによって学習を行う学習手順と、
情報処理システムが、第２画像を取得する取得手順と、
情報処理システムが、前記学習手順による学習結果に基づいて、前記第２画像の質感を示す音韻の要素の出現確率を出力する出力手順と
を含む情報処理方法。
コンピュータに情報処理方法を実行させるためのプログラムであって、
コンピュータが、第１画像に対する質感を音象徴語で被験者が回答した結果を入力して畳み込みニューラルネットワークによって学習を行う学習手順と、
コンピュータが、第２画像を取得する取得手順と、
コンピュータが、前記学習手順による学習結果に基づいて、前記第２画像の質感を示す音韻の要素の出現確率を出力する出力手順と
を実行させるためのプログラム。