JP6684376B1 - 音声情報置き換えシステム及びプログラム - Google Patents

Abstract

【課題】ユーザによる音の置き換えが可能な領域がユーザによる選択が可能な状態で示されない場合に比べ、ユーザの創造性をより良く育むことができるようにする。【解決手段】音声情報置き換えシステムは、ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する取得手段と、音声情報ファイルに含まれる元音声をユーザの端末で再生する再生手段と、再生される元音声のうち、ユーザによる置き替えが可能な置き換え領域について、ユーザが認識可能となるように出力するとともに、置き換え領域のうちユーザが指定した領域部分の元音声をユーザが指定する任意の音で置き換えることを可能とする置き換え手段とを備える。【選択図】図４

Description

本発明は、音声情報置き換えシステム及びプログラムに関する。

従来、映画などの物語の画面に合わせて台詞や音楽などを録音するアフターレコーディング（いわゆるアフレコ）技術が存在する。
例えば特許文献１には、物語との一体感を楽しみながら、声優を純粋に体験するための装置の例が記載されている。この装置には、プレーヤが選択した配役以外の音声を再生する機能と、プレーヤが選択した配役が発声するタイミングで、プレーヤが選択した配役の台詞に対応するテロップだけを表示する機能とが設けられている。このため、プレーヤは、テロップに合わせて発声するだけで、アフレコを体験できる。なお、表示画面には、アニメ、ドラマ等の動画が表示されるので、プレーヤは、物語との一体感を楽しむことができる。

特開２００６−３４６２８４号公報

前述の装置は、プレーヤが選択した配役とプレーヤが選択していない配役を区別し、それぞれについて台詞の再生とテロップの出力を制御する。このため、プレーヤが選択した配役の台詞をプレーヤが発声しなければ、該当箇所の台詞は欠落した状態になる。
現在、知育教材として、昔話などを録音したオーディオブックがある。オーディオブックは、子供の年齢に応じて様々な楽しみ方が可能である。例えば小さい子供が、興味のある台詞や音を再生音に合わせて発声する様子は微笑ましく、親子の楽しい思い出になる。また、少し大きくなった子供であれば、わざと台詞を変えて発声することもある。この子供の音声の録音は、家族の思い出であると同時に、子供の成長の記録ともなる。

ところで、子供の台詞や音に対する興味は、配役とは無関係であることが多い。例えば興味をもった台詞や興味をもった動物の鳴き声だけを発声することも多い。例えば子供が発声する台詞は、ある配役の一部の台詞だけの場合もあれば、複数の配役の一部の台詞だけの場合もある。
また、同じ物語を対象とする場合でも、子供の興味は、日によっても異なり、年齢によっても変化する。
このように、あらすじが決まっている物語でも、子供の好奇心や想像力の違い、また発声する子供の違いにより、出来上がる物語の印象は異なるものになる。

本発明は、ユーザによる音の置き換えが可能な領域がユーザによる選択が可能な状態で示されない場合に比べ、ユーザの創造性をより良く育むことができるようにすることを目的とする。

請求項１に記載の発明は、ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する取得手段と、ユーザが収集した複数の音を識別可能な状態で記録する収集音記録手段と、前記音声情報ファイルに含まれる元音声をユーザの端末で再生する再生手段と、再生される元音声のうち、ユーザによる置き替えが可能な置き換え領域について、ユーザが認識可能となるように出力するとともに、当該置き換え領域のうちユーザが指定した領域部分の元音声を、ユーザが収集した前記複数の音のうちユーザが指定する任意の音で置き換えることを可能とする置き換え手段と、を備え、前記収集音記録手段は、スタンプラリーの要領で、素材となる音の収集を促す案内を提示することを特徴とする音声情報置き換えシステムである。
請求項２に記載の発明は、ユーザが置き換え可能な前記領域は、台詞以外の音の挿入又は置き換えが可能な位置を示す、ことを特徴とする請求項１に記載の音声情報置き換えシステムである。
請求項３に記載の発明は、ユーザが指定した前記置き換え領域における前記元音声を、ユーザが指定する前記任意の音で置き換えた置き換え音声情報を記録する置き換え後音声記録手段と、を更に備え、前記置き換え後音声記録手段に記録された前記置き換え音声情報は、再生中に、音が録音された場所、録音者を表す画像、録音されている声の主を表す画像、及び、子供の年齢のうち、少なくとも１つを識別できる状態でユーザに示されることを特徴とする請求項１記載の音声情報置き換えシステムである。
請求項４に記載の発明は、コンピュータに、ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する機能と、ユーザが収集した複数の音を識別可能な状態で記録する機能と、スタンプラリーの要領で、素材となる音の収集を促す案内を提示する機能と、前記音声情報ファイルに含まれる元音声をユーザの端末で再生する機能と、再生される元音声のうち、ユーザによる置き替えが可能な置き換え領域について、ユーザが認識可能となるように出力するとともに、当該置き換え領域に対してユーザが指定した領域部分の元音声を、ユーザが収集した前記複数の音のうちユーザが指定する任意の音で置き換えることを可能とする機能と、を実現させるプログラムである。

請求項１記載の発明によれば、ユーザによる音の置き換えが可能な領域がユーザによる選択が可能な状態で示されない場合に比べ、ユーザの創造性をより良く育むことができる。
請求項２記載の発明によれば、置き換える音の選択を通じてユーザの創作性の育成を促すことができる。
請求項３記載の発明によれば、元音声から置き換えられている部分をユーザに知らせることができる。
請求項４記載の発明によれば、ユーザによる音の置き換えが可能な領域がユーザによる選択が可能な状態で示されない場合に比べ、ユーザの創造性をより良く育むことができる。

実施の形態１で想定するネットワークシステムの概要を説明する図である。 実施の形態１で使用する端末の構成例を示す図である。 実施の形態１で使用する音収集装置の構成例を示す図である。 端末を構成する制御ユニットの機能構成を説明する図である。 音素材を収集する場合に実行される処理動作の例を示すフローチャートである。 音素材の収集を案内する画面の例を説明する図である。 ダウンロードされたオーディオブックを編集する場合に実行される処理動作の例を示すフローチャートである。 オーディオブックを選択する時点Ｔ１とオーディオブックの再生の指示を受け付ける時点Ｔ２の画面の例を説明する図である。 置き換え等が可能でない領域が再生されている時点Ｔ３と置き換え等が可能な領域が再生されている時点Ｔ４の画面の例を説明する図である。 置き換えの指示を受け付けた場合に表示される画面の例を説明する図である。 置き換えの指示を受け付けた場合に表示される画面の他の例を説明する図である。 音の追加が可能な領域部分で表示される画面の例を説明する図である。 音の追加の指示を受け付けた場合に表示される画面の例を説明する図である。 置き換え等が可能な領域とユーザが実際に置き換え等を指示した領域との関係を説明する図である。（Ａ）はオーディオブック内に予め定められている置き換え等が可能な領域の配置を示し、（Ｂ）はユーザが実際に置き換え等を指示した領域を示す。 再生するオーディオブックの選択画面の例を示す図である。 置き換えが可能な領域にユーザが置き換えた音素材がある場合と無い場合を説明する図である。（Ａ）はユーザが置き換えた音素材がない場合を示し、（Ｂ）はユーザが置き換えた音素材がある場合を示す。 挿入が可能な領域にユーザが挿入した音素材がある場合と無い場合を説明する図である。（Ａ）はユーザが挿入した音素材がない場合を示し、（Ｂ）はユーザが挿入した音素材がある場合を示す。

以下、図面を参照して、本発明の実施の形態を説明する。

＜実施の形態１＞
＜システムの全体構成＞
図１は、実施の形態１で想定するネットワークシステム１の概要を説明する図である。
図１に示すネットワークシステム１は、インターネット１０に接続されたオーディオファイル管理サーバ２０と、ユーザが操作する端末３０と、ユーザの子供が操作する音収集装置４０とで構成されている。
本実施の形態におけるオーディオファイル管理サーバ２０は、本等を朗読する音声をデータとして記録したファイル（以下「オーディオファイル」という）を配信用に管理するサーバである。サーバであるオーディオファイル管理サーバ２０は、コンピュータを基本構成とする。図１の場合、オーディオファイル管理サーバ２０は１台であるが、複数台の装置が協働してオーディオファイル管理サーバ２０として動作してもよい。

本実施の形態では、ユーザとの間で取引の単位となるオーディオファイルを総称してオーディオブックともいう。オーディオブックは、１つのオーディオファイルで構成される場合もあれば、複数のオーディオファイルで構成される場合もある。
本実施の形態では、登場人物の台詞等で話が展開されるオーディオブックの類を音物語という。音物語には、例えば昔話や童話がある。
また、オーディオファイル管理サーバ２０が配信するオーディオブックには、ユーザが自由に音を挿入することが可能な領域部分、又は、元の音と置き換えが可能な領域部分を示す情報が付属されているものとする。ここでのオーディオブックは、音声情報ファイルの一例である。

挿入が可能な領域部分又は置き換えが可能な領域部分が定められているオーディオブックは、編集可能な音物語のファイルの一例である。以下では、ユーザによる音の挿入や音の置換の前のファイルに収録されている音声を元の音声又は元音声という。
どの領域部分を挿入が可能な領域部分とするか、又は、置き換えが可能な領域部分とするかは、オーディオブックを配信する側が事前に定めている。ここでの領域部分の多くは台詞である。もっとも、ユーザによる音の挿入や置換が可能な領域部分は、オーディオブックに現れる台詞の全てである必要はなく、特定の登場人物の台詞に限定される必要もない。例えばナレーションの一部分でもよい。

本実施の形態における端末３０は、知育教材としてのオーディオブックをダウンロードするユーザが主に操作するスマートフォン、タブレット端末、オーディオプレーヤ等である。端末３０には、インターネット１０を介してオーディオファイル管理サーバ２０にアクセスし、前述したオーディオブックをダウンロードすることが可能な機能が設けられている。もっとも、オーディオファイル管理サーバ２０との接続は、他の機器を介して実現されてもよい。
本実施の形態における音収集装置４０は、音の収録のために主に子供が使用する機器であり、収録された音に対応するオーディオファイルを端末３０に送信する機能が設けられている。
音収集装置４０は、使用する子供の年齢や性別等に応じて様々な形態を採る。例えば音収集装置４０は、引き金を録音のスイッチとするピストル型の集音器、パラボラ型の集音板の焦点に配置されたマイクと録音のスイッチで構成される集音器、体の一部を押すと録音を開始するぬいぐるみ型の集音器の形態を採ることがある。
図１の場合、端末３０と音収集装置４０の通信には、無線通信の規格の１つであるブルートゥース（登録商標）が用いられる。
なお、音収集装置４０は、必須ではなく、端末３０だけを用いて音を収集してもよい。本実施の形態における端末３０と音収集装置４０は、音声情報置き換えシステムの一例である。

＜端末３０と音収集装置４０の構成＞
図２は、実施の形態１で使用する端末３０の構成例を示す図である。
本実施の形態における端末３０は、装置全体の動作を制御する制御ユニット３０１と、データを記録する不揮発性の記憶ユニット３０２と、ユーザインタフェース画面等の表示に用いられる表示ユニット３０３と、ユーザの操作を受け付ける操作受付ユニット３０４と、電気信号を音として再生するスピーカ３０５と、音を電気信号に変換するマイク３０６と、通信インタフェース（＝通信ＩＦ）３０７とを有している。

本実施の形態における制御ユニット３０１は、ＣＰＵ（＝Central Processing Unit）３１１と、ファームウェアやＢＩＯＳ（＝Basic Input Output System）等が記録されたＲＯＭ（＝Read Only Memory）３１２と、ワークエリアとして用いられるＲＡＭ（＝Random Access Memory）３１３とを有している。制御ユニット３０１は、いわゆるコンピュータとして機能する。なお、ＲＯＭ３１２は、不揮発性の書き換え可能な半導体メモリである。
記憶ユニット３０２は、不揮発性の書き換え可能な半導体メモリ等によって構成される。記憶ユニット３０２には、例えばオーディオブックのデータやマイク３０６で収録された音のデータ等が保存される。ここでの記憶ユニット３０２は、収集音記録手段の一例であるとともに、音物語記録手段の一例でもある。また、記憶ユニット３０２は、置き換え後音声記録手段の一例でもある。

表示ユニット３０３は、例えば液晶ディスプレイや有機ＥＬディスプレイで構成される。表示ユニット３０３には、ユーザによる操作を支援する情報が表示される。
操作受付ユニット３０４は、例えば表示ユニット３０３の表面に配置されるタッチセンサ、筐体に配置されるスイッチ、ボタンで構成される。
通信インタフェース３０７は、例えば無線ＬＡＮ（＝Local Area Network）、ブルートゥース（登録商標）、移動通信規格に準拠した無線装置である。
因みに、制御ユニット３０１と各ユニット等とは、バス３０８や不図示の信号線を通じて接続されている。
なお、不図示であるが、端末３０には、位置情報を取得するＧＰＳ（＝Global Positioning System）センサ、地磁気センサ、加速度センサ、動画像や静止画像を撮像するカメラ等が実装されている。ここでの位置情報は、音が収録された場所の記録にも使用される。

図３は、実施の形態１で使用する音収集装置４０の構成例を示す図である。
本実施の形態における音収集装置４０は、音を電気信号に変換するマイク４０１と、電気信号を音として再生するスピーカ４０２と、マイク４０１から出力される電気信号をオーディオファイルに変換するとともにオーディオファイルを電気信号に変換する音処理部４０３と、録音の開始と終了の指示に用いる録音スイッチ４０４と、端末３０から与えられる案内の確認に用いる案内確認ボタン４０５と、オーディオファイルが記録される記憶ユニット４０６と、通信インタフェース（＝通信ＩＦ）４０７とを有している。

録音スイッチ４０４は、オン状態とオフ状態のいずれかを出力する。本実施の形態の場合、録音スイッチ４０４がオン状態の間、音処理部４０３は、マイク４０１から入力される電気信号をオーディオファイルに変換（すなわち符号化）する。一方、録音スイッチ４０４がオフ状態の間、音処理部４０３は、マイク４０１から入力される電気信号があっても、オーディオファイルに変換しない。本実施の形態における録音スイッチ４０４は、電源スイッチとしても機能する。
音収集装置４０と端末３０とが通信可能な状態にある場合、録音スイッチ４０４が押されている間、マイク４０１で収集された音は、通信インタフェース４０７を通じて端末３０に送信される。
音収集装置４０と端末３０とが通信可能でない場合、録音スイッチ４０４が押されている間、マイク４０１で収集された音は、オーディオファイルとして記憶ユニット４０６に記録される。なお、記憶ユニット４０６に対するオーディオファイルの記録は、端末３０との通信の状態とは無関係でもよい。記憶ユニット４０６は、収集音記録手段の一例である。

案内確認ボタン４０５は、端末３０から与えられる案内（以下では「ミッション」ということもある）を子供が確認したい場合に押される。案内確認ボタン４０５が押されると、案内を復号化した音声がスピーカ４０２から再生される。ここでの案内は、案内確認ボタン４０５の操作に連動して端末３０から通知されてもよい。もっとも、記憶ユニット４０６に案内が記録されている場合には、案内確認ボタン４０５の操作のたびに、記憶ユニット４０６に記録されている案内を再生してもよい。ここでの案内は、子供がゲーム感覚で様々な音に興味を持つように提示される。例えば「今日は動物の鳴き声を集めよう」等の掛け声として出力される。
なお、不図示の表示ユニットが音収集装置４０に設けられている場合、案内は、表示ユニットに文字として表示されてもよい。
記憶ユニット４０６は、不揮発性の書き換え可能な半導体メモリ等によって構成される。記憶ユニット４０６には、例えば収録された音に対応するオーディオファイルや前述した案内のデータ等が保存される。

＜端末３０の機能構成＞
図４は、端末３０を構成する制御ユニット３０１の機能構成を説明する図である。
図４に示す機能モジュールは、ＣＰＵ３１１（図２参照）によるプログラムの実行を通じて実現される。なお、図４に示す機能モジュールは、制御ユニット３０１が実行するプログラムの一例である。

図４に示すプログラムの１つには、素材となる音（以下「音素材」という）の収集を促す案内を、ユーザや子供に提示する音素材収集案内モジュール３２１がある。
このモジュールは、例えば遊び感覚で身近な音を収集できるように子供を支援する機能を提供する。本実施の形態では、身近な音として、ママの声、パパの声、動物の鳴き声、乗り物の音、公園の音、風の音、駅のホームの音等を想定する。案内は、音声として提示されるだけでなく、文字や画像として提示されてもよい。例えば「今日は動物の鳴き声を集めよう」との音声が、端末３０や音収集装置４０から出力される。また例えば犬や猫の画像が、端末３０や音収集装置４０に表示される。このように、ミッション形式で収録する音の内容を子供に提示することで、子供の興味を特定の音に誘導することができる。また、スタンプラリーの要領で音の収集を案内すれば、子供の好奇心や関心を広げることができる。また、収録された音素材を親子で聴けば会話が弾むだけでなく、子供の成長を確認することもできる。

音素材収集案内モジュール３２１による案内は、ダウンロードされたオーディオブックの内容とは無関係に提示されてもよいし、ダウンロードされたオーディオブックで挿入が可能な領域部分、又は、置き換えが可能な領域部分で規定されている音の種類に応じて提示されてもよい。
子供の年齢が低いうちは、子供に提示される案内の内容を、ユーザが事前に選択できることが望ましい。また、案内が提示されるタイミングもユーザが指定できることが望ましい。
なお、音素材収集案内モジュール３２１による案内は、あくまでも子供の行動を促すトリガーにすぎないので、案内とは異なる音を子供が収録することを妨げない。
本実施の形態の場合、音素材は、挿入される音又は置換される音として収録された音であれば、元音声を置換等する目的で収録された台詞の音声も含む。
音素材収集案内モジュール３２１は、案内手段の一例である。

図４に示すプログラムの１つには、音素材を識別可能な状態で記憶ユニット３０２（図２参照）に記録する音素材記憶モジュール３２２がある。
本実施の形態の場合、識別可能な状態とは、音素材の違いをファイルとして識別できるだけなく、収録された音の内容、収録の日時、収録された場所、収録に使用されたデバイス等を識別できることをいう。もっとも、これらの情報は例示であり、識別可能な状態とは、これらの情報の全てが識別可能であることを意味しない。なお、収録された音の内容は、ユーザによって事後的に入力してもよいし、前述した案内によって提示された音の内容が自動的に記録されるようにしてもよい。
音素材は、音の内容別に作成されたフォルダに記録されることが望ましい。音の内容別に作成されたフォルダに音素材が記録されていれば、挿入が可能な領域部分や置き換えが可能な領域部分に適用する音素材を効率的に探し出すことが可能になる。この他、フォルダは、子供の名前や年齢、オーディオブックのタイトル別に作成されていてもよい。
ところで、子供による音素材の収録は、子供の年齢に応じて、ユーザが同伴する場合だけでなく、子供だけの場合も想定される。音収集装置４０（図１参照）を用いて子供だけで音素材を収録する場合には、収録された音素材のファイルが音収集装置４０の記録領域に一時的に記録される。この場合、音素材記憶モジュール３２２の機能は、音収集装置４０でも実行される。

図４に示すプログラムの１つには、音素材を加工する音素材加工モジュール３２３がある。
ここでの加工とは、例えば音素材の周波数の変更、再生速度の変更、音量の変更、ノイズの低減、エコーの追加等をいう。音素材加工モジュール３２３は、例えばボイスチェンジャーの機能に対応する。音素材加工モジュール３２３は、加工手段の一例である。
図４に示すプログラムの１つには、オーディオファイル管理サーバ２０（図１参照）からオーディオブックを取得するオーディオブック取得モジュール３２４がある。取得の対象であるオーディオブックは、端末３０（図１参照）の操作画面を通じてユーザが指定する。オーディオブック取得モジュール３２４は、取得手段の一例である。

図４に示すプログラムの１つには、オーディオブックを再生するオーディオブック再生モジュール３２５がある。
本実施の形態の場合、オーディオブック再生モジュール３２５によるオーディオブックの再生には、元音声の再生と編集済みのオーディオブックの再生の２種類があり、各再生に応じたボタンが表示ユニット３０３（図２参照）に表示される。オーディオブック再生モジュール３２５は、再生手段の一例である。

図４に示すプログラムの１つには、オーディオブックのうちユーザが収集した音による置き換えが可能な又は挿入が可能な領域部分をユーザに提示する置き換え可能領域等提示モジュール３２６がある。
ここでの置き換え可能領域等提示モジュール３２６は、表示ユニット３０３（図２参照）に表示される台詞等の表示の態様を、置き抱えが可能な台詞等と置き換えできない台詞等とで区別する。
例えば置き換えできない台詞等は、基準とする太さとサイズで表示されるのに対し、置き換えが可能な台詞等については太字で表示される。また例えば置き換えできない台詞等は黒色の文字で表示されるのに対し、置き換えが可能な台詞等については赤色の文字で表示される。また例えば置き換えできない台詞等にはマークが付かないのに対し、置き換えが可能な台詞等には特徴的なマークが追加的に表示される。

また、置き換え可能領域等提示モジュール３２６は、ユーザが収集した音の挿入が可能とされている領域部分で、その旨を示すマーク等を表示ユニット３０３に表示する。
なお、音の挿入が可能とされている領域部分には、置き換えられる音は存在しない。このため、本実施の形態では、音の挿入と音の置き換えとを区別している。
また、置き換え可能な領域部分や挿入が可能な領域部分の提示は、予め定めた特定の音の出力によってもよい。例えばブザー等で該当位置を知らせてもよい。
置き換え可能領域等提示モジュール３２６は、案内手段の一例であるとともに、置き換え手段の一例である。

図４に示すプログラムの１つには、ユーザによる置き換え指示を受け付ける置き換え指示受付モジュール３２７がある。
本実施の形態の場合、置き換えの指示には、録音ボタンの操作を使用する。置き換え指示を受け付けた場合、元音声の出力は停止され、音声等の録音や事前に収録された音素材の選択が可能な状態になる。
なお、その場で音声等を録音する場合と音素材を選択的に指定する場合とで別々のボタンを用意してもよいし、録音ボタンを１回タップするか２回タップするかで操作を切り替えられるようにしてもよい。音素材を選択的に指定する場合には、選択の指示を受け付けるまで、オーディオブックの再生も停止される。
ここでの置き換え指示受付モジュール３２７も、案内手段の一例であるとともに置き換え手段の一例である。

図４に示すプログラムの１つには、ユーザによる音素材の挿入指示を受け付ける音素材挿入受付モジュール３２８がある。
本実施の形態の場合、音素材の挿入指示にも、録音ボタンの操作を使用する。音素材の挿入指示を受け付けた場合も、音声等の録音や事前に収録された音素材の選択が可能な状態になる。音素材の挿入についても、その場で音声等を録音する場合と音素材を選択的に指示する場合とがある。操作の仕方は、置き換え指示の場合と同様である。

図４に示すプログラムの１つには、音素材の置き換えや挿入による編集が加えられたオーディオブック（以下「編集済みオーディオブック」という）を記憶ユニット３０２（図２参照）に記録する編集済みオーディオブック保存モジュール３２９がある。
編集済みオーディオブックは、編集前のオーディオブックとは別に作成される。従って、編集前のオーディオブックは、編集前の状態のまま保存される。本実施の形態の場合、編集済みオーディオブックのファイル名には、保存の日時等が自動的に挿入される。このように保存された複数の編集済みオーディオブックは、子供の成長の履歴として残すことが可能になる。もっとも、ファイル名は事後的に編集してもよい。

＜処理動作の例＞
＜音素材の収集＞
以下では、オーディオブックを活用したオリジナルの音物語の生成について説明する。
図５は、音素材を収集する場合に実行される処理動作の例を示すフローチャートである。
なお、図中のＳは、ステップを意味する。
制御ユニット３０１（図２参照）は、ユーザによる特定の操作を検知すると、収集の対象である音素材の候補の一覧をユーザに提示する（ステップ１）。
本実施の形態では、特定の操作として、子供に収集させたい音素材の候補の指定を受け付ける画面の表示に割り当てられているアイコンの操作を想定する。
音素材の候補の一覧は、表示ユニット３０３（図２参照）に表示される。例えば表示ユニット３０３には、子供に収集させる音素材の候補として、ママの声、パパの声、動物の鳴き声、乗り物の音、公園の音、風の音、駅のホームの音等が選択ボタンとともに表示される。

ユーザがいずれかの選択ボタンを操作すると、制御ユニット３０１は、収集する音素材の候補の選択を受け付ける（ステップ２）。
この後、制御ユニット３０１は、音収集装置４０（図１参照）に対し、収集の対象である音素材の案内を送信する（ステップ３）。
図６は、音素材の収集を案内する画面の例を説明する図である。
図６に示す例では、ユーザが操作する端末３０の表示画面に、収集する音素材の候補の一覧が選択可能に表示されている。

図６の場合、表示画面には、選択可能な候補として、ママの声、パパの声、動物の鳴き声、乗り物の音、公園の音が表示され、それぞれに隣接して選択ボタンが表示されている。図６では、動物の鳴き声の選択ボタンにチェックマークが付いている。この状態で決定ボタン３３１が操作されると、端末３０から音収集装置４０に案内が送信される。
この例では、音収集装置４０の不図示のスピーカ４０２（図３参照）から「動物の鳴き声を集めてみよう」との音声が再生されている。この音声は、音収集装置４０を操作する子供が案内確認ボタン４０５（図３参照）を操作した場合にも再生される。
音収集装置４０で収集された音素材に対応するオーディオファイルは、録音の都度又は一括的に音収集装置４０から端末３０に送信される。

＜オーディオブックの編集＞
図７は、ダウンロードされたオーディオブックを編集する場合に実行される処理動作の例を示すフローチャートである。
なお、図中のＳは、ステップを意味する。
制御ユニット３０１（図２参照）は、ユーザによる特定の操作を検知すると、オーディオブックの選択を受け付ける（ステップ１１）。
特定の操作の一例には、ダウンロードしたオーディオブックが一覧表示される画面上での選択の指示がある。
選択の指示を受け付けた制御ユニット３０１は、選択されたオーディオブックに置き換え等が可能な領域があるか否かを判定する（ステップ１２）。置き換え等が可能な領域の有無は、オーディオブックに付属する情報から識別が可能である。

ステップ１２で否定結果が得られた場合、制御ユニット３０１は、オーディオブックの再生の指示を受け付けてオーディオブックの再生を開始する（ステップ１３）。
オーディオブックの再生が開始されると、制御ユニット３０１は、再生の終了か否かを判定する（ステップ１４）。
ステップ１４で否定結果が得られている間、制御ユニット３０１は、オーディオブックの再生を継続する。この場合は、置き換え等が可能な領域がないので、オーディオブックの音声がそのまま再生される。
ステップ１４で肯定結果が得られると、オーディオブックの再生が終了する。

一方、ステップ１２で肯定結果が得られた場合、制御ユニット３０１は、オーディオブックの再生の指示を受け付けてオーディオブックの再生を開始する（ステップ１５）。
この後、制御ユニット３０１は、再生中の位置が、置き換え等が可能な領域か否かを判定する（ステップ１６）。
ステップ１６で否定結果が得られている間、制御ユニット３０１は、判定を繰り返す。
ステップ１６で肯定結果が得られると、制御ユニット３０１は、置き換え等が可能な領域であることをユーザに提示する（ステップ１７）。

続いて、制御ユニット３０１（図２参照）は、置き換え等の指示を受け付けたか否かを判定する（ステップ１８）。
本実施の形態の場合、制御ユニット３０１は、録音ボタンの操作が検知されたか否かを判定する。
ステップ１８で否定結果が得られた場合、制御ユニット３０１は、ステップ１６に戻り、オーディオブックの再生を継続する。
一方、ステップ１８で肯定結果が得られた場合、制御ユニット３０１は、音素材を受け付ける（ステップ１９）。
この後、制御ユニット３０１は、再生の終了か否かを判定する（ステップ２０）。
ステップ２０で否定結果が得られている間、制御ユニット３０１は、ステップ１６に戻り、オーディオブックの再生を継続する。

ステップ１１からステップ２０までに対応する表示画面の例を図８〜図１４に示す。
図８は、オーディオブックを選択する時点Ｔ１とオーディオブックの再生の指示を受け付ける時点Ｔ２の画面の例を説明する図である。
時点Ｔ１はステップ１１に対応し、時点Ｔ２はステップ１５に対応する。
時点Ｔ１の画面には、選択可能なオーディオブックの例として「昔話１」、「昔話２」、「昔話３」が表示され、それぞれに隣接して選択ボタンが表示されている。なお、図８では、「昔話１」の選択ボタンにチェックマークが付いている。この状態で決定ボタン３３２が操作された後の画面が時点Ｔ２の画面である。

図８の場合、時点Ｔ２の画面の上段には、タイトル３３３と、時間軸３３４と、再生位置を表すスライダ３３５とが表示されている。時点Ｔ２では、再生が開始されていないので、スライダ３３５は原点である左端に位置している。なお、スライダ３３５は、再生位置の移動にも使用できる。
時点Ｔ２の画面の下段には、３種類のボタンが配置されている。ボタン３３６は、元音声などの再生ボタンである。ボタン３３７は、ユーザが収集した音素材の置き換え等の指示に用いるボタンである。図８の場合、ボタン３３７は録音ボタンである。ボタン３３８は、編集済みオーディオブックの再生の指示に用いるボタンである。図８の場合、ボタン３３８は繰り返し再生ボタンである。
図８では、ユーザが、左端のボタン３３６を操作している。

図９は、置き換え等が可能でない領域が再生されている時点Ｔ３と置き換え等が可能な領域が再生されている時点Ｔ４の画面の例を説明する図である。
時点Ｔ３はステップ１６で否定結果が得られた場合に対応し、時点Ｔ４はステップ１７に対応する。
図９の場合、「昔話１」は、童話の「赤ずきん」である。
時点Ｔ３の画面では、既に再生が開始してから時間が経過しているので、スライダ３３５は時間軸３３４の中央付近まで移動している。時点Ｔ３には、登場人物である赤ずきんの台詞３３９があり、端末３０からは対応する音声が出力されている。ここでの台詞３３９は、「あら、おばあさん、なんておおきなおてて」である。
本実施の形態の場合、時点Ｔ３の台詞３３９は、置き換え等ができない台詞として登録されている。このため、端末３０の表示画面には、台詞３３９の内容を表す文字列が、基準とする太さとサイズで表示されている。

時点Ｔ４は、時点Ｔ３の直後である。時点Ｔ４の画面では、登場人物であるおおかみの台詞３４０があり、対応する音声が出力されている。ここでの台詞３４０は、「おまえが、よくつかめるようにさ」である。本実施の形態の場合、時点Ｔ４の台詞３４０は、置き換え等が可能な台詞として登録されているが、ユーザが置き換え等の指示をしなければ、台詞３４０はそのまま出力される。実際、図９では端末３０から台詞３４０に対応する音声が出力されている。
端末３０の表示画面には、台詞３４０が、置き換え等が可能であることをユーザに知らせる態様で表示される。図９の場合、台詞３４０は太い文字に変更され、同時に、台詞３４０の背後に楕円形状のマーク３４１が追加されている。このマーク３４１等の存在により、ユーザは、置き換え等が可能な台詞であることを知ることができる。

図１０は、置き換えの指示を受け付けた場合に表示される画面の例を説明する図である。図１０には、図９の時点Ｔ４の画面との対応部分に対応する符号を付して示している。
ここでは、ユーザが、ボタン３３７を操作している。ユーザによるボタン３３７の操作により、端末３０は、音素材の入力を待機する状態になる。図１０では、端末３０のマイク３０６（図２参照）で子供の音声を録音する場合を想定している。このため、台詞３４０に対応する音声の出力が停止されている。端末３０からの音声の出力を停止するのは、端末３０から出力される音声が子供の音声と一緒に録音されないようにするためである。
なお、端末３０からの音声の出力の停止は、ボタン３３７が操作された以降である。換言すると、ボタン３３７が操作されるまでは、図９に示したように、置き換え等が可能な台詞３４０に対応する音声が端末３０から出力される。
図１０の例では、子供がおおかみの台詞３４０を発声しており、この音声が端末３０に記録される。因みに、子供の音声の取得に、音収集装置４０（図１参照）を用いてもよい。

図１１は、置き換えの指示を受け付けた場合に表示される画面の他の例を説明する図である。図１１には、図１０との対応部分に対応する符号を付して示している。
図１１に示す画面も時点Ｔ４における台詞３４０の置き換えである点で図１０と共通するが、音素材の取得の時点と置き換え編集の時点とが異なる点で図１０と異なっている。
図１１の場合、置き換えが可能であることを、マーク３４１（図１０参照）ではなく文字列３４１Ａで示している。
また、画面の中下段には、端末３０や不図示の音収集装置４０（図１参照）等を用いて過去に収録された音素材の候補の一覧３４２が表示されている。図１１の場合、候補は３つである。一覧３４２には、個々の候補に対応するファイル名と、選択ボタンと、内容の確認に用いる再生用のボタンとが配置されている。
ここでの候補は、音素材加工モジュール３２３（図４参照）による加工が施された音素材でもよい。

図１１に示す候補のファイル名には、録音の日時と配役の情報が含まれ、音の内容の識別が可能になっている。なお、同日に録音された同じ配役の台詞を区別するため、ファイル名の末尾には通し番号も付されている。例えば１つ目の候補は、２０１９年３月７日の１９時６分に録音された音素材であり、おおかみの１つ目の台詞であることが分かる。なお、通し番号の意味は、録音日における録音の順番でもよい。
図１１の例のように、ファイル名に配役の情報が含まれている場合、端末３０は、ユーザが置き換えを指示した領域部分の台詞３４０に対応する配役に関する音素材を選択的に表示することも可能である。
また、通し番号が置き換え可能な領域部分を表している場合、端末３０は、ピンポイントで関連する音素材を選択的に表示することができる。

図１１に示すファイル名では、配役の情報が含まれているが、配役に代えて又は配役と一緒に音素材の録音場所を示す情報が含まれていてもよい。例えば自宅、公園等がファイル名に含まれていてもよい。この他、ファイル名には、誰の声かを示す情報や録音時における子供の年齢が含まれてもよい。もっとも、これらの情報は、ファイルに付属する情報にのみ含まれていてもよい。
図１１の例では、２つ目の候補の選択ボタンにチェックマークが付いている。
この状態で決定ボタン３４４が操作されると、編集の対象になっている領域部分についての置き換えが完了する。なお、戻るボタン３４３が操作された場合には、例えば編集前の画面に戻る。

図１２は、音の追加が可能な領域部分で表示される画面の例を説明する図である。図１２には、図８の時点Ｔ２の画面との対応部分に対応する符号を付して示している。
図１２の画面は、前述したいずれとも異なる時点Ｔ５に対応する。
本実施の形態における時点Ｔ５は、音の挿入（すなわち音の追加）が可能である領域部分である。このため、台詞等は存在しない。
図１２においては、音の追加が可能であることを説明文３４５と特徴的なマーク３４６とで表現している。
この時点Ｔ５では、音を追加してみたいと思ったユーザ又は子供がボタン３３７を操作している。

図１３は、音の追加の指示を受け付けた場合に表示される画面の例を説明する図である。図１３には、図１１との対応部分に対応する符号を付して示している。
図１３の場合、音の挿入が可能であることが文字列３４１Ｂで示されている。
また、画面の中下段には、端末３０や不図示の音収集装置４０（図１参照）等を用いて過去に収録された音素材の候補の一覧３４７が表示されている。図１３の場合、候補は３つである。一覧３４７には、個々の候補に対応するファイル名と、選択ボタンと、内容の確認に用いる再生用のボタンとが配置されている。
図１３のファイル名には、録音の日時と録音場所の情報が含まれている。例えば１つ目の候補は、２０１９年３月７日の１４時２３分に公園で録音された音素材であることが分かる。
図１３の例では、１つ目の候補の選択ボタンにチェックマークが付いている。
この状態で決定ボタン３４４が操作されると、編集の対象になっている領域部分への音素材の挿入が完了する。なお、戻るボタン３４３が操作された場合には、例えば編集前の画面に戻る。
なお、図１０の場合と同様に、ボタン３３７が操作されると、その場の音が録音され、対応する領域に収録された音を挿入してもよい。音が挿入されたオーディオブックは、編集済みオーディオブックとして記憶ユニット３０２（図２参照）に記録される。

図１４は、置き換え等が可能な領域とユーザが実際に置き換え等を指示した領域との関係を説明する図である。（Ａ）はオーディオブック内に予め定められている置き換え等が可能な領域の配置を示し、（Ｂ）はユーザが実際に置き換え等を指示した領域を示す。
図１４の場合、置き換え可能な領域は１０箇所あるが、そのうちで、ユーザが音素材の挿入を指示した領域は１つであり、ユーザが音素材の置き換えを指示した領域は２つである。置き換え等が可能な領域のうち残りの領域には、元音声等がそのまま残ることになる。

なお、置き換え等が可能な領域は、特定の配役の台詞とは無関係に定めることが可能である。このため、子供は自分が興味をもった台詞等だけを選択的に置き換え等することができる。この特徴により、本実施の形態におけるオーディオブックでは、子供の成長の過程で、幾つもの編集済みオーディオブックを生成することが可能になる。例えば子供が小さいうちは動物の鳴き声しか置き換えられていないが、子供の成長とともに次第に長い台詞も置き換えられた編集済みオーディオブックを記録して残すことができる。換言すると、成長の過程を記録することが可能になる。また、成長に伴う興味の移り変わりを、置き換え等が指示される領域の違いとして記録することが可能になる。
因みに、本実施の形態におけるオーディオブックの場合には、置き換え等が可能な領域部分が事前に定められているので、ユーザや子供は、収集する音に集中することができる。

図７の説明に戻る。
オーディオブックの再生が終わった場合（すなわちステップ２０で肯定結果が得られた場合）、制御ユニット３０１（図２参照）は、再生中に置き換え等があったか否かを判定する（ステップ２１）。
ステップ２１で否定結果が得られた場合、制御ユニット３０１は、そのまま処理を終了する。置き換え等が可能な領域がないオーディオブックを再生したのと同じであるためである。

一方、ステップ２１で肯定結果が得られた場合、制御ユニット３０１は、置き換え等の編集の結果を反映した編集済みオーディオブックにファイル名を付けて保存する（ステップ２２）。本実施の形態の場合、編集済みオーディオブックのファイル名は、元のファイル名と編集作業日とで構成されている。
本実施の形態の場合、編集済みオーディオブックの保存が終了すると、保存されたばかりの編集済みオーディオブックが自動的に１回再生される。この再生は、保存内容の確認用である。なお、繰り返し再生用のボタン３３８（図１２参照）が操作されると、編集済みオーディオブックの再生が繰り返される。

＜オーディオブックの再生＞
以下では、編集済みオーディオブックの再生時に表示される画面の例を説明する。
図１５は、再生するオーディオブックの選択画面の例を示す図である。
図１５には、図８との対応部分に対応する符号を付して示している。
図１５の場合、端末３０の画面には、選択可能なオーディオブックの例として、「昔話１」、「昔話１ 2019-03-07」、「昔話１ 2018-12-25」、「昔話１ 2016-05-11」が表示されている。このうち「昔話１」は編集前のオーディオブックであり、他の３つは「昔話１」を編集した日が異なる編集済みオーディオブックである。
図１５では、「昔話１ 2019-03-07」の選択ボタンにチェックマークが付いている。

図１６は、置き換えが可能な領域にユーザが置き換えた音素材がある場合と無い場合を説明する図である。（Ａ）はユーザが置き換えた音素材がない場合を示し、（Ｂ）はユーザが置き換えた音素材がある場合を示す。
図１６に示す画面は時点Ｔ４に対応する。（Ａ）に示す画面は、編集前のオーディオブックの再生時に表示される画面（図９の時点Ｔ４参照）に対応する。

（Ａ）に示す画面が図９の時点Ｔ４と異なる点は、タイトル３３３Ａのファイル名である。編集前のオーディオブックのファイル名は「昔話１」であるが、図１６の場合は、編集後のオーディオブックであるので、ファイル名は編集日を加えた「昔話１ 2019-03-07」である。
編集済みオーディオブックを再生する場合も、置き換えが可能な台詞３４０の位置では、図９の場合と同様に、置き換えが可能であることが、マーク３４１や太い文字での表示によって提示される。
一方、ユーザにより置き換えられた音素材がある場合（（Ｂ）の画面）、録音者や録音されている声を発声した子供を表現する顔アイコン３５１と、再生されている音素材のファイル名３５２とが画面に追加される。

ここでの顔アイコン３５１とファイル名３５２は、ユーザが置き換えた音素材が無い場合（（Ａ）の画面）には現れない表示である。
このため、顔アイコン３５１等の表示を確認したユーザは、置き換えられている音素材の内容を、視覚的にも確認することができる。
勿論、端末３０からは、元音声の代わりに、置き換えられた音素材の再生音が出力される。ここでは、「おまえが、よくつかめるようにさ」との台詞が子供の声で発声される。

図１７は、挿入が可能な領域にユーザが挿入した音素材がある場合と無い場合を説明する図である。（Ａ）はユーザが挿入した音素材がない場合を示し、（Ｂ）はユーザが挿入した音素材がある場合を示す。
図１７に示す画面は時点Ｔ５に対応する。（Ａ）に示す画面は、編集前のオーディオブックの再生時に表示される画面（図１２参照）に対応する。
図１７の場合も、（Ａ）に示す画面が図１２と異なる点は、タイトル３３３Ａのファイル名である。編集前のオーディオブックのファイル名は「昔話１」であるが、図１７の場合は、編集後のオーディオブックであるので、ファイル名は編集日を加えた「昔話１ 2019-03-07」である。

編集済みオーディオブックを再生する場合も、挿入が可能な位置では、図１２の場合と同様に、挿入が可能であることが、説明文３４５と特徴的なマーク３４６の表示によって提示される。
ところで、ユーザにより置き換えられた音素材がある場合（（Ｂ）の画面）、画面上には、録音者や録音されている声を発声した子供を表現する顔アイコン３５１と、再生されている音素材のファイル名３５２が追加で表示される。
図１７の例では、落ち葉を踏む音である「ザクッ」という音が端末３０から出力されている。

既に音素材が挿入されている場合にも、音素材が挿入されていない場合（（Ａ）の画面）と同じ文面の説明文３４５を表示することも可能である。
ただし、図１７では、音の置き換えが可能であることを示す別の説明文３５３が画面に表示されている。
この表示を見たユーザは、再生中の音とは別の音への置き換えが可能であることを認識することができる。

＜他の実施の形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は、前述の実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

例えば前述の実施の形態においては、端末３０（図１参照）を、又は、端末３０と音収集装置４０（図１参照）の組み合わせを、音声情報置き換えシステムの一例として説明したが、オーディオファイル管理サーバ２０（図１参照）を音声情報置き換えシステムの一例として機能させることも可能である。この場合、端末３０と音収集装置４０は単なる入出力装置として機能する。なお、前述したモジュールの一部をオーディオファイル管理サーバ２０で実行し、残りを端末３０で実行することも可能である。この場合には、オーディオファイル管理サーバ２０と端末３０とが音声情報置き換えシステムの一例となる。

前述の実施の形態においては、編集済みオーディオブックは記憶ユニット３０２（図２参照）に記録されているが、オーディオファイル管理サーバ２０（図１参照）、その他のインターネット１０（図１参照９）上のサーバに保存してもよい。
前述の実施の形態では、置き換えが可能な領域部分が台詞の場合を例示しているが、置き換えが可能な領域は、台詞の部分に限らない。

１…ネットワークシステム、１０…インターネット、２０…オーディオファイル管理サーバ、３０…端末、４０…音収集装置、３２１…音素材収集案内モジュール、３２２…音素材記憶モジュール、３２３…音素材加工モジュール、３２４…オーディオブック取得モジュール、３２５…オーディオブック再生モジュール、３２６…置き換え可能領域等提示モジュール、３２７…置き換え指示受付モジュール、３２８…音素材挿入受付モジュール、３２９…編集済みオーディオブック保存モジュール

Claims (4)

1. ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する取得手段と、
   ユーザが収集した複数の音を識別可能な状態で記録する収集音記録手段と、
   前記音声情報ファイルに含まれる元音声をユーザの端末で再生する再生手段と、
   再生される元音声のうち、ユーザによる置き替えが可能な置き換え領域について、ユーザが認識可能となるように出力するとともに、当該置き換え領域のうちユーザが指定した領域部分の元音声を、ユーザが収集した前記複数の音のうちユーザが指定する任意の音で置き換えることを可能とする置き換え手段と、
   を備え、
   前記収集音記録手段は、スタンプラリーの要領で、素材となる音の収集を促す案内を提示する
   ことを特徴とする音声情報置き換えシステム。
2. ユーザが置き換え可能な前記領域は、台詞以外の音の挿入又は置き換えが可能な位置を示す、ことを特徴とする請求項１に記載の音声情報置き換えシステム。
3. ユーザが指定した前記置き換え領域における前記元音声を、ユーザが指定する前記任意の音で置き換えた置き換え音声情報を記録する置き換え後音声記録手段と、を更に備え、
   前記置き換え後音声記録手段に記録された前記置き換え音声情報は、再生中に、音が録音された場所、録音者を表す画像、録音されている声の主を表す画像、及び、子供の年齢のうち、少なくとも１つを識別できる状態でユーザに示されることを特徴とする請求項１記載の音声情報置き換えシステム。
4. コンピュータに、
   ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する機能と、
   ユーザが収集した複数の音を識別可能な状態で記録する機能と、
   スタンプラリーの要領で、素材となる音の収集を促す案内を提示する機能と、
   前記音声情報ファイルに含まれる元音声をユーザの端末で再生する機能と、
   再生される元音声のうち、ユーザによる置き替えが可能な置き換え領域について、ユーザが認識可能となるように出力するとともに、当該置き換え領域に対してユーザが指定した領域部分の元音声を、ユーザが収集した前記複数の音のうちユーザが指定する任意の音で置き換えることを可能とする機能と、
   を実現させるプログラム。