JP7341024B2 - 音声情報置き換えシステム及びプログラム - Google Patents

音声情報置き換えシステム及びプログラム Download PDF

Info

Publication number
JP7341024B2
JP7341024B2 JP2019183814A JP2019183814A JP7341024B2 JP 7341024 B2 JP7341024 B2 JP 7341024B2 JP 2019183814 A JP2019183814 A JP 2019183814A JP 2019183814 A JP2019183814 A JP 2019183814A JP 7341024 B2 JP7341024 B2 JP 7341024B2
Authority
JP
Japan
Prior art keywords
replacement
button
audio
screen
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019183814A
Other languages
English (en)
Other versions
JP2021060484A (ja
Inventor
奈津子 榎本
昌美 長谷川
彩乃 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Gas Co Ltd
Original Assignee
Tokyo Gas Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Gas Co Ltd filed Critical Tokyo Gas Co Ltd
Priority to JP2019183814A priority Critical patent/JP7341024B2/ja
Publication of JP2021060484A publication Critical patent/JP2021060484A/ja
Priority to JP2023080621A priority patent/JP2023096017A/ja
Priority to JP2023080620A priority patent/JP7470844B2/ja
Priority to JP2023080619A priority patent/JP2023096015A/ja
Application granted granted Critical
Publication of JP7341024B2 publication Critical patent/JP7341024B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本発明は、音声情報置き換えシステム及びプログラムに関する。
従来、映画などの物語の画面に合わせて台詞や音楽などを録音するアフターレコーディング(いわゆるアフレコ)技術が存在する。
例えば特許文献1には、物語との一体感を楽しみながら、声優を純粋に体験するための装置の例が記載されている。この装置には、プレーヤが選択した配役以外の音声を再生する機能と、プレーヤが選択した配役が発声するタイミングで、プレーヤが選択した配役の台詞に対応するテロップだけを表示する機能とが設けられている。このため、プレーヤは、テロップに合わせて発声するだけで、アフレコを体験できる。なお、表示画面には、アニメ、ドラマ等の動画が表示されるので、プレーヤは、物語との一体感を楽しむことができる。
特開2006-346284号公報
前述の装置は、プレーヤが選択した配役とプレーヤが選択していない配役を区別し、それぞれについて台詞の再生とテロップの出力を制御する。このため、プレーヤが選択した配役の台詞をプレーヤが発声しなければ、該当箇所の台詞は欠落した状態になる。
アフレコの技術は、昔話などを録音したオーディオブックにも応用されている。オーディオブックは、子供の年齢に応じて様々な楽しみ方ができる。例えば小さい子供が、興味のある台詞や音を再生音に合わせて発声する様子は微笑ましく、録音された子供の声は親子の楽しい思い出になる。また、少し大きくなった子供であれば、わざと台詞を変えて発声する様子を成長の記録として残すことができる。このように子供の音声の録音は、家族の思い出であると同時に、子供の成長の記録ともなる。
ところで、知育教材としてのオーディオブックには、声の録音を指示するボタンは用意されていても、録音の開始後に録音操作を取り消すボタンや録音操作の取り消し時に取り消し前までに録音された音を自動的に削除する機能等は設けられていない。このため、ユーザは、事後的に編集画面を開いて不要な録音を探し出し、不要な録音を削除する必要がある。また、不要な録音が保存されたままであると、目的とする録音を探し出す妨げにもなり、音声を置き換える作業全体の効率性を低下させる一因になる。
また、オーディオブックには、置き換え可能な台詞をユーザに通知する機能は設けられているが、置き換え可能な領域のオーディオブックの中での位置関係や置き換えられた領域の数等をユーザが確認できる仕組みが存在しない。このため、置き換え用の音声が録音されていない領域を調べるのは容易でない。結果的に、ユーザによる音声を置き換える作業全体の効率性を高める仕組みが求められる。
本発明は、音の置き換えが可能な領域に対する音声の置き換えに関する作業性を高めることを目的とする。
請求項1に記載の発明は、ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する取得手段と、前記音声情報ファイルに含まれる元音声を再生する再生手段と、元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する提示手段と、を備え、置き換えが可能な前記領域の再生中に、置き換えのスキップを指示する第1のボタンの操作が検知された場合、置き換えを促す表示を画面上から消去する音声情報置き換えシステムである。
請求項に記載の発明は、置き換えが可能な前記領域の再生中に、音の録音を指示する第2のボタンの操作が検知されている場合でも、前記第1のボタンの操作が検知されたときには、録音処理を終了して当該第2のボタンの操作後に録音された音を消去する、請求項に記載の音声情報置き換えシステムである。
請求項に記載の発明は、前記第1のボタンの操作が検知された後は、置き換えが可能な他の領域の再生が始まっても、置き換えを促す前記表示を画面に出力しない、請求項又はに記載の音声情報置き換えシステムである。
請求項4に記載の発明は、コンピュータに、ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する機能と、前記音声情報ファイルに含まれる元音声を再生する機能と、元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する機能と、を実現させるためのプログラムであり、置き換えが可能な前記領域の再生中に、置き換えのスキップを指示する第1のボタンの操作が検知された場合、置き換えを促す表示を画面上から消去する、プログラムである。
請求項1記載の発明によれば、ユーザが置き換えを望まない領域では、ユーザの意思に反する表示を画面上から消すことができる。
請求項記載の発明によれば、音の録音を指示するボタンを操作した後でも録音された音声を削除できる。
請求項記載の発明によれば、置き換えの意思を有しないユーザには置き換えを促す表示を出力しないようにできる。
請求項4記載の発明によれば、ユーザが置き換えを望まない領域では、ユーザの意思に反する表示を画面上から消すことができる。
実施の形態で想定するネットワークシステムの概要を説明する図である。 実施の形態で使用する端末の構成例を示す図である。 端末を構成する制御ユニットの機能構成を説明する図である。 ダウンロードされたオーディオブックを編集する場合に実行される処理動作の例を示すフローチャートである。 オーディオブックを選択する時点T1とオーディオブックの再生の指示を受け付ける時点T2の画面の例を説明する図である。 置き換え等が可能でない領域が再生されている時点T3と置き換え等が可能な領域が再生されている時点T4の画面の例を説明する図である。 置き換えの指示を受け付けた場合に表示される画面の例を説明する図である。 置き換えの指示を受け付けた場合に表示される画面の他の例を説明する図である。 音の追加が可能な領域部分で表示される画面の例を説明する図である。 音の追加の指示を受け付けた場合に表示される画面の例を説明する図である。 置き換え等が可能な領域とユーザが実際に置き換え等を指示した領域との関係を説明する図である。(A)はオーディオブック内に予め定められている置き換え等が可能な領域の配置を示し、(B)はユーザが実際に置き換え等を指示した領域を示す。 置き換えが可能な領域を含むオーディオブックの再生が開始された直後の画面の表示例を説明する図である。 置き換えが可能な領域の一部に既に録音があるオーディオブックの再生が選択された場合の画面の表示例を説明する図である。 先頭から5番目の吹き出しが人差し指でタップされる様子を説明する図である。 置き換えが可能な領域の再生が開始された直後の画面の表示例を説明する図である。 置き換えが可能な領域の再生中にスキップボタンが操作される様子を説明する図である。 スキップボタンの操作後の画面の表示例を説明する図である。 置き換えが可能な領域の再生中に録音ボタンが操作される様子を説明する図である。 録音ボタンの操作後に表示される画面の表示例を説明する図である。 録音中にスキップボタンが操作される様子を説明する図である。 録音ボタンが操作されてから予め定めた時間が経過した後の画面の表示例を説明する図である。 停止ボタンの操作後に表示される画面の表示例を説明する図である。 オーディオブックの再生が終了した時点でユーザが録音を行った領域が1つでも存在する場合に自動的に表示される画面の例を説明する図である。 作成されたオリジナルのオーディオブックを保存する領域をユーザが指定する場合に用いられる画面の例を説明する図である。 作成されたオーディオブックの保存の終了後等に表示される画面の表示例を示す図である。
以下、図面を参照して、本発明の実施の形態を説明する。
<実施の形態>
<システムの全体構成>
図1は、実施の形態で想定するネットワークシステム1の概要を説明する図である。
図1に示すネットワークシステム1は、インターネット10に接続されたオーディオファイル管理サーバ20と、ユーザが操作する端末30とで構成されている。
本実施の形態におけるオーディオファイル管理サーバ20は、本等を朗読する音声をデータとして記録したファイル(以下「オーディオファイル」という)を配信用に管理するサーバである。オーディオファイル管理サーバ20は、コンピュータを基本構成とする。図1の場合、オーディオファイル管理サーバ20は1台であるが、複数台の装置が協働してオーディオファイル管理サーバ20として動作してもよい。
本実施の形態では、ユーザとの間で取引の単位となるオーディオファイルを総称してオーディオブックともいう。オーディオブックは、1つのオーディオファイルで構成される場合もあれば、複数のオーディオファイルで構成される場合もある。
本実施の形態では、登場人物の台詞等で話が展開されるオーディオブックの類を音物語という。音物語には、例えば昔話や童話がある。
また、オーディオファイル管理サーバ20が配信するオーディオブックには、ユーザが自由に音を挿入することが可能な領域部分、又は、元の音と置き換えが可能な領域部分を示す情報が付属されているものとする。
ここでのオーディオブックは、音声情報ファイルの一例である。また、本実施の形態の場合、音を挿入することが可能な領域と音の置き換えが可能な領域とを区別して説明するが、音を挿入する処理は、無音の領域を有音の領域に置き換える処理である。このため、音を挿入することが可能な領域は、広義には、音の置き換えが可能な領域の一例である。
挿入が可能な領域部分又は置き換えが可能な領域部分が定められているオーディオブックは、編集が可能な音物語のファイルの一例である。以下では、ユーザによる音の挿入や音の置き換えの前のファイルに収録されている音声を元の音声又は元音声という。
どの領域部分を挿入が可能な領域部分とするか、又は、置き換えが可能な領域部分とするかは、オーディオブックを配信する側が事前に定めている。ここでの領域部分の多くは台詞である。もっとも、ユーザによる音の挿入や置き換えが可能な領域部分は、オーディオブックに現れる台詞の全てである必要はなく、特定の登場人物の台詞に限定される必要もない。また、ユーザによる音の挿入や置き換えが可能な領域部分は、ナレーションの一部分でもよい。
本実施の形態における端末30は、オーディオブックをダウンロードするユーザが主に操作するスマートフォン、タブレット端末、オーディオプレーヤ、ノートパソコン等である。
端末30には、インターネット10を介してオーディオファイル管理サーバ20にアクセスし、前述したオーディオブックをダウンロードすることが可能な機能が設けられている。もっとも、オーディオファイル管理サーバ20との接続は、他の機器を介して実現されてもよい。本実施の形態の場合、端末30は、音声情報置き換えシステムの一例である。
<端末30の構成>
図2は、実施の形態で使用する端末30の構成例を示す図である。
本実施の形態における端末30は、装置全体の動作を制御する制御ユニット301と、データを記録する不揮発性の記憶ユニット302と、ユーザインタフェース画面等の表示に用いられる表示ユニット303と、ユーザの操作を受け付ける操作受付ユニット304と、電気信号を音として再生するスピーカ305と、音を電気信号に変換するマイク306と、通信インタフェース(=通信IF)307とを有している。
本実施の形態における制御ユニット301は、CPU(=Central Processing Unit)311と、ファームウェア等が記録されたROM(=Read Only Memory)312と、ワークエリアとして用いられるRAM(=Random Access Memory)313とを有している。
制御ユニット301は、いわゆるコンピュータとして機能する。なお、ROM312は、不揮発性の書き換え可能な半導体メモリである。
記憶ユニット302は、不揮発性の書き換え可能な半導体メモリ等によって構成される。記憶ユニット302には、例えばオーディオブックのデータやマイク306で収録された音のデータ等が保存される。
表示ユニット303は、例えば液晶ディスプレイや有機ELディスプレイで構成される。表示ユニット303には、ユーザによる操作を支援する情報が表示される。
操作受付ユニット304は、例えば表示ユニット303の表面に配置されるタッチセンサ、筐体に配置されるスイッチ、ボタンで構成される。
通信インタフェース307は、例えば無線LAN(=Local Area Network)、ブルートゥース(登録商標)、移動通信規格に準拠した無線装置である。
因みに、制御ユニット301と各ユニット等とは、バス308や不図示の信号線を通じて接続されている。
なお、不図示であるが、端末30には、位置情報を取得するGPS(=Global Positioning System)センサ、地磁気センサ、加速度センサ、動画像や静止画像を撮像するカメラ等が実装されている。ここでの位置情報は、音が収録された場所の記録にも使用される。
<端末30の機能構成>
図3は、端末30を構成する制御ユニット301の機能構成を説明する図である。
図3に示す機能モジュールは、CPU311(図2参照)によるプログラムの実行を通じて実現される。なお、図3に示す機能モジュールは、制御ユニット301が実行するプログラムの一例である。
図3に示すプログラムの1つには、オーディオファイル管理サーバ20(図1参照)からオーディオブックを取得するオーディオブック取得モジュール321がある。取得の対象であるオーディオブックは、端末30(図1参照)の操作画面を通じてユーザが指定する。なお、オーディオブックは、オーディオファイル管理サーバ20から取得する以外に、記憶ユニット302(図2参照)から取得する場合もある。オーディオブック取得モジュール321は、取得手段の一例である。
図3に示すプログラムの1つには、オーディオブックを再生するオーディオブック再生モジュール322がある。
本実施の形態の場合、オーディオブック再生モジュール322によるオーディオブックの再生には、元音声の再生と編集済みのオーディオブックの再生との2種類があり、各再生に応じたボタンが表示ユニット303(図2参照)に表示される。オーディオブック再生モジュール322は、再生手段の一例である。
図3に示すプログラムの1つには、オーディオブックのうちユーザが収集した音による置き換えが可能な又は挿入が可能な領域部分をユーザに提示する置き換え可能領域等提示モジュール323がある。
ここでの置き換え可能領域等提示モジュール323は、表示ユニット303(図2参照)に表示される台詞等の表示の態様を、置き換えが可能な台詞等と置き換えできない台詞等とで区別する。
例えば置き換えできない台詞等は、基準とする太さとサイズで表示されるのに対し、置き換えが可能な台詞等については太字で表示される。また例えば置き換えできない台詞等は黒色の文字で表示されるのに対し、置き換えが可能な台詞等については赤色の文字で表示される。また例えば置き換えできない台詞等にはマークが付かないのに対し、置き換えが可能な台詞等には特徴的なマークが追加的に表示される。
また、置き換え可能領域等提示モジュール323は、ユーザが収集した音の挿入が可能とされている領域部分で、その旨を示すマーク等を表示ユニット303に表示する。
また、置き換え可能な領域部分や挿入が可能な領域部分の提示は、予め定めた特定の音の出力によってもよい。例えばブザー等で該当位置を知らせてもよい。
図3に示すプログラムの1つには、ユーザによる置き換え指示を受け付ける置き換え指示受付モジュール324がある。
本実施の形態の場合、置き換えの指示には、録音ボタンの操作を使用する。置き換え指示を受け付けた場合、元音声の出力は停止され、音声等の録音や事前に収録された音素材の選択が可能な状態になる。録音ボタンは第2のボタンの一例である。
なお、その場で音声等を録音する場合と音素材を選択的に指定する場合とで別々のボタンを用意してもよいし、録音ボタンを1回タップするか2回タップするかで操作を切り替えられるようにしてもよい。音素材を選択的に指定する場合には、選択の指示を受け付けるまで、オーディオブックの再生も停止される。なお、録音の停止には、停止ボタンの操作を使用する。停止ボタンは、第3のボタンの一例である。もっとも、置き換えの対象になった台詞の元音声での再生時間の終了後に自動的に録音を停止する仕組みとすることも可能である。
図3に示すプログラムの1つには、ユーザによる音素材の挿入指示を受け付ける音素材挿入受付モジュール325がある。
本実施の形態の場合、音素材の挿入指示にも、録音ボタンの操作を使用する。音素材の挿入指示を受け付けた場合も、音声等の録音や事前に収録された音素材の選択が可能な状態になる。
音素材の挿入についても、その場で音声等を録音する場合と音素材を選択的に指示する場合とがある。操作の仕方は、置き換え指示の場合と同様である。
以下では、音素材の置き換えと挿入を総称する場合、「置き換え等」ともいう。
図3に示すプログラムの1つには、音素材の置き換えや挿入による編集が加えられたオーディオブック(以下「編集済みオーディオブック」という)を記憶ユニット302(図2参照)に記録する編集済みオーディオブック保存モジュール326がある。
編集済みオーディオブックは、編集前のオーディオブックとは別に作成される。従って、編集前のオーディオブックは、編集前の状態のまま保存される。本実施の形態の場合、編集済みオーディオブックのファイル名には、保存の日時等が自動的に挿入される。このように保存された複数の編集済みオーディオブックは、子供の成長の履歴として残すことが可能になる。もっとも、ファイル名は事後的に編集してもよい。
図3に示すプログラムの1つには、ユーザによる音声の置き換え等を支援する支援情報提示モジュール327がある。
本実施の形態における支援情報提示モジュール327は、録音ボタンや録音の停止ボタンの操作とは別に、ユーザによる音声の置き換え等の進行を支援する情報を表示ユニット303に提示する機能である。
本実施の形態における「ユーザによる音声の置き換え等の進行を支援する情報」は、録音ボタンのように置き換え等を直接的に指示するための情報ではなく、置き換え等に関する作業の効率化に寄与する情報をいう。換言すると、置き換え等の作業全体に対する進行の把握や進行の促進に貢献する情報をいう。ここでの効率化には、目的とする効果の実現のために必要となる工数の削減や作業に要する時間の削減も含まれる。
本実施の形態の場合、ユーザによる音声の置き換え等の進行を支援する情報として、例えば置き換えが可能な領域に対する音声の置き換えのスキップを指示するボタン(以下「スキップボタン」という)、置き換え可能な領域の総数と置き換え済みの領域の数、元音声に対応する時間軸上での置き換え可能な領域の位置や置き換え済みの領域の位置、元音声の再生中に音声の置き換えが1箇所でも行われた場合に表示される保存先の選択画面等を用意する。
これらの情報の提示により、ユーザによる音声の置き換え等の進行に関する作業の効率化が実現される。
ここでの支援情報提示モジュール327は、提示手段の一例である。また、スキップボタンは第1のボタンの一例である。
<処理動作の例1>
ここでは、端末30(図1参照)に備えられている機能モジュールのうち支援情報提示モジュール327(図3参照)以外の機能モジュールにより実現される処理動作について説明する。
<オーディオブックの編集>
図4は、ダウンロードされたオーディオブックを編集する場合に実行される処理動作の例を示すフローチャートである。なお、図中のSは、ステップを意味する。
制御ユニット301(図2参照)は、ユーザによる特定の操作を検知すると、オーディオブックの選択を受け付ける(ステップ1)。特定の操作の一例には、ダウンロードしたオーディオブックが一覧表示される画面上での選択の指示がある。
選択の指示を受け付けた制御ユニット301は、選択されたオーディオブックに置き換え等が可能な領域があるか否かを判定する(ステップ2)。置き換え等が可能な領域の有無は、オーディオブックに付属する情報から識別が可能である。
ステップ2で否定結果が得られた場合、制御ユニット301は、オーディオブックの再生の指示を受け付けてオーディオブックの再生を開始する(ステップ3)。
オーディオブックの再生が開始されると、制御ユニット301は、再生の終了か否かを判定する(ステップ4)。
ステップ4で否定結果が得られている間、制御ユニット301は、オーディオブックの再生を継続する。この場合は、置き換え等が可能な領域がないので、オーディオブックの音声がそのまま再生される。
ステップ4で肯定結果が得られると、オーディオブックの再生が終了する。
一方、ステップ2で肯定結果が得られた場合、制御ユニット301は、オーディオブックの再生の指示を受け付けてオーディオブックの再生を開始する(ステップ5)。
この後、制御ユニット301は、再生中の位置が、置き換え等が可能な領域か否かを判定する(ステップ6)。
ステップ6で否定結果が得られている間、制御ユニット301は、判定を繰り返す。
ステップ6で肯定結果が得られると、制御ユニット301は、置き換え等が可能な領域であることをユーザに提示する(ステップ7)。
続いて、制御ユニット301(図2参照)は、置き換え等の指示を受け付けたか否かを判定する(ステップ8)。
本実施の形態の場合、制御ユニット301は、録音ボタンの操作が検知されたか否かを判定する。
ステップ8で否定結果が得られた場合、制御ユニット301は、ステップ6に戻り、オーディオブックの再生を継続する。
一方、ステップ8で肯定結果が得られた場合、制御ユニット301は、音素材を受け付ける(ステップ9)。
この後、制御ユニット301は、再生の終了か否かを判定する(ステップ10)。
ステップ10で否定結果が得られている間、制御ユニット301は、ステップ6に戻り、オーディオブックの再生を継続する。
ステップ1からステップ10までに対応する表示画面の例を図5~図11に示す。
図5は、オーディオブックを選択する時点T1とオーディオブックの再生の指示を受け付ける時点T2の画面の例を説明する図である。
時点T1はステップ1に対応し、時点T2はステップ5に対応する。
時点T1の画面には、選択可能なオーディオブックの例として「昔話1」、「昔話2」、「昔話3」が表示され、それぞれに隣接して選択ボタンが表示されている。なお、図5では、「昔話1」の選択ボタンにチェックマークが付いている。この状態で決定ボタン332が操作された後の画面が時点T2の画面である。
図5の場合、時点T2の画面の上段には、タイトル333と、時間軸334と、再生位置を表すスライダ335とが表示されている。時点T2では、再生が開始されていないので、スライダ335は原点である左端に位置している。なお、スライダ335は、再生位置の移動にも使用できる。
時点T2の画面の下段には、3種類のボタンが配置されている。ボタン336は、元音声などの再生ボタンである。ボタン337は、ユーザが収集した音素材の置き換え等の指示に用いるボタンである。図5の場合、ボタン337は録音ボタンである。ボタン338は、編集済みオーディオブックの再生の指示に用いるボタンである。図5の場合、ボタン338は繰り返し再生ボタンである。
図5では、ユーザが、左端のボタン336を操作している。
図6は、置き換え等が可能でない領域が再生されている時点T3と置き換え等が可能な領域が再生されている時点T4の画面の例を説明する図である。
時点T3はステップ6で否定結果が得られた場合に対応し、時点T4はステップ7に対応する。
図6の場合、「昔話1」は、童話の「赤ずきん」である。
時点T3の画面では、既に再生が開始してから時間が経過しているので、スライダ335は時間軸334の中央付近まで移動している。時点T3には、登場人物である赤ずきんの台詞339があり、端末30からは対応する音声が出力されている。ここでの台詞339は、「あら、おばあさん、なんておおきなおてて」である。
本実施の形態の場合、時点T3の台詞339は、置き換え等ができない台詞として登録されている。このため、端末30の表示画面には、台詞339の内容を表す文字列が、基準とする太さとサイズで表示されている。
時点T4は、時点T3の直後である。時点T4の画面では、登場人物であるおおかみの台詞340があり、対応する音声が出力されている。ここでの台詞340は、「おまえが、よくつかめるようにさ」である。
本実施の形態の場合、時点T4の台詞340は、置き換え等が可能な台詞として登録されているが、ユーザが置き換え等の指示をしなければ、台詞340はそのまま出力される。実際、図6では端末30から台詞340に対応する音声が出力されている。
端末30の表示画面には、台詞340が、置き換え等が可能であることをユーザに知らせる態様で表示される。図6の場合、台詞340は太い文字に変更され、同時に、台詞340の背後に楕円形状のマーク341が追加されている。このマーク341等の存在により、ユーザは、置き換え等が可能な台詞であることを知ることができる。
図7は、置き換えの指示を受け付けた場合に表示される画面の例を説明する図である。図7には、図6の時点T4の画面との対応部分に対応する符号を付して示している。
ここでは、ユーザが、ボタン337を操作している。ユーザによるボタン337の操作により、端末30は、音素材の入力を待機する状態になる。図7では、端末30のマイク306(図2参照)で子供の音声を録音する場合を想定している。このため、台詞340に対応する音声の出力が停止されている。端末30からの音声の出力を停止するのは、端末30から出力される音声が子供の音声と一緒に録音されないようにするためである。
なお、端末30からの音声の出力の停止は、ボタン337が操作された以降である。換言すると、ボタン337が操作されるまでは、図6に示したように、置き換え等が可能な台詞340に対応する音声が端末30から出力される。
図7の例では、子供がおおかみの台詞340を発声しており、この音声が端末30に記録される。
図8は、置き換えの指示を受け付けた場合に表示される画面の他の例を説明する図である。図8には、図7との対応部分に対応する符号を付して示している。
図8に示す画面も時点T4における台詞340の置き換えである点で図7と共通するが、音素材の取得の時点と置き換え編集の時点とが異なる点で図7と異なっている。
図8の場合、置き換えが可能であることを、マーク341(図7参照)ではなく文字列341Aで示している。
また、画面の中下段には、端末30等を用いて過去に収録された音素材の候補の一覧342が表示されている。図8の場合、候補は3つである。一覧342には、個々の候補に対応するファイル名と、選択ボタンと、内容の確認に用いる再生用のボタンとが配置されている。
図8に示す候補のファイル名には、録音の日時と配役の情報が含まれ、音の内容の識別が可能になっている。なお、同日に録音された同じ配役の台詞を区別するため、ファイル名の末尾には通し番号も付されている。例えば1つ目の候補は、2019年3月7日の19時6分に録音された音素材であり、おおかみの1つ目の台詞であることが分かる。なお、通し番号の意味は、録音日における録音の順番でもよい。
図8の例のように、ファイル名に配役の情報が含まれている場合、端末30は、ユーザが置き換えを指示した領域部分の台詞340に対応する配役に関する音素材を選択的に表示することも可能である。
また、通し番号が置き換え可能な領域部分を表している場合、端末30は、ピンポイントで関連する音素材を選択的に表示することができる。
図8に示すファイル名では、配役の情報が含まれているが、配役に代えて又は配役と一緒に音素材の録音場所を示す情報が含まれていてもよい。例えば自宅、公園等がファイル名に含まれていてもよい。この他、ファイル名には、誰の声かを示す情報や録音時における子供の年齢が含まれていてもよい。もっとも、これらの情報は、ファイルに付属する情報にのみ含まれていてもよい。
図8の例では、2つ目の候補の選択ボタンにチェックマークが付いている。
この状態で決定ボタン344が操作されると、編集の対象になっている領域部分についての置き換えが完了する。なお、戻るボタン343が操作された場合には、例えば編集前の画面に戻る。
図9は、音の追加が可能な領域部分で表示される画面の例を説明する図である。図9には、図7の時点T4の画面との対応部分に対応する符号を付して示している。
図9の画面は、前述したいずれとも異なる時点T5に対応する。
本実施の形態における時点T5は、音の挿入(すなわち音の追加)が可能である領域部分である。このため、台詞等は存在しない。
図9においては、音の追加が可能であることを説明文346と特徴的なマーク345とで表現している。
この時点T5では、音を追加してみたいと思ったユーザ又は子供がボタン337を操作している。
図10は、音の追加の指示を受け付けた場合に表示される画面の例を説明する図である。図10には、図8との対応部分に対応する符号を付して示している。
図10の場合、音の挿入が可能であることが文字列341Bで示されている。
また、画面の中下段には、端末30等を用いて過去に収録された音素材の候補の一覧347が表示されている。図10の場合、候補は3つである。一覧347には、個々の候補に対応するファイル名と、選択ボタンと、内容の確認に用いる再生用のボタンとが配置されている。
図10のファイル名には、録音の日時と録音場所の情報が含まれている。例えば1つ目の候補は、2019年3月7日の14時23分に公園で録音された音素材であることが分かる。
図10の例では、1つ目の候補の選択ボタンにチェックマークが付いている。
この状態で決定ボタン344が操作されると、編集の対象になっている領域部分への音素材の挿入が完了する。なお、戻るボタン343が操作された場合には、例えば編集前の画面に戻る。
なお、図9の場合と同様に、ボタン337が操作されると、その場の音が録音され、対応する領域に収録された音を挿入してもよい。音が挿入されたオーディオブックは、編集済みオーディオブックとして記憶ユニット302(図2参照)に記録される。
図11は、置き換え等が可能な領域とユーザが実際に置き換え等を指示した領域との関係を説明する図である。(A)はオーディオブック内に予め定められている置き換え等が可能な領域の配置を示し、(B)はユーザが実際に置き換え等を指示した領域を示す。
図11の場合、置き換え可能な領域は10箇所あるが、そのうちで、ユーザが音素材の挿入を指示した領域は1つであり、ユーザが音素材の置き換えを指示した領域は2つである。置き換え等が可能な領域のうち残りの領域には、元音声等がそのまま残ることになる。
なお、置き換え等が可能な領域は、特定の配役の台詞とは無関係に定めることが可能である。このため、子供は自分が興味をもった台詞等だけを選択的に置き換え等することができる。この特徴により、本実施の形態におけるオーディオブックでは、子供の成長の過程で、幾つもの編集済みオーディオブックを生成することが可能になる。例えば子供が小さいうちは動物の鳴き声しか置き換えられていないが、子供の成長とともに次第に長い台詞も置き換えられた編集済みオーディオブックを記録して残すことができる。換言すると、成長の過程を記録することが可能になる。また、成長に伴う興味の移り変わりを、置き換え等が指示される領域の違いとして記録することが可能になる。
因みに、本実施の形態におけるオーディオブックの場合には、置き換え等が可能な領域部分が事前に定められているので、ユーザや子供は、収集する音に集中することができる。
図4の説明に戻る。
オーディオブックの再生が終わった場合(すなわちステップ10で肯定結果が得られた場合)、制御ユニット301(図2参照)は、再生中に置き換え等があったか否かを判定する(ステップ11)。
ステップ11で否定結果が得られた場合、制御ユニット301は、そのまま処理を終了する。置き換え等が可能な領域がないオーディオブックを再生したのと同じであるためである。
一方、ステップ11で肯定結果が得られた場合、制御ユニット301は、置き換え等の編集の結果を反映した編集済みオーディオブックにファイル名を付けて保存する(ステップ12)。本実施の形態の場合、編集済みオーディオブックのファイル名は、元のファイル名と編集作業日とで構成されている。
本実施の形態の場合、編集済みオーディオブックの保存が終了すると、保存されたばかりの編集済みオーディオブックが自動的に1回再生される。この再生は、保存内容の確認用である。なお、繰り返し再生用のボタン338(図5参照)が操作されると、編集済みオーディオブックの再生が繰り返される。
<処理動作の例2>
以下では、端末30(図1参照)に備えられている機能モジュールのうち支援情報提示モジュール327(図3参照)に特有の処理動作について説明する。
以下では、置き換え可能な領域が設定されているオーディオブックの再生中に端末30の表示ユニット303(図2参照)に表示される画面に着目して説明する。
なお、処理動作の例1では、童話の一例として「赤ずきん」を使用したが、以下では、童話の一例として「おおきなかぶ」を使用する。
<再生の開始時の表示>
図12は、置き換えが可能な領域を含むオーディオブックの再生が開始された直後の画面の表示例を説明する図である。
図12は、表示ユニット303に表示される画像の一部分を表している。図12に示す画面の表示は、ステップ5(図4参照)に対応する。
図12の場合、表示ユニット303の中央には、オーディオブックに対応する物語の内容が表示される表示部400が設けられている。表示部400には、タイトル401が表示されている。本実施の形態の場合、表示部400には、物語の内容が静止画や動画像の形式で表示される。もっとも、表示部400には、物語の内容が文字で表示されてもよい。
表示部400の下部には、物語の再生時間を示す時間軸410が配置されている。時間軸410には現在の再生位置を表すスライダ411が示されている。図12の場合、再生の開始直後であるのでスライダ411は、先頭位置に対応する左端に位置する。
図12の場合、音声の置き換えが可能な領域は、マイクの絵で表現された吹き出し412で表されている。吹き出し412は、時間軸410に沿って10個配置されている。このマイクの絵の吹き出し412の表示は、支援情報提示モジュール327(図3参照)により実現される。
吹き出し412が表示されることで、ユーザは、置き換え可能な領域が10個あることを知ることができる。
本実施の形態の場合、吹き出し412の色や形状は、録音済みの領域か否かによって変化する。録音済みの領域か否かにより吹き出し412の色や形状が変化すると、ユーザは、どの領域の台詞が録音済みか録音済みでないかを即座に把握することができる。録音された領域の数が表示されるだけでは、録音済みの位置まで分からないが、吹き出し412の色や形状が変化すれば、録音済みの位置まで確認が可能になる。
図12における吹き出し412の表示は、いずれも音声の置き換えが済んでいないことを表している。このことは、表示部400の左側に配置されるカウンタ420の表示によっても確認できる。カウンタ420は、マイクのマークとカウント値で構成される。カウント値は、置き換え可能な領域の総数を表す分母と、音声が録音された領域の数を表す分子で構成される。
図12の場合、分母の数値は「10」、分子の数値は「0」である。このカウンタ420の表示も、支援情報提示モジュール327により実現される。
カウンタ420の表示により、ユーザは、置き換え可能な領域の数が10個あること、音声が録音された領域の数が0個であることを容易に知ることができる。
なお、分子の数値は、音声が録音された領域の数が増えるたびにカウントアップされる。音声が録音された領域の数の増加は、ユーザに達成感を与え、録音したいという意欲を高める効果も期待できる。
因みに、分子の数値は、領域を単位でカウントされる。従って、ある領域に対応する録音の個数が複数でも、分子の数値は「1」とカウントされる。
また、ユーザは、スライダ411の位置と吹き出し412の位置との関係により、置き換え可能な領域の再生が近づいているか否かを容易に予測できる。置き換え可能な領域の再生が近いことを事前に知ることができることで、ユーザは慌てることなく録音を開始できる。
結果的に、置き換えが可能な領域に音声を録音するために再生位置を戻す等の作業の回数が低減され、置き換えに関する作業性の向上が実現される。
図13は、置き換えが可能な領域の一部に既に録音があるオーディオブックの再生が選択された場合の画面の表示例を説明する図である。図13には、図12との対応部分に対応する符号を付して示している。
図13に示す画面も、置き換えが可能な領域を含むオーディオブックの再生が開始された直後の状態を表している。違いは、先頭から5番目と7番目の吹き出し412で示される位置以外の領域の表示の色が変更されている点とカウンタ420の表示が「8/10」に変更されている点である。
以上の表示の確認により、ユーザは、先頭から1番目から4番目、6番目、8番目から10番目の領域に録音の記録があることを即座に理解することができる。
また、置き換える音声が録音されていない領域があることが分かると、該当する領域についてピンポイントで声を録音してみようかなという動機づけをユーザに与えることができる。
因みに、処理動作の例1で説明した表示では、置き換える音声が録音されている領域であるか否かをユーザが知ることができない。このため、ユーザは、オーディオブックを再生するたびに気になった領域に音を録音することになる。
一方、図13の場合には、音声が録音されていない領域がピンポイントで分かるので、該当する吹き出し412を画面上でタップするだけで、該当する部分における音声の録音を開始することができる。
図14は、先頭から5番目の吹き出し412が人差し指でタップされる様子を説明する図である。図14には、図13との対応部分に対応する符号を付して示している。
ユーザによる吹き出し412のタップの後、表示部400には、先頭から5番目の吹き出し412に対応する場面の画像が表示され、オーディオブックの再生が再開される。このため、ユーザは、効率的に希望する音声を録音することができる。
本実施の形態の場合、吹き出し412がタップされた場合におけるジャンプ先は、タップされた吹き出し412に対応する位置の少し前の位置になる。この場合、タップされた吹き出し412の位置からいきなり再生が開始されないので、録音ボタンを操作するための時間的な余裕が生じる。もっとも、タップされた吹き出し412に対応する位置にジャンプしてもよい。
なお、スライダの移動によっても再生位置をジャンプさせることは可能であるが、吹き出し412が表示されていない場合には、希望の位置の探索の手間が大きくなる。
吹き出し412に対応する位置へのジャンプは、ダブルタップを条件としてもよい。この場合、シングルタップを、吹き出し412に対応する台詞の全部又は一部の表示に用いてもよい。
台詞の全部又は一部の表示により、録音したい台詞か否かを事前に確認することが可能になる。台詞を事前に確認することができれば、録音を希望する台詞を探す目的で、再生位置のジャンプを繰り返す必要がなくなり、音声の置き換えの作業の効率的に進めることができる。
なお、再生位置のジャンプのためにタップされる吹き出し412は、音声が録音されていない領域に限らない。すなわち、既に音声が録音されている領域に対応する吹き出し412のタップも可能である。既に音声が録音されている領域でも、別の音声の録音を希望する場合もあるためである。
<置き換え可能領域の再生中の表示>
図15は、置き換えが可能な領域の再生が開始された直後の画面の表示例を説明する図である。図15に示す画面の表示は、ステップ7(図4参照)に対応する。
図15の場合、画面全体の色調が変化して、置き換え可能な領域であることを示している。なお、処理動作の例1では、該当する台詞340(図7参照)の背景や表記が変更されていた。図15の場合は、画面全体の色調を変更することで、置き換えが可能な領域であることにユーザを気づかせ易くしている。もっとも、処理動作の例1と同様に、該当する台詞340(図7参照)の部分の表示だけを変更することも可能である。
図15に示す画面には、録音ボタン402と、操作を促すメッセージ403、台詞430が表示されている。また、表示部400の右側には、上段側から下方に、画面を閉じるためのボタン441、ヘルプボタン442、スキップボタン443が配置されている。
図15の場合、メッセージ403には「ボタンをおしてね」と表記され、録音ボタン402の操作がユーザに求められている。録音ボタン402が操作されると録音が開始される。
台詞430では、2行目の「おおきくなあれ あまくなあれ」の表記の色が上下の行と異なっており、2行目の台詞が録音の対象であることが示されている。なお、1行目は再生中であるのでハイライト表示され、これから再生が開始される2行目と3行目の輝度は1行目より低く表示されている。
本実施の形態の場合、図15に示す画面は、置き換えが可能な領域のたびに表示されるが、対応する台詞の置き換えをユーザが希望しない場合がある。
この場合でも、録音ボタン402を操作しなければ録音は開始されないが、表示部400に表示されていた静止画や動画像が録音ボタン402やメッセージ403で隠れるのをユーザが好ましく思わない場合も考えられる。
そのような場合に用いるのがスキップボタン443である。
図16は、置き換えが可能な領域の再生中にスキップボタン443が操作される様子を説明する図である。図16には、図15との対応部分に対応する符号を付して示している。図16には、ユーザが指でスキップボタン443をタップする様子が描かれている。
スキップボタン443の操作が検出された場合、ステップ8(図4参照)で否定結果が得られる。なお、スキップボタン443が操作された場合には、該当する領域の再生が終了するまでの間、ステップ6の処理において否定結果が出力される。
図17は、スキップボタン443の操作後の画面の表示例を説明する図である。図17の場合、表示の画面は、本来の画像の表示に戻っている。このため、ユーザは、画像を楽しむことができる。勿論、元音声の再生が継続される。
ところで、音声の録音を中止したい場合は、録音を開始する前に限らない。例えば録音ボタン402(図15参照)を操作して録音を開始したが、子供が嫌がったため、録音を中止する場合も考えられる。以下では、この状況を図18~図20を用いて説明する。
図18は、置き換えが可能な領域の再生中に録音ボタン402が操作される様子を説明する図である。図18には、図15との対応部分に対応する符号を付して示している。図18には、ユーザが指で録音ボタン402をタップする様子が描かれている。
図19は、録音ボタン402の操作後に表示される画面の表示例を説明する図である。図19には、図18との対応部分に対応する符号を付して示している。なお、図19に示す画面の表示は、ステップ9(図4参照)に対応する。
録音ボタン402が操作されたことにより、表示部400にはマイク型のアイコン404と録音中を示すメッセージ403Aが表示される。メッセージ403Aには「ろくおんちゅう・・・」と表記される。また、台詞430の2行目の表記は、台詞の発声のタイミングに応じて表記が変更される。図19の例では「おおきくな」までの表記が変更され、発声すべき部分が示されている。
本来であれば、この状況でユーザの音声が録音されることになるが、前述したように子供が発声を嫌がる場合がある。
子供が発声を嫌がる場合に、ユーザが録音の停止ボタンを操作すると、録音ボタン402がタップされた以降の音が端末30に保存される。しかし、保存された音は、不完全な録音の結果、又は、使用の意図がない音である。このため、ユーザは、オーディオブックの再生が終了した後に改めて該当する音を探し出して削除する必要がある。
しかし、そのような作業は手間であり、ユーザの負担となる。
図20は、録音中にスキップボタン443が操作される様子を説明する図である。図20には、図19との対応部分に対応する符号を付して示している。図20には、ユーザが指でスキップボタン443をタップする様子が描かれている。
なお、図20に示す画面は、ステップ9(図4参照)の強制的な終了に対応する。
スキップボタン443が操作されると、録音が中止され、図17に示す画面に表示が切り替わる。この後、元音声の再生が再開される。なお、スキップボタン443が操作された場合の元音声の再開は、台詞の全体でもよいし、スキップボタン443がタップされた時点で再生が終わっていない台詞でもよい。
本実施の形態の場合、スキップボタン443が操作されると、録音ボタン402が操作された以降に録音された音声も自動的に消去される。このため、オーディオブックの再生の終了後に、改めて置き換えに使用しない音声を削除する手間を省くことができる。この意味で、音声の置き換えの作業の効率化が実現される。
以上説明したように、スキップボタン443は、機能の実行をキャンセル又は無効化するボタンとして機能する。
なお、本実施の形態の場合、一度でもスキップボタン443が操作されると、その操作以降は、置き換えが可能な領域の再生が開始されても、図15に示したような録音をユーザに促す表示は行われない。
子供が嫌がったために録音をスキップする場合には、次回以降の録音可能領域でも録音ができない可能性が高く、むしろその都度、録音を促す画面が表示されると、録音をスキップする作業が煩雑になるためである。
なお、録音を促す表示が行われない場合でも、録音したい台詞の吹き出し412をユーザがタップした場合には、再び、録音を促す画面が表示される。
また、スキップボタン443の操作の影響が及ぶ領域は、スキップの操作が検出された領域に限定することも可能である。スキップの操作の影響が及ぶ影響の切り替えは、アプリケーションプログラムの設定にて切り替えられることが望ましい。
因みに、録音ボタン402が操作されてから予め定めた時間が経過すると、表示部400の表示は、録音を停止するための画面に切り替わる。
図21は、録音ボタン402が操作されてから予め定めた時間が経過した後の画面の表示例を説明する図である。図21には、図19との対応部分に対応する符号を付して示している。
図21に示す画面には停止ボタン406とユーザに求める操作を表すメッセージ407が表示される。メッセージ407には「ろくおんがおわったらボタンをおしてね」と、録音を終了する操作が示される。
なお、録音の対象である台詞の再生が終わるタイミングで自動的に録音が終了される仕組みを採用することも可能である。しかし、その仕組みを採用する場合には、ユーザの発声が終わっていても録音の状態が継続し、意図せぬ音まで置き換え用の音声として録音される可能性がある。その場合、ユーザは、録音のやり直しや録音された音を削除する作業を行う必要がある。
一方、本実施の形態の場合には、停止ボタン406の操作により、録音が終了されるので、意図せぬ音が録音される可能性を低減できる。
本実施の形態の場合、録音された音声は、その録音時間によらず、対応する台詞の元音声の全体と置き換えられるように再生される。すなわち、ユーザが停止ボタン406を操作するまでの録音時間が、置き換え可能な台詞の元音声の再生時間よりも短い場合でも、元音声の一部が再生されることはない。このため、録音のやり直しの必要がなく、置き換えに関する作業性の向上が実現される。
図22は、停止ボタン406(図21参照)の操作後に表示される画面の表示例を説明する図である。図22には、図12との対応部分に対応する符号を付して示している。
本実施の形態の場合、置き換えが可能な領域における録音が終了する毎に画面450が表示される。画面450には、「やったね!」、「ろくおんできたよ!」、「さあ、つぎのろくおんにチャレンジしてみよう!」等のメッセージが表示される。画面450は、子供のヤル気を高める目的で表示される。「はい」の表記を有するボタン451が操作されると、画面450は閉じられ、元音声の再生が再開される。
なお、画面450の左側に位置するカウンタ420のカウント値は1つカウントアップされている。例えば図21のカウンタ420の分子の表記は「0」であったが、図22のカウンタ420の分子の表記は「1」に変更されている。
処理動作の例1の場合には、録音が成功しても、置き換えが可能な領域のうちの幾つ目の録音に成功したかが不明であるが、本例の場合には、録音が成功した領域の数を具体的な数値で確認できる。換言すると、録音されていない領域の数を知ることもできる。これにより、ヤル気を高めることができる。
<再生の終了時の表示>
最後に、オーディオブックの再生の終了時の表示例を説明する。
図23は、オーディオブックの再生が終了した時点でユーザが録音を行った領域が1つでも存在する場合に自動的に表示される画面の例を説明する図である。図23には、図12との対応部分に対応する符号を付して示している。
図23の画面は、作成されたオーディオブックの保存が自動的に実行される場合を前提とする。例えばユーザが子供の場合、オーディオブックの再生が終わるたびに保存するか否かの確認を求める画面を表示しても操作に困る場合もある。
そこで、図23では、保存自体は端末30が自動的に実行し、保存の事実を画面460で通知する。
図23の場合、オリジナルのオーディオブックが作成されて保存されたことをユーザに伝える画面460が表示されている。画面460には、「おめでとう!!」、「つくったほんをほんだなについかしたよ!」等のメッセージが表示される。なお、「ほんだなへ」の表記を有するボタン461が操作されると、画面460は閉じられ、オーディオブックが保存されている本棚と呼ばれる保存領域を管理する画面に切り替わる。
本実施の形態の場合、オリジナルのオーディオブックの作成には、既に存在するオーディオブックの一部に変更を加えた場合も含まれる。
図23の場合、カウンタ420の分子は「8」である。このため、ユーザは、作成されたオーディオブックでは、置き換えが可能な10個の領域のうちの8個について音声が録音されていることを確認することもできる。
図24は、作成されたオリジナルのオーディオブックを保存する領域をユーザが指定する場合に用いられる画面の例を説明する図である。図24には、図23との対応部分に対応する符号を付して示している。
なお、図24に示す画面470は、「ほんだなへ」の表記を有するボタン461(図23参照)が操作された場合に表示されてもよい。
作成されたオーディオブックの自動保存は便利な機能であるが、異なるユーザのオーディオブックが1つの保存先に混在する場合など、ユーザが希望するオーディオブックをなかなか見つけられないことも考えられる。
そこで、図24では、保存先をユーザが指定するための画面470を用意している。
図24に示す画面470には、ユーザに求める操作を示す「ほんだなをえらんでね」とのメッセージと、保存先の候補である「ほんだな」、「たろう」、「はなこ」の名称が付けられたフォルダが配置されている。また、画面470には、「へんこう」の表記を有するボタン471、「ついか」の表記を有するボタン472も配置されている。
本実施の形態の場合、「ほんだな」フォルダは、ユーザが購入したオーディオブックの保存用であり、「たろう」フォルダは、太郎君の音声で置き換えられたオーディオブックの保存用であり、「はなこ」フォルダは、花子さんの音声で置き換えられたオーディオブックの保存用である。
図24の場合、「たろう」フォルダが保存先として選択されている。保存先を変更したい場合には、ボタン471を操作すると、選択されているフォルダが順番に変更される。なお、ボタン472が操作されると、作成されたオーディオブックが選択されているフォルダに保存される。
図25は、作成されたオーディオブックの保存の終了後等に表示される画面の表示例を示す図である。
図25には、図13との対応部分に対応する符号を付して示している。
図25に示す画面は、オーディオブックの再生が終了した時点であるので、スライダ411は時間軸410の右端まで達している。
また、音声が録音された領域が存在するため、先頭から5番目と7番目の吹き出し412で示される位置以外の領域の表示の色が録音の存在を示す色に変更され、同時にカウンタ420の表示が「8/10」に変更されている。
この表示により、ユーザは、今回作成されたオーディオブックにおける録音の結果を視覚的に確認できる。
<他の実施の形態>
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は、前述の実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態においては、端末30(図1参照)を音声情報置き換えシステムの一例として説明したが、オーディオファイル管理サーバ20(図1参照)を音声情報置き換えシステムの一例として機能させることも可能である。この場合、端末30と音収集装置40は単なる入出力装置として機能する。なお、前述したモジュールの一部をオーディオファイル管理サーバ20で実行し、残りを端末30で実行することも可能である。この場合には、オーディオファイル管理サーバ20と端末30とが音声情報置き換えシステムの一例となる。
前述の実施の形態においては、編集済みオーディオブックは記憶ユニット302(図2参照)に記録されているが、オーディオファイル管理サーバ20(図1参照)、その他のインターネット10(図1参照)上の不図示のサーバに保存してもよい。
前述の実施の形態では、置き換えが可能な領域部分が台詞の場合を例示しているが、置き換えが可能な領域は、台詞の部分に限らない。
前述の実施の形態においては、音声情報ファイルの一例として音物語を例示しているが、前述した技術は、元音声の置き換えが可能な領域が事前に設定されている学習用の教材の再生にも応用が可能である。ここでの学習用の教材には、言語学習用の教材がある。なお、前述した音物語も、言語学習用の教材の一種である。
言語学習用の教材を使用する学習者の年齢に対する制約はないが、例えば幼児から小学生程度の言語学習に用いることで、楽しく学ぶという習慣の習得への効果が期待される。
なお、語学学習用の教材は、英語その他の外国語の学習用に限らず、日本語の学習用でもよい。学習の目的は様々であるが、例えばひらがな、単語、ことわざ、歌、早口言葉、名言等の学習がある。
また、教材の形式は、物語の形式に限らず、お手本となる音声が再生される箇所とお手本を真似る発音の箇所とで構成される形式、質問と質問に対する答えを発音する形式等も含まれる。
1…ネットワークシステム、10…インターネット、20…オーディオファイル管理サーバ、30…端末、321……オーディオブック取得モジュール、322…オーディオブック再生モジュール、323…置き換え可能領域等提示モジュール、324…置き換え指示受付モジュール、325…音素材挿入受付モジュール、326…編集済みオーディオブック保存モジュール、327…支援情報提示モジュール

Claims (4)

  1. ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する取得手段と、
    前記音声情報ファイルに含まれる元音声を再生する再生手段と、
    元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する提示手段と、
    を備え、
    置き換えが可能な前記領域の再生中に、置き換えのスキップを指示する第1のボタンの操作が検知された場合、置き換えを促す表示を画面上から消去する音声情報置き換えシステム。
  2. 置き換えが可能な前記領域の再生中に、音の録音を指示する第2のボタンの操作が検知されている場合でも、前記第1のボタンの操作が検知されたときには、録音処理を終了して当該第2のボタンの操作後に録音された音を消去する、請求項に記載の音声情報置き換えシステム。
  3. 前記第1のボタンの操作が検知された後は、置き換えが可能な他の領域の再生が始まっても、置き換えを促す前記表示を画面に出力しない、請求項又はに記載の音声情報置き換えシステム。
  4. コンピュータに、
    ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する機能と、
    前記音声情報ファイルに含まれる元音声を再生する機能と、
    元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する機能と、
    実現させるためのプログラムであり、
    置き換えが可能な前記領域の再生中に、置き換えのスキップを指示する第1のボタンの操作が検知された場合、置き換えを促す表示を画面上から消去する、プログラム
JP2019183814A 2019-10-04 2019-10-04 音声情報置き換えシステム及びプログラム Active JP7341024B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019183814A JP7341024B2 (ja) 2019-10-04 2019-10-04 音声情報置き換えシステム及びプログラム
JP2023080621A JP2023096017A (ja) 2019-10-04 2023-05-16 音声情報置き換えシステム及びプログラム
JP2023080620A JP7470844B2 (ja) 2019-10-04 2023-05-16 音声情報置き換えシステム及びプログラム
JP2023080619A JP2023096015A (ja) 2019-10-04 2023-05-16 音声情報置き換えシステム及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019183814A JP7341024B2 (ja) 2019-10-04 2019-10-04 音声情報置き換えシステム及びプログラム

Related Child Applications (3)

Application Number Title Priority Date Filing Date
JP2023080621A Division JP2023096017A (ja) 2019-10-04 2023-05-16 音声情報置き換えシステム及びプログラム
JP2023080620A Division JP7470844B2 (ja) 2019-10-04 2023-05-16 音声情報置き換えシステム及びプログラム
JP2023080619A Division JP2023096015A (ja) 2019-10-04 2023-05-16 音声情報置き換えシステム及びプログラム

Publications (2)

Publication Number Publication Date
JP2021060484A JP2021060484A (ja) 2021-04-15
JP7341024B2 true JP7341024B2 (ja) 2023-09-08

Family

ID=75381788

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2019183814A Active JP7341024B2 (ja) 2019-10-04 2019-10-04 音声情報置き換えシステム及びプログラム
JP2023080619A Pending JP2023096015A (ja) 2019-10-04 2023-05-16 音声情報置き換えシステム及びプログラム
JP2023080621A Pending JP2023096017A (ja) 2019-10-04 2023-05-16 音声情報置き換えシステム及びプログラム
JP2023080620A Active JP7470844B2 (ja) 2019-10-04 2023-05-16 音声情報置き換えシステム及びプログラム

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2023080619A Pending JP2023096015A (ja) 2019-10-04 2023-05-16 音声情報置き換えシステム及びプログラム
JP2023080621A Pending JP2023096017A (ja) 2019-10-04 2023-05-16 音声情報置き換えシステム及びプログラム
JP2023080620A Active JP7470844B2 (ja) 2019-10-04 2023-05-16 音声情報置き換えシステム及びプログラム

Country Status (1)

Country Link
JP (4) JP7341024B2 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002346228A (ja) 2001-05-29 2002-12-03 Namco Ltd 遊戯情報、情報記憶媒体、及び遊戯装置
JP2005198350A (ja) 2005-03-16 2005-07-21 Victor Co Of Japan Ltd アフレコ信号再生方法
JP2006084965A (ja) 2004-09-17 2006-03-30 Advanced Telecommunication Research Institute International 音声データ収集装置および音声データ収集プログラム
JP2008123674A (ja) 1997-09-02 2008-05-29 Sony Corp 記録媒体におけるアフターレコーディング方法及び装置並びにそのデジタル記録媒体の再生方法及び装置
JP2009087135A (ja) 2007-10-01 2009-04-23 Brother Ind Ltd 情報処理装置、複合機および音声データ編集プログラム
JP2010072057A (ja) 2008-09-16 2010-04-02 Winbond Electron Corp 音声の録音と再生方法及び該方法を用いる電子辞書
JP2012100798A (ja) 2010-11-09 2012-05-31 Tomohiro Maki 携帯型ゲーム機
JP2014007561A (ja) 2012-06-25 2014-01-16 Toshiaki Ueno コンテンツ閲覧装置およびコンテンツ提供システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002239220A (ja) 2001-02-16 2002-08-27 Namco Ltd 遊戯情報、遊戯システム及び情報記憶媒体
JP5137031B2 (ja) 2007-10-26 2013-02-06 株式会社国際電気通信基礎技術研究所 台詞音声作成装置、発話音声収録装置、及びコンピュータプログラム
US8548618B1 (en) 2010-09-13 2013-10-01 Audible, Inc. Systems and methods for creating narration audio

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123674A (ja) 1997-09-02 2008-05-29 Sony Corp 記録媒体におけるアフターレコーディング方法及び装置並びにそのデジタル記録媒体の再生方法及び装置
JP2002346228A (ja) 2001-05-29 2002-12-03 Namco Ltd 遊戯情報、情報記憶媒体、及び遊戯装置
JP2006084965A (ja) 2004-09-17 2006-03-30 Advanced Telecommunication Research Institute International 音声データ収集装置および音声データ収集プログラム
JP2005198350A (ja) 2005-03-16 2005-07-21 Victor Co Of Japan Ltd アフレコ信号再生方法
JP2009087135A (ja) 2007-10-01 2009-04-23 Brother Ind Ltd 情報処理装置、複合機および音声データ編集プログラム
JP2010072057A (ja) 2008-09-16 2010-04-02 Winbond Electron Corp 音声の録音と再生方法及び該方法を用いる電子辞書
JP2012100798A (ja) 2010-11-09 2012-05-31 Tomohiro Maki 携帯型ゲーム機
JP2014007561A (ja) 2012-06-25 2014-01-16 Toshiaki Ueno コンテンツ閲覧装置およびコンテンツ提供システム

Also Published As

Publication number Publication date
JP2023096015A (ja) 2023-07-06
JP7470844B2 (ja) 2024-04-18
JP2021060484A (ja) 2021-04-15
JP2023096017A (ja) 2023-07-06
JP2023096016A (ja) 2023-07-06

Similar Documents

Publication Publication Date Title
US20050186548A1 (en) Multimedia interactive role play system
US20090047647A1 (en) System and method for book presentation
US20110246888A1 (en) Interactive Electronic Book Device
JP2006268800A (ja) 議事録作成支援装置、議事録作成支援方法及びプログラム
JP2009036885A (ja) 繰返し学習用情報処理システム及び情報処理方法
JP2003323104A (ja) 語学学習システム
JP3920803B2 (ja) 語学学習装置および語学学習用プログラム
JP7341024B2 (ja) 音声情報置き換えシステム及びプログラム
JP2010002788A (ja) 学習端末、学習プログラム
JP2010002787A (ja) 学習システム、学習端末、学習プログラム
WO2003102897A1 (fr) Procede de production et de reproduction de donnees vocales et procede de soutien de l'apprentissage et de la memorisation
JP7093099B2 (ja) 音声再生装置及び音楽再生プログラム
JP6684376B1 (ja) 音声情報置き換えシステム及びプログラム
US20080159584A1 (en) Information processing apparatus and information processing method
JP2004325905A (ja) 外国語学習装置および外国語学習プログラム
Rodríguez Fernández-Peña Translating intonation and prosody in English-Spanish voice-over: strategies, resources and professional practices
JP6664022B1 (ja) 音物語生成システム及びプログラム
JP6222611B1 (ja) デジタル音声情報記録媒体、プログラムおよび音響再生装置
JP4030021B2 (ja) 択一式クイズゲーム機及びその制御方法
KR100586969B1 (ko) 외국어 교육용 데이터 구조를 기록한 컴퓨터로 읽을 수 있는 기록매체
JP2004037849A (ja) 学習補助装置、学習補助用プログラムおよびそれを記録した記録媒体
Raia Mabanati in search of an author: portable reform texts and multimodal narrative media among Swahili Muslim communities
KR20080089920A (ko) 외국어를 자동 암기하도록 하는 학습저장매체 및 이를이용한 학습기 및 학습방법
JP2000099308A (ja) 電子ブックプレーヤ
KR100988272B1 (ko) 주간 또는 월간으로 발행하는 언어학습지용 언어학습기 및그 장치를 이용한 언어학습방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220620

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230829

R150 Certificate of patent or registration of utility model

Ref document number: 7341024

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150