JP7341024B2 - 音声情報置き換えシステム及びプログラム - Google Patents
音声情報置き換えシステム及びプログラム Download PDFInfo
- Publication number
- JP7341024B2 JP7341024B2 JP2019183814A JP2019183814A JP7341024B2 JP 7341024 B2 JP7341024 B2 JP 7341024B2 JP 2019183814 A JP2019183814 A JP 2019183814A JP 2019183814 A JP2019183814 A JP 2019183814A JP 7341024 B2 JP7341024 B2 JP 7341024B2
- Authority
- JP
- Japan
- Prior art keywords
- replacement
- button
- audio
- screen
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
例えば特許文献1には、物語との一体感を楽しみながら、声優を純粋に体験するための装置の例が記載されている。この装置には、プレーヤが選択した配役以外の音声を再生する機能と、プレーヤが選択した配役が発声するタイミングで、プレーヤが選択した配役の台詞に対応するテロップだけを表示する機能とが設けられている。このため、プレーヤは、テロップに合わせて発声するだけで、アフレコを体験できる。なお、表示画面には、アニメ、ドラマ等の動画が表示されるので、プレーヤは、物語との一体感を楽しむことができる。
アフレコの技術は、昔話などを録音したオーディオブックにも応用されている。オーディオブックは、子供の年齢に応じて様々な楽しみ方ができる。例えば小さい子供が、興味のある台詞や音を再生音に合わせて発声する様子は微笑ましく、録音された子供の声は親子の楽しい思い出になる。また、少し大きくなった子供であれば、わざと台詞を変えて発声する様子を成長の記録として残すことができる。このように子供の音声の録音は、家族の思い出であると同時に、子供の成長の記録ともなる。
また、オーディオブックには、置き換え可能な台詞をユーザに通知する機能は設けられているが、置き換え可能な領域のオーディオブックの中での位置関係や置き換えられた領域の数等をユーザが確認できる仕組みが存在しない。このため、置き換え用の音声が録音されていない領域を調べるのは容易でない。結果的に、ユーザによる音声を置き換える作業全体の効率性を高める仕組みが求められる。
請求項2に記載の発明は、置き換えが可能な前記領域の再生中に、音の録音を指示する第2のボタンの操作が検知されている場合でも、前記第1のボタンの操作が検知されたときには、録音処理を終了して当該第2のボタンの操作後に録音された音を消去する、請求項1に記載の音声情報置き換えシステムである。
請求項3に記載の発明は、前記第1のボタンの操作が検知された後は、置き換えが可能な他の領域の再生が始まっても、置き換えを促す前記表示を画面に出力しない、請求項1又は2に記載の音声情報置き換えシステムである。
請求項4に記載の発明は、コンピュータに、ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する機能と、前記音声情報ファイルに含まれる元音声を再生する機能と、元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する機能と、を実現させるためのプログラムであり、置き換えが可能な前記領域の再生中に、置き換えのスキップを指示する第1のボタンの操作が検知された場合、置き換えを促す表示を画面上から消去する、プログラムである。
請求項2記載の発明によれば、音の録音を指示するボタンを操作した後でも録音された音声を削除できる。
請求項3記載の発明によれば、置き換えの意思を有しないユーザには置き換えを促す表示を出力しないようにできる。
請求項4記載の発明によれば、ユーザが置き換えを望まない領域では、ユーザの意思に反する表示を画面上から消すことができる。
<システムの全体構成>
図1は、実施の形態で想定するネットワークシステム1の概要を説明する図である。
図1に示すネットワークシステム1は、インターネット10に接続されたオーディオファイル管理サーバ20と、ユーザが操作する端末30とで構成されている。
本実施の形態におけるオーディオファイル管理サーバ20は、本等を朗読する音声をデータとして記録したファイル(以下「オーディオファイル」という)を配信用に管理するサーバである。オーディオファイル管理サーバ20は、コンピュータを基本構成とする。図1の場合、オーディオファイル管理サーバ20は1台であるが、複数台の装置が協働してオーディオファイル管理サーバ20として動作してもよい。
本実施の形態では、登場人物の台詞等で話が展開されるオーディオブックの類を音物語という。音物語には、例えば昔話や童話がある。
また、オーディオファイル管理サーバ20が配信するオーディオブックには、ユーザが自由に音を挿入することが可能な領域部分、又は、元の音と置き換えが可能な領域部分を示す情報が付属されているものとする。
ここでのオーディオブックは、音声情報ファイルの一例である。また、本実施の形態の場合、音を挿入することが可能な領域と音の置き換えが可能な領域とを区別して説明するが、音を挿入する処理は、無音の領域を有音の領域に置き換える処理である。このため、音を挿入することが可能な領域は、広義には、音の置き換えが可能な領域の一例である。
どの領域部分を挿入が可能な領域部分とするか、又は、置き換えが可能な領域部分とするかは、オーディオブックを配信する側が事前に定めている。ここでの領域部分の多くは台詞である。もっとも、ユーザによる音の挿入や置き換えが可能な領域部分は、オーディオブックに現れる台詞の全てである必要はなく、特定の登場人物の台詞に限定される必要もない。また、ユーザによる音の挿入や置き換えが可能な領域部分は、ナレーションの一部分でもよい。
端末30には、インターネット10を介してオーディオファイル管理サーバ20にアクセスし、前述したオーディオブックをダウンロードすることが可能な機能が設けられている。もっとも、オーディオファイル管理サーバ20との接続は、他の機器を介して実現されてもよい。本実施の形態の場合、端末30は、音声情報置き換えシステムの一例である。
図2は、実施の形態で使用する端末30の構成例を示す図である。
本実施の形態における端末30は、装置全体の動作を制御する制御ユニット301と、データを記録する不揮発性の記憶ユニット302と、ユーザインタフェース画面等の表示に用いられる表示ユニット303と、ユーザの操作を受け付ける操作受付ユニット304と、電気信号を音として再生するスピーカ305と、音を電気信号に変換するマイク306と、通信インタフェース(=通信IF)307とを有している。
制御ユニット301は、いわゆるコンピュータとして機能する。なお、ROM312は、不揮発性の書き換え可能な半導体メモリである。
記憶ユニット302は、不揮発性の書き換え可能な半導体メモリ等によって構成される。記憶ユニット302には、例えばオーディオブックのデータやマイク306で収録された音のデータ等が保存される。
操作受付ユニット304は、例えば表示ユニット303の表面に配置されるタッチセンサ、筐体に配置されるスイッチ、ボタンで構成される。
通信インタフェース307は、例えば無線LAN(=Local Area Network)、ブルートゥース(登録商標)、移動通信規格に準拠した無線装置である。
因みに、制御ユニット301と各ユニット等とは、バス308や不図示の信号線を通じて接続されている。
なお、不図示であるが、端末30には、位置情報を取得するGPS(=Global Positioning System)センサ、地磁気センサ、加速度センサ、動画像や静止画像を撮像するカメラ等が実装されている。ここでの位置情報は、音が収録された場所の記録にも使用される。
図3は、端末30を構成する制御ユニット301の機能構成を説明する図である。
図3に示す機能モジュールは、CPU311(図2参照)によるプログラムの実行を通じて実現される。なお、図3に示す機能モジュールは、制御ユニット301が実行するプログラムの一例である。
本実施の形態の場合、オーディオブック再生モジュール322によるオーディオブックの再生には、元音声の再生と編集済みのオーディオブックの再生との2種類があり、各再生に応じたボタンが表示ユニット303(図2参照)に表示される。オーディオブック再生モジュール322は、再生手段の一例である。
ここでの置き換え可能領域等提示モジュール323は、表示ユニット303(図2参照)に表示される台詞等の表示の態様を、置き換えが可能な台詞等と置き換えできない台詞等とで区別する。
例えば置き換えできない台詞等は、基準とする太さとサイズで表示されるのに対し、置き換えが可能な台詞等については太字で表示される。また例えば置き換えできない台詞等は黒色の文字で表示されるのに対し、置き換えが可能な台詞等については赤色の文字で表示される。また例えば置き換えできない台詞等にはマークが付かないのに対し、置き換えが可能な台詞等には特徴的なマークが追加的に表示される。
また、置き換え可能領域等提示モジュール323は、ユーザが収集した音の挿入が可能とされている領域部分で、その旨を示すマーク等を表示ユニット303に表示する。
また、置き換え可能な領域部分や挿入が可能な領域部分の提示は、予め定めた特定の音の出力によってもよい。例えばブザー等で該当位置を知らせてもよい。
本実施の形態の場合、置き換えの指示には、録音ボタンの操作を使用する。置き換え指示を受け付けた場合、元音声の出力は停止され、音声等の録音や事前に収録された音素材の選択が可能な状態になる。録音ボタンは第2のボタンの一例である。
なお、その場で音声等を録音する場合と音素材を選択的に指定する場合とで別々のボタンを用意してもよいし、録音ボタンを1回タップするか2回タップするかで操作を切り替えられるようにしてもよい。音素材を選択的に指定する場合には、選択の指示を受け付けるまで、オーディオブックの再生も停止される。なお、録音の停止には、停止ボタンの操作を使用する。停止ボタンは、第3のボタンの一例である。もっとも、置き換えの対象になった台詞の元音声での再生時間の終了後に自動的に録音を停止する仕組みとすることも可能である。
本実施の形態の場合、音素材の挿入指示にも、録音ボタンの操作を使用する。音素材の挿入指示を受け付けた場合も、音声等の録音や事前に収録された音素材の選択が可能な状態になる。
音素材の挿入についても、その場で音声等を録音する場合と音素材を選択的に指示する場合とがある。操作の仕方は、置き換え指示の場合と同様である。
以下では、音素材の置き換えと挿入を総称する場合、「置き換え等」ともいう。
編集済みオーディオブックは、編集前のオーディオブックとは別に作成される。従って、編集前のオーディオブックは、編集前の状態のまま保存される。本実施の形態の場合、編集済みオーディオブックのファイル名には、保存の日時等が自動的に挿入される。このように保存された複数の編集済みオーディオブックは、子供の成長の履歴として残すことが可能になる。もっとも、ファイル名は事後的に編集してもよい。
本実施の形態における支援情報提示モジュール327は、録音ボタンや録音の停止ボタンの操作とは別に、ユーザによる音声の置き換え等の進行を支援する情報を表示ユニット303に提示する機能である。
本実施の形態における「ユーザによる音声の置き換え等の進行を支援する情報」は、録音ボタンのように置き換え等を直接的に指示するための情報ではなく、置き換え等に関する作業の効率化に寄与する情報をいう。換言すると、置き換え等の作業全体に対する進行の把握や進行の促進に貢献する情報をいう。ここでの効率化には、目的とする効果の実現のために必要となる工数の削減や作業に要する時間の削減も含まれる。
これらの情報の提示により、ユーザによる音声の置き換え等の進行に関する作業の効率化が実現される。
ここでの支援情報提示モジュール327は、提示手段の一例である。また、スキップボタンは第1のボタンの一例である。
ここでは、端末30(図1参照)に備えられている機能モジュールのうち支援情報提示モジュール327(図3参照)以外の機能モジュールにより実現される処理動作について説明する。
図4は、ダウンロードされたオーディオブックを編集する場合に実行される処理動作の例を示すフローチャートである。なお、図中のSは、ステップを意味する。
制御ユニット301(図2参照)は、ユーザによる特定の操作を検知すると、オーディオブックの選択を受け付ける(ステップ1)。特定の操作の一例には、ダウンロードしたオーディオブックが一覧表示される画面上での選択の指示がある。
選択の指示を受け付けた制御ユニット301は、選択されたオーディオブックに置き換え等が可能な領域があるか否かを判定する(ステップ2)。置き換え等が可能な領域の有無は、オーディオブックに付属する情報から識別が可能である。
オーディオブックの再生が開始されると、制御ユニット301は、再生の終了か否かを判定する(ステップ4)。
ステップ4で否定結果が得られている間、制御ユニット301は、オーディオブックの再生を継続する。この場合は、置き換え等が可能な領域がないので、オーディオブックの音声がそのまま再生される。
ステップ4で肯定結果が得られると、オーディオブックの再生が終了する。
この後、制御ユニット301は、再生中の位置が、置き換え等が可能な領域か否かを判定する(ステップ6)。
ステップ6で否定結果が得られている間、制御ユニット301は、判定を繰り返す。
ステップ6で肯定結果が得られると、制御ユニット301は、置き換え等が可能な領域であることをユーザに提示する(ステップ7)。
本実施の形態の場合、制御ユニット301は、録音ボタンの操作が検知されたか否かを判定する。
ステップ8で否定結果が得られた場合、制御ユニット301は、ステップ6に戻り、オーディオブックの再生を継続する。
一方、ステップ8で肯定結果が得られた場合、制御ユニット301は、音素材を受け付ける(ステップ9)。
この後、制御ユニット301は、再生の終了か否かを判定する(ステップ10)。
ステップ10で否定結果が得られている間、制御ユニット301は、ステップ6に戻り、オーディオブックの再生を継続する。
図5は、オーディオブックを選択する時点T1とオーディオブックの再生の指示を受け付ける時点T2の画面の例を説明する図である。
時点T1はステップ1に対応し、時点T2はステップ5に対応する。
時点T1の画面には、選択可能なオーディオブックの例として「昔話1」、「昔話2」、「昔話3」が表示され、それぞれに隣接して選択ボタンが表示されている。なお、図5では、「昔話1」の選択ボタンにチェックマークが付いている。この状態で決定ボタン332が操作された後の画面が時点T2の画面である。
時点T2の画面の下段には、3種類のボタンが配置されている。ボタン336は、元音声などの再生ボタンである。ボタン337は、ユーザが収集した音素材の置き換え等の指示に用いるボタンである。図5の場合、ボタン337は録音ボタンである。ボタン338は、編集済みオーディオブックの再生の指示に用いるボタンである。図5の場合、ボタン338は繰り返し再生ボタンである。
図5では、ユーザが、左端のボタン336を操作している。
時点T3はステップ6で否定結果が得られた場合に対応し、時点T4はステップ7に対応する。
図6の場合、「昔話1」は、童話の「赤ずきん」である。
時点T3の画面では、既に再生が開始してから時間が経過しているので、スライダ335は時間軸334の中央付近まで移動している。時点T3には、登場人物である赤ずきんの台詞339があり、端末30からは対応する音声が出力されている。ここでの台詞339は、「あら、おばあさん、なんておおきなおてて」である。
本実施の形態の場合、時点T3の台詞339は、置き換え等ができない台詞として登録されている。このため、端末30の表示画面には、台詞339の内容を表す文字列が、基準とする太さとサイズで表示されている。
本実施の形態の場合、時点T4の台詞340は、置き換え等が可能な台詞として登録されているが、ユーザが置き換え等の指示をしなければ、台詞340はそのまま出力される。実際、図6では端末30から台詞340に対応する音声が出力されている。
端末30の表示画面には、台詞340が、置き換え等が可能であることをユーザに知らせる態様で表示される。図6の場合、台詞340は太い文字に変更され、同時に、台詞340の背後に楕円形状のマーク341が追加されている。このマーク341等の存在により、ユーザは、置き換え等が可能な台詞であることを知ることができる。
ここでは、ユーザが、ボタン337を操作している。ユーザによるボタン337の操作により、端末30は、音素材の入力を待機する状態になる。図7では、端末30のマイク306(図2参照)で子供の音声を録音する場合を想定している。このため、台詞340に対応する音声の出力が停止されている。端末30からの音声の出力を停止するのは、端末30から出力される音声が子供の音声と一緒に録音されないようにするためである。
なお、端末30からの音声の出力の停止は、ボタン337が操作された以降である。換言すると、ボタン337が操作されるまでは、図6に示したように、置き換え等が可能な台詞340に対応する音声が端末30から出力される。
図7の例では、子供がおおかみの台詞340を発声しており、この音声が端末30に記録される。
図8に示す画面も時点T4における台詞340の置き換えである点で図7と共通するが、音素材の取得の時点と置き換え編集の時点とが異なる点で図7と異なっている。
図8の場合、置き換えが可能であることを、マーク341(図7参照)ではなく文字列341Aで示している。
また、画面の中下段には、端末30等を用いて過去に収録された音素材の候補の一覧342が表示されている。図8の場合、候補は3つである。一覧342には、個々の候補に対応するファイル名と、選択ボタンと、内容の確認に用いる再生用のボタンとが配置されている。
図8の例のように、ファイル名に配役の情報が含まれている場合、端末30は、ユーザが置き換えを指示した領域部分の台詞340に対応する配役に関する音素材を選択的に表示することも可能である。
また、通し番号が置き換え可能な領域部分を表している場合、端末30は、ピンポイントで関連する音素材を選択的に表示することができる。
図8の例では、2つ目の候補の選択ボタンにチェックマークが付いている。
この状態で決定ボタン344が操作されると、編集の対象になっている領域部分についての置き換えが完了する。なお、戻るボタン343が操作された場合には、例えば編集前の画面に戻る。
図9の画面は、前述したいずれとも異なる時点T5に対応する。
本実施の形態における時点T5は、音の挿入(すなわち音の追加)が可能である領域部分である。このため、台詞等は存在しない。
図9においては、音の追加が可能であることを説明文346と特徴的なマーク345とで表現している。
この時点T5では、音を追加してみたいと思ったユーザ又は子供がボタン337を操作している。
図10の場合、音の挿入が可能であることが文字列341Bで示されている。
また、画面の中下段には、端末30等を用いて過去に収録された音素材の候補の一覧347が表示されている。図10の場合、候補は3つである。一覧347には、個々の候補に対応するファイル名と、選択ボタンと、内容の確認に用いる再生用のボタンとが配置されている。
図10のファイル名には、録音の日時と録音場所の情報が含まれている。例えば1つ目の候補は、2019年3月7日の14時23分に公園で録音された音素材であることが分かる。
図10の例では、1つ目の候補の選択ボタンにチェックマークが付いている。
この状態で決定ボタン344が操作されると、編集の対象になっている領域部分への音素材の挿入が完了する。なお、戻るボタン343が操作された場合には、例えば編集前の画面に戻る。
なお、図9の場合と同様に、ボタン337が操作されると、その場の音が録音され、対応する領域に収録された音を挿入してもよい。音が挿入されたオーディオブックは、編集済みオーディオブックとして記憶ユニット302(図2参照)に記録される。
図11の場合、置き換え可能な領域は10箇所あるが、そのうちで、ユーザが音素材の挿入を指示した領域は1つであり、ユーザが音素材の置き換えを指示した領域は2つである。置き換え等が可能な領域のうち残りの領域には、元音声等がそのまま残ることになる。
因みに、本実施の形態におけるオーディオブックの場合には、置き換え等が可能な領域部分が事前に定められているので、ユーザや子供は、収集する音に集中することができる。
オーディオブックの再生が終わった場合(すなわちステップ10で肯定結果が得られた場合)、制御ユニット301(図2参照)は、再生中に置き換え等があったか否かを判定する(ステップ11)。
ステップ11で否定結果が得られた場合、制御ユニット301は、そのまま処理を終了する。置き換え等が可能な領域がないオーディオブックを再生したのと同じであるためである。
本実施の形態の場合、編集済みオーディオブックの保存が終了すると、保存されたばかりの編集済みオーディオブックが自動的に1回再生される。この再生は、保存内容の確認用である。なお、繰り返し再生用のボタン338(図5参照)が操作されると、編集済みオーディオブックの再生が繰り返される。
以下では、端末30(図1参照)に備えられている機能モジュールのうち支援情報提示モジュール327(図3参照)に特有の処理動作について説明する。
以下では、置き換え可能な領域が設定されているオーディオブックの再生中に端末30の表示ユニット303(図2参照)に表示される画面に着目して説明する。
なお、処理動作の例1では、童話の一例として「赤ずきん」を使用したが、以下では、童話の一例として「おおきなかぶ」を使用する。
図12は、置き換えが可能な領域を含むオーディオブックの再生が開始された直後の画面の表示例を説明する図である。
図12は、表示ユニット303に表示される画像の一部分を表している。図12に示す画面の表示は、ステップ5(図4参照)に対応する。
図12の場合、表示ユニット303の中央には、オーディオブックに対応する物語の内容が表示される表示部400が設けられている。表示部400には、タイトル401が表示されている。本実施の形態の場合、表示部400には、物語の内容が静止画や動画像の形式で表示される。もっとも、表示部400には、物語の内容が文字で表示されてもよい。
表示部400の下部には、物語の再生時間を示す時間軸410が配置されている。時間軸410には現在の再生位置を表すスライダ411が示されている。図12の場合、再生の開始直後であるのでスライダ411は、先頭位置に対応する左端に位置する。
吹き出し412が表示されることで、ユーザは、置き換え可能な領域が10個あることを知ることができる。
本実施の形態の場合、吹き出し412の色や形状は、録音済みの領域か否かによって変化する。録音済みの領域か否かにより吹き出し412の色や形状が変化すると、ユーザは、どの領域の台詞が録音済みか録音済みでないかを即座に把握することができる。録音された領域の数が表示されるだけでは、録音済みの位置まで分からないが、吹き出し412の色や形状が変化すれば、録音済みの位置まで確認が可能になる。
図12の場合、分母の数値は「10」、分子の数値は「0」である。このカウンタ420の表示も、支援情報提示モジュール327により実現される。
なお、分子の数値は、音声が録音された領域の数が増えるたびにカウントアップされる。音声が録音された領域の数の増加は、ユーザに達成感を与え、録音したいという意欲を高める効果も期待できる。
因みに、分子の数値は、領域を単位でカウントされる。従って、ある領域に対応する録音の個数が複数でも、分子の数値は「1」とカウントされる。
結果的に、置き換えが可能な領域に音声を録音するために再生位置を戻す等の作業の回数が低減され、置き換えに関する作業性の向上が実現される。
図13に示す画面も、置き換えが可能な領域を含むオーディオブックの再生が開始された直後の状態を表している。違いは、先頭から5番目と7番目の吹き出し412で示される位置以外の領域の表示の色が変更されている点とカウンタ420の表示が「8/10」に変更されている点である。
また、置き換える音声が録音されていない領域があることが分かると、該当する領域についてピンポイントで声を録音してみようかなという動機づけをユーザに与えることができる。
因みに、処理動作の例1で説明した表示では、置き換える音声が録音されている領域であるか否かをユーザが知ることができない。このため、ユーザは、オーディオブックを再生するたびに気になった領域に音を録音することになる。
図14は、先頭から5番目の吹き出し412が人差し指でタップされる様子を説明する図である。図14には、図13との対応部分に対応する符号を付して示している。
ユーザによる吹き出し412のタップの後、表示部400には、先頭から5番目の吹き出し412に対応する場面の画像が表示され、オーディオブックの再生が再開される。このため、ユーザは、効率的に希望する音声を録音することができる。
本実施の形態の場合、吹き出し412がタップされた場合におけるジャンプ先は、タップされた吹き出し412に対応する位置の少し前の位置になる。この場合、タップされた吹き出し412の位置からいきなり再生が開始されないので、録音ボタンを操作するための時間的な余裕が生じる。もっとも、タップされた吹き出し412に対応する位置にジャンプしてもよい。
なお、スライダの移動によっても再生位置をジャンプさせることは可能であるが、吹き出し412が表示されていない場合には、希望の位置の探索の手間が大きくなる。
台詞の全部又は一部の表示により、録音したい台詞か否かを事前に確認することが可能になる。台詞を事前に確認することができれば、録音を希望する台詞を探す目的で、再生位置のジャンプを繰り返す必要がなくなり、音声の置き換えの作業の効率的に進めることができる。
なお、再生位置のジャンプのためにタップされる吹き出し412は、音声が録音されていない領域に限らない。すなわち、既に音声が録音されている領域に対応する吹き出し412のタップも可能である。既に音声が録音されている領域でも、別の音声の録音を希望する場合もあるためである。
図15は、置き換えが可能な領域の再生が開始された直後の画面の表示例を説明する図である。図15に示す画面の表示は、ステップ7(図4参照)に対応する。
図15の場合、画面全体の色調が変化して、置き換え可能な領域であることを示している。なお、処理動作の例1では、該当する台詞340(図7参照)の背景や表記が変更されていた。図15の場合は、画面全体の色調を変更することで、置き換えが可能な領域であることにユーザを気づかせ易くしている。もっとも、処理動作の例1と同様に、該当する台詞340(図7参照)の部分の表示だけを変更することも可能である。
図15の場合、メッセージ403には「ボタンをおしてね」と表記され、録音ボタン402の操作がユーザに求められている。録音ボタン402が操作されると録音が開始される。
台詞430では、2行目の「おおきくなあれ あまくなあれ」の表記の色が上下の行と異なっており、2行目の台詞が録音の対象であることが示されている。なお、1行目は再生中であるのでハイライト表示され、これから再生が開始される2行目と3行目の輝度は1行目より低く表示されている。
この場合でも、録音ボタン402を操作しなければ録音は開始されないが、表示部400に表示されていた静止画や動画像が録音ボタン402やメッセージ403で隠れるのをユーザが好ましく思わない場合も考えられる。
そのような場合に用いるのがスキップボタン443である。
図16は、置き換えが可能な領域の再生中にスキップボタン443が操作される様子を説明する図である。図16には、図15との対応部分に対応する符号を付して示している。図16には、ユーザが指でスキップボタン443をタップする様子が描かれている。
スキップボタン443の操作が検出された場合、ステップ8(図4参照)で否定結果が得られる。なお、スキップボタン443が操作された場合には、該当する領域の再生が終了するまでの間、ステップ6の処理において否定結果が出力される。
図17は、スキップボタン443の操作後の画面の表示例を説明する図である。図17の場合、表示の画面は、本来の画像の表示に戻っている。このため、ユーザは、画像を楽しむことができる。勿論、元音声の再生が継続される。
図18は、置き換えが可能な領域の再生中に録音ボタン402が操作される様子を説明する図である。図18には、図15との対応部分に対応する符号を付して示している。図18には、ユーザが指で録音ボタン402をタップする様子が描かれている。
録音ボタン402が操作されたことにより、表示部400にはマイク型のアイコン404と録音中を示すメッセージ403Aが表示される。メッセージ403Aには「ろくおんちゅう・・・」と表記される。また、台詞430の2行目の表記は、台詞の発声のタイミングに応じて表記が変更される。図19の例では「おおきくな」までの表記が変更され、発声すべき部分が示されている。
子供が発声を嫌がる場合に、ユーザが録音の停止ボタンを操作すると、録音ボタン402がタップされた以降の音が端末30に保存される。しかし、保存された音は、不完全な録音の結果、又は、使用の意図がない音である。このため、ユーザは、オーディオブックの再生が終了した後に改めて該当する音を探し出して削除する必要がある。
しかし、そのような作業は手間であり、ユーザの負担となる。
なお、図20に示す画面は、ステップ9(図4参照)の強制的な終了に対応する。
スキップボタン443が操作されると、録音が中止され、図17に示す画面に表示が切り替わる。この後、元音声の再生が再開される。なお、スキップボタン443が操作された場合の元音声の再開は、台詞の全体でもよいし、スキップボタン443がタップされた時点で再生が終わっていない台詞でもよい。
本実施の形態の場合、スキップボタン443が操作されると、録音ボタン402が操作された以降に録音された音声も自動的に消去される。このため、オーディオブックの再生の終了後に、改めて置き換えに使用しない音声を削除する手間を省くことができる。この意味で、音声の置き換えの作業の効率化が実現される。
以上説明したように、スキップボタン443は、機能の実行をキャンセル又は無効化するボタンとして機能する。
子供が嫌がったために録音をスキップする場合には、次回以降の録音可能領域でも録音ができない可能性が高く、むしろその都度、録音を促す画面が表示されると、録音をスキップする作業が煩雑になるためである。
なお、録音を促す表示が行われない場合でも、録音したい台詞の吹き出し412をユーザがタップした場合には、再び、録音を促す画面が表示される。
また、スキップボタン443の操作の影響が及ぶ領域は、スキップの操作が検出された領域に限定することも可能である。スキップの操作の影響が及ぶ影響の切り替えは、アプリケーションプログラムの設定にて切り替えられることが望ましい。
図21は、録音ボタン402が操作されてから予め定めた時間が経過した後の画面の表示例を説明する図である。図21には、図19との対応部分に対応する符号を付して示している。
図21に示す画面には停止ボタン406とユーザに求める操作を表すメッセージ407が表示される。メッセージ407には「ろくおんがおわったらボタンをおしてね」と、録音を終了する操作が示される。
一方、本実施の形態の場合には、停止ボタン406の操作により、録音が終了されるので、意図せぬ音が録音される可能性を低減できる。
本実施の形態の場合、置き換えが可能な領域における録音が終了する毎に画面450が表示される。画面450には、「やったね!」、「ろくおんできたよ!」、「さあ、つぎのろくおんにチャレンジしてみよう!」等のメッセージが表示される。画面450は、子供のヤル気を高める目的で表示される。「はい」の表記を有するボタン451が操作されると、画面450は閉じられ、元音声の再生が再開される。
なお、画面450の左側に位置するカウンタ420のカウント値は1つカウントアップされている。例えば図21のカウンタ420の分子の表記は「0」であったが、図22のカウンタ420の分子の表記は「1」に変更されている。
処理動作の例1の場合には、録音が成功しても、置き換えが可能な領域のうちの幾つ目の録音に成功したかが不明であるが、本例の場合には、録音が成功した領域の数を具体的な数値で確認できる。換言すると、録音されていない領域の数を知ることもできる。これにより、ヤル気を高めることができる。
最後に、オーディオブックの再生の終了時の表示例を説明する。
図23は、オーディオブックの再生が終了した時点でユーザが録音を行った領域が1つでも存在する場合に自動的に表示される画面の例を説明する図である。図23には、図12との対応部分に対応する符号を付して示している。
図23の画面は、作成されたオーディオブックの保存が自動的に実行される場合を前提とする。例えばユーザが子供の場合、オーディオブックの再生が終わるたびに保存するか否かの確認を求める画面を表示しても操作に困る場合もある。
そこで、図23では、保存自体は端末30が自動的に実行し、保存の事実を画面460で通知する。
本実施の形態の場合、オリジナルのオーディオブックの作成には、既に存在するオーディオブックの一部に変更を加えた場合も含まれる。
図23の場合、カウンタ420の分子は「8」である。このため、ユーザは、作成されたオーディオブックでは、置き換えが可能な10個の領域のうちの8個について音声が録音されていることを確認することもできる。
なお、図24に示す画面470は、「ほんだなへ」の表記を有するボタン461(図23参照)が操作された場合に表示されてもよい。
作成されたオーディオブックの自動保存は便利な機能であるが、異なるユーザのオーディオブックが1つの保存先に混在する場合など、ユーザが希望するオーディオブックをなかなか見つけられないことも考えられる。
そこで、図24では、保存先をユーザが指定するための画面470を用意している。
本実施の形態の場合、「ほんだな」フォルダは、ユーザが購入したオーディオブックの保存用であり、「たろう」フォルダは、太郎君の音声で置き換えられたオーディオブックの保存用であり、「はなこ」フォルダは、花子さんの音声で置き換えられたオーディオブックの保存用である。
図24の場合、「たろう」フォルダが保存先として選択されている。保存先を変更したい場合には、ボタン471を操作すると、選択されているフォルダが順番に変更される。なお、ボタン472が操作されると、作成されたオーディオブックが選択されているフォルダに保存される。
図25には、図13との対応部分に対応する符号を付して示している。
図25に示す画面は、オーディオブックの再生が終了した時点であるので、スライダ411は時間軸410の右端まで達している。
また、音声が録音された領域が存在するため、先頭から5番目と7番目の吹き出し412で示される位置以外の領域の表示の色が録音の存在を示す色に変更され、同時にカウンタ420の表示が「8/10」に変更されている。
この表示により、ユーザは、今回作成されたオーディオブックにおける録音の結果を視覚的に確認できる。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は、前述の実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
前述の実施の形態では、置き換えが可能な領域部分が台詞の場合を例示しているが、置き換えが可能な領域は、台詞の部分に限らない。
言語学習用の教材を使用する学習者の年齢に対する制約はないが、例えば幼児から小学生程度の言語学習に用いることで、楽しく学ぶという習慣の習得への効果が期待される。
なお、語学学習用の教材は、英語その他の外国語の学習用に限らず、日本語の学習用でもよい。学習の目的は様々であるが、例えばひらがな、単語、ことわざ、歌、早口言葉、名言等の学習がある。
また、教材の形式は、物語の形式に限らず、お手本となる音声が再生される箇所とお手本を真似る発音の箇所とで構成される形式、質問と質問に対する答えを発音する形式等も含まれる。
Claims (4)
- ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する取得手段と、
前記音声情報ファイルに含まれる元音声を再生する再生手段と、
元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する提示手段と、
を備え、
置き換えが可能な前記領域の再生中に、置き換えのスキップを指示する第1のボタンの操作が検知された場合、置き換えを促す表示を画面上から消去する、音声情報置き換えシステム。 - 置き換えが可能な前記領域の再生中に、音の録音を指示する第2のボタンの操作が検知されている場合でも、前記第1のボタンの操作が検知されたときには、録音処理を終了して当該第2のボタンの操作後に録音された音を消去する、請求項1に記載の音声情報置き換えシステム。
- 前記第1のボタンの操作が検知された後は、置き換えが可能な他の領域の再生が始まっても、置き換えを促す前記表示を画面に出力しない、請求項1又は2に記載の音声情報置き換えシステム。
- コンピュータに、
ユーザが置き換えに参加して編集可能な音声情報ファイルを取得する機能と、
前記音声情報ファイルに含まれる元音声を再生する機能と、
元音声のうち置き換えが可能な領域に対する音声の置き換えの進行を支援する情報を提示する機能と、
を実現させるためのプログラムであり、
置き換えが可能な前記領域の再生中に、置き換えのスキップを指示する第1のボタンの操作が検知された場合、置き換えを促す表示を画面上から消去する、プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019183814A JP7341024B2 (ja) | 2019-10-04 | 2019-10-04 | 音声情報置き換えシステム及びプログラム |
JP2023080621A JP2023096017A (ja) | 2019-10-04 | 2023-05-16 | 音声情報置き換えシステム及びプログラム |
JP2023080620A JP7470844B2 (ja) | 2019-10-04 | 2023-05-16 | 音声情報置き換えシステム及びプログラム |
JP2023080619A JP2023096015A (ja) | 2019-10-04 | 2023-05-16 | 音声情報置き換えシステム及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019183814A JP7341024B2 (ja) | 2019-10-04 | 2019-10-04 | 音声情報置き換えシステム及びプログラム |
Related Child Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023080621A Division JP2023096017A (ja) | 2019-10-04 | 2023-05-16 | 音声情報置き換えシステム及びプログラム |
JP2023080620A Division JP7470844B2 (ja) | 2019-10-04 | 2023-05-16 | 音声情報置き換えシステム及びプログラム |
JP2023080619A Division JP2023096015A (ja) | 2019-10-04 | 2023-05-16 | 音声情報置き換えシステム及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021060484A JP2021060484A (ja) | 2021-04-15 |
JP7341024B2 true JP7341024B2 (ja) | 2023-09-08 |
Family
ID=75381788
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019183814A Active JP7341024B2 (ja) | 2019-10-04 | 2019-10-04 | 音声情報置き換えシステム及びプログラム |
JP2023080619A Pending JP2023096015A (ja) | 2019-10-04 | 2023-05-16 | 音声情報置き換えシステム及びプログラム |
JP2023080621A Pending JP2023096017A (ja) | 2019-10-04 | 2023-05-16 | 音声情報置き換えシステム及びプログラム |
JP2023080620A Active JP7470844B2 (ja) | 2019-10-04 | 2023-05-16 | 音声情報置き換えシステム及びプログラム |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023080619A Pending JP2023096015A (ja) | 2019-10-04 | 2023-05-16 | 音声情報置き換えシステム及びプログラム |
JP2023080621A Pending JP2023096017A (ja) | 2019-10-04 | 2023-05-16 | 音声情報置き換えシステム及びプログラム |
JP2023080620A Active JP7470844B2 (ja) | 2019-10-04 | 2023-05-16 | 音声情報置き換えシステム及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (4) | JP7341024B2 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002346228A (ja) | 2001-05-29 | 2002-12-03 | Namco Ltd | 遊戯情報、情報記憶媒体、及び遊戯装置 |
JP2005198350A (ja) | 2005-03-16 | 2005-07-21 | Victor Co Of Japan Ltd | アフレコ信号再生方法 |
JP2006084965A (ja) | 2004-09-17 | 2006-03-30 | Advanced Telecommunication Research Institute International | 音声データ収集装置および音声データ収集プログラム |
JP2008123674A (ja) | 1997-09-02 | 2008-05-29 | Sony Corp | 記録媒体におけるアフターレコーディング方法及び装置並びにそのデジタル記録媒体の再生方法及び装置 |
JP2009087135A (ja) | 2007-10-01 | 2009-04-23 | Brother Ind Ltd | 情報処理装置、複合機および音声データ編集プログラム |
JP2010072057A (ja) | 2008-09-16 | 2010-04-02 | Winbond Electron Corp | 音声の録音と再生方法及び該方法を用いる電子辞書 |
JP2012100798A (ja) | 2010-11-09 | 2012-05-31 | Tomohiro Maki | 携帯型ゲーム機 |
JP2014007561A (ja) | 2012-06-25 | 2014-01-16 | Toshiaki Ueno | コンテンツ閲覧装置およびコンテンツ提供システム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002239220A (ja) | 2001-02-16 | 2002-08-27 | Namco Ltd | 遊戯情報、遊戯システム及び情報記憶媒体 |
JP5137031B2 (ja) | 2007-10-26 | 2013-02-06 | 株式会社国際電気通信基礎技術研究所 | 台詞音声作成装置、発話音声収録装置、及びコンピュータプログラム |
US8548618B1 (en) | 2010-09-13 | 2013-10-01 | Audible, Inc. | Systems and methods for creating narration audio |
-
2019
- 2019-10-04 JP JP2019183814A patent/JP7341024B2/ja active Active
-
2023
- 2023-05-16 JP JP2023080619A patent/JP2023096015A/ja active Pending
- 2023-05-16 JP JP2023080621A patent/JP2023096017A/ja active Pending
- 2023-05-16 JP JP2023080620A patent/JP7470844B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008123674A (ja) | 1997-09-02 | 2008-05-29 | Sony Corp | 記録媒体におけるアフターレコーディング方法及び装置並びにそのデジタル記録媒体の再生方法及び装置 |
JP2002346228A (ja) | 2001-05-29 | 2002-12-03 | Namco Ltd | 遊戯情報、情報記憶媒体、及び遊戯装置 |
JP2006084965A (ja) | 2004-09-17 | 2006-03-30 | Advanced Telecommunication Research Institute International | 音声データ収集装置および音声データ収集プログラム |
JP2005198350A (ja) | 2005-03-16 | 2005-07-21 | Victor Co Of Japan Ltd | アフレコ信号再生方法 |
JP2009087135A (ja) | 2007-10-01 | 2009-04-23 | Brother Ind Ltd | 情報処理装置、複合機および音声データ編集プログラム |
JP2010072057A (ja) | 2008-09-16 | 2010-04-02 | Winbond Electron Corp | 音声の録音と再生方法及び該方法を用いる電子辞書 |
JP2012100798A (ja) | 2010-11-09 | 2012-05-31 | Tomohiro Maki | 携帯型ゲーム機 |
JP2014007561A (ja) | 2012-06-25 | 2014-01-16 | Toshiaki Ueno | コンテンツ閲覧装置およびコンテンツ提供システム |
Also Published As
Publication number | Publication date |
---|---|
JP2023096015A (ja) | 2023-07-06 |
JP7470844B2 (ja) | 2024-04-18 |
JP2021060484A (ja) | 2021-04-15 |
JP2023096017A (ja) | 2023-07-06 |
JP2023096016A (ja) | 2023-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20050186548A1 (en) | Multimedia interactive role play system | |
US20090047647A1 (en) | System and method for book presentation | |
US20110246888A1 (en) | Interactive Electronic Book Device | |
JP2006268800A (ja) | 議事録作成支援装置、議事録作成支援方法及びプログラム | |
JP2009036885A (ja) | 繰返し学習用情報処理システム及び情報処理方法 | |
JP2003323104A (ja) | 語学学習システム | |
JP3920803B2 (ja) | 語学学習装置および語学学習用プログラム | |
JP7341024B2 (ja) | 音声情報置き換えシステム及びプログラム | |
JP2010002788A (ja) | 学習端末、学習プログラム | |
JP2010002787A (ja) | 学習システム、学習端末、学習プログラム | |
WO2003102897A1 (fr) | Procede de production et de reproduction de donnees vocales et procede de soutien de l'apprentissage et de la memorisation | |
JP7093099B2 (ja) | 音声再生装置及び音楽再生プログラム | |
JP6684376B1 (ja) | 音声情報置き換えシステム及びプログラム | |
US20080159584A1 (en) | Information processing apparatus and information processing method | |
JP2004325905A (ja) | 外国語学習装置および外国語学習プログラム | |
Rodríguez Fernández-Peña | Translating intonation and prosody in English-Spanish voice-over: strategies, resources and professional practices | |
JP6664022B1 (ja) | 音物語生成システム及びプログラム | |
JP6222611B1 (ja) | デジタル音声情報記録媒体、プログラムおよび音響再生装置 | |
JP4030021B2 (ja) | 択一式クイズゲーム機及びその制御方法 | |
KR100586969B1 (ko) | 외국어 교육용 데이터 구조를 기록한 컴퓨터로 읽을 수 있는 기록매체 | |
JP2004037849A (ja) | 学習補助装置、学習補助用プログラムおよびそれを記録した記録媒体 | |
Raia | Mabanati in search of an author: portable reform texts and multimodal narrative media among Swahili Muslim communities | |
KR20080089920A (ko) | 외국어를 자동 암기하도록 하는 학습저장매체 및 이를이용한 학습기 및 학습방법 | |
JP2000099308A (ja) | 電子ブックプレーヤ | |
KR100988272B1 (ko) | 주간 또는 월간으로 발행하는 언어학습지용 언어학습기 및그 장치를 이용한 언어학습방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220620 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230517 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230822 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7341024 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |