JP5414865B1 - REPRODUCTION DATA GENERATION DEVICE AND REPRODUCTION DATA GENERATION METHOD - Google Patents
REPRODUCTION DATA GENERATION DEVICE AND REPRODUCTION DATA GENERATION METHOD Download PDFInfo
- Publication number
- JP5414865B1 JP5414865B1 JP2012208479A JP2012208479A JP5414865B1 JP 5414865 B1 JP5414865 B1 JP 5414865B1 JP 2012208479 A JP2012208479 A JP 2012208479A JP 2012208479 A JP2012208479 A JP 2012208479A JP 5414865 B1 JP5414865 B1 JP 5414865B1
- Authority
- JP
- Japan
- Prior art keywords
- voice
- voice message
- tweet
- reproduction
- reproduction data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
Abstract
【課題】限られた時間内で、聞き手にとって理解しやすいように音声メッセージを選択・整列した再生データを生成する。
【解決手段】本発明の一態様としての再生データ生成装置は、複数の音声メッセージに対し、その属性情報に応じて重みを設定する重み付け手段と、前記音声メッセージの重みに基づいて、再生時間の合計が制限時間内になるように、前記音声メッセージの中から1つ以上の音声メッセージを選択し、選択した音声メッセージの再生順序を前記属性情報に基づき決定するスケジューリング手段と、再生順序にしたがって前記音声メッセージを整列および結合した再生データを生成する再生データ作成手段と、前記再生データまたは前記再生データへのリンク情報をユーザ端末に送信する送信手段と、を備える。
【選択図】図1In a limited time, reproduction data in which voice messages are selected and arranged so as to be easily understood by a listener is generated.
A reproduction data generating apparatus according to an aspect of the present invention includes a weighting unit that sets a weight for a plurality of voice messages according to attribute information thereof, and a reproduction time based on the weight of the voice message. Scheduling means for selecting one or more voice messages from the voice messages so that the total is within the time limit, and determining a playback order of the selected voice messages based on the attribute information; Reproduction data generating means for generating reproduction data in which voice messages are arranged and combined, and transmission means for transmitting the reproduction data or link information to the reproduction data to a user terminal.
[Selection] Figure 1
Description
本実施形態は、再生データ生成装置および再生データ生成方法に関する。 The present embodiment relates to a reproduction data generation apparatus and a reproduction data generation method.
複数職種の複数職員が分散・非同期に業務を実施する医療現場、とくに地域医療などの現場においては、職員間で、患者についての観察結果や気付き、連絡事項などを密に情報共有する必要がある。 In medical settings where multiple staff members of multiple occupations work in a distributed and asynchronous manner, especially in the field of regional medicine, it is necessary to closely share information on observation results, awareness, and communication items among patients. .
職員は一般的に、電子カルテシステムへの入力や、電話やFAXといった手段を用いて情報共有を行っているが、音声メッセージを用いた情報共有システムが知られている(以降、音声つぶやきシステムと呼ぶ)。 Staff generally share information using electronic chart system, telephone, fax, etc., but information sharing systems using voice messages are known (hereinafter referred to as voice tweets system). Call).
音声つぶやきシステムでは、職員がスマートフォンを用いて音声メッセージを登録すると、サーバで音声認識し、音声に含まれるキーワードを抽出する。同時に、メッセージの対象患者IDや発話者の職員ID、発話時刻、発話場所、推定業務などの情報、メッセージの重要度や種類(以降、タグと呼ぶ)を音声メッセージに自動添付もしくはユーザ(すなわち職員)が添付した上で、必要な範囲の職員に配信する。このような音声メッセージと付随情報からなる情報を、以降、音声つぶやきと呼ぶ。 In a voice tweet system, when a staff member registers a voice message using a smartphone, the server recognizes the voice and extracts keywords included in the voice. At the same time, the subject patient ID of the message, the staff ID of the speaker, the information such as the time of speech, the location of the speech, the estimation work, etc., the importance and type of the message (hereinafter referred to as tag) are automatically attached to the voice message or the user (ie ) Is attached and distributed to the necessary staff. Such information consisting of a voice message and accompanying information is hereinafter referred to as a voice tweet.
職員は、受信した音声つぶやきあるいはサーバに蓄積された音声つぶやきを、携帯端末やパソコンで、患者ごとに時間順に整理して視聴することで、患者の最近の状況を把握することができる。その際、音声認識結果やキーワードを画面上で閲覧することもできるが、徒歩や車などでの移動中の場合は、音声そのものを聞く方が都合がよい。また画面で音声認識結果やキーワード、その他の付随情報をみながら、音声を聞くこともある。 The staff can grasp the recent situation of the patient by organizing and viewing the received voice tweet or the voice tweet stored in the server in order of time for each patient on a portable terminal or a personal computer. At that time, the voice recognition result and the keyword can be browsed on the screen, but it is more convenient to listen to the voice itself when moving on foot or by car. In addition, the user may hear the voice while viewing the voice recognition result, keywords, and other accompanying information on the screen.
しかし蓄積された一連の音声つぶやきを聞く場合、移動時間などの限られた時間内に再生が完了する保証がない。また職員自身が、実際に音声つぶやきを聞くまでは、どのような順序を再生すれば理解しやすいかは分からない。 However, when listening to a series of accumulated tweets, there is no guarantee that playback will be completed within a limited time such as travel time. Also, until the staff themselves hear the voice tweets, it is not clear what order to play to make it easier to understand.
先行技術として、コールセンターでの談話についての音声認識結果を、所定のテンプレートによる構造にしたがって解析し、要約を作成する技術が知られている。しかしながら、この技術では、再生に関する制限時間を考慮できない問題や、理解しやすいように並べ替えることができない問題があった。 As a prior art, a technique is known in which a speech recognition result of a conversation at a call center is analyzed according to a structure based on a predetermined template to create a summary. However, this technique has a problem that the time limit related to reproduction cannot be taken into consideration, and a problem that rearrangement cannot be performed for easy understanding.
この発明の一側面は、限られた時間内で、聞き手にとって理解しやすいように音声メッセージを選択・整列した再生データを生成することを目的とする。 An object of one aspect of the present invention is to generate reproduction data in which a voice message is selected and arranged so as to be easily understood by a listener within a limited time.
本発明の一態様としての再生データ生成装置は、重み付け手段と、スケジューリング手段と、再生データ作成手段と、送信手段とを備える。 A reproduction data generation apparatus as one aspect of the present invention includes weighting means, scheduling means, reproduction data creation means, and transmission means.
前記重み付け手段は、複数の音声メッセージに対し、前記音声メッセージの属性情報に応じた重みを設定する。 The weighting means sets a weight according to attribute information of the voice message for a plurality of voice messages.
前記スケジューリング手段は、前記音声メッセージの中から、前記音声メッセージの重みに基づいて、再生時間の合計が制限時間内になるように、1つ以上の音声メッセージを選択し、選択した音声メッセージの再生順序を前記選択された音声メッセージの属性情報に基づき決定する。 The scheduling means selects one or more voice messages from the voice messages based on the weight of the voice messages so that the total playback time is within the time limit, and plays the selected voice message. The order is determined based on the attribute information of the selected voice message.
前記再生データ作成手段は、前記再生順序にしたがって前記音声メッセージを整列および結合することにより再生データを生成する。 The reproduction data creating means generates reproduction data by arranging and combining the voice messages according to the reproduction order.
前記送信手段は、前記再生データまたは前記再生データへのリンク情報を、ユーザ端末に送信する。 The transmission means transmits the reproduction data or link information to the reproduction data to a user terminal.
以下、図面を参照しながら、本発明の実施例を説明する。 Embodiments of the present invention will be described below with reference to the drawings.
(第1の実施例)
図1は、本発明の第1の実施例に係る再生データ生成装置としてのつぶやき再生装置のブロック図である。
本実施例では、複数職種の複数職員が分散・非同期に業務を実施する医療現場、とくに地域医療などの現場に本再生データ生成装置を適用する場合を説明する。ただし、本実施例は、医療現場に制限されず、エレベータ等の設備保守現場など、複数の職員が分散・非同期に業務を実施する現場であれば、多種多様な現場に適用可能である。
(First embodiment)
FIG. 1 is a block diagram of a tweet playback apparatus as a playback data generation apparatus according to the first embodiment of the present invention.
In the present embodiment, a case will be described in which the reproduction data generation apparatus is applied to a medical site where a plurality of staff members of a plurality of occupations carry out work in a distributed and asynchronous manner, particularly a site such as regional medical care. However, the present embodiment is not limited to a medical site, and can be applied to a wide variety of sites as long as a plurality of staff members perform operations in a distributed and asynchronous manner such as equipment maintenance sites such as elevators.
つぶやき再生装置101は、ネットワーク103を介して、職員の端末(ユーザ端末)102と通信可能なサーバである。ユーザ端末101は、職員により持ち運び可能な移動体端末であり、たとえば携帯端末、ノート型PC、スマートフォン等が挙げられる。ただし、ユーザ端末101はこれらの形態に限定されず、デスクトップ型PC等の固定設置型端末でも構わない。
The
つぶやき再生装置101は、通信装置11、CPU12、および記憶装置13を備える。記憶装置13は、データを記憶または読み出し可能な任意の装置であり、たとえばメモリ装置、ハードディスク装置、または、CD-ROMやUSBメモリ等の記録媒体からデータを読み込む読み込みドライブである。記憶装置13は、これらのうちの2つ以上の組み合わせたものでもよい。なお、つぶやき再生装置101内には、通信装置11、CPU12、および記憶装置13以外にも、CPU12が実行するプログラムを展開したり、CPU12の一時的な作業領域として機能するRAMや、構成要素間の接続するバス等も存在するが、これらの図示は省略している。
The
通信装置11は、ネットワーク103を介して、ユーザ端末102と通信を行う。ネットワーク103は、無線ネットワークでもよいし、有線ネットワークでもよいし、これらの複合でもよい。ネットワーク103は、インターネットを含んでも良い。
The
ユーザ端末102は、音声つぶやきの再生要求を、つぶやき再生装置101宛に送信する再生要求送信手段を含む。
The
音声つぶやき再生要求は、たとえば、以下の項目を含む。一部が空の場合もあり得る。 The voice tweet playback request includes, for example, the following items. Some may be empty.
・ ユーザID
・ 対象患者ID
・ 再生の制限時間
・ User ID
・ Target patient ID
・ Playback time limit
通信装置11は、再生要求受信手段1および再生データ送信手段7を含む。
The
再生要求受信手段1は、ユーザ端末102からの再生要求を受信する。再生要求受信手段1は、受信した再生要求を、CPU12の再生つぶやき候補抽出手段3に渡す。
The reproduction request receiving unit 1 receives a reproduction request from the
CPU12は、再生つぶやき候補抽出手段3、重み付け手段4、再生つぶやきスケジューリング手段5、および再生データ作成手段6を含む。これらの手段は、プログラムをCPU12に実行させることにより実現される。プログラムは、記憶装置13等に記憶されており、RAM等の不揮発性メモリに読み出されて、CPU12により実行される。
The CPU 12 includes reproduction tweet candidate extraction means 3, weighting means 4, reproduction tweet scheduling means 5, and reproduction data creation means 6. These means are realized by causing the CPU 12 to execute a program. The program is stored in the
記憶装置13は、つぶやき保持手段2を含む。つぶやき保持手段2は、ユーザが登録した音声つぶやきを保持する手段である。具体的にはリレーショナルデータベースやXMLデータベースを用いることができる。つぶやき保持手段2は、サーバ内でなく、サーバに外付けされた記憶装置内に設けられても良いし、サーバがアクセス可能なネットワーク上に配置されてもよい。
The
各音声つぶやきは、以下の付随情報(属性情報)を含む。一部が空の場合もある。例えば話題の患者IDが空の場合は、そのつぶやきは、どの患者についてのつぶやきでもなく、職員間の事務的連絡といったつぶやきである。以下の情報は一例であり、さらに追加の情報が含まれても良い。音声データ(音声メッセージ)のURLの代わりに、音声データそのものを含んでも良い。 Each voice tweet includes the following accompanying information (attribute information). Some may be empty. For example, when the topic patient ID is empty, the tweet is not a tweet about any patient, but a tweet such as an administrative communication between staff members. The following information is an example, and additional information may be included. The voice data itself may be included instead of the URL of the voice data (voice message).
・ つぶやきID
・ つぶやきの音声データのURL(あるいは音声データのファイルパス)
・ 音声データの発話時間(秒あるいはミリ秒)
・ 発話者ID
・ 発話日時
・ 発話内のキーワード(複数)
・ 話題の患者ID
・ 返信先つぶやきID
・ イイね回数(登録されたつぶやき閲覧したユーザが、そのつぶやきを評価した回数)
・ タグ(重要度、あるいはつぶやきの種類など、システムの設定による)
・ 発話場所(緯度経度、最寄Bluetooth端末IDなど)
・ 発話時の動作(歩行中、会議中、作業中など)および具体的業務内容
・ Tweet ID
・ URL of voice data of tweets (or file path of voice data)
・ Speech time of voice data (second or millisecond)
・ Speaker ID
・ Utterance date and time ・ Multiple keywords in utterance
・ Topic patient ID
・ Reply destination tweet ID
・ Number of times (the number of times a registered tweeter viewed the tweet)
-Tag (depending on system settings such as importance or tweet type)
・ Speech location (latitude and longitude, nearest Bluetooth device ID, etc.)
・ Actions when speaking (walking, meeting, working, etc.) and specific work contents
再生つぶやき候補抽出手段3は、再生要求受信手段1から受け取った再生要求に基づき、再生の候補となるつぶやきを、つぶやき保持手段2に問い合わせる。具体的には、再生の候補となるつぶやきを抽出するクエリを発行し、発行したクエリをつぶやき保持手段2に出力する。これにより、再生つぶやき候補抽出手段3は、つぶやき保持手段2から、再生候補となるつぶやきを取得する。
Based on the reproduction request received from the reproduction request receiving unit 1, the reproduction tweet
重み付け手段4は、再生つぶやき候補抽出手段3が抽出したつぶやきに重みを付与する。重みは実数もしくは整数である。重みは、たとえばつぶやきの付随情報(属性情報)に基づき決定する。
The weighting means 4 assigns a weight to the tweet extracted by the reproduction tweet
再生つぶやきスケジューリング手段5は、重みの付与されたつぶやき候補の中から、再生時間の合計が制限時間以内になるように、つぶやき候補を選出する。たとえば、再生時間の合計が制限時間以内、かつ、重みの合計が最大になるように、つぶやき候補の組を選出する。また、再生つぶやきスケジューリング手段5は、選出されたつぶやき候補の属性情報に基づき、これらつぶやきの再生順序を決定する。再生つぶやきスケジューリング手段5は、決定した順序にしたがって、再生対象となるつぶやきを整列する。 The reproduction tweet scheduling means 5 selects a tweet candidate from among tweet candidates given weights so that the total reproduction time is within the time limit. For example, a set of tweet candidates is selected so that the total reproduction time is within the time limit and the total weight is maximized. Further, the reproduction tweet scheduling means 5 determines the reproduction order of these tweets based on the attribute information of the selected tweets. The reproduction tweet scheduling means 5 arranges the reproduction target tweets according to the determined order.
再生データ作成手段6は、再生つぶやきスケジューリング手段5により整列されたつぶやき列に基づいて、再生データを作成する。再生データは音声データ(wavなど)を含み、さらにテキストデータ(端末で音声合成する場合など)を含んでも良い。音声データは、必要に応じて、つぶやきに含まれるURLからダウンロードする。テキストデータは、たとえば属性情報に基づき作成され、ユーザ端末で音声合成または表示する場合に使用する。音声データは、属性情報の内容を音声データ化したものを含んでも良い。再生データには属性情報は含めなくても良いし、あるいはユーザがつぶやきの再生中に属性情報を端末で表示または音声合成できるようにテキストとして含めても良い。 The reproduction data creation means 6 creates reproduction data based on the tweet string arranged by the reproduction tweet scheduling means 5. The reproduction data includes voice data (such as wav) and may further include text data (such as when voice is synthesized at a terminal). The voice data is downloaded from a URL included in the tweet as necessary. Text data is created based on attribute information, for example, and is used when speech synthesis or display is performed on a user terminal. The audio data may include the attribute information converted into audio data. The reproduction data may not include the attribute information, or may be included as text so that the user can display or synthesize the attribute information on the terminal during reproduction of tweets.
再生データ送信手段7は、再生データ作成手段6の作成した再生データもしくはそのリンク情報(URL等)を、再生要求を送信したユーザ端末に送信する。リンク情報を送信する場合、つぶやき再生装置は、当該リンク情報に該当する位置に再生データを格納する。格納先は、つぶやき再生装置内でもよいし、ユーザ端末からアクセス可能なネットワーク上のサーバでもよい。 The reproduction data transmission means 7 transmits the reproduction data created by the reproduction data creation means 6 or link information (URL, etc.) thereof to the user terminal that sent the reproduction request. When transmitting link information, the tweet playback device stores playback data at a position corresponding to the link information. The storage destination may be in the tweet playback device or a server on the network accessible from the user terminal.
(再生データの作成方法の例)
図2は、ユーザ端末からの音声つぶやき再生要求に対する再生データの作成フローを示す。
(Example of how to create playback data)
FIG. 2 shows a flow of creating reproduction data in response to a voice tweet reproduction request from the user terminal.
ステップS11:再生要求受信
再生要求受信手段1が、ユーザ端末からの再生要求を受信し、再生つぶやき候補抽出手段3に再生要求を渡す。再生要求には、前記のとおり、ユーザのユーザID、再生したいつぶやきの対象患者ID、ユーザ端末上での再生の制限時間が含まれる。
Step S11: Reproduction Request Reception The reproduction request receiving means 1 receives a reproduction request from the user terminal and passes the reproduction request to the reproduction tweet
ここで再生要求において、対象患者IDが空の場合もある。どの患者についてのつぶやきでもない、職員間の一般連絡についてのつぶやきを再生したい場合がこれに該当する。 Here, in the reproduction request, the target patient ID may be empty. This is the case when you want to replay a tweet about a general contact between staff, not a tweet about any patient.
また制限時間が空の場合もある。この場合、後述する方法により、制限時間をユーザ端末上あるいはサーバ上で算出し、算出した値を用いることができる。 In some cases, the time limit is empty. In this case, the time limit can be calculated on the user terminal or the server by a method described later, and the calculated value can be used.
ステップS12:再生つぶやき候補クエリ発行
再生つぶやき候補抽出手段3が、再生要求に基づいて、再生候補の対象となるつぶやきを、つぶやき保持手段2から抽出するためのクエリを発行し、つぶやき保持手段2にクエリを出力する。クエリには、つぶやきを抽出するための条件が含まれる。
Step S12: Issuance of replay tweet candidate query The replay tweet candidate extraction means 3 issues a query for extracting a replay candidate target tweet from the tweet holding means 2 based on the replay request, and sends it to the tweet holding means 2 Output the query. The query includes a condition for extracting tweets.
ステップS13:再生つぶやき候補の取得
つぶやき保持手段2は、再生つぶやき候補抽出手段3からのクエリに該当するつぶやきを抽出し、再生つぶやき候補抽出手段3に抽出結果を返す。抽出結果は、抽出したつぶやきのデータオブジェクトの配列を含む。データオブジェクトの構成は以下の通りである。音声データのURLの代わりに、音声データそのものが含まれてもよい。
Step S13: Acquisition of replayed tweet candidates The tweet holding means 2 extracts the tweet corresponding to the query from the replayed tweet
[つぶやきデータオブジェクトの構成メンバ]
・つぶやきID
・つぶやきの音声データのURL(あるいは音声データのファイルパス)
・音声データの発話時間(秒あるいはミリ秒)
・発話者ID
・発話日時
・発話内のキーワード(テキスト、複数)
・話題の患者ID
・返信先つぶやきID
・イイね回数
・タグ(複数)
・発話時の業務
・発話場所
・重み(ステップS13の時点ではデフォルト値が設定されている)
・既読者ID
[Member of the tweet data object]
・ Tweet ID
・ URL of the voice data of the tweet (or the file path of the voice data)
・ Voice data utterance time (seconds or milliseconds)
・ Speaker ID
・ Speech date ・ Keywords in the utterance (text, multiple)
・ Topic patient ID
・ Return destination tweet ID
・ Good times ・ Tags (multiple)
・ Business at the time of utterance ・ Speaking place ・ Weight (default value is set at the time of step S13)
・ Reader ID
ステップS14:再生つぶやき候補への重み付与
抽出された再生つぶやき候補(データオブジェクト)に対し、重みを算出し、付与する。
Step S14: Giving weights to reproduction tweet candidates Weights are calculated and assigned to the extracted reproduction tweet candidates (data objects).
図3に、再生つぶやきの候補(N個)に関し、各つぶやきi(1〜N)への重みwiの算出フローの一例を示す。 FIG. 3 shows an example of a calculation flow of the weight w i for each tweet i (1 to N) regarding playback tweet candidates (N).
図3中の、ステップS21でつぶやきiの指数kiを算出し、続くステップS22で時間逓減係数αiを算出し、続くステップS23で、これらに基づく重みwiを計算する。 In FIG. 3, the index k i of the tweet i is calculated in step S21, the time decreasing coefficient α i is calculated in the subsequent step S22, and the weight w i based on these is calculated in the subsequent step S23.
・ ki = k1*イイね回数+k2*返信回数+k3*発話者重み+k4*Σタグ重み+k5*Σキーワード距離
・ αi = 1/(t-ti), t:現在時刻, ti:つぶやきiの発話時刻
・ wi =αi×ki
・ K i = k1 * number of likes + k2 * number of replies + k3 * speaker weight + k4 * Σ tag weight + k5 * Σ keyword distance ・ α i = 1 / (tt i ), t: current time, t i : tweet i Speech time ・ w i = α i × k i
指数kiの算出式におけるk1〜k5は数値である。 K1 to k5 in the calculation formula of the index k i are numerical values.
イイね回数は、前記のとおり、つぶやきを閲覧したユーザが、そのつぶやきを評価した回数である。 As described above, the number of likes is the number of times the user who viewed the tweet has evaluated the tweet.
返信回数は、つぶやきiを返信先とするつぶやきの個数である。 The number of replies is the number of tweets that have tweet i as a reply destination.
発話者重みは、つぶやきの発話者もしくは発話者の職種により決定される数値である。 The speaker weight is a numerical value determined by a tweeter or a job type of the speaker.
発話者の職種は、サーバのユーザマスタから取得できる。 The job title of the speaker can be acquired from the user master of the server.
タグ重みとは、タグ(つぶやきの内容による種類を示す。医師の指示や看護師の指示受け、返信、質問など)の種類により決定される数値である。重要な内容に対応するタグほどタグ重みが大きい。 The tag weight is a numerical value determined by the type of tag (indicating the type depending on the content of the tweet. Doctor's instruction, nurse's instruction reception, reply, question, etc.). The tag corresponding to the important content has a larger tag weight.
キーワード距離とは、当該つぶやきの発話内に含まれるキーワードが、直近のつぶやきに含まれるキーワードの分布の中心からどれくらい近いかを示す数値である。すなわち、直近の症状等に関係のあるつぶやきの重みが高くなるようにする。キーワード距離は、キーワード距離関数を用いて計算することができる。たとえば、単語を辞書順に整列したベクトルを用意しておき、つぶやきの中に同じ単語が含まれていれば該当する位置の要素を1、含まれていなければ0として、上記ベクトルと同じ要素数の単語ベクトルを生成する。他のつぶやきの単語ベクトルと同じ位置の値を比較し、同じ値であれば0、異なる値であれば1とし、1の数をカウントする。これをキーワード距離とすることができる。 The keyword distance is a numerical value indicating how close the keyword included in the utterance of the tweet is from the center of the distribution of keywords included in the latest tweet. That is, the weight of tweets related to the latest symptom is increased. The keyword distance can be calculated using a keyword distance function. For example, prepare a vector in which words are arranged in lexicographical order, and if the tweet contains the same word, set the element at the corresponding position to 1 and set it to 0 if it does not contain the same number of elements as the above vector. Generate a word vector. Compares the value at the same position with other tweet word vectors. If the value is the same, the value is 0. If the value is different, the value is 1. This can be used as a keyword distance.
時間逓減係数αiは一例であり、現時点から時間が遡るごとに単調減少する関数であれば他の形態でもよい。 The time-decreasing coefficient α i is an example, and any other form may be used as long as it is a function that decreases monotonically as time goes back from the present time.
ステップS15:再生つぶやきスケジューリング
再生つぶやきスケジューリング手段5 が、再生時間の合計が制限時間内になるように、かつ重みの合計が最大または閾値以上になるように、つぶやき候補から再生対象のつぶやきを選択および整列する。詳細は後述する。
Step S15: Replay Tweet Scheduling Replay tweet scheduling means 5 selects and selects a replay target tweet from the tweet candidates so that the total replay time is within the time limit and the total weight is equal to or greater than the threshold. Align. Details will be described later.
ステップS16:再生データ作成
再生データ作成手段6が、再生つぶやきスケジューリング手段5 により選択・整列された再生対象つぶやきに基づいて、再生データを作成する。ここで、再生データは、上記整列の結果に含まれる、つぶやきの音声データと付随情報(属性情報)の合成音声とを、再生順に結合した音声データ(wav形式など)である。付随情報の部分は再生データの上ではテキストデータとし、ユーザ端末上で音声合成してもよい。
Step S16: Reproduction Data Creation The reproduction data creation means 6 creates reproduction data based on the reproduction target tweets selected and arranged by the reproduction tweet scheduling means 5. Here, the reproduction data is audio data (wav format or the like) obtained by combining the tweet audio data and the synthesized audio of the accompanying information (attribute information) included in the alignment result in the order of reproduction. The accompanying information portion may be text data on the reproduction data, and may be synthesized on the user terminal.
ステップS 17:再生データ送信
再生データ送信手段7は、再生つぶやきスケジューリング手段5 が作成した再生データを、再生要求を送信したユーザ端末に送信する。別の方法として、再生データへのリンク情報をユーザ端末に送信してもよい。この場合、ユーザは、当該リンク情報へアクセスすることで再生データをダウンロードする。また、サーバは、当該リンク先に再生データを保存しておく。リンク先は、サーバ内であっても、ネットワーク上の別の装置であってもよい。
Step S17: Reproduction Data Transmission The reproduction data transmission unit 7 transmits the reproduction data created by the reproduction
(再生つぶやきスケジューリングの実施例)
再生つぶやきスケジューリング手段5 による、再生対象のつぶやきの選択および整列の実施例を示す。
(Example of playback tweet scheduling)
An example of selecting and arranging the tweets to be reproduced by the reproduction tweet scheduling means 5 will be described.
再生つぶやきのスケジューリングは、以下のように最適化問題として定式化できる。 Replay tweet scheduling can be formulated as an optimization problem as follows.
・max. Σ(選択されたつぶやきの重み)
・s.t. 選択・整列されたつぶやき再生時間の合計<制限時間
・ Max. Σ (weight of selected tweet)
・ St selected / sorted tweet playback time total <time limit
上記、最適化問題を解くアルゴリズムの例を示す。 An example of the algorithm for solving the above optimization problem is shown.
[再生対象つぶやき選択・整列アルゴリズム]
(ステップ1)つぶやき候補を、重みの降順に、つぶやき候補リスト(L1)に整列する。
(ステップ2)重みの大きい順に、つぶやき候補をつぶやき候補リスト(L1)から取りだす。
(ステップ3)取り出したつぶやき候補を、再生つぶやきリスト(L2)に挿入する。リストは発話時刻の昇順とする。
この際、後述の“配置ルール”を適用し、実際の発話時刻と異なる位置に挿入し、再生時に理解しやすいようにつぶやきを配置したり、同種のつぶやきをまとめることもできる。
また、後述の“省略ルール”を適用し、無駄な音声をとりのぞくこともできる。
[Replay target tweet selection and alignment algorithm]
(Step 1) The tweet candidates are arranged in the tweet candidate list (L1) in descending order of weight.
(Step 2) The tweet candidates are extracted from the tweet candidate list (L1) in descending order of weight.
(Step 3) Insert the extracted tweet candidates into the replay tweet list (L2). The list is in ascending order of utterance time.
At this time, it is possible to apply a “placement rule” to be described later, insert it at a position different from the actual utterance time, arrange the tweets so that they are easy to understand at the time of reproduction, and collect the same type of tweets.
In addition, it is possible to remove useless voices by applying an “omitted rule” described later.
(ステップ4)再生つぶやきリスト(L2)の合計再生時間を算出する。制限時間を越えていれば、上で挿入したつぶやきを再生つぶやきリスト(L2)から取り除く。
(ステップ5)つぶやき候補リスト(L1)が空であれば終了、そうでなければ2に戻る。
上記のアルゴリズムの変形例として、重みの合計が閾値以上になった時点で処理を終了してもよい。この場合、短い時間で処理を完了させることが可能である。
(Step 4) The total playback time of the playback tweet list (L2) is calculated. If the time limit is exceeded, the tweet inserted above is removed from the playback tweet list (L2).
(Step 5) If the tweet candidate list (L1) is empty, the process ends. Otherwise, the process returns to 2.
As a modification of the above algorithm, the processing may be terminated when the total weight is equal to or greater than a threshold value. In this case, the process can be completed in a short time.
(再生対象つぶやき選択・整列アルゴリズムにおける再生時間の算出の実施例)
再生対象つぶやき選択・整列アルゴリズムのステップ4の再生つぶやきリストの合計再生時間の算出方法を示す。
(Example of calculation of playback time in playback target tweet selection / alignment algorithm)
A method of calculating the total playback time of the playback tweet list in
再生つぶやきリストに整列した各つぶやきについては、基本的に、発話者氏名(あるいは通称)の合成音声、発話日時の合成音声、つぶやきの音声データの順で再生するものとする。ここで発話日時は、発話日だけにしてもよい。現在日時と同一週の場合は、曜日だけにしてもよい。 Each tweet arranged in the reproduction tweet list is basically reproduced in the order of the synthesized voice of the speaker name (or common name), the synthesized voice of the utterance date and time, and the voice data of the tweet. Here, the utterance date may be only the utterance date. If it is the same week as the current date and time, only the day of the week may be used.
ただし、上記のままだと連続するつぶやきが同じ発話者のものの場合に、同じ氏名が繰り返し再生され時間の無駄になる。 その他、もともとの音声データに無駄な音声が含まれているので、以下の省略ルールを適用して無駄な音声再生を取り除くことができる。 However, if the tweet is the same speaker, the same name is reproduced repeatedly and time is wasted. In addition, since unnecessary audio is included in the original audio data, unnecessary audio reproduction can be eliminated by applying the following omission rule.
[省略ルール]
・再生リスト(L2)内のあるつぶやきの発話者IDが、その直前のつぶやきの発話者IDと同一の場合、発話者氏名(あるいは通称)の合成音声を取り除く。
・再生リスト(L2)内のあるつぶやきの発話日時の年月日が、その直前のつぶやきの発話日時の年月日と同一の場合、年月日の合成音声を取り除く。
・情報量の少ない言葉の音声を取り除く(対象の患者名や“ええーっと”など)。
[Omission rule]
If the utterer ID of a tweet in the playlist (L2) is the same as the utterer ID of the tweet immediately before, the synthesized speech of the speaker name (or common name) is removed.
If the date of the utterance date of a tweet in the playlist (L2) is the same as the date of the utterance date of the tweet immediately before, the synthesized voice of the date is removed.
・ Remove voices of words with little information (such as the name of the patient and “um”).
ある患者についてのつぶやきを再生する場合、どの患者についてのつぶやきかは、再生の冒頭のみに合成音声で再生すればよい。このため個々のつぶやきの音声データに患者名が含まれる場合はこれを削除してもよい。 When replaying a tweet about a patient, the tweet about which patient may be replayed with synthesized speech only at the beginning of the replay. For this reason, when the voice name of each tweet includes a patient name, it may be deleted.
既存の音声認識技術により、患者名や“ええーっと”などの単語も再生不要なキーワードとして抽出でき、かつこれらのキーワードの開始時刻と終了時刻(音声データの開始時刻からの相対時刻)も特定できる。つぶやき保持手段2において、これらの情報を、キーワードの付随情報として保持可能である。このため音声データからこれらのキーワードの開始時刻から終了時刻までの部分を削除することで、情報量の少ない音声部分を取り除くことができる。 With existing voice recognition technology, words such as patient names and “um” can be extracted as keywords that do not need to be played, and the start time and end time (relative time from the start time of voice data) of these keywords can be specified. . In the tweet holding means 2, these pieces of information can be held as keyword accompanying information. For this reason, by deleting portions from the start time to the end time of these keywords from the sound data, it is possible to remove a sound portion with a small amount of information.
(再生時に理解しやすいつぶやき再生列の作成)
あるつぶやきについての返信つぶやきは、返信先のつぶやきの直後に配置した方が、再生時に理解しやすい。 また、キーワードや発話時の業務に基づく因果関係(後述)を持つつぶやきも、“因”のつぶやきの直後に、“果”のつぶやきを配置することで、再生時に理解しやすくすることができる。
(Creating a tweet playback sequence that is easy to understand during playback)
Reply tweets about a certain tweet are easier to understand during playback if they are placed immediately after the tweet of the reply destination. Also, tweets having a causal relationship (described later) based on a keyword or a task at the time of utterance can be easily understood at the time of reproduction by arranging the “fruit” tweets immediately after the “cause” tweets.
このため、[再生対象つぶやき選択・整列アルゴリズム]のステップ3における、つぶやき候補の再生つぶやきリスト(L2)への挿入において、以下の配置ルールを適用することで、上記の目的を達成できる。
[配置ルール1]
・返信つぶやき(因果の“果”つぶやき)の挿入ルール
つぶやき候補リスト(L1)から取り出したあるつぶやきiが、再生リスト(L2)内のいずれかのつぶやきjの返信である場合、つぶやきiをつぶやきjの直後に挿入する。
・返信先つぶやき(因果の“因”つぶやき)の挿入ルール
つぶやき候補リスト(L1)から取り出したあるつぶやきiが、再生リスト(L2)内のいくつかのつぶやきjの返信先である場合、つぶやきiを、全てのつぶやきjの中で最も先頭にあるもの直前に挿入する。
以上2つのルールで配置された、連続する同種の返信つぶやき(“果”のつぶやき)を、以下のようにまとめることで、同一内容で情報量の少ないつぶやきの再生を圧縮できる。
“連続する同種の返信つぶやきの全発話者氏名(あるいは通称)の合成音声の列+返信の内容の合成音声”
たとえば、Aさん、Bさん、Cさんが、あるつぶやきに対し、全員“了解”あるいは“了解しました”といった返信つぶやきを発した場合、上記まとめにより得られる再生音声は、“Aさん、Bさん、Cさん、了解”となる。
For this reason, the above-described object can be achieved by applying the following arrangement rule when inserting a tweet candidate into the reproduction tweet list (L2) in
[Placement rule 1]
・ Insertion rules for reply tweets (causal “fruit” tweets)
When a certain tweet i extracted from the tweet candidate list (L1) is a reply to any tweet j in the playlist (L2), the tweet i is inserted immediately after the tweet j.
・ Return destination tweets (causal “cause” tweets) insertion rules
When a certain tweet i taken out from the tweet candidate list (L1) is the reply destination of some tweet j in the playlist (L2), tweet i is immediately before the top of all tweet j Insert into.
By combining the same type of reply tweets ("fruit" tweets) arranged according to the above two rules as follows, playback of tweets with the same content and a small amount of information can be compressed.
“A sequence of synthesized speech of all utterance names (or common names) of consecutive reply tweets of the same type + synthesized speech of reply contents”
For example, if A, B, and C all responded to a tweet with a reply tweet such as “OK” or “OK”, the playback audio obtained from the above summary is “A” and “B” , Mr. C, I understand. "
[配置ルール2]
別のつぶやき配置ルールとして、下記のような実施例も可能である。ユーザによる返信関係や医療上の処置の順序など業務上の知識を用いてつぶやき間の因果関係が抽出可能な場合、一連のつぶやき群は束(ラティス)構造を形成する。このとき、因果関係による順序関係を保つ範囲で、同一発話者のつぶやきを時間順序に基づき再生する。因果関係による順序関係がある場合は、発話者をチェンジし、最も古いつぶやきの発話者を選択する。発話者が変わる場合はタグの音声合成を実施する。
[Placement rule 2]
As another tweet arrangement rule, the following embodiment is also possible. When a causal relationship between tweets can be extracted using business knowledge such as a reply relationship by a user and the order of medical treatment, a series of tweets forms a lattice structure. At this time, tweets of the same speaker are reproduced based on the time order within a range that maintains the order relation due to the causal relation. If there is an order relationship due to a causal relationship, the speaker is changed and the oldest tweeter is selected. If the speaker changes, tag speech synthesis is performed.
図5に、ラティス構造を活かした再生順序の決定の例を示す。図中の楕円はつぶやきを模式的に表している。自分、A医師、B看護師、C介護士の患者K氏に関するつぶやきが再生対象として選択されている。これらのつぶやきの再生順序が楕円内の数字によって表されている。基本的に最も古いつぶやきを持つ順に発話者が選択され、同一発話者では、古いのもから新しい順につぶやきが再生されるように、つぶやきの再生順序が決定される。ただし、因果関係による順序関係を保つ範囲で、適宜発話者をチェンジする。図示の例では、A医師のつぶやき15は、自分のつぶやき5とB看護師のつぶやき12と因果関係があり、自分のつぶやき5とB看護師のつぶやき12よりも後に再生されるようにする(条件1)。また、C介護士のつぶやき17はB看護師のつぶやき12と因果関係にあり、B看護師のつぶやき12よりも後に再生されるようにする(条件2)。これらの条件1および条件2を満たすように、上記の原則にしたがって、つぶやきの再生順序を決定する。本例では、まず、最も古いつぶやき(つぶやき1)をもつのは自分であるため、自分のつぶやきが古いものから順に再生されるよう再生順序が決定される。次に古いつぶやき(つぶやき8)を持つのはC介護士であるため、C介護士のつぶやきが古いものから順に再生されるよう再生順序が決定される。この際、C介護士のつぶやき17は、B看護師のつぶやき12の後に再生される必要があるため、つぶやき17の再生前に発話者がチェンジされる。次に古いつぶやき(つぶやき11)を持つのはB看護師であるため、発話者がB看護師にチェンジされる。B看護師のつぶやきが古いものから順に再生されるように再生順序が決定される。次に、A医師の最も古いつぶやき15が、C介護士のつぶやき17よりも古いため、A医師に発話者がチェンジされ、A医師のつぶやきを古いものから順に再生するように再生順序が決定される。最後に、C介護士のつぶやき17、18がこの順で再生されるように再生順序が決定される。この結果、図に示される数字の順序で、つぶやきの再生順序が決定される。
FIG. 5 shows an example of determining the playback order utilizing the lattice structure. The ellipses in the figure schematically represent tweets. A tweet about Mr. K who is a patient, Doctor A, Nurse B, and Caregiver C is selected as the target for regeneration. The replay order of these tweets is represented by numbers in the ellipse. Basically, the speakers are selected in the order of having the oldest tweets, and the playback order of tweets is determined so that the tweets are played back in order from the oldest to the newest. However, the speaker is appropriately changed within a range that maintains the order relationship due to the causal relationship. In the illustrated example, the
(つぶやきの配置における業務フローの適用の実施例)
前述のつぶやきの整列において適用されるつぶやき間の因果関係を表すものとして、医療の業務フローがある。地域医療の業務フローの例として、
訪問看護師による観察 → 医師の処方 → 薬剤師の調剤・配薬 → 訪問看護師による残薬確認
というタスクの連鎖からなるフローが考えられる。上記の各タスク実施時に、各医療職がある患者についてつぶやきを登録すると、音声つぶやきシステムでは、当該医療職の業務予定、位置、発話のキーワードなどから、発話時のタスクを推定し、つぶやきに付随情報として推定タスクを自動添付する。
(Example of application of business flow in tweet arrangement)
A medical work flow represents the cause-and-effect relationship between tweets applied in the above-described tweet arrangement. As an example of the regional medical work flow,
The flow consists of a chain of tasks: observation by visiting nurses → doctor prescription → dispensing and dispensing by pharmacists → confirmation of remaining medicine by visiting nurses. When a tweet is registered for a patient at each medical position during the above tasks, the voice tweet system estimates the task at the time of utterance from the work schedule, position, utterance keyword, etc. of the medical position and accompanies the tweet. An estimation task is automatically attached as information.
この推定タスクを用いて、再生つぶやき候補の整列時に、ある推定タスクについてのつぶやきを、フロー上で前方のタスクの直後に配置することができる。このような再生列の配置により、ユーザが再生音声を聞くとき、業務の流れにしたがった状況理解をすることができる。 Using this estimation task, a tweet about a certain estimation task can be placed immediately after the task ahead in the flow when replaying tweet candidates are arranged. With the arrangement of the reproduction train, when the user listens to the reproduction voice, it is possible to understand the situation according to the work flow.
(第2の実施例:再生対象つぶやき候補の絞り込み抽出)
前記した[再生対象つぶやき選択・整列アルゴリズム]におけるステップ2およびステップ3の再生つぶやき候補の抽出において、再生つぶやき候補を絞り込んで抽出することができる。具体的には、つぶやき保持手段2へのつぶやき候補抽出のクエリとして、以下のような指定をしたものを発行することで、絞り込みができる。これらの指定を組み合わせたクエリでもよい。これらのクエリの実装はSQLおよび抽出結果に対する整列処理で可能である。
(Second example: Retrieval extraction of replay target tweets)
In the extraction of reproduction tweet candidates in
・ 対象患者ID(つぶやき再生要求に含まれる場合)
・ 未読のつぶやき
・ 最近のつぶやきであって、音声データの発話時間の合計が制限時間のK倍以下(K=2など)
・ 発話日時が過去1か月以内
・ 発話者が特定の職種(ユーザマスタ上で各ユーザの職種が指定されている)発話者が特定のユーザ
・ 単なる返信つぶやき以外(単なる返信つぶやきかは、たとえば「単なる返信」を表す所定のキーワードのみを含むかで判断できる)
・ Target patient ID (when included in retweet request)
・ Unread tweets ・ Recent tweets, the total speech time of voice data is less than K times the time limit (K = 2, etc.)
・ The utterance date is within the past month ・ The speaker is a specific job type (the job type of each user is specified on the user master) The speaker is a specific user ・ Other than just reply tweets (for example, just reply tweets) Judgment can be made by including only a predetermined keyword indicating "simple reply")
(第3 の実施例:再生時間制約のバリエーション)
前記した再生対象のつぶやきの選択および整列におけるつぶやきの再生の制限時間としては、以下のような指定方法がある。
(Third example: Variation of playback time constraint)
There are the following designation methods for the time limit for reproduction of tweets in the selection and arrangement of tweets to be reproduced as described above.
・ユーザの現在位置からつぎの訪問先までの移動所要時間の推定値を用いる
スマートフォンなどの携帯端末では、GPSデータを受信することで、ユーザの現在位置の緯度経度を取得することができる。ユーザの次の訪問先の緯度経度もしくは住所がサーバ上に登録されていれば、これらに基づいて、既存の地図情報アプリケーション(google mapsなど)を用いて、次の訪問先までの移動所要時間を推定することができる。この推定値自体もしくは、これに定数時間を足した時間を、つぶやきの再生の制限時間とすることができる。ユーザの現在位置は携帯端末からサーバに送信することができ、次の訪問先の緯度経度もしくは住所はサーバから携帯端末に送信することができる。よって、上記の制限時間を算出する機能および手段は、携帯端末上とサーバのどちらにも配置することができる。
-Using the estimated value of the required travel time from the user's current location to the next visit destination A mobile terminal such as a smartphone can acquire the latitude and longitude of the user's current location by receiving GPS data. If the latitude / longitude or address of the user's next visit is registered on the server, the travel time to the next visit can be calculated using an existing map information application (such as google maps). Can be estimated. The estimated value itself or a time obtained by adding a constant time to the estimated value can be used as a time limit for replaying tweets. The current position of the user can be transmitted from the portable terminal to the server, and the latitude / longitude or address of the next visit destination can be transmitted from the server to the portable terminal. Therefore, the function and means for calculating the time limit described above can be arranged on either the mobile terminal or the server.
・ユーザが携帯端末上で制限時間を指定する
再生要求送信時に、携帯端末の画面上で制限時間を指定することができる。
-The user can specify the time limit on the mobile terminal. When the playback request is transmitted, the time limit can be specified on the screen of the mobile terminal.
・デフォルトの値を用いる(5分など)
以上のどちらの方法も用いない場合、デフォルトの制限時間を用いることができる。
Use default values (
If neither of the above methods is used, a default time limit can be used.
(第4の実施例:つぶやきの再生速度や再生内容の変更)
ユーザの端末上でのつぶやき再生において、倍速指定など、再生速度を早くするかどうか選択できるようにしてもよい。
・ つぶやきの種類(指示、実施報告、返信など)、キーワードや発話者、発話者の職種に応じた再生速度の指定も可能。
・ 単なる返信(“了解”など)は倍速
・ 医師の指示のつぶやきは常に通常再生
(4th example: Change of playback speed and playback content of tweets)
In the tweet playback on the user's terminal, it may be possible to select whether to increase the playback speed, such as double speed designation.
・ It is also possible to specify the playback speed according to the type of tweets (instructions, implementation reports, replies, etc.), keywords, speakers, and the occupation of the speaker.
・ Simple reply (“OK” etc.) is double speed
・ Doctor's instructions are always replayed normally
(第5の実施例:再生中に気になったつぶやきにチェック)
以上の方法によって再生される音声つぶやきを聞いている最中、ユーザがよく理解できない音声つぶやきや、気になった音声つぶやきがあった場合に、当該つぶやきにチェックをつけることができるようにする。
(Fifth example: Check the tweets you noticed during playback)
While listening to a voice tweet reproduced by the above method, if there is a voice tweet that the user does not understand well or a voice tweet of interest, the tweet can be checked.
たとえば、ユーザがその音声つぶやきの再生中もしくは再生直後に、携帯端末の画面操作もしくはヘッドセットのボタン操作により、チェックを付ける。チェックにより、“気になったつぶやきのIDのリスト”に、当該つぶやきのIDが追加される。 For example, the user adds a check by operating the screen of the portable terminal or the button operation of the headset while the voice tweet is being reproduced or immediately after the reproduction. By checking, the ID of the concerned tweet is added to the “List of tweet IDs of interest”.
再生が完了すると、あるいはユーザの画面操作やヘッドセットのボタン操作により、前記つぶやきのIDリスト内のIDに対応するつぶやきの音声を、連続再生する。あるいは再生中につぶやきの音声再生をスキップできるようにしてもよい。 When the playback is completed, or the user's screen operation or headset button operation, the tweet voice corresponding to the ID in the tweet ID list is continuously played back. Or you may enable it to skip a sound reproduction of a tweet during reproduction | regeneration.
上記のように一連のつぶやきの連続再生が終わってから気になったつぶやきを改めて聞く以外に、気になった時点で、気になったつぶやきを聞きなおすことができるようにしてもよい。たとえば、ユーザの画面操作やヘッドセットのボタン操作により、一連のつぶやきの連続再生を一旦停止して、気になったつぶやきを聞きなおす。このつぶやきを起点に、因果関係にあるつぶやきの再生を行うことができるようにしてもよい。 As described above, in addition to listening to a tweet that has become a concern after a series of tweets has been continuously played back, it may be possible to re-listen to the tweet that is of interest at the point of interest. For example, the continuous playback of a series of tweets is temporarily stopped by a user's screen operation or headset button operation, and the tweets of interest are re-listened. With this tweet as a starting point, it may be possible to reproduce a tweet having a causal relationship.
(第6の実施例:制限時間内の再生に限定しないつぶやき再生方法)
これまで述べた再生つぶやきスケジューリングでは、過去のつぶやきや、重要でないと判断されたつぶやきが再生データから排除されることがある。しかしながら、ユーザにとって、このことが望ましくない場合がある。
(Sixth embodiment: tweet playback method not limited to playback within the time limit)
In the replay tweet scheduling described so far, past retweets or tweets determined to be insignificant may be excluded from the replay data. However, this may not be desirable for the user.
そこで本実施例では、このようなケースにおいては、図 4に示すフローチャートに従う方法を実行する。図4(A)はサーバ側のフロー、図4(B)はユーザ端末側のフローである。 Therefore, in this embodiment, in such a case, a method according to the flowchart shown in FIG. 4 is executed. 4A is a flow on the server side, and FIG. 4B is a flow on the user terminal side.
サーバでは、ユーザ端末から未読のつぶやきの再生要求を受信し(S51)、当該未読のつぶやきの抽出クエリを発行して(S52)、未読のつぶやきを取得し(S53)、取得した未読のつぶやきをユーザ端末に送信する(S54)。ユーザ端末では、未読のつぶやきを受信したら(S55)、まず一連のつぶやきの概要を短時間で再生し(S56)、気になった音声つぶやきにユーザがチェックを付け、概要の再生が終わった後、改めてユーザがチェックしたつぶやきの音声を聞く(S57)。 The server receives an unread tweet playback request from the user terminal (S51), issues an extraction query for the unread tweet (S52), acquires the unread tweet (S53), and retrieves the acquired unread tweet. It transmits to the user terminal (S54). When the user terminal receives an unread tweet (S55), it first plays a summary of a series of tweets in a short time (S56), after the user checks the tweet that they are interested in, and the summary is finished playing Then, he hears the voice of the tweet again checked by the user (S57).
ステップS56の再生では、未読のつぶやきについて、つぶやきの発話者氏名、発話時刻、対象の患者指名、つぶやきに含まれるキーワード、つぶやきの種類(観察、指示、実施報告、質問など)を合成音声により、つぶやきの発話時刻順に再生すればよい。 In the playback of step S56, for the unread tweet, the name of the utterer of the tweet, the utterance time, the target patient designation, the keyword included in the tweet, the type of tweet (observation, instruction, implementation report, question, etc.) by synthetic voice, What is necessary is just to reproduce | regenerate in order of utterance time of a tweet.
あるいは、未読のつぶやきを対象患者ごとにまとめてから、各対象患者についてのつぶやきを発話時刻順に再生してもよい。その場合は、対象患者指名の合成音声は、当該患者の一連のつぶやき概要の再生の冒頭においてのみ再生すればよい。 Alternatively, unread tweets may be collected for each target patient, and the tweets about each target patient may be reproduced in the order of utterance times. In that case, the synthesized voice of the target patient designation may be reproduced only at the beginning of the reproduction of a series of tweets of the patient.
また前述の実施例と同様に、連続するつぶやきの発話者や発話日が同一の場合は、一連のつぶやきの中の最初のつぶやきの概要再生においてのみ、発話者氏名や発話日の合成音声を再生すればよい。 As in the previous example, if the utterers and utterance dates of consecutive tweets are the same, only the summary of the first tweet in a series of tweets is played back, and the synthesized voice of the speaker's name and utterance date is played back. do it.
ユーザは、未読のつぶやきの概要が再生されている最中に、気になったつぶやき概要があれば、当該概要の再生中に、携帯端末の画面操作もしくはヘッドセットのボタン操作により、当該つぶやきにチェックをつけることができる。概要の再生が完了すると、自動的に、もしくはユーザの画面操作やヘッドセットのボタン操作により、前記気になったつぶやきのIDリスト内のIDに対応するつぶやきの音声が連続再生される(S57)。再生中につぶやきの音声再生をスキップすることもできる。再生時に、前述の実施例と同様に、携帯端末上で、つぶやきの並べ替えやまとめ、情報量の少ない音声の省略などを適用したスケジューリングを施すことができる。あるいは、前記気になったつぶやきのIDリストをサーバに送信し、サーバ上で気になったつぶやきについて前述の実施例と同様なスケジューリングを実施し、携帯端末に再生データを作成・送信することによっても、同じ目的を達することができる。 When the summary of an unread tweet is being played, if there is a tweet summary of interest, the user can select the tweet by operating the screen of the mobile terminal or the button on the headset while the summary is being played. Can be checked. When the playback of the overview is completed, the voice of the tweet corresponding to the ID in the ID list of the tweet of interest is continuously played back automatically or by the user's screen operation or headset button operation (S57). . You can also skip tweet playback during playback. At the time of reproduction, scheduling similar to the above-described embodiment can be performed on the mobile terminal by applying rearrangement and summarization of tweets, omission of voice with a small amount of information, and the like. Alternatively, by sending the ID list of the tweet of interest to the server, performing scheduling similar to the above-described embodiment for the tweet of interest on the server, and creating and transmitting playback data to the mobile terminal Even can achieve the same purpose.
また図 4のフローチャートは、未読のつぶやきを対象としているが、ステップS52の抽出条件として、第2の実施例に列挙した条件およびそれらの条件の組み合わせを用いることで、“未読のつぶやき”以外のつぶやきについても、上記方法を適用できる。 The flowchart in FIG. 4 is intended for unread tweets, but by using the conditions listed in the second embodiment and combinations of those conditions as the extraction conditions in step S52, other than “unread tweets” are used. The above method can also be applied to tweets.
上記実施形態では、音声メッセージを対象としたが、映像データにも本実施形態は適用可能である。この場合、再生候補となる映像データを抽出し、当該映像データに重み付けし、再生時間が制限時間以内になるようにこれらの中から映像データを選択および整列して、再生映像データを生成することとなる。これまでの説明におけるつぶやきあるいは音声メッセージ等の用語を映像データに読み替えることで、映像データの場合も同様にして実施可能である。 In the above embodiment, a voice message is targeted, but the present embodiment can also be applied to video data. In this case, extracting video data as playback candidates, weighting the video data, selecting and aligning the video data so that the playback time is within the time limit, and generating playback video data It becomes. By replacing words such as tweets or voice messages in the description so far with video data, the same can be applied to video data.
なお、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、以下に例示するような種々の変形が可能である。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined. Further, various modifications as exemplified below are possible.
Claims (13)
前記音声メッセージの中から、前記音声メッセージの重みに基づいて、再生時間の合計が制限時間内になるように、1つ以上の音声メッセージを選択し、選択した音声メッセージの再生順序を前記選択された音声メッセージの属性情報に基づき決定するスケジューリング手段と、
前記再生順序にしたがって前記選択された音声メッセージを整列および結合することにより再生データを生成する再生データ作成手段と、
前記再生データまたは前記再生データへのリンク情報を、ユーザ端末に送信する送信手段と、
計時装置から時刻を取得する取得手段を備え、
前記属性情報は、発話時刻に関する情報を含み、
前記重み付け手段は、前記取得手段により取得した時刻と、前記発話時刻との差分に応じて、前記重みを設定する
再生データ生成装置。 Weighting means for setting a weight according to attribute information of the voice message for a plurality of voice messages;
Based on the weight of the voice message, one or more voice messages are selected from the voice messages so that the total playback time is within the time limit, and the playback order of the selected voice messages is selected. Scheduling means for determining based on attribute information of the voice message,
Replay data creating means for creating replay data by aligning and combining the selected voice messages according to the replay order;
Transmitting means for transmitting the reproduction data or link information to the reproduction data to a user terminal;
An acquisition means for acquiring time from a timing device is provided,
The attribute information includes information related to the utterance time,
The reproduction data generation device, wherein the weighting unit sets the weight according to a difference between the time acquired by the acquisition unit and the utterance time.
請求項1に記載の再生データ生成装置。 The reproduction data generation apparatus according to claim 1.
前記音声メッセージの中から、前記音声メッセージの重みに基づいて、再生時間の合計が制限時間内になるように、1つ以上の音声メッセージを選択し、選択した音声メッセージの再生順序を前記選択された音声メッセージの属性情報に基づき決定するスケジューリング手段と、
前記再生順序にしたがって前記選択された音声メッセージを整列および結合することにより再生データを生成する再生データ作成手段と、
前記再生データまたは前記再生データへのリンク情報を、ユーザ端末に送信する送信手段と、を備え、
前記スケジューリング手段は、(1)前記選択された音声メッセージにおいて第1音声メッセージが第2音声メッセージへの返信である場合、前記第1音声メッセージを前記第2音声メッセージの後に並べ、または、(2)前記選択された音声メッセージにおいて第1音声メッセージがタスクフローの第2音声メッセージよりも後方のタスクで取得されたものである場合、前記第1音声メッセージを前記第2音声メッセージの後に並べる
再生データ生成装置。 Weighting means for setting a weight according to attribute information of the voice message for a plurality of voice messages;
Based on the weight of the voice message, one or more voice messages are selected from the voice messages so that the total playback time is within the time limit, and the playback order of the selected voice messages is selected. Scheduling means for determining based on attribute information of the voice message,
Replay data creating means for creating replay data by aligning and combining the selected voice messages according to the replay order;
Transmission means for transmitting the reproduction data or link information to the reproduction data to a user terminal,
The scheduling means (1) arranges the first voice message after the second voice message when the first voice message is a reply to the second voice message in the selected voice message, or (2 ) In the selected voice message, when the first voice message is acquired by a task behind the second voice message in the task flow, the first voice message is arranged after the second voice message. Generator.
請求項1ないし3のいずれか一項に記載の再生データ生成装置。 The reproduction data generation apparatus according to any one of claims 1 to 3, wherein the scheduling unit selects the voice message so that the sum of the weights is a maximum or a threshold value or more.
前記再生要求に応じて、音声メッセージ群の中から再生対象とする音声メッセージの候補を抽出する抽出手段と、をさらに備え、
前記重み付け手段は、前記抽出手段により抽出された音声メッセージに対し、前記重みを設定し、
前記スケジューリング手段は、前記抽出手段により抽出された音声メッセージの中から前記1つ以上の音声メッセージを選択する
請求項1ないし4のいずれか一項に記載の再生データ生成装置。 Receiving means for receiving a reproduction request from the user terminal;
An extraction means for extracting a voice message candidate to be reproduced from a group of voice messages in response to the reproduction request;
The weighting means sets the weight for the voice message extracted by the extracting means,
The reproduction data generation apparatus according to any one of claims 1 to 4 , wherein the scheduling unit selects the one or more voice messages from the voice messages extracted by the extraction unit.
前記重み付け手段は、前記少なくとも1つの情報をさらに用いて前記重みを設定する
請求項1ないし5のいずれか一項に記載の再生データ生成装置。 The attribute information includes information related to a speaker, message content type information, information about a keyword included in a voice message, information about the number of replies to the voice message, information about user evaluation of the voice message, and a topic Further comprising at least one piece of information,
The reproduction data generation device according to any one of claims 1 to 5, wherein the weighting unit sets the weight by further using the at least one information.
前記抽出手段は、前記抽出条件と前記属性情報とに基づいて、前記再生対象とする音声メッセージの候補を抽出する
請求項5に記載の再生データ生成装置。 The reproduction request includes an extraction condition for a candidate voice message to be reproduced,
The reproduction data generation apparatus according to claim 5 , wherein the extraction unit extracts a voice message candidate to be reproduced based on the extraction condition and the attribute information.
請求項1ないし7のいずれか一項に記載の再生データ生成装置。 The said scheduling means adds the synthetic voice based on the attribute information of the said selected voice message, or the text showing the said synthesized voice to the beginning of each of the said selected voice message. Reproduction data generation device.
請求項8に記載の再生データ生成装置。 9. The synthesized voice or text having a common content between consecutive voice messages is added to the voice message at the head of the continuous voice message only by the scheduling means adding the synthesized voice or text having the common content. Reproduction data generation device.
前記スケジューリング手段は、前記選択した音声メッセージから前記キーワードの音声データを削除する
請求項1ないし9のいずれか一項に記載の再生データ生成装置。 The attribute information includes a keyword representing a word that does not need to be reproduced,
The reproduction data generation apparatus according to any one of claims 1 to 9, wherein the scheduling unit deletes the voice data of the keyword from the selected voice message.
請求項1ないし10のいずれか一項に記載の再生データ生成装置。 The time required to travel to the visited location is calculated based on the current location of the user terminal and the location of the user visited by the user terminal, and the time limit is calculated based on the required travel time. The reproduction data generation device according to any one of 10.
前記音声メッセージの中から、前記音声メッセージの重みに基づいて、再生時間の合計が制限時間内になるように、1つ以上の音声メッセージを選択し、選択した音声メッセージの再生順序を前記選択された音声メッセージの属性情報に基づき決定するスケジューリングステップと、
前記再生順序にしたがって前記選択された音声メッセージを整列および結合することにより再生データを生成する再生データ作成ステップと、
前記再生データまたは前記再生データへのリンク情報を、ユーザ端末に送信する送信ステップと、
計時装置から時刻を取得する取得ステップとを備え、
前記属性情報は、発話時刻に関する情報を含み、
前記重み付けステップは、前記取得ステップにより取得した時刻と、前記発話時刻との差分に応じて、前記重みを設定する
再生データ生成方法。 A weighting step for setting a weight according to attribute information of the voice message for a plurality of voice messages;
Based on the weight of the voice message, one or more voice messages are selected from the voice messages so that the total playback time is within the time limit, and the playback order of the selected voice messages is selected. A scheduling step for determining based on the attribute information of the voice message,
A reproduction data creation step of generating reproduction data by aligning and combining the selected voice messages according to the reproduction order;
Transmitting the playback data or link information to the playback data to a user terminal;
An acquisition step of acquiring time from a timing device,
The attribute information includes information related to the utterance time,
The reproduction data generation method in which the weighting step sets the weight according to a difference between the time acquired by the acquisition step and the utterance time.
前記音声メッセージの中から、前記音声メッセージの重みに基づいて、再生時間の合計が制限時間内になるように、1つ以上の音声メッセージを選択し、選択した音声メッセージの再生順序を前記選択された音声メッセージの属性情報に基づき決定するスケジューリングステップと、
前記再生順序にしたがって前記選択された音声メッセージを整列および結合することにより再生データを生成する再生データ作成ステップと、
前記再生データまたは前記再生データへのリンク情報を、ユーザ端末に送信する送信ステップと、を備え、
前記スケジューリングステップは、(1)前記選択された音声メッセージにおいて第1音声メッセージが第2音声メッセージへの返信である場合、前記第1音声メッセージを前記第2音声メッセージの後に並べ、または、(2)前記選択された音声メッセージにおいて第1音声メッセージがタスクフローの第2音声メッセージよりも後方のタスクで取得されたものである場合、前記第1音声メッセージを前記第2音声メッセージの後に並べる
再生データ生成方法。 A weighting step for setting a weight according to attribute information of the voice message for a plurality of voice messages;
Based on the weight of the voice message, one or more voice messages are selected from the voice messages so that the total playback time is within the time limit, and the playback order of the selected voice messages is selected. A scheduling step for determining based on the attribute information of the voice message,
A reproduction data creation step of generating reproduction data by aligning and combining the selected voice messages according to the reproduction order;
Transmitting the playback data or link information to the playback data to a user terminal, and
In the scheduling step, (1) when the first voice message is a reply to the second voice message in the selected voice message, the first voice message is arranged after the second voice message, or (2 ) In the selected voice message, when the first voice message is acquired by a task behind the second voice message in the task flow, the first voice message is arranged after the second voice message. Generation method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012208479A JP5414865B1 (en) | 2012-09-21 | 2012-09-21 | REPRODUCTION DATA GENERATION DEVICE AND REPRODUCTION DATA GENERATION METHOD |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012208479A JP5414865B1 (en) | 2012-09-21 | 2012-09-21 | REPRODUCTION DATA GENERATION DEVICE AND REPRODUCTION DATA GENERATION METHOD |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5414865B1 true JP5414865B1 (en) | 2014-02-12 |
JP2014063054A JP2014063054A (en) | 2014-04-10 |
Family
ID=50202766
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012208479A Expired - Fee Related JP5414865B1 (en) | 2012-09-21 | 2012-09-21 | REPRODUCTION DATA GENERATION DEVICE AND REPRODUCTION DATA GENERATION METHOD |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5414865B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11043287B2 (en) | 2014-02-19 | 2021-06-22 | Teijin Limited | Information processing apparatus and information processing method |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6502789B2 (en) * | 2015-08-25 | 2019-04-17 | 株式会社東芝 | COMMUNICATION SUPPORT DEVICE, COMMUNICATION SUPPORT METHOD, AND PROGRAM |
JP6523974B2 (en) | 2016-01-05 | 2019-06-05 | 株式会社東芝 | COMMUNICATION SUPPORT DEVICE, COMMUNICATION SUPPORT METHOD, AND PROGRAM |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10187191A (en) * | 1996-12-19 | 1998-07-14 | Canon Inc | Method for information processing, information processor, and storage medium therefor |
JP2010066675A (en) * | 2008-09-12 | 2010-03-25 | Fuji Xerox Co Ltd | Voice information processing system and voice information processing program |
-
2012
- 2012-09-21 JP JP2012208479A patent/JP5414865B1/en not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11043287B2 (en) | 2014-02-19 | 2021-06-22 | Teijin Limited | Information processing apparatus and information processing method |
Also Published As
Publication number | Publication date |
---|---|
JP2014063054A (en) | 2014-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20070101313A1 (en) | Publishing synthesized RSS content as an audio file | |
JPWO2008001500A1 (en) | Audio content generation system, information exchange system, program, audio content generation method, and information exchange method | |
US9705460B2 (en) | Information processing apparatus, control method, and non-transitory computer readable storage medium | |
CN107038197A (en) | The content transmission and interaction of situation and activity-driven | |
WO2014027134A1 (en) | Method and apparatus for providing multimedia summaries for content information | |
EP3944627A1 (en) | Generating a playlist based on a data generation attribute | |
KR101983635B1 (en) | A method of recommending personal broadcasting contents | |
CN108292322A (en) | Use tissue, retrieval, annotation and the presentation of the media data file from the signal for checking environment capture | |
CN102915493A (en) | Information processing apparatus and method | |
US20130138637A1 (en) | Systems and methods for ranking media files | |
US20230251820A1 (en) | Systems and Methods for Generating Recommendations in a Digital Audio Workstation | |
JP5414865B1 (en) | REPRODUCTION DATA GENERATION DEVICE AND REPRODUCTION DATA GENERATION METHOD | |
US20220246135A1 (en) | Information processing system, information processing method, and recording medium | |
US20070100631A1 (en) | Producing an audio appointment book | |
US20240205515A1 (en) | Information processing system, information processing method, and storage medium | |
US20110040800A1 (en) | Metadata generation management device, metadata generation system, integrated circuit for managing generation of metadata, metadata generation management method, and program | |
JP2012168862A (en) | Behavior information recording apparatus | |
JPWO2002065399A1 (en) | Animation data generation method, animation data generation device, terminal device, computer-readable recording medium recording animation data generation program, and animation data generation program | |
US9992536B2 (en) | Information provision device, information provision method, and information provision system | |
KR20130103243A (en) | Method and apparatus for providing music selection service using speech recognition | |
JP2012168863A (en) | Behavior information recording apparatus | |
JP6627315B2 (en) | Information processing apparatus, information processing method, and control program | |
JP2001175679A (en) | Method and system for distributing music data | |
JP2002215534A (en) | Information distribution device and system | |
JP7074116B2 (en) | Information processing method and information processing equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131112 |
|
LAPS | Cancellation because of no payment of annual fees |