JP7302559B2 - 端末装置、端末装置の動作方法、および、プログラム - Google Patents

端末装置、端末装置の動作方法、および、プログラム Download PDF

Info

Publication number
JP7302559B2
JP7302559B2 JP2020152023A JP2020152023A JP7302559B2 JP 7302559 B2 JP7302559 B2 JP 7302559B2 JP 2020152023 A JP2020152023 A JP 2020152023A JP 2020152023 A JP2020152023 A JP 2020152023A JP 7302559 B2 JP7302559 B2 JP 7302559B2
Authority
JP
Japan
Prior art keywords
identification information
sound
acquisition operation
trigger data
acquisition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020152023A
Other languages
English (en)
Other versions
JP2021005882A (ja
JP2021005882A5 (ja
Inventor
翔太 森口
優樹 瀬戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of JP2021005882A publication Critical patent/JP2021005882A/ja
Publication of JP2021005882A5 publication Critical patent/JP2021005882A5/ja
Application granted granted Critical
Publication of JP7302559B2 publication Critical patent/JP7302559B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1895Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for short real-time information, e.g. alarms, notifications, alerts, updates
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification
    • G10L17/02Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H20/00Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/10Arrangements for replacing or switching information during the broadcast or the distribution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/16Arrangements for providing special services to substations
    • H04L12/18Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1881Arrangements for providing special services to substations for broadcast or conference, e.g. multicast with schedule organisation, e.g. priority, sequence management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/401Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4882Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835Generation of protective data, e.g. certificates
    • H04N21/8352Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/04Telephonic communication systems specially adapted for combination with other electrical systems with alarm systems, e.g. fire, police or burglar alarm systems

Description

本開示は、各種の情報を放送する技術に関する。
放送の内容に関連した情報を端末装置に提供する技術が従来から提案されている。例えば特許文献1には、放送通信網を介してデジタル放送に対応した文字データを送信する構成が開示されている。デジタル放送を受信したデジタル放送受信装置は、Bluetooth(登録商標)等の近距離無線通信により文字データを端末装置に送信する。
特開2009-38774号公報
特許文献1の技術では、文字データの取得のために近距離無線通信用の通信機器が必要である。以上の事情を考慮して、本開示は、近距離無線通信用の通信機器を必要とすることなく、端末装置の利用者に多様な情報を提供することを目的とする。
以上の課題を解決するために、本開示の一つの態様に係る端末装置は、再生装置により再生された再生音の収音により収音装置が生成する音響信号から識別情報を抽出する情報抽出部と、前記識別情報を配信装置に送信することで当該識別情報に対応する第1関連情報を取得する第1取得動作と、前記識別情報に対応する第2関連情報を当該端末装置の記憶装置から取得する第2取得動作と、を選択的に実行する動作制御部とを具備し、前記動作制御部は、契機データが取得されたか否かを判定し、当該契機データが取得された場合に、前記第1取得動作および前記第2取得動作の一方から他方へ切替える。
本開示の一つの態様に係る端末装置の動作方法は、再生装置により再生された再生音の収音により収音装置が生成する音響信号から識別情報を抽出し、前記識別情報を通信網を介して配信装置に送信することで当該識別情報に対応する第1関連情報を取得する第1取得動作と、前記識別情報に対応する第2関連情報を当該端末装置の記憶装置から取得する第2取得動作と、を選択的に実行し、前記動作制御部は、契機データが取得されたか否かを判定し、当該契機データが取得された場合に、前記第1取得動作および前記第2取得動作の一方から他方へ切替える。
本開示の一つの態様に係るプログラムは、端末装置のプロセッサを、再生装置により再生された再生音の収音により収音装置が生成する音響信号から識別情報を抽出する情報抽出部、および、前記識別情報を通信網を介して配信装置に送信することで当該識別情報に対応する第1関連情報を取得する第1取得動作と、前記識別情報に対応する第2関連情報を当該端末装置の記憶装置から取得する第2取得動作と、を選択的に実行する動作制御部として機能させ、前記動作制御部は、契機データが取得されたか否かを判定し、当該契機データが取得された場合に、前記第1取得動作および前記第2取得動作の一方から他方へ切替える。
第1実施形態における情報提供システムの構成を例示するブロック図である。 放送システムの構成を例示するブロック図である。 放送システムが実行する処理を例示するフローチャートである。 配信装置の構成を例示するブロック図である。 端末装置の構成を例示するブロック図である。 端末装置が実行する処理を例示するフローチャートである。 第2実施形態に係る端末装置が実行する処理を例示するフローチャートである。 第3実施形態に係る端末装置の構成を例示するブロック図である。
<第1実施形態>
図1は、本開示の第1実施形態に係る情報提供システム100の構成を例示するブロック図である。情報提供システム100は、放送により提供されるコンテンツCを視聴する視聴者に各種の情報を提供するためのコンピュータシステムである。例えば、放送波を利用した地上波放送および衛星放送によるテレビ番組がコンテンツCとして例示される。コンテンツCは、画像および音響により構成される。
図1に例示される通り、第1実施形態に係る情報提供システム100は、端末装置10と放送システム20と音声認識装置30と配信装置40と再生装置50とを具備する。端末装置10と配信装置40とは、例えば移動体通信網またはインターネット等を含む通信網70を介して相互に通信可能である。放送システム20から放送されたコンテンツCを再生装置50により視聴する視聴者の端末装置10に、当該コンテンツCに関連する情報(以下「関連情報」という)Rが提供される。端末装置10は、例えば携帯電話機、スマートフォン、タブレット端末、または、パーソナルコンピュータ等の可搬型の情報端末である。
<放送システム20>
図2は、第1実施形態における放送システム20の構成を例示するブロック図である。放送システム20は、コンテンツCを放送するためのコンピュータシステムである。具体的には、放送システム20は、コンテンツCを表すデータ(以下「放送データ」という)Xを送信する。第1実施形態では、放送波により放送データXが送信される。放送データXは、コンテンツCの画像を表す画像信号Vと、コンテンツCの音響を表す音響信号Aとを含む。
第1実施形態の放送システム20は、第1コンテンツC1と第2コンテンツC2とを放送する。第1コンテンツC1は、例えば緊急性が低い内容に関するテレビ番組である。例えば、ドラマ、映画、バラエティ番組およびスポーツ番組等の日常的に放送されるテレビ番組がコンテンツC1として例示される。他方、第2コンテンツC2は、例えば緊急性が高い内容に関するテレビ番組である。具体的には、緊急事態(例えば地震および火災等の災害)を報知する緊急速報等のテレビ番組である。また、天気予報に関するテレビ番組を第2コンテンツC2としてもよい。すなわち、内容が定型化されていて予想可能な(すなわち事前に内容を取り決めることが可能な)コンテンツが第2コンテンツC2として例示される。
第1コンテンツC1の放送に対しては、当該第1コンテンツC1の音声(以下「第1音声」という)に関連する関連情報R1が端末装置10に提供される。他方、第2コンテンツC2の放送に対しては、当該第2コンテンツC2の音声(以下「第2音声」という)に関連する関連情報R2が端末装置10に提供される。関連情報R1(第1関連情報の例示)は、配信装置40から通信網70を介して取得される。それに対して、関連情報R2(第2関連情報の例示)は、端末装置10の記憶装置から取得される。すなわち、関連情報R2の取得には、通信網70を介した通信が不要である。端末装置10の記憶装置に関連情報R2が事前に登録される。
図2に例示される通り、放送システム20は、第1処理部201と第2処理部202と切替部203と通信装置204と放送装置205(放送部の例示)とを具備する。第1処理部201と第2処理部202と切替部203との機能は、例えばCPU(Central Processing Unit)等の1または複数のプロセッサがプログラムを実行することで実現される。
第1処理部201は、第1コンテンツC1の放送データX1を生成する。放送データX1は、画像信号V1と音響信号A1とを含む。具体的には、第1処理部201は、放送データX1zに対する編集処理により放送データX1を生成する。放送データX1zは、例えば特定のスタジオで収録装置により収録される。収録装置は、被写体の撮像により画像信号V1zを生成する撮像装置と、音響の収音により音響信号A1zを生成する収音装置とを含む。音響信号A1zが表す音響には、第1音声が含まれる。第1音声は、例えば第1コンテンツC1の出演者の発話音声である。以上の説明から理解される通り、放送データX1zは、画像信号V1zと音響信号A1zとで構成される。
第1処理部201が実行する編集処理は、音響信号A1zから音響信号A1を生成する音響処理と、画像信号V1zから画像信号V1を生成する画像処理とを含む。画像処理は、画像信号V1zが表す画像の特性を調整する各種の処理を含む。音響処理は、音響信号A1zの周波数特性を調整する各種の処理を含む。また、第1実施形態の音響処理は、音響信号A1zに識別情報D1を付加する処理(以下「第1処理」という)を含む。音響信号A1zに対して所定の周期で反復的に識別情報D1が付加される。識別情報D1(第1識別情報の例示)は、関連情報R1を識別するための情報である。第1実施形態の識別情報D1は、第1コンテンツC1(すなわち第1音声を含む番組)を放送する放送局を示す情報である。
第1処理は、音響信号A1zと、識別情報D1を音響成分として表す変調信号とを加算することで、音響信号A1を生成する信号処理である。すなわち、音響信号A1には、第1音声と、識別情報D1を表す音響成分とが含まれる。変調信号は、例えば所定の周波数の搬送波を識別情報D1により周波数変調することで生成される。なお、拡散符号を利用した識別情報D1の拡散変調と所定の周波数の搬送波を利用した周波数変換とを順次に実行することで変調信号を生成してもよい。変調信号の周波数帯域は、再生装置50による放音と端末装置10による収音とが可能な周波数帯域であり、かつ、端末装置10の利用者が通常の環境で聴取する音声の周波数帯域を上回る周波数帯域(例えば18kHz以上かつ20kHz以下)に設定される。したがって、端末装置10の利用者は、識別情報D1の音響成分を殆ど聴取できない。ただし、変調信号の周波数帯域は任意であり、例えば可聴帯域内の変調信号を生成することも可能である。以上に説明した編集処理により、画像信号V1と音響信号A1とを含む放送データX1が生成される。
第2処理部202は、第2コンテンツC2の放送データX2を生成する。放送データX2は、画像信号V2と音響信号A2とを含む。具体的には、第2処理部202は、放送データX2zに対する編集処理により放送データX2を生成する。放送データX2zは、放送データX1zと同様に、例えば特定のスタジオで収録装置により収録される。具体的には、放送データX2zは、画像信号V2zと音響信号A2zとで構成される。音響信号A2zが表す音響には、第2音声が含まれる。第2音声は、例えば第2コンテンツC2の出演者の発話音声である。第1実施形態では、緊急事態を報知する音声を第2音声として例示する。
第2処理部202が実行する編集処理は、音響信号A2zから音響信号A2を生成する音響処理と、画像信号V2zから画像信号V2を生成する画像処理とを含む。画像処理は、画像信号V2zが表す画像の特性を調整する各種の処理を含む。音響処理は、音響信号A2zの周波数特性を調整する各種の処理を含む。また、第1実施形態の音響処理は、音響信号A2zに識別情報D2を付加する処理(以下「第2処理」という)を含む。音響信号A2zに対して所定の周期で反復的に識別情報D2が付加される。識別情報D2(第2識別情報の例示)は、関連情報R2を識別するための情報である。
第2処理は、音響信号A2zと、識別情報D2を音響成分として表す変調信号とを加算することで、音響信号A2を生成する信号処理である。すなわち、音響信号A2には、第2音声と、識別情報D2を表す音響成分とが含まれる。第2処理においても、第1処理と同様に、例えば所定の周波数の搬送波を識別情報D2により周波数変調することで変調信号が生成される。なお、各識別情報D(D1およびD2)は事前に用意しておいてもよいし、音響信号Aに付加するたびに生成してもよい。以上に説明した編集処理により、画像信号V2と音響信号A2とを含む放送データX2が生成される。
放送装置205は、各種のコンテンツCを放送するための放送機器である。例えば、放送装置205は、放送データXを電波塔に送信する送信機と、当該放送データXを放送波として送信する電波塔とにより構成される。コンテンツCを表す放送データXが放送装置205から再生装置50に送信される。第1実施形態の放送装置205は、音響信号A1を含む第1コンテンツC1を放送する動作(以下「第1放送動作」という)と、音響信号A2を含む第2コンテンツC2を放送する動作(以下「第2放送動作」という)とを選択的に実行する。第1放送動作では、第1コンテンツC1を表す放送データX1が放送装置205から送信される。一方で、第2放送動作では、第2コンテンツC2を表す放送データX2が放送装置205から送信される。
放送システム20の管理者は、例えば操作子に対する操作により、第1放送動作および第2放送動作の一方から他方へ切替えるための指示(以下「切替指示」という)を放送システム20に付与することが可能である。切替部203は、切替指示を受付けると、当該切替指示に応じて第1放送動作および第2放送動作を一方から他方へ切替える。例えば、切替部203は、切替指示に応じて、第1処理部201および第2処理部202の何れか一方から放送データXを取得し、当該取得した放送データXを放送装置205に出力する。すなわち、第1コンテンツC1および第2コンテンツC2が選択的に放送される。切替部203は、音響信号A1および音響信号A2を取得する取得部の一例である。
通信装置204は、有線または無線により音声認識装置30と通信する通信機器である。具体的には、通信装置204は、第1コンテンツC1の音響信号A1と、当該音響信号A1に対応する識別情報D1を音声認識装置30に送信する。なお、音声認識装置30による音声認識が可能な信号であれば、音響信号A1とは異なる信号(音響信号A1z)を音声認識装置30に送信してもよい。
図3は、放送システム20が実行する処理を例示するフローチャートである。例えば放送システム20によるコンテンツCの放送の開始を契機として、図3の処理が開始される。放送システム20の切替部203は、切替指示があったか否かを判断する(Sa1)。切替指示があった場合(Sa1:YES)、切替部203は、当該切替指示に応じてコンテンツCを切替える(Sa2)。
<音声認識装置30>
図1の音声認識装置30は、放送システム20から送信された音響信号A1に対して音声認識を実行する。音響信号A1には第1音声が含まれるから、第1音声の発話内容を表す文字列が特定される。音響信号A1に対する音声認識には、例えばHMM(Hidden Markov Model)等の音響モデルと、言語的な制約を示す言語モデルとを利用した認識処理等の公知の技術が任意に採用され得る。音響信号A1に対する音声認識の結果(以下「認識結果」という)Wと、当該音響信号A1に対応する識別情報D1(すなわち放送システム20から音響信号A1と共に送信された識別情報D1)とが配信装置40に送信される。第1実施形態では、第1コンテンツC1の放送に並行して、当該第1コンテンツC1の音響信号A1に対する音声認識が実行される。
<配信装置40>
図4は、配信装置40の構成を例示するブロック図である。図4に例示される通り、第1実施形態の配信装置40は、通信装置401と記憶装置403と特定部405とを具備する。通信装置401は、音声認識装置30および端末装置10との各々と通信する。音声認識装置30と配信装置40とは、例えば有線または無線により相互に通信する。第1実施形態の通信装置401は、音声認識装置30から送信された識別情報D1と認識結果Wとを受信する。また、通信装置401は、通信網70を介して端末装置10から関連情報R1の要求を受信する。端末装置10からの要求には、識別情報D1が含まれる。
記憶装置403は、端末装置10に関連情報R1を提供するための各種のデータを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置403として任意に採用され得る。第1実施形態の記憶装置403は、第1テーブルT1を記憶する。第1テーブルT1は、識別情報D1と関連情報R1とを対応付けて登録するデータテーブルである。第1実施形態では、音響信号A1に対する認識結果Wを関連情報R1として例示する。具体的には、音声認識装置30から送信された認識結果Wと識別情報D1とが対応付けられて第1テーブルT1に登録される。すなわち、第1テーブルT1は、第1コンテンツC1を放送する放送局と、当該第1コンテンツC1に含まれる第1音声の文字列(すなわち字幕)とを対応付けたテーブルである。なお、実際には、複数の放送局の各々から音声認識装置30に音響信号A1が送信されるから、各放送局に対応する関連情報R1が第1テーブルT1に登録され得る。
特定部405は、端末装置10からの要求に応じて関連情報R1を特定する。関連情報R1の特定には、第1テーブルT1が利用される。具体的には、特定部405は、第1テーブルT1に登録された複数の識別情報D1のうち、端末装置10から送信された識別情報D1に対応する関連情報R1を特定する。特定部405の機能は、例えばCPU(Central Processing Unit)等の1または複数のプロセッサがプログラムを実行することで実現される。通信装置401は、特定部405が特定した関連情報R1を端末装置10に送信する。
<再生装置50>
再生装置50は、放送システム20から送信された放送データXが表すコンテンツCを再生する。再生装置50の典型例は、例えばテレビジョン受像機である。第1実施形態の再生装置50は、放送データX1を受信した場合には第1コンテンツC1を再生し、放送データX2を受信した場合には第2コンテンツC2を再生する。具体的には、再生装置50は、放送データXを受信する受信機と、各種の画像を表示する表示装置(例えば液晶パネル)と、各種の音響を放音する放音装置(例えばスピーカ)とを含む。
表示装置は、受信機が受信した放送データXに含まれる画像信号Vに応じた画像を表示する。放音装置は、受信機が受信した放送データXに含まれる音響信号Aに応じた音響を放音する。放送データX1を受信した場合には、第1音声と識別情報D1を表す音響とが放音される。他方、放送データX2を受信した場合には、第2音声と識別情報D2を表す音響とが放音される。第1実施形態の放音装置は、コンテンツCの音声を再生する音響機器として機能するほか、空気振動としての音波を伝送媒体として音響通信により識別情報D(D1およびD2)を周囲に送信する送信機としても機能する。すなわち、第1実施形態では、コンテンツの音声を放音する放音装置から識別情報Dの音響を放音する音響通信により、当該識別情報Dが周囲に送信される。識別情報Dは、音声の放音に並行して、所定の周期で反復的に送信される。
<端末装置10>
図5は、端末装置10の構成を例示するブロック図である。図5に例示される通り、端末装置10は、制御装置11と記憶装置12と通信装置13と収音装置14と提示装置15とを具備する。収音装置14は、周囲の音響を収音する音響機器(マイクロホン)である。具体的には、収音装置14は、再生装置50が放音した音響を収音し、当該音響の波形を表す音響信号Yを生成する。再生装置50により第1コンテンツC1が再生される場合には、音響信号Yには識別情報D1が含まれる。他方、再生装置50により第2コンテンツC2が再生される場合には、音響信号Yには識別情報D2が含まれる。
以上の説明から理解される通り、収音装置14は、音声通話または動画撮影時の音声収録に利用されるほか、空気振動としての音波を伝送媒体とする音響通信により識別情報D(D1およびD2)を受信する受信機としても機能する。なお、収音装置14が生成した音響信号Yをアナログからデジタルに変換するA/D変換器の図示は便宜的に省略した。また、端末装置10と一体に構成された収音装置14に代えて、別体の収音装置14を有線または無線により端末装置10に接続してもよい。
通信装置13は、制御装置11による制御のもとで通信網70を介して配信装置40と通信する。第1実施形態の通信装置13は、関連情報R1の要求を配信装置40に送信して、当該関連情報R1を配信装置40から受信する。
制御装置11(コンピュータの例示)は、例えばCPU(Central Processing Unit)等の1または複数のプロセッサで構成され、端末装置10の各要素を統括的に制御する。記憶装置12は、制御装置11が実行するプログラムと、制御装置11が使用する各種のデータとを記憶する。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置12として任意に採用され得る。
第1実施形態の記憶装置12は、第2テーブルT2を記憶する。第2テーブルT2は、識別情報D2と関連情報R2とを対応付けて登録するデータテーブルである。識別情報D2と関連情報R2とは、第2テーブルT2に事前に登録される。第2テーブルT2は、例えばウェブサーバから事前に取得される。前述の通り、関連情報R2は、第2音声に関連する情報である。第2コンテンツC2は例えば緊急事態を報知するテレビ番組であるから、第2音声の発話内容は事前に想定される。例えば地震の発生を報知する「地震が発生しました。」という発話内容の第2音声が第2コンテンツC2には含まれ得る。また、天気予報に関するテレビ番組を第2コンテンツC2とする場合には、「明日の天気は晴れです。」または「夕方からは雨になります。」という天気を表す発話内容が第2音声として例示される。すなわち、第2コンテンツC2の内容は、定型化することが可能であり、放送局で事前に取り決めておくことが可能である。以上の事情を背景として、第2音声の発話内容を表す文字列(すなわち字幕)を関連情報R2として採用する。第2音声の発話内容を表す文字列と関連情報R2とが完全に一致するかは不問である。なお、放送局毎に異なる第2テーブルT2を利用してもよいし、放送局間で共通の第2テーブルT2を利用してもよい。
制御装置11は、図5に例示される通り、記憶装置12に記憶されたプログラムを実行することで複数の機能(情報抽出部113および動作制御部115)を実現する。なお、制御装置11の一部の機能を専用の電子回路で実現してもよい。また、制御装置11の機能を複数の装置に搭載してもよい。
情報抽出部113は、再生装置50による再生音の収音により収音装置14が生成した音響信号Yから識別情報D(D1またはD2)を抽出する。具体的には、情報抽出部113は、例えば、音響信号Yのうち識別情報Dの音響成分を含む周波数帯域を強調するフィルタ処理と、識別情報Dに対する変調処理に対応した復調処理とにより、識別情報Dを抽出する。情報抽出部113が抽出した識別情報Dは、当該識別情報Dに対応する関連情報R(すなわち再生装置50により放音された各コンテンツCの音声に関する関連情報R)の取得に利用される。識別情報D1は、配信装置40から関連情報R1を取得するために利用される。他方、識別情報D2は、端末装置10の記憶装置12から関連情報R2を取得するために利用される。
動作制御部115は、識別情報Dに対応する関連情報Rを取得して、当該関連情報Rを提示装置15に再生させる。第1実施形態の動作制御部115は、識別情報Dに応じて関連情報Rを取得する方法を相違させる。情報抽出部113が識別情報D1を抽出した場合には、端末装置10は、当該識別情報D1に対応する関連情報R1を配信装置40から取得する。他方で、情報抽出部113が識別情報D2を抽出した場合には、端末装置10は、当該識別情報D2に対応する関連情報R2を記憶装置12から取得する。
提示装置15は、関連情報Rを利用者に提示するための再生機器である。第1実施形態の提示装置15は、関連情報Rが表す画像を表示する表示装置を含む。すなわち、再生装置50が再生するコンテンツの音声に関連する関連情報R(R1またはR2)が表示装置により表示される。
図6は、端末装置10が実行する処理を例示するフローチャートである。例えば収音装置14による音響信号Yの生成を契機として、図6の処理が開始される。図6の処理を開始すると、情報抽出部113は、収音装置14が生成した音響信号Yから識別情報Dを抽出する(Sb1)。動作制御部115は、情報抽出部113が抽出した識別情報Dが識別情報D1であるか否かを判定する(Sb2)。第1実施形態の動作制御部115は、第2テーブルT2を利用して識別情報Dが識別情報D1であるか否かを判定する。具体的には、動作制御部115は、情報抽出部113が抽出した識別情報Dが第2テーブルT2に登録された複数の識別情報D2の何れとも一致しない場合には、当該識別情報Dが識別情報D1であると判定する。また、動作制御部115は、情報抽出部113が抽出した識別情報Dが第2テーブルT2に登録された複数の識別情報D2の何れかと一致する場合には、当該識別情報Dが識別情報D1でない(すなわち識別情報D2である)と判定する。
情報抽出部113が抽出した識別情報Dが識別情報D1であると判定された場合(Sb2:YES)、動作制御部115は、識別情報D1を配信装置40に送信する(Sb3)。動作制御部115は、識別情報D1対応する関連情報R1を配信装置40から受信する(Sb4)。ステップSb3およびステップSb4の処理は、識別情報D1を配信装置40に送信することで当該識別情報D1に対応する関連情報R1を取得する動作(以下「第1取得動作」という)である。
他方、情報抽出部113が抽出した識別情報Dが識別情報D2であると判定された場合(Sb2:NO)、動作制御部115は、識別情報D2に対応する関連情報R2を記憶装置12から特定する。具体的には、動作制御部115は、第2テーブルT2に登録された複数の識別情報D2のうち、情報抽出部113が抽出した識別情報D2に対応する関連情報R2を特定する。ステップSb5の処理は、識別情報D2に対応する関連情報R2を当該端末装置10の記憶装置12から取得する動作(以下「第2取得動作」という)である。
以上の説明から理解される通り、第1取得動作と第2取得動作とは選択的に実行される。第1実施形態の第1取得動作は、第1音声を含む音響信号A1に対する認識結果Wを表す関連情報R1を、当該第1音声の再生音の収音により収音装置14が生成する音響信号Yから抽出された識別情報D1により取得する動作である。他方、第1実施形態の第2取得動作は、第2音声の再生音の収音により収音装置14が生成する音響信号Yから抽出された識別情報D2により、当該第2音声について事前に登録された関連情報R2を取得する動作である。
動作制御部115は、第1取得動作または第2取得動作において取得した関連情報Rを提示装置15に再生させる(Sb6)。すなわち、再生装置50が再生するコンテンツの音声に関連した関連情報Rが提示装置15により表示される。
以上の説明から理解される通り、第1実施形態では、第1放送動作により送信される音響信号A1に識別情報D1の音響成分が含まれ、第2放送動作により送信される音響信号A2に識別情報D2の音響成分が含まれる。したがって、音響信号Aの再生により関連情報R1および関連情報R2を端末装置10の利用者に提供することができる。すなわち、近距離無線通信用の通信機器を必要とすることなく、端末装置10の利用者に多様な情報を提供できる。
また、第1放送動作により再生装置50が再生する音響を端末装置10により収音して識別情報D1を抽出することで、第1音声に関連する関連情報R1を、端末装置10が通信網70を介して取得することができる。したがって、端末装置10に必要な記憶容量を削減しながら、例えば放送中の番組の進行に並行して字幕等の多様な情報を端末装置10が取得することが可能である。一方、第2放送動作の実行時には、再生装置50が再生する音響から抽出される識別情報D2により、第2音声に関連する関連情報R2を端末装置10の記憶装置12から取得することができる。したがって、例えば緊急情報等の緊急性の高い定型的な情報を、通信網70を介した通信を必要とせずに取得することが可能である。記憶容量を削減しながら多様な関連情報R1を提供し、かつ、通信網70を介した通信を必要とせずに確実に関連情報R2を提供できる。
また、第1実施形態では、第2音声について事前に登録された関連情報R2に対応する識別情報D2を端末装置10が取得できるから、例えば第2音声を聴取困難な聴覚障碍者、または、第2音声の内容を理解できない外国人に、当該第2音声の内容を示す関連情報R2を確実に提供することが可能である。
第1音声を含む番組の放送局を示す情報を識別情報D1として利用する第1実施形態の構成によれば、例えば音響信号A1に対する認識結果W毎に識別情報D1を相違させる構成、または、第1コンテンツC1毎に識別情報D1を相違させる構成と比較して、第1放送動作が簡素化される。また、配信装置40の記憶容量を削減できるという利点がある。第2音声が緊急事態を報知する音声である場合、関連情報R2を確実に端末装置10に提供する必要がある。したがって、通信網70を介した通信を必要とせずに関連情報R2を取得する構成は、第2音声が緊急事態を報知する音声である場合に特に有効である。
<第2実施形態>
本開示の第2実施形態を説明する。なお、以下の各例示において機能が第1実施形態と同様である要素については、第1実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
第2実施形態の端末装置10は、放送システム20から送信された契機データに応じて、第1取得動作と第2取得動作とを切替える。第2実施形態の放送システム20は、第1実施形態と同様に、第1放送動作と第2放送動作とを選択的に実行する。また、放送システム20は、再生装置50に契機データを送信する。
切替部203は、第1実施形態と同様に、切替指示を受付けると、第1放送動作および第2放送動作の一方から他方へ切替える。また、第2実施形態の切替部203は、切替指示を受付けると、放送装置205が放送しているコンテンツC(C1,C2)に契機データを付与する。第2実施形態の契機データは、端末装置10における第1取得動作および第2取得動作を一方から他方へ切替えるための指令である。具体的には、切替部203は、コンテンツCの音響信号Aに、契機データを音響成分として表す変調信号を加算する。すなわち、音響信号Aには、コンテンツCの音声と、識別情報Dの音響成分と、契機データの音響成分とが含まれる。放送装置205は、音響信号Aおよび画像信号Vを含む放送データXを再生装置50に送信する。なお、契機データは、音響信号Aに連続的に付加されるわけではなく、切替指示を受付けた直後に音響信号Aに付加される。すなわち、契機データは、切替え直前のコンテンツCまたは切替え直後のコンテンツCの何れかに付与される。
第2実施形態の再生装置50は、第1実施形態と同様に、放送システム20が送信する放送データXに応じたコンテンツCを再生する。第2実施形態では、コンテンツCの音声と識別情報Dを表す音響とに加えて、契機データを表す音響が放音される。したがって、第2実施形態の端末装置10の収音装置14が生成する音響信号Yには、識別情報Dの音響成分に加えて、契機データの音響成分が含まれ得る。情報抽出部113は、収音装置14が生成した音響信号Yから識別情報Dと契機データとを抽出する。契機データの抽出は、識別情報Dの抽出と同様の方法により実行される。
動作制御部115は、契機データが取得されたか否かを判定し、当該契機データが取得された場合に、第1取得動作および第2取得動作の一方から他方へ切替える。第2実施形態の動作制御部115は、情報抽出部113が音響信号Yから契機データを抽出したか否かを判定し、契機データが抽出された場合に、第1取得動作および第2取得動作の一方から他方へ切替える。具体的には、動作制御部115は、契機データが第1取得動作から第2取得動作への切替を指令する場合には、第1取得動作から第2取得動作に切替える。他方、動作制御部115は、契機データが第2取得動作から第1取得動作への切替を指令する場合には、第2取得動作から第1取得動作に切替える。
図7は、第2実施形態に係る端末装置10が実行する処理を例示するフローチャートである。例えば収音装置14による音響信号Yの生成を契機として、図7の処理が開始される。図7の処理を開始すると、情報抽出部113は、音響信号Yから識別情報Dを抽出する(Sc1)。放送システム20が切替指示を受付けた直後には、音響信号Yに契機データが含まれる。したがって、情報抽出部113が契機データを抽出する場合がある。動作制御部115は、契機データが取得されたか否かを判定する(Sc2)。具体的には、情報抽出部113が契機データを抽出したか否かが判定される。情報抽出部113が契機データを抽出した場合(Sc2:YES)、動作制御部115は、契機データに応じて、第1取得動作および第2取得動作の一方から他方へ切替える(Sc3)。動作制御部115は、切替え後の取得動作により関連情報Rを取得する(Sc4)。他方、情報抽出部113が契機データを抽出しなかった場合(Sc2:NO)、動作制御部115は、ステップSc3の処理を実行せずに、関連情報Rを取得する(Sc4)。
第2実施形態においても第1実施形態と同様の効果が実現される。第2実施形態では、再生音の収音により生成された音響信号Yから契機データを抽出した場合に第1取得動作と第2取得動作とが切替わるから、識別情報D1および識別情報D2の判別(例えば図6のSb2の処理)を必要とせずに、第1取得動作と第2取得動作とを切替えることが可能である。
<第3実施形態>
第3実施形態では、特定の事象(例えば緊急事態)が発生した場面を想定する。例えば、地震、火災または大雨等の災害が緊急事態の例示である。緊急事態が発生すると、緊急事態の発生を報知する警報音が警報器または緊急車両(例えば消防車)から放音される。第3実施携帯の端末装置10は、警報音を検知した場合に、第1取得動作から第2取得動作に切換える。
図8は、第3実施形態に係る端末装置10に構成を例示するブロック図である。第3実施形態に係る端末装置10は、第2実施形態の端末装置10に契機データ取得部117を追加した構成である。緊急事態が発生すると、端末装置10の収音装置14は、警報音を含む音響を収音し、当該音響の波形を表す音響信号Qを生成する。
契機データ取得部117は、収音装置14が生成した音響信号Qを解析することで、契機データを生成する。第3実施形態の契機データは、特定の事象の発生を表すデータである。具体的には、契機データ取得部117は、音響信号Qを解析した結果、当該音響信号Qに警報音が含まれていると判定した場合に契機データを生成する。すなわち、契機データ取得部117は、契機データを取得する要素として機能する。なお、音響信号Qに警報音が含まれてないと判定された場合には契機データは生成されない。
動作制御部115は、第2実施形態と同様に、契機データが取得されたか否かを判定し、当該契機データが取得された場合に、第1取得動作および第2取得動作の一方から他方へ切替える。具体的には、動作制御部115は、契機データ取得部117が契機データを取得したか否かを判定し、契機データ取得部117が契機データを取得したと判定した場合に、第1取得動作から第2取得動作へ切替える。
第3実施形態においても第2実施形態と同様の効果が実現される。第3実施形態では、例えば警報音の収音により契機データを取得することができるから、放送システム20においてコンテンツCに契機データを付与することが不要になる。
第3実施形態では、警報器または緊急車両からの警報音を収音することで契機データを取得したが、契機データを取得する方法は以上の例示に限定されない。例えば、再生装置50が、コンテンツCの再生に並行して、特定の事象の発生を報知するニュース速報のテロップおよび警報音(ニュース速報音)を再生する場合には、端末装置10は、当該警報音を収音することで契機データを取得してもよい。すなわち、特定の事象の発生を報知する音の収音により、契機データが生成される。
また、契機データを取得する方法は、特定の事象の発生を報知する音の収音には限定されない。例えば、災害等の発生を表す警報データを端末装置10に送信(例えばプッシュ配信)する警報システムを想定する。契機データ取得部117は、警報システムから送信された警報データを契機データとして取得する。動作制御部115は、契機データ取得部117が契機データを取得した場合に、第1取得動作から第2取得動作へ切替える。
<変形例>
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された複数の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
(1)前述の各形態では、放送波を利用した地上波放送および衛星放送によるテレビ番組をコンテンツC(C1,C2)として例示したが、コンテンツCは以上の例示に限定されない。例えば、移動体通信網またはインターネット等の通信網を介して放送データXを送信するIP(Internet Protocol)放送による番組をコンテンツCとしてもよい。また、放送波または通信網を使用したラジオ放送によるラジオ番組もコンテンツCとして採用される。また、本開示の適用範囲は、コンテンツCの放送に限定されない。例えば、商業施設等の各種の施設内において当該施設を案内する案内放送にも本開示は適用される。施設内の案内放送においては、施設を案内する音声を表すコンテンツCが放送システム20により放送される。
(2)前述の各形態では、緊急性が低い内容に関するテレビ番組を第1コンテンツC1として例示し、緊急性が高い内容に関するテレビ番組を第2コンテンツC2として例示したが、第1コンテンツC1および第2コンテンツC2は以上の例示に限定されない。第1コンテンツC1は、例えば内容が流動的であり予想が困難なコンテンツ、または、利用者にとって重要性が低いコンテンツ等である。一方で、第2コンテンツC2は、例えば内容が定型化されていて予想可能なコンテンツ(例えば天気予報)、または、利用者にとって重要性が高いコンテンツである。なお、例えば緊急事態の発生を報知するコンテンツは、内容が定型化されていて予想可能なコンテンツにも相当し、重要性が高いコンテンツにも相当する。
また、第1音声と第2音声とは典型的には相違するが、同じでもよい。例えば第1コンテンツC1の内容と第2コンテンツC2の内容とが同じである場合には、第1音声と第2音声とが同じになることも想定される。
(3)前述の各形態では、画像信号Vと音響信号Aとを含むコンテンツCを例示したが、コンテンツCにおける画像信号Vの有無は任意である。すなわち、第1放送動作は、識別情報D1を表す音響成分と第1音声とを含む音響信号A1を送信する動作として包括的に表現され、第2放送動作は、識別情報D2を表す音響成分と第2音声とを含む音響信号A2を送信する動作として包括的に表現される。
(4)前述の各形態では、利用者の情報端末を端末装置10として利用したが、端末装置10は以上の例示に限定されない。例えば商業施設に設置される電子看板(例えばデジタルサイネージ)等の案内用の表示端末を端末装置10として利用してもよい。
(5)前述の各形態では、音響信号A1に対する認識結果Wを関連情報R1として例示したが、関連情報R1は以上の例示に限定されない。関連情報R1は、第1音声に関連する情報であれば任意である。音響信号A1に対する認識結果Wを他言語に翻訳した文字列、または、第1コンテンツC1内に登場する商品や施設の所在を示す情報(URL)等の各種の情報が関連情報R1として例示される。また、第1音声の発話内容を表す文字列を音声認識とは異なる方法で取得し、当該文字列を関連情報R1としてもよい。例えば、第1音声の発話内容を表す文字列を作業者が手動で入力し、当該文字列を関連情報R1としてもよい。すなわち、音響信号A1に対する音声認識は必須ではない。
また、前述の各形態では、第1コンテンツC1の放送に並行して音響信号A1に対する音声認識を実行したが、例えば収録済みの第1コンテンツC1を放送する場合には、事前に音響信号A1に対する音声認識を実行し、認識結果Wと識別情報D1とを配信装置40に記憶しておいてもよい。
(6)前述の各形態では、第2音声の発話内容を表す文字列を関連情報R2として例示したが、関連情報R2は以上の例示に限定されない。関連情報R2は、第2音声に関連する情報であれば任意である。例えば、第2音声の発話内容を表す文字列を他言語に翻訳した文字列、または、第2音声の発話内容を表す図形等の各種の情報が関連情報R2として例示される。
(7)前述の各形態では、提示装置15による表示により関連情報Rを提示したが、例えば関連情報Rを表す音響を提示装置15により放音することで関連情報Rを提示してもよい。すなわち、提示装置15は、画像の表示により関連情報Rを提示する表示装置と、音響の放音により関連情報Rを提示する放音装置との何れか一方または双方を含む。
(8)前述の各形態では、第1音声を含む番組の放送局を示す情報を識別情報D1として利用したが、識別情報D1は以上の例示に限定されない。例えば、音響信号A1に対する認識結果Wを示す情報、または、第1コンテンツC1(すなわち放送局が放送するテレビ番組)を示す情報を識別情報D1としてもよい。
(9)前述の各形態では、緊急事態を報知する音声を第2音声として例示したが、第2音声は以上の例示に限定されない。第2音声の内容は、第2コンテンツC2の内容に応じて適宜に変更される。第2コンテンツC2に関する前述の例示から理解される通り、第2音声は、緊急事態を報知する音声、または天気予報を報知する音声など、第1音声と比較して内容が定型化された情報を報知するための音声である。
(10)前述の各形態の放送システム20は、第1放送動作と第2放送動作とを選択的に実行したが、第1放送動作と第2放送動作とは別の放送動作を放送システム20が実行してもよい。例えば、識別情報Dが付加されていないコンテンツCを放送する第3放送動作を実行してもよい。放送システム20は、複数の放送動作のうちの何れかを選択的に実行する。
(11)前述の各形態では、音声認識装置30と配信装置40とを別個の装置として例示したが、音声認識装置30と配信装置40とを単一の装置により実現してもよい。また、音声認識装置30および配信装置40の何れか一方または双方の機能を放送システム20が実現してもよい。
(12)第1実施形態では、第2テーブルT2を利用して情報抽出部113が抽出した識別情報Dが識別情報D1であるか否かを判定(図6のステップSb2の処理)したが、識別情報D1であるか否かを判定する具体的な方法は以上の例示に限定されない。例えば、動作制御部115は、情報抽出部113が抽出した識別情報Dが表す数値が特定の数値範囲であれば識別情報D1であると判定し、当該数値範囲外であれば識別情報D2であると判定してもよい。また、動作制御部115は、識別情報Dを表すビット列のうち特定のビットの数値に応じて、識別情報Dが識別情報D1および識別情報D2であるかを判定してもよい。以上の説明から理解される通り、動作制御部115は、情報抽出部113が抽出した識別情報Dの少なくとも一部が表す数値に応じて、当該情報抽出部113が抽出した識別情報Dが識別情報D1および識別情報D2の何れであるかを判定する。
(13)前述の各形態では、切替部203を取得部として例示したが、取得部の例示は切替部203に限定されない。第1処理部201および第2処理部202から放送データXを取得する要素が取得部として包括的に表現される。例えば、切替部203が放送システム20から省略される構成を想定する。以上の構成では、第1処理部201が放送データX1を生成した場合には当該放送データX1が第1処理部201により放送装置205に出力され、第2処理部202が放送データX2を生成した場合には当該放送データX2が第2処理部202により放送装置205に出力される。すなわち、放送装置205が第1処理部201または第2処理部202から直接的に放送データXを取得する。以上の構成では、放送装置205において放送データXを取得する要素が取得部として機能する。すなわち、取得部は放送装置205が有してもよい。
(14)前述の各形態に係る放音システムまたは端末装置10の機能は、各形態での例示の通り、CPU等の1または複数のプロセッサとプログラムとの協働により実現される。前述の各形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号(transitory, propagating signal)を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、通信網を介した配信の形態でプログラムをコンピュータに提供してもよい。
<付記>
以上に例示した形態から、例えば以下の構成が把握される。
本開示の一つの態様(第1態様)に係る放送システムは、第1音声に関連する情報であって通信網を介して配信装置から端末装置に提供される第1関連情報に対応する第1識別情報を表す音響成分と、前記第1音声とを含む第1音響信号と、第2音声に関連する情報であって前記端末装置に事前に登録された第2関連情報に対応する第2識別情報を表す音響成分と、前記第2音声とを含む第2音響信号と、を取得する取得部と、前記第1音響信号を送信する第1放送動作と、前記第2音響信号を送信する第2放送動作とを含む複数の放送動作のうち何れかを選択的に実行する放送部とを具備する。以上の態様では、第1放送動作により送信される第1音響信号に第1識別情報の音響成分が含まれ、第2放送動作により送信される第2音響信号に第2識別情報の音響成分が含まれるから、音響信号の再生により第1関連情報および第2関連情報を端末装置の利用者に提供することができる。すなわち、近距離無線通信用の通信機器を必要とすることなく、端末装置の利用者に多様な情報を提供できる。
また、第1放送動作により再生装置が再生する音響を端末装置により収音して第1識別情報を抽出することで、第1音声に関連する第1関連情報を、端末装置が通信網を介して取得することができる。したがって、端末装置に必要な記憶容量を削減しながら、例えば放送中の番組の進行に並行して字幕等の多様な情報を端末装置が取得することが可能である。一方、第2放送動作の実行時には、再生装置が再生する音響から抽出される第2識別情報により、第2音声に関連する第2関連情報を当該端末装置の記憶装置から取得することができる。したがって、例えば緊急情報等の緊急性の高い定型的な情報を、通信網を介した通信を必要とせずに取得することが可能である。記憶容量を削減しながら多様な第1関連情報を提供し、かつ、通信網を介した通信を必要とせずに確実に第2関連情報を提供できる。なお、「端末装置の記憶装置」とは、端末装置に内蔵された記憶装置、または、当該端末装置に有線または無線により接続された外付けの記憶装置を意味する。
第1態様の一例(第2態様)では、前記第1関連情報は、前記第1音声の発話内容を表す文字列である。以上の態様では、第1音声の発話内容を表す文字列が第1関連情報として利用されるから、第1音声の字幕を提供できる。
第1態様または第2態様の何れかの一例(第3態様)では、前記第2音声は、内容が定型化された情報を報知する音声である。例えば、第2音声が緊急事態を報知する音声、または、天気予報を報知する音声等の内容は定型化されているため、第2関連情報の内容を事前に決めておくことが可能である。したがって、端末装置の記憶装置に第2関連情報を記憶する構成は、第2音声の内容が定型化された情報である場合に特に有効である。
本開示の一つの態様(第4態様)に係る端末装置は、再生装置による再生音の収音により収音装置が生成する音響信号から識別情報を抽出する情報抽出部と、前記識別情報を通信網を介して配信装置に送信することで当該識別情報に対応する第1関連情報を取得する第1取得動作と、前記識別情報に対応する第2関連情報を当該端末装置の記憶装置から取得する第2取得動作と、を選択的に実行する動作制御部とを具備し、前記動作制御部は、契機データが取得されたか否かを判定し、当該契機データが取得された場合に、前記第1取得動作および前記第2取得動作の一方から他方へ切替える。以上の態様では、再生音の収音により生成された音響信号から識別情報を抽出することで、関連情報を取得することができるから、近距離無線通信用の通信機器を必要とすることなく、端末装置の利用者に多様な情報を提供できる。
また、第1取得動作により通信網を介して配信装置から第1関連情報が取得される。したがって、端末装置に必要な記憶容量を削減しながら、例えば放送中の番組の進行に並行して字幕等の多様な情報を端末装置が取得することが可能である。一方、第2取得動作により端末装置の記憶装置から第2関連情報が取得されるから、例えば緊急情報等の緊急性の高い定型的な情報を、通信網を介した通信を必要とせずに取得することが可能である。記憶容量を削減しながら多様な第1関連情報を提供し、かつ、通信網を介した通信を必要とせずに確実に第2関連情報を提供できる。また、契機データが取得された場合に第1取得動作と第2取得動作とが切替わるから、例えば第1取得動作に利用される識別情報と、第2取得動作に利用される識別情報との判別を必要とせずに、第1取得動作と第2取得動作とを切替えることが可能である。
第4態様の一例(第5態様)では、前記情報抽出部は、前記音響信号から前記契機データを抽出し、前記動作制御部は、前記情報抽出部が前記契機データを抽出したか否かを判定する。以上の態様では、再生音の収音により生成された音響信号から契機データが抽出される。したがって、再生音に契機データを含ませる簡便な構成により、第1取得動作と第2取得動作とを切替えることが可能である。
第4態様の一例(第6態様)では、特定の事象の発生を表す契機データを取得する契機データ取得部を具備し、前記動作制御部は、前記契機データ取得部が前記契機データを取得したか否かを判定する。以上の態様では、例えば地震および火災等の災害を発生するアラーム等を契機データとして使用することができる。
本開示の一つの態様(第7態様)に係る端末装置は、再生装置による再生音の収音により収音装置が生成する音響信号から識別情報を抽出する情報抽出部と、前記情報抽出部が抽出した前記識別情報が第1識別情報および第2識別情報の何れであるかを判定し、前記第1識別情報である場合には、前記第1識別情報を通信網を介して配信装置に送信することで当該第1識別情報に対応する第1関連情報を取得する第1取得動作を実行し、前記第2識別情報である場合には、前記第2識別情報に対応する第2関連情報を当該端末装置の記憶装置から取得する第2取得動作を実行する動作制御部とを具備する。以上の態様では、識別情報が第1識別情報および第2識別情報の何れであるかを判定することで、第1取得動作および第2取得動作の一方が実行される。したがって、例えば、第1取得動作および第2取得動作の一方から他方へ切替えるためのデータを端末装置に送信することが不要になる。
第7態様の一例(第8態様)では、前記動作制御部は、前記情報抽出部が抽出した識別情報の少なくとも一部が表す数値に応じて、前記情報抽出部が抽出した前記識別情報が前記第1識別情報および前記第2識別情報の何れであるかを判定する。以上の態様では、識別情報の少なくとも一部が表す数値に応じて、抽出された識別情報が第1識別情報および第2識別情報の何れであるが判定されるから、例えば事前に第2識別情報を端末装置に記憶することが不要になる。
第4態様から第8態様の何れかの好適例(第9態様)では、前記第1取得動作は、前記再生音である第1音声の発話内容を表す文字列を表す第1関連情報を取得する動作であり、前記第2取得動作は、前記再生音である第2音声について事前に登録された第2関連情報を取得する動作である。以上の態様では、第1音声の発話内容を表す文字列を表す第1関連情報を通信網を介して取得することができ、第2音声について事前に登録された第2関連情報を端末装置の記憶装置から取得できる。
以上に例示した各態様の放送システムの放送方法、または、以上に例示した各態様の端末装置の動作方法としても、本開示は実現される。
例えば、本開示の一つの態様(態様10)に係る放送システムの放送方法は、第1音声に関連する情報であって通信網を介して配信装置から端末装置に提供される第1関連情報に対応する第1識別情報を表す音響成分と、前記第1音声とを含む第1音響信号と、第2音声に関連する情報であって前記端末装置に事前に登録された第2関連情報に対応する第2識別情報を表す音響成分と、当該第2音声とを含む第2音響信号とを取得し、前記第1音響信号を送信する第1放送動作と、前記第2音響信号を送信する第2放送動作とを含む複数の放送動作のうち何れかを選択的に実行する。
また、本開示の一つの態様(態様11)に係る端末装置の動作方法は、再生装置による再生音の収音により収音装置が生成する音響信号から識別情報を抽出し、前記識別情報を通信網を介して配信装置に送信することで当該識別情報に対応する第1関連情報を取得する第1取得動作と、前記識別情報に対応する第2関連情報を当該端末装置の記憶装置から取得する第2取得動作と、を選択的に実行し、前記動作制御部は、契機データが取得されたか否かを判定し、当該契機データが取得された場合に、前記第1取得動作および前記第2取得動作の一方から他方へ切替える。
本開示の一つの態様に係る端末装置の動作方法(態様12)は、再生装置による再生音の収音により収音装置が生成する音響信号から識別情報を抽出し、前記情報抽出部が抽出した前記識別情報が第1識別情報および第2識別情報の何れであるかを判定し、前記第1識別情報である場合には、前記第1識別情報を通信網を介して配信装置に送信することで当該第1識別情報に対応する第1関連情報を取得する第1取得動作を実行し、前記第2識別情報である場合には、前記第2識別情報に対応する第2関連情報を当該端末装置の記憶装置から取得する第2取得動作を実行する。
本開示の一つの態様(態様13)に係るプログラムは、端末装置のプロセッサを、再生装置により再生された再生音の収音により収音装置が生成する音響信号から識別情報を抽出する情報抽出部、および、前記識別情報を通信網を介して配信装置に送信することで当該識別情報に対応する第1関連情報を取得する第1取得動作と、前記識別情報に対応する第2関連情報を当該端末装置の記憶装置から取得する第2取得動作と、を選択的に実行する動作制御部として機能させ、前記動作制御部は、契機データが取得されたか否かを判定し、当該契機データが取得された場合に、前記第1取得動作および前記第2取得動作の一方から他方へ切替える。
本開示の一つの態様(態様14)に係るプログラムは、端末装置のプロセッサを、再生装置により再生された再生音の収音により収音装置が生成する音響信号から識別情報を抽出する情報抽出部、および、前記情報抽出部が抽出した前記識別情報が第1識別情報および第2識別情報の何れであるかを判定し、前記第1識別情報である場合には、前記第1識別情報を通信網を介して配信装置に送信することで当該第1識別情報に対応する第1関連情報を取得する第1取得動作を実行し、前記第2識別情報である場合には、前記第2識別情報に対応する第2関連情報を当該端末装置の記憶装置から取得する第2取得動作を実行する動作制御部として機能させる。
10…端末装置、100…情報提供システム、11…制御装置、113…情報抽出部、115…動作制御部、117…契機データ取得部、12…記憶装置、13…通信装置、14…収音装置、15…提示装置、20…放送システム、201…第1処理部、202…第2処理部、203…切替部、204…通信装置、205…放送装置、30…音声認識装置、40…配信装置、401…通信装置、403…記憶装置、405…特定部、50…再生装置、70…通信網。

Claims (8)

  1. 記憶装置を具備する端末装置であって、
    再生装置により再生された再生音の収音により収音装置が生成する音響信号から識別情報を抽出する情報抽出部と、
    通信網を介して前記識別情報を配信装置に送信することで当該識別情報に対応する第1関連情報を取得する第1取得動作と、前記識別情報に対応する第2関連情報を前記記憶装置から取得する第2取得動作と、を選択的に実行する動作制御部と、
    特定の事象の発生を表す契機データを警報システムから取得する契機データ取得部と
    を具備し、
    前記動作制御部は、前記契機データ取得部が前記契機データを取得した場合に、前記第1取得動作および前記第2取得動作の一方から他方へ切替える
    端末装置。
  2. 記憶装置を具備する端末装置であって、
    収音装置が生成する音響信号から識別情報を抽出する情報抽出部と、
    通信網を介して前記識別情報を配信装置に送信することで当該識別情報に対応する第1関連情報を取得する第1取得動作と、前記識別情報に対応する第2関連情報を前記記憶装置から取得する第2取得動作と、を選択的に実行する動作制御部と、
    前記収音装置が生成する音響信号に、特定の事象の発生を報知する警報音が含まれるか否かを解析し、前記警報音が含まれると判定した場合に契機データを生成する契機データ取得部と
    を具備し、
    前記動作制御部は、前記契機データ取得部が前記契機データを生成した場合に、前記第1取得動作および前記第2取得動作の一方から他方へ切替える
    端末装置。
  3. 前記収音装置は、再生装置が再生する再生音の収音により前記音響信号を生成し、
    前記契機データ取得部は、前記再生装置により再生される前記警報音が前記音響信号に含まれるか否かを解析する
    請求項2の端末装置。
  4. 前記第1取得動作は、前記再生音である第1音声の発話内容を表す文字列を表す第1関連情報を取得する動作であり、
    前記第2取得動作は、前記再生音である第2音声について事前に登録された第2関連情報を取得する動作である
    請求項1または請求項3の端末装置。
  5. 記憶装置を具備する端末装置が、
    再生装置により再生された再生音の収音により収音装置が生成する音響信号から識別情報を抽出し、
    通信網を介して前記識別情報を配信装置に送信することで当該識別情報に対応する第1関連情報を取得する第1取得動作と、前記識別情報に対応する第2関連情報を前記記憶装置から取得する第2取得動作と、を選択的に実行し、
    前記第1取得動作および前記第2取得動作の選択的な実行においては、特定の事象の発生を表す契機データを警報システムから取得した場合に、前記第1取得動作および前記第2取得動作の一方から他方へ切替える
    端末装置の動作方法。
  6. 記憶装置を具備する端末装置が、
    収音装置が生成する音響信号から識別情報を抽出し、
    通信網を介して前記識別情報を配信装置に送信することで当該識別情報に対応する第1関連情報を取得する第1取得動作と、前記識別情報に対応する第2関連情報を前記記憶装置から取得する第2取得動作と、を選択的に実行し、
    前記収音装置が生成する音響信号に、特定の事象の発生を報知する警報音が含まれるか否かを解析し、前記警報音が含まれると判定した場合に契機データを生成し、
    前記第1取得動作および前記第2取得動作の選択的な実行においては、前記契機データを生成した場合に、前記第1取得動作および前記第2取得動作の一方から他方へ切替える
    端末装置の動作方法。
  7. 端末装置のプロセッサを、
    再生装置により再生された再生音の収音により収音装置が生成する音響信号から識別情報を抽出する情報抽出部、
    通信網を介して前記識別情報を配信装置に送信することで当該識別情報に対応する第1関連情報を取得する第1取得動作と、前記識別情報に対応する第2関連情報を当該端末装置の記憶装置から取得する第2取得動作と、を選択的に実行する動作制御部、および、
    特定の事象の発生を表す契機データを警報システムから取得する契機データ取得部
    として機能させ、
    前記動作制御部は、前記契機データ取得部が前記契機データを取得した場合に、前記第1取得動作および前記第2取得動作の一方から他方へ切替える
    プログラム。
  8. 端末装置のプロセッサを、
    収音装置が生成する音響信号から識別情報を抽出する情報抽出部、
    通信網を介して前記識別情報を配信装置に送信することで当該識別情報に対応する第1関連情報を取得する第1取得動作と、前記識別情報に対応する第2関連情報を当該端末装置の記憶装置から取得する第2取得動作と、を選択的に実行する動作制御部、および、
    前記収音装置が生成する音響信号に、特定の事象の発生を報知する警報音が含まれるか否かを解析し、前記警報音が含まれると判定した場合に契機データを生成する契機データ取得部
    として機能させ、
    前記動作制御部は、前記契機データ取得部が前記契機データを生成した場合に、前記第1取得動作および前記第2取得動作の一方から他方へ切替える
    プログラム。
JP2020152023A 2018-07-02 2020-09-10 端末装置、端末装置の動作方法、および、プログラム Active JP7302559B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018126053 2018-07-02
JP2018126053 2018-07-02
JP2020521393A JP6766981B2 (ja) 2018-07-02 2019-06-28 放送システム、端末装置、放送方法、端末装置の動作方法、および、プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020521393A Division JP6766981B2 (ja) 2018-07-02 2019-06-28 放送システム、端末装置、放送方法、端末装置の動作方法、および、プログラム

Publications (3)

Publication Number Publication Date
JP2021005882A JP2021005882A (ja) 2021-01-14
JP2021005882A5 JP2021005882A5 (ja) 2022-05-18
JP7302559B2 true JP7302559B2 (ja) 2023-07-04

Family

ID=69060859

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020521393A Active JP6766981B2 (ja) 2018-07-02 2019-06-28 放送システム、端末装置、放送方法、端末装置の動作方法、および、プログラム
JP2020152023A Active JP7302559B2 (ja) 2018-07-02 2020-09-10 端末装置、端末装置の動作方法、および、プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020521393A Active JP6766981B2 (ja) 2018-07-02 2019-06-28 放送システム、端末装置、放送方法、端末装置の動作方法、および、プログラム

Country Status (5)

Country Link
US (1) US11438397B2 (ja)
EP (1) EP3820060A4 (ja)
JP (2) JP6766981B2 (ja)
CN (1) CN112368958A (ja)
WO (1) WO2020009038A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002291036A (ja) 2001-03-26 2002-10-04 Hitachi Kokusai Electric Inc 警報装置及び警報システム
JP2004531103A (ja) 2000-11-30 2004-10-07 サイエンティフィック ジェネリクス リミテッド 通信システム
JP2018022158A (ja) 2016-01-26 2018-02-08 ヤマハ株式会社 端末装置およびプログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5907793A (en) * 1992-05-01 1999-05-25 Reams; David A. Telephone-based interactive broadcast or cable radio or television methods and apparatus
US5995553A (en) * 1997-01-28 1999-11-30 Tft, Inc. Encoder/decoder for emergency alert system
US5917887A (en) * 1997-09-08 1999-06-29 Tft, Inc. Emergency alert communication system wherein emergency messages are received by a radio frequency receiver and routed to a telephone device
US6510207B1 (en) * 1999-06-29 2003-01-21 Agere Systems Inc. Voice messaging system storage of emergency alert system warnings
US6553215B1 (en) * 2000-07-27 2003-04-22 Kim-Por Chung Weather radio control
CN1298160C (zh) * 2001-08-28 2007-01-31 松下电器产业株式会社 广播接收方法和系统
KR100875560B1 (ko) * 2003-08-07 2008-12-23 텔코디아 테크놀로지스, 인코포레이티드 발신 음성 통지 시스템
CN101018095B (zh) * 2006-02-07 2012-09-05 株式会社东芝 紧急信息快报系统
JP2006211692A (ja) * 2006-02-10 2006-08-10 Sony Corp 送受信装置および送受信方法、受信装置および受信方法、並びに送信装置および送信方法
JP2009038774A (ja) * 2007-08-03 2009-02-19 Nec Corp デジタル放送受信システム、デジタル放送受信方法、およびデジタル放送受信プログラム
KR100881074B1 (ko) * 2008-07-30 2009-01-30 아카데미정보통신 (주) 로컬방송시스템
JP2010187256A (ja) * 2009-02-13 2010-08-26 Panasonic Corp 通信システム、並びに放送情報送信装置および通信装置
US8520821B2 (en) * 2009-07-24 2013-08-27 Citrix Systems, Inc. Systems and methods for switching between computer and presenter audio transmission during conference call
US20110191801A1 (en) * 2010-02-04 2011-08-04 Jawanth Vytheeswaran System and methods for switching between two or more media streams
JP5523217B2 (ja) * 2010-06-24 2014-06-18 Toa株式会社 音声放送システム及び情報端末
WO2013086122A1 (en) * 2011-12-06 2013-06-13 Devine Christopher F Targeted content insertion for devices receiving radio broadcast content
WO2013118711A1 (ja) * 2012-02-08 2013-08-15 エイディシーテクノロジー株式会社 情報端末及び情報提供サーバ
JP2013247615A (ja) * 2012-05-29 2013-12-09 Yamaha Corp コンテンツ提供システム、コンテンツ提供方法、コンテンツ解析システム、および、放送局id放音装置
KR101641979B1 (ko) * 2012-03-02 2016-07-22 야마하 가부시키가이샤 컨텐츠 제공 시스템, 컨텐츠 제공 방법 및 컨텐츠 편집 장치
US8863172B2 (en) * 2012-03-17 2014-10-14 Time Warner Cable Enterprises Llc Emergency alert system methods and apparatus
JP2013232182A (ja) * 2012-04-02 2013-11-14 Yamaha Corp コンテンツ配信システム、サーバ装置及び端末装置
JP2014187490A (ja) * 2013-03-22 2014-10-02 Yamaha Corp 放送受信装置及び端末装置
JP5871088B1 (ja) * 2014-07-29 2016-03-01 ヤマハ株式会社 端末装置、情報提供システム、情報提供方法およびプログラム
US20170213552A1 (en) * 2016-01-26 2017-07-27 Motorola Mobility Llc Detection of audio public announcements by a mobile device
US10129594B2 (en) * 2017-03-21 2018-11-13 Amplivy, Inc. Content-activated intelligent, autonomous audio/video source controller

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004531103A (ja) 2000-11-30 2004-10-07 サイエンティフィック ジェネリクス リミテッド 通信システム
JP2002291036A (ja) 2001-03-26 2002-10-04 Hitachi Kokusai Electric Inc 警報装置及び警報システム
JP2018022158A (ja) 2016-01-26 2018-02-08 ヤマハ株式会社 端末装置およびプログラム

Also Published As

Publication number Publication date
JPWO2020009038A1 (ja) 2020-08-20
US11438397B2 (en) 2022-09-06
JP2021005882A (ja) 2021-01-14
WO2020009038A1 (ja) 2020-01-09
CN112368958A (zh) 2021-02-12
EP3820060A1 (en) 2021-05-12
EP3820060A4 (en) 2022-03-30
US20210120055A1 (en) 2021-04-22
JP6766981B2 (ja) 2020-10-14

Similar Documents

Publication Publication Date Title
KR101796429B1 (ko) 단말 디바이스, 정보 제공 시스템, 정보 제시 방법, 및 정보 제공 방법
US8161504B2 (en) Systems and methods for memorializing a viewer's viewing experience with captured viewer images
US11227620B2 (en) Information processing apparatus and information processing method
KR101796428B1 (ko) 정보 관리 시스템 및 정보 관리 방법
JP2007013274A (ja) 情報提供システム
JP3834579B1 (ja) 情報提供システム
US20150341694A1 (en) Method And Apparatus For Using Contextual Content Augmentation To Provide Information On Recent Events In A Media Program
JP6654718B2 (ja) 音声認識装置、音声認識方法及び音声認識プログラム
JP7302559B2 (ja) 端末装置、端末装置の動作方法、および、プログラム
WO2014141413A1 (ja) 情報処理装置、出力方法およびプログラム
CN109074328B (zh) 信息处理方法及终端装置
KR101340340B1 (ko) 오디오 콘텐츠 연동 데이터 제공 장치, 그 시스템 및 제공 방법
US11551722B2 (en) Method and apparatus for interactive reassignment of character names in a video device
JPWO2015004840A1 (ja) 映像受信装置、情報表示方法および映像受信システム
JP7087745B2 (ja) 端末装置、情報提供システム、端末装置の動作方法および情報提供方法
JP5242826B1 (ja) 情報処理装置及び情報処理方法
JP7210939B2 (ja) 情報提供方法、端末装置の動作方法、配信システムおよびプログラム
JP4755717B2 (ja) 放送受信端末装置
KR20190099676A (ko) 사용자의 발화를 기반으로 컨텐츠를 제공하는 장치 및 시스템
JP5304186B2 (ja) コマーシャルメッセージ検出方法及び移動通信装置
JP2003198962A5 (ja)
JP5010102B2 (ja) 放送受信方式
KR20110007384A (ko) 동영상 추출 방식을 이용한 외국어 학습 시스템 및 그 방법
KR20080058717A (ko) Epg 데이터를 이용하여 텍스트 정보를 출력하는영상기기의 동작 방법 및 그 동작 방법을 채용한 영상기기
KR20070061154A (ko) 음성 변환 가능한 멀티미디어 콘텐츠 변환 장치 및 그 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220506

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220506

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230508

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230605

R151 Written notification of patent or utility model registration

Ref document number: 7302559

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151