JP5960234B2 - ビデオ表示セッション間の、音声通話またはメッセージのスクローリングテキスト表示の方法と装置 - Google Patents

ビデオ表示セッション間の、音声通話またはメッセージのスクローリングテキスト表示の方法と装置 Download PDF

Info

Publication number
JP5960234B2
JP5960234B2 JP2014247436A JP2014247436A JP5960234B2 JP 5960234 B2 JP5960234 B2 JP 5960234B2 JP 2014247436 A JP2014247436 A JP 2014247436A JP 2014247436 A JP2014247436 A JP 2014247436A JP 5960234 B2 JP5960234 B2 JP 5960234B2
Authority
JP
Japan
Prior art keywords
display
message
audio
video
communication device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014247436A
Other languages
English (en)
Other versions
JP2015092690A (ja
Inventor
ディネッシュ・クマー・ガーグ
マニッシュ・ポッダー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2015092690A publication Critical patent/JP2015092690A/ja
Application granted granted Critical
Publication of JP5960234B2 publication Critical patent/JP5960234B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72427User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725Cordless telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/74Details of telephonic subscriber devices with voice recognition means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/488Data services, e.g. news ticker
    • H04N21/4884Data services, e.g. news ticker for displaying subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Function (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

本開示は、ビデオ受信および表示機能と、音声テキスト処理を有する移動体通信デバイスと、このようなデバイスに対してビデオおよびその他の情報を表示することとに関連する。
昨今のグローバル通信デバイスは、デジタルビデオブロードキャスティング(“DVB”)ネットワークのようなビデオブロードキャスティングシステムから受け取られたリアルタイムビデオをデバイスが表示できるようにする、ビデオ機能、または、メルチメディア機能を含んでもよい。さまざまなビデオアプリケーションはまた、移動体通信デバイスのディスプレイを使用して、MPEG(MP4、等)または類似のビデオフォーマットのようなダウンロードされた映画を再生するためにも存在する。しかしながら、移動体通信デバイスのさまざまな、他のアプリケーションもまた、ユーザに対して情報を表示するためにディスプレイを使用する。例えば、音声メールメッセージングアプリケーションは、通常は、例えば、記憶されている音声メールメッセージを示すために、閉じられている封筒のようなアイコンを表示する。音声メールメッセージは、音声メールメッセージングサーバのような遠隔サーバ上に記憶されていてもよく、または、いくつかのケースでは、移動体通信デバイスのメモリ中にローカルに記憶されていてもよい。
例えば、DVBネットワークを介して送信されたリアルタイムビデオを閲覧するために、移動体通信デバイスを操作しているユーザは、例えば、音声メールメッセージメッセージングまたは到来している通話のような、移動体通信デバイスの別のアプリケーションによって、ビデオ閲覧を中断させられるかもしれない。ショートメッセージサービス(SMS)アプリケーション、インスタントメッセージング(IM)アプリケーション等のような、他の移動体通信デバイスアプリケーションもまた、ユーザがリアルタイムビデオを閲覧している間に、または、記憶されているビデオファイルを閲覧している間に、ショートメッセージサービスメッセージを受信することをもたらすかもしれない。このケースにおけるユーザは、SMSメッセージに応答するために、または、音声メールメッセージを聴くために、例えば、音声メールアプリケーション、ショートメッセージングアプリケーション、もしくは、他の何らかの類似のアプリケーションのような、他の対応しているアプリケーションとともにアクションをとる目的で、ビデオアプリケーションをシャットダウンするか、または、一時停止させる必要があるだろう。
図1は、ある実施形態にしたがった、ディスプレイ101とスクローリングテキスト部103とを有している通信デバイス100のブロック図である。 図2は、ある実施形態にしたがった、ディスプレイ201を有しており、ディスプレイ201を横切って、何らかのセンタリングされた位置にスクローリングテキスト203を表示している通信デバイス200のブロック図である。 図3は、ある実施形態にしたがった、ディスプレイ301を有しており、ピクチャー・イン・ピクチャー表示305を横切って、何らかのセンタリングされた位置と、または、ピクチャー・イン・ピクチャー表示305のスクローリングテキスト部309と、のいずれかにおいて、スクローリングテキスト307を表示している通信デバイス300のブロック図である。 図4は、ある実施形態にしたがった、ディスプレイ401を有しており、ディスプレイ401を横切って、何らかのセンタリングされた位置にスクローリングテキスト403を表示している通信デバイス400のブロック図であり、スクローリングテキスト403は、ピクチャー・イン・ピクチャー表示405に対するオーディオに関係付けられている。 図5は、ある実施形態にしたがった、通信デバイス300のブロック図である。 図6は、ある実施形態にしたがった、通信デバイスの動作と、さまざまなメッセージの取り扱いとを図示するフローチャートである。 図7は、ある実施形態にしたがった、テキストデータをスクローリングテキストとして表示する前に、メッセージテキストデータが取得される、ブロック611のさらなる詳細を図示するフローチャートである。 図8は、ある実施形態にしたがった、音声通話と、音声メールメッセージとに関する動作を図示するフローチャートである。 図9は、ある実施形態にしたがった、ビデオメディアコンテンツに関する動作と、オーディオファイルの取り扱いとを図示するフローチャートである。 図10は、ある実施形態にしたがった、音声メールメッセージの取り扱いに関する動作のさらなる詳細を図示するフローチャートである。 図11は、ある実施形態にしたがった、ビデオメディアコンテンツに関する動作と、オーディオデータの取り扱いとを図示するフローチャートである。 図12は、ある実施形態にしたがった、到来している音声通話または音声メールメッセージ表示の取り扱いと、ディスプレイのスクローリングテキスト部へのスクローリングテキストの表示とに関する動作を図示するフローチャートである。 図13は、ある実施形態にしたがった、音声ファイルまたは受信したオーディオデータの、テキストのデータへの変換に関する動作を図示するフローチャートである。 図14は、ある実施形態にしたがった、到来している音声通話を取り扱う通信デバイスを図示する信号フローチャートである。 図15は、ある実施形態にしたがった、音声メールメッセージを取り扱う通信デバイスを図示する信号フローチャートである。
発明の詳細な説明
ここで開示する方法は、オーディオデータに音声テキスト変換を適用することと、ビデオとともにディスプレイ上に表示されるスクローリングテキストとしてテキストのデータを表示することとによって、オーディオデータを、テキストのデータに変換することを含む。スクローリングテキストは、ディスプレイの下部の付近の部分に表示されてもよく、ビデオ上でスクローリングされていてもよい。代わりに、スクローリングテキストは、ディスプレイの、ビデオの上または下のいずれかにある、独立したスクローリングテキスト表示部に表示されてもよい。
方法は、ネットワークから音声通話表示を受信することと;ユーザインターフェースに対して音声通話表示を提供することと;受け取りのためのユーザ入力を受け取って、音声通話をスクローリングテキストとして表示することとを含んでもよい。
別の方法は、ネットワークからの通信メッセージ表示を受信することと;ユーザインターフェースに対して通信メッセージ表示を提供し、ここで、通信メッセージ表示は、到来している通信メッセージに対応していることと;受信のためのユーザ入力を受け取り、通信メッセージをスクローリングテキストとしてディスプレイ上に表示することと;ユーザ入力に応答して、通信メッセージを、スクローリングテキストとして表示し、ここで、スクローリングテキストは、他のアプリケーション関連のデータとともにディスプレイ上に表示されることとを含む。
オーディオデータに音声テキスト変換を適用することと、前記スクローリングテキストとしてテキストのデータを表示することとによって、オーディオデータを、テキストのデータに変換することを方法がさらに含んでもよいように、通信メッセージはオーディオデータを含む。
音声テキスト変換を介して、オーディオデータをテキストのデータに変換する前に、ビデオ部からオーディオ部をストリップして、オーディオデータを取得することと;ディスプレイのピクチャー・イン・ピクチャーに、ビデオ部を表示することを方法がさらに含んでもよいように、通信メッセージはまた、ビデオ部を含んでもよい。
別の方法は、受信したメッセージングデータを、ビデオフォーマットに変換して、ビデオフォーマット化されたメッセージングデータを作成し、ここで、ビデオフォーマット化メッセージングデータは、メッセージングデータの少なくとも一部に対応するテキストのデータを有することと;ディスプレイ上の、他のアプリケーション関連のデータ上のスクローリングテキストとして、ビデオフォーマットされたメッセージングデータを表示することとを含む。方法はまた、メッセージングデータからオーディオデータをストリップすることと;オーディオロジックからオーディオデータを、音声テキストコンバータロジックにそらすことと;音声テキストコンバータロジックからテキストのデータを取得することとを含む。
ある実施形態はまた、オーディオデータを受信し;音声テキスト変換を適用することによって、オーディオデータをテキストのデータに変換し;テキストのデータをビデオフォーマットに変換し;テキストのデータをスクローリングテキストとして、ディスプレイ上で、他のアプリケーション関連のデータの上に表示するように動作される、スクローリングテキストロジックを有する通信デバイスを備えてもよい。通信デバイスは、前記スクローリングテキストロジックに動作可能に結合されている音声テキストコンバータロジックもさらに備えていてもよく、ここで、スクローリングテキストロジックは、ディスプレイ上の、アプリケーション関連のデータを検出し;ディスプレイ上でのアプリケーション関連のデータの検出に応答して、オーディオロジックからオーディオデータを音声テキストコンバータロジックにそらすようにさらに動作されている。
ある実施形態は、少なくとも1つのプロセッサによって実行するための実行可能命令を有するコンピュータ読取可能媒体を備え、命令は、実行されるときに、少なくとも1つのプロセッサに、ディスプレイ上にビデオを表示させ;音声テキスト変換を適用することによって、オーディオデータをテキストのデータに変換させ;ビデオとともにディスプレイ上に表示されるスクローリングテキストとして、前記テキストのデータを表示させる。
ここで、同一の番号が同一のコンポーネントを表す図面を参照すると、図1は、たとえば、これに制限されないが、デジタルビデオブロードキャスティング(“DVB”)のようなビデオを受信する機能を持っており、マルチメディアメッセージングサービス(MMS)メッセージのようなさまざまなマルチメディアファイルを受信することもできる、ワイヤレス通信デバイスのような、通信デバイス100を図示する。通信デバイス100は、ディスプレイ101を有し、ある実施形態にしたがうと、グラフィックディスプレイはまた、独立したビデオセクションであってもよく、または、全体のグラフィックディスプレイ101の分割であってもよい、テキストスクローリング部103を有している。図2は、図1に示した実施形態の代わりの実施形態を図示する。図2において、通信デバイス200は、ディスプレイ201を含み、ユーザによって構成されるようにディスプレイ201上のさまざまな位置において、スクローリングテキスト203を表示してもよい。ビデオはまた、例えば、デバイス自体に記憶されているビデオもまた含んでいてもよい。例えば、デバイス100は、(例えば、ワイヤレスに、または、ワイヤードでユーザの別のコンピューティングデバイスに接続されている間に、)ホスト/サーバとのワイヤレスまたはワイヤード通信を通して、デバイスに転送されたビデオ(例えば、ビデオデータファイル)を含んでもよい。
図3は、ディスプレイ301を有しており、ある実施形態にしたがった、ピクチャー・イン・ピクチャー(PiP)部305を表示する、通信デバイス300を図示する。PiP部305は、ある実施形態にしたがって、スクローリングテキスト部309を含み、または、PiP表示305上のさまざまな位置においてスクローリングテキスト307を有していてもよい。図4は、図3によって図示された実施形態に対する代わりの実施形態を図示する。図4において、スクローリングテキスト403は、PiP部405ビデオ内に表示されるというよりはむしろ、PiP部405中に表示されたビデオに対応しており、スクローリングテキスト403は、図2によって図示したディスプレイに類似した、メインディスプレイ401内に表示される。言い換えると、スクローリングテキスト403は、PiP部405内に表示できるより大きいテキストであってもよく、したがって、より読みやすい。
他の代わりの実施形態は、水平方向というよりはむしろ垂直において、メインビデオディスプレイに対して横方向に、ディスプレイのPiP部に対して横方向に、または、ディスプレイのいずれかを通して垂直に、スクローリングテキストを表示することを含んでもよい。同様に、スクローリングテキストは、メインディスプレイを通して、または、ディスプレイのPiP部を横切っての対角線上のような、ディスプレイに関するさまざまな角度において方向付けされていてもよい。代わりに、音声テキストコンバータロジック505は、さまざまな言語に対して適切であってもよく、これらに制限されないが、英語のテキスト、キリル文字、ギリシャ文字、中国文字、韓国文字、アラビア文字、等のようなさまざまなテキスト文字を使用してもよく、結果としてのテキストは、さまざまな言語であってもよい。
図5は、実施形態にしたがった、アプリケーション501を持っている通信デバイス500を図示する。アプリケーション501は、ワイヤレス通信デバイス500のようなワイヤレス通信デバイスへと組み込まれていてもよい。ワイヤレス通信デバイス500は、これらに制限されないが、(例えば、音声通話、SMSメッセージ、マルチメディアメッセージングサービス(MMS)メッセージ、インスタントメッセージ、または、類似物のような)通信メッセージを受信し、および/または、通信メッセージ(例えば、音声メール、SMS、MMS、IM、または、類似のメッセージ)を取り出して、表示もしくは再生する機能を有する、ワイヤレス移動体電話機、ラップトップコンピュータ、デスクトップコンピュータ、パーソナルデジタルアシスタント等のような、ビデオを表示できる、何らかの適切な通信デバイスであってもよい。
ワイヤレス通信デバイス500は、音声メール取出ロジック503、音声テキストコンバータロジック505、ディスプレイドライバ507、プロトコルスタック509、および、少なくとも1つのトランシーバ511を具備する。ここで使用する用語、ロジックは、1つ以上のプログラム可能プロセッサ、ASIC、ハードワイヤードロジック、または、これらの組み合わせ上で実行されているソフトウェアおよび/またはファームウェアを含む。ここで使用する用語、プロトコルスタックは、1つ以上のプログラム可能プロセッサ、および/または、専用プロセッサ、あるいは、これらの組み合わせ上で実行するためのソフトウェアおよび/またはファームウェアを指す。したがって、アプリケーション501は、ここで記述することになるように、スクローリングテキストロジックを含む。
ここでさらに詳細に記述することになるように、アプリケーション501が、音声メール取出ロジック503に対してコマンドを送って、音声メール取出ロジック503に音声メールメッセージファイルを取り出させてもよいように、アプリケーション501は、通信リンク502を介して、音声メール取出ロジック503に対して動作可能に結合されている。同様に、アプリケーション501が、テキストデータへの変換のために、音声テキストコンバータロジック505に音声データを送ってもよいように、アプリケーション501は、通信リンク504を介して、音声テキストコンバータロジック505に対して動作可能に結合されている。アプリケーション501は、また、通信リンク520を介して、ディスプレイドライバ507に対して動作可能に結合されている。通信リンク502、504、520のようなさまざまな動作可能結合は、ワイヤレス通信デバイス500内のデータバスを介して実現されてもよく、ここで、データバスは、そこに含まれるさまざまなロジックの間のデータ通信パスを提供する。したがって、動作可能な結合は、通信パスを実現する目的のために必要とされてもよい他のロジックを含んでいてもよい。同様に、プロトコルスタック509は、音声データが、アプリケーション501に提供されてもよいように、ライブ音声通話リンク508を介してアプリケーション501に対して動作可能に結合されていてもよい。ここで記述することになるように、遠隔音声メールサーバから音声メールメッセージファイルが取り出されてもよいように、プロトコルスタック509は、また、音声メール取出リンク506を介して、音声メール取出ロジック503に動作可能に結合されていてもよい。アプリケーション501は、通信リンク525を介して、通信デバイス500のユーザインターフェース523に動作可能に結合されている。ユーザインターフェース523は、キーパッド、タッチパネルディスプレイ、マウス、ジャイロスコープ、または、アプリケーション501に対するこのようなユーザ入力を受信してもよく、または、提供してもよい、他の何らかのデバイスを含んでもよい。ユーザインターフェース523はまた、音声通話のために、オーディオ出力を提供し、また、オーディオ入力を受け取るためのオーディオロジックも含む。
プロトコルスタック509は、通信リンク510を介して、1つ以上のトランシーバ511に結合されている。トランシーバ511は、送信リンク513を介して、ネットワークに対してコマンドまたは要求を含むデータを送信してもよく、受信リンク515を介して、ネットワークからのコマンドまたは要求を含むデータを受信してもよい。
ワイヤレス通信デバイス500はまた、メッセージを送受信するための、さまざまなクライアント527も含んでいてもよい。例えば、クライアント527は、eメールクライアント531、インスタントメッセージング(IM)クライアント533、ショートメッセージサービス(SMS)クライアント535、マルチメディアメッセージサービス(MMS)クライアント537、および、マルチメディアクライアント517を含んでもよい。通信デバイス500がマルチメディアブロードキャスティングを受信してもよいように、マルチメディアクライアント517は、これらに制限されないが、DVB、MMBS等のような、さまざまなブロードキャスティングメディアクライアントであってもよく、および/または、これらを含んでいてもよい。
マルチメディアクライアント517のような、すべてのクライアントは、通信リンク541を介して、プロトコルスタック509とトランシーバ511に動作可能に結合されている。これに制限されないが、マルチメディアクライアント517のようなクライアントは、通信リンク529を介して、アプリケーション501に対して動作可能に結合されていてもよく、通信リンク519を介して、ディスプレイドライバ507に対して動作可能に結合されていてもよい。マルチメディアクライアント517、とともに、他のクライアント527は、通信デバイス500の他のコンポーネントまたはロジックと対話して、メッセージを送受信してもよい。マルチメディアクライアント517は、例えば、これに制限されないが、DVBのような、ビデオブロードキャスティングシステムからのビデオを受け取るための他のコンポーネントまたはロジックと対話していてもよく、したがって、ディスプレイドライバ507とともに、ディスプレイ521上にビデオを表示させてもよい。マルチメディアクライアント517はまた、これらに制限されないが、ゲームアプリケーション、インターネットブラウザ、映画プレーヤーアプリケーション等、のような、他のさまざまなアプリケーションからのビデオを提供してもよい。したがって、マルチメディアクライアント517は、無線上で、または、インターネットを介して、さまざまなブロードキャスティングからのビデオ、あるいは、さまざまな記憶されたビデオファイルからのビデオを提供してもよい。
図6は、実施形態にしたがって、通信デバイス500の動作を図示する。601において、通信デバイスは、例えば、トランシーバ511を介して、送信リンク513と受信リンク515を通して、ネットワークに接続されている。603に示すように、音声通話は、受信リンク515を通して、ネットワークから受信されてもよい。しかしながら、605に示すように、ユーザは、アプリケーションを使用中であるかもしれず、例えば、マルチメディアセッションに携わっており、マルチメディアクライアント517は、ディスプレイ521に対してビデオまたは他の情報を提供してもよい。607に示すように、ユーザは、到来しているメッセージの表示を提供されることになる。表示は、視覚的インジケータであってもよく、リングトーンのようなオーディオトーンであってもよい。609においてのように、ユーザがメッセージ閲覧を受け入れることを決定する場合、アプリケーション501は、611に示したように、メッセージテキストデータを取得するためのアクションを取ることになる。メッセージテキストデータは、ここでより詳細に記述されるようなさまざまな方法で取得されてもよい。613に示すように、アプリケーション501は、ディスプレイドライバ507に対してテキストデータを提供することになる。615に示すように、メッセージテキストデータを表すスクローリングテキストは、次に、例えば、ビデオアプリケーションのような、ユーザが携わっていた、他のアプリケーションから表示された情報とともに、ディスプレイ521上に表示される。
図7は、ブロック611のさらなる詳細を図示し、さまざまな実施形態においてどのようなメッセージテキストデータが取得されてもよいかを図示する。701において、図6に図示したプロセスからの所定のメッセージタイプが受信される。703において、メッセージがマルチメディアメッセージでない場合、そして、705において、メッセージが音声メッセージまたは音声通話でない場合、メッセージは、テキストのみのメッセージとして、例えば、IM、SMS、または、eメールメッセージとして取り扱われる。アプリケーション501は、707に示すように、クライアント527の適切なクライアントからのメッセージテキストを取得することになる。アプリケーション501は、717に示すように、通信リンク520を通して、ディスプレイデバイス507にテキストデータを提供して、スクローリングテキストとして表示することになる。
しかしながら、703において、メッセージがマルチメディアメッセージ、例えば、MMSメッセージである場合、アプリケーション501は、例えば、ユーザオプション539中の1組の記憶されているユーザオプション設定をチェックすることによって、709においてのように、テキスト/ビデオオプションをチェックすることになる。ある実施形態において、さまざまなユーザ設定が適用されてもよく、例えば、ユーザは、PiPディスプレイのような、ビデオのみを受信することを選択してもよく、あるいは、ビデオとビデオに対応しているスクローリングテキストを受信することを選んでもよい。スクローリングテキスト位置は、また、ユーザオプション539を介して設定可能であってもよく、したがって、スクローリングテキストは、図1から図4によって従前に図示したように表示されてもよい。
したがって、709において、テキスト/ビデオオプション設定がチェックされる。ビデオのみのオプションが選択されている場合、アプリケーション501は、717においてのように、PiP表示のためのディスプレイドライバに対してビデオを送ることになる。このケースにおいて、ユーザは、所望の場合、PiPディスプレイを選択してもよく、これによって、オーディオ部がある場合、PiPディスプレイ中でビデオとともに、オーディオ部が再生されるようにしてもよい。そうではなく、ビデオがPiPディスプレイ中において無音で再生される一方で、別の現在実行されているアプリケーションまたはビデオからのオーディオをユーザが受け取ってもよい。
しかしながら、709において、ビデオおよびテキストオプション設定が検出される場合、711においてのように、アプリケーション501は、メッセージからオーディオ部をストリップしてもよい。713に示したように、ストリップされたオーディオ部は、音声テキストコンバータ505に対して提供されてもよく、715に示したように、スクローリングテキストとしてディスプレイに追加されてもよい。ビデオまたはMMSメッセージのPiPディスプレイに対して、図3と図4によって図示した例の何らかのものにしたがって、スクローリングテキストが表示されてもよく、ユーザオプション539に記憶されているユーザ設定にしたがって、ディスプレイ上の何らかの所望の配置に位置されてもよい。アプリケーション501は、したがって、ユーザオプション539中の記憶のためのオプションを、ユーザが選択してもよいように、ユーザインターフェースを提供する。例えば、いくつかの実施形態では、ビデオとテキストが、MMSメッセージまたはビデオに対するデフォルト表示設定であってもよいように、ユーザオプション539に対するデフォルト値が提供されてもよい。さまざまな実施形態に対して、他のさまざまなデフォルト設定が、同様に適切であってもよい。
図8は、実施形態にしたがった、通信デバイス500の動作を図示する。801において、通信デバイスは、例えば、トランシーバ511を介して、送信リンク513と受信リンク515を通して、ネットワークに接続されている。803に示すように、音声通話は、受信リンク515を通してネットワークから受信されてもよい。しかしながら、805に示すように、ユーザは、アプリケーションを使用中であるかもしれず、例えば、マルチメディアセッションに携わっているかもしれず、マルチメディアクライアント517が、ディスプレイ521に対してビデオまたは他の情報を提供しているかもしれない。807に示すように、ユーザは、到来している通話の表示を提供されることになる。表示は、視覚的インジケータであってもよく、リングトーンのようなオーディオトーンであってもよい。809においてのように、ユーザが通話を受け入れることを決定する場合、アプリケーション501は、プロトコルスタック509に対するライブ音声通話リンク508を確立して、ネットワークからの音声データを受け取ることになる。しかしながら、アプリケーション501は、通信デバイス500のオーディオロジックから音声データをそらすことになり、代わりに、通信リンク504を通して、音声データを、音声オーディオコンバータロジック505に対して送ることになる。音声オーディオコンバータロジック505は、したがって、811に示すように、オーディオデータをテキストに変換することになり、813に示すように、アプリケーション501を介して、テキストデータをディスプレイドライバ507に対して提供することになる。815に示すように、受信された音声通話を表すスクローリングテキストが、例えば、ビデオアプリケーションのような、ユーザが携わっていた、他のアプリケーションから表示された情報とともに、ディスプレイ521上で表示されることになる。
アプリケーション501は、スクローリングテキスト、音声メールメッセージファイルを取り出して、表示してもよい。したがって、ユーザは、803における通話を無視してもよく、このケースにおいて、音声メール表示が807において提供されてもよい。したがって、ユーザは、809において、音声メールメッセージを受け取ることを決定してもよく、アプリケーション501は、音声メール取出ロジック503に命令して、遠隔音声メールサーバ、または、通信デバイス500上に直接音声メールを記憶するために使用されるメモリのいずれかから、音声メールファイルを取得してもよい。取り出された音声メールファイルは、811において、テキストに変換されて、しがたって表示されることになる。
図9に関して、この実施形態をさらに図示する。図901に示すように、ビデオメディアコンテンツ、または、他の何らかの情報が表示されてもよい。903においてのように、オーディオ音声ファイルがテキストのデータへと変換されてもよい。905においてのように、ビデオメディアコンテンツまたは他の情報とともに、同時に、テキストのデータが、ディスプレイを横切ってスクロールされてもよい。すなわち、ビデオアプリケーションは、音声メールメッセージのテキストがディスプレイを横切ってスクロールされているときに、ビデオを再生し続けてもよい。図10は、実施形態のさらなる詳細を図示する。1001において、ビデオ情報が受信される。例えば、DVBデータが、ビデオデジタルブロードキャスティングネットワークから受信されてもよい。1003において、ビデオ情報がディスプレイ521上で表示される。1005において、音声メールメッセージ表示が受信され、例えば、ワイヤレスネットワークからの音声メールメッセージ表示が受信される。1007において、ユーザは、ユーザインターフェース523を介して、起動信号を提供してもよい。例えば、ユーザ入力に応答して、アプリケーション501が音声メールメッセージをディスプレイ521上のスクローリングテキストに変換してもよいように、ユーザは、キーパッド上のキーを押下してもよい。代わりに、1007において、音声メールメッセージ表示は、アプリケーション501によって検出されてもよく、ここで、アプリケーション501は、応答して、1009に示すように、音声メールメッセージを自動的に取り出してもよい。1011において、音声メールメッセージがテキストに変換され、1013において、テキストが、以前に記述したように、ディスプレイ521を横切ってスクロールされる。
図11は、音声通話に関するアプリケーション501の動作を図示する。1101において、ディスプレイ521上にビデオが表示されてもよい。音声通話に対するオーディオ音声データが通信デバイス500によって受信されてもよく、ライブ音声通話リンク508を通して、アプリケーションに送られる。アプリケーションは、通信デバイス500のオーディオロジックからの音声データの流用を管理し、1103に示すように、音声データを、音声テキストコンバータロジック505に対して送ってもよい。1105において、テキストのデータは、ビデオとともにディスプレイ521上でスクロールされる。
図12は、起動に関して、通信デバイス500とアプリケーション501の動作を図示する。例えば、1201において、アプリケーション501は、ユーザインターフェース523からのユーザ起動信号を受け取ってもよい。ユーザ起動信号は、到来している音声通話に応答するものであってもよく、または、ネットワークから受信された音声メール表示に応答するものであってもよい。代わりに、アプリケーション501は、ユーザオプション539中に記憶されている構成可能なユーザ設定を提供してもよい。例えば、ユーザは、ビデオアプリケーションが実行されているときに、何らかの到来している通話がアプリケーション501に対して自動的に検出されるように、ユーザオプション539のオプションを設定してもよい。別の例において、音声メール表示が受信されているときに、対応する音声メールメッセージファイルがアプリケーション501によって自動的に取り出されるように、ユーザがオプションを設定してもよい。ある実施形態にしたがって、さまざまな他のユーザ構成を使用してもよい。
1203において、図1から図4に関して説明したように、ディスプレイ521は、ビデオ部とテキストスクローリング部とに分けられてもよい。例えば、図2に示すように、いくつかの実施形態において、テキストがビデオ上でスクロールされてもよい。アプリケーション501は、また、ディスプレイ521に関してスクローリングテキストの位置を構成するためのユーザオプション539中に記憶されるユーザ構成可能な設定も提供してもよい。例えば、ユーザは、テキストが、ディスプレイ521の真ん中を横切ってスクロールされるように、または、ディスプレイ521の上部もしくは下部においてスクロールされるように、オプションを設定してもよい。これらに制限されないが、スクローリングテキストの色とサイズのような、他のユーザオプションもまた提供されてもよい。したがって、1205において、ユーザオプション539にしたがって、または、デフォルト設定にしたがって、スクローリングテキストが表示される。
図13は、図1によって示し、また、記述したディスプレイ構成と、PiPディスプレイのための図3に対応する例示的な実施形態を図示する。1301において、ビデオが表示され、1303において、オーディオデータ、または、オーディオファイルが、テキストに変換されてもよい。1305において、アプリケーション501は、ディスプレイドライバ507とともに、ディスプレイが、例えば、図1によって図示したように、ビデオ部101と、テキスト部103とに分けられるようにしてもよい。1307に示すように、ディスプレイドライバ507によって、テキストデータがビデオフォーマットに変換され、1309に示すように、テキスト部103においてスクローリングテキストとして表示される。
図14と図15は、通信デバイス500の動作のさらなる詳細を提供する信号フロー図である。図14において、信号フロー図1400は、アプリケーション501による音声通話の取り扱いを図示する。例えば、ネットワーク1402は、音声通話表示、または、ページングメッセージ1405を、通信デバイス500に対して送ってもよい。上に記述したようなユーザ設定のために、または、ユーザが、ディスプレイ521を使用するアプリケーションを操作しているので、アプリケーション501は、音声通話表示1405を受け取る。ユーザは、1407を介して、音声通話を受け入れてもよい。このことは、ユーザインターフェース523を介したユーザ入力を要求してもよく、または、ユーザ構成設定に基づいていてもよい。アプリケーション501は、次に、音声データ1409を、ネットワーク1402から受け取る。ユーザが、ゲームアプリケーション等の、ビデオまたは他のアプリケーションのようなアプリケーションを実行し続ける場合1411、アプリケーション501は、音声テキストコンバータロジック505に対して、音声ビット1413を送ることになる。アプリケーション501は、テキストビット1413を受け取ることになり、これは、変換されたオーディオに対応しており、ディスプレイ1401に対してテキストビットとオーバーレイ詳細1417を送ることになる。
図15は、アプリケーション501による音声メールメッセージの取り扱いを図示する信号フロー図1500である。実施形態にしたがうと、音声メールメッセージは、任意の時間において、アプリケーション501によって処理されてもよいが、完全性のために通話プロセスを図示した。例えば、図14によって図示したケースと同様に、音声通話表示1505が、アプリケーション501によって受信されてもよい。しかしながら、ユーザは、音声通話1507を無視するかもしれない。このケースにおいて、ネットワーク1502が、音声メール転送1509を介して、音声メールへの通話者を転送することになる。通話者が、音声メールサーバ1503に音声メールメッセージを預ける場合、ネットワーク1502は、アプリケーション501に対して音声メールメッセージ表示1511を送ることになる。アプリケーション1513が実行されており、ディスプレイ1501を使用している場合、アプリケーション501は、音声メール取出ロジック503を介して、音声ファイル1515を取得してもよい。音声メール取出ロジック503は、メッセージ1517と1519を介して、音声メールサーバ1503と通信することになり、音声ファイル1521を取得することになる。
アプリケーション501は、音声テキストコンバータロジック505に対して音声ファイル1523を提供することになり、音声ファイルに対応しているテキストビット1525を戻されることになる。アプリケーション501は、次に、ディスプレイ1501に対して、テキストビットとオーバーレイ詳細1417を提供することになる。
したがって、スクローリングテキストを表示するための方法と装置において、スクローリングテキストは、音声メールメッセージ、または、MMSメッセージもしくはビデオのオーディオを表しており、スクローリングテキストは、ビデオブロードキャスティングデータとともに、または、ビデオファイルからディスプレイ上に同時に表示されるビデオまたはアプリケーションデータとともに、表示される。ここで、開示する実施形態のさまざまな利点が、当業者にとって容易に明らかになるだろう。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]オーディオデータに、音声テキスト変換を適用することによって、前記オーディオデータを、テキストのデータに変換することと、
前記テキストのデータを、スクローリングテキストとして表示し、前記スクローリングテキストは、ビデオとともにディスプレイ上に表示されることと
を含む方法。
[2]前記テキストのデータを、前記スクローリングテキストとして表示することは、前記ディスプレイの下部の近くの前記ディスプレイの一部において、前記スクローリングテキストを表示し、前記スクローリングテキストは、前記ビデオを横切ってスクロールすることをさらに含む、上記[1]の方法。
[3]前記テキストのデータを、前記スクローリングテキストとして表示することは、前記ディスプレイの、前記ビデオの上または下のいずれかにある、独立したスクローリングテキスト表示部中に、前記スクローリングテキストを表示することをさらに含む、上記[1]の方法。
[4]ネットワークから音声通話表示を受信して、前記音声通話表示をユーザインターフェースに提供し、前記音声通話表示は、到来している音声通話に対応していることと、
前記音声通話を受信するためのユーザ入力を受け取って、前記音声通話を、前記スクローリングテキストとして表示し、前記オーディオデータは、前記ネットワークから受信され、前記音声通話に対応することと
をさらに含む、上記[1]の方法。
[5]前記ビデオが前記ディスプレイ上に表示されていることを検出することと、
前記オーディオデータの前記テキストのデータへの変換のために、オーディオロジックからの前記オーディオデータを、音声テキストコンバータロジックに流用することと
をさらに含む、上記[4]の方法。
[6]ネットワークから音声メール表示を受信して、前記音声メール表示をユーザインターフェースに提供し、前記音声メール表示は、少なくとも1つの記憶されている音声オーディオメッセージに対応していることと、
前記少なくとも1つの記憶されている音声オーディオメッセージを取り出すためのユーザ入力を受け取って、前記少なくとも1つの記憶されている音声オーディオメッセージを前記スクローリングテキストとして表示することと、
前記少なくとも1つの記憶されている音声オーディオメッセージを取り出して、前記オーディオデータは、前記少なくとも1つの記憶されている音声オーディオメッセージに対応することと
をさらに含む、上記[1]の方法。
[7]前記オーディオデータに、音声テキスト変換を適用することによって、前記オーディオデータを、前記テキストのデータに変換することと、前記テキストのデータを、前記スクローリングテキストとして表示し、前記スクローリングテキストは、前記ビデオとともに前記ディスプレイ上に表示されることとは、
ネットワークから音声通話表示、または、音声メール表示のうちの1つを受信することに応答している、上記[1]の方法。
[8]遠隔記憶、または、メモリのうちの1つから、前記音声オーディオメッセージを取り出すことをさらに含む、上記[6]の方法。
[9]前記音声メール表示を受信することは、
前記ディスプレイ上に、オーディオ表示を生成させ、または、音声メールメッセージアイコンを表示することをさらに含む、上記[7]の方法。
[10]ネットワークから通信メッセージ表示を受信して、前記通信メッセージ表示をユーザインターフェースに提供し、前記通信メッセージ表示は、到来している通信メッセージに対応していることと、
前記通信メッセージを受信するためのユーザ入力を受け取って、前記通信メッセージを、スクローリングテキストとして、ディスプレイ上に表示することと、
前記ユーザ入力に応答して、前記通信メッセージを前記スクローリングテキストとして表示し、前記スクローリングテキストは、他のアプリケーション関連のデータとともに前記ディスプレイ上に表示されることと
を含む方法。
[11]前記通信メッセージは、オーディオデータを含み、
前記オーディオデータに、音声テキスト変換を適用することによって、前記オーディオデータを、テキストのデータに変換することと、
前記テキストのデータを、前記スクローリングテキストとして表示することと
をさらに含む、上記[10]の方法。
[12]前記通信メッセージは、ビデオ部をさらに含み、
前記オーディオデータに、音声テキスト変換を適用することによって、前記オーディオデータを、テキストのデータに変換する前に、前記ビデオ部から前記オーディオ部をストリップして、前記オーディオデータを取得することと、
前記ビデオ部を、前記ディスプレイのピクチャー・イン・ピクチャー部に表示することと
をさらに含む、上記[11]の方法。
[13]受信したメッセージングデータを、ビデオフォーマットに変換して、ビデオフォーマット化されたメッセージングデータを生成させ、前記ビデオフォーマット化されたメッセージングデータは、少なくとも一部の前記メッセージングデータに対応しているテキストのデータを含むことと、
前記ビデオフォーマット化されたメッセージングデータを、スクローリングテキストとして、ディスプレイ上で、他のアプリケーション関連のデータの上に表示することと
を含む方法。
[14]前記メッセージングデータからオーディオデータをストリップすることと、
オーディオロジックからの前記オーディオデータを、音声テキストコンバータロジックに流用することと、
前記音声テキストコンバータロジックから前記テキストのデータを取得することと
をさらに含む、上記[13]の方法。
[15]スクローリングテキストロジックを具備する通信デバイスにおいて、
前記スクローリングテキストロジックは、
オーディオデータを受信し、
前記オーディオデータに音声テキスト変換を適用することによって、前記オーディオデータをテキストのデータに変換し、
前記テキストのデータを、ビデオフォーマットに変換し、
前記テキストのデータを、スクローリングテキストとして、ディスプレイ上で、アプリケーション関連のデータの上に表示する
ように動作されている、通信デバイス。
[16]前記スクローリングテキストロジックに動作可能に結合されている、音声テキストコンバータロジックをさらに具備し、
前記スクローリングテキストロジックは、
前記ディスプレイ上で前記アプリケーション関連のデータを検出し、
前記ディスプレイ上での前記アプリケーション関連のデータの検出に応答して、オーディオロジックからの前記オーディオデータを、前記音声テキストコンバータロジックに流用する
ようにさらに動作されている、上記[15]の通信デバイス。
[17]前記スクローリングテキストロジックは、
前記アプリケーション関連のデータが、前記ディスプレイ上に表示されている間に、ネットワークから音声通話表示を受信し、
前記音声通話表示をユーザインターフェースに提供し、前記音声通話表示は、到来している音声通話に対応しており、
前記音声通話を受信するためのユーザ入力を受け取り、前記音声通話を前記スクローリングテキストとして表示し、前記オーディオデータは、ネットワークから受信され、前記音声通話に対応する
ようにさらに動作されている、上記[16]の通信デバイス。
[18]前記スクローリングテキストロジックに動作可能に結合されている、音声メール取出ロジックをさらに具備し、
前記スクローリングテキストロジックは、
ネットワークから音声メール表示を受信して、前記音声メール表示をユーザインターフェースに提供し、前記音声メール表示は、少なくとも1つの記憶されている音声オーディオメッセージに対応しており、
前記少なくとも1つの記憶されているオーディオメッセージを受信するためのユーザ入力を受け取って、前記少なくとも1つの記憶されている音声オーディオメッセージを、前記スクローリングテキストとして表示し、
前記音声メール取出ロジックに命令を送って、前記少なくとも1つの記憶されているオーディオメッセージを取り出させ、前記音声オーディオデータは、前記少なくとも1つの記憶されているオーディオメッセージに対応する
ようにさらに動作されている、上記[15]の通信デバイス。
[19]特定用途集積回路(ASIC)をさらに具備し、
前記ASICは、前記スクローリングテキストロジックを備える、上記[15]の通信デバイス。
[20]少なくとも1つのプロセッサによって実行するための実行可能命令を有するコンピュータ読取可能媒体において、
前記実行可能命令は、実行されるときに、前記少なくとも1つのプロセッサに、
ディスプレイ上にビデオを表示させ、
音声オーディオファイルに音声テキスト変換を適用することによって、前記音声オーディオデータをテキストのデータに変換させ、
前記テキストのデータをスクローリングテキストとして表示させ、前記スクローリングテキストは、前記ビデオとともに前記ディスプレイ上に表示される、コンピュータ読取可能媒体。

Claims (10)

  1. ワイヤレス移動体通信デバイスにおいて、ビデオ情報を受信することと、
    前記ワイヤレス移動体通信デバイスによって、前記ワイヤレス移動体通信デバイスのディスプレイ上に、前記ビデオ情報を表示するビデオアプリケーションを実行させることと、
    前記ワイヤレス移動体通信デバイスによって、到来しているメッセージの表示をユーザに提供し、前記メッセージは、ビデオ部とオーディオ部を有することと、
    前記ビデオアプリケーションによって、メッセージテキストデータを取得することと、
    前記メッセージのビデオ部を、前記ディスプレイのピクチャー・イン・ピクチャー(PiP)部の中に表示しつつ、また、前記メッセージテキストデータを、前記ディスプレイのPiP部の外のディスプレイの一部を通してスクロール表示しつつ、前記ディスプレイ中で前記ビデオ情報を再生し続けることと、
    前記ワイヤレス移動体通信デバイスに到来している音声通話を受け入れることと、を含み、
    ここにおいて、前記メッセージテキストデータを取得することは、
    前記メッセージのオーディオ部をストリップすることと、
    前記オーディオ部を、前記ディスプレイ中で前記ビデオ情報を再生し続けている間、前記ワイヤレス移動体通信デバイスにおける前記音声通話のためのオーディオロジックではなく、前記ワイヤレス移動体通信デバイスにおける音声テキストコンバータに提供し、前記音声テキストコンバータは、前記メッセージのオーディオ部に、音声テキスト変換を適用することによって、前記オーディオ部を、前記メッセージテキストデータに変換することとを含み、
    前記ビデオ情報が前記ディスプレイ上に表示されていることを検出することと、
    前記オーディオ部の前記メッセージテキストデータへの変換のために、前記オーディオロジックから前記オーディオ部を、前記音声テキストコンバータにそらすことと、を含む方法。
  2. 前記メッセージを受信するためのユーザ入力を受け取ることと、
    前記ユーザ入力の受け取りに応答して、前記メッセージテキストデータを取得することとをさらに含む、請求項1記載の方法。
  3. 遠隔記憶、または、メモリのうちの1つから、前記オーディオ部を取り出すことをさらに含む、請求項1記載の方法。
  4. 前記到来しているメッセージの表示をユーザに提供することは、
    前記ディスプレイ上に、オーディオ表示を生成させること、または、アイコンを表示することをさらに含む、請求項1記載の方法。
  5. ワイヤレス移動体通信デバイスにおいて、ビデオ情報を受信することと、
    前記ワイヤレス移動体通信デバイスによって、前記ワイヤレス移動体通信デバイスのディスプレイ上に、前記ビデオ情報を表示するビデオアプリケーションを実行させることと、
    ネットワークから通信メッセージ表示を受信することと、
    前記通信メッセージ表示を前記ワイヤレス移動体通信デバイスのユーザインターフェースに提供し、前記通信メッセージ表示は、到来している通信メッセージに対応しており、前記通信メッセージは、ビデオ部とオーディオ部を有することと、
    前記通信メッセージを受信するためのユーザ入力を受け取って、前記通信メッセージの前記オーディオ部を、スクローリングテキストとして、前記ディスプレイ上に表示することと、
    前記ビデオアプリケーションによって、メッセージテキストデータを取得し、
    前記ユーザ入力に応答して、前記通信メッセージのビデオ部を、前記ディスプレイのピクチャー・イン・ピクチャー(PiP)部の中に表示しつつ、また、前記メッセージテキストデータを、前記ディスプレイのPiP部の外のディスプレイの一部を通してスクロール表示しつつ、前記ディスプレイ中の前記ビデオ情報を再生し続けることと、
    前記ワイヤレス移動体通信デバイスに到来している音声通話を受け入れることと、を含み、
    ここにおいて、前記メッセージテキストデータを取得することは、
    前記通信メッセージのオーディオ部をストリップすることと、
    前記オーディオ部を、前記ディスプレイ中で前記ビデオ情報を再生し続けている間、前記ワイヤレス移動体通信デバイスにおける前記音声通話のためのオーディオロジックではなく、前記ワイヤレス移動体通信デバイスにおける音声テキストコンバータに提供し、前記音声テキストコンバータは、前記通信メッセージのオーディオ部に、音声テキスト変換を適用することによって、前記オーディオ部を、前記メッセージテキストデータに変換することとを含み、
    前記ビデオ情報が前記ディスプレイ上に表示されていることを検出することと、
    前記オーディオ部の前記メッセージテキストデータへの変換のために、前記オーディオロジックから前記オーディオ部を、前記音声テキストコンバータにそらすことと、を含む方法。
  6. ワイヤレス移動体通信デバイスにおいて、ビデオ情報を受信することと、
    前記ワイヤレス移動体通信デバイスによって、前記ワイヤレス移動体通信デバイスのディスプレイ上に、前記ビデオ情報を表示するビデオアプリケーションを実行させることと、
    前記ワイヤレス移動体通信デバイスによって、到来しているメッセージの表示をユーザに提供し、前記メッセージは、ビデオ部とオーディオ部を有することと、
    前記ビデオアプリケーションによって、メッセージテキストデータを取得し、
    前記メッセージのビデオ部を、前記ディスプレイのピクチャー・イン・ピクチャー(PiP)部の中に表示しつつ、また、ビデオフォーマット化されたメッセージングデータを、前記ディスプレイのPiP部の外のディスプレイの一部を通してスクロール表示しつつ、前記ディスプレイ中で前記ビデオ情報を再生し続けることと、
    前記ワイヤレス移動体通信デバイスに到来している音声通話を受け入れることと、を含み、
    ここにおいて、前記メッセージテキストデータを取得することは、
    前記メッセージのオーディオ部をストリップすることと、
    前記オーディオ部を、前記ディスプレイ中で前記ビデオ情報を再生し続けている間、前記ワイヤレス移動体通信デバイスにおける前記音声通話のためのオーディオロジックではなく、前記ワイヤレス移動体通信デバイスにおける音声テキストコンバータに提供し、前記音声テキストコンバータは、前記オーディオ部を、ビデオフォーマットに変換して、ビデオフォーマット化されたメッセージングデータを生成させ、前記ビデオフォーマット化されたメッセージングデータは、前記オーディオ部に対応しているテキストのデータを含むこととを含み、
    前記ビデオ情報が前記ディスプレイ上に表示されていることを検出することと、
    前記オーディオ部の前記メッセージテキストデータへの変換のために、前記オーディオロジックから前記オーディオ部を、前記音声テキストコンバータにそらすことと、を含む方法。
  7. 記音声テキストコンバータから前記メッセージテキストデータを取得することとをさらに含む、請求項記載の方法。
  8. ワイヤレス移動体通信デバイスにおいて、
    ディスプレイと、
    スクローリングテキストロジックを実行する、1つ以上のプログラム可能プロセッサ、または、特定用途向け集積回路(ASIC)とを具備し、
    前記スクローリングテキストロジックは、
    ワイヤレス移動体通信デバイスにおいて、ビデオ情報を受信し、
    前記ディスプレイ上に、前記ビデオ情報を表示するビデオアプリケーションを実行させ、
    到来しているメッセージの表示をユーザに提供し、前記メッセージは、オーディオ部とビデオ部を有し、
    前記ビデオアプリケーションによって、メッセージテキストデータを取得し、
    前記メッセージテキストデータを、ビデオフォーマットに変換し、
    前記到来しているメッセージのビデオ部を、前記ディスプレイのピクチャー・イン・ピクチャー(PiP)部の中に表示しつつ、また、前記メッセージテキストデータを、前記ディスプレイのPiP部の外のディスプレイの一部を通してスクロール表示しつつ、前記ディスプレイ上で前記ビデオ情報を再生し続け、
    前記ワイヤレス移動体通信デバイスに到来している音声通話を受け入れる、ように動作されており、
    ここにおいて、前記メッセージテキストデータを取得することは、
    前記メッセージのオーディオ部をストリップすることと、
    前記オーディオ部を、前記ディスプレイ中で前記ビデオ情報を再生し続けている間、前記ワイヤレス移動体通信デバイスにおける前記音声通話のためのオーディオロジックではなく、音声テキストコンバータに提供し、前記音声テキストコンバータは、前記オーディオ部に、音声テキスト変換を適用することによって、前記メッセージのオーディオ部を、前記メッセージテキストデータに変換することとを含み、
    前記1つ以上のプログラム可能プロセッサ、または、ASICは、
    前記ディスプレイ上で前記ビデオ情報を検出し、
    前記ディスプレイ上での前記ビデオ情報の検出に応答して、前記オーディオロジックから前記オーディオ部を、前記音声テキストコンバータにそらすようにさらに動作されている、通信デバイス。
  9. 前記1つ以上のプログラム可能プロセッサ、または、ASICは、
    前記メッセージを受信するためのユーザ入力を受け取り、
    前記ユーザ入力の受け取りに応答して、メッセージテキストデータを取得するようにさらに動作されている、請求項記載の通信デバイス。
  10. ワイヤレス移動体通信デバイスの少なくとも1つのプロセッサによって実行するための実行可能命令を有するコンピュータ読取可能記憶媒体において、
    前記実行可能命令は、実行されるときに、前記少なくとも1つのプロセッサに、
    ワイヤレス移動体通信デバイスにおいて、ビデオ情報を受け取らせ、
    ワイヤレス移動体通信デバイスのディスプレイ上にビデオ情報を表示するビデオアプリケーションを実行させ、
    到来しているメッセージの表示をユーザに提供し、前記メッセージは、ビデオ部とオーディオ部を有し、
    前記ビデオアプリケーションによって、メッセージテキストデータを取得させ、
    前記メッセージのビデオ部を、前記ディスプレイのピクチャー・イン・ピクチャー(PiP)部の中に表示しつつ、また、前記メッセージテキストデータを、前記ディスプレイのPiP部の外のディスプレイの一部を通してスクロール表示しつつ、前記ディスプレイ中の前記ビデオ情報を再生し続けることと、
    前記ワイヤレス移動体通信デバイスに到来している音声通話を受け入れることと、を含み、
    ここにおいて、前記メッセージテキストデータを取得させることは、
    前記メッセージのオーディオ部をストリップすることと、
    前記オーディオ部を、前記ディスプレイ中で前記ビデオ情報を再生し続けている間、前記ワイヤレス移動体通信デバイスにおける前記音声通話のためのオーディオロジックではなく、前記ワイヤレス移動体通信デバイスにおける音声テキストコンバータに提供し、前記音声テキストコンバータは、前記オーディオ部に、音声テキスト変換を適用することによって、前記メッセージのオーディオ部を、前記メッセージテキストデータに変換することとを含み、
    前記ビデオ情報が前記ディスプレイ上に表示されていることを検出させ、
    前記オーディオ部の前記メッセージテキストデータへの変換のために、前記オーディオロジックから前記オーディオ部を、前記音声テキストコンバータにそらさせる、コンピュータ読取可能記憶媒体。
JP2014247436A 2008-08-28 2014-12-05 ビデオ表示セッション間の、音声通話またはメッセージのスクローリングテキスト表示の方法と装置 Active JP5960234B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
IN2108/CHE/2008 2008-08-28
IN2108CH2008 2008-08-28
US12/211,973 US8180644B2 (en) 2008-08-28 2008-09-17 Method and apparatus for scrolling text display of voice call or message during video display session
US12/211,973 2008-09-17

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2011525227A Division JP2012506075A (ja) 2008-08-28 2009-08-28 ビデオ表示セッション間の、音声通話またはメッセージのスクローリングテキスト表示の方法と装置

Publications (2)

Publication Number Publication Date
JP2015092690A JP2015092690A (ja) 2015-05-14
JP5960234B2 true JP5960234B2 (ja) 2016-08-02

Family

ID=41726657

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011525227A Withdrawn JP2012506075A (ja) 2008-08-28 2009-08-28 ビデオ表示セッション間の、音声通話またはメッセージのスクローリングテキスト表示の方法と装置
JP2014247436A Active JP5960234B2 (ja) 2008-08-28 2014-12-05 ビデオ表示セッション間の、音声通話またはメッセージのスクローリングテキスト表示の方法と装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2011525227A Withdrawn JP2012506075A (ja) 2008-08-28 2009-08-28 ビデオ表示セッション間の、音声通話またはメッセージのスクローリングテキスト表示の方法と装置

Country Status (7)

Country Link
US (2) US8180644B2 (ja)
EP (1) EP2342890B1 (ja)
JP (2) JP2012506075A (ja)
KR (2) KR101354262B1 (ja)
CN (1) CN102132548B (ja)
TW (1) TW201023607A (ja)
WO (1) WO2010025355A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8180644B2 (en) 2008-08-28 2012-05-15 Qualcomm Incorporated Method and apparatus for scrolling text display of voice call or message during video display session
US8667125B2 (en) 2010-06-24 2014-03-04 Dish Network L.L.C. Monitoring user activity on a mobile device
JP2012088969A (ja) * 2010-10-20 2012-05-10 Sharp Corp 入力表示装置、入力表示方法、コンピュータプログラム及び記録媒体
KR20130005321A (ko) * 2011-07-05 2013-01-16 엘지전자 주식회사 이동 단말기 및 그 제어방법
US9699632B2 (en) 2011-09-28 2017-07-04 Elwha Llc Multi-modality communication with interceptive conversion
US9762524B2 (en) 2011-09-28 2017-09-12 Elwha Llc Multi-modality communication participation
US9906927B2 (en) 2011-09-28 2018-02-27 Elwha Llc Multi-modality communication initiation
US9788349B2 (en) * 2011-09-28 2017-10-10 Elwha Llc Multi-modality communication auto-activation
US20130079029A1 (en) * 2011-09-28 2013-03-28 Royce A. Levien Multi-modality communication network auto-activation
US9477943B2 (en) 2011-09-28 2016-10-25 Elwha Llc Multi-modality communication
US9002937B2 (en) 2011-09-28 2015-04-07 Elwha Llc Multi-party multi-modality communication
US9503550B2 (en) 2011-09-28 2016-11-22 Elwha Llc Multi-modality communication modification
KR101833825B1 (ko) * 2011-11-11 2018-03-02 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR101977072B1 (ko) * 2012-05-07 2019-05-10 엘지전자 주식회사 음성 파일과 관련된 텍스트의 표시 방법 및 이를 구현한 전자기기
KR102056461B1 (ko) * 2012-06-15 2019-12-16 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
US8698900B1 (en) 2012-12-31 2014-04-15 Echostar Technologies L.L.C. Display button key presses on display device
US9620144B2 (en) * 2013-01-04 2017-04-11 Kopin Corporation Confirmation of speech commands for control of headset computers
US10712936B2 (en) * 2013-03-18 2020-07-14 Lenovo (Beijing) Co., Ltd. First electronic device and information processing method applicable to first or second electronic device comprising a first application
US10902081B1 (en) 2013-05-06 2021-01-26 Veeva Systems Inc. System and method for controlling electronic communications
CN105493121B (zh) 2013-05-06 2019-04-16 维我系统公司 用于控制电子通信的系统和方法
US10140382B2 (en) 2013-05-06 2018-11-27 Veeva Systems Inc. System and method for controlling electronic communications
CN105228070A (zh) * 2014-06-16 2016-01-06 施耐德电气工业公司 现场扬声器装置、现场语音广播系统及其方法
US9853926B2 (en) 2014-06-19 2017-12-26 Kevin Alan Tussy Methods and systems for exchanging private messages
KR102281341B1 (ko) * 2015-01-26 2021-07-23 엘지전자 주식회사 싱크 디바이스 및 그 제어 방법
US20160309033A1 (en) 2015-04-14 2016-10-20 Microsoft Technology Licensing, Llc Call Pickup with Seemail
CN105791713A (zh) * 2016-03-21 2016-07-20 安徽声讯信息技术有限公司 一种智能语音文字字幕同步播音的装置
US10187512B2 (en) * 2016-09-27 2019-01-22 Apple Inc. Voice-to text mode based on ambient noise measurement
CN108776542A (zh) * 2018-05-31 2018-11-09 上海爱优威软件开发有限公司 一种基于多媒体的信息交互方法及系统
US11109199B1 (en) 2020-08-14 2021-08-31 U.S. Financial Compliance, LLC Capturing messages from a phone message exchange with matter association
US11341172B2 (en) * 2020-08-14 2022-05-24 Firmscribe, Llc Capturing messages from a phone message exchange

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3262133B2 (ja) * 1992-01-07 2002-03-04 キヤノン株式会社 画像通信電話機及び画像処理方法
DE4331710A1 (de) 1993-09-17 1995-03-23 Sel Alcatel Ag Verfahren und Vorrichtung zum Erstellen und Bearbeiten von Textdokumenten
US5953392A (en) 1996-03-01 1999-09-14 Netphonic Communications, Inc. Method and apparatus for telephonically accessing and navigating the internet
US5774857A (en) * 1996-11-15 1998-06-30 Motorola, Inc. Conversion of communicated speech to text for tranmission as RF modulated base band video
JP3402100B2 (ja) 1996-12-27 2003-04-28 カシオ計算機株式会社 音声制御ホスト装置
US6173259B1 (en) 1997-03-27 2001-01-09 Speech Machines Plc Speech to text conversion
KR100539871B1 (ko) 1998-12-26 2006-04-21 삼성전자주식회사 텔레비전 휴대폰의 수신 메세지 표시 방법
JP3544152B2 (ja) * 1999-09-16 2004-07-21 株式会社メガチップス 画像表示装置および制御装置
US7000018B1 (en) 1999-12-22 2006-02-14 Intel Corporation Voice data streaming control in a network
US7293279B1 (en) * 2000-03-09 2007-11-06 Sedna Patent Services, Llc Advanced set top terminal having a program pause feature with voice-to-text conversion
US6775651B1 (en) 2000-05-26 2004-08-10 International Business Machines Corporation Method of transcribing text from computer voice mail
US7565680B1 (en) * 2000-06-30 2009-07-21 Comcast Ip Holdings I, Llc Advanced set top terminal having a video call feature
US6713259B2 (en) * 2000-09-13 2004-03-30 Monsanto Technology Llc Corn event MON810 and compositions and methods for detection thereof
JP2002185943A (ja) * 2000-12-12 2002-06-28 Nec Corp 放送視聴方法、放送送信サーバ、携帯端末及び多地点通話・放送制御視聴装置
US20030043260A1 (en) * 2001-08-29 2003-03-06 Adrian Yap Videophone answering device
US6763095B1 (en) * 2002-09-24 2004-07-13 Verizon Laboratories Inc. Unified messaging system and method
JP3962820B2 (ja) * 2003-06-30 2007-08-22 カシオ計算機株式会社 携帯電話、音声付き文書表示方法、通話音声表示方法および携帯電話の表示方法
JP2005130133A (ja) * 2003-10-22 2005-05-19 Sanyo Electric Co Ltd 携帯電話機
JP4600643B2 (ja) * 2004-06-02 2010-12-15 日本電気株式会社 文字表示機能を有するテレビ電話装置及びテレビ電話装置における音声の文字変換表示方法
EP1650937B1 (en) 2004-10-19 2015-02-11 Nokia Corporation Notifying a user
US7561677B2 (en) * 2005-02-25 2009-07-14 Microsoft Corporation Communication conversion between text and audio
US7917178B2 (en) * 2005-03-22 2011-03-29 Sony Ericsson Mobile Communications Ab Wireless communications device with voice-to-text conversion
US7627349B2 (en) * 2005-07-11 2009-12-01 Nokia Corporation Alternative notifier for multimedia use
US20070039036A1 (en) * 2005-08-12 2007-02-15 Sbc Knowledge Ventures, L.P. System, method and user interface to deliver message content
EP1932153A2 (en) * 2005-09-07 2008-06-18 Portalvideo, Inc. Time approximation for text location in video editing method and apparatus
US9083564B2 (en) * 2005-10-13 2015-07-14 At&T Intellectual Property I, L.P. System and method of delivering notifications
BRPI0618862A2 (pt) * 2005-11-22 2011-09-13 Sharp Kk telefone móvel
JP4869728B2 (ja) * 2006-02-16 2012-02-08 Necカシオモバイルコミュニケーションズ株式会社 通信端末、サービス提供装置、および、プログラム
JP4212600B2 (ja) * 2006-04-13 2009-01-21 株式会社東芝 無線通信端末装置
US20080120285A1 (en) * 2006-11-16 2008-05-22 Bellsouth Intellectual Property Corporation Systems, methods, and computer readable mediums for displaying customized information in a ticker gui on a video display device
US8019271B1 (en) * 2006-12-29 2011-09-13 Nextel Communications, Inc. Methods and systems for presenting information on mobile devices
JP2008176681A (ja) * 2007-01-22 2008-07-31 Fujifilm Corp 眼鏡型コミュニケーション支援装置
US8266664B2 (en) * 2007-01-31 2012-09-11 At&T Intellectual Property I, Lp Methods and apparatus to provide messages to television users
WO2008146747A1 (ja) * 2007-05-29 2008-12-04 Nec Corporation 携帯端末装置、そのテレビ表示方法及びプログラム
US8180644B2 (en) 2008-08-28 2012-05-15 Qualcomm Incorporated Method and apparatus for scrolling text display of voice call or message during video display session

Also Published As

Publication number Publication date
US20120209607A1 (en) 2012-08-16
TW201023607A (en) 2010-06-16
KR20130045408A (ko) 2013-05-03
WO2010025355A1 (en) 2010-03-04
CN102132548A (zh) 2011-07-20
EP2342890B1 (en) 2018-04-25
CN102132548B (zh) 2014-02-12
US8180644B2 (en) 2012-05-15
US8380515B2 (en) 2013-02-19
KR20110050539A (ko) 2011-05-13
JP2015092690A (ja) 2015-05-14
KR101354262B1 (ko) 2014-01-22
JP2012506075A (ja) 2012-03-08
EP2342890A1 (en) 2011-07-13
US20100057466A1 (en) 2010-03-04

Similar Documents

Publication Publication Date Title
JP5960234B2 (ja) ビデオ表示セッション間の、音声通話またはメッセージのスクローリングテキスト表示の方法と装置
US11477317B2 (en) Notification of mobile device events
US11003331B2 (en) Screen capturing method and terminal, and screenshot reading method and terminal
AU2010319860B2 (en) Computer-to-computer communication
US20190342241A1 (en) Systems and methods for manipulating and/or concatenating videos
US8522283B2 (en) Television remote control data transfer
US20090063645A1 (en) System and method for supporting messaging using a set top box
US20170188083A1 (en) Method for inputting text and display apparatus using the same
JP2012506075A5 (ja)
US20100281042A1 (en) Method and System for Transforming and Delivering Video File Content for Mobile Devices
AU2014202423B2 (en) Notification of mobile device events
KR100878045B1 (ko) 모바일 스크랩 서비스 제공 방법 및 시스템
JP2008046707A (ja) 変換データ表示方法及び装置
JP2005173792A (ja) 動画配信システム
KR20060024966A (ko) 이동통신 단말기의 인터넷 접속방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160622

R150 Certificate of patent or registration of utility model

Ref document number: 5960234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250