JP3372764B2 - Video-on-demand type multimedia communication terminal - Google Patents

Video-on-demand type multimedia communication terminal

Info

Publication number
JP3372764B2
JP3372764B2 JP18116496A JP18116496A JP3372764B2 JP 3372764 B2 JP3372764 B2 JP 3372764B2 JP 18116496 A JP18116496 A JP 18116496A JP 18116496 A JP18116496 A JP 18116496A JP 3372764 B2 JP3372764 B2 JP 3372764B2
Authority
JP
Japan
Prior art keywords
video
video data
communication terminal
decoding
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18116496A
Other languages
Japanese (ja)
Other versions
JPH1013813A (en
Inventor
聡 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP18116496A priority Critical patent/JP3372764B2/en
Priority to AU24817/97A priority patent/AU716341B2/en
Priority to US08/872,905 priority patent/US6075552A/en
Priority to EP97304129A priority patent/EP0813341B1/en
Publication of JPH1013813A publication Critical patent/JPH1013813A/en
Application granted granted Critical
Publication of JP3372764B2 publication Critical patent/JP3372764B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、映像データの再生
方式に関し、特に通信回線を介して送られる娯楽用や教
育用ソフトウェアの再生を行うマルチメディア通信端末
装置においてニアビデオオンデマンド方式の再生方式に
関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video data reproducing system, and more particularly, to a near video on-demand reproducing system in a multimedia communication terminal device for reproducing entertainment or educational software sent via a communication line. Regarding

【0002】[0002]

【従来の技術】現在、ケーブルテレビ(CATV)等の
通信回線を利用した「VOD」(Video On D
emand:ビデオオンデマンド・要求に応じたテレ
ビ)と呼ばれるテレビサービスの実現が進められてお
り、例えば特開平4−324784号公報に記載されて
いるように、伝送ラインの一端は「ヘッドエンド装置」
と呼ばれるマルチメディアデータの供給及び供給の制御
を行う記録媒体もしくは記録装置等と接続され、他端は
個々の加入者宅にそれぞれ設置される、複数台の「セッ
トトップボックス(STB)」と呼ばれるマルチメディ
ア通信端末装置にて、ディスプレイ及びインタフェース
を有するテレビセットあるいはテレビ受信機に接続さ
れ、VODサービスを行う。
2. Description of the Related Art Currently, "VOD" (Video On D) that uses communication lines such as cable television (CATV).
A television service called "emand: a television that responds to video-on-demand / request" is being implemented, and one end of a transmission line is a "head-end device" as described in, for example, Japanese Unexamined Patent Publication No. 4-324784.
Called "set top box (STB)", which is connected to a recording medium or a recording device for supplying and controlling multimedia data called "," and the other end is installed in each subscriber's house. A multimedia communication terminal device is connected to a television set or a television receiver having a display and an interface to perform VOD service.

【0003】現在、これらの装置の開発が各方面で進め
られており、娯楽用や教育用としての使用が期待されて
いる。
Currently, these devices are being developed in various fields and are expected to be used for entertainment and education.

【0004】一方、N−VOD(Near−VOD:ニ
アビデオオンデマンド)と呼ばれるサービスの実現も進
められている。このサービスは、加入者が視聴を行いた
い番組と時間を、予めマルチメディアデータの送信を行
うヘッドエンド装置に登録しておき、その登録時間にな
った時点でヘッドエンド装置から伝送ラインを通して、
マルチメディアデータの供給が開始され、加入者は希望
の番組を試聴できるようにしたシステムである。
On the other hand, the realization of a service called N-VOD (Near-VOD: Near Video On Demand) is also in progress. In this service, the program and time that the subscriber wants to watch are registered in advance in the headend device that transmits multimedia data, and when the registered time comes, the headend device sends the transmission line through the transmission line.
It is a system that enables the subscribers to listen to desired programs by starting the supply of multimedia data.

【0005】また、ヘッドエンド装置が同一のマルチメ
ディアデータを、ある一定時間間隔毎にずらせて複数の
チャンネルで伝送し、加入者がその供給時間に合わせ、
希望の番組を試聴するようにしたシステムもある。
Further, the head-end device transmits the same multimedia data on a plurality of channels while shifting the same multimedia data at a certain fixed time interval, and the subscriber matches the supply time.
There is also a system that allows you to audition the desired program.

【0006】これらの場合、加入者は、上記した登録時
間若しくは供給時間にならないと、希望の番組を試聴で
きない。
In these cases, the subscriber cannot listen to the desired program before the registration time or supply time described above.

【0007】そして、加入者が登録時間若しくは供給時
間より早くマルチメディアデータの受信を開始してしま
う場合には、通常であれば、加入者は番組開始まで待た
なければならない。この待ち時間に対する対処方法とし
て、例えば特開平7−250314号公報には、同一の
主映像情報をある時間間隔毎にずらして複数のチャンネ
ルで伝送しニアビデオオンデマンドを実現するCATV
システムにおいて、視聴者が主映像情報を選択したと
き、選択時刻以降最も早く該主映像情報が開始するまで
の時間他の映像情報を出力し、該主映像情報が開始する
と同時に、選択したチャンネルに切り替えて該主映像情
報を出力するようにしたシステムが提案されている。す
なわち、上記公報に提案されるシステムは、ヘッドエン
ド装置が同一のマルチメディアデータを、ある一定時間
間隔毎にずらせて複数のチャンネルで伝送する方式によ
り、送信データの先頭に、全体として送信時間間隔とほ
ぼ一致する複数の短い番組データを付加することで、該
当するマルチメディアデータが送信されるまでの待ち時
間は、複数の短いデータを再生することにより、加入者
に違和感を与えることなくサービスの供給ができるよう
にしたものである。
If the subscriber starts receiving the multimedia data earlier than the registration time or the supply time, the subscriber usually has to wait until the program starts. As a method for coping with this waiting time, for example, Japanese Patent Laid-Open No. 7-250314 discloses a CATV that realizes near video on-demand by shifting the same main video information at a certain time interval and transmitting it on a plurality of channels.
In the system, when the viewer selects the main video information, the time until the main video information starts earliest after the selected time outputs other video information, and at the same time when the main video information starts, the selected channel is displayed. A system has been proposed in which the main video information is switched and output. That is, in the system proposed in the above publication, the head end device transmits the same multimedia data on a plurality of channels while shifting the same multimedia data at a certain fixed time interval. By adding a plurality of short program data that almost match with the above, the waiting time until the corresponding multimedia data is transmitted is reproduced by the plurality of short data, so that the subscriber can enjoy the service without feeling uncomfortable. It is made possible to supply.

【0008】[0008]

【発明が解決しようとする課題】通常、ニアビデオオン
デマンドによるマルチメディアデータのサービスは、端
末装置であるマルチメディア通信端末装置を再生状態と
して、上位装置であるヘッドエンド装置から送信される
マルチメディアデータを再生させるだけのものであり、
マルチメディア通信端末装置としては、現在の状態が該
当するデータの再生中なのか、若しくはブランク中なの
かを把握することができない。
Generally, in the near-video-on-demand multimedia data service, a multimedia communication terminal device, which is a terminal device, is in a reproduction state, and a multimedia data transmitted from a head-end device, which is a host device, is used. It just plays the data,
The multimedia communication terminal device cannot grasp whether the current state is the reproduction of the corresponding data or the blank state.

【0009】また、ニアビデオオンデマンドの場合は、
加入者である視聴者が、マルチメディア通信端末装置の
再生状態を終了させるまでは、再生状態を継続するた
め、伝送路等で障害が生じ、再生画像や音声に乱れ等が
発生した場合でも、マルチメディア通信端末装置は、こ
れらの状況判断を全く行うことができなかった。
In the case of near video on demand,
Until the viewer, who is a subscriber, finishes the playback state of the multimedia communication terminal device, the playback state continues, so that even if a failure occurs in the transmission path or the like, and the playback image or sound is disturbed, The multimedia communication terminal device could not judge these situations at all.

【0010】そこで、マルチメディア通信端末装置が、
ニアビデオオンデマンドサービス中に、障害の検知や視
聴者に対する適切な指示を与えるためには、現在の再生
状態を把握することが要請されることになる。
Therefore, the multimedia communication terminal device is
During the near video on-demand service, in order to detect a failure and give an appropriate instruction to the viewer, it is required to grasp the current reproduction state.

【0011】したがって、本発明は、上記事情に鑑みて
なされたものであって、その目的は、マルチメディア通
信端末装置における制御ソフトウェアが、ニアビデオオ
ンデマンドサービスにおける連続した番組サービスを受
けた場合に、現在の番組サービス状態の把握をし、また
装置の異常等が発生した場合に、マルチメディア通信端
末装置の利用者に対して指示を与えることを可能とし、
操作性及び信頼性を高めるシステムを提供することにあ
る。
Therefore, the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a control software in a multimedia communication terminal device when a continuous program service in a near video on demand service is received. , It is possible to grasp the current program service status and to give instructions to the user of the multimedia communication terminal device when an abnormality of the device occurs.
It is to provide a system that enhances operability and reliability.

【0012】[0012]

【課題を解決するための手段】前記目的を達成するた
め、本発明は、通信回線を通じて送られてくる映像デー
タの再生を行う映像データ再生手段を有するマルチメデ
ィア通信端末装置において、映像サービスを受ける場
合、及び、サービス状態によらず再生状態を継続させて
連続した映像データの再生を行う場合、新画面を復号し
たことの通知を受けて、映像データの始端を把握すると
ともに、映像サービスの終端に付加される終端情報が検
出されたことの通知を受けて映像データの終端を把握す
制御手段を備え前記制御手段は現在のサービス状態
を把握し、装置内で検出された情報を映像サービスの状
態に応じて利用者に対して画像情報として提示する手段
を備え装置内で異常が検出された際に映像データの再
生中である場合に再生停止を利用者に促すことを特徴と
する。
To achieve the above object, the present invention provides a video service in a multimedia communication terminal device having a video data reproducing means for reproducing video data sent through a communication line. In case, and when the continuous playback is performed regardless of the service status and continuous video data is played, the new screen is decoded.
When you receive the notification that the beginning of the video data
In both cases, the termination information added to the end of the video service is detected.
A control means for recognizing the end of the video data in response to the notification that the video data has been transmitted is provided , and the control means is the current service state.
And means for presenting the information detected in the device to the user as image information according to the state of the video service.
The video data is re-installed when an abnormality is detected in the device.
The feature is to prompt the user to stop the reproduction when the user is alive .

【0013】本発明は、マルチメディア通信端末装置が
ニアビデオオンデマンドによるマルチメディアサービス
を受ける際、マルチメディアデータの再生中に、障害の
検知や視聴者に対する適切な指示を与えるために、送信
されるマルチメディアデータに付加されている各種情報
コードや、マルチメディア通信端末装置が発生可能な割
り込みを利用することによって、マルチメディア通信端
末上で動作している制御用ソフトウェアが、現在のマル
チメディア通信端末装置の再生状態を把握することを可
能としたものである。
According to the present invention, when a multimedia communication terminal device receives a multimedia service by near video on demand, it is transmitted during reproduction of multimedia data in order to detect a failure and give an appropriate instruction to a viewer. The control software running on the multimedia communication terminal uses the various information codes added to the multimedia data and the interrupts that can be generated by the multimedia communication terminal device. This makes it possible to grasp the reproduction state of the terminal device.

【0014】[0014]

【発明の実施の形態】本発明の実施の形態について図面
を参照して以下に説明する。図1は、本発明の実施の形
態を説明するための図であり、マルチメディア通信端末
装置を、ケーブルテレビ(CATV)等の通信回線を利
用したシステムで使用した場合の一構成例を示したもの
である。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a diagram for explaining an embodiment of the present invention, showing an example of the configuration when a multimedia communication terminal device is used in a system using a communication line such as a cable television (CATV). It is a thing.

【0015】図1を参照すると、マルチメディア通信端
末装置1は、マルチメディアデータの供給及び供給の制
御を行う記録媒体もしくは記録装置等であるヘッドエン
ド装置21と、マルチメディアデータの伝送を行う伝送
ライン22、及び制御信号の授受を行う制御信号線23
とで接続されている。
Referring to FIG. 1, a multimedia communication terminal device 1 includes a head end device 21 which is a recording medium or a recording device for supplying and controlling supply of multimedia data, and a transmission for transmitting multimedia data. Line 22 and control signal line 23 for exchanging control signals
Connected with.

【0016】図2は、本発明の実施の形態におけるマル
チメディア通信端末装置の構成の一例をブロック図にて
示したものである。
FIG. 2 is a block diagram showing an example of the configuration of the multimedia communication terminal device according to the embodiment of the present invention.

【0017】図2を参照すると、マルチメディア通信端
末装置1は、伝送ライン22から送られてきたマルチメ
ディアデータの入力を行う入力端2と、複数のチャンネ
ルから希望のチャンネルを選択するチューナ4と、入力
されたマルチメディアデータを映像データと音声データ
とその他のデータに分離する入力信号システム処理部5
と、映像信号の処理を行う映像データ処理部8と、復号
された映像データの表示を行うモニタ10と、映像デー
タ処理部8で復号された映像データをモニタ10で表示
するための処理を行う表示回路9と、音声信号の処理を
行う音声データ処理部13と、復号された音声データを
発生するスピーカ15と、音声データ処理部13で復号
された音声データをスピーカ15で発生させるための信
号増幅を行う増幅回路14と、プログラム制御により各
モジュールの動作制御等を行うCPU16と、CPU1
6からの動作制御信号を各モジュールに伝えるバス17
と、キーボード等の入力装置19と、ヘッドエンド装置
との制御信号の授受を行う通信回路18と、制御信号線
23と接続される制御入出力端3と、を備えて構成され
ている。
Referring to FIG. 2, the multimedia communication terminal device 1 includes an input terminal 2 for inputting multimedia data sent from a transmission line 22, and a tuner 4 for selecting a desired channel from a plurality of channels. , An input signal system processing unit 5 for separating the input multimedia data into video data, audio data and other data
A video data processing unit 8 for processing the video signal, a monitor 10 for displaying the decoded video data, and a process for displaying the video data decoded by the video data processing unit 8 on the monitor 10. A display circuit 9, an audio data processing unit 13 that processes an audio signal, a speaker 15 that generates decoded audio data, and a signal that causes the speaker 15 to generate the audio data decoded by the audio data processing unit 13. An amplifier circuit 14 for amplifying, a CPU 16 for controlling operation of each module by program control, and a CPU 1.
Bus 17 for transmitting operation control signals from 6 to each module
An input device 19 such as a keyboard, a communication circuit 18 for exchanging control signals with the headend device, and a control input / output terminal 3 connected to the control signal line 23.

【0018】そして映像データ処理部8は、入力信号シ
ステム処理部5で分離された映像データの一時保存を行
う映像データバッファメモリ6と、映像データの復号処
理を行う映像データ復号部7と、を備えており、映像デ
ータ復号部7内には、映像が1枚(1ピクチャ)復号さ
れる毎にカウントを行い、そのカウント値をCPU16
内で動作するソフトウェアからの要求に応じてその値を
提供できるようなデコードカウンタ20を備えている。
The video data processing unit 8 includes a video data buffer memory 6 for temporarily storing the video data separated by the input signal system processing unit 5, and a video data decoding unit 7 for decoding the video data. The video data decoding unit 7 is provided with a counter for counting each time one video (one picture) is decoded, and the count value is counted by the CPU 16
It has a decode counter 20 that can provide its value in response to a request from software operating in it.

【0019】また音声データ処理部13は、入力信号シ
ステム処理部5で分離された音声データの一時保存を行
う音声データバッファRAM11と、音声データの復号
処理を行う音声データ復号部12と、を備えている。
The audio data processing unit 13 includes an audio data buffer RAM 11 for temporarily storing the audio data separated by the input signal system processing unit 5, and an audio data decoding unit 12 for performing an audio data decoding process. ing.

【0020】次に、本発明の一実施例として、マルチメ
ディア通信端末装置でニアビデオオンデマンドサービス
を受けた場合の例を、図1及び図2と、図3及び図4の
流れ図、さらに図6を参照して説明する。図3は、ニア
ビデオオンデマンドによる番組サービスが開始されたと
きに、制御ソフトウェアが行う処理の一例を示した流れ
図である。また、図4は、ニアビデオオンデマンドによ
る番組サービスが終了されたときに、制御ソフトウェア
が行う処理の一例を示したフローチャートである。図6
は、ニアビデオオンデマンドサービスの再生開始から終
了までの処理シーケンスを示したシーケンスチャートで
ある。
Next, as an embodiment of the present invention, an example in which a near-video on-demand service is received by a multimedia communication terminal device will be described with reference to FIGS. 1 and 2, and the flowcharts of FIGS. This will be described with reference to FIG. FIG. 3 is a flowchart showing an example of processing performed by the control software when the near-video-on-demand program service is started. Further, FIG. 4 is a flowchart showing an example of processing performed by the control software when the near-video-on-demand program service is terminated. Figure 6
[Fig. 6] is a sequence chart showing a processing sequence from the start of reproduction to the end of the near video on-demand service.

【0021】本実施例では、ニアビデオオンデマンドサ
ービスの番組再生開始を検出するタイミング(図6の6
3、67、71等参照)として、映像データ復号部7か
らCPU16に対して入力される、新しい画像が復号さ
れたことを示す割り込みを用いている。
In this embodiment, the timing for detecting the start of program reproduction of the near video on-demand service (6 in FIG. 6) is detected.
3, 67, 71, etc.), an interrupt input from the video data decoding unit 7 to the CPU 16 and indicating that a new image has been decoded is used.

【0022】また、番組再生終了を判断するタイミング
(図6の65、69等)は、入力信号システム処理部5
からCPU16に対して入力される、各番組サービスの
終端に付加されているエンドコードを検出した場合に発
生する割り込みを用いている。このため、上位装置であ
るヘッドエンド装置から送信される各番組サービスの終
端にはエンドコードが付加されている必要がある。
The timing for determining the end of program reproduction (65, 69, etc. in FIG. 6) is the input signal system processing section 5.
An interrupt generated when an end code added to the end of each program service, which is input from the CPU to the CPU 16, is detected is used. For this reason, it is necessary to add an end code to the end of each program service transmitted from the headend device, which is a higher-level device.

【0023】また、表示回路9は、復号画面表示を行わ
ない場合には、モニタ10を例えばブルーバック画面と
する機能を具備している。
Further, the display circuit 9 has a function of making the monitor 10 a blue back screen, for example, when the decoding screen display is not performed.

【0024】マルチメディア通信端末装置1の利用者か
ら、入力装置19を通しCPU16ヘニアビデオオンデ
マンドサービス再生開始要求が入力されると、CPU1
6内で動作する制御ソフトウェアは、映像データ復号部
7と、音声データ復号部12に対して、入力端2から入
力され、チューナ4を介し、入力信号システム処理部5
にて、映像データと音声データに分離されるマルチメデ
ィアデータの復号(デコード)を開始するように指示を
与える。
When the user of the multimedia communication terminal device 1 inputs a reproduction start request for the CPU 16 henia video on-demand service through the input device 19, the CPU 1
The control software operating in 6 is input to the video data decoding unit 7 and the audio data decoding unit 12 from the input terminal 2, and via the tuner 4, the input signal system processing unit 5
At, an instruction is given to start decoding of multimedia data separated into video data and audio data.

【0025】この状態では、表示回路9はモニタ10に
対して復号画面表示を行わない(OFFした)状態を継
続させており、復号画面表示を行わないことで、マルチ
メディア通信端末装置1の利用者は、ブルーバック化さ
れた画面を見ることになる。
In this state, the display circuit 9 continues to be in a state in which the decoding screen is not displayed (turned off) on the monitor 10, and by not displaying the decoding screen, the multimedia communication terminal device 1 is used. The person will see a blue-backed screen.

【0026】また、マルチメディア通信端末装置1の利
用者から、入力装置19を通しCPU16へニアビデオ
オンデマンドサービス再生開始要求が入力されると、障
害検出が開始されるものとする。
When the user of the multimedia communication terminal 1 inputs a near video on-demand service reproduction start request to the CPU 16 through the input device 19, it is assumed that the failure detection is started.

【0027】ここで、障害検出としては、映像の復号が
正常に行われなくなり、映像が停止してしまった場合に
異常と判断するものとし、映像データ復号部7内にある
デコードカウンタ20のカウント値を、CPU16にお
けるソフトウェアタイマからの割り込みが入力されるタ
イミングで取得し、デコードカウンタ20のカウント値
に変化がみられなくなった時に、障害と判断する場合を
例にとり説明する。
Here, as the failure detection, it is assumed that when the video is not normally decoded and the video is stopped, it is judged to be abnormal, and the count of the decode counter 20 in the video data decoding unit 7 is counted. A case will be described as an example where a value is acquired at the timing when an interrupt is input from the software timer in the CPU 16, and when there is no change in the count value of the decode counter 20, a failure is determined.

【0028】CPU16で管理されるソフトウェアタイ
マのカウント開始は、マルチメディア通信端末装置1の
利用者から、入力装置19を介してCPU16に、ニア
ビデオオンデマンドサービス再生開始要求が入力される
と同時に行われる。
The counting of the software timer managed by the CPU 16 is started at the same time when the user of the multimedia communication terminal device 1 inputs a near video on-demand service reproduction start request to the CPU 16 through the input device 19. Be seen.

【0029】ニアビデオオンデマンドによる番組サービ
スが開始されると、映像データ復号部7にて映像データ
の復号処理が開始され、CPU16に対して新しい画像
が復号されたことを示す割り込みが発生し、CPU16
においては、その割り込み入力を制御ソフトウェアが確
認すると(図3のステップS301)、同様の割り込み
が連続してCPU16に入力されないようにするため、
映像データ復号部7に対して、新しい画像が復号された
ことを示す、割り込みの発生を禁止(マスク)する(図
3のステップS302)。
When the near video on-demand program service is started, the video data decoding unit 7 starts the video data decoding process, and an interrupt indicating that a new image has been decoded is issued to the CPU 16. CPU16
When the control software confirms the interrupt input (step S301 in FIG. 3), in order to prevent the same interrupt from being continuously input to the CPU 16,
The video data decoding unit 7 is prohibited (masked) from generating an interrupt indicating that a new image has been decoded (step S302 in FIG. 3).

【0030】次に、表示回路9に対して、復号画面表示
を行う(ON)ように指示を与える(図3のステップS
303)。ここで、現在番組再生中であることを制御ソ
フトウェアに認識させるため、制御ソフトウェア内部の
放映中フラグに値を設定する。本実施例では、放映中フ
ラグの設定値を“1”に設定している(図3のステップ
S304)。
Next, the display circuit 9 is instructed to display (ON) the decoding screen (step S in FIG. 3).
303). Here, in order to make the control software recognize that the program is currently being reproduced, a value is set to the broadcasting flag inside the control software. In this embodiment, the set value of the on-air flag is set to "1" (step S304 in FIG. 3).

【0031】最後に、番組サービスの終端を検出するた
め、入力信号システム処理部5に対しエンドコード検出
による割り込みを許可(イネーブル)する(図3のステ
ップS305)。
Finally, in order to detect the end of the program service, the interrupt by the end code detection is permitted (enabled) to the input signal system processing section 5 (step S305 in FIG. 3).

【0032】ニアビデオオンデマンドによる番組サービ
スの終端である、エンドコードを入力信号システム処理
部5が受信すると、入力信号システム処理部5からCP
U16に対して、エンドコード検出割り込みが発生し、
その割り込み入力を制御ソフトウェアが確認すると(図
4のステップS401)、同様の割り込みが連続してC
PU16に入力されないようにするため、入力信号シス
テム処理部5に対してエンドコード検出による割り込み
の発生を禁止(マスク)する(図4のステップS40
2)。
When the input signal system processing unit 5 receives the end code, which is the end of the near-video-on-demand program service, the input signal system processing unit 5 sends a CP to the CP.
An end code detection interrupt occurs for U16,
When the control software confirms the interrupt input (step S401 in FIG. 4), similar interrupts occur continuously in C
In order to prevent the input signal from being input to the PU 16, the input signal system processing unit 5 is prohibited (masked) from generating an interrupt due to end code detection (step S40 in FIG. 4).
2).

【0033】次に、表示回路9に対し、復号画面表示を
行わない(OFFする)ように指示を与える(図4のス
テップS403)。この処理によって、画面はブルーバ
ック化される。
Next, the display circuit 9 is instructed not to display (turn off) the decoding screen (step S403 in FIG. 4). By this processing, the screen becomes blue background.

【0034】ここで、現在番組再生終了であることを、
制御ソフトウェアに認識させるため、制御ソフトウェア
内部の放映中フラグをクリアする。本実施例では、放映
中フラグの設定値を“0”とすることで上記内容を実現
している(図4のステップS404)。
Here, the fact that the program reproduction is currently completed is
In order to let the control software recognize it, the on-air flag inside the control software is cleared. In the present embodiment, the above contents are realized by setting the set value of the on-airing flag to "0" (step S404 in FIG. 4).

【0035】最後に、次の番組サービスの開始を検出す
るため、映像データ復号部7に対して、新しい画像が復
号されたことを示す割り込みの発生を許可(イネーブ
ル)する(図4のステップS405)。
Finally, in order to detect the start of the next program service, the video data decoding unit 7 is permitted (enabled) to generate an interrupt indicating that a new image has been decoded (step S405 in FIG. 4). ).

【0036】ニアビデオオンデマンドサービスを終了さ
せるため、マルチメディア通信端末装置1の利用者が、
入力装置19を通しCPU16へ、ニアビデオオンデマ
ンドサービス再生終了要求を入力すると、CPU16内
部で動作する制御ソフトウェアは、映像データ復号部7
と、音声データ復号部12と、に対して、マルチメディ
アデータの復号を中止するように指示を与え、表示回路
9はモニタ10に対して復号画面表示を行わない(OF
Fする)ように指示を与える。
To terminate the near video on-demand service, the user of the multimedia communication terminal device 1
When a near video on-demand service reproduction end request is input to the CPU 16 through the input device 19, the control software operating inside the CPU 16 causes the video data decoding unit 7 to operate.
Then, the audio data decoding unit 12 is instructed to stop decoding the multimedia data, and the display circuit 9 does not display the decoding screen on the monitor 10 (OF
Give an instruction to F).

【0037】この処理によって、画面はブルーバック化
される。その後、異常発生を検出する基準となっていた
ソフトウェアタイマを停止させて、ニアビデオオンデマ
ンドサービスを終了させる。
By this processing, the screen is blue-backed. After that, the software timer that has been the standard for detecting the occurrence of an abnormality is stopped, and the near video on-demand service is ended.

【0038】このサービスを終了させるには、マルチメ
ディア通信端末装置1の利用者が、入力装置19を通し
CPU16へ、ニアビデオオンデマンドサービス再生終
了要求を入力することが必要であり、再生終了要求が入
力されるまでは、装置の異常発生が検出されたとしても
再生は継続される。
In order to end this service, the user of the multimedia communication terminal device 1 needs to input a near video on-demand service reproduction end request to the CPU 16 through the input device 19, and the reproduction end request. Until is input, the reproduction is continued even if an abnormality is detected in the device.

【0039】次に、本発明の実施例として、ニアビデオ
オンデマンドサービス中の異常判断処理についての一例
を、図1、図2及び図5を参照して説明する。図5は、
ニアビデオオンデマンドサービス中に、マルチメディア
通信端末装置が装置の異常を検出した場合に、制御ソフ
トウェアが行う処理の一例を示したフローチャートであ
る。
Next, as an embodiment of the present invention, an example of abnormality determination processing during the near video on-demand service will be described with reference to FIGS. 1, 2 and 5. Figure 5
It is the flowchart which showed an example of the process which control software performs, when a multimedia communication terminal device detects the abnormality of an apparatus during a near video on-demand service.

【0040】制御ソフトウェアが異常であると判断した
場合、ニアビデオオンデマンドによる番組サービス中
に、すなわち放送中フラグが“1”の時に(図5のステ
ップS501:Y)、上位装置であるヘッドエンド装置
21に対し、マルチメディア通信端末装置1が、異常で
ある旨を通知する(ステップS502)。
When it is judged that the control software is abnormal, during the near video on-demand program service, that is, when the on-air flag is "1" (step S501: Y in FIG. 5), the head end, which is the upper device, The multimedia communication terminal device 1 notifies the device 21 that there is an abnormality (step S502).

【0041】この通知により、ヘッドエンド装置21
は、マルチメディア通信端末装置1の異常を認識でき
る。
By this notification, the head end device 21
Can recognize the abnormality of the multimedia communication terminal device 1.

【0042】そして、マルチメディア通信端末装置1の
利用者に対し、マルチメディア通信端末装置1が異常で
ある旨を通知し、再生停止の操作を行うことを促すた
め、表示回路9に対し異常発生メッセージをモニタ10
に表示するよう、指示を与える(ステップS503)。
Then, in order to notify the user of the multimedia communication terminal device 1 that the multimedia communication terminal device 1 is abnormal and prompt the user to perform a reproduction stop operation, an abnormality occurs in the display circuit 9. Monitor message 10
An instruction is given to display on the screen (step S503).

【0043】その後、異常発生を検出する基準となって
いたソフトウェアタイマを停止させ(ステップS50
4)、終了する。
After that, the software timer, which has been the standard for detecting the occurrence of the abnormality, is stopped (step S50).
4) and end.

【0044】番組サービスが行われていない場合には、
映像データ復号部20に対して映像データは供給されな
いため、デコードカウンタ20のカウント値は変化しな
いが、異常検出用のソフトウェアタイマはカウントし続
けるので、制御ソフトウェアは異常発生を検出したと判
断してしまう(デコードカウンタ20のカウント値が変
化していないため)。
When the program service is not provided,
Since the video data is not supplied to the video data decoding unit 20, the count value of the decode counter 20 does not change, but the software timer for abnormality detection continues counting, so the control software determines that the abnormality has been detected. (Because the count value of the decode counter 20 has not changed).

【0045】従って、本実施例では、番組サービスが行
われていない場合、すなわち放送中フラグが“1”でな
い場合(判定ステップS501でN)、異常発生が検出
されても、異常検出に対する処理は行わない。
Therefore, in the present embodiment, when the program service is not provided, that is, when the on-air flag is not "1" (N in determination step S501), even if an abnormality is detected, the processing for abnormality detection is not performed. Not performed.

【0046】このように、CPU16内で動作する制御
ソフトウェアが、ニアビデオオンデマンドサービスにお
ける、番組サービス状態を把握することができるため、
マルチメディア通信端末装置1での的確な異常検出判断
を行うことができる。
As described above, since the control software operating in the CPU 16 can grasp the program service status in the near video on-demand service,
It is possible to make an accurate abnormality detection determination in the multimedia communication terminal device 1.

【0047】なお、本実施例においては、図6に示すよ
うに、マルチメディア通信端末装置1の利用者から、入
力装置19を通しCPU16へニアビデオオンデマンド
サービス再生開始要求が入力された時(図6の61参
照)には、番組サービスが開始されていない場合を例に
説明したが、再生開始要求が入力された時、既に番組サ
ービスが開始されていた場合には、CPU16が映像デ
ータ復号部7へ映像データの復号(デコード)を開始す
るように指示を与えると同時に、映像データの復号が開
始され、CPU16に対して新しい画像が復号されたこ
とを示す割り込みが発生するので、前記番組サービスが
開始されていない場合と同様の処理を行うことが可能で
ある。
In the present embodiment, as shown in FIG. 6, when the user of the multimedia communication terminal device 1 inputs a near video on-demand service reproduction start request to the CPU 16 through the input device 19 ( 6), the case where the program service is not started has been described as an example. However, if the program service has already started when the reproduction start request is input, the CPU 16 decodes the video data. At the same time as instructing the unit 7 to start decoding the video data, the decoding of the video data is started, and an interrupt indicating that a new image has been decoded is generated for the CPU 16. It is possible to perform the same processing as when the service is not started.

【0048】さらに、制御ソフトウェアは、ニアビデオ
オンデマンドサービスにおける現在の番組サービス状態
を把握しているので、端末利用者に対して、異常検出判
断以外の画面操作等の指示を与えたり、その他オプショ
ン機能の操作を行うことが可能となる。例えば、ある番
組サービス終了後、次の番組サービスが開始されるまで
の間、復号画面表示を行わない場合、モニタ10をブル
ーバックにすることなく、端末利用者に対するメッセー
ジ等の表示を行うことも可能となる。
Further, since the control software knows the current program service status in the near video on-demand service, it gives the terminal user instructions for screen operations other than the abnormality detection judgment, and other options. It becomes possible to operate the function. For example, if the decoding screen is not displayed after the end of a certain program service and before the start of the next program service, a message or the like to the terminal user may be displayed without making the monitor 10 a blue background. It will be possible.

【0049】[0049]

【発明の効果】以上説明したように、本発明によるニア
ビデオオンデマンドにおける連続映像データの再生方式
によれば、マルチメディア通信端末装置内に番組サービ
スとして供給されるマルチメディアデータの復号処理を
行った際に発生する、2種類の割り込みを使用すること
により、マルチメディア通信端末装置を制御する制御ソ
フトウェアが、現在の番組サービス状態を把握すること
が可能とされ、マルチメディア通信端末装置の異常検出
を行っても、番組サービス状態に応じてその異常検出情
報の指し示す主旨を判断することができるという効果を
奏する。
As described above, according to the reproducing method of continuous video data in near video on demand according to the present invention, decoding processing of multimedia data supplied as a program service in the multimedia communication terminal device is performed. By using two types of interrupts that occur when the multimedia communication terminal device is used, it is possible for control software that controls the multimedia communication terminal device to grasp the current program service status. Even if the above is performed, it is possible to determine the purpose of the abnormality detection information according to the program service status.

【0050】また、本発明においては、異常と判断され
た場合には、マルチメディア通信端末装置の利用者に対
して、現在のマルチメディア通信システムの状態を明示
することが可能とされており、再生を停止させるよう促
すことができるという効果を有するという具合に、利用
者に対するマルチメディア通信端末装置内で発生した情
報の明確な提示を行うことができる。
Further, according to the present invention, when it is determined that there is an abnormality, it is possible to clearly indicate the current state of the multimedia communication system to the user of the multimedia communication terminal device. The information generated in the multimedia communication terminal device can be clearly presented to the user, such that the user can be prompted to stop the reproduction.

【0051】さらに、本発明によれば、上位装置である
データ送信側のヘッドエンド装置に対しても、マルチメ
ディア通信端末装置が異常である旨のメッセージを与え
ることで、ヘッドエンド装置が異常を認識するだけでな
く、マルチメディア通信システムの管理者が端末の異常
を判断することができるなど、マルチメディア通信端末
装置内での情報を、上位装置にも提示することにより、
マルチメディア通信システム全体としての信頼度を向上
させるという効果を奏する。
Further, according to the present invention, the head-end device of the data transmission side, which is the higher-level device, is also notified of the abnormality of the multimedia communication terminal device, so that the head-end device of the higher-level device is notified of the abnormality. By not only recognizing, but also allowing the administrator of the multimedia communication system to judge the abnormality of the terminal, by presenting the information in the multimedia communication terminal device to the upper device,
This has the effect of improving the reliability of the multimedia communication system as a whole.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の実施の形態を説明するための図であ
り、マルチメディア通信端末装置の一接続例を示したブ
ロック図である。
FIG. 1 is a diagram for explaining an embodiment of the present invention, and is a block diagram showing a connection example of a multimedia communication terminal device.

【図2】本発明の実施の形態における、マルチメディア
通信端末装置の構成の一例を示したブロック図である。
FIG. 2 is a block diagram showing an example of a configuration of a multimedia communication terminal device in the embodiment of the present invention.

【図3】本発明の実施の形態を説明するための流れ図で
あり、ニアビデオオンデマンドによる番組サービスが開
始されたときに、制御ソフトウェアが行う処理の一例を
示したフローチャートである。
FIG. 3 is a flowchart for explaining an embodiment of the present invention, and is a flowchart showing an example of processing performed by control software when a program service by near video on demand is started.

【図4】本発明の実施の形態を説明するための流れ図で
あり、ニアビデオオンデマンドによる番組サービスが終
了されたときに、制御ソフトウェアが行う処理の一例を
示したフローチャートである。
FIG. 4 is a flowchart for explaining the embodiment of the present invention, and is a flowchart showing an example of processing performed by the control software when the program service by near video on demand is terminated.

【図5】本発明の実施の形態を説明するための流れ図で
あり、ニアビデオオンデマンドサービス中に、マルチメ
ディア通信端末装置が装置の異常を検出した場合に、制
御ソフトウェアが行う処理の一例を示したフローチャー
トである。
FIG. 5 is a flowchart for explaining the embodiment of the present invention, which is an example of the processing performed by the control software when the multimedia communication terminal device detects an abnormality of the device during the near video on-demand service. It is the flowchart shown.

【図6】本発明の実施の形態を説明するための図であ
り、ニアビデオオンデマンドサービスの再生開始から終
了までの処理シーケンスを示したシーケンスチャートで
ある。
[Fig. 6] Fig. 6 is a diagram for describing the embodiment of the present invention, and is a sequence chart showing a processing sequence from the reproduction start to the end of the near video on-demand service.

【符号の説明】[Explanation of symbols]

1 マルチメディア通信端末装置 2 入力端 3 制御入出力端 4 チューナ 5 入力信号システム処理部 6 映像データバッファメモリ 7 映像データ復号部 8 映像データ処理部 9 表示回路 10 モニタ 11 音声データバッファメモリ 12 音声データ復号部 13 音声データ処理部 14 増幅回路 15 スピーカ 16 CPU 17 バス 18 通信回路 19 入力装置 20 デコードカウンタ 21 ヘッドエンド装置 22 伝送ライン 23 制御信号線 1 Multimedia communication terminal 2 input terminals 3 Control input / output terminal 4 tuners 5 Input signal system processing unit 6 Video data buffer memory 7 Video data decoding unit 8 Video data processing unit 9 Display circuit 10 monitors 11 Voice data buffer memory 12 Audio data decoding unit 13 Audio data processing unit 14 Amplification circuit 15 speakers 16 CPU 17 bus 18 Communication circuit 19 Input device 20 Decode counter 21 Headend device 22 Transmission line 23 Control signal line

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−168012(JP,A) 特開 平4−284085(JP,A) 特開 平7−177493(JP,A) 特開 平8−125993(JP,A) 特開 平3−208478(JP,A) 特開 平7−170499(JP,A) 特開 平7−264092(JP,A) 実開 平4−12772(JP,U)   ─────────────────────────────────────────────────── ─── Continued front page       (56) References JP-A-5-168012 (JP, A)                 Japanese Patent Laid-Open No. 4-284085 (JP, A)                 Japanese Unexamined Patent Publication No. 7-177493 (JP, A)                 JP-A-8-125993 (JP, A)                 JP-A-3-208478 (JP, A)                 JP-A-7-170499 (JP, A)                 JP-A-7-264092 (JP, A)                 Actual Kaihei 4-12772 (JP, U)

Claims (2)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 通信回線を通じて送られてくる映像デー
タの再生を行う映像データ再生手段と、映像データを復
号する復号手段と、前記復号手段が映像データを継続的
に復号していない場合にエラーを出力する手段とを有
し、利用者からの再生停止指示が無い限り再生状態を継
続させるビデオオンデマンド型のマルチメディア通信端
末装置において、 ニアビデオオンデマンド型の映像サービスを受ける場
合、新しく画面を復号したことの通知により映像データ
の始端を認識するとともに、映像サービスの終端に付加
される終端情報が検出されたことの通知により映像デー
タの終端を認識し、前記始端と前記終端とにより現在映
像サービス中であるか否かを認識する制御手段を備え、 前記制御手段は、前記エラーを検出した際に、前記映像
サービス中である場合に限り利用者に前記映像再生手段
を介して再生停止を促すことを特徴とするビデオオンデ
マンド型のマルチメディア通信端末装置
1. A video data reproducing means for reproducing video data sent through a communication line, a decoding means for decoding the video data, and an error when the decoding means does not continuously decode the video data. In the video-on-demand multimedia communication terminal device that has a means for outputting a video and continues the playback state unless the user gives a playback stop instruction, when a near-video-on-demand video service is received, a new screen is displayed. The start of the video data is recognized by the notification that the video data has been decoded, and the end of the video data is recognized by the notification that the end information added to the end of the video service is detected. A control means for recognizing whether or not the video service is being provided is provided, and the control means is operable to detect the video server when the error is detected. The image reproducing means to the user only if it is vinegar
Video on-set characterized by urging playback to stop via
Mand type multimedia communication terminal device .
【請求項2】 入力されたマルチメディアデータを映像
データ、音声データ、及び、その他のデータに分離する
分離手段と、映像データの再生を行う映像データ再生手
段と、映像データを復号する復号手段が映像データを継
続的に復号していない場合にエラーを出力する手段とを
有し、通信回線を通じて送られてくるマルチメディアデ
ータの再生を行うとともに、利用者からの再生停止指示
が無い限り再生状態を継続させるビデオオンデマンド型
のマルチメディア通信端末装置において、 前記復号手段は、新画面を復号すると新画面復号通知を
送出し、 前記マルチメディア通信端末装置は、ニアビデオオンデ
マンド型の番組サービスを受ける場合、最初の前記新画
面復号通知を受信することにより番組サービスが開始さ
れたことを認識するとともに、以降の新画面復号通知を
マスクし、前記分離手段が番組サービスの終端符号を検
出した際に送出する割込通知により番組サービスの終了
を認識する制御手段を備え、 前記制御手段は、前記エラーを検出した際に、前記番組
サービス中である場合に限り、利用者に前記映像データ
再生手段を介して再生停止を促すことを特徴とするビデ
オオンデマンド型のマルチメディア通信端末装置
2. A separating means for separating input multimedia data into video data, audio data, and other data, and a video data reproducing means for reproducing the video data.
And a means for outputting an error when the decoding means for decoding the video data does not continuously decode the video data, and plays back the multimedia data sent through the communication line and uses it. In a video-on-demand type multimedia communication terminal device for continuing a reproduction state unless a reproduction stop instruction is given from a person, the decoding means sends a new screen decoding notification when decoding a new screen, and the multimedia communication terminal device. When receiving the near-video on-demand type program service, it recognizes that the program service has started by receiving the first new-screen decoding notification, masks subsequent new-screen decoding notifications, and separates the above-mentioned separation. Control means for recognizing the end of the program service by an interrupt notification sent when the means detects the termination code of the program service Wherein the control means, upon detecting the error only if the is in program service, the video data to the user
A bidet characterized by urging the playback to be stopped via the playback means.
On-demand multimedia communication terminal device .
JP18116496A 1996-06-12 1996-06-21 Video-on-demand type multimedia communication terminal Expired - Fee Related JP3372764B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP18116496A JP3372764B2 (en) 1996-06-21 1996-06-21 Video-on-demand type multimedia communication terminal
AU24817/97A AU716341B2 (en) 1996-06-12 1997-06-11 Monitoring system of multimedia communication terminal
US08/872,905 US6075552A (en) 1996-06-12 1997-06-11 Monitoring system of multimedia communication terminal
EP97304129A EP0813341B1 (en) 1996-06-12 1997-06-12 Multimedia communication terminal monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18116496A JP3372764B2 (en) 1996-06-21 1996-06-21 Video-on-demand type multimedia communication terminal

Publications (2)

Publication Number Publication Date
JPH1013813A JPH1013813A (en) 1998-01-16
JP3372764B2 true JP3372764B2 (en) 2003-02-04

Family

ID=16096012

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18116496A Expired - Fee Related JP3372764B2 (en) 1996-06-12 1996-06-21 Video-on-demand type multimedia communication terminal

Country Status (1)

Country Link
JP (1) JP3372764B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101208748B (en) 2005-06-27 2012-07-04 松下电器产业株式会社 reproduction device, information acquirement method, and integrated circuit of reproduction device

Also Published As

Publication number Publication date
JPH1013813A (en) 1998-01-16

Similar Documents

Publication Publication Date Title
US8526494B2 (en) Information outputting apparatus, information reporting method and information signal supply route selecting method
JP4357356B2 (en) Video signal receiving apparatus and video signal receiving method
CN102131062B (en) Information processing device and method for processing signal of information processing device
JP2882337B2 (en) Multimedia communication terminal
JP2005524926A (en) Control of AV content source component by AV content sink component
KR100561400B1 (en) Method and apparatus for displaying user guide on screen in connecting with external device
JP3372764B2 (en) Video-on-demand type multimedia communication terminal
US6757025B1 (en) Method for switching input terminals based on incoming signal format
US20070171307A1 (en) Media playback system with real-time camera image display and method thereof
JPH1132310A (en) Broadcast receiver
JP3039380B2 (en) Multimedia communication terminal
JP3109439B2 (en) Anomaly detection system for multimedia communication terminals
US6785657B2 (en) Digital signal processor
JP2002320157A (en) Information receiver
JP2006157610A (en) Television broadcast receiver
JP2008219932A (en) Remote control system and command transfer method
JP3567686B2 (en) Digital broadcast receiver
JP2001045396A (en) Digital broadcast receiving device
JP2001024533A (en) Digital broadcast receiver and television device
KR100210777B1 (en) Stereo-mode setting control apparatus for television
KR19980058767A (en) Device and method for scheduled recording alarm of video cassette recorder
JP2005072825A (en) Information processor
KR20050034622A (en) Control device and method
JP2005102005A (en) Receiver, and receiving method and program
KR19990015340U (en) Line connection status indicator

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20001226

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071122

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081122

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081122

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091122

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091122

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101122

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111122

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121122

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121122

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121122

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131122

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees