JP3033728B2 - テレビ電話装置 - Google Patents

テレビ電話装置

Info

Publication number
JP3033728B2
JP3033728B2 JP9364933A JP36493397A JP3033728B2 JP 3033728 B2 JP3033728 B2 JP 3033728B2 JP 9364933 A JP9364933 A JP 9364933A JP 36493397 A JP36493397 A JP 36493397A JP 3033728 B2 JP3033728 B2 JP 3033728B2
Authority
JP
Japan
Prior art keywords
multiplexing
audio
unit
demultiplexing
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP9364933A
Other languages
English (en)
Other versions
JPH11187369A (ja
Inventor
昌紀 神谷
直樹 疋島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP9364933A priority Critical patent/JP3033728B2/ja
Publication of JPH11187369A publication Critical patent/JPH11187369A/ja
Application granted granted Critical
Publication of JP3033728B2 publication Critical patent/JP3033728B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Circuits Of Receivers In General (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、音声、動画および
文字・画像を同時に転送することができるテレビ電話装
置に関する。
【0002】
【従来の技術】テレビ電話は、音声とともに映像あるい
は文字データ等を伝送することで、コミュニケーション
の向上をはかるとともに、より多くの情報をより正確に
伝送することを目的として用いられている。例えば、特
開平2−276389号公報には、ライトペンによる手
書きの文字や絵図を取り込む画像検知手段から入力した
画像情報を信号変換して記憶するとともに、表示器上に
表示し、テレビ電話の送信操作によって、カメラからの
映像と文字や絵図とを合成した画像を通信相手に伝送す
る技術が記載されている。
【0003】電話機を用いて通話を行う場合、特に携帯
用電話機を使用する場合に、電車や人混みの中等で通話
する際に他者に迷惑をかけることがある。しかし、テレ
ビ電話には、文字や画像を伝送する機能があるので、音
声がなくても、情報の伝達が可能である。また、動画と
文字や画像を同時に伝送することによって相手の表情が
わかり、よりコミュニケーションを取ることが容易とな
る。
【0004】
【発明が解決しようとする課題】しかしながら、従来の
テレビ電話装置には、送信側の状態を通信相手に知らせ
る機能が無いため、送信側が音声を出せない状態または
通信相手に音声を伝えられない状態にいても通信相手に
はわからないという問題がある。すなわち、受信側で送
信側の状態がわからず、コミュニケーションを阻害する
場合も考えられる。また、声を出すことができない状況
下や騒音がひどくて相手に声が伝わらない等で音声デー
タが不要な場合においても、音声データの伝送が行われ
る。このため、不必要な音声データの伝送にビットレー
トが割り当てられ、ビットレートが有効に活用されない
という問題もある。
【0005】そこで、本発明は、使用者が音声を通信相
手に伝えられないことを通信相手に伝えることができる
テレビ電話装置を提供することを目的とする。なお、特
開平1−160280号公報には、音声を遮断するため
のスイッチが設けられているテレビ電話装置が記載され
ているが、その装置は音声と静止画とを切り換えながら
送信するものであって音声を止めることは本来の機能の
一部である。よって、そのようなテレビ電話装置を、音
声、動画および文字・画像を同時に転送することができ
るテレビ電話装置と同列に扱うことはできない。
【0006】
【課題を解決するための手段】本発明によるテレビ電話
装置は、音声入出力手段と、画像情報入出力手段と、音
声入力手段からの音声情報と画像情報入出力手段から
の画像の情報とを多重化して送出するとともに受信した
多重化信号を音声情報と画像の情報とに分離して音声入
力手段および画像情報入出力手段に出力する多重・分
離手段とを備えたものであって、音声の停止および再開
を指示するための切り換え指示入力手段と、切り換え指
示入力手段から音声の停止指示を受けると、多重・分離
手段の音声の多重化処理を停止させるとともに、多重・
分離手段に音声信号の停止を示す制御データを出力する
制御手段とを備え、多重・分離手段は、制御手段から
声信号の停止を示す制御データを入力するとその制御デ
ータを送出信号に多重化するように構成されているもの
である。
【0007】テレビ電話装置は、多重・分離手段が、受
信した多重化信号から制御データを分離すると制御デー
タを制御手段に出力し、制御手段が、多重・分離手段か
音声信号の停止を示す制御データを入力すると多重・
分離手段の音声の多重化処理を停止させるように構成さ
れていてもよい。
【0008】多重・分離手段は、音声の多重化処理を停
止するとともに画像情報のビットレートを上げるように
構成されていてもよい。
【0009】また、テレビ電話装置は、多重・分離手段
からの多重化信号を無線によって相手装置に送信すると
ともに、相手装置から受信した無線信号を多重・分離手
段に出力する無線部を備えていてもよい。
【0010】さらに、多重・分離手段が音声の多重化処
理を停止しているときに音声停止を示す情報を操作者に
出力する表示手段を備えていてもよい。音声停止を示す
可視情報を記憶する記憶手段をさらに備え、画像情報入
出力手段は、多重・分離手段が音声の多重化処理を停止
しているときに記憶手段内の情報を画像情報と合成して
表示するように構成されていてもよい。すなわち、表示
手段を、画像情報入出力手段によって実現してもよい。
【0011】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図1は、本発明によるテレビ電話
装置の第1の実施の形態を示すブロック図である。図1
に示すように、テレビ電話装置は、タッチパネル3、カ
メラ1およびマイクロフォン4を有する。タッチパネル
3から入力された文字・画像のデータ、カメラ1で撮影
された動画、およびマイクロフォン4から入力された音
声は、それぞれ、データ処理部9、映像処理部7および
音声処理部10でデータ圧縮され、多重・分離部11で
多重化される。そして、データターミナル(この例では
モデム16)によって通信網17に対応した信号に変換
され通信相手に伝送される。
【0012】受信側では、モデム16で受信されたデー
タは多重・分離部11で音声信号、動画信号および文字
・画像信号に分離される。そして、音声信号は音声処理
部10でデータ伸長され、音声がスピーカ5から出力さ
れる、動画信号は映像処理部7でデータ伸長され、動画
がLCD2で表示される。文字・画像信号はデータ処理
部9でデータ伸長され、文字・画像がメモリ8を介して
LCD2で表示される。切り替えスイッチ6は、音声信
号の伝送を取りやめ、動画および文字・画像のみの伝送
を可能とするためのスイッチである。切り替えスイッチ
6の操作に応じて、制御部12は、音声信号の伝送を停
止するように制御する。
【0013】図2は、本発明によるテレビ電話装置の他
の実施の形態を示すブロック図である。図2に示された
テレビ電話装置は、無線部13を有し、多重・分離部1
1からの多重化信号を無線で送信するとともに、相手か
らの多重化信号を無線部13で受信する。図2に示され
たテレビ電話装置は、使用者が携帯するのに適するもの
である。
【0014】次に、データを送信する際の動作について
説明する。図1または図2を参照すると、テレビ電話に
おいて相手に送信を行う場合に、カメラ1によって動画
が撮影され、映像処理部7で動画データが圧縮される。
圧縮された動画データは多重・分離部11に入力され
る。タッチパネル3より入力された文字・画像データは
データ処理部9に送られる。データ処理部9は入力され
た文字・画像データを圧縮して多重・分離部11に送る
とともに、メモリ8に文字・画像のデータを保存する。
マイクロフォン4から入力された音声は、音声処理部1
0において圧縮され、多重・分離部11に送られる。制
御部12は、多重データの種類等の制御データを多重・
分離部11に出力する。多重・分離部11では入力され
た動画データ、音声データ、文字・画像データ、制御デ
ータを多重化する。多重化信号は、モデム16または無
線部13を介して伝送される。
【0015】次に受信する際の動作について説明する。
無線部13またはモデム16で受信されたデータは、多
重・分離部11に出力され、多重・分離部11で、動画
データ、音声データ、文字・画像データおよび制御デー
タに分離される。映像データは映像処理部7に出力さ
れ、映像処理部7で復元される。映像処理部7は、復元
された映像とメモリ8の内容とを合成し、LCD2に出
力する。
【0016】文字・画像データは多重・分離部11から
データ処理部9に送られ、データ処理部9で復元され
る。データ処理部9で復元された文字・画像データは、
メモリ8に記憶されるとともに、映像処理部7に送られ
動画とともにLCD2に表示される。多重・分離部11
で分離された音声データは、音声処理部10で復元さ
れ、スピーカ5から音声が出力される。また、制御デー
タは制御部12に入力される。制御部12は、制御デー
タをもとに、映像処理部7、多重・分離部11等の各部
を制御する。
【0017】次に切り換えスイッチ6を切り換えて音声
を遮断する場合の動作について説明する。図1および図
2に示された実施の形態では、テレビ電話装置の操作者
は、音声を出せない状況にあったり、音声を送信する必
要がないと判断すると、音声遮断を行うために切り換え
スイッチ6を操作することができる。制御部12は、切
り換えスイッチ6の状態が音声遮断状態に切り換えられ
たことを検知したら、音声処理部10に制御信号を送
る。
【0018】音声処理部10は、制御信号の入力に応じ
て、マイクロフォン4から入力された音声の圧縮、多重
・分離部11への出力、受信した音声データの復元およ
びスピーカ5への出力を停止する。同時に、制御部12
は、音声データの多重化処理を停止するように多重・分
離部11を制御する。また、音声信号の停止を示す制御
データを多重・分離部11に出力する。多重・分離部1
1は、制御データを他のデータと多重化し通信相手に伝
送する。
【0019】受信側では、音声の停止を示す制御データ
が多重・分離部11で分離される。その制御データは制
御部12に送られる。制御部12は、音声信号停止の制
御データを入力すると、入力音声の圧縮およびスピーカ
5への音声出力を停止するように音声処理部10を制御
する。また、音声の多重化を停止するように多重・分離
部11を制御する。さらに、LED14を点灯させて、
受信者に音声の伝送を停止したことを知らせる。
【0020】送信側、受信側ともに音声の多重を停止す
る際に、制御部12は、動画データおよび文字・画像デ
ータのビットレートを変更するように多重・分離部11
を制御することができる。音声データの伝送を停止する
ことによって空いたビットレートを動画データおよび文
字・画像データの伝送に割り当てて、動画および文字・
画像データの伝送速度を向上させることができる。
【0021】図3は、伝送速度の変更を説明するための
説明図である。図3の上段に示すように、1秒間に音声
データをLビット、動画データをMビット、文字・画像
データをNビット伝送できるとき、音声データを停止す
ると、Lビット分をその他のデータ伝送に割り当てるこ
とが可能となる。そこで、例えば、図3の下段に示すよ
うに、空いたLビットのうちのαビットを動画データ
に、文字・画像データにL−αビットを割り当てること
によって、それぞれのデータの伝送速度を向上させるこ
とができる。
【0022】音声遮断状態から音声の伝送を再開する場
合には、操作者は、切り換えスイッチ6を切り換える。
すると、制御部12が切り替えを検知し、音声処理部1
0を、マイクロフォン4から入力された音声信号の圧
縮、多重・分離部11への出力、受信した音声データの
復元、およびスピーカ5へ出力を再開するよう制御す
る。また、音声データの多重・分離を再開するように多
重・分離部11を制御する。さらに、音声の伝送を行う
ことを示す制御データを受信側に伝送する。受信側で
は、音声の伝送開始を示す制御データが受信されると、
制御部12は、音声の伝送を再開するように音声処理部
10および多重・分離部11を制御する。さらに、送信
側、受信側ともに音声データのビットレートが動画デー
タおよび文字・画像データに割り当てられている場合に
は、動画データおよび文字・画像データのビットレート
を下げる。
【0023】以上のように、図1および図2に示された
本発明の実施の形態では、音声信号の伝送を停止するこ
とで、動画および文字・画像データにより多くのビット
レートを割り当てることが可能になり、動画および文字
・画像データの伝送速度を上げることできる。よって、
使用者が音声を出せない状態において動画と文字・画像
情報によって円滑にコミュニケーションを行うことがで
きるとともに、必要に応じて高速の動画および文字・画
像の伝送が可能となる。
【0024】なお、上記の実施の形態では、文字・画像
データの入力手段としてタッチパネル5が使用された
が、文字・画像データの入力手段としてキーボードまた
は記憶媒体に記憶されているファイルの読み込みなどの
他の入力手段を使用することもできる。
【0025】また、送信側が音声を遮断する処理を行う
際に、送信側からの音声データの伝送を停止するととも
に、通信相手からの音声データの伝送も停止している
が、送信側からの音声データのみを停止して通信相手へ
の制御データの伝送をしないようにして、通信相手から
の音声データの伝送は継続されるように制御することも
可能である。そのような制御を行った場合には、相手の
音声をイヤホンで聞きながら、文字・画像等によって返
答することによって、周りに音声を出さずに通話するこ
とができる。この場合には、送信側からの伝送において
音声データのビットレートが動画および文字・画像デー
タに割り当てられるが、通信相手からは音声データの伝
送が行われるので、通信相手からの動画および文字・画
像のビットレートは遅くなる。
【0026】次に、本発明の他の実施の形態について説
明する。図4は、本発明の第3の実施の形態を示すブロ
ック図である。図4において、メッセージ用メモリ15
は、音声の伝送が停止していることを示すメッセージま
たは画像が記憶されているメモリである。送信側、受信
側において音声が停止しているときに、制御部12は、
メッセージ用メモリ15の内容を読み込み、その内容を
LCD2に出力する画面に合成させるように映像処理部
7に指示する。映像処理部7は、その指示に応じて、音
声の伝送が停止していることを示すメッセージまたは画
像をLCD2に表示する。このようにして、音声が停止
していることを示すメッセージをLCD2の画面を介し
て操作者に通知することができる。
【0027】また、切り換えスイッチ6の操作に代え
て、操作者がタッチパネル3によって特定の範囲を選択
するなど、文字・画像データの入力手段からデータ処理
部9に送られる特定のデータによって音声の遮断と再開
とを入力することもできる。そのような特定のデータが
入力されると、データ処理部9は制御部12に音声の遮
断と再開とを切り換える信号を送る。そして、制御部1
2は、上述した実施の形態の場合と同様に音声の伝送を
制御する。
【0028】
【発明の効果】以上のように、本発明によれば、テレビ
電話装置を、音声の停止および再開を指示するための切
り換え指示入力手段を備え、切り換え指示入力手段から
音声の停止指示を受けると音声の送出を停止するととも
に、通信相手に音声停止を示す制御データを送出する構
成したので、通信相手に音声を停止したことを伝えるこ
とができ、円滑に、動画像や文字・画像のみによる通信
ができるようになる。従って、使用者が電車の中や人前
で音声を出せない状態や騒音によって自分の声が相手に
聞こえない場合であっても、映像や文字によって通信相
手と円滑にコミュニケーションを取ることが可能であ
る。この場合、映像によって相手が確認できるため違和
感無く文字や画像で通信を行うことができる。
【0029】音声信号の停止を示す制御データを受信し
たら多重・分離手段の音声の多重化処理を停止させるよ
うに構成されている場合には、通信相手側においても音
声送出を停止させることができる効果がある。
【0030】また、音声の多重化処理を停止するととも
に画像情報のビットレートを上げるように構成されてい
る場合には、音声を伝送しないときに、動画や文字・画
像データの伝送速度を向上させることができ、必要に応
じて動画や文字・画像データを高速に伝送することが可
能になる。
【0031】テレビ電話装置が無線部を備えている場合
には、テレビ電話は携帯できるものとなり、使用者が電
車の中や人前で音声を出せない状態や騒音によって自分
の声が相手に聞こえない状態にあるときの音声停止の効
果がさらに有効になる。
【0032】さらに、多重・分離手段が音声の多重化処
理を停止しているときに音声停止を示す情報を操作者に
出力するように構成されている場合には、使用者、特に
相手側の使用者が音声停止中であることを直ちに認識で
きる効果がある。そして、音声停止を示す可視情報を記
憶する記憶手段をさらに備え、音声停止中に記憶手段内
の情報を画像情報と合成して表示するように構成されて
いる場合には、使用中の画面において使用者が音声停止
中であることを直ちに認識できる。
【図面の簡単な説明】
【図1】 本発明によるテレビ電話装置の第1の実施の
形態を示すブロック図である。
【図2】 本発明によるテレビ電話装置の第2の実施の
形態を示すブロック図である。
【図3】 伝送速度の変更を説明するための説明図であ
る。
【図4】 本発明によるテレビ電話装置の第3の実施の
形態を示すブロック図である。
【符号の説明】
1 カメラ 2 LCD 3 タッチパネル 4 マイクロフォン 5 スピーカ 6 切り換えスイッチ 7 映像処理部 8 メモリ 9 データ処理部 10 音声処理部 11 多重・分離部 12 制御部 13 無線部 15 メッセージ用メモリ
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平7−115634(JP,A) 特開 平8−9350(JP,A) 特開 平6−334998(JP,A) 特開 平1−213058(JP,A) 特開 平5−167710(JP,A) 特開 平2−299381(JP,A) 特開 平6−141307(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 7/10 H04N 7/14 - 7/173 H04N 7/20 - 7/22

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】 音声入出力手段と、画像情報入出力手段
    と、前記音声入力手段からの音声情報と前記画像情報
    入出力手段からの画像の情報とを多重化して送出すると
    ともに受信した多重化信号を音声情報と画像の情報とに
    分離して前記音声入力手段および画像情報入出力手段
    に出力する多重・分離手段とを備えたテレビ電話装置に
    おいて、 音声の停止および再開を指示するための切り換え指示入
    力手段と、 前記切り換え指示入力手段から音声の停止指示を受ける
    と、前記多重・分離手段の音声の多重化処理を停止させ
    るとともに、多重・分離手段に音声信号の停止を示す
    御データを出力する制御手段とを備え、 前記多重・分離手段は、前記制御手段から音声信号の停
    止を示す制御データを入力するとその制御データを送出
    信号に多重化することを特徴とするテレビ電話装置。
  2. 【請求項2】 多重・分離手段は、受信した多重化信号
    から制御データを分離すると制御データを制御手段に出
    力し、 前記制御手段は、前記多重・分離手段から音声信号の停
    止を示す制御データを入力すると前記多重・分離手段の
    音声の多重化処理を停止させる請求項1記載のテレビ電
    話装置。
  3. 【請求項3】 多重・分離手段は、音声の多重化処理を
    停止するとともに、画像情報の伝送速度を上げる請求項
    2記載のテレビ電話装置。
  4. 【請求項4】 多重・分離手段からの多重化信号を無線
    によって相手装置に送信するとともに、相手装置から受
    信した無線信号を前記多重・分離手段に出力する無線部
    を備えた請求項1ないし請求項3記載のテレビ電話装
    置。
  5. 【請求項5】 多重・分離手段が音声の多重化処理を停
    止しているときに音声停止を示す情報を操作者に出力す
    る表示手段を備えた請求項1ないし請求項4記載のテレ
    ビ電話装置。
  6. 【請求項6】 音声停止を示す可視情報を記憶する記憶
    手段を備え、 画像情報入出力手段は、多重・分離手段が音声の多重化
    処理を停止しているときに、前記記憶手段内の情報を画
    像情報と合成して表示する請求項5記載のテレビ電話装
    置。
JP9364933A 1997-12-19 1997-12-19 テレビ電話装置 Expired - Fee Related JP3033728B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP9364933A JP3033728B2 (ja) 1997-12-19 1997-12-19 テレビ電話装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9364933A JP3033728B2 (ja) 1997-12-19 1997-12-19 テレビ電話装置

Publications (2)

Publication Number Publication Date
JPH11187369A JPH11187369A (ja) 1999-07-09
JP3033728B2 true JP3033728B2 (ja) 2000-04-17

Family

ID=18483021

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9364933A Expired - Fee Related JP3033728B2 (ja) 1997-12-19 1997-12-19 テレビ電話装置

Country Status (1)

Country Link
JP (1) JP3033728B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003069915A (ja) * 2001-08-24 2003-03-07 Fujitsu Ten Ltd デジタル放送受信機
JP2011199847A (ja) * 2010-02-25 2011-10-06 Ricoh Co Ltd 会議システムの端末装置、会議システム

Also Published As

Publication number Publication date
JPH11187369A (ja) 1999-07-09

Similar Documents

Publication Publication Date Title
US5963246A (en) Multi-point video conference system
JPWO2004084527A1 (ja) 放送受信機能及び電話通信機能を有する携帯機器
JP2003143256A (ja) 端末装置と通信制御方法
EP0917365A2 (en) Improved video conference data transfer system
JP3033728B2 (ja) テレビ電話装置
JPH1141574A (ja) テレビ電話装置及びそのデータ圧縮多重化方法並びにそのデータ圧縮多重化制御プログラムを記録した記録媒体
JP2001326979A (ja) 無線携帯端末及び無線携帯端末の通信方法
JPH0738863A (ja) 画像通信端末装置
JPH06253298A (ja) 映像合成表示装置
JP2000152203A (ja) ビデオ対応コンピュータ・テレフォニー装置
JP4106782B2 (ja) Tv電話装置
JP2005294929A (ja) テレビドアホン装置
JPH06296277A (ja) テレビ電話装置
JPH09214915A (ja) テレビ電話装置
KR20020008858A (ko) 화상전화기 및 그 운용방법
JP3728812B2 (ja) 画像通信端末装置
JPH03183288A (ja) テレビ会議装置
JP2002016895A (ja) テレビ電話装置
JP2006101327A (ja) テレビドアホン装置
JP3031309B2 (ja) ビデオ会議装置
JP2001189920A (ja) テレビ電話における静止画像データの送信方式
JPH06250639A (ja) 画像通信端末装置
JPH05207446A (ja) 画像通信端末装置
JPS60183887A (ja) 音声画像通信装置
JPH03292084A (ja) テレビ電話装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080218

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090218

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100218

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100218

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110218

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120218

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120218

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130218

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130218

Year of fee payment: 13

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130218

Year of fee payment: 13

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130218

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 14

LAPS Cancellation because of no payment of annual fees