JP4238544B2 - ハンズフリー電話装置 - Google Patents

ハンズフリー電話装置 Download PDF

Info

Publication number
JP4238544B2
JP4238544B2 JP2002254302A JP2002254302A JP4238544B2 JP 4238544 B2 JP4238544 B2 JP 4238544B2 JP 2002254302 A JP2002254302 A JP 2002254302A JP 2002254302 A JP2002254302 A JP 2002254302A JP 4238544 B2 JP4238544 B2 JP 4238544B2
Authority
JP
Japan
Prior art keywords
data
face image
call
audio
hands
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002254302A
Other languages
English (en)
Other versions
JP2004096384A (ja
Inventor
賢一 谷口
秀昭 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2002254302A priority Critical patent/JP4238544B2/ja
Publication of JP2004096384A publication Critical patent/JP2004096384A/ja
Application granted granted Critical
Publication of JP4238544B2 publication Critical patent/JP4238544B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、インターネット等の通信ネットワークを利用した音声電話装置において、話者の顔画像を見ながら通話することができるハンズフリー電話装置に関するものである。
【0002】
【従来の技術】
インターネット等の通信ネットワークを利用したハンズフリー電話装置、いわゆるIP電話では、一対一の通話以外に、複数のポイントを接続して複数人による会話を行うことが可能である。
【0003】
【発明が解決しようとする課題】
しかしながら、上記のようなハンズフリー電話装置では、誰が会話に参加しているのかを知る方法としては、参加者が自己紹介するしかなく、また相手の顔が見えないために話をしにくいという問題点を有していた。
【0004】
相手の顔を見ながら話をするには、テレビ会議システム等で実現されているが、装置が大規模であり、また動画の送受信を行うために通信データ量が大きいという問題があった。
【0005】
複数人による通話中には特定の相手とだけ会話をすることができなかった。または、特定の相手と抜け出して別の会話を行うことができなかった。
【0006】
さらに、このような装置の操作キーはテンキー+αの電話機ベースとなっているものが多く、少ないキーの組み合わせを使用するため、設定操作等が複雑であった。
【0007】
本発明は、複数人による音声会話中でも操作者が通話相手を特定することのできるハンズフリー電話装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
この問題を解決するために本発明は、複数の通話端末から各々の通話相手の画像または音声を送受信するデータ送受信手段と、各々の通話相手の画像を表示する画像表示手段と、各々の通信相手の音声を出力する音声出力手段と、画像表示手段と連携して操作者に通話相手を選択させることができる選択手段と、選択手段からの指示に基づいてデータ送受信手段を介して受信した複数の通話相手の音声の一部を選択する切換手段と、を具備し、画像表示手段、切換手段によって音声が選択され通話相手については音声を送受信し複数の通話相手の全員の画像を一度に表示するハンズフリー電話装置であって、選択手段が通話相手を選択したとき、データ送受信手段が全ての通話相手との間で画像を送受信する第1の回線とは別に第2の回線を介して通信を行い、選択された一部の通話相手との通話終了後、切換手段が画像を表示した状態で第2の回線から第1の回線に切換え、複数の通話相手の全員の音声による通話に復帰させる指示を行う構成とした。
【0009】
これにより、複数人による会話中に全員の顔を一度に表示しながら特定の相手と別回線で会話を行い、会話終了後元の回線を使った全員の会話に復帰することができる。
【0010】
【発明の実施の形態】
本願の請求項1に係る発明は、複数の通話端末から各々の通話相手の画像または音声を送受信するデータ送受信手段と、各々の通話相手の画像を表示する画像表示手段と、各々の通信相手の音声を出力する音声出力手段と、画像表示手段と連携して操作者に通話相手を選択させることができる選択手段と、選択手段からの指示に基づいてデータ送受信手段を介して受信した複数の通話相手の音声の一部を選択する切換手段と、を具備し、画像表示手段、切換手段によって音声が選択され通話相手については音声を送受信し複数の通話相手の全員の画像を一度に表示するハンズフリー電話装置であって、選択手段が通話相手を選択したとき、データ送受信手段が全ての通話相手との間で画像を送受信する第1の回線とは別に第2の回線を介して通信を行い、選択された一部の通話相手との通話終了後、切換手段が画像を表示した状態で第2の回線から第1の回線に切換え、複数の通話相手の全員の音声による通話に復帰させる指示を行う構成としたことにより、複数人による会話中に全員の顔を一度に表示するか又は所定数ずつ時間毎に変更させてこれを見ながら特定の相手と別回線で会話を行い、会話終了後元の回線を使った全員の会話に復帰することができる。
【0013】
以下、本発明の各実施の形態について、図面を参照しながら説明する。
【0014】
(実施の形態1)
本発明の実施の形態1について説明する。
【0015】
図1は、本発明の実施の形態1におけるハンズフリー電話装置の構成図であり、ハンズフリー電話装置はインターネット等のデータ通信可能なネットワーク101を経由して複数の相手端末と接続されている。
【0016】
図1において、ネットワーク101経由により複数の相手端末からの音声信号は、音声データとしてデータ送受信手段102に入力される。本実施の形態の通信方式としてはTCP/IPプロトコルが用いられている。
【0017】
データ送受信手段102で受信した複数端末からの音声データは、それぞれ復号化される。本実施の形態では、相手端末として2台を想定し、一方からの音声データは音声復号化手段108へ、他方からの音声データは音声復号化手段109へ入力されるものとする。
【0018】
音声復号化手段108、109によりそれぞれ復号化された音声信号は、スピーカ等の音声出力手段110から音波として操作者に出力される。また、操作者の発する音波は、マイク等の音声入力手段112から音声信号として入力され、音声符号化手段111で音声データに符号化され、データ送受信手段102によってネットワーク101に送信される。
【0019】
デジタルカメラ等の画像入力デバイスである自画像入力手段104を用いて端末を使用する発声している人の顔画像データを登録する。顔画像データは自顔画像記憶手段103に記憶される。自顔画像記憶手段103に記憶された顔画像データは、通話相手への発信時にデータ送受信手段102からネットワーク101に送信される。
【0020】
一方、受信時には、通話相手の音声データと顔画像データが送信されてくる。自画像データを送信処理とは逆に、相手端末の顔画像は接続時に送信されてくる。そして、通話相手の顔画像データは通信相手のIPアドレスと対応させて他顔画像記憶手段105に記憶する。
【0021】
他顔画像選択手段107は、他顔画像記憶手段105で記憶された顔画像を通信相手の音声によってどれを選択するか選択する手段であり、選択した顔画像データを他顔画像表示手段106で表示する。
【0022】
マイク等によって電気信号に変換された音声信号をオシロスコープ等で見ると波形として見え、振幅とはこのときの電気信号の波形の振幅のことで、パワーとは、振幅の二乗の値である。他顔画像選択手段107は、通話相手端末からの振幅もしくパワーの値に基づいて、振幅もしくはパワーの大きな端末に対応する顔画像データをIPアドレスを参照して他の顔画像データよりも大きく表示させるように制御する。
【0023】
他顔画像選択手段107は、各通話相手端末より受信した音声信号の振幅あるいはパワーの値を計算して、ある閾値よりも大きく、最も大きな値を示す通話相手端末の音声信号に対する顔画像データを選択し、他顔画像表示手段106に大きく表示させる。ここでの閾値とは会話音声と思われるレベルを指す。
【0024】
また、他顔画像選択手段107により選択された顔画像データを他顔画像表示手段106で大きさを変えて表示するのではなく、濃度を変えて表示するようにしても良い。
【0025】
このように、発話者が誰であるのかを音声だけでなく、表示される顔画像からも判断することができ、円滑な会話を実現できる。
【0026】
他顔画像選択手段107において、振幅やパワーの値がいずれの端末も閾値を超えなかったときは、全話者の顔画像データを一覧できる形で表示させる。
【0027】
その表示形態として、他顔画像選択手段107が通話相手端末などの端末の振幅もしくはパワーの値も閾値を超えていないと判断したときは、他顔画像表示手段106に全端末に対する顔画像データを一度に表示させる。このとき表示画面との関係上全ての顔画像データが入りきれない場合は、顔画像データを縮小したり、サムネイル表示させても良い。
【0028】
また、顔画像データを所定の枚数ずつ表示し、定期的に表示画像を変更し、ある時間毎にすべての顔画像データを表示させる構成であっても良い。
【0029】
このように、振幅やパワーの値が閾値を超えないとき、すなわち音声レベルが低いときに参加者全員の顔画像データを表示させることで、会話の参加者を把握することができる。
【0030】
(実施の形態2)
本発明の実施の形態2について説明する。
【0031】
図2は、本発明の実施の形態2におけるハンズフリー電話装置の構成図であり、ハンズフリー電話装置はインターネット等のデータ通信可能なネットワーク201を経由して複数の相手端末と接続されている。
【0032】
図2において、ネットワーク201経由により複数の相手端末からの音声信号は、音声データとしてデータ送受信手段202に入力される。本実施の形態の通信方式としてはTCP/IPプロトコルが用いられている。
【0033】
データ送受信手段202で受信した複数端末からの音声データは、それぞれ復号化される。本実施の形態では、相手端末として2台を想定し、一方からの音声データは音声復号化手段208へ、他方からの音声データは音声復号化手段209へ入力されるものとする。
【0034】
音声復号化手段208、209によりそれぞれ復号化された音声信号は、スピーカ等の音声出力手段210から音波として操作者に出力される。また、操作者の発する音波は、マイク等の音声入力手段212から音声信号として入力され、音声符号化手段211で音声データに符号化され、データ送受信手段202によってネットワーク201に送信される。
【0035】
デジタルカメラ等の画像入力デバイスである自画像入力手段204を用いて端末を使用する発声している人の顔画像データを登録する。顔画像データは自顔画像記憶手段203に記憶される。自顔画像記憶手段203に記憶された顔画像データは、通話相手への発信時にデータ送受信手段202からネットワーク201に送信される。
【0036】
一方、受信時には、通話相手の音声データと顔画像データが送信されてくる。自画像データを送信処理とは逆に、相手端末の顔画像は接続時に送信されてくる。そして、通話相手の顔画像データは通信相手のIPアドレスと対応させて他顔画像記憶手段205に記憶する。他顔画像記憶手段205に記憶された他顔画像データは他顔画像表示手段206により表示される。
【0037】
本実施の形態では、ひそひそ話選択手段213によって、現在の複数人による会話の回線とは別に会話をしたい話者を選択する。選択方法としては、他顔画像表示手段206に通話相手の全顔画像データが表示された状態で、ひそひそ話選択手段213により選択的にひそひそ会話をしたい話者の端末を指定する。
【0038】
そして、指定した端末からの音声データを、これまで継続していた会話と別回線で準備したひそひそ会話回線との切り替えを発話先選択手段214により選択指示し、音声切替手段215で切り替えて、音声出力手段210から出力する。また、操作者の音声データは指定した端末に対してデータ送受信手段202よりネットワーク201に送信する。
【0039】
上記構成では、複数端末の話者と通話している状態において、特定の話者と別回線で会話したいときに、他顔画像表示手段206と連携したひそひそ話選択手段213によって選択する。例えば、他顔画像表示手段206に表示された全話者の顔画像データをタッチパネル形式で操作者に選択させることが可能である。
【0040】
次いで、複数人全体で会話したいのか、選択した端末とだけで会話したいのかを発話先選択手段214より選択指示し、選択した端末のみでの会話が指示されたときは、データ送受信手段202からの音声データの送信先を選択した端末のみにする。また、データ送受信手段202で受信した音声データは、音声切替手段215により選択した端末からの音声データのみを通過するように制御し、音声出力手段210より出力する。
【0041】
これにより、複数人で会話している状態であっても、特定の話者とのひそひそ話を実現できる。なお、特定の話者とのひそひそ話が終了すると発話先選択手段214より全員での会話に戻るように指示することが可能であることは言うまでもない。
【0042】
さらに、発話先選択手段214によって別回線での会話が選択されると、それまでの複数人による会話で使用していた回線を切断する切断手段を有する構成としても良い。これによって、複数人による同時会話状態から選択した相手端末とのみによる会話状態に移行させることができる。
【0043】
(実施の形態3)
本発明の実施の形態3について説明する。
【0044】
図3は、本発明の実施の形態3におけるハンズフリー電話装置の構成図であり、ハンズフリー電話装置はインターネット等のデータ通信可能なネットワーク301を経由して複数の相手端末と接続されている。
【0045】
図3において、ネットワーク301経由により複数の相手端末からの音声信号は、音声データとしてデータ送受信手段302に入力される。本実施の形態の通信方式としてはTCP/IPプロトコルが用いられている。
【0046】
データ送受信手段302で受信した複数端末からの音声データは、それぞれ復号化される。本実施の形態では、相手端末として2台を想定し、一方からの音声データは音声復号化手段308へ、他方からの音声データは音声復号化手段309へ入力されるものとする。
【0047】
音声復号化手段308、309によりそれぞれ復号化された音声信号は、スピーカ等の音声出力手段310から音波として操作者に出力される。また、操作者の発する音波は、マイク等の音声入力手段312から音声信号として入力され、音声符号化手段311で音声データに符号化され、データ送受信手段302によってネットワーク301に送信される。
【0048】
実施の形態1では、電話装置自体に自顔画像データを入力する機能を備えていたが、本実施の形態では、ネットワーク301から自顔画像データを入力する自顔画像入力手段304を有している。
【0049】
この自顔画像入力手段304は、同じくネットワーク301に接続されているパソコン等の外部端末より入力された自顔画像データを、ネットワーク301を介し、データ送受信手段302で受信し、取り込むものである。そして取り込んだ自顔画像データは自顔画像記憶手段303に記憶される。
【0050】
自顔画像データの受信方法としては、ネットワーク301がインターネットの場合であれば、外部端末からWebブラウジング機能を用いて、httpサーバ機能を経由して自顔画像データをサーバにアップロードしておき、当該サーバからダウンロードする形で受信することができる。
【0051】
これによって、本実施の形態のハンズフリー電話装置では、装置自体に自分の顔画像データを持つ必要が無く、装置の小型化、操作インターフェースの簡素化を図ることができる。
【0052】
自顔画像記憶手段303に記憶された顔画像データは、通話相手端末への発信時にデータ送受信手段302よりネットワーク301へ送信される。
【0053】
通話相手端末からのデータ受信時には、通話相手から音声データと相手の顔画像データが送られてくるので、通話相手の顔画像データをIPアドレスと対応させて他顔画像記憶手段305に記憶させる。なお、他顔画像記憶手段305に記憶された顔画像データの表示形態は実施の形態1と同様である。
【0054】
(実施の形態4)
本発明の実施の形態4について説明する。
【0055】
図4は、本発明の実施の形態4におけるハンズフリー電話装置の構成図であり、ハンズフリー電話装置はインターネット等のデータ通信可能なネットワーク401を経由して複数の相手端末と接続されている。
【0056】
図4において、ネットワーク401経由により複数の相手端末からの音声信号は、音声データとしてデータ送受信手段402に入力される。本実施の形態の通信方式としてはTCP/IPプロトコルが用いられている。
【0057】
データ送受信手段402で受信した複数端末からの音声データは、それぞれ復号化される。本実施の形態では、相手端末として2台を想定し、一方からの音声データは音声復号化手段408へ、他方からの音声データは音声復号化手段409へ入力されるものとする。
【0058】
音声復号化手段408、409によりそれぞれ復号化された音声信号は、スピーカ等の音声出力手段410から音波として操作者に出力される。また、操作者の発する音波は、マイク等の音声入力手段412から音声信号として入力され、音声符号化手段411で音声データに符号化され、データ送受信手段402によってネットワーク401に送信される。
【0059】
本実施の形態において、自顔画像データや他顔画像データの表示形態は実施の形態1と同様である。本実施の形態のハンズフリー電話装置が他の実施の形態と異なるのは、パソコン等の外部端末より入力され、ネットワーク401を介してデータ送受信手段402で受信した、相手端末との通信に必要な設定データを入力する端末設定データ入力手段416と、当該設定データを記憶する端末設定データ記憶手段417を備え、通信時には、端末設定データ記憶手段417に記憶された設定データを使用して通信を行う点である。なお、設定データとしては短縮ダイヤルやIPアドレスといったものが挙げられる。
【0060】
これによって、本実施の形態のハンズフリー電話装置では、装置自体に自分の端末の設定データを入力する操作インターエースを持つ必要が無く、装置の小型化、操作インターフェースの簡素化を図ることができる。
【0061】
【発明の効果】
以上のように本発明によれば、複数の通話端末から各々の通話相手の画像または音声を送受信するデータ送受信手段と、各々の通話相手の画像を表示する画像表示手段と、各々の通信相手の音声を出力する音声出力手段と、画像表示手段と連携して操作者に通話相手を選択させることができる選択手段と、選択手段からの指示に基づいてデータ送受信手段を介して受信した複数の通話相手の音声の一部を選択する切換手段と、を具備し、画像表示手段、切換手段によって音声が選択され通話相手については音声を送受信し複数の通話相手の全員の画像を一度に表示するハンズフリー電話装置であって、選択手段が通話相手を選択したとき、データ送受信手段が全ての通話相手との間で画像を送受信する第1の回線とは別に第2の回線を介して通信を行い、選択された一部の通話相手との通話終了後、切換手段が画像を表示した状態で第2の回線から第1の回線に切換え、複数の通話相手の全員の音声による通話に復帰させる指示を行うことにより、複数人による会話中に全員の顔を一度に表示するか又は所定数ずつ時間毎に変更させてこれを見ながら特定の相手と別回線で会話を行い、会話終了後元の回線を使った全員の会話に復帰することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態1におけるハンズフリー電話装置の構成図
【図2】本発明の実施の形態2におけるハンズフリー電話装置の構成図
【図3】本発明の実施の形態3におけるハンズフリー電話装置の構成図
【図4】本発明の実施の形態4におけるハンズフリー電話装置の構成図
【符号の説明】
101 ネットワーク
102 データ送受信手段
105 他顔画像記憶手段
106 他顔画像表示手段
107 他顔画像選択手段
108、109 音声復号化手段
110 音声出力手段
111 音声符号化手段
112 音声入力手段

Claims (1)

  1. 複数の通話端末から各々の通話相手の画像または音声を送受信するデータ送受信手段と、
    前記各々の通話相手の画像を表示する画像表示手段と、
    前記各々の通信相手の音声を出力する音声出力手段と、
    前記画像表示手段と連携して操作者に通話相手を選択させることができる選択手段と、
    前記選択手段からの指示に基づいて前記データ送受信手段を介して受信した複数の通話相手の音声の一部を選択する切換手段と、を具備し、
    前記画像表示手段、前記切換手段によって音声が選択され通話相手については音声を送受信し前記複数の通話相手の全員の画像を一度に表示するハンズフリー電話装置であって、
    前記選択手段が通話相手を選択したとき、前記データ送受信手段が全ての通話相手との間で画像を送受信する第1の回線とは別に第2の回線を介して通信を行い、前記選択された一部の通話相手との通話終了後、前記切換手段が前記画像を表示した状態で前記第2の回線から前記第1の回線に切換え、前記複数の通話相手の全員の音声による通話に復帰させる指示を行うことを特徴とするハンズフリー電話装置。
JP2002254302A 2002-08-30 2002-08-30 ハンズフリー電話装置 Expired - Fee Related JP4238544B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002254302A JP4238544B2 (ja) 2002-08-30 2002-08-30 ハンズフリー電話装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002254302A JP4238544B2 (ja) 2002-08-30 2002-08-30 ハンズフリー電話装置

Publications (2)

Publication Number Publication Date
JP2004096384A JP2004096384A (ja) 2004-03-25
JP4238544B2 true JP4238544B2 (ja) 2009-03-18

Family

ID=32060094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002254302A Expired - Fee Related JP4238544B2 (ja) 2002-08-30 2002-08-30 ハンズフリー電話装置

Country Status (1)

Country Link
JP (1) JP4238544B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4836705B2 (ja) * 2006-08-10 2011-12-14 オンセミコンダクター・トレーディング・リミテッド Ip電話多者通話システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05137135A (ja) * 1991-04-08 1993-06-01 Nippon Telegr & Teleph Corp <Ntt> 通信会議方式
JPH0537933A (ja) * 1991-08-01 1993-02-12 Nec Corp 多地点間テレビ会議システム
JPH07105106A (ja) * 1993-10-01 1995-04-21 Hitachi Ltd 多地点電子会議装置
JPH07154767A (ja) * 1993-11-30 1995-06-16 Mitsubishi Electric Corp 多地点間通信制御装置
JP2822897B2 (ja) * 1994-10-28 1998-11-11 日本電気株式会社 テレビ会議システム話者判別装置
JPH09247640A (ja) * 1996-03-07 1997-09-19 Matsushita Electric Ind Co Ltd 多地点電子会議方法および多地点電子会議装置

Also Published As

Publication number Publication date
JP2004096384A (ja) 2004-03-25

Similar Documents

Publication Publication Date Title
CN101645952A (zh) 会议电话终端、系统及共享数据的方法
JP2018056719A (ja) テレビ会議装置
US7180535B2 (en) Method, hub system and terminal equipment for videoconferencing
JP2001275095A (ja) 通信方法、通信サービス装置、通信端末装置および通信システム
JP2019149661A (ja) テレビ会議装置
JP2012019416A (ja) 情報処理端末、通話制御方法およびプログラム
JP4238544B2 (ja) ハンズフリー電話装置
JP2001309086A (ja) マルチメディア通信端末装置、回線制御装置、マルチメディア通信方法
KR100735415B1 (ko) 휴대단말기의 다자간 화상통화수행방법
JP2005168012A (ja) テレビ電話対応型インターネット電話機
JPH08294103A (ja) 通信端末装置及び通信システム
JP3434640B2 (ja) テレビ電話装置
JPH06351013A (ja) 電子会議システム
JP2009117916A (ja) テレビインターホンシステム
JP2008227693A (ja) 話者映像表示制御システム、話者映像表示制御方法、話者映像表示制御プログラム、通信端末及び多地点テレビ会議システム
US8774867B2 (en) Image display system, terminal device, image display method and program
JP2013143752A (ja) 映像送信制御装置、方法及びプログラム
CN111447332B (zh) 一种调度终端主板和调度终端
JP4762073B2 (ja) 音声通話端末、音声通話端末用プログラム及び音声通信システム
JPH08294102A (ja) 動画像通信会議システム及びその通信方法
JP5934945B2 (ja) 音声通話システム
JPH09149395A (ja) 通信装置
JP2585753B2 (ja) テレビ会議システム
KR100557120B1 (ko) Svd 단말기를 통한 다자간 음성회의 방법
JP3982059B2 (ja) テレビ電話装置のデータ処理方法及びテレビ電話装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050825

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080325

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees