JP5227899B2 - 電話会議装置 - Google Patents

電話会議装置 Download PDF

Info

Publication number
JP5227899B2
JP5227899B2 JP2009134816A JP2009134816A JP5227899B2 JP 5227899 B2 JP5227899 B2 JP 5227899B2 JP 2009134816 A JP2009134816 A JP 2009134816A JP 2009134816 A JP2009134816 A JP 2009134816A JP 5227899 B2 JP5227899 B2 JP 5227899B2
Authority
JP
Japan
Prior art keywords
microphone
display
speaker
telephone conference
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009134816A
Other languages
English (en)
Other versions
JP2010283562A (ja
Inventor
澄宇 阪内
陽一 羽田
健太 丹羽
賢一 古家
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009134816A priority Critical patent/JP5227899B2/ja
Publication of JP2010283562A publication Critical patent/JP2010283562A/ja
Application granted granted Critical
Publication of JP5227899B2 publication Critical patent/JP5227899B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephone Set Structure (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Description

この発明は遠隔地を結んで行う通信会議で使用される電話会議装置に関する。
遠隔地を通信網で結んで行われる通信会議は、遠隔地に出向く必要がなく、移動時間の短縮や出張費の削減が可能なため、ビジネス用途として広く利用されている。通信会議は映像を用いたTV会議と音声のみを用いた電話会議の2つのタイプに分けることができる。TV会議ではステレオ(2チャネル)音声伝送による遠隔通信が一般化しつつあり、現在、モノラル(1チャネル)音声伝送で実現されている電話会議も、今後、ステレオ音声伝送に移行していくと考えられている。
一方、音楽を聴くオーディオシステムにおいて、ステレオの音楽は左右に離して配置された2つのスピーカから等距離の位置で聴くと、ステレオ再生の効果が高い(スイートスポット受聴)。そのため、映像のある遠隔会議でも、画面の両脇に2つのスピーカを配置してステレオ再生することが行われている。
図8は非特許文献1に記載されているTV会議システム(高臨場感マルチメディア通信会議システム)の構成を示したものであり、この例ではTV会議システムは3つの地点を結んでおり、会議室Aではネットワークを介して会議室Bと会議室Cの音声が2チャネル(ステレオ)で受信される。これら2チャネルの音声は、それぞれの会議室を撮像した映像と共に左右に配置された2つのスピーカから再生される。こうして、ステレオ音声と大型ディスプレイ(大画面表示装置)によって、画面越しに相手と1つの会議室を共有したかのような臨場感の高い遠隔通信が可能となっている。
北脇信彦編著、「未来ねっと技術シリーズ2 ディジタル音声・オーディオ技術」、社団法人 電気通信協会、1999年12月、p.235−249
ところで、上述した図8に示したようなTV会議システムは、臨場感の高い遠隔通信を実現できる反面、大型のディスプレイや高価な映像/音響機器、専用の部屋などが必要で、ビジネスユースであっても誰もが手軽に利用することは難しい。
それに対して、電話会議装置はスピーカやマイクロホンなどを1つの筐体に実装した単体形状で実現されているため、TV会議システムに比べると安価であり、持ち運んでオフィスの様々な場所で手軽に遠隔会議を行うことができる。しかし、映像がなく、音声だけのために、TV会議システムと比べると、相手側の誰が話しているのか分かりにくく、話者識別性が低い。
そこで、電話会議装置の手軽さを維持したまま、話者識別性を向上させるために、TV会議で実現されている仕様、即ち音声はステレオ(2チャネル)に対応し、簡易的な映像伝送を付加した装置が必要とされる。しかし、電話会議装置の手軽さが条件なので、TV会議システムのような大型ディスプレイを用いることはできず、たとえステレオ音声に対応したとしても、画面が小さいと1つのディスプレイでは話者識別性は向上しない。また、電話会議装置は装置の周囲を取り囲み、自分側の参加者同士も対面で会話をしながら、相手とも通話する。そのため、TV会議システムのようにディスプレイに対面した参加者配置をそのまま適用することはできない。
この発明の目的はこのような状況に鑑み、簡易な構成で手軽に利用でき、話者識別性に優れた電話会議装置を提供することにある。
請求項1の発明によれば、遠隔の2地点にそれぞれ設置される電話会議装置は、筐体と、その筐体の長手方向両端に設置された第1及び第2のスピーカと、筐体の長手方向中央部において、長手方向と直交する幅方向両端に、収音方向が互いに外向きとされて設置された第1及び第2のマイクロホンと、前記中央部に設置されたカメラと、第1及び第2のスピーカのそれぞれ近傍に設置された第1及び第2のディスプレイと、他地点の電話会議装置からの音声信号及び映像信号を受信し、他地点の電話会議装置へ音声信号及び映像信号を送信する送受信部とを備える。そして、送受信部により入力された、他地点の電話会議装置の第1のマイクロホン、第2のマイクロホンで収音された各音声は、それぞれ自地点の電話会議装置の第1のスピーカ、第2のスピーカで再生され、送受信部により出力された、自地点の電話会議装置の第1のマイクロホン、第2のマイクロホンで収音された各音声は、それぞれ他地点の電話会議装置の第1のスピーカ、第2のスピーカで再生され、送受信部により入力された、他地点の電話会議装置のカメラで撮像された第1のマイクロホンの収音方向、第2のマイクロホンの収音方向の各映像は、それぞれ自地点の電話会議装置の第1のディスプレイ、第2のディスプレイに出力され、送受信部により出力された、自地点の電話会議装置のカメラで撮像された第1のマイクロホンの収音方向、第2のマイクロホンの収音方向の各映像は、それぞれ他地点の電話会議装置の第1のディスプレイ、第2のディスプレイに出力される。
請求項2の発明では請求項1の発明において、カメラは撮像方向が互いに外向きとされた一対のカメラよりなる。
請求項3の発明では請求項1の発明において、カメラが360度カメラとされる。
請求項4の発明では請求項1乃至3のいずれかの発明において、第1のディスプレイ及び第2のディスプレイがそれぞれ表示面が互いに外向きとされた一対のディスプレイよりなる。
請求項5の発明では請求項1乃至3のいずれかの発明において、第1のディスプレイ及び第2のディスプレイがそれぞれ透明ディスプレイとされる。
この発明によれば、簡易な構成で手軽に利用でき、話者識別性に優れた電話会議装置を実現することができる。
この発明による電話会議装置の実施例1の構成概要を示す斜視図。 図1に示した電話会議装置の使用状態を説明するための図。 図1に示した電話会議装置の詳細構成・内部処理を説明するための図。 この発明による電話会議装置の実施例2の構成概要を示す斜視図。 図4に示した電話会議装置の詳細構成・内部処理を説明するための図。 この発明による電話会議装置の実施例3の構成概要を示す斜視図。 図6に示した電話会議装置の詳細構成・内部処理を説明するための図。 従来のTV会議システムの構成例を示す図。
この発明の実施形態を図面を参照して実施例により説明する。
図1はこの発明による電話会議装置の実施例1の構成の外観概要を示したものであり、話者(参加者)を合わせて模式的に示している。
ステレオ再生を行うためには、2つのスピーカはある程度離しておく必要がある。但し、電話会議装置は持ち運びできる装置が一般的であり、持ち運び可能とすべく、スピーカやマイクロホン等を一体化して、抱えて移動できる程度の重さ(おおよそ1〜2kg)で収まるように容積を小さくした方が良い。そのため、なるべく小さい容積でスピーカを離して配置するために、装置自体を細長い形状とする。図1では電話会議装置100の筐体20を細長い直方体形状としており、その筐体20の長手方向の両端に第1のスピーカ41及び第2のスピーカ42を設置している。筐体20の長手方向の長さは例えば50〜100cm程度とされ、幅及び高さはそれぞれ例えば10cm程度とされる。
電話会議を行う場所は例えば会社の会議室であり、会議卓は天板が長方形形状の机が一般的である。上述したように電話会議装置100の筐体20を細長い直方体形状としたので、筐体20の長手方向を会議卓の長辺方向と平行に合わせて中央に置くものとする。
長方形の会議卓には、2つの長辺部分に話者は対峙して座る場合が多い。例えば、営業担当者と開発担当者、管理者と作業者などである。そこで、マイクロホンはそれぞれ対峙した話者に向くように配置する。図1では第1のマイクロホン31及び第2のマイクロホン32を筐体20の長手方向中央部において、筐体20の側面20a及び20bにそれぞれ設置しており、つまり筐体20の幅方向両端に設置している。
マイクロホン31,32は収音方向が互いに外向きとされ、マイクロホン31は話者11に向くように配置され、マイクロホン32は話者12に向くように配置されている。2つのマイクロホン31,32を結ぶ線分と、2つのスピーカ41,42を結ぶ線分は直交する配置となる。
さらに、筐体20の中央部にカメラ51,52を設置する。カメラ51,52は撮像方向が互いに外向きとされ、カメラ51はマイクロホン31の収音方向と同じ方向を撮像するように配置され、カメラ52はマイクロホン32の収音方向と同じ方向を撮像するように配置される。
そして、2つのスピーカ41,42のそれぞれ近傍に第1のディスプレイ及び第2のディスプレイを設置する。第1のディスプレイ及び第2のディスプレイはこの例ではそれぞれ一対のディスプレイ61,62及び63,64よりなり、筐体20の上面20c上に設置される。ディスプレイ61と62は表示面が互いに外向きとされ、同様にディスプレイ63と64は表示面が互いに外向きとされる。ディスプレイ61と62にはスピーカ41から再生される音声に対応して相手側エリアの同じ映像が出力され、ディスプレイ63と64にはスピーカ42から再生される音声に対応して相手側エリアの同じ映像が出力される。詳細な対応関係については、以下、図2を用いて説明する。
図2は図1の電話会議装置及び話者の配置を上から見て模式的に示したものであり、ネットワーク90を介して通信を行う相手側の電話会議装置及び話者の配置も合わせて示している。電話会議装置及び話者の配置は図1で説明した配置と同様である。なお、図2では遠隔の2地点にそれぞれ設置された電話会議装置のうち、自分側(自地点)の電話会議装置を100とし、相手側(他地点)の電話会議装置を100とし、他地点の話者を13,14としており、また説明をわかりやすくするため、他地点の電話会議装置100のマイクロホン、スピーカ、カメラ及びディスプレイの各符号を、自地点の電話会議装置100の符号と変えている。以下、音声及び映像のやり取りについて説明する。
話者11の音声は主にマイクロホン31に収音され、映像はカメラ51で撮像され、ネットワーク90を介し、他地点の電話会議装置100に送信される。音声は他地点のスピーカ43から再生されるように、自地点のマイクロホン31と他地点のスピーカ43とを対応づけ、映像は他地点のディスプレイ65と66に同じ画像が分配されて出力されるように、自地点のカメラ51と他地点のディスプレイ65,66とを対応づける。つまり、図2中に90度変換の定義を図示したように、自地点のマイクロホンの収音位置と他地点のスピーカの再生位置を90度変換させ、自地点のカメラの撮像位置と他地点のディスプレイの出力位置を90度変換させる。
話者12の音声は同様に、他地点のスピーカ44から再生され、映像はディスプレイ67,68に出力される。一方、他地点の話者13の音声は自地点のスピーカ41から再生され、映像はディスプレイ61,62に出力される。また、話者14の音声は自地点のスピーカ42から再生され、映像はディスプレイ63,64に出力される。
このように、この例では収音と再生の位置、撮像と映像出力の位置はそれぞれ90度回転した配置となっている。なお、このように90度回転させた配置とすることにより、例えば筐体20の長手方向、即ち会議卓の長辺方向に対して対峙して座った話者11側の複数人の話者及び話者12側の複数人の話者をそれぞれまとめて、2つのスピーカ43,44及び2つの対になったディスプレイ65,66及び67,68から別々に分離して再生、映像出力することができる。
図3は図2に示した電話会議装置100,100の詳細構成、内部処理を示したものであり、以下、図3を参照して処理内容を説明する。
マイクロホン31と32で収音された音声信号は、この例ではクロストーク低減部101に入力され、クロストークが低減される。ここで、クロストークの低減について説明する。話者11の音声は主にマイクロホン31に収音されるが、マイクロホン32にも多少回り込んで収音される。この回り込んだ音声がクロストークであり、このクロストークが存在すると、話者11の音声の大部分は他地点のスピーカ43から再生されるものの、クロストークがあるのでスピーカ44からも多少再生される。そのため、話者11の音声はスピーカ43の位置よりも少し中央に寄って聴こえることになる。同様に、クロストークの影響により、話者12の音声も同様にスピーカ44の位置より少し中央に寄って聴こえるので、本来、完全に独立したステレオ信号で再生される場合よりも中央に寄る分、空間的な分離が劣化し、話者識別性が劣化することになる。そのために、初めにクロストーク低減部101により音声信号のクロストークを低減する。具体的には、例えば特開2007−74665号公報に記載されている方法などを用いることができる。
クロストーク低減部101から出力された音声信号は音響エコー低減部102に入力され、音響エコー低減部102はスピーカ41,42から回り込んで混入した他地点側の音声の音響エコーを低減して出力する。音響エコーを低減しないと、他地点側にエコーが返ってしまい、話しにくく、最悪の場合、ハウリングを引き起こし、通話品質を劣化させる。音響エコーの低減には、具体的には特許第3420705号公報などに記載されている方法を用いることができる。
音響エコー低減部102から出力された2つの音声信号はLチャネル音声信号、Rチャネル音声信号として送受信部103に入力され、ステレオ符号化された音声信号として、カメラ51,52で撮像された映像信号(Lチャネル映像信号、Rチャネル映像信号)と共に、送受信部103よりネットワーク90に送出される。
他地点の電話会議装置100は送受信部103で受信したステレオ音声信号を復号化し、LチャネルとRチャネルに分けられた音声信号は音響エコー低減部102に入力される。音響エコー低減部102ではこれらの信号を、主にマイクロホン33,34に混入したエコーを低減するための参照信号として用いる。
音響エコー低減部102から出力されたLチャネルの音声信号はスピーカ43から出力され、Rチャネルの音声信号はスピーカ44から出力される。
また、送受信部103で受信したLチャネルの映像信号は2つに分配され、ディスプレイ65,66から出力される。Rチャネルの映像信号も2つに分配され、ディスプレイ67,68から出力される。
他地点の電話会議装置100で収音された音声と撮像された映像の、自地点の電話会議装置100における再生(出力)は上記の処理と対称な処理となり、上記と同様に行われる。
以上説明したように、この例によれば2つのマイクロホンを結ぶ線分と2つのスピーカを結ぶ線分とを直交させて、それらマイクロホン及びスピーカを筐体に配置し、収音時の話者と筐体の相対的な位置を90度変換させて、相手側(他地点)で再生するものとなっており、これにより、装置(筐体)の長手方向、即ち会議卓の長辺部分に対峙して座った話者の音声を2つのスピーカから別々に分離してステレオ再生することができる。
加えて、カメラで撮像した映像を、2つのマイクロホンで収音したエリアと対応させて2つの対になったディスプレイに出力し、それら2つのディスプレイを空間的にも2つのスピーカの再生音に対応するように離れて配置しているため、話者の識別性に優れた電話会議装置を実現することができる。
また、2つのディスプレイを筐体の長手方向の両脇に配置することにより、話者が装置(筐体)の周りを取り囲んで行う電話会議においても、話者の位置する2つの領域を想定し、実際の電話会議利用に則した簡易的な映像伝送を付加したステレオ再生を実現することができる。
図4はこの発明による電話会議装置の実施例2の構成を図1(実施例1)と同様に示したものであり、実施例1と異なる点は2つのカメラ51,52を1つの360度カメラ71に置き換えた点である。360度カメラ71は1つのカメラで360度の全周囲を撮像することができる。
図5は図3(実施例1)と同様、図4に示した構成の電話会議装置200(200,200)がネットワーク90を介して接続された状態及びそれら電話会議装置200,200の詳細構成、内部処理を示したものである。図3と異なる点は、360度カメラ71,72及び映像左右分割部104,104を具備する点である。
電話会議装置200側における撮像で説明すると、360度カメラ71で撮像された映像信号は映像左右分割部104に入力され、映像左右分割部104は全周囲を撮像した映像信号をマイクロホン31及び32の各収音方向と同じ2つのエリアの映像信号に分割して出力する。分割されたLチャネルの映像信号及びRチャネルの映像信号は実施例1と同様、送受信部103に入力され、送受信部103よりネットワーク90に送出される。以降の処理及び音声信号の処理は実施例1と同様に行われる。
図6はこの発明による電話会議装置の実施例3の構成を図1(実施例1)と同様に示したものであり、実施例1と異なる点は対になったディスプレイ61,62を1つの透明ディスプレイ81に置き換え、同様に対になったディスプレイ63,64を1つの透明ディスプレイ82に置き換えた点である。
図7は図6に示した構成の電話会議装置300(300,300)の詳細構成、内部処理を図3(実施例1)と同様に示したものである。図3と異なる点は、対になったディスプレイ61,62を透明ディスプレイ81に、対になったディスプレイ63,64を透明ディスプレイ82に、対になったディスプレイ65,66を透明ディスプレイ83に、対になったディスプレイ67,68を透明ディスプレイ84に、それぞれ置き換えた点である。音声信号及び映像信号の処理は実施例1と同様に行われる。
この例では表裏両面から映像を視認することができる透明ディスプレイを用いているため、実施例1や2に対し、ディスプレイの数を半減することができ、その分、構成の簡易化を図ることができる。

Claims (5)

  1. 遠隔の2地点にそれぞれ設置される電話会議装置であって、
    筐体と、
    その筐体の長手方向両端に設置された第1及び第2のスピーカと、
    前記筐体の前記長手方向中央部において、前記長手方向と直交する幅方向両端に、収音方向が互いに外向きとされて設置された第1及び第2のマイクロホンと、
    前記中央部に設置されたカメラと、
    前記第1及び第2のスピーカのそれぞれ近傍に設置された第1及び第2のディスプレイと、
    他地点の電話会議装置からの音声信号及び映像信号を受信し、他地点の電話会議装置へ音声信号及び映像信号を送信する送受信部とを備え、
    前記送受信部により入力された、他地点の電話会議装置の第1のマイクロホン、第2のマイクロホンで収音された各音声は、それぞれ自地点の電話会議装置の第1のスピーカ、第2のスピーカで再生され、
    前記送受信部により出力された、自地点の電話会議装置の第1のマイクロホン、第2のマイクロホンで収音された各音声は、それぞれ他地点の電話会議装置の第1のスピーカ、第2のスピーカで再生され、
    前記送受信部により入力された、他地点の電話会議装置のカメラで撮像された第1のマイクロホンの収音方向、第2のマイクロホンの収音方向の各映像は、それぞれ自地点の電話会議装置の第1のディスプレイ、第2のディスプレイに出力され、
    前記送受信部により出力された、自地点の電話会議装置のカメラで撮像された第1のマイクロホンの収音方向、第2のマイクロホンの収音方向の各映像は、それぞれ他地点の電話会議装置の第1のディスプレイ、第2のディスプレイに出力されることを特徴とする電話会議装置。
  2. 請求項1記載の電話会議装置において、
    前記カメラは撮像方向が互いに外向きとされた一対のカメラよりなることを特徴とする電話会議装置。
  3. 請求項1記載の電話会議装置において、
    前記カメラが360度カメラとされていることを特徴とする電話会議装置。
  4. 請求項1乃至3記載のいずれかの電話会議装置において、
    前記第1のディスプレイ及び前記第2のディスプレイがそれぞれ表示面が互いに外向きとされた一対のディスプレイよりなることを特徴とする電話会議装置。
  5. 請求項1乃至3記載のいずれかの電話会議装置において、
    前記第1のディスプレイ及び前記第2のディスプレイがそれぞれ透明ディスプレイとされていることを特徴とする電話会議装置。
JP2009134816A 2009-06-04 2009-06-04 電話会議装置 Expired - Fee Related JP5227899B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009134816A JP5227899B2 (ja) 2009-06-04 2009-06-04 電話会議装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009134816A JP5227899B2 (ja) 2009-06-04 2009-06-04 電話会議装置

Publications (2)

Publication Number Publication Date
JP2010283562A JP2010283562A (ja) 2010-12-16
JP5227899B2 true JP5227899B2 (ja) 2013-07-03

Family

ID=43539929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009134816A Expired - Fee Related JP5227899B2 (ja) 2009-06-04 2009-06-04 電話会議装置

Country Status (1)

Country Link
JP (1) JP5227899B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7637896B2 (ja) * 2021-05-12 2025-03-03 パナソニックIpマネジメント株式会社 遠隔応対システム、及び、遠隔応対方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0758859A (ja) * 1993-08-13 1995-03-03 Oki Electric Ind Co Ltd 遠隔会議用情報送信装置及び情報受信装置
JP4363672B2 (ja) * 1996-04-05 2009-11-11 ソニー株式会社 テレビ会議システムおよび方法、並びに通信センタ
JPH11331827A (ja) * 1998-05-12 1999-11-30 Fujitsu Ltd テレビカメラ装置
JP4929685B2 (ja) * 2005-11-15 2012-05-09 ヤマハ株式会社 遠隔会議装置
JP4228010B2 (ja) * 2006-09-29 2009-02-25 Necエンジニアリング株式会社 テレビ会議装置

Also Published As

Publication number Publication date
JP2010283562A (ja) 2010-12-16

Similar Documents

Publication Publication Date Title
US11991315B2 (en) Audio conferencing using a distributed array of smartphones
US5991385A (en) Enhanced audio teleconferencing with sound field effect
JP2975687B2 (ja) 第1局・第2局間に音声信号とビデオ信号とを送信する方法、局、テレビ会議システム、第1局・第2局間に音声信号を伝送する方法
CN103220491B (zh) 用于操作会议系统的方法以及用于会议系统的装置
US8379076B2 (en) System and method for displaying a multipoint videoconference
US8073125B2 (en) Spatial audio conferencing
US7667728B2 (en) Video and audio conferencing system with spatial audio
US20020027597A1 (en) System for mobile videoconferencing
US9025002B2 (en) Method and apparatus for playing audio of attendant at remote end and remote video conference system
CN1984310B (zh) 再现运动图像的方法和通信装置
JP2010506519A (ja) 通信分野用のサウンドイベントを取得し、伝送し、および、再生するための処理および装置
CN102457700B (zh) 音频数据传输方法及系统
JP5097169B2 (ja) 電話会議装置とそれを用いた電話会議システム
JP5227899B2 (ja) 電話会議装置
JP2009246528A (ja) 画像付音声通信システム、画像付音声通信方法およびプログラム
US20120150542A1 (en) Telephone or other device with speaker-based or location-based sound field processing
US20180115744A1 (en) Combining Audio and Video Streams for a Video Headset
JP2006254064A (ja) 遠隔会議システム、音像位置割当方法および音質設定方法
JP2005110103A (ja) テレビ会議における音声の定位方法
JP2006339869A (ja) 映像信号と音響信号の統合装置
EP3917162A1 (en) System and devices for audio-video spatial communication and event sharing
CN206559619U (zh) 一种电话会议装置
JP4849494B2 (ja) 遠隔会議システム、音像位置割当方法および音質設定方法
KR20020078679A (ko) 네트워크를 이용한 다자간 통신장치
CN115696112A (zh) 远程语音交互系统及方法

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110720

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111012

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130318

R150 Certificate of patent or registration of utility model

Ref document number: 5227899

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees