JP4089854B2 - 遠隔作業支援コミュニケーション装置 - Google Patents

遠隔作業支援コミュニケーション装置 Download PDF

Info

Publication number
JP4089854B2
JP4089854B2 JP21178799A JP21178799A JP4089854B2 JP 4089854 B2 JP4089854 B2 JP 4089854B2 JP 21178799 A JP21178799 A JP 21178799A JP 21178799 A JP21178799 A JP 21178799A JP 4089854 B2 JP4089854 B2 JP 4089854B2
Authority
JP
Japan
Prior art keywords
laser pointer
camera
remote
communication terminal
work
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP21178799A
Other languages
English (en)
Other versions
JP2001045451A (ja
Inventor
正彦 三河
健 辻村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP21178799A priority Critical patent/JP4089854B2/ja
Publication of JP2001045451A publication Critical patent/JP2001045451A/ja
Application granted granted Critical
Publication of JP4089854B2 publication Critical patent/JP4089854B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、指令センタにいる熟練者が遠隔地にいる非熟練者に作業を行わせるに当たって指示を与えるためのコミュニケーション端末を用いた遠隔作業支援コミュニケーション装置に関するものである。
【0002】
【従来の技術】
従来、指令センタにいる熟練者、即ち作業の遂行に習熟している者が、遠隔地にいる非熟練者、つまり作業に無知もしくは不慣れな者に作業を行わせる場合、電話もしくは近年、普及しつつあるテレビ会議システムやテレビ電話等を用いて指示を与えながら作業を行わせていた。このような作業の支援の仕方を遠隔作業支援と呼ぶこととする。
【0003】
しかし、電話等を用いた遠隔作業支援では、指令センタにいる熟練者が遠隔作業地内の非熟練者に対し、例えば多数の同じ形のスイッチが並んだパネル(作業対象)の操作方法を指示する場合、「上から4つ目で、左から3つ目のスイッチを…」と言うように具体的かつ詳細に言葉を用いて説明しなければならず、非常に負担がかかるという問題があった。また、非熟練者も熟練者からの指示内容を注意深く聞く必要があり、熟練者同様、非常に負担がかかるという問題があった。
【0004】
そこで、発明者らは、熟練者における非熟練者への指示の提示に対する負担及び非熟練者における熟練者からの指示の受け取りに対する負担を軽減し、熟練者と非熟練者の円滑なコミュニケーションを実現するための、遠隔作業支援コミュニケーション装置(特願平10−296525号)を提案した。
【0005】
図1は前述した遠隔作業支援コミュニケーション装置を用いた従来の遠隔作業支援のようすの一例を示すものである。
【0006】
遠隔作業支援コミュニケーション装置に関して、遠隔作業地側は、指令センタからの遠隔操作により上下左右に回転可能なカメラ及びレーザポインタを搭載したコミュニケーション端末、非熟練者が熟練者と話をするためのマイク及びスピーカ、コミュニケーション端末とスピーカとマイクとが接続されるクライアント制御器、クライアント制御器と公衆通信網を結ぶネットワークインタフェイスから構成される。
【0007】
また、遠隔作業支援コミュニケーション装置に関して、指令センタ側は、熟練者が非熟練者と話をするためのマイク及びスピーカ、遠隔作業地の映像を移すためのモニタ、コミュニケーション端末の遠隔操作を行うための操作装置、モニタと操作装置とスピーカとマイクとが接続されるサーバ制御器、サーバ制御器と公衆通信網を結ぶネットワークインタフェイスから構成される。
【0008】
熟練者は操作装置を用いることにより、遠隔作業地にあるコミュニケーション端末に搭載されたカメラとレーザポインタの向きを、それぞれ独立かつ自在に遠隔操作することができる。
【0009】
従って、熟練者は、前記カメラにより、遠隔作業地にある作業対象や非熟練者等の状況を把握しながら、レーザポインタを用いて非熟練者に操作させたいスイッチを指し示すことにより、「このスイッチを……」というように、「この」といった代名詞を用いることにより、口頭で非常に簡便な表現で非熟練者に対して指示を行うことができる。また、非熟練者も、「ここですね」といった、「ここ」という代名詞を用いた簡略な返答で済み、熟練者及び非熟練者間の作業の円滑なやりとりが可能である。
【0010】
【発明が解決しようとする課題】
しかしながら、前述したコミュニケーション端末は簡易な三脚が取り付けられ、移動機構を持たない構造であったため、指令センタの熟練者がコミュニケーション端末に搭載されたカメラを通して、遠隔作業地及び非熟練者の作業状況等の全体的な状況観察と、作業対象の詳細な観察及び作業対象に対するレーザポインタによる細かな作業指示を両立して円滑に行うことが困難であった。
【0011】
また、熟練者が非熟練者に対して作業指示を行う際、熟練者は遠隔操作により、コミュニケーション端末に搭載されたカメラを作業対象に向け、レーザポインタを点灯させ、レーザポインタから照射されたレーザスポットを作業対象に当てることにより作業指示を行うが、レーザポインタを点灯させた時、レーザスポットがカメラの視野のどこに出現するか分からない、もしくはカメラの視野から外れている場合も有り、レーザポインタを用いた円滑な作業指示が困難であった。
【0012】
そこで、本発明の解決すべき主要な目的は、熟練者が、遠隔作業地の全体的な状況観察と、より円滑な作業指示を実現するためのコミュニケーション端末を用いた遠隔作業支援コミュニケーション装置を提供せんとするものである。
【0013】
【課題を解決するための手段】
前記課題の解決は、本発明が次に列挙する新規な特徴的構成手段を採用することにより達成される。
【0014】
本発明の第1の特徴は、ズーム機能とオートフォーカス機能を有するカメラを搭載するコミュニケーション端末を用いること、また、本発明の第2の特徴は、ズーム機能に関する焦点距離は指令センタからの操作により変更可能であることである。
【0015】
遠隔作業支援コミュニケーション装置において、ズーム機能とオートフォーカス機能を有するカメラを搭載したコミュニケーション端末を用いることにより、指令センタにいる熟練者は、遠隔操作によりズームを広角にすることにより、遠隔作業地の全体的な状況を把握することが可能となったり、ズームを望遠にすることにより、遠隔作業地の作業対象を拡大して詳細に観察することが可能となったり、熟練者が必要とする情報を熟練者自身の操作により簡便に得ることができる。
【0016】
また、本発明の第3の特徴は、コミュニケーション端末が、回転可能で、JISネジ(1/4−20UNC)の取付穴を有する取付台を具備することである。
【0017】
コミュニケーション端末が搭載される取付台は、コミュニケーション端末との取付角度を自由に変更、固定ができることと、カメラとカメラ用三脚の取り付けに最も一般的に用いられているJISネジ(1/4−20UNC)の取付穴を具備することから、コミュニケーション端末を使用する様々な状況に応じて、コミュニケーション端末を様々な角度で、JISネジ(1/4−20UNC)の取り付けネジを具備する様々なカメラ用三脚、雲台、取り付けアダプタ等を利用することにより、様々な場所へ容易かつ安価に設置することができる。
【0018】
また、本発明の第4の特徴は、前述したコミュニケーション端末を用いる遠隔作業支援コミュニケーション装置において、カメラの動きに合わせてレーザポインタの動きを自動的に制御する同期モードと、カメラ及びレーザポインタをそれぞれ独立して動作させる独立モードとを指令センタからの遠隔操作により切り替えられる機能を有する同期/独立切換器を具備することである。
【0019】
また、本発明の第5の特徴は、前記同期モードにおいて、前記オートフォーカス機能により得られるカメラ及びカメラで撮像された物体間の距離と、カメラが取り付けられている回転台に対するカメラの角度とから、レーザポインタが取り付けられている回転台に対するレーザポインタの角度を算出し、レーザポインタから照射されるレーザスポットを常にカメラの撮像面に納める機能を有するレーザポインタ制御器を具備することである。
【0020】
カメラの動きに合わせてレーザポインタの動きを自動的に制御する同期モードにおいて、レーザポインタ制御器を用いることにより、レーザポインタから照射されるレーザスポットを常にカメラの視野内に納めることが可能となる。つまり、熟練者が遠隔操作によりレーザポインタを点灯させた時には、レーザスポットが常に撮像面中央付近に照射され、非熟練者に対する作業指示を始めるのが容易となる。
【0021】
本発明の第6の特徴は、前記独立モードにおいて、熟練者がコミュニケーション端末を遠隔操作するための操作装置を用いてレーザポインタを動作させる際、カメラの焦点距離の変化に応じて、操作装置の変化量とレーザポインタの変化量との比を調整する機能を有するレーザポインタ調整器を具備することである。
【0022】
カメラとレーザポインタをそれぞれ独立して動作させる独立モードにおいて、レーザポインタ調整器を用いることにより、ズームの焦点距離の変化に応じて、操作装置の変化量とレーザポインタの変化量との比を調整し、焦点距離が変更されても、操作装置の変化量とカメラに写った前記レーザスポットの撮像面上における変化量を常に一定とすることが可能となる。つまり、熟練者は焦点距離の違い、観察対象までの距離の違いを気にすること無く、前記レーザスポットを常に同じ操作感で遠隔操作することが可能となる。
【0023】
本発明装置の第7の特徴は、複数のコミュニケーション端末を用いるとともに、指令センタからの遠隔操作により操作するコミュニケーション端末を切り替える機能を有するコミュニケーション端末切換装置を具備することである。
【0024】
このコミュニケーション端末切換装置を用いることにより、複数台のコミュニケーション端末を切り替えながら用いることが可能となり、指令センタの熟練者は、コミュニケーション端末に搭載されたカメラのズーム機構では補いきれない遠隔作業地の様子を複数の視点から観察し、同時にコミュニケーション端末が設置された複数の地点から、コミュニケーション端末に搭載されたレーザポインタを用いて非熟練者に対して作業指示を行うことが可能となる。
【0025】
【発明の実施の形態】
本発明の実施の形態を、その装置例に基づき、図面を用いて説明する。なお、説明において同一要素には同一符号を用いて重複する説明を省略する。
【0026】
本発明に用いるコミュニケーション端及び本発明に係る遠隔作業支援コミュニケーション装置の実施の形態の一例を図2、3、4、5を用いて説明する。
【0027】
図2は、本発明に用いるコミュニケーション端末、その制御を行うレーザポインタ制御器及びレーザポインタ調整器、レーザポインタ制御器とレーザポインタ調整器を切り替えるための同期/独立切換器を説明するための図である。
【0028】
図2において、コミュニケーション端末1は、主として、カメラ部2及びレーザポインタ部3から構成される。カメラ部2は、カメラ2a、カメラ2aを上下方向に回転させるための上下用サーボモータ2b、カメラ2aを左右方向に回転させるための左右用サーボモータ2c、カメラ2aに搭載されたズーム機構2d、カメラ2aに搭載されたオートフォーカス機構2eから構成される(なお、ズーム機構は光学的なもの、デジタル画像処理的なもののいずれでも良い。)。
【0029】
レーザポインタ部3は、レーザポインタ3a、レーザポインタ3aを上下方向に回転させるための上下用サーボモータ3b、レーザポインタ3aを左右方向に回転させるための左右用サーボモータ3cから構成される。
【0030】
また、4はレーザポインタ3aの角度がカメラ2aの動きに連動して動く同期モードと、カメラ2aの動きとは関係なく独立に動く独立モードとを切り替えるための同期/独立切換器、5は前記同期モードにおいてレーザポインタ3aによるレーザスポットが常にカメラ2aの視野の中心に存在するように上下用サーボモータ3bを制御するためのレーザポインタ制御器、6は前記独立モードにおいてズーム機構2dの焦点距離の変化に応じて、コミュニケーション端末1の遠隔操作を行うための操作装置の変化量とカメラ2aに写った前記レーザスポットの撮像面上における変化量との比を常に一定とするためのレーザポインタ調整器、7は複数のコミュニケーション端末1を使用する際、どのコミュニケーション端末を用いるかを遠隔操作により切り替えるためのコミュニケーション端末切換装置である。
【0031】
図3は、本発明の実施の形態の一例に係る遠隔作業支援コミュニケーション装置において、コミュニケーション端末1を説明するための図である。図3の左図はコミュニケーション端末1の正面図、右図はコミュニケーション端末1の側面図を示している。
【0032】
コミュニケーション端末1は、カメラ部2、レーザポインタ部3、カメラ部2とレーザポインタ部3を結合するための中継部8、コミュニケーション端末1をある場所に固定するための取付台9から構成される。取付台9は、JISネジ(1/4−20UNC)の取付穴9aを有し、中継部8に2点で取り付けられ、ネジ等を用いることにより取付台9の回転及び固定を容易に行うことができる。
【0033】
カメラ部2は、カメラ2a、カメラ2aを支えるための回転台2f、上下用サーボモータ2b、左右用サーボモータ2cから構成される(ズーム機構及びオートフォーカス機構は図示せず)。レーザポインタ部3は、レーザポインタ3a、上下用サーボモータ3b、左右用サーボモータ3c、レーザポインタ3aを支えるための回転台3dから構成される。
【0034】
図4は、本発明に用いるコミュニケーション端末1、同期/独立切換器4、レーザポインタ制御器5、レーザポインタ調整器6、コミュニケーション端末切換装置7を含む遠隔作業支援コミュニケーション装置の実施の形態の一例を説明するための図である。
【0035】
図4において、10はサーバ装置、11はクライアント装置を表し、サーバ装置10とクライアント装置11は公衆通信網で結ばれている。サーバ装置10は、サーバ制御器10a、マイク10b、スピーカ10c、モニタ10d、ネットワークインタフェイス10e、カメラ10f、操作装置10gから構成される。
【0036】
クライアント装置11は、1台以上のコミュニケーション端末1、同期/独立切換器4、レーザポインタ制御器5、レーザポインタ調整器6、コミュニケーション端末切換装置7、クライアント制御器11a、マイク11b、スピーカ11c、モニタ11d、ネットワークインタフェイス11eから構成される。
【0037】
指令センタに設置されたサーバ装置10と遠隔作業地に設置されたクライアント装置11は、ネットワークインタフェイス10eと11eを用い、公衆通信網を通して接続される。熟練者は、操作装置10gを用いてコミュニケーション端末1に搭載されたカメラ2aとレーザポインタ3aを遠隔操作することにより、カメラ2aを通してモニタ10d上で遠隔作業地の映像を見つつ、マイク10bとスピーカ10cとで非熟練者と会話を行い、レーザポインタ3aで非熟練者に対して作業指示を行う。
【0038】
また、非熟練者も、マイク11bとスピーカ11cとで熟練者と会話を行うことができる。サーバ制御器10aとクライアント制御器11aは、サーバ装置10とクライアント装置11との間でやりとりされる音声、映像、操作装置10gからの指令値、同期モードと独立モードの切り替えを行うための指令を通信パケットに変換し、送受信を行う。
【0039】
図5は、本発明に係るレーザポインタ制御器5とレーザポインタ調整器6の機能を説明するためのもので、コミュニケーション端末1を側面から見た図である。図5において、αを前記上下用サーボモータ2bの角度、γを前記上下用サーボモータ3bの角度、dをカメラ2aの焦点から作業対象のレーザスポットまでの距離、hをカメラ2aとレーザポインタ3aの回転中心間の距離、fをズームの焦点距離とする。
【0040】
同期モードでは、同期/独立切換器4によりレーザポインタ制御器5が機能するようになる。レーザポインタ制御器5は、上下用サーボモータ2bの角度αとカメラ2aの焦点から作業対象のレーザスポットまでの距離dを入力として、
γ=tan-12{(h+dsinα)/dcosα} ……(1)
で算出されるレーザポインタ3aの上下角γを出力し、上下用サーボモータ3bへの指令値とすることにより、レーザスポットが常にカメラ2aの光軸と作業対象の交点、つまり撮像面の中央を指し示すことが可能となる。
【0041】
独立モードでは、同期/独立切換器4によりレーザポインタ調整器6が機能するようになる。操作装置10gから出力される、レーザポインタを上下方向に回転させるための上下用サーボモータ3bへの指令値の変化量(操作量)をΔγ’、ズームの焦点距離fの変化の範囲をfmin≦f≦fmaxとする。レーザポインタ調整器6は、ズームの焦点距離f、操作装置10gからの指令値の変化量Δγ’を入力として、
Δγ’=Δγfmin/f ……(2)
より算出されるレーザポインタ3aの上下角の変化量Δγを算出し、その変化量Δγを上下用サーボモータ3bの角度に加えたものを上下用サーボモータ3bの指令値γとして出力することにより、ズームにより焦点距離fが変更されても、操作装置10gの操作量と撮像面上のレーザスポットの移動量との関係が常に一定となる。
【0042】
【発明の効果】
以上説明したように、本発明に用いるコミュニケーション端末及び本発明に係る遠隔作業支援コミュニケーション装置によれば、指令センタにいる熟練者は、遠隔作業地に設置された1台以上のコミュニケーション端末を遠隔操作により切り替え、遠隔作業地の状況を全体的に把握することが可能となる。
【0043】
熟練者が、遠隔作業地のある1台のコミュニケーション端末を選択して、遠隔作業地の非熟練者に作業指示を行う際、レーザポインタがカメラの動きと連動して動作する同期モードと、カメラとレーザポインタをそれぞれ独立して動作することができる独立モードとは、同期/独立切換器を用いることにより、指令センタからの遠隔操作で切り替えることができる。
【0044】
同期モードでは、レーザポインタを点灯すると、レーザポインタ制御器の働きにより、レーザスポットが常にカメラの撮像面の中央に現れるため、熟練者はレーザポインタによる作業内容の指示へ円滑に移ることができる。また、独立モードでは、ズームの焦点距離の違いに係わらず、操作装置による操作量と遠隔操作されるレーザスポットの撮像面上の移動量の関係が常に一定となり、カメラのズームに関する広角、望遠を意識する必要が無く、熟練者は自然な操作感で作業指示を行うことが可能となる。
【図面の簡単な説明】
【図1】 従来の遠隔作業支援のようすの一例を示す図
【図2】 本発明の実施の形態の一例に用いるコミュニケーション端末、レーザポインタ制御器、レーザポインタ調整器、同期/独立切換器を説明するための図
【図3】 本発明に用いるコミュニケーション端末を説明するための図
【図4】 本発明の実施の形態の一例に係る遠隔作業支援コミュニケーション装置を説明するための図
【図5】 本発明に係るレーザポインタの角度の制御手法を説明するための図
【符号の説明】
1:コミュニケーション端末、2:カメラ部、2a:カメラ、2b:上下用サーボモータ、2c:左右用サーボモータ、2d:ズーム機構、2e:オートフォーカス機構、2f:回転台、3:レーザポインタ部、3a:レーザポインタ、3b:上下用サーボモータ、3c:左右用サーボモータ、3d:回転台、4:同期/独立切換器、5:レーザポインタ制御器、6:レーザポインタ調整器、7:コミュニケーション端末切換装置、8:中継部、9:取付台、9a:取付穴、10:サーバ装置、10a:サーバ制御器、10b:マイク、10c:スピーカ、10d:モニタ、10e:ネットワークインタフェイス、10f:カメラ、10g:操作装置、11:クライアント装置、11a:クライアント制御器、11b:マイク、11c:スピーカ、11d:モニタ、11e:ネットワークインタフェイス。

Claims (1)

  1. 指令センタにいる熟練者が遠隔地にいる非熟練者に作業を行わせる際に使用するコミュニケーション端末であって、遠隔作業地に設置され、該遠隔作業地を撮影するカメラ及び遠隔作業地の作業対象における操作位置等を指示するレーザポインタを具備し、該カメラ及びレーザポインタは指令センタの操作装置により遠隔操作され、該カメラはズーム機能及びオートフォーカス機能を具備したコミュニケーション端末を用い、
    カメラの動きに合わせてレーザポインタの動きを自動的に制御する同期モードと、カメラ及びレーザポインタをそれぞれ独立して動作させる独立モードとを前記指令センタからの遠隔操作により切り替える同期/独立切換器を具備し、
    前記独立モードにおいて、前記操作装置を用いてレーザポインタを動作させる際、カメラのズーム機能の焦点距離の変化に応じて、操作装置の変化量とレーザポインタの変化量との比を調整する機能を有するレーザポインタ調整器を具備したことを特徴とする遠隔作業支援コミュニケーション装置。
JP21178799A 1999-07-27 1999-07-27 遠隔作業支援コミュニケーション装置 Expired - Lifetime JP4089854B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP21178799A JP4089854B2 (ja) 1999-07-27 1999-07-27 遠隔作業支援コミュニケーション装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP21178799A JP4089854B2 (ja) 1999-07-27 1999-07-27 遠隔作業支援コミュニケーション装置

Publications (2)

Publication Number Publication Date
JP2001045451A JP2001045451A (ja) 2001-02-16
JP4089854B2 true JP4089854B2 (ja) 2008-05-28

Family

ID=16611612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP21178799A Expired - Lifetime JP4089854B2 (ja) 1999-07-27 1999-07-27 遠隔作業支援コミュニケーション装置

Country Status (1)

Country Link
JP (1) JP4089854B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4770493B2 (ja) * 2006-02-02 2011-09-14 富士ゼロックス株式会社 遠隔指示システム及び遠隔指示方法
CN105791676A (zh) * 2016-02-26 2016-07-20 广东欧珀移动通信有限公司 终端、成像装置、交互系统、其控制方法及控制装置
JP6356318B2 (ja) * 2016-06-14 2018-07-11 株式会社クリューシステムズ 点検装置、点検システム及び点検方法

Also Published As

Publication number Publication date
JP2001045451A (ja) 2001-02-16

Similar Documents

Publication Publication Date Title
JP3302715B2 (ja) ビデオカメラ装置
US20100141781A1 (en) Image capturing device with automatic object position indication and method thereof
JPH118844A (ja) 撮像装置コントローラおよび撮像システム
EP3785429A1 (en) Videoconferencing device and method
JP4089854B2 (ja) 遠隔作業支援コミュニケーション装置
JP3820116B2 (ja) レーザポインタの方向制御方法およびその装置
JP2004193860A (ja) 電子機器
JP2012209626A (ja) 会議装置、会議装置のプログラム、及び、制御方法
JP2006049952A (ja) オートフォーカスシステム
JPH07135646A (ja) テレビ会議システム
JP3733258B2 (ja) 画像撮影装置、画像撮影方法、記憶媒体、テレビ会議システム
JP2007003844A (ja) 遠隔地にある顕微鏡を操作する装置
JP3139100B2 (ja) 多地点画像通信端末装置および多地点対話方式
JP3482035B2 (ja) カメラ制御装置
JP2001128156A (ja) テレビインターホン装置
KR20030017038A (ko) 적외선 리모콘을 통한 화상회의 시스템의 카메라 줌배율조절 장치 및 그 방법
JPS61137484A (ja) テレビ会議システム
JPH09292827A (ja) 回転式映像目視装置
JPH08149443A (ja) テレビ会議装置
JP2000299844A (ja) 画像撮影装置
JP2002262138A (ja) 撮像システム、テレビ会議システム、監視システムおよび撮像機能を有した情報端末機器
JPH0879587A (ja) テレビカメラ装置
JPH10268416A (ja) リモコン雲台装置
JPH10229515A (ja) 書画カメラ
JP2776303B2 (ja) カメラ遠隔制御方法およびカメラ遠隔制御装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050419

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050930

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20051025

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20051118

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060731

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080221

R151 Written notification of patent or utility model registration

Ref document number: 4089854

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120307

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130307

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term