JP3820116B2 - レーザポインタの方向制御方法およびその装置 - Google Patents
レーザポインタの方向制御方法およびその装置 Download PDFInfo
- Publication number
- JP3820116B2 JP3820116B2 JP2001223264A JP2001223264A JP3820116B2 JP 3820116 B2 JP3820116 B2 JP 3820116B2 JP 2001223264 A JP2001223264 A JP 2001223264A JP 2001223264 A JP2001223264 A JP 2001223264A JP 3820116 B2 JP3820116 B2 JP 3820116B2
- Authority
- JP
- Japan
- Prior art keywords
- laser pointer
- camera
- irradiation point
- target position
- communication terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、作業の遂行に習熟している熟練者の居る指令センタと作業に関して無知もしくは不慣れな非熟練者の居る遠隔作業地との間において、熟練者が非熟練者に対し、作業指示を与え、作業遂行を支援する遠隔作業支援システムのためのレーザポインタの方向制御方法およびその装置に関するものである。
【０００２】
【従来の技術】
従来、熟練者の居る指令センタと非熟練者の居る遠隔作業地との間で、熟練者が非熟練者に対し、作業の指示を行う際、円滑なコミュニケーションを実現するために、遠隔作業支援コミュニケーション装置（特開２０００−１２５０２４号公報、特開２００１−４５４５１号公報）が提案されている。
【０００３】
遠隔作業地に於いて非熟練者が行う作業を、指令センタに於ける熟練者が支援することを遠隔作業支援と呼ぶこととする。
【０００４】
前記遠隔作業支援コミュニケーション装置を用いた従来の遠隔作業支援の一例を図７を用いて説明する。
【０００５】
遠隔作業支援コミュニケーション装置に関して遠隔作業地側は、指令センタからの遠隔操作により上下左右に回転可能なカメラとレーザポインタを搭載したコミュニケーション端末、非熟練者が熟練者と話をするためのスピーカとマイク、コミュニケーション端末とスピーカとマイクとが接続されるサーバ制御器、サーバ制御器と公衆通信網を結ぶネットワークインタフェイスから構成される。
【０００６】
遠隔作業支援コミュニケーション装置に関して指令センタ側は、熟練者が非熟練者と話をするためのマイクとスピーカ、遠隔作業地の映像を写すためのモニタ、コミュニケーション端末の遠隔操作を行うための操作装置、モニタと操作装置とスピーカとマイクとが接続されるクライアント制御器、クライアント制御器と公衆通信網を結ぶネットワークインタフェイスから構成される。
【０００７】
前記構成によれば、熟練者は操作装置を用いることにより、遠隔作業地にあるコミュニケーション端末に搭載されたカメラとレーザポインタの向きを、それぞれ独立かつ自在に遠隔操作することができる。
【０００８】
熟練者は、前記カメラにより、遠隔作業地にある作業対象や非熟練者等の状況を把握しながら、レーサポインタを用いて非熟練者に操作させたいスイッチを指し示すことにより、「このスイッチを……」というように、「この」や「あの」といった代名詞を用いることにより、口頭で非常に簡便な表現で、非熟練者に対し指示を行うことができる。非熟練者も、「ここですね。」といった、「ここ」や「そこ」という代名詞を用いた簡略な返答で済み、熟練者、非熟練者間の作業の円滑なやりとりが可能であった。
【０００９】
【発明が解決しようとする課題】
しかし、前記遠隔作業支援コミュニケーション装置には次のような問題点があった。
【００１０】
（ｉ）指令センタの熟練者は、コミュニケーション端末に搭載されたカメラから取り込まれ、クライアント制御器で受信される映像を見ながら、操作装置を用いてコミュニケーション端末に搭載されるレーザポインタを遠隔操作することにより、遠隔作業地の非熟練者に対し作業指示を行うが、ネットワークを介することにより、コミュニケーション端末を遠隔操作するために送信される制御信号と、指令センタで受信される遠隔地の映像信号との間には時間的なずれが生じる。ネットワークの伝送速度が遅くなれば遅くなるほど、前記受信映像の時間遅れが大きくなる。
【００１１】
（ｉｉ）また、ネットワークの伝送速度が遅くなれば遅くなるほど、指令センタで単位時間当たりに受信できる遠隔作業地の映像の枚数が減少する。
【００１２】
（ｉｉｉ）前記時間遅れと受信映像の枚数の減少が原因で、コミュニケーション端末の遠隔操作の操作性、特にレーザポインタによる作業指示に関する操作性が悪くなる。
【００１３】
そこで、本発明の解決すべき主要な目的は、指令センタから遠隔作業地への円滑な作業指示を実現するために、作業指示を行う場所へレーザポインタを迅速に位置決めする機能を有するレーザポインタ方向制御方法およびその装置を提供せんとするものである。
【００１４】
【課題を解決するための手段】
前記課題は、本発明が次に列挙する新規な特徴的構成方法および手段を採用することにより解決される。
【００１５】
本発明方法の特徴は、指令センタに設置されたクライアント装置から作業地に設置されたサーバ装置へ指令を送り、該指令に従い、サーバ装置を構成するコミュニケーション端末に搭載されたレーザポインタの方向を制御する方法であって、前記コミュニケーション端末に搭載されたカメラによって撮影され、クライアント装置の表示部に表示された作業地の映像上でレーザポインタが照射する指示目標位置を設定するレーザポインタの方向制御方法において、クライアント装置が、前記指示目標位置をサーバ装置へ送信する過程と、サーバ装置が、前記指示目標位置を受信する過程と、サーバ装置が、前記カメラによって撮影された映像からレーザポインタの照射点を発見・追跡し、画像平面上または映像上の照射点の座標値を、照射点の現在値として抽出する過程と、サーバ装置が、前記指示目標位置と前記レーザポインタの照射点の現在値との差を求める過程と、サーバ装置が、前記差が零に収束するように前記レーザポインタを動作させる各サーボモータへの指令値を、前記カメラの自動焦点機構より得られる距離情報と、前記カメラのズーム機構より得られる焦点距離と、前記カメラ及び前記レーザポインタを動作させる各サーボモータの角度とから算出し、レーザポインタの方向を制御する過程とを有するレーザポインタの方向制御方法にある。
【００１９】
本発明装置の特徴は、指令センタに設置されたクライアント装置から作業地に設置されたサーバ装置へ指令を送り、該指令に従い、サーバ装置を構成するコミュニケーション端末に搭載されたレーザポインタの方向を制御する装置であって、前記コミュニケーション端末に搭載されたカメラによって撮影され、クライアント装置の表示部に表示された作業地の映像上でレーザポインタが照射する指示目標位置を設定する手段を備えたレーザポインタの方向制御装置において、前記指示目標位置をクライアント装置からサーバ装置へ送信する手段と、前記カメラによって撮影された映像からレーザポインタの照射点を発見・追跡し、画像平面上または映像上の照射点の座標値を、照射点の現在値として抽出する手段と、前記指示目標位置と前記レーザポインタの照射点の現在値との差を求める手段と、前記差が零に収束するように前記レーザポインタを動作させる各サーボモータへの指令値を、前記カメラの自動焦点機構より得られる距離情報と、前記カメラのズーム機構より得られる焦点距離と、前記カメラと前記レーザポインタを動作させる各サーボモータの角度とから算出し、レーザポインタの方向を制御する手段とを備えたレーザポインタの方向制御装置にある。
【００２３】
本発明に係るレーザポインタ方向制御方法およびレーザポインタ方向制御装置を用いることにより、遠隔作業支援コミュニケーション装置を用いて、指令センタの熟練者が遠隔作業地の非熟練者に対して作業指示を行う際、熟練者が遠隔作業地の映像上で作業指示位置を教示するだけで、コミュニケーション端末に搭載されているレーザポインタの照射点を自動的に前記作業指示位置へ位置決めすることが可能となる。
【００２４】
従って、円滑な遠隔作業指示を行う際に障害となる映像信号やコミュニケーション端末の制御信号の送受信時に発生する時間的なずれ、時間的な遅れ、受信映像枚数の減少等の影響を受けること無く、円滑な遠隔作業指示が可能となる。
【００２５】
【発明の実施の形態】
本発明の実施の形態を添付図面を用いて説明する。なお、説明において、同一構成要素には同一符号を用い、重複する説明は省略する。
【００２６】
まず、本発明に係る遠隔作業支援コミュニケーション装置を図２、図３を用いて説明する。
【００２７】
図２は、本発明の実施の形態に係るコミュニケーション端末１、レーザポインタ発見追跡画像処理器４、レーザポインタ方向制御器５、指示目標位置設定装置６を遠隔作業支援コミュニケーション装置にて用いるための実施の形態を説明するための図である。
【００２８】
図２において、１０はクライアント装置、１１はサーバ装置を表し、クライアント装置１０とサーバ装置１１は前記公衆通信網で結ばれている。
【００２９】
クライアント装置１０は、クライアント制御器１０ａ、マイク１０ｂ、スピーカ１０ｃ、モニタ１０ｄ、ネットワークインタフェイス１０ｅ、カメラ１０ｆ、操作装置１０ｇ、指示目標位置設定装置６から構成される。
【００３０】
サーバ装置１１は、コミュニケーション端末１、レーザポインタ発見追跡画像処理器４、レーザポインタ方向制御器５、サーバ制御器１１ａ、マイク１１ｂ、スピーカ１１ｃ、モニタ１１ｄ、ネットワークインタフェイス１１ｅから構成される。
【００３１】
図３は、遠隔作業支援コミュニケーション装置において、コミュニケーション端末１を説明するための図である。
【００３２】
図３の左図はコミュニケーション端末１の正面図、右図はコミュニケーション端末１の側面図を示している。
【００３３】
コミュニケーション端末１は、カメラ部２、レーザポインタ部３、カメラ部２とレーザポインタ部３を結合するための中継部８、コミュニケーション端末１をある場所に固定するための取付台９から構成される。
【００３４】
カメラ部２は、カメラ２ａ、カメラ２ａを支えるための回転台２ｆ、上下用サーボモータ２ｂ、左右用サーボモータ２ｃから構成される。レーザポインタ部３は、レーザポインタ３ａ、レーザポインタ３ａを支えるための回転台３ｄ、上下用サーボモータ３ｂ、左右用サーボモータ３ｃから構成される。取付台９は中継部８に２点で取り付けられ、ネジ等を用いることにより取付台９の回転、固定を容易に行うことができる。
【００３５】
指令センタに設置されたクライアント装置１０と遠隔作業地に設置されたサーバ装置１１は、ネットワークインタフェイス１０ｅ，１１ｅを用いることにより、公衆通信網を介してネットワーク接続される。
【００３６】
熟練者は、操作装置１０ｇを用いてコミュニケーション端末１に搭載されたカメラ２ａとレーザポインタ３ａを遠隔操作することにより、カメラ２ａを通しモニタ１０ｄ上で遠隔作業地の映像を見つつ、マイク１０ｂとスピーカ１０ｃとで非熟練者と会話を行い、レーザポインタ３ａで非熟練者に対し作業指示を行う。また、非熟練者も、マイク１１ｂとスピーカ１１ｃとで熟練者と会話を行うことができる。
【００３７】
クライアント制御器１０ａとサーバ制御器１１ａは、クライアント装置１０とサーバ装置１１との間でやりとりされる音声、映像、操作装置１０ｇからの指令値、レーザポインタ指示目標位置設定装置６で設定されたレーザポインタの指示目標位置を通信パケットに変換し、送受信を行う。
【００３８】
熟練者が作業指示をするために、レーザポインタ指示目標位置設定装置６を用いて、レーザポインタ３ａのビームを照射する目標位置を設定すると、指示目標位置がクライアント制御器１０ａ、サーバ制御器１１ａを経て、レーザポインタ方向制御器５に入力され、レーザポインタの照射点を目標位置へ位置決めするためのコミュニケーション端末に搭載のレーザポインタを動作させる上下用サーボモータ３ｂと左右用サーボモータ３ｃへの指令値が算出される。
【００３９】
次に、本発明に係るレーザポインタ方向制御方法およびその装置の実施の形態を図１、図４、図５を用いて説明する。
【００４０】
図１は、本発明に係るコミュニケーション端末１、レーザポインタ発見追跡画像処理器４、レーザポインタ方向制御器５を説明するための図である。
【００４１】
コミュニケーション端末１は、カメラ部２とレーザポインタ部３から構成される。
【００４２】
カメラ部２は、カメラ２ａ、カメラ２ａを上下方向に回転させるための上下用サーボモータ２ｂ、カメラ２ａを左右方向に回転させるための左右用サーボモータ２ｃ、カメラ２ａに搭載されたズーム機構２ｄ、カメラ２ａに搭載された自動焦点機構２ｅから構成される。
【００４３】
レーザポインタ部３は、レーザポインタ３ａ、レーザポインタ３ａを上下方向に回転させるための上下用サーボモータ３ｂ、レーザポインタ３ａを左右方向に回転させるための左右用サーボモータ３ｃから構成される。
【００４４】
また、レーザポインタ発見追跡画像処理器４は、前記カメラ部２で撮像された映像から、前記レーザポインタ部３の照射点を発見・追跡し、画像平面上または映像上の照射点の座標値を、照射点の現在値として抽出する。
【００４５】
レーザポインタ方向制御器５は、指令センタで熟練者により設定された指示目標位置とレーザポインタ発見追跡画像処理器４により抽出されたレーザポインタ照射点の現在値との差を求め、該差と、前記カメラ部２の自動焦点機構２ｅより得られる距離情報と、前記カメラ部２のズーム機構２ｄより得られる焦点距離と、前記カメラ部２及び前記レーザポインタ部３を動作させる各サーボモータの角度とから、前記レーザポインタ部３の方向を制御し、レーザポインタ部３の照射点を前記指示目標位置へ位置決めするための、レーザポインタ用の前記上下用サーボモータ及び左右用サーボモータへの指令値を算出する。
【００４６】
コミュニケーション端末１に搭載されているカメラ部２とレーザポインタ部３は、それぞれ独立に水平垂直に回転可能である。図５は、図３に示すコミュニケーション端末の幾何学モデルを一般的に表したものである。大きく分けて、カメラを上下左右に回転させるカメラ部２、レーザポインタを上下左右に回転させるレーザポインタ部３、カメラ部２とレーザポインタ部３を結合するための中継部８の３つの部分から構成される。
【００４７】
中継部８の任意に定めた場所に固定した基準座標系をΣbとする。カメラの水平回転部の座標系をΣch、垂直回転部の座標系をΣcv、カメラの焦点位置を原点とするカメラ座標系をΣcとする。また、レーザポインタ部３に関しても同様に、レーザポインタの水平回転部の座標系をΣlh、垂直回転部の座標系をΣlv、レーザポインタの光源を原点とするレーザポインタ座標系をΣlとする。但し、レーザポインタの光軸は、Σlのｙ軸と一致するものとする。
【００４８】
カメラ部について、Σbに対してΣchはｙ軸周りに回転可能でその角度をθc、Σchに対してΣcvはｘ軸周りに回転可能でその角度をψcとする。レーザポインタ部も同様に、Σbに対してΣlhはｙ軸周りに回転可能でその角度をθl、Σlhに対してΣlvはｘ軸周りに回転可能でその角度をψlとする。
【００４９】
図４にカメラ座標系Σc、レーザポインタ座標系Σl、レーザポインタの照射点（目標点ｐdと現在点ｐf）とそれらの画像平面への投影点ＰdとＰfの関係を示す。但し、ｐd及びｐfの左上添字は、それぞれΣc又はΣlに関するものを意味する。
【００５０】
ここでは、画像平面上の特徴点ＰdとＰfの差が、零に収束するようにレーザポインタを動作させる各サーボモータへの指令値を算出するレーザポインタ方向制御器の設計を行う。但し、レーザポインタ方向制御器が動作している間は、カメラはコミュニケーション端末の本体に対して固定されているものとする。
【００５１】
画像平面上に投影されるレーザポインタ照射点は、レーザポインタ発見追跡画像処理器により抽出され、画像平面上の座標値として出力される。照射点抽出のための画像処理は、パターンマッチング等を利用することにより実現することができる。
【００５２】
Ｐf＝（ＸＹ）Tとcｐf＝（ｘｙｚ）Tの関係は、
【００５３】
【数１】
【００５４】
と表される。ここで、ｆはカメラの焦点距離である。但し、正確なｚの算出は困難なので、カメラの自動焦点機能により得られる照射対象までの距離ｄzで代用することとする。ここで、フィードハック制御中はカメラを固定しているので、ｄz＝ｃｏｎｓｔである。
【００５５】
次に、Σcにおける照射点cｐfと、Σbにおける照射点bｐfの関係は、
【００５６】
【数２】
【００５７】
と表される。フィードバック制御中はカメラが固定されていることから、式（２）を時間微分すると、
【００５８】
【数３】
【００５９】
が得られる。また、Σbにおける照射点bｐfと、Σlhにおける照射点lhｐfの関係は、式（４）で表され、図５に示す各座標系の関係から、次のように変形することができる。
【００６０】
【数４】
【００６１】
ここで、lｐfを実際に計測するのは困難なので、カメラの自動焦点機能により得られる照射対象までの距離ｄzを近似値として使用し、
【００６２】
【数５】
【００６３】
と仮定する。更にコミュニケーション端末の幾何学モデルから、フィードバック制御中は、bｐlh、lhｐlv、lvｐl、lvＲlのパラメータは、いずれも定数である。従って、式（７）の時間微分は、次に示すように変形することができる。
【００６４】
【数６】
【００６５】
ここで、
【００６６】
【数７】
【００６７】
とおくと、式（１０）は、
【００６８】
【数８】
【００６９】
と表される。式（３）（１４）から、カメラ座標系Σcにおけるレーザポインタ照射点の微小変位
【００７０】
【数９】
【００７１】
と、レーザポインタを水平／垂直方向に微小変位
【００７２】
【数１０】
【００７３】
の関係は、
【００７４】
【数１１】
【００７５】
と表すことができる。但し、Ｍ∈Ｒ3X2である。
【００７６】
よって、式（１）（１６）より次式が得られる。
【００７７】
【数１２】
【００７８】
行列ＪのサイズはＲ2X2である。ここで、レーザポインタ方向制御の入力ｕを、
【００７９】
【数１３】
【００８０】
と選ぶことにより、
【００８１】
【数１４】
【００８２】
となり、照射点が目標点Ｐdに収束することが分かる。但し、λは正の定数である。
【００８３】
実際の作業では、フィードバック制御開始時のＰfの初期値Ｐf0は、ＣＣＤカメラの視野の中に存在する必要がある。これについては、特開２００１−４５４５１号公報で提案されたレーザポインタ点灯時に画像平面中央付近にレーザポインタ照射点が現れる制御手法等を利用することにより、実現可能である。
【００８４】
以上に示されたレーザポインタ方向制御器を用いて、実際にレーザポインタ照射位置を指示目標位置へ位置決めする実験の結果を図６に示す。図は画像平面上のレーザポインタ照射位置の軌跡を表している。照射位置が初期位置Ｐf0から、指示目標位置Ｐdへ収束し、本発明に係るレーザポインタ方向制御器がうまく機能していることが分かる。
【００８５】
【発明の効果】
以上のように、本発明に係るレーザポインタ方向制御方法およびレーザポインタ方向制御装置によれば、指令センタに居る熟練者が、遠隔作業地の映像上で作業指示位置を教示するだけで、コミュニケーション端末に搭載されているレーザポインタの照射点を自動的に前記作業指示位置へ位置決めすることが可能となり、円滑な遠隔作業指示を行う際に障害となる映像信号やコミュニケーション端末の制御信号の送受信時に発生する時間的なずれ、時間的な遅れ、受信映像枚数の減少等の影響を受けること無く、円滑な遠隔作業指示およびコミュニケーションが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態の一例に係るコミュニケーション端末、レーザポインタ方向制御器を説明するための図
【図２】本発明の実施の形態の一例に係る遠隔作業支援コミュニケーション装置を説明するための図
【図３】本発明の実施の形態の一例に係るコミュニケーション端末を説明するための図
【図４】本発明の実施の形態の一例に係る視覚フィードバックによるレーザポインタ方向制御を説明するための図
【図５】本発明の実施の形態の一例に係るコミュニケーション端末の幾何学モデルを説明するための図
【図６】本発明の実施の形態の一例に係るレーザポインタ方向制御手法に基づく実験結果を示す図
【図７】従来の遠隔作業支援コミュニケーション装置の一例を示す図
【符号の説明】
１：コミュニケーション端末、２：カメラ部、２ａ：カメラ、２ｂ：上下用サーボモータ、２ｃ：左右用サーボモータ、２ｄ：ズーム機構、２ｅ：自動焦点機構、３：レーザポインタ部、３ａ：レーザポインタ、３ｂ：上下用サーボモータ、３ｃ：左右用サーボモータ、４：レーザポインタ発見追跡画像処理器、５：レーザポインタ方向制御器、６：指示目標位置設定装置、８：中継部、９：取付台、１０：クライアント装置、１０ａ：クライアント制御器、１０ｂ：マイク、１０ｃ：スピーカ、１０ｄ：モニタ、１０ｅ：ネットワークインタフェイス、１０ｆ：カメラ、１０ｇ：操作装置、１１：サーバ装置、１１ａ：サーバ制御器、１１ｂ：マイク、１１ｃ：スピーカ、１１ｄ：モニタ、１１ｅ：ネットワークインタフェイス。
【発明の属する技術分野】
本発明は、作業の遂行に習熟している熟練者の居る指令センタと作業に関して無知もしくは不慣れな非熟練者の居る遠隔作業地との間において、熟練者が非熟練者に対し、作業指示を与え、作業遂行を支援する遠隔作業支援システムのためのレーザポインタの方向制御方法およびその装置に関するものである。
【０００２】
【従来の技術】
従来、熟練者の居る指令センタと非熟練者の居る遠隔作業地との間で、熟練者が非熟練者に対し、作業の指示を行う際、円滑なコミュニケーションを実現するために、遠隔作業支援コミュニケーション装置（特開２０００−１２５０２４号公報、特開２００１−４５４５１号公報）が提案されている。
【０００３】
遠隔作業地に於いて非熟練者が行う作業を、指令センタに於ける熟練者が支援することを遠隔作業支援と呼ぶこととする。
【０００４】
前記遠隔作業支援コミュニケーション装置を用いた従来の遠隔作業支援の一例を図７を用いて説明する。
【０００５】
遠隔作業支援コミュニケーション装置に関して遠隔作業地側は、指令センタからの遠隔操作により上下左右に回転可能なカメラとレーザポインタを搭載したコミュニケーション端末、非熟練者が熟練者と話をするためのスピーカとマイク、コミュニケーション端末とスピーカとマイクとが接続されるサーバ制御器、サーバ制御器と公衆通信網を結ぶネットワークインタフェイスから構成される。
【０００６】
遠隔作業支援コミュニケーション装置に関して指令センタ側は、熟練者が非熟練者と話をするためのマイクとスピーカ、遠隔作業地の映像を写すためのモニタ、コミュニケーション端末の遠隔操作を行うための操作装置、モニタと操作装置とスピーカとマイクとが接続されるクライアント制御器、クライアント制御器と公衆通信網を結ぶネットワークインタフェイスから構成される。
【０００７】
前記構成によれば、熟練者は操作装置を用いることにより、遠隔作業地にあるコミュニケーション端末に搭載されたカメラとレーザポインタの向きを、それぞれ独立かつ自在に遠隔操作することができる。
【０００８】
熟練者は、前記カメラにより、遠隔作業地にある作業対象や非熟練者等の状況を把握しながら、レーサポインタを用いて非熟練者に操作させたいスイッチを指し示すことにより、「このスイッチを……」というように、「この」や「あの」といった代名詞を用いることにより、口頭で非常に簡便な表現で、非熟練者に対し指示を行うことができる。非熟練者も、「ここですね。」といった、「ここ」や「そこ」という代名詞を用いた簡略な返答で済み、熟練者、非熟練者間の作業の円滑なやりとりが可能であった。
【０００９】
【発明が解決しようとする課題】
しかし、前記遠隔作業支援コミュニケーション装置には次のような問題点があった。
【００１０】
（ｉ）指令センタの熟練者は、コミュニケーション端末に搭載されたカメラから取り込まれ、クライアント制御器で受信される映像を見ながら、操作装置を用いてコミュニケーション端末に搭載されるレーザポインタを遠隔操作することにより、遠隔作業地の非熟練者に対し作業指示を行うが、ネットワークを介することにより、コミュニケーション端末を遠隔操作するために送信される制御信号と、指令センタで受信される遠隔地の映像信号との間には時間的なずれが生じる。ネットワークの伝送速度が遅くなれば遅くなるほど、前記受信映像の時間遅れが大きくなる。
【００１１】
（ｉｉ）また、ネットワークの伝送速度が遅くなれば遅くなるほど、指令センタで単位時間当たりに受信できる遠隔作業地の映像の枚数が減少する。
【００１２】
（ｉｉｉ）前記時間遅れと受信映像の枚数の減少が原因で、コミュニケーション端末の遠隔操作の操作性、特にレーザポインタによる作業指示に関する操作性が悪くなる。
【００１３】
そこで、本発明の解決すべき主要な目的は、指令センタから遠隔作業地への円滑な作業指示を実現するために、作業指示を行う場所へレーザポインタを迅速に位置決めする機能を有するレーザポインタ方向制御方法およびその装置を提供せんとするものである。
【００１４】
【課題を解決するための手段】
前記課題は、本発明が次に列挙する新規な特徴的構成方法および手段を採用することにより解決される。
【００１５】
本発明方法の特徴は、指令センタに設置されたクライアント装置から作業地に設置されたサーバ装置へ指令を送り、該指令に従い、サーバ装置を構成するコミュニケーション端末に搭載されたレーザポインタの方向を制御する方法であって、前記コミュニケーション端末に搭載されたカメラによって撮影され、クライアント装置の表示部に表示された作業地の映像上でレーザポインタが照射する指示目標位置を設定するレーザポインタの方向制御方法において、クライアント装置が、前記指示目標位置をサーバ装置へ送信する過程と、サーバ装置が、前記指示目標位置を受信する過程と、サーバ装置が、前記カメラによって撮影された映像からレーザポインタの照射点を発見・追跡し、画像平面上または映像上の照射点の座標値を、照射点の現在値として抽出する過程と、サーバ装置が、前記指示目標位置と前記レーザポインタの照射点の現在値との差を求める過程と、サーバ装置が、前記差が零に収束するように前記レーザポインタを動作させる各サーボモータへの指令値を、前記カメラの自動焦点機構より得られる距離情報と、前記カメラのズーム機構より得られる焦点距離と、前記カメラ及び前記レーザポインタを動作させる各サーボモータの角度とから算出し、レーザポインタの方向を制御する過程とを有するレーザポインタの方向制御方法にある。
【００１９】
本発明装置の特徴は、指令センタに設置されたクライアント装置から作業地に設置されたサーバ装置へ指令を送り、該指令に従い、サーバ装置を構成するコミュニケーション端末に搭載されたレーザポインタの方向を制御する装置であって、前記コミュニケーション端末に搭載されたカメラによって撮影され、クライアント装置の表示部に表示された作業地の映像上でレーザポインタが照射する指示目標位置を設定する手段を備えたレーザポインタの方向制御装置において、前記指示目標位置をクライアント装置からサーバ装置へ送信する手段と、前記カメラによって撮影された映像からレーザポインタの照射点を発見・追跡し、画像平面上または映像上の照射点の座標値を、照射点の現在値として抽出する手段と、前記指示目標位置と前記レーザポインタの照射点の現在値との差を求める手段と、前記差が零に収束するように前記レーザポインタを動作させる各サーボモータへの指令値を、前記カメラの自動焦点機構より得られる距離情報と、前記カメラのズーム機構より得られる焦点距離と、前記カメラと前記レーザポインタを動作させる各サーボモータの角度とから算出し、レーザポインタの方向を制御する手段とを備えたレーザポインタの方向制御装置にある。
【００２３】
本発明に係るレーザポインタ方向制御方法およびレーザポインタ方向制御装置を用いることにより、遠隔作業支援コミュニケーション装置を用いて、指令センタの熟練者が遠隔作業地の非熟練者に対して作業指示を行う際、熟練者が遠隔作業地の映像上で作業指示位置を教示するだけで、コミュニケーション端末に搭載されているレーザポインタの照射点を自動的に前記作業指示位置へ位置決めすることが可能となる。
【００２４】
従って、円滑な遠隔作業指示を行う際に障害となる映像信号やコミュニケーション端末の制御信号の送受信時に発生する時間的なずれ、時間的な遅れ、受信映像枚数の減少等の影響を受けること無く、円滑な遠隔作業指示が可能となる。
【００２５】
【発明の実施の形態】
本発明の実施の形態を添付図面を用いて説明する。なお、説明において、同一構成要素には同一符号を用い、重複する説明は省略する。
【００２６】
まず、本発明に係る遠隔作業支援コミュニケーション装置を図２、図３を用いて説明する。
【００２７】
図２は、本発明の実施の形態に係るコミュニケーション端末１、レーザポインタ発見追跡画像処理器４、レーザポインタ方向制御器５、指示目標位置設定装置６を遠隔作業支援コミュニケーション装置にて用いるための実施の形態を説明するための図である。
【００２８】
図２において、１０はクライアント装置、１１はサーバ装置を表し、クライアント装置１０とサーバ装置１１は前記公衆通信網で結ばれている。
【００２９】
クライアント装置１０は、クライアント制御器１０ａ、マイク１０ｂ、スピーカ１０ｃ、モニタ１０ｄ、ネットワークインタフェイス１０ｅ、カメラ１０ｆ、操作装置１０ｇ、指示目標位置設定装置６から構成される。
【００３０】
サーバ装置１１は、コミュニケーション端末１、レーザポインタ発見追跡画像処理器４、レーザポインタ方向制御器５、サーバ制御器１１ａ、マイク１１ｂ、スピーカ１１ｃ、モニタ１１ｄ、ネットワークインタフェイス１１ｅから構成される。
【００３１】
図３は、遠隔作業支援コミュニケーション装置において、コミュニケーション端末１を説明するための図である。
【００３２】
図３の左図はコミュニケーション端末１の正面図、右図はコミュニケーション端末１の側面図を示している。
【００３３】
コミュニケーション端末１は、カメラ部２、レーザポインタ部３、カメラ部２とレーザポインタ部３を結合するための中継部８、コミュニケーション端末１をある場所に固定するための取付台９から構成される。
【００３４】
カメラ部２は、カメラ２ａ、カメラ２ａを支えるための回転台２ｆ、上下用サーボモータ２ｂ、左右用サーボモータ２ｃから構成される。レーザポインタ部３は、レーザポインタ３ａ、レーザポインタ３ａを支えるための回転台３ｄ、上下用サーボモータ３ｂ、左右用サーボモータ３ｃから構成される。取付台９は中継部８に２点で取り付けられ、ネジ等を用いることにより取付台９の回転、固定を容易に行うことができる。
【００３５】
指令センタに設置されたクライアント装置１０と遠隔作業地に設置されたサーバ装置１１は、ネットワークインタフェイス１０ｅ，１１ｅを用いることにより、公衆通信網を介してネットワーク接続される。
【００３６】
熟練者は、操作装置１０ｇを用いてコミュニケーション端末１に搭載されたカメラ２ａとレーザポインタ３ａを遠隔操作することにより、カメラ２ａを通しモニタ１０ｄ上で遠隔作業地の映像を見つつ、マイク１０ｂとスピーカ１０ｃとで非熟練者と会話を行い、レーザポインタ３ａで非熟練者に対し作業指示を行う。また、非熟練者も、マイク１１ｂとスピーカ１１ｃとで熟練者と会話を行うことができる。
【００３７】
クライアント制御器１０ａとサーバ制御器１１ａは、クライアント装置１０とサーバ装置１１との間でやりとりされる音声、映像、操作装置１０ｇからの指令値、レーザポインタ指示目標位置設定装置６で設定されたレーザポインタの指示目標位置を通信パケットに変換し、送受信を行う。
【００３８】
熟練者が作業指示をするために、レーザポインタ指示目標位置設定装置６を用いて、レーザポインタ３ａのビームを照射する目標位置を設定すると、指示目標位置がクライアント制御器１０ａ、サーバ制御器１１ａを経て、レーザポインタ方向制御器５に入力され、レーザポインタの照射点を目標位置へ位置決めするためのコミュニケーション端末に搭載のレーザポインタを動作させる上下用サーボモータ３ｂと左右用サーボモータ３ｃへの指令値が算出される。
【００３９】
次に、本発明に係るレーザポインタ方向制御方法およびその装置の実施の形態を図１、図４、図５を用いて説明する。
【００４０】
図１は、本発明に係るコミュニケーション端末１、レーザポインタ発見追跡画像処理器４、レーザポインタ方向制御器５を説明するための図である。
【００４１】
コミュニケーション端末１は、カメラ部２とレーザポインタ部３から構成される。
【００４２】
カメラ部２は、カメラ２ａ、カメラ２ａを上下方向に回転させるための上下用サーボモータ２ｂ、カメラ２ａを左右方向に回転させるための左右用サーボモータ２ｃ、カメラ２ａに搭載されたズーム機構２ｄ、カメラ２ａに搭載された自動焦点機構２ｅから構成される。
【００４３】
レーザポインタ部３は、レーザポインタ３ａ、レーザポインタ３ａを上下方向に回転させるための上下用サーボモータ３ｂ、レーザポインタ３ａを左右方向に回転させるための左右用サーボモータ３ｃから構成される。
【００４４】
また、レーザポインタ発見追跡画像処理器４は、前記カメラ部２で撮像された映像から、前記レーザポインタ部３の照射点を発見・追跡し、画像平面上または映像上の照射点の座標値を、照射点の現在値として抽出する。
【００４５】
レーザポインタ方向制御器５は、指令センタで熟練者により設定された指示目標位置とレーザポインタ発見追跡画像処理器４により抽出されたレーザポインタ照射点の現在値との差を求め、該差と、前記カメラ部２の自動焦点機構２ｅより得られる距離情報と、前記カメラ部２のズーム機構２ｄより得られる焦点距離と、前記カメラ部２及び前記レーザポインタ部３を動作させる各サーボモータの角度とから、前記レーザポインタ部３の方向を制御し、レーザポインタ部３の照射点を前記指示目標位置へ位置決めするための、レーザポインタ用の前記上下用サーボモータ及び左右用サーボモータへの指令値を算出する。
【００４６】
コミュニケーション端末１に搭載されているカメラ部２とレーザポインタ部３は、それぞれ独立に水平垂直に回転可能である。図５は、図３に示すコミュニケーション端末の幾何学モデルを一般的に表したものである。大きく分けて、カメラを上下左右に回転させるカメラ部２、レーザポインタを上下左右に回転させるレーザポインタ部３、カメラ部２とレーザポインタ部３を結合するための中継部８の３つの部分から構成される。
【００４７】
中継部８の任意に定めた場所に固定した基準座標系をΣbとする。カメラの水平回転部の座標系をΣch、垂直回転部の座標系をΣcv、カメラの焦点位置を原点とするカメラ座標系をΣcとする。また、レーザポインタ部３に関しても同様に、レーザポインタの水平回転部の座標系をΣlh、垂直回転部の座標系をΣlv、レーザポインタの光源を原点とするレーザポインタ座標系をΣlとする。但し、レーザポインタの光軸は、Σlのｙ軸と一致するものとする。
【００４８】
カメラ部について、Σbに対してΣchはｙ軸周りに回転可能でその角度をθc、Σchに対してΣcvはｘ軸周りに回転可能でその角度をψcとする。レーザポインタ部も同様に、Σbに対してΣlhはｙ軸周りに回転可能でその角度をθl、Σlhに対してΣlvはｘ軸周りに回転可能でその角度をψlとする。
【００４９】
図４にカメラ座標系Σc、レーザポインタ座標系Σl、レーザポインタの照射点（目標点ｐdと現在点ｐf）とそれらの画像平面への投影点ＰdとＰfの関係を示す。但し、ｐd及びｐfの左上添字は、それぞれΣc又はΣlに関するものを意味する。
【００５０】
ここでは、画像平面上の特徴点ＰdとＰfの差が、零に収束するようにレーザポインタを動作させる各サーボモータへの指令値を算出するレーザポインタ方向制御器の設計を行う。但し、レーザポインタ方向制御器が動作している間は、カメラはコミュニケーション端末の本体に対して固定されているものとする。
【００５１】
画像平面上に投影されるレーザポインタ照射点は、レーザポインタ発見追跡画像処理器により抽出され、画像平面上の座標値として出力される。照射点抽出のための画像処理は、パターンマッチング等を利用することにより実現することができる。
【００５２】
Ｐf＝（ＸＹ）Tとcｐf＝（ｘｙｚ）Tの関係は、
【００５３】
【数１】
と表される。ここで、ｆはカメラの焦点距離である。但し、正確なｚの算出は困難なので、カメラの自動焦点機能により得られる照射対象までの距離ｄzで代用することとする。ここで、フィードハック制御中はカメラを固定しているので、ｄz＝ｃｏｎｓｔである。
【００５５】
次に、Σcにおける照射点cｐfと、Σbにおける照射点bｐfの関係は、
【００５６】
【数２】
と表される。フィードバック制御中はカメラが固定されていることから、式（２）を時間微分すると、
【００５８】
【数３】
が得られる。また、Σbにおける照射点bｐfと、Σlhにおける照射点lhｐfの関係は、式（４）で表され、図５に示す各座標系の関係から、次のように変形することができる。
【００６０】
【数４】
ここで、lｐfを実際に計測するのは困難なので、カメラの自動焦点機能により得られる照射対象までの距離ｄzを近似値として使用し、
【００６２】
【数５】
と仮定する。更にコミュニケーション端末の幾何学モデルから、フィードバック制御中は、bｐlh、lhｐlv、lvｐl、lvＲlのパラメータは、いずれも定数である。従って、式（７）の時間微分は、次に示すように変形することができる。
【００６４】
【数６】
ここで、
【００６６】
【数７】
とおくと、式（１０）は、
【００６８】
【数８】
と表される。式（３）（１４）から、カメラ座標系Σcにおけるレーザポインタ照射点の微小変位
【００７０】
【数９】
と、レーザポインタを水平／垂直方向に微小変位
【００７２】
【数１０】
の関係は、
【００７４】
【数１１】
と表すことができる。但し、Ｍ∈Ｒ3X2である。
【００７６】
よって、式（１）（１６）より次式が得られる。
【００７７】
【数１２】
行列ＪのサイズはＲ2X2である。ここで、レーザポインタ方向制御の入力ｕを、
【００７９】
【数１３】
と選ぶことにより、
【００８１】
【数１４】
となり、照射点が目標点Ｐdに収束することが分かる。但し、λは正の定数である。
【００８３】
実際の作業では、フィードバック制御開始時のＰfの初期値Ｐf0は、ＣＣＤカメラの視野の中に存在する必要がある。これについては、特開２００１−４５４５１号公報で提案されたレーザポインタ点灯時に画像平面中央付近にレーザポインタ照射点が現れる制御手法等を利用することにより、実現可能である。
【００８４】
以上に示されたレーザポインタ方向制御器を用いて、実際にレーザポインタ照射位置を指示目標位置へ位置決めする実験の結果を図６に示す。図は画像平面上のレーザポインタ照射位置の軌跡を表している。照射位置が初期位置Ｐf0から、指示目標位置Ｐdへ収束し、本発明に係るレーザポインタ方向制御器がうまく機能していることが分かる。
【００８５】
【発明の効果】
以上のように、本発明に係るレーザポインタ方向制御方法およびレーザポインタ方向制御装置によれば、指令センタに居る熟練者が、遠隔作業地の映像上で作業指示位置を教示するだけで、コミュニケーション端末に搭載されているレーザポインタの照射点を自動的に前記作業指示位置へ位置決めすることが可能となり、円滑な遠隔作業指示を行う際に障害となる映像信号やコミュニケーション端末の制御信号の送受信時に発生する時間的なずれ、時間的な遅れ、受信映像枚数の減少等の影響を受けること無く、円滑な遠隔作業指示およびコミュニケーションが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態の一例に係るコミュニケーション端末、レーザポインタ方向制御器を説明するための図
【図２】本発明の実施の形態の一例に係る遠隔作業支援コミュニケーション装置を説明するための図
【図３】本発明の実施の形態の一例に係るコミュニケーション端末を説明するための図
【図４】本発明の実施の形態の一例に係る視覚フィードバックによるレーザポインタ方向制御を説明するための図
【図５】本発明の実施の形態の一例に係るコミュニケーション端末の幾何学モデルを説明するための図
【図６】本発明の実施の形態の一例に係るレーザポインタ方向制御手法に基づく実験結果を示す図
【図７】従来の遠隔作業支援コミュニケーション装置の一例を示す図
【符号の説明】
１：コミュニケーション端末、２：カメラ部、２ａ：カメラ、２ｂ：上下用サーボモータ、２ｃ：左右用サーボモータ、２ｄ：ズーム機構、２ｅ：自動焦点機構、３：レーザポインタ部、３ａ：レーザポインタ、３ｂ：上下用サーボモータ、３ｃ：左右用サーボモータ、４：レーザポインタ発見追跡画像処理器、５：レーザポインタ方向制御器、６：指示目標位置設定装置、８：中継部、９：取付台、１０：クライアント装置、１０ａ：クライアント制御器、１０ｂ：マイク、１０ｃ：スピーカ、１０ｄ：モニタ、１０ｅ：ネットワークインタフェイス、１０ｆ：カメラ、１０ｇ：操作装置、１１：サーバ装置、１１ａ：サーバ制御器、１１ｂ：マイク、１１ｃ：スピーカ、１１ｄ：モニタ、１１ｅ：ネットワークインタフェイス。
Claims (2)
- 指令センタに設置されたクライアント装置から作業地に設置されたサーバ装置へ指令を送り、該指令に従い、サーバ装置を構成するコミュニケーション端末に搭載されたレーザポインタの方向を制御する方法であって、
前記コミュニケーション端末に搭載されたカメラによって撮影され、クライアント装置の表示部に表示された作業地の映像上でレーザポインタが照射する指示目標位置を設定するレーザポインタの方向制御方法において、
クライアント装置が、前記指示目標位置をサーバ装置へ送信する過程と、
サーバ装置が、前記指示目標位置を受信する過程と、
サーバ装置が、前記カメラによって撮影された映像からレーザポインタの照射点を発見・追跡し、画像平面上または映像上の照射点の座標値を、照射点の現在値として抽出する過程と、
サーバ装置が、前記指示目標位置と前記レーザポインタの照射点の現在値との差を求める過程と、
サーバ装置が、前記差が零に収束するように前記レーザポインタを動作させる各サーボモータへの指令値を、前記カメラの自動焦点機構より得られる距離情報と、前記カメラのズーム機構より得られる焦点距離と、前記カメラ及び前記レーザポインタを動作させる各サーボモータの角度とから算出し、レーザポインタの方向を制御する過程とを有する
ことを特徴とするレーザポインタの方向制御方法。 - 指令センタに設置されたクライアント装置から作業地に設置されたサーバ装置へ指令を送り、該指令に従い、サーバ装置を構成するコミュニケーション端末に搭載されたレーザポインタの方向を制御する装置であって、
前記コミュニケーション端末に搭載されたカメラによって撮影され、クライアント装置の表示部に表示された作業地の映像上でレーザポインタが照射する指示目標位置を設定する手段を備えたレーザポインタの方向制御装置において、
前記指示目標位置をクライアント装置からサーバ装置へ送信する手段と、
前記カメラによって撮影された映像からレーザポインタの照射点を発見・追跡し、画像平面上または映像上の照射点の座標値を、照射点の現在値として抽出する手段と、
前記指示目標位置と前記レーザポインタの照射点の現在値との差を求める手段と、
前記差が零に収束するように前記レーザポインタを動作させる各サーボモータへの指令値を、前記カメラの自動焦点機構より得られる距離情報と、前記カメラのズーム機構より得られる焦点距離と、前記カメラと前記レーザポインタを動作させる各サーボモータの角度とから算出し、レーザポインタの方向を制御する手段とを備えた
ことを特徴とするレーザポインタの方向制御装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001223264A JP3820116B2 (ja) | 2001-07-24 | 2001-07-24 | レーザポインタの方向制御方法およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001223264A JP3820116B2 (ja) | 2001-07-24 | 2001-07-24 | レーザポインタの方向制御方法およびその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003037840A JP2003037840A (ja) | 2003-02-07 |
| JP3820116B2 true JP3820116B2 (ja) | 2006-09-13 |
Family
ID=19056628
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001223264A Expired - Fee Related JP3820116B2 (ja) | 2001-07-24 | 2001-07-24 | レーザポインタの方向制御方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3820116B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4485933B2 (ja) * | 2004-12-22 | 2010-06-23 | 日本電信電話株式会社 | 遠隔コミュニケーションシステムとこのシステムで使用される方向提示方法及び方向提示プログラム |
| ES2264383B1 (es) * | 2005-06-03 | 2007-11-16 | Hospital Sant Joan De Deu | Dispositivo captador de movimientos oculares. |
| CN102150116B (zh) * | 2008-04-09 | 2014-03-12 | 惠普开发有限公司 | 远程控制指示器、远程控制指示方法及设备 |
| JP5291389B2 (ja) * | 2008-06-11 | 2013-09-18 | 株式会社タムラ製作所 | ポインティングシステム、ポインティング方法、ポインティングプログラム及び指示ベクトル演算装置 |
| JP2010152427A (ja) * | 2008-12-24 | 2010-07-08 | Central Motor Co Ltd | レーザー発光器を使用した作業要素指示装置 |
| JP5246148B2 (ja) * | 2009-12-04 | 2013-07-24 | 富士通株式会社 | 投光制御プログラム、投光制御装置および投光制御方法 |
| US9538131B2 (en) | 2013-10-25 | 2017-01-03 | National Institute Of Advanced Industrial Science And Technology | Remote behavior navigation system and processing method thereof |
| WO2019236588A1 (en) | 2018-06-04 | 2019-12-12 | The Research Foundation For The State University Of New York | System and method associated with expedient determination of location of one or more object(s) within a bounded perimeter of 3d space based on mapping and navigation to a precise poi destination using a smart laser pointer device |
-
2001
- 2001-07-24 JP JP2001223264A patent/JP3820116B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003037840A (ja) | 2003-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4332231B2 (ja) | 撮像装置コントローラおよび撮像システム | |
| JP5005080B2 (ja) | パノラマ画像の生成方法 | |
| EP3785429B1 (en) | Videoconferencing device and method | |
| CN102461153A (zh) | 控制装置、相机系统和程序 | |
| JP2000307928A (ja) | カメラ制御装置 | |
| JP3891285B2 (ja) | Ｘ線透視装置 | |
| JP3820116B2 (ja) | レーザポインタの方向制御方法およびその装置 | |
| JPWO2017033619A1 (ja) | 撮像システム及び撮像制御方法 | |
| JP4243883B2 (ja) | リモコン雲台システム | |
| US20060290786A1 (en) | Remote instruction system and method thereof | |
| JPH0946776A (ja) | 遠隔指示装置および方法 | |
| JP2000041176A (ja) | 制御装置、制御システム、制御方法、及び記憶媒体 | |
| JP2000083246A (ja) | カメラ制御システム、カメラ制御方法、およびその処理を実行するプログラムを記憶した記録媒体 | |
| EP0989747A2 (en) | Television lens apparatus adapted for a virtual studio | |
| JP2007047436A (ja) | 遠隔指示システム | |
| JP4089854B2 (ja) | 遠隔作業支援コミュニケーション装置 | |
| JPH09116886A (ja) | 画像情報通信装置 | |
| JP3555151B2 (ja) | カメラ撮影制御装置 | |
| JPH10322581A (ja) | 撮像装置コントローラおよび撮像システム | |
| JP4332580B2 (ja) | 制御装置および制御方法、並びに監視システム | |
| JP2005354748A (ja) | 撮像手段制御方法および撮像手段制御装置 | |
| JP2004320175A (ja) | 監視カメラシステム | |
| JP2013085041A (ja) | 情報処理装置、その処理方法及びプログラム | |
| JP2001128156A (ja) | テレビインターホン装置 | |
| WO2024145189A1 (en) | System and method for multi-camera control and capture processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060616 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090623 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130623 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140623 Year of fee payment: 8 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |