JP4295948B2 - 撮像システム、撮像装置および撮像方法 - Google Patents

撮像システム、撮像装置および撮像方法 Download PDF

Info

Publication number
JP4295948B2
JP4295948B2 JP2002042020A JP2002042020A JP4295948B2 JP 4295948 B2 JP4295948 B2 JP 4295948B2 JP 2002042020 A JP2002042020 A JP 2002042020A JP 2002042020 A JP2002042020 A JP 2002042020A JP 4295948 B2 JP4295948 B2 JP 4295948B2
Authority
JP
Japan
Prior art keywords
imaging
image
captured image
recorded
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002042020A
Other languages
English (en)
Other versions
JP2003244516A (ja
Inventor
正直 筒井
潤 永井
亘 谷本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2002042020A priority Critical patent/JP4295948B2/ja
Publication of JP2003244516A publication Critical patent/JP2003244516A/ja
Application granted granted Critical
Publication of JP4295948B2 publication Critical patent/JP4295948B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Selective Calling Equipment (AREA)
  • Telephone Function (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像の撮像動作を無線により遠隔操作するための撮像システム、この撮像システムを構成する撮像装置、および撮像方法に関する。
【0002】
【従来の技術】
近年、手軽に携帯して画像を撮像し、デジタルデータとして記録することが可能なデジタルスチルカメラ(以下、DSCと略称する)が広く普及している。DSCに対しては、解像度や画質が年々高められているだけでなく、記録した画像や撮影操作等に対する様々な付加機能が提案され、利便性や商品価値の向上が図られている。
【0003】
記録した画像に関する機能としては、例えば、ケーブルを介して外部の機器に直接送信する機能により、PC(パーソナルコンピュータ)を介さずにプリンタ装置等に画像データを送信することが可能となっている。また、近年のブルートゥース(Bluetooth)等の近距離無線通信技術の発達により、画像データの転送を無線により行うことが考えられている。さらに、携帯電話機やPDA(Personal Digital Assistants)等の携帯端末に対して、撮像した画像をその場で送信し、表示させる機能も提案されている。例えば、特開2001−103409公報では、撮像して記録した画像を腕時計に無線送信して表示させることが可能なシステムが開示されている。
【0004】
また、撮影操作に対する機能としては、従来から備えられているセルフタイマ機能に代わって、赤外線通信等を利用してシャッタスイッチ等の遠隔操作を行う機能が提案されている。このような機能は、通常、DSCの付属品として提供される専用のリモートコントローラを使用することにより実現される。
【0005】
【発明が解決しようとする課題】
ところで、上述したDSCの遠隔操作機能では、リモートコントローラを使用してシャッタスイッチを動作させることが可能となる。しかし、その際に画角合わせをしながら撮影することができないので、意図した通りの画像を撮影することができない場合がある。
【0006】
また、上述したように、携帯電話やPDA等の携帯端末に、近距離無線通信機能を設けることが可能となっている。そこで、このような日常的に持ち歩いて使用される携帯端末を、DSCに対するリモートコントローラとして使用することができれば、専用のリモートコントローラをDSCとともに常に携行するより、はるかに便利である。
【0007】
本発明はこのような課題に鑑みてなされたものであり、撮像装置の遠隔操作が可能で、その操作の利便性を高めた撮像システムを提供することを目的とする。
また、本発明の他の目的は、撮像動作が遠隔操作され、その操作の利便性を高めることが可能な撮像装置および撮像方法を提供することである。
【0008】
【課題を解決するための手段】
本発明では上記課題を解決するために、画像の撮像動作を無線により遠隔操作するための撮像システムにおいて、撮像素子による撮像に伴い順次出力される撮像画像信号を無線送信する撮像画像送信手段と、前記撮像画像信号の1フレーム分を基に圧縮符号化処理を行って記録画像信号を生成し、記録媒体に記録する画像記録手段と、前記記録媒体に記録された前記記録画像信号を読み出して無線送信する記録画像送信手段と、撮像画像送信要求を一定時間ごとに連続して受信すると、その都度、前記撮像画像信号を前記撮像画像送信手段に無線送信させ、前記撮像画像送信要求を連続して受信した後に画像記録要求を受信すると、前記撮像画像信号を前記撮像画像送信手段に無線送信させるとともに、前記画像記録手段に前記記録画像信号を前記記録媒体に記録させ、前記画像記録要求を受信した後に記録画像送信要求を受信すると、その直前に前記記録媒体に記録された前記記録画像信号を前記記録画像送信手段に無線送信させる制御手段とを有する撮像装置と、前記撮像画像送信要求、前記画像記録要求、および前記記録画像送信要求を無線送信し、ユーザの操作入力に応じて前記画像記録要求を送信するまでの間、前記撮像画像送信要求を一定時間ごとに連続して送信し、前記画像記録要求を送信した後に前記記録画像送信要求を送信する動作要求手段と、前記撮像画像送信要求および前記画像記録要求に応答して無線送信された前記撮像画像信号を受信する撮像画像受信手段と、前記画像記録要求に応答して無線送信された前記記録画像信号を受信する記録画像受信手段と、受信した前記撮像画像信号および前記記録画像信号を再生して再生画像を表示する再生表示手段とを有する撮像遠隔操作装置とによって構成されることを特徴とする撮像システムが提供される。
【0009】
このような撮像システムでは、撮像遠隔操作装置の動作要求手段により撮像画像送信要求が一定時間ごとに連続して無線送信されると、撮像装置ではその都度、撮像画像送信手段により、撮像素子による撮像に伴い順次出力される撮像画像信号が無線送信される。すると、撮像遠隔操作装置では、撮像画像受信手段により撮像画像信号が受信され、再生表示手段により再生画像が表示される。また、その後に、撮像遠隔操作装置の動作要求手段により画像記録要求が無線送信されると、撮像装置では、撮像画像送信手段により撮像画像信号が無線送信されるとともに、画像記録手段により、その撮像画像信号の1フレーム分を基に圧縮符号化処理を行って記録画像信号が生成され、その記録画像信号が記録媒体に記録される。撮像遠隔操作装置では、送信された撮像画像信号が撮像画像受信手段により受信され、再生表示手段に再生画像が表示される。すなわち、撮像遠隔操作装置では、撮像装置での画像記録要求受信時の撮像画像信号が表示される。さらにその後に、撮像遠隔操作装置の動作要求手段により記録画像送信要求が無線送信されると、撮像装置では、記録画像送信手段により、その直前に記録媒体に記録された記録画像信号が無線送信され、撮像遠隔操作装置では、記録画像受信手段によりその記録画像信号が受信され、再生表示手段にその再生画像を表示させることもできる
【0010】
また、本発明では、画像の撮像動作が無線により遠隔操作される撮像装置において、撮像素子による撮像に伴い順次出力される撮像画像信号を無線送信する撮像画像送信手段と、前記撮像画像信号の1フレーム分を基に圧縮符号化処理を行って記録画像信号を生成し、記録媒体に記録する画像記録手段と、前記記録媒体に記録された前記記録画像信号を読み出して無線送信する記録画像送信手段と、撮像画像送信要求を一定時間ごとに連続して受信すると、その都度、前記撮像画像信号を前記撮像画像送信手段に無線送信させ、前記撮像画像送信要求を連続して受信した後に画像記録要求を受信すると、前記撮像画像信号を前記撮像画像送信手段に無線送信させるとともに、前記画像記録手段に前記記録画像信号を前記記録媒体に記録させ、前記画像記録要求を受信した後に記録画像送信要求を受信すると、その直前に前記記録媒体に記録された前記記録画像信号を前記記録画像送信手段に無線送信させる制御手段とを有することを特徴とする撮像装置が提供される。
【0011】
このような撮像装置では、撮像画像送信要求が一定時間ごとに連続して受信されると、撮像画像送信手段によりその都度、撮像素子による撮像に伴い順次出力される撮像画像信号が無線送信される。また、その後に画像記録要求が受信されると、撮像画像送信手段により撮像画像信号が無線送信されるとともに、画像記録手段により、その撮像画像信号の1フレーム分を基に圧縮符号化処理を行って記録画像信号が生成され、その記録画像信号が記録媒体に記録される。さらにその後に、記録画像送信要求が受信されると、記録画像送信手段により、その直前に記録媒体に記録された記録画像信号が無線送信される。
【0012】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1は、本発明の撮像システムの原理を説明するための原理構成図である。
【0013】
図1に示すように、本発明の撮像システム1は、画像を撮像して記録する撮像装置2と、この撮像装置2における動作を遠隔操作する撮像遠隔操作装置3によって構成される。また、撮像装置2と撮像遠隔操作装置3との間のデータ送受信は、すべて無線によって行われる。撮像装置2は、DSC、あるいは静止画像の記録機能を具備するデジタルビデオカメラ等、画像の撮像機能および記録機能を有する機器である。また、撮像遠隔操作装置3は、例えば携帯電話機やPDA、腕時計等、携帯性を有する機器として実現されることが望ましい。
【0014】
撮像装置2は、撮像素子により被写体からの入射光を光電変換して、画像信号を出力する撮像部21と、撮像部21から出力された画像信号を記録媒体22aに記録する画像記録部22と、撮像部21からの撮像画像信号を、撮像遠隔操作装置3に対して無線送信する撮像画像送信部23を有している。また、撮像部21により撮像されている画像または記録媒体22aに記録された画像を表示させることが可能な表示部24を具備してもよい。さらに、記録媒体22aに記録された画像信号を読み出し、撮像遠隔操作装置3に対して無線送信する記録画像送信部25を具備してもよい。
【0015】
なお、以下の説明では、撮像部21から順次出力される画像信号を撮像画像信号と呼称し、画像記録部22により記録媒体22aに記録された画像信号を記録画像信号と呼称することとする。
【0016】
撮像部21は、入射光に応じた撮像画像信号を順次出力する。画像記録部22は、撮像遠隔操作装置3から無線により送信される記録要求に応じて、撮像部21からの撮像画像信号の1フレーム分を、所定のデータフォーマットのデジタル信号として記録媒体22aに書き込む。記録媒体22aは、例えばフラッシュメモリ等の不揮発性半導体メモリや、FD(フレキシブルディスク)等の各種ディスク媒体等が適用可能である。
【0017】
撮像画像送信部23は、撮像遠隔操作装置3から無線により送信される送信要求に応じて、撮像部21からの撮像画像信号を無線送信する。このとき例えば、順次出力される撮像画像信号の1フレーム分について、画像サイズを圧縮したサムネイル画像に変換して送信する。
【0018】
表示部24は、例えばLCD(Liquid Crystal Display)等により構成され、撮像部21から順次出力される撮像画像信号を再生し、表示する。このとき表示される画像はカメラスルー画像と呼ばれ、画像を記録する前の画角合わせに使用される。また、表示部24は、記録媒体22aにおける記録画像信号を読み出して再生し、表示させることもできる。
【0019】
記録画像送信部25は、撮像遠隔操作装置3から無線により送信される送信要求に応じて、記録媒体22aにおける記録画像信号を読み出して無線送信する。
一方、撮像遠隔操作装置3は、撮像装置2における撮像画像信号の記録動作を無線を通じて要求する記録要求部31と、撮像装置2の撮像部21から出力される撮像画像信号を無線を通じて取得する撮像画像取得部32と、取得した撮像画像信号を再生し、表示する表示部33を有している。また、撮像装置2において、記録媒体22aに記録された記録画像信号を無線を通じて取得する記録画像取得部34を具備してもよい。
【0020】
記録要求部31は、撮像装置2に対して記録要求を無線送信する。これにより、撮像装置2において撮像された画像の記録動作が遠隔操作され、撮像画像信号が記録媒体22aに記録される。
【0021】
撮像画像取得部32は、撮像画像信号に対する送信要求を無線送信し、この送信要求に応じて撮像装置2の撮像画像送信部23から無線送信される撮像画像信号を受信する。受信された撮像画像信号は、表示部33において再生され、表示される。これにより、撮像装置2におけるカメラスルー画像が、表示部33において表示される。
【0022】
記録画像取得部34は、撮像装置2に対して記録画像信号に対する送信要求を無線送信し、この送信要求に応じて撮像装置2の記録画像送信部25から無線送信される記録画像信号を受信する。受信された記録画像信号は、表示部33において再生・表示させることができる。
【0023】
このような撮像システム1では、撮像遠隔操作装置3より、撮像装置2における撮像画像の記録動作を遠隔操作することが可能となるとともに、撮像装置2におけるカメラスルー画像を表示させることができる。従って、撮像遠隔操作装置3のユーザは、記録動作を要求する前にカメラスルー画像を取得してこれを閲覧することにより、画角合わせをすることが可能となるので、意図した通りの画像を記録することができる。
【0024】
また、遠隔操作により記録媒体22aに記録させた画像信号を無線により送信させ、撮像遠隔操作装置3で取得することができる。この記録画像信号は、例えば表示部33に表示させることにより、実際に記録された画像を確認することが可能となる。また、カメラスルー画像がサムネイル画像として取得される場合は、圧縮等のデータ処理が施されていない記録画像信号を取得し、例えば保存することが可能となる。
【0025】
次に、画像の記録動作を遠隔操作する際の信号の送受信手順の具体例を、図1を用いて説明する。
まず、撮像装置2では、撮像部21による撮像画像信号が順次出力され、かつ撮像遠隔操作装置3からの無線を通じた信号の受信待機状態となっている。このとき、カメラスルー画像が表示部24において表示されていてもよい。
【0026】
この状態で、撮像遠隔操作装置3では、撮像画像取得部32から撮像画像信号に対する送信要求が送信される。撮像部21ではこの送信要求が受信され、撮像画像送信部23により、撮像部21からのこの時点の撮像画像信号が取得され、例えばサムネイル画像の信号に変換された後、撮像遠隔操作装置3に対して送信される。撮像遠隔操作装置3では、撮像装置2からの撮像画像信号が撮像画像取得部32により受信され、受信された撮像画像信号が表示部33において再生・表示される。
【0027】
この撮像画像信号に対する送信要求は、撮像遠隔操作装置3のユーザによる操作入力に基づいて任意に送信することが可能である。また、撮像画像取得部32は、一定時間ごとに送信要求を送信するようにしてもよい。これにより、撮像遠隔操作装置3のユーザは、頻繁な操作入力をすることなしに、常に最新のカメラスルー画像を閲覧することが可能となる。
【0028】
次に、任意のタイミングで、撮像画像信号に対する記録要求が記録要求部31から送信される。撮像装置2では、この記録要求を受信すると、画像記録部22により、この時点で撮像部21から出力された1フレーム分の撮像画像信号が、所定のデータフォーマットに変換されて、記録媒体22aに記録される。
【0029】
次に、撮像遠隔操作装置3では、ユーザによる操作入力に基づいて、記録画像信号に対する送信要求が記録画像取得部34から送信される。撮像装置2では、この送信要求を受信すると、記録画像送信部25により、例えば直前に記録された画像信号が記録媒体22aから読み出され、撮像遠隔操作装置3に対して送信される。
【0030】
撮像遠隔操作装置3では、撮像装置2からの記録画像信号が記録画像取得部34において受信される。受信した記録画像信号は、例えば表示部33において再生・表示される。あるいは、撮像遠隔操作装置3が具備する記録媒体に画像ファイルとして記録される。
【0031】
なお、撮像装置2では、撮像画像信号に対する記録媒体22aへの記録要求を受信すると、画像記録部22による画像記録動作を行うだけでなく、このとき撮像部21から出力されている撮像画像信号を、撮像画像送信部23より送信させるようにしてもよい。撮像遠隔操作装置3では、この撮像画像信号を受信して、表示部33に表示させることにより、記録された画像を即座に確認することが可能となる。
【0032】
以上のように、本発明の撮像システム1では、撮像装置2における画像記録動作を、撮像遠隔操作装置3より遠隔操作することが可能で、その際に撮像遠隔操作装置3においてカメラスルー画像を閲覧することができる。従って、撮像遠隔操作装置3のユーザが意図した通りの画像を撮影することが可能となり、遠隔操作時の利便性が高まる。
【0033】
ところで、このようなシステムは、上述したような撮像画像信号や記録画像信号の転送、および記録動作の要求に関する無線を用いた通信手順が、撮像装置2と撮像遠隔操作装置3との間で規定されることで実現することができる。この通信手順の規定には、転送される画像信号のデータ仕様等も含めることが可能である。
【0034】
このような通信手順の規定は、例えば、無線による物理的なデータ伝送方式や、このデータ伝送方式を用いたパケット送受信およびリンク確立に関する規約、およびこれらの規約に従って行うシリアル通信規約を含む通信プロトコルの上位層において規定されればよい。従って、下位層でいかなる通信プロトコルが規定されていても、その上位層で上記の通信手順が規定されることで、本発明のシステムが実現される。
【0035】
例えば、上記の撮像システム1に適用可能な無線通信規格として、ブルートゥースが考えられる。ブルートゥースでは、下位層の通信プロトコルとして、BB(Baseband)、LMP(Link Manager Protocol)、L2CAP(Logic Link Control And Adaptation Protocol)、SDP(Service Discovery Protocol)、およびRFCOMM(RF Communication Protocol)等が規定されている。
【0036】
ブルートゥースでは、無線によるデータ送受信方式として、周波数ホッピング型のスペクトル拡散方式を採用している。BBは、ブルートゥースモジュール同士の物理的なRF(Radio Frequency)リンクを可能にするプロトコルで、周波数ホッピングの管理やパケットに対する誤り訂正等を規定する。LMPは、BBレイヤに対して通信リンクに関する様々な設定を行うためのプロトコルで、リンク確立やデバイスの認証等を規定する。L2CAPは、LMPとパラレルに動作して上位層のデータとの論理的な接続を管理するプロトコルである。
【0037】
SDPは、上位層でのクライアント・サーバ間で、互いの提供可能なサービスやデバイス情報等を照会するためのプロトコルである。RFCOMMは、シリアルポートのエミュレーションを行う適合プロトコルである。さらに、ブルートゥースでは、このRFCOMMレイヤ上で、プレゼンテーション層におけるオブジェクトデータ交換のための手順(接続、送信、切断等)について定義したOBEX(Object Exchange Protocol)が規定されている。
【0038】
従って、このOBEXレイヤあるいはRFCOMMレイヤ上に、上述したような撮像画像信号の転送手順、記録媒体22aに対する記録動作の要求手順、および記録画像信号の転送手順を規定することにより、本発明を実現することが可能となる。
【0039】
ブルートゥースを用いて画像データの送受信を行うための仕様としては、BIP(Basic Imaging Profile)が規定されている。ブルートゥース規格では、ブルートゥースSIG(Special Interest Group)において、対応する機器間の信号のやり取りがプロファイルとして策定されており、機器間で通信を行うためには、双方が同じプロファイルに対応している必要がある。BIPは、OBEXレイヤ上で画像データの送受信をするためのプロファイルであり、上記の通信手順が標準で規定されており、上記のシステムに適用する通信規約として最も望ましい。
【0040】
以下、ブルートゥース規格のBIP(バージョン0.95)を使用した場合の実施の態様について具体的に説明する。ここでは、撮像装置2としてDSC、撮像遠隔操作装置3として携帯電話機を適用した場合の撮像システムの構成例について説明する。
【0041】
図2は、本発明に適用可能なDSCの内部構成例を示すブロック図である。
図2に示すように、撮像システムを構成するDSC4は、撮像機能を担うカメラブロック41と、撮像された画像信号のアナログ−デジタル変換等の信号処理を行うカメラ信号処理42と、画像信号の圧縮・伸張処理等を行う画像処理部43と、画像データ等を一時記憶するためのメモリ44と、着脱可能な半導体メモリであるメモリカード45aへの書き込みおよび読み出しを行うR/W(リーダ/ライタ)45と、画像をモニタに表示する表示部46と、装置全体の制御をつかさどる制御マイコン47を具備し、これらがそれぞれバス接続されている。また、制御マイコン47には、ユーザによる操作入力のための入力部48と、外部の機器と無線通信するためのブルートゥースモジュール49が接続されている。
【0042】
カメラブロック41は、被写体から入射光に対する光学系やアイリス、シャッタ、CCD(Charge Coupled Device)等の撮像素子等により構成される。カメラ信号処理部42は、撮像素子からの出力信号に対するデジタル信号への変換や、各種画質補正、信号変換処理等を行う。画像処理部43は、所定のデータフォーマットに基づいて、画像信号の圧縮・伸張処理や解像度等のデータ仕様の変換処理等を行う。メモリ44は、各機能ブロックにおける処理に応じて、画像信号をはじめとする各種信号を一時的に記憶する。
【0043】
R/W45は、画像処理部43からの出力画像信号を、セットされたメモリカード45aに書き込む。また、メモリカード45aに記録された画像データを読み出し、制御マイコン47や画像処理部43に対して送出する。表示部46は、例えばLCD(Liquid Crystal Display)等により構成され、カメラスルー画像や、メモリカード45aから読み出された画像を表示する。
【0044】
制御マイコン47は、DSC4の各回路ブロックを制御する制御処理部であり、入力部48からの指示入力信号、あるいはブルートゥースモジュール49を介して外部機器から受信された制御信号に基づいて、各回路ブロックを制御する。入力部48は、例えばカメラブロック41のシャッタを操作するためのシャッタレリーズボタンや、動作モードを選択するための選択スイッチ等により構成され、ユーザによる操作に応じた指示入力信号を制御マイコン47に対して出力する。
【0045】
ブルートゥースモジュール49は、例えば、周波数ホッピング型のスペクトル拡散方式による信号送受信のためのアンテナおよびRFトランシーバや、ベースバンド処理、制御マイコン47とのインタフェース処理等を行うプロセッサ等により構成されて、制御マイコン47により制御される通信手順に従って、携帯電話機等の外部機器との無線通信を行う。
【0046】
このようなDSC4では、制御マイコン47による制御の下で、カメラブロック41から出力される画像信号が、カメラ信号処理部42を介して表示部46に送出され、カメラスルー画像として表示される。また、入力部48からの指示入力信号によりカメラブロック41のシャッタが切られると、撮像された画像信号がカメラ信号処理部42から画像処理部43に送出されてデータ圧縮処理され、R/W45においてメモリカード45aに記録される。
【0047】
さらに、メモリカード45aに記録された画像データを読み出し、画像処理部43で伸張処理を施した後、表示部46に表示することができる。また、後述するように、ブルートゥースモジュール49を介して外部機器から受信した制御信号に応じて、撮像した画像信号の記録処理や、カメラスルー画像、あるいはメモリカード45aから読み出した画像の無線送出処理等が行われる。
【0048】
次に、図3は、DSC4に対する遠隔操作が可能な携帯電話機の内部構成例を示すブロック図である。
図3に示す携帯電話機5は、図2に示したDSC4の有するブルートゥースモジュール49と同様の機能を有するブルートゥースモジュール51と、所定の電話通信用無線通信規格に従って無線通信するための通話用無線モジュール52と、装置全体の制御をつかさどる制御マイコン53と、ユーザに対する電話通話等のための音声の入出力を行う音声入出力部54と、画像信号に対する各種データ処理を行う画像処理部55と、画像を表示する表示部56と、ユーザによる操作入力が行われる入力部57によって構成される。
【0049】
ブルートゥースモジュール51は、制御マイコン53による制御に基づき、DSC4との間の無線によるデータ送受信を行う。通話用無線モジュール52は、無線電波の送受信を行うためのアンテナや変復調回路等を具備し、制御マイコン53による制御に基づき、外部の図示しない電話通信用の基地局との無線によるデータ送受信を行う。制御マイコン53は、携帯電話機5の各回路ブロックを制御する制御処理部であり、入力部57あるいはブルートゥースモジュール51からの制御信号に基づいて、各回路ブロックにおける動作を制御する。
【0050】
音声入出力部54は、スピーカおよびマイクを具備し、制御マイコン53から供給される音声信号を再生して音声を出力するとともに、ユーザの音声を音声信号に変換して、制御マイコン53に出力する。画像処理部55は、ブルートゥースモジュール51により受信された画像信号の伸張処理等のデータ変換処理を行う。表示部56はLCD等のモニタを具備し、画像処理部55からの出力画像信号を再生して画像を表示する。入力部57は、電話通話操作およびDSC4の遠隔操作用の各種ボタンスイッチ等を具備し、ユーザからの操作入力に基づく制御信号を制御マイコン53に供給する。
【0051】
この携帯電話機5では、それぞれ異なる無線通信規格に基づく電話通話機能とDSC4に対する遠隔操作機能とを具備している。電話通話機能の実行時では、入力部57における操作に基づいて、通話用無線モジュール52において基地局との無線通信接続が確立された後、基地局からの電波信号が受信され、復調処理等が行われる。そして、出力された音声信号が制御マイコン53を介して音声入出力部54に供給され、復号処理されてスピーカより音声が出力される。また、これとともに、音声入出力部54のマイクより入力された音声データは、所定のデータフォーマットに変換された後、制御マイコン53を介して通話用無線モジュール52に供給され、基地局に対して無線送信される。
【0052】
一方、DSC4に対する遠隔操作機能の実行時では、入力部57における操作に基づいて、ブルートゥースモジュール51においてDSC4との無線通信接続が確立される。そして、DSC4から受信された画像信号が、画像処理部55で伸張処理された後、表示部56において表示される。また、DSC4における画像記録動作を制御することができる。
【0053】
以上のDSC4および携帯電話機5によって構成される撮像システムでは、上述したように、ブルートゥース規格のBIPを使用して通信が行われる。このBIPでは、アプリケーションレベルでの目的に合わせて、画像送受信やカメラの遠隔操作等のための仕様をフィーチャ(Feature)として規定している。携帯電話機5からDSC4を遠隔操作するためには、このうちリモートカメラフィーチャ(Remote Camera Feature)を双方がサポートしている必要がある。
【0054】
「Remote Camera Feature」では、OBEXレイヤ上のデータの要求および送信が、それぞれ「Get」「Push」を使用した「Function」と呼ばれるコマンドにより規定されている。このうち、カメラスルー画像の取得、およびシャッタ操作の要求のためには「Get Monitoring Image Function」を、また画像データの送信を要求するためには「Get Image Function」を使用することができる。
【0055】
携帯電話機5において「Get Monitoring Image Function」が実行されると、これを受信したDSC4では、カメラスルー画像がサムネイル画像に変換され、携帯電話機5に対して送信される。このサムネイル画像のデータフォーマットは、160×120の画素数のJPEGデータと規定されている。また、「Get Monitoring Image Function」の実行時に、記録要求のためのフラグ(Store Flag)を「0x01」することにより、DSC4におけるシャッタ動作およびメモリカード45a等の記録媒体への記録動作を要求することができる。さらに、「Get Image Function」の実行により、記録された画像データの送信を要求することができる。
【0056】
以下、携帯電話機5を手に持ったユーザが、DSC4を三脚等に固定して自分たちを撮影する場合を例にとって、1枚の画像を撮影・記録する際の携帯電話機5およびDSC4のそれぞれにおける処理について説明する。
【0057】
まず、図4は、携帯電話機5における撮像遠隔操作処理の流れを示すフローチャートである。
図4に示すフローチャートの開始時において、携帯電話機5では、DSC4に対する遠隔操作を行う動作モードに設定される。ステップS401において、制御マイコン53の制御により、ブルートゥースモジュール51においてDSC4とのブルートゥース接続を確立する。
【0058】
ステップS402において、下位レイヤのSDP(Service Discovery Profile)に基づく検索機能を利用して、DSC4からBIPがサポートされているか否か等を示すサポート情報を取得する。ステップS403において、取得されたサポート情報より、DSC4においてBIPがサポートされているか否か、さらに「Remote Camera Feature」がサポートされているか否かをチェックする。そして、これらがサポートされていた場合にはステップS404に進み、サポートされていない場合はステップS410に進む。
【0059】
ステップS404において、BIPでのOBEXレイヤ上の接続を確立する。ステップS405において、ユーザによる操作入力に応じて、「Store Flag=0x00」として「Get Monitoring Image Function」を実行し、DSC4に対してカメラスルー画像の送信要求を行う。ステップS406において、DSC4よりカメラスルー画像の画像信号を受信し、画像処理部55において復号処理した後、表示部56において再生表示する。
【0060】
ユーザは、表示部56に表示されたカメラスルー画像を閲覧して、画角合わせを行い、被写体である自分たちの位置が正しく表示されていた場合は入力部57よりシャッタ操作を要求する。これにより、ステップS407において、「Store Flag=0x01」とされて「Get Monitoring Image Function」が実行され、DSC4に対して画像記録動作が要求される。一方、カメラスルー画像の閲覧により画角が正しく調整されていない場合は、被写体である自分たちの位置を微調整して、新たなカメラスルー画像の閲覧を行う。すなわち、記録動作の要求を行うまでの間、ステップS407よりステップS405に戻り、ステップS405およびS406の処理が繰り返される。
【0061】
ステップS407において画像記録動作が要求されると、DSC4においてメモリカード45aに画像信号が記録されるとともに、このときのカメラスルー画像が無線送信される。そして、ステップS408において、カメラスルー画像を受信して、表示部56に再生表示する。これにより、記録された画像を確認することができる。
【0062】
また、このときに受信する画像は、画素数が縮小されたサムネイル画像であるため、記録された完全な画像信号を取得するためには、ステップS409において、ユーザの操作入力に応じて「Get Image Function」を実行し、記録画像信号の取得要求を送信して、これを受信する。受信した記録画像信号は、図示しないメモリに記録しておくか、あるいは画像処理部55で復号した後、表示部56において再生表示してもよい。ステップS410において、DSC4との接続を切断する。
【0063】
なお、上記のフローチャートにおいて、ステップS405およびS406におけるカメラスルー画像の送信要求および表示処理は、ステップS407で記録動作の要求が行われるまでの間、一定時間ごとに自動的に行うようにしてもよい。これにより、ユーザはシャッタ動作を要求するまでの間、入力操作を行うことなく、自動的に最新のカメラスルー画像を閲覧することができる。
【0064】
次に、図5は、遠隔操作により1枚分の画像が記録されるまでのDSC4における画像記録処理の流れを示すフローチャートである。
ステップS501において、携帯電話機5からの信号電波を受信して、これに応答することでブルートゥース接続が確立される。ステップS502において、携帯電話機5からの要求に応じて、BIPおよび「Remote Camera Feature」をサポートしていることを示すサポート情報を通知する。ステップS503において、携帯電話機5との間でBIPによるOBEX接続が確立する。
【0065】
ステップS504において、カメラスルー画像要求のコマンド、すなわち「Get Monitoring Image Function」を受信する。ステップS505において、携帯電話機5に対する送信用の画像信号を生成する。このとき、カメラ信号処理部42からの撮像画像信号の1フレーム分が抽出されて、画像処理部43において所定のサムネイル画像の信号に変換される。ステップS506において、このサムネイル画像がブルートゥースモジュール49より送信されて、携帯電話機5にカメラスルー画像が送信される。
【0066】
これとともに、ステップS507において、ステップS504で受信したデータより記録フラグ(Store Flag)が立っているか否かを判断し、「Store Flag=0x00」の場合はステップS504に戻って、次の「Get Monitoring Function」に対する受信待機状態となる。また、「Store Flag=0x01」の場合はステップS508に進む。ステップS508において、ステップS505で抽出された1フレーム分の撮像画像信号が、画像処理部43において所定のデータフォーマットに変換されてR/W45に送出され、メモリカード45aに記録される。
【0067】
この後、ステップS509において、記録画像信号の送信要求、すなわち「Get Image Function」を受信すると、ステップS508においてメモリカード45aに記録された記録画像信号が読み出されて、ブルートゥースモジュール49より携帯電話機5に送信される。ステップS510において、携帯電話機5との接続が切断される。
【0068】
以上の実施形態例では、BIPで規定された通信手順により、DSC4における画像記録動作が、携帯電話機5より遠隔操作されるとともに、その際に携帯電話機5においてカメラスルー画像を閲覧することができる。従って、DSC4のファインダを覗いて画角合わせをすることなく、DSC4の設置位置から離れたままでユーザが意図した通りの画像を撮影し、記録することが可能となる。
【0069】
なお、上記の実施形態例では、無線通信規格としてブルートゥースを使用したが、この他に例えば無線LAN規格(IEEE802.11b規格等、IEEE:Institute of Electrical and Electronic Engineers)を使用することも可能である。ただし、ブルートゥース規格と無線LAN規格とを比較した場合、双方とも同じ周波数帯を使用するものの、周波数ホッピング方式を用いるブルートゥース規格の方が混信に強いと考えられる。また、消費電力や無線モジュールの大きさ等の面でもブルートゥース規格の方が有利である。DSC4に対する遠隔操作装置としては、PDAや腕時計のように携帯性のよいものが望ましいため、消費電力や無線モジュールの大きさといった要素が重要となる。
【0070】
また、この遠隔操作機能は、専用の機器としてではなく、上記の携帯電話機5の他、PDAや腕時計のように日常的に持ち歩くものに設けられることで、より利便性が高まる。またこれとともに、これらの携帯機器およびDSC4の双方の商品価値を高める効果も得られる。
【0071】
【発明の効果】
以上説明したように、本発明の撮像システムでは、撮像装置における画像記録動作が撮像遠隔操作装置により遠隔操作されるとともに、撮像遠隔操作装置では、撮像画像信号を一定時間ごとの送信要求に応じて取得して表示することができる。これにより、撮像遠隔操作装置において、撮像装置における画像記録動作の前に、撮像されている画像を閲覧することができ、撮像装置から離れた位置で、意図した通りの画像を撮影し、記録することが可能となる。また、撮像画像信号の送信要求の後に、撮像遠隔操作装置から画像記録要求が送信された場合は、記録媒体に記録される信号ではなく、そのときの撮像画像信号が撮像遠隔操作装置に送信されるので、撮像遠隔操作装置では、圧縮符号化処理による記録画像信号の生成とその記録媒体への記録の処理の完了を待たずに、記録時の画像を素早く受信して表示できるようになる。さらに、画像記録要求の送信の後、撮像遠隔操作装置から記録画像送信要求が送信されると、その直前に撮像装置の記録媒体に記録された記録画像信号が送信され、撮像遠隔操作装置では、実際の記録画像信号をあらためて受信することもでき、利便性が向上する。
【0072】
また、本発明の撮像装置では、無線を通じた一定時間ごとの送信要求に応じて撮像画像信号が無線送信され、さらにその後に無線送信された記録要求に応じて画像記録動作が行われる。これにより、撮像遠隔操作装置において、記録動作の要求時までに撮像されている画像を閲覧することができ、この装置のユーザは、撮像装置から離れた位置で、意図した通りの画像を撮影し、記録することが可能となる。また、撮像遠隔操作装置から画像記録要求が送信された場合は、記録媒体に記録される信号ではなく、そのときの撮像画像信号が撮像遠隔操作装置に送信されるので、撮像遠隔操作装置では、圧縮符号化処理による記録画像信号の生成とその記録媒体への記録の処理の完了を待たずに、記録時の画像を素早く受信して表示できるようになる。さらに、画像の記録要求の受信の後、記録画像の送信要求が受信されると、その直前に撮像装置の記録媒体に記録された記録画像信号があらためて送信されるので、撮像遠隔操作装置での利便性を高めることもできる。
【図面の簡単な説明】
【図1】 本発明の撮像システムの原理を説明するための原理構成図である。
【図2】 本発明に適用可能なDSCの内部構成例を示すブロック図である。
【図3】 DSCに対する遠隔操作が可能な携帯電話機の内部構成例を示すブロック図である。
【図4】 携帯電話機における撮像遠隔操作処理の流れを示すフローチャートである。
【図5】 遠隔操作により1枚分の画像が記録されるまでのDSCにおける画像記録処理の流れを示すフローチャートである。
【符号の説明】
1……撮像システム、2……撮像装置、3……撮像遠隔操作装置、21……撮像部、22……画像記録部、22a……記録媒体、23……撮像画像送信部、24……表示部、25……記録画像送信部、31……記録要求部、32……撮像画像取得部、33……表示部、34……記録画像取得部

Claims (9)

  1. 画像の撮像動作を無線により遠隔操作するための撮像システムにおいて、
    撮像素子による撮像に伴い順次出力される撮像画像信号を無線送信する撮像画像送信手段と、
    前記撮像画像信号の1フレーム分を基に圧縮符号化処理を行って記録画像信号を生成し、記録媒体に記録する画像記録手段と、
    前記記録媒体に記録された前記記録画像信号を読み出して無線送信する記録画像送信手段と、
    撮像画像送信要求を一定時間ごとに連続して受信すると、その都度、前記撮像画像信号を前記撮像画像送信手段に無線送信させ、前記撮像画像送信要求を連続して受信した後に画像記録要求を受信すると、前記撮像画像信号を前記撮像画像送信手段に無線送信させるとともに、前記画像記録手段に前記記録画像信号を前記記録媒体に記録させ、前記画像記録要求を受信した後に記録画像送信要求を受信すると、その直前に前記記録媒体に記録された前記記録画像信号を前記記録画像送信手段に無線送信させる制御手段と、
    を有する撮像装置と、
    前記撮像画像送信要求、前記画像記録要求、および前記記録画像送信要求を無線送信し、ユーザの操作入力に応じて前記画像記録要求を送信するまでの間、前記撮像画像送信要求を一定時間ごとに連続して送信し、前記画像記録要求を送信した後に前記記録画像送信要求を送信する動作要求手段と、
    前記撮像画像送信要求および前記画像記録要求に応答して無線送信された前記撮像画像信号を受信する撮像画像受信手段と、
    前記記録画像送信要求に応答して無線送信された前記記録画像信号を受信する記録画像受信手段と、
    受信した前記撮像画像信号および前記記録画像信号を再生して再生画像を表示する再生表示手段と、
    を有する撮像遠隔操作装置と、
    によって構成されることを特徴とする撮像システム。
  2. 前記撮像装置において、前記撮像画像送信手段は、前記撮像画像信号の1フレーム分を、画像サイズを縮小したサムネイル画像として送信することを特徴とする請求項1記載の撮像システム。
  3. 前記撮像装置と前記撮像遠隔操作装置との間では、無線による物理的なデータ伝送方式、前記データ伝送方式を用いたパケット送受信およびリンク確立に関する規約、および前記規約に従って行うシリアル通信規約を含む通信プロトコルが規定され、
    前記撮像画像信号および前記記録画像信号の転送手順は、前記通信プロトコルに従ってオブジェクトデータの交換を行うための通信手順を規定したオブジェクト交換プロトコルに従って行われることを特徴とする請求項1記載の撮像システム。
  4. 前記物理的なデータ伝送方式として、周波数ホッピング型のスペクトル拡散方式が用いられることを特徴とする請求項3記載の撮像システム。
  5. 前記オブジェクト交換プロトコルは、ブルートゥース規格のBIP(Basic Imaging Profile)に基づいて規定されることを特徴とする請求項3記載の撮像システム。
  6. 前記撮像遠隔操作装置は、前記撮像装置との間で用いられる無線通信網とは異なる別の無線通信網により、受信した音声信号に基づいて音声を再生出力するとともに、収音して得られた音声信号を送信する無線通話手段をさらに具備する携帯電話機であることを特徴とする請求項1記載の撮像システム。
  7. 前記撮像遠隔操作装置は、入力に応じて各種の情報処理を行う情報処理手段をさらに有する携帯型情報処理装置であることを特徴とする請求項1記載の撮像システム。
  8. 画像の撮像動作が無線により遠隔操作される撮像装置において、
    撮像素子による撮像に伴い順次出力される撮像画像信号を無線送信する撮像画像送信手段と、
    前記撮像画像信号の1フレーム分を基に圧縮符号化処理を行って記録画像信号を生成し、記録媒体に記録する画像記録手段と、
    前記記録媒体に記録された前記記録画像信号を読み出して無線送信する記録画像送信手段と、
    撮像画像送信要求を一定時間ごとに連続して受信すると、その都度、前記撮像画像信号を前記撮像画像送信手段に無線送信させ、前記撮像画像送信要求を連続して受信した後に画像記録要求を受信すると、前記撮像画像信号を前記撮像画像送信手段に無線送信させるとともに、前記画像記録手段に前記記録画像信号を前記記録媒体に記録させ、前記画像記録要求を受信した後に記録画像送信要求を受信すると、その直前に前記記録媒体に記録された前記記録画像信号を前記記録画像送信手段に無線送信させる制御手段と、
    を有することを特徴とする撮像装置。
  9. 撮像遠隔操作装置からの無線信号に応じて撮像動作を実行する撮像方法において、
    受信手段が、前記撮像遠隔操作装置から撮像画像送信要求を一定時間ごとに連続して受信すると、撮像画像送信手段が、その都度、撮像素子による撮像に伴い順次出力される撮像画像信号を前記撮像遠隔操作装置に無線送信し、
    前記受信手段が、前記撮像画像送信要求を連続して受信した後に、前記撮像遠隔操作装置から画像記録要求を受信すると、前記撮像画像送信手段が、前記撮像画像信号を前記撮像遠隔操作装置に無線送信するとともに、画像記録手段が、前記撮像画像信号の1フレーム分を基に圧縮符号化処理を行って記録画像信号を生成し、当該記録画像信号を記録媒体に記録し、
    前記受信手段が、前記画像記録要求を受信した後に、前記撮像遠隔操作装置から記録画像送信要求を受信すると、記録画像送信手段が、その直前に前記記録媒体に記録された前記記録画像信号を前記撮像遠隔操作装置に無線送信する、
    ことを特徴とする撮像方法。
JP2002042020A 2002-02-19 2002-02-19 撮像システム、撮像装置および撮像方法 Expired - Fee Related JP4295948B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002042020A JP4295948B2 (ja) 2002-02-19 2002-02-19 撮像システム、撮像装置および撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002042020A JP4295948B2 (ja) 2002-02-19 2002-02-19 撮像システム、撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JP2003244516A JP2003244516A (ja) 2003-08-29
JP4295948B2 true JP4295948B2 (ja) 2009-07-15

Family

ID=27782266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002042020A Expired - Fee Related JP4295948B2 (ja) 2002-02-19 2002-02-19 撮像システム、撮像装置および撮像方法

Country Status (1)

Country Link
JP (1) JP4295948B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017211054A1 (zh) * 2016-06-08 2017-12-14 惠州Tcl移动通信有限公司 蓝牙智能手表、智能终端、及其spp远程控制拍照的方法和系统
WO2022119363A1 (ko) * 2020-12-04 2022-06-09 주식회사 메디트 치과 치료를 위한 스캐너 및 그의 데이터 전송 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009118474A (ja) * 2007-10-19 2009-05-28 Softbank Mobile Corp 携帯電話装置及び腕時計型端末装置からなるシステム、携帯電話装置、及び腕時計型端末装置。
KR101725888B1 (ko) * 2009-11-13 2017-04-13 삼성전자주식회사 카메라 또는 원격 제어 장치에서의 이미지 제공 방법 및 그 장치
JP5660663B2 (ja) * 2010-05-21 2015-01-28 Necカシオモバイルコミュニケーションズ株式会社 端末装置およびプログラム
EP2797061A1 (fr) * 2013-04-24 2014-10-29 The Swatch Group Research and Development Ltd. Système à multiples appareils à communication simplifiée
US10367988B2 (en) 2015-02-04 2019-07-30 Casio Computer Co., Ltd. Data processing system executing predetermined data processing by plurality of apparatuses linking
JP6278031B2 (ja) * 2015-02-04 2018-02-14 カシオ計算機株式会社 データ処理システム、データ処理装置及びデータ処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017211054A1 (zh) * 2016-06-08 2017-12-14 惠州Tcl移动通信有限公司 蓝牙智能手表、智能终端、及其spp远程控制拍照的方法和系统
US10382677B2 (en) 2016-06-08 2019-08-13 Huizhou Tcl Mobile Communication Co., Ltd. Method and system for remote control of photo-taking by a Bluetooth smart watch, a smart terminal and SPP thereof
WO2022119363A1 (ko) * 2020-12-04 2022-06-09 주식회사 메디트 치과 치료를 위한 스캐너 및 그의 데이터 전송 방법
KR20220079203A (ko) * 2020-12-04 2022-06-13 주식회사 메디트 치과 치료를 위한 스캐너 및 그의 데이터 전송 방법
KR102591975B1 (ko) 2020-12-04 2023-10-23 주식회사 메디트 치과 치료를 위한 스캐너 및 그의 데이터 전송 방법

Also Published As

Publication number Publication date
JP2003244516A (ja) 2003-08-29

Similar Documents

Publication Publication Date Title
KR100889406B1 (ko) 화상 분배 서버
US20050120381A1 (en) Home picture/video display system with ultra wide-band technology
US20080298305A1 (en) Communication system, output device, input device and wireless communication method
JP4032210B2 (ja) 携帯機器、画像送信システム、画像送信方法
JP5353895B2 (ja) 携帯端末装置、画像表示システム、画像表示方法、及びプログラム
JP2003234936A (ja) ディジタル・カメラおよびディジタル・カメラからディジタル画像を転送する方法
JP2009060163A (ja) 無線通信システム、方法及びプログラム
JP4295948B2 (ja) 撮像システム、撮像装置および撮像方法
JP3968507B2 (ja) 撮像装置、撮像システムおよび撮像動作制御方法
KR100629442B1 (ko) 카메라를 장착한 다수의 이동통신 단말기를 이용한 와이드화상 촬영 방법 및 장치
JP4755614B2 (ja) 撮像装置および撮像方法
JP7218164B2 (ja) 通信装置およびその制御方法
KR101341862B1 (ko) 플로우 모션 영상 촬영 방법 및 시스템
WO2003077535A1 (fr) Dispositif d'affichage d'images capturees et procede d'affichage d'images capturees
JP2003188801A (ja) テレビ電話機能付き携帯電話端末装置
JP4202546B2 (ja) 撮像装置および方法
JP3988075B2 (ja) 画像送信機器
JP2019004422A (ja) 通信装置、制御方法およびプログラム
US11178343B2 (en) Combining images from different devices according to a determined wipe shape
WO2022014225A1 (ja) 通信装置、通信方法、プログラム
JP2004343327A (ja) 通信機能付きカメラ及び通信システム
JP2003233472A (ja) 印刷装置、印刷システムおよび印刷動作制御方法
JP2003250073A (ja) 電子カメラ並びに携帯端末
JP2004172988A (ja) 通信装置、通信方法およびデジタルカメラシステム
KR100693587B1 (ko) 고화질 영상 및 동영상 처리 기능을 가지는무선통신단말기 및 그 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040428

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060414

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060728

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060807

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20061006

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090413

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees