JP3894310B2 - Shooting system - Google Patents

Shooting system Download PDF

Info

Publication number
JP3894310B2
JP3894310B2 JP2002281166A JP2002281166A JP3894310B2 JP 3894310 B2 JP3894310 B2 JP 3894310B2 JP 2002281166 A JP2002281166 A JP 2002281166A JP 2002281166 A JP2002281166 A JP 2002281166A JP 3894310 B2 JP3894310 B2 JP 3894310B2
Authority
JP
Japan
Prior art keywords
shooting
information
photographing
digital camera
electronic blackboard
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002281166A
Other languages
Japanese (ja)
Other versions
JP2004120370A (en
Inventor
宏志 田中
幹夫 渡辺
尚宜 椿
英二 石山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2002281166A priority Critical patent/JP3894310B2/en
Publication of JP2004120370A publication Critical patent/JP2004120370A/en
Application granted granted Critical
Publication of JP3894310B2 publication Critical patent/JP3894310B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、撮影対象に関する情報を含む撮影付属情報を、撮影した画像と関連付けて記録する撮影システムに関する。
【0002】
【従来の技術】
従来、工事現場や製造工場等における作業状況をデジタルカメラで撮影し記録するカメラシステムが知られている(特許文献1参照)。このカメラシステムは、撮影すべき個々の画像に関する撮影付属情報(撮影対象、シーン、撮影対象の書誌事項等を含む撮影情報)を、画像データベース管理用のコンピュータで作成し、作成した撮影付属情報をデジタルカメラに送信し記憶させ、撮影した画像データと撮影付属情報とを関連付けて記録し、さらに撮影した画像と撮影付属情報をコンピュータに送信して、管理するものである。撮影付属情報は、その日に撮影しなければならない画像について作成されるので、撮影付属情報にしたがって撮影を行い、撮影済の撮影付属情報と撮影前の撮影付属情報とを識別する情報を管理することにより、撮影もれの防止を図ることもできる。
【0003】
【特許文献1】
特開2001-24982号公報
【0004】
【発明が解決しようとする課題】
しかし、上記公報記載のカメラシステムでは、撮影した画像と撮影付属情報とを関連付けて記録し管理することは可能であるが、撮影付属情報を撮影対象と共に撮影シーンに写し込むことができないため、撮影した画像を工事依頼主等へ提出する写真として使用することができない場合がある。また、撮影付属情報が撮影シーンに写し込まれていないため、専用の再生用プログラムがないと撮影付属情報を確認することができない。また、現場において臨機応変に追加、変更される撮影付属情報をデジタルカメラ上で編集することは困難である。
【0005】
本発明は、上記事情に鑑みなされたもので、撮影対象に関する情報を含む撮影付属情報を、撮影画像と関連付けて記録することができ、かつ撮影付属情報を撮影対象とともに撮影シーンに容易に写し込むことができる撮影システムを提供することを目的とするものである。
【0006】
【課題を解決するための手段】
第1の発明の撮影システムは、撮影対象に関する情報を含む撮影付属情報を、撮影した画像と関連付けて記録する撮影システムにおいて、互いに無線通信可能な電子黒板装置とデジタルカメラとを備え、前記電子黒板装置は、撮影対象ごとの撮影付属情報を予め記憶した撮影付属情報記憶手段と、前記撮影付属情報記憶手段に記憶されている撮影付属情報の中から任意の撮影対象の撮影付属情報を選択するための選択手段と、前記選択手段により選択された撮影付属情報を表示する表示手段と、前記選択手段により選択された撮影付属情報を前記デジタルカメラに送信する送信手段とを備え、前記デジタルカメラは、前記電子黒板装置から受信した撮影付属情報を、撮影した画像と関連付けて記録媒体に記録する記録手段を備え、前記電子黒板装置に表示中の撮影付属情報を撮影対象と共に前記デジタルカメラで撮影するものである。
【0007】
第2の発明の撮影システムは、第1の発明の撮影システムにおいて、前記電子黒板装置が、前記表示手段により表示中の撮影付属情報に任意の追加情報を加えるための追加情報入力手段と、前記追加情報入力手段により入力された追加情報を、撮影付属情報に含めて前記表示手段に表示させるとともに前記デジタルカメラに送信させる制御手段とを備え、前記デジタルカメラが、前記電子黒板装置から受信した前記追加情報を、撮影した画像と関連付けて前記記録媒体に記録させる制御手段を備えたことを特徴とするものである。
【0008】
第3の発明の撮影システムは、撮影対象に関する情報を含む撮影付属情報を、撮影した画像と関連付けて記録する撮影システムにおいて、互いに無線通信可能なデジタルカメラと電子黒板装置とを備え、前記デジタルカメラは、撮影対象ごとの撮影付属情報を予め記憶した撮影付属情報記憶手段と、前記撮影付属情報記憶手段に記憶されている撮影付属情報の中から任意の撮影対象の撮影付属情報を選択するための選択手段と、前記選択手段により選択された撮影付属情報を前記電子黒板装置に送信する送信手段と、前記選択手段により選択された撮影付属情報を、撮影した画像と関連付けて記録媒体に記録する記録手段を備え、前記電子黒板装置は、前記デジタルカメラから受信した撮影付属情報を表示する表示手段と、前記表示手段により表示中の撮影付属情報に任意の追加情報を加えるための追加情報入力手段と、前記追加情報入力手段により入力された追加情報を、撮影付属情報に含めて前記表示手段に表示させるとともに前記デジタルカメラに送信させる制御手段とを備え、前記デジタルカメラは、前記電子黒板装置から受信した前記追加情報を、撮影した画像と関連付けて前記記録媒体に記録させる制御手段を備え、前記電子黒板装置に表示中の撮影付属情報を撮影対象と共に前記デジタルカメラで撮影することを特徴とする。
【0009】
前記追加情報入力手段は、手書き入力が可能な入力手段であることが望ましい。
【0010】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。図1は、本発明に係る撮影システムにおける電子黒板の形態例を示す外観図、図2は、本発明に係る撮影システムにおけるデジタルカメラの形態例を示す外観図である。
【0011】
図1に示すように、電子黒板装置100は、全体的に略平板形状に形成されており、その前面部の大部分は大型のLCD101とそれを覆うタッチパネル102とで構成されている。LCD101には、「工事名」、「工種」、「位置」、「設計寸法」、「設計寸法」、「実測寸法」、「立会監査員」、「略図」といった撮影付属情報の項目とその内容が所定のレイアウトで表示されている。電子黒板装置100の上端部には、図2に示すデジタルカメラ200と無線通信するためのアンテナ103が設けられている。側面部にはUSBコネクタ110が設けられている。
【0012】
図2に示すように、デジタルカメラ200は、電源スイッチ201、レリーズボタン202、モニタ用LCD203など、一般的なデジタルカメラの構成要素の他に、図1に示す電子黒板装置100と無線通信するためのアンテナ204を備えている。アンテナ204はデジタルカメラ200の上面一端部に設けられている。
【0013】
図3は、電子黒板装置100の構成例を示すブロック図である。電子黒板装置100は、上述したLCD101、タッチパネル102、アンテナ103、およびUSBコネクタ110の他に、CPU104、システムメモリ(ROM/RAM)105、不揮発性メモリ106、タイマ107、カレンダ時計108、USBインタフェース109、操作部111、無線インタフェース112、タッチパネルインタフェース113、LCD制御部114、フレームメモリ115、入出力インタフェース116、およびバッテリ117を備えて構成される。
【0014】
CPU104は、システムメモリ105に格納されているプログラムに従って電子黒板装置100の全体の動作を統括制御する。CPU104とそれ以外の各部はシステムバス118によって相互に接続されている。
【0015】
電子黒板装置100は、PC(パーソナルコンピュータ)とUSB接続することにより、PC上で予め作成された写真リストを受け取ることができるようになっている。その際、USBコネクタ110がUSBケーブルでパーソナルコンピュータと接続される。不揮発性メモリ106には、PCから取得した写真リストのデータや、タッチパネル102を使用して手書き入力された実測寸法値や略図のデータが格納される。不揮発性メモリ106に格納されたデータは、電源を切ってもそのまま保持される。システムメモリ105には、タッチパネル102の「略図」の表示領域に手書き入力されたビットマップデータを表示するプログラムや、「実測寸法」の表示領域に手書き入力されたビットマップ(BMP)データと筆順データとに基づいて文字(実測寸法値)を生成するプログラムなどが格納されている。タイマ107、カレンダ時計108は、各種処理タイミングの制御、各種情報の記録管理等に利用される。電子黒板装置100は、デジタルカメラ200と無線通信を行って、実測寸法値を含む撮影付属情報や略図のビットマップデータをデジタルカメラ200に送信する。
【0016】
図4は、デジタルカメラ200の構成例を示すブロック図である。デジタルカメラ200は、上述したモニタ用LCD203やアンテナ204の他に、撮像部205、信号処理部部206、A/D変換部207、ストロボ制御部208、ストロボ209、圧縮/伸張部210、メモリカードスロット211、メモリカード212、カードインタフェース213、フレームメモリ214、LCD制御部215、入出力インタフェース218、操作部219、無線インタフェース220、CPU222、システムメモリ223、不揮発性メモリ224、タイマ225、カレンダ時計226、OSD227、およびバッテリ228を備えて構成されている。
【0017】
デジタルカメラ200は、撮像部205、信号処理部部206、A/D変換部207によって、デジタル撮影画像信号を得る。また、ストロボ制御部208によってストロボ209を発光させて、ストロボ撮影を行うことも可能である。デジタル撮影画像信号は、圧縮/伸張部210によって圧縮処理が施され、メモリカードスロット211に装着されたメモリカード212にカードインタフェース213を介して記録する。メモリカード212への記録は、圧縮された画像データと撮影付属情報を含む画像ファイル単位で行われる。
【0018】
メモリカード212に記録された画像データに基づく画像を表示する場合は、メモリカード212から読み出した画像データに対して、圧縮/伸張部210で伸張処理を施し、フレームメモリ214に書き込む。LCD制御部215は、フレームメモリ214のデータに応じた画像をLCD203に表示させる。LCD203は、メモリカード212の画像データに基づく画像だけでなく、A/D変換部207から得られるデジタル撮像信号に基づく画像を表示することもできる。また、デジタルカメラ200の各種状態の表示、操作メニューの表示等にも利用される。
【0019】
入出力インタフェース218は、操作部219に接続され、デジタルカメラ200の各種操作情報を入力するとともに、デジタルカメラ200の状態表示用のLEDに対する信号を出力するものである。操作部219は、上述した電源スイッチ201、レリーズボタン202の他、モード設定ダイヤル230、方向キー231、メニューボタン232,実行ボタン333、キャンセルボタン234などを備えている(図2参照)。無線インタフェース220は、アンテナ204を介して外部との無線通信を行うものである。無線通信としては、Bluetooth、IrDA方式の赤外線データ通信、無線LAN等が利用できる。なお、外部機器との通信は、有線通信手段を利用するものでもよい。
【0020】
CPU222は、デジタルカメラ100全体の動作を制御するもので、所定のプログラムによって動作するプロセッサを主体に構成される。CPU222は、撮影動作、画像記録動作、画像表示動作を制御するだけでなく、後述する撮影付属情報の記録管理も行う。システムメモリ223および不揮発性メモリ224は、デジタルカメラ200内での各種処理に利用されるデータ、プログラムを記憶したり、作業用メモリとして利用されたりするものであり、タイマ225、カレンダ時計226は、各種処理タイミングの制御、各種情報の記録管理等に利用される。システムバス229は、デジタルカメラ200の各要素間のデータを転送するものである。
【0021】
以上のように構成されたデジタルカメラ200の通常の撮影動作、画像記録動作、画像表示動作は、従来のものと基本的に差異がないので説明を省略する。
【0022】
このデジタルカメラ200は、通常の撮影モードだけでなく、撮影対象に関する情報を含む撮影付属情報を、撮影画像データと関連付けて記録する撮影情報記録モードを有しており、電子黒板装置100と無線通信を行って撮影付属情報や略図のビットマップデータを取得できるようになっている。撮影した画像や略図のビットマップデータはメモリカード212に記録される。撮影付属情報の項目としては、撮影対象を特定する「工事名」や「工種」、「位置」、「設計寸法」、「実測寸法」、「立会監査員」、「略図」等の他、撮影日時、画像ファイル名等の項目がユーザの要求に応じて適宜設定される。
【0023】
図5に、PCから電子黒板装置100に入力される撮影写真リストおよび撮影付属情報の例を示す。PCから入力された時点では、全写真とも撮影は「未」となっているが、撮影を済ませたものから、電子黒板装置100が「済」に書き換えていく。また、実測寸法や略図のリンク情報(ファイル名)は、PCから入力された時点では設定されておらず、ユーザが電子黒板装置100のタッチパネル102を使用して現場で手書き入力する。
【0024】
図6は、電子黒板装置100のLCD101に表示される撮影写真リスト(撮影付属情報選択画面)160の例を示している。撮影付属情報の選択操作は、タッチパネル102を通して表示された所望の写真(撮影シーン)番号の矩形領域121、122、・・・をタッチすることにより行うことができる。LCD101に全リストを同時に表示しきれない場合は、戻るボタン131か進むボタン132をタッチすることにより、上下にスクロールさせることができる。既に撮影が終了した写真、すなわち図5の写真リスト中の撮影の項目が「済」のものは、グレーアウト表示され選択できないようになっている。撮影する順序はリストの順に従う必要は必ずしもなく、任意の順序でもかまわない。
【0025】
電子黒板装置100のLCD101に撮影写真リストを1画面に表示できない場合、スクロールさせたとしても、全ての写真の撮影が完了したかどうかの判断がし難いので、リストにある全ての写真の撮影が完了した時点で、その旨を別途表示するか、あるいは、撮影未完了の枚数(残り枚数)などを表示する。
【0026】
図7は、デジタルカメラ200に記録される画像ファイル250のデータ構造を例示している。画像ファイル250は、タグ(Tag)情報251、サムネイル252、および主画像253を含んで構成される。図示の例のデータ内容は図5の「写真001」に対応している。タグ(Tag)情報251には、デジタルカメラ200が電子黒板装置100から無線通信により取得した撮影付属情報が格納される。その際、略図については、ビットマップデータを直接格納することはせず、ファイル名等のリンク情報を格納する。リンク情報としては、ファイル名の他、UUIDを発番して、略図のビットマップファイルに埋め込むとともに略図のタグに格納してもよい。むろんリンク形式でなく、ビットマップデータを直接格納してもよい。主画像253の撮影シーンには、撮影対象(図示の例では橋脚)255とともに、撮影付属情報を表示している電子黒板装置100とスケール256が写っている。
【0027】
次に、上記撮影システムを利用して、撮影情報記録モードで撮影を行う場合の動作を説明する。図8に、電子黒板装置100およびデジタルカメラ200の概略フローを示す。電子黒板装置100には、予め図5に示すような写真リストおよび撮影付属情報が入力されているものとする。
【0028】
電子黒板装置100の電源を投入すると、図6に示すような撮影写真リストがLCD101に表示される(ステップS101)。ユーザはタッチパネル102を使用して、LCD101に表示されている撮影写真リストの中からこれから撮影する写真(撮影シーン)を選択する(ステップS102)。仮に写真Kを選択したとすると、その写真Kの撮影付属情報が電子黒板装置100のLCD101全体に表示される(ステップS103、図1参照)。ユーザは必要に応じて、タッチパネル102を使用して現場にて追加情報を手書き入力することができる(ステップS104)。手書き入力された情報は必要に応じてテキスト化され(ステップS105)、あるいはビットマップデータのまま扱われて(ステップS106)、電子黒板装置100のLCD101に追加表示される。ユーザは、電子黒板装置100を撮影対象255の傍に設置する。この状態で、電子黒板装置100はデジタルカメラ200からの撮影付属情報要求待ちとなるが、その間にユーザによる操作(たとえば画面の特定領域を2回タップするなどの操作)があった場合、撮影写真リストの表示に戻り、別の撮影付属情報を選択し直すことができるようにしてもよい。
【0029】
デジタルカメラ200側では、撮影対象255および電子黒板装置100を撮影フレームに納めた状態で、レリーズボタン202を押すと撮影対象255および電子黒板装置100を含む撮影シーンの撮影が実行され(ステップS201)、撮影された画像がモニタ用LCD203にプレビュー表示される(ステップS202)。ユーザは、撮影した画像で問題ないか否か判断する(ステップS203)。問題がある場合は、キャンセルボタン234を押して(ステップS203でNG)、撮影をやり直す。撮影した画像で問題なければ、実行ボタン233を押す(ステップS203でOK)。すると、デジタルカメラ200から電子黒板装置100に対し、撮影付属情報要求が送信される。
【0030】
電子黒板装置100は、撮影付属情報要求を受け取ると、現在LCD101に表示中の撮影付属情報および略図のビットマップデータ(BMPファイル)をデジタルカメラ200に送信する。その後、撮影写真リスト中の写真Kを撮影済みに変更する(ステップS107)。
【0031】
デジタルカメラ200は、電子黒板装置100から撮影付属情報およびビットマップデータを取得し、それらを撮影した画像(主画像)に添付して、すなわち図7に示すようなフォーマットの画像ファイル250としてメモリカード212に記録する(ステップS204)。取得された撮影付属情報は、撮影した画像と重畳してモニタ用LCD203に一定時間表示される(ステップS205)。ユーザは、モニタ用LCD203の表示を見ることにより、記録された撮影付属情報の内容を現場で確認することができる。
【0032】
上記のように、この実施の形態の撮影システムによれば、撮影対象255に関する情報を含む撮影付属情報を電子黒板装置100に表示させた状態で、撮影対象255および電子黒板装置100を含む撮影シーンをデジタルカメラ200で撮影するとともに、撮影対象の撮影付属情報をデジタルカメラ200が電子黒板装置100から取得して、撮影した画像と関連付けてメモリカード212に記録するようにしたので、撮影対象255に関する情報を含む撮影付属情報を撮影した画像と関連付けて記録するとともに、撮影対象255の撮影付属情報を撮影シーンに容易に写し込むことができる。
【0033】
また、撮影付属情報が撮影シーンに写し込まれているため、撮影した画像を汎用の画像再生プログラムで再生して撮影付属情報を確認することができる。したがって、撮影付属情報を確認するために従来のような専用の再生用プログラムを必要としない。
【0034】
また、必要に応じて電子黒板装置100に手入力で追加情報を入力できるため、現場において臨機応変に撮影付属情報を追加、変更することができる。
【0035】
なお、上記実施の形態では、電子黒板装置100に予め写真リストおよび撮影付属情報を入力しておき、電子黒板装置100のLCD101に表示中の撮影付属情報をデジタルカメラ200に送信するようにしたが、デジタルカメラ200に予め写真リストおよび撮影付属情報を入力しておき、撮影の前に、撮影対象の撮影付属情報をデジタルカメラ200側で選択し、その撮影付属情報を電子黒板装置100に送信し表示させた後、撮影を実行するようにしてもよい(請求項2に対応)。
【0036】
また、上記の例では、撮影写真リスト中の撮影の項目が「済」のものは、グレーアウト表示され選択できないようにしたが、グレーアウト表示されていても、そこをダブルタッチする等、通常の操作と異なる特定の操作を行うことにより選択可能とし、この場合はその写真を取り直せるようにしてもよい。
【0037】
また、上記のように構成した電子黒板装置100とチョーク等で書き込みを行う既存の黒板とを一体化すれば、電子黒板装置100の本来の黒板としての使い勝手をより向上させることができる。
【0038】
【発明の効果】
以上説明したように、本発明の撮影システムによれば、撮影対象に関する情報を含む撮影付属情報を、撮影画像と関連付けて記録することができ、かつ撮影付属情報を撮影シーンに容易に写し込むことができる。
【図面の簡単な説明】
【図1】本発明に係る撮影システムにおける電子黒板の形態例を示す外観図である。
【図2】本発明に係る撮影システムにおけるデジタルカメラの形態例を示す外観図である。
【図3】電子黒板装置の構成例を示すブロック図である。
【図4】デジタルカメラの構成例を示すブロック図である。
【図5】撮影写真リストおよび撮影付属情報の例を示す図である。
【図6】電子黒板装置に表示される撮影写真リスト(撮影付属情報選択画面)の例を示す図である。
【図7】デジタルカメラに記録される画像ファイルのデータ構造の例を示す図である。
【図8】電子黒板装置およびデジタルカメラの動作フローの概略を示すフロー図である。
【符号の説明】
100:電子黒板装置
101:LCD(表示手段)
102:タッチパネル(選択手段、追加情報入力手段)
103:アンテナ(送信手段)
104:CPU(制御手段)
160:撮影写真リスト(撮影付属情報選択画面)
200:デジタルカメラ
204:アンテナ(送信手段)
212:メモリカード(記録媒体)
222:CPU(制御手段、記録手段)
255:撮影対象
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a shooting system that records shooting auxiliary information including information about a shooting target in association with a shot image.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a camera system that captures and records a work situation at a construction site or a manufacturing factory with a digital camera is known (see Patent Document 1). This camera system creates shooting auxiliary information (shooting information including shooting targets, scenes, bibliographic items of shooting targets, etc.) for each image to be shot by a computer for image database management. The image data is transmitted to a digital camera and stored, and the captured image data and the associated shooting information are recorded in association with each other, and the captured image and the associated shooting information are transmitted to the computer for management. Shooting ancillary information is created for images that must be taken on that day, so you must shoot according to the shooting ancillary information and manage the information that identifies the captured ancillary information and the ancillary information before shooting. Therefore, it is also possible to prevent shooting leakage.
[0003]
[Patent Document 1]
Japanese Patent Laid-Open No. 2001-24982
[Problems to be solved by the invention]
However, in the camera system described in the above publication, it is possible to record and manage a photographed image and shooting accessory information in association with each other. However, since shooting accessory information cannot be copied to a shooting scene together with a shooting target, In some cases, it is not possible to use the completed image as a photo to be submitted to the construction client. Also, since the shooting accessory information is not copied to the shooting scene, the shooting accessory information cannot be confirmed without a dedicated reproduction program. In addition, it is difficult to edit on the digital camera the shooting accessory information that is added or changed on the spot.
[0005]
The present invention has been made in view of the above circumstances, and can record shooting accessory information including information related to a shooting target in association with a shot image, and easily copy shooting shooting information together with the shooting target to a shooting scene. It is an object of the present invention to provide an imaging system that can perform such a process.
[0006]
[Means for Solving the Problems]
According to a first aspect of the present invention, there is provided a photographing system for recording photographing auxiliary information including information relating to a photographing target in association with a photographed image, comprising an electronic blackboard device and a digital camera capable of wireless communication with each other, and the electronic blackboard The apparatus selects shooting attachment information for any shooting target from shooting attachment information storage means for storing shooting attachment information for each shooting target in advance and shooting attachment information stored in the shooting attachment information storage means. Selection means, display means for displaying the shooting accessory information selected by the selection means, and transmission means for sending the shooting accessory information selected by the selection means to the digital camera, The electronic blackboard device includes recording means for recording on the recording medium, the recording accessory information received from the electronic blackboard device in association with the captured image. Photographing auxiliary information being displayed on the device together with the shooting target is to shoot in the digital camera.
[0007]
The shooting system of the second invention is the shooting system of the first invention, wherein the electronic blackboard device adds additional information input means for adding arbitrary additional information to the shooting accessory information being displayed by the display means, The additional information input by the additional information input means is included in the shooting accessory information, and is displayed on the display means and is transmitted to the digital camera, and the digital camera receives the electronic blackboard device from the electronic blackboard device. Control means for recording the additional information in the recording medium in association with the photographed image is provided .
[0008]
According to a third aspect of the present invention, there is provided a photographing system for recording photographing auxiliary information including information relating to a photographing target in association with a photographed image, comprising a digital camera and an electronic blackboard device capable of wireless communication with each other, and the digital camera Is a shooting accessory information storage means for storing shooting accessory information for each shooting target in advance, and for selecting shooting accessory information for any shooting target from the shooting accessory information stored in the shooting accessory information storage means. A selection unit; a transmission unit that transmits the shooting accessory information selected by the selection unit to the electronic blackboard device; and a recording that records the shooting accessory information selected by the selection unit on a recording medium in association with the shot image. comprising means, the electronic blackboard apparatus, display means for displaying the photographing auxiliary information received from the digital camera, the display means The additional information input means for adding arbitrary additional information to the shooting accessory information being displayed, and the additional information input by the additional information input means are included in the shooting accessory information and displayed on the display means, and the digital camera Control means for transmitting to the electronic blackboard device, and the digital camera includes control means for recording the additional information received from the electronic blackboard device in association with a photographed image on the recording medium, and is being displayed on the electronic blackboard device. The information attached to the image is taken together with the object to be photographed by the digital camera.
[0009]
The additional information input means is preferably an input means capable of handwriting input.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is an external view showing an example of a form of an electronic blackboard in the photographing system according to the present invention, and FIG. 2 is an external view showing an example of a digital camera in the photographing system according to the present invention.
[0011]
As shown in FIG. 1, the electronic blackboard device 100 is formed in a substantially flat plate shape as a whole, and most of the front portion thereof is composed of a large LCD 101 and a touch panel 102 covering the large LCD 101. In the LCD 101, items of shooting attached information such as “construction name”, “work type”, “position”, “design dimension”, “design dimension”, “measured dimension”, “witness auditor”, and “schematic diagram” and their contents Are displayed in a predetermined layout. An antenna 103 for wireless communication with the digital camera 200 shown in FIG. 2 is provided at the upper end of the electronic blackboard device 100. A USB connector 110 is provided on the side surface.
[0012]
As shown in FIG. 2, the digital camera 200 communicates wirelessly with the electronic blackboard apparatus 100 shown in FIG. 1 in addition to the components of a general digital camera such as a power switch 201, a release button 202, and a monitor LCD 203. The antenna 204 is provided. The antenna 204 is provided at one end on the upper surface of the digital camera 200.
[0013]
FIG. 3 is a block diagram illustrating a configuration example of the electronic blackboard device 100. In addition to the LCD 101, the touch panel 102, the antenna 103, and the USB connector 110, the electronic blackboard apparatus 100 includes a CPU 104, a system memory (ROM / RAM) 105, a nonvolatile memory 106, a timer 107, a calendar clock 108, and a USB interface 109. , An operation unit 111, a wireless interface 112, a touch panel interface 113, an LCD control unit 114, a frame memory 115, an input / output interface 116, and a battery 117.
[0014]
The CPU 104 controls the overall operation of the electronic blackboard device 100 according to a program stored in the system memory 105. The CPU 104 and other units are connected to each other via a system bus 118.
[0015]
The electronic blackboard apparatus 100 can receive a photo list created in advance on a PC by making a USB connection with a PC (personal computer). At that time, the USB connector 110 is connected to the personal computer with a USB cable. The nonvolatile memory 106 stores photo list data acquired from a PC, measured dimension values input by handwriting using the touch panel 102, and schematic data. The data stored in the nonvolatile memory 106 is retained as it is even when the power is turned off. The system memory 105 displays a program for displaying bitmap data input by handwriting in the “schematic diagram” display area of the touch panel 102, and bitmap (BMP) data and stroke order data input by handwriting in the display area of “actual measurement dimensions”. A program for generating characters (measured dimension values) based on the above is stored. The timer 107 and the calendar clock 108 are used for control of various processing timings, recording management of various information, and the like. The electronic blackboard device 100 wirelessly communicates with the digital camera 200 to transmit shooting attachment information including actually measured dimension values and bitmap data of a schematic diagram to the digital camera 200.
[0016]
FIG. 4 is a block diagram illustrating a configuration example of the digital camera 200. In addition to the monitor LCD 203 and the antenna 204 described above, the digital camera 200 includes an imaging unit 205, a signal processing unit 206, an A / D conversion unit 207, a strobe control unit 208, a strobe 209, a compression / decompression unit 210, and a memory card. Slot 211, memory card 212, card interface 213, frame memory 214, LCD control unit 215, input / output interface 218, operation unit 219, wireless interface 220, CPU 222, system memory 223, nonvolatile memory 224, timer 225, calendar clock 226 , OSD 227, and battery 228.
[0017]
In the digital camera 200, a digital photographed image signal is obtained by the imaging unit 205, the signal processing unit 206, and the A / D conversion unit 207. In addition, the flash control unit 208 can cause the flash 209 to emit light and perform flash photography. The digital photographed image signal is subjected to compression processing by the compression / decompression unit 210 and is recorded via the card interface 213 on the memory card 212 inserted in the memory card slot 211. Recording on the memory card 212 is performed in units of image files including compressed image data and photographing attached information.
[0018]
When displaying an image based on the image data recorded on the memory card 212, the image data read from the memory card 212 is decompressed by the compression / decompression unit 210 and written to the frame memory 214. The LCD control unit 215 displays an image corresponding to the data in the frame memory 214 on the LCD 203. The LCD 203 can display not only an image based on the image data of the memory card 212 but also an image based on a digital imaging signal obtained from the A / D conversion unit 207. Further, it is also used for displaying various states of the digital camera 200 and displaying an operation menu.
[0019]
The input / output interface 218 is connected to the operation unit 219, inputs various operation information of the digital camera 200, and outputs a signal to the status display LED of the digital camera 200. In addition to the power switch 201 and the release button 202 described above, the operation unit 219 includes a mode setting dial 230, a direction key 231, a menu button 232, an execution button 333, a cancel button 234, and the like (see FIG. 2). The wireless interface 220 performs wireless communication with the outside via the antenna 204. As wireless communication, Bluetooth, IrDA infrared data communication, wireless LAN, or the like can be used. The communication with the external device may use a wired communication means.
[0020]
The CPU 222 controls the entire operation of the digital camera 100, and is configured mainly with a processor that operates according to a predetermined program. The CPU 222 not only controls the shooting operation, the image recording operation, and the image display operation, but also performs recording management of shooting auxiliary information described later. The system memory 223 and the non-volatile memory 224 store data and programs used for various processes in the digital camera 200, and are used as work memories. The timer 225 and the calendar clock 226 include It is used for control of various processing timings, record management of various information, and the like. The system bus 229 transfers data between each element of the digital camera 200.
[0021]
Since the normal photographing operation, image recording operation, and image display operation of the digital camera 200 configured as described above are basically not different from those of the conventional one, description thereof will be omitted.
[0022]
The digital camera 200 has not only a normal shooting mode but also a shooting information recording mode in which shooting auxiliary information including information related to a shooting target is recorded in association with shot image data, and wireless communication with the electronic blackboard device 100 is performed. Can be used to acquire information attached to shooting and bitmap data of a schematic diagram. The captured image and the bitmap data of the schematic diagram are recorded in the memory card 212. In addition to the “construction name”, “engineering type”, “position”, “design dimension”, “measured dimension”, “witness auditor”, “schematic diagram”, etc. that specify the object to be photographed, the shooting accessory information items Items such as date and time and image file name are set as appropriate according to the user's request.
[0023]
FIG. 5 shows an example of a photographed photo list and photographing attached information input from the PC to the electronic blackboard device 100. At the time of input from the PC, all the photographs are not yet photographed, but the electronic blackboard device 100 is rewritten to “done” after photographing. In addition, the measured dimension and the link information (file name) of the schematic diagram are not set when they are input from the PC, and the user inputs them by handwriting on-site using the touch panel 102 of the electronic blackboard device 100.
[0024]
FIG. 6 shows an example of a photographed photo list (photographing attached information selection screen) 160 displayed on the LCD 101 of the electronic blackboard device 100. The selection operation of the shooting accessory information can be performed by touching the rectangular areas 121, 122,... Of the desired photograph (shooting scene) number displayed through the touch panel 102. If the entire list cannot be displayed on the LCD 101 at the same time, it can be scrolled up and down by touching the back button 131 or the forward button 132. Photos that have already been taken, that is, those that have a shooting item “completed” in the photo list of FIG. 5, are grayed out and cannot be selected. The shooting order does not necessarily follow the order of the list, and any order may be used.
[0025]
When the photographed photo list cannot be displayed on one screen on the LCD 101 of the electronic blackboard device 100, it is difficult to determine whether or not all the photographs have been taken even if scrolling is performed. When it is completed, a message to that effect is displayed separately, or the number of images that have not been shot (remaining number of images) is displayed.
[0026]
FIG. 7 shows an example of the data structure of the image file 250 recorded in the digital camera 200. The image file 250 includes tag (Tag) information 251, a thumbnail 252, and a main image 253. The data contents in the illustrated example correspond to “Photo 001” in FIG. The tag information 251 stores shooting attachment information acquired by the digital camera 200 from the electronic blackboard device 100 by wireless communication. At this time, for the schematic diagram, the bitmap data is not directly stored, but link information such as a file name is stored. As link information, in addition to the file name, a UUID may be issued and embedded in a simplified bitmap file and stored in a simplified tag. Of course, the bitmap data may be directly stored instead of the link format. In the shooting scene of the main image 253, the electronic blackboard device 100 displaying the shooting attached information and the scale 256 are shown together with the shooting target (bridge pier in the illustrated example) 255.
[0027]
Next, an operation when shooting is performed in the shooting information recording mode using the above shooting system will be described. FIG. 8 shows a schematic flow of the electronic blackboard device 100 and the digital camera 200. It is assumed that a photo list and photographing attached information as shown in FIG.
[0028]
When the electronic blackboard device 100 is turned on, a photographed photo list as shown in FIG. 6 is displayed on the LCD 101 (step S101). The user uses the touch panel 102 to select a photograph (photographing scene) to be photographed from the photographed photograph list displayed on the LCD 101 (step S102). If the photograph K is selected, the shooting accessory information of the photograph K is displayed on the entire LCD 101 of the electronic blackboard device 100 (see step S103, FIG. 1). If necessary, the user can input additional information by handwriting at the site using the touch panel 102 (step S104). Information input by handwriting is converted into text as necessary (step S105), or is treated as bitmap data (step S106), and is additionally displayed on the LCD 101 of the electronic blackboard device 100. The user installs the electronic blackboard device 100 near the imaging target 255. In this state, the electronic blackboard device 100 waits for a camera attached information request from the digital camera 200, but if there is an operation by the user (for example, an operation such as tapping a specific area of the screen twice) during that time, It may be possible to return to the display of the list and select another piece of shooting accessory information.
[0029]
On the digital camera 200 side, when the release button 202 is pressed in a state where the photographing object 255 and the electronic blackboard device 100 are placed in the photographing frame, photographing of the photographing scene including the photographing target 255 and the electronic blackboard device 100 is executed (step S201). The captured image is displayed as a preview on the monitor LCD 203 (step S202). The user determines whether there is no problem with the captured image (step S203). If there is a problem, the cancel button 234 is pressed (NG in step S203), and shooting is performed again. If there is no problem with the photographed image, the execution button 233 is pressed (OK in step S203). Then, a photographing attachment information request is transmitted from the digital camera 200 to the electronic blackboard device 100.
[0030]
When the electronic blackboard apparatus 100 receives the photographing attachment information request, the electronic blackboard device 100 transmits the photographing attachment information currently displayed on the LCD 101 and the bitmap data (BMP file) of the schematic diagram to the digital camera 200. Thereafter, the photograph K in the photographed photograph list is changed to photographed (step S107).
[0031]
The digital camera 200 acquires shooting auxiliary information and bitmap data from the electronic blackboard device 100, attaches them to the shot image (main image), that is, a memory card as an image file 250 in the format shown in FIG. It records in 212 (step S204). The acquired shooting accessory information is displayed on the monitor LCD 203 for a certain period of time while being superimposed on the shot image (step S205). The user can check the content of the recorded photographing accessory information on the site by looking at the display on the monitor LCD 203.
[0032]
As described above, according to the photographing system of this embodiment, the photographing scene including the photographing target 255 and the electronic blackboard device 100 in a state where the photographing auxiliary information including the information related to the photographing target 255 is displayed on the electronic blackboard device 100. Since the digital camera 200 acquires the shooting accessory information of the shooting target from the electronic blackboard device 100 and records it in the memory card 212 in association with the shot image, the shooting target 255 is recorded. The shooting accessory information including information can be recorded in association with the shot image, and the shooting accessory information of the shooting target 255 can be easily copied to the shooting scene.
[0033]
Also, since the shooting accessory information is copied in the shooting scene, the shot image can be confirmed by playing back the captured image using a general-purpose image playback program. Therefore, there is no need for a dedicated reproduction program as in the prior art in order to confirm the shooting attachment information.
[0034]
In addition, since additional information can be manually input to the electronic blackboard device 100 as necessary, it is possible to add or change shooting attachment information on an as-needed basis.
[0035]
In the above-described embodiment, a photo list and shooting accessory information are input in advance to the electronic blackboard device 100, and the shooting accessory information being displayed on the LCD 101 of the electronic blackboard device 100 is transmitted to the digital camera 200. The photograph list and the shooting accessory information are input to the digital camera 200 in advance, the shooting accessory information to be shot is selected on the digital camera 200 side before shooting, and the shooting accessory information is transmitted to the electronic blackboard device 100. Shooting may be executed after the display (corresponding to claim 2).
[0036]
Also, in the above example, when the shooting item in the photographed photo list is “completed”, it is grayed out so that it cannot be selected. It may be possible to select by performing a specific operation different from the above, and in this case, the photograph may be retaken.
[0037]
Further, if the electronic blackboard device 100 configured as described above and an existing blackboard for writing with chalk or the like are integrated, the usability of the electronic blackboard device 100 as an original blackboard can be further improved.
[0038]
【The invention's effect】
As described above, according to the imaging system of the present invention, it is possible to record shooting accessory information including information related to a shooting target in association with a shot image, and to easily capture shooting accessory information in a shooting scene. Can do.
[Brief description of the drawings]
FIG. 1 is an external view showing an example of a form of an electronic blackboard in a photographing system according to the present invention.
FIG. 2 is an external view showing an example of a digital camera in the photographing system according to the present invention.
FIG. 3 is a block diagram illustrating a configuration example of an electronic blackboard device.
FIG. 4 is a block diagram illustrating a configuration example of a digital camera.
FIG. 5 is a diagram illustrating an example of a photographed photo list and photographing attached information.
FIG. 6 is a diagram showing an example of a photographed photo list (photographing attached information selection screen) displayed on the electronic blackboard device.
FIG. 7 is a diagram illustrating an example of a data structure of an image file recorded in a digital camera.
FIG. 8 is a flowchart showing an outline of an operation flow of the electronic blackboard device and the digital camera.
[Explanation of symbols]
100: Electronic blackboard apparatus 101: LCD (display means)
102: Touch panel (selection means, additional information input means)
103: Antenna (transmission means)
104: CPU (control means)
160: Photographed photo list (photographing attached information selection screen)
200: Digital camera 204: Antenna (transmission means)
212: Memory card (recording medium)
222: CPU (control means, recording means)
255: Shooting target

Claims (4)

撮影対象に関する情報を含む撮影付属情報を、撮影した画像と関連付けて記録する撮影システムにおいて、
互いに無線通信可能な電子黒板装置とデジタルカメラとを備え、
前記電子黒板装置は、
撮影対象ごとの撮影付属情報を予め記憶した撮影付属情報記憶手段と、
前記撮影付属情報記憶手段に記憶されている撮影付属情報の中から任意の撮影対象の撮影付属情報を選択するための選択手段と、
前記選択手段により選択された撮影付属情報を表示する表示手段と、
前記選択手段により選択された撮影付属情報を前記デジタルカメラに送信する送信手段とを備え、
前記デジタルカメラは、
前記電子黒板装置から受信した撮影付属情報を、撮影した画像と関連付けて記録媒体に記録する記録手段を備え、
前記電子黒板装置に表示中の撮影付属情報を撮影対象と共に前記デジタルカメラで撮影することを特徴とする撮影システム。
In a shooting system that records shooting ancillary information including information about a shooting target in association with a shot image,
It has an electronic blackboard device and a digital camera that can communicate with each other wirelessly,
The electronic blackboard device is
Shooting accessory information storage means for previously storing shooting accessory information for each shooting target;
A selection means for selecting photographing attachment information of an arbitrary photographing target from the photographing attachment information stored in the photographing attachment information storage means;
Display means for displaying the photographing attachment information selected by the selection means;
Transmission means for transmitting the shooting accessory information selected by the selection means to the digital camera,
The digital camera
Recording means for recording the shooting accessory information received from the electronic blackboard device in a recording medium in association with the shot image,
A photographing system, wherein photographing auxiliary information being displayed on the electronic blackboard device is photographed together with a photographing target by the digital camera.
前記電子黒板装置は、
前記表示手段により表示中の撮影付属情報に任意の追加情報を加えるための追加情報入力手段と、
前記追加情報入力手段により入力された追加情報を、撮影付属情報に含めて前記表示手段に表示させるとともに前記デジタルカメラに送信させる制御手段とを備え、
前記デジタルカメラは、
前記電子黒板装置から受信した前記追加情報を、撮影した画像と関連付けて前記記録媒体に記録させる制御手段を備えたことを特徴とする請求項1記載の撮影システム。
The electronic blackboard device is
Additional information input means for adding arbitrary additional information to the shooting accessory information being displayed by the display means;
Additional information input by the additional information input means, including control information for displaying on the display means to be included in the shooting accessory information and transmitting to the digital camera,
The digital camera
2. The photographing system according to claim 1, further comprising a control unit that records the additional information received from the electronic blackboard device on the recording medium in association with the photographed image .
撮影対象に関する情報を含む撮影付属情報を、撮影した画像と関連付けて記録する撮影システムにおいて、
互いに無線通信可能なデジタルカメラと電子黒板装置とを備え、
前記デジタルカメラは、
撮影対象ごとの撮影付属情報を予め記憶した撮影付属情報記憶手段と、
前記撮影付属情報記憶手段に記憶されている撮影付属情報の中から任意の撮影対象の撮影付属情報を選択するための選択手段と、
前記選択手段により選択された撮影付属情報を前記電子黒板装置に送信する送信手段と、
前記選択手段により選択された撮影付属情報を、撮影した画像と関連付けて記録媒体に記録する記録手段を備え、
前記電子黒板装置は、
前記デジタルカメラから受信した撮影付属情報を表示する表示手段と
前記表示手段により表示中の撮影付属情報に任意の追加情報を加えるための追加情報入力手段と、
前記追加情報入力手段により入力された追加情報を、撮影付属情報に含めて前記表示手段に表示させるとともに前記デジタルカメラに送信させる制御手段とを備え、
前記デジタルカメラは、
前記電子黒板装置から受信した前記追加情報を、撮影した画像と関連付けて前記記録媒体に記録させる制御手段を備え
前記電子黒板装置に表示中の撮影付属情報を撮影対象と共に前記デジタルカメラで撮影することを特徴とする撮影システム
In a shooting system that records shooting ancillary information including information about a shooting target in association with a shot image,
A digital camera and an electronic blackboard device capable of wireless communication with each other,
The digital camera
Shooting accessory information storage means for previously storing shooting accessory information for each shooting target;
A selection means for selecting photographing attachment information of an arbitrary photographing target from the photographing attachment information stored in the photographing attachment information storage means;
Transmitting means for transmitting the photographing accessory information selected by the selecting means to the electronic blackboard device;
A recording unit that records the shooting accessory information selected by the selection unit in a recording medium in association with the shot image;
The electronic blackboard device is
Display means for displaying the shooting accessory information received from the digital camera ;
Additional information input means for adding arbitrary additional information to the shooting accessory information being displayed by the display means;
Additional information input by the additional information input means, including control information for displaying on the display means to be included in the shooting accessory information and transmitting to the digital camera,
The digital camera
Control means for recording the additional information received from the electronic blackboard device in association with a photographed image on the recording medium ;
Imaging system, characterized by shooting with the digital camera photographing auxiliary information being displayed together with the photographed object on the interactive white board device.
前記追加情報入力手段は、手書き入力が可能な入力手段であることを特徴とする請求項2または3記載の撮影システム。4. The photographing system according to claim 2 , wherein the additional information input unit is an input unit capable of handwriting input.
JP2002281166A 2002-09-26 2002-09-26 Shooting system Expired - Fee Related JP3894310B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002281166A JP3894310B2 (en) 2002-09-26 2002-09-26 Shooting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002281166A JP3894310B2 (en) 2002-09-26 2002-09-26 Shooting system

Publications (2)

Publication Number Publication Date
JP2004120370A JP2004120370A (en) 2004-04-15
JP3894310B2 true JP3894310B2 (en) 2007-03-22

Family

ID=32275689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002281166A Expired - Fee Related JP3894310B2 (en) 2002-09-26 2002-09-26 Shooting system

Country Status (1)

Country Link
JP (1) JP3894310B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008140173A (en) * 2006-12-01 2008-06-19 Masahito Mizuno Construction site-photographing electronic display plate
JP4518182B2 (en) * 2008-04-25 2010-08-04 カシオ計算機株式会社 Image photographing apparatus and program
JP2019109596A (en) * 2017-12-15 2019-07-04 沖電気工業株式会社 Information processing device and information processing system

Also Published As

Publication number Publication date
JP2004120370A (en) 2004-04-15

Similar Documents

Publication Publication Date Title
US7652693B2 (en) Portable telephone capable of recording a composite image
US7154534B2 (en) Image input apparatus, program executed by computer, and method for preparing document with image
JP3914705B2 (en) Digital camera and operation control method thereof
US20020047869A1 (en) Image processing apparatus, image processing method, storage medium, and program
JP4032780B2 (en) Imaging recording device
JP4616500B2 (en) Image transmitting apparatus, method and program
US7405753B2 (en) Data storage management system for camera and camera system
JP2005176299A (en) Photographing device
JP3894310B2 (en) Shooting system
US20070027994A1 (en) Data transmission system and data transmission terminal
JP4223387B2 (en) Imaging device and imaging printing system
JP4060462B2 (en) Information management method and information management apparatus
JP3938892B2 (en) Information exchange system
JP4720867B2 (en) Image display system
JP2003046849A (en) Camera and image data-outputting apparatus
JP2003134359A (en) Digital camera
JP4735938B2 (en) Camera and control method thereof
JP2003009067A (en) Digital camera provided with photographing record input function
JP5274156B2 (en) Printing apparatus and control method
JP4193608B2 (en) Image photographing system, image photographing apparatus and program
JP4196710B2 (en) Digital camera
JP2005012538A (en) Imaging unit
JPH10164498A (en) Image-recording controller and recording medium
JP2002125143A (en) Image browsing system, image browsing device, image browsing method and recording medium
TWI466010B (en) Photographing apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050208

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060329

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060814

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061122

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061205

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees