JP4831079B2 - プログラム、画像データ処理方法、画像データ処理装置 - Google Patents
プログラム、画像データ処理方法、画像データ処理装置 Download PDFInfo
- Publication number
- JP4831079B2 JP4831079B2 JP2008007563A JP2008007563A JP4831079B2 JP 4831079 B2 JP4831079 B2 JP 4831079B2 JP 2008007563 A JP2008007563 A JP 2008007563A JP 2008007563 A JP2008007563 A JP 2008007563A JP 4831079 B2 JP4831079 B2 JP 4831079B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- time
- image
- date
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
- H04N2201/3214—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a date
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
- H04N2201/3215—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3226—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
- H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3273—Display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N2201/3274—Storage or retrieval of prestored additional information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Signal Processing For Recording (AREA)
- Processing Or Creating Images (AREA)
Description
このようなソフトウエアによる処理を図12で説明する。
GPSログ装置80は、ユーザが携帯する小型の機器であり、GPS(Global Positioning System)による受信機能と記憶機能を備えている。このGPSログ装置80は、位置情報(緯度・経度)及び日時情報を逐次保存していく装置であり、ユーザが携帯することで、ユーザの行動軌跡としてのGPSログデータを形成する機器である。
パーソナルコンピュータ1には、デジタルスチルカメラ90で撮像した画像データに撮像位置としての位置情報を付加するソフトウェアとして、マッチング処理用アプリケーションプログラム100(以下、「マッチングプログラム」という)がインストールされている。
パーソナルコンピュータ1では、マッチングプログラム100に基づく演算処理により、画像データとGPSログのマッチングが行われる。
また、ユーザが、例えば2008年1月15日の10時30分〜11時30分において、GPSログ装置80を携帯して動作させていたとすると、GPSログ装置80からパーソナルコンピュータ1に転送されたGPSログデータとしては、この10時30分〜11時30分における各時刻に対応する位置情報(緯度・経度)が存在する。
このように位置情報を関連付けたら、画像データファイル内に、当該関連付けた位置情報を付加して記録媒体に記録する。
例えば日本で使用するパーソナルコンピュータシステムで用いる場合、マッチングプログラムは、GPSログデータにおけるグリニッジ標準時刻による日時情報を、日本時間としての日時に変換してマッチングを行うようにすることで、ログデータから日本時間としての正確な日時情報を得る。
例えばデジタルスチルカメラ90の日時計数が正確な時刻より2分遅れていたとすると、画像データに関連付けられる位置情報は、ユーザが画像データを撮像した場所に居た時点よりも2分前に居た場所の位置情報となってしまう。
地図画像上で撮像場所としての位置にずれが生じてしまっている場合、地図画像上のプロット点を正確な位置に移動させる操作を可能とすることも考えられるが、多数の画像データについて撮像場所を表示している場合、その多数のプロット点についてひとつひとつ調整するのは非常に手間のかかる作業となる。
またこれは、ユーザの記憶が頼りの修正となり、実際には、多数の画像データの撮像を行った場所のそれぞれをユーザが正確に覚えていることも難しく、さらに地図上で撮像場所を正確に見つけることも難しいため、このような修正は実際上、困難であることが多い。
例えばユーザは、海外でデジタルスチルカメラ90を使用する場合は、そのデジタルスチルカメラ90の内部時計を現地の時刻に合わせることを行う。従って、撮像された画像データには現地時間としての撮像日時情報が付加される。
一方、ユーザが所持するGPSログ装置80では、常にグリニッジ標準時刻による日時情報を蓄積する。
この場合、ユーザが日本に帰国して、自宅のパーソナルコンピュータに画像データとGPSログデータを取り込んだ場合、マッチングプログラム100によって、GPSログデータにおける日時情報は日本時間に変換されて処理されるが、画像データに付加されている撮像日時情報は、現地日時のままである。このため、日時情報に基づいて、各画像データに位置情報を正確に関連付けることができない。
そこで本発明は、画像データに対して位置情報の関連図けとしてのマッチングを行う際に、ユーザが簡易な操作を行うのみで、多数の画像データについての位置情報の関連付けの修正を行うことができるようにする。
また上記時間値による修正入力は、画像データに付加されている撮像時の日時情報を調整する入力である。
また上記時間値による修正入力は、時差修正を指示する入力である。
また上記撮像位置提示画像として、画像データのサムネイル画像を用いる。
また上記表示処理では、上記地図画像上において、上記ログデータに基づく軌跡画像を表示させる。
また地図画像上で、特定の撮像位置提示画像を指定して移動させる操作入力に応じて、当該撮像位置提示画像に相当する画像データに関連付けられている位置情報を修正する処理を、さらに演算処理装置に実行させる。
本発明の場合、この関連付けの結果に応じて、地図画像表示上で、各画像データについての撮像位置提示画像を表示させ、ユーザが位置情報の関連付けの結果を確認できるようにする。
さらに、地図画像上で確認した際に、ズレが生じている場合には、ユーザが時間値(時間値に相当する情報)を入力することで、処理対象となっている全画像データについての位置情報の関連付けが修正されるようにする。時間値とは、例えばデジタルスチルカメラ等の撮像装置の内部時計のズレに相当する時間値であったり、時差に相当する時間値である。
また時間値の入力の際には、その入力時間値による修正を反映していくように、地図画像上の撮像位置提示画像の表示が実行されるようにする。
図1にはデジタルスチルカメラ90とGPSログ装置80を示しているが、デジタルスチルカメラ90は、一般ユーザが使用する通常の静止画撮像機器であり、ユーザの操作に応じて画像撮像を行う。撮像されて保存された画像データのそれぞれには、装置内部時計で得られた日時情報(撮像時の年月日時分秒)が付加される。
GPSログ装置80は、ユーザが携帯する小型の機器であり、GPSによる受信機能と記憶機能を備え、位置情報(緯度・経度)及び日時情報を逐次保存していく装置である。GPSログ装置80をユーザが携帯することで、ユーザの行動軌跡としてのGPSログデータが形成保持される。GPSログデータは、例えば所定間隔の時刻毎(或いは検出される位置情報が変化するタイミング毎)に現在日時と現在位置を対応させて蓄積したデータである。
またGPSログ装置80内に蓄積されているGPSログデータについてもパーソナルコンピュータ1に取り込み、記憶部3に記憶させる。
またパーソナルコンピュータ1には、デジタルスチルカメラ90で撮像した画像データに撮像位置としての位置情報を付加するソフトウェアとして、マッチングプログラム2aがインストールされており、マッチングプログラム2aが起動されることで、演算処理部2(後述するCPU11)は、このマッチングプログラム2aに従って演算処理動作を行う。
ユーザインターフェース部4は、ユーザが用いるキーボード、マウス等の入力装置やユーザに対する表示出力を行う表示装置など、ユーザインターフェース機器を示している。
演算処理部2は、記憶部3に格納されている画像データのうちで、例えばユーザ操作により選択された1又は複数の画像データを処理対象とする。そして処理対象とされた各画像データについて、GPSログデータとの間で日時情報に基づくマッチングを行って、各画像データに位置情報の関連付けを行う。
また演算処理部2は、この関連付けの結果に応じて、ユーザインターフェース部4における表示を行う。即ち、地図画像を表示させるとともに、その地図画像上で、各画像データについての撮像位置提示画像を表示させ、ユーザが位置情報の関連付けの結果を確認できるようにする。
このような画像表示により、ユーザは、位置情報の関連付けが正確であるかずれているかが確認できる。
ズレが生じていると認識した場合には、ユーザはズレを修正するための時間値(時間値に相当する情報)を入力する。演算処理部2は、その入力に対応して、処理対象となっている全画像データについての位置情報が修正されるようにする。例えば時間値による修正入力に応じて、処理対象とされている全ての画像データに付加されている撮像時の日時情報を修正したうえで、GPSログデータを用いて日時情報に基づくマッチングを再度行い、各画像データに新たに位置情報を関連付ける。
またこのように時間値の入力に応じて関連づけの修正を行う際には、演算処理部2は、その修正を反映していくように、地図画像上の撮像位置提示画像が移動されるような表示をユーザインターフェース部4において実行させる。
ユーザは、地図画像上の撮像位置提示画像が正確な位置であると認識した場合は、その関連付けを有効とするための保存指示入力を行う。演算処理部2は、当該指示入力に応じて、処理対象とされた全ての画像データについての位置情報の関連付けを確定させて保存させる。具体的には、各画像データファイルに、それぞれ関連付けられた位置情報(緯度・経度)を付加し、その画像データファイルが記憶部3に保存されるようにする。
PC1は図示するように、CPU(Central Processing Unit)11、メモリ部12、ネットワークインターフェース部13、ディスプレイコントローラ14、入力機器インターフェース部15、HDDインターフェース部16、キーボード17、マウス18、HDD19、表示装置20、バス21、外部機器インターフェース部22などを有する。
バス21上の各機器にはそれぞれ固有のメモリアドレス又はI/Oアドレスが付与されており、CPU11はこれらアドレスによって機器アクセスが可能となっている。バス21の一例はPCI(Peripheral Component Interconnect)バスである。
このメモリ部12には、CPU11において実行されるプログラムコードやPC1に固有の識別情報その他の情報を格納したり、通信データのバッファ領域や実行中の作業データのワーク領域に用いられる。
即ちPC1に対するユーザの操作入力がキーボード17及びマウス18を用いて行われ、その操作入力情報が、入力機器インターフェース部15を介してCPU11に供給される。
HDD19は、周知の通り記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェアプログラムを実行可能な状態でHDD19上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、HDD19には、CPU11が実行すべきオペレーティングシステムのプログラムコードや、アプリケーションプログラム、デバイスドライバなどが不揮発的に格納されている。
HDD19に格納されている各種プログラムは、PC1の起動時やユーザ層に応じたアプリケーションプログラムの起動時などに、メモリ部12に展開される。CPU11はメモリ部12に展開されたプログラムに基づいた処理を行う。
本例の場合、外部機器としては、図1に示したデジタルスチルカメラ90やGPSログ装置80が想定される。
PC1は、この外部機器インターフェース部22を介した通信により、デジタルスチルカメラ90からの画像データの取込や、GPSログ装置80からのGPSログデータの取込を行う。
なお、外部機器インターフェース部22は、USB規格に限らず、例えばIEEE(Institute of Electrical and Electronics Engineers)1394など、他のインターフェース規格であってもよい。
本例の場合、図1で述べたように、アプリケーションプログラムであるマッチングプログラム2aによる処理動作が行われるが、マッチングプログラム2aは、例えばHDD19にインストールされ、起動時にメモリ部12に展開される。CPU11はメモリ部12に展開されたマッチングプログラム2aに基づいて必要な演算処理や制御処理を実行する。
またHDD19が図1における記憶部3の例となる。デジタルスチルカメラ90から取り込まれた画像データや、GPSログ装置80から取り込まれたGPSログデータなどは、HDD19に格納される。
またHDD19には、地図描画のための地図データベースが格納される場合もある。
また、入力機器インターフェース部15は、キーボード17やマウス18、及びディスプレイコントローラ14及び表示装置20が、図1のユーザインターフェース部4の具体例となる。
あるいはまた、フレキシブルディスク、CD−ROM(Compact Disc Read Only Memory)、MO(Magnet optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
図3は、マッチングプログラム2aに基づいてCPU11が実行する処理を示している。
マッチングプログラム2aが起動された後の処理としては、CPU11はまずステップF100で、処理対象とする画像データの選択及び読み込みの処理を行う。
例えばCPU11は、表示装置部20においてマッチングプログラム2aの初期画面を表示させ、ユーザに対して、処理対象とする1又は複数の画像データファイルの選択を求める。即ちデジタルスチルカメラ90から取り込まれてHDD19に格納されている画像データファイルのうちで、ユーザが位置情報の関連付けを行いたい画像データファイルを選ぶ。そしてユーザの操作入力(画像データファイルの指定操作)に応じて、選択された画像データファイルをHDD19から読み込み、表示措置20において例えばサムネイル画像(縮小画像)により一覧表示させる。
なお、このような画像データの選択処理は、デジタルスチルカメラ90からの画像データのHDD19へのの取込を行った際に、その新たに取り込まれた画像データファイルが選択されるというように、自動的に行われるようにしてもよい。
そしてステップF103でCPU11は、表示装置20において地図画像上で各画像データファイルの撮像位置提示画像を表示させる。また、その画面に対するユーザの入力操作に対応した必要な処理を行う。
ファイル表示部32は、ステップF100で処理対象とされた画像データファイルを一覧表示する領域とされる。このファイル表示部32には、ステップF100で選択された各画像データファイルのサムネイル画像が表示されるとともに、そのファイル名(「DSC00012.JPG」等)、及びその画像データファイルに付加されている撮像時の日時情報としての年月日時分秒が表示される。この日時情報は、デジタルスチルカメラ90側で撮像時に付加された情報である。
なお上記ステップF100における画像データファイルの選択の際のユーザ操作のため、「画像ファイルを追加」ボタンが表示されており、ユーザはこの「画像ファイルを追加」ボタンをクリックすることで、ファイル選択画面を表示させて、任意の画像データファイルを処理対象として選択、追加できる。
そしてマッチング処理の結果としての地図画像表示が、地図表示部31において行われる。
即ちCPU11は、マッチング処理によって各画像データファイルに関連付けられた位置情報に基づいて、その各位置情報が含まれる地域、地区の地図画像を表示させる処理を行う。
地図画像については、HDD19に格納されている地図データベースを用いて必要な地域の地図画像描画が行われるようにする。但し、必ずしも地図描画のための地図データベースがHDD19(PC1内)に格納されている必要はなく、例えばネットワークインターフェース部13を介したネットワーク通信により、外部サーバ(例えばインターネットウェブサイト等)から必要な範囲の地図画像データを取得して表示させるようにしてもよい。
軌跡画像40は、GPSログデータとして取得されている範囲のユーザの行動軌跡を地図上で示すものであり、例えば特定の色或いは表示態様により、地図画像上でユーザの行動範囲が示されるようにする画像である。
1つのポインタ41は、1つの画像データファイルに対応する撮像位置提示画像である。即ちポインタ41は、画像データファイルに関連付けられた位置情報により、地図画像上でその画像データファイルの撮像位置を示すように表示される。
これにより、図のように複数のポインタ41のそれぞれが、ユーザに対して各画像の撮像位置として示される。
CPU11は、このような画面表示やユーザ操作に対応する処理をステップF103で実行する。
図5は、例えばユーザがファイル表示部32内で、ファイル名「DSC00015.JPG」の画像データファイルをクリック(若しくはダブルクリック等)し、選択状態45とした状態を示している。この場合、地図画像上では、当該「DSC00015.JPG」の画像データファイルに対応するポインタ41に代えて、サムネイル画像42が表示される。
つまり、CPU11は、ユーザがファイル表示部32において画像データファイルを選択する操作を行ったことを検知したら、その選択された画像データファイルのポインタ41の位置に、サムネイル画像42を表示させる制御を行う。
なお、ユーザが複数の画像データファイルを指定した場合は、それぞれ、地図画像上でポインタ41に代えてサムネイル画像42を表示させればよい。
従って、地図上で、画像データに対する位置情報の関連付けの状態をより簡易かつ正確に確認できることになる。
例えば図5に示すようにサムネイル画像42として表示させた画像データファイルについて、ユーザが撮像した場所をしっかり記憶していたとすると、この図5の表示を見ることで、地図上で指し示されている位置が正しいか否かを容易に判断できる。
また、特徴的であったり有名な建物が画像内に撮し込まれるような撮像をした場合、例えば東京タワー、国会議事堂などをバックにした撮像を行った場合など、そのサムネイル画像42が示している位置が、地図上の当該建造物の位置と異なっていれば、画像上での位置ズレをはっきり認識できる。
もし正しくないと判断した場合、ユーザは修正のための操作を行うことができる。
例えばユーザが、図5の表示状態から、修正メニューボタン33の操作により「位置修正」を選択した場合、CPU11は、図6のように位置修正入力ダイアログ50によりスライダ51の表示を実行させる。またスライダ51と対応する調整時間52の表示も行われる。
スライダ51は、例えば+3分00秒〜−3分00秒の調整範囲において時間ズレの修正入力を行うものであり、また調整時間52の時間値も、同じく+3分00秒〜−3分00秒の範囲で増減できる。
なお、調整範囲を±3分とするのは一例にすぎないことはいうまでもない。
ユーザは、表示装置20上で表示されているマウスカーソル70をスライダ51に合わせてマウス18によりドラッグ操作を左右に行うことで、スライダ51を操作し、位置ズレを修正する時間値入力を行うことができる。
又はマウスクリックによる時間値の増減、或いはキーボード17による数値直接入力などとして、調整時間52として表示されている時間値を増減することでも、位置ズレを修正する時間値入力を行うことができる。
具体的にはCPU11は、時間値による修正入力に応じて、まず処理対象とされている全ての画像データファイルに付加されている撮像時の日時情報を修正する。例えば+1分23秒という時間値が入力された場合、全ての画像データファイルについての撮像時としての日時情報の値を、1分23秒進めた値とする。そして、その状態でGPSログデータを用いて日時情報に基づくマッチングを再度行う。これにより、各画像データファイルに対して、新たに位置情報が関連付けられることになる。
この処理をステップF108で行ってステップF103に進むことより、その修正された関連付けに応じた表示が行われる。
図9はユーザがスライダ51を操作した状態を示している。これは例えば+1分34秒としての時間値入力の状態であるとする。
このような時間値入力に応じてステップF108の処理が行われてステップF103で表示されることで、地図画像上では、ポインタ41やサムネイル画像42が修正された位置に表示される。特に、スライダ51や調整時間52としての時間値の入力は、連続的に行われ、そのたびにステップF108→F103として処理が行われることで、画面上では、矢印で示すように、全てのポインタ41やサムネイル画像42が地図上で移動されるような表示となる。
つまり、ユーザのスライダ51の操作に応じて、地図上の軌跡画像40に沿って、ポインタ41やサムネイル画像42が前後していくような表示となる。
ユーザは、このポインタ41やサムネイル画像42の位置を見ながらスライダ51を操作していくことで、適切な位置に調整する。
特にサムネイル画像42を表示させている際には、そのサムネイル画像42が、その画像を撮像した場所にまで移動されるように、スライダ51を操作すればよいことになる。
例えばデジタルスチルカメラ90の内部時計が、GPSログデータにおけるグリニッジ標準時に基づく正確な時刻に対して2分31秒進んでいたとすると、マッチング処理では、ユーザが実際の画像データを撮像した場所に居た日時よりも2分31秒後に居た位置が関連付けられてしまう。これによって地図表示上では、撮像場所よりズレた位置にポインタ41(又はサムネイル画像42)が表示されてしまう。
そのような場合に、ユーザが、地図画像上でポインタ41(又はサムネイル画像42)を正確な撮像位置(ユーザ自身が撮像を行った場所であるとある程度正確に認識している位置)に移動させるようにスライダ51を操作することは、デジタルスチルカメラ90の内部時計により各画像データファイルに付加された日時情報のズレを修正し、これによって正確な位置情報の関連付け状態に修正することを意味している。
そこで、地図表示において、時差によるものと考えられるズレがある場合は、ユーザは修正メニューボタン33からは、プルダウンメニューとして「時差修正」を選択する。
「時差修正」を選択した場合、CPU11は、図8のように時差修正入力ダイアログ60を表示させる。この時差修正入力ダイアログ60には、時差入力部61を表示させる。
時差入力部61では、プルダウンメニューにより、図9に示すように時差の値を選択できるようにされる。例えばプルダウンメニューとして図のように「GMT+09:00」を選択すると、9時間進めるという意味の時間値入力となる。
このように時差としての時間値をユーザが入力した場合、CPU11の処理はステップF105からF109に進み、入力された時間値に応じて、処理対象としている全画像データファイルについての位置情報の関連づけを修正する。
具体的にはCPU11は、時間値による修正入力に応じて、まず処理対象とされている全ての画像データファイルに付加されている撮像時の日時情報を修正する。なお、実際に画像データファイル内に記録されている撮像日時情報を書き換えるのではなく、マッチング処理に用いるために読み出している日時情報を、時差入力の時間値(例えば図9の場合+9時間)だけ修正すればよい。または、各画像データファイルについての日時情報ではなく、GPSログデータの日時情報に対して、一時的に時差として入力された時間値だけ修正してもよい。
そして、その状態でGPSログデータと画像データファイルについて、日時情報に基づく再度のマッチングを行う。これにより、各画像データファイルに対して、新たに時差を考慮したうえでの位置情報が関連付けられることになる。
この処理をステップF109で行ってステップF103に進むことにより、その修正された関連付けに応じた表示が行われる。
この地図画像では、各画像データファイルの撮像場所が正しくポインタ41(又はサムネイル画像42)によって表示され、またユーザの行動範囲が軌跡画像40として行われる。
但し、例えばGPSログ装置80が取得するGPS位置情報の精度の限界などにより、個別的にみて、或るポインタ41(或る画像データファイル)のみ、表示される位置が、実際の撮像場所から多少ずれているということもある。
例えばユーザが、図11のように或るポインタ41aに対してマウスカーソル70を位置させてドラッグ/ドロップ操作により、ポインタ41bとして示すように移動させることができるようにする。もちろんポインタ41に代えてサムネイル画像42を表示させている場合は、そのサムネイル画像42のドラッグ/ドロップ操作を行うことができるようにすればよい。
ユーザがこのようなドラッグ/ドロップ操作を行った場合、CPU11はステップF106からF110に進み、当該ドラッグ/ドロップ操作の対象となったポインタ41(又はサムネイル画像42)で示される画像データファイルのみについて、関連付けられている位置情報を修正する。この場合は、CPU11はマッチング処理をやり直すのではなく、当該画像データファイルについて関連付けられている位置情報の緯度・経度の値を、地図上でドロップされた緯度・経度の値に修正すればよい。
このように個別的に位置情報を微修正できるようにすることで、より正確な位置情報の関連づけ状態を得ることができる。
CPU11は、保存操作を検知したら、処理をステップF107からF111に進め、その時点で各画像データファイルに対する位置情報の関連づけ状態を確定し、保存処理を行う。具体的には、処理対象とされた各画像データファイル(例えばExif形式ファイル)に、それぞれ関連づけされている位置情報を付加したうえで、それらの画像データファイルをHDD19に記憶させる。
これによって、マッチングプログラム2aによる、各画像データファイルへの位置情報の関連づけ処理を終える。
このような表示により、ユーザは、各画像データファイルについて正しく位置情報が関連付けられているか否かを、視覚的に容易に確認できることになる。
また、このスライダ操作に応じてマッチングがやり直され、処理対象としている全ての画像データファイルについての位置情報の関連づけが修正されるため、ユーザは個々の画像データファイル(ポインタ41)について位置を修正する操作を行う必要はない。
つまり、視覚的に分かり易く、かつ面倒無く、修正を行うことができる。
修正入力のためのユーザインターフェースとしては、時刻ズレや時差としての時間値に相当する入力を行うことができるのであれば、どのような態様でもよい。
例えば図6,図7のようなスライダ51を用いず、直接時間値を入力するのみとしたり、時計型の画像によって時間を前後させたりするなどとしてもよい。
但しこの場合、画面上での移動量は、それぞれ個別であることから、スライダ51等によって時間値を入力する場合よりもCPU11の演算負担は多くなる。
GPSログデータとして記録されているユーザの行動軌跡は、当然ながら時間毎の移動距離が常に一定というわけではない。そのため、ドラッグした或るポインタ41について地図上の距離と、ある程度の時間範囲のログデータを参照して、そのドラッグ量に応じた時間を推定する演算が必要になる。そしてその上で、推定された時間差に基づいて、他のポインタ41(他の画像データファイル)について、新たに位置情報の関連づけを行うことが必要になるためである。
また国名や地域名を入力するようにしてもよい。CPU11は、入力された国名や地域名に応じて、時差の値を判断する。国名や地域名とすれば、時差が何時間であったかユーザが忘れたような場合でも、比較的容易に入力できる。
また、画面上に世界地図を表示させて、その世界地図上で撮像場所としての国、地域を指定することで、時差入力が行われるような入力方式も考えられる。
なお実施の形態では、位置修正入力ダイアログと時差修正入力ダイアログを別ダイアログとしたが、共通のダイアログで、それぞれの時間値入力ができるようにしてもよい。
また実施の形態では、デジタルスチルカメラ90で撮像した静止画データとしての画像データファイルを対象として説明したが、ビデオカメラで撮像した動画データを対象とする場合も本発明は適用できる。
動画データの場合、例えば撮像開始の日時(例えば先頭フレームの日時)を用いて位置情報を関連付けるようにすることなどが考えられるが、そのような関連付けについての地図画像上での提示や、操作入力に応じた修正処理が、上記実施の形態のように行われればよい。
Claims (4)
- デジタルスチルカメラで得られる撮像時の該デジタルスチルカメラ内部の時計機能によるローカル時刻である日時情報が付加されている画像データであって、処理対象とされた全ての画像データについて、上記デジタルスチルカメラとともにユーザが携帯するジーピーエス(GPS)ログ装置から得られるグリニッジ時刻である日時情報と経度・緯度の位置情報とが対応されているログデータを用いて、日時情報に基づくマッチングを行い、上記画像データに対して上記位置情報を関連付けるマッチング処理と、
処理対象とされている上記画像データに関連付けられた位置情報に基づき、画像データの撮像位置を示す撮像位置提示画像を、地図画像上で表示させる表示処理と、
時間値による修正入力に応じて、処理対象とされている全ての画像データに関連付けられた位置情報を修正するとともに、地図画像上の上記撮像位置提示画像の表示として、修正された位置情報を反映した表示を実行させる修正処理と、
保存指示入力に応じて、処理対象とされた全ての画像データについての位置情報の関連付けを確定させて保存させる関連付け結果保存処理と、
を演算処理装置に実行させ、
上記修正処理において、
上記位置情報の修正は、
上記時間値による修正入力に応じて、処理対象とされている全ての画像データに付加されている撮像時の日時情報を修正したうえで、上記ログデータを用いて日時情報に基づくマッチングを行い、上記画像データに新たに位置情報を関連付けることで、処理対象とされている全ての画像データに関連付けられた位置情報を修正するものであり、
上記時間値による修正入力は、
上記画像データに付加されている撮像時の上記日時情報を調整する入力であって、
処理対象とされた全ての画像データについて、上記地図画像上で撮像位置として表示された該画像データの撮影時の上記ローカル時刻である日時情報が、上記グリニッジ時刻と上記撮像位置とから求めた時刻と一致しない場合には、上記ローカル時刻である日時情報に時差の修正をし、
上記地図画像上で、特定の撮像位置提示画像を指定して移動させる操作入力に応じて、当該撮像位置提示画像に相当する画像データに関連付けられている位置情報を修正し、
上記撮像位置提示画像として、画像データのサムネイル画像を用いる、
プログラム。 - 上記表示処理では、上記地図画像上において、上記ログデータに基づく軌跡画像を表示させることを特徴とする請求項1に記載のプログラム。
- デジタルスチルカメラで得られる撮像時の該デジタルスチルカメラ内部の時計機能によるローカル時刻である日時情報が付加されている画像データであって、処理対象とされた全ての画像データについて、上記デジタルスチルカメラとともにユーザが携帯するジーピーエス(GPS)ログ装置から得られるグリニッジ時刻である日時情報と経度・緯度の位置情報とが対応されているログデータを用いて、日時情報に基づくマッチングを行い、上記画像データに対して上記位置情報を関連付けるマッチング処理ステップと、
処理対象とされている上記画像データに関連付けられた位置情報に基づき、画像データの撮像位置を示す撮像位置提示画像を、地図画像上で表示させる表示処理ステップと、
時間値による修正入力に応じて、処理対象とされている全ての画像データに関連付けられた位置情報を修正するとともに、地図画像上の上記撮像位置提示画像の表示として、修正された位置情報を反映した表示を実行させる修正処理ステップと、
保存指示入力に応じて、処理対象とされた全ての画像データについての位置情報の関連付けを確定させて保存させる関連付け結果保存処理ステップと、を有し、
上記修正処理ステップにおいて、
位置情報の修正は、
上記時間値による修正入力に応じて、処理対象とされている全ての画像データに付加されている撮像時の日時情報を修正したうえで、上記ログデータを用いて日時情報に基づくマッチングを行い、上記画像データに新たに位置情報を関連付けることで、処理対象とされている全ての画像データに関連付けられた位置情報を修正するものであり、
上記時間値による修正入力は、
上記画像データに付加されている撮像時の上記日時情報を調整する入力であって、
処理対象とされた全ての画像データについて、上記地図画像上で撮像位置として表示された該画像データの撮影時の上記ローカル時刻である日時情報が、上記グリニッジ時刻と上記撮像位置とから求めた時刻と一致しない場合には、上記ローカル時刻である日時情報に時差の修正をし、
上記地図画像上で、特定の撮像位置提示画像を指定して移動させる操作入力に応じて、当該撮像位置提示画像に相当する画像データに関連付けられている位置情報を修正し、
上記撮像位置提示画像として、画像データのサムネイル画像を用いる、
画像データ処理方法。 - 撮像時の日時情報が付加されている画像データ、及び日時情報と位置情報が対応されているログデータを記憶する記憶部と、
演算処理部と、を備え、
上記演算処理部は、
デジタルスチルカメラで得られる撮像時の該デジタルスチルカメラ内部の時計機能によるローカル時刻である日時情報が付加されている画像データであって、処理対象とされた全ての画像データについて、上記デジタルスチルカメラとともにユーザが携帯するジーピーエス(GPS)ログ装置から得られるグリニッジ時刻である日時情報と経度・緯度の位置情報とが対応されているログデータを用いて、日時情報に基づくマッチングを行い、上記画像データに対して上記位置情報を関連付けるマッチング処理と、
処理対象とされている上記画像データに関連付けられた位置情報に基づき、画像データの撮像位置を示す撮像位置提示画像を、地図画像上で表示させる表示処理と、
時間値による修正入力に応じて、処理対象とされている全ての画像データに関連付けられた位置情報を修正するとともに、地図画像上の上記撮像位置提示画像の表示として、修正された位置情報を反映した表示を実行させる修正処理と、
保存指示入力に応じて、処理対象とされた全ての画像データについての位置情報の関連付けを確定させて保存させる関連付け結果保存処理と、を行い、
上記修正処理における位置情報の修正は、
上記時間値による修正入力に応じて、処理対象とされている全ての画像データに付加されている撮像時の日時情報を修正したうえで、上記ログデータを用いて日時情報に基づくマッチングを行い、上記画像データに新たに位置情報を関連付けることで、処理対象とされている全ての画像データに関連付けられた位置情報を修正するものであり、
上記時間値による修正入力は、
上記画像データに付加されている撮像時の上記日時情報を調整する入力であって、
処理対象とされた全ての画像データについて、上記地図画像上で撮像位置として表示された該画像データの撮影時の上記ローカル時刻である日時情報が、上記グリニッジ時刻と上記撮像位置とから求めた時刻と一致しない場合には、上記ローカル時刻である日時情報に時差の修正をし、
上記地図画像上で、特定の撮像位置提示画像を指定して移動させる操作入力に応じて、当該撮像位置提示画像に相当する画像データに関連付けられている位置情報を修正し、
上記撮像位置提示画像として、画像データのサムネイル画像を用いる、
画像データ処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008007563A JP4831079B2 (ja) | 2008-01-17 | 2008-01-17 | プログラム、画像データ処理方法、画像データ処理装置 |
US12/343,739 US8773474B2 (en) | 2008-01-17 | 2008-12-24 | Program, image data processing method, and image data processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008007563A JP4831079B2 (ja) | 2008-01-17 | 2008-01-17 | プログラム、画像データ処理方法、画像データ処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009171269A JP2009171269A (ja) | 2009-07-30 |
JP4831079B2 true JP4831079B2 (ja) | 2011-12-07 |
Family
ID=40876129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008007563A Expired - Fee Related JP4831079B2 (ja) | 2008-01-17 | 2008-01-17 | プログラム、画像データ処理方法、画像データ処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8773474B2 (ja) |
JP (1) | JP4831079B2 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5494346B2 (ja) * | 2009-11-26 | 2014-05-14 | 株式会社Jvcケンウッド | 情報表示装置、情報表示装置の制御方法、およびプログラム |
JP2014149839A (ja) * | 2009-11-26 | 2014-08-21 | Jvc Kenwood Corp | 情報表示制御装置、情報表示制御方法、および情報表示制御プログラム |
JP5585164B2 (ja) * | 2010-03-30 | 2014-09-10 | 大日本印刷株式会社 | 画像プリントシステム、画像出力受付端末、及び画像出力方法 |
KR20110139375A (ko) * | 2010-06-23 | 2011-12-29 | 삼성전자주식회사 | 위치 정보가 포함된 이미지의 디스플레이 방법 및 장치 |
JP5677073B2 (ja) * | 2010-12-15 | 2015-02-25 | キヤノン株式会社 | 画像制御装置及び画像制御方法、情報処理装置及び情報処理方法、プログラム並びに記憶媒体 |
JP2012142825A (ja) * | 2011-01-05 | 2012-07-26 | Sony Corp | 情報処理装置、情報表示方法及びコンピュータプログラム |
JP5704945B2 (ja) * | 2011-02-04 | 2015-04-22 | キヤノン株式会社 | 撮像装置およびその制御方法、プログラム |
JP2012165142A (ja) * | 2011-02-04 | 2012-08-30 | Canon Inc | 情報処理装置及びその制御方法、並びに、プログラム |
JP5698551B2 (ja) * | 2011-02-04 | 2015-04-08 | キヤノン株式会社 | 情報処理装置、及びその制御方法 |
JP5737982B2 (ja) | 2011-02-04 | 2015-06-17 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム、並びに記憶媒体 |
JP5708575B2 (ja) * | 2011-06-30 | 2015-04-30 | キヤノンマーケティングジャパン株式会社 | 情報処理装置、情報処理システム、制御方法、情報処理方法およびそのプログラム |
US9052205B2 (en) * | 2011-10-26 | 2015-06-09 | Sony Corporation | Terminal device, information processing method, and program |
US10970888B2 (en) | 2011-12-27 | 2021-04-06 | Sony Corporation | Information processing device, information processing method and program |
JP6071287B2 (ja) * | 2012-07-09 | 2017-02-01 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6004807B2 (ja) * | 2012-07-24 | 2016-10-12 | キヤノン株式会社 | 画像処理装置、その制御方法、プログラム |
JP5952670B2 (ja) * | 2012-07-25 | 2016-07-13 | キヤノン株式会社 | 電子機器及びその制御方法 |
JP6147108B2 (ja) * | 2013-06-14 | 2017-06-14 | キヤノン株式会社 | 通信装置、その制御方法、プログラム |
WO2015045645A1 (ja) * | 2013-09-25 | 2015-04-02 | Necカシオモバイルコミュニケーションズ株式会社 | 撮像装置、撮像方法及びプログラム |
JP6177097B2 (ja) * | 2013-11-12 | 2017-08-09 | 株式会社日立産機システム | 位置検出システム |
RU2016148406A (ru) * | 2014-05-12 | 2018-06-15 | Филипс Лайтинг Холдинг Б.В. | Проверка изображений, захваченных с использованием временной метки, декодированной из освещения от модулированного источника света |
US10362261B2 (en) * | 2017-03-02 | 2019-07-23 | Toshiba Memory Corporation | Memory card having a wireless function for linking location information to image data |
JP2019041353A (ja) * | 2017-08-29 | 2019-03-14 | 京セラ株式会社 | 電子機器及びシステム |
TWI730539B (zh) * | 2019-10-09 | 2021-06-11 | 開曼群島商粉迷科技股份有限公司 | 動態數位內容的顯示方法、圖形使用者介面與系統 |
JP7504681B2 (ja) * | 2020-07-01 | 2024-06-24 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 撮影位置管理装置、方法およびプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5786814A (en) * | 1995-11-03 | 1998-07-28 | Xerox Corporation | Computer controlled display system activities using correlated graphical and timeline interfaces for controlling replay of temporal data representing collaborative activities |
JP3906938B2 (ja) * | 1997-02-18 | 2007-04-18 | 富士フイルム株式会社 | 画像再生方法及び画像データ管理方法 |
JP4804604B2 (ja) | 1998-07-09 | 2011-11-02 | ソニー株式会社 | 再生装置および記録再生システム |
JP2001094916A (ja) * | 1999-09-17 | 2001-04-06 | Sony Corp | 情報処理方法および装置、並びにプログラム格納媒体 |
US20040004663A1 (en) * | 2002-07-02 | 2004-01-08 | Lightsurf Technologies, Inc. | Imaging system providing automatic organization and processing of images based on location |
JP4403364B2 (ja) | 2003-05-27 | 2010-01-27 | ソニー株式会社 | 情報記録制御装置および情報記録制御方法、記録媒体、並びにプログラム |
JP2006186541A (ja) * | 2004-12-27 | 2006-07-13 | Noritsu Koki Co Ltd | 画像処理システム |
US8160400B2 (en) * | 2005-11-17 | 2012-04-17 | Microsoft Corporation | Navigating images using image based geometric alignment and object based controls |
-
2008
- 2008-01-17 JP JP2008007563A patent/JP4831079B2/ja not_active Expired - Fee Related
- 2008-12-24 US US12/343,739 patent/US8773474B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009171269A (ja) | 2009-07-30 |
US8773474B2 (en) | 2014-07-08 |
US20090184982A1 (en) | 2009-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4831079B2 (ja) | プログラム、画像データ処理方法、画像データ処理装置 | |
US11693209B2 (en) | Primary-subordinate camera focus based on lens position sensing | |
US8645867B2 (en) | Modifying time associated with digital media items | |
US8831877B2 (en) | Automatic correction of trajectory data | |
CN103595911B (zh) | 相机装置和用于在其使用中协助用户的方法 | |
US20110302529A1 (en) | Display control apparatus, display control method, display control program, and recording medium storing the display control program | |
US9560247B2 (en) | Optical image stabilization compensations | |
JP5315424B2 (ja) | 画像表示制御装置及びその制御方法 | |
JP2007121548A (ja) | 画像管理装置、画像管理プログラム、画像管理方法及び記録媒体 | |
CA2923452A1 (en) | Multivariate testing of mobile applications | |
TW201619915A (zh) | 行動裝置、操作方法及非揮發性電腦可讀取記錄媒體 | |
US8924445B2 (en) | Image display device, method, and program | |
US9720935B2 (en) | Suggesting information to be associated with images based on metadata embedded in images | |
US8175804B2 (en) | Navigation apparatus | |
JP6284426B2 (ja) | 経路出力装置及び経路出力方法 | |
JP2010152817A (ja) | 電子機器と画像表示方法およびコンピュータ・プログラムと撮像装置 | |
US11526900B2 (en) | Aggregation system and control method of the same | |
JP5789982B2 (ja) | 撮影方向決定プログラム及び表示装置 | |
JP6575221B2 (ja) | 表示制御方法、情報処理装置及び表示制御プログラム | |
JP5980172B2 (ja) | 表示制御装置及びその制御方法 | |
JP6135115B2 (ja) | 情報処理装置、情報処理システム、その制御方法およびそのプログラム | |
JP2013084104A (ja) | 位置情報登録装置、位置情報登録方法および電子機器 | |
US20230128950A1 (en) | Photography position management device and method, and computer-readable storage medium | |
JP6132522B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20110242362A1 (en) | Terminal device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110520 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110823 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110905 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140930 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |