JP4175334B2 - 撮影画像検索装置及び撮影画像検索方法 - Google Patents

撮影画像検索装置及び撮影画像検索方法 Download PDF

Info

Publication number
JP4175334B2
JP4175334B2 JP2005087386A JP2005087386A JP4175334B2 JP 4175334 B2 JP4175334 B2 JP 4175334B2 JP 2005087386 A JP2005087386 A JP 2005087386A JP 2005087386 A JP2005087386 A JP 2005087386A JP 4175334 B2 JP4175334 B2 JP 4175334B2
Authority
JP
Japan
Prior art keywords
image information
image
search
information
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2005087386A
Other languages
English (en)
Other versions
JP2005218135A (ja
Inventor
昇 湯本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2005087386A priority Critical patent/JP4175334B2/ja
Publication of JP2005218135A publication Critical patent/JP2005218135A/ja
Application granted granted Critical
Publication of JP4175334B2 publication Critical patent/JP4175334B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮影画像検索装置及び撮影画像検索方法に関し、特に、撮影画像情報とともに撮影位置情報を記録することができ、該撮影位置情報に基づいて、多数の撮影画像情報の中から所望の画像情報を高速かつ容易に検索、表示することができる撮影画像検索装置及び撮影画像検索方法に関する。
近年、画像をデジタル信号として撮影、記憶、表示処理できる電子スチルカメラ、あるいは、ノート型パソコン等にPCMCIAカードを介して装着されるカード型のカメラユニットが開発され、製品化されている。このような電子スチルカメラにおいては、画像情報を記億するメモリの容量によっては、一般的な銀塩写真用フィルムにおける24枚撮りや36枚撮りをはるかに超える膨大な数の画像を撮影することができる。したがって、画像撮影後の再生表示の際に、高速かつ操作性に優れた画像の検索方法及び表示方法の実現が求められている。
一般に、電子スチルカメラ等において、メモリに記憶された画像の検索方法としては、電子スチルカメラに内蔵された時計機能により画像の撮影時刻を時間情報として画像に付加して記憶する手法が採用されている。
しかしながら、このような方法にあっては、カメラ使用者は、画像撮影後、時間情報のみに基づいて撮影場所や撮影状況等を思い出しつつ、膨大な量の画像情報から所望の画像を抽出するという作業を強いられていた。
また、所望の画像を液晶ディスプレイパネル(以下、LCDと略記する)等に表示する際には、画像を撮影時間の新旧に基づいて順次一枚づつ表示するスクロール表示方法や、複数画像を一括して4画面あるいは9画面等に分割表示するマルチ画面表示方法により、画像を閲覧検索し、所望の画像を抽出しなければならないので、所望の撮影画像を検索するのに、かなりの時間と労力を要してしまうという問題を有していた。
一方、近年、全地球的測位システム(Global Positioning System:以下、GPSと記す。)により得られる位置情報に基づいて、関連する地図情報を検索、表示し、当該地図上に自己の現在地を表示するナビゲーションシステムが、カーナビゲーションやトラックの運行管理等に広く利用されるようになってきている。
GPSは、人工衛星からの微弱な電波をとらえ、緯度や経度など位置を検出する測位衛星システムで、米国国防総省が開発したシステムであり、一部が民間用に開放されている。GPSは、地上約2万kmを周回する、6軌道面に4個ずつ配置された24個の測位衛星(GPS衛星ともいう)と、測位衛星の追跡と管制を行う管制局と、測位を行うためのGPS受信機とにより構成されている。
GPS利用者は、24個の測位衛星のうち、3個の測位衛星から発する信号を同時に受信することで、3点測量の原理から2次元の位置(緯度、経度)を算出することができ、さらに、4番目の測位衛星からの信号を使用することで、高度を含めた3次元の位置を算出することができる。この場合、送信側の測位衛星の原子時計と、受信側のGPS受信機の水晶時計との時刻の差を利用して、位置の情報を補正する。すなわち、24個の測位衛星のうち、4個の測位衛星から発する軌道情報、誤差情報、ステータス情報に基づいて測位を行う。
このようなGPSは、(1)地球上のほぼ全地域で、かつ、全天候下で連続的に3次元測位が可能であり、(2)測位精度がほぼ一定であり、大幅な誤差が生じることが少ない、という特徴を有している。
そのため、上記問題点を解決するために、近年においては、GPSにより測定された位置情報を撮影画像に関連付けて蓄積する技術を採用した電子スチルカメラが知られている。例えば、特開平10−150625号公報等には、撮影された画像に、GPSにより測定された位置情報と、その位置情報に基づいて検索された地図情報を関連付けて記憶し、画像の表示に際し、撮影位置を地図情報上に表示する電子スチルカメラが記載されている。
そして、このような電子スチルカメラで撮影された画像の中から所望の撮影画像を検索する手法としては、(1)モニターに表示される地図上の所望の位置を入力指定することにより、その場所(周辺)で撮影された画像を検索する手法や、(2)地名等を入力することにより、その地名と対応付けられている撮影画像を検索する手法等が知られている。
しかしながら、上述した従来技術においては、位置情報をそのまま、又は、位置情報に基づいて検索される地図情報を撮影画像に関連付けて蓄積、表示する手法が示されているにすぎず、地図検索、あるいはナビゲーション機能以外の面で、位置情報を有効に利用する方法を提示するものではなかった。
また、上述した(1)の検索方法においては、地図情報の容量が極めて大きいうえ、地図情報の表示処理が必要となってしまったり、所望の位置を入力指定するためにモニター上に表示されている地図をスクロールさせて所望のエリアを探し出したりする必要があるため、電子スチルカメラに同様の機能を搭載した場合、本来の画像処理技術に付加して、地図情報の検索処理や表示処理が必要となり、簡易な構成及び処理により、高速かつ容易な画像の検索処理及び表示処理を実現することができないという問題を有している。
また、上述した(2)の検索手法においては、地名等の文字データを検索条件として入力しなければならないので、入力操作が煩雑になってしまったり、所望の画像を撮影した場所の地名を覚えていなければ検索できないので、この手法においても、高速かつ容易な画像の検索処理及び表示処理を実現することができないという問題を有している。
そこで、本発明は、膨大な量の撮影画像の中から所望の画像を高速かつ容易に検索、抽出することができ、さらに、所望の画像を多彩な表示方法により表示することが可能な撮影画像検索装置及び撮影画像検索方法を提供することを目的とする。
請求項1記載の撮影画像検索装置は、複数の撮影画像情報の中から所定の条件を満たす撮影画像情報を検索する撮影画像検索装置において、複数の撮影画像情報を記憶する画像記憶手段と、この画像記憶手段に記憶されている複数の撮影画像情報の各々を取得した撮影位置相互の方位を取得する方位取得手段と、前記画像記憶手段に記憶されている複数の撮影画像情報の中から、前記方位取得手段により取得された方位が所定の条件を満たす撮影画像情報を検索する画像検索手段と、を備えたことを特徴とする。
請求項2記載の撮影画像検索装置は、複数の撮影画像情報の中から所定の条件を満たす撮影画像情報を検索する撮影画像検索装置において、複数の撮影画像情報を記憶する画像記憶手段と、前記撮影画像情報を取得した撮影位置の方位を取得するための基準位置を取得する基準位置取得手段と、前記画像記憶手段に記憶されている複数の撮影画像情報の中から、前記基準位置取得手段により取得された基準位置と、前記撮影画像情報の各々を取得した撮影位置との間の方位が所定の条件を満たす撮影画像情報を検索する画像検索手段と、を備えたことを特徴とする。
請求項記載の撮影画像検索方法は、複数の撮影画像情報の中から所定の条件を満たす撮影画像情報を検索するための撮影画像検索方法であって、メモリに記憶されている複数の撮影画像情報の各々を取得した撮影位置相互の方位を取得する手順と、前記メモリに記憶されている複数の撮影画像情報の中から、取得した撮影位置相互の方位が所定の条件を満たす撮影画像情報を検索する手順と、を含むことを特徴とする。
請求項記載の撮影画像検索方法は、複数の撮影画像情報の中から所定の条件を満たす撮影画像情報を検索するための撮影画像検索方法であって、前記撮影画像情報を取得した撮影位置の方位を取得するための基準位置を取得する手順と、メモリに記憶されている複数の撮影画像情報の中から、前記基準位置と前記撮影画像情報の各々を取得した撮影位置との間の方位が所定の条件を満たす撮影画像情報を検索する手順と、を含むことを特徴とする。
本発明によれば、複数の撮影画像情報の中から所定の条件を満たす撮影画像情報を検索する撮影画像検索装置において、記憶手段に記憶されている複数の撮影画像情報の中から、撮影画像情報を取得した撮影位置相互の距離に基づいて、所定の条件を満たす撮影画像情報を検索する検索手段を備えているので、画像情報の取得(撮影)時の行動パターン(移動距離)を目安にして、膨大な量の撮影画像情報の中から所望の撮影画像情報を高速かつ容易に検索、抽出することが可能な撮影画像検索装置を提供することができる。
本発明によれば、記憶手段に隣り合って記憶又は管理されている撮影画像情報における撮影位置相互の距離を演算する演算手段を備え、演算された距離に基づいて、所定の条件を満たす撮影画像情報を検索するように構成しているので、例えば1つ前の画像情報の撮影位置から所定距離以上離れた場所で撮影された画像情報のみを検索して抽出し、所望の画像情報が撮影された各地域における最初に撮影された画像情報を順次表示することができ、所望の画像情報が撮影された地域の最初の画像情報が表示された時点で、当該地域の全画像情報を順次スクロール表示、あるいは、マルチ表示することにより、所望の画像情報を高速かつ容易に検索することができる。
本発明によれば、記憶手段に記憶されている1つ(特定)の撮影画像情報を取得した撮影位置と、その他の複数の撮影画像情報を取得した複数の撮影位置との間の距離を演算する演算手段を備え、この演算手段により演算された距離に基づいて、所定の条件を満たす撮影画像情報を検索するように構成しているので、任意の基準位置に対する他の撮影画像情報を取得した撮影位置の絶対的な距離に基づいて、所定の距離条件を満たす撮影画像情報を検索することができるので、基準位置を中心として撮影のために移動した地域(領域あるいは範囲)を目安にして、膨大な量の撮影画像情報の中から所望の撮影画像情報を高速かつ容易に検索、抽出することができる。
本発明によれば、撮影画像情報に関連付けて、該撮影画像情報の撮影位置を示す撮影位置情報を記憶する記憶手段と、記憶されている撮影位置情報が示す撮影画像情報の撮影位置相互の距離を演算する演算手段とを備え、この演算手段により演算された距離に基づいて、所定の条件を満たす撮影画像情報を検索するように構成しているので、撮影画像情報に関連付けて記憶された撮影位置情報に基づいて、任意の画像情報の撮影位置相互から距離を演算して、所定の条件を満たす画像情報のみを検索して抽出することができ、所望の画像情報を多彩な検索方法により高速かつ容易に検索することができる。
本発明によれば、撮影画像情報に関連付けて、該撮影画像情報の撮影位置と他の撮影画像情報の撮影位置との間の距離が所定の条件を満たす撮影画像情報である旨を示す識別情報を記憶する記憶手段と、記憶手段に識別情報が関連付けて記憶されている撮影画像情報を検索する検索手段とを備えているので、例えば撮影画像情報相互の撮影位置が所定距離以上離れている場合に、当該撮影画像情報に関連付けて識別情報(フラグ情報)を記憶することにより、画像検索時に識別情報が関連付けられて記憶された画像情報、すなわち、各地域において最初に撮影された画像情報を順次表示することができ、所望の画像情報が撮影された地域の最初の画像情報が表示された時点で、当該地域の全画像情報を順次、あるいは、一括して表示することにより、所望の画像情報を高速かつ容易に検索することができる。
また、所定の距離条件を満たすか否かの識別情報が画像情報に関連付けて記憶されているので、画像検索時には記憶されている識別情報のみに基づいて撮影画像情報の検索、抽出を行うことができるので、画像表示時における処理負担を軽減することができ、表示処理速度を一層高速化することができる。
本発明によれば、撮影画像情報に関連付けて、該撮影画像情報の撮影位置と他の前記撮影画像情報の撮影位置との間の距離を示す距離情報を記憶する記憶手段と、記憶手段に記憶されている距離情報が示す距離が所定の条件を満たす撮影画像情報を検索する検索手段とを備えているので、撮影画像情報の撮影位置相互の距離に関する情報(距離情報)を、当該撮影画像情報に関連付けて記憶し、画像検索時に所定の検索条件を満たす距離情報を有する撮影画像情報のみを検索して抽出することができ、検索条件に応じて、所望の画像情報を多彩な検索方法により高速かつ容易に検索することができる。
本発明によれば、撮影画像情報の撮影位置相互の距離が所定の条件を満たす撮影画像情報を同一グループとして記憶する記憶手段を備えているので、例えば比較的近場で撮影された複数の画像情報を同一グループとしてグループ登録することができ、各グループ毎の距離条件に基づいて、所望の画像情報を高速かつ容易に検索することができる。
本発明によれば、撮影位置情報を取得する撮影位置取得手段と、撮影位置情報が示す撮影位置相互の距離を演算する演算手段と、演算された距離が所定の条件を満たす撮影画像情報を検索する第2の検索手段とを備え、検索された撮影画像情報を同一グループとして記憶手段に記憶するように構成しているので、例えば撮影順番に関係なく、距離条件のみに基づいて、撮影地域毎の画像情報を同一グループとして記憶手段に記憶することにより、画像検索時には所定の距離条件を満たす撮影地域のグループを迅速かつ容易に検索することができ、該グループに属する撮影画像情報を順次、あるいは、一括して表示し、所望の画像情報を検索、抽出することができる。
本発明によれば、記憶手段に記憶されている複数の撮影画像情報の中から、撮影位置相互の距離が所定の条件を満たす撮影画像情報を検索する第2の検索手段と、複数の撮影画像情報を撮影順に記憶又は管理し、前記検索された撮影画像情報に挟まれて記憶又は管理されている撮影画像情報を同一グループとして記憶する記憶手段とを備えているので、今回撮影された画像情報が、前回の画像情報を撮影した場所から所定距離以上離れた場所で撮影された場合には、当該画像情報に関連付けるグループ番号を、前回のグループ番号と異ならせて記憶することにより、例えば画像検索時に各グループの中の最初の画像情報を順次表示することができ、所望の画像情報が撮影された地域の最初の画像情報が表示された時点で、当該地域の全画像情報を順次、あるいは、一括して表示することにより、所望の画像情報を高速かつ容易に検索することができる。
本発明によれば、記憶手段に記憶されている複数の撮影画像情報の中から、撮影画像情報を取得した撮影位置相互の距離が所定距離以下の撮影画像情報を検索する第2の検索手段と、検索された撮影画像情報を同一グループとして記憶する記憶手段とを備えているので、例えば距離条件のみに基づいて、比較的近場で撮影された画像情報を同一グループとして記憶手段に記憶することにより、画像検索時には所定の距離条件を満たすグループを迅速かつ容易に検索することができ、該グループに属する撮影画像情報を順次、あるいは、一括して表示し、所望の画像情報を検索、抽出することができる。
本発明によれば、記憶手段に記憶されている各グループの撮影画像情報の中から所定の撮影画像情報を検索する検索手段を備えているので、例えば画像検索時に各グループの中間画像を検索・表示することにより、各グループに属する画像情報を先頭から順次表示して所望の画像情報を検索する場合に比較して、画像表示に関する操作回数を減少させることができ、効率的に所望の画像情報を表示させることができる。
本発明によれば、記憶手段に記憶されている同一グループの撮影画像情報を検索する検索手段を備えているので、予め距離条件のみに基づいて、撮影地域毎にグループ化して記憶された画像情報を検索する際に、所定の距離条件を満たす同一のグループに属する画像情報を迅速かつ容易に検索することができ、さらに、検索手段により検索された同一グループの撮影画像情報の中から所望の撮影画像情報を選択する選択手段を備えているので、検索されたグループに属する撮影画像情報を順次、あるいは、一括して表示して、所望の画像情報を効率的に選択することができる。
本発明によれば、検索手段により検索された撮影画像情報の中から所望の撮影画像情報を選択する選択手段と、選択手段により所望の撮影画像情報が選択された場合、検索手段により検索されていない撮影画像情報を検索する第2の検索手段とを備えているので、検索手段により検索された画像情報が所望の画像情報を検索するための目安となる画像情報(例えば、所定のグループの代表画像)である場合に、検索された画像情報に続く(検索条件を満たしていない)画像情報を検索して表示させることができ、さらに、第2の検索手段により検索された撮影画像情報の中から所望の撮影画像情報を選択する第2の選択手段を備えているので、上記表示された画像情報の中から所望の画像情報を効率的に選択することができる。
本発明によれば、記憶手段に記憶されている撮影画像情報を表示する表示手段と、検索手段により検索された撮影画像情報を、他の検索されていない撮影画像情報よりも表示手段に長く表示させる表示制御手段とを備えているので、画像検索時に、撮影画像情報を順次表示させながら、所定の検索条件に一致した画像情報が表示された場合には、通常の表示時間よりも長い時間表示することができ、ユーザーに検索結果を視覚を通じて確実に報知することができる。
本発明によれば、記憶手段に記憶されている撮影画像情報を表示する表示手段と、検索手段により検索された撮影画像情報を表示手段に表示させる場合、その旨を報知する報知手段とを備えているので、例えば画像検索時に、記憶手段に記憶された撮影画像情報をオートスクロールにより順次表示させながら、所定の検索条件に一致した画像情報が表示された場合には、音声等の所定の報知方法により、ユーザーに対して検索結果を報知することができ、この報知を目安にして、画像の表示方法をマニュアルスクロールに切り換えることにより、所望の画像情報を高速かつ容易に検索して表示させることができる。
本発明によれば、記憶手段に記憶されている撮影画像情報を表示する表示手段と、検索手段により検索された撮影画像情報を表示手段に表示させる場合、画像加工処理を施して表示させる表示制御手段とを備えているので、画像検索時に、撮影画像情報を順次表示させながら、所定の検索条件に一致した画像情報が表示された場合には、表示色を変更する等の所定の画像加工を施して当該画像情報を表示することができ、ユーザーに検索結果を視覚を通じて確実に報知することができる。
本発明によれば、所定の条件は、記憶手段に記憶されている撮影画像情報を取得した撮影位置に基づいて決定されるので、ユーザーがキー操作を行うことなく、検索条件を自動的に設定、登録して、一連の検索処理や表示処理、あるいは、グループ登録処理を行うことができ、簡易な操作方法により所望の画像情報を高速かつ容易に検索して、表示させることができる。
本発明によれば、複数の撮影画像情報の中から所定の条件を満たす撮影画像情報を検索する撮影画像検索装置において、記憶手段に記憶されている複数の撮影画像情報の中から、撮影画像情報を取得した撮影位置相互の方位に基づいて、所定の条件を満たす撮影画像情報を検索する検索手段を備えているので、任意の基準位置に対する画像情報を取得した場所を、絶対的な方位情報として取得することができ、画像情報の取得(撮影)時の行動パターン(移動方向)を目安にして、膨大な量の撮影画像情報の中から所望の撮影画像情報を高速かつ容易に検索、抽出することが可能な撮影画像検索装置を提供することができる。
本発明によれば、複数の撮影画像情報の中から所定の条件を満たす撮影画像情報を検索する撮影画像検索装置に対して、撮影画像情報を出力可能な電子カメラ装置であって、被写体の画像の撮影位置を測定する測位手段と、撮影位置相互の距離を演算する演算手段と、演算された距離が所定の条件を満たす撮影画像情報を検索する検索手段と、撮影画像情報を記憶するとともに、検索された撮影画像情報に関連付けて識別情報を記憶する記憶手段とを備えているので、撮影画像情報に関連付けて、撮影位置相互の距離が所定の距離条件を満たすか否かを示す識別情報(フラグ情報)を記憶手段に記憶することができ、パソコン等の撮影画像検索装置により、記憶手段に記憶された膨大な撮影画像情報の中から、識別情報に基づいて、所望の撮影画像情報を高速かつ容易に検索、抽出することができる。
本発明によれば、複数の撮影画像情報の中から所定の条件を満たす撮影画像情報を検索する撮影画像検索装置に対して、撮影画像情報を出力可能な電子カメラ装置であって、被写体の画像の撮影位置を測定する測位手段と、撮影位置相互の距離を演算する演算手段と、撮影画像情報を記憶するとともに、演算された距離を前記撮影画像情報に関連付けて記憶する記憶手段とを備えているので、撮影画像情報に関連付けて、撮影位置相互の距離情報を記憶手段に記憶することができ、パソコン等の撮影画像検索装置により、記憶手段に記憶された膨大な撮影画像情報の中から、距離情報に基づいて所定の検索条件を満たす撮影画像情報を検索し、さらに、その中から所望の撮影画像情報を効率的に選択することができる。
本発明によれば、複数の撮影画像情報の中から所定の条件を満たす撮影画像情報を検索する撮影画像検索装置に対して、撮影画像情報を出力可能な電子カメラ装置であって、被写体の画像の撮影位置を測定する測位手段と、撮影位置相互の距離を演算する演算手段と、演算された距離が所定の条件を満たす撮影画像情報を検索する検索手段と、撮影画像情報を記憶するとともに、検索手段により検索された撮影画像情報を同一グループとして記憶する記憶手段とを備えているので、撮影位置相互の距離が所定の距離条件を満たすか否かに応じて撮影画像情報をグループ化して、記憶手段に記憶することができ、パソコン等の撮影画像検索装置により、記憶手段に記憶された膨大な撮影画像情報の中から、所定の距離条件を満たすグループを検索し、さらに、該グループに属する撮影画像情報の中から所望の撮影画像情報を高速かつ容易に検索、抽出することができる。
本発明によれば、複数の撮影画像情報の中から所定の条件を満たす撮影画像情報を検索するための撮影画像検索方法であって、撮影画像情報を複数記憶する手順と、記憶された複数の撮影画像情報の中から、撮影位置相互の距離が所定の条件を満たす撮影画像情報を検索する手順とを含んでいるので、画像情報の取得(撮影)時の行動パターン(移動距離)を目安にして、膨大な量の撮影画像情報の中から所望の撮影画像情報を高速かつ容易に検索、抽出することが可能な撮影画像検索処理を実現することができる。
本発明によれば、複数の撮影画像情報の中から所定の条件を満たす撮影画像情報を検索するための撮影画像検索方法であって、メモリに記憶されている複数の前記撮影画像情報の中から、撮影画像情報の各々を取得した撮影位置相互の距離が所定の条件を満たす前記撮影画像情報を検索する手順と、検索された撮影画像情報を表示する手順とを含んでいるので、例えば電子カメラ装置やスキャナ等の画像読取装置により取り込まれた複数の撮影画像情報が記憶された着脱可能なメモリを介して提供される撮影画像情報から、画像情報の取得(撮影)時の行動パターン(移動距離)を目安にして、所望の撮影画像情報を高速かつ容易に検索、抽出することが可能な撮影画像検索処理を実現することができる。
本発明によれば、複数の撮影画像情報の中から所定の条件を満たす撮影画像情報を検索するための撮影画像検索方法であって、メモリに記憶されている複数の撮影画像情報を表示部に表示する手順と、撮影画像情報の各々を取得した撮影位置相互の距離が所定の条件を満たす前記撮影画像情報が検索され、表示部に表示された場合、その旨を報知する手順とを含んでいるので、例えば電子カメラ装置やスキャナ等の画像読取装置により取り込まれた複数の撮影画像情報が記憶された着脱可能なメモリを介して提供される撮影画像情報を表示しつつ、所定の距離条件に一致した画像情報が表示された場合には、音声や画像等の所定の報知方法により、ユーザーに対して検索結果を確実に報知することができ、この報知を目安にして、所望の画像情報を高速かつ容易に検索することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図1は、本発明に係る撮影画像検索装置の基本構成を示すブロック図である。
図1に示すように、撮影画像検索装置は、画像情報取得手段1と、測位手段2と、測時手段3と、記憶手段4と、条件取得手段5と、演算手段6と、検索手段7と、表示制御手段8と、表示手段9と、キー入力手段11と、を有して構成されている。
画像情報取得手段1は、所定の画像情報をデジタル信号として、たとえば撮影、取り込み等により取得する。例えば、撮像手段により撮像された被写体の画像を画像情報として取得する。測位手段2は、本発明における測位手段、又は、撮影位置取得手段を構成し、画像情報を取得した位置あるいは場所を、絶対的又は相対的な位置情報として測定し、取得する。
なお、本発明に係る撮影画像検索装置を、GPS受信機能(測位手段2)や撮影機能(画像情報取得手段1)を備えていないパーソナルコンピュータ(以下、パソコンと記す)や携帯情報端末に適用した場合には、画像情報取得手段1は、外部のGPS受信機能付き電子スチルカメラ等から送信されてくる画像情報及び該画像情報の取得位置情報を受信するための手段になる。
また、測時手段3は、撮影画像検索装置に内蔵された時計機能であって、画像情報を取得した時刻を時間情報として測定し、取得する。
記憶手段4は、画像情報取得手段1により取得した画像情報の各々に、測位手段2により取得した位置情報を関連付けて記憶する。なお、記憶手段4は、撮影画像検索装置に内蔵される構成であってもよいし、着脱可能な構成であってもよい。
そして、条件取得手段5は、記憶手段4に記憶された画像情報を検索するための検索条件をキー入力手段11からの入力、あるいは、所定の学習処理等により取得する。
演算手段6は、記憶手段4に記憶された位置情報を抽出して、画像情報を取得した位置相互の距離(高度差を含む)又は方位を特定量として演算する。
検索手段7は、本発明における検索手段、及び、第2の検索手段を構成し、条件取得手段5により取得された検索条件(しきい値)と、演算手段により演算された特定量(距離、方位)とを比較し、検索条件に適合する画像情報を抽出し、表示制御手段8は、検索手段7により抽出された画像情報を、他の画像情報に先立って、あるいは、他の画像情報とは異なる表示方法により、表示手段9に優先的に表示する。ここで、表示手段9は、本発明における表示手段、及び、報知手段を構成する。
キー入力手段11は、撮影(受信)モード、再生モード、検索条件(距離、方位等)入力モード等を設定するためのモード切換キー、撮影を指示するためのシャッターキー、再生画像を次の画像に切り換えるためのスクロール(ページ送り)キー(プラスキー、マイナスキーを含む)、リセットキー、実行キー等を備えている。ここで、キー入力手段11は、本発明における選択手段、及び、第2の選択手段を構成し、例えば、スクロールキーにより再生画像を任意の画像に切り換え表示させて、実行キーを操作することにより、所望の画像を選択する。
なお、演算手段6、検索手段7及び表示制御手段8は、制御部10を構成し、各手段の機能は、例えば1つのマイクロプロセッサにより実現される。
以下、上記構成により実現される各機能について順次説明する。
(画像情報記憶処理)
本発明に係る撮影画像検索装置の画像情報の取得処理及び記憶処理について、図面を参照して説明する。
図2は、本発明に係る撮影画像検索装置の画像情報の取得及び記憶処理を示すフローチャートである。
まず、キー入力手段11のモード切換キーを操作して画像記録状態、すなわち画像情報取得(撮影待機)状態(撮影モード)に設定し、その後、キー入力手段11のシャッターキーを操作すると、画像情報取得手段1により、対象となる画像をデジタル信号として取り込むことにより、画像情報を取得する(ステップS11)。
ここで、画像情報の取得(撮影)に際し、画像情報を取得した場所の位置情報(緯度、経度、高度情報)を測位手段2により測定する(ステップS12)。具体的には、上述したようなGPS測位法により測位衛星から発せられる信号をGPSアンテナにより受信し、緯度、経度、高度を算出し、位置情報として取得する。
次いで、取得した画像情報と位置情報を関連付けて記憶手段4の所定の領域に記憶する(ステップS13、S14)。
ここで、撮影画像情報と位置情報との関連付け処理について、図面を参照して説明する。
図3は、本発明に係る撮影画像検索装置に適用される記憶手段の内部領域を示す概念図である。
図3に示すように、記憶手段4の内部領域は、大別してフォーマットテーブル領域、情報テーブル領域、画像データ領域、オフセット領域から構成される。
フォーマットテーブル領域には、画像情報に関する総合的な情報、すなわちフォーマット情報F1、F2、・・が格納される。
情報テーブル領域には、画像情報を識別するための番号情報を含む画像情報識別情報D1、D2、・・、画像情報を取得した時刻を示す時間情報T1、T2、・・、画像情報を取得した場所を示す位置情報L1、L2、・・等の画像情報を識別するための情報が格納される。
画像データ領域は、取得した画像情報P1、P2、・・を圧縮等の画像処理を施して格納し、オフセット領域は、画像データ領域における画像情報P1、P2、・・のデータ長を固定長とするためのオフセットデータ(ブランク)を格納する。
このように、各画像情報P1、P2、・・は、情報テーブル領域に格納された画像識別情報D1、D2、・・、時間情報T1、T2、・・、位置情報L1、L2、・・をヘッダとして有することにより関連付けられて記憶される。
なお、上述したように、撮影画像検索装置を、GPS受信機能(測位手段2)や撮影機能を備えていないパソコンや携帯情報端末に適用した場合には、ステップS11において、キー入力手段11のモード切換キーを繰作して画像情報受信状態(受信モード)に設定し、画像情報取得手段1により、外部のGPS受信機能付き電子スチルカメラ等から有線(ケーブル等)や無線(電波、赤外線等)等により送信されてくる画像情報及び該画像情報の位置情報(つまり、図3に示した情報)を取り込み、その後、ステップS12、S13の処理を飛ばしてステップS14に遷移し、受信した画像情報及び位置情報を記憶手段4の所定の領域に記憶する。
なお、ステップS11において、GPS受信機能付き電子スチルカメラ等に装着され、図3に示すような情報が記憶されている着脱メモリを、撮影画像検索装置に装着することにより画像情報及び位置情報を取得するようにした場合は、ステップS12〜S14の処理が不要となる。
(画像情報検索処理)
次に、本発明に係る撮影画像検索装置に適用される画像情報の検索処理(撮影画像検索方法)について、図面を参照して説明する。
図4は、本発明に係る撮影画像検索装置における画像情報の検索処理の一例を示すフローチャートである。ここでは、位置情報に基づいて算出される特定量として距離を採用する。
まず、キー入力手段11のモード切換キーを操作して画像再生状態(再生モード)、すなわち画像情報表示状態(表示モード)に設定して、記憶手段4に記憶された各画像情報に関連付けられた位置情報を抽出し(ステップS21)、各画像情報を取得した場所相互の距離を算出する(ステップS22)。具体的には、上述したようなGPS測位法により取得した緯度、経度に基づいて、2点間の距離を算出する。
次いで、算出した距離と、画像を選択、抽出するための検索条件を照合し(ステップS23)、条件に適合する距離を有する画像情報を抽出する(ステップS24)。ここで、検索条件は、画像情報の検索処理に際し、撮影画像検索装置の使用者が、所望の検索条件をキー入力手段11を操作して条件取得手段5に入力設定するものであってもよいし、予め撮影画像検索装置に固定的に記憶されている検索条件を取得するものであってもよい。また、過去に設定された検索条件の出現頻度(傾向)等に基づいて学習処理により設定するものや、あるいは、今回算出された距離の統計学的な傾向、例えば、位置情報の最大緯度差、最大経度差により判断される使用者の行動範囲等に基づいて設定するものであってもよい(後述する図18参照)。
次に、各画像情報を取得した場所相互の距離の算出処理と、算出された距離と検索条件との照合処理の具体例について、図面を参照して説明する。
図5は、本発明に係る撮影画像検索装置に適用される距離算出処理による画像情報の取得場所相互の距離の算出例、及び、検索条件照合処理による検索照合の一例を示す概念図である。
まず、図5(a)に示すように、取得した時刻にしたがって時系列的に記憶された画像情報P1、P2、P3、・・について、それぞれの位置情報を抽出する。ここでは、位置情報はGPS測位法によって測定される緯度、経度である。したがって、隣接して記憶された画像情報を取得した場所相互(2点間)の緯度の差、及び、経度の差から、三平方の定理によって画像情報P1、P2、P3、・・を取得した場所相互の相対的な距離P1−P2、P2−P3/P4、P3/P4−P5、・・が算出される。
次いで、図5(b)に示すように、入力設定された検索条件をしきい値(図中点線で表示)として、例えばしきい値よりも長い距離P1−P2、P3/P4−P5、P5−P6を有する場所で取得された画像情報P2、P5、P6を検索結果として抽出、あるいはマーク付けする。
このように各撮影場所相互間の距離を算出し、この距離情報を用いて所定の距離以上、相対的に離れた場所で取得された撮影画像を検索するようにしたことにより、結果として、各撮影地域において最初(あるいは最後)に撮影した画像情報を抽出することができるようになる。したがって、各撮影地域毎の先頭画像(又は、代表画像)を簡易な処理方法により高速かつ容易に検索して、表示することが可能となる。
次に、キー入力手段11のモード切換キーを操作することにより再生モードが設定された場合の検索処理及び表示処理の具体例について、図面を参照して説明する。
図6は、本発明に係る撮影画像検索装置に適用される再生時における検索処理及び表示処理を示すフローチャートであり、図15は、本発明に係る撮影画像検索装置における画像情報の取得場所相互の距離の算出例、及び、検索照合の他の例を示す概念図である。
先ず、ユーザーがキー入力手段11のモード切換キーを操作して、再生モードを設定すると、表示手段9に表示する画像情報を指定するための画像番号nを初期化して、n=1にセットする(ステップS31)。
次に、画像番号nにより指定されている画像情報(つまり、n番目の画像情報)を記憶手段4から読み出して表示手段9に表示する(ステップS32)。
このステップS32の処理によるn番目の画像情報の表示は、ステップS33でキー入力手段11のスクロールキーの操作が検出されるまで継続される。
画像情報が表示されている最中に、スクロールキーが操作されると(ステップS33で「YES」)、続いてスクロールキーが所定時間(例えば、2秒)以上押し続けられたか否かが判断される(ステップS34)。
ここで、所定時間が経過する前にキー押下が解除されると、ステップS35に遷移し、画像番号nに1を加算してからステップS32に戻り、次の画像情報が表示される。
また、ステップS34でスクロールキーが所定時間継続して押下されたことが検出されると、ステップS36に移行して、n番目及びn+1番目の画像情報に対応付けて記憶手段4に記憶されている各々の位置情報を読み出す。
その後、読み出した位置情報が示す2点間の距離を、上述したような距離計算方法を用いて算出し(ステップS37)、算出した距離が条件取得手段5により取得された所定距離(検索条件)以上か否かが判別される(ステップS38)。
ここで、所定距離以下であると判断された場合は、ステップS39に遷移し、画像番号nに1を加算してからステップS36に戻る。
以下、ステップS38で所定距離以上であると判断されるまで、ステップS36〜S39の処理を繰り返す。
ステップS38で、算出した距離が所定距離以上であると判断されると(図15(a)、(b)中のP4−P5、P9−P10の場合)、ステップS35に遷移し、画像番号nに1を加算してからステップS32に戻り、1つ前の画像情報を撮影した場所から所定距離以上、離れている場所で撮影された画像情報(図15(a)、(b)中のP5、P10)が表示される。
以上説明したように、スクロールキーを所定時間押下する操作を繰り返す(あるいは、スクロールキーを所定時間以上継続して押下する)ことにより、1つ前の画像情報を撮影した場所から所定距離以上、離れた場所で撮影された画像情報(つまり、図15(a)においてグループ2、3と示されている各地域で撮影された画像の中で最初の画像情報P5、P10)が順次表示手段9に表示されるので、所望の画像情報が撮影された地域の最初の画像情報が表示された時点で、通常のスクロール操作(スクロールキーを所定時間未満押下する操作)に切り換えることにより、同じ地域で撮影した画像情報を、順次表示させることができ、所望の画像情報を高速かつ容易に検索して、表示させることができる。
なお、本実施形態に係る検索処理及び表示処理においては、最も古い画像(P1)から順次画像情報を検索・表示処理を実行するようにしたが、最新の画像から検索・表示処理を実行するようにしてもよい。
この場合においては、各エリアで撮影された画像の中で最後に撮影された画像情報(図15(a)、(b)中のP4、P9)が表示される。
また、上記図6のフローチャートのステップS38においては、2点間の距離が所定距離以上の場合にステップS35、S32に進み、検索画像を表示させるようにしたが、2点間の距離が所定距離以下の場合に検索画像を表示させるようにしてもよい。
また、本実施形態に係る検索処理及び表示処理においては、距離算出処理や検索条件照合処理(ステップS36〜S38)を画像情報の再生時に行なうようにしたが、撮影時に行なったり、任意の時間に行なうようにしてもよい。
以下、撮影時に距離算出処理や検索条件照合処理を行うようにした場合の撮影処理、検索処理及び表示処理の具体例について、図面を参照して説明する。
図7は、本発明に係る撮影画像検索装置に適用される撮影時における検索処理をを示すフローチャートであり、図8は、本発明に係る撮影画像検索装置に適用される再生時における表示処理を示すフローチャートである。
図7において、先ず、ユーザーがキー入力手段11のモード切換キーを操作して、撮影モードを設定し、その後、任意のタイミングでシャッターキーを操作すると(ステップS41で「YES」)、画像情報取得手段1を介して、対象となる画像をデジタル信号として取り込むことにより、画像情報を取得して記憶手段4の所定の領域に記憶すると同時に、画像情報を取得した場所の位置情報を測位手段2により測定して取得し、画像情報と関連付けて記憶手段4の所定の領域に記憶する(ステップS42)。
続いて、前回の撮影により取得され、記憶手段4に記憶されている位置情報と、今回の撮影により取得され、記憶手段4に記憶されている位置情報とを読み出す(ステップS43)。
その後、読み出した位置情報が示す2点間の距離を、上述したような距離計算方法を用いて算出し(ステップS44)、算出距離が条件取得手段5により取得された所定距離(検索条件)以上か否かが判別される(ステップS45)。
ここで、所定距離以下であると判断された場合は、ステップS41に戻り、次のシャッターキー操作の待ち状態になる。
また、ステップS45で、算出距離が所定距離以上であると判断されると(図15(a)、(b)中のP4−P5、P9−P10の場合)、ステップS46に遷移し、今回の撮影により取得した画像情報が、前回撮影した場所から所定距離以上離れた場所で撮影された画像情報(図15(a)、(b)中のP5、P10)である旨を示すフラグ情報(識別情報)が、今回の画像情報と関連付けて記憶手段4に画像識別情報の1つとして記憶される。
その後、ステップS41に戻り、次のシャッターキー操作の待ち状態になる。
以上の処理により、1つ前の画像情報を撮影した場所から所定距離以上離れている場所で撮影された画像情報(つまり、図15(a)においてグループ2、3と示されている各エリアで撮影された画像の中で最初の画像情報P5、P10)に対しては、フラグ情報が対応付けて記憶されることになる。
次に、図8において、先ず、ユーザーがキー入力手段11のモード切換キーを操作して、再生モードを設定すると、表示手段9に表示する画像情報を指定するための画像番号nを初期化して、n=1にセットする(ステップS51)。次に、画像番号nにより指定されている画像情報(つまり、n番目の画像情報)を記憶手段4から読み出して表示手段9に表示する(ステップS52)。このステップS52の処理によるn番目の画像情報の表示は、ステップS53でキー入力手段11のスクロールキーの操作が検出されるまで継続される。画像情報が表示されている最中に、スクロールキーが操作されると(ステップS53で「YES」)、続いてスクロールキーが所定時間(例えば、2秒)以上継続して押下されたか否かが判断される(ステップS54)。
ここで、所定時間が経過する前にキー押下が解除されると、ステップS55に遷移し、画像番号nに1を加算してからステップS52に戻り、次の画像情報が表示される。
また、ステップS54でスクロールキーが所定時間継続して押下されたことが検出されると、ステップS56で画像番号nに1を加算してからステップS57に移行して、画像番号nにより指定される画像情報に対応してフラグ情報が記憶手段4に記憶されているか否かが判断される。
ここで、フラグ情報が記憶されていないと判断された場合には、ステップS56に戻り、以下、ステップS57でフラグ情報が記憶されていると判断されるまで、ステップS56、S57の処理を繰り返す。
そして、ステップS57でフラグ情報が記憶されていると判断されると(図15(a)参照)、ステップS52に戻り、その時点の画像番号nにより指定されている画像情報(図15(a)、(b)中のP5、P10)が表示される。
以上説明したように、本実施形態に示した検索処理及び表示処理(図7、図8)においては、撮影時に距離算出処理及び検索条件照合処理を行い、1つ前の画像情報を撮影した場所から所定距離以上、離れた場所で撮影された画像情報(つまり、図15(a)においてグループ2、3と示されている各地域で撮影された画像の中で最初の画像情報P5、P10)と判断された場合に、当該画像情報に関連付けてフラグ情報を記憶し、再生時にスクロールキーを所定時間押下する操作を繰り返す(あるいは、スクロールキーを所定時間以上継続して押下する)ことにより、フラグ情報が関連付けられた画像情報のみが検索、抽出されて、表示手段9に表示され、各地域で撮影された画像の中で最初の画像情報を順次表示することができるので、所望の画像情報が撮影された地域の最初の画像情報が表示された時点で、通常のスクロール操作に切り換えることにより、同じ地域で撮影した画像情報を、順次表示させることができ、上述した検索処理及び表示処理(図6)と同様に、所望の画像情報を高速かつ容易に検索して、表示させることができる。
また、本実施形態に示した検索処理及び表示処理においては、撮影時に距離算出処理や検索条件照合処理(ステップS43〜S45)を行なうようにしたので、上述した検索処理及び表示処理(図6)に比較して、再生時における処理負担を軽減することができ、表示処理速度を一層高速化することができる。
なお、上記図7のフローチャートのステップS45においては、2点間の距離が所定距離以上の場合にステップS46に進み、フラグ情報を記憶させるようにしたが、2点間の距離が所定距離以下の場合にフラグ情報を記憶させるようにしてもよい。
また、本実施形態に示した検索処理及び表示処理においては、単一の撮影画像検索装置内で図7の撮影処理、及び、図8の再生処理を実行する場合について説明したが、個別のGPS受信機能付き電子スチルカメラ等により図7の撮影処理のみを実行し、その後、着脱メモリを抜いてパソコン等の撮影画像検索装置に装着するか、有線(ケーブル等)や無線(電波、赤外線等)等により撮影画像検索装置に記憶情報を転送して、撮影画像検索装置により図8の再生処理を実行するようにしてもよい。
また、本実施形態に示した検索処理及び表示処理においては、撮影時に距離算出処理、検索条件照合処理及びフラグ情報記憶処理(ステップS43〜S46)を行ない、再生時にフラグ情報の記憶の有無の判断処理(ステップS57)を行なうようにしたが、撮影時に距離算出処理及び算出距離情報記憶処理を行ない、再生時に距離算出処理及び検索条件照合処理を行なうようにしてもよい。
以下、上述した検索処理及び表示処理(図7、図8)において、撮影時に距離算出処理及び算出距離情報記憶処理を行ない、再生時に距離算出処理及び検索条件照合処理を行なう場合の具体例について、図面を参照して説明する。
図9は、撮影時に距離算出処理及び算出距離情報記憶処理を適用し、再生時に距離算出処理及び検索条件照合処理を適用した場合の一例を示すフローチャートである。
撮影モードにおいて、図7のステップS44で2点間の距離が算出されると、図9(a)のステップS61に遷移して、算出された距離情報を今回の撮影により取得された画像情報に対応付けて記憶手段4に記憶する。
その後、ステップS41に戻り、次のシャッターキー操作の待ち状態になる。
次に、再生モードにおいて、図8のステップS56で画像番号nに1が加算されると、図9(b)のステップS71に移行して、画像番号nの画像情報と関連付けて記憶されている距離情報を読み出し、読み出した距離情報が所定距離以上であるか否かが判断される(ステップS72)。
ここで、所定距離以下であると判断されるとステップS56に戻り、以下、ステップS71で所定距離以上の距離情報が検索されるまで、ステップS56→S71→S72の処理を繰り返す。
そして、ステップS72で所定距離以上であると判断されると、ステップS52に戻り、その時点の画像番号nにより指定されている画像情報が表示されることになる。
なお、本実施形態においては、単一の撮影画像検索装置内で撮影処理(図9(a)、(図7))及び再生処理(図9(b)、図8)を実行する場合について説明したが、GPS受信機能付き電子スチルカメラ等で図9(a)の撮影処理のみを実行し、その後、着脱メモリを抜いてパソコン等の撮影画像検索装置に装着するか、有線(ケーブル等)や無線(電波、赤外線等)等により撮影画像検索装置に記憶情報を転送して、この撮影画像検索装置により図9(b)の再生処理を実行するようにしてもよい。
また、上記図7のフローチャートにおいては、1つ前の画像情報を撮影した場所から所定距離以上距離が離れている場所で撮影された画像情報に対応付けてフラグ情報を記憶させるようにしたが、比較的近い揚所で撮影された複数の画像情報を1つのグループと判断してグループ登録するようにしてもよい。
次に、撮影時に画像情報のグループ登録を行うようにした場合の撮影処理と、その場合に再生時に行う検索処理及び表示処理の具体例について、図面を参照して説明する。
図10は、撮影時に画像情報のグループ登録を行うようにした場合のグループ登録処理を示すフローチャートであり、図11は、撮影時にグループ登録を行う場合における再生時の検索処理及び表示処理を示すフローチャートである。
図10において、先ず、ユーザーがキー入力手段11のモード切換キーを操作して、撮影モードを設定すると、グループ登録のためのグループ番号mが初期化されて、m=1にセットされる(ステップS81)。
その後、シャッターキーが操作されると(ステップS82で「YES」)、画像情報取得手段1を介して、対象となる画像をデジタル信号として取り込むことにより、画像情報を取得して記憶手段4の所定の領域に記憶すると同時に、画像情報を取得した場所の位置情報を測位手段2による測定により取得し、画像情報と関連付けて記憶手段4の所定の領域に記憶する(ステップS83)。
続いて、前回の撮影により取得され記憶手段4に記憶されている位置情報と、今回の撮影により取得され記憶手段4に記憶されている位置情報とを読み出す(ステップS84)。
その後、読み出した位置情報が示す2点間の距離を、上述したような距離計算方法を用いて算出し(ステップS85)、算出距離が条件取得手段5により取得された所定距離(検索条件)以上か否かが判別される(ステップS86)。
ここで、所定距離以下であると判断された場合は、ステップS88に移行して、現時点のグループ番号mが、今回の画像情報と関連付けて記憶手段4に画像識別情報の1つとして記憶される。
また、ステップS86で、算出距離が所定距離以上であると判断されると(図15(a)、(b)中のP4−P5、P9−P10の場合)、ステップS87に遷移し、グループ番号mに1を加算してからステップS88に移行して、新たなグループ番号mが、今回の画像情報と関連付けて記憶手段4に画像識別情報の1つとして記憶される。
ステップS88によりグループ番号mが記憶された後、ステップS82に戻り、次のシャッターキー操作の待ち状態になる。
以上の処理により、図15(a)に示すように、比較的近場で撮影された画像情報が同一グループとしてグループ登録される。
次に、図11において、先ず、ユーザーがキー入力手段11のモード切換ーを操作して、再生モードを設定すると、表示手段9に表示する画像情報を指定するための画像番号nをn=1にセットする(ステップS91)。
次に、画像番号nにより指定されている画像情報(つまり、n番目の画像情報)を記憶手段4から読み出して表示手段9に表示する(ステップS92)。
このステップS92の処理によるn番目の画像情報の表示は、ステップS93でキー入力手段11のスクロールキーの操作が検出されるまで継続される。
画像情報が表示されている最中に、スクロールキーが操作されると(ステップS93で「YES」)、続いてスクロールキーが所定時間(例えば、2秒)以上押し続けられたか否かが判断される(ステップS94)。
ここで、所定時間が経過する前にキー押下が解除されると、ステップS95に遷移し、画像番号nに1を加算してからステップS92に戻り、次の画像情報が表示されることとなる。
また、ステップS94でスクロールキーが所定時間継続して押下されたことが検出されると、ステップS96でn番目とn+1番目の画像情報に対応付けて記憶手段4に記憶されているグループ情報(グループ番号)を読み出し、読み出したグループ番号が異なるか否かが判断される(ステップS97)。
ここで、グループ番号が同じであると判断された場合は、ステップS98に遷移し、画像番号nに1を加算してからステップS96に戻る。
以下、ステップS97でグループ番号が異なると判断されるまで、ステップS96〜S98の処理を繰り返す。
そして、ステップS97でグループ番号が異なると判断されると(図15(a)参照)、ステップS95に移行して画像番号nに1を加算してからステップS92に戻り、その時点の画像番号nにより指定されている画像情報(図15(a)、(b)中のP5、P10)が表示されることとなる。
以上説明したように、本実施形態に示した検索処理及び表示処理(図10、図11)においては、撮影時に距離算出処理及び検索条件照合処理を行い、1つ前の画像情報を撮影した場所から所定距離以上、離れた場所で撮影された画像情報(図15(a)中のP5、P10)と判断された場合に、当該画像情報に関連付けるグループ番号を異ならせて記憶し、再生時にスクロールキーを所定時間押下する操作を繰り返す(あるいは、スクロールキーを所定時間以上継続して押下する)ことにより、グループ番号が異なるグループに属する画像情報の中で最初の画像情報を順次表示することができるので、所望の画像情報が撮影された地域(グループ)の最初の画像情報が表示された時点で、通常のスクロール操作に切り換えることにより、同じ地域で撮影した画像情報を、順次表示させることができ、上述した検索処理及び表示処理(図6、図7、図8)と同様に、所望の画像情報を高速かつ容易に検索して、表示させることができる。
また、本実施形態に示した検索処理及び表示処理においては、図7及び図8に示した検索処理及び表示処理と同様に、撮影時に距離算出処理や検索条件照合処理(ステップS84〜S86)を行なうようにしたので、再生時における処理負担を軽減することができ、表示処理速度を一層高速化することができる。
なお、上記図10のフローチャートのステップS88においては、各画像情報毎にグループ番号を対応付けて記憶させるようにしたが、グループ番号別に割り当てられる各記憶領域に画像情報を仕分けして記憶させたり、1つのグループ番号に対応付けて、そのグループに属する複数の画像情報(画像番号)を記憶させるようにしてもよい。
また、本実施形態においては、距離算出処理、検索条件照合処理、グループ番号登録処理(ステップS84〜S88)を画像情報の撮影時に行なうようにしたが、撮影後の任意の時間に行なうようにしてもよい。
また、本実施形態においては、単一の撮影画像検索装置内で撮影(グループ登録)処理(図10、又は、後述する図14)及び再生処理(図11、又は、後述する図12、図13)を実行する場合について説明したが、GPS受信機能付き電子スチルカメラ等で図10の撮影処理のみを実行し、その後、着脱メモリを抜いてパソコン等の撮影画像検索装置に装着するか、有線(ケーブル等)や無線(電波、赤外線等)等により撮影画像検索装置に記憶情報を転送して、この撮影画像検索装置により図11の再生処理を実行するようにしてもよいし、。
また、本実施形態においては、単一の撮影画像検索装置内で撮影(グループ登録)処理(図10、又は、後述する図14)及び再生処理(図11、又は、後述する図12、図13)を実行する場合について説明したが、GPS受信機能付き電子スチルカメラ等で図9(a)のように算出距離記憶処理のみを実行し、その後、着脱メモリを抜いてパソコン等の撮影画像検索装置に装着するか、有線(ケーブル等)や無線(電波、赤外線等)等により撮影画像検索装置に記憶情報を転送して、この撮影画像検索装置により図10(又は、後述する図14)のグループ登録処理及び図11(又は、後述する図12、図13)の再生処理を実行するようにしてもよい。
また、図11のフローチャートにおいては、各グループにおいて最初(又は最後)に撮影された画像情報が検索・表示されるようにしたが、画像情報のグループ管理を行なっている点を利用して、各グループ中の所望の画像情報(例えば、中間の画像情報)を検索・表示させたり(後述する図12参照)、同一グループに含まれる画像情報を一括表示(例えば、マルチ画面表示)させる(後述する図13参照)といったことも可能になる。
以下、各グループに属する画像情報のうち、中間の画像情報を検索・表示する場合の検索処理及び表示処理の具体例について、図面を参照して説明する。
図12は、各グループに属する画像情報のうち、中間の画像情報を検索・表示する場合の検索処理及び表示処理を示すフローチャートである。
図12において、先ず、ユーザーがキー入力手段11のモード切換キーを操作して、再生モードを設定すると、表示手段9に表示する画像情報を指定するための画像番号nをn=1にセットする(ステップS101)とともに、表示手段9に表示する画像情報のグループを示すグループ番号mをm=1にセットする(ステップS102)。
次に、画像番号nにより指定されている画像情報(つまり、n番目の画像情報)を記憶手段4から読み出して表示手段9に表示する(ステップS103)。
このステップS103の処理によるn番目の画像情報の表示は、ステップS104でキー入力手段11のスクロールキーの操作が検出されるまで継続される。
画像情報が表示されている最中に、スクロールキー(プラスキー、マイナスキーを含む)が繰作されると(ステップS104で「YES」)、続いてスクロールキーが所定時間(例えば、2秒)以上押し続けられたか否かが判断される(ステップS105)。
ここで、所定時間が経過する前にキー押下が解除されると、ステップS106に遷移し、ステップS104で操作されたスクロールキーがプラスキー、マイナスキーのどちらであるかが判別される。
ステップS106で、プラスキーであると判断されると、ステップS107で画像番号nに1を加算した後、n番目とn−1番目の画像情報と関連付けて記憶手段4に記憶されているグループ番号が異なるか否かが判別される(ステップS108)。
ステップS108でグループ番号が異なると判別された場合は、グループ番号mに1を加算した後(つまり、現時点で設定されている画像番号nの画像情報のグループ番号を設定した後)、ステップS103に戻り、画像番号nの画像情報を読み出して表示する。
また、ステップS106で、マイナスキーであると判断されると、ステップS110で画像番号nから1を減算した後、n番目とn+1番目の画像情報と関連付けて記憶手段4に記憶されているグループ番号が異なるか否かが判別される(ステップS111)。
ステップS111でグループ番号が異なると判別された場合は、グループ番号mから1を減算した後(つまり、現時点で設定されている画像番号nの画像情報のグループ番号を設定した後)、ステップS103に戻り、画像番号nの画像情報を読み出して表示する。
また、ステップS105でスクロールキーが所定時間継続して押下されたことが検出されると、ステップS113に遷移し、ステップS104で操作されたスクロールキーがプラスキー、マイナスキーのどちらであるかが判別される。
ここで、プラスキーであると判断されると、ステップS114でグループ番号mに1を加算した後、ステップS115に遷移し、マイナスキーであると判断されると、ステップD16でグループ番号mから1を減算した後、ステップS115に遷移する。
ステップS115では、画像番号nを、グループ番号mと関連付けられている画像情報のうちの中間の画像情報(図15(a)、(b)中のP2又はP3とP7)を指定するための画像番号に書き替え、その後、ステップS103に戻り、その時点の画像番号nにより指定されている画像情報(中間画像)が表示されることとなる。
以上の処理により、各グループの中間画像が検索・表示されるので、グループに属する画像情報を先頭から順次スクロールして所望の画像情報を表示させる場合に比較して、スクロールキーの操作回数を減少させて効率的に所望の画像情報を表示させることができ、検索速度をより早めることができる。
次に、同一グループに含まれる画像情報を一括表示させて所望の画像情報を選択させる場合の検索処理及び表示処理の具体例について、図面を参照して説明する。
図13は、同一グループに含まれる画像情報を一括表示させて所望の画像情報を選択させる場合の検索処理及び表示処理を示すフローチャートである。
図13において、先ず、ユーザーがキー入力手段11のモード切換キーを操作して、再生モードを設定すると、表示手段9に表示する画像情報のグループを指定するためのグループ番号mをm=1にセットする(ステップS121)。
次に、グループ番号mにより指定されるグループに属している画像情報(例えば、図15(a)中のグループ1のP1〜P4、グループ2のP5〜P9)を記憶手段4から読み出して表示手段9にマルチ画面表示等により一覧表示する(ステップS122)。
このステップS122の処理によるグループ番号mの画像情報の一覧表示は、ステップS123で一覧表示されている画像情報中のいずれかが選択指定されるか、ステップS124でキー入力手段11のスクロールキーの操作が検出されるまで継続される。
一覧(マルチ画面)表示中に、スクロールキーが操作されると(ステップS124で「YES」)、ステップS125でグループ番号mに1を加算して、ステップS122に戻り、次のグループに属する画像情報が一覧表示される。
また、ステップS123で一覧表示されている画像情報中のいずれかが選択指定されると、ステップS126に遷移し、選択された画像を画面一杯に表示する。
なお、画像情報の選択指定方法としては、画面上にカーソルを表示させ、これをプラスキー、マイナスキーを操作することにより、所望の画像上に移動させた後、実行キーを繰作することにより選択指定する方法が考えられる。
また、ステップS126の処理により選択画像が表示されている最中に、リターンキーが操作されると、ステップS122に戻り、一覧表示に復帰する。
以上の処理により、所望の画像を含むグループの画像情報が一覧表示されるまで、スクロールキーを順次操作し、その後、一覧表示されている画像の中から所望の画像を選択することにより、所望の画像を表示させることができるので、より一層画像の検索処理及び表示処理の高速化、容易化を図ることができる。
次に、グループ登録処理の他の具体例について、図面を参照して説明する。
図14は、グループ登録処理の他の例を示すフローチャートである。
図14において、任意のタイミング(例えば、キー操作によりグループ登録処理の実行を命令する)で、記憶手段4に記憶されている画像情報を指定するための画像番号nをn=1にセットする(ステップS131)とともに、画像情報のグループを示すグループ番号mをm=1にセットする(ステップS132)。
続いて、記憶手段4に画像情報と関連付けて記憶されている位置情報を全て読み出し、この中に画像番号nの画像情報の位置情報から所定距離内の位置情報があるか否かが判別される(ステップS133)。
具体的には、画像番号nの画像情報の位置情報と他の全ての位置情報との2点間の距離を算出し、算出された距離の中に所定距離以下のものがあるか否かが判断される。
ステップS133で、所定距離内の位置情報があると判別された場合は、ステップS134に移行して、さらに検出された所定距離内の位置情報の中にグループ登録されているものがあるか否か、つまり、所定距離内の位置情報と対応付けられている画像情報と関連付けてグループ番号が記憶されているか否かが判断される。
これは、画像番号1の画像情報から順番にグループ登録(グループ番号記憶)処理を行なうため、検出された所定距離内の位置情報が現時点でグループ登録処理中である画像番号nの位置情報よりも前のものであったり、後のものであったりするためである。
ステップS133で所定距離内の位置情報がないと判別された場合、あるいはステップS134で検出された所定距離内の位置情報の全てがグループ登録されていないと判別された場合は、ステップS135に移行して、現時点で設定されているグループ番号mを新たなグループ番号として画像番号nの画像情報に対応付けて記憶する。
その後、ステップS136でグループ番号mに1を加算し、ステップS137で画像番号nに1を加算した後、ステップS133に戻り、次の画像情報のグループ登録処理を開始する。
また、ステップS134で、所定距離内の位置情報の中にグループ登録されているものが含まれていると判別された場合、ステップS138に移行して、さらに、ステップS134で検出されたグループ登録済みの位置情報が複数あり、かつ、複数の位置情報のグループ番号が異なるか否かが判別される。
ここで、グループ登録されている位置情報が1つ、あるいはグループ番号が異なる位置情報がないと判別された場合は、ステップS139に移行して、ステップS134で検出されたグループ登録済みの位置情報と同じグループ番号を画像番号nの画像情報に対応付けて記憶手段4に記憶し、ステップS137に遷移する。
また、ステップS138でグループが異なる位置情報があると判別された場合は、ステップS140に移行して、複数の位置情報のうち画像番号nの位置情報から最も近い位置情報を検出し、検出された位置情報と同じグループ番号を画像番号nの画像情報に対応付けて記憶手段4に記憶し、ステップS137に遷移する。
以上の処理により、撮影順番に関係なく比較的近場で撮影された画像情報を同一グループとしてグループ登録することができ、時間的要素を排除して位置(場所)的要素のみを考慮したグループ登録処理を行なうことができるので、画像情報の撮影場所(地域)や行動範囲のみを目安にして所望の画像情報を検索して表示する場合に有効的である。
なお、上記図14のフローチャートにおいては、グループ登録処理を撮影後の任意の時間に行なうようにしたが、図10のフローチャートのように画像情報の撮影時に順次行なうようにしてもよい。
その場合、ステップS134の処理は必要なくなり、ステップS133で所定距離内の位置情報があると判別された場合は、直ちにステップS138に移行することになる。
次に、全ての画像情報を表示しつつ、所定の検索条件に一致する画像情報を検索、表示させる場合の検索処理及び表示処理の具体例について、図面を参照して説明する。
すなわち、上述した各再生処理(図6、図8、図9(b)、図11、図12)においては、スクロールキーを所定時間以上押下し続けた場合(つまり、検索処理時)、検索条件に一致する画像情報のみを表示させるようにしたが、ここでは、検索条件に一致しない他の画像情報も通常のオートスクロール表示の如く表示させる。
図16は、全ての画像情報を表示しつつ、所定の検索条件に一致する画像情報を検索、表示させる場合の検索処理及び表示処理を示すフローチャートである。
なお、距離算出処理、検索条件照合処理は図6のフローチャートと同様に再生時に行なうものとして説明する。
図16において、先ず、ユーザーがキー入力手段11のモード切換キーを換作して、再生モードを設定すると、表示手段9に表示する画像情報を指定するための画像番号nをn=1にセットする(ステップS141)。
次に、画像番号nにより指定されている画像情報(つまり、n番目の画像情報)を記憶手段4から読み出して表示手段9に表示する(ステップS142)。
このステップS142の処理によるn番目の画像情報の表示は、ステップS143でキー入力手段11のスクロールキーの操作が検出されるまで継続される。
画像情報が表示されている最中に、スクロールキーが操作されたか否かが判断される(ステップS143)。
ここで、スクロールキーの操作が検出されると、ステップS144に遷移して、画像番号nに1を加筆してから、画像番号nにより指定される画像情報を記憶手段4から読み出して表示手段9に表示する(ステップS145)。続いて、n番目とn−1番目の画像情報と対応付けて記憶手段4に記憶されている位置情報を読み出す(ステップS146)。
その後、読み出した位置情報が示す2点間の距離を、上述したような距離計算方法を用いて算出し(ステップS147)、算出した距離が条件取得手段5により取得された所定距離(検索条件)以上か否かが判別される(ステップS148)。ここで、算出距離が所定距離以上であると判断されると、ステップS149に遷移して、表示手段9の所定位置に検出マーク(アイコン)等を表示させるとともに、スピーカ等の音響出力装置(報知手段;図示を省略)からアラーム音等の音を出力することにより検出結果を報知する。
また、ステップS148で所定距離以下であると判断された場合、あるいはステップS149で報知処理を行なった後、ステップS150に遷移し、スクロールキーの押下が継続されているか否かが判断される。
ここで、スクロールキーの押下が継続されていると判別された場合は、ステップS144に戻り、以下、ステップS150でスクロールキーの押下が解除されたと判断されるまで、ステップS144〜S150の処理を繰り返す(オートスクロール表示)。
また、ステップS150で、スクロールキーの押下が解除されたと判断された場合は、ステップS142に戻ることにより、オートスクロール(自動ページ送り)が解除されることになる。
以上説明したように、スクロールキーを継続して押下することにより、全ての画像情報のオートスクロールが順次行なわれ、1つ前の画像情報を撮影した場所から所定距離以上離れている場所で撮影された画像情報が表示手段9に表示された場合には所定の報知がなされるので、この報知を目安(トリガー)にして、スクロールキーの押下を解除することによりオートスクロールを解除して通常のマニュアルスクロール操作に切り換えて、順次画像情報を表示させて、所望の画像情報を表示させることができる。
なお、上記図16のフローチャートにおいては、検索条件に一致した場合に報知処理を行なうようにしたが、検索条件に一致した画像情報の表示時間を他の画像情報の表示時間よりも長くしたり、検索条件に一致した画像情報を加工して表示させるようにして報知を行うものであってもよい。
図17は、上述した検索処理及び表示処理(図16)における他の具体例を示すフローチャートである。
再生モードにおいて、図16のステップS148で所定距離以上であると判断されると、図17(a)のステップS151に遷移して、通常の表示時間よりも長い所定時間の経過をカウントするタイマーをスタートさせる。
そして、ステップS152においてタイムアップ(所定時間の経過)が検出されるのを待って、図16のステップS150に遷移する。
これにより、画像情報のオートスクロールを行いつつ、所定の検索条件に一致した画像情報が表示された場合には、通常の表示時間よりも長い時間当該画像を表示することにより報知が行われる。
なお、検索条件に一致した画像情報を所定時間表示させるのではなく、ユーザーが所定のキー操作を行なうまで表示を続行させるようにしてもよい。
また、再生モードにおいて、図16のステップS148で所定距離以上であると判断されると、図17(b)のステップS161に遷移して、ステップS145で読出表示された画像番号nの画像情報に所定の加工(例えば、表示色変更処理、パッシング処理等)を施して表示手段9に表示させ、図16のステップS150に遷移する。
これにより、画像情報のオートスクロールを行いつつ、所定の検索条件に一致した画像情報が表示された場合には、所定の画像加工が施されて通常の画像情報とは異なる画像状態や表示状態で表示することにより報知が行われる。
次に、本発明に係る撮影画像検索装置に適用される条件取得手段が、記憶手段に記憶された画像情報を検索するための検索条件を学習処理により取得する場合の検索条件設定処理の具体例について、図面を参照して説明する。
図18は、条件取得手段において検索条件を学習処理により取得する場合の検索条件設定処理の具体例を示すフローチャートである。
図18において、先ず、記憶手段4に記憶されている緯度情報の中で最大の値を有するものと、最小の値を有するものを検索して抽出する(ステップS161)。
そして、検索、抽出された最大値と最小値との差を算出する(ステップS162)。
同様に、ステップS163、S164で、記憶手段4に記憶されている経度情報の中で最大の値を有するものと、最小の値を有するものを検索して抽出し、抽出された最大値と最小値との差を算出する。
次に、ステップS165で、ステップS162とS164で算出された緯度差、経度差に基づいて所定距離が算出され、検索条件として登録される。
つまり、緯度差、経度差が大きい場合には、比較的長い距離が設定され、緯度差、経度差が小さい場合には、比較的短い距離が設定されることになる。
なお、検索条件設定処理は、上記図18の方法に限定されず、例えば、上記図18のフローチャートにおいて、緯度差、経度差が大きい場合でも、撮影場所が一部に集中している場合には、重み付け処理により設定距離を短くしたりすることも考えられる。
以上説明したように、画像情報を取得した位置情報に基づいて、条件取得手段により検索条件を自動的に設定し、登録することができるので、ユーザーがキー操作を行うことなく、上述した検索処理や表示処理、あるいは、グループ登録処理を行うことができ、簡易な操作方法により所望の画像情報を高速かつ容易に検索して、表示させることができる。
図19は、距離の算出例と検索照合のさらに他の例を示す概念図である。
まず、図19(a)に示すように、図5に示した場合と同様、取得した時刻にしたがって時系列的に記憶された画像情報P1、P2、P3、・・について、それぞれの位置情報を抽出する。ここでは、抽出された位置情報のうち、特定の画像情報P1を取得した場所を基準位置に設定して、2点間の緯度の差、及び、経度の差により、基準位置から他の画像情報の取得場所までの絶対的な距離P1−P2、P1−P3/P4、P1−P5、・・が算出される。
次いで、図19(b)に示すように、入力設定された検索条件をしきい値(図中点線で表示)として、例えばしきい値よりも長い距離P1−P6、P1−P7を有する(離れた)場所で取得した画像情報P6、P7を検索結果として抽出、あるいはマーク付けする。
このような距離算出方法によれば、任意の基準位置と画像情報を取得した位置との絶対的な距離を算出することができるため、基準位置を中心として画像情報取得のために移動した領域あるいは範囲を手がかりにして画像情報の検索処理を行うことができる。
なお、任意の基準位置から所定距離以内の位置情報を有する画像情報を検索して表示させるようにしてもよい。
図20は、撮影画像検索装置における画像情報の検索処理のさらに他の例を示すフローチャートである。ここでは、位置情報に基づいて算出される特定量として方位を採用する。
まず、撮影画像検索装置を操作して画像再生状態、すなわち画像情報表示状態に設定して、記憶手段4に記憶された各画像情報に関連付けられた位置情報を抽出し(ステップS171)、各画像情報を取得した場所相互の方位を算出する(ステップS172)。具体的には、上述したようなGPS測位法により取得した緯度、経度に基づいて、2点間の相対的あるいは絶対的な方位を算出する。
次いで、算出した方位と、画像を選択、抽出するための検索条件とを照合し(ステップS173)、条件に適合する方位に属する画像情報を抽出する(ステップS174)。ここで、検索条件は、画像情報の検索処理に際し、撮影画像検索装置の使用者が、所望の検索条件をキー入力手段11を操作して条件取得手段5に入力設定するものであってもよいし、予め撮影画像検索装置に固定的に記憶されている検索条件を取得するものであってもよい。また、過去に設定された検索条件の出現頻度(傾向)等に基づいて学習処理により設定するものや、あるいは、今回算出された方位の統計学的な傾向に基づいて設定するものであってもよい。
次に、各画像情報を取得した方位の算出処理と、算出された方位と検索条件との照合処理の具体例について、図面を参照して説明する。
図21は、方位の算出例と検索照合の一例を示す概念図である。
まず、図21(a)に示すように、取得した時刻にしたがって時系列的に記憶された画像情報P1、P2、P3、・・について、それぞれの位置情報を抽出する。ここでは、位置情報はGPS測位法によって測定される緯度、経度である。したがって、任意の基準位置P0に対する各画像情報を取得した場所の方位が、緯度及び経度から座標値として、あるいは三角関数によって角度として算出される。
次いで、図21(b)に示すように、入力設定された検索条件をしきい値(図中点線で表示)として、例えば西方向(W)に属する場所で取得した画像情報P1、P2、P3/P4を検索結果として抽出、あるいはマーク付けする。
このような方位算出方法によれば、任意の基準位置P0に対する画像情報を取得した場所を、絶対的な方位として算出することができるため、画像情報取得のために移動した方位を手がかりにして画像情報の検索処理を行うことができる。ここで、基準位置は、例えば自宅や、行動のスタート点等の任意の場所であっても構わないし、あるいは、最初の画像情報P1を取得した場所等の固定された場所であっても構わない。また、本実施形態においては、任意の基準点に対する絶対的な方位を算出する例を示したが、隣接する画像情報を取得した位置相互の相対的な方位を算出するものであってもよい。
なお、上述した画像情報検索処理においては、特定量として緯度、経度の位置情報に基づいて距離、方位を算出し、これらのいずれかを単独で検索照合処理の対象とする例を示したが、距離及び方位の組み合わせや、図3に示したように、記憶手段の情報テーブル領域に格納された画像識別情報や時間情報等を組み合わせることにより、検索条件の絞り込みを可能とするとともに、より多彩な画像の検索処理を実現することができる。
また、上述した画像情報検索処理においては、GPS測位法により測定された緯度、経度を用いて2次元的な距離、方位を算出し、検索照合の対象としたが、本発明はこれに限定されるものではなく、GPS測位法により同様に測定される高度に基づいて、高度差を算出するものであってもよい。
(画像表示処理)
次に、本実施形態に係る撮影画像検索装置に適用される画像表示処理の具体例について、図面を参照して説明する。
図22は、本発明に係る撮影画像検索装置における画像表示方法の変更処理の一例を示すフローチャートである。ここでは、記憶手段4に記憶された画像情報を時系列的に順次表示するスクロール表示について説明する。
まず、撮影画像検索装置を操作して画像再生状態に設定し、例えば撮影画像検索装置の使用者がキー入力手段11を操作して条件取得手段5に入力設定することにより検索条件を取得する(ステップS181)。次いで、記憶手段4に記億された画像情報を時系列的に、かつ、所定の表示間隔で順次表示する(ステップS182)。
そして、各画像情報の表示に際し、上述した画像情報検索処理に示したように、検索条件と算出された特定量(距離、方位、高度差)との照合を行い(ステップS183)、検索条件を満たす画像情報が検出された場合には、当該画像情報を表示するとともに、その表示方法を変更する(ステップS184)。表示された画像情報が所望の画像ではない場合には(ステップS185)、現在表示されている画像に続く画像情報をさらに時系列表示する。
ここで、表示方法の変更とは、具体的には、検索条件を満たす画像情報を検出した場合には、通常のスクロール表示を中止し、当該画像情報を優先的に、かつ、使用者に検索結果を報知、認識させる表示方法に変更することを意味する。表示方法の変更例としては、例えば、スクロール表示を中止し、当該画像情報のみを表示する方法(図6、図8、図9(b)、図11、図12)、スクロール表示を継続しながら、所定の表示間隔よりも長い時間表示する方法、表示画面の発光色を変更、あるいはフラッシング又は点滅させて表示する方法、表示画面上に報知情報を表示する方法、付属のスピーカ等により音声により報知する方法等を適用することができる(図16、図17)。
また、電子スチルカメラ等に採用されている高速スクロール表示においては、表示手段に各画像情報を表示するのではなく、ページ番号のみを表示するものがあるが、この場合には、ページ番号に代えて検索条件を満たす画像情報を直接表示することにより、検索結果を使用者に報知することができる。
次に、画像表示方法の変更処理の具体例について、図面を参照して説明する。
図23は、スクロール表示における表示方法の変更例を示す図である。
まず、図23(a)に示すように、取得した時刻にしたがって時系列的に記憶された画像情報P1、P2、P3、・・が高速スクロール表示される。この場合、画像情報そのものが表示されるのではなく、例えばページ番号のみがスクロール表示される。
図23(b)に示すように、上述した画像情報検索処理により、検索条件を満たす画像情報P2、P7が検出された場合には、図23(c)に示すように、スクロール表示が中断されて、当該画像情報P2、P7がページ番号に代えて表示される。
このような画像表示方法によれば、スクロール表示中においても、検索条件を満たす画像情報が検出された場合には、表示方法を変更することにより、検索結果を使用者に確実に報知することができるとともに、より多彩な画像表示方法を提供することができる。
図24は、画像表示処理及び画像選択処理の具体例を示すフローチャートである。
まず、撮影画像検索装置を操作して画像再生状態に設定し、例えば撮影画像検索装置の使用者が所望の検索条件をキー入力手段11を操作して条件取得手段5に入力設定することにより検索条件を取得する(ステップS191)。次いで、上述した画像情報検索処理に示したように、検索条件と各画像情報について算出された特定量(距離、方位、高度差)との照合を行い(ステップS192)、検索条件を満たす画像情報が検出された場合には、該当する画像情報のみを表示する(ステップS193)。
そして、表示された画像情報が所望の画像の場合には、当該画像をキー入力手段11の実行キーを操作することにより選択して静止表示させて処理を終了し、所望の画像でない場合には、ステップS193に戻って検索条件を満たす次の画像情報を表示する(ステップS194)。
ここで、上記図19〜図21のように検索条件を満たす画像情報=所望の画像情報の場合は、図24のフローチャートで問題ないが、上記図4〜図15のように、検索条件を満たす画像情報が所望の画像情報を検索するための目安となる画像情報に過ぎないものである場合は、図24のステップS194で画像選択した後、その選択画像に続く検索条件を満たしていない画像情報(図6〜図9(a)の場合)、あるいは選択画像と同一グループの画像情報(図10〜図14の場合)を、ステップS193、S194のようにスクロール表示(あるいはマルチ画面表示)させてユーザーにその中から所望の画像情報を再度選択させる必要がある。
なお、検索条件を満たす画像情報の表示方法は、上述したスクロール表示、あるいは、複数の画像情報を分割された画面上に一括表示するマルチ画面表示のいずれであってもよい。
このような画像表示方法によれば、検索条件を満たす画像情報のみが順次表示されることになり、検索結果を高速かつ確実に表示することができる。
図25は、画像表示処理のさらに他の例を示す図である。ここでは、記憶手段4に記憶された画像情報を分割された画面上に一括表示するマルチ画面表示について説明する。
まず、図25(a)に示すように、取得した時刻にしたがって時系列的に記憶された画像情報P1、P2、P3、・・について、取得された検索条件と算出された特定量との照合を行い、例えば図25(b)に示すように、検索条件を満たす画像情報のグループG2(例えば、P2、P4、P5、P7、・・)と、それ以外の画像情報のグループG1(例えば、P1、P3、P6、・・)とを分類する。
そして、検索条件を満たす画像グループG2に属する画像情報P2、P4、P5、P7、・・の先頭となる画像情報(代表画像)P2のみをあらかじめ表示し、使用者が当該画像情報を選択すると、図25(c)に示すように、同一グループG2に属する未表示の画像情報P4、P5、P7、・・を4画面や9画面等に分割された画面上に一括表示する。
ここで、画像情報のグループ化は、上述した方法のほかに、例えば検索条件を満たす画像情報P2と、それに続く(検索条件を満たす次の画像情報、例えばP7の前までの)画像情報P3〜P6をグループ化するものであってもよい。この場合、検索条件を満たす画像グループの代表画像であるP2のみをあらかじめ表示し、当該画像P2を所望の画像として選択すると、同一グループに属する未表示の画像情報P3〜P6を4画面や9画面等に分割された画面上に一括表示する。
このような画像表示方法によれば、記憶手段4に記憶された画像情報が、検索条件に基づいて予めグループ分けされ、マルチ画面表示により複数の画像情報を一括して閲覧することができることになり、検索結果を高速かつ確実に表示することができる。ここで、本実施形態においては、検索条件を満たす画像情報のグループの代表画像として先頭の画像情報を表示する方法を示したが、先頭以外の任意の画像情報であってもよい。
なお、上述した実施形態においては、位置情報に基づく特定量の算出処理や画像情報検索処理を画像情報の再生時に行う例を示したが、画像情報と位置情報、時間情報等を関連付けて画像情報を記憶する際に特定量を算出して、予め設定された検索条件との照合を行い、各画像情報に特定量や検索結果(マーク付け)を関連付けて記憶するようにしてもよい。そして、例えばマーク付けされた画像情報を表示する場合には、検索画像の表示操作により、マーク付けの内容、すなわち検索条件とともに、検索条件を満たす画像情報を表示する。具体的には、スクロール表示やマルチ画面表示において、画像情報に重ねて「検索距離:10km以上」等の文字表示を行うことにより、使用者に表示されている画像情報のグループ(分類)を報知することができる。
また、上述した実施形態においては、画像情報の取得位置を示す位置情報としてGPS測位法に基づく緯度、経度情報を用いる例を示したが、このような方法を適用することにより、測位衛星から見通しの利く場所であれば天候等に左右されることなく、画像情報の取得位置を測定して、検索情報として利用することができるとともに、ナビゲーションシステム等において蓄積された、種々の技術を利用して簡易に精度の高い位置情報を取得することができる。なお、画像情報の取得場所の位置情報を算出する方法は、GPS測位法に限定されるものではなく、例えばPHS(Personal Handyphone System)用の位置確認システムを利用するものであってもよい。
次に、本発明に係る撮影画像検索装置及びその撮影画像検索方法をGPS受信機能付き電子スチルカメラに適用した実施例を示す。
図26は、本発明に係る電子スチル装置の一例を示す外観構成図である。
図26(a)、(b)に示すように、本実施例の電子スチルカメラは、シャッターキー31、プラス/マイナスキー12、電源スイッチ13、REC/PLAYキー19等の周知の各種キースイッチ類(キー入力手段、条件取得手段)と、ストロボ14、光学ファインダ15、写真レンズ16等から構成されるカメラ機構部(撮像手段)と、GPS受信部17(測位手段)と、LCD18(表示手段)を備えている。
各構成について順次説明する。
シャッターキー31は、撮影時(記録モード時)に、被写体を画像として取り込むシャッターとしての機能を有している。また、記録モードや再生モード時にメニューキーが押された場合には、LCD18に表示された様々な項目から任意の項目を選択するためのYESキーとしての機能が付加され、マルチ機能キーとして利用されることもある。ここで、メニューキーは、各種システム設定を行う機能を有し、例えば、再生モードにおいては、画像の消去をはじめとした各種項目を、また、記録モードにおいては、画像の記録に必要な、記録画像の精細度やオートフォーカスのオン/オフ状態等をLCD18に表示する。
プラス/マイナスキー12は、再生画像を選択したり、各種システム設定を選択する機能を有している。ここで、“プラス”は、その選択方向を意味し、画像選択の場合であれば最新画像の方向を意味し、“マイナス”は、その逆方向を意味する。
電源スイッチ13は、電子スチルカメラの動作電源をオン/オフするスイッチであり、REC/PLAYキー19は、所望の被写体を撮像、記憶する記録モードと、記憶した画像を再生表示する再生モードとの切り替えを設定する。
そのほか、電子スチルカメラに備えられるキースイッチ類として、LCD18に表示された画像に様々な情報をオーバラップ表示する機能を有するディスプレイキーや、セルフタイマーを設定するセルフタイマーキー、ストロボの発光条件を設定するストロボモードキー等がある。ここで、キースイッチ類の種類や呼称は、メーカーや機種によって必ずしも統一はされていないが、概略上述したような機能を有している。
このようなキースイッチ類を操作することにより、記録モードにおいては、カメラ機構部を介して所望の被写体を撮像、記憶し、再生モードにおいては、記憶した画像の再生表示、検索等を行う際の検索条件の入力設定、撮像地点の位置情報等を表示することができる。
ストロボ14は、写真レンズ16の近傍に配置され、被写体の照度に応じて所定の光量でフラッシュ光を照射する。また、光学ファインダ15は、写真レンズ16に備えられた焦点機構に連動する光学系を有し、この光学系を透視して被写体が直接的に観察され、撮影領域が画定される。
写真レンズ16は、一般に、複数のレンズの組み合わせにより構成される光学系を有し、図示を省略した画素センサとしてのCCDの受光面上に被写体の像を結ばせて電気信号に変換し、高解像度のフレーム画像(画像信号)を生成できるようになっている。
このようなカメラ機構部により、所望の被写体の画像をデジタル信号として撮像し、記憶することができる。
GPS受信部17は、上述したGPS測位法に基づいて、測位衛星100から発せられる信号(衛星波)を受信するものであり、周知の信号処理回路により受信した衛星波をデジタルデータに変換し、復調処理して時刻や衛星の軌道データを取得する。これらのデータに基づいて、撮影時刻、撮影場所の算出が行われる。
LCD18は、例えば表示特性が鮮明、かつ、発色性が自然で、低消費電力という特性を有するTFT方式のカラー液晶が適用される。記録モード時には、カメラ機構部により撮影された画像情報を連続的に表示して被写体の画定を容易にし、また、再生モード時には、撮影済みの画像を順次スクロールして、あるいは複数に分割したマルチ画面により表示する。
図27は、本実施例に係る電子スチルカメラのブロック図である。
図27において、20はカメラ機構部(撮像手段)であって、写真レンズ21、CCD22、CCD駆動系23、サンプルホールド回路(ステップS/H)24、アナログディジタル変換器(A/D)25、レンズ駆動系26等を有して構成されている。また、17はGPS受信部(測位手段)、18はLCD(表示手段)、27はメモリ(記憶手段)、28はキー入力部(選択手段、条件取得手段)、29は時計部、30はCPU(演算手段、検索手段、表示制御手段)である。
各構成について順次説明する。
CCD22は、固体撮像デバイスであって、二次元の光学情報を時系列(シリアル列)のアナログ電気信号に変換し、CCD駆動系23は、CCD22を駆動する回路を備え、CCD22の各画素に光電変換の開始及び蓄積電荷の出力を指令する。
S/H24は、CCD22から出力される時系列のアナログ電気信号をCCD22の解像度に適合した周波数でサンプリングし、A/D25は、S/H24によりサンプリングされたアナログ電気信号をデジタル信号に変換する。
レンズ駆動系26は、図示を省略したオートフォーカス等の測定機構により測定される被写体までの距離等に基づいて、写真レンズ21の焦点を調整駆動する。
メモリ27は、記録モードにおいて、撮影された被写体の画像情報、測位衛星100から受信した信号に基づいて算出された撮影位置情報及び撮影時間情報を各画像情報と関連付けて、図3に示した領域に格納するために使用される書き換え可能な画像メモリであり、複数の画像を記憶することができる十分な容量を有している。
時計部29は、電子スチルカメラに内蔵された水晶時計であり、独立して現在時間の表示や撮影時間情報の提供を行うとともに、GPS受信部17を介して受信される衛星波に含まれる時間成分との比較により、位置情報に混入する誤差を抑制する役割を有する。
CPU30は、所定の制御プログラムを実行してカメラの動作を集中制御するものであり、記録モード用プログラム及び再生モード用プログラムが、CPU30の内部ROMに書き込まれており、各モード時に、内部ROMからCPU30の内部RAMにロードされて実行処理される。
特に、カメラ機構部20により撮像された画像信号に、GPS受信部17により算出された撮影位置情報及び撮影時刻情報等を関連付けてメモリ27に記憶する処理、キー入力部28等により設定された検索条件に基づいてメモリ27に記憶された画像情報から、検索条件を満たす画像情報を検索して抽出する処理、LCD18に表示する画像情報の表示方法や各種のメニュー、報知情報等の表示を制御する処理を実行する。
このような構成により、電子スチルカメラにより撮影した画像に検索情報として位置情報や時間情報を関連付けて記憶することができるので、撮影場所相互の距離や方角(方位)を手がかりにして、多量の撮影画像の中から所望の画像を検索することができる。特に、時間情報等の従来の検索条件に加え、距離や方角等の条件を適宜付加することにより、より多彩な検索処理を実現することができるとともに、高速かつ正確に検索結果を報知して表示することができる。
なお、上述した実施例においては、2点間の距離を算出する場合に直線距離を算出するようにしたが、地図データ等の道路データを用いて2点間の経路の距離(実際の移動距離)を算出するようにしてもよい。
また、上述した実施例においては、本発明に係る撮影画像検索装置及び撮影画像検索方法を、電子スチルカメラに適用した場合について説明したが、本発明は、電子スチルカメラに限定されるものではない。要するに、異なる場所(位置)で画像情報を取得する画像情報取得手段と、その画像情報を蓄積する記憶手段と、記憶された複数の画像情報を所定の表示方法により表示する表示手段を有する撮影画像検索装置であれば、業務用や民生用のデジタルビデオカメラや、カード型のカメラユニットが装着されたノート型パソコン、カメラ機能を装備したPDA(Personal Digital Assistant)の他、携帯可能な文書ファイリングシステムやハンディスキャナ等にも良好に適用できることはいうまでもない。また、近年においては、電子スチルカメラにより撮影された画像をインターネット等を介してパソコン等の画像表示装置にデータ転送し、画像処理を施すことも行われているため、これらの画像表示装置における画像検索方法として本発明を良好に適用することもできる。
本発明に係る撮影画像検索装置の基本構成を示すブロック図である。 本発明に係る撮影画像検索装置の画像情報の取得及び記憶処理を示すフローチャートである。 本発明に係る撮影画像検索装置に適用される記憶手段の内部領域を示す概念図である。 本発明に係る撮影画像検索装置における画像情報の検索処理の一例を示すフローチャートである。 本発明に係る画像情報の検索処理における距離の算出例と検索照合の一例を示す概念図である。 本発明に係る撮影画像検索装置に適用される再生時における検索処理及び表示処理を示すフローチャートである。 本発明に係る撮影画像検索装置に適用される撮影時における検索処理をを示すフローチャートである。 本発明に係る撮影画像検索装置に適用される再生時における表示処理を示すフローチャートである。 図7、図8に示した検索処理及び表示処理において、撮影時に距離算出処理及び算出距離情報記憶処理を適用し、再生時に距離算出処理及び検索条件照合処理を適用した場合の一例を示すフローチャートである。 本発明に係る撮影画像検索装置に適用される撮影時における画像情報のグループ登録処理を示すフローチャートである。 本発明に係る撮影画像検索装置に適用される再生時における検索処理及び表示処理を示すフローチャートである。 各グループに属する画像情報のうち、中間の画像情報を検索・表示する場合の検索処理及び表示処理を示すフローチャートである。 本発明に係る画像情報のグループ登録処理において、同一グループに含まれる画像情報を一括表示させて所望の画像情報を選択させる場合の検索処理及び表示処理を示すフローチャートである。 本発明に係る撮影画像検索装置に適用される画像情報のグループ登録処理の他の例を示すフローチャートである。 本発明に係る画像情報の検索処理における距離の算出例と検索照合の他の例を示す概念図である。 本発明に係る撮影画像検索装置に適用されるオートスクロール表示を用いた検索処理及び表示処理を示すフローチャートである。 図16に示した検索処理及び表示処理における他の具体例を示すフローチャートである。 本発明に係る撮影画像検索装置に適用される条件取得手段における検索条件設定処理の具体例を示すフローチャートである。 本発明に係る画像情報の検索処理における距離の算出例と検索照合のさらに他の例を示す概念図である。 本発明に係る撮影画像検索装置に適用される画像情報の検索処理のさらに他の例を示すフローチャートである。 本発明に係る画像情報の検索処理における方位の算出例と検索照合の一例を示す概念図である。 本発明に係る撮影画像検索装置に適用される画像表示方法の変更処理の一例を示すフローチャートである。 本発明に係る撮影画像検索装置に適用される画像表示方法の変更例を示す図である。 本発明に係る撮影画像検索装置に適用される画像表示処理及び画像選択処理の具体例を示すフローチャートである。 本発明に係る撮影画像検索装置に適用される画像表示処理のさらに他の例を示す図である。 本発明に係る撮影画像検索装置及び撮影画像検索方法を適用したGPS受信機能付き電子スチルカメラの一例を示す外観図である。 本実施例に係るGPS受信機能付き電子スチルカメラの一例を示すブロック図である。
符号の説明
1 画像情報取得手段
2 測位手段
3 測時手段
4 記憶手段
5 条件取得手段
6 演算手段
7 検索手段
8 表示制御手段
9 表示手段
10 制御部
11 キー入力手段
17 GPS受信部(測位手段)
18 LCD(表示手段)
20 カメラ機構部(撮像手段)
27 メモリ(記憶手段)
28 キー入力部(選択手段、条件取得手段)
29 時計部
30 CPU(演算手段、検索手段、表示制御手段)
100 測位衛星

Claims (4)

  1. 複数の撮影画像情報の中から所定の条件を満たす撮影画像情報を検索する撮影画像検索装置において、
    複数の撮影画像情報を記憶する画像記憶手段と、
    この画像記憶手段に記憶されている複数の撮影画像情報の各々を取得した撮影位置相互の方位を取得する方位取得手段と、
    前記画像記憶手段に記憶されている複数の撮影画像情報の中から、前記方位取得手段により取得された方位が所定の条件を満たす撮影画像情報を検索する画像検索手段と、
    を備えたことを特徴とする撮影画像検索装置。
  2. 複数の撮影画像情報の中から所定の条件を満たす撮影画像情報を検索する撮影画像検索装置において、
    複数の撮影画像情報を記憶する画像記憶手段と、
    前記撮影画像情報を取得した撮影位置の方位を取得するための基準位置を取得する基準位置取得手段と、
    前記画像記憶手段に記憶されている複数の撮影画像情報の中から、前記基準位置取得手段により取得された基準位置と、前記撮影画像情報の各々を取得した撮影位置との間の方位が所定の条件を満たす撮影画像情報を検索する画像検索手段と、
    を備えたことを特徴とする撮影画像検索装置。
  3. 複数の撮影画像情報の中から所定の条件を満たす撮影画像情報を検索するための撮影画像検索方法であって、
    メモリに記憶されている複数の撮影画像情報の各々を取得した撮影位置相互の方位を取得する手順と、
    前記メモリに記憶されている複数の撮影画像情報の中から、取得した撮影位置相互の方位が所定の条件を満たす撮影画像情報を検索する手順と、
    を含むことを特徴とする撮影画像検索方法。
  4. 複数の撮影画像情報の中から所定の条件を満たす撮影画像情報を検索するための撮影画像検索方法であって、
    前記撮影画像情報を取得した撮影位置の方位を取得するための基準位置を取得する手順と、
    メモリに記憶されている複数の撮影画像情報の中から、前記基準位置と前記撮影画像情報の各々を取得した撮影位置との間の方位が所定の条件を満たす撮影画像情報を検索する手順と、
    を含むことを特徴とする撮影画像検索方法。
JP2005087386A 1998-11-18 2005-03-25 撮影画像検索装置及び撮影画像検索方法 Expired - Lifetime JP4175334B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005087386A JP4175334B2 (ja) 1998-11-18 2005-03-25 撮影画像検索装置及び撮影画像検索方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP32824798 1998-11-18
JP2005087386A JP4175334B2 (ja) 1998-11-18 2005-03-25 撮影画像検索装置及び撮影画像検索方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP30316099A Division JP3773090B2 (ja) 1998-11-18 1999-10-25 撮影画像検索装置、電子カメラ装置及び撮影画像検索方法

Publications (2)

Publication Number Publication Date
JP2005218135A JP2005218135A (ja) 2005-08-11
JP4175334B2 true JP4175334B2 (ja) 2008-11-05

Family

ID=34913768

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005087386A Expired - Lifetime JP4175334B2 (ja) 1998-11-18 2005-03-25 撮影画像検索装置及び撮影画像検索方法

Country Status (1)

Country Link
JP (1) JP4175334B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5024181B2 (ja) * 2008-05-21 2012-09-12 カシオ計算機株式会社 撮像装置、及び画像表示方法、画像表示プログラム
JP5387723B2 (ja) * 2012-04-26 2014-01-15 カシオ計算機株式会社 画像表示装置、及び画像表示方法、画像表示プログラム
WO2018134943A1 (ja) * 2017-01-19 2018-07-26 三菱電機株式会社 判別装置、判別システム、判別方法及びプログラム

Also Published As

Publication number Publication date
JP2005218135A (ja) 2005-08-11

Similar Documents

Publication Publication Date Title
KR100348131B1 (ko) 촬영화상검색장치, 전자카메라장치 및 촬영화상검색방법
US11710205B2 (en) Image capturing method and display method for recognizing a relationship among a plurality of images displayed on a display screen
US20150341588A1 (en) Imaging device, image display device, and electronic camera that determines whether to record the position at which an image is photographed and the accuracy of the photographic position to be recorded
JP4735995B2 (ja) 画像処理装置、画像表示方法および画像表示プログラム
US7949209B2 (en) Image processing apparatus, control method therefor, computer program, and computer-readable storage medium
CN101170647B (zh) 检测特定对象区域的方法和数码相机
CN103999084A (zh) 服务器、客户终端、系统和记录介质
JP3773090B2 (ja) 撮影画像検索装置、電子カメラ装置及び撮影画像検索方法
KR101998903B1 (ko) 서버, 클라이언트 단말, 시스템 및 프로그램
JP4706159B2 (ja) 画像再生装置および画像再生方法
JP2002352218A (ja) ファイル名設定システム、電子カメラ、及び情報処理装置
JP5186984B2 (ja) 電子カメラ
US20060187319A1 (en) Image capturing apparatus
JP2003058867A (ja) 電子アルバム装置
JP4175334B2 (ja) 撮影画像検索装置及び撮影画像検索方法
JP2003228587A (ja) 画像検索装置および画像検索方法
JPH05207408A (ja) 電子スチルカメラ
JP5387723B2 (ja) 画像表示装置、及び画像表示方法、画像表示プログラム
JP5007631B2 (ja) 電子カメラ
JP2006262134A (ja) 撮影データ処理装置、撮影装置及びプログラム
JP2004096438A (ja) 撮影装置及び方法、プログラム
US8917936B2 (en) Image pickup apparatus and method for controlling the same for associating captured image with stored preceding recognition result
JP2005039858A (ja) 撮影画像検索装置、電子カメラ装置及び撮影画像検索方法
JP5115375B2 (ja) 画像表示装置および電子カメラ
JPH1117908A (ja) 情報処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080729

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080811

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4175334

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130829

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term