JP5655916B2 - Image search system - Google Patents
Image search system Download PDFInfo
- Publication number
- JP5655916B2 JP5655916B2 JP2013191534A JP2013191534A JP5655916B2 JP 5655916 B2 JP5655916 B2 JP 5655916B2 JP 2013191534 A JP2013191534 A JP 2013191534A JP 2013191534 A JP2013191534 A JP 2013191534A JP 5655916 B2 JP5655916 B2 JP 5655916B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- image
- image data
- subject
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、所定の被写体を撮像する撮像手段を有し、当該撮像手段によって撮像された被写体の画像データを通信ネットワークを介して検索支援システムに送信することで、前記被写体に関連する情報を取得する発明に関する。 The present invention includes an imaging unit that captures an image of a predetermined subject, and acquires information related to the subject by transmitting image data of the subject captured by the imaging unit to a search support system via a communication network. It relates to the invention to do.
展望台に設置されているカメラ付き望遠鏡等によって、現実に見える山など風景を大きく拡大して見る場合には、拡大率に限界がある。そのため、拡大率が限界に達してしまうと、それ以上拡大して見ることができない。即ち、拡大値が最大に達してしまった場合、使用者が「さらに詳しく見たい」と思っても、更に詳しい情報を得ることができなかった。そのため、従来、望遠鏡内に予め被写体(対象物)のコンピュータグラフィックス画像を記憶しておき、拡大率が限界に達した場合に、現実に見える対象物をコンピュータグラフィックス画像に切り換えることで、使用者の要求を満たすという発明が開示されている(特許文献1)。 There is a limit to the enlargement ratio when viewing landscapes such as mountains that can be seen with a telescope with a camera installed on the observatory. For this reason, when the enlargement rate reaches the limit, it cannot be enlarged further. That is, when the enlargement value has reached the maximum, even if the user wants to see more details, it has not been possible to obtain more detailed information. Therefore, conventionally, a computer graphics image of the subject (object) is stored in advance in the telescope, and when the enlargement ratio reaches the limit, it can be used by switching the object that looks real to a computer graphics image. Has been disclosed (Patent Document 1).
しかしながら、特許文献1に記載の発明では、展望台に設置されている望遠鏡で見える風景は、ある程度決まっているため、望遠鏡内に記憶しておくコンピュータグラフィックス画像を用意することは比較的容易であるが、街中、野山等を歩いている際に見つけた対象物を撮影するような場合には、世の中の様々な物体のコンピュータグラフィックス画像を用意しておく必要があるため、現実的には不可能であるという問題が生じる。
However, in the invention described in
本発明は、上記事情に鑑みてなされたもので、撮像された被写体である物体が世の中に存在する様々なものであっても、この物体の画像データに関連する物体の画像データを取得できる発明を提供することを目的とする。 The present invention has been made in view of the above circumstances, and can acquire image data of an object related to the image data of the object even if there are various objects that are captured subjects in the world. The purpose is to provide.
請求項1に係る発明は、撮像装置と検索支援システムとを含む画像検索システムであって、前記撮像装置は、被写体を撮像する撮像手段と、前記撮像手段で撮像された被写体の画像データの画像を表示する表示手段と、前記表示手段で表示された画像の被写体の過去を示す物体の画像の要求を受け付ける受付手段と、前記受付手段で要求を受け付けたとき、前記表示手段で表示された画像の画像データと、前記受付手段で受け付けた要求を示す要求情報とを、前記検索支援システムに送信する第1の送信手段と、を有し、前記検索支援システムは、前記撮像装置から送信された前記画像データと前記要求情報とに基づいて、該画像データの画像の被写体の過去を示す物体の画像の検索を検索エンジンに開始させる検索開始手段と、前記検索開始手段で開始された検索の結果としての画像データを前記撮像装置へ送信する第2の送信手段と、を有し、前記撮像装置の有する表示手段は、前記検索支援システムから送信される画像データを表示することを特徴とする画像検索システムである。
The invention according to
以上説明したように本発明によれば、撮像された被写体である物体が世の中に存在する様々なものであっても、この物体の画像データに関連する物体の画像データを取得できるという効果を奏する。 As described above, according to the present invention, it is possible to obtain image data of an object related to the image data of the object even if there are various objects that are captured objects in the world. .
〔第1の実施形態〕
以下、図1乃至図12を用いて、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態に係る画像検索システムの概略図であり、まずは図1を用いて、本実施形態の概略を説明する。
[First Embodiment]
Hereinafter, the first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a schematic diagram of an image search system according to the first embodiment of the present invention. First, the outline of the present embodiment will be described with reference to FIG.
図1に示す撮像装置10aは、所定の被写体を撮像するデジタルカメラ等の撮像機能を有しており、例えば、撮像装置10aの利用者が、街中、野山等で見つけた被写体を撮影することができる。そして、撮影された被写体の画像データを通信ネットワークを介して検索支援装置20aに送信する。検索支援装置20aは、被写体の名称やカテゴリに対応した図鑑系の検索エンジン等のURLを管理しており、撮像装置10aから送られて来た画像データに基づいて、最適な検索エンジンを選択する。検索支援装置20aでは、選択された検索エンジンを有する検索サーバ30aに対して、検索キーデータを送信することで、検索を開始させる。検索サーバ30aは、検索支援装置20aから送られて来た検索キーデータに基づいて検索を行い、検索結果である画像データを通信ネットワークを介して撮像装置10aに送る。これにより、例えば、被写体が「おたまじゃくし」の場合、撮像装置10aで撮像された「おたまじゃくし」の画像データを検索支援装置20aに送信すれば、検索支援装置20aが検索サーバ30aに「おたまじゃくし」の未来の画像を検索させ、検索サーバ30aは、「おたまじゃくし」の未来の生物としての「蛙」の画像データを検索結果として撮像装置10aに送信する。これにより、撮像装置10aでは、ディスプレイに「蛙」の画像を表示することができ、被写体である「おたまじゃくし」に関連する物体である「蛙」の画像データを容易に取得できる。このように、撮像装置10aの利用者は、被写体の将来等の物体の画像データを容易に取得することができるため、街中、野山等で珍しい生物等を見つけたような場合に、この生物は将来どのように変わって行くのだろうかと思う好奇心に迅速に応えることができる。
An
次に、図2乃至図12を用いて、本発明の第1の実施形態を更に詳細に説明する。図2は、本実施形態に係る画像検索システムを構成する各装置のハードウェア構成図である。まず、図2に示されているように、本実施形態の画像検索システムは、撮像装置10a、検索支援装置20a、及び検索サーバ30aによって構築されている。検索支援装置20aと検索サーバ30aとは、インターネット2を介して通信することができる。撮像装置10aと検索支援装置20a及び検索サーバ30aとは、インターネット2、ゲートウェイ3、携帯電話網4、及び基地局5によって構築される通信ネットワークを介して、通信することができる。
Next, the first embodiment of the present invention will be described in more detail with reference to FIGS. FIG. 2 is a hardware configuration diagram of each device configuring the image search system according to the present embodiment. First, as shown in FIG. 2, the image search system of the present embodiment is constructed by an
このうち、撮像装置10aは、撮像装置10a全体の動作を制御するCPU(Central Processing Unit)101、基本入出力プログラムを記憶したROM(Read Only Memory)102、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103、CPU101の制御にしたがってデータの読み出し又は書き込みを行うEEPROM(Electrically Erasable and Programmable ROM)104、CPU101の制御に従って被写体を撮像し画像データを得るCCD(Charge Coupled Device)105、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサー等の各種加速度・方位センサー106、フラッシュメモリ等の記録メディア107に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ108を備えている。そして、メディアドライブ108の制御に従って、既に記録されていたデータが読み出され、又は新たにデータが書き込まれて記憶する記録メディア107が着脱自在な構成となっている。
Among these, the
なお、EEPROM104には、CPU101が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。CCD105は、光を電荷に変換して被写体の画像を電子化する電荷結合素子であり、被写体を撮像するが、CCDに限らず。CMOS(Complementary Metal Oxide Semiconductor)を用いてもよい。 Note that the EEPROM 104 stores an operating system (OS) executed by the CPU 101, other programs, and various data. The CCD 105 is a charge-coupled device that converts light into electric charge and digitizes the image of the subject, and images the subject, but is not limited to the CCD. CMOS (Complementary Metal Oxide Semiconductor) may be used.
更に、撮像装置10aは、音声を音声信号に変換する音声入力部111、音声信号を音声に変換する音声出力部112、アンテナ113a、このアンテナ113aを利用して無線通信信号により、最寄の基地局5と通信を行う通信部113、GPS(Global Positioning Systems)衛星から撮像装置10aの位置情報(緯度、経度、および高度)を含んだGPS信号を受信するGPS受信部114、被写体の画像や各種アイコン等を表示する液晶や有機ELなどのディスプレイ115、このディスプレイ115上に載せられ、感圧式又は静電式のパネルによって構成され、指やタッチペン等によるタッチによってディスプレイ115上におけるタッチ位置を検出するタッチパネル116、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
Furthermore, the
なお、音声入力部111は、音声を入力するマイクが含まれ、音声出力部112には、音声を出力するスピーカが含まれている。また、基地局5は、携帯電話網4と通信を行い、携帯電話網4は、ゲートウェイ3を介してインターネット2と通信を行い、インターネット2は、検索支援装置20aや検索サーバ30aと通信を行う。これにより、撮像装置10aは、検索支援装置20aや検索サーバ30aと通信することが可能となる。ここで、通信部113で送受信される無線通信信号は、音声データ、文字データ、画像データ等が含まれる信号である。
Note that the
一方、検索支援装置20aは、検索支援装置20a全体の動作を制御するCPU201、基本入出力プログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、CPU201の制御にしたがってHD(Hard Disk)205に対するデータの読み出し又は書き込みを制御するHDD(Hard Disk Drive)204、HDD204の制御に従って書き込まれたデータを記憶するHD205、CPU201の制御に従ってFD(Flexible Disk)207に対するデータの読み出し又は書き込み(記憶)を制御するFDD(Flexible Disk Drive)206を備えている。そして、FDD206の制御に従って、既に記憶していたデータが読み出され、又は新たにデータが書き込まれて記憶する記録媒体の一例としてのFD207が着脱自在な構成となっている。
On the other hand, the
更に、検索支援装置20aは、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する液晶、有機EL、CRT(Cathode-ray Tube)等のディスプレイ208、不図示のLANやインターネット2を利用してデータ伝送をするための通信インターフェース部209を備えている。更に、検索支援装置20aは、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード211、各種指示の選択や実行、処理対象の選択、カーソルの移動などをおこなうマウス212、着脱可能な記録媒体の一例としてのCD−ROM213に対するデータの読み出し又は書き込みを制御するCD−ROMドライブ214、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン210を備えている。なお、RAM203に記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM(Compact Disc Read Only Memory)、FD、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。なお、検索サーバ30aは、検索支援装置20aと同様なハードウェア構成を有するため、同一の構成要素(各部)には、同一の符号を付して、その説明を省略する。
Further, the
次に、図3を用いて、本実施形態の画像検索システムを構築する各装置の機能を説明する。図3は、本実施形態の画像検索システムを構成する各装置の機能ブロック図である。 Next, the function of each device that constructs the image search system of the present embodiment will be described with reference to FIG. FIG. 3 is a functional block diagram of each device constituting the image search system of the present embodiment.
まず、撮像装置10aは、送受信部11、要求受付部12、撮像部13、表示部14、対応判断部15、撮像状況検知部16、及び、記憶・読出処理部19を有し、これら各部は、図2に示すCPU101がROM102に記憶されているプログラムに従って動作することにより実現される機能又は手段である。また、撮像装置10aは、図2に示すEEPROM104により構築される記憶部1000を有している。
First, the
このうち、送受信部11は、主に図2に示す通信部113によって実行され、アンテナ113aを介して最寄の基地局5と無線通信信号(各種データ・情報を含む)の送受信を行う。要求受付部12は、主に図2に示す音声入力部111やタッチパネル116によって実行され、利用者(操作者)から、被写体の未来や過去を示す物体の画像データ、又は被写体の拡大や縮小された画像データ等の要求を受け付け、要求情報を作成する。なお、被写体が拡大された画像としては、被写体そのものを拡大して見る場合の拡大画像だけでなく、被写体と撮像装置10aとの距離を近くすることで、あたかも顕微鏡で被写体を見るような場合の拡大画像も含まれる。また、被写体が縮小された画像としては、被写体そのものを縮小して見る場合の縮小画像だけでなく、被写体と撮像装置10aとの距離を遠ざけることで、あたかも飛行機や衛星から見るような場合の縮小画像も含まれる。
Among these, the transmission /
また、撮像部13は、主に図2に示すCCD105によって実行され、被写体を撮像して画像データを得る。表示部14は、主に図2に示すディスプレイ115によって実行され、利用者から受け付けた要求を示す要求情報、図3に示す被写体等の画像データに係る画像やオートフォーカス枠等を表示する。対応判断部15は、主に図2に示すCPU101及びROM102並びにRAM103に展開されているプログラムによって実行され、要求受付部12で受け付けた利用者からの要求が、撮像装置10a単体で対応できるかを判断する。
The
また、撮像状況検知部16は、主に図2に示すGPS受信部114や加速度・方位センサー106などによって実行され、撮像部13によって被写体が撮像される際の状況を検知し、この検知結果を含めたメタデータを作成する。この撮像の状況の例として、撮像装置10aの地球上における位置や移動加速、撮像部13が向いている角度や方位、撮像時間(年、月、日、時間)等が挙げられ、これらが示される各情報がメタデータに含まれる。記憶・読出処理部19は、主に図2に示すCPU101やROM102などによって実行され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。
Further, the imaging state detection unit 16 is executed mainly by the GPS reception unit 114 and the acceleration /
また、記憶部1000には、被写体の画像データが、この被写体が撮影された際に作成されたメタデータと関連付けて記憶される。また、検索サーバから送られてくる画像データ、それ以外の画像データ、及び音声データ等も記憶することは可能である。
The
以上より、撮像装置10aは、検索支援装置20aに対して、撮像部13によって撮像され記憶部1000に記憶されている被写体の画像データ(D1)、要求受付部12によって利用者から受け付けた要求を示す要求情報(i1)、及び、撮像状況検知部で作成され記憶部1000に記憶されたメタデータ(d1)を送信することができる。また、撮像装置10aは、検索支援装置20aから送られてくる検索結果としての被写体に関連する物体の画像データ(D2)を受信することができる。
As described above, the
なお、図3に撮像装置3の正面図を示す。図3に示されているように、撮像装置10aは、本体10a−1、本体に設けられた「メニュー画面表示ボタン」10a−2、本体に設けられた表示部10a−3、本体に設けられたスピーカ10a−5を備えている。このうち、「メニュー画面表示ボタン」10a−2は、アプリケーションを示すアイコンが表示されているメニュー画面を表示させるためのボタンである。また、表示部10a−3には、被写体を撮影する際の撮影ボタン10a−4、被写体10a−6に対してオートフォーカス及びキャプチャリングを指示する際に利用者から押下されるオートフォーカス枠10a−7が表示されている。
FIG. 3 shows a front view of the
次に、検索支援装置20aの各種機能について説明する。検索支援装置20aは、図4に示されているように、送受信部21、特定要求判断部22、画像認識部23、検索エンジン選択部24、及び、記憶・読出処理部29を有し、これら各部は、図2に示すCPU201がROM202に記憶されているプログラムに従って動作することにより実現される機能又は手段である。また、検索支援装置20aは、図2に示すHD205により構築される記憶部2000を有している。この記憶部2000には、図6に示されているような検索エンジン管理テーブルによって構成されている検索エンジン管理部2001と、画像認識部23が画像認識する際に用いる後述の識別辞書ファイル管理部2002とが構築されている。上記検索エンジン管理テーブルは、図6に示されているように、所定の被写体の名称又はカテゴリと、これら名称又はカテゴリ毎に使い分ける検索サーバ(検索エンジン)をそれぞれ特定するための検索エンジン特定情報とを関連付けて記憶する。ここでは、検索エンジン特定情報として、検索エンジンのURLを示しているが、これに限らず、検索エンジンを特定するための固有の識別子であってもよい。この場合には、別途、検索エンジンの識別子と検索エンジンのURLとを関連付けたテーブルが必要となり、この場合も、検索エンジン管理部2001を構成することになる。
Next, various functions of the
また、上記送受信部21は、主に図2に示す通信インターフェース部203によって実行され、インターネット2と各種データの送受信を行う。この送受信部21は、撮像装置10aから送られて来る被写体の画像データ(D1)、要求情報(i1)、及び、メタデータ(d1)を受信する。また、送受信部21は、検索支援装置20aから検索サーバ30a(図7に示す検索サーバ30bの場合もある)に対して、画像データ(D1)を検索キーとし、要求情報(i1)に係る要求に対応した検索を開始させるための通信を行う検索開始部としての機能も有する。また、この検索開始部は、検索キーを画像データ(D1)ではなくメタデータ(d1)に含まれる位置情報にすると共に、前記状況情報(i1)に対応した検索を開始させるための通信を行うこともできる。
The transmission /
また、特定要件判断部22は、主に図2に示すCPU201及びROM202並びにRAM203に展開されているプログラムによって実行され、送受信部21が撮像装置10aから受信した要求情報(i1)に係る要求が、予め定められた特定の要求であるかを判断する。この特定の要求は、例えば、被写体と撮像装置10aとの距離を遠ざけることで、あたかも飛行機や衛星から見るような場合の縮小画像の要求である。即ち、利用者の要求が、図鑑用検索エンジンによる検索では対応できず、世界中の衛星写真によって構築されたバーチャル地球儀を提供する検索エンジンでなければ対応できないような場合には、特定の検索エンジンに検索させる必要があるため、この特定の検索エンジンを使用するかを判断する必要がある。
Further, the specific
また、画像認識部23は、主に図2に示すCPU201及びROM202並びにRAM203に展開されているプログラムによって実行され、送受信部21で受信された画像データに対して画像認識の処理を行い、この画像データに係る被写体の名称又はカテゴリを出力する。ここで、図5を用いて、画像認識部23を更に詳細に説明する。なお、図5は、画像認識部23の詳細な機能ブロック図である。
The
図5に示されているように、画像認識部23は、画像入力部231、濃度変換部232、位置正規化処理部233、特徴パターン抽出部234、照合処理部235、及び、判定処理部236を有している。
As shown in FIG. 5, the
このうち、画像入力部231は、特定要求判断部22から送られてくる被写体の画像データを以後の処理にあった形式のディジタル画像データに変換し、濃度変換部232に送る機能又は手段を有する。濃度変換部232は、被写体の画像データに対して輝度値の補正(照度値の正規化)などの濃度変換処理を施した後、位置正規化処理部233に送る機能又は手段を有する。位置正規化処理部233は、画像データ中から照合の対象となる日被写体の形状パターンの位置、傾き、及び大きさの正規化を行ない、照合処理の対象となる被写体の正規化パターンを切り出して特徴パターン抽出手部234へ送る機能又は手段を有する。ここで位置正規化処理部233の構成としては、例えば、特願平2−219675に示されている実施例を用いることができる。
Among these, the
続いて、特徴パターン抽出部234は、位置正規化処理部233から送られる被写体の正規化パターンに対して、照合時に標準パターンとの照合を行なう特徴パターンを抽出して、照合処理部235へ送る機能又は手段を有する。なお、記憶部2000には、予め識別対象物の標準的な画像について上述した画像入力部231から特徴パターン抽出部234までと同等の処理を行なって求めた標準パターンが管理されている識別辞書ファイル管理部が構築されている。
Subsequently, the feature
また、照合処理部235は、被写体の画像データについて特徴パターン抽出部234で求めた特徴パターンと、記憶・読出処理部29を介して得た識別辞書ファイル管理部2002で管理されている動物、昆虫等の標準パターンとの間に類似性尺度を数値化し、この結果を判定処理部236へ送る機能又は手段を有する。照合処理については、特徴ベクトルの最小距離識別の例に代表される統計的識別関数による方法、又は、ニューラルネットによる学習を応用する方法などが挙げられる。判定処理部236は、照合処理部235で計算された入力パターンと各識別対象物の標準パターンとの間の類似性尺度のデータ群に対して、実現しようとする識別機能の形態に即して、適当な値による閾値処理などによる判定処理を行ない、その結果得られる識別結果を検索エンジン選択部24に出力する機能又は手段を有する。
In addition, the matching
次に、図4に戻って、検索エンジン選択部24は、画像認識部23の画像認識により得られた画像データ(D1)に係る被写体の名称又はカテゴリに基づいて、記憶部2000に構築されている検索エンジン管理部2001を検索して、対応する検索エンジン特定情報を読み出す検索エンジン検索部241を有している。検索エンジン選択部24は、検索エンジン検索部241によって読み出された検索結果としての検索エンジン特定情報に基づいて、画像データ(D1)又はメタデータ(d1)の位置情報を検索キーとして検索させる検索エンジンを有する検索サーバを選択する。
Next, returning to FIG. 4, the search
また、記憶・読出処理部29は、主に図2に示すCPU201やROM202などによって実行され、記憶部2000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。
The storage /
以上により、検索支援装置20aは、撮像装置10aから送られて来る画像データ(D1)、要求情報(i1)、及び、メタデータ(d1)を送信することができる。また、検索支援装置20aは、検索エンジン選択部24によって選択された検索エンジンを有する検索サーバに対して、検索キーとしての画像データ(D1)又はメタデータ(d1)の位置情報を、要求情報(i1)に係る要求に対応した検索を開始させることができる。
As described above, the
次に、検索サーバ30aの機能について説明する。ここでは、例えば、検索サーバ30aは、動物図鑑、昆虫図鑑、両生類図鑑、建物図鑑、乗物図鑑等の各種図鑑をそれぞれ管理している複数の検索サーバのうちの一つである。ここでは、その一例として、両生類図鑑を管理し検索することができる検索サーバを示している。これら複数の検索サーバは、検索支援装置20における検索エンジン選択部241によって選択される。また、図6に示す検索エンジン管理テーブルのカテゴリは、各種検索サーバに対応している。なお、図7に示す検索サーバ30bは、図鑑系の検索サーバとは異なり、世界中の衛星写真から構成されたバーチャル地球儀における所定の視点位置からの画像を検索することができる検索エンジンを有する検索サーバである。
Next, the function of the
また、検索サーバ30aは、図4に示されているように、送受信部31、検索部32、及び、記憶・読出処理部39を有し、これら各部は、図2に示すCPU201がROM202に記憶されているプログラムに従って動作することにより実現される機能又は手段である。また、検索サーバ30aは、図2に示すHD205により構築される記憶部3000を有している。この記憶部3000には、検索結果としての図鑑による物体の画像データが管理されている。例えば、両生類図鑑の場合には、おたまじゃくしの卵(おたまじゃくしの過去の物体)、おたまじゃく、蛙(おたまじゃくしの未来の物体)といったように、おたまじゃくしが時間的変移することにより成り得る物体の画像データが関連付けられて、時間的変移した物体であると認識できるように管理されている。
Further, as shown in FIG. 4, the
また、上記送受信部31は、主に図2に示す通信インターフェース部203によって実行され、インターネット2と各種データの送受信を行う。この送受信部21は、検索支援装置10aから送られて来る検索キーとしての被写体の画像データ(D1)(又はメタデータ(d1)の位置情報)、及び、要求情報(i1)を受信する機能を有する。また、送受信部31は、検索サーバ30aから撮像装置10aに対して、検索結果としての物体の画像データを送信する機能も有する。
The transmission / reception unit 31 is mainly executed by the
また、検索部32は、主に図2に示すCPU201及びROM202並びにRAM203に展開されているプログラムによって実行され、いわゆる検索エンジンである。記憶・読出処理部39は、主に図2に示すCPU201やROM202などによって実行され、記憶部3000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。
The
以上により、検索サーバ30aは、検索支援装置10aから送られて来る検索キーとしての被写体の画像データ(D1)(又はメタデータ(d1)の位置情報)、及び、要求情報(i1)を受信して検索を行い、この検索結果としての物体の画像データを、撮像装置10aに送信することができる。
As described above, the
なお、上記では、複数の図鑑系検索サーバが存在していると説明したが、これに限らず、一つの検索サーバで、上記各種図鑑をそれぞれ管理し検索できる複数の検索エンジンを有するようにし、検索エンジン選択部241によって、最適な検索エンジンを選択することができるようにしてもよい。
In the above description, a plurality of pictorial book search servers exist. However, the present invention is not limited to this, and a single search server has a plurality of search engines that can manage and search the various pictorial books. The search
また、検索サーバ30bは、検索結果管理部3001で管理するデータが、図鑑系データではなくバーチャル地球儀のデータである点、及び検索部32が、バーチャル地球儀用の専用検索エンジンである点以外は、同様の構成を有してるため、その説明を省略する。
In addition, the
続いて、図7乃至図12を用いて、本実施形態の画像検索システムを利用した画像検索方法について説明する。図7は、本実施形態に係る画像検索システムを構成する各装置における処理及び各装置間の処理を示したシーケン図である。図8は、撮像装置における利用者からの要求受付処理を示した処理フロー図である。図9は、検索支援装置における検索エンジンの選択処理を示した処理フロー図である。 Next, an image search method using the image search system of this embodiment will be described with reference to FIGS. FIG. 7 is a sequence diagram showing processing in each device and processing between each device constituting the image search system according to the present embodiment. FIG. 8 is a process flow diagram illustrating a request reception process from a user in the imaging apparatus. FIG. 9 is a process flow diagram showing search engine selection processing in the search support apparatus.
まず、図7に示されているように、撮像装置10aは、利用者からの要求を受け付ける(ステップS1)。この処理は、図8に詳細に示されている。図8に示されているように、まずは、撮像された被写体の画像データに対して縮小又は拡大の要求があったかを判断する(ステップS1−1)。要求があったと判断した場合には(YES)、被写体をキャプチャリングして、撮像を開始する(ステップS1−2)。また、撮像された画像データ(D1)と撮像の際に取得したメタデータ(d1)を関連付けて、記憶部1000に記憶する(ステップS1−3)。次に、画像に対して縮小又は拡大の要求があったかを判断する(ステップS1−4)。縮小又は拡大の要求があったと判断した場合には(YES)、更に、拡大又は縮小の限界を超えたかを判断する(ステップS1−5)。ここで、限界を超えたと判断した場合には(YES)、記憶部1000から、画像データ(D1)及び、関連付けられているメタデータ(d1)を読み出す(ステップS1−6)。一方、上記ステップS1−4にて、縮小又は拡大の要求がないと判断した場合には、更に、画像に対して過去又は未来の要求があったかを判断する(ステップS1−7)。そして、過去又は未来の要求があったと判断した場合には(YES)、上記ステップS1−6と同様の処理を行う。そして、読み出された画像データ(D1)、メタデータ(d1)、及び、利用者からの要求(縮小又は拡大の画像を欲しい、又は、過去若しくは未来の画像を欲しい)を示す要求情報(i1)を出力する(ステップ1−8)。
First, as illustrated in FIG. 7, the
ここで、利用者による縮小又は拡大の物体の画像の要求の受付は、図10に示すように、撮像装置10aの表示部10a−3のタッチパネルに指を触れて、外側に広げると拡大すると判断し、狭めると縮小すると判断することで行われる。また、利用者による過去又は未来の物体の画像の要求の受付は、図11に示されているように、撮像装置10aの表示部10a−3のタッチパネルに指を触れて、右側に移動させると未来だと判断し、左側に移動させると過去だと判断することで行われる。
Here, as shown in FIG. 10, the user accepts the request for the image of the reduced or enlarged object by touching the touch panel of the
なお、上記ステップ1−7で、過去又は未来の要求がなかったと判断した場合には(NO)、画像データ(D1)、メタデータ(d1)、及び、要求情報(i1)を出力しない(ステップS1−9)。また、上記ステップS1−5で、縮小又は拡大の限界を超えていないと判断した場合にも(NO)、画像データ(D1)、メタデータ(d1)、及び、要求情報(i1)を出力しない(ステップS1−10)。 If it is determined in step 1-7 that there is no past or future request (NO), image data (D1), metadata (d1), and request information (i1) are not output (step 1). S1-9). Even when it is determined in step S1-5 that the limit of reduction or enlargement is not exceeded (NO), the image data (D1), metadata (d1), and request information (i1) are not output. (Step S1-10).
以上のようにして出力された画像データ(D1)、メタデータ(d1)、及び、要求情報(i1)は、検索支援装置20aに送られる(ステップS2)。これにより、検索支援装置20aは、検索エンジンの選択を行う(ステップS3)。この処理は、図9に詳細に示されている。図9に示されているように、まずは、要求情報(i1)で示される要求が、特定の要求かを判断する(ステップS3−1)。この特定の要求は、上記のごとく、被写体と撮像装置10aとの距離を遠ざけた場合に得られる画像データの要求である。ここで、特定の要求でないと判断した場合には(NO)、画像データ(D1)に対して画像認識の処理を行う(ステップS3−2)。そして、この画像認識により得た画像データに係る被写体の名称又はカテゴリに基づいて、検索エンジン管理部2001を検索して、対応する検索エンジン特定情報を読み出す(ステップS3−3)。そして、画像データ(D1)を検索キーとして出力する(ステップS3−4)。一方、上記ステップ3−1にて、特定の要求であると判断した場合には、予め定められている検索エンジンを有する検索サーバ30bを特定する(ステップS3−5)。そして、メタデータ(d1)の位置情報を検索キーとして出力する(ステップ3−6)。
The image data (D1), metadata (d1), and request information (i1) output as described above are sent to the
次に、上記S3−4の処理を実行した場合には、図7に戻って、検索支援装置20aは検索サーバ30aに、検索キーとしての画像データ(D1)及び要求情報(i1)を送信する(ステップS4)。これにより、検索サーバ30aは、要求情報(i1)に係る要求に応じて、画像データ(D1)を検索キーとした画像検索を行う(ステップS5)。その後、検索サーバ30aは、撮像装置10aに対して検索結果としての物体の画像データを送信する(ステップS6)。これにより。撮像装置10aでは、検索結果としての物体の画像データをモニタ10a−3に表示させる(ステップS7)。
Next, when the process of S3-4 is executed, the process returns to FIG. 7 and the
一方、図9における上記S3−6の処理を実行した場合には、図7に戻って、検索支援装置20aは検索サーバ30bに、検索キーとしてのメタデータ(d1)の位置情報、及び要求情報(i1)を送信する(ステップS4’)。これにより、検索サーバ30bは、要求情報(i1)に係る要求に応じて、位置情報を検索キーとした画像検索を行う(ステップS5’)。その後、検索サーバ30bは、撮像装置10aに対して検索結果としての物体の画像データを送信する(ステップS6)。これにより。撮像装置10aでは、検索結果としての物体の画像データをモニタ10a−3に表示させる(ステップS7)。
On the other hand, when the process of S3-6 in FIG. 9 is executed, returning to FIG. 7, the
以上説明したように、利用者の要求に応じた被写体の過去若しくは未来の物体の画像、又は、被写体の縮小(被写体との距離を遠ざける要求を含む)又は拡大(被写体との距離を近づける画像、顕微鏡画像、又は化学式の画像を含む)の物体の画像は、図12に示されているような画像である。図12では、横軸のプラス方向を「未来」、横軸のマイナス方向を「過去」、縦軸のプラス方向を「縮小」、及び、縦軸のマイナス方向を「拡大」の要求があった物体の画像として示されている。例えば、現時点の被写体の画像(0,0)が「おやまじゃくし」の場合、この未来の画像(1,0)は、「蛙」の画像である。また、過去の画像(−1,0)は、「卵」である。一方、現位置の被写体の画像(0,0)の縮小が進むと、撮像位置を上空から見た画像(0,2)となり、更に縮小が進むと、衛星画像(0,3)、(0,4)となる。なお、衛星画像(0,4)から過去要求すると、古代の地球の姿を示した画像(−N,4)を要求することになる。また、現位置の被写体の画像(0,0)の拡大が進むと、顕微鏡画像(0,−2)となり、更に拡大が進むと、化学式を示した画像(0,−3)を要求することになる。 As described above, an image of a past or future object of a subject according to a user's request, or a reduction (including a request to increase the distance from the subject) or enlargement (an image that brings a distance from the subject closer), The image of the object (including a microscope image or a chemical formula image) is an image as shown in FIG. In FIG. 12, there is a request for the positive direction of the horizontal axis “future”, the negative direction of the horizontal axis “past”, the positive direction of the vertical axis “reduction”, and the negative direction of the vertical axis “enlarge”. It is shown as an image of the object. For example, when the image (0,0) of the current subject is “Oyamajakushi”, the future image (1,0) is an image of “蛙”. The past image (-1, 0) is “egg”. On the other hand, when the image (0, 0) of the subject at the current position is reduced, the image (0, 2) is obtained when the imaging position is viewed from above. When the reduction is further advanced, the satellite images (0, 3), (0 , 4). Note that when a past request is made from the satellite image (0, 4), an image (-N, 4) showing the shape of the ancient earth is requested. Further, when the enlargement of the image (0, 0) of the subject at the current position proceeds, a microscope image (0, -2) is obtained. When the enlargement further proceeds, an image (0, -3) indicating a chemical formula is requested. become.
以上説明したように本実施形態によれば、撮像された被写体である物体が世の中に存在する様々なものであっても、この被写体の画像データに関連する物体の画像データを取得できるという効果を奏する。また、被写体に関連する物体の画像データを容易に取得できるという効果を奏する。 As described above, according to the present embodiment, there is an effect that even if there are various objects that are captured subjects in the world, image data of the objects related to the image data of the subjects can be acquired. Play. In addition, the image data of the object related to the subject can be easily obtained.
〔第2の実施形態〕
以下に、本発明の第2の実施形態について説明する。なお、本実施形態の撮像装置10bと第1の実施形態の撮像装置10aとでは、基本的に外観と利用者の操作入力部分が異なるだけで、検索支援装置20aや検索サーバ30a、30bとの通信方法、及び通信データは同様であるため、説明を省略し、撮像装置10bの外観の構成のみを説明する。
[Second Embodiment]
The second embodiment of the present invention will be described below. Note that the
図13に示されているように、撮像装置10bは、ルーペ状の構成を有しており、本体10b−1と、本体上部に回転自在に設けられた回転入力部10b−2と、本体10b−1の側面に設けられた回転・押下入力部10b−4により構成されている。回転入力部10b−2には画像を表示するディスプレイ10b−6が設けられている。ディスプレイ10b−6には、第1の実施形態と同様の機能を有するオートフォーカス枠10b−7が表示され、利用者の指などによるタッチによってオートフォーカスとキャプチャリングを行う。また、回転入力部10b−2が矢印の右ネジが締まる方向に回されると画像の拡大が要求されたと判断し、矢印の右ネジが外れる方向に回されると画像の縮小が要求されたと判断する。また、回転・押下入力部10b−4が矢印の右ネジが締まる方向(時計の針を進める方向)に回されると未来の物体の画像が要求されたと判断し、矢印の右ネジが外れる方向(時計の針を戻す方向)に回されると過去の物体の画像が要求されたと判断する。
As illustrated in FIG. 13, the
以上説明したように本実施形態によれば、過去、未来、縮小、拡大の要求入力が、人間工学的に合致したものとなるため、上記実施形態の効果に加え、撮像装置を使い易いという効果を奏する。 As described above, according to the present embodiment, since the request inputs for the past, future, reduction, and enlargement are ergonomically matched, the effect that the imaging apparatus is easy to use in addition to the effect of the above embodiment. Play.
なお、上記各実施形態では、検索支援装置20aは、検索サーバと別体としたが、これに限らず、検索サーバ30a、30bの検索エンジンを搭載してもよい。また、検索支援装置20aは、単一のコンピュータによって構築されてもよいし、複数のコンピュータによって構築されてもよい。本発明では、検索支援装置20aが単一のコンピュータと、複数のコンピュータの両方の場合を含める意味、及び、上記のごとく、検索エンジンを搭載している場合及び搭載していない場合も含める意味で、検索支援システムとしている。
In each of the above embodiments, the
10a 撮像装置
10b 撮像装置
11 送受信部
12 要求受付部
13 撮像部
14 表示部
15 対応判断部
16 撮像状況検知部
20a 検索支援装置20a(検索支援システムの一例)
30a 検索サーバ
30b 検索サーバ
21 送受信部
22 特定要求判断部
23 画像認識部
24 検索エンジン選択部
241 検索エンジン検索部
DESCRIPTION OF
Claims (4)
前記撮像装置は、
被写体を撮像する撮像手段と、
前記撮像手段で撮像された被写体の画像データの画像を表示する表示手段と、
前記表示手段で表示された画像の被写体の過去を示す物体の画像の要求を受け付ける受付手段と、
前記受付手段で要求を受け付けたとき、前記表示手段で表示された画像の画像データと、前記受付手段で受け付けた要求を示す要求情報とを、前記検索支援システムに送信する第1の送信手段と、
を有し、
前記検索支援システムは、
前記撮像装置から送信された前記画像データと前記要求情報とに基づいて、該画像データの画像の被写体の過去を示す物体の画像の検索を検索エンジンに開始させる検索開始手段と、
前記検索開始手段で開始された検索の結果としての画像データを前記撮像装置へ送信する第2の送信手段と、
を有し、
前記撮像装置の有する表示手段は、前記検索支援システムから送信される画像データを表示することを特徴とする画像検索システム。 An image search system including an imaging device and a search support system,
The imaging device
Imaging means for imaging a subject;
Display means for displaying an image of the image data of the subject imaged by the imaging means;
Receiving means for receiving a request for an image of an object indicating the past of the subject of the image displayed by the display means;
A first transmission unit configured to transmit image data of the image displayed on the display unit and request information indicating the request received by the reception unit to the search support system when the request is received by the reception unit; ,
Have
The search support system includes:
Search starting means for causing a search engine to start searching for an image of an object indicating the past of the subject of the image of the image data based on the image data and the request information transmitted from the imaging device;
Second transmission means for transmitting image data as a result of the search started by the search start means to the imaging device;
Have
The image search system, wherein the display unit of the imaging apparatus displays image data transmitted from the search support system.
前記検索支援システムは、前記撮像装置から送信された画像データを画像認識することで、該画像データの被写体の名称又はカテゴリを出力する画像認識手段と、
所定の被写体の名称又はカテゴリごとに対応した検索エンジンのうち前記検索開始手段により検索を開始させる検索エンジンを、前記画像認識手段で出力された被写体の名称又はカテゴリに基づいて選択する選択手段と、
を有することを特徴とする画像検索システム。 The image search system according to claim 1,
The search support system recognizes image data transmitted from the imaging device, and thereby outputs an image recognition unit that outputs a subject name or category of the image data;
A selection unit that selects a search engine that starts the search by the search start unit among search engines corresponding to each predetermined subject name or category, based on the subject name or category output by the image recognition unit;
An image search system comprising:
前記検索支援システムは、所定の被写体の名称又はカテゴリごとに、該名称又はカテゴリに対応した検索エンジンを特定するための特定情報を関連付けて記憶する記憶手段を有し、
前記選択手段は、前記画像認識手段で出力された被写体の名称又はカテゴリに基づいて前記記憶手段を検索することで、検索を実行させる検索エンジンを選択することを特徴とする画像検索システム。 The image search system according to claim 2,
The search support system has storage means for storing in association with specific information for specifying a search engine corresponding to the name or category for each name or category of a predetermined subject,
The image search system according to claim 1, wherein the selection unit selects a search engine for executing the search by searching the storage unit based on the name or category of the subject output by the image recognition unit.
前記プログラムは、
前記撮像手段で撮像された被写体の画像データの画像を表示する第1の表示ステップと、
前記第1の表示ステップで表示された画像の被写体の過去を示す物体の画像の要求を受け付けたとき、前記第1の表示ステップで表示された画像の画像データと、受け付けた前記要求を示す要求情報とを、前記検索支援システムに送信する送信ステップと、
前記検索支援システムから送信される画像データを表示する第2の表示ステップと、
を前記撮像装置に実行させ、
前記検索支援システムは、
前記撮像装置から送信された前記画像データと前記要求情報とに基づいて、該画像データの画像の被写体の過去を示す物体の画像の検索を検索エンジンに開始させる検索開始手段と、
前記検索開始手段で開始された検索の結果としての画像データを前記撮像装置へ送信する第2の送信手段と、
を有することを特徴とする画像検索システム。 An image search system including a program mounted on an image pickup apparatus having an image pickup means for picking up a subject, and a search support system,
The program is
A first display step for displaying an image of image data of the subject imaged by the imaging means;
When a request for an image of an object indicating the past of the subject of the image displayed in the first display step is received, the image data of the image displayed in the first display step and a request indicating the received request Transmitting information to the search support system;
A second display step for displaying image data transmitted from the search support system;
To the imaging device,
The search support system includes:
Search starting means for causing a search engine to start searching for an image of an object indicating the past of the subject of the image of the image data based on the image data and the request information transmitted from the imaging device;
Second transmission means for transmitting image data as a result of the search started by the search start means to the imaging device;
An image search system comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013191534A JP5655916B2 (en) | 2013-09-17 | 2013-09-17 | Image search system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013191534A JP5655916B2 (en) | 2013-09-17 | 2013-09-17 | Image search system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009194845A Division JP5532748B2 (en) | 2009-08-25 | 2009-08-25 | Imaging device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014238724A Division JP5920448B2 (en) | 2014-11-26 | 2014-11-26 | Imaging device, program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014013603A JP2014013603A (en) | 2014-01-23 |
JP2014013603A5 JP2014013603A5 (en) | 2014-03-06 |
JP5655916B2 true JP5655916B2 (en) | 2015-01-21 |
Family
ID=50109205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013191534A Expired - Fee Related JP5655916B2 (en) | 2013-09-17 | 2013-09-17 | Image search system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5655916B2 (en) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63282569A (en) * | 1986-11-26 | 1988-11-18 | Rateio Internatl:Kk | Method for retrieving animal or plant name from visual information by computer |
EP1267275A4 (en) * | 2000-03-23 | 2006-08-23 | Mitsubishi Electric Corp | Image retrieval/distribution system and image retrieval/distribution method |
JP2002175315A (en) * | 2000-09-28 | 2002-06-21 | Nikon Corp | Image annotation server, method for image annotation service, image collation device, electronic camera, telephoto optical equipment, and recording medium |
JP3918143B2 (en) * | 2000-12-28 | 2007-05-23 | 独立行政法人科学技術振興機構 | Plant recognition system |
JP2003044497A (en) * | 2001-07-31 | 2003-02-14 | Mikio Numata | Mobile picture book |
JP2004126711A (en) * | 2002-09-30 | 2004-04-22 | Toshiba Corp | Person search system |
JP2005269605A (en) * | 2004-02-20 | 2005-09-29 | Fuji Photo Film Co Ltd | Digital picture book system, and picture book retrieving method and program therefor |
JP2007018456A (en) * | 2005-07-11 | 2007-01-25 | Nikon Corp | Information display device and information display method |
JP2008077445A (en) * | 2006-09-22 | 2008-04-03 | Fujifilm Corp | Image reproducing device, its control method and its control program |
-
2013
- 2013-09-17 JP JP2013191534A patent/JP5655916B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014013603A (en) | 2014-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6075066B2 (en) | Image management system, image management method, and program | |
JP7058760B2 (en) | Image processing methods and their devices, terminals and computer programs | |
US9584694B2 (en) | Predetermined-area management system, communication method, and computer program product | |
US9756242B2 (en) | Communication terminal, display method, and computer program product | |
CN109189879B (en) | Electronic book display method and device | |
JP6954410B2 (en) | Management system | |
JP2010140391A (en) | Image processor, image processing method and image processing program | |
WO2017014126A1 (en) | Image management system, image management method and program | |
WO2021057421A1 (en) | Picture search method and device | |
US11238622B2 (en) | Method of providing augmented reality contents and electronic device therefor | |
JP2017108356A (en) | Image management system, image management method and program | |
JP6115113B2 (en) | Predetermined area management system, predetermined area management method, and program | |
JP5739239B2 (en) | Imaging support system and imaging apparatus | |
JP6115673B2 (en) | Apparatus and program | |
JP5920448B2 (en) | Imaging device, program | |
JP5655916B2 (en) | Image search system | |
JP5932107B2 (en) | Image processing server and imaging apparatus | |
JP5532748B2 (en) | Imaging device | |
JP2017157220A (en) | Imaging device | |
JP2011048509A (en) | Search support system | |
JP2017092528A (en) | Imaging apparatus, imaging method, image management system, and program | |
WO2020075624A1 (en) | Information processing device, information processing method, information provision device, information provision method, presentation control device, presentation control method, and information processing system | |
KR102178170B1 (en) | Apparatus for generating an image comprising information of posture of object, method thereof and computer readable medium having computer program recorded therefor | |
JP2024018302A (en) | Information processing apparatus, method and program, and information processing system | |
JP2021060738A (en) | Program, image processing system, and communication terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141028 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141110 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5655916 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |