JP6168926B2 - Information processing apparatus, display system, and control method - Google Patents
Information processing apparatus, display system, and control method Download PDFInfo
- Publication number
- JP6168926B2 JP6168926B2 JP2013182306A JP2013182306A JP6168926B2 JP 6168926 B2 JP6168926 B2 JP 6168926B2 JP 2013182306 A JP2013182306 A JP 2013182306A JP 2013182306 A JP2013182306 A JP 2013182306A JP 6168926 B2 JP6168926 B2 JP 6168926B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- similar
- neighborhood
- similar image
- location information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、情報処理装置、表示システム、制御方法およびプログラムに関する。 The present invention relates to an information processing apparatus, the display system, a control method and a program.
現在、パーソナルコンピュータ（以下、ＰＣ）や携帯端末からサーバ装置に画像データを送信すると、サーバ装置は類似画像を検索し、結果をＰＣや携帯端末に送信するサービスがある。ＰＣや携帯端末はサーバ装置から受信した類似画像データを表示し、使用者はＰＣや携帯端末が表示した類似画像を見ることで、類似画像（群）を認識することができる。 Currently, when image data is transmitted to a server device from a personal computer (hereinafter referred to as a PC) or a portable terminal, there is a service in which the server device searches for a similar image and transmits the result to the PC or portable terminal. The PC or portable terminal displays similar image data received from the server device, and the user can recognize the similar image (group) by viewing the similar image displayed by the PC or portable terminal.
特許文献１には、観光地等に行った使用者が複数の場所を効率良く移動しながら満足のいく写真撮影を行えるようにする撮影システムおよび撮影装置が開示されている。特許文献１では、撮影装置は撮影した画像データをサーバ装置に送信し、サーバ装置は複数の位置が明確な手本画像を記憶しており、受信した画像データから類似する手本画像を検索し、更に、該手本画像と位置関係が近い手本画像を検索する。そして、サーバ装置は近傍の手本画像、近傍の手本画像の撮影位置、撮影順序を撮影装置に送信し、撮影装置は近傍の手本画像、撮影位置、撮影順序を表示する。 Patent Document 1 discloses a photographing system and a photographing apparatus that enable a user who has been to a tourist spot to take a satisfactory photograph while efficiently moving between a plurality of places. In Patent Literature 1, the imaging device transmits captured image data to a server device, and the server device stores a plurality of model images with clear positions, and searches for similar model images from the received image data. Furthermore, a model image having a positional relationship close to that of the model image is searched. Then, the server device transmits the nearby sample image, the shooting position and shooting sequence of the nearby sample image to the shooting device, and the shooting device displays the nearby sample image, shooting position, and shooting sequence.
上述の特許文献１に開示された従来技術は、現在撮影している位置から、次にどのような順序で撮影を行えばよいのかを撮影者に提案するシステムである。したがって、撮影者に現在撮影した画像の近傍の手本画像の位置情報を提示するが、撮影画像の位置情報を提示する必要がないため、撮影画像の位置が表示されない。 The prior art disclosed in the above-mentioned Patent Document 1 is a system that suggests to the photographer what order should be taken next from the current photographing position. Therefore, although the position information of the model image in the vicinity of the currently photographed image is presented to the photographer, the position of the photographed image is not displayed because it is not necessary to present the position information of the photographed image.
この場合、例えば、撮影者が雑誌に印刷してある風景写真の位置を知りたいと思い、該雑誌の風景写真を撮影し、撮影画像をサーバ装置に送信しても、サーバ装置から撮影画像に類似した写真の近傍画像の位置情報が送信されるのみである。したがって、撮影者は、該雑誌の風景写真の位置情報を知ることができないという問題がある。また、撮影者は近傍画像の位置情報から検索対象画像の位置情報を類推できるが、それだけでは、サーバ装置から送信された位置情報が該雑誌の風景写真の位置情報として正確であるか否かを判断することが困難である。
本発明は、上述したような問題点に鑑みてなされたものであり、使用者が送信した画像の位置情報を把握でき、その位置情報が正確であるか否かを容易に判断できるようにすることを目的とする。
In this case, for example, even if the photographer wants to know the position of a landscape photograph printed on a magazine, captures the landscape photograph of the magazine, and transmits the captured image to the server apparatus, the server apparatus converts the photograph to the captured image. Only the location information of neighboring images of similar photos is transmitted. Therefore, there is a problem that the photographer cannot know the position information of the landscape photograph of the magazine. In addition, the photographer can infer the position information of the search target image from the position information of the neighboring images, but only by that, it is determined whether the position information transmitted from the server apparatus is accurate as the position information of the landscape photograph of the magazine. It is difficult to judge.
The present invention has been made in view of the above-described problems, and can grasp position information of an image transmitted by a user and easily determine whether the position information is accurate. For the purpose.
本発明の情報処理装置は、画像を受信する受信手段と、前記受信手段により受信された画像に類似する類似画像を検索する類似画像検索手段と、前記類似画像検索手段により検索された類似画像に関連付けられた位置情報を取得する取得手段と、前記取得手段により取得された位置情報の近傍である位置情報が関連付けられた近傍画像を検索する近傍画像検索手段と、前記類似画像検索手段により検索された類似画像と、前記取得手段により取得された位置情報と、前記近傍画像検索手段により検索された近傍画像とを表示装置に送信する送信手段と、を有し、前記近傍画像検索手段は、前記取得手段により取得された位置情報の近傍である位置情報が関連付けられた近傍画像のうち、前記類似画像に類似しない近傍画像を検索することを特徴とする。 An information processing apparatus according to the present invention includes: a receiving unit that receives an image; a similar image searching unit that searches for a similar image similar to the image received by the receiving unit; and a similar image searched by the similar image searching unit. An acquisition unit that acquires the associated position information, a neighboring image search unit that searches for a neighboring image that is associated with the position information that is in the vicinity of the position information acquired by the acquisition unit, and the similar image search unit. a similar image, the position information acquired by the acquisition unit, have a, and transmitting means for transmitting to the display device and the neighboring images retrieved by the neighboring image retrieval means, the neighboring image retrieval means, said Searching for neighboring images that are not similar to the similar image from among the neighboring images associated with the positional information that is the vicinity of the positional information acquired by the acquiring means. To.
本発明によれば、使用者は送信した画像の位置情報を把握でき、その位置情報が正確であるか否かを容易に判断することができる。 According to the present invention, the user can grasp the position information of the transmitted image and can easily determine whether or not the position information is accurate.
以下、本発明に係る実施形態について図面を参照して説明する。
図１は本実施形態に係る表示システムの構成を示す図である。
表示システムは、表示装置１０１と、外部装置としてのサーバ装置１０２と、ＬＡＮケーブル等のケーブル１０３と、インターネット網１０４とを含んで構成されている。表示装置１０１とサーバ装置１０２とは、ケーブル１０３およびインターネット網１０４を介して通信可能に接続されている。なお、表示装置１０１とサーバ装置１０２とは、ケーブル１０３に替えて無線によりインターネット網１０４を介して接続されていてもよい。
Hereinafter, embodiments according to the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a configuration of a display system according to the present embodiment.
The display system includes a
表示装置１０１は、液晶モニタ等の表示部２１０に画像や位置等の情報を表示し、インターネット網１０４を介して、サーバ装置１０２との間で画像や位置等の情報を送受信する。
サーバ装置１０２は、情報処理装置であり、インターネット網１０４を介して表示装置１０１と画像や位置等の情報を送受信したり、後述する類似画像検索や近傍画像検索、位置情報検出を行ったりする。
The
The
図２（ａ）は表示装置１０１の構成を示すブロック図である。本実施形態では、表示装置１０１が、撮像装置としてのデジタルカメラである場合について説明する。
表示装置１０１は、制御部２０１、ＲＯＭ２０２、ＲＡＭ２０３、記憶制御部２０４、記憶媒体２０５、通信部２０６、操作部２０７、光学系２０８、撮像素子２０９、表示部２１０を含んで構成される。
制御部２０１は、ＲＯＭ２０２、ＲＡＭ２０３、記憶制御部２０４、記憶媒体２０５、通信部２０６、操作部２０７、光学系２０８、撮像素子２０９および表示部２１０に接続され、これらを統括して制御する。
FIG. 2A is a block diagram illustrating a configuration of the
The
The
ＲＯＭ２０２は、不揮発性メモリであり、制御部２０１が実行するプログラムを記憶する。
ＲＡＭ２０３は、例えばＳＤＲＡＭ等であり、制御部２０１の演算結果や、表示する画像やサーバ装置１０２から取得した画像を一時的に格納する領域として用いられる。
記憶制御部２０４は、撮像素子２０９やサーバ装置１０２から取得した画像データを記憶媒体２０５に記憶したり、記憶媒体２０５から読み出したりする処理を行う。
記憶媒体２０５は、画像データを記憶する媒体であり、内蔵または着脱可能なフラッシュデバイスやＨＤＤである。
通信部２０６は、制御部２０１により制御され、有線／無線ＬＡＮ等の通信方式でインターネット網１０４を介して、サーバ装置１０２と通信を行う。
The
The
The
The
The
操作部２０７は、十字キーやボタン等であり、使用者が選択や決定等の操作を行うためのインターフェースである。
光学系２０８は、レンズ等であり、撮像素子２０９に被写体像を結像させる。
撮像素子２０９は、ＣＣＤ等であり、光学系２０８を介して結像された光を電気的な信号に変換する。
表示部２１０は、液晶モニタ等であり、制御部２０１により制御され、記憶媒体２０５やＲＡＭ２０３に格納された画像や、通信部２０６を介してサーバ装置１０２から受信した位置に関する情報等を表示する。
The
The
The
The
図２（ｂ）はサーバ装置１０２の構成を示すブロック図である。
サーバ装置１０２は、制御部２１１、ＲＯＭ２１２、ＲＡＭ２１３、記憶制御部２１４、記憶媒体２１５、通信部２１６を含んで構成される。
制御部２１１は、ＲＯＭ２１２、ＲＡＭ２１３、記憶制御部２１４、記憶媒体２１５、通信部２１６に接続され、これらを統括して制御する。
FIG. 2B is a block diagram illustrating a configuration of the
The
The
ＲＯＭ２１２は、不揮発性メモリであり、制御部２１１が実行するプログラムを記憶する。
ＲＡＭ２１３は、例えばＳＤＲＡＭ等であり、制御部２１１の演算結果や、表示装置１０１から取得した画像等を一時的に格納する領域として用いられる。
記憶制御部２１４は、画像データ等を記憶媒体２１５に記憶したり、記憶媒体２１５から読み出したりする処理を行う。
記憶媒体２１５は、内蔵または着脱可能なフラッシュデバイスやＨＤＤである。記憶媒体２１５には、複数の画像データと画像データに関連付けられた位置情報とが記憶されている。画像の位置情報は、例えば画像が撮影された撮影位置の情報である。
通信部２１６は、制御部２１１により制御され、有線／無線ＬＡＮ等の通信方式でインターネット網１０４を介して、表示装置１０１と通信を行う。
The
The
The
The
The
図３は、本実施形態に係る表示装置１０１の処理を示すフローチャートである。図３に示す処理は、制御部２０１がＲＯＭ２０２に格納されたプログラムを実行することにより実現される。
図３を参照して、本実施形態に係る表示装置１０１が検索対象画像をサーバ装置１０２に送信し、位置に関する情報を表示するまでの処理について説明する。ここで、検索対象画像とは、使用者が位置情報を把握したい画像をいうものとする。
ステップＳ３０１では、表示装置１０１の制御部２０１は、検索対象画像を通信部２０６を介してサーバ装置１０２に送信する。具体的には、制御部２０１は、使用者による操作部２０７を介した操作に応じて検索対象画像を送信するモードに移行し、記憶媒体２０５に格納されている画像を表示部２１０に表示する。制御部２０１は、使用者による操作部２０７を介した検索対象画像の選択に応じて、選択された検索対象画像を通信部２０６を介してサーバ装置１０２に送信する。
または、制御部２０１は、使用者による操作に応じて検索対象画像を送信するモードに移行した後、使用者による撮影画像を送信する指示に応じて撮影を行うモードにする。制御部２０１は、使用者による操作部２０７を介した撮影指示に応じて光学系２０８および撮像素子２０９を用いて画像を撮影する。制御部２０１は、撮影画像を検索対象画像としてサーバ装置１０２に送信する。
FIG. 3 is a flowchart showing processing of the
With reference to FIG. 3, a process until the
In step S <b> 301, the
Alternatively, the
ステップＳ３０２では、制御部２０１は、サーバ装置１０２から検索対象画像の位置に関する情報を通信部２０６を介して受信したか否かを判定する。ここで、位置に関する情報とは、サーバ装置１０２が行った類似画像検索により検索された類似画像、類似画像に関連付けられた位置情報、類似度の情報、近傍画像をいう。近傍画像とは、類似画像と地理的に位置が近い画像である。位置に関する情報を受信した場合、ステップＳ３０３に進む。
ステップＳ３０３では、制御部２０１は、受信した類似画像が複数であるか否かを判定する。制御部２０１は複数であると判定した場合にはステップＳ３０４に進み、複数ではないと判定した場合にはステップＳ３０４を省略し、ステップＳ３０５に進む。
In step S <b> 302, the
In step S303, the
ステップＳ３０４では、制御部２０１は、別画像表示を有効にする。
ステップＳ３０５では、制御部２０１は、ステップＳ３０２により受信した位置に関する情報を表示する。ここで、ステップＳ３０４において別画像表示を有効にするとは、類似画像を複数受信しているときに、表示されている類似画像とは異なる別の類似画像を表示できるようにすることである。例えば、別画像表示を有効にすると、制御部２０１は表示部２１０に画像送りマーク等を表示する。制御部２０１は、使用者による操作部２０７を介した画像送りマークの選択に応じて、現在表示している類似画像を異なる別の類似画像に表示する。この際、制御部２０１は、異なる別の類似画像と共に、当該類似画像に関連付けられた位置情報、類似度の情報および近傍画像も表示する。
In step S304, the
In step S305, the
ステップＳ３０６では、制御部２０１は、一定期間内に使用者による別画像の表示が指示されたか否かを判定する。制御部２０１は別画像の表示が指示された場合にはステップＳ３０７に進み、別画像の表示が指示されない場合にはステップＳ３０７を省略し、ステップＳ３０８に進む。ここでは、例えば、表示部２１０の画像送りマークが使用者により選択された場合に、制御部２０１は別画像の表示が指示されたと判定する。
In step S306, the
ステップＳ３０７では、制御部２０１は、現在表示されている位置に関する情報とは異なる別の位置に関する情報を表示する。なお、ステップＳ３０３で受信した類似画像が複数ではない場合には、制御部２０１はステップＳ３０４の別画像表示を有効にしていないため、ステップＳ３０６では別画像の表示が指示されていないと判定する。
ステップＳ３０８では、制御部２０１は、一定期間内に使用者による終了が指示されたか否かを判定する。制御部２０１は終了が指示されていない場合にはステップＳ３０６に戻り、終了が指示された場合には表示を終了する。
In step S307, the
In step S308, the
このように、表示装置１０１は検索対象画像に類似する類似画像の位置情報を表示することで、使用者は検索対象画像の位置情報を把握することができる。また、表示装置１０１は検索対象画像の類似画像と地理的に近い近傍画像を表示することで、使用者は表示された位置情報が正確であるか否か、すなわち所望の位置情報であるか否かを容易に判断することができる。また、表示装置１０１は類似画像が複数ある場合には使用者の操作に応じて類似画像を切替えることで、使用者は複数の類似画像の位置情報を比べることができるので、位置情報が正確であるか否かを更に判断し易くなる。
As described above, the
図４は、本実施形態に係るサーバ装置１０２の処理を示すフローチャートである。図４に示す処理は、制御部２１１がＲＯＭ２１２に格納されたプログラムを実行することにより実現される。
図４（ａ）を参照して、本実施形態に係るサーバ装置１０２が表示装置１０１から検索対象画像を受信し、受信した検索対象画像に基づいて取得した位置に関する情報を表示装置１０１に送信する処理について説明する。また、図４（ｂ）を参照して、後述する近傍画像検索処理について説明する。
ステップＳ４０１では、サーバ装置１０２の制御部２１１は、検索対象画像を通信部２１６を介して表示装置１０１から受信したか否かを判定する。
FIG. 4 is a flowchart showing processing of the
With reference to FIG. 4A, the
In step S <b> 401, the
ステップＳ４０２では、制御部２１１は、記憶媒体２１５に格納されている画像から受信した検索対象画像と類似する画像を検索する。この処理は、類似画像検索手段による処理の一例に対応する。具体的には、制御部２１１は、記憶媒体２１５に格納されている各画像と検索対象画像との間で、どの程度類似しているかを示す類似度を画像ごとに算出する。この処理は、第２の算出手段による処理の一例に対応する。制御部２１１は、類似度が高い画像を類似画像として抽出する。制御部２１１は、類似画像の情報と類似度の情報とを関連付けてＲＡＭ２１３に格納する。ここで、類似画像の情報とは、類似画像そのものでもよく、類似画像が格納されている記憶媒体２１５のアドレス情報であってもよい。また、制御部２１１は、予め定められた所定数の類似画像をＲＡＭ２１３に格納する。ここでは、制御部２１１は、類似度が高いものの上位から所定数の類似画像を抽出し、抽出した類似画像をＲＡＭ２１３に格納する。なお、サーバ装置１０２では、制御部２１１が使用者による操作の情報を受信することにより所定数を増減して設定してもよい。
In step S <b> 402, the
ステップＳ４０３では、制御部２１１は、検索した類似画像の位置情報を記憶媒体２１５から読み出すことにより取得する。この処理は、取得手段による処理の一例に対応する。位置情報とは、例えば緯度・経度の情報や住所の情報等である。記憶媒体２１５には、画像に関連付けて、当該画像を撮影したときの撮影位置を示す位置情報が記憶されている。
ステップＳ４０４では、制御部２１１は、近傍画像検索処理を行う。この処理は、近傍画像検索手段による処理の一例に対応する。ここで、近傍画像検索処理について図４（ｂ）に示すフローチャートを参照して説明する。
ステップＳ４０６では、制御部２１１は、検索した類似画像ごとに類似画像と地理的に位置が近い画像を記憶媒体２１５から検索する。具体的には、制御部２１１は、類似画像に関連付けられた位置情報に基づいて、類似画像の位置から所定の距離以内の位置情報が関連付けられている画像を近傍画像として検索する。
In step S403, the
In step S404, the
In step S406, the
ステップＳ４０７では、制御部２１１は、検索した近傍画像と近傍画像検索に用いた類似画像との類似度を算出する。この処理は、第１の算出手段による処理の一例に対応する。制御部２１１は、ステップＳ４０２において検索しＲＡＭ２１３に格納された類似画像ごとに、類似画像と近傍画像との間での類似度を算出する。制御部２１１は、ステップＳ４０２において検索した類似画像の全てについて、類似画像と近傍画像との間での類似度を算出する。
ステップＳ４０８では、制御部２１１は、類似画像ごとに類似画像の情報と近傍画像の情報とを関連付けてＲＡＭ２１３に格納する。ここで、近傍画像の情報とは、近傍画像そのものでもよく、近傍画像が格納されている記憶媒体２１５のアドレス情報であってもよい。
In step S407, the
In step S <b> 408, the
この際、近傍画像が複数ある場合には、制御部２１１は予め定められた所定数の近傍画像をＲＡＭ２１３に格納する。ここでは、制御部２１１は、類似度が低いものの上位から所定数の近傍画像を抽出し、抽出した近傍画像をＲＡＭ２１３に格納する。したがって、ここで抽出される近傍画像は、類似画像と似た画像ではなく、類似画像とは異なる（類似しない）画像である。これにより、使用者は類似画像と似ていない近傍画像を視認することができるので、サーバ装置１０２から受信した位置情報が正確であるか否か、すなわち所望の位置情報であるか否かを判断することができる。例えば、表示装置１０１によって近傍画像として類似画像と似た画像が表示された場合、使用者は同じような画像を見比べるだけなので、類似画像と近傍画像とを視認しても、その位置が所望の位置であるか否かを判断することが困難である。一方、表示装置１０１によって近傍画像として類似画像と似ていない画像が表示された場合、使用者は類似画像と位置的には近いが、別の特徴ある画像を見比べることができる。したがって、使用者は、類似画像と近傍画像とを見比べることで、その位置が所望の位置であるか否かを判断し易くなる。
なお、近傍画像が複数ある場合には、類似度が所定のしきい値よりも低い近傍画像を抽出し、抽出した近傍画像をＲＡＭ２１３に格納してもよい。
At this time, if there are a plurality of neighboring images, the
When there are a plurality of neighboring images, a neighboring image having a similarity lower than a predetermined threshold value may be extracted, and the extracted neighboring image may be stored in the
次に、図４（ａ）に戻り、ステップＳ４０５では、制御部２１１は、類似画像ごとに関連付けて、類似画像、類似画像に関連付けられた位置情報、類似度の情報、近傍画像を検索対象画像の位置に関する情報として通信部２１６を介して表示装置１０１に送信する。ここでは、制御部２１１は、ＲＡＭ２１３に格納されている類似画像および近傍画像を送信することで、必要以上の数の類似画像および近傍画像を送信するのを防止することができる。
Next, returning to FIG. 4A, in step S405, the
図５は、表示装置１０１に表示される表示例を示す図である。
図５（ａ）は、検索対象画像の一例を示す図である。図５（ａ）に示す画像は、山と木々に囲まれた建物の写真である。表示装置１０１が検索対象画像をサーバ装置１０２に送信すると、サーバ装置１０２は位置に関する情報を表示装置１０１に送信する。表示装置１０１が受信することにより、表示装置１０１は図５（ｂ）に示すような位置に関する情報を表示する。
FIG. 5 is a diagram illustrating a display example displayed on the
FIG. 5A is a diagram illustrating an example of a search target image. The image shown in FIG. 5A is a photograph of a building surrounded by mountains and trees. When the
図５（ｂ）に示すように、表示装置１０１の制御部２０１は、地図を表示部２１０に表示する。そして、制御部２０１は、受信した位置に関する情報に含まれる、類似画像の位置情報に基づいて類似画像の位置を表すマーク５０２（ここでは、矢印）を地図に重畳して表示する。したがって、使用者は、地図上のマーク５０２の位置が、検索対象画像の候補となる位置であると把握することができる。
また、表示装置１０１の制御部２０１は、受信した位置に関する情報に含まれる、類似画像５０１と類似度５０３を表示部２１０に表示し、マーク５０２を表示した根拠を提示する。したがって、使用者は、類似画像５０１や類似度５０３を視認することで、検索対象画像の位置が地図上のマーク５０２の位置として、どの程度信頼することができるかを認識することができる。
As illustrated in FIG. 5B, the
In addition, the
また、表示装置１０１の制御部２０１は、受信した位置に関する情報に含まれる、類似画像の近傍画像５０４ａと近傍画像５０４ｂとを表示する。したがって、使用者は類似画像５０１だけでは所望の位置であるか否かを判断できない場合の補助情報として利用することができる。例えば、図５（ｂ）の場合、類似画像５０１は風景のみであるために、使用者は所望の位置であるか否かの判断が困難であるが、近傍画像５０４ａと近傍画像５０４ｂに表示された建物を視認することで、所望の位置であるか否かを判断し易くなる。
なお、図５（ｂ）では、制御部２０１は、類似画像５０１を近傍画像５０４ａと近傍画像５０４ｂよりも大きな画像で表示している。したがって、使用者は類似画像と近傍画像との容易に区別することができる。
In addition, the
In FIG. 5B, the
また、表示装置１０１の制御部２０１は、ステップＳ３０４において別画像表示を有効にした場合には、図５（ｂ）に示すように表示部２１０に異なる別の類似画像を表示させるための画像送りマーク５０５、５０６（ここでは左右方向の矢印）を表示する。使用者が操作部２０７を操作し画像送りマーク５０５、５０６を選択することで、表示装置１０１の制御部２０１は現在表示している類似画像と異なる類似画像を表示する。このとき、制御部２０１は、当該類似画像に関連付けられた位置情報、類似度の情報および近傍画像も表示する。
In addition, when the separate image display is enabled in step S304, the
したがって、本実施形態によれば、例えば使用者が雑誌の風景写真の位置情報を知りたい場合に、その写真を撮像し、サーバ装置１０２に送信することで、雑誌の風景写真の位置情報を把握することができる。また、類似画像とその近傍画像とを見比べることで、その位置情報が所望の位置情報であるか否かを判断することができる。
Therefore, according to the present embodiment, for example, when the user wants to know the location information of a magazine landscape photograph, the photograph is taken and transmitted to the
以上、本発明を種々の実施形態と共に説明したが、本発明はこれらの実施形態にのみ限定されるものではなく、本発明の範囲内で変更等が可能である。
また、上述した実施形態の機能を実現するプログラムは、ネットワークまたは各種記憶媒体を介して表示システム、表示装置１０１またはサーバ装置１０２に供給してもよい。表示装置１０１またはサーバ装置１０２のコンピュータ（制御部２０１、制御部２１１等）は供給されたプログラムを読み出して実行することで上述した処理を実現してもよい。
As mentioned above, although this invention was demonstrated with various embodiment, this invention is not limited only to these embodiment, A change etc. are possible within the scope of the present invention.
Further, the program for realizing the functions of the above-described embodiments may be supplied to the display system, the
また、上述した実施形態では、表示装置１０１としてデジタルカメラを例に挙げて説明したが、表示装置１０１はこれに限られるものではない。表示装置１０１としては、例えば、携帯電話や、パーソナルコンピュータいわゆるタブレットデバイス等であってもよい。
また、上述した実施形態では、近傍画像が複数ある場合には、図４（ｂ）のステップＳ４０８において、制御部２１１は類似度が低いものの上位から所定数の近傍画像を抽出する場合について説明したが、この場合に限られるものではない。例えば、制御部２１１は、類似画像が生成（撮影）された生成日時から所定の時間範囲が生成日時として関連付けられた近傍画像を抽出してもよく、類似画像が生成（撮影）された季節と同一の季節が生成日時として関連付けられた近傍画像を抽出してもよい。なお、類似画像が生成された季節は、類似画像が生成された生成日時から取得することができる。
また、このように生成日時を参照して近傍画像を抽出した後に、更にステップＳ４０８によって類似度が低いものの上位から所定数の近傍画像を抽出してもよい。
In the above-described embodiment, a digital camera has been described as an example of the
Further, in the above-described embodiment, when there are a plurality of neighboring images, the case where the
In addition, after extracting the neighborhood image with reference to the generation date and time as described above, a predetermined number of neighborhood images may be extracted from the top even though the similarity is low in step S408.
１０１：表示装置 １０２： サーバ装置 １０４：インターネット網 ２０１：制御部 ２０２：ＲＯＭ ２０３：ＲＡＭ ２０４：記憶制御部 ２０５：記憶媒体 ２０６：通信部 ２０７：操作部 ２０８：光学系 ２０９：撮像素子 ２１０：表示部 ２１１：制御部 ２１２：ＲＯＭ ２１３：ＲＡＭ ２１４：記憶制御部 ２１５：記憶媒体 ２１６：通信部 101: Display device 102: Server device 104: Internet network 201: Control unit 202: ROM 203: RAM 204: Storage control unit 205: Storage medium 206: Communication unit 207: Operation unit 208: Optical system 209: Image sensor 210: Display Unit 211: control unit 212: ROM 213: RAM 214: storage control unit 215: storage medium 216: communication unit
Claims (9)
前記受信手段により受信された画像に類似する類似画像を検索する類似画像検索手段と、
前記類似画像検索手段により検索された類似画像に関連付けられた位置情報を取得する取得手段と、
前記取得手段により取得された位置情報の近傍である位置情報が関連付けられた近傍画像を検索する近傍画像検索手段と、
前記類似画像検索手段により検索された類似画像と、前記取得手段により取得された位置情報と、前記近傍画像検索手段により検索された近傍画像とを表示装置に送信する送信手段と、を有し、
前記近傍画像検索手段は、前記取得手段により取得された位置情報の近傍である位置情報が関連付けられた近傍画像のうち、前記類似画像に類似しない近傍画像を検索することを特徴とする情報処理装置。 Receiving means for receiving an image;
Similar image search means for searching for similar images similar to the image received by the receiving means;
Obtaining means for obtaining position information associated with the similar image retrieved by the similar image retrieval means;
Neighborhood image search means for searching for a neighborhood image associated with position information that is the vicinity of the position information acquired by the acquisition means;
It possesses a similar image of the searched by the similar image retrieval means, and the position information acquired by the acquisition means, and transmission means for transmitting to the display device and the neighboring images retrieved by the neighboring image retrieval means,
The neighborhood image search unit searches for a neighborhood image that is not similar to the similar image among the neighborhood images associated with the location information that is the neighborhood of the location information acquired by the acquisition unit. .
前記近傍画像検索手段は、前記第１の算出手段により算出された類似度の低いものの上位から所定数を近傍画像として検索することを特徴とする請求項１に記載の情報処理装置。 First calculating means for calculating a similarity between the similar image and a neighboring image associated with positional information that is in the vicinity of positional information of the similar image;
2. The information processing apparatus according to claim 1 , wherein the neighborhood image search unit searches a predetermined number as a neighborhood image from the top of the ones with a low similarity calculated by the first calculation unit.
前記送信手段は、前記第２の算出手段により算出された類似度の情報を前記表示装置に送信することを特徴とする請求項１または２に記載の情報処理装置。 Second calculation means for calculating the similarity between the image received by the receiving means and the similar image;
The transmission unit, the information processing apparatus according to claim 1 or 2, characterized in that transmitting the second information of the similarity calculated by the calculating means to said display device.
前記情報処理装置は、
受信した画像に類似する類似画像を検索する類似画像検索手段と、
前記類似画像検索手段により検索された類似画像に関連付けられた位置情報を取得する取得手段と、
前記取得手段により取得された位置情報の近傍である位置情報が関連付けられた近傍画像を検索する近傍画像検索手段と、を有し、
前記近傍画像検索手段は、前記取得手段により取得された位置情報の近傍である位置情報が関連付けられた近傍画像のうち、前記類似画像に類似しない近傍画像を検索し、
前記表示装置は、
前記類似画像検索手段により検索された類似画像と、前記取得手段により取得された位置情報と、前記近傍画像検索手段により検索された近傍画像とを受信する受信手段と、
前記受信手段により受信された、前記類似画像と、前記類似画像の位置情報と、前記近傍画像とを表示する表示手段と、を有することを特徴とする表示システム。 A display system in which a display device and an information processing device are communicably connected,
The information processing apparatus includes:
A similar image search means for searching for a similar image similar to the received image;
Obtaining means for obtaining position information associated with the similar image retrieved by the similar image retrieval means;
A neighborhood image search means for searching for a neighborhood image associated with location information that is the neighborhood of the location information acquired by the acquisition means, and
The neighborhood image search means searches for a neighborhood image that is not similar to the similar image among the neighborhood images associated with the location information that is the neighborhood of the location information acquired by the acquisition means,
The display device
Receiving means for receiving the similar image searched by the similar image searching means, the positional information acquired by the acquiring means, and the neighboring image searched by the neighboring image searching means;
A display system comprising: a display unit configured to display the similar image, the position information of the similar image, and the neighborhood image received by the receiving unit.
前記受信ステップにより受信された画像に類似する類似画像を検索する類似画像検索ステップと、
前記類似画像検索ステップにより検索された類似画像に関連付けられた位置情報を取得する取得ステップと、
前記取得ステップにより取得された位置情報の近傍である位置情報が関連付けられた近傍画像を検索する近傍画像検索ステップと、
前記類似画像検索ステップにより検索された類似画像と、前記取得ステップにより取得された位置情報と、前記近傍画像検索ステップにより検索された近傍画像とを表示装置に送信する送信ステップと、を有し、
前記近傍画像検索ステップでは、前記取得ステップにより取得された位置情報の近傍である位置情報が関連付けられた近傍画像のうち、前記類似画像に類似しない近傍画像を検索することを特徴とする情報処理装置の制御方法。 A receiving step for receiving an image;
A similar image search step of searching for a similar image similar to the image received by the receiving step;
An acquisition step of acquiring position information associated with the similar image searched by the similar image search step;
A neighborhood image search step of searching for a neighborhood image associated with location information that is the neighborhood of the location information obtained by the obtaining step;
Possess a similar image of the searched by similar image search step, the position information acquired by the acquisition step, a transmission step of transmitting the neighboring images retrieved by the neighboring image search step on a display device, a
In the neighborhood image search step, a neighborhood image that is not similar to the similar image is searched for from among the neighborhood images associated with the location information that is the neighborhood of the location information acquired in the acquisition step. Control method.
前記情報処理装置は、
受信した画像に類似する類似画像を検索する類似画像検索ステップと、
前記類似画像検索ステップにより検索された類似画像に関連付けられた位置情報を取得する取得ステップと、
前記取得ステップにより取得された位置情報の近傍である位置情報が関連付けられた近傍画像を検索する近傍画像検索ステップと、を有し、
前記近傍画像検索ステップでは、前記取得ステップにより取得された位置情報の近傍である位置情報が関連付けられた近傍画像のうち、前記類似画像に類似しない近傍画像を検索し、
前記表示装置は、
前記類似画像検索ステップにより検索された類似画像と、前記取得ステップにより取得された位置情報と、前記近傍画像検索ステップにより検索された近傍画像とを受信する受信ステップと、
前記受信ステップにより受信された、前記類似画像と、前記類似画像の位置情報と、前記近傍画像とを表示する表示ステップと、を有することを特徴とする表示システムの制御方法。 A display system control method in which a display device and an information processing device are communicably connected,
The information processing apparatus includes:
A similar image search step for searching for a similar image similar to the received image;
An acquisition step of acquiring position information associated with the similar image searched by the similar image search step;
A neighborhood image search step of searching for a neighborhood image associated with location information that is the neighborhood of the location information obtained by the obtaining step, and
In the neighborhood image search step, search for a neighborhood image that is not similar to the similar image among the neighborhood images associated with the location information that is the neighborhood of the location information acquired in the acquisition step,
The display device
A receiving step for receiving the similar image searched by the similar image searching step, the positional information acquired by the acquiring step, and the neighboring image searched by the neighboring image searching step;
A display system control method comprising: a display step of displaying the similar image, the position information of the similar image, and the neighborhood image received in the reception step.
前記受信ステップにより受信された画像に類似する類似画像を検索する類似画像検索ステップと、
前記類似画像検索ステップにより検索された類似画像に関連付けられた位置情報を取得する取得ステップと、
前記取得ステップにより取得された位置情報の近傍である位置情報が関連付けられた近傍画像を検索する近傍画像検索ステップと、
前記類似画像検索ステップにより検索された類似画像と、前記取得ステップにより取得された位置情報と、前記近傍画像検索ステップにより検索された近傍画像とを表示装置に送信する送信ステップと、をコンピュータに実行させ、
前記近傍画像検索ステップでは、前記取得ステップにより取得された位置情報の近傍である位置情報が関連付けられた近傍画像のうち、前記類似画像に類似しない近傍画像を検索することを特徴とするプログラム。 A receiving step for receiving an image;
A similar image search step of searching for a similar image similar to the image received by the receiving step;
An acquisition step of acquiring position information associated with the similar image searched by the similar image search step;
A neighborhood image search step of searching for a neighborhood image associated with location information that is the neighborhood of the location information obtained by the obtaining step;
A transmission step of transmitting the similar image retrieved by the similar image retrieval step, the position information acquired by the acquisition step, and the neighborhood image retrieved by the neighborhood image retrieval step to a display device is executed on a computer. then,
In the neighborhood image search step, a neighborhood image that is not similar to the similar image is searched for in the neighborhood images associated with the location information that is the neighborhood of the location information acquired in the acquisition step .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013182306A JP6168926B2 (en) | 2013-09-03 | 2013-09-03 | Information processing apparatus, display system, and control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013182306A JP6168926B2 (en) | 2013-09-03 | 2013-09-03 | Information processing apparatus, display system, and control method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015049796A JP2015049796A (en) | 2015-03-16 |
| JP6168926B2 true JP6168926B2 (en) | 2017-07-26 |
Family
ID=52699732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013182306A Active JP6168926B2 (en) | 2013-09-03 | 2013-09-03 | Information processing apparatus, display system, and control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6168926B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6375084B1 (en) * | 2017-11-29 | 2018-08-15 | 株式会社オプティム | Computer system, hand-drawn object specifying method and program |
| JP7408971B2 (en) * | 2019-09-13 | 2024-01-09 | 株式会社リコー | Information processing device, information processing system, information processing method, and information processing program |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3143532B2 (en) * | 1992-11-30 | 2001-03-07 | キヤノン株式会社 | Image retrieval apparatus and method |
| JP3457617B2 (en) * | 2000-03-23 | 2003-10-20 | 株式会社東芝 | Image search system and image search method |
| JP4037790B2 (en) * | 2003-05-02 | 2008-01-23 | アルパイン株式会社 | Navigation device |
| JP4565617B2 (en) * | 2004-06-10 | 2010-10-20 | キヤノン株式会社 | Image recording apparatus and control method thereof |
| JP2007219615A (en) * | 2006-02-14 | 2007-08-30 | Sony Corp | Retrieval device, retrieval method, program |
| JP2007226536A (en) * | 2006-02-23 | 2007-09-06 | Seiko Epson Corp | Image search device, image search method, and program for searching image |
| JP4949924B2 (en) * | 2007-05-17 | 2012-06-13 | オリンパス株式会社 | Imaging system and imaging apparatus |
| JP5237724B2 (en) * | 2008-08-19 | 2013-07-17 | オリンパスイメージング株式会社 | Image search system |
| JP2010218373A (en) * | 2009-03-18 | 2010-09-30 | Olympus Corp | Server system, terminal apparatus, program, information storage medium, and image retrieving method |
| JP2011054075A (en) * | 2009-09-04 | 2011-03-17 | Olympus Imaging Corp | Image control apparatus and program |
| JP2011180893A (en) * | 2010-03-02 | 2011-09-15 | Hitachi Solutions Ltd | Stray management system |
| JP2011203776A (en) * | 2010-03-24 | 2011-10-13 | Yahoo Japan Corp | Similar image retrieval device, method, and program |
| JP5631125B2 (en) * | 2010-09-01 | 2014-11-26 | キヤノン株式会社 | Image processing apparatus, control method thereof, and program |
-
2013
- 2013-09-03 JP JP2013182306A patent/JP6168926B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015049796A (en) | 2015-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9836886B2 (en) | Client terminal and server to determine an overhead view image | |
| KR101977703B1 (en) | Method for controlling photographing in terminal and terminal thereof | |
| JP4366601B2 (en) | Time shift image distribution system, time shift image distribution method, time shift image request device, and image server | |
| US8264570B2 (en) | Location name registration apparatus and location name registration method | |
| US9325862B2 (en) | Server, client terminal, system, and storage medium for capturing landmarks | |
| JP5532026B2 (en) | Display device, display method, and program | |
| JP4949924B2 (en) | Imaging system and imaging apparatus | |
| JP2009239397A (en) | Imaging apparatus, imaging system, control method of imaging apparatus, and control program | |
| US9635234B2 (en) | Server, client terminal, system, and program | |
| WO2015159775A1 (en) | Image processing apparatus, communication system, communication method, and image-capturing device | |
| JP2017126150A (en) | Ship information retrieval system, ship information retrieval method and ship information retrieval server | |
| JP2015231101A (en) | Imaging condition estimation apparatus and method, terminal device, computer program and recording medium | |
| JPWO2011096343A1 (en) | Shooting position proposal system, shooting position proposal device, shooting position proposal method, and shooting position proposal program | |
| JP6168926B2 (en) | Information processing apparatus, display system, and control method | |
| JP2008252930A (en) | Electronic camera, image display device and image display method | |
| JP6210807B2 (en) | Display control device and control method of display control device | |
| JP2008160879A (en) | Electronic camera, image display device and image display method | |
| JP2011041145A (en) | Image display apparatus, image display method, and computer program | |
| JP6591594B2 (en) | Information providing system, server device, and information providing method | |
| JP2011199800A (en) | Information providing apparatus, portable terminal, information providing system, information providing method, and information providing program | |
| JP2010134881A (en) | System and method for displaying photographed image | |
| JP2018106671A (en) | Image information processing apparatus and image information processing method | |
| JP5753514B2 (en) | Image display device and computer program | |
| KR20120072033A (en) | Method and apparatus for automatic tagging of picture and video contents | |
| JP6508950B2 (en) | Terminal equipment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160812 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170425 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170530 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170627 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6168926 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |