JP6509280B2 - 機種情報を活用したイメージ検索結果を提供する方法およびシステム - Google Patents

機種情報を活用したイメージ検索結果を提供する方法およびシステム Download PDF

Info

Publication number
JP6509280B2
JP6509280B2 JP2017110758A JP2017110758A JP6509280B2 JP 6509280 B2 JP6509280 B2 JP 6509280B2 JP 2017110758 A JP2017110758 A JP 2017110758A JP 2017110758 A JP2017110758 A JP 2017110758A JP 6509280 B2 JP6509280 B2 JP 6509280B2
Authority
JP
Japan
Prior art keywords
image
model information
providing
query
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017110758A
Other languages
English (en)
Other versions
JP2018014089A (ja
Inventor
ミヨン チャン
ミヨン チャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NHN Corp
Original Assignee
NHN Entertainment Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NHN Entertainment Corp filed Critical NHN Entertainment Corp
Publication of JP2018014089A publication Critical patent/JP2018014089A/ja
Application granted granted Critical
Publication of JP6509280B2 publication Critical patent/JP6509280B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/434Query formulation using image data, e.g. images, photos, pictures taken by a user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/188Virtual file systems
    • G06F16/196Specific adaptations of the file system to access devices and non-file objects via standard file system access operations, e.g. pseudo file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Description

以下の説明は、検索結果を提供する技術に関し、より詳細には、機種情報を利用したイメージ検索結果を提供する方法およびシステムに関する。
インターネットの発達および普及の増加によってインターネットを利用した多様なサービスが提供されているが、その中でも代表的な例が検索サービスであると言える。検索サービスとは、ユーザが検索しようとする単語または単語の組み合わせを検索語として入力すると、入力された検索語に相応する検索結果をユーザに提供するサービスを意味する。最近では、ユーザの多様な検索要求に応えるために、検索サービスは、テキスト形態の検索結果だけではなく、イメージを検索結果として提供するようにもなった。
例えば、ユーザが機器の画質を確認したいと仮定しよう。ユーザが検索サービスを利用して検索語(例えば、機種情報)を入力することにより、検索語に対するイメージ結果が提供されるようになる。しかし、従来の技術では、イメージ検索結果として、機器から撮影されたイメージが表示されるのではなく、機器の外形イメージや製造社から提供されたイメージが提供されるため、ユーザが望むイメージを取得するには困難がある。
一実施形態に係るイメージ結果提供システムは、クエリに含まれたモデル情報に基づいてイメージに含まれたメタデータを比較することによってモデル情報と一致するイメージをインデキシングし、モデル情報と一致するイメージを検索結果として提供することを目的とする。
一実施形態によると、イメージ結果提供方法は、クエリの入力を受信する段階、前記クエリから機器のモデル情報を識別する段階、前記モデル情報に基づいてイメージのメタデータに含まれたモデル情報を比較することにより、前記モデル情報と一致するイメージをインデキシングする段階、および前記モデル情報と一致するイメージを前記クエリに対する検索結果として出力するように提供する段階を含んでよい。
一側面によると、前記モデル情報と一致するイメージをインデキシングする段階は、前記クエリに含まれたモデル情報と関連するイメージを探索することにより、前記イメージのメタデータにモデル情報が含まれているかを判断する段階を含んでよい。
また他の一側面によると、前記モデル情報と一致するイメージをインデキシングする段階は、前記イメージのメタデータにモデル情報が含まれていない場合、前記イメージを含むコンテンツから前記モデル情報と関連する情報を抽出して前記コンテンツに含まれたイメージをインデキシングする段階を含んでよい。
また他の一側面によると、前記モデル情報が含まれたクエリの入力を受信する段階は、前記機器の機種情報、前記機器のモデル、前記機器の名称のうち少なくとも1つのモデル情報が含まれる段階を含んでよい。
また他の一側面によると、前記モデル情報と一致するイメージを前記クエリに対する検索結果として出力するように提供する段階は、ユーザから前記モデル情報と一致する機器を利用して撮影されたイメージがアップロードされることによって前記アップロードされたイメージのメタデータに前記モデル情報が含まれている場合、前記アップロードされたイメージが検索結果として提供される段階を含んでよい。
また他の一側面によると、前記モデル情報と一致するイメージを前記クエリに対する検索結果として出力するように提供する段階は、前記ユーザからアップロードされたイメージが修正されることによって前記修正されたイメージのメタデータが変更された場合、前記メタデータの変更を知らせる段階を含んでよい。
また他の一側面によると、前記モデル情報と一致するイメージを前記クエリに対する検索結果として出力するように提供する段階は、前記モデル情報と一致する複数のイメージを予め設定された基準に整列して提供する段階を含んでよい。
また他の一側面によると、前記イメージ結果提供方法は、前記クエリに前記機器のモデル情報が含まれていないことを判断することにより、前記クエリに対する検索結果として抽出されたイメージを前記モデル情報と共に出力するように提供する段階をさらに含んでよい。
一実施形態によると、イメージ結果を提供する方法を実行させるためのコンピュータプログラムにおいて、前記イメージ結果を提供する方法は、機器のモデル情報が含まれたクエリの入力を受信する段階、前記クエリから前記機器のモデル情報を識別する段階、前記モデル情報に基づいてイメージのメタデータに含まれたモデル情報を比較することにより、前記モデル情報と一致するイメージをインデキシングする段階、および前記モデル情報と一致するイメージを前記クエリに対する検索結果として出力するように提供する段階を含んでよい。
一実施形態によると、イメージ結果提供システムであって、機器のモデル情報が含まれたクエリの入力を受信する受信部、前記クエリから前記機器のモデル情報を識別する識別部、前記モデル情報に基づいてイメージのメタデータに含まれたモデル情報を比較することにより、前記モデル情報と一致するイメージをインデキシングするインデキシング部、および前記モデル情報と一致するイメージを前記クエリに対する検索結果として出力するように提供する提供部を含んでよい。
一側面によると、前記インデキシング部は、前記クエリに含まれたモデル情報と関連するイメージを探索することによって前記イメージのメタデータにモデル情報が含まれているかを判断してよい。
また他の一側面によると、前記インデキシング部は、前記イメージのメタデータにモデル情報が含まれていない場合、前記イメージを含むコンテンツから前記モデル情報と関連する情報を抽出して前記コンテンツに含まれたイメージをインデキシングしてよい。
また他の一側面によると、前記受信部は、前記機器の機種情報、前記機器のモデル、前記機器の名称のうちの少なくとも1つのモデル情報が含まれてよい。
また他の一側面によると、前記提供部は、ユーザから前記モデル情報と一致する機器を利用して撮影されたイメージがアップロードされることによって前記アップロードされたイメージのメタデータに前記モデル情報が含まれている場合、前記アップロードされたイメージを検索結果として提供してよい。
また他の一側面によると、前記提供部は、前記ユーザからアップロードされたイメージが修正されることによって前記修正されたイメージのメタデータが変更された場合、前記メタデータの変更を知らせてよい。
また他の一側面によると、前記提供部は、前記モデル情報と一致する複数のイメージを予め設定された基準に整列して提供してよい。
また他の一側面によると、前記イメージ結果提供システムは、前記クエリに前記機器のモデル情報が含まれていないことを判断することにより、前記クエリに対する検索結果として抽出されたイメージを前記モデル情報と共に出力するように提供することをさらに含んでよい。
一実施形態に係るイメージ結果提供システムは、イメージのメタデータを活用してイメージ検索を実行することによって検索の品質を向上させることができる。
一実施形態に係るイメージ結果提供システムは、クエリに含まれたモデル情報に基づいてイメージに含まれたメタデータを比較してモデル情報と一致するイメージをインデキシングすることにより、ユーザが望むイメージを検索できるように提供することができる。
一実施形態における、ネットワーク環境の例を示した図である。 一実施形態における、端末およびサーバの内部構成を説明するためのブロック図である。 一実施形態における、イメージ結果提供サーバのプロセッサが含むことのできる構成要素の例を示したブロック図である。 一実施形態における、イメージ結果提供サーバのイメージ結果提供方法を説明するためのフローチャートである。 一実施形態における、イメージ結果提供サーバで検索結果としてイメージを提供する例を説明するための図である。 一実施形態における、イメージに含まれたメタデータのフォーマットの例を説明するための図である。 一実施形態における、イメージ結果提供サーバで検索結果としてイメージを提供することによってイメージを比較する例を説明するための図である。
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
図1のネットワーク環境は、端末110、サーバ100、およびネットワーク120を含む例を示している。このような図1は、発明の説明のための一例に過ぎず、端末の数やサーバの数が図1のように限定されることはない。
端末110は、コンピュータ装置によって実現される固定型端末や移動型端末であってよい。端末110の例としては、スマートフォン(smart phone)、携帯電話、ナビゲーション、コンピュータ、ノート型パンコン、デジタル放送用端末、PDA(Personal Digital Assistants)、PMP(Portable Multimedia Player)、タブレットPCなどがある。一例として、端末110は、無線または有線通信方式を利用し、ネットワーク120を介して他の端末および/またはサーバ100と通信してよい。
通信方式が限定されることはなく、ネットワーク120が含むことのできる通信網(一例として、移動通信網、有線インターネット、無線インターネット、放送網)を活用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク120は、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでもよい。さらに、ネットワーク120は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター−バスネットワーク、ツリーまたは階層的(hierarchical)ネットワークなどを含むネットワークトポロジのうちの任意の1つ以上を含んでもよいが、これらに限定されることはない。
一例として、サーバ100は、ネットワーク120を介して接続した端末110にイメージ検索結果を提供するイメージ結果提供サーバであってよい。サーバ100は、モデル情報に基づいてイメージに含まれたメタデータのモデル情報と比較し、モデル情報と一致するイメージをインデキシングすることによってイメージをクエリに対する検索結果として提供してよい。ここで、端末110では、サーバ100から提供されたイメージ結果が検索結果として出力されてよい。
図2は、一実施形態における、端末およびサーバの内部構成を説明するためのブロック図である。
図2では、端末210とサーバ200の内部構成について説明する。他の端末やサーバはもちろん、図1を参照しながら説明したネットワーク環境に含まれることのできる、さらに他の端末やさらに他のサーバにも、同一または類似の内部構成要素が適用されてよい。
端末210は、例えば、通信モジュール211、プロセッサ212、メモリ213、および入力/出力インタフェース214を含んでよい。
サーバ200は、メモリ203、プロセッサ202、通信モジュール201を含んでよい。メモリ203、213は、コンピュータで読み取り可能な記録媒体であって、RAM(random access memory)、ROM(read only memory)、およびディスクドライブのような永久大容量記憶装置(permanent mass storage device)を含んでよい。また、メモリ203、213には、オペレーティングシステムや、少なくとも1つのプログラムコード(一例として、端末110にインストールされ駆動するブラウザやアプリケーションなどのためのコード)が格納されてよい。このようなソフトウェア構成要素は、メモリ203、213とは別のコンピュータで読み取り可能な記録媒体からロードされてもよい。このような別のコンピュータで読み取り可能な記録媒体は、フロッピー(登録商標)ドライブ、ディスク、テープ、DVD/CD−ROMドライブ、メモリカードなどのコンピュータで読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータで読み取り可能な記録媒体ではない通信モジュール201、211を通じてメモリ203、213にロードされてもよい。例えば、少なくとも1つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システム(一例として、上述したサーバ200)がネットワーク220を介して提供するファイルによってインストールされるプログラム(一例として、上述したアプリケーション)に基づいてメモリ203、213にロードされてよい。
プロセッサ202、212は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ203、213または通信モジュール201、211によって、プロセッサ202、212に提供されてよい。例えば、プロセッサ202、212は、メモリ203、213のような記録装置に格納されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。
通信モジュール201、211は、ネットワーク220を介して端末210とサーバ200とが互いに通信するための機能を提供してもよいし、他のクライアントまたは他のサーバと通信するための機能を提供してもよい。一例として、端末210のプロセッサ212がメモリ213のような記録装置に格納されたプログラムコードにしたがって生成した要求が、通信モジュール211の制御にしたがってネットワーク220を介してサーバ200に伝達されてよい。これとは逆に、サーバ200のプロセッサ202の制御にしたがって提供される制御信号や命令、コンテンツ、ファイルなどが、通信モジュール201とネットワーク220を経て端末210の通信モジュール211を通じて端末210に受信されてよい。例えば、通信モジュール211を通じて受信したサーバ200の制御信号や命令などは、プロセッサ212やメモリ213に伝達されてよく、コンテンツやファイルなどは、端末210がさらに含むことのできる格納媒体に格納されてよい。
入力/出力インタフェース214は、入力/出力装置とのインタフェースのための手段であってよい。例えば、入力装置は、キーボードまたはマウスなどの装置を、出力装置は、アプリケーションの通信セッションを表示するためのディスプレイのような装置を含んでよい。他の例として、入力/出力インタフェース214は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。より具体的な例として、端末210のプロセッサ212は、メモリ213にロードされたコンピュータプログラムの命令を処理するにあたり、サーバ200や他の端末が提供するデータを利用して構成されるサービス画面やコンテンツが、入力/出力インタフェース214を通じてディスプレイ215に表示されてよい。
また、他の実施形態において、端末210およびサーバ200は、図2の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、端末210は、入力/出力装置のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、GPS(Global Positioning System)モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。
図3は、一実施形態における、イメージ結果提供サーバのプロセッサが含むことのできる構成要素の例を示したブロック図であり、図4は、一実施形態における、イメージ結果提供サーバのイメージ結果提供方法を説明するためのフローチャートである。
イメージ結果提供サーバに含まれたプロセッサ202は、受信部310、識別部320、インデキシング部330、および提供部340を含んでよい。このようなプロセッサ202およびプロセッサ202の構成要素は、図4のイメージ結果提供方法が含む段階410〜440を実行するようにイメージ結果提供サーバを制御してよい。このとき、プロセッサ202およびプロセッサ202の構成要素は、メモリが含むオペレーティングシステムのコードと少なくとも1つのプログラムのコードによる命令(instruction)を実行するように実現されてよい。ここで、プロセッサ202の構成要素は、イメージ結果提供サーバ100に格納されたプログラムコードが提供する制御命令にしたがってプロセッサ202によって実行される互いに異なる機能(different functions)の表現であってよい。
プロセッサ202は、イメージ結果提供方法のためのプログラムのファイルに格納されたプログラムコードをメモリにロードしてよい。例えば、イメージ結果提供サーバ100でプログラムが実行されると、プロセッサは、オペレーティングシステムの制御にしたがってプログラムのファイルからプログラムコードをメモリにロードするようにイメージ結果提供サーバを制御してよい。
検索結果としてイメージを提供する方法について、図5を例に挙げながら説明する。ここで、イメージ検索結果を提供する方法は、検索サービス、掲示文のアップロードによってユーザと情報を共有する掲示板、SNSなどのように情報が多様に共有される環境に適用されてよい。
段階410で、受信部310は、クエリの入力を受信してよい。
段階420で、識別部420は、クエリから機器のモデル情報を識別してよい。識別部320は、機器の機種情報、機器のモデル名、または機器の名称のうちの少なくとも1つのモデル情報を識別してよい。例えば、ユーザから、検索画面500に機器のモデル情報(例えば、「AA社のBB」)+検索語(例えば、評価、色感、レビューなど)が含まれたクエリ510が入力されることによってモデル情報を識別してよい。
例えば、カメラ機能が提供された機器(例えば、カメラ、携帯電話など)のモデル情報をデータベースに格納しているとする。識別部320は、クエリに含まれたモデル情報をデータベースに格納されたモデル情報と比較することによってモデル情報を識別してよい。ここで、データベースは、新たな機種がリリースされるたびにアップデートされてよく、機器の名称、機器の機種情報、機器のモデルなどに関するモデル情報が格納されてよい。
段階430で、インデキシング部330は、イメージのメタデータにモデル情報が含まれているかを判断してよい。段階431で、インデキシング部330は、イメージのメタデータにモデル情報が含まれている場合には、クエリに含まれた機器のモデル情報に基づいてイメージのメタデータに含まれたモデル情報を比較してよい。このとき、段階433で、インデキシング部330は、機器のモデル情報とイメージのメタデータに含まれたモデル情報が一致するかを判断してよい。インデキシング部330は、機器のモデル情報とイメージのメタデータに含まれたモデル情報が一致しない場合には、プロセスを終了してよい。段階434で、インデキシング部330は、機器のモデル情報とイメージのメタデータに含まれたモデル情報が一致する場合には、イメージをインデキシングしてよい。
段階432で、インデキシング部330は、イメージのメタデータにモデル情報が含まれていない場合には、イメージを含むコンテンツから機器のモデル情報と関連する情報を抽出してよい。例えば、インデキシング部330は、イメージを含むコンテンツ(例えば、ウェブ文書、ブログ、SNS投稿文、文書ファイル、掲示文、ニュースなど)から機器のモデル情報と関連する情報を抽出してよく、コンテンツに含まれたイメージをインデキシングしてよい(段階434)。さらに詳しく説明すると、イメージを含むコンテンツに、イメージおよびイメージと関連する情報が作成されていることがある。このとき、インデキシング部330は、コンテンツに含まれた情報(例えば、文書、イメージなど)から機器のモデル情報と関連する情報を抽出してよく、コンテンツに含まれたイメージをインデキシングしてよい(段階434)。
段階440で、提供部340は、イメージをクエリに対する検索結果として出力するように提供してよい。例えば、図5を参照すると、検索画面500に検索結果520として複数のイメージが出力されたとする。このとき、提供部340は、機器のモデル情報と一致する複数のイメージを予め設定された基準に整列して提供してよい。例えば、提供部340は、検索画面500に、検索結果520としての複数のイメージを、モデル情報の正確性である正確度順に整列して提供してもよいし、イメージが撮影された日付順に整列して提供してもよい。さらに、提供部340は、検索画面500に出力された検索結果520を再整列させるためのインタフェースを提供してもよい。ユーザからインタフェースを通じて予め設定した基準で検索結果が再整列されて出力されてよい。
提供部340は、ユーザからクエリに含まれた機器のモデル情報と一致する機器を利用して撮影されたイメージがアップロードされることによってアップロードされたイメージのメタデータにモデル情報が含まれている場合、そのイメージを検索結果として提供してよい。提供部340は、ユーザからアップロードされたイメージが修正されることによって修正されたイメージのメタデータが変更された場合、そのメタデータの変更を知らせてよい。
図6は、一実施形態における、イメージに含まれたメタデータのフォーマットの例を説明するための図である。
イメージのメタデータ600は、エクスチェンジャブル・イメージ・ファイル・フォーマット(Exchangeable ImageFile Format)で構成されてよい。ここで、イメージは、写真やスクリーンショットなどの多様な形態を含んでよい。
エクスチェンジャブル・イメージ・ファイル・フォーマットは、イメージファイルに格納されている画像ファイルの形式である。エクスチェンジャブル・イメージ・ファイル・フォーマットは、モデル情報610、幅(ピクセル)、高さ(ピクセル)、水平解像度(dpi)、垂直解像度(dpi)、ビット深度、フレーム数、機器製造元、カメラモデル、レンズ、色代表、シャッタ速度、焦点距離、ISO速度、露出プログラム、露出補正、撮影日、補正日、GPSから受信した位置情報などのメタデータを含んでよい。
イメージのメタデータ600には、モデル情報が含まれてよい。ここで、イメージのメタデータ600にモデル情報が含まれてはいるが、ユーザから操作された場合には、イメージのメタデータの情報の一部が変更されてもよい。例えば、ユーザからイメージツールを利用してイメージが修正された場合には、イメージのメタデータの情報の一部が編集されてもよいし、イメージがサービスにアップロードされた場合には、サービスでイメージファイルを前記サービスの形式に合うように修正することによってイメージのメタデータの情報の一部が編集されてもよい。
さらに、イメージ結果提供サーバは、イメージはもちろん、動画にも適用させることが可能である。
図7は、一実施形態における、イメージ結果提供サーバから検索結果としてイメージを提供することによってイメージを比較する例を説明するための図である。
図7では、検索画面700にユーザがクエリを入力することによって検索結果としてイメージを提供する例について説明する。入力ウィンドウにクエリ710が入力されたとする。イメージ結果提供サーバは、クエリ710からモデル情報を識別してよい。このとき、イメージ結果提供サーバは、クエリにモデル情報が含まれているか否かを判断してもよい。
イメージ結果提供サーバは、クエリに含まれた機器のモデル情報に基づいてイメージのメタデータに含まれたモデル情報を比較することにより、機器のモデル情報と一致するイメージをインデキシングしてよい。イメージ結果提供サーバは、機器のモデル情報とイメージのメタデータに含まれたモデル情報が一致する場合には、機器のモデル情報と一致するイメージをインデキシングしてよい。ここで、イメージ結果提供サーバは、イメージのメタデータにモデル情報が含まれていない場合には、イメージを含むコンテンツから機器のモデル情報と関連する情報を抽出してコンテンツに含まれたイメージをインデキシングしてよい。
イメージ結果提供サーバは、検索画面700に機器のモデル情報と一致するイメージをクエリに対する検索結果720として出力するように提供してよい。イメージ結果提供サーバは、クエリに対する検索結果720に対してインデキシングされたイメージを、新たなイメージコンテンツによって生成して提供してよい。
また、イメージ結果提供サーバは、クエリにモデル情報が含まれていない場合には、クエリに対する検索結果として抽出されたイメージをモデル情報と共に出力するように提供してもよい。例えば、イメージ結果提供サーバは、ユーザからキーワードやアップロードされたイメージを検索したことによる検索結果としてイメージを抽出してよい。ここで、検索結果として抽出されたイメージのメタデータに機器情報が含まれている場合には、検索画面700にイメージおよびイメージに関する機器情報が自動で出力されてよい。
また、イメージ結果提供サーバは、インデキシングされたイメージを含むコンテンツを検索画面700に提供してよい。例えば、ユーザによってクエリに含まれた機器のモデル情報と一致する機器を利用してイメージが撮影されたとする。このとき、イメージが撮影されることによってイメージにメタデータがセッティング(setting)されてよく、メタデータがセッティングされたイメージがアップロードされることにより、アップロードされたイメージのメタデータに撮影に使用された機器のモデル情報が含まれてよい。イメージ結果提供サーバは、アップロードされたイメージのうち、クエリに含まれた機器のモデル情報と一致するイメージをインデキシングして検索結果720として提供してよい。
イメージ結果提供サーバは、ユーザからアップロードされたイメージが修正されることによって修正されたイメージのメタデータが変更された場合、そのメタデータの変更を知らせてよい。例えば、イメージ結果提供サーバは、アップロードされたイメージが修正されることにより、どのような編集ツール(tool)を利用してイメージが編集されたかを知らせてよい。
検索画面700にイメージ形態の検索結果720が出力されてよい。ユーザ740が、検索画面700に出力された検索結果720のうちから少なくとも1つの検索結果を選択したとする。イメージ結果提供サーバは、ユーザ740が選択した検索結果に関する詳細情報を提供してよい。例えば、イメージ結果提供サーバは、詳細情報として、機器のモデル情報と一致する機器から撮影されたイメージ730および詳細内容(評価、色感、レビューなど)を提供してよい。また、イメージ結果提供サーバは、検索結果720に関する詳細情報を提供するにあたり、詳細情報にインデキシングされたイメージを同時に提供してよく、イメージに含まれた詳細説明も共に提供してよい。
イメージ結果提供サーバは、複数の互いに異なるモデル情報を含むクエリが入力された場合には、それぞれのモデル情報に対するイメージを検索結果720として提供してもよい。例えば、イメージ結果提供サーバは、複数のモデル情報それぞれのイメージを比較可能な形態で提供してもよい。また、検索結果720に複数のモデル情報と関連するそれぞれの代表イメージが出力されてよく、ユーザ740によって検索結果720が選択されることにより、別のページを通じて前記代表イメージを含むイメージおよび詳細内容が詳しく提供されてもよい。
一実施形態に係るイメージ結果提供サーバは、イメージのメタデータに基づいてイメージ検索を正確に実行して提供することにより、ユーザが直接にイメージを検索および比較して判断しなければならなかった従来の面倒を解消することができる。
上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、および/またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)および前記OS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを格納、操作、処理、および生成してもよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでもよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ格納媒体または装置、または伝送される信号波に永久的または一時的に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で格納されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータで読み取り可能な記録媒体に格納されてもよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータで読み取り可能な媒体に記録されてもよい。前記コンピュータで読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでもよい。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであってもよいし、コンピュータソフトウェアの当業者に公知な使用可能なものであってもよい。コンピュータで読み取り可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD−ROM、DVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。上述したハードウェア装置は、実施形態の動作を実行するために1つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同じである。
以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
100:サーバ
110:端末
120:ネットワーク

Claims (13)

  1. 受信部、識別部、インデキシング部及び提供部を含むイメージ結果提供サーバによるイメージ結果提供方法であって、
    前記受信部が、クエリの入力を受信し、
    前記識別部が、前記クエリから機器のモデル情報を識別し、
    前記インデキシング部が、イメージのメタデータにモデル情報が含まれているかを判断し、前記モデル情報が含まれている場合には、前記モデル情報に基づいてイメージのメタデータに含まれたモデル情報を比較することにより、前記モデル情報と一致するイメージをインデキシングし、前記モデル情報が含まれていない場合には、前記モデル情報と関連する情報を含むコンテンツに含まれたイメージをインデキシングし、
    前記提供部が、前記インデキシングされたイメージを前記クエリに対する検索結果として出力するように提供すること
    を含む、イメージ結果提供方法。
  2. 前記クエリから機器のモデル情報を識別することは、
    前記識別部が、前記機器の機種情報、前記機器のモデル、前記機器の名称のうちの少なくとも1つのモデル情報を識別すること
    を含む、請求項1に記載のイメージ結果提供方法。
  3. 前記インデキシングされたイメージを前記クエリに対する検索結果として出力するように提供することは、
    ユーザから前記モデル情報と一致する機器を利用して撮影されたイメージがアップロードされることによって前記アップロードされたイメージのメタデータに前記モデル情報が含まれている場合、前記提供部が、前記モデル情報を含む前記アップロードされたイメージ検索結果として提供すること
    を含む、請求項1に記載のイメージ結果提供方法。
  4. 前記インデキシングされたイメージを前記クエリに対する検索結果として出力するように提供することは、
    前記メタデータに前記モデル情報が含まれているイメージが修正されることによって前記モデル情報を含むメタデータが変更されている場合、前記提供部が、前記メタデータの変更を前記検索結果とともに提供すること
    を含む、請求項に記載のイメージ結果提供方法。
  5. 前記インデキシングされたイメージを前記クエリに対する検索結果として出力するように提供することは、
    前記提供部が、前記モデル情報と一致する複数のイメージを予め設定された基準に整列して提供すること
    を含む、請求項1に記載のイメージ結果提供方法。
  6. 前記クエリに前記機器のモデル情報が含まれていない場合に、前記提供部が、前記クエリに対する検索結果として抽出されたイメージを前記モデル情報と共に出力するように提供すること
    をさらに含む、請求項1に記載のイメージ結果提供方法。
  7. コンピュータに、イメージ結果提供方法を実行させるためのコンピュータプログラムであって、
    前記イメージ結果提供方法は、
    クエリの入力を受信し、
    前記クエリから機器のモデル情報を識別し、
    イメージのメタデータにモデル情報が含まれているかを判断し、前記モデル情報が含まれている場合には、前記モデル情報に基づいてイメージのメタデータに含まれたモデル情報を比較することにより、前記モデル情報と一致するイメージをインデキシングし、前記モデル情報が含まれていない場合には、前記モデル情報と関連する情報を含むコンテンツに含まれたイメージをインデキシングし、
    前記インデキシングされたイメージを前記クエリに対する検索結果として出力するように提供すること
    を含む、コンピュータプログラム。
  8. イメージ結果提供システムであって、
    クエリの入力を受信する受信部、
    前記クエリから機器のモデル情報を識別する識別部、
    イメージのメタデータにモデル情報が含まれているかを判断し、前記モデル情報が含まれている場合には、前記モデル情報に基づいてイメージのメタデータに含まれたモデル情報を比較することにより、前記モデル情報と一致するイメージをインデキシングし、前記モデル情報が含まれていない場合には、前記モデル情報と関連する情報を含むコンテンツに含まれたイメージをインデキシングするインデキシング部、および
    前記インデキシングされたイメージを前記クエリに対する検索結果として出力するように提供する提供部
    を含む、イメージ結果提供システム。
  9. 前記識別部は、
    前記機器の機種情報、前記機器のモデル、前記機器の名称のうちの少なくとも1つのモデル情報を識別する
    請求項に記載のイメージ結果提供システム。
  10. 前記提供部は、
    ユーザから前記モデル情報と一致する機器を利用して撮影されたイメージがアップロードされることによって前記アップロードされたイメージのメタデータに前記モデル情報が含まれている場合、前記モデル情報を含む前記アップロードされたイメージを検索結果として提供する
    請求項に記載のイメージ結果提供システム。
  11. 前記提供部は、
    前記メタデータに前記モデル情報が含まれているイメージが修正されることによって前記モデル情報を含むメタデータが変更されている場合、前記メタデータの変更を前記検索結果とともに提供する
    請求項10に記載のイメージ結果提供システム。
  12. 前記提供部は、
    前記モデル情報と一致する複数のイメージを予め設定された基準に整列して提供する
    請求項に記載のイメージ結果提供システム。
  13. 前記提供部は、さらに、
    前記クエリに前記機器のモデル情報が含まれていない場合に、前記クエリに対する検索結果として抽出されたイメージを前記モデル情報と共に出力するように提供する
    請求項に記載のイメージ結果提供システム。
JP2017110758A 2016-07-20 2017-06-05 機種情報を活用したイメージ検索結果を提供する方法およびシステム Active JP6509280B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160091927A KR101796506B1 (ko) 2016-07-20 2016-07-20 기종 정보를 활용한 이미지 검색 결과 제공 방법 및 시스템
KR10-2016-0091927 2016-07-20

Publications (2)

Publication Number Publication Date
JP2018014089A JP2018014089A (ja) 2018-01-25
JP6509280B2 true JP6509280B2 (ja) 2019-05-08

Family

ID=60387663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017110758A Active JP6509280B2 (ja) 2016-07-20 2017-06-05 機種情報を活用したイメージ検索結果を提供する方法およびシステム

Country Status (3)

Country Link
US (1) US11080319B2 (ja)
JP (1) JP6509280B2 (ja)
KR (1) KR101796506B1 (ja)

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7680324B2 (en) * 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
JP2003153142A (ja) * 2001-11-14 2003-05-23 Fuji Photo Film Co Ltd 画像表示装置、画像管理サーバ並びに画像管理システム
US8856108B2 (en) * 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US9208480B2 (en) * 2004-11-05 2015-12-08 Rdm Corporation Mobile deposit system for digital image and transaction management
JP4333599B2 (ja) * 2005-02-15 2009-09-16 ソニー株式会社 情報処理装置、情報処理方法
US7765231B2 (en) * 2005-04-08 2010-07-27 Rathus Spencer A System and method for accessing electronic data via an image search engine
JP4773782B2 (ja) * 2005-09-13 2011-09-14 キヤノン株式会社 データ表示制御装置、データ表示制御方法、及びコンピュータプログラム
US8489987B2 (en) * 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US9195898B2 (en) * 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US10282373B2 (en) * 2009-04-17 2019-05-07 Excalibur Ip, Llc Subject-based vitality
US9710491B2 (en) * 2009-11-02 2017-07-18 Microsoft Technology Licensing, Llc Content-based image search
US9852156B2 (en) * 2009-12-03 2017-12-26 Google Inc. Hybrid use of location sensor data and visual query to return local listings for visual query
US9319640B2 (en) * 2009-12-29 2016-04-19 Kodak Alaris Inc. Camera and display system interactivity
KR101116434B1 (ko) * 2010-04-14 2012-03-07 엔에이치엔(주) 이미지를 이용한 쿼리 제공 방법 및 시스템
US9575994B2 (en) * 2011-02-11 2017-02-21 Siemens Aktiengesellschaft Methods and devices for data retrieval
US20130007032A1 (en) * 2011-06-30 2013-01-03 United Video Properties, Inc. Systems and methods for distributing media assets based on images
US9087058B2 (en) * 2011-08-03 2015-07-21 Google Inc. Method and apparatus for enabling a searchable history of real-world user experiences
US10223454B2 (en) * 2013-05-01 2019-03-05 Cloudsight, Inc. Image directed search
US11157550B2 (en) * 2013-10-02 2021-10-26 Hitachi, Ltd. Image search based on feature values
US9058375B2 (en) * 2013-10-09 2015-06-16 Smart Screen Networks, Inc. Systems and methods for adding descriptive metadata to digital content
US9069794B1 (en) * 2013-10-11 2015-06-30 Google Inc. Determining location information for images using landmark, caption, and metadata location data
US9405769B2 (en) * 2014-01-09 2016-08-02 Ricoh Company, Ltd. Searching for devices in an information technology environment with aid of maps
US9930079B2 (en) * 2014-07-18 2018-03-27 Facebook, Inc. Device-driven social network
US20170185670A1 (en) * 2015-12-28 2017-06-29 Google Inc. Generating labels for images associated with a user
US10489448B2 (en) * 2016-06-02 2019-11-26 Baidu Usa Llc Method and system for dynamically ranking images to be matched with content in response to a search query

Also Published As

Publication number Publication date
US11080319B2 (en) 2021-08-03
JP2018014089A (ja) 2018-01-25
US20180025006A1 (en) 2018-01-25
KR101796506B1 (ko) 2017-11-14

Similar Documents

Publication Publication Date Title
KR101823464B1 (ko) 지역 사진 및 거리뷰의 간판 이미지를 활용한 지역 정보 검출 및 보정 방법 및 시스템
US11704355B2 (en) Method and system for producing story video
US11086877B2 (en) Method, system, and non-transitory computer-readable record medium for searching for non-text using text in conversation
US11462018B2 (en) Representative image generation
US20130138654A1 (en) Methods and apparatuses for generating semantic signatures for media content
KR102277240B1 (ko) 키워드 관계 구조를 이용한 동의어 추출 방법 및 시스템
KR101747532B1 (ko) 여행성 질의에 대응하는 검색 결과로 코스를 추천하는 방법 및 시스템
CN112559913B (zh) 一种数据处理方法、装置、计算设备及可读存储介质
CN104102732A (zh) 图像展现方法及装置
JP6509280B2 (ja) 機種情報を活用したイメージ検索結果を提供する方法およびシステム
KR102151598B1 (ko) 키워드 속성을 기준으로 관련 있는 키워드를 제공하는 방법 및 시스템
KR20200097949A (ko) 키워드 관계 구조를 이용한 동의어 추출 방법 및 시스템
JP2019220152A (ja) イメージフィルタリング方法、電子機器および記録媒体
US20210136175A1 (en) ENHANCED PROCESSING OF USER PROFILES USING DATA STRUCTURES SPECIALIZED FOR GRAPHICAL PROCESSING UNITS (GPUs)
US11374893B2 (en) Methods, servers, and non-transitory computer readable record media for converting image to location data
KR102195191B1 (ko) 키워드 관계 구조를 이용한 신규 키워드 추출 방법 및 시스템
KR102264481B1 (ko) 복수의 소셜 네트워크 서비스 내 채널을 그룹핑 하는 방법, 시스템, 및 비-일시적인 컴퓨터 판독가능한 기록 매체
US11010346B2 (en) Methods and apparatus for managing access to file content
US11947586B2 (en) Video processing optimization and content searching
US10229183B2 (en) Systems and methods for enabling access to a document based on document types and group association of users and documents
US20230215471A1 (en) System and method for extracting objects from videos in real-time to create virtual situations
US10482140B2 (en) Method and system for providing retargeting search service
KR20230125948A (ko) 무보정 이미지 인증 방법 및 장치
KR20160085727A (ko) 리타겟팅 검색 서비스를 제공하는 방법 및 시스템

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180427

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190402

R150 Certificate of patent or registration of utility model

Ref document number: 6509280

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250