JP6419560B2 - 検索装置、方法及びプログラム - Google Patents
検索装置、方法及びプログラム Download PDFInfo
- Publication number
- JP6419560B2 JP6419560B2 JP2014247249A JP2014247249A JP6419560B2 JP 6419560 B2 JP6419560 B2 JP 6419560B2 JP 2014247249 A JP2014247249 A JP 2014247249A JP 2014247249 A JP2014247249 A JP 2014247249A JP 6419560 B2 JP6419560 B2 JP 6419560B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- element information
- search
- symbol
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Description
図1は、第1実施形態の検索装置10の一例を示す構成図である。図1に示すように、検索装置10は、記憶部11と、画像入力部13と、受付部15と、情報生成部17と、検索部19と、画像生成部21と、表示制御部23と、表示部25と、操作入力部27とを、備える。
上記第1実施形態において、検索された全ての第2シンボル画像を表示するのではなく、検索された第2シンボル画像数未満の代表シンボル画像、及び各代表シンボル画像に分類された第2シンボル画像の個数を示す個数情報を表示するようにしてもよい。以下では、第1実施形態との相違点の説明を主に行い、第1実施形態と同様の機能を有する構成要素については、第1実施形態と同様の名称・符号を付し、その説明を省略する。
上記第1実施形態において、第1画像及び第2画像を顔画像としてもよい。この場合、第1要素情報は、第1画像を構成する1以上の第1構成要素のカテゴリ、位置、大きさ、形状、及び色、並びに第1画像のカテゴリの少なくともいずれかとすることができる。
上記第1実施形態において、第2画像に基づく画像は、検索部19により検索されたレコードに含まれる第2画像のサムネイル画像としてもよい。そして、表示制御部23は、表示部25に表示された第2画像のサムネイル画像が指示又は選択された場合、当該第2画像を含むレコードに含まれる第2シンボル画像を表示部25に更に表示するようにしてもよい。
上記第1実施形態において、第1画像、第1要素情報、及び第1シンボル画像を対応付けたレコードを記憶部11に登録するようにしてもよい。このようにすれば、次回以降、第1画像、第1要素情報、及び第1シンボル画像を対応付けたレコードを検索対象に加えることができる。
上記第1実施形態では、記憶部11に第2シンボル画像も記憶されている例について説明したが、記憶部11に第2シンボル画像を記憶せず、検索された第2要素情報から第2シンボル画像を生成するようにしてもよい。
上記第1実施形態では、検索装置10が記憶部11を備える例について説明したが、検索装置10の外部(例えば、クラウド上)に記憶部11を設けるようにしてもよい。また、検索装置10が備える記憶部11以外の構成をクラウド化してもよいし、複数の装置に分散して検索装置10を実現してもよい。
第2実施形態では、第1シンボル画像を編集することで、第1要素情報をユーザの意図した第1要素情報に変更し、変更後の第1要素情報に基づいて検索を行う例について説明する。以下では、第1実施形態との相違点の説明を主に行い、第1実施形態と同様の機能を有する構成要素については、第1実施形態と同様の名称・符号を付し、その説明を省略する。
上記第2実施形態において、変形例1〜変形例6と同様の変形をしてもよい。
図11は、上記各実施形態及び各変形例の検索装置のハードウェア構成の一例を示す図である。上記各実施形態及び各変形例の検索装置は、CPUなどの制御装置901と、ROMやRAMなどの記憶装置902と、HDDなどの外部記憶装置903と、ディスプレイなどの表示装置904と、キーボードやマウスなどの入力装置905と、通信インタフェースなどの通信装置906と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。
11 記憶部
13 画像入力部
15、215 受付部
17、217 情報生成部
19、219 検索部
21、121 画像生成部
23、223 表示制御部
25 表示部
27 操作入力部
901 制御装置
902 記憶装置
903 外部記憶装置
904 表示装置
905 入力装置
906 通信装置
Claims (17)
- 第1画像の入力を受け付ける受付部と、
前記第1画像を構成する1以上の第1構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第1要素情報に基づいて、第2画像を検索する検索部と、
前記第1要素情報に基づいて前記1以上の第1構成要素がシンボル化された第1シンボル画像とともに前記第2画像に基づく画像を表示部に表示する表示制御部と、
を備え、
前記検索部は、第2画像と、当該第2画像を構成する1以上の第2構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第2要素情報と、当該1以上の第2構成要素をシンボル化した第2シンボル画像と、を対応付けた複数のレコードのうち、前記第1要素情報と類似する第2要素情報を含むレコードを検索する、
検索装置。 - 前記第1画像から、前記第1要素情報を生成する情報生成部を更に備える請求項1に記載の検索装置。
- 前記第1要素情報に基づいて、前記第1シンボル画像を生成する画像生成部を更に備える請求項1に記載の検索装置。
- 前記第2画像に基づく画像は、検索された前記レコードに含まれる前記第2シンボル画像である請求項1に記載の検索装置。
- 前記表示制御部は、前記表示部に表示された前記第2シンボル画像が指示又は選択された場合、検索された前記レコードに含まれる前記第2画像のサムネイル画像を前記表示部に更に表示する請求項4に記載の検索装置。
- 前記第1要素情報に基づいて、前記第1シンボル画像を生成する画像生成部を更に備え、
前記画像生成部は、前記レコードがn(n≧2)個検索された場合、前記第1シンボル画像又は前記n個のレコードに含まれる前記n個の第2シンボル画像に基づいて、m(2≦m≦n)個の代表シンボル画像を更に生成し、
前記表示制御部は、前記n個の第2シンボル画像を前記m個の代表シンボル画像に分類し、前記第2画像に基づく画像として、前記m個の代表シンボル画像とともに、前記m個の代表シンボル画像それぞれに分類された前記第2シンボル画像の個数を示す個数情報を前記表示部に表示する請求項1に記載の検索装置。 - 前記表示制御部は、前記レコードがn(n≧2)個検索された場合、前記第2画像に基づく画像として、前記n個のレコードに含まれる前記n個の第2シンボル画像を類似度の順に配置して前記表示部に表示する請求項1に記載の検索装置。
- 前記第1画像及び前記第2画像は、顔画像である請求項1に記載の検索装置。
- 前記第1要素情報は、前記第1画像を構成する1以上の第1構成要素のカテゴリ、位置、大きさ、形状、及び色、並びに前記第1画像のカテゴリの少なくともいずれかである請求項8に記載の検索装置。
- 前記1以上の第1構成要素は、前記第1画像を構成する複数の第1構成要素のうち前記カテゴリが既知の第1構成要素である請求項1に記載の検索装置。
- 前記表示制御部は、前記第1画像のサムネイル画像を前記表示部に更に表示する請求項1に記載の検索装置。
- 前記第2画像に基づく画像は、検索された前記レコードに含まれる前記第2画像のサムネイル画像である請求項1に記載の検索装置。
- 第1画像の入力を受け付ける受付部と、
前記第1画像を構成する1以上の第1構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第1要素情報に基づいて当該1以上の第1構成要素がシンボル化された第1シンボル画像を表示部に表示する表示制御部と、を備え、
前記受付部は、前記第1シンボル画像を構成する前記1以上の第1構成要素を変更する変更入力を更に受け付け、
前記変更入力に基づいて変更された前記第1要素情報に基づいて、第2画像を検索する検索部を更に備え、
前記表示制御部は、前記第2画像に基づく画像を前記表示部に更に表示し、
前記検索部は、第2画像と、当該第2画像を構成する1以上の第2構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第2要素情報と、当該1以上の第2構成要素をシンボル化した第2シンボル画像と、を対応付けた複数のレコードのうち、前記第1要素情報と類似する第2要素情報を含むレコードを検索する、
検索装置。 - 検索装置が、第1画像の入力を受け付ける受付ステップと、
前記検索装置が、前記第1画像を構成する1以上の第1構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第1要素情報に基づいて、第2画像を検索する検索ステップと、
前記検索装置が、前記第1要素情報に基づいて前記1以上の第1構成要素がシンボル化された第1シンボル画像とともに前記第2画像に基づく画像を表示部に表示する表示制御ステップと、
を含み、
前記検索ステップは、第2画像と、当該第2画像を構成する1以上の第2構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第2要素情報と、当該1以上の第2構成要素をシンボル化した第2シンボル画像と、を対応付けた複数のレコードのうち、前記第1要素情報と類似する第2要素情報を含むレコードを検索する、
検索方法。 - 検索装置が、第1画像の入力を受け付ける第1受付ステップと、
前記検索装置が、前記第1画像を構成する1以上の第1構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第1要素情報に基づいて当該1以上の第1構成要素がシンボル化された第1シンボル画像を表示部に表示する第1表示制御ステップと、
前記検索装置が、前記第1シンボル画像を構成する前記1以上の第1構成要素を変更する変更入力を受け付ける第2受付ステップと、
前記検索装置が、前記変更入力に基づいて変更された前記第1要素情報に基づいて、第2画像を検索する検索ステップと、
前記検索装置が、前記第2画像に基づく画像を前記表示部に表示する第2表示制御ステップと、
を含み、
前記検索ステップは、第2画像と、当該第2画像を構成する1以上の第2構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第2要素情報と、当該1以上の第2構成要素をシンボル化した第2シンボル画像と、を対応付けた複数のレコードのうち、前記第1要素情報と類似する第2要素情報を含むレコードを検索する、
検索方法。 - 第1画像の入力を受け付ける受付ステップと、
前記第1画像を構成する1以上の第1構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第1要素情報に基づいて、第2画像を検索する検索ステップと、
前記第1要素情報に基づいて前記1以上の第1構成要素がシンボル化された第1シンボル画像とともに前記第2画像に基づく画像を表示部に表示する表示制御ステップと、
をコンピュータに実行させ、
前記検索ステップは、第2画像と、当該第2画像を構成する1以上の第2構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第2要素情報と、当該1以上の第2構成要素をシンボル化した第2シンボル画像と、を対応付けた複数のレコードのうち、前記第1要素情報と類似する第2要素情報を含むレコードを検索する、
プログラム。 - 第1画像の入力を受け付ける第1受付ステップと、
前記第1画像を構成する1以上の第1構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第1要素情報に基づいて当該1以上の第1構成要素がシンボル化された第1シンボル画像を表示部に表示する第1表示制御ステップと、
前記第1シンボル画像を構成する前記1以上の第1構成要素を変更する変更入力を受け付ける第2受付ステップと、
前記変更入力に基づいて変更された前記第1要素情報に基づいて、第2画像を検索する検索ステップと、
前記第2画像に基づく画像を前記表示部に表示する第2表示制御ステップと、
をコンピュータに実行させ、
前記検索ステップは、第2画像と、当該第2画像を構成する1以上の第2構成要素のカテゴリ、位置、大きさ、形状、及び色の少なくともいずれかである第2要素情報と、当該1以上の第2構成要素をシンボル化した第2シンボル画像と、を対応付けた複数のレコードのうち、前記第1要素情報と類似する第2要素情報を含むレコードを検索する、
プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014247249A JP6419560B2 (ja) | 2014-12-05 | 2014-12-05 | 検索装置、方法及びプログラム |
US14/954,822 US20160162752A1 (en) | 2014-12-05 | 2015-11-30 | Retrieval apparatus, retrieval method, and computer program product |
CN201510881211.5A CN105677696A (zh) | 2014-12-05 | 2015-12-03 | 检索设备和检索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014247249A JP6419560B2 (ja) | 2014-12-05 | 2014-12-05 | 検索装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016110387A JP2016110387A (ja) | 2016-06-20 |
JP6419560B2 true JP6419560B2 (ja) | 2018-11-07 |
Family
ID=56094604
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014247249A Expired - Fee Related JP6419560B2 (ja) | 2014-12-05 | 2014-12-05 | 検索装置、方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20160162752A1 (ja) |
JP (1) | JP6419560B2 (ja) |
CN (1) | CN105677696A (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021193770A (ja) | 2020-06-08 | 2021-12-23 | コニカミノルタ株式会社 | 検索システム |
JP2021193495A (ja) | 2020-06-08 | 2021-12-23 | コニカミノルタ株式会社 | 検索システム |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1185992A (ja) * | 1997-09-05 | 1999-03-30 | Omron Corp | 画像登録検索装置、方法及びプログラム記録媒体 |
US6941323B1 (en) * | 1999-08-09 | 2005-09-06 | Almen Laboratories, Inc. | System and method for image comparison and retrieval by enhancing, defining, and parameterizing objects in images |
US20020087577A1 (en) * | 2000-05-31 | 2002-07-04 | Manjunath Bangalore S. | Database building method for multimedia contents |
JP2002304415A (ja) * | 2001-04-04 | 2002-10-18 | Omron Corp | 画像検索装置 |
US6847733B2 (en) * | 2001-05-23 | 2005-01-25 | Eastman Kodak Company | Retrieval and browsing of database images based on image emphasis and appeal |
JP4527322B2 (ja) * | 2001-07-25 | 2010-08-18 | 日本電気株式会社 | 画像検索装置、画像検索方法、及び画像検索用プログラム |
US7298931B2 (en) * | 2002-10-14 | 2007-11-20 | Samsung Electronics Co., Ltd. | Image retrieval method and apparatus using iterative matching |
US7657100B2 (en) * | 2005-05-09 | 2010-02-02 | Like.Com | System and method for enabling image recognition and searching of images |
US20080177640A1 (en) * | 2005-05-09 | 2008-07-24 | Salih Burak Gokturk | System and method for using image analysis and search in e-commerce |
JP5358083B2 (ja) * | 2007-11-01 | 2013-12-04 | 株式会社日立製作所 | 人物画像検索装置及び画像検索装置 |
JP5059545B2 (ja) * | 2007-10-23 | 2012-10-24 | 株式会社リコー | 画像処理装置及び画像処理方法 |
JP5229744B2 (ja) * | 2007-12-03 | 2013-07-03 | 国立大学法人北海道大学 | 画像分類装置および画像分類プログラム |
JP2009200699A (ja) * | 2008-02-20 | 2009-09-03 | Pfu Ltd | 画像処理装置および画像処理方法 |
JP5127067B2 (ja) * | 2009-03-06 | 2013-01-23 | パナソニック株式会社 | 画像検索装置及び画像検索方法 |
JP5413156B2 (ja) * | 2009-11-30 | 2014-02-12 | 富士ゼロックス株式会社 | 画像処理プログラム及び画像処理装置 |
JP2011138263A (ja) * | 2009-12-28 | 2011-07-14 | Seiko Epson Corp | 管理システムおよび該管理システムを利用する印刷装置 |
US8775424B2 (en) * | 2010-01-26 | 2014-07-08 | Xerox Corporation | System for creative image navigation and exploration |
US20110191336A1 (en) * | 2010-01-29 | 2011-08-04 | Microsoft Corporation | Contextual image search |
JP2012190349A (ja) * | 2011-03-11 | 2012-10-04 | Omron Corp | 画像処理装置、画像処理方法および制御プログラム |
US20120254790A1 (en) * | 2011-03-31 | 2012-10-04 | Xerox Corporation | Direct, feature-based and multi-touch dynamic search and manipulation of image sets |
US20130007032A1 (en) * | 2011-06-30 | 2013-01-03 | United Video Properties, Inc. | Systems and methods for distributing media assets based on images |
US9916538B2 (en) * | 2012-09-15 | 2018-03-13 | Z Advanced Computing, Inc. | Method and system for feature detection |
JP2014127011A (ja) * | 2012-12-26 | 2014-07-07 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
US20140193077A1 (en) * | 2013-01-08 | 2014-07-10 | Canon Kabushiki Kaisha | Image retrieval apparatus, image retrieval method, query image providing apparatus, query image providing method, and program |
JP2014186372A (ja) * | 2013-03-21 | 2014-10-02 | Toshiba Corp | 図絵描画支援装置、方法、及びプログラム |
KR20150006606A (ko) * | 2013-07-09 | 2015-01-19 | 주식회사 케이티 | 객체 기반으로 영상을 검색하는 서버 및 방법 |
US10599810B2 (en) * | 2014-06-04 | 2020-03-24 | Panasonic Corporation | Control method and recording system |
JP6700791B2 (ja) * | 2016-01-05 | 2020-05-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
-
2014
- 2014-12-05 JP JP2014247249A patent/JP6419560B2/ja not_active Expired - Fee Related
-
2015
- 2015-11-30 US US14/954,822 patent/US20160162752A1/en not_active Abandoned
- 2015-12-03 CN CN201510881211.5A patent/CN105677696A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20160162752A1 (en) | 2016-06-09 |
JP2016110387A (ja) | 2016-06-20 |
CN105677696A (zh) | 2016-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10134165B2 (en) | Image distractor detection and processing | |
US9886669B2 (en) | Interactive visualization of machine-learning performance | |
US20150339348A1 (en) | Search method and device | |
US10430457B2 (en) | Image processing apparatus, image processing method, search apparatus, search method, and non-transitory computer-readable storage medium | |
US10891740B2 (en) | Moving object tracking apparatus, moving object tracking method, and computer program product | |
CN112150347B (zh) | 从有限的修改后图像集合中学习的图像修改样式 | |
JP2018206252A (ja) | 画像処理システム、評価モデル構築方法、画像処理方法及びプログラム | |
CN112163577A (zh) | 游戏画面中的文字识别方法、装置、电子设备和存储介质 | |
WO2016006090A1 (ja) | 電子機器、方法及びプログラム | |
US9734434B2 (en) | Feature interpolation | |
WO2015057793A1 (en) | Multi-color channel detection for note recognition and management | |
EP2947584A1 (en) | Multimodal search method and device | |
JP6419560B2 (ja) | 検索装置、方法及びプログラム | |
EP3800611A1 (en) | Mosaic generation apparatus and method | |
EP2781991B1 (en) | Signal processing device and signal processing method | |
US20150205397A1 (en) | Method for automatic computerized process control, and computerized system implementing the same | |
JP6441142B2 (ja) | 検索装置、方法及びプログラム | |
TW202004524A (zh) | 搜索方法、電子裝置及非暫時性電腦可讀記錄媒體 | |
JP2016025625A (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR20150096552A (ko) | 사진 앨범 또는 사진 액자를 이용한 온라인 사진 서비스 시스템 및 방법 | |
JP7370759B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2021501432A (ja) | 画像分類装置及び方法 | |
KR20200057813A (ko) | 복수 개의 낱알을 식별하는 방법 및 그 장치 | |
CN109565541B (zh) | 促进捕捉数字图像的方法、设备和系统 | |
JP2010128706A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム、及び、情報記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170911 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180620 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180827 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181010 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6419560 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |