WO2018180201A1 - 類似顔画像検索システム - Google Patents

類似顔画像検索システム Download PDF

Info

Publication number
WO2018180201A1
WO2018180201A1 PCT/JP2018/008016 JP2018008016W WO2018180201A1 WO 2018180201 A1 WO2018180201 A1 WO 2018180201A1 JP 2018008016 W JP2018008016 W JP 2018008016W WO 2018180201 A1 WO2018180201 A1 WO 2018180201A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
search
face image
similarity
time zone
Prior art date
Application number
PCT/JP2018/008016
Other languages
English (en)
French (fr)
Inventor
舟橋　孝博
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to JP2019509056A priority Critical patent/JPWO2018180201A1/ja
Publication of WO2018180201A1 publication Critical patent/WO2018180201A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor

Definitions

  • the present invention relates to a similar face image search system.
  • FIG. 6 is a diagram showing a conventional similar face image search result.
  • the face image 603 of the person 602 is selected from the images 601 including the key face image.
  • a list 604 that displays a list of search images in order of similarity is a similar face image search result.
  • time information 606 of an image from which a similar face is detected is displayed.
  • the list 604 has many results with high similarity in the same time zone on March 11, 2017. However, since the results are in the same time zone, there is a high possibility that the result is one event.
  • the result of March 13, 2017 is the 8th
  • the date and the time zone are different, and it is highly likely that this is a notable event in another event. As described above, it is difficult to determine that the display of the conventional similar face image search result is different in date and time zone at first glance.
  • Patent Document 1 discloses an invention of a search result display method that can simultaneously grasp the magnitude relationship and the context of two-dimensional information such as time and similarity.
  • Patent Document 2 by registering a plurality of images as search conditions, it is possible to reduce missed searches due to differences in target orientation and shooting angle, and to obtain more images showing the search target person.
  • An invention of an image search apparatus that can perform search with high efficiency is disclosed.
  • Patent Document 3 discloses an invention in which a large number of images are selected from the results of similar image search and keywords are assigned at once.
  • An object of the present invention is to provide a method for easily displaying in which time zone search results are concentrated according to the degree of similarity for each time zone.
  • the similar face image search system of the present invention is a similar face image search system that can enumerate the similarity of faces using a person's face image as a key image in the order of similarity, and the image search device serves as an image storage server.
  • a graph is displayed by stacking blocks according to the degree of similarity every time.
  • the search result display unit displays a distribution graph for each time zone when a date is selected, and displays a graph in which a plurality of types of blocks are stacked for each time zone.
  • the search result display unit displays a person image in a specific time zone by selecting a block designated in the specific time zone.
  • a time zone with a block with a high degree of similarity is a time when a person who is highly likely to be a search target person appears, and a time zone with a high degree of similarity is congested or for some reason This makes it possible to grasp that it is necessary to confirm the details of the image.
  • FIG. 1 is a diagram showing an outline of a similar face image search system according to an embodiment of the present invention.
  • a similar face image search system 100 includes image capturing apparatuses 201-1 to 201-n (n is a positive number) (referred to as 201 when representing an image capturing apparatus), an image storage server, via a network 200.
  • 201 when representing an image capturing apparatus
  • an image storage server via a network 200.
  • an image search device 203 is connected.
  • the image search device 203 may be a PC (Personal Computer).
  • Image data captured by the image capturing apparatuses 201-1 to 201-n is transmitted to the image storage server 202 via the network 200 together with metadata.
  • the image storage server 202 stores the image data and metadata transmitted from the imaging devices 201-1 to 201-n.
  • the image storage server 202 also stores face image data that serves as a search key.
  • the image search device 203 includes a face image search setting unit 210, a similar face image search unit 220, an image search result storage unit 230, and a search result display unit 240.
  • the image search result storage unit 230 may be the image storage server 202.
  • FIG. 2 is a diagram for explaining the contents stored in the image storage server of the similar face image search system according to the embodiment of the present invention.
  • the image storage server 202 mainly stores image data photographed by the imaging devices 201-1 to 201-n and face image data that is a key for face search.
  • the image data includes related metadata.
  • FIG. 2A shows stored image data
  • FIG. 2B shows stored face image data
  • the image data in FIG. 2A is managed by, for example, an image ID (Identification).
  • the image ID is associated with metadata such as the date when the image was shot, the shooting start time, and the shooting end time. For example, when the image ID is 201-1, image data from 00:00:00 to 23:59:59 with a date of 2017/03/11 is stored.
  • the face image data in FIG. 2B is stored with the face ID and the face image associated with each other. For example, when the face ID is A0001, the face image shown in FIG. 2B is stored.
  • FIG. 4 is a view for explaining an image search setting screen for explaining the operation of the similar face image search system according to the embodiment of the present invention.
  • a face image search setting screen 400 is a setting screen of the face image search setting unit 210. Note that the setting or the like is performed using a keyboard, a pointing device (mouse), a touch panel, or the like (not shown).
  • the face image search setting screen 400 is a screen for setting an image ID, a search period, a search time zone, and a face ID, for example.
  • a search period For example, 201-1, 201-2,..., 201-n are entered in the setting field 411 as the image ID.
  • 201-1, 201-2,..., 201-n are entered in the setting field 411 as the image ID.
  • search period for example, 2017/03/11 to 2017/03/15 are entered in the search start date column 421 and the search end date column 422.
  • the search time zone is input, for example, from 06:00:00 to 12:00:00 in the search start time column 431 and the search end time column 432.
  • the face ID When the face ID is input to the face ID column 441, for example, A0001, the corresponding face image is displayed in the face image display column 442.
  • a face image detected by another system for example, an intruder detection system, may be used as the face image serving as a search key.
  • the similar face image search unit 220 starts a similar face image search.
  • FIG. 5 is a diagram for explaining a search result display screen for explaining the operation of the similar face image retrieval system according to the embodiment of the present invention.
  • a search result display screen 500 is a screen displayed by the search result display unit 240.
  • the search condition and search result 510 includes a date 511 and a time zone 512 as search conditions, a search result number 513 as a search result, and a 100% stacked graph 514 of the search results.
  • the 100% stacked graph 514 is a graph in which the number of search results is set to 100%, and the ratio of each similarity is known.
  • the degree of similarity is classified into five categories: 0 to less than 0.2, 0.2 to less than 0.4, 0.4 to less than 0.6, 0.6 to less than 0.8, and 0.8 to 1.0. Note that the classification of similarities is not limited to five, but may be determined according to the application.
  • the distribution graph 520 is displayed by selecting the desired date 510.
  • the distribution graph 520 may be displayed even when the time zone 512, the number of search results 513, and the 100% stacked graph 514 are selected.
  • the distribution graph 520 displays time on the horizontal axis and the number of search results on the vertical axis. Since the height of the stacked block 521 varies depending on the number of search results for each degree of similarity, the number of results having a high degree of similarity is displayed so that it can be seen at a glance. Each block for each degree of similarity may be displayed in different colors.
  • the search result image 540 is displayed by selecting one desired block of the distribution graph 520.
  • a square 541 displays the position of the searched face image.
  • the date and time 542 is the date and time when the image including the searched face image was taken.
  • the search result image 540 includes an image advance icon 543, an image return icon 544, a first image advance icon 546, and a last image return icon 545.
  • the face ID 531 is, for example, “A0001” of the face ID of the key face image used for the search, and the face image 532 is a face image corresponding to the face ID 531.
  • FIG. 3 is a flowchart for explaining the operation of the similar face image search system according to the embodiment of the present invention.
  • the face image search setting unit 210 of the image search apparatus 203 in FIG. 1 inputs an image ID, a search period, a search time zone, and a face ID on the face image search setting screen 400 in FIG.
  • S302 it is determined whether or not the “search” icon 451 has been pressed (S302). If pressed (YES), the process proceeds to S303. If not (NO), the process proceeds to S302. Return to processing.
  • the similar face image search unit 220 in FIG. 1 performs a similar face image search from the image storage server 202 according to the setting contents of the search condition setting, and proceeds to the process of S304.
  • the image search result storage unit 230 stores the result of the similar face image search unit 220 performing the similar face image search, and proceeds to the process of S305.
  • the image search result storage unit 230 may be the image storage server 202.
  • the search result display unit 240 of FIG. 1 displays the search result of the similar face image search unit 220 on the search result display screen 500 of FIG. 5, and proceeds to the process of S306.
  • the search result display unit 240 determines whether or not there is a detailed image display request on the search result display screen 500. If there is a detailed image display request (YES), the process proceeds to the process of S307. If there is no detailed image display request (NO), the process proceeds to S308.
  • the search result display unit 240 reads the requested image from the image search result storage unit 230 and displays it on the search result display screen 500, and displays it on the search result display screen 500 (S307).
  • the search result display unit 240 determines whether or not the “end” icon 550 has been pressed. If not (NO), the search result display unit 240 returns to the process of S306, and if pressed, (YES). The process ends.
  • the similar face image search system 100 further includes a storage unit that stores map data and position data of the imaging devices 201-1 to 201-n.
  • the stacked blocks may be three-dimensionally displayed at the installation location of the imaging device 201 on the map image, and the similarity according to the location may be displayed. This makes it easier to recognize that facial images extracted consecutively at the same place are likely to be the same person, and by making it easier to grasp the situation at each place, It ’s easier to get to the results.
  • the key image to be searched may be added to the face image to add an image of clothing, decorations (precious metal, hat, sunglasses), etc. to improve the accuracy of similarity. .
  • the similar face image search system makes it easier to guess the situation for each time zone by displaying easily what degree of similarity is concentrated in which time zone. Make it easier to reach the desired result according to different events.
  • a time zone with a block with a high degree of similarity is a time when a person who is highly likely to be a search target person appears, and a time zone with a high degree of similarity is congested or for some reason This makes it possible to grasp that it is necessary to confirm the details of the image.
  • the face image search result can be applied to the use of checking the time series tendency of the similarity by displaying the integrated value for each similarity by a bar (stacked block) graph for each time zone.
  • 100 Similar face image search system
  • 200 Network
  • 201-1 to 201-n Imaging device
  • 202 Image storage server
  • 203 Image search device
  • 210 Face image search setting unit
  • 220 Similar face image search unit
  • 230 Image search result storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本発明の目的は、時間帯毎に類似度に応じて、どの時間帯に検索結果が集中しているかを見やすく表示する方法を提供することである。本発明の類似顔画像検索システムは、人物の顔画像をキー画像として、顔の類似度を類似している順に列挙可能な類似顔画像検索システムであって、画像検索装置が、画像蓄積サーバに記憶してある画像データから前記顔画像を基に検索して得られた類似度に応じてクラス分けし、検索結果表示部にクラス毎に異なるブロックを積み上げたグラフ表示とし、日付毎、時間帯毎に類似度に応じたブロックを積み上げることでグラフが表示されることを特徴とする。

Description

類似顔画像検索システム
　本発明は、類似顔画像検索システムに関するものである。
　従来、人物の顔画像をキー画像として、顔の類似度を類似している順に列挙する類似顔検索では、顔の類似度順だけでしか検索結果が出ないため、顔の類似度順に順次映像を確認する必要があった。この場合、類似度順であると同じ時間帯の映像を何度も連続で確認することになる。同じ時間帯の場合、結果がいくつあっても一事象であることが多く、別の時間帯の画像であることを認識するのに適していないと云う課題がある。
　図６は従来の類似顔画像検索結果を示す画面の図である。
　従来の類似顔画像検索は、キーとなる顔画像が含まれた画像６０１の中から人物６０２の顔画像６０３を選定する。
　検索画像を類似度順で一覧表示するリスト６０４が、類似顔画像検索結果である。
　類似画像を検出した画像６０５には、類似した顔を検出した画像の時刻情報６０６を表示している。
　リスト６０４には、2017年3月11日の同じ時間帯で類似度が高い結果が多くあるが、同じ時間帯であるため、これらの結果から一つの事象である可能性が高い。
　また、2017年3月13日の結果は８番目に出ているが、日付および時間帯が異なり、別の事象で注目すべき事象である可能性が高い。
　このように、従来の類似顔画像検索結果の表示は、一見して日付や時間帯が異なることが判別しづらい。
　先行技術文献としては、例えば、特許文献１に、時刻と類似度のような２元の情報について、その大小関係や前後関係を視覚的に同時に把握できる検索結果表示方法の発明が開示されている。
　また、特許文献２には、複数の画像を検索条件として登録することで、対象の向きや撮影角度の違いによる検索見逃しを少なくすることができ、検索対象人物の映った画像をより多く得ることができる検索の効率の高い画像検索装置の発明が開示されている。
　さらに、特許文献３には、類似画像検索の結果から、多数の画像を選択して、一度にキーワードを付与する発明が開示されている。
特開２００９－３０１５０１号公報 特開２０１１－４８６６８号公報 特開２０１２－２４２８７８号公報
　本発明の目的は、時間帯毎に類似度に応じて、どの時間帯に検索結果が集中しているかを見やすく表示する方法を提供することである。
　本発明の類似顔画像検索システムは、人物の顔画像をキー画像として、顔の類似度を類似している順に列挙可能な類似顔画像検索システムであって、画像検索装置が、画像蓄積サーバに記憶してある画像データから前記顔画像を基に検索して得られた類似度に応じてクラス分けし、検索結果表示部にクラス毎に異なるブロックを積み上げたグラフ表示とし、日付毎、時間帯毎に類似度に応じたブロックを積み上げることでグラフが表示されることを特徴とする。
　また、検索結果表示部は、日付を選択すると時間帯毎の分布グラフが展開表示され、時間帯毎に複数種類のブロックを積み上げたグラフが表示されることが好ましい。
　さらに、検索結果表示部は、特定の時間帯の指定したブロックを選択することにより、特定の時間帯の人物画像が表示されることが好ましい。
　本発明によれば、どの時間帯にどのような類似度がどの程度集中しているかを見やすく表示することにより、時間帯毎に状況が推測しやすくなり、時間帯の異なる事象に応じて目的の結果にたどり着きやすくする。
　また、類似度の高いブロックのある時間帯は検索対象人物である可能性が高い人物が出没した時間であると特定することができ、類似度の種類の多い時間帯は混雑又は何等かの理由により画像の詳細確認する必要があることを把握することができる。
本発明の一実施例に係る類似顔画像検索システムの概要を示す図である。 本発明の一実施例に係る類似顔画像検索システムの画像蓄積サーバに記憶している内容を説明するための図である。 本発明の一実施例に係る類似顔画像検索システムの動作を説明するためのフローチャートである。 本発明の一実施例に係る類似顔画像検索システムの動作を説明するための画像検索設定画面を説明するための図である。 本発明の一実施例に係る類似顔画像検索システムの動作を説明するための検索結果表示画面を説明するための図である。 従来の類似顔画像検索結果を示す画面の図である。
　以下、本発明の実施形態について図面を参照して詳細に説明する。
　図１は本発明の一実施例に係る類似顔画像検索システムの概要を示す図である。
　図１において、類似顔画像検索システム１００は、ネットワーク２００を介して、撮像装置２０１－１～２０１－ｎ（ｎは正数）（撮像装置を代表する場合には２０１と称する）、画像蓄積サーバ２０２、画像検索装置２０３が接続されている。
　なお、画像検索装置２０３は、ＰＣ（Personal　Computer）でもよい。
　撮像装置２０１－１～２０１－ｎの撮影した画像データは、ネットワーク２００を介して、画像蓄積サーバ２０２にメタデータと共に伝送する。
　画像蓄積サーバ２０２は、撮像装置２０１－１～２０１－ｎから伝送されてきた画像データとメタデータを記憶する。
　なお、画像蓄積サーバ２０２は、検索のキーとなる顔画像データも記憶する。
　画像検索装置２０３は、顔画像検索設定部２１０、類似顔画像検索部２２０、画像検索結果記憶部２３０、検索結果表示部２４０で構成されている。
　なお、画像検索結果記憶部２３０は、画像蓄積サーバ２０２であってもよい。
　図２は本発明の一実施例に係る類似顔画像検索システムの画像蓄積サーバに記憶している内容を説明するための図である。
　図２において、画像蓄積サーバ２０２は、主に撮像装置２０１－１～２０１－ｎが撮影した画像データと、顔検索のキーとなる顔画像データを記憶している。
　なお、画像データには、関連するメタデータも含まれている。
　図２（Ａ）は記憶している画像データであり、図２（Ｂ）は記憶している顔画像データである。
　図２（Ａ）の画像データは、例えば、画像ＩＤ（Identification）によって管理されている。
　また、画像ＩＤには、画像を撮影した日付、撮影開始時刻、撮影終了時刻等のメタデータが関連付けられている。例えば、画像ＩＤが２０１－１の場合は、日付が2017/03/11の00時00分00秒から23時59分59秒の画像データが記憶されている。
　図２（Ｂ）の顔画像データは、顔ＩＤと顔画像が関連付けられて記憶されている。
　例えば、顔ＩＤがＡ０００１の場合、図２（Ｂ）に示す顔画像が記憶されている。
　次に、本発明の一実施例に係る類似顔画像検索システムの画像検索設定画面について図４を用いて説明する。
　図４は本発明の一実施例に係る類似顔画像検索システムの動作を説明するための画像検索設定画面を説明するための図である。
　図４において、顔画像検索設定画面４００は、顔画像検索設定部２１０の設定画面である。
　なお、設定等は、図示していないキーボードやポインティングデバイス（マウス）、またはタッチパネル等を使用して行う。
　顔画像検索設定画面４００は、例えば、画像ＩＤ、検索期間、検索時間帯、顔ＩＤを設定する画面である。
　画像ＩＤは、設定欄４１１に、例えば、２０１－１、２０１－２、・・・、２０１－ｎと入力する。
　検索期間は、検索開始日付欄４２１と、検索終了日付欄４２２に、例えば、2017/03/11～2017/03/15と入力する。
　検索時間帯は、検索開始時刻欄４３１と、検索終了時刻欄４３２に、例えば、06時00分00秒～12時00分00秒と入力する。
　顔ＩＤは、顔ＩＤ欄４４１に、例えば、Ａ０００１と入力すると、顔画像表示欄４４２に該当の顔画像が表示される。
　なお、検索のキーとなる顔画像は、他のシステム、例えば、侵入者検知システムで検出した顔画像を使用してもよい。
　「検索」アイコン４５１が押下されると、類似顔画像検索部２２０は類似顔画像検索を開始する。
　次に、類似顔画像検索における検索結果の表示画面について図５を用いて説明する。
　図５は本発明の一実施例に係る類似顔画像検索システムの動作を説明するための検索結果表示画面を説明するための図である。
　図５において、検索結果表示画面５００は、検索結果表示部２４０が表示した画面である。
　検索条件および検索結果５１０は、検索条件である日付５１１および時間帯５１２と、検索結果である検索結果数５１３および検索結果の１００％積上げグラフ５１４で構成されている。
　なお、１００％積上げグラフ５１４は、検索結果数を１００％にした場合であり、各類似度の比率が判るようにしたグラフである。
　本一実施例としては、類似度は、0～0.2未満、0.2～0.4未満、0.4～0.6未満、0.6～0.8未満、0.8～1.0の５つにクラス分けしている。なお、類似度のクラス分けは５つに限定するものではなく、用途に応じて決定すればよいものである。
　分布グラフ５２０は、日付５１０の所望の一つを選択することにより表示される。
　なお、分布グラフ５２０は、時間帯５１２、検索結果数５１３、１００％積上げグラフ５１４を選択した場合でも表示されるようにしてもよい。
　分布グラフ５２０は、横軸に時刻、縦軸に検索結果数を表示する。
　積上げブロック５２１は、類似度別に検索結果数に応じて高さが変動するので、類似度の高い結果がどの程度多いのか一目で分かるように表示されている。
　なお、類似度別の各ブロックは色分け表示してもよい。
　検索結果画像５４０は、分布グラフ５２０の所望の一つのブロックを選択することにより表示される。
　四角５４１は、検索した顔画像の位置を表示している。
　日付および時刻５４２は、検索した顔画像を含む画像が撮影された日付および時刻である。
　検索結果画像５４０は、画像の送りアイコン５４３、画像の戻りアイコン５４４、最初の画像への送りアイコン５４６、最後の画像への戻りアイコン５４５を有している。
　顔ＩＤ５３１は検索に使用したキー顔画像の顔ＩＤの、例えば「Ａ０００１」であり、顔画像５３２は顔ＩＤ５３１に対応した顔画像である。
　本発明は、検索結果を分布グラフ５２０で表示することにより、時間帯が異なる事象は別の事象であることが判りやすい。さらに類似度が大まかにわかることで、着目する結果か否かを一目で判断できる。
　「終了」アイコン５５０が押下されると、検索結果表示画面５００の表示を終了する。
　次に、本発明の一実施例である類似顔画像検索システムの詳細な動作について図１～図５を用いて説明する。
　図３は本発明の一実施例に係る類似顔画像検索システムの動作を説明するためのフローチャートである。
　図３において、図１の画像検索装置２０３の顔画像検索設定部２１０は、Ｓ３０１の処理で、図４の顔画像検索設定画面４００で、画像ＩＤ、検索期間、検索時間帯、顔ＩＤが入力（設定）されると、「検索」アイコン４５１の押下の有無を判定し（Ｓ３０２）、押下された場合（ＹＥＳ）にはＳ３０３の処理に進み、押下されていない場合（ＮＯ）にはＳ３０２の処理に戻る。
　図１の類似顔画像検索部２２０は、Ｓ３０１の処理では、検索条件設定の設定内容に従って、画像蓄積サーバ２０２から類似顔画像検索を行い、Ｓ３０４の処理に進む。
　画像検索結果記憶部２３０は、類似顔画像検索部２２０が類似顔画像検索を行った結果を記憶し、Ｓ３０５の処理に進む。
　なお、画像検索結果記憶部２３０は、画像蓄積サーバ２０２であってもよい。
　図１の検索結果表示部２４０は、Ｓ３０５の処理では、類似顔画像検索部２２０の検索結果を図５の検索結果表示画面５００に表示し、Ｓ３０６の処理に進む。
　検索結果表示部２４０は、Ｓ３０６の処理では、検索結果表示画面５００の画面上で詳細画像表示要求の有無を判定し、詳細画像表示要求の有りの場合（ＹＥＳ）にはＳ３０７の処理に進み、詳細画像表示要求の無しの場合（ＮＯ）にはＳ３０８の処理に進む。
　検索結果表示部２４０は、Ｓ３０７の処理では、検索結果表示画面５００に要求の画像を画像検索結果記憶部２３０から読出して表示して、検索結果表示画面５００に表示し（Ｓ３０７）、Ｓ３０６の処理に戻る。
　検索結果表示部２４０は、Ｓ３０８の処理では、「終了」アイコン５５０の押下の有無を判定し、押下されていない場合（ＮＯ）にはＳ３０６の処理に戻り、押下された場合（ＹＥＳ）には処理を終了する。
　本発明の他の一実施例としては、類似顔画像検索システム１００は、さらに地図データと撮像装置２０１－１～２０１－ｎの位置データを記憶する記憶部を有し、検索結果表示部２４０に類似顔画像検索結果として、地図画像上の撮像装置２０１の設置場所に積上げブロックを三次元表示するようにして、場所に応じた類似度を表示するようにしてもよい。
　これにより、同一場所で連続して抽出される顔画像は同一人物である可能性が高いものと認定しやすくなり、場所毎の状況を把握しやすくすることで場所の異なる事象に応じて目的の結果にたどり着きやすくなる。
　本発明のさらに他の一実施例としては、検索するキー画像を顔画像に、着衣や装飾品（貴金属、帽子、サングラス）等の画像を加えて類似度の精度を向上させるようにしてもよい。
　本発明の実施形態である類似顔画像検索システムは、どの時間帯にどのような類似度がどの程度集中しているかを見やすく表示することにより、時間帯毎に状況が推測しやすくなり、時間帯の異なる事象に応じて目的の結果にたどり着きやすくする。
　また、類似度の高いブロックのある時間帯は検索対象人物である可能性が高い人物が出没した時間であると特定することができ、類似度の種類の多い時間帯は混雑又は何等かの理由により画像の詳細確認する必要があることを把握することができる。
　以上、本発明の一実施形態について詳細に説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更して実施することができる。
　顔画像検索結果を類似度別の積算値を時間帯別に棒（積上げブロック）グラフ表示することによって、類似度の時系列傾向を確認する用途に適用できる。
　１００：類似顔画像検索システム、２００：ネットワーク、２０１－１～２０１－ｎ：撮像装置、２０２：画像蓄積サーバ、２０３：画像検索装置、２１０：顔画像検索設定部、２２０：類似顔画像検索部、２３０：画像検索結果記憶部、２４０：検索結果表示部。

Claims (3)

  1. 　人物の顔画像をキー画像として、顔の類似度を類似している順に列挙可能な類似顔画像検索システムにおいて、
    　画像検索装置が、画像蓄積サーバに記憶してある画像データから前記顔画像を基に検索して得られた類似度に応じてクラス分けし、検索結果表示部に前記クラス毎に異なるブロックを積み上げたグラフ表示とし、日付毎、時間帯毎に類似度に応じた前記ブロックを積み上げることでグラフが表示されることを特徴とする類似顔画像検索システム。
  2. 　請求項１に記載の類似顔画像検索システムおいて、
    　前記検索結果表示部は、日付を選択すると時間帯毎の分布グラフが展開表示され、時間帯毎に複数種類の前記ブロックを積み上げたグラフが表示されることを特徴とする類似顔画像検索システム。
  3. 　請求項１に記載の類似顔画像検索システムおいて、
    　前記検索結果表示部は、特定の時間帯の指定したブロックを選択することにより、特定の時間帯の人物画像が表示されることを特徴とする類似顔画像検索システム。
PCT/JP2018/008016 2017-03-29 2018-03-02 類似顔画像検索システム WO2018180201A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019509056A JPWO2018180201A1 (ja) 2017-03-29 2018-03-02 類似顔画像検索システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017065175 2017-03-29
JP2017-065175 2017-03-29

Publications (1)

Publication Number Publication Date
WO2018180201A1 true WO2018180201A1 (ja) 2018-10-04

Family

ID=63677078

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/008016 WO2018180201A1 (ja) 2017-03-29 2018-03-02 類似顔画像検索システム

Country Status (2)

Country Link
JP (1) JPWO2018180201A1 (ja)
WO (1) WO2018180201A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710790A (zh) * 2018-11-19 2019-05-03 北京达佳互联信息技术有限公司 表情搜索方法和装置、终端设备及存储介质
JP2021002165A (ja) * 2019-06-20 2021-01-07 本田技研工業株式会社 応答装置、応答方法、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090034805A1 (en) * 2006-05-10 2009-02-05 Aol Llc Using Relevance Feedback In Face Recognition
JP2009301501A (ja) * 2008-06-17 2009-12-24 Hitachi Kokusai Electric Inc 検索結果表示方法
WO2015178234A1 (ja) * 2014-05-22 2015-11-26 株式会社日立国際電気 画像検索システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001134578A (ja) * 1999-11-02 2001-05-18 Hitachi Ltd データ検索方法および装置並びにその処理プログラムを記録した記録媒体
JP5058279B2 (ja) * 2010-03-08 2012-10-24 株式会社日立国際電気 画像検索装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090034805A1 (en) * 2006-05-10 2009-02-05 Aol Llc Using Relevance Feedback In Face Recognition
JP2009301501A (ja) * 2008-06-17 2009-12-24 Hitachi Kokusai Electric Inc 検索結果表示方法
WO2015178234A1 (ja) * 2014-05-22 2015-11-26 株式会社日立国際電気 画像検索システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710790A (zh) * 2018-11-19 2019-05-03 北京达佳互联信息技术有限公司 表情搜索方法和装置、终端设备及存储介质
CN109710790B (zh) * 2018-11-19 2020-12-11 北京达佳互联信息技术有限公司 表情搜索方法和装置、终端设备及存储介质
JP2021002165A (ja) * 2019-06-20 2021-01-07 本田技研工業株式会社 応答装置、応答方法、およびプログラム
JP7026659B2 (ja) 2019-06-20 2022-02-28 本田技研工業株式会社 応答装置、応答方法、およびプログラム
US11495225B2 (en) 2019-06-20 2022-11-08 Honda Motor Co., Ltd. Response device, response method, and storage medium

Also Published As

Publication number Publication date
JPWO2018180201A1 (ja) 2020-01-16

Similar Documents

Publication Publication Date Title
US11449544B2 (en) Video search device, data storage method and data storage device
US8473525B2 (en) Metadata generation for image files
KR20190026738A (ko) 비디오 레코딩 내에 존재하는 동일한 사람 또는 물건을 대화형으로 식별하기 위한 방법, 시스템 및 컴퓨터 프로그램 제품
JP6532190B2 (ja) 画像検索装置、画像検索方法
US9773023B2 (en) Image selection using automatically generated semantic metadata
JP2018011263A (ja) 監視システム、監視カメラ、及び管理装置
JP6826293B2 (ja) 情報処理システムと、その処理方法及びプログラム
WO2019056793A1 (zh) 简历识别装置、方法及计算机可读存储介质
US10262209B2 (en) Method for analyzing video data
US20150154718A1 (en) Information processing apparatus, information processing method, and computer-readable medium
JP2015018013A (ja) 表示制御装置、プログラム及び記録媒体
US20140233854A1 (en) Real time object scanning using a mobile phone and cloud-based visual search engine
WO2018180201A1 (ja) 類似顔画像検索システム
US20140059079A1 (en) File search apparatus, file search method, image search apparatus, and non-transitory computer readable storage medium
JP2020514681A (ja) 物質検出方法、装置、電子機器、およびコンピュータ可読記憶媒体
US20210089784A1 (en) System and Method for Processing Video Data from Archive
JP5385624B2 (ja) 画像キーワード付与装置および画像検索装置ならびにそれらの制御方法
CN108369647B (zh) 基于图像的质量控制
JP5946315B2 (ja) 画像検索システム
JP2019083532A (ja) 画像処理システム、画像処理方法および画像処理プログラム
US20180189602A1 (en) Method of and system for determining and selecting media representing event diversity
JPWO2021152836A5 (ja) 情報処理装置、情報処理方法及びプログラム
JP7098508B2 (ja) 物体認証システム、物体登録装置、物体認証方法及び物体認証プログラム
JP2019190062A (ja) 切羽評価システム、切羽評価方法及び切羽評価プログラム
US20150350539A1 (en) Devices and methods of information-capture

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18776894

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019509056

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18776894

Country of ref document: EP

Kind code of ref document: A1