JP7188478B2 - SEARCH DEVICE, SEARCH METHOD, AND PROGRAM - Google Patents
SEARCH DEVICE, SEARCH METHOD, AND PROGRAM Download PDFInfo
- Publication number
- JP7188478B2 JP7188478B2 JP2021028604A JP2021028604A JP7188478B2 JP 7188478 B2 JP7188478 B2 JP 7188478B2 JP 2021028604 A JP2021028604 A JP 2021028604A JP 2021028604 A JP2021028604 A JP 2021028604A JP 7188478 B2 JP7188478 B2 JP 7188478B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- search
- similarity
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Description
本発明は、画像データから特定人物を検索する検索装置、検索方法、およびプログラムに関する。 The present invention relates to a search device, search method, and program for searching for a specific person from image data.
Webベースのシステムを用いて、多数の人が参加するイベントにおいて撮影された画像を販売する用途がある。そのような用途では、多人数の人物が写っている多数の画像を1枚ずつ順番にユーザが確認し、特定の人物が写っている画像(以下、目的画像と呼ぶ)を選別する作業が必要である。しかしながら、画像の数が多くなると、そのような選別作業には手間が発生する。そのため、多数の画像の中から目的画像を効率的かつ高精度に抽出する方法が求められる。 There is an application for selling images taken at an event attended by a large number of people using a web-based system. In such applications, it is necessary for the user to check a large number of images in which many people are photographed one by one, and select an image in which a specific person is photographed (hereinafter referred to as a target image). is. However, when the number of images increases, such sorting work becomes troublesome. Therefore, there is a demand for a method of extracting a target image from a large number of images efficiently and with high accuracy.
多数の画像から特定の人物が写っている画像を抽出する際に、目的の人物が写っている画像の候補(以下、候補画像と呼ぶ)を顔認識技術によって自動で抽出できれば、ユーザの手間が省ける。しかしながら、一般的な顔認識技術を用いて候補画像を抽出する際には、目的画像の抽出漏れが発生する可能性がある。例えば、顔認識技術を用いた人物検索では、正面を向いていない顔は、認識精度が低いために検索結果から漏れやすい。また、写真の明るさや影などの影響で、目的の人物を確実に検出できないこともある。そのため、画像だけではなく、画像以外の何らかの情報を用いて人物を特定する技術が求められる。 When extracting an image containing a specific person from a large number of images, it would be possible to automatically extract candidate images containing the target person (hereinafter referred to as candidate images) using face recognition technology, thereby saving the user time and effort. omission. However, when a candidate image is extracted using a general face recognition technique, there is a possibility that the target image will not be extracted. For example, in a person search using face recognition technology, a face that is not facing the front tends to be omitted from the search results because recognition accuracy is low. In addition, it may not be possible to reliably detect the target person due to the effects of brightness and shadows in the photograph. Therefore, there is a demand for a technique for specifying a person using not only an image but also some information other than the image.
特許文献1には、画像から得られる視覚的な類似度に加えて、種々のアプリケーション(以下、アプリと呼ぶ)から得られる社会的なつながりを人物の特定のランク付けに用いる方法について開示されている。特許文献1には、通信アプリやSNS(Social Networking Service)アプリ、カレンダーアプリ、共同アプリなどから得られる社会的つながりメトリクスを人物特定のランク付けに用いる例が開示されている。 Patent Literature 1 discloses a method of using, in addition to visual similarity obtained from images, social connections obtained from various applications (hereinafter referred to as apps) for specific ranking of persons. there is Patent Literature 1 discloses an example of using social connection metrics obtained from a communication application, an SNS (Social Networking Service) application, a calendar application, a joint application, or the like to rank personal identification.
特許文献2には、人物の顔画像に加えて、生年月日や勤務先、学歴、趣味、特技、サークルなどの属性・分類を用いて人間関係の強度を推測し、コンテンツをシェアすべき人物を評価する方法が開示されている。
In
特許文献3には、特定対象画像に写った検索対象人物を特定する装置について開示されている。特許文献3の装置は、複数の画像の撮像時刻および撮像場所に基づいてそれらの画像に写った人物の移動パターンを推定し、画像に写った人物の移動パターンと特定対象画像の撮像時間とに基づいて当該人物が存在する蓋然性の高い場所を推定する。そして、特許文献3の装置は、当該人物が存在する蓋然性の高い場所の推定結果に基づいて、特定対象画像の撮像時刻にその撮像場所に存在した蓋然性が高い人物を推定し、撮像画像に写った人物と検索対象人物とを比較することによって検索対象人物を特定する。 Patent Literature 3 discloses a device for specifying a search target person appearing in a specific target image. The device of Patent Document 3 estimates the movement pattern of a person in a plurality of images based on the imaging time and the imaging location of the images, and compares the movement pattern of the person in the image with the imaging time of the specific target image. Based on this, the location where the person is likely to exist is estimated. Then, the apparatus of Patent Document 3 estimates a person who is highly likely to have existed at the imaging location at the imaging time of the specific target image based on the estimation result of the location where the person is likely to be present, and the person is captured in the captured image. The person to be searched is identified by comparing the person to be searched with the person to be searched.
特許文献1の方法では、SNSアプリやカレンダーアプリなどのアプリを用いて得られる社会的つながりメトリクスを利用して画像に写った人物の特定を促進するため、そのような外部システムとして構築されるアプリと連携する必要がある。そのため、特許文献1の方法には、外部システムと連携できない環境では、人物の特定を行うことができないという問題点があった。また、特許文献1の方法では、社会的つながりメトリクスといった個人情報を用いて人物を特定するため、プライバシーの観点における安全性が十分ではない。 In the method of Patent Document 1, in order to promote identification of a person in an image by using social connection metrics obtained using an application such as an SNS application or a calendar application, an application constructed as such an external system is used. need to work with Therefore, the method of Patent Literature 1 has a problem that a person cannot be specified in an environment in which cooperation with an external system is not possible. In addition, the method of Patent Document 1 does not have sufficient security from the viewpoint of privacy because a person is specified using personal information such as social connection metrics.
特許文献2の方法では、人物の属性・分類に関する情報を用いて人間関係の強度を推定するため、事前に登録されている情報が誤っていたり古かったりした場合に、人間関係を精度よく検索できない可能性があるという問題点があった。
In the method of
特許文献3の方法では、特定対象画像に写った検索対象人物を特定するために、その特定対象画像よりも前に撮影された画像を用いて検索対象人物の候補の人物を抽出する必要がある。そのため、特定対象画像よりも前に撮影された画像に写っている人物が横や斜めを向いていた場合、その人物の移動パターンを推定できなくなり、検索対象人物の候補を精度よく抽出できない可能性があるという問題点があった。 In the method of Patent Document 3, in order to specify a search target person in a specific target image, it is necessary to extract a search target person candidate using an image captured before the specific target image. . Therefore, if a person in an image taken before the specific target image faces sideways or diagonally, the person's movement pattern cannot be estimated, and it may not be possible to accurately extract search target person candidates. There was a problem that there is
本発明の目的は、上述した課題を解決し、外部システムと連携せずに、人間関係に基づいて、安全かつ高精度で特定人物を検索できる検索装置を提供することにある。 SUMMARY OF THE INVENTION An object of the present invention is to solve the above-described problems and to provide a search device capable of safely and highly accurately searching for a specific person based on human relationships without cooperating with an external system.
本発明の一態様の検索装置は、第1の対象を示す第1画像と、第1の対象とは異なる対象を示す第2画像とを取得する取得部と、判定対象となる画像データと第1画像との類似度と、当該画像データと第2画像との類似度とに基づき、当該画像データに第1の対象が写っているかを判定する判定部と、第1の対象が写っている画像データを表示するよう出力する出力部と、を備える。 A search device according to one aspect of the present invention includes an acquisition unit that acquires a first image representing a first target and a second image representing a target different from the first target; a judgment unit for judging whether the first object is shown in the image data based on the degree of similarity with the first image and the degree of similarity between the image data and the second image; an output unit for outputting the image data for display.
本発明の一態様の検索方法は、コンピュータにより実行される検索方法であって、第1の対象を示す第1画像と、第1の対象とは異なる対象を示す第2画像とを取得し、判定対象となる画像データと第1画像との類似度と、当該画像データと第2画像との類似度とに基づき、当該画像データに第1の対象が写っているかを判定し、第1の対象が写っている画像データを表示するよう出力する。 A search method according to one aspect of the present invention is a search method executed by a computer, in which a first image showing a first object and a second image showing an object different from the first object are obtained, Based on the degree of similarity between the image data to be determined and the first image and the degree of similarity between the image data and the second image, it is determined whether the first object is shown in the image data, Output to display the image data showing the object.
本発明の一態様のプログラムは、第1の対象を示す第1画像と、第1の対象とは異なる対象を示す第2画像とを取得する処理と、判定対象となる画像データと第1画像との類似度と、当該画像データと第2画像との類似度とに基づき、当該画像データに第1の対象が写っているかを判定する処理と、第1の対象が写っている画像データを表示するよう出力する処理とをコンピュータに実行させる。 A program according to one aspect of the present invention includes processing for acquiring a first image showing a first target and a second image showing a target different from the first target, image data to be determined, and the first image. and the similarity between the image data and the second image, a process for determining whether the first object is shown in the image data, and the image data in which the first object is shown. The computer is caused to execute a process of outputting for display.
本発明によれば、外部システムと連携せずに、人間関係に基づいて、安全かつ高精度で特定人物を検索できる検索装置を提供することが可能になる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to provide the search device which can search a specific person safely and highly accurately based on human relations, without cooperating with an external system.
以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。 EMBODIMENT OF THE INVENTION Below, the form for implementing this invention is demonstrated using drawing. However, the embodiments described below are technically preferable for carrying out the present invention, but the scope of the invention is not limited to the following. In addition, in all the drawings used for the following description of the embodiments, the same symbols are attached to the same portions unless there is a particular reason. Further, in the following embodiments, repeated descriptions of similar configurations and operations may be omitted.
(第1の実施形態)
まず、本発明の第1の実施形態に係る検索装置について図面を参照しながら説明する。本実施形態の検索装置は、データベース(DB:Database)に格納された画像や類似度を用いて、少なくとも一つの選択対象の画像データの中から検索対象人物が写っている画像データを検索する。
(First embodiment)
First, a search device according to a first embodiment of the present invention will be described with reference to the drawings. The search device of the present embodiment uses images and similarities stored in a database (DB) to search for image data showing a person to be searched from at least one selection target image data.
(構成)
図1は、本実施形態の検索装置10の構成の一例を示すブロック図である。図1のように、検索装置10は、顔認識部11、画像DB12、類似度計算部13、類似度DB14、および検索結果出力部15を備える。検索装置10は、入力装置110と出力装置150に接続される。
(Constitution)
FIG. 1 is a block diagram showing an example of the configuration of a
検索装置10は、入力装置110から入力されるターゲット画像111および補助画像群112を用いて、画像DB12に格納された画像データの中から検索対象人物が写っている画像データを検索する。検索装置10は、検索した画像データを含む出力データ(検索結果とも呼ぶ)を生成し、生成した出力データの集合である出力データ群151を出力装置150に出力する。
The
入力装置110は、顔認識部11に接続される。入力装置110には、ユーザによって、検索対象人物を示す画像であるターゲット画像111と、ターゲット画像111の検索を補助する少なくとも一つの補助画像の集合である補助画像群112とが入力される。入力装置110は、入力されたターゲット画像111および補助画像群112を顔認識部11に出力する。補助画像は、検索対象人物の関連人物を示す画像である。例えば、入力装置110は、モニタを有する端末装置と、その端末装置に接続されるキーボードやマウス、タッチパネルなどの周辺機器とによって実現される。
The
顔認識部11は、入力装置110に接続される。また、顔認識部11は、画像DB12および類似度計算部13に接続される。顔認識部11には、入力装置110からターゲット画像111および補助画像群112が入力される。
The
ターゲット画像111と補助画像群112が入力されると、顔認識部11は、少なくとも一つの選択対象の画像データを画像DB12から順次取り出す。顔認識部11は、画像DB12から取り出したそれぞれの画像データから顔を検出する。顔認識部11は、画像データから検出した顔と、ターゲット画像111および補助画像群112との一致度の計算を行う。顔認識部11は、画像データから検出した顔と、ターゲット画像111および補助画像群112との一致度の計算結果(評価結果とも呼ぶ)を類似度計算部13に出力する。なお、顔検出や顔認識については、一般的な技術を用いればよい。
When the
例えば、ユーザは、入力装置110を用いて、検索対象人物の人物画像をターゲット画像111として入力し、検索を補助する少なくとも一人の人物画像を補助画像として検索装置10に入力する。例えば、学校の遠足の写真を販売するサイトを想定すると、検索装置10には、ユーザの子供の画像がターゲット画像111として入力され、その子供と同じ班で行動を共にした友達の画像が補助画像として入力される。
For example, the user uses the
画像DB12(第1のデータベースとも呼ぶ)は、顔認識部11、類似度計算部13、および検索結果出力部15に接続される。画像DB12は、選択対象の画像データが格納されたデータベースである。例えば、検索装置10が学校の遠足で撮影された写真を販売する用途に用いられる場合、その遠足で撮影された画像の画像データが選択対象の画像データとして画像DB12に蓄積される。
An image DB 12 (also referred to as a first database) is connected to the
例えば、画像DB12には、選択対象の画像データと、その画像データが撮影されたときの撮影条件(メタデータ)とが関連付けられて格納される。例えば、画像DB12には、Exif(Exchangeable image file format)の形式の画像データが格納される。例えば、選択対象の画像データのメタデータには、その画像データが撮影された撮影日時や、撮影位置の位置情報に相当するGPS(Global Positioning System)情報が含まれる。
For example, the
類似度計算部13は、顔認識部11、画像DB12、および類似度DB14に接続される。類似度計算部13は、顔認識部11から顔認識の評価結果を取得する。類似度計算部13は、顔認識の評価結果を取得すると、画像DB12に格納された当該画像データのメタデータを用いて、当該画像データに検索対象人物が写っているかどうか判定する。類似度計算部13は、類似度DB14に判定結果を格納する。
The
類似度DB14(第2のデータベースとも呼ぶ)は、類似度計算部13および検索結果出力部15に接続される。類似度DB14は、類似度計算部13による類似度の判定結果が格納されるデータベースである。
A similarity DB 14 (also referred to as a second database) is connected to the
検索結果出力部15は、画像DB12および類似度DB14に接続される。検索結果出力部15は、類似度計算部13による判定結果を類似度DB14から取得する。検索結果出力部15は、類似度DB14から取得した判定結果に基づいて、画像DB12から画像データを取得する。そして、検索結果出力部15は、類似度DB14から取得した判定結果に対応する画像データを画像DB12から取得する。検索結果出力部15は、画像DB12から取得した画像データを用いて、出力装置150で処理できる形式の出力データ(検索結果とも呼ぶ)を生成する。なお、検索結果出力部15は、判定結果に対応する画像データのメタデータを出力データに含めてもよい。検索結果出力部15は、生成した出力データの集合である出力データ群151を出力装置150に出力する。
The search
出力装置150は、検索結果出力部15に接続される。出力装置150には、検索結果出力部15から出力データ群151が入力される。出力装置150は、検索装置10の検索結果をユーザに提示するための装置である。例えば、出力装置150は、ディスプレイを有する表示装置によって実現される。出力装置150が表示装置によって実現される場合、出力装置150は、検索装置10の検索結果を自装置のモニタに表示する。また、例えば、出力装置150は、プリンターによって実現される。出力装置150がプリンターによって実現される場合、出力装置150は、検索装置10の検索結果を紙に印刷する。なお、検索装置10の検索結果の出力方法は、ユーザがその検索結果を確認できさえすれば、その形態には特に限定を加えない。
The
以上が、本実施形態の検索装置10の構成についての説明である。なお、図1の検索装置10の構成は一例であって、本実施形態の検索装置10の構成をそのままの形態に限定するものではない。
The above is the description of the configuration of the
〔判定結果〕
次に、類似度DB14に格納される判定結果について一例を挙げて説明する。図2は、類似度DB14に格納される判定結果の一例の判定結果テーブル140である。判定結果テーブル140には、一例として、n個の選択対象の画像データ(画像1~n)に関する判定結果が格納される。
〔judgment result〕
Next, an example of the determination result stored in the
判定結果テーブル140において、ターゲット画像111、補助画像群112(補助画像1、補助画像2、補助画像3)の各列は、ターゲット画像111および補助画像群112と、各画像データとの一致度の計算結果である。
In the determination result table 140, each column of the
判定結果テーブル140において、時刻情報の列は、選択対象の画像データのメタデータに含まれる当該画像データの撮影時刻に関する情報を示す。なお、判定結果テーブル140において、T1、T1’、およびT1’’はほぼ同じ時刻であり、その他の時刻は互いに離れているものとする。 In the determination result table 140, the time information column indicates information about the shooting time of the image data included in the metadata of the image data to be selected. In the determination result table 140, T1, T1', and T1'' are substantially the same time, and other times are separated from each other.
判定結果テーブル140において、位置情報の各列は、選択対象の画像データのメタデータに含まれる当該画像データの撮影場所(ジオタグ等)に関する情報を示す。判定結果テーブル140において、P1およびP1’はほぼ同じ位置であり、その他の位置は互いに離れているものとする。 In the determination result table 140, each column of position information indicates information about the shooting location (geotag, etc.) of the image data included in the metadata of the image data to be selected. In the determination result table 140, P1 and P1' are at substantially the same position, and the other positions are separated from each other.
判定結果テーブル140において、類似度判定の列は、一致度やメタデータに基づいて、検索対象人物が各画像に写っているかどうかの判定結果を示す。類似度判定は、検索対象人物がその画像データに写っている確度を示す。判定結果テーブル140には、判定結果を「高」、「中」、「低」の3段階で判定する例を示す。 In the determination result table 140, the similarity determination column indicates the determination result as to whether or not the person to be searched appears in each image based on the degree of matching and metadata. The similarity determination indicates the degree of certainty that the person to be searched appears in the image data. The determination result table 140 shows an example in which the determination result is determined in three levels of "high", "middle", and "low".
画像1については、判定結果テーブル140を参照すると、ターゲット画像111との一致度が90%(パーセント)である。画像1に関しては、検索対象人物が写っている可能性が高いと判定され、類似度判定は「高」に設定される。
Regarding the image 1, referring to the determination result table 140, the degree of matching with the
画像2については、判定結果テーブル140を参照すると、ターゲット画像111との一致度が70%である。画像2に関しては、一致度は70%と比較的高いが、画像1の撮影時刻T1と画像2の撮影時刻T1’がほぼ同時刻でありながら撮影場所が異なるため、検索対象人物が写っている可能性が低いと判定され、類似度判定は「低」に設定される。
Regarding the
画像3については、判定結果テーブル140を参照すると、ターゲット画像111との類似度が50%である。画像3は、一致度は50%と低いが、画像1とほぼ同時刻にほぼ同じ位置に撮像されている。また、補助画像1~3との類似度が高い人物が同時に写っている。例えば、小学生の遠足において撮影された画像の場合、検索対象である子供の班が当該時刻に当該位置で活動していれば、同じ画像に一緒に写っている可能性が高い。そのような理由により、画像3に関しては、当該画像データの類似度判定は「中」に設定されている。
Regarding the image 3, referring to the determination result table 140, the degree of similarity with the
画像nについては、判定結果テーブル140を参照すると、補助画像2~3との一致度が低いが、時刻と位置が共に画像1~3などとは離れていることから別の場面で撮影されたものと判断される。そのため、画像nに関しては、補助画像との一致度は類似度判定に影響を与えず、ターゲット画像との一致度が80%と高いことから類似度判定は「高」に設定されている。
Regarding the image n, referring to the determination result table 140, the degree of matching with the
検索結果出力部15は、類似度DB14に格納された類似度判定を参照し、類似度判定が「高」と「中」の画像データを画像DB12から取り出す。検索結果出力部15は、画像DB12から取り出した画像データを用いて、出力装置150のモニタに表示可能な出力データを生成する。検索結果出力部15は、生成した出力データを出力装置150に出力する。
The search
例えば、検索結果出力部15は、類似度判定が「高」と「中」の画像のそれぞれのサムネイルと、そのサムネイルから原寸画像を表示することが可能となるhtml形式の出力データを生成する。なお、サムネイルから参照される原寸画像は、実際の原寸画像ではなく、ユーザが判断することができる拡大画像であればよい。
For example, the search
出力装置150は、検索結果出力部15から出力データを取得する。出力装置150は、検索装置10の検索結果を自装置のモニタに表示する。例えば、出力装置150は、類似度判定が「高」と「中」の画像とを異なる表示領域に表示する。出力装置150のモニタを見たユーザは、類似度判定に応じて画像を確認することができるので、選択対象となる全ての画像を確認する負担から解放される。なお、類似度判定の区分を「高」と「中」とに細分化すると、類似度判定が「高」の画像と「中」の画像とを区別することにユーザが新たな負担を感じる可能性もある。そのため、ユーザに確認させる画像の類似度判定は、「高」と「中」の2段階に設定せずに、1段階に設定してもよい。その一方で、類似度判定の区分をより詳細に細分化した方がよい場面もあり得る。その場合は、類似度判定の分類分けをより詳細に設定すればよい。すなわち、類似度判定の区分は、用途に応じて適切な分類に調整可能である。
The
図3および図4は、類似度判定に応じて、検索された画像データを選択させるユーザインタフェース155(第1のユーザインタフェースとも呼ぶ)を出力装置150のモニタに表示させる例である。図3および図4には、類似度判定が「高」の画像データ群と、「中」の画像データ群とに分けて、購入希望の画像データをユーザに選択させるユーザインタフェース155をモニタに表示させる例を示す。
3 and 4 show an example of displaying a user interface 155 (also referred to as a first user interface) for selecting retrieved image data on the monitor of the
図3のユーザインタフェース155には、一例として、類似度判定が「高」の画像データを拡大表示させる。図3においては、一例として、類似度判定が「高」の画像データが7枚選択されており、類似度判定が「中」の画像データは選択されていないものとする。画像データを1枚100円で購入できる場合、選択されている画像の総枚数は7なので、購入金額は700円と表示される。
As an example, the
図4のユーザインタフェース155には、一例として、類似度判定が「中」の画像データを拡大表示させる。図4においては、一例として、類似度判定が「中」の画像データが3枚選択されており、類似度判定が「高」の画像データが既に7枚選択されているものとする。画像データを1枚100円で購入できる場合、選択されている画像の総枚数は10枚なので、購入金額は1000円と表示される。
As an example, the
以上の図2~図4には、全ての画像データに対して、「高」、「中」、「低」の3段階の類似度判定を類似度DB14に格納する例を示した。しかし、類似度判定は、段階的な判定ではなく、パーセンテージなどによって細分化してもよい。類似度判定を細分化すれば、検索精度をより細かく設定できる。
FIGS. 2 to 4 above show an example in which the
例えば、検索装置10は、ユーザが操作する端末装置にローカルなシステムとして構成できる。また、一例として、ターゲット画像111と補助画像群112の入力や、検索結果の表示は、ユーザが操作するパーソナルコンピュータやスマートフォンなどの端末装置で行うように構成できる。また、検索装置10は、ユーザが操作する端末装置にインターネットを介して接続されたコンピュータ資源に構成してもよい。
For example, the
(動作)
次に、本実施形態の検索装置10の動作について図面を参照しながら説明する。図5は、検索装置10の動作について説明するためのフローチャートである。図5のフローチャートに沿った説明においては、検索装置10を動作の主体とする。
(motion)
Next, the operation of the
図5において、まず、検索装置10は、入力装置110から入力されたターゲット画像111および補助画像群112を取得する(ステップS11)。
In FIG. 5, the
次に、検索装置10は、選択対象の画像データを画像DB12から取り出す(ステップS12)。なお、複数の画像データをまとめて処理する場合は、複数の画像データを一括して画像DB12から取り出してもよい。
Next, the
次に、検索装置10は、画像DB12から取り出した画像データから顔を検出する(ステップS13)。なお、複数の選択対象をまとめて処理する場合は、画像DB12から取り出した複数の画像データから一括して顔を検出するようにしてもよい。
Next, the
次に、検索装置10は、選択対象の画像データから検出した顔と、ターゲット画像111および補助画像群112との一致度を計算する(ステップS14)。なお、複数の画像をまとめて処理する場合は、複数の画像データから検出した顔と、ターゲット画像111および補助画像群112との一致度を一括して計算するようにしてもよい。
Next, the
次に、検索装置10は、算出した一致度と、画像DB12に格納された当該画像データのメタデータとを用いて、当該画像データに検索対象人物が写っているかどうか判定する(ステップS15)。なお、選択対象の画像データに検索対象人物が写っているかどうかの判定において、当該画像データのメタデータを用いない場合、検索装置10は、算出した一致度を用いて判定する。
Next, the
次に、検索装置10は、選択対象の画像データに検索対象人物が写っているかどうかの判定結果を類似度DB14に格納する(ステップS16)。
Next, the
検索対象の画像データが残っている場合(ステップS17でYes)、ステップS13に戻る。一方、選択対象の画像データが残っていない場合(ステップS17でNo)、類似度DB14に格納された判定結果に基づいて、画像DB12から画像データを取得する(ステップS18)。そして、検索装置10は、画像DB12から取得した画像データを用いて出力データを生成し、生成した出力データを出力装置150に出力する(ステップS19)。
If image data to be searched remains (Yes in step S17), the process returns to step S13. On the other hand, if image data to be selected does not remain (No in step S17), image data is obtained from the
以上が、図5のフローチャートに沿った検索装置10の動作についての説明である。なお、図5のフローチャートに沿った検索装置10の動作は一例であって、本実施形態の検索装置10の動作をそのままの手順に限定するものではない。
The above is the description of the operation of the
以上のように、本実施形態の検索装置は、第1のデータベース、顔認識部、類似度計算部、第2のデータベース、および検索結果出力部を備える。 As described above, the search device of this embodiment includes a first database, a face recognition section, a similarity calculation section, a second database, and a search result output section.
第1のデータベースには、少なくとも一つの選択対象の画像データが格納される。顔認識部は、第1のデータベースに格納された選択対象の画像データから顔を検出する。顔認識部は、検索対象人物を示すターゲット画像と、検索対象人物の検索を補助する少なくとも一つの補助画像を含む補助画像群とが指定された際に、選択対象の画像データから検出された顔がターゲット画像および補助画像群に含まれるかを評価する。類似度計算部は、顔認識部による評価結果を用いて検索対象人物が画像データに写っているかを判定する。第2のデータベースには、類似度計算部による判定結果が格納される。検索結果出力部は、第2のデータベースに格納された判定結果に基づいて、検索対象人物が写っていると判定された画像データを第1のデータベースから取得し、取得した画像データを含む出力データを生成して出力する。 The first database stores at least one selection target image data. The face recognition unit detects a face from the image data to be selected stored in the first database. The face recognition unit detects a face detected from image data of a selection target when a target image indicating a person to be searched and an auxiliary image group including at least one auxiliary image for assisting the search for the person to be searched are designated. is included in the target image and the auxiliary image group. The similarity calculation unit determines whether the person to be searched appears in the image data using the evaluation result by the face recognition unit. The second database stores the determination result by the similarity calculation unit. A search result output unit obtains from the first database image data in which the person to be searched is determined to appear based on the determination result stored in the second database, and outputs data including the obtained image data. is generated and output.
本実施形態の一態様として、顔認識部には、検索対象人物の関連人物を示す画像が補助画像として入力される。 As one aspect of the present embodiment, an image representing a person related to a person to be searched is input as an auxiliary image to the face recognition unit.
本実施形態の一態様として、顔認識部は、画像データから検出した顔と、ターゲット画像および補助画像群に含まれる人物の顔との一致度を計算する。類似度計算部は、ターゲット画像および補助画像群について算出された一致度に基づいて、検索対象人物が画像データに写っているか否かを判定する。 As one aspect of the present embodiment, the face recognition unit calculates the degree of matching between the face detected from the image data and the human face included in the target image and the auxiliary image group. The similarity calculation unit determines whether or not the person to be searched appears in the image data based on the degree of matching calculated for the target image and the group of auxiliary images.
本実施形態の一態様として、第1のデータベースには、選択対象の画像データのメタデータが格納される。類似度計算部は、選択対象の画像データのメタデータを第1のデータベースから取得する。類似度計算部は、取得した選択対象の画像データのメタデータと、ターゲット画像および補助画像群について算出された一致度とに基づいて検索対象人物が画像データに写っているかを判定する。 As one aspect of the present embodiment, metadata of image data to be selected is stored in the first database. The similarity calculation unit acquires metadata of image data to be selected from the first database. The similarity calculation unit determines whether the person to be searched appears in the image data based on the acquired metadata of the image data to be selected and the degree of matching calculated for the target image and the group of auxiliary images.
本実施形態の一態様として、類似度計算部は、選択対象の画像データのメタデータと、ターゲット画像および補助画像群について算出された一致度とに基づいて、検索対象人物が写っている確度を示す類似度判定を画像データに付与する。 As one aspect of the present embodiment, the similarity calculation unit calculates the probability that the person to be searched is shown based on the metadata of the image data to be selected and the degree of matching calculated for the target image and the group of auxiliary images. The similarity determination shown is given to the image data.
本実施形態の一態様として、検索結果出力部は、モニタを有する出力装置に接続される。検索結果出力部は、出力データを出力装置に出力する。出力装置は、出力データに含まれる画像データを選択させるための第1のユーザインタフェースをモニタに表示させる。 As one aspect of this embodiment, the search result output unit is connected to an output device having a monitor. The search result output unit outputs the output data to the output device. The output device causes the monitor to display a first user interface for selecting image data included in the output data.
本実施形態の検索装置には、検索対象人物を示す画像であるターゲット画像と、ターゲット画像の検索を補助する少なくとも一人の人物画像である補助画像を含む補助画像群とが入力される。例えば、検索装置には、ユーザの子供の顔画像がターゲット画像として入力され、その子供の友人の顔画像が補助画像として入力される。本実施形態の検索装置は、ターゲット画像および補助画像群が入力されると、第1のデータベースに格納された検索対象の画像データに対して顔認識を実行する。本実施形態の検索装置は、顔認識の評価結果と、検索対象画像の画像データのメタデータとを用いて、その画像データに検索対象人物が写っているか否かを類似度評価に基づいて判定する。 The search device of this embodiment receives a target image, which is an image representing a person to be searched, and an auxiliary image group including an auxiliary image, which is an image of at least one person who assists the search for the target image. For example, a face image of a user's child is input to the search device as a target image, and a face image of the child's friend is input as an auxiliary image. When a target image and a group of auxiliary images are input, the search device of this embodiment performs face recognition on image data to be searched stored in the first database. The search device of the present embodiment uses the evaluation result of face recognition and the metadata of the image data of the search target image to determine whether or not the search target person appears in the image data based on the similarity evaluation. do.
例えば、子供の遠足写真の販売をWebベースのシステムで行うようなケースでは、検索対象人物である子供は、親しい友人や班のメンバーなどの関連人物と一緒に撮影される可能性が高い。本実施形態によれば、検索対象人物が写っているのに顔認識の一致度が低い画像データに関しても、関連人物の顔認識の一致度に基づいて、検索対象人物が写っているか否かを検証できる。 For example, in a case where a Web-based system is used to sell excursion photos of children, there is a high possibility that the child, who is the person to be searched, will be photographed together with related persons such as close friends and group members. According to the present embodiment, even for image data in which a person to be searched is shown but whose face recognition matching degree is low, it is determined whether or not the person to be searched is shown based on the matching degree of face recognition of related persons. can be verified.
また、本実施形態によれば、画像データのメタ情報(時刻情報や位置情報)を含めて、検索対象人物がその画像データに写っているか検証することができる。例えば、同時刻に異なる場所で撮影された複数の画像データに検索対象人物が写っていることはない。そのため、同時刻に異なる場所で撮影された複数の画像データのうちいずれかを検索結果から外すことができる。 Further, according to the present embodiment, it is possible to verify whether or not the person to be searched appears in the image data including the meta information (time information and position information) of the image data. For example, the person to be searched does not appear in a plurality of image data shot at different locations at the same time. Therefore, any one of a plurality of image data shot at different locations at the same time can be excluded from the search results.
本実施形態においては、これらの各評価による判定結果を第2のデータベースに蓄積する。本実施形態によれば、第2のデータベースに蓄積された判定結果に従って、検索対象人物が写っている画像を画像データベースから選別して出力することによって、ユーザが確認する画像を選定することができる。 In this embodiment, the determination results of these evaluations are accumulated in the second database. According to this embodiment, an image to be confirmed by the user can be selected by selecting and outputting an image in which the person to be searched is shown from the image database according to the determination result accumulated in the second database. .
本実施形態の検索装置は、多数の画像データから検索対象人物が写っている画像データを抽出する際に、その検索対象人物の関連人物の存在有無を示す判定結果や、時刻情報や位置情報などのメタデータを併用する。そのため、本実施形態の検索装置によれば、検索対象人物の顔認識だけを用いる検索よりも検索精度を高めることができる。 When extracting image data in which a search target person is shown from a large number of image data, the search device of the present embodiment uses determination results indicating the presence or absence of related persons of the search target person, time information, position information, and the like. Use metadata from Therefore, according to the search device of the present embodiment, it is possible to improve the search accuracy as compared with a search using only face recognition of a person to be searched.
例えば、ユーザの子供が参加した学校行事で撮影された画像を購入する際に、子供の顔が正面を向いていない画像であっても、そのユーザにとってはその画像を購入したいという親心があるものである。本実施形態では、検索対象人物の顔画像認識結果だけではなく、その検索対象人物と行動を共にしている可能性の高い関連人物の検索結果や、行動履歴(時刻情報や位置情報)を併せて参照する。そのため、本実施形態によれば、検索対象人物の写っている画像を見落とす可能性を高精度で排除し、より精度の高い検索結果を与えることが可能である。 For example, when purchasing an image taken at a school event in which the user's child participated, even if the child's face is not facing the front, the user may want to purchase the image. is. In this embodiment, not only the face image recognition result of the search target person, but also the search result of the related person who is highly likely to act together with the search target person, and the action history (time information and position information) are combined. to refer to. Therefore, according to the present embodiment, it is possible to highly accurately eliminate the possibility of overlooking an image in which a person to be searched is included, and to provide more accurate search results.
また、プライバシー保護規制が厳しくなりつつある社会情勢から、ソーシャルネットワークサービスや共有カレンダーアプリなどの外部システムを用いる社会的人間関係図(ソーシャルグラフ)を利用して検索精度を向上させることには限界がある。本実施形態によれば、外部システムとの連携を必要とせず、閉じた環境で人間関係の検索精度を向上することができるので、プライバシー保護の観点において安全である。 In addition, due to the social situation where privacy protection regulations are becoming stricter, there is a limit to improving search accuracy by using social graphs that use external systems such as social network services and shared calendar applications. be. According to this embodiment, since it is possible to improve the accuracy of searching human relations in a closed environment without requiring cooperation with an external system, it is safe from the viewpoint of privacy protection.
すなわち、本実施形態の検索装置によれば、外部システムと連携せずに、人間関係に基づいて、安全かつ高精度で特定人物を検索できる。 That is, according to the search device of the present embodiment, it is possible to search for a specific person safely and with high accuracy based on human relationships without cooperating with an external system.
(第2の実施形態)
次に、本発明の第2の実施形態に係る検索装置について図面を参照しながら説明する。本実施形態は、画像DBに格納された画像データの中からターゲット画像や補助画像の候補の画像(候補画像とも呼ぶ)を生成し、生成した候補画像をユーザに提案する点で第1の実施形態とは異なる。
(Second embodiment)
Next, a search device according to a second embodiment of the present invention will be described with reference to the drawings. The present embodiment is the first embodiment in that candidate images (also referred to as candidate images) of the target image and the auxiliary image are generated from the image data stored in the image DB, and the generated candidate images are proposed to the user. different from the form.
図6は、本実施形態の検索装置20の構成の一例を示すブロック図である。図6のように、検索装置20は、顔認識部21、画像DB22、類似度計算部23、類似度DB24、検索結果出力部25、および候補画像提案部26を備える。検索装置20は、入力装置210と出力装置250に接続される。
FIG. 6 is a block diagram showing an example of the configuration of the
検索装置20は、画像DB22に格納された少なくとも一つの選択対象の画像データから顔を検出する。検索装置20は、ターゲット画像や補助画像の候補画像として、検出した顔を含む画像を入力装置210に出力する。ユーザは、入力装置210に表示された候補画像の中からターゲット画像や補助画像を選択し、選択したターゲット画像や補助画像を指定する。検索装置20は、入力装置210を介してユーザに指定されたターゲット画像211および補助画像群212を用いて、画像DB22に格納された画像データの中から検索対象人物が写っている画像データを検索する。検索装置20は、検索した画像データを含む出力データを生成し、生成した出力データの集合である出力データ群251を出力装置250に出力する。
The
入力装置210は、顔認識部21および候補画像提案部26に接続される。入力装置210には、ターゲット画像や補助画像の候補画像が候補画像提案部26から入力される。入力装置210は、入力された候補画像の中からターゲット画像211や補助画像を選択するためのユーザインタフェースをモニタに表示させる。入力装置210は、ユーザインタフェースを介して選択された候補画像をターゲット画像211または補助画像群212に指定する。このとき、入力装置210は、いずれの候補画像がターゲット画像211または補助画像群212に指定されたのかを示す情報を検索装置20に出力する。また、入力装置210が、ターゲット画像211および補助画像群212に指定された画像データを検索装置20に出力するようにしてもよい。
The
図7は、入力装置210のモニタに候補画像をユーザに提示するためのユーザインタフェース215(第2のユーザインタフェースとも呼ぶ)の一例を示す概念図である。図7のユーザインタフェース215には、複数の候補画像が表示される。ユーザインタフェース215には、各候補画像に対応付けて、ターゲット画像か補助画像を選択するためのチェックボックスが表示される。
FIG. 7 is a conceptual diagram showing an example of a user interface 215 (also referred to as a second user interface) for presenting candidate images to the user on the monitor of the
図8は、図7のユーザインタフェース215を確認したユーザがターゲット画像や補助画像を選択した後の状態の一例である。図8では、一例として、No.2の候補画像がターゲット画像211として選択され、No.1、3、7の候補画像が補助画像として選択される。入力装置210は、ユーザインタフェース215において選択された候補画像を、ターゲット画像211または補助画像群212を構成する補助画像として指定する。
FIG. 8 shows an example of a state after the user who checked the
候補画像提案部26は、選択対象の画像データから検出した顔を含む画像を顔認識部21から取得する。候補画像提案部26は、取得した画像を用いて検索対象画像および補助画像の候補画像を生成する。候補画像提案部26は、生成した候補画像を入力装置210に出力する。
The candidate
顔認識部21は、入力装置210に接続される。また、顔認識部21は、画像DB22類似度計算部23、および候補画像提案部26に接続される。
The
顔認識部21は、画像DB22に格納された少なくとも一つの選択対象の画像データを取得し、取得した画像データから顔を検出する。顔認識部21は、選択対象の画像データから検出した顔を含む画像を候補画像提案部26に出力する。顔認識部21は、選択対象の画像データから検出した顔を含む画像を画像DB22に格納しておいてもよいし、一旦消去してもよい。
The
また、顔認識部21には、いずれの候補画像がターゲット画像211および補助画像群212に指定されたのかを示す情報が入力装置210から入力される。ターゲット画像211および補助画像群212の指定を受けると、顔認識部21は、選択対象の画像データから検出された顔と、ターゲット画像211および補助画像群212との一致度の計算を行う。顔認識部21は、選択対象の画像データから検出された顔と、ターゲット画像211および補助画像群212との一致度の計算結果(評価結果とも呼ぶ)を類似度計算部23に出力する。
Information indicating which candidate images have been designated as the
画像DB22(第1のデータベースとも呼ぶ)は、顔認識部21、類似度計算部23、および検索結果出力部25に接続される。画像DB22は、選択対象の画像データが格納されたデータベースである。
An image DB 22 (also referred to as a first database) is connected to the
類似度計算部23は、顔認識部21、画像DB22、および類似度DB24に接続される。類似度計算部23は、顔認識部21から顔認識の評価結果を取得する。類似度計算部23は、顔認識の評価結果を取得すると、画像DB22に格納された当該画像データのメタデータを用いて、当該画像データに検索対象人物が写っているかどうか判定する。類似度計算部23は、類似度DB24に判定結果を格納する。
The
類似度DB24(第2のデータベースとも呼ぶ)は、類似度計算部23および検索結果出力部25に接続される。類似度DB24は、類似度計算部23による類似度の判定結果が格納されるデータベースである。
A similarity DB 24 (also referred to as a second database) is connected to the
検索結果出力部25は、画像DB22および類似度DB24に接続される。検索結果出力部25は、類似度計算部23による判定結果を類似度DB24から取得する。検索結果出力部25は、類似度DB24から取得した判定結果に基づいて、画像DB22から画像データを取得する。そして、検索結果出力部25は、類似度DB24から取得した判定結果に対応する画像データを画像DB22から取得する。検索結果出力部25は、画像DB22から取得した画像データを用いて、出力装置230で処理できる形式の出力データ(検索結果とも呼ぶ)を生成する。なお、検索結果出力部25は、判定結果に対応する画像データのメタデータを出力データに含めてもよい。検索結果出力部25は、生成した出力データの集合である出力データ群231を出力装置230に出力する。
The search
出力装置230は、検索結果出力部25に接続される。出力装置230には、検索結果出力部25から出力データ群231が入力される。出力装置230は、検索装置20の検索結果をユーザに提示するための装置である。なお、検索装置20の検索結果の出力方法は、ユーザがその検索結果を確認できさえすれば、その形態には特に限定を加えない。
The output device 230 is connected to the search
以上が、本実施形態の検索装置20の構成についての説明である。なお、図6の検索装置20の構成は一例であって、本実施形態の検索装置20の構成をそのままの形態に限定するものではない。
The above is the description of the configuration of the
(動作)
次に、本実施形態の検索装置20の動作について図面を参照しながら説明する。図9は、検索装置20の動作について説明するためのフローチャートである。図9のフローチャートに沿った説明においては、検索装置20を動作の主体とする。
(motion)
Next, the operation of the
図9において、まず、検索装置20は、画像DB22に格納された選択対象の画像データから候補画像を生成する(ステップS21)。
In FIG. 9, first, the
次に、検索装置20は、生成した候補画像を入力装置210に出力する(ステップS22)。
Next, the
次に、検索装置20は、いずれの候補画像がターゲット画像211および補助画像群212に指定されたのかを示す情報を入力装置210から取得する(ステップS23)。
Next, the
次に、検索装置20は、選択対象の画像データから検出した顔と、ターゲット画像111および補助画像群112との一致度を計算する(ステップS24)。
Next, the
次に、検索装置20は、算出した一致度と、画像DB22に格納された当該画像データのメタデータとを用いて、当該画像データに検索対象人物が写っているかどうか判定する(ステップS25)。なお、選択対象の画像データに検索対象人物が写っているかどうかの判定において、当該画像データのメタデータを用いない場合、検索装置20は、算出した一致度を用いて判定する。
Next, the
次に、検索装置20は、選択対象の画像データに検索対象人物が写っているかどうかの判定結果を類似度DB14に格納する(ステップS26)。
Next, the
検索対象となる画像データが残っている場合(ステップS27でYes)、ステップS24に戻る。一方、選択対象となる画像データが残っていない場合(ステップS27でNo)、類似度DB24に格納された判定結果に基づいて、画像DB22から画像データを取得する(ステップS28)。そして、検索装置20は、画像DB22から取得した画像データを用いて出力データを生成し、生成した出力データを出力装置230に出力する(ステップS29)。
If image data to be searched remains (Yes in step S27), the process returns to step S24. On the other hand, if there is no image data to be selected (No in step S27), image data is obtained from the
以上が、図9のフローチャートに沿った検索装置20の動作についての説明である。なお、図9のフローチャートに沿った検索装置20の動作は一例であって、本実施形態の検索装置20の動作をそのままの手順に限定するものではない。
The above is the description of the operation of the
以上のように、本実施形態の検索装置は、第1のデータベース、顔認識部、類似度計算部、第2のデータベース、および検索結果出力部に加えて、候補画像提案部を備える。 As described above, the search device of this embodiment includes a candidate image proposal section in addition to the first database, face recognition section, similarity calculation section, second database, and search result output section.
顔認識部は、第1のデータベースに格納された少なくとも一つの画像データを取得し、取得した画像データから顔を検出し、検出された顔を含む画像データを候補画像提案部に出力する。候補画像提案部は、顔認識部によって検出される顔を含む画像を用いてターゲット画像および補助画像の候補画像を生成し、生成した候補画像を出力する。 The face recognition unit acquires at least one piece of image data stored in the first database, detects a face from the acquired image data, and outputs image data including the detected face to the candidate image proposal unit. The candidate image proposing unit generates candidate images for the target image and the auxiliary image using the image including the face detected by the face recognition unit, and outputs the generated candidate images.
本実施形態の一形態として、候補画像提案部は、モニタを有する入力装置に接続され、候補画像を入力装置に出力する。入力装置は、候補画像の中からターゲット画像および補助画像を選択させるための第2のユーザインタフェースをモニタに表示させる。入力装置は、第2のユーザインタフェースを介して選択された候補画像のそれぞれをターゲット画像および補助画像のいずれかに指定し、指定されたターゲット画像および補助画像に関する情報を顔認識部に出力する。 As one form of this embodiment, the candidate image proposing unit is connected to an input device having a monitor and outputs candidate images to the input device. The input device causes the monitor to display a second user interface for selecting the target image and the auxiliary image from among the candidate images. The input device designates each of the candidate images selected via the second user interface as either the target image or the auxiliary image, and outputs information regarding the designated target image and auxiliary image to the face recognition unit.
一般に、ユーザの子供の画像データは手元にあるが、補助画像とするべき友達の適切な画像データが手元にないというケースは多い。本実施形態では、第1のデータベースに格納された選択対象の画像データから検出された顔画像を用いて生成された候補画像をユーザに提示し、それぞれの候補画像の中からターゲット画像と補助画像をユーザに選択させる。その結果、ユーザは、手元にない補助画像を調達する手間が省ける。 In general, there are many cases where image data of the user's child is at hand, but appropriate image data of a friend to be used as an auxiliary image is not at hand. In this embodiment, candidate images generated using face images detected from image data to be selected stored in the first database are presented to the user. is selected by the user. As a result, the user can save the trouble of procuring an auxiliary image that is not at hand.
例えば、本実施形態の検索装置は、別人物と想定される複数の人物画像を第1のデータベースから取り出し、それらの人物画像のサムネイルや原寸画像をリンク形式としてhtml形式のデータで出力・表示する。ユーザは、モニタに表示された画像を見て、検索対象人物やその関連人物の写真をクリックやタップして選択する。この際、対象人物が多数である場合は、複数のページに分けて候補画像を表示する。例えば、類似度計算によって関係が深いと判断される人物画像を優先的に表示させれば、ユーザの操作負担を軽減することも可能である。 For example, the search device of the present embodiment extracts a plurality of person images assumed to be different persons from the first database, and outputs and displays thumbnails and full-size images of those person images as data in html format as links. . The user looks at the image displayed on the monitor, and clicks or taps a picture of the person to be searched or a person related to the person to select. At this time, if there are a large number of target persons, the candidate images are displayed on a plurality of pages. For example, by preferentially displaying a person image determined to be closely related by similarity calculation, it is possible to reduce the user's operation burden.
本発明の各実施形態の手法は、遠足、学芸会などの学校イベントで撮影された写真をWebベースシステムで販売する場合のように、比較的閉じた人間関係であるが、検索対象が多人数に及ぶ人物画像検索の際に効果的である。 The method of each embodiment of the present invention involves a relatively closed interpersonal relationship, as in the case of selling photographs taken at school events such as excursions and school performances through a web-based system, but the search target is a large number of people. It is effective for person image retrieval ranging from
例えば、目的としていない人物が写りこんだ多数の画像データを1枚ずつ参照しながら、特定人物が写っている目的画像を検索するのには大変な労力が発生する。顔認識技術を用いれば、全ての画像データを1枚ずつ参照しながら目的画像を検索するのと比較して労力を省くことができる。しかしながら、現状の顔認識技術の検出精度では、特定人物が横や斜めを向いている場合などには、目的画像を精度よく検出できない。 For example, it takes a lot of effort to search for a target image in which a specific person is shown while referring to a large number of image data in which an unintended person is shown one by one. Using the face recognition technology saves labor as compared to retrieving a target image while referring to all image data one by one. However, with the current detection accuracy of face recognition technology, it is not possible to accurately detect a target image when a specific person is facing sideways or obliquely.
人間関係や行動履歴が蓄積された大人であれば、ソーシャルネットワークサービスや共有カレンダーアプリなどから抽出される人間関係や行動履歴を用いて目的画像を検索できるため、検索精度を向上させることができる。しかしながら、人間関係や行動履歴が蓄積されていない子供の画像を検索する際には、ソーシャルネットワークサービスや共有カレンダーアプリなどを用いても、目的画像の検索精度が向上するとは限らない。また、プライバシー保護規制が厳しくなる社会情勢から、ソーシャルネットワークサービスや共有カレンダーアプリなどの情報を公に利用することは難しくなりつつある。 Adults who have accumulated human relationships and action histories can search for a target image using human relationships and action histories extracted from social network services, shared calendar applications, and the like, so the search accuracy can be improved. However, when retrieving an image of a child whose human relationship or action history has not been accumulated, the use of a social network service, a shared calendar application, or the like does not necessarily improve the retrieval accuracy of the target image. In addition, due to the social situation where privacy protection regulations are becoming stricter, it is becoming difficult to publicly use information such as social network services and shared calendar applications.
また、本発明の各実施形態の手法によれば、ソーシャルネットワークサービスや共有カレンダーアプリなどの外部システムの情報を用いずに、検索対象人物の顔とともにその検索対象人物の関連人物の顔を用いてターゲット画像を検索することができる。 Further, according to the method of each embodiment of the present invention, the face of the person to be searched and the faces of related persons of the person to be searched are used without using information from an external system such as a social network service or a shared calendar application. Target images can be searched.
すなわち、本実施形態の検索装置によれば、外部システムと連携せずに、人間関係に基づいて、安全かつ高精度で特定人物を検索できる。 That is, according to the search device of the present embodiment, it is possible to search for a specific person safely and with high accuracy based on human relationships without cooperating with an external system.
(ハードウェア)
ここで、本発明の各実施形態に係る検索装置の処理を実行するハードウェア構成について、図10の情報処理装置90を一例として挙げて説明する。なお、図10の情報処理装置90は、各実施形態の検索装置の処理を実行するための構成例であって、本発明の範囲を限定するものではない。
(hardware)
Here, the hardware configuration for executing the processing of the search device according to each embodiment of the present invention will be described by taking the
図10のように、情報処理装置90は、プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95および通信インターフェース96を備える。図10においては、インターフェースをI/F(Interface)と略して表記する。プロセッサ91、主記憶装置92、補助記憶装置93、入出力インターフェース95および通信インターフェース96は、バス99を介して互いにデータ通信可能に接続される。また、プロセッサ91、主記憶装置92、補助記憶装置93および入出力インターフェース95は、通信インターフェース96を介して、インターネットやイントラネットなどのネットワークに接続される。
As shown in FIG. 10, an
プロセッサ91は、補助記憶装置93等に格納されたプログラムを主記憶装置92に展開し、展開されたプログラムを実行する。本実施形態においては、情報処理装置90にインストールされたソフトウェアプログラムを用いる構成とすればよい。プロセッサ91は、本実施形態に係る検索装置による処理を実行する。
The
主記憶装置92は、プログラムが展開される領域を有する。主記憶装置92は、例えばDRAM(Dynamic Random Access Memory)などの揮発性メモリとすればよい。また、MRAM(Magnetoresistive Random Access Memory)などの不揮発性メモリを主記憶装置92として構成・追加してもよい。
The
補助記憶装置93は、種々のデータを記憶する。補助記憶装置93は、ハードディスクやフラッシュメモリなどのローカルディスクによって構成される。なお、種々のデータを主記憶装置92に記憶させる構成とし、補助記憶装置93を省略することも可能である。
The
入出力インターフェース95は、情報処理装置90と周辺機器とを接続するためのインターフェースである。通信インターフェース96は、規格や仕様に基づいて、インターネットやイントラネットなどのネットワークを通じて、外部のシステムや装置に接続するためのインターフェースである。入出力インターフェース95および通信インターフェース96は、外部機器と接続するインターフェースとして共通化してもよい。
The input/
情報処理装置90には、必要に応じて、キーボードやマウス、タッチパネルなどの入力機器を接続するように構成してもよい。それらの入力機器は、情報や設定の入力に使用される。なお、タッチパネルを入力機器として用いる場合は、表示機器の表示画面が入力機器のインターフェースを兼ねる構成とすればよい。プロセッサ91と入力機器との間のデータ通信は、入出力インターフェース95に仲介させればよい。
The
また、情報処理装置90には、情報を表示するための表示機器を備え付けてもよい。表示機器を備え付ける場合、情報処理装置90には、表示機器の表示を制御するための表示制御装置(図示しない)が備えられていることが好ましい。表示機器は、入出力インターフェース95を介して情報処理装置90に接続すればよい。
Further, the
また、情報処理装置90には、必要に応じて、ディスクドライブを備え付けてもよい。ディスクドライブは、バス99に接続される。ディスクドライブは、プロセッサ91と図示しない記録媒体(プログラム記録媒体)との間で、記録媒体からのデータ・プログラムの読み出し、情報処理装置90の処理結果の記録媒体への書き込みなどを仲介する。記録媒体は、例えば、CD(Compact Disc)やDVD(Digital Versatile Disc)などの光学記録媒体で実現できる。また、記録媒体は、USB(Universal Serial Bus)メモリやSD(Secure Digital)カードなどの半導体記録媒体や、フレキシブルディスクなどの磁気記録媒体、その他の記録媒体によって実現してもよい。
Further, the
以上が、本発明の各実施形態に係る検索装置を可能とするためのハードウェア構成の一例である。なお、図10のハードウェア構成は、各実施形態に係る検索装置の演算処理を実行するためのハードウェア構成の一例であって、本発明の範囲を限定するものではない。また、各実施形態に係る検索装置に関する処理をコンピュータに実行させるプログラムも本発明の範囲に含まれる。さらに、各実施形態に係るプログラムを記録したプログラム記録媒体も本発明の範囲に含まれる。 The above is an example of the hardware configuration for enabling the search device according to each embodiment of the present invention. Note that the hardware configuration of FIG. 10 is an example of a hardware configuration for executing arithmetic processing of the search device according to each embodiment, and does not limit the scope of the present invention. The scope of the present invention also includes a program that causes a computer to execute processing related to a search device according to each embodiment. Further, the scope of the present invention also includes a program recording medium on which the program according to each embodiment is recorded.
各実施形態の検索装置の構成要素は、任意に組み合わせることができる。また、各実施形態の検索装置の構成要素は、ソフトウェアによって実現してもよいし、回路によって実現してもよい。 The components of the search device of each embodiment can be combined arbitrarily. Also, the constituent elements of the search device of each embodiment may be implemented by software or may be implemented by a circuit.
以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.
10、20 検索装置
11、21 顔認識部
12、22 画像DB
13、23 類似度計算部
14、24 類似度DB
15、25 検索結果出力部
26 候補画像提案部
110、210 入力装置
150、250 出力装置
10, 20
13, 23
15, 25 search
Claims (12)
判定対象となる画像データと前記第1画像との類似度と、当該画像データと前記第2画像との類似度とに基づき、当該画像データに前記第1の対象が写っているかを判定する判定手段と、
前記第1の対象が写っている前記画像データを表示するよう出力する出力手段と、
前記第1画像および前記第2画像の候補画像を出力する候補画像提案手段と、
を備える検索装置。 acquisition means for acquiring a first image showing a first object that is a person to be detected and a second image showing a second object related to the first object;
Determining whether or not the first object is shown in the image data based on the degree of similarity between the image data to be determined and the first image and the degree of similarity between the image data and the second image. means and
output means for outputting to display the image data showing the first object;
candidate image proposal means for outputting candidate images of the first image and the second image;
A search device comprising:
前記第1の対象の関連人物を示す画像を前記第2画像として取得する
請求項1に記載の検索装置。 The acquisition means is
2. The search device according to claim 1, wherein an image showing a related person of said first target is obtained as said second image.
前記画像データから検出した顔と、前記第1画像および前記第2画像に含まれる人物の顔との一致度を計算し、
前記第1画像について算出された前記一致度に基づいて、前記第1の対象が前記画像データに写っているか否かを判定し、
前記第2画像について算出された前記一致度に基づいて、前記第2の対象が前記画像データに写っているか否かを判定する
請求項1または2に記載の検索装置。 The determination means is
calculating the degree of matching between the face detected from the image data and the human face included in the first image and the second image;
Determining whether the first object appears in the image data based on the degree of matching calculated for the first image ;
3. The search device according to claim 1 , wherein it is determined whether or not the second object appears in the image data based on the degree of matching calculated for the second image .
前記画像データのメタデータを格納し、
前記判定手段は、
前記メタデータと、前記第1画像および前記第2画像について算出された前記一致度とに基づいて、前記第1の対象が前記画像データに写っているかを判定する
請求項3に記載の検索装置。 The acquisition means is
storing metadata for the image data;
The determination means is
4. The search device according to claim 3, wherein it is determined whether the first object appears in the image data based on the metadata and the degree of matching calculated for the first image and the second image. .
前記メタデータと、前記第1画像および前記第2画像について算出された前記一致度とに基づいて、前記第1の対象が写っている確度を示す類似度判定を前記画像データに付与する
請求項4に記載の検索装置。 The determination means is
3. Based on the metadata and the degree of matching calculated for the first image and the second image, similarity determination indicating a degree of probability that the first object is captured is added to the image data. 5. The search device according to 4.
前記出力手段は、
前記第1の対象と前記第2画像における被写体とが映る前記画像データを前記出力装置に出力し、
前記出力装置は、
前記第1の対象と前記第2画像における被写体とが映る前記画像データを選択させるための第1のユーザインタフェースを前記モニタに表示させる
請求項5に記載の検索装置。 connected to an output device having a monitor;
The output means is
outputting the image data showing the first object and the object in the second image to the output device;
The output device is
6. The retrieval device according to claim 5, wherein the monitor displays a first user interface for selecting the image data showing the first target and the subject in the second image.
少なくとも一つの前記画像データを前記候補画像提案手段に出力し、
前記候補画像提案手段は、
前記判定手段が出力した前記画像データを用いて前記候補画像を出力する
請求項1乃至6のいずれか一項に記載の検索装置。 The determination means is
outputting at least one of the image data to the candidate image proposing means;
The candidate image proposing means includes:
7. The search device according to any one of claims 1 to 6, wherein the candidate image is output using the image data output by the determination means.
モニタを有する入力装置に接続され、前記候補画像を前記入力装置に出力し、
前記入力装置は、
前記候補画像の中から前記第1画像および前記第2画像を選択させるための第2のユーザインタフェースを前記モニタに表示させ、前記第2のユーザインタフェースを介して選択された前記候補画像のそれぞれを前記第1画像および前記第2画像のいずれかに指定し、指定された前記第1画像および前記第2画像に関する情報を前記判定手段に出力する
請求項7に記載の検索装置。 The candidate image proposing means includes:
connected to an input device having a monitor, outputting the candidate image to the input device;
The input device is
displaying on the monitor a second user interface for selecting the first image and the second image from among the candidate images, and displaying each of the candidate images selected via the second user interface; 8. The search device according to claim 7, wherein one of said first image and said second image is specified, and information on said specified first image and said second image is output to said determination means.
請求項1乃至8のいずれか一項に記載の検索装置。 Based on the degree of similarity between the image data and the first image, and the degree of similarity between the second image showing the related person of the first object and the image data, the object in the second image and the first image 9. The search device according to any one of claims 1 to 8, further comprising classifying means for classifying the image data in which the target is shown into a plurality of levels of priority.
前記第1の対象と前記被写体とが映る前記画像データを前記優先順位ごとに表示するよう出力する
請求項9に記載の検索装置。 The output means is
outputting the image data showing the first object and the subject so as to be displayed for each of the priorities ;
The search device according to claim 9.
検出対象人物である第1の対象を示す第1画像と、前記第1の対象に関連する第2の対象を示す第2画像とを取得し、
判定対象となる画像データと前記第1画像との類似度と、当該画像データと前記第2画像との類似度とに基づき、当該画像データに前記第1の対象が写っているかを判定し、
前記第1の対象が写っている前記画像データを表示するよう出力し、
前記第1画像および前記第2画像の候補画像を出力する
検索方法。 A computer implemented search method comprising:
Acquiring a first image showing a first object that is a detection target person and a second image showing a second object related to the first object,
Determining whether the first object is shown in the image data based on the similarity between the image data to be determined and the first image and the similarity between the image data and the second image,
outputting to display the image data showing the first object ;
A search method for outputting candidate images for the first image and the second image .
判定対象となる画像データと前記第1画像との類似度と、当該画像データと前記第2画像との類似度とに基づき、当該画像データに前記第1の対象が写っているかを判定する処理と、
前記第1の対象が写っている前記画像データを表示するよう出力する処理と、
前記第1画像および前記第2画像の候補画像を出力する処理と、
をコンピュータに実行させるプログラム。 a process of acquiring a first image showing a first object that is a person to be detected and a second image showing a second object related to the first object;
Determining whether or not the first object is shown in the image data based on the degree of similarity between the image data to be determined and the first image and the degree of similarity between the image data and the second image. When,
a process of outputting to display the image data showing the first object ;
a process of outputting candidate images of the first image and the second image;
A program that makes a computer run
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021028604A JP7188478B2 (en) | 2019-12-17 | 2021-02-25 | SEARCH DEVICE, SEARCH METHOD, AND PROGRAM |
JP2022192537A JP2023021176A (en) | 2019-12-17 | 2022-12-01 | Program, retrieval device, and retrieval method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019227490A JP6844681B2 (en) | 2019-12-17 | 2019-12-17 | Search device, search method, and program |
JP2021028604A JP7188478B2 (en) | 2019-12-17 | 2021-02-25 | SEARCH DEVICE, SEARCH METHOD, AND PROGRAM |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019227490A Division JP6844681B2 (en) | 2019-12-17 | 2019-12-17 | Search device, search method, and program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022192537A Division JP2023021176A (en) | 2019-12-17 | 2022-12-01 | Program, retrieval device, and retrieval method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021099835A JP2021099835A (en) | 2021-07-01 |
JP7188478B2 true JP7188478B2 (en) | 2022-12-13 |
Family
ID=72263381
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019227490A Active JP6844681B2 (en) | 2019-12-17 | 2019-12-17 | Search device, search method, and program |
JP2021028604A Active JP7188478B2 (en) | 2019-12-17 | 2021-02-25 | SEARCH DEVICE, SEARCH METHOD, AND PROGRAM |
JP2022192537A Pending JP2023021176A (en) | 2019-12-17 | 2022-12-01 | Program, retrieval device, and retrieval method |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019227490A Active JP6844681B2 (en) | 2019-12-17 | 2019-12-17 | Search device, search method, and program |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022192537A Pending JP2023021176A (en) | 2019-12-17 | 2022-12-01 | Program, retrieval device, and retrieval method |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP6844681B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009059042A (en) | 2007-08-30 | 2009-03-19 | Olympus Imaging Corp | Image handling device, image handling method, and image handling program |
WO2015107640A1 (en) | 2014-01-15 | 2015-07-23 | 富士通株式会社 | Album creation program, album creation method, and album creation device |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008148053A (en) * | 2006-12-11 | 2008-06-26 | Seiko Epson Corp | Apparatus, server and method for image processing, and control program |
JP2014102715A (en) * | 2012-11-21 | 2014-06-05 | Dainippon Printing Co Ltd | School photo management server, school photo management system, school photo management method, program and recording medium |
-
2019
- 2019-12-17 JP JP2019227490A patent/JP6844681B2/en active Active
-
2021
- 2021-02-25 JP JP2021028604A patent/JP7188478B2/en active Active
-
2022
- 2022-12-01 JP JP2022192537A patent/JP2023021176A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009059042A (en) | 2007-08-30 | 2009-03-19 | Olympus Imaging Corp | Image handling device, image handling method, and image handling program |
WO2015107640A1 (en) | 2014-01-15 | 2015-07-23 | 富士通株式会社 | Album creation program, album creation method, and album creation device |
Also Published As
Publication number | Publication date |
---|---|
JP2023021176A (en) | 2023-02-09 |
JP2020135855A (en) | 2020-08-31 |
JP2021099835A (en) | 2021-07-01 |
JP6844681B2 (en) | 2021-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9477685B1 (en) | Finding untagged images of a social network member | |
JP5386007B2 (en) | Image clustering method | |
JP6660119B2 (en) | Information processing apparatus, information processing method, and program | |
US10276213B2 (en) | Automatic and intelligent video sorting | |
JP7463473B2 (en) | Image candidate determination device, image candidate determination method, program for controlling the image candidate determination device, and recording medium storing the program | |
JP4490214B2 (en) | Electronic album display system, electronic album display method, and electronic album display program | |
JP2006268843A (en) | Electronic album editing system, electronic album editing method, and electronic album editing program | |
JP2020127194A (en) | Computer system and program | |
JP6635208B1 (en) | Search device, search method, and program | |
US11775618B2 (en) | Image processing device, image processing method, and image processing program for deciding a similarity between a captured image and a sample image | |
US9195312B2 (en) | Information processing apparatus, conference system, and information processing method | |
JP2006079460A (en) | System, method and program for displaying electronic album and device, method, and program for classifying image | |
JP6410427B2 (en) | Information processing apparatus, information processing method, and program | |
JP2020140555A (en) | Image processing device, control method, and program | |
JP5767413B1 (en) | Information processing system, information processing method, and information processing program | |
US11144763B2 (en) | Information processing apparatus, image display method, and non-transitory computer-readable storage medium for display control | |
JP7188478B2 (en) | SEARCH DEVICE, SEARCH METHOD, AND PROGRAM | |
US20230126712A1 (en) | Image processing device, image processing method, program, and recording medium | |
US20150095825A1 (en) | Person image display control apparatus, method of controlling same, and recording medium storing control program therefor | |
JP6784519B2 (en) | Information processing equipment, its control method, and programs | |
US20180189602A1 (en) | Method of and system for determining and selecting media representing event diversity | |
US20150095827A1 (en) | Person image decision apparatus for electronic album, method of controlling same, and recording medium storing control program therefor | |
WO2015100070A1 (en) | Presenting information based on a video | |
JP7203877B2 (en) | Image extraction device, image extraction method, image extraction program, and recording medium storing the program | |
KR102079483B1 (en) | Methods, systems and media for transforming fingerprints to detect unauthorized media content items |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210225 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20211020 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221114 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7188478 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |