WO2021130906A1

WO2021130906A1 - 画像検索システム、画像検索方法及び記憶媒体

Info

Publication number: WO2021130906A1
Application number: PCT/JP2019/050862
Authority: WO
Inventors: 高橋　徹; 石山　塁; 賢吾牧野
Original assignee: 日本電気株式会社
Priority date: 2019-12-25
Filing date: 2019-12-25
Publication date: 2021-07-01
Also published as: EP4083814A4; JPWO2021130906A1; EP4083814A1; US20220327157A1

Abstract

対象物体の注目領域が事前に登録された時点ではどうなっていたのかを確認するため、本発明の画像検索システムは、複数の登録対象物体を撮像した複数の登録画像を記憶する記憶手段と、注目領域を含む検索用画像を取得する取得手段と、前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出する抽出手段と、前記記憶手段に記憶されている複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する登録画像を検索する検索手段と、前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する出力手段とを備える。

Description

画像検索システム、画像検索方法及び記憶媒体

　本発明は、画像検索システム、画像検索方法及び記憶媒体に関する。

　検査対象物の表面に照明部から光を照射して、反射光を撮像部で受光し、受光した光による輝度分布を解析して、検査対象物に存在する傷等を検出する画像検査装置が知られている。例えば、特許文献１には、照明を変えて撮影した複数枚の画像から、正反射や拡散反射等の成分に分解した画像を生成することで、欠陥の検出を容易にする画像検査装置が開示されている。

特開２０１８－２０５０２５号公報

　検査対象物に関して検査時に欠陥がないことを証明できたとしても、検査対象物の運搬後等に欠陥が生じてしまう場合がある。一方、特許文献１に記載の装置は、検査対象物から欠陥を検出することは記載されているが、検査対象物が運搬された先で欠陥が生じた場合に、検査時に欠陥がなかった旨を証明することについては何ら開示されていない。

　本発明の目的は、上述した課題を鑑み、欠陥等の注目領域を含む物体の検査時の状態を容易に確認することが可能な画像検索システム、画像検索方法及び記憶媒体を提供することを主とする。

　本発明による画像検索システムは、複数の登録対象物体を撮像した複数の登録画像を記憶する記憶手段と、注目領域を含む検索用画像を取得する取得手段と、前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出する抽出手段と、前記記憶手段に記憶されている複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する登録画像を検索する検索手段と、前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する出力手段とを備える。

　本発明による画像検索方法は、注目領域を含む検索用画像を取得し、前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出し、複数の登録対象物体を撮像した複数の登録画像から、抽出された前記特徴量と一致する特徴量を有する登録画像を検索し、検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する。

　本発明による記憶媒体は、注目領域を含む検索用画像を取得する取得手段と、前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出する抽出手段と、記憶手段に記憶されている複数の登録対象物体を撮像した複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する登録画像を検索する検索手段と、前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する出力手段としてコンピュータを機能させるプログラムを格納する。

　本発明によれば、欠陥等の注目領域を含む物体の検査時の状態を容易に確認することが可能となる。

本発明における、メーカー、流通業者、販売業者、顧客および画像検索システム１の関係の例を示した図である。本発明における、登録者および検索者がする行為の例を示した図である。第１の実施形態における画像検索システムの機能ブロックの一例である。登録者が登録する画像の一例である。検索者が検索に用いる画像の一例である。注目領域の一例である。注目領域の一例である。特徴量抽出領域の一例である。特徴量抽出領域の一例である。出力部が画像を重畳して出力する一例である。出力部が画像を重畳して出力する一例である。出力部が拡大画像を出力する一例である。出力部が２つの画像を比較できる態様で出力する一例である。出力部が製品の各流通タイミングで登録された画像を出力する一例である。注目領域および特徴量抽出領域の表示形態の一例である。登録時のフローチャートの一例である。検索時のフローチャートの一例である。第１の実施形態の変形例における画像検索システムの機能ブロックの一例である。第２の実施形態における画像検索システムの機能ブロックの一例である。本発明の各実施形態の各部を構成するハードウエアの一例を示すブロック図である。

　以下、図面を参照しながら、画像検索システム、画像検索方法及び記憶媒体について説明する。

　＜第１の実施形態＞
　図１は、メーカー、流通業者、販売業者、顧客および画像検索システム１の関係の例を示した図である。図１は、メーカー、流通業者、販売業者、顧客の順で製品が流通している場合に、それぞれが画像検索システムを利用することを示す一例である。しかしながら、図１に示す画像検索システムの利用形態に限定されず、例えば、メーカーと顧客のみが画像検索システムを利用してもよい。また、メーカーは部品メーカーと完成品メーカーとに細分化してもよい。その際には、部品メーカーと完成品メーカーの間に流通業者が加わってもよく、部品メーカーから完成品メーカーへは部品が製品として流通する。

　図２は、登録者および検索者がする行為の例を示した図である。登録者は、完成品メーカー、部品メーカー、流通業者、販売業者等である。登録者は登録端末２を用いて、製品の画像を画像検索システム１にアップロードする。検索者は、完成品メーカー、流通業者、販売業者、顧客等である。検索者は検索端末３を用いて画像検索システム１へアクセスし、画像検索を行う。画像検索システム１は検索結果画像を検索端末３へ出力する。

　図３は、本実施形態における画像検索システムの機能ブロックの一例である。図３に示すように、画像検索システム１は、登録部１１、記憶部１２、取得部１３、特定部１４、抽出部１５、検索部１６、出力部１７を含んで構成される。登録端末２は画像検索システム１の登録部１１に接続されている。検索端末３は画像検索システム１の取得部１３と出力部１７に接続されている。

　以下、画像検索システム１を構成するそれぞれの機能ブロックについて、図３に加え、図４以降の図面を参照しながら詳しく説明する。

　登録部１１は、複数の登録対象物体をそれぞれ撮像した登録画像１０１と、登録対象物体に関連する情報とを、登録端末２から取得する。そして、登録部１１は、各登録対象物体の画像から特徴量を抽出する。そして、登録部１１は、各画像と特徴量と関連する情報とをそれぞれ関連付けて記憶部１２に登録する。なお、登録部１１は、登録画像１０１を各部分領域に分割し、各部分領域から特徴量を抽出して登録することが好ましい。

　登録対象物体は、例えば、メーカー等で製造された工業製品である。登録対象物体は、有形であればよく、バッグ等の革製品、お弁当等の食料品、錠剤等の医薬品も含む。

　登録画像１０１は、登録対象物体を撮像した画像である。登録画像１０１は、登録対象物体の全体が撮像されていても、一部が撮像されていてもよい。また、登録画像１０１は、同一対象物を複数枚撮像したものであってもよい。例えば、登録画像１０１は、同一の登録対象物体の部位毎や異なる撮影方向毎に複数枚撮像されたものであってもよい。また、登録画像１０１は動画であってもよい。例えば、登録画像１０１は、複数の照明方向から同一箇所が撮像された複数枚の静止画又は動画であってもよい。なお、登録画像１０１は、特徴量を抽出することが可能な程度の解像度であることが好ましい。

　登録対象物体に関連する情報は、例えば、登録者の情報（登録者の所属、名前等）、登録日時、生産日、登録場所、製造場所、品質情報（検査結果等）、流通工程における区分（流通業者、販売業者等）、製造番号、ロット番号、登録対象物体の撮像された位置の情報、関連する登録画像１０１の情報、等である。例えば、同一の登録対象物体に対して複数枚の画像を撮像している場合、登録対象物体に関連する情報は、各画像が同一の登録対象物体を撮像したものであることが認識できる情報を含み、登録対象物体の撮像された位置の情報（表面、裏面、側面部等）を含むことが望ましい。また、例えば、メーカーで登録済みの対象物体が販売業者等で再度登録される場合、登録対象物体に関連する情報は、登録画像１０１の特徴量が一致することによって、同一の登録対象物体を撮像したものであることが認識できる情報を含むことが好ましい。

　図４は、登録者が登録する登録画像１０１の一例である。図４（ａ）は、登録対象物体であるスマートフォンの表面の全体を撮像した画像である。図４（ｂ）は、登録対象物体であるスマートフォンの裏面の全体を撮像した画像である。

　記憶部１２は、登録部１１によって登録された登録画像１０１と、登録画像１０１から抽出された特徴量と、登録対象物体に関連する情報とを関連付けて記憶する。

　取得部１３は、注目領域を含む検索用画像１０２を検索端末３から取得する。取得部１３は、取得した検索用画像１０２を特定部１４に出力する。さらに、取得部１３は、検索用画像１０２の注目領域に関する情報を取得してもよい。取得部１３は、検索用画像１０２の注目領域に関する情報を取得した場合に、注目領域に関する情報を特定部１４に出力する。

　検索用画像１０２は、検索対象物体を撮像した画像である。検索用画像１０２は、検索対象物体の全体が撮像されていても、一部が撮像されていてもよい。また、検索用画像１０２は複数枚であってもよい。例えば、検索用画像１０２は、照明条件が異なるように同一箇所の撮影を行い、注目領域を認識しやすい照明角度によって撮影された画像と、特徴量を抽出しやすい照明角度によって撮影された画像とであってもよい。また、検索用画像１０２は、動画であってもよい。例えば、検索用画像１０２は、複数の照明方向から同一箇所が撮像された動画であってもよい。なお、検索用画像１０２は、特徴量を抽出することが可能な程度の解像度であることが好ましい。

　注目領域は、検索用画像１０２中の注目する領域である。例えば、注目領域は、製品表面の傷等の欠陥を撮像した検索用画像１０２の傷を含む領域である。また、例えば、注目領域は、虫が混入している弁当を撮像した検索用画像１０２中の虫を含む領域である。

　注目領域に関する情報は、検索用画像１０２中の注目領域を指定するための情報である。例えば、注目領域に関する情報は、検索者が検索端末３にて検索用画像１０２を見ながら範囲を指定した情報である。例えば、注目領域に関する情報は、検索端末３にてタッチパネル上に表示された検索用画像１０２の注目領域の外周を検索者がなぞって入力した情報である。

　図５は、検索者が用いる検索用画像１０２の一例である。図５（ａ）は、検索対象物体であるスマートフォンの裏面の全体を撮像した画像である。図５（ｂ）は、検索対象物体であるスマートフォンの裏面の一部を撮像した画像である。

　図６および図７は、注目領域の一例である。例えば、検索者は、図６（ａ）のように注目領域を含む四角形で注目領域を指定してもよい。例えば、検索者は、図６（ｂ）のように注目領域の形に合わせて注目領域を指定してもよい。図７（ａ）および図７（ｂ）は、検索用画像１０２が検索対象物体の一部を撮像したものであっても、注目領域を図６（ａ）および図６（ｂ）と同様に指定できることを示す。

　特定部１４は、取得部１３が取得した検索用画像１０２の注目領域を特定する。特定部１４は、取得部１３が注目領域に関する情報を取得している場合、注目領域に関する情報に基づいて注目領域を特定する。特定部１４は、取得部１３が注目領域に関する情報を取得していない場合、取得部１３が取得した検索用画像１０２に基づいて注目領域を特定する。特定部１４は、例えば、検索用画像１０２を各部分領域に分割し、分割された各部分領域に対して欠陥（傷等）の有無を特定することで、注目領域を特定する。特定部１４は、例えば、各部分領域の欠陥の有無の特定には、欠陥の特徴を学習したニューラルネットワークを用いる。また特定部１４は、例えば、欠陥のない部分領域の特徴をモデルに学習させて正常モデルを作り、正常モデルに対して逸脱する部分領域を欠陥として特定してもよい。特定部１４は、特定した注目領域を抽出部１５へ出力する。

　抽出部１５は、検索用画像１０２のうち特定部１４によって特定された注目領域以外の領域から特徴量を抽出する。特徴量が抽出された領域（以下、特徴量抽出領域と呼ぶ）は、対象物体の表面の領域のうち、登録画像が記憶部１２に記憶されている領域であればよい。例えば、抽出部１５は、特定部１４によって分割された各部分領域の大きさが注目領域を除いても特徴量の抽出に十分である場合、特定部１４によって欠陥有りと特定された部分領域のうち注目領域以外の領域から特徴量を抽出してもよい。例えば、抽出部１５は、特定部１４によって分割された各部分領域の大きさが注目領域を除くと特徴量の抽出に十分でない場合、特定部１４によって欠陥有りと特定された部分領域に隣接する部分領域から特徴量を抽出してもよい。また、抽出部１５は、検索用画像１０２が、注目領域を認識しやすい照明角度によって撮影された画像と、特徴量を抽出しやすい照明角度によって撮影された画像とを含む場合、注目領域を認識しやすい照明角度によって撮影された画像における注目領域と同一箇所を、特徴量を抽出しやすい照明角度によって撮影された画像における注目領域とし、注目領域以外の領域から特徴量を抽出する。抽出部１５は、抽出した特徴量を検索部１６に出力する。

　抽出部１５が抽出する特徴量は、例えば、特徴量抽出領域に対して２次元離散フーリエ変換を施して得た周波数特徴である。また、特徴量は、特徴量抽出領域の輝度勾配、特徴量抽出領域の画素の大小関係に基づく二値の特徴量、特徴量抽出領域の画像を事前に学習されたニューラルネットに入力した出力結果等であってもよい。

　図８は、特徴量抽出領域の一例である。図８（ａ）は、一点鎖線で囲まれた領域のうち、注目領域である点線で囲まれた領域を除いた領域が、特徴量抽出領域である。抽出部１５は、注目領域を含む一点鎖線で囲まれた領域のうち、注目領域以外の領域から特徴量を抽出してもよい。図８（ｂ）は、一点鎖線で囲まれた領域が、特徴量抽出領域である。特徴量抽出領域は、上下左右隣接する領域が好ましい。抽出部１５は、注目領域と隣接する一点鎖線で囲まれた領域から特徴量を抽出してもよい。なお、特徴量抽出領域は、注目領域との位置関係が分かればよく、注目領域と隣接していなくてもよい。

　図９は、検索用画像１０２が検索対象物体の一部を撮像したものであっても、特徴量抽出領域を図８と同様に定められることを示す。

　検索部１６は、抽出部１５によって抽出された特徴量と一致する特徴量を有する登録画像１０１を記憶部１２から検索する。例えば、検索部１６は、登録画像１０１と登録画像１０１から抽出された特徴量とが関連付けられて記憶部１２に記憶されている場合、記憶部１２から、抽出部１５によって抽出された特徴量と一致する特徴量と関連付けられた登録画像を検索する。検索部１６は、検索結果を出力部１７に出力する。

　出力部１７は、検索部１６によって検索された登録画像１０１の一部または全部を、検索用画像１０２の注目領域に対応する領域が認識できる態様で検索端末３に出力する。

　図１０（ａ）および図１０（ｂ）は、出力部１７が画像を重畳して出力する一例である。出力部１７は、検索用画像１０２の注目領域に対応する領域が認識できる画像を重畳して出力してもよい。出力される登録画像１０１は、検索用画像１０２の注目領域に対応する領域を含んでいれば、対象物体の全体を撮像した登録画像１０１から一部が切り出された画像でもよく、対象物体の一部を撮像した登録画像１０１であってもよい。検索用画像１０２の注目領域に対応する領域が認識できる画像が重畳されることによって、検索者は、検索用画像１０２において注目領域となっていた領域と対応する登録画像１０１の領域を視覚的に理解し、登録時には対応する領域がどのような状態であったのかを確かめることができる。

　図１１（ａ）および図１１（ｂ）は、出力部１７が画像を重畳して出力する一例である。出力部１７は、検索用画像１０２の特徴量抽出領域を認識できる画像を重畳して出力してもよい。出力される登録画像１０１は、検索用画像１０２の注目領域に対応する領域および特徴量抽出領域を含んでいれば、対象物体の全体を撮像した登録画像１０１から一部が切り出された画像でもよく、対象物体の一部を撮像した登録画像１０１であってもよい。検索用画像１０２の特徴量抽出領域が認識できる画像が重畳されることによって、検索者は、検索用画像１０２において特徴量抽出領域と対応する登録画像１０１の領域を視覚的に理解し、確かめることができる。

　図１２は、出力部１７が拡大画像を出力する一例である。出力部１７は、検索部１６によって検索された登録画像１０１と、検索部１６によって検索された登録画像１０１における検索用画像１０２の注目領域に対応する領域の拡大画像とを出力してもよい。これにより、検索者は、登録時には対応する領域がどのような状態であったのかを詳細に確かめることができる。

　図１３は、出力部１７が２つの画像を比較できる態様で出力する一例である。出力部１７は、検索用画像１０２の注目領域に対応する領域を含む登録画像１０１の一部または全部と検索用画像１０２とを出力してもよい。図１３における登録画像１０１および検索用画像１０２は、対象物体の一部あるいは全部を含むものであってよい。検索用画像１０２の注目領域に対応する領域を含む登録画像１０１の一部または全部と検索用画像１０２とが出力されることによって、検索者は、検索用画像１０２の注目領域に対応する登録画像１０１の領域と検索用画像１０２の注目領域とを１画面上で比較することができる。

　また、図１３は、登録画像１０１に関連付けられた情報である検査結果を出力する一例である。出力部１７は、検索部１６によって検索された登録画像１０１に関連付けられた情報をさらに出力してもよい。これにより、検索者は、登録画像１０１に関連する情報を確認することができる。

　図１４は、出力部１７が製品の各流通タイミングで登録された画像を出力する一例である。出力部１７は、検索部１６によって検索された登録画像１０１が、図１に示したメーカー、流通業者および販売業者それぞれによって登録されている場合、複数の登録画像１０１の一部または全部にそれぞれ関連付けられた情報をさらに出力してもよい。なお、各流通タイミングは図１に示した例に限定されない。複数の登録画像１０１の一部または全部にそれぞれ関連付けられた情報がさらに出力されることによって、検索者は、対象物品の注目領域が各流通タイミングでどのような状態になっていたのかを確認することができる。さらに、検索者は、各流通タイミングのどのタイミングで欠陥が発生したのかを確認することができる。また、検索者は、製品が各流通タイミングで登録されている場合、欠陥が生じた原因や要因の調査を行うことができる。

　図１５は、注目領域および特徴量抽出領域の表示形態の一例である。登録画像１０１および検索用画像１０２に重畳表示される注目領域および特徴量抽出領域は、例えば、図１５（ａ）、図１５（ｂ）、図１５（ｃ）および図１５（ｄ）に示す態様で認識されるようにしてもよい。注目領域および特徴量抽出領域の表示形態は、点線でも一点鎖線でも実線でもよく、図１５の表示形態に限定されない。また、注目領域および特徴量抽出領域が、異なる色で表示されていてもよい。

　図１６は、登録時のフローチャートの一例である。

　まず、登録部１１は、複数の登録対象物体をそれぞれ撮像した登録画像１０１と登録対象物体に関連する情報とを、登録端末２から取得する（ステップＳ１０２）。

　次に、登録部１１は、各登録対象物体の登録画像１０１から特徴量を抽出する（ステップＳ１０４）。

　そして、登録部１１は、各登録画像１０１と特徴量と関連する情報とを関連付けて、記憶部１２に登録する（ステップＳ１０６）。

　図１７は、検索時のフローチャートの一例である。

　まず、取得部１３は、注目領域を含む検索用画像１０２を検索端末３から取得する（ステップＳ２０２）。

　次に、特定部１４は、検索用画像１０２の注目領域を特定する（ステップＳ２０４）。

　次に、抽出部１５は、検索用画像１０２のうち注目領域以外の領域から特徴量を抽出する（ステップＳ２０６）。

　次に、検索部１６は、抽出された特徴量と一致する特徴量を有する登録画像１０１を検索する（ステップＳ２０８）。

　そして、出力部１７は、登録画像１０１の一部または全部を、検索用画像１０２の注目領域に対応する領域が認識できる態様で検索端末３へ出力する（ステップＳ２１０）。

　このように、第１の実施形態によれば、画像検索システム１は、欠陥等の注目領域を含む物体の検査時の状態を容易に確認することを可能とする。これにより登録者は、対象物体の画像を登録しておくことで、検索者が欠陥を含む対象物体で検索した際に、登録時には欠陥が存在しなかったことを証明することができる。また、検索者は、注目領域に対応する登録画像の領域を好適に確認することができる。さらに、検索者は、対象物体に関連する情報を確認することができる。

　さらに、第１の実施形態によれば、画像検索システム１は、例えばメーカーが出荷時に外観検査を行った場合であれば、出荷時の製造物表面に傷や凹み等がないことの証明を可能とするため、消費者に製造物が届くまでの過程において、仲介する物流業者や小売業者等によって、製造物に傷等が生じてしまった場合であっても、出荷時には欠陥が存在しなかったことを証明することができる。また、画像検索システム１は、悪意のある人物が製造物外観の画像をデジタル上で加工し、製造物に欠陥があるように見せかけ、メーカーに対して風評被害をもたらそうとする場合であっても、欠陥が存在しなかったことを証明することができる。

　なお、第１の実施形態における登録対象物体は工業製品を対象に説明したが、登録対象物体は道路やトンネル等のインフラの一部又は全部であってもよい。画像検索システム１は、道路やトンネル等のインフラのひび割れ検知を行う場合、前回登録時との差分を知るために容易に画像検索することを可能とする。例えば、画像検索システム１は、検査済み道路における事故発生時において、事故発生個所で前回検査を実施していたことの証明や、検査時の状態（画像）を表示することができる。

　＜第１の実施形態の変形例＞
　図１８は、第１の実施形態の変形例における画像検索システムの機能ブロックの一例である。図１８の各機能ブロックは、図３の各機能ブロックと同様であるが、記憶部１２と抽出部１５が接続されている点で第１の実施形態と異なる。また、第１の実施形態においては、記憶部１２が登録画像１０１と、登録画像１０１の特徴量と、登録対象物体に関連する情報とを関連付けて記憶しているのに対し、変形例においては、記憶部１２が登録画像１０１の特徴量を記憶していない点で第１の実施形態と異なる。以下、第１の実施形態とは異なる構成のみを説明する。

　変形例における抽出部１５は、記憶部１２に記憶されている登録画像１０１から特徴量を抽出する。そして、抽出部１５は、抽出した特徴量と、登録画像１０１とを関連づける。

　変形例における検索部１６は、抽出部１５によって抽出された登録画像１０１の特徴量から、検索用画像１０２の特徴量と一致する特徴量と関連付けられた登録画像１０１を検索する。

　＜第２の実施形態＞
　図１９は、本実施形態における画像検索システムの機能ブロックの一例である。図１９に示すように、画像検索システム１Ａは、記憶部１２Ａ、取得部１３Ａ、抽出部１５Ａ、検索部１６Ａ、出力部１７Ａを含んで構成される。

　例えば、記憶部１２Ａ、取得部１３Ａ、抽出部１５Ａ、検索部１６Ａ、出力部１７Ａは、それぞれ記憶部１２、取得部１３、抽出部１５、検索部１６、出力部１７と同様に構成することができるが、それに限定されない。

　取得部１３Ａは、注目領域を含む検索用画像１０２を取得し、抽出部１５Ａに出力する。抽出部１５Ａは、検索用画像１０２のうち注目領域以外の領域から特徴量を抽出し、検索部１６Ａに出力する。検索部１６Ａは、抽出された特徴量と一致する特徴量を有する登録画像１０１を検索し、検索結果を出力部１７Ａに出力する。出力部１７Ａは、登録画像１０１の一部または全部を、検索用画像１０２の注目領域に対応する領域が認識できる態様で出力する。

　第２の実施形態によっても、画像検索システム１Ａは、対象物体の注目領域が事前に登録された時点ではどうなっていたのかを確認可能とする。

　＜ハードウエアの構成例＞
　第１の実施形態および第２の実施形態における画像検索システムのハードウエア構成について以下に説明する。第１の実施形態および第２の実施形態における画像検索システムの各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、第１の実施形態および第２の実施形態における画像検索システムの各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

　図２０は、第１の実施形態および第２の実施形態における画像検索システムを実現するための計算機１０００、ネットワーク１３００、登録端末２、検索端末３を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ（ＰＣ）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、第１の実施形態および第２の実施形態における画像検索システムを実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

　計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース（Ｉ／Ｆ）１１００、及びネットワークインタフェース（Ｉ／Ｆ）１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、又はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　ＧａｔｅＡｒｒａｙ）などの種々のプロセッサである。メモリ１０６０は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、メモリカード、又はＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などを用いて実現される補助記憶装置である。

　入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース１１００には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続される。

　ネットワークインタフェース１１２０は、計算機１０００をネットワーク１３００に接続するためのインタフェースである。このネットワークは、例えばＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）である。ネットワークインタフェース１１２０がネットワークに接続する方法は、無線接続であってもよいし、有線接続であってもよい。

　さらに、ネットワーク１３００には登録端末２および検索端末３が接続されており、計算機１０００と登録端末２および検索端末３とはネットワーク１３００を介してデータを通信できるようになっている。

　ストレージデバイス１０８０は、第１の実施形態および第２の実施形態における画像検索システムの各手段を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

　なお、第１の実施形態および第２の実施形態における画像検索システムの一部の機能は登録端末２および検索端末３側で実行されていてもよい。すなわち、登録端末２および検索端末３の内部にプロセッサやストレージデバイス、メモリが格納されており、第１の実施形態および第２の実施形態における画像検索システムの各手段の処理の全部、あるいは一部をこれらのコンポーネントを用いて実行するようになっていてもよい。例えば、登録部１１の処理を登録端末２側で実行し、それ以外の処理を計算機１０００側で実行するようになっていてもよい。あるいは、取得部１３、特定部１４、抽出部１５の処理を検索端末３側で実行するようになっており、検索部１６および出力部１７については、計算機１０００側で実行するようになっていてもよい。

　検索端末３は、スマートフォン等のようにタッチパネルディスプレイを備え、取得部１３と出力部１７の双方と接続していてもよい。また、検索端末３は、Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ（ＰＣ）およびディスプレイのようなものであって、取得部１３と接続されているハードウエアと出力部１７と接続されているハードウエアが別々となっていても構わない。

　以上、本発明を、上述した模範的な実施の形態に適用した例として説明した。しかしながら、本発明の技術的範囲は、上述した各実施の形態に記載した範囲には限定されない。当業者には、係る実施の形態に対して多様な変更または改良を加えることが可能であることは明らかである。そのような場合、係る変更または改良を加えた新たな実施の形態も、本発明の技術的範囲に含まれ得る。そしてこのことは、請求の範囲に記載した事項から明らかである。

　＜産業上の利用可能性＞
　本発明の画像検索システムを用いることで、対象物体の注目領域が、事前に登録された時点ではどうなっていたのかを確認可能となる。よって、メーカーは、出荷前検査を行う際に対象物体を撮像している画像を登録しておくことで、後に対象物体に欠陥等が生じたとしても、メーカー出荷時には欠陥等が存在しなかったことを証明することができる。また、本発明の画像検索システムは、道路やトンネル等のインフラのひび割れ検知を行う場合であっても、前回登録時との差分を知るために容易に画像検索することを可能とする。

　（付記事項）
　なお、前述の実施形態の構成は、組み合わせる或いは一部の構成部分を入れ替えてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。

　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　複数の登録対象物体を撮像した複数の登録画像を記憶する記憶手段と、
　注目領域を含む検索用画像を取得する取得手段と、
　前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出する抽出手段と、
　前記記憶手段に記憶されている複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する登録画像を検索する検索手段と、
　前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する出力手段と
を備える画像検索システム。
（付記２）
　前記出力手段は、前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる画像を重畳して出力する
付記１に記載の画像検索システム。
（付記３）
　前記出力手段は、前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の特徴量が抽出された領域に対応する領域が認識できる画像を重畳して出力する
付記１または２に記載の画像検索システム。
（付記４）
　前記出力手段は、前記検索手段によって検索された前記登録画像と、前記検索手段によって検索された前記登録画像における前記検索用画像の前記注目領域に対応する領域の拡大画像とを出力する
付記１から３のいずれか１項に記載の画像検索システム。
（付記５）
　前記出力手段は、前記検索用画像の前記注目領域に対応する領域を含む前記登録画像の一部または全部と前記検索用画像とを出力する
付記１から４のいずれか１項に記載の画像検索システム。
（付記６）
　前記記憶手段は、前記複数の登録画像にそれぞれ関連付けられた情報を記憶し、
　前記出力手段は、前記検索手段によって検索された登録画像に関連付けられた情報をさらに出力する
付記１から５のいずれか１項に記載の画像検索システム。
（付記７）
　前記記憶手段は、前記登録対象物体の流通過程において異なる複数のタイミングで撮像された登録画像を記憶し、
　前記検索手段は、前記記憶手段に記憶されている複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する、前記複数のタイミングごとの登録画像を検索し、
　前記出力手段は、前記検索手段によって検索された前記複数のタイミングごとの登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する
付記１から６のいずれか１項に記載の画像検索システム。
（付記８）
　前記検索用画像を用いて、前記検索用画像の注目領域を特定する特定手段をさらに備える、
付記１から７のいずれか１項に記載の画像検索システム。
（付記９）
　前記特定手段は、前記取得手段によって取得された検索用画像を各部分領域に分割し、分割された各部分領域に対して欠陥の有無を判定することで前記注目領域を特定する
付記８に記載の画像検索システム。
（付記１０）
　前記取得手段は、前記注目領域を指定する情報をさらに取得し、
　前記取得手段によって取得された前記注目領域を指定する情報に基づいて、前記検索用画像の注目領域を特定する特定手段をさらに備える
付記１から７のいずれか１項に記載の画像検索システム。
（付記１１）
　前記抽出手段は、前記注目領域を含む所定の領域のうち、前記注目領域以外の領域から特徴量を抽出する
付記１から１０のいずれか１項に記載の画像検索システム。
（付記１２）
　前記抽出手段は、前記注目領域と隣接する所定の領域から特徴量を抽出する
付記１から１０のいずれか１項に記載の画像検索システム。
（付記１３）
　注目領域を含む検索用画像を取得し、
　前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出し、
　複数の登録対象物体を撮像した複数の登録画像から、抽出された前記特徴量と一致する特徴量を有する登録画像を検索し、
　検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する
画像検索方法。
（付記１４）
　検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる画像を重畳して出力する
付記１３に記載の画像検索方法。
（付記１５）
　検索された前記登録画像の一部または全部を、前記検索用画像の特徴量が抽出された領域に対応する領域が認識できる画像を重畳して出力する
付記１３または１４に記載の画像検索方法。
（付記１６）
　検索された前記登録画像と、検索された前記登録画像における前記検索用画像の前記注目領域に対応する領域の拡大画像とを出力する
付記１３から１５のいずれか１項に記載の画像検索方法。
（付記１７）
　前記検索用画像の前記注目領域に対応する領域を含む前記登録画像の一部または全部と前記検索用画像とを出力する
付記１３から１６のいずれか１項に記載の画像検索方法。
（付記１８）
　前記記憶手段は、前記複数の登録画像にそれぞれ関連付けられた情報を記憶し、
　検索された前記登録画像に関連付けられた情報をさらに出力する
付記１３から１７のいずれか１項に記載の画像検索方法。
（付記１９）
　前記記憶手段は、前記登録対象物体の流通過程において異なる複数のタイミングで撮像された登録画像を記憶し、
　前記記憶手段に記憶されている複数の登録画像から、抽出された特徴量と一致する特徴量を有する、前記複数のタイミングごとの登録画像を検索し、
　検索された前記複数のタイミングごとの登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する
付記１３から１８のいずれか１項に記載の画像検索方法。
（付記２０）
　注目領域を含む検索用画像を取得する取得手段と、
　前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出する抽出手段と、
　記憶手段に記憶されている複数の登録対象物体を撮像した複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する登録画像を検索する検索手段と、
　前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する出力手段
としてコンピュータを機能させるプログラムが格納された記憶媒体。

１、１Ａ　画像検索システム
２　登録端末
３　検索端末
１１　登録部
１２　記憶部
１３、１３Ａ　取得部
１４　特定部
１５、１５Ａ　抽出部
１６、１６Ａ　検索部
１７、１７Ａ　出力部
１０１　登録画像
１０２　検索用画像
１０００　計算機
１０２０　バス
１０４０　プロセッサ
１０６０　メモリ
１０８０　ストレージデバイス
１１００　入出力Ｉ／Ｆ
１１２０　ネットワークＩ／Ｆ
１３００　ネットワーク

Claims

　複数の登録対象物体を撮像した複数の登録画像を記憶する記憶手段と、
　注目領域を含む検索用画像を取得する取得手段と、
　前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出する抽出手段と、
　前記記憶手段に記憶されている複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する登録画像を検索する検索手段と、
　前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する出力手段と
を備える画像検索システム。
　前記出力手段は、前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる画像を重畳して出力する
請求項１に記載の画像検索システム。
　前記出力手段は、前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の特徴量が抽出された領域に対応する領域が認識できる画像を重畳して出力する
請求項１または２に記載の画像検索システム。
　前記出力手段は、前記検索手段によって検索された前記登録画像と、前記検索手段によって検索された前記登録画像における前記検索用画像の前記注目領域に対応する領域の拡大画像とを出力する
請求項１から３のいずれか１項に記載の画像検索システム。
　前記出力手段は、前記検索用画像の前記注目領域に対応する領域を含む前記登録画像の一部または全部と前記検索用画像とを出力する
請求項１から４のいずれか１項に記載の画像検索システム。
　前記記憶手段は、前記複数の登録画像にそれぞれ関連付けられた情報を記憶し、
　前記出力手段は、前記検索手段によって検索された登録画像に関連付けられた情報をさらに出力する
請求項１から５のいずれか１項に記載の画像検索システム。
　前記記憶手段は、前記登録対象物体の流通過程において異なる複数のタイミングで撮像された登録画像を記憶し、
　前記検索手段は、前記記憶手段に記憶されている複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する、前記複数のタイミングごとの登録画像を検索し、
　前記出力手段は、前記検索手段によって検索された前記複数のタイミングごとの登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する
請求項１から６のいずれか１項に記載の画像検索システム。
　前記検索用画像を用いて、前記検索用画像の注目領域を特定する特定手段をさらに備える、
請求項１から７のいずれか１項に記載の画像検索システム。
　前記特定手段は、前記取得手段によって取得された検索用画像を各部分領域に分割し、分割された各部分領域に対して欠陥の有無を判定することで前記注目領域を特定する
請求項８に記載の画像検索システム。
　前記取得手段は、前記注目領域を指定する情報をさらに取得し、
　前記取得手段によって取得された前記注目領域を指定する情報に基づいて、前記検索用画像の注目領域を特定する特定手段をさらに備える
請求項１から７のいずれか１項に記載の画像検索システム。
　前記抽出手段は、前記注目領域を含む所定の領域のうち、前記注目領域以外の領域から特徴量を抽出する
請求項１から１０のいずれか１項に記載の画像検索システム。
　前記抽出手段は、前記注目領域と隣接する所定の領域から特徴量を抽出する
請求項１から１０のいずれか１項に記載の画像検索システム。
　注目領域を含む検索用画像を取得し、
　前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出し、
　複数の登録対象物体を撮像した複数の登録画像から、抽出された前記特徴量と一致する特徴量を有する登録画像を検索し、
　検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する
画像検索方法。
　検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる画像を重畳して出力する
請求項１３に記載の画像検索方法。
　検索された前記登録画像の一部または全部を、前記検索用画像の特徴量が抽出された領域に対応する領域が認識できる画像を重畳して出力する
請求項１３または１４に記載の画像検索方法。
　検索された前記登録画像と、検索された前記登録画像における前記検索用画像の前記注目領域に対応する領域の拡大画像とを出力する
請求項１３から１５のいずれか１項に記載の画像検索方法。
　前記検索用画像の前記注目領域に対応する領域を含む前記登録画像の一部または全部と前記検索用画像とを出力する
請求項１３から１６のいずれか１項に記載の画像検索方法。
　前記記憶手段は、前記複数の登録画像にそれぞれ関連付けられた情報を記憶し、
　検索された前記登録画像に関連付けられた情報をさらに出力する
請求項１３から１７のいずれか１項に記載の画像検索方法。
　前記記憶手段は、前記登録対象物体の流通過程において異なる複数のタイミングで撮像された登録画像を記憶し、
　前記記憶手段に記憶されている複数の登録画像から、抽出された特徴量と一致する特徴量を有する、前記複数のタイミングごとの登録画像を検索し、
　検索された前記複数のタイミングごとの登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する
請求項１３から１８のいずれか１項に記載の画像検索方法。
　注目領域を含む検索用画像を取得する取得手段と、
　前記検索用画像のうち前記注目領域以外の領域から特徴量を抽出する抽出手段と、
　記憶手段に記憶されている複数の登録対象物体を撮像した複数の登録画像から、前記抽出手段によって抽出された特徴量と一致する特徴量を有する登録画像を検索する検索手段と、
　前記検索手段によって検索された前記登録画像の一部または全部を、前記検索用画像の前記注目領域に対応する領域が認識できる態様で出力する出力手段
としてコンピュータを機能させるプログラムが格納された記憶媒体。