JP6731883B2 - 参照画像選択装置、方法、及びプログラム - Google Patents

Description

本発明は、参照画像選択装置、方法、及びプログラムに係り、特に、クエリ画像に写る被写体を認識するための参照画像選択装置、方法、及びプログラムに関する。

カメラ等により空間を撮像したクエリ画像に写った被写体の認識や検出を行うための技術として、特許文献１に記載の方法等、クエリ画像が予め被写体を撮影した参照画像群の何れに類似するかを推定する技術が知られている。

特開２０１５−２０１１２３号公報

ところで、上記の技術では、被写体を様々な方向から撮像した場合でも認識や検出を可能とするために、参照画像も複数の方向から撮像した物を用意する必要がある。この時、認識させたい撮像角度の範囲、照明条件、時間帯、及び天候等の撮像条件のバリエーションと事前の参照画像群によっては、被写体をうまく認識できない場合が多い事が後に判明し、参照画像を追加する必要が出てくる場合があるが、被写体認識装置の運用条件によってはすべての認識結果を精査して参照画像を更新する余裕が無い場合もある。

また、複数の被写体を識別して認識しようとする場合、被写体同士の類似具合や参照画像の内容によっては、ある被写体の認識用に用意された参照画像が他の被写体を撮影したクエリ画像に類似していると認識してしまう、すなわち誤検出が発生してしまう場合もある。参照画像の規模が膨大である場合、このように誤検出を引き起こす参照画像を特定し、抽出するのは困難であるため、そのような参照画像を効率よく特定する方法が望まれる。

本発明は、上記事情を鑑みて成されたものであり、効率よく、参照画像を選択することができる参照画像選択装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る参照画像選択装置は、ユーザによって撮影された空間を写した複数のクエリ画像の各々が、予め被写体の種類と関連付けて登録されている複数の参照画像のいずれに類似するかを判定する画像認識部と、前記画像認識部によって前記クエリ画像の各々が類似すると判定された前記参照画像の被写体の種類に応じて、前記クエリ画像を区分する画像区分部と、前記区分ごとの区別が可能な表示形式により前記クエリ画像の各々を表示する認識結果表示部と、を含んで構成されている。

また、第１の発明に係る参照画像選択装置において、前記画像認識部は、前記判定において、前記クエリ画像と前記参照画像の各々との類似度を１種類以上算出し、算出した前記類似度に基づいて、前記クエリ画像に写る被写体と前記参照画像に写る被写体とが一致するか否かを判定し、前記画像区分部は、前記一致すると判定された前記被写体の種類の数に基づいて、前記クエリ画像を、いずれの前記参照画像の被写体にも類似しない区分、前記参照画像における２種類以上の被写体に類似する区分、及び前記参照画像における１種類の被写体に類似する区分のいずれかに区分するようにしてもよい。

また、第１の発明に係る参照画像選択装置において、前記認識結果表示部は、前記クエリ画像の各々を前記区分ごとに異なる表示形式で表示し、前記クエリ画像を新たな前記参照画像として登録する操作を受け付けるインターフェースを有するようにしてもよい。

第２の発明に係る参照画像選択方法は、画像認識部が、ユーザによって撮影された空間を写した複数のクエリ画像の各々が、予め被写体の種類と関連付けて登録されている複数の参照画像のいずれに類似するかを判定するステップと、画像区分部が、前記画像認識部によって前記クエリ画像の各々が類似すると判定された前記参照画像の被写体の種類に応じて、前記クエリ画像を区分するステップと、認識結果表示部が、前記区分ごとの区別が可能な表示形式により前記クエリ画像の各々を表示するステップと、を含んで実行することを特徴とする。

第３の発明に係るプログラムは、コンピュータを、第１の発明に係る参照画像選択装置の各部として機能させるためのプログラムである。

本発明の参照画像選択装置、方法、及びプログラムによれば、クエリ画像の各々について、複数の参照画像のいずれに類似するかを判定し、クエリ画像の各々について、クエリ画像が類似すると判定された参照画像における被写体の種類に応じて、クエリ画像を区分し、区分ごとの区別が可能な表示形式によりクエリ画像の各々を表示することにより、効率よく、参照画像を選択することができる、という効果が得られる。

本発明の実施の形態に係る参照画像選択装置の構成を示すブロック図である。 本発明の実施の形態に係る参照画像選択装置の参照画像選択処理ルーチンを示すフローチャートである。 クエリ画像一覧の表示方法の例である。 クエリ画像の認識結果の表示方法の例である。

以下、図面を参照して本発明の実施の形態を詳細に説明する。

＜本発明の実施の形態に係る参照画像選択装置の構成＞

まず、本発明の実施の形態に係る参照画像選択装置の構成について説明する。図１に示すように、本発明の実施の形態に係る参照画像選択装置１００は、ＣＰＵと、ＲＡＭと、後述する参照画像選択処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この参照画像選択装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。

入力部１０は、ユーザによって撮影された空間を写した複数のクエリ画像の各々を受け付ける。

演算部２０は、記憶部２２と、画像認識部３０と、画像区分部３２と、認識結果表示部３４とを含んで構成されている。各処理部の具体的な処理については後述する作用において説明する。

記憶部２２には、被写体の種類が関連付けられた複数の参照画像の各々が格納されている。また記憶部２２には、画像認識部３０で算出されたクエリ画像と参照画像の各々との類似度、及び被写体の種類の数が格納される。

画像認識部３０は、入力部１０で受け付けたクエリ画像の各々について、複数の参照画像のいずれに類似するかを判定する。具体的には、クエリ画像と参照画像の各々との類似度を算出し、算出した類似度に基づいて、クエリ画像に写る被写体と参照画像に写る被写体とが一致するか否かを判定する。つまり、参照画像との類似度が高ければ参照画像と同一の被写体が写っている可能性が高いものと捉える。そして、クエリ画像の参照画像の各々との類似度、及び参照画像の各々と被写体が一致するか否かのキー（例えば0,1）を記憶部２２に格納する。

画像区分部３２は、クエリ画像の各々について、クエリ画像が類似すると判定された参照画像における被写体の種類の数に基づいて、クエリ画像を、いずれの参照画像の被写体にも類似しない区分、参照画像における２種類以上の被写体に類似する区分、及び参照画像における１種類の被写体に類似する区分のいずれかに区分する。

認識結果表示部３４は、区分ごとの区別が可能な表示形式によりクエリ画像の各々を表示する。例えば、クエリ画像を区分ごとに異なる表示形式で表示し、表示画面は、クエリ画像を新たな参照画像として登録する操作を受け付けるインターフェースを有する。また、クエリ画像との類似度が算出された参照画像の詳細について表示し、表示画面は、登録されている参照画像の登録を削除する操作を受け付けるインターフェースを有する。

＜本発明の実施の形態に係る参照画像選択装置の作用＞

次に、本発明の実施の形態に係る参照画像選択装置１００の作用について説明する。入力部１０においてクエリ画像の各々を受け付けると、参照画像選択装置１００は、図２に示す参照画像選択処理ルーチンを実行する。

まず、ステップＳ１００では、画像認識部３０は、入力部１０において受け付けたクエリ画像を選択する。

次に、ステップＳ１０２では、画像認識部３０は、ステップＳ１００で選択されたクエリ画像と参照画像の各々との類似度を算出し、算出した類似度に基づいて、クエリ画像に写る被写体と参照画像に写る被写体とが一致するか否かを判定する。そして、参照画像の各々との類似度、及び参照画像の各々と被写体が一致するか否かのキーを記憶部２２に格納する。類似の判定に用いる具体的なアルゴリズムは、例えば、特許文献１の方法を利用することができる。なお、類似の判定のアルゴリズムは特許文献１の方法に限定されるものではない。また、類似度は複数種類算出しても良い。その意義としては、例えば、ある画像同士が類似するか否かの判定を２値の尺度を用いて行い、類似すると判定された参照画像について、さらに順位付けをするために他の多値の尺度を用いる、といった事が考えられる。

次に、ステップＳ１０４では、画像区分部３２は、ステップＳ１０２でクエリ画像が類似すると判定された参照画像における被写体の種類の数に基づいて、クエリ画像を区分する。被写体の種類の数は、記憶部２２における参照画像のキーに基づいて、類似すると判定された参照画像の被写体の種類をカウントする。クエリ画像の区分処理は、後の認識結果の表示の際に認識結果を精査すべきクエリ画像を容易に抽出できるような区分を行う。区分は例えば、（１）いずれの参照画像の被写体にも類似しない区分、（２）参照画像における２種類以上の被写体に類似する区分、及び（３）参照画像における１種類の被写体に類似する区分のいずれかの区分が考えられる。この区分に従うと、（１）の区分の場合はクエリ画像に検出すべき被写体が写っていれば検出漏れであるため、参照画像に追加すべきクエリ画像という事になる。（２）の区分の場合はいずれかの参照画像が誤って類似していると判定された可能性があるため、最も優先される（類似度が高い）検出結果が正しい検出であるかどうか確認し、誤っていた場合はこのクエリ画像を参照画像に追加する事が考えられる。（３）の区分のクエリ画像は、すなわち１種類の被写体の参照画像とだけ類似すると判定されたクエリ画像であるため、正しい検出である可能性が高いと判断し精査を省略することができる。以上クエリ画像の区分とその意義の一例を示したが、区分方法はこれに限定されるものではない。例えば（２）の区分で、複数種類の被写体の参照画像が類似すると判定されていても、その大部分を１種類の被写体の参照画像が占めている場合は、最も類似度の高い参照画像が誤検出である可能性は低いと考える事もできるため、（３）の区分に含めるようにしてもよい。

ステップＳ１０６では、全てのクエリ画像について処理を終了したかを判定し、終了していればステップＳ１０８へ移行し、終了していなければステップＳ１００に戻って次のクエリ画像を選択して処理を繰り返す。

ステップＳ１０８では、区分ごとの区別が可能な表示形式によりクエリ画像の各々を出力部５０により一覧で表示する。

例えば、区分ごとに異なる表示形式の目印を画像に付与して表示することによって、結果の精査が必要なクエリ画像がひと目で判別できるようになる。表示形式の目印の例としては、区分ごとに異なる色や模様の枠を画像に付与する、区分ごとに異なるアイコンや注釈を画像と併せて表示する、画像のサイズや透明度等を区分ごとに変更する、等が考えられる。

他にも、画像を区分ごとに別々のリストにして表示する等、区分を判るようにする方法は限定されない。また、この際、精査不要と見做す区分（前述の区分例における（３）等）のクエリ画像については非表示としてもよい。

また、クエリ画像の一覧を表示すると共に、表示画面に、クエリ画像を参照画像に加える「追加」ボタンのインターフェースを設けてもよい。

以上説明した認識結果の表示の例を図３に示す。図３では、類似すると判定されなかったクエリ画像と、複数被写体の参照画像と類似すると判定されたクエリ画像と、１被写体の参照画像と類似すると判定されたクエリ画像とがそれぞれ異なる模様の枠付きで表示されている。図３の例では、斜線模様の枠は１被写体の参照画像と類似すると判定されたクエリ画像を表すので、斜線模様の枠が付与されたクエリ画像は確認不要と判断する事が出来る。斜線格子模様の枠はいずれの参照画像とも類似すると判定されなかったクエリ画像を表すので、斜線格子模様の枠が付与されていて、かつ被写体を含んでいる画像であるのならば、各クエリ画像の下部に表示された追加ボタンを使って新たに参照画像として追加するのが望ましい。縦横線の格子模様の枠は複数被写体の参照画像と類似すると判定されたクエリ画像を表すので、後述する認識結果の詳細を確認し、必要に応じてクエリ画像を参照画像に追加するのが望ましい。なお、クエリ画像を参照画像として登録する場合には、「追加」ボタンを押下後に、被写体の種類を入力するインターフェースを表示させて、被写体の種類を入力した上で登録を行うようにすればよい。

また、上記の他に、各クエリ画像と併せて、そのクエリ画像と類似度が高い参照画像を表示してもよい。この際の表示方法は、例えばクエリ画像をクリックするとそのクエリ画像の認識結果の詳細を表示する画面に遷移し、そこで参照画像を表示する等、別画面を用いても構わない。更に、各参照画像の類似度を併せて表示しても良いし、参照画像もそのクエリ画像と類似すると判定されたか否か区別できるように（例えば目印を付与して）表示しても良い。加えて、参照画像の登録を削除するインターフェースを設けても良い。このインターフェースは特に限定しないが、例えばクエリ画像を参照画像に追加するための物と同様にボタンを用意し、それを押すとその参照画像が削除される、といったものが考えられる。これにより、多くのクエリ画像において誤検出を引き起こす参照画像が見つかった場合は、その参照画像の登録を削除することを検討することができる。

以上説明した認識結果の詳細の表示の例を図４に示す。ここでは、認識結果の詳細を図３のクエリ画像リストとは別画面で表示した例を示している。この認識結果の画面への遷移方法は、例えば図３で示した画面のクエリ画像を選択する、別途画像名を入力するインターフェースを設ける等様々考えられる。

図４に示した画面の上段は、現在認識結果の詳細を表示しているクエリ画像を表す。下段は、参照画像を、その参照画像でこのクエリ画像を認識した際の類似度と共に表示している。どの参照画像をどのように表示するかは特に限定するものではない。例えば登録されている参照画像の全てでも良いし、表示する参照画像を限定しても構わない。例えば類似度が高い順に１０件だけ表示する等が考えられる。また、参照画像の表示順序も様々考えられ、例えば類似度が高い順にソートして表示しても構わない。図４ではソートした例を示している。他にも、参照画像を被写体別に分けて表示する、クエリ画像と類似すると判定された参照画像だけを表示する等、表示方法は様々考えられる。ここで図４の例では、表示されている参照画像４枚のうち右下の参照画像を除いた３枚が、上段のクエリ画像と類似すると判定されている。ここで、例えば左上と右上の２枚はクエリ画像と同一の被写体の参照画像であり、左下の１枚異なる被写体の参照画像であったとする。このとき、左下の参照画像が類似すると判定されているのは誤りであるが、いま仮にクエリ画像を認識した際類似すると判定され、かつ、最も類似度が高かった参照画像の被写体を認識結果として返す使用方法をしているとすると、この場合はより高い類似度で同じ被写体の参照画像があるため問題ない、と判断することができる。仮に左下の参照画像が最も高い類似度であったならば、上段のクエリ画像の認識結果は誤った結果が返されてしまうため、上段のクエリ画像を参照画像に追加するか、もしくは左下の参照画像を「削除」ボタンのインターフェースにより削除する事が検討できる。

以上説明したように、本発明の実施の形態に係る参照画像選択装置によれば、クエリ画像の各々について、複数の参照画像のいずれに類似するかを判定し、クエリ画像の各々について、クエリ画像が類似すると判定された参照画像における被写体の種類の数に基づいて、クエリ画像を、いずれの参照画像の被写体にも類似しない区分、参照画像における２種類以上の被写体に類似する区分、及び参照画像における１種類の被写体に類似する区分のいずれかに区分し、区分ごとの区別が可能な表示形式によりクエリ画像の各々を表示することにより、効率よく、参照画像を選択することができる。

また、本実施の形態の手法によれば、全ての認識結果を精査できない運用条件下でも、被写体を認識できなかったクエリ画像の確認と参照画像群の更新を効率よく実施できる。

また、被写体認識装置の運用時に入力されるクエリ画像群のうち、現状の参照画像群では認識できないクエリ画像を視認性よく表示することで、認識率向上のために参照画像に追加するクエリ画像を低コストで選択できる。

また、実施の形態における参照画像選択装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信回線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

例えば、上述した実施の形態では、画像区分部３２は、（１）いずれの参照画像の被写体にも類似しない区分、（２）参照画像における２種類以上の被写体に類似する区分、及び（３）参照画像における１種類の被写体に類似する区分のいずれかに区分する場合を例に説明したが、これに限定されるものではなく、他の区分を設けて区分してもよい。

１０ 入力部
２０ 演算部
２２ 記憶部
３０ 画像認識部
３２ 画像区分部
３４ 認識結果表示部
５０ 出力部
１００ 参照画像選択装置

Claims (5)

1. ユーザによって撮影された空間を写した複数のクエリ画像の各々が、予め被写体の種類と関連付けて登録されている複数の参照画像のいずれに類似するかを判定する画像認識部と、
   前記画像認識部によって前記クエリ画像の各々が類似すると判定された前記参照画像の被写体の種類に応じて、前記クエリ画像を区分する画像区分部と、
   前記区分ごとの区別が可能な表示形式により前記クエリ画像の各々を表示する認識結果表示部と、
   を含む参照画像選択装置。
2. 前記画像認識部は、前記判定において、前記クエリ画像と前記参照画像の各々との類似度を１種類以上算出し、算出した前記類似度に基づいて、前記クエリ画像に写る被写体と前記参照画像に写る被写体とが一致するか否かを判定し、
   前記画像区分部は、前記一致すると判定された前記被写体の種類の数に基づいて、前記クエリ画像を、いずれの前記参照画像の被写体にも類似しない区分、前記参照画像における２種類以上の被写体に類似する区分、及び前記参照画像における１種類の被写体に類似する区分のいずれかに区分する請求項１に記載の参照画像選択装置。
3. 前記認識結果表示部は、前記クエリ画像の各々を前記区分ごとに異なる表示形式で表示し、
   前記クエリ画像を新たな前記参照画像として登録する操作を受け付けるインターフェースを有する請求項１又は請求項２に記載の参照画像選択装置。
4. 画像認識部が、ユーザによって撮影された空間を写した複数のクエリ画像の各々が、予め被写体の種類と関連付けて登録されている複数の参照画像のいずれに類似するかを判定するステップと、
   画像区分部が、前記画像認識部によって前記クエリ画像の各々が類似すると判定された前記参照画像の被写体の種類に応じて、前記クエリ画像を区分するステップと、
   認識結果表示部が、前記区分ごとの区別が可能な表示形式により前記クエリ画像の各々を表示するステップと、
   を含む参照画像選択方法。
5. コンピュータを、請求項１〜請求項３のいずれか１項に記載の参照画像選択装置の各部として機能させるためのプログラム。