JP6941282B2

JP6941282B2 - 情報処理システム、情報処理方法及び記憶媒体

Info

Publication number: JP6941282B2
Application number: JP2019539653A
Authority: JP
Inventors: 坂本　静生; 静生坂本
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2017-09-04
Filing date: 2018-08-31
Publication date: 2021-09-29
Anticipated expiration: 2038-08-31
Also published as: US20200250225A1; JPWO2019045033A1; WO2019045033A1; US11556583B2

Description

本発明は、情報処理システム、情報処理方法及び記憶媒体に関する。

データベースに記憶された多量の画像データから所望の画像を得るための種々の画像検索手法が検討されている。

特許文献１には、データベースから画像を検索する画像処理装置が開示されている。当該画像処理装置は、ユーザが語句を入力すると、語句に対応する画像データを検索して、検索された画像を表示部に表示させる機能を有する旨が特許文献１に開示されている。

特開２００４−１０２５０３号公報

特許文献１に記載されているような検索手法において、表示させようとする画像の対象によっては、ユーザが画像の特徴を適切に把握して検索用の語句を選択することが難しい場合がある。そこで、より容易に所望の画像を表示させることができる手法が求められている。

本発明は、上述の課題に鑑みてなされたものであって、より容易に所望の画像を表示させることができる情報処理システム、情報処理方法及び記憶媒体を提供することを目的とする。

本発明の一観点によれば、表示対象とする自転車の特徴を示す特徴画像が複数個配列された特徴マップの中の位置をユーザに指定させることにより、前記特徴マップの位置に対応付けられた特徴情報の入力を受け付ける特徴情報受付部と、前記特徴情報に基づいて、前記自転車の表示用画像を取得する画像取得部と、前記表示用画像を表示装置に表示させるための表示情報を生成する表示情報生成部と、を備えることを特徴とする情報処理システムが提供される。

本発明の他の観点によれば、表示対象とする自転車の特徴を示す特徴画像が複数個配列された特徴マップの中の位置をユーザに指定させることにより、前記特徴マップの位置に対応付けられた特徴情報の入力を受け付けるステップと、前記特徴情報に基づいて、前記自転車の表示用画像を取得するステップと、前記表示用画像を表示装置に表示させるための表示情報を生成するステップと、を備えることを特徴とする情報処理方法が提供される。

本発明の更に他の観点によれば、コンピュータに、表示対象とする自転車の特徴を示す特徴画像が複数個配列された特徴マップの中の位置をユーザに指定させることにより、前記特徴マップの位置に対応付けられた特徴情報の入力を受け付けるステップと、前記特徴情報に基づいて、前記自転車の表示用画像を取得するステップと、前記表示用画像を表示装置に表示させるための表示情報を生成するステップと、を実行させることを特徴とするプログラムが記憶された記憶媒体が提供される。

本発明の更に他の観点によれば、表示対象の特徴を示す特徴画像が複数個配列された特徴マップの中の位置をユーザに指定させることにより、前記特徴マップの位置に対応付けられた特徴情報の入力を受け付ける特徴情報受付部と、前記特徴情報に基づいて、表示用画像を取得する画像取得部と、前記表示用画像を表示装置に表示させるための表示情報を生成する表示情報生成部と、を備えることを特徴とする情報処理システムが提供される。

本発明によれば、より容易に所望の画像を表示させることができる情報処理システム、情報処理方法及び記憶媒体を提供することができる。

第１実施形態に係る情報処理システムのハードウェア構成例を示すブロック図である。第１実施形態に係る情報処理システムの機能ブロック図である。防犯カメラで撮影された自転車を含む画像の例である。第１実施形態に係る情報処理システムにより行われる処理の概略を示すフローチャートである。第１実施形態に係る操作画面を示す図である。第１実施形態に係るフレームを指定するための特徴マップを示す図である。第１実施形態に係る検索結果画面を示す図である。第２実施形態に係る情報処理システムの機能ブロック図である。第３実施形態に係る情報処理システムの機能ブロック図である。

以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。

［第１実施形態］
本実施形態は、ユーザが所望する自転車の画像を取得して、表示装置に表示させるための情報処理システムに関する。防犯カメラ等で撮影された画像に自転車が写っている場合、その自転車が重要な情報源となる場合がある。しかしながら、防犯カメラ等により撮影された自転車の画像の画質は十分でない場合がある。そのため、撮影された自転車の画像から目視で車種を特定し、カタログ等から高精細な自転車の画像を取得することがある。これにより、自転車の画像が高精細なものに置き換えられるため、自転車の画像がより有効に活用され得る。

しかしながら、自転車は、車種が多様であり、自動車のように外観から車種名を把握することは容易でない。また自動車とは異なり、車種名、メーカー名等の情報の表示が小さく、写真から視認できないことが多い。あるいは、車体に車種名、メーカー名等の表示自体がなされていないことも多い。したがって、防犯カメラ等で撮影された画像から目視で車種を特定して画像を探すことが困難な場合がある。特に、少量生産の車種、複数の部品を集めて作る車種、ロットごとにマイナーチェンジされる車種、カタログのない車種、生産期間が短い車種等においては車種の特定が困難である。仮に車種の特定ができたとしても対応する画像の入手が困難な場合、あるいは画像が存在しない場合もある。そのため、防犯カメラ等により撮影された自転車の画像から同じ車種の画像を検索して高精細な画像に置き換えることが容易でない場合がある。そこで、より容易に所望の自転車の画像を表示させることができる情報処理システムが要望されている。本実施形態の情報処理システムは、より容易に所望の自転車の画像を表示させる機能を実現するものである。

なお、本明細書において「自転車」とは、ペダル又はハンドクランクを用い、主に乗員の人力で駆動操縦され、かつ、駆動車輪をもち、地上を走行する車両の総称である。したがって、自転車に含まれる車輪の個数は特に限定されず、「自転車」は、２輪自転車だけではなく、３輪自転車、補助輪付き自転車等も含み得る。また、補助的な動力を有する電動アシスト自転車も「自転車」に含まれる。

図１は、本発明の第１実施形態に係る情報処理システム１０のハードウェア構成例を示すブロック図である。情報処理システム１０は、例えば、デスクトップＰＣ（Personal Computer）、ラップトップＰＣ、タブレットＰＣ等のコンピュータであり得る。また、情報処理システム１０は、スマートフォン、携帯電話等の情報通信端末であってもよい。

情報処理システム１０は、演算、制御及び記憶を行うコンピュータとしての機能を実現するため、ＣＰＵ（Central Processing Unit）１０１、ＲＡＭ（Random Access Memory）１０２、ＲＯＭ（Read Only Memory）１０３及びＨＤＤ（Hard Disk Drive）１０４を備える。また、情報処理システム１０は、通信Ｉ／Ｆ（インターフェース）１０５、表示装置１０６及び入力装置１０７を備える。ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤ１０４、通信Ｉ／Ｆ１０５、表示装置１０６及び入力装置１０７は、バス１０８を介して相互に接続される。なお、表示装置１０６及び入力装置１０７は、これらの装置を駆動するための不図示の駆動装置を介してバス１０８に接続されてもよい。

図１では、情報処理システム１０を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により提供されるものであってもよい。例えば、表示装置１０６及び入力装置１０７は、ＣＰＵ１０１等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。

ＣＰＵ１０１は、ＲＯＭ１０３、ＨＤＤ１０４等に記憶されたプログラムに従って所定の動作を行うとともに、情報処理システム１０の各部を制御する機能をも有する。ＲＡＭ１０２は、揮発性記憶媒体から構成され、ＣＰＵ１０１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１０３は、不揮発性記憶媒体から構成され、情報処理システム１０の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ１０４は、不揮発性記憶媒体から構成され、画像データ、プログラム等の記憶を行う記憶装置である。

通信Ｉ／Ｆ１０５は、Ｗｉ−Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置１０６は、液晶ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等であって、画像、文字、インターフェース等の表示に用いられる。入力装置１０７は、キーボード、ポインティングデバイス等であって、ユーザが情報処理システム１０を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル等が挙げられる。表示装置１０６及び入力装置１０７は、タッチパネルとして一体に形成されていてもよい。

なお、図１に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ１０４は、半導体メモリを用いたＳＳＤ（Solid State Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。

図２は、本実施形態に係る情報処理システム１０の機能ブロック図である。情報処理システム１０は、特徴情報受付部１２１、画像取得部１２２、表示情報生成部１２３、第１重み受付部１２４、色情報受付部１２５、第２重み受付部１２６、発電機情報受付部１２７、終了処理受付部１２８及び記憶部１２９を有する。

ＣＰＵ１０１は、ＲＯＭ１０３等に記憶されたプログラムをＲＡＭ１０２にロードして実行することにより、特徴情報受付部１２１、画像取得部１２２、表示情報生成部１２３、第１重み受付部１２４、色情報受付部１２５、第２重み受付部１２６、発電機情報受付部１２７及び終了処理受付部１２８の機能を実現する。これらの各部で行われる処理については後述する。ＣＰＵ１０１は、表示情報生成部１２３で生成された表示情報に基づく画像を表示装置１０６に表示させる。ＣＰＵ１０１は、ＨＤＤ１０４を制御することにより記憶部１２９の機能を実現する。記憶部１２９は、特徴マップ、自転車画像、自転車画像に対応付けられた特徴情報等のデータを記憶するデータベースとして機能する。

図３乃至図７を参照して、本実施形態における処理の概要、ＧＵＩ（Graphical User Interface）の構成、自転車画像の表示画面等について説明する。図３は、ユーザが情報処理システム１０を用いて表示させようとする自転車を特定するための元になる画像（以下、元画像と呼ぶ）の例である。元画像は、例えば、防犯カメラにより撮影された画像であり得る。元画像には、自転車１４０及び自転車１４０を押している人物１４１が含まれている。本実施形態の情報処理システム１０は、図３のような画像に含まれる自転車１４０と同じ自転車の画像を取得し、表示装置１０６に表示させることを支援する機能を有する。

図４は、本実施形態に係る情報処理システム１０により行われる処理の概略を示すフローチャートである。本フローチャートの処理順に沿って、適宜図５乃至図７を参照しつつ、本実施形態における処理を説明する。ユーザの操作に基づき、情報処理システム１０による処理が開始すると、ステップＳ１０１において、ＣＰＵ１０１は、表示情報生成部１２３に操作画面の表示情報を生成させ、当該操作画面を表示装置１０６に表示させる。ステップＳ１０２において、特徴情報受付部１２１、第１重み受付部１２４、色情報受付部１２５、第２重み受付部１２６及び発電機情報受付部１２７は、操作画面に対するユーザの操作に基づく指定条件の入力を受け付ける。

ここで、図５及び図６を参照して操作画面の構成について説明する。図５は、本実施形態に係る操作画面１５０を示す図である。図５に示された操作画面１５０は表示装置１０６の画面上に表示されるＧＵＩであり、ユーザは、入力装置１０７の１つであるポインティングデバイス等を用いて直感的な操作を行うことができる。ユーザは操作画面１５０を操作することにより、表示させようとする自転車の画像の特徴を示す指定条件を入力することができる。操作画面１５０には、上から順に発電機情報指定領域１５１、色情報指定領域１５４及びフレーム情報指定領域１６０が配されている。また、フレーム情報指定領域１６０の下方には「終了」と記されたボタン１６４が設けられている。

発電機情報指定領域１５１には、「発電機指定」と記されたボタン１５２及び「発電機有無」と記されたチェックボックス１５３が設けられている。ユーザがボタン１５２を押下するごとにチェックボックス１５３が操作可能な状態と操作不可能な状態とが切り替わる。チェックボックス１５３が操作可能な状態のときに、ユーザがチェックボックス１５３を操作すると、チェックボックス１５３のチェックの有無を切り替えることができる。ユーザは、元画像の自転車にライトに電気を供給するための発電機が設けられていると確信した場合に、チェックボックス１５３にチェックを入れることにより、表示させようとする自転車に対し、発電機ありという条件を指定することができる。このように、発電機情報指定領域１５１は、表示させようとする自転車が発電機を有するか否かを示す発電機情報の入力を受け付ける発電機情報受付部１２７として機能する。このように、自転車の特徴的な構成要素である発電機の有無を指定条件として入力させることにより、表示対象とする自転車の画像を効率よく絞り込むことができる。

色情報指定領域１５４には、「色指定」と記されたボタン１５５、色表示部１５６、「色重み付け」と記されたスライダ１５７、「メタリック指定」と記されたボタン１５８及び「メタリック有無」と記されたチェックボックス１５９が設けられている。ユーザがボタン１５５を押下すると、表示させようとする自転車の色の条件をユーザに設定させることができる。この設定は、色を設定するためのダイアログを表示して、ユーザに見本の中から色を選択させるものであり得る。あるいは、ＲＧＢの値をユーザに入力させるものであってもよく、ドロップダウンリスト、ラジオボタン等を表示してユーザに「黄色」等の色名を選択させるものであってもよい。上述のダイアログは、例えば、ＯＳ（Operating System）に標準的に設けられたコモンダイアログであり得る。色が設定されるとその色は色表示部１５６に表示される。このように、色情報指定領域１５４は、表示させようとする自転車の色に関する色情報の入力を受け付ける色情報受付部１２５として機能する。これにより、表示対象とする自転車の画像を効率よく絞り込むことができる。

なお、本明細書において、「色」は、有彩色だけではなく、無彩色（白色、灰色、黒色）も含み得る。また、「自転車の色」に関してその色に着色されている位置は特に限定されるものではないが、主として自転車の特徴となり得る箇所（例えばフレーム）の色を指すものとする。例えば、自転車のフレームが黄色で、タイヤの色が黒色である場合、タイヤの色よりもフレームの色の方が特徴的であるため、自転車の色は黄色を指定するものとする。

スライダ１５７は、後述する自転車の検索において色情報に対して付与される重み付けを設定するためのウィジェットである。スライダ１５７のノブの位置に応じた値が重み付けの値として設定される。このように、スライダ１５７は、色情報に対して付与される重み付けの入力を受け付ける第２重み受付部１２６として機能する。

更に、色情報の指定の一種として、金属光沢を有する色であるメタリックカラーを設定することも可能である。ユーザがボタン１５８を押下するごとにチェックボックス１５９が操作可能な状態と操作不可能な状態とが切り替わる。チェックボックス１５９が操作可能な状態のときに、ユーザがチェックボックス１５９を操作すると、チェックボックス１５９のチェックの有無を切り替えることができる。ユーザは、自転車の色が通常のＲＧＢの組み合わせで表現できる色ではなく、メタリックカラーであると確信した場合に、チェックボックス１５９にチェックを入れることにより、メタリックカラーであるという条件を指定することができる。メタリックカラーの例としては、ゴールド、シルバーが挙げられる。これにより、表示対象とする自転車の画像を効率よく絞り込むことができる。

なお、色情報の指定の一種として、更に蛍光塗料を用いた蛍光色、蓄光塗料を用いた蓄光色の設定が可能な構成であってもよい。

フレーム情報指定領域１６０には、「フレーム指定」と記されたボタン１６１、「フレーム重み付け」と記されたスライダ１６２、特徴マップ表示部１６３が設けられている。ユーザがボタン１６１を押下すると、特徴マップ表示部１６３に表示されている特徴マップ内の位置をポインティングデバイスにより選択することが可能となる。ユーザが特徴マップ内の位置を選択すると、その位置に対応付けられた自転車のフレームの特徴情報が設定される。このように、フレーム情報指定領域１６０は、特徴マップの位置に対応付けられた特徴情報の入力を受け付ける特徴情報受付部１２１として機能する。特徴マップの構成及び操作方法の詳細については後述する。

スライダ１６２は、後述する自転車の検索において特徴情報に対して付与される重み付けを設定するためのウィジェットである。スライダ１６２のノブの位置に応じた値が重み付けの値として設定される。このように、スライダ１６２は、特徴情報に対して付与される重み付けの入力を受け付ける第１重み受付部１２４として機能する。

ユーザがボタン１６４を押下すると、処理が終了し、操作画面１５０がクローズされる。このように、ボタン１６４は、処理の終了を受け付ける終了処理受付部１２８として機能する。

なお、操作画面１５０の右上に配置されているウィンドウのクローズボタン（Ｘ印のボタン）を押下した場合も同様に処理が終了されるよう構成されていてもよい。すなわち、クローズボタンも処理の終了を受け付ける終了処理受付部１２８として機能し得る。この場合には、ボタン１６４は省略されていてもよい。

図６は、本実施形態に係る自転車のフレームを指定するための特徴マップを示す図である。言い換えると、図６は、図５の特徴マップ表示部１６３に表示されている自転車のフレームの特徴マップの拡大図である。特徴マップには、自転車の一部であるフレームの形状を示す多数の画像が２次元平面上に配置されている。

図６において、複数のフレームの画像は、それぞれフレームの特徴に応じた位置に配置されている。図６の左側には、ステップスルー型と呼ばれる、フレームが斜めになっており乗り降りが容易なフレームが配されている。左上に近いほどフレームの形状が直線的であり、左下に近いほどフレームの形状が曲線的である。右側にはダイヤモンド型と呼ばれる、三角形の形状を有するフレームが配されており、左上から右下に向かうにつれて、トップチューブの形状が斜めから水平に変化するように配置されている。このように、類似したフレーム同士は近い位置に、形状の違いが大きいフレーム同士は離れた位置に配置される。

ユーザは、元画像の自転車に近いフレームを特徴マップの中から探し、類似したフレームの近傍の位置をポインティングデバイスで選択することにより、フレームの特徴を入力することができる。

一例として、ユーザが、図３の自転車１４０に近いフレームの自転車を表示させたいと考えた場合を想定する。図３の自転車１４０のフレームはトップチューブ、ダウンチューブ及びシートチューブが大きな三角形をなしており、上辺がほぼ水平であるという特徴を有している。ユーザは、図６の特徴マップを参照してこの中から自転車１４０のフレームに近いフレームを探す。右下付近のフレームが上述の特徴に近いため、ユーザは、図５の特徴マップ表示部１６３の右下付近の位置をクリックする。２次元マップの各点には、自転車のフレームの形状を示す特徴情報が対応付けられている。そのため、ユーザは、特徴マップの位置を選択するだけでよく、情報処理システム１０での内部処理に用いられる特徴情報自体を直接入力する必要はない。なお、類似するフレームが特徴マップ上に無い場合には、フレームが無い場所を選択することもできる。例えば、図６の下側中央付近を選択した場合には、左下のフレームと右下のフレームの中間的な形状を選択したものとして扱われる。

画像検索の技術において、文字、文章、数字等により画像の特徴を入力する手法が一般的である。この技術では、検索に先立ってユーザが自転車の特徴を文字、文章、数字等により表現する必要があるが、自転車のフレーム等の特徴部の形状を文字、文章等で表現することは容易ではない。フレームの形状には、ダイヤモンド型、ステップスルー型、ミキスト型等の名称があるが、これらの名称はあまり一般的なものではなく、ユーザがこれらを熟知しているとは限らない。これに対し、本実施形態の特徴マップを用いたＧＵＩであれば、似た形状のフレームの位置を選択するだけでよく、直感的な入力が可能であるため、ユーザは、容易に自転車の特徴を入力することができる。

特徴マップで指定する自転車の特徴情報は、自転車の中でも特に顕著な特徴であるフレームの形状であることが望ましいが、これ以外の特徴であってもよい。例えば、特徴マップは、自転車の一部である、ペダル、タイヤ、サドル、ハンドル、かご、発電機、ライト、チェーンカバー等の形状を示す画像を配置したものであってもよい。上述の種々の特徴のうちの２つ以上の特徴を指定できるように特徴マップ表示部１６３が複数個設けられていてもよい。

記憶部１２９に記憶されているデータベースには、多数の自転車の画像と、特徴情報、色情報、発電機情報等の情報と、各自転車の車種名等の自転車情報とが含まれている。これらの情報は各自転車の画像に対応付けられている。画像取得部１２２は、ユーザにより入力された特徴情報、色情報、発電機情報等の指定条件と、データベースの情報とを照合して、これらの指定条件に近い自転車の画像を表示用画像としてデータベースから抽出して取得する。特徴情報及び色情報の両方が指定されている場合には、第１重み受付部１２４及び第２重み受付部１２６で取得した重み付けを考慮して表示用画像の抽出を行う。

特徴情報、色情報に重み付けを与えることが有効である理由について説明する。図３に示す元画像は、撮影環境によっては不鮮明な画像であることがある。例えば、カメラの仕様、光源の色によっては画像の色彩が不鮮明になることがある。例えば、夕方に撮影された画像は、光源である太陽光の中の赤色光の割合が多くなるため、本来の色がわかりにくくなる。また、カメラが赤外線カメラである場合には、得られる画像は通常はモノクロームとなる。これらの場合には、元画像の自転車１４０の色が何色であるか確信が持てないことがある。また、カメラの解像度が低い場合、被写体が遠い場合、画像が暗所で撮影されたものである場合、被写体の動きによりブレが発生している場合等には、自転車１４０の形状が正確に把握できないこともある。このように、元画像を参照しても自転車１４０の形状及び色に確信が持てない場合がある。このような場合を考慮して、本実施形態では、確信度に応じて重み付けを与えることで、入力した特徴情報、色情報が不正確な場合にも正しい表示用画像を抽出できる可能性を高めることができる。

なお、データベースに記憶させる自転車の画像と自転車情報は、あらかじめ自転車のメーカーのホームページ、自転車のカタログ、インターネット上の販売サイト等の高精細な画像が図示されている情報源から収集しておく。

図４のステップＳ１０３において、ＣＰＵ１０１は、表示情報生成部１２３に画像取得部１２２が取得した表示用画像を含む検索結果画面の表示情報を生成させ、当該検索結果画面を表示装置１０６に表示させる。なお、本実施形態が適用され得るコンピュータのＯＳには、複数の画面を同時に表示可能なものが用いられ得るため、検索結果画面の表示後にも操作画面１５０は表示されたままとすることができる。

ここで、図７を参照して検索結果画面の構成について説明する。図７は、本実施形態に係る検索結果画面１７０を示す図である。検索結果画面１７０には、複数の自転車画像表示部１７１と、自転車画像表示部１７１のそれぞれに付された候補番号表示部１７２及び自転車情報表示部１７３と、メッセージ表示部１７４とが設けられている。複数の自転車画像表示部１７１には、画像取得部１２２により取得された自転車の表示用画像が表示される。本例では、指定条件に近い方から６件の表示用画像が表示されている。自転車画像表示部１７１の表示個数は、特に限定されるものではない。また、表示個数はあらかじめ設定されていてもよく、変更可能であってもよい。例えば検索結果画面１７０のウィンドウの大きさによって表示個数が自動的に設定されてもよく、ユーザが設定することにより表示個数を変更可能であってもよい。

自転車画像表示部１７１の上方に配された候補番号表示部１７２には表示用画像の候補番号が記載されている。この候補番号は、番号が若いほど指定条件に近いことを示している。すなわち、複数の表示用画像は、自転車の特徴情報を含む指定条件に基づく順序で表示される。

自転車画像表示部１７１の下方に配された自転車情報表示部１７３には表示用画像の自転車に関する自転車情報が記載されている。この自転車情報の欄には、図７では仮に「ＡＡＡＡＡ」、「ＢＢＢＢＢ」等が表示されているが実際には自転車に付帯する情報が表示される。自転車情報の例としては、表示されている自転車の車種名、型番、メーカー、販売者、生産期間、販売期間、販売地域、サイズ、重量等であり得る。これらの自転車情報は、いずれか１つが表示されるものであってもよく複数個が表示されてもよい。また、どの自転車情報を表示するかをユーザが選択可能であってもよい。

メッセージ表示部１７４には、「指定条件を入力してください」というユーザに操作画面１５０への入力を促すメッセージが表示されている。メッセージの内容は、ユーザに伝達すべきメッセージであればこれに限定されるものではなく、例えば、「候補画像を確認してください」等でもよい。

図７を参照すると、「候補１」の自転車が図３の自転車１４０と同一であることがわかる。したがって、ユーザは、図３の自転車１４０と同一の自転車の高精細な画像を得ることができる。また、ユーザは、自転車情報表示部１７３を参照することで、自転車１４０の車種名等の自転車１４０に付帯する自転車情報を得ることができる。

図４のステップＳ１０４において、ＣＰＵ１０１は、検索結果画面１７０の表示後にユーザが操作画面１５０を操作して指定条件を変更したか否かを判断する。指定条件が変更されている場合（ステップＳ１０４においてＹＥＳ）、処理はステップＳ１０５に移行する。指定条件が変更されていない場合（ステップＳ１０４においてＮＯ）、処理はステップＳ１０６に移行する。

ステップＳ１０５において、情報処理システム１０は、ステップＳ１０２及びステップＳ１０３と同様の処理により変更後の指定条件に基づいて検索結果画面１７０を再表示することにより検索結果画面１７０を更新する。この検索結果画面１７０の更新は、ユーザが指定条件のいずれかを変更するごとに行われる。なお、操作画面１５０又は検索結果画面１７０に更新ボタンを配置し、ユーザが更新ボタンを押下するごとに検索結果画面１７０の更新が行われるというものであってもよい。

ステップＳ１０６において、ＣＰＵ１０１は、終了処理受付部１２８での終了処理の受付のためのボタン１６４（終了ボタン）の押下があったか否かを判断する。ボタン１６４の押下があった場合（ステップＳ１０６においてＹＥＳ）処理は終了する。ボタン１６４の押下がなかった場合（ステップＳ１０６においてＮＯ）処理はステップＳ１０４に移行する。

以上のように、本実施形態によれば、表示対象とする自転車の特徴を示す特徴画像が複数個配列された特徴マップの中の位置をユーザに指定させることにより、ユーザは直感的な操作により特徴を入力することができる。そのため、表示対象が外観から車種名を把握することは容易でない自転車であっても、自転車の特徴の入力を容易に行うことができる。したがって、より容易に所望の自転車の画像を表示させることができる情報処理システム１０、情報処理方法及び記憶媒体を提供することができる。

上述の実施形態において説明したシステムは以下の第２実施形態のようにも構成することができる。

［第２実施形態］
図８は、第２実施形態に係る情報処理システム２０の機能ブロック図である。情報処理システム２０は、特徴情報受付部２２１、画像取得部２２２及び表示情報生成部２２３を備える。特徴情報受付部２２１は、表示対象とする自転車の特徴を示す特徴画像が複数個配列された特徴マップの中の位置をユーザに指定させることにより、特徴マップの位置に対応付けられた特徴情報の入力を受け付ける。画像取得部２２２は、特徴情報に基づいて、前記自転車の表示用画像を取得する。表示情報生成部２２３は、表示用画像を表示装置に表示させるための表示情報を生成する。

本実施形態によれば、より容易に所望の自転車の画像を表示させることができる情報処理システム２０を提供することができる。

また、上述の実施形態において説明したシステムは、以下の第３実施形態のように、自転車に限定されない一般的な画像表示用途にも適用可能である。

［第３実施形態］
図９は、第３実施形態に係る情報処理システム３０の機能ブロック図である。情報処理システム３０は、特徴情報受付部３２１、画像取得部３２２及び表示情報生成部３２３を備える。特徴情報受付部３２１は、表示対象の特徴を示す特徴画像が複数個配列された特徴マップの中の位置をユーザに指定させることにより、特徴マップの位置に対応付けられた特徴情報の入力を受け付ける。画像取得部３２２は、特徴情報に基づいて、表示用画像を取得する。表示情報生成部３２３は、表示用画像を表示装置に表示させるための表示情報を生成する。

本実施形態によれば、より容易に所望の画像を表示させることができる情報処理システム３０を提供することができる。

例えば、本実施形態の情報処理システム３０は、オートバイ（モーターサイクル）を表示するものであり得る。この場合、特徴マップで指定するオートバイの特徴情報は、ハンドル、燃料タンク、マフラー等の形状であり得る。

［変形実施形態］
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

図５の操作画面１５０において、誤操作を防止するためにチェックボックス１５３、１５９は、それぞれボタン１５２、１５８を押下することにより操作可能になる構成としているが、チェックボックス１５３、１５９は常に操作可能であってもよい。この場合、ボタン１５２、１５８を省略することができ、操作画面１５０を簡略化することができる。同様に、特徴マップ表示部１６３も常に操作可能であってもよく、ボタン１６１を省略して、操作画面１５０を簡略化することができる。

図５及び図６に示されている特徴マップは、視認性と特徴の網羅性のバランスが良い２次元平面状となっているが、特徴マップの次元数はこれに限定されない。特徴マップは、縦又は横に特徴画像が並ぶ１次元状であってもよく、奥行きを表現した３次元状であってもよい。１次元状であれば、特徴マップを視認性が良く直感的にわかりやすいものにすることができる。３次元状であれば、多数の特徴を表現できるため、特徴マップを特徴の網羅性が良いものにすることができる。その他にも、２次元平面状の特徴マップを奥行き方向に複数枚重ねることで２．５次元状としたものであってもよい。

情報処理システム１０、２０、３０は、図３に示す元画像を防犯カメラ等の撮像装置からネットワークを介して取得する機能を有していてもよい。この場合、取得した元画像は、画像表示ソフトにより表示装置１０６に表示され得る。ユーザは表示装置１０６に表示された元画像を見ながら操作画面１５０の操作を行うことができる。

第１実施形態において、画像取得部１２２は、データベースに記憶されている多数の画像の中から指定条件に近い表示用画像を選択する構成となっているが、表示用画像が取得可能であればこれ以外の手法も採用され得る。例えば、画像取得部１２２は、フォトモンタージュによって表示用画像を生成することにより、表示用画像を取得してもよい。フォトモンタージュとは、複数の画像を組み合わせて１つの画像を生成する手法である。具体的には、自転車の部分の画像をあらかじめデータベースに記憶させておき、画像取得部１２２は、指定条件に近い自転車の部分の画像を組み合わせることにより表示用画像を生成することで表示用画像を取得することができる。例えば、データベースに、フレーム、ペダル、タイヤ、サドル、ハンドル、かご、発電機、ライト、チェーンカバー等の単位で自転車の部分の画像を記憶させておき、これらを組み合わせて１台の自転車の画像を生成することができる。カタログが存在しない車種等、自転車の画像の取得が困難な車種については、データベースに指定条件に類似する自転車が存在しない場合がある。本手法では、フォトモンタージュによって自転車の部分の画像を組み合わせることで、指定条件に類似する自転車の画像を生成することができ、データベースに無い画像であっても表示させることができる。データベースに自転車の画像と自転車の部分の画像を両方含ませておいて、類似する自転車の画像がない場合にのみフォトモンタージュによる画像生成を行ってもよい。表示対象がオートバイである場合には、データベースに記憶させておく画像は、ハンドル、燃料タンク、マフラー等のオートバイの部分の画像であり得る。

特徴マップの画像の生成、特徴マップの位置と特徴情報との対応付け等の特徴マップの作成作業は、情報処理システム１０の作成者が手動で行ってもよいが、機械学習の技術を活用して自動生成されるものであってもよい。また、特徴マップ生成の処理の一部を自動化し、残りを手動で行ってもよい。オートエンコーダを用いた特徴マップの自動生成手法の一例を説明する。オートエンコーダは、ニューラルネットワークにおいて、入力層と出力層に同じデータを用いて教師あり機械学習を行わせるものである。上述のようにデータベースには多数の自転車の画像が記憶されている。これらの自転車の画像をニューラルネットワークの入力データとし、同じ画像の出力データが得られるように学習を行わせることにより、自転車の特徴を自動的に抽出することができる。これにより得られた自転車の特徴を座標に対応させて画像を自動配列することで、特徴マップを生成することができる。これにより、特徴マップの作成及びデータベースの更新に伴う特徴マップの更新に要する工数が削減される。なお、入力データ及び出力データとして用いられる画像は、自転車のフレーム、ペダル、タイヤ、サドル、ハンドル、かご、発電機、ライト、チェーンカバー等の自転車の部分の画像であってもよい。あらかじめ特徴になり得る箇所に限定した画像を用いることで、自転車全体を対象とした場合と比べて精度良く学習を行わせることができる。表示対象がオートバイである場合には、入力データ及び出力データとして用いられる画像は、ハンドル、燃料タンク、マフラー等のオートバイの部分の画像であり得る。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる１又は２以上の構成要素は、各構成要素の機能を実現するように構成されたＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の回路であってもよい。

該記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Compact Disk）−ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Software as a Service）の形態でユーザに対して提供することもできる。

なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
表示対象とする自転車の特徴を示す特徴画像が複数個配列された特徴マップの中の位置をユーザに指定させることにより、前記特徴マップの位置に対応付けられた特徴情報の入力を受け付ける特徴情報受付部と、
前記特徴情報に基づいて、前記自転車の表示用画像を取得する画像取得部と、
前記表示用画像を表示装置に表示させるための表示情報を生成する表示情報生成部と、
を備えることを特徴とする情報処理システム。

（付記２）
前記特徴画像は、前記自転車の一部の形状の特徴を示す画像を含む
ことを特徴とする付記１に記載の情報処理システム。

（付記３）
前記特徴画像は、前記自転車のフレームの形状を示す画像を含む
ことを特徴とする付記１又は２に記載の情報処理システム。

（付記４）
前記画像取得部は、データベースに記憶されている複数の自転車の画像のうちから前記表示用画像を選択することにより、前記表示用画像を取得する
ことを特徴とする付記１乃至３のいずれか１項に記載の情報処理システム。

（付記５）
前記画像取得部は、データベースに記憶されている複数の自転車の部分の画像を組み合わせて前記表示用画像を生成することにより、前記表示用画像を取得する
ことを特徴とする付記１乃至３のいずれか１項に記載の情報処理システム。

（付記６）
前記特徴マップは、複数の前記特徴画像が、前記自転車の特徴に応じた位置に配置されたものであることを特徴とする付記１乃至５のいずれか１項に記載の情報処理システム。

（付記７）
前記特徴マップは、複数の前記特徴画像が、２次元平面上の前記自転車の特徴に応じた位置に配列されたものであることを特徴とする付記１乃至６のいずれか１項に記載の情報処理システム。

（付記８）
前記特徴マップは、機械学習により取得された自転車の特徴に基づいて生成されたものである
ことを特徴とする付記１乃至７のいずれか１項に記載の情報処理システム。

（付記９）
前記特徴マップは、自転車を含む画像を入力データ及び出力データとするオートエンコーダにより取得された自転車の特徴に基づいて生成されたものである
ことを特徴とする付記１乃至８のいずれか１項に記載の情報処理システム。

（付記１０）
前記特徴マップは、自転車の部分の画像を入力データ及び出力データとするオートエンコーダにより取得された自転車の特徴に基づいて生成されたものである
ことを特徴とする付記１乃至９のいずれか１項に記載の情報処理システム。

（付記１１）
前記画像取得部における前記表示用画像の取得の際に前記特徴情報に対して付与される重み付けの入力を受け付ける第１重み受付部を更に含む
ことを特徴とする付記１乃至１０のいずれか１項に記載の情報処理システム。

（付記１２）
前記自転車の色に関する色情報の入力を受け付ける色情報受付部を更に含み、
前記画像取得部は、更に前記色情報に基づいて、前記表示用画像を取得する
ことを特徴とする付記１乃至１１のいずれか１項に記載の情報処理システム。

（付記１３）
前記画像取得部における前記表示用画像の取得の際に前記色情報に対して付与される重み付けの入力を受け付ける第２重み受付部を更に含む
ことを特徴とする付記１２に記載の情報処理システム。

（付記１４）
前記色情報は、メタリックカラーであるか否かの情報を含む
ことを特徴とする付記１２又は１３に記載の情報処理システム。

（付記１５）
前記自転車が発電機を有するか否かを示す発電機情報の入力を受け付ける発電機情報受付部を更に含み、
前記画像取得部は、更に前記発電機情報に基づいて、前記表示用画像を取得する
ことを特徴とする付記１乃至１４のいずれか１項に記載の情報処理システム。

（付記１６）
前記画像取得部は、複数の前記表示用画像を取得し、
前記表示情報生成部は、複数の前記表示用画像を前記特徴情報に基づく順序で並べて前記表示装置に表示させるように、前記表示情報を生成する
ことを特徴とする付記１乃至１５のいずれか１項に記載の情報処理システム。

（付記１７）
表示対象とする自転車の特徴を示す特徴画像が複数個配列された特徴マップの中の位置をユーザに指定させることにより、前記特徴マップの位置に対応付けられた特徴情報の入力を受け付けるステップと、
前記特徴情報に基づいて、前記自転車の表示用画像を取得するステップと、
前記表示用画像を表示装置に表示させるための表示情報を生成するステップと、
を備えることを特徴とする情報処理方法。

（付記１８）
コンピュータに、
表示対象とする自転車の特徴を示す特徴画像が複数個配列された特徴マップの中の位置をユーザに指定させることにより、前記特徴マップの位置に対応付けられた特徴情報の入力を受け付けるステップと、
前記特徴情報に基づいて、前記自転車の表示用画像を取得するステップと、
前記表示用画像を表示装置に表示させるための表示情報を生成するステップと、
を実行させることを特徴とするプログラムが記憶された記憶媒体。

（付記１９）
表示対象の特徴を示す特徴画像が複数個配列された特徴マップの中の位置をユーザに指定させることにより、前記特徴マップの位置に対応付けられた特徴情報の入力を受け付ける特徴情報受付部と、
前記特徴情報に基づいて、表示用画像を取得する画像取得部と、
前記表示用画像を表示装置に表示させるための表示情報を生成する表示情報生成部と、
を備えることを特徴とする情報処理システム。

この出願は、２０１７年９月４日に出願された日本出願特願２０１７−１６９２９８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０、２０、３０情報処理システム
１０６表示装置
１２１、２２１、３２１特徴情報受付部
１２２、２２２、３２２画像取得部
１２３、２２３、３２３表示情報生成部
１２４第１重み受付部
１２５色情報受付部
１２６第２重み受付部
１２７発電機情報受付部
１２８終了処理受付部
１５０操作画面
１６３特徴マップ表示部
１７０検索結果画面
１７１自転車画像表示部

Claims

表示対象とする自転車の特徴を示す特徴画像が複数個配列された特徴マップの中の位置をユーザに指定させることにより、前記特徴マップの位置に対応付けられた特徴情報の入力を受け付ける特徴情報受付部と、
前記特徴情報に基づいて、複数の自転車の部分を組み合わせて生成された前記自転車の表示用画像を取得する画像取得部と、
前記表示用画像を表示装置に表示させるための表示情報を生成する表示情報生成部と、
を備えることを特徴とする情報処理システム。
前記特徴画像は、前記自転車の一部の形状の特徴を示す画像を含む
ことを特徴とする請求項１に記載の情報処理システム。
前記画像取得部は、データベースに記憶されている複数の自転車の部分の画像を組み合わせて前記表示用画像を生成することにより、前記表示用画像を取得する
ことを特徴とする請求項１又は２に記載の情報処理システム。
前記特徴マップは、複数の前記特徴画像が、前記自転車の特徴に応じた位置に配置されたものであることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理システム。
前記自転車の色に関する色情報の入力を受け付ける色情報受付部を更に含み、
前記画像取得部は、更に前記色情報に基づいて、前記表示用画像を取得する
ことを特徴とする請求項１乃至４のいずれか１項に記載の情報処理システム。
前記画像取得部における前記表示用画像の取得の際に前記色情報に対して付与される重み付けの入力を受け付ける第２重み受付部を更に含む
ことを特徴とする請求項５に記載の情報処理システム。
前記自転車が発電機を有するか否かを示す発電機情報の入力を受け付ける発電機情報受付部を更に含み、
前記画像取得部は、更に前記発電機情報に基づいて、前記表示用画像を取得する
ことを特徴とする請求項１乃至６のいずれか１項に記載の情報処理システム。
前記画像取得部は、複数の前記表示用画像を取得し、
前記表示情報生成部は、複数の前記表示用画像を前記特徴情報に基づく順序で並べて前記表示装置に表示させるように、前記表示情報を生成する
ことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理システム。
コンピュータより実行される情報処理方法であって、
表示対象とする自転車の特徴を示す特徴画像が複数個配列された特徴マップの中の位置をユーザに指定させることにより、前記特徴マップの位置に対応付けられた特徴情報の入力を受け付けるステップと、
前記特徴情報に基づいて、複数の自転車の部分を組み合わせて生成された前記自転車の表示用画像を取得するステップと、
前記表示用画像を表示装置に表示させるための表示情報を生成するステップと、
を備えることを特徴とする情報処理方法。
コンピュータに、
表示対象とする自転車の特徴を示す特徴画像が複数個配列された特徴マップの中の位置をユーザに指定させることにより、前記特徴マップの位置に対応付けられた特徴情報の入力を受け付けるステップと、
前記特徴情報に基づいて、複数の自転車の部分を組み合わせて生成された前記自転車の表示用画像を取得するステップと、
前記表示用画像を表示装置に表示させるための表示情報を生成するステップと、
を実行させることを特徴とするプログラム。