JPWO2017179258A1 - 情報処理装置、及び情報処理方法 - Google Patents
情報処理装置、及び情報処理方法 Download PDFInfo
- Publication number
- JPWO2017179258A1 JPWO2017179258A1 JP2018511887A JP2018511887A JPWO2017179258A1 JP WO2017179258 A1 JPWO2017179258 A1 JP WO2017179258A1 JP 2018511887 A JP2018511887 A JP 2018511887A JP 2018511887 A JP2018511887 A JP 2018511887A JP WO2017179258 A1 JPWO2017179258 A1 JP WO2017179258A1
- Authority
- JP
- Japan
- Prior art keywords
- data
- display size
- information processing
- class
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/904—Browsing; Visualisation therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
Abstract
【課題】情報処理装置、及び情報処理方法を提供する。【解決手段】クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズを決定する、表示サイズ決定部と、前記表示サイズを送信させる、通信制御部と、を備える情報処理装置。【選択図】図２
Description
本開示は、情報処理装置、及び情報処理方法に関する。
近年、分類や認識を行うための機械学習に係る技術が盛んに研究されている。機械学習に係る技術のうち、例えば教師あり学習は、教師データ（データとデータにラベル付けされたラベルの組み合わせ）に基づいて学習を行う。教師あり学習において、高精度な分類や認識を行うためには大量の教師データを用意することが望ましいが、大量の教師データを用意するためには、ラベル付けに係るコストが大きくなる恐れがある。
例えば、特許文献１には、入力される画像データの全てに対してラベル付けを行わず、一部の代表的なデータに対してのみラベル付けされた画像データを用いて年齢推定を行うことで、ラベル付けに係るコストを削減する技術が開示されている。
上記のような機械学習分野では、データに対するラベル付けのさらなる効率化が望まれている。
本開示によれば、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズを決定する、表示サイズ決定部と、前記表示サイズを送信させる、通信制御部と、を備える情報処理装置が提供される。
また、本開示によれば、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、決定された前記データの表示サイズを受信する受信部と、前記表示サイズに基づいて処理を行う処理部と、を備える情報処理装置が提供される。
また、本開示によれば、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズをプロセッサが決定することと、前記表示サイズを送信させることと、を含む情報処理方法が提供される。
また、本開示によれば、表示対象の変更を受け付ける入力部と、前記表示対象の変更に呼応して、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズを決定する、表示サイズ決定部と、を備える情報処理装置が提供される。
また、本開示によれば、表示対象の変更を受け付けることと、前記表示対象の変更に呼応して、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズをプロセッサが決定することと、を含む情報処理方法が提供される。
以上説明したように本開示によれば、データに対するラベル付けをより効率化することが可能である。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
＜＜１．構成例＞＞
＜１−１．全体構成＞
＜１−２．クライアント端末＞
＜１−３．サーバ＞
＜＜２．動作例＞＞
＜２−１．処理フロー＞
＜２−２．画面遷移例＞
＜＜３．変形例＞＞
＜３−１．変形例１＞
＜３−２．変形例２＞
＜３−３．変形例３＞
＜３−４．変形例４＞
＜＜４．ハードウェア構成例＞＞
＜＜５．むすび＞＞
＜＜１．構成例＞＞
＜１−１．全体構成＞
＜１−２．クライアント端末＞
＜１−３．サーバ＞
＜＜２．動作例＞＞
＜２−１．処理フロー＞
＜２−２．画面遷移例＞
＜＜３．変形例＞＞
＜３−１．変形例１＞
＜３−２．変形例２＞
＜３−３．変形例３＞
＜３−４．変形例４＞
＜＜４．ハードウェア構成例＞＞
＜＜５．むすび＞＞
＜＜１．構成例＞＞
まず、図１を参照しながら、本開示の一実施形態の構成例を説明する。図１は本開示の一実施形態に係る情報処理システム１０００の構成例を説明するための説明図である。本実施形態に係る情報処理システム１０００は、機械学習において学習されるデータに、ラベル付けを行うための情報処理システムである。
まず、図１を参照しながら、本開示の一実施形態の構成例を説明する。図１は本開示の一実施形態に係る情報処理システム１０００の構成例を説明するための説明図である。本実施形態に係る情報処理システム１０００は、機械学習において学習されるデータに、ラベル付けを行うための情報処理システムである。
本開示に係るデータは特に限定されず、例えば画像データ、音声データ、テキストデータ等であってもよいが、以下では本実施形態において学習、及び認識されるデータは画像データであるとして説明を行う。また、以下では、本実施形態は画像データを複数のクラスに分類するための分類器を構築するために、学習用の画像データに当該画像データが属するクラス（例えば画像データに含まれる物体の種別）を示すラベルが付けられる例を説明する。
図１に示すように、本実施形態に係る情報処理システム１０００は、クライアント端末１、サーバ２、及び通信網５を含む。以下では、本実施形態に係る情報処理システム１０００の全体構成を説明した後、本実施形態に係る情報処理システム１０００に含まれるクライアント端末１、及びサーバ２の構成例について順次説明する。
＜１−１．全体構成＞
クライアント端末１は、ラベル付けを行うユーザに用いられる情報処理装置である。ユーザは、クライアント端末１に表示された学習用の画像データに、ラベルを与えることで、ラベル付けを行う。ユーザによって与えられたラベルの情報（ラベル情報）は、通信網５を介してサーバ２に提供される。なお、クライアント端末１が表示する学習用の画像データは、サーバ２から通信網５を介してクライアント端末１に提供されてもよい。
クライアント端末１は、ラベル付けを行うユーザに用いられる情報処理装置である。ユーザは、クライアント端末１に表示された学習用の画像データに、ラベルを与えることで、ラベル付けを行う。ユーザによって与えられたラベルの情報（ラベル情報）は、通信網５を介してサーバ２に提供される。なお、クライアント端末１が表示する学習用の画像データは、サーバ２から通信網５を介してクライアント端末１に提供されてもよい。
また、クライアント端末１は、サーバ２から、認識結果を可視化するグラフ情報と、画像データの表示サイズとを受信し、グラフ情報と当該表示サイズとに基づいて、表示処理を行う。後述するように、クライアント端末１に表示される画像データは、認識されたクラスが誤っている可能性が高い程大きく表示されるため、ユーザは正しいラベルを付けることが望ましいデータを見つけやすくなり、効率的にラベル付けすることが出来る。
サーバ２は、ラベル付き画像データの学習、及び画像データの認識を行う情報処理装置である。なお、ラベル付き画像データは、所謂教師データであり、通信網５を介してクライアント端末１から受信したラベル情報と、画像データを対応付けることで得られる。
また、サーバ２は、認識結果に基づいて、クライアント端末１による表示、及び認識結果の可視化のためのグラフ生成と、各画像データの表示サイズの決定を行い、グラフ情報と表示サイズをクライアント端末１に送信する。なお、サーバ２の構成例については、図２を参照して後述する。
通信網５は、通信網５に接続されている装置、またはシステムから送信される情報の有線、または無線の伝送路である。例えば、通信網５は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を含んでもよい。また、通信網５は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）等の専用回線網を含んでもよい。
＜１−２．クライアント端末＞
以上、本実施形態による情報処理システム１０００の全体構成例を説明した。続いて、本実施形態に係るクライアント端末１の構成例を説明する。図１に示すように、本実施形態に係るクライアント端末１は、制御部１０、通信部１２、表示部１４、操作部１６を備える情報処理装置である。なお、クライアント端末１は、例えばＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレットＰＣ等であってもよいし、ＨＭＤ（Head Mounted Display）等のウェアラブルデバイスであってもよい。
以上、本実施形態による情報処理システム１０００の全体構成例を説明した。続いて、本実施形態に係るクライアント端末１の構成例を説明する。図１に示すように、本実施形態に係るクライアント端末１は、制御部１０、通信部１２、表示部１４、操作部１６を備える情報処理装置である。なお、クライアント端末１は、例えばＰＣ（Personal Computer）、携帯電話、スマートフォン、タブレットＰＣ等であってもよいし、ＨＭＤ（Head Mounted Display）等のウェアラブルデバイスであってもよい。
制御部１０は、クライアント端末１の各構成を制御する。また、制御部１０は、図１に示すように、通信制御部１０１、表示制御部１０３、及びラベル制御部１０５としても機能する。
通信制御部１０１は、通信部１２による通信を制御する。例えば、通信制御部１０１は、通信部１２を制御して、サーバ２から画像データやグラフ情報、表示サイズ等を受信させる。また、通信制御部１０１は、通信部１２を制御して、ラベル情報をサーバ２に送信させる。なお、ラベル情報は、例えばユーザの入力に基づいて、後述するラベル制御部１０５により生成されてもよい。
表示制御部１０３は、表示部１４による表示を制御する（表示に係る処理を行う）。例えば、表示制御部１０３は、サーバ２から受信される画像データを表示部１４に表示させる。また、表示制御部１０３は、サーバ２から受信されるグラフ情報、及び表示サイズにさらに基づいて、画像データを表示部１４に表示させてもよい。
なお、表示制御部１０３の制御により表示部１４に表示される画面、及び画面遷移例の詳細については、図４〜１０を参照して後述する。
ラベル制御部１０５は、ユーザの入力に基づいて、ラベルの情報（ラベル情報）を生成する。例えば、ラベル制御部１０５が生成するラベル情報には、ラベル、及び当該ラベルと画像データを対応付ける情報（例えば画像データの識別情報）が含まれてもよい。係る場合、例えばラベル制御部１０５は、表示部１４に表示された画像データと、操作部１６を介して得られるユーザの入力と、を対応付けることで、ラベル情報を生成してもよい。ラベル制御部１０５が生成したラベル情報は、通信制御部１０１の通信制御により、サーバ２に送信される。
通信部１２（受信部）は、他の装置との間の通信を仲介する通信インタフェースである。通信部１２は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１に示す通信網５を介して他の装置との間の通信接続を確立する。それにより、例えば、クライアント端末１が通信網５に接続されたサーバ２にラベル情報を送信し、及びサーバ２からグラフ情報、及び表示サイズを受信することが可能となる。
表示部１４は、表示制御部１０３に制御されて、様々な画面を表示するディスプレイである。例えば、表示部１４は、複数の画像データを表示してもよいし、ラベルの入力画面を表示してもよい。なお、表示部１４は、クライアント端末１の形態に応じた様々な形態で実現されてもよい。
操作部１６（入力部）は、ユーザの入力を受け付け、制御部１０に提供する。例えば、ユーザは、操作部１６を操作して、ラベル付けを行う画像データを選択してもよい。なお、ユーザはラベル付けを行う画像データを１または複数選択してもよい。また、ユーザは、操作部１６を操作して、画像データに与えるラベルを入力してもよい。また、ユーザは、操作部１６を操作して、表示対象の変更（例えば表示対象範囲の拡大、移動、回転等）を入力してもよい。なお、操作部１６は、例えばマウス、キーボード、タッチパネル、ボタン、スイッチ、視線入力装置、ジェスチャ入力装置、音声入力装置などにより実現されてもよい。
＜１−３．サーバ＞
以上、本実施形態に係るクライアント端末１の構成例を説明した。続いて、図２を参照して、本実施形態に係るサーバ２の構成例を説明する。図２は、本実施形態に係るサーバ２の構成例を説明するための説明図である。図２に示すように、サーバ２は、制御部２０、通信部２２、及び記憶部２４を備える情報処理装置である。
以上、本実施形態に係るクライアント端末１の構成例を説明した。続いて、図２を参照して、本実施形態に係るサーバ２の構成例を説明する。図２は、本実施形態に係るサーバ２の構成例を説明するための説明図である。図２に示すように、サーバ２は、制御部２０、通信部２２、及び記憶部２４を備える情報処理装置である。
制御部２０は、サーバ２の各構成を制御する。また、制御部２０は、図２に示すように、通信制御部２０１、学習部２０２、認識部２０３、配置制御部２０４、及び表示サイズ決定部２０５としても機能する。
通信制御部２０１は、通信部２２による通信を制御する。例えば、通信制御部２０１は、通信部２２を制御して、クライアント端末１からラベル情報を受信させる。また、通信制御部２０１は、通信部２２を制御して、画像データ、グラフ情報、及び表示サイズ等を送信させる。
学習部２０２は、クライアント端末１から受信されたラベル情報と画像データとを対応付けたラベル付き画像データに基づいて、学習を行う。学習部２０２による学習の方法は特に限定されないが、例えばニューラルネットワーク、決定木、ＳＶＭ（Support Vector Machine）等の機械学習アルゴリズムに基づく方法であってもよい。学習部２０２による学習の結果、例えば、画像データを複数のクラスのいずれかに分類する分類器が構築される。
認識部２０３は、学習部２０２による学習結果（分類器）に基づいて、画像データの認識（分類）を行う。認識部２０３による認識の方法は、例えば学習部２０２において用いられた機械学習アルゴリズムに応じた方法であってもよい。なお、認識部２０３による認識の対象となる画像データは、クライアント端末１の画面に表示されたが、ラベル付けされていない画像データを含み得る。
本実施形態に係る認識部２０３は、例えば各画像データが、どの程度各クラスらしいかを示す尤度を含む尤度ベクトルを特定し、当該尤度ベクトルに基づいて、各画像データをいずれかのクラスに分類してもよい。例えば、認識部２０３は、画像データに係る尤度ベクトルにおいて、最も高い尤度に対応するクラスに、当該画像データを分類してもよい。また、認識部２０３は、画像データに係る尤度ベクトルにおいて、最も高い尤度の値が所定の閾値以上である場合に、当該最も高い尤度に対応するクラスに、当該画像データを分類してもよい。なお、以下では、クラスに分類された画像データを当該クラスに属する画像データと呼ぶ場合がある。
配置制御部２０４は、認識部２０３による画像データの認識における尤度ベクトルに基づいて、画像データを配置する。例えば、配置制御部２０４は、認識部２０３による認識結果に基づいて、認識結果を可視化するグラフを生成することで、各画像データを配置してもよい。
配置制御部２０４によるグラフの生成方法は特に限定されないが、例えば、配置制御部２０４により生成されるグラフは、力学モデルに基づくグラフ（フォースベースドグラフ）であってもよい。係る場合、配置制御部２０４は、グラフの頂点と辺にフォース（力）を割り当て、力学的エネルギーの低い安定状態を特定することで、グラフを生成する。以下、配置制御部２０４が力学モデルに基づくグラフを生成する場合を例に、配置制御部２０４によるグラフ生成の説明を行う。
例えば、配置制御部２０４は、各クラス、及び、各画像データを頂点として設定してもよい。また、配置制御部２０４は、各クラスと各画像データとの間に辺を設定し、各画像データの尤度ベクトルに基づくフォースを、各クラスと各画像データの間の辺に割り当ててもよい。クラスと画像データの間の辺に割り当てられるフォースは、当該画像データに係る尤度ベクトルにおいて、当該クラスに係る尤度が大きい程、大きくなるように設定されてもよい。係る構成により、画像データは、当該画像データに係る尤度ベクトルにおいて高い値の尤度に対応するクラスと近い位置に、配置されやすくなる。また、画像データは、誤認識が発生している可能性が高い程、当該画像データが属するクラスの位置から遠くに配置されやすくなる。
また、配置制御部２０４は、クラスが複数存在する場合に、クラス間に辺を設定し、クラス間の類似度に基づくフォースを、クラス間の辺に割り当ててもよい。例えば、クラス間の辺に割り当てられるフォースは、クラス間の類似度が大きい程、大きくなるように設定されてもよい。係る構成により、類似するクラス同士が近い位置に配置されやすくなり、当該クラスに属する画像データ同士も近い位置に配置されやすくなる。
なお、クラス間の類似度は、例えば各クラスに属する画像データの尤度ベクトルに基づいて特定されてもよい。例えば、第一のクラスに分類された画像データの尤度ベクトルにおける、第二のクラスに対応する尤度の平均値、または、第二のクラスに分類された画像データの尤度ベクトルにおける、第一のクラスに対応する尤度の平均値、に基づいて、第一のクラスと第二のクラスの間の類似度が特定されもよい。係る構成により、誤認識されやすいクラス同士が近い位置に配置されやすくなり、当該クラスに分類された画像データ同士も近い位置に配置されやすくなる。その結果、ユーザは正しいラベルを付けることが望ましいデータを見つけやすくなり、より効率的なラベル付けが可能となる。
また、配置制御部２０４は、クラスの位置を中心とし、当該クラスに分類された画像データのうち当該クラスの位置から最も遠い位置にある画像データと当該クラスとの距離を半径とした円を、当該クラスの範囲を示すクラウドとして設定する。なお、以下では、上述したクラウド（クラスの範囲を示す円）の半径を、クラス半径と呼ぶ場合がある。また、配置制御部２０４により設定されたクラウドは、例えばクライアント端末１の表示部１４に表示されてもよい。
上述した配置制御部２０４により生成されたグラフの情報（グラフ情報）は、クライアント端末１に送信される。例えば、グラフ情報には、画像データの位置、クラスの位置、クラスに対応するクラウドの半径、等の情報が含まれてもよい。係る構成により、クライアント端末１は、認識結果を可視化すると共に、誤認識されている可能性の高い画像データを大きく表示することが可能となり、ユーザは、正しいラベルを付けることが望ましいデータを見つけやすくなる。
表示サイズ決定部２０５は、配置制御部２０４により配置された画像データの位置と、当該画像データが属するクラスの位置との距離に基づいて、画像データの表示サイズを決定する。例えば、表示サイズ決定部２０５は、当該距離が大きい程、当該画像データの表示サイズが大きくなるように、表示サイズを決定してもよい。係る構成により、尤度が低く誤認識されている可能性が高い画像データ程、表示サイズが大きくなり、ユーザは正しいラベルを付けることが望ましいデータをより見つけやすくなる。
また、表示サイズ決定部２０５は、上述したクラス半径にさらに基づいて、表示サイズを決定してもよい。例えば、当該クラス半径に対する当該距離の比が大きい程、表示サイズが大きくなるように、表示サイズを決定してもよい。係る構成によれば、表示サイズがクラス半径により正規化され、例えば、クラス半径が小さいクラスに属する画像データであっても、誤認識されている可能性が高い画像データが大きく表示される。
また、表示サイズ決定部２０５は、画像データに係る当該距離、または、当該クラス半径に対する当該距離の比が、所定の閾値よりも大きい場合に、表示サイズが他の画像データよりも大きくなるように、表示サイズを決定してもよい。係る場合、クラウド（クラスの範囲を示す円）の外縁部の画像データが大きく表示され、それ以外の画像データは小さく表示される。係る構成により、例えば画像データが多数ある場合に、大きく表示される画像データが絞られ、ユーザは正しいラベルを付けることが望ましいデータをより見つけやすくなる。
通信部２２は、他の装置との間の通信を仲介する通信インタフェースである。通信部２２は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、例えば図１に示した通信網５を介して他の装置との間の通信接続を確立する。それにより、例えば、サーバ２が通信網５に接続されたクライアント端末１からにラベル情報を受信し、及びクライアント端末１にグラフ情報、及び表示サイズを送信することが可能となる。
記憶部２４は、サーバ２の各構成が機能するためのプログラムやパラメータを記憶する。また、記憶部２４は、学習用の画像データ、及びクライアント端末１から受信したラベル情報を記憶する。
＜＜２．動作例＞＞
以上、本実施形態による情報処理システム１０００の構成例について説明した。続いて、本実施形態による情報処理システム１０００の動作例について、図３〜１０を参照して説明する。以下では、まず情報処理システム１０００の処理フローについて図３を参照して説明した後、本実施形態においてクライアント端末１に表示される画面の遷移例について図４〜１０を参照して説明する。
以上、本実施形態による情報処理システム１０００の構成例について説明した。続いて、本実施形態による情報処理システム１０００の動作例について、図３〜１０を参照して説明する。以下では、まず情報処理システム１０００の処理フローについて図３を参照して説明した後、本実施形態においてクライアント端末１に表示される画面の遷移例について図４〜１０を参照して説明する。
＜２−１．処理フロー＞
図３は、本実施形態による情報処理システム１０００の処理フローを示すシーケンス図である。
図３は、本実施形態による情報処理システム１０００の処理フローを示すシーケンス図である。
図３に示すように、まずサーバ２からクライアント端末１に学習用の画像データが送信される（Ｓ１００）。続いて、クライアント端末１が、画像データを表示する（Ｓ１０２）。なお、ステップＳ１０２においては、画像データにラベルが与えられておらず、また、サーバ２での認識も行われていないため、例えば画像データがランダムな位置に、全て同一の表示サイズで、表示されてもよい。
続いて、ユーザがクライアント端末１を操作することにより、ラベル付けを行う画像データが選択される（Ｓ１０４）。続いて、ステップＳ１０４で選択された画像データにラベルが付けられる（Ｓ１０６）。ステップＳ１０６において、例えばユーザがラベルを入力することでラベル付けが行われてもよいし、予め用意され、または既にユーザにより入力されたラベルの中から、ユーザがラベルを選択することでラベル付けが行われてもよい。
なお、ステップＳ１０４、及びステップＳ１０６において、複数の画像データが選択されてラベル付けが行われてもよいし、ステップＳ１０４、及びステップＳ１０６が繰り返されて、複数のラベルについてのラベル付けが行われてもよい。
続いて、ステップＳ１０６のラベル付けにより得られたラベル情報がクライアント端末１からサーバ２に送信される（Ｓ１０８）。ラベル情報を受信したサーバ２の学習部２０２は、ラベル付けされた画像データを用いて、学習を行う（Ｓ１１０）。さらに、サーバ２の認識部２０３は、ステップＳ１１０の学習結果に基づいて、画像データに係る尤度ベクトルを特定し、尤度ベクトルに基づいて画像データを認識（分類）する（Ｓ１１２）。
続いて、サーバ２の配置制御部２０４は、尤度ベクトルに基づいてグラフを生成することで、クラスと画像データを配置する（Ｓ１１４）。配置されたクラスと画像データの位置に基づいて、サーバ２の表示サイズ決定部２０５が、表示サイズを決定する（Ｓ１１６）。
続いて、ステップＳ１１４で生成されたグラフの情報（グラフ情報）と、ステップＳ１１６で決定された表示サイズが、サーバ２からクライアント端末１に送信される（Ｓ１１８）。グラフ情報と表示サイズを受信したクライアント端末１は、ステップＳ１１４で配置された位置にクラスと画像データが表示されるように、表示を更新する（Ｓ１２０）。
表示を確認したユーザの操作により、ラベル付けが終了したと選択された場合（Ｓ１２２においてＹＥＳ）、処理は終了する。なお、係る場合、サーバ２にラベル付けが終了したことが通知されて、現時点で各画像データが属するクラスに対応するラベルが、当該画像データのラベルとしてラベル付けされてもよい。
ステップＳ１２２においてラベル付けが終了していないと選択された場合（Ｓ１２２においてＮＯ）、ユーザがクライアント端末１を操作することで、ユーザがラベル付けを行いたい画像データが含まれているクラウドが選択される（Ｓ１２４）。
続いて、クライアント端末１の表示制御部１０３は、選択されたクラウドに含まれる画像データの表示サイズを、ステップＳ１１８でサーバ２から受信した表示サイズに変更する（Ｓ１２６）。続いて、処理はステップＳ１０４に戻り、ユーザによりラベル付けが終了したと選択されるまで繰り返される。
＜２−２．画面遷移例＞
以上、本実施形態による情報処理システム１０００の処理フローを説明した。続いて、画像データにラベル付けが行われる場合に、クライアント端末１に表示される画面の遷移の具体例について図４〜１０を参照して説明する。図４〜１０は、本実施形態に係るクライアント端末１の表示制御部１０３が表示部１４に表示させる画面例を示す説明図である。なお、以下では、図３に示した処理ステップを適宜参照しながら説明を行う。
以上、本実施形態による情報処理システム１０００の処理フローを説明した。続いて、画像データにラベル付けが行われる場合に、クライアント端末１に表示される画面の遷移の具体例について図４〜１０を参照して説明する。図４〜１０は、本実施形態に係るクライアント端末１の表示制御部１０３が表示部１４に表示させる画面例を示す説明図である。なお、以下では、図３に示した処理ステップを適宜参照しながら説明を行う。
まず、図３のステップＳ１０２において、図４に示す画面Ｇ１００のように画像データＤ１０２〜Ｄ１３４がランダムな位置に、全て同一の表示サイズで、表示される。
続いて、図３のステップＳ１０４において、画像データＤ１２０が選択されると、図５に示す画面Ｇ２００のように、画像データＤ１２０が拡大され、画像データＤ１２０にラベル付けすることが可能となる。選択された画像データＤ１２０が拡大されることで、ユーザは画像データＤ１２０の詳細を確認しながらラベル付けし易くなる。
以下では、図５に示す画面Ｇ２００において、ユーザが画像データＤ１２０に「Ｃａｒ」というラベルを付けたものとして、説明を続ける。
図３のステップＳ１０６〜Ｓ１１８の処理が行われた後、図３のステップＳ１２０において、図６に示す画面Ｇ３００のように表示が更新される。図６に示す画面Ｇ３００には、クラスＣａｒに対応するクラウドＣ１０が表示され、クラウドＣ１０内に、クラスＣａｒに属する画像データＤ１０２、Ｄ１０４、Ｄ１１２、Ｄ１１４、Ｄ１２０、Ｄ１２２、Ｄ１２４、Ｄ１２６が表示される。また、クラウドＣ１０に対応するクラスＣａｒに係る尤度が低く、誤認識されている可能性が高い画像データは、クラウドＣ１０の中心位置（クラスＣａｒの位置）から遠い位置に表示されやすい。
続いて、図３のステップＳ１２４において、ユーザによりクラウドが選択されると、図３のステップＳ１２６において、図７に示す画面Ｇ４００のように画像データの表示サイズが変更される。図７に示す画面Ｇ４００の例では、クラウドＣ１０の中心位置（クラスＣａｒの位置）Ｃ１２から遠い位置に配置された画像データＤ１０４、Ｄ１１４、Ｄ１２２、Ｄ１２６が、他の画像データよりも大きい表示サイズで表示されている。係る構成により、誤認識されている可能性が高い画像データが大きい表示サイズで表示されるため、ユーザは大きい表示サイズで表示された画像データを確認して、正しいラベルを付けることが望ましいデータをより容易に選択することが可能となる。
処理が図３のステップＳ１０４に戻り、画像データＤ１２６が選択されると、図８に示す画面Ｇ５００のように、画像データＤ１２６が拡大され、画像データＤ１２６にラベル付けすることが可能となる。
以下では、図８に示す画面Ｇ５００において、ユーザが画像データＤ１２６に「Ｐｌａｎｅ」というラベルを付けたものとして、説明を続ける。
図３のステップＳ１０６〜Ｓ１１８の処理が再度行われた後、図３のステップＳ１２０において、図９に示す画面Ｇ６００のように表示が更新される。図９に示す画面Ｇ９００には、クラスＣａｒに対応するクラウドＣ１０と、クラスＰｌａｎｅに対応するクラウドＣ２０が表示される。また、図９に示すように、クラウドＣ１０内に、クラスＣａｒに属する画像データＤ１０２、Ｄ１１２、Ｄ１２０、Ｄ１２４が、クラウドＣ２０内に、クラスＰｌａｎｅに属する画像データＤ１０４、Ｄ１１４、Ｄ１２２、Ｄ１２６がそれぞれ表示される。また、各クラウドに対応するクラスに係る尤度が低く、誤認識されている可能性が高い画像データは、各クラウドの中心位置から遠い位置に表示されやすい。
上記のようなラベル付けを繰り返すことで、図１０に示す画面Ｇ６００のように、全ての画像データがクラウドＣ１０、Ｃ２０、Ｃ３０、Ｃ４０のいずれかに含まれる。例えば図３のステップＳ１２２において、ユーザは画面Ｇ６００を確認し、ラベル付けが終了したと選択する。
＜＜３．変形例＞＞
以上、本開示の一実施形態を説明した。以下では、本開示の一実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、各変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。
以上、本開示の一実施形態を説明した。以下では、本開示の一実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本開示の実施形態に適用されてもよいし、組み合わせで本開示の実施形態に適用されてもよい。また、各変形例は、本開示の実施形態で説明した構成に代えて適用されてもよいし、本開示の実施形態で説明した構成に対して追加的に適用されてもよい。
＜３−１．変形例１＞
上記実施形態ではステップＳ１２４においてクラウドが選択された後に、選択されたクラウドに含まれる画像データの表示サイズがサーバ２から受信した表示サイズに変更される（Ｓ１２６）例を説明したが、本技術は係る例に限定されない。
上記実施形態ではステップＳ１２４においてクラウドが選択された後に、選択されたクラウドに含まれる画像データの表示サイズがサーバ２から受信した表示サイズに変更される（Ｓ１２６）例を説明したが、本技術は係る例に限定されない。
例えば、ステップＳ１２０における表示更新の際に、各画像データの表示サイズがサーバ２から受信した表示サイズに変更されてもよい。また、ステップＳ１２４において、クラウドの代わりに、画面中の範囲が選択され、選択された範囲に含まれる画像データの表示サイズが、サーバ２から受信した表示サイズに変更されてもよい。また、ステップＳ１２４において、クラウドの代わりに、画像データが選択され、選択された画像データの表示サイズが、サーバ２から受信した表示サイズに変更されてもよい。
＜３−２．変形例２＞
また、上記実施形態では、ラベル付けが一度も行われていない初期の状態（ステップＳ１０２、画面Ｇ１００）において、画像データがランダムな位置に、全て同一の表示サイズで、表示される例を説明したが、本技術は係る例に限定されない。例えば、k-means法等の教師なし学習手法により、画像データがクラスタリングされた結果が、ステップＳ１０２において表示されてもよい。
また、上記実施形態では、ラベル付けが一度も行われていない初期の状態（ステップＳ１０２、画面Ｇ１００）において、画像データがランダムな位置に、全て同一の表示サイズで、表示される例を説明したが、本技術は係る例に限定されない。例えば、k-means法等の教師なし学習手法により、画像データがクラスタリングされた結果が、ステップＳ１０２において表示されてもよい。
係る構成によれば、ラベル付けが一度も行われていない初期の状態においても、画像データがクラスタリングされて表示されるため、複数の画像データを選択して同一のラベル付けを行う場合に、ユーザは画像データを選択し易くなる。なお、上記のクラスタリングは、例えばサーバ２の認識部２０３により行われてもよい。
＜３−３．変形例３＞
また、上記実施形態では、配置制御部２０４は、力学モデルに基づくグラフ（フォースベースドグラフ）を生成することで、クラスと画像データを配置する例を説明したが、本技術は係る例に限定されない。
また、上記実施形態では、配置制御部２０４は、力学モデルに基づくグラフ（フォースベースドグラフ）を生成することで、クラスと画像データを配置する例を説明したが、本技術は係る例に限定されない。
例えば、画像データの尤度ベクトルに含まれる、当該画像データが属するクラスに係る尤度の大きさに基づいて、当該クラスと画像データとの距離が決定されてもよい。さらに、当該画像データの尤度ベクトルに含まれる、当該クラス以外のクラスに係る尤度の大きさに基づいて、当該クラスから見た当該画像データの角度が決定されてもよい。
＜３−４．変形例４＞
また、上記実施形態では、図１、及び図２を参照してクライアント端末１、及びサーバ２が有する機能を説明したが、本技術は係る例に限定されない。例えば、上記実施形態で説明したクライアント端末１の機能をサーバ２が有してもよいし、上記実施形態で説明したサーバ２の機能をクライアント端末１が有してもよい。以下では、変形例として、クライアント端末が、上記実施形態で説明した配置制御部、及び表示サイズ決定部の機能を有する例を説明する。
また、上記実施形態では、図１、及び図２を参照してクライアント端末１、及びサーバ２が有する機能を説明したが、本技術は係る例に限定されない。例えば、上記実施形態で説明したクライアント端末１の機能をサーバ２が有してもよいし、上記実施形態で説明したサーバ２の機能をクライアント端末１が有してもよい。以下では、変形例として、クライアント端末が、上記実施形態で説明した配置制御部、及び表示サイズ決定部の機能を有する例を説明する。
図１１は、本変形例に係るクライアント端末１−２の構成例を説明するための説明図である。図１１に示すように、クライアント端末１−２は、制御部１１、通信部１２、表示部１４、及び操作部１６を備える情報処理装置である。なお、図１１に示す構成のうち、図１に示した各構成と実質的に同様の構成については同一の符号を付してあるため、説明を省略する。
制御部１１は、クライアント端末１−２の各構成を制御する。また、制御部１１は、図１１に示すように、通信制御部１０２、表示制御部１０３、ラベル制御部１０５、配置制御部１０７、及び表示サイズ決定部１０９としても機能する。
通信制御部１０２は、図１を参照して説明した通信制御部１０１と同様に、通信部１２による通信を制御する。例えば、通信制御部１０１は、通信部１２を制御して、サーバ２から画像データや尤度ベクトル等を受信させる。また、通信制御部１０１は、通信部１２を制御して、ラベル情報をサーバ２に送信させる。
また、通信制御部１０２は、制御部１１が有する各部の間の通信を制御してもよい。例えば、通信制御部１０２は、配置制御部１０７と表示サイズ決定部１０９の間の通信、及び配置制御部１０７と表示制御部１０３の間の通信を制御して、グラフ情報を配置制御部１０７から表示サイズ決定部１０９、及び表示制御部１０３へ送信させてもよい。また、通信制御部１０２は、表示サイズ決定部１０９と表示制御部１０３の間の通信を制御して、表示サイズを、表示サイズ決定部１０９から表示制御部１０３へ送信させてもよい。
配置制御部１０７は、サーバ２から受信される尤度ベクトルに基づいて、画像データ、及びクラスの配置を行う。配置制御部１０７による画像データ、及びクラスの配置方法は、例えば図２を参照して説明した配置制御部２０４による配置方法と同様であるため、説明を省略する。
表示サイズ決定部１０９は、配置制御部１０７により配置された画像データの位置と、当該画像データが属するクラスの位置との距離に基づいて、画像データの表示サイズを決定する。例えば、表示サイズ決定部１０９は、操作部１６（入力部）が受け付けた表示対象の変更（例えば表示対象範囲の拡大、移動、回転等）に呼応して、表示対象に含まれる画像データの表示サイズを決定してもよい。係る構成によれば、ラベルの更新を伴わずに表示対象の変更が入力された場合に、クライアント端末１−２は、サーバ２と通信することなく、表示サイズを決定し、表示を更新することが可能である。なお、表示サイズ決定部１０９による表示サイズの決定方法は、例えば図２を参照して説明した表示サイズ決定部２０５による表示サイズの決定方法と同様であるため、説明を省略する。
＜＜４．ハードウェア構成例＞＞
以上、本開示の実施形態を説明した。最後に、図１２を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１２は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１２に示す情報処理装置９００は、例えば、図１、２、１１にそれぞれ示したクライアント端末１、サーバ２、またはクライアント端末１−２を実現し得る。本実施形態に係るクライアント端末１、サーバ２、またはクライアント端末１−２による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
以上、本開示の実施形態を説明した。最後に、図１２を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図１２は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図１２に示す情報処理装置９００は、例えば、図１、２、１１にそれぞれ示したクライアント端末１、サーバ２、またはクライアント端末１−２を実現し得る。本実施形態に係るクライアント端末１、サーバ２、またはクライアント端末１−２による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図１２に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図１に示す制御部１０や、図２に示す制御部２０、図１１に示す制御部１１を形成し得る。
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、図１に示す操作部１６を形成し得る。
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置は、例えば、図１に示す表示部１４を形成し得る。
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図２に示す記憶部２４を形成し得る。
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図１、図１１に示す通信部１２、及び図２に示す通信部２２を形成し得る。
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
＜＜５．むすび＞＞
以上、説明したように、本開示の実施形態によれば、データに対するラベル付けをより効率化することが可能である。
以上、説明したように、本開示の実施形態によれば、データに対するラベル付けをより効率化することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
上記では、ラベル付けされるデータが画像データである例を説明したが、本技術は係る例に限定されない。例えばラベル付けされるデータは、テキストデータや音声データ等であってもよい。例えば、認識対象データがテキストデータである場合、表示サイズ決定部により、テキストデータの表示サイズ（文字サイズ）が決定されてもよい。
また、上記実施形態における各ステップは、必ずしもシーケンス図として記載された順序に沿って時系列に処理する必要はない。例えば、上記実施形態の処理における各ステップは、シーケンス図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズを決定する、表示サイズ決定部と、
前記表示サイズを送信させる、通信制御部と、
を備える情報処理装置。
（２）
前記表示サイズ決定部は、前記データが属する前記クラスの位置からの前記距離が大きい程、前記表示サイズが大きくなるように、前記表示サイズを決定する、前記（１）に記載の情報処理装置。
（３）
前記表示サイズ決定部は、前記クラスの範囲を示す円の半径にさらに基づいて、表示サイズを決定する、前記（１）または（２）に記載の情報処理装置。
（４）
前記表示サイズ決定部は、前記半径に対する前記距離の比が大きい程、前記表示サイズが大きくなるように、前記表示サイズを決定する、前記（３）に記載の情報処理装置。
（５）
前記表示サイズ決定部は、前記半径に対する前記距離の比が所定の閾値より大きい場合に、前記表示サイズが大きくなるように、前記表示サイズを決定する、前記（３）に記載の情報処理装置。
（６）
前記情報処理装置は、前記データを配置する配置制御部を更に備え、
前記配置制御部は、前記クラス、及び前記データを頂点とするグラフを生成することで、前記データを配置する、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記配置制御部は、力学モデルに基づいて、前記グラフを生成する、前記（６）に記載の情報処理装置。
（８）
前記配置制御部は、前記クラスと前記データとの間の辺に、前記尤度ベクトルに基づくフォースを割り当てる、前記（７）に記載の情報処理装置。
（９）
前記配置制御部は、前記尤度ベクトルにおける前記クラスに係る尤度が大きい程、前記クラスと前記データとの間の辺に割り当てられる前記フォースが大きくなるように、前記フォースを割り当てる、前記（８）に記載の情報処理装置。
（１０）
前記配置制御部は、クラス間の辺に、前記クラス間の類似度に基づくフォースを割り当てる、前記（６）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記配置制御部は、前記クラス間の類似度が大きい程、前記クラス間の辺に割り当てられるフォースが大きくなるように、前記フォースを割り当てる、前記（１０）に記載の情報処理装置。
（１２）
前記情報処理装置は、前記表示サイズで、前記データを表示させる表示制御部をさらに備える、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記データは、画像データを含む、前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、決定された前記データの表示サイズを受信する受信部と、
前記表示サイズに基づいて処理を行う処理部と、
を備える情報処理装置。
（１５）
クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズをプロセッサが決定することと、
前記表示サイズを送信させることと、
を含む情報処理方法。
（１６）
表示対象の変更を受け付ける入力部と、
前記表示対象の変更に呼応して、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズを決定する、表示サイズ決定部と、
を備える情報処理装置。
（１７）
表示対象の変更を受け付けることと、
前記表示対象の変更に呼応して、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズをプロセッサが決定することと、
を含む情報処理方法。
（１）
クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズを決定する、表示サイズ決定部と、
前記表示サイズを送信させる、通信制御部と、
を備える情報処理装置。
（２）
前記表示サイズ決定部は、前記データが属する前記クラスの位置からの前記距離が大きい程、前記表示サイズが大きくなるように、前記表示サイズを決定する、前記（１）に記載の情報処理装置。
（３）
前記表示サイズ決定部は、前記クラスの範囲を示す円の半径にさらに基づいて、表示サイズを決定する、前記（１）または（２）に記載の情報処理装置。
（４）
前記表示サイズ決定部は、前記半径に対する前記距離の比が大きい程、前記表示サイズが大きくなるように、前記表示サイズを決定する、前記（３）に記載の情報処理装置。
（５）
前記表示サイズ決定部は、前記半径に対する前記距離の比が所定の閾値より大きい場合に、前記表示サイズが大きくなるように、前記表示サイズを決定する、前記（３）に記載の情報処理装置。
（６）
前記情報処理装置は、前記データを配置する配置制御部を更に備え、
前記配置制御部は、前記クラス、及び前記データを頂点とするグラフを生成することで、前記データを配置する、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記配置制御部は、力学モデルに基づいて、前記グラフを生成する、前記（６）に記載の情報処理装置。
（８）
前記配置制御部は、前記クラスと前記データとの間の辺に、前記尤度ベクトルに基づくフォースを割り当てる、前記（７）に記載の情報処理装置。
（９）
前記配置制御部は、前記尤度ベクトルにおける前記クラスに係る尤度が大きい程、前記クラスと前記データとの間の辺に割り当てられる前記フォースが大きくなるように、前記フォースを割り当てる、前記（８）に記載の情報処理装置。
（１０）
前記配置制御部は、クラス間の辺に、前記クラス間の類似度に基づくフォースを割り当てる、前記（６）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記配置制御部は、前記クラス間の類似度が大きい程、前記クラス間の辺に割り当てられるフォースが大きくなるように、前記フォースを割り当てる、前記（１０）に記載の情報処理装置。
（１２）
前記情報処理装置は、前記表示サイズで、前記データを表示させる表示制御部をさらに備える、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記データは、画像データを含む、前記（１）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、決定された前記データの表示サイズを受信する受信部と、
前記表示サイズに基づいて処理を行う処理部と、
を備える情報処理装置。
（１５）
クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズをプロセッサが決定することと、
前記表示サイズを送信させることと、
を含む情報処理方法。
（１６）
表示対象の変更を受け付ける入力部と、
前記表示対象の変更に呼応して、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズを決定する、表示サイズ決定部と、
を備える情報処理装置。
（１７）
表示対象の変更を受け付けることと、
前記表示対象の変更に呼応して、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズをプロセッサが決定することと、
を含む情報処理方法。
１ クライアント端末
２ サーバ
５ 通信網
１０、１１ 制御部
１２ 通信部
１４ 表示部
１６ 操作部
２０ 制御部
２２ 通信部
２４ 記憶部
１０１、１０２ 通信制御部
１０３ 表示制御部
１０５ ラベル制御部
１０７ 配置制御部
１０９ 表示サイズ決定部
２０１ 通信制御部
２０２ 学習部
２０３ 認識部
２０４ 配置制御部
２０５ 表示サイズ決定部
２ サーバ
５ 通信網
１０、１１ 制御部
１２ 通信部
１４ 表示部
１６ 操作部
２０ 制御部
２２ 通信部
２４ 記憶部
１０１、１０２ 通信制御部
１０３ 表示制御部
１０５ ラベル制御部
１０７ 配置制御部
１０９ 表示サイズ決定部
２０１ 通信制御部
２０２ 学習部
２０３ 認識部
２０４ 配置制御部
２０５ 表示サイズ決定部
Claims (17)
- クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズを決定する、表示サイズ決定部と、
前記表示サイズを送信させる、通信制御部と、
を備える情報処理装置。 - 前記表示サイズ決定部は、前記データが属する前記クラスの位置からの前記距離が大きい程、前記表示サイズが大きくなるように、前記表示サイズを決定する、請求項１に記載の情報処理装置。
- 前記表示サイズ決定部は、前記クラスの範囲を示す円の半径にさらに基づいて、表示サイズを決定する、請求項１に記載の情報処理装置。
- 前記表示サイズ決定部は、前記半径に対する前記距離の比が大きい程、前記表示サイズが大きくなるように、前記表示サイズを決定する、請求項３に記載の情報処理装置。
- 前記表示サイズ決定部は、前記半径に対する前記距離の比が所定の閾値より大きい場合に、前記表示サイズが大きくなるように、前記表示サイズを決定する、請求項３に記載の情報処理装置。
- 前記情報処理装置は、前記データを配置する配置制御部を更に備え、
前記配置制御部は、前記クラス、及び前記データを頂点とするグラフを生成することで、前記データを配置する、請求項１に記載の情報処理装置。 - 前記配置制御部は、力学モデルに基づいて、前記グラフを生成する、請求項６に記載の情報処理装置。
- 前記配置制御部は、前記クラスと前記データとの間の辺に、前記尤度ベクトルに基づくフォースを割り当てる、請求項７に記載の情報処理装置。
- 前記配置制御部は、前記尤度ベクトルにおける前記クラスに係る尤度が大きい程、前記クラスと前記データとの間の辺に割り当てられる前記フォースが大きくなるように、前記フォースを割り当てる、請求項８に記載の情報処理装置。
- 前記配置制御部は、クラス間の辺に、前記クラス間の類似度に基づくフォースを割り当てる、請求項６に記載の情報処理装置。
- 前記配置制御部は、前記クラス間の類似度が大きい程、前記クラス間の辺に割り当てられるフォースが大きくなるように、前記フォースを割り当てる、請求項１０に記載の情報処理装置。
- 前記情報処理装置は、前記表示サイズで、前記データを表示させる表示制御部をさらに備える、請求項１に記載の情報処理装置。
- 前記データは、画像データを含む、請求項１に記載の情報処理装置。
- クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、決定された前記データの表示サイズを受信する受信部と、
前記表示サイズに基づいて処理を行う処理部と、
を備える情報処理装置。 - クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズをプロセッサが決定することと、
前記表示サイズを送信させることと、
を含む情報処理方法。 - 表示対象の変更を受け付ける入力部と、
前記表示対象の変更に呼応して、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズを決定する、表示サイズ決定部と、
を備える情報処理装置。 - 表示対象の変更を受け付けることと、
前記表示対象の変更に呼応して、クラスに対応するラベルの学習に基づくデータの認識により得られる尤度ベクトルに基づいて配置される前記データの位置と、前記データが属するクラスの位置との距離に基づいて、前記データの表示サイズをプロセッサが決定することと、
を含む情報処理方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016079006 | 2016-04-11 | ||
| JP2016079006 | 2016-04-11 | ||
| PCT/JP2017/001903 WO2017179258A1 (ja) | 2016-04-11 | 2017-01-20 | 情報処理装置、及び情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2017179258A1 true JPWO2017179258A1 (ja) | 2019-02-14 |
| JP6977715B2 JP6977715B2 (ja) | 2021-12-08 |
Family
ID=60042516
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018511887A Active JP6977715B2 (ja) | 2016-04-11 | 2017-01-20 | 情報処理装置、及び情報処理方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10891765B2 (ja) |
| EP (1) | EP3444731A4 (ja) |
| JP (1) | JP6977715B2 (ja) |
| WO (1) | WO2017179258A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190207889A1 (en) * | 2018-01-03 | 2019-07-04 | International Business Machines Corporation | Filtering graphic content in a message to determine whether to render the graphic content or a descriptive classification of the graphic content |
| JP2020013274A (ja) * | 2018-07-17 | 2020-01-23 | 富士通株式会社 | 表示プログラム、表示装置及び表示方法 |
| US20210398025A1 (en) * | 2018-11-15 | 2021-12-23 | Semiconductor Energy Laboratory Co., Ltd. | Content Classification Method |
| US11494616B2 (en) * | 2019-05-09 | 2022-11-08 | Shenzhen Malong Technologies Co., Ltd. | Decoupling category-wise independence and relevance with self-attention for multi-label image classification |
| CN115280307A (zh) * | 2020-03-13 | 2022-11-01 | 三菱电机株式会社 | 信息处理装置、程序和信息处理方法 |
| US11347565B1 (en) * | 2021-06-30 | 2022-05-31 | United Services Automobile Association (Usaa) | System and method for app-to-app content reconfiguration |
| CN115190515B (zh) * | 2022-09-14 | 2022-12-23 | 良业科技集团股份有限公司 | 适用于文旅物联控制的通讯数据处理方法、系统 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001175380A (ja) * | 1999-12-20 | 2001-06-29 | Wellstone Inc | 情報インデックス表示方法とその装置 |
| JP2001351127A (ja) * | 2000-06-07 | 2001-12-21 | Sharp Corp | データ表示システム |
| JP4465534B2 (ja) * | 2004-03-31 | 2010-05-19 | パイオニア株式会社 | 画像検索方法、装置及びプログラムを記録した記録媒体 |
| JP4456617B2 (ja) * | 2007-04-16 | 2010-04-28 | 富士通株式会社 | 類似分析装置、画像表示装置、および画像表示プログラム |
| JP4949996B2 (ja) * | 2007-10-29 | 2012-06-13 | 株式会社リコー | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
| US8774526B2 (en) * | 2010-02-08 | 2014-07-08 | Microsoft Corporation | Intelligent image search results summarization and browsing |
| JP5744660B2 (ja) * | 2010-08-26 | 2015-07-08 | キヤノン株式会社 | データ検索結果の表示方法およびデータ検索結果の表示装置、プログラム |
| JP5848538B2 (ja) * | 2011-07-22 | 2016-01-27 | キヤノン株式会社 | 情報処理システム、情報処理装置、出力装置、および情報処理方法 |
| US20130125069A1 (en) * | 2011-09-06 | 2013-05-16 | Lubomir D. Bourdev | System and Method for Interactive Labeling of a Collection of Images |
| KR101891861B1 (ko) * | 2011-12-29 | 2018-08-24 | 라쿠텐 인코포레이티드 | 정보 처리 시스템, 정보 처리 시스템의 제어 방법, 및 정보 기억 매체 |
| US10198590B2 (en) * | 2015-11-11 | 2019-02-05 | Adobe Inc. | Content sharing collections and navigation |
-
2017
- 2017-01-20 JP JP2018511887A patent/JP6977715B2/ja active Active
- 2017-01-20 EP EP17782077.6A patent/EP3444731A4/en not_active Ceased
- 2017-01-20 US US16/081,235 patent/US10891765B2/en active Active
- 2017-01-20 WO PCT/JP2017/001903 patent/WO2017179258A1/ja active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2017179258A1 (ja) | 2017-10-19 |
| JP6977715B2 (ja) | 2021-12-08 |
| EP3444731A1 (en) | 2019-02-20 |
| US10891765B2 (en) | 2021-01-12 |
| EP3444731A4 (en) | 2019-05-08 |
| US20190035122A1 (en) | 2019-01-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6977715B2 (ja) | 情報処理装置、及び情報処理方法 | |
| US20170243578A1 (en) | Voice processing method and device | |
| KR20160091725A (ko) | 음성 인식 방법 및 장치 | |
| US11531835B2 (en) | Electronic device for controlling predefined function based on response time of external electronic device on user input, and method thereof | |
| US11107287B2 (en) | Information processing apparatus and information processing method | |
| WO2018107580A1 (zh) | 一种信息提示的方法及装置 | |
| US11721354B2 (en) | Acoustic zooming | |
| CN111354434A (zh) | 电子装置及其提供信息的方法 | |
| US20230176655A1 (en) | Electronic device and method for controlling vibration output thereof | |
| JP2016143310A (ja) | 情報処理装置、画像処理方法及びプログラム | |
| US20200125398A1 (en) | Information processing apparatus, method for processing information, and program | |
| EP4235379A1 (en) | Electronic device and multi-window control method of electronic device | |
| RU2540844C2 (ru) | Способ и устройство для выбора приемника | |
| WO2016206642A1 (zh) | 机器人的控制数据的生成方法及装置 | |
| CN108055461B (zh) | 自拍角度的推荐方法、装置、终端设备及存储介质 | |
| WO2016189905A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN112119372B (zh) | 电子设备及其控制方法 | |
| US20220132081A1 (en) | Electronic device for providing visualized artificial intelligence service on basis of information about external object, and operating method for electronic device | |
| US20210400442A1 (en) | Recipient-based content optimization in a messaging system | |
| KR20190128516A (ko) | 전자 장치 및 그 동작방법 | |
| WO2018139050A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN109313506A (zh) | 信息处理装置、信息处理方法和程序 | |
| US20230197075A1 (en) | Method of identifying target device and electronic device therefor | |
| TWI834837B (zh) | 用於訓練神經網路的方法及系統 | |
| US11928263B2 (en) | Electronic device for processing user input and method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200108 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200108 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210507 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211025 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6977715 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |