JP6357787B2 - データ処理装置 - Google Patents

Description

本発明は、機械学習に使用する教師データを利用者が作成する作業を支援するデータ処理装置、データ処理方法、およびプログラムに関する。

映像監視、映像解析などの分野では、データ処理装置を使用して、画像データなどのコンテンツを幾つかのカテゴリに機械的に分類することが行われている。例えば、プリント配線基板などの基板の製造工程において、欠陥を有する基板を撮像した画像データを解析して、欠陥の種別に応じたカテゴリに分類することが、本発明に関連する第１の関連技術として提案されている（例えば特許文献１参照）。このような分類を行わせるためには、データ処理装置を学習させる必要がある。そして、データ処理装置を学習させるには、入力となる画像データなどのコンテンツと、出力となるカテゴリの種類を示す入出力ペアの事例である教師データが必要になる。

教師データの生成は、基本的に人手で行われる。しかし、適切な教師データを作成するには多くの時間と労力を必要とする。このため、人手による教師データの作成を支援する装置やシステムが幾つか提案されている。

例えば、上記欠陥の種別に応じたカテゴリへの分類に必要な教師データの作成に関して、プリント配線基板の欠陥画像をディスプレイに表示し、この表示した欠陥画像が属すると利用者が考えるカテゴリの入力をキーボードおよびマウスから受け付けることが、本発明に関連する第２の関連技術として提案されている（例えば特許文献２参照）。

また、カテゴリの入力と同時に、そのカテゴリに対する確信度を入力することが本発明に関連する第３の関連技術として提案されている（例えば特許文献３参照）。より詳細には、操作者が画面に表示された特定の領域を選択すると、カテゴリや確信度を入力するプルダウンメニューが画面に表示され、それらのメニュー上でマウスポインタの操作によって所望のカテゴリおよび確信度を入力することができるようになっている。

特開２０１１−１５８３７３号公報 特開２００３−３１７０８２号公報 特開２００６−１８９９１５号公報

しかしながら、キーボードおよびマウスによる入力は音を伴うため、教師データを作成する場所が制限される。

本発明の目的は、上述した課題、すなわち、教師データを作成する場所が制限される、という課題を解決するデータ処理装置を提供することにある。

本発明の第１の観点に係るデータ処理装置は、
表示部と、
タッチ操作を検出して検出情報を出力するタッチパネル部と、
上記タッチパネル部の上記検出情報からフリックの方向を検出するフリック検出部と、
上記フリックの方向によってコンテンツが属するカテゴリを表すラベルを決定するラベル決定部と、
上記コンテンツを上記表示部に表示し、上記表示した上記コンテンツと上記ラベル決定部によって決定された上記ラベルとを有する教師データを生成する教師データ生成部と
を有する。

本発明の第２の観点に係るデータ処理方法は、
表示部とタッチ操作を検出して検出情報を出力するタッチパネル部とを有するデータ処理装置が実行するデータ処理方法であって、
コンテンツを上記表示部に表示し、
上記タッチパネル部の上記検出情報からフリックの方向を検出し、
上記フリックの方向によって上記コンテンツが属するカテゴリを表すラベルを決定し、
上記コンテンツと上記ラベルとを有する教師データを生成する。

本発明の第３の観点に係るプログラムは、
表示部とタッチ操作を検出して検出情報を出力するタッチパネル部とを有するコンピュータを、
上記タッチパネル部の上記検出情報からフリックの方向を検出するフリック検出部と、
上記フリックの方向によってコンテンツが属するカテゴリを表すラベルを決定するラベル決定部と、
上記コンテンツを上記表示部に表示し、上記表示した上記コンテンツと上記ラベル決定部によって決定された上記ラベルとを有する教師データを生成する教師データ生成部と
して機能させる。

本発明は上述した構成を有するため、場所の制限を受けずに教師データを作成することができる。その理由は、利用者はコンテンツが属するカテゴリを表すラベルの入力を、キーボードやマウスのような音を発しないフリックという操作によって入力できるためである。

本発明の第１の実施形態のブロック図である。 本発明の第１の実施形態における教師データの構成例を示す図である。 本発明の第１の実施形態におけるフリック方向とラベルの対応表の構成例を示す図である。 本発明の第１の実施形態におけるフリック方向とラベルの対応表の別の構成例を示す図である。 本発明の第１の実施形態の動作の一例を示すフローチャートである。 本発明の第１の実施形態における教師データ生成画面の一例を示すフローチャートである。 本発明の第２の実施形態のブロック図である。 本発明の第２の実施形態における教師データの構成例を示す図である。 本発明の第２の実施形態におけるフリック速度とラベルの確信度の対応表の構成例を示す図である。 本発明の第２の実施形態の動作の一例を示すフローチャートである。 本発明の第３の実施形態のブロック図である。 本発明の第３の実施形態におけるフリック方向とラベルおよび確信度の対応表の構成例を示す図である。 本発明の第３の実施形態の動作の一例を示すフローチャートである。 本発明の第４の実施形態のブロック図である。 本発明の第４の実施形態における分類結果の構成例を示す図である。 本発明の第４の実施形態における機械学習部の動作の一例を示すフローチャートである。 本発明の第４の実施形態における分類部の動作の一例を示すフローチャートである。 本発明の第６の実施形態のブロック図である。 本発明の第６の実施形態における振れ方向とラベルの対応表の構成例を示す図である。 本発明の第６の実施形態の動作の一例を示すフローチャートである。 本発明の第７の実施形態のブロック図である。 本発明の第７の実施形態における傾き方向とラベルの対応表の構成例を示す図である。 本発明の第７の実施形態の動作の一例を示すフローチャートである。 本発明の第８の実施形態のブロック図である。 本発明の第８の実施形態におけるジェスチャとラベルの対応表の構成例を示す図である。 本発明の第８の実施形態の動作の一例を示すフローチャートである。

次に本発明の実施の形態について図面を参照して詳細に説明する。
[第１の実施形態]
図１を参照すると、本発明の第１の実施形態にかかるデータ処理装置１００は、機械学習に使用する教師データを利用者が作成する作業を支援する機能を有している。

このデータ処理装置１００は、主な機能部として、通信インターフェース部（以下、通信Ｉ／Ｆ部という）１１０、画面表示部１２０、タッチパネル部１３０、記憶部１４０、および演算処理部１５０を有する。

通信Ｉ／Ｆ部１１０は、専用のデータ通信回路からなり、図示しない通信回線を介して接続された各種装置との間でデータ通信を行う機能を有している。

画面表示部１２０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）やＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）などの画面表示装置からなり、演算処理部１５０からの指示に応じて、コンテンツなどの各種情報を画面表示する機能を有している。

タッチパネル部１３０は、タッチパネルなどの操作入力装置からなり、利用者のタッチ操作を検出して演算処理部１５０に検出情報を出力する機能を有している。検出情報は、例えば、タッチされたパネル上の座標値とその時刻情報であってよい。

記憶部１４０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部１５０での各種処理に必要な処理情報やプログラム１４１を記憶する機能を有している。プログラム１４１は、演算処理部１５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部１１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部１４０に保存される。記憶部１４０で記憶される主な処理情報として、複数のコンテンツデータ１４２、対応表１４３、および複数の教師データ１４４がある。

コンテンツデータ１４２は、コンテンツとそのＩＤとの組により構成される。コンテンツは、画像データ、音声データ、テキストデータ、或いはそれらの任意の組み合わせであってよい。コンテンツデータ１４２は、通信Ｉ／Ｆ部１１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から読み込まれて記憶部１４０に保存される。

教師データ１４４は、機械学習に使用するデータである。教師データ１４４は、コンテンツデータ１４２から後述する方法によって生成され、記憶部１４０に保存される。図２は、教師データ１４４の構成例である。個々の教師データ１４４は、ＩＤ１４４１と、コンテンツ１４４２と、ラベル１４４３との組から構成されている。コンテンツＩＤ１４４１とコンテンツ１４４２は、コンテンツデータ１４２を構成するコンテンツＩＤとコンテンツと同じである。ラベル１４４３は、コンテンツ１４４２が属するカテゴリを示す。カテゴリの種類は、２種類であってもよいし、３種類以上であってもよい。例えば、データ処理装置１００を映像監視に適用し、図示しない監視カメラで撮像された映像の各フレーム画像から侵入物を検知する場合、コンテンツ１４４２をフレーム画像、ＩＤ１４４１を当該フレーム画像を一意に識別するフレーム番号あるいは時刻情報、ラベル１４４３を、異常がない（侵入物が映っていない）ことを表す「ＯＫ」と、異常がある（侵入物が映っている）ことを表す「ＮＧ」との２種類とすることができる。

対応表１４３は、フリックの方向とラベルの種類とを対応付ける表である。図３（Ａ）は、対応表１４３の構成例である。この対応表１４３では、フリックの方向θが０°以上９０°未満と２７０°以上３６０°未満のときは「ＯＫ」という種類のラベルに対応し、９０°以上２７０°未満のときは「ＮＧ」という種類のラベルに対応することを表している。従って、タッチパネル部１３０のパネル平面上に、図３（Ｂ）に示すように、パネル正面から見て右方向を０°、上方向を９０°、左方向を１８０°、下方向を２７０°とする座標系を設定した場合、利用者がパネル面上で右方向側に向けてフリックするとラベル「ＯＫ」を入力でき、左方向側にフリックするとラベル「ＮＧ」を入力できることになる。

図４は、対応表１４３の別の構成例である。この対応表１４３では、フリックの方向θが０°以上４５°未満のときは「Ｍａｎ」という種類のラベルに対応し、４５°以上９０°未満のときは「Ｂｏｙ」という種類のラベルに対応し、９０°以上１３５°未満のときは「Ｇｉｒｌ」という種類のラベルに対応し、１３５°以上１８０°未満のときは「Ｗｏｍａｎ」という種類のラベルに対応することを表している。

演算処理部１５０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部１４０からプログラム１４１を読み込んで実行することにより、上記ハードウェアとプログラム１４１とを協働させて各種処理部を実現する機能を有している。演算処理部１５０で実現される主な処理部として、フリック検出部１５１と、ラベル決定部１５２と、教師データ生成部１５３とがある。

フリック検出部１５１は、タッチパネル部１３０の検出情報からフリックの方向を検出する機能を有する。例えば、フリック検出部１５１は、タッチされたパネル上の座標（以下、タッチ座標と記す）と時刻情報とをタッチパネル部１３０から取得して保存し、タッチ開始から終了までのタッチ座標に基づいて、フリックか否かを検出し、フリックであればフリックの方向を検出してよい。例えば、タッチ開始時のタッチ座標とタッチ終了時のタッチ座標との距離が所定長以上であればフリックと検出してよい。また、タッチ開始時のタッチ座標からタッチ終了時のタッチ座標へ向かう方向をフリック方向として検出してよい。

ラベル決定部１５２は、フリック検出部１５１によって検出されたフリックの方向によって、画面表示部１２０に表示されているコンテンツが属するカテゴリを表すラベルを決定する機能を有する。具体的には、ラベル決定部１５２は、記憶部１４０から対応表１４３を読み出し、フリック検出部１５１によって検出されたフリックの方向に対応して対応表１４３に記録されているラベルを、コンテンツが属するカテゴリを表すラベルに決定する。

教師データ生成部１５３は、コンテンツデータ１４２毎に、記憶部１４０からコンテンツデータ１４２を読み出して画面表示部１２０に表示し、表示したコンテンツデータ１４２とラベル決定部１５２によって決定されたラベルとを有する教師データ１４４を生成して記憶部１４０に保存する機能を有する。

次に、本実施形態にかかるデータ処理装置１００の動作を図５のフローチャートを参照して説明する。

データ処理装置１００の演算処理部１５０における教師データ生成部１５３は、起動されると、記憶部１４０から１つのコンテンツデータ１４２を読み出して画面表示部１２０に表示する（ステップＳ１０１）。

図６は、画面表示部１２０の教師データ生成画面１２１の一例を示す。この例の教師データ生成画面１２１は、画面の中央部分にコンテンツ１４４２を表示し、その左側に、ＩＤ１４４１を表示している。また、「ＯＫ」のときは右方向へフリックし、「ＮＧ」のときは左方向へフリックする案内するガイダンス情報がコンテンツ１４４２の両側に表示されている。

利用者は、画面表示部１２０に表示されたコンテンツ１４４２を確認し、そのコンテンツ１４４２のカテゴリを判断して所望の方向にフリックする。図６の例では、表示されているコンテンツ１４４２のフレーム画像が、異常無し（侵入者無し）であれば、右方向にフリックし、異常有り（侵入者有り）であれば、左方向にフリックする。

演算処理部１５０のフリック検出部１５１は、教師データ生成部１５３がコンテンツ１４４２を画面表示部１２０に表示した後、タッチパネル部１３０からの検出情報に基づいてフリックの検出を開始する（図５のステップＳ１０２）。フリック検出部１５１は、フリックを検出すると、そのフリック方向をラベル決定部１５２に伝達する。ラベル決定部１５２は、伝達されたフリック方向と対応表１４３とに基づいてラベルを決定し、教師データ生成部１５３へ伝達する（ステップＳ１０３）。

教師データ生成部１５３は、ラベル決定部１５２からラベルを入力すると、画面表示部１２０に表示されているＩＤ１４４１と、コンテンツ１４４２と、入力されたラベル１４４３とから構成される教師データ１４４を生成し、記憶部１４０に保存する（ステップＳ１０４）。次に教師データ生成部１５３は、未だ利用者に表示していないコンテンツが記憶部１４０に存在するか否かを確認する（ステップＳ１０５）。そして、未表示のコンテンツが残っていれば、ステップＳ１０１の処理に戻って、上述した処理と同様の処理を繰り返す。他方、未表示のコンテンツが残っていなければ、教師データ生成部１５３は、教師データの生成処理を終了する。

このように本実施形態によれば、場所の制限を受けずに教師データを作成することができる。その理由は、利用者はコンテンツが属するカテゴリを表すラベルの入力を、キーボードやマウスのような音を発しないフリックという操作によって入力できるためである。

[第２の実施形態]
図７を参照すると、本発明の第２の実施形態にかかるデータ処理装置２００は、機械学習に使用する確信度付きの教師データを利用者が作成する作業を支援する機能を有している。

このデータ処理装置２００は、主な機能部として、通信Ｉ／Ｆ部２１０、画面表示部２２０、タッチパネル部２３０、記憶部２４０、および演算処理部２５０を有する。このうち、通信Ｉ／Ｆ部２１０と画面表示部２２０とタッチパネル部２３０とは、図１に示した本発明の第１の実施形態における通信Ｉ／Ｆ部１１０と画面表示部１２０とタッチパネル部１３０と同じ機能を有する。

記憶部２４０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部２５０での各種処理に必要な処理情報やプログラム２４１を記憶する機能を有している。プログラム２４１は、演算処理部２５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部２１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部２４０に保存される。記憶部２４０で記憶される主な処理情報として、複数のコンテンツデータ２４２、フリック方向とラベルの対応表２４３、複数の教師データ２４４、フリック速度と確信度の対応表２４５がある。このうち、コンテンツデータ２４２と対応表２４３とは、図１に示した本発明の第１の実施形態におけるコンテンツデータ１４２と対応表１４３と同じである。

教師データ２４４は、機械学習に使用するデータである。教師データ２４４は、コンテンツデータ２４２から後述する方法によって生成され、記憶部２４０に保存される。図８は、教師データ２４４の構成例である。個々の教師データ２４４は、ＩＤ２４４１と、コンテンツ２４４２と、ラベル２４４３と、確信度２４４４との組から構成されている。コンテンツＩＤ２４４１とコンテンツ２４４２は、コンテンツデータ２４２を構成するコンテンツＩＤとコンテンツと同じである。ラベル２４４３は、コンテンツ２４４２が属するカテゴリを示す。

確信度２４４４は、ラベル２４４３の確信度である。本実施形態では、確信度２４４４は０から１までの値をとり、１により近い値ほどラベル２４４３の精度がより高くなり、０により近い値ほどラベル２４４３の精度がより低くなるものとする。例えば、ラベル２４４３が異常無しを表す「ＯＫ」であり、確信度が１であれば、コンテンツ２４４２は１００％の確率で異常無しのカテゴリに属すると利用者が判断していることを示す。また、ラベル２４４３が異常有りを表す「ＮＧ」であり、確信度が１であれば、コンテンツ２４４２は１００％の確率で異常有りのカテゴリに属することを示す。また、ラベル２４４３が異常無しを表す「ＯＫ」あるいは異常有りを表す「ＮＧ」であり、確信度が０であれば、コンテンツ２４４３は何れのカテゴリに属するか不明であることを示す。

対応表２４５は、フリックの速度とラベルの確信度とを対応付ける表である。図９は、対応表２４５の構成例である。この対応表２４５では、フリックの速度Ｓが５０ピクセル／秒未満のときは確信度０に対応し、５０ピクセル／秒以上、１００ピクセル／秒未満のちきは確信度（Ｓ−５０）／５０に対応し、１００ピクセル／秒以上のときは確信度１に対応することを表している。

演算処理部２５０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部２４０からプログラム２４１を読み込んで実行することにより、上記ハードウェアとプログラム２４１とを協働させて各種処理部を実現する機能を有している。演算処理部２５０で実現される主な処理部として、フリック検出部２５１と、ラベル決定部２５２と、教師データ生成部２５３とがある。

フリック検出部２５１は、タッチパネル部２３０の検出情報からフリックの方向と速度とを検出する機能を有する。例えば、フリック検出部２５１は、タッチされたパネル上の座標（以下、タッチ座標と記す）と時刻情報とをタッチパネル部２３０から取得して保存し、本発明の第１の実施形態におけるフリック検出部１５１と同様の方法により、フリックか否かを検出し、フリックであればフリックの方向を検出してよい。またフリック検出部２５１は、例えば、タッチ開始時のタッチ座標とタッチ終了時のタッチ座標との距離（ピクセル数）を、タッチ開始時刻からタッチ終了時刻までの時間で除算することにより、フリックの速度を算出してよい。

ラベル決定部２５２は、フリック検出部２５１によって検出されたフリックの方向と速度とによって、画面表示部２２０に表示されているコンテンツが属するカテゴリを表すラベルとその確信度とを決定する機能を有する。具体的には、ラベル決定部２５２は、記憶部２４０から対応表２４３を読み出し、フリック検出部２５１によって検出されたフリックの方向に対応して対応表２４３に記録されているラベルを、コンテンツが属するカテゴリを表すラベルに決定する。また、ラベル決定部２５２は、記憶部２４０から対応表２４５を読み出し、フリック検出部２５１によって検出されたフリックの速度に対応して対応表２４５に記録されている確信度を、ラベルの確信度に決定する。

教師データ生成部２５３は、コンテンツデータ２４２毎に、記憶部２４０からコンテンツデータ２４２を読み出して画面表示部２２０に表示し、表示したコンテンツデータ２４２とラベル決定部２５２によって決定されたラベルおよびその確信度とを有する教師データ２４４を生成して記憶部２４０に保存する機能を有する。

次に、本実施形態にかかるデータ処理装置２００の動作を図１０のフローチャートを参照して説明する。

データ処理装置２００の演算処理部２５０における教師データ生成部２５３は、起動されると、記憶部２４０から１つのコンテンツデータ２４２を読み出して画面表示部２２０に表示する（ステップＳ２０１）。利用者は、画面表示部２２０に表示されたコンテンツを確認し、そのコンテンツのカテゴリを判断して所望の方向にフリックする。このとき、利用者は、自らの判断の信憑性をフリックの速度によって表明する。具体的には、より信憑性が高いほどフリックの速度を早くし、判断に自信が無く信憑性が低いときほどフリックの速度を低くする。

演算処理部２５０のフリック検出部２５１は、教師データ生成部２５３がコンテンツデータ２４２を画面表示部２２０に表示した後、タッチパネル部２３０からの検出情報に基づいてフリックの検出を開始する（図１０のステップＳ２０２）。フリック検出部２５１は、フリックを検出すると、そのフリック方向と速度とをラベル決定部２５２に伝達する。ラベル決定部２５２は、伝達されたフリック方向と対応表２４３とに基づいてラベルを決定する（ステップＳ２０３）。またラベル決定部２５２は、伝達されたフリック速度と対応表２４５とに基づいて確信度を決定する（ステップＳ２０４）。そして、ラベル決定部２５２は、ラベルと確信度とを教師データ生成部２５３へ伝達する。

教師データ生成部２５３は、ラベル決定部２５２からラベルと確信度とを入力すると、画面表示部２２０に表示されているＩＤ２４４１と、コンテンツ２４４２と、入力されたラベル２４４３と確信度２４４４とから構成される教師データ２４４を生成し、記憶部２４０に保存する（ステップＳ２０５）。次に教師データ生成部２５３は、未だ利用者に表示していないコンテンツが記憶部２４０に存在するか否かを確認する（ステップＳ２０６）。そして、未表示のコンテンツが残っていれば、ステップＳ２０１の処理に戻って、上述した処理と同様の処理を繰り返す。他方、未表示のコンテンツが残っていなければ、教師データ生成部２５３は、教師データの生成処理を終了する。

このように本実施形態によれば、場所の制限を受けずに教師データを作成することができる。その理由は、利用者はコンテンツが属するカテゴリを表すラベルの入力を、キーボードやマウスのような音を発しないフリックという操作によって入力できるためである。

また本実施形態によれば、利用者は、ラベルとそのラベルの確信度とをフリックという１動作によって入力することができる。そのため、ラベルとその確信度とを別々の動作で入力する場合に比べて、利用者の負担を軽減でき、また迅速な入力が可能になる。

[第３の実施形態]
図１１を参照すると、本発明の第３の実施形態にかかるデータ処理装置３００は、機械学習に使用する確信度付きの教師データを利用者が作成する作業を支援する機能を有している。

このデータ処理装置３００は、主な機能部として、通信Ｉ／Ｆ部３１０、画面表示部３２０、タッチパネル部３３０、記憶部３４０、および演算処理部３５０を有する。このうち、通信Ｉ／Ｆ部３１０と画面表示部３２０とタッチパネル部３３０とは、図１に示した本発明の第１の実施形態における通信Ｉ／Ｆ部１１０と画面表示部１２０とタッチパネル部１３０と同じ機能を有する。

記憶部３４０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部３５０での各種処理に必要な処理情報やプログラム３４１を記憶する機能を有している。プログラム３４１は、演算処理部３５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部３１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部３４０に保存される。記憶部３４０で記憶される主な処理情報として、複数のコンテンツデータ３４２、複数の教師データ３４４、フリック方向とラベルおよび確信度の対応表３４６がある。このうち、コンテンツデータ３４２と教師データ３４４とは、図７に示した本発明の第２の実施形態におけるコンテンツデータ２４２と教師データ２４４と同じである。即ち、教師データ２４４は、ＩＤ（２４４１）と、コンテンツ（２４４２）と、ラベル（２４４３）と、その確信度（２４４４）との組から構成されている。

対応表３４６は、フリックの方向とラベルおよびその確信度とを対応付ける表である。図１２は、対応表３４６の構成例である。この対応表３４６では、フリックの方向θが０°以上９０°未満と２７０°以上３６０°未満のときは「ＯＫ」という種類のラベルに対応し、９０°以上２７０°未満のときは「ＮＧ」という種類のラベルに対応することを表している。また対応表３４６は、フリックの方向θが０°以上９０°未満のときは確信度は（９０−θ）／９０になり、９０°以上２７０°未満のときは確信度は１−｜θ−１８０｜／９０になり、フリックの方向θが２７０°以上３６０°未満のときは確信度は（θ−２７０）／９０になることを表している。従って、例えばフリック方向が０°の場合は確信度１の「ＯＫ」、フリック方向が１８０°の場合は確信度１の「ＮＧ」、フリック方向が３１５°の場合は確信度０．５の「ＯＫ」となる。

演算処理部３５０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部３４０からプログラム３４１を読み込んで実行することにより、上記ハードウェアとプログラム３４１とを協働させて各種処理部を実現する機能を有している。演算処理部３５０で実現される主な処理部として、フリック検出部３５１と、ラベル決定部３５２と、教師データ生成部３５３とがある。

フリック検出部３５１は、図１に示した本発明の第１の実施形態におけるフリック検出部２５１と同様に、タッチパネル部３３０の検出情報からフリックの方向を検出する機能を有する。

ラベル決定部３５２は、フリック検出部３５１によって検出されたフリックの方向によって、画面表示部３２０に表示されているコンテンツが属するカテゴリを表すラベルとその確信度とを決定する機能を有する。具体的には、ラベル決定部３５２は、記憶部３４０から対応表３４６を読み出し、フリック検出部３５１によって検出されたフリックの方向に対応して対応表３４６に記録されているラベルと確信度を、コンテンツが属するカテゴリを表すラベルとその確信度に決定する。

教師データ生成部３５３は、コンテンツデータ３４２毎に、記憶部３４０からコンテンツデータ３４２を読み出して画面表示部３２０に表示し、表示したコンテンツデータ３４２とラベル決定部３５２によって決定されたラベルおよびその確信度とを有する教師データ３４４を生成して記憶部３４０に保存する機能を有する。

次に、本実施形態にかかるデータ処理装置３００の動作を図１３のフローチャートを参照して説明する。

データ処理装置３００の演算処理部３５０における教師データ生成部３５３は、起動されると、記憶部３４０から１つのコンテンツデータ３４２を読み出して画面表示部３２０に表示する（ステップＳ３０１）。利用者は、画面表示部３２０に表示されたコンテンツを確認し、そのコンテンツのカテゴリを判断して所望の方向にフリックする。このとき、利用者は、自らの判断の信憑性をフリックの方向を調整することによって表明する。具体的には、例えばラベルが「ＯＫ」と「ＮＧ」の２種類であり、対応表３４６が図１２に示すものである場合、ラベル「ＯＫ」を入力するとき、より信憑性が高いほどフリックの方向が０°方向に近くなるようにし、判断に自信が無く信憑性が低いときほど０°方向と差を持たせるようにする。但し、９０°以上の差を持たせると、ラベル「ＯＫ」でなく、ラベル「ＮＧ」を入力してしまうので、９０°以下の範囲で差を持たせる。

演算処理部３５０のフリック検出部３５１は、教師データ生成部３５３がコンテンツデータ３４２を画面表示部３２０に表示した後、タッチパネル部３３０からの検出情報に基づいてフリックの検出を開始する（図１３のステップＳ３０２）。フリック検出部３５１は、フリックを検出すると、そのフリック方向をラベル決定部３５２に伝達する。ラベル決定部３５２は、伝達されたフリック方向と対応表３４６とに基づいてラベルとその確信度とを決定する（ステップＳ３０３）。そして、ラベル決定部３５２は、ラベルと確信度とを教師データ生成部３５３へ伝達する。

教師データ生成部３５３は、ラベル決定部３５２からラベルと確信度とを入力すると、画面表示部３２０に表示されているＩＤ（２４４１）と、コンテンツ（２４４２）と、入力されたラベル（２４４３）と確信度（２４４４）とから構成される教師データ３４４を生成し、記憶部３４０に保存する（ステップＳ３０４）。次に教師データ生成部３５３は、未だ利用者に表示していないコンテンツが記憶部３４０に存在するか否かを確認する（ステップＳ３０５）。そして、未表示のコンテンツが残っていれば、ステップＳ３０１の処理に戻って、上述した処理と同様の処理を繰り返す。他方、未表示のコンテンツが残っていなければ、教師データ生成部３５３は、教師データの生成処理を終了する。

このように本実施形態によれば、場所の制限を受けずに教師データを作成することができる。その理由は、利用者はコンテンツが属するカテゴリを表すラベルの入力を、キーボードやマウスのような音を発しないフリックという操作によって入力できるためである。

また本実施形態によれば、利用者は、ラベルとそのラベルの確信度とをフリックという１動作によって入力することができる。そのため、ラベルとその確信度とを別々の動作で入力する場合に比べて、利用者の負担を軽減でき、また迅速な入力が可能になる。

[第４の実施形態]
図１４を参照すると、本発明の第４の実施形態にかかるデータ処理装置４００は、機械学習に使用する教師データを利用者が作成する作業を支援する機能と作成した教師データを使用して自動分類を行う機能とを有している。

このデータ処理装置４００は、主な機能部として、通信Ｉ／Ｆ部４１０、画面表示部４２０、タッチパネル部４３０、記憶部４４０、および演算処理部４５０を有する。このうち、通信Ｉ／Ｆ部４１０と画面表示部４２０とタッチパネル部４３０とは、図１に示した本発明の第１の実施形態における通信Ｉ／Ｆ部１１０と画面表示部１２０とタッチパネル部１３０と同じ機能を有する。

記憶部４４０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部４５０での各種処理に必要な処理情報やプログラム４４１を記憶する機能を有している。プログラム４４１は、演算処理部４５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部４１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部４４０に保存される。記憶部４４０で記憶される主な処理情報として、複数の教師データ４４４、分類モデル４４６、複数の分類対象コンテンツデータ４４７、複数の分類結果４４８、教師データ生成関連データ４４９がある。このうち、教師データ生成関連データ４４９は、図１に示した本発明の第１の実施形態におけるコンテンツデータ１４２と対応表１４３と同じである。また教師データ４４４は、図１に示した本発明の第１の実施形態における教師データ１４４と同じである。即ち、教師データ４４４は、ＩＤ（１４４１）と、コンテンツ（１４４２）と、ラベル（１４４３）との組から構成されている。

分類モデル４４６は、複数の教師データ４４４を使用して生成した分類モデルである。分類モデルとは、コンテンツがどのカテゴリに属するのが適当であるかを数学的にモデル化したものである。分類モデルは、例えば、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）やニューラルネットワークを用いて実現可能である。

分類対象コンテンツデータ４４７は、自動分類の対象となるコンテンツデータである。分類対象コンテンツデータ４４７は、コンテンツとそのＩＤとの組により構成される。コンテンツは、画像データ、音声データ、テキストデータ、或いはそれらの任意の組み合わせであってよい。但し、教師データ４４４を生成するために使用したコンテンツと同じ種類である。分類対象コンテンツデータ４４７は、通信Ｉ／Ｆ部４１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から読み込まれて記憶部４４０に保存される。

分類結果４４８は、分類対象コンテンツデータ４４７のコンテンツが属するカテゴリを分類モデル４４６を使用して分類した結果の情報である。図１５は、分類結果４４８の構成例である。個々の分類結果４４８は、ＩＤ４４８１と、コンテンツ４４８２と、分類カテゴリ４４８３との組から構成されている。個々の分類結果４４８は、個々の分類対象コンテンツデータ４４７に１対１に対応している。個々の分類結果４４８中のＩＤ４４８１、コンテンツ４４８２は、対応する分類対象コンテンツデータ４４７中のＩＤ、コンテンツと同一である。個々の分類結果４４８中の分類カテゴリ４４８３は、対応する分類対象コンテンツデータ４４７中のコンテンツについてその属するカテゴリを分類モデル４４６を使用して決定した結果のカテゴリである。なお、分類結果４４８中のＩＤ４４８１をキーに、分類対象コンテンツデータ４４７からコンテンツ４４８２と同じコンテンツを検索できるため、分類結果４４８中のコンテンツ４４８２を省略してもよい。

演算処理部４５０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部４４０からプログラム４４１を読み込んで実行することにより、上記ハードウェアとプログラム４４１とを協働させて各種処理部を実現する機能を有している。演算処理部４５０で実現される主な処理部として、教師データ生成関連部４５４と、機械学習部４５５と、分類部４５６とがある。このうち、教師データ生成関連部４５４は、図１に示した本発明の第１の実施形態におけるフリック検出部１５１とラベル決定部１５２と教師データ生成部１５３の機能を有している。

機械学習部４５５は、記憶部４４０から複数の教師データ４４４を読み込み、この複数の教師データ４４４中のコンテンツとラベルを使用して分類モデル４４６を生成（学習）し、この生成した分類モデル４４６を記憶部４４０に保存する機能を有する。

分類部４５６は、記憶部４４０から複数の分類対象コンテンツデータ４４７と分類モデル４４６とを読み込み、分類モデル４４６を使用して、複数の分類対象コンテンツデータ４４７中のコンテンツが属するカテゴリを決定し、決定したカテゴリを含む分類結果４４８を記憶部４４０に保存する機能を有する。また分類部４５６は、記憶部４４０から分類結果４４８を読み出し、画面表示部４２０に表示し、また通信Ｉ／Ｆ部４１０を通じて外部装置へ送信してよい。

次に、本実施形態に係るデータ処理装置４００の動作を説明する。本実施形態に係るデータ処理装置４００の動作は、教師データ生成動作、機械学習動作、自動分類動作に大別される。教師データ生成動作は、図１に示した本発明の第１の実施形態と同じである。以下では、機械学習動作と自動分類動作について詳細に説明する。

まず、機械学習部４５５の処理例を示す図１６のフローチャートを参照して、本実施形態に係るデータ処理装置４００の機械学習の動作を説明する。

データ処理装置４００の演算処理部４５０における機械学習部４５５は、起動されると、先ず記憶部４４０から複数の教師データ４４４を読み込む（ステップＳ４０１）。次に機械学習部４５５は、読み込んだ各々の教師データ４４４中のコンテンツとラベルとを使用して分類モデル４４６を生成するための機械学習を実行する（ステップＳ４０２）。最後に機械学習部４５５は、機械学習によって生成した分類モデル４４６を記憶部４４０に保存する（ステップＳ４０３）。

次に、分類部４５６の処理例を示す図１７のフローチャートを参照して、本実施形態に係るデータ処理装置４００の分類動作を説明する。

データ処理装置４００の演算処理部４５０における分類部４５６は、起動されると、先ず記憶部４４０から分類モデル４４６を読み込む（ステップＳ４１１）。次に分類部４５６は、記憶部４４０から未だ分類処理の対象としていない分類対象コンテンツデータ４４７を１つ読み込み（ステップＳ４１２）、その分類対象コンテンツデータ４４７中のコンテンツが属するカテゴリを分類モデル４４６を使用して決定し（ステップＳ４１３）、この決定したカテゴリを含む分類結果４４８を記憶部４４０に保存する（ステップＳ４１４）。

次に分類部４５６は、未だ分類処理の対象としていない分類対象コンテンツデータ４４７が記憶部４４０に存在するか否かを確認し（ステップＳ４１５）、未処理の分類対象コンテンツデータ４４７が残っていれば、ステップＳ４１２の処理に戻って、上述した処理と同様の処理を繰り返す。他方、未処理の分類対象コンテンツデータ４４７が残っていなければ、分類部４５６は、記憶部４４０から分類結果４４８を読み込み、画面表示部４２０に表示し、また通信Ｉ／Ｆ部４１０から外部へ送信する（ステップＳ４１６）。そして、分類処理を終了する。

このように本実施形態によれば、本発明の第１の実施形態と同様の効果が得られると共に、作成した教師データを使用して分類対象コンテンツデータを自動的に分類することができる。

［第５の実施形態］
本実施形態は、第４の実施形態における教師データ作成機能を、第２または第３の実施形態で説明した教師データ作成機能に置き換えた実施形態である。

第２の実施形態と同様の教師データ作成機能を有する場合、図１４の教師データ生成関連データ４４９は図７のコンテンツデータ２４２、対応表２４３、２４５と同様のデータとなり、教師データ生成関連部４５４は図７のフリック検出部２５１、ラベル決定部２５２、教師データ生成部２５３と同様の機能を有し、機械学習部４５５はラベルの確信度が高い教師データをラベルの確信度が低い教師データより有意な教師データとして分類モデルを学習する機能、すなわち重み付き学習機能を有する。

また第３の実施形態と同様の教師データ作成機能を有する場合、図１４の教師データ生成関連データ４４９は図１１のコンテンツデータ３４２、対応表３４６と同様のデータとなり、教師データ生成関連部４５４は図１１のフリック検出部３５１、ラベル決定部３５２、教師データ生成部３５３と同様の機能を有し、機械学習部４５５は上記重み付き学習機能を有する。

本実施形態によれば、本発明の第２または第３の実施形態と同様の効果が得られると共に、作成した確信度付きの教師データを使用して分類対象コンテンツデータを自動的に分類することができる。

［第６の実施形態］
図１８を参照すると、本発明の第６の実施形態に係るデータ処理装置６００は、振り操作による入力形態を使用して、機械学習に使用する教師データを利用者が作成する作業を支援する機能を有している。

このデータ処理装置６００は、主な機能部として、通信Ｉ／Ｆ部６１０、画面表示部６２０、加速度センサ部６３０、記憶部６４０、および演算処理部６５０を有する。このうち、通信Ｉ／Ｆ部６１０と画面表示部６２０とは、図１に示した本発明の第１の実施形態における通信Ｉ／Ｆ部１１０と画面表示部１２０と同じ機能を有する。

加速度センサ部６３０は、振れを検出して演算処理部６５０に検出情報を出力する機能を有している。加速度センサ部６３０を設定する箇所は任意である。加速度センサ部６３０は、データ処理装置６００のメイン筐体内に設けてもよいし、メイン筐体とは分離した別の筐体に設けてもよい。その場合、両者は無線で通信することが望ましい。

記憶部６４０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部６５０での各種処理に必要な処理情報やプログラム６４１を記憶する機能を有している。プログラム６４１は、演算処理部６５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部６１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部６４０に保存される。記憶部６４０で記憶される主な処理情報として、複数のコンテンツデータ６４２、振れ方向とラベルの対応表６４３、複数の教師データ６４４がある。このうち、コンテンツデータ６４２と教師データ６４４とは、図１に示した本発明の第１の実施形態におけるコンテンツデータ１４２と教師データ１４４と同じである。即ち、教師データ６４４は、ＩＤとコンテンツとラベルとを有する。

対応表６４３は、振れ方向とラベルとを対応付ける表である。図１９は、対応表６４３の構成例である。この対応表６４３では、振れの方向θが０°以上９０°未満と２７０°以上３６０°未満のときは「ＯＫ」という種類のラベルに対応し、９０°以上２７０°未満のときは「ＮＧ」という種類のラベルに対応することを表している。従って、加速度センサ部６３０を収納する容器を所定の姿勢にした状態で右方向を０°、左方向を１８０°とする場合、利用者が右方向に振るとラベル「ＯＫ」を入力でき、左方向に振るとラベル「ＮＧ」を入力できることになる。

演算処理部６５０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部６４０からプログラム６４１を読み込んで実行することにより、上記ハードウェアとプログラム６４１とを協働させて各種処理部を実現する機能を有している。演算処理部６５０で実現される主な処理部として、振れ方向検出部６５１と、ラベル決定部６５２と、教師データ生成部６５３とがある。

振れ方向検出部６５１は、加速度センサ部６３０の検出情報から振れの方向を検出する機能を有する。

ラベル決定部６５２は、振れ方向検出部６５１によって検出された振れ方向によって、画面表示部６２０に表示されているコンテンツが属するカテゴリを表すラベルを決定する機能を有する。具体的には、ラベル決定部６５２は、記憶部６４０から対応表６４３を読み出し、振れ方向検出部６５１によって検出された振れ方向に対応して対応表６４３に記録されているラベルを、コンテンツが属するカテゴリを表すラベルに決定する。

教師データ生成部６５３は、コンテンツデータ６４２毎に、記憶部６４０からコンテンツデータ６４２を読み出して画面表示部６２０に表示し、表示したコンテンツデータ６４２とラベル決定部６５２によって決定されたラベルとを有する教師データ６４４を生成して記憶部６４０に保存する機能を有する。

次に、本実施形態にかかるデータ処理装置６００の動作を図２０のフローチャートを参照して説明する。

データ処理装置６００の演算処理部６５０における教師データ生成部６５３は、起動されると、記憶部６４０から１つのコンテンツデータ６４２を読み出して画面表示部６２０に表示する（ステップＳ６０１）。利用者は、画面表示部６２０に表示されたコンテンツを確認し、そのコンテンツのカテゴリを判断して所望の方向に加速度センサ部６３０を収納した容器を振る操作を行う。

演算処理部６５０の振れ方向検出部６５１は、教師データ生成部６５３がコンテンツデータ６４２を画面表示部６２０に表示した後、加速度センサ部６３０からの検出情報に基づいて触れの検出を開始する（図２０のステップＳ６０２）。振れ方向検出部６５１は、振れを検出すると、その振れ方向をラベル決定部６５２に伝達する。ラベル決定部６５２は、伝達された振れ方向と対応表６４３とに基づいてラベルを決定する（ステップＳ６０３）。そして、ラベル決定部６５２は、ラベルを教師データ生成部６５３へ伝達する。

教師データ生成部６５３は、ラベル決定部６５２からラベルを入力すると、画面表示部６２０に表示されているＩＤと、コンテンツと、入力されたラベルとから構成される教師データ６４４を生成し、記憶部６４０に保存する（ステップＳ６０５）。次に教師データ生成部６５３は、未だ利用者に表示していないコンテンツが記憶部６４０に存在するか否かを確認する（ステップＳ６０６）。そして、未表示のコンテンツが残っていれば、ステップＳ６０１の処理に戻って、上述した処理と同様の処理を繰り返す。他方、未表示のコンテンツが残っていなければ、教師データ生成部６５３は、教師データの生成処理を終了する。

このように振れによる入力形態によれば、場所の制限を受けずに教師データを作成することができる。その理由は、利用者はコンテンツが属するカテゴリを表すラベルの入力を、キーボードやマウスのような音を発しない、物を振るという操作によって入力できるためである。

［第７の実施形態］
図２１を参照すると、本発明の第７の実施形態に係るデータ処理装置７００は、傾け操作による入力形態を使用して、機械学習に使用する教師データを利用者が作成する作業を支援する機能を有している。

このデータ処理装置７００は、主な機能部として、通信Ｉ／Ｆ部７１０、画面表示部７２０、傾きセンサ部７３０、記憶部７４０、および演算処理部７５０を有する。このうち、通信Ｉ／Ｆ部７１０と画面表示部７２０とは、図１に示した本発明の第１の実施形態における通信Ｉ／Ｆ部１１０と画面表示部１２０と同じ機能を有する。

傾きセンサ部７３０は、ジャイロ等で構成され、傾きを検出して演算処理部７５０に検出情報を出力する機能を有している。傾きセンサ部７３０を設定する箇所は任意である。傾きセンサ部７３０は、データ処理装置７００のメイン筐体内に設けてもよいし、メイン筐体とは分離した別の筐体に設けてもよい。その場合、両者は無線で通信することが望ましい。

記憶部７４０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部７５０での各種処理に必要な処理情報やプログラム７４１を記憶する機能を有している。プログラム７４１は、演算処理部７５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部７１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部７４０に保存される。記憶部７４０で記憶される主な処理情報として、複数のコンテンツデータ７４２、傾き方向とラベルの対応表７４３、複数の教師データ７４４がある。このうち、コンテンツデータ７４２と教師データ７４４とは、図１に示した本発明の第１の実施形態におけるコンテンツデータ１４２と教師データ１４４と同じである。即ち、教師データ７４４は、ＩＤとコンテンツとラベルとを有する。

対応表７４３は、傾き方向とラベルとを対応付ける表である。図２２は、対応表７４３の構成例である。この対応表７４３では、傾き方向がＲｉｇｈｔのときは「ＯＫ」という種類のラベルに対応し、Ｌｅｆｔのときは「ＮＧ」という種類のラベルに対応することを表している。従って、傾きセンサ部７３０を収納する容器を所定の姿勢にした状態で右側が左側よりも低くなるように傾ける状態をＲｉｇｈｔ、その反対をＬｅｆｔと設定する場合、利用者が右側が低くなるように傾けるとラベル「ＯＫ」を入力でき、左側が低くなるように傾けるとラベル「ＮＧ」を入力できることになる。

演算処理部７５０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部７４０からプログラム７４１を読み込んで実行することにより、上記ハードウェアとプログラム７４１とを協働させて各種処理部を実現する機能を有している。演算処理部７５０で実現される主な処理部として、傾き方向検出部７５１と、ラベル決定部７５２と、教師データ生成部７５３とがある。

傾き方向検出部７５１は、傾きセンサ部７３０の検出情報から傾きの方向を検出する機能を有する。

ラベル決定部７５２は、傾き方向検出部７５１によって検出された傾き方向によって、画面表示部７２０に表示されているコンテンツが属するカテゴリを表すラベルを決定する機能を有する。具体的には、ラベル決定部７５２は、記憶部７４０から対応表７４３を読み出し、傾き方向検出部７５１によって検出された傾き方向に対応して対応表７４３に記録されているラベルを、コンテンツが属するカテゴリを表すラベルに決定する。

教師データ生成部７５３は、コンテンツデータ７４２毎に、記憶部７４０からコンテンツデータ７４２を読み出して画面表示部７２０に表示し、表示したコンテンツデータ７４２とラベル決定部７５２によって決定されたラベルとを有する教師データ７４４を生成して記憶部７４０に保存する機能を有する。

次に、本実施形態にかかるデータ処理装置７００の動作を図２３のフローチャートを参照して説明する。

データ処理装置７００の演算処理部７５０における教師データ生成部７５３は、起動されると、記憶部７４０から１つのコンテンツデータ７４２を読み出して画面表示部７２０に表示する（ステップＳ７０１）。利用者は、画面表示部７２０に表示されたコンテンツを確認し、そのコンテンツのカテゴリを判断して所望の方向に傾きセンサ部７３０を収納した容器を傾ける操作を行う。

演算処理部７５０の傾き方向検出部７５１は、教師データ生成部７５３がコンテンツデータ７４２を画面表示部７２０に表示した後、傾きセンサ部７３０からの検出情報に基づいて傾きの検出を開始する（図２３のステップＳ７０２）。傾き方向検出部７５１は、傾きを検出すると、その傾き方向をラベル決定部７５２に伝達する。ラベル決定部７５２は、伝達された傾き方向と対応表７４３とに基づいてラベルを決定する（ステップＳ７０３）。そして、ラベル決定部７５２は、ラベルを教師データ生成部７５３へ伝達する。

教師データ生成部７５３は、ラベル決定部７５２からラベルを入力すると、画面表示部７２０に表示されているＩＤと、コンテンツと、入力されたラベルとから構成される教師データ７４４を生成し、記憶部７４０に保存する（ステップＳ７０４）。次に教師データ生成部７５３は、未だ利用者に表示していないコンテンツが記憶部７４０に存在するか否かを確認する（ステップＳ７０５）。そして、未表示のコンテンツが残っていれば、ステップＳ７０１の処理に戻って、上述した処理と同様の処理を繰り返す。他方、未表示のコンテンツが残っていなければ、教師データ生成部７５３は、教師データの生成処理を終了する。

このように傾け操作による入力形態によれば、場所の制限を受けずに教師データを作成することができる。その理由は、利用者はコンテンツが属するカテゴリを表すラベルの入力を、キーボードやマウスのような音を発しない、物を傾けるという操作によって入力できるためである。

［第８の実施形態］
図２４を参照すると、本発明の第８の実施形態に係るデータ処理装置８００は、ジェスチャ操作による入力形態を使用して、機械学習に使用する教師データを利用者が作成する作業を支援する機能を有している。

このデータ処理装置８００は、主な機能部として、通信Ｉ／Ｆ部８１０、画面表示部８２０、タッチパネル部８３０、記憶部８４０、および演算処理部８５０を有する。このうち、通信Ｉ／Ｆ部８１０と画面表示部８２０とタッチパネル部８３０とは、図１に示した本発明の第１の実施形態における通信Ｉ／Ｆ部１１０と画面表示部１２０とタッチパネル部８３０と同じ機能を有する。

記憶部８４０は、ハードディスクやメモリなどの記憶装置からなり、演算処理部８５０での各種処理に必要な処理情報やプログラム８４１を記憶する機能を有している。プログラム８４１は、演算処理部８５０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部８１０などのデータ入出力機能を介して外部装置（図示せず）や記憶媒体（図示せず）から予め読み込まれて記憶部８４０に保存される。記憶部８４０で記憶される主な処理情報として、複数のコンテンツデータ８４２、ジェスチャとラベルの対応表８４３、複数の教師データ８４４がある。このうち、コンテンツデータ８４２と教師データ８４４とは、図１に示した本発明の第１の実施形態におけるコンテンツデータ１４２と教師データ１４４と同じである。即ち、教師データ８４４は、ＩＤとコンテンツとラベルとを有する。

対応表８４３は、ジェスチャの種類とラベルとを対応付ける表である。図２５は、対応表８４３の構成例である。この対応表８４３では、アルファベットのＶという文字を描くジェスチャは「ＯＫ」という種類のラベルに対応し、ハイフン記号を描くジェスチャは「ＮＧ」という種類のラベルに対応することを表している。

演算処理部８５０は、ＭＰＵなどのプロセッサとその周辺回路を有し、記憶部８４０からプログラム８４１を読み込んで実行することにより、上記ハードウェアとプログラム８４１とを協働させて各種処理部を実現する機能を有している。演算処理部８５０で実現される主な処理部として、ジェスチャ検出部８５１と、ラベル決定部８５２と、教師データ生成部８５３とがある。

ジェスチャ検出部８５１は、タッチパネル部８３０の検出情報からフリックの方向を検出する機能を有する。例えば、ジェスチャ検出部８５１は、タッチされたパネル上の座標（タッチ座標）と時刻情報とをタッチパネル部８３０から取得して保存し、タッチ開始から終了までのタッチ座標の軌跡に基づいて、ジェスチャの種類を検出してよい。

ラベル決定部８５２は、ジェスチャ検出部８５１によって検出されたジェスチャの種類によって、画面表示部８２０に表示されているコンテンツが属するカテゴリを表すラベルを決定する機能を有する。具体的には、ラベル決定部８５２は、記憶部８４０から対応表８４３を読み出し、ジェスチャ検出部８５１によって検出されたジェスチャの種類に対応して対応表８４３に記録されているラベルを、コンテンツが属するカテゴリを表すラベルに決定する。

教師データ生成部８５３は、コンテンツデータ８４２毎に、記憶部８４０からコンテンツデータ８４２を読み出して画面表示部８２０に表示し、表示したコンテンツデータ８４２とラベル決定部８５２によって決定されたラベルとを有する教師データ８４４を生成して記憶部８４０に保存する機能を有する。

次に、本実施形態にかかるデータ処理装置８００の動作を図２６のフローチャートを参照して説明する。

データ処理装置８００の演算処理部８５０における教師データ生成部８５３は、起動されると、記憶部８４０から１つのコンテンツデータ８４２を読み出して画面表示部８２０に表示する（ステップＳ８０１）。利用者は、画面表示部８２０に表示されたコンテンツを確認し、そのコンテンツのカテゴリを判断して所望の種類のジェスチャをタッチパネル部８３０から入力する操作を行う。

演算処理部８５０のジェスチャ検出部８５１は、教師データ生成部８５３がコンテンツデータ８４２を画面表示部８２０に表示した後、タッチパネル部８３０からの検出情報に基づいてジェスチャの検出を開始する（図２６のステップＳ８０２）。ジェスチャ検出部８５１は、ジェスチャを検出すると、その種類を判断しラベル決定部８５２に伝達する。ラベル決定部８５２は、伝達されたジェスチャの種類と対応表８４３とに基づいてラベルを決定する（ステップＳ８０３）。そして、ラベル決定部８５２は、ラベルを教師データ生成部８５３へ伝達する。

教師データ生成部８５３は、ラベル決定部８５２からラベルを入力すると、画面表示部８２０に表示されているＩＤと、コンテンツと、入力されたラベルとから構成される教師データ８４４を生成し、記憶部８４０に保存する（ステップＳ８０４）。次に教師データ生成部７５３は、未だ利用者に表示していないコンテンツが記憶部８４０に存在するか否かを確認する（ステップＳ８０５）。そして、未表示のコンテンツが残っていれば、ステップＳ８０１の処理に戻って、上述した処理と同様の処理を繰り返す。他方、未表示のコンテンツが残っていなければ、教師データ生成部８５３は、教師データの生成処理を終了する。

このようにジェスチャ操作による入力形態によれば、場所の制限を受けずに教師データを作成することができる。その理由は、利用者はコンテンツが属するカテゴリを表すラベルの入力を、キーボードやマウスのような音を発しない、ジェスチャという操作によって入力できるためである。

[その他の実施形態]
以上本発明を幾つかの実施形態を挙げて説明したが、本発明は以上の実施形態にのみ限定されず、その他各種の付加変更が可能である。例えば、上述の説明では、教師データの生成元となるフレーム画像などのコンテンツデータを画面表示部に表示する処理と、フリック等によって利用者からラベルの入力を受け付ける処理と、機械学習を行う処理と、分類モデルを使用して自動分類を行う処理とを同じ演算処理部で行った。しかし、これらの処理を互いに異なる複数の演算処理部で分担して行うようにしてよい。

本発明は、映像監視、映像解析などの分野における教師データの作成に利用できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
表示部と、
タッチ操作を検出して検出情報を出力するタッチパネル部と、
前記タッチパネル部の前記検出情報からフリックの方向を検出するフリック検出部と、
前記フリックの方向によってコンテンツが属するカテゴリを表すラベルを決定するラベル決定部と、
前記コンテンツを前記表示部に表示し、前記表示した前記コンテンツと前記ラベル決定部によって決定された前記ラベルとを有する教師データを生成する教師データ生成部と
を有するデータ処理装置。
（付記２）
前記フリック検出部は、前記タッチパネル部の検出情報からフリックの方向と速度とを検出し、
前記ラベル決定部は、前記フリックの方向と速度とによって前記コンテンツが属するカテゴリを表す前記ラベルと前記ラベルの確信度とを決定し、
前記教師データ生成部は、前記表示した前記コンテンツと前記ラベル決定部によって決定された前記ラベルと前記確信度とを有する前記教師データを生成する
付記１に記載のデータ処理装置。
（付記３）
前記ラベル決定部は、前記フリックの速度がより高いほどより高い確信度を決定する
付記２に記載のデータ処理装置。
（付記４）
前記ラベル決定部は、前記フリックの方向によって前記コンテンツが属するカテゴリを表す前記ラベルと前記ラベルの確信度とを決定し、
前記教師データ生成部は、前記表示した前記コンテンツと前記ラベル決定部によって決定された前記ラベルと前記確信度とを有する前記教師データを生成する
付記１に記載のデータ処理装置。
（付記５）
前記教師データを使用して分類モデルを生成する機械学習部と、
前記分類モデルを使用して分類対象コンテンツが属するカテゴリを決定する分類部と
を有する付記１乃至４の何れかに記載のデータ処理装置。
（付記６）
表示部と、
振れを検出する検出情報を出力する加速度センサ部と、
前記加速度センサ部の前記検出情報から振れの方向を検出する振れ方向検出部と、
前記振れの方向によってコンテンツが属するカテゴリを表すラベルを決定するラベル決定部と、
前記コンテンツを前記表示部に表示し、前記表示した前記コンテンツと前記ラベル決定部によって決定された前記ラベルとを有する教師データを生成する教師データ生成部と
を有するデータ処理装置。
（付記７）
表示部と、
傾きを検出する検出情報を出力する傾きセンサ部と、
前記傾きセンサ部の前記検出情報から傾きの方向を検出する傾き方向検出部と、
前記傾きの方向によってコンテンツが属するカテゴリを表すラベルを決定するラベル決定部と、
前記コンテンツを前記表示部に表示し、前記表示した前記コンテンツと前記ラベル決定部によって決定された前記ラベルとを有する教師データを生成する教師データ生成部と
を有するデータ処理装置。
（付記８）
表示部と、
タッチ操作を検出して検出情報を出力するタッチパネル部と、
前記タッチパネル部の前記検出情報からジェスチャの種類を検出するジェスチャ検出部と、
前記ジェスチャの種類によってコンテンツが属するカテゴリを表すラベルを決定するラベル決定部と、
前記コンテンツを前記表示部に表示し、前記表示した前記コンテンツと前記ラベル決定部によって決定された前記ラベルとを有する教師データを生成する教師データ生成部と
を有するデータ処理装置。
（付記９）
表示部とタッチ操作を検出して検出情報を出力するタッチパネル部とを有するデータ処理装置が実行するデータ処理方法であって、
コンテンツを前記表示部に表示し、
前記タッチパネル部の前記検出情報からフリックの方向を検出し、
前記フリックの方向によって前記コンテンツが属するカテゴリを表すラベルを決定し、
前記コンテンツと前記ラベルとを有する教師データを生成する
データ処理方法。
（付記１０）
前記フリックの検出では、前記タッチパネル部の検出情報からフリックの方向と速度とを検出し、
前記ラベルの決定では、前記フリックの方向と速度とによって前記コンテンツが属するカテゴリを表す前記ラベルと前記ラベルの確信度とを決定し、
前記教師データの生成では、前記コンテンツと前記ラベルと前記確信度とを有する前記教師データを生成する
付記９に記載のデータ処理方法。
（付記１１）
前記ラベルの決定では、前記フリックの速度がより高いほどより高い確信度を決定する
付記１０に記載のデータ処理方法。
（付記１２）
前記ラベルの決定では、前記フリックの方向によって前記コンテンツが属するカテゴリを表す前記ラベルと前記ラベルの確信度とを決定し、
前記教師データの生成では、前記コンテンツと前記ラベルと前記確信度とを有する前記教師データを生成する
付記９に記載のデータ処理方法。
（付記１３）
前記教師データを使用して分類モデルを生成し、
前記分類モデルを使用して分類対象コンテンツが属するカテゴリを決定する
付記９乃至１２の何れかに記載のデータ処理方法。
（付記１４）
表示部と振れを検出して検出情報を出力する加速度センサ部とを有するデータ処理装置が実行するデータ処理方法であって、
コンテンツを前記表示部に表示し、
前記加速度センサ部の前記検出情報から振れの方向を検出し、
前記振れの方向によって前記コンテンツが属するカテゴリを表すラベルを決定し、
前記コンテンツと前記ラベルとを有する教師データを生成する
データ処理方法。
（付記１５）
表示部と傾きを検出して検出情報を出力する傾きセンサ部とを有するデータ処理装置が実行するデータ処理方法であって、
コンテンツを前記表示部に表示し、
前記傾きセンサ部の前記検出情報から傾きの方向を検出し、
前記傾きの方向によって前記コンテンツが属するカテゴリを表すラベルを決定し、
前記コンテンツと前記ラベルとを有する教師データを生成する
データ処理方法。
（付記１６）
表示部とタッチ操作を検出して検出情報を出力するタッチパネル部とを有するデータ処理装置が実行するデータ処理方法であって、
コンテンツを前記表示部に表示し、
前記タッチパネル部の前記検出情報からジェスチャの種類を検出し、
前記ジェスチャの種類によって前記コンテンツが属するカテゴリを表すラベルを決定し、
前記コンテンツと前記ラベルとを有する教師データを生成する
データ処理方法。
（付記１７）
表示部とタッチ操作を検出して検出情報を出力するタッチパネル部とを有するコンピュータを、
前記タッチパネル部の前記検出情報からフリックの方向を検出するフリック検出部と、
前記フリックの方向によってコンテンツが属するカテゴリを表すラベルを決定するラベル決定部と、
前記コンテンツを前記表示部に表示し、前記表示した前記コンテンツと前記ラベル決定部によって決定された前記ラベルとを有する教師データを生成する教師データ生成部と
して機能させるためのプログラム。
（付記１８）
表示部と振れを検出する検出情報を出力する加速度センサ部とを有するコンピュータを、
前記加速度センサ部の前記検出情報から振れの方向を検出する振れ方向検出部と、
前記振れの方向によってコンテンツが属するカテゴリを表すラベルを決定するラベル決定部と、
前記コンテンツを前記表示部に表示し、前記表示した前記コンテンツと前記ラベル決定部によって決定された前記ラベルとを有する教師データを生成する教師データ生成部と
して機能させるためのプログラム。
（付記１９）
表示部と傾きを検出する検出情報を出力する傾きセンサ部とを有するコンピュータを、
前記傾きセンサ部の前記検出情報から傾きの方向を検出する傾き方向検出部と、
前記傾きの方向によってコンテンツが属するカテゴリを表すラベルを決定するラベル決定部と、
前記コンテンツを前記表示部に表示し、前記表示した前記コンテンツと前記ラベル決定部によって決定された前記ラベルとを有する教師データを生成する教師データ生成部と
して機能させるためのプログラム。
（付記２０）
表示部とタッチ操作を検出して検出情報を出力するタッチパネル部とを有するコンピュータを、
前記タッチパネル部の前記検出情報からジェスチャの種類を検出するジェスチャ検出部と、
前記ジェスチャの種類によってコンテンツが属するカテゴリを表すラベルを決定するラベル決定部と、
前記コンテンツを前記表示部に表示し、前記表示した前記コンテンツと前記ラベル決定部によって決定された前記ラベルとを有する教師データを生成する教師データ生成部と
して機能させるためのプログラム。

１００…データ処理装置
１１０…通信Ｉ／Ｆ部
１２０…画面表示部
１３０…タッチパネル部
１４０…記憶部
１４１…プログラム
１４２…コンテンツデータ
１４３…フリック方向とラベルの対応表
１４４…教師データ
１５０…演算処理部
１５１…フリック検出部
１５２…ラベル決定部
１５３…教師データ生成部

Claims (10)

1. 表示部と、
   タッチ操作を検出して検出情報を出力するタッチパネル部と、
   前記タッチパネル部の前記検出情報からフリックの方向を検出するフリック検出部と、
   前記フリックの方向によってコンテンツが属するカテゴリを表すラベルを決定するラベル決定部と、
   前記表示部に表示された前記コンテンツと前記ラベル決定部によって決定された前記ラベルとを有する教師データを生成する教師データ生成部と
   を有し、
   前記フリック検出部は、前記タッチパネル部の検出情報からフリックの方向と速度とを検出し、
   前記ラベル決定部は、前記フリックの方向と速度とによって前記コンテンツが属するカテゴリを表す前記ラベルと前記ラベルの確信度とを決定し、
   前記教師データ生成部は、前記表示した前記コンテンツと前記ラベル決定部によって決定された前記ラベルと前記確信度とを有する前記教師データを生成するデータ処理装置。
2. 前記ラベル決定部は、前記フリックの速度がより高いほどより高い確信度を決定する
   請求項１に記載のデータ処理装置。
3. 表示部と、
   タッチ操作を検出して検出情報を出力するタッチパネル部と、
   前記タッチパネル部の前記検出情報からフリックの方向を検出するフリック検出部と、
   前記フリックの方向によってコンテンツが属するカテゴリを表すラベルを決定するラベル決定部と、
   前記表示部に表示された前記コンテンツと前記ラベル決定部によって決定された前記ラベルとを有する教師データを生成する教師データ生成部と
   を有し、
   前記ラベル決定部は、前記フリックの方向によって前記コンテンツが属するカテゴリを表す前記ラベルと前記ラベルの確信度とを決定し、
   前記教師データ生成部は、前記表示した前記コンテンツと前記ラベル決定部によって決定された前記ラベルと前記確信度とを有する前記教師データを生成する
   データ処理装置。
4. 前記教師データを使用して分類モデルを生成する機械学習部と、
   前記分類モデルを使用して分類対象コンテンツが属するカテゴリを決定する分類部と
   を有する請求項１乃至３の何れかに記載のデータ処理装置。
5. 表示部とタッチ操作を検出して検出情報を出力するタッチパネル部とを有するデータ処理装置が実行するデータ処理方法であって、
   コンテンツを前記表示部に表示し、
   前記タッチパネル部の前記検出情報からフリックの方向を検出し、
   前記フリックの方向によって前記コンテンツが属するカテゴリを表すラベルを決定し、
   前記表示部に表示された前記コンテンツと前記ラベルとを有する教師データを生成し、
   前記フリックの検出では、前記タッチパネル部の検出情報からフリックの方向と速度とを検出し、
   前記ラベルの決定では、前記フリックの方向と速度とによって前記コンテンツが属するカテゴリを表す前記ラベルと前記ラベルの確信度とを決定し、
   前記教師データの生成では、前記コンテンツと前記ラベルと前記確信度とを有する前記教師データを生成する
   データ処理方法。
6. 前記ラベルの決定では、前記フリックの速度がより高いほどより高い確信度を決定する
   請求項５に記載のデータ処理方法。
7. 表示部とタッチ操作を検出して検出情報を出力するタッチパネル部とを有するデータ処理装置が実行するデータ処理方法であって、
   コンテンツを前記表示部に表示し、
   前記タッチパネル部の前記検出情報からフリックの方向を検出し、
   前記フリックの方向によって前記コンテンツが属するカテゴリを表すラベルを決定し、
   前記表示部に表示された前記コンテンツと前記ラベルとを有する教師データを生成し、
   前記ラベルの決定では、前記フリックの方向によって前記コンテンツが属するカテゴリを表す前記ラベルと前記ラベルの確信度とを決定し、
   前記教師データの生成では、前記コンテンツと前記ラベルと前記確信度とを有する前記教師データを生成するデータ処理方法。
8. 前記教師データを使用して分類モデルを生成し、
   前記分類モデルを使用して分類対象コンテンツが属するカテゴリを決定する
   請求項５乃至７の何れかに記載のデータ処理方法。
9. 表示部とタッチ操作を検出して検出情報を出力するタッチパネル部とを有するコンピュータを、
   前記タッチパネル部の前記検出情報からフリックの方向を検出するフリック検出部と、
   前記フリックの方向によってコンテンツが属するカテゴリを表すラベルを決定するラベル決定部と、
   前記表示部に表示された前記コンテンツと前記ラベル決定部によって決定された前記ラベルとを有する教師データを生成する教師データ生成部と
   して機能させ、
   前記フリック検出部は、前記タッチパネル部の検出情報からフリックの方向と速度とを検出し、
   前記ラベル決定部は、前記フリックの方向と速度とによって前記コンテンツが属するカテゴリを表す前記ラベルと前記ラベルの確信度とを決定し、
   前記教師データ生成部は、前記表示した前記コンテンツと前記ラベル決定部によって決定された前記ラベルと前記確信度とを有する前記教師データを生成するためのプログラム。
10. 表示部と、
    タッチ操作を検出して検出情報を出力するタッチパネル部と、
    前記タッチパネル部の前記検出情報からフリックの方向を検出するフリック検出部と、
    前記フリックの方向によってコンテンツが属するカテゴリを表すラベルを決定するラベル決定部と、
    前記表示部に表示された前記コンテンツと前記ラベル決定部によって決定された前記ラベルとを有するデータを生成するデータ生成部と
    を有し、
    前記フリック検出部は、前記タッチパネル部の検出情報からフリックの方向と速度とを検出し、
    前記ラベル決定部は、前記フリックの方向と速度とによって前記コンテンツが属するカテゴリを表す前記ラベルと前記ラベルの確信度とを決定し、
    前記データ生成部は、前記表示した前記コンテンツと前記ラベル決定部によって決定された前記ラベルと前記確信度とを有する前記データを生成するデータ処理装置。

Images