JP6800453B1 - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】使用者が必要な際に、使用者が必要な量の情報を使用者に提示する情報処理装置及び情報処理方法を提供する。【解決手段】対応者の行う作業に関する情報である作業情報を出力する情報処理装置に要る方法であって、対応者が被対応者と複数の被対応物とを含む画像である元画像を取得し、元画像を分割し被対応者が撮像された被対応者画像とそれぞれの被対応物が撮像された複数の被対応物画像とに分割し、被対応者画像と、対応者が行う状況であるシーンを一意に示すシーンＩＤとの間における連関性が記憶されている第１の学習済みモデルを使用して、シーンを推定し、複数の被対応物画像と、作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、チャンクを推定し、出力する。【選択図】図１

Description

本発明は、情報処理装置及び情報処理方法に関する。

例えば特許文献１の作業支援システムでは、作業の手順、内容、留意点又はその他の事項を記述したマニュアルに基づいて、作業の対象又は作業の状況の判定条件を記述したルールを生成し、作業者が装着した機器からのセンサ情報に基づいて作業の対象及び作業の状況を認識し、生成したルール及び認識手段の認識結果に基づいて作業支援情報を出力する。

特開２０１９−１０９８４４号公報

しかしながら特許文献１に記載されたような従来の手法においては、マニュアルなどの文書として蓄積されている情報は、文書単位の検索しかできない。例えば段落単位での検索を文書に対して行う場合には、文書を構造化された情報に再構築する必要がある。検索対象となる全ての文書の再構築は費用対効果を考慮すると現実的ではないことが多く、また文書単位での情報では不要な情報を多分に閲覧してしまい、文書の閲覧者が迅速な対応ができないことがあるという課題がある。

本発明の実施の形態の一態様は、大規模な情報の再構築をせずに、使用者が必要な際に、使用者が必要な量の情報を、使用者に提示する情報処理装置を提供することを目的とする。

対応者の行う作業に関する情報である作業情報を出力する情報処理装置であって、対応者が対応する被対応者と前記対応者が対応する複数の被対応物とを含む画像である元画像を取得する画像取得部と、元画像を分割し被対応者が撮像された被対応者画像とそれぞれの被対応物が撮像された複数の被対応物画像とに分割する画像分割部と、被対応者画像と、対応者が行う状況であるシーンを一意に示すシーンＩＤと、の間における連関性が記憶されている第１の学習済みモデルを使用して、シーンを推定するシーン推定部と、複数の被対応物画像と、作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、チャンクを推定するチャンク推定部と、チャンクを出力する出力部と、を備え、チャンク推定部は、複数の第２の学習済みモデルのうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定し、チャンク用メタＩＤは被対応物の性質に関する情報であるチャンク用メタ値を一意に示す、情報処理装置を提供する。

対応者の行う作業に関する情報である作業情報を出力する情報処理装置が行う情報処理方法であって、対応者が被対応者と複数の被対応物とを含む画像である元画像を取得する第１のステップと、元画像を分割し被対応者が撮像された被対応者画像とそれぞれの被対応物が撮像された複数の被対応物画像とに分割する第２のステップと、被対応者画像と、対応者が行う状況であるシーンを一意に示すシーンＩＤと、の間における連関性が記憶されている第１の学習済みモデルを使用して、シーンを推定する第３のステップと、複数の被対応物画像と、作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、チャンクを推定する第４のステップと、チャンクを出力する第５のステップと、を備え、複数の第２の学習済みモデルのうちの１つはシーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定され、チャンク用メタＩＤは被対応物の性質に関する情報であるチャンク用メタ値を一意に示す、情報処理方法を提供する。

本発明の実施の形態の一態様によれば大規模な情報の再構築をせずに、使用者が必要な際に、使用者が必要な量の情報を、使用者に提示する情報処理装置を実現できる。

図１は、本実施の形態による利用段階における情報処理装置の構成を示すブロック図である。 図２は、本実施の形態による学習段階における情報処理装置の構成を示すブロック図である。 図３は、本実施の形態による元画像、被対応者画像及び複数の被対応物画像を示す図である。 図４は、本実施の形態による被対応者画像及び複数の被対応物画像の関係である木構造を示す図である。 図５は、本実施の形態による第１の学習済みモデル及び第２の学習済みモデルを示す図である。 図６は、本実施の形態による補助記憶装置に記憶されている情報を示す図である。 図７は、本実施の形態によるシーン推定機能、チャンク推定機能及びチャンク出力機能の説明に供するシーケンス図である。 図８は、本実施の形態による第１の学習済みモデル生成機能及び第２の学習済みモデル生成機能の説明に供するシーケンス図である。 図９は、本実施の形態による利用段階における情報処理の処理手順を示すフローチャートである。 図１０は、本実施の形態による学習段階における情報処理の処理手順を示すフローチャートである。

以下図面を用いて、本発明の実施の形態の一態様を詳述する。例えば、大学の窓口や薬局の窓口において、学生及び学生の保護者などや患者などである被対応者の対応を行う作業者である対応者が参照する被対応物の情報について説明する。被対応物とは、例えば大学の窓口の場合は書類であって、薬局の窓口の場合は薬とする。

（本実施の形態）
まず図１を用いて利用段階における情報処理装置１について説明する。図１は、本実施の形態による利用段階における情報処理装置１の構成を示すブロック図である。情報処理装置１は、中央演算装置２、主記憶装置３及び補助記憶装置１１を備える。

中央演算装置２は、例えばＣＰＵ（Central Processing Unit）であって、主記憶装置３に記憶されたプログラムを呼び出すことで処理を実行する。主記憶装置３は、例えばＲＡＭ（Random Access Memory）であって、後述の画像取得部４、画像分割部５、シーン推定部６、チャンク推定部７、チャンク出力部８、第１の学習済みモデル生成部９、第２の学習済みモデル生成部１０及びレコメンド画像出力部１３といったプログラムを記憶する。

なお画像取得部４、画像分割部５、シーン推定部６、チャンク推定部７、チャンク出力部８及びレコメンド画像出力部１３を含むプログラムを制御部１５と呼んでもよく、第１の学習済みモデル生成部９及び第２の学習済みモデル生成部１０を含むプログラムを学習済みモデル生成部１６と呼んでもよい。

補助記憶装置１１は、例えばＳＳＤ（Solid State Drive）やＨＤＤ（Hard Disk Drive）であって、後述の第１の学習済みモデルＤＢ１や第１の学習モデルＤＢ１’や第２の学習済みモデルＤＢ２や第２の学習モデルＤＢ２’といったデータベースやシーンテーブルＴＢ１やモデルテーブルＴＢ２やコンテンツテーブルＴＢ３やシーン・コンテンツテーブルＴＢ４やコンテンツ・チャンクテーブルＴＢ５やチャンク・メタテーブルＴＢ６やチャンクテーブルＴＢ７やチャンク用メタテーブルＴＢ８といったテーブルを記憶する。

図１に示すように対応者の行う作業に関する情報である作業情報を出力する情報処理装置１は、利用段階において、画像取得部４と、画像分割部５と、シーン推定部６と、チャンク推定部７と、作業情報を分割又は示唆した情報であるチャンクを出力するチャンク出力部８と、を備える。ここで作業情報をコンテンツと呼んでもよく、コンテンツＩＤは作業情報を一意に示すものとする。

画像取得部４は、対応者が対応する被対応者２１（図３）と対応者が対応する複数の被対応物２２〜２５（図３）とを含む画像である元画像２０（図３）を、カメラを備えたパーソナルコンピュータなどのユーザ端末１２から取得する。画像分割部５は、元画像２０を分割し前記被対応者２１が撮像された被対応者画像３０とそれぞれの被対応物２２〜２５が撮像された複数の被対応物画像４０〜４３とに分割する。

シーン推定部６は、対応者が行う状況であるであるシーンを推定する。具体的にはシーン推定部６は、被対応者画像３０（３５）を取得し、被対応者画像３０（３５）とシーンを一意に示すシーンＩＤと、の間における連関性が記憶されている第１の学習済みモデルＤＢ１を使用して、シーンを推定する。

シーン推定部６は、シーンＩＤとシーンの名称であるシーン名とが１対１で紐づけられたテーブルであるシーンテーブルＴＢ１から、シーンＩＤを検索キーとしてシーン名を取得してユーザ端末１２に送信する。ユーザ端末１２はシーン推定部６から受信したシーン名を使用者に提示する。

チャンク推定部７は、作業に関係する被対応物２２（２３〜２５）の画像である被対応物画像４０〜４３を取得し、被対応物画像４０（４１〜４３）と、チャンクを一意に示すチャンクＩＤと１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルＤＢ２のうちの１つを使用して、チャンクを推定する。

チャンク推定部７は、複数の第２の学習済みモデルＤＢ２のうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定する。またチャンク用メタＩＤは被対応物２２〜２５の性質に関する情報であるチャンク用メタ値を一意に示す。

チャンク推定部７は、モデルＩＤとシーンＩＤとが１対１で紐づけられたテーブルであるモデルテーブルＴＢ２からシーンＩＤを検索キーとしてモデルＩＤを取得する。またチャンク推定部７は、チャンクＩＤとチャンク用メタＩＤとが１対１又は１対複数で紐づけられたテーブルであるチャンク・メタテーブルＴＢ６からチャンク用メタＩＤを検索キーとしてチャンクＩＤを取得する。

またチャンク推定部７は、チャンクテーブルＴＢ７からチャンクＩＤを検索キーとしてチャンクの概要を示すチャンクサマリを取得して、チャンクサマリをユーザ端末１２に送信する。ユーザ端末１２は、チャンク推定部７から受信したチャンクサマリを使用者に提示する。

またチャンク推定部７は、チャンクテーブルＴＢ７からチャンクＩＤを検索キーとしてチャンクを取得して、チャンクをユーザ端末１２に送信する。ユーザ端末１２は、チャンク推定部７から受信したチャンクを使用者に提示する。

なおチャンクテーブルＴＢ７は、チャンクＩＤにチャンクとチャンクサマリとハッシュ値とがそれぞれ１対１で紐づけられたテーブルである。なおハッシュ値は例えばチャンクが変更されたか否かを確認するために用いられる。

情報処理装置１はさらにレコメンド画像出力部１３を備えてもよく、補助記憶装置１１はさらにレコメンドテーブルＴＢ９を備えてもよい。レコメンド画像出力部１３は、モデルＩＤと１又は複数のチャンク用メタＩＤの組み合わせとを検索キーとして、レコメンドテーブルＴＢ９を用いて推奨被対応物画像を検索する。

レコメンド画像出力部１３は、検索した推奨被対応物画像をユーザ端末１２に出力する。推奨被対応物画像は、元画像２０には撮像されていないが、本来は必要であると推測される被対応物の画像を指す。なおレコメンドテーブルＴＢ９は、モデルＩＤとチャンク用メタＩＤの組み合わせと推奨被対応物画像とが１対１対１で紐づけられたテーブルである。

次に図２を用いて学習段階における情報処理装置１について説明する。例えば学習段階においては図示せぬ入力装置から入力される被対応者画像３０（３５）と１又は複数の被対応物画像４０〜４３とを１組として学習させる。ここで学習は、例えば教師あり学習を指すものとする。

図２は、本実施の形態による学習段階における情報処理装置１の構成を示すブロック図である。学習段階においては、情報処理装置１は、第１の学習済みモデル生成部９と、第２の学習済みモデル生成部１０と、を備える。

第１の学習済みモデル生成部９は、シーンＩＤと、被対応者画像３０（３５）と、を１対として第１の学習モデルＤＢ１’に学習させることで第１の学習済みモデルＤＢ１を生成するプログラムである。

第１の学習済みモデル生成部９は、被対応者画像３０（３５）に関してシーンテーブルＴＢ１からシーンＩＤを取得し、シーンＩＤに対応するモデルＩＤをモデルテーブルＴＢ２から取得する。

第２の学習済みモデル生成部１０は、モデルＩＤを指定して１又は複数のチャンク用メタＩＤと被対応物画像４０（４１〜４３）とを１対として第２の学習モデルＤＢ２’に学習させることで第２の学習済みモデルＤＢ２を生成するプログラムである。

第２の学習済みモデル生成部１０は、シーンＩＤとコンテンツＩＤとが１対多で紐づけられたテーブルであるシーン・コンテンツテーブルＴＢ４からシーンＩＤを検索キーとしてコンテンツＩＤを取得する。なおここで検索キーとなるシーンＩＤは、処理の対象となる被対応物画像４０（４１〜４３）と対になっている被対応者画像３０（３５）と紐づくものである。

第２の学習済みモデル生成部１０は、コンテンツＩＤとコンテンツとが１対１で紐づけられたテーブルであるコンテンツテーブルＴＢ３からコンテンツＩＤを検索キーとしてコンテンツを取得する。

第２の学習済みモデル生成部１０は、コンテンツＩＤとチャンクＩＤとが１対１又は多で紐づけられたテーブルであるコンテンツ・チャンクテーブルＴＢ５からコンテンツＩＤを検索キーとしてチャンクＩＤを取得する。

第２の学習済みモデル生成部１０は、チャンクテーブルＴＢ７からチャンクＩＤを検索キーとしてチャンクを取得し、チャンク・メタテーブルＴＢ６からチャンクＩＤを検索キーとしてチャンク用メタＩＤを取得する。

第２の学習済みモデル生成部１０は、チャンク用メタテーブルＴＢ８からチャンク用メタＩＤを検索キーとしてチャンク用メタ値を取得する。チャンク用メタテーブルＴＢ８は、チャンク用メタＩＤにチャンク用カテゴリＩＤとチャンク用カテゴリ名とチャンク用メタ値とがそれぞれ１対１で結び付けられたテーブルである。

チャンク用カテゴリＩＤはチャンク用メタ値が属するカテゴリの名前であるチャンク用カテゴリ名を一意に示す。なお第２の学習済みモデル生成部１０は、被対応物画像４０（４１〜４３）を参照したうえで、取得したチャンク、コンテンツ及びチャンク用メタ値に問題がないことを確認する。

問題がある値を異常値と判断し教師あり学習の学習には使用しないことで、第２の学習済みモデル生成部１０は、精度の高い学習済みモデルＤＢ２を生成することが可能となり、利用段階において情報処理装置１は、精度の高い処理を行うことができる。

次に図３を用いてユーザ端末１２が取得し、情報処理装置１が情報として処理する元画像２０と元画像２０が分割されて生成された被対応者画像３０及び被対応物画像４０〜４３とについて説明する。図３は、本実施の形態による本実施の形態による元画像２０、被対応者画像３０及び複数の被対応物画像４０〜４３を示す図である。

元画像２０、被対応者画像３０及び複数の被対応物画像４０〜４３は例えばユーザ端末１２に表示される。図３においては同時に表示されている例を示しているが、元画像２０、被対応者画像３０及び複数の被対応物画像４０〜４３は別々にユーザ端末１２に表示されてもよい。

元画像２０には被対応者２１及び被対応物２２〜２５が撮像される。被対応物２２〜２５は、例えば机などのブース内のシーン毎には変化しない情報を基に大きさなどが推定される。また被対応物２２〜２５は、被対応物２４のように、添付写真２６や内部のテキスト２７や署名２８などいった内容の情報が取得されてもよい。

次に図４を用いて被対応者２１及び複数の被対応物２２〜２５の関係について説明する。図４は、本実施の形態による被対応者２１及び複数の被対応物２２〜２５の関係である木構造を示す図である。

図４に示すように、画像分割部５は、被対応者２１を根ノードとし、複数の被対応物２２〜２５を葉ノード又は内部ノードとした木構造として、被対応者２１と、複数の被対応物２２〜２５とを関連付ける。

また画像分割部５は、さらに被対応物２２〜２５の少なくとも１つに含まれる情報である添付写真２６やテキスト２７や署名２８といった情報などを取得して葉ノードとして前記木構造に関連付けてもよい。

次に図５を用いて第１の学習済みモデルＤＢ１及び第２の学習済みモデルＤＢ２について説明する。図５は、本実施の形態による第１の学習済みモデルＤＢ１及び第２の学習済みモデルＤＢ２を示す。

第１の学習済みモデルＤＢ１は、と、シーンＩＤと、を１対の学習データとして複数用いた機械学習により生成された、複数の被対応者画像３０（３５）と、複数のシーンＩＤと、の間における連関性が記憶されている。ここで機械学習とは例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）とする。

被対応者画像３０（３５）と、シーンＩＤと、の間における連関性は、具体的には、図５に丸で示すノードと矢印で示すエッジとエッジに設定される重み係数とによってあらわされる畳み込みニューラルネットワークによって表すことができる。なお図５に示すように第１の学習済みモデルＤＢ１への被対応者画像３０（３５）の入力は、例えば画素ｐ１，ｐ２といった画素ごととする。

第２の学習済みモデルＤＢ２は、モデルＩＤと１対１で紐づけられ、複数とする。それぞれの第２の学習済みモデルＤＢ２は、被対応物画像４０（４１〜４３）と、１又は複数のチャンク用メタＩＤと、を１対の学習データとして複数用いた機械学習により生成された、複数の被対応物画像４０（４１〜４３）と、複数の１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている。ここで機械学習とは例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）とする。

複数の被対応物画像４０（４１〜４３）と、複数の１又は複数のチャンク用メタＩＤと、の間における連関性は、具体的には、図５に丸で示すノードと矢印で示すエッジとエッジに設定される重み係数とによってあらわされる畳み込みニューラルネットワークによって表すことができる。なお図５に示すように第２の学習済みモデルＤＢ２への被対応物画像４０（４１〜４３）の入力は、例えば画素ｐ１，ｐ２といった画素ごととする。

次に図６を用いて補助記憶装置１１に記憶されている情報であるシーンテーブルＴＢ１、モデルテーブルＴＢ２、コンテンツテーブルＴＢ３、シーン・コンテンツテーブルＴＢ４、コンテンツ・チャンクテーブルＴＢ５、チャンク・メタテーブルＴＢ６、チャンクテーブルＴＢ７、チャンク用メタテーブルＴＢ８及びレコメンドテーブルＴＢ９について説明する。図６は、本実施の形態による補助記憶装置１１に記憶されている情報を示す図である。

シーンテーブルＴＢ１などに格納されるシーンＩＤは例えば０ＦＤなどの３桁の１６進数とする。またシーンテーブルＴＢ１などに格納されるシーン名は、例えば成績照会や進路相談などとする。

モデルテーブルＴＢ２などに格納されるモデルＩＤは、例えばＭＤ１のように２文字の英字と１桁の１０進数で表される。コンテンツテーブルＴＢ３などに格納されるコンテンツＩＤは、例えば１Ｂ８２７−０１のように５桁の１６進数と２桁の１０進数とで表される。コンテンツテーブルＴＢ３などに格納されるコンテンツは、例えば１Ｂ８２７−０１．ｔｘｔのようにコンテンツＩＤであるファイル名が拡張子付きで示され、コンテンツの実体へのポインタなどが格納される。

コンテンツ・チャンクテーブルＴＢ５などに格納されるチャンクＩＤは、例えば８２７００−０１のように５桁と２桁の１０進数で表される。チャンク・メタテーブルＴＢ６などに格納されるチャンク用メタＩＤは、例えば２４ＦＤのように４桁の１６進数とする。

チャンクテーブルＴＢ７に格納されるチャンクは、例えば１Ｂ８２７−０１．ｔｘｔ＿０のように対象となるチャンクと対応するコンテンツのファイル名と１桁の１０進数とで示され、対象となるチャンクと対応するコンテンツの実体の一部分へのポインタなどが格納される。

チャンクテーブルＴＢ７に格納されるチャンクサマリは、例えば「ハローワークに、…」といったチャンクの内容を要約した文書とする。チャンクテーブルＴＢ７に格納されるハッシュ値は、例えば５６４５４４ｄ８ｆ０ｂ７４６ｅのように１５桁の１６進数とする。

チャンク用メタテーブルＴＢ８に格納されるチャンク用カテゴリＩＤは、例えば３９４のように３桁の１０進数とする。チャンク用メタテーブルＴＢ８に格納されるチャンク用カテゴリ名は、例えば紙のサイズや紙の色や紙に空いた穴の有無などとする。チャンク用メタテーブルＴＢ８に格納されるチャンク用メタ値は、例えばＡ４やＢ４や白や青、横に穴あり、穴なしなどとする。なおチャンク用カテゴリＩＤ及びチャンク用カテゴリ名の値はＮＵＬＬであってもよい。

レコメンドテーブルＴＢ９に格納されているチャンク用メタＩＤの組み合わせは、（２４ＦＤ，８３Ｄ９）、（２５ＦＤ）などとし、１又は複数のチャンク用メタＩＤを組み合わせたものとする。レコメンドテーブルＴＢ９に格納されている推奨被対応物画像は、例えばＩＭＧ００１．ｊｐｇのようにファイル名が拡張子付きで示された実体へのポインタなどが格納される。

シーン・コンテンツテーブルＴＢ４、コンテンツ・チャンクテーブルＴＢ５及びチャンク・メタテーブルＴＢ６に示すように、作業情報のデータ構造は、チャンク用メタＩＤを最下層である第１の層とし、チャンクＩＤを第２の層とし、コンテンツＩＤを第３の層とし、シーンＩＤを最上層である第４の層とする階層構造を有している。

次に図７を用いてシーン推定機能、チャンク推定機能及びチャンク出力機能について説明する。図７は、本実施の形態によるシーン推定機能、チャンク推定機能及びチャンク出力機能の説明に供するシーケンス図である。

利用段階の情報処理機能は、後述のシーン推定処理Ｓ６０によって実現されるシーン推定機能と、後述のチャンク推定処理Ｓ８０によって実現されるチャンク推定機能と、後述のチャンク出力処理Ｓ１００によって実現されるチャンク出力機能と、から構成される。

まずシーン推定機能について説明する。制御部１５に含まれる画像取得部４は、ユーザ端末１２から元画像２０を受信する（Ｓ１）。次に制御部１５に含まれる画像分割部５は、元画像２０を分割して被対応者画像３０及び被対応物画像４０〜４３とする。

画像分割部５は、シーン推定部６に被対応者画像３０を送信し、チャンク推定部７に被対応物画像４０〜４３を送信する。次に制御部１５に含まれるシーン推定部６は、被対応者画像３０を第１の学習済みモデルＤＢ１に入力する（Ｓ２）。

第１の学習済みモデルＤＢ１は、受信した被対応者画像３０と強く結びついているシーンＩＤを１又は複数選択し、シーン推定部６に対して選択した１又は複数のシーンＩＤ（以下、これを第１のシーンＩＤリストと呼んでもよい）を出力する（Ｓ３）。

シーン推定部６は、第１のシーンＩＤリストを取得すると、ユーザ端末１２にそのまま送信する（Ｓ４）。ユーザ端末１２は、第１のシーンＩＤリストに含まれるそれぞれのシーンＩＤについてのキャッシュの有無をシーン推定部６に対して送信する（Ｓ５）。

ユーザ端末１２は、過去に処理した情報に関しては、シーンテーブルＴＢ１と同等のテーブルを保持している。ユーザ端末１２は、受信した第１のシーンＩＤリストのシーンＩＤを検索キーとしてユーザ端末１２が保持するテーブル内を検索する。検索結果が見つかったシーンＩＤはキャッシュ有りとなり、検索結果がみつからないシーンＩＤについてはキャッシュ無しとなる。

シーン推定部６は、ユーザ端末１２から受信した第１のシーンＩＤリストに含まれるそれぞれのシーンＩＤのうちユーザ端末１２にキャッシュが無い１又は複数のシーンＩＤ（以下、これを第２のシーンＩＤリストと呼んでもよい）を検索キーとしてシーンテーブルＴＢ１を検索する（Ｓ６）。

シーン推定部６は、検索結果として第２のシーンＩＤリストに含まれるそれぞれのシーンＩＤに対応するシーン名（以下、これをシーン名リストと呼んでもよい）をシーンテーブルＴＢ１から取得する（Ｓ７）。

シーン推定部６は、取得したシーン名リストをユーザ端末１２にそのままに送信する（Ｓ８）。利用段階において情報処理装置１は、ステップＳ１〜Ｓ８によって、被対応者画像３０のシーンを、シーン名を推定することで、推定するシーン推定機能を実現する。

次にチャンク推定機能について説明する。ユーザ端末１２は、受信したシーン名リストを使用者に提示する。使用者は、提示されたシーン名リストの中から例えば１つのシーン名を選択する。ユーザ端末１２は、使用者に選択されたシーン名を制御部１５に含まれるチャンク推定部７に送信する（Ｓ９）。

チャンク推定部７は、ユーザ端末１２から受信したシーン名に対応するシーンＩＤを検索キーとして（Ｓ１０）、モデルテーブルＴＢ２を検索しモデルＩＤを取得する（Ｓ１１）。

チャンク推定部７は、被対応物画像４０（４１〜４３）を画像分割部５から受信する（Ｓ１２）。チャンク推定部７は、モデルテーブルＴＢ２から取得したモデルＩＤによって複数の第２の学習済みモデルＤＢ２のうちの１つを指定し、被対応物画像４０（４１〜４３）を指定した第２の学習済みモデルＤＢ２に入力する（Ｓ１３）。

第２の学習済みモデルＤＢ２は、被対応物画像４０（４１〜４３）と強く結びついている１又は複数のチャンク用メタＩＤを１又は複数選択し、チャンク推定部７に対して選択した１又は複数の、１又は複数のチャンク用メタＩＤ（以下、これをチャンク用メタＩＤリストと呼んでもよい）を出力する（Ｓ１４）。

チャンク推定部７は、チャンク用メタＩＤリストに含まれるそれぞれの１又は複数のチャンク用メタＩＤを検索キーとしてチャンク・メタテーブルＴＢ６を検索する（Ｓ１５）。

チャンク推定部７は、検索結果として１又は複数のチャンクＩＤ（以下、これを第１のチャンクＩＤリストと呼んでもよい）をチャンク・メタテーブルＴＢ６から取得する（Ｓ１６）。チャンク推定部７は、取得した第１のチャンクＩＤリストをユーザ端末１２にそのままに送信する（Ｓ１７）。

ユーザ端末１２は、第１のチャンクＩＤリストに含まれるそれぞれのチャンクＩＤについてのキャッシュの有無をチャンク推定部７に対して送信する（Ｓ１８）。ユーザ端末１２は、過去に処理した情報に関しては、チャンクテーブルＴＢ７におけるチャンクＩＤ列とチャンクサマリ列とを備えたテーブルを保持している。

ユーザ端末１２は、受信した第１のチャンクＩＤリストのチャンクＩＤを検索キーとしてユーザ端末１２が保持するテーブル内を検索する。検索結果が見つかったチャンクＩＤはキャッシュ有りとなり、検索結果がみつからないチャンクＩＤについてはキャッシュ無しとなる。

チャンク推定部７は、ユーザ端末１２から受信した第１のチャンクＩＤリストに含まれるそれぞれのチャンクＩＤのうちユーザ端末１２にキャッシュが無い１又は複数のチャンクＩＤ（以下、これを第２のチャンクＩＤリストと呼んでもよい）を検索キーとしてチャンクテーブルＴＢ７を検索する（Ｓ１９）。

チャンク推定部７は、検索結果として第２のチャンクＩＤリストに含まれるそれぞれのチャンクＩＤに対応するチャンクサマリ（以下、これをチャンクサマリリストと呼んでもよい）をチャンクテーブルＴＢ７から取得する（Ｓ２０）。チャンク推定部７は、取得したチャンクサマリリストをユーザ端末１２にそのままに送信する（Ｓ２１）。

利用段階において情報処理装置１は、ステップＳ９〜Ｓ２１によって、被対応物２２（２３〜２５）のチャンクを、チャンクサマリを推定することで、推定するチャンク推定機能を実現する。

次にチャンク出力機能について説明する。ユーザ端末１２は、受信したチャンクサマリリストを使用者に提示する。使用者は、提示されたチャンクサマリリストの中から例えば１つのチャンクサマリを選択する。ユーザ端末１２は、使用者に選択されたチャンクサマリを制御部１５に含まれるチャンク出力部８に送信する（Ｓ２２）。

チャンク出力部８は、ユーザ端末１２から受信したチャンクサマリに対応するチャンクＩＤを検索キーとして（Ｓ２３）、チャンクテーブルＴＢ７を検索しチャンクを取得する（Ｓ２４）。

チャンク出力部８は、取得したチャンクをユーザ端末１２にそのままに送信する（Ｓ２５）。ユーザ端末１２は、受信したチャンクをユーザに提示する。利用段階において情報処理装置１は、ステップＳ２２〜Ｓ２５によって、被対応物２２（２３〜２５）のチャンクを出力するチャンク出力機能を実現する。

次に図８を用いて第１の学習済みモデル生成機能及び第２の学習済みモデル生成機能について説明する。図７は、本実施の形態による第１の学習済みモデル生成機能及び第２の学習済みモデル生成機能の説明に供するシーケンス図である。

学習段階の情報処理機能は、第１の学習済みモデル生成処理によって実現される第１の学習済みモデル生成機能と、第２の学習済みモデル生成処理によって実現される第２の学習済みモデル生成機能と、から構成される。

まず第１の学習済みモデル生成機能について説明する。学習済みモデル生成部１６に含まれる第１の学習済みモデル生成部９は、処理対象とするシーン名と、被対応者画像３０と、１又は複数の被対応物画像４０〜４３と、の組を決め、シーンテーブルＴＢ１にシーン名を検索キーとして予め生成されたシーンテーブルＴＢ１を検索する（Ｓ３１）。

第１の学習済みモデル生成部９は、検索結果としてシーンＩＤをシーンテーブルＴＢ１から取得し（Ｓ３２）、第１の学習モデルＤＢ１’に、被対応者画像３０と、シーンＩＤと、を１対として学習させる（Ｓ３３）。

また第１の学習済みモデル生成部９は、モデルテーブルＴＢ２に取得したシーンＩＤを送信しモデルＩＤ取得要求を行う（Ｓ３４）。モデルテーブルＴＢ２は、受信したシーンＩＤに対応するモデルＩＤを生成して、シーンＩＤとモデルＩＤとの組み合わせを記憶する。

次に第１の学習済みモデル生成部９は、モデルＩＤをモデルテーブルＴＢ２から取得する（Ｓ３５）。学習段階において情報処理装置１は、ステップＳ３１〜Ｓ３５によって、第１の学習済みモデルＤＢ１を生成する第１の学習済みモデル生成機能を実現する。

次に第２の学習済みモデル生成機能について説明する。学習済みモデル生成部１６に含まれる第２の学習済みモデル生成部１０は、ステップＳ３２において第１の学習済みモデル生成部９が受信したシーンＩＤを検索キーとして、予め生成されたシーン・コンテンツテーブルＴＢ４を検索する（Ｓ３６）。

第２の学習済みモデル生成部１０は、検索結果としてコンテンツＩＤをシーン・コンテンツテーブルＴＢ４から取得し（Ｓ３７）、取得したコンテンツＩＤを検索キーとして予め生成されたコンテンツテーブルＴＢ３を検索する（Ｓ３８）。

第２の学習済みモデル生成部１０は、検索結果としてコンテンツをコンテンツテーブルＴＢ３から取得し（Ｓ３９）、ステップＳ３７で取得したコンテンツＩＤを検索キーとして予め生成されたコンテンツ・チャンクテーブルＴＢ５を検索する（Ｓ４０）。

第２の学習済みモデル生成部１０は、検索結果としてチャンクＩＤをコンテンツ・チャンクテーブルＴＢ５から取得し（Ｓ４１）、取得したチャンクＩＤを検索キーとして予め生成されたチャンクテーブルＴＢ７を検索する（Ｓ４２）。

第２の学習済みモデル生成部１０は、検索結果としてチャンクをチャンクテーブルＴＢ７から取得し（Ｓ４３）、ステップＳ４１で取得したチャンクＩＤを検索キーとして予め生成されたチャンク・メタテーブルＴＢ６を検索する（Ｓ４４）。

第２の学習済みモデル生成部１０は、検索結果として１又は複数のチャンク用メタＩＤをチャンク・メタテーブルＴＢ６から取得し（Ｓ４５）、取得したそれぞれのチャンク用メタＩＤを検索キーとして予め生成されたチャンク用メタテーブルＴＢ８を検索する（Ｓ４６）。

第２の学習済みモデル生成部１０は、検索結果としてそれぞれのチャンク用メタＩＤに対応するチャンク用メタ値をチャンク用メタテーブルＴＢ８からそれぞれ取得する（Ｓ４７）。

第２の学習済みモデル生成部１０は、ステップＳ３９で取得したコンテンツ、ステップＳ４３で取得したチャンク及びステップＳ４７で取得したそれぞれのチャンク用メタ値に問題がないかを被対応者画像３０及び被対応物画像４０〜４３を参照して確認を行う。

例えば第２の学習済みモデル生成部１０は、被対応者２１の表情や被対応物２２〜２５に記載された書類名などを参照して確認を行う。第２の学習済みモデル生成部１０は、例えば、被対応者２１の表情を被対応者画像３０から判定し、被対応物２２〜２５に記載された書類名を被対応物画像４０〜４３から判定する。

参照した結果、コンテンツやチャンクやチャンク用メタ値が被対応物画像４０〜４３に撮像されている書類とは明らかに違う書類についての情報であることが明確であるなどの問題があった場合は対象となる組についての処理を終了する。

次に第２の学習済みモデル生成部１０は、第２の学習モデルＤＢ２’にモデルＩＤと、被対応物画像４０（４１〜４３）と、１又は複数のチャンク用メタＩＤと、を１対として学習させる（Ｓ４８）。学習段階において情報処理装置１は、ステップＳ３６〜Ｓ４８によって、第２の学習済みモデルＤＢ２を生成する第２の学習済みモデル生成機能を実現する。

次に図９を用いて利用段階における情報処理について説明する。図９は、本実施の形態による利用段階における情報処理の処理手順を示すフローチャートである。利用段階における情報処理は、シーン推定処理Ｓ６０と、チャンク推定処理Ｓ８０と、チャンク出力処理Ｓ１００と、から構成される。

まずシーン推定処理Ｓ６０について説明する。シーン推定処理Ｓ６０は、ステップＳ６１〜ステップＳ６７から構成される。シーン推定部６は、画像分割部５から被対応者画像３０（３５）を受信すると（Ｓ６１）、被対応者画像３０（３５）を第１の学習済みモデルＤＢ１に入力する（Ｓ６２）。

シーン推定部６は、第１の学習済みモデルＤＢ１から出力として第１のシーンＩＤリストを取得し（Ｓ６３）、ユーザ端末１２に第１のシーンＩＤリストをそのまま送信してキャッシュの有無をユーザ端末１２に問い合わせる（Ｓ６４）。

ユーザ端末１２からの返答結果がすべてキャッシュ有りの場合（Ｓ６５：ＮＯ）、シーン推定処理Ｓ６０は終了しチャンク推定処理Ｓ８０が開始される。ユーザ端末１２からの返答結果が１つでもキャッシュ無しの場合（Ｓ６５：ＹＥＳ）、シーン推定部６は、シーンテーブルＴＢ１からシーン名リストを取得し（Ｓ６６）、そのままユーザ端末１２に送信し（Ｓ６７）、シーン推定処理Ｓ６０は終了する。

次にチャンク推定処理Ｓ８０について説明する。チャンク推定処理Ｓ８０は、ステップＳ８１〜ステップＳ８８から構成される。チャンク推定部７は、使用者に選択されたシーン名をユーザ端末１２から受信する（Ｓ８１）。

ユーザ端末１２からシーン名を受信すると、チャンク推定部７は、モデルテーブルＴＢ２からモデルＩＤを取得する（Ｓ８２）。次にチャンク推定部７は、モデルＩＤによって複数の第２の学習済みモデルＤＢ２のうちの１つを指定し、画像分割部５から受信した被対応物画像４０（４１〜４３）を指定した第２の学習済みモデルＤＢ２に入力する（Ｓ８３）。

チャンク推定部７は、第２の学習済みモデルＤＢ２から出力としてチャンク用メタＩＤリストを取得し（Ｓ８４）、チャンク・メタテーブルＴＢ６から第１のチャンクＩＤリストを取得する（Ｓ８５）。次にチャンク推定部７は、ユーザ端末１２に第１のチャンクＩＤリストをそのまま送信してキャッシュの有無をユーザ端末１２に問い合わせる（Ｓ８６）。

ユーザ端末１２からの返答結果がすべてキャッシュ有りの場合（Ｓ８６：ＮＯ）、チャンク推定処理Ｓ８０は終了しチャンク出力処理Ｓ１００が開始される。ユーザ端末１２からの返答結果が１つでもキャッシュ無しの場合（Ｓ８６：ＹＥＳ）、チャンク推定部７は、チャンクテーブルＴＢ７からチャンクサマリリストを取得し（Ｓ８７）、そのままユーザ端末１２に送信し（Ｓ８８）、チャンク推定処理Ｓ８０は終了する。

次にチャンク出力処理Ｓ１００について説明する。チャンク出力処理Ｓ１００は、ステップＳ１０１〜ステップＳ１０３から構成される。チャンク出力部８は、使用者に選択されたチャンクサマリをユーザ端末１２から受信する（Ｓ１０１）。

ユーザ端末１２からチャンクサマリを受信すると、チャンク出力部８は、チャンクテーブルＴＢ７からチャンクを取得し（Ｓ１０２）、そのままユーザ端末１２に送信し（Ｓ１０３）、チャンク出力処理Ｓ１００は終了する。

次に図１０を用いて学習段階における情報処理について説明する。図１０は、本実施の形態による学習段階における情報処理の処理手順を示すフローチャートである。学習段階における情報処理は、第１の学習済みモデル生成処理Ｓ１２０と、第２の学習済みモデル生成処理Ｓ１４０と、から構成される。

まず第１の学習済みモデル生成処理Ｓ１２０について説明する。第１の学習済みモデル生成処理Ｓ１２０は、ステップＳ１２１〜ステップＳ１２４から構成される。第１の学習済みモデル生成部９は、シーン名と、被対応者画像３０（３５）と、１又は複数の被対応物画像４０（４１〜４３）と、の組を決めると、シーン名を検索キーとしてシーンテーブルＴＢ１を検索する（Ｓ１２１）。

第１の学習済みモデル生成部９は、検索結果としてシーンテーブルＴＢ１からシーンＩＤを取得し（Ｓ１２２）、第１の学習モデルＤＢ１’にシーンＩＤと、被対応者画像３０（３５）と、を１対として学習させる（Ｓ１２３）。

次に第１の学習済みモデル生成部９は、モデルテーブルＴＢ２にステップＳ１２２で取得したシーンＩＤを送信しモデルＩＤ取得要求を行い、モデルＩＤを取得する（Ｓ１２４）。

次に第２の学習済みモデル生成処理Ｓ１４０について説明する。第２の学習済みモデル生成処理Ｓ１４０は、ステップＳ１４１〜ステップＳ１５０から構成される。第２の学習済みモデル生成部１０は、ステップＳ１２２で取得されたシーンＩＤを検索キーとしてシーン・コンテンツテーブルＴＢ４を検索しコンテンツＩＤを取得する（Ｓ１４１）。

第２の学習済みモデル生成部１０は、取得したコンテンツＩＤを検索キーとしてコンテンツテーブルＴＢ３を検索しコンテンツを取得する（Ｓ１４２）。また第２の学習済みモデル生成部１０は、取得したコンテンツＩＤを検索キーとしてコンテンツ・チャンクテーブルＴＢ５を検索しチャンクＩＤを取得する（Ｓ１４３）。

また第２の学習済みモデル生成部１０は、取得したチャンクＩＤを検索キーとしてチャンクテーブルＴＢ７を検索しチャンクを取得する（Ｓ１４４）。また第２の学習済みモデル生成部１０は、取得したチャンクＩＤを検索キーとしてチャンク・メタテーブルＴＢ６を検索し１又は複数のチャンク用メタＩＤを取得する（Ｓ１４５）。

また第２の学習済みモデル生成部１０は、取得した１又は複数のチャンク用メタＩＤのそれぞれを検索キーとしてチャンク用メタテーブルＴＢ８を検索し、それぞれのチャンク用メタＩＤに対応するチャンク用メタ値をそれぞれ取得する（Ｓ１４６）。

第２の学習済みモデル生成部１０は、ステップＳ１４２で取得したコンテンツ、ステップＳ１４４で取得したチャンク及びステップＳ１４６で取得したそれぞれのチャンク用メタ値に問題がないかを被対応者画像３０（３５）及び被対応物画像４０（４１〜４３）を参照して確認を行う（Ｓ１４７）。

確認の結果問題があった場合（Ｓ１４８：ＮＯ）、処理中の組に関しての学習段階の情報処理は終了する。確認の結果問題がない場合（Ｓ１４８：ＹＥＳ）、第２の学習済みモデル生成部１０は、第２の学習モデルＤＢ２’にモデルＩＤと、１又は複数のチャンク用メタＩＤと、被対応物画像４０（４１〜４３）と、を１対として学習させ（Ｓ１４９）、処理中の組に関しての学習段階の情報処理は終了する。

以上のように本実施の形態による情報処理装置１によって、作業情報を分割又は示唆したチャンクは、ユーザ端末１２を介して提示される。このため、チャンクを適切に設定することで必要な分量の情報を提示することが可能となる。またチャンクを、文書全体を示唆するような情報とすれば、大規模な情報の再構築は不要となる。

モデルテーブルＴＢ２を使用することで、第１の学習済みモデルＤＢ１と第２の学習済みモデルＤＢ２との関係が変わった場合にも、モデルテーブルＴＢ２を変更するだけ対応が可能となり、メンテナンス性に優れた装置を提供できる。

なおモデルテーブルＴＢ２を使用しない場合、第１の学習済みモデルＤＢ１と第２の学習済みモデルＤＢ２との関係が変わった場合には学習済みモデルＤＢ２を再度生成する必要がある。

本実施の形態においては、画像取得部４、画像分割部５、シーン推定部６、チャンク推定部７、チャンク出力部８、第１の学習済みモデル生成部９及び第２の学習済みモデル生成部１０及びレコメンド画像出力部１３は、プログラムとしたがこれに限らず論理回路でもよい。

また画像取得部４、画像分割部５、シーン推定部６、チャンク推定部７、チャンク出力部８、第１の学習済みモデル生成部９及び第２の学習済みモデル生成部１０、レコメンド画像出力部１３、第１の学習済みモデルＤＢ１、第１の学習モデルＤＢ１’、第２の学習済みモデルＤＢ２、第２の学習モデルＤＢ２’、シーンテーブルＴＢ１、モデルテーブルＴＢ２、コンテンツテーブルＴＢ３、シーン・コンテンツテーブルＴＢ４、コンテンツ・チャンクテーブルＴＢ５、チャンク・メタテーブルＴＢ６、チャンクテーブルＴＢ７、チャンク用メタテーブルＴＢ８及びレコメンドテーブルＴＢ９は１つの装置に実装されておらず、ネットワークで接続された複数の装置に分散して実装されていてもよい。

また上述の図８及び図１０に示した学習段階では、第１の学習済みモデル及び第２の学習済みモデルを関連付けて生成する場合について説明したが、本発明はこれに限らず、第１の学習済みモデルＤＢ１と第２の学習済みモデルＤＢ２とは、別々に生成してもよい。

第１の学習済みモデルＤＢ１と第２の学習済みモデルＤＢ２とを別々に生成する場合、例えばシーンは既存のものであってコンテンツのみを追加する場合などに、シーンに関する学習を行わずに済む。

本実施の形態においては、第２の学習済みモデルＤＢ２を複数使用する場合について述べたが、これに限らず使用する第２の学習済みモデルＤＢ２は１つでもよい。また本実施の形態においては、本来は必要であると推測される被対応物の画像を表示する場合について述べたが、これに限らず本来は必要であると推測される被対応物の一部を表示するようにしてもよい。また本実施の形態においては、本来は不要であると推測される被対応物や被対応物の一部を示唆するようにしてもよい。

本実施の形態の情報処理装置１は、利用段階において、画像分割部によって関連付けられた木構造と、第１の学習済みモデルＤＢ１及び第２の学習済みモデルＤＢ２から出力される値から構成される階層構造と、を比較することで、過不足個所を判定してもよい。

１……情報処理装置、２……中央演算装置、３……主記憶装置、４……画像取得部、５……画像分割部、６……シーン推定部、７……チャンク推定部、８……チャンク出力部、９……第１の学習済みモデル生成部、１０……第２の学習済みモデル生成部、１１……補助記憶装置、１２……ユーザ端末、１３……レコメンド画像出力部。

Claims (5)

1. 対応者の行う作業に関する情報である作業情報を出力する情報処理装置であって、
   前記対応者が対応する被対応者と前記対応者が対応する複数の被対応物とを含む画像である元画像を取得する画像取得部と、
   前記元画像を分割し前記被対応者が撮像された被対応者画像とそれぞれの前記被対応物が撮像された複数の被対応物画像とに分割する画像分割部と、
   前記被対応者画像と、対応者が行う状況であるシーンを一意に示すシーンＩＤと、の間における連関性が記憶されている第１の学習済みモデルを使用して、前記シーンを推定するシーン推定部と、
   前記複数の前記被対応物画像と、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定するチャンク推定部と、
   前記チャンクを出力する出力部と、を備え、
   前記チャンク推定部は、前記複数の第２の学習済みモデルのうちの１つを、シーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定し、前記チャンク用メタＩＤは前記被対応物の性質に関する情報であるチャンク用メタ値を一意に示す、情報処理装置。
2. さらにレコメンド画像出力部を備えてもよく、前記レコメンド画像出力部は、モデルＩＤと１又は複数のチャンク用メタＩＤの組み合わせとを検索キーとして、推奨被対応物画像を検索し、前記推奨被対応物画像は、前記元画像には撮像されていないが本来は必要であると推測される前記被対応物の画像である、請求項１に記載の情報処理装置。
3. 前記画像分割部は、前記被対応者を根ノードとし、前記複数の前記被対応物を葉ノード又は内部ノードとした木構造として、前記被対応者と、前記複数の前記被対応物とを関連付ける、
   請求項１に記載の情報処理装置。
4. 前記画像分割部は、さらに前記被対応物の少なくとも１つに含まれる情報を取得して葉ノードとして前記木構造に関連付ける、請求項３に記載の情報処理装置。
5. 対応者の行う作業に関する情報である作業情報を出力する情報処理装置が行う情報処理方法であって、
   前記対応者が対応する被対応者と前記対応者が対応する複数の被対応物とを含む画像である元画像を取得する第１のステップと、
   前記元画像を分割し前記被対応者が撮像された被対応者画像とそれぞれの前記被対応物が撮像された複数の被対応物画像とに分割する第２のステップと、
   前記被対応者画像と、対応者が行う状況であるシーンを一意に示すシーンＩＤと、の間における連関性が記憶されている第１の学習済みモデルを使用して、前記シーンを推定する第３のステップと、
   前記複数の前記被対応物画像と、前記作業情報を分割又は示唆した情報であるチャンクを一意に示すチャンクＩＤと、１対１に対応付けられた１又は複数のチャンク用メタＩＤと、の間における連関性が記憶されている複数の第２の学習済みモデルのうちの１つを使用して、前記チャンクを推定する第４のステップと、
   前記チャンクを出力する第５のステップと、を備え、
   前記複数の第２の学習済みモデルのうちの１つはシーンＩＤと１対１に対応付けられたモデルＩＤを用いて選定され、前記チャンク用メタＩＤは前記被対応物の性質に関する情報であるチャンク用メタ値を一意に示す、情報処理方法。

Images