JP7292988B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本開示の技術は、画像データから文字情報を抽出し、画像データに対してメタデータを付与する技術に関する。

従来、複合機において、画像読取装置で原稿をスキャンして得られた画像データ（以降、スキャン画像データという）から文字列を抽出する技術が存在する。スキャン画像データに対して、ＯＣＲ（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ）処理を行うことで、スキャン画像データ内の文字列をデジタルデータとして抽出することができる。

また、そのようにして抽出した文字列データをブロックごとに区切り、任意のキーに紐付けるといった技術も存在する。この技術により、任意のキーに対し、スキャン画像の任意の位置の値をバリューとして紐付けたキー・バリュー形式のメタデータを、サーバに保存することが可能となる。ここで、キー・バリュー形式のデータとは、キーとバリューとをペアで格納されたデータ構造のデータであって、キーには識別子となるための値が設定され、対応するバリューには任意の値が設定される。例えば、「書類種別」というキーに対して、「注文書」というバリューを設定し、それらを対応付けて保存することがでる。これによりキー・バリュー形式のデータからなるデータベースでは、キーを指定することで対応するバリューを呼び出すことができる。

また、こういった任意のキー・バリュー形式のデータを、スキャン画像データにメタデータとして紐付けてサーバに登録するストレージサービスも存在する。ユーザはこうしたストレージサービスを利用することで、任意のキーでの文字列探索や、後続のシステムへのデータの流し込みが可能となる。

こうしたスキャン画像データにキー・バリュー形式のメタデータを紐付けてストレージサービスに登録する際に、メタデータの候補をユーザのログイン情報を用いてスキャン画像データから取得する技術が存在する（特許文献１を参照）。特許文献１に記載の構成では、ユーザがスキャン画像データをストレージサービスに新たに登録する際、ユーザのログイン情報に応じて、過去に登録したメタデータを新たに登録するスキャン画像データのメタデータの候補としてユーザに表示することができる。

キー・バリュー形式のメタデータを登録可能なストレージサービスのなかには、キーに対応するバリューのデータ型を設定するものも存在する。データ型にはテキスト型、数値型、日付型、選択型などがあり、それぞれ入力できる値に制約がある。特に選択型のバリューでは、予め定義された値の中から設定する値を選択する必要がある。

特開２００９－１８７４８５号公報

しかしながら、特許文献１に記載の構成では、ストレージサービスにより設定されたキー・バリュー形式のメタデータに選択型のバリューが含まれていても、選択型のバリューの候補は過去に登録されていないと取得することができない。そのため、選択型のバリューの候補が適切に表示されない場合があった。

そのため本開示の技術は、スキャン画像データに紐付けて登録するキー・バリュー形式のメタデータに含まれる選択型のバリューの候補を適切に表示することを目的とする。

本開示の技術は、原稿をスキャンして得られたスキャン画像データにキー・バリュー形式のメタデータを付与するための情報処理装置であって、前記スキャン画像データから抽出された文字列を取得する第１の取得手段と、前記メタデータのテンプレートを取得する第２の取得手段と、前記メタデータを入力するためのＵＩ画面を表示する表示制御手段と、前記第２の取得手段が取得した前記メタデータのテンプレートに含まれるキーに対応するバリューを、前記ＵＩ画面を介したユーザの操作に基づき前記スキャン画像データに紐付けて設定する設定手段とを備え、前記メタデータのテンプレートでは、キーと、各キーに対応するバリューに定義されたデータ型とが指定され、前記バリューのデータ型が選択型である場合は、前記バリューの候補を定義するバリューリストがさらに指定され、前記表示制御手段は、前記バリューリストに存在する前記バリューの候補のうち、前記第１の取得手段が取得した抽出された前記文字列と少なくとも一部が一致する前記バリューの候補を優先的に表示することを特徴とする情報処理装置である。

本開示の技術は、スキャン画像データに紐付けて登録するキー・バリュー形式のメタデータに含まれる選択型のバリューの候補を適切に表示することができる。

画像処理形成システムの構成例を表す図である。 複合機の構成例を表す図である。 サーバの構成例を表す図である。 操作部の構成例を表す図である。 メタデータ設定画面生成のフローチャートの一例である。 メタデータ設定画面の構成図の一例である。 メタデータ設定画面におけるメタデータ設定時の画面フローの一例である。 メタデータ設定画面におけるドロップダウン選択フォーム押下時の画面表示の一例である。 メタデータ設定画面における全項目設定後画面の一例である。 実施形態１における表示メタデータリスト生成およびメタデータ表示フローの一例である。 実施形態１におけるドロップダウン選択フォーム押下時の画面フローの一例である。 実施形態２における表示メタデータリスト生成およびメタデータ表示フローの一例である。 実施形態２における表示メタデータリストにバリューが存在する場合のドロップダウン選択フォーム押下時画面フローの一例である。 実施形態２における表示メタデータリストにバリューが存在しない場合のメタデータ設定画面の一例である。 メタデータテンプレートおよびメタデータをサーバに送信するフローの一例である。

以下、本開示の技術を実施するための形態について図面を用いて説明する。なお、以下の実施の形態はあくまで例示であり、本開示の技術の範囲を限定する趣旨のものではない。

［実施形態１］
図１は、画像処理システムの構成の一例を表す図である。画像処理システムは、複合機（ＭＦＰ：Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１０１、１０２と、情報処理端末１０３、１０４と、サーバ１０５とを有する。複合機１０１、１０２と、情報処理端末１０３、１０４と、サーバ１０５は、ネットワーク１０６により相互に接続されて、データ通信が可能である。

図１では、複合機１０１、１０２が２つである場合を例に挙げて示すが、複合機の数は任意（１つまたは２以上）である。また、それぞれの複合機１０１、１０２は、同じもので実現することができる。従って、以下では、複合機１０１、１０２を代表して複合機１０１について説明し、複合機１０２についての詳細な説明を省略する。尚、ネットワーク１０６は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｉｎｔｅｒｎｅｔ等、画像処理システム内の装置が相互に通信できるものであればよい。

複合機１０１は、情報処理端末１０３、１０４から画像データの印刷依頼（印刷データ）を受信して印刷することができる。また、複合機１０１は、複合機１０１に備わる画像読取装置（以降、スキャナという）で画像データを読み取ることや、スキャナで読み取られた画像データを印刷することが可能である。さらに、複合機１０１は、情報処理端末１０３、１０４から受信した印刷データを保存したり、複合機１０１のスキャナで読み取られたスキャン画像データを情報処理端末１０３、１０４に送信したりすることが可能である。

更に複合機１０１は、サーバ１０５に画像データを保存したり、サーバ１０５を用いて画像処理を行ったり、サーバ１０５に格納されている文書データを印刷したりすることが可能である。図１ではサーバが１つである場合を例に挙げて示すが、サーバの数は任意（１つまたは２以上）である。またそれぞれのサーバは別の役割を持っていても良い。例えば、画像データを保存するストレージサーバと、画像処理を行う画像処理サーバが別の構成でも良い。また、本構成において、サーバ１０５はクラウドサーバも含む。

図２は、複合機１０１の構成の一例を表す図である。複合機１０１は、コントローラ２０１、プリンタ２０２、スキャナ２０３、および操作部２０４を有する。コントローラ２０１は、ＣＰＵ２１１、ＲＡＭ２１２、記憶部２１３、ネットワークＩ／Ｆ２１４、プリンタＩ／Ｆ２１５、スキャナＩ／Ｆ２１６、操作部Ｉ／Ｆ２１７、および拡張Ｉ／Ｆ２１８を有する。ＣＰＵ２１１は、ＲＡＭ２１２、記憶部２１３、ネットワークＩ／Ｆ２１４、プリンタＩ／Ｆ２１５、スキャナＩ／Ｆ２１６、操作部Ｉ／Ｆ２１７、および拡張Ｉ／Ｆ２１８とデータを授受することが可能である。また、ＣＰＵ２１１は、記憶部２１３から読み出した命令をＲＡＭ２１２に展開し、ＲＡＭ２１２に展開した命令を実行する。

記憶部２１３には、ＣＰＵ２１１で実行可能な命令、複合機１０１で使用する設定値、およびユーザから依頼された処理に関するデータ等を記憶しておくことが可能であり、ＨＤＤやＳＳＤ、光ディスクドライブなどを用いることができる。ＲＡＭ２１２は、ＣＰＵ２１１が記憶部２１３から読み出した命令を一時的に格納するための領域である。またＲＡＭ２１２は、命令の実行に必要な各種のデータを記憶しておくことも可能である。例えば画像処理では、入稿されたデータをＲＡＭ２１２に展開することで処理を行うことが可能である。

ネットワークＩ／Ｆ２１４は、画像処理システム内の装置とネットワーク通信を行うためのインターフェイスである。ネットワークＩ／Ｆ２１４は、外部装置からデータを受信し、受信したデータをＣＰＵ２１１に伝達することや、ＲＡＭ２１２上のデータをネットワーク１０６上の外部装置に送信することが可能である。

プリンタＩ／Ｆ２１５は、ＣＰＵ２１１から送信された印刷データをプリンタ２０２に送信することや、プリンタ２０２から受信したプリンタの状態に関するデータをＣＰＵ２１１に伝達することが可能である。

スキャナＩ／Ｆ２１６は、ＣＰＵ２１１から送信された画像読み取り指示をスキャナ２０３に送信し、スキャナ２０３から受信したスキャン画像データをＣＰＵ２１１に伝達することができる。またスキャナＩ／Ｆ２１６は、スキャナ２０３から受信したスキャナの状態に関するデータをＣＰＵ２１１に伝達することが可能である。

操作部Ｉ／Ｆ２１７は、操作部２０４から入力されたユーザからの指示をＣＰＵ２１１に伝達することや、ユーザが操作するための画面情報をＣＰＵ２１１から操作部２０４に伝達することが可能である。

拡張Ｉ／Ｆ２１８は、複合機１０１に外部装置を接続することを可能とするインターフェイスである。拡張Ｉ／Ｆ２１８は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）形式のインターフェイスを具備する。複合機１０１は、ＵＳＢメモリ等の外部記憶装置が拡張Ｉ／Ｆ２１８に接続されることにより、当該外部記憶装置に記憶されているデータの読み取りおよび当該外部記憶装置に対するデータの書き込みを行うことが可能である。

プリンタ２０２は、プリンタＩ／Ｆ２１５から受信した印刷データに基づき用紙に印刷することや、プリンタ２０２の状態に関するデータをプリンタＩ／Ｆ２１５に伝達することが可能である。

スキャナ２０３は、スキャナＩ／Ｆ２１６から受信した画像読み取り指示に従って、原稿台に置かれた用紙に表示されている画像を読み取ってデジタル化したスキャン画像データをスキャナＩ／Ｆ２１６に伝達することが可能である。また、スキャナ２０３は、スキャナ２０３の状態に関するデータをスキャナＩ／Ｆ２１６に伝達することが可能である。

操作部２０４は、複合機１０１に対して各種の指示を行うための操作をユーザが行うためのインターフェイスを提供する。例えば、操作部２０４は、タッチパネルを有する液晶画面を具備し、その液晶画面上に操作画面を表示すると共に、ユーザからの操作を受け付ける。なお、操作部２０４の詳細は後述する。

図３は、サーバ１０５の構成図である。サーバ１０５は、ＣＰＵ３０１、ＲＡＭ３０２、記憶部３０３、ネットワークＩ／Ｆ３０４から構成される。ＣＰＵ３０１は、装置全体を制御するプロセッサであり、ＲＡＭ３０２、記憶部３０３、及びネットワークＩ／Ｆ３０４とのデータの授受を制御可能である。また、ＣＰＵ３０１は記憶部３０３から読みだした制御プログラム（命令）をＲＡＭ３０２に展開し、ＲＡＭ３０２に記憶されている命令を実行することができる。

記憶部３０３には、複合機１０１からネットワークＩ／Ｆ３０４を介して受信したスキャン画像データを蓄積することが可能である。また、サーバ１０５は、受信したスキャン画像データに対して、メタデータテンプレートおよびメタデータテンプレートに紐づくメタデータを付与して、記憶部３０３に保存することが可能である。表１および表２は、スキャン画像データに対して設定可能なメタデータの一例である。

表１において、メタデータテンプレートと、そのメタデータの構造の一例を示す。表１の例ではメタデータテンプレートとして「会計」と「法務」が設定可能である。メタデータテンプレートとは、対象のスキャン画像データ自体の分類を表現しており、そのメタデータテンプレートに応じて異なるメタデータを設定することが可能である。例えば表１の例では、メタデータテンプレートとして「会計」が設定されている場合、「会計」に分類されるスキャン画像データに対し、メタデータとして「注文番号」、「納期」、「合計金額」、「書類種別」を設定することが可能である。一方でメタデータテンプレートとして「法務」が設定されている場合、「法務」に分類されるスキャン画像データに対し、メタデータとして「事件番号」、「依頼主」、「日付」を設定することが可能である。ここではメタデータテンプレートとして「会計」を設定された場合を一例として説明する。

メタデータにはキーとバリューがそれぞれ存在し、キーにはそのメタデータテンプレートに付与する属性を設定することが可能である。またバリューにはそのキーに対応する値を設定することが可能である。なお、バリューにはデータ型が存在し、それぞれテキスト型、日付型、数値型、選択型が存在する。日付型は、予め定義された日付の表現でしか入力することはできない。例えば、ｙｙｙｙ／ｍｍ／ｄｄ（２０２０／１０／１０）といった文字列が日付型として定義されている場合、上述の文字列ルールでしか入力することができない。選択型は、予めバリュー候補が定義されており、そこに定義されたバリュー値しか入力することができない。例えば、「書類種別」というキーに対して、表２に示すように「見積書」、「納品書」、「注文書」の３つのバリューが定義されている場合、ユーザは上述の３つのバリューから１つのみ選択することが可能であり、それ以外の値を設定することはできない。

表１の例では、「会計」のテンプレートにおいて「注文番号」というキーが存在し、その対応するバリューにはテキスト型の値を設定可能である。表１の例では、バリュー例として「ＡＢＣ－１２３」という値を記載している。

また、同様に「会計」のテンプレートにおいて「納期」というキーが存在し、対応するバリューには日付型の値を設定可能である。日付型とは、例えば２０１５年１０月２５日を表現する際に、「２０１５－１０－２５」や「２０１５／１０／２５」など正規化された表現でのみ設定可能である。この場合、サーバ１０５は「ｙｙｙｙ／ｍｍ／ｄｄ」の型を採用しているものとするため、バリュー例には「２０１５／１０／２５」という値が記載されている。なお日付型は、日付を正規化している表現であれば上記例以外のものでもかまわない。

また同様に「会計」のメタデータテンプレートにおいては「合計金額」というキーが存在し、対応するバリューには数値型の値を設定可能である。数値型とは、数値のみを入力することが可能である。表１の例では、バリュー例として「合計金額」に対して「４７８７５０００」を記載している。数値型のバリューには、数値以外の文字列などを設定することはできない。

また同様に「会計」のメタデータテンプレートにおいては「書類種別」というキーが存在し、対応するバリューには選択型の値を設定可能である。表１の例においては、バリュー例として表２の値が選択可能であるとしている。ここでは、「書類種別」のキーに対して、「見積書」、「納品書」、「注文書」の３つの値のいずれか１つをバリューとして設定可能である。バリューのデータ型として選択型を設定する際は、ユーザや管理者などがサーバ１０５に対して、選択型のバリューに対応するキーごとにバリュー候補を予め設定しておく必要がある。

同様に「法律」のメタデータテンプレートにおいては、それぞれ「事件番号」、「依頼主」、「日付」をそれぞれ「テキスト型」、「テキスト型」、「日付型」で設定可能である。表１では、バリュー例として「ＣＤＦ１１１１」、「川崎太郎」、「２０１７／１２／２２」を記載している。

このように、サーバ１０５の記憶部３０３に格納したスキャン画像データに対し、メタデータテンプレートの設定およびメタデータの付与を行うことで、ユーザはサーバ１０５に対しメタデータを指定して検索することが可能となる。例えば、表１の例においては「会計」のメタデータテンプレートで検索を行うことや、「会計」のメタデータテンプレートで、かつ「書類種別」が「注文書」の書類で検索を行うことなどが可能となる。このように、所望のスキャン画像データを検索する際に、キーおよびバリューの少なくとも一方で絞り込んだ上で検索できるため、ファイル名などで全データに対して検索を行う場合に比べて、より効率的な検索が可能となる。

また、サーバ１０５の記憶部３０３に格納したスキャン画像データに対し、メタデータを付与することで、後続のシステムとの連携も容易に行うことが可能となる。例えば、従来、ある会計システムにスキャン画像データと会計情報を入力する際、原稿のスキャン画像データをアップロードした後に、人手で原稿に記載された会計情報を転記する必要があった。ここで本サーバ１０５にスキャン画像データをアップロードする際に必要となる会計情報をスキャン画像データから読み取ってメタデータとしてスキャン画像データに付与することで、会計情報をそのまま会計システムに登録することが可能となる。これにより、人手による転記作業を削減することが可能となる。

サーバ１０５は画像処理を行うことも可能である。ここでの画像処理とは、上述したＯＣＲ処理やブロックセレクション処理などが上げられるが、これ以外でもよい。サーバ１０５が画像処理機能を持つことで、リソースが少ない複合機１０１などにおいても、スキャン画像データをサーバ１０５に送信し、サーバ１０５上で画像処理を行うことにより、高度な機能提供を実現することが可能となる。

図４は、複合機１０１の操作部２０４の一例を表した図である。操作部２０４はタッチパネル画面４０１と設定キー４０２、開始キー４０３、キャンセルキー４０４で構成されている。ユーザはタッチパネル画面４０１および設定キー４０２を用いて、各ジョブの設定を行い、開始キー４０３の押下によりジョブを開始する。なお一度開始したジョブはキャンセルキー４０４を押下することでジョブ中に中止することが可能である。ここで示すジョブとは、例えばコピージョブや、スキャン画像データにメタデータを付与した上でネットワークＩ／Ｆ２１４を介してサーバ１０５に送信することなどが挙げられる。

続いて図１５を用いて、本実施形態で示すスキャン画像データに対してメタデータテンプレートおよびメタデータを設定してサーバに送信する一連のフローについて説明する。

図１５は、複合機１０１がスキャン画像データに対してメタデータテンプレートおよびメタデータを設定し、それらをサーバに送信する一連のフローを示した図である。なお、本フローチャートで示す処理に係るプログラムは複合機１０１の記憶部２１３に格納されており、ＲＡＭ２１２によって呼び出され、ＣＰＵ２１１によって実行される。

Ｓ１５０１では、ＣＰＵ２１１は、開始キー４０３の押下などによるスキャン指示を受信する。

Ｓ１５０２では、ＣＰＵ２１１は、スキャナ２０３に対してスキャン指示を行い、原稿をスキャンしてスキャン画像データを取得する。

続いてＳ１５０３では、ＣＰＵ２１１は、スキャン画像データに対してメタデータ設定画面を表示するための前処理を実行する。なお、本処理の詳細については図５の説明で行う。

Ｓ１５０４では、ＣＰＵ２１１は、以下のＳ１５０５～Ｓ１５０８をスキャン画像データ数分繰り返すことにより、全てのスキャン画像データに対してメタデータを設定する。

Ｓ１５０５では、ＣＰＵ２１１は、スキャン画像データのうち、メタデータが未設定のスキャン画像データから、読み取られた順など所定の基準に基づき、メタデータを設定する対象のスキャン画像データを１つ決定する。

Ｓ１５０６では、ＣＰＵ２１１は、決定した対象のスキャン画像データに対してメタデータを設定するためのＵＩ画面であるメタデータ設定画面の表示制御を行う。メタデータ設定画面の詳細については、図６の説明で行う。

Ｓ１５０７では、ＣＰＵ２１１は、ユーザが操作部２０４を介して入力したメタデータテンプレートおよびメタデータの設定を検知する。

Ｓ１５０８では、ＣＰＵ２１１は、ユーザにより設定されたメタデータテンプレートおよびメタデータをスキャン画像データに紐付けて保存する。

対象のスキャン画像データ以外にメタデータが未設定のスキャン画像データが存在するか否かを判定し、スキャン画像データ全てにメタデータを設定するまで、Ｓ１５０５～Ｓ１５０８の処理を繰り返す。

全てのスキャン画像データにメタデータが設定された場合は、ＣＰＵ２１１は、Ｓ１５０４のループを抜けてＳ１５０９に移行し、ユーザが操作部２０４を介して入力したサーバへの送信指示を検知する。

Ｓ１５１０では、ＣＰＵ２１１は、受信した送信指示に基づき、スキャン画像データとそのスキャン画像データに紐付けたメタデータテンプレートおよびメタデータをサーバに送信する。

続いて図５～９を用いて、スキャン画像データにメタデータを付与し、サーバ１０５に送信するジョブを実行する際のユーザの操作フローおよび、複合機１０１の処理フローについて説明する。

図５は、複合機１０１がメタデータ設定画面を生成するフローチャートの一例である。なお、本フローチャートで示す処理に係るプログラムは複合機１０１の記憶部２１３に格納されており、ＲＡＭ２１２によって呼び出され、ＣＰＵ２１１によって実行される。また本フローチャートは、図１５におけるＳ１５０３およびＳ１５０４の処理の詳細である。

Ｓ５０１では、ＣＰＵ２１１は、スキャナ２０３から受信したスキャン画像データをスキャナＩ／Ｆ２１６を介して受信すると、記憶部２１３に保存する。

続いてＳ５０２では、ＣＰＵ２１１は、送信する対象のサーバ１０５のＵＲＬを記憶部２１３から取得し、そのサーバ１０５からメタデータテンプレートリストを取得する。ここでのメタデータテンプレートリストとは、サーバ１０５で登録済みのメタデータテンプレートの一覧であり、表１の例では、「会計」、「法務」の２つのメタデータテンプレートのリストを表す。また、各メタデータテンプレートリストのそれぞれのメタデータテンプレートには、それぞれキーリストが含まれており、メタデータテンプレートのキーの文字列および、キーに対応するバリューのデータ型がセットで登録されている。

表１の「会計」のメタデータテンプレートを例にすると、そのキーリストには、「注文番号、テキスト型」、「納期、日付型」、「合計金額、数値型」、「書類種別、選択型」の情報が含まれている。スキャン画像データを受信する度にメタデータテンプレートリストを取得する理由は、常にサーバ１０５のメタデータテンプレートが変更される可能性があるため、最新のメタデータテンプレートリストを取得する必要があるためである。

Ｓ５０３では、ＣＰＵ２１１は、メタデータテンプレートリストが取得できたか否かを判定する。

メタデータテンプレートリストが取得できなかった場合は、Ｓ５０４に移行し、ＣＰＵ２１１は、サーバ１０５からメタデータテンプレートリストを取得できなかった旨のエラーメッセージを表示し、本フローを終了する。なお、本フローではメタデータテンプレートリストが取得できなかった場合、Ｓ５０４の通りエラーメッセージを表示して終了したが、メタデータを付随せずにスキャン画像データのみをサーバ１０５に送信するような形態であってもよい。

メタデータテンプレートリストが取得できた場合は、Ｓ５０５に移行し、ＣＰＵ２１１は、メタデータテンプレートリストをスキャナ２０３から受信したスキャン画像データに紐付けて保存する。スキャン画像データに対してメタデータテンプレートリストを付与する理由としては、メタデータテンプレートリストを受信するタイミングによってメタデータテンプレートリストの内容が変わる可能性があるからである。

続いて、Ｓ５０６では、ＣＰＵ２１１は、下記Ｓ５０７～Ｓ５０９をスキャン画像データ数分繰り返すことで、受信したスキャン画像データ全てにＯＣＲブロックデータを設定する。

Ｓ５０７では、ＣＰＵ２１１は、受信したスキャン画像データのうちＯＣＲブロックデータが紐付けて保存されていないスキャン画像データから、読み取られた順など所定の基準に基づき、対象のスキャン画像データを決定する。

Ｓ５０８では、ＣＰＵ２１１は、決定した対象のスキャン画像データに対して、ＯＣＲ処理およびブロックセレクション処理を実行し、ＯＣＲブロックデータを取得する。ＯＣＲ処理とは、スキャン画像からデジタルデータとして文字列の情報を抽出する処理である。また、ブロックセレクション処理とは、スキャン画像データの中から文字領域を検出する処理である。

Ｓ５０９では、ＣＰＵ２１１は、Ｓ５０８で取得したＯＣＲブロックデータをスキャン画像データに紐付けて保存する。

これらの処理（Ｓ５０６～Ｓ５０８）により、ＣＰＵ２１１は各スキャン画像データに対してブロックごとのＯＣＲ情報を抽出することが可能となる。

最終的にＳ５１０において、ＣＰＵ２１１は、操作部Ｉ／Ｆ２１７を介して操作部２０４のタッチパネル画面４０１にメタデータ設定画面を表示し、本フローを終了する。

なお、本フローにおいては、複合機１０１上で実施する例を示したが、複合機からはスキャン画像データをサーバ１０５に送信するのみで、これらの処理はサーバ１０５で実施してもよい。また、サーバ１０５とは異なる画像処理サーバでこの処理を行い、ストレージとしての役割を持つサーバ１０５にＯＣＲブロックデータの紐付けられたスキャン画像データを送信するような構成であってもよい。

図６はメタデータ設定画面の構成図の一例である。本図を用いてメタデータ設定におけるユーザの操作フローを説明する。メタデータ設定画面６０１はスキャン画像データのプレビュー表示部６０２およびメタデータ設定ページ数表示部６０３およびメタデータ設定部６０４およびページ遷移指示部６０５により構成される。

プレビュー表示部６０２は、スキャン画像データのプレビュー画面が表示される。メタデータ設定ページ数表示部６０３は、プレビュー表示部６０２に表示しているスキャン画像データが、スキャン画像データ全体の何ページ目なのかを表示する。本例では３ページスキャンしたうちの１ページ目を表している。

ページ遷移指示部６０５は、メタデータを設定するページ間の表示遷移をユーザが指示するためのボタンを表示している。本例では３ページ目のうち１ページ目を表示しているため、次へ遷移するためのボタンが表示されている。なお、中間のページにおいては、ページの前後へ遷移するためのボタン表示や、最終ページにおいては、サーバへ送信ボタンするためのボタン表示など、ページごとに動的に切り替わる構成になっている。

メタデータ設定部６０４はプレビュー表示部６０２で表示されているスキャン画像データに対して、メタデータを設定するための入力部である。メタデータ設定部６０４は、メタデータテンプレート選択フォーム６０６および、メタデータ設定部６０７で構成されている。メタデータ設定部６０７はメタデータテンプレート選択フォーム６０６で選択されたメタデータテンプレートの設定を行うための画面である。

メタデータ設定部６０７は、キー表示部６０８、バリュー画像表示部６０９、バリュー入力フォーム６１０で構成されている。

キー表示部６０８は、メタデータテンプレート選択フォーム６０６で設定されたメタデータテンプレートに応じて、表示されるキーが動的に切り替わる構造となっている。本例ではメタデータテンプレートとして「会計」が設定されているため、「会計」のメタデータテンプレートに紐づくキーとして、「注文番号」、「納期」、「合計金額」、「書類種別」が表示されている。ユーザがメタデータテンプレート選択フォーム６０６で他のメタデータテンプレートに切り替えた場合、キー表示部６０８に表示されているキーも動的に切り替わる。なお、キー表示部６０８およびプレビュー表示部６０２を用いて、キーに対応するバリューを設定することが可能である。

図７は、メタデータ設定画面におけるメタデータ設定時の画面フローの一例である。ＣＰＵ２１１は、キー７０１の押下を検知すると、記憶部２１３からＯＣＲブロックデータを取得する。さらにＣＰＵ２１１は、プレビュー表示部６０２に、ブロックとして設定可能な領域を選択可能な枠で囲んだＯＣＲ選択画面７０２を表示する（図７（ａ））。ユーザがＯＣＲ選択画面７０２内のバリューとして設定したい領域７０３またはキー表示部６０８内のキーを押下すると、ＣＰＵ２１１はその押下の検知により記憶部２１３からＯＣＲブロックデータを取得する。ＣＰＵ２１１は、取得したＯＣＲブロックデータからバリュー画像７０４をバリュー画像表示部６０９の対応するキーと同じ行に表示する。さらに、抽出したＯＣＲテキストデータ７０５をバリュー入力フォーム６１０に設定する（図７（ｂ））。こうすることにより、ユーザの転記作業なしで、タッチ操作により、各バリューを入力することが可能となり、利便性を向上することが可能となる。

図７では、キー表示部６０８とプレビュー表示部６０２を用いてバリューを設定する例を示したが、ユーザが直接バリュー入力フォーム６１０にテキストデータを入力することも可能である。この場合、ユーザはバリュー入力フォーム６１０を押下し、ソフトキーボードまたはハードキーボードで値を設定する。

なお、各バリュー入力フォーム６１０は、各々のメタデータのバリューのデータ型に応じて入力制限を与える構成が望ましい。例えば、図６において、キーが「納期」の場合、バリューのデータ型が日付型だとすると、日付のみを入力できるソフトキーボードを出現させることが望ましい。また、キーが「合計金額」の場合、バリューのデータ型が数値型だとすると、数値の入力のみ可能なソフトキーボードを出現させることが望ましい。同様に、キーが「書類種別」のバリューのデータ型が選択型だとすると、ドロップダウン選択フォーム６１１で選択させる手法が望ましい。図８は、ドロップダウン選択フォーム６１１をユーザが押下した際の表示画面例である。ドロップダウン選択フォーム６１１を押下することで、バリューのドロップダウンリスト８０１が表示され、入力可能なバリューのみを選択することが可能となる。

図９は上記の手段によりメタデータを設定した後の画面の一例である。サーバ１０５の制限として、必要なメタデータをすべて入力しなければいけない場合は、すべての入力を完了することで、サーバ１０５に送信することが可能である。また、サーバ１０５としてすべてのメタデータの入力が必要ない場合は、メタデータ設定部６０４の入力がすべて完了していなくても送信することが可能である。

以上のように全ページ（全スキャン画像データ）においてメタデータの設定を完了し、ページ遷移指示部６０５におけるサーバへ送信ボタン９０１を押下することで、最終的にサーバ１０５にメタデータが設定されたスキャン画像データの送信が完了する。

ここまでがサーバ１０５にスキャン画像データを送信する際に、メタデータを複合機１０１で設定する一連のフローである。

次に、本実施形態において、選択型の場合に、適切なバリュー候補をドロップダウンフォームの上位に表示するための前処理および、画面例を説明する。

図１０は、実施形態１における表示メタデータリスト生成およびメタデータ表示フローの一例である。なお、本フローチャートで示す処理に係るプログラムは複合機１０１の記憶部２１３に格納されており、ＲＡＭ２１２によって呼び出され、ＣＰＵ２１１によって実行される。

Ｓ１００１では、ＣＰＵ２１１は、メタデータテンプレートの選択を検知する。

Ｓ１００２では、ＣＰＵ２１１は、選択されたメタデータテンプレートに選択型のバリューに対応するキーが存在するかを探索する。選択型のバリューに対応するキーが存在しない場合、本フローを終了する。一方で、選択型のバリューに対応するキーが存在する場合、Ｓ１００３に移行する。

Ｓ１００３では、ＣＰＵ２１１は、選択型のバリューに対応するキーの個数分、以下のＳ１００４～Ｓ１０１３の処理を繰り返すことにより、選択型のバリュー全てに表示バリューリストを表示する。

まずＳ１００４では、ＣＰＵ２１１は、選択型のバリューに対応するキーのうち表示バリューリストが生成されていないキーから、対象のキーを決定する。

Ｓ１００５では、ＣＰＵ２１１は、対象のキーに対応するバリューのバリュー候補を定義するバリューリストを取得する。例えば、上記表１において、選択型のバリューに対応するキーが「書類種別」だった場合、対応するバリューリストで定義されたバリュー候補は、「見積書」、「納品書」、「注文書」である。

続いてＳ１００６では、ＣＰＵ２１１は、記憶部２１３にアクセスし、スキャン画像データに紐付けられたＯＣＲブロックリストを取得する。

Ｓ１００７では、ＣＰＵ２１１は、対象のキーに対応するバリューの表示バリューリストを生成する。表示バリューリストは、バリューのドロップダウンリスト８０１に表示する順序ごとに並び替えられているリストであり、生成直後はバリューリスト上の全てのバリュー候補を含むものとする。

ここから先の処理は、バリューリストのそれぞれの要素に対して、ＯＣＲブロックリストのそれぞれの要素と比較する処理である（Ｓ１００８～Ｓ１０１３）。

Ｓ１００８では、ＣＰＵ２１１は、バリューリスト上のバリュー候補数分、以下のＳ１００９～Ｓ１０１３の処理を繰り返すことにより、表示バリューリストの表示順を変更する。

まずS１００９では、ＣＰＵ２１１は、バリューリスト上のバリュー候補うち、ＯＣＲブロックとの比較がなされていないものから１つ対象とするバリュー候補を決定する。ここでは代表として、バリューリストの先頭の要素を対象のバリューリストとする。

Ｓ１０１０では、ＣＰＵ２１１は、ＯＣＲブロック数分、以下のＳ１０１１～Ｓ１０１３の処理を繰り返すことにより、対象のバリュー候補の表示順を変更するか否かを決定する。

Ｓ１０１１では、取得したＯＣＲブロックリストのうちバリュー候補との比較がなされていないものから、対象とするＯＣＲブロックを１つ決定する。ここでは代表としてＯＣＲブロックリストの先頭の要素を対象のＯＣＲブロックとする。

Ｓ１０１２では、ＣＰＵ２１１は、対象のバリュー候補の文字列と、対象のＯＣＲブロックの文字列が一致するかを比較する。

Ｓ１０１２で対象のバリュー候補が対象のＯＣＲブロックと一致すると判定した場合、Ｓ１０１３において、ＣＰＵ２１１は、対象のＯＣＲブロックと一致したバリュー候補を表示バリューリストの先頭に追加する。Ｓ１０１２で対象のバリュー候補が対象のＯＣＲブロックと一致しないと判定した場合は、表示バリューリストに対して何もしない。

こうして、選択型のバリューに対応するキー全てに対して、バリューリスト上のバリュー候補のＯＣＲブロックとの比較が終了すると、Ｓ１００８のループを抜けてＳ１０１４に移行する。Ｓ１０１４では、ＣＰＵ２１１は、ドロップダウン選択フォーム６１１に表示バリューリストを表示する。

なお上述の例では、Ｓ１０１２において比較を行う際、完全一致の例を示したが、前方一致、部分一致、後方一致など、一致の条件を設定しても良い。また、一致形式に応じて表示タバリューリストの順序を変更しても良い。例えば、完全一致の場合は、最上位に表示し、部分一致の場合は完全一致の次に挿入するなど、一致率に応じてリストを並び替える形態であってもよい。

図１１は、実施形態１におけるドロップダウン選択フォーム押下時の画面フローの一例である。ＣＰＵ２１１は、表示バリューリストが存在する場合、該当するドロップダウンフォームに、表示バリューリストの順で表示する。なお、表示バリューリストが存在しない場合、ＣＰＵ２１１は該当するドロップダウンフォームにＳ１００４で取得したバリューリストそのものを表示する。つまり、リストの順序などはスキャン画像データと関連していない状態で表示される。

ＣＰＵ２１１は、表示バリューリストが存在する場合は、ドロップダウン選択フォーム１１０１に表示バリューリストの最上位にあたるバリューをデフォルト値として表示する（図１１（ａ））。本実施形態によると、選択型のバリューには、スキャン画像データのＯＣＲ情報と一致する文字列がデフォルト値に設定されているため、選択する手間が省け、効率的にメタデータを入力することが可能となる。また、表示バリューリストに複数の候補がある場合には、ドロップダウンボタンを押下することで表示されるドロップダウンリスト１１０２の上位にそれら候補が表示される。

このように、本開示の技術では、スキャン画像データに存在するバリュー候補が優先的に表示されるため、ユーザが適切なバリュー候補を容易に選択できるようになる。

［実施形態２］
実施形態１では、選択型のバリューに対応するキーにおいて、対象となるスキャン画像データに含まれる文字列の中に、予め定義されたバリュー候補と一致する値がある場合、ドロップダウンリストの上位に表示することで、利便性を向上させる例を示した。

実施形態２では、選択型のバリューに対応するキーにおいて、対象となるスキャン画像データに含まれる文字列の中に、バリューリストにおいて定義されたバリュー候補と一致する値がある場合のみ、ドロップダウンリストに表示する例を示す。

図１２は、実施形態２における表示メタデータリスト生成およびメタデータ表示フローの一例である。また、図１３および図１４は、図１２に生成した表示メタデータリストを適用したメタデータ設定画面例である。これらの図を用いて、実施形態２におけるメタデータ設定画面生成のフローを示す。

図１２のフローチャートで示す処理に係るプログラムは複合機１０１の記憶部２１３に格納されており、ＲＡＭ２１２によって呼び出され、ＣＰＵ２１１によって実行される。Ｓ１２０１～Ｓ１２０６、Ｓ１２０８～Ｓ１２１２は、実施形態１におけるＳ１００１～Ｓ１００６、Ｓ１００８～Ｓ１０１２と対応しており同様の処理であるため、説明は割愛する。

Ｓ１２０７、Ｓ１２０１３は、Ｓ１００７、Ｓ１０１３の処理と異なるため以下に説明する。

Ｓ１２０７では、ＣＰＵ２１１は、対象キーに対応するバリューの表示バリューリストを生成する。表示バリューリストは、バリューのドロップダウンリスト８０１に表示する順序ごとに並び替えられているリストであり、生成直後は空とする。

Ｓ１２１２において対象のバリュー候補の文字列と、対象のＯＣＲブロックの文字列が一致すると判定した場合、Ｓ１２１３では、ＣＰＵ２１１は、表示バリューリストの先頭に対象のバリューを追加する。Ｓ１０１２で対象のバリュー候補が対象のＯＣＲブロックと一致しないと判定した場合は、表示バリューリストに対して何もしない。なお、ここにおける一致は実施形態１と同様、完全一致、部分一致、前方一致、後方一致などを適用してもよい。また、これら一致率によって、表示バリューリストの順序を変更する形態が望ましい。

こうして、選択型のバリューに対応するキー全てに対して、バリューリストで定義されたバリュー候補の全てと、スキャン画像データのＯＣＲブロックの全てとを比較した後に、Ｓ１２１４では、ＣＰＵ２１１は、表示バリューリストが空かどうかを判定する。

Ｓ１２１４において表示バリューリストが空ではないと判定した場合、Ｓ１２１５に移行し、Ｓ１２１５では、ＣＰＵ２１１は、表示バリューリストをバリュー入力フォームに表示する。

図１３は、表示バリューリストが空ではない場合の、メタデータ設定画面の一例である。この例は表１の要素を適応するものとすると、「書類種別」のキーに対応するバリューが選択型であり、そのバリューリストに定義されたバリュー候補と一致する対象のスキャン画像データに含まれる文字列には「注文書」という文字列のみが存在する。そのため、ドロップダウン選択フォーム１３０１には、デフォルト値として「注文書」が表示されている（図１３（ａ））。

一方、ドロップダウンボタンをクリックした場合においても、表示バリューリストには１つしか要素がないため、ドロップダウンリスト１３０２では「注文書」しか選択できなくなっている（図１３（ｂ））。なお、表示バリューリストに要素が複数ある場合は、その個数分表示される。また、実施形態１と同様、デフォルト値に最上位のバリューを設定する形態が望ましい。

これに対しＳ１２１３において表示バリューリストが空であると判定した場合、Ｓ１２１６に移行する。Ｓ１２１６では、ＣＰＵ２１１は、スキャン画像データ内にバリューリストに定義されたバリュー候補と一致する値がないため選択できるバリュー候補がない旨を対象のキーに対応する画面の一部に表示する。図１４は、表示バリューリストが空である場合の、メタデータ設定画面の一例である。この例も同様に表１の要素を適用するものとすると、「書類種別」のキーに対応するバリューのデータ型は選択型であり、そのバリューの候補である「見積書」、「納品書」、「注文書」のどの文字列も対象のスキャン画像データの文字列の中には存在しない。したがって、本実施形態においては、ドロップダウンリスト１４０１は選択不可にした後に、その理由をエラー内容表示フォーム１４０２に表示している。エラー内容の表示方法および制限の仕方について、ここで示した例は一例であるため、これ以外でもかまわない。

本実施形態によると、選択型のバリューに定義されたバリュー候補のうち、対象のスキャン画像データのＯＣＲブロックと一致するもののみを表示することができる。したがって、特定のスキャン画像データに対してメタデータを付与する場合において、誤ってスキャン画像データに無いバリューを設定することはなくなる。この結果、ユーザの入力ミスを低減でき、メタデータ入力の精度を向上することや、ユーザの利便性を向上することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１、１０２ 複合機
１０３、１０４ 情報処理端末
１０５ サーバ

Claims (14)

1. 原稿をスキャンして得られたスキャン画像データにキー・バリュー形式のメタデータを付与するための情報処理装置であって、
   前記スキャン画像データから抽出された文字列を取得する第１の取得手段と、
   前記メタデータのテンプレートを取得する第２の取得手段と、
   前記メタデータを入力するためのＵＩ画面を表示する表示制御手段と、
   前記第２の取得手段が取得した前記メタデータのテンプレートに含まれるキーに対応するバリューを、前記ＵＩ画面を介したユーザの操作に基づき前記スキャン画像データに紐付けて設定する設定手段と
   を備え、
   前記メタデータのテンプレートでは、
   キーと、各キーに対応するバリューに定義されたデータ型とが指定され、
   前記バリューのデータ型が選択型である場合は、前記バリューの候補を定義するバリューリストがさらに指定され、
   前記表示制御手段は、前記バリューリストに存在する前記バリューの候補のうち、前記第１の取得手段が取得した抽出された前記文字列と少なくとも一部が一致する前記バリューの候補を優先的に表示する
   ことを特徴とする情報処理装置。
2. 前記表示制御手段は、ユーザが選択可能に優先的に表示する前記バリューの候補の１つを、前記バリューのデフォルト値として表示する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、ユーザが選択可能に優先的に表示する前記バリューの候補を、前記バリューの候補を表示する表示バリューリストの上位に表示する
   ことを特徴とする請求項１に記載の情報処理装置。
4. 前記表示制御手段は、前記表示バリューリストをドロップダウンリストとして表示することを特徴とすることを特徴とする請求項３に記載の情報処理装置。
5. 前記設定手段は、前記表示バリューリストから前記ユーザの操作により選択された前記バリューの候補を前記バリューに設定する
   こと特徴とする請求項３又は４に記載の情報処理装置。
6. 前記スキャン画像データ、並びに前記スキャン画像データに紐付けて設定された前記キー及び前記バリューを外部装置に送信する送信手段
   をさらに備えたことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記第２の取得手段は、前記外部装置から前記メタデータのテンプレートを取得する
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記第１の取得手段は、前記外部装置から前記文字列を取得する
   ことを特徴とする請求項６又は７に記載の情報処理装置。
9. 前記第１の取得手段は、前記スキャン画像データから文字列を抽出する抽出手段を含む
   ことを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
10. 原稿を読み取って前記スキャン画像データを生成する画像読取手段
    をさらに備えたことを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記表示制御手段は、前記スキャン画像データを表示する
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記表示制御手段は、前記バリューリストに存在する前記バリューの候補のいずれも、前記第１の取得手段により取得した文字列と一致しない場合、前記バリューの選択を不可とする表示を行う
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 原稿をスキャンして得られたスキャン画像データにキー・バリュー形式のメタデータを付与するための情報処理方法であって、
    前記スキャン画像データから抽出された文字列を取得するステップと、
    前記メタデータのテンプレートを取得するステップと、
    前記メタデータを入力するためのＵＩ画面を表示するステップと、
    取得した前記メタデータのテンプレートに含まれるキーに対応するバリューを、前記ＵＩ画面を介したユーザの操作に基づき前記スキャン画像データに紐付けて設定するステップと
    を有し、
    前記メタデータのテンプレートでは、
    キーと、各キーに対応するバリューに定義されたデータ型とが指定され、
    前記バリューのデータ型が選択型である場合は、前記バリューの候補を定義するバリューリストがさらに指定され、
    前記ＵＩ画面を表示するステップは、前記バリューリストに存在する前記バリューの候補のうち、抽出された前記文字列と少なくとも一部が一致する前記バリューの候補を優先的に表示する
    ことを特徴とする情報処理方法。
14. 請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images