JP7657679B2 - 情報処理装置及びプログラム - Google Patents

Description

本発明の実施形態は、情報処理装置及びプログラムに関する。

ＯＣＲ（optical character recognition）処理により宛先などの文字行を読み取る認識装置と、認識装置が文字行の認識に失敗した場合にオペレータから文字の入力を受け付けるＶＣＳ（video coding system）とを備える認識システムが提供されている。

ＶＣＳは、文字行を含む画像をオペレータに対して画面表示してオペレータによる文字の入力を受け付ける。
従来、ＶＣＳは、文字行の傾き又は大きさによっては、オペレータが文字行を視認しにくい画像を表示してしまうことがある。

特開２０１３－１０３１６３号公報

上記の課題を解決するため、オペレータが文字行を視認しやすい画像を表示することができる情報処理装置及びプログラムを提供する。

実施形態によれば、情報処理装置は、インターフェースと、プロセッサと、を備える。インターフェースは、外部装置及び入出力装置とデータを送受信する。プロセッサは、前記インターフェースを通じて、文字行が記載されている帳票を含む画像に対するＯＣＲ処理の過程で生成されるＯＣＲ中間情報を前記外部装置から受信し、前記ＯＣＲ中間情報に基づいて、前記帳票が写る帳票画像の表示方法を補正し、前記インターフェースを通じて、前記入出力装置に補正後の前記帳票画像を表示させ、前記インターフェースを通じて、前記入出力装置に入力された文字を取得し、前記インターフェースを通じて、取得された前記文字に基づく文字情報を前記外部装置に送信する。

図１は、第１の実施形態に係る認識システムの構成例を示すブロック図である。 図２は、第１の実施形態に係るＯＣＲ装置の構成例を示すブロック図である。 図３は、第１の実施形態に係る制御装置の構成例を示すブロック図である。 図４は、第１の実施形態に係るＶＣＳの構成例を示すブロック図である。 図５は、第１の実施形態に係る荷物画像の例を示す図である。 図６は、第１の実施形態に係るＯＣＲ中間情報の構成例を示す図である。 図７は、第１の実施形態に係る帳票画像の例を示す図である。 図８は、第１の実施形態に係る補正後の帳票画像の例を示す図である。 図９は、第１の実施形態に係るＶＣＳの動作例を示すフローチャートである。 図１０は、第２の実施形態に係る制御装置の動作例を示すフローチャートである。 図１１は、第２の実施形態に係るＶＣＳの動作例を示すフローチャートである。 図１２は、第３の実施形態に係る選択画面の例を示す図である。 図１３は、第３の実施形態に係るＶＣＳの動作例を示すフローチャートである。

以下、実施形態について、図面を参照して説明する。
（第１の実施形態）
実施形態に係る認識システムは、区分装置に投入される荷物から住所などの宛先を読み取る。認識システムは、読み取った宛先に基づいて荷物の仕分先（たとえば、区分装置のシュータなど）を設定する。認識システムは、宛先の読み取りに失敗した場合、宛先を目視したオペレータから宛先の入力を受け付ける。

図１は、実施形態に係る認識システム１の構成例を示す。図１が示すように、認識システム１は、区分装置２、カメラ４、ＯＣＲ装置１０、制御装置２０及びＶＣＳ３０などを備える。ＯＣＲ装置１０は、カメラ４及び制御装置２０に接続する。制御装置２０は、区分装置２及びＶＣＳ３０に接続する。

なお、認識システム１は、図１が示すような構成の他に必要に応じた構成をさらに具備したり、認識システム１から特定の構成が除外されたりしてもよい。

区分装置２は、作業員、搬送ベルト又はロボットなどによって投入された荷物を区分する。区分装置２は、荷物の宛先に関連する宛先情報（文字情報）を制御装置２０から受信する。区分装置２は、宛先情報に基づいて荷物を区分する。たとえば、区分装置２は、区分先としてのシュータ、ポケット、カート又はトレイなどに荷物を区分する。たとえば、区分装置２は、ソータ、搬送ベルト又はロボットなどから構成される。

カメラ４は、区分装置２に投入される荷物を撮影する。カメラ４は、宛先が記載されている帳票を撮影する。たとえば、カメラ４は、帳票が添付されている面を撮影する。カメラ４は、撮影で得られた画像（荷物画像）をＯＣＲ装置１０に供給する。

たとえば、カメラ４は、ＣＣＤ（Charge Coupled Device）カメラである。また、カメラ４は、荷物を照らす光源を備えるものであってもよい。

ＯＣＲ装置１０は、カメラ４から荷物画像を取得する。ＯＣＲ装置１０は、ＯＣＲ処理によって宛先情報を生成し、制御装置２０に送信する。
また、ＯＣＲ装置１０は、ＯＣＲ処理に失敗すると、ＯＣＲ処理に関連するＯＣＲ中間情報を生成する。ＯＣＲ装置１０は、ＯＣＲ中間情報と帳票画像とを制御装置２０に送信する。
ＯＣＲ装置１０及びＯＣＲ中間情報については、後に詳述する。

制御装置２０（外部装置）は、ＯＣＲ装置１０から宛先情報を取得し、区分装置２に送信する。
また、制御装置２０は、ＯＣＲ装置１０からＯＣＲ中間情報及び荷物画像を取得し、ＶＣＳ３０に送信する。また、制御装置２０は、ＶＣＳ３０から宛先情報を取得し、区分装置２に送信する。
制御装置２０については、後述する。

ＶＣＳ３０は、制御装置２０からＯＣＲ中間情報及び帳票画像を取得する。ＶＣＳ３０は、ＯＣＲ中間情報に基づいて荷物画像から帳票が写る帳票画像を抽出して表示する。ＶＣＳ３０は、表示された帳票画像を目視したオペレータから宛先の入力を受け付ける。ＶＣＳ３０は、入力された宛先を示す宛先情報を制御装置２０に送信する。
ＶＣＳ３０については、後述する。

次に、ＯＣＲ装置１０について説明する。
図２は、実施形態に係るＯＣＲ装置１０の構成例を示す。図２は、ＯＣＲ装置１０の構成例を示すブロック図である。図２が示すように、ＯＣＲ装置１０は、プロセッサ１１、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、通信部１５、操作部１６、表示部１７及びカメラインターフェース１８などを備える。

プロセッサ１１と、ＲＯＭ１２、ＲＡＭ１３、ＮＶＭ１４、通信部１５、操作部１６、表示部１７及びカメラインターフェース１８と、は、データバスなどを介して互いに接続する。
なお、ＯＣＲ装置１０は、図２が示すような構成の他に必要に応じた構成を具備したり、ＯＣＲ装置１０から特定の構成が除外されたりしてもよい。

プロセッサ１１は、ＯＣＲ装置１０全体の動作を制御する機能を有する。プロセッサ１１は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ１１は、内部メモリ、ＲＯＭ１２又はＮＶＭ１４が予め記憶するプログラムを実行することにより種々の処理を実現する。

なお、プロセッサ１１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ１１は、ハードウエア回路により実行される機能を制御する。

ＲＯＭ１２は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ＲＯＭ１２に記憶される制御プログラム及び制御データは、ＯＣＲ装置１０の仕様に応じて予め組み込まれる。

ＲＡＭ１３は、揮発性のメモリである。ＲＡＭ１３は、プロセッサ１１の処理中のデータなどを一時的に格納する。ＲＡＭ１３は、プロセッサ１１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ１３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

ＮＶＭ１４は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ１４は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリなどから構成される。ＮＶＭ１４は、ＯＣＲ装置１０の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。

たとえば、ＮＶＭ１４は、ＯＣＲ処理を行うための辞書情報などを格納する。たとえば、辞書情報は、各文字の特徴量などを示す。また、辞書情報は、機械学習によって得られたネットワークなどであってもよい。辞書情報の構成は、特定の構成に限定されるものではない。

通信部１５は、制御装置２０などとデータを送受信するインターフェースである。たとえば、通信部１５は、有線又は無線のＬＡＮ（Local Area Network）接続をサポートするインターフェースである。

操作部１６は、オペレータから種々の操作の入力を受け付ける。操作部１６は、入力された操作を示す信号をプロセッサ１１へ送信する。操作部１６は、タッチパネルから構成されてもよい。

表示部１７は、プロセッサ１１からの画像データを表示する。たとえば、表示部１７は、液晶モニタから構成される。操作部１６がタッチパネルから構成される場合、表示部１７は、操作部１６と一体的に形成されてもよい。

カメラインターフェース１８は、カメラ４に接続するインターフェースである。カメラインターフェース１８は、プロセッサ１１からの信号をカメラ４に送信する。また、カメラインターフェース１８は、カメラ４からの信号（荷物画像など）を取得しプロセッサ１１に送信する。

次に、制御装置２０について説明する。
図３は、実施形態に係る制御装置２０の構成例を示す。図３は、制御装置２０の構成例を示すブロック図である。図３が示すように、制御装置２０は、プロセッサ２１、ＲＯＭ２２、ＲＡＭ２３、ＮＶＭ２４、通信部２５、操作部２６及び表示部２７などを備える。

プロセッサ２１と、ＲＯＭ２２、ＲＡＭ２３、ＮＶＭ２４、通信部２５、操作部２６及び表示部２７と、は、データバスなどを介して互いに接続する。
なお、制御装置２０は、図３が示すような構成の他に必要に応じた構成を具備したり、制御装置２０から特定の構成が除外されたりしてもよい。

プロセッサ２１は、制御装置２０全体の動作を制御する機能を有する。プロセッサ２１は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ２１は、内部メモリ、ＲＯＭ２２又はＮＶＭ２４が予め記憶するプログラムを実行することにより種々の処理を実現する。

なお、プロセッサ２１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ２１は、ハードウエア回路により実行される機能を制御する。

ＲＯＭ２２は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ＲＯＭ２２に記憶される制御プログラム及び制御データは、制御装置２０の仕様に応じて予め組み込まれる。

ＲＡＭ２３は、揮発性のメモリである。ＲＡＭ２３は、プロセッサ２１の処理中のデータなどを一時的に格納する。ＲＡＭ２３は、プロセッサ２１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ２３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

ＮＶＭ２４は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ２４は、たとえば、ＨＤＤ、ＳＳＤ又はフラッシュメモリなどから構成される。ＮＶＭ２４は、制御装置２０の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。

通信部２５は、区分装置２、ＯＣＲ装置１０及びＶＣＳ３０などとデータを送受信するインターフェースである。たとえば、通信部２５は、有線又は無線のＬＡＮ接続をサポートするインターフェースである。

なお、通信部２５は、区分装置２とデータを送受信するインターフェースと、ＯＣＲ装置１０とデータを送受信するインターフェースと、ＶＣＳ３０とデータを送受信するインターフェースと、から構成されるものであってもよい。

操作部２６は、オペレータから種々の操作の入力を受け付ける。操作部２６は、入力された操作を示す信号をプロセッサ２１へ送信する。操作部２６は、タッチパネルから構成されてもよい。

表示部２７は、プロセッサ２１からの画像データを表示する。たとえば、表示部２７は、液晶モニタから構成される。操作部２６がタッチパネルから構成される場合、表示部２７は、操作部２６と一体的に形成されてもよい。

次に、ＶＣＳ３０について説明する。
図４は、実施形態に係るＶＣＳ３０の構成例を示す。図４は、ＶＣＳ３０の構成例を示すブロック図である。図４が示すように、ＶＣＳ３０は、管理装置３及び入出力装置４０などから構成される。管理装置３と入出力装置４０とは、互いに接続する。
ここでは、ＶＣＳ３０は、３つの入出力装置４０を備える。

管理装置３（情報処理装置）は、ＶＣＳ３０全体を制御する。
管理装置３は、プロセッサ３１、ＲＯＭ３２、ＲＡＭ３３、ＮＶＭ３４、通信部３５及び入出力インターフェース３６などを備える。
プロセッサ３１と、ＲＯＭ３２、ＲＡＭ３３、ＮＶＭ３４、通信部３５及び入出力インターフェース３６と、は、データバスなどを介して互いに接続する。

プロセッサ３１は、管理装置３全体の動作を制御する機能を有する。プロセッサ３１は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ３１は、内部メモリ、ＲＯＭ３２又はＮＶＭ３４が予め記憶するプログラムを実行することにより種々の処理を実現する。

なお、プロセッサ３１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ３１は、ハードウエア回路により実行される機能を制御する。

ＲＯＭ３２は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ＲＯＭ３２に記憶される制御プログラム及び制御データは、管理装置３の仕様に応じて予め組み込まれる。

ＲＡＭ３３は、揮発性のメモリである。ＲＡＭ３３は、プロセッサ３１の処理中のデータなどを一時的に格納する。ＲＡＭ３３は、プロセッサ３１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ３３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。

ＮＶＭ３４は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ３４は、たとえば、ＨＤＤ、ＳＳＤ又はフラッシュメモリなどから構成される。ＮＶＭ３４は、管理装置３の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。

通信部３５は、制御装置２０などとデータを送受信するインターフェースである。たとえば、通信部３５は、有線又は無線のＬＡＮ接続をサポートするインターフェースである。

入出力インターフェース３６は、入出力装置４０とデータを送受信するインターフェースである。入出力インターフェース３６は、帳票画像などを入出力装置４０に送信する。また、入出力インターフェース３６は、入出力装置４０から宛先などを取得する。たとえば、入出力インターフェース３６は、有線又は無線のＬＡＮ接続をサポートするインターフェースである。

なお、通信部３５と入出力インターフェース３６とは、一体的に構成されるものであってもよい。

入出力装置４０は、管理装置３からの帳票画像などを表示する。また、入出力装置４０は、オペレータから宛先の入力を受け付ける。入出力装置４０は、入力された宛先を管理装置３に送信する。

入出力装置４０は、操作部４１及び表示部４２などを備える。
操作部４１は、オペレータから種々の操作の入力を受け付ける。操作部２６は、タッチパネルから構成されてもよい。入出力装置４０は、操作部４１に入力された操作を示す信号を管理装置３へ送信する。

表示部４２は、管理装置３からの画像データ（帳票画像など）を表示する。たとえば、表示部２７は、液晶モニタから構成される。操作部２６がタッチパネルから構成される場合、表示部２７は、操作部２６と一体的に形成されてもよい。
たとえば、入出力装置４０は、デスクトップＰＣ又はノートＰＣなどである。

なお、ＶＣＳ３０は、図４が示すような構成の他に必要に応じた構成を具備したり、ＶＣＳ３０から特定の構成が除外されたりしてもよい。

次に、ＯＣＲ装置１０が実現する機能について説明する。ＯＣＲ装置１０が実現する機能は、プロセッサ１１が内部メモリ、ＲＯＭ１２又はＮＶＭ１４などに格納されるプログラムを実行することで実現される。

まず、プロセッサ１１は、荷物画像を取得する機能を有する。
ここでは、カメラ４は、区分装置２に投入される荷物を撮影可能な位置に設置されているものとする。

プロセッサ１１は、カメラインターフェース１８を通じて、カメラ４に荷物を撮影させる。プロセッサ１１は、カメラインターフェース１８を通じて、荷物が写る荷物画像をカメラ４から取得する。

図５は、プロセッサ１１がカメラ４から取得した荷物画像２００の例を示す。図５が示すように、荷物画像２００は、荷物１００の一面を含む。
また、荷物画像２００は、荷物１００の一面において、荷物１００に添付されている帳票１０１乃至１０３を含む。帳票１０１乃至１０３には、宛先などの文字行が記載されている。

また、プロセッサ１１は、ＯＣＲ処理によって荷物画像から宛先情報を取得する機能を有する。

まず、プロセッサ１１は、所定の画像処理を用いて荷物画像２００から帳票が写る領域（帳票領域）を抽出する。たとえば、プロセッサ１１は、帳票のエッジ検出によって帳票領域を抽出する。また、プロセッサ１１は、ニューラルネットワークなどの人工知能を用いて帳票領域を抽出してもよい。プロセッサ１１が荷物画像２００から帳票領域を抽出する方法は、特定の方法に限定されるものではない。

また、プロセッサ１１は、抽出された帳票領域のパラメータを取得する。ここでは、プロセッサ１１は、帳票領域の座標（たとえば、中心座標）、サイズ及び角度（帳票領域の傾き）を取得する。

帳票領域を抽出すると、プロセッサ１１は、帳票領域から文字行（たとえば、１行の文字行）が写る領域（文字行領域）を抽出する。ここでは、プロセッサ１１は、矩形の文字行領域（文字行を含む最小矩形領域）を抽出するものとする。

プロセッサ１１は、所定の画像処理を用いて帳票領域から宛先の文字行領域を抽出する。たとえば、プロセッサ１１は、パターン認識によって文字行領域を検出して抽出する。また、プロセッサ１１は、ニューラルネットワークなどの人工知能を用いて文字行領域を抽出してもよい。プロセッサ１１が帳票領域から文字行領域を抽出する方法は、特定の方法に限定されるものではない。

また、プロセッサ１１は、抽出された文字行領域のパラメータを取得する。ここでは、プロセッサ１１は、文字行領域の座標、サイズ及び角度（文字行領域の傾き）を取得する。また、プロセッサ１１は、文字行領域に含まれる文字行が手書き又は印字であるかを示すフラグを取得する。たとえば、プロセッサ１１は、所定の画像処理を用いて文字行領域に含まれる文字行が手書き又は印字であるかを判定する。

文字行領域を抽出すると、プロセッサ１１は、文字行領域に含まれる文字行を認識する。

たとえば、プロセッサ１１は、文字行領域から１つの文字を含む領域（文字領域）を抽出する。文字領域を抽出すると、プロセッサ１１は、文字領域の画像と辞書情報とをマッチングする。プロセッサ１１は、マッチング処理によって、各文字領域に記載されている文字を認識する。

各文字領域に記載されている文字を認識すると、プロセッサ１１は、認識された文字に基づいて、帳票１０１乃至１０３に記載されている宛先を認識する。宛先を認識すると、プロセッサ１１は、認識された宛先に基づいて宛先情報を生成する。

宛先情報を生成すると、プロセッサ１１は、通信部１５を通じて、生成された宛先情報を制御装置２０に送信する。

また、プロセッサ１１は、宛先情報の取得に失敗すると、ＯＣＲ中間情報及び荷物画像を制御装置２０に送信する機能を有する。

たとえば、プロセッサ１１は、文字の認識に失敗すると、ＯＣＲ中間情報を生成する。ＯＣＲ中間情報は、ＯＣＲ処理の過程で生成される情報から構成される。

図６は、ＯＣＲ中間情報の構成例を示す。図６が示すように、ＯＣＲ中間情報は、荷物画像情報、帳票情報、文字行情報及び候補情報などから構成される。

荷物画像情報は、荷物画像に関連する。ここでは、荷物画像情報は、「画像のサイズ」から構成される。「画像のサイズ」は、荷物画像のサイズである。

帳票情報は、帳票に関連する。ここでは、帳票情報は、「帳票の座標」、「帳票のサイズ」及び「帳票の角度」から構成される。

「帳票の座標」は、荷物画像における帳票領域の座標である。
「帳票のサイズ」は、荷物画像における帳票領域のサイズである。
「帳票の角度」は、荷物画像における帳票領域の角度である。

文字行情報は、文字行に関連する。ここでは、文字行情報は、「文字行の座標」、「文字行のサイズ」、「文字行の角度」及び「手書き・印活判定」から構成される。

「文字行の座標」は、荷物画像における文字行領域の座標である。
「文字行のサイズ」は、荷物画像における文字行領域のサイズである。
「文字行の角度」は、荷物画像における文字行領域の角度である。
「手書き・印活判定」は、文字行領域の文字行が手書き又は印字であるかを示す。

候補情報は、宛先の候補に関連する。ここでは、候補情報は、「住所の候補」から構成される。「住所の候補」は、帳票に記載されている住所（宛先）の候補である。たとえば、プロセッサ１１は、「住所の候補」として、確定はできないが宛先である可能性が高い文字行を含む候補情報を生成する。

なお、帳票領域が複数ある場合には、ＯＣＲ中間情報は、それぞれの帳票について、帳票情報、文字行情報及び候補情報を格納してもよい。
ＯＣＲ中間情報の構成は、特定の構成に限定されるものではない。

また、プロセッサ１１は、ＯＣＲ処理の過程においてＯＣＲ中間情報を構成する情報の中で取得に失敗した情報がある場合、当該情報を含まないＯＣＲ中間情報を生成する。

ＯＣＲ中間情報を生成すると、プロセッサ１１は、通信部１５を通じて、ＯＣＲ中間情報及び荷物画像を制御装置２０に送信する。

次に、制御装置２０が実現する機能について説明する。制御装置２０が実現する機能は、プロセッサ２１が内部メモリ、ＲＯＭ２２又はＮＶＭ２４などに格納されるプログラムを実行することで実現される。

プロセッサ２１は、宛先情報を区分装置２に送信する機能を有する。
ＯＣＲ装置１０から宛先情報を受信した場合、プロセッサ２１は、通信部２５を通じて、受信された宛先情報を区分装置２に送信する。

また、ＯＣＲ装置１０からＯＣＲ中間情報及び荷物画像を受信した場合、プロセッサ２１は、通信部２５を通じて、ＯＣＲ中間情報及び荷物画像をＶＣＳ３０に送信する。

後述するように、ＶＣＳ３０は、荷物画像の帳票に記載されている宛先を示す宛先情報を制御装置２０に送信する。

プロセッサ２１は、通信部２５を通じて、宛先情報をＶＣＳ３０から受信する。ＶＣＳ３０から宛先情報を受信すると、プロセッサ２１は、通信部２５を通じて、受信された宛先情報を区分装置２に送信する。

次に、ＶＣＳ３０が実現する機能について説明する。ＶＣＳ３０が実現する機能は、プロセッサ２１が内部メモリ、ＲＯＭ２２又はＮＶＭ２４などに格納されるプログラムを実行することで実現される。

まず、プロセッサ３１は、荷物画像から帳票が写る画像（帳票画像）を抽出する機能を有する。

ここでは、プロセッサ３１は、通信部３５を通じてＯＣＲ中間情報及び荷物画像を制御装置２０から受信したものとする。

ＯＣＲ中間情報及び荷物画像を受信すると、プロセッサ３１は、ＯＣＲ中間情報が帳票情報を含むかを判定する。ＯＣＲ中間情報が帳票情報を含むと判定すると、プロセッサ３１は、ＯＣＲ中間情報の帳票情報に基づいて、荷物画像に帳票領域を設定する。帳票領域を設定すると、プロセッサ３１は、帳票領域の内部の画像を帳票画像として取得する。

図７は、プロセッサ３１が抽出した帳票画像の例を示す。図７が示す例では、プロセッサ３１は、帳票画像２０１乃至２０３を抽出する。帳票画像２０１乃至２０３は、それぞれ帳票１０１乃至１０３を含む。また、帳票画像２０１乃至２０３には、文字行領域３０１乃至３０３が設定されている。

また、プロセッサ３１は、ＯＣＲ中間情報に基づいて、帳票画像２０１乃至２０３を補正する機能を有する。

プロセッサ３１は、オペレータの視認性が向上するように帳票画像の表示方法を補正した画像を生成する。ここでは、プロセッサ３１は、帳票画像の大きさ及び角度を補正した画像を生成する。

たとえば、プロセッサ３１は、ＯＣＲ中間情報の文字行情報に基づいて、帳票画像における文字行領域の高さを取得する。たとえば、プロセッサ１１は、「文字行のサイズ」などに基づいて、文字行領域の高さを取得する。

文字行領域の高さを取得すると、プロセッサ３１は、文字行領域の高さが所定の値（たとえば、画面表示の基準となる文字行の高さ）となるように帳票画像を拡大又は縮小する倍率を算出する。倍率を算出すると、プロセッサ３１は、当該倍率に従って帳票画像の大きさを補正する。

帳票画像の大きさを補正すると、プロセッサ３１は、「文字行の角度」に基づいて帳票画像の角度を補正する。ここでは、プロセッサ３１は、文字行領域の一辺（たとえば、長辺）が所定の傾き、例えば水平となるように、帳票画像の傾き（角度）を補正する。なお、プロセッサ３１は、「文字行の角度」と「帳票の角度」との相対角度に基づいて帳票画像の角度を補正してもよい。

また、プロセッサ３１は、帳票画像の角度を補正してから、帳票画像の大きさを補正してもよい。

図８は、プロセッサ３１が補正した帳票画像の例を示す。図８が示す例では、プロセッサ３１は、帳票画像２０１乃至２０３をそれぞれ補正して、補正後の帳票画像２０１’乃至２０３’を生成する。

補正後の帳票画像２０１’乃至２０３’における文字行領域の高さは、所定の値に揃っている。また、補正後の帳票画像２０１’は、文字行領域の長辺が所定の傾き、例えば水平となるように補正されている。

なお、１つの帳票画像に複数の文字行領域が設定されている場合、プロセッサ３１は、複数の文字行領域の高さの平均又は最小値を文字行領域の高さとして取得してもよい。また、この場合、プロセッサ３１は、複数の文字行領域の角度の平均値に基づいて、帳票画像の角度を補正してもよい。

また、プロセッサ３１は、補正後の帳票画像を表示して、オペレータから宛先の入力を受け付ける機能を有する。

帳票画像を補正すると、プロセッサ３１は、入出力インターフェース３６を通じて入出力装置４０の１つに補正後の帳票画像を表示させる。即ち、プロセッサ３１は、入出力装置４０の表示部４２に補正後の帳票画像を表示させる。

表示部４２が補正後の帳票画像を表示させると、オペレータは、補正後の帳票画像を目視して帳票に記載されている宛先を入出力装置４０の操作部４１に入力する。

プロセッサ３１は、入出力インターフェース３６を通じて、操作部４１に入力された宛先を取得する。

宛先を取得すると、プロセッサ３１は、取得された宛先を示す宛先情報を生成する。宛先情報を生成すると、プロセッサ３１は、通信部３５を通じて、生成された宛先情報を制御装置２０へ送信する。

なお、ＯＣＲ中間情報が帳票情報を含まない場合、プロセッサ３１は、入出力インターフェース３６を通じて、入出力装置４０の１つに荷物画像を表示させる。ここで、オペレータは、荷物画像を目視して帳票に記載されている宛先を入出力装置４０の操作部４１に入力する。

プロセッサ３１は、入出力インターフェース３６を通じて、操作部４１に入力された宛先を取得する。宛先を取得すると、プロセッサ３１は、取得された宛先を示す宛先情報を生成する。宛先情報を生成すると、プロセッサ３１は、通信部３５を通じて、生成された宛先情報を制御装置２０へ送信する。

次に、ＶＣＳ３０の動作例について説明する。
図９は、ＶＣＳ３０の動作例について説明するためのフローチャートである。

まず、ＶＣＳ３０のプロセッサ３１は、通信部３５を通じてＯＣＲ中間情報及び荷物画像を制御装置２０から受信する（Ｓ１１）。ＯＣＲ中間情報及び荷物画像を制御装置２０から受信すると、プロセッサ３１は、ＯＣＲ中間情報が帳票情報を含むかを判定する（Ｓ１２）。

ＯＣＲ中間情報が帳票情報を含むと判定すると（Ｓ１２、ＹＥＳ）、プロセッサ３１は、ＯＣＲ中間情報が含む帳票情報に基づいて、荷物画像から帳票画像を抽出する（Ｓ１３）。帳票画像を抽出すると、プロセッサ３１は、ＯＣＲ中間情報に基づいて帳票画像の大きさ及び傾きを補正する（Ｓ１４）。

帳票画像の大きさ及び傾きを補正すると、プロセッサ３１は、入出力インターフェース３６を通じて入出力装置４０の１つに補正後の帳票画像を表示させる（Ｓ１５）。入出力装置４０の１つに補正後の帳票画像を表示させると、プロセッサ３１は、入出力インターフェース３６を通じて、オペレータから宛先の入力を受け付ける（Ｓ１６）。

ＯＣＲ中間情報が帳票情報を含まないと判定すると（Ｓ１２、ＮＯ）、プロセッサ３１は、入出力インターフェース３６を通じて入出力装置４０の１つに荷物画像を表示させる（Ｓ１７）。入出力装置４０の１つに荷物画像を表示させると、プロセッサ３１は、入出力インターフェース３６を通じて、オペレータから宛先の入力を受け付ける（Ｓ１８）。

オペレータから宛先の入力を受け付ける（Ｓ１６又はＳ１８）と、プロセッサ３１は、通信部３５を通じて、Ｓ１６又はＳ１８で入力された宛先を示す宛先情報を制御装置２０に送信する（Ｓ１９）。
宛先情報を制御装置２０に送信すると、プロセッサ３１は、動作を終了する。

なお、プロセッサ３１は、帳票情報に基づいて帳票画像を補正してもよい。たとえば、プロセッサ３１は、帳票情報が示す「帳票のサイズ」及び「帳票の角度」に基づいて帳票画像の大きさ及び角度を補正してもよい。また、プロセッサ３１は、帳票情報に基づいて帳票画像の大きさ及び角度を補正した後に、さらに文字行情報に基づいて帳票画像の大きさ及び角度を補正してもよい。

また、ＯＣＲ中間情報は、文字行領域の頂点座標を示す文字行情報を含むものであってもよい。この場合、プロセッサ３１は、文字行領域の頂点座標から文字行領域の高さ及び角度を算出してもよい。

また、認識システム１は、複数のカメラ４及び複数のＯＣＲ装置１０を備えるものであってもよい。また、認識システム１は、複数のＶＣＳ３０を備えるものであってもよい。

以上のように構成された認識システムは、ＯＣＲ処理の過程で生成されたＯＣＲ中間情報をＶＣＳに送信する。認識システムは、ＯＣＲ中間情報に基づいて、オペレータが視認しやすくなるように帳票画像を補正する。その結果、認識システムは、オペレータが文字行を視認しやすい画像を表示することができる。
（第２の実施形態）
次に、第２の実施形態について説明する。
第２の実施形態に係る認識システム１は、制御装置２０が荷物画像から帳票画像を抽出する点で第１の実施形態に係るそれと異なる。従って、その他の点については同一の符号付して詳細な説明を省略する。

第２の実施形態に係る認識システム１の構成は、第１の実施形態のそれと同様であるため説明を省略する。

次に、制御装置２０が実現する機能について説明する。制御装置２０が実現する機能は、プロセッサ２１が内部メモリ、ＲＯＭ２２又はＮＶＭ２４などに格納されるプログラムを実行することで実現される。制御装置２０が実現する機能は、第１の実施形態に係る制御装置２０が実現する機能に加えて以下の機能を実現する。

プロセッサ２１は、ＯＣＲ中間情報及び帳票画像をＶＣＳ３０に送信する機能を有する。
前述の通り、プロセッサ２１は、通信部２５を通じて、ＯＣＲ装置１０からＯＣＲ中間情報及び荷物画像を受信する。ＯＣＲ中間情報及び荷物画像を受信すると、プロセッサ２１は、ＯＣＲ中間情報が帳票情報を含むかを判定する。

ＯＣＲ中間情報が帳票情報を含むと判定すると、プロセッサ２１は、ＯＣＲ中間情報の帳票情報に基づいて、荷物画像に帳票領域を設定する。帳票領域を設定すると、プロセッサ３１は、帳票領域の内部の画像を帳票画像として取得する。

帳票画像を取得すると、プロセッサ２１は、通信部２５を通じて、ＯＣＲ中間情報及び帳票画像をＶＣＳ３０に送信する。

なお、ＯＣＲ中間情報が帳票情報を含まないと判定すると、プロセッサ２１は、通信部２５を通じて、荷物画像をＶＣＳ３０に送信する。この場合、プロセッサ２１は、ＯＣＲ中間情報をＶＣＳ３０に送信しなくともよい。

次に、ＶＣＳ３０が実現する機能について説明する。ＶＣＳ３０が実現する機能は、プロセッサ２１が内部メモリ、ＲＯＭ２２又はＮＶＭ２４などに格納されるプログラムを実行することで実現される。ＶＣＳ３０が実現する機能は、第１の実施形態に係るＶＣＳ３０が実現する機能に加えて以下の機能を実現する。

プロセッサ３１は、制御装置２０からデータに応じて宛先情報を制御装置２０に送信する機能を有する。

プロセッサ３１は、通信部３５を通じて、データを制御装置２０から受信する。
データがＯＣＲ中間情報及び帳票画像を含む場合、プロセッサ３１は、ＯＣＲ中間情報に基づいて帳票画像を補正する。プロセッサ３１が帳票画像を補正する動作例は、第１の実施形態のそれと同様であるため説明を省略する。

帳票画像を補正すると、第１の実施形態と同様に、プロセッサ３１は、補正後の帳票画像を表示して、オペレータから宛先の入力を受け付ける。宛先の入力を受け付けると、プロセッサ３１は、通信部３５を通じて、入力された宛先を示す宛先情報を制御装置２０に送信する。

また、データが荷物画像を含む場合、第１の実施形態と同様に、プロセッサ３１は、荷物画像を表示して、オペレータから宛先の入力を受け付ける。宛先の入力を受け付けると、プロセッサ３１は、通信部３５を通じて、入力された宛先を示す宛先情報を制御装置２０に送信する。

次に、制御装置２０の動作例について説明する。
図１０は、制御装置２０の動作例について説明するためのフローチャートである。

まず、制御装置２０のプロセッサ２１は、通信部２５を通じてＯＣＲ中間情報及び荷物画像をＯＣＲ装置１０から受信する（Ｓ２１）。ＯＣＲ中間情報及び荷物画像をＯＣＲ装置１０から受信すると、プロセッサ２１は、ＯＣＲ中間情報が帳票情報を含むかを判定する（Ｓ２２）。

ＯＣＲ中間情報が帳票情報を含むと判定すると（Ｓ２２、ＹＥＳ）、プロセッサ２１は、ＯＣＲ中間情報が含む帳票情報に基づいて、荷物画像から帳票画像を抽出する（Ｓ２３）。帳票画像を抽出すると、プロセッサ２１は、通信部２５を通じて、ＯＣＲ中間情報及び帳票画像をＶＣＳ３０に送信する（Ｓ２４）。

ＯＣＲ中間情報が帳票情報を含まないと判定すると（Ｓ２２、ＮＯ）、プロセッサ２１は、通信部２５を通じて、荷物画像をＶＣＳ３０に送信する（Ｓ２５）。

ＯＣＲ中間情報及び帳票画像をＶＣＳ３０に送信した場合（Ｓ２４）、又は、荷物画像をＶＣＳ３０に送信した場合（Ｓ２５）、プロセッサ２１は、通信部２５を通じて宛先情報をＶＣＳ３０から受信するまで待機する。

宛先情報をＶＣＳ３０から受信すると（Ｓ２６）、プロセッサ２１は、通信部２５を通じて宛先情報を区分装置２に送信する（Ｓ２７）。
宛先情報を区分装置２に送信すると、プロセッサ２１は、動作を終了する。

次に、ＶＣＳ３０の動作例について説明する。
図１１は、ＶＣＳ３０の動作例について説明するためのフローチャートである。

まず、ＶＣＳ３０のプロセッサ３１は、通信部３５を通じてデータを制御装置２０から受信する（Ｓ３１）。データを制御装置２０から受信すると、プロセッサ３１は、データがＯＣＲ中間情報及び帳票情報を含むかを判定する（Ｓ３２）。

データがＯＣＲ中間情報及び帳票情報を含むと判定すると（Ｓ３２、ＹＥＳ）、プロセッサ３１は、ＯＣＲ中間情報に基づいて帳票画像の大きさ及び傾きを補正する（Ｓ３３）。

帳票画像の大きさ及び傾きを補正すると、プロセッサ３１は、入出力インターフェース３６を通じて入出力装置４０の１つに補正後の帳票画像を表示させる（Ｓ３４）。入出力装置４０の１つに補正後の帳票画像を表示させると、プロセッサ３１は、入出力インターフェース３６を通じて、オペレータから宛先の入力を受け付ける（Ｓ３５）。

データがＯＣＲ中間情報及び帳票情報を含まない（荷物画像を含む）と判定すると（Ｓ３２、ＮＯ）、プロセッサ３１は、入出力インターフェース３６を通じて入出力装置４０の１つに荷物画像を表示させる（Ｓ３６）。入出力装置４０の１つに荷物画像を表示させると、プロセッサ３１は、入出力インターフェース３６を通じて、オペレータから宛先の入力を受け付ける（Ｓ３７）。

オペレータから宛先の入力を受け付ける（Ｓ３５又はＳ３７）と、プロセッサ３１は、通信部３５を通じて、Ｓ３５又はＳ３７で入力された宛先を示す宛先情報を制御装置２０に送信する（Ｓ３８）。
宛先情報を制御装置２０に送信すると、プロセッサ３１は、動作を終了する。

以上のように構成された認識システムは、制御装置において帳票画像を抽出してＶＣＳに送信する。その結果、認識システムは、制御装置とＶＣＳとの間の通信量を抑制することができる。
（第３の実施形態）
次に、第３の実施形態について説明する。
第３の実施形態に係る認識システム１は、オペレータに宛先を入力する帳票を選択させる点で第１の実施形態のそれと異なる。従って、その他の点については同一の符号付して詳細な説明を省略する。

第３の実施形態に係る認識システム１の構成は、第１の実施形態のそれと同様であるため説明を省略する。

次に、ＶＣＳ３０が実現する機能について説明する。ＶＣＳ３０が実現する機能は、プロセッサ２１が内部メモリ、ＲＯＭ２２又はＮＶＭ２４などに格納されるプログラムを実行することで実現される。ＶＣＳ３０が実現する機能は、第１の実施形態に係るＶＣＳ３０が実現する機能に加えて以下の機能を実現する。

まず、プロセッサ３１は、宛先を入力する帳票の選択を受け付ける機能を有する。
たとえば、帳票画像を補正すると、プロセッサ３１は、入出力インターフェース３６を通じて入出力装置４０の１つに帳票の選択を受け付ける画面（選択画面）を表示させる。

図１２は、入出力装置４０が表示する選択画面の例を示す。図１２が示すように、選択画面は、荷物画像２００に帳票を選択するアイコン４０１乃至４０３を重ねて表示する。図１２が示す例では、選択画面は、帳票１０１乃至１０３上にそれぞれ数値を含むアイコン４０１乃至４０３を表示する。

オペレータは、帳票を選択する操作として、操作部４１を通じてアイコン４０１乃至４０３の何れかへのタップを入力又は数値を入力する。
プロセッサ３１は、操作部４１を通じて、オペレータから帳票を選択する操作の入力を受け付ける。

また、プロセッサ３１は、選択された帳票に対応する補正後の帳票画像を表示して、オペレータから宛先の入力を受け付ける機能を有する。

帳票の選択を受け付けると、プロセッサ３１は、入出力インターフェース３６を通じて入出力装置４０の１つに、選択された帳票に対応する補正後の帳票画像を表示させる。即ち、プロセッサ３１は、入出力装置４０の表示部４２に、選択された帳票に対応する補正後の帳票画像を表示させる。

表示部４２が選択された帳票に対応する補正後の帳票画像を表示させると、オペレータは、選択された帳票に対応する補正後の帳票画像を目視して帳票に記載されている宛先を入出力装置４０の操作部４１に入力する。

プロセッサ３１は、入出力インターフェース３６を通じて、操作部４１に入力された宛先を取得する。

宛先を取得すると、プロセッサ３１は、取得された宛先を示す宛先情報を生成する。宛先情報を生成すると、プロセッサ３１は、通信部３５を通じて、生成された宛先情報を制御装置２０へ送信する。

次に、ＶＣＳ３０の動作例について説明する。
図１３は、ＶＣＳ３０の動作例について説明するためのフローチャートである。

まず、ＶＣＳ３０のプロセッサ３１は、通信部３５を通じてＯＣＲ中間情報及び荷物画像を制御装置２０から受信する（Ｓ４１）。ＯＣＲ中間情報及び荷物画像を制御装置２０から受信すると、プロセッサ３１は、ＯＣＲ中間情報が帳票情報を含むかを判定する（Ｓ４２）。

ＯＣＲ中間情報が帳票情報を含むと判定すると（Ｓ４２、ＹＥＳ）、プロセッサ３１は、ＯＣＲ中間情報が含む帳票情報に基づいて、荷物画像から帳票画像を抽出する（Ｓ４３）。帳票画像を抽出すると、プロセッサ３１は、ＯＣＲ中間情報に基づいて帳票画像の大きさ及び傾きを補正する（Ｓ４４）。

帳票画像の大きさ及び傾きを補正すると、プロセッサ３１は、入出力インターフェース３６を通じて帳票を選択する操作の入力を受け付ける（Ｓ４５）。帳票を選択する操作の入力を受け付けると、プロセッサ３１は、入出力装置４０の１つに選択された帳票に対応する補正後の帳票画像を表示させる（Ｓ４６）。

入出力装置４０の１つに選択された帳票に対応する補正後の帳票画像を表示させると、プロセッサ３１は、入出力インターフェース３６を通じて、オペレータから宛先の入力を受け付ける（Ｓ４７）。

ＯＣＲ中間情報が帳票情報を含まないと判定すると（Ｓ４２、ＮＯ）、プロセッサ３１は、入出力インターフェース３６を通じて入出力装置４０の１つに荷物画像を表示させる（Ｓ４８）。入出力装置４０の１つに荷物画像を表示させると、プロセッサ３１は、入出力インターフェース３６を通じて、オペレータから宛先の入力を受け付ける（Ｓ４９）。

オペレータから宛先の入力を受け付ける（Ｓ４７又はＳ４９）と、プロセッサ３１は、通信部３５を通じて、Ｓ４７又はＳ４９で入力された宛先を示す宛先情報を制御装置２０に送信する（Ｓ５０）。
宛先情報を制御装置２０に送信すると、プロセッサ３１は、動作を終了する。

なお、プロセッサ３１は、複数の帳票を選択する操作の入力を受け付けてもよい。たとえば、プロセッサ３１は、１つの帳票に記載されている宛先の入力を受け付けると、再度、帳票を選択する操作の入力を受け付けてもよい。即ち、プロセッサ３１は、オペレータの操作に従って、Ｓ４５乃至Ｓ４７を複数回繰り返してもよい。

また、認識システム１は、第２の実施形態に係る認識システム１の特徴を備えるものであっても良い。

以上のように構成された認識システムは、オペレータの操作に従って帳票を選択する。認識システムは、選択された帳票に対応する補正後の帳票画像を表示してオペレータから宛先の入力を受け付ける。その結果、認識システムは、オペレータの入力効率を向上させることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…認識システム、２…区分装置、３…管理装置、４…カメラ、１０…ＯＣＲ装置、１１…プロセッサ、１２…ＲＯＭ、１３…ＲＡＭ、１４…ＮＶＭ、１５…通信部、１６…操作部、１７…表示部、１８…カメラインターフェース、２０…制御装置、２１…プロセッサ、２２…ＲＯＭ、２３…ＲＡＭ、２４…ＮＶＭ、２５…通信部、２６…操作部、２７…表示部、３０…ＶＣＳ、３１…プロセッサ、３２…ＲＯＭ、３３…ＲＡＭ、３４…ＮＶＭ、３５…通信部、３６…入出力インターフェース、４０…入出力装置、４１…操作部、４２…表示部、１００…荷物、１０１…帳票、１０２…帳票、１０３…帳票、２００…荷物画像、２０１…帳票画像、２０１’…帳票画像、２０２…帳票画像、２０３…帳票画像、２０３’…帳票画像、３０１…文字行領域、３０２…文字行領域、３０３…文字行領域、４０１…アイコン、４０２…アイコン、４０３…アイコン。

Claims (10)

1. 外部装置及び入出力装置とデータを送受信するインターフェースと、
   前記インターフェースを通じて、文字行が記載されている帳票を含む画像に対するＯＣＲ処理の過程で生成されるＯＣＲ中間情報を前記外部装置から受信し、
   前記ＯＣＲ中間情報に基づいて、前記帳票が写る帳票画像の表示方法を補正し、
   前記インターフェースを通じて、前記入出力装置に補正後の前記帳票画像を表示させ、
   前記インターフェースを通じて、前記入出力装置に入力された文字を取得し、
   前記インターフェースを通じて、取得された前記文字に基づく文字情報を前記外部装置に送信する、
   プロセッサと、
   を備える情報処理装置。
2. 前記プロセッサは、前記帳票画像の大きさ又は傾きを補正する、
   請求項１に記載の情報処理装置。
3. 前記ＯＣＲ中間情報は、前記画像において前記文字行が写る文字行領域のサイズ及び傾きを含む、
   請求項１又は２に記載の情報処理装置。
4. 前記プロセッサは、前記文字行領域の高さに基づいて、前記帳票画像の大きさを補正する、
   請求項３に記載の情報処理装置。
5. 前記プロセッサは、前記文字行領域の一辺が所定の傾きとなるように、前記帳票画像の傾きを補正する、
   請求項３又は４に記載の情報処理装置。
6. 前記ＯＣＲ中間情報は、前記帳票が写る帳票領域に関する帳票情報を含み、
   前記プロセッサは、
   前記インターフェースを通じて、前記画像を前記外部装置から受信し、
   前記帳票情報に基づいて、前記画像から前記帳票画像を抽出する、
   請求項１乃至５の何れか１項に記載の情報処理装置。
7. 前記プロセッサは、前記インターフェースを通じて、前記帳票画像を前記外部装置から受信する、
   請求項１乃至５の何れか１項に記載の情報処理装置。
8. 前記プロセッサは、
   前記インターフェースを通じて、前記帳票を選択する操作の入力を受け付け、
   前記インターフェースを通じて、前記入出力装置に選択された前記帳票に対応する補正後の前記帳票画像を表示させる、
   請求項１乃至７の何れか１項に記載の情報処理装置。
9. 前記文字行は、宛先である、
   請求項１乃至８の何れか１項に記載の情報処理装置。
10. プロセッサによって実行されるプログラムであって、
    前記プロセッサに、
    文字行が記載されている帳票を含む画像に対するＯＣＲ処理の過程で生成されるＯＣＲ中間情報を外部装置から受信する機能と、
    前記ＯＣＲ中間情報に基づいて、前記帳票が写る帳票画像の表示方法を補正する機能と、
    入出力装置に補正後の前記帳票画像を表示させる機能と、
    前記入出力装置に入力された文字を取得する機能と、
    取得された前記文字に基づく文字情報を前記外部装置に送信する機能と、
    を実現させるプログラム。