JP6011214B2 - 画像処理システムおよび画像処理方法 - Google Patents

Description

本発明は、入力画像から文字情報を取得する画像処理システムおよび画像処理方法に関する。

ＦＡ（Factory Automation）分野などにおいては、製造過程の半製品や出荷前の製品などに生じる欠陥を光学的に検出したり、その大きさを光学的に計測したりする装置として、いわゆる視覚センサが実用化されている。

このような視覚センサの利用形態の一つとして、対象物を撮像することで得られる入力画像に対して文字認識を実行することで、入力画像から文字情報を取得する形態がある。このような文字認識は、入力画像内の部分画像と予め定められた文字のイメージや特徴量との一致度合いなどを算出して文字を認識（特定）する。

このような文字認識処理の一例として、特開平０２−０７２４９７号公報（特許文献１）は、読取フィールド内に記録された文字について、フォーマットコントロールデータに基づいて読取処理を行う光学的文字読取装置を開示する。このフォーマットコントロールデータには、読取フィールドの位置、記録される文字の文字種、文字フォント、文字ピッチ等の情報が含まれており、このようなフォーマットコントロールデータを用いることで、読み取り精度を高めることができる。

また、特開平０６−０３６０６９号公報（特許文献２）は、書式制御情報の字種の指定に正規表現を使用することにより詳細な指定を可能にして、認識率を向上させる文字認識装置を開示する。

これらの先行技術文献によれば、書式制御情報（フォーマットコントロールデータ）を予め指定することで、認識率を向上させる技術が開示されている。

特開平０２−０７２４９７号公報 特開平０６−０３６０６９号公報

上述のように書式制御情報を設定する際には、その入力規則をユーザが知っておく必要がある。現実的には、ヘルプ画面やマニュアルに入力規則を記載しておき、ユーザは、これらを参照しながら書式制御情報を入力することになる。

しかしながら、表示画面が比較的狭い場合などには、ヘルプ画面を表示するための領域を十分に確保することができないことがある。また、ユーザが紙ベースのマニュアルを参照しながら、書式制御情報を入力することは煩わしい。さらに、入力規則に不慣れなユーザは、書式制御情報の入力に時間を要してしまう。

本発明は、このような課題を解決するためのものであり、その目的は、入力規則などを知らないユーザであっても、文字認識に用いられる制約条件を容易に設定することのできるユーザインターフェイスを備えた画像処理システムおよび画像処理方法を提供することである。

本発明のある局面によれば、入力画像から文字情報を取得する画像処理システムが提供される。画像処理システムは、予め定められた制約条件の下で、入力画像に含まれる領域に対して文字認識を実行する処理部と、制約条件の設定を受付ける表示操作部とを含む。制約条件は、認識対象の文字別に、少なくとも文字種別の指定を含む。表示操作部は、設定されている制約条件を示す領域と、指定可能な複数の文字種別にそれぞれ関連付けられた複数のオブジェクトとを並べて表示するとともに、いずれかのオブジェクトが選択されると、選択されたオブジェクトに関連付けられた文字種別を制約条件に追加する。

好ましくは、制約条件は、各文字種別に対応付けられた記号を用いて表示され、オブジェクトの各々では、関連付けられた文字種別を示すメッセージとともに、当該文字種別に対応する記号が表示される。

好ましくは、制約条件は、特定文字の指定をさらに含み、表示操作部は、指定可能な特定文字に関連付けられたオブジェクトをさらに表示する。

さらに好ましくは、表示操作部は、表示切替が選択されると、文字種別に関連付けられたオブジェクトに代えて、指定可能な複数の特定文字にそれぞれ関連付けられた複数のオブジェクトを、予め定められた配列に従って配置した状態で表示する。

好ましくは、表示操作部は、認識対象の文字列を含む参照画像に対して文字認識を実行することで取得される文字情報から文字別の文字種別を決定し、制約条件の初期値として設定する。

さらに好ましくは、表示操作部は、設定されている制約条件とともに、参照画像を表示する。

本発明のある局面によれば、入力画像から文字情報を取得する画像処理方法が提供される。画像処理方法は、文字認識に係る制約条件の設定を受付けるための画面を提示するステップと、設定された制約条件の下で、入力画像に含まれる領域に対して文字認識を実行するステップとを含む。制約条件は、認識対象の文字別に、少なくとも文字種別の指定を含む。画面を提示するステップは、設定されている制約条件を示す領域と、指定可能な複数の文字種別にそれぞれ関連付けられた複数のオブジェクトとを並べて表示するステップと、いずれかのオブジェクトが選択されると、選択されたオブジェクトに関連付けられた文字種別を制約条件に追加するステップとを含む。

本発明によれば、入力規則などを知らないユーザであっても、文字認識に用いられる制約条件を容易に設定できる。

本実施の形態に係る画像処理システムの全体構成を示す外観図である。 本実施の形態に係る画像処理システムの機能的構成を示す模式図である。 本実施の形態に係る画像処理システムにおける文字認識の処理内容を示す模式図である。 本実施の形態に係る画像処理システムが提供する文字フォーマットを設定するためのユーザインターフェイス画面の一例を示す模式図である。 本実施の形態に係る画像処理システムが提供する文字フォーマットを設定するためのユーザインターフェイス画面の一例を示す模式図である。 本実施の形態に係る画像処理システムにおいて入力画像から文字情報を取得する画像処理方法に係る処理手順を示すフローチャートである。 本実施の形態の変形例に係る画像処理システムにおける文字フォーマットの設定処理を説明する概念図である。 本実施の形態の変形例に係る画像処理システムが提供する文字フォーマットを設定するためのユーザインターフェイス画面の一例を示す模式図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

［Ａ．画像処理システムの装置構成］
まず、本実施の形態に係る画像処理システムの装置構成について説明する。図１は、本実施の形態に係る画像処理システム１の全体構成を示す外観図である。図２は、本実施の形態に係る画像処理システム１の機能的構成を示す模式図である。

図１を参照して、本実施の形態に係る画像処理システム１は、例えば、生産ラインなどに組込まれる。図１に示す画像処理システム１は、その一つの機能として、入力画像から文字情報を取得する。より具体的には、視覚センサ２００は、対象物（後述の「ワーク２」）を撮像することで得られる入力画像に対して文字認識を実行することで、入力画像から文字情報を取得する機能を有する。特に、視覚センサ２００は、予め定められた制約条件の下で、文字認識を実行する。この文字認識の結果として、テキストデータを出力するようにしてもよい。

本明細書において、「制約条件」は、文字認識の実行にあたって、認識候補をより限定するための条件であり、以下では「文字フォーマット」とも記す。典型的には、制約条件（文字フォーマット）は、認識対象の文字別に文字種別の指定（英数字、英文字、数字文字、記号文字、特殊文字、漢字、ひらがな、カタカナなど）、特定文字の指定（アルファベットの各文字「Ａ」，「Ｂ」，…、記号の各文字「’」，「−」，…、ひらがなの各文字「あ」，「い」，…、カタカナの各文字「ア」，「イ」，…）、フォント種別の指定、文字サイズ（フォントサイズ）の指定などを含む。このような文字フォーマットを予め指定することで、印字形式が予め定められているワーク（製品／半製品）などに対する認識率を向上（誤認識率を低下）させることができる。

例えば、「英文字」、「英文字」、「数字」の順に文字フォーマットが指定されていれば、入力画像中の複数の文字列を含む文字領域に対して、１文字目は、「英文字」に属する文字候補から最も一致度の高いものが選択され、２文字目は、「英文字」に属する文字候補から最も一致度の高いものが選択され、３文字目は、「数字」に属する文字候補から最も一致度の高いものが選択される。このような制約条件、すなわち文字認識の対象を限定することで、処理を高速化するとともに、認識率を向上させることができる。なお、文字フォーマットの詳細については後述する。

なお、視覚センサ２００において実行される文字認識は、入力画像に含まれる文字領域を読み取ってその内容を示すテキストデータを出力する処理に加えて、文字フォーマットに含まれる特定文字との一致度が高く、かつ指定された文字種別での認識確度が高い領域を抽出する処理を含む。すなわち、後者の処理では、指定された文字フォーマットとの一致度が高い１つ以上領域を入力画像から抽出する。

より具体的には、画像処理システム１は、視覚センサ２００と表示操作部２０１とを含む。視覚センサ２００と表示操作部２０１との間は、伝送ケーブル２０２を介して、所定のプロトコルに従って通信可能に構成されている。

表示操作部２０１は、上記の文字フォーマットの設定を受付けるとともに、視覚センサ２００により撮像された入力画像や処理結果などを表示する。すなわち、ユーザは、表示操作部２０１を操作して、文字フォーマットなどの処理に係る情報を送信することにより、視覚センサ２００での画像処理や撮像処理を制御する。図１には、表示操作部２０１に１台の視覚センサ２００が接続されている例を示すが、伝送ケーブル２０２および図示しないハブとを介して、表示操作部２０１に複数の視覚センサ２００が接続されるようにしてもよい。

図１に示す画像処理システム１では、入力画像を取得する機能および入力画像に対して文字認識を実行する機能が視覚センサ２００に実装され、文字認識の実行に必要な各種パラメータを指定する機能および文字認識の結果を表示する機能が表示操作部２０１に実装される例を示すが、この構成に限られるものではない。例えば、すべての機能を単体の画像処理装置に実装してもよいし、各機能を別々の装置に実装してもよい。あるいは、対象物を撮像して入力画像を取得する機能を撮像装置に実装し、残りの機能を画像処理装置に実装するようにしてもよい。本願発明の技術的範囲は、特許請求の範囲に記載された構成を有するものであれば、いずれの実装形態も含まれ得る。

視覚センサ２００は、ＩＯケーブル２０３を介して、ＰＬＣ（Programmable Logic Controller）２５０と通信可能に接続されている。ＰＬＣ２５０は、他の装置からの信号を受信したり、当該他の装置に信号を送信したりすることによって、画像処理システム１の全体を制御する。

視覚センサ２００は、撮像部２１２および処理部２１３を含み、撮像部２１２は、照明部２１１および撮像レンズ２２１を含む。処理部２１３は、マイクロコンピュータを内蔵する。視覚センサ２００の筐体には、視覚センサ２００を図示しない支持部材に取付けるための取付部２１４が設けられる。

表示操作部２０１は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Organic Electro-Luminescence）などのディスプレイと、指やスタイラスでディスプレイに触れることで指示を受付けるための検出部とが一体的に構成されたタッチパネル２０４を有する。

表示操作部２０１は、ユーザが設定した文字フォーマット３００を視覚センサ２００へ送信し、視覚センサ２００は、対象物を撮像することで取得された入力画像、および当該取得した入力画像３１０に対して文字認識を実行することで得られた文字認識の結果を含む処理結果３２０を表示操作部２０１へ送信する。

次に、図２を参照して、視覚センサ２００および表示操作部２０１の機能的構成について説明する。

視覚センサ２００は、対象物であるワーク２を照明する照明部２１１と、ワーク２を撮像するための撮像部２１２と、処理部２１３とを含む。照明部２１１は、照明用レンズ２２４と光源であるＬＥＤ（Light Emitting Diode）２２５とを有する照明制御システム２２３を含む。撮像部２１２は、撮像レンズ２２１および撮像素子２２２を含む。

処理部２１３は、図示されないランプなどの表示灯（インジケータ）を制御する表示灯制御部２２７と、視覚センサ２００の各種処理を実行するＣＰＵ２２６と、各部に電力を供給する電源部２２８と、伝送ケーブル２０２に接続される通信システム２２９と、外部機器との間で入出力データを遣り取りする入出力システム２３０と、文字フォーマット３００および文字認識データベース３３０に加えて、入力画像や処理結果などの各種データを格納するためのメモリ２３１とを含む。文字認識データベース３３０は、文字認識を行うための各文字に関する情報（パターンや特徴量）を含む。

表示操作部２０１は、各部に電力を供給する電源部２４０と、外部から指示を受付けるための検出部２４１およびディスプレイ２４２からなるタッチパネル２０４と、ディスプレイ２４２での表示を制御する表示ドライバ２４３と、表示ドライバ２４３を介してディスプレイ２４２に表示される画像を制御する表示制御部２４４と、画像を格納する画像保存部２４５と、視覚センサ２００から受信した画像を取扱う画像制御部２４６と、視覚センサ２００との間でデータを遣り取りする伝送部２４７とを含む。

表示操作部２０１は、視覚センサ２００に対して着脱自在に構成されており、典型的な使用形態として、製造現場などにおいて製造ラインを巡回するユーザが携帯可能なように小型化されている。そのため、表示操作部２０１のディスプレイ２４２のサイズも小さくなっている。

ディスプレイ２４２は、表示ドライバ２４３からの制御信号に基づいて、画像を表示する。表示ドライバ２４３は、表示制御部２４４からの画像信号に基づいて、ディスプレイ２４２の表示処理を制御するための制御信号を生成し、ディスプレイ２４２に出力する。

表示制御部２４４は、検出部２４１を介したユーザからの指示、画像制御部２４６から提供される画面情報、伝送部２４７を介して視覚センサ２００から提供される入力画像や処理結果などに基づいて、ユーザインターフェイス画面を生成し、表示ドライバ２４３を介してディスプレイ２４２上に表示する。

また、表示制御部２４４は、検出部２４１を介したユーザからの指示に基づいて設定される文字フォーマットなどのパラメータを、伝送部２４７を介して視覚センサ２００へ送信する。

図２に示す機能構成は、プロセッサがプログラムを実行することで実現されてもよい。あるいは、視覚センサ２００および／または表示操作部２０１の主たる処理回路およびその周辺回路を含めて、ＡＳＩＣ（Application Specific Integrated Circuit）などの専用集積回路を用いて実現してもよい。

［Ｂ．文字フォーマット］
次に、画像処理システム１で扱う文字フォーマットについて説明する。本実施の形態に係る画像処理システム１では、文字フォーマットの一例として、「数字文字」、「英字文字」、「英数字」、「記号文字」といった文字種別を指定できる。これらの文字種別は、認識対象の文字別に指定可能になっている。

「数字文字」は、数字文字「０」，「１」，…，「９」（認識対象：「０」〜「９」）を指定する。画像処理システム１においては、「数字文字」は記号「＃」で示されるとする。

「英字文字」は、英文字「Ａ」，「Ｂ」，…，「Ｚ」（認識対象：「Ａ」〜「Ｚ」）を指定する。画像処理システム１においては、「英字文字」は記号「＄」で示されるとする。なお、「英字文字」として、大文字／小文字を区別するようにしてもよい。このとき、大文字および小文字のそれぞれをより細分化された文字種別としてもよい。例えば、文字種別としては、「英数大文字」および「英数小文字」といった具合である。

「英数字」は、「数字文字」および「英字文字」を包含する文字種別（認識対象：記号文字以外のすべての文字）である。画像処理システム１においては、「数字文字」は記号「？」で示されるとする。

「記号文字」は、記号文字「’」（アポストロフィー），「−」（ハイフン），「．」（ピリオド），「：」（コロン），「／」（スラッシュ）（認識対象：「’」「−」「．」「：」「／」）を指定する。画像処理システム１においては、「記号文字」は記号「＠」で示されるとする。

このようなワイルドカード（「＃」，「？」，「＠」）を指定することで、例えば、０（ゼロ）とＯ（オー）との間での誤認識などを防止できる。

また、画像処理システム１では、上述の文字種別に加えて、特定文字の指定が可能になっている。特定文字とは、認識可能な文字から選択された１つの文字を意味し、数字文字「０」，「１」，…，「９」、英文字「Ａ」，「Ｂ」，…，「Ｚ」、および記号文字「’」，「−」，「．」，「：」，「／」のうち、いずれか１つが選択される。この特定文字が指定された場合には、認識対象の部分画像との間で、指定された特定文字との間についてのみ、類似度の算出処理や安定度の判定処理が実行される。そして、対象の部分画像が指定された特定文字と一致しているか否かが判断される。

これらの文字種別や特定文字の指定に加えて、文字認識の対象から除外する文字属性を指定することもできる。文字認識の対象外になる文字は記号「＊」で示されるとし、スキップを意味する。スキップ属性が指定された場合には、類似度の算出処理や安定度の判定処理がスキップされる。このとき、検出文字数からも除外されるようにしてもよい。このようなスキップ属性を指定することで、誤認識し易い文字などを対象から除外することができ、文字認識処理をより安定的に実行できる。

［Ｃ．文字認識処理］
次に、上述の文字フォーマットを用いた文字認識処理について説明する。図３は、本実施の形態に係る画像処理システム１における文字認識の処理内容を示す模式図である。

図３を参照して、視覚センサ２００では、対象物を撮像することで得られる入力画像３１０から文字領域３１２が抽出される。この文字領域３１２は、入力画像３１０に対してエッジ抽出処理や特徴量抽出処理などによって特定される。さらに、文字領域３１２に含まれる各文字の領域（部分画像）が抽出される。この各文字のイメージに対応する領域（部分画像）の抽出処理は、公知の技術を採用できるので、ここではその詳細な説明は行わない。

続いて、視覚センサ２００は、各文字の領域に対して文字認識を実行する。この文字認識について、文字認識データベース３３０が予め用意されている。文字認識データベース３３０は、典型的には、文字毎にそれを特定するための識別情報（パターンや特徴量）を含む。文字認識データベース３３０に格納される各文字について、対応する文字種別が付加されている。すなわち、数字文字「０」，「１」，…，「９」については、文字種別が「数字文字」であり、英文字「Ａ」，「Ｂ」，…，「Ｚ」については、文字種別が「英文字」であることが情報として付加されている。

図３は文字認識の処理の典型例を示すものであり、本発明において、文字認識処理の実装としては、任意の方法を採用できる。

視覚センサ２００は、文字フォーマット３００の下で、文字認識データベース３３０を参照して各文字の領域（部分画像）に対応する文字を特定する。図３に示す文字フォーマット３００では、「＄＄＄＠＃＃＃」が指定されている。なお、文字フォーマット３００の記述方式は、図３に示すものに限られることなく、任意の記述方式を採用できる。

図３に示す文字フォーマットは、左から第１〜３番目の文字が「英字文字」であり、第４番目の文字が「記号文字」であり、第５〜７番目の文字が「数字文字」であることを示す。そのため、視覚センサ２００は、文字領域３１２に含まれる第１〜３番目の各文字について、文字認識データベース３３０に含まれる英字文字の各文字を候補として、一致度を算出する。すなわち、視覚センサ２００は、まず、文字領域３１２に含まれる第１番目の文字と英文字「Ａ」，「Ｂ」，…，「Ｚ」との間で一致度をそれぞれ算出する。そして、（基本的には）文字候補のうち最も一致度の高いものを認識結果として出力する。以下、視覚センサ２００は、文字領域３１２に含まれる第２番目以降の各文字について、同様の処理を繰返す。

このような文字フォーマット３００を用いることで、図３に示す例では、文字領域３１２の第２番目に「Ｉ（アイ）」があり、文字領域３１２の第３番目に「Ｏ（オー）」があるが、これらをそれぞれ「１（いち）」および「０（ゼロ）」と誤って認識することを防止できる。同様に、図３に示す例では、文字領域３１２の第５番目に「１（いち）」があり、文字領域３１２の第７番目に「０（ゼロ）」があるが、これらをそれぞれ「Ｉ（アイ）」および「Ｏ（オー）」と誤って認識することを防止できる。

例えば、商品の型番、価格、製造年月日、識別番号などは、その印字フォーマットが予め定まっている場合が多いので、このような文字フォーマットを容易に適用することができ、これによって認識率を向上（誤認識率を低下）させることができる。

上述したように、文字フォーマット３００としては、特定文字を指定することもできる。特定文字を指定した場合には、一種のパターンマッチング処理が実行される。すなわち、図３に示す例において、文字フォーマット３００として、例えば、「＄＄＄：＃＃＃」が指定されると、文字領域３１２に含まれる第４番目の文字と「：」（コロン）との間の一致度が算出され、その算出された一致度が予め定められた値より高い場合に限って有効な認識結果として出力される。そのため、文字領域３１２に含まれる第４番目の文字が「：」（コロン）として認識されるもののみが抽出されることになる。この場合には、入力画像３１０から複数の文字領域３１２が抽出されることもある。

［Ｄ．文字フォーマット設定］
次に、上述の文字フォーマットを設定するためのユーザインターフェイスについて説明する。本実施の形態に係る画像処理システム１は、動作モードとして、文字認識処理を含む計測処理に係る各種パラメータを調整するための調整モードと、実際に計測処理を実行する運転モードとを含む。以下に示すユーザインターフェイス画面は、基本的には、調整モードにおいて表示されるが、運転モードにおいて表示してもよい。

図４および図５は、本実施の形態に係る画像処理システム１が提供する文字フォーマットを設定するためのユーザインターフェイス画面の一例を示す模式図である。図４および図５に示すユーザインターフェイス画面４００Ａ，４００Ｂは、表示操作部２０１において提供される。

図４に示すユーザインターフェイス画面４００Ａにおいて、設定されている文字フォーマットを示す表示領域４０２と、指定可能な複数の文字種別にそれぞれ関連付けられた複数のオブジェクト４１０とが並べて、すなわち同一画面内に表示されている。図４に示す例では、現在指定されている文字フォーマットが表示領域４０２に表示されており、ユーザがオブジェクト４１０のうちいずれかを選択すると、当該選択されたオブジェクトに対応する文字フォーマットが追加される。すなわち、表示操作部２０１は、いずれかのオブジェクトが選択されると、選択されたオブジェクトに関連付けられた文字種別を文字フォーマットに追加する。

より具体的には、複数のオブジェクト４１０は、「数字文字」を指定するオブジェクト４１１と、「数字文字」を指定するオブジェクト４１２と、「英字文字」を指定するオブジェクト４１３と、「記号文字」を指定するオブジェクト４１４と、「スキップ属性」を指定するオブジェクト４１５とを含む。典型的には、表示操作部２０１は、タッチパネル２０４を有しており、ユーザは、タッチパネル２０４上に表示されるユーザインターフェイス画面４００Ａ上の目的のオブジェクトを選択することで、目的の文字フォーマットを設定する。

表示領域４０２には、設定されている文字フォーマットが各文字種別に対応付けられた記号を用いて表示されている。すなわち、記号「＃」、「＄」、「＠」といった記号で文字フォーマットが既定される。このような記号の意味が一見して把握できるように、図４に示すユーザインターフェイス画面４００Ａのオブジェクト４１０を構成するオブジェクト４１１〜４１５の各々では、関連付けられた文字種別を示すメッセージ（例えば、「英数字」や「数字文字」といった表示）とともに、当該文字種別に対応する記号（例えば、「？」や「＃」といった記号）が表示される。

このように、オブジェクト４１０（オブジェクト４１１〜４１５）には、関連付けられた文字種別の意味を一見して把握できるようにメッセージが付加されており、さらに対応する文字種別を示す記号も併せて付加されているので、ユーザは、各記号の意味を予め知っておかなくても、表示領域４０２に表示される設定中の文字フォーマットの内容を容易に把握することができる。

また、ユーザインターフェイス画面４００Ａにおいて、指定可能な特定文字に関連付けられた複数のオブジェクト４２０も並べて表示されている。特に、ユーザインターフェイス画面４００Ａにおいては、使用頻度が高いと考えられる記号文字に関連付けられるオブジェクト４２１〜４２５が配置されている。すなわち、複数のオブジェクト４２０は、「’」に関連付けられたオブジェクト４２１と、「−」に関連付けられたオブジェクト４２２と、「．」に関連付けられたオブジェクト４２３と、「：」に関連付けられたオブジェクト４２４と、「／」に関連付けられたオブジェクト４２５とを含む。これらのオブジェクト４２０（オブジェクト４２１〜４２５）についても、ユーザの選択に応じて、文字フォーマットに追加される。

ユーザインターフェイス画面４００Ａでは、設定されている文字フォーマットを編集するためのオブジェクトも表示されている。例えば、バックスペース操作（カーソルの直前の文字を消去する操作）に関連付けられたオブジェクト４０４と、クリア操作（設定されている文字フォーマットを全消去する操作）に関連付けられたオブジェクト４０６と、カーソルを移動させる操作に関連付けられたオブジェクト４０８とが配置されている。

ユーザインターフェイス画面４００Ａに配置されている「ＯＫ」と表示されたオブジェクト４５０が選択されると、設定中の文字フォーマットが有効化され、「キャンセル」と表示されたオブジェクト４５２が選択されると、設定中の文字フォーマットが破棄されるとともに、図示しないメニュー画面へ遷移する。

また、特定文字を個別に指定する必要がある場合には、ユーザはオブジェクト４３０を選択する。これによって、図４に示すユーザインターフェイス画面４００Ａは、図５に示すユーザインターフェイス画面４００Ｂへ遷移する。

図５を参照して、ユーザインターフェイス画面４００Ｂは、ユーザインターフェイス画面４００Ａにおいて、オブジェクト４１０および４２０に代えて、オブジェクト４４０を配置したものに相当する。オブジェクト４４０は、指定可能な特定文字を所定規則で配置したものであり、図５に示す例では、ＱＷＥＲＴ式で数字およびアルファベットが配置されている例を示す。このような配列順に限られず、アルファベット順や他の配列順を採用してもよい。ユーザは、ユーザインターフェイス画面４００Ｂを用いて、所望の特定文字を文字フォーマットとして設定することができる。

このように、図４に示すユーザインターフェイス画面４００Ａにおいて、表示切替を指示するオブジェクト４３０が選択されると、図５のユーザインターフェイス画面４００Ｂに示すように、表示操作部２０１は、文字種別に関連付けられたオブジェクト（オブジェクト４１０および４２０）に代えて、指定可能な複数の特定文字にそれぞれ関連付けられた複数のオブジェクト４４０を予め定められた配列に従って配置した状態で表示する。

図４および図５に示すユーザインターフェイス画面を採用することで、文字フォーマットについて知識の無いユーザであっても、容易に文字フォーマットとして文字種別などを指定することができる。

［Ｅ．処理手順］
次に、本実施の形態に係る画像処理システム１において入力画像から文字情報を取得する画像処理方法に係る処理手順について説明する。図６は、本実施の形態に係る画像処理システム１において入力画像から文字情報を取得する画像処理方法に係る処理手順を示すフローチャートである。図６に示す処理手順の当初は調整モードが選択されているとする。

図６を参照して、表示操作部２０１は、文字フォーマットの設定がユーザから要求されたか否かを判断する（ステップＳ１００）。文字フォーマットの設定がユーザから要求されていなければ（ステップＳ１００においてＮＯの場合）、表示操作部２０１は、ユーザが要求した処理を実行する（ステップＳ１０２）。そして、ステップＳ１００以下の処理が繰返される。

文字フォーマットの設定がユーザから要求されると（ステップＳ１００においてＹＥＳの場合）、表示操作部２０１は、文字フォーマットを設定するためのユーザインターフェイス画面４００Ａ（図４）をタッチパネル２０４上で提示する（ステップＳ１０４）。すなわち、表示操作部２０１は、文字認識に係る文字フォーマットの設定を受付けるための画面を提示する処理を実行する。このとき、表示操作部２０１は、ユーザインターフェイス画面４００Ａにおいて、設定されている文字フォーマットを示す表示領域４０２と、指定可能な複数の文字種別にそれぞれ関連付けられた複数のオブジェクト４１０とを並べて表示する。

続いて、表示操作部２０１は、タッチパネル２０４に対してタッチ操作がなされたか否かを判断する（ステップＳ１０６）。タッチパネル２０４に対してタッチ操作がなされていなければ（ステップＳ１０６においてＮＯ）、ステップＳ１０６の処理が繰返される。

タッチパネル２０４に対してタッチ操作がなされると（ステップＳ１０６においてＹＥＳ）、表示操作部２０１は、いずれのオブジェクトの位置がタッチされたか否かを判断する（ステップＳ１０８）。

オブジェクト４１０（オブジェクト４１１〜４１５）のいずれかがタッチされた場合（ステップＳ１０８において「文字種別オブジェクト」）には、表示操作部２０１は、タッチされたオブジェクトに関連付けられた文字種別を現在指定されている文字フォーマットに追加する（ステップＳ１１０）とともに、その追加後の文字フォーマットを表示領域４０２に表示する（ステップＳ１１２）。すなわち、表示操作部２０１は、いずれかのオブジェクトが選択されると、選択されたオブジェクトに関連付けられた文字種別を文字フォーマットに追加する処理を実行する。そして、ステップＳ１０８以下の処理が再度実行される。

オブジェクト４２０（オブジェクト４２１〜４２５）のいずれかがタッチされた場合（ステップＳ１０８において「記号文字オブジェクト」）には、表示操作部２０１は、タッチされたオブジェクトに関連付けられた記号文字を現在指定されている文字フォーマットに追加する（ステップＳ１１４）とともに、その追加後の文字フォーマットを表示領域４０２に表示する（ステップＳ１１６）。そして、ステップＳ１０８以下の処理が再度実行される。

オブジェクト４３０がタッチされた場合（ステップＳ１０８において「表示切替オブジェクト」）には、表示操作部２０１は、ユーザインターフェイス画面４００Ａに代えて、図５のユーザインターフェイス画面４００Ｂをタッチパネル２０４上で提示する（ステップＳ１１８）。そして、ステップＳ１０８以下の処理が再度実行される。

その他のオブジェクトがタッチされた場合（ステップＳ１０８において「その他オブジェクト」）には、表示操作部２０１は、タッチされたオブジェクトに関連付けられた処理を実行する（ステップＳ１２０）。そして、ステップＳ１０８以下の処理が再度実行される。

「キャンセル」を示すオブジェクト４５２がタッチされた場合（ステップＳ１０８において「キャンセルオブジェクト」）には、表示操作部２０１は、現在設定中の文字フォーマットを破棄し（ステップＳ１２２）、ステップＳ１２６以下の処理を実行する。

「ＯＫ」を示すオブジェクト４５０がタッチされた場合（ステップＳ１０８において「ＯＫオブジェクト」）には、表示操作部２０１は、現在設定中の文字フォーマットを有効化し（ステップＳ１２４）、ステップＳ１２６以下の処理を実行する。

ステップＳ１２６において、表示操作部２０１は、運転モードの開始が指示されたか否かを判断する（ステップＳ１２６）。運転モードの開始が指示されていなければ（ステップＳ１２６においてＮＯの場合）、ステップＳ１００以下の処理が実行される。

運転モードの開始が指示されると（ステップＳ１２６においてＹＥＳの場合）、現在設定されている文字フォーマットの下、文字認識が開始される（ステップＳ１２８）。すなわち、表示操作部２０１は、設定された文字フォーマットを視覚センサ２００へ送信するとともに、視覚センサ２００は、予め定められたトリガー条件に応じて、対象物を撮像して入力画像を取得するとともに、取得した入力画像に対して文字認識を実行する。言い換えれば、視覚センサ２００は、設定された文字フォーマットの下で、入力画像に含まれる領域に対して文字認識を実行する。

そして、表示操作部２０１は、運転モードの停止が指示されたか否かを判断する（ステップＳ１３０）。運転モードの停止が指示されていなければ（ステップＳ１３０においてＮＯの場合）、ステップＳ１２８以下の処理が実行される。運転モードの停止が指示されると（ステップＳ１３０においてＹＥＳの場合）、ステップＳ１００以下の処理が実行される。

［Ｆ．変形例］
上述の実施の形態においては、ユーザが文字フォーマットを手動で設定する例について説明したが、ティーチング処理などにおいて、基準となる入力画像から読み取った文字情報に基づいて、文字フォーマットの設定を支援するようにしてもよい。以下、入力画像から取得された文字情報に基づいて、文字フォーマットの設定を支援する構成について例示する。

図７は、本実施の形態の変形例に係る画像処理システム１における文字フォーマットの設定処理を説明する概念図である。図７（ａ）を参照して、まず、ユーザは、検出対象となる基準の対象物を撮像して入力画像を取得し、この取得した入力画像に対して、検出対象の文字列が存在する領域４６０を指定する。この領域４６０の指定に応答して、視覚センサ２００が文字認識を実行する。そして、この文字認識によって取得された文字情報に基づいて、各文字の文字種別を判断し、この判断された文字別の文字種別が文字フォーマットの初期値として設定される。

図７（ａ）に示すユーザインターフェイス画面４００Ｃにおいて、文字認識の基準となる対象物を撮像して得られる画像が表示されるとともに、ユーザがタッチ操作などで、検出対象の文字列が存在する領域を指定する。そして、「ＯＫ」ボタンが選択されると、図７（ｂ）に示すユーザインターフェイス画面４００Ａが表示される。このユーザインターフェイス画面４００Ａの表示領域４０２には、文字認識の結果（この例では、「｜０１｜０８６９９７８３０９００１２」であるとする）から、１８文字から構成されており、第１番目および第４番目が記号文字であり、その他の文字が数字文字であると判断される。そして、文字フォーマットの初期値として、左から第１番目および第４番目の文字が「記号文字」を示す記号「＠」であり、その他の文字が「数字文字」を示す記号「＃」が設定される。

本変形例では、表示操作部２０１は、認識対象の文字列を含む参照画像に対して文字認識を実行することで取得される文字情報から文字別の文字種別を決定し、文字フォーマットの初期値として設定する。このような支援機能によって、ユーザは、より容易に文字フォーマットを設定することができる。

さらに、初期値として設定された文字フォーマットを修正／編集する際には、検出対象の文字列が存在する領域４６０の画像を併せて表示する方がより好ましい場合もある。その場合には、文字フォーマットを修正／編集するユーザインターフェイス画面において、検出対象の文字列が存在する領域４６０の画像を併せて表示してもよい。

図８は、本実施の形態の変形例に係る画像処理システム１が提供する文字フォーマットを設定するためのユーザインターフェイス画面の一例を示す模式図である。図８を参照して、ユーザインターフェイス画面４００Ｄにおいては、図４に示すユーザインターフェイス画面４００Ａに比較して、検出対象となる基準の対象物を撮像して取得した入力画像に対して設定された領域４６０のイメージが同一画面内に追加的に表示されているとともに、領域４６０のイメージに対して文字認識した結果を示す文字列４７０が追加的に表示されている。ユーザは、これらの表示情報を参照しつつ、文字フォーマットを修正／編集する。このように、表示操作部２０１は、設定されている文字フォーマットとともに、参照画像を表示する。

［Ｇ．利点］
本実施の形態によれば、文字フォーマットについて知識の無いユーザであっても、容易に制約条件としての文字フォーマットを指定できる。また、本実施の形態によれば、文字フォーマットの入力規則をユーザに通知するためのヘルプ画面やマニュアルを提示するスペースのない比較的小さなディスプレイ（あるいは、解像度がそれほど高くないディスプレイ）を採用した場合であっても、これらを必要とすることなく、ユーザは、入力規則および現在設定されている文字フォーマットの内容を一見して把握できる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 画像処理システム、２ ワーク、２００ 視覚センサ、２０１ 表示操作部、２０２ 伝送ケーブル、２０３ ＩＯケーブル、２０４ タッチパネル、２１１ 照明部、２１２ 撮像部、２１３ 処理部、２１４ 取付部、２２１ 撮像レンズ、２２２ 撮像素子、２２３ 照明制御システム、２２４ 照明用レンズ、２２６ ＣＰＵ、２２７ 表示灯制御部、２２８，２４０ 電源部、２２９ 通信システム、２３０ 入出力システム、２３１ メモリ、２４１ 検出部、２４２ ディスプレイ、２４３ 表示ドライバ、２４４ 表示制御部、２４５ 画像保存部、２４６ 画像制御部、２４７ 伝送部、２５０ ＰＬＣ、３００ 文字フォーマット、３１０ 入力画像、３１２ 文字領域、３２０ 処理結果、３３０ 文字認識データベース。

Claims (7)

1. 入力画像から文字情報を取得する画像処理システムであって、
   予め定められた制約条件の下で、前記入力画像に含まれる領域に対して文字認識を実行する処理部と、
   前記制約条件の設定を受付ける表示操作部とを備え、
   前記制約条件は、認識対象の文字別に、少なくとも文字種別の指定を含み、
   前記表示操作部は、設定されている制約条件を示す領域と、指定可能な複数の文字種別にそれぞれ関連付けられた複数のオブジェクトとを並べて表示するとともに、いずれかのオブジェクトが選択されると、選択されたオブジェクトに関連付けられた文字種別を制約条件に追加する、画像処理システム。
2. 前記制約条件は、各文字種別に対応付けられた記号を用いて表示され、
   前記オブジェクトの各々では、関連付けられた文字種別を示すメッセージとともに、当該文字種別に対応する記号が表示される、請求項１に記載の画像処理システム。
3. 前記制約条件は、特定文字の指定をさらに含み、
   前記表示操作部は、指定可能な特定文字に関連付けられたオブジェクトをさらに表示する、請求項１または２に記載の画像処理システム。
4. 前記表示操作部は、表示切替が選択されると、文字種別に関連付けられたオブジェクトに代えて、指定可能な複数の特定文字にそれぞれ関連付けられた複数のオブジェクトを、予め定められた配列に従って配置した状態で表示する、請求項３に記載の画像処理システム。
5. 前記表示操作部は、認識対象の文字列を含む参照画像に対して文字認識を実行することで取得される文字情報から文字別の文字種別を決定し、前記制約条件の初期値として設定する、請求項１〜４のいずれか１項に記載の画像処理システム。
6. 前記表示操作部は、設定されている制約条件とともに、前記参照画像を表示する、請求項５に記載の画像処理システム。
7. 入力画像から文字情報を取得する画像処理方法であって、
   文字認識に係る制約条件の設定を受付けるための画面を提示するステップと、
   設定された制約条件の下で、前記入力画像に含まれる領域に対して文字認識を実行するステップとを備え、
   前記制約条件は、認識対象の文字別に、少なくとも文字種別の指定を含み、
   前記画面を提示するステップは、
   設定されている制約条件を示す領域と、指定可能な複数の文字種別にそれぞれ関連付けられた複数のオブジェクトとを並べて表示するステップと、
   いずれかのオブジェクトが選択されると、選択されたオブジェクトに関連付けられた文字種別を制約条件に追加するステップとを含む、画像処理方法。