JP5331661B2

JP5331661B2 - 画像処理方法および画像処理装置

Info

Publication number: JP5331661B2
Application number: JP2009268138A
Authority: JP
Inventors: 宗利今田; 大乗山高
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2009-11-25
Filing date: 2009-11-25
Publication date: 2013-10-30
Anticipated expiration: 2029-11-25
Also published as: JP2011112810A

Description

本発明は、画像処理方法および画像処理装置に関し、特に、読取対象表示を読取る光学系の合焦度または読取対象表示の鮮明度を判定するための画像処理方法および画像処理装置に関する。

近年、ＦＡ（Factory Automation）の普及に伴って、工場の生産ラインでは、ベルトコンベヤなどによって搬送されている工業製品をカメラなどの撮像装置を用いて撮像し、撮像された画像を画像処理することにより、その工業製品からバーコードシンボルおよび二次元コードシンボルなどのコードシンボル、ならびに文字などの読取対象表示を自動的に読み取ることが行われている。このように、移動する被写体に付された読取対象表示を、所定位置に固定して設けられたカメラによって撮像された画像を基に読み取る場合、シャッタチャンスは一度しかないため、撮像すべき被写体ごとに最適な焦点距離を求めるオートフォーカス方式によって撮像が行われるのではなく、撮像装置に備えられるレンズの焦点（フォーカス）および絞り、撮像装置のシャッタ速度、ならびに、撮像すべき被写体を照射するための照明装置の照射光量などの撮像条件を、予め調整しておいて撮像が行われる（たとえば、特許文献１参照）。

画像処理によって読取対象表示の読取りを行う場合には、読取対象表示に対応する表示領域と該表示領域の周辺の背景領域とのコントラスト、およびピントのボケ具合が、読取精度に大きな影響を与えることは一般に知られている。したがって、前述するように撮像条件を予め調整する際には、生産ラインを試験的に稼動させて、テスト用の物体を撮像することにより、コントラストやピントが適正であるか否かを判定することが行われている。従来から、コントラストやピントを判定するための判定項目として、合焦の程度を表す合焦度を用いた評価が行われている。

たとえば非特許文献１では、合焦判定するための８種類の手法（具体的には、「フーリエ変換を用いる手法」、「グラディエントを用いる手法」、「高周波量に基づいた手法」、「高輝度量に基づいた手法」、「エントロピーを用いる手法」、「頻度の傾きを用いる手法」、「分散を用いる手法」および「ＳＭＤ（Sum-Modulus-Difference）を用いる手法」）を、走査型電子顕微鏡（ＳＥＭ：Scanning Electron Microscope）像に対して用い、各手法について評価が行われている。非特許文献１における評価によれば、８種類の手法のうち、「高周波量に基づいた手法」および「分散を用いる手法」が優れている（合焦画像の検出率が１００％である）ことが示されている。また特許文献２には、画像中の合焦度を含む矩形領域を抽出するための画像処理方式が開示されている。

特許第４０８０８９７号特開２００１−３３１８０６号公報

ＶｉＥＷ２００３ビジョン技術の実利用ワークショップ講演論文集ｐｐ．１２−１７

被写体に付されたコードシンボルや文字などの読取対象表示のピントやコントラストの適正度（合焦度）は、撮像装置および照明装置といった光学系の調整工程と、被写体に付された読取対象表示を検査するための工程において用いられる。非特許文献１に記載されるように、撮像された画像の各画素を二次微分し、その二次微分値のみに基づいて合焦度を算出する方法では、照明などの明るさの変動に伴って合焦度が変動してしまう。したがって、合焦度を判定するための条件としては、満足できるものではなかった。

本発明の目的は、照明などの明るさによって合焦度が変動することを考慮して合焦度判定を行うことができる画像処理方法および画像処理装置を提供することである。

本発明は、所定の読取対象表示を含む撮像対象領域を撮像することによって、読取対象表示を読取る光学系の合焦度または読取対象表示の鮮明度を判定するための画像処理方法であって、
読取対象表示および該読取対象表示の周辺の背景を含む判定対象領域内の各画素を二次微分することにより二次微分画像を生成する二次微分画像生成工程と、
前記二次微分画像における各画素の二次微分値の絶対値を相加平均することによって、絶対平均値を算出する絶対平均値算出工程と、
前記判定対象領域の濃度ヒストグラムを生成する濃度ヒストグラム生成工程と、
前記濃度ヒストグラムを高輝度側のクラスと低輝度側のクラスとに分けるための閾値を算出し、該閾値によって分けられた２つのクラスの各平均濃度の差分によって、濃度分布幅を算出する濃度分布幅算出工程と、
前記絶対平均値を前記濃度分布幅で除することによって、合焦度または鮮明度を算出するパラメータ算出工程と、
算出された合焦度または鮮明度と、予め定める閾値とを比較するパラメータ判定工程とを含むことを特徴とする画像処理方法である。

また本発明は、前記二次微分画像生成工程において生成された二次微分画像の各画素から、ゼロクロスに寄与する画素だけを抽出するゼロクロス画素抽出工程をさらに含むことを特徴とする。

また本発明は、所定の読取対象表示を含む撮像対象領域を撮像することによって、読取対象表示を読取る光学系の合焦度または読取対象表示の鮮明度を判定するための画像処理装置であって、
読取対象表示および該読取対象表示の周辺の背景を含む判定対象領域内の各画素を二次微分することにより二次微分画像を生成する二次微分画像生成部と、
前記二次微分画像における各画素の二次微分値の絶対値を相加平均することによって、絶対平均値を算出する絶対平均値算出部と、
前記判定対象領域の濃度ヒストグラムを生成する濃度ヒストグラム生成部と、
前記濃度ヒストグラムを高輝度側のクラスと低輝度側のクラスとに分けるための閾値を算出し、該閾値によって分けられた２つのクラスの各平均濃度の差分によって、濃度分布幅を算出する濃度分布幅算出部と、
前記絶対平均値を前記濃度分布幅で除することによって、合焦度または鮮明度を算出するパラメータ算出部と、
算出された合焦度または鮮明度と、予め定める閾値とを比較するパラメータ判定部とを含むことを特徴とする画像処理装置である。

本発明によれば、光学系の環境設定の適否を判定する際に、判定対象領域の二次微分画像のみから算出される値を用いて判定するのではなく、判定対象領域の二次微分画像の絶対平均値を、判定対象領域の濃度分布幅で除して得られる合焦度を用いて判定するので、すなわち正規化された合焦度を用いて判定するので、照明などの明るさによって合焦度が変動することを考慮して合焦度判定を行うことができ、精度良く読取対象表示を読取ることができるように光学系の環境設定を行うことができる。また、光学系の環境設定を行うユーザが異なるような場合があったとしても、読取精度のばらつきを低減することができる。

また被写体に付された文字などの読取対象表示を検査する際に、判定対象候補領域の二次微分画像のみから算出される値を用いて判定するのではなく、判定対象領域の二次微分画像の絶対平均値を、判定対象領域の濃度分布幅で除して得られる鮮明度を用いて判定するので、すなわち正規化された鮮明度を用いて判定するので、照明などの明るさによって鮮明度が変動することを考慮して鮮明度判定を行うことができ、印刷された文字などの読取対象表示に対する異常を精度良く検出することができる。また、光学系の環境設定を行うユーザが異なるような場合があったとしても、検出精度のばらつきを低減することができる。

本発明の一実施形態に係る画像処理装置２０を備える画像処理システム１の構成を簡略化して示すブロック図である。撮像装置１０および照明装置３０に対して予め行われる光学系の環境設定のフローチャートである。図２のステップｓ３における合焦度に基づく調整結果の判定工程のフローチャートである。本実施形態に係る画像処理装置２０の機能的な構成を示すブロック図である。二次微分フィルタである３×３画素のラプラシアンフィルタを示す図である。濃度ヒストグラムの一例を示す図である。本発明の他の実施形態に係る画像処理装置２０ａの機能的な構成を示すブロック図である。被写体２に付された文字を検査するための検査工程のフローチャートである。図８のステップａ３における濃度分布幅を算出する工程のフローチャートである。図８のステップａ４における絶対平均値の算出工程のフローチャートである。

図１は、本発明の一実施形態に係る画像処理装置２０を備える画像処理システム１の構成を簡略化して示すブロック図である。画像処理システム１は、被写体２に付されたバーコードシンボルおよび二次元コードシンボルなどのコードシンボル、ならびに文字（記号を含む）などを含む撮像対象領域を撮像し、デジタル画像データとして出力する撮像装置１０と、撮像装置１０から出力されたデジタル画像データに対して所定の画像処理を行う画像処理装置２０と、撮像装置１０によって撮像対象領域を撮像する際に、被写体２を照射する照明装置３０と、表示画面を有し、撮像装置１０によって撮像された撮像対象領域の画像などを表示する表示装置４０と、撮像装置１０および照明装置３０に対して行われる光学系の環境設定（撮像条件の設定）のために、設定値などを入力するための入力装置５０とを含んで構成される。

このような構成を有する画像処理システム１は、たとえば工場の生産ラインに隣接して設けられ、被写体２である工業製品に付されたコードシンボルおよび文字などを自動的に読取るために、または工業製品に付されたコードシンボルおよび文字が適正に表示されているかを検査するために、好適に用いることができる。以下では、被写体２に付されたコードシンボルおよび文字などのように、画像処理システム１を用いて読取られるべき表示および画像処理システム１を用いて検査されるべき表示を総称して読取対象表示と記す場合がある。

以下、画像処理システム１を構成する各装置について詳細に説明する。
撮像装置１０は、光学レンズおよび該光学レンズによって結像された光の受光量をアナログ画像信号として出力する電荷結合素子（ＣＣＤ：Charge Coupled Device）を備えるＣＣＤカメラ１１と、ＣＣＤカメラ１１から出力されたアナログ画像信号をデジタルデータに変換し、デジタル画像データとして出力するＡ／Ｄ（Analog/Digital）変換器１２と、デジタル画像データを１フレームごとに格納可能なフレームメモリ１３と、デジタル画像データを１フレームごとにフレームメモリ１３に格納するとともに、表示装置４０に画像を表示させるためにデジタル画像データをＤ／Ａ（Digital/Analog）変換器１５に出力するカメラコントローラ１４と、カメラコントローラ１４から出力されたデジタル画像データを表示装置４０に応じたアナログ画像信号に変換して表示装置４０に出力するＤ／Ａ変換器１５とを含んで構成される。

ＣＣＤカメラ１１は、図示しないが、光学レンズの焦点（フォーカス）を調整するためのフォーカス機構、絞りを調整するための絞り機構、および、ＣＣＤが光学レンズを通した光に露出する露光時間、すなわちシャッタ速度を調整するためのシャッタ機構をさらに備えている。これらの各機構は、入力装置５０から入力された指令や設定値に基づき、後述するＣＰＵ２１からの制御信号によって自動的に駆動するように構成されるとともに、調整用のつまみを備え、該つまみを手動で変位させることによって駆動するように構成されている。

表示装置４０は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイなどによって実現され、Ｄ／Ａ変換器１５から出力されたアナログ画像信号に基づき、画像を表示画面に表示する。

入力装置５０は、マウスなどのポインティングデバイスやキーボードによって実現され、指令や設定値を入力するために、ユーザによって操作される。

画像処理装置２０は、ハードウエアとして、ＣＰＵ（Central Processing Unit）２１と、ＲＡＭ（Random Access Memory）２２と、ＲＯＭ（Read Only Memory）２３と、Ｉ／Ｏ（Input/Output）コントローラ２４とを含んで構成される。ＣＰＵ２１は、ＲＯＭ２３に記憶されている画像処理プログラムに基づいて、撮像装置１０から出力されたデジタル画像データに対して、後述する合焦度判定または鮮明度判定を行うための所定の画像処理を実行するとともに、ＲＯＭ２３に記憶されている制御プログラムに基づいて、画像処理システム１全体の動作を制御する。処理中の画像データや演算中のデータなどは一時的にＲＡＭ２２に記憶される。Ｉ／Ｏコントローラ２４は、入力装置５０および照明装置３０の電源３２などが接続され、これらの入出力データの制御を行う。

照明装置３０は、被写体２を照射するための光源３１と、光源３１に対して電力供給を行う電源３２とを含んで構成される。電源３２は、光源３１に対して供給する電力量を調整可能に構成され、入力装置５０から入力された指令や設定値に基づき、ＣＰＵ２１からの制御信号によって自動的に調整されるように構成されるとともに、調整用のつまみを備え、該つまみを手動で変位させることによって調整されるように構成されている。また、光源３１には、たとえば発光ダイオード（ＬＥＤ：Light Emitting Diode）やタングステンランプなどが好適に用いられ、電源３２から供給される電力量に応じた照射光量で光を出射する。

画像処理装置２０を備える画像処理システム１は、前述するように、工場の生産ラインにおいてベルトコンベヤなどの搬送手段によって移送されている各被写体（工業製品）２に付された読取対象表示を順次読取る、または読取対象表示を検査するためのシステムである。したがって、被写体２ごとに最適な焦点距離を自動的に設定するオートフォーカス方式を利用して撮像するようには構成されておらず、光学系の環境設定、すなわちＣＣＤカメラ１１におけるフォーカス調整、絞り調整およびシャッタ速度調整ならびに照明装置３０における照射光量調整を予め行った上で、被写体２ごとに読取対象表示を含む撮像対象領域を撮像するように構成されている。なお、画像処理システム１は、所定位置に停止させた工業製品に付された読取対象表示を読取るため、または検査するために用いられてもよい。

以下、図２〜図４を参照して、本実施形態に係る画像処理装置２０を用いた光学系の環境設定について説明する。

図２は、撮像装置１０および照明装置３０に対して予め行われる光学系の環境設定のフローチャートである。ステップｓ０で、光学系の環境設定をするための準備が終了すると、ステップｓ１に進む。ステップｓ１では、ＣＣＤカメラ１１のシャッタ速度が、たとえば次のような方法で設定される。先ずユーザは、撮像されるべき被写体２が静止状態で撮像されるのか、または移動状態で撮像されるのかを、入力装置５０を介して入力する。そして、静止状態で撮像される場合には、シャッタ速度をさらに入力することにより、シャッタ機構が駆動されてシャッタ速度が設定される。静止状態の被写体を撮像するときのシャッタ速度としては、たとえば、１／６０秒または１／１００秒が好適に用いられる。

また、移動状態で撮像される場合には、被写体２の移動速度をさらに入力することにより、該移動速度に基づいてシャッタ速度が演算され、演算された値に基づいてシャッタ機構が駆動されてシャッタ速度が設定される。具体的には、ＲＡＭ２２に予め記憶されている画像処理システム１の仕様から、分解能と、撮像装置１０の撮像画面領域に相当する移動許容量とを読出し、次式（１）によって、シャッタ速度が演算される。
シャッタ速度＝移動速度／（分解能×移動許容量） …（１）

シャッタ速度が設定されると、ステップｓ２に進む。
ステップｓ２では、読取対象表示が付されたテスト用の被写体２を撮像して得られたデジタル画像データを画像処理したときの処理結果、および表示画面に表示された読取対象表示を含む撮像対象領域の画像の目視などに基づいて、ＣＣＤカメラ１１におけるフォーカス機構および絞り機構を駆動することによりフォーカス調整および絞り調整を行うとともに、光源３１に供給する電力量を調整することにより照射光量の調整を行う。調整によってフォーカス、絞りおよび照射光量が所望の設定値に設定され、これらの設定が終了すると、ステップｓ３に進む。

ステップｓ３では、ステップｓ２において調整されたフォーカス、絞りおよび照射光量の調整結果について、合焦の程度を表すパラメータである合焦度に基づいて、その適否を判定する。合焦度判定についての詳細は後述するが、調整結果が適当であると判定されるとステップｓ４に進み、調整結果が不適当であると判定されると、調整結果が適当であると判定されるまで、フォーカス、絞りおよび照射光量の調整が繰り返し行われる。ステップｓ４で、光学系の環境設定を終了する。

図３は、図２のステップｓ３における合焦度に基づく調整結果の判定工程のフローチャートである。また図４は、本実施形態に係る画像処理装置２０の機能的な構成を示すブロック図である。

画像処理装置２０は、概略位置検出部６１と、二次微分画像生成部６２と、絶対平均値算出部６３と、濃度ヒストグラム生成部６４と、濃度分布幅算出部６５と、合焦度算出部６６と、合焦判定部６７とを含んで構成される。これらの各部６１〜６７は、ＣＰＵ２１がＲＯＭ２３に記憶されている画像処理プログラムを実行することによって実現される。各部６１〜６７の機能については、合焦度に基づく調整結果の判定工程の説明と併せて説明する。

ステップｓ３０で、図２のステップｓ２においてフォーカス、絞りおよび照射光量が所望の設定値に設定されたＣＣＤカメラ１１および照明装置３０を使用して、テスト用の被写体２を撮像するための準備が終了すると、ステップｓ３１に進む。

ステップｓ３１では、テスト用の被写体２が撮像装置１０によって撮像される。このとき、実際の生産ラインにおいて被写体２が移動状態で撮像される場合には、テスト用の被写体２も同一の移動速度で移動させて撮像され、実際の生産ラインにおいて被写体２が所定の位置に停止させた状態で撮像される場合には、テスト用の被写体２も同一の位置に停止させた状態で撮像される。テスト用の被写体２における読取対象表示を含む撮像対象領域が撮像装置１０によって撮像され、撮像装置１０からその撮像対象領域に対応するデジタル画像データが出力されると、ステップｓ３２に進む。

ステップｓ３２では、画像処理装置２０の概略位置検出部６１によって、撮像装置１０によって生成されたデジタル画像データに基づき、被写体２に付された読取対象表示の概略位置が検出される。概略位置の検出方法は、周知の方法によって行うことができ、読取対象表示が文字である場合には、たとえばＯＣＲ（Optical Character Recognition）法によって実現することができる。また、読取対象表示がコードシンボルである場合には、ラベリング処理法およびエッジ方向ヒストグラム法などによって実現することができる。さらに、撮像対象領域内に複数の文字が含まれている場合には、１文字ごとに概略位置が検出され、撮像対象領域内にコードシンボルと文字とが含まれている場合には、それぞれについて概略位置が検出される。概略位置が検出されると、ステップｓ３３に進む。

ステップｓ３３では、画像処理装置２０の二次微分画像生成部６２によって、撮像対象領域に対応するデジタル画像データから、概略位置検出部６１によって概略位置が検出された１つのコードシンボルまたは文字と、そのコードシンボルまたは文字の周辺の背景とを含む判定対象領域の画像データが抽出される。以下では、判定対象領域の画像データが、大きさがｍ×ｎ（ただし、ｍ，ｎは正の整数）画素の矩形領域の画像データであるものとして説明する。

判定対象領域の画像データが抽出されると、さらに、ＲＡＭ２２に予め記憶されている二次微分フィルタを用いて、判定対象領域内における各画素が二次微分される。図５は、二次微分フィルタである３×３画素のラプラシアンフィルタを示している。図５（ａ）は、４近傍ラプラシアンフィルタＬＦ１を示し、図５（ｂ）および図５（ｃ）は、それぞれ８近傍ラプラシアンフィルタＬＦ２，ＬＦ３を示している。図５に示すようなラプラシアンフィルタを用いて二次微分することにより、二次微分された各画素によって構成される二次微分画像が生成される。二次微分画像が生成されると、ステップｓ３４に進む。

ステップｓ３４では、画像処理装置２０の絶対平均値算出部６３によって、二次微分画像生成部６２によって生成されたｍ×ｎ画素の二次微分画像の各画素について、二次微分値の絶対値が算出され、さらに、各画素の二次微分値の絶対値を相加平均することによって絶対平均値が算出される。具体的には、各画素の二次微分値をＵ_ｉｊ（ただし、ｉ＝１，２，…，ｍ−１，ｍ、および、ｊ＝１，２，…，ｎ−１，ｎ）とし、絶対平均値をＭとすると、次式（２）によって、絶対平均値Ｍが算出される。

絶対平均値Ｍが算出されると、ステップｓ３５に進む。
ステップｓ３５では、画像処理装置２０の濃度ヒストグラム生成部６４によって、ｍ×ｎ画素の判定対象領域に関し、濃度頻度をヒストグラムで表した濃度ヒストグラムが生成される。図６は、濃度ヒストグラムの一例を示す図である。本実施形態では、前述するように、判定対象領域が、読取対象表示に対応する表示領域と、背景に対応する背景領域とから成り、したがって、図６に示すような双峰性の濃度ヒストグラムが生成される。濃度ヒストグラムが生成されると、ステップｓ３６に進む。

ステップｓ３６では、画像処理装置２０の濃度分布幅算出部６５によって、濃度ヒストグラム生成部６４によって生成された濃度ヒストグラムに基づいて、ｍ×ｎ画素の判定対象領域についての濃度分布幅が算出される。

具体的には、先ず、判別分析法を用いることにより、ある濃度値ｋを閾値として濃度ヒストグラムを２つのクラスに分けたときの２つのクラス間の分散が最大となるような濃度値ｋｍａｘを決定する。以下では、この濃度値ｋｍａｘを、２値化閾値と称することにする。

たとえば、濃度範囲が０〜Ｄ（たとえば、Ｄ＝２５５）であるとき、濃度範囲が０〜ｋのクラスをＣ０とし、濃度範囲がｋ＋１〜ＤのクラスをＣ１とする。また、その濃度範囲における各濃度値Ｘに対する度数、すなわち画素数がＨ（Ｘ）であるとする。このとき、クラスＣ０の度数平均をｕ０、クラスＣ０の発生確率をｗ０、クラスＣ１の度数平均をｕ１、クラスＣ１の発生確率をｗ１、クラスＣ０とクラスＣ１との間の分散をＳ^２とすると、分散Ｓ^２は、次式（３）によって濃度値ｋの関数として得られる。
Ｓ^２＝ｗ０×ｗ１×（ｕ１−ｕ０）^２ …（３）

ただし、

この分散Ｓ^２を、濃度値ｋを変化させて、すなわち０〜Ｄまでの各濃度値ｋに対して計算することにより、各濃度値ｋに対する分散Ｓ^２の値が算出される。このようにして算出された分散Ｓ^２のうち、分散Ｓ^２が最大となるときの濃度値ｋが、２値化閾値ｋｍａｘとして決定される。

このようにして２値化閾値ｋｍａｘが決定されると、この２値化閾値ｋｍａｘによって、濃度ヒストグラムが低輝度側（濃度範囲が０〜ｋｍａｘ）のクラスＣ０’と高輝度側（濃度範囲がｋｍａｘ＋１〜Ｄ）のクラスＣ１’とに分けられる。このとき、クラスＣ０’の平均濃度をｆ０、クラスＣ１’の平均濃度をｆ１、濃度分布幅をＢとするとき、次式（４）によって、濃度分布幅Ｂが算出される。
Ｂ＝ｆ１−ｆ０ …（４）

ただし、

濃度分布幅Ｂが算出されると、ステップｓ３７に進む。
ステップｓ３７では、画像処理装置２０の合焦度算出部６６によって、絶対平均値算出部６３によって算出された絶対平均値Ｍを、濃度分布幅算出部６５によって算出された濃度分布幅Ｂで除することによって、合焦の程度を表す合焦度Ｑが算出される。具体的には、次式（５）によって、合焦度Ｑが算出される。
Ｑ＝Ｍ÷Ｂ×１００００ …（５）

合焦度Ｑが算出されると、ステップｓ３８に進む。
ステップｓ３８では、画像処理装置２０の合焦判定部６７によって、合焦度算出部６６によって算出された合焦度Ｑに基づいて、合焦度判定が行われる。具体的には、算出された合焦度Ｑと、予め設定されてＲＡＭ２２に記憶されている合焦度判定用の閾値Ｑ０とが比較され、Ｑ≧Ｑ０であると判定されると、合焦度Ｑが適正であるとしてステップｓ４０に進み、Ｑ＜Ｑ０であると判定されると、合焦度Ｑが不適正であるとしてステップｓ３９に進む。合焦度判定用の閾値Ｑ０は、たとえば経験則によって得られた値が予め設定され、ユーザが入力装置５０を介してその値を入力することにより、ＲＡＭ２２に記憶される。

ステップｓ３９では、図２におけるステップｓ２と同様に、たとえばテスト用の被写体２を撮像して得られたデジタル画像データを画像処理したときの処理結果、および表示画面に表示された読取対象表示を含む撮像対象領域の画像の目視などに基づいて、再度、ＣＣＤカメラ１１におけるフォーカス機構および絞り機構を駆動することによりフォーカス調整および絞り調整を行うとともに、光源３１に供給する電力量を調整することにより照射光量の調整を行う。調整によってフォーカス、絞りおよび照射光量の所望の設定値に設定されると、ステップｓ３１に進む。

このように合焦度判定において合焦度Ｑが適正であると判定されるまで、フォーカス、絞りおよび照射光量の調整が行われ、合焦度Ｑが適正であると判定されると、ステップｓ４０で合焦度に基づく調整結果の判定工程を終了する。

このように、本実施形態によれば、光学系の環境設定の適否を判定する際に、判定対象領域の二次微分画像のみから算出される値を用いて判定するのではなく、判定対象領域の二次微分画像の絶対平均値Ｍを、判定対象領域の濃度分布幅Ｂで除して得られる合焦度Ｑを用いて判定するので、すなわち正規化された合焦度Ｑを用いて判定するので、照明などの明るさによって合焦度が変動することを考慮して合焦度判定を行うことができ、精度良く読取対象表示を読取ることができるように光学系の環境設定を行うことができる。また、光学系の環境設定を行うユーザが異なるような場合があったとしても、読取精度のばらつきを低減することができる。

次に、他の実施形態に係る画像処理装置２０ａを備える画像処理システム１について説明する。画像処理システム１の構成は、図１に示す前述の画像処理システム１と同様の装置構成によって構成されるため、各装置についての重複する説明は省略する。本実施形態に係る画像処理装置２０ａを備える画像処理システム１は、画像処理プログラムを実行することによって実現される画像処理装置の機能的な構成において、前述する画像処理システム１相違する。なお、以下では、前述する画像処理システム１と同様の構成については、同一の参照符を付して説明する。

図７は、本実施形態に係る画像処理装置２０ａの機能的な構成を示すブロック図である。画像処理装置２０ａは、概略位置検出部７１と、検査対象マスク画像生成部７２と、濃度分布幅検出対象画像生成部７３と、濃度ヒストグラム生成部７４と、濃度分布幅算出部７５と、二次微分画像生成部７６と、鮮明度検出候補画像生成部７７と、鮮明度検出画像生成部７８と、絶対平均値算出部７９と、鮮明度算出部８０と、鮮明度判定部８１とを含んで構成される。これらの各部７１〜８１は、ＣＰＵ２１がＲＯＭ２３に記憶されている画像処理プログラムを実行することによって実現される。各部７１〜８１の機能については、後述する読取対象表示の検査工程の説明と併せて説明する。

本実施形態に係る画像処理装置２０ａを備える画像処理システム１は、ベルトコンベヤなどの搬送手段によって移送されてくる被写体（工業製品）２に付された読取対象表示が適正に表示されているかを検査するためのシステムであり、特に、適正に表示されているかを検査するために好適に用いられる。

以下、図７〜図１０を参照して、本実施形態に係る画像処理装置２０ａを用いた読取対象表示の検査工程について、読取対象表示が文字であるとして説明する。

図８は、被写体２に付された文字を検査するための検査工程のフローチャートである。ステップａ０で、フォーカス、絞りおよび照射光量が所定の設定値に設定されたＣＣＤカメラ１１および照明装置３０を使用して、検査対象の文字が付された被写体２を撮像するための準備が終了すると、ステップａ１に進む。

ステップａ１では、検査対象の被写体２が撮像装置１０によって撮像される。検査対象の被写体２における文字を含む撮像対象領域が撮像装置１０によって撮像され、撮像装置１０からその撮像対象領域に対応するデジタル画像データが出力されると、ステップａ２に進む。

ステップａ２では、画像処理装置２０ａの概略位置検出部７１によって、撮像装置１０によって生成されたデジタル画像データに基づき、被写体２に付された文字の概略位置が検出される。概略位置の検出方法は、前述するように周知の方法によって行うことができ、たとえばＯＣＲ法によって実現することができる。また、撮像対象領域内に複数の文字が含まれている場合には、１文字ごとに概略位置が検出される。概略位置が検出されると、ステップａ３に進む。

ステップａ３では、濃度分布幅が算出される。図９は、図８のステップａ３における濃度分布幅を算出する工程のフローチャートである。ステップａ３０で、濃度分布幅を算出するための処理が開始されて、ステップａ３１に進む。

ステップａ３１では、画像処理装置２０ａの検査対象マスク画像生成部７２によって、撮像対象領域に対応するデジタル画像データから、概略位置検出部７１によって概略位置が検出された１つの文字と、その文字の周辺の背景とを含む判定対象候補領域の画像データが抽出される。以下では、判定対象候補領域の画像データが、大きさがｍ×ｎ（ただし、ｍ，ｎは正の整数）画素の矩形領域の画像データであるものとして説明する。

判定対象候補領域の画像データが抽出されると、さらに、判定対象候補領域内における各画素について２値化処理される。このとき、文字を白、背景を黒とすることによって２値化処理される。

２値化処理するための閾値は、ユーザが入力装置５０を介して入力することにより、予めＲＡＭ２２に記憶されている固定の数値によって与えられてもよく、前述する判別分析法を用いることによって算出される２値化閾値ｋｍａｘによって与えられてもよい。２値化処理が行われることによって、２値化された各画素によって構成される２値化画像が生成される。２値化画像が生成されると、ステップａ３２に進む。

ステップａ３２では、検査対象マスク画像生成部７２によって、ステップａ３１において生成された判定対象候補領域の２値化画像に対し、膨張処理が行われる。このとき、膨張処理が行われる回数（膨張回数）Ｎ１は、ユーザが入力装置５０を介して入力することにより、予めＲＡＭ２２に記憶される。膨張回数Ｎ１は、たとえば２回である。膨張処理が行われることによって、膨張画像が生成されると、ステップａ３３に進む。

ステップａ３３では、検査対象マスク画像生成部７２によって、ステップａ３１において生成された判定対象候補領域の２値化画像に対し、収縮処理が行われる。このとき、収縮処理が行われる回数（収縮回数）Ｎ２は、ユーザが入力装置５０を介して入力することにより、予めＲＡＭ２２に記憶される。収縮回数Ｎ２は、たとえば２回である。収縮処理が行われることによって、収縮画像が生成されると、ステップａ３４に進む。

ステップａ３４では、検査対象マスク画像生成部７２によって、ステップａ３２において生成された膨張画像と、ステップａ３３において生成された収縮画像との差分を計算することによって、検査対象の文字の輪郭領域に対応する輪郭画像が生成される。以下では、この輪郭画像をマスク画像と称する場合がある。具体的には、次式（６）によって、マスク画像が生成される。
マスク画像＝膨張画像−収縮画像 …（６）

マスク画像が生成されると、ステップａ３５に進む。
ステップａ３５では、画像処理装置２０ａの濃度分布幅検出対象画像生成部７３によって、ステップａ３１において抽出された判定対象候補領域の画像と、ステップａ３４において生成されたマスク画像との論理積演算を行うことによって、濃度分布幅検出対象画像が生成される。この濃度分布幅検出対象画像は、判定対象候補領域の画像から、判定対象領域である検査対象の文字の輪郭領域内における画素を抽出したものに対応する。具体的には、次式（７）によって、濃度分布幅検出対象画像が生成される。
濃度分布幅検出対象画像＝候補領域の画像＆マスク画像 …（７）

濃度分布幅検出対象画像が生成されると、ステップａ３６に進む。
ステップａ３６では、画像処理装置２０ａの濃度ヒストグラム生成部７４によって、濃度分布幅検出対象画像について、すなわち判定対象領域に関する濃度ヒストグラムが生成される。濃度ヒストグラムが生成されると、ステップａ３７に進む。

ステップａ３７では、画像処理装置２０ａの濃度分布幅算出部７５によって、濃度ヒストグラム生成部７４によって生成された濃度ヒストグラムに基づいて、判定対象領域についての濃度分布幅が算出される。具体的には、先ず、前述と同様に、判別分析法を用いることにより、２値化閾値ｋｍａｘを決定する。２値化閾値ｋｍａｘが決定され、前述と同様に、２値化閾値ｋｍａｘによって、濃度ヒストグラムが低輝度側のクラスＣ０’と高輝度側のクラスＣ１’とに分けられると、クラスＣ０’の平均濃度をｆ０、クラスＣ１’の平均濃度をｆ１、濃度分布幅をＢとして、前記の式（４）によって、濃度分布幅Ｂが算出される。濃度分布幅Ｂが算出されると、ステップａ３８に進む。ステップａ３８で、濃度分布幅Ｂを算出するための処理が終了する。再び図８に戻って、濃度分布幅Ｂが算出されると、ステップａ４に進む。

ステップａ４では、ｍ×ｎ画素の判定対象候補領域内における判定対象領域（文字の輪郭領域）の二次微分画像が生成されて、その二次微分画像について絶対平均値が算出される。図１０は、図８のステップａ４における絶対平均値の算出工程のフローチャートである。ステップａ４０で、絶対平均値を算出するための処理が開始されて、ステップａ４１に進む。

ステップａ４１では、画像処理装置２０ａの二次微分画像生成部７６によって、検査対象マスク画像生成部７２によって抽出された判定対象候補領域の画像データに対し、平滑化フィルタ、すなわち平均値フィルタまたはガウシアンフィルタ（加重平均フィルタ）を用いることによって、平滑化処理が行われノイズが除去される。平滑化処理が行われると、ステップａ４２に進む。

ステップａ４２では、二次微分画像生成部７６によって、平滑化処理が行われた判定対象候補領域の画像データの各画素が、前述と同様に、ＲＡＭ２２に予め記憶されているラプラシアンフィルタを用いて二次微分される。二次微分された各画素によって構成される二次微分画像が生成されると、ステップａ４３に進む。

ステップａ４３では、画像処理装置２０ａの鮮明度検出候補画像生成部７７によって、二次微分画像生成部７６によって生成された判定対象候補領域の二次微分画像と、検査対象マスク画像生成部７２によって生成された判定対象領域（文字の輪郭領域）に対応するマスク画像との論理積演算を行うことによって、判定対象領域内における各画素が二次微分されている鮮明度検出候補画像が生成される。具体的には、次式（８）によって、鮮明度検出候補画像が生成される。
鮮明度検出候補画像＝判定対象候補領域の二次微分画像＆マスク画像 …（８）

鮮明度検出候補画像が生成されると、ステップａ４４に進む。
ステップａ４４では、画像処理装置２０ａの鮮明度検出画像生成部７８によって、鮮明度検出候補画像生成部７７によって生成された鮮明度検出候補画像の各画素のうち、ゼロクロスに寄与する画素を抽出することによって、鮮明度検出画像が生成される。すなわち、本実施形態では、判定対象領域の二次微分画像（鮮明度検出候補画像）の各画素から、さらに不要な画素を取り除くことにより、新たな判定対象領域に対応する二次微分画像（鮮明度検出画像）が生成される。

具体的には、鮮明度検出候補画像の各画素について、注目画素の二次微分値と該注目画素に隣接する隣接８近傍の各画素の二次微分値との積をそれぞれ計算し、各積算値（隣接する画素が８つある場合には、８つの積算値）のうち１つでも負の値となる積算値があれば、その注目画素を鮮明度検出画像を構成する画素、すなわちゼロクロスに寄与する画素として判定し、逆に、負の値となる積算値が１つもなければ、その注目画素を鮮明度検出画像を構成する画素でないと判定する。このようにして、鮮明度検出候補画像の各画素から、ゼロクロスに寄与する画素だけを抽出することによって、鮮明度検出画像が生成される。鮮明度検出画像が生成されると、ステップａ４５に進む。

ステップａ４５では、画像処理装置２０ａの絶対平均値算出部７９によって、鮮明度検出画像生成部７８によって生成された鮮明度検出画像の各画素について、前述と同様に、二次微分値の絶対値が算出され、さらに、その各画素の二次微分値の絶対値を相加平均することによって絶対平均値が算出される。絶対平均値Ｍが算出されると、ステップａ４６に進む。ステップａ４６で、絶対平均値Ｍを算出するための処理が終了する。再び図８に戻って、絶対平均値Ｍが算出されると、ステップａ５に進む。

ステップａ５では、画像処理装置２０ａの鮮明度算出部８０によって、絶対平均値算出部７９によって算出された絶対平均値Ｍを、濃度分布幅算出部７５によって算出された濃度分布幅Ｂで除することによって、検査対象の文字の鮮明の程度を表す鮮明度Ｒが算出される。具体的には、次式（９）によって、鮮明度Ｒが算出される。
Ｒ＝Ｍ÷Ｂ×１００００ …（９）

鮮明度Ｒが算出されると、ステップａ６に進む。
ステップａ６では、画像処理装置２０ａの鮮明度判定部８１によって、鮮明度算出部８０によって算出された鮮明度Ｒに基づいて、鮮明度判定が行われる。具体的には、算出された鮮明度Ｒと、予め設定されてＲＡＭ２２に記憶されている鮮明度判定用の閾値Ｒ０とが比較され、Ｒ≧Ｒ０であると判定されると、鮮明度Ｒが適正であるとしてステップａ３７に進み、Ｒ＜Ｒ０であると判定されると、鮮明度Ｒが不適正であるとしてステップａ３８に進む。鮮明度判定用の閾値Ｒ０は、たとえば経験則によって得られた値が予め定められ、ユーザが入力装置５０を介してその値を入力することにより、ＲＡＭ２２に記憶される。

ステップａ３７では、鮮明度Ｒが適正である、すなわち印刷された文字に異常なしと判定されたので、検査工程を終了する。また、ステップａ３８では、鮮明度Ｒが不適正である、すなわち印刷された文字に異常ありと判定されたので、たとえば表示画面を介して、ユーザに異常があったことを報知して、ステップａ３９に進む。ステップａ３９で、検査工程を終了する。

このように、本実施形態によれば、被写体２に付された文字などの読取対象表示を検査する際に、判定対象候補領域の二次微分画像のみから算出される値を用いて判定するのではなく、判定対象領域の二次微分画像の絶対平均値Ｍを、判定対象領域の濃度分布幅Ｂで除して得られる鮮明度Ｒを用いて判定するので、すなわち正規化された鮮明度Ｒを用いて判定するので、照明などの明るさによって鮮明度が変動することを考慮して鮮明度判定を行うことができ、印刷された文字などの読取対象表示に対する異常を精度良く検出することができる。また、光学系の環境設定を行うユーザが異なるような場合があったとしても、検出精度のばらつきを低減することができる。

また、本実施形態では、読取対象表示の輪郭領域に対応するマスク画像によって抽出された鮮明度検出候補画像から、さらに二次微分値の小さな累積誤差の影響を避けるために、ゼロクロスに寄与する画素だけを抽出することにより鮮明度検出画像を生成し、この鮮明度検出画像から絶対平均値を算出しているので、鮮明度判定の精度を向上させることができる。

１画像処理システム
１０撮像装置
１１ＣＣＤカメラ
２０画像処理装置
２１ＣＰＵ
２２ＲＡＭ
２３ＲＯＭ
３０照明装置
３１光源
３２電源
４０表示装置
５０入力装置
６１概略位置検出部
６２二次微分画像生成部
６３絶対平均値算出部
６４濃度ヒストグラム生成部
６５濃度分布幅算出部
６６合焦度算出部
６７合焦判定部

Claims

所定の読取対象表示を含む撮像対象領域を撮像することによって、読取対象表示を読取る光学系の合焦度または読取対象表示の鮮明度を判定するための画像処理方法であって、
読取対象表示および該読取対象表示の周辺の背景を含む判定対象領域内の各画素を二次微分することにより二次微分画像を生成する二次微分画像生成工程と、
前記二次微分画像における各画素の二次微分値の絶対値を相加平均することによって、絶対平均値を算出する絶対平均値算出工程と、
前記判定対象領域の濃度ヒストグラムを生成する濃度ヒストグラム生成工程と、
前記濃度ヒストグラムを高輝度側のクラスと低輝度側のクラスとに分けるための閾値を算出し、該閾値によって分けられた２つのクラスの各平均濃度の差分によって、濃度分布幅を算出する濃度分布幅算出工程と、
前記絶対平均値を前記濃度分布幅で除することによって、合焦度または鮮明度を算出するパラメータ算出工程と、
算出された合焦度または鮮明度と、予め定める閾値とを比較するパラメータ判定工程とを含むことを特徴とする画像処理方法。
前記二次微分画像生成工程において生成された二次微分画像の各画素から、ゼロクロスに寄与する画素だけを抽出するゼロクロス画素抽出工程をさらに含むことを特徴とする請求項１に記載の画像処理方法。
所定の読取対象表示を含む撮像対象領域を撮像することによって、読取対象表示を読取る光学系の合焦度または読取対象表示の鮮明度を判定するための画像処理装置であって、
読取対象表示および該読取対象表示の周辺の背景を含む判定対象領域内の各画素を二次微分することにより二次微分画像を生成する二次微分画像生成部と、
前記二次微分画像における各画素の二次微分値の絶対値を相加平均することによって、絶対平均値を算出する絶対平均値算出部と、
前記判定対象領域の濃度ヒストグラムを生成する濃度ヒストグラム生成部と、
前記濃度ヒストグラムを高輝度側のクラスと低輝度側のクラスとに分けるための閾値を算出し、該閾値によって分けられた２つのクラスの各平均濃度の差分によって、濃度分布幅を算出する濃度分布幅算出部と、
前記絶対平均値を前記濃度分布幅で除することによって、合焦度または鮮明度を算出するパラメータ算出部と、
算出された合焦度または鮮明度と、予め定める閾値とを比較するパラメータ判定部とを含むことを特徴とする画像処理装置。