JP6751859B2 - 載置検出システム - Google Patents

Description

本開示は、撮像された画像に二値化処理を施して、載置された対象物の形状を検出する載置検出システムに関する。

特許文献１は、原稿を置くための原稿台と、原稿台を覆うための原稿台カバーを備えているフラットベッド方式の画像読み取り制御装置を開示する。この画像読み取り制御装置は、読み取った画像データを二値化して原稿の存在している領域を含む矩形の領域を抽出する手段と、矩形の領域の傾きを検出する傾き検出手段と、検出した傾きに応じて、矩形の傾きを補正する傾き補正手段と、検出した傾きに応じて、矩形の各辺における切り幅を設定する切り幅設定手段と、設定された各辺の切り幅に基づいて、矩形の領域の周囲部分を切り取って原稿画像とする切り出し手段とを備える。これにより、原稿部分の切り出し精度を高めることができる。

特開２００４−２７４１９８号公報

本開示は、載置領域を覆うためのカバー等で対象物を押さえるような使用者の操作負担を軽減しつつ、載置領域に置かれた対象物の形状を検出することに有効な載置検出システムを提供する。

本開示における載置検出システムは、載置台と、載置台を介して、載置台に置かれた対象物を撮像して入力画像を生成する撮像装置と、入力画像を受け取る制御装置と、を有する。制御装置は、入力画像において、所定の画像レベル以上の画像レベルを有する高レベル画素を特定し、高レベル画素の閾値を設定し、高レベル画素以外の対象画素の閾値を、高レベル画素と対象画素との距離に応じて、高レベル画素の閾値よりも低く設定する。そして、制御装置は、対象画素の閾値に応じて、対象画素の画像レベルを二値化して二値化画像を生成し、二値化画像を用いて、対象物の形状を検出する。

本開示における載置検出システムは、載置領域を覆うためのカバー等で対象物を押さえるような使用者の操作負担を軽減しつつ、載置領域に置かれた対象物の形状を検出することができる。

図１Ａは、本開示の載置検出システムの一例を示す外観図である。 図１Ｂは、本開示のイメージセンサとコントローラを示すブロック図である。 図２は、載置検出システムの動作の一例を示すフロー図である。 図３は、横置きされたパスポートの二値化画像の一例の説明図である。 図４は、横置きされたパスポートの検出方法の一例の説明図である。 図５は、外光が映り込んだ状態のイメージセンサからの入力画像の一例を示す図である。 図６は、外光が映り込んだ状態の二値化画像の一例を示す図である。 図７は、外光影響を抑制する処理を含む載置検出システムの動作の一例を示すフロー図である。 図８は、外光影響を抑制する処理の説明図である。 図９は、閾値テーブルの一例を示す図である。 図１０は、閾値変化のイメージ図である。 図１１は、高レベル画素が複数ある場合の処理の説明図である。 図１２は、外光影響を抑制する処理後の二値化画像の一例を示す図である。 図１３は、外光影響を抑制する処理の高レベル画素検出領域の一例の説明図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態）
図１Ａは、本開示の載置検出システムの一例を示す外観図である。図１Ｂは、本開示のイメージセンサとコントローラを示すブロック図である。

載置検出システムはイメージセンサ１、載置台３、コントローラ２０を有する。ここで、イメージセンサ１は、載置台３を介して、載置台３に置かれたパスポート２（対象物の一例）を撮像して入力画像を生成する撮像装置の一例である。また、コントローラ２０は、入力画像を受け取る制御装置の一例である。

載置台３は例えば透明なガラス板である。載置台３の上にパスポート２が載置される。イメージセンサ１は、載置台３の下方から載置台３のガラス面すなわち載置領域４（図３参照）を撮像する。イメージセンサ１は、例えば、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサ等である。

イメージセンサ１が生成した入力画像は、コントローラ２０に送られる。コントローラ２０は、入力画像を用いて、目的の対象物が載置台３に載置されたか否かを判断する。なお、コントローラ２０は、ＣＰＵ、メモリ（ＲＯＭ、ＲＡＭ）等により構成される。以下に説明するコントローラ２０の機能は、例えば、コントローラ２０のＣＰＵが、コントローラ２０のメモリに格納されたプログラムを実行することにより実現される。

図２は、載置検出システムの動作フローチャートである。

まず、コントローラ２０は、イメージセンサ１からの入力画像を、所定の閾値に応じて二値化し、二値化された画像（二値化画像）を生成する（Ｓ１１）。

次に、コントローラ２０は二値化画像を用いて、パスポート２の形状を検出する（Ｓ１２）。

Ｓ１２の検出結果により、コントローラ２０はパスポート２が所定の置き方で置かれているかを判定する（Ｓ１３）。判定の結果が「Ｙｅｓ」であれば、目標とする置き方で置かれているとして、載置検出処理を終了する。判定の結果が「Ｎｏ」であれば、動作フローチャートの先頭に戻り、載置検出を繰り返す（Ｓ１４）。

図３は、横置きされたパスポート２の二値化画像の一例の説明図であり、図２のＳ１１の二値化処理後の画像例である。

二値化処理では、所定の閾値以下の画像レベルを有する画素を黒画素として表現し、所定の閾値よりも大きい画像レベルを有する画素を白画素として表現する。二値化画像において、載置領域４に置かれたパスポート２の画像レベルは低いため、パスポート領域５は黒画素で表現される。また、パスポート２で覆われていない背景領域６の画像レベルは高いため、背景領域６は白画素で表現される。ここで、入力画像の各画素の画像レベルは例えば０から２５５までの範囲を有する。所定の閾値を４０とすると、二値化処理において４０以下の画像レベルを有する画素は黒画素であり、４０よりも大きい画像レベルを有する画素は白画素となる。ここで、画像レベルとは、入力画像の各画素の明るさを示す値である。

図４は、横置きされたパスポート２の検出方法の一例の説明図である。図４を参照して、図２のＳ１２およびＳ１３の動作を説明する。

載置領域４の内部において、コントローラ２０は、パスポート２の横置き状態を検出するためのパスポート検出枠７を移動させながらパスポート２の形状を検出する。具体的には、パスポート検出枠７の枠内において、二値化画像の黒画素により埋められる割合が高い場所をコントローラ２０は検出する。そして、コントローラ２０は、検出された位置の黒画素の埋まり割合が所定の割合以上であるか否かを判定する。これにより、コントローラ２０は、パスポート２の置き方を判定する。ここで、所定の割合は、例えば９０％である。このときには、パスポート検出枠７内を埋める黒画素割合が９０％以上であれば、コントローラ２０は、パスポート２が載置領域４に横置きされていると判定する。

以下、図５〜１２を用いて、本実施の形態をさらに説明する。

［１−１．外光による課題］
図５は、外光が映り込んだ状態でイメージセンサ１が生成した入力画像である。

載置領域４にはパスポート２が置かれている。そして、外光がパスポート領域５の上側中央部分および右側部分に映り込んでいる。図５に示すようにイメージセンサ１からの入力画像において、外光が映り込んでいる領域の画像レベルは、パスポート領域５の画像レベルよりも高くなっている。そのため、外光が映り込んでいる領域の周辺の画素の画像レベルも高くなっている。ここで、外光とは、例えば、太陽光や天井に配置された照度の高い照明などである。

図６は、外光が映り込んだ状態の二値化画像である。パスポート領域５の上側中央部分および右側部分においては、外光の影響によってパスポートの形状が削られた状態になっている。

この二値化画像に対して、図４で説明した形状検出および置き方判定を行うと、パスポート２を置いているのに置かれていないと判定されてしまう。

［１−２．動作］
図７は、外光影響を抑制する処理を含む載置検出システムの動作フローチャートである。

まず、イメージセンサ１により得られた入力画像において、コントローラ２０は照度の高い外光に相当する画像レベルの高い画素（高レベル画素８）を検出する（Ｓ２１）。すなわち、コントローラ２０は、入力画像において、所定の画像レベル以上の画像レベルを有する高レベル画素８を特定する。ここで、所定の画像レベルとは、例えば、０〜２５５の範囲のうち、２４０である。

コントローラ２０は、Ｓ２１において検出された高レベル画素８の二値化処理のための閾値を既存の値よりも高く設定する。コントローラ２０は、例えば、高レベル画素８の閾値を、１５０に設定する。コントローラ２０は、高レベル画素８からの距離が離れるに従って閾値を下げていく処理を行う。すなわち、コントローラ２０は、高レベル画素８以外の対象画素の閾値を、高レベル画素８と対象画素との距離に応じて、高レベル画素８の閾値よりも低く設定する。これにより、コントローラ２０は画素位置に応じて閾値を決定するための閾値テーブルを作成する（Ｓ２２）。

次に、コントローラ２０は作成された閾値テーブルを用いて、入力画像を二値化し、二値化された画像（二値化画像）を生成する（Ｓ２３）。すなわち、コントローラ２０は、対象画素の閾値に応じて、対象画素の画像レベルを二値化して二値化画像を生成する。

次に、コントローラ２０は、二値化画像を用いて、パスポート２の形状を検出する（Ｓ１２）。

そして、コントローラ２０は、形状検出で得られた結果により、パスポート２が所定の置き方で置かれているかを判定する（Ｓ１３）。

判定の結果が「Ｙｅｓ」であれば、所定の置き方で置かれているとして、載置検出処理を終了する。判定の結果が「Ｎｏ」であれば、動作フローチャートの先頭に戻り、載置検出を繰り返す（Ｓ１４）。

図８は、外光の影響を抑制する処理の説明図である。図８を参照して、図７のＳ２１およびＳ２２の動作を説明する。

イメージセンサ１からの入力画像において、コントローラ２０は、高レベル画素８を検出して、高レベル画素８の二値化閾値９を高く設定する。そして、コントローラ２０は、高レベル画素８からの距離が離れるに従って二値化閾値９を下げていく。

図８では、上下方向および左右方向に変化する二値化閾値９の様子を示している。この処理により、高レベル画素８の閾値は他の画素の閾値よりも高くなる。また、高レベル画素８から離れるに従って、他の画素の閾値は、高レベル画素の閾値よりも下がっていくことになる。

このように、コントローラ２０は、閾値が画素位置に応じて決まる閾値テーブルを作成する。

ここで、高レベル画素８の画像レベルは、画像レベルとして０〜２５５の範囲を有する画像において、２４０以上とする。閾値テーブルにおいては、例えば、最も高い閾値は１５０、最も低い閾値は４０とする。

図９は、閾値テーブルの作成の一例である。

例えば画像レベルが２５０である高レベル画素８の位置を（０，０）という座標で表現した場合、コントローラ２０は、高レベル画素８の二値化閾値９の値を既存の値である４０から１５０に変更する。

また、コントローラ２０は、例えば座標（１，０）、座標（−１，０）の画素については二値化閾値９の値を１３０する。ここで、座標（１，０）、座標（−１，０）の画素は、高レベル画素８の隣の画素である。

さらに、コントローラ２０は、例えば座標（２，０）、座標（−２，０）の画素については二値化閾値９の値を１１０とする。ここで、座標（２，０）の画素は、座標（１，０）の画素の隣の画素であり、座標（−２，０）の画素は、座標（−１，０）の画素の隣の画素である。

このようにして、例えば高レベル画素８の近傍の対象画素の閾値については、高レベル画素８との距離に応じて、高レベル画素８の閾値よりも低く設定する。このようにして、コントローラ２０は閾値テーブルを作成する。

なお、高レベル画素８に相当する画素が無い場合は、閾値は画面全体で同値（例えば、４０）とすればよい。

図１０は、図８で説明した閾値変化のイメージ図である。

図１０において頂点に当たる部分が高レベル画素８の位置であり、高レベル画素８からの距離が離れていくに従って閾値が下がっている。図１０においては高レベル画素８からの距離に比例して線形的に閾値を下げたイメージ図を示している。しかし、高レベル画素８からの距離に応じて閾値を下げていく処理であればよい。そのため、閾値は、指数関数的に下がっていってもよいし、同心円状に下がっていってもよい。つまり、コントローラ２０は、対象画素の閾値を、高レベル画素８と対象画素との距離の一次関数として設定してもよい。また、コントローラ２０は、対象画素の閾値を、高レベル画素８と対象画素との距離の指数関数として設定してもよい。

図１１は、入力画像が高レベル画素８を複数有する場合の処理の説明図である。

ふたつの高レベル画素８の各々の画素位置を中心に、閾値が下がっていくが、重なり合う部分においては、高い閾値の方を選択する。これにより、最適な閾値テーブルを作成することができる。すなわち、コントローラ２０は、入力画像において、所定の画像レベル（例えば、２４０）以上の画像レベルを有する他の高レベル画素を特定し、他の高レベル画素の閾値を設定する。ここでは、コントローラ２０は、他の高レベル画素の閾値を１５０に設定する。コントローラ２０は、他の高レベル画素と対象画素との距離に応じて、他の閾値を算出する。コントローラ２０は、他の閾値がすでに設定された対象画素の閾値よりも大きい場合、対象画素の閾値を他の閾値に設定する。

図１２は、外光影響を抑制する処理後の二値化画像であり、図７のＳ２３の二値化処理後の画像例になる。

外光周辺の画像レベルが上がった画素に対して、外光に近いほど高い閾値で二値化する。そのため、図６のようにパスポート領域５の一部領域が削られている状態と比較して、図１２の例ではパスポート２の形状が改善されることがわかる。

これにより、外光の影響を抑制して、載置領域４にパスポート２が置かれたことを検出することができる。

図１３は、外光影響を抑制する処理の高レベル画素検出領域の一例の説明図である。

外光要因の高レベル画素は、パスポート領域５（図３参照）のうちパスポート２の周辺に近い領域に影響を及ぼす。そのため、高レベル画素を検出するための高レベル画素検出領域１１をパスポート２の周辺に限定することもできる。

例えば、入力画像が水平６４画素、垂直４８画素の場合、載置領域４の中でパスポート２を端に寄せて置いたときに空く領域幅が４画素程度であれば、高レベル画素検出領域１１の幅を４画素としてもよい。

［１−３．効果等］
以上のように、本実施の形態１において、外光が載置領域に照射される環境下でも、載置された対象物の形状を適切に検出することが可能になる。これにより、パスポート２などを覆いの下に差し込んだり、蓋により押さえたりする従来動作と比較して、覆いの無い載置領域に検出対象を置くだけでよくなる。そのため、ユーザーが使い易いシステムを提供できる。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、外光などの影響がある状況において、対象物の形状を検出する載置検出システムに適用可能である。例えば、対象物をパスポート２とした時に、パスポート２の置き方が適正であるかどうかを判定するようなパスポートリーダに適用可能である。

１ イメージセンサ（撮像装置）
２ パスポート
３ 載置台
４ 載置領域
５ パスポート領域
６ 背景領域
７ パスポート検出枠
８ 高レベル画素
９ 二値化閾値
１１ 高レベル画素検出領域
２０ コントローラ（制御装置）

Claims (6)

1. 載置台と、
   前記載置台を介して、前記載置台に置かれた対象物を撮像して入力画像を生成する撮像装置と、
   前記入力画像を受け取る制御装置と、を有し、
   前記制御装置は、
   前記入力画像において、所定の画像レベル以上の画像レベルを有する高レベル画素を特定し、
   前記高レベル画素の閾値を設定し、
   前記高レベル画素以外の対象画素の閾値を、前記高レベル画素と前記対象画素との距離に応じて、前記高レベル画素の閾値よりも低く設定し、
   前記対象画素の閾値に応じて、前記対象画素の画像レベルを二値化して二値化画像を生成し、
   前記二値化画像を用いて、前記対象物の形状を検出する
   載置検出システム。
2. 前記制御装置は、前記対象画素の閾値を、前記距離の一次関数として設定する
   請求項１に記載の載置検出システム。
3. 前記制御装置は、前記対象画素の閾値を、前記距離の指数関数として設定する
   請求項１に記載の載置検出システム。
4. 前記入力画像の各画素の画像レベルは０から２５５までの範囲を有する
   請求項１から３のいずれか１項に記載の載置検出システム。
5. 前記制御装置は、
   前記入力画像において、前記所定の画像レベル以上の画像レベルを有する他の高レベル画素を特定し、
   前記他の高レベル画素の閾値を設定し、
   前記他の高レベル画素と前記対象画素との距離に応じて、他の閾値を算出し、
   前記他の閾値が前記高レベル画素と前記対象画素との距離に応じて設定された対象画素の閾値よりも大きい場合、前記対象画素の閾値を前記他の閾値に設定する
   請求項１から４のいずれか１項に記載の載置検出システム。
6. 前記載置台は透明な板である
   請求項１から５のいずれか１項に記載の載置検出システム。