JP7063488B2 - 撮像方法、撮像装置、撮像対象の判別方法及びプログラム - Google Patents

Description

この発明は、撮像部と、上記撮像部による撮像対象を照明する照明部とを備える撮像装置、このような撮像装置による撮像方法、および、コンピュータに撮像装置を制御させて撮像方法を実行させるためのプログラムに関する。また、この発明は、撮像部と、上記撮像部による撮像対象を照明する照明部とを備える撮像装置による撮像対象の判別方法及び撮像方法にも関する。

従来から、例えばバーコードや二次元コード等のコード記号を光学的に読み取るための光学的情報読取装置において、読取対象物を撮像し、撮像で得られた画像からコード記号を切り出してデコードすることが行われている。この場合において、画像が暗すぎるとデコードが行えないため、光学的情報読取装置に照明部を設け、読取対象物を照明しつつ撮像することも行われている。

この場合において、どの程度の強度や時間で照明を行えばよいかは、周囲の環境や、読取対象物の種類によって変わってくる。また、それらにより適切な露光時間も変わってくる。このため、照明の強度や時間を自動的に適切な値に調整する技術が、本件出願人によるものも含め、特許文献１乃至７に示すように種々開発されている。

この中で、例えば特許文献１には、その段落００２８及び図５Ａ等に、連続した低強度の照明と少なくとも１パルスの高強度の照明とを行いつつ、撮像した画像の画像強度に基づき適切な露光時間を設定することが記載されている。
特許文献２には、段落００３８等に、画像の明るさや読取対象物までの距離に基づいて点灯時間を調整することが記載されている。
なお、照明や露光の調整は、コード記号の読取以外の目的で撮像する際にも行われ、特許文献１乃至７には、光学的情報読取装置以外の装置に関する技術を開示する文献も含まれる。

特許第６０５３２２４号公報 特開２０１５－７６１０６号公報 特開２００１－４３３０６号公報 特開２００１－２４５１１１号公報 特開２０１１－１３０１６５号公報 特開２０１３－４２４２９号公報 特開２０１９－１２９５０９号公報

ところで、コード記号の例で考えると、近年コード記号は、紙等の記録担体に固定的に印刷されるのみならず、ディスプレイ等の表示器により動的に表示されることも多い。このため、読取装置の運用環境においてしばしば、読取対象物すなわち撮像対象として記録担体と表示器の双方を想定しなければならない。

しかしながら、記録担体と表示器では、記録担体は通常は自ら発光しない一方表示器は自ら発光するものが多いという点で、特性が大きく異なる。このため、撮像に適した条件も、大きく異なる。

このため、単に撮像で得られた画像の明るさに基づき撮像条件を調整するのみでは、コード記号のデコードに適した画像を得ることが難しい場合もあった。例えば、スマートフォンのディスプレイに表示されたコード記号を読み取る場合、ディスプレイ自体が発光されているため、画像の明るさが十分でないからといって照明の点灯時間を増加させても、画像の明るさ向上に寄与しづらいことが考えられる。一方、露光時間を延ばすことは、明るさ向上に効果的と考えられる。逆に、紙に印刷されたコード記号を読み取る場合、周囲が暗ければ、露光時間を延ばしたとしても画像の明るさ向上は見込めず、照明の点灯時間を（露光時間の範囲内で）増加させることが効果的と考えられる。

照明の光量や時間と、露光時間との双方を増加させれば、撮像対象がスマートフォンの場合と紙の場合の双方に対応可能と考えられるが、スマートフォンを撮像する場合に、本来不要な量の照明を行うことになり、消費電力の増加や、ユーザがまぶしく感じるといったことの原因となり得る。また、スマートフォンの表示面のガラスの正反射のため、照明により却って撮像に支障が出ることも考えられる。

また、何らかの手段により撮像対象を判別した上で、その特性に合った制御を行うことも考えられる。しかし、安価に搭載可能なハードウェアやソフトウェアでは、紙とスマートフォンですら、効果的に判別することは難しかった。例えば、撮像対象の表面で正反射が起こる場合に読取対象物がスマートフォンであると判別することが考えられるが、この基準では、保護シートが貼られている等により正反射が起こらない場合には適切な判別ができない。また、オペレータが撮像対象をスイッチ等で読取装置に設定することも考えられるが、様々な対象を速やかに読み取る必要がある場合には、現実的ではない。

この発明は、このような課題を解決し、撮像装置により撮像対象を照明しつつ撮像を行う場合において、幅広い撮像対象を想定しつつ速やかに適切な撮像条件を設定できるようにすることを目的とする。また、この発明は、別の側面として、撮像装置により撮像対象を照明しつつ撮像を行う場合において、撮像対象が発光体である場合に、容易にその旨を判別できるようにすることを目的とする。いずれの場合においても、もちろん、撮像の目的は、コード記号等の情報の読み取りには限られず、本発明は、任意の目的で撮像を行う場合に適用可能である。想定される撮像対象も、紙等の記録担体と、スマートフォン等が備える表示器とに限られず、任意である。

以上の目的を達成するため、この発明の撮像方法は、撮像部と、上記撮像部による撮像対象を照明する照明部とを備える撮像装置による撮像方法において、上記撮像部の露光時間と上記照明部の点灯時間とを含む撮像条件に従った撮像を行い、上記撮像で得られた画像の明るさと、その画像の撮像条件とを対応付けて記憶部に記憶し、上記記憶部に記憶された明るさ及び撮像条件の複数組に基づいて、上記露光時間の変動が画像の明るさに与える影響の度合いを示す第１パラメータの推定値及び、上記点灯時間の変動が画像の明るさに与える影響の度合いを示す第２パラメータの推定値を求め、上記第１パラメータの推定値及び上記第２パラメータの推定値に基づき、次の撮像に用いる撮像条件を決定するようにしたものである。

さらに、上記第１パラメータの推定値及び上記第２パラメータの推定値に基づき、上記点灯時間が長くなるほど、上記露光時間が短くなり、上記点灯時間が短くなるほど、上記露光時間が長くなるような、露光時間と点灯時間との間の関係を定め、定めた上記関係を満たすように、次の撮像に用いる撮像条件の上記決定をするとよい。
さらに、上記次の撮像に用いる撮像条件を、露光時間と点灯時間との間の上記関係を満たし、かつ、最新の撮像条件と比べて、点灯時間の露光時間に対する比が所定閾値以上異なるように決定するとよい。
さらに、上記次の撮像に用いる撮像条件を、点灯時間の露光時間に対する比が、上記第２パラメータの推定値の上記第１パラメータの推定値に対する比になるべく近くなるように決定するとよい。
この発明の撮像方法において、上記点灯時間に代えて、上記照明部による前記撮像対象の照明量を用いることもできる。

また、この発明は、撮像装置により撮像対象を照明しつつ撮像を行う場合において、撮像対象が発光体である場合に、容易にその旨を判別できるようにすることを目的とした、以下の判別方法及び、このような判別方法を利用した撮像方法も提供する。これらの発明においても、撮像の目的は、コード記号等の情報の読取には限られず、本発明は、任意の目的で撮像を行う場合に適用可能である。想定される発光体も、スマートフォン等が備える表示器に限られず、任意である。

この発明の判別方法は、撮像部と、上記撮像部による撮像対象を照明する照明部とを備える撮像装置による撮像対象の判別方法であって、上記撮像部の露光時間と上記照明部の点灯時間とを含む撮像条件を用い、少なくとも上記露光時間が相互に異なる複数の撮像条件に従った撮像をそれぞれ行い、上記各撮像で得られた画像の明るさと、その画像の撮像条件とを対応付けて記憶部に記憶し、上記記憶部に記憶された明るさ及び撮像条件の複数組に基づいて、上記露光時間の変動が画像の明るさに与える影響の度合いの推定値を求め、その推定値が第１閾値より大きい場合に、上記撮像部による撮像対象が発光体であると判断するものである。

また、この発明の別の判別方法は、撮像部と、上記撮像部による撮像対象を照明する照明部とを備える撮像装置による撮像対象の判別方法であって、上記撮像部の露光時間と上記照明部の点灯時間とを含む撮像条件を用い、少なくとも上記点灯時間が相互に異なる複数の撮像条件に従った撮像をそれぞれ行い、上記各撮像で得られた画像の明るさと、その画像の撮像条件とを対応付けて記憶部に記憶し、上記記憶部に記憶された明るさ及び撮像条件の複数組に基づいて、上記点灯時間の変動が画像の明るさに与える影響の度合いの推定値を求め、その推定値が第２閾値より小さい場合に、上記撮像部による撮像対象が発光体であると判断するものである。

また、この発明のさらに別の判別方法は、撮像部と、上記撮像部による撮像対象を照明する照明部とを備える撮像装置による撮像対象の判別方法であって、上記撮像部の露光時間と上記照明部の点灯時間とを含む撮像条件を用い、少なくとも上記露光時間と上記点灯時間との間の比が相互に異なる複数の撮像条件に従った撮像をそれぞれ行い、上記各撮像で得られた画像の明るさと、その画像の撮像条件とを対応付けて記憶部に記憶し、上記記憶部に記憶された明るさ及び撮像条件の複数組に基づいて、上記露光時間の変動が画像の明るさに与える影響の度合いを示す第１パラメータの推定値及び、上記点灯時間の変動が画像の明るさに与える影響の度合いを示す第２パラメータの推定値を求め、上記第１パラメータの推定値が第１閾値より大きく、かつ、上記第２パラメータの推定値が第２閾値より小さい場合に、上記撮像部による撮像対象が発光体であると判断するものである。

また、この発明のさらに別の判別方法は、撮像部と、上記撮像部による撮像対象を照明する照明部とを備える撮像装置による撮像対象の判別方法であって、上記撮像部の露光時間と上記照明部の点灯時間とを含む撮像条件を用い、少なくとも上記露光時間と上記点灯時間との間の比が相互に異なる複数の撮像条件に従った撮像をそれぞれ行い、上記各撮像で得られた画像の明るさと、その画像の撮像条件とを対応付けて記憶部に記憶し、上記記憶部に記憶された明るさ及び撮像条件の複数組に基づいて、上記露光時間の変動が画像の明るさに与える影響の度合いを示す第１パラメータの推定値及び、上記点灯時間の変動が画像の明るさに与える影響の度合いを示す第２パラメータの推定値を求め、上記第１パラメータの推定値の、上記第２パラメータの推定値に対する比が、第３閾値よりも大きい場合に、上記撮像部による撮像対象が発光体であると判断するものである。

また、この発明の撮像方法は、上記のいずれかの判別方法により撮像対象が発光体であると判断した場合に、撮像対象が発光体であると判断しなかった場合と比べて点灯時間の上限値を小さくして次の撮像に用いる撮像条件を決定し、撮像対象が発光体であると判断しなかった場合に、撮像対象が発光体であると判断した場合と比べて点灯時間の下限を大きくして次の撮像に用いる撮像条件を決定して、決定した上記撮像条件に従って上記撮像装置により撮像を行うものである。

また、この発明は、以上説明した態様で実施する他、装置、方法、システム、プログラム、プログラムを記録した記録媒体等、任意の態様で実施することができる。

以上のような本発明の構成によれば、撮像装置により撮像対象を照明しつつ撮像を行う場合において、幅広い撮像対象を想定しつつ速やかに適切な撮像条件を設定することができる。また、この本発明の別の側面の構成によれば、撮像装置により撮像対象を照明しつつ撮像を行う場合において、撮像対象が発光体である場合に、容易にその旨を判別することができる。

この発明の撮像装置の一実施形態である読取装置１００のハードウェア構成を示すブロック図である。 図１に示した読取装置１００が備える機能の構成を示す機能ブロック図である。 読取装置１００が実行する、点灯時間ｔｒと露光時間ｔｅを求めるための処理の概要について説明するための図である。 読取装置１００が実行する、点灯時間ｔｒと露光時間ｔｅを求めるための処理の概要について説明するための別の図である。 読取装置１００のＣＰＵ１２１が実行する、読取制御部１５１の機能と対応する処理のフローチャートである。 同じく、撮像部１５３及び撮像条件決定部１５４の機能と対応する処理のフローチャートである。 図６に示した撮像条件決定処理のフローチャートである。 読取装置１００のＣＰＵ１２１が実行する、デコード部１５６の機能と対応する処理のフローチャートである。 第２実施形態の読取装置１００が備える機能の構成を示す、図２と対応する機能ブロック図である。 第２実施形態の読取装置１００のＣＰＵ１２１が実行する、撮像対象判定部１５８の機能と対応する処理のフローチャートである。

この発明の実施形態について、図面を参照しながら説明する。
〔第１実施形態：図１乃至図８〕
まず図１を用いて、この発明の撮像装置の一実施形態について説明する。図１は、撮像装置の実施形態である読取装置のハードウェア構成を示すブロック図である。
図１に示す読取装置１００は、読取対象１０１上の、光反射率が周囲と異なる記号により示されるコード記号１０２を光学的に読み取るための光学的情報読取装置であって、その読み取りに際して、読取対象１０１を撮像する撮像装置でもある。

読取対象１０１は、静的にコード記号１０２を担持する記録担体であってもよいし、動的にコード記号を表示する表示器であってもよい。記録担体の材質は、紙、金属、樹脂など任意でよいし、記録担体にコード記号１０２を担持させる方法も、印刷、表面改質、刻印など、任意でよい。表示器も、バックライト等により自ら発光して情報を呈示する発光体であっても、反射型液晶表示装置のように、外部からの光を反射することにより情報を呈示する装置であってもよい。もちろん、読取対象１０１が上記のいずれであるかが予め特定されていなくてよい。

コード記号１０２も、一次元のバーコードであっても、二次元コードであってもよく、その規格は問わない。コード記号１０２の規格が予め特定されておらず、後述するデコード処理の中で規格を判別する構成であってもよい。

図１に示すように、この読取装置１００は、光学部１１０、制御部１２０、操作部１３１及び通知部１３２を備える。
これらのうち光学部１１０は、撮像センサ１１１、レンズ１１２、パルスＬＥＤ（発光ダイオード）１１３を備え、コード記号１０２を含む読取対象１０１の画像を光学的に撮像するための撮像装置である。

撮像センサ１１１は、読取対象１０１等の撮像対象の画像を撮像するための撮像部であり、例えばＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサにより構成することができる。また、撮像センサ１１１は、撮像によりイメージセンサの各画素に蓄積した電荷に基づき、各画素の階調値を示す画像データを生成し、制御部１２０へ出力することができる。この撮像センサ１１１において、画素は二次元的に配置されている。

レンズ１１２は、撮像センサ１１１上に撮像対象からの反射光を結像させるための光学系である。
パルスＬＥＤ１１３は、撮像センサ１１１による撮像対象へ照明光を照射するための照明部である。

次に、制御部１２０は、ＣＰＵ１２１と、ＣＰＵ１２１が実行するプログラムや各種テーブル等のデータを記憶したＲＯＭ１２２と、ＣＰＵ１２１が各種の処理を実行する際の作業領域として使用するＲＡＭ１２３と、外部装置と通信を行うための通信Ｉ／Ｆ１２４とを備えている。

ＣＰＵ１２１は、ＲＡＭ１２３を作業領域としてＲＯＭ１２２に記憶されたプログラムを実行することにより、光学部１１０、操作部１３１及び通知部１３２を含む読取装置１００全体の動作を制御して、図２を用いて後述するものを始めとする、種々の機能を実現する。また、撮像センサ１１１が撮像した画像の画像データに含まれるコード記号１０２の検出及びデコード、そのデコード結果の外部への出力あるいは蓄積などの処理も行う。
通信Ｉ／Ｆ１２４は、コード記号１０２のデコード結果を利用するデータ処理装置など、種々の外部装置と通信するためのインタフェースである。

操作部１３１は、ユーザの操作を受け付けるためのボタンやトリガ等の操作手段である。通知部１３２は、ユーザへの各種通知を行うための通知手段である。具体的な通知の方法としては、ディスプレイによるメッセージやデータの表示、ランプの点灯や点滅、スピーカによる音の出力等が考えられるが、これに限られることはない。
読取装置１００を外部装置からの制御あるいは自律制御により自動で動作させる場合には、操作部１３１や通知部１３２を設けなくてもよい。
以上の読取装置１００は、例えば手持ち型や据え置き型のコード記号読取装置として構成することができるが、これらに限られることはない。

以上の読取装置１００において、特徴的な点の一つは、撮像センサ１１１による過去の撮像で得られた画像の明るさと、その撮像に用いた撮像条件との組み合わせに基づき、次の撮像の撮像条件を決定する方法である。次に、この点について説明する。
まず、読取装置１００が備える、上記の撮像条件の決定の機能を含む、コード記号の読み取りに関連する機能について説明する。図２は、その機能の構成を示す機能ブロック図である。

図２に示すように、読取装置１００は、読取制御部１５１、トリガ検出部１５２、撮像部１５３、撮像条件決定部１５４、撮像履歴記憶部１５５、デコード部１５６及び出力部１５７の機能を備える。これらの各部の機能は、ここで説明する例では、ＣＰＵ１２１がソフトウェアを実行することにより光学部１１０をはじめとする読取装置１００の各部を制御することにより実現するが、その一部又は全部を専用の制御回路により実現してもよい。

図２に示す読取制御部１５１は、読取対象１０１の撮像からコード記号１０２のデコードまで、コード記号１０２の読み取りに関連する動作を統括的に制御する機能を備える。この機能には、読取開始トリガの検出に応じた撮像の開始や、デコード完了トリガの検出に応じた撮像の停止及びデコード結果の出力等が含まれる。

トリガ検出部１５２は、読取開始トリガの発生を監視すると共に、読取開始トリガを検出した場合にその旨を読取制御部１５１に通知する機能を備える。何を読取開始トリガとするかは、読取装置１００のメーカーあるいはユーザが任意に定めればよい。例えば、操作部１３１が備えるトリガスイッチの操作があったことや、撮像センサ１１１の撮像範囲内に何らかの物体が進入したこと等をトリガとすることができる。後者の場合、物体検知用の、赤外線センサ等のセンサ等を読取装置１００に設けるとよい。また、何をトリガとするかをユーザが任意に切り替えられるようにしてもよい。

撮像部１５３は、読取制御部１５１からの開始指示に応じて、光学部１１０を制御して撮像を行わせ、撮像で得られた画像データを取得する機能を備える。この撮像は、撮像条件決定部１５４が決定した条件に従って行う。また、撮像部１５３は、撮像で得られた画像をデコードする場合に、その画像データをデコード部１５６に渡す機能及び、撮像に用いた撮像条件とその撮像で得られた画像の明るさとを対応付けて、撮像履歴として撮像履歴記憶部１５５に登録する登録部の機能も備える。

撮像条件決定部１５４は、撮像履歴記憶部１５５に登録されている、撮像条件と画像の明るさとの組のデータに基づき、現在の読取対象１０１を撮像するに適した撮像条件を決定し、撮像部１５３に提供する機能を備える。この実施形態では、撮像条件決定部１５４は、撮像条件として撮像センサ１１１の露光時間及びパルスＬＥＤ１１３の点灯時間を決定するが、他の条件も合わせて決定することは妨げられない。また、この決定のアルゴリズムの詳細については後述する。

撮像履歴記憶部１５５は、撮像部１５３が撮像に用いた撮像条件とその撮像で得られた画像の明るさとを対応付けて記憶する機能を備える。記憶に用いるハードウェアは、ＲＡＭ１２３等の、読取装置１００が備えるハードウェアであっても、読取装置１００の外部のハードウェアであってもよい。
デコード部１５６は、撮像部１５３から渡された画像データに含まれるコード記号１０２のデコード処理を行い、デコードが成功した場合にその旨及びデコード結果のデータを読取制御部１５１に渡す機能を備える。

出力部１５７は、通信Ｉ／Ｆ１２４や通知部１３２を用いて、コード記号１０２のデコード結果を、データ処理装置等の外部装置へ出力すると共に、読取成功をユーザに通知する機能を備える。ユーザへの通知の方法は、ブザーや振動など、任意の方法で行うことができるし、通知不要の場合には行わなくてもよい。

次に、以上の読取装置１００において撮像条件決定部１５４が行う読取条件決定の基本的な考え方について説明する。
まず、撮像条件決定部１５４は、撮像部１５３での撮像により、デコードに適した明るさの画像が得られるように、撮像条件を決定する。明るさは、例えば、画像中の数百画素程度の標本画素の画素値の、上位数パーセント程度のパーセンタイル値として求めることができる。適当なオフセット処理を行ってもよい。いずれにせよ、本明細書では、画像の明るさを示すパラメータの値を輝度指標値Ｄ１とし、輝度指標値Ｄ１の値が所定の目標値Ｄ１＿ｔとなる画像が得られるように、撮像条件を決定する。

ここで、周囲の環境や読取対象及びその位置が一定である場合、すなわち、特定の読取対象に対して複数フレームの撮像を短時間のうちに行う場合、輝度指標値Ｄ１に影響を与えるパラメータとしては、パルスＬＥＤ１１３の点灯時間ｔｒ、撮像センサ１１１の露光時間ｔｅ、および撮像センサ１１１のゲインｇが考えられる。そして、これらのパラメータと、輝度指標値Ｄ１との関係は、近似的には以下の式１のように表せると考えられる。

ここで、ｋ＿ｏｆｆは、露光時間ｔｅの変動が画像の明るさに与える影響の度合いを示す露光寄与度（第１パラメータ）であり、ｋ＿ｏｎは、点灯時間ｔｒの変動が画像の明るさに与える影響の度合いを示す点灯寄与度（第２パラメータ）である。式１は、撮像センサ１１１が検出する光量は、概ね露光時間ｔｅに比例し、パルスＬＥＤ１１３を点灯すればその点灯時間ｔｒに比例する量だけ増加し、画像の明るさ（輝度指標値Ｄ１）は、その光量をどの程度の倍率のゲインｇで画素値に反映させるかによって決まる、との考え方に基づく。

なお、ここでは、パルスＬＥＤ１１３による照明の光量は、点灯中は常に一定であると仮定しており、また、露光時間ｔｅと点灯時間ｔｒの寄与がそれぞれ線形であると仮定しているが、このように仮定しても、撮像条件の決定は、十分な精度で行うことができる。照明の光量の変動を考慮する例については、変形例として後述する。

式１において、ｋ＿ｏｎ及びｋ＿ｏｆｆの値は、周囲の環境や読取対象及びその位置によって決まり、これらが一定である場合には、定数とみなすことができる。従って、ｔｒ，ｔｅ，ｇの値を適切に定めることにより、撮像で得られる画像の輝度指標値Ｄ１を、所望の値又はその近傍の値にすることが期待できる。
しかしここでは、制御を簡単にするため、ゲインｇは固定とし、点灯時間ｔｒ及び露光時間ｔｅの調整によって、所望の輝度指標値Ｄ１を得ることを考える。

そこで、Ｄ＝Ｄ１／ｇなる輝度指標値Ｄを導入する。輝度指標値Ｄを用いると、式１の関係は次の式２のように表せるので、以下では、撮像で得られる画像の輝度指標値Ｄを所定の目標値Ｄ＿ｔにできるような、点灯時間ｔｒ及び露光時間ｔｅを求めることを考える。

撮像条件決定部１５４は、このためにまず、ｋ＿ｏｎ及びｋ＿ｏｆｆの値を推定する。
具体的には、撮像条件決定部１５４は、点灯時間ｔｒ及び露光時間ｔｅを変更しつつ撮像を行い、点灯時間ｔｒ及び露光時間ｔｅと、各撮像で得られた画像の輝度指標値Ｄとを式２にあてはめて、式３のような関係式を得る。式３において、ｉを自然数として、Ｄ＿ｃｉは、ｉ番目の撮像で得られた画像の輝度指標値Ｄの値、ｔｒｉ及びｔｅｉはそれぞれｉ番目の撮像に用いた撮像条件における点灯時間ｔｒ及び露光時間ｔｅである。ｘは、ｋ＿ｏｎ及びｋ＿ｏｆｆの値の推定に利用可能な撮像履歴の数である。

式３において、未知数はｋ＿ｏｎ及びｋ＿ｏｆｆのみであるから、式３を、ｋ＿ｏｎ及びｋ＿ｏｆｆの連立方程式であると見て解けば、ｋ＿ｏｎ及びｋ＿ｏｆｆの推定値を求めることができる。式が３以上あると、ｋ＿ｏｎとｋ＿ｏｆｆの解は一意に定まらないが、以下の式４及び式５に従った計算により、全ての式を概ね満たす、ｋ＿ｏｎとｋ＿ｏｆｆの解の近似値を得ることができる。

式４は、式３と同じ内容を行列を用いて表したもの、式５は、式４を変形して、左辺の行列Ｋの値を求める式を導出したものである。式５において、Ｘ^Ｔは行列Ｘの転置行列を、Ｘ^－１は行列Ｘの逆行列を示す。式５は、式４の両辺に、左側から行列Ｓ^Ｔ及び行列（Ｓ^ＴＳ）^－１を順次乗じて整理することにより、導出できる。
なお、式２の趣旨から、ｋ＿ｏｎ及びｋ＿ｏｆｆは、ともに正の値であると考えられるため、式５の計算の結果０以下の値となった場合には、推定値を適当な小さい正の値とするとよい。

また、ｘ＝２の場合は、２回の撮像で点灯時間ｔｒと露光時間ｔｅの比が一定であると、解が求まらないため、当該２回の撮像では、点灯時間ｔｒと露光時間ｔｅの比が互いに異なる撮像条件を用いることが好ましい。また、ｘが３以上であっても、ｘ回の撮像で点灯時間ｔｒと露光時間ｔｅの比が全て一定であると、解が求まらないため、点灯時間ｔｒと露光時間ｔｅの比は、撮像毎に適宜に変動させることが好ましい。

撮像条件決定部１５４は、以上によりｋ＿ｏｎ及びｋ＿ｏｆｆの推定値が求まると、その推定値を用いて、次の撮像に用いるべき点灯時間ｔｒと露光時間ｔｅを求める。次に、この点について、図３及び図４のグラフを参照しつつ説明する。
図３は、式２のグラフを、ｔｒ－ｔｅ－Ｄ空間上に示したもので、符号２２３が、式２が表す平面を示す。（ａ）と（ｂ）は、この平面２２３を、それぞれｋ＿ｏｎとｋ＿ｏｆｆの値の異なる組み合わせについて示した、２つの例である。

（ａ）は、ｋ＿ｏｎが大きく、ｋ＿ｏｆｆが小さい値である場合の例である。例えば、暗い環境で、紙等の非発光体を撮像しようとする場合、露光時間ｔｅを長くしても撮像センサ１１１に入射する光量はさほど変わらず、点灯時間ｔｒを長くすれば、入射光量はそれに応じて大きく増加して画像の明るさに反映されると考えられるため、（ａ）のような傾向を示す。

（ｂ）は、ｋ＿ｏｎが小さく、ｋ＿ｏｆｆがある程度大きい値である場合の例である。例えば、スマートフォンのディスプレイのように、発光体を撮像しようとする場合、露光時間ｔｅを長くすれば、ディスプレイが発する光が長時間撮像センサ１１１に入射するため、撮像センサ１１１に入射する光量は増加してそれが画像の明るさに反映される。しかし、点灯時間ｔｒを長くしても、撮像センサ１１１に入射する光量自体はそれに応じて増加すると考えられるが、同じ時間内に入射する、ディスプレイが発する光と比べて弱いため、画像の明るさへの影響は小さいと考えられる。このため、（ｂ）のような傾向を示す。

これらの（ａ）と（ｂ）は、単に２つの例を示したのみであり、これら以外の、例えばｋ＿ｏｎとｋ＿ｏｆｆが共にある程度大きい値である場合もあり得る。第１実施形態において、撮像条件決定部１５４は、ｋ＿ｏｎ及びｋ＿ｏｆｆの推定値に応じて、点灯時間ｔｒ及び露光時間ｔｅの算出アルゴリズムを変える必要はない。すなわち、ｋ＿ｏｎ及びｋ＿ｏｆｆの推定値に基づき、撮像対象や撮像環境がどのようなものであるかを判定する必要はない。

（ａ）と（ｂ）のいずれにおいても、式２が示す平面２２３は、ｔｒ－Ｄ平面上の、原点を通って傾きがｋ＿ｏｎである直線２２１と、ｔｅ－Ｄ平面上の、原点を通って傾きがｋ＿ｏｆｆである直線２２２とを含む平面である。そして、輝度指標値Ｄの値として目標値Ｄ＿ｔを得るためには、点灯時間ｔｒと露光時間ｔｅの組み合わせを、平面２２３と、Ｄ＝Ｄ＿ｔの平面との交線である直線２２４に乗るように定めればよいと考えられる。この直線２２４を、求めるべきｔｒとｔｅの値の関係を示す直線という意味で、「解決定直線」と呼ぶことにする。この点は、（ａ）の例でも（ｂ）の例でも共通である。

撮像条件決定部１５４は、解決定直線２２４上のいずれかの点を、所定の制約条件に従って選択して、その点のｔｒとｔｅの座標値を次の撮像に用いる点灯時間ｔｒ及び露光時間ｔｅとして採用する。次に、この制約条件について説明する。
図４は、解決定直線２２４をｔｅ－ｔｒ平面上に投影すると共に、制約条件の一例を図示したものである。図４の（ａ）と（ｂ）は、それぞれ図３の（ａ）と（ｂ）に対応する。

図４に示す制約条件の１つめは、０≦ｔｅ，ｔｒである。露光時間も点灯時間も、負の値を取ることはできないためである。
制約条件の２つめは、ｔｒ≦ｔｅである。露光時間よりも長く投光しても、画像の明るさに影響はなく、電力の無駄であるため、この制約条件を設けている。図４では、直線２３１が、ｔｒ＝ｔｅの直線であり、ドットハッチングを付した領域が２つめの制約条件により除外される。

制約条件の３つめは、前回撮像時の露光時間と点灯時間をそれぞれｔｅα、ｔｒαとし、適宜な１を超える定数をρとして、ρ≦（ｔｒ／ｔｅ）／（ｔｒα／ｔｅα）、または（ｔｒ／ｔｅ）／（ｔｒα／ｔｅα）≦１／ρである。これは、点灯時間ｔｒと露光時間ｔｅの比が、前回撮像時と比べて所定閾値以上異なるようにするための制約条件であり、前回撮像時の１／ρ倍より大きくρ倍未満の範囲を除外するものである。図４では、点２３２が、（ｔｅα，ｔｒα）であり、直線２３３が、原点と点２３２を通る直線で、ハッチングを付していない、符号２３４で示す範囲が、３つめの制約条件により除外される。

従って、撮像条件決定部１５４は、解決定直線２２４上にあって、かつ縦線のハッチングを付した範囲にある点のいずれかを、次の撮像に用いる点灯時間ｔｒ及び露光時間ｔｅとして採用する。
なお、ｔｅ－ｔｒ平面上において、解決定直線２２４の傾きは、－ｋ＿ｏｆｆ／ｋ＿ｏｎであるので、負の値である。すなわち、解決定直線２２４は、点灯時間ｔｒが長くなるほど露光時間ｔｅが短くなり、点灯時間ｔｒが短くなるほど露光時間ｔｅが長くなるような、露光時間ｔｅと点灯時間ｔｒとの間の関係を定める。

そして、撮像条件決定部１５４は、原点から解決定直線２２４に下した垂線２３５と解決定直線２２４との交点２３６が制約条件を満たす範囲にあれば、交点２３６の座標を採用する。（ｂ）がこのケースに該当する。また、交点２３６が制約条件を満たす範囲になければ、制約条件を満たす範囲でなるべく交点２３６に近い点２３７の座標を採用する。（ａ）がこのケースに該当する。

いずれの場合も、垂線２３５の傾きはｋ＿ｏｎ／ｋ＿ｏｆｆであるので、交点２３６では、ｔｒ＝（ｋ＿ｏｎ／ｋ＿ｏｆｆ）・ｔｅ、すなわち、ｔｒ／ｔｅ＝ｋ＿ｏｎ／ｋ＿ｏｆｆである。従って、撮像条件決定部１５４は、点灯時間ｔｒの露光時間ｔｅに対する比が、第２パラメータｋ＿ｏｎの推定値の第１パラメータｋ＿ｏｆｆの推定値に対する比になるべく近くなるように、露光時間ｔｅと点灯時間ｔｒを決定することになる。

なお、交点２３６を採用するのは、この点が、解決定直線２２４上で原点に最も近い点であるためである。解決定直線２２４の点であれば、どの点を採用しても輝度指標値Ｄが目標値Ｄ＿ｔとなるような画像を得られると考えられるが、露光時間ｔｅを長くしすぎれば１フレームの時間が長くなって読取時間が延びるし、点灯時間ｔｒを長くしすぎれば消費電力が増加するし、ユーザからパルスＬＥＤ１１３が見える場合にはユーザがまぶしく感じることになる。交点２３６になるべく近い点の座標を採用することにより、露光時間ｔｅと点灯時間ｔｒのバランスをとった撮像条件を決定できると考えられる。

図４からわかるように、（ａ）のケースでは、読取対象１０１からの反射光により十分な光量を得られるだけの点灯時間ｔｒと、ｔｒとほぼ同じ露光時間ｔｅが決定されると考えられる。（ｂ）のケースでは、読取対象１０１の発光により概ね十分な光量を得られるだけの露光時間ｔｅと、短い点灯時間ｔｒとが決定されると考えられる。

以上説明してきた考え方に基づけば、読取対象１０１が何であるかによらず、また、周囲の環境にもよらず、無用に長くパルスＬＥＤ１１３を点灯させずにかつ１フレームの時間が長くなりすぎずに好ましい明るさの画像が得られるような撮像条件を、共通のアルゴリズムによって自動的にかつ速やかに設定することができる。撮像履歴として２フレーム分のデータを利用可能となる３フレーム目には、ある程度の精度で輝度指標値の目標値Ｄ＿ｔを達成可能な撮像条件を設定できると期待できる。

なお、ここまでに説明してきたｋ＿ｏｎ、ｋ＿ｏｆｆ及びｔｒ、ｔｅの算出法を、ここまで説明してきたように区切ってステップバイステップで実行することは必須ではない。ここまでに説明してきたことは基本的な考え方であり、いくつかのステップをまとめてその先の結果を得るための演算を、解析的にあるいは近似的に定めて実行しても構わない。

また、露光時間ｔｅと点灯時間ｔｒとが満たすべき制約条件として、図４に示した条件以外を考慮してもよい。また、図４に示した条件も、具体的な内容を、上述と異なるものとしてもよい。
例えば、パルスＬＥＤ１１３の消灯時の電圧変動が、撮像後の撮像センサ１１１からの画像データの読み出しに際してノイズとならないように、露光時間ｔｅが終了するよりも所定時間ｋだけ前までに投光を終了するようにすることが考えられる。この場合、制約条件はｔｅ≦ｔｒ－ｋである。
また、フレーム期間やシャッタ速度の制約から、露光時間ｔｅの最大値と最小値を定めてもよい。また、パルスＬＥＤ１１３の応答速度や発熱及び消費電力などの制約から、点灯時間ｔｒの最大値と最小値を定めてもよい。

また、解決定直線２２４上で露光時間ｔｅ及び点灯時間ｔｒとして採用する点は、垂線２３５との交点には限られない。例えば、適当な正の定数βに関し、ｔｒ／ｔｅ＝β・（ｋ＿ｏｎ／ｋ＿ｏｆｆ）となる点を採用してもよい。βが大きいほど、点灯時間が長く、露光時間が短い条件を、βが小さいほど、点灯時間が短く、露光時間が長い条件を設定することになる。読取装置１００の利用態様や周辺環境に合わせ、βの値をユーザが調整できるようにしてもよい。

次に、以上説明してきた露光時間ｔｅと点灯時間ｔｒの決定の処理を含む、ＣＰＵ１２１がコード記号１０２の読取制御のために実行する処理について、図５乃至図８を参照しつつ説明する。ここで説明する処理は、この発明の撮像方法の実施形態である。また、ここまでの説明では省略した、２フレーム分の撮像履歴を用意するまでの処理も含む。

まず図５に、読取制御部１５１の機能と対応する処理のフローチャートを示す。
ＣＰＵ１２１は、読取装置１００の電源がＯＮされると、図５に示す処理を開始する。
この処理において、ＣＰＵ１２１はまず、トリガ検出部１５２からの読取開始トリガ発生の通知を検出するまで待機する（Ｓ１１）。そして、この通知を検出すると、コード記号１０２の読み取りを行うべく、撮像部１５３に対して撮像開始を指示する（Ｓ１２）。

ＣＰＵ１２１はその後、デコード部１５６からデコード結果を受領するか（Ｓ１３のＹｅｓ）、読取開始から所定時間経過する（Ｓ１４のＹｅｓ）まで待機し、これらのいずれかが満たされると、撮像部１５３に対して撮像停止を指示する（Ｓ１５）。前者の場合はデコード（読取）成功、後者の場合はタイムアウトによる読取失敗である。
ＣＰＵ１２１は、デコードが成功していれば、（Ｓ１６のＹｅｓ）、出力部１５７によりデコード結果を出力して、ステップＳ１１に戻る。このとき、デコード成功の旨を、音や光によりユーザに通知してもよい。デコード失敗であれば（Ｓ１６のＮｏ）、そのままステップＳ１１に戻る。

次に、図６に、撮像部１５３及び撮像条件決定部１５４の機能と対応する処理のフローチャートを示す。
ＣＰＵ１２１は、図５のステップＳ１２の処理による撮像開始指示を検出すると、図６の処理を開始する。
この処理において、ＣＰＵ１２１はまず、図７に示す撮像条件決定処理を実行する（Ｓ２１）。この処理は、図３及び図４を用いて説明したように、次の撮像に用いる露光時間ｔｅと点灯時間ｔｒを決定する処理であるが、この処理については後述する。

ＣＰＵ１２１は次に、ステップＳ２１で決定した撮像条件に従い、光学部１１０を制御して１フレーム分の撮像を実行する（Ｓ２２）。そして、撮像で得られた画像データの画素値から、輝度指標値Ｄを算出し（Ｓ２３）、撮像に用いた撮像条件とその算出した輝度指標値Ｄとを対応付けて、撮像履歴記憶部１５５に登録する（Ｓ２４）。このとき、今回の開始した処理における何番目のフレームの撮像であるかを示すデータも、合わせて登録する。ステップＳ２４で登録したデータは、図７の撮像条件決定処理において参照される。

その後、ＣＰＵ１２１は、今回算出した輝度指標値Ｄが目標値Ｄ＿ｔの近傍の所定範囲内にある（デコードに適している）か、および、これまで所定フレーム続けてその所定範囲外であることが続いた（好ましい範囲に収束しないが時間がかかっているためトライしてみる）かの、いずれかを満たすか否か判断する（Ｓ２５）。ここでＹｅｓであれば、ＣＰＵ１２１は、今回の撮像で得られた画像データをデコードすると判断し、画像データをデコード部１５６に渡す（Ｓ２６）。
また、ステップＳ２５でＮｏであれば、ＣＰＵ１２１は、今回の撮像で得られた画像データはデコードしないと判断し、ステップＳ２６をスキップしてステップＳ２７に進む。

その後、図５のステップＳ１５による撮像停止指示を受けていれば（Ｓ２７のＹｅｓ）、図６の処理を終了し、受けていなければステップＳ２１に戻って処理を繰り返す。ステップＳ２７がＹｅｓになるのは、既にデコードが成功したか、読み取りがタイムアウトした場合である。

次に、図７に、図６に示した撮像条件決定処理のフローチャートを示す。この処理は、撮像条件決定部１５４の機能と対応する処理である。
ＣＰＵ１２１は、図６のステップＳ２１において、図７の処理を開始する。
この処理において、ＣＰＵ１２１はまず、撮像履歴記憶部１５５に、今回の読み取りにおける撮像条件の決定に利用可能な撮像履歴がいくつ登録されているかを確認する（Ｓ３１）。そして、その数によって処理を分岐させる。

基本的には、最後に図６の処理を開始した後の撮像履歴が利用可能であると考えられるが、その中で最新の所定数のフレームのみを利用可能としてもよい。あるいは、前回のデコードからあまり時間が経っていない場合、周辺環境に大きな違いがないと想定されるため、前回デコード時の最後の所定数のフレームの撮像履歴も利用可能としてもよい。このようにすれば、１フレーム目からステップＳ３７にて精度よく好適な読取条件を設定することができる。
ただし、紙とスマートフォンといった、特性の異なる読取対象１０１が混在すると想定される場合は、前回デコード時の撮像履歴は利用しないことが望ましい。前回デコード時の撮像履歴を利用するモードとしないモードとを、ユーザが任意に切り替えることができるようにしてもよい。

ステップＳ３１で利用可能な撮像履歴の数が０であった場合、撮像に用いるべき露光時間ｔｅと点灯時間ｔｒを決めるためのデータが何もないことになるので、ＣＰＵ１２１は、予め登録されている初期値を、次の撮像に用いる露光時間ｔｅ及び点灯時間ｔｒとして採用して（Ｓ３２）、図６の処理に戻る。この初期値としては、最も頻繁に読み取りが行われる環境や読取対象１０１に適した値を登録しておくとよい。例えば標準的な室内の明るさで、標準的な距離にある紙面を読み取る場合に適した値を登録しておくとよい。

次に、ステップＳ３１で利用可能な撮像履歴の数が１であった場合、まだ、式３乃至式５に従ってｋ＿ｏｎ及びｋ＿ｏｆｆの推定値を求めることはできない。そこで、ＣＰＵ１２１は、ｋ＿ｏｆｆについては、予め登録されている初期値を採用する（Ｓ３３）。この初期値は、ステップＳ３２で採用する値と同じでも、異なっていてもよい。
そして、撮像履歴中の、撮像条件と輝度指標値Ｄの１組および、ステップＳ３３で採用したｋ＿ｏｆｆに基づき、ｋ＿ｏｎの推定値を算出する（Ｓ３４）。具体的には、式２を変形して得られる以下の式６に、撮像条件中のｔｅ，ｔｒと、輝度指標値Ｄ及び露光寄与度ｋ＿ｏｆｆを代入すればよい。

その後、ＣＰＵ１２１は、ステップＳ３３で採用したｋ＿ｏｆｆと、ステップＳ３４で算出したｋ＿ｏｎに基づき、図３及び図４を用いて上述したように、所定の制約条件を満たし、かつ目標の輝度指標値Ｄ＿ｔが得られると推定できる露光時間ｔｅ及び点灯時間ｔｒを算出する（Ｓ３５）。そして、この算出したｔｅ及びｔｒを、次の撮像に用いる露光時間ｔｅ及び点灯時間ｔｒに決定して、図６の処理に戻る。

なお、ステップ３３でｋ＿ｏｆｆについて既定の初期値を採用したのは、ｋ＿ｏｆｆの方が、ｋ＿ｏｎに比べ、値が目標値からずれても弊害が小さいためであるが、ｋ＿ｏｎについて既定の初期値を採用するようにしても、ステップＳ３４及びＳ３５の算出は、上述の場合と同様に行うことができる。ただしこの場合、式６に代えて、式２を左辺がｋ＿ｏｆｆとなるように整理した式を用いる。

また、ステップＳ３５においては、図４に示したように、解決定直線２３４と垂線２３５との交点２３６の座標値を、露光時間ｔｅ及び点灯時間ｔｒとする必要はない。まだ、ｋ＿ｏｎ、ｋ＿ｏｆｆ、ｔｅ、ｔｒを安定して求められる状況にないため、例えば、制約条件を満たす範囲で直線２３３に最も近い点の座標値を採用することにより、ｔｅ、ｔｒが極端な値となって、次回の撮像や、次回以降のｋ＿ｏｎ、ｋ＿ｏｆｆ、ｔｅ、ｔｒの算出に悪影響を与えることを防止できる。

次に、ステップＳ３１で利用可能な撮像履歴の数が２以上であった場合、通常であれば、式３乃至式５に従ってｋ＿ｏｎ及びｋ＿ｏｆｆの推定値を求めることができる。そこで、ＣＰＵ１２１は、撮像履歴中の、撮像条件と輝度指標値Ｄの複数組に基づき、上述した式５の演算により、ｋ＿ｏｎ及びｋ＿ｏｆｆの推定値を求める（Ｓ３６）。
そして、ステップＳ３６で求めたｋ＿ｏｎ及びｋ＿ｏｆｆに基づき、図３及び図４を用いて上述したように、所定の制約条件を満たし、かつ目標の輝度指標値Ｄ＿ｔが得られると推定できる露光時間ｔｅ及び点灯時間ｔｒを算出する（Ｓ３７）。そして、この算出したｔｅ及びｔｒを、次の撮像に用いる露光時間ｔｅ及び点灯時間ｔｒに決定して、図６の処理に戻る。

次に、図８に、デコード部１５６の機能と対応する処理のフローチャートを示す。
ＣＰＵ１２１は、図６のステップＳ２６の処理により画像データがデコード部１５６に渡されると、これを取得して図８の処理を開始する。
この処理において、ＣＰＵ１２１はまず、取得した画像データから、デコードすべきコード記号の部分を抽出して、デコード処理を行う（Ｓ４１）。この処理は、想定されるコード記号の規格に応じて、適宜に公知のものを採用すればよい。また、複数の規格について順次デコードを試みるべき場合もある。

そして、ステップＳ４１でのデコードが成功した場合（Ｓ４２のＹｅｓ）、ＣＰＵ１２１は、読取制御部１５１に対し、デコード成功の旨及びデコード結果のデータを通知して（Ｓ４３）、処理を終了する。デコード失敗であれば（Ｓ４２のＮｏ）、ステップＳ４３をスキップして処理を終了する。

ＣＰＵ１２１が、以上の図５乃至図８の処理を実行することにより、読取装置１００は、特に図６及び図７の処理によって、図３及び図４を用いて説明したように、広範な周囲環境（特に明るさ）や読取対象１０１が想定される場合であっても、実行中の読み取りに適した撮像条件を速やかに設定してコード記号１０２を読み取ることができる。また、パルスＬＥＤ１１３の点灯時間を無用に長くすることがなく、消費電力やまぶしさを低減することができる。
なお、図７の処理で利用可能な撮像履歴の数が０や１の状態でデコードが成功してしまえば、それ以上撮像を繰り返す必要はなく、利用可能な撮像履歴の数が２以上になる前に読取を終了することもある。

〔第２実施形態：図９及び図１０〕
次に、この発明の第２実施形態について説明する。第２実施形態は、読取装置１００が、算出した露光寄与度ｋ＿ｏｆｆ及び点灯寄与度ｋ＿ｏｎの推定値に基づき、撮像対象が発光体であるか否かを判別すると共に、その判別結果によって異なる処理を実行するようにした点が、第１実施形態と異なるのみである。そこで、第１実施形態との共通部分の説明は省略し、この相違点を中心に説明する。また、第１実施形態と共通の又は対応する要素には、同じ符号を付す。

まず図９に、読取装置１００が備えるコード記号の読み取りに関連する機能の構成を示す。
図９に示す機能構成は、撮像対象判定部１５８が追加されている点以外は、図２に示したものと同様である。
撮像対象判定部１５８は、撮像条件決定部１５４が撮像条件の決定に際して算出したｋ＿ｏｆｆ及びｋ＿ｏｎの推定値に基づき、撮像センサ１１１による撮像対象が発光体であるか否かを判別する機能を備える。また、その判別の結果に基づき、撮像条件決定部１５４が決定する点灯時間ｔｒの制約条件を変更すると共に、デコード部１５６が実行するデコード処理を変更する機能も備える。

図１０に、上記の撮像対象判定部１５８の機能と対応する処理のフローチャートを示す。図１０の処理は、図７のステップＳ３６とＳ３７の間に挿入されるものである。
第２実施形態の読取装置１００において、ＣＰＵ１２１は、図７のステップＳ３６でｋ＿ｏｆｆ及びｋ＿ｏｎの推定値を算出すると、図１０のステップＳ５１の処理に進む。ステップＳ５１及びＳ５２では、ＣＰＵ１２１は、露光寄与度ｋ＿ｏｆｆが所定の第１閾値Ｔ１より大きく、かつ点灯寄与度ｋ＿ｏｎが所定の第２閾値Ｔ２より小さい場合（Ｓ５２のＹｅｓ）に、撮像対象が発光体であると判断する。また、これらのいずれかが満たされない場合（Ｓ５１又はＳ５２でＮｏ）、ＣＰＵ１２１は、撮像対象は発光体でないと判断する。

第１実施形態で図３の説明で述べたように、発光体を撮像しようとする場合には、ｋ＿ｏｎが小さく、ｋ＿ｏｆｆがある程度大きい値となると考えられるため、この考え方に沿って、判断基準を設けたものである。
そして、撮像対象は発光体でないと判断した場合、ＣＰＵ１２１は、デコード部１５６を汎用のデコードモードに切り替える（Ｓ５３）と共に、図７のステップＳ３７で用いる制約条件として、点灯時間ｔｒの下限値を設定する（Ｓ５４）。

汎用のデコードモードとは、特定の読取対象を想定せず、想定されるコード記号１０２の規格全てについて、順次デコード処理を行うモードである。また、ステップＳ５４でｔｒの下限値を設定するのは、撮像対象が発光体でない場合には、ある程度の照明が必要であることが通常であり、点灯時間ｔｒが短すぎると露光時間ｔｅが長くなって読み取りに時間がかかるため、ある程度の点灯時間を確保して、露光時間ｔｅが無用に長くなることを防止するためである。
一方、撮像対象が発光体であると判断した場合、ＣＰＵ１２１は、デコード部１５６をスマートフォン用のデコードモードに切り替える（Ｓ５５）と共に、図７のステップＳ３７で用いる制約条件として、点灯時間ｔｒの上限値を設定する（Ｓ５６）。

この実施形態では、発光体としてスマートフォンのディスプレイを想定し、読取装置１００の利用環境において、スマートフォンには特定の規格のコード記号が表示されることを想定している。このような環境においては、撮像対象が発光体であると判断できた場合、デコード処理において、当該特定の規格を対象としたデコード処理を最初に試みることにより、他の規格を対象とした処理による無用なデコード失敗を起こさずに、デコード処理を高速化することができる。スマートフォン用のデコードモードは、このような用途で、上記特定の規格を対象としたデコード処理を最初に試みるモードである。

なお、紙に印刷されるコード記号は、スマートフォンに表示されるコード記号と異なる規格のコード記号であるような利用環境も考えられる。この場合は、ステップＳ５３で、汎用ではなく紙媒体用のデコードモードとして、紙印刷に用いられる規格を対象としたデコード処理を最初に試みるモードを設定すれば、同様にデコード処理を高速化することができる。

また、ステップＳ５６でｔｒの上限値を設定するのは、撮像対象が発光体である場合には、照明は画像の明るさ増にあまり寄与しないことが通常であり、点灯時間ｔｒが長すぎると消費電力やまぶしさの増加に繋がって好ましくないため、点灯時間ｔｒが長くなりすぎることを防止するためである。
ステップＳ５４又はＳ５６の後、ＣＰＵ１２１は図７のステップＳ３７の処理に進み、以後は第１実施形態と同様な処理を行う。

以上のように、ｋ＿ｏｆｆ及びｋ＿ｏｎの推定値を利用することにより、撮像対象が発光体であるか否かを、簡単な処理で判別することができる。また、判別結果に応じてデコードの処理を切り替えたり、次回以降の撮像に用いる撮像条件あるいはその決定方法を変えることにより、読取対象あるいは撮像対象に合った効率的な読み取りを行うことができる。

なお、撮像対象の判別結果に応じて行う処理は、図１０に示したものに限られず、任意である。コード記号の読み取りやデコードと無関係な処理であってもよい。また、発光体としてスマートフォン以外のものを想定した処理であってもよい。
また、撮像対象の判別の基準として、「露光寄与度ｋ＿ｏｆｆが所定の第１閾値Ｔ１より大きい」、および、「点灯寄与度ｋ＿ｏｎが所定の第２閾値Ｔ２より小さい」の一方のみを用いるようにしてもよい。図１０のように双方を用いる場合に比べると精度は落ちるが、一方のみでも一定程度の判別は可能である。

また、ｋ＿ｏｆｆ，ｋ＿ｏｎ＞０であるので、ｋ＿ｏｆｆ＞Ｔ１かつｋ＿ｏｎ＜Ｔ２ならばｋ＿ｏｆｆ／ｋ＿ｏｎ＞Ｔ１／Ｔ２である。そこで、Ｔ１／Ｔ２を第３閾値Ｔ３とすると、図１０のステップＳ５１及びＳ５２の判別条件は、ｋ＿ｏｆｆのｋ＿ｏｎに対する比が第３閾値Ｔ３より大きい場合に撮像対象が発光体であると判断するものである、と捉えることもできる。

〔変形例〕
以上で実施形態の説明を終了するが、この発明において、装置の具体的な構成、具体的な処理の手順、データの形式、具体的なデータの内容、採用する規格等は、実施形態で説明したものに限るものではない。

例えば、上述した実施形態において、ｔｒはパルスＬＥＤ１１３の点灯時間として規定しているが、撮像センサ１１１が撮像する画像の画素値は、各画素に入射する光量の時間積分値に依存する。従って、これに合わせ、ｔｒを、パルスＬＥＤ１１３による照射光量の時間積分値と捉えることもできる。この時間積分値は、読取対象１０１に対して行う照明の量である「照明量」であると考えることができる。パルスＬＥＤ１１３の照射強度が常に一定であれば、時間積分値は点灯時間に比例するため、どちらで捉えても、ｔｒの値を求める演算に、大きな違いはない。しかし、ｔｒを時間積分値と捉える場合、例えば、ｔｒを２倍にする場合に、パルスＬＥＤ１１３の点灯時間を２倍にする代わりに点灯光量を２倍にすることも考えられる。

また、実際の装置では、パルスＬＥＤ１１３を点灯させようとして電圧を印加しても、すぐには所望の光量に達せず、さほど長い時間でないとはいえ、制御回路の時定数に応じた時間をかけて徐々に光量が増加していくことが一般的である。この点をｔｒの算出に反映させるためには、ｔｒを光量の時間積分値と捉えた上で、実際の通電時間ｔｒ＿ｃを、パルスＬＥＤ１１３の制御回路の特性方程式を用いて発光光量の時間積分値に換算した上で、当該換算値を上述の実施形態における点灯時間ｔｒとして取り扱って、式３～式５及び図３、図４を用いて説明した手法により、輝度指標値の目標値Ｄ＿ｔを達成するためのｔｅ及びｔｒの値を求めることが考えられる。そして、特性方程式を用いて、その求めたｔｒに相当する時間積分値を達成するための通電時間ｔｒ＿ｘを算出し、ｔｒ＿ｘの時間だけパルスＬＥＤ１１３に通電することにより、過渡現象も考慮して、適切な光量の照明を行うことができる。

また、読取装置１００により読み取る対象が、コード記号１０２以外の情報、例えば文字列やマークであってもよい。
また、この発明は、情報の読み取り以外の目的で撮像を行う場合でも、当然適用可能である。例えば、撮像で得られた画像そのものを分析するために、特定の明るさの画像を取得したい場合などでも、上述の実施形態の場合と同様に撮像条件の決定をすることは、有用である。

また、この発明のプログラムの実施形態は、１のコンピュータに、あるいは複数のコンピュータを協働させて、所要のハードウェアを制御させ、上述した実施形態における読取装置１００の機能を実現させ、あるいは上述した実施形態にて説明した処理を実行させるためのプログラムである。

このようなプログラムは、はじめからコンピュータに備えるＲＯＭや他の不揮発性記憶媒体（フラッシュメモリ，ＥＥＰＲＯＭ等）などに格納しておいてもよい。メモリカード、ＣＤ、ＤＶＤ、ブルーレイディスク等の任意の不揮発性記録媒体に記録して提供することもできる。さらに、ネットワークに接続された外部装置からダウンロードし、コンピュータにインストールして実行させることも可能である。

また、以上説明してきた実施形態及び変形例の構成が、相互に矛盾しない限り任意に組み合わせて実施可能であり、また、一部のみを取り出して実施することができることは、勿論である。

１００…読取装置、１０１…読取対象、１０２…コード記号、１１０…光学部、１１１…撮像センサ、１１２…レンズ、１１３…パルスＬＥＤ、１２０…制御部、１５１…読取制御部、１５２…トリガ検出部、１５３…撮像部、１５４…撮像条件決定部、１５５…撮像履歴記憶部、１５６…デコード部、１５７…出力部、１５８…撮像対象判定部、２２４…解決定直線、２３５…垂線、Ｄ，Ｄ１…輝度指標値、Ｄ＿ｔ，Ｄ１＿ｔ…輝度指標値の目標値、ｋ＿ｏｆｆ…露光寄与度、ｋ＿ｏｎ…点灯寄与度、ｔｅ…撮像センサ１１１の露光時間、ｔｒ…パルスＬＥＤ１１３の点灯時間

Claims (22)

1. 撮像部と、前記撮像部による撮像対象を照明する照明部とを備える撮像装置による撮像方法であって、
   前記撮像部の露光時間と前記照明部の点灯時間とを含む撮像条件に従った撮像を行い、
   前記撮像で得られた画像の明るさと、該画像の撮像条件とを対応付けて記憶部に記憶し、
   前記記憶部に記憶された明るさ及び撮像条件の複数組に基づいて、前記露光時間の変動が画像の明るさに与える影響の度合いを示す第１パラメータの推定値及び、前記点灯時間の変動が画像の明るさに与える影響の度合いを示す第２パラメータの推定値を求め、
   前記第１パラメータの推定値及び前記第２パラメータの推定値に基づき、次の撮像に用いる撮像条件を決定することを特徴とする撮像方法。
2. 請求項１に記載の撮像方法であって、
   前記第１パラメータの推定値及び前記第２パラメータの推定値に基づき、前記点灯時間が長くなるほど、前記露光時間が短くなり、前記点灯時間が短くなるほど、前記露光時間が長くなるような、露光時間と点灯時間との間の関係を定め、
   定めた前記関係を満たすように、次の撮像に用いる撮像条件の前記決定をすることを特徴とする撮像方法。
3. 請求項２に記載の撮像方法であって、
   前記次の撮像に用いる撮像条件を、露光時間と点灯時間との間の前記関係を満たし、かつ、最新の撮像条件と比べて、点灯時間の露光時間に対する比が所定閾値以上異なるように決定することを特徴とする撮像方法。
4. 請求項２又は３に記載の撮像方法であって、
   前記次の撮像に用いる撮像条件を、点灯時間の露光時間に対する比が、前記第２パラメータの推定値の前記第１パラメータの推定値に対する比になるべく近くなるように決定することを特徴とする撮像方法。
5. 撮像部と、前記撮像部による撮像対象を照明する照明部とを備える撮像装置による撮像方法であって、
   前記撮像部の露光時間と前記照明部による前記撮像対象の照明量とを含む撮像条件に従った撮像を行い、
   前記撮像で得られた画像の明るさと、該画像の撮像条件とを対応付けて記憶部に記憶し、
   前記記憶部に記憶された明るさ及び撮像条件の複数組に基づいて、前記露光時間の変動が画像の明るさに与える影響の度合いを示す第１パラメータの推定値及び、前記照明量の変動が画像の明るさに与える影響の度合いを示す第２パラメータの推定値を求め、
   前記第１パラメータの推定値及び前記第２パラメータの推定値に基づき、次の撮像に用いる撮像条件を決定することを特徴とする撮像方法。
6. 撮像部と、
   前記撮像部による撮像対象を照明する照明部と、
   前記撮像部と前記照明部とを、前記撮像部の露光時間と前記照明部の点灯時間とを含む撮像条件に従って制御して撮像を行う制御部と、
   前記撮像で得られた画像の明るさと、該画像の撮像条件とを対応付けて登録する登録部と、
   前記登録部により登録された明るさ及び撮像条件の複数組に基づいて、前記露光時間の変動が画像の明るさに与える影響の度合いを示す第１パラメータの推定値及び、前記点灯時間の変動が画像の明るさに与える影響の度合いを示す第２パラメータの推定値を求め、前記第１パラメータの推定値及び前記第２パラメータの推定値に基づき、前記制御部が次の撮像に用いる撮像条件を決定する撮像条件決定部とを備えることを特徴とする撮像装置。
7. 請求項６に記載の撮像装置であって、
   前記撮像条件決定部が、前記第１パラメータの推定値及び前記第２パラメータの推定値に基づき、前記点灯時間が長くなるほど、前記露光時間が短くなり、前記点灯時間が短くなるほど、前記露光時間が長くなるような、露光時間と点灯時間との間の関係を定め、定めた前記関係を満たすように、次の撮像に用いる撮像条件の前記決定をすることを特徴とする撮像装置。
8. 請求項７に記載の撮像装置であって、
   前記撮像条件決定部が、前記次の撮像に用いる撮像条件を、露光時間と点灯時間との間の前記関係を満たし、かつ、最新の撮像条件と比べて、点灯時間の露光時間に対する比が所定閾値以上異なるように決定することを特徴とする撮像装置。
9. 請求項７又は８に記載の撮像装置であって、
   前記撮像条件決定部が、前記次の撮像に用いる撮像条件を、点灯時間の露光時間に対する比が、前記第２パラメータの推定値の前記第１パラメータの推定値に対する比になるべく近くなるように決定することを特徴とする撮像装置。
10. 撮像部と、
    前記撮像部による撮像対象を照明する照明部と、
    前記撮像部と前記照明部とを、前記撮像部の露光時間と前記照明部による前記撮像対象の照明量とを含む撮像条件に従って制御して撮像を行う制御部と、
    前記撮像で得られた画像の明るさと、該画像の撮像条件とを対応付けて登録する登録部と、
    前記登録部により登録された明るさ及び撮像条件の複数組に基づいて、前記露光時間の変動が画像の明るさに与える影響の度合いを示す第１パラメータの推定値及び、前記照明量の変動が画像の明るさに与える影響の度合いを示す第２パラメータの推定値を求め、前記第１パラメータの推定値及び前記第２パラメータの推定値に基づき、前記制御部が次の撮像に用いる撮像条件を決定する撮像条件決定部とを備えることを特徴とする撮像装置。
11. コンピュータに、撮像部と、前記撮像部による撮像対象を照明する照明部とを備える撮像装置を制御させて、請求項１乃至５のいずれか一項に記載の撮像方法を実行させるためのプログラム。
12. 撮像部と、前記撮像部による撮像対象を照明する照明部とを備える撮像装置による撮像対象の判別方法であって、
    前記撮像部の露光時間と前記照明部の点灯時間とを含む撮像条件を用い、少なくとも前記露光時間が相互に異なる複数の撮像条件に従った撮像をそれぞれ行い、
    前記各撮像で得られた画像の明るさと、その画像の撮像条件とを対応付けて記憶部に記憶し、
    前記記憶部に記憶された明るさ及び撮像条件の複数組に基づいて、前記露光時間の変動が画像の明るさに与える影響の度合いの推定値を求め、該推定値が所定の閾値より大きい場合に、前記撮像部による撮像対象が発光体であると判断することを特徴とする、撮像対象の判別方法。
13. 撮像部と、前記撮像部による撮像対象を照明する照明部とを備える撮像装置による撮像対象の判別方法であって、
    前記撮像部の露光時間と前記照明部の点灯時間とを含む撮像条件を用い、少なくとも前記点灯時間が相互に異なる複数の撮像条件に従った撮像をそれぞれ行い、
    前記各撮像で得られた画像の明るさと、その画像の撮像条件とを対応付けて記憶部に記憶し、
    前記記憶部に記憶された明るさ及び撮像条件の複数組に基づいて、前記点灯時間の変動が画像の明るさに与える影響の度合いの推定値を求め、該推定値が所定の閾値より小さい場合に、前記撮像部による撮像対象が発光体であると判断することを特徴とする、撮像対象の判別方法。
14. 撮像部と、前記撮像部による撮像対象を照明する照明部とを備える撮像装置による撮像対象の判別方法であって、
    前記撮像部の露光時間と前記照明部の点灯時間とを含む撮像条件を用い、少なくとも前記露光時間と前記点灯時間との間の比が相互に異なる複数の撮像条件に従った撮像をそれぞれ行い、
    前記各撮像で得られた画像の明るさと、その画像の撮像条件とを対応付けて記憶部に記憶し、
    前記記憶部に記憶された明るさ及び撮像条件の複数組に基づいて、前記露光時間の変動が画像の明るさに与える影響の度合いを示す第１パラメータの推定値及び、前記点灯時間の変動が画像の明るさに与える影響の度合いを示す第２パラメータの推定値を求め、
    前記第１パラメータの推定値が第１閾値より大きく、かつ、前記第２パラメータの推定値が第２閾値より小さい場合に、前記撮像部による撮像対象が発光体であると判断することを特徴とする、撮像対象の判別方法。
15. 撮像部と、前記撮像部による撮像対象を照明する照明部とを備える撮像装置による撮像対象の判別方法であって、
    前記撮像部の露光時間と前記照明部の点灯時間とを含む撮像条件を用い、少なくとも前記露光時間と前記点灯時間との間の比が相互に異なる複数の撮像条件に従った撮像をそれぞれ行い、
    前記各撮像で得られた画像の明るさと、その画像の撮像条件とを対応付けて記憶部に記憶し、
    前記記憶部に記憶された明るさ及び撮像条件の複数組に基づいて、前記露光時間の変動が画像の明るさに与える影響の度合いを示す第１パラメータの推定値及び、前記点灯時間の変動が画像の明るさに与える影響の度合いを示す第２パラメータの推定値を求め、
    前記第１パラメータの推定値の、前記第２パラメータの推定値に対する比が、所定の閾値よりも大きい場合に、前記撮像部による撮像対象が発光体であると判断することを特徴とする、撮像対象の判別方法。
16. 請求項１２乃至１５のいずれか一項に記載の撮像対象の判別方法により撮像対象が発光体であると判断した場合に、撮像対象が発光体であると判断しなかった場合と比べて点灯時間の上限値を小さくして次の撮像に用いる撮像条件を決定し、該撮像対象の判別方法により撮像対象が発光体であると判断しなかった場合に、撮像対象が発光体であると判断した場合と比べて点灯時間の下限を大きくして次の撮像に用いる撮像条件を決定して、
    決定した前記撮像条件に従って前記撮像装置により撮像を行うことを特徴とする撮像方法。
17. 撮像部と、
    前記撮像部による撮像対象を照明する照明部と、
    前記撮像部と前記照明部とを、それぞれ前記撮像部の露光時間と前記照明部の点灯時間とを含む撮像条件であって少なくとも前記露光時間が相互に異なる複数の撮像条件に従って制御して、前記各撮像条件と対応する撮像をそれぞれ行う制御部と、
    前記各撮像で得られた画像の明るさと、その画像の撮像条件とを対応付けて登録する登録部と、
    前記登録部により登録された明るさ及び撮像条件の複数組に基づいて、前記露光時間の変動が画像の明るさに与える影響の度合いの推定値を求め、該推定値が所定の閾値より大きい場合に、前記撮像部による撮像対象は発光体であると判断する撮像対象判別部とを備えることを特徴とする撮像装置。
18. 撮像部と、
    前記撮像部による撮像対象を照明する照明部と、
    前記撮像部と前記照明部とを、それぞれ前記撮像部の露光時間と前記照明部の点灯時間とを含む撮像条件であって少なくとも前記点灯時間が相互に異なる複数の撮像条件に従って制御して、前記各撮像条件と対応する撮像をそれぞれ行う制御部と、
    前記各撮像で得られた画像の明るさと、その画像の撮像条件とを対応付けて登録する登録部と、
    前記登録部により登録された明るさ及び撮像条件の複数組に基づいて、前記点灯時間の変動が画像の明るさに与える影響の度合いの推定値を求め、該推定値が所定の閾値より小さい場合に、前記撮像部による撮像対象は発光体であると判断する撮像対象判別部とを備えることを特徴とする撮像装置。
19. 撮像部と、
    前記撮像部による撮像対象を照明する照明部と、
    前記撮像部と前記照明部とを、それぞれ前記撮像部の露光時間と前記照明部の点灯時間とを含む撮像条件であって少なくとも前記露光時間と前記点灯時間との間の比が相互に異なる複数の撮像条件に従って制御して、前記各撮像条件と対応する撮像をそれぞれ行う制御部と、
    前記各撮像で得られた画像の明るさと、その画像の撮像条件とを対応付けて登録する登録部と、
    前記登録部により登録された明るさ及び撮像条件の複数組に基づいて、前記露光時間の変動が画像の明るさに与える影響の度合いを示す第１パラメータの推定値及び、前記点灯時間の変動が画像の明るさに与える影響の度合いを示す第２パラメータの推定値を求め、前記第１パラメータの推定値が第１閾値より大きく、かつ、前記第２パラメータの推定値が第２閾値より小さい場合に、前記撮像部による撮像対象は発光体であると判断する撮像対象判別部とを備えることを特徴とする撮像装置。
20. 撮像部と、
    前記撮像部による撮像対象を照明する照明部と、
    前記撮像部と前記照明部とを、それぞれ前記撮像部の露光時間と前記照明部の点灯時間とを含む撮像条件であって少なくとも前記露光時間と前記点灯時間との間の比が相互に異なる複数の撮像条件に従って制御して、前記各撮像条件と対応する撮像をそれぞれ行う制御部と、
    前記各撮像で得られた画像の明るさと、その画像の撮像条件とを対応付けて登録する登録部と、
    前記登録部により登録された明るさ及び撮像条件の複数組に基づいて、前記露光時間の変動が画像の明るさに与える影響の度合いを示す第１パラメータの推定値及び、前記点灯時間の変動が画像の明るさに与える影響の度合いを示す第２パラメータの推定値を求め、前記第１パラメータの推定値の、前記第２パラメータの推定値に対する比が、所定の閾値よりも大きい場合に、前記撮像部による撮像対象は発光体であると判断する撮像対象判別部とを備えることを特徴とする撮像装置。
21. 請求項１７乃至２０のいずれか一項に記載の撮像装置であって、
    前記撮像対象判別部が前記撮像部による撮像対象は発光体であると判断した場合に、撮像対象は発光体であると判断しなかった場合と比べて点灯時間の上限値を小さくして前記制御部が次の撮像に用いる撮像条件を決定し、前記撮像対象判別部が前記撮像部による撮像対象は発光体であると判断しなかった場合に、撮像対象は発光体であると判断した場合と比べて点灯時間の下限を大きくして前記制御部が次の撮像に用いる撮像条件を決定する撮像条件決定部を備えることを特徴とする撮像装置。
22. コンピュータに、撮像部と、前記撮像部による撮像対象を照明する照明部とを備える撮像装置を制御させて、請求項１２乃至１５のいずれか一項に記載の撮像対象の判別方法又は請求項１６に記載の撮像方法を実行させるためのプログラム。

Images