JP5824193B2 - 単色およびカラーのハイブリッドイメージセンサアレイを持つデジタル画像取得光学式リーダー - Google Patents

単色およびカラーのハイブリッドイメージセンサアレイを持つデジタル画像取得光学式リーダー Download PDF

Info

Publication number
JP5824193B2
JP5824193B2 JP2008500843A JP2008500843A JP5824193B2 JP 5824193 B2 JP5824193 B2 JP 5824193B2 JP 2008500843 A JP2008500843 A JP 2008500843A JP 2008500843 A JP2008500843 A JP 2008500843A JP 5824193 B2 JP5824193 B2 JP 5824193B2
Authority
JP
Japan
Prior art keywords
pixels
image sensor
sensor array
color
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008500843A
Other languages
English (en)
Other versions
JP2008533590A (ja
JP2008533590A5 (ja
Inventor
イジウン ワン
イジウン ワン
Original Assignee
ハンド ヘルド プロダクツ インコーポレーティッド
ハンド ヘルド プロダクツ インコーポレーティッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/077,976 external-priority patent/US7611060B2/en
Priority claimed from US11/077,975 external-priority patent/US7568628B2/en
Priority claimed from US11/174,447 external-priority patent/US7780089B2/en
Application filed by ハンド ヘルド プロダクツ インコーポレーティッド, ハンド ヘルド プロダクツ インコーポレーティッド filed Critical ハンド ヘルド プロダクツ インコーポレーティッド
Publication of JP2008533590A publication Critical patent/JP2008533590A/ja
Publication of JP2008533590A5 publication Critical patent/JP2008533590A5/ja
Application granted granted Critical
Publication of JP5824193B2 publication Critical patent/JP5824193B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712Fixed beam scanning
    • G06K7/10722Photodetector array or CCD scanning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10841Particularities of the light-sensitive elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • H04N25/623Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming by evacuation via the output or reset lines
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Heads (AREA)
  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Scanning Arrangements (AREA)

Description

このPCT出願は、タイトル“Bar Code Reading Device With Global Electronic Shutter Control”を持つ、2005年3月11日に出願された米国特許出願第11/077,975号、タイトル“System And Method To Automatically Focus An Image Reader”を持つ、2005年3月11日に出願された米国特許出願第11/077,976号、タイトル“Digital Picture Taking Optical Reader Having Hybrid Monochrome And Color Image Sensor Array”を持つ、2005年6月3日に出願された米国仮特許出願第60/687,606号、タイトル“Digital Picture Taking Optical Reader Having Hybrid Monochrome And Color Image Sensor Array”を持つ、2005年6月14日に出願された米国仮特許出願第60/690,268号、タイトル“Digital Picture Taking Optical Reader Having Hybrid Monochrome And Color Image Sensor Array”を持つ、2005年6月22日に出願された米国仮特許出願第60/692,890号、タイトル“Digital Picture Taking Optical Reader Having Hybrid Monochrome And Color Image Sensor Array”を持つ、2005年6月27日に出願された米国仮特許出願第60/694,371号、および、タイトル“Digital Picture Taking Optical Reader Having Hybrid Monochrome And Color Image Sensor Array”を持つ、2005年6月30日に出願された米国特許出願第11/174,447号の優先権を主張するものである。上の出願のそれぞれの先権は主張され、そして上の出願のそれぞれが全部ここに参照によって含まれる。
本発明は、一般に、光学式リーダーに関係し、特に、画像取得機能に関係する。
画像取得機能を有するバーコード解読装置についてのデザインが、提案されてきた。
米国特許第6,298,176号において、バーコードデータ、および関連するイメージデータを出力するよう装備された、撮像バーコード読取装置が記述されている。米国特許第6,298,176号で記述された1つの例では、出力イメージデータは、手書きの署名を表すイメージデータである。バーコード解読装置によって出力されたイメージデータは、サイズ修正、画像方向調整、および、角度をもって獲得されたイメージから生じる歪みを処理するイメージ歪修正イメージ処理を受けるであろう。
米国特許出願公開第2002/0171745号においては、リモートコンピュータと通信する画像取得バーコード読み取り装置が記述されている。該バーコード読み取り装置は、イメージデータおよび関連するバーコードデータをリモートコンピュータに送る。
米国特許出願公開第2002/0171745号で記述された1つの結合されたバーコード / イメージデータ伝送スキームでは、.PDF、.TIFF、または.BMPファイルフォーマットでのイメージデータファイルは、解読されたバーコードメッセージのイメージ表示、および該解読されたメッセージをエンコードするバーコードを含むパッケージのイメージ表示を、含むデータ収集装置で作成される。
米国特許第6,722,569号においては、カラーイメージセンサ、およびイメージデータを白黒調のイメージデータであるか、またはカラーイメージデータであるとして分類する分類回路を含む画像取得バーコード読み取り装置が記述されている。
米国特許出願公開第2005/0001035号では、撮像露光制御アルゴリズムと、バーコード復号露光制御アルゴリズムのいずれかを、どちらのモードが選択されているかに依存して実行する撮像バーコード読み取り装置が記述されている。
上記文献は、技術における重要な改善を記述するが、まだ、撮像機能性、および、優秀なバーコード解読機能性を持つ撮像光学式リーダーの技術における改善の可能性が残っている。
米国特許第6,298,176号明細書 米国特許出願公開第2002/0171745号明細書 米国特許第6,722,569号明細書 米国特許出願公開第2005/0001035号明細書 米国特許出願公開第2003/201328A1号明細書 米国特許出願公開第2005/041296A1号明細書
その主要な側面によれば、かつ、広く述べれば、本発明は、単色/カラーハイブリッドのソリッドステートイメージセンサアレイを持つ、撮像光学式リーダーである。該ハイブリッドイメージセンサアレイは、第1のサブセットの画素、および第2のサブセットの画素を含む複数の画素よりなり、ここで、該第1のサブセットの画素は、単色ピクセルであり、第2のサブセットの画素は、波長選択性カラーフィルタ要素をもつカラー感受画素である。
1つの実施形態において、第1のサブセットの画素は、市松模様パターンに形成され、ボイドが、隣接する画素のボイドの結合が、開放領域を形成するよう、第1のサブセットのピクセルのコーナーで形成される。カラー感受性のある第2のサブセットの画素は、該開放領域に形成され、かつ、波長感受性フィルタ要素は、該第2のサブセットの画素上に形成されるが、前記第1のサブセットの画素上には形成されない。
もう1つの実施形態において、光学式リーダーソリッドステートイメージセンサアレイは、ICチップ上の複数の行内に市松模様パターンで形成された複数の画素を含み、ここで、各画素は、ほぼ同じ大きさを持っている。該イメージセンサアレイの大多数の画素は、第1のサブセットの単色画素である。第2のサブセットのカラー感受性画素は、間隔をおいて離れた位置にあり、該イメージセンサアレイ全体を通して均一に、または実質的に均一に、分布されている。カラー感受性画素は、アレイ内において、周期P=2等の均一分布の特定パターンにて分布されており、この場合は、該イメージセンサアレイの1行おきの行の1画素おきの画素が、カラー感受性画素であり、あるいは、周期P=4等の均一分布の特定パターンにて分布されており、この場合は、該アレイの4行毎の行の4画素毎の画素が、カラー感受性画素である。
本発明の単色/カラーハイブリッドのソリッドステートイメージセンサアレイは、本発明にしたがって構成されたイメージセンサアレイをもつのに加えて、撮像レンズ、フィールド照明アセンブリを含む照明アセンブリ、照準照明アセンブリ、および上記要素を支持するサポート要素、等の要素を含む。撮像モジュールは、順に、該撮像アセンブリを収容し、かつ、支持する把持可能なハウジング内に、組み入れられる。
相補型金属酸化物シリコン(CMOS)集積回路製作技術を用いて、1つの実施形態におけるイメージセンサアレイは、選択的にアドレス可能なピクセルを持つよう作られることができる。イメージセンサアレイが、選択的にアドレス可能なピクセルをもつよう構成されている場合は、第1のサブセットのピクセルの画素は、第1のサブセットのピクセルに対応するイメージデータが第2のサブセットのピクセルとは独立に選択的に読み出されるよう、第2のサブセットの画素とは独立に選択的にアドレスすることができる。選択的読み出し能力をもつイメージセンサアレイは、代替的な製作方法を用いて設けることができる。
更なる側面において、本発明による光学式リーダーは、該イメージセンサアレイの単色ピクセル、およびカラーピクセルをリセットするための、分離した、かつ独立に制御可能なリセット制御線を含む。カラー感受性ピクセルを露光するための露光期間の間に、単色ピクセルはリセットに駆動することができる。イメージデータ読み出しのために選択的にアドレスされているのではないピクセルをリセットに駆動することは、イメージセンサアレイの画素間のクロストークを低減する。
一つの低コストイメージセンサアレイの中に単色ピクセルとカラーピクセルの結合を組み込むことにより、本発明によるイメージセンサは、すべてが単色のイメージセンサアレイを持つ光学式リーダーの性能にほぼ等しい指標デコード性能、およびすべてがカラーピクセルのイメージセンサアレイを組み込んだデジタルカメラの撮像性能にほぼ等しい、あるいはそれより優れた撮像性能(すなわち、ビジュアルディスプレイカラーフレームのイメージデータを得る能力)、ここで、該アレイの各ピクセルは波長選択性フィルタ要素を含む、にほぼ等しい指標デコード性能を与える。
もう1つの側面において、本発明の光学式リーダーイメージセンサアレイは、光偏光ピクセルを有し、各光偏光ピクセルは、適切に偏光された光源から生成され、特定の角度で反射された、偏光された光線を、実質的に減衰させる光偏光フィルタ要素を持つ;これにより、特定的に反射された光線の、偏光ピクセルから生成されたイメージ信号に対する貢献を、低減する。1つの実施形態において、光学式リーダーイメージセンサアレイの第1のサブセットのピクセルは、単色ピクセルであり、第2のサブセットのピクセルは、光偏光ピクセルである。特定の反射読み取り条件において、デコード可能な指標をデコードするために、光偏光ピクセルに対応するイメージデータは、光偏光ピクセルからイメージデータを読み出すことを選択する方法か、あるいは、光偏光ピクセルに対応するイメージデータに加えてイメージデータを含む1フレームのイメージデータから、光偏光ピクセルに対応するイメージデータを選択的に抽出することにより、デコード回路に、選択的に転送することができる。
本発明の、これらの、および他の側面は、図画および発明の詳細な記述と関連してさらに詳細に記述される。
本発明による光学式リーダーの電気的ブロック図が、図1aに示される。
リーダー100は、図1aに示されるイメージセンサICチップ1082A上に、CMOSイメージセンサ集積回路(IC)チップとして組み込まれたソリッドステートイメージセンサアレイ182Aを含む。重要な側面において、以下に記述されるように、イメージセンサ配列182Aは、複数のピクセルおよび光感受性サブセットのピクセルと関連した波長感受性カラーフィルタ要素を含み、ここで、光感受性サブセットのピクセルに対して外にある残りのピクセルは、関連する波長選択性フィルタ要素の欠陥である。イメージセンサアレイ182Aは、単色ピクセルおよびカラー感受性ピクセルの両方を含むので、イメージセンサアレイ182Aは、単色/カラーハイブリッドイメージセンサアレイと呼ばれる。リーダー100はさらに、プロセッサICチップ548、および制御回路552を含む。図1aの実施形態における制御回路552は、プロセッサICチップ548の中央処理装置(CPU)を与えられていることが示されている。他の実施形態において、制御回路552は例えば、フィールドプログラム可能ゲートアレイ(FPGA)、あるいはアプリケーションスペシフィック集積回路(ASIC)のような、プログラム可能な、論理関数実行デバイスを与えられていることができる。撮像レンズ212は、イメージセンサアレイ182Aの活性な表面にイメージを焦点合わせし、かつ、イメージセンサアレイ182Aと共に、撮像アセンブリ200を形成する。制御回路552は、RAM560およびフラッシュメモリ564とともにリーダーメモリ566を構成するプログラムメモリEPROM562にストアされた指令にしたがって、撮像、および指標デコードアルゴリズムを実行する。リーダーメモリ566は、システムバス570を介してプロセッサICチップ548と通信する。
メインプロセッサICチップ548は、中央処理装置(CPU)552を含む XSCALE PXA25x プロセッサICチップのような多機能ICチップであり得る。リーダー100はさらに、フィールドプログラム可能なゲートアレイ(FPGA)580を含む。制御回路552の制御の下で動作して、FPGA580は、イメージセンサICチップ1082Aからデジタルイメージデータを受け、該イメージデータを、そのイメージデータがさらに処理される(例えば、バーコード信号のデコードにより)ように、RAM 560に転送する。例えば、プロセッサICチップ548は集積されたフレーム取込み器を含むことができる。例えば、プロセッサICチップ548は、インテルから入手可能な「クイックキャプチャカメラインタフェース」を持つ、XSCALE PXA27X プロセッサICチップであり得る。プロセッサICチップ548が集積されたフレーム取込み器を含む場合は、集積されたフレーム取込み器は、FPGA580のフレーム獲得機能性を提供することができる。リーダー100はさらに、照明アセンブリ104、およびマニュアルトリガー216を含む。図1aの実施形態におけるイメージセンサICチップ1082Aは、オンチップ制御/タイミング回路1092、オンチップゲイン回路1084、オンチップアナログディジタル・コンバータ1086、およびオンチップラインドライバー1090を有する。光学式リーダー100に組み入れられているイメージセンサアレイは、種々の形式をとり得る。図1aにおいて、リーダー100は、第1のイメージセンサアレイ182Aを含む。しかしながら、ハードウェアブロック208によって示されるように、イメージセンサアレイ182Aは置き換えることができる。例えば、図1bの実施形態において、リーダー100は、イメージセンサアレイ182Bを含む。他の実施形態において、光学リーダー100は、1以上のイメージセンサアレイを含む。リーダー100に組み入れることのできるイメージセンサアレイの種々の実施形態がここに記述される。
更なる側面において、リーダー100が無線周波数(RF)通信インタフェース571を含む。無線周波数通信インタフェース571は、1つ以上のラジオトランシーバーを含み得る。図1cの模式図を参照して、無線周波数通信インタフェース571は、802.11ラジオトランシーバー5712、ブルートゥースラジオトランシーバー5714、GSM/GPSラジオトランシーバー5716、または WIMAX(802.16)ラジオトランシーバー5718の1つ以上を含み得る。 無線周波数通信インタフェース571は、装置100と、間隔をあけて配置された装置150との間のデータの無線通信を可能とする。I/O通信インタフェース572は、図10に関連して以下にさらに記述されるように、間隔をあけて配置された装置150との通信を可能とする1以上の直列または並列ハードワイヤード通信インタフェースを含む。I/O通信インタフェース572は、イーサネット(登録商標)通信インタフェース、ユニバーサルシリアルバス(USB)インタフェース、またはRS-232通信インタフェースの1つ以上を含み得る。光学リーダー100は、さらにデータを入力するためのキーボード、グラフィカルユーザインタフェース(GUI)のポインターを移動させるためのポインタームーバー512、およびバーコード読み取りおよび/または撮像を始めるためのトリガー216を含み得る。光学式リーダー100はまた、単色またはカラーLEDディスプレイのようなディスプレイ504、およびディスプレイ504上に覆うように置かれたタッチスクリーン504Tを含む。図1d の模式ブロック図に示されるように、ディスプレイ504は、カラーイメージデータを表示するための、ディスプレイコントローラ5044に結合されたディスプレイスクリーン5042を含み得る。ディスプレイコントローラ5044は、制御回路552からのビジュアルディスプレイカラーフレームのイメージデータを受け取り、ディスプレイスクリーン5042のピクセル分解能を含むディスプレイスクリーン5042の特定の要件に依存して、そのデータを再フォーマット化する。図1aの全ての要素は、例えば、図9a−9cに見られるように、ハンドヘルドハウジング101により収容し、支持することができる。図1aに示されるリーダー100の要素の追加の特徴および機能は、以下に記述される。
図1eを参照して、光学式リーダー100は、種々の処理回路(モジュール)を持つものと見ることができる。指標デコード回路1702は、イメージデータを受け取り、バーコード指標およびOCR文字データのような、その中のデコード可能な指標をデコードする。光学式リーダー100は、 指標デコード回路1702が、バーコードシンボルUPC/EAN, Code 11, Code 39, Code 128, Codabar, Interleaved 2 of 5, MSI, PDF417, MicroPDF417, Code 16K, Code 49, MaxiCode, Aztec, Aztec Mesa, Data Matrix, Qcode, QR Code, UCC Composite, Snowflake, Vericode, Dataglyphs, RSS, BC 412, Code 93, Codablock, Postnet (US), BPO4 State, Canadian 4 State, Japanese Post, KIX (Dutch Post), Planet Code 等、および、OCR A, OCR B 等のOCR文字形式をデコードするように、構成することができる。自動識別回路1704は、受け取ったメージデータを処理し、手書きの文字データと、デコード可能な指標とを区別する。自動識別回路1704は、指標デコード回路1702を含むことができる。自動識別回路1704、および指標デコード回路1702は、制御回路552と、メモリ566の結合によって物理的に実施することができる。特に、メモリ562にストアされたプログラムの制御の下で動作する制御回路552は、メモリ562にストアされたイメージデータを処理して、その中のデコード可能な指標をデコードし、あるいは、手書きの文字データと デコード可能な指標とを区別する。自動識別回路1704、および指標デコード回路1702のさらなる側面は、米国特許出願第10/958,779号、出願日2004年10月5日、名称“System And Method To Automatically Discriminate Between A Signature And A Barcode”、および、米国特許出願第11/077,975号、出願日2005年3月11日、名称“Bar Code Reading Device With Global Electronic Shutter Control”、に記述されており、その両者は、参照によりここに組み入れられる。さらに以下に記述されるように、光学式リーダー100はさらに、デモザイク回路1706、および融合回路1708を含み得る。デモザイク回路1706は、入力としてカラーフィルタアレイイメージデータフレーム(例えば、ベイヤーパターンイメージ)を受け取り、出力として、ビジュアルディスプレイカラーフレームのイメージデータを生成する。融合回路1708は、入力として、単色およびカラー両方のイメージデータを受け、出力として、光学式リーダーのハイブリッド単色/カラーイメージセンサアレイのピクセル分解能のオーダーでの、あるいはそれ上の、空間分解能を持つビジュアルディスプレイカラーフレームのイメージデータを生成する。回路1702、1704のように、回路1706、および1708は、制御回路552とメモリ566の結合により物理的に実施され得る。制御回路552ばかりでなく、回路1702、1704、1706、および1708は、(例えば、図9a−9cに示されるように、)ハンドヘルドハウジング101の中に組み入れることができ、あるいは、回路552、1702、1704、1706、および1708の1つ、あるいはそれ以上は、図10に関連して記述されるように、間隔をあけた装置150のハウジング内に組み入れることができる。
ここで言及されたような、ビジュアルディスプレイカラーフレームのイメージデータは、1つの実施形態においては、複数のピクセルポジションのおのおのでの1セットのカラー指示データを含む、ここで、1セットのカラー指示データは、(図8dに示される)目標1850の分離した位置でのカラーを示すイメージフレームである。カラー指示データの各セットは、3つのカラー値、すなわち、赤を表すカラースケール値、青を表すカラースケール値、および緑を表すカラースケール値、を含む。あるいは、各ピクセル位置についてのカラー指示データのセットは、シアン値、紫紅色値、および黄色を表す値を含み得る。
1つの特定の実施形態において、デモザイク回路1706、または融合回路1708により出力された、ビジュアルディスプレイカラーフレームのイメージデータの各ピクセル位置についてのカラー指示データのセットは、24ビットの情報を含むRGBデータセットであり、ここで、最初の8ビットは、該ピクセル位置についての赤のカラースケール値(赤値)を表し、2番目の8ビットは、該ピクセル位置の緑のカラースケール値(緑の値)を表し、そして3番目の8ビットは、該ピクセル位置の青のカラースケール値(青い値)を表す。
本発明の主な特徴は、光学式リーダーのイメージセンサアレイの構成であり、その種々の実施形態は、図2a−7dのビューを含むいくつかのビューを通して示され、記述されている。
ハイブリッド単色/カラー感受性(モノカラー)ソリッドステートイメージセンサアレイの第1の実施形態が、図1aおよび図2a−4bに示され、記述されている。
図1a および図2a−4bを参照して、ソリッドステートイメージセンサアレイ182Aは、単色の第1サブセットのピクセル250M、およびカラー感受性の第2サブセットのピクセル 250Cを含む。第1サブセットの単色のピクセル250Mは、チェッカーボードパターンに形成され、図2aに示されるようなボイドは、第1のサブセットのピクセルのコーナーに、ボイド、例えば、隣接するピクセルのボイド253−1、253−2、253−3、253−4の結合が、開放領域、例えば、開放領域255、各開放領域は第1のサブセットの4つのピクセルで囲まれている、を形成するように形成されている。さらにイメージセンサアレイ182Aを参照して、第2のサブセットのピクセル250Cを形成するピクセル250Cは、開放領域255に配置され、かつ、図2bに示されるような、波長選択性フィルタ要素、例えば、フィルタ要素260C、260Mは、第1のサブセットのピクセル上ではなく、第2のサブセットのピクセル上に形成されている。ここで記述されたような単色のピクセル250Mは、カラーフィルタ要素(カラーフィルタ)のボイドである。第1の単色ピクセルサブセットのピクセルは、12側面ポリゴンの形態をしている。該ピクセルは、図2a−2d により示される上面図から見られるように、十字形をしている(単色ピクセルは、ボイドの存在により修正されるように、矩形形状をしている。)。カラー感受性の第2のサブセットのピクセルは、上面図から見られるように、矩形をしている。
図2bに示されるイメージセンサアレイ182Aのバージョンにおいて、イメージセンサアレイ182Aのカラー感受性ピクセル250Cは、シアン(Cy)フィルタ要素260C、あるいは紫紅色(Mg)フィルタ要素260Mを含む。図2cのバージョンにおいて、イメージセンサアレイ182Aのカラー感受性ピクセル250Cは、赤いフィルタ要素260R、緑のフィルタ要素260G、あるいは青のカラーフィルタ要素260B(RGBフィルタ)のいずれかを含む。カラー感受性ピクセル250Cは、イメージセンサアレイ182の全体を通して、ベイヤーパターン、そこでは、N個の青ピクセル、N個の赤ピクセル、および2N個の緑ピクセルがある、に従って分布することができる。ここで記述したような任意のイメージセンサアレイピクセルのカラーフィルタ要素は、カラー感受性ピクセル250Cの主体上に、堆積プロセスの方法により、堆積することができる。ここに説明されるように、ビジュアルディスプレイカラーイメージデータは、図2bに示されたイメージセンサアレイ182Aのバージョン、または図2cに示されたイメージセンサアレイ182Aのバージョン、あるいは、シアン、紫紅色、および黄色(CMY)のカラー感受性ピクセルを含むバージョンのような、イメージセンサアレイ182Aのもう1つのバージョン、のいずれかを利用して得ることができる。シアンと紫紅色のフィルタは、(赤、緑、および青のフィルタのように)2つの染料を必要とするのではなく、ただ1つの染料のみを必要とするので、赤、緑、および青のフィルタ要素の代わりに、シアン、および紫紅色のフィルタ要素を含むイメージセンサアレイ182Aのバージョンは、より多くの光が、ピクセルの 光検出器にまでずっと通過することを可能とし、そして、赤、緑、および青のフィルタを含むバージョンより高い信号雑音比を示す。それでもやはり、赤、緑、および青の(RGB)フィルタ要素の組み合わせを持つイメージセンサアレイは、ある応用のためには好まれる。図2dを参照して、イメージセンサアレイ182Aは、光線をして、イメージセンサアレイ182A上に入射せしめるマイクロレンズ320を含み得る。マイクロレンズ320、単色ピクセルを含むマイクロレンズ320M、およびカラー感受性ピクセルマイクロレンズ320Cのさらなる側面は、ここで記述される。
イメージセンサピクセルアレイ182Aの分解された物理的形式図、そこでは、アレイ182Aがグローバル電子シャッター動作モードで動作するように構成されている、が図3a−3dに示され、記述される。イメージセンサアレイ182Aの単色ピクセル250Mは、図3aおよび3bに示される。単色ピクセル250Mは、フォトダイオードまたはフォトゲート構成であり得る光検出器302、転送ゲート304、フローティング拡散306、リセットゲート308を含むリセットトランジスタ307、行選択ゲート310を含む行選択トランジスタ309、および増幅器ゲート312を含むソースフォロワ増幅器トランジスタ311を含む。ピクセル250Mの重要な特徴は、不透明の光学シールド316である。代表的に金属よりなる不透明の光学シールド316は、光検出器302以外のピクセル250Mの要素から、光線を遮蔽する。したがって、イメージセンサアレイ182Aのいくつかの行のおのおのからのピクセルは、該光線が、フローティング拡散306、またはもう1つのストア領域にストアされる電荷を変調することなしに、グローバル電子シャッター動作モードにおいて、同時に光にさらすことができる。グローバル電子シャッター動作モードにおいて動作することのできるイメージセンサアレイのさらなる側面は、ここに参照によって組み込まれた米国特許出願第11 /077,975号に記述されている。ピクセル250Mの追加的な側面を参照して、ピクセル250Mは、光透過性保護層322上に配置され得るマイクロレンズ320を含む。マイクロレンズ320は、光検出器302より大きい表面エリアから光を集めて、該光を光検出器302に向かわせる。
イメージセンサアレイ182Aのカラー感受性ピクセル250Cは、図3cおよび3dを参照して記述される。カラー感受性ピクセル250Cは、フォトダイオードまたはフォトゲート構成であり得る光検出器302、光検出器302(250C)からの電荷を転送する転送ゲート304、フローティング拡散306、リセットゲート308を含むリセットトランジスタ307、行選択ゲート310を含む行選択トランジスタ309、および増幅器ゲート312を含むソースフォロワ増幅器トランジスタ311を含む。カラー感受性ピクセル250Cはまた、光検出器302以外のピクセル250Mの光感受性要素から、光線を遮蔽する不透明の光学シールド320を有する。ピクセル250Cはまた、光検出器302上に入射する光の量を増大させるマイクロレンズ320を含む。上記要素に加えて、カラー感受性ピクセル250Cは、その上に形成された波長選択性カラーフィルタ要素260を含む。波長選択性カラーフィルタ要素260は、マイクロレンズ320と保護層322との中間に配置されている。図2a−2dのバージョンにおいて、各カラー感受性ピクセル250Cは、4つの隣接する単色ピクセル250Mを持つことが見られる。
図3aおよび3cに示されたようなマイクロレンズ320はまた、図2dのビューにも見られる。単色ピクセルマイクロレンズ320、320M、およびカラー感受性マイクロレンズ320、320Cは、複数のマイクロレンズを含むマイクロレンズアレイ上に形成されている。
カラー感受性ピクセル250Cが、第1の単色サブセットのピクセル250Mのチェックボードパターンのボイドにより定義された開放領域に配置されている記述されたアーキテクチャにおいて、カラー感受性ピクセル250、250Cのマイクロレンズ320Cは、マイクロレンズ320Mに対して大変少ないオーバーラップ(例えば、3.4%以下)を持つ。
イメージセンサアレイ182Aのカラー感受性ピクセル250Cは、図3bと3dの比較によって最もよく見られ、かつ、ピクセル250Mより小さい表面エリアを消費する。1つのバージョンにおいて、ピクセル250Mは、上面図から見られるように、約12μm×12μmの領域を含み、一方、ピクセル250Cは、上面図から見られるように、約6μm×6μmの領域を含む。もう1つのバージョンにおいては、ピクセル250Mは、約6μm×6μmの上表面領域を含み、一方、ピクセル250Cは、約3μm×3μmの上表面領域を含む。ピクセル250Mあるいはピクセル250、250Cのサイズ縮小は、ピクセル250Mおよび/またはピクセル250Cのトランジスタの数を減らすことによって、低コストで行うことができる。
イメージセンサアレイ182Aのピクセル250Cのトランジスタカウントは、光学的にシールドされたフローティング拡散306、そこでは、電荷が一時的にストアされて、グローバル電子シャッター動作を促進することができる、を削減することにより、容易に減少することができる。したがって、1つの実施形態において、イメージセンサアレイ182Aの単色ピクセル250Mは、カラー感受性ピクセル250Cより多いトランジスタを持ち、グローバル電子シャッターベースで露出することができるが、カラー感受性ピクセル250Cは、単色ピクセル250Mより少ないトランジスタを持ち、グローバル電子シャッターベースで露出することができない。単色ピクセル250Mより小さい寸法のカラー感受性ピクセル250Cを有するイメージセンサアレイ182Aに関するさらにもう1つの実施形態においては、比較的より大きい単色ピクセル250Mは、グローバルシャッター動作を促進するのに十分なトランジスタカウントを持つが、比較的より小さいカラー感受性ピクセルは、オフピクセル増幅を必要とする受動的ピクセルであり、おのおの単一トランジスタからなる。リーダー100に組み入れることのできるイメージセンサアレイに関するグローバル電子シャッターおよび回転シャッター動作のさらなる側面は、以下に記述される。
図4aを参照して、イメージセンサアレイ182Aのハイレベル電気ブロック図が示される。1つのバージョンによれば、イメージセンサアレイ182Aは、各ピクセル250M、250Cが、単色の第1のサブセットのピクセルからのものであっても、カラーの第2のサブセットのピクセルからのものであっても、光検出器領域252に入射する光に対応する信号を増幅するためのピクセル増幅器311を含む活性ピクセルであるような相補型金属酸化物半導体(CMOS)構成の活性ピクセルイメージセンサアレイである。各ピクセル250M、250Cはまた、光学的にシールドされた蓄積要素306を含む。イメージセンサアレイ182Aはさらに、おのおのの、列回路270、および行回路296と電気的に通信する2次元グリッドの相互接続器262を含む。行回路296、および列回路270は、選択的にピクセルをアドレスする、ピクセルを解読する、信号を増幅する、アナログ−デジタル変換、タイミング、読み出し、およびリセット信号の印加、等の処理および動作タスクを可能とする。
イメージセンサアレイ182Aの相互接続グリッド262を形成している制御線の中に、ピクセルリセット制御線がある。ピクセルがリセット制御線上に適切な制御信号を印加することによりリセットされるとき、ピクセルに蓄積されてきた残留電荷は、一時的にVDDに接続され、イメージセンサアレイのピクセル上にたまった電荷は、ピクセルから流出する。本発明によって、イメージセンサアレイ182Aは、白黒ピクセル250Mと、カラーピクセル250Cとで別個のリセット制御線を含む。図4bを参照して、イメージセンサアレイ182Aは、該イメージセンサアレイ182Aが単色ピクセル250Mをリセットするために第1のセットのリセット制御線262R−Mを持ち、カラーピクセル250Cをリセットするために第2のセットのリセット制御線262R−Cを持つように構成することができる。
ある動作モードにおいて、光学式リーダー100は、単色ピクセル250Mからのイメージデータよりなるウインドウフレーム表示のイメージデータを、選択的に読み出す。他の動作モードにおいて、光学式リーダー100は、カラーピクセル250Cからのイメージデータよりなるウインドウフレーム表示のイメージデータを、選択的に読み出す。本発明によって、リセット制御タイミングパルスは、イメージセンサアレイ182Aに、ウインドウフレーム表示のイメージデータが、イメージデータ読み出しのために選択的にアドレスされていないイメージセンサアレイ182Aのピクセルをリセットするために、獲得されつつある時間の間に、印加することができる。図4cのタイミング図に示されるように、露出制御タイミングパルス354は、リセット制御タイミングパルス370と調和させることができる。
さらに図4cを参照して、露出制御タイミングパルス354は、イメージセンサアレイ182Aの単色ピクセル250M(あるいは、イメージセンサアレイ182Aのカラーピクセル250C)の露出を制御することができ、一方、リセット制御タイミングパルス370は、リセット状態に選択にアドレスされていないピクセルを駆動する。ピクセルがリセットされるとき、ピクセルに積み上げられた電荷は、ピクセルから外に流出されようとする。さらに、リセットに駆動されているピクセルに入力するフォトンは、より少ないフォトンのみが、イメージデータの読み出しのために露出されている隣接するピクセル上に入射することとなるよう屈折されると信じられる。したがって、アドレスされたピクセルを選択的に露出させるための露出制御パルス354、および選択的にアドレスされていないピクセルをリセットするためのリセット制御タイミングパルス370のタイミングを調整することは、ピクセル間のクロストークを低減することとなる。
再び図4bのビューを参照して、イメージセンサアレイ182Aは、多数のリセット制御線162R−C、162R−Mの存在が、イメージセンサアレイ182Aのピクセルの充填率を実質的に減少させないように構成することができる。図4bは、イメージにセンサアレイ182、182Aに組み込まれている多数のリセット制御線162R−M、162R−Cの模式的上面図を示す。本発明によれば、制御線162R−M、162R−Cは、イメージセンサアレイ182Aの実質的な部分にわたって、制御線164R−Mが、制御線164R−Cのx、y位置と一致する(軸は図8aで定義される)x、y位置を持つような、層状の態様でイメージセンサアレイ182A内に組み込まれることができる。図4bの実施形態における制御線164R−Cは、制御線162R−M、および162R−Cが、制御線の相当な長さにわたって共通のx 、y位置を持っているようにイメージセンサアレイ182A内で異なる高さ(異なるZ軸位置)にインストールされている。制御線が、イメージセンサアレイ182A内で共通のx、y軸位置を持つように多数の制御線を、お互いの上面上に来るようにインストールすることは、イメージセンサアレイ182A内に付加的なセットのリセット制御線をインストールすることから、そうでなければ生じる充填率の低下の量を、減少させることができる。
本発明によるイメージセンサアレイのための代替的な構成は、図5a−7bを参照して記述される。図5a−7bの実施形態において、イメージセンサアレイ182Bは、チェッカーボードパターンにある複数の矩形形状ピクセル(上面図)を含み、該ピクセルのおのおのは、同じ寸法をもつ。イメージセンサアレイ182Bの各ピクセル250M、250Cは、図5a−5iの上面図から見られるように、ほぼ同じ上面寸法をもつよう、かつ、図6a−6dの断面図から見られるように、ほぼ同じ側面断面寸法を持つように、構成することができる。イメージセンサアレイ182Bは、イメージセンサアレイのピクセルの選択されたものが、関連する波長選択性カラーフィルタ要素を持つことを除いて、標準的な既製の単色イメージセンサアレイの構成に類似している。ソリッドステートイメージセンサアレイ182Bは、複数の行内に形成された複数のピクセルを含む。図5a−5eのバージョンにおいて、単色の第1のサブセットのピクセル250Mは、アレイのピクセルの大多数から構成されている。波長選択性カラーフィルタ要素260は、第2のセットのカラー感受性ピクセル250Cに含まれている。カラー感受性の第2のサブセットのピクセル250Cは、該イメージセンサアレイ182Bを形成する複数のピクセルを通して均一に分布された、または実質的に均一に分布された、離れて配置されたピクセル位置にあるピクセルからなる。図5aおよび5bの実施形態において、1行おきのピクセル(例えば、ピクセル行2、4、6...)における1つおきのピクセルは、関連する波長選択性カラーフィルタ要素を持つ。本発明の1つの実施形態において、イメージセンサアレイ182Bは、Micron社から入手可能なタイプの、MT9M111 デジタル Clarity SOC 1.3メガピクセルCMOSイメージセンサICチップ、同じくMicron社から入手可能なMT9V022イメージセンサICチップ、あるいは、STMicroelectronicsから入手可能なタイプのVV6600 1.3メガピクセルCMOSイメージセンサICチップ、のイメージセンサアレイ上に適切に設計されたカラーフィルタアレイを含むことにより、提供することができる。イメージセンサアレイ182Bを提供するために、利用することのできる他のイメージセンサICチップは、Micron社から入手可能なMT9M413イメージセンサICチップ、コダック社によって生産されたKAC-0311 イメージセンサICチップ、および、同じくコダック社によって生産されたKAI-0340イメージセンサICチップを含む。参照されたKAI-0340イメージセンサICチップの動作的な側面は、さらにここに記述される。上記イメージセンサICチップのいくつかに関する種々の製造業者の製品記述資料は、米国仮特許出願第60/692,890号、2005年6月22日出願、米国仮特許出願第60/694,371号、2005年6月27日出願、に添付されており、これらは、参照によりここに組み入れられる。上記の商業的に販売されたイメージセンサICチップは、ここで記述されるイメージセンサアレイ182B、182C、182D、182F、182G、および182Hの任意の1つを与えるために、(フィルタ要素の付加または置換を、必要に応じて伴って)利用することができる。
上記で参照された Micron, Inc,によって製造されたMT9V022およびMT9M413 イメージセンサICチップ、およびKodak, Inc.によって生産されたKAC-0311 イメージセンサICは、イメージデータ読み出しにさらされるすべての行のピクセルが、共通露出時間を持つ;すなわち、1フレームのイメージデータ(すなわち、フルフレーム、または“ウインドウ化されたフレーム”)を読み出すためのイメージデータ読み出しにさらされるすべての行のピクセルが、共通露出開始時間、および共通露出終了時間を持つよう、グローバル電子シャッターモードで動作することのできるCMOSイメージセンサICチップである。グローバル電子シャッター動作のために、露出制御タイミングパルスが、ここに記述されるように、イメージセンサアレイに印加される。イメージデータ読み出しにさらされる各行のピクセルの露出は、露出制御タイミングパルスの立ち上がりエッジで始まり、露出制御タイミングパルスの立ち下がりエッジで終了する。その技術的な文献で、Micron社は、グローバル電子シャッター動作モードに関して商標TRUESNAPを使用している。
図5bを参照して、カラーフィルタ要素250、250C上に形成された波長選択性カラーフィルタ要素(フィルタ)は、シアンフィルタ要素260Cと、紫紅色カラーフィルタ要素260Mとの結合であることができる。図5aに示されるように、カラー感受性ピクセル250Cの波長選択性フィルタは、赤フィルタ要素260R、緑フィルタ要素260G、および青フィルタ要素260Bの組み合わせであることができる。シアンと紫紅色のフィルタは、1つのダイのみを必要とし、(赤、緑、および青フィルタのように)2つのダイを必要としないので、図5bのバージョンは、もっと多くの光が、光検出器(例えば、図6cに示される、光検出器302)にまでずっと通過することを可能とし、図5bの実施形態よりより高い信号雑音比を示す。それでもやはり、図5aのバージョンはある特定の応用のために、好まれる。
図5a−7dの実施形態において、ハイブリッド単色/カラーイメージセンサ182Bは、標準的に知られているアレイの各ピクセルが実質的に同じ寸法を持つチェッカーボードパターンにある、共通に利用可能なオフ‐ザ‐シェルフイメージセンサアレイ上に、適切に設計されたカラーフィルタアレイを含むことにより、作ることができる。イメージセンサアレイ182Bのより大きい部分は、図5cに示され、そこでは、文字「c」によって指定されたピクセルが、カラー感受性ピクセル250Cであり、文字「c」によって指定されていないピクセルが、単色ピクセル250Mである。図5cの例では、カラー感受性ピクセルcは、P=2の周期でアレイ182B上に形成されており、1行おきの1つおきのピクセルが、カラー感受性ピクセル250Cであることを意味している。図5dのバージョンにおいては、カラー感受性ピクセルcは、P=3の周期でアレイ182B上に形成されており、すべての3番目の行の、すべての3番目のピクセルが、カラー感受性ピクセル250Cであることを意味している。図5eのバージョンにおいては、カラー感受性ピクセルcは、P=4の周期でアレイ182B上に形成されており、すべての4番目の行の、すべての4番目のピクセルが、カラー感受性ピクセル250Cであることを意味している。図5a−5eのバージョンにおいては、各カラー感受性ピクセル250Cは、8つの隣接する単色ピクセル250M(2つの側面隣接、1つの上面隣接、および底面隣接、および4つの角部隣接)を持っている。
サブセットの単色ピクセル250M、およびサブセットのカラー感受性ピクセル250Cを含むイメージセンサアレイ182B、そこでは、イメージセンサアレイの各実質的に同じ寸法をもっている、の付加的なビューは、図5f−5jに示される。
図5fのバージョンを参照して、イメージセンサアレイ182Bは、第1のセットの単色ピクセル250M、および第2のセットのカラー感受性ピクセル250Cを含む。図5fのバージョンにおけるイメージセンサアレイ182Bのカラー感受性ピクセル250Cは、クラスター257R 、クラスター257G、およびクラスター257Bのようなクラスターに形成されている。
図5fのバージョンにおける各クラスターは、連続する水平に隣接したピクセル位置に、クラスターの各ピクセルが、少なくとも1つの他のカラー感受性ピクセルに水平に隣接するよう、複数のピクセルを含む。ピクセルのカラー感受性クラスターは、イメージセンサアレイの全体を通して、一様に、あるいは十分に一様に分布されている。クラスターは、RGBベイヤーパターン、またはシアン、紫紅色、黄色(CMY)パターンのような標準化されたカラーフィルタパターンにしたがって形成されている。各クラスターは、すべての個々のクラスターが同じ波長比のフィルタ要素を持つような、複数のピクセルを持つことができる。図5fに示された特定のバージョンにおいて、クラスターは、ベイヤーカラーフィルタアレイのパターンにしたがったパターンで、イメージセンサアレイ182B全体を通して分布されている。
クラスター257Gは、3つの水平に隣接した緑ピクセルを含む。クラスター257Rは、3つの水平に隣接した赤ピクセルを含む。クラスター257Bは、3つの水平に隣接した青ピクセルを含む。図7cに関連してさらに記述されるように、図5fに示されるように、水平に配列されたクラスター内でのカラー感受性ピクセルの分布を含むイメージセンサアレイ182Bのバージョンは、イメージセンサアレイ182B内に、イメージセンサアレイ182Bの単色ピクセル、およびイメージセンサアレイ182Bのカラー感受性ピクセルを、別々に、独立してリセットするための、別々の、独立して制御可能なリセット制御線262R−Mおよび262R−Cを含むことが望まれる場合は、特に有用である。
今、図5g−5j に示されるイメージセンサアレイ182Bのバージョンを参照して、1つのサブセットのカラー感受性ピクセル内に、1つのサブセットの単色ピクセルを持つイメージセンサアレイ182Bは、単色ピクセルの“ゾーン”と、カラー感受性ピクセルの“ゾーン”を含むよう構成することができる。ここで、ピクセルのある“ゾーン”は、イメージセンサアレイの特定されたエリアでの、位置的に関係するピクセル、ここで、各ピクセルは、カラーフィルタ要素を持つ、あるいは、カラー要素を持たない、の集まりである。ここで記述されたゾーンの例は、1行のピクセルのすべてのピクセル、あるいは、いくつかの連続する行のおのおののすべてのピクセルからなる。図5gのバージョンにおいては、イメージセンサアレイ182Bは、2つのカラー感受性ピクセルのゾーン2500Cと、1つの単色ピクセルのゾーン2500Mとを含む。各ゾーンのピクセルは、水平に、垂直に、あるいは斜めに隣接する複数のピクセルよりなる。単色ピクセルのゾーン、例えば、ゾーン2500Mの複数のピクセルは、すべてカラー感受性フィルタ要素を持たないものである。カラー感受性ピクセルのゾーン、例えば、ゾーン2500Cにおける複数の隣接するピクセルは、すべてカラー感受フィルタ要素を含む。
図5gのバージョンを参照して、単色ゾーンのピクセル2500Mは、1対のカラー感受性ゾーンの間に挿入されている。図5gのバージョンにおける単色ゾーンのピクセル2500Mは、イメージセンサアレイ182Bの中心にある、あるいはほぼ中心にある、イメージセンサアレイ182Bの単一行のピクセルよりなる。イメージセンサアレイ182Bの第1のカラー感受性ゾーンのピクセルは、イメージセンサアレイ182Bの、行のピクセルゾーン2500Mから上端行までのすべてのピクセルを含む。図5gのバージョンでの第2のカラー感受性ゾーンのピクセル2500Cは、イメージセンサアレイ182Bの、中央行単色ピクセルゾーン2500Mから底のピクセル行までのすべてのピクセルを含む。イメージセンサアレイ182Bのカラー感受性ピクセル250Cのカラー感受性要素は、標準的なカラーフィルタパターン、例えば、RGMベイヤーカラーフィルタパターン、あるいはCMYパターンで形成されている。
図5hを参照して、もう1つのイメージセンサアレイ182Bのバージョンが示され、記述される。図5hのバージョンは、単色ピクセルのゾーン2500M が、イメージセンサアレイ182Bの中心、あるいはほぼ中心において、10の連続したピクセル行を含むよう拡張されていることを除いて、図5gのバージョンに類似している。
図5iに示されるような、イメージセンサアレイ182Bのバージョンにおいて、単一のカラー感受性ピクセル2500Cは、それぞれ、イメージセンサアレイ182Bの上と底に形成された2つの比較的小さい幅の単色ピクセルゾーン2500Mの間に挿入されている。図5aに示されるイメージセンサアレイ182Bのバージョンにおいて、第1の単色ピクセルゾーン2500Mは、イメージセンサアレイ182Bの第1の10行のピクセルよりなり、第2の単色ピクセルゾーンは、イメージセンサアレイ182Bの、底の10行のピクセルを含む。図5iのバージョンにおけるカラー感受性ピクセルゾーン2500Cは、イメージセンサアレイ182Bの最初の10行、および最後の10行のピクセルを除くすべてのピクセルを含む。図5hと図5iのバージョンにおいて、示されたカラー感受性ゾーン2500Cのピクセルは、標準化されたカラーフィルタアレイのパターン、例えばRGBベイヤーパターン、あるいはCMYパターンにしたがったカラーフィルタ要素を含む。
図5jに示されたイメージセンサアレイ182Bのバージョンは、図5jのバージョンが、追加的な単色ピクセルゾーン2500Mを含むことを除いて、図5gのバージョンに、構成上、類似している。図5jのバージョンにおいて、イメージセンサアレイ182Bは、イメージセンサアレイ182Bの中心(実際の、またはおおよその)を通って延びる一対の斜めの単色ピクセルゾーン2500M−D、および、イメージセンサアレイ182Bの中心を通って延びる、垂直に延びる単色ピクセルゾーン2500M−Vを含む。図5jのバージョンに示される線形の単色ピクセルゾーン2500Mは、1ピクセル幅、あるいは1ピクセル幅より大きい小さな寸法を含み得る。例えば、図5jの垂直に延びる単色ピクセルゾーン2500Mは、1列のピクセル位置、あるいは、複数列のピクセル位置を含むものであってもよい。同様に、図5gの斜めに延びる線形単色ピクセルゾーン2500Mは、単一の斜めピクセル行のピクセル位置、あるいは複数の斜めピクセル行のピクセル位置を含むものであってもよい。
図5g−5jのイメージセンサアレイ182Bのバージョンは、撮像光学式リーダー、それはバーコード解読応用では線形バーコードシンボルを解読することが期待される、における使用に特に適していることが見られる。図5g−5jの線イメージセンサアレイは、線形シンボル最適化イメージセンサアレイと言われる。以下でさらに詳細に記述されるように、図5g−5jのバージョンにおける、単色ピクセルゾーン2500Mに対応するイメージデータは、選択的にアドレスされて、カラー感受性ピクセルゾーン2500Cからの行からのイメージデータの読み出しとは、独立に読み出される。バーコード解読応用においては、制御回路552は、図5g−5iに示されるように、単色ゾーンピクセルを選択的にアドレスし、単色ピクセルゾーン2500Mからイメージデータを読み出し、このようなイメージデータを、線形バーコードシンボルのデコードのために指標デコード回路1702に転送することができる。撮像応用においては、制御回路552は、カラー感受性ゾーンのピクセル2500Cを選択的にアドレスし、かつカラー感受性ゾーン2500Cからイメージデータを選択的に読み出し、かつ、このようなカラーイメージデータを、ビジュアルディスプレイカラーフレームのイメージデータに加工することができる。さらにここに説明されるであろう処理は、カラーフィルタパターンイメージを、ビジュアルディスプレイフォーマットに変換するデモザイクルーチン、および単色ピクセルゾーン2500Mにより占められたピクセル位置での欠落したピクセル位置に対応するカラーピクセル値の補間、等のようなステップを含むであろう。
図6a−6dにおいて、イメージセンサアレイ182、182Bのピクセルの展開された物理形式ビューが示される。イメージセンサアレイ182Bの単色ピクセル250Mが、図6aと6bに示される。ピクセル250M は、フォトダイオードまたはフォトゲート構成であり得る光検知器302、転送ゲート304、浮遊拡散306、リセットゲート308を含むリセットトランジスタ307、行選択ゲート310を含む行選択トランジスタ309、および増幅器ゲート312を含むソースフォロワアンプトランジスタ311を含む。ピクセル250Mの重要な特徴は、不透明の光学シールド316である。典型的に、金属よりなる不透明の光学シールド316は、光検知器302以外のピクセル要素250Mからの光線をシールドする。したがって、イメージセンサアレイ182Aのいくつかの行のおのおのからのピクセルは、グローバル電子シャッター動作モードにおいて、光線が浮遊拡散306あるいは他の領域にストアされた電荷を変調することなく、同時に露出することができる。グローバル電子シャッター動作モードで動作することのできるイメージセンサアレイのさらなる側面は、ここに参照によって組み込まれる米国特許出願第11/077,975号に記述されている。ピクセル250Mの追加的な側面を参照して、ピクセル250Mは、光透過性保護層322の上に配置され得るマイクロレンズ320を含む。マイクロレンズ320は、光検知器302より大きい表面領域からの光を集め、該光を光検知器302に向ける。
イメージセンサアレイ182Bのカラー感受性ピクセル250Cは、図6cと6dを参照して記述される。カラー感受性ピクセル250Cは、その構成において単色ピクセル250Mに類似している。カラー感受性ピクセル250Cは、フォトダイオードまたはフォトゲート構成であり得る光検知器302、光検知器302からの電荷を転送するための転送ゲート304、浮遊拡散306、リセットゲート308を含むリセットトランジスタ307、行選択ゲート310を含む行選択トランジスタ309、および増幅器ゲート312を含むソースフォロワアンプトランジスタ311を含む。カラー感受性ピクセル250Cはまた、光検知器302以外の光感受性ピクセル要素250Cからの光をシールドする不透明の光学シールド316を含む。ピクセル250Cはまた、光検知器302に入射する光の量を増大させるマイクロレンズ320を含み得る。上記の要素に加えて、カラー感受性ピクセル250Cは、その上に形成された波長選択性カラーフィルタ要素260を含む。波長選択性カラーフィルタ要素260は、マイクロレンズ320と、保護層322との間の中間に配置することができる。
イメージセンサアレイ182Bのハイレベルな電気ブロック図が、図7aに示される。イメージセンサアレイ182Bは、CMOS構成のものであってもよく、かつイメージセンサアレイ182Bの各ピクセル250がピクセルアンプ311を含むような、アクティブなピクセルイメージセンサアレイであってもよい。イメージセンサアレイの各ピクセル250はさらに、感光性領域252、および光学的にシールドされた蓄積要素306を持っていてもよい。イメージセンサアレイ182Bはさらに、それぞれの列回路網270、および行回路網296と電気的に通信する2次元格子の相互接続体262を含む。行回路網296および縦回路網270は、選択的なピクセルのアドレッシング、ピクセルの解読、信号の増幅、アナログ−デジタル変換、およびタイミング、読み出し、およびリセット信号の印加、等の処理および動作タスクを可能とする。
相互接続格子262のリセット制御線は、図7bに示される。イメージセンサアレイ182Bは、イメージセンサアレイ182Bの記述と関連して前に記述したように、イメージセンサアレイ182Bの単色ピクセル250Mが、イメージセンサアレイ182Bの カラー感受性ピクセル250Cとは独立してリセットすることができるように、複数のセットのリセット制御線を持つことができる。本発明によれば、制御線262R−M、262R−Cは、イメージセンサアレイ182Bの実質的な部分にわたって、制御線262R−Mが、制御線262R−Cのx、y位置(軸は、図8aで定義される)と一致するx、y位置を持つように、層状の態様で、イメージセンサアレイ182B内に組み入れることができる。図7bの実施形態において、制御線262R−Cは、イメージセンサアレイ182B内で、制御線262R−Cに対して、異なる高さ(異なるZ軸位置)にインストールされ、制御線262R−M、262R−Cが、制御線の実質的な長さにわたって、共通のx、y位置を持つようにされる。多数の制御線を、制御線がイメージセンサアレイ182B内で共通のx、y軸位置を持つように互いの上面上にインストールすることは、イメージセンサアレイ182B内に付加的なセットのリセット制御線をインストールすることから、そうでなければ生じるであろう充填率の劣化量を、低減することができる。
図7cと7dを参照して、イメージセンサアレイ182Bは、単色ピクセル250Mおよびカラー感受性ピクセルを、別に、かつ独立してリセットするための、別の、かつ独立したリセット制御線を、イメージセンサアレイ182Bの全体的な厚さを増やさないで、含むように構成することができる。図4bと7bに関連して記述されるように、リセット制御線を、お互いの上面上に配置することは、重要な利点を提供する;そうでなければ、イメージセンサアレイは、このような配列でより厚くなり、これは、製造原価を増大させる。図7cを参照して、イメージセンサアレイ182Bのバージョンは、単色ピクセル250Mをリセットする第1セットのリセット制御線262、262R−M、および、イメージセンサアレイ182Bのカラー感受性ピクセル250Cをリセットする第2のセットの制御線262、262R−Cを持つよう、図示されている。図7cのリセット制御線構成は、図5fに示されたカラー感受性ピクセル分布において利用され、かつ、単色ピクセル250M、およびカラー感受性ピクセル250Cを分離してリセットする別の、かつ独立して制御可能なリセット制御線を持ち、かつ共通に利用可能なオフ‐ザ‐シェルフイメージセンサアレイの厚さに等しい厚さを示すイメージセンサアレイ182Bを与えるように利用することができる。図7cに示されるイメージセンサアレイ182Bのバージョンにおいて、単色ピクセル行のリセット制御線はともに電気的に接続され、かつカラー感受性ピクセルを含むピクセルの行のリセット制御線はともに電気的に接続されている。単色ピクセル行の共通に接続されたリセット制御線は、参照数字262、262R−Mで示され、一方、カラー感受性ピクセルを含む行の共通リセット制御は、参照数字262、262R−Cで示される。図5fと図7cのバージョンにおいて、イメージセンサアレイ182Bの毎4番目の行のピクセルは、カラー感受性ピクセル257R、257G、257Bのクラスターを含む。図7cに示されるように、ともに電気的に接続されたカラー感受性ピクセル250Cを含むリセット制御線262、262R−Cにより、カラー感受性ピクセル250Cを含むイメージセンサアレイ182Bのすべての行は、リセット制御信号の共通のリセット制御線262、262R−Cへの印加により、リセットに駆動することができる。同様に、単色ピクセル250M(単色行のピクセル)のみを含むすべての行のピクセルは、共通単色ピクセルリセット制御線262、262R−Mへのリセット制御信号の印加により、リセットに駆動することができる。さらに、図7cに示されたイメージセンサアレイ182Bのバージョンを参照して、イメージセンサアレイ182Bの単色ピクセル250Mは、ピクセル250Cがカラーイメージデータのイメージデータ読み出しのために露出されたとき、リセットに駆動することができる。
図7cの構成について、カラー感受性ピクセルクラスター、例えば、クラスター257R、の終端ピクセル、例えば、ピクセル250C−Eに隣接している単色ピクセル250M−Aは、カラー感受性ピクセル250Cの露出期間の間にリセットに追いやられることはないことが気づかれるべきである。しかしながら、本発明によれば、1つの実施形態において、各カラー感受性の水平に配置されたクラスターの中央ピクセル250C−I(かつ、終端ピクセル250C−Eではない)にのみ、対応するイメージデータは、カラーイメージデータの読み出しの間に、選択的にアドレスすることができる。イメージデータの読み出しのためにアドレスされていない、終端ピクセル250C−Eでの各水平カラーフィルタ要素の存在は、終端ピクセル250C、250C−Eを通って角度でメージセンサアレイ182Bに入射するフォトンに起因するクロストークの効果を減少させる。
イメージセンサアレイ182Bの単色ピクセル250Mとカラー感受性ピクセル250Cを別に、かつ独立してリセットすることを与える、もう1つの構成は、図7dを参照して示され、かつ、記述される。図7dのバージョンにおいて、イメージセンサアレイ182Bは、すべて単色ピクセル250Mのみを含む複数のピクセル行を含み、これにつづいて、カラー感受性ピクセル250Cのみを含む複数のピクセル行を含む。単色ピクセル行250Mは、第1のサブセットのピクセルを形成し、カラー感受性ピクセル行250Cは、第2のサブセットのピクセルを形成する。第1のサブセットのピクセルをリセットするリセット制御線は、該第1のサブセットのピクセルのリセット制御線をともに接続し、そののち別に、第2のサブセットのピクセルのリセット制御線をともに電気的に接続することにより、第2のサブセットのピクセルを制御するリセット制御線とは独立のものとすることができる。図7dのバージョンにおける第1のサブセットの単色ピクセル250Mの共通制御線は、参照数字262、262R−Mで指定され、一方、図7dのバージョンにおける第2のサブセットのカラー感受性ピクセルの250Cの共通制御線は、参照数字262、262R−Cで指定される。単色ピクセル250Mおよびカラー感受性ピクセル250Cの別の、かつ、独立の制御を有効とする図7dの構成は、イメージセンサアレイ182Bの行の全体にわたる、単色の、あるいはカラー感受性ピクセル250Cの“ゾーン”を持つ、図5g−5iに示され、記述されたイメージセンサアレイ182Bの線技術のシンボル最適化バージョンにより、利用することができる。
図7dを参照して、カラー感受性ピクセル250Cは、カラーイメージデータの読み出しのためのカラー感受性ピクセル250Cの露出の間でのリセット制御線262、262R−Mに対する共通のリセット制御信号の印加により、単色ピクセル250Mの露出の期間にリセットに駆動することができる。同様に、カラー感受性ピクセル250Cは、単色ピクセル250Mからのイメージデータの読み出しのための、単色ピクセル250Mの露出期間の間に共通リセット制御線262、262R−Cに、リセット制御信号を印加することにより、リセットに駆動することができる。
本発明によるイメージセンサアレイの特定の実施形態に関する特徴は、図2a−4c(イメージセンサアレイ182A)のビュー、および図5a−7d(イメージセンサアレイ182B)のビューに関連して記述されて来た。光学式リーダー100(すなわち、182Aとラベルされた実施形態、182Bとラベルされた実施形態、あるいはCMYイメージセンサアレイ182C、RGBイメージセンサアレイ182D、単色線形イメージセンサアレイ182E、単色領域イメージセンサアレイ182F、単色および偏光器イメージセンサアレイ182G、あるいは単色、カラー、および偏光器イメージセンサアレイ182Hのようなもう1つの実施形態の、いずれかの組み入れられたイメージセンサアレイの一般的な特徴が、以下に記述される。
光学式リーダー100は、イメージセンサアレイ182A、182B、182C、182D、182E、182F、182G、182Hにおける第1の複数のピクセルを、イメージセンサアレイの第2のピクセルを選択的にアドレスするのと独立に、選択的にアドレスして、イメージデータが第2の複数のピクセルと独立に第1の複数のピクセルから読み出されることができるようにプログラムする、あるいはそうでなければ、構成することができる。1つの動作モードにおいて、光学式リーダー100は、第1のサブセットのピクセルをアドレスし、該第1のサブセットのピクセルからイメージデータを、第2のカラー感受性のサブセットのピクセルとは独立して読み出すことができる。もう1つの動作モードにおいて、光学式リーダー100は、第2のサブセットのピクセルをアドレスし、該第2のサブセットのピクセルからイメージデータを、第1のサブセットのピクセル250Mとは独立して読み出すことができる。光学式リーダー100が、イメージセンサアレイのあるサブセットのピクセルのみを選択的にアドレスし、選択的に読み出す場合は、イメージセンサアレイから読み出されるイメージデータの結果として生じるフレームは、イメージデータの「ウインドウ表示のフレーム」と言われる。イメージデータのウインドウ表示のフレームが読み出される、イメージセンサアレイのフレームレートは、イメージセンサアレイの通常のフレームレートと比し、通常増大している。
イメージセンサアレイ182A、182B、182C、182D、182E、182F、182G、182Hは、回転シャッター動作モードと、グローバルシャッター動作モードとを持つように構成することができる。回転シャッター動作モードに入ったとき、イメージセンサアレイの行のピクセルは、順次、露出される。“回転する”シャッターの語は、回転シャッター動作モードでは、ある行のピクセルのための露出が、一般に以前の行の露出期間が終わったときより前に開始されるために、用いられている。
グローバル電子シャッター動作モードで動作するとき、イメージセンサアレイのいくつかの行からのピクセルは、同時に露出される。すなわち、グローバル電子シャッター動作モードで動作するとき、イメージセンサアレイにおいて1つの電子シャッターを形成するトランジスタ要素(例えば、図3aと6aの実施形態において示されるような、トランスファーゲート304、およびリセットゲート308)は、複数の行のピクセルが、同時に露出され、共通の露出期間をもつように調整された態様で動作するよう制御される。グローバル電子シャッター動作モードにおいて、アレイの電子シャッター要素は、複数の行のピクセルのおのおのの共通露出期間が、(リセットゲート308の制御を介して)共通露出開始時間で開始し、(トランスファーゲート304の制御を介して)共通露出停止時間で終わるように制御される。ここで説明されるように、各ピクセルは、共通の露出期間の間に、光学的にシールドされたストア領域に電荷をストアすることができる。グローバル電子シャッター動作モードを有効とするために、露出制御タイミングパルス354、354'、354''、354'''は、図15a−15eのタイミング図と関連してさらに詳細に記述されるように、イメージセンサアレイ182A、182B、182C、182D、182E、182F、182G、182Hに印加することができる。露出制御タイミングパルス354、354'、354''、354'''は、露出されるイメージセンサアレイの各行のピクセル182A、182B、182C、182D、182E、182F、182G、182Hのおのおのの露出のためのタイミングを制御する。イメージデータの読み出しにさらされるイメージセンサアレイの各行のピクセルのための露出期間は、露出制御タイミングパルス354、354'、354''、354'''の立ち上がりエッジで始まり、露出制御タイミングパルス354、354'、354''、354'''の立ち下がりエッジで終わる。グローバル電子シャッター動作モードを有するイメージセンサアレイの構成のために、該アレイの各ピクセルは、ここで記述される付加的な回路要素を備えている。
光学式リーダー100のイメージセンサアレイ182A、182B、182C、182D、182E、182F、182G、182Hは、回転シャッター動作モードのみにおいて動作するよう構成することができる;すなわち、1つの特定の実施形態において、光学式リーダー100のイメージセンサアレイは、回転シャッターベースでのみ、イメージセンサアレイのピクセルを露出させるために制御され得るものであり、イメージセンサアレイのピクセルが、グローバル電子シャッターベースで露出されるように、制御されることはできない。もう1つの実施形態においては、光学式リーダー100に組み入れられたイメージセンサアレイは、グローバル電子シャッター動作モードでのみ動作するよう構成することができ、回転シャッターモードで動作することは不可能である。
イメージセンサアレイ182A、182B、182C、182D、182E、182F、182G、182Hは、グローバル電子シャッター動作モード、または回転シャッター動作モードのいずれかで動作するよう構成することができる。イメージセンサアレイがグローバル電子シャッター動作モード、または回転シャッター動作モードのいずれかで動作するよう構成された場合は、回転シャッター動作モードとグローバルシャッター動作モードの間の切り替えは、シャッターモードを切り替えるオペレータ指示の受信に応じてなされるであろう。該回転シャッター動作モードとグローバルシャッター動作モードとの間を切り替えることは、また、所定の基準が満足されていることを検出するのに応じて、自動的に、かつダイナミックに行うことができる。回転式シャッターモード、およびグローバルシャッター動作モードを持つ光学式リーダー100を持つイメージセンサアレイは、2005年3月11日に出願された米国特許出願第11/077,975号、名称“ Bar Code Reading Device With Global Electronic Shutter Control”に記述されており、参照によりここに組み入れられる。回転式シャッターまたはグローバルシャッター動作モードのいずれかで動作するよう構成されたイメージセンサは、米国特許第6,552,323号、名称“Image Sensor With A Shared Output Signal Line”において記述されており、参照によりここに組み入れられる。
イメージセンサアレイ182A、182B、182C、182D、182E、182F、182G、182Hは、イメージセンサアレイのあるピクセルが、回転シャッターベースで、またはグローバルシャッターベースで露出されることが可能であり、イメージセンサアレイのある特定の他のピクセルは、回転シャッターベースでのみ露出されることが可能であり、グローバル電子シャッターベースでは露出され得ないように構成することができる。
特に、メージセンサアレイ182A、およびイメージセンサアレイ182Bを参照して、光学式リーダー100のイメージセンサアレイに、単色ピクセルを別々にカラー感受性ピクセルとは独立してリセットする別々に制御可能なリセット制御線262、262R−M、262、262R−Cを組み込み、これにより、クロストークを低減することが有利であることが記述されてきた。イメージデータが選択的にイメージデータの第1のサブセットから読み出されるときはいつでも、本発明により、別々に、かつ独立して制御可能なリセット制御線を、イメージセンサアレイ182A、182B、182C、182D、182E、182F、182G、182Hの中に組み入れることが有利であり、第1のサブセットのピクセルに対して外にあるイメージセンサアレイのピクセルからクロストークを低減することが望ましいことが理解されるであろう。例えば、図18cに示されるような、シアン、紫紅色、黄色(CMY)のイメージセンサアレイ182Cを含む光学式リーダー100においては、シアンと紫紅色のピクセルを黄色のピクセルとは別にリセットするための別々のリセット制御線を組み込み、黄色のピクセルがデコード回路1792に送信するためにデコードフレームの黄色ピクセルイメージデータの読み出しのために露出されるとき、該アレイの残りのピクセル、すなわちシアンと紫紅色のピクセルが電子拡散クロストークを削減し、かつフォトン透過クロストークを低減するようリセットに設定されるようにすることが望ましい。ハンドヘルド光学式リーダー100が、図19bに示されるような、単色/偏光器イメージセンサアレイ182G、あるいは図20aおよび20bに示されるような、単色/偏光器イメージセンサアレイ182Hを組み込むとき、イメージセンサアレイ182内に、偏光器ピクセルの外にあるピクセルのリセットを制御するための別々に制御可能なリセット制御線を組み込み、偏光器ピクセルが偏光器ピクセルからのイメージデータの読み出しのために露出されるとき、イメージセンサアレイの残りのピクセルがリセットにセットされて、偏光器ピクセルの外にあるピクセルからのクロストークを低減するようにすることは、利点のあることである。
イメージセンサアレイ182A、182B、182C、182D、182E、182F、182G、182Hが、相補的金属酸化物シリコン集積回路製作技術を用いて製造されたCMOSイメージセンサアレイによって都合よく提供されるとき、イメージセンサアレイ182A、182B、182C、182D、182E、182F、182G、182Hはまた、電荷結合素子(CCD)イメージセンサアレイ、あるいはCIDイメージセンサアレイあるいは他の製造技術によるイメージセンサアレイであってもよい。ここに記述された発明のさまざまな実施形態において、フルフレームのイメージデータより少なく読み出しをする、すなわち、対象の同じくイメージ領域(ROI)として参照され得る「ウインドウ表示のフレーム」のイメージデータの読み出し、をすることは、有利であろう。ウインドウ化する能力を持つCCDイメージセンサアレイICチップの例が、ロチェスター、ニューヨークのイーストマン・コダック株式会社から入手可能なKODAK KAI-0340イメージセンサアレイICチップである。KAI-0340イメージセンサアレイICチップは、種々の入力スイッチ設定を利用して選択可能な種々の動作モードを持つ。例えば、SW1スイッチをHIGHポジションにセットすると、イメージセンサアレイの外側の垂直レジスタにおける電荷が、それが水平レジスタに到着する前に捨てられることとなり、イメージデータのアレイの中央列のみからの選択的な読み出しを有効とする。KAI-0340イメージセンサアレイチップのSW2スイッチを設定すると、中央行からの電荷のみが垂直レジスタに転送され、イメージセンサアレイの中央行のみからのイメージデータの選択的な読み出しを有効とするよう、ダイオード転送クロックタイミングを変える。したがって、イメージセンサアレイ182Bが、単色ピクセルゾーン2500Mを定義している単色ピクセル領域の中央行を持つよう、図5hに示されるバージョンによって構成されており、かつイメージセンサアレイがCCD KAI-0340イメージセンサアレイである場合は、中央行からのイメージデータを、イメージセンサアレイチップのあらかじめ構成された動作モードを選択することにより読み出すことができる。追加の「ウインドウ表示のフレーム」パターンは、ピクセルがクロックされるスピードを制御するピクセルクロックタイミング制御タイミングパルスの速度を変えることによって、CCDイメージセンサアレイから選択的に読み出すことができる。無効の、あるいはヌルデータは、ピクセルクロック信号を速めることによって、1つのCCDピクセルからクロックアウトすることができる。CCDイメージセンサからイメージデータを読み出す間に、ピクセルクロック制御信号を、有効データ引き出しレートと、無効データ引き出しレートとの間で変えると、通常速度でクロックアウトされる有効なイメージデータと、高い速度でクロックアウトされる無効イメージデータよりなるウインドウ表示のイメージデータを生じる。イメージデータはまた、イメージセンサアレイの選択ピクセルにするイメージデータを、CCDイメージセンサアレイの出力回路網に、選択的にゲーティングすることにより、イメージセンサアレイから選択的に読み出すことができる。ウインドウ表示のフレームのイメージデータが、CMOSイメージアレイからのピクセルの選択的なアドレスによって読み出される、ここで述べた任意の応用について、ウインドウ化能力を持つCCDイメージセンサアレイは、これに置き換えられて、選択的読み出し機能性を与えることができる。
本発明の追加的な側面が、図8a−8cの物理形式ビュー、および、図9a、9bおよび9cの物理形式ビューを参照して、記述される。図8a−8cの物理形式ビューにおいて、その上にイメージセンサチップを組み込み得る撮像モジュールが、記述される。図9a、9bおよび9cを参照して、イメージセンサチップを含む撮像モジュールを支持し、収容するハンドヘルドハウジングが記述される。
図8a−8cの実施形態で示されるような、本発明の光学式リーダー100は、撮像モジュール1802Aのような撮像モジュールを含み得る。図8a−8cに示されるような撮像モジュール1802Aは、ここで、IT4000撮像モジュールのある特徴、および付加的な特徴を組み込んでいる。IT4000 画像形成モジュールは、Hand Held Products, Inc. of Skaneateles Falls, New York.から入手可能である。撮像モジュール1802Aは、光源160a、160bを運ぶ、第1の回路基板1804を含み、一方、第2の回路基板1806は、光源160c、160d、 160e、160f、160g、160h、160i、160j、160k、160l、160m、160n、106o、160p、160q、160r、160s、および160tを運ぶ(以下、160cないし160t、という)。第1の回路基板1804はまた、イメージセンサICチップ1082に集積されるイメージセンサアレイ182を運ぶ。図8aに示されるイメージセンサICチップ1082およびイメージセンサアレイ182は、一般に、図8aにおいて、それぞれ、参照数字「1082」と「182」によりラベルされており、ここで記述された、特定的に記述されたイメージセンサICチップ1082A、1082B、1082C、1082D、1082E、1082F、1082G、および1082Hの任意の1つ、あるいはここで記述された、特定的に記述されたイメージセンサアレイ182A、182B、182C、182D、182E、182F、182G、182Hの任意の1つが、撮像モジュール1802Aに組み入れられ得ることを示している。種々のイメージセンサICチップ、およびイメージセンサアレイはまた、撮像モジュール1802B、1802C、1802D、および1802Eのような、ここで記述されるもう1つの撮像モジュールに組み入れることができる。図8eで示された撮像モジュール1802Cは、Hand Held Products, Inc.から入手可能なタイプのレーザー照準IT4300撮像モジュールである。レーザー照準IT4300撮像モジュールは、複数の照明LED、例えば、LED160、および、屈折率要素1873と結合したレーザーダイオードアセンブリ1872よりなる照準パターン発生器よりなり、ここで、撮像モジュールの屈折率要素は、レーザーダイオードアセンブリからのレーザー光を屈折させて、基板s上に2次元照準パターンを投射する。撮像モジュール1802Aはまた、イメージセンサアレイ182の活性な表面上にイメージの焦点を合わせる撮像レンズ212を運ぶレンズバレル1814を保持する、レンズホルダー1812を含むサポートアセンブリ1810を含む。レンズ212は、例えば、単一レンズ(レンズシングレット)、二重レンズあるいは三重レンズであることができる。光源は160a、160bは、照準照明光源であり、光源160c〜160tは、照明光源である。図8dを参照して、照明光源160c〜160tは、基板s上に、バーコードシンボル1835のような解読可能な指標を運ぶ2次元照明パターン1830を投射し、一方、照準照明光源160a、160bは、照準パターン1838を投射する。図8a−8cに関連して示され、記述された実施形態においては、照準照明光源160a、160bからの光は、スリット開口1840を、基板s上に、撮像するレンズ1842と結合したスリット開口1840により成形されて、図8a−8cの実施形態ではラインパターン1838である、照準パターン1838を形成する。照明パターン1830は、箱1850によって指定されたイメージリーダー100のフルフレームフィールドのビューに実質的に対応する。光学式リーダー100の現在のフィールドビューは、ここで、光学的リーダー100の"目標”といわれる。照準パターン1838は、イメージリーダー100のフィールドビューの中心を通って水平に伸びるラインの形をしている。照明パターン1830は、照明光源160c〜160tのすべてが同時に動作したとき、投射することができる。照明パターン1830はまた、照明光源160c〜160tの1つのサブセットが同時にエネルギー供給されたとき、投射することができる。照明パターン1830はまた、LED160sまたはLED160tのような、照明光源160c〜160tのうちの1つがエネルギー供給されたとき、投射することができる。撮像モジュール1802のLED160sおよび160tは、LED160c ないし160tより幅の広い投射角を持つ。撮像モジュール1802、1802Aを組み込んでいる光学式リーダー100においては、 照明アセンブリ104は、LED160a、160b、LED160c〜160t、および レンズ1842と結合したスリット開口1840を含む。
図9a、9b、および9cに示されるように、リーダー撮像モジュールは、ハンドヘルドハウジングの1つ内に組み込まれる。図9aの実施形態において、撮像モジュール1802を支持するハンドヘルドハウジング101は、銃スタイルのハウジングである。図9bの実施形態において、撮像モジュール1802を支持するハンドヘルドハウジング101は、ポータブルデータターミナル(PDT)の形態をしている。図9cの実施形態において、撮像モジュール1802を支持するハンドヘルドハウジング101は、しばしば、“セルフォン”と言われる、移動電話の形態をしている。光学式リーダー100がセルフォンであるとき、光学式リーダー100は、音声データを、GSM/GPRSトランシーバー571によりGSM/GPRSネットワーク198(図10)に送り、GSM/GPRSトランシーバー571によりGSM/GPRSネットワーク198より音声データを受け取るように、構成される。さらに、光学式リーダー100がセルフォンであるとき、光学式リーダー100は、オペレータが、キーボード508により電話番号を入力するように構成される。図8a−8cと関係して記述された特定の撮像モジュール1802Aは、図9aに示された光学式リーダー、あるいは図9bに示された光学式リーダー100、あるいは図9cに示された光学式リーダー100に組み入れられる。しかしながら、図9aに示された実施形態では、ハウジング101は、2つの光源160のみが、撮像モジュール内に組み込まれていることを除いて、撮像モジュール1802B、すなわち、撮像モジュール1802Aに似た構成の撮像モジュールを、支持し、収容する。図9bのリーダーのハウジング101は、一般に、ラベルされた要素1802である撮像モジュール1802を支持し、ここで記述された特定的なイメージャーモジュールの任意の1つ、例えば、1802、1802A、1802B、1802D、1802Eが、本発明による光学式リーダーに組み入れられていることを示している。
光学式リーダー100のさらなる側面に言及して、光学式リーダー100は、種々の動作モードの間の選択を可能にするグラフィカルユーザインタフェース(GUI)3170を組み込み得る。GUI3170により、オペレータは、ポインター3172を選択されたアイコンに移動させ、アイコン上でクリックをして、選択されたアイコンに関連する動作モードにしたがって光学式リーダー100を構成する。リーダー100は、ポインタームーバー512(あるいは、ナビゲーションマトリックスと呼ばれる)を、ポインター3172の動きをよくするように含むことができる。ポインタームーバー512のボタン512Bは、Windows(登録商標)CEのような、リーダー100に組み込まれるマルチタスクオペレーティングシステム(OS)を組み入れることによりサポートされている GUIインタフェースのアイコンの選択を効率よくする。GUI3172は、HTML/Java(登録商標)あるいはXML/Java(登録商標)のような、種々のオープンスタンダード言語を用いて開発することができる。
図9bの実施形態において、GUI3170は、複数のバーチャル選択ボタン3152、3154、3156で、3158、3162、3164を含む。回転式シャッターアイコン3152の選択は、リーダー100を、次の露出期間の間、イメージセンサアレイ182が、回転シャッターモードで動作するように構成する。グローバルシャッターアイコン3154の選択は、リーダー100を、次の露出期間の間、イメージセンサアレイ182が、グローバル電子シャッターモードで動作するように構成する。
デコードアイコン3162の選択は、光学式リーダー100をして、指標デコードモードに駆動し、図10を参照して記述されているように、トリガー信号が受信された次の時間に、光学式リーダー100が1フレームのイメージデータを獲得し、その中に表現されたバーコードシンボルまたは他のデコード可能な指標(例えば、OCR文字)をデコードし、デコードアウトしたメッセージを、ディスプレイ504、または離れて配置されたデバイス150に出力するようにする。イメージ獲得(あるいは、撮像とも言われる)アイコン3164の選択は、光学式リーダー100をして、次回トリガー信号が受信されたとき、光学式リーダー100がイメージデータを獲得し、該イメージデータを、1またはそれ以上のディスプレイ504、特定のメモリアドレス、または、離れて配置されたデバイス150に、その中にあるデコード可能な指標をデコードするよう試みることなく出力するように構成する。光学式リーダー100はまた、光学式リーダー100が、リーダー100に離れて配置されたデバイス150からシリアルコマンドを送ることにより、あるいは、特定的に構成されたプログラミングバーコードシンボルを読み出すことにより、選択された動作モードにしたがって構成され得るよう、構成することができる。
光学式リーダー100は、手動トリガー216が、オペレータによって手動で押されたとき、光学式リーダー100がトリガー信号を受信するよう構成することができる。光学式リーダー100はまた、トリガー信号が、図10に示されるように、リーダー100の近傍にある目標のセンシングにより、あるいは、離れて配置されたデバイス150からリーダー100にシリアルトリガーコマンドを送ることにより受信されるように構成することができる。
1実施形態における光学式リーダー100の動作を図示するフロー図が、図14a、14b、および14cを参照して記述される。ステップ1100において、オペレータは、指標モードと、撮像モードとを選択する。ステップ1100において、オペレータは、アイコン3162(図9b)を選択して、光学式リーダー100を指標デコードモードに駆動し、あるいはアイコン3164を選択して、光学式リーダー100をデジタル画像撮像モード動作に駆動する。これらのモードはまた、リーダー100に離れて配置されたデバイス150からシリアルコマンドを送ることにより、あるいはプログラミングバーコードシンボルの読み出しにより選択することができる。もし、指標デコードモード動作が選択されれば、光学式リーダー100は指標デコードプロセス1200を実行する。もし、撮像モードが選択されれば、光学式リーダー100は撮像プロセス1400を実行する。
指標デコードプロセス1200の例は、図14bを参照して記述される。ステップ1202において、トリガー信号は、記述された方法(トリガー216を押す、目標センシング、シリアルトリガーコマンド)の1つにより受信され、デコードプロセスを始める。ステップ1203において、光学式リーダー100の制御回路552は、複数の“パラメータ決定”、またはテストフレームのイメージデータ、を獲得する。ステップ1203で獲得されたフレームのイメージデータは、指標デコード処理に付されるのではなく、むしろ、パラメータ決定(例えば、露出、ゲイン、照明)の処理をされる。あるいは、パラメータ決定ステップ1203は避けられる。例えば、制御回路552は、ステップ1203でパラメータを決定するよりむしろ、前のイメージ獲得動作から決定したパラメータを適用することができる。ステップ1204で、制御回路552は、以下に詳細が説明されるデコードフレームのイメージデータを得る。
フレームのイメージデータ(すなわち、デコード、撮像、または他の処理または蓄積において使用される「テスト」フレーム、および/またはフレーム)を獲得するために、制御回路552(図1a)は、照明制御信号を照明アセンブリ104に送り、種々のイメージ取り込み開始制御信号を、イメージセンサチップ1082(一般に、ここに記述したイメージセンサチップの任意のものを言及するようラベルされている)の制御/タイミング回路1092に送ることができる。
イメージ獲得開始制御信号は、図15a−15eを参照して、より詳細に記述される。イメージデータの獲得のために、制御回路552は、(図8dに示されるように)、照明パターン1830が投射されるように、少なくとも1つの光源160を活性化するよう照明制御タイミングパルス350を照明アセンブリ104に送る。制御回路552はまた、イメージセンサICチップ1082に、露出制御タイミングパルス354および読み出し制御タイミングパルス368を、およびリセット制御タイミングパルス370を送る(すなわち、制御回路552は、イメージセンサICチップ1082に露出制御タイミングパルス354、読み出し制御タイミングパルス368、およびリセット制御タイミングパルス370を開始するよう適切な信号を送る。)。
図15aに示される1つの実施形態において、露出制御タイミングパルス354は、照明制御タイミングパルス350の後に始まり、その前に、終わる。読み出し制御タイミングパルス368は、照明制御タイミングパルス350の終わりに始まる。図15bに示されるもう1つの実施形態において、照明制御タイミングパルス350'は、露出制御タイミングパルス354' の後に始まり、前に終わる。この実施形態において、読み出し制御タイミングパルス368'は、露出制御タイミングパルス354'の終わりにおいて、始まる。さらなる実施形態において、露出制御タイミングパルス、および照明制御タイミングパルスは、同時に起こりながら、相互にオーバーラップする。図15cに示されるような1つのそのような実施形態において、この順次的な動作は、照明制御タイミングパルス350''が始まり、露出制御タイミングパルス354''が始まり、照明制御タイミングパルス350''が終わり、そののち、露出制御タイミングパルス354''が終わる。この実施形態において、読み出し制御タイミングパルス368''は、露出制御タイミングパルス354''の終わりに始まる。図15dに示されるようなさらなる実施形態において、順次的な動作は、露出制御タイミングパルス354'''が始まり、照明制御タイミング350'''が始まり、露出制御タイミングパルス354'''が終わり、そののち、照明制御タイミング350'''が終わるのを許す。この実施形態において、読み出し制御タイミングパルス368'''は照明制御タイミング信号パルス350'''の終わりにおいて始まる。ここで記述された各照明制御タイミングパルス350、350'、350''、350'''は、図15eによって示されるように、時々、「ストローブド」パルスと言われる、複数の短持続時間の個々のパルスを構成し得る。
露出制御タイミングパルス354がイメージセンサIC チップによって受信され、光学式リーダー100がグローバル電子シャッター動作モードで構成されているとき、イメージセンサアレイ182A、182B、182C、182D、182E、182F、182G、182Hのいくつかの行からのピクセルは、該パルスの持続期間の間、同時に光にさらされる。すなわち、光学式リーダー100がグローバル電子シャッター動作モードに構成されているとき、イメージセンサアレイ182A、182B、182C、182D、182E、182F、182G、182Hの、イメージデータの読み出しを受けるいくつかの行のおのおのは、イメージデータの読み出しを受けるイメージセンサアレイの各行のピクセルの露出期間が、共通の露出開始時間に始まり、共通の露出停止時間に終わるよう、共通の露出期間を持っている。イメージデータの読み出しを受けるイメージセンサアレイ182A、182B、182C、182D、182E、182F、182G、182Hの、各行のピクセルのための露出期間は、露出制御タイミングパルス354、354'、354''、354'''、の立ち上がりエッジで始まり、露出制御タイミングパルス354、354'、354''、354'''、の立下りエッジで終わる。
読み出し制御タイミングパルス368が、イメージセンサICチップ1082Bによって受信されるとき、イメージデータは、イメージセンサアレイから読み出される。イメージセンサアレイのピクセルに対応するイメージ信号は、アナログディジタルコンバータ1086によってデジタルフォームに変換されて、FPGA580によってメモリ560に転送される。
光学式リーダー100はステップ1204で、イメージデータを読み出すとき、光学式リーダー100が「ウインドウ表示のフレーム」のイメージデータを読むように、構成することができる。ここに示されるように、ウインドウ表示のフレームのイメージデータは、対象の、またはウインドウの所望の領域のピクセルを選択的にアドレスすることにより読み出すことができる。ステップ1204でのフレーム獲得の間に読み出されたウインドウ表示のフレームのイメージデータは、イメージセンサアレイのすべて、あるいは実質的にすべての単色ピクセル250Mに対応するピクセル値よりなることができる。図15a、15b、15c、および15dのタイミング図をさらに参照して、選択的にアドレスされないピクセルをリセットするためのリセット制御タイミングパルス370は、ウインドウ表示のフレームのイメージデータを読み出すために選択的にアドレスされるピクセルの露出を制御するための露出制御タイミングパルス354と調和させることができる。このように、単色/カラーハイブリッドイメージセンサアレイ、例えば、イメージセンサアレイ182Aあるいはイメージセンサアレイ182Bから単色のイメージデータを読み出すために、リセット制御タイミングパルス3709がイメージセンサアレイ182のカラーピクセルをリセットするために印加され、一方、露出制御タイミングパルス354がイメージセンサアレイの単色のピクセルの露出を可能にするために印加される。イメージセンサのカラーピクセルをリセットすることを、単色ピクセルをリセットすることとは独立に促進するために、イメージセンサアレイは、カラーピクセルをリセットすることを可能とするよう特定的に適合された、リセット制御線格子を含むよう構成することができる。単色ピクセルが光にさらされている間に、カラーピクセルをリセットに駆動するためのリセット制御パルス370を印加することは、電子拡散クロストークを削除し、かつ、露出の間にカラーピクセルに光線が斜めに入りこむことより生じるクロストークを低減することができる。
フレームがステップ1204で得られるとき、それらは、バーコードシンボル解読あるいはOCR解読のような 指標解読を促進するのに適切な形で得られる。ハイブリッド単色/カラーイメージセンサアレイ182A、182Bからステップ1204で読み出された単色ピクセルに対応するイメージデータだけを含み、カラー感受性ピクセル250Cに対応するイメージデータを含まない、ウインドウ表示のフレームのイメージデータについて、制御回路552はステップ1204でグレースケール値をRAM560にストアし、該各ピクセル値はイメージセンサアレイ182A、182Bの特定の単色ピクセルにおける光の強度を表す。ステップ1204で得られたフレームのイメージデータは、例えば、8ビットグレースケールピクセル値、10ビットグレースケールピクセル値、あるいは12ビットグレースケールピクセル値を含む。多数の旧式なバーコード解読およびOCR解読スキームは、単色グレースケールイメージデータ、またはグレースケールイメージデータから導き出される2値イメージデータ上で動作するよう設計されているので、単色イメージフレームの獲得における単色ピクセル250Mの選択的アドレッシングは、指標解読処理を受けるのによく適したフレームを生じる。もちろん、ある応用において、制御回路552はステップ1204でカラーイメージデータを含めデコードフレームのイメージデータを得ることができる。例えば、デコード回路1702がカラー符号化されたバーコードシンボルを解読するよう構成されている場合は、制御回路552はステップ1204で、カラーイメージデータを含むデコードフレームのイメージデータを得るのが有利である。
ステップ1204の実行において、制御回路552は、デコードフレームのイメージデータを得るにおいて、複数の代替的なプロセスを実行することができる。図14dのフロー図を参照して、ステップ1204で光学式リーダー100は、以上で記述されてきたただ1つのウインドウ表示のフレームのイメージデータを、単に獲得することができる。図14dのプロセスステップ1205によって示されるように、制御回路552は、イメージセンサアレイ182Aあるいはイメージセンサアレイ182Bのような、ハイブリッド単色/カラーイメージセンサアレイの単色ピクセル250Mを選択的にアドレスし、かつ、単色ピクセル250Mのみからイメージデータを読み出す、すなわち、単色ピクセル250Mのみからのイメージデータよりなるウインドウ表示のフレームのイメージデータを読み出すことによりプロセスステップ1204を実行することができる。
図14eのフロー図を参照して、デコードフレームステップ1204を得ることは、あるいは、ステップ1206と1207の実行により、実行することができる。ステップ1206で光学式リーダー100は、単色ピクセル250Mおよびカラー感受性ピクセル250Cを含むフレームのイメージデータを生成することができ、ステップ1207でイメージセンサアレイ182A、182Bは、ステップ1206で生成されたフレームのピクセル値を、グレースケール値に変換することができる。ステップ1206で生成されるフレームは、単一の露出期間の間に、イメージセンサアレイ182A、182Bのカラーおよび単色のピクセルを露出させ、イメージセンサアレイ182A、182Bのカラーおよび単色ピクセル250M、250Cの両方からイメージデータを読み出すことにより生成することができる。あるいは、ステップ1206で光学式リーダー100の制御回路552は、2つの連続したフレームであって、そこでは、第1の獲得したフレームは、カラー感受性ピクセル250Cのみからのイメージデータを含むウインドウ表示のフレームのイメージデータであり、第2の獲得したフレームは、単色ピクセル250Mのみからのイメージデータを含むウインドウ表示のフレームのイメージデータであるような、2つの異なるフレームからのイメージデータを結合することができる。
図14fのフロー図を参照して、光学式リーダー100はまた、ステップ1208およびステップ1209を実行することによって、ステップ1204でデコードフレームを得ることができる。ステップ1208で光学式リーダー100は、単色ピクセル250Mのみに対応するイメージデータを含むウインドウ表示のフレームのイメージデータを獲得し、ステップ1209で制御回路552は、ステップ1208で獲得したウインドウ表示の単色のフレームからの単色ピクセル値を利用して、イメージセンサアレイ182A、182Bのカラーピクセル位置に対応するピクセル値を補間することができる。例えば、制御回路552は、イメージセンサアレイ182A、182Bの各単色のピクセル位置のためのグレースケールピクセル値を含む図16aで示されたグレースケールピクセル値フレーム5202を獲得することができる。光学式リーダー100は、フレーム5202の任意の「欠落したピクセル」のカラーピクセル位置のために、単色ピクセル値を補間することができる。フレーム5202を参照して、フレーム5202は、図4a−7b(周期=2)にしたがって構成されたイメージセンサアレイ182Bからイメージデータを読み出すことを選択することにより獲得されたグレースケールフレームのイメージデータである。ピクセル位置 P11、P31、P51、P12、P22、P32、P42、P52、P13、P33、P63 ...は、個別のフレームイメージデータが、それから読み出されているイメージセンサアレイ182の 単色ピクセル250Mに対応するピクセル位置である。ピクセル位置P21、P41、P23、P43、...は、イメージセンサアレイ182Bの カラー感受性ピクセル250Cに対応する欠落したピクセル位置である。図16aに表されるフレームのイメージデータを参照して、光学式リーダー100は、カラーピクセル位置、例えば、位置P23のためのグレースケールピクセル値を、ピクセル位置P23に隣接する各ピクセル位置、およびカラーピクセル位置P23に隣接するコーナーである各ピクセル位置についてのグレースケール値を平均することによって計算することができる。例えば、図16aに表されるフレームを参照して、カラーピクセル位置P23のためのグレースケール値は、ピクセル位置P12、P22、P32、P13、P33、P14、P24、P34のピクセル値を、平均することにより補間することができる。「欠落したピクセル」位置P23のためのピクセル値はまた、8より多い隣接ピクセル位置を使用して補間することができる。また、コーナーで隣接するピクセルは、平均する際に、横、上、底の、隣接するピクセルより低く重み付けすることができる。1つの単純な平均方法において、4つの囲んでいるピクセルのみが平均される;すなわち、それについてグレースケール値を補間しようとしているピクセル位置の、上、下の両ピクセル、および2つの両横のピクセルである。まださらなる補間方法において、2つのピクセルのみが平均に用いられる;すなわち、補間しようとしているピクセルに隣接する、2つの側面に隣接するピクセル、およびの上、および下の、隣接するピクセルのいずれかである。線形バーコードシンボルの2次元イメージ表現は、もし、シンボルの表示が、0°の、あるいは180°の回転角度を持って方向づけられている(すなわち、シンボルが、右側に進む、あるいは、上から下に進む)のであれば、列に沿ったいくつかの連続するピクセル位置が、同様のグレースケール値を持つことが期待される。もし、シンボル表示が、90°の、あるいは280°の回転角度を持っているなら、ピクセル位置の行に沿ったいくつかの連続するピクセル位置が、同様のグレースケール値を持つことが期待される。したがって、シンボル表示における、バーの方向に走る隣接するピクセル位置のピクセル値を補間することは、補間のためにすべての囲むピクセル位置を利用することより、より真のエッジ情報を引き出すものと見ることができる。
本発明の1つの方法において、1対の水平に向いている走査ラインの間の相互関係は、1対の垂直に向いている走査ラインの間の相互関係とともに計算される。2つの相互関係の測定は、その後、比較される。もし、行走査ラインがより密接に関連づけられていれば、列の隣接するピクセルが補間のために選択される。もし、列走査ラインがより密接に関連づけられていれば、行の隣接するピクセルが補間のために選択される。(水平、または垂直の)一対の走査ラインのための、1次変分相関を計算する例示的なセットのコードが、テーブル1により表される。
Figure 0005824193
欠落したカラーピクセル位置値を、3つの方法(単純平均、1次変分相関、および単純相関)の1つにより補間する1つのセットのコードが、テーブル2、ここで、「M-set」は、ピクセルの単色セットを言う、に表される。

テーブル2
カラーピクセル位置に対応する欠落したピクセルを補間する例示的なコード

% MsetInterpolation: interpolates missing M-set pixels
%input I_Mset: M-set image
%input method: 1:first derivative correlation; 2:simple correlation; 3:
%simple averaging
%input p: sample period
%output Im: interpolated monochrome image
function Im=MsetInterpolation(I_Mset,method,p)
Isz=size(I_Mset);
%M-set topology
% Λ
% MMMMMMMMM
% MxMxMxMxM
% MMMMMMMMM
% MxMxMxMxM
%(MMMMMMMMM)
% v
Im=double(I_Mset);
m=Isz(1);
n=Isz(2);
%correlated averaging
for i=p:p:m
for j=p:p:n
ifi+1<=m&j+l<=n
if method==2
%simple correlation
if abs(Im(i-1,j)-Im(i+1,j))<abs(Im(i,j-1)-Im(i,j+1))
Im(i,J)=(Im(i-1,j)+Im(i+1,j))/2;
else
Im(i,j)=(Im(i,j-1)+Im(i,j+1))/2;
end
else if method==1
%first derivative correlation
if OneDcorrelate(Im(i-1,j-1:j+1),Im(i+1,j-1:j+1))>OneDcorrelate(Im(
i-1:i+1,j-1), Im(i-1:i+1,j+1))
Im(i,j)=(Im(i-1,j)+Im(i+1,j))/2;
else
Im(i,j)=(Im(i,j-1)+Im(i,j+1))/2;
end
else %method==3
%simple averaging
Im(i,j)=(Im(i-1,j)+Im(i+1,j)+Im(i,j-1)+Im(i,j+1))/4;
end
else if i+1<=m&j+1>n
Im(i,j)=(Im(i-1,j)+Im(i+1,j))/2;
else if i+1>m&j+1<=n
Im(i,j)=(Im(i,j-1)+Im(i,j+1))/2;
else if i+1>m&j+1>n
Im(i,j)=(Im(i-1,j)+Im(i,j-1))/2;
end
end
end
Im=uint8(Im);

[テーブル2終わり]
ステップ1210で光学式リーダー100は、ステップ1204で得たフレームのイメージデータを、バーコードシンボルデコード回路である指標デコード回路1702に、あるいは、指標デコード回路1702を含む自動識別回路1704に転送する。1つの実施形態において、デコード回路1702は、1次元および2次元バーコードシンボル、およびOCR文字をデコードする。自動識別回路1704は、1次元および2次元バーコードシンボル、およびOCR文字(デコード可能な指標)をデコードし、デコード可能な指標と、手書きの文字とを自動識別する。自動識別回路1704が手書きの文字情報の存在を認識するとき、自動識別回路1704は、ディスプレイ504、および/または、間隔を置いた装置150に、手書き文字イメージデータを表すイメージデータを自動的に出力する。指標デコード回路1702、および自動識別回路1704のさらなる詳細は、同時係属の、参照によって組み込まれる2005年3月11日に出願された米国特許出願第11/077,975号、および同じくここに参照によって組み込まれる2004年10月5日に出願された米国特許出願第10/958,779号に記述されている。
一般に、指標解読の正確さは、イメージセンサアレイ182A、182B内の単色ピクセルのパーセンテージの増加で増加することが予想される。イメージセンサアレイ182BがP=2、の周期を持つとして、イメージセンサアレイ182Bのピクセルの1行おきのピクセルは、すべて単色ピクセルである。これにより、すべて白黒のピクセルイメージセンサアレイを利用して得たフレームに比較し、性能の実質的な低下なしに、線形バーコードシンボルを解読する試みの間に、水平走査ラインを、P=2のイメージセンサアレイ182Bを利用して得たフレームのイメージデータの水平行のピクセル値を通って走らせることができる。線形バーコードシンボルを解読するために、制御回路552は、水平行のピクセル位置で定義された走査線のような走査線に沿ってイメージデータを読んで、シンボルのバーとスペースの相対幅を決定し、そののち、テーブルルックアップを通して該シンボルを解読し、バースペース情報に対応する解読された文字データのセットを決定することができる。
ステップ1212で制御回路552は、デコード回路1702、または自動識別回路1704からのデコードされた出力メッセージを受け取る。ステップ1212で制御回路552によって受けとられたメッセージは、例えば、解読されたバーコードメッセージ、あるいは解読されたOCR文字のセットである。ステップ1214において光学式リーダー100は、解読されたメッセージを出力する。ステップ1214で制御回路552は、解読されたバーコードデータ、および/または、解読されたOCR データを、図10に示されるようにディスプレイ504、または離れて配置された装置150に、あるいはリーダー100あるいはシステム145のデータ蓄積メモリ位置に、送る。
光学式リーダー100と通信し得る離れて配置された装置150の例は、図10に関連して示され、記述される。光学式リーダー100は、システム145の一部であり、リーダー100に加えて、他の、リーダー100'、100''のような離れて配置された装置、ネットワークアクセスポイント174、パソコン172、および中央サーバー176、これらはすべてリーダー100のハンドヘルドハウジング101から離れており、それらのすべてはバックボーン177を介してともに接続されている、からなるローカルエリアネットワーク(LAN)170内に含まれている。サーバー176は、順に、種々の離れて配置された装置150と通信しており、該装置は、リーダー100のハンドヘルドハウジング101と離れており、かつこれらからサーバー176までは、光学式リーダー100と通信している。サーバー176は、ゲートウェイ179、180およびネットワーク181を経由して、何マイルも何千マイルもローカルエリアネットワーク170から離れた第1のリモートローカルエリアネットワーク185に、かつ、これも何マイルも何千マイルも離れた第2のリモートローカルエリアネットワーク2170に接続されている。ネットワーク170は、供給元の倉庫内に位置している。ネットワーク2170は、配達目的地に位置している;そしてネットワーク185は、データ処理/データアーカイブ設備に位置している。ネットワーク185は、種々の光学式リーダー100、100'、100''、100Rにより集められたデータを要約するサーバー184内において、光学式リーダー100の使用によりアクセスすることのできる種々のウェブページを、集め、貯蓄し、維持するよう構成することができる。サーバー176は、代わりに、あるいは冗長的に、私的な通信ライン190を経由してリモートネットワーク185に接続することができる。IPネットワーク181は、インターネット、あるいは仮想私設網(VPN)であり得る。リモートLAN185は、パーソナルコンピュータ186、およびバックボーン191を経由して接続されたリモートサーバー184を含み得る。リモートLAN185はまた、無線通信アクセスポイント193を含み得る。リモートLAN185はまた、パーソナルデータアシスタント(PDA)189を含み得る。リモートLAN2170は、ゲートウェイ2179を介してIPネットワーク181に接続されたサーバー2176、バックボーン2177、アクセスポイント2174、PC2172、および光学式リーダー100、100R を含み得る。システム145は、ディスプレイの設備が整っている装置、例えば、装置100'、172、186、189が、自動的に、光学式リーダー100から受け取った、ビジュアルディスプレイカラーイメージフレームのイメージデータの解読されたバーコードメッセージデータのようなデータを、そのデータを受け取ったときに関連するディスプレイ1504上に表示するように構成することができる。
プロセス1200の全てのステップは、トリガー信号の受信に応じて自動的に実行される。プロセス1200のステップは、停止条件が満たされるまで継続する。停止条件は、例えば、トリガー216の開放より生成され得るトリガー停止信号の受信、あるいは所定数のバーコードシンボルの連続的なデコードであり得る。図14bのリターンライン1211によって示されるように、制御回路552は、イメージデータを繰り返して得て、停止条件が満たされるまで、その中のデコード可能な指標をデコードするよう試みることができる。
「欠落したピクセル」のピクセル位置のために単色ピクセル値を補間することは、本発明による単色/カラーハイブリッドイメージセンサアレイが、イメージセンサアレイ全体を通して分布した多くの数のカラー感受性ピクセルを含む場合は、特に有利である。図14bのフロー図と関連して以前に主張した他の例では、制御回路552は、ステップ1204で、単にイメージセンサアレイから「欠落したピクセル」ピクセル位置に何らのピクセル値を補間することなく、単色ピクセル250Mからイメージデータを読み出す、そこでは、リーダー100のイメージセンサアレイはイメージセンサアレイ182Aにしたがって構成されており、単色ピクセル250Mは完全なチェッカーボードパターンを形成している(イメージセンサアレイ182A内には、M×Nマトリックスの単色ピクセル内に「欠落した」単色ピクセル位置はない)、ことにより、デコードフレームのイメージデータを得ることができる。したがって、光学式リーダー100がイメージセンサ182Aを含む場合は、イメージセンサアレイ182Aから単色ピクセル250Mから任意のさらなる単色ピクセル値の補間をすることなくイメージデータを読み出すことにより、ステップ1204で、デコードフレームのイメージデータを、有利に得ることができる。
光学式リーダー100が図5g−5jに関連して説明されたバージョンの1つの線形バーコードシンボル最適化イメージセンサアレイ182Bを含む場合は、ステップ1204で、単色ピクセル値の補間なしにデコードフレームのイメージデータを得ることが役にたつであろう。図5g−5jに関連して示され記述されたイメージセンサアレイ182Bのバージョンにおいては、イメージセンサアレイ182Bは、少なくとも1つの白黒ピクセル2500Mの“ゾーン”と、少なくとも1つのカラー感受性ピクセル2500Cの“ゾーン”を含む。イメージセンサアレイ182Bの線形シンボルデコード最適化バージョンの単色ピクセル2500Mは、一般に、限定された数の行のピクセル(これは対角線の行であってもよい)に対し1つの小さい寸法を持つ長い1ラインの単色ピクセルよりなる。光学式リーダー100がイメージセンサアレイ182Bの線形シンボル最適化バージョンを含む場合は、任意の“欠落したピクセル”のピクセル位置をも持たない、減少したエリアのデコードフレームのイメージデータを、カラー感受性ゾーンのピクセル2500Cから何らのイメージデータをも読まないで、単色ゾーン2500Mのピクセルを選択的にアドレスし、単色ゾーン2500Mのピクセルからイメージデータを選択的に読み出すことにより得ることができる。より具体的には、光学式リーダー100がイメージセンサアレイ182Bの線形シンボルの最適化されたバージョンよりなる場合は、ステップ1204で制御回路552は、ステップ1204(図14b)で減少したエリアの単色フレームのイメージデータを得て、そののち、ステップ1210で該減少したエリアの単色フレームのイメージデータをデコード回路1702に転送することができる。減少したエリアフレームのイメージデータは、1つの応用を示す図11を参照して説明され、光学式リーダー100は、デコードされたバーコードデータ、およびイメージデータを、種々のバーコードシンボル、例えば、線形バーコードシンボル1266、および2次元バーコードシンボル1270を運ぶ包み1260から集めるよう利用されている。光学式リーダー100によって得られるフルエリアフレームのイメージデータは、図11の矩形ボーダー1276によって示されたシーンエリアを表す。イメージセンサアレイ182Bのすべてのピクセルからのイメージデータが読み出される場合は、フルエリアフレームのイメージデータが得られる。光学式リーダー100が減少されたエリアフレームのイメージデータを得る場合には、ダッシュ入りの境界1278により示されたような、減少されたシーンエリアを表す減少されたエリアフレームのイメージデータが得られる。図11の例では、光学式リーダー100は、図5gおよび5hに示されるような線形シンボル最適化がされたイメージセンサアレイ182Bの1つを組み込んでいる。減少したシーンエリア1278を表す減少したエリアフレームのイメージデータは、図5gと5hのバージョンの1つに従ったイメージセンサアレイ182Bの細いセンターライン単色ゾーン2500Mの単色ゾーンからイメージデータを読み出すことによって、得られる。光学式リーダー100が、ステップ1204で減少したシーンエリア1278を表す減少したエリアフレームのイメージデータを得るとき、該減少したエリアフレームのイメージデータは、減少されてはいるが、包み1260によって運ばれる線形バーコードシンボル1266の表示を含むに十分な大きさのものであることが、図11を参照して見られる。リーダー100のモジュール1802A(図8a)のような撮像モジュール1802は、照準パターン1838(図8d)が望まれる読み出し角でシーンエリア1278上に投射され、一方、照準光源160a、160b、および残りの光源160c−160tは、領域2500Mのピクセルが領域2500Mからのイメージデータの読み出しのために露出される間に同時にエネルギー供給されるように構成することができる。シーンエリア1278上に照準パターン1838、および照明パターン1830を同時に投射することは、領域2500Mのピクセルに対応するイメージデータの信号強度を改善する。細いラインが減少されたエリアフレームのイメージデータをステップ1210で受け取った後に、デコード回路1702は、線形バーコードシンボル1266のバーおよびスペースのバースペース幅を計算し、そののち、該シンボルの文字を、テーブルルックアップを通して決定することにより、細いラインが減少されたエリアデコードフレームのイメージデータを処理し、線形バーコードシンボル1266をデコードすることができる。さらなる側面において、光学式リーダー100は、照準パターン1838(図8d)が光学式リーダー100のフィールドビュー1276の中心にて水平に投射され、ステップ1204で得られた減少されたエリアイメージにより表されるエリア1278と一致するようになり、オペレータをして線形バーコードシンボル1266の表示を含むイメージを得ることを助けるよう構成することができる。ステップ1204で減少されたエリアデコードフレームのイメージデータを得るときの光学式リーダー100のフレームレートは、フルフレームのイメージデータを得るときの光学式リーダー100のフレームレートに比較し、実質的に低減することができる。したがって、そこでは、光学式リーダー100がステップ1204で、デコード回路1702に転送される減少したエリアフレームのイメージデータを得るような本発明の方法は、速い(「素早い」)デコーディングのために最適化される。ここで記述されたように、単色ピクセル250Mは、単色ピクセル250Mからの選択的な読み出しのために露出される間に、リセットすることができる。
図11の応用ビューをさらに参照して、シーンエリア1278をあらわす減少されたエリアフレームのイメージデータは、線形バーコードシンボル1266の完全な表現を含むのではないことが見られ、さらに、包み1260は、包み1260の郵便領域1268の一部である2次元バーコードシンボル1270のような付加的なバーコードシンボルを含む、あるいは運ぶことが見られる。もう1つの側面における本発明によれば、光学式リーダー100は、指標デコード回路1702が減少したエリアフレームのイメージデータの処理によって成功裏にバーコードシンボルを解読することができない場合、あるいは、制御回路552が多数のバーコードシンボルを検索し、デコードするようプログラムされている場合は、制御回路552は、ステップ1204でデコードフレームのイメージデータを獲得することを再実行するよう、リターンライン(図14b)を実行するよう構成することができる。しかしながら、制御回路552がステップ1204を2回目に実行するとき、制御回路552は、ステップ1204の第1の実行の間に得られたフレームにより表されるシーンエリアより大きいシーンエリアをあらわすフレームのイメージデータを獲得する。図11のダッシュ入りの境界1276により示された光学式リーダー100のフルフィールドビューを表すフルエリアのイメージデータフレームであってもよい。イメージセンサアレイ182Bのカラーゾーン2500Cがベイヤーパターンで分布されている場合は、制御回路552は、獲得ステップ1204の第2の実行の間に、2500Cのイメージセンサアレイのカラー感受性ゾーンの緑のピクセルからイメージデータを、選択的に読み出し、緑ピクセル値を利用して、緑でないピクセル位置での緑のピクセル値を、ステップ1204で得られるデコードフレームのイメージデータがすべて緑のピクセル値を含むよう、補間することができる。さらに、単色ゾーン2500Mに対応する欠落したピクセル位置は、ゾーン2500Mに対応するカラースケールピクセル値と、ゾーン2500Mを取り囲むピクセルのカラースケール値の間の関係に基づきスケールされる、ステップ1204の以前の実行の間に得られたイメージデータを利用して充たすことができる。ステップ1210において、より大きいエリアの緑のイメージデータは、指標デコード回路1702に転送される。指標デコードデータ1702は、ステップ1204の第2の実行の間に得られるイメージにおいて表され得る2次元バーコードシンボル1270のような、線形バーコードシンボル1266、およびすべて他のバーコードシンボルをデコードするように試みることができる。図11の応用ビューを参照して、イメージセンサアレイ182Bに最適化された線形シンボルデコードを組み込む光学式リーダー100は、エリア1278を表す小エリアイメージを利用する線形シンボル1266をデコードするよう試み、そののち続いて、シーンエリア1276を表すより大きいエリアフレームのイメージデータを利用して、2次元バーコードシンボル、例えば、シンボル1270をデコードするよう試みることができる。制御回路552が、減少したエリアフレームのイメージデータを得、デコードを試み、そののち続いて、より大きいフレームのイメージデータを得て、より大きいイメージを利用してデコードを試みる記述された方法は、図17bに関連して示され、記述されたように、「すべて白黒」のイメージセンサアレイ182Fを用いて実施することができることが見られる。光学式リーダー100が、図17bに示されるような、すべて白黒のイメージセンサアレイ182Fを組み込んでいる場合は、イメージデータ読み出しのために選択的にアドレスされている選択された単色ピクセル250Mのための露出期間の間に、ステップ1204で、減少されたエリアデコードフレームのイメージデータの読み出しのために選択されてはいない単色ピクセル250Mをリセットに設定することは、特に効果のあることである。
白黒ピクセル250Mは、カラー感受性ピクセル250Cより多くの光を送信する。従って、露出期間の間に、選択的にアドレスされていなくて問題の領域に隣接している単色ピクセル250Mをリセットすることは、リーダー100の全体の信号雑音比を改善する意味においてより大きな利益を持つことを予測できるであろう。
まださらに、図11の応用ビューを参照して、光学式リーダー100を、包み1260を表すビジュアルディスプレイカラーフレームのイメージデータを得るよう用いることは利点があるであろう。例えば、包み1260は、損傷したエリア1272を含む。包み1260に対応するビジュアルディスプレイカラーフレームのイメージデータを得ることは、包み損害を文書化する記録を作り出す。図12aの応用ビューを参照して、配達ルートに沿って数マイル離れて位置する異なる位置AおよびBに位置する、異なる光学式リーダー100、100Rは、包み1260が配達ルートに沿って運ばれるときの包み1260の物理的変形を文書化する。LAN170(図10)を含む位置Aにおける光学式リーダー100は、包み1260が位置Aに位置しているときの、ビジュアルディスプレイカラーフレームのイメージデータを得るよう動作することができる。さらに、カラーフレームは、包みバーコードシンボル1266における、デコードされた包み識別子であって、光学式リーダー100がバーコードシンボル1266を読むとき、これも自動的に遠隔サーバー184に送信される包み識別子によりインデックスされる、カラーフレームのイメージデータのデータベース187を持つ遠隔サーバー184に自動的に転送される。位置Bにおいて、遠隔光学式リーダー100、100R(図10)は、再びバーコードシンボル1266を解読し、包み1266を表すビジュアルディスプレイカラーフレームのイメージデータを獲得し、バーコード1266に対応する包み識別子、およびカラーフレームのイメージデータを自動的に遠隔サーバー184に転送するよう利用することができる。図12aの応用ビューを参照して、位置Bからリモートサーバー184に送信されるカラーフレームのイメージデータは、位置Aからリモートサーバーに送信されるカラーフレームのイメージデータ内には含まれない損傷した領域1272の表示を含むであろう。したがって、ある人(例えば、PC172でサーバー184のWebページを見ている人)は、包みが位置Aから位置Bに配達された間に、該包み1260への損傷が起こったことを決定することができる。図12bを参照して、光学式リーダー100はまた、位置Aから位置Bまで包み1260を運んだ配達車1282のカラー写真をとるよう利用することができる。図12bの例において、光学式リーダー100によって撮られた写真は、矩形1286で示されるフィールドビューを持つ。該フィールドビューは、包み1260、およびライセンスプレート1284を含み、配達車1282をカバーする。トリガー216は、バーコードシンボル1266、1267をデコードするために最初に活性化され、そののち、包み1260、および/またはライセンスプレート1284の写真を含む車1272の写真を撮るために、もう1回あるいは数回、活性化される。解読されたバーコードデータ、および多数のカラーフレームのイメージデータは、一つのトランザクションデータセットの中に、およびそののち、パケットベースの送信スキームを介してお互いに関連づけることができ、トランザクションデータセットは、PC172で表示可能な表示可能Web ページ内にデータを組織化することができる。ハンドヘルドハウジング101内に組み込むことのできる光学式リーダー100は、トランザクションデータセットのすべてのデータが、光学式リーダー100への単一のコマンド入力に応答して、リーダー100のユーザインタフェース(例えば、3170)を介して遠隔サーバー184に送られるよう構成することができる。写真撮像モード動作で動作している光学式リーダー100のさらなる側面は、図14c、14gと14hのフロー図を参照して記述される。
再び図14aのフロー図を参照して、光学式リーダー100が撮像モード動作で動作するよう構成されているとき、デジタル写真撮像プロセス1400が実行される。ステップ1100で、写真撮影モード動作が、例えば、「イメージ取り込み」アイコン3164(図9b)をクリックすることによって選択され、かつ、ステップ1104で写真撮影プロセス1400が実行される。
写真撮影プロセス1400のステップを参照して、光学式リーダー100はステップ1402で、例えば、リーダーの近傍にある目標に対するマニュアルトリガーの押下がセンスされること、あるいはシリアルコマンドの受信により、生成されるようなトリガー信号を受ける。ステップ1403で制御回路552は、複数の“テスト”、またはパラメータ決定フレームのイメージデータを獲得する。ステップ1403で獲得されるフレームのイメージデータは、ビジュアルディスプレイのための出力ではない;しかしむしろ、動作パラメータ(露出設定、ゲイン照明)を決定するために処理される。代わりに、ステップ1404は避けることができ、制御回路552は、代わりに、過去のイメージ取り込み動作の間に得られた動作パラメータをロードすることができる。ステップ1404で制御回路552は、「ビジュアルディスプレイ」イメージフレームのイメージデータを得る。ビジュアルディスプレイカラーフレームのイメージデータは、ディスプレイ上でのビジュアルディスプレイのために生成されるものであり、複数のフレームのピクセル位置の各ピクセル位置のための3つのカラースケール値を含むことができる。得られた後のビジュアルディスプレイフレームは、イメージのビジュアルディスプレイのためのディスプレイに、あるいは、未来のディスプレイのためのメモリ位置に送られる。図14cの実施形態において、ステップ1404で得られるイメージデータは、デコード回路1702には、転送されない。
取得ステップ1404で獲得されるイメージは、図15a−15eのタイミング図にしたがって獲得されるものである。もう1つの実施形態において、フレームのイメージデータの捕獲のためにイメージセンサICチップ1082に入力される制御信号は、照明制御タイミングパルス、例えば、パルス350を含まない。多くの応用において、撮像モードの間に光学式リーダー100によるイメージ獲得を受ける目標は、長い範囲のイメージであろう(イメージ獲得を受ける目標は、イメージリーダーから1ないし数フィートの距離にあるであろう)。光源160からの光は、長い範囲の目標に対応する獲得されたイメージ上に、ほとんど影響を持たない;これにより、1つの実施形態における光学式リーダー100は、ステップ1404で照明制御タイミングパルスを送らない。
しかしながら、応用によっては、カラーイメージデータの取り込みの間に、光学式リーダー100の照明強度を、単色イメージデータの取り込みの間の強度と比較して増大し、カラーフィルタ要素260R、260G、260B、260M、260Cの信号低下効果を補償することが望ましい。さらなる側面において、光学式リーダー100は、複数のオペレータが選択可能な構成設定を持つことができる。光学式リーダー100は、ボタン3150の起動が、その1つがキーボード508のキーの起動によって選択され得る一連のオプションを通してついたり消えたりするように構成することができる。テーブル3、そこでは、eは露出されること、gは利得、iは照明強度、に示されるように、構成設定の選択は、ステップ1204での単色イメージデータの読み出しの期間のリーダー100の撮像パラメータと、ステップ1404でのカラーイメージデータの読み出しの期間のリーダー100の撮像パラメータとの間の差を、結果として生じ得る。構成設定1は、単色読み出しと、カラーイメージデータ読み出し撮像パラメータとの間に差がない、基本設定である。構成設定2は、上記で記述されてきた。構成設定2によれば、ステップ1404で、カラーイメージデータの読み出しの間に照明はない。構成設定3もまた、上記で記述されてきた。 構成設定3によれば、照明強度は、カラーイメージデータの読み出しのために増大される。構成設定4によれば、単色イメージデータの読み出しのための照明強度は、増大することができる。例えば、ここで述べたように、照明パターン1830、および照準パターン1838は、ピクセルの単色ゾーン2500Mに対応する単色イメージデータの読み出しの間に、同時に投射することができる。構成設定5では、カラーイメージデータの読み出しのための露出時間が引き伸ばされ、構成設定6では、カラーイメージデータの読み出しのためのゲインが引き上げられる。構成設定3は、光学式リーダー100が長距離フラッシュ照明光源160、160Xを含む場合、あるいは、光学式リーダー100が近距離での撮像に用いられる場合、高度に有用である。

Figure 0005824193
ステップ1404での、ビジュアルディスプレイカラーフレームのイメージデータの獲得を実行することにおいて、光学式リーダー100は、いろいろな代替的なプロセスを実行することができる。図14gのフロー図を参照して、あるプロセスは、そこでは、光学式リーダー100が、カラー感受性ピクセル250Cのみから読み出されたイメージデータを利用して、ビジュアルディスプレイカラーフレームのイメージデータを得ることが記述されている。図14hのフロー図を参照して、あるプロセスは、そこでは、制御回路552は、イメージセンサアレイ182の単色ピクセルおよびカラー感受性ピクセルの両方からのイメージデータの読み出しにより得られるイメージデータを利用して、ビジュアルディスプレイカラーフレームのイメージデータを得ることが記述されている。
図14gのフロー図を参照して、制御回路552はステップ1405で、カラーピクセル250Cを選択的にアドレスし、かつ、イメージセンサアレイ182A、182Bのカラーピクセル250Cからイメージデータを選択的に読み出すことにより、ウインドウ表示のフレームのイメージデータを獲得する。ここで以前に記述したように、イメージセンサアレイ182A、182Bは、カラー感受性ピクセル250Cとは独立に、単色ピクセル250Mをリセットするための、別個のリセット制御格子を含み得る。ステップ1405では、カラー感受性ピクセルは、イメージデータの読み出しのために露出されるが、単色ピクセル250Mは、図15a−15dの、リセット制御タイミングパルス370、370'、370''、370'''の使用によってリセットされる。単色ピクセルをリセットするためのリセット制御タイミングパルス370、370'、370''、370'''を、カラー感受性ピクセル250、250Cの露出を制御するための露出制御タイミングパルス354、354'、354''、354'''に、調和させることは、光線が単色ピクセル250Mに入力することより生じるクロストークを、すなわち、電子拡散クロストークを削減することにより、かつ、単色ピクセル250Mを角度をもって通過する光線に起因するクロストークを低減することにより、低減させることができる。
ステップ1406で光学式リーダー100は、ステップ1405で獲得したカラーフィルタアレイイメージデータフレームを、デモザイク回路1706(図1e)に自動的に転送することができる。入力としてカラーフィルタアレイイメージデータフレームを得て、デモザイク回路1706は、ビジュアルディスプレイカラーフレームのイメージデータを出力する。ディスプレイ504がディスプレイ504の各ピクセルのための、赤、緑、および青の(RGB)信号を受信するように構成されたカラーディスプレイである場合は、デモザイク回路1706は、デモザイク回路1706によって出力されたフレームがディスプレイ504と両立できるように、ディスプレイ504の各ピクセルのためのRGBカラースケール値を生成することができる。カラースケール値は、例えば、データの、8ビット、10ビット、あるいは12ビットよりなる。ステップ1407において、光学式リーダー100は、デモザイク回路1706からビジュアルディスプレイカラーフレームのイメージデータを受け取る。
ステップ1404を実行する光学式リーダー100の特定の例は、図16bを参照して記述される。光学式リーダー100が、図2cおよび図5aに示されるようなベイヤーパターンカラーフィルタアレイを含むハイブリッド単色/カラーイメージセンサアレイ182A、182Bを含む場合は、光学式リーダー100は、図16bに示されるようなRGBベイヤーパターンフレームのイメージデータを読み出すことができる。リーダーイメージセンサアレイが、1280×1024のピクセルアレイを含み、アレイ182B内で、カラー感受性ピクセル250、250C(P=4)の320×256個のサブセットアレイ(P=4)が分散されたイメージセンサアレイ182Bによって与えられる場合は、光学式リーダー100はステップ1405で、320×256個のベイヤーパターンのピクセルを獲得する。デモザイク回路170は、図16bに示されるように、ベイヤーパターンフレーム1502を処理し、320×256個のカラーイメージを含むビジュアルディスプレイカラーフレームのイメージデータを出力し、そこでは、該フレームの各ピクセルは、赤カラースケール値、緑カラースケール値、および青カラースケール値を含む。このような実施形態において、デモザイク回路1706は、ベイヤーパターンカラーフィルタアレイイメージデータフレーム5204の各ピクセルのために、赤、緑、および青の値を補間する。図16bに示されるフレーム5204を参照して、光学式リーダー100は、単に、ピクセル位置P32 のカラースケール値を読むことにより赤ピクセル位置P32の赤の値を決定する。光学式リーダー100は、緑のピクセル位置P31、P22、P42およびP33の値を平均することにより、赤ピクセルP32のための緑の値を決定する。光学式リーダー100は、青のピクセル位置P14、P41、P23、P43の値を平均することにより、赤のピクセル位置P32のための青の値を補間する。赤、緑、および青の値は、必要に応じてピクセル値を補間する各ピクセル位置ごとに決定することができることが見られる。増加した処理スピードをもって、各ピクセル位置のための、赤、緑、または青のピクセルの補間のために、数ダースまたはそれ以上の取り囲むピクセル値を利用することが可能である。
もう1つの発明の側面において、各ピクセル位置のためのカラースケール値が補間されるその正確さは、カラースケール値補間プロセスにおいて単色ピクセル値を利用することによって向上することができる。フレーム5204の赤ピクセル位置P32を参照して、緑ピクセル位置P31、P22、P42、P33でのカラースケール値は、ピクセル位置P32 での緑カラースケール値を補間するために平均される。もう1つの方法において、位置P33、P22、P42、P33での単色値は、位置P32での緑ピクセル値の補間を向上するために利用される。位置P33、P22、P42、P33での単色ピクセル値は、以下で述べられる単色ピクセル補間方法の1つによる単色ピクセル値から補間される。そのとき、各ピクセル位置P32、P22、P42、P33でのカラースケール値は、補間されて位置での補間された単色ピクセル値と、補間計算に貢献する位置での単色ピクセル値との間の相違に等しい、デルタ(Delta)、という値だけ、オフセットされる。これにより、位置P32での緑のカラースケール値は、式Aによって計算される。
Figure 0005824193
ここで、Delta31=M(P32)−M(P31)、Delta22=M(P32)−M(P22)、Delta42=M(P32)−M(P42)、Delta33=M(P32)−M(P33)である。
同様に、位置P42 での青のカラースケール値は、式Bにしたがって補間される。
Figure 0005824193
ここで、Delta41=M(P42)−M(P41)であり、Delta43=M(P42)−M(P43)である。
単色ピクセル値を用いて、カラーピクセル位置のカラーピクセル値を補間する例示的なアルゴリズムは、「C‐セット」は、カラーピクセル値を言及し、「M‐セット」は、単色ピクセル値を言及する、テーブル4に示される。

テーブル4

単色イメージデータを利用してカラースケール値を補間するためのアルゴリズム

1) 補間のための各カラーピクセルCのために、欠落したカラーの近接するC‐セットピクセル値Ciを選択し、対応する近接するM‐セットピクセル値Miを選択する。 対応するM‐セットピクセル値MをカラーピクセルCに選択する。

2) let C=0

3) fori=1 to n nは近接するピクセルCiの番号である

4) C=C+Ci+M−Mi

5) end

6) C=C / n
ステップ1に関して、緑のピクセル位置において青か、あるいは赤の値が補間される2つの近接するカラーの、または「C‐セット」ピクセルが通常あり、かつ他の場合には、4つの近接するカラーピクセルがあることが、気づかれる。
もう1つの、ステップ1405および1406を実行する、光学式リーダー100の特定の例は、図16cを参照して記述される。リーダーイメージセンサアレイが、図5bに示されるような、1280×1024個のピクセルアレイ、およびシアン、紫紅色(Cy−Mg、あるいは「CM」)カラーフィルタアレイをもって形成された、周期P=4のカラー感受性ピクセルを含むイメージセンサアレイ182Bにより与えられる場合は、ステップ1405で、光学式リーダー100は、図16cに示されるように、カラーフィルタアレイフレーム5206を読み出す。カラーフィルタアレイフレーム5206は、320×256パターンの、Cy−Mgピクセル値を含む。デモザイク回路1706は、イメージデータフレーム5206を、ビジュアルディスプレイカラーフレームのイメージデータのようなディスプレイフレーム、そこでは、フレーム5206の各ピクセル位置は、赤、緑、および青の値の結合により表される、に加工することができる。Cy−Mgビジュアルディスプレイカラーフレーム5206を、各ピクセル位置の赤、緑、および青の値を含むイメージデータのフレームに加工するにおいて、光学式リーダー100は、まず、フレーム5206の各ピクセル位置のための、白、シアン、および紫紅色の値を計算する。ピクセル位置P53(図16c)のようなもともとのピクセル位置がシアンピクセルである場合は、シアンの値は直接シアンピクセルのピクセル値を読むことによって決定される。位置P53でのシアンピクセルのための紫紅色の値は、位置P52、P43、P63、P54(図16c)のような、取り囲むピクセル位置の紫紅色ピクセルの紫紅色値を利用した補間により、計算される。位置P35でのシアンピクセルのための白の値は、シアンピクセルP53を囲む単色ピクセル位置からのピクセル値を使って補間により計算される。図5bを参照して、単色ピクセル値を含む補足のフレームは、例えば、フレーム5206がカラーフィルタアレイのウインドウ表示のフレーム5206の各カラーピクセルのための白値を補間する目的で獲得される前、あるいは後に、獲得することができる。代わりに、ステップ1405で獲得されたカラーフィルタアレイフレーム5206は、各カラーピクセル値のために白値を補間する目的で単色ピクセルのイメージデータを含むことができる。白、シアン、および紫紅色の値がフレーム5206の各ピクセルについて計算されるとき、白、シアン、紫紅色値は、容易に赤、緑、および青の値に変換される。代わりに、ディスプレイ504は、ディスプレイ504の各ピクセルのための、白、シアン、紫紅色の信号に応答するように構成することができる。フレームの与えられたピクセルのための、1セットの、白、赤、および紫紅色の値を、1セットの、赤、緑、および青の値に変換するための1セットの変換方程式は、以下のように与えられる。

R=W−Cy (式1)

G=Mg+Cy−W (式2)

B=W−Mg (式3)
図14gのフロー図と比較して記述されたプロセスにおいて、もともとのカラーフィルタアレイフレームは、減少した空間解像度のイメージデータのビジュアルディスプレイカラーフレームに処理される(空間解像度の低下した320×256のビジュアルディスプレイカラーフレームのイメージデータは、1280×1024ピクセル解像度を持つ、ハイブリッド単色/カラーイメージセンサアレイを用いて生成される)。図14hを参照して、高い空間解像度のビジュアルディスプレイカラーイメージを生成するためのプロセスが記述される。図14hのフロー図と比較して記述されるプロセスにおいて、光学式リーダー100は、イメージセンサアレイ182Aあるいはイメージセンサアレイ182Bのようなハイブリッド単色/カラーイメージセンサから、単色ピクセル250Mおよびカラーピクセル250Cの両方からのイメージデータを、イメージセンサアレイの全体的なピクセル解像度に等しい、あるいはそのオーダーの空間解像度をもつビジュアルディスプレイカラーイメージを生成するにおいて利用する。
ステップ1408で制御回路552は、イメージセンサアレイのカラーピクセル250Cを選択的にアドレスし、かつ、カラー感受性ピクセル250Mからイメージデータを選択的に読み出すことによって、カラーフィルタアレイイメージデータフレームを獲得する。ステップ1408で取り込まれたフレームのイメージデータは、ウインドウ表示のフレームのイメージデータである。単色ピクセルに入る光から生じるクロストークを低減するために、イメージセンサアレイ182A、182Bの単色ピクセルは、露出制御タイミングパルス354、354'、354''、354'''が、ステップ1408でカラーフィルタパターンイメージフレームの取り込みのためにカラーピクセルを露出させるために印加される時点で、リセット制御タイミングパルス370、370'、370''、370'''によりリセットすることができる。
ステップ1409で制御回路552は、アレイ182A、182Bの単色ピクセル280Mを選択的にアドレスし、単色ピクセルから280Mを選択的に読み出すことにより、単色フレームのイメージデータを獲得する。ステップ1409で獲得されたフレームのイメージデータは、ウインドウ表示のフレームのイメージデータである。イメージセンサアレイ182のカラーピクセル250Cに入る光により生じるクロストークを低減するために、イメージセンサアレイ182のカラーピクセルは、露出制御タイミングパルス354、354'、354''、354'''がステップ1409で、単色の、代表的には、グレースケールの、または2値化されたイメージフレームの獲得のために単色ピクセルを露出させるよう印加される時点で、リセット制御タイミングパルス370、370'、370''、370'''を用いてリセットすることができる。
ステップ1410で制御回路552は、ステップ1408で獲得されたカラーフィルタアレイフレーム、およびステップ1409で獲得された単色イメージフレームの両方を、融合回路1708に転送する。融合回路1708は、カラーフィルタアレイイメージデータフレームおよび単色イメージデータフレームを入力として受け、それらを、高解像度ビジュアルディスプレイカラーフレームにイメージデータに処理する。
図14iを参照して、融合回路1708によって実行され得る単色イメージデータとカラーイメージデータの結合を、ビジュアルディスプレイカラーフレームイメージデータに処理する融合回路1708(図1e)により実行されるプロセス1440の例が、記述される。図1eを参照して説明されるように、融合回路1708は、実行可能なプログラムをストアするメモリ566とともに動作するCPU552により与えられる制御回路の結合により、物理的に実施することができる。図14iを参照して記述される特定のプロセスが、実質的に、均一の寸法のピクセルイメージセンサアレイ182Bを含む光学式リーダー100を用いて実行される。プロセス1440のステップ1442で、制御回路552は、カラーフィルタアレイイメージデータ、および単色グレースケールイメージデータを生成する。光学式リーダー100がイメージセンサアレイ182Bを含む場合は、制御回路552は、イメージセンサアレイ182Bから単色イメージデータとカラーイメージデータの両方よりなる単一フレームのイメージデータを読み出すことにより、ステップ1442を実行することができる。制御回路552はまた、連続的に、単色イメージデータよりなる第1の単色フレームを獲得し、そののち、カラーイメージデータよりなる第2のカラーフレームを獲得することにより、ステップ1442を実行することができる。制御回路552はステップ1442で、カラー感受性ピクセル250Cからカラーイメージデータを読み出すための露出期間の間に、単色ピクセル250Mをリセットに駆動することができる。ステップ1442でフレームの単色イメージデータを生成するとき、制御回路は、カラー感受性ピクセル250Cによって占められた「欠落したピクセル」位置のために、単色ピクセル値を補間することができる。
ステップ1446で制御回路552は、イメージセンサアレイ182Bのカラー感受性ピクセルのサブセットに等しい解像度を持つRGBイメージを生成する。RGBイメージにおいては、イメージの各ピクセルは、赤のカラー値、緑のカラー値、および青のカラー値により表される。ステップ1446で生成されたRGBイメージは、図14gと関連して記述された代わりのプロセスのステップ1407で、光学式リーダー100によって受け取られたビジュアルディスプレイイメージと同じ特徴を持つことができる。ステップ1442において取り込んだカラーフィルタアレイイメージが、ベイヤーパターンイメージである場合は、ステップ1446で生成されたRGBイメージは、ここに記述されるように、デモザイクルーチンを実行することによって得られる。ステップ1442において取り込んだカラーフィルタアレイイメージが、図2bおよび2dと関連して記述されたように、CMYイメージあるいはCMイメージ(シアンと紫紅色のみ)である場合は、ステップ1446で生成されたRGBイメージは、ここで式1、2、および3と関連して記述された変換プロセスの方法により、導き出される。さらに融合回路1708によって実行されるプロセス1440を参照して、制御回路552はステップ1450で、ステップ1446で生成されるRGBイメージのピクセル計算を、該カラーイメージのピクセルカウントがステップ1442で獲得される単色イメージのピクセルカウントに等しい(ステップ1442において、獲得された単色イメージからの単色ピクセルは、図16aで記述されるように、補間される)ように、拡張する。制御回路552がステップ1450を実行するとき、ステップ1442で生成された単色グレースケールイメージ、およびそのプロセスのステージでのカラーイメージは、各ピクセル位置、すなわち、単色イメージのピクセルがカラーイメージ内に対応するピクセル位置を有するよう、等しい数のピクセルを持つ。P=2の周期を持つイメージセンサアレイ182Bを参照して、カラー感受性ピクセルの4倍の単色ピクセルがある。したがって、P=2の周期を持つ、イメージセンサアレイ182Bでもって、制御回路552はステップ1450で、各ピクセルを2×2のピクセルブロックに拡張する。イメージセンサアレイ182Bが、P=3の周期を持つ場合は、制御回路552はステップ1450で、各ピクセルを3×3ピクセルブロックの中に拡張する。イメージセンサアレイ 182B がP=4の周期を持つ場合は、制御回路552はステップ1450で、各ピクセルを4×4ピクセルブロックに拡張する。ステップ1545で制御回路552は、拡張されたカラーイメージの各ピクセル位置のための、強度値Ic を計算する。ステップ1454で制御回路552は、以下の式による拡張されたカラーイメージの各ピクセル位置のための強度値を計算する。
Ic =0.299R+0.587G+0.144B (式4)
制御回路552はステップ1460で、そののち、各ピクセル位置での単色イメージ強度値Im、および拡張されたイメージカラー強度値Ic、を用いて、各ピクセル位置、(Px,Py)のための強度値デルタD、を計算する。制御回路552は、ステップ1460で、以下の式による、単色、および拡張されたカラーイメージの各ピクセル位置のための、強度値デルタを、計算することができる。
D(Px,Py)=Im(Px,Py)-Ic(Px,Py) (式5)
ステップ1464で制御回路552は、セットの式を用いて拡張されたRGBカラーイメージのRGBデータセットカラースケール値を、更新する。
R'(Px,Py)=R(Px,Py)+D(Px,Py) (式6)
G'(Px,Py)=G(Px,Py)+D(Px,Py) (式7)
B'(Px,Py)=B(Px,Py)+D(Px,Py) (式8)
ステップ1468で制御回路552は、(8ビットのグレースケールが使用される)255より大きいRGBデータセットカラースケール値を、トランケートする。制御回路552が255より大きいRGB値をトランケートした後、制御回路552はステップ1770で、イメージセンサアレイ182Bの全体的なピクセル解像度に等しい、またはほぼ等しい空間解像度を持つビジュアルディスプレイカラーフレームのイメージデータを出力する。ステップ1770でのビジュアルディスプレイカラーフレームのイメージデータ出力は、イメージセンサアレイ182Bの全体的なピクセルカウント(例えば、単色ピクセル、プラス、カラー感受性ピクセル)に等しい多くのRGBのデータセットを持つことができる。
ステップ1411で光学式リーダー100は、融合回路1708からイメージデータの高解像度のビジュアルディスプレイカラーフレームのイメージデータを受け取る。ステップ1411で受信されたビジュアルディスプレイカラーフレームのイメージデータは、イメージセンサアレイ182Bのピクセル解像度に等しい、またはそのオーダー上のピクセル解像度を含むことができる。光学式リーダー100は、融合回路1708がステップ1470で、ビジュアルディスプレイカラーフレームのイメージデータを出力するとき、ビジュアルディスプレイカラーフレームのイメージデータを、受け取ったものと見なすことができる。
プロセス1440を実行するとき、制御回路552は、高解像度のビジュアルディスプレイカラーフレームのイメージデータを生成するために、単色およびカラーイメージデータを融合する。図14jのフロー図を参照して記述される代わりのプロセスを実行するとき、制御回路552は、色再現が最適化されるような態様で、単色およびカラーイメージデータを融合する。
一般に、イメージセンサアレイ182A、182Bにおける、単色ピクセル250Mのパーセンテージを増大することは、指標デコードの正確さを増大し、一方、イメージセンサアレイのカラー感受性ピクセル250Cのパーセンテージ分布を増やすことは、色再現の正確さを増大させる。単色ピクセルの光透過率のために、単色ピクセルのより高いパーセンテージを持つイメージセンサアレイを利用して得られたイメージは、単色ピクセル250Mのより小さいパーセンテージを持つイメージセンサアレイを利用して得たイメージより、より高い信号雑音比を持つ。したがって、単色ピクセルのより高いパーセンテージを持つイメージセンサアレイを利用して得られたイメージは、しばしば、より高い詳細、および改善された全体的な視覚品質を生むものである。
もう1つの側面における光学式リーダー100は、図21に示す構造を組み込むことができる。図21において、図5eに示されるように、リーダーイメージセンサアレイ182Bの中央ピクセル2072は、単色ピクセル250Mのより高いパーセンテージ、すなわち、P=4の周期を持つが、外側ピクセルは、図5cに示され、記述されるように、単色ピクセル250Mのより低いパーセンテージ、すなわち、P=2の周期を持つ。イメージセンサアレイ182Bは、中央ピクセル2072が、増大したデコードの正確さを引き出すイメージデータを与えるよう最適化され、外側ピクセル2074が、増大したカラー再生の正確さを与えるように、最適化されるように構成される。
プロセス1400のさらなるステップを参照して、制御回路552はステップ1412で、ステップ1404で取得したビジュアルディスプレイカラーフレームのイメージデータを出力する。制御回路552はステップ1412で、オペレータによるビジュアルな観察のためにディスプレイ504に出力する、あるいは、フラッシュメモリ564の指定されたフレームメモリ蓄積位置のような、リーダー100の指定されたカラーフレーム蓄積メモリ位置に、あるいは、システム145の他のフレームメモリ位置に出力することができる。制御回路552がハンドヘルドハウジング101に組み入れられている場合は、制御回路552はまた、図10に示されるように、ステップ1410で、間隔をあけて配置された装置150にビジュアルディスプレイカラーフレームのイメージデータを送ることができる。間隔をあけて配置された装置150に1フレームのイメージデータを送るために、光学式リーダー100、間隔をあけて配置された装置150、およびそれらの間の通信リンクは、TCP/IP用プロトコルのうちの1つのプロトコルにしたがって、データパケットを送信することができる。さらに、光学式リーダー100は、ステップ1412で得られたビジュアルディスプレイカラーフレームのイメージデータを、適切のイメージファイル形式(例えば、.BMP、.TIFF、.PDF、.JPG、.GIF)にフォーマットすることができ、かつ、光学式リーダー100は、ファイル転送プロトコル(FTP)を用いて、ビジュアルディスプレイカラーフレームのイメージデータを、自動的に送信することができる。光学式リーダー100は、出力ステップ1212において、ビジュアルディスプレイカラーフレームのイメージデータを、メモリ566(ハンドヘルドハウジング101の中に組み込むことができる)にストアするとき、あるいは、ビジュアルディスプレイカラーフレームのイメージデータを、メモリ蓄積のために、間隔をあけて配置された装置150に送るとき、ビジュアルディスプレイカラーフレームのイメージデータを、適当なイメージファイル形式(例えば、.BMP、.TIFF、.PDF、JPG、.GIF)にフォーマット化することができる。光学式リーダー100はまた、.XML のような適当なマークアップ言語を利用してビジュアルディスプレイカラーフレームのイメージデータを送信することができる。図10を参照して、システム145は、間隔をあけて配置されたデバイス150に備えられたディスプレイが、光学式リーダー100からビジュアルディスプレイカラーフレームのイメージデータを受け取るとき、間隔をあけて配置されたデバイス150が、該受信したビジュアルディスプレイカラーフレームのイメージデータを、該装置に関連するディスプレイに自動的に表示する。
光学式リーダー100は、停止条件が満足されるまで、プロセス1400のすべてのステップがトリガー信号の受信に応答して自動的に実行されるように構成することができる。停止条件は、トリガー16のリリースによって生成されるようなトリガー停止信号の受信であってもよい。
図14a−14cの実施形態において、リーダー制御ボタンの2回の活性化が、指標デコードプロセスを実行するためになされ、かつ、リーダー制御ボタンの2回の活性化が、撮像プロセスを実行するためになされ、撮像プロセス(ボタン3162または、ボタン3164の1つの活性化は、リーダー100を構成するためであり、そののち、トリガー216のもう1つの 活性化は、メージを捕えるためである)を実行するためになされる。光学式リーダー100は、リーダー制御ボタンの1回の活性化で、指標デコードあるいは撮像を行うことができることが理解されるであろう。例えば、光学式リーダー100は、バーチャルボタン3162の活性化が、リーダー100をデコードするよう構成し、同時に、直ちにイメージ捕獲と解読を開始するようトリガー信号を生成するよう構成することができる。光学式リーダー100はまた、バーチャルアイコンボタン3164の活性化が、撮像のためにリーダー100を構成し、同時に、直ちにイメージ取り込みを開始するようトリガー信号を生成するよう構成することができる。
プロセス1200およびプロセス1400は、交代で実行することができるが、プロセス1200およびプロセス1400はまた、同時に実行することができる。例えば、制御回路552はステップ1204で、デコードフレームを得ることができるが、制御回路552はステップ1404で、ビジュアルディスプレイカラーフレームのイメージデータを獲得することができる。制御回路552は、カラーフレームのイメージデータを、ステップ1204で、デコードフレームとして得て、そののち、ステップ1212で、そのフレームをビジュアルディスプレイカラーフレームのイメージデータとして出力することができる。制御回路552はステップ1412で、ビジュアルディスプレイカラーフレームのイメージデータを出力し、同時に、該フレームのイメージデータを、デコード回路1702に転送することができる。一般に、リーダー100は、制御回路552がデコードフレームをステップ1204で得たときはいつでも、制御回路がそのフレームを後の処理のためにストアすることができ、該処理はビジュアルディスプレイカラーフレームのイメージデータを生成する処理を含み、該処理はこのような処理を遂行するための操作者入力コマンドに応答することができる。光学式リーダー100はまた、制御回路552が、ビジュアルディスプレイカラーフレームのイメージデータをステップ1404で得るときは、制御回路は、そのフレームをさらなる処理のためにストアすることができ、該処理はそのフレームをデコード回路1702、または自動識別回路1704に転送する処理を含むことができ、かつ、該処理はこのような処理を実行するためにオペレータ入力コマンドに応答することができる。
本発明のもう1つの実施形態は、図17a−17gを参照して記述される。図17a−17gの実施形態において、光学式リーダー100は、1対の撮像モジュール1802Dおよび1802Eを含む。撮像モジュール1802Dは、カラーイメージセンサアレイ182Dを持つカラー撮像モジュールである。カラーイメージセンサアレイ182Dは、赤、緑、または青のうちの1つの波長選択フィルタが各ピクセル上に配置されたベイヤーパターンカラーフィルタを含む。図17eに示されるような撮像モジュール1802Eは、1次元ソリッドステートイメージセンサアレイ182Eを持つ単色撮像モジュールである。図17a、17e、17f、および17g の実施形態における1次元の単色イメージセンサアレイ182Eは、単色(カラーフィルタのない)ピクセルのM×1(1行)アレイを含む。1次元イメージセンサアレイ182Eはまた、M×Nピクセルアレイ、ここで、M≫N、例えば、M×2(2行)のピクセルを含むことができる。
図17aの電気ブロック図に示されたリーダー100は、図1aの光学リーダー100において示されるのと同じ要素の多くを持っている。 すなわち、図17aの光学リーダー100は、CPUにより例において設けられる制御回路を含み、これは、EPROM562にストアされたプログラムデータの制御の下で動作する。制御回路552は、EPROM562に加えて、RAM560、およびフラッシュメモリ564を含むメモリユニット566と通信する。制御回路552はさらに、マニュアルトリガー216、ポインターコントローラー512、キーボード508、およびタッチスクリーン504Tのような種々のユーザ入力装置からの入力制御データを受ける。制御回路552はまた、カラーディスプレイ504に、解読されたアウトプットデータ、およびビジュアルディスプレイイメージデータのようなデータを、出力する。イメージデータを取り込むために、制御回路552は、イメージセンサアレイ182E、あるいはイメージセンサアレイ182Dを制御する。目標の1次元スライスイメージに対応する1次元イメージデータを獲得するために、制御回路552は、種々のイメージ取り込み開始制御信号を、1次元イメージセンサアレイ182Eに送る。 イメージ取り込み開始制御信号に応えて、イメージセンサアレイ182Eは、アナログイメージ信号を、信号処理回路591に送り、これは、種々の処理機能の中で、該信号を増幅し、該信号をアナログディジタルコンバータ592に供給する。アナログディジタルコンバータ592は、信号をデジタル形式に変換し、デジタルイメージデータをFPGA593に送り、これは、制御回路552の制御の下で、デジタル情報のRAM560への転送を制御し、ここで、単色イメージデータは制御回路552によるデコード処理のためにアクセスすることができる。カラーイメージデータの2次元のフレームを獲得するために、制御回路552は、適切なイメージ取り込み開始制御信号(例えば、露出、読み出し)をイメージセンサチップ1082に送る。FPGA580は、イメージセンサICチップ1082、1082Dからのデジタルイメージデータを受け、制御回路552の制御の下でカラーイメージデータのRAM560への転送を管理する。各モジュール1802D、1802Eのための照明アセンブリ104は、図15a−15eのタイミング図を参照して説明されるように、イメージ獲得の間に制御され得る。
図17a−17gに示された、光学式リーダーは、図17a−17gのフロー図に従って動作する。すなわち、アイコン3162、またはアイコン3164(図9b)を押すことによる等の適切な選択方法により、デコードモード動作、およびカラーイメージ獲得モード動作のうちの1つが、選択され得る。しかしながら、図17a−17gのデュアル撮像モジュールの実施形態においては、イメージデータを取り込むのに利用される撮像モジュールの実施形態は、どのモード(指標解読、または撮像)が選択されているかに依存する。もし、指標解読モードがステップ1100(図14a)で選択され、トリガー信号が受信されたときは、光学式リーダー100は、ステップ1102に進み、指標解読プロセス1200(図14a)を実行する。指標解読プロセス1200のステップ1204で、制御回路552は、解読フレームのイメージデータを得る。もし、撮像モード動作がステップ1100(図14a)で選択され、トリガー信号が受信されれば、制御回路552は、ステップ1404(図14c)に進み、ビジュアルディスプレイカラーフレームのイメージデータを得る。リーダー100が2つの撮像モジュール、1つは、カラーイメージセンサアレイ182、182Dをもつモジュール1802、1802Dのようなカラーであり、1つは、単色イメージセンサアレイ182、182Eをもつモジュール1802、1802Eのような単色である、を含む場合には、制御回路552がイメージ取り込みを始める制御信号をそれに送る特定のイメージセンサアレイ182は、光学式リーダー100がデコード動作モードにあるか、あるいは撮像モード動作にあるかに依存する。図17a−17gのリーダー100、および図14a、14bおよび14cのフロー図を参照して、リーダー100は、ステップ1204で、もし、リーダー100がデコードモード動作で動作していれば、イメージ取り込み開始制御信号を、カラーイメージセンサアレイ182、182Dには送らずに、イメージ取り込み開始制御信号を、単色1次元イメージセンサアレイ182、182Eに送って、イメージ取り込みを開始するようにする。リーダー100は、ステップ1404で、もしリーダー100が、撮像モード動作で動作していれば、どんなイメージ取り込み開始制御信号をも、単色イメージセンサアレイ182、182Eには送らないで、イメージ取り込み開始制御信号を、カラーイメージセンサアレイ182、182Dに送る。したがって、光学式リーダー100が、指標解読モードにあり、制御信号を受け取ったとき、単色フレームのイメージデータは、デコード回路1702(図10)によるさらなる処理のために、RAM560に送られる。光学式リーダー100が、撮像モードにあり、制御信号を受けるときは、カラーイメージは、RAM560に送られる。ベイヤーパターンイメージのカラーイメージは、ビジュアルディスプレイカラーフレームのイメージデータを生成するために、ここで記述されたようなモザイクプロセスを受け、そのビジュアルディスプレイカラーフレームのイメージデータは、制御回路552により、例えば、ディスプレイ504、および/または、システム145の指定されたメモリアドレス(すなわち、メモリ556または間隔をおいて配置されたメモリ150のようなもう1つのメモリ)に、および/または、システム145(図5)の間隔をおいて配置されたデバイス150のディスプレイ1504に出力され得る。
イメージモジュールが、図17a−17gの2つの撮像モジュールリーダーにより獲得されるとき、イメージ取り込みのタイプ(単色、またはカラー)は、選択された動作モードに依存する。指標デコードモードが選択されたとき、デコードプロセスによく適した単色グレースケールイメージが、獲得される。撮像モードが選択されるとき、ビジュアルディスプレイによく適したカラーイメージが獲得される。
デュアル撮像モードリーダーのさらなる側面は、図17b−17gを参照して記述される。図17bおよび17cは、図17a、17f、および17gに示されるリーダー100のハードウェアブロック598が、代わりのハードウェアブロックで置き換えられることを示している。図17b、図17aに示されるハードウェアブロックは、CCD1次元ソリッドステートイメージセンサアレイ182E、およびオフボード信号処理回路591を示し、アナログディジタルコンバータ592、およびFPGA593は、単色イメージセンサアレイ182Fを含むCMOSイメージセンサICチップ1082Fを含むハードウェアブロックにより置き換えられる。イメージセンサICチップ1082、1082Fは、イメージセンサICチップ1082、1082A、およびICチップ1082、1082Dに、チップ1082Fのイメージセンサアレイ182Fが、単色のピクセル250、250Mのみを含み、カラー感受性ピクセル250、250Cを欠いている点を除いて、類似している。図17cは、撮像アセンブリハードウェアブロック598が、レーザースキャンバーコードエンジン594および関連するデコード回路により置き換えられることができることを図示する。レーザースキャンバーコードエンジン594、および関連するデコード回路は、シンボル・テクノロジーズから入手可能な、SE923デコーディッドアウトスキャンエンジンとして知られているパッケージにおいて入手可能である。図17cの実施形態において、デコードプロセス1200のステップ1210、1212、1214は、デコード回路595により実施される。
種々のタイプのイメージセンサICチップを支持する例示的な撮像モジュールが図17dおよび17eに示される。図17dは、イメージセンサICチップ182Dをサポートする例示的な撮像モジュールを示す。撮像モジュール1082Dは、図8a−8dを参照して示され、記述される要素を、撮像モジュ−ル1082DはイメージセンサICチップ 182Dを含むことを除いて、およびさらに、ある光源は任意に削除されることを除いて、含む。撮像モジュール1082Eは、図8a−8eを参照して示され、記述される要素を、該撮像モジュール1082Eは、1次元単色イメージセンサチップ182Eを含み、およびさらに、照明ブロックのある特定の光源は、任意に削除されることを除いて、含む。モジュール1802Eにより、照準パターン1838(図8d)は、照準および照明パターンとして働く。さらに、ここでの撮像モジュールの照明アセンブリ104は、フラッシュ照明光源160、160X(図9a)を含むことができる。照明アセンブリ104に、フラッシュ照明を組み入れることは、特に役に立つことであろう、ここで、撮像モジュール1082は、主にビジュアルディスプレイカラーイメージの取り込みのために使われる。
種々の光学リーダーハウジングに組み入れられるデュアル撮像モジュ−ルリーダーの構成図が、図17fおよび17gを参照して、示され、記述されている。図17fにおいて、銃風の光学式リーダーが、2次元撮像モジュール1802Dおよびその中のサポートされた1次元単色撮像モジュール1082Eを持って示されている。図17gにおいて、携帯可能なデータターミナル(PDT)光学式リーダー100は、2次元画像処理モジュール1802Dと、その中に支持された1次元単色画像処理モジュール1802Eを持って示されている。該デュアルモジュールはまた、携帯電話ハウジング(図9c)およびパーソナルデータアシスタントハウジング(PDA)のような他のタイプのハウジングにインストールすることができる。図17fおよび17gにおいて、撮像モジュ−ル1802は、ハウジング101の内壁上に形成された、ストラット597によりサポートされている。リボンコネクター598を介して、各例におけるモジュ−ル1802は、プロセッサICチップ548を含む種々の電気要素を含む主な印刷配線基板599と通信する。
1つの応用において、図17a−17gの光学リーダー100は、次のように動作する。オペレータは、バーコードシンボル1266、1270を運んでいる包み1260(図11および12)のカラー写真を撮る。このような活性化は、例えば、ボタン3164およびそののちトリガー216を、あるいはボタン3164のみを押し下げることにより実行できる。オペレータはそののち、単色イメージセンサアレイ182E(あるいは代わりにイメージセンサアレイ182F、あるいはレーザー走査エンジン594)を活性化させ、バーコードシンボル1266、1270を解読させる。このような活性化は、例えば、ボタン3162を、そののちトリガー216を押し下げることにより、あるいは、ボタン3162のみを押し下げることにより、実行される。さらに、ハンドヘルドハウジング101内に組み入れられている、制御回路552は、包み1260を表すビジュアルディスプレイカラーフレームのイメージデータ、および、1つ以上のシンボル1266、1270に対応する解読されたメッセージを、リモートサーバー184(図10)に転送する。このような送信は、トリガー信号が受信されると自動的に行われるようにシステム145は構成することができ、または光学式リーダー100は、関連する写真データおよび解読されたバーコードメッセージデータが、光学式リーダー100のユーザインタフェースに入力されるユーザが開始したコマンドの受信に応答して送信されるよう構成することができる。
図1aに示されるリーダーの電気ブロック図をさらに参照して、種々の有用なリーダーの実施形態は、イメージセンサアレイを含むハードウェアブロック208の再構成によってもたらすことができる。図18aを参照して、図18aに示されるハードウェア要素を有する光学式リーダー100は、図18aに示され、かつこれに関連して記述されたイメージセンサアレイ182Cを含むよう修正することができる。図18aの実施形態において、光学式リーダー100は、シアン−紫紅色−黄色(CMY)カラーフィルタアレイ182Cを含む。イメージセンサアレイ182Cの各ピクセル250は、1つのカラーフィルタ要素;すなわち、シアンカラーフィルタ要素、紫紅色カラーフィルタ要素、あるいは黄色カラーフィルタ要素の1つを含む。黄色のカラーフィルタ要素は、(単色ピクセルの透過率に接近していく)優秀な光透過率 を持つ。さらに、図18aに示されるCMYカラーフィルタパターンにしたがって、イメージセンサアレイ182Cのすべてのピクセルのほぼ50%が黄色ピクセル(黄色の光波長感受フィルタ要素をもつピクセル)であることが見られる。図18aの特定の例において、シアン、紫紅色、黄色のピクセルを持つイメージセンサアレイ182Cは、緑のピクセルを持たない。しかしながら、シアン、紫紅色、黄色のピクセルを持つのに加えて、緑のピクセルを持つイメージセンサアレイが、利用可能である。イメージセンサアレイ182Cが、図14aに関連して記述された撮像モード/指標デコードモードフロー図に従って動作する光学式リーダー100に取り入れることができる。すなわち、図14bを参照して説明された指標デコードモード動作に駆動されるとき、CMYカラーイメージセンサアレイ182Cを含む光学式リーダー100は、デコードフレームイメージデータを得るものであり、一方、カラーイメージセンサアレイ182Cを含む光学式リーダー100が撮像モード動作に駆動されるとき、光学式リーダー100が、ここで図14cに関連して記述されたような、ビジュアルディスプレイカラーイメージフレームのイメージデータを得る。
本発明によれば、図18aに示されたCMYイメージセンサアレイ182Cを含む光学式リーダーは、どの動作モード(指標コード、または撮像)が選択されるかに依存する方法でイメージデータを得ることができる。CMYイメージセンサアレイ182Cを含む光学式リーダー100がステップ1204でデコードフレームのイメージデータを得る場合には、光学式リーダー100の制御回路552は、CMYイメージセンサアレイ182Cの黄色のカラーピクセルを選択的にアドレスし、CMYイメージセンサアレイ182Cの黄色のカラーピクセルからのみ、選択的にデータを読み出すことができる。さらにイメージセンサアレイ182Cを含むリーダーを参照して、制御回路回552はステップ1204で、イメージセンサアレイ182Cの紫紅色およびシアンピクセルに対応する欠落したピクセル値を補間することができる。欠落したピクセル位置を補間した後、制御回路552はステップ1210で、補間されたデコードフレームを、指標デコード回路1702または自動識別回路1704の1つに、転送することができる。
CMYカラーイメージセンサアレイ182Cを含む図18aに関連して記述された光学式リーダーのさらなる側面において、イメージセンサアレイ182Cは、黄色のピクセル(「Y」とラベルされる)をリセットするのと独立して、紫紅色ピクセル(「Mg」とラベルされる)とシアンピクセル(「Cy」とラベルされる)のリセットを有効とする別の、かつ独立したリセット制御信号を含み得る。したがって、イメージデータがステップ1204で黄色のピクセルから選択的に読み出されるとき、センサアレイ182Cの紫紅色ピクセルおよびシアンピクセルは、リセットに駆動されて、電子の拡散クロストークを削減し、かつ、紫紅色ピクセルおよびシアンピクセルを通してイメージセンサアレイ182Cに入り込むフォトンに起因するクロストークを低減する。
図14cのフロー図のステップ1404で記述されたビジュアルディスプレイカラーフレームのイメージデータを得ると、イメージセンサアレイ182Cを含む光学式リーダーがアレイ182Cのすべてのピクセルからイメージデータを読み出し、簡単なモザイクアルゴリズムをこれに適用して、イメージセンサアレイ182Cの各ピクセルのための単一のカラー値を、ここで、イメージセンサアレイ182Cの各ピクセルが3つのカラースケール値、例えば、シアンカラースケール値、紫紅色カラースケール値、および黄色カラースケール値、を含むデータセットによって表される、ビジュアルディスプレイカラーイメージに変換する。
制御回路552は、リーダーがCMYイメージセンサアレイ182Cを含むステップ1404で、CMYビジュアルディスプレイイメージをRGBビジュアルディスプレイイメージに、以下で述べるCMY−RGB変換プロセスを用いて変換する。
光学式リーダー100の性能は、光学式リーダー100が、ぴかぴかの表面(例えば、金属、ガラス、ラミネートされたもの、プラスチック、等)を持つ基板上に配置されたバーコードシンボル、または他の指標を読むよう動作する場合は、妨げられるかも知れない。基板sの高い反射性のぴかぴかの表面上に投射されるリーダー100の光源160から出る光線は、実質的に直接、全反射されてイメージセンサアレイ182上に投射される。「鏡のような」反射は、相当のパーセントの光が反射され、イメージセンサアレイ182上に向けられるようにする。光線は、光線が表面から、ほぼ入射角で反射されるとき、「鏡のようなアングル」で反射されると言われる。鏡のような反射は、イメージセンサアレイ182を飽和させ、解読の失敗を起こすことがある。図19a−cを参照して記述された光学式リーダー100は、鏡のような反射に起因して生じる読み出しエラーが減少されるように構成される。図19aに示され、関連して記述されるように、図1aに単色/カラーハイブリッドイメージセンサアレイ182Aを含むものとして示されるハードウェアブロック208は、図19aに、単色および偏光器フィルタのハイブリッドイメージセンサアレイ182Gを含むものとして示されるハードウェアブロック208で置き換えることができる。
イメージセンサアレイ182Gは、第1のサブセットの単色ピクセル250M、および第2のサブセットの光偏光ピクセル250Pを含む。イメージセンサアレイ182Gの光偏光ピクセル250Pは、図3cおよび6cのカラーピクセル図に示されるように、フィルタの位置260にある各偏光ピクセル250Pにて代表的に形成された光偏光フィルタ要素261(あるいは、「光偏光フィルタ」または単に、「光偏光器」とも言う)を含む。イメージセンサアレイ182G、182Hの光偏光フィルタ要素261は、光偏光ピクセル250Pの主体上に、堆積プロセスにより堆積することができる。イメージセンサアレイ182Gの光偏光フィルタ要素261は、適切に偏光された光源から生成され、鏡のような角度で反射された偏光された光線を、減衰するよう構成することができる。したがって、イメージセンサアレイ182G上に、偏光ピクセル250P上に、入射した偏光された光線は、実質的に減衰することができる;これにより、鏡のように反射された光線の光偏光ピクセル250Pからの生成されたイメージ信号に対する貢献を、低減することができる。
本発明によれば、イメージセンサアレイ182Gを含む光学式リーダー100は、光偏光ピクセルを選択的にアドレスし、光偏光ピクセル250Pからイメージデータを選択的に読み出し、イメージデータが鏡のような反射読み出し条件の間に得られることなく、バーコードまたは他の指標の成功的な読み出しを生じるようなデコードを受けさせるためのイメージデータを生成するよう、構成することができる。
図19bに言及して、光偏光イメージセンサアレイ182Gの斜視図が、アレイ全体を通して繰り返されるパターンを示す分解図とともに、示される。図19bのバージョンにおいて、光偏光フィルタ要素261を有する光偏光ピクセル250Pは、P=2の周期で、イメージセンサアレイ182Gの全体を通して一様に分布されている。光偏光ピクセル250Pはまた、イメージセンサアレイ182Gの全体を通して、図19bに示されるパターン以外の均一な、または実質的に均一な分布パターンで分布することができることが理解されるであろう。例えば、光偏光ピクセル250Pは、(単色/カラーハイブリッドイメージセンサアレイを示す図5dに関連して記述されたように)P=3の分布パターンで、あるいは、図5eに示される単色/カラーハイブリッドイメージセンサアレイに関連して図示されたように、P=4の周期を持つ分布パターンで、イメージセンサアレイ182Gの全体を通して分布されてもよい。
図9bの図を参照して、光学式リーダー100は、光学式リーダー100が、選択的に光偏光ピクセル250Pを選択的にアドレスし、光偏光ピクセル250Pのみからイメージデータを選択的に読み出すことによって、イメージデータを取り込むモードで動作することができる。光学式リーダー100は、減少した鏡のような反射読み出しエラーデコードモードを持つよう、構成されてもよい。光学式リーダー100は、ボタン3156が活性化されたとき、光学式リーダー100がトリガー信号を受信して、鏡のような反射を読み出す条件を起こすことなく、成功的な読み出しを生じることとなりやすいイメージデータを得るよう構成することができる。
図19cのフロー図を参照して、光学式リーダー100はステップ1902で、トリガー信号を受信し、減少した鏡のような反射読み出しエラーデコードモードでの動作を始めることができる。トリガー信号はオペレータにより制御ボタン3156の作動のような手動制御に従って受信されうる。制御回路552は、制御回路552が自動的に飽和条件のような所定の条件を自動的に感受するとき、ステップ1902でトリガー信号を受けるように構成することができる。制御回路552はステップ1902で、飽和条件が検出されたとき、光学式リーダー100が減少した鏡のような反射による読み出しエラーデコードモードでの動作を始めるよう通常のデコード動作の間に、ステップ1204(図14b)でのイメージデータの分析により、飽和条件が存在することを決定することができる。本発明の特定の実施形態においては、制御回路552は、単色イメージデータの平均白値が、所定のレベル以下であるとき、飽和条件が存在することを決定することができる。
ステップ1904で光学式リーダー100は、鏡のような反射読み出し条件デコードフレームのイメージデータを、得る。制御回路552は、ステップ1902で、鏡のような反射読み出し条件デコードフレームのイメージデータを、イメージセンサアレイ182Gの光偏光ピクセル250Pを選択的にアドレスし、かつ、光偏光ピクセル250Pのみからイメージデータを選択的に読み出すことにより、得る。光学式リーダー100に組み入れられ得るイメージセンサアレイ182Gのもう1つの側面において、イメージセンサアレイ182Gは、単色ピクセル250Mを別に、かつ、光偏光ピクセル250Pとは独立にリセットするための別のリセット制御線を含み得る。イメージセンサアレイ182Gは、イメージセンサアレイ182Gと関連して、特に図7aと関連して記述されたように、別個のセットのリセット制御線を持ち得る。
したがって、制御回路552が、光偏光ピクセル250Pからのイメージデータの読み出しのために、光偏光ピクセル250Pを選択的にアドレスするとき、制御回路552は、単色ピクセル250Mをリセットに駆動する。単色ピクセル250Mのリセットは、ここで記述されたように、光偏光ピクセル250Pを、露出させる露出期間と同期している。光偏光ピクセル250Pが露出されている間に、単色ピクセル250Mをリセットに駆動することは、電子拡散クロストークを削減し、イメージセンサアレイ182Gへのフォトンの侵入から生ずるクロストークを減少させる。
ステップ1904において、制御回路552は、欠落したピクセルの位置に対応するピクセル位置でのピクセル値を補間する。ステップ1906で制御回路552は、ステップ1904で得られた鏡のような反射読み出し条件デコードフレームのイメージデータを、指標デコード回路1702、または、自動識別回路1704に、図1eに関連して記述されたように転送する。
ステップ1908で制御回路552は、デコード回路1702、または、署名自動識別回路1704により出力されたデコード出力を受信する。ステップ1908で制御回路552は、デコードアウトされたデータを、例えば、デコードアウトされたデータを、オンリーダーディスプレイ504に、または間隔をあけて配置されたディスプレイ1504に転送することにより出力する、あるいは、デコードされたデータを、システム145(図10)の適切なメモリアドレス位置にストアする。
プロセスが図19cのフロー図を参照して記述されてきており、そこでは、制御回路552は、単色ピクセル250Mから単色ピクセルイメージデータを選択的に読み出しており、かつ光偏光ピクセル250Pからイメージデータを選択的に読み出している。単色/光偏光ハイブリッドイメージセンサアレイを含むイメージリーダーはまた、イメージセンサアレイ182Gからイメージデータを選択的に読み出すことなく、動作することができる。単色/光偏光ハイブリッドイメージセンサアレイ182Gを組み込んでいる光学式リーダーは、図14a、14b、および14cのフロー図を参照して記述されたプロセスに従って、デコード可能な指標をデコードし、かつ写真を撮るよう動作することができる。デコードフレームのイメージデータを得る(ステップ1204、図14b)において、制御回路552は、単色/光偏光器ハイブリッドイメージセンサアレイ182Gのすべてのピクセルから、すべての単色ピクセル250Mおよびすべての光偏光器ピクセル250Pからのイメージデータを含むイメージデータを読み出すことができる。該フルフレーム単色および光偏光器ピクセルイメージデータはまた、2つのフレーム獲得ステップで得ることができる。ステップ1210において、制御回路552は、指標デコード回路1702、または自動識別回路1704に、ステップ1204で得た、フルフレームの単色および偏光されたピクセルイメージデータを転送することができる。もし、指標デコード回路1702、または自動識別回路1704が、デコードすることに失敗する、または手書きの文字の存在を、検出することに失敗すれば、制御回路552は、ステップ1210の後に、ステップ1210でもともと転送されたあるサブセットのフルフレームのイメージデータを転送することができる。すなわち、ステップ1210の後に、もしデコーディングまたは自動識別が失敗すれば、制御回路552は、デコード回路1702、または自動識別回路1704に、フルフレームのイメージデータから単色のイメージデータを選択的に抽出することによって、フルフレームイメージから抽出された減少した解像度のイメージを転送することができる。減少した解像度のフレームのイメージデータは、イメージセンサアレイ182Gの光偏光ピクセル250Pに対応するイメージデータだけを含む。デコード回路1702の解読する失敗、または自動識別回路の認識する失敗は、制御回路552により飽和条件が存在することの決定とみなされる。
ここで記述された単色/カラーハイブリッドイメージセンサアレイ(イメージセンサアレイ182A、または182Bのような)の要素は、単色/偏光器ハイブリッドイメージセンサアレイ182Gの要素と結合して単一のイメージセンサアレイとなることができる。図20aおよび20bは、第1のサブセットの単色ピクセル250M、第2のサブセットのカラー感受性ピクセル250C、および第3のサブセットの光偏光ピクセル250Pを含むイメージセンサアレイ182Hを示す。イメージセンサアレイ182Hは、単色ピクセル250Mの、カラー感受性ピクセル250Cの、および光偏光ピクセル250Pの、別々の、かつ独立したリセットを可能とするための3つの別々のセットのリセット制御線を含むことができる。イメージセンサアレイ182Hは、図1aに示されるように、ハンドヘルド光学式リーダー100内に組み入れることができ、かつ、ハードウェアブロック208の代わりに置き換えることができる。イメージセンサアレイ182Hを組み込んでいる光学式リーダー100は、光学式リーダーが単色ピクセル250Mのみからイメージデータを読み出すよう、単色ピクセル250Mを別にアドレスする動作モードを持つことができる。イメージセンサアレイ182Hを含む光学式リーダー100はまた、光学式リーダー100がカラー感受性ピクセル250Cを選択的にアドレスし、カラー感受性ピクセル250Cからイメージデータを選択的に読み出す動作モードをもつことができる。光学式リーダー100はまた、光学式リーダー100が光偏光ピクセル250Pを選択的にアドレスし、光偏光ピクセル250Pからイメージデータを選択的に読み出す動作モードをもつことができる。光学式リーダー100はまた、単色、カラー、および光偏光ピクセルイメージデータ(第1、2、または3のフレーム獲得ステップで得られる)を含むフルフレームのイメージデータを得、そののち、イメージデータを必要に応じたベースで利用することができる。例えば、もし該フルフレームイメージデータを利用する試みが失敗すれば、光学式リーダー100は、フルフレームイメージデータから光偏光イメージデータを選択的に抽出し、該抽出されたイメージデータをデコード回路1702に転送することができる。
一般に、イメージセンサアレイ182Hを含む光学式リーダー100は、通常の読み出し条件の下で、デコード回路1702に転送するためのデコードフレームのイメージデータを得るにおいて、白黒ピクセル250Mからイメージデータを選択的に読み出す。光学式リーダー100は、ビジュアルディスプレイカラーフレームのイメージデータを得るときに使用されるイメージデータを得るとき、カラー感受性ピクセル250Cからイメージデータを読み出す。光学式リーダー100は、光学式リーダー100が、鏡のような反射が存在すると感受するとき、あるいは、オペレータがオペレータ制御に従って光学式リーダー100を、低減された鏡のような反射読み取りエラーモード動作に駆動するとき、光偏光ピクセルからイメージデータを読み出す、あるいは1フレームのイメージデータから、ピクセル250Pに対応するイメージデータを抽出する。イメージセンサアレイ182Hを含む光学式リーダー100は、図14aに関連して記述された写真撮像および解読モードフロー図に従って動作することができ、かつ図19cに関連して記述された、低減された鏡のような反射読み取りエラーデコードモードデコードプロセスを実行することができる。
本発明による光学式リーダーの性能を向上するために、偏光フィルタを含むイメージセンサアレイ182G、182Hのようなイメージセンサアレイを持って、光学式リーダー100は、放射光学偏光器(これは、あるいは「光偏光フィルタ要素」あるいは「光偏光フィルタ」と呼ばれる)を組み入れることができる。例えば、リーダー撮像モジュール、例えばモジュール1802Aは、図8aに示されるように、回路基板1806の前に配置され得る、図8fに示されるような光学プレート1962を含むことができる。光学式プレート1962は、偏光するイメージセンサアレイ182G、182Hを利用してイメージを取り込むとき、選択的にエネルギー供給され得る光源160S、160Tからの光を偏光する光偏光器1963を含むことができる。光偏光器1963は、イメージセンサアレイ182G、182Hの偏光フィルタ要素261に関して直交して偏光されることができる。光学プレート1962は、光源160C−160Tにより収集される光線を拡散するための光学的拡散器(図示せず)のような他の要素を含むことができる。
指標解読回路モジュール1702、および自動識別回路モジュール1704は、図22a−22iを参照して記述される。指標解読回路1702(それは、バーコードシンボルデータフォームデコード回路でもあり得る)は、制御回路552により転送されたイメージデータを受けるとき、1次元あるいは2次元バーコードのようなデータフォームの存在を示す静穏ゾーン等のマーカーについて、イメージデータを検索する。もし、可能性のあるデータフォームが位置しているなら、解読回路1702は、イメージデータに、1またはそれ以上の指標解読アルゴリズムを適用する。図22aを参照して記述された回路(モジュール)のすべては、ハウジング101内に組み入れることができる。さらに、図22aの回路のすべては、制御回路552とメモリ566の組み合わせによって実施することができる。
光学式リーダー100はまた、自動識別回路1704を含む。図22aを参照して、自動識別回路1704は、相互に通信する、解読回路1702、およびイメージ処理および分析回路21208を組み入れている。
この実施形態に示されるように、イメージ処理および分析回路21208は、相互に通信する特徴抽出回路21212、一般化された分類化回路21216、署名データ処理回路21218、OCRデコード回路21222、およびグラフィックス分析回路21224を備える。加えて、図22aに示されるように、特徴抽出回路21212は、2値化回路21226、ライン間引き回路21228、および畳み込み回路21230を備える。
図22bは、図22aに示される自動判別回路を利用する、本発明の1実施形態を用いるプロセス21300を示す。プロセス21300は、光学式リーダーが、トリガー信号の受信のような作動イベントを記録し(ステップ21302)、ステップ21304でこれに応答して、光学式リーダー100で目標からのイメージデータを集める(得る)ことよりなる。イメージデータを集めるステップは、ステップ1204(図14b)にしたがったものである。収集後、イメージデータは、解読回路1702に転送される(ステップ21308)。データフォーム解読回路は、1次元あるいは2次元バーコードのようなデータフォームの存在を示す静穏ゾーン等のマーカーについて、イメージデータを検索する(ステップ21310)。もし可能性のあるデータフォームが位置しているなら、解読回路1702は、それに続くイメージデータに、1またはそれ以上のデータフォーム解読アルゴリズムを適用する(ステップ21314)。もしデコードの試みが成功すれば、光学式リーダー100は、デコードされたデータフォームデータを出力し(ステップ21318)、成功的な読み出しを、ビープトーン等の警報音によりシグナリング(ステップ21322)する。
1つの実施形態において、もしでデコードの試みが成功していなければ、イメージデータは、イメージ処理および分析回路21208に転送される(ステップ21326)。もう1つの実施形態において、イメージデータは、データフォームデータをデコードする試みと並行して処理され、1つのそのような実施形態において、最初に終わるプロセス(すなわち、データフォームデコードの試み、またはイメージ処理)は、そのデータ(すなわち、解読されたバーコード、または獲得された署名)を出力し、他の並行したプロセスは終了する。さらなる実施形態において、イメージデータはデータフォームの解読に応答して処理される。1つのそのような実施形態において、バーコードは、出荷ラベル番号のようなアイテム番号、および署名が獲得されるべきであることを示す情報を符号化している。
イメージ処理および分析回路21208内で、イメージデータは、特徴抽出回路21212によって処理される。一般に、特徴抽出回路は、イメージデータのテクスチャを示す数的な出力を生成する。上に示されるように、イメージデータのテクスチャは、該イメージデータに含まれるデータのタイプの特徴に関係する。共通のタイプのテクスチャは、1またはそれ以上の2次元バーコードテクスチャ、署名テクスチャ、グラフィックステクスチャ、タイプされたテキストテクスチャ、手書きテキストテクスチャ、図画またはイメージテクスチャ、写真テクスチャ等を含む。テクスチャの任意のカテゴリー内で、テクスチャのサブカテゴリーは、時々、識別することができる。
イメージデータの特徴抽出回路21212による処理の一部として、イメージデータは、2値化回路21226により処理される(ステップ21328)。該2値化回路21226は、局所閾値化およびそして目標イメージサイズ正規化により、グレイレベルイメージを2進イメージに2値化する。イメージデータが2値化されて、該イメージデータは多ピクセルの厚いラインセグメントを、単一ピクセルの厚いラインに減らすために、ライン間引き回路21228により処理される(ステップ21332)。2値化されたラインが間引きされたイメージデータを持って、該イメージデータは、畳み込み回路21230によって処理される(ステップ21336)。
一般に、畳み込み回路21230は、処理されたイメージデータに、本発明にしたがって設計された1またはそれ以上の検出器マップを畳み込み、イメージデータにおける種々のテクスチャ特徴を同定するようにする。1つの実施形態において、畳み込み回路21230は、各畳み込まれた検出器マップのために、一対の数、平均、および変分(または標準偏差)を生成する。図22cは、イメージデータ内に存在するカーブされた要素を検出するのに用いられる、122×3個の2進のカーブレット検出器マップ21250のセットを示す。カーブレット検出器マップ21250のおのおのは、イメージデータと重畳されているので、生成される平均値および変分は、カーブレット検出器マップ21250に類似した形状を有する2値化されたラインが間引きされたイメージデータにおける要素の存在または密度の示しを与える。各ピクセルマップは、1対の数を生成するので、12枚のカーブ検出器マップ21250は、合計24個の数を生成する。1つの実施形態によれば、これらの24個の数は、処理されたイメージデータのカーブした、または署名テクスチャを表すものである。
イメージデータのさらなる処理は、特徴抽出回路21212からの出力が、一般化された分類化回路21216内に供給される(ステップ21340)ことを含む。該一般化された分類化回路21216は、特徴抽出回路によって生成された数を、ニューラルネットワーク、平均エラー分類器、等への入力として用いる。これらのツールは、イメージデータを一般的なカテゴリー内に分類するのに使用される。ニューラルネットワークを用いる実施形態において、異なる動作最適化および特徴を達成するために、異なるニューラルネットワーク構成が、本発明にしたがって実施される。ニューラルネットワークを用いる1つの実施形態において、一般化された分類化回路21212は、24+12+6+1=43ノードの、前方供給(feedforward)、後方伝播多層ニューラルネットワークを含む。入力層は、12個のカーブレット検出器マップ21250を用いて、畳み込み回路21230により生成される12個の平均および変分出力についての24個のノードを持つ。本実施形態のニューラルネットワークにおいて、それぞれ12ノードと、6ノードの2つの隠された層がある。また、署名の肯定的、あるいは否定的存在を報告する1つの出力ノードがある。
ニューラルネットワークを用いるもう1つの実施形態において、図22d に示される20個のカーブレット検出器マップ21260は、畳み込み回路21230により使用される。示されているように、20個のカーブレット検出器マップ21260は、図22cのオリジナルの12個のカーブレット検出器マップ21250を含む。付加的な8ピクセルマップ21260は、署名に関する方向情報を提供するのに使用される。20個のカーブレット検出器マップ21260を使用する1つの実施形態において、一般化された分類化回路21212は、40+40+20+9=109ノードの、前方供給(feedforward)、後方伝播多層ニューラルネットワークである。入力層は、20個のカーブレット検出器マップ21260を用いて、畳み込み回路21230により生成される20個の平均および変分出力についての40個のノードを持つ。本実施形態のニューラルネットワークにおいて、40ノードと20ノードの、2つの隠された層があり、1つの出力ノードは、署名の肯定的、あるいは否定的存在を報告するためであり、8つの出力ノードは、署名の方向の度合いを報告するためである。8つの出力ノードは、28=256、の可能な方向状態を与える。それゆえ、方向角は、1.4度の増分で、0度と360度の間で与えられる。
いくつかの実施形態において、一般化された分類化回路21216は、カテゴリーの拡張されたコレクションの中にデータを分類することができる。例えば、いくつかの実施形態において、一般化された分類化回路21216は、イメージデータが、署名;データフォーム;手書きテキスト;タイプされたテキスト;機械可読テキスト;OCRデータ;グラフィックス;写真;イメージ;出荷積荷目録、船積み、IDカード、等のようなフォーム;指紋、指紋のようなバイオメトリクス、顔のイメージ、網膜のスキャン等、および/または他のタイプの識別子のような種々のデータタイプを含んでいるかどうかを特定する。さらなる付加的な実施形態において、一般化された分類化回路21216は、イメージデータがこれらのデータタイプの種々の組み合わせを含むかどうかを特定する。いくつかの実施形態において、一般的な分類化回路21216は、イメージデータが特定のタイプのデータを含むかどうかを決定する。1つのそのような実施形態において、イメージ処理および分析回路21208が、イメージデータ内における署名あるいはバイオメトリックのような特定のデータタイプの存在または不存在に依存して、肯定的な、または否定的な回答を出力する同定回路内に含まれている。
1つの実施形態において、署名の存在が一度確認され、かつその一般的な方向が決定されれば、イメージデータは署名データ処理回路21218に転送される(ステップ21344)。1つの実施形態において、署名データ処理回路21218は、イメージデータにおける署名の境界線を検出するために使われる。1つの実施形態において、署名の境界は、ヒストグラム分析を用いて検出される。図22eに示されるように、ヒストグラム分析は、署名の方向に対して定義された水平、および垂直方向に沿った一連の1次元スライスよりなる。1つの実施形態において、各1次元スライスについての値は、そのピクセルスライスに沿った黒(すなわち、ゼロ値の)ピクセルの数に対応する。いくつかの実施形態において、もしバーコードがひとつも解読されていなければ、そのときは、中央領域等のようなフルフレームのイメージデータのなんらかの特定された領域が署名分析のために獲得される。いったん完了されると、ヒストグラム分析は、イメージデータ内において、データ要素ピクセルの密度の2次元プロットを与える。署名の境界は、ある数の連続的なスライスについて達成されなければならない最小密度に関して決定される。1つの実施形態において、ヒストグラム分析は、ピクセル密度が前もって定められたカットオフ閾値以上に上昇するまで、水平、および垂直の両方向に内方にサーチを行う。署名データが不用意的に切り取られないよう、低いカットオフ閾値を使うのが通常である。
1つの実施形態において、署名の境界が決定されれば、署名データ処理回路21218は、イメージデータを切り取って、署名イメージデータを抽出する。1つのそのような実施形態において、切り取りは、イメージデータの署名を含まない一部分が削除された、修正されたイメージデータを生成するイメージ修正回路によって行なわれる。他の実施形態においては、種々の圧縮技術が、署名イメージデータのためのメモリ容量を減らすために使われる。1つのそのような技術は、ランレングス符号化による署名イメージデータの符号化を含む。この技術によれば、各スキャンラインについての、同様の2値化された値(すなわち、1または0の各ランの長さ)の各ランの長さが、ビットマップを再構築する手段として記録される。もう1つの符号化技術は、該署名イメージデータを、データ構造の要素がベクトルよりなるデータ構造として取り扱う。この符号化技術によれば、署名は、ベクトルの集まりに分解される。各ベクトルの長さおよび方向と結合した各ベクトルの位置は、もともとの署名を再構築するために使われる。1つのそのような実施形態において、符号化プロセスは、連続的なピクセルランのためのカーブが、特定の値を超えるときはいつでも、新しいベクトルを生成する。さらなる圧縮技術は、B-Spline カーブフィッティングを用いる。この技術は、カーブおよび大きさの問題を安定に解決する能力を持っている。
種々の実施形態において、署名イメージデータ、または署名イメージデータの圧縮された、または符号化されたバージョンは、専用の記憶装置上に局所的にストアされる。1つのそのような実施形態において、ローカル記憶装置は、コンパクトフラッシュ(登録商標)メモリカード等のような着脱可能な記憶装置であり得、以下により詳細に記述される。もう1つの実施形態において、署名イメージデータは、汎用メモリの揮発性の、または不揮発性の部分にストアされ、将来の時間にダウンロードされる。さらなる実施形態において、署名イメージデータは、獲得の時点、あるいはデータ収集セッションが完了した時のような後の時点で、有線または無線の手段により、送信することができる。
もう1つの実施形態において、署名データ処理回路21218は、ヒストグラム分析を行なわないが、しかし、一度署名の存在が決定されれば、単に、その全体イメージ、あるいは圧縮されたバージョンをメモリにストアする。処理時間をセーブするためのさらなる実施形態において、最初のイメージ分析は、より低い解像度イメージで行なわれる。一度署名の存在がこの実施形態で決定されれば、より高い解像度のイメージがとられる。1つの実施形態において、署名抽出ヒストグラム分析が、このイメージに対し行なわれる。次に、イメージは、圧縮された、またはオリジナルのフォーマットでメモリにストアされる。いくつかの実施形態において、イメージデータは、パッケージあるいは出荷封筒のような特定のアイテムでの記録を形成するよう他のデータと結合される。上記したとおり、光学式リーダー100によって集められ、署名データとともに、あるいは署名データと離れてストアされ得る付加的なデータのいくつかは、データフォーム、手書きテキストデータ、タイプされたテキストデータ、グラフィックスデータ、イメージあるいは写真データ、等を含むが、これらに限定されない。
その動作の一部として、イメージ処理および分析回路21208は、異なるデータタイプのために専門化されたタスクを行なうよう設計することができる。例えば、もし一般化された分類化回路21216が、イメージデータがタイプされたか、あるいは機械可読テキストを含むと決定するなら、イメージデータは収集され、可能であれば、ヒストグラム解析され、およびストアされることができ、あるいはイメージデータは、OCR解読回路21222に転送することができる。同様に、もし一般化された分類化回路21216がイメージデータがグラフィック要素を含むと決定するなら、イメージデータはグラフィックス分析回路21224に処理のために転送することができる。1つの実施形態において、グラフィックス分析回路21224は、あらかじめ定められたグラフィックスを認識し、デコードするように構成することができる。1つのそのような実施形態において、グラフィックス分析は、もしあれば、どのボックスが、請求および出荷指令において選択されたかを集荷ラベル上で決定することを含むことができる。さらなる実施形態において、グラフィックス分析は、郵便番号ボックス内に含まれるタイプされたか、あるいは手書きのテキストを出荷ラベル上に見つけて解読することを含むことができる。もう1つの実施形態において、光学式リーダー100は、特徴抽出回路21212の起動の前に、OCR解読あるいはグラフィックス解読のようなデータフォーム解読に加えて、デコード動作を自動的に試みるように構成することができる。
もう1つの実施形態において、イメージ処理および分析回路21208は、イメージデータを領域に分割し、かつ、各領域について、特徴抽出および一般分類分析を行なう。図22fに示される1つの実施形態において、標準的矩形イメージデータウインドウは、4つの同じサイズのサブ矩形に分割される。図22gに示されるもう1つの実施形態において、セグメント化は、セグメントされた領域の全体エリアがイメージデータの完全なフィールドのそれより大きいように重なる領域よりなる。図22gにおいて、各同定数字が、その領域の真ん中に示されている7つの重なる領域がある。図22hおよび22iに示されるさらなる実施形態において、分割はイメージデータの完全なフィールド内のサンプル領域(クロスハッチされている)よりなる。もう1つの実施形態において、サンプルされた領域は、例えば、署名領域および/またはバーコード領域のような問題の領域を、例えば、出荷ラベルにおいて識別する、事前にロードされたユーザーテンプレートに基づくことができる。
1つの実施形態において、分割プロセスは、バーコードデータフォーム、テキスト、グラフィックス、イメージ、などを含むデータフォーム等の追加要素を含み得る、イメージデータにおける署名の位置を同定するために用いられる。1つのそのような実施形態において、一般化されたクラス化回路21216は、分割されたイメージデータの各領域の内容を分類する。署名を含んでいる領域は、そののち署名データ処理回路21218によって抽出される。1つの実施形態において、複数の領域が署名データを含むとして示されるなら、署名データ処理回路21218は、イメージデータを最も含みそうな領域を特定するためにこれらの領域のアレンジメントを分析する。さらなる実施の形態において、複数の領域が署名データを含むとして示されるとき、イメージ処理および分析回路21208は、署名データを含むただ一つの分割された領域が見つけられるまで、追加的な分割された領域が生成されて、分析されるフィードバックループを確立する。
光学式リーダーによって実行され得る追加的なイメージ処理動作は、米国特許出願第10/958,779号、2004年10月5日出願、名称"System And Method To Automatically Discriminate Between A Signature And A Barcode"、において記述されており、その全体が、ここに参照によって組み入れられる。
ここまで記述された光学式リーダー100のいずれかによって実行され得る種々の応用が、図10、11、12a、および12bを参照して記述されてきた。ここで記述された光学式リーダー100により実行され得るもう1つの応用は、図13a−13eを参照して記述される。図13a において、配達車あるいは乗用車であり得るモーター車1282が示されている。車1282は、ライセンスプレート1314、車識別番号(VIN)ステッカー1306、代表的には運転手側ドアジャム上に位置する、を有する。VINステッカー1306は、印刷されたVIN番号1308、およびバーコードシンボル1310を載せている。VIN番号は、車の製造の時点で与えられる英数字のユニークな車識別番号である。車1282は、さらに金属プレート上にエッチングされているVIN番号の文字を運ぶ、かつ車の風よけの下に位置するVINプレート、および車登録ステッカーを含むことができる。車1282は、複数の機械可読可能な車識別子を持つ。 特に、ライセンスプレート1284の文字は、光学式リーダーでOCRデコードすることができる。さらに、VINステッカー1308は、VINバーコード1310、および登録ステッカー1320を持ち、これらは車登録番号を符号化し、かつ車1282のVIN番号をおそらくは冗長的に符号化する複数のバーコードシンボル1322、1324を含むことができる。VINプレート1314上にエッチングされた文字はまた、光学式リーダー100によるOCRデコーディングを受けることができる。金属プレート上にエッチングにより符号化された指標をデコードするとき、鏡のような反射読み取り条件がより一般的であるものとして、VINプレート1314を読むとき、光偏光フィルタ要素261を持つ光偏光ピクセル250Pを含む光学式リーダーを利用することは有利であろう。
光学式リーダー100を車1282に関して利用する応用において、車1282のいくつかの識別子がデコードされ、車1282のいくつかのカラー写真が撮られる。デコードされたメッセージデータは、カラー写真データとともに、そののち遠隔サーバー184(図10)にアップロードされ、これはアーカイブを行い、識別子および写真情報を要約する報告を含むアクセス可能なウェブページを作成する。1つの応用において、LAN170(図10)は、自動車保険クレームセンターにおけるLAN であり、LAN185は、自動車保険プロバイダによって動作せられる遠隔データアーカイブセンターであり、LAN2170は、LAN170およびLAN185から離れたLANであり、例えば、LAN170が位置しているクレームセンター以外の保険プロバイダのクレームセンターに位置し得るものである。
光学式リーダー100は、オペレータがボタン3158(図9b)のような指定されたユーザインタフェース制御ボタンを活性化させるとき、光学式リーダー100のオペレータがリーダー100内にデータを入力するのを助ける自動車保険適用フォーム1362がディスプレイ504上に表示されるように、構成することができる。フォーム1362は、最初にオペレータに車1282のいくつかの機械可読識別子を読むよう促す。フォーム1362は、オペレータに、VINバーコードシンボル1310を読むよう促し、そののちVINプレート1314の文字を、そののち第1登録ステッカーバーコードシンボル1310を、そののち第2登録ステッカーバーコードシンボル1324を、そののち、ライセンスプレート1284の文字を、読むように促す。各識別子に対応するデータが読まれるとき、各識別子に対応するテキストはハイライトされる。フォーム1362の識別子解読セクション1363に対応するデータを入力しようとするとき、光学式リーダー100は、トリガー216の活性化が光学式リーダー100をしてステップ1204で解読フレームを得て、該解読フレームを解読回路1702に転送するようにさせるよう解読モード動作中である。該デコードフレームは、ハイブリッド単色イメージセンサアレイ182、182Aから読み取った単色イメージデータを含むことができる。光学式リーダー100が、図17a−17gに関連して記述された別々の、撮像、およびイメージ解読アセンブリを持つ場合には、ステップ1204での解読フレームは、ブロック598(図17a)内での撮像アセンブリの活性化により得られる。解読された車認証標識情報の入力が完全であるときは、オペレータはライン1365側にトグルし、キーボード508の適切なキーをクリックして、認証標識の解読が完全であることを示す。フォーム1362は、そののちオペレータに、車1282への損害の記録を作る目的のために車1282の写真を撮るよう促す。本発明者は、光学式リーダー100のイメージセンサアレイ182内へのカラーフィルタ要素の組み込みが、車への損害を正確に記録するビジュアルディスプレイフレームのイメージデータを得ることを促進することを発見した。車1282に対応するビジュアルディスプレイカラーフレームのイメージデータがストアされ、および/またはビジュアルディスプレイのために表示されることにより、車1282への損害は、ビジュアルディスプレイフレームのビジュアル検査により、それがディスプレイ504、1504上に表示されたとき、容易に評価することができる。損害記録がカラーイメージデータで記録されるとき、例えば、車からはがされた塗料の量は、容易に視覚点検によって評価することができる。ディスプレイフォーム1362のセクション1364は、オペレータをして、車の数枚のカラー写真を撮るよう促す。フォーム1362の写真エントリーセクション1364が実行されているとき、光学式リーダー100は、トリガー216の操作がビジュアルディスプレイフレームのイメージデータがステップ1404(図14c)で得られるように、撮像モードにある。ビジュアルディスプレイフレームのイメージデータは、例えば、記憶装置、および/またはディスプレイ装置に出力される。書式セクション1364に対応するデータが入力されているとき、オペレータは、光学式リーダー100を、車1282の破損したエリア1370の数枚のカラー写真を撮るために使うことができる。獲得ステップ1404を実行している間に、制御回路552は、ここに記述されているようにカラー感受性ピクセル250Cからカラーイメージデータを選択的に読み出し、かつ、可能であればカラーイメージデータの情報内容の強調のために単色のイメージデータを利用する。光学式リーダー100が、図17a−17gに関連して記述された一対の撮像アセンブリを含む場合には、制御回路552はステップ1404で、獲得ステップ1404の実行のためにカラーイメージセンサアレイ182Dを作動させることができる。オペレータが、車1282のすべての必要な写真が線1367側にトグルし、キーボード508の適切なキーをクリックすることによって撮られたという確認を入力するとき、ハンドヘルドハウジング101内に組み込まれた制御回路552は、1つまたはそれ以上の適切なイメージファイル形式(例えば、.BMP、.TIFF、.PDF、.JPG、.GIF)で、イメージデータの得られたビジュアルディスプレイカラーフレームをフォーマットし、すべての解読された車認証標識データと車1282に対応するイメージデータ、およびビジュアルディスプレイカラーフレームのイメージデータのすべてを、トランザクションデータセットに集めて、かつ該トランザクションのデータセットを遠いリモートサーバー184に送るであろう。制御回路552が、送信に際してトランザクションデータセットに日付/時間のスタンプをするであろう。ファイル転送プロトコル(FTP)は、該トランザクションデータセット、および関連する解読された車識別子データ(デコードされたVINバーコードデータ、および解読車登録バーコードデータ等の)、およびカラーイメージデータを運ぶよう構成されたもう1つの適切なファイル転送プロトコルを送信するために利用することができる。サーバー184は、受け取ったトランザクションデータセットを、他のクレームセンターでの他の車からの同様の情報を含むデータベース187によって示されるようにデータベース内にセットして、ストアすることができる。サーバー184は、トランザクションセットデータ(例えば、日付 / 時間をスタンプされた結合されたVIN、登録番号、ライセンスプレートナンバー、およびイメージデータの損害ビジュアルディスプレイカラーフレームの記録等)を、要約している可視的なWebページを作成するように構成することができる。これらのWebページは、IPネットワーク、例えば、PC172とPC2172と通信する任意のPCを用いて見ることができる。
本発明は、必要により、多くの実施形態を参照して記述されたが、本発明の時間、精神、および範囲は、請求項を参照してのみ決定されるべきであることは理解されるであろう。
図1aは、単色/カラーハイブリッドのソリッドステートイメージセンサアレイを含む、本発明のハンドヘルド光学式リーダーの電気ブロック図である。 図1bは、本発明による光学式リーダーに組み込まれる、もう1つのイメージセンサアレイのブロック図である。 図1cは、本発明による、RF 通信回路を図示する模式図である。 図1dは、本発明による、ディスプレイを図示する模式図である。 図1eは、本発明による光学式リーダー内への、デコード回路、署名自動判別回路、デモザイク回路、および溶融回路の、組み入れを図解する模式図である。 図2aは、本発明によるソリッドステートイメージセンサアレイの実施形態の種々の部分の分解された上面図である。 図2bは、本発明によるソリッドステートイメージセンサアレイの実施形態の種々の部分の分解された上面図である。 図2cは、本発明によるソリッドステートイメージセンサアレイの実施形態の種々の部分の分解された上面図である。 図2dは、本発明によるソリッドステートイメージセンサアレイの実施形態の種々の部分の分解された上面図である。 図3aは、本発明の1実施形態による単色ピクセルの切断分解側面図である。 図3bは、図3aで見られるピクセルの上面図である。 図3cは、本発明の1実施形態における1つのカラー感受性ピクセルの 切断分解側面図である。 図3dは、図3cで見られるピクセルの上面図である。 図4aは、本発明によるイメージセンサの実施形態の電気ブロック図である。 図4bは、リセット制御線のイメージセンサアレイ内への組み込みを示す、本発明のイメージセンサアレイの電気ブロック図である。 図4cは、本発明による、調和された露光制御タイミングパルスおよびリセット制御タイミングパルスを図解するタイミング図である。 図5aは、本発明によるソリッドステートイメージセンサアレイの実施形態の種々の部分的な分解上面図である。 図5bは、本発明によるソリッドステートイメージセンサアレイの実施形態の種々の部分的な分解上面図である。 図5cは、本発明によるソリッドステートイメージセンサアレイの実施形態の種々の部分的な分解上面図である。 図5dは、本発明によるソリッドステートイメージセンサアレイの実施形態の種々の部分的な分解上面図である。 図5eは、本発明によるソリッドステートイメージセンサアレイの実施形態の種々の部分的な分解上面図である。 図5fは、本発明によるイメージセンサアレイを組み込んでいるイメージセンサICチップの、該アレイの全体を通して分布されたカラー感受性ピクセルの"クラスター”のピクセルパターンを図示する分解されたビュー部分を有する上面斜視図である。 図5gは、本発明による線形バーコードシンボル最適化イメージセンサアレイを組み込んでいるイメージセンサICチップの、単色ピクセルの"ゾーン”、およびカラー感受性ピクセルの"ゾーン”を図示するそれぞれの分解ビュー部分を上面斜視図である。 図5hは、本発明による線形バーコードシンボル最適化イメージセンサアレイを組み込んでいるイメージセンサICチップの、単色ピクセルの"ゾーン”、およびカラー感受性ピクセルの"ゾーン”を図示するそれぞれの分解ビュー部分を上面斜視図である。 図5iは、本発明による線形バーコードシンボル最適化イメージセンサアレイを組み込んでいるイメージセンサICチップの、単色ピクセルの"ゾーン”、およびカラー感受性ピクセルの"ゾーン”を図示するそれぞれの分解ビュー部分を上面斜視図である。 図5jは、本発明による線形シンボル最適化イメージセンサアレイを組み込んでいるイメージセンサICチップ斜視図である。 図6aは、発明の1実施形態による単色ピクセルの切断分解側面図である。 図6bは、図6aに示されるピクセルの上面図である。 図6cは、発明の1実施形態における1つのカラー感受性ピクセルの 切断分解側面図である。 図6dは、図6cに示されるピクセルの上面図である。 図7aは、本発明によるイメージセンサの1実施形態の電気的ブロック図である。 図7bは、イメージセンサアレイ内へのリセット制御線の組み込みを示す本発明のイメージセンサアレイの電気的ブロック図である。 図7cは、本発明によるイメージセンサアレイの第2のサブセットの行ピクセルをリセットするのと独立して、第1のサブセットの行ピクセルをリセットするための別のセットのリセット制御線を含むリセット制御システムの代替的な構成を示す模式的上面図である。 図7dは、本発明によるイメージセンサアレイの第2のサブセットの行ピクセルをリセットするのと独立して、第1のサブセットの行ピクセルをリセットするための別のセットのリセット制御線を含むリセット制御システムの代替的な構成を示す模式的上面図である。 図8aは、本発明による撮像モジュールの分解斜視図である。 図8bは、図8aに示される撮像モジュールの正面図である。 図8cは、図8aに示される撮像モジュールの側面図である。 図8dは、本発明による光学式リーダーによって投射される照明および照準パターンを示す図である。 図8eは、レーザーベースの照準パターン生成システムを組み込んでいる代わりの撮像モジュールの上面図である。 図8fは、例えば、図8aに示される、ここでの撮像モジュ−ルの部分、例えば、撮像ミドルとして含まれる偏光器プレートの正面図である。 図9aは、本発明による種々のハンドヘルド光学式リーダーの1つの物理的形態ビューである。 図9bは、本発明による種々のハンドヘルド光学式リーダーの1つの物理的形態ビューである。 図9cは、本発明によるハイブリッド単彩画/カラーイメージセンサアレイを組み込んでいる、かつ、本発明に従って構成され得るハンドヘルド移動電話(「携帯電話」)の斜視図である。 図10は、本発明による複数の光学式リーダーを含むシステムの模式図である。 図11は、本発明による光学式リーダーが、複数のバーコードシンボルを運ぶ包みを表すイメージデータを獲得するよう動作するものを図示する応用模式図である。 図12aは、本発明による第1の光学式リーダーと、本発明のよる第2の遠隔に配置された光学式リーダーが、包みの第1、および第2のデジタル写真を、ある距離離れた第1、および第2の位置で、包みが、第1の位置から第2の位置まで配達されるときに、損傷されたかを決定する目的で、撮るよう動作することを図示する応用模式図である。 図12bは、光学的リーダーが配達車のカラー写真を撮るために使われているのを図示するもう1つの応用模式図である。 図13aは、本発明による光学式リーダーが車のバーコードを読み、かつ、車のカラー写真を撮るのに使われるのを図示する、本発明による応用模式図である。 図13bは、図13aの車上に配置される VlNステッカーのビューである。 図13cは、図13aの車上で配置されるVlN プレートのビューである。 図13dは、図13aの車上に配置される車登録ステッカーのビューである。 図13eは、本発明による光学式リーダーが、バーコードシンボルを解読し、かつ車のカラー写真を撮るために利用される応用を支援するGUI形式を表示するようプログラムされる光学式リーダーのビューである。 図14aは、本発明を図示するフロー図である。 図14bは、本発明を図示するフロー図である。 図14cは、本発明を図示するフロー図である。 図14dは、本発明による光学式リーダーの指標デコードモード動作における動作の例を図示する追加的フロー図である。 図14eは、本発明による光学式リーダーの指標デコードモード動作における動作の例を図示する追加的フロー図である。 図14fは、本発明による光学式リーダーの指標デコードモード動作における動作の例を図示する追加的フロー図である。 図14gは、本発明による光学式リーダーの撮像モード動作における動作の例を図示する追加的フロー図である。 図14hは、本発明による光学式リーダーの撮像モード動作における動作の例を図示する追加的フロー図である。 図14iは、本発明による光学式リーダーの、単色およびカラーイメージデータをそりして高解像度ビジュアルディスプレイカラーフレームのイメージデータを生成する融合回路の、動作を図示するフロー図である。 図15aは、本発明を例証するイメージ取り込み開始信号タイミング図である。 図15bは、本発明を例証するイメージ取り込み開始信号タイミング図である。 図15cは、本発明を例証するイメージ取り込み開始信号タイミング図である。 図15dは、本発明を例証するイメージ取り込み開始信号タイミング図である。 図15eは、本発明を例証するイメージ取り込み開始信号タイミング図である。 図16aは、本発明による光学式リーダーによって取り込まれるピクセル化されたフレームのイメージデータを示す図である。 図16bは、本発明による光学式リーダーによって取り込まれるピクセル化されたフレームのイメージデータを示す図である。 図16cは、本発明による光学式リーダーによって取り込まれるピクセル化されたフレームのイメージデータを示す図である。 図17aは、複数の撮像モジュール持つ光学式リーダーの電気的ブロック図である。 図17bは、図17aの電気回路で利用され得る代わりのハードウェアブロック図である。 図17cは、図17aの電気回路で利用され得る代わりのハードウェアブロック図である。 図17dは、図17aのリーダーで利用され得る撮像モジュールを示す図である。 図17eは、図17aのリーダーで利用され得る撮像モジュールを示す図である。 図17fは、1対の撮像モジュールを組み込んでいる例示的な光学式リーダーを示す図である。 図17gは、1対の撮像モジュールを組み込んでいる例示的な光学式リーダーを示す図である。 図18aは、本発明による、本発明による光学式リーダーに組み入れられる、かつ、デコードフレームのイメージデータと、ビジュアルディスプレイカラーフレームのイメージデータとの両方を生成するよう制御されることのできるシアン−紫紅色−黄色(CMY)イメージセンサアレイの模式図である。 図19aは、本発明による光学式リーダーに組み入れられることのできるハイブリッド単色/偏光器イメージセンサアレイの模式図である。 図19bは、本発明によるハイブリッド単色/偏光器イメージセンサアレイの、イメージセンサアレイ全体を通して分布され得る光偏光ピクセルのパターンを図示する分解図部分を有する、上面斜視図である。 図19cは、本発明による、ハイブリッド単色/偏光器イメージセンサアレイを組み込んでいる、本発明による光学式リーダーの例示的な動作モードを図示するフロー図である。 図20aは、アレイの全体を通して分布された偏光ピクセルおよびカラー感受性ピクセルのパターンを図示する分解図部分を持つ、本発明による単色偏光器およびカラー感受性イメージセンサアレイの上面斜視図である。 図20bは、アレイの全体を通して分布された偏光ピクセルおよびカラー感受性ピクセルのパターンを図示する分解図部分を持つ、本発明による単色偏光器およびカラー感受性イメージセンサアレイの上面斜視図である。 図21は、2つの異なる周期でその中に配置されたカラー感受性ピクセルを持つイメージセンサアレイを組み込んでいるイメージセンサICチップの模式図である。 図22aは、本発明で利用され得る自動識別回路の模式的ブロック図である。 図22bは、異なるデータフォームタイプを自動的に識別することを含む本発明の原則を実施するプロセス図である。 図22cは、本発明で利用され得る複数のカーブレント検出器マップの1つの実施形態を示す図である。 図22dは、本発明で利用され得る複数のカーブレント検出器マップのもう1つの実施形態を示す; 図22eは、本発明の1実施形態において実行され得るヒストグラム分析の図表的表現の図である。 図22fは、本発明の実施形態によるイメージデータ分割プロセスの図表的表現の図である。 図22gは、本発明の実施形態によるイメージデータ分割プロセスの図表的表現の図である。 図22hは、本発明の実施形態によるイメージデータ分割プロセスの図表的表現の図である。 図22iは、本発明の実施形態によるイメージデータ分割プロセスの図表的表現の図である。

Claims (28)

  1. (a)2次元ソリッドステートイメージセンサアレイ、および該2次元ソリッドステートイメージセンサアレイのアクティブな表面上にイメージの焦点を合わせる撮像レンズよりなる撮像アセンブリであって、
    該2次元ソリッドステートイメージセンサアレイは、複数のピクセルを持ち、
    該2次元ソリッドステートイメージセンサアレイは、該2次元ソリッドステートイメージセンサアレイの第1のサブセットのピクセルが、波長選択性のカラーフィルタ要素を持たない単一色ピクセルであり、
    該2次元ソリッドステートイメージセンサアレイの第2のサブセットのピクセルが、そのおのおのが波長選択性カラーフィルタ要素を持つカラー感受性ピクセルであり、
    前記第2のサブセットのピクセルのカラー感受性ピクセルは、前記2次元ソリッドステートイメージセンサアレイの所定の領域を通して分布しており、該領域は、前記第1のサブセットのピクセルの単一色ピクセルと、前記第2のサブセットのピクセルのカラー感受性ピクセルの両方を持っている、撮像アセンブリと、
    (b)前記2次元ソリッドステートイメージセンサアレイを収容し、支持する把持可能なハウジングと、
    (c)前記撮像アセンブリに結合され、指標デコード回路に、画像データを転送するよう構成された第1の回路網と、
    (d)前記撮像アセンブリに結合され、前記2次元ソリッドステートイメージセンサアレイを利用して画像データのビジュアル表示カラーフレームを得るよう構成された第2の回路網と、
    を備え
    前記指標デコード回路へ転送される前記画像データは、画像データのデコードフレームであり、前記装置によって、前記第2のサブセットのピクセルから読み出した画像データを用いることなく、画像データの前記デコードフレームを取得する、ことを特徴とする、装置。
  2. 前記装置は、さらに、少なくとも1つの光源を含む照明アセンブリを持つ、請求項1に記載の装置。
  3. 前記把持可能なハウジングは、1つの指標デコード回路を組み込んでいる、請求項1に記載の装置。
  4. 前記第1の回路網、および前記第2の回路網は、前記把持可能なハウジングの中に組み入れられている、請求項1に記載の装置。
  5. 前記装置は、前記把持可能なハウジングから離れて配置された指標デコード回路を含む、請求項1に記載の装置。
  6. 前記複数のピクセルは、選択的にアドレス可能であり、かつ、少なくとも1つの動作モードにある前記装置は、前記単一色ピクセルを選択的にアドレスし、かつ、前記単一色ピクセルから画像データを選択的に読み出す、請求項1に記載の装置。
  7. 前記複数のピクセルは、選択的にアドレス可能であり、かつ、少なくとも1つの動作モードにある前記装置は、前記カラー感受性ピクセルを、選択的にアドレスし、かつ、前記カラー感受性ピクセルから、画像データを、選択的に読み出す、請求項1に記載の装置。
  8. 前記2次元ソリッドステートイメージセンサアレイの前記カラー感受性ピクセルは、間隔を空けて配置されたピクセル位置にある前記2次元ソリッドステートイメージセンサアレイの全体をとおして、均一に、または実質的に均一に分布されている、請求項1に記載の装置。
  9. 複数のピクセルを持つ2次元ソリッドステートイメージセンサアレイであって、該2次元ソリッドステートイメージセンサアレイは、前記2次元ソリッドステートイメージセンサアレイの第1のセットのピクセルが、カラーフィラメント要素をもたない単一色ピクセルであり、前記2次元ソリッドステートイメージセンサアレイの第2のセットのピクセルが、カラー感受性ピクセルであり、そのおのおのが、波長感受性フィルタ要素を含むよう構成された単一色およびカラー感受性のハイブリッドイメージセンサアレイであり、前記第2のサブセットのピクセルのカラー感受性ピクセルは、前記2次元ソリッドステートイメージセンサアレイの所定の領域を通して分布しており、該領域は、前記第1のサブセットのピクセルの単一色ピクセルと、前記第2のサブセットのピクセルのカラー感受性ピクセルの両方を持つ、2次元ソリッドステートイメージセンサアレイと、
    前記2次元ソリッドステートイメージセンサアレイを用いて得られた画像データを復号する指標デコード回路と、
    を備え
    前記指標デコード回路へ転送される前記画像データは、画像データのデコードフレームであり、前記装置によって、前記第2のサブセットのピクセルから読み出した画像データを用いることなく、画像データの前記デコードフレームを取得する、ことを特徴とする装置。
  10. 指標デコードデバイスに組み入れられた、請求項9の装置。
  11. (a)2次元ソリッドステートイメージセンサアレイ、および、画像を、前記2次元ソリッドステートイメージセンサアレイのアクティブな表面上に焦点合わせする撮像レンズよりなる撮像アセンブリであって、前記2次元ソリッドステートイメージセンサアレイは、複数のピクセルを持ち、前記2次元ソリッドステートイメージセンサアレイは、前記2次元ソリッドステートイメージセンサアレイの第1のセットのピクセルが、カラーフィラメント要素をもたない単一色ピクセルであり、前記2次元ソリッドステートイメージセンサアレイの第2のセットのピクセルがカラー感受性ピクセルであり、そのおのおのは、波長感受性フィルタ要素を含むよう構成された単一色およびカラー感受性のハイブリッドイメージセンサアレイであり、前記第2のサブセットのピクセルのカラー感受性ピクセルは、前記2次元ソリッドステートイメージセンサアレイの所定の領域を通して分布しており、該領域は、前記第1のサブセットのピクセルの単一色ピクセルと、前記第2のサブセットのピクセルのカラー感受性ピクセルの両方を持っている、撮像アセンブリと、
    (b)前記2次元ソリッドステートイメージセンサアレイを収容し、支持する把持可能な、ハウジングと、
    を備えた携帯可能なデータ収集装置であって、
    (c)前記携帯可能なデータ収集装置は、ユーザ選択可能な指標デコード動作モード、およびユーザ選択可能な撮像モードのおのおのにおいて動作されるように構成されており、
    (d)前記携帯可能なデータ収集装置は、前記指標デコード動作モードが選択され、トリガー信号が受信されたとき、前記2次元ソリッドステートイメージセンサアレイを画像データのデコードフレームを得るよう制御し、かつ、前記フレームの画像データを、指標デコード回路に自動的に転送し、
    (e)前記携帯可能なデータ収集装置は、前記撮像モードが選択され、トリガー信号が受信されたとき、前記2次元ソリッドステートイメージセンサアレイを1つのビジュアルディプレイのカラーフレームの画像データを得るよう制御し、かつ、前記ビジュアルディプレイのカラーフレームの画像データを自動的に出力し、
    前記指標デコード回路へ転送される前記画像データは、画像データのデコードフレームであり、前記装置によって、前記第2のサブセットのピクセルから読み出した画像データを用いることなく、画像データの前記デコードフレームを取得する、ことを特徴とする、
    携帯可能なデータ収集装置。
  12. 前記2次元ソリッドステートイメージセンサアレイは、前記単一色ピクセルは、該単一色ピクセルに対応する画像データが前記カラー感受性ピクセルに対応する画像データと独立して選択的に読み出されるよう、前記カラー感受性ピクセルとは独立して選択的にアドレス可能であるよう構成されている、請求項11に記載の携帯可能なデータ収集装置。
  13. 前記複数のピクセルは、選択的にアドレス可能であり、かつ、前記装置は、前記指標デコード動作モードにあるとき、前記単一色ピクセルを選択的にアドレスし、かつ、前記単一色ピクセルから画像データを選択的に読み出す、請求項11に記載の携帯可能なデータ収集装置。
  14. 前記2次元ソリッドステートイメージセンサアレイは、画素の市松模様パターンを含み、かつ、前記カラー感受性の第2のサブセットの画素の該画素は、前記2次元ソリッドステートイメージセンサアレイの間隔を空けて配置した位置にあり、かつ、該2次元ソリッドステートイメージセンサアレイの全体を通して、均一に、あるいは実質的に均一に分布されている、請求項11に記載の携帯可能なデータ収集装置。
  15. (a)2次元ソリッドステートイメージセンサアレイ、および画像を、該2次元ソリッドステートイメージセンサアレイのアクティブな表面上に焦点合わせする撮像レンズよりなる撮像アセンブリであって、前記2次元ソリッドステートイメージセンサアレイは、複数のピクセルを持ち、該2次元ソリッドステートイメージセンサアレイは、
    該2次元ソリッドステートイメージセンサアレイの第1のサブセットのピクセルが、波長選択性のカラーフィルタ要素を持たない単一色ピクセルであり、
    該2次元ソリッドステートイメージセンサアレイの第2のサブセットのピクセルが、そのおのおのが波長選択性カラーフィルタ要素を持つカラー感受性ピクセルであり、
    前記第2のサブセットのピクセルのカラー感受性ピクセルは、前記2次元ソリッドステートイメージセンサアレイの所定の領域を通して分布しており、該領域は、前記第1のサブセットのピクセルの単一色ピクセルと、前記第2のサブセットのピクセルのカラー感受性ピクセルの両方を持っている、撮像アセンブリを
    備えたデータ収集装置であって、
    (b)前記データ収集装置は、該データ収集装置が、前記2次元ソリッドステートイメージセンサアレイをデコードフレームの画像データを得るよう制御し、かつ前記フレームの画像データを指標デコード回路に転送するモードで動作し、
    前記指標デコード回路へ転送される前記画像データは、画像データのデコードフレームであり、前記装置によって、前記第2のサブセットのピクセルから読み出した画像データを用いることなく、画像データの前記デコードフレームを取得する、ことを特徴とするデータ収集装置。
  16. 前記画像データの前記デコードフレームの取得は、単一色のピクセル値を用いて、前記第2のサブセットのピクセルのピクセル位置に単一色のピクセル値を挿入することを含む、請求項1、9、11、15のいずれか一項に記載の装置。
  17. 前記画像データの前記デコードフレームの取得は、前記単一色ピクセルに対応する画像データを前記カラー感受性ピクセルに対応する画像データとは独立して前記2次元ソリッドステートイメージセンサアレイから選択的に読み出すように、前記カラー感受性ピクセルとは独立して前記単一色ピクセルに選択的にアドレスすることを含む、請求項1、9、11、15のいずれか一項に記載の装置。
  18. 複数のピクセルを持つ2次元ソリッドステートイメージセンサアレイであって、該2次元ソリッドステートイメージセンサアレイは、前記2次元ソリッドステートイメージセンサアレイの第1のセットのピクセルが、カラーフィラメント要素をもたない単一色ピクセルであり、前記2次元ソリッドステートイメージセンサアレイの第2のセットのピクセルが、カラー感受性ピクセルであり、そのおのおのが、波長感受性フィルタ要素を含むよう構成された単一色およびカラー感受性のハイブリッドイメージセンサアレイであり、前記第2のサブセットのピクセルのカラー感受性ピクセルは、前記2次元ソリッドステートイメージセンサアレイの所定の領域を通して分布しており、該領域は、前記第1のサブセットのピクセルの単一色ピクセルと、前記第2のサブセットのピクセルのカラー感受性ピクセルの両方を持つ、2次元ソリッドステートイメージセンサアレイと、
    前記2次元ソリッドステートイメージセンサアレイを用いて得られた画像データを復号する指標デコード回路と、
    を備え、
    前記2次元ソリッドステートイメージセンサアレイは、前記単一色ピクセルを、前記カラー感受性ピクセルが画像データ読み取りに露出されている間に、リセットに駆動することができるように構成されていることを特徴とする装置。
  19. 複数のピクセルを持つ2次元ソリッドステートイメージセンサアレイであって、該2次元ソリッドステートイメージセンサアレイは、前記2次元ソリッドステートイメージセンサアレイの第1のセットのピクセルが、カラーフィラメント要素をもたない単一色ピクセルであり、前記2次元ソリッドステートイメージセンサアレイの第2のセットのピクセルが、カラー感受性ピクセルであり、そのおのおのが、波長感受性フィルタ要素を含むよう構成された単一色およびカラー感受性のハイブリッドイメージセンサアレイであり、前記第2のサブセットのピクセルのカラー感受性ピクセルは、前記2次元ソリッドステートイメージセンサアレイの所定の領域を通して分布しており、該領域は、前記第1のサブセットのピクセルの単一色ピクセルと、前記第2のサブセットのピクセルのカラー感受性ピクセルの両方を持つ、2次元ソリッドステートイメージセンサアレイと、
    前記2次元ソリッドステートイメージセンサアレイを用いて得られた画像データを復号する指標デコード回路と、
    を備え、
    前記第1のサブセットの前記単一色のピクセルは、前記第2のサブセットの前記カラー
    感受性ピクセルよりより大きい寸法であることを特徴とする装置。
  20. 複数のピクセルを持つ2次元ソリッドステートイメージセンサアレイであって、該2次元ソリッドステートイメージセンサアレイは、前記2次元ソリッドステートイメージセンサアレイの第1のセットのピクセルが、カラーフィラメント要素をもたない単一色ピクセルであり、前記2次元ソリッドステートイメージセンサアレイの第2のセットのピクセルが、カラー感受性ピクセルであり、そのおのおのが、波長感受性フィルタ要素を含むよう構成された単一色およびカラー感受性のハイブリッドイメージセンサアレイであり、前記第2のサブセットのピクセルのカラー感受性ピクセルは、前記2次元ソリッドステートイメージセンサアレイの所定の領域を通して分布しており、該領域は、前記第1のサブセットのピクセルの単一色ピクセルと、前記第2のサブセットのピクセルのカラー感受性ピクセルの両方を持つ、2次元ソリッドステートイメージセンサアレイと、
    前記2次元ソリッドステートイメージセンサアレイを用いて得られた画像データを復号する指標デコード回路と、
    を備え、
    前記第1のサブセットの前記単一色ピクセルは、前記2次元ソリッドステートイメージセンサアレイの少なくとも1つの完全な行のピクセルを、拡張する単一色のゾーンのピクセルにおいて形成されていることを特徴とする装置。
  21. 前記2次元ソリッドステートイメージセンサアレイの所定の領域を通して分布しているピクセルの前記第2のサブセットのカラー感受性ピクセルは、前記領域を通して均一に分布している、請求項1、9、11、15、18,19、20のいずれか一項に記載の装置。
  22. 前記領域は、2次元ソリッドステートイメージセンサアレイの全体である、請求項1、9、11、15、16、18,19、20のいずれか一項に記載の装置。
  23. 前記2次元ソリッドステートイメージセンサアレイは、前記単一色ピクセルを、前記カラー感受性ピクセルが画像データ読み取りに露出されている間に、リセットに駆動することができるように構成されている、請求項1、9、11,15、18,19、20のいずれか一項に記載の装置。
  24. 前記第1のサブセットの前記単一色のピクセルは、前記第2のサブセットの前記カラー
    感受性ピクセルよりより大きい寸法である、請求項1、9、11、15、18,19、20のいずれか一項に
    記載の装置。
  25. 前記第1のサブセットの前記単一色ピクセルは、前記2次元ソリッドステートイメージセンサアレイの少なくとも1つの完全な行のピクセルを、拡張する単一色のゾーンのピクセルにおいて形成されている、請求項1、9、11、15、18,19、20のいずれか一項に記載の装置。
  26. 前記指標デコード回路は、バーコード復号回路である、請求項1から25のいずれか一項に記載の装置。
  27. 前記装置は、前記指標デコード回路を含み、前記指標デコード回路は、把持可能なハウジングに組み込まれている、請求項1から26のいずれか一項に記載の装置。
  28. 前記指標デコード回路が、自動識別回路であることを特徴とする、請求項1、9、11、15、18,19、20のいずれか一項に記載の装置。
JP2008500843A 2005-03-11 2006-03-07 単色およびカラーのハイブリッドイメージセンサアレイを持つデジタル画像取得光学式リーダー Active JP5824193B2 (ja)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US11/077,976 US7611060B2 (en) 2005-03-11 2005-03-11 System and method to automatically focus an image reader
US11/077,976 2005-03-11
US11/077,975 2005-03-11
US11/077,975 US7568628B2 (en) 2005-03-11 2005-03-11 Bar code reading device with global electronic shutter control
US68760605P 2005-06-03 2005-06-03
US60/687,606 2005-06-03
US69026805P 2005-06-14 2005-06-14
US60/690,268 2005-06-14
US69289005P 2005-06-22 2005-06-22
US60/692,890 2005-06-22
US69437105P 2005-06-27 2005-06-27
US60/694,371 2005-06-27
US11/174,447 2005-06-30
US11/174,447 US7780089B2 (en) 2005-06-03 2005-06-30 Digital picture taking optical reader having hybrid monochrome and color image sensor array
PCT/US2006/008113 WO2006098954A2 (en) 2005-03-11 2006-03-07 Digital picture taking optical reader having hybrid monochrome and color image sensor array

Publications (3)

Publication Number Publication Date
JP2008533590A JP2008533590A (ja) 2008-08-21
JP2008533590A5 JP2008533590A5 (ja) 2009-04-23
JP5824193B2 true JP5824193B2 (ja) 2015-11-25

Family

ID=36617027

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008500843A Active JP5824193B2 (ja) 2005-03-11 2006-03-07 単色およびカラーのハイブリッドイメージセンサアレイを持つデジタル画像取得光学式リーダー

Country Status (3)

Country Link
EP (5) EP4236341A3 (ja)
JP (1) JP5824193B2 (ja)
WO (1) WO2006098954A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101823238B1 (ko) * 2016-05-09 2018-01-29 삼성전기주식회사 이미지 센서

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7780089B2 (en) 2005-06-03 2010-08-24 Hand Held Products, Inc. Digital picture taking optical reader having hybrid monochrome and color image sensor array
US7568628B2 (en) 2005-03-11 2009-08-04 Hand Held Products, Inc. Bar code reading device with global electronic shutter control
US7611060B2 (en) 2005-03-11 2009-11-03 Hand Held Products, Inc. System and method to automatically focus an image reader
US7770799B2 (en) 2005-06-03 2010-08-10 Hand Held Products, Inc. Optical reader having reduced specular reflection read failures
US7784696B2 (en) 2006-06-09 2010-08-31 Hand Held Products, Inc. Indicia reading apparatus having image sensing and processing circuit
US7740176B2 (en) 2006-06-09 2010-06-22 Hand Held Products, Inc. Indicia reading apparatus having reduced trigger-to-read time
DE112006004127B4 (de) * 2006-11-09 2014-11-06 Opticon Inc. Kompakte Strichcode-Abtasteranordnung
US8403225B2 (en) 2006-11-17 2013-03-26 Hand Held Products, Inc. Vehicle license plate indicia scanning
US9183425B2 (en) 2009-04-09 2015-11-10 Hand Held Products, Inc. Image sensor pixel array having output response curve including logarithmic pattern for image sensor based terminal
US8295601B2 (en) 2009-08-12 2012-10-23 Hand Held Products, Inc. Indicia reading terminal having multiple exposure periods and methods for same
US8345117B2 (en) * 2010-06-30 2013-01-01 Hand Held Products, Inc. Terminal outputting monochrome image data and color image data
US8636215B2 (en) 2011-06-27 2014-01-28 Hand Held Products, Inc. Decodable indicia reading terminal with optical filter
WO2017144474A1 (en) 2016-02-23 2017-08-31 Koninklijke Philips N.V. Driving of an x-ray detector to compensate for cross scatter in an x-ray imaging apparatus
DE102016208409A1 (de) * 2016-05-17 2017-11-23 Robert Bosch Gmbh Sensormodul, Verfahren zum Ermitteln einer Helligkeit und/oder einer Farbe einer elektromagnetischen Strahlung und Verfahren zum Herstellen eines Sensormoduls
JP6908357B2 (ja) 2016-06-21 2021-07-28 株式会社ミツトヨ 位置特定装置及び位置特定方法
CN106506969B (zh) * 2016-11-29 2019-07-19 Oppo广东移动通信有限公司 摄像模组、通过其进行人像追踪的方法以及电子设备
EP3582642A4 (en) 2017-02-20 2021-01-13 3M Innovative Properties Company OPTICAL ARTICLES AND INTERACTING SYSTEMS
US20180300515A1 (en) * 2017-04-17 2018-10-18 Symbol Technologies, Llc Method and apparatus for accelerated data decoding
WO2019064108A1 (en) 2017-09-27 2019-04-04 3M Innovative Properties Company PERSONAL PROTECTIVE EQUIPMENT MANAGEMENT SYSTEM USING OPTICAL PATTERNS FOR EQUIPMENT AND SECURITY MONITORING
EP4248649A1 (en) * 2021-02-25 2023-09-27 Huawei Technologies Co., Ltd. Colour filter array for image sensor and image capture apparatus

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0199738A1 (en) * 1984-09-10 1986-11-05 EASTMAN KODAK COMPANY (a New Jersey corporation) Single-chip solid-state color image sensor and camera incorporating such a sensor
JPS63185285A (ja) * 1987-01-28 1988-07-30 Canon Inc 固体撮像装置
EP0698994B1 (en) * 1994-08-23 2000-02-02 Hewlett-Packard Company Sensor assembly providing gray scale and color for an optical image scanner
US6298176B2 (en) 1997-10-17 2001-10-02 Welch Allyn Data Collection, Inc. Symbol-controlled image data reading system
EP1152471A3 (en) * 2000-04-28 2004-04-07 Eastman Kodak Company Image sensor pixel for configurable output
US6821810B1 (en) * 2000-08-07 2004-11-23 Taiwan Semiconductor Manufacturing Company High transmittance overcoat for optimization of long focal length microlens arrays in semiconductor color imagers
JP4517493B2 (ja) 2000-10-18 2010-08-04 ソニー株式会社 固体撮像素子及びその信号処理方法
US6552323B2 (en) 2000-12-06 2003-04-22 Eastman Kodak Company Image sensor with a shared output signal line
JP2002300589A (ja) 2001-01-29 2002-10-11 Konica Corp 撮影装置
US20020158127A1 (en) * 2001-04-30 2002-10-31 Pulnix America, Inc. Matrix code reader
US7111787B2 (en) 2001-05-15 2006-09-26 Hand Held Products, Inc. Multimode image capturing and decoding optical reader
US6722569B2 (en) 2001-07-13 2004-04-20 Welch Allyn Data Collection, Inc. Optical reader having a color imager
JP4532800B2 (ja) * 2001-11-08 2010-08-25 キヤノン株式会社 撮像装置及びシステム
JP2003168084A (ja) * 2001-11-30 2003-06-13 Sanyo Electric Co Ltd 本人認証システム及び方法
SE523681C2 (sv) * 2002-04-05 2004-05-11 Integrated Vision Prod System och sensor för avbildning av egenskaper hos ett objekt
US6824059B2 (en) * 2002-04-30 2004-11-30 Hewlett-Packard Development Company, L.P. Apparatus for capturing images and barcodes
US20030222147A1 (en) * 2002-06-04 2003-12-04 Hand Held Products, Inc. Optical reader having a plurality of imaging modules
US20040196514A1 (en) * 2003-03-05 2004-10-07 Koji Tanimoto Image sensor unit
JP2004304706A (ja) 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
US7637430B2 (en) 2003-05-12 2009-12-29 Hand Held Products, Inc. Picture taking optical reader
JP2005057501A (ja) 2003-08-04 2005-03-03 Jcs:Kk 携帯通信端末及びそれを利用した通信システム
US7797505B2 (en) 2005-04-25 2010-09-14 Hewlett-Packard Development Company, L.P. Program stack handling
US7797508B2 (en) 2007-07-31 2010-09-14 International Business Machines Corporation Fair memory resource control for mapped memory
US10958779B1 (en) 2019-09-23 2021-03-23 Capital One Services, Llc Machine learning dataset generation using a natural language processing technique
US11077975B1 (en) 2020-04-08 2021-08-03 Barry Shipman Bundle tie tool

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101823238B1 (ko) * 2016-05-09 2018-01-29 삼성전기주식회사 이미지 센서

Also Published As

Publication number Publication date
EP3139593A3 (en) 2017-05-17
JP2008533590A (ja) 2008-08-21
EP1856652A2 (en) 2007-11-21
EP3920079B1 (en) 2023-06-28
EP4236341A2 (en) 2023-08-30
EP3139593B1 (en) 2021-08-18
WO2006098954A2 (en) 2006-09-21
EP1856652B1 (en) 2016-08-10
WO2006098954A3 (en) 2006-12-28
EP2364026A3 (en) 2011-11-09
EP3139593A2 (en) 2017-03-08
EP2364026A2 (en) 2011-09-07
EP3920079A1 (en) 2021-12-08
EP4236341A3 (en) 2023-09-20

Similar Documents

Publication Publication Date Title
US12001914B2 (en) Apparatus having hybrid monochrome and color image sensor array
JP5824193B2 (ja) 単色およびカラーのハイブリッドイメージセンサアレイを持つデジタル画像取得光学式リーダー
US9438867B2 (en) Digital picture taking optical reader having hybrid monochrome and color image sensor array

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090305

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121109

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20130321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130321

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130814

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20131011

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20131213

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20131218

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140212

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140217

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140908

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141208

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151009

R150 Certificate of patent or registration of utility model

Ref document number: 5824193

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250