JP5586919B2

JP5586919B2 - 移動検出装置および記録装置

Info

Publication number: JP5586919B2
Application number: JP2009250829A
Authority: JP
Inventors: 太智渡邉
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-10-30
Filing date: 2009-10-30
Publication date: 2014-09-10
Anticipated expiration: 2029-10-30
Also published as: US8619320B2; JP2011093242A; US20110102815A1

Description

本発明は、画像処理によって物体の移動を検出する技術、および同技術を採用したプリンタ等の記録装置の技術分野に関する。

プリント用紙等のメディアを搬送しながらプリントを行なう際、搬送精度が低いと、中間調画像の濃度ムラが生じたり、倍率誤差が生じたりして、得られるプリント画像の品質が劣化する。そのため、高精度な部品を採用し精密な搬送機構を搭載しているが、プリント品質に対する要求は厳しくさらなる精度向上が望まれている。一方ではコストに対する要求も厳しく、高精度化と低コスト化の両立が求められている。

これに対処するため、メディアの移動を高精度に検出して、フィードバック制御により安定した搬送を実現するために、メディアの表面を撮像して、搬送されるメディアの移動を画像処理によって検出する試みがなされている。

特許文献１は、このメディアの移動検出についての一手法を開示する。特許文献１は、移動するメディアの表面をイメージセンサにより時系列に複数回撮像し、得られた画像同士をパターンマッチング処理で比較して、メディアの移動量を検出するものである。以下、物体の表面を直接検出して移動状態を検出する方式をダイレクトセンシング、この方式を用いた検出器をダイレクトセンサと称する。

特開２００７−２１７１７６号公報

ダイレクトセンシングによる移動検出では、メディアの表面が光学的に十分に識別でき、固有のパターンが明瞭である必要がある。しかし、本願出願人は以下に示すような条件下ではパターンマッチング精度劣化を生じる場合があることを見出した。

第１画像（基準画像）において切り出すテンプレートパターンが固定位置であると、以下に列挙する問題が生じ得る。

（１）図１２は多数のマーカがランダムに刻印されている搬送ベルトの移動を検出する形態の例である。図１２の（ａ）のように第１画像のテンプレートパターン内に特徴的なマーカが多く含まれる場合は、パターンマッチングにより第２画像から同じ画像を識別することが容易である。しかし、図１２の（ｂ）のように、テンプレートパターンにマーカが１つしか入らず大部分は一様であると、第２画像において別のマーカの部分を誤検出してしまう畏れがある。この現象は、マーカの刻印密度が低くまばらである場合や、マーカに比べて大きな傷が付いている場合などに起きやすい。また、搬送ベルトではなくブランクのメディアの表面を撮像する形態においても同じ現象が起きやすい。

（２）表面凹凸の激しいメディアの表面を撮像する場合には、凹凸によって照明領域の一部照度ムラが生じたり、凹凸によって照明光が正反射を起こして撮像画像のコントラストが低下して、テンプレートパターンとして適切に使用できなくなる可能性がある。また、光源やイメージセンサの経年劣化で、照明領域に照度ムラが生じたりセンサの一部領域の光電変換が正常に行われなくなったりする場合も同様に、パターンマッチングの精度劣化の要因となり得る。

（３）図１２の（ｃ）のように、イメージセンサ上に付いたゴミをテンプレートパターンが含んでしまった場合。被写体が移動してもゴミの像は画像上で移動しないため、パターンマッチングの精度劣化の要因となり得る。

（４）レンズを用いてイメージセンサ上に結像する場合、図１２の（ｄ）のように、レンズの光学特性上起きてしまう像歪みの影響でテンプレートパターン内のマーカに歪みが生じる。とくに屈折率分布レンズを使用した際に像歪みが顕著であり、パターンマッチングの精度低下の要因となり得る。

本発明は、以上のように固定した位置でテンプレートパターンを切り出すとパターンマッチングの精度が劣化する場合がある、という課題の認識をもとになされたものである。本発明の目的は、画像データからテンプレートパターンを切り出す位置を適切に可変設定することができる手法の提供である。

上述の課題を解決する本発明の位置検出装置は、移動する物体の表面を撮像して、異なるタイミングで第１画像データおよび第２画像データを取得するのに用いられるイメージセンサと、前記第１画像データからテンプレートパターンを切り出し、前記第２画像データの中で前記テンプレートパターンと相関が大きい領域をサーチすることで、前記物体の移動状態を求める処理部とを有し、前記処理部は、前記第１画像データを解析して前記テンプレートパターンを切り出す位置を可変に設定する第１処理、ならびに、前記第１画像データと前記第１画像データの後で且つ前記第２画像データよりも先に取得した第３画像データとを解析して前記テンプレートパターンを切り出す位置を可変に設定する第２処理、の少なくとも一方の処理を行なうことが可能であることを特徴とする。

本発明によれば、画像データからテンプレートパターンを切り出す位置を適切に可変設定することで、パターンマッチングの精度劣化を抑制することができ、ひいては安定した精度での物体の移動検出が可能となる。

本発明の実施形態のプリンタの断面図変形例のプリンタの断面図プリンタのシステムブロック図ダイレクトセンサの構成図メディアの給送、記録、排出の動作シーケンスを示すフローチャート図メディアを搬送する動作シーケンスを示すフローチャート図パターンマッチングで移動量を求める処理を説明するための図相関値テーブルを三次元グラフで視覚化した図テンプレートパターンを選定する手順の４つの例を示すフローチャート図画像評価値を用いた絞り込みの手順を示すフローチャート図テーブル評価値を用いた絞り込みの手順を示すフローチャート図発明の課題を説明するための図

以下に図面を参照して、本発明の好適な実施の形態を例示する。ただし、例示する実施の形態に記載されている構成要素はあくまで例示であり、本発明の範囲を限定する主旨のものではない。

本発明の適用範囲は、プリンタを始めとして、物体の移動を高精度に検出することが要求される移動検出の分野に広く渡る。例えば、プリンタ、スキャナ等の機器や、物体を搬送して検査、読取、加工、マーキング等の各種の処理を施す、工業分野、産業分野、物流分野などで使用する機器に適用可能である。また、本発明をプリンタに適用する場合は、インクジェット方式、電子写真方式、サーマル方式、ドットインパクト方式などの様々な方式のプリンタに適用可能である。なお、本明細書において、メディアとは、紙、プラスチックシート、フィルム、ガラス、セラミック、樹脂等のシート状あるいは板状の媒体をいう。また、本明細書において上流・下流とは、シートに画像記録を行なう際のシートの搬送方向を基準とした上流・下流を意味するものとする。

以下に、記録装置の一例であるインクジェット方式のプリンタの実施形態を説明する。本実施形態のプリンタは、プリントヘッドの往復移動（主走査）とメディアの所定量のステップ送り（副走査）とを交互に行なって二次元画像を形成する、いわゆるシリアルプリンタである。なお、本発明は、シリアルプリンタに限らず、プリント幅をカバーする長尺ライン型プリントヘッドを持ち、固定されたプリントヘッドに対してメディアが移動して二次元画像を形成する、いわゆるラインプリンタにも適用可能である。

図１はプリンタの主要部の構成を示す断面図である。プリンタは、メディアをベルト搬送系によって副走査方向（第１方向、所定方向）に移動させる搬送機構と、移動するメディアに対してプリントヘッドを用いて記録を行なう記録部とを有する。プリンタは更に、物体の移動状態を間接的に検出するエンコーダ１３３と、物体の移動状態を直接的に検出するダイレクトセンサ１３４を有する。

搬送機構は、回転体である第１ローラ２０２、第２ローラ２０３、およびこれらローラの間に所定のテンションで掛けられた幅広の搬送ベルト２０５を有する。メディア２０６は搬送ベルト２０５の表面に静電力等による吸着もしくは粘着によって密着して、搬送ベルト２０５の移動に伴なって搬送される。副走査のための駆動源である搬送モータ１７１の回転力は駆動ベルト１７２によって駆動ローラである第１ローラ２０２に伝達され、第１ローラ２０２が回転する。第１ローラ２０２と第２ローラ２０３は搬送ベルト２０５によって同期回転する。搬送機構は更に、トレイ２０８の上に積載されたメディア２０７を一枚ずる分離して搬送ベルト２０５の上に給送するための給送ローラ２０９と、これを駆動する給送モータ１６１（図１では不図示）を有する。給送モータ１６１の下流設けられたペーパーエンドセンサ１３２は、メディア搬送のタイミングを取得するためにメディアの先端又は後端を検出するものである。

ロータリ式のエンコーダ１３３（回転角センサ）は、第１ローラ２０２の回転状態を検出して、搬送ベルト２０５の移動状態を間接的に取得するのに用いられる。エンコーダ１３３はフォトインタラプタを備え、第１ローラ２０２と同軸に取り付けられたコードホイール２０４の円周に沿って刻まれている等間隔のスリットを光学的に読み取って、パルス信号を生成する。

ダイレクトセンサ１３４は、搬送ベルト２０５の下方（メディア２０６の載置面とは反対の裏面側）に設置されている。ダイレクトセンサ１３４は、搬送ベルト２０５の面にマーキングされたマーカーを含む領域を撮像するイメージセンサ（撮像デバイス）を備える。ダイレクトセンサ１３４は、搬送ベルト２０５の移動状態を後述する画像処理によって直接的に検出するものである。搬送ベルト２０５に対してメディア２０６は面同士で強固に密着しているので、ベルト表面とメディアとの間での滑りによる相対位置変動は無視できるほど小さい。そのため、ダイレクトセンサ１３４はメディアの移動状態を直接的に検出するのと等価とみなすことができる。なお、ダイレクトセンサ１３４は、搬送ベルト２０５の裏面を撮像する形態には限定されず、搬送ベルト２０５の表面のメディア２０６で覆われない領域を撮像するようにしてもよい。また、ダイレクトセンサ１３４は、被写体として搬送ベルト２０５ではなくメディア２０６の表面を撮像するものであってもよい。

記録部は、主走査方向に往復移動するキャリッジ２１２と、これに搭載されたプリントヘッド２１３及びインクタンク２１１を有する。キャリッジ２１２は主走査モータ１５１（図１では不図示）の駆動力によって主走査方向（第２方向）に往復移動する。この移動に同期してプリントヘッド２１３のノズルからインクを吐出して、メディア２０６上にプリントする。プリントヘッド２１３とインクタンク２１１は一体化してキャリッジ２１２に対して着脱されるものであっても、別体として個別にキャリッジ２１２に対して着脱されるものであってもよい。プリントヘッド２１３はインクジェット方式によりインクを吐出するものであり、その方式は発熱素子を用いた方式、ピエゾ素子を用いた方式、静電素子を用いた方式、ＭＥＭＳ素子を用いた方式などを採用することができる。

なお、搬送機構はベルト搬送系には限定されず、変形例として、搬送ベルトを用いずに搬送ローラによってメディアを搬送させる機構を有するものであってもよい。図２は変形例のプリンタの断面図を示す。図１の部材と同一の符号を付したものは同一の部材を示す。第１ローラ２０２と第２ローラ２０３が直接メディア２０６に接して、メディアを移動させる。第１ローラ２０２と第２ローラ２０３の間には不図示の同期ベルトが掛けられて、第１ローラの回転に同期して第２ローラが回転するようになっている。この形態では、ダイレクトセンサ１３４が撮像する被写体は搬送ベルト２０５ではなくメディア２０６であり、ダイレクトセンサ１３４はメディア２０６の裏面側を撮像する。

図３はプリンタのシステムブロック図である。コントローラ１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３を有する。コントローラ１００は、プリンタ全体の各種制御や画像処理等を司る制御部と処理部とを兼ね備える。情報処理装置１１０は、コンピュータ、デジタルカメラ、ＴＶ、携帯電話機など、メディアに記録するための画像データを供給する装置であり、インターフェース１１１を通してコントローラ１００と接続される。操作部１２０は操作者とのユーザーインターフェースであり、電源スイッチを含む各種入力スイッチ１２１と表示器１２２を備える。センサ部１３０はプリンタの各種状態を検出するためのセンサ群である。ホームポジションセンサ１３１は往復移動するキャリッジ２１２のホームポジションを検出する。センサ部１３０は、上述したペーパーエンドセンサ１３２、エンコーダ１３３、およびダイレクトセンサ１３４を備える。これらの各センサはコントローラ１００に接続されている。コントローラ１００の指令に基づいて、ドライバを介してプリントヘッドやプリンタの各種モータが駆動される。ヘッドドライバ１４０は記録データに応じてプリントヘッド２１３を駆動する。モータドライバ１５０は主走査モータ１５１を駆動する。モータドライバ１６０は給送モータ１６１を駆動する。モータドライバ１７０は副走査のための搬送モータ１７１を駆動する。

図４はダイレクトセンシングを行うためのダイレクトセンサ１３４の構成図である。ダイレクトセンサ１３４は、ＬＥＤ、ＯＬＥＤ、半導体レーザ等の光源３０１を含む発光部、イメージセンサ３０２と屈折率分布レンズアレイ３０３を含む受光部、及び駆動回路やＡ／Ｄ変換回路などの回路部３０４を１つのセンサユニットとしたものである。光源３０１によって撮像対象である搬送ベルト２０５の裏面側の一部を照明する。イメージセンサ３０２は屈折率分布レンズアレイ３０３を介して照明された所定の撮像領域を撮像する。イメージセンサはＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの二次元エリアセンサ又はラインセンサである。イメージセンサ３０２の信号はＡ／Ｄ変換されデジタル画像データとして取り込まれる。イメージセンサ３０２は、物体（搬送ベルト２０５）の表面を撮像して異なるタイミングで複数の画像データ（連続して取得したものを、第１画像データ、第２画像データという）を取得するのに用いられる。そして後述するように、第１画像データからテンプレートパターンを切り出し、前記第２画像データの中で前記テンプレートパターンと相関が大きい領域を画像処理でサーチすることで、物体の移動状態を求めることができる。画像処理を行なう処理部はコントローラ１００であってもよいし、ダイレクトセンサ１３４のユニットに処理部を内蔵するようにしてもよい。

図５はメディアの給送、記録、排出の一連の動作シーケンスを示すフローチャート図である。これらの動作シーケンスはコントローラ１００の指令に基づいてなされる。ステップＳ５０１では、給送モータ１６１を駆動して給送ローラ２０９によってトレイ２０８上のメディア２０７を１枚ずつ分離して搬送経路に沿って給送する。ペーパーエンドセンサ１３２が給送中のメディア２０６の先頭を検出すると、この検出タイミングに基づいてメディアの頭出し動作を行なって所定の記録開始位置まで搬送する。

ステップＳ５０２では、搬送ベルト２０５を用いてメディアを所定量ずつステップ送りする。所定量とは１バンド（プリントヘッドの１回の主走査）の記録における副走査方向における長さである。例えば、プリントヘッド２１３の副走査方向におけるノズル列幅の半分ずつ送りながら２回ずつ重ねてマルチパス記録を行なう場合は、所定量はノズル列幅の半分の長さとなる。

ステップＳ５０３では、キャリッジ２１２によってプリントヘッド２１３を主走査方向に移動させながら、１バンド分の記録を行なう。ステップＳ５０４では、すべての記録データの記録が終了したかを判断する。未記録の残りがある場合（ＮＯ）は、ステップＳ５０２に戻って副走査のステップ送りと主走査の１分の記録を繰りかえす。全ての記録が終了してステップＳ５０４の判断がＹＥＳになったら、ステップＳ５０５に移行する。ステップＳ５０５ではメディア２０６を記録部から排出する。こうして１枚のメディア２０６に二次元の画像が形成される。

図６のフローチャート図を用いて、ステップＳ５０２のステップ送りの動作シーケンスについて更に詳細に説明する。ステップＳ６０１では、ダイレクトセンサ１３４のイメージセンサで搬送ベルト２０５のマーカーを含む領域を撮像する。取得した画像データは、移動開始前の搬送ベルトの位置を示すものであり、ＲＡＭ１０３に記憶される。ステップＳ６０２では、エンコーダ１３３でローラ２０２の回転状態をモニタしながら搬送モータ１７１を駆動して搬送ベルト２０５の移動、すなわちメディア２０６の搬送制御を開始する。目標とする搬送量だけメディア２０６を搬送するようにコントローラ１００がサーボ制御を行う。このエンコーダを用いた搬送制御と並行して、ステップＳ６０３以降の処理を実行する。

ステップＳ６０３では、ダイレクトセンサ１３４でベルトを撮像する。撮像のタイミングについては、１バンド分の記録をするための目標とするメディア搬送量（以後、目標搬送量という）、イメージセンサの第１方向における幅、および搬送速度などによって予め決められた搬送量を搬送したと推定されるタイミングで撮像する。本例では、予め決められた搬送量を搬送した時点でエンコーダ１３３が検出するであろうコードホイール２０４の特定のスリットを指定しておき、そのスリットをエンコーダ１３３が検出したタイミングで撮像を開始する。このステップＳ６０３の更なる詳細については後述する。

ステップＳ６０４では、直前にステップＳ６０３で撮像した第２画像データと、そのひとつ前に撮像した第１画像データとの間で、どれだけの距離だけ搬送ベルト２０５が移動したかを画像処理によって検出する。移動量検出を処理の詳細については後述する。目標搬送量に応じて決められた回数だけ所定のインターバルで撮像を行なう。ステップＳ６０５では、決められた回数の撮像を終了したか否かを判断する。終了してない場合（ＮＯ）はステップＳ６０３に戻って終了するまで処理を繰り返す。決められた回数だけ繰返し搬送量を検出する毎に搬送量を累計していき、最初にステップＳ６０１で撮像したタイミングからの１バンド分の搬送量を求める。ステップＳ６０６では、１バンド分の、ダイレクトセンサ１３４で取得した搬送量とエンコーダ１３３から取得した搬送量の差分を計算する。エンコーダ１３３は間接的な搬送量の検出であり、ダイレクトセンサ１３４による直接的な搬送量の検出に較べて検出精度に劣る。従って、上述の差分はエンコーダ１３３の検出誤差とみなすことができる。

ステップＳ６０７では、ステップＳ６０６で求めたエンコーダの誤差分だけ搬送制御に補正を与える。補正には、搬送制御の現在の位置情報を誤差分だけ増減して補正する方法、目標搬送量を誤差分だけ増減して補正する方法があり、いずれの方法を採用してもよい。こうしてフィードバック制御により目標搬送量までメディア２０６を正確に搬送して１バンド分の搬送が完了する。

図７は、上述のステップＳ６０４の処理の詳細を説明するための図である。図７（ａ）において、ダイレクトセンサ１３４の撮像で取得された搬送ベルト２０５の第１画像データ７００、第２画像データ７０１が模式的に示されている。第１画像データ７００、第２画像データ７０１の中で黒点で示される多数のパターン７０２（明暗の階調差がある部分）は搬送ベルト２０５にランダム又は所定の規則に基づいて付与された多数のマーカーの像である。なお、図２に示した装置のように被写体がメディアの場合には、メディア表面の微視的なパターン（紙の繊維パターンなど）が同等の役割を果たす。第１画像データ７００に対して、上流側の位置にテンプレートパターン７０３を設定して、この部分の画像を切り出す。第２画像データ７０１を取得したら、切り出したテンプレートパターン７０３と類似のパターンが、第２画像データ７０１のどこに位置するかをサーチする。サーチはパターンマッチングの手法により行なう。類似度を判定するアルゴリズムは、ＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）、ＮＣＣ（ＮｏｒｍａｌｉｚｅｄＣｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）等が知られる。いずれを採用してもよい。この例では最も類似するパターンが領域７０４に位置している。第１画像データ７００におけるテンプレートパターン７０３と第２画像データ７０１における領域７０４との副走査方向における撮像デバイスの画素数の差分を求める。そして、この差分画素数に１画素に対応した距離を掛けることで、この間の移動量（搬送量）を求めることができる。

本実施形態においては、図７（ｂ）に示すように第１画像データ７００に対して、テンプレートパターンの切り出すための複数位置のテンプレート候補を設定し、候補の中から適切なものを選定する。テンプレート候補とは、第１画像データ内の部分画像で、テンプレートパターンの候補となっている個々の画像である。すなわち、選定を始める段階で複数あるテンプレート候補を選定の過程で絞り込み、最終的に１つ選び出した時点で、そのテンプレート候補がテンプレートパターンとなり、テンプレートマッチングを用いた移動量検出に用いられる。また、１回以上絞り込みを行った段階におけるテンプレート候補という言葉は、まだ除外されずに残っている画像のみを指すものとする。

＜テンプレートパターン選定の流れ＞
最良のテンプレート位置を求めるには、テンプレート候補を第１画像データ中に最大数に設定し、第２画像データに対して全点で相関をとり、その全ての中で相関値が最大となるテンプレートを設定すれば可能である。しかし、より高性能（高速搬送、高スループット）と低コストの両立が求められる記録装置においては、そのような膨大な計算を瞬時に行なうためのハードウェア資源は現実的ではなく、少ない計算量で好ましいテンプレートパターンをいかに設定するか課題となる。

本実施形態では、テンプレートパターンの位置の決定には第２画像データを用いずに、第２画像データを取得したら直ちにパターンマッチングの処理を開始することで、高速搬送、高スループットに対応するものである。第１画像データを取得したら次の第２画像データを取得するまでの間にテンプレートパターンを設定し終わるようにする。

図９（ａ）〜図９（ｄ）は、テンプレートパターンを選定する手順の４つの例を示すフローチャート図である。画像評価値を用いた絞り込み、テーブル評価値を用いた絞り込みの２種の選定方法を基本として、この組み合わせによって場合分けしたものである。どれも最初に、テンプレート候補の設定を行う点は共通している。本実施例の装置では、４つのうちのいずれかの方法を実行することができるようになっている。

図９（ａ）のケース１の方法では、画像評価値を用いた絞り込み処理だけで選定を完了する。画像評価値を用いた絞り込み処理の詳細については後述する。ステップＳ９００で初期テンプレート候補を複数設定する。設定の仕方については後述する。そして、ステップ９０１で複数の候補の中から、画像評価値を用いた絞り込み処理を１回行なって適切なテンプレートを決定する。この方法は、高速搬送で非常に短時間での処理が求められる場合やコントローラのハードウェア資源（ＣＰＵの演算能力やＲＡＭの容量など）が小さい場合に有効である。

図９（ｂ）のケース２の方法では、テーブル評価値を用いた絞り込み処理だけで選定を完了する。テーブル評価値を用いた絞り込み処理の詳細については後述する。ステップＳ９００で上記と同様に初期テンプレート候補を複数設定したら、ステップ９０２でテーブル評価値を用いた絞り込み処理を１回行なって適切なテンプレートを決定する。この方法は、第１画像データ撮像後から第２画像データ撮像までの間に別の画像を撮像し、第３画像データを取得する。そのため、図９（ａ）のケースに較べると高速対応の面では劣るが、画像評価値では判断し切れない種々の不確定要因、未知の誤差要因も込みでの評価を行なうことで、より高精度なテンプレートパターンの設定が可能となる。例えば、先に図１２で述べたゴミの付着や屈折率分布レンズによる像歪みの影響は実際に相関をとってテーブル評価値で判断する方が好ましい。

図９（ｃ）のケース３の方法では、画像評価を用いた絞り込み処理を行った後にテーブル評価値を用いた絞り込みを行なって選定を完了する。ステップＳ９００で上記と同様に初期テンプレート候補を複数設定する。ステップ９０１で画像評価値を用いた絞り込み処理１回行ない、次いでステップＳ９０２でテーブル評価値を用いた絞り込み処理を行なって、適切なテンプレートを決定する。この方法は、２種類の選定方法の特徴を相補的に組み合わせたものである。画像評価値を用いて予め不適なテンプレート候補を除外する排除してからテーブル評価値を用いて絞り込むことが有効な場合がある。ケース２よりも短時間に処理が完了することもある。例えば、照射光が正反射して白い領域が写り込みその部分をテンプレートパターンとすると、白のマーカーが集中する領域との相関が高く出てしまうような場合である。その他、シートの表面を直接撮像する場合のように特徴点が少ないときには、事前に画像評価値で多くのテンプレート候補を除外することができる。

図９（ｄ）のケース４の方法では、テーブル評価値を用いた絞り込みを第３画像データの撮像を複数回行いながら繰り返す。ステップＳ９００で上記と同様に初期テンプレート候補を複数設定する。ステップ９０２ではテーブル評価値を用いた絞り込み処理を行なって、これをステップＳ９０３で終了条件となるまで繰り返すことで、適切なテンプレートを決定する。ステップＳ９０３の終了条件は、規定の回数で終わらせることとしてもよいし、各回は閾値以上の候補を残してそれを繰り返して候補数が規定の個数以下となった時点で終わるようにしてもよい。この方法は、最も時間を要するので高速化には向かないが、偶然に左右されず最も安定したテンプレートパターンを選ぶことができる。

一般には、演算量・演算時間とテンプレートパターンの選定精度とはトレードオフの関係となる。以上のケース１からケース４までを比較すると、演算量・演算時間は前者ほど小さく、テンプレートパターンの選定精度は後者ほど優れている。コントローラのハードウェア資源や記録装置に要求される高速性によって、ケース１からケース４の中から適切な選定方法を用いればよい。

＜初期テンプレート候補の設定＞
図９のステップＳ９００での初期テンプレート候補の設定手法について説明する。例えば、図７（ｂ）のように、第１画像データ７００の上流側に、矩形形状のパターンを主走査及び副走査の方向に僅かにずらしながら複数個（例えば２０個程度）の候補として設定する。これら複数位置のテンプレート候補は、矩形のサイズやアスペクトが一定のものに限らず、異なるサイズやアスペクトで混在して設定するようにしてもよい。ここでは、各テンプレート候補はその位置を第１画像データ内の座標として保持して、情報記憶に必要なメモリ容量を少なくしている。

テンプレートの最良位置が候補が含まれるようにするには、１ピクセルずつずらしながら多数設定すればよい。ただし、その場合はパターンマッチングの計算量が膨大になるので、現実には数ピクセル〜数十ピクセルずつずらしながら、最大２０個ほど候補を設定すればよい。候補の数については、コントローラの処理能力との兼ね合いで決める。また、キャリブレーション等により、事前にテンプレートパターンとしては不適な領域が分かっている場合には、その領域は外してテンプレート候補を設定する。

＜画像評価値を用いた絞り込み＞
図９のステップＳ９０１での画像評価値を用いた絞り込みについて、図１０のフローチャートを用いて説明する。画像評価値を用いた絞り込みは、第１画像データを解析してテンプレートパターンを切り出す位置を可変に設定する処理（第１処理という）である。

ステップＳ１００１では、コントローラのＣＰＵにおいて、テンプレート候補の中から、まだ画像評価値を算出していないものを１つ選択する。

ステップＳ１００２では、選択したテンプレート候補の画像データをＲＡＭから読み出す。各テンプレート候補の位置が第１画像データ内の座標として保持している場合には、規定のサイズとアスペクトで第１画像データから切り出してテンプレート候補の画像データを取得する。そして、この画像データを用いて所定の画像評価値を算出する。画像評価値とはテンプレート候補画像の画像データのみから評価される値であり、その値が大きいほどテンプレート候補としては優れていると判断する。ここではテンプレート候補画像の「画像コントラスト」で画像評価を行ない、コントラスト値が高いほど候補としての順位を上にする。あるいは、画像内にマーカがいくつ含まれるかを検出して画像評価値としてもよい。また、これら複数の評価項目を総合して１つの画像評価値としてもよい。求めた画像評価値はＲＡＭやレジスタに一時記憶する。

ステップＳ１００３では、複数の候補の個々のテンプレート候補画像それぞれについて上述の画像評価値を算出すべく、すべての候補で算出するまで処理を繰り返す。

ステップＳ１００４では、こうして求めた各画像の画像評価値を元に、所定の基準でテンプレート候補を絞り込む。図９（ａ）のケース１においては、画像評価値が最も大きいものを１つ選択する。図９（ｃ）のケース３においては、画像評価値が所定の閾値を超えるものに絞り込んだり、画像評価値が大きいものから順に所定の個数を選択して、次のステップＳ９０２に引き渡す。

＜テーブル評価値を用いた絞り込み＞
図９のステップＳ９０２におけるテーブル評価値を用いた絞り込みについて、図１１（ａ）のフローチャートを用いて説明する。このテーブル評価値を用いた絞り込みは、第１画像データと、第１画像データの後で且つ第２画像データよりも先に取得した第３画像データを用い両者の関係を解析して、テンプレートパターンを切り出す位置を可変に設定する処理（第２処理という）である。

ステップＳ１１０１では、選定用画像データ（第３画像データという）を撮像によって取得する。第３画像データは、テンプレート候補に自身の部分画像と相関をとられる画像データである。この第３画像データは、第１画像データや第２画像データのときと同じイメージセンサを用いて同一の被写体を撮像して取得する。第３画像データの取得のタイミングは、第１画像データ取得のための撮像の後、且つ第２画像データ取得のための撮像の前である。なお、第１画像データを第３画像データとして用いることもできる。

ステップＳ１１０２では、ステップＳ１１０１で取得した第３画像データに対して、複数位置のテンプレート候補それぞれについて相関をとり相関値テーブルを作成する。相関値テーブルは、テンプレート候補が第３画像データに対して位置をずらしながら相関をとって得た相関値の１次元的又は２次元的集まりである。相関のとり方は、実際の移動量検出において第２画像データに対してテンプレートパターンで位置をずらしながら相関をとるのと同様のアルゴリズムで行なう。図８は作成した相関値テーブルを三次元グラフで可視化したものである。座標（ｘ，ｙ）は、テンプレート候補を第３画像データ内のどの位置に重ね合わせて相関をとったかに対応している。例えば、テンプレート候補の矩形の左上を第３画像データの座標（２０，６０）に重ねる形で相関をとった相関値が０．５であれば、相関値テーブルの（２０，６０）の値を０．５とする。

ステップＳ１１０３では、各相関値テーブルに対してそれぞれテーブル評価値を算出する。そして算出したテーブル評価値に基づいてテンプレート候補の絞り込みを行う。テーブル評価値は、相関値テーブルのみから定まりその相関値テーブルの元となったテンプレート候補がテンプレートパターンとして適しているかどうかの基準となる値である。つまり、テーブル評価値は、その相関値テーブルが生成される元となったテンプレート候補の候補としての良し悪しを評価する評価指標である。“相関値テーブルがこのような特徴をもつ場合には概して精度の高い移動量検出ができる”という経験的なものから定めたものである。例えば、“相関がある”、“相関がない（あるいは逆相関）”がはっきりしているほど正しい移動量検出ができる、という観点で、相関値テーブル内の全相関値の分散をテーブル評価値とする。相関値の最大値をテーブル評価値としてもよく、また、分散と最大値の積をテーブル評価値としてもよい。あるいは、相関値テーブルのグラフ形状を元にしてテーブル評価値を与えてもよい。例えば、被写体ブレの生じるｙ方向に比べてその影響が小さいｘ方向に特定の周波数が強く出るようなテンプレートでは移動量検出の精度高いという傾向が見出せる場合には、ｘ方向のデータ列に対して離散フーリエ変換を施し、これをテーブル評価値としてもよい。

ステップＳ１１０４では、全ての項目で絞り込みを終えるまでループして絞込み処理を繰り返す。例えば、分散がある閾値以上で且つ相関値の最大がある閾値以上という複数の項目での絞り込みを行なう場合に、相関値テーブルを再利用してテーブル評価値の再計算を行なう。なお、１つのテーブル評価値で絞り込む場合にはステップＳ１１０４ではループをせずに終了する。

図１１（ａ）のステップＳ１１０２とステップＳ１１０３についてさらに説明する。

図１１（ｂ）に示すフローチャートは、ステップＳ１１０２の詳細な手順を示す。ステップＳ１１１１では、まだ相関値テーブルを作成していない未作成のテンプレート候補を選択する。ステップＳ１１１２では、選択したテンプレート候補に対して、第３画像データの中で相関をとって相関値テーブルを作成する限定された領域を決定する。具体的には、搬送機構が有するエンコーダ１３３で検出される回転状態から、第１画像データと第３画像データの間での移動量の大まかな値を得て、これにマージンを見込んだ領域を限定して領域設定する。テンプレート候補の画像に対応するであろう領域近辺に、相関値テーブル作成の領域を限定することで、より純度の高いデータとすることができる。加えて、領域を限定することで相関をとる回数（演算量）を減らすことができる。なお、全体的な相関値テーブルの傾向からテーブル評価値を出したい場合には、ステップＳ１１１２は省略しても構わない。ステップＳ１１１３では、ステップＳ１１１２で限定した第３画像データの領域に対して、テンプレート候補画像との相関をとり、相関値テーブルを作成する。その結果はＲＡＭに記憶する。ステップＳ１１１４では、テンプレート候補全てに対して相関値テーブルを作成するまでループして以上の処理を繰り返す。

図１１（ｃ）に示すフローチャートは、ステップＳ１１０３の詳細な手順を示す。ステップＳ１１２１では、まだテーブル評価値を算出していない未計算の相関値テーブルを選択する。ステップＳ１１２２では、選択した相関値テーブルに対して所定のテーブル評価値を算出する。テーブル評価値については先に例示したものを用いる。ステップＳ１１２３では、全てのテンプレート候補の相関値テーブルに対してテーブル評価値を作成するまでループして以上の処理を繰り返す。ステップＳ１１２４では、ステップＳ１１２２で算出したテーブル評価値を元に、所定の基準でテンプレート候補を絞り込む。テーブル評価値が所定の閾値を超えるテンプレート候補のみ残すという形で絞り込みを行ってもよいし、テーブル評価値の上位から所定の個数だけを選別するようにしてもよい。図９（ｂ）、図９（ｃ）のケースでは、最もテーブル評価値の高いテンプレート候補ひとつをテンプレートパターンして処理を終了する。

テーブル評価値を用いた絞り込みは、第１画像データと第２画像データとでパターンマッチングを行なう移動検出と同様のアルゴリズムで行なう。そのため、ハードウェア資源をそのまま流用することができる。また、画像評価値では判断し切れない種々の不確定要因、未知の誤差要因も込みでの評価を行なうことができる。

このように、第１画像データを解析してテンプレートパターンを切り出す位置を可変に設定する第１処理、ならびに第１画像データと第３画像データの関係を解析してテンプレートパターンを切り出す位置を可変に設定する第２処理の少なくとも一方の処理を行なう。画像データからテンプレートパターンを切り出す位置を適切に可変設定することで、パターンマッチングの精度劣化を抑制することができ、ひいては安定した精度での物体の移動検出が可能となる。

１３４ダイレクトセンサ
１７１モータ
２０２第１ローラ
２０３第２ローラ
２０５搬送ベルト
２０６メディア
２１１インクタンク
２１２キャリッジ
２１３プリントヘッド

Claims

移動する物体の表面を撮像して、異なるタイミングで第１画像データおよび第２画像データを取得するのに用いられるイメージセンサと、
前記第１画像データからテンプレートパターンを切り出し、前記第２画像データの中で前記テンプレートパターンと相関が大きい領域をサーチすることで、前記物体の移動状態を求める処理部と、を有し、
前記処理部は、前記第１画像データを解析して前記テンプレートパターンを切り出す位置を可変に設定する第１処理、ならびに、前記第１画像データと前記第１画像データの後で且つ前記第２画像データよりも先に取得した第３画像データとの関係を解析して前記テンプレートパターンを切り出す位置を可変に設定する第２処理、の少なくとも一方の処理を行なうことが可能であることを特徴とする移動検出装置。
移動する物体の表面を撮像して、異なるタイミングで第１画像データおよび第２画像データを取得するのに用いられるイメージセンサと、
前記第１画像データからテンプレートパターンを切り出し、前記第２画像データの中で前記テンプレートパターンと相関が大きい領域をサーチすることで、前記物体の移動状態を求める処理部と、を有し、
前記処理部は、前記第１画像データと、前記第１画像データの後で且つ前記第２画像データよりも先に取得した第３画像データとの関係を解析して前記テンプレートパターンを切り出す位置を可変に設定する処理を行なうことが可能であることを特徴とする移動検出装置。
前記処理部は、前記第１処理として、前記第１画像データの中の複数位置のテンプレート候補の中で、画像のコントラスト値が他よりも高いテンプレート候補を前記テンプレートパターンとして選定することを特徴とする、請求項１記載の移動検出装置。
前記処理部は、前記第１画像データの中の複数位置のテンプレート候補に対して前記第３画像データに対する相関値の相関値テーブルを作成し、前記相関値テーブルに対して所定のテーブル評価値を算出し、前記テーブル評価値を基準として前記テンプレートパターンを選定することを特徴とする、請求項１又は２記載の移動検出装置。
前記処理部は、前記相関値テーブル内の相関値の分散、又は前記相関値の最大値を前記テーブル評価値とすることを特徴とする、請求項４記載の移動検出装置。
前記物体を移動させる搬送機構と、前記搬送機構が有する回転体の回転状態を検出するエンコーダとを更に有し、
前記処理部は、前記相関値テーブルを作成する際に、前記エンコーダでの検出に基づいて前記第３画像データにおいて相関をとる範囲を限定することを特徴とする、請求項４又は５記載の移動検出装置。
前記処理部は、前記第１画像データを取得した後で且つ前記第２画像データを取得する前に前記テンプレートパターンを切り出す位置を設定することを特徴とする、請求項１から６のいずれか記載の移動検出装置。
前記物体はメディア又はメディアを搭載して搬送する搬送ベルトであることを特徴とする、請求項１から７のいずれか記載の移動検出装置。
駆動ローラを有し前記物体を移動させる搬送機構と、前記駆動ローラの回転状態を検出するエンコーダと、前記エンコーダによって検出される前記駆動ローラの回転状態と前記処理部で求められる移動状態とに基づいて前記駆動ローラの駆動を制御する制御部を更に有することを特徴とする、請求項１から８のいずれか記載の移動検出装置。
請求項１から９のいずれか記載の移動検出装置と、移動する前記物体に記録を行なう記録部を有することを特徴とする記録装置。