JPH1079878A - 静止画像撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】 確実に被写体の分割画像を撮像し、分割画像
の繋ぎ合わせを行う際の画像のずれおよび歪みを少なく
して、従来よりも解像度の高い被写体画像を撮像できる
静止画像撮像装置を提供する。 【解決手段】 撮像手段２の撮像面を走査させて被写体
を周期的に撮像し、分割画像を次々に現画像バッファ１
１および前画像バッファ１２に送り、２枚の画像の移動
量を移動量検出手段１３で検出する。判定手段１４は、
移動量を累積した累積移動量が所定領域に含まれるかど
うかを判定し、含まれる場合にだけ画像取込画像手段１
５は画像をフレームメモリ５に取り込む。このような構
成により、周期的に撮像した分割画像の中から必要な画
像だけを選択することができ、確実に被写体の分割画像
を撮像することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体を分割撮像
してそれぞれ繋ぎ合わせることで高精度の被写体像を合
成する静止画像撮像装置に関する。

【０００２】

【従来の技術】一般に撮像装置は、被写体からの光を絞
って結像させ、結像面上に結像した画像を撮像素子によ
って電気信号に変換し、画像信号を写真やモニタに出力
して被写体の撮像を行っている。撮像された画像の解像
度を上げるためには、倍率の高いレンズで被写体からの
光を集光すればよい。また、被写体を小区画に区切って
分割撮像し、分割して撮像された画像を繋ぎ合わせても
よい。

【０００３】被写体を分割して撮像し、分割画像を繋ぎ
合わせる撮像装置としては、特開平７−１０７３７９の
静止画像撮像装置が知られている。この装置は、ＣＣＤ
（電荷結合素子）固体撮像素子をカメラレンズの結像面
で走査させて被写体を順次分割して撮像し、撮像された
全ての分割画像を１枚の被写体画像に合成している。

【０００４】レンズの結像面は、ＣＣＤ固体撮像素子の
撮像面よりも広くなっており、所定のカメラ駆動装置
は、この結像面全面にわたって撮像素子を走査させる。
分割撮像は、駆動装置に連動して行われ、撮像素子が結
像面上で所定の移動量だけ移動したときに、撮像面の画
像を順次撮像する。こうして、被写体画像を合成するた
めに必要な分割画像をすべて撮像する。

【０００５】結像面上で撮像素子を走査させる間、カメ
ラはたとえば撮像者の手によって固定されているが、撮
像者の手振れによって、カメラが振れることがある。カ
メラの振れは、分割画像を繋ぎ合わせるときに、画像間
にずれを引き起こし、滑らかな被写体画像を合成するこ
とは困難である。そこで、撮像された分割画像はアフィ
ン変換を受けて平行移動や回転移動させれることによっ
て合成される。このような合成によって、カメラの視線
方向に垂直な面内で生じる画像のずれなどを補正してい
る。

【０００６】

【発明が解決しようとする課題】特開平７−１０７３７
９の静止画像撮像装置でも、撮像中にＣＣＤ固体撮像素
子が前後に振れたり、あるいは被写体に対する撮像素子
の視線方向が振れたりすることによって、画像を繋ぎ合
わせるときにずれを生じたり、歪みを生ずることがあ
る。

【０００７】これを防ぐためには、撮像素子と被写体と
の距離を完全に一定に保ち、かつ撮像素子の視線方向と
被写体面とのなす角度を完全に一定に保つ必要がある
が、困難である。特に、撮像者がカメラを手で持って撮
像する場合は不可能である。

【０００８】本発明の目的は、確実に被写体の分割画像
を撮像して、分割画像の繋ぎ合わせを行う際のずれおよ
び歪みを抑えて、従来よりも解像度の高い画像を合成で
きる静止画像撮像装置を提供することである。

【０００９】

【課題を解決するための手段】本発明は、被写体を所定
の周期で撮像する撮像手段と、撮像された画像のうちの
２枚を格納しておくバッファメモリと、バッファメモリ
に格納された２枚の画像の移動量を検出する検出手段
と、検出された移動量を累積して得られる撮像位置が所
定領域に含まれるかどうかを判定する判定手段と、判定
手段によって含まれると判定された場合に、バッファメ
モリの画像を取り込んでおくフレームメモリと、フレー
ムメモリの画像を繋ぎ合わせて合成画像を合成する合成
手段とを含んで構成されることを特徴とする静止画像撮
像装置である。本発明に従えば、たとえば撮像者が撮像
手段の撮像面を被写体に向けて、被写体に平行に走査さ
せながら被写体を撮像することによって、被写体は複数
の画像に分割されて取り込まれ、この分割画像から１枚
の被写体画像を合成する。合成画像の解像度は、分割画
像の解像度に等しいので、１回の撮像で得られる被写体
の画像に比べて解像度が高く、被写体を数多くの小さい
画像に分割して撮像すると、各分割画像が小さいければ
小さいほど解像度は高くなる。また、位置とは無関係に
周期的に撮像された画像の中で、撮像位置が所定領域に
含まれる画像だけを取り込むので、画像の合成に必要な
画像だけを選択して取り込むように所定領域を設定する
ことができ、確実に被写体すべてを分割画像として取り
込むことができる。さらに、分割画像から１枚の被写体
画像を合成するので、分割画像を撮像するときに結像面
が大きく、かつ解像度の高い高価なレンズは不要であ
る。また、撮像者の手で撮像手段の撮像面を走査させる
だけで、被写体の分割画像を取り込むことが可能であ
り、撮像手段の撮像面を走査させる駆動機構が不要であ
る。これによって、装置の製造コストを抑えることがで
きる。

【００１０】また本発明は、被写体を撮像して撮像画像
を出力する撮像手段と、撮像画像を変換画像に変換し
て、該変換画像を繋ぎ合わせて合成画像を合成する合成
手段とを含んで構成され、前記撮像画像は順に頂点Ａ，
Ｂ，Ｄ，Ｃによって囲まれた矩形の閉領域内の画素から
成り、変換画像は順に任意の頂点Ａt，Ｂt，Ｄt，Ｃtに
よって囲まれた四辺形の閉領域内の画素から成り、撮像
画像内の任意の点Ｐは変換画像内の点Ｐｔに変換され、
該点Ｐおよび点Ｐｔを終点とするベクトルＶＰおよびＶ
Ｐｔは下記の変換式（１）および（２）を満たし、 VP ＝ u（VB−VA）＋ v（VC−VA） 0≦u，v≦1 …（１） VPt ＝（1−v）((1−u)VAt＋uVBt）＋ v（(1−u)VCt＋uVDt） …（２） 四辺形ＡｔＢｔＤｔＣｔの頂角および辺の長さの少なく
とも一方の変化量を変数に持つ評価関数によって評価さ
れる変換画像の歪みは最小であることを特徴とする静止
画像撮像装置である。本発明に従えば、撮像画像の外枠
は変換後の画像の歪みを可能な限り少なくするように変
換画像に変換され、それとともに画像内の点は上記の比
率ｕおよびｖを保持して偏りの少ない変換を受けるの
で、従来の回転、拡大、縮小などのアフィン変換を受け
た画像に比べて歪みの少ない画像が得られる。

【００１１】また本発明の変換画像の四辺形ＡｔＢｔＤ
ｔＣｔの辺ＡｔＢｔ、辺ＢｔＣｔ、辺ＢｔＤｔおよび辺
ＤｔＡｔの中の１辺または互いに隣り合う２辺は、撮像
画像を該撮像画像に重複する領域を有する別の撮像画像
にパターンマッチングさせることによって決定されるこ
とを特徴とする。本発明に従えば、互いに重複する画像
をパターンマッチングすることによって、上記の変換式
（１）および（２）によって変換された歪みの少ない変
換画像同士を比較的滑らかに繋ぎ合わせることができ
る。さらに、変換画像の１辺または互いに隣り合う２辺
が決定されるので、２次元に配列する複数の分割画像に
対して、互いに隣り合って重複する画像を順次繋ぎ合わ
せ、１枚の歪みの少ない被写体画像を合成することがで
きる。

【００１２】また本発明は、前記合成画像中の画素を同
じ連結成分ごとにラベル付けするラベリング手段と、ラ
ベル付けされた画像の連結成分をその大きさによって直
線、文字および図形に分類する分類手段と、分類された
直線あるいは文字基線の傾きを評価する評価手段と、文
字の外接矩形および該外接矩形と直線との距離を保持し
て、評価された傾きの分だけ直線を回転させて補正する
補正手段とをさらに含んで構成されることを特徴とす
る。本発明に従えば、歪みの認識が容易な罫線あるいは
文字基線を補正することによって、さらに高い解像度の
画像を得ることができる。なお文字基線は、複数の文字
の底辺または文字の中心を結ぶ仮想的な直線である。

【００１３】また本発明は、字形および大きさ毎の文字
コードを記憶する記憶手段と、前記合成画像中の文字を
記憶された文字コードとして認識する認識手段と、前記
合成画像中の文字を認識された文字コードに置換する置
換手段とをさらに含んで構成されることを特徴とする。
本発明に従えば、被写体の撮像または分割画像の合成の
ときに生じる歪みを有する文字を、既製の歪みの無い文
字に置き換えることによって、さらに高い解像度の画像
を得ることができる。

【００１４】

【発明の実施の形態】図１は、本発明の第１実施形態で
ある静止画像撮像装置１を示すブロック図である。静止
画像撮像装置１は、撮像手段２、Ａ／Ｄ（アナログ／デ
ジタル）変換回路３、画像選択手段４、フレームメモリ
５、画像合成手段６および画像出力手段７を含んで構成
されている。撮像手段２は、被写体を所定の周期で撮像
して電気信号を出力する。Ａ／Ｄ変換回路３は、撮像手
段２で出力された信号をデジタル信号に変換する。画像
選択手段４（詳細な構成は図３参照）は、Ａ／Ｄ変換回
路３で変換された画像信号の中から取り込むべき画像信
号を選択する。フレームメモリ５は、画像選択手段４で
選択された画像信号を取り込んでおくメモリである。画
像合成手段６は、フレームメモリ５に取り込まれた複数
の画像から１枚の被写体画像を合成する。画像出力手段
７は、画像合成手段６で合成された被写体画像を出力す
る。

【００１５】撮像者は、ＣＣＤカメラなどの撮像手段２
の撮像面を文書などの被写体に向け、被写体全体を一度
に撮像するためにカメラを遠ざけるのではなく、カメラ
を近づけて被写体を複数枚に分割して撮像する。このと
き、カメラと被写体との間の距離を一定に保持したま
ま、カメラを被写体に平行に走査させて被写体の全体を
分割して撮像する。撮像手段２は被写体を所定の周期で
次々と撮像するので、撮像者が撮像手段２の撮像面を走
査させることによって被写体全体の分割画像が得られ
る。

【００１６】撮像者は、たとえば静止画像撮像装置１に
備え付けられたスタート釦を押すなどして、被写体の撮
像の「スタート」を指定する。撮像の「スタート」が指
定されると、その位置で撮像されたスタート画像は、フ
レームメモリ５内の所定位置に取り込まれる。スタート
画像がフレームメモリ５に取り込まれると、以降の取り
込むべき画像の撮像位置（図２参照）が決定され、これ
に基づいて画像選択手段４は撮像された画像の中から、
取り込むべき画像を選択する。

【００１７】図２は、図１の画像選択手段４によって選
択される画像とフレームメモリ５との関係を示す図であ
る。撮像位置Ｐ０は、スタート画像が撮像された位置で
あり、その中心の座標は原点（０，０）となっている。
撮像位置Ｐ０で撮像されたスタート画像は、フレームメ
モリ５内のアドレスＡ０にあるフレームＦ０に取り込ま
れる。フレームＦ０に画像が取り込まれると、以降に取
り込むべき画像の撮像位置Ｐ１，Ｐ２，Ｐ３，…が決定
される。撮像位置Ｐ１，Ｐ２，Ｐ３，…それぞれの中心
の座標は、（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，
ｙ３），…であり、撮像位置Ｐ１，Ｐ２，Ｐ３，…で撮
像された画像は、それぞれフレームメモリ５内のアドレ
スＡ１，Ａ２，Ａ３，…にあるフレームＦ１，Ｆ２，Ｆ
３，…に取り込まれる。

【００１８】図３は、図１の画像選択手段４の構成を示
すブロック図である。画像選択手段４は、現画像バッフ
ァ１１、前画像バッファ１２、移動量検出手段１４およ
び判定手段１５を含んで構成されている。現画像バッフ
ァ１１および前画像バッファ１２は、撮像手段２から次
々に送られて来る画像信号を１枚ずつ一時的に格納す
る。移動量検出手段１３は、現画像バッファ１１および
前画像バッファ１２に格納されている２枚の画像の移動
量を検出する（検出の方法は図４参照）。判定手段１４
は、移動量検出手段１３で検出された移動量を累積して
累積移動量を求める。この累積移動量は、現画像バッフ
ァ１１に格納されている画像の撮像位置を示しており、
さらに判定手段１４は累積移動量として表される撮像位
置が所定領域に含まれるかどうかを判定する。一致する
判定が下されたときに、画像取込手段１５は現画像バッ
ファ１１に格納された画像をフレームメモリ５に取り込
ませる。

【００１９】スタート画像は、現画像バッファ１１に格
納された後、すぐに前画像バッファ１２に送られ、現画
像バッファ１１は２番目に送られて来た第２画像に書き
換えられる。移動量検出手段１３は、前画像バッファ１
２および現画像バッファ１１に格納された２枚の画像の
移動量を検出する。検出が終了すると、前画像バッファ
１２に格納されていたスタート画像は、現画像バッファ
１１に格納されていた第２画像に書き換えられ、現画像
バッファ１１に格納されていた第２画像は、撮像手段２
から次に送られて来る第３画像に書き換えられる。

【００２０】以下次々に撮像手段２から送られて来る画
像信号には、同じ処理が繰り返される。一般に、前画像
バッファ１２に格納されている第ｎ画像と現画像バッフ
ァ１１に格納されている第（ｎ＋１）画像との移動量を
検出すると、前画像バッファ１２は第ｎ画像から第（ｎ
＋１）画像に書き換えられ、現画像バッファ１１は第
（ｎ＋２）画像に書き換えられる。

【００２１】なお、現画像バッファ１１および前画像バ
ッファ１２は、上記の構成に限らず、送られて来る画像
信号を交互に格納するものでもよく、現画像バッファ１
１に格納されて取り込まれる判定を受けた画像は前画像
バッファ１２に送られた後に、フレームメモリ５に送ら
れるような構成でもよい。

【００２２】図４は、図３の移動量検出手段１３による
移動量の検出を示し、図４（ａ）は前画像バッファ１２
に格納されている前画像１６を示す図であり、図４
（ｂ）は現画像１７を示す図である。前画像１６には参
照枠１８が描かれ、現画像１７には参照枠１９が描かれ
る。移動量検出手段１３は、現画像バッファ１１の現画
像１７と前画像バッファ１２の前画像１６とをパターン
マッチングさせる。パターンマッチングの結果として、
前画像１６内の参照枠１８に一致する現画像１７内のマ
ッチング枠１８ａが描かれて、マッチング枠１８ａと参
照枠１９との移動量（ｄＭｘ，ｄＭｙ）が検出される。

【００２３】図５は、図３の判定手段１４による判定処
理を示すフローチャートである。ステップａ１では、ス
タート画像がフレームメモリ５内のフレームＦ０に取り
込まれる。ステップａ２では、現画像バッファ１１に格
納されている画像の撮像位置の座標（Ｍｘ，Ｍｙ）にＭ
ｘ＝０，Ｍｙ＝０が代入される。図２のように被写体の
左上をスタート画像にするなら、座標はスタート画像の
中心を原点に選び、ｘ軸は水平方向の右向きを正とし、
ｙ軸は垂直方向の下向きを正とすればよい。

【００２４】ステップａ３では、図４に示されるよう
に、現画像バッファ１１および前画像バッファ１２の画
像のパターンマッチングによって移動量（ｄＭｘ，ｄＭ
ｙ）が検出される。ステップａ４では、Ｍｘ＋ｄＭｘが
新たにＭｘに代入され、Ｍｙ＋ｄＭｙが新たにＭｙに代
入される。このように座標（Ｍｘ，Ｍｙ）は、移動量
（ｄＭｘ，ｄＭｙ）を累積した累積移動量として表され
る。ステップａ５では、フレームメモリ５内への画像の
取り込みを確認するためのパラメータｎに１が代入され
る。

【００２５】ステップａ６では、フレームメモリ５のフ
レームｎに画像が取り込まれているかどうかが判定され
る。フレームｎに画像が取り込まれてないなら、次のス
テップａ７に進み、フレームｎに画像が取り込まれてい
るなら、ステップａ９に進む。

【００２６】ステップａ７では、スタート画像が取り込
まれたときに決定される第ｎ画像の取込位置（Ｃｎｘ，
Ｃｎｙ）と、現画像の撮像位置（Ｍｘ，Ｍｙ）との距離
が所定のしきい値Ｔｈよりも小さいかどうかを判定す
る。すなわち、位置（Ｍｘ，Ｍｙ）が｜（Ｍｘ，Ｍｙ）
−（Ｃｎｘ，Ｃｎｙ）｜＜Ｔｈを満たす領域に含まれる
かどうかを判定する。小さいならステップａ８に進み、
小さくないならステップａ９に進む。

【００２７】ステップａ８では、現画像はフレームｎに
取り込まれる。ステップａ９では、ｎには新たにｎ＋１
が代入される。ステップａ１０では、ｎは所定のしきい
値Ｎ以下であるかどうかが判定され、Ｎ以下ならステッ
プａ６に戻り、Ｎより大きいなら次のステップａ１１に
進む。取り込みは、ｎ＝Ｎまで続けられる。

【００２８】ステップａ１１では、フレームメモリ５内
のフレーム０〜Ｎ全てに画像が取り込まれているかどう
かを判定する。未だにフレーム０〜Ｎの全てに画像が取
り込まれていないならステップａ３に戻り、すでにフレ
ーム０〜Ｎの全てに画像が取り込まれているなら取り込
みを終了する。

【００２９】上述のような構成の静止画像撮像装置１に
よれば、撮像手段２を走査させながら被写体を周期的に
撮像し、必要な分割画像だけを取り込み、これを合成す
ることによって、より解像度の高い被写体画像を得るこ
とができる。

【００３０】図６は、本発明の第２実施形態である静止
画像撮像装置１０１の構成を示すブロック図である。静
止画像撮像装置１０１は、撮像手段１０２、画像合成手
段１０６および画像出力手段１０７を含んで構成されて
いる。撮像手段１０２は、被写体を撮像して画像信号を
出力する。画像合成手段１０６は、撮像手段１０２によ
って撮像された画像を合成する。画像出力手段１０７
は、画像合成手段１０６によって合成された画像を出力
する。

【００３１】画像合成手段１０６は、メモリ２１，２
２、マッチング手段２３および画像接合手段２４を含ん
で構成されている。マッチング手段２３は、撮像手段１
０２によって互いに重複領域を含むように撮像された画
像の重複領域に対してパターンマッチングを行い、互い
に重複する画像間の関係を求める。画像接合手段２４
は、マッチング手段２３によって求められた画像間の重
複関係に相当する変換（変換の詳細な説明は図７参照）
を画像に施して画像同士を接合する。メモリ２１，メモ
リ２２には、マッチング手段２３および画像接合手段２
４における処理の中間画像が記憶される。

【００３２】撮像手段１０２において撮像された複数の
画像はメモリ２２に格納され、メモリ２２内の画像同士
の重複領域はメモリ２１に格納される。マッチング手段
２３は、メモリ２１に格納されている重複領域の画像に
対してパターンマッチングを行い、互いの関係を求め
る。画像接合手段２４は、メモリ２２に格納された複数
の画像に対して、マッチング手段２３で求められた画像
同士の関係に相当する変換を行い、画像同士を接合して
メモリ２２を新しい接合画像に書き換える。この処理を
次々に行うことによって、複数の画像を１枚の画像に合
成する。

【００３３】図７は、互いに重複する２枚の画像３１，
３２のパターンマッチングを示し、図７（ａ）は画像３
１，３２の重複領域を示す図であり、図７（ｂ）は重複
領域内のパターンマッチングを示す図であり、図７
（ｃ）はパターンマッチングの結果を示す図である。

【００３４】図７（ａ）に示されるように、画像３１お
よび画像３２は互いに重複領域を含み、これら２枚の重
複画像は、マッチング手段２３によってメモリ２１にコ
ピーされる。２枚の重複画像のどちらか一方を参照側と
し、残る一方を検索側とすればよいが、ここでは画像３
１側を参照領域３３とし、画像３２側を探索領域３４と
する。

【００３５】さらに図７（ｂ）に示されるように、参照
領域３１内に参照小領域３５を設定し、これに対応する
探索領域３４内の探索小領域３６も設定する。このとき
探索小領域３６は参照小領域３５よりも大きくとり、参
照領域３３と探索領域３４とを重ね合わせたときに参照
小領域３５が探索小領域３６に含まれるようにする。

【００３６】図７（ｂ）の設定が終了すれば、以下のパ
ターンマッチングによって探索小領域３６内で最も参照
小領域３５に類似する領域が探索される。まず、参照小
領域３５内の任意の点の座標を（Ｒｘ，Ｒｙ）とし、座
標（Ｒｘ，Ｒｙ）に位置する画素の輝度をＦｒ（Ｒｘ，
Ｒｙ）とする。同様に、探索小領域３６内の任意の点の
座標を（Ｓｘ，Ｓｙ）とし、座標（Ｓｘ，Ｓｙ）に位置
する画素の輝度をＦｓ（Ｓｘ，Ｓｙ）とする。

【００３７】探索小領域３６内において、参照小領域３
５と同じ面積（大きさ）の選択可能な全ての領域に対し
て、領域内の各画素の輝度と参照小領域３５内の画素の
輝度の差の総和をΣ｛Ｆｒ（Ｒｘ，Ｒｙ）−Ｆｓ（Ｓ
ｘ，Ｓｙ）｝によって求める。選択可能な全ての領域の
中でΣ｛Ｆｒ（Ｒｘ，Ｒｙ）−Ｆｓ（Ｓｘ，Ｓｙ）｝が
最小となる領域を探索する。

【００３８】こうして図７（ｃ）に示されるように、参
照小領域３５の代表点として、たとえば各参照小領域の
左上の３点（Ｒ１ｘ，Ｒ１ｙ），（Ｒ２ｘ，Ｒ２ｙ），
（Ｒ３ｘ，Ｒ３ｙ）に相当する探索小領域３６内の３点
（Ｓ１ｘ，Ｓ１ｙ），（Ｓ２ｘ，Ｓ２ｙ），（Ｓ３ｘ，
Ｓ３ｙ）が決定される。参照小領域３５の数はさらに多
くてもよく、そのときは（Ｒ４ｘ，Ｒ４ｙ），（Ｒ５
ｘ，Ｒ５ｙ），…に対して、（Ｓ４ｘ，Ｓ４ｙ），（Ｓ
５ｘ，Ｓ５ｙ），…が決定される。（Ｒｋｘ，Ｒｋ
ｙ），ｋ＝１，２，…に対して、上記のように決定され
た（Ｓｋｘ，Ｓｋｙ）と（Ｒｋｘ，Ｒｋｙ）とは被写体
の同一箇所であるとみなしてよい。

【００３９】参照側の画像３１に対する探索側の画像３
２の回転角を回転角θとすると、回転角θは点列（Ｓｋ
ｘ，Ｓｋｙ），ｋ＝１，２，…を通る直線の傾きａを求
めて、その傾きａの逆正接をとることによって得られる
（θ＝ｔａｎ^{- 1} ａ）。傾きａは、点列中の２点を取り
出して、 ａ ＝（Ｓｉｙ−Ｓｊｙ）／（Ｓｉｘ−Ｓｊｘ） ｉ≠ｊ ｉ，ｊ＝１，２，… …（３） とするか、あるいは全点列に最小２乗法を用いて以下の
式（４）のように求めてもよい。

【００４０】 ａ＝(ＫΣＳｋｘＳｋｙ−ΣＳｋｘΣＳｋｙ)／(ＫΣＳｋｙ²−(ΣＳｋｙ)²) Ｋ ＝ Σ１ …（４） また、参照側の画像に対する探索側の画像の拡大（縮
小）倍率Ｍは、点列中の２点を取り出して、 M ＝｜(Six，Siy)−(Sjx，Sjy)｜／｜(Rix，Riy)−(Rjx，Rjy)｜ i ≠ j …（５） としてもよいし、点列中のいくつかの組み合わせから、 M ＝ L^-1Σ｜(Six，Siy)−(Sjx，Sjy)｜／｜(Rix，Riy)−(Rjx，Rjy)｜ i ≠ j i，j ＝ 1，2，… L ＝ Σ1 …（６） のように求めてもよい。

【００４１】このように、参照側の画像３１に対する探
索側の画像３２の回転角θおよび倍率Ｍが求められる。
探索側の画像３２に対して逆に、回転角−θで回転させ
て倍率Ｍ^-1で拡大する変換を施すことによって、両画像
を接合する。すなわち、互いに重複する２枚の画像にお
いて、一方の画像にアフィン変換を施すことによって、
１次元に配列した２枚の画像同士を接合する。

【００４２】図８は２次元に配列した４枚の画像を合成
する処理を示し、図８（ａ）は４枚の各画像の間の重複
領域を示す図であり、図８（ｂ）は上下方向または左右
方向に重複領域を持つ画像同士の接合を示す図であり、
図８（ｃ）は上下方向および左右方向に重複領域を持つ
画像の１方向への接合を示す図であり、図８（ｄ）は上
下方向および左右方向に重複領域を持つ画像の残るもう
１方向への接合を示す図である。

【００４３】図８（ａ）に示されるように、画像４１は
画像４２に対して左右方向に重複し、画像４３に対して
上下方向に重複している。画像４４は画像４２に対して
上下方向に重複し、画像４３に対して左右方向に重複し
ている。画像４１〜４４の間の重複領域でパターンマッ
チングを行う。

【００４４】マッチングの終了後、図８（ｂ）に示され
るように、画像４２および画像４３に対してマッチング
の結果に相当する変換を施して、画像４２ａおよび画像
４３ａに変換して画像４１に接合させる。画像４１〜４
３の接合が終了すれば、図８（ｃ）に示されるように、
上下方向に重複する画像４２および画像４４のパターン
マッチングの結果に相当するアフィン変換を画像４４に
施すことによって、画像４４を画像４４ａに変換して画
像４２ａに接合する。

【００４５】画像４４ａを画像４２ａに接合させても、
図８（ｄ）に示されるように、画像４４ａは画像４３ａ
に滑らかに接合されない。画像４２ａに接合された画像
４４ａは、さらに変形されて画像４３ａにも接合され
る。この変形の方法は以下のように、画像４４ａの外枠
ＡＢＤＣから外枠ＡＢＤtＣtへの変換と画像の内点の位
置変換とに分けて示される。

【００４６】図９は、図８の画像４４ａを画像４３ａに
接合させる変形を示し、図９（ａ）は画像４４ａの外枠
ＡＢＤＣの変形を示す図であり、図９（ｂ）は画像４３
ａに接合される前の内点Ｐを示す図であり、図９（ｃ）
は画像４３ａに接合された後の画像４４ｂの内点Ｐtを
示す図である。

【００４７】図９（ａ）に示されるように、画像４４ａ
の外枠ＡＢＤＣの頂点Ｃは画像４３ａに合わせて頂点Ｃ
tに移されて固定される。これに対して頂点Ｄは、変形
による画像の歪みを可能な限り少なくするような位置に
移動させる必要がある。そこで、頂点Ｄは頂点Ｄtに移
動したとして、下記の評価関数Ｚを最小にするような頂
点Ｄtを選ぶ。ただし、評価関数は画像の歪みを評価で
きるものであればどのような関数でもよく、下記の関数
Ｚに限らない。

【００４８】 Z ＝｜∠ACtDt−∠ACD｜w1＋｜∠ABDt−∠ABD｜w2＋｜∠BDtCt−∠BDC｜w3 ＋｜辺CtDt−辺CD｜w4＋｜辺BDt−辺BD＋辺ACt／辺AC｜w5＋｜辺BDt−辺BD｜w6 …（７） 関数Ｚの各項にはｗ１〜６（いずれも正または零であ
る）の重み付けがされていて、全体としては四辺形の歪
みを評価する評価関数になっている。各項の重要度に応
じて重みｗ１〜６が設定され、関数Ｚが最小になるよう
な頂点Ｄｔを選ぶ。

【００４９】重みｗ１〜６のうち、いくつかを零とし、
残ったその他の項の和を最小にしてもよい。たとえば、
ｗ１＞０，ｗ２＞０，ｗ３〜６＝０とすると∠ＡＣＤ＝
∠ＡＣｔＤｔおよび∠ＡＢＤ＝∠ＡＢＤｔとなる頂点Ｄ
ｔが選ばれ、頂点Ｂおよび頂点Ｃｔの付近では歪みが少
なくなる。

【００５０】図９（ａ）のように変形された外枠に対し
て、画像４４ａ内の任意の点Ｐは変形を受けた画像４４
ｂ内の点Ｐｔに変換される。変換は、各点を終点とする
ベクトルによって表される下記の変換式（１）および
（２）に従う。

【００５１】 VP ＝ u（VB−VA）＋v（VC−VA） 0≦u，v≦1 …（１） VPt ＝（1−v)((1−u)VA＋uVB）＋ v（(1−u)VCt＋uVDt） …（２） 図９（ｂ）および図９（ｃ）において、点ＥはＡＥ：Ｅ
Ｂ＝ｕ：（１−ｕ）とする点、点Ｆおよび点ＦｔはＡ
Ｆ：ＦＣ＝ＡＦｔ：ＦｔＣｔ＝ｖ：（１−ｖ）とする
点、点Ｈおよび点ＨｔはＣＨ：ＨＤ＝ＣｔＨｔ：ＨｔＤ
ｔ＝ｕ：（１−ｕ）とする点、点Ｇおよび点ＧｔはＢ
Ｇ：ＧＤ＝ＢＧｔ：ＧｔＤｔ＝ｖ：（１−ｖ）とする点
であり、変換されても比率は保持される。線分ＥＨおよ
び線分ＦＧが交差する交点Ｐは、線分ＥｔＨｔおよび線
分ＦｔＧｔが交差する交点Ｐｔに変換される。

【００５２】点Ｐは、比率ｕおよびｖを保持しながら点
Ｐｔに変換されるので、変換後の画像４４ｂでは画素の
偏りが少ない。また通常は、上記の変換式（１）および
（２）に基づいた変換を行うが、画像４４が拡大される
ときには、画素が欠けるので変換後の内点Ｐｔに対応す
る変換前の内点Ｐの輝度を求め、これを内点Ｐｔの輝度
とする。

【００５３】上述のように画像同士を繋ぎ合わせること
によって、２次元に配列した４枚の画像を合成すること
ができる。また、同じ繋ぎ合わせを順次行うことによっ
て、さらに多い枚数の画像を２次元的に繋ぎ合わせ、歪
みの少ない合成画像を得ることができる。

【００５４】なお、この画像合成手段１０６は、第１実
施形態の画像合成手段６に用いてもよい。その場合、撮
像手段２によって撮像された被写体の分割画像を繋ぎ合
わせることができ、解像度が高く歪みの少ない合成画像
を得ることができる。

【００５５】図１０は、静止画像撮像装置１，１０１が
行う画像の変形の一例を示し、図１０（ａ）は被写体と
しての原稿８１を示す図であり、図１０（ｂ）は撮像さ
れた被写体の分割画像８２を示す図であり、図１０
（ｃ）は画像合成手段６，１０６によって合成された合
成画像８３を示す図であり、図１０（ｄ）は後述する画
像整形手段５２によって整形された整形画像８４を示す
図である。

【００５６】図１０（ａ）に示される文書原稿８１は撮
像手段２，１０２によって分割撮像され、図１０（ｂ）
に示されるように、縦横３枚ずつの計９枚の分割画像８
２が撮像されている。分割画像８２は図１０（ｃ）に示
されるように、画像合成手段６，１０６によって１枚の
合成画像８３に合成される。

【００５７】図１１は、画像整形手段５２を加えた静止
画像撮像装置１０１の構成を示すブロック図であり、図
６のブロック図にメモリ５１および画像整形手段５２を
加えたものである。メモリ５１は、整形処理のときの中
間画像を格納する。画像整形手段５２（詳細な構成は図
１２参照）は、画像合成手段１０６から送られて来る合
成画像を整形して、整形画像を画像出力手段１０７に送
る。また、この画像整形手段５２は、静止画像撮像手段
１に加えてもよい。

【００５８】図１２は、図１１の画像整形手段５２の構
成を示すブロック図である。画像整形手段５２は、ラベ
リング手段６１、分類手段６２、評価手段６３および補
正手段６４を含んで構成されている。ラベリング手段６
１は、画像合成手段１０６から送られて来る合成画像に
ラベリングを行う。分類手段６２は、ラベリングされた
画像の成分をその成分の大きさにより、罫線、文字およ
び図形に分類する。評価手段６３は、分類された罫線や
文字の基線の傾きを評価する。補正手段６４は、評価さ
れた傾きの分だけ罫線を回転移動させて補正し、文字お
よび図形の位置を罫線の補正に合わせて移動させて補正
して、補正を受けた整形画像を画像出力手段１０７に送
る。

【００５９】ラベリング手段６１によるラベリングで
は、合成画像の同じ連結成分に対してラベル付けが行わ
れる。ラベルはラベル付けされる順に、ラベルＨ１，ラ
ベルＨ２，ラベルＨ３，…とする。

【００６０】分類手段６２による罫線、文字および図形
の分類では、ラベルＨｉの左右方向の長さをＨｉｘ、上
下方向の長さをＨｉｙ、しきい値をＴｈとして、下記の
（あ）〜（う）に分類する。しきい値Ｔｈとしては、文
字の幅および高さよりも大きいものが選ばれる。 （あ）Ｈｉｘ≧ＴｈかつＨｉｙ＜ＴｈまたはＨｉｘ＜Ｔ
ｈかつＨｉｙ≧Ｔｈならば、ラベルＨｉは罫線である。 （い）Ｈｉｘ＜ＴｈかつＨｉｙ＜Ｔｈならば、ラベルＨ
ｉは文字である。 （う）（あ），（い）以外ならば、ラベルＨｉは図形で
ある。 ただし、（い）で文字として分類されたラベル中で、近
接するラベルと統合しても文字らしさ、たとえば文字の
外接矩形の幅および高さが、他のラベルの文字の平均値
を大きく上回らないなどの条件を満たせば、統合する。

【００６１】図１３は、罫線および文字の分類の一例を
示す図である。ラベルＨ１は、横方向の長さがしきい値
Ｔｈ以上であり、縦方向の長さがしきい値Ｔｈよりも小
さいので、罫線として分類される。ラベルＨ２〜Ｈ５は
すべてしきい値Ｔｈよりも小さいので、文字として分類
される。文字のラベルＨ２は非常に小さく、近接する文
字のラベルＨ３に統合しても、ラベルＨ３は大幅に大き
くなることはないので、統合される。ラベルＨ４も同様
にラベルＨ５に統合される。

【００６２】図１４は、補正手段６４による合成画像の
補正を示し、図１４（ａ）は罫線の補正に伴う文字位置
の補正を示す図であり、図１４（ｂ）は文字基線の補正
に伴う文字位置の補正を示す図であり、図１４（ｃ）は
図形位置の補正を示す図である。

【００６３】図１４（ａ）に示されるように、ラインＬ
０およびラインＬ１は罫線として分類された直線であ
り、矩形Ｒｃ０１〜Ｒｃ０３および矩形Ｒｃ１１〜Ｒｃ
１３は文字として分類されたラベルの外接矩形である。
これらの外接矩形はすべて、各辺がｘ軸およびｙ軸に平
行である。距離Ｄ１０ｃ０２は、罫線Ｌ０と矩形Ｒｃ０
２とのｙ軸方向の距離であり、距離Ｄ１１ｃ１２は、罫
線Ｌ１と矩形Ｒｃ１２との距離である。

【００６４】補正前に傾いていた罫線Ｌ０は、左端を軸
に回転を受けて、補正後にｘ軸に平行になる位置に配置
される。矩形Ｒ０１〜０３は、罫線Ｌ０とのｙ軸方向距
離を一定に保持したままｙ軸方向に平行移動される。

【００６５】図１４（ｂ）は、図１４（ａ）から罫線Ｌ
０および罫線Ｌ１を取り除いたものである。罫線がない
ので仮想した文字基線を罫線の代わりに用いて文字位置
の補正を行う。文字基線は文字の底辺を結ぶ線分として
もよいし、図１４（ｂ）のように文字の中心を結ぶ線分
ＢＬ０および線分ＢＬ１としてもよい。

【００６６】整形前に傾いていた基線をｘ軸に平行また
はｙ軸に平行に配置し直し、文字の中心を基線が通るよ
うに矩形を平行移動させる。ただし、矩形Ｒｃ０２のよ
うに外接矩形が他よりもかなり小さい句読点などの符号
では、基線との距離を保持するように平行移動させる。

【００６７】図１４（ｃ）に示される図形位置の補正で
は、大きな矩形に対して、これに最も近距離にある罫線
あるいは文字に対する相対位置を記憶しておき、罫線お
よび文字の補正の終了後に、基準とした罫線あるいは文
字に対する相対位置を保持したまま移動させる。

【００６８】図１５は、画像整形手段５２による処理を
示すフローチャートである。画像合成手段１０６から送
られて来る合成画像信号は、多値信号である場合にステ
ップｂ１で２値化される。ステップｂ２では、ラベリン
グ手段６１によって、ラベリングが行われる。

【００６９】ステップｂ３では、分類手段６２が各ラベ
ルを罫線、文字および図形に分類する。ステップｂ４で
は、合成画像のラベリングされた成分の中に罫線がある
かどうかを判断し、罫線があればステップｂ５に進み、
なければステップｂ７へ進む。

【００７０】ステップｂ５では、評価手段６３が罫線の
傾きを評価し、ステップｂ６においてその傾きを補正手
段６４が補正する。

【００７１】ステップｂ４で罫線が無いと判定される
と、ステップｂ７において、評価手段６３が文字基線の
傾きを評価して、ステップｂ８においてその傾きを補正
手段６４が補正する。

【００７２】ステップｂ６またはステップｂ８に続い
て、補正手段６４は補正された罫線および文字基線に合
わせて、ステップｂ９で文字位置を補正し、ステップｂ
１０で図形位置を補正して、全ての補正を受けた整形画
像を画像出力手段１０７へ送る。

【００７３】上述のように、静止画像撮像装置１，１０
１に画像整形手段５２を加えて、合成画像を整形するこ
とによって、歪みの認識が容易な罫線および文字基線が
水平または垂直に補正されるので、歪みの少ない被写体
画像が得られる。

【００７４】また静止画像撮像装置１，１０１に、さら
に字体補正手段７１（詳細な構成は図１６参照）を加え
て、画像合成あるいは画像整形の文字位置補正のとき
に、画像中の文字を予め記憶しておいた辞書中の文字に
置き換えてもよい。

【００７５】図１６は、字体補正手段７１の構成を示す
ブロック図である。字体補正手段７１は、認識手段７
３、置換手段７４およびメモリ７５を含んで構成されて
いる。メモリ７５は、字体および大きさ毎の文字コード
を予め記憶しておく。認識手段７３は、合成画像または
整形画像中の文字をメモリ７５に記憶された文字コード
として認識する。置換手段７４は、画像中の文字を認識
した文字コードで置換する。文字の置換をうけた画像
は、画像整形手段５２に送られてもよいし、画像出力手
段１０７に送られてもよい。また、この字体補正手段７
１による文字置換は、上記の画像整形手段５２による画
像整形と同時に行われてもよい。

【００７６】図１７は、字体補正手段７１による文字の
置換の一例を示す図であり、整形と同時に行われた置換
を示している。認識手段７３によって合成画像中の文字
「あ」は、メモリ７５に記憶されているコード番号００
０１の字体でかつ小さい方から５番目の大きさの「あ」
として認識される。認識されると置換手段７４は、合成
画像中の「あ」をメモリ７５の認識された「あ」に置き
換える。

【００７７】上述のように、静止画像撮像装置１０１に
字体補正手段７１を加えて、画像中の文字を既製の歪み
の無い文字に置換するので、文字の歪みの少ない被写体
画像を得ることができる。

【００７８】

【発明の効果】以上のように本発明によれば、被写体は
複数の画像に分割されて取り込まれ、この分割画像から
１枚の被写体画像を合成するので、１回の撮像で得られ
る被写体の画像に比べて解像度が高い。また、位置とは
無関係に周期的に撮像された画像の中で、累積移動量と
して表される撮像位置が所定領域に含まれる画像だけを
取り込むので、確実に被写体すべてを分割画像として取
り込むことができる。さらに、分割画像から１枚の被写
体画像を合成するので、結像面が大きく、かつ解像度の
高い高価なレンズは不要であり、撮像者の手で撮像手段
の撮像面を走査させるだけで、被写体の分割画像を取り
込むので、撮像手段の撮像面を走査させる駆動機構が不
要である。これによって、装置の製造コストを抑えるこ
とができる。

【００７９】また本発明によれば、撮像画像の外枠は変
換後の画像の歪みを可能な限り小さくするように変換さ
れ、それとともに画像内の点は偏りの少ない変換を受け
るので、従来の回転、拡大、縮小などのアフィン変換を
受けた画像に比べて歪みの少ない画像が得られる。

【００８０】また本発明によれば、互いに重複する画像
をパターンマッチングすることによって、上記のように
歪みの少ない画像同士を比較的滑らかに繋ぎ合わせるこ
とができる。また、変換画像の１辺または互いに隣り合
う２辺が決定されるので、２次元に配列する複数の分割
画像に対して、互いに隣り合って重複する画像を順次繋
ぎ合わせ、１枚の歪みの少ない被写体画像を合成するこ
とができる。

【００８１】また本発明によれば、歪みの認識が容易な
罫線あるいは文字基線を補正することによって、さらに
高い解像度の画像を得ることができる。

【００８２】また本発明によれば、被写体の撮像または
分割画像の合成のときに生じる歪みを有する文字を、既
製の歪みの無い文字に置き換えることによって、さらに
高い解像度の画像を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態である静止画像撮像装置
１を示すブロック図である。

【図２】図１の画像選択手段４によって選択される分割
画像とフレームメモリ５との関係を示す図である。

【図３】図１の画像選択手段４の構成を示すブロック図
である。

【図４】現画像バッファ１１および前画像バッファ１２
の画像のマッチングを示す図である。

【図５】図１の画像選択手段４の処理を示すフローチャ
ートである。

【図６】本発明の第２実施形態である静止画像撮像装置
１０１の構成を示すブロック図である。

【図７】２枚の重複画像のマッチングを示し、図７
（ａ）は互いに重複する画像３１および画像３２を示す
図であり、図７（ｂ）は参照小領域および探索小領域の
とり方を示す図であり、図７（ｃ）はマッチングの結果
を示す図である。

【図８】２次元配列した４枚の分割画像を接合する様子
を示し、図８（ａ）は画像４１〜４４の重複領域を示す
図であり、図８（ｂ）は画像４１〜４３が互いに接合さ
れた画像を示す図であり、図８（ｃ）は画像４４が画像
４２に接合された画像を示す図であり、図８（ｄ）は画
像４４が画像４３にも接合された画像を示す図である。

【図９】図８の画像４２に接合した画像４４がさらに画
像４３にも接合される変形を示し、図９（ａ）は画像４
４の外枠の変形を示す図であり、図９（ｂ）は変形前の
画像４４の内点Ｐを示す図であり、図９（ｃ）は変形後
の画像４４の内点Ｐｔを示す図である。

【図１０】静止画像撮像装置１または１０１によって文
書を撮像したときの画像の変化を示し、図１０（ａ）は
被写体としての文書原稿８１を示し、図１０（ｂ）はフ
レームメモリ５に取り込まれた分割画像８２を示す図で
あり、図１０（ｃ）は分割画像８２を互いに接合した合
成画像８３を示す図であり、図１０（ｄ）は合成画像を
整形した整形画像８４を示す図である。

【図１１】画像整形手段５２を加えた静止画像撮像装置
１０１の構成を示すブロック図である。

【図１２】画像整形手段５２の構成を示すブロック図で
ある。

【図１３】分類手段６２によって分類される罫線および
文字の一例を示す図である。

【図１４】図１４（ａ）は罫線を含む画像の整形、図１
４（ｂ）は文字基線を含む画像の整形、図１４（ｃ）は
図形を含む画像の整形をそれぞれ示す図である。

【図１５】画像整形手段５２の処理を示すフローチャー
トである。

【図１６】字体補正手段７１の構成を示す図である。

【図１７】画像中の文字とメモリ７５に記憶された文字
との関係を示す図である。

【符号の説明】

１，１０１ 静止画像撮像装置 ２，１０２ 撮像手段 ５ フレームメモリ ６，１０６ 画像合成手段 １１ 現画像バッファ １２ 前画像バッファ １３ 移動量検出手段 １４ 判定手段 １６ 前画像 １７ 現画像 ４４，４４ｂ 画像 ６１ ラベリング手段 ６２ 分類手段 ６３ 評価手段 ６４ 補正手段 ７３ 認識手段 ７４ 置換手段 ７５ メモリ ８１ 原稿 ８２ 分割画像 ８３ 合成画像 Ｈ１〜５ ラベル Ｌ０，Ｌ１ 罫線 ＢＬ０，ＢＬ１ 基線 Ｒｃ０１〜０３，Ｒｃ１１〜１３ 外接矩形 Ｄ０１ｃ０２，Ｄ１１ｃ１２ 距離

フロントページの続き (72)発明者 北村 義弘 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内

Claims (5)

【特許請求の範囲】
1. 【請求項１】 被写体を所定の周期で撮像する撮像手段
   と、 撮像された画像のうちの２枚を格納しておくバッファメ
   モリと、 バッファメモリに格納された２枚の画像の移動量を検出
   する検出手段と、 検出された移動量を累積して得られる撮像位置が所定領
   域に含まれるかどうかを判定する判定手段と、 判定手段によって含まれると判定された場合に、バッフ
   ァメモリの画像を取り込んでおくフレームメモリと、 フレームメモリの画像を繋ぎ合わせて合成画像を合成す
   る合成手段とを含んで構成されることを特徴とする静止
   画像撮像装置。
2. 【請求項２】 被写体を撮像して撮像画像を出力する撮
   像手段と、 撮像画像を変換画像に変換して、該変換画像を繋ぎ合わ
   せて合成画像を合成する合成手段とを含んで構成され、 前記撮像画像は順に頂点Ａ，Ｂ，Ｄ，Ｃによって囲まれ
   た矩形の閉領域内の画素から成り、変換画像は順に任意
   の頂点Ａｔ，Ｂｔ，Ｄｔ，Ｃｔによって囲まれた四辺形
   の閉領域内の画素から成り、撮像画像内の任意の点Ｐは
   変換画像内の点Ｐｔに変換され、該点Ｐおよび点Ｐｔを
   終点とするベクトルＶＰおよびＶＰｔは下記の変換式
   （１）および（２）を満たし、 VP ＝ u（VB−VA）＋ v（VC−VA） 0≦u，v≦1 …（１） VPt ＝ (1−v)（(1−u)VAt＋uVBt）＋ v（(1−u)VCt＋uVDt） …（２） 四辺形ＡｔＢｔＤｔＣｔの頂角および辺の長さの少なく
   とも一方の変化量を変数に持つ評価関数によって評価さ
   れる変換画像の歪みは最小であることを特徴とする静止
   画像撮像装置。
3. 【請求項３】 前記変換画像の四辺形ＡｔＢｔＤｔＣｔ
   の辺ＡｔＢｔ、辺ＢｔＣｔ、辺ＢｔＤｔおよび辺ＤｔＡ
   ｔの中の１辺または互いに隣り合う２辺は、撮像画像を
   該撮像画像に重複する領域を有する別の撮像画像にパタ
   ーンマッチングさせることによって決定されることを特
   徴とする請求項２記載の静止画像撮像装置。
4. 【請求項４】 前記合成画像中の画素を同じ連結成分ご
   とにラベル付けするラベリング手段と、 ラベル付けされた画像の連結成分をその大きさによって
   直線、文字および図形に分類する分類手段と、 分類された直線あるいは文字基線の傾きを評価する評価
   手段と、 文字の外接矩形および該外接矩形と直線との距離を保持
   して、評価された傾きの分だけ直線を回転させて補正す
   る補正手段とをさらに含んで構成されることを特徴とす
   る請求項１または２記載の静止画像撮像装置。
5. 【請求項５】 字形および大きさ毎の文字コードを記憶
   する記憶手段と、 前記合成画像中の文字を記憶された文字コードとして認
   識する認識手段と、 前記合成画像中の文字を認識された文字コードに置換す
   る置換手段とをさらに含んで構成されることを特徴とす
   る請求項１、２または４記載の静止画像撮像装置。