JP4103909B2 - 携帯情報端末及び画像処理方法 - Google Patents

Description

本発明は、画像を撮像する撮像手段と、撮像された画像のデータを処理する画像処理手段と、処理された画像データを所定の出力先に出力するデータ出力手段とを備えて構成される携帯情報端末、及び画像を撮像し、撮像した画像のデータを処理し、処理した画像データを所定の出力先に出力する画像処理方法に関する。

近年、バーコードに加えて例えばＱＲコード（登録商標）のような２次元コードの普及が進んでおり、日常生活においてそれらが使用される状況が増えつつある。その結果、バーコードや２次元コードなどを例えばカメラ機能付き携帯電話機などで撮像し、その画像を一旦ディスプレイに表示させたり或いはプリンタなどに出力して印刷させた状態のコードを、コード読取装置によって読取るというような場合がある。
しかし、上記のような状況を想定すると、撮像された情報コードの画像が不鮮明であれば、ディスプレイに表示させた、又は印刷させた状態の情報コードも不鮮明となるため、コード読取装置による読取りが失敗することになる。情報コードの画像が不鮮明になる理由は、例えば撮像する際に手ブレやピンボケが生じたり、また、エリアセンサの読取り面が情報コードの配置面に対して大きく傾いて両者が不平行の状態にあったことなどにより、撮像された情報コードの画像に歪が生じているためと考えられる。

ここで、撮像された情報コードの画像を表示手段に表示させる技術としては、例えば特許文献１に開示されているように、自動振込端末側において口座番号や預金残高などの数字情報を、ＱＲコードの配列規則に基づくビット列に変換して携帯電話機に送信し、携帯電話機が、送信されたビット列を明暗パターンに変換してＱＲコード画像をＬＣＤに表示させるようにしたものがある。
また、特許文献２には、キーボード、スキャナ、データ読出装置や、インターネットから情報をダウンロード可能なブラウザ等により取得したバーコードを、ディスプレイに表示してバーコード読み取り装置に読み取らせる場合に、ディスプレイの表示仕様に応じたレイアウトに従って、バーコードを作成・配置する技術が開示されている。
特開２００２−１１１８０９号公報 特開２００２−１１７３７２号公報

しかしながら、これらの従来技術は、何れも表示元となる情報コードの画像が不鮮明な状態にあることは想定しておらず、情報コードの画像（又はデータ）は正常であることを前提として行なう表示の制御に関するものである。従って、これらの従来技術は上記技術課題の解決に資するものであるとは言えない。
本発明は上記事情に鑑みてなされたものであり、その目的は、撮像した情報コードの画像が歪んでいる場合でも、鮮明な画像データを得て出力することができる携帯情報端末、及び画像処理方法を提供することにある。

請求項１記載の携帯情報端末によれば、撮像手段が情報コードの画像を撮像すると、画像処理手段のパターン検出手段は、その画像の明暗パターンを検査して明パターン及び暗パターンの配列を検出し、情報単位設定手段は、その明暗パターンの配列に基づき情報単位のサイズを検出すると、その情報単位のサイズに基づいて所定の形状及び所定のサイズの正規化情報単位を設定する。
更に、正規化画像生成手段は、明，暗パターンの夫々を、設定された正規化情報単位で置換して正規化画像を生成し、データ出力手段は、この生成された正規化画像を所定の出力先に出力する。従って、撮像された情報コードの画像が歪んでいたり不鮮明となっている場合でも、その情報コード画像の情報単位の形状やサイズを得て画像を正規化することで、歪みが補正された鮮明な情報コード画像データを生成して出力することができる。

請求項２記載の携帯情報端末によれば、コード種設定手段は、正規化処理対象とする情報コードの種類を予め設定し、画像処理手段の特定パターン検出手段は、上記情報コードの種類で決まる固有の特定パターンを、撮像された画像から検出された明暗パターンの配列より検出する。更に、コード種判別手段は、上記特定パターンの位置又はサイズに基づいて撮像された画像に含まれている情報コードの種類を判別し、情報単位設定手段は、判別されたコード種類に対応した形状の正規化情報単位を設定する。即ち、情報コードは、それぞれの種類に応じた固有の特定パターンを有しているので、その特定パターンを検出すれば、画像に含まれている情報コードの種類を容易に判別することができる。そして、正規化情報単位も判別した情報コードの種類に応じて設定できるので、正規化処理を迅速に行なうことができる。

請求項３記載の携帯情報端末によれば、コード種設定手段は、正規化処理を行なう対象とする少なくとも１つの情報コードの種類を設定するので、予め読取り対象として想定される情報コードの種類を特定しておくことで、種類の判別をより迅速に行なうことができる。
請求項４記載の携帯情報端末によれば、情報単位設定手段は、正規化情報単位を設定すると、その正規化情報単位のサイズと所定比率のサイズを有するパターンで構成される正規化特定パターン画像を生成し、検出された特定パターンに対応する位置に正規化特定パターン画像を配置する。即ち、情報コードの種類によっては特定パターンが情報単位のサイズと所定比率のサイズを有して構成されているものがあるので、上記のように構成すれば、特定パターンの正規化処理をより簡単に行なうことができる。

請求項５記載の携帯情報端末によれば、コード種設定手段は、情報コードの種類に応じてその配列基準方向を設定し、画像処理手段は、配列方向検出手段によって検出された情報コード画像の配列方向が上記配列基準方向に一致するように、正規化処理された画像の配列方向を修正する。従って、ユーザが撮像した情報コードの画像が、設定された配列基準方向に対して傾いていた場合でも、正規化された情報コードの画像データを配列基準方向に一致させた状態で出力することができる。

請求項６記載の携帯情報端末によれば、画像処理手段は、検出した配列方向が配列基準方向に対してなす角度が±９０度を超えている場合は、基準方向に対して９０度、又は１８０度、もしくは２７０度回転した方向に一致するように正規化処理された画像の配列方向を修正する。従って、撮像された情報コードの画像がどのような状態で傾いているとしても、正規化処理した画像の方向を、配列基準方向、又はそれを基準として９０度単位で回転させた何れかの方向に一致させることができる。

請求項７記載の携帯情報端末によれば、画像処理手段は、正規化処理された画像の配列方向を修正する際、画像を回転させる角度が最も小さくなる方向に対して一致させる。従って、撮像された情報コード画像の方向が配列基準方向に対して±９０度を超えて傾いている場合は、配列基準方向を基準として９０度単位で回転させた何れかの方向のうち撮像された状態に最も近い方向に、正規化処理した画像の方向を一致させることができる。

請求項８記載の携帯情報端末によれば、操作制御手段は、ユーザから操作指示手段を介して配列方向の修正を実行させる旨の操作指示があった場合に、画像処理手段に配列方向の修正を実行させるので、ユーザは、撮像した画像毎に配列方向の修正を実行するか否かを選択することができる。
請求項９記載の携帯情報端末によれば、操作制御手段は、撮像手段が撮像した画像のデータを表示手段に出力して表示させるので、ユーザは、表示手段に表示される画像を確認しながら画像の取込みを行なうことができる。

請求項１０記載の携帯情報端末によれば、操作制御手段は、撮像手段が撮像した画像を表示手段に表示させた場合に、併せて、正規化画像生成手段に正規化処理を実行させるか否かの選択をユーザに促すためのメッセージを表示させ、ユーザから実行させる旨の操作指示があった場合に、正規化処理を実行させる。従って、撮像した情報コード画像が鮮明だった場合には正規化処理を行なわずに、不鮮明な場合だけ正規化処理を実行するといったことが可能となる。
請求項１１記載の携帯情報端末によれば、データ出力手段は、正規化処理した画像を表示手段に出力して表示させるので、表示手段に、鮮明な情報コード画像を表示させることができる。

（第１実施例）
以下、本発明の第１実施例について図１乃至図６を参照して説明する。図６は、携帯情報端末のうち画像データ処理に関連する部分の電気的構成を概略的に示している。
図６に示すように、携帯情報端末１は、読取対象となる情報コードの記録面Ｒに対して照明光を投光するＬＥＤ２，３と、記録面Ｒの画像を撮像するためのレンズ４及びＣＣＤ５（Charge Coupled Device）とで構成された画像を撮像するための撮像手段を備えている。また、全体の制御を行なうための制御部６は、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ及びこれらを接続するバス等（何れも図示せず）を含んで構成されたもので、予め設定されたプログラムに基づいて画像処理等の各種制御を行うようになっている。

上述したＣＣＤ５の画像信号出力端子は、増幅回路７，Ａ／Ｄ変換回路８を介してメモリ１０に接続されている。ＣＣＤ５により撮像された画像信号は、増幅回路７でアナログ的に増幅され、Ａ／Ｄ変換回路８を経てデジタル信号に変換されると、メモリ１０へ出力されて記憶される。
同期信号発生回路１１は、ＣＣＤ５，アドレス発生回路１２へ同期信号を与えるようになっている。また、アドレス発生回路１２は、この同期信号に基づいたアドレス信号をメモリ１０に出力する。ＬＥＤ２，３，増幅回路７，Ａ／Ｄ変換回路８，メモリ１０及び同期信号発生回路１１は、制御部６から制御信号が与えられると共に情報の授受を行なうように構成されている。

携帯情報端末１には、各種の操作入力を行うための操作スイッチ１３（操作指示手段に相当）が設けられており制御部６により入力が受け付けられる。また、制御部６には、制御状態の表示や報知動作をするためのＬＥＤ１４，ブザー１５，液晶表示器１６（表示手段に相当）及び外部の機器との通信を行うための通信インターフェイス１７等が接続されている。また、各回路の駆動源として電池１８が配設されている。
尚、本実施例では、制御部６が画像処理手段としての各種機能（パターン検出手段，情報単位設定手段，正規化画像生成手段，特定パターン検出手段，コード種判別手段，配列方向検出手段）を有する。また、制御部６は、データ出力手段，コード種設定手段（基準方向設定手段）及び操作制御手段としても機能する。

次に、本実施例の作用について図１乃至図５も参照して説明する。尚、ここで言う「正規化」とは、図１（ａ）や図４の左側に示す画像のように、形が歪んでいたりコントラストが不鮮明となっていたりするものを、図４の右側に示すように歪みがない鮮明な画像に変換することを意味する。
また、正規化処理を行なう対象とする情報コードには、バーコード（ＪＡＮ，Ｃｏｄｅ３９，Ｃｏｄｅ１２８），ＰＤＦ４１７，ＱＲコード，マイクロＱＲコード，データマトリクス，マキシコード等がある。制御部６には、これら代表的な情報コード固有の特定パターン、例えば、データマトリクスでは、コードの外枠に配置されたＬ字のアライメントパターン（Ｌ字ガイドセル）と点線状のタイミングセル、マキシコードでは、中央に配置された２重丸のファインダパターンからその情報コードの種類が判別できるように予め設定されている。

図３は、携帯情報端末１の制御部６を中心として行われる情報コード画像の正規化処理を示すフローチャートである。まず、ＬＥＤ２，３による照明光が、情報コードが記録されたシート等の記録面Ｒに対して複数の方向から投光されると、その反射光は、レンズ４を介してＣＣＤ５の撮像面に結像される。そして、図３において、制御部６は、ＣＣＤ５により撮像された画像信号を増幅回路７，Ａ／Ｄ変換回路８を介し画像データとしてメモリ１０に取り込む（ステップＳ１）。但し、ユーザの操作によって画像の取込みが行なわれる前の段階では、制御部６は、メモリ１０内の画像データを順次液晶表示器１６に出力させて、ＣＣＤ５により撮像されている画像をそのままリアルタイムで表示させている（いわゆる、ビューファインダ機能）。一例として、図７には、携帯情報端末１を携帯電話機として構成した場合に、ビューファインダ機能が作用している状態を示す。

そして、制御部６は、メモリ１０に取り込まれた画像データのうち、その明，暗レベルから情報コードが存在している領域を推定し（ステップＳ２）、その情報コードの存在領域内において各種情報コード固有の特定パターンを検出する（ステップＳ３）。次に、制御部６は、この検出した特定パターンから情報コードの種類を判別し、判別した情報コードがバーコード等の１次元コードである場合には（ステップＳ４で「ＹＥＳ」）ステップＳ６に進み、１次元コード画像の正規化処理を実行する。
一方、判別した情報コードがＱＲコード等の２次元コードである場合には（ステップＳ５で「ＹＥＳ」）ステップＳ１１に進み、２次元コード画像の正規化処理を実行する。尚、何れの情報コードにも該当しなかった場合（ステップＳ４，Ｓ５で何れも「ＮＯ」）には、処理を終了する。また、情報コードがバーコードである場合は、ステップＳ３においてその種類も判別しておく。

まず、図２（ａ）に示すようなバーコードを正規化する処理について説明する。制御部６は、図２（ａ）に示すように、バーコード画像のバーの垂直２等分線を求めるようにしてバーの並び方向を検出する（ステップＳ６）。そして、このバーの並び方向に沿ってバー及びスペースの幅を検出すると、検出した各バー，スペースの幅の比を求め、その比が整数値となるようにまるめ処理を行なう。
例えば、最小の幅（基準寸法）を基準「１」とした場合に得られる各幅の比が、（１．２）：（１．２）：（１．１）：（２．４）：（２．４）：（２．３）：（１．１）：…であったとすれば、その比を図２（ｂ）に示すように、１：１：１：２：２：２：１：…に設定する（ステップＳ７）。そして、算出した整数比に応じて各バー及びスペースの幅を算出し（ステップＳ８）、更に、夫々のバーの長さからそれらの平均値を算出する（ステップＳ９）。尚、ステップＳ８における幅の基準も各幅の平均に相当するものに設定する。そして、制御部６は、算出した整数比の幅で、且つ算出したバーの平均長さを持つバー画像及びスペース画像のデータ、即ち正規化画像データを生成し（ステップＳ１０）、この正規化画像データを液晶表示器１６に出力して表示させる（ステップＳ１１）。

次に、図１（ａ）に示すＱＲコードのような２次元コードを正規化する処理について説明する。まず、制御部６は、検出した特定パターンの図形的特徴から情報コードの種類を特定する（ステップＳ１２）。即ち、ＱＲコードの場合、特定パターンは「切出しシンボル」である。また、特定パターンに基づいて、各情報コードを構成する情報単位の形状も決定される。即ち、ＱＲコードの場合は矩形のデータセル、マキシコードの場合は六角形のデータセルである。そして、この特定パターンの大きさ及び位置から平均的なデータセルの大きさ（基準寸法）及び縦横のデータセルの配列数を推定する（ステップＳ１３）。図１に示す場合は、切出しシンボルのサイズから、２１×２１セルのＱＲコードであると判断される。

次に、図１（ｂ）に示すように、特定パターン及びデータセルを所定位置に配置した情報コード画像データを生成する（ステップＳ１４）。ＱＲコードの場合、切出しシンボルの幅比は、セルサイズを「１」として、１：１：３：１：１となっているので、その比に応じて切出しシンボルの画像データを生成し、所定位置（図中左上隅，左下隅，右上隅の３箇所）に配置する。ただし、この時点では、データセルの位置決めを行なっているだけであり、各セルの値（白／黒）は空白（ブランク）となっている。また、図１（ｂ）では、データセルの配置を示すためにマス目を表示しているが、実処理としてマス目の線を引いた画像を生成することはない。
そして、制御部６は、図１（ｃ）に示すように、特定パターンの位置と大きさとに基づいて各データセルの明暗を検出する（即ち、各セルの画像データを二値化する）。それから、対応する位置の空白データセルを明又は暗データセル画像に置換し（ステップＳ１５）、正規化した画像データを液晶表示器１６に出力して表示させる（ステップＳ１６）。

以上のように本実施例によれば、携帯情報端末１において情報コードの画像を撮像した場合、制御部６は、その画像の明，暗パターンから、情報コードの配列と、情報単位であるデータセルサイズ又はバー幅を検出して、それらのサイズ等に基づいてデータセルサイズ又はバー幅を正規化し、正規化した情報単位に基づいて情報コード画像の正規化処理を行なうようにした。
従って、ユーザが、撮像した情報コードの画像が歪んでいたり不鮮明となっている場合でも、その情報コード画像の情報単位の形状やサイズを得て画像を正規化することで歪みが補正された鮮明な情報コード画像データを生成し、その画像データを液晶表示器１６に出力することができる。つまり、液晶表示器１６の画面上に歪がない鮮明な情報コード画像を表示させることができるので、その情報コード画像を、情報コード読取装置等に読み取らせてデコードさせれば、コード内の情報を取得することが可能となる。

また、制御部６は、撮像された情報コード画像データの明，暗パターンからその情報コードの特定パターンを検出すると、この特定パターンからその情報コードの種類を判別するように予め設定し、判別した情報コードの種類に対応したデータセルの形状やサイズ又はバー幅を設定して正規化処理するようにした。
従って、情報コードがそれぞれの種類に応じて有している固有の特定パターンさえ検出すれば、画像に含まれている情報コードの種類を容易に判別することができる。そして、正規化情報単位とするデータセルの形状やサイズ又はバー幅も判別した情報コードの種類に応じて設定できるので、正規化処理を迅速に行なうことができる。更に、制御部６は、予め正規化処理を行なう対象として想定される代表的な情報コードの種類を設定したので、情報コードの種類をより迅速に判別できる。

また、制御部６は、正規化情報単位とするデータセルサイズ、又はバー幅から、これらと所定比率のサイズとなるように正規化した特定パターン画像を生成し、撮像した画像データから検出した特定パターンに対応する位置に正規化特定パターン画像を配置するようにしたので、特定パターンの正規化処理をより簡単に行なうことができる。加えて、制御部６は、メモリ１０に取込まれた画像データを順次液晶表示器１６に出力して表示させるようにしたので、ユーザは、液晶表示器１６に表示される画像を確認しながら画像の取込みを行なうことができる。

（第２実施例）
図７乃至図１０は本発明の第２実施例を示すものであり、第１実施例と同一の部分には同一符号を付して説明を省略し、以下異なる部分についてのみ説明する。通常、カメラ機能付き携帯情報端末等を使用して情報コードの画像を撮像する場合には、ユーザが携帯情報端末１を手で持った状態で画像の取り込みが行なわれるため、撮像した情報コードの画像をそのまま液晶表示器１６に表示させると、図８や図１０に示すように傾いた画像となる場合が殆どである。そこで、第２実施例では、情報コード画像を表示させる場合の方向修正処理について説明する。

まず、バーコード画像の配列方向を修正する場合について、図７に示すフローチャートに沿って説明する。このフローチャートは第１実施例における図４の一部相当図であり、ステップＳ１０とＳ１１との間にステップＳ１７を追加したものである。第２実施例において、制御部６は、液晶表示器１６の矩形をなす表示画面の上，下辺に対して平行となる方向を、情報コード画像を表示させる場合の配列基準方向として設定している。
そして、制御部６は、ステップＳ６で検出したバーの並び方向、即ち、バーコード画像の配列方向を、上記の配列基準方向と一致させるように修正し（ステップＳ１７）、配列方向を修正した正規化画像データを液晶表示器１６に出力して表示させる（ステップＳ１１）。例えば図８に示すように、撮像したバーコード画像のバー，スペースの配列方向が、図中に破線で示す配列基準方向に対して角度α傾いている場合は、その角度αだけバーコード画像を回転させて夫々の方向が一致する（平行となる）ようにする。

次に、図１０に示すＱＲコードのような２次元コード画像の配列方向を修正する場合について、図９に示すフローチャートに沿って説明する。このフローチャートも第１実施例の一部相当図であり、ステップＳ１２とＳ１３との間にステップＳ１８を、ステップＳ１５とＳ１６との間にステップＳ１９を追加したものである。
まず、第１実施例と同様の処理により、制御部６は、撮像された情報コード画像が２１×２１セルのＱＲコードであると判断し（ステップＳ１２）、このＱＲコード画像の配列方向（即ち、データセルの２次元的な配列方向）を検出しておく（ステップＳ１８）。尚、図１０（ａ）中に示す２つの矢印がＱＲコード画像の配列方向である。その後、ステップＳ１３乃至Ｓ１５まで第１実施例と同様の処理を行ない、図１０（ｃ）に示すように正規化したＱＲコード画像データを生成する。尚、この時点では、画像の配列方向は撮像された状態と同じである。

そして、ステップＳ１９において、制御部６は、このＱＲコード画像の配列方向（ここでは、２つの切出しシンボルが左右に並ぶ方向）を、配列基準方向と一致させるように修正し、図１０（ｄ）に示すように配列方向を修正した正規化画像データを液晶表示器１６に出力して表示させる（ステップＳ１６）。即ち、図１０（ａ）に示すように、撮像したＱＲコード画像のデータセルの２次元的な配列方向が、図中に破線で示す配列基準方向に対して角度β傾いている場合は、その角度βだけＱＲコード画像を回転させて夫々の方向が一致するようにする。

以上のように第２実施例によれば、制御部６は、撮像されたバーコード、又はＱＲコードの画像の配列方向を検出して、その配列方向が設定した配列基準方向に対して傾いている場合は、正規化処理されたバーコード、又はＱＲコード画像の配列方向を、配列基準方向に一致させて修正するようにした。従って、バーコード、又はＱＲコードの画像は、液晶表示器１６の表示画面に対して傾きなく表示されるようになり、その表示されたバーコード、又はＱＲコードの画像をバーコードリーダ等に読み取らせる際に、バーコードリーダに対して液晶表示器１６を傾ける必要がなくなる。

（第３実施例）
図１１及び図１２は本発明の第３実施例を示すものであり、第２実施例と同一の部分には同一符号を付して説明を省略し、以下異なる部分についてのみ説明する。第３実施例では、バーコード及びＱＲコード画像の配列方向の修正処理を、第２実施例における図７のステップＳ１７，図９のステップＳ１９に替えて、図１２に示すフローチャートに従って実行する。
例えば、図１１に示すようなＱＲコード画像の配列方向を修正する際の処理について、説明する。まず、図１１（ａ）の左図に示すように、撮像した画像の配列方向が基準方向に対して１００度傾いていた場合、この傾きは４５度以上１３５度未満であるから（ステップＴ１で「ＮＯ」，Ｔ２で「ＹＥＳ」）ステップＴ５へ進み、制御部６は、図１１（ａ）の右図に示すように、画像の配列方向を配列基準方向に対して９０度回転させた方向に一致させるように修正する。

次に、図１１（ｂ）の左図に示すように、ＱＲコード画像が１９５度傾いていた場合、この傾きは１３５度以上２２５度未満であるから（ステップＴ１，Ｔ２で「ＮＯ」，Ｔ３で「ＹＥＳ」）ステップＴ６へ進み、制御部６は、図１１（ｂ）の右図に示すように、画像の配列方向を配列基準方向に対して１８０度回転させた方向に一致させるように修正する。また、図１１（ｃ）の左図に示すように、ＱＲコード画像が２８０度傾いていた場合、この傾きは２２５度以上３１５度未満であるから（ステップＴ１，Ｔ２，Ｔ３で「ＮＯ」）ステップＴ７へ進み、制御部６は、図１１（ｃ）の右図に示すように、画像の配列方向を配列基準方向に対して２７０度回転させた方向に一致させるように修正する。
尚、図示しないが、撮像した画像の傾きが−４５度以下（３１５度以上）で４５度未満である場合には（ステップＴ１で「ＹＥＳ」）ステップＴ４へ進み、制御部６は、第２実施例と同様に、画像の配列方向を配列基準方向に一致させるように修正する。

以上のように第３実施例によれば、制御部６は、正規化処理されたバーコード、又はＱＲコード画像の配列方向を、配列基準方向、もしくは配列基準方向を基準として９０度単位で回転させた方向のうち、傾きを修正するために画像を回転させる角度が最も小さくなるような方向に一致させて修正するようにした。
即ち、正規化処理したバーコード、又はＱＲコード画像の配列方向を、撮像した時の状態に最も近い配列方向に一致させることができ、ユーザにとって違和感がより少ない状態で、正規化処理されたバーコード、又はＱＲコード画像を液晶表示器１６に表示させることができる。

（第４実施例）
図１３は本発明の第４実施例を示すものであり、以下第１実施例と異なる部分についてのみ説明する。第４実施例では、ユーザが情報コード画像の正規化処理を実行させるか否かを選択するように構成した場合を示す。図１３は、第１実施例における図３の一部相当図であり、ステップＳ１とステップＳ２との間にステップＳ２０を挿入したものである。
即ち、制御部６は、バーコード、又はＱＲコード等を撮像してその画像データをメモリ１０に取り込んだ後、ステップＳ２０において、液晶表示器１６に、撮像した画像データの正規化処理を実行するか否かの選択をユーザに促すためのメッセージを表示させる。そして、ユーザから操作スイッチ１３等を介して実行させる旨の指示があった場合には（ステップＳ２０で「ＹＥＳ」）、ステップＳ２以降の処理を実行する。一方、ユーザにより正規化処理を実行させない旨の指示があった場合は（ステップＳ２０で「ＮＯ」）、そのまま処理を終了する。

以上のように第４実施例によれば、携帯情報端末１において、液晶表示器１６に正規化処理を実行するか否かの選択をユーザに促すためのメッセージを表示させ、ユーザが操作スイッチ１３等を操作して実行させる旨の指示を行なった場合に、正規化処理を実行するようにした。従って、ユーザは、例えば撮像した情報コード画像が鮮明だった場合には正規化処理を行なわず、不鮮明な場合だけ正規化処理を実行するというように選択することが可能となる。

本発明は上記し、且つ、図面に記載した実施例にのみ限定されるものではなく、次のような変形または拡張が可能である。
正規化情報コード画像の出力先を液晶表示器１６としたが、正規化した画像データをプリンタ等に出力し、紙等に印刷して正規化情報コード画像を出力するようにしても良い。
第２、及び第３実施例の情報コード画像の傾きを修正する処理において、制御部６は、修正処理を行なう前に、第４実施例と同様に、液晶表示器１６に修正処理を実行するか否かの選択をユーザに促すためのメッセージを表示させ、ユーザが操作スイッチ１３等を操作して実行させる旨の指示を行なった場合に、画像の傾きを修正するようにしても良い。斯様にすれば、ユーザが意図して情報コード画像を傾いた状態で撮像した場合は、正規化した画像を液晶表示器１６にそのまま表示させることができる。
第３実施例で情報コード画像の傾きを修正する処理において、撮像した画像の傾き度合いを判定する境界の「以上」を「超える」に変更すると共に、「未満」を「以下」に変更しても良い。
また、第３実施例において、例えば、撮像した画像の配列方向の基準方向に対する傾きが０度〜９０度の場合には画像の配列方向を基準方向に一致させ、９０度〜１８０度の場合は基準方向に対して９０度回転させた方向に一致させ、１８０度〜２７０度の場合は基準方向に対して１８０度回転させた方向に一致させ、２７０度〜３６０度の場合は基準方向に対して２７０度回転させた方向に一致させるようにしても良い。

制御部６は、正規化情報単位とするデータセルサイズ、又はバー幅から、これらと所定比率のサイズとなるように正規化した特定パターン画像を生成するようにしたが、正規化情報単位とするデータセルサイズ、又はバー幅を複数設定して、これらに基づいて正規化した特定パターン画像を生成するようにしても良い。
制御部６は、情報コードの読取りを行なう直前に、その情報コードの種類を１つだけ特定しても良い。また、読取り対象とする情報コードを特定せずとも、想定されるもの全てを常時読取り対象としても良い。
ビューファインダ機能は、必要に応じて設けるようにしても良い。
各実施例では、制御部６を中心としてソフトウェアにより処理するようにしたが、この処理内容を、ゲートアレイのようなハードウェアによって実現しても良い。
制御部６が、情報コードをデコードする機能を備えていても良い。

本発明の第１実施例であり、ＱＲコード画像の正規化処理を示す図 バーコード画像の正規化処理を示す図 携帯情報端末の制御部が、情報コード画像を正規化する処理内容を示すフローチャート 正規化処理の概念を説明する図 ビューファインダ機能を説明する図 携帯情報端末の画像処理に関する電気的構成を示すブロック図 本発明の第２実施例を示す図３のバーコード処理に対応する一部相当図 図２（ａ）相当図 図３の２次元コード処理に対応する一部相当図 本発明の第２実施例を示す図１相当図 本発明の第３実施例を示す図１０相当図 図７のステップＳ１７、又は図９のステップＳ１９相当図 本発明の第４実施例を示す図３相当図

符号の説明

図面中、１は携帯情報端末、２，３はＬＥＤ（撮像手段）、４はレンズ（撮像手段）、５はＣＣＤ（撮像手段）、６は制御部（画像処理手段,データ出力手段,コード種設定手段，操作制御手段）、１３は操作スイッチ（操作指示手段）、１６は液晶表示器（表示手段）を示す。

Claims (19)

1. 画像を撮像する撮像手段と、撮像された画像のデータを処理する画像処理手段と、処理された画像データを所定の出力先に出力するデータ出力手段とを備えて構成される携帯情報端末において、
   前記画像処理手段は、
   前記撮像手段が情報コードの画像を撮像した場合に、その画像の明暗パターンを検査して明パターン及び暗パターンの配列を検出するパターン検出手段と、
   検出された明暗パターンの配列に基づいて明パターン及び／又は暗パターンの基準寸法である情報単位のサイズを検出し、検出した情報単位のサイズに基づいて所定の形状及び所定のサイズの正規化情報単位を設定する情報単位設定手段と、
   前記パターン検出手段によって検出された明暗パターンの配列に基づいて、その明，暗パターンの夫々を、前記情報単位設定手段によって設定された正規化情報単位で置換して正規化画像を生成する正規化処理を行なう正規化画像生成手段とを備え、
   前記データ出力手段は、生成された正規化画像を所定の出力先に出力することを特徴とする携帯情報端末。
2. 前記正規化画像生成手段が正規化処理を行なう対象とする情報コードの種類を設定するコード種設定手段を備えると共に、
   前記画像処理手段は、
   前記コード種設定手段に設定された情報コードの種類によって決まる固有の特定パターンを、撮像された画像の中から前記パターン検出手段によって検出された明暗パターンの配列より検出する特定パターン検出手段と、
   検出された特定パターンの位置又はサイズに基づいて、前記撮像された画像に含まれている情報コードの種類を判別するコード種判別手段とを備え、
   前記情報単位設定手段は、判別されたコード種類に対応した形状の正規化情報単位を設定することを特徴とする請求項１記載の携帯情報端末。
3. 前記コード種設定手段は、前記正規化画像生成手段が正規化処理を行なう対象とする少なくとも１つの情報コードの種類を設定することを特徴とする請求項２記載の携帯情報端末。
4. 前記情報単位設定手段は、正規化情報単位を設定すると、その正規化情報単位のサイズと所定比率のサイズを有するパターンで構成される正規化特定パターン画像を生成し、
   前記正規化画像生成手段は、前記特定パターン検出手段によって検出された特定パターンに対応する位置に、前記正規化特定パターン画像を配置することを特徴とする請求項２又は３記載の携帯情報端末。
5. 前記コード種設定手段は、情報コードの種類に応じてその配列基準方向を設定する基準方向設定手段を備え、
   前記画像処理手段は、
   撮像された情報コード画像の配列方向を検出する配列方向検出手段を備え、
   検出された配列方向が前記配列基準方向に一致するように、正規化処理された画像の配列方向を修正することを特徴とする請求項２乃至４の何れかに記載の携帯情報端末。
6. 前記画像処理手段は、検出された配列方向が前記配列基準方向に対してなす角度が±９０度を越えている場合は、基準方向に対して９０度、又は１８０度、もしくは２７０度回転した方向に一致するように正規化処理された画像の配列方向を修正することを特徴とする請求項５記載の携帯情報端末。
7. 前記画像処理手段は、正規化処理された画像の配列方向を修正する際、前記画像を回転させる角度が最も小さくなる方向に対して一致させることを特徴とする請求項６記載の携帯情報端末。
8. 前記画像処理手段を操作して制御する操作制御手段と、
   ユーザが操作指示を入力するための操作指示手段とを備え、
   前記操作制御手段は、前記操作指示手段を介して前記配列方向の修正を実行させる旨の操作指示があった場合に、前記画像処理手段に前記修正を実行させることを特徴とする請求項５乃至７の何れかに記載の携帯情報端末。
9. 前記画像処理手段及び前記データ出力手段を操作して制御する操作制御手段と、
   画像表示を行なう表示手段とを備え、
   前記操作制御手段は、前記撮像手段が撮像した画像のデータを前記表示手段に出力して表示させることを特徴とする請求項１乃至８の何れかに記載の携帯情報端末。
10. ユーザが操作指示を入力するための操作指示手段を備え、
    前記操作制御手段は、前記撮像手段が撮像した画像を前記表示手段に表示させた場合に、併せて、前記正規化画像生成手段に正規化処理を実行させるか否かの選択をユーザに促すためのメッセージを表示させ、前記操作指示手段を介して実行させる旨の操作指示があった場合に、前記正規化画像生成手段に正規化処理を実行させることを特徴とする請求項９記載の携帯情報端末。
11. 前記データ出力手段は、前記正規化画像生成手段によって正規化処理された画像データを、前記表示手段に出力して表示させることを特徴とする請求項９又は１０記載の携帯情報端末。
12. 画像を撮像し、撮像した画像のデータを処理し、処理した画像データを所定の出力先に出力する画像処理方法において、
    撮像した画像の明暗パターンを検査して明パターン及び暗パターンの配列を検出し、
    検出した明暗パターンの配列に基づいて明パターン及び／又は暗パターンの基準寸法である情報単位のサイズを検出し、検出した情報単位のサイズに基づいて所定の形状及び所定のサイズの正規化情報単位を設定し、
    検出した明暗パターンの配列に基づいて、その明，暗パターンの夫々を、設定された正規化情報単位で置換して正規化画像を生成する正規化処理を行ない、
    生成された正規化画像を所定の出力先に出力することを特徴とする画像処理方法。
13. 前記正規化処理を行なう対象とする情報コードの種類を予め設定し、
    設定された情報コードの種類によって決まる固有の特定パターンを、前記撮像した画像の中から検出された明暗パターンの配列より検出し、
    検出した特定パターンの位置又はサイズに基づいて、前記撮像した画像に含まれている情報コードの種類を判別し、
    判別されたコード種類に対応した形状の正規化情報単位を設定することを特徴とする請求項１２記載の画像処理方法。
14. 前記正規化処理を行なう対象とする少なくとも１つの情報コードの種類を設定することを特徴とする請求項１３記載の画像処理方法。
15. 前記正規化情報単位を設定すると、その正規化情報単位のサイズと所定比率のサイズを有するパターンで構成される正規化特定パターン画像を生成し、
    前記検出された特定パターンに対応する位置に、前記正規化特定パターン画像を配置することを特徴とする請求項１２乃至１４の何れかに記載の画像処理方法。
16. 情報コードの種類に応じてその配列基準方向を設定し、撮像された情報コード画像の配列方向を検出すると、
    検出した配列方向が前記配列基準方向に一致するように、正規化処理された画像の配列方向を修正することを特徴とする請求項１２乃至１５の何れかに記載の画像処理方法。
17. 前記検出した配列方向が前記配列基準方向に対してなす角度が±９０度を超えている場合は、基準方向に対して９０度、又は１８０度、もしくは２７０度回転した方向に一致するように正規化処理された画像の配列方向を修正することを特徴とする請求項１６記載の画像処理方法。
18. 前記正規化処理された画像の配列方向を修正する際、前記画像を回転させる角度が最も小さくなる方向に対して一致させることを特徴とする請求項１７記載の画像処理方法。
19. 前記正規化処理した画像を、表示手段に出力して表示させることを特徴とする請求項１２乃至１８の何れかに記載の画像処理方法。
    
    

Images