JP5261562B2 - 携帯用機器のカメラアプリケーション - Google Patents

Description

携帯電子機器の技術が発展し、様々な種類の機能が１つの装置に組み込まれ、これらデバイスのフォームファクターは小さくなりつつある。これら携帯電子機器は、特に、高い処理能力、仮想キーボード、携帯電話及びインターネット接続のための無線接続、及び、カメラを有する場合が多い。とりわけ、カメラは人気の付加機能であるが、これら携帯電子機器に含まれるカメラは、多くの場合、低解像度のスナップショット及び短い動画に限定されている。携帯電子機器は、小型化、軽量化及び携帯性要求されるため、より高度なカメラ機能の搭載が避けられる要因となっている。例えば、ズームレンズは重く、携帯電子機器本体よりも物理的に大きな奥行きを必要とすることから、固定焦点距離及び固定視野を有するレンズが使用されている。これらの理由から、光学ズームレンズは、小型で相対的に安価の携帯電子機器に実装することは現実的でないと考えられる。その他の分野において、バーコードアプリケーションは、一般消費者向けカメラでは利用できないが、これは、バーコードが、特定の機器用に設計されているからである。この事実が、数多くの有用なバーコードアプリケーションの実装を妨げている。

本発明の実施形態が、以下に記載する詳細な説明、及び本発明の実施形態を例示するのに使用される添付の図面を参照して理解される。

本発明の一実施形態に係る複数の内蔵式カメラレンズを有する多機能携帯型ユーザー機器を示した図である。 本発明の一実施形態に係る、レンズから光学センサへと光を向けるのに使用されてもよい光路を示した図である。 本発明の一実施形態に係る、レンズから光学センサへと光を向けるのに使用されてもよい光路を示した図である。 本発明の一実施形態に係る、レンズから光学センサへと光を向けるのに使用されてもよい光路を示した図である。 本発明の一実施形態に係る、レンズから光学センサへと光を向けるのに使用されてもよい光路を示した図である。 本発明の一実施形態に係る、２つのレンズを備えるカメラの動作方法を示したフローチャートである。 本発明の一実施形態に係る、内蔵式カメラを備える多機能携帯型ユーザー機器を示した図である。 本発明の一実施形態に係る、カメラシステムを示す図である。 本発明の一実施形態に係る、バーコードを読み取るカメラを示した図である。 本発明の一実施形態に係る、カメラを使用してバーコードを読み取る方法を示したフローチャートである。 本発明の一実施形態に係る、バーコードの値を使用する方法を示したフローチャートである。

以下の説明では、数多くの特定の詳細事項が記載される。しかしながら、本発明の実施形態は、これら特定の詳細事項がなくとも実施可能であることは明らかである。また、本明細書の説明の理解を不明瞭にしてしまうのを避ける目的から、周知の回路、構造及び技術については記載していない。

また、「一実施形態」、「ある実施形態」、「実施例」、「様々な実施形態」等の言葉は、本発明の実施形態が特定の特徴、構造及び特性を含むことを示唆するが、必ずしも全ての実施形態が、これら特定の特徴、構造及び特性を含むことを意味しない。また、ある実施形態において、他の実施形態に記載された特徴の幾つか又は全てが含まれていてもよいし、全く含まれていなくてもよい。

また、以下に記載の説明及び特許請求の範囲において、「連結（ｃｏｕｐｌｅｄ）」及び「接続（ｃｏｎｎｅｃｔｅｄ）」という言葉、並びにこれらの派生語が使用されることがある。この二つの言葉は、同義語として使用されているのではない。特定の実施例において、「接続（ｃｏｎｎｅｃｔｅｄ）」は、二つ又は二つ以上の要素が物理的に或いは電気的に直接互いに接触していることを示すのに使用され、「連結（ｃｏｎｎｅｃｔｅｄ）」は、二つ又は二つ以上の要素が、協動又は相互作用しているが、物理的或いは電気的に直接接しているか否かは問われない場合を示すのに使用されている。

また、特許請求の範囲において、共通の要素に使用される序数詞「第１の」、「第２の」、「第３の」等は、特に記載がない限り、単に同類の要素の異なる例を示しているに過ぎず、当該要素の時間的な若しくは空間的な順序、又は序列等における順番を示しているわけではない。本発明の様々な実施形態が、ハードウェア、ファームウェア、ソフトウェア、及びこれらの組み合わせにより実施可能である。また、本発明は、コンピュータ可読媒体に含まれる命令として、又は、コンピュータ可読媒体に対する命令として実施可能であり、当該命令は、明細書に記載のオペレーションを実行可能にする１つ又は複数のプロセッサによって、読み出され、実行される。コンピュータ可読媒体としては、１つ又は複数のコンピュータが可読な形式で情報を蓄積するあらゆる装置が含まれる。そのようなコンピュータ可読媒体としては、これらに限定されないが、例えば、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学式記憶媒体、フラッシュメモリ装置等の有形の記憶媒体が含まれる。

本発明の様々な実施形態は、デバイスの新規な利用方法を可能とする少なくとも１つのカメラを備える機器における新規な構成に関する。ある実施形態では、固定焦点距離を有する２以上のカメラレンズを使用して撮像された複数のデジタル画像を、機器の新規な利用を可能とするような態様で組み合わせてもよい。その他の実施形態では、カメラを備えるデバイスは、バーコード読み取り装置として機能してもよく、バーコードを、その他のデバイスへと無線的に送信してもよい及び／又はその他のデバイスに視覚的に表示させてもよい。

［ズームエミュレーション及びその他の機能のためのデュアルカメラ］
本発明に係る、異なる固定焦点距離及び対応する異なる視野角を有する２つの個別のカメラレンズの様々な実施形態を提供する。両方のレンズで同じ光景を撮像し、一方の画像を他方の画像の一部分の近接（接写）画像とすることにより、この２つの画像に様々な種類の処理を施すことができる。ある実施形態では、狭視野角は、フルサイズ（実物大）に広げられた時に許容されるデジタル解像度となるような広視野角内の最小領域と同じ範囲又はそれよりも僅かに大きい範囲にわたってもよい。このように構成することで、ある写真のフルサイズでの画像と、その他の写真の選択された部分との間での、正確なデジタル比較を行うことができると考えられる。

このような簡単な動作で、２つの写真を人間の評価者に単純に提示して、評価者が主観的にどちらが好ましい写真なのかを決定することができる。別の動作では、２つの画像を処理及び結合して、１つの単純なデジタルズームで得られる解像度よりも良好な解像度を有するズームレンズの効果をエミュレートしてもよい（すなわち、最終的に拡大されて画素の数が多くなるとしても、元の写真の不要な部分をトリミングして、元の画素を数を低減する）。立体視画像情報を生成する２つのレンズの間の距離を利用して、動き検出及び安定化を可能とするべく２つの画像を比較するといったように、その他の有益な結果を得ることもできる。

これらの機能は、２つの別の実施形態で可能となる。１つの実施形態では、各レンズが、レンズ自体に個別の画像センサを有し、必要に応じて、同時に画像を撮像する２つの個別のカメラが設けられてもよい。もう１つの実施形態では、同じ画像センサを両方のレンズに使用して、２つの画像を異なるタイミングで撮像してもよい。光学選択システムを使用して、所定の時間に、どの画像をセンサに届けるかを選択してもよい。これは様々な態様で実装することができ、これに限定されないが、例えば、１）可動反射デバイスを使用して、異なる時間に各レンズからの光路を１つの画像センサへと向ける、２）両方のレンズからの光路を同時に１つの画像センサへと向けるが、遮光デバイス（例えば、シャッター）を使用して、選択されていないレンズからの光が画像センサに到達するのを防ぐ。

２つの画像から得られる情報を、これらに限定するわけではないが、以下に記載するような様々な態様で利用してもよい。

１）客観的基準及び人間の主観的基準に少なくとも一部基づいて、２つの撮像画像のうちの１つを使用するべく選択する。

２）一方のレンズからの狭視野角の画像及び他方のレンズからの広視野角の画像を、デジタル的に処理して組み合わせて、中間の視野角の画像を生成する。単純なデジタルズーム機能では実現することが難しい場合でも、狭視野角の画像から得ることができる良好な詳細部分を使用して、広視野角画像の一部を強化することができる。同様な方法で、複数の様々な中間視野角の画像を生成することができ、光学ズームレンズで得られるであろう結果を効果的にエミュレートすることができる。ある実施形態では、この処理は、カメラ内で実行される又はカメラを備える装置内で実行され、得られた中間視野角の画像が、カメラの装置のディスプレイ部分にて、ユーザーに表示されてもよい。別の実施形態では、２つの画像が別の機器にダウンロードされた後で、この別の機器で処理が行われてもよい。

３）２つのレンズは既知の距離だけ離れて配置されているので、撮像される同じ被写体について僅かに異なる画角を有することから、立体画像情報及び効果を生成することができる。同じ大きさの視野角を有するレンズのフルサイズの画像を比較した場合と同様に、狭視野角レンズからのフルサイズの画像と、広視野角レンズからの画像の対応する部分とを比較することにより、２つの画像から直接立体視効果を生成することができきる。

４）２つの画像を別々の時に撮像する場合には、一方の画像と他方の画像との間における光景（ｓｃｅｎｅ）中の動きを、２つの撮像画像の対応する部分を比較することにより、検出してもよい。直接比較を可能とするために、一方の画像の一部分を拡大しておく必要がある場合もある。動きが検出されると、この情報を様々な態様で利用することができ、これに限定するわけではないが、例えば、１）ユーザーに通知して、ユーザーがどの動作を行うかを決定できるようにする、２）１つの画像を保持して、他方を捨てる、３）両方の画像を捨てる、４）両方の画像を保持するが、処理結果が正確でないことが考えられるため、処理を取り消す、５）画像の差分を使用する、及び、異なる時間に撮像して、動きの量及び速度を計算する。

図１は、本発明の一実施形態に係る複数の内蔵式カメラレンズを有する多機能携帯型ユーザー機器を示した図である。図示される機器１１０は、ディスプレイ１２０、第１カメラレンズ１３０及び第２カメラレンズ１４０を備える。カメラの残りの部分、及び、プロセッサ、メモリ、無線機等のハードウェア及びソフトウェア部品は、機器内に収容されており、図では見えない部分に収容されている。また、図の機器１１０は、特定の形状、比率及び外観を有し、２つ大きな面のうちの１つの特定の位置にカメラレンズが配置されているが、これは一例に過ぎず、本発明の実施形態は、この特定の物理的配置に限定されない。例えば、ある実施形態では、レンズを互いに近接して配置させて、２つの画像間の視差効果を低減させてもよい。別の実施形態では、レンズを機器の小さな面に（例えば、機器の縁部に沿って）配置させて、より長い直線的な光路となるようにしてもよい。また、別の実施形態では、レンズ１３０、１４０は、機器のディスプレイ１２０とは反対側の面に設けられていてもよく、ディスプレイが、ユーザーにとって、カメラのビューファインダとして機能するようにしてもよい。ある実施形態では、機器１１０の全体的な形状が、図示した例と全く異なっていてもよい。ある実施形態では、機器１１０は、主要な機能がカメラであって、付加的機能をほとんど有さないカメラデバイスであってもよい。その他の実施形態では、機器１１０は、カメラと関係がないその他多くの機能を備える多機能デバイスであってもよい。

図２Ａ〜２Ｄは、本発明の一実施形態に係る、２つのレンズから光学センサへと光を向けるのに使用されてもよい様々な光路を示した図である。本明細書で使用されている"レンズ"という言葉は、規定された位置に互いに配置されている光学的に反射性を有する１以上の部材を含み、これらの部材を通過した光は、特定の面に集光される。図示されているレンズ２１０は、断面図で３つの部材に分かれており、１つの両凸部材が、１つの両凹部材に取り付けられており、もう１つの両凸部材は、これら２つの部材から物理的に離間して配置されている。図示するように、レンズ２２０は、物理的に離間している２つの両凸部材を含む。これら部材はそれぞれ単独で１つのレンズと見なすこともできるが、これらレンズ部材は規定された物理的位置に互いに配置され、これらレンズ部材の集合は、同じ光線を通過させて、規定の面に集光させることができることから、本明細書では、部材の集合体を１つのレンズと称している。図示されているこれらレンズ部材の数、位置及び形状は、例に過ぎず、本発明の様々な実施形態を限定していると解釈されるべきではない。レンズに加えて、図示されていないその他の光学的構成要素がデバイスに含まれていてもよい。本明細書で使用される"光学的構成要素"という言葉は、光学的画像を特定の位置に集光させるべく、屈折及び／又は反射を通じて、光の方向を変更するあらゆる物体を含む。

図２Ａには、各レンズに対して設けられる個別の光学センサが示されている。レンズ２１０を通過した光は、第１光学センサ２３０上に焦点の合った画像を形成し、レンズ２２０を通過した光は、第２光学センサ２４０上に焦点の合った画像を形成する。ある実施形態では、光学センサは、複数の光センサからなる矩形のアレイで構成されてもよく、複数の光センサが集合的に、レンズによってアレイ上に結像された２次元画像を検出することができる。光学センサからの電気信号は、光センサによって収集された画像を表すデジタル値として格納されてもよい。

図２Ｂには、レンズ２１０及びレンズ２２０の２つのレンズに対して、１つの光学センサ２３０が設けられており、反射面２６０（例えば、鏡又はプリズム）によって、どちらの画像を光学センサに入射させるかを選択できる。反射面２６０が、図示されるような位置に配置される場合、レンズ２２０からの光は、別の反射面２５０によって反射された後、反射面２６０によって反射されて、光学センサ２３０に到達する。一方、レンズ２１０からの光は、遮断されて光学センサ２３０には到達しない。反射面２６０が、もう一方の位置に配置されている場合には、レンズ２１０からの光が妨げられることなく光学センサ２３０に到達し、レンズ２２０及び反射面２５０からの光は、光学センサ２３０とは異なる方向へと反射される。

図２Ｃは、１つの光学センサ２３０が示されており、図２Ｂに示したのと同様な２つのレンズに対して１つの光学センサ２３０が配置されているが、図２Ｂのように、可動反射デバイスを設ける必要がない。この実施形態では、物体２７０は、レンズ２１０からの光を光学センサ２３０へと反射するビーム結合器であってもよく、ビーム結合器はまた、レンズ２２０及び反射面２５０からの光を通過させて、光学センサ２３０へと入射させることができる。しかしながら、２つのレンズからの光が光学センサ２３０によって同時に検出されるのを防ぐためには、レンズ各々を遮光デバイス２８０、２９０（例えば、シャッター）と関連付ける必要があり、遮光デバイスよって、一方のレンズからの画像を遮断すると同時に、他方のレンズからの画像を検出させるようにする。レンズからの光の方向を反射器又はビーム結合器によって変更することにより、光路の大部分を、カメラの小さい"奥行き"に対して垂直な方向とし、この方向を変化させて、光を受光する角度に、光学センサ２３０を配置することによって、相対的に長い光路を非常に薄型のカメラに収めることができる。図は、実際の構成と比例するように描かれておらず、レンズを通過して反射面（又はビーム結合器）へと入射する光路の部分は、反射面（又はビーム結合器）から光学センサへと入射する光路の部分よりも短い場合がある。このＬ字型の光路を形成する技術は、本明細書に示されるレンズ及びセンサの構成の全てを含むあらゆる実現可能なレンズ及びセンサ構成で使用でき、薄型カメラに長い光路を収容することを可能とする。この技術を、ズームレンズではなく固定焦点距離のレンズと組み合わせることにより、カメラが２つのレンズを使用するか１つのレンズのみを使用するかに関わらず、非常に薄型のカメラを実現できる。

図２Ｄには、２つのセンサ及び更なる光学部材が設けられている一面フロントレンズが示されている。この実施形態において、ビームスプリッタ２７５は、レンズ２２５からの光を分割する。光の一部は、光学センサ２３０へと向かい、光の別の部分は、内部光学部材２２７を通過して光学センサ２４０に入射する。内部レンズは、焦点距離を変更して、センサ２４０に到達する画像が、光学センサ２３０に到達する画像とは異なる視野角を有するようにする。この技術では、図２Ａのレンズ２１０、２２０と同様な２つのレンズを使用する（一のセンサには広視野角を提供し、他方のセンサには狭視野角を提供する）が、２つのレンズは、光学部材を２２５において共有し、形成される画像は同軸となる（すなわち、両方の画像の中心が、撮像画像の同じ位置となる）。このように画像が同軸であるために、使用例によっては、視差を補償するために、記録画像の一方をデジタル的にシフトさせる必要がなくなる。

いかなる実施形態においても、光路は、１回以上反射されるため（例えば、図２Ｂに示す直角方向への反射のように）、長い光路を、デバイス１１０の狭い奥行き内に収容することができる。ある実施形態では、反射面は、反射器及びレンズとして効果的に機能するべく、凸形状又は凹形状を有していてもよい。本明細書の記載の大部分が、２つのレンズを使用した例についての説明であるが、更なるレンズを使用してもよい。例えば、カメラの面において、第３レンズを機器の第３縁付近に配置してもよく、それにより更に狭視野角（高倍率の拡大）の画像を提供するべく、効果的なズームを構成できる。第３レンズを、他の２つのレンズの中心同士を結んだ軸とは、ずらして配置させることにより、より信頼性の高い立体画像距離及び移動の計算を行うことができる。

図３は、本発明の一実施形態に係る、２つのレンズを備えるカメラの動作方法を示したフローチャートである。図示されるフローチャート３００では、段階３１０において、第１レンズを使用して第１画像が撮像される。この例における第１レンズは、広視野角のレンズであり、撮像された第１画像は、デジタル形式で格納されることにより、記憶される。段階３２０において、（狭視野角を有する）第２レンズを使用して第２画像が撮像され、生成された第２画像が格納される。上記したように、一般的に、複数の画像が、僅かに時間をずらして（示された順番で又はその反対の順番で）撮像されるが、２つのカメラを有する本実施形態では、同時に撮像が行われてもよい。段階３３０に示されるように、記憶された画像は、様々な態様で処理されてもよく、図3の次に続く部分に記載されている。図示されている４つの処理のうちの１つ又は複数を記憶された２つの画像に使用してもよいし、４つの処理いずれも使用しなくてもよい。

第１の処理において、格納されている２つの画像のうちの１つを、段階３４０で選択して、利用してもよい。例えば、ある風景の第１画像が、同じ風景の小さな部分的な画像である第２画像よりも、審美的に好ましいと人間が判断し、第１画像を更に編集して、この風景の美しい写真を生成してもよい。別の例では、花の接写画像である第２画像が、庭全体を写した第１画像よりも好ましいと人間が判断し、第２画像を更に処理するべく選択してもよい。ある例では、両方の画像が保存するのに望ましいと考えられて、更に利用されてもよい。

第２の処理では、ズームレンズの効果をエミュレートしてもよい。第１画像のみを使用して、単純に第１画像の一部分を選択し、その部分を最大化することによって、単純なデジタルズームを形成できるが、元の画像の画素数によって、解像度が制限されてしまうため、デジタル的に拡大された第１画像は、十分な解像度を有さない場合がある。しかしながら、第２画像は、第１画像の一部分のより詳細な描写を提供することから、段階３５０において、第２画像のより詳細なテクスチャを、第１画像のデジタル的に拡大した部分の対応する箇所に適用してもよい。更に、第１画像の部分が、第２画像の視野角の外側に位置するが、同様なテクスチャを有する（例えば、野原の草、建物のレンガ等）と判断された場合には、これらの詳細なテクスチャを、このような領域に適用してもよい。このテクスチャマッピングを、自動的に実行してもよいし、ユーザーが実行してもよい。第２画像から、より詳細な情報を第１画像に適用した後、段階３５２において、修正した第１画像をトリミング及び拡大して、元の第１画像と第２画像との間の視野角である中間視野角を提供してもよい。

段階３５０及び３５２が特定の順番で記載されたが、これらの段階は反対の順番で実行されてもよいし、３５０と３５２とを交互に切り替えて徐々に実行してもよい。例えば、広視野角レンズからの画像を、対象の領域（多くの場合、画像の中心付近）の画素解像度が受け入れられない程度に低くなるまで、デジタル的にズーム（コンピュータ的に拡大）してもよい。そして、狭視野角の画像を、広視野角の画像の対応部分に適用して、広視野角画像の画像詳細度を上げてもよい。そして、生成された画像を、更にデジタルズームしてもよい。

図３に示す第３処理では、第１レンズと第２レンズとの間の離間距離を使用して、立体画像情報を導出する。この離間距離により、同じ被写体に対して、第１画像と第２画像との間で僅かに異なる画角となる。元の視野角も異なることから、処理は、段階３６０において、第２画像を第１画像の対応する部分と比較することから始まり、段階３６２において、僅かに異なる画角に基づいて、画像に示されている１以上の被写体についての立体視情報を導出する。立体視情報を導出する方法の１つは、第２画像におけるある被写体の位置を決定し、第１画像の対応する拡大部分での同じ被写体の位置を決定することである。２つのレンズの離間距離の情報と共に、２つの画像の間での被写体の移動距離を使用することにより、カメラから被写体までの距離を求めることができる。複数の物体に対するカメラからの距離を同様な態様で求めることができ、これら複数の物体の階層的マッピングを構築することもできる。例えば、カメラから所定の距離範囲よりも外側に位置する被写体をぼやけさせることにより、より狭い被写界深度をシミュレートすることができる。別の方法では、距離画像をＧＰＳ情報と組み合わせて、周囲部分の物理的な３Ｄモデルを生成してもよい。別の例では、２つ画像（第２画像及び第１画像の対応する拡大部分）を、立体視ビューワに配置して、画像内の被写体についてのデータを導出することなく、立体視画像を提供してもよい。

第４の処理は、画像が異なる時間に撮像される場合にのみ適用され、２つの画像は、動き情報を導出するのに使用されてもよい。この情報は、カメラの動き（例えば、カメラの手振れ）を検出するのに使用されてもよく、又は、画像内の物体の動きを計算するのに使用されてもよい。両方の画像が同じ視野角を表すように、視野角を調整した後、段階３７０において、２つの画像における１以上の対応する物体の位置を比較して、これらの物体が両方の画像において同じ位置に位置しているかを判断する。同じ位置にない場合、段階３７２において、２つの画像間の位置の違いを比較し、段階３７４において、この位置の差分で間接的に示される動きの量を計算してもよい。この情報は、段階３７６において、様々な態様で利用されてもよい。

画像全体が同じ方向に移動しているように見える場合には、この移動は、画像を撮像する間にカメラの動き（例えば、意図したパン（カメラを回しての撮影）又は意図しない手振れ）によって生じたものであると仮定する。この判断は、様々な態様で扱うことができ、これに限定されないが、例えば、１）ユーザーにカメラが動いたことを通知して、ユーザーはこれに対していかなる対処をするか決定する、２）画像の更なる処理を中止する及び／又は画像を廃棄する、３）動かないカメラで撮像された画像と等価となるまで、１つの画像をデジタル的に移動して元の位置に戻す。一方、２つの画像を撮像する間に被写体が移動しているが、２つの画像の大部分は移動していないと思われる場合には、被写体が移動したと仮定する。移動量を、例えば、側方移動のようなこの被写体についての様々な動きの情報に読み替えることができる。移動の方向は、容易に判断できる。被写体までの距離が求められると、移動量を計算することができ、この情報を、２つの画像が撮像された時間に基づいて移動の平均速度に変換することができる。その他の種類の有用な情報を、画像全体又は画像の一部の明らかな移動に基づいて、求めることができる。

アプリケーションに応じて、その他の処理技術を使用してもよい。

例えば、以下のような処理技術が挙げられる。
同軸画像アライメント処理−２つのレンズの離間距離が存在するため、撮像された２つの画像は同軸ではない、すなわち、一方の画像の中心に現れる光景の一部は、他方の画像では中心からずれた位置に存在すると考えられる。この画像間の相対的な移動は、被写体に対する距離によって変化し、ズームエミュレーションのようなアプリケーションの場合には、修正する必要がある場合も存在する。製造段階における許容誤差も、２つの画像間の側方移動及び回転移動を引き起こす場合がある。このような移動の修正は、画像処理の間に行われてもよい。

光度計によるマッチング処理−画像センサ及び光学部品における製造誤差によって、輝度及び／又はクロミナンスに修正及び正規化が必要となる場合がある。

アンチエイリアス処理−個々の画像のアンチエイリアス処理−２つの画像における離散画素構造によって、特に、２つの画像間の重複する領域において、この処理が必要となる場合がある。

モーションブラー低減処理−これは、その他利用の中でも、ポストプロダクション技術として、動画に適用するのに有用である。高度にぶれたフレーム（画像が検出される間に生じた動きによる）は、ぶれたフレームの前後のフレームから動き補完及び位置補正されたクローンフレームに置き換えてもよい。一方のレンズからの画像における動きを、他方のレンズからの画像が異なる時間に撮像されて、ぶれていない場合には、同様な態様で修正することができる。その他のセンサのデータ（カメラが動いたことを示す加速度計データ等）を使用して、ぶれているフレームの候補を特定してもよい。

ノイズ低減処理−低い光源レベルで撮像された画像から、目に見えるノイズを低減するのに、様々な積分法及び信号処理技術を採用してもよい。

モザイク構築処理−複数の狭視野角のレンズを使用して複数の画像を撮像して、広視野角のレンズからの画像で描かれる領域を集合的にカバーする。前後関係を参照するのに広視野角の画像を用い、複数の狭視野角の画像をデジタル的に縫い合わせて、広視野角の画像の全体又は大半をカバーし、狭視野角の詳細度を有するデジタル画像を生成してもよい。

ユーザーメモリ補助処理−広視野角の画像を使用して、関連する狭視野角の画像についての全体的なコンテキスト（前後関係）を提供してもよく、ユーザーは、どこで画像が撮像され、どのような環境下で撮像されたかといったような狭視野角の画像についての様々な情報を思い出すことができる。また、記憶された画像は、その他の態様においてもユーザーにとって便利である。

本明細書に説明される様々な技術の多くは、ファインダ、撮影及び後処理の３つの異なるモードで使用されてもよい。ファインダモードでは、主要な被写体が画像（例えば、中程度にズームされた画像）として、カメラのディスプレイに素早く表示され、ユーザーが静止画又は動画のフレームを構成できるようにする。表示させる画像の品質としては、ディスプレイにおいて、画像の合成を行うのに十分な画質でさえあればよい。したがって、画像センサからの出力のサンプリングを低減させることができ、計算負荷を大幅に低減できる。ある実施形態では、１つのレンズからの画像のみをファインダモードで使用し、その画像はデジタル的にズームされたものであってもよい。ファインダモードでは、様々な動作を実行することができ、これに限定するわけではないが、例えば、１）ズーム設定を確認する、２）そのズームセッティングに最も適する画像（狭視野角画像又は広視野角画像）を選択する、３）好適な解像度で画像を撮像する、４）所望のズーム設定で、画像をデジタル的にズームさせる、５）ズームした画像を機器のディスプレイに表示させる。

撮影モードでは、撮像された画像からの完全な出力が、適切なメタデータと共に格納されて、高画質の画像を生成するべく処理が行われる。この動作は、これに限定されるわけではないが、例えば、１）両方の画像を最大解像度で撮像する、２）画像と関連付けられたメタデータ（時間、ＧＰＳの値、画像が撮像された時の所望のズーム設定等）を格納する、３）撮像された画像を確認するための画像をファインダに生成する（典型的には、ファインダモードで表示された画像よりも高画質であるが、後処理で表示される画質よりは低い）。

後処理モードでは、様々な画像処理方法を使用して、格納されている画像から、最終的な画像（写真）の画質を改善させることができる。このような後処理は、カメラ機器内で行われてもよいし、より処理能力の高い外部デバイスで実行されてもよい。後処理は、２つのレンズからの最初に記憶された元の画像について行われてもよいし、これら２つの記憶された画像の中間合成画像に対して後処理が行われてもよい。この動作には、これらに限定するわけではないが、例えば、以下のようなものが含まれる。１）ユーザーがズーム設定を変更（撮影時に選択されたズーム設定とは異なっていてもよい）できるようにし、新たなズーム設定で高画質の画像を生成する、２）画像記録、アンチエイリアス処理、画像全体に対する色バランス処理、グローバルテクスチャ処理、立体及び動き処理等のその他の画像処理を実行する、３）利用可能なディスプレイ画面に好適なレビュー表示を提供、４）生成した高画質画像を保存する、５）将来実行される可能性のある再処理に備えて、元のデータを記録保存する。後処理は、カメラデバイスで実行されてもよいし、別の処理デバイス又は双方の組み合わせによって実行されてもよい。

［カメラベースのバーコード読み取り装置及びディスプレイ］
本発明の様々な実施形態は、バーコードの標準的なデジタル化された画像を撮像し、バーコードにエンコードされている数字を判断する携帯型ユーザー機器に関する。また、携帯型ユーザー機器は、自身のディスプレイ画面にバーコードを表示してもよく、バーコードは様々な目的で使用されてもよい。ある実施形態では、通常のレンズは、距離の離れた被写体に焦点を合わせるが、被写体（例えば、印刷されたバーコード）を接写できるように特別に設計されたカメラレンズを使用してもよい。本明細書においては、"結像距離"という言葉は、被写体の画像のピントが合う時、すなわち、画像が、光学センサの面で結像する時の、カメラレンズの前面と被写体との距離を表す言葉として使用される。

図４は、本発明の一実施形態に係る、内蔵式カメラを備える多機能携帯型ユーザー機器を示した図である。図示する機器４１０は、ディスプレイ４２０及びカメラレンズ４３０を有する。カメラの残りの部分、及び、プロセッサ、メモリ、無線機等のハードウェア及びソフトウェア部品は、ユーザー機器内に収容されており、図では見えない部分に収容されている。また、図の機器４１０は、特定の形状、比率及び外観を有しているが、これは一例に過ぎず、本発明の実施形態は、この特定の物理的配置に限定されない。ある実施形態では、機器４１０は、主要な機能がカメラであって付加的機能をほとんど有さないカメラデバイスであってもよい。その他の実施形態では、機器４１０は、カメラと関係がないその他多くの機能を備える多機能デバイスであってもよい。例示を簡単にするため、ディスプレイ４２０及びカメラレンズ４３０は、デバイスの同じ面に示されているが、多くの実施形態において、レンズは、ディスプレイとは反対側の機器面に配置されている、又はデバイスの縁部に設けられており、ディスプレイがユーザーにとってのファインダとして機能するようになっている。ある実施形態では、機器の異なる位置に複数の異なるレンズが設けられていてもよく、複数のレンズの各々が、撮像を行う光学センサとして機能してもよい。

図５は、本発明の一実施形態に係る、カメラシステムを示す図である。図示された実施形態のカメラシステム５００は、主レンズ５１０を備え、一次レンズは、光学的画像を光学センサ５２０上に結像させる。主レンズ５１０は、１以上の光学的反射部材を含み、これらの反射部材が集合的に、離れた場所に位置する被写体の画像を、光学センサ５２０のレセプタ上に結像させる。センサ上に適切に画像を結像させることができる被写体までの距離の範囲（例えば、これは単なる例に過ぎないが、６フィートから無限縁までの範囲）が、カメラの主たる使用目的に合致するように、主レンズが選択されてもよい。光学センサ自体が、複数の光センサの矩形アレイを含んでもよく、光センサの各々が、検出される画像のたった１ピクセル分の光を検出する。ある実施形態では、それぞれがスペクトルにおける異なる色を検出する複数の光センサを集めて、集合的に、検出画像における一色の画素を形成してもよい。

光学センサ５２０によって検出された画像は、デジタル化された画像として、メモリ５３０に格納される。ある実施形態では、メモリ５３０は、画像を格納する専用のメモリであり、別の実施形態では、メモリ５３０は、その他の目的にも使用される大きなメモリの一部であってもよい。また、別の実施形態では、光学センサは、受信された画像が十分に処理されるまでの格納要素として機能してもよく、この場合、受信された画像をメモリ５３０に格納する必要がなくなる。カメラシステム５００の様々な構成要素の全体的な制御を提供する及びこれら構成要素の少なくとも一部から入力を受信するために、１以上のプロセッサ５４０を使用してもよい。ディスプレイ５６０は、様々な目的で使用してもよく、例えば、検出された画像を表示する又はすでに格納されている画像を表示するファインダとして機能させてもよい。無線機５５０は、アンテナ５５２を介して別のデバイスと無線通信を行うのに使用される。１つの目的は、画像又は画像から抽出された情報の送信であり、送信された別のデバイスは、情報を、より有用な情報を導出するのに使用することができる。様々なユーザー制御５７０を組み込んでもよく、カメラシステム５００によってどの機能を実行させるかをユーザーが制御可能としてもよい。例えば、ユーザーは、いつ撮像を行うか、ディスプレイ５６０に何を表示させるか、別のデバイスにどの情報を送信するか等を決定してもよい。

ある実施形態では、可動補助レンズ５０５を含めてもよく、カメラに近接する（例えば、一例に過ぎないが、１０インチ未満の距離）被写体にも焦点が合うようにしてもよい。補助レンズは、様々な態様で、接写位置へと移動又は接写位置から退避してもよい。例えば、レンズ５１０の光軸に垂直な方向に補助レンズが（図に示すように）スライドして、接写を行いたい時には補助レンズがレンズ５１０の光路に入るようにし（すなわち、レンズ５１０を通過した光は補助レンズ５０５も通過する）、その他の時には光路の外に位置するように構成してもよい。別の実施形態では、補助レンズ５０５は、光軸と平行な方向に移動してもよく、この場合、画像は常に両方のレンズ５０５及び５１０を通過するが、異なる位置に配置されたレンズは、カメラから離れた異なる位置に存在する被写体の焦点を適切に合わせることができる。この補助レンズは、図ではレンズ５１０の前面に配置されているが、別の実施形態では、レンズ５１０の背面に配置されてもよい。一般的に、大型で複雑なレンズアセンブリが必要となる連続的なミクロからマクロの範囲の結像距離を実現するというよりも、補助レンズは２つの動作位置のみを有して、一方の動作位置ではカメラによる接写を可能とし、もう一方の位置では、距離的に離れた被写体の撮像を可能とする。様々な技術により、補助レンズを、この２つの位置に限定して物理的に安定及び静止させ、２つの位置以外の中間の位置では物理的に不安定なため、撮像を行わないようにする（すなわち、レンズは、安定的な位置のいずれか一方に移動しようとする）ことができる。機械的な止め具を使用して、補助レンズをこの２つの位置に制限してもよく、例えば、バネ荷重力により、補助レンズが中間の位置で安定してしまうのを防いでもよい。しかしながら、これは、あくまで一例である。また、レンズ系の光学特性として、補助レンズが第１位置又は第２位置のいずれにもない時には、画像の焦点が光学センサに合わないようにしてもよい。ある実施形態では、ユーザーは、手動で、補助レンズを２つの位置のどちらかに配置させるかを選択してもよい。

別の実施形態では、レンズ５１０の結像距離を修正するのではなく、補助レンズ５０５が単独で完全に別のレンズとして、レンズ５１０と相互作用することなく接写を可能としてもよい。ある場合には、このような接写レンズは、それ自体に光学センサを備えてもよく、この場合、実質的に接写のための別のカメラを提供していることになる。また、別の実施形態では、補助レンズ５０５を省略して、レンズ５１０を単純に（図の矢印で示すように）光学センサ５２０からの異なる距離に移動させて、カメラに近い被写体でも正しく焦点が合うようにしてもよい。上記したように、レンズ５１０を２つの位置では物理的に安定化させ、その他の中間の位置では物理的に不安定な状態にする機械的な止め具又はその他の物理的な抑制物によって、接写位置及び通常撮像位置が規定されてもよい。

図６は、本発明の一実施形態に係るバーコードを読み取るカメラを示した図である。ストライプ型のバーコードが示されているが、その他の種類のバーコードを使用してもよい。図７は、本発明の一実施形態に係る、カメラを使用してバーコードを読み取る方法を示したフローチャートである。以下の説明は、図６及び図７のフローチャート７００の両方に適用される。

デバイス４１０（カメラシステム５００の構成要素を含んでいてもよい）は、最初に、段階７１０において、バーコードの画像を撮像するのに適切なモードにされる。モードに設定することにより、機器に対して様々な影響がある。これらに限定するわけではないが、例えば、１）補助レンズが、接写を行う位置に配置される、又は、接写に使用される別のカメラが起動される、２）バーコードをデコードするソフトウェアが起動される、及び、３）バーコード画像に焦点を合わせるのを補助する機能が起動される。段階７２０において、光学センサがバーコードのラベルを検出したと判断されるまで、ユーザーは、カメラをバーコードラベル６１０の正面に配置する。ある実施形態では、ユーザーは、この検出の判断を、ファインダに映された画像に基づいて行ってもよい。その他の実施形態では、画像中のラベル全体の存在が、自動的に検出されてもよい。

段階７３０、７４０において、カメラは、バーコードラベルに焦点を合わせてもよい。ある実施形態では、カメラの自動焦点合わせ機能と関連していてもよい。別の実施形態では、ユーザーは、段階７４０に記したように、画像の焦点が合うまで、ラベルからのカメラの距離を変えてもよい。必要であれば、段階７２０、７３０及び７４０は、インタラクティブに及び並行して実行されてもよい。接写の性質として、カメラの視野角が狭くなることから、ユーザーは、カメラをバーコードから正確な距離に配置することが重要となる場合がある。カメラを正確な位置に配置させるには、様々な方法がある。これらに限定するわけではないが、例えば、次のような方法がある。

１）カメラにディスプレイがファインダとして使用される場合には、ユーザーはカメラを前後に動かして、ファインダに表示される画像の焦点を合わせてもよい。すなわち、ディスプレイに表示されている画像の焦点が合っていない場合には、光学センサにおける画像も焦点が合っていない。

２）バーコードラベルを含む表面に、カメラの正面から、単純な可視画像を投射してもよい。バーコードが正しい距離に配置されると、この可視画像がそのことを示してもよい。例えば、一実施形態では、可視光の狭い光線を２つ、集光角で投射させてもよい。反射された発光点がラベル中心の１点に集束する場合に、カメラが正しい位置に配置されて、画像も中心に配置される。これに替えて、２つの複雑な画像をバーコードラベルに投射して、カメラが正しい距離に配置されると、この２つの画像が完全に重なり合うようにしてもよい。別の実施形態では、カメラが、ラベルから適切な距離に配置された時のみ、投射された画像がラベル表面で焦点を結ぶようにしてもよい。ある実施形態では、ホログラフィックの光学要素を使用して、カメラの適切な位置を判断してもよい。

３）カメラの正面から、音のパルス（可聴又は超音波）を発生させてもよい。反射された音波をカメラが受信するまでどのくらいかかるかによって、バーコードラベルまでの距離を特定することができる。

バーコード画像の焦点を合わせるのに、どの焦点合わせ技術が使用されるにせよ、ある実施形態では、ユーザーに距離が正しいことを知らせる表示を行ってもよい（例えば、ピーッという音、ＬＥＤの点灯、ディスプレイに視覚的表示等）。

カメラが正しい位置に配置されると、バーコードがカメラの視野角内に配置され、ユーザーは、段階７５０において撮像することができ、その画像に更に処理を行うべく、画像をメモリに格納する。必要であれば、撮像のために、バーコードをカメラからの光で照明してもよい。照明は、カメラに内蔵されているフラッシュユニット又はその他の光源によって行われてもよい。ある例では、この光源は、カメラの正しい結像距離を判断する時にも使用されてもよい。ある実施形態では、カメラは、印刷されたバーコードではなく、画面に表示されたバーコードの画像を記憶してもよい。画面に表示されたバーコードの場合は、異なる照明条件を考慮する必要があり、ディスプレイは自発光であることから、カメラから更なる照明が必要となる場合がある。また、ディスプレイが平滑で反射性を有する画面である場合は、実現可能な焦点合わせ方法が異なる場合がある。

撮像が終わり画像が格納されると、格納された画像は、段階７６０において分析されてバーコードの値にデコードされ（例えば、バーコードにエンコードされていた数の列）、段階７７０においてこの値がメモリに格納される。バーコードのデコーディングの複雑さは、使用されるバーコードの種類に依存する。例えば、単純なストライプ形式のバーコードの場合、バーコードの各線の幅の画素数及び隣接するバーコードの線の間の距離の画素数を測定するには、１ラスタのスキャンした線を解析するだけでよい。これらの相対的な値を、エンコードされた数のシーケンスへと変換してもよい。バーコードに、認識されたバーコードの大きさが異なる場合に、差分を補償する較正フィールドが提供されている場合には、画像の回転によって生じる明確な距離補償については、補償する必要がなく、ユーザーは、撮像時には、バーコードとカメラとの間の相対的な方向の関係を気にする必要がない。しかしながら、方向が重要になる場合には、焦点合わせ補助機能によって、撮像する前に、カメラがバーコードに対して正しい方向に向けられているかを示す視覚的表示を行ってもよい。

別の実施形態では、その他の、更に複雑な技術を使用してもよい。例えば、バーコードの中には、エンコードされた数字の列が印刷されており人間が読むことができる場合もあり、この場合には、バーコード解析は、バーコードの記号論に加えて又は記号論の解析というよりも、これら数字列のデコーディングに注目してもよい。

バーコードが読み取られデコードされると、様々な動作を実行することができる。１つの動作として、情報が将来必要になる時又はそのような状況となるまで、格納されたコードをそのまま保持しておいてもよい。別の動作としては、バーコードによって特定された対象物についての更なる情報を検索してもよい。例えば、カメラデバイスは、段階７８０において、デコードしたバーコードの情報を送信してもよく、デコードした情報には、これに限定されないが、例えば、次のような情報が含まれていてもよい。１）バーコードと関連付けられた対象物の説明、２）対象物の値段、３）対象物か幾つ存在するか、４）対象物と同じものがどこに存在しているか、４）製造情報、５）対象物のサイズ及び／又は重さ、６）対象物の使用期限、７）その他。ある動作では、段階７９０において、この情報をカメラデバイスへと送信して、格納及び／又はユーザーに表示してもよい。

デバイス４１０を使用して実装できるバーコードのその他の利用方法について記載する。図８は、本発明の一実施形態に係る、バーコードの値を使用する方法を示したフローチャートである。例えば、フローチャート８００に示すように、段階８１０において、様々なバーコードの値をデバイス４１０に入力して、段階８２０において、別の時に表示又は比較を行うために格納してもよい。様々な実施形態において、これらの情報は、無線通信を介して受信されてもよいし、キーボード又はその他の手入力デバイスを介して入力されてもよいし、バーコードを撮像することによって入力されてもよいし、デバイスと接続可能な一時的な信号ケーブルを介して受信されてもよい。

段階８３０において、上記のようにして受信されたバーコードは、これらに限定されないが、例えば、次のような利用のために、後に表示される。１）バーコードが、割引券として使用可能なクーポンを表す、２）バーコードが、公共イベントの入場券を表す、３）バーコードが、オンラインで購入した商品を表し、購入者は、近くの店で商品を受け取る、４）その他。バーコードは、様々な態様でユーザーにより提示されてもよく、これに限定されるわけではないが、例えば、以下のような態様が考えられる。１）バーコードは、ユーザーのデバイスからベンダーのデバイスへと無線で送信され、ベンダーのデータベースでコードの有効性が検証される、２）バーコードの写真がユーザーデバイスに表示され、ベンダーのデバイス（ユーザーのデバイスと同様なものであってもよい）がバーコードの写真を読み取り及びデコードする。バーコードの表示は、デバイスの主ディスプレイで行われるが、別の実施形態では、副ディスプレイに表示されてもよい。バーコードのデータがどのように伝送されるかに関わらず、ベンダーのデバイスは、自身のデータベースを介してコードの有効性を検証してもよい。

段階８４０において、ユーザーは、デバイスを使用してその他のバーコードを読み取ってもよく、段階８５０において、格納されているバーコードと比較してもよい。例えば、１つ前の段落に記載されたベンダーは、次のような態様で動作してもよい。ユーザーは、自身が探している商品のバーコードを格納し、棚に陳列されている箱のバーコードを読み取って、探している商品がその箱の中に含まれているかを検証してもよい。現実的なアプリケーションとして、本明細書に記載したような様々なバーコードの利用が考えられ、ユーザーは、特別な商業用のバーコード機器を購入する必要がない。

上記の説明は、例示することを目的としており、限定することを意図していない。当業者であれば、様々な変形例が考えうる。これら変形例についても、本発明の様々な実施形態に含まれることを意図しており、本発明は、添付の特許請求の範囲によってのみ、その範囲が制限される。

Claims (5)

1. バーコード画像を処理するカメラであって、
   光学画像を、矩形の画素アレイとして検出する光学センサと、
   前記光学センサと接続され、前記画像を、前記矩形の画素アレイの値として格納する記憶素子と、
   前記記憶素子と接続され、前記格納された画像を分析するプロセッサと、
   前記光学センサと接続される光学レンズシステムとを備え、
   前記光学レンズシステムは、前記光学レンズシステム内の少なくとも１つの光学部材について、第１位置及び第２位置を有し、
   前記光学レンズシステムは、距離的に離れた被写体を前記光学センサに結像させる主レンズを有し、
   前記少なくとも１つの光学部材は、可動副レンズを含み、
   前記可動副レンズは、前記可動副レンズが前記第１位置に配置されている時には、前記カメラが第１の距離に存在する被写体に焦点を合わせることを可能とし、前記第２位置に配置されている時には、前記カメラが第２の距離に存在する前記バーコードに焦点を合わせることを可能とし、
   前記可動副レンズは、前記第２位置に配置されている時には前記主レンズの光路に存在し、前記第１位置に配置されている時には前記主レンズの前記光路に存在せず、
   前記第１の距離は、前記第２の距離より長く、
   前記可動副レンズは、前記第１位置及び前記第２位置の間を移動する場合に、前記主レンズの前記光路に対して垂直に移動し、
   前記可動副レンズは、前記第１位置及び前記第２位置において物理的に安定しており、前記第１位置及び前記第２位置の間の位置では、物理的に不安定である、
   カメラ。
2. 前記可動副レンズが前記第１位置及び前記第２位置の間に位置する場合に、前記第１位置及び前記第２位置のいずれかに前記可動副レンズを移動させるバネ荷重力を供給する請求項１に記載のカメラ。
3. 前記主レンズと前記可動副レンズは、光学的反射部材により構成されており、前記主レンズと前記可動副レンズを通る光が前記光学センサに結像するように、前記第２位置に配置されている請求項１に記載のカメラ。
4. カメラのレンズで焦点を合わせる方法であって、
   カメラが第１結像距離で撮像することを可能とするべく、前記カメラの可動第１レンズを、第２レンズに対して、第１位置に移動させる段階と、
   前記カメラが第２結像距離で撮像することを可能とするべく、前記可動第１レンズを、前記第２レンズに対して、第２位置に移動させる段階とを備え、
   前記第１結像距離は、前記第２結像距離よりも長く、
   前記第１レンズは、前記第１位置及び前記第２位置以外の位置では物理的に不安定であり、
   前記可動第１レンズは、前記第１位置にあるときに前記第２レンズの光路に存在し、前記第２位置にあるときに前記第２レンズの光路外に位置し、
   前記第１位置と前記第２位置の間で前記第１レンズを移動させることは、前記第２レンズの光路に対して垂直に前記第１レンズを移動させることを含む
   方法。
5. 前記第１位置及び前記第２位置内の前記可動第１レンズの移動は、ユーザーによって手動で選択される請求項４に記載の方法。

Images