JP5062861B2 - ローリングバンドシャッタを用いた画像捕捉装置 - Google Patents

ローリングバンドシャッタを用いた画像捕捉装置 Download PDF

Info

Publication number
JP5062861B2
JP5062861B2 JP2009516604A JP2009516604A JP5062861B2 JP 5062861 B2 JP5062861 B2 JP 5062861B2 JP 2009516604 A JP2009516604 A JP 2009516604A JP 2009516604 A JP2009516604 A JP 2009516604A JP 5062861 B2 JP5062861 B2 JP 5062861B2
Authority
JP
Japan
Prior art keywords
digital
digital values
values
image
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009516604A
Other languages
English (en)
Other versions
JP2009542108A (ja
Inventor
シー. ジョン、ジョージ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Original Assignee
Motorola Mobility LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Mobility LLC filed Critical Motorola Mobility LLC
Publication of JP2009542108A publication Critical patent/JP2009542108A/ja
Application granted granted Critical
Publication of JP5062861B2 publication Critical patent/JP5062861B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00037Detecting, i.e. determining the occurrence of a predetermined state
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00068Calculating or estimating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00071Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for characterised by the action taken
    • H04N1/00082Adjusting or controlling
    • H04N1/00087Setting or calibrating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、一般に画像捕捉装置に関し、より詳細には、画像を捕捉する際の装置の動きを補正するためのローリングバンドシャッタを用いた画像捕捉装置に関する。
写真撮影は技術の進歩により人気が急増している。デジタルカメラおよびデジタル画像は、写真撮影に対する新たな興味を増幅させている。以前から、画像捕捉の唯一の方法は、フィルムカメラを使用することであった。使用者はカメラを被写体へ調整して向け、その後、写真を撮影した。使用者は、フィルムをカメラから取り出し、現像所へ持って行き、フィルムが現像されるまでは、そのとき写真がどのように撮れているか分からなかった。
デジタルカメラは、写真撮影作業を大幅に改革した。デジタルカメラを用いることによって、人はカメラを向けて撮影すると、フィルムを現像する必要なく、ディスプレイ上に即時に現れた画像を見ることができる。その上、写真が企図したようにならない場合、使用者は記憶領域から電子画像を造作なく消去し、再び撮影する。デジタル写真撮影に付随する効率性と低コストは消費者に対して非常に訴求力がある。実際、非常に魅力的であるため、デジタルカメラは携帯電話を含む、全ての型の電子デバイスに登場している。
写真撮影に関連するひとつの課題は、しかしながら、カメラの振動に関するものである。カメラの振動は、写真撮影の際カメラに微妙な動きがあるときに発生する。この動きは、被写体を不鮮明に、または焦点がずれて見えるようになる可能性がある。この課題は、画像センサの露出時間の長くなる光量の少ない状況において最も顕著である。カメラと装置は時に非常に小型であり、非常に軽量であるため、この課題はデジタル写真撮影にも同様に悪影響を及ぼす。ポケットに簡単に納まる軽量な装置は、携帯に適する一方で、写真撮影の際、特に光量の少ない状況において、完璧に安定して保持することが時に難しい。
次に図1を見ると、写真を撮影する過程における先行技術のデジタル画像捕捉装置101が説明されている。線102で示すように、デジタル画像捕捉装置101は、被写体103の画像捕捉の間、微妙に動いていた。この動きは、使用者の手の動き、使用者が乗っている乗り物の動き、風、または他の原因によるものである可能性がある。原因に関わらず、結果は画像104に明らかなように、被写体は不鮮明で焦点がずれているように見える。
カメラ振動問題の一先行技術における解決法は、被写体の写真を複数撮ることである。一度数枚の写真を撮ると、カメラの振動による不鮮明な部分を消去するために、相互に平均化することができる。この解決法における課題は、しかしながら三つある。一つ目には、複数の画像を撮影する過程において、これらの画像を格納するための大量の記憶領域が必要となる。二つ目には、複数の画像を撮影する過程には時間がかかる。被写体が生きている、例えば、動物や人間である場合、被写体は複数枚の写真撮影過程の間、動く可能性がある。三つ目には、カメラの解像度が一般に4から6メガピクセルの範囲であるため、6メガピクセルの複数枚の画像を平均化するには甚大な処理能力が必要であり、これは画像捕捉装置全体のコストを増大させる。
そこで、少ない記憶領域および、より短い露出時間でカメラの振動を補正する、改良された画像捕捉装置と方法が必要である。
図面中の構成要素は簡潔かつ明確となるように説明されており、必ずしも一定の縮尺で描かれていないことは、当業者に理解されるであろう。例えば、図面中の一部の構成要素の寸法は、本発明の実施形態についての理解の向上を助けるために、他の構成要素と比較して誇張して描かれている。
本発明に関連した詳細な実施形態の説明に先立ち、実施形態は、画像補正のためのローリングバンドシャッタの実行に関連する方法ステップおよび装置構成要素の組み合わせに主として属するものであることを注意すべきである。従って、本明細書の記載により利益を得る当業者にとって容易に理解されるだろう本開示の詳細な記載を不明瞭なものとしないために、本発明の実施形態の理解に関連のある特定の詳細のみを表すように、装置構成要素と方法ステップは図において慣習的な符号により割り当てられ示されている。
本明細書で説明される発明の実施形態は、単数または複数の従来のプロセッサと、非プロセッサ回路と連動して、ローリングバンドシャッタ、画像補正、およびカメラ振動補正機能の一部、大部分、または全てを実装するための単数または複数のプロセッサを制御する独自の内蔵プログラム命令から成っていることが理解されるだろう。非プロセッサ回路は、ラジオ受信機、ラジオ変換器、信号駆動部、クロック回路、電源回路、およびユーザー入力デバイスを含み得るが、これらに限られるものではない。そのようなこれらの機能は、ローリングバンドシャッタを用いた画像捕捉およびカメラの動き補正を実施するための方法のステップとして説明されることが可能である。あるいは、一部の、または全ての機能は、内蔵プログラム命令を有さない状態機械により、あるいは、各機能あるいは特定の機能のある組み合わせがカスタムロジックとして実装されている単数または複数の特定用途向け集積回路において実装されることが可能である。さらに、当業者は、本明細書で開示されている技術思想と原理によって導かれるならば、可能な限りの顕しい努力と動機付けとなる多くの設計上の選択、例えば使用可能な時間、現在の技術、および経済的な考慮にかかわらず、最小限の実験でこのようなソフトウェア命令、プログラム、および回路を容易に作り出せることが予期される。
本発明の実施形態は、これより詳細に説明される。図面の参照に際しては、同様の番号は、図面を通じて同様の部分を示す。明細書の説明および特許請求の範囲を通じて用いられるように、以下の語は、文脈において別の方法で指示されない限り、ここで明確に関連付けられた意味を持つ。第1および第2、上部および底部、およびそれに類するような相関的な言葉は、そのような項目または作用の間に必ずしも実際にそのような関係や順番を必要とせず、あるいは意味することなく、ある項目または作用を、別の項目または作用と区別するために単独で用いられ得る。同様に、明細書において丸括弧で示される参照識別子は、説明されている図面以外の図中に示される構成要素を示す。例えば、図Aを説明している際に、デバイス(10)について言及することは、図A以外の図において示される要素10を参照することである。
本明細書で図示および説明されるように、ローリングバンドシャッタを利用する画像捕捉装置は、画像捕捉時の動きを補正するための装置および方法を提供する。上述の複数枚の写真を撮る方法とは対照的に、本発明の一実施形態においては、デジタル画像センサはローリング電子シャッタを用いており、そこでは、ほんの数列の画素、またはフォトサイトが、任意の場所における入射光を時間内にデジタル化処理するために活性化されている。この活性化されたフォトサイトの「バンド」は、デジタル画像センサ中を走査し、その結果、入射光に対応したデジタル値を連続的に取得する。任意の時間におけるバンド幅は、露出時間に影響する。
本発明の一実施形態において、多重であって部分的には同時の読み取り走査が画像の捕捉に用いられる。これらの多重読み取り走査は、デジタル画像センサの一部分の幅によって時間的に分離される。第2の読み取り走査が、第1の読み取り走査によって既に捕捉されている画素またはフォトサイトからデジタル値を得る場合、画像捕捉過程におけるデジタル画像センサの任意の動きを測定するために、同じフォトサイト位置から得られた二つのデジタル値を比較することが可能である。読み取り走査は部分的に同時に行われるため、補正のためのデータ格納に要する記憶領域はより少ない。一実施形態においては、存在する可能性のある雑音をさらに低減するために、各読み取り走査からのデータを動き補正を行った後に平均化することが可能である。センサの動きは、バンド自身から見積もるか、または外部デバイスから得ることが可能である。本発明の実施形態は、従って、動きによる不鮮明さを補正するだけでなく、全体の信号対雑音比を改善することもできる。
次に図2を見ると、本発明の一実施形態と関連した画像捕捉装置202を備える携帯用電子機器201の一実施形態が説明されている。説明のために、図2の典型的な実施形態は、例えば携帯電話または無線電話機のような通信機器である。本発明の一応用は、集積されたデジタルカメラを有する通信機器の応用である。しかしながら、本開示による利益を有する当業者にとって、本発明はそのように限られたものでないことは明らかである。携帯型コンピュータ、デジタルカメラ、ゲーム機器、およびそれに類するものを含む他のデバイスは、同様に本発明の実施形態、およびそれと同等のものを用いることが可能である。
画像捕捉装置202は、デジタル画像センサ203を含む。デジタル画像センサ203は、電荷結合画像センサ、相補型金属酸化膜半導体デバイス画像センサ、または他の型の画像センサとすることができ、デジタル画像センサ203に沿って配置された複数のフォトサイト204を有する。各フォトサイト204は、受光し、その光をデジタル電子データへ変換する電子または半導体デバイスである。
プロセッサ205または制御回路は、デジタル画像センサ203に接続されている。プロセッサ205は、マイクロプロセッサ、プログラム可能な論理回路、または命令コードの集合を実行するその他のデバイスとすることが可能であり、デジタル画像センサ203の読み取り走査を実行する。プロセッサ205が、マイクロプロセッサまたは他の同等のデバイスである場合、記憶領域206または記憶モジュールは、読み取り走査および画像補正実行のための命令コードセットを有する内蔵のソフトウェアを格納するために含まれることが可能である。
データ捕捉モジュール207は、ここでは内蔵のファームウェアとして示されているが、ハードウェアデバイスとすることも可能であり、フォトサイト204の多重読み取り走査を開始するように構成されている。多重読み取り走査は、任意の回数の読み取り走査を含むことができる。例えば、説明のためにここでは二回の読み取り走査が説明されているが、三回、四回、またはそれ以上の回数の読み取り走査を同じように用いることが可能である。
各読み取り走査により、複数のフォトサイト204上への入射光に対応したセットのデジタルデータ値が得られる。一実施形態においては、図2においてフォトサイトの帯として示されている多重読み取り走査208および209は、少なくとも部分的に同時に行われる。部分的に同時とは、第2の読み取り走査209が、第1の読み取り走査208が発生している期間の少なくとも一部の間、発生していることを意味する。すなわち、部分的に同時とは、少なくとも第2の読み取り走査が、先行する読み取り走査の完了に先立って開始されることを意味する。
各セットのデジタル値、すなわち、第1の読み取り走査208から得られた第1のセットのデジタル値210、および第2の読み取り走査209から得られた第2のセットのデジタル値211は、デジタル画像センサ203により受信した画像の少なくとも一部分を形成する。これらのセットのデジタル値210および211は、バイナリデータとして記憶領域206に格納されることが可能である。プロセッサ205は、表示モジュール212に表示するために記憶領域206からバイナリ画像データを読み出すことが可能である。
プロセッサ205と共に動作可能な画像構築モジュール213は、第1のセットのデジタル値210の個々の値と、対応する第2のセットのデジタル値211の個々の値との間の差分を補正するために構成されている。すなわち、第1の読み取り走査208により特定のフォトサイトからデジタル値が受信された場合、そのデジタル値は、第2の読み取り走査209の間に同じフォトサイトから得られたデジタル値と比較されることが可能である。第1のセットのデジタル値210の個々の値と、対応する第2のセットのデジタル値211の個々の値とを比較することによって、動き量を推定することが可能である。そのような動き推定は、第1のセットのデジタル値210と第2のセットのデジタル値211との間でモーメントを測定することによって実施することが可能である。デジタルデータを比較することによる動き推定は、公知技術である。例えば、1992年10月20にニイハラ(Niihara)に対して発行された「動き画像データ補正システム」と題する米国特許第5,157,742号、2005年5月10日にオーヤン(Auyeung)他に対して発行された「多重位相動き推定システムと方法」と題する米国特許第6,891,890号、および2005年8月23日にオーヤン(Auyeung)他に対して発行された「既定の画素パターンとサブパターンを用いた動き推定」と題する米国特許第6,934,332号において、様々な方法を知ることができ、これらは、参照によって本明細書に引用されたものとする。画像構築モジュール213と連動して、プロセッサ205は、第1のセットのデジタル値210の個々の値と第2のセットのデジタル値211の個々の値を比較することにより携帯用電子デバイス201の動きを補正するように構成される。
次に図3、図4、および図5を見ると、本発明の一実施形態と関連して、補正された画像を得るための、デジタル値の格納および処理と共に行われるデジタル画像センサ203の読み取り走査208および209の時間経過図が説明されている。まず図3からはじめると、デジタル画像センサ203は、花の具体例として示されている被写体401からの入射光を受光する。説明を簡潔にするために、デジタル画像センサは、A〜Kの小区分に図式的に分けられており、これらは、デジタル画像センサ上のフォトサイト204の群を表す。十一個の小区分が示されているが、一連の単数または複数のフォトサイト204は、任意の一つの小区分を構成することが可能であるため、数メガピクセルの解像度を有するデジタル画像センサ203は、遥かに多数の小区分を含むことが可能である。
第1の読み取り走査208がデジタル画像センサ203を通過して、第1のセットのデジタル値211が得られる。第2のセットのデジタル値210は、記憶領域中の第1のバッファ402に格納される。図3に示すように、第1の読み取り走査208が小区分Aから小区分Eまで進行し、その後、対応するデジタル値210は、第1のバッファ402内に配置される。
第2の読み取り走査はまだ開始していないので、第2のバッファ403にはデジタル値が存在しない。同様に、デジタル値間の比較も行われていないので、最終的な画像のデジタル値を最後に含むことになる第3のバッファ404にも、デジタルデータは格納されていない。
説明を分かり易くするために、各バッファの画像表示が同様に示されている。例えば、画像405は、第1のバッファ402に格納されたデジタル値に対応する画像を説明している。小区分Aから小区分Eまでのデジタル値が格納されているので、図3における第1のセットのデジタル値210は、画像405において示される被写体401の部分画像を備える。この時点でバッファ403および404には値が格納されていないので、画像406および画像407は空白である。
次に図4を見ると、第1の読み取り走査208がデジタル画像センサ203を通過して、小区分Hまで進行している。第2の読み取り走査209は、デジタル画像センサ203を通過して現在進行している。第2の読み取り走査209は、第1の読み取り走査208が完了するのに先立って開始され、従って、第1の読み取り走査208と部分的に同時に行われる。
第1の読み取り走査208、および第2の読み取り走査209が進行する最中に、第1のセットのデジタル値210の個々の値は、第2のセットのデジタル値211の個々の値と比較される。例えば、第1の読み取り走査208の間、小区分Eから得られる第1のデジタル値408は、第2の読み取り走査209の間、小区分Eから得られる第2のデジタル値409と、410において比較される。この比較の間、画像構築モジュール(213)は、小区分Eから得られる第1のデジタル値408と小区分Eから得られる第2のデジタル値409との間の動き量を推定する。画像構築モジュール(213)は、この動きを補正し、第3のバッファ404へ、得られたデジタル値410を書き込む。
この比較により、第1のデジタル値210および第2のデジタル値211が、それぞれ部分画像を表示することが可能となり、その際、第1のバッファは、第2の読み取り走査209が、第1の読み取り走査208によって走査される小区分に追いつくまでしかデータを保持する必要がない。すなわち、第2の読み取り走査209は、デジタル画像センサ203の一部分の幅411だけ、第1の読み取り走査208からずれている。この一部分の幅411は、フォトサイトの集合を備え、従って、セットのデジタル値に対応し、セットのデジタル値は、一部分の幅411内に配置されたフォトサイトの量を超えるが、デジタル画像センサ203内に配置されたフォトサイトの量よりは少ない。
一例として、第1のバッファ402は、第2の読み取り走査209が小区分Eよりデジタル値を得るまで、小区分Eより後に控える一連のデータ値を保持しなければならない。この状況が発生するとすぐに、画像構築モジュール(213)は、小区分Eからのデジタル値を比較し、動きを推定し、補正し、そして第3のバッファ404へ得られた値412を書き込むことが可能となる。そして、第1のセットのデジタル値210の値と、対応する第2のセットのデジタル値211の値は、記憶領域206から消去されることが可能となる。
図4を見ると、第1のバッファ402、第1のセットのデジタル値210は、小区分E、F、G、およびHからのデジタル値を備える。これらのデジタル値は、画像405で示される部分画像を備える。第2のバッファ403は、その一方で、小区分Eからのデジタル値を備える第2のセットのデジタル値211を有する。これらのデジタル値は、画像406に示される部分画像に対応する。第2のセットのデジタル値211は、第1のセットのデジタル値210よりも少数の値を含む。比較され、補正されたデジタル値410は、第3のバッファ404へ書き込まれる。得られる画像は、画像407に示される。
次に図5を見ると、第1の読み取り走査(208)は完了し、第2の読み取り走査209が、デジタル画像センサ203を通過して小区分Hへ進行している。第1のバッファ402に格納される第1のセットのデジタル値210は、画像405で示される部分画像に対応する小区分H〜Kからのデジタル値を含む。第2のセットのデジタル値211は、少なくとも小区分Hからのデジタル値を含む。これらの値は、画像406で示される部分画像に対応する。画像構築モジュール(213)は、410において小区分Hのデジタル値を比較し、モーメントを測定することによって動き量を推定し、得られた値412を第3のバッファ404に書き込む。対応する画像は、画像407に示される。
第1のセットのデジタル値210の各値が対応する第2のセットのデジタル値211の個々の値と比較されると、すぐに完全な画像が第3のバッファ404に格納される。この完全な画像は、画像捕捉過程におけるデジタル画像センサの動きが補正されている。
次に図6を見ると、本発明に関連したフォトサイト群を備える画像センサを有するデジタル画像捕捉装置における動き補正のための方法の一実施形態が説明されている。ステップ601において、適切なモジュール(207、213)と連動して動作しているプロセッサ(205)がフォトサイト群の第1の読み取り走査(208)を開始する。第1の読み取り走査(208)により、フォトサイト群への入射光のデジタル化処理602の結果得られた第1のセットのデジタル値(210)が得られる。第1の読み取り走査(208)から得られた第1のセットのデジタル値(210)は、ステップ603において記憶領域(206)に格納される。
ステップ604においては、プロセッサ(205)は、第2の読み取り走査(209)を開始する。一実施形態においては、第2の読み取り走査(209)は、第1の読み取り走査(208)の完了に先立って開始される。第2の読み取り走査(209)の間の入射光のデジタル化処理605により、第2のセットのデジタル値(210)が生成され、それらはステップ606において記憶領域(206)に格納される。第1の読み取り走査および、第2の読み取り走査は部分的に同時に行われるため、第2のセットのデジタル値(211)は、第1のセットのデジタル値(210)よりも少数の値を含み得る。第1のセットのデジタル値(210)および第2のセットのデジタル値(211)は、双方とも部分画像を備える。
ステップ607においては、画像構築モジュール(213)は、画像センサの動きに起因し得る第1のセットのデジタル値(210)と第2のセットのデジタル値(211)との間の変動を補正する。図7を簡単に見ると、一実施形態においては、補正のステップ(607)は、第1のセットのデジタル値(210)を第2のセットのデジタル値(211)と比較することによる画像捕捉装置の動き量の推定701を含む。推定のステップは、第1のセットのデジタル値(210)の個々の値と、第2のセットのデジタル値(211)の個々の値との間のモーメントを測定することによって実行が可能である。推定された動き量の補正は、ステップ702で発生する。
戻って図6を見ると、ステップ608において画像構築モジュール(213)は、ステップ608において得られた画像を構築している。一実施形態においては、得られた画像をさらに改善するために、ステップ609において雑音低減フィルターを適用することが可能である。この雑音フィルターは、第1のセットのデジタル値(210)の個々の値、第2のセットのデジタル値(211)の個々の値、得られた値(412)、あるいはそれらの組み合わせに対して適用可能である。
雑音低減フィルターは、様々な形態をとることが可能である。例えば、一実施形態においては、雑音低減フィルターを適用するステップ609は、第1のセットのデジタル値(210)の個々の値と第2のセットのデジタル値(211)の個々の値の平均をとることを含むことが可能である。別の実施形態においては、雑音低減フィルターを適用するステップ609は、第1のセットのデジタル値(210)の個々の値と第2のセットのデジタル値(211)の個々の値との間の相乗平均の測定を含むことが可能である。雑音低減フィルターの適用は、得られた画像の全体の信号対雑音比を改善する助けとなる。
以上の詳述において、本発明の特定の実施形態が説明された。しかしながら、特許請求の範囲に記述する本発明の範囲を逸脱することなく、様々な修正および変更が可能であることは当業者によって了承されるものである。従って、本発明の望ましい実施形態が図解され説明されたとしても、本発明が限定されるものではない。多くの修正、変更、変形、置換、および均等物は、特許請求の範囲により定義される本発明の技術思想と範囲から逸脱することなく、当業者が想到し得るものである。従って、詳述および図面は、限定的意味というよりも説明的意味として見なされるためのものであって、このような全ての修正は、本発明の目的の範囲内に含まれることを意図されるものである。
画像捕捉時にカメラの振動を受けている先行技術の画像捕捉装置を説明する図である。 本発明に関連するローリングバンドシャッタを有する画像捕捉装置の一実施形態を説明する図である。 デジタル化処理されたデータを得るために多重読み取り走査を実行しているローリングバンドシャッタを有する画像捕捉装置の一実施形態を説明する図である。 デジタル化処理されたデータを得るために多重読み取り走査を実行しているローリングバンドシャッタを有する画像捕捉装置の一実施形態を説明する図である。 デジタル化処理されたデータを得るために多重読み取り走査を実行しているローリングバンドシャッタを有する画像捕捉装置の一実施形態を説明する図である。 本発明に関連するカメラ振動補正のための方法の一実施形態を説明する図である。 本発明に関連するカメラ振動補正のための方法の一実施形態を説明する図である。

Claims (14)

  1. デジタル画像捕捉装置であって、
    複数の小区分に分割されたデジタル画像センサであって、前記複数の小区分の各々は、前記デジタル画像センサに沿って配置された複数のフォトサイトを有している、前記デジタル画像センサと、
    前記複数の小区分の多重読み取り走査を開始して、前記複数のフォトサイトへの入射光に対応した複数のセットのデジタル値を得るように構成されたデータ捕捉モジュールであって、前記多重読み取り走査は、第1のセットのデジタル値を得るための第1の読み取り走査と、第2のセットのデジタル値を得るための第2の読み取り走査とを含み、前記データ捕捉モジュールは、前記多重読み取り走査の各々において、前記複数の小区分を順次走査する、前記データ捕捉モジュール
    前記第1のセットのデジタル値と、前記第2のセットのデジタル値との間の差分を小区分毎に補正するように構成された画像構築モジュールと
    を備え、前記第1の読み取り走査の完了に先立って、前記第2の読み取り走査が開始され、前記複数のセットのデジタル値の各セットは部分画像を備える、デジタル画像捕捉装置
  2. 前記画像構築モジュールが、前記第1のセットのデジタル値の個々の値を、前記対応する第2のセットのデジタル値の個々の値と比較することにより、前記デジタル画像センサの動き量を推定するように構成されている、請求項に記載のデジタル画像捕捉装置
  3. 前記画像構築モジュールは、前記第1のセットのデジタル値の個々の値と、前記対応する第2のセットのデジタル値の個々の値との間のモーメントを測定することにより、動き量を推定するように構成されている、請求項に記載のデジタル画像捕捉装置
  4. 前記第2のセットのデジタル値は、前記第1のセットのデジタル値よりも少数のデジタル値を含む、請求項に記載のデジタル画像捕捉装置
  5. 前記データ捕捉モジュールと接続された記憶モジュールをさらに備え、前記記憶モジュールは前記多重読み取り走査の各々から得られた両方の前記デジタル値を格納するように構成されている、請求項1に記載のデジタル画像捕捉装置
  6. 複数の小区分に分割された画像センサを備えるデジタル画像捕捉装置における動き補正のための方法であって、前記複数の小区分の各々は、フォトサイト群を有し、前記方法は、
    前記複数の小区分の順次読み取りを含む第1の読み取り走査を開始するステップであって、前記読み取り走査は、前記フォトサイト群への入射光のデジタル化処理を備える、前記第1の読み取り走査を開始するステップと、
    前記第1の読み取り走査から得られる第1のセットのデジタル値を格納するステップと、
    前記第1の読み取り走査の完了に先立って、前記複数の小区分の順次読み取りを含む第2の読み取り走査を開始するステップと、
    前記第2の読み取り走査から得られる第2のセットのデジタル値を格納するステップと、
    前記第1のセットのデジタル値と、前記第2のセットのデジタル値との間の変動を小区分毎に補正するステップと、
    画像を構築するステップと
    を備える方法。
  7. 前記補正するステップは、
    前記第1のセットのデジタル値を前記第2のセットのデジタル値と比較することによって前記画像捕捉装置の動き量を推定すること、
    前記動き量を補正することを含む、請求項に記載の方法。
  8. 前記動き量を推定するステップは、前記第1のセットのデジタル値の個々の値と前記第2のセットのデジタル値の個々の値との間のモーメントを測定することを含む、請求項に記載の方法。
  9. 雑音低減フィルターを、前記第1のセットのデジタル値、前記第2のセットのデジタル値、またはそれらの組み合わせの値に対して適用することをさらに含む、請求項に記載の方法。
  10. 前記第1のセットのデジタル値、前記第2のセットのデジタル値、およびそれらの組み合わせの値に対して雑音低減フィルターを適用する前記ステップは、前記第1のセットのデジタル値の個々の値と、対応する前記第2のセットのデジタル値の個々の値との平均をとることを含む、請求項に記載の方法。
  11. 前記第1のセットのデジタル値、前記第2のセットのデジタル値、およびそれらの組み合わせの値に対して雑音低減フィルターを適用する前記ステップは、前記第1のセットのデジタル値の値と、前記対応する第2のセットのデジタル値の値との間の相乗平均を測定することを含む、請求項に記載の方法。
  12. 前記第1のセットのデジタル値および前記第2のセットのデジタル値の両方は、部分画像を備える、請求項に記載の方法。
  13. 前記第2の読み取り走査は、前記画像センサの一部分の幅だけ前記第1の読み取り走査からずれ、前記第1のセットのデジタル値は、前記画像センサの一部分の幅内に配置されたフォトサイトの量よりも多く、前記画像センサ中に配置されたフォトサイトの量よりも少ないセットの値を備える、請求項に記載の方法。
  14. 携帯用電子機器であって、
    画像捕捉装置であって、
    複数の小区分に分割されたデジタル画像センサであって、前記複数の小区分の各々は、複数のフォトサイトを有している、前記デジタル画像センサと、
    前記デジタル画像センサと接続されたデータ捕捉モジュールであって、前記データ捕捉モジュールは、第1の読み取り走査を開始して、第1のセットのデジタル値を得るように構成され、さらに、前記第1の読み取り走査の完了に先立って、第2の読み取り走査を開始して、第2のセットのデジタル値を得るように構成され、前記第1及び第2の読み取り走査の各々は、前記複数の小区分の順次読み取りを含む、前記データ捕捉モジュールと
    を備える画像捕捉装置と、
    前記画像捕捉装置と接続されたプロセッサと、
    表示モジュールと
    を備え、前記プロセッサは、前記第1のセットのデジタル値を前記第2のセットのデジタル値と小区分毎に比較することによって、前記携帯電子機器の動きを補正するように構成されている、携帯用電子機器。
JP2009516604A 2006-06-27 2007-03-26 ローリングバンドシャッタを用いた画像捕捉装置 Active JP5062861B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/426,618 US7830565B2 (en) 2006-06-27 2006-06-27 Image capture device with rolling band shutter
US11/426,618 2006-06-27
PCT/US2007/064890 WO2008002697A2 (en) 2006-06-27 2007-03-26 Image capture device with rolling band shutter

Publications (2)

Publication Number Publication Date
JP2009542108A JP2009542108A (ja) 2009-11-26
JP5062861B2 true JP5062861B2 (ja) 2012-10-31

Family

ID=38846352

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009516604A Active JP5062861B2 (ja) 2006-06-27 2007-03-26 ローリングバンドシャッタを用いた画像捕捉装置

Country Status (5)

Country Link
US (1) US7830565B2 (ja)
JP (1) JP5062861B2 (ja)
KR (1) KR101318503B1 (ja)
CN (1) CN101479660B (ja)
WO (1) WO2008002697A2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8068140B2 (en) * 2006-08-07 2011-11-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Still image stabilization suitable for compact camera environments
US8223235B2 (en) * 2007-12-13 2012-07-17 Motorola Mobility, Inc. Digital imager with dual rolling shutters
US8175541B2 (en) 2009-02-06 2012-05-08 Rfaxis, Inc. Radio frequency transceiver front end circuit
US8073401B2 (en) 2009-02-17 2011-12-06 Rfaxis, Inc. Multi mode radio frequency transceiver front end circuit with inter-stage matching circuit
US9231680B2 (en) 2009-03-03 2016-01-05 Rfaxis, Inc. Multi-channel radio frequency front end circuit
US8467738B2 (en) 2009-05-04 2013-06-18 Rfaxis, Inc. Multi-mode radio frequency front end module
US8649739B2 (en) 2010-01-06 2014-02-11 Rfaxis, Inc. Increased receive sensitivity radio frequency front end integrated circuits
WO2012054343A1 (en) 2010-10-19 2012-04-26 Rfaxis, Inc. Radio frequency multi-port switches
US8928428B2 (en) 2010-12-22 2015-01-06 Rfaxis, Inc. On-die radio frequency directional coupler
EP2710732A4 (en) 2011-05-02 2015-07-22 Rfaxis Inc POWER AMPLIFIER WITH COEXISTENCE FILTER
JP5857322B2 (ja) * 2011-06-02 2016-02-10 新シコー科技株式会社 オートフォーカスカメラ及びカメラ付きモバイル端末装置
JP6131556B2 (ja) * 2012-09-28 2017-05-24 富士通株式会社 撮像信号処理装置及び撮像信号処理方法
KR102020941B1 (ko) 2013-02-08 2019-09-11 삼성전자주식회사 움직임 추정 장치 및 추정 방법
US9554048B2 (en) * 2013-09-26 2017-01-24 Apple Inc. In-stream rolling shutter compensation
US11700027B2 (en) 2020-05-05 2023-07-11 Mobix Labs, Inc. Multi-mode WiFi bluetooth RF front-ends

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03252287A (ja) * 1990-02-28 1991-11-11 Victor Co Of Japan Ltd 動画像圧縮装置
JP3103897B2 (ja) * 1991-03-19 2000-10-30 ソニー株式会社 手振れ補正装置および手振れ補正方法
US5253071A (en) * 1991-12-20 1993-10-12 Sony Corporation Of America Method and apparatus for stabilizing an image produced in a video camera
JP3364945B2 (ja) * 1992-01-31 2003-01-08 ソニー株式会社 手振れ補正装置及び手振れ補正方法
US5410347A (en) * 1992-08-19 1995-04-25 Hewlett-Packard Company Color optical scanner with image registration holding assembly
US5625411A (en) * 1992-12-22 1997-04-29 Fuji Photo Film, Ltd. Video camera printer apparatus and method of controlling same and apparatus and method for detecting print inhibit signal
JPH0795351A (ja) * 1993-08-18 1995-04-07 Hewlett Packard Co <Hp> 走査装置
JP3277418B2 (ja) * 1993-09-09 2002-04-22 ソニー株式会社 動きベクトル検出装置および方法
JPH0965195A (ja) * 1995-08-25 1997-03-07 Fujitsu Ltd 動き検出方法、動き検出装置及び動き検出撮像装置
US6009336A (en) * 1996-07-10 1999-12-28 Motorola, Inc. Hand-held radiotelephone having a detachable display
EP0831644A3 (en) * 1996-09-20 2000-01-12 Sony Corporation Image shake discriminator and stabilizer
EP0936575B1 (fr) * 1998-02-17 2004-07-28 Koninklijke Philips Electronics N.V. Procédé de traitement d'images pour l'estimation de mouvement dans une séquence d'images
US6642964B1 (en) * 1998-12-15 2003-11-04 Xerox Corporation Geometric configurations for photosites for reducing moire patterns
US6760485B1 (en) * 1999-05-20 2004-07-06 Eastman Kodak Company Nonlinearly modifying a rendered digital image
JP4378804B2 (ja) * 1999-09-10 2009-12-09 ソニー株式会社 撮像装置
US6618173B1 (en) * 1999-10-07 2003-09-09 Hewlett-Packard Development Company, Lp. Method for automatic prevention of vertical streaks by selectively applying gains to the output signals of optical sensor elements
JP4385479B2 (ja) * 2000-03-23 2009-12-16 株式会社ニコン 撮像装置
US6567469B1 (en) * 2000-03-23 2003-05-20 Koninklijke Philips Electronics N.V. Motion estimation algorithm suitable for H.261 videoconferencing applications
JP2001358928A (ja) * 2000-06-15 2001-12-26 Fuji Photo Film Co Ltd 画像修正装置
EP1323001A4 (en) 2000-08-31 2007-01-31 Recon Optical Inc DOUBLE BELT FRAMING EXPLANATION CAMERA WITH ROLLING COMPENSATION
US7176962B2 (en) * 2001-03-01 2007-02-13 Nikon Corporation Digital camera and digital processing system for correcting motion blur using spatial frequency
US6934332B1 (en) * 2001-04-24 2005-08-23 Vweb Corporation Motion estimation using predetermined pixel patterns and subpatterns
US6961157B2 (en) * 2001-05-29 2005-11-01 Xerox Corporation Imaging apparatus having multiple linear photosensor arrays with different spatial resolutions
US7046401B2 (en) * 2001-06-01 2006-05-16 Hewlett-Packard Development Company, L.P. Camera-based document scanning system using multiple-pass mosaicking
JP3631169B2 (ja) * 2001-06-19 2005-03-23 三洋電機株式会社 ディジタルカメラ
JP2003078808A (ja) * 2001-08-31 2003-03-14 Sony Corp 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置
US7061524B2 (en) * 2001-11-13 2006-06-13 The Board Of Trustees Of The Leland Stanford Junior University Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
JP3944829B2 (ja) * 2002-01-17 2007-07-18 ソニー株式会社 固体撮像装置およびその駆動方法
JP3862621B2 (ja) * 2002-06-28 2006-12-27 キヤノン株式会社 画像処理装置、画像処理方法、及びそのプログラム
JP2004140479A (ja) * 2002-10-16 2004-05-13 Sony Corp 固体撮像装置、カメラ装置、及びその制御方法
US7236190B2 (en) * 2002-10-31 2007-06-26 Freescale Semiconductor, Inc. Digital image processing using white balance and gamma correction
US7474339B2 (en) * 2002-12-18 2009-01-06 Nikon Corporation Image-processing device with a first image sensor and a second image sensor
JP3925415B2 (ja) * 2003-01-22 2007-06-06 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7443548B2 (en) * 2003-01-31 2008-10-28 Xerox Corporation Systems and methods for creating a single electronic scanned job from multiple scanned documents
US7446907B2 (en) * 2003-04-22 2008-11-04 Xerox Corporation Photosensor architecture for a color raster input scanner
US7499081B2 (en) * 2003-04-30 2009-03-03 Hewlett-Packard Development Company, L.P. Digital video imaging devices and methods of processing image data of different moments in time
US7978245B2 (en) * 2004-06-24 2011-07-12 Hewlett-Packard Development Company, L.P. Method and apparatus for controlling color balance in a digital imaging device
JP4531484B2 (ja) * 2004-08-16 2010-08-25 パナソニック株式会社 カメラシステム
JP2006095351A (ja) * 2004-09-28 2006-04-13 Tokuyama Corp 廃石膏の処理方法
JP2006148496A (ja) * 2004-11-18 2006-06-08 Sony Corp フォーカルプレーン歪みの補正回路および補正方法、並びに電子機器、プログラム、記録媒体
JP4389766B2 (ja) * 2004-11-22 2009-12-24 セイコーエプソン株式会社 撮像装置
US7460688B2 (en) * 2004-12-09 2008-12-02 Aptina Imaging Corporation System and method for detecting and correcting defective pixels in a digital image sensor
US7755667B2 (en) * 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
US7557832B2 (en) * 2005-08-12 2009-07-07 Volker Lindenstruth Method and apparatus for electronically stabilizing digital images
JP4723401B2 (ja) * 2006-03-03 2011-07-13 富士フイルム株式会社 固体撮像装置

Also Published As

Publication number Publication date
US7830565B2 (en) 2010-11-09
CN101479660B (zh) 2011-12-28
US20070297026A1 (en) 2007-12-27
KR20090023632A (ko) 2009-03-05
WO2008002697A2 (en) 2008-01-03
WO2008002697A3 (en) 2008-04-17
WO2008002697B1 (en) 2008-10-02
KR101318503B1 (ko) 2013-10-16
JP2009542108A (ja) 2009-11-26
CN101479660A (zh) 2009-07-08

Similar Documents

Publication Publication Date Title
JP5062861B2 (ja) ローリングバンドシャッタを用いた画像捕捉装置
US8223235B2 (en) Digital imager with dual rolling shutters
JP4689687B2 (ja) 撮像方法および撮像装置
JP6573731B2 (ja) 撮像装置、撮像方法、及び、撮像プログラム
WO2006013945A1 (ja) 撮像装置、撮像方法および撮像制御プログラム
JP4748230B2 (ja) 撮像装置、撮像方法及び撮像プログラム
JP5872122B2 (ja) 撮像装置及び合焦制御方法
JP2012023497A (ja) 撮像装置、撮像制御方法、およびプログラム
US8553097B2 (en) Reducing blur based on a kernel estimation of an imaging device
JP5696419B2 (ja) 画像処理装置及び方法、並びにプログラム
US9986163B2 (en) Digital photographing apparatus and digital photographing method
JP6190243B2 (ja) 撮像装置及びその制御方法
JP2006148550A (ja) 画像処理装置及び撮像装置
JP5530262B2 (ja) 手振れ補正制御装置、手振れ補正制御方法、撮像装置およびプログラム
WO2014097792A1 (ja) 撮像装置、信号処理方法、信号処理プログラム
JP2007036363A (ja) 撮像装置
JP6896175B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6573730B2 (ja) 撮像装置、撮像方法、及び、撮像プログラム
JP2013118474A (ja) 撮像装置及び撮像装置の制御方法
JP5530279B2 (ja) 撮像装置、撮像制御方法、およびプログラム
JP5482427B2 (ja) 撮像装置、手ブレ補正方法、プログラム
JP5324052B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP2015171139A (ja) 固体撮像装置及び適正露出の推定方法
JP2019125979A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2012028971A (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20110531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110905

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20120229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120803

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5062861

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150817

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250