JP4607048B2 - 光学モーションセンサをジャイロスコープとして使用する撮像装置 - Google Patents

光学モーションセンサをジャイロスコープとして使用する撮像装置 Download PDF

Info

Publication number
JP4607048B2
JP4607048B2 JP2006128871A JP2006128871A JP4607048B2 JP 4607048 B2 JP4607048 B2 JP 4607048B2 JP 2006128871 A JP2006128871 A JP 2006128871A JP 2006128871 A JP2006128871 A JP 2006128871A JP 4607048 B2 JP4607048 B2 JP 4607048B2
Authority
JP
Japan
Prior art keywords
image
axis
imaging device
gyroscope
motion sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006128871A
Other languages
English (en)
Other versions
JP2006350305A (ja
Inventor
ウィリアム・アール・トルトナ,ジュニア
Original Assignee
アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド filed Critical アバゴ・テクノロジーズ・ジェネラル・アイピー(シンガポール)プライベート・リミテッド
Publication of JP2006350305A publication Critical patent/JP2006350305A/ja
Application granted granted Critical
Publication of JP4607048B2 publication Critical patent/JP4607048B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/02Lateral adjustment of lens
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007Movement of one or more optical elements for control of motion blur
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005Blur detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)
  • Gyroscopes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

背景
画像ぼやけは写真における一般的問題であり、その原因には、被写体の動きや焦点調節の失敗のように様々な原因がある。しかしながら、画像ぼやけの最も一般的原因の1つは、オペレータによるカメラのぶれである。人の筋肉は一般に4〜12Hzの周波数で振動する。人がカメラを持つとき、この振動が画像ぼやけの原因になる。露出時間が長い場合や、非常に長い焦点距離が可能なズームレンズや望遠レンズを使用した場合、そのような人の震えによって生じるぼやけは特に顕著に現れる。そのようなぼやけを低減する取り組みとして、デジタルカメラ、ビデオカメラ、及び、双眼鏡のような手持ち撮像システムはしばしば、画像安定化システムを有する。
画像安定化のための幾つかの方法及びシステムが開発されている。ただし、システム/方法に関係なく、それらは全て、動きを検出するためのモーションセンサと、検出された動きを補正する手段とによるものである。スチルカメラの場合、モーションセンサは一般に、圧電ジャイロスコープ又はMEMS(微小電気機械)ジャイロスコープである。こうしたジャイロスコープは通常、小型PCボード搭載パッケージの形で提供されるため、撮像装置の価格に比べて一般に非常に高価である。画像安定化のためには2つのジャイロスコープが必要であるため、こうしたジャイロスコープを低価格な大量の撮像装置に使用することは一般に高価過ぎて出来ない。ビデオカメラによっては、シーンの各フレームを1つ前のフレームと比較することによって動きを検出する電気的方法を採用したものがよくある。そのような方法は可能ではあるが、大量の信号処理を必要とし、また、シーン内で被写体が動いている場合、混乱を招く可能性がある。
画像安定化システムは大抵、検出された動きを電気的、又は、光学的に補正する。ビデオカメラの場合、特大の画像センサを使用して、電気的補正が実施される。任意のある時点において画像センサの一部だけを使用して画像が記録され、画像を記録する画像センサの部分は、ジャイロスコープの制御により、カメラの動きに応じて時間の経過とともに画像センサの周りをシフトされる。次に、画像センサから得られたピクセルデータは各フレームごとにクロップされ、記録される。
スチルカメラ及びビデオカメラはいずれも、検出された動きを補正するために画像をシフトさせるという光学機械的方法を採用している。こうした方法の1つでは、ジャイロスコープや可動レンズ素子が使用される。一般に、カメラを回転させると、画像センサに対する画像の平行移動が生じる。ジャイロスコープによって検出された動きは、モータがレンズ素子を平行移動させるのに使用される制御信号に変換され、レンズ素子の動きによって画像は、検出された動きに対して同じ方向又は反対の方向に平行移動される。
他の光学機械的方法として、ジャイロスコープ及び可変プリズムを使用するものがある。可変プリズムは、液体シールを形成するベローズによって接続された一対の平坦なガラス板からなる。ガラス板間のチャンバは、ガラス板と同じ反射率を有する液体で充填される。ジャイロスコープによって検出された動きは制御信号に変換される。モータはその制御信号を使用してベローズを調節し、ガラス板間の角度を制御することにより画像を「操作」し、検出された動きによって生じる平行移動が打ち消されるようにする。
上記の画像平行移動のための光学機械的方法はそれぞれ、画像平行移動の補正時に実行可能であるが、開ループシステムであることから、画像位置のフィードバック制御がなく、従って、画像が適切に平行移動されたか否かを検証/確認する方法を持たない。また、前述のように、それらの方法のそれぞれは、比較的コストの高いジャイロスコープをモーションセンサとして使用する。
概要
一態様において、本発明は、画像面上の特定シーンを表わす光を受け取る撮像装置の動きの補正を制御するように構成されたモーションセンサを提供する。このモーションセンサは、光素子アレイとコントローラとを有する。光素子アレイは、モーションセンサの視野内にある環境の特徴の連続画像を取得するように構成され、特徴の第1の画像と、該第1の画像の後、ある時間間隔において取得された特徴の第2の画像とを含み、第1の画像と第2の画像は共通の特徴を有する。コントローラは、第1の画像及び第2の画像を受信し、それらの相関を求め、光素子アレイに対する共通な特徴の位置の差を検出することにより、前記時間間隔における第1の軸及び第2の軸を中心とした撮像装置の動きを検出し、前記相関に基づいて第1の補正信号及び第2の補正信号を生成し、前記特定シーンと撮影面との間に実質的に一定関係を維持するようにして、前記第1の軸及び前記第2の軸を中心とした前記撮像装置の検出された動きを打ち消すように光学機械的調節を制御するように構成される。
詳細な説明
下記の詳細な説明では、本発明を実施することが可能な特定の実施形態を例として示し、本明細書の一部を形成する添付の図面を参照する。これに関し、「上」、「下」、「前」、「後ろ」、「先行する」、「後続の」といった方向を示す言葉は、説明中の図面(複数の場合もあり)の向きを基準として使用される。本発明の実施形態の構成要素は、様々な向きに配置することが可能であるため、それらの方向を示す言葉は、例示のために使用され、制限のために使用されることはない。本発明の範囲から外れることなく、他の実施形態を使用したり、構造的又は論理的変更を行うことも可能であるものと考えられる。従って、下記の詳細な説明を制限の意味で解釈してはならない。本発明の範囲は添付の特許請求の範囲により規定される。
図1は、本発明による、カメラ30の動きの補正を制御するためのデジタル・ジャイロスコープとして構成されたモーションセンサ32を有する、カメラ30のような撮像装置の一実施形態を概略的に示すブロック図である。カメラ30は、画像面34、カメラ対物レンズ36、及び、ジャイロスコープ対物レンズ38を含む。一実施形態において、カメラ30はアナログカメラであり、画像面34は感光性撮像フィルムからなる。一実施形態において、カメラ30はデジタルカメラであり、画像面34は、例えばCCD(電荷結合素子)タイプの画素やCMOS(相補型金属酸化膜半導体)タイプの画素のような光素子又は画素のアレイからなるカメラ画像センサである。
デジタルジャイロスコープ32は、光素子又は画素のアレイを有し、ジャイロスコープ画像センサ40及びコントローラ42として構成される。一実施形態において、ジャイロスコープ画像センサ40は、30×30のCMOS画素のアレイからなる。一実施形態において、デジタルジャイロスコープ32は、ジャイロスコープ画像センサ40及びコントローラ42を含む集積回路パッケージである。デジタルジャイロスコープ32、画像面34、及び、カメラ/ジャイロスコープの対物レンズ36,38は、カメラ本体又はハウジング43の中に配置される。
カメラ30をカメラ対物レンズ34の視野46(FOV)内にある特定シーン44に差し向けると、カメラ対物レンズは、特定シーン44を表わす光48を受け取り、その光を画像面34に投影する。同様に、ジャイロスコープ対物レンズ38は、視野50(FOV)内の環境から光を受け取り、その光をジャイロスコープ画像センサ40に投影するように構成される。一実施形態において、ジャイロスコープ対物レンズ138は、無限遠に焦点調節される。
図2は、図1のカメラ30の略等角図である。カメラマンがカメラを手で持つと、普通は、無意識な手の動き、すなわちぶれによって、カメラは動かされる。X軸52及びZ軸54を中心としたカメラの動きは、カメラ30で撮影された写真にぼやけを生じさせる。ぼやけの程度は、動きの速度、写真の露出時間、及び、カメラの倍率設定などによって決まり、カメラの倍率設定は通常、カメラ対物レンズ36の焦点距離から分かる。
35mm写真の場合、経験的に、カメラを確実に手で持つことが可能な最長露出時間(秒)はレンズの焦点距離(mm)の逆数になると言われている。例えば、50mmのレンズを使用する場合、1秒の1/50以下の露出時間の間だけ、カメラを手で持っていることができる。同様に、300mmのレンズを使用する場合、三脚の助けを借りることなく鮮明な写真をとるためには、1秒の1/300以下の露出時間が通常必要となる。
手の動きによって無意識にカメラに加わる動きは通常、振動性の動きであり、約4〜12ヘルツの周波数範囲の振動からなる。無意識な手の動きは、せいぜい6度の自由度しかない。しかしながら、画像のぼやけの原因になる撮像面34における受信光48の平行移動は、主にX軸52及びZ軸54を中心とした回転によって発生する。X軸52を中心とした回転は、Z軸54に沿った受信光48の平行移動の原因となり、Z軸54を中心とした回転は、X軸54に沿った受信光の平行移動の原因となる。Y軸56を中心とした動きが画像の鮮明度に影響を与えることは一般にほとんどない。なぜなら、そのような動きは一般に顕著ではなく、また、写真をとるときの倍率によって、Y軸56に沿った動きの影響は最小限に抑えられることが多いからである。
図1を参照すると、ジャイロスコープ画像センサ40は、デジタルジャイロスコープ32のFOV内の環境の特徴の連続画像を取得するように構成される。連続画像は、特徴の第1の画像と、該第1の画像の後、ある時間間隔において取得された特徴の第2の画像とを含み、第1の画像と第2の画像は共通の特徴を有する。これらの特徴は、例えば木、建築構造物、椅子、又はテーブルのような、環境内の任意の物体又は要素であってよい。ただし、これらの特徴は、画像面34のFOV46内に位置する場合もあれば、位置しない場合もある。
一実施形態において、ジャイロスコープ画像センサ40は、ユーザがシャッター制御ボタン62(図2を参照)を途中まで又は完全に押し下げたときに、連続画像の取得を開始する。一実施形態において、ジャイロスコープ画像センサ140は、一秒あたり最大1000枚の特徴の画像を取得するように構成される。
コントローラ42は、ジャイロスコープ画像センサ40から取得画像を受け取り、第1の画像と第2の画像の相関を求め、ジャイロスコープ画像センサ40の画素アレイに対する前記共通の特徴の位置の差を検出することにより、前記時間間隔におけるX軸52及びZ軸54を中心としたカメラ30の動きを検出する。一実施形態では、シャッター制御ボタン62を押し下げた後、最初に取得された画像が、基準画像として使用される。一実施形態において、コントローラ42は、その基準画像をジャイロスコープ画像センサから受信した連続取得画像のそれぞれと比較することにより、カメラ30の動きを検出する。デジタルジャイロスコープ32の一実施形態、及び、デジタルジャイロスコープ32で使用される相関判定処理の例については、図8〜図15を参照して後で詳細に説明する。
コントローラ42は、その相関に基づいて第1の補正信号及び第2の補正信号を生成し、光学機械的調節手段を制御して、特定シーン44と撮像面34との間に実質的に一定関係が保たれるようにして、X軸52及びZ軸54を中心としたカメラ30の検出された動きを打ち消す。一実施形態において、第1の補正信号58はX軸52方向の調節を制御し、第2の補正信号60はZ軸方向の調節を制御する。
本明細書で使用されるように、「光学機械的調節」は、特定シーン40と撮像面との間に実質的に一定関係が保たれるような、レンズ素子(図4を参照)の移動、及び/又は、画像面の移動を含む。この言葉は、カメラのハウジング43の位置の調節を行い、画像を安定化させることは含まない。
要するに、本発明によるデジタルジャイロスコープ32は、CMOS系画像センサのような光素子アレイを使用して動きを検出することにより、コストの高い機械式ジャイロスコープに対するコスト効率に優れた代替手段を提供する。従って、デジタルジャイロスコープ32によれば、低価格な大量の撮像装置の、コスト効率に優れた画像安定化が可能となる。また、図3A及び図3Bを参照して後で詳しく説明するように、デジタルジャイロスコープ32によれば、画像位置の直接フィードバック制御手段を備えた画像安定化システムが可能となり、それによって、画像安定化システムの性能が向上する。
図3A及び図3Bは、本発明による画像安定化システムの一実施形態を採用したデジタルカメラ130の一実施形態を概略的に示すブロック図及び概略図である。カメラ132は、デジタルジャイロスコープ132、カメラ画像センサ134、カメラ対物レンズ136、及び、ジャイロスコープ対物レンズ138を含む。デジタルジャイロスコープ132は、ジャイロスコープ画像センサ140及びコントローラ142を更に含む。
一実施形態において、デジタルジャイロスコープ132及びカメラ画像センサ134は、図示のように可動式平行移動ステージ170に搭載される。平行移動ステージ170は、第1のボイスコイルモータ(VCM)172によってX軸152に沿って移動させることができる。平行移動テーブル170は、第2のVCM(図3Bを参照)によりZ軸154に沿って移動させることができる。デジタルジャイロスコープ132、平行移動ステージ170、及び、VCM172、174は合わせて、カメラ対物レンズ136を通してカメラ画像センサ134によって受信された画像を安定化させるための閉ループ画像安定化システム175を形成する。一実施形態(図示せず)において、ジャイロスコープ画像センサ140は平行移動ステージ170に搭載され、コントローラ142は平行移動ステージ170から離れた位置に配置される。
図3A及び図3Bを参照すると、カメラ130をFOV146内の特定シーン144に焦点調節すると、カメラ対物レンズ136は、特定シーン144から受信した光148をカメラ画像センサ134に投影する。同様に、ジャイロスコープ対物レンズ138は、FOV150内の環境から光を受信し、その光をジャイロスコープ画像センサ140に投影する。一実施形態において、ジャイロスコープ画像センサ140は、30×30の画素アレイを有するCMOS画像センサからなる。一実施形態において、ジャイロスコープ画像センサ140は、16×16の画素アレイからなる。
ジャイロスコープ画像センサ140は、FOV150内の環境の特徴の連続画像を取得するように構成される。これらの連続画像は、特徴の第1の画像と、特徴の第2の画像とを含み、特徴の第2の画像は、第1の画像の後、或る時間間隔において取得され、第1の画像と第2の画像は共通の特徴を有する。一実施形態において、ジャイロスコープ画像センサ140は、1秒あたり最大で1000枚の特徴の画像を取得するように構成される。一実施形態において、ジャイロスコープ画像センサ140は、上記のように、ユーザがシャッター制御ボタン62(図2を参照)を途中まで又は完全に押し下げたときに、連続画像の取得を開始するように構成される。
コントローラ142は、ジャイロスコープ画像センサ140からそれらの連続画像を受信する。X軸152及びZ軸154を中心としてカメラ130を回転させると、カメラ画像センサ及びジャイロスコープ画像センサ140の上で、特定シーン144、及び、FOVG150内の特徴がそれぞれ、画像から画像へと次々に平行移動する。そのようなカメラ130の動きを検出するために、コントローラ142は、第1の画像と第2の画像の相関を求め、第1の画像と第2の画像の間におけるジャイロスコープ画像センサ140上の共通の特徴の画素位置の差を検出する。
コントローラ142は、その相関に基づいて、検出されたX軸152方向の動きを打ち消すための第1の補正信号158を第1のVCM172に供給し、検出されたZ軸方向の動きを打ち消すための第2の補正信号160を第2のVCM174に供給する。例えば、カメラ130が(ユーザに対して)第2の量だけ下と左にそれぞれ動くと、特定シーン144、及び、FOV150内の環境の特徴は、カメラ画像センサ134及びジャイロスコープ画像センサ140に対して、第1の量だけ上に、且つ、第2の量だけ右に平行移動する。コントローラ142は、相関処理によってそのような動きを検出し、それに応じて、平行移動ステージ170をX軸152に沿って第2の量だけ右に移動させるための第1の補正信号158、及び、平行移動ステージ170をY軸に沿って第1の量だけ上に移動させるための第2の補正信号160を生成する。一実施形態では、必要な信号値をVCM172及び174に供給するために、図示のように第1の補正信号158及び第2の補正信号160の信号経路に、増幅器180及び182を設ける場合がある。
カメラ130の動きを打ち消すように平行移動ステージ170を移動させることにより、安定化システム175は、FOVG150内の環境の特徴と、ジャイロスコープ画像センサ140との間に、実質的に一定関係を維持することができる。カメラ画像センサ134が平行移動ステージ170に搭載されているため、FOVG150内の環境の特徴の動きを打ち消す動きは、カメラ画像センサ134に対する特定シーン144の動きも自動的に相殺し、それによって、画像センサ134によって受信された特定シーン144の画像が安定化され、最終的な写真画像におけるぼやけが低減される。また、安定化システム175は、ジャイロスコープ画像センサ140を平行移動ステージ170上の画像センサ134と一緒に動かすことにより、画像位置(すなわち、特定シーン144)の直接フィードバック制御が可能となり、それによってシステム性能が向上する。
図4は、本発明による画像安定化システムの他の実施形態を採用したカメラ230の一実施形態を示す略ブロック図である。カメラ230は、デジタルジャイロスコープ232、画像面234、カメラ対物レンズ236、及び、ジャイロスコープ対物レンズ238を含む。デジタルジャイロスコープは、画素アレイとコントローラ242とを含む画像センサ240を更に含む。一実施形態において、画像面234は感光性撮像フィルムからなる。一実施形態において、画像面234は画像センサからなる。
カメラ230は、可動式凹面レンズ素子290と固定取り付け式凹面レンズ素子292とからなる一対の補正レンズを更に含む。第1のVCM272は、第1の補正信号258に応じて凹面レンズ素子290をX軸252に沿って動かし、第2のVCM(図示せず)は、第2の補正信号260に応じて凹面レンズ素子290をZ軸に沿って動かす。デジタルジャイロスコープ232、第1のVCM、第2のVCM、可動式凹面レンズ素子290、及び、固定取り付け式凸面レンズ素子292は合わせて、開ループ画像安定化システム275を形成する。
図3A及び図3Bのデジタルジャイロスコープ132に関して上で説明したものと同様のやり方で、デジタルジャイロスコープ232は、ジャイロスコープ対物レンズ238の視野内の環境の特徴の第1の画像と第2の画像の相関を求めることにより、X軸及びZ軸を中心としたカメラ230の回転を検出する。デジタルジャイロスコープは、その相関に基づいて第1の補正信号及び第2の補正信号を生成し、第1のボイスコイルモータ及び第2のボイスコイルモータにより、X軸及びZ軸に沿ってカメラ230の動きを打ち消す適切な距離にレンズ素子290を移動させる。カメラ画像センサ234及びデジタルジャイロスコープ232は静止状態のまま維持される。カメラ230の動きを打ち消するように凹面レンズ素子290の動きを制御することにより、凹面レンズ素子290と固定取り付け式凸面レンズ素子292は協働し、画像面234に対して画像が実質的に静止状態に維持されるように、カメラ対物レンズ236を通して受け取った光を画像面234に対して平行移動させる。
ジャイロスコープ画像センサ240と、ジャイロスコープ対物レンズ238を通して受信されたジャイロスコープ対物レンズ238の視野内の環境の特徴を表わす光との間の関係は、同様に調節はされない。その場合、安定化システム275は画像位置(例えば、図3Aの選択シーン144)の直接フィードバックを受信しないので、安定化システム275は開ループシステムとなる。
図5は、画像センサと、図1にジャイロスコープ対物レンズ38や、デジタルジャイロスコープ32のジャイロスコープ画像センサ40として示したような対応する対物レンズとの間の関係を示す概略図である。ジャイロスコープ画像センサ40は、292に示すような幅dを有する画素アレイからなり、298に示すものと実質的に同じ幅dを有する画素294のような各画素を有する。ジャイロスコープ対物レンズ38の視野(FOV)50(ラジアン)は、ジャイロスコープ画像センサ40の幅d292と、レンズ38の焦点距離(f)299の比に等しい。
デジタルジャイロスコープ32が動きを検出するためには、ジャイロスコープ画像センサ40を、従ってFOV50を、少なくとも或る特定の最小角だけ回転させなければならない。カメラ30がデジタルカメラである場合、カメラ30を特定最小角だけ回転させ、画像センサ34上の受信画像の位置を1画素だけシフトさせると、カメラ画像センサ34によって取得される画像に顕著なぼやけが表れはじめる。こうした特定最小角は、ジャイロスコープ画像センサ40及びカメラ画像センサ40の角度分解能と呼ばれる。
ジャイロスコープ画像センサ40の角度分解能が、カメラ画像センサ34の角度分解能よりも高い場合、デジタルジャイロスコープ32は、カメラ画像センサ34によって取得される画像がぼやけはじめる前に、カメラ30の動きを検出することができない。そのような場合、デジタルジャイロスコープ32は、カメラ30の動きを十分に打ち消すことができず、従って、カメラ画像センサ34によって受信される画像は十分に安定しない。そのため、デジタルジャイロスコープ32の角度分解能は、カメラ画像センサ34の分解能を越えるものではあってはならず、ジャイロスコープ画像センサ40の角度分解能は、カメラ画像センサ34の角度分解能に実質的に適合するものが望ましい。
ジャイロスコープ画像センサ40の角度分解能は、ジャイロスコープレンズ38の焦点距離、及び、ジャイロスコープ画像センサ40によって検出可能な最小画像モーションに基づいて決定される。そして、その検出可能な最小画像モーションは、ジャイロスコープ画像センサ40に使用される画素のサイズに関係する。画素サイズは画質に影響を与え、画素サイズが大きくなるほど、画質は一般に良好になる。一実施形態において、アレイ38は、1画素の約1/16に等しい最小検出可能画像モーションを有する60μmの画素の30×30のアレイからなる。60μmを16で割ったものは、最小検出可能画像モーション3.75μmに等しい。ジャイロスコープレンズ38の焦点距離が10mmである場合、最小検出可能モーション3.75μmは、角度分解能0.375ミリラジアンに等しい。度数に変換した場合、この角度分解能は約0.0215度に等しい。
カメラ画像センサ34の角度分解能は、画素サイズ、及び、カメラ対物レンズ36の焦点距離に基づいて決定される。例えば、安価なデジタルカメラの中には、5.7mmの焦点距離のレンズと、3メガピクセルの画像センサとを備え、画素サイズが約2.6μm(画素サイズはカメラによって異なる)であるものがある。2.6μmを5.7mmで割ったものは、角度分解能約0.46ミリラジアンに等しい。度数に変換すれば、角度分解能は約0.026度である。この角度分解能は、角度分解能0.0215度を有する上記のデジタルジャイロスコープに非常に適している。
上記の点から、ジャイロスコープ32の角度分解能をカメラ画像センサ34の角度分解能に適合させるために、ジャイロスコープ画像センサ40の最小検出可能モーション、及び/又は、ジャイロスコープ対物レンズの焦点距離は調節される場合がある。ただし、一般的には、ジャイロスコープ画像センサ40の最小検出可能モーションを調節するよりも、ジャイロスコープ画像センサ40の角度分解能がカメラ画像センサ34の角度分解能に適合したものになる焦点距離299を有するジャイロスコープ対物レンズ38を選択することの方が、遥かに簡単である。従って、デジタルジャイロスコープ32の角度分解能がカメラ画像センサ34に最も良好に適合するように、ジャイロスコープ対物レンズ38はカメラごとに選択することができる。一実施形態において、カメラ対物レンズ36が可変焦点距離を有するズームレンズである場合、デジタルジャイロスコープの角度分解能は、ズームレンズ36が望遠位置(すなわち、拡大位置)にあるときのカメラ画像センサ34の角度分解能と実質的に等しくなるように設定される。ズームレンズ36は、広角位置とは反対の望遠位置にあるときに、最長焦点距離を有する。
角度分解能の他に、デジタルジャイロスコープを採用した画像安定化システムを構成するときに考慮すべき他のファクタとして、図1に示すデジタルジャイロスコープ画像センサ40のFOV50のようなジャイロスコープ画像センサの視野がある。図3を参照して上で説明したように、画像センサの視野(ラジアン)は、画像センサの幅と、対応する対物レンズの焦点距離の比(すなわち、dA292とf299の比)によって決まる。
角度分解能の説明に使用した上記の例を参照すると、ジャイロスコープ画像センサの60μmの画素の30×30のアレイは、約10度の視野(例えば、図1のFOV)を有する一方、3メガピクセルのカメラ画像センサは約50度の視野(例えば、図1のFOV)を有する。従って、ジャイロスコープ画像センサの視野は、カメラ画像センサの視野の1/5の幅しかない。そのため、ジャイロスコープ画像センサによって見ることのできる画像部分に、デジタルジャイロスコープが動きを検出するための基準として使用されることがある高いコントラストの特徴が含まれないことがある。
上記のように、高コントラストの特徴が現れる可能性を増加させるために、ジャイロスコープ画像センサは、広い視野を有することが重要である。ジャイロスコープ画像センサの視野を広げる1つの方法は、図1のジャイロスコープ対物レンズ38のようなジャイロスコープ対物レンズの焦点距離を短くすることである。ただし、ジャイロスコープ対物レンズの焦点距離を短縮すると、ジャイロスコープ画像センサの角度分解能は低下する。
図6に示すように、図1のジャイロスコープ画像センサ40のようなジャイロスコープ画像センサの視野を広げる1つの方法は、ジャイロスコープ対物レンズ300a、300b及び300cとして示したようなジャイロスコープ対物レンズのアレイを使用することである。図5を参照すると、これらのレンズがそれぞれ、ジャイロスコープ対物レンズ38と同じ焦点距離(f)299を有する場合、レンズ300a、300b及び300cのアレイを採用したジャイロスコープ画像センサ40の有効視野は、対物レンズ38だけを使用した場合の視野の約3倍になる。図示の例では、3つのレンズ300a、300b及び300cにより、ジャイロスコープ画像センサ40上に3つの重なり合う画像が生成される。そのため、ジャイロスコープ画像センサ40のコントラストが低下しても、高コントラストの特徴を検出する可能性は高くなる。
一実施形態において、カメラ対物レンズ36は、図7に示すようにジャイロスコープ画像センサ40によって共用され、それによって、図1に示すジャイロスコープ対物レンズ38のような独立したジャイロスコープ対物レンズを使用する必要はなくなる。
図8は、デジタルジャイロスコープ32のような本発明によるデジタルジャイロスコープの一実施形態を示すブロック図である。一実施形態において、図8に示すようなデジタルジャイロスコープ32は、単一の集積回路チップとして形成される。このチップは、二次元画像を取得して処理するように構成されたアナログ信号処理チップであり、取得された2次元画像の相関を求めることにより、カメラ30のような撮像装置に関する検出された動きを打ち消すための補正信号を生成する。
図8の実施形態に示すように、デジタルジャイロスコープ32のジャイロスコープ画像センサ40は、32行×68行の光素子のアレイ408からなる。68行転送増幅器のアレイ400は、ジャイロスコープ画像センサ408から64個のDC除去回路のアレイ402へ行ごとに信号を伝達する。計算アレイ404は、DC除去回路402からデータを受信し、そのデータに対する計算を実施し、406で示す補正信号(すなわち、図1の第1の補正信号58及び第2の補正信号60)をチップ外のシステムに渡し、チップ外のシステムはその補正信号406(例えば、図3A及び図3Bの平行移動テーブル170並びにVCM172及び174)に基づいて撮像装置に関する動きを打ち消す。
従来の一体型光センサでは、セルごとの較正が行われないため、集積回路処理技術の制限から、感度のばらつきが幾らか発生することがある。図8に示すようなデジタルジャイロスコープチップ32は、第1の画像、すなわち基準画像と、その後、ジャイロスコープ画像センサ408に対する別の位置において撮影された第2の画像との間の相関を計算する。明るさや、光素子の感度に何らかの変化があれば、相関信号は劣化する。従って、図8の空間DC除去回路402は、システムのコストを比較的低く維持しながらも、相関信号の完全性を維持するように構成される。普通ならば相関信号が使用不能になるであろう明るさや光素子感度の低い空間周波数変化は、ナビゲーション画像から除去される。
DC除去回路402の動作の理解は、計算アレイ404の動作を完全に理解する上で重要ではないので、詳しい説明はしない。ただし、列転送増幅器400の基本動作を理解することは有用である。
図9を参照すると、この図は、68列の光素子のうち、5つの列412、414、416、418及び420を示している。これらの列のそれぞれについて、32行のうちの6行422、424、426、428、430及び432が描かれている。各列は、個別の転送増幅器434、436、437、438及び439に接続される。或る列にある光素子は、読み出しスイッチ440を閉じることによって、転送増幅器に接続される。図9の回路の動作時に、2つの光素子が同じ増幅器に同時に接続されることはない。
各転送増幅器434〜439は積分器として動作し、一定電圧の電圧源に接続された入力442を有する。第2の入力444は、転送コンデンサ448により、増幅器の出力446に容量性結合される。
図9の回路の動作時には、光素子の第1の行22の読み出しスイッチが閉じられ、各転送コンデンサ448は、第1の行にある光素子が受け取る光エネルギーに対応する電荷を受け取る。次に、受け取った電荷は、出力ライン446を介して処理回路に転送される。1行の読み出しは、200ns〜300nsであると推定される。第1の行の読み出しの後、第1の行の読み出しスイッチを開き、増幅器をリセットする。次に、第2の行の光素子から信号を伝送するために、第2の行424の読み出しスイッチを閉じる。そして、各行の光素子が読み出されるまで、この処理が反復される。
図9の転送増幅器434〜439の動作により、光素子信号は、行ごとに次の回路へ転送される。図8のDC除去回路は、列転送増幅器によって確立されるような光素子信号の並行処理を続ける。DC除去回路は、ナビゲーションセンサ408が受け取った光エネルギーを表わす64個の信号を出力する。図8の実施形態において、1フレームの信号は、計算アレイ中の画素値から構成され、それらの画素値は、DC除去回路からの64個の信号の32回の転送によって得られる。
図10は、デジタルジャイロスコープ32のような本発明によるデジタルジャイロスコープで使用される、カメラ30(図1を参照)のような撮像装置に関する動きを検出するための処理の一実施形態を示している。本発明は、デジタルジャイロスコープの視野内の環境の特徴を示す光素子信号の処理に関するものとして説明されるが、この方法が何らかの1つの用途に制限されることはない。
この処理は、環境の特徴の基準フレームと、環境の後続のフレームと間の相関を求めるために実施される。要するに、それらの相関判定は、基準フレームと後続フレームとの間の共通な画像的特徴の位置を比較し、基準画像の取得時と後続フレームの取得時の間の時間間隔における撮像装置に関する動きに関する情報を得るものである。
まず450において、信号の基準フレーム(すなわち、基準画像)を取得する。基準フレームは開始位置とみなされる。後の時点における画像領域に対するナビゲーションセンサの位置は、後の時点においてナビゲーションセンサから信号のサンプルフレームを受信452した後、基準フレーム及び後の時点で取得されたサンプルフレームに関する相関値454を計算することにより判定される。
最初の基準フレーム450の取得は、撮像プロセスの最初の時点で行われる。例えば、一実施形態において、この取得は、図2のシャッター制御ボタン62のような、撮像装置に関連するシャッター制御ボタンを押すことによって開始される場合がある。
動きの検出は計算によって実施されるが、この実施形態の概念は、図11の概念図を参照して説明される。7×7画素の基準フレーム456が、T型の特徴458の画像を有するものとして示されている。後(dt)の時点において、ジャイロスコープ画像センサ408は、フレーム456からずれた第2のフレーム、すなわちサンプルフレーム460を取得する。ただし、第2のフレームも同じ特徴を有している。期間dtは、T型の特徴458の相対変位が、カメラ30のような撮像装置に関する平行移動の速度におけるナビゲーションセンサの1画素未満になるように設定することが望ましい。
信号の基準フレーム456の取得と、信号のサンプルフレーム460の取得との間の時間において撮像装置が移動した場合、T型の特徴はシフトする。好ましい実施形態は、dtが、1画素全体の移動が可能である時間よりも短いものであるが、図11に示す概念図は、ちょうど1画素分だけ特徴458が上及び右にシフトされることを示している。画素単位のシフトを仮定してるのは、単に図を単純化するためである。
図11に示す格子462は、7×7アレイのフレーム460内の特定画素の画素値の順次的シフトを示している。これらの順次的シフトは、8個の最も近い近傍画素への個々のオフセットである。すなわち、ステップ「0」は何もシフトせず、ステップ「1」は左上への斜めシフトであり、ステップ2は上へのシフトである、等々である。このようにして、9つの画素シフトされたフレームを基準フレーム456と組み合わせて、位置フレームのアレイ464が生成される。「位置0」として指定された位置フレームはシフトがなく、この位置フレームは、フレーム456と460を単に組み合わせたものに過ぎない。「位置7」は、最小数の影付き画素しか持たないので、最大の相関を有するフレームである。これらの相関結果に基づき、サンプルフレーム460におけるT型の特徴458の位置が、以前に取得された基準画像456における同じ特徴に位置に対して斜め右下にシフトされたことが判定される。この判定は、時間dtの間に、撮像装置が左下へ移動したことを意味する。
他の相関判定方法も使用可能ではあるが、妥当な方法は、「差の二乗和」による相関判定である。図13の実施形態の場合、要素464に示すような9つのオフセットから形成される9個の相関係数(C=C、C、・・・、C)がある。基準フレームの方をオフセットし、サンプルフレームをそのままにしても、この相関判定は同様に良好に動作するため、サンプルフレーム460のシフトには他の選択肢もある。
基準フレーム456とサンプルフレーム460に共通な特徴458の変位を判定するために、相関を使用して、特徴458の位置を見付ける。図3A及び図3Bを参照して上で説明したように、カメラ画像センサ34の位置は、基準フレーム456と後続のサンプルフレームとの間の相関によって検出される動きを打ち消すように調節される。このプロセスによれば高度な相関判定が可能であるが、連続サンプルフレーム460をそれぞれ基準フレーム456と比較する際の時間経過により、小さいかもしれないが、誤差が蓄積される可能性がある。長い時間にわたるそのような誤差の蓄積を許容した場合、検出された動きを打ち消すことがほとんどできなくなり、従って、画像の安定化がほとんどできなくなる場合がある。これは、図4に示す開ループ安定化システム275の場合に特に当てはまる。
上記の点から、一実施形態では、最初の基準フレーム456を取得してから写真を撮影することなく非常に長い時間が経過した場合、新たな基準画像456を取得する場合がある。また、一実施形態では、カメラ30のユーザがカメラを大きくずらし、サンプルフレーム460と基準フレーム456の間に共通の特徴がなくなった場合、新たな基準フレーム456を取得する場合がある。
従って、図10を再び参照すると、454における各相関値の計算の後、466において、その後の補正処理の前に基準フレームを置き換えるか否かに関する判定が行われる。基準フレームを置き換えるべきではないという判定がなされた場合、ステップ468において、基準フレームの信号、すなわち画素値を解釈すべきか否かに関する判定を行う。基準フレーム456を置き換えるべきでないという判定がなされた場合、プロセスは452へ戻り、次のサンプルフレームを取得してプロセスが継続される。基準フレームを置き換えるべき判定がなされた場合、図10の472に示すように、図11のサンプルフレーム460が新たな基準フレームになる。次に、452において次のサンプルフレームが取得され、プロセスは継続される。
基準フレームとサンプルフレームの間の共通の特徴の位置の変化を検出することにより、ジャイロスコープ画像センサ408と画像化された環境との間の相対移動が検出される。相関によって検出された移動に基づき、デジタルジャイロスコープ32は、画像化されたシーンと、撮像装置(例えば、デジタルカメラのカメラ画像センサ)の画像面との間に実質的に一定関係が維持されるようにして、検出された動きを打ち消すための補正測定値を制御するための補正信号406を生成し、それによって画像のぼやけを低減する。
図12は、図8の計算アレイ404内の個々のセルを示す概略図である。ただし、当業者には明らかなように、図10及び図11を参照して説明した処理の実施には、他の回路が使用される場合もある。
画像データWDATA(i)は、信号WR(j)の制御により電荷補正されたトランジスタスイッチ470を有する計算セル466のライン468に搭載された特定の光素子からの光エネルギーを表わす。信号WR(j)がデアサートされた後、新たなデータがコンデンサ472に保持され、増幅器474によってバッファリングされる。計算セルは、二次元セルアレイ内のデータセルである。図11を少し参照すると、このセルは、画素値の記憶と、フレーム456及び460を構成する7×7アレイ内の単一画素の画素値のシフトに使用される。図12のCDATAノード476は、信号のフレームの全ての画素の同時信号処理を可能にする、計算アレイ内の1つのCDATAノードである。まず、CDATAノードのアレイは合わせて、比較画像、すなわち「基準フレーム」を形成する。後で説明するように、CDATAノードは、次にサンプルフレームを形成する。制御入力CDOUT478は、最近傍出力ノードNN(0)480に対し、信号CDDATA、比較データ、又は、REFOUTを選択する。
最近傍入力NN(0)〜NN(8)480、482、484、488、500、502、504及び506は、ライン508上のスイッチ制御信号S(0)〜S(8)によって個別に選択される。NN(0)〜NN(8)入力480〜506は、図11のピクセルマップ462による最近傍セルの出力である。従って、図中、ノード480は、最近傍セルへの接続のために扇形に展開する出力と、セル466の入力の両方として描かれている。スイッチ制御信号は、計算アレイの外にある図示されていない4−9エンコーダによって生成される。エンコーダへの4ビット入力は、最近傍アドレスとも呼ばれ、0000(0)〜1000(8)の値をとる。
最近傍入力(NNINPUT)ノード510は、REFLD512にパルスを加えることによりサンプリングされ、それによって、NNINPUTがノードREFH514に記憶される。同様に、REFDATA516は、REFSFT520にパルスを加えることによりサンプリングされ、REFSH518に記憶される。
テストの場合、ROWTSTB522をアサートし、信号NN(0)をテスト出力524まで伝搬させることができる。或る行にあるセルからのテスト信号は、計算アレイの各列における共通の垂直バスに接続され、アレイの底部において多重化され、チップ外へ供給される。アレイの左縁に沿って配置される標準行デコーダは、テストの際に特定の行を選択することができる。ただし、テスト機能は本発明にとって必須ではない。
セルアレイ内の各計算セル466は、図10のステップ454に示されている相関値を判定する回路526を有する。第1の入力528は、REFDATAノード516から基準データを受信する。第2の入力530は、ライン508における適当なスイッチ制御信号によって選択された最近傍入力NNINPUTを受信する。相関セルの出力532は電流である。トラッキング回路534の単一のチップ外加算抵抗器において、計算アレイ内の全ての相関出力が加算される。加算抵抗器の両端に発生する電圧は、図12では相関値と呼ばれる。
図12の実施形態において、回路526は、二乗差の計算を利用する。セル466は、アレイ制御入力S(0)〜S(8)の基本アーキテクチャに変更を加えることなく積ベースの相関を出力するように変更することもでき、REFLDREFSFT及びCDOUTはアレイ全体に対して共通である。
図11に462で表される単一セルの場合の最近傍マップと、アレイ全体に関する最近傍マップの関係を理解することは重要である。画像の位置0は、画像の現在位置と呼ばれる。位置0〜位置1への移動に関して言えば、図は、アレイの全てのセルの画像信号が、左上にある近傍セルに移動されることを示している。つまり、この移動は、計算アレイにおける単一セルに関係するとともに、アレイ内の全てのセルに関係する。
計算アレイの機能は、画像取得、基準画像の読み込み、及び、相関計算の観点から説明することができる。画像取得とは、各計算セル466のWDATAライン468を介して新たな画像信号を読み込むことを言う。この実施形態では、40マイクロ秒ごとに、信号、すなわち画素値の新たなフレームが、光素子アレイから列転送増幅器及びDC除去増幅器を介して取得される。
新たな画像の読み込み処理は、「フレーム転送」と呼ばれる。フレーム転送は、完了までに約10マイクロ秒を要する。フレーム転送の際には、フレーム転送制御回路が、図示されていない信号FTBをアサートする。以下で説明する計算アレイの動作は、FTB信号を監視し、FTB信号に同期してフレーム転送処理を行うように構成される。新たな比較画像の正当性は、FTB信号の立下りエッジによって伝達される。以下で説明する動作は、FTBがアサートされていない場合に適当であるに過ぎない。
何らかの画像相関を計算する前には、基準フレームの画素値の読み込みが必要である。基準フレームを読み込むためには、計算アレイのCDATAノード476にある全ての信号をREFHノード514に転送しなければならない。これは、CDOUT478及びS(0)を高に設定し、ライン512にREFLD信号のパルスを出力することによって行われる。
基準フレームの読み込みが完了すると、計算アレイは、相関を計算する準備が整う。画素値の基準フレームと後続のサンプルフレームとの間の相関は、最近傍アドレスを所望の値に設定し、変位トラッキング回路534の加算抵抗器の両端に発生する電圧を記録することにより計算される。基準フレームを取得した位置から1画素の距離だけ受光器アレイを動かすと、最近傍位置のうちの1つにおいて強い相関が検出される。なぜなら、最小レベルの出力電流が生じるからである。図11において、この相関は、アレイ464の位置7において検出されるはずである。1画素未満の移動は、二次元相関空間における複数の電流出力読み値を補間することにより判定することができる。なお、基準フレームと基準フレーム自体の間の相関は、CDOUT478を低に設定し、REFSFT520にパルスを与えることにより計算することができる。これによって、最近傍入力は、サンプルフレームに由来するものではなく、基準フレームに由来するものになる。
なお、図8〜図12にかけて、上では、本発明によるデジタルジャイロスコープ32の一実施形態のみを説明している。他の回路構成やプロセスをデジタルジャイロスコープ32に使用して、動きを検出するための画像を取得したり、画像の相関を計算することも可能である。また、本明細書では主としてデジタルスチルカメラについて説明しているが、本明細書の教示は、動画を撮影するビデオカメラや他の撮像装置にも適用可能である。例えば、ビデオカメラに適用する場合、デジタルジャイロスコープは、特定シーンを横切ってカメラを回転させて撮影するときに基準フレームを更新するように構成され、フィルタリングによって、ビデオカメラの回転やシーン内の移動物によって発生する内部的動きを、人の手の震えによって生じるような非内部的動きから区別するように構成される場合がある。
本明細書では、特定の実施形態について図示説明しているが、当業者であれば、本発明の範囲から外れることなく、図示説明した特定の実施形態に代えて、種々の代替実施形態、及び/又は、等価実施形態を使用することも可能であることは明らかであろう。本願は、本明細書に記載した特定の実施形態の変形や変更を全べて含めることを意図している。従って、本発明は、特許請求の範囲及びその均等によってのみ制限される。
本発明による、デジタルジャイロスコープとして構成されたモーションセンサを有するカメラの一実施形態を一般的に示すブロック図である。 図1のカメラを示す略等角図である。 本発明による画像安定化システムを採用したカメラの略ブロック図である。 図3Aの画像安定化を示す略ブロック図である。 本発明による画像安定化システムを採用したカメラの略ブロック図である。 画像センサと対応する対物レンズの間の関係を概略的に示す略図である。 本発明によるデジタルジャイロスコープに使用されるレンズ構成の一実施形態を示す略ブロック図である。 本発明によるデジタルジャイロスコープに使用されるレンズ構成の一実施形態を示す略ブロック図である。 本発明によるデジタルジャイロスコープの一実施形態を示す略ブロック図である。 図8のデジタルジャイロスコープの受光器アレイ及び転送増幅器の各部を示す略ブロック図である。 本発明によるデジタルジャイロスコープに使用される、画像相関により動きを検出するためのプロセスの一実施形態を示す図である。 図10のプロセスの各部を示す概略図である。 図8の計算アレイ404内の1つのセルを示す概略図である。

Claims (17)

  1. 第1の軸及び第2の軸に沿って移動可能なステージ(170)と、前記ステージ(170)上に配置され、特定シーンを表す光を受け取るように構成された撮像面(134)と、前記ステージ(170)上に配置されたモーションセンサ(132)と、前記モーションセンサ(132)からの補正信号に応答して前記ステージ(170)を移動させるステージ移動手段(172, 174)とを含む撮像装置であって、前記モーションセンサ(132)が、
    前記モーションセンサ(132)の視野内の環境の特徴の連続画像を取得するように構成された光素子アレイであって、前記連続画像が、前記視野内の特徴の第1の画像と、該第1の画像の後、或る時間間隔において取得された前記視野内の特徴の第2の画像とを含み、前記第1の画像と前記第2の画像が共通の特徴を有するものである、光素子アレイ(140)と、
    前記第1の画像及び前記第2の画像を受信し、それらの相関を求め、前記光素子アレイに対する前記共通の特徴の位置の差を検出することにより、前記時間間隔における第1の軸及び第2の軸を中心とした撮像装置の動きを検出し、前記相関に基づいて第1の補正信号及び第2の補正信号を生成するコントローラ(142)と
    を含み、
    前記ステージ移動手段は、前記第1の補正信号及び前記第2の補正信号に応答し、前記特定シーンと前記撮像面との間に実質的に一定関係を維持するようにして、前記第1の軸及び前記第2の軸を中心とした撮像装置の検出された動きを打ち消すように前記ステージ(170)を前記第1の軸及び前記第2の軸に沿って移動させるように構成される、撮像装置。
  2. 前記第1の画像は基準画像である、請求項1に記載の撮像装置。
  3. 前記環境の特徴の連続画像のうちの第1の画像は基準画像であり、前記連続画像のうちのその後に取得された画像のそれぞれと、前記基準画像との間の相関を計算することにより、前記撮像装置の動きが検出される、請求項1に記載の撮像装置。
  4. 前記モーションセンサ(132)は、前記光素子アレイ(140)、及び前記コントローラ(142)を含む集積回路パッケージからなる、請求項1に記載の撮像装置。
  5. 前記光素子アレイ(140)は、相補型金属酸化膜半導体画像センサを構成する、請求項1に記載の撮像装置。
  6. 前記第1の軸及び前記第2の軸を中心とした前記撮像装置の検出された動きを打ち消すための前記ステージ(170)の動きは、前記モーションセンサ(132)の視野内の環境と、前記光素子アレイ(140)との間に、実質的に一定関係を維持するものである、請求項1に記載の撮像装置。
  7. 前記ステージ移動手段(172, 174)は、前記第1の補正信号に応じて前記ステージ(170)を前記第1の軸に沿って動かすように構成された第1のボイスコイルモータ(172)と、前記第2の補正信号に応じて前記ステージ(170)を前記第2の軸に沿って動かすように構成された第2のボイスコイルモータ(174)とを含む、請求項1に記載の撮像装置。
  8. 前記撮像面(134)は画像センサからなる、請求項1に記載の撮像装置。
  9. 前記モーションセンサ(132)の前記光素子アレイ(140)の角度分解能は、前記撮像装置の前記画像センサ(134)の角度分解能に実質的に適合する、請求項8に記載の撮像装置。
  10. 前記撮像面(134)に関連するカメラ対物レンズ(136)と、前記モーションセンサ(132)に関連するモーションセンサ対物レンズ(138)とをさらに含む、請求項1に記載の撮像装置。
  11. 前記モーションセンサ対物レンズ(138)の焦点距離は、前記モーションセンサ(132)の前記光素子アレイ(140)の角度分解能が、前記撮像装置の前記画像センサ(134)の角度分解能に実質的に適合するような焦点距離である、請求項10に記載の撮像装置。
  12. 前記モーションセンサ(132)の光素子アレイに関連する複数の対物レンズ(300a, 300b, 300c)をさらに含み、前記対物レンズのそれぞれが対応する視野を有し、該複数の対物レンズの視野を組み合わせて前記光素子アレイの有効視野が形成される、請求項1に記載の撮像装置。
  13. 前記複数の対物レンズ(300a, 300b, 300c)のそれぞれが、対応する視野内の特徴の画像を前記光素子アレイに投影し、特徴の各画像が、互いに異なるものである、請求項12に記載の撮像装置。
  14. 第1の軸及び第2の軸に沿って移動可能なステージ(170)と、前記ステージ(170)上に配置され、特定シーンを表す光を受け取るように構成された撮像面(134)と、前記ステージ(170)上に配置されたモーションセンサ(132)と、前記モーションセンサ(132)からの補正信号に応答して前記ステージ(170)を移動させるステージ移動手段(172, 174)とを含む撮像装置において撮像装置の動きを補正する方法であって、前記モーションセンサ(132)が、光素子アレイ(140)と、コントローラ(142)とを含むものにおいて、
    前記光素子アレイ(140)により、前記モーションセンサ(132)の視野内の環境の特徴の連続画像を取得するステップであって、前記連続画像が、前記視野内の特徴の第1の画像と、該第1の画像の後、或る時間間隔において取得された前記視野内の特徴の第2の画像とを含み、前記第1の画像と前記第2の画像が共通の特徴を有するものである、前記モーションセンサの視野内の環境の連続画像を取得するステップと、
    前記コントローラ(142)により、前記第1の画像及び前記第2の画像を受信し、それらの相関を求め、前記光素子アレイに対する前記共通の特徴の位置の差を検出することにより、第1の軸及び第2の軸を中心とした前記撮像装置の動きを検出し、前記相関に基いて第1の補正信号及び第2の補正信号を生成するステップと、
    前記第1の補正信号及び前記第2の補正信号に応答し、前記ステージ移動手段により、前記特定シーンと前記撮像面との間に実質的に一定関係を維持するようにして、前記第1の軸及び前記第2の軸を中心とした撮像装置の検出された動きを打ち消すように前記ステージ(170)を前記第1の軸及び前記第2の軸に沿って移動させるステップと
    を含む方法。
  15. 前記第1の画像は基準画像であり、前記相関を求めるステップは、前記環境の特徴の連続画像のうちの最初の画像を基準画像として選択することを含む、請求項14に記載の方法。
  16. 特定の動作規準に基づいて、前記基準画像を前記特徴の連続画像のうちの直ぐ次の画像を使用して更新するステップを含む、請求項14に記載の方法。
  17. 前記特定の動作規準は、前記第1の画像と前記第2の画像の間に共通の特徴が何もない状態になる前記撮像装置の動きを含む、請求項16に記載の方法。
JP2006128871A 2005-05-05 2006-05-08 光学モーションセンサをジャイロスコープとして使用する撮像装置 Active JP4607048B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/122,964 US7656428B2 (en) 2005-05-05 2005-05-05 Imaging device employing optical motion sensor as gyroscope

Publications (2)

Publication Number Publication Date
JP2006350305A JP2006350305A (ja) 2006-12-28
JP4607048B2 true JP4607048B2 (ja) 2011-01-05

Family

ID=36603936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006128871A Active JP4607048B2 (ja) 2005-05-05 2006-05-08 光学モーションセンサをジャイロスコープとして使用する撮像装置

Country Status (6)

Country Link
US (1) US7656428B2 (ja)
JP (1) JP4607048B2 (ja)
KR (1) KR101203319B1 (ja)
CN (1) CN1912685B (ja)
GB (1) GB2426655B (ja)
TW (1) TWI421616B (ja)

Families Citing this family (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1599036A1 (en) * 2003-02-25 2005-11-23 Matsushita Electric Industrial Co., Ltd. Image pickup processing method and image pickup apparatus
TWI422957B (zh) * 2004-06-23 2014-01-11 Pentax Ricoh Imaging Co Ltd 照相設備
US8730322B2 (en) 2004-07-30 2014-05-20 Eyesee360, Inc. Telepresence using panoramic imaging and directional sound and motion
CN101147392B (zh) * 2005-03-24 2012-05-09 松下电器产业株式会社 成像装置及其中使用的透镜阵列
US7598979B2 (en) * 2005-09-21 2009-10-06 Aptina Imaging Corporation Imaging device with blur reduction system including a primary array and at least one navigation array
JP4648173B2 (ja) * 2005-12-01 2011-03-09 オリンパス株式会社 顕微鏡用デジタルカメラ、顕微鏡用デジタルカメラの制御方法およびプログラム
JP4596268B2 (ja) * 2006-02-14 2010-12-08 ソニー株式会社 撮像装置
US7643063B2 (en) * 2006-12-29 2010-01-05 The Boeing Company Dual loop stabilization of video camera images
US8047075B2 (en) 2007-06-21 2011-11-01 Invensense, Inc. Vertically integrated 3-axis MEMS accelerometer with electronics
US8020441B2 (en) 2008-02-05 2011-09-20 Invensense, Inc. Dual mode sensing for vibratory gyroscope
US8141424B2 (en) 2008-09-12 2012-03-27 Invensense, Inc. Low inertia frame for detecting coriolis acceleration
US8508039B1 (en) 2008-05-08 2013-08-13 Invensense, Inc. Wafer scale chip scale packaging of vertically integrated MEMS sensors with electronics
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US8952832B2 (en) 2008-01-18 2015-02-10 Invensense, Inc. Interfacing application programs and motion sensors of a device
US8250921B2 (en) 2007-07-06 2012-08-28 Invensense, Inc. Integrated motion processing unit (MPU) with MEMS inertial sensing and embedded digital electronics
US7934423B2 (en) 2007-12-10 2011-05-03 Invensense, Inc. Vertically integrated 3-axis MEMS angular accelerometer with integrated electronics
US7796872B2 (en) * 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
US7924316B2 (en) * 2007-03-14 2011-04-12 Aptina Imaging Corporation Image feature identification and motion compensation apparatus, systems, and methods
KR101332298B1 (ko) * 2007-04-17 2013-11-22 삼성전자주식회사 손 떨림 보정방법 및 이를 적용한 촬영장치
US7734161B2 (en) * 2007-04-19 2010-06-08 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Image stabilization with adaptive shutter control
US20090040318A1 (en) * 2007-08-09 2009-02-12 Michael John Brosnan Image stabilization with user feedback
US20090135264A1 (en) * 2007-11-28 2009-05-28 Motorola, Inc. Motion blur detection using metadata fields
US20090201380A1 (en) * 2008-02-12 2009-08-13 Decisive Analytics Corporation Method and apparatus for streamlined wireless data transfer
JP2009222995A (ja) * 2008-03-17 2009-10-01 Konica Minolta Opto Inc レンズ鏡胴及び撮像装置
CN101257581A (zh) * 2008-03-26 2008-09-03 香港应用科技研究院有限公司 感光传感器及图像捕捉装置
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
DE102008059551B4 (de) * 2008-11-28 2021-08-12 Car.Software Estonia As Verfahren zum Ermitteln der Lageänderung eines Kamerasystems und Vorrichtung zum Erfassen und Verarbeiten von Bildern
CN101799291B (zh) * 2009-02-05 2012-06-27 义隆电子股份有限公司 光学追踪感应器成像品质的检测方法
JP2010191306A (ja) * 2009-02-20 2010-09-02 Hoya Corp 撮像装置
US8170408B2 (en) * 2009-05-18 2012-05-01 Invensense, Inc. Optical image stabilization in a digital still camera or handset
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
CN101917599B (zh) * 2010-07-23 2012-09-19 深圳中兴力维技术有限公司 一种云台故障检测方法及装置
JP5548552B2 (ja) * 2010-08-03 2014-07-16 キヤノン株式会社 撮像装置
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
KR101973822B1 (ko) 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
US8600194B2 (en) 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US9762794B2 (en) 2011-05-17 2017-09-12 Apple Inc. Positional sensor-assisted perspective correction for panoramic photography
US9088714B2 (en) 2011-05-17 2015-07-21 Apple Inc. Intelligent image blending for panoramic photography
US8957944B2 (en) 2011-05-17 2015-02-17 Apple Inc. Positional sensor-assisted motion filtering for panoramic photography
US9247133B2 (en) 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
EP2726930A4 (en) 2011-06-28 2015-03-04 Pelican Imaging Corp OPTICAL ARRANGEMENTS FOR USE WITH AN ARRAY CAMERA
CN102883099B (zh) * 2011-07-14 2015-03-11 中国移动通信有限公司 一种拍摄防抖方法及装置
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
EP2761534B1 (en) 2011-09-28 2020-11-18 FotoNation Limited Systems for encoding light field image files
US8928969B2 (en) 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
US8854724B2 (en) 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US8847137B2 (en) 2012-02-29 2014-09-30 Blackberry Limited Single package imaging and inertial navigation sensors, and methods of manufacturing the same
US9402028B2 (en) * 2012-03-15 2016-07-26 Honeywell International Inc. Image stabilization and tracking system
US20130247663A1 (en) * 2012-03-26 2013-09-26 Parin Patel Multichannel Gyroscopic Sensor
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US10306140B2 (en) 2012-06-06 2019-05-28 Apple Inc. Motion adaptive image slice selection
US9098922B2 (en) 2012-06-06 2015-08-04 Apple Inc. Adaptive image blending operations
US8902335B2 (en) 2012-06-06 2014-12-02 Apple Inc. Image blending operations
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
WO2014046868A1 (en) * 2012-09-24 2014-03-27 Motorola Mobility Llc Preventing motion artifacts by intelligently disabling video stabilization
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
JP2014106476A (ja) 2012-11-29 2014-06-09 Canon Inc 焦点検出装置、撮像装置、撮像システム、焦点検出方法、プログラム、および、記憶媒体
JP6172161B2 (ja) * 2012-12-11 2017-08-02 コニカミノルタ株式会社 複眼光学系とそれを用いた撮像装置
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
US9774789B2 (en) 2013-03-08 2017-09-26 Fotonation Cayman Limited Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9762848B2 (en) 2013-03-15 2017-09-12 Google Inc. Automatic adjustment of video orientation
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9832378B2 (en) 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
JP6390002B2 (ja) * 2014-03-10 2018-09-19 パナソニックIpマネジメント株式会社 撮像装置
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
EP3201877B1 (en) 2014-09-29 2018-12-19 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
EP3139588B1 (en) * 2015-09-07 2017-06-21 Axis AB Method and device for setting a focus of a camera
JP2017209486A (ja) * 2016-05-19 2017-11-30 パナソニックIpマネジメント株式会社 血圧計測装置
CN106303223A (zh) * 2016-07-29 2017-01-04 努比亚技术有限公司 一种图片处理方法及设备
CN107040722B (zh) 2017-04-27 2019-02-15 维沃移动通信有限公司 一种拍摄方法及移动终端
US10453187B2 (en) 2017-07-21 2019-10-22 The Boeing Company Suppression of background clutter in video imagery
US10438326B2 (en) 2017-07-21 2019-10-08 The Boeing Company Recursive suppression of clutter in video imagery
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
JP6606234B1 (ja) * 2018-07-13 2019-11-13 Dmg森精機株式会社 測定装置
US10904440B2 (en) * 2018-07-25 2021-01-26 Tdk Taiwan Corp. Image sensor driving mechanism
CN112534349A (zh) * 2018-09-27 2021-03-19 无锡安科迪智能技术有限公司 基于vcm的光学装置、系统及其成像方法
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
KR20230004423A (ko) 2019-10-07 2023-01-06 보스턴 폴라리메트릭스, 인크. 편광을 사용한 표면 법선 감지 시스템 및 방법
WO2021108002A1 (en) 2019-11-30 2021-06-03 Boston Polarimetrics, Inc. Systems and methods for transparent object segmentation using polarization cues
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
KR20220019963A (ko) * 2020-08-11 2022-02-18 삼성전자주식회사 카메라 모듈을 포함하는 전자 장치 및 그의 촬영 방향을 제어하는 방법
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0851566A (ja) * 1994-08-08 1996-02-20 Minolta Co Ltd ブレ補正機能付カメラ
JPH11119087A (ja) * 1997-10-16 1999-04-30 Olympus Optical Co Ltd カメラの焦点検出装置
JPH11164188A (ja) * 1997-12-01 1999-06-18 Canon Inc 撮像装置及び交換レンズ式撮像装置
JP2000069351A (ja) * 1998-08-24 2000-03-03 Ricoh Co Ltd 撮像装置
JP2000081646A (ja) * 1998-06-26 2000-03-21 Ricoh Co Ltd 手振れ補正機能付きカメラ
JP2001005054A (ja) * 1999-06-24 2001-01-12 Olympus Optical Co Ltd 撮像装置
JP2001223932A (ja) * 2000-02-14 2001-08-17 Ricoh Co Ltd 撮像装置及びデジタルカメラ
JP2002027300A (ja) * 2000-07-05 2002-01-25 Minolta Co Ltd デジタルカメラ
JP2002171429A (ja) * 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH493065A (fr) * 1969-06-06 1970-06-30 Paillard Sa Objectif à stabilisation d'image par un élément optique soumis à l'action d'un gyroscope
US4615590A (en) * 1984-07-17 1986-10-07 Schwem Instruments Optically stabilized camera lens system
JPH01106582A (ja) * 1987-10-19 1989-04-24 Nec Home Electron Ltd 撮像装置
DE68928217T2 (de) 1988-09-09 1998-01-29 Canon Kk Automatische Bildstabilisierungsvorrichtung
GB2273223B (en) 1989-10-17 1994-08-31 Mitsubishi Electric Corp Image blur correcting apparatus
JPH03248132A (ja) * 1990-02-27 1991-11-06 Canon Inc 撮影装置
US5774266A (en) * 1992-04-06 1998-06-30 Canon Kabushiki Kaisha Image stabilizing device
JPH06222414A (ja) * 1993-01-22 1994-08-12 Canon Inc 防振システム
JP3860844B2 (ja) * 1994-05-10 2006-12-20 オリンパス株式会社 手ぶれ検出装置及び手ぶれ検出方法
US5578813A (en) * 1995-03-02 1996-11-26 Allen; Ross R. Freehand image scanning device which compensates for non-linear movement
US6035133A (en) * 1995-07-17 2000-03-07 Canon Kabushiki Kaisha Image blur prevention device
KR0175372B1 (ko) * 1995-08-29 1999-03-20 김광호 캠코더의 움직임 벡터 검출장치 및 그 검출방법
US5786804A (en) * 1995-10-06 1998-07-28 Hewlett-Packard Company Method and system for tracking attitude
US5729008A (en) * 1996-01-25 1998-03-17 Hewlett-Packard Company Method and device for tracking relative movement by correlating signals from an array of photoelements
US6137535A (en) * 1996-11-04 2000-10-24 Eastman Kodak Company Compact digital camera with segmented fields of view
US5978600A (en) * 1997-09-30 1999-11-02 Nikon Corporation Motion compensation device to compensate for motion of an optical system without using motion sensors
JPH11249185A (ja) * 1998-03-04 1999-09-17 Nikon Corp カメラシステム及び交換レンズ
US6630951B1 (en) * 1998-06-11 2003-10-07 Ricoh Company, Ltd. Apparatus for detecting hand movement of an optical device
JP4064001B2 (ja) * 1998-06-11 2008-03-19 株式会社リコー カメラ
US7440634B2 (en) * 2003-06-17 2008-10-21 The Trustees Of Columbia University In The City Of New York Method for de-blurring images of moving objects
US6751410B1 (en) * 2003-07-10 2004-06-15 Hewlett-Packard Development Company, L.P. Inertial camera stabilization apparatus and method
US7154136B2 (en) * 2004-02-20 2006-12-26 Micron Technology, Inc. Isolation structures for preventing photons and carriers from reaching active areas and methods of formation

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0851566A (ja) * 1994-08-08 1996-02-20 Minolta Co Ltd ブレ補正機能付カメラ
JPH11119087A (ja) * 1997-10-16 1999-04-30 Olympus Optical Co Ltd カメラの焦点検出装置
JPH11164188A (ja) * 1997-12-01 1999-06-18 Canon Inc 撮像装置及び交換レンズ式撮像装置
JP2000081646A (ja) * 1998-06-26 2000-03-21 Ricoh Co Ltd 手振れ補正機能付きカメラ
JP2000069351A (ja) * 1998-08-24 2000-03-03 Ricoh Co Ltd 撮像装置
JP2001005054A (ja) * 1999-06-24 2001-01-12 Olympus Optical Co Ltd 撮像装置
JP2001223932A (ja) * 2000-02-14 2001-08-17 Ricoh Co Ltd 撮像装置及びデジタルカメラ
JP2002027300A (ja) * 2000-07-05 2002-01-25 Minolta Co Ltd デジタルカメラ
JP2002171429A (ja) * 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器

Also Published As

Publication number Publication date
CN1912685B (zh) 2010-12-08
US20060251410A1 (en) 2006-11-09
GB0608842D0 (en) 2006-06-14
TW200702875A (en) 2007-01-16
GB2426655B (en) 2011-04-06
KR20060115656A (ko) 2006-11-09
GB2426655A (en) 2006-11-29
JP2006350305A (ja) 2006-12-28
US7656428B2 (en) 2010-02-02
CN1912685A (zh) 2007-02-14
TWI421616B (zh) 2014-01-01
KR101203319B1 (ko) 2012-11-21

Similar Documents

Publication Publication Date Title
JP4607048B2 (ja) 光学モーションセンサをジャイロスコープとして使用する撮像装置
US7598979B2 (en) Imaging device with blur reduction system including a primary array and at least one navigation array
CN101322399B (zh) 成像装置
US7430366B2 (en) Image capture device
JP5163409B2 (ja) 撮像装置、撮像方法、およびプログラム
US7693405B2 (en) Image pickup device, method of controlling image pickup device, and recording medium
US7693406B2 (en) Image capturing apparatus, method of controlling the same, and storage medium
CN101310522A (zh) 摄像装置
JP4875971B2 (ja) 撮影装置及びその調整方法
US20110158617A1 (en) Device for providing stabilized images in a hand held camera
WO2008100153A1 (en) A device for providing stabilized images in a hand held camera
KR100392619B1 (ko) 손흔들림 보정장치
JP4306438B2 (ja) 撮像装置
JP2018134712A (ja) ロボットシステム及びロボットシステムの制御方法
KR100498042B1 (ko) 안정된 영상을 획득할 수 있는 영상획득시스템 및 그안정화 방법
JP7269354B2 (ja) 撮像装置、システム、像ぶれ補正方法、プログラム、及び記録媒体
JP2000069353A (ja) 手ぶれ検出装置および手ぶれ補正装置
JPH07283999A (ja) 画像合成装置及び画像撮影装置
JP2009122159A (ja) 焦点検出装置および撮像装置
JPH03117278A (ja) 撮影装置
JP7308696B2 (ja) 像ブレ補正装置及びその制御方法、プログラム、像ブレ補正装置を備える撮像装置
JP3024979B2 (ja) カメラ装置
JP2002290810A (ja) カメラの揺れ補正装置
JP2023140195A (ja) 制御装置、レンズ装置、撮像装置、カメラシステム、制御方法、及びプログラム
JP5489607B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100928

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101006

R150 Certificate of patent or registration of utility model

Ref document number: 4607048

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250