JP5670476B2 - 傾斜又は遠近修正能力を有する画像捕獲装置 - Google Patents

Description

本発明は、一般的に、電子システムの画像捕獲装置に係り、より詳細には、傾斜及び／又は遠近歪を修正する能力を有する画像捕獲装置に係る。

関連出願の相互参照：本特許協力条約の特許出願は、２０１０年１２月２２日に出願された“IMAGE CAPTURE DEVICE HAVING TILT AND/OR PERSPECTIVE CORRECTION”と題する米国ノンプロビジョナル出願第１２／６４４，８００号の優先権を主張するもので、その内容は、参考としてここにそのまま援用される。

電子装置は、社会に偏在し、腕時計からコンピュータに至るまであらゆるものに見ることができる。多くの電子装置は、今や、画像捕獲装置を一体化しており、従って、これら電子装置のユーザは、準備なしに撮影できる能力を有している。例えば、ユーザがカメラを所持していないが、一体型の画像捕獲装置を備えたセルラーホン又は他のパーソナルメディア装置を有している場合には、ユーザは、一緒に撮影する機会を見合わせるのではなく、撮影を行うことができる。これらの電子装置を使用して撮影を行う能力は、好都合ではあるが、ユーザにとってこれらの電子装置を安定させ及び／又はそれらを水平に保って撮影することがしばしば困難である。撮影中電子装置を安定にさせ及び／又は水平に保つ能力に欠けることで、多くの場合に、歪が生じて、画像が傾斜したり及び／又は遠近感がユーザにとって満足度の低いものになったりする。

実際に、傾斜した写真及び／又は誤った遠近感の写真がカメラから撮影されることもある。例えば、ユーザは、カメラで撮影するときに三脚を有しておらず、従って、ある角度で撮影を行う。カメラを使用して歪んだ写真が生じたか、一体型の画像捕獲装置を有する電装置を使用して歪んだ写真が生じたかに関わらず、多くの場合、後処理によってそれが修正される。不都合なことに、この後処理は、精巧な画像処理ソフトウェア、及び／又は歪を修正するためのユーザによる実質的な関与を必要とする。

画像捕獲装置の傾斜及び／又は遠近歪を部分的又は完全に修正又は補償するための方法及び装置が開示される。ある実施形態において、この方法は、物体に対する画像捕獲装置の相対的位置に関連した方向測定値を読み取り、その方向測定値がスレッシュホールドより小さいかどうか決定し、そしてその方向測定値がスレッシュホールドより小さい場合には、画像捕獲装置により得られた画像を修正することを含む。

他の実施形態は、画像センサ、画像センサに結合されたメモリ、画像センサに結合された方向測定装置、及び画像センサに結合された距離測定装置を有する画像捕獲装置を包含する。センサにより捕獲された画像データは、加速度計からの測定値及び／又は距離測定装置からの測定値と共にメモリに記憶される。

更に別の実施形態は、画像歪を修正する方法において、画像捕獲装置と写真撮影される物体との間の距離に関連した距離測定値を距離測定装置から読み取り、画像捕獲装置に関連した方向測定値を読み取り、そしてその距離測定値及び方向測定値を使用して、写真撮影される物体を表わす画像データを修正することを含む方法の形態である。

写真の歪を修正することのできる画像捕獲装置を示す。 画像捕獲装置のブロック図である。 画像捕獲装置の一実施形態の側面図である。 図２Ａに示す実施形態の前面図である。 方向データを使用して歪を修正するために遂行される動作を示す。 方向データを使用して歪を修正するために遂行されるオンザフライ動作を示す。 Ｘ軸に沿った歪を含む画像を示す。 図４Ａの画像を、歪修正状態で示す。 図４Ａの画像を、歪指示子と共に示す。 図４Ｃの歪指示子を実施するのに使用される動作を示す。 図１の画像捕獲装置を動作するときの潜在的な遠近歪を示す。 遠近歪を含む画像を示す。 図７Ａの画像を、遠近歪修正状態で示す。 動的な切り落とし線を含む図７Ａの画像を示す。

異なる図面に同じ参照番号が使用されているのは、同様又は同じ品目を示している。

画像捕獲装置で撮影された写真の傾斜及び／又は遠近歪を電子装置で修正できるようにする電子装置の実施形態が開示される。ここに使用する「画像捕獲装置」という語は、スチール写真及び／又はビデオを撮影する能力を有する電子装置を指すものとする。このような電子装置は、デジタルカメラ、及び一体型カメラを伴う消費者向け電子装置（例えば、セルラーホン又はパーソナルメディアプレーヤ）を含む。又、ここで使用する「写真」という語は、ユーザにより記憶のために選択された画像を指すものとする。ここに開示する画像捕獲装置は、写真撮影される物体に対する画像捕獲装置の物理的方向データを記録する加速度計及び／又は距離測定センサを含む。この方向データは、画像捕獲装置により撮影された写真及び／又はビデオの歪を修正するのに使用される。又、方向データは、画像捕獲装置により撮影された写真及び／又はビデオの遠近歪を修正するために距離データに関連して使用することもできる。ある実施形態では、この修正は、写真及び／又はビデオが撮影されるときに画像捕獲装置によりオンザフライで行われる。他の実施形態では、この修正は、撮影後に写真及び／又はビデオに対して行われる。このようなケースでは、方向及び／又は距離データは、後で使用するために写真及び／又はビデオを記録するのに使用される画像データファイルに埋め込まれる。更に別の実施形態では、画像捕獲装置は、方向データ及び／又は距離データを使用して、歪のレベルをユーザに双方向指示し、ユーザが画像捕獲装置の物理的方向を調整して歪を修正できるようにする。例えば、ある実施形態では、カメラを水平にするのに必要なアクションを示すために動的な切り落とし線又はバーチャルレベルがユーザに表示される。

ここに開示する１つ以上の実施形態は、特定の電子装置を参照して詳細に説明するが、それら実施形態は、請求の範囲を含めて本開示の範囲を限定するものとして解釈又は使用されてはならない。更に、当業者であれば、以下の説明は、広く適用できることが理解されよう。例えば、ここに開示する実施形態は、カメラ又はセルラーホンのようなあるポータブル電子装置に焦点を当てるが、ここに開示される概念は、一体型カメラを合体する他のポータブル電子装置にも等しく適用できることが明らかであろう。例えば、ここに開示される概念は、一体型カメラを伴う腕時計に使用されてもよい。更に、ここに開示される概念は、デスクトップコンピュータのような非ポータブル電子装置にも等しく適用できることが明らかであろう。更に、ここに開示される実施形態は、加速度計及び／又は距離測定センサを使用して歪を修正することに焦点を当てるが、ここに開示される概念は、写真撮影される物体に対して画像捕獲装置の物理的方向を測定する他のセンサにも等しく適用することができる。例えば、ある実施形態では、写真撮影される物体及び画像捕獲装置は、各々、グローバルポジショニングシステム（ＧＰＳ）装置を含み、物体及び画像捕獲装置の相対的なＧＰＳ方向が画像データと共に記録される。又、この開示は、スチール画像に焦点を当てるが、ここに開示される概念は、動画及び／又はビデオの記録にも等しく適用される。従って、これら実施形態の説明は、例示に過ぎず、請求の範囲を含めて本開示の範囲がこれら実施形態に制限されることを示唆するものではない。

図１Ａは、写真の歪を修正するか、又は少なくとも部分的に補償することのできる画像捕獲装置１００を示す。図１Ｂは、画像捕獲装置１００のブロック図である。図１Ａ及び１Ｂは、ある物理的レイアウトを示すが、これは、説明上のものに過ぎないことが明らかである。図１Ａ及び１Ｂを参照すれば、画像捕獲装置１００は、この画像捕獲装置１００に入る光の量を制御して、その光を画像センサ１２０に沿ってレンズ１２１に通すことのできるアパーチャー１１０を備えている。画像センサ１２０の具現化は、実施形態と実施形態との間で異なる。例えば、ある実施形態では、画像センサ１２０は、相補的金属酸化物半導体センサを使用して具現化される。

画像センサ１２０は、画像捕獲装置１００の一般的な動作を制御するプロセッサ１３０（図１Ｂに示す）に結合される。ある実施形態では、画像センサ１２０は、スイッチ１２５を通して操作され、スイッチ１２５は、図１Ａに示すように画像捕獲装置１００に設けられた物理的なスイッチであるか、或いはディスプレイスクリーン１７０上の容量性制御スイッチである。他の実施形態では、画像センサ１２０は、スイッチ１２５なしにプロセッサ１３０により操作されてもよく、例えば、ディスプレイスクリーン１７０とは個別に操作されるソフトウェアインターフェイスで操作されてもよい。

画像センサ１２０及びスイッチ１２５に結合されるのに加えて、プロセッサ１３０は、１つ以上の方向センサ、例えば、加速度計１５０及び距離測定センサ１５５にも結合される。ある実施形態では、加速度計１５０は、ＳＴＭｉｃｒｏｅｌｅｃｔｒｏｎｉｃｓから入手できるＬＩＳ３０２ＤＬモデルのようなマイクロメカニカル三次元加速度計である。他の実施形態では、加速度計１５０に代わって又は加速度計１５０に関連して、ジャイロスコープ、慣性基準センサ、及び／又はコンパスが使用される。画像捕獲装置１００がＸ、Ｙ及び／又はＺ軸の周りで回転されるときに、加速度計１５０は、その動きをプロセッサ１３０に報告する。

距離測定センサ１５５は、音響及び／又は光を各々放射する超音波及び／又は赤外線センサを含むアクティブな自動焦点システムを使用して具現化される。画像捕獲装置１００と、写真撮影される物体１６０との間の距離は、物体１６０から反射される音響又は光の飛行遅延時間を測定することにより決定される。他の実施形態では、距離測定値は、レンズ１２１の焦点位置を決定することによって得られ、即ちレンズ１２１の物理的位置を、物体１６０と画像捕獲装置１００との間の距離に相関させることによって得られる。

図１Ｂに示すように、プロセッサ１３０は、メモリ１６５にも結合され、このメモリは、プロセッサ１３０の指令のもとで、画像データを最適に記憶すると共に、方向及び距離データも記憶する。又、ディスプレイ１７０は、写真撮影される画像が何に見えるかの考え方を画像捕獲装置１００のユーザに与えるために、プロセッサ１３０に結合される。ある実施形態では、ユーザがスイッチ１２５を押し、物体１６０の潜在的な画像がディスプレイ１７０に表示される。又、画像捕獲装置１００は、可聴警報装置１９０も備え、これは、プロセッサ１３０に結合され、プロセッサ１３０の指令のもとで、可聴警報を発生することができる。以下に詳細に述べるように、この可聴警報は、例えば、潜在的な画像が歪を含む場合に、ある情報をユーザに通信するのに使用される。

図２Ａ及び２Ｂは、画像捕獲装置１００、特に、セルラーホン又はパーソナルメディア装置のようなハンドヘルド装置の一実施形態を示す。ある実施形態では、図２Ａ及び２Ｂに示す画像捕獲装置１００は、アップル社から入手できるＩＰＨＯＮＥ移動電話又はＩＰＯＤ ＴＯＵＣＨポータブルメディアプレーヤである。画像捕獲装置１００がＩＰＨＯＮＥとして具現化される実施形態では、可聴警報装置１９０は、ＩＰＨＯＮＥのスピーカであり、そしてディスプレイ１７０は、ＩＰＨＯＮＥのスクリーンである。

画像捕獲装置１００の特定の具現化に関わりなく、動作中に、物体１６０から反射された光がアパーチャー１１０を経て画像センサ１２０へ伝達される。画像センサ１２０は、この入射光を画像データに変換する。ユーザが、例えば、スイッチ１２５を押すことにより写真を撮影すると、この画像データは、プロセッサ１３０により、加速度計１５０からの方向データ及び／又は距離センサ１５５からの距離データと共にメモリ１６５に記憶される。方向データとは、一般的に、画像捕獲装置１００の、周囲に対する方向に関連したデータを指す。例えば、ある実施形態では、ここに述べる方向データは、Ｘ、Ｙ及びＺ軸に沿った地球の重力を加速度計１５０で測定した測定値を指す。他の実施形態では、加速度計１５０は、画像捕獲装置１００が、例えば、乗物において移動しているかどうか決定するのに使用され、そして方向データは、画像捕獲装置１００の速度又は加速度を表わす。距離データは、一般的に、画像捕獲装置１００と、写真撮影される物体との間の距離を指す。上述したように、距離データは、ＡＦ測定の時間の結果、レンズ１２１の焦点位置の関数であり、或いは画像捕獲装置１００と写真撮影される物体とのＧＰＳ座標間の相違の結果である。

ある実施形態では、方向データ及び／又は距離データは、画像データにリンクされるメタデータとしてメモリ１６５に記憶される。例えば、ある実施形態では、このデータは、インターナショナルプレステレコミュニケーションズカウンシル（ＩＰＴＣ）フォーマットに適合するフォーマットで記憶され、方向及び距離データが画像データファイルのヘッダの一部分としてメモリ１６５に記憶されるようにする。他の実施形態では、方向及び距離データは、交換可能な画像ファイルフォーマット（ＥＸＩＦ）で記憶される。例えば、ＥＸＩＦファイルは、そのＥＸＩＦファイル内にカスタムタグを含むように変更され、これらカスタムタグは、加速度計１５０により記録された３軸方向データ及び／又は距離センサ１５５により記録された距離αを記憶するものである。

ある実施形態では、プロセッサ１３０は、加速度計１５０により記録された方向データ及び／又は距離センサ１５５により記録された距離データを利用して、写真撮影時にディスプレイ１７０上の画像歪をオンザフライで修正する。他の実施形態では、画像捕獲装置１００は、写真撮影されようとしている画像に画像歪が存在することをユーザに通知する。

図３Ａ及び３Ｂは、方向データを使用して歪を修正するために画像捕獲装置１００により遂行される２つの一連の動作２００、２０５を示す。そのような歪は、Ｘ、Ｙ及び／又はＺ方向における画像データの傾斜を含む。動作２００は、撮影後の写真を修正するのに適用され、一方、動作２０５は、写真撮影前に画像を修正するのに適用される。先ず、図１Ａ及び１Ｂに関連して一連の動作２００を参照すれば、動作２０７において、物体１６０の写真が撮影されそしてメモリ１６５に記録される。記憶された写真は、画像データ、並びに方向及び／又は距離データを含む。（距離データを方向データと共に使用して遠近歪を修正することについて以下に詳細に述べる。）動作２０７の間に写真に関連した画像データを記録するのに加えて、加速度計１５０からの方向データがメモリ１６５に記憶される。方向データは、画像データとリンクされる。例えば、ある実施形態では、方向データは、画像データファイルのヘッダに埋め込まれる。この例について続けると、ヘッダは、ＩＰＴＣフォーマットである。更に、他の実施形態では、方向データは、画像データのタイムスタンプに対応するタイムスタンプと共に記録される。例えば、プロセッサ１３０は、画像センサ１２０が物体１６０の画像を得るときにタイムスタンプを発生し、このタイムスタンプは、方向データがメモリ１６５に記憶されるときに方向に対して画像データをインデックスするのに使用される。画像データ及び方向データがタイムスタンプでインデックスされるので、それらは、メモリ１６５内の異なる位置に記憶することができる。これは、プロセッサ１３０のメモリ管理タスクを簡単にする。メモリ１６５は、画像捕獲装置１００内でローカルに存在してもよいし、或いは画像捕獲装置１００に対してリモート位置に存在してもよい。例えば、画像捕獲装置１００は、ワイヤレス接続によりリモート記憶位置に画像データを送信することができる。

次いで、動作２１０において、方向データがプロセッサ１３０により読み取られる。例えば、ある実施形態では、プロセッサ１３０は、ＩＴＰＣフォーマットの画像データのヘッダデータを読み取って、方向データを得る。他の実施形態では、画像捕獲装置１００の外部のプロセッサによりヘッダデータが読み取られる。ヘッダデータが読み取られるかどうかに関わらず、この読みに基づき、画像捕獲装置１００の物理的方向が、例えば、Ｘ、Ｙ及び／又はＺ軸に対する傾斜角のように、Ｘ、Ｙ及び／又はＺ軸に対して決定される。

あるケースでは、画像捕獲装置１００のユーザは、物体１６０の写真を撮るときにＸ、Ｙ及び／又はＺ軸に対して画像捕獲装置１００を意図的に傾斜させる。従って、動作２１０で読み取られる傾斜角は、故意の撮影角を表わす。従って、画像捕獲装置１００の故意の傾斜を偶発的な傾斜と見分けるため、プロセッサ１３０は、方向の読みが、Ｘ、Ｙ及び／又はＺ軸に対する故意の傾斜に関連したスレッシュホールドより大きいかどうか決定する。ある実施形態では、このスレッシュホールドは、５度である。従って、５度より大きな傾斜は、画像捕獲装置１００により意図的なものと解釈され、補償されない。更に、ある実施形態では、このスレッシュホールドは、ユーザによりプログラムすることができる。又、このスレッシュホールドは、Ｘ軸がＹ又はＺ軸とは異なるスレッシュホールドを有しそしてＹ軸がＸ又はＺ軸とは異なるスレッシュホールドを有し、等々のように、Ｘ、Ｙ及び／又はＺ軸に対して３つの独立したスレッシュホールドを含んでもよい。スレッシュホールドレベルは、自動的に発生され、ユーザの好みに基づきソフトウェアで時間と共に自動的に洗練化され、同様の写真のデータベースを分析することにより決定され、及び／又は他のセンサからの入力に基づいて変更されてもよい（例えば、距離測定値は、更に離れた物体に対してより積極的なスレッシュホールドレベルを指示してもよい）。

方向データが、選択されたスレッシュホールド値より大きい場合には、動作２２０で示すように、傾斜がプロセッサ１３０により意図的であると解釈され、写真は、修正なしにメモリ１６５に記憶される。他方、方向の読みがスレッシュホールドより小さいとプロセッサ１３０が決定した場合には、動作２２５において、写真が修正された後にメモリ１６５に記憶される。修正動作２２５は、写真をメモリ１６５に記憶する前に意図せぬ傾斜を除去するように時計方向及び／又は反時計方向に調整する、等の種々の動作を含む。動作２１５におけるスレッシュホールドの比較は、複数の次元に異なるスレッシュホールドを含むので、画像捕獲装置１００が故意に傾斜された（メモリ１６５に記憶する前に写真を修正しない）かどうかの最終的な決定は、実施形態ごとに異なる。例えば、ある実施形態では、方向の読みが３つの次元の１つ以上を指示する場合に、写真は、スレッシュホールド値を越える次元において修正される（動作２２５）。他の実施形態では、３つの次元の２つが各スレッシュホールドより大きいことを方向の読みが指示しない限り、写真は修正されない（動作２２５）。更に別の実施形態では、３つの全次元が各スレッシュホールドより大きいことを方向の読みが指示しない限り、写真は修正されない（動作２２５）。更に別の実施形態では、方向スレッシュホールドに関わりなく変換修正フィルタが計算され、この場合は、変換量の限界が計算されて、方向スレッシュホールドに代わって使用される。

少なくとも１つの実施形態では、修正動作２２５は、捕獲画像におけるまっすぐな縁の角度を見積もることを含む。加速度計のデータを適用して捕獲画像をまっすぐにした後に、まっすぐな縁が垂直に非常に近くなった場合には、まっすぐな縁に対してなされた変化を捕獲画像の残部に適用することにより、全捕獲画像が実質的に垂直にされる。従って、これらの実施形態では、まっすぐな縁が垂直にどれほど接近しているか決定するためにスレッシュホールドが使用される。

メモリ１６５に記憶する前に写真を修整するのに加えて、潜在的な写真の画像をユーザに表示するときには、写真をオンザフライで修正することができる。これは、図３Ｂに示した動作２０５に例示される。図１Ａ及び１Ｂに関連して動作２０５を参照すれば、潜在的な写真の画像が動作２３０においてディスプレイ１７０に表示される。これは、ユーザが写真を撮ろうとしていることを示すためにユーザがスイッチ１２５を押す結果として生じる。加速度計１５０からの方向データは、動作２４０の間にプロセッサ１３０によって読み取られ、そして潜在的な写真の画像が歪を含むかどうか決定するのに使用される。例えば、動作２４０の間に得られた読みは、ディスプレイ１７０においてユーザに表示される画像（即ち、潜在的な写真）が歪を含むかどうか、或いはユーザが画像捕獲装置１００を故意に傾斜させたかどうか決定するのに使用される。これは、動作２５０に示されている。動作２１５の場合と同様に、動作２５０は、動作２４０からの方向データの読みを、１つ以上のスレッシュホールド値と比較することにより、画像捕獲装置１００が故意に傾斜されたかどうか決定することを含む。加速度計１５０から読み取られた方向データがスレッシュホールドより大きい場合には、プロセッサ１３０は、これをユーザによる故意の傾斜と解釈し、そしてディスプレイ１７０においてユーザに表示される画像の修正を見合わせる。これは、動作２６０に示されている。動作２４０の間に読み取られた方向データがスレッシュホールド値より小さい場合には、プロセッサ１３０は、この画像歪を故意と解釈し、動作２７０において写真撮影の前に画像に対して修正を行い、そして動作２８０において、修正された画像がユーザに表示される。このように、ユーザは、写真を撮影する前に修正が充分であるかどうか決定することができる。

図４Ａ及び４Ｂは、各々、Ｘ軸の歪のある画像の歪及びオンザフライ修正を示す。図４Ａ及び４Ｂは、説明上、画像のＸ軸に沿った歪に焦点を当てているが、この説明は、Ｙ軸及び／又はＺ軸に沿った歪にも等しく適用される。図４Ａ及び４Ｂを参照すれば、図４Ａは、ディスプレイ１７０に表示される米国連邦議会議事堂の画像を示している。図４Ａを調べることから明らかなように、連邦議会議事堂の画像は、Ｘ軸に沿って傾斜している。説明上、図４Ａに示す画像は、動作２５０で示されたスレッシュホールド量より傾斜が小さく、即ち傾斜が意図的なものでないと仮定する。そのため、ディスプレイ１７０に表示される画像は、動作２０５においてオンザフライで修正される。図４Ｂは、この同じ画像を、修正された形態で示し、動作２８０において画像は実質的にＸ軸歪がない。これで、ユーザが写真を撮影すると、メモリ１６５に記憶される画像データは、実質的に歪がない。これらの実施形態では、方向データを使用して、画像データをオンザフライで修正するので、加速度計データは、任意にメモリ１６５に記憶されてもよく、又はメモリにスペースを保存するために、方向データは、破棄されてもよい。

修正がオンザフライで行われる実施形態では、画像捕獲装置１００は、修正が行われたことを、視覚的に、聴覚的に、振動フィードバックにより物理的に、及び／又は触覚的にユーザに警告する。例えば、ある実施形態では、画像捕獲装置１００がオンザフライ修正を行ったときに、画像捕獲装置１００は、可聴警報装置１９０を作動することによりユーザにそれを指示する。他の実施形態では、例えば、画像捕獲装置１００がセルラーホンであるときには、振動を通して、修正が行われたことをユーザに警告する。更に別の実施形態では、画像捕獲装置１００は、オンザフライ歪修正アイコン（特に図示せず）をディスプレイ１７０に表示することにより、オンザフライ修正が行われたことをユーザに視覚的に指示する。更に別の実施形態では、画像を修正し（動作２７０）そして修正された画像を表示する（動作２８０）のに代わって、画像捕獲装置１００は、元々表示された画像に歪指示子３０５を表示し、画像捕獲装置１００がオンザフライ修正を行ってメモリ１６５に写真を記憶できるようにする前に行われる切り落としの量をユーザが計測できるようにする。図４Ｃは、図４Ａからの連邦議会議事堂の歪んだ画像を示し、ディスプレイ１７０に表示された画像には歪指示子３０５が課せられている。歪指示子３０５は、Ｘ、Ｙ及び／又はＺ軸に沿った望ましい方向に対応するようにプロセッサ１３０により計算される。例えば、図１Ａに関連して図４Ｃを参照すれば、歪指示子３０５は、Ｘ及びＹ軸で画成された画像捕獲装置１００の平面に直交するように示されている。

図５は、図４Ｃに示された歪指示子３０５を具現化するのに使用される動作４００を示す。動作２０５のケースと同様に、動作４００は、動作４０５においてユーザに画像を表示し、動作４１０において方向データを読み取り、そしてその方向データがスレッシュホールドより大きいかどうかを動作４２０において決定することにより行われる。歪が意図的なものでなく、即ち傾斜がスレッシュホールド未満であることを方向データが指示する場合には、プロセッサ１３０は、動作４３０において、歪指示子３０５を表示する。ある実施形態では、これは、スイッチ１２５を押して、ユーザがディスプレイ１７０に画像の写真を撮影したいことを指示する結果として生じ（動作４０５の間に）、それ故、ユーザは、動作４３０の間に画像捕獲装置１００を傾斜させてディスプレイ１７０に示された歪指示子３０５に画像を整列させることにより画像を手動で修正する機会を得る。方向がスレッシュホールドより大きい（例えば、傾斜が故意である）ことを動作４２０が指示する場合には、動作４３０においてディスプレイ１７０から歪指示子３０５が除去される。

Ｘ、Ｙ及び／又はＺ軸の画像歪を修正するのに加えて、加速度計１５０により測定された方向データを距離データに関連して使用して、物体１６０の画像に存在する遠近歪を修正することができる。「遠近歪」という語は、一般的に、画像センサ１２０及び物体１６０が互いにある角度にあることから生じる物体１６０の歪曲を指す。図６は、図１に示す画像捕獲装置１００を動作するときの潜在的な遠近歪を示す。図７を参照すれば、物体１６０は、地面及び／又は水平に対して実質的に非垂直位置にあり、θ₁で示されている。この相対的な非垂直位置の結果として、画像センサ１２０に提示される画像は、歪曲又はスキューされ、この画像の写真は、遠近歪を有する。例えば、図７Ａは、ディスプレイ１７０に表示される、遠近歪を含むビッグベンの画像を示す。

ある実施形態では、距離測定センサ１５５は、遠近歪を修正するために加速度計１５０からの方向データに関連して使用される１つ以上の距離測定値を与える。例えば、ある実施形態では、距離測定センサ１５５は、画像センサ１２０と物体１６０との間に延びて画像センサ１２０に直交するベクトルの距離ｄ₁を測定する。更に、距離測定センサ１５５は、画像センサ１２０と物体１６０との間に延びて地面に平行なベクトルの距離ｄ₂を測定する。更に、加速度計１５０は、地面に対する画像センサ１２０の角度θ₂を測定する。距離測定値ｄ₁及びｄ₂並びに角度θ₂に基づき、水平に対する物体１６０の角度θ₁を三角法の動作で決定することができる。プロセッサ１３０で角度θ₁を計算することにより、画像データをメモリ１６５に記憶する前に遠近変換動作を使用して遠近歪をオンザフライで修正することができる。上述したように、そのようなオンザフライの修正は、メモリ１６５のスペースを保存する。図７Ｂは、遠近歪変換で処理された図７Ａの画像を示す。他の実施形態では、距離測定値ｄ₁及びｄ₂並びに角度θ₂が画像データのヘッダに記憶され、角度θ₁を後で計算することにより遠近変換が適用される。

図７Ａ及び７Ｂを比較することから明らかなように、遠近歪を修正するときに元の画像の縦横比を保存するために、図７Ａから画像データの一部分が切り落とされる。同様に、図４Ａ及び４Ｂを比較することから明らかなように、傾斜歪を修正するときにも画像データの一部分が切り落とされる。傾斜歪又は遠近歪を修正するときに画像から画像データを切り落とすので、ある実施形態では、動的な切り落とし線を使用して切り落とすべき部分がディスプレイ１７０においてユーザに指示される。図７Ｃは、図７Ａに示す画像に課せられた動的な切り落とし線５０５を示す。動的な切り落とし線３１０は、傾斜及び／又は遠近歪修正の後にユーザが望む細部が保存されるように、写真撮影されるべき物体をフレーミングする上でユーザの助けとなる。

１００：画像捕獲装置
１１０：アパーチャー
１２０：画像センサ
１２１：レンズ
１２５：スイッチ
１３０：プロセッサ
１５０：加速度計
１５５：距離センサ
１６０：写真撮影される物体
１６５：メモリ
１７０：ディスプレイスクリーン
１９０：可聴警報装置

Claims (19)

1. 画像歪を補償する方法において、
   画像データを含む画像の捕獲中に、画像捕獲装置の方向測定値を読み取る段階と、
   前記画像における一つ以上のまっすぐな縁の方向を決定する段階と、
   差の指標を決定する段階と、
   前記差の指標がスレッシュホールド未満である場合に、前記画像データを修正することにより、前記画像を修正する段階と、
   を備え、前記差の指標は、前記一つ以上のまっすぐな縁の一つが前記画像捕獲装置の前記方向測定値だけ方向が調整された後に、前記一つ以上のまっすぐな縁の一つが垂直にどれほど近接しているかの程度に等しい、方法。
2. 画像をメモリに記憶する段階を更に備えた、請求項１に記載の方法。
3. 画像を修正する前記段階は、画像を記憶する前記段階の前に行う、請求項２に記載の方法。
4. 前記修正段階は、オンザフライで行う、請求項３に記載の方法。
5. 前記修正された画像を、画像を記憶する前記段階の前にディスプレイに表示する段階を更に備えた、請求項２に記載の方法。
6. 画像と共にディスプレイに歪指示子を表示する段階を更に備え、前記歪指示子は、前記方向測定値に関連したものである、請求項１に記載の方法。
7. 前記修正段階は、Ｘ軸、Ｙ軸又はＺ軸の少なくとも１つに沿って前記画像捕獲装置の歪を補償することを含む、請求項１に記載の方法。
8. 前記差を決定する段階は、前記Ｘ軸、Ｙ軸又はＺ軸の少なくとも２つにおいて、前記方向測定値と、前記一つ以上のまっすぐな縁の前記方向との間の差の指標を決定することを含む、請求項７に記載の方法。
9. プロセッサ読み取り可能な非一時的記憶装置であって、該記憶装置に記憶されている命令が、一つ以上のプロセッサに、
   撮影画像を表すデータから成る画像の捕獲動作中に、画像捕獲装置の方向測定値を得させ、
   前記撮影画像中のまっすぐな縁に対応する前記データ内の一つ以上のまっすぐな縁を識別させ、
   前記一つ以上のまっすぐな縁の一つが前記画像捕獲装置の前記方向測定値だけ方向が調整された後に、前記一つ以上のまっすぐな縁の一つが垂直にどれほど近接しているかの程度に等しい差の指標を決定させ、
   前記差の指標がスレッシュホールド未満である場合に、前記データを修正させる命令を含む、
   プロセッサ読み取り可能な非一時的記憶装置。
10. 前記一つ以上のプロセッサに前記方向測定値を得させる命令が、前記一つ以上のプロセッサに、前記画像捕獲装置に対する一つ以上の軸の各々に沿って方向測定値を得させる命令を含む、請求項９に記載の非一時的記憶装置。
11. 前記一つ以上のプロセッサに差の指標を決定させる命令が、前記軸の第１の軸に沿った前記方向測定値及び前記第１の軸に沿った少なくとも一つの前記まっすぐな縁の方向に少なくとも部分的に基づいて、前記一つ以上のプロセッサに差の指標を決定させる命令を含む、請求項１０に記載の非一時的記憶装置。
12. 前記一つ以上のプロセッサに差の指標を決定させる命令が、前記第１の軸に沿った前記方向測定値と前記第１の軸に沿った少なくとも一つの前記まっすぐな縁との間の角度差を、前記一つ以上のプロセッサに決定させる命令を更に含む、請求項１１に記載の非一時的記憶装置。
13. 前記一つ以上のプロセッサに前記データを修正させる命令が、少なくとも一つの前記まっすぐな縁の方向が、前記方向測定値に一致するように、前記一つ以上のプロセッサに前記データを修正させる命令を含む、請求項１０に記載の非一時的記憶装置。
14. 前記一つ以上のプロセッサに前記データを修正させる命令が、少なくとも一つの前記まっすぐな縁の方向が、前記方向測定値に近いが、完全には一致していないように、前記一つ以上のプロセッサに前記データを修正させる命令を含む、請求項１０に記載の非一時的記憶装置。
15. 前記一つ以上のプロセッサに差の指標を決定させる命令が、前記一つ以上のプロセッサに、
    一つ以上のまっすぐな縁の第１のまっすぐな縁の方向と前記一つ以上の軸の第１の軸に沿った前記方向測定値との間の第１の角度差を決定させ、
    一つ以上のまっすぐな縁の前記第１のまっすぐな縁の方向と前記一つ以上の軸の第２の軸に沿った前記方向測定値との間の第２の角度差を決定させる命令を含む、請求項１０に記載の非一時的記憶装置。
16. 前記一つ以上のプロセッサに前記データを修正させる命令が、前記一つ以上のプロセッサに、
    前記第１のまっすぐな縁の前記方向が、前記第１の角度差に少なくとも部分的に基づいて、前記第１の軸に沿った前記測定方向に一致するように前記データを修正させ、且つ
    前記第１のまっすぐな縁の前記方向が、前記第２の角度差に少なくとも部分的に基づいて、前記第２の軸に沿った前記方向測定値に一致するように前記データを修正させる命令を含む、請求項１５に記載の非一時的記憶装置。
17. 前記一つ以上のプロセッサに、ディスプレイ上に前記画像及び歪み指示を表示させる命令を更に含み、前記歪み指示が前記方向測定値に関係している、請求項９に記載の非一時的記憶装置。
18. 前記一つ以上のプロセッサに、前記データも記憶されるファイルのヘッダ領域内に前記方向測定値を記憶させる命令を更に含む、請求項９に記載の非一時的記憶装置。
19. 前記一つ以上のプロセッサに前記データを修正させる命令が、前記一つ以上のプロセッサにオンザフライで前記データを修正させる命令を含む、請求項９に記載の非一時的記憶装置。

Images