JP6345799B2 - 画素を多重化するカメラのシェイクブラーおよびモーションブラーの制御 - Google Patents

画素を多重化するカメラのシェイクブラーおよびモーションブラーの制御 Download PDF

Info

Publication number
JP6345799B2
JP6345799B2 JP2016558072A JP2016558072A JP6345799B2 JP 6345799 B2 JP6345799 B2 JP 6345799B2 JP 2016558072 A JP2016558072 A JP 2016558072A JP 2016558072 A JP2016558072 A JP 2016558072A JP 6345799 B2 JP6345799 B2 JP 6345799B2
Authority
JP
Japan
Prior art keywords
image
image frame
motion
camera
blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016558072A
Other languages
English (en)
Other versions
JP2017517909A (ja
Inventor
マルテンソン、リーヌス
トルン、オーラ
グスタフソン、ヨナス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2017517909A publication Critical patent/JP2017517909A/ja
Application granted granted Critical
Publication of JP6345799B2 publication Critical patent/JP6345799B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C19/00Gyroscopes; Turn-sensitive devices using vibrating masses; Turn-sensitive devices without moving masses; Measuring angular rate using gyroscopic effects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

画像を撮影する場合、カメラのユーザが静止していない(またはカメラをゆらす)ときに撮影される画像は不鮮明になる。撮影された画像から画像を撮影した後に、この「シェイクブラー(shake blur)」を制御する必要がある。モーションブラー(motion blur)は、静止画像または一連の静止画像において素早く移動するオブジェクトの筋がつくこと(streaking)である。撮影した画像から画像を撮像した後に、このモーションブラーを制御する必要がある。
本発明の実施形態は、画像に関連するシェイクブラーやモーションブラーを制御するためのシステム、方法およびコンピュータプログラムプロダクトを対象とする。例となる方法は、画像に関連する第1の画像フレームおよび第2の画像フレームを受信することと、第1の画像フレームまたは第2の画像フレームにおけるカメラの第1の動きを判定することと、第1の画像フレームと第2の画像フレームとの間のカメラの第2の動きを判定することと、第1の動きに基づいて、少なくとも画像に関連付けられるシェイクブラーの一部を制御することと、第2の動きに基づいて、少なくとも画像に関連付けられるモーションブラーの一部を制御することと、を含む。
いくつかの実施形態では、カメラは、画素多重カメラを含む。
いくつかの実施形態では、第1の動きは、カメラに関連付けられる動きセンサを使用して判定される。
いくつかの実施形態では、動きセンサは、カメラと実質的に同期して画像をサンプリングする。
いくつかの実施形態では、動きセンサは加速度計またはジャイロスコープを含む。
いくつかの実施形態では、カメラは、モバイルデバイスの一部である。
いくつかの実施形態では、第1の動きは、第1の動きの方向および第1の動きの大きさを含む。
いくつかの実施形態では、第2の動きは、第2の動きの方向および第2の動きの大きさを含む。
いくつかの実施形態では、第1の画像フレームおよび第2の画像フレームは第1の解像度に関連付けられ、第1の解像度は所定の解像度よりも低く、画像は第2の解像度と関連付けられ、第2の解像度は所定の解像度以上である。
いくつかの実施形態では、さらに画像のためのコントローラを提供することを含む。
いくつかの実施形態では、コントローラは、ユーザのジェスチャ、またはユーザの入力によって制御される。
いくつかの実施形態では、コントローラは、画像に関連付けられるモーションブラーのユーザ定義される量を制御することができる。
いくつかの実施形態では、コントローラは、画像の残りの部分に影響を与えることなく、画像内の第1のオブジェクトに関連付けられるモーションブラーのユーザ定義される量を制御することができる。
いくつかの実施形態では、シェイクブラーの少なくとも一部を制御することは、シェイクブラーの少なくとも一部を低減させることを含み、モーションブラーの少なくとも一部を制御することは、モーションブラーの少なくとも一部を低減させることを含む。
いくつかの実施形態では、シェイクブラーの少なくとも一部を制御することは、シェイクブラーの少なくとも一部を増加させることを含み、モーションブラーの少なくとも一部を制御することは、モーションブラーの少なくとも一部を増加させることを含む。
いくつかの実施形態では、画像に関連付けられるシェイクブラーおよびモーションブラーを制御するために、システムが提供される。システムは、カメラと、メモリと、プロセッサと、メモリに格納され、プロセッサによって実行可能であり、画像に関連する第1の画像フレームおよび第2の画像フレームを受信し、第1の画像フレームまたは第2の画像フレームにおけるカメラの第1の動きを判定し、第1の画像フレームと第2の画像フレームとの間のカメラの第2の動きを判定し、第1の動きに基づいて、少なくとも画像に関連付けられるシェイクブラーの一部を制御し、第2の動きに基づいて、少なくとも画像に関連付けられるモーションブラーの一部を制御する、ように構成されるモジュールと、を含む。
いくつかの実施形態では、画像に関連付けられるシェイクブラーおよびモーションブラーを制御するために、コンピュータプログラムプロダクトが提供される。コンピュータプログラムプロダクトは、画像に関連する第1の画像フレームおよび第2の画像フレームを受信し、第1の画像フレームまたは第2の画像フレームにおけるカメラの第1の動きを判定し、第1の画像フレームと第2の画像フレームとの間のカメラの第2の動きを判定し、第1の動きに基づいて、少なくとも画像に関連付けられるシェイクブラーの一部を制御し、第2の動きに基づいて、少なくとも画像に関連付けられるモーションブラーの一部を制御する、ように構成されるコードを含む、非一時的なコンピュータ可読媒体を含む。
このように一般的な用語で本発明の実施形態を説明され、参照がここで添付している図面に対してなされる。
図1は、本発明の実施形態による画像に関連するモーションブラーおよびシェイクブラーを制御するための処理フローを示す。 図2は、本発明の実施形態による、例示的なカメラを示す。
以下では、本発明の実施形態が図面を参照してより十分に説明され、全てではないが、いくつかの本発明の実施形態が示される。実際、本発明は多くの異なる形態で具体化されてもよく、本明細書に記載の実施形態に限定されると解釈されるべきではなく、むしろ本開示が適用可能な法的要件を満たすことができるように、これらの実施形態が提供される。番号は、全体を通して同じ要素を示す。
本発明は、撮影された画像に関連付けられるシェイクブラーおよびモーションブラーを制御することを対象とする(例えば、画像に関連する後処理手順の間に)。いくつかの実施形態では、本発明は、画素多重カメラを使用する。当該カメラは、光を受けるカメラレンズを含む。光は、カメラに配置される写真センサの一部の第1の部分で光を反射させる、カメラに設置される回転ミラーに当たる。光は、センサの一部の第1の部分からセンサの一部の第2の部分に反射される。続いて光は、センサの一部の第2の部分からセンサの一部の第3の部分に反射される、などである。センサの一部の各部分からの反射は、画像の一部の部分を含む。画像の一部の各部分は、低解像度の画像(例えば、所定の解像度未満を有する)であってもよい。画像の種々の一部の部分は、高解像度の画像(例えば、所定の解像度以上を有する)を形成するために組み合わされることができる。画像の種々の一部の部分は、画像フレームと呼ばれてもよい。本発明は、画素多重カメラを使用することに限定されるものではない。代替的な実施形態では、カメラの他のタイプが使用されてもよい。
本明細書で使用されるように、シェイクブラーおよびモーションブラーを制御することは、シェイクブラーおよびモーションブラーを変更することをいう。いくつかの実施形態において、シェイクブラーおよびモーションブラーを変更することは、シェイクブラーおよびモーションブラーを低減させること(例えば、除去すること)を指す。他の実施形態では、シェイクブラーおよびモーションブラーを変更することは、シェイクブラーおよびモーションブラーを増加させることを指す。
本発明において、画素多重カメラは、カメラに関連する加速度計および/またはジャイロスコープと同期される。加速度計および/またはジャイロスコープは、カメラのハウジング内に配置されてもよく、またはカメラのハウジングの内部および/または外部表面に沿って配置されてもよい。本明細書で使用されるように、ジャイロスコープは、カメラの方向を判定できるように、地球の重力を使用するデバイスである。本明細書で使用されるように、加速度計は、カメラの非重力的な加速度を測定するために使用されるデバイスである。本明細書で使用されるように、加速度計とジャイロスコープの両方は、動きの大きさと動きの方向を含むカメラの動きを判定できる、動きセンサである。
加速度計および/またはジャイロスコープは、実質的にカメラと同期した画像をサンプリングする。例えば、加速度計および/またはジャイロスコープのサンプリング周波数は100Hzである。これは、カメラ(およびカメラハウジング)が、画像フレーム内でどのように動くかの判定を可能にする。画像フレーム内でカメラがどのように動くかは、動きの方向および/または動きの大きさを含む。画像フレーム内でカメラがどのように動くかは、本明細書に記載されるシェイクブラーを含む。シェイクブラーを判定することにより、シェイクブラーは、図2に記載のシェイクブラーコントロールモジュールによって撮影された画像から補正または除去される。従って本発明は、カメラの動きを相殺する機械的な補償を使用することなく、シェイクブラーを除去することができる。
本明細書に記載のようにカメラは複数の画像フレームまたは本明細書に記載のように複数の画像の部分を撮影する。画像フレームは低解像度(例えば、所定の解像度未満)で撮影される。カメラは、両方のフレームを比較することによって、2つの連続して撮影された画像フレーム間に動きがあるか否かを判定できる。この動きの量および/またはこの動きの方向は、モーションブラーを含む。このモーションブラーが判定されると、このモーションブラーは、図2で説明されるモーションブラーコントロールモジュールによって、撮影された画像から補正または除去される。
いくつかの実施形態において、コントローラ(例えば、グラフィカルコントローラ)が、画像のために提供される。コントローラは、スライダーまたは他のインジケーターのようなウィジェットを含んでもよい。コントローラは、ユーザのジェスチャまたは他のユーザの入力を使用して制御されてもよい。コントローラは、ユーザが画像上に、または画像上のオブジェクト上に指やポインタを置くときに、画像(または画像上のオブジェクト)に隣接して配置されてもよく、または画像上(または、画像上のオブジェクト上)に表示されてもよい。いくつかの実施形態において、コントローラは、ユーザのジェスチャに基づいて、画像上のあるオブジェクトから画像上の他のオブジェクトに移動させることができる。カメラのユーザは、どのくらいのモーションブラーをユーザが画像から除去したいかを判定するために、コントローラの設定を変更することができる。いくつかの実施形態において、ユーザは、どのくらいのモーションブラー(例えば、の大きさ)をユーザが画像上の特定のオブジェクト(例えば、人、無生物等)から除去したいかを判定するために、コントローラの設定を変更することができる。したがって本発明は、ユーザが判定したモーションブラーの量を画像内の第1のオブジェクト上に保持することをユーザに可能にし、ユーザが判定したモーションブラーの量を画像内の第2のオブジェクトから除去することをユーザに可能にする。
図1の処理フローを参照すると、図1は、カメラ(例えば、画素多重カメラ)で撮影された画像に関連付けられるシェイクブラーおよびモーションブラーを制御するための処理フローを示す。いくつかの実施形態において、カメラは、モバイルデバイス(例えば、携帯電話)の一部である。ブロック110において処理フローは、画像に関連する第1の画像フレームおよび第2の画像フレームを受信することを含む。第1の画像フレームおよび第2の画像フレームは、所定の解像度未満である第1の解像度に関連付けられ、画像は、所定の解像度以上である第2の解像度と関連付けられる。ブロック120において処理フローは、第1の画像フレームまたは第2の画像フレームにおけるカメラの第1の動きを判定することを含む(例えば、加速度計および/またはジャイロスコープのような動きセンサを使用して)。加速度計および/またはジャイロスコープは、実質的にカメラと同期した画像をサンプリングする。本明細書で使用されるように、第1の動きは、第1の動きの方向および/または第1の動きの大きさを含む。ブロック130において処理フローは、第1の画像フレームと第2の画像フレームとの間のカメラの第2の動きを判定することを含む。本明細書で使用されるように、第2の動きは、第2の動きの方向および/または第2の動きの大きさを含む。ブロック140において処理フローは、第1の動きに基づいて、画像に関連付けられるシェイクブラーの少なくとも一部を制御することを含む。ブロック150において処理フローは、第2の動きに基づいて、画像に関連付けられるモーションブラーの少なくとも一部を制御することを含む。
いくつかの実施形態において、処理はさらに、画像のためのコントローラを提供することを含み、コントローラは、ユーザのジェスチャ、またはユーザの入力によって制御される。いくつかの実施形態において、コントローラは、画像に関連付けられるモーションブラーのユーザ定義される量を除去することができる。他の実施形態において、コントローラは、画像の残りの部分に影響を与えることなく、画像内の第1のオブジェクトに関連付けられるモーションブラーのユーザ定義される量を除去することができる。
本発明は、カメラ(例えば、画素多重カメラ)を含むデバイスの任意の特定のタイプに限定されるものではない。そのようなデバイスの例としては、携帯型または非携帯型のメディアデバイス、携帯電話またはその他のモバイルコンピューティングデバイス、モバイルテレビ、ラップトップコンピュータ、スマートスクリーン、タブレットコンピュータまたはタブレット、携帯型デスクトップコンピュータ、電子書籍リーダー、アイウェア、スキャナ、独立型カメラ、携帯型メディアデバイス、ゲームデバイス、または他の撮像デバイス、腕時計、バンド(例えばリストバンド)または非コンピューティングデバイスを含む。
ここで図2を参照すると、図2は、本明細書に記載のように、カメラを備える例示的なデバイス200を示す。本明細書に記載される各デバイスまたはシステムは、カメラ240、プロセッサ220、メモリ230、およびメモリに格納され、プロセッサによって実行可能な、そして本明細書に記載の様々な処理を実行するように構成されるモジュールを備えるコンピューティングデバイスである。モジュールは、シェイクブラーコントロールモジュール250、およびモーションブラーコントロールモジュール260を含んでもよい。本明細書に記載されるプロセッサ220は、一般的に、オーディオ、ビジュアル、および/または論理機能を実行するための回路を含む。例えばプロセッサ220は、デジタル信号プロセッサデバイス、マイクロプロセッサデバイス、種々のアナログ−デジタル変換器、デジタル−アナログ変換器、および他のサポート回路を含んでもよい。プロセッサ220はまた、例えばメモリに格納されてもよい、ソフトウェアプログラムのコンピュータ実行可能な、プログラムコードの部分に少なくとも部分的に基づいて、1以上のソフトウェアプログラムを動作する機能を含んでよい。
メモリ230は、任意のコンピュータ可読媒体を含んでもよい。例えば、メモリ230は、情報を一時的に記憶するためのキャッシュ領域を有する揮発性のランダムアクセスメモリ(RAM)のような、揮発性メモリを含んでもよい。メモリ230は、内蔵されてもよく、および/または取り外し可能であってもよい、不揮発性メモリを含んでもよい。不揮発性メモリは、追加的または代替的に、EEPROM、フラッシュメモリ、および/または同様のものを含んでもよい。メモリ230は、そのシステムの機能を実現するために存在する、システムによって使用される情報およびデータの任意の1以上の要素を格納してもよい。さらに実施形態において、カメラが移動通信デバイスの一部である場合、通信インタフェース210が設けられる。通信インタフェース210は、ネットワークおよび/または他のデバイスとの無線通信を可能にする。本明細書に記載されるようにシェイクブラーコントロールモジュール250およびモーションブラーコントロールモジュール260は、撮像された画像からシェイクブラーおよびモーションブラーを制御すること(例えば、除去すること)を可能にする。
本発明の実施形態によれば、システム(またはデバイス)に関する用語「モジュール」は、システムのハードウェア構成要素、システムのソフトウェア構成要素、またはハードウェアおよびソフトウェアの両方を含むシステムの構成要素を意味してもよい。本明細書で使用されるように、モジュールは、1または複数のモジュールを含んでもよく、各モジュールは、ハードウェアまたはソフトウェアの別々の部分に存在してもよい。
本発明の多くの実施例は上述されたが、本発明は多くの異なる形態で具体化されてもよく、本明細書に記載された実施形態に限定されると解釈されるべきではなく、むしろ、この開示が適用可能な法的要件を満たすように、これらの実施形態が提供される。また、可能であれば、本明細書で記載および/または意図される本発明の実施形態のいずれかの利点、特徴、機能、デバイス、および/または動作の態様のいずれかが、本明細書中で記載および/または意図される本発明の他の実施形態のいずれかに含まれていてもよい、および/またはその逆であってもよいことが理解されるであろう。また、可能な場合であれば、本明細書において単数形で表現される任意の用語はまた、特に明示しない限り、複数形を含むことを意味し、および/またはその逆を含むことを意味する。本明細書で使用される場合、「少なくとも1つ」は、「1つ以上」を意味し、これらの語句は交換可能であることが意図される。従って、用語「a」および/または「an」は、語句「1または複数」または「少なくとも1つ」がまた、本明細書で使用される場合であっても、「少なくとも1つ」または「1または複数」を意味する。番号は全体を通して同じ要素を示す。
本開示に鑑みて当業者によって理解されるように、本発明は、(例えば、システム、マシーン、デバイス、コンピュータプログラムプロダクト、および/または同様のもの含む)装置を含んでもよく、および/または装置として具体化されてもよく、(例えば、ビジネス方法、コンピュータ実装プロセス、および/または同様のものを含む)方法を含んでもよく、および/または方法として具体化されてもよく、またはこれらの任意の組合せを含んでもよく、および/または方法として具体化されてもよい。従って、本発明の実施形態は、全体としてビジネス方法の実施形態、完全なソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコード、データベース内に格納されるプロシージャなどを含む)、完全なハードウェアの実施形態、またはビジネス方法、ソフトウェア、および本明細書で一般的に「システム」と言及されるハードウェアの態様を組み合わせた実施形態の形態をとってもよい。また、本発明の実施形態は、コンピュータ可読記憶媒体に格納された1つまたは複数のコンピュータ実行可能なプログラムコードの部分を有するコンピュータ可読記憶媒体を含む、コンピュータプログラムプロダクトの形態をとってもよい。本明細書で使用されるように、1または複数のプロセッサを含んでもよいプロセッサは、例えば、機能を実行する1つまたは複数の汎用回路を有することによって、コンピュータ可読媒体において具現化される1つまたは複数のコンピュータ実行可能なプログラムコード部分を実行することによって、および/または機能を実行する1つまたは複数のアプリケーション固有の回路を有することによって、などの様々な方法で特定の機能を実行するように「構成」されてもよい。
任意の適切なコンピュータ可読媒体が利用されてもよいことが理解されるであろう。コンピュータ可読媒体は、例えば、これに限られないが、有体の、電子的、磁気的、光学的、電磁気的、赤外線または半導体システム、デバイス、および/または他の装置のような、非一時的なコンピュータ可読媒体を含んでもよい。例えば、いくつかの実施形態において、非一時的なコンピュータ可読媒体は、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能なプログラマブル読み出し専用メモリ(EPROMまたはフラッシュメモリ)、コンパクトディスク読み出し専用メモリ(CD−ROM)、および/またはいくつかの他の有形の光学および/または磁気記憶デバイスのような、有形の媒体を含む。しかし、本発明の他の実施形態において、コンピュータ可読媒体は、例えば、信号の中に具現化されたコンピュータ実行可能なプログラムコード部分を含む伝播信号のような一時的なものであってもよい。
本発明の動作を実行するための1つまたは複数のコンピュータ実行可能なプログラムコード部分は、例えば、Java、Perl、Smalltalk、C++、SAS、SQL、Python、Objective C、JavaScript、および/または同様のもののような、オブジェクト指向、スクリプト、および/または非スクリプトのプログラミング言語を含んでもよい。いくつかの実施形態において、本発明の実施形態の動作を実行するための1つまたは複数のコンピュータ実行可能なプログラムコード部分は、「C」プログラミング言語および/または類似のプログラミング言語のような、従来の手続き型のプログラミング言語で記述されてもよい。コンピュータプログラムコードは、代替的または追加的に、例えばF#のような、1つ以上のマルチパラダイムプログラミング言語で書かれてもよい。
本発明のいくつかの実施形態は、本明細書中でフローチャート図および/または装置および/または方法のブロック図を参照して記載された。フローチャート図に含まれる各ブロックおよび/またはブロック図および/またはフローチャート図に含まれるブロックの組み合わせおよび/またはブロック図は、1つまたは複数のコンピュータ実行可能なプログラムコード部分によって実現されてもよいことが理解されるであろう。これらの1つまたは複数のコンピュータ実行可能なプログラムコード部分は、コンピュータおよび/または他のプログラム可能なデータ処理装置のプロセッサを介して実行される、1つまたは複数のコンピュータ実行可能なプログラムコード部分が、フローチャートおよび/またはブロック図のブロックによって表されるステップおよび/または機能を実現するためのメカニズムを生成できるように、特定のマシーンを製造するために、汎用コンピュータ、専用コンピュータ、および/またはいくつかの他のプログラム可能なデータ処理装置のプロセッサに提供されてもよい。
指示、命令、および/またはコンピュータまたは他のプログラム可能なデータ処理装置を特定の方法で機能させるようにすることができる、1つまたは複数のコンピュータ実行可能なプログラムコード部分は、コンピュータ可読媒体に格納されたコンピュータ実行可能なプログラムコード部分がフローチャートおよび/またはブロック図のブロックで特定されたステップおよび/または機能を実現する指示メカニズムを含む製品を生み出せるように、一時的および/または非一時的なコンピュータ可読媒体(例えば、メモリ等)に格納されてもよい。
1つまたは複数のコンピュータ実行可能なプログラムコード部分は、一連の動作ステップをコンピュータおよび/または他のプログラム可能な装置上で実行させるために、コンピュータおよび/または他のプログラム可能なデータ処理装置上にロードされてもよい。いくつかの実施形態において、これは、コンピュータおよび/または他のプログラム可能な装置上で実行される1つまたは複数のコンピュータ実行可能なプログラムコード部分が、フローチャートで特定されたステップおよび/またはブロック図のブロックで特定された機能を実装するための動作ステップを提供するように、コンピュータ実装プロセスを生成する。代替的にコンピュータ実行ステップは、本発明の実施形態を実施するために、オペレータおよび/または人の実行ステップと組み合わされてもよく、および/または置き換えられてもよい。
特定の例示的な実施形態は、添付の図面に記載され、示されるが、そのような実施形態は単に、広範な発明の例示であり、制限されず、上記の段落に記載されたものに加えて、他の様々な変更、組み合わせ、省略、修正および置換が可能であるため、本発明は図示および説明された特定の構成および配置に限定されないことが理解されるべきである。当業者は、説明された実施形態の様々な適応、変更、および組合せが、本発明の範囲および精神から逸脱することなく構成されることを理解するであろう。したがって、添付の特許請求の範囲内で、本発明は本明細書で具体的に記載されたようなもの以外で実施されてもよいことが理解されるべきである。

Claims (15)

  1. カメラで撮影される画像に関連付けられるシェイクブラーおよびモーションブラーを制御するための方法であって、
    前記画像に関連する第1の画像フレームおよび前記第1の画像フレームの後に連続して撮影される第2の画像フレームを受信することと、
    前記第1の画像フレームおよび前記第2の画像フレームにおける前記カメラの第1の動きを、前記カメラに含まれ前記カメラと同期して画像をサンプリングするように構成される少なくとも1つの動きセンサを用いて判定することと、
    前記第1の画像フレームと前記第2の画像フレームとを比較することによって、前記第1の画像フレームと前記第2の画像フレームとの間の前記カメラの第2の動きを判定することと、
    前記第1の動きに基づいて、少なくとも前記画像に関連付けられるシェイクブラーの一部を制御することと、
    前記第2の動きに基づいて、少なくとも前記画像に関連付けられるモーションブラーの一部を制御することと、
    を含む、方法。
  2. 前記カメラは、画素多重カメラを含む、請求項1に記載の方法。
  3. 前記少なくとも1つの動きセンサは、少なくとも1つの加速度計またはジャイロスコープを含む、請求項1に記載の方法。
  4. 前記カメラは、モバイルデバイスの一部である、請求項1に記載の方法。
  5. 前記第1の動きは、前記第1の動きの方向および前記第1の動きの大きさを含む、請求項1に記載の方法。
  6. 前記第2の動きは、前記第2の動きの方向および前記第2の動きの大きさを含む、請求項1に記載の方法。
  7. 前記第1の画像フレームおよび前記第2の画像フレームは、第1の解像度に関連付けられ、前記第1の解像度は所定の解像度よりも低く、前記画像は第2の解像度と関連付けられ、前記第2の解像度は前記所定の解像度以上である、請求項1に記載の方法。
  8. さらに前記画像のためのコントローラを提供することを含む、請求項1に記載の方法。
  9. 前記コントローラは、ユーザのジェスチャ、またはユーザの入力によって制御される、請求項8に記載の方法。
  10. 前記コントローラは、前記画像に関連付けられるモーションブラーのユーザ定義される量を除去することができる、請求項8に記載の方法。
  11. 前記コントローラは、前記画像の残りの部分に影響を与えることなく、前記画像内の第1のオブジェクトに関連付けられるモーションブラーのユーザ定義される量を除去することができる、請求項8に記載の方法。
  12. シェイクブラーの少なくとも一部を制御することは、シェイクブラーの少なくとも一部を低減させることを含み、モーションブラーの少なくとも一部を制御することは、モーションブラーの少なくとも一部を低減させることを含む、請求項1に記載の方法。
  13. シェイクブラーの少なくとも一部を制御することは、シェイクブラーの少なくとも一部を増加させることを含み、モーションブラーの少なくとも一部を制御することは、モーションブラーの少なくとも一部を増加させることを含む、請求項1に記載の方法。
  14. 画像に関連付けられるシェイクブラーおよびモーションブラーを制御するためのシステムであって、
    カメラを備え、
    前記カメラは、
    メモリと、
    前記メモリと通信するプロセッサと、
    前記プロセッサと通信し、および前記カメラにより撮影された画像を同期してサンプリングするように構成される少なくとも1つの動きセンサと、
    前記メモリに格納され、前記プロセッサによって実行可能であり、
    画像に関連する第1の画像フレームおよび前記第1の画像フレームの後に連続して撮影される第2の画像フレームを受信し、
    前記第1の画像フレームまたは前記第2の画像フレームにおける前記カメラの第1の動きを、前記少なくとも1つの動きセンサを用いて判定し、
    前記第1の画像フレームと前記第2の画像フレームとを比較することによって、前記第1の画像フレームと前記第2の画像フレームとの間の前記カメラの第2の動きを判定し、
    前記第1の動きに基づいて、少なくとも前記画像に関連付けられるシェイクブラーの一部を制御し、
    前記第2の動きに基づいて、少なくとも前記画像に関連付けられるモーションブラーの一部を制御する、ように構成されるモジュールと、
    を含む、システム。
  15. 画像に関連付けられるシェイクブラーおよびモーションブラーを制御するためのコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
    画像に関連する第1の画像フレームおよび前記第1の画像フレームの後に連続して撮影される第2の画像フレームを受信し、
    前記第1の画像フレームおよび前記第2の画像フレームにおけるカメラの第1の動きを、前記カメラに含まれ前記カメラと同期して画像をサンプリングするように構成される少なくとも1つの動きセンサを用いて判定し、
    前記第1の画像フレームと前記第2の画像フレームとを比較することによって、前記第1の画像フレームと前記第2の画像フレームとの間の前記カメラの第2の動きを判定し、
    前記第1の動きに基づいて、少なくとも前記画像に関連付けられるシェイクブラーの一部を制御し、
    前記第2の動きに基づいて、少なくとも前記画像に関連付けられるモーションブラーの一部を制御する、ように構成される、コンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2016558072A 2014-03-19 2014-03-19 画素を多重化するカメラのシェイクブラーおよびモーションブラーの制御 Active JP6345799B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2014/059960 WO2015140596A1 (en) 2014-03-19 2014-03-19 Control of shake blur and motion blur for pixel multiplexing cameras

Publications (2)

Publication Number Publication Date
JP2017517909A JP2017517909A (ja) 2017-06-29
JP6345799B2 true JP6345799B2 (ja) 2018-06-20

Family

ID=50543264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016558072A Active JP6345799B2 (ja) 2014-03-19 2014-03-19 画素を多重化するカメラのシェイクブラーおよびモーションブラーの制御

Country Status (6)

Country Link
US (1) US9648239B2 (ja)
EP (1) EP3120537B1 (ja)
JP (1) JP6345799B2 (ja)
KR (1) KR102174808B1 (ja)
CN (1) CN106233710B (ja)
WO (1) WO2015140596A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10728453B2 (en) 2016-08-03 2020-07-28 Samsung Electronics Co., Ltd. Motion stabilized image sensor, camera module and apparatus comprising same
CN107370941B (zh) * 2017-06-29 2020-06-23 联想(北京)有限公司 一种信息处理方法及电子设备
CN109547671B (zh) * 2017-09-22 2022-05-27 三星电子株式会社 图像传感器、相机模块以及成像设备
US12003866B2 (en) 2021-10-20 2024-06-04 Samsung Electronics Co., Ltd. Method for providing image and electronic device supporting the same

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6781622B1 (en) * 1998-06-26 2004-08-24 Ricoh Company, Ltd. Apparatus for correction based upon detecting a camera shaking
JP2006080844A (ja) * 2004-09-09 2006-03-23 Nikon Corp 電子カメラ
JP4487191B2 (ja) * 2004-12-24 2010-06-23 カシオ計算機株式会社 画像処理装置および画像処理プログラム
JP2007028251A (ja) * 2005-07-19 2007-02-01 Seiko Epson Corp 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN101543054B (zh) * 2007-06-28 2011-12-07 松下电器产业株式会社 图像处理装置、图像处理方法
JP2009071759A (ja) * 2007-09-18 2009-04-02 Victor Co Of Japan Ltd 手振れ補正システム
US8063942B2 (en) * 2007-10-19 2011-11-22 Qualcomm Incorporated Motion assisted image sensor configuration
JP5230398B2 (ja) 2008-12-19 2013-07-10 キヤノン株式会社 撮像装置及びその制御方法
JP5487722B2 (ja) * 2009-05-25 2014-05-07 ソニー株式会社 撮像装置と振れ補正方法
JP5553597B2 (ja) * 2009-12-25 2014-07-16 キヤノン株式会社 撮像装置及びその制御方法
US8786745B2 (en) * 2010-02-05 2014-07-22 National University Corporation Shizuoka University Solid-state image pickup device
US8964039B2 (en) * 2011-03-30 2015-02-24 Olympus Corporation Image capturing system and image capturing method
US20130107066A1 (en) 2011-10-27 2013-05-02 Qualcomm Incorporated Sensor aided video stabilization

Also Published As

Publication number Publication date
CN106233710A (zh) 2016-12-14
KR102174808B1 (ko) 2020-11-05
KR20160135748A (ko) 2016-11-28
US9648239B2 (en) 2017-05-09
JP2017517909A (ja) 2017-06-29
EP3120537B1 (en) 2020-02-26
WO2015140596A1 (en) 2015-09-24
CN106233710B (zh) 2019-06-11
EP3120537A1 (en) 2017-01-25
US20160286129A1 (en) 2016-09-29

Similar Documents

Publication Publication Date Title
US9998651B2 (en) Image processing apparatus and image processing method
ES2914037T3 (es) Sistemas y procedimientos para súper resolver una región de interés seleccionada por el usuario
EP3443736B1 (en) Method and apparatus for video content stabilization
US10044937B2 (en) Electronic device and image stabilization method thereof
US9390532B2 (en) Object removal from an image
JP6345799B2 (ja) 画素を多重化するカメラのシェイクブラーおよびモーションブラーの制御
JP2017518658A5 (ja)
US9473702B2 (en) Controlling image capture and/or controlling image processing
US9922250B2 (en) Method of capturing iris image, computer-readable recording medium storing the method, and iris image capturing apparatus
US9384552B2 (en) Image registration methods for still image stabilization
US9563966B2 (en) Image control method for defining images for waypoints along a trajectory
US9204047B2 (en) Imaging
JP2019009694A5 (ja)
US9363443B2 (en) Processing control apparatus, processing control method and non-transitory computer-readable storage medium
US20170208288A1 (en) Image processing device, method for controlling image processing device, and computer-readable storage medium storing program
JP2018125729A5 (ja)
JP2011164428A (ja) 撮像装置、撮像装置の制御方法
JP2015040939A5 (ja)

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180409

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180424

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180523

R150 Certificate of patent or registration of utility model

Ref document number: 6345799

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02