JP6977812B2 - ローリングシャッター現象の補正方法、装置、及びコンピュータが読み取り可能な記録媒体 - Google Patents

ローリングシャッター現象の補正方法、装置、及びコンピュータが読み取り可能な記録媒体 Download PDF

Info

Publication number
JP6977812B2
JP6977812B2 JP2020083144A JP2020083144A JP6977812B2 JP 6977812 B2 JP6977812 B2 JP 6977812B2 JP 2020083144 A JP2020083144 A JP 2020083144A JP 2020083144 A JP2020083144 A JP 2020083144A JP 6977812 B2 JP6977812 B2 JP 6977812B2
Authority
JP
Japan
Prior art keywords
rolling shutter
shutter phenomenon
time
image
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020083144A
Other languages
English (en)
Other versions
JP2021022922A (ja
Inventor
イウェイ ワン
リイェヌ リィウ
ウェイ ワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of JP2021022922A publication Critical patent/JP2021022922A/ja
Application granted granted Critical
Publication of JP6977812B2 publication Critical patent/JP6977812B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は画像処理技術分野に関し、具体的には、ローリングシャッター現象の補正方法、装置、及びコンピュータが読み取り可能な記録媒体に関する。
パノラマビデオの処理技術の急速な発展に伴い、パノラマローリングシャッター現象を補正する方法を提案することが緊急に求められている。従来技術で提案されてきた補正方法は、画像を切断する必要があって、画像の完全性を保証することができない。
本発明の実施例は、ローリングシャッター現象の補正方法、装置、及びコンピュータが読み取り可能な記録媒体を提供しており、画像の完全性を保証する前提下で、画像中のローリングシャッター現象を排除することができる。
第一に、本発明はローリングシャッター現象補正の方法を提供しており、それは、
撮影装置を用いて処理対象のダブル魚眼画像（双魚眼画像）を得るステップと、
前記撮影装置のジャイロデータを含む画像処理パラメータを得るステップと、
前記画像処理パラメータに基づいてローリングシャッター現象補正パラメータを計算するステップと、
前記ローリングシャッター現象補正パラメータを用いて、球座標系下にて、前記ダブル魚眼画像に対してローリングシャッター現象の補正を行うステップと、を含む。
そのうち、前記画像処理パラメータは、さらに、
前記撮影装置が生成する各フレーム画像のタイムスタンプと、
前記撮影装置のローリングシャッター現象時間と、
単一魚眼画像の幅及び高さと、
前記撮影装置の絞り値と、を含む。
そのうち、前記の前記画像処理パラメータに基づいてローリングシャッター現象補正パラメータを計算するステップは、
前記撮影装置が生成する各フレーム画像のタイムスタンプに基づいて、前記各フレーム画像の露光中心の時間を得るステップと、
前記各フレーム画像のローリングシャッター現象の開始時間を確定するステップと、
前記各フレーム画像の露光中心の時間と前記ローリングシャッター現象の開始時間に基づいて、前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を確定するステップと、
前記撮影装置のジャイロデータと、前記各フレーム画像の露光中心の時間と、前記各走査線のローリングシャッター現象の発生時間に基づいて、前記各走査線が対応する目標ジャイロデータを確定するステップと、
前記目標ジャイロデータと、前記各フレーム画像の露光中心の時間と、前記各走査線のローリングシャッター現象発生時間に基づいて、前記各走査線の目標ローリングシャッター現象回転角度を計算するステップと、を含む。
そのうち、前記の前記各フレーム画像のローリングシャッター現象の開始時間を確定するステップは、
以下の式によって、前記各フレーム画像のローリングシャッター現象の開始時間を確定するステップを含む。
Figure 0006977812
式中、RSTstartは前記各フレーム画像のローリングシャッター現象の開始時間を表し、ECTは前記各フレーム画像の露光中心の時間を表し、rstは前記撮影装置のローリングシャッター現象時間を表す。
そのうち、前記の前記各フレーム画像の露光中心の時間と前記ローリングシャッター現象の開始時間に基づいて、前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を確定するステップは、
以下の式によって、前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を確定するステップを含む。
Figure 0006977812
式中、rstrow_iは前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を表し、RSTstartは前記各フレーム画像のローリングシャッター現象開始時間を表し、rstは前記撮影装置のローリングシャッター現象時間を表し、row_iは前記各フレームの第i行走査線を表し、hは前記各フレーム画像の総走査行数を表す。
そのうち、前記の前記目標ジャイロデータと、前記各フレーム画像の露光中心の時間と、前記各走査線のローリングシャッター現象発生時間に基づいて、前記各走査線の目標ローリングシャッター現象回転角度を計算するステップは、
前記目標ジャイロデータを用いて、目標期間を少なくとも二つのサブ期間に分けるステップであって、なお、前記目標期間の時間の長さは、前記各フレーム画像の各走査線のローリングシャッター現象発生時間と前記各フレーム画像の露光中心の時間によって確定されるステップと、
前記少なくとも二つのサブ期間の時間の長さと前記少なくとも二つのサブ期間が対応する第一ジャイロデータをそれぞれ乗算し、少なくとも二つの乗積を得るステップであって、なお、前記第一ジャイロデータは、前記目標ジャイロデータ中のデータまたは参考ジャイロデータであるステップと、
得られた乗積を加算して前記各走査線の目標ローリングシャッター現象回転角度を得るステップと、を含む。
そのうち、前記の得られた乗積を加算して前記各走査線の目標ローリングシャッター現象回転角度を得た後で、前記方法は、さらに、
補正対象レンズの情報と補正方向を含む補正参考パラメータを得るステップと、
前記補正対象レンズの情報と、前記補正方向と角度の対応関係に基づいて、前記目標ローリングシャッター現象回転角度が対応する最終目標ローリングシャッター現象角度を確定するステップと、を含む。
そのうち、前記の前記ローリングシャッター現象補正パラメータを用いて、球座標系下にて、前記ダブル魚眼画像に対してローリングシャッター現象の補正を行うステップは、
第ｉフレーム画像に対して、前記第ｉフレーム画像の各走査行の最終目標ローリングシャッター現象回転角度を得るステップと、
前記最終目標ローリングシャッター現象回転角度を回転行列に変換するステップと、
前記ダブル魚眼画像を単一魚眼画像に切断するとともに、前記撮影装置の絞り値に基づいて目標単一魚眼画像を単位球座標上に変換して、前記単一魚眼画像中の任意の一フレームである目標単一魚眼画像の単位球座標を得るステップと、
前記単位球座標と前記回転行列を乗算し、補正後の単位球座標を得るステップと、
前記補正後の単位球座標を２Ｄ魚眼座標に変換するステップと、
前記２Ｄ魚眼座標を用いて、補正後の目標単一魚眼画像を生成するステップと、
前記補正後の目標単一魚眼画像を用いて、補正後のダブル魚眼画像を得るステップと、を含む。
そのうち、前記単位球座標を第一座標軸に沿って第一角度だけ回転させて、第一単位球座標を取得し、
前記単位球座標と前記回転行列を乗算して、補正後の単位球座標を取得し、これは、
前記第一単位球座標と前記回転行列を乗算して、補正後の第一単位球座標を得るステップを含み、
前記第一単位球座標と前記回転行列を乗算して、補正後の第一単位球座標を得た後で、前記方法は、さらに、
前記補正後の第一単位球座標を前記第一座標軸に沿って前記第一角度だけ逆回転させるステップと、
前記補正後の単位球座標を２Ｄ魚眼座標に変換するステップと、を含み、
前記補正後の単位球座標を２Ｄ魚眼座標に変換するステップは、
逆方向に回転後の前記補正後の第一単位球座標を２Ｄ魚眼座標に変換するステップを含む。
第二に、本発明はローリングシャッター現象補正装置を提供しており、それは、
撮影装置を用いて処理対象のダブル魚眼画像を得るのに用いられる第一取得モジュールと、
前記撮影装置のジャイロデータを含む画像処理パラメータを得るのに用いられる第二取得モジュールと、
前記画像処理パラメータに基づいてローリングシャッター現象補正パラメータを計算するのに用いられる計算モジュールと、
前記ローリングシャッター現象補正パラメータを用いて、球座標系下にて、前記ダブル魚眼画像に対してローリングシャッター現象の補正を行うのに用いられる補正モジュールと、を含む。
第三に、本発明はコンピュータが読み取り可能な記録媒体を提供しており、前記コンピュータが読み取り可能な媒体上にはコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行される際に、上記の第一に記載の方法中のステップを実現する。
本発明の実施例では、撮影装置のジャイロデータを含む画像処理パラメータにより、ローリングシャッター現象補正パラメータを計算するとともに、取得したダブル魚眼画像に対してローリングシャッター現象補正パラメータを用いてローリングシャッター現象の補正を行う。本発明の実施例の方法を利用すれば画像を切断する必要が無いので、従来技術に比べ、画像の完全性を保証する前提下で、画像中のローリングシャッター現象を排除することができる。
本発明の実施例の技術案をより明瞭にするために、以下に本発明の実施例に対する記述に使用される図面を簡単に説明する。明らかに、以下に記載の図面は本発明の実施例に過ぎず、創造的な作業を行わない前提下で、これらの図面により得られるその他の図面も可能であることは、当業者にとって自明である。
本発明の実施例のローリングシャッター現象の補正方法のフロー図その一である。 本発明の実施例の、ステップ１０３のプロセスを示す図である。 本発明の実施例の、各走査線の目標ローリングシャッター現象回転角度を計算するプロセスを示す図である。 本発明の実施例の、ステップ１０４のプロセスを示す図である。 本発明の実施例が提供する、ローリングシャッター現象を補正するプロセスを示す図である。 本発明の実施例が提供する、ローリングシャッター現象補正装置の構造図である。 本発明の実施例が提供する、ローリングシャッター現象補正装置中の計算モジュールの構造図である。 本発明の実施例が提供する、ローリングシャッター現象補正装置中の計算サブモジュールの構造図その一である。 本発明の実施例が提供する、ローリングシャッター現象補正装置中の計算サブモジュールの構造図その二である。 本発明の実施例が提供する、ローリングシャッター現象補正装置中の補正モジュールの構造図その一である。 本発明の実施例が提供する、ローリングシャッター現象補正装置中の補正モジュールの構造図その二である。 本発明の実施例が提供する、ローリングシャッター現象補正装置のハードウェア構造ブロック図である。
以下、本開示の実施例の図面を組み合わせて、本開示の実施例の技術案をはっきりと、完全に記述するが、言うまでもなく、記述する実施例は本開示の一部実施例に過ぎず、全ての実施例ではない。本開示の実施例に基づき、当業者が創造的労働をせずに取得したすべてのその他実施例は、すべて本開示の保護範囲に入る。
本明細書で言及した「一つの実施例」または「実施例」は、実施例に関連する特定の特徴、構造または特性が本発明の少なくとも一つの実施例に含まれることを意味する。したがって、本明細書のいたるところに出現する「一つの実施例で」または「実施例で」とは必ずしも同じ実施例を指すとは限らない。なお、これら特定の特徴、構造若しくは特性は任意に適当な方式で一つ或は複数の実施例に結合することができる。
本発明の種々の実施例において、以下の各プロセスの番号の大きさは実行順序の前後を意味するものではない。各プロセスの実行順序は、その機能と内在的論理に依存し、本発明実施例の実施過程に対していかなる限定も行われない。
図１は、本発明の実施例が提供するローリングシャッター現象補正方法のフロー図であり、図１に示すように、以下のステップを含む。
ステップ１０１：撮影装置を用いて処理対象のダブル魚眼画像を得る。
なお、前記撮影装置は、カメラや撮像ヘッドなどであって良い。
ステップ１０２：画像処理パラメータを得る。
なお、前記画像処理パラメータは、前記撮影装置のジャイロ（gyro）データを含む。また、前記ジャイロデータは、ジャイロデータが含むタイムスタンプを含んでも良く、撮影装置はＸ、Ｙ、Ｚの三軸上の角速度にある。
良好な補正効果を得るために、本発明の実施例では、前記画像処理パラメータは、さらに、
前記撮影装置が生成する各フレーム画像のタイムスタンプと、前記撮影装置のローリングシャッター現象時間と、単一魚眼画像の幅と高さと、前記撮影装置の絞り値と、を含む。
本発明の実施例では、前記撮影装置のローリングシャッター現象時間を、例えば２５．６ｍｓとすることができる。撮影装置をカメラとした例では、前記絞り値は２００°とすることができる。
ステップ１０３：前記画像処理パラメータに基づいてローリングシャッター現象補正パラメータを計算する。
本発明の実施例では、前記ローリングシャッター現象相対パラメータの主な指標は、ローリングシャッター現象回転角度である。このステップにおいて、図２に示すように、以下の計算式によってローリングシャッター現象補正パラメータを計算することができる。
ステップ１０３１：前記撮影装置が生成する各フレーム画像のタイムスタンプに基づいて、前記各フレーム画像の露光中心の時間を得る。
本発明の実施例では、生成した各フレーム画像のタイムスタンプを、各フレーム画像の露光中心の時間とすることができる。
ステップ１０３２：前記各フレーム画像のローリングシャッター現象の開始時間を確定する。
このステップにおいて、以下の式（１）によって、前記各フレーム画像のローリングシャッター現象の開始時間を確定する。
Figure 0006977812
式中、RSTstartは前記各フレーム画像のローリングシャッター現象の開始時間を表し、ECTは前記各フレーム画像の露光中心の時間を表し、rstは前記撮影装置のローリングシャッター現象時間を表す。
ステップ１０３３：前記各フレーム画像の露光中心の時間と前記ローリングシャッター現象の開始時間に基づいて、前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を確定する。
このステップにおいて、以下の式（２）によって、前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を確定する。
Figure 0006977812
式中、rstrow_iは前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を表し、RSTstartは前記各フレーム画像のローリングシャッター現象開始時間を表し、rstは前記撮影装置のローリングシャッター現象時間を表し、row_iは前記各フレームの第i行走査線を表し、hは前記各フレーム画像の総走査行数を表す。
ステップ１０３４：前記撮影装置のジャイロデータと、前記各フレーム画像の露光中心の時間と、前記各走査線のローリングシャッター現象の発生時間に基づいて、前記各走査線が対応する目標ジャイロデータを確定する。
このステップにおいて、一つ又は複数のジャイロデータを取得することができる。そして、各フレーム画像の露光中心の時間から前記各走査線のローリングシャッター現象発生時間までの各期間内に取得されたジャイロデータについて、ここでは目標ジャイロデータと称することができる。よって、各走査線は一つ又は複数のジャイロデータに対応することが可能である。
ステップ１０３５：前記目標ジャイロデータと、前記各フレーム画像の露光中心の時間と、前記各走査線のローリングシャッター現象発生時間に基づいて、前記各走査線の目標ローリングシャッター現象回転角度を計算する。
このステップにおいて、前記目標ジャイロデータを用いて、目標期間を少なくとも二つのサブ期間に分ける。なお、前記目標期間の時間の長さは、前記各フレーム画像の各走査線のローリングシャッター現象発生時間と前記各フレーム画像の露光中心の時間によって確定される。その後、前記少なくとも二つのサブ期間の時間の長さと前記少なくとも二つのサブ期間が対応する第一ジャイロデータをそれぞれ乗算し、少なくとも二つの乗積を得る。なお、前記第一ジャイロデータは、前記目標ジャイロデータ中のデータまたは参考ジャイロデータである。その後、得られた乗積を加算して前記各走査線の目標ローリングシャッター現象回転角度を得る。
図３に示すように、rstrow_iからECTまでの時間ｔの間に、それぞれg1とg2の二つのジャイロデータが有ると仮定する。なお、g1の時間はg2の前にある。そして、g1とg2は時間tを三つのサブ期間に分ける。それぞれrstrow_i-t1、t1-t2、t2-ECTであり、この三つのサブ期間の長さはそれぞれΔt1、Δt2、Δt3である。
そして、目標ローリングシャッター現象回転角度は以下の式（３）によって計算される。
Figure 0006977812
或いは、以下の式（４）によって目標ローリングシャッター現象回転角度を計算することも可能である。
Figure 0006977812
式中、g0とg3はそれぞれ参考ジャイロデータである。例えば、g0は期間tの前のその期間中のジャイロデータであっても良いし、g3は期間tの後のその期間中のジャイロデータであっても良い。
これを基礎にして、本ステップでは、得られる目標ローリングシャッター現象回転角度をさらに正確なものとするために、目標ローリングシャッター現象回転角度を得た後、補正参考パラメータを得ることも可能である。なお、前記補正参考パラメータは、補正対象レンズの情報と補正方向を含む。なお、補正対象の撮像ヘッドの情報は、正面撮像ヘッドと背面撮像ヘッドを含んでも良く、補正方向は、Pitch、roll、yaw等を含んでも良い。その後、前記補正対象レンズの情報と、前記補正方向と角度の対応関係に基づいて、前記目標ローリングシャッター現象回転角度が対応する最終目標ローリングシャッター現象角度を確定する。
表１に、補正対象レンズの情報と、補正方向と角度の対応関係を示す。
Figure 0006977812
上記表１に基づき、計算した目標ローリングシャッター現象回転角度はAngelで表される。もし補正対象レンズが正面撮像ヘッドであって補正方向がPitchであるならば、最終目標ローリングシャッター現象回転角度はAngelであり、もし補正対象レンズが正面撮像ヘッドであって補正方向がyawであるならば、最終目標ローリングシャッター現象回転角度は-Angelである。
ステップ１０４：前記ローリングシャッター現象補正パラメータを用いて、球座標系下にて、前記ダブル魚眼画像に対してローリングシャッター現象の補正を行う。
本発明の実施例において、ローリングシャッター現象補正の主な思想は、魚眼画像座標を三次元座標に変換し、その後、三次元空間中で回転することにより歪みを補正すること、つまり球座標系下でローリングシャッター現象の補正を行うことである。具体的に、このステップでは、図４に示すように、以下の方法で補正を行うことが可能である。
ステップ１０４１：第ｉフレーム画像に対して、前記第ｉフレーム画像の各走査行の最終目標ローリングシャッター現象回転角度を得る。
ステップ１０３の計算に基づき、第ｉフレーム画像の各走査行の最終目標ローリングシャッター現象回転角度を得ることができる。
ステップ１０４２：前記最終目標ローリングシャッター現象回転角度を回転行列に変換する。
ステップ１０４３：前記ダブル魚眼画像を単一魚眼画像に切断するとともに、前記撮影装置の絞り値に基づいて目標単一魚眼画像を単位球座標上に変換して、前記単一魚眼画像中の任意の一フレームである目標単一魚眼画像の単位球座標を得る。
ステップ１０４４：前記単位球座標と前記回転行列を乗算し、補正後の単位球座標を得る。
ステップ１０４５：前記補正後の単位球座標を２Ｄ魚眼座標に変換する。
ステップ１０４６：前記２Ｄ魚眼座標を用いて、補正後の目標単一魚眼画像を生成する。
ステップ１０４７：前記補正後の目標単一魚眼画像を用いて、補正後のダブル魚眼画像を得る。
その他、上記実施例を基礎にして、撮影装置と単位球座標が統一しない場合、上記ステップ１０４３の後、前記単位球座標を第一座標軸に沿って第一角度だけ回転させて、第一単位球座標を得ることを含んでも良い。例えば、前記単位球画像をＹ軸に沿って９０度回転させることができる。そして、ステップ１０４４は具体的に、前記第一単位球座標と前記回転行列を乗算して、補正後の第一単位球座標を得る。相応に、矯正後の第一単位球座標を得た後、前記補正後の第一単位球座標を前記第一座標軸に沿って前記第一角度だけ逆回転させる。例えば、前記単位球座標をＹ軸に沿って９０度逆回転させることができる。そして、ステップ１０４５は具体的に、逆方向に回転後の前記補正後の第一単位球座標を２Ｄ魚眼座標に変換する。
例えば、前記単位球座標をＹ軸に沿って９０度回転させるのを例にすると、以下の式によって、前記単位球座標を第一座標軸に沿って第一角度だけ回転させて、第一単位球座標を得ることができる。
Figure 0006977812
式中、coor3drotatedは第一単位球座標を表し、coor3dは単位球座標を表す。
そして、以下の式によって、前記第一単位球座標と前記回転行列を乗算して、補正後の第一単位球座標を得る。
Figure 0006977812
式中、coor3dRSCは補正後の第一球座標を表し、Rは回転行列を表し、coor3dは単位球座標を表す。
具体的に、以下の式によって、前記補正後の第一単位球座標を前記第一座標軸に沿って前記第一角度だけ逆回転させる。
Figure 0006977812
式中、coor3dRSCrotatedは逆方向に回転後の前記矯正後の第一単位球座標を表し、coor3dRSCは補正後の第一単位球座標を表す。
図５は、ローリングシャッター現象補正の例を示している。図５を組み合わせて、二次元魚眼画像中では、点が一直線上にある必要があるが、ローリングシャッター現象の存在により、それらは曲線上にある。ローリングシャッター現象補正計算方法が、二次元魚眼画像を三次元単位球に変換し、その後、回転してこれらの点を揃えた後、再び二次元魚眼画像に変換する。
本発明の実施例では、撮影装置のジャイロデータを含む画像処理パラメータにより、ローリングシャッター現象補正パラメータを計算するとともに、取得したダブル魚眼画像に対してローリングシャッター現象補正パラメータを用いてローリングシャッター現象の補正を行う。本発明の実施例の方法を利用すれば画像を切断する必要が無いので、従来技術に比べ、画像の完全性を保証する前提下で、画像中のローリングシャッター現象を排除することができる。
その他、本発明の実施例では、二次元画像を三次元単位球画像に変換するので、従来の計算方法に比べ、固有パラメータを用いてローリングシャッター現象の補正の補正を行う必要が無い。また、三次元単位球画像に対して回転を行うので、従来のwarping計算方法に比べ、本発明の実施例の方法を用いて最終的に完全な二次元画像を生成することができる。
実験において、大量の画像に対して異なる方向と異なる解像度のローリングシャッター現象補正率を計算したところ、所有する比率は全てゼロより大きかった。よって、本発明の実施例の方法を利用すれば非常に良好にローリングシャッター現象の補正を実現可能であることが分かる。
図６は、本発明の実施例が提供するローリングシャッター現象補正装置の構造図である。図６に示すように、前記ローリングシャッター現象補正装置４００は、
撮影装置を用いて処理対象のダブル魚眼画像を得るのに用いられる第一取得モジュール４０１と、前記撮影装置のジャイロデータを含む画像処理パラメータを得るのに用いられる第二取得モジュール４０２と、前記画像処理パラメータに基づいてローリングシャッター現象補正パラメータを計算するのに用いられる計算モジュール４０３と、前記ローリングシャッター現象補正パラメータを用いて、球座標系下にて、前記ダブル魚眼画像に対してローリングシャッター現象の補正を行うのに用いられる補正モジュール４０４と、を含む。
選択的に、本発明の実施例では、前記画像処理パラメータは、前記撮影装置が生成する各フレーム画像のタイムスタンプと、前記撮影装置のローリングシャッター現象時間と、単一魚眼画像の幅と高さと、前記撮影装置の絞り値と、を含む。
選択的に、図７に示すように、前記計算モジュール４０３は、
前記撮影装置が生成する各フレーム画像のタイムスタンプに基づいて、前記各フレーム画像の露光中心の時間を得る、取得サブモジュール４０３１と、
前記各フレーム画像のローリングシャッター現象の開始時間を確定する第一確定サブモジュール４０３２と、
前記各フレーム画像の露光中心の時間と前記ローリングシャッター現象の開始時間に基づいて、前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を確定する第二確定サブモジュール４０３３と、
前記撮影装置のジャイロデータと、前記各フレーム画像の露光中心の時間と、前記各走査線のローリングシャッター現象の発生時間に基づいて、前記各走査線が対応する目標ジャイロデータを確定する第三確定サブモジュール４０３４と、
前記目標ジャイロデータと、前記各フレーム画像の露光中心の時間と、前記各走査線のローリングシャッター現象発生時間に基づいて、前記各走査線の目標ローリングシャッター現象回転角度を計算する計算サブモジュール４０３５と、を含む。
選択的に、前記第一確定サブモジュール４０３２は具体的に、以下の式によって、前記各フレーム画像のローリングシャッター現象の開始時間を確定するのに用いられる。
Figure 0006977812
式中、RSTstartは前記各フレーム画像のローリングシャッター現象の開始時間を表し、ECTは前記各フレーム画像の露光中心の時間を表し、rstは前記撮影装置のローリングシャッター現象時間を表す。
選択的に、前記第二確定サブモジュール４０３３は具体的に、以下の式によって、前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を確定するのに用いられる。
Figure 0006977812
式中、rstrow_iは前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を表し、RSTstartは前記各フレーム画像のローリングシャッター現象開始時間を表し、rstは前記撮影装置のローリングシャッター現象時間を表し、row_iは前記各フレームの第i行走査線を表し、hは前記各フレーム画像の総走査行数を表す。
選択的に、図８に示すように、前記計算サブモジュール４０３５は、
前記目標ジャイロデータを用いて、目標期間を少なくとも二つのサブ期間に分けるのに用いられるユニットであって、なお、前記目標期間の時間の長さは、前記各フレーム画像の各走査線のローリングシャッター現象発生時間と前記各フレーム画像の露光中心の時間によって確定される、区分ユニット４０３５１と、
前記少なくとも二つのサブ期間の時間の長さと前記少なくとも二つのサブ期間が対応する第一ジャイロデータをそれぞれ乗算し、少なくとも二つの乗積を得るのに用いられるユニットであって、なお、前記第一ジャイロデータは、前記目標ジャイロデータ中のデータまたは参考ジャイロデータである、第一取得ユニット４０３５２と、
得られた乗積を加算して前記各走査線の目標ローリングシャッター現象回転角度を得るのに用いられる第二取得ユニット４０３５３と、を含んでも良い。
選択的に、図９に示すように、前記計算サブモジュール４０３５は、
補正対象レンズの情報と補正方向を含む、補正参考パラメータを得るのに用いられる第三取得ユニット４０３５４と、前記補正対象レンズの情報と、前記補正方向と角度の対応関係に基づいて、前記目標ローリングシャッター現象回転角度が対応する最終目標ローリングシャッター現象角度を確定するのに用いられる確定ユニット４０３５５と、を含んでも良い。
選択的に、図１０に示すように、前記補正モジュール４０４は、
第ｉフレーム画像に対して、前記第ｉフレーム画像の各走査行の最終目標ローリングシャッター現象回転角度を得るのに用いられる第一取得ユニット４０４１と、
前記最終目標ローリングシャッター現象回転角度を回転行列に変換するのに用いられる第二取得ユニット４０４２と、
前記ダブル魚眼画像を単一魚眼画像に切断するとともに、前記撮影装置の絞り値に基づいて目標単一魚眼画像を単位球座標上に変換して、前記単一魚眼画像中の任意の一フレームである目標単一魚眼画像の単位球座標を得るのに用いられる第三取得ユニット４０４３と、
前記単位球座標と前記回転行列を乗算し、補正後の単位球座標を得るのに用いられる第四取得ユニット４０４４と、
前記補正後の単位球座標を２Ｄ魚眼座標に変換するのに用いられる第一変換ユニット４０４５と、
前記２Ｄ魚眼座標を用いて、補正後の目標単一魚眼画像を生成するのに用いられる生成ユニット４０４６と、
前記補正後の目標単一魚眼画像を用いて、補正後のダブル魚眼画像を得るのに用いられる補正ユニット４０４７と、を含んでも良い。
選択的に、図１１に示すように、前記補正モジュール４０４は、
前記単位球座標を第一座標軸に沿って第一角度だけ回転させて、第一単位球座標を得るのに用いられる第一回転モジュール４０４８を含んでも良い。この時、前記第四取得ユニット４０４４は具体的に、前記単位球座標と前記回転行列を乗算して、補正後の単位球座標を得るのに用いられる。前記補正モジュール４０４はさらに、前記補正後の第一単位球座標を前記第一座標軸に沿って前記第一角度だけ逆回転させるのに用いられる第二回転モジュール４０４９を含んでも良い。この時、前記第一変換ユニット４０４５は具体的に、逆方向に回転後の前記補正後の第一単位球座標を２Ｄ魚眼座標に変換するのに用いられる。
本発明の実施例が提供する装置は上記方法の実施例を実行可能であり、その実現原理と技術効果は類似のものであるので、本実施例はここで贅言しない。
図１２は、本発明の実施例が提供するローリングシャッター現象補正装置のハードウェア構造ブロック図である。図１２に示すように、該ローリングシャッター現象補正装置１０００は、
プロセッサ１００２と、
コンピュータプログラムコマンドが記憶されているメモリ１０４４と、を含み、
前記コンピュータプログラムコマンドが前記プロセッサによって実行される際、前記プロセッサ１００２は、
撮影装置を用いて処理対象のダブル魚眼画像を得るステップと、
前記撮影装置のジャイロデータを含む画像処理パラメータを得るステップと、
前記画像処理パラメータに基づいてローリングシャッター現象補正パラメータを計算するステップと、
前記ローリングシャッター現象補正パラメータを用いて、球座標系下にて、前記ダブル魚眼画像に対してローリングシャッター現象の補正を行うステップと、を実行する。
更に、図１２に示すように、該ローリングシャッター現象補正装置の１０００は、ネットワークインターフェース１００１と、入力装置１００３と、ハードディスク１００５と、表示装置１００６を含むことも可能である。
上記各インターフェースと装置との間は、バスアーキテクチャによって互いに接続する。バスアーキテクチャは、任意の数量の相互接続するバス及びブリッジを含むことが可能である。具体的には、プロセッサ１００２に代表される一つ又は複数のセントラルプロセッサ（ＣＰＵ）、及びメモリ１００４に代表される一つ又は複数のメモリの各種回路が、一つに接続される。バスアーキテクチャは、周辺機器や電圧レギュレータや電力管理回路のようなさまざまなその他の回路と一緒に接続することも可能である。バスアーキテクチャは、これらの構成要素の間の接続通信を実現するためのものであると理解可能である。バスアーキテクチャは、データバスの他、電力バス、制御バス、およびステータス信号バスも含むが、これらは全て本分野で公知のものであるので、本明細書ではこれらについて詳細に記載しない。
前記ネットワークインターフェース１００１は、ネットワーク（例えばインターネット、ローカルエリアネットワーク等）と接続可能で、ネットワークから情報を受信するとともに、受信した内容をハードディスク１００５中に保存することができる。
前記入力装置１００３は、オペレータが入力する様々なコマンドを受信できるとともに、実行のためにプロセッサ１００２に送信することができる。前記入力装置１００３は、キーボードやクリックデバイス（例えばマウス、トラックボール(trackball)、タッチパッド、タッチスクリーンなど）を含むことが可能である。
前記表示装置１００６は、プロセッサ１００２がコマンドを実行して得た結果を表示することができる。
前記メモリ１００４は、オペレーティングシステムが稼働するのに必須のプログラムとデータや、プロセッサ１００２の演算プロセス中の中間結果などのデータを保存するのに用いられる。
本発明の実施例のメモリ１００４は、揮発性メモリまたは不揮発性メモリであっても良いし、揮発性メモリと不揮発性メモリの両方を含んでも良い、と理解できる。なお、不揮発性メモリは、読み出し専用メモリ（ROM）であっても、プログラマブル読み出し専用メモリ（PROM）であっても、消去可能なプログラマブル読み出し専用メモリ（EPROM）であっても、電気的に消去可能なプログラマブル読み出し専用メモリ（EEPROM）であっても、フラッシュメモリであってもよい。揮発性メモリは、ランダムアクセスメモリ（RAM）であってもよく、外部キャッシュとして用いられる。本明細書に記載の装置と方法のメモリ１００４は、これらと任意のその他の適合類型のメモリを含むが、これらに限らない。
いくつかの実施形態において、メモリ１００４は、実行可能なモジュールまたはデータ構造、それらのサブ集合または拡張集合、オペレーティングシステム１００４１、アプリケーションプログラム１００４２、の要素を記憶している。
なお、オペレーティングシステム１００４１は各種の基礎業務およびハードウェアに基づくタスクを実現するように、例えば枠組層、コアー層、駆動層など各種のシステムプログラムを含む。アプリケーションプログラム１００４２は各種のアプリケーション業務を実現するように、例えばブラウザー（Browser）などの各種アプリケーションプログラムを含む。本発明の実施例の方法を実現するプログラムはアプリケーションプログラム１００４２に含まれることが可能である。
本発明の上記実施例による方法はプロセッサ１００２に応用でき、あるいはプロセッサ１００２によって実現できる。プロセッサ１００２は信号の処理能力を有する集積回路チップであってもよい。実現過程では、上記方法の各ステップはプロセッサ１００２内のハードウェアの集積ロジック回路またはソフトウェア形式のコマンドによって完成できる。上記プロセッサ１００２は汎用プロセッサであっても、デジタル信号処理器（DSP）であっても、特定用途向け集積回路（ASIC）であっても、現場で構成可能な回路アレイ（FPGA）又はその他のプログラマブルロジックデバイスであっても、個別ゲートまたはトランジスタロジックデバイスであっても、個別ハードウェアユニットであってもよく、本発明の実施例に公開された各方法、ステップおよびロジックブロック図を実現または実行できる。汎用プロセッサは、マイクロプロセッサ又はいかなる常用的なプロセッサであっても良い。本発明の実施例より公開された方法のステップと組み合わせて直接的にできることは、ハードウェアデコーダプロセッサにより実行して完成すること、或いは、デコーダプロセッサ内のハードウェアおよびソフトウェアモジュールの組み合わせによって実行して完成すること、である。ソフトウェアモジュールはランダムメモリ、フラッシュメモリ、読み出し専用メモリ、プログラマブル読み出し専用メモリまたは電気的に消去可能なプログラマブルメモリ、レジスタなどの当分野において成熟された記録媒体に位置することが可能である。当該記録媒体はメモリ１００４にあり、プロセッサ１００２はメモリ１００４内の情報を読み取って、そのハードウェアと組み合わせて上記方法のステップを完成する。
本明細書に記載されたこれらの実施例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコードまたはその組み合わせによって実現できる、と理解可能である。ハードウェアの実現について、プロセスユニットは一つ又は複数の特定用途向け集積回路（ASIC）、デジタル信号処理器（DSP）、デジタル信号処理デバイス（DSPD）、プログラマブルロジックデバイス（PLD）、フィールドプログラマブル
ゲート アレイ（FPGA）、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本願の前記機能を実現するためのほかの電子モジュール、または組み合わせで実現可能である。
ソフトウェアの実現について、本明細書に記載された前記機能を実行するモジュール（例えばプロセス、関数など）によって本明細書の前記技術を実現できる。ソフトウェアコードはメモリに記憶され、かつプロセッサによって実行することが可能である。メモリはプロセッサ内またはプロセッサ外部において実現できる。
なお、前記画像処理パラメータは、
前記撮影装置が生成する各フレーム画像のタイムスタンプと、前記撮影装置のローリングシャッター現象時間と、単一魚眼画像の幅と高さと、前記撮影装置の絞り値と、を含む。
具体的に、前記コンピュータプログラムがプロセッサ１００２によって実行される際に、
前記撮影装置が生成する各フレーム画像のタイムスタンプに基づいて、前記各フレーム画像の露光中心の時間を得るステップと、
前記各フレーム画像のローリングシャッター現象の開始時間を確定するステップと、
前記各フレーム画像の露光中心の時間と前記ローリングシャッター現象の開始時間に基づいて、前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を確定するステップと、
前記撮影装置のジャイロデータと、前記各フレーム画像の露光中心の時間と、前記各走査線のローリングシャッター現象の発生時間に基づいて、前記各走査線が対応する目標ジャイロデータを確定するステップと、
前記目標ジャイロデータと、前記各フレーム画像の露光中心の時間と、前記各走査線のローリングシャッター現象発生時間に基づいて、前記各走査線の目標ローリングシャッター現象回転角度を計算するステップと、を実現することもできる。
具体的に、前記コンピュータプログラムがプロセッサ１００２によって実行される際に、
以下の式によって、前記各フレーム画像のローリングシャッター現象の開始時間を確定するステップを実現することもできる。
Figure 0006977812
式中、RSTstartは前記各フレーム画像のローリングシャッター現象の開始時間を表し、ECTは前記各フレーム画像の露光中心の時間を表し、rstは前記撮影装置のローリングシャッター現象時間を表す。
具体的に、前記コンピュータプログラムがプロセッサ１００２によって実行される際に、
以下の式によって、前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を確定するステップを実現することもできる。
Figure 0006977812
式中、rstrow_iは前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を表し、RSTstartは前記各フレーム画像のローリングシャッター現象開始時間を表し、rstは前記撮影装置のローリングシャッター現象時間を表し、row_iは前記各フレームの第i行走査線を表し、hは前記各フレーム画像の総走査行数を表す。
具体的に、前記コンピュータプログラムがプロセッサ１００２によって実行される際に、
前記目標ジャイロデータを用いて、目標期間を少なくとも二つのサブ期間に分けるステップであって、なお、前記目標期間の時間の長さは、前記各フレーム画像の各走査線のローリングシャッター現象発生時間と前記各フレーム画像の露光中心の時間によって確定される、ステップと、
前記少なくとも二つのサブ期間の時間の長さと前記少なくとも二つのサブ期間が対応する第一ジャイロデータをそれぞれ乗算し、少なくとも二つの乗積を得るのに用いられるステップであって、なお、前記第一ジャイロデータは、前記目標ジャイロデータ中のデータまたは参考ジャイロデータである、ステップと、
得られた乗積を加算して前記各走査線の目標ローリングシャッター現象回転角度を得るステップと、を実現することもできる。
具体的に、前記コンピュータプログラムがプロセッサ１００２によって実行される際に、
補正対象レンズの情報と補正方向を含む、補正参考パラメータを得るステップと、
前記補正対象レンズの情報と、前記補正方向と角度の対応関係に基づいて、前記目標ローリングシャッター現象回転角度が対応する最終目標ローリングシャッター現象角度を確定するステップと、を実現することもできる。
具体的に、前記コンピュータプログラムがプロセッサ１００２によって実行される際に、
第ｉフレーム画像に対して、前記第ｉフレーム画像の各走査行の最終目標ローリングシャッター現象回転角度を得るステップと、
前記最終目標ローリングシャッター現象回転角度を回転行列に変換するステップと、
前記ダブル魚眼画像を単一魚眼画像に切断するとともに、前記撮影装置の絞り値に基づいて目標単一魚眼画像を単位球座標上に変換して、前記単一魚眼画像中の任意の一フレームである目標単一魚眼画像の単位球座標を得るステップと、
前記単位球座標と前記回転行列を乗算し、補正後の単位球座標を得るステップと、
前記補正後の単位球座標を２Ｄ魚眼座標に変換するステップと、
前記２Ｄ魚眼座標を用いて、補正後の目標単一魚眼画像を生成するステップと、
前記補正後の目標単一魚眼画像を用いて、補正後のダブル魚眼画像を得るステップと、を実現することもできる。
具体的に、前記コンピュータプログラムがプロセッサ１００２によって実行される際に、
前記単位球座標を第一座標軸に沿って第一角度だけ回転させて、第一単位球座標を得るステップと、
前記第一単位球座標と前記回転行列を乗算して、補正後の第一単位球座標を得るステップと、
前記補正後の第一単位球座標を前記第一座標軸に沿って前記第一角度だけ逆回転させるステップと、
逆方向に回転後の前記補正後の第一単位球座標を２Ｄ魚眼座標に変換するステップと、を実現することもできる。
本発明が提供する幾つかの実施例において開示された方法及び装置は別の形態でも実現可能であると理解すべきである。例えば、上記の装置の実施例は模式的なものに過ぎない。例えば、前記ユニットの分割は論理的な機能分割に過ぎず、実際に実現する際に別の分割方式を採用しても良い。例えば、複数のユニットまたはコンポーネントを組み合わせるか、別のシステムに集約しても良いし、或いは一部の機能を省略しても良いし、若しくは実行しなくてもよい。さらに、上記表示または開示された相互的な接続または直接な接続若しくは通信可能な接続は、インターフェースを介した接続であっても良いし、装置やユニット同士の間接的な接続または通信可能な接続は、電気的または機械的もしくは他の形態の接続であっても良い。
また、本発明の各実施例における各機能的なユニットをひとつのプロセスユニットに集成しても良いし、各ユニットが物理的に単独で存在させても良いし、二つあるいは二つ以上のユニットを一つのユニットに集成させても良い。前記集約されたユニットは、ハードウェアの形式で実現しても良いし、ハードウェアにソフトウェア機能ユニットを加えた形式で実現しても良い。
前記ソフトウェア機能ユニットの形式で実現する集約されたユニットは、コンピュータが読み取り可能な記録媒体に記憶することができる。上記ソフトウェア機能ユニットは記録媒体に記憶されて、コンピュータ装置（パーソナルコンピュータ、サーバ或いはネットワーク設備などでも良い）に本願の各実施例に記載の方法の一部のステップを実行させる若干のコマンドを含んでいる。前記の記録媒体は、ＵＳＢメモリ、リムーバブルディスク、ＲＯＭ、ＲＡＭ、磁気ディスク、あるいは光ディスクなど、プログラムコードを格納できる様々な媒体を含む。
上記は本発明の好ましい実施形態であり、当業者は本発明の原理から逸脱することなくいくつかの改良および修正を行うことができることに留意されたい。これらの改良及び修正も、本発明の保護の範囲と見なされるべきである。

Claims (11)

  1. 撮影装置を用いて処理対象の連続したフレーム画像であり、二つの単一魚眼画像からなるダブル魚眼画像を得るステップと、
    前記撮影装置のジャイロデータ、前記撮影装置が生成する各フレーム画像のタイムスタンプ、前記撮影装置のローリングシャッター現象時間、及び前記単一魚眼画像の高さを含む画像処理パラメータを得るステップと、
    前記画像処理パラメータに基づいて、前記単一魚眼画像の高さに基づく各走査線の目標ローリングシャッター現象回転角度をローリングシャッター現象補正パラメータとして計算するステップと、
    前記ローリングシャッター現象補正パラメータを用いて、球座標系下にて、前記ダブル魚眼画像に対してローリングシャッター現象の補正を行うステップと、
    を含み、
    前記画像処理パラメータに基づいて、前記単一魚眼画像の高さに基づく各走査線の目標ローリングシャッター現象回転角度をローリングシャッター現象補正パラメータとして計算するステップは、
    前記各フレーム画像のタイムスタンプに基づいて、前記各フレーム画像の露光中心の時間を得るステップと、
    前記各フレーム画像のローリングシャッター現象の開始時間を確定するステップと、
    前記各フレーム画像の露光中心の時間及び前記ローリングシャッター現象の開始時間に基づいて、前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を確定するステップと、
    前記撮影装置のジャイロデータ、前記各フレーム画像の露光中心の時間、及び前記各走査線のローリングシャッター現象の発生時間に基づいて、前記各走査線が対応する目標ジャイロデータを確定するステップと、
    前記目標ジャイロデータ、前記各フレーム画像の露光中心の時間、及び前記各走査線のローリングシャッター現象の発生時間に基づいて、前記各走査線の目標ローリングシャッター現象回転角度を計算するステップと、を含む、ことを特徴とするローリングシャッター現象を補正する方法。
  2. 前記画像処理パラメータは、さらに、
    前記単一魚眼画像の幅と、
    前記撮影装置の絞り値と、を含む、ことを特徴とする請求項１に記載の方法。
  3. 前記各フレーム画像のローリングシャッター現象の開始時間を確定するステップは、
    Figure 0006977812
     によって、前記各フレーム画像のローリングシャッター現象の開始時間を確定するステップを含み、
    式中、RSTstartは前記各フレーム画像のローリングシャッター現象の開始時間を表し、ECTは前記各フレーム画像の露光中心の時間を表し、rstは前記撮影装置のローリングシャッター現象時間を表す、ことを特徴とする請求項１に記載の方法。
  4. 前記各フレーム画像の露光中心の時間及び前記ローリングシャッター現象の開始時間に基づいて、前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を確定するステップは、
    Figure 0006977812
     によって、前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を確定するステップを含み。
    式中、rstrow_iは前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を表し、RSTstartは前記各フレーム画像のローリングシャッター現象開始時間を表し、rstは前記撮影装置のローリングシャッター現象時間を表し、row_iは前記各フレームの第i行走査線を表し、hは前記各フレーム画像の総走査行数を表す、ことを特徴とする請求項１に記載の方法。
  5. 前記目標ジャイロデータ、前記各フレーム画像の露光中心の時間、及び前記各走査線のローリングシャッター現象の発生時間に基づいて、前記各走査線の目標ローリングシャッター現象回転角度を計算するステップは、
    前記目標ジャイロデータを用いて、目標期間を少なくとも二つのサブ期間に分けるステップであって、前記目標期間の時間の長さが、前記各フレーム画像の各走査線のローリングシャッター現象の発生時間及び前記各フレーム画像の露光中心の時間によって確定されるステップと、
    前記少なくとも二つのサブ期間の時間の長さ及び前記少なくとも二つのサブ期間が対応する第一ジャイロデータをそれぞれ乗算し、少なくとも二つの乗積を得るステップであって、前記第一ジャイロデータが、前記目標ジャイロデータ中のデータまたは参考ジャイロデータであるステップと、
    得られた乗積を加算して前記各走査線の目標ローリングシャッター現象回転角度を得るステップと、を含む、ことを特徴とする請求項１に記載の方法。
  6. 得られた乗積を加算して前記各走査線の目標ローリングシャッター現象回転角度を得た後で、さらに、
    補正対象レンズの情報及び補正方向を含む補正参考パラメータを得るステップと、
    前記補正対象レンズの情報、前記補正方向及び角度の対応関係に基づいて、前記目標ローリングシャッター現象回転角度が対応する最終目標ローリングシャッター現象角度を確定するステップと、を含む、ことを特徴とする請求項５に記載の方法。
  7. 前記ローリングシャッター現象補正パラメータを用いて、球座標系下にて、前記ダブル魚眼画像に対してローリングシャッター現象の補正を行うステップは、
    第ｉフレーム画像に対して、前記第ｉフレーム画像の各走査行の最終目標ローリングシャッター現象回転角度を得るステップと、
    前記最終目標ローリングシャッター現象回転角度を回転行列に変換するステップと、
    前記ダブル魚眼画像を前記単一魚眼画像に切断するとともに、前記撮影装置の絞り値に基づいて目標単一魚眼画像を単位球座標上に変換し、前記単一魚眼画像中の任意の１つのフレームである目標単一魚眼画像の単位球座標を得るステップと、
    前記単位球座標と前記回転行列を乗算し、補正後の単位球座標を得るステップと、
    前記補正後の単位球座標を２Ｄ魚眼座標に変換するステップと、
    前記２Ｄ魚眼座標を用いて、補正後の目標単一魚眼画像を生成するステップと、
    前記補正後の目標単一魚眼画像を用いて、補正後のダブル魚眼画像を得るステップと、を含む、ことを特徴とする請求項６に記載の方法。
  8. 前記ダブル魚眼画像を前記単一魚眼画像に切断するとともに、目標単一魚眼画像を単位球座標上に変換し、前記目標単一魚眼画像の単位球座標を得た後で、前記方法は、さらに、
    前記単位球座標を第一座標軸に沿って第一角度だけ回転させて、第一単位球座標を得るステップと、
    前記単位球座標と前記回転行列を乗算して、補正後の単位球座標を得るステップと、を含み、
    前記単位球座標と前記回転行列を乗算して、補正後の単位球座標を得るステップは、前記第一単位球座標と前記回転行列を乗算して、補正後の第一単位球座標を得るステップを含み、
    前記第一単位球座標と前記回転行列を乗算して、補正後の第一単位球座標を得た後で、前記方法は、さらに、
    前記補正後の第一単位球座標を前記第一座標軸に沿って前記第一角度だけ逆回転させるステップと、
    前記補正後の単位球座標を２Ｄ魚眼座標に変換するステップと、を含み、
    前記補正後の単位球座標を２Ｄ魚眼座標に変換するステップは、逆方向に回転後の前記補正後の第一単位球座標を２Ｄ魚眼座標に変換するステップを含む、ことを特徴とする請求項７に記載の方法。
  9. 撮影装置を用いて処理対象の連続したフレーム画像であり、二つの単一魚眼画像からなるダブル魚眼画像を得るのに用いられる第一取得モジュールと、
    前記撮影装置のジャイロデータ、前記撮影装置が生成する各フレーム画像のタイムスタンプ、前記撮影装置のローリングシャッター現象時間、及び前記単一魚眼画像の高さを含む画像処理パラメータを得るのに用いられる第二取得モジュールと、
    前記画像処理パラメータに基づいて、前記単一魚眼画像の高さに基づく各走査線の目標ローリングシャッター現象回転角度をローリングシャッター現象補正パラメータとして計算するのに用いられる計算モジュールと、
    前記ローリングシャッター現象補正パラメータを用いて、球座標系下にて、前記ダブル魚眼画像に対してローリングシャッター現象の補正を行うのに用いられる補正モジュールと、
    を含み、
    前記計算モジュールは、
    前記各フレーム画像のタイムスタンプに基づいて、前記各フレーム画像の露光中心の時間を取得し、
    前記各フレーム画像のローリングシャッター現象の開始時間を確定し、
    前記各フレーム画像の露光中心の時間及び前記ローリングシャッター現象の開始時間に基づいて、前記各フレーム画像の各走査線のローリングシャッター現象の発生時間を確定し、
    前記撮影装置のジャイロデータ、前記各フレーム画像の露光中心の時間、及び前記各走査線のローリングシャッター現象の発生時間に基づいて、前記各走査線が対応する目標ジャイロデータを確定し、及び
    前記目標ジャイロデータ、前記各フレーム画像の露光中心の時間、及び前記各走査線のローリングシャッター現象の発生時間に基づいて、前記各走査線の目標ローリングシャッター現象回転角度を計算する、ことを特徴とするローリングシャッター現象を補正する装置。
  10. コンピュータに、請求項1乃至８のうちのいずれか１つに記載の方法を実行させるためのプログラム。
  11. 請求項１０に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
JP2020083144A 2019-07-24 2020-05-11 ローリングシャッター現象の補正方法、装置、及びコンピュータが読み取り可能な記録媒体 Active JP6977812B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201910671812.1 2019-07-24
CN201910671812.1A CN112308783A (zh) 2019-07-24 2019-07-24 一种卷帘效应校正方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
JP2021022922A JP2021022922A (ja) 2021-02-18
JP6977812B2 true JP6977812B2 (ja) 2021-12-08

Family

ID=71728595

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020083144A Active JP6977812B2 (ja) 2019-07-24 2020-05-11 ローリングシャッター現象の補正方法、装置、及びコンピュータが読み取り可能な記録媒体

Country Status (4)

Country Link
US (1) US11363206B2 (ja)
EP (1) EP3770665A1 (ja)
JP (1) JP6977812B2 (ja)
CN (1) CN112308783A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113556464B (zh) * 2021-05-24 2023-02-03 维沃移动通信有限公司 拍摄方法、装置及电子设备
CN115063312B (zh) * 2022-06-14 2023-03-10 北京大学 基于事件相机辅助的卷帘门效应矫正方法及装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7835637B2 (en) * 2006-09-20 2010-11-16 Qualcomm Incorporated Predictive focus value calculation for image capture devices
JP5171433B2 (ja) * 2008-01-22 2013-03-27 キヤノン株式会社 撮像装置、およびレンズ装置
CA2714492C (en) 2008-02-08 2014-07-15 Google, Inc. Panoramic camera with multiple image sensors using timed shutters
KR101375830B1 (ko) * 2009-11-16 2014-03-17 캐논 가부시끼가이샤 촬상장치 및 그 제어방법
JP5644400B2 (ja) * 2010-11-15 2014-12-24 セイコーエプソン株式会社 撮影装置、撮影方法および撮影プログラム
JP5249377B2 (ja) * 2011-03-22 2013-07-31 キヤノン株式会社 撮像装置、及びその制御方法、プログラム
CN103403599B (zh) * 2011-03-31 2015-09-02 富士胶片株式会社 摄像装置及其对焦控制方法
US8937643B1 (en) * 2012-02-28 2015-01-20 Carlos Esteban Offset rolling shutter camera model, and applications thereof
US9135715B1 (en) * 2012-03-22 2015-09-15 Google Inc. Local feature cameras for structure from motion (SFM) problems with generalized cameras
US9488823B2 (en) * 2012-06-07 2016-11-08 Complete Genomics, Inc. Techniques for scanned illumination
US9204041B1 (en) 2012-07-03 2015-12-01 Gopro, Inc. Rolling shutter synchronization
JP5997557B2 (ja) * 2012-09-20 2016-09-28 キヤノン株式会社 撮像装置及びその制御方法
JP6041651B2 (ja) * 2012-12-10 2016-12-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP2946336B1 (en) * 2013-01-15 2023-06-21 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
KR102003460B1 (ko) * 2013-08-27 2019-07-24 한화테크윈 주식회사 왜곡제거장치 및 방법
WO2015031456A1 (en) * 2013-08-29 2015-03-05 Interphase Corporation Rolling shutter synchronization of a pointing device in an interactive display system
FR3020169A1 (fr) * 2014-04-16 2015-10-23 Parrot Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees
JP6385212B2 (ja) * 2014-09-09 2018-09-05 キヤノン株式会社 画像処理装置及び方法、撮像装置、及び画像生成装置
US9454689B2 (en) * 2014-12-19 2016-09-27 Honeywell International, Inc. Rolling shutter bar code imaging
WO2016103746A1 (ja) * 2014-12-25 2016-06-30 オリンパス株式会社 撮像装置
WO2017020150A1 (zh) * 2015-07-31 2017-02-09 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像机
US10033928B1 (en) 2015-10-29 2018-07-24 Gopro, Inc. Apparatus and methods for rolling shutter compensation for multi-camera systems
JP2017142356A (ja) * 2016-02-10 2017-08-17 ソニー株式会社 撮像装置、および、撮像装置の制御方法
WO2018027340A1 (en) * 2016-08-06 2018-02-15 SZ DJI Technology Co., Ltd. Systems and methods for mobile platform imaging
US10682137B2 (en) * 2016-08-29 2020-06-16 Ethicon Llc Surgical stapler
WO2018053786A1 (en) * 2016-09-23 2018-03-29 Qualcomm Incorporated Adaptive motion filtering in an unmanned autonomous vehicle
CN107967665B (zh) 2016-10-20 2021-07-13 株式会社理光 图像处理方法和图像处理装置
CN108537721B (zh) 2017-03-02 2021-09-07 株式会社理光 全景图像的处理方法、装置及电子设备
US10218913B2 (en) * 2017-04-18 2019-02-26 Qualcomm Incorporated HDR/WDR image time stamps for sensor fusion
JP6960238B2 (ja) * 2017-04-28 2021-11-05 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
CN109040521B (zh) 2017-06-08 2020-11-13 株式会社理光 图像处理方法、装置、电子设备及计算机可读存储介质
US10750097B2 (en) * 2017-08-14 2020-08-18 Facebooke Technologies, Llc Varying exposure time of pixels in photo sensor using motion prediction
US10523880B2 (en) * 2017-09-28 2019-12-31 Waymo Llc Synchronized spinning LIDAR and rolling shutter camera system
US10572982B2 (en) * 2017-10-04 2020-02-25 Intel Corporation Method and system of image distortion correction for images captured by using a wide-angle lens
CN108462838B (zh) * 2018-03-16 2020-10-02 影石创新科技股份有限公司 一种全景视频防抖方法、装置及便携式终端
US11451688B2 (en) * 2018-09-26 2022-09-20 Zoox, Inc. Image scan line timestamping
US10681277B1 (en) * 2019-03-07 2020-06-09 Qualcomm Incorporated Translation compensation in optical image stabilization (OIS)
US20200412954A1 (en) * 2019-06-25 2020-12-31 Qualcomm Incorporated Combined electronic image stabilization and optical image stabilization

Also Published As

Publication number Publication date
CN112308783A (zh) 2021-02-02
EP3770665A1 (en) 2021-01-27
JP2021022922A (ja) 2021-02-18
US20210029283A1 (en) 2021-01-28
US11363206B2 (en) 2022-06-14

Similar Documents

Publication Publication Date Title
CN108462838B (zh) 一种全景视频防抖方法、装置及便携式终端
US11997397B2 (en) Method, apparatus, and device for processing images, and storage medium
US9280810B2 (en) Method and system for correcting a distorted input image
JP6977812B2 (ja) ローリングシャッター現象の補正方法、装置、及びコンピュータが読み取り可能な記録媒体
TWI534755B (zh) 三維立體模型之建立方法和裝置
US8928730B2 (en) Method and system for correcting a distorted input image
JP2009134509A (ja) モザイク画像生成装置及びモザイク画像生成方法
JP6593484B2 (ja) 画像処理方法及び装置
JP2022085910A (ja) カメラの校正方法、装置、電子デバイス、記憶媒体、プログラム、及び路側装置
CN109547692B (zh) 图像姿态矫正方法、设备及终端
WO2022179385A1 (zh) 一种三维重建方法、装置、系统以及存储介质
CN113643414B (zh) 一种三维图像生成方法、装置、电子设备及存储介质
CN109035134B (zh) 全景图像拼接方法、装置、电子设备及存储介质
EP4071713A1 (en) Parameter calibration method and apapratus
JP2022082455A (ja) 三次元モデル構築方法、装置及びコンピュータ読み取り可能な記憶媒体
CN212515897U (zh) 主被动三维成像实时处理系统
US11948316B2 (en) Camera module, imaging device, and image processing method using fixed geometric characteristics
CN112184662B (zh) 应用于无人机图像拼接中的相机外参数初始方法及系统
JP4970378B2 (ja) メモリコントローラおよび画像処理装置
Luo et al. Improved LUT-based image warping for video cameras
CN112634439A (zh) 一种3d信息展示方法及装置
CN114511626B (zh) 基于rgbd相机系统的图像处理装置、方法、设备及介质
CN113709388B (zh) 一种多源视频拼接方法及装置
Zhang et al. A real-time image stitching method based on memory space conversion
US20230146691A1 (en) Imaging device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200511

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211025

R151 Written notification of patent or utility model registration

Ref document number: 6977812

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151